CN117690331A - 一种前列腺穿刺手术训练系统及方法 - Google Patents
一种前列腺穿刺手术训练系统及方法 Download PDFInfo
- Publication number
- CN117690331A CN117690331A CN202410154896.2A CN202410154896A CN117690331A CN 117690331 A CN117690331 A CN 117690331A CN 202410154896 A CN202410154896 A CN 202410154896A CN 117690331 A CN117690331 A CN 117690331A
- Authority
- CN
- China
- Prior art keywords
- training
- image
- prostate puncture
- model
- surgical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 370
- 210000002307 prostate Anatomy 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000001356 surgical procedure Methods 0.000 claims abstract description 54
- 238000011156 evaluation Methods 0.000 claims abstract description 43
- 239000007787 solid Substances 0.000 claims abstract description 19
- 238000010276 construction Methods 0.000 claims abstract description 12
- 230000006399 behavior Effects 0.000 claims description 14
- 238000011471 prostatectomy Methods 0.000 claims description 13
- 238000012800 visualization Methods 0.000 claims description 9
- 210000000056 organ Anatomy 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 210000003708 urethra Anatomy 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 210000003204 ejaculatory duct Anatomy 0.000 claims description 3
- 210000003734 kidney Anatomy 0.000 claims description 3
- 210000003899 penis Anatomy 0.000 claims description 3
- 210000001625 seminal vesicle Anatomy 0.000 claims description 3
- 210000000626 ureter Anatomy 0.000 claims description 3
- 210000003932 urinary bladder Anatomy 0.000 claims description 3
- 210000001177 vas deferen Anatomy 0.000 claims description 3
- 201000010653 vesiculitis Diseases 0.000 claims description 3
- 229940094443 oxytocics prostaglandins Drugs 0.000 claims 4
- 150000003180 prostaglandins Chemical class 0.000 claims 4
- 230000000740 bleeding effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 210000004907 gland Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 206010004446 Benign prostatic hyperplasia Diseases 0.000 description 1
- 208000004403 Prostatic Hyperplasia Diseases 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 239000004816 latex Substances 0.000 description 1
- 229920000126 latex Polymers 0.000 description 1
- 230000027939 micturition Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000036299 sexual function Effects 0.000 description 1
- 239000000741 silica gel Substances 0.000 description 1
- 229910002027 silica gel Inorganic materials 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 208000014001 urinary system disease Diseases 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及前列腺穿刺手术训练技术领域，提出了一种前列腺穿刺手术训练系统及方法，该系统包括：手术训练操作采集模块、虚拟模型构建模块、手术流程生成模块和操作评估模块。本发明通过采集在前列腺穿刺手术训练实体模型中执行手术训练操作的训练图像信息，生成前列腺穿刺手术训练虚拟模型，以使目标训练人员根据可供选择的前列腺穿刺手术训练虚拟模型或训练图像信息，执行手术训练操作，利用当前时刻的训练图像预测下一时刻的预测训练图像，以此对前列腺穿刺手术训练进行操作评估，并生成操作反馈画面，解决了现有前列腺穿刺手术训练方案存在的缺少手术训练操作的行为评估以及手术训练操作反馈，影响手术训练操作有效性的问题。
Description
技术领域
本发明涉及前列腺穿刺手术训练技术领域，尤其是一种前列腺穿刺手术训练系统及方法。
背景技术
前列腺增生是一种常见的男性泌尿系统疾病，患者的前列腺组织增生肿大导致尿道被压迫，从而产生排尿困难的现象。该疾病在严重的情况下通常需要采取手术治疗的方式，而手术治疗又分为开放式手术和穿刺式手术，开放式手术创口大出血多且对患者的性功能会造成较为严重的影响，现已逐渐被穿刺式手术取代。穿刺式手术利用X光或B超引导手术器具进行经尿道或血管的手术操作，但前列腺穿刺手术对医生的技术水平和经验要求较高。不当的操作可能导致出血、感染、疼痛和其他并发症，给患者带来不必要的痛苦和风险。因此，适宜的手术训练系统或方法对提高手术质量有重要作用。
现有前列腺穿刺手术训练方法依然是采用模型或人体标本的形式进行，这种训练方式无法评估手术训练操作中是否存在不恰当行为，也并不能直观的展现手术过程中人体对手术各操作环节的反馈，如出血、腺体收缩等。
发明内容
为解决上述现有技术问题，本发明提供一种前列腺穿刺手术训练系统及方法，旨在解决现有前列腺穿刺手术训练方案存在的缺少手术训练操作的行为评估以及手术训练操作反馈，影响手术训练操作有效性的问题。
本发明的第一方面，提供了一种前列腺穿刺手术训练系统，包括：
手术训练操作采集模块，所述手术训练操作采集模块被配置为采集目标训练人员在前列腺穿刺手术训练实体模型中执行手术训练操作的训练图像信息；
虚拟模型构建模块，所述虚拟模型构建模块被配置为根据所述训练图像信息，生成前列腺穿刺手术训练虚拟模型，以使目标训练人员根据可供选择的所述前列腺穿刺手术训练虚拟模型或所述训练图像信息，执行手术训练操作；
手术流程生成模块，所述手术流程生成模块被配置为将目标训练人员执行手术训练操作的当前时刻的训练图像输入训练完成的前列腺穿刺手术操作预测模型，获得下一时刻的预测训练图像；
操作评估模块，所述操作评估模块被配置为根据下一时刻的训练图像和下一时刻的预测训练图像，对目标训练人员的前列腺穿刺手术操作进行操作评估。
可选的，所述前列腺穿刺手术训练实体模型被配置为具有前列腺穿刺手术真实环境的实体物理模型，所述实体物理模型包括前列腺穿刺手术真实环境下的男性人体泌尿生殖关联结构；其中，所述男性人体泌尿生殖关联结构包括肾脏、输尿管、膀胱、前列腺、精囊、输精管、射精管、尿道、阴茎及器官附属物。
可选的，所述手术训练操作采集模块，具体包括：
手术训练操作采集单元；
其中，所述手术训练操作采集单元被配置为获取前列腺穿刺手术操作采集装置采集的目标训练人员在前列腺穿刺手术训练实体模型中执行手术训练操作的训练图像信息；
其中，所述前列腺穿刺手术操作采集装置被配置为对前列腺穿刺手术位置的操作进行图像采集的X光机和/或B超机。
可选的，所述虚拟模型构建模块，具体包括：
虚拟模型构建单元，所述虚拟模型构建单元被配置为根据所述训练图像信息，构建与所述实体物理模型对应的虚拟模型，所述虚拟模型被配置为具有前列腺穿刺手术虚拟环境的虚拟三维模型；
虚拟模型可视化单元，所述虚拟模型可视化单元被配置为将所述虚拟三维模型传输至目标训练人员佩戴的虚拟现实可视化设备，以使目标训练人员根据所述虚拟三维模型，执行手术训练操作。
可选的，所述前列腺穿刺手术训练系统，还包括：前列腺穿刺手术操作预测模型构建模块，具体包括：
手术真实操作采集单元，所述手术真实操作采集单元被配置为采集手术操作人员在真实前列腺穿刺手术中执行标准手术操作的真实图像信息，并将所述真实图像信息按时间戳划分，获得所述真实前列腺穿刺手术中的连续真实图像；
模型训练单元，所述模型训练单元被配置为根据所述连续真实图像中每一时刻的真实图像/>与下一时刻的真实图像/>对前列腺穿刺手术操作预测模型进行训练，获得训练完成的前列腺穿刺手术操作预测模型。
可选的，所述模型训练单元，具体包括：
真实图像预测子单元，所述真实图像预测子单元被配置为将所述连续真实图像中每一时刻的真实图像/>输入生成器中，预测获得下一时刻的预测真实图像/>；
循环训练子单元，所述循环训练子单元被配置为将下一时刻的真实图像和预测真实图像/>输入判别器，根据判别结果对生成器进行训练直至收敛，获得前列腺穿刺手术操作预测模型。
可选的，所述生成器为卷积神经网络结构，所述卷积神经网络结构被配置为由编码器、瓶颈层、解码器和三个残差连接组成；
其中，将所述连续真实图像中每一时刻的真实图像/>输入生成器中，预测获得下一时刻的预测真实图像/>，具体包括：
将连续真实图像中每一时刻的真实图像/>输入编码器，分解为尺寸为/>的不重叠的块，进行包括先下采样再上采样的编码，将编码结果输入瓶颈层进行噪声去除，最后输入与编码器互为逆结构的解码器，获得解码器输出的下一时刻的预测真实图像/>；
其中，所述下采样和上采样的表达式，具体为：
其中，表示第/>层的下采样，/>表示第/>层的上采样，/>和/>分别表示块的第/>个合并和块的第/>个扩展，/>表示Swin Transformer模型的第/>层。
可选的，所述操作评估模块，具体包括：
图像轮廓差生成单元，所述图像轮廓差生成单元被配置为提取下一时刻的训练图像和下一时刻的预测训练图像中的ORB特征点，根据ORB特征点计算所述训练图像与所述预测训练图像间的投射矩阵，以所述预测训练图像为基，将所述训练图像投射至预测训练图像，得到训练图像和预测训练图像的轮廓差图像；
操作评估单元，所述操作评估单元被配置为根据所述轮廓差图像中的轮廓密集区域，确定被操作区，判断所述被操作区中轮廓密集区域的像素值是否超过预设阈值，若是，则判定当前前列腺穿刺手术操作存在不恰当行为。
可选的，所述操作评估模块，还包括：
评估结果反馈单元；
其中，所述评估结果反馈单元被配置为在判定当前前列腺穿刺手术操作存在不恰当行为时，获取被操作区的位置信息，在所述位置信息生成评估结果反馈；
其中，当目标训练人员根据所述前列腺穿刺手术训练虚拟模型执行手术训练操作时，驱使虚拟模型构建模块在所述前列腺穿刺手术训练虚拟模型中的所述位置信息对应的区域生成第一反馈画面；
其中，当目标训练人员根据所述训练图像信息执行手术训练操作时，在X光机和/或B超机采集的训练图像信息中生成第二反馈画面。
本发明的第二方面，提供了一种前列腺穿刺手术训练方法，所述方法，包括：
S1：采集目标训练人员在前列腺穿刺手术训练实体模型中执行手术训练操作的训练图像信息；
S2：根据所述训练图像信息，生成前列腺穿刺手术训练虚拟模型，以使目标训练人员根据可供选择的所述前列腺穿刺手术训练虚拟模型或所述训练图像信息，执行手术训练操作；
S3：将目标训练人员执行手术训练操作的当前时刻的训练图像输入训练完成的前列腺穿刺手术操作预测模型，获得下一时刻的预测训练图像；
S4：根据下一时刻的训练图像和下一时刻的预测训练图像，对目标训练人员的前列腺穿刺手术操作进行操作评估。
本发明的有益效果在于：提出了一种前列腺穿刺手术训练系统及方法，通过采集目标训练人员在前列腺穿刺手术训练实体模型中执行手术训练操作的训练图像信息，根据所述训练图像信息，生成前列腺穿刺手术训练虚拟模型，以使目标训练人员根据可供选择的所述前列腺穿刺手术训练虚拟模型或所述训练图像信息，执行手术训练操作，同时，将目标训练人员执行手术训练操作的当前时刻的训练图像输入训练完成的前列腺穿刺手术操作预测模型，获得下一时刻的预测训练图像，由此，可根据下一时刻的训练图像和下一时刻的预测训练图像，对目标训练人员的前列腺穿刺手术操作进行操作评估，并根据评估结果生成操作反馈画面，解决了现有前列腺穿刺手术训练方案存在的缺少手术训练操作的行为评估以及手术训练操作反馈，影响手术训练操作有效性的问题。
附图说明
图1为本发明所提供的前列腺穿刺手术训练系统的结构示意图；
图2为本发明所提供的前列腺穿刺手术训练方法的流程示意图。
附图标记：
10-手术训练操作采集模块；20-虚拟模型构建模块；30-手术流程生成模块；40-操作评估模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
参照图1，图1为本发明实施例提供的一种前列腺穿刺手术训练系统的结构示意图。
如图1所示，一种前列腺穿刺手术训练系统，包括：手术训练操作采集模块10，所述手术训练操作采集模块10被配置为采集目标训练人员在前列腺穿刺手术训练实体模型中执行手术训练操作的训练图像信息；虚拟模型构建模块20，所述虚拟模型构建模块20被配置为根据所述训练图像信息，生成前列腺穿刺手术训练虚拟模型，以使目标训练人员根据可供选择的所述前列腺穿刺手术训练虚拟模型或所述训练图像信息，执行手术训练操作；手术流程生成模块30，所述手术流程生成模块30被配置为将目标训练人员执行手术训练操作的当前时刻的训练图像输入训练完成的前列腺穿刺手术操作预测模型，获得下一时刻的预测训练图像；操作评估模块40，所述操作评估模块40被配置为根据下一时刻的训练图像和下一时刻的预测训练图像，对目标训练人员的前列腺穿刺手术操作进行操作评估。
需要说明的是，现有前列腺穿刺手术训练方法依然是采用模型或人体标本的形式进行，这种训练方式无法评估手术训练操作中是否存在不恰当行为，也并不能直观的展现手术过程中人体对手术各操作环节的反馈，如出血、腺体收缩等，进而影响手术训练操作有效性，例如无法判断当前手术操作是否为正确操作，以及无法为目标训练人员的手术操作生成反馈动画，导致目标训练人员无法根据实际手术场景执行对应的手术操作，手术训练操作有效性不高。对此，为了解决上述问题，本实施例通过采集目标训练人员在前列腺穿刺手术训练实体模型中执行手术训练操作的训练图像信息，根据所述训练图像信息，生成前列腺穿刺手术训练虚拟模型，以使目标训练人员根据可供选择的所述前列腺穿刺手术训练虚拟模型或所述训练图像信息，执行手术训练操作，同时，将目标训练人员执行手术训练操作的当前时刻的训练图像输入训练完成的前列腺穿刺手术操作预测模型，获得下一时刻的预测训练图像，由此，可根据下一时刻的训练图像和下一时刻的预测训练图像，对目标训练人员的前列腺穿刺手术操作进行操作评估，并根据评估结果生成操作反馈画面，解决了现有前列腺穿刺手术训练方案存在的缺少手术训练操作的行为评估以及手术训练操作反馈，影响手术训练操作有效性的问题。
在优选的实施例中，所述前列腺穿刺手术训练实体模型被配置为具有前列腺穿刺手术真实环境的实体物理模型，所述实体物理模型包括前列腺穿刺手术真实环境下的男性人体泌尿生殖关联结构；其中，所述男性人体泌尿生殖关联结构包括肾脏、输尿管、膀胱、前列腺、精囊、输精管、射精管、尿道、阴茎及器官附属物。本实施例中，提供一种由类人体肌肤材质（例如硅胶、乳胶等）制成的实体物理模型，通过仿真男性人体泌尿生殖结构来为目标训练人员提供手术训练操作的主体，通过采集目标训练人员在该实体物理模型上执行手术训练操作的训练图像信息，利用可视化手段将手术训练操作实时表征出来，便于系统分析手术训练操作的正确性以及提供操作反馈，由此，提高前列腺穿刺手术训练的真实性与有效性。
在此基础上，所述手术训练操作采集模块，具体包括：手术训练操作采集单元；其中，所述手术训练操作采集单元被配置为获取前列腺穿刺手术操作采集装置采集的目标训练人员在前列腺穿刺手术训练实体模型中执行手术训练操作的训练图像信息；其中，所述前列腺穿刺手术操作采集装置被配置为对前列腺穿刺手术位置的操作进行图像采集的X光机和/或B超机。本实施例中，采集目标训练人员在该实体物理模型上执行手术训练操作的训练图像信息采用的是X光机和/或B超机，通过获取实体物理模型被执行前列腺穿刺手术时的X光图像或B超图像来实现手术训练操作的可视化。
在此之后，本实施例提供两种可供目标训练人员选择的手术训练操作查看方式，即通过虚拟现实可视化设备（例如VR眼镜）查看虚拟三维模型或直接通过X光机和/或B超机采集的训练图像来查看实体物理模型中的操作画面。
示例性的，在选择通过虚拟现实可视化设备查看虚拟三维模型时，系统还包括虚拟模型构建模块，所述虚拟模型构建模块，具体包括：虚拟模型构建单元，所述虚拟模型构建单元被配置为根据所述训练图像信息，构建与所述实体物理模型对应的数字孪生的虚拟模型，所述虚拟模型被配置为具有前列腺穿刺手术虚拟环境的虚拟三维模型；虚拟模型可视化单元，所述虚拟模型可视化单元被配置为将所述虚拟三维模型传输至目标训练人员佩戴的虚拟现实可视化设备，以使目标训练人员根据所述虚拟三维模型，执行手术训练操作；在选择直接通过X光机和/或B超机采集的训练图像来查看实体物理模型中的操作画面时，目标训练人员在执行手术训练操作时，根据X光机和/或B超机采集的操作画面，执行手术训练操作。由此，通过可视化前列腺穿刺手术环境来实现为目标训练人员执行手术训练操作提供参考的目的，同时，也为后续生成操作反馈动画提供了基础，提供了一种真实性、操作评估准确性更高且具有操作反馈的前列腺穿刺手术训练系统。
在优选的实施例中，所述前列腺穿刺手术训练系统，还包括：前列腺穿刺手术操作预测模型构建模块，具体包括：手术真实操作采集单元，所述手术真实操作采集单元被配置为采集手术操作人员在真实前列腺穿刺手术中执行标准手术操作的真实图像信息，并将所述真实图像信息按时间戳划分，获得所述真实前列腺穿刺手术中的连续真实图像；模型训练单元，所述模型训练单元被配置为根据所述连续真实图像中每一时刻的真实图像/>与下一时刻的真实图像/>对前列腺穿刺手术操作预测模型进行训练，获得训练完成的前列腺穿刺手术操作预测模型。
其中，所述模型训练单元，具体包括：真实图像预测子单元，所述真实图像预测子单元被配置为将所述连续真实图像中每一时刻的真实图像/>输入生成器中，预测获得下一时刻的预测真实图像/>；循环训练子单元，所述循环训练子单元被配置为将下一时刻的真实图像/>和预测真实图像/>输入判别器，根据判别结果对生成器进行训练直至收敛，获得前列腺穿刺手术操作预测模型。
其中，所述生成器为卷积神经网络结构，所述卷积神经网络结构被配置为由编码器、瓶颈层、解码器和三个残差连接组成；其中，将所述连续真实图像中每一时刻的真实图像/>输入生成器中，预测获得下一时刻的预测真实图像/>，具体包括：将连续真实图像/>中每一时刻的真实图像/>输入编码器，分解为尺寸为/>的不重叠的块，进行包括先下采样再上采样的编码，将编码结果输入瓶颈层进行噪声去除，最后输入与编码器互为逆结构的解码器，获得解码器输出的下一时刻的预测真实图像/>；
其中，所述下采样和上采样的表达式，具体为：
其中，表示第/>层的下采样，/>表示第/>层的上采样，/>和/>分别表示块的第/>个合并和块的第/>个扩展，/>表示Swin Transformer模型的第/>层。
在本实施例中，先手术操作人员在真实前列腺穿刺手术中执行标准手术操作的真实图像信息，按时间戳进行划分，并将图像转换为更易处理的RGB图像，获得连续真实图像，将连续真实图像/>输入由编码器、瓶颈层、解码器和三个残差连接组成的基于卷积神经网络的生成器中，通过编码器将图像分解为尺寸为/>的不重叠的块，并进行编码，编码过程为先下采样再上采样，然后将上采样结果输入瓶颈层进行噪声去除，最后通过与编码器互为逆结构的解码器输出当前时刻下一时刻的图像/>，将生成器子单元的输出/>与真值/>作为判别器的输入，重复驱使生成器依次对每一连续真实图像进行循环处理，直至生成器收敛即可获得前列腺穿刺手术操作预测模型；利用该前列腺穿刺手术操作预测模型，依据目标训练人员执行手术训练操作的当前时刻的训练图像，对下一时刻的训练图像进行预测，获得训练预测图像。由此，通过构建包括生成器与判别器的GAN架构，利用真实连续的手术操作图像训练获得前列腺穿刺手术操作预测模型，进而对下一时刻的训练图像进行预测，实现利用下一时刻的预测图像和训练图像进行手术训练操作正确性的评估，解决了现有前列腺穿刺手术训练方案存在的缺少手术训练操作的行为评估，具有较高的预测准确性与可靠性。
在优选的实施例中，所述操作评估模块，具体包括：图像轮廓差生成单元，所述图像轮廓差生成单元被配置为提取下一时刻的训练图像和下一时刻的预测训练图像中的ORB特征点，根据ORB特征点计算所述训练图像与所述预测训练图像间的投射矩阵，以所述预测训练图像为基，将所述训练图像投射至预测训练图像，得到训练图像和预测训练图像的轮廓差图像；操作评估单元，所述操作评估单元被配置为根据所述轮廓差图像中的轮廓密集区域，确定被操作区，判断所述被操作区中轮廓密集区域的像素值是否超过预设阈值，若是，则判定当前前列腺穿刺手术操作存在不恰当行为。
在优选的实施例中，所述操作评估模块，还包括：评估结果反馈单元；其中，所述评估结果反馈单元被配置为在判定当前前列腺穿刺手术操作存在不恰当行为时，获取被操作区的位置信息，在所述位置信息生成评估结果反馈；其中，当目标训练人员根据所述前列腺穿刺手术训练虚拟模型执行手术训练操作时，驱使虚拟模型构建模块在所述前列腺穿刺手术训练虚拟模型中的所述位置信息对应的区域生成第一反馈画面；其中，当目标训练人员根据所述训练图像信息执行手术训练操作时，在X光机和/或B超机采集的训练图像信息中生成第二反馈画面。
本实施例中，通过提取下一时刻的训练图像和下一时刻的预测训练图像中预设数量（例如100个）的ORB特征点，根据ORB特征点建立投射矩阵将训练图像投射至预测训练图像上，得到两幅图像的轮廓差。考虑到不同器官在图像上成像位置是固定的，可根据两幅图像的轮廓差图像，将轮廓密集区域认定为被操作区（例如根据轮廓差区域占该器官区域的比值超过该器官对应的预设比值），在此之后，判断所述被操作区中轮廓密集区域的像素值是否超过预设阈值，若是，则认为下一时刻的训练图像与预测训练图像的差距较大，不属于正确的手术操作，此时判定当前前列腺穿刺手术操作存在不恰当行为。同时，本实施例还将获取被操作区的位置信息，根据目标训练人员采用的训练手术操作观察方式为目标训练人员生成对应的反馈画面；其中的，当目标训练人员根据所述前列腺穿刺手术训练虚拟模型执行手术训练操作时，驱使虚拟模型构建模块在所述前列腺穿刺手术训练虚拟模型中的所述位置信息对应的区域生成第一反馈画面（例如驱使被操作区对应的器官在前列腺穿刺手术训练虚拟模型中闪耀红光），当目标训练人员根据所述训练图像信息执行手术训练操作时，在X光机和/或B超机采集的训练图像信息中生成第二反馈画面（例如通过X光机和/或B超机在采集到的训练图像信息中的被操作区添加出血、收缩等满足医学合理性的随机情况，并以叠加二维特效的方式反馈给用户），由此，提供了一种真实性、操作评估准确性更高且具有操作反馈的前列腺穿刺手术训练系统，提高目标训练人员的手术训练操作的准确性与临场反应操作有效性。
参照图2，图2为本发明实施例提供的一种前列腺穿刺手术训练方法的流程示意图。
如图2所示，一种前列腺穿刺手术训练方法，包括步骤：
S1：采集目标训练人员在前列腺穿刺手术训练实体模型中执行手术训练操作的训练图像信息；
S2：根据所述训练图像信息，生成前列腺穿刺手术训练虚拟模型，以使目标训练人员根据可供选择的所述前列腺穿刺手术训练虚拟模型或所述训练图像信息，执行手术训练操作；
S3：将目标训练人员执行手术训练操作的当前时刻的训练图像输入训练完成的前列腺穿刺手术操作预测模型，获得下一时刻的预测训练图像；
S4：根据下一时刻的训练图像和下一时刻的预测训练图像，对目标训练人员的前列腺穿刺手术操作进行操作评估。
本实施例中，通过采集目标训练人员在前列腺穿刺手术训练实体模型中执行手术训练操作的训练图像信息，根据所述训练图像信息，生成前列腺穿刺手术训练虚拟模型，以使目标训练人员根据可供选择的所述前列腺穿刺手术训练虚拟模型或所述训练图像信息，执行手术训练操作，同时，将目标训练人员执行手术训练操作的当前时刻的训练图像输入训练完成的前列腺穿刺手术操作预测模型，获得下一时刻的预测训练图像，由此，可根据下一时刻的训练图像和下一时刻的预测训练图像，对目标训练人员的前列腺穿刺手术操作进行操作评估，并根据评估结果生成操作反馈画面，解决了现有前列腺穿刺手术训练方案存在的缺少手术训练操作的行为评估以及手术训练操作反馈，影响手术训练操作有效性的问题。
本申请前列腺穿刺手术训练方法的具体实施方式与上述前列腺穿刺手术训练系统各实施例基本相同，在此不再赘述。
在本发明的实施例的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“中心”、“顶”、“底”、“顶部”、“底部”、“内”、“外”、“内侧”、“外侧”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。其中，“里侧”是指内部或围起来的区域或空间。“外围”是指某特定部件或特定区域的周围的区域。
在本发明的实施例的描述中，术语“第一”、“第二”、“第三”、“第四”仅用以描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“组装”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的实施例的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的实施例的描述中，需要理解的是，“-”和“~”表示的是两个数值之间的范围，并且该范围包括端点。例如：“A-B”表示大于或等于A，且小于或等于B的范围。“A~B”表示大于或等于A，且小于或等于B的范围。
在本发明的实施例的描述中，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种前列腺穿刺手术训练系统，其特征在于，包括：
手术训练操作采集模块，所述手术训练操作采集模块被配置为采集目标训练人员在前列腺穿刺手术训练实体模型中执行手术训练操作的训练图像信息；
虚拟模型构建模块，所述虚拟模型构建模块被配置为根据所述训练图像信息，生成前列腺穿刺手术训练虚拟模型，以使目标训练人员根据可供选择的所述前列腺穿刺手术训练虚拟模型或所述训练图像信息，执行手术训练操作；
手术流程生成模块，所述手术流程生成模块被配置为将目标训练人员执行手术训练操作的当前时刻的训练图像输入训练完成的前列腺穿刺手术操作预测模型，获得下一时刻的预测训练图像；
操作评估模块，所述操作评估模块被配置为根据下一时刻的训练图像和下一时刻的预测训练图像，对目标训练人员的前列腺穿刺手术操作进行操作评估。
2.根据权利要求1所述的前列腺穿刺手术训练系统，其特征在于，所述前列腺穿刺手术训练实体模型被配置为具有前列腺穿刺手术真实环境的实体物理模型，所述实体物理模型包括前列腺穿刺手术真实环境下的男性人体泌尿生殖关联结构；其中，所述男性人体泌尿生殖关联结构包括肾脏、输尿管、膀胱、前列腺、精囊、输精管、射精管、尿道、阴茎及器官附属物。
3.根据权利要求2所述的前列腺穿刺手术训练系统，其特征在于，所述手术训练操作采集模块，具体包括：
手术训练操作采集单元；
其中，所述手术训练操作采集单元被配置为获取前列腺穿刺手术操作采集装置采集的目标训练人员在前列腺穿刺手术训练实体模型中执行手术训练操作的训练图像信息；
其中，所述前列腺穿刺手术操作采集装置被配置为对前列腺穿刺手术位置的操作进行图像采集的X光机和/或B超机。
4.根据权利要求3所述的前列腺穿刺手术训练系统，其特征在于，所述虚拟模型构建模块，具体包括：
虚拟模型构建单元，所述虚拟模型构建单元被配置为根据所述训练图像信息，构建与所述实体物理模型对应的虚拟模型，所述虚拟模型被配置为具有前列腺穿刺手术虚拟环境的虚拟三维模型；
虚拟模型可视化单元，所述虚拟模型可视化单元被配置为将所述虚拟三维模型传输至目标训练人员佩戴的虚拟现实可视化设备，以使目标训练人员根据所述虚拟三维模型，执行手术训练操作。
5.根据权利要求1所述的前列腺穿刺手术训练系统，其特征在于，还包括：前列腺穿刺手术操作预测模型构建模块，具体包括：
手术真实操作采集单元，所述手术真实操作采集单元被配置为采集手术操作人员在真实前列腺穿刺手术中执行标准手术操作的真实图像信息，并将所述真实图像信息按时间戳划分，获得所述真实前列腺穿刺手术中的连续真实图像；
模型训练单元，所述模型训练单元被配置为根据所述连续真实图像中每一时刻的真实图像/>与下一时刻的真实图像/>对前列腺穿刺手术操作预测模型进行训练，获得训练完成的前列腺穿刺手术操作预测模型。
6.根据权利要求5所述的前列腺穿刺手术训练系统，其特征在于，所述模型训练单元，具体包括：
真实图像预测子单元，所述真实图像预测子单元被配置为将所述连续真实图像中每一时刻的真实图像/>输入生成器中，预测获得下一时刻的预测真实图像/>；
循环训练子单元，所述循环训练子单元被配置为将下一时刻的真实图像和预测真实图像/>输入判别器，根据判别结果对生成器进行训练直至收敛，获得前列腺穿刺手术操作预测模型。
7.根据权利要求6所述的前列腺穿刺手术训练系统，其特征在于，所述生成器为卷积神经网络结构，所述卷积神经网络结构被配置为由编码器、瓶颈层、解码器和三个残差连接组成；
其中，将所述连续真实图像中每一时刻的真实图像/>输入生成器中，预测获得下一时刻的预测真实图像/>，具体包括：
将连续真实图像中每一时刻的真实图像/>输入编码器，分解为尺寸为的不重叠的块，进行包括先下采样再上采样的编码，将编码结果输入瓶颈层进行噪声去除，最后输入与编码器互为逆结构的解码器，获得解码器输出的下一时刻的预测真实图像/>；
其中，所述下采样和上采样的表达式，具体为：
；
；
其中，表示第/>层的下采样，/>表示第/>层的上采样，/>和/>分别表示块的第/>个合并和块的第/>个扩展，/>表示Swin Transformer模型的第/>层。
8.根据权利要求7所述的前列腺穿刺手术训练系统，其特征在于，所述操作评估模块，具体包括：
图像轮廓差生成单元，所述图像轮廓差生成单元被配置为提取下一时刻的训练图像和下一时刻的预测训练图像中的ORB特征点，根据ORB特征点计算所述训练图像与所述预测训练图像间的投射矩阵，以所述预测训练图像为基，将所述训练图像投射至预测训练图像，得到训练图像和预测训练图像的轮廓差图像；
操作评估单元，所述操作评估单元被配置为根据所述轮廓差图像中的轮廓密集区域，确定被操作区，判断所述被操作区中轮廓密集区域的像素值是否超过预设阈值，若是，则判定当前前列腺穿刺手术操作存在不恰当行为。
9.根据权利要求8所述的前列腺穿刺手术训练系统，其特征在于，所述操作评估模块，还包括：
评估结果反馈单元；
其中，所述评估结果反馈单元被配置为在判定当前前列腺穿刺手术操作存在不恰当行为时，获取被操作区的位置信息，在所述位置信息生成评估结果反馈；
其中，当目标训练人员根据所述前列腺穿刺手术训练虚拟模型执行手术训练操作时，驱使虚拟模型构建模块在所述前列腺穿刺手术训练虚拟模型中的所述位置信息对应的区域生成第一反馈画面；
其中，当目标训练人员根据所述训练图像信息执行手术训练操作时，在X光机和/或B超机采集的训练图像信息中生成第二反馈画面。
10.一种前列腺穿刺手术训练方法，其特征在于，包括：
S1：采集目标训练人员在前列腺穿刺手术训练实体模型中执行手术训练操作的训练图像信息；
S2：根据所述训练图像信息，生成前列腺穿刺手术训练虚拟模型，以使目标训练人员根据可供选择的所述前列腺穿刺手术训练虚拟模型或所述训练图像信息，执行手术训练操作；
S3：将目标训练人员执行手术训练操作的当前时刻的训练图像输入训练完成的前列腺穿刺手术操作预测模型，获得下一时刻的预测训练图像；
S4：根据下一时刻的训练图像和下一时刻的预测训练图像，对目标训练人员的前列腺穿刺手术操作进行操作评估。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410154896.2A CN117690331B (zh) | 2024-02-04 | 2024-02-04 | 一种前列腺穿刺手术训练系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410154896.2A CN117690331B (zh) | 2024-02-04 | 2024-02-04 | 一种前列腺穿刺手术训练系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117690331A true CN117690331A (zh) | 2024-03-12 |
| CN117690331B CN117690331B (zh) | 2024-05-14 |
Family
ID=90128638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410154896.2A Active CN117690331B (zh) | 2024-02-04 | 2024-02-04 | 一种前列腺穿刺手术训练系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117690331B (zh) |
Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5836894A (en) * | 1992-12-21 | 1998-11-17 | Artann Laboratories | Apparatus for measuring mechanical parameters of the prostate and for imaging the prostate using such parameters |
| FR2920961A1 (fr) * | 2007-09-18 | 2009-03-20 | Koelis Soc Par Actions Simplif | Systeme et procede d'imagerie et de localisation de ponctions sous echographie prostatique |
| DE102010041781A1 (de) * | 2010-09-30 | 2012-04-05 | Siemens Aktiengesellschaft | Verfahren und ein CT-Gerät zur computertomographischen Spiralabtastung eines Patienten |
| US20140199673A1 (en) * | 2013-01-11 | 2014-07-17 | Superd Co. Ltd. | 3d virtual training system and method |
| CN107527542A (zh) * | 2017-09-18 | 2017-12-29 | 南京梦宇三维技术有限公司 | 基于动作捕捉的叩诊训练系统 |
| CN109034748A (zh) * | 2018-08-09 | 2018-12-18 | 哈尔滨工业大学 | 基于ar技术的模具拆装工程训练系统的搭建方法 |
| CN111523352A (zh) * | 2019-02-02 | 2020-08-11 | 宁波艾腾湃智能科技有限公司 | 一种智能化快速识别违法改装车的方法及其监控系统 |
| CN111640345A (zh) * | 2020-05-22 | 2020-09-08 | 北京数医脊微科技有限公司 | 脊柱内镜穿刺置管训练方法、装置及计算机设备 |
| US20200405398A1 (en) * | 2016-04-27 | 2020-12-31 | Arthrology Consulting, Llc | Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan |
| CN113946217A (zh) * | 2021-10-20 | 2022-01-18 | 北京科技大学 | 一种肠镜操作技能智能辅助评估系统 |
| CN114708752A (zh) * | 2022-01-12 | 2022-07-05 | 南京九阵维医疗科技有限公司 | 牙科根尖片虚拟教学系统及虚拟根尖片的获取方法 |
| CN115169855A (zh) * | 2022-06-29 | 2022-10-11 | 郑州轻工业大学 | 一种基于数字孪生车间混合数据集的不安全状态检测方法 |
| CN115424485A (zh) * | 2022-07-15 | 2022-12-02 | 顾卫坤 | 基于混合现实与空间微定位技术的穿刺活检模拟系统 |
| CN115577953A (zh) * | 2022-10-20 | 2023-01-06 | 公安部道路交通安全研究中心 | 基于全要素数据的场地驾驶能力数字化评估方法及装置 |
| CN115830703A (zh) * | 2022-10-26 | 2023-03-21 | 国网四川省电力公司资阳供电公司 | 一种通过意图识别提前判断电力违规作业的方法及系统 |
| CN115880111A (zh) * | 2023-02-22 | 2023-03-31 | 山东工程职业技术大学 | 基于图像的虚拟仿真实训课堂教学管理方法及系统 |
| CN116156202A (zh) * | 2023-01-18 | 2023-05-23 | 上海大学 | 一种实现视频错误隐藏的方法、系统、终端及介质 |
| CN116309910A (zh) * | 2023-03-12 | 2023-06-23 | 上海大学 | 一种用于去除磁共振图像的吉布斯伪影的方法 |
| CN116342596A (zh) * | 2023-05-29 | 2023-06-27 | 云南电网有限责任公司 | 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法 |
| CN117315591A (zh) * | 2023-11-13 | 2023-12-29 | 安徽光谷智能科技股份有限公司 | 一种智慧校园安全监控预测管理系统 |
| CN117315336A (zh) * | 2023-09-14 | 2023-12-29 | 北京工业大学 | 花粉颗粒识别方法、装置、电子设备及存储介质 |
| CN117454116A (zh) * | 2023-11-03 | 2024-01-26 | 国网河南省电力公司经济技术研究院 | 一种基于多源数据交互网络的地面碳排放监测方法 |
-
2024
- 2024-02-04 CN CN202410154896.2A patent/CN117690331B/zh active Active
Patent Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5836894A (en) * | 1992-12-21 | 1998-11-17 | Artann Laboratories | Apparatus for measuring mechanical parameters of the prostate and for imaging the prostate using such parameters |
| FR2920961A1 (fr) * | 2007-09-18 | 2009-03-20 | Koelis Soc Par Actions Simplif | Systeme et procede d'imagerie et de localisation de ponctions sous echographie prostatique |
| DE102010041781A1 (de) * | 2010-09-30 | 2012-04-05 | Siemens Aktiengesellschaft | Verfahren und ein CT-Gerät zur computertomographischen Spiralabtastung eines Patienten |
| US20140199673A1 (en) * | 2013-01-11 | 2014-07-17 | Superd Co. Ltd. | 3d virtual training system and method |
| US20200405398A1 (en) * | 2016-04-27 | 2020-12-31 | Arthrology Consulting, Llc | Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan |
| CN107527542A (zh) * | 2017-09-18 | 2017-12-29 | 南京梦宇三维技术有限公司 | 基于动作捕捉的叩诊训练系统 |
| CN109034748A (zh) * | 2018-08-09 | 2018-12-18 | 哈尔滨工业大学 | 基于ar技术的模具拆装工程训练系统的搭建方法 |
| CN111523352A (zh) * | 2019-02-02 | 2020-08-11 | 宁波艾腾湃智能科技有限公司 | 一种智能化快速识别违法改装车的方法及其监控系统 |
| CN111640345A (zh) * | 2020-05-22 | 2020-09-08 | 北京数医脊微科技有限公司 | 脊柱内镜穿刺置管训练方法、装置及计算机设备 |
| CN113946217A (zh) * | 2021-10-20 | 2022-01-18 | 北京科技大学 | 一种肠镜操作技能智能辅助评估系统 |
| CN114708752A (zh) * | 2022-01-12 | 2022-07-05 | 南京九阵维医疗科技有限公司 | 牙科根尖片虚拟教学系统及虚拟根尖片的获取方法 |
| CN115169855A (zh) * | 2022-06-29 | 2022-10-11 | 郑州轻工业大学 | 一种基于数字孪生车间混合数据集的不安全状态检测方法 |
| CN115424485A (zh) * | 2022-07-15 | 2022-12-02 | 顾卫坤 | 基于混合现实与空间微定位技术的穿刺活检模拟系统 |
| CN115577953A (zh) * | 2022-10-20 | 2023-01-06 | 公安部道路交通安全研究中心 | 基于全要素数据的场地驾驶能力数字化评估方法及装置 |
| CN115830703A (zh) * | 2022-10-26 | 2023-03-21 | 国网四川省电力公司资阳供电公司 | 一种通过意图识别提前判断电力违规作业的方法及系统 |
| CN116156202A (zh) * | 2023-01-18 | 2023-05-23 | 上海大学 | 一种实现视频错误隐藏的方法、系统、终端及介质 |
| CN115880111A (zh) * | 2023-02-22 | 2023-03-31 | 山东工程职业技术大学 | 基于图像的虚拟仿真实训课堂教学管理方法及系统 |
| CN116309910A (zh) * | 2023-03-12 | 2023-06-23 | 上海大学 | 一种用于去除磁共振图像的吉布斯伪影的方法 |
| CN116342596A (zh) * | 2023-05-29 | 2023-06-27 | 云南电网有限责任公司 | 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法 |
| CN117315336A (zh) * | 2023-09-14 | 2023-12-29 | 北京工业大学 | 花粉颗粒识别方法、装置、电子设备及存储介质 |
| CN117454116A (zh) * | 2023-11-03 | 2024-01-26 | 国网河南省电力公司经济技术研究院 | 一种基于多源数据交互网络的地面碳排放监测方法 |
| CN117315591A (zh) * | 2023-11-13 | 2023-12-29 | 安徽光谷智能科技股份有限公司 | 一种智慧校园安全监控预测管理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117690331B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107452266B (zh) | 制造模型的方法和模型 | |
| CN112075914B (zh) | 胶囊内窥镜检查系统 | |
| US6939138B2 (en) | Endoscopic tutorial system for urology | |
| CN109616195A (zh) | 基于深度学习的纵隔超声内镜图像实时辅助诊断系统及方法 | |
| CN107811710A (zh) | 手术辅助定位系统 | |
| CN110522516A (zh) | 一种用于手术导航的多层次交互可视化方法 | |
| CN110009669A (zh) | 一种基于深度强化学习的3d/2d医学图像配准方法 | |
| CN110074813A (zh) | 一种超声图像重建方法及系统 | |
| CN103268630B (zh) | 一种基于血管内超声影像的血管三维可视化方法 | |
| CN111080778B (zh) | 一种双目内窥镜软组织图像的在线三维重建方法 | |
| CN109157284A (zh) | 一种脑肿瘤医学影像三维重建显示交互方法及系统 | |
| CN112598649B (zh) | 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法 | |
| CN110021445A (zh) | 一种基于vr模型的医疗系统 | |
| JPH11104072A (ja) | 医療支援システム | |
| CN108492693A (zh) | 一种基于计算机辅助医疗显示的腹腔镜手术模拟训练系统 | |
| CN109636806A (zh) | 一种基于多步学习的三维核磁共振胰腺图像分割方法 | |
| US20230281968A1 (en) | Recording Medium, Method for Generating Learning Model, Surgical Support Device and Information Processing Method | |
| CN113662573A (zh) | 乳腺病灶定位方法、装置、计算机设备和存储介质 | |
| CN109859827A (zh) | 胃肠镜操作水平实时评分系统和方法 | |
| Williams et al. | Volumetric curved planar reformation for virtual endoscopy | |
| KR20150109076A (ko) | 대장내시경 수술 시뮬레이션시스템 | |
| CN107204045A (zh) | 基于ct图像的虚拟内窥镜系统 | |
| CN117690331B (zh) | 一种前列腺穿刺手术训练系统及方法 | |
| US20240138920A1 (en) | Use of real-time and storable image data stream for generation of an Immersive Virtual universe in Metaverse or a 3-D hologram, for Medical and Veterinary Teaching and Training | |
| CN106845138A (zh) | 一种手术术前预演方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |