CN115954096A - 一种基于图像数据处理的腔镜vr成像系统 - Google Patents

一种基于图像数据处理的腔镜vr成像系统 Download PDF

Info

Publication number
CN115954096A
CN115954096A CN202310239628.6A CN202310239628A CN115954096A CN 115954096 A CN115954096 A CN 115954096A CN 202310239628 A CN202310239628 A CN 202310239628A CN 115954096 A CN115954096 A CN 115954096A
Authority
CN
China
Prior art keywords
scalpel
knife
image
calculating
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310239628.6A
Other languages
English (en)
Other versions
CN115954096B (zh
Inventor
蔡惠明
李长流
王子阳
倪轲娜
卢露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Nuoyuan Medical Devices Co Ltd
Original Assignee
Nanjing Nuoyuan Medical Devices Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Nuoyuan Medical Devices Co Ltd filed Critical Nanjing Nuoyuan Medical Devices Co Ltd
Priority to CN202310239628.6A priority Critical patent/CN115954096B/zh
Publication of CN115954096A publication Critical patent/CN115954096A/zh
Application granted granted Critical
Publication of CN115954096B publication Critical patent/CN115954096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图像数据处理的腔镜VR成像系统，涉及腔镜VR成像技术领域，包括控制层、设备层、数据库层，所述设备层包括输入设备和输出设备，所述输入设备包括摄像机组、音频设备，所述输出设备包括腔镜VR成像的显示装置、报警装置，所述数据库层用于存储腔镜VR成像系统工作中采集的数据，所述控制层包括CPU、图像处理模块、计算模块、通讯模块、预警模块，所述CPU用于对整体系统的运行进行管理控制，所述预警模块用于对腔镜手术因医生所持手术刀刀尖的抖动幅度变化而产生的手术风险进行预警，并通过所述输出设备中的报警装置进行报警，所述图像处理模块用于对二维图像进行处理以形成VR图像。

Description

一种基于图像数据处理的腔镜VR成像系统
技术领域
本发明涉及腔镜VR成像技术领域，特别涉及腔镜VR成像领域中图像数据的处理。
背景技术
目前在医学领域，VR成像系统主要用于实践教学、CT（电子计算机断层扫描）以及医学机器人这些风险较低的应用方向，在腔镜手术领域，VR成像系统主要偏向于手术培训和对手术路线的导航。
如公开号为CN115602032A的中国专利公开了一种基于虚拟现实的消化内镜手术培训系统，所述基于虚拟现实的消化内镜手术培训系统包括：智能手术机器人、人机交互模块、虚拟现实模块以及远程指导模块；所述智能手术机器人与所述人机交互模块连接；所述人机交互模块与所述虚拟现实模块连接；所述远程指导模块与所述虚拟现实模块连接。本发明通过视觉仿真使相关人体器官以及手术环境更加真实并提高手术训练的质量。
但现有VR成像技术在实际的腔镜手术中，无法做到对腔镜手术因医生而产生的手术风险进行危险判断和预警。为解决这一问题，本发明提出了一种基于图像数据处理的腔镜VR成像系统。
发明内容
针对现有技术的不足，本发明的主要目的是提供一种基于图像数据处理的腔镜VR成像系统，能够有效解决背景技术中的问题：现有VR成像技术在实际的腔镜手术中，无法做到对腔镜手术因医生而产生的手术风险进行危险判断和预警。本发明的具体技术方案如下：
一种基于图像数据处理的腔镜VR成像系统，包括控制层、设备层、数据库层；
所述设备层包括输入设备和输出设备，所述输入设备包括摄像机组、音频设备，所述摄像机组用于获取腔镜手术时的二维图像，所述音频设备用于获取腔镜手术中的音频信息；所述输出设备包括腔镜VR成像的显示装置、报警装置，所述报警装置用于对手术风险进行预警，所述显示装置用于显示腔镜VR成像后的图像；
所述数据库层用于存储腔镜VR成像系统工作过程中采集的数据；
所述控制层包括CPU、图像处理模块、计算模块、通讯模块、预警模块，所述CPU用于对整体系统的运行进行管理控制，所述预警模块用于对腔镜手术因医生所持手术刀刀尖的抖动幅度变化而产生的手术风险进行预警，并通过所述输出设备中的报警装置进行报警，所述图像处理模块用于对二维图像进行处理以形成VR图像，所述计算模块用于对腔镜手术中提取到的各项数据进行计算分析，所述通讯模块用于在腔镜VR成像系统内部构建通讯网络，实现系统内部的数据互传。
本发明进一步的改进在于，所述图像处理模块包括图像去噪单元、图像拼接单元，所述图像去噪单元用于对模糊的、不清晰的二维图像进行去噪处理，所述图像拼接单元用于对不同图像重叠区域的特征点提取，并对图像进行校准、初匹配、拼接，使多个不同二维图像组合形成VR图像。
本发明进一步的改进在于，所述计算模块包括位置信息计算单元、抖动幅度计算单元，所述位置信息计算单元用于对病变部位与手术刀刀尖所处区域的位置信息进行精确计算，所述抖动幅度计算单元用于对在腔镜手术中执刀医生的不同持刀姿势下手术刀刀尖的抖动幅度进行计算。
本发明进一步的改进在于，所述计算模块中包括整体计算策略，所述整体计算策略包括以下具体步骤：
1、位置信息计算，包括：病变部位处于VR图像中的位置信息，医生所持手术刀刀尖操作的位置；
2、计算腔镜手术中执刀医生手术刀刀尖在不同持刀姿势下的抖动幅度；
3、根据医生所持手术刀刀尖操作的位置、刀尖抖动幅度大小、病变部位边缘位置信息进行危险判断，当判断手术刀尖不在病变部位边缘位置时，进行风险预警。
本发明进一步的改进在于，所述位置信息计算单元包括：对病变部位与手术刀刀尖所处区域的位置信息的计算策略，所述对病变部位与手术刀刀尖所处区域的位置信息的计算策略为：
s1、设进行所述VR成像的摄像机组分别为
Figure SMS_10
、
Figure SMS_4
，进行所述VR成像的摄像机组的投影矩阵分别为
Figure SMS_6
、
Figure SMS_14
，其中
Figure SMS_17
是投影矩阵
Figure SMS_15
的第i行第j列元素，
Figure SMS_18
是投影矩阵
Figure SMS_11
的第i行第j列元素，
Figure SMS_16
是第i个摄像机组的光心到病变部位与手术刀刀尖所处区域的距离，
Figure SMS_1
为病变部位与手术刀刀尖所处区域通过摄像机组
Figure SMS_7
得到的二维图像下的齐次坐标，其中
Figure SMS_3
为其二维图像下的齐次坐标的横坐标，
Figure SMS_5
为其二维图像下的齐次坐标的纵坐标，
Figure SMS_9
为病变部位与手术刀刀尖所处区域通过摄像机组
Figure SMS_13
得到的二维图像下的齐次坐标，其中
Figure SMS_2
为其二维图像下的齐次坐标的横坐标，
Figure SMS_8
为其二维图像下的齐次坐标的纵坐标，
Figure SMS_12
是病变部位与手术刀刀尖所处区域在世界坐标系下的齐次坐标，建立方程式：
Figure SMS_19
=
Figure SMS_20
；
Figure SMS_21
=
Figure SMS_22
；
s2、对上述方程式消去
Figure SMS_23
、
Figure SMS_24
，得到关于
Figure SMS_25
的4个线性方程：
(
Figure SMS_28
-
Figure SMS_30
)X+(
Figure SMS_32
-
Figure SMS_27
)Y+(
Figure SMS_29
-
Figure SMS_31
)Z=
Figure SMS_33
-
Figure SMS_26
；
(
Figure SMS_35
-
Figure SMS_38
)X+(
Figure SMS_40
-
Figure SMS_36
)Y+(
Figure SMS_37
-
Figure SMS_39
)Z=
Figure SMS_41
-
Figure SMS_34
；
(
Figure SMS_43
-
Figure SMS_46
)X+(
Figure SMS_48
-
Figure SMS_44
)Y+(
Figure SMS_45
-
Figure SMS_47
)Z=
Figure SMS_49
-
Figure SMS_42
；
(
Figure SMS_51
-
Figure SMS_53
)X+(
Figure SMS_55
-
Figure SMS_50
)Y+(
Figure SMS_54
-
Figure SMS_56
)Z=
Figure SMS_57
-
Figure SMS_52
；
s3、对4个线性方程联立求解，求解以摄像机组光心为坐标原点，病变部位与手术刀刀尖所处区域的三维点坐标
Figure SMS_58
。
本发明进一步的改进在于，所述抖动幅度计算单元包括抖动幅度的计算策略，所述抖动幅度的计算策略用于计算腔镜手术中执刀医生不同持刀姿势下手术刀刀尖的抖动幅度，具体步骤为：
a1、对医生、手术刀刀尖的位置信息进行计算，设其持刀姿势有m种，不同持刀姿势持续时间分别为
Figure SMS_59
，
Figure SMS_60
，...，
Figure SMS_61
，其中
Figure SMS_62
表示第i个持刀姿势持续时间的编号，对m种持刀姿势下，手术刀刀尖的位置信息间隔1ms提取一次；
a2、计算同一种持刀姿势下，提取n次手术刀刀尖的位置信息的三维点坐标
Figure SMS_64
，
Figure SMS_69
，....，
Figure SMS_73
，因间隔1ms提取一次，所以n为同种持刀姿势持续时间T的大小，则相邻两次提取的位置信息的点坐标
Figure SMS_66
和
Figure SMS_70
，在X，Y，Z坐标轴下的距离分别为
Figure SMS_74
，
Figure SMS_76
，
Figure SMS_63
，
Figure SMS_68
，分别计算相邻两次提取的三维点坐标距离
Figure SMS_72
，则同种持刀姿势下刀尖抖动幅度
Figure SMS_75
，即得腔镜手术中执刀医生手术刀刀尖在m种持刀姿势下的抖动幅度分别为
Figure SMS_65
，
Figure SMS_67
，...，
Figure SMS_71
；
本发明进一步的改进在于，所述危险判断具体步骤为：
b1、分析医生的持刀姿势，求得在该持刀姿势下，手术刀刀尖的振动幅度为
Figure SMS_77
；
b2、计算医生手持手术刀操作的位置信息的三维点坐标、病变部位边缘位置的三维点坐标，求得两者距离为
Figure SMS_78
；
b3、判断
Figure SMS_79
与
Figure SMS_80
的大小，若
Figure SMS_81
>
Figure SMS_82
，即说明医生并不能精准切除病变部位，发出风险预警。
与现有技术相比，本发明具有如下有益效果：
1、本发明能够对腔镜手术因医生而产生的手术风险进行危险判断和预警，大大减少了腔镜手术中存在的风险，提高了腔镜手术的安全性；
2、在腔镜手术中，医生的不同的持刀姿势下所持手术刀刀尖的抖动幅度差异较大，本发明能够对腔镜手术中执刀医生在不同持刀姿势下手术刀刀尖的抖动幅度进行精确量化，以便更精准的切除病变部位，在现有技术的基础上更进一步的提高切除的准确率和腔镜手术的成功率。
附图说明
图1为本发明一种基于图像数据处理的腔镜VR成像系统的框架示意图。
图2为本发明一种基于图像数据处理的腔镜VR成像系统的整体计算策略流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例
本实施例通过腔镜VR成像系统对腔镜手术中的病变部位所处区域的位置信息、医生所持手术刀刀尖所处区域的位置信息、医生在不同持刀姿势下所持手术刀刀尖的抖动幅度进行精确计算，以对在腔镜手术中因医生而产生的手术风险进行危险判断和预警，具体方案为，如图1和图2所示，一种基于图像数据处理的腔镜VR成像系统，包括控制层、设备层、数据库层；
所述设备层包括输入设备和输出设备，所述输入设备包括摄像机组、音频设备，所述摄像机组用于获取腔镜手术时的二维图像，所述音频设备用于获取腔镜手术中的音频信息；所述输出设备包括腔镜VR成像的显示装置、报警装置，所述报警装置用于对手术风险进行预警，所述显示装置用于显示腔镜VR成像后的图像；
所述数据库层用于存储腔镜VR成像系统工作过程中采集的数据；
所述控制层包括CPU、图像处理模块、计算模块、通讯模块、预警模块，所述CPU用于对整体系统的运行进行管理控制，所述预警模块用于对腔镜手术因医生所持手术刀刀尖的抖动幅度变化而产生的手术风险进行预警，并通过所述输出设备中的报警装置进行报警，所述图像处理模块用于对二维图像进行处理以形成VR图像，所述计算模块用于对腔镜手术中提取到的各项数据进行计算分析，所述通讯模块用于在腔镜VR成像系统内部构建通讯网络，实现系统内部的数据互传。
在本实施例中，所述图像处理模块包括图像去噪单元、图像拼接单元，所述图像去噪单元用于对模糊的、不清晰的二维图像进行去噪处理，所述图像拼接单元用于对不同图像重叠区域的特征点提取，并对图像进行校准、初匹配、拼接，使多个不同二维图像组合形成VR图像。
在本实施例中，所述计算模块包括位置信息计算单元、抖动幅度计算单元，所述位置信息计算单元用于对病变部位与手术刀刀尖所处区域的位置信息进行精确计算，所述抖动幅度计算单元用于对在腔镜手术中执刀医生的不同持刀姿势下手术刀刀尖的抖动幅度进行计算。
在本实施例中，所述计算模块中包括整体计算策略，所述整体计算策略包括以下具体步骤：
1、位置信息计算，包括：病变部位处于VR图像中的位置信息，医生所持手术刀刀尖操作的位置信息；
2、计算腔镜手术中执刀医生手术刀刀尖在不同持刀姿势下的抖动幅度；
3、根据医生所持手术刀刀尖操作的位置、刀尖抖动幅度大小、病变部位边缘位置信息进行危险判断，当判断手术刀尖不在病变部位边缘位置时，进行风险预警。
在本实施例中，所述位置信息计算单元包括：对病变部位与手术刀刀尖所处区域的位置信息的计算策略，所述对病变部位与手术刀刀尖所处区域的位置信息的计算策略为：
s1、设进行所述VR成像的摄像机组分别为
Figure SMS_91
、
Figure SMS_86
，进行所述VR成像的摄像机组的投影矩阵分别为
Figure SMS_87
、
Figure SMS_88
，其中
Figure SMS_92
是投影矩阵
Figure SMS_93
的第i行第j列元素，
Figure SMS_97
是投影矩阵
Figure SMS_94
的第i行第j列元素，
Figure SMS_99
是第i个摄像机组的光心到病变部位与手术刀刀尖所处区域的距离，
Figure SMS_83
为病变部位与手术刀刀尖所处区域通过摄像机组
Figure SMS_90
得到的二维图像下的齐次坐标，其中
Figure SMS_95
为其二维图像下的齐次坐标的横坐标，
Figure SMS_98
为其二维图像下的齐次坐标的纵坐标，
Figure SMS_96
为病变部位与手术刀刀尖所处区域通过摄像机组
Figure SMS_100
得到的二维图像下的齐次坐标，其中
Figure SMS_84
为其二维图像下的齐次坐标的横坐标，
Figure SMS_89
为其二维图像下的齐次坐标的纵坐标，
Figure SMS_85
是病变部位与手术刀刀尖所处区域在世界坐标系下的齐次坐标，建立方程式：
Figure SMS_101
=
Figure SMS_102
；
Figure SMS_103
=
Figure SMS_104
；
s2、对上述方程式消去
Figure SMS_105
、
Figure SMS_106
，得到关于
Figure SMS_107
的4个线性方程：
(
Figure SMS_109
-
Figure SMS_112
)X+(
Figure SMS_114
-
Figure SMS_108
)Y+(
Figure SMS_111
-
Figure SMS_113
)Z=
Figure SMS_115
-
Figure SMS_110
；
(
Figure SMS_117
-
Figure SMS_119
)X+(
Figure SMS_121
-
Figure SMS_118
)Y+(
Figure SMS_120
-
Figure SMS_122
)Z=
Figure SMS_123
-
Figure SMS_116
；
(
Figure SMS_126
-
Figure SMS_128
)X+(
Figure SMS_130
-
Figure SMS_125
)Y+(
Figure SMS_127
-
Figure SMS_129
)Z=
Figure SMS_131
-
Figure SMS_124
；
(
Figure SMS_133
-
Figure SMS_135
)X+(
Figure SMS_137
-
Figure SMS_134
)Y+(
Figure SMS_136
-
Figure SMS_138
)Z=
Figure SMS_139
-
Figure SMS_132
；
s3、对4个线性方程联立求解，求解以摄像机组光心为坐标原点，病变部位与手术刀刀尖所处区域的三维点坐标
Figure SMS_140
。
在本实施例中，所述抖动幅度计算单元包括抖动幅度的计算策略，所述抖动幅度的计算策略用于计算腔镜手术中执刀医生不同持刀姿势下手术刀刀尖的抖动幅度，具体步骤为：
a1、对医生、手术刀刀尖的位置信息进行计算，设其持刀姿势有m种，不同持刀姿势持续时间分别为
Figure SMS_141
，
Figure SMS_142
，...，
Figure SMS_143
，其中
Figure SMS_144
表示第i个持刀姿势持续时间的编号，对m种持刀姿势下，手术刀刀尖的位置信息间隔1ms提取一次；
a2、计算同一种持刀姿势下，提取n次手术刀刀尖的位置信息的三维点坐标
Figure SMS_145
，
Figure SMS_149
，....，
Figure SMS_153
，因间隔1ms提取一次，所以n为同种持刀姿势持续时间T的大小，则相邻两次提取的位置信息的点坐标
Figure SMS_147
和
Figure SMS_150
，在X，Y，Z坐标轴下的距离分别为
Figure SMS_154
，
Figure SMS_157
，
Figure SMS_148
，
Figure SMS_152
，分别计算相邻两次提取的三维点坐标距离
Figure SMS_155
，则同种持刀姿势下刀尖抖动幅度
Figure SMS_158
，即得腔镜手术中执刀医生手术刀刀尖在m种持刀姿势下的抖动幅度分别为
Figure SMS_146
，
Figure SMS_151
，...，
Figure SMS_156
；
在本实施例中，所述危险判断具体步骤为：
b1、分析医生的持刀姿势，求得在该持刀姿势下，手术刀刀尖的振动幅度为
Figure SMS_159
；
b2、计算医生手持手术刀操作的位置信息的三维点坐标、病变部位边缘位置的三维点坐标，求得两者距离为
Figure SMS_160
；
b3、判断
Figure SMS_161
与
Figure SMS_162
的大小，若
Figure SMS_163
>
Figure SMS_164
，即说明医生并不能精准切除病变部位，发出风险预警。
通过本实施例能够实现：通过腔镜VR成像系统对腔镜手术中的病变部位所处区域的位置信息、医生所持手术刀刀尖所处区域的位置信息、医生在不同持刀姿势下所持手术刀刀尖的抖动幅度进行精确计算，以对在腔镜手术中因医生而产生的手术风险进行危险判断和预警。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于图像数据处理的腔镜VR成像系统，包括控制层、设备层、数据库层；
所述设备层包括输入设备和输出设备，所述输入设备包括摄像机组、音频设备，所述摄像机组用于获取腔镜手术时的二维图像，所述音频设备用于获取腔镜手术中的音频信息；所述输出设备包括腔镜VR成像的显示装置、报警装置，所述报警装置用于对手术风险进行预警，所述显示装置用于显示腔镜VR成像后的图像；
所述数据库层用于存储腔镜VR成像系统工作过程中采集的数据；
其特征在于：所述控制层包括CPU、图像处理模块、计算模块、通讯模块、预警模块，所述CPU用于对整体系统的运行进行管理控制，所述预警模块用于对腔镜手术因医生所持手术刀刀尖的抖动幅度变化而产生的手术风险进行预警，并通过所述输出设备中的报警装置进行报警，所述图像处理模块用于对二维图像进行处理以形成VR图像，所述计算模块用于对腔镜手术中提取到的各项数据进行计算分析，所述通讯模块用于在腔镜VR成像系统内部构建通讯网络，实现系统内部的数据互传。
2.根据权利要求1所述的一种基于图像数据处理的腔镜VR成像系统，其特征在于：所述图像处理模块包括图像去噪单元、图像拼接单元，所述图像去噪单元用于对模糊的、不清晰的二维图像进行去噪处理，所述图像拼接单元用于对不同图像重叠区域的特征点提取，并对图像进行校准、初匹配、拼接，使多个不同二维图像组合形成VR图像。
3.根据权利要求2所述的一种基于图像数据处理的腔镜VR成像系统，其特征在于：所述计算模块包括位置信息计算单元、抖动幅度计算单元，所述位置信息计算单元用于对病变部位与手术刀刀尖所处区域的位置信息进行精确计算，所述抖动幅度计算单元用于对在腔镜手术中执刀医生的不同持刀姿势下手术刀刀尖的抖动幅度进行计算。
4.根据权利要求3所述的一种基于图像数据处理的腔镜VR成像系统，其特征在于：所述计算模块中包括整体计算策略，所述整体计算策略包括以下具体步骤：
101、位置信息计算，包括：病变部位处于VR图像中的位置信息，医生所持手术刀刀尖操作的位置；
102、计算腔镜手术中执刀医生手术刀刀尖在不同持刀姿势下的抖动幅度；
103、根据医生所持手术刀刀尖操作的位置、刀尖抖动幅度大小、病变部位边缘位置信息进行危险判断，当判断手术刀尖不在病变部位边缘位置时，进行风险预警。
5.根据权利要求3所述的一种基于图像数据处理的腔镜VR成像系统，其特征在于：所述位置信息计算单元包括：对病变部位与手术刀刀尖所处区域的位置信息的计算策略，所述对病变部位与手术刀刀尖所处区域的位置信息的计算策略为：
201、设进行所述VR成像的摄像机组分别为 
Figure QLYQS_11
、
Figure QLYQS_3
，进行所述VR成像的摄像机组的投影矩阵分别为
Figure QLYQS_7
、
Figure QLYQS_12
，其中
Figure QLYQS_17
是投影矩阵
Figure QLYQS_15
的第i行第j列元素，
Figure QLYQS_16
是投影矩阵
Figure QLYQS_10
的第i行第j列元素，
Figure QLYQS_14
是第i个摄像机组的光心到病变部位与手术刀刀尖所处区域的距离，
Figure QLYQS_1
为病变部位与手术刀刀尖所处区域通过摄像机组
Figure QLYQS_6
得到的二维图像下的齐次坐标，其中
Figure QLYQS_5
为其二维图像下的齐次坐标的横坐标，
Figure QLYQS_9
为其二维图像下的齐次坐标的纵坐标，
Figure QLYQS_13
为病变部位与手术刀刀尖所处区域通过摄像机组
Figure QLYQS_18
得到的二维图像下的齐次坐标，其中
Figure QLYQS_4
为其二维图像下的齐次坐标的横坐标，
Figure QLYQS_8
为其二维图像下的齐次坐标的纵坐标，
Figure QLYQS_2
是病变部位与手术刀刀尖所处区域在世界坐标系下的齐次坐标，建立方程式：
Figure QLYQS_19
=
Figure QLYQS_20
；
Figure QLYQS_21
=
Figure QLYQS_22
；
202、对上述方程式消去
Figure QLYQS_23
、
Figure QLYQS_24
，得到关于
Figure QLYQS_25
的4个线性方程：
(
Figure QLYQS_27
-
Figure QLYQS_30
)X+(
Figure QLYQS_32
-
Figure QLYQS_28
)Y+(
Figure QLYQS_29
-
Figure QLYQS_31
)Z=
Figure QLYQS_33
-
Figure QLYQS_26
；
(
Figure QLYQS_36
-
Figure QLYQS_38
)X+(
Figure QLYQS_40
-
Figure QLYQS_35
)Y+(
Figure QLYQS_37
-
Figure QLYQS_39
)Z=
Figure QLYQS_41
-
Figure QLYQS_34
；
(
Figure QLYQS_43
-
Figure QLYQS_45
)X+(
Figure QLYQS_47
-
Figure QLYQS_44
)Y+(
Figure QLYQS_46
-
Figure QLYQS_48
)Z=
Figure QLYQS_49
-
Figure QLYQS_42
；
(
Figure QLYQS_50
-
Figure QLYQS_53
)X+(
Figure QLYQS_55
-
Figure QLYQS_52
)Y+(
Figure QLYQS_54
-
Figure QLYQS_56
)Z=
Figure QLYQS_57
-
Figure QLYQS_51
；
203、对4个线性方程联立求解，求解以摄像机组光心为坐标原点，病变部位与手术刀刀尖所处区域的三维点坐标
Figure QLYQS_58
。
6.根据权利要求3所述的一种基于图像数据处理的腔镜VR成像系统，其特征在于：所述抖动幅度计算单元包括抖动幅度的计算策略，所述抖动幅度的计算策略用于计算腔镜手术中执刀医生不同持刀姿势下手术刀刀尖的抖动幅度，具体步骤为：
301、对医生、手术刀刀尖的位置信息进行计算，设其持刀姿势有m种，不同持刀姿势持续时间分别为
Figure QLYQS_59
，
Figure QLYQS_60
，...，
Figure QLYQS_61
，其中
Figure QLYQS_62
表示第i个持刀姿势持续时间的编号，对m种持刀姿势下，手术刀刀尖的位置信息间隔1ms提取一次；
302、计算同一种持刀姿势下，提取n次手术刀刀尖的位置信息的三维点坐标
Figure QLYQS_65
，
Figure QLYQS_67
，....，
Figure QLYQS_71
，因间隔1ms提取一次，所以n为同种持刀姿势持续时间T的大小，则相邻两次提取的位置信息的点坐标
Figure QLYQS_64
和
Figure QLYQS_68
，在X，Y，Z坐标轴下的距离分别为
Figure QLYQS_72
，
Figure QLYQS_75
， 
Figure QLYQS_63
，
Figure QLYQS_70
，分别计算相邻两次提取的三维点坐标距离
Figure QLYQS_74
，则同种持刀姿势下刀尖抖动幅度
Figure QLYQS_76
，即得腔镜手术中执刀医生手术刀刀尖在m种持刀姿势下的抖动幅度分别为
Figure QLYQS_66
，
Figure QLYQS_69
，...，
Figure QLYQS_73
。
7.根据权利要求4所述的一种基于图像数据处理的腔镜VR成像系统，其特征在于：所述危险判断具体步骤为：
401、分析医生的持刀姿势，求得在该持刀姿势下，手术刀刀尖的振动幅度为
Figure QLYQS_77
；
402、计算医生手持手术刀操作的位置信息的三维点坐标、病变部位边缘位置的三维点坐标，求得两者距离为
Figure QLYQS_78
；
403、判断
Figure QLYQS_79
与
Figure QLYQS_80
的大小，若
Figure QLYQS_81
>
Figure QLYQS_82
，即说明医生并不能精准切除病变部位，发出风险预警。
CN202310239628.6A 2023-03-14 2023-03-14 一种基于图像数据处理的腔镜vr成像系统 Active CN115954096B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310239628.6A CN115954096B (zh) 2023-03-14 2023-03-14 一种基于图像数据处理的腔镜vr成像系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310239628.6A CN115954096B (zh) 2023-03-14 2023-03-14 一种基于图像数据处理的腔镜vr成像系统

Publications (2)

Publication Number Publication Date
CN115954096A true CN115954096A (zh) 2023-04-11
CN115954096B CN115954096B (zh) 2023-05-30

Family

ID=85907013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310239628.6A Active CN115954096B (zh) 2023-03-14 2023-03-14 一种基于图像数据处理的腔镜vr成像系统

Country Status (1)

Country Link
CN (1) CN115954096B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117204790A (zh) * 2023-09-12 2023-12-12 南京诺源医疗器械有限公司 一种内窥镜的图像处理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201353203Y (zh) * 2009-02-09 2009-12-02 李晴航 计算机辅助手术术中定位系统
EP3453355A1 (en) * 2017-09-08 2019-03-13 Mariner Endosurgery Inc. System and method for inhibiting injury to a patient during laparoscopic surgery
CN110037768A (zh) * 2019-04-23 2019-07-23 雅客智慧（北京）科技有限公司 关节置换手术辅助定位方法、定位装置及系统
CN110916764A (zh) * 2019-12-06 2020-03-27 厚凯（天津）医疗科技有限公司 超声手术刀的振幅确定方法、装置、存储介质及电子设备
CN115338873A (zh) * 2022-10-19 2022-11-15 四川爱麓智能科技有限公司 一种基于多参多维距离场数字化的机器人运动规划方法
CN115515520A (zh) * 2020-02-28 2022-12-23 第八志力公司 手术导航系统及其应用

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201353203Y (zh) * 2009-02-09 2009-12-02 李晴航 计算机辅助手术术中定位系统
EP3453355A1 (en) * 2017-09-08 2019-03-13 Mariner Endosurgery Inc. System and method for inhibiting injury to a patient during laparoscopic surgery
CN110037768A (zh) * 2019-04-23 2019-07-23 雅客智慧（北京）科技有限公司 关节置换手术辅助定位方法、定位装置及系统
CN110916764A (zh) * 2019-12-06 2020-03-27 厚凯（天津）医疗科技有限公司 超声手术刀的振幅确定方法、装置、存储介质及电子设备
CN115515520A (zh) * 2020-02-28 2022-12-23 第八志力公司 手术导航系统及其应用
CN115338873A (zh) * 2022-10-19 2022-11-15 四川爱麓智能科技有限公司 一种基于多参多维距离场数字化的机器人运动规划方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谭珂 等: "虚拟现实技术在鼻腔镜手术仿真训练系统中的应用研究", 《系统仿真学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117204790A (zh) * 2023-09-12 2023-12-12 南京诺源医疗器械有限公司 一种内窥镜的图像处理方法及系统
CN117204790B (zh) * 2023-09-12 2024-01-30 南京诺源医疗器械有限公司 一种内窥镜的图像处理方法及系统

Also Published As

Publication number Publication date
CN115954096B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN107613897B (zh) 扩增实境的外科导航
US10258427B2 (en) Mixed reality imaging apparatus and surgical suite
CN102413756B (zh) 从单目内窥镜图像估计实时深度
US10359916B2 (en) Virtual object display device, method, program, and system
CN106296805B (zh) 一种基于实时反馈的增强现实人体定位导航方法及装置
CN110033465B (zh) 一种应用于双目内窥镜医学图像的实时三维重建方法
EP3138526B1 (en) Augmented surgical reality environment system
CN104736085B (zh) 确定医疗器械在分支解剖结构中的位置
US20170315364A1 (en) Virtual object display device, method, program, and system
CN109512514A (zh) 一种混合现实骨科微创手术导航系统及使用方法
EP2829218B1 (en) Image completion system for in-image cutoff region, image processing device, and program therefor
CN112618026B (zh) 远程手术数据融合交互显示系统及方法
TW202103646A (zh) 用於遠距監督手術程序之擴增實境系統及方法
US20130259315A1 (en) Methods for generating stereoscopic views from monoscopic endoscope images and systems using the same
US20190053872A1 (en) Systems and methods for removing occluding objects in surgical images and/or video
US20050203380A1 (en) System and method for augmented reality navigation in a medical intervention procedure
CN107689045B (zh) 内窥镜微创手术导航的图像显示方法、装置及系统
JP2014221175A (ja) 超音波診断システム、画像処理装置およびその制御方法と制御プログラム
CN115954096A (zh) 一种基于图像数据处理的腔镜vr成像系统
US20230114385A1 (en) Mri-based augmented reality assisted real-time surgery simulation and navigation
CN110547869A (zh) 一种基于虚拟现实的术前辅助规划装置
JP2017164075A (ja) 画像位置合せ装置、方法およびプログラム
CN106097294A (zh) 基于自动对应进行骨重定位
CN111658142A (zh) 一种基于mr的病灶全息导航方法及系统
CN109875683A (zh) 一种下颌角截骨术中建立截骨面预测模型的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant