CN106890025B - 一种微创手术导航系统和导航方法 - Google Patents
一种微创手术导航系统和导航方法 Download PDFInfo
- Publication number
- CN106890025B CN106890025B CN201710122633.3A CN201710122633A CN106890025B CN 106890025 B CN106890025 B CN 106890025B CN 201710122633 A CN201710122633 A CN 201710122633A CN 106890025 B CN106890025 B CN 106890025B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- model
- preoperative
- intraoperative
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000002324 minimally invasive surgery Methods 0.000 title claims abstract description 15
- 230000003287 optical effect Effects 0.000 claims abstract description 101
- 210000000056 organ Anatomy 0.000 claims abstract description 98
- 230000004927 fusion Effects 0.000 claims abstract description 78
- 239000002131 composite material Substances 0.000 claims abstract description 77
- 238000010882 preoperative diagnosis Methods 0.000 claims abstract description 22
- 238000012937 correction Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 17
- 238000012634 optical imaging Methods 0.000 claims description 17
- 239000003550 marker Substances 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 5
- 230000001133 acceleration Effects 0.000 description 13
- 239000000523 sample Substances 0.000 description 12
- 238000001356 surgical procedure Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 230000017531 blood circulation Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009347 mechanical transmission Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012752 Hepatectomy Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000013334 tissue model Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
- A61B2017/00238—Type of minimally invasive operation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开一种微创手术导航系统和导航方法。导航系统包括复合内窥镜镜体、空间定位装置和手术导航服务器。导航前，对术前诊断影像进行三维模型重构、术前规划；导航时，同时获取术中器官组织的三维光学图像信号和二维超声图像信号并进行三维重构，对带有术前规划信息的术前诊断影像三维模型进行器官组织形变校正，将三维光学模型与动态术前配准模型进行配准融合，可同时实现光学导航和超声导航的功能，能实时连续地从术中光学导航切换到术中超声导航，由器官组织表面到器官组织的内部结构中全方位连续地获取术中器官组织的关键部位位点、最佳手术切入点和内部行径路径。本发明克服现有技术存在的功能相对单一、不连续的缺陷，有效降低手术风险。
Description
技术领域
本发明涉及一种以复合内窥镜镜体为核心器件的导航系统和方法，属于医疗超声电子内窥镜及手术导航技术领域。
背景技术
微创手术是外科未来重要的发展方向之一。其具有创伤小、疼痛轻、恢复快等优越性。但在某些手术（如肝切除）中医生不能实时、精准地观察器官组织复杂的内部生理结构，为了能在手术过程中也能了解器官组织的内部生理结构，人们将术前具有器官组织三维结构的影像数据（如MRI/CT）与术中影像相结合形成基于图像引导的手术导航方法。
当前外科手术有以下几种典型的微创手术导航技术：术中3D 超声融合术前CT/MRI 导航技术、术中3D 光学融合术前CT/MRI 导航技术和术中3D 光学融合术中2D 超声技术。其中，术中3D 超声融合术前CT/MRI 导航技术能提供医生术中器官组织的解剖结构、组织弹性和血流等信息，但缺乏器官组织的光学表面信息。光学融合术前CT/MRI 导航技术能够提供医生术中器官组织的表面信息，但缺乏超声成像而不能对术中器官组织的变形和器官组织内部进行实时成像，增加了手术的风险。术中3D 光学融合术中2D 超声技术能提供术中器官组织的内部结构信息和光学表面信息，引导医生避开重要组织和血管，但该导航系统缺乏术前诊断信息和术前规划，对关键部位的快速识别和定位具有很大难度，并且该导航系统的超声探头与腹腔镜是分离独立设计和操控的，不方便于医生手术的操作。综上所述，虽然当前现有的微创手术导航技术得到了一定程度的应用，但这些手术导航技术存在着功能相对单一，不连续的缺陷，即在光学导航下只能看到器官组织表面，在超声导航下只能看到器官组织内部或是超声和光学成像设备是分离的，光学导航和超声导航不能连续地实时同步切换。这都使得医生在临床手术时，不能精准、连续、实时地观察到复杂器官组织的生理全貌。
发明内容
本发明的目的是提供一种微创手术导航系统及方法，从而克服现有技术存在的术中导航的功能相对单一、不连续的缺陷。
为实现上述目的，本发明所采取的技术方案是：
本发明微创手术导航系统包括复合内窥镜镜体、空间定位装置和手术导航服务器；
所述复合内窥镜镜体能够用于获取器官组织的二维超声回波信号和三维光学图像；
所述空间定位装置，能够用于定位追踪搭载有空间定位标记物的目标物，实时获取各目标物在同一空间坐标系下的坐标信息，所述目标物为所述复合内窥镜镜体和手术器械；
所述手术导航服务器，能够将所述二维超声回波信号进行处理得到二维超声图像信号、对所述三维光学图像进行优化处理得到具有视差的三维光学图像信号、提取所述复合内窥镜镜体的姿态角度的数据信号并进行降噪和解算处理；能够对术前诊断影像进行三维模型重构，得到术前诊断影像三维模型；能够构建术前规划的实施环境；能够对所述术前诊断影像三维模型进行术前规划并获得带有术前规划信息的术前诊断影像三维模型，所述术前规划信息包括器官组织的关键部位的标记信息、手术器械对器官组织切入点的规划信息和手术器械在器官组织内部行径路线的规划信息；能够对所述二维超声图像信号和三维光学图像信号分别进行实时三维模型重构，分别得到术中三维超声模型、术中三维光学模型；能够对带有术前规划信息的术前诊断影像三维模型进行器官组织形变校正，形成动态术前配准三维模型，并将术中三维光学模型、术中三维超声模型分别与动态术前配准三维模型进行配准融合而形成术中光学融合模型和术中超声融合模型；能够从术中光学融合模型和术中超声融合模型中提取出术前规划信息中的器官组织的关键部位的标记信息，用以对手术中的器官组织的关键部位给出提示；能够对各目标物、术中光学融合模型和术中超声融合模型进行空间坐标重映射处理，获取各目标物、术中光学融合模型和术中超声融合模型在同一坐标系的坐标信息。
进一步地，本发明所述复合内窥镜镜体的先端部固定安装有二维超声成像装置和双通道光学成像装置，所述复合内窥镜镜体固定安装有对复合内窥镜镜体的位姿进行跟踪的装置和测量复合内窥镜镜体的先端部相对于手柄的角度的装置，复合内窥镜镜体的外表面固定安装有空间定位标记物。
本发明微创手术导航方法包括如下步骤：
（1）对术前诊断影像进行三维模型重构，获得术前诊断影像三维模型；基于术前诊断影像三维模型，构建术前规划的实施环境，并对术前诊断影像三维模型进行术前规划，获得带有术前规划信息的术前诊断影像三维模型，所述术前规划信息包括器官组织的关键部位的标记信息、手术器械对器官组织切入点的规划信息和手术器械在器官组织内部行径路线的规划信息；
（2）获取术中器官组织的三维光学图像和二维超声回波信号，分别处理后得到具有视差的三维光学图像信号和二维超声图像信号；对三维光学图像信号和二维超声图像信号分别进行实时三维模型重构，获得术中三维光学模型和术中三维超声模型；提取术中三维超声模型中的器官组织的结构深度信息和术中三维光学模型中的器官组织的表面深度信息，对带有术前规划信息的术前诊断影像三维模型进行器官组织形变校正，重绘术前诊断影像三维模型后形成动态术前配准三维模型；
（3）将术中三维光学模型、术中三维超声模型分别与动态术前配准三维模型进行配准融合形成术中光学融合模型和术中超声融合模型；
（4）从术中光学融合模型和术中超声融合模型中提取出术前规划信息中的器官组织的关键部位标记信息，对手术中的器官组织的关键部位给出提示，复合内窥镜镜体的先端部根据该提示移至包含关键部位的组织器官的表面；
（5）对手术器械和复合内窥镜镜体上的空间定位标记物进行实时定位跟踪，获取手术器械和复合内窥镜镜体在同一坐标系下的坐标信息；提取复合内窥镜镜体的姿态角度的数据信号并进行降噪和解算处理，得到复合内窥镜镜体的空间位置和姿态信息、以及复合内窥镜镜体的先端部相对于手柄的角度信息；对手术器械、复合内窥镜镜体、术中光学融合模型和术中超声融合模型进行空间坐标重映射处理，获取手术器械、复合内窥镜镜体、术中光学融合模型和术中超声融合模型在同一坐标系的坐标信息；从术中光学融合模型和术中超声融合模型中提取术前规划信息中的手术器械对器官组织切入点的规划信息和手术器械在器官组织内部行径路线的规划信息，手术器械按照术前规划信息中的手术器械对器官组织切入点和手术器械在器官组织内部行径路线进行操作。
与现有技术相比，本发明的有益效果是：
本发明微创手术导航系统和方法能同时获取术中器官组织的实时三维光学图像和二维超声图像，既能提供器官组织的表面纹理信息又能提供器官组织的内部生理结构信息，并将术中光学导航和超声导航结合起来，相互配合和相互补充。在术中，可同时实现光学导航和超声导航并可实时连续地从术中光学导航切换到术中超声导航，实时获取器官组织表面信息和器官组织的内部结构信息，从而全方位连续地获取术中器官组织的关键部位位点、最佳手术切入点和内部行径路径。本发明微创手术导航系统和方法克服了现有导航技术中存在的功能相对单一的、不连续的缺陷，有效降低了现有手术导航系统带来的手术风险。
附图说明
图1是本发明的微创手术导航系统在使用时的连接示意图；
图2是本发明的复合内窥镜镜体的结构示意图；
图3是本发明的复合内窥镜镜体的先端部的一种结构示意图；
图4是本发明的复合内窥镜镜体的手柄的一种结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图以具体的实施例对本发明的技术方案进行详细的描述。但是本发明可以有不同的实施方式，并不限于以下所描述的实施方式。
如图1所示，本发明微创手术导航系统包括复合内窥镜镜体104、空间定位装置103和手术导航服务器101。
如图2和3所示，作为本发明的一种实施方式，复合内窥镜镜体104的先端部117的顶端安装有二维超声成像装置108，并在复合内窥镜镜体104的先端部117设有双通道光学成像孔111、112，此外，复合内窥镜镜体104的先端部117还设有照明通道口109和器械口110。如图3所示，照明通道口109位于双通道光学成像孔111 、112的上方，器械口110位于照明通道口109的左边。在双通道光学成像孔111、112的下方安装有双通道光学成像装置115。如图4所示，复合内窥镜镜体104的手柄116的内壁上通过螺丝固定安装有装置113和装置114，其中，装置114可对复合内窥镜镜体104的位姿进行动态定位跟踪，装置113可测量复合内窥镜镜体104的先端部117相对于手柄116的角度。复合内窥镜镜体104的外表面（如手柄116的外表面）固定安装有空间定位标记物105。其中，二维超声成像装置108能够获取器官组织的二维超声回波信号，双通道光学成像装置115能够获取器官组织的三维光学图像。具体地说，二维超声波探头和三维光学成像模组可同时工作，获取同一器官组织的实时二维超声回波信号和三维光学图像。复合内窥镜镜体104的外表面固定安装的空间定位标记物105可被空间定位装置103识别定位跟踪。
关于对复合内窥镜镜体104的位姿进行动态定位跟踪的装置114，可以是各种传感器，如加速度传感器、磁定位传感器、陀螺仪等一种或多种的组合；也可以是机械测量装置，也可以是传感器与机械测量装置的组合。以下以包含多轴加速度传感器和陀螺仪的测量装置作为对复合内窥镜镜体104的位姿进行动态定位跟踪的装置为例进行说明。其中，多轴加速度传感器可对复合内窥镜镜体104的各个轴方向上的加速度进行检测，并给出各个轴方向上的加速度值或是角度值；陀螺仪能测量复合内窥镜镜体自身的旋转运动，可提供各个轴方向上精度更高的角度信息。加速度传感器和陀螺仪能够反应其自身坐标系下的复合内窥镜镜体104的位姿信息，并且两者相结合能相互校准、相互补充，可对复合内窥镜镜体104的位姿进行动态定位跟踪，提供更高精度的测量结果。在使用之前需对加速度传感器和陀螺仪的坐标系进行标定，并统一两者的使用坐标系。
空间定位装置103能够用于定位、追踪搭载有空间定位标记物105、106的目标物，实时获取各目标物在同一空间坐标系下的坐标信息。目标物为复合内窥镜镜体104和手术器械（例如，手术器械为手术探针107）。空间定位装置103可以是磁定位装置、光学定位装置、可见光定位装置中的任意一种或是多种的组合，以下以光学定位装置为例来说明。关于手术器械，可以是手术探针、超生刀、高频电刀等刚性器械。以下以手术探针107作为手术器械为例进行说明。如图1和图4所示，在手术探针107的尾部固定有空间定位标记物106，并在复合内窥镜镜体104的手柄116的外表面上固定有空间定位标记物105，空间定位标记物105有一定的主动发光频率，空间定位装置103可捕捉空间定位标记物105给出的发光频率，并记录和快速显示空间定位标记物105随时间变化的运动信息包括运动轨迹和位置坐标等。空间定位标记物106与手术探针107的坐标位置存在一定的刚性变换关系，空间定位标记物105与复合内窥镜镜体104的手柄的坐标位置也存在一定的刚性变换关系，从而空间定位装置103可实现对手术探针107和复合内窥镜镜体104的实时定位跟踪，获取复合内窥镜镜体104和手术探针107在同一空间坐标系下的坐标信息。
手术导航服务器101具有以下功能：能够用于将二维超声回波信号进行处理得到二维超声图像信号、对三维光学图像进行优化处理得到具有视差的三维光学图像信号、提取复合内窥镜镜体的姿态角度的数据信号并进行降噪和解算处理；能够完成对术前诊断影像的三维模型重构，得到术前诊断影像三维模型；构建术前规划的实施环境；对术前诊断影像三维模型进行术前规划并获取带有术前规划信息的术前诊断影像三维模型；对二维超声图像信号和三维光学图像信号分别进行实时三维模型重构，分别得到术中三维超声模型、术中三维光学模型；对带有术前规划信息的术前诊断影像三维模型进行器官组织形变校正，形成动态术前配准三维模型；并将重构后得到的术中三维超声模型与动态术前配准三维模型进行配准融合而形成术中超声融合模型，将重构后得到的术中三维光学模型与动态术前配准三维模型进行配准融合而形成术中光学融合模型；从术中光学融合模型和术中超声融合模型中提取出术前规划信息中的器官组织的关键部位的标记信息，用以对手术中的器官组织的关键部位给出提示；对各目标物、术中光学融合模型和术中超声融合模型进行空间坐标重映射处理，获取各目标物、术中光学融合模型和术中超声融合模型在同一坐标系的坐标信息。从术中光学融合模型和术中超声融合模型中提取术前规划信息中的手术器械对器官组织切入点的规划信息和手术器械在器官组织内部行径路线的规划信息。
二维超声回波信号来自安装于复合内窥镜镜体104的先端部117的二维超声成像装置108；三维光学图像来自于复合内窥镜镜体104的先端部117内的双通道光学成像装置115。
复合内窥镜镜体104的姿态角度的数据信号来自固定安装于复合内窥镜镜体104的对复合内窥镜镜体104的位姿进行动态定位跟踪的装置114和测量复合内窥镜镜体104的先端部117相对于复合内窥镜镜体104的手柄116的角度的装置113。
术前规划信息包括：对术前诊断影像三维模型中的器官组织的关键部位进行识别并标记所获取的器官组织的关键部位的标记信息，手术器械对器官组织切入点的规划信息和手术器械在器官组织内部行径路线的规划信息。
术前规划的实施环境构建可包括对虚拟内窥镜镜体和虚拟手术器械的工作模型构建，虚拟手术器械对术前诊断影像三维模型的仿真切割模型构建等可模拟真实手术中进行的仿真动态模型的构建。
动态术前配准三维模型可以是单个器官组织的三维模型，也可以是多个器官组织模型的集合体。
本发明中，术中光学融合模型和术中超声融合模型是由术中器官组织重构后的术中三维光学模型、术中三维超声模型分别与动态术前配准三维模型的配准融合而来，即是将术中三维光学模型、术中三维超声模型分别与动态术前配准三维模型进行坐标变换统一、模型对齐、相同点匹配、模型融合，使得术中三维光学模型与动态术前配准模型进行配准融合形成术中光学融合模型，术中三维超声模型与动态术前配准模型进行配准融合形成术中超声融合模型。术中光学融合模型可包含术中器官组织的三维光学表面深度信息、术前器官组织的内部结构深度信息、与相邻器官组织的毗邻关系以及术前规划信息等。而术中超声融合模型可包含术中器官组织的内部结构深度信息、术前器官组织的内部结构深度信息、与相邻器官组织的毗邻关系以及术前规划信息。并且，动态术前配准三维模型的术前器官组织的内部结构深度信息可对术中超声融合模型中的内部结构深度信息模糊的地方进行补充增强和校正。
获取各目标物、术中光学融合模型和术中超声融合模型在同一坐标系的坐标信息的一种方式是：通过对复合内窥镜镜体104的先端部117的双通道光学成像模组115进行物镜镜头内参数的标定，根据物镜镜头内参数计算得到三维光学图像与光学成像模组115的空间变换关系，进一步得到术中三维光学模型与光学成像模组115的空间变换关系，结合对手术探针107和复合内窥镜镜体104上的空间定位标记物进行实时定位跟踪所获得各目标物在同一坐标系下的坐标信息，得到复合内窥镜镜体104的先端部117与各目标物的定位信息，通过矩阵变换，可实现各目标物与术中三维光学模型于同一坐标系内。术中光学融合模型是由术中三维光学模型与动态术前配准三维模型配准融合而来，术中三维光学模型与术中光学融合模型的坐标系是统一的，可实现各目标物与术中光学融合模型于同一坐标系内。根据二维超声成像装置108与双通道光学成像装置115的实际物理位置关系，可以计算出各目标物与术中三维超声模型于同一坐标系下的相对空间坐标位置。
物镜镜头内参数的标定是一种获取双通道光学成像模组115中成像物镜参数的方法，该物镜镜头内参数包括焦点坐标、焦距、畸变大小等。
关于各目标物、术中光学融合模型和术中超声融合模型进行空间坐标重映射的一种实施例是将手术器械的坐标信息与术中光学融合模型的坐标信息映射到同一坐标系下。
二维超声成像装置108主要实现超声波的发射和接收，可以采用一个可产生入射超声波（发射波）和接收反射超声波（回波）的医用超声探头作为本发明的二维超声成像装置108。
双通道光学成像装置115可以是一块与复合内窥镜镜体104的先端部117的尺寸的相匹配的PCB板和两个物镜组，其中，PCB板上包含两片CMOS 成像传感芯片和相关驱动电路，两个物镜组分别放置在PCB板上的两片CMOS成像传感芯片的上方。
对复合内窥镜镜体104的位姿进行动态定位跟踪的装置114可以是一块PCB板，其上包含有加速度传感器和陀螺仪及其外围电路。该PCB板通过螺丝固定在复合内窥镜镜体104的手柄116的内壁上。当复合内窥镜镜体104发生运动后，对复合内窥镜镜体104的位姿进行动态定位跟踪的装置114上的加速度传感器和陀螺仪即有相应的信号产生，该信号传输至手术导航服务器101之后，据此即可解算出复合内窥镜镜体104的当前位姿。
器械口110可用于手术中某些手术器械（如钳子、手术探针等）的通过。
照明通道口109处安装照明装置（如光纤束、LED灯群等），使得照明装置发射的灯光为双通道光学成像装置提供照明。
测量复合内窥镜镜体104的先端部相对于手柄的角度的装置113可以是一种将角度传感器和机械传动机构相结合的测量装置。当复合内窥镜镜体104的先端部117受机械传动机构牵引发生弯曲时，角度传感器的转轴也转过相应的角度，复合内窥镜镜体104的先端部117相对于手柄116的角度与角度传感器转轴转过的角度之间有确定的对应关系，角度传感器转轴转过的角度信号传输至手术导航服务器101后可以计算得到复合内窥镜镜体的先端部相对于手柄的角度值。
以下对本发明的微创手术导航方法进行详细的说明，具体包括如下步骤：
（1）对术前诊断影像进行三维模型重构，获取术前诊断影像三维模型；基于术前诊断影像三维模型，构建术前规划的实施环境，并进行术前规划，获得带有术前规划信息的术前诊断影像三维模型，其中，术前规划信息包括器官组织的关键部位的标记信息、手术器械对器官组织切入点的规划信息和手术器械在器官组织内部行径路线的规划信息。
术前诊断影像来自术前对器官组织的内部结构成像，其可以是MRI断层扫描图像，还可以是CT扫描图像、X射线图像中的一种或多种的组合。
（2）获取术中器官组织的三维光学图像，进行优化处理后得到具有视差的三维光学图像信号；获取术中器官组织的二维超声回波信息，处理后得到二维超声图像信号；对三维光学图像信号进行三维模型重构，获得术中三维光学模型，对二维超声图像信号进行三维模型重构，获得术中三维超声模型；提取术中三维超声模型中的器官组织的结构深度信息和术中三维光学模型中的器官组织的表面深度信息，对带有术前规划信息的术前诊断影像三维模型进行器官组织形变校正，重绘术前诊断影像三维模型后形成动态术前配准三维模型。
其中，对三维光学图像进行优化处理得到具有视差的三维光学图像信号可包括去马赛克处理、亮度及色彩调整、图像增强、畸变校正、HDR处理、3D 匹配等。对二维超声回波信号的处理可包括：超声波成像、自适应波束合成以及血流向量超声检测及其优化，血管内微弱血流回波特征提取，微弱血流信号的增强、分析处理和提取处理。上述对三维光学图像和二维超声回波信号的处理方式仅为举例，可根据需求的不同，相应地改变处理方式。
对术前诊断影像三维模型形变校正的一种方法可以是基于术中三维超声模型中提取的器官组织结构深度信息和术中三维光学模型中提取的表面深度信息，依据真实器官组织的生物力学模型，计算术前诊断影像三维模型的变形信息，对术前诊断影像三维模型进行补偿。器官组织的生物力学模型来对手术过程中的器官组织由于力的作用产生的变形仅作为一个举例，根据器官组织、使用环境的不同可以选择不同的器官组织变形依据。
（3）将术中三维光学模型与动态术前配准三维模型进行配准融合形成术中光学融合模型、将术中三维超声模型与动态术前配准三维模型进行配准融合形成术中超声融合模型。
（4）从术中光学融合模型和术中超声融合模型中提取出术前规划信息中的器官组织的关键部位的标记信息，对手术中的器官组织的关键部位给出提示，复合内窥镜镜体的先端部根据该提示移至包含关键部位的组织器官处。
（5）对手术器械和复合内窥镜镜体上的空间定位标记物进行实时定位跟踪，获取各目标物在同一坐标系下的坐标信息；提取复合内窥镜镜体的姿态角度的数据信号并进行降噪和解算处理，得到复合内窥镜镜体的空间位置和姿态信息、以及复合内窥镜镜体的先端部相对于手柄的角度信息；对各目标物、术中光学融合模型和术中超声融合模型进行空间坐标重映射处理，获取各目标物、术中光学融合模型和术中超声融合模型在同一坐标系的坐标信息；从术中光学融合模型和术中超声融合模型中提取术前规划信息中的手术器械对器官组织切入点的规划信息和手术器械在器官组织内部行径路线的规划信息，手术器械按照术前规划信息中的手术器械对器官组织切入点和手术器械在器官组织内部行径路线进行操作。
其中，对复合内窥镜镜体的姿态角度的数据信号的解算处理可包括对来自不同种位姿测量装置给出的数据进行综合判断的融合算法、对随着时间的累积姿态角度测量装置产生的精度误差的重标定算法等。
采用本发明的微创手术导航系统和导航方法对术前诊断影像进行三维模型重构，获取术前诊断影像三维模型；基于术前诊断影像三维模型进行术前规划，获得带有术前规划信息的术前诊断影像三维模型；并同时获得术中器官组织的三维光学图像信号和二维超声图像信号，分别进行三维重构后，得到术中三维光学模型和术中三维超声模型，对带有术前规划信息的术前诊断影像三维模型进行器官组织形变校正，形成动态术前配准三维模型，并将术中三维光学模型与动态术前配准模型进行配准融合形成术中光学融合模型，将术中三维超声模型与动态术前配准模型进行配准融合形成术中超声融合模型，由此可同时实现光学导航和超声导航的功能，能实时连续地从术中光学导航切换到术中超声导航，由器官组织表面到器官组织的内部结构中全方位连续地获取术中器官组织的关键部位位点、最佳手术切入点和内部行径路径。本发明微创手术导航系统和方法克服了现有导航技术中存在的功能相对单一的、不连续的缺陷，有效降低了现有手术导航系统带来的手术风险。
Claims (2)
1.一种微创手术导航系统，其特征在于：包括复合内窥镜镜体、空间定位装置和手术导航服务器；
所述复合内窥镜镜体能够用于获取器官组织的二维超声回波信号和三维光学图像；
所述空间定位装置，能够用于定位追踪搭载有空间定位标记物的目标物，实时获取各目标物在同一空间坐标系下的坐标信息，所述目标物为所述复合内窥镜镜体和手术器械；
所述手术导航服务器，能够将所述二维超声回波信号进行处理得到二维超声图像信号、对所述三维光学图像进行优化处理得到具有视差的三维光学图像信号、提取所述复合内窥镜镜体的姿态角度的数据信号并进行降噪和解算处理；能够对术前诊断影像进行三维模型重构，得到术前诊断影像三维模型；能够构建术前规划的实施环境；能够对所述术前诊断影像三维模型进行术前规划并获得带有术前规划信息的术前诊断影像三维模型，所述术前规划信息包括器官组织的关键部位的标记信息、手术器械对器官组织切入点的规划信息和手术器械在器官组织内部行径路线的规划信息；能够对所述二维超声图像信号和三维光学图像信号分别进行实时三维模型重构，分别得到术中三维超声模型、术中三维光学模型；能够对带有术前规划信息的术前诊断影像三维模型进行器官组织形变校正，形成动态术前配准三维模型，并将术中三维光学模型、术中三维超声模型分别与动态术前配准三维模型进行配准融合而形成术中光学融合模型和术中超声融合模型；能够从术中光学融合模型和术中超声融合模型中提取出术前规划信息中的器官组织的关键部位的标记信息，用以对手术中的器官组织的关键部位给出提示；能够对各目标物、术中光学融合模型和术中超声融合模型进行空间坐标重映射处理，获取各目标物、术中光学融合模型和术中超声融合模型在同一坐标系的坐标信息。
2.根据权利要求1所述的微创手术导航系统，其特征在于：所述复合内窥镜镜体的先端部固定安装有二维超声成像装置和双通道光学成像装置，所述复合内窥镜镜体的手柄内固定安装有对复合内窥镜镜体的位姿进行跟踪的装置和测量复合内窥镜镜体的先端部相对于手柄的角度的装置，复合内窥镜镜体的外表面固定安装有空间定位标记物。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710122633.3A CN106890025B (zh) | 2017-03-03 | 2017-03-03 | 一种微创手术导航系统和导航方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710122633.3A CN106890025B (zh) | 2017-03-03 | 2017-03-03 | 一种微创手术导航系统和导航方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106890025A CN106890025A (zh) | 2017-06-27 |
| CN106890025B true CN106890025B (zh) | 2020-02-28 |
Family
ID=59185684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710122633.3A Active CN106890025B (zh) | 2017-03-03 | 2017-03-03 | 一种微创手术导航系统和导航方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106890025B (zh) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107485447B (zh) * | 2017-08-09 | 2023-07-04 | 北京信息科技大学 | 一种面向膝盖软骨移植术的术中器具位姿导航装置及方法 |
| CN107680688B (zh) * | 2017-09-27 | 2021-03-02 | 福州大学 | 一种基于3d打印的盆腔仿真微创手术视觉导航验证方法 |
| CN109674533B (zh) * | 2017-10-18 | 2022-07-05 | 刘洋 | 基于便携式彩超设备的手术导航系统及方法 |
| CN108186117A (zh) * | 2018-02-28 | 2018-06-22 | 安徽大中润科技有限公司 | 一种分布式光学定位跟踪系统及方法 |
| EP3829476A4 (en) * | 2018-08-01 | 2022-04-20 | Brain Navi Biotechnology Co., Ltd. | PATIENT POSITION TRACKING METHOD AND SYSTEM IN OPERATION |
| CN109223183A (zh) * | 2018-09-30 | 2019-01-18 | 深圳市精锋医疗科技有限公司 | 手术机器人的启动方法、可读取存储器及手术机器人 |
| CN109528313B (zh) * | 2018-10-12 | 2021-04-20 | 合刃科技（武汉）有限公司 | 光谱三维定位识别系统 |
| CN111281538A (zh) * | 2018-12-06 | 2020-06-16 | 安徽埃克索医疗机器人有限公司 | 一种干细胞定向输注导航系统 |
| CN109646110B (zh) * | 2019-01-24 | 2022-06-10 | 苏州朗开医疗技术有限公司 | 一种电视辅助胸腔镜定位方法及装置 |
| CN110010249B (zh) * | 2019-03-29 | 2021-04-27 | 北京航空航天大学 | 基于视频叠加的增强现实手术导航方法、系统及电子设备 |
| CN110742704B (zh) * | 2019-04-02 | 2022-06-17 | 中国人民解放军陆军特色医学中心 | 根管精准定位的嵌入式导板及其制备方法、制备系统、应用、根管精准定位方法 |
| WO2020210967A1 (zh) * | 2019-04-16 | 2020-10-22 | 孙永年 | 用于医疗用具的光学追踪系统及训练系统 |
| CN112057167B (zh) * | 2019-05-22 | 2022-05-24 | 深圳市德力凯医疗设备股份有限公司 | 一种血管手术超声导航方法以及超声导航设备 |
| CN110706357B (zh) * | 2019-10-10 | 2023-02-24 | 青岛大学附属医院 | 导航系统 |
| CN112971982B (zh) * | 2019-12-12 | 2022-08-19 | 珠海横乐医学科技有限公司 | 基于肝内血管配准的手术导航系统 |
| CN111265299B (zh) * | 2020-02-19 | 2023-08-18 | 上海理工大学 | 基于光纤形状传感的手术导航系统 |
| CN112528529A (zh) * | 2020-09-08 | 2021-03-19 | 苏州普瑞斯仁信息科技有限公司 | 一种腹腔镜裸眼模拟现实方法 |
| CN112450995B (zh) * | 2020-10-28 | 2022-05-10 | 杭州无创光电有限公司 | 一种态势模拟内窥镜系统 |
| CN112914755A (zh) * | 2021-01-25 | 2021-06-08 | 深圳市奥昇医疗科技有限责任公司 | 手术追踪系统及其控制方法 |
| CN113367795A (zh) * | 2021-05-31 | 2021-09-10 | 浙江大学 | 一种具有磁定位功能的输尿管软镜及输尿管镜位姿估测系统 |
| CN113781630A (zh) * | 2021-08-04 | 2021-12-10 | 上海健康医学院 | 一种基于reims的脑组织变形校正方法、存储介质及终端设备 |
| CN113456228B (zh) * | 2021-08-05 | 2023-04-07 | 广东工业大学 | 辅助手术的组织辨识方法及系统 |
| CN113856067A (zh) * | 2021-09-08 | 2021-12-31 | 中山大学 | 一种多模态数据融合的放疗位置确定方法及辅助机器人系统 |
| CN113907883A (zh) * | 2021-09-23 | 2022-01-11 | 佛山市第一人民医院（中山大学附属佛山医院） | 一种耳侧颅底外科3d可视化手术导航系统及方法 |
| CN114711961B (zh) * | 2022-04-12 | 2024-07-26 | 山东大学 | 一种脊柱内镜手术的虚拟现实导航方法及系统 |
| CN114948199B (zh) * | 2022-05-17 | 2023-08-18 | 天津大学 | 一种外科手术辅助系统及手术路径规划方法 |
| CN115363715B (zh) * | 2022-08-30 | 2023-06-09 | 衡阳市中心医院 | 一种胃肠引流穿刺装置 |
| CN115590623B (zh) * | 2022-12-15 | 2023-03-28 | 苏州国科康成医疗科技有限公司 | 穿刺路径规划系统 |
| CN116098707B (zh) * | 2023-04-13 | 2023-07-11 | 青岛大学附属医院 | 无线电磁波引导的远程手术系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1678234A (zh) * | 2002-08-30 | 2005-10-05 | 奥林巴斯株式会社 | 医疗处理系统、内窥镜系统、内窥镜插入操作程序及内窥镜装置 |
| CN101721251A (zh) * | 2009-11-10 | 2010-06-09 | 上海交通大学医学院附属第九人民医院 | 将手术导航系统和内窥镜系统结合的装置及其应用 |
| CN101862205A (zh) * | 2010-05-25 | 2010-10-20 | 中国人民解放军第四军医大学 | 一种结合术前影像的术中组织跟踪方法 |
| CN102599876A (zh) * | 2012-03-08 | 2012-07-25 | 珠海迈德豪医用科技有限公司 | 一种带自动定位窥视装置的内窥镜 |
| CN102740755A (zh) * | 2010-02-22 | 2012-10-17 | 奥林巴斯医疗株式会社 | 医疗设备 |
| CN103371870A (zh) * | 2013-07-16 | 2013-10-30 | 深圳先进技术研究院 | 一种基于多模影像的外科手术导航系统 |
| CN104248419A (zh) * | 2014-10-21 | 2014-12-31 | 白晓苓 | 一种内窥成像用超声/光学双模成像探头及成像方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050085717A1 (en) * | 2003-10-21 | 2005-04-21 | Ramin Shahidi | Systems and methods for intraoperative targetting |
| FR2936890B1 (fr) * | 2008-10-03 | 2010-12-03 | Univ Grenoble 1 | Procede de traitement d'image pour estimer une deformation d'un cerveau d'un patient |
| DE102011078212B4 (de) * | 2011-06-28 | 2017-06-29 | Scopis Gmbh | Verfahren und Vorrichtung zum Darstellen eines Objektes |
| CN102999902B (zh) * | 2012-11-13 | 2016-12-21 | 上海交通大学医学院附属瑞金医院 | 基于ct配准结果的光学导航定位导航方法 |
-
2017
- 2017-03-03 CN CN201710122633.3A patent/CN106890025B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1678234A (zh) * | 2002-08-30 | 2005-10-05 | 奥林巴斯株式会社 | 医疗处理系统、内窥镜系统、内窥镜插入操作程序及内窥镜装置 |
| CN101721251A (zh) * | 2009-11-10 | 2010-06-09 | 上海交通大学医学院附属第九人民医院 | 将手术导航系统和内窥镜系统结合的装置及其应用 |
| CN102740755A (zh) * | 2010-02-22 | 2012-10-17 | 奥林巴斯医疗株式会社 | 医疗设备 |
| CN101862205A (zh) * | 2010-05-25 | 2010-10-20 | 中国人民解放军第四军医大学 | 一种结合术前影像的术中组织跟踪方法 |
| CN102599876A (zh) * | 2012-03-08 | 2012-07-25 | 珠海迈德豪医用科技有限公司 | 一种带自动定位窥视装置的内窥镜 |
| CN103371870A (zh) * | 2013-07-16 | 2013-10-30 | 深圳先进技术研究院 | 一种基于多模影像的外科手术导航系统 |
| CN104248419A (zh) * | 2014-10-21 | 2014-12-31 | 白晓苓 | 一种内窥成像用超声/光学双模成像探头及成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106890025A (zh) | 2017-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106890025B (zh) | 一种微创手术导航系统和导航方法 | |
| US20220346886A1 (en) | Systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery | |
| US11800970B2 (en) | Computerized tomography (CT) image correction using position and direction (P and D) tracking assisted optical visualization | |
| US10543045B2 (en) | System and method for providing a contour video with a 3D surface in a medical navigation system | |
| JP7505081B2 (ja) | 狭い通路における侵襲的手順の内視鏡画像 | |
| KR101572487B1 (ko) | 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법 | |
| US20050085717A1 (en) | Systems and methods for intraoperative targetting | |
| US20070225553A1 (en) | Systems and Methods for Intraoperative Targeting | |
| US20050085718A1 (en) | Systems and methods for intraoperative targetting | |
| US20080234570A1 (en) | System For Guiding a Medical Instrument in a Patient Body | |
| WO2008035271A2 (en) | Device for registering a 3d model | |
| CN109833092A (zh) | 体内导航系统和方法 | |
| JP2024125310A (ja) | 医療用ナビゲーションのためのシステムおよび方法 | |
| Kim et al. | Improving the safety of telerobotic drilling of the skull base via photoacoustic sensing of the carotid arteries | |
| CN118648066A (zh) | 用于提供增强显示的系统、方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |