CN112741692B - 实现将器件导航至目标组织位置的快速导航方法及系统 - Google Patents
实现将器件导航至目标组织位置的快速导航方法及系统 Download PDFInfo
- Publication number
- CN112741692B CN112741692B CN202011514110.1A CN202011514110A CN112741692B CN 112741692 B CN112741692 B CN 112741692B CN 202011514110 A CN202011514110 A CN 202011514110A CN 112741692 B CN112741692 B CN 112741692B
- Authority
- CN
- China
- Prior art keywords
- instrument
- target tissue
- image
- channel
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Gynecology & Obstetrics (AREA)
- Radiology & Medical Imaging (AREA)
- Endoscopes (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
一种实现将器件导航至目标组织位置的快速导航方法:包括:规划在解剖结构内通向目标组织位置的路径,确定包括分岔路口和目标组织位置在内的关键节点及对应的图像信息;当器械需要导航至目标组织位置时,通过器械的柔性主体伸入所述通道的长度信息来初步确定所述器械到达每一关键节点相关的关键位置,实时获得柔性主体端部的内窥镜镜头采集当前关键位置的图像信息,提取关键位置所在图像的特征信息,配准所述特征信息与所述计算机模型对应的虚拟图像信息,匹配出器械在当前所述分岔路口需被路由的通道信息以引导所述器械走通道。可进一步通过超声探头超声探测,超声图像匹配虚拟图像,获得需被路由的通道或在此时刻器件的位置。本发明进行若干次关键节点相关的内窥镜或超声图像比对,更直接更有效地完成导航。
Description
技术领域
本发明涉及实现将器件导航至目标组织位置的虚拟导航方法及系统,尤其涉及肺病患者的治疗过程中利用工具进行导航的技术领域,特别涉及用于在患者肺内部的工具导航。
背景技术
图像引导的外科手术有助于外科医生将医疗器械操纵到患者内的目标组织位置,以便可以对目标执行治疗和/或诊断医疗程序。为了引导,医疗器械的工作端的姿势(即,位置和方向)可以被跟踪,并且连同解剖结构的模型一起显示的或叠加在解剖结构的模型上的图像与目标关联。为了叙述方便,解剖结构以肺为例,说明现有技术中如何实现以器械通过肺部毛细管路导航至目标组织位置(比如,活检或者治疗部位)。
肺癌具有极高的死亡率,尤其是在其早期阶段没有被诊断出的情况中。国家肺癌筛检试验表明,如果对有身患这种疾病风险的人群使用诸如计算机断层扫描(CT)的诊断扫描进行早期检测,则可以降低死亡率。尽管CT扫描增大了能够检测肺中的小病变和结节的能力,但是在能够给出诊断结论和进行治疗之前仍然需要对这些病变和结节进行活检和细胞学检查。为了实施活检并给予多种治疗,需要在肺内将工具导航至活检或者治疗部位。因此,不断寻求针对导航系统和导航方法的改进。
医师或医生等医务人员可以利用导航系统实施任务,比如:规划通向目标组织位置的路径、将医疗器械导航至目标组织位置以及将多种工具,诸如可定位引导件(LG)和/或活检工具导航至目标组织位置。ENB(电磁导航)手术通常涉及至少两个阶段:(1)规划通向位于患者肺内或者毗邻患者肺的目标的路径;和(2)沿着规划路径将探头导航至目标。这些阶段通常称作(1)“规划”和(2)“导航”。
在规划阶段之前,通过例如计算机断层(CT)扫描为患者肺成像,不过本领域技人员了解其它可应用的成像方法。在CT扫描期间汇集的图像数据随后可以存储为例如医学数字影像和通讯(DICOM)格式,不过本领域技术人员了解其它可应用的格式。CT扫描图像数据然后可以装载到规划软件应用程序中(“应用程序”),以在ENB手术的规划阶段中使用。应用程序可以使用CT扫描图像数据产生患者肺的三维(3D)模型。其中该3D模型可以包括模型气道树,所述模型气道树对应于患者肺的真实气道并且示出患者真实气道树的不同通道、分支以及分岔。另外,3D模型可以包括病变、标记物、血管和/或胸膜的3D渲染。尽管CT扫描图像数据可具有包括在图像数据中的间隙、遗漏和/或其它缺陷,但是3D模型是患者气道的平滑表示,其中,CT扫描图像数据中的这些间隙、遗漏和/或缺陷被填充或者被校正。
在开始ENB手术的导航阶段之前,将3D模型与患者的真实肺配准。一个可能的配对方法涉及将可定位引导件导航到患者肺的每一个肺叶中,以抵达该肺叶的气道的至少第二分岔。
专利号为201280034693.5中公开了一种用于配准解剖结构的计算机模型与医疗器械的方法,即如何将3D模型与患者的真实肺配准以引导到肺活检或者治疗部位。该方法包括:通过在医疗器械被布置在解剖结构(如肺部)的通道(如气道)中时确定医疗器械的姿势和形状并且通过匹配至少医疗器械的确定的形状与解剖结构的计算机模型中的一个或多个潜在通道的形状的最适合的一个,随后通过比较由图像捕获装置捕获的图像与解剖结构的计算机模型的多个虚拟视图执行计算机模型与医疗器械的局部配准,周期性地执行计算机模型与医疗器械的整体配准,其中多个虚拟视图由虚拟照相机的透视生成,该虚拟照相机的姿势被最初设置在医疗器械的远端的姿势,并且然后围绕该最初姿势扰动。
上述方法虽然很好地实现了将3D模型与患者的真实肺配准以引导到肺活检或者治疗部位,但是还是存在以下问题:
首先,该专利提供一种用于配准解剖结构的计算机模型与医疗器械的系统,需要额外增设图像捕获装置等硬件及为了配准而开发的软件部分,开发的成本高、周期长,对于医院等医疗机械来说增设更高的成本。最重要的是,在整个的配准过程中,不断地进行图像获取,后再进行软件地配准,计算量大且导航的速度比较慢,容易影响术中进程。
接着,通道上的分支越来越细,而利用图像捕获装置捕获的图像存在局限性。图像捕获装置可以是被布置在远端处的立体或单视场(monoscopic)照相机,现今最小的微型相机可以做到3厘米大小,而左、右支气管在肺门分成第二级支气管,第二级支气管及其分支所辖的范围构成一个肺叶,每支第二级支气管又分出第三级支气管,每支第三级支气管及其分支所辖的范围构成一个肺段,支气管在肺内反复分支可达23-25级,最后形成肺泡,支气管最小直径达到毫米级别。也就是单纯利用图像捕获装置可能存在无法精准导航至目标组织位置确定位置,存在导航与目标组织位置确定位置之间存在距离,即导航不精准的问题。
还有,该专利仅提供一种解剖结构的计算机模型与医疗器械的配准,通过实时获知医疗器械当前的姿态来对计算机模型进行对比后导航,精准度不够,而且还有大量的校正调节的校准计算,计算量大无效性高且占用大量的导航时间,在医疗器械上还设置柔性主体,柔性主体上设置远端传感器,而很多医疗器械本身都带有采集装置,而进入通道越来越窄,存在进行通道窄度受限的问题。
发明内容
本发明的第一目的在于提供一种实现将器件导航至目标组织位置的快速导航方法,以解决现有技术中成本高、计算量大且导航的速度比较慢,容易影响术中进程的技术问题。
本发明的第二目的在于提供一种实现将器件导航至目标组织位置的快速导航系统,以解决现有技术中成本高、计算量大且导航的速度比较慢,容易影响术中进程的技术问题。
一种实现将器件导航至目标组织位置的快速导航方法,包括:
S10:扫描并建立计算机模型;
S20:规划在解剖结构内通向目标组织位置的路径,确定包括分岔路口和目标组织位置在内的关键节点及对应的图像信息;
S30:当器械需要导航至目标组织位置时,将所述器械被设置在所述解剖结构的通道中;
S40:通过器械的柔性主体伸入所述通道的长度信息来初步确定所述器械到达每一关键节点相关的关键位置,实时获得所述柔性主体端部的内窥镜镜头采集当前所述关键位置的图像信息,提取关键位置所在图像的特征信息,配准所述特征信息与所述计算机模型对应的虚拟图像信息,匹配出所述器械在当前所述分岔路口需被路由的通道信息以引导所述器械走所述通道。
所述方法还进一步还包括:
S50:通过柔性主体端部设置的超声探头超声探测,匹配获得所述器械与所述目标组织位置的位置关系信息或匹配获得需被路由的通道。
本发明较佳地实例中,确定所述器械到达每一关键节点相关的关键位置进一步还包括:
在解剖结构内通向目标组织位置的规划路径时,预先对所述规划路径的各个分叉口分别按照编号规则进行编号;
每一次确定关键节点相关的关键位置,通过所述编号判断出该关键节点是否是目标组织位置,若是则匹配获得所述器械与所述目标组织位置的位置关系信息,否则当匹配出所述器械在当前所述分岔路口需被路由的通道,按照所述编号规则编号下一个关键节点。
本发明较佳地实例中,步骤S20确定关键节点对应的图像信息进一步包括:
预先建立关键节点相关的分叉口虚拟图像匹配库,所述分叉口虚拟图像匹配库中预先存储若干张虚拟图像,所述虚拟图像是通路中分叉口前预先设定长度内,以预先设定的间距沿所述通道轴向切片而成;
每一虚拟图像数字化,提取包括中心点、面积、形状、纹理的至少一种特征信息;
在所述虚拟图像匹配库内,以分叉口为单元分别存储该分叉口的所述些虚拟图像对应的特征信息。
本发明较佳地实例中,步骤S40中配准所述特征信息与所述计算机模型对应位置的虚拟图像信息进一步包括:
所述柔性主体端部的内窥镜镜头采集当前所述关键位置的图像信息,预先判断出当前分叉口通道的数量;
若当前分叉口通道的数量大于二个通道,则提取各个通道所在中心,连接所述中心以得到几何形状,通过所述几何形状的角度与所述计算机模型对应的角度信息,配准得到出需被路由的通道;
若当前分叉口通道的数量为二个通道,则根据所述提取包括中心点、面积、形状、纹理的至少一种特征信息,与预先存储的所述计算机模型对应的特征信息,配准得到需被路由的通道。
本发明较佳地实例中,步骤S50进一步包括:
当通道的窄度小于阈值或目标组织位置不在通道内时,启动超声探头超声探测,匹配获得所述器械与所述目标组织位置的位置关系信息或匹配获得需被路由的通道,其进一步包括:
启动超声探头,获得环扫超声图像,提取形状参数信息;
所述形状参数信息与所述计算机模型对应位置的图像信息进行匹配,以得到所述器械与所述目标组织位置的位置关系信息或匹配获得需被路由的通道。
本发明较佳地实例中,还包括:
所述器件还进一步设置手术机器人的器械操作部件;
当得到所述器械与所述目标组织位置的位置关系信息后,导航所述器械的器械操作部件运动至相关位置,以进行包括取活检、穿刺、消融、各种能量消融、切除的其中之一的器械操作。
一种实现将器件导航至目标组织位置的快速导航系统,包括:
存储装置:预先存储患者的解剖结构的计算机模型信息,并存储在解剖结构内通向目标组织位置的规划路径,确定并保存包括分岔路口和目标组织位置在内的关键节点及对应的图像信息;
医疗器械,其具有柔性主体和沿所述柔性主体的长度分布至少一内窥镜镜头;
处理装置,至少包括内窥镜图像处理器和导航处理器,所述内窥镜图像处理器在所述系统处理器的触发下实时获得所述柔性主体端部的内窥镜镜头采集当前所述关键位置的图像信息,提取关键位置所在图像的特征信息;所述系统处理器通过器械的柔性主体伸入所述通道的长度信息来初步确定所述器械到达每一关键节点相关的关键位置,通过内窥镜图像处理器的关键位置所在图像的特征信息,配准所述特征信息与所述计算机模型对应的虚拟图像信息,匹配出所述器械在当前所述分岔路口需被路由的通道信息以引导所述器械走所述通道。
本系统还包括:
沿所述柔性主体的长度分布至少一超声探头;
处理装置进一步包括超声处理器,所述超声处理器匹配获得所述器械与所述目标组织位置的位置关系信息或匹配获得需被路由的通道。
另外,本系统还包括:
沿所述柔性主体的长度分布设置手术机器人的器械操作部件,用以当得到所述器械与所述目标组织位置的位置关系信息后,导航所述器械的器械操作部件运动至相关位置,以进行包括取活检、穿刺、消融、各种能量消融、切除的其中之一的器械操作。
本发明对建立的计算机模型进行路径规划时,预先确认关键节点,主要包括分岔路口和目标组织位置,在术中导航时只需要针对关键节点相关部分进行图像比对,分岔路口的图像对比,确认器械路由的通道,目标组织精准位置主要获知当前器械所在位置与目标组织之间的位置关系。换句话来说,本发明可以通过超声探头超声探测,超声图像匹配虚拟图像,获得需被路由的通道或在此时刻器件的位置。本发明进行若干次关键节点相关的内窥镜或超声图像比对,更直接更有效地完成导航。对比次数有限且精度高、对比速度快。
附图说明
图1为本发明的实现将器件导航至目标组织位置的快速导航系统的原理图;
图2为肺部的建模图;
图3为实现将器件导航至目标组织位置的快速导航方法流程图;
图4为肺部需要快速导航的示例图;
图5为图4的规划示例图。
具体实施方式
以下结合附图,具体说明本发明。
医疗器械的工作端位置和方向可以被跟踪,并且连同解剖结构的模型一起显示的或叠加在解剖结构的模型上的图像与目标关联。模型可以是从手术前和/或手术中患者解剖扫描数据例如X射线、超声波、X线透视、计算机断层摄影(CT)、磁共振成像(MRI)以及其他成像技术通过计算机生成的。显示将要在其上执行治疗和/或诊断医疗程序的目标、其中目标停留或者邻近的解剖结构的模型、以及叠加在解剖结构模型上的医疗器械的工作端的图像对于外科医生是特别有用的,以便提供辅助引导医疗器械通过自然和/或人工身体通道到达和通过解剖结构至目标组织位置。然而当解剖结构既不是固定的也不是刚性的,而相反根据解剖结构的周期或非周期运动移动和/或改变形状时,例如具有患者的肺或心脏搏动的情况,适当配准模型与医疗器械可能是非常困难的,为此,本发明在手术中实现将器件导航至目标组织位置的快速导航,就是必然要实现的功效。
图像引导的外科手术有助于外科医生在术中将医疗器械操纵到患者内的目标,以便可以对目标执行治疗和/或诊断医疗程序。随着机器人手术系统地进一步发展,其用途广泛,在临床上外科上有大量的应用。外科医生可以远离手术台操纵机器进行手术。因此,将医疗器械引导至目标组织位置不仅让可以医务人员操作相关的器械完成包括活检、穿刺、消融、各种能量消融、切除、切割等在内执行治疗和/或诊断医疗程序,也可以在其内直接设置机器人手术器械,直接将机器人手术器械引导至对应位置完成相关治疗。医疗器械不仅可以是内窥镜、导管或具有可操纵的末端和能够贴合通向患者的解剖结构中的目标的身体通道的柔性主体的医疗器具,也可以包括引导件(LG)、活检工具、机器人手术器械或机器人手术部分器械等。目标组织位置可以是活检或者治疗部位,将器件导航至目标组织位置,不仅是指字面理解地将上述提及医疗器具导航至相关活检或者治疗部位,而更指其广义理解地医疗器具导航至将对其执行治疗和/或诊断医疗程序所需要的位置。当手术中,只有准确获知当前医疗器具与目标组织之前的具体位置关系,才能引导医疗器具导航至准确位置,以便进行执行治疗和/或诊断。
本发明最核心的几大创新点在于:
首先,在整个手术中,时间就是生命,本发明对建立的计算机模型进行路径规划时,预先确认关键节点,主要包括分岔路口和目标组织位置,在术中导航时只需要针对关键节点相关部分进行图像比对,分岔路口的图像对比,确认器械路由的通道,目标组织精准位置主要获知当前器械所在位置与目标组织之间的位置关系。换句话来说,本发明可以通过超声探头超声探测,超声图像匹配虚拟图像,获得需被路由的通道或在此时刻器件的位置。本发明进行若干次关键节点相关的内窥镜或超声图像比对,更直接更有效地完成导航。本发明对比次数有限且精度高、对比速度快。
其次,本发明在柔性主体的端部设置内窥镜的镜头或超声探头,利用内窥镜的镜头实时图像数据或超声探头超声信息与前期规划进行实时匹配定位。本发明可以利用现有非常成熟的信息采集技术和图像处理技术,在本发明中做二次开发,只需要将计算机模型与内窥镜的镜头或超声探头实时采集后处理的图像数据进行匹配算法,不仅降低了整个开发成本,而且也降低开发所花时间和成本,更重要的是可以降低整个开发的难度,提升整个匹配精度,对于本领域的医疗机构,可以降低整个采购的成本。
请参阅图1,其以肺部为实例,来说明本发明的实现将器件导航至目标组织位置的快速导航系统。医疗快速导航系统100,其包括可操纵的医疗器械110、被插入医疗器械110中的一个或更多纤维光学导线120、内窥镜图像处理器130、超声处理器140、内窥镜镜头141、超声探头142、执行治疗和/或诊断医疗程序的执行机构143、显示处理器150、导航处理器160以及存储器161。
虽然示出为单独的单元,但是内窥镜图像处理器130、超声处理器140、显示处理器150和导航处理器160每个可以被实施为硬件、固件、软件或他们的组合,其与一个或更多计算机处理器相互作用或另外地由一个或更多计算机处理器执行。
现有的内窥镜系统是一种光学仪器,是由镜头、纤维光导线、图象处理传输装置、屏幕显示装置等组成,它能扩大手术视野。图像处理传输装置也可以会加用特殊光谱的CCD提供新的诊疗图像信息,还可用图像处理技术获得病变组织的特殊图像,并能用图像分析技术实现对病变的定量分析和定量诊断,还可通过电讯手段进行远程会诊。本发明可以直接利用内窥镜系统,主要用其镜头和图像处理传输装置的这几个部分。内窥镜镜头141直接设置在医疗器械110的柔性主体114的远端111上,图像处理传输装置可以直接做为内窥镜图像处理器130,也可以将其核心处理部分集成到新的处理器上,但是实现的功能还是内窥镜图像处理功能。
超声检查是利用超声的物理特性和人体器官组织声学性质上的差异,以波形、曲线或图像的形式显示和记录,借以进行疾病诊断的检查方法。超声设备类型较多。其主要是由超声探头向人体预测部件发一束超声,并进行线形、扇型或其他形式的扫描,遇到不同声阻抗的二种组织的交界面,即有超声反射回来,由探头接收后,经过信号放大和信息处理后,可以显示于屏幕上,形成一幅人体的断层图像,称为声像图或超声图,供临床诊断用,连续多幅声像图在屏幕上显示,可以观察到动态的器官活动。由于体内器官组织界面的深浅不同,使其回声被接到到时间有先有后,借此可测知该界面的深度、测得脏器表面的深度和背面的深度。超声检查仪一般包括超声探头和超声处理器。现有的小尺寸超声探头可以做到非常小,几毫米甚至更小。本发明可以将超声探头也可以设置在医疗器械110的柔性主体114的远端111上,超声处理器可以用现有的超声图像处理部分,也可以单独将图像处理部分集成到新的处理器上,或者集成到内窥镜图像处理器130或其它处理装置上。
显示处理器150可以连接主显示屏以及辅助显示屏。优选是能够对系统100的操作员显示三维图像的计算机监视器。然而,考虑到成本,主显示屏以及辅助显示屏中的任意一个或两者可以是仅能够显示二维图像的标准计算机监视器。或者直接做超声检查仪的显示部分,也可以用内窥镜的图像显示监视器。同理,主显示屏和辅助显示屏也可以仅一个显示屏。
医疗器械110具有柔性主体114、在其远端111处的可操纵的末端112、以及在其近端115处的控制部件116。控制电缆(未示出)或其他控制装置通常从控制部件116延伸到可操纵的末端112,以便末端112可以被可控地弯曲或转动,例如由弯曲的末端112的虚线形式所示的。医疗器械110可以是内窥镜、导管或具有柔性主体和可操纵的末端的其他医疗器具。在本实例中,末端112可以分别设置内窥镜镜头141、超声探头142、执行治疗和/或诊断医疗程序的执行机构143。
内窥镜镜头141、超声探头142和执行机构143可以被布置在远端111处,可以分别通过一个机械控制部分,分别进行前后移动融洽上医疗器械110。
一种实施方式为内窥镜镜头141、超声探头142和执行机构143分别通过一电缆连接至近端的控制部件116。而且在弹性纤维电缆与控制部件116之间可以设置一机械致动器,控制部件116通过给机械致动器以信号,控制可以前后伸缩,由此控制其对应前端的内窥镜镜头141、超声探头142和执行机构143的至少其中之一前后移动。比如,机械致动器可以控制电缆向前凸伸,向后回缩。这种机械结构非常多,在此不再详细说明。
另外,内窥镜镜头141、超声探头142和执行机构143可以分别通过自自电缆与各自的机械致动器连接。在结构设计时,内窥镜镜头141、超声探头142和执行机构143可以单独布置在远端111。
通过纤维电缆以便操纵末端112的致动器,以及用于前后移动整个医疗器械110的致动器,以便其通过入口——例如自然身体孔口或外科医生创建的一个孔口——可以被插入患者以及从患者收回。控制部件116一个或更多计算机处理器或者不同的计算机处理器中的硬件、固件或软件(或其组合)。在该实施方式中,柔性主体114可以是被动或主动可弯曲的。
作为实例,医疗器械100的可选实施方式,其中手柄116被机电接口、控制器、以及用于远程操作医疗器械的输入装置代替。
作为实例,医疗器械110其通过入口插入并且延伸进入患者的解剖结构中。在该实例中,解剖结构是一对肺,其具有包括气管、支气管和细支气管的多个自然身体通道;入口是患者的嘴;以及医疗器械110是支气管镜。由于肺的特性,医疗器械110可以被引导通过支气管树的若干连接的通道。这样做时,医疗器械110的柔性主体114贴合其行进通过的通道。虽然在本实例中示出一对肺,但是应当明白,除了呼吸系统以外,本发明的各个方面对于其他解剖结构也是适用和有用的,例如心脏、脑、消化系统、循环系统、以及泌尿系统。进一步地,虽然仅示出自然身体通道,但是本文所述的方法也适用于可在医疗程序期间或医疗程序之前形成并且被叠加在患者解剖的计算机模型上的人工通道或者外科医生创建的通道。
针对上述的系统及以肺为实例,如图3所示,其为一种实现将器件导航至目标组织位置的快速导航方法的流程图。它包括:
S10:扫描并建立计算机模型;
S20:规划在解剖结构内通向目标组织位置的路径,确定包括分岔路口和目标组织位置在内的关键节点及对应的图像信息;
S30:当器械需要导航至目标组织位置时,将所述器械被设置在所述解剖结构的通道中;
S40:通过器械的柔性主体伸入所述通道的长度信息来初步确定所述器械到达每一关键节点相关的关键位置,实时获得所述柔性主体端部的内窥镜镜头采集当前所述关键位置的图像信息,提取关键位置所在图像的特征信息,配准所述特征信息与所述计算机模型对应的虚拟图像信息,匹配出所述器械在当前所述分岔路口需被路由的通道信息以引导所述器械走所述通道。
以下具体介绍每一步骤。
S10:扫描并建立计算机模型。
医学CT影像对肺部进行扫描,然后图像分割处理3D建模,形成器官支气管的3D模型,这是现有医学常见的实现3D建模技术,有相应的软件来实现。本发明也可以采用其它现有不同技术来实现扫描个建模。比如,在《采用CT电影模式扫描的人体4D肺部模型构建》的论文提供的方案也可以为一种方案。
解剖结构被假定是这样的一种,其以可识别的方式在医疗程序期间运动,例如空气和血液循环系统的周期运动或例如对刺激的身体反应的非周期运动。尽管在医疗程序期间当解剖结构不运动时本发明的方面仍然可以适用和有用,但是本发明的全部优势最好是其中解剖结构在医疗程序期间以可识别的或以其他已知方式运动的环境中体验。使用适当的成像技术获得患者的一组或更多组图像,由该图像可以生成一组解剖结构的三维(3-D)计算机模型,其中每个3-D计算机模型与一段时间内的不同时间点关联,以便时间表示第四维度,并且该图像在这里被称为四维(4-D)图像。另外的维度也可以被定义并且用于本文所述的方法中。这种成像技术的例子包括但不限于X线透视、磁共振成像、热相图法、X线体层照相术、超声波、光学干涉断层术、热成像、阻抗成像、激光成像、纳米管X射线成像等。
图像的被捕获的时间段内取决于解剖结构和关注的运动。例如,当解剖结构是肺时,一组图像可以用于周期运动,其中肺从最大呼气状态膨胀到最大吸气状态。另一组图像可以用于非周期运动,比如导致肺的运动的咳嗽或对刺激的其他身体反应。作为另一个例子,当解剖结构是心脏时,一组图像可以用于周期运动,比如血液循环。选择确定这种3-D计算机模型的数量的采样率,以便在这种期间的解剖结构的运动被充分描述,用于准确的配准和导航的目的。
步骤S20:规划在解剖结构内通向目标组织位置的路径,确定包括分岔路口和目标组织位置在内的关键节点及对应的图像信息。
以图5为例,预先对所述规划路径的各个分叉口分别按照编号规则进行编号,比如,从入口进入后,经气管35、支气管21、20、22后再经细支气管23。其路径规划为35->21->20->22->23。而各个路径规划中两个路径的交叉口即为关键节点。在本实例中,35与21之间的交叉口为关键节点。同理,23与22、22与23、23与目标组织位置之间都为关键节点。
表1规划路路径表
确定关键节点对应的图像信息可以进一步包括:
预先建立关键节点相关的分叉口虚拟图像匹配库,所述分叉口虚拟图像匹配库中预先存储若干张虚拟图像,所述虚拟图像是通路(如气管35、支气管21、20、22后再经细支气管23)中分叉口前预先设定长度内,以预先设定的间距沿所述通道轴向切片而成。
每一虚拟图像数字化,提取包括中心点、面积、形状、纹理的至少一种特征信息。一般在3D建模后中通常设置对应的指令或操作即可获得符合操作人要求的虚拟图像,并可实时获得该虚拟图像上的特征信息。如:要求支气管21与20的分叉口某一特定点进行切片的图像,并且该软件中可以按照操作者的要求对该图像上的中心点、面积、形状在内的特征点进行提取并保存。
在所述虚拟图像匹配库内,以分叉口为单元分别存储该分叉口的所述些虚拟图像对应的特征信息。
表2关键节点信息存储表
具体说明步骤S40。
通过器械的柔性主体伸入所述通道的长度信息来初步确定所述器械到达每一关键节点相关的关键位置。当柔性主体伸入通道时,可以通过机械致动器控制其柔性主体伸入所述通道的长度。比如,机械致动器控制柔性主体伸入通道的长度为(比如:支气管35的长度118.448+支气管35离入口的长度-主体伸入的可能误差阈值),能保证包含内窥镜镜头141、超声探头142和执行机构143的柔性主体位于关键点1的分叉口。一般来说,可以操控预性主体先离该关键点1分叉口为某一阈值距离,再进行N次的小幅度的伸入,来达到进入关键节点相关的关键位置。再通过查看气管的“平均平径(mm)”等参数,判断出内窥镜镜头141是否可以进入,如若尺寸无法进入,则启动控制超声探头142的伸入,其控制方式与前述一致。当达到目标组织位置时,可以仅操作执行机构143工作。
当内窥镜镜头141可伸入时,实时获得所述柔性主体端部的内窥镜镜头采集当前所述关键位置的图像信息,提取关键位置所在图像的特征信息,配准所述特征信息与所述计算机模型对应的虚拟图像信息,匹配出所述器械在当前所述分岔路口需被路由的通道信息以引导所述器械走所述通道。
配准所述特征信息与所述计算机模型对应位置的虚拟图像信息进一步包括:
所述柔性主体端部的内窥镜镜头采集当前所述关键位置的图像信息,预先判断出当前分叉口通道的数量;
若当前分叉口通道的数量大于二个通道,则提取各个通道所在中心,连接所述中心以得到几何形状,通过所述几何形状的角度与所述计算机模型对应的角度信息,配准得到出需被路由的通道;
若当前分叉口通道的数量为二个通道,则根据所述提取包括中心点、面积、形状、纹理的至少一种特征信息,与预先存储的所述计算机模型对应的特征信息,配准得到需被路由的通道。
确定所述器械到达每一关键节点相关的关键位置进一步还包括:
在解剖结构内通向目标组织位置的规划路径时,预先对所述规划路径的各个分叉口分别按照编号规则进行编号;
每一次确定关键节点相关的关键位置,通过所述编号判断出该关键节点是否是目标组织位置,若是则匹配获得所述器械与所述目标组织位置的位置关系信息,否则当匹配出所述器械在当前所述分岔路口需被路由的通道,按照所述编号规则编号下一个关键节点。
本方法还可以包括:
S50:通过柔性主体端部设置的超声探头超声探测,匹配获得所述器械与所述目标组织位置的位置关系信息或匹配获得需被路由的通道。
其进一步包括:
当通道的窄度小于阈值或目标组织位置不在通道内时,启动超声探头超声探测,匹配获得所述器械与所述目标组织位置的位置关系信息或匹配获得需被路由的通道,其进一步包括:
启动超声探头,获得环扫超声图像,提取形状参数信息;
所述形状参数信息与所述计算机模型对应位置的图像信息进行匹配,以得到所述器械与所述目标组织位置的位置关系信息或匹配获得需被路由的通道。
所述器件还进一步设置手术机器人的器械操作部件;当得到所述器械与所述目标组织位置的位置关系信息后,导航所述器械的器械操作部件运动至相关位置,以进行包括活检、穿刺、消融、各种能量消融的其中之一的器械操作。
本发明对建立的计算机模型进行路径规划时,预先确认关键节点,主要包括分岔路口和目标组织位置,在术中导航时只需要针对关键节点相关部分进行图像比对,分岔路口的图像对比,确认器械路由的通道,目标组织精准位置主要获知当前器械所在位置与目标组织之间的位置关系。换句话来说,本发明人进行若干次关键节点相关的图像比对,更直接更有效地完成导航,对比次数有限且精度高、对比速度快。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (3)
1.一种实现将器件导航至目标组织位置的快速导航系统,其特征在于,包括:
存储装置:预先存储患者的解剖结构的计算机模型信息,并存储在解剖结构内通向目标组织位置的规划路径,确定并保存包括分岔路口和目标组织位置在内的关键节点及对应的图像信息,并且分叉口虚拟图像匹配库中预先存储若干张虚拟图像,所述虚拟图像是通道中分叉口前预先设定长度内以预先设定的间距沿所述通道轴向切片而成;
医疗器械,其具有柔性主体和沿所述柔性主体的长度分布至少一内窥镜镜头;
处理装置,至少包括内窥镜图像处理器和导航处理器,所述内窥镜图像处理器在所述导航处理器的触发下实时获得所述柔性主体端部的内窥镜镜头采集当前所述关键位置的图像信息,提取关键位置所在图像的特征信息;所述系统处理器通过器械的柔性主体伸入所述通道的长度信息来初步确定所述器械到达每一关键节点相关的关键位置,通过内窥镜图像处理器的关键位置所在图像的特征信息,配准所述特征信息与所述计算机模型对应的虚拟图像信息,匹配出所述器械在当前所述分岔路口需被路由的通道信息以引导所述器械走所述通道,其进一步包括:所述柔性主体端部的内窥镜镜头采集当前所述关键位置的图像信息,预先判断出当前分叉口通道的数量;若当前分叉口通道的数量大于二个通道,则提取各个通道所在中心,连接所述中心以得到几何形状,通过所述几何形状的角度与所述计算机模型对应的角度信息,配准得到出需被路由的通道;若当前分叉口通道的数量为二个通道,提取所述二个通道中包括中心点、面积、形状、纹理的至少一种特征信息,则根据所述提取的至少一种特征信息,与预先存储的所述计算机模型对应的特征信息,配准得到需被路由的通道。
2.如要求1所述的系统,其特征在于,还包括:
沿所述柔性主体的长度分布至少一超声探头;
处理装置进一步包括超声处理器,所述超声处理器匹配获得所述器械与所述目标组织位置的位置关系信息或匹配获得需被路由的通道。
3.如权利要求1或2所述的系统,其特征在于:还包括:
沿所述柔性主体的长度分布设置手术机器人的器械操作部件,用以当得到所述器械与所述目标组织位置的位置关系信息后,导航所述器械的器械操作部件运动至相关位置,以进行包括取活检、穿刺、各种能量消融、切除的其中之一的器械操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011514110.1A CN112741692B (zh) | 2020-12-18 | 2020-12-18 | 实现将器件导航至目标组织位置的快速导航方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011514110.1A CN112741692B (zh) | 2020-12-18 | 2020-12-18 | 实现将器件导航至目标组织位置的快速导航方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112741692A CN112741692A (zh) | 2021-05-04 |
CN112741692B true CN112741692B (zh) | 2021-12-14 |
Family
ID=75648294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011514110.1A Active CN112741692B (zh) | 2020-12-18 | 2020-12-18 | 实现将器件导航至目标组织位置的快速导航方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112741692B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113796960B (zh) * | 2021-09-07 | 2023-11-21 | 上海联影医疗科技股份有限公司 | 导管导航装置、设备和存储介质 |
CN113855242B (zh) * | 2021-12-03 | 2022-04-19 | 杭州堃博生物科技有限公司 | 支气管镜的位置确定方法、装置、系统、设备与介质 |
CN116433874A (zh) * | 2021-12-31 | 2023-07-14 | 杭州堃博生物科技有限公司 | 支气管镜导航方法、装置、设备及存储介质 |
CN116416414B (zh) * | 2021-12-31 | 2023-09-22 | 杭州堃博生物科技有限公司 | 肺部支气管镜导航方法、电子装置及计算机可读存储介质 |
CN114041741B (zh) * | 2022-01-13 | 2022-04-22 | 杭州堃博生物科技有限公司 | 数据处理部、处理装置、手术系统、设备与介质 |
CN115414120A (zh) * | 2022-11-07 | 2022-12-02 | 中南大学 | 一种内镜导航系统 |
CN116473673B (zh) * | 2023-06-20 | 2024-02-27 | 浙江华诺康科技有限公司 | 内窥镜的路径规划方法、装置、系统和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104306072A (zh) * | 2014-11-07 | 2015-01-28 | 刘弘毅 | 医疗导航系统及方法 |
CN105919547A (zh) * | 2011-05-13 | 2016-09-07 | 直观外科手术操作公司 | 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统 |
CN110167477A (zh) * | 2017-02-01 | 2019-08-23 | 直观外科手术操作公司 | 图像引导手术的配准系统和方法 |
CN112004496A (zh) * | 2018-04-25 | 2020-11-27 | 直观外科手术操作公司 | 与细长装置有关的系统和方法 |
-
2020
- 2020-12-18 CN CN202011514110.1A patent/CN112741692B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105919547A (zh) * | 2011-05-13 | 2016-09-07 | 直观外科手术操作公司 | 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统 |
CN104306072A (zh) * | 2014-11-07 | 2015-01-28 | 刘弘毅 | 医疗导航系统及方法 |
CN110167477A (zh) * | 2017-02-01 | 2019-08-23 | 直观外科手术操作公司 | 图像引导手术的配准系统和方法 |
CN112004496A (zh) * | 2018-04-25 | 2020-11-27 | 直观外科手术操作公司 | 与细长装置有关的系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112741692A (zh) | 2021-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112741692B (zh) | 实现将器件导航至目标组织位置的快速导航方法及系统 | |
US11423542B2 (en) | Systems and methods of registration for image-guided surgery | |
CN108990412B (zh) | 补偿生理噪声的用于腔网络导航的机器人系统 | |
US11622815B2 (en) | Systems and methods for providing proximity awareness to pleural boundaries, vascular structures, and other critical intra-thoracic structures during electromagnetic navigation bronchoscopy | |
US11202680B2 (en) | Systems and methods of registration for image-guided surgery | |
CN105208960B (zh) | 用于与外部成像集成的机器人医疗系统的系统和方法 | |
EP2709512B1 (en) | Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery | |
CN108451639B (zh) | 用于定位与导航的多数据源集成 | |
KR20220065894A (ko) | 수술중 세그먼트화를 위한 시스템 및 방법 | |
CN112423652A (zh) | 与用于图像引导外科手术的配准相关的系统和方法 | |
CN112074867A (zh) | 与用于图像引导手术的配准有关的系统和方法 | |
WO2022035584A1 (en) | Alerting and mitigating divergence of anatomical feature locations from prior images to real-time interrogation | |
CN112741689B (zh) | 应用光扫描部件来实现导航的方法及系统 | |
US20230281841A1 (en) | Systems and methods for registering an instrument to an image using point cloud data and endoscopic image data | |
WO2022240790A1 (en) | Medical instrument guidance systems and associated methods | |
US12004820B2 (en) | Systems and methods of registration for image-guided surgery | |
US20240164853A1 (en) | User interface for connecting model structures and associated systems and methods | |
US20230240750A1 (en) | Systems for evaluating registerability of anatomic models and associated methods | |
US20240099776A1 (en) | Systems and methods for integrating intraoperative image data with minimally invasive medical techniques | |
WO2023060198A1 (en) | Medical instrument guidance systems, including guidance systems for percutaneous nephrolithotomy procedures, and associated devices and methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |