CN117717416A - 图像引导手术的配准系统和方法 - Google Patents
图像引导手术的配准系统和方法 Download PDFInfo
- Publication number
- CN117717416A CN117717416A CN202311705385.7A CN202311705385A CN117717416A CN 117717416 A CN117717416 A CN 117717416A CN 202311705385 A CN202311705385 A CN 202311705385A CN 117717416 A CN117717416 A CN 117717416A
- Authority
- CN
- China
- Prior art keywords
- point
- points
- examples
- landmark
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title abstract description 234
- 238000002675 image-guided surgery Methods 0.000 title abstract description 20
- 238000003780 insertion Methods 0.000 claims abstract description 108
- 230000037431 insertion Effects 0.000 claims abstract description 108
- 230000009466 transformation Effects 0.000 claims abstract description 56
- 239000000835 fiber Substances 0.000 claims description 12
- 230000008520 organization Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 153
- 210000004072 lung Anatomy 0.000 description 44
- 230000000875 corresponding effect Effects 0.000 description 32
- 210000000621 bronchi Anatomy 0.000 description 30
- 230000033001 locomotion Effects 0.000 description 30
- 210000003484 anatomy Anatomy 0.000 description 24
- 238000005259 measurement Methods 0.000 description 22
- 238000003384 imaging method Methods 0.000 description 17
- 210000003437 trachea Anatomy 0.000 description 17
- 230000011218 segmentation Effects 0.000 description 11
- 238000001356 surgical procedure Methods 0.000 description 11
- 238000000844 transformation Methods 0.000 description 10
- 230000001276 controlling effect Effects 0.000 description 9
- 239000002131 composite material Substances 0.000 description 8
- 239000000523 sample Substances 0.000 description 8
- 238000012800 visualization Methods 0.000 description 8
- 238000001574 biopsy Methods 0.000 description 7
- 238000002591 computed tomography Methods 0.000 description 6
- 238000012014 optical coherence tomography Methods 0.000 description 6
- 239000013307 optical fiber Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000001931 thermography Methods 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 5
- 230000000712 assembly Effects 0.000 description 5
- 238000000429 assembly Methods 0.000 description 5
- 239000012636 effector Substances 0.000 description 5
- 230000004931 aggregating effect Effects 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 230000000241 respiratory effect Effects 0.000 description 4
- 241001164374 Calyx Species 0.000 description 3
- 238000005452 bending Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000002594 fluoroscopy Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000002071 nanotube Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000011165 3D composite Substances 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005672 electromagnetic field Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000002216 heart Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 210000000936 intestine Anatomy 0.000 description 2
- 238000003973 irrigation Methods 0.000 description 2
- 230000002262 irrigation Effects 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 210000003734 kidney Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000037361 pathway Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 210000005166 vasculature Anatomy 0.000 description 2
- 230000005355 Hall effect Effects 0.000 description 1
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- 206010039897 Sedation Diseases 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 208000002847 Surgical Wound Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002939 deleterious effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000000608 laser ablation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 210000001365 lymphatic vessel Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000036316 preload Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 230000036280 sedation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000005239 tubule Anatomy 0.000 description 1
- 238000002211 ultraviolet spectrum Methods 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
- A61B1/2676—Bronchoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
Abstract
本发明涉及图像引导手术的配准系统和方法，用于支持图像引导手术的系统和方法包括具有可用于收集一个或多个通道的位置数据的器械和联接到器械的一个或多个处理器的装置。一个或多个处理器被配置为当收集多个点中的每个点时基于器械的对应插入深度来组织位置数据内的多个点，基于所述点创建通道树，识别至少三个在通道树内的非共线界标位置，创建在至少三个非共线界标位置中的一个或多个非共线界标位置与模型数据中的对应的模型位置之间的种子变换，并使用种子变换将多个点配准到一个或多个通道的模型数据。在一些实施例中，至少三个非共线界标位置基于通道树中的主分支点。
Description
本申请是2018年2月1日提交的名称为“图像引导手术的配准系统和方法”的中国专利申请2018800064207的分案申请。
相关申请
本专利申请要求在2017年2月1日提交的题为“图像引导手术的配准系统和方法”的美国临时专利申请号62/453,401的申请日的优先权和权益，该临时专利申请通过引用将其全部内容并入本文。
技术领域
本公开涉及用于进行图像引导手术的系统和方法，并且更具体地涉及在图像引导手术期间的配准。
背景技术
微创医疗技术旨在减少在医疗手术期间受损的组织的量，从而减少患者恢复时间、不适和有害的副作用。这种微创技术可以通过患者解剖结构中的自然孔口或通过一个或多个手术切口来执行。通过这些自然孔口或切口，临床医生可以插入微创医疗器械(包括手术、诊断、治疗或活检器械)以到达目标组织位置。为了帮助到达目标组织位置，医疗器械的位置和移动可以与患者解剖结构的术前或术中图像相关联。利用与图像相关的图像引导器械，器械可以在解剖系统(诸如肺、结肠、肠、肾、心脏、循环系统等)中导航自然或手术创建的通道。传统的器械跟踪和参考系统可能需要在术前和手术成像期间使用患者垫，并且可能干扰临床环境或工作流程。因此需要用于执行具有最小临床干扰的图像引导手术的系统和方法。
发明内容
通过说明书所附的权利要求最好地总结了本发明的实施例。
根据一些实施例，一种装置包括可用于收集一个或多个通道的位置数据的器械以及联接到该器械的一个或多个处理器。一个或多个处理器被配置为当收集多个点中的每个点时基于器械的对应插入深度来组织位置数据内的多个点，基于所组织的点创建通道树，识别在通道树内的至少三个非共线界标位置，创建在至少三个非共线界标位置中的一个或多个非共线界标位置与模型数据中的对应的模型位置之间的种子变换，并使用种子变换将多个点配准到一个或多个通道的模型数据。
根据一些实施例，为了识别通道树内的至少三个非共线界标位置，一个或多个处理器进一步被配置为识别通道树中的主分支点，识别主分支点近侧的第一界标位置，识别在主分支点远侧的通道树的第一分支中在主分支点远侧的第二界标位置，并识别在主分支点远侧的通道树的第二分支中在主分支点远侧的第三界标位置，所述第二分支与所述第一分支不同。
根据一些实施例，使用一个或多个处理器进行配准的方法包括：在多个通道内插入柔性细长装置期间收集一组传感器数据，其中，传感器数据包括表示多个通道内的柔性细长装置的多个位置的多个点，基于当收集多个点中的每个点时的柔性细长装置的对应插入深度来组织多个点，基于所组织的点创建通道树，识别通道树内的至少三个非共线界标位置，创建在至少三个非共线界标位置中的一个或多个非共线界标位置与模型数据中的对应的模型位置之间的种子变换，并使用种子变换将多个点配准到多个通道的模型数据。
根据一些实施例，识别至少三个非共线界标位置包括：识别通道树中的主分支点，识别主分支点近侧的第一界标位置，识别通道树的第一分支中在主分支点远侧的第二界标位置，其中，第一分支在主分支点远侧，并且识别通道树的第二分支中在主分支点远侧的第三界标位置，其中，第二分支在主分支点远侧，所述第二分支与所述第一分支不同。
根据一些实施例，非暂时性机器可读介质包括多个机器可读指令，当由与装置相关联的一个或多个处理器执行时，所述多个机器可读指令适于使一个或多个处理器执行本文描述的任何方法。
应当理解，前面的一般性描述和以下的详细描述都是示例性和解释性的，并且旨在提供对本公开的理解而不限制本公开的范围。在这方面，从以下详细描述中，本公开的其他方面、特征和优点对于本领域技术人员而言将是显而易见的。
附图说明
图1为示例性远程操作医疗系统。
图2A示出了示例性医疗器械系统。
图2B示出了具有扩展医疗工具的示例性医疗器械。
图3示出了定位在人肺的解剖通道内的示例性医疗器械。
图4示出了在图像引导的外科手术中提供引导的示例性方法的流程图。
图5A、图5B和图5C示出了在生成用于配准的人肺模型的分段方法中的过程的示例性应用。
图6A和图6B为患者坐标空间的示例性侧视图，其包括安装在插入组件上的医疗器械。
图6C为患者坐标空间中的患者的示例性侧视图，其包括气管内导管。
图7示出了为图像引导的外科手术提供引导的示例性方法的流程图。
图8示出了通过穿过人肺中的气道收集的示例性位置数据。
图9示出了人肺中气道的示例性界标位置。
图10示出了在位置数据中构建通道树的示例性方法的流程图。
图11A示出了图10的方法对示例性位置数据的应用。
图11B示出了由图11A的示例性位置数据产生的通道树。
图12示出了从通道树识别界标位置的示例性方法的流程图。
图13示出了由应用示例性配准技术产生的两组点的示例性后配准对准。
通过参考下面的详细描述，可以最好地理解本公开的实施例及其优点。应当理解，相同的附图标记用于标识一个或多个附图中示出的相同元件，其中，附图中的陈列是出于说明本公开的实施例的目的而不是为了限制本公开的实施例。
具体实施方式
在以下描述中，阐述了描述与根据本公开的一些实施例的具体细节。阐述了许多具体细节以便提供对实施例的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节中的一些或全部具体细节的情况下实施一些实施例。本文公开的具体实施例为说明性的而非限制性的。本领域技术人员可以实现其他元件，虽然这里没有具体描述，但是在本公开的范围和精神内。另外，为了避免不必要的重复，结合一个实施例示出和描述的一个或多个特征可以结合到其他实施例中，除非另外特别描述或者如果一个或多个特征使得实施例不起作用。
在某些情况下，没有详细描述公知的方法、程序、部件和电路，以免不必要地模糊实施例的各方面。
本公开根据其在三维空间中的状态描述了各种器械和器械的部分。如本文所用，术语“位置”是指对象或对象的一部分在三维空间中的位置(例如，沿笛卡尔x、y和z坐标的三个平移自由度)。如本文所用，术语“取向”是指对象或对象的一部分的旋转放置(三个旋转自由度-例如，滚动、俯仰和偏转)。如本文所用，术语“姿势”是指对象或对象的一部分在至少一个平移自由度中的位置以及对象或对象的一部分在至少一个旋转自由度中的取向(最多六个自由度)。如本文所用，术语“形状”是指沿对象测量的一组姿势、位置或取向。
本公开主要集中于穿过的通道为肺部气道的实施例。然而，本领域普通技术人员将理解，这些公开内容同样适用于包括一个或多个分支点的其他类型的通道。例如，其他合适的解剖学通道包括脉管系统、肾盏、淋巴管和/或类似物。在其他示例中，通道可以对应于非解剖通道，包括下水道隧道、垂直管道、导管、加热通风和空调(HVAC)管道、矿井、洞穴和/或类似物。
图1为示例性远程操作医疗系统100。在一些实施例中，远程操作医疗系统100可适用于例如外科手术、诊断、治疗或活检手术。如图1所示，医疗系统100通常包括用于操作医疗器械104以对患者P执行各种手术的操纵器组件102。操纵器组件102安装在手术台T上或其附近。主组件106允许操作者O(例如，如图1所示的外科医生、临床医生或医师)观察介入部位并控制操纵器组件102。
主组件106可以位于操作者的控制台，该控制台通常位于与手术台T相同的房间中，诸如在患者P所在的手术台的侧面。然而，应当理解，操作者O可以位于与患者P不同的房间或完全不同的建筑物中。主组件106通常包括一个或多个用于控制远程操作的操纵器组件102的控制装置。控制装置可以包括任何数量的各种输入装置，诸如操纵杆、轨迹球、数据手套、触发枪、手动控制器、语音识别装置、身体运动或存在传感器等。为了向操作者O提供直接控制器械104的强烈感觉，可以为控制装置提供与相关医疗器械104相同的自由度。通过这种方式，控制装置为操作者O提供远程呈现或者控制装置与医疗器械104为一体的感知。
在一些实施例中，控制装置可以具有比相关联的医疗器械104更多或更少的自由度，并且仍然为操作者O提供远程呈现。在一些实施例中，控制装置可以可选地为以六个自由度移动的手动输入装置，并且还可以包括用于致动器械的可致动手柄(例如，用于闭合抓握钳口，向电极施加电位，输送药物治疗和/或类似物)。
操纵器组件102支撑医疗器械104并且可包括一个或多个非伺服控制的链节(例如，可手动定位并锁定在适当位置的一个或多个链节，通常称为装配结构)和远程操作操纵器构成的运动学结构。操纵器组件102可以可选地包括多个致动器或马达，其响应于来自控制系统(例如，控制系统112)的命令而驱动医疗器械104上的输入。致动器可以可选地包括驱动系统，当联接到医疗器械104时，驱动系统可以将医疗器械104推进到自然或手术创建的解剖孔口中。其他驱动系统可以以多个自由度移动医疗器械104的远端，所述自由度可以包括三个线性运动度(例如，沿X、Y、Z笛卡尔轴线的线性运动)和三个旋转运动度(例如，围绕X、Y、Z笛卡尔坐标轴线旋转)。另外，致动器可用于致动医疗器械104的可铰接的末端执行器，以用于抓取活检装置和/或类似物的钳口中的组织。诸如旋转变压器、编码器、电位计和其他机构的致动器位置传感器可以向医疗系统100提供描述马达轴的旋转和取向的传感器数据。该位置传感器数据可用于确定由致动器操纵的对象的运动。
远程操作医疗系统100可包括具有用于接收关于操纵器组件102的器械的信息的一个或多个子系统的传感器系统108。这种子系统可以包括位置/定位传感器系统(例如，电磁(EM)传感器系统)；形状传感器系统，其用于确定沿着可以构成医疗器械104的柔性主体的远端和/或一个或多个区段的位置、取向、速度、速率、姿势和/或形状；以及/或用于从医疗器械104的远端捕获图像的可视化系统。
远程操作医疗系统100还包括显示系统110，其用于显示由传感器系统108的子系统生成的手术部位和医疗器械104的图像或表示。显示系统110和主组件106可以被定向成使得操作者O可以利用远程呈现的感知来控制医疗器械104和主组件106。
在一些实施例中，医疗器械104可具有可视化系统(在下面更详细讨论的)，其可以包括用于记录一个手术部位的并发或实时图像并且通过医疗系统100的一个或多个显示器(诸如显示系统110的一个或多个显示器)将图像提供给操作者或操作者O的观察镜组件。并发图像可以为例如由位于手术部位内的内窥镜捕获的二维或三维图像。在一些实施例中，可视化系统包括内窥镜部件，其可以整体地或可拆卸地联接到医疗器械104。然而，在一些实施例中，附接到单独的操纵器组件的单独的内窥镜可以与医疗器械104一起使用以对手术部位成像。可视化系统可以实现为硬件、固件、软件或其组合，其与一个或多个计算机处理器交互或以其他方式执行，所述计算机处理器可包括控制系统112的处理器。
显示系统110还可以显示由可视化系统捕获的手术部位和医疗器械的图像。在一些示例中，远程操作医疗系统100可配置医疗器械104和主组件106的控件，使得医疗器械的相对位置类似于操作者O的眼睛和手的相对位置。通过这种方式，操作者O可以操纵医疗器械104和手动控件，好像在基本上真实存在的情况下观察工作空间。通过真实存在，意味着图像的呈现为模拟物理操纵医疗器械104的操作者的视点的真实透视图像。
在一些示例中，显示系统110可以使用来自成像技术(例如，计算机断层扫描(CT)，磁共振成像(MRI)，荧光透视，热成像，超声，光学相干断层扫描(OCT)，热成像，阻抗成像，激光成像，纳米管X射线成像和/或类似物)的图像数据来呈现术前或术中记录的手术部位的图像。术前或术中图像数据可以呈现为二维、三维或四维(包括例如基于时间或基于速度的信息)图像和/或呈现为来自从术前或术中图像数据集创建的模型的图像。
在一些实施例中，通常出于成像引导外科手术的目的，显示系统110可以显示医疗器械104的实际位置与术前或并发图像/模型进行配准(即，动态地参考)的虚拟导航图像。可以这样进行以从医疗器械104的视点向操作者O呈现内部手术部位的虚拟图像。在一些示例中，视点可以来自医疗器械104的尖端。医疗器械104的尖端的图像和/或其他图形或字母数字指示符可以叠加在虚拟图像上，以帮助操作者O控制医疗器械104。在一些示例中，医疗器械104可能在虚拟图像中不可见。
在一些实施例中，显示系统110可以显示虚拟导航图像，在该虚拟导航图像中，医疗器械104的实际位置与术前或并发图像配准，以从外部视点向操作者O呈现手术部位内的医疗器械104的虚拟图像。医疗器械104的一部分或其他图形或字母数字指示符的图像可以叠加在虚拟图像上，以帮助操作者O控制医疗器械104。如本文所述，可以将数据点的视觉表示呈现给显示系统110。例如，本文描述的测量数据点、移动数据点、配准数据点和其他数据点可以以视觉表示显示在显示系统110上。数据点可以通过显示系统110上的多个点或斑在用户界面中可视地表示，或者作为渲染模型，诸如基于该组数据点创建的网格或线模型。在一些示例中，数据点可以根据它们表示的数据进行颜色编码。在一些实施例中，在每个处理操作已经实现之后，可以在显示系统110中刷新视觉表示以改变数据点。
远程操作医疗系统100还可以包括控制系统112。控制系统112包括至少一个存储器和至少一个计算机处理器(未示出)，其用于实现医疗器械104、主组件106、传感器系统108和显示系统110之间的控制。控制系统112还包括编程指令(例如，存储指令的非暂时性机器可读介质)以实现根据本文公开的各方面描述的一些或所有方法，包括用于向显示系统110提供信息的指令。虽然在图1的简化示意图中控制系统112被示为单个块，但是本系统可以包括两个或更多个数据处理电路，其中，处理的一部分可选地在操纵器组件102上或其附近执行，处理的另一部分在主组件106和/或类似物处执行。控制系统112的处理器可以执行包括与本文公开的过程相对应的指令并且在下面更详细地描述的指令。可以采用各种集中式或分布式数据处理架构中的任何一种。类似地，编程指令可以实现为多个单独的程序或子例程，或者它们可以集成到本文描述的远程操作系统的许多其他方面中。在一个实施例中，控制系统112支持无线通信协议，诸如蓝牙、IrDA、HomeRF、IEEE 802.11、DECT和无线遥测。
在一些实施例中，控制系统112可以从医疗器械104接收力和/或扭矩反馈。响应于反馈，控制系统112可以将信号发送到主组件106。在一些示例中，控制系统112可以发送指示操纵器组件102的一个或多个致动器以移动医疗器械104的信号。医疗器械104可以经由患者P的身体中的开口延伸到患者P的体内的内部手术部位。可以使用任何合适的传统和/或专用致动器。在一些示例中，一个或多个致动器可以与操纵器组件102分离或成一体。在一些实施例中，一个或多个致动器和操纵器组件102被提供作为邻近患者P和手术台T定位的远程操作手推车的一部分。
控制系统112可以可选地进一步包括虚拟可视化系统，以在图像引导外科手术过程中控制医疗器械104时向操作者O提供导航辅助。使用虚拟可视化系统的虚拟导航可以基于对获取的解剖通道的术前或术中数据集的参考。虚拟可视化系统处理使用成像技术成像的手术部位的图像，诸如计算机断层扫描(CT)、磁共振成像(MRI)、荧光透视、热成像、超声、光学相干断层扫描(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像和/或类似物。可以与手动输入结合使用的软件用于将记录的图像转换成部分或整个解剖器官或解剖区域的分段二维或三维复合表示。图像数据集与复合表示相关联。复合表示和图像数据集描述了通道的各种位置和形状及其连接性。用于生成复合表示的图像可以在临床手术期间术前或术中记录。在一些实施例中，虚拟可视化系统可以使用标准表示(即，不是患者特定的)或标准表示和患者特定数据的混合。复合表示和由复合表示生成的任何虚拟图像可以表示在一个或多个运动阶段期间(例如，在肺的吸气/呼气循环期间)可变形解剖区域的静态姿势。
在虚拟导航手术期间，传感器系统108可用于计算医疗器械104相对于患者P的解剖结构的近似位置。该位置可用于产生患者P的解剖结构的宏观层面(外部)跟踪图像和患者P的解剖结构的虚拟内部图像两者。本系统可以实现一个或多个电磁(EM)传感器、光纤传感器和/或其他传感器以与术前记录的手术图像一起配准和显示医疗器械，诸如来自虚拟可视化系统的那些是已知的。例如，美国专利申请号13/107,562(2011年5月13日提交)(公开了“提供用于图像引导手术的解剖结构模型的动态配准的医疗系统”)公开了一种这样的系统，该申请通过引用整体并入本文。远程操作医疗系统100可以进一步包括可选的操作和支持系统(未示出)，诸如照明系统、转向控制系统、冲洗系统和/或抽吸系统。在一些实施例中，远程操作医疗系统100可包括不止一个的非远程操作操纵器组件、不止一个的远程操作操纵器组件和/或不止一个的主组件。远程操作操纵器组件的确切数量将取决于外科手术和手术室内的空间限制以及其他因素。主组件106可以并置或者它们可以位于不同的位置。多个主组件允许不止一个操作者以各种组合控制一个或多个操纵器组件。
图2A为示例性医疗器械系统200。在一些实施例中，医疗器械系统200可以用作利用远程操作医疗系统100执行的图像引导医疗手术中的医疗器械104。在一些示例中，医疗器械系统200可以用于非远程操作探索手术或涉及传统手动操作医疗器械(诸如内窥镜检查)的手术。可选地，医疗器械系统200可以用于收集(即，测量)对应于患者(诸如患者P)的解剖通道内的位置的一组数据点。
医疗器械系统200包括细长装置202，诸如柔性导管，其联接到驱动单元204。细长装置202包括具有近端217和远端或尖端部分218的柔性主体216。在一些实施例中，柔性主体216具有约3mm的外直径。其他柔性主体外直径可以更大或更小。
医疗器械系统200进一步包括跟踪系统230，其用于使用一个或多个传感器和/或成像装置确定远端218和/或一个或多个区段224沿着柔性主体216的位置、取向、速度、速率、姿势和/或形状，如下面进一步详细描述的。在远端218和近端217之间的柔性主体216的整个长度可以有效地分成区段224。如果医疗器械系统200与远程操作医疗系统100的医疗器械104一致，则跟踪系统230。跟踪系统230可以可选地实现为硬件、固件、软件或其组合，其与一个或多个计算机处理器交互或以其他方式执行，所述计算机处理器可包括图1中的控制系统112的处理器。
跟踪系统230可以可选地使用形状传感器222跟踪远端218和/或一个或多个区段224。形状传感器222可以可选地包括与柔性主体216对准的光纤(例如，设置在内部通道(未示出)内或安装在外部)。在一个实施例中，光纤的直径约为200μm。在另一些实施例中，尺寸可以更大或更小。形状传感器222的光纤形成用于确定柔性主体216的形状的光纤弯曲传感器。在一个替代方案中，包括光纤布拉格光栅(FBG)的光纤用于在一个或多个维度中提供结构中的应变测量。在美国专利申请号11/180,389(2005年7月13日提交)(公开了“光纤位置和形状感测装置及其相关方法”)；美国专利申请号12/047，056(2004年7月16日提交)(公开了“光纤形状和相对位置感测”)；美国专利号6,389,187(1998年6月17日提交)(公开了“光纤弯曲传感器”)中描述了用于监测三维光纤的形状和相对位置的各种系统和方法，它们通过引用整体并入本文。在一些实施例中，传感器可以采用其他合适的应变感测技术，诸如瑞利散射、拉曼散射、布里渊散射和荧光散射。在一些实施例中，细长装置的形状可以使用其他技术来确定。例如，柔性主体216的远端姿势的历史可用于在时间间隔内重建柔性主体216的形状。在一些实施例中，跟踪系统230可以使用位置传感器系统220可选地和/或另外地跟踪远端218。位置传感器系统220可以为EM传感器系统的部件，其中，位置传感器系统220包括可以经受外部产生的电磁场的一个或多个导电线圈。然后，EM传感器系统220的每个线圈产生感应电信号，该感应电信号具有取决于线圈相对于外部产生的电磁场的位置和取向的特性。在一些实施例中，位置传感器系统220可以被配置和定位成测量六个自由度，例如，指示基点的俯仰、偏转和滚动的三个位置坐标X、Y、Z和三个方位角，或五个自由度，例如，指示基点的俯仰和偏转的三个位置坐标X、Y、Z和两个方位角。在美国专利号6,380,732(1999年8月11日提交)(公开了“在被跟踪对象上具有被动转发器的六自由度跟踪系统”)中公开了位置传感器系统的进一步描述，其通过引用整体并入本文。
在一些实施例中，跟踪系统230可以替代性地和/或另外地依赖于沿着交替运动的循环(如呼吸)为器械系统的已知点存储的历史姿势、位置或取向数据。该存储的数据可用于研发关于柔性主体216的形状信息。在一些示例中，诸如与位置传感器220中的传感器类似的电磁(EM)传感器的一系列位置传感器(未示出)可以沿着柔性主体216定位并然后用于形状感测。在一些示例中，来自在手术期间采集的这些传感器中的一个或多个传感器的数据的历史可用于表示细长装置202的形状，特别是如果解剖通道通常为静态的。
柔性主体216包括通道221，通道221的尺寸和形状设计成接收医疗器械226。图2B为示例性柔性主体216，其具有延伸的医疗器械226。在一些实施例中，医疗器械226可用于诸如外科手术、活检、消融、照明、冲洗或抽吸的手术。医疗器械226可以通过柔性主体216的通道221部署并且用在解剖结构内的目标位置处。医疗器械226可包括例如图像捕获探针、活检器械、激光消融纤维和/或其他外科手术、诊断或治疗工具。医疗工具可包括具有单个工作构件的末端执行器，如手术刀、钝刀片、光纤、电极和/或类似物。其他末端执行器可包括例如镊子、抓紧器、剪刀、施夹器和/或类似物。其他末端执行器可进一步包括电激活的末端执行器，诸如电外科电极、换能器、传感器和/或类似物。在各种实施例中，医疗器械226为活检器械，其可用于从目标解剖位置移除样品组织或细胞取样。医疗器械226也可以与柔性主体216内的图像捕获探针一起使用。在各种实施例中，医疗器械226可以为图像捕获探针，其包括在柔性主体216的远端218处或其附近具有立体或单视场摄像头的远侧部分，立体或单视场摄像头用于捕获由可视化系统231处理以供显示和/或提供给跟踪系统230的图像(包括视频图像)以支持远端218和/或一个或多个区段224的跟踪。图像捕获探针可以包括联接到摄像头的用于发送捕获的图像数据的缆线。在一些示例中，图像捕获器械可以为联接到可视化系统231的光纤束，诸如纤维镜。图像捕获器械可以为单光谱或多光谱的，其用于例如在可见光、红外光和/或紫外光谱中的一者或多者中捕获图像数据。另选地，医疗器械226本身可以为图像捕获探针。医疗器械226可以从通道221的开口前进以执行该手术，然后当手术完成时缩回到通道中。医疗器械226可以从柔性主体216的近端217取出或者从另一个可选的器械端口(未示出)沿着柔性主体216取出。
医疗器械226可另外容纳在其近端和远端之间延伸的缆线、连杆或其他致动控件(未示出)，以可控地控制医疗器械226的弯曲远端。可操纵的器械在美国专利号7,316,681(2005年10月4日提交)(公开了“用于以增强的灵巧度和灵敏度执行微创手术的关节外科手术器械”)和美国专利申请号12/286,644(2008年9月30日提交)(公开了“用于手术器械的被动预载和绞盘驱动器”)中详细描述，其通过引用整体并入本文。
柔性主体216还可以容纳在驱动单元204和远端218之间延伸的缆线、连杆或其他转向控制器(未示出)，以可控地弯曲远端218，例如如通过远端218的虚线描绘219所示。在一些示例中，至少四根缆线用于提供独立的“上下”转向以控制远端218的俯仰和“左右”转向以控制远端281的偏转。可转向细长装置在美国专利申请号13/274,208(2011年10月14日提交)(公开了“带可拆卸视力探针的导管”)中详细描述，该专利申请通过引用整体并入本文。在医疗器械系统200由远程操作组件致动的实施例中，驱动单元204可包括驱动输入，该驱动输入可拆卸地联接到远程操作组件的驱动元件(如致动器)并从其接收电力。在一些实施例中，医疗器械系统200可包括夹持特征、手动致动器或用于手动控制医疗器械系统200的运动的其他部件。细长装置202可以为可操纵的，或另选地，系统可以为不可操纵的，其没有用于操作者控制远端218的弯曲的集成机构。在一些示例中，在柔性主体216的壁中限定一个或多个管腔，医疗器械可通过该管腔在目标外科手术位置处部署并使用。
在一些实施例中，医疗器械系统200可包括柔性支气管器械，诸如支气管镜或支气管导管，其用于肺部的检查、诊断、活检或治疗。医疗器械系统200还适用于经由自然或外科手术创建的连接通道在各种解剖系统中导航和治疗其他组织，包括结肠、肠、肾和肾小管、大脑、心脏、循环系统(包括脉管系统)和/或类似物。
来自跟踪系统230的信息可以被发送到导航系统232，该信息与来自可视化系统231和/或术前获得的模型的信息在导航系统232处组合，以向操作者提供实时位置信息。在一些示例中，实时位置信息可以显示在图1的显示系统110上，以用于控制医疗器械系统200。在一些示例中，图1的控制系统116可以将位置信息用作用于定位医疗器械系统200的反馈。2011年5月13日提交的美国专利申请号13/107,562中提供了用于使用光纤传感器来配准和显示手术器械的手术图像的各种系统，其公开了“提供用于图像引导手术的解剖结构的模型的动态配准的医疗系统”，其通过引用整体并入本文。
在一些示例中，医疗器械系统200可以在图1的医疗系统100内进行远程操作。在一些实施例中，图1的操纵器组件102可以由直接操作者控件代替。在一些示例中，直接操作者控件可以包括用于器械的手持操作的各种手柄和操作者界面。
图3示出了细长装置202形式的示例性医疗器械，其定位在人肺201的解剖学通道内。在一些实施例中，细长装置202可用于解剖结构的其他通道中。
图4示出了用于图像引导外科手术的示例性方法450的流程图。在过程452处，从成像技术(诸如计算机断层扫描(CT)，磁共振成像(MRI)，荧光透视，热成像，超声，光学相干断层扫描(OCT)，热成像，阻抗成像，激光成像或纳米管X射线成像)获得患者解剖结构的术前或术中图像数据。术前或术中图像数据可以对应于二维、三维或四维(包括例如基于时间或基于速度的信息)图像。例如，图像数据可以表示图3的人肺201。
在过程454处，确定患者的解剖结构的分段模型。使用单独或与手动输入组合的计算机软件用于将记录的图像转换成分段的二维或三维复合表示或部分或整个解剖器官或解剖区域的模型。复合表示和图像数据集描述了通道的各种位置和形状及其连接性。更具体地，在分段过程期间，图像被划分为共享某些特征或计算属性(诸如颜色、密度、强度和纹理)的区段或元素(例如，像素或体素)。该分段过程产生二维或三维重建，其基于所获得的图像形成目标解剖结构的模型。为了表示模型，分段过程可以描绘表示目标解剖结构的体素组，然后应用诸如行进立方体函数的函数，以生成包围体素的3D表面。在一些示例中，可以通过生成网格、体积或体素图来制作模型。附加地或替代地，该模型可以包括中心线模型，该中心线模型包括一组互连的线段或延伸穿过模型化通道的中心的点。在模型包括具有一组互连线段的中心线模型的情况下，那些线段可以被转换为点云或点集。通过转换线段，可以手动或自动选择对应于互连线段的所需数量的点。
在过程456处，将模型配准到患者解剖结构。在一些示例中，配准可以在对患者进行图像引导外科手术的过程之前和/或期间进行。通常，配准涉及通过使用刚性和/或非刚性变换将测量点与模型的点进行匹配。可以使用解剖结构中的界标、在手术期间扫描和跟踪的电磁线圈和/或形状传感器系统来生成测量点。可以生成测量点以用于迭代最近点(ICP)技术，如下面进一步详细描述的。其他点集配准方法也可以用在本公开范围内的配准过程中。
用于图像引导手术的其他配准方法通常涉及使用基于电磁或阻抗感测的技术。在外科手术环境中使用的金属对象或某些电子装置可能产生损害感测数据质量的干扰。其他配准方法可能会妨碍临床工作流程。下面描述的系统和方法可以基于ICP或其他点集配准算法以及具有例如光纤形状传感器的点收集器械的校准运动执行配准，从而消除或最小化外科手术环境中的中断。可以使用其他配准技术将一组测量点配准到术前模型或使用另一模态获得的模型。
图5A、图5B和图5C示出了在生成用于配准的人肺模型的分段方法中的过程的示例性应用。在一些实施例中，图5A、图5B和/或图5C的过程可以对应于图4的过程452和/或454的部分。图5A示出了从术前或术中成像数据创建的一组解剖通道的分段模型502。如图所示，通道为人肺的气道。由于自然发生的限制或由操作者设定的限制，分段模型502可能不包括人肺内存在的所有通道。例如，肺的相对狭窄和/或远侧通道可能未完全包括在分段模型502中。分段模型502可以为三维模型，诸如网格模型，其包括限定肺内腔或肺通道的壁。
基于分段模型502，可以生成如图5B所示的中心线分段模型504。中心线分段模型504可包括一组三维直线或一组曲线，其对应于分段模型502中包含的通道的近似中心。分段模型502的分辨率越高，该组直线或曲线将越准确地对应于通道的中心。用中心线分段模型504表示肺可以提供比代表通道壁的分段模型502的数据集更有效地由一个或多个处理器或处理核处理的较小数据集。通过这种方式，可以改进使用该模型的控制系统(诸如控制系统112)的功能。如图5B中所示，中心线分段模型504包括若干分支点，其中，一些分支点在图5B中被突出显示以用于可见性。分支点A、B、C、D和E在几个分支点中的每个分支点处显示。分支点A可以表示模型中气管分成左主支气管和右主支气管的点。右主支气管可以在中心线分段模型504中被识别为位于分支点A和B之间。类似地，次级支气管由分支点B和C识别并且位于分支点B和E之间。另一世代通道可以被定义在分支点C和D之间，这些世代通道中的每个世代通道可以与相应通道的内腔直径的表示相关联。在一些实施例中，中心线模型504可包括每个通道的平均直径值。平均直径值可以为患者特异性值或来自多个患者的更一般的值。
在一些实施例中，分段模型502可用于产生中心线段504或包括如下所述的点云、点集或点集合的另一合适模型。当分段模型502包括表示一个或多个通道的内表面的网格时，可以使用如包括分段模型502的存储数据文件中表示的网格的顶点子集。另选地，可以使用表示分段模型502中的体积或通道的体素的几何中心。另外，可以使用各种解决方案的组合来生成第一组点，诸如中心线分段模型504。例如，网格的顶点子集可以与来自模型的体素的几何中心一起使用。
在一些实施例中，中心线分段模型504在数据中表示为三维空间中的点云、点集或点集合，而不是连续线。图5C将中心线分段模型504示为一组点506。该组模型点中的每个点可以包括诸如一组XM、YM和ZM坐标的坐标或标识三维空间中的每个点的位置的其他坐标。在一些实施例中，每个点可包括世代标识符，其识别与点相关联的通道世代和/或与中心线分段模型504的该部分相关联的直径或半径值。在一些实施例中，可以提供描述与给定点相关联的半径或直径的信息作为单独数据集的一部分。
在生成中心线分段模型504并将其存储为图5C中所示的点集506之后，可以从数据存储装置中检索中心线分段模型504以用于图像引导外科手术。为了在图像引导的外科手术中使用中心线分段模型504，可以配准中心线分段模型504以将中心线分段模型504中的建模通道与存在于外科手术环境中的患者的实际解剖结构相关联。在点集配准中使用模型504包括使用来自中心线分段模型504的点集506。
图6A和图6B为患者坐标空间的示例性侧视图，其包括安装在插入组件上的医疗器械。如图6A和图6B所示，外科手术环境600包括患者P被定位在平台602上。在通过镇静、约束和/或其他手段限制患者的总体运动的意义上，患者P可以在外科手术环境内为静止的。包括患者P的呼吸和心脏运动的循环解剖学运动可以继续，除非要求患者保持他或她的呼吸以暂时中止呼吸运动。因此，在一些实施例中，可以在呼吸的特定阶段收集数据，并且用该阶段标记和识别数据。在一些实施例中，可以从从患者P收集的生理信息推断收集数据的阶段。在外科手术环境600内，点收集器械604联接到器械托架606。在一些实施例中，点收集器械604可以使用EM传感器、形状传感器和/或其他传感器模态。器械托架606被安装到固定在外科手术环境600内的插入台608。另选地，插入台608可以为可移动的，但在外科手术环境600内具有已知位置(例如，经由跟踪传感器或其他跟踪装置)。器械托架606可以为操纵器组件(例如，操纵器组件102)的部件，其联接到点收集器械604以控制插入运动(即，沿着A轴的运动)，并且可选地，细长装置610的远端618在多个方向上的运动(包括偏转、俯仰和滚动)。器械托架606或插入台608可包括致动器，诸如伺服电动机(未示出)，其控制器械托架606沿插入台608的运动。
细长装置610联接到器械主体612。器械主体612相对于器械托架606联接和固定。在一些实施例中，光纤形状传感器614固定在器械主体612上的近侧点616处。在一些实施例中，光纤形状传感器614的近侧点616可以与器械主体612一起移动，但是近侧点616的位置可以是已知的(例如，经由跟踪传感器或其他跟踪装置)。形状传感器614测量从近侧点616到另一点(诸如细长装置610的远端618)的形状。点收集器械604可以基本上类似于医疗器械系统200。
位置测量装置620提供关于器械主体612在插入台608上沿插入轴线A移动时的位置的信息。位置测量装置620可包括旋转变压器、编码器、电位计和/或确定控制器械托架606的运动并因此控制器械主体612的运动的致动器的旋转和/或取向的其他传感器。在一些实施例中，插入台608为线性的。在一些实施例中，插入台608可以为弯曲的或具有弯曲和线性部分的组合。
图6A示出了沿着插入台608处于缩回位置的器械主体612和器械托架606。在该缩回位置，近侧点616位于轴线A上的位置L0。在沿插入台608的该位置中，近侧点616的位置的A分量可被设定为零和/或另一参考值以提供描述器械托架606的位置并因此描述插入台608上的近侧点616的基部参考。利用器械主体612和器械托架606的这种缩回位置，细长装置610的远端618可以恰好定位在患者P的进入孔口内。同样在该位置，位置测量装置620可以设定为零和/或另一个参考值(例如，I＝0)。在图6B中，器械主体612和器械托架606沿着插入台608的线性轨道前进，并且细长装置610的远端618已前进到患者P中。在该前进位置，近侧点616处于轴线A时的位置L1处。在一些示例中，来自控制器械托架606沿插入台608的移动的一个或多个致动器和/或与器械托架606和/或插入台608相关联的一个或多个位置传感器的编码器和/或其他位置数据用于确定近侧点616相对于位置L0的位置Lx。在一些示例中，位置Lx可以进一步用作细长装置610的远端618插入患者P的解剖结构的通道中的距离或插入深度的指示符。
点收集器械604的实施例可以使用任何数量的模态(包括EM感测和形状感测)来收集测量点。当从患者P的通道内收集测量点时，这些点存储在数据存储装置(诸如存储器)中。该组测量点可以存储在数据库中，该数据库包括至少一些，但可以包括在该手术期间或紧接在该手术之前获得的所有测量点。当存储在存储器中时，每个点可以由包括点的坐标，时间戳和/或相对传感器位置或单个传感器ID的数据表示(当使用沿点收集器械604的长度分布的多个传感器来同时确定几个点的位置时)。在一些实施例中，表示每个点的数据还可以包括呼吸阶段标记，其指示收集该点的患者P的呼吸阶段。
图6C为患者坐标空间中的患者P的示例性侧视图，其包括气管内导管(ET)622。如图6C所示，细长装置610通过ET管622插入，以便进入患者P的解剖结构的一个或多个通道。在一些示例中，关于ET管622中的弯曲或曲率的已知信息可以可选地用于帮助定位远端618相对于近侧点616的位置。在一些示例中，即使当ET管622的精确弯曲或曲率未知时，关于ET管622的弯曲或曲率的一般知识可帮助其确定远端618相对于近侧点616的位置和/或使用细长装置610收集的配准位置数据以对患者P的解剖结构的通道的信息建模。在一些示例中，ET管622的内表面623可以可选地包括可以由位于细长装置610的远端618处或其附近的成像装置(诸如内窥镜摄像机)可检测到的独特颜色、标记和/或图案。当远端618进入和/或离开ET管622时，相对于通道的内部颜色和/或图案的独特颜色、标记和/或图案的变化可以帮助提供远端618和/或细长装置610的有用位置数据。
图7为示出了在外科手术环境(诸如外科手术环境600)中为患者的图像引导外科手术提供引导的示例性方法700的流程图。尽管方法700通常在涉及肺气道的手术背景下进行描述，但是应当理解，方法700适用于其他解剖通道(例如，血管、导管、萼等)、非手术环境中的解剖通道(例如，尸体通道、模拟解剖结构和/或类似物)、兽医通道和/或非医疗通道(例如，管道、导管、管道、回廊、井、穴、矿井和/或类似物)。方法700在图7中被示为一组操作或过程702-726。并非所有示出的过程702-726都可以在方法700的所有实施例中执行。另外，图7中未明确示出的一个或多个过程可以包括在过程702-726之前、之后、之间或作为过程702-726的一部分。在一些实施例中，方法700的过程702-726中的一者或多者可以至少部分地以存储在非暂时性、有形的机器可读介质上的可执行代码的形式实现，所述可执行代码在由一个或多个处理器(例如，控制系统112的处理器)运行时，可以使一个或多个处理器执行过程702-724中的一者或多者。
在过程702处，使用位置测量装置校准传感器参考点沿插入路径的相对位置和/或取向。在一些示例中，近侧点616可以可选地对应于传感器参考点，并且图6A和图6B的点收集器械604可以可选地用于确定在器械托架606从近侧点616位于位置L0处的缩回位置移动到近侧点616处于位置L1处的插入位置时的近侧点616的位置和/或取向。近侧点616的校准包括：针对位置测量装置620沿轴线A的每次变化，确定近侧点616的移动方向。在图6A和图6B的插入台608限制器械托架606移动到线性路径的实施例中，校准包括确定沿轴线A的运动。使用插入台608的斜率和沿轴线A的位置，针对位置测量装置620的每个对应测量确定外科手术环境600中的近侧点616的位置和取向。在一些实施例中，在插入台具有弯曲或非线性形状的情况下，校准包括基于非线性形状和器械托架606的移动确定近侧点616在外科手术环境600中的位置和取向。在一些示例中，可以可选地通过将细长装置610的远端618保持在固定位置来确定近侧点616的校准，同时器械托架606沿着器械台608移动并且形状传感器614用于确定远端618和近侧点616之间的几何关系。当器械托架606沿着器械台608移动时，通过取几个读数，由形状传感器614针对近侧点616收集的位置和取向数据可以与来自位置测量装置620的数据相关联，以校准近侧点616的位置和/或取向。
在过程704处，穿过患者的通道并记录沿通道的位置数据。将诸如细长装置的器械插入并沿着感兴趣的通道移动或穿过。当器械沿通道穿过时，监测和记录与器械相关的一个或多个点(诸如器械的远端)的位置。在图6A和6B的示例中，当细长装置610的远端618沿着患者P的通道(诸如沿着患者P的肺部的气道)穿过时，来自细长装置610上的形状传感器614和/或一个或多个其他传感器(如EM传感器)的数据用于确定远端618和/或与细长装置610相关联的其他点的位置。该位置数据可以包括和/或经处理以获得一组测量点，如下面进一步详细描述的。在一些示例中，当使用器械托架606沿着器械台608的运动使细长装置610前进到通道中时，可选地通过使远端618转向来控制穿过通道的选择。在一些示例中，远端618的转向可以可选地经由远程操作、手动和/或自动化控制来控制，诸如通过使用主组件106来调查和获得通道的一部分的位置数据。在一些示例中，远端618的转向可以可选地包括调节远端618的滚动、俯仰和/或偏转，例如关于图2A中的远端218的虚线描绘219所描述的。随着细长装置610的远端618在通道内移动，远端618和/或与细长装置610相关联的其他点的位置聚集在远端618和/或细长装置610的多个位置处。在一些实施例中，当通道对应于肺部的气道时，细长装置610的远端618可以延伸至至少75mm或更远地进入通道中。在一些示例中，细长装置610的远端618可以可选地在肺部的每侧上延伸穿过或进入三个或更多个分支的世代。随着细长装置610的直径减小和/或随着细长装置610的柔性增加，细长装置610可接近的世代数可增加。
图8示出了通过穿过人肺中的气道收集的示例性位置数据。如图8所示，由过程704和/或方法800收集的位置数据由数据点D描绘。在一些示例中，数据点D可以作为具有数据集或具有坐标的点池、时间戳、传感器ID、解剖相位信息、插入深度等存储在存储器中。数据点D可以对应于在远端618前进到穿过的通道中和/或从穿过的通道缩回时使用形状传感器614和/或一个或多个其他传感器收集的远端618和/或与细长装置610相关联的其他点的位置数据。在图6A和6B的示例中，当远端618和/或与细长装置610相关联的一些其他点位于点DX处时，通过组合来自位置测量装置620的信息和来自形状传感器614和/或一个或多个其他传感器的形状数据来确定外科手术环境600中的给定收集数据点DX的位置。在一些示例中，通过校准过程702帮助的近侧点616沿着器械台608的位置Lx和来自形状传感器614的数据可以可选地用于确定点DX的位置。用于数据点D的外科手术环境坐标空间中的位置成为通道的利用通道模型的位置数据配准的参考位置数据集，如下面进一步详细描述的。
返回参考图7，在过程706处，接收通道的模型信息。在一些示例中，通道的术前和/或术中图像，诸如使用过程542获得的图像，可用于构建通道的模型。在一些示例中，可以通过使用过程454分段术前和/或术中图像来生成通道的模型。在一些示例中，通道的模型信息可以对应于如图5C中所描述的中心线分段模型504。在一些实施例中，模型信息可进一步包括通道的一个或多个特征的一个或多个近似测量。在一些示例中，当通道对应于肺部中的气道时，一个或多个近似测量可包括气管的长度、右主支气管的长度、左主支气管的长度、最大气道的半径等。
在过程708处，记录通道的界标位置。在一些示例中，所收集的数据点D中的一者或多者可以对应于通道内的一个或多个界标位置。在一些示例中，对应于一个或多个界标位置的收集数据点D可以可选地用于对配准过程(如ICP过程)进行种子处理。在一些示例中，对应于一个或多个界标位置的每个收集的数据点D可以称为种子点。在一些示例中，当那些数据点D被存储在存储器中时，对应于一个或多个界标位置的收集数据点D可以用界标指示符标记。在一些示例中，一个或多个界标位置可以对应于通道中的分支点。在一些示例中，当通道是肺部中的气道时，一个或多个界标位置可以对应于肺内的隆线。
在一些示例中，作为对应于一个或多个界标位置的数据点D的指定可以由于来自操作者(诸如操作者O)的输入和/或通过一个或多个其他解决方案和/或自动化算法来进行。在一些示例中，操作者可以通过按下按钮、踏板、杠杆，发出可通过语音识别标识的命令和/或激活主组件(诸如主组件106)上的适当输入控制来将数据点D指定为对应于一个或多个界标位置。在一些示例中，操作者可以将细长装置的远端导航到接近其中一个界标位置并且启动远端和通道壁之间的物理接触的点。在一些示例中，用于控制远端的致动器的扭矩传感器和/或编码器可以配准由于与通道的壁接触而抵抗远端的阻力和/或力，并触发对作为界标位置的远端当前位置的标记。在一些示例中，触摸传感器(诸如电容和/或霍尔效应传感器)可以被定位在细长装置的远端附近，以在远端靠近或接触通道壁时提供指示并触发对作为界标位置的远端当前位置的标记。
在一些示例中，当细长装置的远端穿过ET管(如ET管622)时，ET管的已知弯曲或曲率可有助于识别一个或多个界标位置。在一些示例中，即使当ET管中的弯曲或曲率未被精确地知道时，弯曲或曲率也可以足够独特以被识别为对应于通道的特定区域，诸如上呼吸道和气管，因为在ET管的近端处的细长装置的更近侧部分相对于细长装置的更远侧部分在ET管的远端处形成接近90°的角度。基于细长装置的近侧点的姿势信息和ET管的曲率(其可以使用形状传感器容易地识别)，可以识别患者的气管并将其用作界标位置之一。在一些示例中，ET管的远端的检测和定位(如通过检测ET管的内表面的独特颜色、标记和/或图案的末端)，可以进一步帮助识别在患者的气管内的界标位置。
根据一些实施例，当患者相对于细长装置的近侧点的取向已知时，细长装置的远端向左或向右导航可帮助识别与左和/或右主支气管相关联的一个或多个界标位置。在一些示例中，来自形状传感器和/或其他传感器的数据可以可选地用于识别由ET管的曲率形成的ET管的近端和远端之间的大致直角，其ET管的远端识别患者气管内的可能界标位置。在一些示例中，大致直角可以可选地用于识别将患者的解剖结构平分为右半部和左半部的第一平面。当远端进一步转向左主支气管或右主支气管时，可以识别限定大致垂直于第一平面的第二平面的第二角度。然后可以使用第一和第二平面的取向来确定一个或多个另外的界标位置。
图9示出了人肺900中的气道的示例性界标位置。如图9的正面剖视图所示，人肺900包括气道910形式的通道。在一些实施例中，每个气道910可以使用在整个气道910中由虚线指示的中心线模型920来建模。在一些示例中，中心线模型920可以与中心线分段模型504一致。在人肺中，气管和左右主支气管通常为界标位置的良好选择，因为它们通常在气道910的探测期间穿过、位于相对低的插入深度和/或位于气道910中的太多分支点之前。如图所示，气管在主隆线C2处分支成左右主支气管，右主支气管和左主支气管分别从主隆线C2延伸到隆线C1和C3。第一界标位置930与主隆线C2附近的气道910的中心点相关联，其中，气管在主隆线C2处分支成右主支气管和左主支气管。第二界标位置940沿着中心线模型920位于气管中。在一些示例中，可以基于在过程706期间接收到的模型信息中包括的气管的长度来确定第一界标位置930和第二界标位置940之间的距离。在一些示例中，在人肺900对应于典型尺寸的成人的情况下，第二界标位置940可位于第一界标位置930近侧最多30mm处。第三界标位置950沿着中心线模型920位于左主支气管中。在一些示例中，可以基于在过程706期间接收到的模型信息中包括的左主支气管的长度来确定第一界标位置930和第三界标位置950之间的距离。在一些示例中，在人肺900对应于典型尺寸的成人的情况下，第三界标位置950可位于第一界标位置930远侧最多30mm处。第四界标位置960沿着中心线模型920位于右主支气管中。在一些示例中，可以基于在过程706期间接收到的模型信息中包括的右主支气管的长度来确定第一界标位置930和第四界标位置960之间的距离。在一些示例中，在人肺900对应于典型尺寸的成人的情况下，第四界标位置960可位于第一界标位置930远侧最多30mm处。
可以使用两阶段解决方案来确定界标位置(诸如界标位置930-960)。第一阶段可以包括构建代表人肺通道的树，而第二阶段可以包括定位树内的界标。下面将参考图12详细描述第二阶段。在第一阶段中，分析在过程704期间记录的位置数据，并确定大致对应于通道的树。树可以以自顶向下的方式构造，从具有最浅(例如，最小)插入深度的位置数据点开始，然后基于插入深度评估每个其他位置数据点，以使用位置数据点之间的相对距离来构建树。另选地，如下面参考图10和11进一步讨论的，树可以以自上而下的方式构造，从具有最深(例如，最大)插入深度的位置数据点开始，然后基于插入深度评估每个其他位置数据点，以使用位置数据点之间的相对距离来构建树。一旦识别出通道树，就可以从通道树中提取界标位置，如下面参考图12进一步详细讨论的。
图10示出了在位置数据中构建通道树的示例性方法1000的流程图。尽管方法1000通常在涉及肺气道的手术背景下进行描述，但是应当理解，方法1000适用于其他解剖通道(例如，血管、导管、萼等)、非手术环境中的解剖通道(例如，尸体通道，模拟解剖结构和/或类似物)、兽医通道和/或非医疗通道(例如，管道、导管、管道、回廊、井、穴、矿和/或类似物)。方法1000在图10中被示为一组操作或过程1002-1014。并非所有示出的过程1002-1014都可以在方法1000的所有实施例中执行。另外，图10中未明确示出的一个或多个过程可以包括在过程1002-1014之前、之后、之间或作为过程702-726的一部分。在一些实施例中，方法1000的过程1002-1014中的一者或多者可以至少部分地以存储在非暂时性、有形的机器可读介质上的可执行代码的形式实现，所述可执行代码在由一个或多个处理器(例如，控制系统112的处理器)运行时，可以使一个或多个处理器执行过程1002-1014中的一者或多者。并且尽管关于位置数据点描述了图10，但是一个或普通技术人员将理解，当使用聚类时，方法1000和过程1004-1014可以同等地应用于簇中心。
在过程1002处，通过插入深度来组织位置数据。在一些实施例中，在过程704期间记录的位置数据可以在通过基于插入深度的范围将每个位置数据点放入箱中而被收集时进行组织。一旦组织成箱，则可以基于位置可选地对每个箱中的位置数据进行聚类(以分离从不同通道收集的位置数据)，每个簇中的位置数据被聚合(aggregate)(诸如通过平均)，以获得聚合位置或簇的簇中心。在一些示例中，诸如K均值算法和/或均值平移算法的聚类(clustering)算法可用于创建簇(cluster)。在一些示例中，可以可选地限制每个簇的大小，使得每个簇仅包括簇中心的阈值距离内的位置数据。在一些示例中，阈值距离可以可选地基于被穿过的通道的类型、确定细长装置的远端的位置的位置精度等来配置。在一些示例中，阈值距离可以可选地根据在过程706期间接收到的模型信息中包括的最大气道的半径来设置和/或设置为约5mm。
在一些实施例中，通过使用记录的插入深度以及位置数据中的每个点的位置对位置数据和/或箱进行分类来交替地组织在过程704期间记录的用于细长装置的远端的位置数据。在一些示例中，可以使用排序算法(诸如气泡排序或类似算法)对记录后的位置数据进行排序，和/或可选地在过程704期间记录时，使用插入排序或类似算法对位置数据排序。
在过程1004处，分析位置数据以识别具有最深(例如，最大)插入深度的位置数据点。该位置数据点通常对应于细长装置插入通道中最深深度并且代表通道树中的第一叶片。
在过程1006处，识别下一个最深位置数据点/次深位置数据点，并在下面称为当前评估的位置数据点。
在过程1008处，识别在当前评估的位置数据点的阈值距离内的所有先前评估的位置数据点。计算当前评估的位置数据点与到目前为止分析的每个位置数据点(即，具有更大插入深度的每个位置数据点)之间的距离(诸如欧几里德距离)，并且识别在当前评估的位置数据点的阈值距离内的每个先前评估的位置数据点。在一些示例中，阈值距离可以可选地基于被穿过的通道类型、确定细长装置的远端的位置的位置精度、患者的年龄和/或大小等中的一者或多者来配置。在一些示例中，阈值距离可以根据在过程706期间接收到的模型信息中包括的最大气道的半径来设置和/或设置为约5mm。因为通道树的不同通道中的位置数据点可以具有相同或近似相同的插入深度，所以来自通道树的一个分支的位置数据与来自通道树的其他具有插入深度重叠的分支的位置数据使用过程1008来分离。
在过程1010处，确定任何先前评估的位置数据点是否位于当前评估的位置数据点的阈值距离内。当找到一个或多个附近的先前评估的位置数据点时，这些位置数据点用于使用过程1012在通道树中构建一个或多个父子关系。当没有找到附近的先前评估的位置数据点时，使用过程1014处理当前位置数据点，好像它位于不同于最近位置数据点的通道的通道分支中的最深插入点处。
在过程1012处，当前评估的位置数据点作为父项链接到通道树的至多两个分支中的最近位置数据点。相对于与在过程1008期间确定的最近的位置数据点相关联的在阈值距离内的节点，当前评估的位置数据点首先被记录为通道树中的父节点。如果在过程1008期间识别出任何其他位置数据点在阈值距离内，则当前评估的位置数据点相对于其他位置数据点中的最近位置数据点也被记录为通道树中的父节点。这些父子关系构建了通道树，使其反映了通道的树形结构。当存在要处理的其他位置数据点时，通过返回到过程1006来评估下一个最深位置数据点。
在过程1014处，当前评估的位置数据点用于在通道树中创建新的叶片节点。在当前位置数据点不在任何先前评估的位置数据点的阈值距离内时，假设当前评估的位置数据点对应于通道树中的先前未知的分支，并且记录新的叶片节点以表示在先前未知的分支上的最深点。当存在要处理的其他位置数据点时，通过返回到过程1006来评估下一个最深位置数据点。
如上所述并在此进一步强调，图10仅为不应当不当地限制权利要求范围的示例。本领域普通技术人员将认识到许多变化、替代和修改。在一些实施例中，细长装置的插入和缩回(诸如通过监测插入深度的速度)可以可选地用于减少和/或简化过程1006-1014的比较和分析。在一些示例中，检测从缩回到插入的转换可以可选地用于帮助识别通道树中的各种分支和/或在通道树的节点中建立父子关系。
图11A示出了方法1000在示例性位置数据1100上的应用，以生成图11B的通道树1150。在图11A和图11B的示例中，如点“x”所示，在根据过程1002组织之后示出位置数据1100。并且尽管位置数据1100以二维示出，但是应当理解，位置数据1100也可以代表三维。另外，位置数据1100已经基于插入深度被组织成箱1101-1109，其中，箱1101-1109之间的边界由虚线弧描绘。箱1101-1109中的每者的位置数据1100已被进一步组织成簇，每个簇由近似圆形的簇边界和由中心“o”描绘的簇中心示出。并且尽管示出了具有一个、两个、三个或四个位置数据点“x”的簇，但是应当理解，其他簇(未示出)可以包括五个或更多个位置数据点“x”。
一旦使用过程1002组织了位置数据1100，则使用过程1004识别最深的位置数据点，或者在该示例中，最深的簇中心。如图所示，最深的簇中心对应于簇1111。该最深的簇成为通道树1150中的叶片节点1151的基础。然后，通过过程1006-1014以插入深度(最深到最浅)的顺序考虑在位置数据1100中找到的剩余簇中心。
在过程1006的第一应用中，簇1112的簇中心被识别为下一个最深的簇中心，并成为当前评估的簇中心。在过程1008期间，在簇1112的簇中心的阈值距离内没有找到先前评估的簇中心，因此簇1112成为使用过程1014的新叶片节点1152的基础。
在过程1006的第二应用中，簇1113的簇中心被识别为下一个最深的簇中心，并成为当前评估的簇中心。在过程1008期间，簇1111的簇中心被识别为在阈值距离内的唯一先前评估的簇中心，因此通过应用过程1012，簇1113成为节点1153的基础，节点1153使用父子链接1161被链接为节点1151的父节点。
在过程1006的第三应用中，簇1114的簇中心被识别为下一个最深的簇中心，并成为当前评估的簇中心。在过程1008期间，簇1112的簇中心被识别为在阈值距离内的唯一先前评估的簇中心，因此通过应用过程1012，簇1114成为节点1154的基础，节点1153使用父子链接1162被链接为节点1152的父节点。
在过程1006的第四应用中，簇1115的簇中心被识别为下一个最深的簇中心，并成为当前评估的簇中心。在过程1008期间，在簇1115的簇中心的阈值距离内没有找到先前评估的簇中心，因此簇1115成为使用过程1014的新叶片节点1155的基础。
在过程1006的第五应用中，簇1116的簇中心被识别为下一个最深的簇中心，并成为当前评估的簇中心。在过程1008期间，簇1113和1114的簇中心都被识别为在阈值距离内的先前评估的簇中心，因此通过应用过程1012，簇1116成为节点1156的基础，节点1156使用父子链路1163被链接为节点1153的父节点，并且使用父子链路1164被链接为节点1154的父节点，因为簇1113和1114的簇中心为最接近簇1116的簇中心的两个先前评估的簇中心并且在阈值距离内。
然后进一步重复过程1006-1014，直到簇1117的簇中心被评估为下一个最深簇中心并且成为通道树1150的头节点1157的基础。
如前所述，可以在两个阶段(包括由方法1000表示的第一阶段和图12中所示的第二阶段)中确定界标确定。图12示出了识别可以使用图10的方法1000构建的通道树中的界标位置的示例性方法1200的流程图。尽管方法1200通常在涉及肺气道的手术背景下进行描述，但是应当理解，方法1200适用于其他解剖通道(例如，血管、导管、萼等)、非手术环境中的解剖通道(例如，尸体通道，模拟解剖结构和/或类似物)、兽医通道和/或非医疗通道(例如，管道、导管、管道、回廊、井、穴、矿和/或类似物)。方法1200在图12中被示为一组操作或过程1202-1208。并非所有示出的过程1202-1208都可以在方法1200的所有实施例中执行。另外，图12中未明确示出的一个或多个过程可以包括在过程1202-1208之前、之后、之间或作为过程702-726的一部分。在一些实施例中，方法1200的过程1202-1208中的一者或多者可以至少部分地以存储在非暂时性、有形的机器可读介质上的可执行代码的形式实现，所述可执行代码在由一个或多个处理器(例如，控制系统112的处理器)运行时，可以使一个或多个处理器执行过程1202-1208中的一者或多者。
在过程1202处，识别主分支点。使用通过方法1000确定的通道树和关于通道的类型和性质的知识，确定通道中的主分支点。在一些实施例中，当通道对应于肺部中的气道时，主分支点对应于主隆线处的气道中的分支，诸如对应于图9的示例中的第一(或最近侧)界标位置930。在一些示例中，主分支点为满足特定标准的通道树的第一节点(例如，具有两子节点的通道树的第一节点)。在一些示例中，主分支点可以对应于具有两个子节点的通道树的第一节点，这两个子节点本身为两个足够大的子树的头节点。在一些示例中，当两个子树近似平衡时(例如，子树中的一者包括比另一者多不多于50％的节点)并且具有足够的深度(即，相对于相应子树中的最深叶片节点具有最小数量的父子层级，诸如10个或更多个父子层级)。在一些示例中，主分支点为通道树的超过最小阈值插入深度的第一节点(例如，通道树中的具有两个子节点并且具有大于最小阈值插入深度的对应插入深度的第一节点)。在一些示例中，通过设置主分支点的标准，过程1202减少由传感器噪声、意外地收集在气管支气管中的位置数据(诸如在第一分支不对应于主隆线和分成左右主支气管的猪的肺中)和/或类似物引起的一个或多个假分支的可能性。在一些示例中，最小阈值插入深度为超出可识别点的远端(诸如ET管的远端)的插入深度。在一些示例中，最小阈值插入深度可以可选地基于被穿过的通道类型、确定细长装置的远端的位置的位置精度、患者的年龄和/或大小等中的一者或多者来配置。在一些示例中，可以基于在过程706期间接收到的模型信息中包括的气管的长度来确定最小阈值插入深度。在一些示例中，在通道对应于典型尺寸的成人的气道的情况下，最小阈值插入深度可以接近第一界标基于最小30mm的距离、距主隆线的最大距离和/或基于体积扫描的肺部气管长度。在一些示例中，主分支点的位置通过聚合(诸如通过平均)通道树的每个节点(父节点和子节点)的在对应于主分支点的节点的阈值插入深度内的位置数据来确定。在一些示例中，阈值插入深度可以可选地为约5mm。在一些示例中，聚合可以减少由于在过程704期间收集到的位置数据中的噪声而确定主分支点的位置的误差和/或增加针对主分支点确定的位置更接近通道的在主分支点处的中心线的可能性。
在过程1204处，识别近侧界标位置。在一些实施例中，当通道对应于肺部中的气道时，近侧界标位置对应于主隆线上方的气管中的点，诸如对应于图9的示例中的第二界标位置940。通道树中的一个或多个节点具有插入深度，接近主分支点的插入深度的期望插入深度(即，在通道树中的主分支点上方)用于确定近侧界标位置。在一些示例中，使用具有最接近于比主分支点的插入深度更接近的期望插入深度的插入深度的节点来确定近侧界标位置。在一些示例中，通过聚合(诸如通过平均)通道树的一个或多个节点中的每个节点的在比主分支点的插入深度更接近的期望插入深度的阈值插入深度内的位置数据来确定近侧界标位置。在一些示例中，接近主分支点的插入深度的期望插入深度可以可选地基于被穿过的通道类型、确定细长装置的远端的位置的位置精度、患者的年龄和/或大小等中的一者或多者来配置。在一些示例中，基于在过程706期间接收到的模型信息中包括的气管的长度，期望的插入深度位于主分支点的插入深度附近。在一些示例中，在通道对应于成人大小的人的肺中的气道的情况下，期望的插入深度可以位于主分支点近侧最多30mm处。在一些示例中，阈值插入深度可以可选地为约5mm。在一些示例中，聚合可以减少由于在过程704期间收集到的位置数据中的噪声而确定近侧界标位置的位置的误差和/或增加针对近侧界标位置确定的位置更接近通道的在主分支点近侧的中心线的可能性。
在过程1206处，识别第一分支界标位置。在一些实施例中，当通道对应于肺部中的气道时，第一分支界标位置对应于主隆线下方(或远侧)的左主支气管或右主支气管中的点，诸如对应于图9的示例中的第三界标位置950或第四界标位置960。在一些示例中，第一分支界标位置位于在主分支点远侧的通道树的第一分支中。通道树中的一个或多个节点具有插入深度，在主分支点的插入深度远侧的所需插入深度(即，在通道树中的主分支点下方并且沿着与分支中对应于主分支点的节点的一个子节点相对应的一个分支)被用于确定第一分支界标位置。在一些示例中，使用具有最接近于比主分支点的插入深度更远的期望插入深度的插入深度的节点来确定第一分支界标位置。在一些示例中，通过聚合(诸如通过平均)通道树的一个或多个节点中的每个节点的在比主分支点的插入深度更远的期望插入深度的阈值插入深度内的位置数据来确定第一分支界标位置。在一些示例中，位于主分支点的插入深度远侧的期望插入深度可以可选地基于被穿过的通道类型、确定细长装置的远端的位置的位置精度、患者的年龄和/或大小等中的一者或多者来配置。在一些示例中，基于在过程706期间接收到的模型信息中包括的右或左支气管的长度，期望的插入深度位于主分支点的插入深度远侧。在一些示例中，在通道对应于成人大小的人的人肺中的气道的情况下，期望的插入深度可以位于主分支点远侧最多30mm处。在一些示例中，阈值插入深度可以可选地为约5mm。在一些示例中，聚合可以减少由于在过程704期间收集到的位置数据中的噪声而确定第一分支界标位置的位置的误差和/或增加针对第一分支界标位置确定的位置更接近通道的在第一分支中的中心线的可能性。
在过程1208处，识别第二分支界标位置。在一些实施例中，当通道对应于肺部中的气道时，第二分支界标位置对应于主隆线下方的右主支气管或左主支气管中的点，诸如对应于图9的示例中的第四界标位置960或第三界标位置950。在一些示例中，第二分支界标位置位于在主分支点远侧的通道树的第二分支中，该第二分支不同于在过程1206期间用于确定第一分支界标位置的通道树的第一分支。通道树中的一个或多个节点具有插入深度，在主分支点的插入深度远侧的所需插入深度(即，在通道树中的主分支点下方并且沿着与分支中对应于主分支点的节点的另一个子节点相对应的另一个分支)被用于确定第二分支界标位置。在一些示例中，使用具有最接近于比主分支点的插入深度更远的期望插入深度的插入深度的节点来确定第二分支界标位置。在一些示例中，通过聚合(诸如通过平均)通道树的一个或多个节点中的每个节点的在比主分支点的插入深度更远的期望插入深度的阈值插入深度内的位置数据来确定第二分支界标位置。在一些示例中，位于主分支点的插入深度远侧的期望插入深度可以可选地基于被穿过的通道类型、确定细长装置的远端的位置的位置精度、患者的年龄和/或大小等中的一者或多者来配置。在一些示例中，基于在过程706期间接收到的模型信息中包括的右或左支气管的长度，期望的插入深度位于主分支点的插入深度远侧。在一些示例中，在通道对应于成人大小的人的人肺中的气道的情况下，期望的插入深度可以位于主分支点远侧最多30mm处。在一些示例中，阈值插入深度可以可选地为约5mm。在一些示例中，聚合可以减少由于在过程704期间收集到的位置数据中的噪声而确定第二分支界标位置的位置的误差和/或增加针对第二分支界标位置确定的位置更接近通道的在第二分支中的中心线的可能性。
根据一些实施例，可以可选地使用若干可能的解决方案来确定第一分支界标位置和/或第二分支界标位置是否位于主分支点下方的左分支中(例如，对应于左主支气管的界标位置)或位于主分支点下方的右分支中(例如，对应于右主支气管中的界标位置)。在一些示例中，可选地，可以基于与用于在已知以预定顺序穿过左分支和右分支(诸如在穿过右分支之前穿过左分支)时确定第一和第二分支界标位置的位置数据相关联的时间戳来确定左分支和右分支的标识。在一些示例中，可选地，可以基于与用于确定第一和第二界标位置的位置数据相关联的时间戳以及用于细长装置的被时间戳记和记录为细长装置被导航到第一和第二分支中的一个或多个转向命令来确定左分支和右分支的标识。在一些示例中，在收集对应位置数据之前使用的一个或多个转向命令的方向可以用于确定第一分支或第二分支是左分支还是右分支。在一些示例中，传感器系统的已知左或右取向可以可选地用于确定第一和第二分支界标位置中的哪一个更靠左侧定位以及哪一个更靠右侧定位。在一些示例中，系统的左或右取向可以基于主分支点近侧的通道的形状由传感器数据的前和/或后取向来确定，诸如可以由与患者的嘴和/或鼻相关的位置数据和/或ET管的曲率推断出。在一些示例中，近侧界标位置相对于主分支点的方向与第一和第二分支界标位置相对于主分支点的方向之间的角度可以可选地用于确定左分支和右分支。在一些示例中，基于气道树近侧的通道的形状由传感器数据的前和/或后方向的确定来确定左和右通道(例如，通过确定气道树近侧的嘴和鼻的位置)。在一些示例中，当通道对应于人肺的气道时，从主隆线到气管和左主支气管的方向之间的角度小于从主隆线到气管和右主支气管的方向之间的角度。在一些示例中，从主分支点到第一分支和第二分支中的下一个更远侧分支的第一和第二分支的长度可以可选地用于确定左分支和右分支。在一些示例中，当通道对应于人肺的气道时，左主支气管的长度比右主支气管的长度长。在一些实施例中，这些解决方案中的两个或更多个解决方案的组合可以可选地用于确定第一和第二分支界标位置是位于通道的左分支还是右分支中。
即使使用在过程704期间使用细长装置收集的位置数据来描述界标位置的标识，但是在一些实施例中，方法1000和/或1200可以可选地适于识别使用其他解决方案(诸如从二维和/或三维医学成像中收集的数据)收集的数据中的界标位置。在一些示例中，从收集的位置数据生成通道树的两个阶段过程，诸如来自体积三维扫描的位置数据、其次是界标位置从通道树的提取也可以应用于术前和/或术中扫描。
返回参考图7，在过程710处，确定界标位置与通道的模型信息之间的初始种子变换。根据一些实施例，对诸如ICP的闭合点配准算法使用合适的种子变换经常产生闭合点算法的更好配准和/或更快收敛。在一些示例中，在过程708和/或方法1000期间在界标位置中识别的至少三个非共线界标位置与在过程706期间接收到的模型信息中的对应位置之间映射的变换通常提供用于在过程704期间收集的位置数据与在过程706期间接收到的模型信息(例如，参考图9描述的位置，诸如气管、左主支气管和右主支气管)之间进行闭合点配准的良好种子变换。在一些示例中，初始种子变换可以可选地为用于界标位置的每个数据点D通过相同的坐标变换来变换的刚性变换，其中，该坐标变换映射来自在过程704期间收集的位置数据的坐标系或坐标系的位置和取向以及在过程706期间接收到的模型信息的坐标系或坐标系。在一些示例中，初始种子变换可以可选地为用于界标位置的每个数据点D通过不同的坐标变换来变换的非刚性变换。在一些示例中，初始种子变换可以被建模为可以将3D点从一个坐标系转换和/或旋转到另一个坐标系的均匀变换。在一些示例中，当在过程704期间收集的位置数据的坐标系与在过程706期间接收到的模型信息的坐标系之间的映射被选择为初始种子变换时，可以可选地将使用不同界标位置和/或界标位置的不同组合确定的多个初始种子变换与具有最小误差的初始种子变换进行比较。在一些示例中，在方法1000期间确定的第二、第三和第四界标位置可以可选地用于确定初始种子变换。
在可选过程712处，将初始种子变换应用于所记录的位置数据。使用在过程710期间确定的刚性或非刚性变换，变换在过程704期间收集和记录的位置数据，以使位置数据中的点与在过程706期间接收到的模型信息中的对应点更紧密对齐。在一些示例中，当初始种子变换为均匀变换时，通过使用矩阵乘法将初始种子变换应用于位置数据中的每个点来完成位置数据的变换。
在过程714处，将在过程704和/或方法800期间记录的位置数据配准到在过程706期间接收到的模型信息。过程714被示为迭代过程，其包括重复应用过程716-722，直到获得位置数据和模型信息之间的收敛。在一些示例中，过程714的迭代过程对应于ICP配准技术。图9示出了由于将过程714应用于如图8中所收集和示出的位置数据而产生的两组点的示例性后配准对准。在一些实施例中，在配准期间使用的位置数据可以可选地限于在特定解剖阶段(或解剖阶段范围)期间收集的位置数据，以便通过解剖阶段的变化限制在收集的数据中引入的噪声的影响。
在过程716处，位置数据中的点与模型信息中的点匹配。在过程712期间使用初始种子变换和/或通过如下面进一步描述的过程720的变换来对位置数据中的点的变换通常使位置数据中的点与模型信息中的对应点更好地定位和/或旋转对准。然而，因为使位置数据中的点与模型信息中的对应点对准的初始迭代并不总是识别位置数据中的点与模型信息中的点之间的正确对应关系，所以执行重新匹配以更新对应关系。位置数据中的每个点(如变换的)与模型信息中最接近位置数据点的点匹配。在一些示例中，可以通过迭代模型信息中的每个点并且找到与匹配的位置数据中的点具有最短欧几里德距离的点来确定模型信息中的最近点。在一些示例中，可以可选地使用诸如KD树等的其他技术来更有效地执行匹配。在一些示例中，可以基于最大距离阈值确定、最大角度阈值确定和/或用于过滤掉被认为不够可靠或不够“接近”以包含在在过程718期间确定的变换中的匹配的其他度量来丢弃一些匹配，如下面进一步描述的。
在过程718处，确定进一步的变换。基于过程716的匹配，进一步变换识别对位置数据的附加变换，以使位置数据进一步与模型信息对准。在一些示例中，进一步变换确定位移和/或旋转，诸如以均匀变换的形式，其将最佳地使匹配点对准。在一些示例中，通过计算在过程716期间匹配的点之间的位置和取向的总体和/或聚合偏移来确定进一步变换。在一些示例中，可以限制进一步的变换，使得在过程714的任何迭代期间应用最大偏移和/或最大旋转。在一些示例中，可以可选地基于已经执行的过程714的迭代次数来缩放最大偏移和/或最大旋转。
在过程720处，将进一步变换应用于位置数据。使用在过程718期间确定的进一步变换，进一步变换由过程712变换和/或过程720先前应用的位置数据，以使位置数据与过程706期间接收到的模型信息中的点更加对准。在一些示例中，当进一步变换为均匀变换时，通过使用矩阵乘法将进一步变换应用于位置数据中的每个点来完成位置数据的进一步变换。
在过程722处，评估配准技术的收敛。在一些示例中，计算位置数据中的点的位置与模型信息中的点的位置之间的误差测量，其评估变换的位置数据与模型信息之间的总体差异。当聚合的误差测量大于阈值时，重复过程716-722的附加迭代，直到总误差测量低于阈值。该过程的结果在图13中示出，图13示出了过程716-722的多次迭代如何能够使如图8中的点D所表示的位置数据与解剖模型信息550中的点对准。在一些示例中，待在图8和图13之间收敛的迭代次数可以基于模型信息与位置数据中的实际点位置之间的差异、收敛阈值等来改变。
在一些实施例中，通过在用户界面显示器上显示类似于图8和9的图像，可选地将过程716-722的进展显示给操作者，诸如操作者O。在一些示例中，操作者可以可选地监测配准以确定何时实现足够的收敛。在一些示例中，当获得额外的位置数据时，当患者移动等时，过程716-722的配准可以可选地在外科手术期间重复，诸如以规则的间隔。
在配准完成之后，可以可选地执行图像引导的外科手术。在一些示例中，模型信息可以识别待应用目标手术的患者的解剖结构中的一个或多个干预部位和/或目标位置。在一些示例中，包括在过程710期间确定的初始种子变换和在过程718期间确定的每个进一步变换的复合变换可以用于将细长装置的远端的当前位置数据映射到模型信息中的对应位置以帮助操作者规划和/或执行运动计划以将细长装置的远端从其当前位置移动到其中一个目标位置。如图7所示，图像引导的外科手术可以对应于可选过程724和726。
在可选的过程724处，确定细长装置的远端的当前位置。在一些示例中，近侧点的位置和来自形状传感器的数据可用于确定细长装置的远端的手术器械可通过细长装置插入手术器械应用于患者的解剖结构的当前位置。在一些示例中，诸如EM传感器的其他传感器可以可选地用于确定细长装置的远端的当前位置。
在可选的过程726处，细长装置的远端位于模型信息中。使用由过程702-722确定的复合变换，可以变换在过程724期间确定的细长装置的远端的当前位置，使得可以确定细长装置的远端相对于模型信息的位置，并且因此可以确定手术器械相对于模型信息的位置。一旦细长装置的远端的位置如模型信息中所述在通道内是已知的，操作者和/或自动化系统就可以计划和/或执行运动计划以将手术器械递送到其中一个目标位置。当执行计划时，可以重复过程724和726以连续更新细长装置的远端的当前位置和运动计划。
如上所述并在此进一步强调，图7仅为不应当不当地限制权利要求范围的示例。本领域普通技术人员将认识到许多变化、替代和修改。在一些实施例中，可以以不同方式应用过程712和/或720的变换。在一些示例中，可以可选地定义初始种子变换和/或进一步变换以变换模型信息中的点，使得它们通过初始种子变换和/或用于变换模型信息而不是位置数据的进一步变换与位置数据中的点更紧密地对准。在一些示例中，初始种子变换和/或进一步变换可以可选地被划分为单独的变换，其被设计为将位置数据和模型信息都变换为公共坐标系。
本发明的实施例中的一个或多个元件(例如，方法700、1000和/或1200的过程)可以用软件实现，以在计算机系统(诸如控制系统112)的处理器上执行。当在软件中实现时，本发明的实施例的元素本质上为执行必要任务的代码段。程序或代码段可以存储在非暂时性机器可读存储介质(包括可以存储信息的任何介质，包括光学介质、半导体介质和磁介质)中。机器可读存储介质示例包括：电子电路；半导体器件，半导体存储器件，只读存储器(ROM)，闪存，可擦除可编程只读存储器(EPROM)；软盘，CD-ROM，光盘，硬盘或其他存储装置。代码段可以经由诸如因特网、内联网等计算机网络下载。如本文所述，访问、检测、启动、配准、显示、接收、生成、确定、移动数据点、分段、匹配等的操作可以至少部分地由控制系统112或其处理器执行。
需指出，所呈现的过程和显示可能不固有地与任何特定计算机或其他装置相关。各种这些系统所需的结构将作为权利要求中的元素出现。另外，不参考任何特定编程语言来描述本发明的实施例。应当理解，可以使用各种编程语言来实现如本文所述的本发明的教导。
虽然已经在附图中描述和示出了本发明的某些示例性实施例，但是应当理解，这些实施例仅仅是对本广义发明的说明而非限制，并且本发明的实施例不限于所示和所述的特定结构和布置，因为本领域普通技术人员可以想到各种其他修改。
Claims (10)
1.一种装置，包括：
能够用于收集一个或多个通道的位置数据的器械；以及
联接到所述器械的一个或多个处理器；
其中，所述一个或多个处理器被配置为：
通过基于多个点中的点之间的距离对所述多个点进行聚类来组织所述位置数据内的所述多个点；
基于组织的点创建通道树；
识别所述通道树内至少三个非共线界标位置；
创建在所述至少三个非共线界标位置中的一者或多者与模型数据中的对应模型位置之间的种子变换；以及
使用所述种子变换将所述多个点配准到所述一个或多个通道的所述模型数据。
2.根据权利要求1所述的装置，其中，所述器械为包括形状传感器的柔性导管，并且其中，所述位置数据由所述形状传感器提供。
3.根据权利要求2所述的装置，其中，所述形状传感器为光纤形状传感器。
4.根据权利要求1所述的装置，进一步包括联接到所述器械的跟踪传感器。
5.根据权利要求1所述的装置，其中所述多个点被聚类在对应的箱内，并且其中所述点之间的距离是所述对应的箱中的每一个中的所述点之间的距离。
6.根据权利要求1所述的装置，其中，为了创建所述通道树，所述一个或多个处理器进一步被配置为：
以插入深度的降序迭代所述多个点，其中各个插入深度基于当收集所述多个点中的每一个点时所述器械的对应插入深度；以及
基于所述点之间的距离创建在对应于所述点的所述通道树的节点之间的父子关系。
7.根据权利要求6所述的装置，其中，为了创建所述通道树，所述一个或多个处理器进一步被配置为将对应于第一点的第一节点链接为对应于最接近所述第一点的还具有比所述第一点更大的插入深度的第二点的第二节点的第一父节点。
8.根据权利要求6所述的装置，其中，为了创建所述通道树，所述一个或多个处理器进一步被配置为将对应于第一点的第一节点链接为第二节点和第三节点中的每者的父节点，所述第二节点和第三节点对应于最接近所述第一点的还具有比所述第一点更大的插入深度的两个最近点。
9.根据权利要求6所述的装置，其中，为了创建所述通道树，所述一个或多个处理器进一步被配置为当所述第一点不在具有比所述第一点更大的插入深度的任何点的阈值距离内时，创建对应于所述第一点的叶片节点。
10.根据权利要求1所述的装置，其中，为了识别所述通道树内的所述至少三个非共线界标位置，所述一个或多个处理器进一步被配置为：
识别所述通道树中的主分支点；
识别所述主分支点近侧的第一界标位置；
识别所述通道树中所述主分支点远侧的第一分支中在所述主分支点远侧的第二界标位置；以及
识别所述通道树中所述主分支点远侧的第二分支中在所述主分支点远侧的第三界标位置，所述第二分支不同于所述第一分支。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762453401P | 2017-02-01 | 2017-02-01 | |
| US62/453,401 | 2017-02-01 | ||
| CN201880006420.7A CN110167477B (zh) | 2017-02-01 | 2018-02-01 | 图像引导手术的配准系统和方法 |
| PCT/US2018/016390 WO2018144698A1 (en) | 2017-02-01 | 2018-02-01 | Systems and methods of registration for image-guided procedures |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880006420.7A Division CN110167477B (zh) | 2017-02-01 | 2018-02-01 | 图像引导手术的配准系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117717416A true CN117717416A (zh) | 2024-03-19 |
Family
ID=63041074
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311705385.7A Pending CN117717416A (zh) | 2017-02-01 | 2018-02-01 | 图像引导手术的配准系统和方法 |
| CN201880006420.7A Active CN110167477B (zh) | 2017-02-01 | 2018-02-01 | 图像引导手术的配准系统和方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880006420.7A Active CN110167477B (zh) | 2017-02-01 | 2018-02-01 | 图像引导手术的配准系统和方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US11690678B2 (zh) |
| EP (1) | EP3576663A4 (zh) |
| CN (2) | CN117717416A (zh) |
| WO (1) | WO2018144698A1 (zh) |
Families Citing this family (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8218847B2 (en) | 2008-06-06 | 2012-07-10 | Superdimension, Ltd. | Hybrid registration method |
| US9603668B2 (en) | 2014-07-02 | 2017-03-28 | Covidien Lp | Dynamic 3D lung map view for tool navigation inside the lung |
| US9633431B2 (en) | 2014-07-02 | 2017-04-25 | Covidien Lp | Fluoroscopic pose estimation |
| US9986983B2 (en) | 2014-10-31 | 2018-06-05 | Covidien Lp | Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same |
| US10674982B2 (en) | 2015-08-06 | 2020-06-09 | Covidien Lp | System and method for local three dimensional volume reconstruction using a standard fluoroscope |
| US10702226B2 (en) | 2015-08-06 | 2020-07-07 | Covidien Lp | System and method for local three dimensional volume reconstruction using a standard fluoroscope |
| US10716525B2 (en) | 2015-08-06 | 2020-07-21 | Covidien Lp | System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction |
| US11793579B2 (en) | 2017-02-22 | 2023-10-24 | Covidien Lp | Integration of multiple data sources for localization and navigation |
| US10699448B2 (en) | 2017-06-29 | 2020-06-30 | Covidien Lp | System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data |
| WO2019075074A1 (en) | 2017-10-10 | 2019-04-18 | Covidien Lp | SYSTEM AND METHOD FOR IDENTIFICATION AND MARKING OF A TARGET IN A THREE-DIMENSIONAL FLUOROSCOPIC RECONSTRUCTION |
| US10893842B2 (en) | 2018-02-08 | 2021-01-19 | Covidien Lp | System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target |
| US10905498B2 (en) | 2018-02-08 | 2021-02-02 | Covidien Lp | System and method for catheter detection in fluoroscopic images and updating displayed position of catheter |
| US10930064B2 (en) | 2018-02-08 | 2021-02-23 | Covidien Lp | Imaging reconstruction system and method |
| US11705238B2 (en) | 2018-07-26 | 2023-07-18 | Covidien Lp | Systems and methods for providing assistance during surgery |
| US11071591B2 (en) | 2018-07-26 | 2021-07-27 | Covidien Lp | Modeling a collapsed lung using CT data |
| US11944388B2 (en) | 2018-09-28 | 2024-04-02 | Covidien Lp | Systems and methods for magnetic interference correction |
| US11877806B2 (en) | 2018-12-06 | 2024-01-23 | Covidien Lp | Deformable registration of computer-generated airway models to airway trees |
| US11045075B2 (en) | 2018-12-10 | 2021-06-29 | Covidien Lp | System and method for generating a three-dimensional model of a surgical site |
| US11801113B2 (en) | 2018-12-13 | 2023-10-31 | Covidien Lp | Thoracic imaging, distance measuring, and notification system and method |
| US11617493B2 (en) | 2018-12-13 | 2023-04-04 | Covidien Lp | Thoracic imaging, distance measuring, surgical awareness, and notification system and method |
| US11357593B2 (en) | 2019-01-10 | 2022-06-14 | Covidien Lp | Endoscopic imaging with augmented parallax |
| US11625825B2 (en) | 2019-01-30 | 2023-04-11 | Covidien Lp | Method for displaying tumor location within endoscopic images |
| US11925333B2 (en) | 2019-02-01 | 2024-03-12 | Covidien Lp | System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network |
| US11564751B2 (en) | 2019-02-01 | 2023-01-31 | Covidien Lp | Systems and methods for visualizing navigation of medical devices relative to targets |
| US11744643B2 (en) | 2019-02-04 | 2023-09-05 | Covidien Lp | Systems and methods facilitating pre-operative prediction of post-operative tissue function |
| US20220054202A1 (en) * | 2019-02-26 | 2022-02-24 | Intuitive Surgical Operations, Inc. | Systems and methods for registration of patient anatomy |
| US11819285B2 (en) | 2019-04-05 | 2023-11-21 | Covidien Lp | Magnetic interference detection systems and methods |
| US11854217B2 (en) * | 2019-05-03 | 2023-12-26 | Koninklijke Philips N.V. | Co-registration of cardiac images |
| US20200402639A1 (en) * | 2019-06-21 | 2020-12-24 | Intellijoint Surgical Inc. | Systems and methods for planning and performing a computer assisted procedure |
| US11269173B2 (en) | 2019-08-19 | 2022-03-08 | Covidien Lp | Systems and methods for displaying medical video images and/or medical 3D models |
| US11864935B2 (en) | 2019-09-09 | 2024-01-09 | Covidien Lp | Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures |
| US11931111B2 (en) | 2019-09-09 | 2024-03-19 | Covidien Lp | Systems and methods for providing surgical guidance |
| US11627924B2 (en) | 2019-09-24 | 2023-04-18 | Covidien Lp | Systems and methods for image-guided navigation of percutaneously-inserted devices |
| US11380060B2 (en) | 2020-01-24 | 2022-07-05 | Covidien Lp | System and method for linking a segmentation graph to volumetric data |
| US11847730B2 (en) | 2020-01-24 | 2023-12-19 | Covidien Lp | Orientation detection in fluoroscopic images |
| CN111724420A (zh) * | 2020-05-14 | 2020-09-29 | 北京天智航医疗科技股份有限公司 | 一种术中配准方法、装置、存储介质和服务器 |
| US11950950B2 (en) | 2020-07-24 | 2024-04-09 | Covidien Lp | Zoom detection and fluoroscope movement detection for target overlay |
| US20240041535A1 (en) * | 2020-12-10 | 2024-02-08 | Magnisity Ltd. | Dynamic deformation tracking for navigational bronchoscopy |
| CN112741689B (zh) * | 2020-12-18 | 2022-03-18 | 上海卓昕医疗科技有限公司 | 应用光扫描部件来实现导航的方法及系统 |
| CN112741692B (zh) * | 2020-12-18 | 2021-12-14 | 上海卓昕医疗科技有限公司 | 实现将器件导航至目标组织位置的快速导航方法及系统 |
| CN116829089A (zh) * | 2020-12-30 | 2023-09-29 | 直观外科手术操作公司 | 用于基于术中成像更新图形用户界面的系统 |
| EP4191598A1 (en) * | 2021-12-03 | 2023-06-07 | Ambu A/S | Endoscope image processing device |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4695697A (en) * | 1985-12-13 | 1987-09-22 | Gv Medical, Inc. | Fiber tip monitoring and protection assembly |
| US5792135A (en) | 1996-05-20 | 1998-08-11 | Intuitive Surgical, Inc. | Articulated surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity |
| US6380732B1 (en) | 1997-02-13 | 2002-04-30 | Super Dimension Ltd. | Six-degree of freedom tracking system having a passive transponder on the object being tracked |
| GB9713018D0 (en) | 1997-06-20 | 1997-08-27 | Secr Defence | Optical fibre bend sensor |
| WO2005058137A2 (en) * | 2003-12-12 | 2005-06-30 | University Of Washington | Catheterscope 3d guidance and interface system |
| US7772541B2 (en) | 2004-07-16 | 2010-08-10 | Luna Innnovations Incorporated | Fiber optic position and/or shape sensing based on rayleigh scatter |
| US7781724B2 (en) * | 2004-07-16 | 2010-08-24 | Luna Innovations Incorporated | Fiber optic position and shape sensing device and method relating thereto |
| US20060013523A1 (en) | 2004-07-16 | 2006-01-19 | Luna Innovations Incorporated | Fiber optic position and shape sensing device and method relating thereto |
| US7517318B2 (en) * | 2005-04-26 | 2009-04-14 | Biosense Webster, Inc. | Registration of electro-anatomical map with pre-acquired image using ultrasound |
| RU2297860C1 (ru) * | 2006-02-07 | 2007-04-27 | Иван Васильевич Максимович | Способ эндоваскулярного лечения болезни альцгеймера |
| WO2008131303A2 (en) * | 2007-04-20 | 2008-10-30 | Hansen Medical, Inc. | Optical fiber shape sensing systems |
| US9259274B2 (en) | 2008-09-30 | 2016-02-16 | Intuitive Surgical Operations, Inc. | Passive preload and capstan drive for surgical instruments |
| EP2226003B1 (de) * | 2009-03-05 | 2015-05-06 | Brainlab AG | Medizintechnische Bildregistrierung mittels optischer Kohärenztomographie |
| EP3859682A1 (en) | 2009-03-26 | 2021-08-04 | Intuitive Surgical Operations, Inc. | System for providing visual guidance for steering a tip of an endoscopic device towards one or more landmarks and assisting an operator in endoscopic navigation |
| WO2012114239A1 (en) * | 2011-02-23 | 2012-08-30 | Koninklijke Philips Electronics N.V. | Automatic projection of landmarks to generate additional correspondences in image registration |
| US8900131B2 (en) | 2011-05-13 | 2014-12-02 | Intuitive Surgical Operations, Inc. | Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery |
| US9452276B2 (en) | 2011-10-14 | 2016-09-27 | Intuitive Surgical Operations, Inc. | Catheter with removable vision probe |
| EP4056111A3 (en) * | 2012-02-22 | 2022-12-07 | Veran Medical Technologies, Inc. | Systems, methods, and devices for four dimensional soft tissue navigation |
| CN102657531B (zh) * | 2012-04-28 | 2015-07-15 | 深圳泰山在线科技有限公司 | 基于计算机视觉的人体躯干围度测量方法和装置 |
| US10154800B2 (en) * | 2012-05-14 | 2018-12-18 | Intuitive Surgical Operations, Inc. | Systems and methods for registration of a medical device using a reduced search space |
| EP3470003A3 (en) * | 2012-05-14 | 2019-04-24 | Intuitive Surgical Operations Inc. | Systems for deformation compensation using shape sensing |
| CA2893369A1 (en) * | 2012-08-24 | 2014-02-27 | University Of Houston | Robotic device and systems for image-guided and robot-assisted surgery |
| US9592095B2 (en) * | 2013-05-16 | 2017-03-14 | Intuitive Surgical Operations, Inc. | Systems and methods for robotic medical system integration with external imaging |
| JP6722652B2 (ja) * | 2014-07-28 | 2020-07-15 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | 手術中のセグメンテーションについてのシステム及び方法 |
| KR102542190B1 (ko) | 2015-04-06 | 2023-06-12 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 영상 안내 수술에서의 정합 보상의 시스템 및 방법 |
| US11116581B2 (en) | 2015-05-22 | 2021-09-14 | Intuitive Surgical Operations, Inc. | Systems and methods of registration for image guided surgery |
| EP3668582B1 (en) * | 2017-08-16 | 2023-10-04 | Intuitive Surgical Operations, Inc. | Systems for monitoring patient motion during a medical procedure |
-
2018
- 2018-02-01 CN CN202311705385.7A patent/CN117717416A/zh active Pending
- 2018-02-01 US US16/482,020 patent/US11690678B2/en active Active
- 2018-02-01 CN CN201880006420.7A patent/CN110167477B/zh active Active
- 2018-02-01 EP EP18748440.7A patent/EP3576663A4/en active Pending
- 2018-02-01 WO PCT/US2018/016390 patent/WO2018144698A1/en unknown
-
2023
- 2023-05-23 US US18/322,410 patent/US20230301725A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20200000526A1 (en) | 2020-01-02 |
| CN110167477A (zh) | 2019-08-23 |
| US11690678B2 (en) | 2023-07-04 |
| EP3576663A4 (en) | 2020-12-23 |
| CN110167477B (zh) | 2023-12-29 |
| EP3576663A1 (en) | 2019-12-11 |
| WO2018144698A1 (en) | 2018-08-09 |
| US20230301725A1 (en) | 2023-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110167477B (zh) | 图像引导手术的配准系统和方法 | |
| US20230061771A1 (en) | Systems and methods of registration for image-guided procedures | |
| US11423542B2 (en) | Systems and methods of registration for image-guided surgery | |
| US11882990B2 (en) | Systems and methods for data filtering of passageway sensor data | |
| US20220071715A1 (en) | Systems and methods of registration for image-guided surgery | |
| US11864856B2 (en) | Systems and methods of continuous registration for image-guided surgery | |
| US20230088056A1 (en) | Systems and methods for navigation in image-guided medical procedures | |
| JP6716538B2 (ja) | 多数のインターベンショナル処置を計画するシステム及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |