CN111887786A - 用于图像引导外科手术的配准系统和方法 - Google Patents

用于图像引导外科手术的配准系统和方法 Download PDF

Info

Publication number
CN111887786A
CN111887786A CN202010854416.5A CN202010854416A CN111887786A CN 111887786 A CN111887786 A CN 111887786A CN 202010854416 A CN202010854416 A CN 202010854416A CN 111887786 A CN111887786 A CN 111887786A
Authority
CN
China
Prior art keywords
points
point
model
patient
catheter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010854416.5A
Other languages
English (en)
Inventor
C·Q·唐贺维
V·多文戴姆
T·D·苏珀尔
T·赵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN111887786A publication Critical patent/CN111887786A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00694—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body
    • A61B2017/00699—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body correcting for movement caused by respiration, e.g. by triggering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00809—Lung operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0807—Indication means
    • A61B2090/0811—Indication means for the position of a particular part of an instrument with respect to the rest of the instrument, e.g. position of the anvil of a stapling instrument
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Abstract

本发明涉及用于图像引导外科手术的配准系统和方法。公开了一种方法，其包括：访问患者的一个或更多个通路的模型的模型点集；在从导管获得的数据中检测点收集条件；发起收集测量点集；使用所述模型点集和所述测量点集来执行点集配准算法以产生配准的模型点集；以及在由显示器提供的用户界面中显示所述配准的模型点集的视觉表示。

Description

用于图像引导外科手术的配准系统和方法
本申请是国际申请日为2016年8月11日、进入国家阶段日为2018年2月12日的名称为“用于图像引导外科手术的配准系统和方法”的中国专利申请2016800475296(PCT/US2016/046633)的分案申请。
相关专利申请
本专利申请要求2015年8月14日提交的、标题为“SYSTEMS AND METHODS OFREGISTRATION FOR IMAGE-GUIDED SURGERY”的美国临时专利申请62/205,440的优先权和申请日权益，所述专利申请通过引用以其整体并入本文。
技术领域
本公开涉及用于进行图像引导手术的系统和方法，并且更具体地涉及用于显示在图像引导手术期间采样的组织的病理数据的系统和方法。
背景技术
微创医疗技术旨在减小在医疗过程期间受损的组织的量，由此减小患者恢复时间、不适和有害的副作用。可以通过患者解剖结构中的自然孔口或通过一个或更多个手术切口来执行此类微创技术。临床医生可以通过这些自然孔口或切口插入微创医疗仪器(包括外科手术仪器、诊断仪器、治疗仪器或活检仪器)以达到目标组织位置。为了辅助达到目标组织位置，可以使医疗仪器的位置和移动与患者解剖结构的术前图像或术中图像相关。在图像引导仪器与图像相关的情况下，仪器可以对解剖系统(诸如肺、结肠、肠、肾、心脏、循环系统等)中的自然或手术创建的通路进行导航。传统的仪器跟踪和参考系统可能需要在术前和手术成像期间使用患者垫，并且可能干扰临床环境或工作流程。需要用于以最小的临床干扰执行图像引导外科手术的系统和方法。
发明内容
本发明的实施例由随附权利要求最好地总结。
然而，示例性方法可以包括：对表示患者体内的一个或更多个通路的模型的第一模态图像数据的集合进行分段；以及基于表示一个或更多个通路的模型的分段第一模态图像数据的集合来产生第一点集。方法还可以包括：确定第二点集与第一点集之间的匹配集，其中通过第二模态获得第二点集；以及基于第一试探法丢弃匹配集的子集以产生修改的匹配集。
另一个示例性方法可以包括：接收患者的一个或更多个通路的模型的模型点集；以及接收从患者通路内收集的测量点集，每个点包括由患者占据的外科手术环境内的坐标。可以向一个或更多个测量点分配权重。方法还可以包括：将每个测量点与模型点匹配以产生匹配集，每个匹配的值取决于匹配中的测量点的分配权重；以及基于匹配集相对于模型点集移动测量点集。
另一个示例性方法可以包括：接收从患者通路内收集的测量点集，每个点包括由患者占据的外科手术环境内的坐标；以及基于测量点集来识别患者通路的特征。方法还可以包括以下步骤或操作：在接收测量点集之前获得的患者通路的模型中识别与所识别的特征相对应的特征；以及执行测量点集与从模型获得的建模点集的初始配准。
附加的示例性方法可以包括：访问患者的一个或更多个通路的模型的模型点集；在从导管获得的数据中检测点收集条件；发起收集测量点集；以及使用模型点集和测量点集来执行点集配准算法。
另一个附加的示例性方法可以包括：接收患者的一个或更多个通路的模型的模型点集；以及接收从患者通路内收集的第一测量点集，每个点包括由患者占据的外科手术环境内的坐标。方法还可以包括以下操作：产生测量点集与模型点集之间的第一配准；产生第二测量点集与模型点集之间的第二配准；以及然后确定是否实现第二配准来代替第一配准。
另一个示例性方法可以包括：接收患者的一个或更多个通路的模型的模型点集；以及确定位于患者的一个或更多个通路内的导管的状态。当导管的状态满足条件时，方法还可以包括：从患者通路内收集测量点集，每个点包括由患者占据的外科手术环境内的坐标；以及然后产生测量点集与模型点集之间的配准。
又另一个示例性方法可以包括：接收患者的一个或更多个通路的模型的模型点集；以及接收从患者通路内收集的第一测量点集，每个点包括由患者占据的外科手术环境内的坐标。方法还可以包括：产生测量点集与模型点集之间的第一配准；检测患者的运动；以及产生第二测量点集与模型点集之间的第二配准。
应理解，前述一般描述和以下详细描述本质上都为示例性和解释性的，并且意图提供对本公开的理解而不限制本公开的范围。在这点来说，根据以下详细描述，本公开的其他方面、特征和优势对本领域技术人员将是显而易见的。
附图说明
当结合附图阅读时，根据以下具体实施方式，最好地理解本公开的各方面。应当强调的是，根据行业的标准规程，各种特征不是按比例绘制的。事实上，为了讨论，可以任意增加或减小各种特征的尺寸。此外，本公开可重复各种示例中的参考数字和/或字母。这种重复是为了简单和清楚，并且其本身并不指示所论述的各种实施例和/或配置之间的关系。
图1是根据本公开的实施例的远程操作医疗系统。
图2A示出了利用本公开的各方面的医疗仪器系统。
图2B示出了根据本公开的实施例的具有延伸的医疗工具的图2A的医疗仪器系统的远端。
图3示出了定位在人肺内的图2A的医疗仪器系统的远端。
图4是示出根据本公开的实施例的用于在图像引导外科手术中提供引导的方法的流程图。
图5A、图5B和图5C示出根据本公开的实施例的产生用于配准的人肺模型的分段过程中的步骤。
图6A和图6B是根据本公开的实施例的包括安装在插入组件上的医疗仪器的患者坐标空间的侧视图。
图6C是根据本公开的实施例的包括气管内管(endotracheal tube)的患者坐标空间中的患者的侧视图。
图6D包括根据本公开的各方面的图6C的气管内管的内表面的图示。
图7示出了根据本公开的实施例的图像引导外科手术的一部分的流程图。
图8示出了根据本公开的实施例的表示解剖结构的两个点集，其将被配准为图像引导外科手术的一部分。
图9示出了根据本公开的实施例的图像引导外科手术的散播(seeding)过程。
图10示出了根据本公开的实施例的由配准技术产生的两个点集的配准。
图11A、图11B、图11C、图11D、图11E、图11F、图11G和图11H示出了根据本公开的实施例的用于配准表示患者解剖结构的两个点集的各种方法。
图12示出了根据本公开的实施例的配准技术的显示阶段。
图13示出了根据本公开的实施例的存储在存储器中的点池(point pool)。
图14示出了根据本公开的实施例的图像引导外科手术的一部分的流程图。
具体实施方式
在本发明的各方面的以下具体实施方式中陈述了许多具体细节，以便提供对所公开的实施例的充分理解。然而，本领域技术人员将明白的是，本公开的实施例可在没有这些具体细节的情况下被实施。在其他情况下，众所周知的方法、程序、部件和电路未被详细描述，以免不必要地模糊本发明的实施例的各方面。并且，为了避免不必要的描述性重复，根据一个示意性实施例描述的一个或更多个部件或动作可以被使用或在根据其他示意性实施例可应用时省略。
以下实施例将根据各种仪器和仪器部分在三维空间中的状态来描述所述仪器和仪器部分。如本文所使用的，术语“位置”是指对象或对象的一部分在三维空间中的位置(例如，沿着笛卡尔x坐标、y坐标和z坐标的三个平移自由度)。如本文所使用的，术语“定向”是指对象或对象的一部分的旋转放置(三个旋转自由度-例如，滚动、俯仰和偏转)。如本文所使用的，术语“姿态”是指对象或对象的一部分在至少一个平移自由度中的位置、以及对象或对象的一部分在至少一个旋转自由度中的定向(最多达总共六个自由度)。如本文所使用的，术语“形状”是指沿着对象测量的一组姿态、位置或定向。
参考附图中的图1，例如用于外科手术过程、诊断过程、治疗过程或活检过程的远程操作医疗系统大体由参考数字100指示。如图1所示，远程操作系统100通常包括远程操作操纵器组件102，其用于在对患者P执行各种过程时操作医疗仪器104。组件102安装到手术台O或其附近。主组件106允许临床医生或外科医生S观察介入部位并且控制从属操纵器组件102。
主组件106可以位于外科医生控制台处，所述外科医生控制台通常位于与手术台O相同的房间中。但是，应当理解的是，外科医生S可以位于与患者P不同的房间或完全不同的建筑物中。主组件106通常包括用于控制操纵器组件102的一个或更多个控制装置。控制装置可以包括任何数量的各种输入装置，诸如操纵杆、轨迹球、数据手套、触发枪、手动控制器、语音识别装置、身体运动或存在传感器等。在一些实施例中，控制装置将被设置有与相关联的医疗仪器104相同的自由度，以便向外科医生提供远程呈现、或控制装置与仪器104成一体的感觉，使得外科医生具有直接控制仪器104的强烈的感觉。在其他实施例中，控制装置可以具有比相关联的医疗仪器104更多或更少的自由度，并且仍然向外科医生提供远程呈现。在一些实施例中，控制装置是手动输入装置，所述手动输入装置以六个自由度移动并且还可以包括用于致动仪器(例如，用于闭合抓紧钳口、向电极施加电势、递送药物治疗等)的可致动手柄。
远程操作组件102支持医疗仪器系统104，并且可以包括一个或更多个非伺服控制的链路(例如，可以手动定位并锁定就位的一个或更多个链路，通常称为设置结构)的运动学结构和远程操作操纵器。远程操作组件102包括多个致动器或电动机，所述致动器或电动机响应于来自控制系统(例如，控制系统112)的命令来驱动医疗仪器系统104上的输入。电动机包括驱动系统，所述驱动系统在联接到医疗仪器系统104时可以将医疗仪器推进到自然或手术创建的解剖孔口中。其他机动化驱动系统可能以多个自由度移动医疗仪器的远端，所述自由度可以包括三个线性运动度(例如，沿着X、Y、Z笛卡尔轴的线性运动)和三个旋转运动度(例如，围绕X、Y、Z笛卡尔轴的旋转)。附加地，电动机可以用于致动仪器的可铰接的末端执行器，以用于在活检装置等的钳口中抓紧组织。电动机位置传感器(诸如分解器、编码器、电位计和其他机构)可以向远程操作组件提供描述电动机轴的旋转和定向的传感器数据。该位置传感器数据可以用于确定由电动机操纵的对象的运动。
远程操作医疗系统100还包括传感器系统108，所述传感器系统108具有用于接收关于远程操作组件的仪器的信息的一个或更多个子系统。此类子系统可以包括：定位/位置传感器系统(例如，电磁(EM)传感器系统)；用于确定导管尖端和/或沿着仪器系统104的柔性主体的一个或更多个区段的位置、定向、速度、速率、姿态和/或形状的形状传感器系统；和/或用于从导管系统的远端捕获图像的可视化系统。
可视化系统(例如，图2A的可视化系统231)可以包括观察范围组件，所述观察范围组件记录手术部位的同时产生的图像或实时图像并且将图像提供给临床医生或外科医生S。例如，同时产生的图像可以是位于手术部位内的内窥镜所捕获的二维或三维图像。在该实施例中，可视化系统包括内窥镜组件，所述内窥镜组件可以整体地或可移除地联接到医疗仪器104。然而，在替代性实施例中，附接到单独操纵器组件的单独内窥镜可以与医疗仪器一起使用以便对手术部位进行成像。可视化系统可以被实现为硬件、固件、软件或它们的组合，其与一个或更多个计算机处理器进行交互或者由所述一个或更多个计算机处理器以其他方式执行，所述一个或更多个计算机处理器可以包括控制系统112的处理器(以下描述)。控制系统112的处理器可执行的指令包括与本文公开的过程相对应的指令。
远程操作医疗系统100还包括显示系统110，所述显示系统110用于显示由传感器系统108的子系统产生的手术部位和(一个或更多个)医疗仪器系统104的图像或表示。显示器110和操作者输入系统106可以被定向成使得操作者可以利用远程呈现的感知来控制医疗仪器系统104和操作者输入系统106。
显示系统110还可以显示由可视化系统捕获的手术部位和医疗仪器的图像。显示器110和控制装置可以被定向成使得范围组件中的成像装置和医疗仪器的相对位置类似于外科医生的眼睛和手的相对位置，因此操作者可以操纵医疗仪器104和手动控制，就好像以基本真实呈现来观察工作空间一样。真实呈现意味着图像的呈现是模拟物理操纵仪器104的操作者的观察点的真实透视图像。
可替代地或附加地，显示器110可以使用来自成像技术的图像数据来呈现术前或术中记录的手术部位的图像，所述成像技术诸如计算机断层扫描(CT)、磁共振成像(MRI)、荧光镜检查、温度记录法、超声、光学相干断层扫描(OCT)、热成像、阻抗成像、激光成像或纳米管X射线成像。术前或术中图像数据可以被呈现为二维、三维或四维(例如，包括基于时间或基于速度的信息)图像，或者被呈现为来自根据术前或术中图像数据集创建的模型的图像。
在通常用于图像引导外科手术的一些实施例中，显示器110可以显示虚拟导航图像，其中利用术前或同时产生的图像/模型来配准(即动态参考)医疗仪器104的实际位置，以便从仪器104的尖端位置视点向临床医生或外科医生S呈现内部手术部位的虚拟图像。仪器104的尖端的图像或者其他图形或字母数字指示符可以叠加在虚拟图像上以便辅助外科医生控制医疗仪器。可替代地，仪器104可能在虚拟图像中不可见。
在其他实施例中，显示器110可以显示虚拟导航图像，其中利用术前或同时产生的图像来配准医疗仪器的实际位置，以便从外部视点向临床医师或外科医生S呈现手术部位内的医疗仪器的虚拟图像。医疗仪器的一部分的图像或者其他图形或字母数字指示符可以叠加在虚拟图像上以便辅助外科医生控制仪器104。如本文所描述的，可以向显示器110呈现数据点的视觉表示。例如，可能以视觉表示在显示器110上显示测量的数据点、移动的数据点、配准的数据点和本文描述的其他数据点。数据点可以通过显示器上的多个点或圆点在用户界面中可视地表示，或者被表示为呈现的模型(诸如基于数据点集创建的网格或线模型)。在一些实施例中，在已经实现每个处理操作之后，可以在显示器110中刷新视觉表示以更改数据点。
远程操作医疗系统100还包括控制系统112。控制系统112包括至少一个存储器和至少一个计算机处理器(未示出)，并且通常包括多个处理器以用于实现医疗仪器系统104、操作者输入系统106、传感器系统108和显示系统110之间的控制。控制系统112还包括用于实现根据本文公开的各方面描述的一些或全部方法的编程指令(例如，存储指令的计算机可读介质)，从而包括用于向显示系统110提供病理信息的指令。尽管控制系统112在图1的简化示意图中被示为单个块，但所述系统可以包括两个或更多个数据处理电路，其中在远程操作组件102上或其附近任选地执行处理的一部分，在操作者输入系统106处执行处理的另一个部分等。可以采用各种各样的集中式或分布式数据处理架构中的任何一种。类似地，编程指令可以被实现为多个单独的程序或子例程，或者它们可以被集成到本文描述的远程操作系统的多个其他方面中。在一个实施例中，控制系统112支持无线通信协议，诸如蓝牙、IrDA、HomeRF、IEEE 802.11、DECT和无线遥测。
在一些实施例中，控制系统112可以包括从医疗仪器系统104接收力和/或转矩反馈的一个或更多个伺服控制器。响应于反馈，伺服控制器将信号传输到操作者输入系统106。(一个或更多个)伺服控制器也可以传输指导远程操作组件102移动(一个或更多个)医疗仪器系统104的信号，所述(一个或更多个)医疗仪器系统104通过身体中的开口延伸到患者体内的内部手术部位。可以使用任何合适的常规或专用伺服控制器。伺服控制器可以与远程操作组件102分离或者与远程操作组件102集成。在一些实施例中，伺服控制器和远程操作组件被设置为定位在患者身体附近的远程操作臂推车的一部分。
控制系统112还可以包括虚拟可视化系统，其用于在图像引导外科手术中使用时向(一个或更多个)医疗仪器系统104提供导航辅助。使用虚拟可视化系统的虚拟导航基于对所获取的解剖通路的术前或术中数据集的参考。更具体地，虚拟可视化系统对使用成像技术来成像的手术部位的图像进行处理，所述成像技术诸如计算机断层扫描(CT)、磁共振成像(MRI)、荧光镜检查、温度记录法、超声、光学相干断层扫描(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像等。单独的或与手动输入组合的软件用于将记录的图像转换成部分或整个解剖器官或解剖区域的分段二维或三维合成表示。图像数据集与合成表示相关联。合成表示和图像数据集描述通路的各种位置和形状以及其连通性。在临床手术期间，可以在术前或术中记录用于产生合成表示的图像。在替代性实施例中，虚拟可视化系统可以使用标准表示(即不是患者特定的)或者标准表示和患者特定数据的混合。合成表示和合成表示所产生的任何虚拟图像可以表示可变形解剖区域在一个或更多个运动阶段期间(例如，在肺的吸气/呼气周期期间)的静态姿态。
在虚拟导航过程期间，传感器系统108可以用于计算仪器相对于患者解剖结构的近似位置。该位置可以用于产生患者解剖结构的宏观(外部)跟踪图像和患者解剖结构的虚拟内部图像。用于使用电磁(EM)传感器、光纤传感器或其他传感器来配准和显示医疗仪器以及术前记录的外科手术图像(诸如来自虚拟可视化系统的外科手术图像)的各种系统是已知的。例如，美国专利申请号13/107,562(2011年5月13日提交)(公开“Medical SystemProviding Dynamic Registration of a Model of an Anatomic Structure for Image-Guided Surgery(提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统)”)公开了一个此类系统，所述专利申请通过引用以其整体并入本文。
远程操作医疗系统100还可以包括任选的操作和支持系统(未示出)，诸如照明系统、转向控制系统、冲洗系统和/或抽吸系统。在替代性实施例中，远程操作系统可以包括多于一个远程操作组件和/或更多于一个操作者输入系统。操纵器组件的确切数量将取决于外科手术和手术室内的空间限制等因素。操作者输入系统可以并列布置或者它们可以定位在分离的位置中。多个操作者输入系统允许多于一个操作者以各种组合控制一个或更多个操纵器组件。
图2A示出了医疗仪器系统200，其可以在利用远程操作医疗系统100来执行的图像引导医疗过程中用作医疗仪器系统104。可替代地，医疗仪器系统200可以用于非远程操作探索过程或涉及传统手动操作医疗仪器(诸如内窥镜)的过程。附加地或可替代地，医疗仪器系统200可以用于收集(即，测量)与具有患者解剖通路的位置相对应的数据点集。
仪器系统200包括联接到仪器主体204的导管系统202。导管系统202包括具有近端217和远端或尖端部分218的细长柔性导管主体216。在一个实施例中，柔性主体216具有约3mm的外径。其他柔性主体外径可以是更大或更小的。导管系统202可以任选地包括形状传感器222，所述形状传感器222用于确定远端218处的导管尖端和/或沿着主体216的一个或更多个区段224的位置、定向、速度、速率、姿态和/或形状。主体216的整个长度(在远端218与近端217之间)可以被有效地分成区段224。如果仪器系统200是远程操作医疗系统100的医疗仪器系统104，则形状传感器222可以是传感器系统108的部件。如果仪器系统200被手动操作或以其他方式用于非远程操作过程，则形状传感器222可以联接到跟踪系统230，所述跟踪系统230询问形状传感器并处理所接收的形状数据。
形状传感器222可以包括与柔性导管主体216对齐的光纤(例如，设置在内部通道(未示出)内或安装在外部)。在一个实施例中，光纤具有约200μm的直径。在其他实施例中，尺寸可以是更大或更小的。形状传感器系统222的光纤形成用于确定导管系统202的形状的光纤弯曲传感器。在一个替代方案中，包括光纤布拉格光栅(FBG)的光纤用于在一个或更多个维度的结构中提供应力测量。在美国专利申请号11/180,389(2005年7月13日提交)(公开“Fiber optic position and shape sensing device and method relating thereto(光纤位置和形状感测装置及相关方法)”)；美国专利申请号12/047,056(2004年7月16日提交)(公开“Fiber-optic shape and relative position sensing(光纤形状和相对位置感测)”)；以及美国专利号6,389,187(1998年6月17日提交)(公开“Optical Fibre BendSensor(光线弯曲传感器)”)中描述了用于监测光纤的三维形状和相对位置的各种系统和方法，所述专利申请通过引用以其整体并入本文。在替代性实施例中，传感器可以采用其他合适的应力感测技术，诸如瑞利散射、拉曼散射、布里渊散射和荧光散射。在其他替代性实施例中，可以使用其他技术来确定导管的形状。例如，导管的远侧尖端姿态的历史记录可以用于在时间间隔内重构装置的形状。作为另一个示例，可以存储仪器系统已知点的沿着交替运动(诸如呼吸)周期的历史姿态、位置或定向数据。该存储数据可以用于开发关于导管的形状信息。可替代地，沿导管定位的一系列位置传感器(诸如电磁(EM)传感器)可以用于形状感测。可替代地，在手术期间来自仪器系统上的位置传感器(诸如EM传感器)的数据的历史记录可以用于表示仪器的形状，特别是如果解剖通路是大体静止的。可替代地，位置或定向被外部磁场控制的无线装置可以用于形状感测。无线装置的位置的历史记录可以用于确定导航通路的形状。
任选地，医疗仪器系统可以包括位置传感器系统220。位置传感器系统220可以是EM传感器系统的部件，其中传感器220包括可能承受外部产生的电磁场的一个或更多个导电线圈。然后，EM传感器系统220的每个线圈产生感应电信号，所述感应电信号的特征取决于线圈相对于外部产生的电磁场的位置和定向。在一个实施例中，EM传感器系统可以被配置和定位成测量六个自由度(例如，三个位置坐标X、Y、Z以及指示基点的俯仰、偏转和滚动的三个定向角)或五个自由度(例如，三个位置坐标X、Y、Z以及指示基点的俯仰和偏转的两个定向角)。在美国专利号6,380,732(1999年8月11日提交)(公开“Six-Degree of FreedomTracking System Having a Passive Transponder on the Object Being Tracked(具有在被跟踪的物体上的无源应答器的六个自由度跟踪系统)”)中提供了对EM传感器系统的进一步描述，所述专利申请通过引用以其整体并入本文。在一些实施例中，形状传感器也可以用作位置传感器，因为传感器的形状以及关于形状传感器基部(在患者的固定坐标系中)的位置的信息允许计算沿着形状传感器(包括远侧尖端)的各个点的位置。
跟踪系统230可以包括位置传感器系统220和形状传感器系统222，以用于确定远端218和沿着仪器200的一个或更多个区段224的位置、定向、速度、姿态和/或形状。跟踪系统230可以被实现为硬件、固件、软件或它们的组合，其与一个或更多个计算机处理器进行交互或者由所述一个或更多个计算机处理器以其他方式执行，所述一个或更多个计算机处理器可以包括控制系统116的处理器。
柔性导管主体216包括尺寸和形状被设置以接收医疗仪器226的通道221。例如，医疗仪器可以包括图像捕获探针、活检仪器、激光消融纤维、或其他外科手术工具、诊断工具或治疗工具。医疗工具可以包括具有单个工作构件的末端执行器(诸如手术刀、钝刀片、光纤或电极)。例如，其他末端执行器可以包括镊子、抓紧器、剪刀或施夹器。电激活的末端执行器的示例包括电外科电极、换能器、传感器等。在各种实施例中，医疗工具226可以是图像捕获探针，其包括在柔性导管主体216的远端218处或附近的具有立体或单视相机的远侧部分，以用于捕获由可视化系统231处理的图像(包括视频图像)以进行显示。图像捕获探针可以包括联接到相机的电缆以用于传输所捕获的图像数据。可替代地，图像捕获仪器可以是联接到可视化系统的光纤束(诸如纤维镜)。图像捕获仪器可以是单光谱或多光谱的，例如捕获可见光谱、红外光谱或紫外光谱中的一个或更多个内的图像数据。
医疗仪器226可容纳电缆、连杆或在仪器的近端与远端之间延伸的其他致动控制装置(未示出)以便可控地弯曲仪器的远端。在美国专利号7,316,681(2005年10月4日提交)(公开“Articulated Surgical Instrument for Performing Minimally InvasiveSurgery with Enhanced Dexterity and Sensitivity(用于执行微创手术的具有增强的敏捷度和敏感度的铰接的外科手术仪器)”)、以及美国专利申请号12/286,644(2008年9月30日提交)(公开“Passive Preload and Capstan Drive for Surgical Instruments(用于外科器械的无源预载和绞盘驱动)”)中详细描述了可操纵仪器，所述专利申请通过引用以其整体并入本文。
柔性导管主体216还可容纳电缆、连杆或在壳体204与远端218之间延伸的其他转向控制装置(未示出)，以便例如像远端的虚线描绘219所示出的那样可控地弯曲远端218。在美国专利申请号13/274,208(2011年10月14日提交)(公开“Catheter with RemovableVision Probe(具有可移除视觉探针的导管)”)中详细描述了可操纵导管，所述专利申请通过引用以其整体并入本文。在仪器系统200由远程操作组件致动的实施例中，壳体204可以包括驱动输入，所述驱动输入可移除地联接到远程操作组件的机动驱动元件并且从其接收动力。在手动操作仪器系统200的实施例中，壳体204可以包括抓握特征、手动致动器或用于手动控制仪器系统运动的其他部件。导管系统可以是可操纵的，或者可替代地，该系统可能是不可操纵的，其中没有用于仪器弯曲的操作者控制的集成机构。另外或可替代地，一个或更多个内腔限定在柔性主体216的壁中，可以通过所述内腔在目标外科手术位置处部署和使用医疗仪器。
在各种实施例中，医疗仪器系统200可以包括柔性支气管仪器(诸如支气管镜或支气管导管)以用于肺的检查、诊断、活检或治疗。系统200还适用于在各种解剖系统中的任何解剖系统中通过自然或手术创建的连接的通路来导航和治疗其他组织，所述解剖系统包括结肠、肠、肾和肾盏、大脑、心脏、包括血管的循环系统等。
可以将来自跟踪系统230的信息发送到导航系统232，在导航系统232处将所述信息与来自可视化系统231的信息和/或术前获得的模型进行组合，以便在显示系统110上向外科医生或其他操作者提供实时位置信息以用于控制仪器200。控制系统116可以利用位置信息作为反馈以用于定位仪器200。在2011年5月13日提交并公开“Medical SystemProviding Dynamic Registration of a Model of an Anatomic Structure for Image-Guided Surgery(提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统)”的美国专利申请号13/107,562中提供了用于使用光纤传感器来配准和显示具有外科手术图像的外科手术仪器的各种系统，所述专利申请通过引用以其整体并入本文。
在图2A的实施例中，仪器200在远程操作医疗系统100内远程操作。在替代性实施例中，远程操作组件102可以被直接操作者控制装置替换。在直接操作替代方案中，可以包括各种手柄和操作者界面以用于仪器的手持操作。
在替代性实施例中，远程操作系统可以包括多于一个从操纵器组件和/或多于一个主组件。操纵器组件的确切数量将取决于医疗过程和手术室内的空间限制等因素。主组件可以并列布置或者它们可以定位在分离的位置中。多个主组件允许多于一个操作者以各种组合控制一个或更多个从操纵器组件。
如图2B中更详细地示出的，可以通过柔性主体216的通道221部署用于诸如外科手术、活检、消融、照明、冲洗或抽吸的过程的(一个或更多个)医疗工具228并且在解剖结构内的目标位置处使用所述(一个或更多个)医疗工具228。例如，如果工具228是活检仪器，则其可用于从目标解剖位置移除样本组织或细胞采样。医疗工具228也可以与柔性主体216内的图像捕获探针一起使用。可替代地，工具228本身可以是图像捕获探针。工具228可从通道221的开口前进以执行所述过程并且然后在过程完成时缩回到通道中。可以从导管柔性主体的近端217或从另一个任选的仪器端口(未示出)沿着柔性主体移除医疗工具228。
图3示出了定位在患者解剖结构的解剖通路内的导管系统202。在该实施例中，解剖通路是人肺201的气道。在替代性实施例中，可以在解剖结构的其他通路中使用导管系统202。
图4是示出用于图像引导外科手术的一般方法450的流程图。在过程452处，从成像技术获得术前或术中图像数据，所述成像技术诸如计算机断层扫描(CT)、磁共振成像(MRI)、荧光镜检查、温度记录法、超声、光学相干断层扫描(OCT)、热成像、阻抗成像、激光成像或纳米管X射线成像。术前或术中图像数据可对应于二维、三维或四维(例如，包括基于时间或基于速度的信息)图像。例如，图像数据可以表示图3的人肺201。在过程454处，使用单独的或与手动输入组合的计算机软件，以便将记录的图像转换成部分或整个解剖器官或解剖区域的分段二维或三维合成表示或模型。合成表示和图像数据集描述通路的各种位置和形状以及其连通性。更具体地，在分段过程期间，将图像划分成区段或共享某些特性或计算属性(诸如颜色、密度、强度和纹理)的元素(例如，像素或体素)。该分段过程导致二维或三维重构，其基于所获得的图像形成目标解剖结构的模型。为了表示模型，分段过程可以描绘表示目标解剖结构的体素集，并且然后应用函数(诸如移动(marching)立方体函数)以产生封闭体素的3D表面。可以通过产生网格、体积或体素图来制成模型。附加地或可替代地，模型可以包括中心线模型，所述中心线模型包括延伸通过建模通路的中心的互连线段或点的集合。在模型包括含有互连线段集的中心线模型的情况下，可以将那些线段转换成点云或点集。通过转换线段，可以手动或自动选择期望数量的与互连线段相对应的点。在过程456处，在对患者的图像引导外科手术过程之前和/或期间，将解剖模型数据与患者解剖结构配准。一般地，配准涉及通过使用刚性和/或非刚性变换将测量点与模型的点匹配。可以使用解剖结构中的界标、在手术期间扫描和跟踪的电磁线圈、或形状传感器系统来产生测量点。可以产生测量点以用于在图6中以及本公开中别处详细描述的迭代最近点(ICP)技术。还可以在本公开范围内的配准过程中使用其他点集配准方法。
用于与图像引导手术一起使用的其他配准方法通常涉及使用基于电磁或阻抗感测的技术。外科手术环境中使用的金属对象或某些电子装置可能产生损害感测数据的质量的干扰。其他配准方法可能阻碍临床工作流程。以下描述的系统和方法执行基于ICP的配准、或另一个点集配准算法、以及具有光纤形状传感器的点收集仪器的校准移动，从而消除或最小化外科手术环境中的中断。可以使用其他配准技术将测量点集与术前模型或使用另一个模态获得的模型配准。在以下描述的实施例中，可以消除患者和仪器上的EM传感器以及仪器的光学跟踪系统。
图5A、图5B和图5C示出了图4所示的一般方法450的一些步骤。图5A示出了从术前或术中成像数据创建的一组解剖通路的分段模型502。在该实施例中，通路是人肺的气道。由于自然存在的限制或由操作者设置的限制，分段模型502可能不包括人肺内存在的所有通路。例如，肺的相对狭窄的和/或远侧的通路可能未完全包括在分段模型502中。分段模型502可以是三维模型(诸如网格模型)，其包括限定肺的内腔或通路的壁。
基于分段模型502，如图5B所示的，可以产生中心线分段模型504。中心线分段模型504可以包括一组三维直线或一组曲线，其对应于分段模型502中包含的通路的近似中心。模型的分辨率越高，该组直线或曲线就越准确地对应于通路的中心。用中心线分段模型504表示肺可以提供更小数据集，与表示通路壁的分段模型502的数据集相比，一个或更多个处理器或处理核心更有效地处理所述更小数据集。以此方式，可以改善控制系统112的运行。如图5B所示，中心线分段模型504包括若干分支点，其中一些分支点在图5B中被突出显示以供观看。在所述若干分支点处各自示出分支点A、B、C、D和E。分支点A可以表示模型中的气管分成左右主支气管的点。右主支气管可以在中心线模型504中被标识为位于分支点A与B之间。类似地，次级支气管被分支点B和C标识且标识在分支点B与E之间。另一产生可以限定在分支点C与D之间。这些产生中的每一产生都可以与对应通路的内腔直径的表示相关联。在一些实施例中，中心线模型504可以包括每个分段的产生的平均直径值。平均直径值可以是患者特定值或从多个患者导出的更普遍值。
在其他实施例中，可以使用分段模型502来产生中心线区段504或者包括如下的点云、点集或点集合的另一个合适模型。当分段模型502包括表示一个或更多个通路的内表面的网格时，可以使用在包括模型502的存储数据文件中表示的网格的顶点的子集。可替代地，可以使用表示分段模型502中的体积或通路的体素的几何中心。附加地，可以使用各种方法的组合来产生第一点集(诸如中心线区段模型504)。例如，可以使用网格的顶点的子集连同来自模型的体素的几何中心。
在一些实施例中，中心线分段模型504在数据中被表示为三维空间中的点云、点集或点集合，而不是连续线。图5C示出了作为点集506的中心线分段模型504。在数据中，模型点集中的每个点可以包括诸如一组坐标XM、YM和ZM的坐标、或识别每个点在三维空间中的位置的其他坐标。在一些实施例中，每个点可以包括产生标识符，其识别点与哪个通路产生相关联和/或与中心线分段模型504的该部分相关联的直径值或半径值。在一些实施例中，描述与给定点相关联的半径或直径的信息可以被设置为单独数据集的一部分。
在产生中心线分段模型504并将其存储在数据中作为图5C所示的点集506之后，可以从数据存储装置中检索中心线分段模型504以用于图像引导外科手术。为了在图像引导外科手术中使用中心线分段模型504，可以配准模型504以便将模型504中的建模通路与外科手术环境中存在的患者实际解剖结构相关联。在点集配准中使用模型504包括使用来自模型504的点集506。
图6A和图6B示出了根据一些实施例的示例性外科手术环境600，其中外科手术坐标系为XS、YS、ZS，其中患者P位于平台602上。在大幅度患者移动受到镇静、约束或其他手段的限制的意义上来说，患者P可能在外科手术环境内是静止的。包括患者P的呼吸和心脏运动的循环解剖运动可以继续，除非要求患者屏住他或她的呼吸以暂时中止呼吸运动。因此，在一些实施例中，可以在呼吸中的特定方向阶段收集数据，并且利用该阶段来标记和识别数据。在其他实施例中，可以根据从患者收集的生理信息推断出收集数据的阶段。在外科手术环境600内，点收集仪器604联接到仪器托架606。在各种实施例中，点收集仪器604可以使用EM传感器、形状传感器和/或其他传感器模态。仪器托架606被安装到固定在外科手术环境600内的插入台608。可替代地，插入台608可以是可移动的，但是在外科手术坐标系内具有已知位置(例如，通过跟踪传感器或其他跟踪装置)。仪器托架606可以是远程操作操纵器组件(例如，组件102)的部件，其联接到仪器604以控制插入运动(即沿XS方向的运动)并且任选地控制仪器远端沿多个方向(包括偏转、俯仰和滚动)的运动。仪器托架606或插入台608可以包括控制仪器托架沿插入台的运动的伺服电动机(未示出)。
点收集仪器604可以包括联接到近侧刚性仪器主体612的柔性导管610。刚性仪器主体612联接到仪器托架606并相对于仪器托架606固定。在所示的实施例中，光纤形状传感器614被固定在刚性仪器主体612上的近侧点616处。在替代性实施例中，传感器614的点616可以沿着主体612移动，但是该点的位置可以是已知的(例如，通过跟踪传感器或其他跟踪装置)。形状传感器614测量从点616到另一点(诸如导管610的远端618)的形状。点收集仪器604可以基本上类似于医疗仪器系统200。
当刚性仪器主体612沿着插入轴线A在插入台608上移动时，位置测量装置620提供关于刚性仪器主体612的位置的信息。位置测量装置620可以包括分解器、编码器、电位计和其他机构，其确定控制仪器托架606的运动并因此确定刚性附接的仪器主体612的运动的电动机轴的旋转和定向。在该实施例中，插入台608是线性的，但是在替代性实施例中，它可以是弯曲的或者具有弯曲部分和线性部分的组合。任选地，线性轨道可以是可折叠的，例如像在美国临时专利申请号62/029,917(2014年7月28日提交)(公开“Guide Apparatus ForDelivery Of A Flexible Instrument And Methods Of Use(用于递送柔性仪器的引导装置及其使用方法)”)中描述的那样，所述专利申请通过引用以其整体并入本文。图6A示出了沿着插入台608的处于缩回位置的仪器主体612和托架606。在该缩回位置中，近侧点616处于轴线A上的位置L0处。在沿着插入台608的该位置中，点616的位置的XS分量可以被设置为零或初始值。在仪器主体612和托架606的该缩回位置下，导管的远端618可以恰好位于患者P的进入孔口内。而且在该位置中，位置测量装置可以被设置为零或初始值(例如，I＝0)。在图6B中，仪器主体612和托架606已经沿着插入台608的线性轨道前进，并且导管610的远端已经前进到患者P中。在该前进位置中，近侧点616处于轴线A上的位置L1处。
点收集仪器604的实施例可以使用任何数量的模态(包括EM感测和形状感测)来收集测量点。在从患者通路的内部收集测量点时，将所述点存储在数据存储装置(诸如存储器)中。测量点集可以存储在数据库中，所述数据库包括在手术期间或紧接手术前获得的测量点中的至少一些测量点，但也可以包括所有所述测量点。当存储在存储器中时，每个点可以由包括该点坐标、时间戳以及相对传感器位置或单独传感器ID(当使用沿点收集仪器604的长度分布的多个传感器来同时确定若干点的位置时)的数据表示。在一些实施例中，表示每个点的数据还可以包括呼吸阶段标志，其指示收集该点时的患者呼吸阶段。
图7是示出根据本公开的实施例的方法700的流程图，所述方法700用于在外科手术环境600中的对患者P的图像引导外科手术中向临床医生提供引导。方法700在图7中被示为一组框、步骤、操作或过程。并非所有示出、枚举的操作都可以在方法700的所有实施例中执行。附加地，图7中未明确示出的一些附加操作可以包括在所枚举的过程之前、之后、之间，或作为所枚举的过程的一部分。方法700的一些实施例包括存储在存储器中的与方法700的过程相对应的指令。这些指令可以由处理器(类似控制系统112的处理器)执行。
因此，方法700的一些实施例可以开始于过程702，其中执行校准过程以便利用类似点收集仪器604或另一个合适装置的位置测量装置来校准沿着插入路径的传感器参考点的相对位置和/或定向。例如，当托架606从点616处于位置L0处的缩回位置移动到点616处于位置L1处的前进位置时，可以使用图6A和图6B的点收集仪器604来确定点616的位置和定向。校准过程针对位置测量装置620中的每个改变确定点616的移动方向。在该实施例中，在插入台608将托架606的移动限于线性路径的情况下，校准过程确定直线的方向。根据插入台轨道的倾斜度，可以针对位置测量装置620的每个对应测量确定外科手术环境600中的点616的位置和定向。在替代性实施例中，如果插入台具有弯曲或者非线性的形状，则校准过程可以确定非线性形状，使得可以针对位置装置的每个测量确定外科手术环境中的点616的位置和定向。例如，当沿着非线性插入台移动仪器主体时，导管的远尖端可以保持在固定位置。当沿着插入台按路线移动(route)仪器主体时，形状传感器从固定点616收集的位置和定向数据与位置测量装置数据相关，由此校准点616沿着插入台608的轴线A的移动。
在过程704处，导管610的远端618穿过患者P的解剖通路(例如，患者肺的气道)，从而通过来自形状传感器614或另一个传感器(诸如EM传感器或设置在导管610上的传感器)的数据来记录导管远端和/或沿着形状传感器的形状的其他点的位置数据。如本文所述，该位置数据可以包括测量点集或被处理以获得测量点集。更具体地，可以通过远程操作控制、手动控制或自动控制(例如，通过主组件106)来控制导管610的远侧尖端的移动以勘查/调查(survey)解剖通路的一部分。
例如，远程操作控制信号可以致使托架606沿着轴线A移动，从而致使导管的远侧尖端618在解剖通路内前进或缩回。另外或可替代地，远程操作控制信号可以致使在外科手术仪器内延伸的控制构件致动以便在一系列移动(包括偏转、俯仰和滚动)中移动远侧尖端618。当导管在多个通路内移动时，针对远侧尖端的多个位置收集形状传感器数据(和/或在不包括传感器的其他实施例中收集其他位置数据)。在一些实施例中，导管可以延伸到各种通路中多达约三英寸。在一些实施例中，导管可以在肺的每一侧上延伸通过或进入约三个分支的产生。当柔性导管610的直径减小和/或柔性导管610的柔性增加时，可通过导管610进入的产生的数量可以增加。
参考图8，在一些实施例中，针对测量数据点集D收集形状传感器数据。如本文结合图13所讨论的，这些测量点可以作为具有每个收集点的坐标、时间戳、传感器ID、呼吸阶段信息等的数据集或点池存储在存储器中。当导管610的远端618移动到外科手术空间600内的多个位置时，可以收集从形状传感器或其他点收集装置收集的由数据点D提供的该空间信息的集合。通过将在导管远端位于点DX处时的来自位置测量装置620的信息与在导管远端位于点DX处时的来自形状传感器的形状数据组合来确定给定收集数据点DX在外科手术环境空间600中的位置。也可以沿着导管长度收集点。在这两种情况下，来自位置测量装置620的数据和固定传感器点616的校准路径提供了在导管远端618处于点DX时的传感器点616在患者外科手术环境600中的位置。例如，来自控制托架606沿着轨道608的移动的一个或更多个电动机的编码器数据以及来自托架沿着轨道的移动的校准数据提供了在导管远端处于DX点时的传感器点616在外科手术环境600中的位置。形状传感器提供仪器在固定传感器点616与远端618之间的形状。因此，可以根据在远端处于点DX时记录的校准位置测量数据和形状传感器数据来确定点DX(远端618所位于的地点)在外科手术环境空间600中的位置，并且也可以使用沿着形状传感器长度的一个或更多个点来确定其他点D。针对在已收集数据点集(即近侧点616的校准位置与远端618相对于点616的位置的形状传感器数据的组合)中的所有数据点D，在外科手术环境600坐标空间中的位置是仪器的可以与解剖模型信息配准的空间信息的参考集合。
再次参考图7，在过程706处，已收集数据点D中的一个或更多个可以对应于患者解剖结构中的界标位置。在一些实施例中，对应于界标的已收集数据点D可以用于散播配准过程(诸如ICP过程)。在方法700的一些实施例中，可以不执行过程706，并且可以使用自动种子产生算法(automatic seed generation algorithm)来代替过程706。附加地，ICP过程的一些实施例可能不包括散播过程。对应于一个或更多个界标的已收集数据点D的该子集可以被称为种子点。当存储在存储器中时，表示与界标相对应的已收集数据点D的子集的数据可以包括界标指示符。参考图9，一组解剖通路900包括其中通路900分叉的主隆突(carina)C1、C2、C3。通过将导管远端移动到相应隆突位置，可以针对每个隆突的位置收集数据点D。例如，可以在隆突C1处收集数据点DL1。可以在隆突C2处收集数据点DL2。可以在隆突C3处收集数据点DL3。如以上针对点DX所述的，隆突或其他合适界标可以位于患者外科手术环境600中。
再次参考图7的方法700，在过程708处接收解剖模型信息。解剖模型信息可以是如图5C所述的分段中心线模型504。再次参考图9，解剖模型信息可被表示为分支解剖通路的中心线模型550。在一些实施例中，模型可以包括一个或更多个界标点以便与种子点DL1、DL2和DL3相匹配。在一些实施例中，包括在模型中以匹配种子点DL1、DL2和DL3的这些点可能不是中心线点，但是可以包括在中心线模型550中以便有助于后续配准过程的散播。在一些实施例中，中心线模型550可以包括比ML1、ML2和ML3更多的模型界标点。
再次参考图7，在过程712处，执行解剖模型信息550与来自外科手术环境600的已收集数据点集D的配准。可以使用点集配准算法(诸如过程512-520所述的迭代最近点(ICP)技术)、或通过实现另一个配准算法来完成配准。在过程712之前，在过程710处，通过关于患者外科手术环境与解剖模型之间的位移和定向关系的已知信息来散播ICP配准。在该实施例(图9)中，例如，在解剖模型信息中，隆突界标C1、C2、C3被识别为点ML1、ML2、ML3。在替代性实施例中，解剖模型信息可能以其他方式表示，例如，被表示为3D网格模型的中心线区段或轴。来自患者外科手术环境的记录的界标数据点DL1、DL2和DL3分别与对应的模型点ML1、ML2和ML3匹配(即DL1与ML1匹配等)。在点匹配的情况下，在过程711处，应用界标数据点DL1、DL2和DL3与模型点ML1、ML2和ML3之间的初始变换(例如，位置和/或定向的改变)。基于界标数据点DL1、DL2、DL3和模型界标点ML1、ML2、ML3确定的该初始变换可以应用于所有收集的数据点D。该散播过程基于几个界标点将收集的数据点D的初始粗略配准提供给解剖模型信息550。
初始变换可以是其中通过相同的位置和定向改变来变换所有界标数据点的刚性变换，或者可以是其中通过不同的位置和定向改变来变换界标数据点的非刚性变换。在测量数据点集D经历围绕至少一个轴的旋转的一些实施例中，每个单独点的运动可能由于数据点集D的一个或更多个旋转轴的布置而变化。
可以基于许多不同模型点和许多不同测量点来执行在种子阶段执行的初始变换。类似地，可能以许多不同的方式提供种子阶段中使用的测量点。在一些实施例中，执行用于提供初始转换的多种散播方法，并且检查每一种方法的误差。可以使用提供解剖信息模型550与点集D之间的最小误差的方法以开始配准过程。
例如，如本文所说明的，可以使用图9所示的气管和左右主支气管所提供的主要“Y”构型。可以在模型中以及在数据点集D中识别前三个主分岔点或隆突C1、C2和C3中的每一个。在一些实施例中，收集数据点D的过程可以致使作为某些点的记录数据的一部分而包括标识符用于散播过程以包括在该点的数据中。该标识符可以被自动包括作为工作流程的一部分，或者控制点收集仪器604的临床医生可以使用界面以便手动指示(例如，通过点击按钮)由导管610的远端618限定的点，点收集仪器604在特定时间将用于散播过程(即，是界标数据点)。例如，在插入导管之后，临床医生可以将远端618定位在隆突C2处并且点击按钮以捕获位置作为数据点DL2。在使用位于患者P的通路内的图像传感器的一些实施例中，临床医生然后可以导航到隆突C1并且点击按钮以捕获位置作为数据点DL1。临床医生然后可以导航到隆突C3并且点击按钮以捕获位置作为数据点DL3。在一些实施例中，医疗系统的界面可以引导临床医生导航到特定位置，并且然后通过操纵界面元件确认远端618处于特定位置处，在该点处收集对应的数据点。以此方式收集的数据点可以包括本文描述的坐标和其他信息，并且还可以包括数据点是可在散播过程中使用以执行初始粗略转换的种子点或界标点的指示。
其他用户界面交互可以用于触发一个或更多个数据点DX的收集以用于散播过程。例如，在医疗系统包括语音识别部件的情况下，临床医生可以大声说话以识别远端618的当前位置作为种子点、或者将收集点确认为对应于工作流程所请求的特定位置的种子点。尽管在以上的示例中，医疗系统提供工作流程以收集用于在散播过程中使用的数据点DL1、DL2、DL3，但在其他实施例中，用户可以选择优选界标(包括除了如图9所示的主隆突之外的界标)。通过用户界面，临床医生可以识别所选界标的解剖位置，使得可以接近解剖模型信息中的对应位置。
在一些实施例中，可使用设置在导管610的远端或近端处的传感器，以便触发数据点(包括数据点DL1、DL2和DL3)的收集以用于散播过程。例如，作为工作流程的一部分，医疗系统可以使用前三个收集的数据点DX1、DX2和DX3。在这种实施例中，临床医生可以导航到主隆突C1并且致使主隆突C1与远端618之间的物理接触。控制导管远端的致动器的转矩传感器或编码器可以配准抵抗远端的阻力或力并且触发数据点DL1的收集作为响应。
在一些实施例中，触摸式传感器(诸如电容传感器或霍尔效应传感器)可以沿着柔性仪器定位，以便在仪器靠近或接触解剖通路的壁时提供指示。因此，触摸式传感器可以提供关于可用于识别模型数据中的对应特征的通路的形状和尺寸的信息。
尽管对于一些实施例来说，主隆突可以用于散播过程，但其他实施例可以依赖于其他解剖特征以执行初始配准。例如，当导管610的远端618穿过用于引导导管610通过患者P的口腔的气管内(ET)管时，导管610可符合对应于气管内管的已知弯曲或曲线。在图6C和图6D中示出了示例性ET管622。即使管中的弯曲621不是精确已知的，曲率也可以是足够显著的以便被识别为对应于上呼吸道和气管，因为导管610在ET管622的近端处的部分相对于导管610在ET管622的远端处的部分形成近90°的角度。由于远程操作组件102的接头中的传感器，点收集仪器的近端的姿态可以是已知的。基于该姿态信息以及可以使用形状传感器数据来轻易识别的气管内管的曲线，患者P的气管可以被识别并用于散播初始变换。尽管患者P对于点收集仪器604的定向可能已经是已知的，但通过将远端618导航到左主支气管或右主支气管中(如图6C所示)，可以收集可用于散播初始变换的附加信息。例如，通过使用形状传感器或EM传感器数据，可以在ET管进入患者P的气管长度中以及ET管离开患者P的气管长度之间收集表征第一大致直角的信息。该第一角度可以识别可预期二等分解剖模型信息550的平面。当远端618从气管过渡到左主支气管或右主支气管时，可以识别限定第二平面的第二角度。第一地点和第二地点是大致正交的。通过使用第一角度和第二角度，医疗系统可以通过用解剖模型信息550粗略地定向数据点D来识别可用于散播配准过程的患者的右-左定向。
再次参考图6C，其中示出了如图6A和图6B所示的患者P的特写视图。图6C示出了定位在患者P内以便将导管610引导到患者P的肺中的ET管622。ET管622包括内表面623，所述内表面623可以包括不同的颜色和/或不同的图案。
在其中内窥镜相机合并到点收集仪器604中或与点收集仪器604结合使用的实施例中，图像信息也可以用于提供种子。例如，医疗系统可以使用图像数据来确定导管610是否在患者P的气管或另一个通路中。例如，这可以通过使用相机以便监测与解剖区域(例如，气管入口)的改变相关联的解剖颜色、纹理或解剖特征的改变来完成。可替代地，可以使用相机以便监测ET管622的内表面623的颜色或图案的改变或者相机经过在气管终止的ET管的远端的移动。
为了有助于检测导管610进入和/或离开ET管，ET管可以包括有区别的颜色、标记和/或图案。例如，ET管可以是亮绿色、橙色或另一种颜色。在一些实施例中，ET管可以包括标记(诸如符号或字母数字字符)。在一些实施例中，ET管可以包括图案(诸如在亮色与暗色之间交替的条纹图案)。附加地，在一些实施例中，ET管622可以涂覆有反射涂层。基于ET管的颜色、标记和/或图案，医疗系统可以使用通过相机获得的图像以确定远端618是在ET管内还是已经离开进入气管。在图6D中示出了内表面623的示例。颜色、标记和/或图案也可以在术前或术中成像数据中被捕获并且因此在散播过程中用作基准标志。
如图6D所示，内表面623A具有纯色。纯色可以是猎人橙色(hunter orange)、荧光绿色、或在与患者P的通路的自然存在颜色相比较时与机器视觉显著不同的任何颜色。内表面623B示出了包括至少两种颜色的交替条纹的图案。例如，在一些实施例中可以使用黑白条纹。虽然内表面623B的条纹是全部相等的，但是内表面623C的条纹可以包括不同宽度的条纹。如图所示，亮条纹的宽度增加，而暗条纹的宽度相同。在一些实施例中，亮条纹和暗条纹的宽度可以沿着ET管622的长度而变化。尽管内表面623B和623C的条纹被布置成与ET管622的中心轴线正交，但是内表面623D包括不与中心轴线正交的条纹。表面623D包括相对于中心轴线倾斜的交替条纹。在替代性实施例中，颜色、标记或图案可以沿着表面623的长度改变以提供相机插入深度的指示。
在其他实施例中，通过将预期位置与实际图像进行比较，可以基于内窥镜图像来估计导管610的姿态。例如，在插入医疗仪器(诸如内窥镜)期间，主隆突的相机图像可以与主隆突的虚拟分段表示进行比较，并且用于估计内窥镜的插入深度和侧倾/滚动(roll)角。侧倾角可以具有与患者的左主支气管和右主支气管相对应的分开180°的两个可能解决方案。在这种情况下，可以启动两种配准过程，对于每个可能的解决方案有一种配准过程。可以保持和继续提供更好结果的配准，而可以丢弃其他配准。
再次参考图7的方法700，在过程714处，在执行初始粗略变换以启动配准过程的情况下，将从患者P内部收集的测量数据点集D与解剖模型信息550匹配(图10)。例如，可以将每个测量数据点D与解剖模型信息550中的最近点匹配。在该实施例中，解剖模型信息550是从三维解剖模型产生的沿中心线的点集，类似于从图5C的分段模型502产生分段中心线模型504。配准算法识别在已收集数据点D中以及解剖模型点集中的最近点之间的匹配。在各种替代方案中，可以通过使用强力技术、KD树技术等来实现匹配。可以基于最大距离阈值计算、最大角度阈值计算、或者用于滤掉不被认为足够可靠以至包括在模型中的匹配的其他度量来丢弃一些匹配。解剖模型点可以由若干种不同类型的点(包括中心线点、网格点和/或体积点)中的任何一种表示。在一些实施例中，只有测量数据点D的子集与解剖模型中的点集匹配。可以实现多个试探法以便确定已测量数据点D中的哪些点包括在测量点的子集中。
在过程716处，确定将已收集数据点集D移动到解剖模型信息550的匹配解剖模型点的位置和定向所需的运动。更具体地，针对已收集数据点集D，确定位置和定向的总体计算偏移。例如，图8示出了已收集数据点D与解剖模型信息550之间的定向方面约20°以及位移方面约40mm的初始偏移。在一些实施例中，所计算的校正运动可能受到限制，使得在过程712的单次迭代中可以针对一定毫米数的位移仅应用一定度数的旋转。在一些实施例中，虽然计算20°的解剖模型信息550的旋转或重定向，但医疗系统可以将定向的改变限于10°、5°或更小。类似地，在一些实施例中，虽然计算40mm的位移，但医疗系统也可以将单次迭代中可用的位移限于20mm、10mm、5mm或更小。在一些实施例中，可以根据执行迭代的次数来改变限度，使得在稍后迭代中允许的移动小于更早迭代中允许的移动。
在过程718处，使用刚性变换或非刚性变换来变换收集的数据点集D，所述变换应用位移和定向的计算偏移以便移动收集的数据点集D中的每个点。如果计算偏移大于建立限制，则可以应用有限的计算偏移。在替代性实施例中，可以通过使用刚性或非刚性变换来变换建模的数据点，所述变换应用位移和定向的计算偏移以便朝向已收集数据点D移动建模的数据点集550中的每个点。因此，本公开的一些实施例可以涉及将测量点与模型点配准、以及移动(包括平移和/或改变其定向)测量点以便更好地与模型点对齐。这些实施例还包括将测量点与模型点配准、以及重新定向模型点以便更好地与测量点对齐。在又一个替代性实施例中，可以将计算偏移部分地应用于收集的数据点集D并且部分地应用于建模的数据点550，使得两个点集都被变换以收敛于与收集的数据点的坐标系或建模的数据点的坐标系不同的共同参考系。
在过程720处，评估收集的数据点D和匹配解剖模型点550的收敛。换言之，可以针对每个匹配点集确定定向和位移的误差因素。如果总计的误差因素大于阈值，则可以重复过程714-720的附加迭代，直到总体位置和定向误差因素降到阈值以下。在图10中示出了该过程的结果。图10所示的结果可以表示针对多次迭代重复过程712的结果。例如，可以执行超过50次的迭代以收敛于令人满意的配准。然而，在一些实施例中，可能需要小于30次的迭代以实现令人满意的配准。包括散播过程和过程712的配准过程可以被理解为：将解剖模型信息550的集合定向到由外科手术环境限定的空间中存在的点集D；将点集D定向到解剖模型空间中的解剖模型信息550的集合；或将点集D和解剖模型点550的集合都定向到与外科手术环境或模型空间不同的公共空间。
可以将最小化测量点集D与解剖模型信息550之间的误差所需的计算运动的总和应用于其细节多于解剖模型信息550中存在的细节的模型。例如，在配准图5C的分段中心线模型504之后，可以将相同的变换应用于另一个模型，诸如图5A的分段模型502。在此之后，可以向临床医生呈现用户界面，所述用户界面显示分段模型502或其部分以及实况信息(诸如导管在患者P的长通路内的当前位置)。分段模型502和实况信息可以呈现在单独的窗口或屏幕中，或者可以重叠并共同呈现在单个窗口中。
可以在外科手术期间周期性地(例如，每十秒钟一次、每分钟一次、每五分钟一次等)、和/或响应于由循环解剖运动、仪器力和/或患者环境中的其他改变或患者对于环境的定向的改变(诸如通过患者移动)引起的通路变形而多次重新计算配准过程712。
在将解剖模型与外科手术环境配准之后，可以任选地执行图像引导外科手术。解剖模型可以包括先前从模态捕获的细节，所述细节难以在外科手术期间使用并且因此通常在术前捕获。再次参考图8，在过程722处，在外科手术期间，确定外科手术仪器在外科手术环境中的当前位置。例如，可以使用位置传感器(诸如EM传感器)来确定外科手术仪器(并且特别是远端618)在外科手术环境600中的位置。可替代地，来自位置测量装置620的数据和固定传感器点616的校准路径提供了在导管处于当前位置时的传感器点616在患者外科手术环境600中的位置。形状传感器或多个分立传感器提供仪器在固定传感器点616与远端618之间的形状。因此，可以根据已校准的位置测量数据和形状传感器数据来确定导管610(并且特别是导管的远端618)在外科手术环境空间600中的当前位置。
在过程724处，将先前确定的配准变换应用于当前仪器位置和形状数据以便将当前仪器局部化到解剖模型。例如，使用在过程712处确定的一个或更多个变换迭代来变换仪器远端(即数据点Dcurrent)的当前位置和定向。因此，将外科手术环境600中的数据点Dcurrent变换到解剖模型空间。可替代地，如果模型数据点已经被变换到外科手术环境600并且导管610被局部化在外科手术环境中，则可以省略过程724。
任选地，配准允许呈现一个或更多个图像以辅助图像引导过程。例如，可以呈现在分段模型通路上叠加的导管的图像。附加地或可替代地，可以从导管的局部的远端的视角呈现模型内的解剖通路的内部图像(即正好在远端618的远侧的视图)。
现在参考图11A-H，其中示出了若干不同规则或试探法，其可以用于选择然后用来与解剖模型匹配以计算校正运动的测量数据点D的子集。通过识别包含优质信息的点并且忽略包括劣质信息的点，执行配准的控制系统可以更有效地操作。提高的效率可以允许定期地或以事件驱动方式更新配准或重新配准，并最小化用于外科手术导航的图像的呈现的延迟。在一些实施例中，在匹配过程714中仅使用测量数据点的子集。示出了测量数据点集1102，因为它们涉及解剖模型1104(被示出为区段1104A-G的集合)。虽然解剖模型1104的区段1104A-G在图11A-H中被示为线，但这些区段1104A-G还可以对应于沿着具有通路的肺或其他器官的通路中心延伸的模型点(包括点1106A-F)的集合。
如图11A所示，测量数据点集1102表现出与解剖模型1104的区段的一般相关性。这种相关性可能是配准过程或者此类配准过程散播的先前迭代的结果。在计算通过其来变换测量点1102以便与解剖模型1104更好对准的校正运动时，可以获得多个误差值作为计算运动的过程的一部分。在一些实施例中，这些误差值可以是匹配点之间的距离。通常，与特定测量数据点相关联的最小误差值可以是匹配。
如图11A所示，测量数据点1102A与模型点1106A匹配。距离1107表征与测量数据点1102A和模型点1106A的匹配对相关联的距离或误差值。这些点可以是匹配的，因为距离1107是测量数据点1102A与解剖模型1104中的任何其他模型点之间的最短距离。图11A所示的其他匹配包括：测量点1102B与模型点1106B之间的匹配、测量点1102C与模型点1106C之间的另一个匹配、以及测量点1102D与模型点1106D之间的另一个匹配。测量点1102D还与模型点1106E匹配。测量点1102D与模型点1106D之间的距离以及测量点1102D与模型点1106E之间的距离可以是相同的，或者可以是基本上类似的以至于被认为是相同的。例如，当测量点与两个模型点之间的距离相差小于阈值百分比(例如，10％、5％、3％等)时，为了某些目的，所述距离可以被认为是相同的。在一些实施例中，可以计算模型点1106D与1106E之间的距离，并且作为试探法，在以下情况时可以丢弃两个匹配：模型点之间的距离大于任一个模型点与测量点1102D之间的距离，因为这可以指示两个匹配与不同的气道相关联。当模型点之间的距离小于任一个模型点与测量点之间的距离时，可以对匹配进行平均或者可以选择单个匹配。当多个测量点与单个模型点匹配时，可以对测量点进行平均以创建单个平均点。
为了更有效和/或更准确地将测量数据点1102与解剖模型1104配准，在校正运动的计算期间，可以基于一个或更多个试探法而忽略一些点的影响。匹配显著性可以是忽略或丢弃测量点的基础。例如，因为测量点1102D有效地与模型点1106D和1106E匹配，所以在计算校正运动时可以忽略所述匹配。这可以通过忽略测量点1102D来完成。当在本文公开的各种算法中忽略测量点时，可以暂时忽略所述测量点。例如，测量点1102D及其与模型点1106D和1106E的相关联匹配可以不作为因素计入一次迭代中确定的校正运动，但是可以作为因素计入后续迭代中确定的校正运动。可替代地，测量点可以被永久删除，而不是暂时删除。
测量数据点1102C与模型点1106C匹配。模型点1106C是“终点”，因为它是区段1104G(即在其远端处不连接到后续区段的区段)中的最远侧点。在一些实施例中，试探法规定(provide)至少针对一次迭代忽略与模型的终点匹配的测量点。如图11A所示，可以忽略点1102C与点1106C之间的匹配，使得其不作为因素计入确定应用于测量数据点集1102(或应用于模型1104，这取决于哪个点集相对于另一个点集移动)的校正运动的计算。可以排除与模型的终点匹配的测量点以便避免将模型拉向未分段的分支，因为如果更远侧通路被分段以产生模型，则那些测量点可能与更远侧通路匹配。在一些实施例中，与解剖模型1104上的终点匹配的所有测量点可以被忽略。用于配准的解剖模型1104可以不表示肺或其他解剖结构的所有通路。因此，可以从解剖模型1104中未包括的肺的部分获得测量点1102。通过选择性地忽略与解剖模型1104的任何点未良好对应的测量点的子集，控制系统112可以更有效且更准确地执行测量点1102与解剖模型1104的配准。尽管在一些实施例中，针对一次或更多次迭代而忽略的点可以在后续迭代中被考虑，但在其他实施例中，可以从测量点集中删除与多于一个模型点匹配或与终端模型点匹配的测量点。
附加地，在一些情况下，“终点”可以是区段中的最近侧点。例如，假设区段1104A是与气管相关的模型的区段，则最近侧点将对应于气管的开始。对于一次或更多次迭代，可以忽略对应于气管开始的点。
作为另一种试探法，可以使用与每个测量点相关联的时间戳来确定测量点与哪个区段相关联。例如，与测量点1102D相关联的时间戳在与大约相同时间记录的其他测量点的时间戳一起被考虑时可以指示导管位于与区段1104D相关联的通路中，并且此时可能不位于通路1104E中。因此，可以使用测量点的时间顺序来确定给定测量点是否可以与模型点匹配。
图11B示出了在针对配准过程的第一次迭代应用校正运动以变换测量点1102之后的测量点集1102和解剖模型1104。对于配准过程的后续迭代，测量点1102A现在与其现在更接近的模型点1106F匹配。在第一次迭代之后，测量点1102E进一步远离区段1104A。对于第一次迭代，测量点1102C与终端模型点1106C匹配。对于后续迭代，测量点1102C与不同的终端模型点(点1106G)匹配。
图11C示出了另一种试探法，通过所述试探法，可以优化将测量数据点与模型点匹配的过程714以便通过控制系统112来提供更准确和更有效的配准。如图11C所示，测量点1102F与模型点1106H匹配。在测量点1102F附近示出的测量点1102的附加点也将与模型区段1104G上的点匹配。然而，因为没有测量点1102与区段1104C匹配，所以在计算校正运动时可以忽略测量点1102F与模型点1106H之间的匹配。这可以基于以下假设来完成：为了使点与更远侧通路(更高产生的通路)相关联，应当获得与紧接在前(更远侧)的通路匹配的测量点。紧接在前的通路可以被称为“上代(parent)”，而紧邻的远侧通路可以被称为“下代(child)”。这里，因为没有测量点与解剖模型1104的区段1104C匹配，所以与连接但更远侧区段1104G的匹配是可疑的。在一些实施例中，对于指定次数的迭代(例如，一次或更多次)，可以忽略测量点1102F，或者可以从测量点集1102中永久删除测量点1102F。
而且如图11C所示，两个测量点1102G和1102H被示为分别与模型点1106I和1106J匹配。模型点1106I和1106J是模型区段1104E的一部分。在一些实施例中，另一种试探法可以规定，在计算校正运动中考虑匹配之前，需要阈值数量的测量点以匹配特定模型区段。例如，当要求三个测量点的阈值与区段匹配时，测量点1102G和1102H与模型点1106I和1106J之间的匹配可以分别被忽略。如果替代性地，阈值是一个或两个测量点，则这些匹配可以包括在计算中。在各种实施例中，阈值可以是2、3、5、10或更多个点，并且可以取决于通过区段建模的通路的产生。例如，与区段1104G相关联的阈值可以低于或高于与区段1104C相关联的阈值，因为这些区段与解剖模型1104中的不同产生的通路相关联。
现在参考图11D，其中示出了两个相关联的解剖模型：模型1108(实线模型)和模型1110(虚线模型)。解剖模型1108与第一呼吸阶段相关联，而解剖模型1110与第二呼吸阶段相关联。例如，在患者P呼吸时，第一呼吸阶段可以是吸气的最大程度，并且第二呼吸阶段是呼气的最大程度。在身体中的自然存在过程期间，器官(诸如肺)可能变形。为了补偿此类过程，可以产生多个模型，如图11D所示。在图11D中，测量点集1102包括由包含呼吸阶段标志的数据表示的点。如所描绘的，点1102包括在图11D中被示为圆圈的点以及其中通过交叉示出的点。被示为圆圈的点1102包括指示吸气的呼吸阶段标志。被示为交叉的点1102包括指示呼气的呼吸阶段标志。在一些实施例中，可以存在在存储器中存储的单独的测量点集。
当点1102包括呼吸阶段标志时，另一种试探法可以规定所述点与对应阶段的解剖模型匹配。如图11D所示，尽管测量点1102I更接近区段1110B，但医疗系统将测量点1102I与解剖模型1108的区段1108B上的点1112A匹配。这是因为测量点1102I包括吸气的呼吸阶段标志，并且解剖模型1108是与呼吸的吸气阶段相关联的阶段模型。测量点1102J与作为解剖模型1110的区段1110B的一部分的模型点1114A相匹配，因为点1102J是呼气点(例如，表示点1102J的数据包括指示在呼气期间获得所述数据的呼吸阶段标志)，并且解剖模型1110是与呼气阶段相关联的阶段模型。类似地，因为测量点1102L是呼气点，所以点1102L与模型点1114B匹配。点1102K与模型点1112B匹配，因为它们都与吸气阶段相关联。
在两个模型中表示两个阶段并且测量点各自具有二进制阶段标志的实施例中，可以分别执行图7的过程712，以便将第一阶段测量点与第一阶段模型配准并且将第二阶段测量点与第二阶段模型配准。或者可以将单独的测量点集与对应模型点配准。在测量点集分别存储在存储器中的情况下，表示点的数据可能不包括阶段标志。在一些实施例中，可以通过随时间推移测量患者的呼吸阶段并且将该信息和与每个测量点相关的时间戳进行比较来确定给定测量点的阶段标志。当给定测量点的时间戳指示在吸气峰值时收集受伤点时，可以更新表示测量点的数据以便包括适当的阶段标志。附加地，在导管610包括形状传感器的一些实施例中，时间形状数据可用于确定呼吸阶段并且包括适当的标志和测量数据点。
现在参考图11E和图11F，医疗系统的一些实施例可以实现最大距离阈值的试探法，使得从迭代的校正运动的计算中排除与模型点匹配但其分离距离大于最大距离阈值的测量点。如图11E所示，测量点1102已经通过散播过程至少最初与解剖模型1104配准。也可能已经执行一次或更多次较早迭代。在一些实施例中，可以建立一般应用于解剖模型1104的最大距离阈值。可替代地，如图所示，不同的最大距离阈值与解剖模型1104中的通路的每个产生相关联。可以根据特征(诸如通路直径和/或变形性)来确定每个产生的最大距离阈值，所述特征影响了与中心线相距给定距离的点是合法点而不是异常点的可能性。
如图11E所示，第一最大距离阈值1116A与模型区段1104A相关联，第二最大距离阈值1116B与模型区段1104B相关联，并且第三最大距离阈值1116C与模型区段1104D相关联。因为模型区段1104C所表示的通路与模型区段1104B所表示的通路是相同产生的，所以第二最大距离阈值1116B也可以与区段1104C相关联。类似地，与区段1104E、1104F和1104G相关联的通路全部和与区段1104D相关联的通路是相同产生的。因此，第三最大距离阈值1116C也可以与区段1104D、1104F和1104G相关联。这些最大距离阈值1116A、1116B和1116C可以对应于从多个患者获得的平均通路半径，或者它们可以是从特定患者P的模型获得的。
在一些实施例中，最大距离阈值1116A、1116B和1116C可以与从患者P具体获得的平均通路半径相关。例如，可以基于根据图5A所示的分段模型502的通路半径计算来获得最大距离阈值。因为更远侧通路的半径可能小于更近侧通路的半径，所以更远侧通路的最大距离阈值通常可以小于更近侧通路的最大距离阈值。在一些实施例中，最大距离阈值可以近似大于通路的直径(即，大于约两倍的半径)。在一些实施例中，最大距离阈值可以大约是通路半径的一点五倍。在一些实施例中，对于气管，最大距离阈值可以是约20mm，并且对于远侧通路，最大距离阈值可以小到约2mm。在一些实施例中，最大距离阈值可以从气管起在一次产生或两次产生内下降，并且然后再次增加以解释在更远侧通路中的增加的变形的可能性。
如图11E所示，测量点1102M与区段1104A上的点匹配。然而，测量点1102M与区段1104A之间的分离距离大于最大距离阈值1116A，并且因此在计算要应用于测量点集1102的校正运动时可以忽略该匹配。类似地，测量点1102N与区段1104C相距的距离大于最大距离阈值1116B并且因此也可以被忽略。
现在参考图11F，其中示出了基于如图11E所示的测量点集1102和解剖模型1104计算的校正运动的结果。由于校正运动，测量点1102M和1102N分别位于最大距离阈值1116A和1116B内。因此，最大距离试探法可以分别包括测量点1102M和1102N与区段1104A和1104C中的最近点之间的匹配作为计算后续迭代的校正运动中的因素。
可能以其他方式应用最大距离阈值。例如，可以取决于产生来设置最大距离阈值，或者可以取决于与特定特征(诸如主隆突)相距的距离来设置最大距离阈值。也可以取决于进入通路的深度来计算最大距离阈值。因此，在模型区段(诸如模型区段1116B)的近端处的最大距离阈值可以大于在该模型区段的远端处的最大距离阈值。
现在参考图11G，在一些实施例中，如果点收集仪器在一段时间内没有移动，则可以在单个位置或者非常接近地测量多个点。如图11G所示，存在测量点1102的集群1118。由于该集群包括如此多的点，所以在集群1118的位置处的测量点的集合可能使计算结果偏斜以便通过包括多个匹配来确定校正运动。为了过滤掉该结果，可以比较测量点1102之间的距离以识别集群。可替代地或附加地，可以通过确定按照时间戳依次测量的点之间的距离来识别集群(类似集群1118)。这可以允许识别由于导管610的运动暂停引起的集群而不是由于通路缩窄引起的集群。作为另一种试探法，可以忽略集群1118中的测量点和/或相关联的匹配。在一些实施例中，可以永久删除集群1118以便避免必须在配准过程712的后续迭代中筛选出集群1118。
现在参考图11H，其中示出了可以用于将测量点1102与解剖模型1104匹配的另一种试探法。图11H包括基于解剖模型1104产生的多个人造模型点1120。对于一次或更多次迭代，可以将人造模型点1120并入解剖模型1104中，之后在后续迭代中丢弃所述人造模型点1120。在一些实施例中，可以针对每次迭代计算新的人造模型点。在执行匹配过程时，可以基于测量点和匹配通路的半径来产生一个或更多个人造点1120。例如，可以基于测量点1102P产生人造点1120A。如图11H所示，测量点1102P与模型区段1104A上的其最近点(点1106k)相距的距离大于半径1122A。沿着模型点1106k与测量点1102P之间的线，在与模型点1106k相距的距离不大于半径112A的位置处创建人造点1120A。然后，对于下一次迭代，可以将人造点1102A添加到模型点集。对于该迭代，将测量点1102P与人造点1120A匹配，并且使用所得匹配来计算将要应用于测量点集1102的校正运动。
如图11H所示，沿着将测量点1102Q连接到最近模型点1106L的线产生另一个人造模型点1120B。沿着该线在与模型区段1104C相距的距离等于半径112B的位置处限定人造点1120B。如图11H所示，区段1104A、1104B和1104C包括人造模型点1120的人造点。接近区段1104A的人造模型点1120被定位成与区段1104A相距多达径向距离1122A。虽然在图11H中以二维示出，但是人造模型点1120可以模拟二维平面或体积。例如，当测量点1102P与模型点1106k相距的距离小于半径1122A时，人造点1120A与模型点1106k相距的距离可以小于半径1122A。在此类情况下，人造点1120A可以位于与测量点1102P本身相同的位置。然后，可以应用其他试探法来确定测量点1102P与人造点1120A之间以及测量点1102Q与人造点1120B之间的匹配是否包括在校正运动的计算中。例如，如果人造点1120B与测量点1102Q之间的距离大于最大阈值距离，则针对该迭代可以丢弃匹配。
在一些实施例中，以上试探法和其他试探法可以组合使用，以便防止匹配一个或更多个测量点或者防止将一个或更多个匹配作为因素记入校正运动的计算中。因此，控制系统112可以串行地(例如，每次迭代用一个试探法)或并行地(例如，在单次迭代中运行多个试探法)采用试探法。
在一些实施例中，可以使用其他试探法以便向测量点分配权重。附加地，在一些实施例中，控制系统112可以引导临床医生获得要用于配准的测量点和解剖模型。例如，每个肺的上叶中的某些通路可以为经历手术的患者提供用于配准的特别可靠和有用的信息以及解剖模型。因此，在一些实施例中，控制系统112可以在显示系统110中向临床医生显示用户界面。用户界面可以引导临床医生将导管转向到肺上叶内的高信息位置。在一些实施例中，可以忽略一个或更多个测量点，使得测量点在匹配过程中与模型点不匹配。在一些实施例中，可以忽略一个或更多个匹配，使得匹配不包括在校正运动的计算中。因此，可以将试探法应用于点以及匹配。
再次参考图7，在过程724处，可以将局部仪器与解剖模型一起显示以便辅助临床医生进行图像引导外科手术。图12示出了显示系统1200，其基于解剖模型信息在用户界面中显示人肺1204的解剖通路1202的呈现。如以上在图10中描述的，在患者外科手术空间与模型空间配准的情况下，可以在呈现通路1202的同时定位和显示导管610的当前形状和远端618的位置。从可能以视觉表示在显示器110上显示的测量数据点、移动数据点、配准数据点和本文描述的其他数据点可获得解剖模型信息。数据点可以通过显示器上的多个点或圆点在用户界面中可视地表示，或者被表示为渲染模型(诸如基于数据点集创建的网格或线模型)。在一些实施例中，在已经实现每个处理操作之后，可以在显示器110中刷新视觉表示以更改数据点。
如图13所示，在一些实施例中，控制系统112可以调整与一个或更多个点相关联的权重以改变其效果，作为校正运动计算的因素。可以基于一个或更多个因素来调整权重。在图13中示出了存储在控制系统112的存储器中的点池1300中的测量点集。示例性点池1300包含表示从患者P体内获得的测量点的数据。在点池1300中，每个点包括点标识符、一组坐标、时间戳、传感器ID、阶段标志和权重。一些实施例可以包括时间戳作为点标识符而不是包括单独的点标识符。可能以许多不同的方式对该数据进行格式化。如图13所示，阶段标志是二进制值，取决于阶段是吸气还是呼气分别为0或1。在其他实施例中，可以使用其他阶段标志。示例性点池1300中所示的权重是归一化权重。一些实施例(诸如使用形状感测导管的实施例)可以不包括传感器ID，所述传感器ID可以由具有多个EM传感器或多个其他分立传感器的导管使用，所述传感器可以被识别以确定在导管上测量数据点的大致位置。
在图7的方法700的一些实施例中，配准过程712可以包括其中根据参数或规则更改测量点的权重的附加过程。可以通过在先前不存在权重的地方添加权重或通过改变与给定测量点相关联的权重来更改权重。例如，在一些实施例中，可以为最近获得的点分配相对较高的权重。可以通过随着更多时间流逝而递增地减少分配给并非最近获得点的权重来提供相对较高的权重。由于患者的移动，最近测量的点可能是更准确的，因此通过使最近测量的点的权重大于并非最近测量的点的权重，可以偏置配准过程712以反映最新信息。权重可以是归一化权重或非归一化权重。
在一些实施例中，给定测量点的权重可以基于在其中获得该点的通路的产生。例如，如图11A所示，解剖模型1104包括若干区段1104A、1104B和1104C以及与特定产生的通路相关联的其他区段。因为气管是较宽通路，并且因此提供较少的用于将测量点与建模点配准的信息，所以与区段1104A匹配的测量点具有相对减小的权重。类似地，与区段1104C匹配的测量点以及相同更远侧的产生的其他测量点也可以被分配相对减小的权重。与更远侧的产生相关联的测量点可以被分配较小的权重，因为这些更远侧的通路更可能由于点收集仪器施加在通路上的力而变形。区段1104B与更中心的通路相关联，其比区段1104A更窄并且与区段1104C相比更容易通过导管610而变形。
为了补偿用于获得点池1300中的点的点收集仪器能够引起的变形，每个点的权重可以基于导管的状态。例如，导管可以包括转矩传感器，并且当指示高转矩时可以分配较低的权重，因为高转矩可以指示显著的变形。类似地，如果导管处于受控状态以使得导管远端主动地定位在导管正经过的通路的中心部分，则测量点可以具有与导管处于弛缓状态时相比相对较高的权重。在一些实施例中，只有在主动转向和控制导管以便从通路中心收集点时，才可以将测量点收集到点池1300中。当处于弛缓状态时，与处于主动受控状态时相比，导管更可能沿通路底部经过。在一些实施例中，可以通过调整来补偿在弛缓或被动状态下收集的测量点，使得好像更接近通路中心收集点一样。这可以通过更改收集点坐标来以便将点移向中心来完成。附加地，为了最小化通过将导管进一步插入通路中而引起的变形，一些实施例可以将点收集限于在导管处于被动状态并且从通路缩回时。当相机设置在导管远端上时，通过使用图像识别技术，控制系统可以基于所获得的图像确定导管是否处于通路的中间。如图像识别所指示的，控制系统可以将点收集限于在导管处于中间时。
可以基于收集测量点的呼吸阶段来分配权重。因此，当使用单个解剖模型时，在阶段方面类似于单个解剖模型的测量点(如图11D的解剖模型1108)被赋予的权重可以大于与不同阶段相关联的测量点的权重。
当导管可以在沿其长度的多个位置处收集测量点时，无论是否由于包括形状传感器或多个分立感测/传输装置，导管的历史记录可以用于分配权重。当导管前进通过患者解剖结构的通路时，沿着其长度收集多个点。导管的较不远侧部分可以收集其坐标与导管更远侧部分先前收集的点的坐标相同或基本类似的点。可替代地，如果正在从血管中取出导管而不是推进导管，则导管远端获得的点的坐标可以与导管的较不远侧部分先前获得的点的坐标相同或基本类似。在一些实施例中，仅在从患者通路中取出导管时，使用导管来收集测量点。该历史记录可以指示复发点是特别可靠的，并且可以将较早获得点和较晚获得点中的任一者或两者的权重调整为相对较高的。在一些实施例中，由导管的更远侧部分测量的点的权重可以高于导管的较不远侧部分，因为导管的较不远侧部分的直径可能较厚并且更可能引起组织变形。导管的其他配置也可以用作测量点权重的基础的因素。
在一些实施例中，可以使用机器学习来识别最可靠点的质量。然后，控制系统可以相应地施加权重。所描述的每个因素都可以用来确定单个点的权重。因此，尽管在一些实施例中可以使用单个因素来确定给定点的权重，但是在其他实施例中，控制系统可以使用多个因素来调整点池1300中的点中的一个或更多个的权重。
再次参考图6A和图6B，其中示出了临时附接到患者P的跟踪装置624。控制系统可以通过监测跟踪装置624来确定患者P是否移动。跟踪装置624可以是能够产生位置和/或运动数据的装置，诸如一组EM传感器/发射器、加速度计等。在一些实施例中，跟踪装置624可以是由监测装置监测的无源装置。例如，跟踪装置624可以是通过视觉跟踪系统容易识别的垫。例如，垫可以具有已知的尺寸并且可以包括独特的图案和/或颜色以允许机器视觉监测其位置。当跟踪装置624移动时，视觉跟踪系统可以向控制系统提供患者P已经移动的指示。
由于患者P的移动，解剖模型与测量点之间的先前配准可能变得较不准确。因此，从解剖模型获得的和/或结合解剖模型显示的信息(诸如损伤或肿瘤)可能未准确地传送到临床医生。在一些实施例中，在已经获得令人满意的配准并且检测到患者P的移动之后，配准过程可以再次开始。在一些实施例中，可以使用由跟踪装置624测量的位移和/或定向的改变来更新配准。在一些实施例中，可以从散播过程开始再次执行配准过程712。在其他实施例中，可以执行配准过程712而不执行新的散播过程。例如，如果患者P的移动被确定为小的，则丢弃来自点池1300的较旧测量点(或者基本上减少其相对加权，以利于在检测到患者P的移动之后获得的点)并且使用导管来收集新的测量点。因此，在一些实施例中，收集新的点集并且使用其以便将模型与移动的患者P配准，或者可以使用新的点和旧的点的混合加权。在一些实施例中，向用户提供通知以便由于患者移动而发起配准。在其他实施例中，可以在检测到跟踪装置624中的运动之后由控制系统112发起配准。
在一些实施例中，可以使用在患者P移动之后的导管形状来补偿由于运动而引起的刚性配准中的误差。在一些实施例中，可以使用形状传感器数据来提供在患者P移动之后的新的测量点，所述新的测量点可以用于执行进一步的配准过程(类似方法700中的那些过程)。
在一些实施例中，点收集仪器联接到远程操作机器人臂。远程操作臂可以根据来自操作者输入系统的命令而移动。在一些实施例中，插入台608可以安装在远程操作臂上。当臂或插入台608移动时，该移动可以从并入到臂和/或台608的设置接头中的编码器传送到控制系统。当插入台608和/或远程操作臂移动(如编码器所指示的)时，可以再次执行配准过程。命令运动与测量运动之间的比较(通过形状传感器)可以指示已经发生未命令的移动。如果命令运动与测量运动之间的比较值超过阈值，则可以重新发起全部或部分的配准过程。例如，如果远侧尖端被命令进入通路的开口，但该远侧尖端由于解剖运动、组织纹理或其他解剖力而从通向开口的入口强行去除，则可能发生这种情况。
现在参考图14，其中示出了方法700A的流程图。方法700A共享如本文所述并且如图7所示的方法700中包括的许多过程。共享的过程包括相同的参考数字。方法700A还包括一组过程，其提供用于发起患者通路内的测量点的收集的方法。方法700A可以被实现为控制系统112所管理的工作流程的一部分以使得临床医生能够更有效地和更有效率地治疗患者(类似患者P)。
当点收集仪器(例如，导管610)被引入患者通路中时，可以自动开始收集位置和/或形状数据以产生描述患者P的解剖结构的通路的测量点集。这可以在过程1402处执行，其中控制系统112检测触发测量点的收集的一个或更多个点收集条件。例如，当导管610包括相机或图像传感器时，可以收集和处理图像以确定远端618何时进入患者通路。例如，系统100的控制系统112或另一个部件可以识别图像传感器系统所获得的主隆突的外观，或者可以根据其中获得的图像的颜色识别气管。
而且，如本文结合图6C和图6D所描述的，ET管622可以在其内表面623上包括颜色和/或图案。在引入患者通路期间从导管610获得的图像不包括内表面623的颜色和/或图案时，这可以提供点收集条件。当从图像获得的信息指示从ET管622的内部到气管(或其他解剖通路)内部的过渡完成时，可以检测到点收集条件。
附加地，如结合图6A和图6B所描述的，当刚性仪器主体612沿着插入轴线A在插入台608上移动时，位置测量装置620提供关于刚性仪器主体612的位置的信息。刚性仪器主体612的移动可以提供导管610的远端618的移动的指示。该运动学信息可用于推断在一定量的插入运动之后，导管610可能已经进入患者通路。因此，运动学信息可以提供在被检测到时可以触发过程1404的收集条件，所述过程1404即发起收集位置信息以便收集描述患者通路的测量点集。类似地，在导管610联接到另一个机器人装置(诸如机器人臂)的情况下，装置的臂中的编码器所提供的运动学信息可以用于检测点收集条件，诸如特定方向上的移动量。在一些实施例中，也可以使用向机器人装置或臂提供的移动命令来识别触发过程1404处的点收集的点收集条件，而不是依靠编码器来中继实际移动。在一些实施例中，可以使用机器人装置的命令运动和测量运动。当检测和/或命令足够的运动时，控制系统122可以检测运动并且确定其是否满足点收集条件的要求。
尽管本公开的系统和方法已经被描述为用于肺的连接的支气管通路，但它们也适用于在各种解剖系统中的任何解剖系统中通过自然或手术创建的连接的通路来导航和治疗其他组织，所述解剖系统包括结肠、肠、肾、大脑、心脏、循环系统等。
在过程1404处，表示点的数据可以被添加到点池1300，存储在存储器中，如图13所示。可以仅在导管610的远端618处收集、从沿着导管长度的多个离散点收集、或者连续沿着导管610的长度从形状传感器信息获得由测量点表示的该位置信息。当形状传感器信息连续沿着导管610的长度提供位置信息时，在一些实施例中，可以对形状传感器信息进行采样以产生离散点。取决于如何从导管获得点(以及用于点收集的导管的类型)，用于从导管特定部分收集点的点收集条件的检测可能不足以触发导管的另一个部分处的点收集。例如，当远端618从ET管622过渡到气管时，可以满足所述条件以便触发在远端618处的点收集，但不触发仍然处于ET管622中的导管部分处的点收集。因此，在一些实施例中，在远端618离开管(如通过向控制系统112提供的视觉信息识别的)之后，可以使用运动学信息来确定何时开始从导管的较不远侧的部分的点收集。当导管610包括沿其长度分布的多个EM传感器时，可以使用插入距离来确定何时开始收集信息。例如，如果第二EM传感器被定位成与导管远端处的第一EM传感器相距2cm，则第二EM传感器的点收集条件可以是：第一EM传感器必须已经离开ET管622并且导管必须已经移动2cm或另一个预定距离。从本文描述的运动学信息获得该移动。
在一些实施例中，可以在外科手术过程期间重复配准过程(类似图7的过程712中描述的配准过程)。如所描述的，患者P的移动可以触发新的配准过程。在一些实施例中，控制系统112在手术期间周期性执行配准算法，诸如每分钟或每五分钟。在其他实施例中，配准过程可以作为后台过程在控制系统112上不断运行并且不断更新。例如，甚至在配准过程完成之后，只要在患者通路内存在能够获得测量点(来自任何合适的模态)的导管，点池1300中的测量点的收集就可以继续。在配准过程作为后台过程操作的一些实施例中，只有在如准确性度量标准(accuracy metric)确定的新的配准优于旧的配准时才可以更新配准。准确性度量标准可以是与模型成功匹配的测量点的百分比，或者可以是测量点与匹配模型点之间的平均距离。可以在其他实施例中实现其他准确性度量标准。因此，当更近的配准具有较高百分比的成功匹配测量点时，可以使用更近的配准而不是更早的配准。如果不获得优越的配准，通过要求满足准确性度量标准以便用另一个配准来替换一个配准，保持一致性。
在一些实施例中，当稍后的配准替换较早的配准、或者较早的配准被控制系统112视为可用稍后的配准来替换时，可以通过用户界面向临床医生提供警报以便指示存在配准改变或存在可用的优越配准。在一些实施例中，控制系统112可以在实现优越配准之前要求临床医生通过用户界面进行批准。例如，当优越配准被识别时，可以向显示系统110提供警报以及临床医生可以通过其来批准或不批准新配准的按钮或其他用户界面元件。是否接着执行新配准将取决于临床医生的决定。
本发明的实施例中的一个或更多个元件可能以用于在计算机系统(诸如控制系统112)的处理器上执行的软件实现。在以软件实现时，本发明的实施例的元件本质上是用于执行必要任务的代码段。程序或代码段可以存储在非暂时性处理器可读存储介质或装置中，所述存储介质或装置包括可存储信息的任何介质(包括光学介质、半导体介质和磁性介质)。处理器可读存储装置的示例包括：电子电路；半导体装置、半导体存储器装置、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)；软盘、CD-ROM、光盘、硬盘或其他存储装置。可以通过计算机网络(诸如互联网、内部网等)下载代码段。如本文所述的，访问、检测、发起、配准、显示、接收、产生、确定、移动数据点、分段、匹配等操作可以至少部分地由控制系统112或其处理器执行。
应当注意的是，所呈现的过程和显示可能本质上不涉及任何特定的计算机或其他设备。各种这些系统所需的结构将作为权利要求中的元素出现。此外，不参考任何特定的编程语言来描述本发明的实施例。应当理解的是，可以使用各种编程语言来实现如本文所述的本发明的教导。
尽管已经在附图中描述和示出了本发明的某些示例性实施例，应当理解的是，此类实施例仅是对广义发明的说明而不是限制，并且本发明的实施例不限于所示出和描述的具体构造和布置，因为本领域的普通技术人员可以想到各种其他修改。

Claims (19)

1.一种系统，其包括：
导管；
显示系统；以及
与所述导管和所述显示系统通信的控制系统，所述控制系统包括一个或更多个处理器，所述控制系统被配置用于：
接收患者的一个或更多个通路的模型的模型点集；
接收从所述患者通路内收集的第一测量点集，每个点包括由所述患者占据的外科手术环境内的坐标；
产生所述测量点集与所述模型点集之间的第一配准；
产生第二测量点集与所述模型点集之间的第二配准；以及
确定是否实现所述第二配准来代替所述第一配准。
2.根据权利要求1所述的系统，其中所述第二测量点集包括所述第一测量点集中的至少一个以及从所述患者通路内收集的附加测量点。
3.根据权利要求1所述的系统，其中确定是否实现所述第二配准来代替所述第一配准包括将所述第一配准的准确性度量标准与所述第二配准的准确性度量标准进行比较。
4.根据权利要求3所述的系统，其中所述准确性度量标准是与所述模型点匹配的测量点的百分比。
5.根据权利要求3所述的系统，其中所述准确性度量标准包括以下中的至少一个：所述测量点与所述模型点之间的平均距离以及与用于执行初始配准的种子相距的距离。
6.根据权利要求1所述的系统，其中所述控制系统还被配置用于：
确定所述第一配准的准确性度量标准以及确定所述第二配准的准确性度量标准。
7.根据权利要求1所述的系统，其中产生所述第二测量点集与所述模型点集之间的所述第二配准包括在预定时间段内收集附加测量点，或收集预定数量的附加测量点。
8.根据权利要求1所述的系统，其中所述控制系统还被配置用于：
在实现所述第二配准之前通过用户界面请求来自临床医生的授权。
9.根据权利要求1所述的系统，其中所述控制系统还被配置用于：
通过用户界面向临床医生提供所述第二配准可用于实现以替代所述第一配准的警报。
10.根据权利要求1所述的系统，其中所述控制系统还被配置用于：
检测所述患者的运动。
11.根据权利要求10所述的系统，其中检测所述患者的所述运动包括检测所述患者与所述导管的近端之间的相对运动。
12.根据权利要求10所述的系统，其中所述第二测量点集包括在检测到所述患者的所述运动之后在所述患者通路内测量的点。
13.根据权利要求10所述的系统，其中跟踪临时附接到所述患者的标志以监测所述患者的运动。
14.根据权利要求10所述的系统，其中使用所述第二配准来补偿所述第一配准中的可归因于所述患者的所述运动的误差。
15.根据权利要求10所述的系统，其中当导管位于所述患者的所述通路内时在由所述导管中的形状传感器所获得的形状传感器数据中检测所述运动。
16.一种系统，其包括：
导管；
显示系统；
与所述导管和所述显示系统通信的控制系统，所述控制系统包括一个或更多个处理器，所述控制系统被配置用于：
接收患者的一个或更多个通路的模型的模型点集；
确定位于所述患者的所述一个或更多个通路内的导管的状态；
当所述导管的所述状态满足条件时，从所述患者通路内收集测量点集，每个点包括由所述患者占据的外科手术环境内的坐标；以及
产生所述测量点集与所述模型点集之间的配准。
17.根据权利要求16所述的系统，其中确定所述导管的所述状态包括确定所述导管处于被动状态还是主动控制状态，并且其中所述条件需要被动状态以用于收集所述测量点集中的点。
18.根据权利要求16所述的系统，其中确定所述导管的所述状态包括确定所述导管是正在插入所述患者通路中还是正在从所述患者通路取出，并且其中所述条件要求正在从所述患者通路取出所述导管以用于收集所述测量点集中的点。
19.根据权利要求16所述的系统，其中确定导管的所述状态包括确定所述导管的远端是否定位在所述患者通路中的一个的中心内，并且其中所述条件要求所述导管位于所述患者通路中的一个的中心中以用于收集所述测量点集中的点。
CN202010854416.5A 2015-08-14 2016-08-11 用于图像引导外科手术的配准系统和方法 Pending CN111887786A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562205440P 2015-08-14 2015-08-14
US62/205,440 2015-08-14
CN201680047529.6A CN108024698B (zh) 2015-08-14 2016-08-11 用于图像引导外科手术的配准系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680047529.6A Division CN108024698B (zh) 2015-08-14 2016-08-11 用于图像引导外科手术的配准系统和方法

Publications (1)

Publication Number Publication Date
CN111887786A true CN111887786A (zh) 2020-11-06

Family

ID=58051484

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680047529.6A Active CN108024698B (zh) 2015-08-14 2016-08-11 用于图像引导外科手术的配准系统和方法
CN202010854416.5A Pending CN111887786A (zh) 2015-08-14 2016-08-11 用于图像引导外科手术的配准系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680047529.6A Active CN108024698B (zh) 2015-08-14 2016-08-11 用于图像引导外科手术的配准系统和方法

Country Status (4)

Country Link
US (3) US10706543B2 (zh)
EP (2) EP3795061A1 (zh)
CN (2) CN108024698B (zh)
WO (1) WO2017030913A2 (zh)

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US9974525B2 (en) 2014-10-31 2018-05-22 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
US10278616B2 (en) 2015-05-12 2019-05-07 Navix International Limited Systems and methods for tracking an intrabody catheter
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US11202680B2 (en) 2015-08-14 2021-12-21 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
CN108024698B (zh) 2015-08-14 2020-09-15 直观外科手术操作公司 用于图像引导外科手术的配准系统和方法
US11278354B2 (en) 2015-09-10 2022-03-22 Intuitive Surgical Operations, Inc. Systems and methods for using tracking in image-guided medical procedure
JP6824967B2 (ja) 2015-09-18 2021-02-03 オーリス ヘルス インコーポレイテッド 管状網のナビゲーション
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
CN114652441A (zh) 2016-02-12 2022-06-24 直观外科手术操作公司 图像引导外科手术中的姿势估计以及透视成像系统的校准的系统和方法
KR20180104764A (ko) 2016-02-12 2018-09-21 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상-안내 수술에서 정합되는 형광투시 영상을 사용하기 위한 시스템 및 방법
US11350996B2 (en) * 2016-07-14 2022-06-07 Navix International Limited Characteristic track catheter navigation
US11266467B2 (en) 2016-10-25 2022-03-08 Navix International Limited Systems and methods for registration of intra-body electrical readings with a pre-acquired three dimensional image
US10984533B2 (en) * 2016-10-25 2021-04-20 Koninklijke Philips N.V. Method and apparatus for segmenting a two-dimensional image of an anatomical structure
JP7229155B2 (ja) 2016-11-02 2023-02-27 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導手術のための連続的な位置合せのシステム及び方法
US10529088B2 (en) * 2016-12-02 2020-01-07 Gabriel Fine Automatically determining orientation and position of medically invasive devices via image processing
US11547490B2 (en) 2016-12-08 2023-01-10 Intuitive Surgical Operations, Inc. Systems and methods for navigation in image-guided medical procedures
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
EP3565498A4 (en) 2017-01-09 2020-09-30 Intuitive Surgical Operations Inc. SYSTEMS AND METHODS FOR RECORDING ELONGATED DEVICES ON THREE-DIMENSIONAL IMAGES IN IMAGE-GUIDED INTERVENTIONS
US11730395B2 (en) * 2017-01-12 2023-08-22 Navix International Limited Reconstruction of an anatomical structure from intrabody measurements
EP3576598B1 (en) * 2017-02-01 2024-04-24 Intuitive Surgical Operations, Inc. System of registration for image-guided procedures
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
WO2018175737A1 (en) 2017-03-22 2018-09-27 Intuitive Surgical Operations, Inc. Systems and methods for intelligently seeding registration
KR102558061B1 (ko) 2017-03-31 2023-07-25 아우리스 헬스, 인코포레이티드 생리적 노이즈를 보상하는 관강내 조직망 항행을 위한 로봇 시스템
US10881482B2 (en) * 2017-05-09 2021-01-05 Boston Scientific Scimed, Inc. Operating room devices, methods, and systems
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
CN111050641B (zh) 2017-08-17 2023-06-09 纳维斯国际有限公司 基于场梯度的远程成像
JP6797088B2 (ja) * 2017-08-17 2020-12-09 富士フイルム株式会社 学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラム
EP3668393A1 (en) * 2017-08-17 2020-06-24 Navix International Limited Reconstruction of an anatomical structure from intrabody measurements
CN107689045B (zh) * 2017-09-06 2021-06-29 艾瑞迈迪医疗科技（北京）有限公司 内窥镜微创手术导航的图像显示方法、装置及系统
CN111163697B (zh) 2017-10-10 2023-10-03 柯惠有限合伙公司 用于在荧光三维重构中识别和标记目标的系统和方法
US11058493B2 (en) * 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
JP2021501147A (ja) 2017-10-25 2021-01-14 ヤンセン ファーマシューティカルズ，インコーポレーテッド リン酸化タウペプチドの組成物およびその使用
US10341456B2 (en) * 2017-11-20 2019-07-02 Marc Berger Caching sticker profiles within a sticker communication system
US10646284B2 (en) * 2017-12-05 2020-05-12 Covidien Lp Multi-rigid registration of magnetic navigation to a computed tomography volume
KR20200100613A (ko) 2017-12-14 2020-08-26 아우리스 헬스, 인코포레이티드 기구 위치 추정을 위한 시스템 및 방법
KR20200101334A (ko) 2017-12-18 2020-08-27 아우리스 헬스, 인코포레이티드 관강내 조직망 내 기구 추적 및 항행을 위한 방법 및 시스템
US11150776B2 (en) 2018-02-02 2021-10-19 Centerline Biomedical, Inc. Graphical user interface for marking anatomic structures
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
US10893842B2 (en) 2018-02-08 2021-01-19 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
JP7225259B2 (ja) 2018-03-28 2023-02-20 オーリス ヘルス インコーポレイテッド 器具の推定位置を示すためのシステム及び方法
EP3773131A4 (en) 2018-03-28 2021-12-15 Auris Health, Inc. LOCATION SENSOR RECORDING SYSTEMS AND METHODS
CN110831486B (zh) 2018-05-30 2022-04-05 奥瑞斯健康公司 用于基于定位传感器的分支预测的系统和方法
CN112236083A (zh) * 2018-05-31 2021-01-15 奥瑞斯健康公司 用于导航检测生理噪声的管腔网络的机器人系统和方法
WO2019232236A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Image-based airway analysis and mapping
KR20210018858A (ko) 2018-05-31 2021-02-18 아우리스 헬스, 인코포레이티드 관상 네트워크의 경로-기반 내비게이션
EP3809953A1 (en) * 2018-06-19 2021-04-28 Intuitive Surgical Operations, Inc. Systems and methods related to registration for image guided surgery
US20210267440A1 (en) * 2018-07-10 2021-09-02 Intuitive Surgical Operations, Inc. Systems and methods for detecting an orientation of medical instruments
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
US11877806B2 (en) 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
US20220175473A1 (en) * 2019-04-02 2022-06-09 Intuitive Surgical Operations, Inc. Using model data to generate an enhanced depth map in a computer-assisted surgical system
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
WO2020226693A1 (en) 2019-05-03 2020-11-12 Neil Glossop Systems, methods, and devices for registering and tracking organs during interventional procedures
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
EP4021329A4 (en) 2019-08-30 2023-05-03 Auris Health, Inc. SYSTEM AND METHOD FOR INSTRUMENT IMAGE RELIABILITY
CN114340542B (zh) 2019-08-30 2023-07-21 奥瑞斯健康公司 用于位置传感器的基于权重的配准的系统和方法
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
EP4033984A4 (en) * 2019-09-27 2023-10-18 BFLY Operations, Inc. METHOD AND APPARATUS FOR PROVIDING FEEDBACK FOR POSITIONING AN ULTRASONIC DEVICE
CN114867425A (zh) * 2019-12-20 2022-08-05 直观外科手术操作公司 用于渐进配准的系统
JP2023508719A (ja) 2019-12-31 2023-03-03 オーリス ヘルス インコーポレイテッド 経皮的アクセスのための位置合わせインターフェース
CN114901194A (zh) 2019-12-31 2022-08-12 奥瑞斯健康公司 解剖特征识别和瞄准
US11660147B2 (en) 2019-12-31 2023-05-30 Auris Health, Inc. Alignment techniques for percutaneous access
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
TWM600131U (zh) * 2020-02-13 2020-08-21 榮晶生物科技股份有限公司 內視鏡系統
WO2021194850A1 (en) * 2020-03-27 2021-09-30 Intuitive Surgical Operations, Inc. Mitigation of registration data oversampling
KR20230040311A (ko) * 2020-06-03 2023-03-22 노아 메디컬 코퍼레이션 하이브리드 영상화 및 조종용 시스템 및 방법
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
JP2023539033A (ja) * 2020-08-06 2023-09-13 キヤノン ユーエスエイ，インコーポレイテッド 医用連続体ロボットの作動方法
US20230414089A1 (en) * 2020-11-06 2023-12-28 Regents Of The University Of Minnesota Devices and expert systems for intubation and bronchoscopy
WO2022146996A1 (en) 2020-12-30 2022-07-07 Intuitive Surgical Operations, Inc. Systems for updating a graphical user interface based upon intraoperative imaging
EP4271310A1 (en) 2020-12-30 2023-11-08 Intuitive Surgical Operations, Inc. Systems for integrating intraoperative image data with minimally invasive medical techniques
CN116940284A (zh) 2021-03-10 2023-10-24 直观外科手术操作公司 用于配准术中图像数据的系统和方法
CN113133828B (zh) * 2021-04-01 2023-12-01 上海复拓知达医疗科技有限公司 一种用于手术导航的交互配准系统、方法、电子设备和可读存储介质
KR102305965B1 (ko) 2021-05-25 2021-09-29 재단법인 아산사회복지재단 가이드와이어 검출 방법 및 장치
WO2023034071A1 (en) 2021-09-03 2023-03-09 Intuitive Surgical Operations, Inc. Ultrasound elongate instrument systems and methods
CN113616333B (zh) * 2021-09-13 2023-02-10 上海微创微航机器人有限公司 导管运动辅助方法、导管运动辅助系统及可读存储介质
CN114452508B (zh) * 2021-10-20 2024-01-23 上海微创微航机器人有限公司 导管运动控制方法、介入手术系统、电子设备和存储介质
WO2023129934A1 (en) 2021-12-31 2023-07-06 Intuitive Surgical Operations, Inc. Systems and methods for integrating intra-operative image data with minimally invasive medical techniques

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060184016A1 (en) * 2005-01-18 2006-08-17 Glossop Neil D Method and apparatus for guiding an instrument to a target in the lung
US20080118135A1 (en) * 2006-11-10 2008-05-22 Superdimension, Ltd. Adaptive Navigation Technique For Navigating A Catheter Through A Body Channel Or Cavity
US20090227861A1 (en) * 2008-03-06 2009-09-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
CN102844789A (zh) * 2010-01-22 2012-12-26 范德比尔特大学 在影像引导手术过程中用于纠正变形的数据的系统和方法
CN103648361A (zh) * 2011-05-13 2014-03-19 直观外科手术操作公司 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2567149B1 (fr) 1984-07-06 1986-12-05 Solvay Procede pour l'extraction de poly-beta-hydroxybutyrates au moyen d'un solvant a partir d'une suspension aqueuse de micro-organismes
US5792135A (en) 1996-05-20 1998-08-11 Intuitive Surgical, Inc. Articulated surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity
US6075905A (en) 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
WO1998036236A1 (en) 1997-02-13 1998-08-20 Super Dimension Ltd. Six-degree tracking system
GB9713018D0 (en) 1997-06-20 1997-08-27 Secr Defence Optical fibre bend sensor
US6944331B2 (en) 2001-10-26 2005-09-13 National Instruments Corporation Locating regions in a target image using color matching, luminance pattern matching and hue plane pattern matching
US7901348B2 (en) 2003-12-12 2011-03-08 University Of Washington Catheterscope 3D guidance and interface system
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US20060013523A1 (en) 2004-07-16 2006-01-19 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
US7981038B2 (en) * 2005-10-11 2011-07-19 Carnegie Mellon University Sensor guided catheter navigation system
US8303505B2 (en) 2005-12-02 2012-11-06 Abbott Cardiovascular Systems Inc. Methods and apparatuses for image guided medical procedures
US7855723B2 (en) 2006-03-21 2010-12-21 Biosense Webster, Inc. Image registration using locally-weighted fitting
WO2008017999A1 (en) 2006-08-08 2008-02-14 Koninklijke Philips Electronics N.V. Registration of electroanatomical mapping points to corresponding image data
US8406494B2 (en) 2008-08-08 2013-03-26 Siemens Medical Solutions Usa, Inc. Anatomical primitive detection
US9259274B2 (en) 2008-09-30 2016-02-16 Intuitive Surgical Operations, Inc. Passive preload and capstan drive for surgical instruments
JP5836267B2 (ja) 2009-05-18 2015-12-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 電磁追跡内視鏡システムのためのマーカーなし追跡の位置合わせおよび較正のための方法およびシステム
WO2011128797A1 (en) 2010-04-15 2011-10-20 Koninklijke Philips Electronics N.V. Instrument-based image registration for fusing images with tubular structures
BR112013031869B1 (pt) 2011-06-16 2021-05-18 Koninklijke Philips N.V. sistema e método para a geração de um mapa de registro de imagem, sistema de planejamento de terapia, um ou mais processadores, e, meio legível por computador não transitório
US9452276B2 (en) 2011-10-14 2016-09-27 Intuitive Surgical Operations, Inc. Catheter with removable vision probe
US9387048B2 (en) 2011-10-14 2016-07-12 Intuitive Surgical Operations, Inc. Catheter sensor systems
WO2013126659A1 (en) 2012-02-22 2013-08-29 Veran Medical Technologies, Inc. Systems, methods, and devices for four dimensional soft tissue navigation
ES2653924T3 (es) * 2012-04-16 2018-02-09 Children's National Medical Center Sistema de formación de imágenes estéreo de modo doble para seguimiento y control en procedimientos quirúrgicos e intervencionistas
US10039473B2 (en) * 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
US11229490B2 (en) * 2013-06-26 2022-01-25 Corindus, Inc. System and method for monitoring of guide catheter seating
US11395702B2 (en) * 2013-09-06 2022-07-26 Koninklijke Philips N.V. Navigation system
US9763741B2 (en) * 2013-10-24 2017-09-19 Auris Surgical Robotics, Inc. System for robotic-assisted endolumenal surgery and related methods
US9572535B2 (en) * 2013-12-05 2017-02-21 Biosense Webster (Israel) Ltd. Dynamic mapping point filtering using a pre-acquired image
CN107072721B (zh) 2014-07-28 2020-03-20 直观外科手术操作公司 用于柔性器械的递送的引导设备及使用方法
JP6381787B2 (ja) 2014-08-27 2018-08-29 ケアストリーム ヘルス インク ３次元表面の自動再合成
CN107660134B (zh) 2015-05-22 2021-06-29 直观外科手术操作公司 图像引导手术记录的系统和方法
EP3328464B1 (en) * 2015-07-29 2022-05-11 Continale Medical Pte. Ltd. Device for treatment of stress urinary incontinence (sui)
CN108024698B (zh) 2015-08-14 2020-09-15 直观外科手术操作公司 用于图像引导外科手术的配准系统和方法
US11202680B2 (en) 2015-08-14 2021-12-21 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060184016A1 (en) * 2005-01-18 2006-08-17 Glossop Neil D Method and apparatus for guiding an instrument to a target in the lung
US20080118135A1 (en) * 2006-11-10 2008-05-22 Superdimension, Ltd. Adaptive Navigation Technique For Navigating A Catheter Through A Body Channel Or Cavity
US20090227861A1 (en) * 2008-03-06 2009-09-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
CN102844789A (zh) * 2010-01-22 2012-12-26 范德比尔特大学 在影像引导手术过程中用于纠正变形的数据的系统和方法
CN103648361A (zh) * 2011-05-13 2014-03-19 直观外科手术操作公司 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统

Also Published As

Publication number Publication date
US10706543B2 (en) 2020-07-07
US20180240237A1 (en) 2018-08-23
EP3334324B1 (en) 2021-01-06
EP3795061A1 (en) 2021-03-24
CN108024698B (zh) 2020-09-15
US11423542B2 (en) 2022-08-23
US20220343504A1 (en) 2022-10-27
EP3334324A4 (en) 2019-01-16
US20200364865A1 (en) 2020-11-19
CN108024698A (zh) 2018-05-11
EP3334324A2 (en) 2018-06-20
WO2017030913A2 (en) 2017-02-23

Similar Documents

Publication Publication Date Title
CN108024698B (zh) 用于图像引导外科手术的配准系统和方法
CN108024699B (zh) 用于图像引导外科手术的配准系统和方法
JP7072603B2 (ja) 手術中のセグメンテーションについてのシステム及び方法
KR102503033B1 (ko) 화상 안내식 시술을 위한 정치 시스템 및 방법
US20240041531A1 (en) Systems and methods for registering elongate devices to three-dimensional images in image-guided procedures
JP7229155B2 (ja) 画像誘導手術のための連続的な位置合せのシステム及び方法
JP6797834B2 (ja) 画像誘導手術のための位置合わせのシステム及び方法
EP3058889B1 (en) Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
CN111012286A (zh) 在图像引导的外科手术中的配准补偿的系统和方法
US11514591B2 (en) Systems and methods related to registration for image guided surgery
CN112423652A (zh) 与用于图像引导外科手术的配准相关的系统和方法
CN113692259A (zh) 用于患者解剖结构配准的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination