CN110831538A - 基于图像的气道分析和映射 - Google Patents

Abstract

对腔网络内的器械的导航可以包括基于图像的气道分析和映射。基于图像的气道分析可以包括：在腔网络内捕获的图像中检测一个或更多个气道；以及确定指示其中图像被捕获的当前气道如何分支到检测到的“子”气道中的分支信息。基于图像的气道映射可以包括将一个或更多个检测到的气道映射至术前模型中的腔网络的相应预期气道。

Description

基于图像的气道分析和映射

相关申请的交叉引用

本申请要求于2018年5月31日提交的美国临时申请第62/678,881号的权益，该美国临时申请的全部内容在此通过引用其全部内容并入本文中。

技术领域

本公开内容总体上涉及用于医疗器械的导航的系统和方法，并且更具体地涉及用于对机器人控制的医疗器械进行导航的基于图像的气道分析和映射。

背景技术

诸如内窥镜检查(例如支气管镜检查)的医疗过程可以涉及为了诊断和/或治疗目的而进入并使患者的腔(例如气道)的内部可视化。在过程期间，可以将诸如内窥镜的柔性管状工具或器械插入患者体内。在一些情况下，第二器械可以穿过内窥镜到达被识别用于诊断和/或治疗的组织部位。

支气管镜检查是一种使得医师能够检查患者肺部中的气道例如支气管和细支气管的内部状况的医疗过程。在医疗过程期间，可以将称为支气管镜的细的柔性管状工具或器械插入患者的口腔中并且沿患者的喉部向下进入他或她的肺气道通向被识别用于随后诊断和/或治疗的组织部位。支气管镜可以具有提供到组织部位的通路的内腔(“工作通道”)，并且导管和各种医疗工具可以通过工作通道插至组织部位。

在某些医疗过程中，可以使用手术机器人系统用于控制手术工具的插入和/或操纵。手术机器人系统可以包括至少一个机器人臂或其他器械定位装置，所述其他器械定位装置包括用于在过程期间控制手术工具的定位的操纵器组件。

发明内容

可以使用机器人使能医疗系统用于执行各种医疗过程，所述各种医疗过程包括微创过程(例如腹腔镜过程)和非侵入性过程(例如内窥镜过程)两者。在内窥镜检查过程中，可以使用机器人使能医疗系统用于执行支气管镜检查、输尿管镜检查、肠胃病检查等。在这样的过程期间，医师和/或计算机系统可以将医疗器械导航通过患者的腔网络。腔网络可以包括多个分支腔(例如在支气管网络或肾脏网络中)或单个腔(例如胃肠道)。机器人使能医疗系统可以包括用于将医疗器械引导(或协助引导)通过腔网络的导航系统。

本公开内容的实施方式涉及用于基于图像的气道分析和映射的系统和技术。基于图像的气道分析和映射可以帮助导航通过腔网络。基于图像的气道分析可以包括：在利用器械上的成像装置捕获的图像内，识别与腔网络的一个或更多个分支相关联的一个或更多个气道，并且确定指示其中图像被捕获的当前气道如何分支到检测到的“子”气道中的分支信息。基于图像的气道映射可以包括将识别出的气道映射至腔网络的相应分支。可以使用这些系统和技术用于确定或估计器械在腔网络内的位置。本公开内容的系统、方法和装置均具有若干创新方面，其中没有一个单独负责本文所公开的期望属性。

在一个方面，提供了一种将器械导航通过腔网络的方法，该方法包括：利用定位在器械上的成像装置捕获腔网络内的多个图像，所述多个图像至少包括在第一时间处捕获的第一图像以及在第一时间之后的第二时间处捕获的第二图像；识别第一图像中的第一气道；识别第二图像中的两个或更多个气道；基于第一图像中的第一气道以及第二图像中的两个或更多个气道来确定满足交叠条件；访问术前模型数据，该术前模型数据指示在第二时间期间与器械的位置对应的气道的预期计数；以及基于术前模型数据和满足交叠条件的确定，来确定第二图像中的两个或更多个气道与术前模型数据中的气道之间的映射。

在另一方面，提供了一种非暂态计算机可读存储介质，在非暂态计算机可读存储介质上存储有指令，该指令当被执行时使装置的处理器至少进行下述操作：利用定位在器械上的成像装置捕获腔网络内的多个图像，所述多个图像至少包括在第一时间处捕获的第一图像以及在第一时间之后的第二时间处捕获的第二图像；识别第一图像中的第一气道；识别第二图像中的两个或更多个气道；基于第一图像中的第一气道以及第二图像中的两个或更多个气道来确定满足交叠条件；访问术前模型数据，该术前模型数据指示与在第二时间期间器械的位置对应的气道的预期计数；以及基于术前模型数据和满足交叠条件的确定，来确定第二图像中的两个或更多个气道与术前模型数据中的气道之间的映射。

在另一方面，提供了一种用于映射腔网络中的一个或更多个气道的机器人手术系统，该系统包括：器械，该器械具有：细长主体，被配置成被插入腔网络中，以及成像装置，被定位在细长主体的远端部分上；附接至器械的器械定位装置，该器械定位装置被配置成使器械移动通过腔网络；至少一个计算机可读存储器，在计算机可读存储器上存储有可执行指令；一个或更多个处理器，所述一个或更多个处理器与至少一个计算机可读存储器通信并且被配置成执行指令以使系统至少进行下述操作：利用定位在器械上的成像装置捕获腔网络内的多个图像，所述多个图像至少包括在第一时间处捕获的第一图像以及在第一时间之后的第二时间处捕获的第二图像；识别第一图像中的第一气道；识别第二图像中的两个或更多个气道；基于第一图像中的第一气道以及第二图像中的两个或更多个气道来确定满足交叠条件；访问术前模型数据，该术前模型数据指示与在第二时间期间器械的位置对应的气道的预期计数；以及基于术前模型数据和满足交叠条件的确定，来确定第二图像中的两个或更多个气道与术前模型数据中的气道之间的映射。

附图说明

下文中将结合附图描述所公开的方面，提供附图是为了说明而不是限制所公开的方面，在附图中相同的附图标记表示相同的元件。

图1示出了被布置成用于诊断和/或治疗支气管镜检查过程的基于推车的机器人系统的实施方式。

图2描绘了图1的机器人系统的另外的方面。

图3示出了被布置成用于输尿管镜检查的图1的机器人系统的实施方式。

图4示出了被布置成用于血管过程的图1的机器人系统的实施方式。

图5示出了被布置成用于支气管镜检查过程的基于台的机器人系统的实施方式。

图6提供了图5的机器人系统的替选视图。

图7示出了被配置成收置机器人臂的示例系统。

图8示出了被配置成用于输尿管镜检查过程的基于台的机器人系统的实施方式。

图9示出了被配置成用于腹腔镜检查过程的基于台的机器人系统的实施方式。

图10示出了具有俯仰或倾斜调节的图5至图9的基于台的机器人系统的实施方式。

图11提供了图5至图10的基于台的机器人系统的台与柱之间的接口的详细图示。

图12示出了示例性器械驱动器。

图13示出了具有成对的器械驱动器的示例性医疗器械。

图14示出了用于器械驱动器和器械的替选设计，其中驱动单元的轴线平行于器械的细长轴的轴线。

图15描绘了根据示例实施方式的示出定位系统的框图，该定位系统估计图1至图10的机器人系统的一个或更多个元件的位置例如图13至图14的器械的位置。

图16示出了对腔网络的器械进行导航的示例。

图17示出了用于机器人控制的手术系统的示例命令控制台。

图18示出了医疗器械的实施方式的远端。

图19描绘了示出用于基于图像的气道分析和映射的示例方法的流程图。

图20示出了腔网络的分支的内部的示例图像。

图21示出了腔网络的简化视图。

图22示出了两个不同的示例气道检测结果。

图23A示出了根据示例实施方式的气道分析和映射系统。

图23B示出了其中执行根据示例实施方式的基于图像的气道分析的时间背景。

图24示出了根据示例实施方式的基于图像的气道分析的空间性质。

图25示出了在两个连续图像中由检测到的气道表现出的另外的示例关系。

图26描绘了示出用于基于图像的气道分析和映射的示例方法的流程图。

具体实施方式

I.概述

本公开内容的各方面可以被集成至能够执行各种医疗过程的机器人使能医疗系统中，所述各种医疗过程包括诸如腹腔镜检查的微创过程以及诸如内窥镜检查的无创过程两者。在内窥镜检查过程中，系统能够执行支气管镜检查、输尿管镜检查、胃镜检查等。

除了执行广泛的过程之外，系统可以提供附加的益处，例如增强成像和指导以帮助医师。另外地，该系统可以为医师提供从人体工程学位置执行过程的能力，而不需要笨拙的臂运动和位置。更进一步地，该系统可以为医师提供以改进的易用性执行过程的能力，使得系统的一个或更多个器械可以由单个用户控制。

出于说明的目的，下面将结合附图描述各种实施方式。应当理解的是，所公开的构思的许多其他实现方式是可能的，并且利用所公开的实现方式可以实现各种优点。本文中包括标题以供参考，并且有助于查找各个部分。这些标题不意在限制关于标题所描述的构思的范围。这些构思可以在整个说明书中具有适用性。

A.机器人系统——推车

可以根据具体过程以各种方式配置机器人使能医疗系统。图1示出了被布置用于诊断和/或治疗支气管镜检查过程的基于推车的机器人使能系统10的实施方式。在支气管镜检查期间，系统10可以包括推车11，该推车11具有一个或更多个机器人臂12，以将医疗器械(例如可操纵的内窥镜13，其可以是用于支气管镜检查的过程专用支气管镜)递送至自然孔口进入点(即，在本示例中为位于台上的患者的口腔)，以递送诊断和/或治疗工具。如所示出的，推车11可以被定位在患者的上躯干附近，以提供进入该进入点。类似地，机器人臂12可以被致动以相对于进入点来对支气管镜进行定位。当利用胃镜(一种用于胃肠(GI)过程的专用内窥镜)执行GI过程时，也可以利用图1中的布置。图2更详细地描绘了推车的示例实施方式。

继续参照图1，一旦推车11被正确定位，则机器人臂12就可以自动地、手动地或以其组合的方式将可操纵内窥镜13插入患者体内。如所示出的，可操纵内窥镜13可以包括至少两个伸缩部分例如内引导件部分和外护套部分，每个部分耦接至来自该组器械驱动器28的单独的器械驱动器，每个器械驱动器耦接至单独的机器人臂的远端。便于将引导件部分与护套部分同轴对准的器械驱动器28的这种线性布置产生“虚拟轨道”29，“虚拟轨道”29可以通过将一个或更多个机器人臂12操纵到不同角度和/或位置而在空间上重新定位。在图中使用虚线描绘了本文描述的虚拟轨道，并且因此虚线不描绘系统的任何物理结构。器械驱动器28沿着虚拟轨道29的平移使内引导件部分相对于外护套部分伸缩，或者使内窥镜13相对于患者前进或缩回。虚拟轨道29的角度可以基于临床应用或医师偏好来调节、平移和枢转。例如，在支气管镜检查中，所示的虚拟轨道29的角度和位置代表了在提供医师接近内窥镜13的同时使由于内窥镜13弯曲到患者的口腔中而产生的摩擦最小化之间的折衷。

可以使用来自机器人系统的精确命令在插入之后沿着患者的气管和肺引导内窥镜13，直到到达目标目的地或手术部位为止。为了增强通过患者的肺网络的导航和/或到达期望的目标，内窥镜13可以被操纵成从外护套部分伸缩地延伸内引导件部分，以获得增强的接合和更大的弯曲半径。使用单独的器械驱动器28还允许引导件部分和护套部分彼此独立地被驱动。

例如，内窥镜13可以被引导以将活检针递送至目标，例如，患者肺内的病变或结节。可以沿着沿内窥镜的长度延伸的工作通道部署针以获得要由病理学家分析的组织样本。根据病理学结果，可以沿着内窥镜的工作通道部署附加工具以用于附加活检。在识别出结节是恶性的之后，内窥镜13可以以内窥镜方式递送工具以切除潜在的癌组织。在一些情况下，诊断和治疗处理可以在单独的过程中递送。在这些情况下，内窥镜13也可以用于递送基准至也“标记”目标结节的位置。在其他情况下，诊断和治疗处理可以在相同的过程期间被递送。

系统10还可以包括可移动塔30，该可移动塔30可以经由支持线缆连接至推车11以向推车11提供控制、电子、流控学、光学、传感器和/或电力的支持。在塔30中设置这样的功能允许可以由操作医师和他/她的工作人员更容易地调节和/或重新定位的更小形状因子的推车11。此外，在推车/台与支持塔30之间的功能划分减少了手术室的混乱并且有利于改善临床工作流程。虽然推车11可以被定位成靠近患者，但是塔30可以被收置在远程位置中以在过程期间不挡道。

为了支持上述机器人系统，塔30可以包括基于计算机的控制系统的部件，所述部件例如在诸如永久性磁存储驱动器、固态驱动器等的非暂态计算机可读存储介质内存储计算机程序指令。这些指令的执行——无论是在塔30中还是在推车11中发生执行——都可以控制整个系统或其子系统。例如，当由计算机系统的处理器执行时，指令可以使机器人系统的部件致动相关的托架和臂安装件，致动机器人臂，并且控制医疗器械。例如，响应于接收到控制信号，机器人臂的关节中的马达可以将臂定位成特定姿势。

塔30还可以包括泵、流量计、阀控制器和/或流体入口，以向可以通过内窥镜13部署的系统提供受控的冲洗和抽吸能力。这些部件也可以使用塔30的计算机系统来控制。在一些实施方式中，冲洗和抽吸能力可以通过单独的线缆直接递送至内窥镜13。

塔30可以包括电压和浪涌保护器，该电压和浪涌保护器被设计成向推车11提供经滤波和受保护的电力，从而避免在推车11中放置电力变压器和其他辅助电力部件，从而获得更小更可移动的推车11。

塔30还可以包括用于部署在整个机器人系统10中的传感器的支持设备。例如，塔30可以包括用于检测、接收和处理从遍及机器人系统10中的光学传感器或摄像装置接收到的数据的光电子设备。与控制系统结合，可以使用这样的光电子设备用于生成实时图像以在部署在整个系统中的任何数目的控制台中(包括显示在塔30中)显示。类似地，塔30还可以包括用于接收和处理从部署的电磁(EM)传感器接收到的信号的电子子系统。塔30还可以用于容置和定位EM场发生器，以用于由医疗器械中或医疗器械上的EM传感器进行检测。

除了在系统的其余部分中可用的其他控制台(例如，安装在推车之上的控制台)之外，塔30还可以包括控制台31。控制台31可以包括用于医师操作员的用户接口和显示屏例如触摸屏。系统10中的控制台通常设计成提供机器人控制以及过程的术前信息和实时信息，例如，内窥镜13的导航和定位信息。当控制台31不是医师可用的唯一控制台时，控制台31可以由诸如护士的第二操作者使用，以监测患者的健康或生命体征以及系统10的操作，以及提供过程专用数据例如导航和定位信息。在其他实施方式中，控制台30容置在与塔架30分离的主体中。

塔30可以通过一个或更多个线缆或连接(未示出)耦接至推车11和内窥镜13。在一些实施方式中，来自塔30的支持功能可以通过单个线缆被提供至推车11，从而简化手术室并且使手术室不杂乱。在其他实施方式中，特定功能可以耦接在单独的线缆和连接中。例如，尽管可以通过单个电力线缆向推车11提供电力，但也可以通过单独的线缆提供对控制、光学、流控和/或导航的支持。

图2提供了图1所示的基于推车的机器人使能系统的推车11的实施方式的详细图示。推车11通常包括细长支承结构14(通常称为“柱”)、推车基部15和在柱14的顶部的控制台16。柱14可以包括用于支承一个或更多个机器人臂12(图2中示出三个)的部署的一个或更多个托架，例如托架17(替选地“臂支承件”)。托架17可以包括可单独配置的臂安装件，所述臂安装件沿着垂直轴线旋转以调节机器人臂12的基部，以获得相对于患者的更好的定位。托架17还包括托架接口19，该托架接口19允许托架17沿着柱14竖直地平移。

托架接口19通过诸如槽20的槽连接至柱14，所述槽被定位在柱14的相对侧以引导托架17的竖直平移。槽20包含用于将托架17定位和保持在相对于推车基部15的各种竖直高度处的竖直平移接口。托架17的竖直平移允许推车11调节机器人臂12的可达范围以满足各种台高度、患者尺寸和医师偏好。类似地，托架17上的可单独配置的臂安装件允许机器人臂12的机器人臂基部21以各种配置成角度。

在一些实施方式中，槽20可以补充有槽盖，槽盖与槽表面齐平且平行，以防止在托架17竖直地平移时灰尘和流体进入竖直平移接口和柱14的内部腔室。可以通过位于槽20的竖直顶部和底部附近的成对弹簧卷轴来部署槽盖。盖盘绕在卷轴内直到随着托架17竖直地上下平移而被部署成从盖的盘绕状态延伸和缩回。当托架17向卷轴平移时，卷轴的弹簧加载提供了将盖缩回到卷轴中的力，同时当托架17平移离开卷轴时也保持紧密密封。盖可以使用例如托架接口19中的支架连接至托架17，以确保盖在托架17平移时适当地延伸和缩回。

柱14可以在内部包括诸如齿轮和马达的机构，所述机构被设计成使用竖直对准的导螺杆，以响应于响应用户输入(例如，来自控制台16的输入)而生成的控制信号而以机械化方式平移托架17。

机器人臂12通常可以包括由一系列连杆23隔开的机器人臂基部21和端部执行器22，所述一系列连杆23由一系列关节24连接，每个关节包括独立的致动器，每个致动器包括独立可控的马达。每个独立可控的关节表示机器人臂12可用的独立自由度。机器人臂12中的每一个可以具有七个关节，因此提供七个自由度。多个关节引起多个自由度，从而允许“冗余”自由度。具有冗余自由度允许机器人臂12使用不同的连杆位置和关节角度将它们各自的端部执行器22定位在空间中的特定位置、特定取向和特定轨迹处。这允许系统相对于空间中的期望点来定位和引导医疗器械，同时允许医师将臂关节移动至远离患者的临床有利位置以产生更好的进入，同时避免臂碰撞。

推车基部15在地板上使柱14、托架17和机器人臂12的重量平衡。因此，推车基部15容置较重的部件，例如电子器件、马达、电源以及使得推车11能够移动和/或固定的部件。例如，推车基部15包括允许推车11在过程之前能够容易地在室中移动的可滚动的轮形脚轮25。在到达适当位置之后，脚轮25可以使用轮锁固定，以在过程期间将推车11保持在适当位置。

定位在柱14的竖直端部处的控制台16允许用于接收用户输入的用户接口和显示屏(或两用装置，例如触摸屏26)两者能够向医师用户提供术前和术中数据两者。触摸屏26上的潜在术前数据可以包括术前规划、从术前计算机化断层层析成像(CT)扫描得出的导航与映射数据、和/或来自术前患者面谈的注释。显示器上的术中数据可以包括从工具、传感器提供的光学信息；来自传感器的坐标信息；以及重要的患者统计数据例如呼吸、心率和/或脉搏。控制台16可以被定位并倾斜成允许医师从柱14的与托架17相对的侧接近控制台16。从该位置，医师可以在从推车11后面操作控制台16的同时观察控制台16、机器人臂12和患者。如所示出的，控制台16还包括用于帮助操纵和稳定推车11的手柄27。

图3示出了被布置成用于输尿管镜检查的机器人使能系统10的实施方式。在输尿管镜检查过程中，推车11可以被定位成将输尿管镜32——即，被设计成横穿患者的尿道和输尿管的过程专用内窥镜——递送至患者的下腹部区域。在输尿管镜检查中，可以期望输尿管镜32直接与患者的尿道对准以减少该区域中的敏感解剖结构上的摩擦和力。如所示出的，推车11可以在台的脚部处对准，以允许机器人臂12对输尿管镜32进行定位以获得对患者的尿道的直接线性接近。从台的脚部，机器人臂12可以沿着虚拟轨道33将输尿管镜32通过尿道直接插入患者的下腹部。

在插入尿道中之后，使用与支气管镜检查中类似的控制技术，可以将输尿管镜32导航到膀胱、输尿管和/或肾中以进行诊断和/或治疗应用。例如，可以将输尿管镜32引导到输尿管和肾中以使用沿着输尿管镜32的工作通道部署的激光或超声碎石装置打碎积聚的肾结石。在碎石完成之后，可以使用沿着输尿管镜32部署的篮移除所产生的结石碎片。

图4示出了类似布置的用于血管手术的机器人使能系统10的实施方式。在血管手术中，系统10可以被配置成使得推车11可以将诸如可操纵导管的医疗器械34递送至患者腿部的股动脉中的进入点。股动脉提供用于导航的较大直径以及到患者心脏的相对较少迂回和曲折路径两者——这简化了导航。如在输尿管镜检查过程中，推车11可以被定位成朝向患者的腿和下腹部，以允许机器人臂12提供具有对患者的大腿/髋部区域中的股动脉进入点的直接线性进入的虚拟轨道35。在插入动脉后，可以通过平移器械驱动器28来引导和插入医疗器械34。替选地，推车可以被定位在患者的上腹部周围，以到达替选的血管进入点，例如，肩部和腕部附近的颈动脉和臂动脉。

B.机器人系统——台

机器人使能医疗系统的实施方式还可以结合患者的台。与台的结合可以通过移除推车而减少手术室内的资本设备的量，这允许对患者更好的接近。图5示出了被布置成用于支气管镜检查过程的这样的机器人使能系统的实施方式。系统36包括用于将平台38(示出为“台”或“床”)支承在地板上的支承结构或柱37。与在基于推车的系统中非常类似，系统36的机器人臂39的端部执行器包括器械驱动器42，所述器械驱动器42被设计成通过或沿着由器械驱动器42的线性对准形成的虚拟轨道41来操纵细长医疗器械，例如图5中的支气管镜40。实际上，可以通过将发射器和检测器放置在台38周围将用于提供荧光透视成像的C形臂定位在患者的上腹部区域上方。

图6提供了出于讨论的目的而没有患者和医疗器械的系统36的替选视图。如所示出的，柱37可以包括在系统36中示出为环形的一个或更多个托架43，一个或更多个机器人臂39可以基于所述一个或更多个托架。托架43可以沿着沿柱37的长度延伸的竖直柱接口44平移，以提供不同的有利位点，机器人臂39可以从这些有利位点被定位以到达患者。托架43可以使用位于柱37内的机械马达绕柱37旋转，以允许机器人臂39接近台38的多个侧，例如患者的两侧。在具有多个托架的实施方式中，托架可以分别地定位在柱上，并且可以独立于其他托架而平移和/或旋转。尽管托架43不需要围绕柱37或甚至不需要是圆形的，但所示的环形形状有利于托架43绕柱37旋转并且同时保持结构平衡。托架43的旋转和平移允许系统36将诸如内窥镜和腹腔镜的医疗器械对准到患者身上的不同进入点中。在其他实施方式(未示出)中，系统36可以包括患者台或床，所述患者台或床具有沿患者台或床旁边延伸的杆或轨道的形式的可调节的臂支承件。一个或更多个机器人臂39(例如，经由具有肘关节的肩部)可以被附接至可调节臂支承件，可调节臂支承件可以被竖直调节。通过提供竖直调节，机器人臂39有利地能够紧凑地被收置在患者台或床下面，并且随后在手术期间被升高。

机器人臂39可以通过一组臂安装件45安装在托架43上，所述一组臂安装件包括一系列关节，所述一系列关节可以单独地旋转和/或可伸缩地延伸，以为机器人臂39提供附加的可配置性。此外，臂安装件45可以被定位在托架43上，使得当托架43适当地旋转时，臂安装件45可以被定位在台38的同一侧(如图6所示)，定位在台38的相对侧(如图9所示)，或者定位在台38的相邻侧(未示出)。

柱37在结构上提供用于台38的支承并且提供用于托架43的竖直平移的路径。在内部，柱37可以装备有：用于引导托架43的竖直平移的导螺杆；以及基于导螺杆使托架43的平移机械化的马达。柱37还可以将电力和控制信号传送至托架43和安装在托架43上的机器人臂39。

台基部46起到与图2所示的推车11中的推车基部15类似的功能——容置较重的部件以平衡台/床38、柱37、托架43和机器人臂39。台基部46也可以包括刚性脚轮以用于在过程期间提供稳定性。在相对于台基部46的底部部署的情况下，脚轮可以在基部46的两侧沿相反方向延伸，并且当系统36需要移动时缩回。

继续参照图6，系统36还可以包括塔(未示出)，该塔将系统36的功能在台与塔之间进行划分，以减小台的形状因子和体积。如在较早公开的实施方式中那样，塔可以针对台提供各种支持功能，例如处理、计算和控制能力、电力、流控以及/或者光学和传感器处理。塔还可以是可移动的，以被定位成远离患者，从而改善医师的接近并且使手术室不杂乱。此外，在塔中放置部件在台基部46中提供有更多的储存空间，以用于机器人臂39的潜在收置。塔还可以包括主控制器或控制台，该控制台提供用于用户输入的用户接口(例如，键盘和/或挂件(pendant))以及用于术前和术中信息(例如，实时成像、导航和跟踪信息)的显示屏(或触摸屏)。在一些实施方式中，塔还可以包括用于将用于吹气的储气罐的保持器。

在一些实施方式中，台基部可以将机器人臂在不使用时收置和储存。图7示出了在基于台的系统的实施方式中收置机器人臂的系统47。在系统47中，托架48可以竖直平移到基部49中以使机器人臂50、臂安装件51和托架48收置在基部49内。基部盖52可以平移和缩回成打开以将托架48、臂安装件51和机器人臂50部署在柱53周围，并且关闭以收置以在托架、臂安装件和臂不使用时保护它们。基部盖52可以用膜54沿着该基部盖的开口的边缘密封，以防止在关闭时灰尘和流体进入。

图8示出了被配置成用于输尿管镜检查过程的机器人使能的基于台的系统的实施方式。在输尿管镜检查中，台38可以包括用于将患者定位成与柱37和台基部46成偏角(off-angle)的旋转部分55。旋转部分55可以绕枢转点(例如，位于患者头部下方)旋转或枢转，以将旋转部分55的底部部分定位成离开柱37。例如，旋转部分55的枢转允许C形臂(未示出)被定位在患者的下腹部上方，而不与台38下方的柱(未示出)争夺空间。通过绕柱37旋转托架35(未示出)，机器人臂39可以将输尿管镜56沿着虚拟轨道57直接插入患者的腹股沟区域中以到达尿道。在输尿管镜检查中，也可以将镫58固定至台38的旋转部分55，以在过程期间支承患者的腿的位置，并且允许对患者的腹股沟区域无阻碍接近。

在腹腔镜检查过程中，通过在患者腹壁的小切口，可以将微创器械插入患者的解剖结构中。在一些实施方式中，微创器械包括细长的刚性构件例如轴，刚性构件用于进入患者内的解剖结构。在患者腹腔充气之后，可以引导器械执行手术或医疗任务例如抓取、切割、摘除、缝合等。在一些实施方式中，器械可以包括诸如腹腔镜的观察镜。图9示出了被配置用于腹腔镜检查过程的机器人使能的基于台的系统的实施方式。如所示出的，可以将系统36的托架43旋转和竖直调节以将成对的机器人臂39定位在台38的相对侧，使得可以使用臂安装件45将器械59定位成穿过患者两侧的最小切口以到达他/她的腹腔。

为了适应腹腔镜检查过程，机器人使能台系统还可以将平台倾斜到期望的角度。图10示出了具有俯仰或倾斜调节的机器人使能医疗系统的实施方式。如图10所示，系统36可以适应台38的倾斜，以将台的一部分定位在比另一部分距地面更远的距离处。此外，臂安装件45可以旋转以匹配倾斜，使得机器人臂39与台38保持相同的平面关系。为了适应更陡的角度，柱37还可以包括伸缩部分60，该伸缩部分60允许柱37的竖直延伸以防止台38触及地面或者与台基部46碰撞。

图11提供了台38与柱37之间的接口的详细图示。俯仰旋转机构61可以被配置成以多个自由度改变台38相对于柱37的俯仰角。俯仰旋转机构61可以通过在柱台接口处定位正交轴1、2来实现，每个轴由单独的马达3、4响应于电俯仰角命令来致动。沿着一个螺杆5的旋转可以使得能够进行沿一个轴1的倾斜调节，而沿着另一螺杆6的旋转可以使得能够进行沿着另一轴2的倾斜调节。在一些实施方式中，可以使用球关节在多个自由度上改变台38相对于柱37的俯仰角。

例如，当为了进行下腹部手术而试图将台定位在头低脚高(Trendelenburg)位置(即，患者的下腹部的位置与患者的上腹部相比处于距地面较高的位置)时，俯仰调节特别有用。头低脚高位置使患者的内部器官通过重力滑向他/她的上腹，从而清空腹腔以供微创工具进入并且执行下腹部手术或医疗过程，例如腹腔镜前列腺切除术。

C.器械驱动器和接口

系统的机器人臂的端部执行器可以包括：(i)器械驱动器(替选地称为“器械驱动机构”或“器械装置操纵器”)，其结合了用于致动医疗器械的机电装置；以及(ii)可移除或可拆卸的医疗器械，其可以没有任何机电部件例如马达。该二分法可以是由对医疗过程中使用的医疗器械进行消毒的需要以及由于昂贵资本设备的复杂机械组件和敏感电子器件而引起的对昂贵资本设备进行充分消毒的无能为力所驱动的。因此，医疗器械可以被设计成从器械驱动器(以及因此从系统)拆卸、移除和互换，以由医师或医师的工作人员单独消毒或处置。相比之下，器械驱动器不需要改变或消毒，并且可以用帘覆盖以获得保护。

图12示出了示例器械驱动器。定位在机器人臂的远端处的器械驱动器62包括一个或更多个驱动单元63，所述一个或更多个驱动单元63被以平行轴线进行布置以经由驱动轴64向医疗器械提供受控扭矩。每个驱动单元63包括：用于与器械相互作用的单独的驱动轴64；用于将马达轴旋转转换成期望扭矩的齿轮头65；用于生成驱动扭矩的马达66；用于测量马达轴的速度并且向控制电路提供反馈的编码器67；以及用于接收控制信号并且致动驱动单元的控制电路68。每个驱动单元63被独立地控制和机动化，并且器械驱动器62可以向医疗器械提供多个(例如，如图13和图14所示为四个)独立的驱动输出。在操作中，控制电路68可以接收控制信号，将马达信号传输至马达66，将由编码器67测量的产生的马达速度与期望速度进行比较，并且调制马达信号以生成期望扭矩。

对于需要无菌环境的过程，机器人系统可以结合位于器械驱动器与医疗器械之间的驱动接口，例如连接至无菌帘(drape)的无菌适配器。无菌适配器的主要目的是将角运动从器械驱动器的驱动轴传递至器械的驱动输入，同时保持驱动轴与驱动输入之间的物理分离并且因此保持无菌性。因此，示例无菌适配器可以包括旨在与器械驱动器的驱动轴和器械上的驱动输入配合的一系列旋转输入和输出。连接至无菌适配器的包含薄的柔性材料(例如，透明或半透明塑料)的无菌帘被设计成覆盖资本设备，例如器械驱动器、机器人臂和推车(在基于推车的系统中)或台(在基于台的系统中)。使用该帘可以允许把资本设备定位在患者附近，同时仍然位于不需要消毒的区域(即，非无菌区)。在无菌帘的另一侧，医疗器械可以在需要灭菌的区域(即无菌区)与患者对接。

D.医疗器械

图13示出了具有成对器械驱动器的示例医疗器械。与被设计成与机器人系统一起使用的其他器械类似，医疗器械70包括细长轴71(或细长主体)和器械基部72。由于其用于由医师进行的手动交互的预期设计而也被称为“器械手柄”的器械基部72通常可以包括诸如插口、滑轮或卷轴的可旋转驱动输入73，所述可旋转驱动输入73被设计成与延伸通过机器人臂76的远端处的器械驱动器75上的驱动接口的驱动输出74配合。当被物理连接、闩锁和/或耦接时，器械基部72的经配合的驱动输入73可以与器械驱动器75中的驱动输出74共享旋转轴线，以使得扭矩能够从驱动输出74传递至驱动输入73。在一些实施方式中，驱动输出74可以包括花键，其被设计成与驱动输入73上的插口配合。

细长轴71被设计成通过解剖结构开口或腔(例如，在内窥镜检查中)或通过微创切口(例如，在腹腔镜检查中)被递送。细长轴71可以是柔性的(例如，具有类似于内窥镜的特性)或刚性的(例如，具有类似于腹腔镜的特性)，或者包含柔性部分和刚性部分两者的定制组合。当设计用于腹腔镜检查时，刚性细长轴的远端可以连接至端部执行器，该端部执行器从具有至少一个自由度的U形夹以及手术工具或医疗器械诸如例如抓握器或剪刀形成的关节腕延伸，当驱动输入响应于从器械驱动器75的驱动输出74接收到的扭矩而旋转时，该手术工具或医疗器械可以基于来自腱部的力被致动。当被设计成用于内窥镜检查时，柔性细长轴的远端可以包括可操纵或可控制的弯曲部分，该弯曲部分可以基于从器械驱动器75的驱动输出74接收到的扭矩而被接合和弯曲。

来自器械驱动器75的扭矩使用腱部沿细长轴71传递至细长轴71上。这些单独的腱部例如牵引线可以单独锚定至器械手柄72内的单独驱动输入73。腱部从手柄72沿细长轴71引导一个或更多个牵引腔，并且被锚定在细长轴71的远端部分处或者锚定在细长轴71的远端部分处的腕部中。在手术过程例如腹腔镜、内窥镜或混合手术期间，这些腱部可以耦接至远端安装的端部执行器例如腕部、抓握器或剪刀。在这样的布置下，施加在驱动输入73上的扭矩可以将张力传递至腱部，从而使端部执行器以某种方式致动。在腹腔镜检查中，腱部可以使关节绕轴线旋转，从而使端部执行器沿一个方向或另一方向移动。替选地，腱部可以连接至在细长轴71的远端处的抓握器的一个或更多个爪部(jaw)，其中来自腱部的张力使抓握器闭合。

在内窥镜检查中，腱部可以经由粘合剂、控制环或其他机械固定件而耦接至沿着细长轴71定位(例如，在远端处)的弯曲或接合区段。当固定地附接至弯曲区段的远端时，施加在驱动输入73上的扭矩可以沿着腱部被传递，从而使较软的弯曲区段(有时称为可接合区段或区域)弯曲或接合。沿着非弯曲区段，有利的会是使沿着内窥镜轴的壁(或在内窥镜轴的壁的内部)引导单独的腱部的单独的牵引腔螺旋或盘旋，以平衡由牵引线中的张力产生的径向力。为了特定目的，可以改变或设计其间的间隔和/或螺旋的角度，其中较紧的螺旋在负载力下呈现较小的轴压缩，而较小的螺旋量在负载力下引起较大的轴压缩，但弯曲也更有限。另一方面，牵引腔可以被定向成平行于细长轴71的纵向轴线以允许在期望的弯曲或可接合区段中的受控接合。

在内窥镜检查中，细长轴71容置有多个部件以辅助机器人过程。轴71可以包括用于将手术工具(或医疗器械)、冲洗和/或抽吸部署到轴71的远端处的手术区域的工作通道。轴71还可以容置线和/或光纤以向远侧末端处的光学组件/从远侧末端处的光学组件传递信号，其中光学组件可以包括光学摄像装置。轴71也可以容置光纤，以将光从位于近端的光源(例如，发光二极管)传送到轴71的远端。

在器械70的远端处，远侧末端还可以包括用于将用于诊断和/或治疗、冲洗和抽吸的工具递送至手术部位的工作通道的开口。远侧末端还可以包括用于诸如纤维镜或数字摄像装置的摄像装置的端口，以捕获内部解剖空间的图像。相关地，远侧末端还可以包括用于光源的端口，其中光源用于在使用摄像装置时照亮解剖空间。

在图13的示例中，驱动轴轴线以及因此驱动输入轴线与细长轴71的轴线正交。然而，该布置使细长轴71的滚动能力复杂化。当腱部延伸离开驱动输入73并且进入到细长轴71内的牵引腔时，在保持驱动输入73静止的同时使细长轴71沿着其轴线滚动会引起腱部的不期望的缠结。这样的腱部的产生的缠结可能破坏旨在预测柔性细长轴71在内窥镜检查过程期间的运动的任何控制算法。

图14示出了器械驱动器和器械的替选设计，其中驱动单元的轴线平行于器械的细长轴的轴线。如所示出的，圆形器械驱动器80包括四个驱动单元，其中，驱动单元的驱动输出81在机器人臂82的端部处平行对准。驱动单元和它们各自的驱动输出81容置在由组件83内的驱动单元中的一个驱动的器械驱动器80的旋转组件83中。响应于由旋转驱动单元提供的扭矩，旋转组件83沿着圆形轴承旋转，该圆形轴承将旋转组件83连接至器械驱动器80的不可旋转部分84。可以通过电接触将电力和控制信号从器械驱动器80的不可旋转部分84传送至旋转组件83，电接触可以通过电刷滑环连接(未示出)的旋转来维持。在其他实施方式中，旋转组件83可以响应于集成到不可旋转部分84中的单独的驱动单元，并且因此不平行于其他驱动单元。旋转机构83允许器械驱动器80使驱动单元及驱动单元的相应驱动输出81作为单个单元绕器械驱动器轴线85旋转。

与较早公开的实施方式类似，器械86可以包括细长轴部分88和器械基部87(出于讨论的目的，以透明外表示出)，该器械基部87包括被配置成接纳器械驱动器80中的驱动输出81的多个驱动输入89(例如，插口、滑轮和卷轴)。与先前公开的实施方式不同，器械轴88从器械基部87的中心延伸，其中轴线基本上平行于驱动输入89的轴线，而不是如图13的设计中那样正交。

当耦接至器械驱动器80的旋转组件83时，包括器械基部87和器械轴88的医疗器械86与旋转组件83结合绕器械驱动器轴线85旋转。由于器械轴88被定位在器械基部87的中心处，因此器械轴88在被附接时与器械驱动器轴线85共轴。因此，旋转组件83的旋转使器械轴88绕其自身的纵向轴线旋转。此外，当器械基部87与器械轴88一起旋转时，连接至器械基部87中的驱动输入89的任何腱部在旋转期间都不会缠结。因此，驱动输出81、驱动输入89和器械轴88的轴线的平行使得在不使任何控制腱部缠结的情况下能够进行轴旋转。

E.导航和控制

传统的内窥镜检查可以包括使用荧光透视检查(例如，如可以通过C形臂递送)和其他形式的基于辐射的成像模态，以向操作医师提供腔内引导。相比之下，本公开内容所设想的机器人系统可以提供基于非辐射的导航和定位手段，以减少医师暴露于辐射并且减少手术室内的设备的数目。如本文所使用的，术语“定位”可以指确定和/或监测对象在参考坐标系中的位置。诸如术前映射、计算机视觉、实时EM跟踪和机器人命令数据的技术可以单独地或组合地使用以实现无辐射操作环境。在仍使用基于辐射的成像模态的其他情况下，可以单独地或组合地使用术前映射、计算机视觉、实时EM跟踪和机器人命令数据，以改进仅通过基于辐射的成像模态获得的信息。

图15是示出根据示例实施方式的估计机器人系统的一个或更多个元件的位置(例如，器械的位置)的定位系统90的框图。定位系统90可以是被配置成执行一个或更多个指令的一个或更多个计算机装置的集合。计算机装置可以由以上讨论的一个或更多个部件中的处理器(或多个处理器)和计算机可读存储器来实现。作为示例而非限制，计算机装置可以在图1所示的塔30、图1至图4所示的推车11、图5至图10所示的床等中。

如图15所示，定位系统90可以包括定位模块95，该定位模块95处理输入数据91至94以生成用于医疗器械的远侧末端的位置数据96。位置数据96可以是表示器械的远端相对于参考系的位置和/或取向的数据或逻辑。参考系可以是相对于患者的解剖结构或相对于已知对象——例如EM场生成器(参见下文关于EM场生成器的讨论)——的参考系。

现在将更详细地描述各种输入数据91至94。术前映射可以通过使用低剂量计算机断层(CT)扫描的集合来完成。术前CT扫描被重建为三维图像，这些图像可视化，例如作为患者的内部解剖结构的剖面视图的“切片”。当总体上进行分析时，可以生成用于患者的解剖结构例如患者肺网络的解剖腔、空间和结构的基于图像的模型。可以根据CT图像确定和近似诸如中心线几何形状的技术，以开发患者解剖结构的三维体积，该三维体积被称为模型数据91(当仅使用术前CT扫描生成时也称为“术前模型数据”)。在一些实施方式中，术前模型数据91可以包括来自例如荧光检查法、磁共振成像(MRI)、超声成像和/或x射线的数据。中心线几何形状的使用在美国专利申请第14/523,760号进行了讨论，该美国专利申请的全部内容通过引用整体并入本文。网络拓扑模型也可以根据CT图像得出，并且特别地适合于支气管镜检查。

在一些实施方式中，器械可以配备有摄像装置以提供视觉数据(或图像数据)92。定位模块95可以处理视觉数据以实现一个或更多个基于视觉或基于图像的位置跟踪模块或特征。例如，可以将术前模型数据91与视觉数据92结合使用，以实现对医疗器械(例如，内窥镜或通过内窥镜的工作通道前进的器械)的基于计算机视觉的跟踪。例如，使用术前模型数据91，机器人系统可以基于内窥镜的预期行进路径根据模型生成预期内窥镜图像的库，每个图像链接至模型内的位置。在术中，机器人系统可以参考该库，以将在摄像装置(例如，在内窥镜远端处的摄像装置)处捕获的实时图像与图像库中的图像进行比较，以辅助定位。

其他基于计算机视觉的跟踪技术使用特征跟踪来确定摄像装置的运动，并且因此确定内窥镜的运动。定位模块95的一些特征可以识别术前模型数据91中的与解剖腔对应的圆形几何形状；以及跟踪用于确定选择了哪个解剖腔的那些几何形状的变化以及摄像装置的相对旋转和/或平移运动。拓扑图的使用可以进一步增强基于视觉的算法或技术。

光流即另一基于计算机视觉的技术可以分析视觉数据92中的视频序列中的图像像素的位移和平移以推断摄像装置移动。光流技术的示例可以包括运动检测、对象分割计算、亮度、运动补偿编码、立体视差测量等。通过利用多次迭代对多帧的比较可以确定摄像装置的移动和位置(并且因此确定内窥镜的移动和位置)。

定位模块95可以使用实时EM跟踪来生成内窥镜在全局坐标系中的实时位置，其中全局坐标系可以被配准到由术前模型表示的患者的解剖结构。在EM跟踪中，包括以一个或更多个位置和取向嵌入在医疗器械(例如，内窥镜工具)中的一个或更多个传感器线圈的EM传感器(或跟踪器)测量由定位在已知位置处的一个或更多个静态EM场生成器产生的EM场的变化。由EM传感器检测到的位置信息被存储为EM数据93。EM场生成器(或发送器)可以靠近患者放置，以产生嵌入式传感器可以检测到的低强度磁场。磁场在EM传感器的传感器线圈中感应出小电流，可以对该小电流进行分析以确定EM传感器与EM场生成器之间的距离和角度。这些距离和取向可以在术中被“配准”到患者解剖结构(例如，术前模型)，以确定将坐标系中的单个位置与患者的解剖结构的术前模型中的位置对准的几何变换。一旦经配准，在医疗器械的一个或更多个位置(例如，内窥镜的远侧末端)的嵌入式EM跟踪器可以提供医疗器械通过患者的解剖结构的进展的实时指示。

定位模块95也可以使用机器人命令和运动学数据94来提供用于机器人系统的定位数据96。可以在术前校准期间确定由接合命令引起的装置俯仰和偏航。在术中，可以将这些校准测量与已知的插入深度信息结合使用，以估计器械的位置。替选地，可以结合EM、视觉和/或拓扑建模对这些计算进行分析，以估计医疗器械在网络内的位置。

如图15所示，定位模块95可以使用许多其他输入数据。例如，尽管在图15中未示出，但是利用形状感测光纤的器械可以提供形状数据，定位模块95可以使用该形状数据来确定器械的位置和形状。

定位模块95可以以组合方式使用输入数据91至94。在一些情况下，这样的组合可以使用概率方法，在概率方法中，定位模块95向根据输入数据91至94中的每一个确定的位置分配置信度权重。因此，在EM数据可能不可靠(如可以是其中存在EM干扰的情况下)的情况下，通过EM数据93确定的位置的置信度可能降低，并且定位模块95可以更大程度上依赖于视觉数据92以及/或者机器人命令和运动学数据94。

如以上所讨论的，本文讨论的机器人系统可以被设计成结合以上技术中的一个或更多个的组合。位于塔、床和/或推车中的机器人系统的基于计算机的控制系统可以将计算机程序指令存储在诸如永久性磁存储驱动器、固态驱动器等的非暂态计算机可读存储介质内，其中计算机程序指令在被执行时使系统接收并且分析传感器数据和用户命令，生成整个系统的控制信号，以及显示导航和定位数据，例如器械在全局坐标系、解剖图等内的位置。

II.腔网络的导航

上面所讨论的各种机器人系统可以用来执行各种医疗过程例如内窥镜和腹腔镜检查过程。在某些过程期间，会将医疗器械例如机器人控制的医疗器械插入患者体内。在患者体内，器械可以被置于患者的腔网络内。如本文所使用的，术语“腔网络”是指体内的任何腔结构，无论是包括多个腔或分支(例如，如肺或血管中的多个分支腔)还是单个腔或分支(例如在胃肠道内)。在该过程期间，可以将器械移动(例如，导航、引导、驱动等)通过腔网络至一个或更多个感兴趣的区域。可以由上面所讨论的导航或定位系统90来辅助器械在系统中的移动，所述导航或定位系统90可以将关于器械的位置信息提供给控制机器人系统的医师。

图16示出了患者的示例腔网络130。在所示出的实施方式中，腔网络130是患者肺的气道150的支气管网络(即，腔、分支)。尽管所示出的腔网络130是患者肺内的气道的支气管网络，但是本公开内容不仅限于所示出的示例。本文所述的机器人系统和方法可以用于导航任何类型的腔网络，例如支气管网络、肾网络、心血管网络(例如动脉和静脉)、胃肠道、泌尿道等。

如所示出的，腔网络130包括以分支结构布置的多个气道150。通常，腔网络130包括三维结构。为了便于说明，图16将腔网络130表示为二维结构。这不应被解释为以任何方式将本公开内容限于二维腔网络。

图16还示出了定位在腔网络130内的医疗器械的示例。将医疗器械导航通过腔网络130朝着感兴趣的区域(例如结节155)以进行诊断和/或治疗。在所示出的示例中，结节155位于气道150的外围，尽管感兴趣的区域可以根据患者和手术而定位在腔网络130内的任何位置。

在所示出的示例中，医疗器械包括内窥镜115。内窥镜115可以包括护套120和引导件145。在一些实施方式中，护套120和引导件145可以以伸缩的方式布置。例如，引导件145可以可滑动地定位在护套120的工作通道内部。护套120可以具有第一直径，并且其远端可能不能够通过围绕结节155的较小直径的气道150来定位。因此，引导件145可以被配置成从护套120的工作通道延伸至结节155的剩余距离。引导件145可以具有腔，通过该腔，诸如活检针、细胞刷和/或组织取样镊子的器械可以被传递至结节155的目标组织部位。在这样的实现方式中，护套120的远端和引导件145的远端两者都可以设置有EM器械传感器(例如，图18中的EM器械传感器305)，以用于跟踪它们在气道150内的位置。护套120和引导件145的这种伸缩布置可以允许内窥镜115的更薄的设计并且可以改善内窥镜115的弯曲半径，同时经由护套120提供结构支承。

在其他实施方式中，内窥镜115的总直径可以足够小以在没有伸缩装置的情况下到达外围，或者可以足够小以接近外围(例如，在约2.5cm至3cm之内)以展开通过不可操纵的导管的医疗器械。通过内窥镜115部署的医疗器械可以配备有EM器械传感器(例如，图18中的EM器械传感器305)，并且可以将下面描述的基于图像的气道分析和映射技术应用于这样的医疗器械。

如所示出的，要到达结节155，必须对器械(例如内窥镜115)进行导航或引导，使其穿过腔网络的气道150。操作者(例如医师)可以控制机器人系统以将器械导航至结节155。操作者可以提供用于控制机器人系统的输入。

图17示出了可以与本文描述的机器人系统的一些实现方式一起使用的示例命令控制台200。操作者可以经由命令控制台200提供用于控制机器人系统例如以将器械导航或引导至感兴趣的区域诸如结节155的输入。命令控制台200可以以各种各样的布置或配置来实现。在所示的示例中，命令控制台200包括控制台基座201、显示器202(例如监视器)和一个或更多个控制模块(例如键盘203和操纵杆204)。用户205(例如，医师或其他操作者)可以使用命令控制台200从人机控制位置远程控制医疗机器人系统(例如，参照图1至图15描述的系统)。

显示器202可以包括电子监视器(例如，LCD显示器、LED显示器、触敏显示器)、虚拟现实观看装置(例如，护目镜或眼镜)和/或其他显示装置。在一些实施方式中，显示器202中的一个或更多个显示例如由定位系统90(图15)确定的关于器械的位置信息。在一些实施方式中，显示器202中的一个或更多个显示患者的腔网络130的术前模型。位置信息可以叠置在术前模型上。显示器202还可以显示从定位在腔网络130内的器械上的摄像装置或另一感测设备接收到的图像信息。在一些实施方式中，器械的模型或表示与术前模型一起显示，以帮助指示手术或医疗过程的状态。

在一些实施方式中，控制台基座201包括中央处理单元(例如，CPU或处理器)、存储器单元(例如，计算机可读存储器)、数据总线和相关联的数据通信端口，上述部件负责解释和处理诸如摄像装置图像的信号并且跟踪例如来自定位在患者的腔网络内的医疗器械的传感器数据。

控制台基座201还可以通过控制模块203、204处理由用户205提供的命令和指令。除了图17所示的键盘203和操纵杆204之外，控制模块还可以包括捕获手部姿势和手指手势的其他装置，诸如计算机鼠标、轨迹板、轨迹球、控制板、诸如手持式远程遥控器的控制器和传感器(例如，运动传感器或摄像装置)。控制器可以包括映射至器械的操作(例如，接合、驱动、水冲洗等)的一组用户输入(例如，按钮、操纵杆、方向垫等)。使用命令控制台200的控制模块203、204，用户205可以将器械导航通过腔网络130。

图18示出了示例医疗器械300的远端的细节视图。医疗器械300可以表示图16的内窥镜115或可操纵导管145。医疗器械300可以表示贯穿本公开内容描述的任何医疗器械，诸如图1的内窥镜13、图3的输尿管镜32、图9的腹腔镜59等。在图18中，器械300的远端包括成像装置315、照明源310和形成EM器械传感器的EM传感器线圈305的端部。该远端还包括通向器械300的工作通道320的开口，手术器械诸如活检针、细胞刷和镊子等通过该开口可以沿着器械轴插入，从而使得能够进入器械末端附近的区域。

位于器械300的远端上的EM线圈305可以与EM跟踪系统一起使用，以在器械300的远端被定位在腔网络内时检测器械300的远端的位置和取向。在一些实施方式中，线圈305可以沿不同轴成角度以提供EM场的灵敏度，赋予所公开的导航系统测量如下完整的6个自由度(DoF)的能力：三个位置DoF和三个角度DoF。在其他实施方式中，在远端上或在远端内可以设置有仅单个线圈305，其中单个线圈的轴沿着器械轴定向。由于这种系统的旋转对称性，这种系统对绕其轴滚动不敏感，因此在这种实现方式中仅可以检测到五个自由度。替选地或者另外地，可以采用其他类型的位置传感器。

照明源310提供光以照亮解剖空间的一部分。照明源310可以是均被配置成发射选定波长或波长范围的光的一个或更多个发光装置。波长可以是任何合适的波长，例如可见光谱光、红外光、X射线(例如，用于荧光透视)，仅以这几个示例为例。在一些实施方式中，照明源310可以包括位于器械300的远端处的发光二极管(LED)。在一些实施方式中，照明源310可以包括一个或更多个纤维光纤，其延伸穿过内窥镜的长度以从远程光源例如x射线生成器传输光通过远端。在远端包括多个照明源310的情况下，这些照明源310可以均被配置成发射彼此相同或不同波长的光。

成像装置315可以包括被配置成将表示接收到的光的能量转换成电信号的任何光敏基板或结构，例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器。成像装置315的一些示例可以包括一个或更多个光纤，例如光纤束，其被配置成将表示图像的光从内窥镜的远端300传输至内窥镜的近端附近的目镜和/或图像传感器。成像装置315可以另外包括根据各种光学设计所需的一个或更多个透镜和/或波长通过或截止滤光器。从照明源310发射的光使得成像装置315能够捕获患者的腔网络内部的图像。然后，可以将这些图像作为单独的帧或一系列连续帧(例如视频)传输至计算机系统诸如命令控制台200。如上所述，并且如将在下面更详细描述的那样，由成像装置315捕获的图像(例如，图15的视觉数据92)可以被导航或定位系统95用于确定或估计器械在腔网络内的位置(例如，器械300的远侧末端的位置)。

III.基于图像的气道分析和映射

本公开内容的实施方式涉及用于基于图像的气道分析和映射的系统和技术。如本文所使用的，基于图像的气道分析可以指在图像内识别与腔网络的一个或更多个分支相关联的一个或更多个气道，并且确定指示如何将其中图像被捕获的当前气道分支为检测到的“子”气道的分支信息。例如，基于图像的气道分析系统可以在腔网络内使用定位在器械上的成像装置来捕获腔网络的内部的图像，并且基于图像的气道分析系统可以对图像进行分析以识别该图像中示出的一个或更多个气道。如本文所使用的，基于图像的气道映射可以指将在图像中识别出的气道映射至由例如术前模型数据指示的对应气道或腔网络的分支。例如，基于图像的气道映射系统可以被配置成识别给定腔网络的哪些气道或分支对应于在捕获图像中识别出的气道或分支。这些系统和技术可以用于确定或估计器械在腔网络内的位置。在某些实现方式中，这些系统和技术可以结合各种其他导航和定位模态(例如，如上参照图15所描述的)使用。

A.基于图像的气道分析和映射概述

在腔网络内部导航的能力可以是本文描述的机器人控制的手术系统的特征。如本文所使用的，导航可以指定位或确定器械在腔网络内的位置。所确定的位置可以用于帮助将器械引导至腔网络内的一个或更多个特定的感兴趣的区域。在一些实施方式中，机器人控制的手术系统利用一个或更多个独立的感测模态来为器械提供术中导航。如图15所示，独立的感测模态可以提供位置数据(例如，EM数据93)、视觉数据92和/或机器人命令和运动学数据94。这些独立的感测模态可以包括被配置成提供独立的位置估计的估计模块。然后，可以使用定位模块95将独立估计值组合为可以由系统使用或显示给用户的一个导航输出。基于图像的气道分析和映射可以基于视觉数据92提供独立的感测模态，该感测模态可以提供独立的位置估计。特别地，在一些情况下，基于图像的气道分析和映射提供了感测模态和状态/位置估计模块的组合，该状态/位置估计模块基于由成像装置捕获的一个或更多个图像对器械的成像装置位于腔网络的哪个腔或分支进行估计。在一些实施方式中，由基于图像的气道分析和映射提供的估计可以单独使用或与其他位置估计一起使用，以确定可以由系统使用或显示给用户的最终位置估计。在一些实施方式中，本文描述的基于图像的气道分析和映射的系统和方法可以将其估计建立在使用多个感测模态确定的先前位置估计的基础上。

图19示出了用于基于图像的气道分析和映射的示例方法400。方法400可以在如本文所描述的各种机器人控制的手术系统中实现。方法400可以包括两个步骤或块：检测图像中的气道(块402)和将检测到的气道映射至腔网络的对应气道(例如，由术前模型数据指示的对应气道)(块404)。

在块402处，方法400检测图像中的一个或更多个气道。如上所述，在医疗过程期间，可以将器械定位在腔网络内(参见图16)。如图18所示，该器械可以包括定位在其上的成像装置315(诸如摄像装置)。成像装置315可以捕获腔网络内部的图像。例如，在特定时刻，成像装置315可以捕获器械当前定位在其中的腔网络的特定气道的内部的图像。在块402处，方法400可以对图像进行分析以检测图像内的一个或更多个气道。例如，在图像内检测到的气道可以是满足气道检测条件(例如，具有比阈值大的像素强度)的像素集合。检测到的气道可以是其中由成像装置315捕获图像的当前气道和/或当前气道的一个或更多个子气道(例如，腔网络的后续分支)。块402可以涉及图像分析，该图像分析对图像进行处理以确定图像中示出的气道的数目和位置。在某些实现方式中，如果确定图像包含一个或更多个气道，则也可以确定气道的各种特征。这样的特征可以包括确定检测到的气道的形状或轮廓和/或确定检测到的气道的质心。

在块404处，方法400将一个或更多个检测到的气道映射至腔网络的特定气道。在块404处，方法400确定将腔网络的哪些气道分支为腔网络的哪些其他后续气道。例如，基于某些术前模型数据(例如，CT数据)，系统可以知道在给定图像中期望被捕获的气道(例如，基于成像装置315的当前位置)。在块402处检测图像中的一个或更多个气道时，方法400可以基于术前模型数据将检测到的气道映射至预期气道。

通过将摄像装置图像中检测到的气道映射至腔网络中对应的预期气道，方法400可以提供针对器械的位置的估计。例如，使用方法400，系统或器械可以识别器械“看到”的是哪些气道并且使用该信息在腔网络内对器械当前所位于的气道和器械即将进入的气道进行估计。

B.基于图像的气道分析

基于图像的气道分析可以包括对由定位在腔网络内的器械的成像装置315捕获的图像进行分析，以检测图像中的一个或更多个气道。图20提供了腔网络的分支的内部的示例图像500。在所示示例中，虽然图像500是肺的气道的内部图像，但是图像500可以表示任何类型的腔网络。图像500中示出了两个后续气道502。气道502连接至从其捕获图像的当前气道。

基于图像的气道分析可以包括如下一种方法，通过该方法计算机系统可以计算地识别气道502。在一些情况下，图像500包括两类像素：(1)表示腔网络(例如组织)的壁的像素，以及(2)表示气道(例如气道开口)的像素。根据某些实施方式，基于图像的气道分析可以系统地检测这两类像素以识别和检测图像中的气道。例如，可以通过基于像素强度将像素分类为这两类来检测气道502。基于像素强度的图像分析和检测方法在美国专利申请第15/783,903号中进行了更详细地描述，该美国专利申请的全部内容并入本文。

C.基于图像的气道映射

本文描述的基于图像的气道映射技术可以用于确定腔网络的哪些分支与检测到的分支或气道相关联。也就是说，基于图像的气道映射可以确定腔网络的哪些后续分支连接至从其捕获图像的当前分支。通过将检测到的气道映射至腔网络的分支，可以确定器械在腔网络中的位置。此外，还可以获得对器械将被移动至哪个分支的估计或预测。

在一些实施方式中，通过将检测到的气道的特征与腔网络的分支的特征进行比较，可以将检测到的气道映射至腔网络的分支。检测到的气道的特征可以通过如上所述的图像分析来确定。腔网络的分支的特征可以根据腔网络的模型诸如腔网络的术前模型来确定。此外，在某些实施方式中，将检测到的气道映射至腔网络的分支可以基于器械在腔网络内的当前位置估计。当前位置估计可以基于如上参照图15所述的各种感测模态来确定。基于当前位置估计将检测到的气道映射至腔网络的分支可以提高映射过程的效率、速度和/或准确性。例如，考虑到当前位置估计，可以将检测到的气道的特征与预期的后续分支的特征进行比较。这样可以使执行映射所需的计算负荷最小化并且提高映射速度。

图21示出了腔网络1000的简化表示。腔网络1000包括多个分支(例如，腔、段、气道等)1002、1004、1006、1008、1010、1012、1014、1016。腔网络1000还包括将各个分支彼此连接的双分叉1020、1022和三分叉1024。在图21的示例中，分支1004、1006是同一代，并且分支1008、1010、1012、1014、1016是同一代。在一些实施方式中，腔网络1000可以表示肺的支气管网络的一部分并且分支可以表示气道。尽管本公开内容的许多示例性实施方式参照支气管网络中的气道描述，但是这些实施方式不限于此，而是可以扩展到其他类型的腔网络中的其他类型的分支。

腔网络1000可以由模型表示。在一些实施方式中，模型是在术前确定的。例如，术前模型数据91(即，关于术前模型的信息)可以被存储并且对于导航和定位系统90(图15)来说是可用的。在其他实施方式中，模型的至少一部分是在术中确定的。如下面将作为示例描述的，基于图像的气道映射可以被配置成将检测到的分支映射至基于术前模型数据91生成的腔网络1000的分支。

D.基于图像的气道检测面临的潜在挑战

在一些情况下，由支气管镜摄像装置捕获的图像可能包含不同代的气道。在这种情况下，由本文描述的基于图像的气道检测方法检测到的气道数目可能是不正确的。例如，图22示出了在图21的腔网络1000的分支1002中捕获到的图像2200(a)(左)和图像2200(b)(右)。在图22的示例中，气道投影已经被添加至图像2200(a)、2200(b)，以指示期望从当前摄像装置位置看到的分支的数目和位置。

在图像2200(a)上执行的基于图像的气道检测方法产生了如图像2200(a)所示的四个检测到的气道。这样的结果可能导致系统确定将当前气道分支为四个检测到的分支。然而，如图21的分层结构所指示的，这样的确定是不正确的。术前模型数据(例如，图21所示的腔网络1000的分层结构)指示(正确地，并且以与术前模型数据一致的方式)从其捕获图像2200(a)的分支1002期望分支为两个分支(即，分支1004和1006)，而不是在图像2200(a)中检测到的四个分支。虽然图像2200(a)清楚地示出了四个气道，但是在图像2200(a)右下角处描绘的三个气道是从紧接着当前分支1002的分支1006(即，当前分支1002的“子”)中分支出来的当前分支1002的“孙子”(即，气道1012、1014、1016)。

因此，在一些实施方式中，通过利用指示给定图像中存在的气道的数目(即，计数和/或位置)的术前模型数据，本公开内容的气道分析和映射的系统和方法可以检测正确的气道数目，如图2200(b)所示。

E.气道分析

图23A示出了示例性气道分析和映射系统2300A。如所示出的，气道分析和映射系统2300A包括气道跟踪模块2300A-1、气道关联模块2300A-2和气道合并模块2300A-3。气道分析和映射系统2300A接收以下作为输入：(i)来自数据图像存储2310的图像数据(例如，使用成像装置捕获的图像)，(ii)来自术前模型数据存储2320的模型数据(例如，术前模型数据，诸如荧光透视数据、MRI数据、超声成像数据、x射线数据等)，(iii)来自传感器数据存储2330的传感器数据(例如，EM数据、视觉数据、机器人数据、形状感测纤维数据等)，并且将气道数据(例如，已识别或合并的气道的位置、大小和中心，已识别或合并的气道与术前模型数据之间的映射等)输出至气道数据存储2340。气道跟踪模块2300A-1在图像数据中的每个图像中识别(一个或更多个)气道。气道关联模块2300A-2将当前图像中的(一个或更多个)气道与先前图像中的(一个或更多个)气道关联。气道合并模块2300A-3例如使用传感器数据和术前模型数据基于两个或更多个气道之间的关系来确定是否应当合并两个或更多个气道。下面参照图23B、图24和图25更详细地描述根据各种实施方式的识别、关联和合并气道的过程。

图23B示出了其中执行根据示例实施方式的基于图像的气道分析的时间背景。为了简单起见，将一个或更多个步骤描述为由系统(例如，气道分析和映射系统2300A)执行。

如所示出的，由导航患者的腔网络的在医疗器械上的成像装置捕获一系列图像(即，图像t₀、t₁、……)，并且在不同时间捕获的图像(例如，t₀和t₁)经历气道跟踪、气道关联和气道合并。在高级别下，执行气道跟踪、气道关联和气道合并的过程对由成像装置捕获的图像流进行分析，以将当前检测到的气道的位置与所估计的先前图像中检测到的气道的位置进行比较，然后确定当前图像中检测到的气道与先前图像中检测到的气道之间的关系，以确定是否应当合并气道。可以由系统存储图像流或从图像流中得到的数据诸如气道位置信息以执行分析。现在将更详细地描述时间上的气道跟踪、气道关联和气道合并。

图24示出了根据示例实施方式的基于图像的气道分析的空间性质。如所示出的，先前图像中的气道和当前图像中的气道可以呈现出各种不同类型的空间关系(例如，一对一、一对多、多对一、零对一和一对零)。下面结合气道关联更详细地描述这些示例。

E.1.时间上的气道追踪

在高级别下，基于图像的时间上的跟踪涉及估计相对于先前图像中的气道状态的当前图像中气道的状态(例如，位置和大小)。如图23B所示，气道跟踪过程接收t₁处的当前图像和从先前图像(即t₀处的先前图像)得到的气道信息作为输入。基于该输入，系统可以确定先前气道相对于当前图像的预期位置，并且确定在当前图像中检测到的气道的当前位置。

在图25中示出识别气道的当前位置和过去气道的预期位置的过程。例如，在第一行中，在时间t₀处，识别气道A和气道B的位置，如实心框所示。在时间t₁处，时间上的气道跟踪接收检测到的A和B的位置作为输入，并且可以可选地基于例如使用光流技术(作为示例而非限制)的范围移动对针对这些气道的更新位置进行估计。光流技术的示例可以包括运动检测、对象分割计算、亮度、运动补偿编码、立体视差测量等。时间t₁处的先前气道的估计位置以虚线框示出。时间上的气道跟踪还对当前图像进行分析以检测在时间t₁处在当前图像中可检测到的气道位置。在时间t₁处的图像上检测到的气道的当前位置以实心框示出。下面结合气道关联更详细地描述图25。

因此，气道跟踪处理针对当前时间确定先前气道相对于当前图像的估计位置以及针对当前时间确定在图像数据中当前检测到的气道的位置。

E.2.基于时间和空间分析的气道关联

通常，由系统执行的气道关联可以创建在先前图像中检测到的气道与当前图像中检测到的气道之间的关系。气道关联基于如可以由气道跟踪确定的先前气道的位置和检测到的气道的位置来创建这些关系。关系可以表示先前气道现在被检测为两个单独的气道的情况。可能导致气道被描绘为两个不同气道的这种情况包括但不限于：检测通过另一气道(例如，派生式气道)可见的气道；以及检测以下转变：气道最初表现为单个气道，但是随后变得明显的是单个气道实际上是定位成彼此紧邻的多个气道。此外，在一些情况下，最初不是先前图像的一部分的气道可能变得可见，并且气道关联可以采取措施以避免将新气道与先前气道联系起来。

图24示出了可以由在先前图像和当前图像中的气道呈现的关系类型的示例。如图24所示，示例关系可以包括如下：2400(a)中示出的一对一(A→A)关联和一对多(B→C，D)关联；2400(b)中示出的一对一(E→E)关联和多对一(F，G→H)关联；2400(c)中示出的零对一(无→J)和一对一(I→I)关联；以及2400(d)中示出的一对零(L→无)和一对一(K→K)关联。实心矩形是囊括在当前图像(例如，图像t₁)中的检测到的气道的边界框，并且虚线矩形是囊括在先前图像(例如，图像t₀)中的检测到的气道的边界框。尽管在一些实施方式中使用矩形框和/或边界框，但是这样的实施方式不限于此，并且可以扩展到使用任何多边形或其他形状的实施方式。这些关联可以由系统存储为一系列记录，在记录中气道被赋予唯一标识符，并且可以包括链接对于被关联在一起的气道的唯一标识符的数据。

系统可以通过比较图24所示的矩形(或更广泛地，气道的位置和形状)之间的交叠来确定在先前图像中检测到的气道与在当前图像中检测到的气道之间的对应。在一些实施方式中，可以使用以下交叠比率值中的一个或更多个(或交叠比率值的任意组合)来确定给定气道是否对应于另一气道：

其中，∩和∪分别表示两个矩形b₁和b₂之间的交集运算符和并集运算符。矩形或其他边界形状的面积(例如，以像素为单位)(其可以通过对矩形内部的像素进行计数来计算)被表示为∧(·)。min(p,q)和max(p,q)分别返回p和q中的最小值和最大值。

在一些实施方式中，如果满足以下条件，则建立两个矩形(例如，一个对应于在先前图像中检测到的一个或更多个气道，另一个对应于在当前图像中检测到的一个或更多个气道)之间的关联：

0(b₁，b₂)＞τ (4)

其中τ是预定义的阈值，并且O(b₁，b₂)可以是三个交叠比率值(O₁、O₂和O₃)之一。这三个交叠比率值是示例，并且代替这些交叠比率值或者除了这些交叠比率值之外，可以使用其他交叠比率值。尽管在图24的示例中使用矩形，但是在一些实施方式中，可以使用任何几何形状(例如，多边形或其他形状)来确定气道之间的交叠。在这样的实施方式中，可以计算在一组与在当前图片中检测到的一个或更多个气道对应的一个或更多个几何形状和另一组与在先前图片中检测到的一个或更多个气道对应的一个或更多个几何形状之间的交叠。在一些实施方式中，用于确定交叠的几何形状完全囊括了检测到的气道。在其他示例中，几何形状没有完全囊括检测到的气道，并且与气道部分交叠。在已知要合并气道的身份(identity)的较早示例中，系统可以跳过图24所示的几何交叠分析的部分或全部。

尽管以上已经被描述为创建一级深度的关联(例如，两个或更多个气道之间的一个关联)，但是应当理解的是，其他实施方式可以创建深度大于一级深度的链。例如，在气道X与气道Y和Z相关联的情况下，后续的图像可以检测Y中满足交叠阈值的气道，被标记为Y'和Y”。在那些情况下，系统然后可以在Y和Y'、Y”之间创建诸如包括X→Y→Y'、Y"的关联链的关系。

E.3.调节交叠阈值

图25示出了其中由于交叠比阈值的不正确设置而可能确定不正确的关联的三个示例。例如，图像2500(a)中示出的关系应当是两个一对一关联(例如，A→A和B→B)。然而，图像2500(a)的第四列中示出的交叠可能导致当前图像的气道B与先前图像的气道A相关联(或气道A、B与先前图像的气道A、B相关联)。在这种情况下，可以调节交叠阈值，使得图像2500(a)的第四列中示出的交叠不满足交叠条件。类似地，图像2500(b)和图像2500(c)示出了其中可能确定了不正确的关联以及可以如何调节交叠阈值以防止这种关联(例如，调节成使得第四列中示出的交叠不满足交叠阈值)的其他示例。

在一些实施方式中，交叠比阈值可以是由系统的设计者配置的设计时间参数。然而，在其他实施方式中，系统可以跟踪并且记录手术数据以跟踪不同交叠阈值的失败率。这种系统可以利用这样的手术数据以在不同交叠阈值的使用上对系统进行训练，并且用可能引起更少的失败率的经更新的交叠阈值来更新系统。此外，多个系统可以共享手术数据以增加可用于这种训练和交叠阈值的选择的手术数据。

E.4.基于时间和空间分析的气道合并

在气道合并中，系统可以基于确定的(一个或更多个)气道关联和来自术前模型数据的数据来合并两个或更多个当前气道。为了确定是否合并当前图像中的两个或更多个气道，系统可以确定器械的当前位置，并且然后根据术前模型确定在该位置处预期的气道数目。应当理解的是，系统可以利用用于确定器械的位置的任意数目的方法。作为示例而非限制，这样的方法可以包括上述传感器融合系统，该传感器融合系统可以包括以下传感器类型中的一种或更多种：EM、视觉、机器人数据、形状感测光纤等。

术前模型数据可以以允许检索针对给定位置的预期气道的形式存储。这样的数据可以在术前生成，其中通过器械相对于术前模型的位置来索引预期气道。如此处所使用的，位置可以是具有或不具有取向的定位位置、具有或不具有在该段内的插入深度的段或位置的任意其他表示。

一旦系统确定要合并当前图像中的一组气道，系统就可以确定合并气道的新气道中心。然后，新的气道中心可以被用于上述基于图像的气道映射方法中。

在合并具有单个母气道的两个气道的示例中，两个气道的气道中心分别可以表示为{x₁，y₁}和{x₂，y₂}。根据一种方法，合并气道的气道中心可以被计算为在当前图像中检测到的气道的各自中心位置的中心(例如，表示当前图像中的气道的几何形状)。例如，这样的值可以被如下计算：

在另一示例中，合并气道的气道中心可以被计算为在当前图像中检测到的气道的各自中心位置的加权中心(例如，表示当前图像中的气道的几何形状)。例如，这样的值可以被如下计算：

其中，∧₁和∧₂分别是被合并的两个气道的面积(例如，以像素为单位)。

在又一示例中，合并气道的气道中心可以被计算为囊括在当前图像中检测到的气道的边界多边形的中心(例如，表示当前图像中的气道的几何形状)。例如，如果囊括了两个气道中的第一个气道的矩形的左上角和右下角的坐标被表示为{x₁ ^LT，y₁ ^LT}和{x₁ ^RB，y₁ ^RB}，并且囊括了两个气道中的第二个气道的矩形的左上角和右下角的坐标被表示为为{x₂ ^LT，y₂ ^LT}和{x₂ ^RB，y₂ ^RB}，则囊括矩形的角{x^LT，y^LT}和{x^RB，y^RB}可以如下得出：

使用这些值，合并气道的气道中心可以被计算为囊括矩形的中心，其获得如下：

例如，计算出的合并中心可以不同于当前图像中检测到的气道的任何其他中心位置。如图22的图像2200(b)所示，代替被合并至合并气道的气道的中心，合并气道的合并中心的图形表示可以输出在系统的显示器上。在一些情况下，合并中心可以与被合并的气道中心一起输出在显示器上。尽管上面描述了计算合并气道的气道中心的示例技术，但是可以使用计算表示合并气道的气道中心的其他技术。

F.示例性基于图像的气道分析和映射方法及系统

图26示出了如上所述的用于实现基于图像的气道分析和映射的示例方法2600。方法2600可以在贯穿本公开内容描述的各种机器人控制的系统中实现。方法2600可以用机器人系统来实现，该机器人系统包括具有被配置成插入腔网络中的细长主体的器械。成像装置可以定位在细长主体上(例如，在细长主体的远端)。器械可以附接至被配置成使器械移动通过腔网络的器械定位装置(例如，机器人臂)。采用方法2600的系统可以包括被配置有使处理器执行方法2600的指令的处理器。方法2600仅通过示例的方式提供，并且基于图像的气道分析和映射可以使用与图26示出的那些步骤不同的步骤来实现。为了简单起见，图26中示出的步骤被描述为由系统(例如，本文中描述的系统中的一个或者被配置成执行此处描述的一种或更多种技术的系统)执行。

在块2602处，用于映射腔网络中的一个或更多个气道的系统用定位在器械上的成像装置来捕获腔网络内的多个图像。多个图像可以包括至少两个图像，其中在图像中的一个图像(例如，先前图像或第一图像)的之后的时间处捕获另一图像(例如，当前图像或第二图像)。捕获第一图像时的时间可以被称为第一时间，并且捕获第二图像时的时间可以被称为第二时间。

在块2604处，系统在第一图像中识别一个或更多个气道。在一些实施方式中，系统在第一图像中识别单个气道。在其他实施方式中，系统在第一图像中识别多个气道。系统可利用本文描述的任何气道识别或检测技术(例如，像素强度分析)或其他技术。例如，所识别的气道可以包括一个或更多个多边形或者其他几何形状，其他几何形状的像素满足由气道检测方法指定的像素强度阈值。在一些实施方式中，确定诸如质心的点位置并且将点位置与检测到的气道相关联。

在块2606处，系统在第二图像中识别两个或更多个气道。在一些实施方式中，系统在第二图像中识别单个气道。在其他实施方式中，系统在第二图像中识别多个气道。系统可以以与块2604处使用的方式类似的方式来在第二图像中识别一个或更多个气道。

在块2608处，系统基于第一图像中的第一气道以及第二图像中的两个或更多个气道来确定满足交叠条件。满足交叠条件的确定可以包括，例如：确定表示在第一图像中的第一气道的第一组一个或更多个几何形状与表示在第二图像中的两个或更多个气道的第二组一个或更多个几何形状之间的空间交叠程度；以及确定空间交叠程度满足或超过定义的交叠阈值、参数或标记。应当理解的是，块2602至块2606可以包括关于气道跟踪和气道关联描述的一个或更多个特征。也就是说，系统可以跟踪当前图像中的气道的位置和大小以及先前在先前图像中检测到的气道的预期位置和大小。当满足交叠条件时，系统可以创建与先前图像中的气道和当前图像中的一个或更多个图像的关联。如上所述，其他关联可以是一对一或多对一。

在块2610处，系统访问术前模型数据，该术前模型数据指示与在第二时间期间器械的位置对应的气道的预期计数。例如，尽管在图26中未示出，但是系统可以访问针对定位在腔网络内的器械的位置状态估计。位置状态估计可以包括对器械当前被所定位在哪个分支(例如，在图21的腔网络1000的分层结构中)的识别。基于位置状态估计和术前模型数据(例如，CT图像)，系统可以确定与第二时间(即，捕获第二图像时的时间处)期间器械的位置对应的气道的预期计数。位置状态估计可以例如由图15的导航和定位系统90确定。位置状态估计可以基于各种位置感测模态和/或多个位置感测模态以及诸如术前模型数据91、视觉数据92、EM数据93(或其他位置感测数据)和/或机器人命令和运动学数据94的信息来确定。

在块2612处，系统基于术前模型数据和满足交叠条件的确定来确定第二图像中的两个或更多个气道与术前模型数据中的气道之间的映射。在该块处，系统可以使用气道合并(参见第E.4节)来确定第二图像中的气道与术前模型数据中的气道之间的映射。也就是说，根据一些实施方式，系统可以使用从块2602至块2606(气道跟踪和气道关联)中得到的数据和如可以由术前模型数据确定的腔网络内针对当前位置的气道的预期数目的计数来确定是否合并在第二图像中检测到的气道。然后，系统可以将合并气道或未合并气道映射至术前模型中的气道。将气道映射至术前模型数据在2017年10月13日提交的美国专利申请第15/783,903号中进行了进一步描述，该美国专利申请的全部内容通过引用并入本文并且作为附录A附于此。

如刚才所讨论的，作为块2612的一部分，系统可以基于术前模型通过访问表示与在第二时间期间器械的位置对应的气道的预期计数的术前模型数据来确定第二图像中的两个或更多个气道与术前模型数据中的气道之间的映射。现在将更详细地说明访问术前模型数据以确定预期的气道计数。尽管在图26中未示出，但是术前模型数据可以包括允许系统检索针对给定位置的预期的气道数目的数据结构。此外，系统可以访问针对定位在腔网络内的器械的位置状态估计。位置状态估计可以包括对器械当前定位在哪个分支(例如，在图21的腔网络1000的分层结构中)的识别。基于位置状态估计和术前模型数据(例如，在一个实施方式中，从CT图像中得到的数据)，系统可以通过访问前述数据结构来确定与第二时间(即，捕获第二图像时的时间处)期间器械位置对应的气道的预期计数。位置状态估计可以例如由图15的导航和定位系统90确定。位置状态估计可以基于各种位置感测模态和/或多个位置感测模态以及诸如术前模型数据91、视觉数据92、EM数据93(或其他位置感测数据)和/或机器人命令和运动学数据94的信息来确定。

作为另外的示例，术前模型数据可以指示期望系统检测腔网络1000的分支1004、1006。如果在块2606处系统已经检测到两个气道，则系统可以基于在第二图像中检测到的两个或更多个气道的计数等于由术前模型数据指示的气道的预期计数来确定不需要合并。在这种情况下，系统可以将两个检测到的气道分别映射至图21示出的分支1004、1006(例如，基于图像和/或两个气道的取向)。在图26的示例中，基于对在第二图像中识别出的两个或更多个气道的计数等于由术前模型数据指示的气道的预期计数的确定，在块2612处，系统可以确定映射使得在第二图像中识别出的两个或更多个气道中的每一个被映射至术前模型数据中的气道的不同气道。

在另一示例中，如图22所示，术前模型数据可以指示期望系统检测腔网络1000的分支1004、1006，但是在块2606处系统可能已经检测到四个气道(例如，分支1004、1012、1014、1016)。在这种情况下，系统可以将四个气道合并为两个气道(例如，通过将与分支1012、1014、1016对应的检测到的气道合并为单个气道)，并且将合并气道映射至分支1006以及将未合并气道映射至分支1004。在图26的示例中，基于对在第二图像中识别出的两个或更多个气道的计数与由术前模型数据指示的气道的预期计数不同的确定，在块2612处，系统可以确定映射使得在第二图像中识别出的两个或更多个气道中的至少两个气道被映射至术前模型数据中的单个气道。在一些实施方式中，映射包括将两个或更多个气道之间的关联存储在数据库中。例如，系统可以存储以下指示：在图像中识别出的给定气道分支为由术前模型数据指示的两个或更多个气道。

如上所讨论的，系统可以基于第二图像中的两个或更多个气道与术前模型数据中的气道之间的映射来确认器械当前所在的腔网络的段。在一些实施方式中，系统可以基于第二图像中的两个或更多个气道与术前模型数据中的气道之间的映射来调节基于其他数据的位置状态估计的置信度值。例如，该其他数据可以包括EM数据、机器人数据、光学形状传感器数据和惯性测量单元(IMU)数据、本文描述的任何其他输入数据(例如，图15的输入数据91至94)或其任意组合。另外地或替选地，系统可以基于第二图像中的两个或更多个气道与术前模型数据中的气道之间的映射来预测器械将要进入的腔网络的段。

在块2608的一个实施方式中，在确定当前图像中的气道的组合与先前图像中的气道的组合交叠了超过阈值量(或等于阈值量)时，系统可以将当前图像中的气道的组合合并为一个或更多个气道，使得合并后的当前图像中的气道的数目与先前图像中的气道的组合中的气道数目匹配。例如，系统可以将交叠比率值(例如，上述等式(1)至等式(3)中的交叠比率值中的任何一个)与阈值交叠值进行比较，以确定气道的两个组合之间是否存在关联。

如上所讨论的，系统还可以确定合并气道的合并中心。例如，系统可以计算当前图像中的气道的组合的合并中心位置(例如，表示当前图像中的气道的组合的几何形状集合)，其中，合并的中心位置与在当前图像中检测到的气道的各自中心位置(例如，集合中表示当前图像中的气道的组合的几何形状)中的任何一个不同。

在系统确定气道的组合的多个配对满足交叠条件(例如，A→B具有60％交叠和A→C具有25％交叠)的情况下，系统可以确定要关联的气道的组合中的具有较大交叠的配对(例如，A→B)。在一些实施方式中，对是否满足交叠条件的确定不是一个程度的确定(例如，交叠比率大于或等于阈值交叠比率)，而是二元确定(例如，囊括当前图像中的气道的组合的矩形的三个或更多段的中点在囊括母图像中的气道的组合的矩形内)。

在一些实施方式中，对是否满足交叠条件的确定可以包括如下：确定囊括先前图像中的气道的组合(例如，表示先前图像中的气道的组合的几何形状集合)的边界多边形(例如矩形或其他形状)；确定囊括当前图像中的气道的组合(例如，表示当前图像中的气道的组合的几何形状集合)的边界多边形；以及基于两个边界多边形之间的交叠确定空间交叠程度。

本文描述的基于图像的气道分析和映射技术补偿了视觉分支预测(VBP)方法或其他基于图像的分支预测方法。由于给定图像(例如，如图22的图像2200(a)所示)中来自不同代的气道的可视性，VBP在一些情况下可能无法执行正确的气道映射。本文描述的基于图像的气道分析和映射技术可以确定或确认腔网络中气道的分层结构，并且确定对应于同一代的气道中心。这有助于建立正确的气道映射，如图22的图像2200(b)所示。

G.递归距离搜索

在一些实施方式中，在确定当前图像中的两个或更多个气道要被合并时，系统可以使用递归距离搜索来合并气道。在这样做时，系统可以假设与来自其他代的气道相比，一个气道更接近来自该气道的同一代的气道。例如，该假设对于图21和图22的示例成立，其中与第二代中的气道(例如，图22左上角所示的分支1004)相比，第三代中的气道(例如，图22右下角所示的分支1012、1014、1016)全部更接近彼此。

在递归距离搜索中，可能涉及集合其表示在当前图像中检测到的n个气道中心的集合。每个气道中心可以表示为p_i＝{x_i，y_i}。然后，系统可以计算以下值：

其中||·||表示L2范数运算符。上面的等式在集合P中的气道中心中找到彼此距离最近的一对中心，并且系统可以假设这两个气道来自同一代。然后，系统例如，基于等式(5)至等式(11)合并两个气道(例如，获得合并气道的气道中心)。然后，系统从P中移除p_i和p_j并且将p_k添加至P中，并且重复该过程(例如，计算、合并、移除和添加)，直到P中仅保留一个气道(或期望的气道数目)。

IV.实现系统和术语

本文公开的实现方式提供用于针对导航机器人控制的医疗器械的基于图像的气道分析和映射的系统、方法和设备。本文描述的各种实现方式提供了对腔网络的改进的导航。

应当注意的是，如本文使用的术语“耦合”、“耦接”、“连接”或者词耦接的其他变型可以指示间接连接或直接连接。例如，如果将第一部件“耦接”至第二部件，则第一部件可以经由另一部件间接连接至第二部件或者直接连接至第二部件。

本文描述的位置估计和机器人运动致动功能可以作为一个或更多个指令存储在处理器可读介质或计算机可读介质上。术语“计算机可读介质”是指可以由计算机或处理器访问的任何可用介质。作为示例而非限制，这种介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存存储器、光盘只读存储器(CD-ROM)或其他光盘存储装置、磁盘存储装置或其他磁性存储装置、或者可以用于以指令或数据结构的形式存储期望的程序代码并且可以由计算机访问的任何其他介质。应当注意的是，计算机可读介质可以是有形且非暂态的。如本文所使用的，术语“代码”可以指能够由计算装置或者处理器执行的软件、指令、代码或数据。

本文中公开的方法包括用于实现所描述的方法的一个或更多个步骤或动作。在不脱离权利要求的范围的情况下，方法步骤和/或动作可以彼此互换。换句话说，除非正在描述的方法的正确操作需要步骤或动作的特定顺序，否则可以在不脱离权利要求的范围的情况下修改特定步骤和/或动作的顺序和/或使用。

如本文所使用的，术语“多个”表示两个或更多个。例如，多个部件表示两个或更多个部件。术语“确定”包含各种各样的动作，并且因此，“确定”可以包括计算、电脑运算、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)、查明等。“确定”还可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。此外，“确定”可以包括解析、选择、挑选、建立等。

除非另有明确说明，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述了“仅基于”和“至少基于”两者。

提供了所公开的实现方式的先前描述，以使得本领域技术人员能够实现或者使用本发明。对于本领域技术人员来说，对这些实现方式的各种修改将是明显的，并且在不脱离本发明的范围的情况下，本文中限定的一般原理可以应用于其他实现方式。例如，应当理解的是，本领域普通技术人员将能够采用多个对应的替选和等同的结构细节，诸如紧固、安装、耦接或者接合工具部件的等同方式、用于产生特定致动运动的等同机制，以及用于递送电能的等同机制。因此，本发明不意在限于本文所示的实现方式，而是与符合本文公开的原理和新颖特征的最宽范围一致。

Claims (42)

1.一种将器械导航通过腔网络的方法，所述方法包括：

利用定位在所述器械上的成像装置捕获所述腔网络内的多个图像，所述多个图像至少包括在第一时间处捕获的第一图像以及在所述第一时间之后的第二时间处捕获的第二图像；

在所述第一图像中识别第一气道；

在所述第二图像中识别两个或更多个气道；

基于所述第一图像中的所述第一气道以及所述第二图像中的所述两个或更多个气道来确定满足交叠条件；

访问术前模型数据，所述术前模型数据指示与在所述第二时间期间所述器械的位置对应的气道的预期计数；以及

基于所述术前模型数据和满足所述交叠条件的确定，来确定所述第二图像中的所述两个或更多个气道与所述术前模型数据中的所述气道之间的映射。

2.根据权利要求1所述的方法，其中，确定所述映射包括：

确定在所述第二图像中识别出的所述两个或更多个气道的计数与由所述术前模型数据指示的所述气道的所述预期计数不同；以及

基于满足所述交叠条件的确定来确定所述两个或更多个气道从所述第一气道分支。

3.根据权利要求1所述的方法，其中，还基于表示所述第一图像中的所述第一气道的第一组一个或更多个几何形状与表示所述第二图像中的所述两个或更多个气道的第二组一个或更多个几何形状之间的空间交叠程度，来确定满足所述交叠条件。

4.根据权利要求3所述的方法，还包括：

确定第一边界多边形，所述第一边界多边形囊括表示所述第一图像中的所述第一气道的第一组几何形状；以及

确定第二边界多边形，所述第二边界多边形囊括表示所述第二图像中的所述两个或更多个气道的第二组几何形状，

其中，基于所述第一边界多边形与所述第二边界多边形之间的交叠来确定所述空间交叠程度。

5.根据权利要求3所述的方法，其中，还基于所述第一组一个或更多个几何形状与所述第二组一个或更多个几何形状之间的所述空间交叠程度大于阈值交叠量的确定，来确定满足所述交叠条件。

6.根据权利要求3所述的方法，其中，

确定所述映射包括计算第二组几何形状的合并中心位置，所述第二组几何形状表示在所述第二图像中识别出的所述两个或更多个气道，并且

所述合并中心位置不同于所述第二组中的所述几何形状的相应中心位置中的任意一个。

7.根据权利要求6所述的方法，其中，所述合并中心位置是以下之一：(i)所述第二组中的所述几何形状的相应中心位置的中心；(ii)所述第二组中的所述几何形状的相应中心位置的加权中心；或者(iii)囊括所述第二组中的所述几何形状的边界多边形的中心。

8.根据权利要求6所述的方法，其中，还包括使图形表示呈现在所述第二图像上方在合并气道的中心位置处。

9.根据权利要求1所述的方法，还包括基于所述第二图像中的所述两个或更多个气道与所述术前模型数据中的所述气道之间的所述映射来预测所述器械将要进入的所述腔网络的段。

10.根据权利要求1所述的方法，还包括基于所述第二图像中的所述两个或更多个气道与所述术前模型数据中的所述气道之间的所述映射来确认所述器械当前所位于的所述腔网络的段。

11.根据权利要求1所述的方法，还包括基于所述第二图像中的所述两个或更多个气道与所述术前模型数据中的所述气道之间的所述映射，来调节位置状态估计的置信度值，所述位置状态估计基于选自包括如下的组中的数据：电磁(EM)数据、机器人数据、光学形状传感器数据和惯性测量单位(IMU)数据。

12.根据权利要求1所述的方法，其中，所述第一组中的所述一个或更多个几何形状包括与所述第一图像中的所述第一气道至少部分地交叠的一个或更多个多边形，并且所述第二组中的所述一个或更多个几何形状包括与所述第二图像中的所述两个或更多个气道至少部分地交叠的一个或更多个多边形。

13.根据权利要求1所述的方法，其中，确定所述映射包括：

确定在所述第二图像中识别出的所述两个或更多个气道的计数等于由所述术前模型数据指示的气道的预期计数；以及

响应于确定在所述第二图像中识别出的所述两个或更多个气道的所述计数等于由所述术前模型数据指示的所述气道的所述预期计数，来确定所述映射，使得将在所述第二图像中识别出的所述两个或更多个气道中的每个气道映射至所述术前模型数据中的所述气道中的不同气道。

14.根据权利要求1所述的方法，其中，确定所述映射包括：

确定在所述第二图像中识别出的所述两个或更多个气道的计数与由所述术前模型数据指示的气道的预期计数不同；以及

响应于确定在所述第二图像中识别出的所述两个或更多个气道的所述计数与由所述术前模型数据指示的所述气道的所述预期计数不同，来确定所述映射，使得将在所述第二图像中识别出的所述两个或更多个气道中的至少两个气道映射至所述术前模型数据中的单个气道。

15.一种非暂态计算机可读存储介质，在所述非暂态计算机可读存储介质上存储有指令，所述指令当被执行时使装置的处理器至少进行下述操作：

利用定位在器械上的成像装置捕获腔网络内的多个图像，所述多个图像至少包括在第一时间处捕获的第一图像以及在所述第一时间之后的第二时间处捕获的第二图像；

在所述第一图像中识别第一气道；

在所述第二图像中识别两个或更多个气道；

基于所述第一图像中的所述第一气道以及所述第二图像中的所述两个或更多个气道来确定满足交叠条件；

访问术前模型数据，所述术前模型数据指示与在所述第二时间期间所述器械的位置对应的气道的预期计数；以及

基于所述术前模型数据和满足所述交叠条件的确定，来确定所述第二图像中的所述两个或更多个气道与所述术前模型数据中的所述气道之间的映射。

16.根据权利要求15所述的非暂态计算机可读存储介质，其中，确定所述映射包括：

确定在所述第二图像中识别出的所述两个或更多个气道的计数与由所述术前模型数据指示的所述气道的所述预期计数不同；以及

基于满足所述交叠条件的确定来确定所述两个或更多个气道从所述第一气道分支。

17.根据权利要求15所述的非暂态计算机可读存储介质，其中，还基于表示所述第一图像中的所述第一气道的第一组一个或更多个几何形状与表示所述第二图像中的所述两个或更多个气道的第二组一个或更多个几何形状之间的空间交叠程度，来确定满足所述交叠条件。

18.根据权利要求17所述的非暂态计算机可读存储介质，其中，所述指令当被执行时还使所述处理器：

确定第一边界多边形，所述第一边界多边形囊括表示所述第一图像中的所述第一气道的第一组几何形状；以及

确定第二边界多边形，所述第二边界多边形囊括表示所述第二图像中的所述两个或更多个气道的第二组几何形状，

其中，基于所述第一边界多边形与所述第二边界多边形之间的交叠来确定所述空间交叠程度。

19.根据权利要求17所述的非暂态计算机可读存储介质，其中，还基于所述第一组一个或更多个几何形状与所述第二组一个或更多个几何形状之间的所述空间交叠程度大于阈值交叠量的确定，来确定满足所述交叠条件。

20.根据权利要求17所述的非暂态计算机可读存储介质，其中，

确定所述映射包括计算第二组几何形状的合并中心位置，所述第二组几何形状表示在所述第二图像中识别出的所述两个或更多个气道，并且

所述合并中心位置不同于所述第二组中的所述几何形状的相应中心位置中的任意一个。

21.根据权利要求20所述的非暂态计算机可读存储介质，其中，所述合并中心位置是以下之一：(i)所述第二组中的所述几何形状的相应中心位置的中心；(ii)所述第二组中的所述几何形状的相应中心位置的加权中心；或者(iii)囊括所述第二组中的所述几何形状的边界多边形的中心。

22.根据权利要求20所述的非暂态计算机可读存储介质，其中，所述指令当被执行时还使所述处理器：使图形表示呈现在所述第二图像上方在所述合并气道的中心位置处。

23.根据权利要求15所述的非暂态计算机可读存储介质，其中，所述指令当被执行时还使所述处理器：基于所述第二图像中的所述两个或更多个气道与所述术前模型数据中的所述气道之间的所述映射来预测所述器械将要进入的所述腔网络的段。

24.根据权利要求15所述的非暂态计算机可读存储介质，其中，所述指令当被执行时还使所述处理器：基于所述第二图像中的所述两个或更多个气道与所述术前模型数据中的所述气道之间的所述映射来确认所述器械当前所位于的所述腔网络的段。

25.根据权利要求15所述的非暂态计算机可读存储介质，其中，所述指令当被执行时还使所述处理器：基于所述第二图像中的所述两个或更多个气道与所述术前模型数据中的所述气道之间的所述映射，来调节位置状态估计的置信度值，所述位置状态估计基于选自包括如下的组中的数据：电磁(EM)数据、机器人数据、光学形状传感器数据和惯性测量单位(IMU)数据。

26.根据权利要求15所述的非暂态计算机可读存储介质，其中，所述第一组中的所述一个或更多个几何形状包括与所述第一图像中的所述第一气道至少部分地交叠的一个或更多个多边形，并且所述第二组中的所述一个或更多个几何形状包括与所述第二图像中的所述两个或更多个气道至少部分地交叠的一个或更多个多边形。

27.根据权利要求15所述的非暂态计算机可读存储介质，其中，确定所述映射包括：

确定在所述第二图像中识别出的所述两个或更多个气道的计数等于由所述术前模型数据指示的气道的预期计数；以及

响应于确定在所述第二图像中识别出的所述两个或更多个气道的所述计数等于由所述术前模型数据指示的所述气道的所述预期计数，来确定所述映射，使得将在所述第二图像中识别出的所述两个或更多个气道中的每个气道映射至所述术前模型数据中的所述气道中的不同气道。

28.根据权利要求15所述的非暂态计算机可读存储介质，其中，确定所述映射包括：

确定在所述第二图像中识别出的所述两个或更多个气道的计数与由所述术前模型数据指示的气道的预期计数不同；以及

响应于确定在所述第二图像中识别出的所述两个或更多个气道的所述计数与由所述术前模型数据指示的所述气道的所述预期计数不同，来确定所述映射，使得将在所述第二图像中识别出的所述两个或更多个气道中的至少两个气道映射至所述术前模型数据中的单个气道。

29.一种用于映射腔网络中的一个或更多个气道的机器人手术系统，所述系统包括：

器械，所述器械具有：

细长主体，被配置成被插入所述腔网络中，以及

成像装置，被定位在所述细长主体的远端部分上；附接至所述器械的器械定位装置，所述器械定位装置被配置成使所述器械移动通过所述腔网络；至少一个计算机可读存储器，在所述计算机可读存储器上存储有可执行指令；以及

一个或多个处理器，所述一个或多个处理器与所述至少一个计算机可读存储器通信并且被配置成执行所述指令以使所述系统至少进行下述操作：

利用定位在所述器械上的所述成像装置捕获所述腔网络内的多个图像，所述多个图像至少包括在第一时间处捕获的第一图像以及在所述第一时间之后的第二时间处捕获的第二图像；

在所述第一图像中识别第一气道；

在所述第二图像中识别两个或更多个气道；

基于所述第一图像中的所述第一气道以及所述第二图像中的所述两个或更多个气道来确定满足交叠条件；

访问术前模型数据，所述术前模型数据指示与在所述第二时间期间所述器械的位置对应的气道的预期计数；以及

基于所述术前模型数据和满足所述交叠条件的确定，来确定所述第二图像中的所述两个或更多个气道与所述术前模型数据中的所述气道之间的映射。

30.根据权利要求29所述的机器人手术系统，其中，确定所述映射包括：

确定在所述第二图像中识别出的所述两个或更多个气道的计数与由所述术前模型数据指示的所述气道的所述预期计数不同；以及

基于满足所述交叠条件的确定来确定所述两个或更多个气道从所述第一气道分支。

31.根据权利要求29所述的机器人手术系统，其中，还基于表示所述第一图像中的所述第一气道的第一组一个或更多个几何形状与表示所述第二图像中的所述两个或更多个气道的第二组一个或更多个几何形状之间的空间交叠程度，来确定满足所述交叠条件。

32.根据权利要求31所述的机器人手术系统，其中，所述一个或更多个处理器还被配置成：

确定第一边界多边形，所述第一边界多边形囊括表示所述第一图像中的所述第一气道的第一组几何形状；以及

确定第二边界多边形，所述第二边界多边形囊括表示所述第二图像中的所述两个或更多个气道的第二组几何形状，

其中，基于所述第一边界多边形与所述第二边界多边形之间的交叠来确定所述空间交叠程度。

33.根据权利要求31所述的机器人手术系统，其中，还基于所述第一组一个或更多个几何形状与所述第二组一个或更多个几何形状之间的所述空间交叠程度大于阈值交叠量的确定，来确定满足所述交叠条件。

34.根据权利要求31所述的机器人手术系统，其中，

确定所述映射包括计算第二组几何形状的合并中心位置，所述第二组几何形状表示在所述第二图像中识别出的所述两个或更多个气道，并且

所述合并中心位置不同于所述第二组中的所述几何形状的相应中心位置中的任意一个。

35.根据权利要求34所述的机器人手术系统，其中，所述合并中心位置是以下之一：(i)所述第二组中的所述几何形状的相应中心位置的中心；(ii)所述第二组中的所述几何形状的相应中心位置的加权中心；或者(iii)囊括所述第二组中的所述几何形状的边界多边形的中心。

36.根据权利要求34所述的机器人手术系统，其中，所述一个或更多个处理器还被配置成：使图形表示呈现在所述第二图像上方在所述合并气道的中心位置处。

37.根据权利要求29所述的机器人手术系统，其中，所述一个或更多个处理器还被配置成：基于所述第二图像中的所述两个或更多个气道与所述术前模型数据中的所述气道之间的所述映射来预测所述器械将要进入的所述腔网络的段。

38.根据权利要求29所述的机器人手术系统，其中，所述一个或更多个处理器还被配置成：基于所述第二图像中的所述两个或更多个气道与所述术前模型数据中的所述气道之间的所述映射来确认所述器械当前所位于的所述腔网络的段。

39.根据权利要求29所述的机器人手术系统，其中，所述一个或更多个处理器还被配置成：基于所述第二图像中的所述两个或更多个气道与所述术前模型数据中的所述气道之间的所述映射，来调节位置状态估计的置信度值，所述位置状态估计基于选自包括以下的组中的数据：电磁(EM)数据、机器人数据、光学形状传感器数据和惯性测量单位(IMU)数据。

40.根据权利要求29所述的机器人手术系统，其中，所述第一组中的一个或更多个几何形状包括与所述第一图像中的所述第一气道至少部分地交叠的一个或更多个多边形，并且所述第二组中的一个或更多个几何形状包括与所述第二图像中的所述两个或更多个气道至少部分地交叠的一个或更多个多边形。

41.根据权利要求29所述的机器人手术系统，其中，确定所述映射包括：

确定在所述第二图像中识别出的所述两个或更多个气道的计数等于由所述术前模型数据指示的气道的预期计数；以及

响应于确定在所述第二图像中识别出的两个或更多个气道的所述计数等于由所述术前模型数据指示的所述气道的所述预期计数，来确定所述映射，使得将在所述第二图像中识别出的所述两个或更多个气道中的每个气道映射至所述术前模型数据中的所述气道中的不同气道。

42.根据权利要求29所述的机器人手术系统，其中，确定所述映射包括：

确定在所述第二图像中识别出的所述两个或更多个气道的计数与由所述术前模型数据指示的气道的预期计数不同；以及

响应于确定在所述第二图像中识别出的所述两个或更多个气道的所述计数与由所述术前模型数据指示的所述气道的所述预期计数不同，来确定所述映射，使得将在所述第二图像中识别出的所述两个或更多个气道中的至少两个气道映射至所述术前模型数据中的单个气道。

Images