CN110831481A - 管状网络的基于路径的导航 - Google Patents

Abstract

提供了用于管状网络的基于路径的导航的系统和方法。在一个方面，该方法包括：从一组位置传感器和一组机器人命令输入中的至少一个接收位置数据，位置数据指示被配置成驱动通过腔网络的器械的位置。该方法还包括：基于位置数据来确定器械在第一时间的位置的第一估计，基于路径来确定器械在第一时间的位置的第二估计，以及基于第一估计和第二估计来确定器械在第一时间的位置。

Description

管状网络的基于路径的导航

相关申请的交叉引用

本申请要求于2018年5月31日提交的美国临时申请第62/678,970号的权益，该临时申请的全部内容通过引用并入本文中。

技术领域

本文中公开的系统和方法涉及手术机器人，并且更具体地涉及至少部分地基于路径的医疗器械在患者身体的管状网络内的导航。

背景技术

支气管镜检查是允许医师检查患者肺气道例如支气管和细支气管的内部状况的医疗过程。肺气道将空气从气管(trachea)或嗓门(windpipe)带到肺部。在该医疗过程期间，已知为支气管镜的细柔性管状工具可以被插入到患者口中并向下穿过患者喉咙进入到他/她的肺气道，并且患者通常被麻醉以放松他们的喉咙和肺腔来在该医疗过程期间进行手术检查和操作。

在相关技术中，支气管镜可以包括使得医师能够检查患者的嗓门和气道的光源和小型摄像装置，并且出于手术目的，例如，当患者肺部中存在大量出血时或者当大型物体阻塞患者喉咙时，可以结合支气管镜使用硬管。当使用硬管时，患者通常被麻醉。伴随着其他先进医疗设备的兴起，机器人支气管镜的使用日益成为现实。机器人支气管镜在穿过管状网络的导航方面提供了巨大优势。它们易于使用，并且即使在支气管镜检查阶段也使得能够方便地实施治疗和活检。

除了机械设备或平台例如上述机器人支气管镜以外，还可以使用各种方法和软件模型来帮助手术操作。作为示例，通常在手术检查的术前期间进行患者肺部的计算机层析成像(CT)扫描。来自CT扫描的数据可以用于生成患者肺部的气道的三维(3D)模型，并且所生成的3D模型使得医师能够获取在手术检查的操作过程期间可能有用的视觉参考。

然而，即使当利用医疗设备(例如，机器人支气管镜)时以及当使用现有方法(例如，执行CT扫描并生成3D模型)时，用于管状网络的导航的先前技术仍然具有挑战性。作为一个示例，基于设备的位置和取向变化，医疗设备(例如，支气管镜工具)在患者身体内部的运动估计可能不准确，并且因此设备的位置不能实时准确地或正确地被定位在患者身体内部。这种器械的不准确的位置信息可能会给在医疗手术过程期间使用3D模型作为视觉参考的医师提供误导性信息。

因此，需要用于导航穿过管状结构的网络的改进技术。

发明内容

本公开内容的系统、方法和设备均具有若干创新方面，其中没有一个方面单独地负责本文中公开的期望属性。

在一个方面，提供了一种医疗机器人系统，包括：一组处理器，所述一组处理器包括一个或更多个处理器；以及至少一个计算机可读存储器，其与一组处理器通信，并且所述至少一个计算机可读存储器上存储有患者的腔网络的模型、目标相对于模型的位置以及从进入点到目标沿着模型的的至少一部分的路径，存储器上还存储有用于使一组处理器执行以下操作的计算机可执行指令：从一组位置传感器和一组机器人命令输入中的至少一个接收位置数据，位置数据指示被配置成驱动通过腔网络的器械的位置，基于位置数据来确定器械在第一时间的位置的第一估计，基于路径来确定器械在第一时间的位置的第二估计，以及基于第一估计和第二估计来确定器械在第一时间的位置。

在另一方面，提供了一种非暂态计算机可读存储介质，其上存储有指令，所述指令在被执行时使至少一个计算设备执行以下操作：从一组位置传感器和一组机器人命令输入中的至少一个接收位置数据，位置数据指示被配置成驱动通过患者的腔网络的器械的位置；基于位置数据来确定器械在第一时间的位置的第一估计；基于存储在至少一个计算机可读存储器上的路径来确定器械在第一时间的位置的第二估计，非暂态计算机可读存储介质上还存储有腔网络的模型、目标相对于模型的位置以及路径，该路径被限定为从进入点到目标沿着模型的至少一部分；以及基于第一估计和第二估计来确定器械在第一时间的位置。

在又一方面，提供了一种估计器械的位置的方法，包括：从一组位置传感器和一组机器人命令输入中的至少一个接收位置数据，位置数据指示被配置成驱动通过患者的腔网络的器械的位置；基于位置数据来确定器械在第一时间的位置的第一估计；基于存储在至少一个计算机可读存储器上的路径来确定器械在第一时间的位置的第二估计，至少一个计算机可读存储器上存储有腔网络的模型、目标相对于模型的位置以及路径，该路径被限定为从进入点到目标沿着模型的至少一部分；以及基于第一估计和第二估计来确定器械在第一时间的位置。

在又一方面，提供了一种医疗机器人系统，包括：一组处理器，所述一组处理器包括一个或更多个处理器；以及至少一个计算机可读存储器，其与一组处理器通信，并且所述至少一个计算机可读存储器上存储有患者的腔网络的映射部分的模型、目标相对于模型的位置以及从进入点到目标沿着模型的至少一部分的路径，存储器上还存储有用于使一组处理器执行以下操作的计算机可执行指令：确定路径在到达目标之前离开腔网络的映射部分，经由至少第一模态来显示器械的当前位置，第一模态基于从一组位置传感器接收到的位置数据和模型的映射部分推导出位置，器械被配置成驱动通过腔网络，所述一组位置传感器包括一个或更多个位置传感器，基于当前位置来确定器械的远端在路径离开腔网络的映射部分所在的点的阈值范围内，以及响应于确定器械的远端在点的阈值范围内，基于赋予第一模态的权重的减小来更新器械的当前位置。

在又一方面，提供了一种非暂态计算机可读存储介质，其上存储有指令，所述指令在被执行时使至少一个计算设备执行以下操作：确定路径在到达目标之前离开患者的腔网络的映射部分，至少一个计算机可读存储器上存储有腔网络的映射部分的模型、目标相对于模型的位置以及从进入点到目标沿着模型的至少一部分的路径；经由至少第一模态来显示器械的当前位置，第一模态基于从一组位置传感器接收到的位置数据和模型的映射部分推导出位置，器械被配置成驱动通过腔网络，所述一组位置传感器包括一个或更多个位置传感器；基于当前位置来确定器械的远端在路径离开腔网络的映射部分所在的点的阈值范围内；以及响应于确定器械的远端在该点的阈值范围内，基于赋予第一模态的权重的减小来更新器械的当前位置。

在另一方面，提供了一种确定器械的位置的方法，包括：确定路径在到达目标之前离开患者的腔网络的映射部分，至少一个计算机可读存储器上存储有腔网络的映射部分的模型、目标相对于模型的位置以及从进入点到目标沿着模型的至少一部分的路径；经由至少第一模态来显示器械的当前位置，第一模态基于从一组位置传感器接收到的位置数据和模型的映射部分推导出位置，器械被配置成驱动通过腔网络，所述一组位置传感器包括一个或更多个位置传感器；基于当前位置来确定器械的远端在路径离开腔网络的映射部分所在的点的阈值范围内；以及响应于确定器械的远端在该点的阈值范围内，基于赋予第一模态的权重的减小来更新器械的当前位置。

附图说明

在下文中将结合附图来描述所公开的方面，提供这些附图是为了说明而不是限制所公开的方面，其中，相似的附图标记表示相似的元件。

图1A示出了根据一个实施方式的示例手术机器人系统。

图1B至图1F示出了根据一个实施方式的耦接至图1A所示的手术机器人系统的机器人平台的各种透视图。

图2示出了根据一个实施方式的用于示例手术机器人系统的示例命令控制台。

图3A示出了根据一个实施方式的图1A所示的器械设备操纵器(IDM)的示例独立驱动机构的等轴视图。

图3B示出了示出根据一个实施方式的由图3A所示的独立驱动机构的应变计如何测量力的概念图。

图4A示出了根据一个实施方式的示例内窥镜的俯视图。

图4B示出了根据一个实施方式的图4A所示的内窥镜的示例内窥镜端部。

图5示出了根据一个实施方式的手术机器人系统中包括的EM跟踪系统的示例示意性设置。

图6A至图6B示出了根据一个实施方式的示例剖析腔和该剖析腔的示例3D模型。

图7示出了根据一个实施方式的表示剖析空间的计算机生成的3D模型。

图8A至图8D示出了示出根据一个实施方式的穿过管状网络的路径的EM系统到3D模型的动态(on-the-fly)配准的示例图。

图8E至图8F示出了根据一个实施方式的分支管状网络的EM系统到3D模型的示例配准的效果。

图9A示出了根据一个实施方式的导航配置系统的示例框图的高级概述。

图9B示出了根据一个实施方式的包括在状态估计器中的估计状态数据存储装置的示例框图。

图10示出了根据本公开内容的各方面的基于路径的算法模块的示例框图。

图11是示出根据本公开内容的各方面的可由机器人系统或其部件操作的用于管状网络的基于路径的导航的示例方法的流程图。

图12是用于描述与基于路径的位置估计有关的本公开内容的各方面的腔网络的一部分的简化示例模型。

图13是根据本公开内容的各方面的覆盖在腔网络上的模型的示例视图。

图14是示出根据本公开内容的各方面的可由机器人系统或其部件操作的用于管状网络的基于路径的导航的另一示例方法的流程图。

图15示出了根据本公开内容的各方面的图13的包括映射部分和未映射部分的腔网络的一部分。

图16是根据本公开内容的各方面的包括器械的远端的跟踪位置的3D模型的视图。

图17示出了根据各种实施方式的用于手术器械(例如，器械端部)的准备以导航穿过示例管状网络的示例术前方法。

现在将详细参照若干实施方式，在附图中示出了这些实施方式的示例。应当注意，在可行的情况下，类似或相似的附图标记可以在附图中使用，并且可以指示类似或相似的功能。仅出于说明目的，附图描绘了所描述的系统(或方法)的实施方式。本领域的技术人员根据以下描述将容易地认识到，在不偏离本文中描述的原理的情况下，可以采用在本文中所示的结构和方法的替选实施方式。

具体实施方式

I.手术机器人系统

图1A示出了根据一个实施方式的示例手术机器人系统100。手术机器人系统100包括耦接至一个或更多个机器人臂例如机器人臂102的基座101。基座101通信地耦接至命令控制台，该命令控制台在部分II.命令控制台中参照图2进一步被描述。基座101可以被定位成使得机器人臂102可以接近以对患者执行手术过程，同时用户例如医师可以从命令控制台舒适地控制手术机器人系统100。在一些实施方式中，基座101可以耦接至用于支撑患者的手术操作台或床。虽然为了清楚起见在图1中未示出，但是基座101可以包括诸如控制电子装置、气动装置、电源、光源等的子系统。机器人臂102包括在关节111处耦接的多个臂段110，这为机器人臂102提供了多个自由度，例如，对应于七个臂段，提供了七个自由度。基座101可以包含电源112、气动压力装置113以及控制和传感器电子装置114——包括诸如中央处理单元、数据总线、控制电路系统和存储器的部件——以及相关致动器例如马达以移动机器人臂102。基座101中的电子装置114还可以处理和发送从命令控制台传送的控制信号。

在一些实施方式中，基座101包括轮子115以运输手术机器人系统100。手术机器人系统100的移动性有助于适应手术操作室中的空间限制以及便于手术设备的适当定位和移动。此外，移动性使得机器人臂102能够被配置成使得机器人臂102不会干扰患者、医师、麻醉师或任何其他设备。在过程期间，用户可以使用控制设备例如命令控制台来控制机器人臂102。

在一些实施方式中，机器人臂102包括设置关节，该设置关节使用制动器和平衡件(counter-balance)的组合以维持机器人臂102的位置。平衡件可以包括气弹簧或者螺旋弹簧。制动器例如故障安全制动器可以包括机械部件和/或电气部件。此外，机器人臂102可以为重力辅助的被动支承型机器人臂。

每个机器人臂102可以使用机构改变器接口(MCI)116耦接至器械设备操纵器(IDM)117。IDM 117可以被移除以及被不同类型的IDM替换，例如第一类型的IDM操纵内窥镜，而第二类型的IDM操纵腹腔镜。MCI 116包括用于将气动压力、电力、电信号和光信号从机器人臂102传送至IDM 117的连接器。MCI 116可以是固定螺钉或底板连接器。IDM 117使用包括直接驱动、谐波驱动、齿轮传动、传送带和滑轮、磁驱动等的技术来操纵手术器械例如内窥镜118。MCI 116基于IDM 117的类型可互换，并且可以针对某种类型的手术过程来定制。机器人102臂可以包括关节水平扭矩感测和远端处的腕部，例如

LBR5机器人臂。

内窥镜118是插入到患者的剖析结构(例如，身体组织)中以捕获该剖析结构的图像的管状柔性手术器械。具体地，内窥镜118包括捕获图像的一个或更多个成像设备(例如，摄像装置或其他类型的光学传感器)。成像设备可以包括一个或更多个光学部件，例如光纤、光纤阵列或透镜。光学部件与内窥镜118的端部一起移动，使得内窥镜118的端部的移动引起由成像设备捕获的图像的变化。内窥镜118在部分IV.内窥镜中参照图3A至图4B进一步被描述。

手术机器人系统100的机器人臂102使用长形移动构件来操纵内窥镜118。长形移动构件可以包括牵引线，也被称为拉线或推线、线缆、光纤或柔性轴。例如，机器人臂102致动耦接至内窥镜118的多个牵引线以使内窥镜118的端部偏转。牵引线可以包括金属材料和非金属材料两种，例如不锈钢、凯夫拉尔(Kevlar)、钨、碳纤维等。内窥镜118可以响应于由长形移动构件施加的力而呈现非线性行为。非线性行为可以基于内窥镜118的刚度和压缩性以及不同长形移动构件之间的松弛度或刚度的可变性。

图1B至图1F示出了根据各种实施方式的耦接至机器人平台150(或手术床)的手术机器人系统100的各种透视图。具体地，图1B示出了手术机器人系统100的侧视图，其中，机器人臂102操纵内窥镜118以将内窥镜插入到患者身体内部，并且患者躺在机器人平台150上。图1C示出了手术机器人系统100和机器人平台150的俯视图，并且由机器人臂操纵的内窥镜118被插入到患者身体内部。图1D示出了手术机器人系统100和机器人平台150的透视图，并且内窥镜118被控制成水平地平行于机器人平台而定位。图1E示出了手术机器人系统100和机器人平台150的另一透视图，并且内窥镜118被控制成相对地垂直于机器人平台而定位。更详细地，在图1E中，机器人平台150的水平表面与内窥镜118之间的角度为75度。图1F示出了图1E所示的手术机器人系统100和机器人平台150的透视图，并且更详细地，内窥镜118与连接内窥镜的一个端部180和位于相对较远离机器人平台的机器人臂102的虚线160之间的角度为90度。

II.命令控制台

图2示出了根据一个实施方式的用于示例手术机器人系统100的示例命令控制台200。命令控制台200包括控制台基座201、诸如监视器的显示模块202以及诸如键盘203和操纵杆204的控制模块。在一些实施方式中，命令控制台200功能中的一个或更多个可以被集成至手术机器人系统100的基座101或通信地耦接至手术机器人系统100的另一系统中。用户205例如医师使用命令控制台200从人体工程学位置(ergonomic position)远程控制手术机器人系统100。

控制台基座201可以包括中央处理单元、存储器单元、数据总线和相关联的数据通信端口，上述部件负责解释和处理例如来自图1所示的内窥镜118的信号例如摄像装置图像和跟踪传感器数据。在一些实施方式中，控制台基座201和基座101两者均执行信号处理以实现负荷平衡。控制台基座201还可以处理由用户205通过控制模块203和204提供的命令和指令。除了图2所示的键盘203和操纵杆204之外，控制模块还可以包括捕获手势和手指姿势的其他设备，例如计算机鼠标、轨迹板、轨迹球、控制板、视频游戏控制器和传感器(例如，运动传感器或摄像装置)。

用户205可以使用命令控制台200以速度模式或位置控制模式来控制手术器械例如内窥镜118。在速度模式下，用户205使用控制模块基于直接手动控制来直接控制内窥镜118的远端的俯仰和横摆运动。例如，操纵杆204的移动可以被映射为内窥镜118的远端的横摆和俯仰移动。操纵杆204可以向用户205提供触觉反馈。例如，操纵杆204振动以指示内窥镜118不能沿某个方向进一步平移或旋转。命令控制台200还可以提供视觉反馈(例如，弹出消息)和/或音频反馈(例如，蜂鸣声)以指示内窥镜118已经达到最大平移或旋转。

在位置控制模式下，命令控制台200使用患者的三维(3D)映射和患者的预先确定的计算机模型来控制手术器械例如内窥镜118。命令控制台200向手术机器人系统100的机器人臂102提供控制信号以操纵内窥镜118到目标位置。由于依赖于3D映射，因此位置控制模式需要患者的剖析结构的准确映射。

在一些实施方式中，用户205可以在不使用命令控制台200的情况下手动操纵手术机器人系统100的机器人臂102。在手术操作室中的设置期间，用户205可以移动机器人臂102、内窥镜118和其他手术设备以接近患者。手术机器人系统100可以依靠来自用户205的力反馈和惯性控制来确定机器人臂102和设备的适当配置。

显示模块202可以包括电子监视器、诸如护目镜或眼镜的虚拟现实观看设备和/或其他显示设备装置。在一些实施方式中，显示模块202与控制模块集成为例如具有触摸屏的平板设备。此外，用户205可以使用集成的显示模块202和控制模块来查看数据和向手术机器人系统100输入命令两者。

显示模块202可以使用立体设备例如面罩(visor)或护目镜来显示3D图像。3D图像提供“内视图”(即，内窥镜视图)，其为示出患者的剖析结构的计算机3D模型。“内视图”提供患者内部的虚拟环境以及内窥镜118在患者内部的预期位置。用户205将“内视图”模型与由摄像装置捕获的实际图像进行比较，以帮助在心理上定向并确认内窥镜118处于患者内的正确的——或近似正确的——位置。“内视图”提供关于内窥镜118的远端周围的剖析结构的信息，例如患者的肠道或结肠的形状。显示模块202可以同时显示内窥镜118的远端周围的剖析结构的3D模型和计算机层析成像(CT)扫描。此外，显示模块202可以将已经确定的内窥镜118在3D模型上的导航路径叠加在基于术前模型数据(例如，CT扫描)生成的扫描/图像上。

在一些实施方式中，内窥镜118的模型与3D模型一起显示以帮助指示手术过程的状态。例如，CT扫描识别剖析结构中的可能需要进行活检的病变。在操作期间，显示模块202可以显示由内窥镜118捕获的与内窥镜118的当前位置对应的参考图像。显示模块202可以根据用户设置和特定手术过程自动显示内窥镜118的模型的不同视图。例如，显示模块202在导航步骤期间随着内窥镜118接近患者的手术区域示出内窥镜118的俯视透视图。

III.器械设备操纵器

图3A示出了根据一个实施方式的图1所示的IDM 117的示例独立驱动机构的等轴视图。独立驱动机构可以通过分别旋转IDM 117的输出轴305、306、307和308来拉紧或松开内窥镜的(例如，彼此独立的)牵引线321、322、323和324。正如输出轴305、306、307和308通过角运动分别沿牵引线321、322、323和324向下传递力一样，牵引线321、322、323和324将力传回到输出轴。IDM 117和/或手术机器人系统100可以使用传感器例如下面进一步描述的应变计来测量所传递的力。

图3B示出了示出根据一个实施方式的由图3A所示的独立驱动机构的应变计334如何测量力的概念图。力331可以指向远离耦接至马达337的马达支架(mount)333的输出轴305。因此，力331导致马达支架333的水平位移。此外，水平地耦接至马达支架333的应变计334在力331的方向上受到应变。应变可以被测量为应变计334的端部335的水平位移与应变计334的整个水平宽度336的比率。

在一些实施方式中，IDM 117包括另外的传感器例如倾斜计或加速度计以确定IDM117的定向。基于来自另外的传感器和/或应变计334的测量结果，手术机器人系统100可以对来自应变计334的读数进行校准以考虑重力负荷效应。例如，如果IDM 117被定向在IDM117的水平侧，则IDM 117的某些部件的重量可能会引起马达支架333的应变。因此，在不考虑重力负荷效应的情况下，应变计334可以测量不是由输出轴上的应变导致的应变。

IV.内窥镜

图4A示出了根据一个实施方式的示例内窥镜118的俯视图。内窥镜118包括导杆415管状部件，导杆415管状部件嵌套或部分嵌套在护套411管状部件内部并且与护套411管状部件纵向对准。护套411包括近护套部分412和远护套部分413。导杆415具有比护套411小的外径并且包括近导杆部分416和远导杆部分417。护套基座414和导杆基座418例如基于来自手术机器人系统100的用户的控制信号分别对远护套部分413和远导杆部分417进行致动。护套基座414和导杆基座418例如是图1所示的IDM 117的一部分。

护套基座414和导杆基座418两者均包括驱动机构(例如，在部分III.器械设备操纵器中参照图3A至图3B进一步描述的独立驱动机构)，以控制耦接至护套411和导杆415的牵引线。例如，护套基座414在耦接至护套411的牵引线上生成拉伸负荷以使远护套部分413偏转。类似地，导杆基座418在耦接至导杆415的牵引线上生成拉伸负荷以使远导杆部分417偏转。护套基座414和导杆基座418两者均还可以包括用于将气动压力、电力、电信号或光信号分别从IDM传送至护套411和导杆414的耦接部。牵引线可以包括在护套411或导杆415内沿着牵引线的长度的钢螺旋管(steel coil pipe)，钢螺旋管将轴向压缩分别回传至负荷的原点例如护套基座414或导杆基座418。

由于由耦接至护套411和导杆415的牵引线提供的多个自由度，内窥镜118可以容易地导航患者的剖析结构。例如，可以在护套411和/或导杆415中使用四个或更多个牵引线，从而提供八个或更多个自由度。在其他实施方式中，可以使用多达三个牵引线，从而提供多达六个自由度。护套411和导杆415可以沿着纵向轴线406旋转高达360度，从而提供更大的运动程度。旋转角和多个自由度的组合为手术机器人系统100的用户提供了内窥镜118的用户友好且直观的控制。

图4B示出了根据一个实施方式的图4A所示的内窥镜118的示例内窥镜端部430。在图4B中，内窥镜端部430包括成像设备431(例如摄像装置)、照明源432以及EM线圈434的端部。照明源432提供光以照亮剖析空间的内部部分。所提供的光使得成像设备431能够记录该空间的图像，然后该图像可以被发送至计算机系统例如如本文所描述的用于处理的命令控制台200。位于端部430上的电磁(EM)线圈434可以与EM跟踪系统一起使用来在内窥镜端部430设置在剖析系统内时检测内窥镜端部430的位置和取向。在一些实施方式中，线圈可以成角度以给沿着不同轴线的EM场提供灵敏度，从而提供测量全部6个自由度的能力：三个位置和三个角度。在其他实施方式中，可以将仅单个线圈设置在内窥镜端部430内，其中，其轴线沿着内窥镜118的内窥镜轴被定向；由于这种系统的旋转对称性，它对绕其轴线的转动不敏感，所以在这种情况下可能只能检测到5个自由度。内窥镜端部430还包括工作通道436，手术器械例如活检针可以穿过工作通道436沿着内窥镜轴被插入，从而允许其接近内窥镜端部附近的区域。

V.EM系统到3D模型的配准变换

V.A.EM跟踪系统的示意性设置

图5示出了根据一个实施方式的包括在手术机器人系统500中的EM跟踪系统505的示例示意性设置。在图5中，在EM跟踪系统505中包括多个机器人部件(例如，如下所述的窗口场发生器、参考传感器)。机器人手术系统500包括用于保持患者身体的手术床511。在床511下方是被配置成依次激活一组EM线圈(例如，图4B所示的EM线圈434)的窗口场发生器(WFG)512。WFG 512在宽体积内生成交流(AC)磁场；例如，在某些情况下，它可能在约0.5m×0.5m×0.5m的体积中产生AC场。

可以由另外的场发生器施加另外的场以辅助跟踪身体内的器械。例如，可以将平面场发生器(PFG)附接至邻近患者的系统臂并且以一定角度定向来提供EM场。参考传感器513可以放置在患者身体上以提供局部EM场，从而进一步提高跟踪准确度。参考传感器513中的每一个可以通过线缆514附接至命令模块515。线缆514通过接口单元516连接至命令模块515，其处理与它们相应设备的通信以及提供电力。接口单元516耦接至系统控制单元(SCU)517，SCU 517用作用于上述各种实体的总体接口控制器。SCU 517还驱动场发生器(例如，WFG 512)，以及从接口单元516收集传感器数据，SCU 517根据传感器数据计算传感器在身体内的位置和取向。SCU 517可以耦接至个人计算机(PC)518以允许用户访问和控制。

命令模块515还连接至如本文中所描述的耦接至手术机器人系统500的各种IDM519。IDM 519通常耦接至单个手术机器人系统(例如，手术机器人系统500)并且用于控制和接收来自它们相应连接的机器人部件例如机器人内窥镜工具或机器人臂的数据。如上所述，作为示例，IDM 519耦接至手术机器人系统500的内窥镜工具(这里未示出)。

命令模块515接收从内窥镜工具传递的数据。所接收到的数据的类型取决于所附接的器械的相应类型。例如，示例的所接收到的数据包括传感器数据(例如，图像数据、EM数据)、机器人数据(例如，内窥镜和IDM物理运动数据)、控制数据和/或视频数据。为了更好地处理视频数据，可以将现场可编程门阵列(FPGA)520配置成处理图像处理。将从各个传感器、设备和场发生器获得的数据进行比较使得SCU 517能够精确地跟踪手术机器人系统500的不同部件的移动以及例如这些部件的位置和取向。

为了跟踪穿过患者的剖析结构的传感器，EM跟踪系统505可能需要被称为“配准”的过程，在该过程中，系统找到使单个对象在不同坐标系之间对准的几何变换。例如，患者的特定剖析部位在3D模型坐标以及在EM传感器坐标中具有两种不同的表示。为了能够在这两种不同的坐标系之间建立一致性和通用语言，EM跟踪系统505需要找到将这两种表示联系起来的变换，即配准。例如，可以将EM跟踪器相对于EM场发生器的位置映射至3D坐标系以挑出相应3D模型中的位置。

V.B.3D模型表示

图6A至图6B示出了根据一个实施方式的示例剖析腔600和该剖析腔的示例3D模型620。更具体地，图6A和图6B示出了实际剖析腔600与其3D模型620之间的中心线坐标、直径测量结果和剖析空间的关系。在图6A中，大致由中心线坐标601、602、603、604、605和606纵向跟踪剖析腔600，其中每个中心线坐标大致接近腔的层析成像切片的中心。中心线坐标通过中心线607连接并且可视化。可以通过测量在每个中心线坐标处腔的直径来进一步可视化腔的体积，例如坐标608、609、610、611、612和613表示与坐标601、602、603、604、605和606对应的腔600的测量结果。

图6B示出了根据一个实施方式的图6A所示的剖析腔600的示例3D模型620。在图6B中，通过首先基于中心线607在3D空间中定位中心线坐标601、602、603、604、605和606来在3D空间中将剖析腔600可视化。作为一个示例，在每个中心线坐标处，腔直径被可视化为具有直径608、609、610、611、612和613的2D圆形空间(例如，2D圆形空间630)。通过连接那些2D圆形空间以形成3D空间，剖析腔600被近似且被可视化为3D模型620。通过增加中心线坐标和测量结果的分辨率即增加针对给定腔或子部分的中心线坐标和测量结果的密度，可以确定更准确的近似值。中心线坐标还可以包括为医师指示感兴趣的点包括病变的标记。

在一些实施方式中，术前软件包也用于基于所生成的剖析空间的3D模型来分析和推导出导航路径。例如，软件包可以推导出到单个病变(由中心线坐标标记)或到若干病变的最短导航路径。取决于操作者的偏好，该导航路径可以在手术进行时以二维或三维方式呈现给操作者。在某些实现方式中，如下所论述的，导航路径(或其一部分)可以由操作者在术前选择。路径选择可以包括标识患者的剖析结构内的一个或更多个目标位置(也简称为“目标”)。

图7示出了根据一个实施方式的表示剖析空间的计算机生成的3D模型700。如上面在图6A和图6B中所论述的，3D模型700可以使用通过再查看术前生成的CT扫描所获得的中心线701来生成。在一些实施方式中，计算机软件可以能够映射管状网络内的导航路径702以接近3D模型700内的手术部位703(或其他目标)。在一些实施方式中，手术部位703可以与单独的中心线坐标704关联，这使得计算机算法能够拓扑搜索3D模型700的中心线坐标以实现管状网络内的最佳路径702。在某些实施方式中，用于路径702的拓扑搜索可能受到某些操作者选择的参数例如一个或更多个目标的位置、一个或更多个路径点等的约束。

在一些实施方式中，跟踪内窥镜工具在患者的剖析结构内的远端，并且内窥镜工具在患者的剖析结构内的跟踪位置被映射和放置在计算机模型内，这提高了管状网络的导航能力。为了跟踪内窥镜工具的远工作端，即工作端的位置和取向，可以单独地或组合地采用多种方法。

在基于传感器的定位方法中，传感器例如电磁(EM)跟踪器可以耦接至内窥镜工具的远工作端以提供内窥镜工具的行进的实时指示。在基于EM的跟踪中，嵌入在内窥镜工具中的EM跟踪器测量由一个或更多个EM发射器产生的电磁场的变化。发射器(或场发生器)可以靠近患者放置(例如，作为手术床的一部分)以产生低强度磁场。这在EM跟踪器中的传感器线圈中感应出与传感器与发生器之间的距离和角度有关的小电流。然后，电信号可以通过接口单元(片上或PCB)被数字化，并且经由线缆/导线被发送回至系统车(cart)，并且然后被发送至命令模块。然后，数据可以被处理以解释当前数据并且计算传感器相对于发射器的精确位置和取向。可以在内窥镜工具中的不同位置处例如在导杆和护套中使用多个传感器，以计算这些部件的各自位置。因此，基于来自人工生成的EM场的读数，EM跟踪器可以在其移动穿过患者的剖析结构时检测场强的变化。

V.C.动态EM配准

图8A至图8D示出了示出根据一个实施方式的穿过管状网络的路径的EM系统到3D模型的动态配准的示例图810至840。本文中描述的导航配置系统实现EM坐标到3D模型坐标的动态配准，而无需在内窥镜检查过程之前进行独立配准。更详细地，图8A示出了EM跟踪系统和3D模型的坐标系最初未彼此配准，并且图8A中的图810示出了沿着规划的导航路径802移动穿过分支管状网络(这里未示出)的内窥镜端部801的配准(或预期)位置，并且根据3D模型推导出了器械端部801的配准位置以及规划路径802。端部的实际位置由EM跟踪系统505重复测量，从而产生基于EM数据的多个测量的位置数据点803。如图8A所示，从EM跟踪推导出的数据点803最初被定位成远离根据3D模型预期的内窥镜端部801的配准位置，这反映了EM坐标与3D模型坐标之间缺乏配准。对于此可能存在若干原因，例如，即使内窥镜端部相对平稳地移动穿过管状网络，由于患者肺部的呼吸运动，EM测量结果中仍可能存在一些可见的分散。

3D模型上的点也可以基于3D模型本身、从光学传感器(例如，摄像装置)接收到的图像数据与来自机器人命令的机器人数据之间的相关性来确定和调整。这些点与所收集的EM数据点之间的3D变换将确定EM坐标系到3D模型坐标系的初始配准。

图8B示出了根据一个实施方式的与图810相比处于较晚时间段的图820。更具体地，图820示出了根据3D模型预期的内窥镜端部801的预期位置已经沿着预先规划的导航路径802移动得更远，如通过从图8A所示的器械端部801的原始预期位置沿着路径到图8B所示的位置的移位所示的。在图810的生成与图820的生成之间的EM跟踪期间，另外的数据点803已经由EM跟踪系统记录，但是配准还尚未基于新收集的EM数据而更新。因此，图8B中的数据点803沿着可见路径814聚集，但是该路径在位置和取向上与操作者引导内窥镜端部沿其行进的规划的导航路径802不同。最终，一旦累积了足够的数据(例如，EM数据)，与仅使用3D模型或仅使用EM数据相比，可以根据将EM坐标配准到3D模型的坐标所需的变换推导出相对更准确的估计。足够的数据的确定可以通过阈值标准例如累计的总数据或方向变化的数目来进行。例如，在分支管状网络例如支气管导管网络中，可以在达到两个分支点处之后判断已累积了足够的数据。

图8C示出了根据一个实施方式的在导航配置系统已经累积了足够量的数据来估计从EM到3D模型坐标的配准变换之后不久的图830。由于配准变换，图8C中的数据点803现在已经从如图8B所示的其先前位置移位。如图8C所示，从EM数据推导出的数据点803现在落在沿着从3D模型推导出的规划的导航路径802，并且数据点803中的每个数据点现在反映内窥镜端部801在3D模型的坐标系中的预期位置的测量结果。在一些实施方式中，随着另外的数据被收集，可以更新配准变换以提高准确度。在某些情况下，用于确定配准变换的数据可以是由移动窗口选择的数据的子集，因此配准可以随时间变化，这提供了考虑例如由于患者的移动而引起的EM和3D模型的相对坐标的变化的能力。

图8D示出了根据一个实施方式的示例图840，在图840中，内窥镜端部801的预期位置已经到达规划的导航路径802的端部，从而到达管状网络内的目标位置。如图8D所示，所记录的EM数据点803现在大致地沿着规划的导航路径802跟踪，这表示在整个过程中对内窥镜端部的跟踪。由于EM跟踪系统到3D模型的更新的配准，每个数据点反映变换后的位置。

在一些实施方式中，可以在内窥镜端部在管状网络内前进时将图8A至图8D所示的图中的每一个依次显示在对用户可见的显示器上。在一些实施方式中，可以利用来自导航配置系统的指令来配置处理器，使得当通过使显示器上所示的测量路径移位而将所测量到的数据点配准到显示器上时，显示器上所示的模型基本上保持固定，以允许用户保持固定的参照系，并且保持视觉上被定向在显示器上所示的模型和规划的路径上。

图8E至图8F示出了根据一个实施方式的分支管状网络的EM系统到3D模型的示例配准的效果。在图8E至图8F中，在没有进行配准变换(在图8E中示出)的情况下以及在进行了配准变换(在图8F中示出)的情况下，示出了示出电磁跟踪数据852和患者的支气管系统854的模型的3D图。在图8E中，在没有配准的情况下，跟踪数据860具有与穿过支气管系统854的路径对应的形状，但是该形状遭受随意的偏移和旋转。在图8F中，通过应用配准，跟踪数据852被移位和旋转，使得它们对应于穿过支气管系统854的路径。

VI.导航配置系统

VI.A.导航配置系统的高级概述

图9A至图9B示出了根据一个实施方式的导航配置系统900的示例框图。更具体地，图9A示出了根据一个实施方式的导航配置系统900的示例框图的高级概述。在图9A中，导航配置系统900包括多个输入数据存储装置、从多个输入数据存储装置接收各种类型的输入数据的导航模块905、从多个输入数据存储装置接收各种类型的输入数据的外部段导航模块905以及从导航模块接收输出导航数据的输出导航数据存储装置990。图9A所示的导航配置系统900的框图仅仅是一个示例，并且在未示出的替选实施方式中，导航配置系统900可以包括不同的和/或另外的实体。同样地，由系统900的各个实体执行的功能可以根据不同的实施方式而不同。导航配置系统900可以类似于在2017年3月23日公开的美国专利公开第2017/0084027号中描述的导航系统，其全部内容通过引用并入本文。

如本文中所使用的输入数据是指从输入设备(例如，命令模块、光学传感器、EM传感器、IDM)收集的和/或由所述输入设备处理的用于生成内窥镜的估计状态信息以及输出导航数据的原始数据。多个输入数据存储装置910至945包括图像数据存储装置910、EM数据存储装置920、机器人数据存储装置930、3D模型数据存储装置940以及路径数据存储装置945。每种类型的输入数据存储装置910至945存储名称指示的类型的数据以供导航模块905访问和使用。图像数据可以包括由器械端部处的成像设备捕获的一个或更多个图像帧以及使得能够确定成对的帧之间经过的时间的信息例如帧速率或时间戳。机器人数据可以包括与医疗器械或医疗器械的一部分(例如，器械端部或护套)在管状网络内的物理移动有关的数据。示例机器人数据包括指示器械端部到达特定剖析部位和/或改变其在管状网络内的定向(例如，对于导杆和护套中的一者或两者，以特定俯仰、转动、横摆、插入和回缩来改变定向)的命令数据、表示医疗器械的一部分(例如，器械端部或护套)的插入移动的插入数据、IDM数据以及表示医疗器械的长形构件的机械移动例如驱动医疗器械在管状网络内的实际移动的内窥镜的一个或更多个牵引线、腱部或轴的运动的机械数据。EM数据可以通过上述EM传感器和/或EM跟踪系统收集。3D模型数据可以如上所述根据2D CT扫描推导出。路径数据包括到一个或更多个目标的、通过对管状网络的拓扑搜索生成的规划的导航路径(例如，导航路径702)。多个输入数据存储装置还可以包括其他类型的数据存储装置例如可选的位置传感器数据存储装置947。在某些实现方式中，位置传感器数据存储装置947可以存储从被定位在器械内的形状感测纤维接收到的形状传感器数据。根据实施方式，导航模块905和/或外部段导航模块907可以被配置成从位置传感器数据存储装置947接收位置传感器数据。

输出导航数据存储装置990接收并且存储由导航模块905和/或外部段导航模块907提供的输出导航数据。如下面更详细描述的，系统900可以基于器械相对于腔网络的映射部分的位置来调整赋予由导航模块905和外部段导航模块907生成的输出导航数据的权重。输出导航数据指示辅助引导医疗器械穿过管状网络以到达管状网络内的特定目的地的信息，并且基于医疗器械在每个瞬时时间的估计状态信息，估计状态信息包括医疗器械在管状网络内的位置和取向。在一个实施方式中，随着医疗器械在管状网络内移动，实时提供指示医疗器械的移动和位置/取向信息的更新的输出导航数据，更新的输出导航数据更好地辅助其穿过管状网络的导航。

为了确定输出导航数据，导航模块905和/或外部段导航模块907找出(或确定)医疗器械在管状网络内的估计状态。如图9A所示，导航模块905还包括各种算法模块，例如基于EM的算法模块950、基于图像的算法模块960、基于机器人的算法模块970以及基于路径的算法模块975，这些算法模块均可以主要使用某种类型的输入数据并且向状态估计器980贡献不同类型的数据。如图9A所示，为了说明，由这些模块输出的不同类型的数据——被标记为基于EM的数据、基于图像的数据、基于机器人的数据以及基于路径的数据——通常可以被称为“中间数据”。下面将更全面地描述每个算法模块和状态估计器980的详细组成。

VI.B.导航模块

参照图9A所示的导航模块905，导航模块905包括状态估计器980以及采用不同算法的多个算法模块以用于导航穿过管状网络。为了描述的清楚起见，首先描述状态估计器980，接下来描述与状态估计器980交换数据的各个模块。

VI.B.1状态估计器

导航模块905中包括的状态估计器980接收各种中间数据，并且根据时间提供器械端部的估计状态，其中，估计状态指示器械端部在管状网络内的估计的位置和取向信息。估计状态数据存储在包括在状态估计器980中的估计数据存储装置985中。

图9B示出了根据一个实施方式的包括在状态估计器980中的估计状态数据存储装置985的示例框图。估计状态数据存储装置985可以包括分叉数据存储装置1086、位置数据存储装置1087、深度数据存储装置1088和取向数据存储装置1089，然而数据存储装置的这种特定分解仅仅是一个示例，并且在未示出的替选实施方式中，估计状态数据存储装置985中可以包括不同的和/或另外的数据存储装置。

上面介绍的各个存储装置以各种方式表示估计状态数据。具体地，分叉数据是指医疗器械相对于管状网络内的一组分支(例如，分叉、三分叉或分成多于三个分支的划分)的位置。例如，分叉数据可以是由器械在其穿过管状网络时基于例如由映射整个管状网络的3D模型提供的更大的可用分支的集合所选择的分支选择的集合。分叉数据还可以包括器械端部的位置前方的信息，例如器械端部接近但尚未穿过但是例如基于端部相对于3D模型的当前位置信息或者基于即将到来的分叉的捕获图像可能已经被检测到的分支(分叉)。

位置数据指示医疗器械的某个部分在管状网络或管状网络本身的某个部分内的三维位置。位置数据可以是绝对位置的形式或者相对于例如管状网络的3D模型的相对位置的形式。作为一个示例，位置数据可以包括器械的位置在特定分支内的定位的指示。特定分支的标识也可以作为段标识(ID)存储，该段标识唯一地标识器械端部所在的模型的特定段。

深度数据指示器械端部在管状网络内的深度信息。示例深度数据包括医疗器械进入到患者中的总插入(绝对)深度以及在所识别到的分支内的(相对)深度(例如，由位置数据存储装置1087识别的段)。深度数据可以基于关于管状网络和医疗器械两者的位置数据来确定。

取向数据指示器械端部的取向信息，并且可以包括相对于3D模型的整体的转动、俯仰和横摆以及在所识别到的分支内的俯仰、转动、横摆。

返回至图9A，状态估计器980将估计状态数据提供回至算法模块以用于生成更准确的中间数据，状态估计器使用所述更准确的中间数据生成改善的和/或更新的估计状态等，从而形成反馈回路。例如，如图9A所示，基于EM的算法模块950接收先前的基于EM的估计状态数据，其也被称为与时间戳“t-1”相关联的数据。状态估计器980使用该数据生成与时间戳“t-1”相关联的“估计状态数据(先前)”。然后状态估计器980将数据提供回至基于EM的算法模块。“估计状态数据(先前)”可以基于如由不同算法模块生成和接收的与时间戳“t-1”相关联的不同类型的中间数据(例如，机器人数据、图像数据)的组合。接下来，基于EM的算法模块950使用估计状态数据(先前)来运行其算法，以向状态估计器980输出改善和更新的基于EM的估计状态数据，其在此由“基于EM的估计状态数据(当前)”表示并且与时间戳t相关联。该处理也可以针对未来的时间戳继续重复。

由于状态估计器980可以使用若干不同类型的中间数据来得到其对医疗器械在管状网络内的状态的估计，因此状态估计器980被配置成在测量和分析两者中考虑每种类型的基础数据(机器人、EM、图像、路径)和每种类型的算法模块可能产生或携带到用于在确定估计状态时考虑的中间数据中的各种不同类型的误差和不确定性。为了解决这些，讨论两个概念，概率分布的概念和置信度值的概念。

如本文中所使用的“概率分布”中的“概率”是指对医疗器械的可能的位置和/或取向的估计正确的可能性。例如，算法模块之一可能计算出不同的概率，该概率指示医疗器械处于管状网络内的若干不同的可能分支之一中的相对可能性。在一个实施方式中，选择概率分布的类型(例如，离散分布或连续分布)以匹配估计状态的特征(例如，估计状态的类型，例如连续位置信息与离散分支选择)。作为一个示例，针对三分叉用于标识医疗器械处于哪一段的估计状态可以由离散概率分布表示，并且可以包括如由算法模块之一确定的表示如位于三个分支中的每个分支内的位置的可能性的三个离散值20％、30％和50％。作为另一示例，估计状态可以包括医疗器械的40±5度的转动角，以及器械端部在分支内的段深度可以为4±1mm，其各自由高斯分布表示，高斯分布是一种类型的连续概率分布。可以使用不同的方法或模态来生成概率，这将随着算法模块而变化，如下面参照后面的附图更全面地描述的。

相比之下，如本文中所使用的“置信度值”反映由算法之一基于一个或更多个因素提供的状态的估计的置信度的度量。对于基于EM的算法，诸如EM场失真、EM配准不准确、患者的移位或移动以及患者的呼吸的因素可能影响状态的估计的置信度。具体地，由基于EM的算法提供的状态的估计的置信度值可以取决于患者的特定呼吸循环、患者或EM场发生器的移动以及器械端部所位于剖析结构内的位置。对于基于图像的算法，在估计状态时可能影响置信度值的示例因素包括剖析结构内的在其处捕获图像的位置的照明条件、抵靠捕获图像的光学传感器或位于光学传感器前方的流体、组织或其他障碍物的存在、患者的呼吸、患者自身(例如肺部)的管状网络的状况例如管状网络内的一般流体和管状网络的闭塞、以及在例如导航或图像捕获中使用的特定操作技术。

例如，一个因素可以是特定算法在患者的肺部的不同深度处具有不同水平的准确度，使得相对靠近气道开口，特定算法可以在其对医疗器械位置和取向的估计方面具有高置信度，但是医疗器械进一步行进进入到肺部的底部中，置信度值可能降低。通常，置信度值基于与通过其确定结果的处理有关的一个或更多个系统因素，而概率是当尝试基于基础数据利用单个算法根据多个概率确定正确结果时出现的相对量度。

作为一个示例，用于计算由离散概率分布表示的估计状态的结果(例如，针对三分叉的分支/段识别，其中涉及三个估计状态的值)的数学公式可以如下：

S₁＝C_EM*P_1，EM+C_Image*P_1Image+C_Robot*P_1，Robot；

S₂＝C_EM*P_2，EM+C_Image*P_2，Image+C_Robot*P_2，Robot；

S₃＝C_EM*P_3，EM+C_Image*P_3，Image+C_Robot*P_3，Robot.

在上面的示例数学公式中，S_i(i＝1，2，3)表示在3D模型中识别出或存在3个可能的段的情况下估计状态的可能的示例值，C_EM、C_Image和C_Robot表示与基于EM的算法、基于图像的算法和基于机器人的算法对应的置信度值，以及P_i，EM、P_i，Image和P_i，Robot表示段i的概率。

为了更好地说明与估计状态相关联的概率分布和置信度值的概念，这里提供了详细示例。在该示例中，用户试图识别器械端部在管状网络的中央气道(预测区域)内的特定三分叉中所位于的段，并且使用三个算法模块，包括基于EM的算法、基于图像的算法和基于机器人的算法。在该示例中，与基于EM的算法对应的概率分布可以是20％处于第一分支中、30％处于第二分支中以及50％处于第三(最后一个)分支中，并且应用于该基于EM的算法和中央气道的置信度值为80％。对于同一示例，对于第一分支、第二分支和第三分支，与基于图像的算法对应的概率分布可以为40％、20％、40％，并且应用于该基于图像的算法的置信度值为30％；而对于第一分支、第二分支和第三分支，与基于机器人的算法对应的概率分布可以为10％、60％、30％，并且应用于该基于图像的算法的置信度值为20％。应用于基于EM的算法和基于图像的算法的置信度值的差异指示：与基于图像的算法相比，基于EM的算法对于中央气道的段识别来说可能是更好的选择。最终估计状态的示例数学计算可以是：

对于第一分支：20％*80％+40％*30％+10％*20％＝30％；对于第二分支：30％*80％+20％*30％+60％*20％＝42％；以及对于第三分支：50％*80％+40％*30％+30％*20％＝58％。

在该示例中，针对器械端部的输出估计状态可以是结果值(例如，所得到的30％、42％和58％)或根据这些结果值推导出的值，例如确定器械端部在第三分支中。虽然该示例描述了算法模块的使用，包括基于EM的算法、基于图像的算法和基于机器人的算法，但是也可以基于各种算法模块的不同组合来提供对器械端部的状态的估计，包括基于路径的算法。

如上所述，估计状态可以以多种不同的方式来表示。例如，估计状态还可以包括从气道到器械端部的位置的绝对深度以及表示由器械在管状网络内穿过的一组分支的一组数据，例如，该组分支为由患者肺部的3D模型提供的整组分支的子集。概率分布和置信度值在估计状态上的应用使得能够提高器械端部在管状网络内的位置和/或取向的估计的准确度。

VI.B.2基于路径的导航的概述

如图9A所示，算法模块包括基于EM的算法模块950、基于图像的算法模块960、基于机器人的算法模块970和基于路径的算法模块975。图9A所示的算法模块仅是一个示例，并且在替选实施方式中，导航模块905中也可以包括涉及不同的和/或另外的导航算法的不同的和/或另外的算法模块。基于EM的算法模块950、基于图像的算法模块960和基于机器人的算法模块970的进一步的细节和示例实施方式在上面引用的美国专利公开第2017/0084027号中进行了描述。

图10示出了根据本公开内容的各方面的基于路径的算法模块975的示例框图。基于路径的算法模块975从估计状态数据存储装置985接收估计状态数据(先前)(例如，位置数据和/或深度数据)、从3D模型数据存储装置940接收3D模型数据并且从路径数据存储装置945接收路径数据作为输入。基于接收到的数据，基于路径的算法模块975确定器械端部相对于管状网络的3D模型的位置的估计，并且向状态估计装置980提供基于路径的估计状态数据(当前)，该基于路径的估计状态数据(当前)可以存储在估计状态数据存储装置985中。作为示例，基于路径的估计状态数据可以表示为3D模型的多个识别出的段之间的概率分布(例如，针对在分叉处接合的两个段，为30％和70％的离散分布)。

导航配置系统900可以根据器械端部的当前位置以多种模态之一操作，器械端部的当前位置可以基于从估计状态数据存储装置985接收到的估计状态数据(先前)来限定。具体地，当器械端部的当前位置被确定为位于腔网络的映射部分内时，导航配置系统900可以(例如，使用导航模块905)以一种模态操作，腔网络的映射部分可以由存储在3D模型数据存储装置940中的3D模型数据来限定。此外，在某些实现方式中，当器械端部的当前位置被确定为位于腔网络的映射部分外部或位于腔网络的未映射部分的阈值距离内时，基于路径的算法模块975可以(例如，使用外部段导航模块907)以另一模态操作。如将在下面更详细地描述的，导航配置系统900可以基于某些阈值例如从器械的当前位置到腔网络的映射部分的边缘的距离的检测在第一模态与第二模态之间转换。

VI.B.2.I.基于路径的导航——在腔网络的映射部分内

图11是示出了根据本公开内容的各方面的可由机器人系统或其部件操作的用于管状网络的基于路径的导航的示例方法的流程图。例如，图11所示的方法1100的步骤可以由医疗机器人系统(例如，手术机器人系统500)或相关系统(例如，导航配置系统900的基于路径的算法模块945)的处理器和/或其他部件执行。为了方便起见，方法1100被描述为由导航配置系统执行，该导航配置系统也在关于方法1100的描述中被简称为“系统”。

方法1100在框1101处开始。在框1105处，系统可以从一组位置传感器和一组机器人命令输入中的至少一个接收位置数据。位置数据可以指示器械的位置，该器械被配置成被驱动通过患者的腔网络。如上面描述的，系统可以包括至少一个计算机可读存储装置，在所述至少一个计算机可读存储装置上存储有腔网络的模型(例如，存储在3D模型数据存储装置940中的3D模型数据)、目标相对于模型的位置以及从进入点到目标的沿模型的至少一部分的路径。在某些实施方式中，目标的路径和位置可以作为路径数据存储在路径数据存储装置945中。

在框1110处，系统可以基于位置数据确定器械在第一时间的位置的第一估计。器械的位置的第一估计可以基于例如从图像数据存储装置910、EM数据存储装置920、机器人数据存储装置930和/或3D模型数据存储装置940中的一个或更多个接收到的数据。

在框1115处，系统可以基于路径确定器械在第一时间的位置的第二估计。在某些实现方式中，基于路径的估计状态数据可以包括沿路径的段的指示(例如，从路径数据存储装置945接收到的路径数据)以及与所识别的段相关联的权重。因此，系统可以确定与基于路径的位置估计相关联的权重。

取决于实施方式，系统可以基于从估计状态数据存储装置985的深度数据存储装置1088接收的深度数据选择沿该路径的腔网络的段作为器械的估计位置。系统可以使用该深度信息基于根据深度数据确定的沿该路径的距离(例如，由深度数据限定的从腔网络的进入点开始的距离)来估计器械的位置。

系统可以采用多种方法或模态之一来确定与基于路径的估计相关联的权重。在某些实施方式中，系统可以基于器械在腔网络内的位置(例如，基于从估计状态数据存储装置985接收到的估计状态数据(先前))来确定权重。如下面详细描述的，与基于路径的位置估计相关联的权重可以基于操作者在驱动器械时将偏离路径的概率。各种因素可能会影响操作者沿不属于路径的一部分的腔网络的段向下驱动器械的可能性。这些因素的示例包括：难以视觉地识别用于推进器械的正确的段；腔网络的分支系统的复杂性；操作者对路径外部的腔网络的部分进行探索的确定等。这些因素中的一些或全部可能会增加操作者将根据器械插入腔网络的深度而偏离路径的可能性。通过对权重的适当选择，系统可以提高状态估计装置980可靠地使用基于路径的位置估计作为器械的估计状态基于其的数据源的能力。

在相关方面，下面参照图12描述与框1115有关的更多细节和示例模型。

继续进行图11，在框1120处，系统可以基于第一估计和第二估计确定器械在第一时间的位置。该确定可以例如由状态估计装置980来执行，状态估计装置980基于从基于EM的算法模块950、基于图像的算法模块960和基于机器人的算法模块970中的至少一个和基于路径的算法模块975接收的估计状态数据确定器械的状态。在其中系统确定与基于路径的位置估计相关联的权重的实施方式中，系统还可以在框1120处确定器械的位置时使用该权重。方法1110在框1125处结束。

图12是用于描述与基于路径的位置估计有关的本公开内容的各方面的腔网络的一部分的简化示例模型。特别地，图12描绘了简化的腔网络的模型1200，其包括可以由腔网络的中心线限定的骨架1205以及穿过模型1200的一部分的导航路径1210。尽管导航路径1210被示出为从骨架1205偏移，但是在某些实施方式中，导航路径1210可以沿骨架1205限定。模型1200还包括第一代段1221、从第一代段1221分支的两个第二代段1231和1235以及四个第三代段1241、1243、1245和1247。在图12中还示出了器械的远端的两个示例位置1251和1255。

在一种实现方式中，可以通过识别器械的远端当前所位于的段来限定器械的位置。在该实现方式中，模型可以包括多个段(例如，如图12所示的段1221至段1247)，其中每个段与代数或代名相关联。给定段的代数可以基于位于给定段与允许器械进入到腔网络中的患者的接入点之间的腔网络的分支的数目来确定或限定。在图12的实施方式中，对段1221至段1247的代数的示例分配可以包括：第一代段1221的代数为一，第二代段1231和1235的代数为二以及第三代段1241、1243、1245和1247的代数为三。本领域技术人员将认识到可以采用其他编号方案来向腔网络的各段分配代数和/或代名。

在某些实现方式中，系统可以使用基于路径的位置估计来估计器械所位于的当前段，并且基于当前段的代数来确定与基于路径的位置估计相关联的权重。例如，当器械位于第一位置1251处时，当前段1231的段数可以为二。在某些实施方式中，随着代数增加，系统可以减小针对基于路径的位置估计的权重。换句话说，随着当前段的代数增加，赋予基于路径的估计的权重可以(例如，单调地)减小。参照图12的示例，在该实现方式中，在第二位置1255处分配给基于路径的估计的权重可以小于在第一位置1251处分配给基于路径的估计的权重。系统所使用的用于确定权重的特定功能没有特别地限制。在一个示例实现方式中，赋予特定段的权重可以与该段的代数成反比。

在将器械推进到腔网络中足够的距离之后，系统可以将分配给基于路径的位置估计的权重减小为零或另一最小值。在某些实现方式中，系统可以基于器械所位于的当前段的代数来确定是否将权重减小为零或最小值。例如，响应于确定第一段的代数大于阈值代数，系统可以确定当前段的代数大于阈值代数并且将权重设置为零或最小值。

取决于实施方式，与基于路径的位置估计相关联的权重可以对应于与该估计相关联的置信度值。如上面描述的，置信度值可以反映由基于路径的算法模块975提供的状态的估计的置信度的度量。系统可以基于机器人系统的操作者将偏离导航路径的可能性来确定置信度值。操作者将偏离导航路径的可能性可以基于在实际医疗过程中跟踪器械的位置凭经验确定。在一个示例中，操作者在邻近过程开始例如当操作者在支气管镜检查过程期间从气管过渡到主支气管之一时将偏离导航路径的可能性实际上可以为零。但是，随着器械进一步推进到呼吸道，操作者可能会更加难以基于例如从摄像装置接收的图像来识别驱动器械至其中的网络的正确段。可替选地，操作者可能在器械接近目标时决定偏离路径，以调查腔网络的一部分或执行复杂的导航操纵(例如，在腔网络中围绕较大的曲率铰接器械)。因此，可以有利的是，降低基于路径的位置估计的置信度水平以与当器械进一步推进到腔网络时操作者将离开导航路径的增加的概率匹配。

VI.B 2.II.基于路径的导航——腔网络的映射部分的外部

除了当在腔网络的映射部分内估计器械的位置时使用路径以外，当器械在腔网络的映射部分的外部时，路径也可以用作数据源。特别地，给定的腔网络的模型可能没有完全映射整个腔网络。图13是根据本公开内容的各方面的覆盖在腔网络1310上的模型1300(例如，存储在3D模型数据存储装置940中的3D模型数据)的示例图。在一些情况下，用于生成模型1300的成像和映射技术的限制可能妨碍生成与整个腔网络1310对应的模型。例如，腔网络内的某些分支腔可能足够小以至于它们不能使用常见的成像和映射技术清晰地描绘和分析。因此，模型1300可能无法提供腔网络1310的完整表示，例如，留下腔网络1310的在模型1300中未被映射和/或未被表示的各部分。

例如，如图13所示，模型1300可以对应于腔网络1310的映射部分1320。腔网络1310的可能未由模型1300表示的未映射部分1330可以延伸超过映射部分1320。在图15中放大了模型1300的包括腔网络1310的映射部分1320的一部分和腔网络1310的未映射部分1330的一部分的部分1350，其在下面进行描述。

用于估计器械位置的某些算法可以利用从3D模型数据存储装置接收的3D模型数据以生成表示器械位置的估计状态数据。例如，基于EM的算法模块950、基于图像的算法模块960和基于机器人的算法模块970中的每一个可以在估计状态数据时利用从3D模型数据存储装置940接收的3D模型数据。因此，如果器械被驱动到腔网络的未映射部分(例如，图13的未映射部分1330)，则3D模型数据存储装置940可能不具有可以在估计器械的位置时使用的3D模型数据。因此，本公开内容的各方面涉及使用(例如，存储在路径数据存储装置945中的)路径数据来解决缺少用于估计器械位置的3D模型数据的问题。

图14是示出根据本公开内容的各方面的可由机器人系统或其部件操作的用于在腔网络的未分段部分外部的导航中使用基于路径的数据的另一示例方法的流程图。例如，图14所示的方法1400的步骤可以由医疗机器人系统(例如，手术机器人系统500)或相关系统(例如，导航配置系统900的基于路径的算法模块945)的处理器和/或其他部件执行。为了方便起见，方法1400被描述为由导航配置系统执行，该导航配置系统也在关于方法1400的描述中被简称为“系统”。

方法1400在框1401处开始。在框1405处，系统可以确定路径在到达目标之前离开患者的腔网络的映射部分。在执行方法1400时，系统可以包括至少一个计算机可读存储装置，在所述至少一个计算机可读存储装置上存储有腔的映射部分的模型、目标相对于模型的位置以及从进入点到目标的沿模型的至少一部分的路径。因此，框1405可以涉及处理器确定到目标的路径的至少一部分延伸穿过腔网络的未映射部分。

在相关方面，下面参照图15描述与框1405有关的更多细节。特别地，下面结合图15的描述提供了有关多个实施方式的更多细节，这些实施方式详述了系统可以如何确定路径已经离开腔网络的映射部分。

在框1410处，系统可以经由至少第一模态(例如，图9A的导航模块905)显示器械的当前位置。第一模态可以包括系统基于从一组位置传感器——所述一组位置传感器包括一个或更多个位置传感器——接收的位置数据和模型的映射部分推导出器械的位置。位置数据的示例包括图像数据、EM数据和机器人数据。取决于实施方式，第一模态可以包括经由基于EM的算法模块950、基于图像的算法模块960和基于机器人的算法模块970中的一个或更多个对器械位置的估计。

在框1415处，系统可以基于器械的当前位置确定器械的远端位于路径在该处离开腔网络的映射部分的点的阈值范围内。

在一个实施方式中，系统可以基于确定器械位于如图15的示例所示的倒数第二段1525内来确定器械位于路径在该处离开腔网络的映射部分的点的阈值范围内。系统可以将倒数第二段1525识别为与最后段1520相邻并且沿路径1505定位的模型1300的段。

在另一实施方式中，系统可以基于识别腔网络1310的最后段1520与一个或更多个未映射段1530之间的一个或更多个未映射的交叉的位置来确定器械的远端位于路径在该处离开腔网络的映射部分的点的阈值范围内。在一种实现方式中，系统可以使用利用位于器械的远端处或附近的摄像装置捕获的图像。系统可以被配置成识别图像内的视觉对象，所述图像内的视觉对象表示腔网络1310中的交叉(例如，分叉)。系统可以使用检测到的视觉对象来估计最后段1520与未映射段1530之间的交叉的位置。

系统还可以基于器械的当前位置与交叉的位置之间的距离来确定器械的远端位于路径在该处离开腔网络的映射部分的点的阈值范围内。在某些实施方式中，系统可以确定器械的当前位置位于距多个未映射的交叉之一的位置限定距离内。

在框1420处，系统可以响应于确定器械的远端位于该点的阈值范围内而基于减小赋予第一模态的权重来更新器械的当前位置。除了或代替基于阈值范围来减小赋予第一模态的权重以外，系统还可以使用一个或更多个其他条件来减小赋予第一模态的权重。例如，一个这样的条件可以包括确定器械位于倒数第二段(例如，图15中的倒数第二段1525)内。另一条件可以包括确定器械位于距倒数第二段1525阈值距离内。在另一方面，该条件可以包括确定器械的当前位置位于距存在于最后段1520中的多个未映射交叉之一的位置限定距离内。

系统还可以被配置成响应于器械返回到腔网络的映射部分而增加赋予第一模态的权重。赋予第一模态的权重的这种增加可以包括在框1420中减小权重之前使权重返回到原始值。

在某些实现方式中，系统可以基于器械的当前位置确定器械的远端已经从腔网络的映射部分的外部(例如，从腔网络的未映射部分)返回到腔网络的映射部分。响应于确定器械的远端已经返回到腔网络的映射部分，系统可以基于增加赋予第一模态的权重来更新器械的当前位置。也就是说，系统可以返回到在基于EM的算法模块950、基于图像的算法模块960和基于机器人的算法模块970中的一个或更多个中使用来自3D模型数据存储装置940的3D模型数据。

对器械已经返回到腔网络的映射部分的确定还可以涉及系统存储器械在该处离开腔网络的映射部分位置的指示。例如，系统可以确定下述器械的位置，在该位置处对器械的位置的估计首次基于赋予第一模态的减小的权重。响应于确定器械被缩回到上述位置，系统然后可以确定器械已缩回到腔网络的映射部分内。

在一些实现方式中，赋予第一模态的权重的减小可以包括进入路径跟踪模式。路径跟踪模式可以包括例如系统在用户显示器上显示指示器械相对于模型的先前位置的视觉标记。路径跟踪模式也可以被称为“面包屑”模式，在该模式下，新的视觉标记以规则的间隔显示在用户显示器上。在某些实现方式中，视觉标记可以指示器械在腔网络内并且特别地在腔网络的未映射部分内的历史位置。取决于实施方式，当处于路径跟踪模式时，系统可以在不参考图像数据、EM数据和机器人数据中的至少一个的情况下确定器械的位置。在于2017年10月13日提交的美国申请第62/572,285号和于2018年9月26日提交的美国专利申请第16/143,362号中描述了可以用于计算偏移并将偏移应用至EM数据的某些实施方式，上述申请中的每一个的全部内容通过引用并入本文。

在其他实现方式中，赋予第一模态的权重的减小可以包括进入第二模态以确定器械的远端的位置。重新参照图9A，在第二模态中，系统900可以使用外部段导航模块907代替导航模块905来确定提供给输出导航数据存储装置990的输出导航数据。外部段导航模块907可以基于从EM数据存储装置920、机器人数据存储装置930、3D模型数据存储装置940和路径数据存储装置945中的至少一个接收的输入数据来定位(或确定)医疗器械在管状网络内的估计状态。如上面描述的，系统900可以基于从路径数据存储装置945接收的路径数据确定进入第二模态。

系统可以例如经由基于与模型的映射部分(例如3D模型数据)无关的位置数据(例如，EM数据和机器人数据)推导出器械的位置来在第二模态下确定器械的位置。特别地，外部段导航模块907可以使用从EM数据存储装置920、机器人数据存储装置930和3D模型数据存储装置940中的每一个接收的数据来确定EM数据的配准。另外，外部段导航模块907可以使用机器人数据来跟踪器械的插入和/或缩回的量。外部段导航模块907可以使用插入和/或缩回数据来确定器械是否已经缩回到在该处进入第二模态的点并且基于器械缩回到该点而切换回到第一模态。

当从使用导航模块905转变为使用外部段导航模块907时，外部段导航模块907还可以使用3D模型数据以将偏移施加至经配准的EM数据。该偏移可以防止输出导航数据中的突然跳跃，该突然跳跃可能在转变期间以另外的方式发生。在于2017年12月18日提交的美国申请第62/607,246号和于2018年12月14日提交的美国专利申请第16/221,020号中描述了可以用于计算偏移并将偏移施加至EM数据的某些实施方式，上述申请中的每一个的全部内容通过引用并入本文。在某些实现方式中，外部段导航模块907可以使用经配准的EM数据来产生输出导航数据。因此，外部段导航模块907可以在确定输出导航数据之前首先确定EM数据的配准。在一些实现方式中，系统900可以基于器械被驱动到腔网络中预定距离(例如，第三代段中)来确定配准。因此，外部段导航模块907可以响应于器械被驱动到第三代段(例如，图12的第三代段1241、1243、1245和1247)而开始产生输出导航数据。方法1400在框1425处结束。

将结合图15讨论可以用于确定路径是否离开腔网络的映射部分的多个示例实施方式。图15示出了根据本公开内容的各方面的图13的包括映射部分1320和未映射部分1330的腔网络1310的部分1350。如在图15的示例中所示，目标1510可以位于腔网络1310的未映射部分1320内。因此，路径1505在到达目标之前可能从腔网络1310的映射部分1320延伸到腔网络1310的未映射部分1320中。由于在选择路径1510时腔网络1310的未映射部分1320(例如，在如下面结合图17所讨论的术前路径规划期间)可能对于操作者而言无法查看，因此路径1505可能不一定跟随腔网络1310的未映射部分1320中的腔。在一些实施方式中，路径1505可以跟随路径1505的最终段1520与目标1510之间的基本直线。

如图15所示，模型1300包括多个段，包括第一段1520和第二段1525。第一段1520可以表示在路径1505离开腔网络1310的映射部分1320之前模型1300的最终段1520，同时第二段1525可以表示在路径1505离开腔网络1310的映射部分1320之前模型1300的倒数第二(也称为“倒数第二”)段1525。系统可以基于对最终段1520和/或倒数第二段1525的识别例如在图14所示的框1405处确定路径离开腔网络的映射部分1320。

在某些实施方式中，系统可以基于对最后段1520和/或倒数第二段1525的识别来确定路径1505在该处离开腔网络1310的映射部分1320的点。因此，系统可以基于确定路径1505从模型1300的最后段1520离开腔网络1310的映射部分1320来确定路径1505在到达目标1510之前离开腔网络1310的映射部分1320。

在另一实施方式中，系统可以基于确定器械位于距第二段1525阈值距离内来确定器械在到达目标1510之前离开腔网络1310的映射部分1320。因此，系统可以确定器械的当前位置与路径在该处离开腔网络1310的映射部分1320的点之间的距离，并将该距离与阈值距离进行比较。在一个实施方式中，系统可以将器械的当前位置与路径1505在该处离开腔网络1310的映射部分1320的点之间的距离确定为器械的当前位置与路径1505在该处离开腔网络1310的映射部分1320的点之间的路径1505的长度。在其他实施方式中，系统可以确定器械的当前位置与路径1505在该处离开腔网络1310的映射部分1320的点之间的欧几里得距离。

图16是根据本公开内容的方面的包括器械的远端的跟踪位置的3D模型的图。在图16的示例中，该图包括腔网络1600的3D模型、器械的第一组跟踪估计位置1605和器械的第二组跟踪估计位置1610。在图16中未示出腔网络1600的映射部分和未映射部分。

第一组跟踪估计位置1605表示在没有对赋予第一模态的权重进行任何改变的情况下如上面关于图14描述的那样如通过第一模态估计的器械的远端的估计位置。与之相比，第二组跟踪估计位置1610表示如上面关于图14描述的那样如通过第一模态估计的器械的远端的估计位置，包括在框1420中执行的对赋予第一模态的权重的减小。

在图16的示例中，器械被驱动到腔网络1600的映射部分的外部。由于在不改变赋予其权重的情况下使用第一模态，因此第一组跟踪估计位置1605继续使用来自3D模型数据存储装置940的术前3D模型数据，即使在器械离开腔网络1600的映射部分之后也是如此。因此，第一组跟踪估计位置1605与腔网络1600的未映射部分的位置并未紧密匹配，并且因此提供了对器械位置的不准确估计。第二组跟踪估计位置1610示出了其中赋予第一模态的权重被减小并且可以包括当器械位于模型的映射部分的倒数第二段时进入路径跟踪模式的实施方式。这里，由于从第一模态向第二模态的切换，因此第二组跟踪估计位置1610比第一组跟踪估计位置1605更紧密地跟踪腔网络1600的实际位置。

VII.导航准备的术前路径规划

到患者身体的管状网络中的特定点的导航可能涉及在术前采取某些步骤以生成用于创建管状网络的3D模型和确定导航路径的信息。图17示出了根据各种实施方式的用于手术器械(例如，器械端部)的准备以导航通过示例管状网络的示例术前方法。特别地，图17示出了用于将器械端部导航至管状网络内的特定部位的示例术前方法1700。在方法1700的每个步骤旁边，示出了相应图像以说明用于规划路径和导航通过管状网络的所涉及的数据的表示。

首先，在框1705处，获得基于管状网络的术前的模型数据(例如，CT扫描)生成的扫描/图像，并且来自CT扫描的数据提供关于管状网络的结构和连接的3D信息。例如，框1705处的图像示出了患者肺部的层析成像切片。

在框1710处，基于所获得的CT扫描数据生成3D模型，并且所生成的3D模型可以用于为管状网络的每个分支分配唯一标识，从而实现网络内的便捷导航。例如，框1710处的图像示出了患者的支气管网络的3D模型。

在框1715处，选择目标1716，并且该目标可以是例如要活检的病变或要手术修复的器官组织的一部分。在一个实施方式中，系统向用户提供能够通过与可以显示3D模型的计算机显示器连接例如通过用鼠标点击或触摸触摸屏来选择目标的位置的能力。然后可以向用户显示所选择的目标。例如，目标1716被标记在由步骤1710生成的3D支气管模型内。

在框1720处，从进入点1722到目标1716自动规划路径1721，并且路径1721识别网络内的要穿过的分支序列，以到达目标1716。在一个实施方式中，管状网络可以是树状的，路径1721可以由管状网络的结构唯一确定，而在另一实施方式中，管状网络可以是环状的，并且路径可以通过适当的算法例如最短路径算法来找到。

一旦已经确定了路径1721，则可以执行虚拟内窥镜1725以向用户提供内窥镜检查过程的预览。从步骤1710生成的3D模型用于在导航与3D模型对应的网络时生成如同由内窥镜端部看到的2D图像的序列。路径1721可以被显示为曲线，可以遵循该曲线以从进入点1722到达目标1716。

一旦虚拟内窥镜端部已经到达目标1716，则可以执行虚拟工具对准过程1730以向用户说明如何操纵内窥镜工具，以在目标处执行手术过程。例如，在图示中，用户操纵虚拟内窥镜活检针1731，以对位于支气管导管表面下方的病变1732进行活检。突出显示病变位置，使得用户可以将针与其对准，并且然后使用针刺穿支气管导管的表面并接近下方的病变。这模仿了在实际手术过程中将要采取的步骤，使得用户能够在进行手术前进行练习。

VII.实施系统和术语

本文公开的实现方式提供了用于管状网络的基于路径的导航的系统、方法和装置。

应当注意的是，如本文所使用的术语“耦合”、“耦接”、“耦连”或词语耦合的其他变型可以指示间接连接或直接连接。例如，如果第一部件“耦合”至第二部件，则第一部件可以经由另一部件间接连接至第二部件，或者直接连接至第二部件。

本文描述的基于路径的导航功能可以作为一个或更多个指令存储在处理器可读介质或计算机可读介质上。术语“计算机可读介质”是指可以由计算机或处理器访问的任何可用介质。作为示例而非限制，这种介质可以包括随机存取存储装置(RAM)、只读存储装置(ROM)、电可擦除可编程只读存储装置(EEPROM)、闪存、光盘只读存储装置(CD-ROM)或其他光盘存储设备，可以包括RAM、ROM、EEPROM、闪存、CD-ROM或其他光盘存储设备、磁盘存储设备或其他磁性存储设备或者可用于存储指令或数据结构形式并且可以由计算机访问的所需程序代码的任何其他介质。应当注意，计算机可读介质可以是有形的和非暂态的。如本文所使用的，术语“代码”可以指代可由计算设备或处理器执行的软件、指令、代码或数据。

本文公开的方法包括用于实现所描述的方法的一个或更多个步骤或动作。在不偏离权利要求的范围的情况下，所述方法步骤和/或动作可以彼此互换。换句话说，除非所描述的方法的正确操作需要特定的步骤或动作顺序，否则可以在不偏离权利要求的范围的情况下修改特定步骤和/或动作的顺序和/或使用。

如本文所使用的，术语“多个”表示两个或更多个。例如，多个部件表示两个或更多个部件。术语“确定”涵盖多种动作，并且因此，“确定”可以包括计算、估算、处理、推导、调查、查找(例如，在表、数据库或其他数据结构中查找)、判断等。而且，“确定”可以包括接收(例如，接收信息)、访问(例如，访问存储装置中的数据)等。此外，“确定”可以包括解析、选择、挑选、建立等。

除非另有明确说明，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”既描述了“仅基于”又描述了“至少基于”。

提供对所公开的实现方式的先前描述以使本领域的任何技术人员能够制造或使用本发明。对这些实现方式的各种修改对于本领域技术人员而言将是明显的，并且在不偏离本发明的范围的情况下，本文中定义的一般原理可以应用于其他实现方式。例如，将认识到，本领域的普通技术人员将能够采用许多相应的替代和等同的结构细节，例如紧固、安装、耦合或接合工具部件的等同方式，用于产生特定驱动运动的等同机构以及用于传送电能的等同机制。因此，本发明不旨在限于本文所示的实现方式，而是应被赋予与本文所公开的原理和新颖特征一致的最广范围。

Claims (57)

1.一种医疗机器人系统，包括：

一组处理器，所述一组处理器包括一个或更多个处理器；以及

至少一个计算机可读存储器，其与所述一组处理器通信，并且所述至少一个计算机可读存储器上存储有患者的腔网络的模型、目标相对于所述模型的位置以及从进入点到所述目标沿着所述模型的至少一部分的路径，所述存储器上还存储有用于使所述一组处理器执行以下操作的计算机可执行指令：

从一组位置传感器和一组机器人命令输入中的至少一个接收位置数据，所述位置数据指示被配置成驱动通过所述腔网络的器械的位置，

基于所述位置数据来确定所述器械在第一时间的位置的第一估计，

基于所述路径来确定所述器械在所述第一时间的位置的第二估计，以及

基于所述第一估计和所述第二估计来确定所述器械在所述第一时间的位置。

2.根据权利要求1所述的系统，其中，所述存储器上还存储有用于使所述一组处理器执行以下操作的计算机可执行指令：

确定与所述第二估计相关联的权重，

其中，所述器械的位置的确定还基于所述权重。

3.根据权利要求2所述的系统，其中：

所述模型包括多个段，每个段与代数相关联，所述代数基于所述腔网络中位于相应段与所述进入点之间的分支数目来确定，

所述存储器上还存储有用于使所述一组处理器执行以下操作的计算机可执行指令：

识别所述段中的所述器械所位于的第一段，以及

基于所述第一段的代数来确定用于所述第二估计的权重。

4.根据权利要求3所述的系统，其中，用于所述第二估计的权重的值随着代数增加而减小。

5.根据权利要求3所述的系统，其中，所述存储器上还存储有用于使所述一组处理器执行以下操作的计算机可执行指令：

确定所述第一段的代数大于阈值代数，以及

响应于确定所述第一段的代数大于所述阈值代数，将所述权重设置为零。

6.根据权利要求2所述的系统，其中，所述存储器上还存储有用于使所述一组处理器执行以下操作的计算机可执行指令：

确定所述器械的位置与所述进入点之间的距离，以及

基于所述距离来确定用于所述第二估计的权重。

7.根据权利要求2所述的系统，其中：

所述模型包括多个段，

所述存储器上还存储有用于使所述一组处理器执行以下操作的计算机可执行指令：

识别所述段中的所述器械所位于的第一段，

确定所述第一段的直径，以及

基于所述第一段的直径来确定用于所述第二估计的权重。

8.根据权利要求1所述的系统，其中：

所述一组位置传感器包括：

位于所述器械的远端处的摄像装置，所述摄像装置被配置成生成图像数据，以及

位于所述器械的所述远端处的一组电磁(EM)传感器，所述一组电磁(EM)传感器被配置成生成EM数据，所述一组电磁(EM)传感器包括一个或更多个电磁(EM)传感器，

所述存储器上还存储有用于使所述一组处理器执行以下操作的计算机可执行指令：基于所述机器人命令输入来确定指示所述器械的位置的机器人数据，以及

所述器械的位置的所述第一估计的确定还基于所述图像数据和所述EM数据。

9.一种非暂态计算机可读存储介质，其上存储有指令，所述指令在被执行时使至少一个计算设备执行以下操作：

从一组位置传感器和一组机器人命令输入中的至少一个接收位置数据，所述位置数据指示被配置成驱动通过患者的腔网络的器械的位置；

基于所述位置数据来确定所述器械在第一时间的位置的第一估计；

基于存储在至少一个计算机可读存储器上的路径来确定所述器械在所述第一时间的位置的第二估计，所述非暂态计算机可读存储介质上还存储有所述腔网络的模型、目标相对于所述模型的位置以及所述路径，所述路径被限定为从进入点到所述目标沿着所述模型的至少一部分；以及

基于所述第一估计和所述第二估计来确定所述器械在所述第一时间的位置。

10.根据权利要求9所述的非暂态计算机可读存储介质，其上还存储有指令，所述指令在被执行时使所述至少一个计算设备执行以下操作：

确定与所述第二估计相关联的权重，

其中，所述器械的位置的确定还基于所述权重。

11.根据权利要求10所述的非暂态计算机可读存储介质，其中：

所述模型包括多个段，每个段与代数相关联，所述代数基于所述腔网络中位于相应段与所述进入点之间的分支数目来确定，

所述非暂态计算机可读存储介质上还存储有指令，所述指令在被执行时使所述至少一个计算设备执行以下操作：

识别所述段中的所述器械所位于的第一段，以及

基于所述第一段的代数来确定用于所述第二估计的权重。

12.根据权利要求11所述的非暂态计算机可读存储介质，其中，用于所述第二估计的权重的值随着代数增加而减小。

13.根据权利要求11所述的非暂态计算机可读存储介质，其上还存储有指令，所述指令在被执行时使所述至少一个计算设备执行以下操作：

确定所述第一段的代数大于阈值代数，以及

响应于确定所述第一段的代数大于所述阈值代数，将所述权重设置为零。

14.根据权利要求10所述的非暂态计算机可读存储介质，其上还存储有指令，所述指令在被执行时使所述至少一个计算设备执行以下操作：

确定所述器械的位置与所述进入点之间的距离，以及

基于所述距离来确定用于所述第二估计的权重。

15.根据权利要求10所述的非暂态计算机可读存储介质，其中：

所述模型包括多个段，

所述非暂态计算机可读存储介质上还存储有指令，所述指令在被执行时使所述至少一个计算设备执行以下操作：

识别所述段中的所述器械所位于的第一段，

确定所述第一段的直径，以及

基于所述第一段的直径来确定用于所述第二估计的权重。

16.根据权利要求9所述的非暂态计算机可读存储介质，其中：

所述一组位置传感器包括：

位于所述器械的远端处的摄像装置，所述摄像装置被配置成生成图像数据，以及

位于所述器械的所述远端处的一组电磁(EM)传感器，所述一组电磁(EM)传感器被配置成生成EM数据，所述一组电磁(EM)传感器包括一个或更多个电磁(EM)传感器，

所述非暂态计算机可读存储介质上还存储有指令，所述指令在被执行时使所述至少一个计算设备执行以下操作：基于所述机器人命令输入来确定指示所述器械的位置的机器人数据，以及

所述器械的位置的所述第一估计的确定还基于所述图像数据和所述EM数据。

17.一种估计器械的位置的方法，包括：

从一组位置传感器和一组机器人命令输入中的至少一个接收位置数据，所述位置数据指示被配置成驱动通过患者的腔网络的器械的位置；

基于所述位置数据来确定所述器械在第一时间的位置的第一估计；

基于存储在至少一个计算机可读存储器上的路径来确定所述器械在所述第一时间的位置的第二估计，至少一个计算机可读存储器上存储有所述腔网络的模型、目标相对于所述模型的位置以及所述路径，所述路径被限定为从进入点到所述目标沿着所述模型的至少一部分；以及

基于所述第一估计和所述第二估计来确定所述器械在所述第一时间的位置。

18.根据权利要求17所述的方法，还包括：

确定与所述第二估计相关联的权重，

其中，所述器械的位置的确定还基于所述权重。

19.根据权利要求18所述的方法，其中：

所述模型包括多个段，每个段与代数相关联，所述代数基于所述腔网络中位于相应段与所述进入点之间的分支数目来确定，

所述方法还包括：

识别所述段中的所述器械所位于的第一段，以及

基于所述第一段的代数来确定用于所述第二估计的权重。

20.根据权利要求19所述的方法，其中，用于所述第二估计的权重的值随着代数增加而减小。

21.根据权利要求19所述的方法，还包括：

确定所述第一段的代数大于阈值代数，以及

响应于确定所述第一段的代数大于所述阈值代数，将所述权重设置为零。

22.根据权利要求18所述的方法，还包括：

确定所述器械的位置与所述进入点之间的距离，以及

基于所述距离来确定用于所述第二估计的权重。

23.根据权利要求18所述的方法，其中：

所述模型包括多个段，

所述方法还包括：

识别所述段中的所述器械所位于的第一段，

确定所述第一段的直径，以及

基于所述第一段的直径来确定用于所述第二估计的权重。

24.根据权利要求17所述的方法，其中：

所述一组位置传感器包括：

位于所述器械的远端处的摄像装置，所述摄像装置被配置成生成图像数据，以及

位于所述器械的所述远端处的一组电磁(EM)传感器，所述一组电磁(EM)传感器被配置成生成EM数据，所述一组电磁(EM)传感器包括一个或更多个电磁(EM)传感器，

所述方法还包括：基于所述机器人命令输入来确定指示所述器械的位置的机器人数据，以及

所述器械的位置的所述第一估计的确定还基于所述图像数据和所述EM数据。

25.一种医疗机器人系统，包括：

一组处理器，所述一组处理器包括一个或更多个处理器；以及

至少一个计算机可读存储器，其与所述一组处理器通信，并且所述至少一个计算机可读存储器上存储有患者的腔网络的映射部分的模型、目标相对于所述模型的位置以及从进入点到所述目标沿着所述模型的至少一部分的路径，所述存储器上还存储有用于使所述一组处理器执行以下操作的计算机可执行指令：

确定所述路径在到达所述目标之前离开所述腔网络的所述映射部分，

经由至少第一模态来显示器械的当前位置，所述第一模态基于从一组位置传感器接收到的位置数据和所述模型的所述映射部分推导出位置，所述器械被配置成驱动通过所述腔网络，所述一组位置传感器包括一个或更多个位置传感器，

基于所述当前位置来确定所述器械的远端位于所述路径离开所述腔网络的所述映射部分所在的点的阈值范围内，以及

响应于确定所述器械的所述远端位于所述点的所述阈值范围内，基于赋予所述第一模态的权重的减小来更新所述器械的当前位置。

26.根据权利要求25所述的系统，其中：

所述模型包括多个段，

确定所述路径在到达所述目标之前离开所述腔网络的所述映射部分包括根据所述模型的第一段来确定所述路径离开所述腔网络的所述映射部分，以及

所述存储器上还存储有用于使所述一组处理器执行以下操作的计算机可执行指令：确定所述器械位于邻近所述第一段并且沿着所述路径定位的第二段内，以及

基于赋予所述第一模态的减小的权重来更新所述器械的当前位置还响应于确定所述器械位于所述第二段内。

27.根据权利要求26所述的系统，其中：

确定所述路径在到达所述目标之前离开所述腔网络的所述映射部分还包括确定所述器械在距所述第二段阈值距离内，以及

基于赋予所述第一模态的减小的权重来更新所述器械的当前位置还响应于确定所述器械在距所述第二段所述阈值距离内。

28.根据权利要求26所述的系统，其中，所述存储器上还存储有用于使所述一组处理器执行以下操作的计算机可执行指令：

基于所述当前位置来确定所述器械的所述远端已经从所述腔网络的所述映射部分的外部返回至所述腔网络的所述映射部分，以及

响应于确定所述器械的所述远端已经从所述腔网络的所述映射部分的外部返回至所述腔网络的所述映射部分，基于赋予所述第一模态的权重的增加来更新所述器械的当前位置。

29.根据权利要求28所述的系统，其中，确定所述器械的所述远端已经从所述腔网络的所述映射部分的外部返回至所述腔网络的所述映射部分包括：

确定所述器械的第一位置，在所述第一位置处首次基于赋予所述第一模态的减小的权重更新所述器械的当前位置，以及

确定所述器械缩回至所述第一位置。

30.根据权利要求25所述的系统，其中：

所述模型包括多个段，

确定所述路径在到达所述目标之前离开所述腔网络的所述映射部分包括根据所述模型的第一段来确定所述路径离开所述腔网络的所述映射部分，

所述存储器上还存储有用于使所述一组处理器执行以下操作的计算机可执行指令：

识别在所述第一段与所述腔网络的一个或更多个未映射段之间的多个未映射交叉中之一的位置，以及

确定所述器械的当前位置在距所述多个未映射交叉之一的位置限定距离内，以及

基于赋予所述第一模态的减小的权重来更新所述器械的当前位置还响应于确定所述器械的当前位置在距所述多个未映射交叉之一的位置限定距离内。

31.根据权利要求25所述的系统，其中，所述存储器上还存储有用于使所述一组处理器执行以下操作的计算机可执行指令：

响应于确定所述器械的当前位置在所述点的所述阈值范围内，进入路径跟踪模式，以及

当处于所述路径跟踪模式时，在用户显示器上显示指示所述器械相对于所述模型的先前位置的视觉标记。

32.根据权利要求31所述的系统，其中，所述视觉标记指示所述器械在所述腔网络内的历史位置。

33.根据权利要求31所述的系统，其中：

当未处于所述路径跟踪模式时，所述第一模态基于图像数据、电磁(EM)数据和机器人数据推导出所述器械的位置。

34.根据权利要求33所述的系统，其中，所述存储器上还存储有用于使所述一组处理器执行以下操作的计算机可执行指令：

当处于所述路径跟踪模式时，在不参考所述图像数据、所述EM数据和所述机器人数据中的至少一个的情况下确定所述器械的位置。

35.根据权利要求25所述的系统，其中，所述存储器上还存储有用于使所述一组处理器执行以下操作的计算机可执行指令：

响应于确定所述器械的所述远端位于所述点的所述阈值范围内，经由至少第二模态来更新所述器械的当前位置，其中，所述第二模态基于所述位置数据并且独立于所述模型的所述映射部分推导出所述位置。

36.一种非暂态计算机可读存储介质，其上存储有指令，所述指令在被执行时使至少一个计算设备执行以下操作：

确定路径在到达目标之前离开患者的腔网络的映射部分，至少一个计算机可读存储器上存储有所述腔网络的所述映射部分的模型、所述目标相对于所述模型的位置以及从进入点到所述目标沿着所述模型的至少一部分的路径；

经由至少第一模态来显示器械的当前位置，所述第一模态基于从一组位置传感器接收到的位置数据和所述模型的所述映射部分推导出位置，所述器械被配置成驱动通过所述腔网络，所述一组位置传感器包括一个或更多个位置传感器；

基于所述当前位置来确定所述器械的远端在所述路径离开所述腔网络的所述映射部分所在的点的阈值范围内；以及

响应于确定所述器械的所述远端在所述点的所述阈值范围内，基于赋予所述第一模态的权重的减小来更新所述器械的当前位置。

37.根据权利要求36所述的非暂态计算机可读存储介质，其中：

所述模型包括多个段，

确定所述路径在到达所述目标之前离开所述腔网络的所述映射部分包括根据所述模型的第一段来确定所述路径离开所述腔网络的所述映射部分，以及

所述非暂态计算机可读存储介质上还存储有指令，所述指令在被执行时使所述至少一个计算设备执行以下操作：确定所述器械位于邻近所述第一段并且沿着所述路径定位的第二段内，以及

基于赋予所述第一模态的减小的权重来更新所述器械的当前位置还响应于确定所述器械位于所述第二段内。

38.根据权利要求37所述的非暂态计算机可读存储介质，其中：

确定所述路径在到达所述目标之前离开所述腔网络的所述映射部分还包括确定所述器械在距所述第二段阈值距离内，以及

基于赋予所述第一模态的减小的权重来更新所述器械的当前位置还响应于确定所述器械在距所述第二段所述阈值距离内。

39.根据权利要求37所述的非暂态计算机可读存储介质，其中，所述非暂态计算机可读存储介质上还存储有指令，所述指令在被执行时使所述至少一个计算设备执行以下操作：

基于所述当前位置来确定所述器械的所述远端已经从所述腔网络的所述映射部分的外部返回至所述腔网络的所述映射部分，以及

响应于确定所述器械的所述远端已经从所述腔网络的所述映射部分的外部返回至所述腔网络的所述映射部分，基于赋予所述第一模态的权重的增加来更新所述器械的当前位置。

40.根据权利要求39所述的非暂态计算机可读存储介质，其中，确定所述器械的所述远端已经从所述腔网络的所述映射部分的外部返回至所述腔网络的所述映射部分包括：

确定所述器械的第一位置，在所述第一位置处首次基于赋予所述第一模态的减小的权重更新所述器械的当前位置，以及

确定所述器械缩回至所述第一位置。

41.根据权利要求36所述的非暂态计算机可读存储介质，其中：

所述模型包括多个段，

确定所述路径在到达所述目标之前离开所述腔网络的所述映射部分包括根据所述模型的第一段来确定所述路径离开所述腔网络的所述映射部分，

所述非暂态计算机可读存储介质上还存储有指令，所述指令在被执行时使所述至少一个计算设备执行以下操作：

识别在所述第一段与所述腔网络的一个或更多个未映射段之间的多个未映射交叉之一的位置，以及

确定所述器械的当前位置在距所述多个未映射交叉之一的位置限定距离内，以及

基于赋予所述第一模态的减小的权重来更新所述器械的当前位置还响应于确定所述器械的当前位置在距所述多个未映射交叉之一的位置限定距离内。

42.根据权利要求36所述的非暂态计算机可读存储介质，其中，所述非暂态计算机可读存储介质上还存储有指令，所述指令在被执行时使所述至少一个计算设备执行以下操作：

响应于确定所述器械的当前位置在所述点的所述阈值范围内，进入路径跟踪模式，以及

当处于所述路径跟踪模式时，在用户显示器上显示指示所述器械相对于所述模型的先前位置的视觉标记。

43.根据权利要求42所述的非暂态计算机可读存储介质，其中，所述视觉标记指示所述器械在所述腔网络内的历史位置。

44.根据权利要求42所述的非暂态计算机可读存储介质，其中：

当未处于所述路径跟踪模式时，所述第一模态基于图像数据、电磁(EM)数据和机器人数据推导出所述器械的位置。

45.根据权利要求44所述的非暂态计算机可读存储介质，其中，所述非暂态计算机可读存储介质上还存储有指令，所述指令在被执行时使所述至少一个计算设备执行以下操作：

当处于所述路径跟踪模式时，在不参考所述图像数据、所述EM数据和所述机器人数据中的至少一个的情况下确定所述器械的位置。

46.根据权利要求36所述的非暂态计算机可读存储介质，其中，所述非暂态计算机可读存储介质上还存储有指令，所述指令在被执行时使所述至少一个计算设备执行以下操作：

响应于确定所述器械的所述远端在所述点的所述阈值范围内，经由至少第二模态来更新所述器械的当前位置，其中，所述第二模态基于所述位置数据并且独立于所述模型的所述映射部分推导出所述位置。

47.一种确定器械的位置的方法，包括：

确定路径在到达目标之前离开患者的腔网络的映射部分，至少一个计算机可读存储器上存储有所述腔网络的所述映射部分的模型、所述目标相对于所述模型的位置以及从进入点到所述目标沿着所述模型的至少一部分的路径；

经由至少第一模态来显示器械的当前位置，所述第一模态基于从一组位置传感器接收到的位置数据和所述模型的所述映射部分推导出位置，所述器械被配置成驱动通过所述腔网络，所述一组位置传感器包括一个或更多个位置传感器；

基于所述当前位置来确定所述器械的远端在所述路径离开所述腔网络的所述映射部分所在的点的阈值范围内；以及

响应于确定所述器械的所述远端位于所述点的所述阈值范围内，基于赋予所述第一模态的权重的减小来更新所述器械的当前位置。

48.根据权利要求47所述的方法，其中：

所述模型包括多个段，

确定所述路径在到达所述目标之前离开所述腔网络的所述映射部分包括根据所述模型的第一段来确定所述路径离开所述腔网络的所述映射部分，以及

所述方法还包括：确定所述器械位于邻近所述第一段并且沿着所述路径定位的第二段内，以及

基于赋予所述第一模态的减小的权重来更新所述器械的当前位置还响应于确定所述器械位于所述第二段内。

49.根据权利要求48所述的方法，还包括：

确定所述路径在到达所述目标之前离开所述腔网络的所述映射部分还包括确定所述器械在距所述第二段阈值距离内，以及

基于赋予所述第一模态的减小的权重来更新所述器械的当前位置还响应于确定所述器械在距所述第二段所述阈值距离内。

50.根据权利要求48所述的方法，还包括：

基于所述当前位置来确定所述器械的所述远端已经从所述腔网络的所述映射部分的外部返回至所述腔网络的所述映射部分，以及

响应于确定所述器械的所述远端已经从所述腔网络的所述映射部分的外部返回至所述腔网络的所述映射部分，基于赋予所述第一模态的权重的增加来更新所述器械的当前位置。

51.根据权利要求50所述的方法，其中，确定所述器械的所述远端已经从所述腔网络的所述映射部分的外部返回至所述腔网络的所述映射部分包括：

确定所述器械的第一位置，在所述第一位置处首次基于赋予所述第一模态的减小的权重更新所述器械的当前位置，以及

确定所述器械缩回至所述第一位置。

52.根据权利要求47所述的方法，其中：

所述模型包括多个段，

确定所述路径在到达所述目标之前离开所述腔网络的所述映射部分包括根据所述模型的第一段来确定所述路径离开所述腔网络的所述映射部分，

所述方法还包括：

识别在所述第一段与所述腔网络的一个或更多个未映射段之间的多个未映射交叉之一的位置，以及

确定所述器械的当前位置在距所述多个未映射交叉之一的位置限定距离内，以及

基于赋予所述第一模态的减小的权重来更新所述器械的当前位置还响应于确定所述器械的当前位置在距所述多个未映射交叉之一的位置限定距离内。

53.根据权利要求47所述的方法，还包括：

响应于确定所述器械的当前位置在所述点的所述阈值范围内，进入路径跟踪模式，以及

当处于所述路径跟踪模式时，在用户显示器上显示指示所述器械相对于所述模型的先前位置的视觉标记。

54.根据权利要求53所述的方法，其中，所述视觉标记指示所述器械在所述腔网络内的历史位置。

55.根据权利要求53所述的方法，其中：

当未处于所述路径跟踪模式时，所述第一模态基于图像数据、电磁(EM)数据和机器人数据推导出所述器械的位置。

56.根据权利要求55所述的方法，还包括：

当处于所述路径跟踪模式时，在不参考所述图像数据、所述EM数据和所述机器人数据中的至少一个的情况下确定所述器械的位置。

57.根据权利要求47所述的方法，还包括：

响应于确定所述器械的所述远端在所述点的所述阈值范围内，经由至少第二模态来更新所述器械的当前位置，其中，所述第二模态基于所述位置数据并且独立于所述模型的所述映射部分推导出所述位置。

Images