CN112236083A - 用于导航检测生理噪声的管腔网络的机器人系统和方法 - Google Patents

Abstract

本发明提供了用于导航检测生理噪声的管腔网络的机器人系统和方法。在一个方面，系统包括一组一个或多个处理器，该组一个或多个处理器被配置成：从位于器械上的图像传感器接收第一图像数据和第二图像数据；检测第一图像数据的一组一个或多个感兴趣的点；并且识别分别对应于第一图像数据和第二图像数据中的一组点的一组第一位置和一组第二位置。一组处理器被进一步配置成：基于一组第一位置和一组第二位置，来检测基于该组第一位置和该组第二位置由管腔网络相对于器械的运动引起的器械在管腔网络内的位置变化。

Description

用于导航检测生理噪声的管腔网络的机器人系统和方法

相关申请的交叉引用

本申请要求2018年5月31日提交的美国临时专利申请62/678520的权益，该专利申请据此全文以引用方式并入。

技术领域

本文所公开的系统和方法涉及外科机器人，并且更具体地涉及管腔内导航。

背景技术

支气管镜检是允许医师检查患者的肺气道诸如支气管和细支气管的内部状况的医疗规程。肺气道将空气从气管或气道运送到肺。在医疗规程期间，可将被称为支气管镜的细的柔性管状工具插入患者的口中并向下穿过患者的喉部进入他/她的肺气道，并且患者通常被麻醉以便放松他们的喉部和肺腔以用于在医疗规程期间进行外科检查和手术。

在相关领域中，支气管镜可包括光源和允许医师检查患者的气管和气道的小相机，并且刚性管可结合支气管镜使用以用于外科目的，例如，当患者肺中存在大量出血时或者当大物体阻塞患者的喉部时。当使用刚性管时，患者通常被麻醉。机器人支气管镜在管状网络中进行导航时提供了巨大优势。它们可便于使用，并且允许即使在支气管镜检阶段期间也方便地施用治疗和活检。

除了机械装置或平台(例如，上述机器人支气管镜)之外，可使用各种方法和软件模型来帮助进行外科手术。例如，患者肺部的计算机断层摄影(CT)扫描通常在外科检查的术前期间执行。来自CT扫描的数据可用于生成患者肺部的气道的三维(3D)模型，并且所生成的3D模型使得医师能够访问在外科检查的操作过程期间可能有用的视觉参考。

然而，即使在采用医疗装置(例如，机器人支气管镜)时以及在使用现有方法(例如，执行CT扫描并生成3D模型)时，用于导航管状网络的先前技术仍具有挑战性。例如，基于装置的位置和取向变化，患者体内的医疗装置(例如，支气管镜工具)的运动估计可能不准确，并且因此装置的位置可能无法准确或正确地实时定位在患者体内。此类器械的不准确的位置信息可能会为在医疗操作过程期间使用3D模型作为视觉参考的医师提供误导性信息。

因此，需要用于在管状结构的网络中进行导航的改进技术。

发明内容

在一个方面，提供了一种医疗机器人系统，该医疗机器人系统包括一组一个或多个处理器；以及至少一个计算机可读存储器，该至少一个计算机可读存储器与该组处理器通信并具有存储在其上的计算机可执行指令，以致使该组处理器：从位于器械上的图像传感器接收第一图像数据，器械被配置成被驱动通过患者的管腔网络；检测第一图像数据的一组一个或多个感兴趣的点；识别分别对应于第一图像数据中的该组点的一组第一位置；从图像传感器接收第二图像数据；检测第二图像数据中的一组一个或多个点；识别分别对应于第二图像数据中的该组点的一组第二位置；并且基于该组第一位置和该组第二位置，来检测由管腔网络相对于器械的运动引起的器械在管腔网络内的位置变化。

在另一方面，提供了一种其上存储有指令的非暂态计算机可读存储介质，这些指令在被执行时致使至少一个计算装置：从位于器械上的图像传感器接收第一图像数据，所述器械被配置成被驱动通过患者的管腔网络；检测第一图像数据的一组一个或多个感兴趣的点；识别分别对应于第一图像数据中的该组点的一组第一位置；从图像传感器接收第二图像数据；检测所述第二图像数据中的一组一个或多个点；识别分别对应于所述第二图像数据中的该组点的一组第二位置；并且基于该组第一位置和该组第二位置，来检测由管腔网络相对于器械的运动引起的器械在管腔网络内的位置变化。

在又一方面，提供了一种用于检测器械的位置变化的方法，该方法包括：从位于器械上的图像传感器接收第一图像数据，该器械被配置成被驱动通过患者的管腔网络；检测第一图像数据的一组一个或多个感兴趣的点；识别分别对应于第一图像数据中的该组点的一组第一位置；从图像传感器接收第二图像数据；检测第二图像数据中的一组一个或多个点；识别分别对应于所述第二图像数据中的该组点的一组第二位置；并且基于该组第一位置和该组第二位置，检测由管腔网络相对于器械的运动引起的器械在管腔网络内的位置变化。

附图说明

下文将结合附图描述所公开的方面，该附图被提供以说明而非限制所公开的方面，其中类似的标号表示类似的元件。

图1A示出了根据一个实施方案的示例性外科机器人系统。

图1B至图1F示出了根据一个实施方案的耦接到图1A所示的外科机器人系统的机器人平台的各种透视图。

图2示出了根据一个实施方案的用于示例性外科机器人系统的示例性命令控制台。

图3A示出了根据一个实施方案的图1A所示的器械装置操纵器(IDM)的示例性独立驱动机构的等轴视图。

图3B示出了根据一个实施方案的概念图，该概念图示出可如何通过图3A所示的独立驱动机构的应变仪来测量力。

图4A示出了根据一个实施方案的示例性内窥镜的顶视图。

图4B示出了根据一个实施方案的图4A所示的内窥镜的示例性内窥镜末端。

图5示出了根据一个实施方案的包括在外科机器人系统中的EM跟踪系统的示例性示意性设置。

图6A至图6B示出了根据一个实施方案的示例性解剖管腔和解剖管腔的示例性3D模型。

图7示出了根据一个实施方案的表示解剖空间的计算机生成的3D模型。

图8A至图8D示出了根据一个实施方案的示出EM系统与通过管状网络的路径的3D模型的动态配准的示例性曲线图。

图8E至图8F示出了根据一个实施方案的EM系统与分支管状网络的3D模型的示例性配准的效果。

图9A示出了根据一个实施方案的导航配置系统的示例框图的高级概览。

图9B示出了根据一个实施方案的图9A所示导航模块的示例性框图。

图9C示出了根据一个实施方案的包括在状态估计器中的估计状态数据存储库的示例性框图。

图10A示出了根据本公开的各方面的运动估计模块的示例性框图。

图10B示出了根据一个示例的对象检测模块的示例性框图。

图10C示出了根据一个实施方案的对象映射模块的示例性框图。

图10D示出了根据一个实施方案的拓扑推理模块的示例性框图。

图11A至图11B示出了根据一个实施方案的由对象映射模块执行的示例性对象到管腔的映射。

图12是示出根据本公开的各方面的可由机器人系统或其部件操作以用于检测生理噪声的示例性方法的流程图。

图13A示出了根据本公开的各方面的由图像传感器在第一时间点处捕获的示例性图像数据。

图13B示出了根据本公开的各方面的由图像传感器在第一时间点之后的第二时间点处捕获的图像数据的另一个示例。

图13C示出了根据本公开的各方面的图13A至图13B所示的图像数据帧之间的示例性像素的位置变化的示例。

图13D示出了根据本公开的各方面的图13A至图13B所示的图像数据帧之间的示例性像素的位置变化的另一个示例。

图14A至图14B示出了根据本公开的各方面的可累积尺度变化值的图像数据帧序列内的两个图像数据帧的示例。

图15A至图15B是示出根据本公开的各方面的图像数据帧序列上的累积尺度变化值的变化的曲线图。

现在将具体地参考若干实施方案，其示例在附图中示出。应当指出的是，只要可行，相似或相同的参考标号可用于附图并且可表示相似或相同的功能。附图仅出于说明目的描绘了本文所述系统(或方法)的实施方案。本领域的技术人员将从以下描述容易地认识到可在不脱离本文所述原理的情况下采用本文所示的结构和方法的另选的实施方案。

具体实施方式

I.外科机器人系统

图1A示出了根据一个实施方案的示例性外科机器人系统100。外科机器人系统100包括基部101，该基部耦接到一个或多个机器人臂，例如机器人臂102。基部101通信地耦接到在章节II.命令控制台中参考图2进一步描述的命令控制台。基部101可被定位成使得机器人臂102能够进入以对患者执行外科手术，而用户诸如医师可根据命令控制台的舒适度来控制外科机器人系统100。在一些实施方案中，基部101可耦接到外科手术台或床以用于支撑患者。尽管为了清楚起见在图1A中未示出，但基部101可包括子系统，诸如控制电子器件、气动装置、功率源、光源等。机器人臂102包括在接头111处耦接的多个臂段110，这为机器人臂102提供多个自由度，例如，对应于七个臂段的七个自由度。基部101可包含电源112、气动压力装置113以及控制和传感器电子器件114—包括诸如中央处理单元、数据总线、控制电路和存储器的部件—以及诸如马达的相关致动器以使机器人臂102运动。基部101中的电子器件114还可处理和传输从命令控制台传达的控制信号。

在一些实施方案中，基部101包括轮子115以运输外科机器人系统100。外科机器人系统100的运动性帮助适应外科手术室中的空间约束并且有利于外科设备的适当定位和运动。此外，移动性允许将机器人臂102配置为使得机器人臂102不妨碍患者、医师、麻醉师或任何其它设备。在程序期间，用户可使用控制装置诸如命令控制台来控制机器人臂102。

在一些实施方案中，机器人臂102包括使用制动器和反向平衡装置的组合来保持机器人臂102的位置的装配接头。反向平衡装置可包括气弹簧或螺旋弹簧。制动器(例如故障保险制动器)可包括机械部件和/或电子部件。此外，机器人臂102可以是重力辅助被动支撑型机器人臂。

每个机器人臂102可使用机构变换器接口(MCI)116耦接到器械装置操纵器(IDM)117。可移除IDM 117并且替换成不同类型的IDM，例如，第一类型的IDM操纵内窥镜，而第二类型的IDM操纵腹腔镜。MCI 116包括用于将气动压力、电功率、电信号和光信号从机器人臂102传递到IDM 117的连接器。MCI 116可以是定位螺钉或基板连接器。IDM 117使用包括直接驱动、谐波驱动、齿轮驱动、皮带和滑轮、磁驱动等的技术操纵外科器械诸如内窥镜118。MCI 116可基于IDM 117的类型互换，并且可针对某一类型的外科手术进行定制。机器人102臂可包括关节级扭矩感测和在远侧端部处的腕部，诸如KUKA

LBR5机器人臂。

内窥镜118是插入患者的解剖结构中以捕获解剖结构(例如，身体组织)的图像的管状柔性外科器械。具体地，内窥镜118包括捕获图像的一个或多个成像装置(例如，相机或其它类型的光学传感器)。成像装置可包括一个或多个光学部件，诸如光纤、纤维阵列或透镜。光学部件与内窥镜118的末端一起运动，使得内窥镜118的末端的运动导致由成像装置捕获的图像的变化。内窥镜118在章节IV.内窥镜中参考图3A至图4B进一步描述。

外科机器人系统100的机器人臂102使用细长运动构件操纵内窥镜118。细长运动构件可包括拉线(也称为推拉线)、缆线、纤维或柔性轴。例如，机器人臂102致动耦接到内窥镜118的多根拉线以使内窥镜118的末端偏转。拉线可包含金属材料和非金属材料两者，诸如不锈钢、Kevlar、钨、碳纤维等。内窥镜118可响应于由细长运动构件施加的力而表现出非线性行为。该非线性行为可基于内窥镜118的刚度和可压缩性，以及不同细长运动构件之间的松弛度或刚度的可变性。

图1B至图1F示出了根据各种实施方案的耦接到机器人平台150(或外科床)的外科机器人系统100的各种透视图。具体地，图1B示出了外科机器人系统100的侧视图，其中机器人臂102操纵内窥镜118以将内窥镜插入患者体内，并且患者躺在机器人平台150上。图1C示出了外科机器人系统100和机器人平台150的顶视图，并且由机器人臂操纵的内窥镜118被插入患者体内。图1D示出了外科机器人系统100和机器人平台150的透视图，并且内窥镜118被控制为平行于机器人平台水平定位。图1E示出了外科机器人系统100和机器人平台150的另一个透视图，并且内窥镜118被控制为相对垂直于机器人平台定位。更详细地，在图1E中，机器人平台150的水平表面与内窥镜118之间的角度为75度。图1F示出了图1E所示的外科机器人系统100和机器人平台150的透视图，并且更详细地，内窥镜118与虚拟线160之间的角度为90度，所述虚拟线连接内窥镜的一个端部180和与远离机器人平台相对较远定位的机器人臂102。

II.命令控制台

图2示出了根据一个实施方案的用于示例性外科机器人系统100的示例性命令控制台200。命令控制台200包括控制台基部201、显示模块202例如监视器以及控制模块例如键盘203和操纵杆204。在一些实施方案中，命令控制台200功能中的一个或多个功能可集成到外科机器人系统100的基部101或通信地耦接到外科机器人系统100的另一个系统中。用户205例如医师使用命令控制台200从人体工程学位置远程控制外科机器人系统100。

控制台基部201可包括中央处理单元、存储器单元、数据总线和相关联的数据通信端口，它们负责解释和处理信号诸如相机影像并且跟踪例如来自图1所示的内窥镜118的传感器数据。在一些实施方案中，控制台基部201和基部101两者都执行信号处理以实现负载平衡。控制台基部201还可处理由用户205通过控制模块203和204提供的命令和指令。除了图2所示的键盘203和操纵杆204之外，控制模块还可包括其它装置，例如计算机鼠标、触控板、轨迹球、控制盘、视频游戏控制器以及捕获手姿势和手指姿势的传感器(例如，运动传感器或相机)。

用户205可使用命令控制台200在速度模式或位置控制模式中控制外科器械，诸如内窥镜118。在速度模式中，用户205使用控制模块基于直接手动控制来直接控制内窥镜118的远侧端部的俯仰和偏航运动。例如，可将操纵杆204上的运动映射到内窥镜118的远侧端部中的偏航和俯仰运动。操纵杆204可向用户205提供触觉反馈。例如，操纵杆204振动以指示内窥镜118无法在某一方向上进一步平移或旋转。命令控制台200还可提供视觉反馈(例如，弹出消息)和/或听觉反馈(例如，哔哔声)以指示内窥镜118已达到最大平移或旋转。

在位置控制模式中，命令控制台200使用患者的三维(3D)地图和患者的预先确定的计算机模型来控制外科器械，例如内窥镜118。命令控制台200向外科机器人系统100的机器人臂102提供控制信号以将内窥镜118操纵到靶标位置。由于依赖于3D地图，位置控制模式需要患者的解剖结构的准确制图。

在一些实施方案中，用户205可在不使用命令控制台200的情况下手动操纵外科机器人系统100的机器人臂102。在外科手术室中的装配期间，用户205可运动机器人臂102、内窥镜118和其它外科设备以进入患者体内。外科机器人系统100可依赖来自用户205的力反馈和惯性控制来确定机器人臂102和设备的适当构型。

显示模块202可包括电子监视器、虚拟现实观看装置例如护目镜或眼镜和/或显示装置的其它装置。在一些实施方案中，显示模块202与控制模块集成，例如集成为具有触摸屏的平板装置。此外，用户205可使用集成的显示模块202和控制模块来观看数据并且将命令输入到外科机器人系统100。

显示模块202可使用立体装置例如遮阳板或护目镜来显示3D图像。3D图像提供“内视图”(即，内窥镜视图)，它是示出患者的解剖结构的计算机3D模型。“内视图”提供患者内部的虚拟环境和内窥镜118在患者体内的预期位置。用户205将“内视图”模型与由相机捕获的实际图像进行比较，以帮助在精神上定向并且确认内窥镜118在患者体内处于正确—或大致正确—的位置。“内视图”提供关于内窥镜118的远侧端部周围的解剖结构的信息，例如患者的小肠或结肠的形状。显示模块202可同时显示内窥镜118的远侧端部周围的解剖结构的3D模型和计算机断层摄影(CT)扫描。另外，显示模块202可将已经确定的内窥镜118的导航路径叠加在3D模型和基于术前模型数据生成的扫描/图像(例如，CT扫描)上。

在一些实施方案中，内窥镜118的模型与3D模型一起显示以帮助指示外科手术的状态。例如，CT扫描识别可能需要进行活检的解剖结构中的病变。在操作期间，显示模块202可示出对应于内窥镜118的当前位置的由内窥镜118捕获的参考图像。显示模块202可根据用户设置和特定外科手术自动显示内窥镜118的模型的不同视图。例如，显示模块202示出在导航步骤期间在内窥镜118接近患者的操作区域时的内窥镜118的顶部荧光镜视图。

III.器械装置操纵器

图3A示出根据一个实施方案的图1所示IDM 117的示例性独立驱动机构的等轴视图。独立驱动机构可通过分别旋转IDM 117的输出轴305、306、307和308来收紧或松开内窥镜的拉线321、322、323和324(例如，彼此独立)。正如输出轴305、306、307和308通过角运动分别向下将力传递到拉线321、322、323和324一样，拉线321、322、323和324将力传递回到输出轴。IDM 117和/或外科机器人系统100可使用传感器(例如，下文进一步描述的应变仪)测量所传递的力。

图3B示出了根据一个实施方案的概念图，该概念图示出可如何通过图3A所示的独立驱动机构的应变仪334来测量力。力331可远离耦接到马达337的马达安装架333的输出轴305导向。因此，力331导致马达安装架333的水平位移。另外，水平耦接到马达安装架333的应变仪334在力331的方向上经历应变。应变可被测量为应变仪334的末端335的水平位移与应变仪334的总水平宽度336的比率。

在一些实施方案中，IDM 117包括附加传感器，例如倾斜仪或加速度计，以确定IDM117的取向。基于来自附加传感器和/或应变仪334的测量值，外科机器人系统100可以校准来自应变仪334的读数以考虑重力负载效应。例如，如果IDM 117在IDM 117的水平侧上取向，则IDM 117的某些部件的重量可对马达安装架333造成应变。因此，在不考虑重力负载效应的情况下，应变仪334可测量并非由输出轴上的应变引起的应变。

IV.内窥镜

图4A示出了根据一个实施方案的示例性内窥镜118的顶视图。内窥镜118包括嵌套或部分地嵌套在护套411的管状部件内并与该管状部件纵向对齐的前导件415管状部件。护套411包括近侧护套节段412和远侧护套节段413。前导件415具有比护套411小的外径，并且包括近侧前导件节段416和远侧前导件节段417。护套基部414和前导件基部418例如基于来自外科机器人系统100的用户的控制信号分别致动远侧护套部分413和远侧前导件节段417。护套基部414和前导件基部418是例如图1所示IDM 117的一部分。

护套基部414和前导件基部418两者均包括驱动机构(例如，在章节III.器械装置操纵器中参考图3A至图3B进一步描述的独立驱动机构)，以控制耦接到护套411和前导件415的拉线。例如，护套基部414在耦接到护套411的拉线上产生拉伸载荷，以使远侧护套节段413偏转。类似地，前导件基部418在耦接到前导件415的拉线上产生拉伸载荷，以使远侧前导件节段417偏转。护套基部414和前导件基部418两者还可包括耦接件，该耦接件用于将气动压力、电力、电信号或光信号分别从IDM路由到护套411和前导件414。拉线可包括在护套411或前导件415内沿着拉线的长度的钢盘管，该钢盘管将轴向压缩分别传递回到负载原点，例如护套基部414或前导件基部418。

由于耦接到护套411和前导件415的拉线提供多个自由度，内窥镜118可容易地导航患者的解剖结构。例如，可在护套411和/或前导件415中使用四根或更多根拉线，从而提供八个或更多个自由度。在其它实施方案中，可使用最多三根拉线，从而提供最多六个自由度。护套411和前导件415可沿着纵向轴线406旋转最多360度，从而提供更多的运动度。旋转角度和多个自由度的组合为外科机器人系统100的用户提供了对内窥镜118的用户友好且自发的控制。

图4B示出了根据一个实施方案的图4A所示的内窥镜118的示例性内窥镜末端430。在图4B中，内窥镜末端430包括成像装置431(例如，相机)、照明源432和EM线圈434的端部。照明源432提供光以照明解剖空间的内部部分。所提供的光允许成像装置431记录该空间的图像，然后该图像可被传输到计算机系统诸如命令控制台200以用于如本文所述的处理。位于末端430上的电磁(EM)线圈434可与EM跟踪系统一起使用，以在内窥镜末端430设置在解剖系统内时检测内窥镜末端的位置和取向。在一些实施方案中，线圈可成角度以沿着不同轴线提供对EM场的灵敏度，从而赋予测量全部6个自由度的能力：三个位置和三个角度。在其它实施方案中，仅单个线圈可设置在内窥镜末端430内，其中其轴线沿着内窥镜118的内窥镜轴取向；由于这种系统的旋转对称性，它对围绕其轴线滚动不灵敏，因此在这种情况下可仅检测到5个自由度。内窥镜末端430还包括工作通道436，外科器械诸如活检针可沿内窥镜轴插入穿过该工作通道，从而允许进入内窥镜末端附近的区域。

V.EM系统到3D模型的配准变换

V.A.EM跟踪系统的示意性设置

图5示出了根据一个实施方案的包括在外科机器人系统500中的EM跟踪系统505的示例性示意性设置。在图5中，EM跟踪系统505中包括多个机器人部件(例如，如下所述的窗口场发生器、参考传感器)。机器人外科系统500包括用于保持患者身体的外科床511。在床511下方是窗口场发生器(WFG)512，该窗口场发生器被配置成顺序地激活一组EM线圈(例如，图4B所示的EM线圈434)。WFG 512在大体积内生成交流电(AC)磁场；例如，在一些情况下，其可在约0.5m×0.5m×0.5m的体积中形成AC场。

附加的场可由另外的场发生器施加以有助于跟踪体内的器械。例如，平面场发生器(PFG)可附接到与患者相邻的系统臂，并且被取向成以一定角度提供EM场。参考传感器513可放置在患者的身体上以提供局部EM场，从而进一步增加跟踪准确性。参考传感器513中的每个参考传感器可通过缆线514附接到命令模块515。缆线514通过接口单元516连接到命令模块515并且提供功率，所述接口单元处理与其相应装置的通信。接口单元516耦接到系统控制单元(SCU)517，该系统控制单元充当上述各种实体的总体接口控制器。SCU 517还驱动场发生器(例如，WFG 512)，以及从接口单元516收集传感器数据，由所述传感器数据计算传感器在体内的位置和取向。SCU 517可耦接到个人计算机(PC)518以允许用户访问和控制。

命令模块515还连接到耦接到外科机器人系统500的各种IDM 519，如本文所述。IDM 519通常耦接到单个外科机器人系统(例如，外科机器人系统500)并且用于控制和接收来自其相应连接的机器人部件的数据；所述机器人部件例如机器人内窥镜工具或机器人臂。如上所述，作为示例，IDM 519耦接到外科机器人系统500的内窥镜工具(此处未示出)。

命令模块515接收从内窥镜工具传递的数据。接收数据的类型取决于所附接的器械的对应类型。例如，示例性接收数据包括传感器数据(例如，图像数据、EM数据)、机器人数据(例如，内窥镜和IDM物理运动数据)、控制数据和/或视频数据。为了更好地处理视频数据，现场可编程门阵列(FPGA)520可被配置成处理图像处理。比较从各种传感器、装置和场发生器获得的数据允许SCU 517精确地跟踪外科机器人系统500的不同部件的运动，以及例如这些部件的位置和取向。

为了通过患者的解剖结构跟踪传感器，EM跟踪系统505可能需要被称为“配准”的过程，在该过程中系统找到在不同坐标系之间对齐单个对象的几何变换。例如，患者身上的特定解剖位点在3D模型坐标和EM传感器坐标中具有两种不同的表示。为了能够建立这两个不同坐标系之间的一致性和通用语言，EM跟踪系统505需要找到关联这两种表示(即，配准)的变换。例如，EM跟踪器相对于EM场发生器位置的位置可映射到3D坐标系，以隔离对应3D模型中的位置。

V.B.3D模型表示

图6A至图6B示出了根据一个实施方案的示例性解剖管腔600和解剖管腔的示例性3D模型620。更具体地，图6A至图6B示出了中心线坐标、直径测量值和实际解剖管腔600与其3D模型620之间的解剖空间的关系。在图6A中，通过中心线坐标601、602、603、604、605和606大致纵向跟踪解剖管腔600，其中每个中心线坐标大致接近管腔的断层摄影扫描切片的中心。中心线坐标通过中心线607连接和可视化。管腔的体积可通过在每个中心线坐标处测量管腔的直径来进一步可视化，例如坐标608、609、610、611、612和613表示对应于坐标601、602、603、604、605和606的管腔600的测量值。

图6B示出了根据一个实施方案的图6A所示的解剖管腔600的示例性3D模型620。在图6B中，通过首先基于中心线607在3D空间中定位中心线坐标601、602、603、604、605和606定位来使解剖管腔600在3D空间中可视化。例如，在每个中心线坐标处，管腔直径可视化为具有直径608、609、610、611、612和613的2D圆形空间(例如，2D圆形空间630)。通过连接这些2D圆形空间以形成3D空间，解剖管腔600被近似并可视化为3D模型620。可通过增大中心线坐标和测量值的分辨率，即，增大给定管腔或子节段的中心线坐标和测量值的密度，来确定更准确的近似值。中心线坐标还可包括标记物以指示医师的感兴趣的点，包括消融灶。

在一些实施方案中，术前软件包还用于基于所生成的解剖空间的3D模型来分析和导出导航路径。例如，软件包可导出通向单个消融灶(由中心线坐标标记)或通向若干消融灶的最短导航路径。该导航路径可根据操作者的偏好在术中以二维或三维的方式呈现给操作者。在某些具体实施中，导航路径(或其一部分)可由操作者在术前选择。路径选择可包括识别患者解剖结构内的一个或多个靶标位置(也简称为“靶标”)。

图7示出了根据一个实施方案的表示解剖空间的计算机生成的3D模型700。如上文在图6A至图6B中所论述，可使用通过查看术前生成的CT扫描而获得的中心线701生成3D模型700。在一些实施方案中，计算机软件能够映射管状网络内的导航路径702以访问3D模型700内的手术部位703(或其它靶标)。在一些实施方案中，手术部位703可连接到单独的中心线坐标704，这允许计算机算法在拓扑上搜索3D模型700的中心线坐标以获得管状网络内的最佳路径702。在某些实施方案中，路径702的拓扑搜索可受到某些操作者选择的参数的约束，诸如一个或多个靶标的位置、一个或多个路点等。

在一些实施方案中，跟踪患者解剖结构内的内窥镜工具的远侧端部，并且映射内窥镜工具在患者解剖结构内的跟踪位置并将其置于计算机模型内，这增强了管状网络的导航能力。为了跟踪内窥镜工具的远侧工作端部，即，工作端部的位置和取向，可单独地或组合地采用多种方法。

在用于定位的基于传感器的方法中，传感器诸如EM跟踪器可耦接到内窥镜工具的远侧工作端部，以提供内窥镜工具的进程的实时指示。在基于EM的跟踪中，嵌入内窥镜工具中的EM跟踪器测量由一个或多个EM发射器形成的电磁场的变化。发射器(或场发生器)可放置在患者附近(例如，作为外科床的一部分)以形成低强度磁场。这在EM跟踪器的传感器线圈中感应出小电流，该小电流与传感器和发生器之间的距离和角度相关。然后可通过接口单元(片上或PCB)将电信号数字化，并且经由缆线/布线将电信号发送回系统车，然后发送回命令模块。然后可处理数据以解释当前数据并计算传感器相对于发射器的精确位置和取向。在内窥镜工具中的不同位置处，例如在前导件和护套中，可使用多个传感器，以便计算这些部件的各个位置。因此，基于来自人工生成的EM场的读数，EM跟踪器可在运动通过患者解剖结构时检测场强的变化。

V.C.动态EM配准

图8A至图8D示出了根据一个实施方案的示出EM系统与穿过管状网络的路径的3D模型的动态配准的示例性曲线图810-840。本文所述的导航配置系统允许EM坐标与3D模型坐标的动态配准，而无需在内窥镜手术之前进行独立配准。更详细地，图8A示出了EM跟踪系统和3D模型的坐标系最初未彼此对齐，并且图8A中的曲线图810示出了内窥镜末端801沿着计划导航路径802运动通过分支管状网络(此处未示出)的配准(或预期)位置，并且器械末端801的配准位置以及计划路径802从3D模型导出。通过EM跟踪系统505重复测量末端的实际位置，得到基于EM数据的多个测量位置数据点803。如图8A所示，从EM跟踪导出的数据点803最初远离3D模型预期的内窥镜末端801的配准位置定位，反映出EM坐标与3D模型坐标之间的配准不足。这可存在若干原因，例如，即使内窥镜末端相对平滑地运动通过管状网络，EM测量中仍可能存在一些可见散射，这是由于患者肺的呼吸运动。

还可基于3D模型本身、从光学传感器(例如，相机)接收的图像数据和来自机器人命令的机器人数据之间的相关性来确定和调整3D模型上的点。这些点与所收集的EM数据点之间的3D变换将决定EM坐标系与3D模型坐标系的初始配准。

图8B示出了根据一个实施方案的与曲线图810相比处于稍后时间阶段的曲线图820。更具体地，曲线图820示出了由3D模型预期的内窥镜末端801的预期位置已沿着预计划导航路径802运动得更远，如从图8A所示的器械末端801的原始预期位置沿着该路径向图8B所示的位置的移位所示。在曲线图810的生成和曲线图820的生成之间的EM跟踪期间，EM跟踪系统已记录附加的数据点803，但是还未基于新收集的EM数据更新配准。因此，图8B中的数据点803沿着可见路径814聚类，但是该路径在位置和取向上不同于由操作者引导内窥镜末端沿着其行进的计划导航路径802。最终，一旦累积足够的数据(例如，EM数据)，与仅使用3D模型或仅使用EM数据相比，就可以从将EM坐标与3D模型的那些坐标配准所需的变换导出相对更准确的估计值。可通过阈值标准诸如累积的总数据或方向变化的数量来确定足够的数据。例如，在分支管状网络诸如支气管网络中，可以判断在到达两个分支点之后已累积足够的数据。

图8C示出了根据一个实施方案的在导航配置系统已累积足够量的数据以估计从EM到3D模型坐标的配准变换之后不久的曲线图830。作为配准变换的结果，图8C中的数据点803现在已经从如图8B所示的其先前位置偏移。如图8C所示，从EM数据导出的数据点803现在沿着从3D模型导出的计划导航路径802落下，并且数据点803中的每个数据点现在反映出内窥镜末端801在3D模型的坐标系中的预期位置的测量值。在一些实施方案中，当收集到进一步的数据时，可更新配准变换以提高准确度。在一些情况下，用于确定配准变换的数据可以是由运动窗口选择的数据的子集，使得配准可以随时间而改变，这使得能够考虑EM和3D模型的相对坐标的变化，例如，由于患者的运动而引起的变化。

图8D示出了根据一个实施方案的示例性曲线图840，其中内窥镜末端801的预期位置已到达计划导航路径802的端部，到达管状网络中的靶标位置。如图8D所示，所记录的EM数据点803现在通常沿着计划导航路径802跟踪，该计划导航路径表示在整个过程中对内窥镜末端的跟踪。每个数据点反映由于EM跟踪系统与3D模型的更新配准而导致的变换位置。

在一些实施方案中，图8A至图8D所示曲线图中的每个曲线图可以在内窥镜末端在管状网络中推进时在用户可见的显示器上依次示出。在一些实施方案中，处理器可被配置成具有来自导航配置系统的指令，使得当通过偏移显示器上所示的测量路径来将测量的数据点配准到显示器上时，显示器上所示的模型保持基本上固定，以便允许用户保持固定的参照系并且保持在模型上和显示器所示的计划路径上的视觉取向。

图8E至图8F示出了根据一个实施方案的EM系统与分支管状网络的3D模型的示例性配准的效果。在图8E至图8F中，示出了显示电磁跟踪数据852和患者的支气管系统854的模型的3D曲线图，其中没有(如图8E所示)和具有(如图8F所示)配准变换。在图8E中，在未配准的情况下，跟踪数据860具有对应于穿过支气管系统854的路径的形状，但该形状经受任意偏置和旋转。在图8F中，通过应用配准，跟踪数据852被移位和旋转，使得它们对应于穿过支气管系统854的路径。

VI.导航配置系统

VI.A.导航配置系统的高级概览

图9A至图9C示出了根据一个实施方案的导航配置系统900的示例性框图。更具体地，图9A示出了根据一个实施方案的导航配置系统900的示例性框图的高级概览。在图9A中，导航配置系统900包括多个输入数据存储库、从多个输入数据存储库接收各种类型的输入数据的导航模块905、以及从导航模块接收输出导航数据的输出导航数据存储库990。图9A所示的导航配置系统900的框图仅仅是一个示例，并且在未示出的另选实施方案中，导航配置系统900可包括不同的和/或附加的实体。同样，由系统900的各种实体执行的功能可根据不同的实施方案而不同。导航配置系统900可类似于2017年3月23日公布的美国专利公布2017/0084027中描述的导航系统，该专利公布的全文以引用方式并入本文。

如本文所用，输入数据是指从用于生成内窥镜的估计状态信息以及输出导航数据的输入装置(例如，命令模块、光学传感器、EM传感器、IDM)收集和/或通过该输入装置处理的原始数据。多个输入数据存储库910-940包括图像数据存储库910、EM数据存储库920、机器人数据存储库930和3D模型数据存储库940。每种类型的输入数据存储库910-940存储名称指示类型的数据以供导航模块905访问和使用。图像数据可包括由成像装置在器械末端捕获的一个或多个图像帧，以及允许确定帧对之间所经过的时间的信息，诸如帧速率或时间戳。机器人数据可包括与管状网络内的医疗器械或医疗器械的一部分(例如，器械末端或护套)的物理运动相关的数据。示例性机器人数据包括指示器械末端到达特定解剖部位和/或改变其在管状网络内的取向(例如，利用前导件和护套中的一者或两者的特定俯仰、滚转、偏航、插入和回缩)的命令数据、表示医疗器械的部分(例如，器械末端或护套)的插入运动的插入数据、IDM数据和表示医疗器械的细长构件的机械运动(例如内窥镜的驱动医疗器械在管状网络内的实际运动的一个或多个拉线、束或轴的运动)的机械数据。EM数据可由EM传感器和/或EM跟踪系统收集，如上所述。3D模型数据可从如上所述的2D CT扫描导出。

输出导航数据存储库990接收并存储由导航模块905提供的输出导航数据。输出导航数据指示有助于引导医疗器械通过管状网络到达管状网络内的特定目的地的信息，并且基于医疗器械在每个即时时间的估计状态信息，该估计状态信息包括医疗器械在管状网络内的位置和取向。在一个实施方案中，当医疗器械在管状网络内运动时，实时提供指示医疗器械的运动和位置/取向信息的更新的输出导航数据，这更好地帮助其在管状网络中的导航。

为了确定输出导航数据，导航模块905在管状网络内定位(或确定)医疗器械的估计状态。如图9A所示，导航模块905还包括各种算法模块，诸如基于EM的算法模块950、基于图像的算法模块960和基于机器人的算法模块970，所述算法模块各自可主要消耗某些类型的输入数据并向状态估计器980贡献不同类型的数据。如图9A所示，为了便于解释，由这些模块输出的不同种类的数据、标记的基于EM的数据、基于图像的数据和基于机器人的数据通常可被称为“中间数据”。下文更全面地描述了每个算法模块和状态估计器980的详细组成。

VI.B.导航模块

图9B示出了根据一个实施方案的图9A所示导航模块905的示例性框图。如上所述，导航模块905还包括状态估计器980以及采用不同算法导航以在管状网络中进行导航的多个算法模块。为了清楚地描述，首先描述状态估计器980，然后描述与状态估计器980交换数据的各种模块。

VI.B.1状态估计器

包括在导航模块905中的状态估计器980接收各种中间数据并作为时间的函数提供器械末端的估计状态，其中估计状态指示器械末端在管状网络内的估计位置和取向信息。估计状态数据存储在包括在状态估计器980中的估计数据存储库985中。

图9C示出了根据一个实施方案的包括在状态估计器980中的估计状态数据存储库985的示例性框图。估计状态数据存储库985可包括分叉数据存储库1086、位置数据存储库1087、深度数据存储库1088和取向数据存储库1089，然而数据存储库的这种具体分类仅仅是一个示例，并且在未示出的另选实施方案中，不同和/或附加的数据存储库可包括在估计状态数据存储库985中。

上面介绍的各种存储库以各种方式表示估计状态数据。具体地，分叉数据是指医疗器械相对于管状网络内的分支组(例如，二分叉、三分叉或分成多于三个分支)的位置。例如，基于例如由映射整个管状网络的3D模型提供的一组更大可用分支，分叉数据可以是当器械穿过管状网络时由器械选择的分支选择组。分叉数据还可包括器械末端的位置前方的信息，诸如器械末端靠近但尚未穿过的分支(分叉)，但其可能例如基于末端相对于3D模型的当前位置信息或基于捕获的即将到来的分叉的图像而被检测到。

位置数据指示医疗器械的一些部分在管状网络内的三维位置或管状网络自身的一些部分的三维位置。位置数据可以是绝对位置或相对于例如管状网络的3D模型的相对位置的形式。例如，位置数据可包括器械的位置在特定分支内的定位的指示。特定分支的标识也可存储为段标识(ID)，该段标识唯一地识别器械末端所位于的模型的特定段。

深度数据指示器械末端在管状网络内的深度信息。示例性深度数据包括医疗器械在患者体内的总插入(绝对)深度以及在所识别分支(例如，由位置数据存储库1087识别的段)内的(相对)深度。深度数据可基于关于管状网络和医疗器械两者的位置数据来确定。

取向数据指示器械末端的取向信息，并且可包括相对于3D模型的总体滚转、俯仰和偏航，以及在所识别的分支内的俯仰、翻滚、偏航。

返回到图9B，状态估计器980将估计状态数据提供回到算法模块以用于生成更准确的中间数据，状态估计器使用该中间数据生成改善的和/或更新的估计状态，以此类推形成反馈回路。例如，如图9B所示，基于EM的算法模块950接收先前的基于EM的估计状态数据，也称为与时间戳“t-1”相关联的数据。状态估计器980使用该数据生成与时间戳“t-1”相关联的“估计状态数据(先前)”。然后，状态估计器980将数据提供回到基于EM的算法模块。“估计状态数据(先前)”可基于与从不同算法模块生成和接收的时间戳“t-1”相关联的不同类型的中间数据(例如，机器人数据、图像数据)的组合。接下来，基于EM的算法模块950使用估计状态数据(先前)运行其算法以输出到状态估计器980的改善和更新的基于EM的估计状态数据，该基于EM的估计状态数据在此由“基于EM的估计状态数据(当前)”表示并且与时间戳相关联。该过程也继续针对未来的时间戳重复。

由于状态估计器980可使用若干不同种类的中间数据来获得其对医疗器械在管状网络内的状态的估计值，状态估计器980被配置成在测量和分析两者中考虑各种不同种类的误差和不确定性，每种类型的基础数据(机器人、EM、图像)和每种类型的算法模块可创建或携带到用于在确定估计状态时考虑的中间数据中。为了解决这些问题，讨论了概率分布和置信度值的两个概念。

如本文所用，“概率分布”的“概率”是指医疗器械的可能位置和/或取向的估计正确的可能性。例如，可通过所述算法模块之一计算不同的概率，该算法模块指示医疗器械处于管状网络内的若干不同可能分支中的一个分支中的相对可能性。在一个实施方案中，选择概率分布的类型(例如，离散分布或连续分布)以匹配估计状态的特征(例如，估计状态的类型，例如连续位置信息与离散分支选择)。例如，用于识别医疗器械针对三分叉进入哪个段的估计状态可由离散概率分布表示，并且可包括三个离散值20％、30％和50％，这三个离散值表示如由算法模块之一确定的处于三个分支中的每个分支内的位置中的机会。又如，估计状态可包括40±5度的医疗器械滚动角，并且器械末端在分支内的段深度可为4±1mm，各自由高斯分布表示，高斯分布是一类连续概率分布。可以使用不同的方法或模式来生成概率，该概率将随着算法模块变化，如下文参考后面的附图更完整地描述。

相比之下，如本文所用，“置信度值”反映由算法之一基于一个或多个因素提供的状态估计的置信度的量度。对于基于EM的算法，诸如EM场的畸变、EM配准的不准确性、患者的偏移或运动以及患者的呼吸等因素可影响状态估计中的置信度。具体地，由基于EM的算法提供的状态估计中的置信度值可取决于患者的特定呼吸周期、患者或EM场发生器的运动、以及器械末端所在的解剖结构内的位置。对于基于图像的算法，可影响状态估计中的置信度值的示例性因素包括捕获图像的解剖结构内位置的照明条件，流体、组织或抵靠捕获图像的光学传感器或在该光学传感器前面的其它障碍物的存在，患者的呼吸，患者自身的管状网络(例如，肺)的状况诸如管状网络内部的一般流体和管状网络的阻塞，以及在例如导航或图像捕获中使用的特定操作技术。

例如，一个因素可以是，特定算法在患者肺部的不同深度处具有不同的准确度水平，使得相对靠近气道开口，特定算法可在其对医疗器械位置和取向的估计中具有高置信度，但医疗器械在肺部底部中行进得越远，置信度值可能下降。一般来讲，置信度值基于与确定结果的过程相关的一个或多个系统因素，而概率是当试图利用基于基础数据的单个算法确定来自多种可能性的正确结果时产生的相对量度。

例如，用于计算由离散概率分布表示的估计状态的结果(例如，具有所涉及的估计状态的三个值的三分叉的分支/段标识)的数学公式可以如下：

S₁＝C_EM*P_1,EM+C_图像*P_1,图像+C_机器人*P_1,机器人；

S₂＝C_EM*P_2,EM+C_图像*P_2,图像+C_机器人*P_2,机器人；

S₃＝C_EM*P_3,EM+C_图像*P_3,图像+C_机器人*P_3,机器人。

在上述示例性数学公式中，S_i(i＝1,2,3)表示在3D模型中识别或存在3个可能段的情况下的估计状态的可能示例性值，C_EM、C_图像和C_机器人表示对应于基于EM的算法、基于图像的算法和基于机器人的算法的置信度值，并且P_1,EM、P_1,图像和P_1,机器人表示段i的概率。

为了更好地示出与估计状态相关联的概率分布和置信度值的概念，在此提供了详细的示例。在该示例中，用户试图识别器械末端位于管状网络的中央气道(预测区域)内的特定三分叉中的段，并且使用的三个算法模块包括基于EM的算法、基于图像的算法和基于机器人的算法。在该示例中，对应于基于EM的算法的概率分布在第一分支中可为20％，在第二分支中可为30％，并且在第三(最后)分支中可为50％，并且应用于该基于EM的算法和中央气道的置信度值为80％。对于相同的示例，对应于基于图像的算法的概率分布对于第一分支、第二分支和第三分支可为40％、20％、40％，并且应用于该基于图像的算法的置信度值为30％；而对应于基于机器人的算法的概率分布对于第一分支、第二分支和第三分支可为10％、60％、30％，并且应用于该基于图像的算法的置信度值为20％。应用于基于EM的算法和基于图像的算法的置信度值差异指示，与基于图像的算法相比，基于EM的算法可以是用于中央气道中的段识别的更好选择。最终估计状态的示例性数学计算可为：

对于第一分支：20％*80％+40％*30％+10％*20％＝30％；对于第二分支：30％*80％+20％*30％+60％*20％＝42％；并且对于第三分支：50％*80％+40％*30％+30％*20％＝58％。

在该示例中，器械末端的输出估计状态可以是结果值(例如，所得的30％、42％和58％)，或来自这些结果值的导数值，诸如确定器械末端在第三分支中。

如上所述，估计状态可以多种不同的方式表示。例如，估计状态还可包括从气道到器械末端位置的绝对深度，以及表示由器械在管状网络内穿过的分支组的数据集，该集是由例如患者肺部的3D模型提供的整个分支组的子组。将概率分布和置信度值应用于估计状态允许提高估计器械末端在管状网络内的位置和/或取向的准确性。

VI.B.2算法模块

如图9B所示，算法模块包括基于EM的算法模块950、基于图像的算法模块960和基于机器人的算法模块970。图9B所示的算法模块仅仅是一个示例，并且在另选的实施方案中，涉及不同和/或附加导航算法的不同和/或附加算法模块也可包括在导航模块905中。

VI.B.2.i.基于图像的算法模块

返回图9B，基于图像的算法模块960使用图像数据确定管状网络内的器械的估计状态。基于图像的算法模块960还包括采用不同的基于图像的算法的一个或多个不同类型的基于图像的算法模块。如图9B所示，示出了包括基于对象的算法模块962的一个示例。在未示出的另选实施方案中，可采用其它类型的基于图像的算法，并且对应算法模块可包括在基于图像的算法模块960中。除了确定器械的估计状态之外，基于图像的算法模块960还可检测由管腔网络相对于器械的运动引起的器械在管腔网络内的位置变化，并将所检测到的位置变化的指示提供给状态估计器980。下文将结合图11提供关于检测器械的位置变化的各方面的更多细节。

基于对象的算法模块962检测并分析存在于图像数据的视场中的对象，诸如分支开口或颗粒，以确定估计状态。在一个实施方案中，其包括对象检测模块963、对象映射模块964、拓扑推理模块965和运动估计模块966。在一些实施方案中，可能需要或可能不需要以固定的相继次序应用不同的模块963、964、965和966，并且当实际执行基于对象的算法模块962所述的基于对象的算法的过程时，模块962内采用每个模块的次序与图9B所示的次序不同。

转到图10A，运动估计模块963接收来自图像数据存储库910的图像数据、来自估计状态数据存储库985的估计状态数据(先前)(具体地分叉数据)和来自3D模型数据存储库940的3D模型数据作为输入。基于所接收的图像数据，运动估计模块963基于所接收的图像数据测量医疗器械在多个图像帧之间的运动。所使用的示例性技术包括光流和图像配准技术等等。该测量确定器械末端在其自身的本地参照系中的差异运动，诸如向前-向后运动或滚动运动。该运动可与先前的估计状态输入组合以计算新的估计状态。具体地，向前(或向后)运动可转化为深度相对于先前估计状态的增大(或减小)。类似地，差异滚动转换成滚动角相对于先前估计状态的变化。这些测量允许估计通过管状网络的运动。如上所述，这些估计可表示为概率分布(例如，由高斯分布表示的医疗器械的40±5度的滚动角)。输出估计状态存储在估计状态数据存储库985中。

在一个实施方案中，在特定时间瞬间的估计状态和分叉数据指示器械末端位于分支点处或附近的情况下，该运动测量值可包括估计器械末端进入或已进入的估计新分支的标识。例如，如果分叉数据指示内窥镜末端位于分支点，则可测量俯仰和偏航运动以确定指向角度的变化，并且可将新的估计角度与管状网络的3D模型中的不同分支的预期角度进行比较。然后可以确定内窥镜在运动到新分支中时面向哪个分支。反映新位置、取向和/或分支进入的这些估计值中的每个估计值的状态数据被输出到状态估计器980。

图10B示出了根据一个示例的对象检测模块964的示例性框图。对象检测模块964接收图像数据(例如，图像帧)作为输入，并且将对象数据输出到对象数据存储库1063以及将估计状态数据输出到估计状态数据存储库985。对象数据指示关于识别出什么对象的信息，以及表示为概率的对象的位置、取向和尺寸。

具体地，对象检测模块964在图像内检测一个或多个对象以及可指示管状网络中的分支点的对象的一个或多个感兴趣的点，然后确定它们的位置、尺寸和取向。由对象检测模块964检测到的对象也可被称为“感兴趣的点”，其可包括例如图像内的一个或多个可识别像素。在某些实施方案中，感兴趣的点可包括可在一个或多个图像的序列上检测到的一组一个或多个像素。在一些具体实施中，所检测到的对象可包括使用相关领域的图像处理技术检测到的一个或多个感兴趣的点(例如，图像特征)，诸如加速稳健特征(SURF)和尺度不变特征变换(SIFT)。然而，可使用可通过一系列图像可靠地检测和跟踪一个或多个像素的任何技术来检测可在本文所述的图像处理技术中使用的感兴趣的点。

在某些具体实施中，对象可在对象检测模块964中被计算或表示为二维形状，诸如用于所检测到的分支点的圆形/卵形/椭圆形。这对应于这样的事实：用于捕获对象的图像数据是来自器械末端上的相机的通常沿基本上平行于器械所在的段的方向的轴线指向的图像。因此，对象诸如管状网络中的分支显现为简单形状，诸如图像中的椭圆形。在一个实施方案中，在管状网络内的给定图像中，每个分支通常将显现为暗的大致椭圆形区域，并且这些区域可由处理器使用区域检测算法诸如最大稳定极值区域(MSER)作为对象自动检测。然后可对这些区域进行拟合以利用适当的自由参数诸如椭圆形中心、长轴和短轴以及图像内的角度来限定对象(例如，椭圆形)。还将滚动测量值和所识别的模型管腔与图像中的管腔之间的匹配输出到状态估计器980以及拓扑推理模块966。参考图11A至图11B描述了叠加在支气管网络的图像上的所识别的对象连同连接其中心的连接线的示例。

在一个实施方案中，“气道”也可被识别为存在于图像数据中的对象。对象检测模块964可以使用光反射强度结合其它技术来识别气道。

对象检测模块964还可跨一组连续图像帧来跟踪所检测到的对象或感兴趣的点。对象跟踪可用于检测从管状网络中的一组可能分支中进入了哪个分支。另选地或除此之外，对象的跟踪可用于检测由管腔网络相对于器械的运动引起的器械在管腔网络内的位置变化，如下文更详细地描述。跟踪图像帧内对象的相对位置也可用于确定分支网络内滚动角的局部绝对测量值。

图10C示出了根据一个实施方案的对象映射模块965的示例性框图。对象映射模块965接收来自3D模型数据存储库940的3D模型数据、来自对象数据存储库1063的对象数据(例如，所检测到的对象，诸如表示管状网络中可能分支的形状)和来自估计状态数据存储库985的估计状态数据(先前)作为输入。

基于所接收的输入数据，对象映射模块965将对象映射数据输出到对象映射数据存储库1065，并且将基于图像的估计状态数据(当前)输出到估计状态数据存储库985。例如，对象映射数据指示图像数据中所示的物理分支(管腔)之间的映射信息(基于检测到的对象)和由3D模型生成的虚拟分支信息。由模块965生成的估计状态数据(当前)包括图像内可见的管状网络的每个分支的识别，以及内窥镜末端相对于3D模型的滚动的估计值。如上所述，估计状态数据(当前)可表示为概率分布。可见管腔的识别可包括图像内的每个所识别的管腔中心的x和y中的坐标，例如基于与3D模型虚像数据相关的对象尺寸，以及每个所识别的管腔位置与管状网络的特定分支的关联。

在一些实施方案中，由于3D模型是在内窥镜手术之前生成的，因此可预先计算管状网络的虚像以加速处理。在未示出的另选实施方案中，管状网络可以由诸如管腔中线的树形图的结构表示，其中每个此类中线描述3D路径，使得可以基于EM数据和/或机器人数据将从任何任意角度看的局部分支中心的预期位置与所识别的分支中心的实际位置进行比较。

图11A至图11B示出了根据一个实施方案的由对象映射模块965执行的示例性对象到管腔的映射。更具体地，图11A示出了根据一个实施方案的叠加在支气管网络1105的图像上的两个示例性识别对象1101和1102以及连接两个对象的中心的连接线1103。在例示的示例中，所识别的对象1101和1102是椭圆形的。

图11B示出了根据一个实施方案的真实支气管网络的实际图像1110中的气道管腔与来自该相同网络的3D模型的对应虚像1120之间的匹配。在实际图像1110中，对应于位于所识别的中心1111和1112处的两个不同分支来识别椭圆形，在一个实施方案中，所述中心指示分支的中心线坐标，如上文在图6A至图6B中所述。3D模型虚像1120是实际图像1110中示出的真实支气管网络的模拟表示，并且如由状态估计器980确定的内窥镜末端的所估计的中心1121和1122被示出为对应于所识别的中心1111和1112的位置。

如果经由用户界面将图像1110和1120都呈现给用户，则可以旋转或平移3D模型图像1120以增加实际图像1110和虚像1120之间的接近度，并且可以输出旋转或平移所需的滚动量作为对当前估计状态(例如，器械末端的滚动)的校正。

在一个实施方案中，应用于由对象映射模块965生成的可能估计状态的概率基于在实际图像1110中检测到的所识别的中心1111和1112与3D模型图像1120中的所估计的中心1121和1121之间的拟合接近度，并且例如，随着所估计的中心1122和所识别的中心1112之间的距离增加，处于具有所识别的中心1112的管腔中的概率下降。

图10D示出了根据一个实施方案的拓扑推理模块966的示例性框图。拓扑推理模块966从来自3D模型数据存储库940的3D模型数据、来自对象映射数据存储库1065的对象映射数据和来自估计状态数据存储库985的估计状态数据(先前)接收图像数据作为输入。

基于所接收的数据，拓扑推理模块966确定内窥镜末端面向哪个分支，从而如果内窥镜向前运动，则生成将进入哪个分支的预测。如上所述，该确定可以表示为概率分布。在一个实施方案中，当器械末端向前运动时，拓扑推理模块966确定已经进入管状网络的新分支并且识别末端已经运动到哪个分支中。例如，可通过比较不同识别对象(例如，椭圆形)的相对尺寸和位置来确定正在面向哪个分支以及正在进入哪个段。例如，当进入特定管腔分支时，对应的所检测到的对象将在连续的图像帧中变得更大，并且也将在这些帧中变得更居中。如果这是针对对象之一识别的行为，则拓扑推理模块966在内窥镜末端朝向与该对象相关联的管腔运动时将越来越大的概率分配给对应的估计状态。其它分支被分配相应较低的概率，直到最终它们的对象形状完全从图像中消失。在一个实施方案中，医疗器械在那些分支中的概率仅取决于分支被对象映射模块964错误识别的概率。拓扑推理模块966的输出是表示处于分支网络内的一组可能分支中的每个分支中的估计概率的基于图像的估计状态数据。

VII.生理噪声的基于图像的检测

肺脏学家可通过基于患者的呼吸周期制定他们的决策和动作来预防术中创伤。此类动作的一个示例是插入活检工具以收集组织样本，例如经由支气管镜检。在肺部的周边处或附近，气道可以是窄的，并且气道的周长根据肺的呼吸阶段而变化。气道的直径随着患者在呼吸周期的吸气阶段吸气而扩大，并且随着患者在周期的呼气阶段期间呼气而收缩。在规程期间，肺脏专家可以观察患者以确定他们是处于吸气阶段还是呼气阶段，以便决定固定直径的特定工具或内窥镜是否可以进入气道。气道可在呼气期间在工具周围闭合而不引起创伤，然而在呼气阶段迫使工具穿过收缩的气道可导致严重创伤，例如刺穿血管。

在某些实施方案中，上述问题尤其通过本文所述的管腔网络导航系统和技术来解决。本发明所公开的管腔网络导航系统和技术的一些实施方案涉及将呼吸频率和/或量值结合到导航框架中以实现患者安全措施(例如，器械控制技术、用户界面警示、通知等)。

患者的呼吸周期还可以影响插入患者气道的器械的位置和/或取向的检测准确性。因此，本发明所公开的支气管镜检导航系统和技术的一些实施方案涉及识别和/或补偿由患者呼吸引起的运动，以便提供对器械在患者气道内的位置的更准确的识别。例如，定位在患者气道内的器械可设置有EM传感器。导航系统可过滤来自EM传感器的器械位置信息，以去除由于呼吸引起的呼吸通道的循环运动而产生的信号噪声。循环呼吸运动的频率可以从来自一个或多个附加传感器的数据获得。在一些具体实施中，在一个示例中，可基于来自放置在患者身体上的附加EM传感器、加速度计和/或声学呼吸传感器的数据来确定吸气和呼气周期。在一些具体实施中，频率可以从其它类型的传感器或系统获得，例如来自用于控制患者呼吸的呼吸机的呼吸周期信息，或从对从被定位成观察患者的光学传感器接收的图像的自动分析提取的呼吸周期信息。

在某些情况下，从EM传感器接收的位置信息过滤患者的呼吸可能不足以确定对器械位置的足够准确的估计值。例如，当附加EM传感器被放置在患者身体的外部上时，EM传感器可以检测由于横向呼吸引起的运动。也就是说，EM传感器可经由放置在患者身体上的EM传感器的运动来跟踪患者气道的总体伸展和收缩。

根据器械在患者气道内的位置，患者的呼吸也可对器械的位置具有另一影响。也就是说，器械在管腔网络内穿过的路径的长度可随呼吸周期而伸展和收缩。由于器械的长度在规程期间可能不会明显改变，因此器械相对于管腔网络的相对位置可随着由管腔网络中的器械所采取的路径所限定的管腔网络的总长度伸展和收缩而改变。，这可以看起来好像器械正在管腔网络内从器械的远侧端部的参考点推进和回缩，即使器械未被主动驱动。在某些情况下，器械可相对于平台的参考点基本上静止，即使从器械的远侧端部的参考点开始，器械也在推进和回缩。在这种情况下，基于EM传感器确定的器械的位置可以指示器械是基本上静止的，器械相对于管腔网络的参考系的位置可以根据患者的呼吸周期而改变。

因此，本公开的某些方面可涉及由于患者的呼吸(或其它生理运动)而检测器械相对于管腔网络的参考系的运动(例如，管腔网络围绕器械的运动)。一旦检测到，机器人系统就可提供用户界面警示以指示在器械的显示位置中可能存在一定量的未补偿误差。

VII.A.生理噪声的基于图像的检测的概述

图12是示出根据本公开的各方面的可由机器人系统或其部件操作以用于检测生理噪声的示例性方法的流程图。例如，图12所示的方法1200的步骤可由医疗机器人系统(例如，外科机器人系统500)或相关联的系统(例如，导航配置系统900的基于图像的算法模块960)的处理器和/或其它部件执行。为方便起见，方法1200被描述为由导航配置系统(结合方法1200的描述也简称为“系统”)执行。

方法1200在框1201处开始。在框1205处，系统可从位于器械上的图像传感器接收第一图像数据，该器械被配置成被驱动通过患者的管腔网络。在示例性实施方案中，器械可包括支气管镜，该支气管镜被配置成被驱动通过患者的气道。在这些实施方案中，系统可被配置成至少部分地基于从图像传感器接收的图像来检测器械的呼吸运动。

在框1210处，系统可检测第一图像数据的一组一个或多个感兴趣的点。如上所述，感兴趣的点可以是跨多个图像数据的任何可区分数据，诸如图像内的一个或多个可识别像素或在图像数据中检测到的一个或多个对象。在某些实施方案中，感兴趣的点可包括可在一个或多个图像的序列上检测到的一组一个或多个像素。在一些具体实施中，所检测到的对象可包括使用相关领域的图像处理技术诸如SURF和SIFT检测到的更加可分辨的对象中的一个对象。然而，可使用可通过一系列图像可靠地检测和跟踪一个或多个像素的任何技术来检测可在本文所述的图像处理技术中使用的感兴趣的点。

在框1215处，系统可以识别分别对应于第一图像数据中的一组点的一组第一位置。在其中该组点对应于图像内的可识别像素的实施方案中，该组位置可对应于图像内的像素的行和/或列值。因此，第一组位置可包括所述一组点中的每个像素的X坐标和Y坐标。

在框1220处，系统可从图像传感器接收第二图像数据。第二图像可以是在第一图像被图像传感器捕获的时间之后发生的时间点处从图像传感器接收的图像。

在框1225处，系统可以检测第二图像数据中一组一个或多个点。在第二图像中检测到的一组点可对应于在第一图像中检测到的一组点。下文将结合图13A至图13C更详细地描述检测多个图像之间的相同点组。

在框1230处，系统可以识别分别对应于第二图像数据中的一组点的一组第二位置。在一些情况下，当生理噪声影响器械相对于管腔网络的相对位置时，第二图像中的感兴趣的点的位置集可不同于第一图像中的感兴趣的点的位置集。例如，当器械推进到管腔网络中时(例如，由于管腔网络的长度的收缩)，显现在由图像传感器捕获的图像中的对象可能看起来好像它正在接近图像传感器。因此，通过跟踪对象的位置(例如，通过跟踪感兴趣的点)，系统能够估计器械相对于管腔网络的运动。

在框1235处，系统可基于所述一组第一位置和所述一组第二位置检测由管腔网络相对于器械的运动引起的管腔网络在器械周围的位置变化。如上所述，所跟踪的感兴趣的点的位置的运动可指示管腔网络相对于器械的运动。下文将结合图14A至图15B描述与检测由管腔网络的运动引起的位置变化相关的具体实施方案。方法1200在框1240处结束。

VII.B.在一系列图像数据帧之间跟踪感兴趣的点的示例

图13A示出了根据本公开的各方面的由图像传感器在第一时间点处捕获的示例性图像数据。图13B示出了根据本公开的各方面的由图像传感器在第一时间点之后的第二时间点处捕获的图像数据的另一个示例。根据该实施方案，第一图像数据和第二图像数据可以是由图像传感器捕获的一系列图像数据帧中的连续图像，或者可以在时间上分开，其中至少一个附加图像数据帧插置在其间。图13C示出了根据本公开的各方面的图13A至图13B所示的图像数据帧之间的示例性像素的位置变化的示例。图13D示出了根据本公开的各方面的图13A至图13B所示的图像数据帧之间的示例性像素的位置变化的另一个示例。

图13A至图13B所示的图像数据帧被简化以示出所检测到的图像数据的某些方面，这些方面可能涉及对一系列图像数据帧之间的感兴趣的点的位置的跟踪。在某些实施方案中，由器械的图像传感器捕获的图像数据可包括具有比所示更多或更少数量的像素的像素阵列。例如，在某些具体实施中，图像传感器可被配置成捕获200×200像素图像数据帧。

图13A示出了包括两个感兴趣的点1310A和1320A的第一图像数据1300A。仅出于描述的目的，简化了有限数量的感兴趣的点1310A和1320A，并且在其它实施方案中，可在第一图像数据1300A中检测并跟踪更多数量的感兴趣的点1310A和1320A。另外，在图13A的示例中，感兴趣的点1310A和1320A可对应于第一图像数据1300A内的各个像素。然而，如上所述，在其它实施方案中，感兴趣的点1310A和1320A可对应于由对象检测模块964识别的对象或使用图像处理技术诸如SURF和/或SIFT检测到的感兴趣的点。

在图13B的第二图像数据1300B中，系统可检测在第一图像数据1300A中识别的相同的感兴趣的点1310B和1320B。然而，在捕获第一图像数据1300A和第二图像数据1300B之间经过的时间内，感兴趣的点1310B和1320B可能已经运动到第二图像数据1300B内的新位置。感兴趣的点1310B和1320B从第一图像数据1300A向其在第二图像数据1300B中的相应位置的运动可基于管腔网络的对应部分相对于图像传感器的位置的相对运动。当器械相对于机器人系统静止时(例如，当未提供机器人命令来驱动器械时)，系统能够推断感兴趣的点1310B和1320B的运动，因此器械在管腔网络内的运动是合理的生理噪声。在支气管镜检示例中，生理噪声可对应于由于患者的呼吸而沿着器械所采取的路径伸展和收缩的管腔网络的长度。除此之外或另选地，由于呼吸而引起的气道的直径变化也可通过感兴趣的点的位置的变化来跟踪。可通过本文所公开的图像方法检测的生理噪音的示例包括患者的呼吸和患者的心率。

图13A至图14B中的感兴趣的点的位置可包括第一图像数据和第二图像数据内的点的2D位置。因此，感兴趣的点的位置可包括每个点的X坐标和Y坐标。在其它实施方案中，系统可基于图像数据1300A和1300B跟踪3D空间(未示出)中的点的位置。在这些实施方案中，系统可以从图像数据1300A和1300B中的每一者提取深度信息，并且表示指示点的相应位置的3D信息中的点的位置。

图13C示出了叠加在相同图像数据帧上的第一时间点和第二时间点中的每一者处的感兴趣的点的位置。如图13C所示，第一感兴趣的点1310A和1310B从第一图像数据1300A运动到第二图像数据1300B中的不同位置。第一感兴趣的点的运动由矢量1315示出。类似地，第二感兴趣的点1320A和1320B已在第一图像数据1300A和第二图像数据1300B之间运动，如矢量1325所示。

更一般地讲，系统可在从器械上的图像传感器位置接收的一系列图像数据帧上跟踪一组感兴趣的点。系统可以确定该系列中的两个连续图像数据帧之间的“尺度变化”。图13D示出了叠加在相同图像数据上的第一时间点和第二时间点中的每一者处的感兴趣的点的位置的另一个示例，以示出感兴趣的点之间的相对距离。如图13D所示，第一感兴趣的点1310A和1310B从第一图像数据1300A运动到第二图像数据1300B中的不同位置。系统可基于第一图像数据1300A中的第一点1310A和第二点1320A的位置来确定第一图像数据中的第一点1310A和第二点1320A之间的第一距离1330。系统还可以基于第一图像数据1300B中的第一点1310B和第二点1320B的位置来确定第二图像数据1300B中的第一点1310B和第二点1320B之间的第二距离1335。在一些具体实施中，第一距离1330和第二距离1335可由相应点之间的欧几里得距离确定。

系统可使用第一距离1330和第二距离1335检测器械在管腔网络内的位置变化。例如，在一个实施方案中，系统可基于第一距离1330和第二距离1335来确定尺度变化估计值。在一个具体实施中，尺度变化估计值可基于第一距离1330和第二距离1335之间的差值。

尽管在图13A至图13D中仅示出两个感兴趣的点，但系统可以在一系列图像数据帧上跟踪一组至少三个感兴趣的点。当所述一组感兴趣的点中的点数量小于图像数据中的像素数量时，该组点可被认为是一组“稀疏”的点。在其它实施方案中，由系统跟踪的一组感兴趣的点中的点数量可以是一组“密集”的点，其中所跟踪的点的数量等于图像数据中的像素的数量。系统可将该组点中的点分组为多个点对。这可包括整组点的点对的每个组合，或者可包括该组点的可能点对的子组。

系统可以基于为点对确定的尺度估计值来确定两个图像数据帧之间的尺度变化值。在某些实施方案中，尺度变化值可以表示基于所跟踪的点对的全部或子组的两个图像数据帧之间的尺度变化。在一个实施方案中，系统可将尺度变化值确定为尺度变化估计值的中值。在另一个实施方案中，系统可将尺度变化值确定为尺度变化估计值的平均值。本领域的技术人员将认识到，可使用其它技术或方法基于该组尺度变化估计值来生成尺度变化值。

VII.C.跟踪一系列图像数据帧的累积尺度变化的示例

系统可以累积图像数据帧序列的尺度变化值，并且由此跟踪多于两个图像数据帧的尺度变化。在某些具体实施中，系统可通过将图像数据帧序列中连续的图像数据帧对之间的尺度变化值相乘来累积尺度变化值。图14A至图14B示出了根据本公开的各方面的可累积尺度变化值的图像数据帧序列内的两个图像数据帧的示例。图15A至图15B是示出根据本公开的各方面的图像数据帧序列上的累积尺度变化值的变化的曲线图。

参考图14A至图15B，示出了图像数据帧的编号序列上的图像数据序列，其中图15A包括从帧#930到帧#1125的图像数据，并且图15B包括从帧#965到帧#1155的图像数据。图14A包括来自帧#1125的图像数据1405，而图14B包括来自帧#1155的图像数据1410。

图15A至图15B中的每一者示出了根据本公开的各方面确定的累积尺度值。例如，曲线图中的每个帧处的值可通过将两个图像数据帧之间的当前确定的尺度变化值与针对先前帧确定的累积尺度变化值相乘来计算。如曲线图所示，累积尺度变化值是周期性生理噪声影响图像传感器(以及因此器械的远侧端部)的位置的周期。系统可跟踪在第一时间段内从图像传感器接收的图像数据的序列中的尺度变化值的累积变化，并且基于在一段时间内的累积尺度变化值来确定生理噪声的频率。在一个实施方案中，系统可将所跟踪的尺度变化值变换为频域(例如，使用傅里叶变换或其它变换)。系统还可以识别频域中的所跟踪的尺度变化值中的至少一个谐波。在某些实施方案中，系统可将频域中的所跟踪的尺度变化值中的一次谐波识别为生理噪声的估计频率。

由累积尺度变化值确定的频率可用作生理噪声的频率的估计值。然而，生理噪声可能并不总是对器械相对于管腔网络的位置具有足够大的影响，使得生理噪声将在器械的定位中引入误差(例如，如由导航配置系统900所确定)。因此，在某些实施方案中，系统可将生理噪声的估计频率与生理噪声的单独估计频率进行比较。

在一个实施方案中，系统可基于从图像传感器接收的图像数据帧序列来确定患者的第一生理运动频率。系统还可基于从一个或多个位置传感器(例如，EM传感器、形状感测光纤、机器人命令数据和基于辐射的图像传感器)接收的数据来确定患者的第二生理运动频率。用于基于从一个或多个位置传感器接收的数据来确定患者的生理运动频率的系统和技术的示例在2018年3月29日提交的美国专利申请公布2018/0279852中有所描述，该申请全文以引用方式并入本文。

然后，系统可确定基于图像数据序列的第一生理运动频率与基于位置传感器数据的第二生理运动频率之间的差值是否小于阈值差值。当第一生理运动频率和第二生理运动频率之间的差值小于阈值差值时，系统可确定图像数据帧序列中的尺度变化频率是由于生理噪声源。在某些实施方案中，系统可响应于确定图像数据帧序列中的尺度变化的频率是由于生理噪声源而向显示器提供所检测到的器械在管腔网络内的位置变化的指示。

相比之下，当第一生理运动频率和第二生理运动频率之间的差值不小于阈值差值时，系统可能不具有足够的置信度来确定管腔网络相对于器械的运动将影响器械的定位的准确性(例如，如由导航配置系统900所确定)。换句话讲，当图像数据序列中的尺度变化频率与使用单独技术测量的生理频率不充分匹配时，系统可推断器械的位置相对于管腔网络足够稳定，以便不会在器械的定位中引入误差。

VII.D.感兴趣的点的回溯的示例

根据用于识别感兴趣的点的特定图像处理技术(例如，SURF、SIFT等)，处理两个图像数据帧的顺序可影响对图像数据内的感兴趣的点的位置的识别。例如，参见图13A至图13B，在一个示例中，系统可通过跟踪像素1310A和1320A距帧1300A的位置变化来识别图像数据帧1300B中的像素1310B和1320B。然而，在某些条件下，在通过将像素1310B和1320B从图像数据帧1300B回溯到图像数据帧1300A来反转该过程时，系统可以识别来自原始像素1310A和1320A的不同像素。当在回溯过程期间识别的像素与原始像素1310A和1320A不相同时，所识别的像素可能不够稳健以确定尺度变化估计值。

因此，系统可以经由将第一图像数据中的一组点从第二图像数据回溯到第一图像数据来识别该组点的一组回溯位置，并且将该组回溯位置与从第一图像数据识别的该组点的原始位置集进行比较。系统可以从该组点中识别点的子组，其中回溯位置不在该组第一位置的阈值距离内(例如，回溯像素的位置不与用于前向跟踪的像素的初始确定位置充分匹配)。系统可以从该组点中移除点的子组，并且在没有移除的点的子组的情况下确定尺度变化估计值。这可以提高在一系列图像数据帧上进行点跟踪的准确性和稳健性。

VII.D.在动态器械运动期间检测生理噪声的示例

虽然可在器械静止时(例如，在未提供机器人命令来运动器械时)执行本公开的某些方面，但也期望在动态器械运动期间(例如，在管腔网络内驱动器械时)检测生理噪声。在此类动态器械运动期间，两个图像数据帧之间的变化(例如，在第一时间和第二时间接收)可以是器械运动和生理噪声的组合的结果。因此，为了在器械的动态运动期间检测生理噪声，器械运动运动应与由基于图像的算法模块970检测的运动中的生理噪声解耦。在某些实施方案中，系统可通过使用从定位传感器接收的器械的3D运动(例如，基于EM的状态数据、基于机器人的状态数据、EM和/或光学形状感测状态数据等)在3D空间中执行运动解耦。系统可采用包括基于图像的3D运动估计(例如，来自运动的结构)的某些图像处理技术来确定器械和管腔网络之间的相对3D运动。

在一个示例性具体实施中，系统可基于从位置传感器接收的数据确定两个时间点之间(例如，t₀和t₁之间)的基于位置传感器的3D器械运动。3D器械运动数据可由三个空间自由度(DoF)例如{x_s，y_s，z_s}和三个旋转DoF例如

表示。系统还可确定由与基于位置传感器的3D器械运动中相同的六个DoF测量值表示的两个时间点之间的基于图像传感器的3D器械运动。

系统可通过确定基于位置传感器的3D器械运动与基于图像传感器的3D器械运动之间的差值来确定表示生理运动的3D器械运动估计值。然后，系统可累积表示在给定时间段内在图像数据和位置传感器测量值的序列上的生理运动的3D器械运动估计值，从该给定时间段可提取与生理噪声相关联的频率和振幅(例如，使用包括谐波分析的上文定义的技术中的一种或多种技术)。

VII.E.检测由于生理噪音在接合点之间的器械过渡的示例

当器械位于管腔网络中的接合点附近时(例如，在当前段分支成两个或更多个子段时)，在器械的确定位置中可能存在由于生理噪声而引入的不确定性。也就是说，如果器械不位于接合点附近，即使器械可由于生理噪声而在当前段内具有深度变化，器械也可保持在当前段内而不过渡到另一个段。然而，如果器械位于接合点附近，则由于生理噪声引起的器械的运动可足以使器械从一个段运动到另一个段。因此，期望向用户提供系统不能准确地确定器械是否已越过接合点进入管腔网络的新段的指示。

在某些实施方案中，系统可通过根据从图像传感器接收的图像数据识别和分析气道来检测接合点过渡。例如，系统跟踪所检测到的气道在两个图像数据帧之间的位置(例如，在第一时间t₀和第二时间t₁处接收)。在某些实施方案中，系统可响应于满足以下条件中的至少一个条件来确定器械已过渡通过接合点：1)所有所估计的气道与图像数据中在时间t₁处检测到的气道重叠，但图像数据中存在不与所估计的气道重叠的在时间t₁处检测到的一个或多个气道；2)图像数据中在时间t₁处检测到的所有气道与所估计的气道重叠，但存在一个或多个估计的气道不与图像数据中在时间t₀处检测到的气道重叠；以及3)存在不与所估计的气道重叠的一个或多个所检测到的气道，并且存在不与所检测的气道重叠的一个或多个所估计的气道。因此，实施方案可以跟踪先前气道的位置和尺寸，并将它们与当前图像数据中检测到的气道的位置和尺寸进行比较。上文列出的条件中的一个或多个条件的存在以及解剖结构相对于器械的运动的检测可由系统用于检测接合点之间的过渡。

VIII.实施系统和术语

本文所公开的具体实施提供了用于在管腔网络的导航期间检测生理噪声的系统、方法和设备。

应当指出的是，如本文所用，术语“耦接(couple)”、“耦接(coupling)”、“耦接(coupled)”或词语耦接的其它变型形式可以指示间接连接或直接连接。例如，如果第一部件“耦接”到第二部件，则第一部件可经由另一个部件间接连接到第二部件或直接连接到第二部件。

本文所述的基于路径的导航功能可作为一个或多个指令存储在处理器可读或计算机可读介质上。术语“计算机可读介质”是指可由计算机或处理器访问的任何可用介质。通过示例而非限制，这样的介质可包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、致密盘只读存储器(CD-ROM)或其它光盘存储装置可包括RAM、ROM、EEPROM、快闪存储器、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁存储装置，或可用于存储呈指令或数据结构的形式的期望的程序代码并且可以由计算机访问的任何其它介质。应当指出的是，计算机可读介质可为有形的和非暂态的。如本文所用，术语“代码”可以指可由计算装置或处理器执行的软件、指令、代码或数据。

本文所公开的方法包括用于实现所述方法的一个或多个步骤或动作。在不脱离权利要求的范围的情况下，方法步骤和/或动作可彼此互换。换句话讲，除非正在描述的方法的正确操作需要步骤或动作的特定顺序，否则可以在不脱离权利要求的范围的情况下修改特定步骤和/或动作的顺序和/或使用。

如本文所用，术语“多个”表示两个或更多个。例如，多个部件指示两个或更多个部件。术语“确定”涵盖多种动作，并且因此，“确定”可包括计算、运算、处理、导出、调查、查找(例如，在表格、数据库或另一种数据结构中查找)、查明等。另外，“确定”可包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。另外，“确定”可包括解析、选择、挑选、建立等。

除非另有明确指明，否则短语“基于”并不意味着“仅基于”。换句话讲，短语“基于”描述“仅基于”和“至少基于”两者。

提供对所公开的具体实施的前述具体实施方式以使得本领域的任何技术人员能够制作或使用本发明。对这些具体实施的各种修改对于本领域的技术人员而言将是显而易见的，并且在不脱离本发明的范围的情况下，本文所定义的一般原理可应用于其它具体实施。例如，应当理解，本领域的普通技术人员将能够采用多个对应的替代和等同的结构细节，诸如紧固、安装、耦接或接合工具部件的等同方式、用于产生特定致动运动的等同机构、以及用于递送电能的等同机构。因此，本发明并非旨在限于本文所示的具体实施，而是被赋予符合本文所公开的原理和新颖特征的最广范围。

Claims (39)

1. 一种医疗机器人系统，包括：

一组一个或多个处理器；和

至少一个计算机可读存储器，所述至少一个计算机可读存储器与所述一组处理器通信并具有存储在其上的计算机可执行指令，以致使所述一组处理器：

从位于器械上的图像传感器接收第一图像数据，所述器械被配置成被驱动通过患者的管腔网络，

检测所述第一图像数据的一组一个或多个感兴趣的点，

识别分别对应于所述第一图像数据中的所述一组点的一组第一位置，

从所述图像传感器接收第二图像数据，

检测所述第二图像数据中的所述一组一个或多个点，

识别分别对应于所述第二图像数据中的所述一组点的一组第二位置，并且

基于所述一组第一位置和所述一组第二位置，检测由所述管腔网络相对于所述器械的运动引起的所述器械在所述管腔网络内的位置变化。

2.根据权利要求1所述的系统，其中：

所述一组第一位置和所述一组第二位置分别限定所述第一图像数据和所述第二图像数据内的所述点的二维（2D）位置。

3.根据权利要求2所述的系统，其中所述存储器还具有存储在其上的计算机可执行指令，以致使所述一组处理器：

将所述一组点分组为多个点对，第一点对包括第一点和第二点，

基于所述一组第一位置，来确定所述第一图像数据中的所述第一点与所述第二点之间的第一距离，并且

基于所述一组第二位置，来确定所述第二图像数据中的所述第一点与所述第二点之间的第二距离，

其中检测所述器械在所述管腔网络内的所述位置变化还基于所述第一距离和所述第二距离。

4. 根据权利要求3所述的系统，其中所述存储器还具有存储在其上的计算机可执行指令，以致使所述一组处理器：

基于所述第一距离和所述第二距离，来确定所述第一点对的第一尺度变化估计值，并且

基于所述尺度变化估计值，来确定表示所述第一图像数据和所述第二图像数据之间的尺度变化的尺度变化值，

其中检测所述器械在所述管腔网络内的所述位置变化还基于所述尺度变化值。

5. 根据权利要求4所述的系统，其中所述存储器还具有存储在其上的计算机可执行指令，以致使所述一组处理器：

确定分别对应于所述点对的一组尺度变化估计值，并且

基于所述一组尺度变化估计值的中值或所述一组尺度变化估计值的平均值，来确定所述尺度变化值。

6.根据权利要求1所述的系统，其中所述存储器还具有存储在其上的计算机可执行指令，以致使所述一组处理器：

跟踪第一时间段内表示从所述图像传感器接收的图像数据的尺度变化的尺度变化值的累积变化，

将所跟踪的尺度变化值变换为频域，并且

识别频域中的所跟踪的尺度变化值中的至少一个谐波，

其中检测所述器械在所述管腔网络内的所述位置变化还基于所述至少一个谐波。

7.根据权利要求1所述的系统，其中所述存储器还具有存储在其上的计算机可执行指令，以致使所述一组处理器：

基于从一个或多个位置传感器接收的数据，来确定所述器械的位置，

基于所述一组第一位置和所述一组第二位置，来确定所述患者的第一生理运动频率，其中检测所述器械在所述管腔网络内的所述位置变化还基于所述第一生理运动频率，并且

将所检测到的所述器械在所述管腔网络内的位置变化的指示提供给显示器。

8. 根据权利要求7所述的系统，其中所述存储器还具有存储在其上的计算机可执行指令，以致使所述一组处理器：

基于从所述一个或多个位置传感器接收的所述数据，来确定所述患者的第二生理运动频率，并且

确定所述第一生理运动频率和所述第二生理运动频率之间的差值小于阈值差值，

其中检测所述器械在所述管腔网络内的所述位置变化还响应于确定所述第一生理运动频率和所述第二生理运动频率之间的所述差值小于所述阈值差值。

9.根据权利要求7所述的系统，其中所述一个或多个位置传感器包括以下中的至少一者：电磁（EM）传感器、形状感测光纤、机器人命令数据和基于辐射的图像传感器。

10.根据权利要求7所述的系统，其中所述生理运动包括所述患者的呼吸或所述患者的心率中的至少一者。

11.根据权利要求1所述的系统，其中所述存储器还具有存储在其上的计算机可执行指令，以致使所述一组处理器：

经由将所述第一图像数据中的所述一组点从所述第二图像数据回溯到所述第一图像数据来识别所述一组点的一组回溯位置，

将所述一组回溯位置与所述一组第一位置进行比较，

识别所述一组点中的点的子组，其中所述回溯位置不在所述一组第一位置的阈值距离内，并且

从所述一组点中移除所述点的子组。

12.根据权利要求1所述的系统，其中所述第一组位置和所述第二组位置包括指示所述点相对于所述第一图像数据和所述第二图像数据的坐标系的相应位置的二维（2D）信息。

13. 根据权利要求1所述的系统，其中所述存储器还具有存储在其上的计算机可执行指令，以致使所述一组处理器：

从所述第一图像数据提取所述一组点的深度信息，并且

从所述第二图像数据提取所述一组点的深度信息，

其中所述第一组位置和所述第二组位置包括指示基于从所述第一图像数据和所述第二图像数据中的每一者提取的深度信息来确定的所述点的相应位置的三维（3D）信息。

14.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质具有存储在其上的指令，所述指令在被执行时致使至少一个计算装置：

从位于器械上的图像传感器接收第一图像数据，所述器械被配置成被驱动通过患者的管腔网络；

检测所述第一图像数据的一组一个或多个感兴趣的点；

识别分别对应于所述第一图像数据中的所述一组点的一组第一位置；

从所述图像传感器接收第二图像数据；

检测所述第二图像数据中的所述一组一个或多个点；

识别分别对应于所述第二图像数据中的所述一组点的一组第二位置；并且

基于所述一组第一位置和所述一组第二位置，检测由所述管腔网络相对于所述器械的运动引起的所述器械在所述管腔网络内的位置变化。

15.根据权利要求14所述的非暂态计算机可读存储介质，其中：

所述一组第一位置和所述一组第二位置分别限定所述第一图像数据和所述第二图像数据内的所述点的二维（2D）位置。

16.根据权利要求15所述的非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质还具有存储在其上的指令，所述指令在被执行时致使所述至少一个计算装置：

将所述一组点分组为多个点对，第一点对包括第一点和第二点；

基于所述一组第一位置，来确定所述第一图像数据中的所述第一点与所述第二点之间的第一距离；并且

基于所述一组第二位置，来确定所述第二图像数据中的所述第一点与所述第二点之间的第二距离，

其中检测所述器械在所述管腔网络内的所述位置变化还基于所述第一距离和所述第二距离。

17. 根据权利要求16所述的非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质还具有存储在其上的指令，所述指令在被执行时致使所述至少一个计算装置：

基于所述第一距离和所述第二距离确定所述第一点对的第一尺度变化估计值；并且

基于所述尺度变化估计值，来确定表示所述第一图像数据和所述第二图像数据之间的尺度变化的尺度变化值，

其中检测所述器械在所述管腔网络内的所述位置变化还基于所述尺度变化值。

18. 根据权利要求17所述的非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质还具有存储在其上的指令，所述指令在被执行时致使所述至少一个计算装置：

确定分别对应于所述点对的一组尺度变化估计值；并且

基于所述一组尺度变化估计值的中值或所述一组尺度变化估计值的平均值，来确定所述尺度变化值。

19.根据权利要求14所述的非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质还具有存储在其上的指令，所述指令在被执行时致使所述至少一个计算装置：

跟踪第一时间段内表示从所述图像传感器接收的图像数据的尺度变化的尺度变化值的累积变化；

将所跟踪的尺度变化值变换为频域；并且

识别频域中的所跟踪的尺度变化值中的至少一个谐波，

其中检测所述器械在所述管腔网络内的所述位置变化还基于所述至少一个谐波。

20.根据权利要求14所述的非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质还具有存储在其上的指令，所述指令在被执行时致使所述至少一个计算装置：

基于从一个或多个位置传感器接收的数据，来确定所述器械的位置；

基于所述一组第一位置和所述一组第二位置，来确定所述患者的第一生理运动频率，其中检测所述器械在所述管腔网络内的所述位置变化还基于所述第一生理运动频率；并且

将所检测到的所述器械在所述管腔网络内的位置变化的指示提供给显示器。

21. 根据权利要求20所述的非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质还具有存储在其上的指令，所述指令在被执行时致使所述至少一个计算装置：

基于从所述一个或多个位置传感器接收的所述数据，来确定所述患者的第二生理运动频率；并且

确定所述第一生理运动频率和所述第二生理运动频率之间的差值小于阈值差值，

其中检测所述器械在所述管腔网络内的所述位置变化还响应于确定所述第一生理运动频率和所述第二生理运动频率之间的所述差值小于所述阈值差值。

22.根据权利要求20所述的非暂态计算机可读存储介质，其中所述一个或多个位置传感器包括以下中的至少一者：电磁（EM）传感器、形状感测光纤、机器人命令数据和基于辐射的图像传感器。

23.根据权利要求20所述的非暂态计算机可读存储介质，其中所述生理运动包括所述患者的呼吸或所述患者的心率中的至少一者。

24.根据权利要求14所述的非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质还具有存储在其上的指令，所述指令在被执行时致使所述至少一个计算装置：

经由将所述第一图像数据中的所述一组点从所述第二图像数据回溯到所述第一图像数据来识别所述一组点的一组回溯位置；

将所述一组回溯位置与所述一组第一位置进行比较；

识别所述一组点中的点的子组，其中所述回溯位置不在所述一组第一位置的阈值距离内；并且

从所述一组点中移除所述点的子组。

25.根据权利要求14所述的非暂态计算机可读存储介质，其中所述第一组位置和所述第二组位置包括指示所述点相对于所述第一图像数据和所述第二图像数据的坐标系的相应位置的二维（2D）信息。

26. 根据权利要求14所述的非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质还具有存储在其上的指令，所述指令在被执行时致使所述至少一个计算装置：

从所述第一图像数据提取所述一组点的深度信息；并且

从所述第二图像数据提取所述一组点的深度信息，

其中所述第一组位置和所述第二组位置包括指示基于从所述第一图像数据和所述第二图像数据中的每一者提取的深度信息来确定的所述点的相应位置的三维（3D）信息。

27.一种用于检测器械的位置变化的方法，包括：

从位于所述器械上的图像传感器接收第一图像数据，所述器械被配置成被驱动通过患者的管腔网络；

检测所述第一图像数据的一组一个或多个感兴趣的点；

识别分别对应于所述第一图像数据中的所述一组点的一组第一位置；

从所述图像传感器接收第二图像数据；

检测所述第二图像数据中的所述一组一个或多个点；

识别分别对应于所述第二图像数据中的所述一组点的一组第二位置；以及

基于所述一组第一位置和所述一组第二位置，来检测由所述管腔网络相对于所述器械的运动引起的所述器械在所述管腔网络内的所述位置变化。

28.根据权利要求27所述的方法，其中：

所述一组第一位置和所述一组第二位置分别限定所述第一图像数据和所述第二图像数据内的所述点的二维（2D）位置。

29.根据权利要求28所述的方法，还包括：

将所述一组点分组为多个点对，第一点对包括第一点和第二点；

基于所述一组第一位置，来确定所述第一图像数据中的所述第一点与所述第二点之间的第一距离；并且

基于所述一组第二位置，来确定所述第二图像数据中的所述第一点与所述第二点之间的第二距离，

其中检测所述器械在所述管腔网络内的所述位置变化还基于所述第一距离和所述第二距离。

30. 根据权利要求29所述的方法，还包括：

基于所述第一距离和所述第二距离，来确定所述第一点对的第一尺度变化估计值；并且

基于所述尺度变化估计值，来确定表示所述第一图像数据和所述第二图像数据之间的尺度变化的尺度变化值，

其中检测所述器械在所述管腔网络内的所述位置变化还基于所述尺度变化值。

31. 根据权利要求30所述的方法，还包括：

确定分别对应于所述点对的一组尺度变化估计值；并且

基于所述一组尺度变化估计值的中值或所述一组尺度变化估计值的平均值，来确定所述尺度变化值。

32.根据权利要求27所述的方法，还包括：

跟踪第一时间段内表示从所述图像传感器接收的图像数据的尺度变化的尺度变化值的累积变化；

将所跟踪的尺度变化值变换为频域；并且

识别频域中的所跟踪的尺度变化值中的至少一个谐波，

其中检测所述器械在所述管腔网络内的所述位置变化还基于所述至少一个谐波。

33.根据权利要求27所述的方法，还包括：

基于从一个或多个位置传感器接收的数据，来确定所述器械的位置；

基于所述一组第一位置和所述一组第二位置，来确定所述患者的第一生理运动频率，其中检测所述器械在所述管腔网络内的所述位置变化还基于所述第一生理运动频率；并且

将所检测到的所述器械在所述管腔网络内的位置变化的指示提供给显示器。

34. 根据权利要求33所述的方法，还包括：

基于从所述一个或多个位置传感器接收的所述数据，来确定所述患者的第二生理运动频率；并且

确定所述第一生理运动频率和所述第二生理运动频率之间的差值小于阈值差值，

其中检测所述器械在所述管腔网络内的所述位置变化还响应于确定所述第一生理运动频率和所述第二生理运动频率之间的所述差值小于所述阈值差值。

35.根据权利要求33所述的方法，其中所述一个或多个位置传感器包括以下中的至少一者：电磁（EM）传感器、形状感测光纤、机器人命令数据和基于辐射的图像传感器。

36.根据权利要求33所述的方法，其中所述生理运动包括所述患者的呼吸或所述患者的心率中的至少一者。

37.根据权利要求27所述的方法，还包括：

经由将所述第一图像数据中的所述一组点从所述第二图像数据回溯到所述第一图像数据来识别所述一组点的一组回溯位置；

将所述一组回溯位置与所述一组第一位置进行比较；

识别所述一组点中的点的子组，其中所述回溯位置不在所述一组第一位置的阈值距离内；并且

从所述一组点中移除所述点的子组。

38.根据权利要求27所述的方法，其中所述第一组位置和所述第二组位置包括指示所述点相对于所述第一图像数据和所述第二图像数据的坐标系的相应位置的二维（2D）信息。

39. 根据权利要求27所述的方法，还包括：

从所述第一图像数据提取所述一组点的深度信息；并且

从所述第二图像数据提取所述一组点的深度信息，

其中所述第一组位置和所述第二组位置包括指示基于从所述第一图像数据和所述第二图像数据中的每一者提取的深度信息来确定的所述点的相应位置的三维（3D）信息。

Images