CN110832544A - 用于导航的基于图像的分支检测和映射 - Google Patents

Abstract

腔网络内的器械的导航可以包括基于图像的分支检测和基于图像的分支映射。基于图像的分支检测可以包括在图像内识别与腔网络的一个或更多个分支相关联的一个或更多个开口。基于图像的分支映射可以包括将检测到的一个或更多个开口映射到腔网络的相应分支。映射可以包括将开口的特征与一组预期开口的特征进行比较。可以根据映射的开口确定器械的位置状态估计，这可以有利于腔网络的导航。

Description

用于导航的基于图像的分支检测和映射

技术领域

本公开内容一般地涉及用于医疗器械的导航的系统和方法，并且更具体地涉及用于受导航机器人控制的医疗器械的基于图像的分支检测和映射。

背景技术

医疗过程例如内窥镜检查(例如，支气管镜检查)可以涉及进入并可视化患者的腔(例如，气道)的内部以用于诊断和/或治疗目的。在过程期间，柔性管状工具或器械例如内窥镜可以被插入到患者身体内。在一些情况下，第二器械可以通过内窥镜被传递至被识别为用于诊断和/或治疗的组织部位。

支气管镜检查是允许医生检查患者肺中的气道例如支气管和细支气管的内部状况的医疗过程。在医疗过程期间，可以将被称为支气管镜的细薄柔性的管状工具或器械插入患者的口腔中，并且朝向被识别为用于随后诊断和治疗的组织部位通过患者的喉部向下传递进入他或她的肺气道。支气管镜可以具有向组织部位提供通路的腔(“工作通道”)，并且导管和各种医疗工具可以通过工作通道插入到组织部位。

在某些医疗过程中，可以使用手术机器人系统来控制手术工具的插入和/或操作。手术机器人系统可以包括至少一个机器人臂或其他器械定位装置，该器械定位装置包括用于在过程期间控制手术工具的定位的操纵器组件。

发明内容

机器人使能医疗系统可以用于执行各种医疗过程，包括微创过程诸如腹腔镜检查过程，以及无创过程诸如内窥镜检查过程。在内窥镜检查过程中，机器人使能医疗系统可用于执行支气管镜检查、输尿管镜检查、胃肠病学等。在这样的过程期间，医生和/或计算机系统可以将医疗器械导航通过患者的腔网络。腔网络可以包括多个分支的腔(例如在支气管网络中或肾网络中)，或者单个腔(例如胃肠道)。机器人使能医疗系统可以包括用于引导(或协助引导)医疗器械通过腔网络的导航系统。

本公开内容的实施方式涉及用于基于图像的分支检测和映射的系统和技术。基于图像的分支检测和映射可以有助于导航通过腔网络。基于图像的分支检测可以包括在使用器械上的成像装置捕获的图像内识别与腔网络的一个或更多个分支相关联的一个或更多个开口。基于图像的分支映射可以包括将检测到的一个或更多个开口映射到腔网络的相应分支。这些系统和技术可以用于确定或估计器械在腔网络中的位置。本公开内容的系统、方法和装置各自都具有若干创新方面，本公开内容的系统、方法和装置中的没有单独一个独自地负责本文中公开的期望属性。

因此，第一方面涉及非暂态计算机可读存储介质，在非暂态计算机可读存储介质上存储有指令，指令在被执行时使装置的处理器至少进行如下步骤：确定位于腔网络的当前分支内的器械的位置状态估计；至少部分地基于位置状态估计和腔网络的术前模型确定一组预期后续分支；使用位于器械上的成像装置捕获当前分支的图像；在图像内检测将腔网络的后续分支连接到当前分支的多个开口，；将检测到的所述多个开口的一个或更多个特征与一组预期后续分支进行比较，以将多个开口中的每个开口映射到一组预期后续分支中的一个分支；以及至少部分地基于该比较，提供更新的位置状态估计。

第一方面还可以以任意组合包括以下特征中的一个或更多个特征：(a)其中更新的位置状态估计包括位置状态估计为正确的概率；(b)其中部分地基于检测到的所述多个开口的一个或更多个特征与一组预期后续分支之间的比较来确定概率；(c)其中部分地基于检测到的所述多个开口的一个或更多个特征与一组预期后续分支匹配的程度来确定概率；(d)其中更新的位置状态估计包括器械将被移动到哪个后续分支内的估计；(e)其中指令在被执行使装置的处理器确定检测到的所述多个开口中的哪个开口更靠近图像的中心；(f)其中更新的位置状态估计包括器械将被移动到被确定为更靠近图像的中心的开口内的概率；(g)其中位置状态估计包括器械绕器械的纵向轴线的滚动的估计，并且其中更新的位置状态估计包括滚动的估计为正确的概率，其中概率通过将图像内的检测到的开口的取向与基于术前模型的一组预期后续分支的预期取向进行比较来确定；(h)其中所位置状态估计包括器械绕器械的纵向轴线的滚动的估计，并且其中指令在被执行时使装置的处理器通过将图像内的检测到的开口的取向与基于术前模型的一组预期后续分支的预期取向进行比较来确定滚动的校正估计；(i)其中指令在被执行时使装置的处理器确定检测到的开口的一个或更多个特征；(j)其中一个或更多个特征选自由开口的形心、开口的轮廓以及连接两个开口的形心的向量构成的组；(k)其中指令在被执行时使装置的一个或更多个处理器从术前模型获得与一组预期后续分支有关的信息，其中信息包括开口的形心、开口的轮廓以及连接两个开口的形心的向量中至少之一；(l)其中指令在被执行时使装置的处理器通过以下方式将检测到的多个开口的一个或更多个特征与一组预期后续分支进行比较：对于检测到的开口中的每个检测到的开口，迭代地将该检测到的开口的一个或更多个特征和与一组预期后续分支有关的信息进行匹配，其中最高匹配用于将该检测到的开口映射到预期后续分支之一；(m)其中指令在被执行时使装置的处理器通过以下方式检测图像内的多个开口：生成图像的像素强度值的直方图；分析直方图以识别图像内的多个开口；和/或(n)其中分析直方图包括识别直方图内的至少两个峰值；识别至少两个峰值之间的中点；将中点的第一侧的像素分类为开口。

第二方面涉及用于对患者的腔网络进行导航的机器人系统，该机器人系统包括：器械，该器械具有被配置成插入到腔网络中的细长本体以及位于细长本体的末端部分上的成像装置；附接于器械的器械定位装置，该器械定位装置被配置成移动器械通过腔网络；上面存储有可执行指令的至少一个计算机可读存储器；一个或更多个处理器，所述一个或更多个处理器与至少一个计算机可读存储器通信并且被配置成执行指令以使系统至少进行如下步骤：确定位于腔网络的当前分支内的器械的位置状态估计；至少部分地基于初始状态估计和腔网络的术前模型确定一组预期后续分支；使用位于器械上的成像装置捕获腔网络的当前分支的图像；在图像内检测将腔网络的后续分支连接到当前分支的多个开口；将检测到的多个开口的特征与一组预期后续分支进行比较，以将多个开口中的每个开口映射到预期后续分支之一；以及至少部分地基于比较，提供更新的位置状态估计。

第二方面还可以以任意组合包括以下特征的一个或更多个：(a)其中器械包括内窥镜；(b)其中器械定位装置包括机器人臂；(c)其中腔网络包括肺的支气管网络、胃肠道或者肾脏的肾网络；(d)其中更新的位置状态估计包括位置状态估计为正确的概率；(e)部分地基于检测到的多个开口的特征与一组预期后续分支之间的比较来确定概率；(f)其中概率是部分地基于检测到的多个开口的特征与一组预期后续分支匹配的程度来确定；(g)其中更新的位置状态估计包括器械将被移动到哪个后续分支内的估计；(h)其中指令在被执行时使一个或更多个处理器确定检测到的多个开口中的哪个开口更靠近图像的中心；(i)其中更新的位置状态估计包括器械将被移动到被确定为更靠近图像的中心的开口内的概率；(j)其中位置状态估计包括器械绕器械的纵向轴线的滚动的估计，并且其中更新的位置状态估计包括滚动的估计为正确的概率，其中通过将所述图像内的检测到的开口的取向与基于术前模型的一组预期后续分支的预期取向进行比较来确定概率；(k)其中位置状态估计包括器械绕器械的纵向轴线的滚动的估计，并且其中指令在被执行时使一个或更多个处理器通过将图像内检测到的开口的取向与基于术前模型的一组预期后续分支的预期取向进行比较来确定滚动的校正估计；(l)其中指令在被执行时使一个或更多个处理器确定检测到的开口的一个或更多个特征；(m)一个或更多个特征选自由开口的形心、开口的轮廓以及连接两个开口的形心的向量构成的组；(n)其中指令在被执行时使装置的一个或更多个处理器从术前模型获得与一组预期后续分支相关的信息，其中信息包括开口形心、开口轮廓以及连接两个开口的形心的向量中至少之一；(o)其中指令在被执行时使一个或更多个处理器通过以下方式将检测到的多个开口的一个或更多个特征与一组预期后续分支进行比较：对于检测到的开口中的每个检测到的开口，迭代地将该检测到的开口的一个或更多个特征和与一组预期后续分支有关的信息进行匹配，其中最高匹配用于将该检测到的开口映射到预期后续分支之一；(p)其中指令在被执行时使一个或更多个处理器通过以下方式检测图像内的多个开口：生成图像的像素强度值的直方图；分析直方图以识别图像内的多个开口；和/或(q)其中分析直方图包括：识别直方图内的至少两个峰值；识别至少两个峰值之间的中点；以及将中点的第一侧的像素分类为开口。

第三方面涉及用于对腔网络进行导航的方法，该方法包括：将器械插入到腔网络的当前分支中；接收器械的位置状态估计；至少部分地基于初始状态估计和腔网络的术前模型确定一组预期后续分支；使用位于器械上的成像装置捕获当前分支的图像；分析图像以检测将后续分支连接到当前分支的多个开口；将检测到的多个开口的特征与一组预期后续分支进行比较，以将多个开口中的每个开口映射到预期后续分支之一；以及至少部分地基于该比较，提供更新的位置状态估计。

第三方面还可以以任意组合包括以下特征的一个或更多个：(a)其中器械包括内窥镜；(b)其中器械定位装置包括机器人臂；(c)其中腔网络包括肺的支气管网络、胃肠道或者肾脏的肾网络；(d)其中更新的位置状态估计包括位置状态估计为正确的概率；(e)其中部分地基于检测到的多个开口的一个或更多个特征与一组预期后续分支之间的比较来确定概率；(f)其中部分地基于检测到的多个开口的一个或更多个特征与一组预期后续分支匹配的程度来确定概率；(g)其中更新的位置状态估计包括器械将被移动到哪个后续分支内的估计；(h)其中还包括确定检测到的多个开口中的哪个开口更靠近图像的中心；(i)其中更新的位置状态估计包括器械将被移动到被确定为更靠近图像的中心的开口内的概率；(j)其中位置状态估计包括器械绕器械的纵向轴线的滚动的估计，并且其中更新的位置状态估计包括滚动的估计为正确的概率，该方法还包括：将所述图像内的检测到的开口的取向与基于术前模型的一组预期后续分支的预期取向进行比较来确定概率；(k)其中位置状态估计包括器械绕器械的纵向轴线的滚动的估计，并且其中该方法还包括：通过将图像内检测到的开口的取向与基于术前模型的一组预期后续分支的预期取向进行比较来确定滚动的校正估计；(l)确定检测到的开口的一个或更多个特征；(m)其中一个或更多个特征选自由开口的形心、开口的轮廓以及连接两个开口的形心的向量构成的组；(n)从术前模型获得与一组预期后续分支相关的信息，其中信息包括开口形心、开口轮廓以及连接两个开口的形心的向量中至少之一；(o)其中将检测到的多个开口的特征与一组预期后续分支进行比较包括：对于检测到的开口中的每个检测到的开口，迭代地将该检测到的开口的一个或更多个特征和与一组预期后续分支有关的信息进行匹配，其中最高匹配用于将该检测到的开口映射到预期后续分支之一；(p)其中检测图像内的多个开口包括：生成图像的像素强度值的直方图；以及分析直方图以识别图像内的多个开口；和/或(q)其中分析直方图包括识别直方图内的至少两个峰值；识别至少两个峰值之间的中点；将中点的第一侧的像素分类为开口。

第四方面涉及用于识别腔网络的分支的开口的方法，该方法包括使用位于分支内的成像装置捕获腔网络的分支的内部的图像；生成图像的像素强度值的直方图；以及将低于阈值的像素识别为指示图像内的开口。

第四方面还可以以任意组合包括以下特征的一个或更多个：(a)基于直方图确定阈值；(b)其中确定阈值包括识别直方图内的至少两个峰值；识别至少两个峰值之间的中点；并且将阈值设置为等于中点的强度值；(c)对于图像内的识别的开口中的每个开口，确定开口的形心；(d)对于图像内的识别的开口中的每个开口，确定开口的轮廓；(e)将图像中的识别的开口的数目与坏帧检测器阈值进行比较；以及如果识别的开口的数目超过坏帧检测器阈值：则捕获分支的内部的第二图像；以及分析第二图像以确定第二图像内的开口；(f)其中腔网络是肺的支气管网络、胃肠道或肾脏的肾网络。

附图说明

下文将结合附图描述所公开的方面，提供附图是为了说明而不是限制所公开的方面，其中，相同的标记表示相同的元件。

图1示出了被布置成用于诊断和/或治疗性支气管镜检查过程的基于推车的机器人系统的实施方式。

图2描绘了图1的机器人系统的另外方面。

图3示出了被布置成用于输尿管镜检查的图1的机器人系统的实施方式。

图4示出了被布置成用于血管过程的图1的机器人系统的实施方式。

图5示出了被布置成用于支气管镜检查过程的基于台的机器人系统的实施方式。

图6提供了图5的机器人系统的替选视图。

图7示出了被配置成收放机器人臂的示例系统。

图8示出了被配置成用于输尿管镜检查过程的基于台的机器人系统的实施方式。

图9示出了被配置成用于腹腔镜检查过程的基于台的机器人系统的实施方式。

图10示出了具有俯仰或倾斜调整的图5至图9的基于台的机器人系统的实施方式。

图11提供了图5至图10的基于台的机器人系统的台与柱之间的接口的详细图示。

图12示出了示例性器械驱动器。

图13示出了具有成对的器械驱动器的示例性医疗器械。

图14示出了器械驱动器和器械的替选设计，其中驱动单元的轴线平行于器械的细长轴的轴线。

图15描绘了示出根据示例实施方式的定位系统的框图，该定位系统估计图1至图10的机器人系统的一个或更多个元件的位置，例如图13和图14的器械的位置。

图16示出了对腔网络进行导航的器械的示例。

图17示出了用于机器人控制的手术系统的示例性命令控制台。

图18示出了医疗器械的实施方式的末端。

图19描绘了示出用于基于图像的分支检测和映射的示例方法的流程图。

图20示出了腔网络的分支的内部的示例性图像。

图21描绘了示出用于基于图像的分支检测的示例性方法的流程图。

图22示出了像素强度值的示例性直方图。

图23A和图23B示出了说明基于图像的分支检测的示例性图像。

图24描绘了示出用于基于图像的分支检测的示例性方法的流程图。

图25示出了腔网络的简化视图。

图26描绘了示出用于基于图像的分支映射的示例性方法的流程图。

图27A至图27C示出了用于基于图像的分支映射的方法中的示例性步骤。

图28示出了说明基于图像的分支预测的示例性图像。

图29描绘了示出用于基于图像的分支检测和映射的示例性方法的流程图。

具体实施方式

1.概述。

本公开内容的各方面可以被集成到机器人使能医疗系统中，该机器人使能医疗系统能够执行各种医疗过程，包括微创过程诸如腹腔镜检查，以及无创过程诸如内窥镜检查。在内窥镜检查过程中，该系统可以执行支气管镜检查、输尿管镜检查、胃镜检查等。

除了执行广泛的过程之外，系统还可以提供另外的益处，例如增强成像和引导以帮助医生。此外，系统可以为医生提供如下能力：在不需要笨拙的手臂运动和定位的情况下，从人体工程学位置执行过程。此外，系统还可以向医生提供如下能力：以改进的易用性来执行过程，使得系统的器械中的一个或更多个器械可以由单个用户控制。

出于说明的目的，下面将结合附图来描述各种实施方式。应当理解的是，所公开的概念的许多其他实现是可能的，并且利用所公开的实现可以获得各种优点。本文包含标题以用于参考并帮助定位各个部分。这些标题并非旨在限制相对于其所描述的概念的范围。这种概念可以适用于整个说明书。

A.机器人系统-推车。

取决于具体过程，可以以各种方式配置机器人使能医疗系统。图1示出了被布置成用于诊断和/或治疗支气管镜检查过程的基于推车的机器人使能系统10的实施方式。在支气管镜检查期间，系统10可以包括推车11，推车11具有一个或更多个机器人臂12，以将医疗器械(例如可操纵的内窥镜13，其可以是用于支气管镜检查的过程专用支气管镜)递送至自然孔口进入点(即，在本示例中为定位在台上的患者的口腔)，以递送诊断和/或治疗工具。如图所示，推车11可以被定位在患者的上躯干附近，以便提供至进入点的入径。类似地，机器人臂12可以被致动以相对于进入点定位支气管镜。当利用胃镜(一种用于胃肠(GI)过程的专用内窥镜)执行GI过程时，也可以利用图1中的装置。图2更详细地描述了推车的示例性实施方式。

继续参照图1，一旦推车11被合适地定位，机器人臂12就可以自动地、手动地或以其组合的方式将可操纵内窥镜13插入到患者身体内。如图所示，可操纵内窥镜13可以包括至少两个伸缩部分，例如内引导件部分和外护套部分，每个部分耦接至来自该组器械驱动器28的单独的器械驱动器，每个器械驱动器耦接至单独的机器人臂的末端。便于将引导件部分与护套部分同轴对准的器械驱动器28的这种线性布置产生“虚拟轨道”29，“虚拟轨道”29可以通过将一个或更多个机器人臂12操纵到不同角度和/或位置而在空间中重新定位。在图中使用虚线描绘了本文描述的虚拟轨道，并且因此虚线不描绘系统的任何物理结构。器械驱动器28沿着虚拟轨道29的平移使内引导件部分相对于外护套部分伸缩，或者使内窥镜13相对于患者前进或缩回。虚拟轨道29的角度可以基于临床应用或医生偏好来调整、平移和枢转。例如，在支气管镜检查中，所示的虚拟轨道29的角度和位置代表了在使医生接近内窥镜13与使由于内窥镜13弯曲到患者的口腔中而产生的摩擦最小化之间的折衷。

可以使用来自机器人系统的精确命令在插入之后沿着患者的气管和肺引导内窥镜13，直到到达目标目的地或手术部位。为了增强通过患者的肺网络的导航和/或到达期望的目标，内窥镜13可以被操纵成从外护套部分伸缩地延伸内引导件部分，以获得增强的接合和更大的弯曲半径。使用单独的器械驱动器28还允许引导件部分和护套部分彼此独立地被驱动。

例如，内窥镜13可以被引导以将活检针递送至目标，例如，患者肺内的病变或结节。可以沿着工作通道部署沿着内窥镜的长度延伸的针以获得要由病理学家分析的组织样本。根据病理学结果，可以沿着内窥镜的工作通道部署附加工具以用于附加活检。在识别出结节是恶性的之后，内窥镜13可以通过内窥镜递送工具以切除潜在的癌组织。在一些情况下，诊断和治疗处理可能需要在单独的过程中递送。在那些情况下，内窥镜13也可以用于递送基准物以“标记”目标结节的位置。在其他情况下，诊断和治疗处理可以在相同的过程期间被递送。

系统10还可以包括可移动塔30，该可移动塔30可以经由支持线缆连接至推车11以向推车11提供控制、电子、流控学、光学、传感器和/或电力的支持。将这样的功能性放置在塔30中允许可以由操作医生和他/她的工作人员更容易地调整和/或重新定位的更小形状因子的推车11。此外，推车/台与支持塔30之间的功能性的分配减轻了手术室的混乱并且有利于改善临床工作流程。虽然推车11可以定位成靠近患者，但是塔30可以收放在远程位置以在过程期间不挡道。

在上述机器人系统的支持中，塔30可以包括基于计算机的控制系统的(一个或多个)部件，基于计算机的控制系统例如在诸如永久性磁存储驱动器、固态驱动器等的非暂态计算机可读存储介质内存储计算机程序指令。这些指令的执行——无论该执行在塔30中还是在推车11中发生——都可以控制整个系统或其(一个或多个)子系统。例如，当由计算机系统的处理器执行时，指令可以使机器人系统的部件致动相关的托架和臂安装件，致动机器人臂，并且控制医疗器械。例如，响应于接收到控制信号，机器人臂的关节中的马达可以将臂定位成特定姿势。

塔30还可以包括泵、流量计、阀控制器和/或流体入口，以便向可以通过内窥镜13部署的系统提供受控的冲洗和抽吸能力。这些部件也可以使用塔30的计算机系统来控制。在一些实施方式中，冲洗和抽吸能力可以通过(一个或更多个)单独的线缆直接递送至内窥镜13。

塔30可以包括电压和浪涌保护器，电压和浪涌保护器被设计成向推车11提供经滤波和保护的电力，从而避免在推车11中放置电力变压器和其他辅助电力部件，从而得到更小、更加可移动的推车11。

塔30还可以包括用于遍及机器人系统10部署的传感器的支持设备。例如，塔30可以包括用于检测、接收和处理从遍及机器人系统10的光学传感器或摄像装置接收到的数据的光电子设备。与控制系统结合，这样的光电子设备可以用于生成实时图像以显示在遍及系统部署的任何数量的控制台(包括在塔30中的)中。类似地，塔30还可以包括用于接收和处理从部署的电磁(EM)传感器接收到的信号的电子子系统。塔30还可以用于容置和定位EM场发生器，以用于医疗器械中或医疗器械上的EM传感器的检测。

除了在系统的其余部分中可用的其他控制台(例如，安装在推车顶部的控制台)之外，塔30还可以包括控制台31。控制台31可以包括用于医生操作员的用户接口和显示屏，例如触摸屏。系统10中的控制台通常被设计成提供机器人控制以及过程的术前信息和实时信息，例如，内窥镜13的导航和定位信息。当控制台31不是医生可用的唯一控制台时，控制台31可以由诸如护士的第二操作者使用，以监测患者的健康或生命体征以及系统的操作，以及提供过程专用数据，例如，导航和定位信息。在其他的实施方式中，控制台30容置在与塔30分离的物体中。

塔30可以通过一个或更多个线缆或连接(未示出)耦接至推车11和内窥镜13。在一些实施方式中，来自塔30的支持功能可以通过单个线缆被提供至推车11，从而简化手术室并且使手术室不杂乱。在其他实施方式中，特定功能性可以耦接在单独的线缆和连接中。例如，尽管可以通过单个电力线缆向推车提供电力，但也可以通过单独的线缆提供对控制、光学、流控和/或导航的支持。

图2提供了图1所示的基于推车的机器人使能系统的推车的实施方式的详细图示。推车11通常包括细长的支承结构14(通常称为“柱”)、推车基部15和在柱14的顶部的控制台16。柱14可以包括用于支承一个或更多个机器人臂12(图2中示出三个)的部署的一个或更多个托架，例如托架17(替选地“臂支架”)。托架17可以包括可单独配置的臂安装件，该臂安装件沿着竖直轴旋转以调整机器人臂12的基部，以相对于患者更好地定位。托架17还包括托架接口19，其允许托架17沿着柱14竖直平移。

托架接口19通过诸如槽20的槽连接至柱14，所述槽被定位在柱14的相对侧以引导托架17的竖直平移。槽20包含用于将托架定位和保持在相对于推车基部15的各种竖直高度处的竖直平移接口。托架17的竖直平移允许推车11调整机器人臂12的可达范围以满足各种台高度、患者尺寸和医生偏好。类似地，托架17上的可单独配置的臂安装件允许机器人臂12的机器人臂基部21以各种配置成角度。

在一些实施方式中，槽20可以补充有槽盖，槽盖与槽表面齐平且平行，以防止在托架17竖直平移时灰尘和流体进入柱14的内部腔室和竖直平移接口。可以通过位于槽20的竖直顶部和底部附近的成对弹簧卷轴来部署槽盖。盖盘绕在卷轴内直到被部署成随着托架17竖直地上下平移而从盖的盘绕状态延伸和缩回。当托架17向卷轴平移时，卷轴的弹簧加载提供了将盖缩回到卷轴中的力，同时当托架17平移远离卷轴时也保持紧密密封。盖可以使用例如托架接口19中的托架连接至托架17，以确保盖在托架17平移时适当地延伸和缩回。

柱14可以在内部包括诸如齿轮和马达的机构，所述机构被设计成使用竖直对准的导螺杆以响应于响应用户输入(例如，来自控制台16的输入)而生成的控制信号而以机械化方式平移托架17。

机器人臂12通常可以包括由一系列连杆23分开的机器人臂基部21和端部受动器22，上述一系列连杆23由一系列关节24连接，每个关节包括独立的致动器，每个致动器包括独立可控马达。每个独立可控关节表示机器人臂可用的独立自由度。臂12中的每一个具有七个关节，因此提供七个自由度。多个关节引起多个自由度，从而允许“冗余”自由度。冗余自由度允许机器人臂12使用不同的连杆位置和关节角度将它们各自的端部受动器22定位在空间中的特定位置、取向和轨迹处。这允许系统从空间中的期望点定位和引导医疗器械，同时允许医生将臂关节移动到远离患者的临床有利位置，以产生更好的接近，同时避免臂碰撞。

推车基部15在地板上平衡柱14、托架17和臂12的重量。因此，推车基部15容置较重的部件，例如电子器件、马达、电源以及使得推车能够移动和/或固定的部件。例如，推车基部15包括允许推车在过程之前容易地在手术室中移动的可滚动的轮形脚轮25。在到达适当位置之后，脚轮25可以使用轮锁固定，以在过程期间将推车11保持在适当位置。

定位在柱14的竖直端部的控制台16允许用于接收用户输入的用户接口和显示屏(或两用装置，例如触摸屏26)两者向医生用户提供术前和手术中数据两者。触摸屏26上的潜在术前数据可以包括从术前计算机化断层层析成像(CT)扫描得出的术前计划、导航和映射数据和/或来自术前患者面谈的注释。显示器上的手术中数据可以包括从工具、传感器提供的光学信息和来自传感器的坐标信息以及重要的患者统计，例如呼吸、心率和/或脉搏。控制台16可以被定位和倾斜，以允许医生从柱14的与托架17相对的侧面接近控制台。从该位置，医生可以在从推车11后面操作控制台16的同时观察控制台16、机器人臂12和患者。如所示出的，控制台16还包括用于帮助操纵和稳定推车11的手柄27。

图3示出了被布置成用于输尿管镜检查的机器人使能系统10的实施方式。在输尿管镜检查过程中，推车11可以被定位成将输尿管镜32——即，被设计成横穿患者的尿道和输尿管的过程专用内窥镜——递送至患者的下腹部区域。在输尿管镜检查中，可以期望输尿管镜32直接与患者的尿道对准以减少该区域中的敏感解剖结构上的摩擦和力。如所示出的，推车11可以在台的脚部处对准，以允许机器人臂12定位输尿管镜32，以用于直接线性进入患者的尿道。从台的脚部，机器人臂12可以沿着虚拟轨道33将输尿管镜32通过尿道直接插入患者的下腹部。

在插入尿道中之后，使用与支气管镜检查中类似的控制技术，输尿管镜32可以被导航到膀胱、输尿管和/或肾中以用于诊断和/或治疗应用。例如，可以使用沿着输尿管镜32的工作通道部署的激光或超声碎石装置将输尿管镜32引导到输尿管和肾中以打碎积聚的肾结石。在碎石完成之后，可以使用沿着输尿管镜32部署的网篮移除所得到的结石碎片。

图4示出了类似地被布置成用于血管过程的机器人使能系统的实施方式。在血管过程中，系统10可以被配置成使得推车11可以将诸如可操纵导管的医疗器械34递送至患者腿部的股动脉中的进入点。股动脉呈现用于导航的较大直径以及到患者心脏的相对较少迂回和曲折路径两者，这简化了导航。如在输尿管镜检查过程中，推车11可以被定位成朝向患者的腿和下腹部，以允许机器人臂12提供直接线性进入患者的大腿/髋部区域中的股动脉进入点的虚拟轨道35。在插入动脉后，可以通过平移器械驱动器28来引导和插入医疗器械34。替选地，推车可以被定位在患者的上腹部周围，以到达替选的血管进入点，例如，肩部和腕部附近的颈动脉和臂动脉。

B.机器人系统-台。

机器人使能医疗系统的实施方式还可以结合患者的台。通过移除推车，台的结合减少了手术室内的主要设备的量，这允许对患者的更好的进入。图5示出了被布置成用于支气管镜检查过程的这样的机器人使能系统的实施方式。系统36包括用于在地板上支承平台38(示出为“台”或“床”)的支承结构或柱37。与基于推车的系统非常相似，系统36的机器人臂39的端部受动器包括器械驱动器42，器械驱动器42被设计成通过或沿着由器械驱动器42的线性对准形成的虚拟轨道41来操纵细长医疗器械，例如图5中的支气管镜40。在实践上，可以通过将发射器和检测器放置在台38周围来在患者的上腹部区域上方放置用于提供荧光透视成像的C形臂。

图6提供了出于讨论的目的而没有患者和医疗仪器的系统36的替选视图。如所示出的，柱37可以包括在系统36中示出为环形形状的一个或更多个托架43，一个或更多个机器人臂39可以基于上述一个或更多个托架43。托架43可以沿着在柱37的长度上延伸的竖直柱接口44平移以提供不同的有利点，机器人臂39可以从这些有利点被定位成到达患者。(一个或多个)托架43可以使用定位在柱37内的机械马达绕柱37旋转，以允许机器人臂39接近台38的多个侧面，诸如例如患者的两侧。在具有多个托架的实施方式中，托架可以单独地定位在柱上，并且可以独立于其他托架而平移和/或旋转。虽然托架43不需要围绕柱37或者甚至无需是圆形的，但所示的环形形状有利于托架43绕柱37的旋转，同时保持结构平衡。托架43的旋转和平移允许系统将诸如内窥镜和腹腔镜的医疗器械对准到患者上的不同进入点中。在其他的实施方式中(未示出)，系统36可以包括病人的台或床，该病人的台或床具有沿其延伸的杆或轨道形式的可调节臂支撑件。一个或更多个机器人臂39(例如，通过带有肘关节的肩部)可以附接到可以垂直调节的可调节臂支撑件。通过提供垂直调节，机器人臂39有利地能够紧凑地收放在病人的台或床下方，并且随后在过程中被升起。

臂39可以通过包括一系列关节的一组臂安装件45安装在托架上，上述一系列关节可以单独地旋转和/或可伸缩地延伸，以向机器人臂39提供附加的可配置性。另外，臂安装件45可以被定位在托架43上，使得当托架43适当地旋转时，臂安装件45可以被定位在台38的相同侧(如图6中所示)，定位在台38的相对侧(如图9中所示)，或者定位在台38的相邻侧(未示出)。

柱37在结构上提供用于台38的支承以及用于托架的竖直平移的路径。在内部，柱37可以配备有用于引导托架的竖直平移的导引螺杆以及基于导引螺杆使所述托架的平移机械化的马达。柱37还可以将电力和控制信号传送至托架43和安装在托架43上的机器人臂39。

台基部46起到与图2中示出的推车11中的推车基部15类似的作用，容置较重的部件以平衡台/床38、柱37、托架43和机器人臂39。台基部46还可以并入刚性脚轮以用于在过程期间提供稳定性。从台基部46的底部部署的脚轮可以在基部46的两侧沿相对方向延伸，并且当系统36需要被移动时缩回。

继续图6，系统36还可以包括塔(未示出)，该塔在台与塔之间分配系统36的功能性以减小台的形状因子和体积。如在先前公开的实施方式中，塔可以向台提供各种支持功能，例如处理、计算和控制能力、电力、流控和/或光学以及传感器处理。塔还可以是可移动的，以被定位成远离患者，以改善医生的接近并且使手术室不杂乱。另外，将部件放置在塔中能够实现在台基部中有更多的储存空间，以用于机器人臂的潜在收放。塔还可以包括主控器或控制台，该主控器或控制台提供用于用户输入的诸如键盘和/或悬架式操纵台的用户接口以及用于手术前和手术中信息诸如实时成像、导航和跟踪信息的显示屏(或触摸屏)二者。在一些实施方式中，塔还可以包含用于注气法要使用的气罐的保持器。

在一些实施方式中，台基部可以将机器人臂在不使用时收放并存放。图7示出了基于台的系统的实施方式中的收放机器人臂的系统47。在系统47中，托架48可以竖直平移到基部49中以将机器人臂50、臂安装件51和托架48收放在基部49内。基部盖52可以被平移和缩回地打开以绕柱53展开托架48、臂安装件51和臂50，以及被关闭以收放托架48、臂安装件51和臂50，以在不使用它们时保护它们。基部盖52可以用膜54沿着所述基部盖52的开口的边缘密封，以防止在关闭时灰尘和流体进入。

图8示出了被配置成用于输尿管镜检查过程的机器人使能的基于台的系统的实施方式。在输尿管镜检查中，台38可以包括用于将患者定位成与柱37和台基部46成偏角的转动部分55。转动部分55可以绕枢转点(例如，位于患者头部下方)旋转或枢转，以便将转动部分55的底部部分定位成远离柱37。例如，转动部分55的枢转使C形臂(未示出)能够定位在患者的下腹部上方，而不与台38下方的柱(未示出)竞争空间。通过绕柱37旋转托架35(未示出)，机器人臂39可以沿着虚拟轨道57将输尿管镜56直接插入到患者的腹股沟区域中以到达尿道。在输尿管镜检查中，镫58也可以固定至台38的转动部分55，以在过程期间支承患者的腿的位置并且实现对患者的腹股沟区域的畅通的进入。

在腹腔镜检查过程中，通过患者的腹壁中的(一个或多个)小切口，微创器械可以插入到患者的解剖结构中。在一些实施方式中，微创器械包括细长的刚性构件，例如轴，该刚性构件用于进入患者内的解剖结构。在患者的腹腔膨胀之后，通常称为腹腔镜的器械可以被定向成执行外科任务，例如抓握、切割、切除、缝合等。图9示出了被配置成用于腹腔镜检查过程的机器人使能的基于台的系统的实施方式。如图9中所示，系统36的托架43可以被旋转并且竖直调整成将成对的机器人臂39定位在台38的相对侧上，使得可以使用臂安装件45将器械(诸如腹腔镜)59定位成穿过患者的两侧上的小切口以到达他/她的腹腔。

为了适应腹腔镜检查过程，机器人使能台系统还可以将平台倾斜成期望的角度。图10示出了具有俯仰或倾斜调整的机器人使能医疗系统的实施方式。如图10中所示，系统36可以适应台38的倾斜，以将台的一部分定位在比另一部分距地面更远的距离处。另外，臂安装件45可以旋转以匹配倾斜，使得臂39与台38保持相同的平面关系。为了适应更陡的角度，柱37还可以包括伸缩部分60，该伸缩部分60允许柱37的竖直延伸以防止台38接触地板或与基部46碰撞。

图11提供了台38与柱37之间的接口的详细图示。俯仰旋转机构61可以被配置成以多个自由度改变台38相对于柱37的俯仰角。俯仰旋转机构61可以通过将正交轴线1、2定位在柱-台接口处来实现，每个轴线由单独的马达3、4响应于电俯仰角命令而致动。沿一个螺杆5的旋转将实现在一个轴线1上的倾斜调整，而沿另一个螺杆6的旋转将实现沿另一个轴线2的倾斜调整。在一些实施方式中，球形接头可用于以多个自由度改变台38相对于柱37的俯仰角。

例如，当试图将台定位成头低脚高(Trendelenburg)位置，即，将患者的下腹部定位在比患者的下腹部距地板更高的位置处以用于下腹部手术时，俯仰调整特别有用。头低脚高位置使患者的内部器官通过重力滑向他/她的上腹部，从而清理腹腔以使微创工具进入并执行下腹部手术过程，例如腹腔镜前列腺切除术。

C.器械驱动器和接口。

系统的机器人臂的端部受动器包括：(i)器械驱动器(替选地称为“器械驱动机构”或“器械装置操纵器”)，其结合了用于致动医疗器械的机电装置；以及(ii)可移除或可拆卸的医疗器械，其可以没有诸如马达的任何机电部件。该二分法可能由如下因素驱使：对医疗过程中使用的医疗器械进行消毒的需要；以及由于昂贵的资本设备的复杂机械组件和敏感电子器件而无法对昂贵的资本设备进行充分消毒。因此，医疗器械可以被设计成从器械驱动器(以及因此从系统)拆卸、移除和互换，以用于由医生或医生的工作人员进行单独的消毒或处置。相比之下，器械驱动器不需要被改变或消毒，并且可以被覆盖(drape)以进行保护。

图12示出了示例器械驱动器。定位在机器人臂的末端处的器械驱动器62包括一个或更多个驱动单元63，所述一个或更多个驱动单元63被布置有平行轴线以经由驱动轴64向医疗器械提供受控的扭矩。每个驱动单元63包括：用于与器械相互作用的单独的驱动轴64；用于将马达轴旋转转换成期望扭矩的齿轮头65；用于生成驱动扭矩的马达66；用于测量马达轴的速度并且向控制电路系统提供反馈的编码器67；以及用于接收控制信号并致动驱动单元的控制电路68。每个驱动单元63被独立地控制和机动化，器械驱动器62可以向医疗器械提供多个(如图12中所示为四个)独立的驱动输出。在操作中，控制电路68将接收控制信号，将马达信号发送至马达66，将如由编码器67测量的得到的马达速度与期望速度进行比较，并且调制马达信号以生成期望的扭矩。

对于需要无菌环境的过程，机器人系统可以结合位于器械驱动器与医疗器械之间的驱动接口，例如连接至无菌披盖(drape)的无菌适配器。无菌适配器的主要目的是将来自器械驱动器的驱动轴的角运动传递至器械的驱动输入，同时保持驱动轴与驱动输入之间的物理分离并且因此保持无菌性。因此，示例无菌适配器可以包括旨在与器械驱动器的驱动轴和器械上的驱动输入配合的一系列旋转输入和输出。连接至无菌适配器的包括薄的柔性材料例如透明或半透明塑料的无菌披盖被设计成覆盖资本设备，例如器械驱动器、机器人臂和推车(在基于推车的系统中)或台(在基于台的系统中)。该披盖的使用将允许资本设备被定位在患者附近，同时仍然位于不需要消毒的区域(即，非无菌区)中。在无菌披盖的另一侧，医疗器械可以与在需要消毒的区域(即无菌区)中的患者对接。

D.医疗器械。

图13示出了具有成对的器械驱动器的示例医疗器械。与被设计成用于与机器人系统一起使用的其他器械一样，医疗器械70包括细长轴71(或细长体)和器械基部72。由于其用于由医生进行的手动交互的预期设计而也被称为“器械手柄”的器械基部72通常可以包括例如容座、滑轮或卷轴的可旋转的驱动输入73，其被设计成与驱动输出74配合，该驱动输出74延伸穿过机器人臂76的末端处的器械驱动器75上的驱动接口。当物理连接、闩锁和/或耦接时，器械基部72的配合的驱动输入73可以与器械驱动器75中的驱动输出74共享旋转的轴线，以允许扭矩从驱动输出74传递至驱动输入73。在一些实施方式中，驱动输出74可以包括花键，所述花键被设计成与驱动输入73上的容座配合。

细长轴71被设计成通过例如如在内窥镜检查中的解剖结构开口或腔或者通过例如如在腹腔镜检查中的微创切口来递送。细长轴66可以是柔性的(例如，具有类似于内窥镜的特性)或刚性的(例如，具有类似于腹腔镜的特性)，或者包含柔性部分和刚性部分两者的定制组合。当被设计成用于腹腔镜检查时，刚性细长轴的末端可以被连接至端部受动器和诸如抓握器或剪刀的手术工具或医疗器械，上述端部受动器从由具有至少一个自由度的U形夹形成的有关节的腕部延伸，上述手术工具或医疗器械可以当驱动输入响应于从器械驱动器75的驱动输出74接收到的扭矩而旋转时基于来自腱部的力来致动。当被设计成用于内窥镜检查时，柔性细长轴的末端可以包括可操纵或可控制的弯曲段，该弯曲段可以基于从器械驱动器75的驱动输出74接收到的扭矩而被接合和弯曲。

使用沿着轴71的腱部沿着细长轴71传送来自器械驱动器75的扭矩。这些单独的腱部例如牵引线可以单独地锚定至器械手柄72内的单独的驱动输入73。从手柄72，腱部沿着细长轴71顺着一个或更多个牵引腔引导锚定在细长轴71的末端部分处，或者锚定在细长轴的末端部分的腕部中。在诸如腹腔镜检查、内窥镜检查或混合过程中，这些腱部可以被耦接至末端安装的端部受动器例如腕部、抓握器或剪刀。在这样的布置下，施加在驱动输入73上的扭矩会将张力传递至腱部，从而使端部受动器以某种方式致动。在一些实施方式中，在手术过程期间，腱部可以使关节围绕轴线旋转，从而使端部受动器在一个方向或另一个方向上移动。可替选地，腱部可以连接至细长轴71的末端处的抓握器的一个或更多个钳口，其中来自腱部的张力使抓握器闭合。

在内窥镜检查中，腱部可以经由粘合剂、控制环或其他机械固定件耦接至沿细长轴71(例如，在末端处)定位的弯曲或接合段。当固定地附接至弯曲段的末端时，将沿着腱部传送施加在驱动输入73上的扭矩，从而使较软的弯曲段(有时被称为可接合段或区域)弯曲或接合。沿非弯曲段，可以有利的是，使各个牵引腔盘旋或螺旋，所述牵引腔沿内窥镜轴的壁(或在内窥镜轴的壁内部)引导各个腱部，以平衡由牵引线中的张力产生的径向力。为了特定目的，可以改变或设计盘旋的角度和/或其间的间隔，其中，更紧的盘旋在负载力下呈现更小的轴压缩，而更小的盘旋量在负载力下得到更大的轴压缩，而且呈现有限弯曲。在范围(spectrum)的另一端，牵引腔可以平行于细长轴71的纵向轴线定向以允许在期望的弯曲或可接合段中的受控接合。

在内窥镜检查中，细长轴71容置多个部件以辅助机器人过程。轴可以包括工作通道，用于将手术工具(或医疗器械)、冲洗和/或抽吸部署至轴71的末端处的手术区域。轴71还可以容纳线和/或光纤以向远侧尖端处的光学组件/从远侧尖端处的光学组件传递信号，该光学组件可以包括光学摄像机。轴71还可以容纳光纤，以将来自位于近端的光源例如发光二极管的光传播至轴的末端。

在器械70的末端处，远侧尖端还可以包括用于将用于诊断和/或治疗、冲洗和抽吸的工具递送至手术部位的工作通道的开口。远侧尖端还可以包括用于捕获内部解剖空间的图像的摄像机例如纤维镜或数码摄像机的端口。相关地，远侧尖端还可以包括用于在使用摄像机时照亮解剖空间的光源的端口。

在图13的示例中，驱动轴轴线以及因此驱动输入轴线与细长轴的轴线正交。然而，该布置使细长轴71的滚动操纵性复杂化。当腱部从驱动输入73延伸出并且进入细长轴71内的牵引腔时，在保持驱动输入73静止的同时沿细长轴71的轴线滚动细长轴71会导致腱部的不期望的缠结。所得到的这样的腱部的缠结可能扰乱旨在在内窥镜检查过程期间预测柔性细长轴的运动的任何控制方法。

图14示出了器械驱动器和器械的替选设计，其中驱动单元的轴线平行于器械的细长轴的轴线。如所示地，圆形器械驱动器80包括四个驱动单元，其中四个驱动单元的驱动输出81在机器人臂82的端部处平行对准。驱动单元及其各自的驱动输出81被容置在器械驱动器80的旋转组件83中，该旋转组件83由组件83内的驱动单元之一驱动。响应于由旋转的驱动单元提供的扭矩，旋转组件83沿圆形轴承旋转，该圆形轴承将旋转组件83连接至器械驱动器的非旋转部分84。可以通过电接触将电力和控制信号从器械驱动器80的非旋转部分84传达至旋转组件83，所述电接触可以通过由电刷滑环连接(未示出)的旋转来保持。在其他实施方式中，旋转组件83可以响应于单独的驱动单元，该单独的驱动单元集成至不可旋转部分84中并且因此不平行于其他驱动单元。旋转机构83允许器械驱动器80使驱动单元及其各自的驱动输出81作为单个单元围绕器械驱动器轴线85旋转。

与先前公开的实施方式一样，器械86可以包括细长轴部分88和器械基部87(出于讨论的目的，被示出为具有透明的外壳)，该器械基部87包括被配置成接收器械驱动器80中的驱动输出81的多个驱动输入89(例如，容座、滑轮和卷轴)。与先前公开的实施方式不同，器械轴88从器械基部87的中心延伸，其中器械轴88的轴线基本上平行于驱动输入89的轴线，而不是如图13的设计中那样正交。

当耦接至器械驱动器80的旋转组件83时，包括器械基部87和器械轴88的医疗器械86与旋转组件83结合围绕器械驱动器轴线85旋转。由于器械轴88被定位在器械基部87的中心处，因此当附接时器械轴88与器械驱动器轴线85同轴。因此，旋转组件83的旋转使器械轴88围绕其自身的纵向轴线旋转。此外，当器械基部87与器械轴88一起旋转时，连接至器械基部87中的驱动输入89的任何腱部在旋转期间都不会缠结。因此，驱动输出81、驱动输入89和器械轴88的轴线的平行结构在不会使任何控制腱部缠结的情况下允许轴旋转。

E.导航和控制。

传统的内窥镜检查可以涉及使用荧光检查(例如，如可以通过C形臂递送的)以及其他形式的基于辐射的成像模式，以向操作医生提供腔内指导。相比之下，由本公开内容设想的机器人系统可以提供基于非辐射的导航和定位装置，以减少医生暴露于辐射并且减少手术室内的设备的量。如本文所使用的，术语“定位”可以指确定和/或监测对象在参考坐标系中的位置。可以单独地或组合地使用诸如手术前映射、计算机视觉、实时EM跟踪和机器人命令数据的技术以实现无辐射操作环境。在仍使用基于辐射的成像模式的其他情况下，可以单独地或组合地使用手术前映射、计算机视觉、实时EM跟踪和机器人命令数据，以对仅通过基于辐射的成像模式获得的信息进行改进。

图15是示出了根据示例实施方式的估计机器人系统的一个或更多个元件的位置例如器械的位置的定位系统90的框图。定位系统90可以是被配置成执行一个或更多个指令的一个或更多个计算机装置的组。计算机装置可以由以上讨论的一个或更多个部件中的处理器(或多个处理器)和计算机可读存储器来体现。通过示例的方式而非限制，计算机装置可以在图1中所示的塔30、图1至图4中所示的推车、图5至图10中所示的床等中。

如图15中所示，定位系统90可以包括定位模块95，该定位模块95处理输入数据91至94以生成医疗器械的远侧尖端的位置数据96。位置数据96可以是表示器械的末端相对于参考系的位置和/或取向的数据或逻辑。参考系可以是相对于患者的解剖结构或相对于已知的对象例如EM场发生器(参见以下关于EM场发生器的讨论)的参考系。

现在更详细地描述各个输入数据91至94。可以通过使用一组低剂量CT扫描来完成手术前映射。手术前CT扫描被重建为三维图像，这些三维图像例如，作为患者的内部解剖结构的剖面图的“切片”被视觉化。当整个分析时，可以生成用于患者的解剖结构例如患者肺网络的解剖腔、空间和结构的基于图像的模型。可以从CT图像确定和近似诸如中心线几何形状的技术，以开发患者的解剖结构的三维体积，该三维体积被称为模型数据91(当仅使用手术前CT扫描生成时也被称为“手术前模型数据”)。中心线几何形状的使用在美国专利申请第14/523,760号中讨论，其全部内容并入本文中。网络拓扑模型也可以从CT图像中得到，并且特别适合于支气管镜检查。

在一些实施方式中，器械可以配备有摄像机以提供视觉数据(或图像数据)92。定位模块95可以处理视觉数据以实现一个或更多个基于视觉(或基于图像)的位置跟踪模块或特征。例如，手术前模型数据可以与视觉数据92结合使用，以实现对医疗器械(例如，内窥镜或通过内窥镜的工作通道的器械前进)的基于计算机视觉的跟踪。例如，使用手术前模型数据91，机器人系统可以基于内窥镜的行进的期望路径从模型来生成期望的内窥镜图像的库，每个图像链接至模型内的位置。在手术中，该库可以由机器人系统参考，以将在摄像机(例如，在内窥镜的末端处的摄像机)处捕获的实时图像与图像库中的图像进行比较，以辅助定位。

其他基于计算机视觉的跟踪技术使用特征跟踪来确定摄像机的运动，并且因此确定内窥镜的运动。定位模块95中的一些特征可以识别手术前模型数据91中的与解剖腔对应的圆形几何结构并且跟踪那些几何结构的改变以确定哪个解剖腔被选择，以及跟踪摄像机的相对旋转和/或平移运动。拓扑图的使用可以进一步增强基于视觉的方法或技术。

光流(另一种基于计算机视觉的技术)可以分析视觉数据92中的视频序列中的图像像素的位移和平移以推断摄像机移动。光流技术的示例可以包括运动检测、对象分割计算、亮度、运动补偿编码、立体视差测量等。通过在多次迭代中比较多个帧，可以确定摄像机(以及因此内窥镜)的移动和位置。

定位模块95可以使用实时EM跟踪来生成内窥镜在全局坐标系中的实时位置，该实时位置可以与由手术前模型表示的患者的解剖结构配准。在EM跟踪中，包括嵌入在医疗器械(例如，内窥镜工具)中的一个或更多个位置和取向中的一个或更多个传感器线圈的EM传感器(或跟踪器)测量由定位在已知位置处的一个或更多个静态EM场发生器创建的EM场的变化。由EM传感器检测到的位置信息被存储为EM数据93。EM场发生器(或发送器)可以靠近患者放置，以创建嵌入式传感器可以检测到的低强度磁场。磁场在EM传感器的传感器线圈中感应出小电流，可以对该小电流进行分析以确定EM传感器与EM场发生器之间的距离和角度。这些距离和取向可以在手术中与患者解剖结构(例如，手术前模型)“配准”，以确定将坐标系中的单个位置与患者的解剖结构的手术前模型中的位置对准的几何变换。一旦被配准，医疗器械的一个或更多个位置(例如，内窥镜的远侧尖端)中的嵌入式EM跟踪器可以提供医疗器械通过患者的解剖结构的进展的实时指示。

机器人命令和运动学数据94也可以由定位模块95使用以为机器人系统提供定位数据96。可以在手术前校准期间确定由接合命令产生的装置俯仰和横摆。在手术中，这些校准测量可以与已知的插入深度信息结合使用，以估计器械的位置。可替选地，这些计算可以结合EM、视觉和/或拓扑建模进行分析，以估计医疗器械在网络内的位置。

如图15所示，多个其他输入数据可以由定位模块95使用。例如，尽管在图15中未示出，但是利用形状感测光纤的器械可以提供形状数据，定位模块95可以使用该形状数据来确定器械的位置和形状。

定位模块95可以以(一个或多个)组合使用输入数据91至94。在一些情况下，这样的组合可以使用概率方法，其中定位模块95向根据输入数据91至94中的每个确定的位置分配置信度权重。因此，在EM数据可能不可靠的情况下(如可能是存在EM干扰的情况)，由EM数据93确定的位置的置信度可能降低，并且定位模块95可能更侧重地依赖于视觉数据92和/或机器人命令和运动学数据94。

如以上所讨论的，本文讨论的机器人系统可以被设计成结合以上技术中的一个或更多个的组合。基于塔、床和/或推车的机器人系统的基于计算机的控制系统可以将计算机程序指令存储例如在诸如永久性磁存储驱动器、固态驱动器等的非暂时计算机可读存储介质内，所述计算机程序指令在执行时使系统接收并分析传感器数据和用户命令，生成整个系统的控制信号并且显示导航和定位数据，例如器械在全局坐标系、解剖图等内的位置。

2.腔网络的导航。

上面讨论的各种机器人系统可以用于执行各种医疗过程，例如内窥镜检查过程和腹腔镜检查过程。在某些过程期间，医疗器械例如机器人控制的医疗器械被插入到患者身体内。在患者身体内，器械可以位于患者的腔网络内。如本文所使用的，术语腔网络是指体内的任何腔结构，无论是包括多个腔或分支(例如，如在肺或血管中的多个分支腔)，还是单个腔或分支(例如，在胃肠道中)。在过程期间，器械可以移动(例如，导航、引导、驱动等)通过腔网络至一个或更多个关注的区域。通过系统的器械的移动可以由上面讨论的导航或定位系统90来辅助，该导航或定位系统90可以向控制机器人系统的医生提供关于器械的位置信息。

图16示出了患者的示例腔网络130。在所示的实施方式中，腔网络130是患者肺的气道150的支气管网络(即腔、分支)。尽管所示的腔网络130是患者肺中的气道的支气管网络，但是本公开内容不仅仅限于所示的示例。本文描述的机器人系统和方法可以用于导航任何类型的腔网络，例如支气管网络、肾网络、心血管网络(例如动脉和静脉)、胃肠道、尿道等。

如图所示，腔网络130包括以分支结构布置的多个腔150。通常，腔网络130包括三维结构。为了便于说明，图16将腔网络130表示为二维结构。这不应该被解释为以任何方式将本公开内容限制于二维腔网络。

图16还示出了位于腔网络130内的医疗器械的示例。医疗器械被导航通过腔网络130至关注的区域(例如，结节155)，以用于诊断和/或治疗。在所示的示例中，结节155位于气道150的边缘处，但是根据患者和过程，关注的区域可以位于腔网络130内的任何地方。

在示出的示例中，医疗器械包括内窥镜115。内窥镜115可以包括护套120和引导件145。在一些实施方式中，护套120和引导件145可以以可伸缩的方式布置。例如，引导件145可以可滑动地位于护套120的工作通道内。护套120可以具有第一直径，并且护套120的末端不能被定位成通过结节155周围的更小直径的气道150。因此，引导件145可以被配置成从护套120的工作通道延伸到结节155的剩余距离。引导件145可以具有腔，器械例如活检针、细胞学刷和/或组织取样钳可以通过该腔而被传递到结节155的目标组织部位。在这样的实现方式中，护套120的末端和引导件145的末端都可以设置有EM器械传感器(例如，图18中的EM器械传感器305)，用于跟踪护套120的末端和引导件145的末端在气道150内的位置。护套120和引导件145的这种可伸缩的布置可以允许内窥镜115的更薄设计，并且可以在经由护套120提供结构支撑的同时改善内窥镜115的弯曲半径。

在其他实施方式中，内窥镜115的总直径可以足够小以在没有可伸缩装置的情况下到达边缘，或者内窥镜115的总直径可以足够小以接近边缘(例如，在2.5cm至3cm内)从而通过不可操纵的导管来部署医疗器械。通过内窥镜115部署的医疗器械可以配备有EM器械传感器(例如，图18中的EM器械传感器305)，并且下面描述的基于图像的分支检测和映射导航技术可以应用于这样的医疗器械。

如图所示，为了到达结节155，必须通过腔网络的腔或分支150来导航或引导器械(例如，内窥镜)。操作员(例如医生)可以控制机器人系统以将器械导航到结节155。操作员可以提供用于控制机器人系统的输入。

图17示出了示例性命令控制台200，该命令控制台200可以与本文描述的机器人系统的一些实现方式一起使用。操作员可以提供用于控制机器人系统的输入，例如，经由命令控制台200将器械导航或引导到关注的区域例如结节155。命令控制台200可以以很多种布置或配置来实施。在所示示例中，命令控制台200包括：控制台基座201、显示器202(例如，监视器)以及一个或更多个控制模块(例如，键盘203和操纵杆204)。用户205(例如，操作员或医生)可以使用命令控制台200从人体工程学位置远程地控制医疗机器人系统(例如，参照图1至图15描述的系统)。

显示器202可以包括：电子监视器(例如，LCD显示器、LED显示器、触敏显示器)、虚拟现实观看装置(例如，护目镜或眼镜)和/或其他显示装置。在一些实施方式中，显示器202中的一个或更多个器显示例如由定位系统90(例如，图15)确定的关于器械的位置信息。在一些实施方式中，显示器202中的一个或更多个器显示患者腔网络130的术前模型。位置信息可以叠加在术前模型上。显示器202还可以显示从位于腔网络130内的器械上的相机或另外的感测装置接收的图像信息。在一些实施方式中，器械的模型或表示与术前模型一起显示，以帮助指示手术或医疗过程的状况。

在一些实施方式中，控制台基座201包括：中央处理单元(CPU或处理器)、存储单元(计算机可读存储器)、数据总线和相关联的数据通信端口，这些端口负责解释和处理信号，例如来自位于患者的腔网络内的医疗器械的相机影像和跟踪传感器数据。

控制台基座201还可以处理由用户205通过控制模块203、204提供的命令和指令。除了图20中所示的键盘203和操纵杆204之外，控制模块可以包括其他装置，例如计算机鼠标、触控板、跟踪球、控制板、诸如手持远程控制器的控制器以及捕捉手姿势和手指姿势的传感器(例如，运动传感器或相机)。控制器可以包括一组用户输入(例如，按钮、操纵杆、方向板等)，上述一组用户输入映射到器械的操作(例如，接合、驱动、水冲洗等)。使用控制台基座200的控制模块203、204，用户205可以将器械导航通过腔网络130。

图18示出了示例性医疗器械300的末端的详细视图。图18的医疗器械300可以代表图16的内窥镜115或可操纵导管145。医疗器械300可以代表遍及本公开内容描述的任何医疗器械，例如图1的内窥镜13、图3的输尿管镜32、图9的腹腔镜59等。图18中，器械300的末端包括：成像装置315、照明源310以及形成EM器械传感器的EM传感器线圈305的端部。末端还包括通向器械300的工作通道320的开口，诸如活检针、细胞学刷、钳子等手术器械可以通过此开口沿着器械轴被插入，允许进入器械尖端附近的区域。

位于器械300的末端的EM线圈305可以与EM跟踪系统一起使用，以在EM线圈305位于腔网络中时检测器械300的末端的位置和方向。在一些实施方式中，线圈305可以成角度以对沿着不同轴线的EM场提供灵敏度，给所公开的导航系统测量全部6个自由度(DoF)的能力：三个位置DoF和三个角度DoF。在其他实施方式中，只有单个线圈305可以被设置在末端上或末端内，线圈305的轴线沿着器械轴定向。由于这种系统的旋转对称性，系统可以对绕其轴线滚动不敏感，因此在这种实现方式中只能检测到五个自由度。替选地或另外地，可以采用其他类型的位置传感器。

照明源310提供光来照射解剖空间的一部分。照明源各自可以是被配置成发射选定的波长或波长的范围的光的一个或更多个发光器件。波长可以是任何合适的波长，举一些例子，例如可见光谱光、红外光、x射线(例如，用于荧光透视)。在一些实施方式中，照明源310可以包括位于器械300的末端处的发光二极管(LED)。在一些实施方式中，照明源310可以包括延伸通过内窥镜的长度的一个或更多个光纤光学的光纤，以将光从远程光源例如x射线发生器发送通过末端。在末端包括多个照明源310的情况下，照明源310各自可以被配置成发射彼此相同或不同波长的光。

成像装置315可以包括被配置成将代表接收的光的能量转换成电信号的任何光敏基板或结构，例如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)图像传感器。成像装置315的一些示例可以包括一个或更多个光学光纤例如光学光纤束，被配置成将代表图像的光从内窥镜的末端300传输到内窥镜的近端附近的目镜和/或图像传感器。此外，成像装置315可以包括一个或更多个关于各种光学设计需要的透镜和/或波长通过滤波器或波长截止滤波器。从照明源310发射的光允许成像装置315捕获患者的腔网络的内部的图像。然后，这些图像可以作为单个帧或连续帧系列(例如，视频)被传输到诸如命令控制台200的计算机系统。如上所述并且如下面将更详细描述的，导航或定位系统95可以利用成像装置315捕获的图像(例如，图15的视觉数据92)来确定或估计器械在腔网络内的位置(例如，器械300的末端的位置)。

3.基于图像的用于导航的分支检测和映射。

本公开内容的实施方式涉及用于基于图像的分支检测和映射的系统和技术。如本文所使用的，基于图像的分支检测可以指在图像中识别与腔网络的一个或更多个分支相关联的一个或更多个开口。例如，基于图像的分支检测系统可以使用位于腔网络内的器械上的成像装置来捕获腔网络的内部的图像，并且基于图像的分支检测系统可以进行分析以检测与腔网络的后续分支相关联的一个或更多个开口。如本文所使用的，基于图像的分支映射可以指将检测到的一个或更多个开口映射到腔网络的相应分支。例如，基于图像的分支映射系统可以被配置成识别腔网络的哪些一个或更多个分支对应于图像内的一个或更多个检测到的开口。这些系统和技术可以用于确定或估计器械在腔网络中的位置。在某些实现方式中，这些系统和技术可以与各种其他导航和定位模式(例如，如上参照图15所述)结合使用。

A.用于导航的基于图像的分支检测和映射的概述。

在腔网络内导航的能力可以是本文描述的机器人控制的手术系统的特征。如本文所使用的，导航可以是指定位或确定器械在腔网络中的位置。所确定的位置可以用于帮助将器械引导至腔网络内的一个或更多个关注的特定区域。在一些实施方式中，机器人控制的手术系统利用一个或更多个独立的感测模式来为器械提供手术期间的导航。如图15中所示，独立感测模式可以定位数据(例如，EM数据93)、视觉数据92和/或机器人命令和运动学数据94。这些独立的感测模式可以包括被配置成提供位置的独立估计的估计模块。然后，例如使用定位模块95，可以将独立估计组合到一个导航输出中，上述导航输出可以被系统使用或者被显示给用户。基于图像的分支检测和映射可以基于视觉数据92提供独立感测模式，独立感测模式可以提供位置的独立估计。特别地，在一些情况下，基于图像的分支检测和映射提供了感测模式和状态/位置估计模块的组合，该状态/位置估计模块基于由成像装置捕获的一个或多个图像来估计器械的成像装置处于腔网络的哪个腔或分支中。在一些实施方式中，由基于图像的分支检测和映射提供的估计可以单独使用或者与其他位置估计一起使用以确定可以由系统使用或者被显示给用户的最终位置估计。

在一些实施方式中，可以存在基于相同感测模式来并行工作的多个状态估计模块。作为一个示例，可以存在处理视觉数据92的多个(例如，三个)不同的状态估计模块，每个模块以不同的方式输出多个(例如，三个)不同的位置估计(均基于视觉数据92)。本公开内容涉及一种这样的模块——基于图像的分支检测和映射模块——所述模块基于视觉数据92(例如，基于单个图像)来检测分支开口，并且通过将那些检测到的分支开口映射到腔网络中的特定解剖分支来估计器械的当前位置。如下面将更详细描述的，在一些实施方式中，基于图像的分支检测和映射模块可以使用由导航或定位系统90确定的当前位置估计或先前位置估计(可以基于一个或多个感测模式)来将检测到的开口映射到腔网络中的特定解剖分支。换言之，本文中描述的基于图像的分支检测和映射系统和方法可以被配置成向导航或定位模块95提供腔网络中器械所定位的地方的位置估计。在一些实施方式中，本文中描述的基于图像的分支检测和映射系统和方法可以独立于任何其他模式。在一些实施方式中，本文中描述的基于图像的分支检测和映射系统和方法可以将其估计基于使用多个感测模式确定的先前的位置估计。

图19示出了用于基于图像的分支检测和映射的示例性方法400。方法400可以在如本文中描述的各种机器人控制的手术系统中实现。方法400可以包括两个步骤或框：检测图像中的分支开口(框402)以及将检测到的开口映射到腔网络的分支(框404)。

在框402处，方法400检测图像内的分支开口。如以上所指出的，在医疗过程期间，器械可以被定位在腔网络中(见图16)。如图18中所示，器械可以包括位于其上的成像装置315(例如相机)。成像装置315可以捕获腔网络的内部的图像。例如，在特定时刻，成像装置315可以捕获器械当前所位于的腔网络的特定分支的内部的图像。在框402处，方法400可以分析图像以检测图像中的一个或更多个开口。所述一个或更多个开口可以将腔网络的一个或更多个后续分支连接到器械所位于的当前分支。一般而言，框402可以包括图像分析，该图像分析处理图像以确定该图像是否包含一个或更多个分支开口。在某些实现方式中，如果图像被确定为包含一个或更多个分支开口，则还可以确定开口的各种特征。这些特征可以包括：识别检测到的一个或更多个分支开口的形心和/或识别检测到的一个或更多个分支开口的形状或轮廓。框402(图像中的分支开口的检测)在本文中可以被称为基于图像的分支检测，并且下面在3.B节中更详细地描述。

在框404处，方法400将一个或更多个检测到的分支开口映射到腔网络的特定分支。一般而言，在框404处，方法400确定腔网络的哪些分支与检测到的开口相关联。在某些实现方式中，框404可以包括：确定一组预期后续分支(例如，基于当前位置估计和腔网络的术前模型)，并将预期后续分支的特征与检测到的分支开口相匹配。框404(将检测到的开口映射到腔网络的分支)在本文中可以被称为基于图像的分支映射，并且下面在3.C节中更详细地描述。

通过将检测到的开口映射到腔网络的特定分支，方法400可以提供器械的位置估计。例如，使用方法400，系统或器械可以识别器械“看到”哪些分支并使用该信息来估计器械在腔网络中的位置。

B.基于图像的分支检测。

基于图像的分支检测可以分析由位于腔网络内的器械的成像装置315捕获的图像，以检测图像中的一个或更多个分支开口。例如，基于图像的分支检测对分支的内部的图像进行分析，以检测图像中是否存在将腔网络的后续分支连接到当前分支的一个或更多个开口。

图20提供了腔网络的分支的内部的示例性图像500。在示出的示例中，图像500是肺的气道的内部图像，但是图像500可以代表任何类型的腔网络。图像500中存在两个分支开口502。分支开口502将后续分支(例如，后续气道)连接到当前分支。

基于图像的分支检测可以包括计算机系统可以凭借其计算地识别分支开口502的方法。在一些情况下，图像500包括两类像素：(1)代表腔网络的壁(例如，组织)的像素，以及(2)代表开口的像素。根据某些实施方式，基于图像的分支检测可以系统地检测这两类像素，以识别和检测图像中的分支开口。

图21示出了用于基于图像的分支检测的示例性方法600。方法600开始于框602，在框602处，利用位于分支内的成像装置捕获腔网络的分支内部的图像。可以由如上所述的位于腔网络内的器械上的成像装置315来捕获图像或者可以从成像装置315接收图像。

在框604处，生成图像的像素强度值的直方图。例如，框604可以包括绘制每个强度值处的像素数。像素强度可以在例如暗和亮之间变化。暗/亮标度可以例如数字地表示为范围，例如，在0和1之间(0表示完全暗(黑)以及1表示完全亮(白))，或者在0和256之间(0表示完全暗(黑)以及1表示完全亮(白))。其他标度也是可能的。尽管本公开内容涉及基于像素强度(亮度)生成直方图的示例，但是直方图也可以基于图像的其他特征(例如颜色)来生成。

图22示出了包含一个或更多个分支开口的图像(例如，图20的图像500)的示例性直方图700。在图22中，像素强度已经被均等并且被表示在0到256之间的数字标度上。直方图的均等化可以产生线性直方图。条代表图像中每个强度值处的像素数。如图所示，直方图700是双峰的。也就是，直方图700包括两个不同的峰值702、704。第一峰值702可以代表表示腔网络的壁(例如，组织)的像素，并且第二峰值704可以代表表示图像内的开口的像素。在许多情况下，腔网络的分支的内部的直方图将是双峰的，包括所示的两个峰值。这可能是因为，在类似隧道的视图中(例如在腔网络中)，像素将通常是暗的(代表开口)或亮的(代表分支壁)。

回到图21的方法600，在框606处，低于阈值的像素被识别为指示图像内的开口。可选地或另外地，高于或低于阈值的像素被识别为或分类为指示分支开口。可选地或另外地，高于或低于阈值的像素可以被识别为或分类为指示腔网络的组织或壁。一般而言，在框606处确定阈值，该阈值将图像的像素在代表分支开口的像素和代表分支壁的像素之间分配。通过将像素指定为或识别为代表分支开口或代表分支壁，可以检测图像中的分支开口。

图23A和图23B示出了示例性图像800a、800b，图像800a、800b示出了如何检测分支开口802。参照图23A，在确定的阈值处的像素被突出显示，产生围绕开口802的轮廓805。参照图23B，像素被分割成高于阈值和低于阈值以识别开口802。例如，高于阈值所有像素被分割并以白色示出，同时低于阈值的所有像素被分割并以黑色示出。在图23B的示例中，黑色像素代表开口802。

图24示出了示例性子程序或方法900，子程序或方法900可以在方法600(图21)的框606的一些实施方式中实现以将高于阈值/低于阈值的像素识别为/分类为指示分支开口。方法900可以包括四个步骤或框。在框902处，识别直方图中的峰值。如以上所指出的，通常，腔的内部的图像的直方图可以是双峰的，包含两个可识别的峰值。例如，在图22的直方图700中，第一峰值702出现在强度值60处，并且第二峰值702出现在强度值180处。

在框904处，识别峰值之间的中点值。继续参照图22的示例，直方图700的峰值702之间的中点704出现在强度140处。系统地，中点704可以通过找到划分(例如，相等地)直方图700的两个峰值702之间的值来确定。回到图24，在框906处，阈值被设置为等于中点704。因此，高于中点704或阈值的任何像素可以被确定为是组织，并且低于中点704或阈值的任何像素可以被确定为是开口。如图23A所示，阈值处的像素可以被突出显示，以示出开口802的轮廓805。

最后，在框906处，高于/低于阈值的像素被识别为或分类为指示分支开口。如图23B所示，通过给高于阈值的像素指定最大强度(例如，白色)并给低于阈值像素指定最小强度(例如，黑色)，阈值可用于将图像分割成亮区域和暗区域。如此，开口802可以被检测和可视化。

如所述，基于图像的分支检测可以被配置成分析图像以检测分支开口。本文中描述的基于图像的分支检测方法可用于遍及本公开内容描述的机器人控制的手术系统的各种实施方式中。在一些实施方式中，基于图像的分支检测包括实现用于识别腔网络的分支的开口的方法。该方法可以包括利用位于分支内的成像装置来捕获腔网络的分支内部的图像。可以使用位于腔网络的分支内的器械上的成像装置315来捕获图像。该方法还可以包括生成图像的像素强度值的直方图。通常，直方图可以是双峰的，并且峰值出现代表组织(例如，腔网络的壁)和分支开口。该方法还可以包括将低于阈值的像素识别为指示图像中的开口。

在一些实施方式中，该方法还包括基于直方图来确定阈值。阈值可以是直方图的两个峰值之间的中点值。例如，确定阈值可以包括：识别直方图内的至少两个峰值，识别至少两个峰值之间的中点，以及将阈值设置成等于中点的强度值。在其他实施方式中，阈值可以通过其他方法来确定。例如，阈值可以是存储在存储器中的预定值。

基于图像的分支检测方法可以包括各种其他特征。例如，在一些实施方式中，基于图像的分支检测方法可以包括识别检测到的分支开口的其他特征。例如，基于图像的分支检测方法还可以包括：对于图像内的识别的开口的每一个，确定开口的形心。作为另外的示例，基于图像的分支检测方法还可以包括：对于图像内的识别的开口的每一个，确定开口的轮廓。可以通过识别阈值处的像素来确定轮廓。

在一些实施方式中，基于图像的分支检测方法还可以包括：将图像中的识别的开口的数目与坏帧检测器阈值进行比较。在一些实施方式中，坏帧检测器阈值被设置成三、四、五、六或更多。如果基于图像的分支检测方法检测到大于或等于坏帧检测器值的开口的数目，则该方法可以确定坏帧或错误并丢弃图像。例如，在一些情况下，图像中的气泡或其他特征可能显现为开口并产生假阳性。如果检测到的开口的数目超过由坏帧检测器阈值代表的开口的可能数目，则该方法可以确定它已经识别出假阳性(例如，不是真正开口的开口)。在这种情况下，该方法可以丢弃当前图像，重新检测第二图像内的开口。例如，如果识别的开口的数目超过坏帧检测器阈值，则该方法还可以包括：捕获分支的内部的第二图像，并分析第二图像以确定第二图像内的开口。

C.基于图像的分支映射。

基于图像的分支映射确定或识别腔网络的哪些分支与检测到的开口相关联。也就是说，基于图像的分支映射可以确定腔网络的哪些后续分支在检测到的分支开口处连接到当前分支。通过将检测到的开口映射到腔网络的分支，可以确定器械在腔网络内的位置。此外，还可以获得器械将移动到哪个分支中的估计或预测。

广义而言，通过将检测到的开口的特征与腔网络的分支的特征进行比较，可以将检测到的开口映射到腔网络的分支。检测到的开口的特征可以通过如上所述的图像分析来确定。腔网络的分支的特征可以从腔网络的模型诸如腔网络的术前模型来确定。此外，在某些实施方式中，将检测到的开口映射到腔网络的分支可以基于器械在腔网络内的当前位置估计。当前位置估计可以基于如上参照图15所述的各种感测模式来确定。基于当前位置估计将检测到的开口映射到腔网络的分支可以提高映射过程的效率、速度和/或准确性。例如，给定当前位置估计，可以将检测到的开口的特征与预期后续分支的特征进行比较。这可以使执行映射所需的计算负荷最小化并且提高映射速度。

图25示出了腔网络1000的简化表示。腔网络1000包括多个分支(例如，腔、段等)1002、1004、1006、1008、1010、1012、1014、1016。腔网络1000还包括将各种分支相互连接的分支点1020、1022、1024。腔网络1000可以代表肺的支气管网络的一部分，并且分支可以代表气道。腔网络1000可以由模型表示。该模型可以在术前确定。术前模型数据91(即，关于术前模型的信息)可以被存储并可用于导航和定位系统90(例如，图15)。如下文将作为示例描述的，基于图像的分支映射可以被配置成将检测到的开口映射到腔网络1000的分支。

图26示出了基于图像的分支映射的示例性方法1100。方法1100可以由本文中描述的机器人控制的手术系统的各种部件来实现。方法1100将参照图25的腔网络1000通过示例的方式描述，但不限于此。

在框1102处，方法1100接收或者确定位于腔网络1000内的器械的位置状态估计。位置状态估计可以包括器械当前位于哪个分支的标识。位置状态估计可以由例如图15的导航和定位系统90来确定。位置状态估计可以基于各种和/或多种位置感测模式和信息来确定，例如术前模型数据91、视觉数据92、EM数据93(或其他位置感测数据)、形状感测数据和/或机器人命令和运动学数据94。

例如，参照图25，位置状态估计可以包括器械当前位于腔网络1000的任何分支(例如，分支1002、分支1004、分支1006等)内的指示。

位置状态估计还可以包括另外的信息。这种另外的信息可以包括：当前段内深度的确定或估计和/或当前器械滚动(例如，围绕器械的纵向轴线的旋转)的确定或估计。在一些实施方式中，系统或方法可以维护或生成多个位置状态估计，并且可以向位置状态估计的每一个指定概率。在多个位置状态估计中，可以向用户提供最可能的位置状态估计。例如，系统或方法可以生成第一位置状态估计(包括例如器械以第一深度和滚动角定位在第一分支1002内的指示)和第二位置状态估计(包括例如器械以第二深度和滚动角定位在第二分支1004内的指示)。系统可以确定每一个位置状态估计的概率。例如，系统可以确定器械在第一位置状态估计处的概率为60％，并且器械在第二位置状态估计处的概率为40％。因为第一位置状态估计的概率更高，所以系统可以在方法1100的一个或更多个另外的步骤中向用户提供第一位置状态估计或者使用第一位置状态估计。

在框1104处，方法1100基于在框1102处确定的位置状态估计来确定一组预期后续分支。例如，如果位置状态估计指示器械在分支1002中，则一组预期后续分支可以包括连接到分支1002的那些分支：分支1004和分支1006。作为另一个示例，如果位置状态估计指示器械在分支1004中，则一组预期后续分支可以包括分支1008和分支1010。作为另一个示例，如果位置状态估计指示器械在分支1006中，则一组预期后续分支可以包括分支1012、分支1014和分支1016。关于一组后续分支的信息可以从存储为术前模型数据91的术前模型导出(例如，图15)。

除了后续分支的指示之外，还可以确定关于一组预期后续分支的另外的数据。例如，也可以从术前模型中确定预期后续分支的开口的形心和/或一组后续分支的开口的轮廓。

在框1106处，方法1100可以执行对器械滚动的校正。当器械对腔网络1000导航时，器械可能经历滚动(例如，绕器械的纵向轴线滚动)。这种滚动可以是促进通过腔网络的移动的命令的滚动或者是非有意的滚动。关于器械的滚动的信息可以从例如机器人命令和运动学数据94和/或器械的物理特性诸如扭转刚度等来确定。在一些情况下，可能有必要对器械滚动进行校正，使得检测到的开口的特征可以与一组预期后续开口的特征进行比较，如以下框1108所述。下面参照图27A至图27C描述框1106、1108、1110的示例。

在框1108处，方法1100将检测到的开口的特征与在框1104处确定的一组检测到的后续分支的开口的特征进行比较。在一个示例中，将连接检测到的开口的形心的向量与连接一组预期后续开口中的开口的形心的向量进行比较。在另外的实施方式中，将每一个检测到的开口的形状或轮廓与一组检测到的后续开口中的每一个开口的形状或轮廓进行比较。也可以比较其他特征。

在框1110处，方法1100将检测到的开口映射到腔网络1000的分支。映射可以基于框1108的比较，使用最接近的匹配来将检测到的开口映射到腔网络1000的分支。

例如，图27A示出了包括两个检测到的开口的图像1202。已经标识了每个检测到的开口的形心1204，并且确定了连接形心1204的向量V_i。在图27B的左侧面板中，已经基于器械的当前位置估计确定了一组预期后续分支。在这个示例中，一组预期后续分支包括分支2和分支119。示出了将分支119连接到分支2的向量V_M。如图27B的右侧面板所示，向量VM可以针对器械滚动而被校正，以产生向量V_v。尽管未示出，但是将分支2连接到分支119的第二向量也可以被确定并针对滚动而被校正。第二向量将与向量V_v大小相等但方向相反。然后，这两个向量可以与向量V_i进行比较。在某些情况下，比较这些向量包括取点积。然后，可以使用最接近的匹配(例如，在一些示例中，最接近1的点积)来将检测到的开口映射到一组预期后续分支。如图27C所示，两个检测到的分支已经被映射到所示的分支2和分支119。

作为另外的示例，用于基于图像的分支映射的方法可以包括以下步骤：(1)识别图像内的检测到的分支的位置(例如，x坐标和y坐标)；(2)确定或接收器械当前位于哪个分支的估计；(3)使用当前分支的该估计，基于术前模型生成存在于估计分支的所有直接子分支(即，连接到当前分支的分支)的列表以及所有直接子分支的位置(例如，直接子分支的x坐标和y坐标)；(4)迭代地将这些子分支的变换的(例如，滚动校正)坐标匹配到在步骤1处确定的位置，并计算关于每次迭代(或多对迭代)的成本(度量)；以及(5)使用最低成本的匹配以将这些子分支指定给检测到的分支。

D.基于图像的分支预测。

在某些实现方式中，本公开内容的系统和方法还可以基于器械的当前位置来预测或估计器械下一步可能进入哪个气道。在一些实现中，本公开内容的系统和方法可以提供关于进入检测到的和映射的分支中的每个分支的概率的预测或估计。在某些示例中，这可以通过确定检测到的和映射的分支中的哪一个分支最靠近图像的中心来实现。

图28提供了图像1300，其示出了图像1300的中心与两个被检测到的和映射的开口2和开口119的形心之间的距离d₂和d₁₁₉。如图所示，因为开口2的形心更靠近图像的中心，因此距离d₂小于距离d₁₁₉。因此，方法或系统可以提供器械可能进入分支2的估计或预测。在一些情况下，方法或系统可以提供关于进入分支2和分支119的概率。概率可以与距离d₂和d₁₁₉成比例地相关。较短的距离可能与较高的概率相关。这可能是因为较短的距离可能指示器械面对相应的开口或者器械朝向相应的开口。

这些估计或概率可以被提供给定位模块95(例如，图15)，并且用于提供更新的定位数据96。因此，在一些实施方式中，未来位置状态估计可以有利地至少部分基于先前确定的位置状态估计，先前确定的位置状态估计可以包括器械可能进入多个分支中的哪一个分支的概率。系统可以确定器械最有可能进入最靠近图像的中心的开口。这可以促进导航，因为未来位置状态估计考虑了以先前位置状态估计确定的概率。在一些情况下，这可以有利地减少估计位置所需的计算负荷。在一些实施方式中，这可以有利地减少确定位置状态估计所需的时间。在一些实施方式中，这可以提高位置状态估计的准确性。

E.基于图像的分支检测和映射导航方法和系统的示例。

图29示出了用于实现如上所述的基于图像的分支检测和映射的示例性方法1400。方法1400可以在遍及本公开内容描述的各种机器人控制的系统中实现。方法1400可以使用机器人系统来实现，该机器人系统包括具有细长体的器械，该细长体被配置成插入腔网络中。成像装置可以被定位在细长体上(例如，在细长体的末端上)。器械可以附接到被配置成移动器械通过腔网络的器械定位装置(例如，机器人臂)。采用方法1400的系统可以包括处理器，该处理器配置有使处理器执行方法1400的指令。方法1400仅作为示例的方式被提供，并且基于图像的分支检测和映射可以使用与图29所示的那些步骤不同的步骤来实现。

在框1401处，方法1400将器械插入到腔网络的当前分支中。在框1402处，方法1400接收器械的位置状态估计。在一些实施方式中，框1402确定位于腔网络的当前分支内的器械的位置状态估计，其中位置状态估计可以由图15的导航和定位系统90基于各种感测模式中的一个或更多个来确定。

在框1404处，方法1400至少部分地基于腔网络的初始状态估计和术前模型来确定一组预期后续分支。

在框1406处，方法1400使用位于器械上的成像装置(例如，成像装置315)来捕获当前分支的图像。

在框1408处，方法1400分析图像以检测将腔网络的后续分支连接到当前分支的开口。在一些实施方式中，检测图像内的多个开口包括执行图像分析。在一些实施方式中，图像分析包括：生成图像的像素强度值的直方图，以及分析直方图以识别图像内的多个开口。在一些实施方式中，分析直方图包括：识别直方图内的至少两个峰值，识别至少两个峰值之间的中点，以及将中点的第一侧上的像素分类为开口。

在一些实施方式中，在框1408处，方法1400还确定检测到的开口的一个或更多个特征。所述一个或更多个特征可以选自有开口的形心、开口的轮廓以及连接两个开口的形心的向量构成的组。

在框1410处，方法1400将检测到的开口的特征与一组预期后续分支进行比较，以将多个开口中的每个开口映射到预期后续分支之一。在一些实施方式中，方法1400还包括从术前模型获得与一组预期后续分支有关的信息。信息可以包括以下中至少之一：开口的形心、开口的轮廓以及连接两个开口的形心的向量。在一些实施方式中，对于检测到的开口中的每个检测到的开口，将检测到的多个开口的特征与一组预期后续分支进行比较包括：迭代地将检测到的开口的一个或更多个特征与和一组预期后续分支有关的信息进行匹配。在一些实施方式中，最高匹配用于将该检测到的开口映射到预期后续分支之一。

在框1412处，方法1400至少部分基于比较来提供更新的位置状态估计。在一些实施方式中，至少部分基于比较，框1412提供更新的位置状态估计。在一些实施方式中，更新的位置状态估计包括位置状态估计为正确的概率。在一些实施方式中，部分地基于检测到的多个开口的一个或更多个特征与一组预期后续分支之间的比较来确定概率。在一些实施方式中，部分地基于检测到的多个开口的一个或更多个特征与一组预期后续分支相匹配的程度来确定概率。在一些实施方式中，更新的位置状态估计包括器械将被移动到哪个后续分支的估计。

在一些实施方式中，方法1400还包括确定多个检测到的开口中的哪个开口更靠近图像的中心。在一些实施方式中，更新的位置状态估计包括器械将被移动到被确定为更靠近图像中心的开口中的概率。

在一些实施方式中，器械包括内窥镜。在一些实施方式中，腔网络包括肺的支气管网络、胃肠道或肾脏的肾网络，但是其他腔网络的导航也是可能的。

4.实现系统和术语。

本文公开的实现方式提供了用于导航机器人控制的医疗器械的用于基于图像的分支检测和映射的系统、方法和设备。本文描述的各种实现提供了关于改进的腔网络的导航。

应当注意，本文所使用的术语“耦接(couple)”、“耦接的(coupling)”、“被耦接(coupled)”或单词“耦接(couple)”的其他变体可以表示间接的连接或者直接的连接。例如，如果第一部件“耦接”到第二部件，则第一部件可以经由另外的部件间接得连接到第二部件，或者第一部件直接地连接到第二部件。

本文中描述的位置估计和机器人运动致动功能可以作为一个或更多个指令被存储在处理器可读或计算机可读介质上。术语“计算机可读介质”是指计算机或处理器可以访问的任何可用介质。举例而非限制的，这种介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪速存储器、光盘只读存储器(CD-ROM)或其他光盘存储器、磁盘存储器或其他磁存储装置，或者可以用于存储指令形式或数据结构形式的所需程序代码并且可以由计算机访问的任何其他介质。应当注意的是计算机可读介质可以是有形的和非暂态的。如本文所使用的，术语“代码”可以指可由计算装置或处理器执行的软件、指令、代码或数据。

本文公开的方法包括用于实现所述方法的一个或更多个步骤或动作。方法步骤和/或动作在不偏离权利要求的范围的情况下可以彼此互换。换言之，除非所描述的方法的正确操作需要步骤或动作的特定顺序，否则在不偏离权利要求的范围的情况下可以修改特定步骤和/或动作的顺序和/或使用。

本文所使用的术语“多个”表示两个或更多个。例如，多个部件表示两个或更多个部件。术语“确定”包含各种各样的动作，因此，“确定”可以包括计算(calculating)、计算(processing)、处理、导出、调查、查找(例如，在表、数据库或另外的数据结构中查找)、确定等。此外，“确定”可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。此外，“确定”可以包括解析、选择(selecting)、选择(choosing)、建立等。

除非另有明确说明，否则短语“基于”并不意味着“仅基于”。换言之，短语“基于”描述了“仅基于”和“至少基于”

提供对所公开的实现方式的先前描述以使本领域的任何技术人员能够制造或使用本发明。对这些实现方式的各种修改对于本领域技术人员来说将是明显的，并且在不偏离本发明的范围的情况下，本文限定的一般性原理可以应用于其他实现方式。例如，应当理解，本领域普通技术人员将能够采用许多相应的可替选的和等效的结构细节，例如紧固、安装、耦接或接合工具部件的等效方式、用于产生特定致动运动的等效机构以及用于传递电能的等效机构。因此，本发明并不意味着限于本文所示的实现方式，而是符合与本文公开的原理和新特征相一致的最宽范围。

Claims (30)

1.一种非暂态计算机可读存储介质，在所述非暂态计算机可读存储介质上存储有指令，所述指令在被执行时使装置的处理器至少进行如下步骤：

确定位于腔网络的当前分支内的器械的位置状态估计；

至少部分地基于所述位置状态估计和所述腔网络的术前模型来确定一组预期后续分支；

使用位于所述器械上的成像装置捕获所述当前分支的图像；

在所述图像内检测将所述腔网络的后续分支连接到所述当前分支的多个开口；

将检测到的所述多个开口的一个或更多个特征与所述一组预期后续分支进行比较，以将所述多个开口中的每个开口映射到所述一组预期后续分支中的一个预期后续分支；以及

至少部分地基于所述比较，提供更新的位置状态估计。

2.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述更新的位置状态估计包括所述位置状态估计为正确的概率。

3.根据权利要求2所述的非暂态计算机可读存储介质，其中，部分地基于检测到的所述多个开口的所述一个或更多个特征与所述一组预期后续分支之间的比较来确定所述概率。

4.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述更新的位置状态估计包括所述器械将被移动到哪个后续分支内的估计。

5.根据权利要求1所述的非暂态计算机可读存储介质，其中：

所述指令在被执行时使所述装置的所述处理器确定检测到的所述多个开口中的哪个开口更靠近所述图像的中心，

所述更新的位置状态估计包括所述器械将被移动到被确定为更靠近所述图像的中心的开口内的概率。

6.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述位置状态估计包括所述器械绕所述器械的纵向轴线的滚动的估计，并且其中所述更新的位置状态估计包括所述滚动的估计为正确的概率，其中通过将所述图像内的检测到的开口的取向与基于所述术前模型的所述一组预期后续分支的预期取向进行比较来确定所述概率。

7.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述指令在被执行时使所述装置的所述处理器确定检测到的开口的所述一个或更多个特征，所述一个或更多个特征选自由开口的形心、开口的轮廓以及连接两个开口的形心的向量构成的组。

8.根据权利要求7所述的非暂态计算机可读存储介质，其中所述指令在被执行时使所述装置的所述处理器从所述术前模型获得与所述一组预期后续分支有关的信息，其中所述信息包括开口的形心、开口的轮廓以及连接两个开口的形心的向量中至少之一。

9.根据权利要求8所述的非暂态计算机可读存储介质，其中，所述指令在被执行时使所述装置的所述处理器通过如下方式将检测到的所述多个开口的所述一个或更多个特征与所述一组预期后续分支进行比较：

对于所述检测到的开口中的每个检测到的开口，迭代地将该检测到的开口的所述一个或更多个特征和与所述一组预期后续分支有关的信息进行匹配，

其中最高匹配用于将该检测到的开口映射到所述预期后续分支之一。

10.一种用于对患者的腔网络进行导航的机器人系统，所述机器人系统包括：

器械，所述器械具有：

细长本体，所述细长本体被配置成插入到所述腔网络中，以及

成像装置，所述成像装置位于所述细长本体的末端部分上；附接至所述器械的器械定位装置，所述器械定位装置被配置成移动所述器械通过所述腔网络；上面存储有可执行指令的至少一个计算机可读存储器；以及

一个或更多个处理器，所述一个或更多个处理器与所述至少一个计算机可读存储器通信并且被配置成执行所述指令以使所述系统至少进行如下步骤：

确定位于腔网络的当前分支内的器械的位置状态估计；

至少部分地基于初始状态估计和所述腔网络的术前模型确定一组预期后续分支；

使用位于器械上的成像装置捕获所述腔网络的所述当前分支的图像；

在所述图像内检测将所述腔网络的后续分支连接到所述当前分支的多个开口；

将检测到的所述多个开口的特征与所述一组预期后续分支进行比较，以将所述多个开口中的每个开口映射到所述预期后续分支之一；以及

至少部分地基于所述比较，提供更新的位置状态估计。

11.根据权利要求10所述的系统，其中，所述器械包括内窥镜。

12.根据权利要求10所述的系统，其中，所述器械定位装置包括机器人臂。

13.根据权利要求10所述的系统，其中，所述腔网络包括肺的支气管网络、胃肠道或者肾脏的肾网络。

14.根据权利要求10所述的系统，其中，所述指令在被执行时使所述一个或更多个处理器确定检测到的所述多个开口中的哪个开口更靠近所述图像的中心，并且其中所述更新的位置状态估计包括所述器械将被移动到被确定为更靠近所述图像的中心的开口内的概率。

15.根据权利要求10所述的系统，其中所述位置状态估计包括所述器械绕所述器械的纵向轴线的滚动的估计，并且其中所述指令在被执行时使所述一个或更多个处理器通过将所述图像内的检测到的开口的取向与基于所述术前模型的所述一组预期后续分支的预期取向进行比较来确定滚动的校正估计。

16.根据权利要求10所述的系统，其中所述指令在被执行时使所述一个或更多个处理器确定检测到的开口的所述一个或更多个特征，其中所述一个或更多个特征选自由开口的形心、开口的轮廓以及连接两个开口的形心的向量构成的组。

17.根据权利要求16所述的系统，其中所述指令在被执行时使所述装置的所述一个或更多个处理器从所述术前模型获得与所述一组预期后续分支有关的信息，其中所述信息包括开口的形心、开口的轮廓以及连接两个开口的形心的向量中至少之一。

18.根据权利要求17所述的系统，其中，所述指令在被执行时使所述一个或更多个处理器通过如下方式将检测到的所述多个开口的所述一个或更多个特征与所述一组预期后续分支进行比较：

对于所述检测到的开口的每个检测到的开口，迭代地将该检测到的开口的所述一个或更多个特征和与所述一组预期后续分支有关的信息进行匹配，

其中最高匹配用于将该检测到的开口映射到所述预期后续分支之一。

19.一种用于对腔网络进行导航的方法，所述方法包括：

将器械插入到所述腔网络的当前分支中；

接收器械的位置状态估计；

至少部分地基于初始状态估计和所述腔网络的术前模型确定一组预期后续分支；

使用位于所述器械上的成像装置捕获所述当前分支的图像；

分析所述图像以检测将后续分支连接到所述当前分支的多个开口；

将检测到的所述多个开口的特征与所述一组预期后续分支进行比较，以将所述多个开口中的每个开口映射到所述预期后续分支之一；以及

至少部分地基于所述比较，提供更新的位置状态估计。

20.根据权利要求19所述的方法，其中所述更新的位置状态估计包括所述位置状态估计为正确的概率。

21.根据权利要求20所述的方法，其中部分地基于检测到的所述多个开口的所述一个或更多个特征与所述一组预期后续分支之间的比较来确定所述概率。

22.根据权利要求21所述的方法，其中，部分地基于检测到的所述多个开口的所述一个或更多个特征和所述一组预期后续分支匹配的程度来确定所述概率。

23.根据权利要求19所述的方法，还包括：

确定检测到的所述多个开口中的哪个开口更靠近所述图像的中心；以及

其中所述更新的位置状态估计包括所述器械将被移动到被确定为更靠近所述图像的中心的开口内的概率。

24.根据权利要求19所述的方法，其中所述位置状态估计包括所述器械绕所述器械的纵向轴线的滚动的估计，并且其中所述更新的位置状态估计包括所述滚动的估计为正确的概率，所述方法还包括：

将所述图像内的检测到的开口的取向与基于所述术前模型的所述一组预期后续分支的预期取向进行比较以确定所述概率。

25.根据权利要求19所述的方法，还包括：

确定检测到的开口的所述一个或更多个特征，其中所述一个或更多个特征选自由开口的形心、开口的轮廓以及连接两个开口的形心的向量构成的组；以及

从所述术前模型获得与所述一组预期后续分支有关的信息，其中所述信息包括开口形心、开口轮廓以及连接两个开口的形心的向量中至少之一；

其中将检测到的所述多个开口的特征与所述一组预期后续分支进行比较包括：

对于所述检测到的开口中的每个检测到的开口，迭代地将该检测到的开口的所述一个或更多个特征和与所述一组预期后续分支有关的信息进行匹配，

其中所述最高匹配用于将该检测到的开口映射到所述预期后续分支之一。

26.一种用于识别腔网络的分支的开口的方法，所述方法包括：

使用位于所述分支内的成像装置捕获腔网络的分支的内部的图像；

生成所述图像的像素强度值的直方图；以及

将低于阈值的像素识别为指示所述图像内的开口。

27.根据权利要求26所述的方法，其中确定所述阈值包括：

识别所述直方图内的至少两个峰值；

识别所述至少两个峰值之间的中点；以及

将所述阈值设置成等于所述中点的强度值。

28.根据权利要求26所述的方法，还包括，对于所述图像内的识别的开口中的每个开口，确定所述开口的形心。

29.根据权利要求26所述的方法，还包括：

将所述图像中的识别的开口的数目与坏帧检测器阈值进行比较；以及

响应于识别的开口的数目超过所述坏帧检测器阈值：

捕获所述分支的内部的第二图像；以及

分析所述第二图像以确定所述第二图像内的开口。

30.根据权利要求26所述的方法，其中所述腔网络是肺的支气管网络、胃肠道或肾脏的肾网络。

Images