CN116725669A - 利于解剖内腔网络的导航的系统及计算机可读存储介质 - Google Patents

Abstract

提供了利于患者的解剖内腔网络的导航的系统和计算机可读存储介质。所述系统接收在器械的远端被安置在解剖内腔网络内的情况下由位于器械的远端处的成像装置捕获的成像数据，解剖内腔网络包括右支气管和左支气管；从成像数据中识别表示在成像数据中右支气管和左支气管的第一安置的一个或更多个特征；访问与虚拟图像相关联的一个或更多个特征，虚拟图像是从安置在虚拟内腔网络内的虚拟定位处的虚拟成像装置的视点模拟的，虚拟内腔网络包括虚拟右支气管和虚拟左支气管，与虚拟图像相关联的特征表示在虚拟图像中虚拟右支气管和虚拟左支气管的第二安置；计算第一安置与第二安置之间的对应关系；基于对应关系确定器械的远端在解剖内腔网络内的滚动。

Description

利于解剖内腔网络的导航的系统及计算机可读存储介质

本申请是申请日为2018年6月6日、国际申请号为PCT/US2018/036329、发明名称为“用于确定医疗装置在内腔网络中的姿势的机器人系统”、进入中国国家阶段的申请号为201880044512.4的中国专利申请的分案申请。

相关申请的交叉引用

本申请要求于2017年6月23日提交的题为“AUTOMATICALLY-INITIALIZED ROBOTICSYSTEMS FOR NAVIGATION OF LUMINAL NETWORKS”的美国临时专利申请15/631,691的权益，该专利申请的全部内容在此通过引用整体并入本文。

技术领域

本文公开的系统和方法涉及医疗过程，并且更具体地涉及导航辅助的医疗装置。

背景技术

医疗过程诸如内窥镜检查(例如，支气管镜检查)可以涉及为了诊断和/或治疗的目的而进入并可视化患者的腔(例如，气道)的内部。例如，在过程期间，诸如内窥镜的柔性管状工具可以插入到患者体内，并且器械可以穿过内窥镜到达被识别为进行诊断和/或治疗的组织部位。

支气管镜检查是允许医师检查患者肺气道例如支气管和细支气管的内部状况的医疗过程。在该医疗过程期间，可以将称为支气管镜的细的柔性管状工具插入患者的口腔中并且朝向被识别为进行随后诊断和治疗的组织部位、沿患者的喉部向下进入他/她的肺气道。支气管镜可以具有提供到组织部位的通路的内腔(“工作通道”)，并且导管和各种医疗工具可以通过工作通道插到组织部位。

发明内容

内窥镜导航系统可以使用例如通过自适应调节的概率建模的不同感测模态(例如，镜成像数据、电磁(EM)位置数据、机器人位置数据等)的融合。概率导航方法或其他导航方法可以取决于对内窥镜末端在“何处”的初始估计——例如，对哪个气道、进入该气道多深以及在该气道中有多大的滚动的估计——以便开始跟踪内窥镜的末端。一些内窥镜检查技术可以涉及患者解剖结构的三维(3D)模型，并且可以使用EM场和位置传感器来引导导航。在过程开始时，3D模型的虚拟空间、由3D模型表示的患者解剖结构的物理空间与EM场之间的精确对准(例如，配准)可能是未知的。这样，在生成配准之前或者在现有配准的精度有问题的情况下，患者解剖结构内的内窥镜位置不能被精确地映射到3D模型内的相应定位。

通常，导航系统要求医师经历一系列初始化步骤以便生成该初始估计。这可以涉及例如指导医师(例如，通过触摸主隆凸、左隆凸和右隆凸)将支气管镜安置在相对于支气管树内的界标的多个特定位置和取向处。另一选项需要医师执行初始气道检查，例如，在气管中部开始并且在试图保持支气管镜末端在每个气道内的居中位置的同时进入每个肺叶。

这样的初始化步骤可以提供对内窥镜位置的初始估计；然而，这种方法可能具有若干潜在的缺点，包括对过程开始增加额外的时间要求。另一个潜在的缺点涉及这样的事实，即在初始化已经完成并且跟踪正在发生之后，不良事件(例如，患者咳嗽、动态气道塌陷)可能产生关于内窥镜的实际位置的不确定性。这可能需要确定新的“初始”位置，并且因此导航系统可能需要医师导航回到气管以重新执行初始化步骤。这种回溯增加了额外的时间要求，如果在内窥镜已经通过较小的外围气道朝向靶部位导航之后发生不良事件，则这可能是特别麻烦的。

上述问题等通过本文描述的内腔网络导航系统和技术来解决。所公开的技术可以生成表示患者的解剖内腔网络的虚拟内腔网络的3D模型，并且可以确定虚拟内腔网络内的用于安置虚拟摄像装置的多个定位。所公开的技术可以生成表示虚拟内腔网络的内表面与安置在确定定位处的虚拟摄像装置之间的距离的虚拟深度图。可以从这些虚拟深度图中提取特征，例如在表示气道分叉的虚拟深度图的情况下的峰间距离，并且可以将所提取的特征与虚拟摄像装置的定位相关联地存储。在医疗过程期间，内窥镜的远端可以设置有成像装置，并且所公开的导航技术可以基于从成像装置接收的图像数据来生成深度图。所公开的技术可以从所生成的深度图导出特征，计算所提取的特征与所存储的、从虚拟深度图之一提取的特征之间的对应关系，并且然后使用相关联的虚拟摄像装置定位作为器械的远端的初始位置。有利地，这样的技术允许概率导航系统(或其他导航系统)获得对范围位置的初始估计，而无需上述手动初始化步骤。另外，所公开的技术可以在整个过程中使用以改进配准，并且在一些实施方式中，所公开的技术可以在不良事件之后提供附加的“初始估计”，而不需要通过内腔网络导航回到界标解剖特征。

因此，一个方面涉及一种利于患者的解剖内腔网络的导航的方法，该方法由一个或更多个计算装置的集合执行，该方法包括：接收由位于器械的远端处的成像装置捕获的成像数据，器械的远端被安置在解剖内腔网络内；访问从虚拟图像导出的虚拟特征，该虚拟图像是从被安置在表示解剖内腔网络的虚拟内腔网络内的虚拟定位处的虚拟成像装置的视点模拟的；计算从成像数据导出的特征与从虚拟图像导出的虚拟特征之间的对应关系；以及基于与虚拟特征相关联的虚拟定位来确定器械的远端在解剖内腔网络内的姿势。

在一些实施方式中，该方法还包括：基于成像数据来生成深度图，其中，虚拟特征是从与虚拟图像相关联的虚拟深度图导出的，并且其中，计算对应关系是至少部分地基于使深度图的一个或更多个特征与虚拟深度图的一个或更多个特征相关。

在一些实施方式中，该方法还包括：通过针对成像数据的多个像素中的每个像素计算下述深度值来生成深度图：深度值表示成像装置与解剖内腔网络内的与该像素对应的组织表面之间的估计距离；识别多个像素中的与深度图中的第一深度标准对应的第一像素以及多个像素中的与深度图中的第二深度标准对应的第二像素；计算表示第一像素与第二像素之间的距离的第一值；其中，虚拟深度图包括针对多个虚拟像素中的每个虚拟像素的下述虚拟深度值：虚拟深度值表示虚拟成像装置与由该虚拟像素表示的虚拟内腔网络的一部分之间的虚拟距离，并且其中，访问从虚拟图像导出的虚拟特征包括：访问表示虚拟深度图中的第一深度标准与第二深度标准之间的距离的第二值；以及基于第一值与第二值的比较来计算对应关系。

在一些实施方式中，方法还包括：访问表示多个虚拟深度图中的第一深度标准与第二深度标准之间的距离的多个值，多个虚拟深度图分别表示虚拟内腔网络内的多个虚拟定位中的不同虚拟定位；以及基于与多个值中的其他值相比更接近地对应于第一值的第二值来计算对应关系。在一些实施方式中，解剖内腔网络包括气道，并且成像数据描绘气道的分叉，并且该方法还包括：在深度图和虚拟深度图中的每一个中，将第一深度标准和第二深度标准中的一个识别为右支气管；以及基于右支气管在深度图中的第一位置与右支气管在虚拟深度图中的第二位置之间的角距离来确定器械的滚动，其中，器械的远端在解剖内腔网络内的姿势包括所确定的滚动。

在一些实施方式中，该方法还包括：识别深度图和虚拟深度图中的每一个中的三个或更多个深度标准；确定深度图和虚拟深度图中的每一个中的连接深度标准的多边形的形状和定位；以及基于深度图中的多边形的形状和定位与虚拟深度图中的多边形的形状和定位的比较来计算对应关系。在一些实施方式中，生成深度图是基于照相测斜法(photoclinometry)的。

在一些实施方式中，该方法还包括：基于包括位置的多个输入来计算器械在解剖内腔网络内的概率状态；以及至少部分地基于概率状态来引导器械通过解剖内腔网络的导航。在一些实施方式中，该方法还包括：初始化导航系统，该导航系统被配置成计算概率状态并且基于概率状态来引导解剖内腔网络的导航，其中，对导航系统初始化包括：基于位置来设置概率计算器的先验。在一些实施方式中，该方法还包括：接收表示器械的远端的更新的姿势的附加数据；基于附加数据来设置概率计算器的似然函数；以及使用概率计算器基于先验和似然函数来确定概率状态。

在一些实施方式中，该方法还包括：将多个输入提供给被配置成计算概率状态的导航系统，第一输入包括器械的远端的姿势，并且至少一个附加输入包括以下中的一者或两者：来自致动器械的移动的机器人系统的机器人位置数据，以及从器械的远端处的位置传感器接收的数据；以及基于第一输入和至少一个附加输入来计算器械的概率状态。

在一些实施方式中，方法还包括：至少部分地基于根据所计算的对应关系确定的、器械的远端在解剖内腔网络内的姿势，确定虚拟内腔网络的坐标系与在解剖内腔网络周围生成的电磁场的坐标系之间的配准。在一些实施方式中，确定位置包括：确定器械的远端在解剖内腔网络的区段内前进的距离。

另一方面涉及一种被配置成利于患者的解剖内腔网络的导航的系统，该系统包括：成像装置，其位于器械的远端处；存储有可执行指令的至少一个计算机可读存储器；以及一个或更多个处理器，其与至少一个计算机可读存储器通信，并且被配置成执行指令以使系统至少执行以下操作：接收在器械的远端被安置在解剖内腔网络内的情况下由成像装置捕获的成像数据；访问从虚拟图像导出的虚拟特征，虚拟图像是从被安置在表示解剖内腔网络的虚拟内腔网络内的虚拟定位处的虚拟成像装置的视点模拟的；计算从成像数据导出的特征与从虚拟图像导出的虚拟特征之间的对应关系；以及基于与虚拟特征相关联的虚拟定位来确定器械的远端相对地在解剖内腔网络内的姿势。

在一些实施方式中，一个或更多个处理器被配置成执行指令以使系统至少执行以下操作：基于成像数据来生成深度图，其中，虚拟图像表示虚拟深度图；以及至少部分地基于使深度图的一个或更多个特征与虚拟深度图的一个或更多个特征相关来确定对应关系。在一些实施方式中，一个或更多个处理器被配置成执行指令以使系统至少执行以下操作：通过针对成像数据的多个像素中的每个像素计算下述深度值来生成深度图：深度值表示成像装置与解剖内腔网络内的与该像素对应的组织表面之间的估计距离；识别多个像素中的与深度图中的第一深度标准对应的第一像素以及多个像素中的与深度图中的第二深度标准对应的第二像素；计算表示第一像素与第二像素之间的距离的第一值；其中，虚拟深度图包括针对多个虚拟像素中的每个虚拟像素的下述虚拟深度值：虚拟深度值表示虚拟成像装置与由该虚拟像素表示的虚拟内腔网络的一部分之间的虚拟距离，并且其中，从虚拟图像导出的特征包括表示虚拟深度图中的第一深度标准与第二深度标准之间的距离的第二值；以及基于第一值与第二值的比较来确定对应关系。

在一些实施方式中，一个或更多个处理器被配置成执行指令以使系统至少执行以下操作：访问表示多个虚拟深度图中的第一深度标准与第二深度标准之间的距离的多个值，多个虚拟深度图分别表示虚拟内腔网络内的多个虚拟定位中的不同虚拟定位；以及基于与多个值中的其他值相比更接近地对应于第一值的第二值来计算对应关系，将第二值识别为多个值中与第一值最接近的匹配。在一些实施方式中，解剖内腔网络包括气道，并且成像数据描绘气道的分叉，并且一个或更多个处理器被配置成执行指令以使系统至少执行以下操作：在深度图和虚拟深度图中的每一个中，将第一深度标准和第二深度标准中的一个识别为右支气管；以及基于右支气管在深度图中的第一位置与右支气管在虚拟深度图中的第二位置之间的角距离来确定器械的滚动，其中，器械的远端在解剖内腔网络内的姿势包括所确定的滚动。

在一些实施方式中，一个或更多个处理器被配置成执行指令以使系统至少执行以下操作：识别深度图和虚拟深度图中的每一个中的三个或更多个深度标准；确定深度图和虚拟深度图中的每一个中的连接三个或更多个深度标准的多边形的形状和定位；以及基于深度图中的多边形的形状和定位与虚拟深度图中的多边形的形状和定位的比较来计算对应关系。在一些实施方式中，一个或更多个处理器被配置成执行指令以使系统至少执行以下操作：基于照相测斜法来生成深度图。

在一些实施方式中，一个或更多个处理器被配置成与导航系统通信，并且其中，一个或更多个处理器被配置成执行指令以使系统至少执行以下操作：使用导航系统、至少部分地基于包括位置的多个输入来计算器械在解剖内腔网络内的概率状态；以及至少部分地基于由导航系统计算的概率状态来引导器械通过解剖内腔网络的导航。系统的一些实施方式还包括机器人系统，该机器人系统被配置成在导航期间引导器械的移动。在一些实施方式中，多个输入包括从机器人系统接收的机器人位置数据，并且其中，一个或更多个处理器被配置成执行指令以使系统至少执行以下操作：使用导航系统、至少部分地基于位置和机器人位置数据来计算器械的概率状态。系统的一些实施方式还包括位于器械的远端处的位置传感器，多个输入包括从位置传感器接收的数据，并且其中，一个或更多个处理器被配置成执行指令以使系统至少执行以下操作：使用导航系统、至少部分地基于位置以及从位置传感器接收的数据来计算器械的概率状态。在一些实施方式中，一个或更多个处理器配置成执行指令以使系统至少执行以下操作：部分地基于位置来确定虚拟内腔网络的坐标系与在解剖内腔网络周围生成的电磁场的坐标系之间的配准。

另一方面涉及一种非暂态计算机可读存储介质，其上存储有指令，该指令在被执行时使至少一个计算装置至少执行以下操作：访问患者的解剖内腔网络的内表面的虚拟三维模型；识别虚拟三维模型内的多个虚拟定位；针对虚拟三维模型内的多个虚拟定位中的每个虚拟定位：生成虚拟深度图，虚拟深度图表示被安置在该虚拟定位处的虚拟成像装置与所述虚拟成像装置在被安置在虚拟定位处时的视场内的内表面的一部分之间的虚拟距离，以及从虚拟深度图导出至少一个虚拟特征；以及生成使多个虚拟定位与从对应的虚拟深度图导出的至少一个虚拟特征相关联的数据库。

在一些实施方式中，指令在被执行时使至少一个计算装置至少执行以下操作：将数据库提供给导航系统，导航系统被配置成在医疗过程期间引导器械通过解剖内腔网络的导航。在一些实施方式中，指令在被执行时使至少一个计算装置至少执行以下操作：访问表示被安置在器械的远端处的成像装置的数据；识别成像装置的图像捕获参数；以及将虚拟成像装置的虚拟图像捕获参数设置为与成像装置的图像捕获参数对应。

在一些实施方式中，指令在被执行时使至少一个计算装置至少执行以下操作：基于虚拟图像捕获参数来生成虚拟深度图。在一些实施方式中，图像捕获参数包括下述中的一个或更多个：视场、镜头畸变、焦距及亮度阴影。

在一些实施方式中，指令在被执行时使至少一个计算装置至少执行以下操作：针对多个虚拟定位中的每个虚拟定位：识别虚拟深度图中的第一深度标准和第二深度标准，并且计算表示第一深度标准与第二深度标准之间的距离的值；以及通过使多个虚拟定位与对应的值相关联来创建数据库。

在一些实施方式中，指令在被执行时使至少一个计算装置至少执行以下操作：对于多个虚拟定位中的每个虚拟定位：识别虚拟深度图中的三个或更多个深度标准，并且确定连接三个或更多个深度标准的多边形的形状和定位；以及通过使多个虚拟定位与对应的多边形的形状和定位相关联来创建数据库。在一些实施方式中，指令在被执行时使至少一个计算装置至少执行以下操作：从表示患者的解剖内腔网络的一系列二维图像生成三维体积数据；以及从三维体积数据形成解剖内腔网络的内表面的虚拟三维模型。在一些实施方式中，指令在被执行时使至少一个计算装置至少执行以下操作：控制计算机断层摄影成像系统捕获一系列二维图像。在一些实施方式中，指令在被执行时使至少一个计算装置至少执行以下操作：通过将体积分割应用于三维体积数据来形成虚拟三维模型。

另一方面涉及一种利于患者的解剖内腔网络的导航的方法，该方法由一个或更多个计算装置的集合执行，该方法包括：接收表示解剖内腔网络的内部的立体图像集；基于立体图像集来生成深度图；访问从虚拟图像导出的虚拟特征，该虚拟图像是从安置在虚拟内腔网络内的定位处的虚拟成像装置的视点模拟的；计算从深度图导出的特征与从虚拟图像导出的虚拟特征之间的对应关系；以及基于与虚拟特征相关联的虚拟定位来确定器械的远端在解剖内腔网络内的姿势。

在一些实施方式中，生成立体图像集包括：将成像装置安置在位于解剖内腔网络内的第一定位处的器械的远端处；在成像装置被安置在第一定位处的情况下，捕获解剖内腔网络的内部的第一图像；以机器人方式控制成像装置移动已知距离以到达解剖内腔网络内的第二定位；以及在成像装置被安置在第二定位处的情况下，捕获解剖内腔网络的内部的第二图像。在一些实施方式中，以机器人方式控制成像装置移动已知距离包括下述中的一者或两者：缩回成像装置，以及成角度地滚动成像装置。

此外，还有一个方面涉及一种被配置成利于患者的解剖内腔网络的导航的系统，所述系统包括：成像装置，其位于器械的远端处；其上存储有可执行指令的至少一个计算机可读存储器；以及一个或更多个处理器，其与所述至少一个计算机可读存储器通信，并且被配置成执行所述指令以使所述系统至少执行以下操作：接收在所述器械的远端被安置在所述解剖内腔网络内的情况下由所述成像装置捕获的成像数据，其中，所述解剖内腔网络包括右支气管和左支气管；从所述成像数据中识别一个或更多个特征，从所述成像数据中识别的一个或更多个特征表示在所述成像数据中所述右支气管和所述左支气管的第一安置；访问与虚拟图像相关联的一个或更多个特征，所述虚拟图像是从被安置在表示所述解剖内腔网络的虚拟内腔网络内的虚拟定位处的虚拟成像装置的视点模拟的，所述虚拟内腔网络包括与所述右支气管对应的虚拟右支气管和与所述左支气管对应的虚拟左支气管，其中，与所述虚拟图像相关联的一个或更多个特征表示在所述虚拟图像中所述虚拟右支气管和所述虚拟左支气管的第二安置；计算第一安置与所述第二安置之间的对应关系；以及基于所计算的对应关系来确定所述器械的远端在所述解剖内腔网络内的滚动。

而且，还有一个方面涉及一种非暂态计算机可读存储介质，其上存储有指令，所述指令在被执行时使至少一个计算装置至少执行以下操作：接收在器械的远端被安置在解剖内腔网络内的情况下由成像装置捕获的成像数据，其中，所述解剖内腔网络包括右支气管和左支气管；从所述成像数据中识别一个或更多个特征，从所述成像数据中识别的一个或更多个特征表示在所述成像数据中所述右支气管和所述左支气管的第一安置；访问与虚拟图像相关联的一个或更多个特征，所述虚拟图像是从被安置在表示所述解剖内腔网络的虚拟内腔网络内的虚拟定位处的虚拟成像装置的视点模拟的，所述虚拟内腔网络包括与所述右支气管对应的虚拟右支气管和与所述左支气管对应的虚拟左支气管，其中，与所述虚拟图像相关联的一个或更多个特征表示在所述虚拟图像中所述虚拟右支气管和所述虚拟左支气管的第二安置；计算第一安置与第二安置之间的对应关系；以及基于所计算的对应关系来确定所述器械的远端在所述解剖内腔网络内的滚动。

附图说明

在下文中将结合附图和附录来描述所公开的方面，提供这些附图和附录是为了说明而不是限制所公开的方面，其中，相同的附图标记表示相同的元件。

图1示出了被布置用于诊断和/或治疗支气管镜检查过程的基于推车的机器人系统的实施方式。

图2描绘了图1的机器人系统的另外的方面。

图3示出了被布置用于输尿管镜检查的图1的机器人系统的实施方式。

图4示出了被布置用于血管过程的图1的机器人系统的实施方式。

图5示出了被布置用于支气管镜检查过程的基于台的机器人系统的实施方式。

图6提供了图5的机器人系统的替选视图。

图7示出了被配置成收放机器人臂的示例系统。

图8示出了被配置用于输尿管镜检查过程的基于台的机器人系统的实施方式。

图9示出了被配置用于腹腔镜检查过程的基于台的机器人系统的实施方式。

图10示出了具有俯仰或倾斜调整的图5至图9的基于台的机器人系统的实施方式。

图11提供了图5至图10的基于台的机器人系统的台与柱之间的接口的详细图示。

图12示出了示例性器械驱动器。

图13示出了具有配对的器械驱动器的示例性医疗器械。

图14示出了器械驱动器和器械的替选设计，其中驱动单元的轴线平行于器械的细长轴的轴线。

图15描绘了示出根据示例实施方式的定位系统的框图，该定位系统估计图1至图10的机器人系统的一个或更多个元件的定位，例如图13至图14的器械的定位。

图16A示出了实现所公开的导航系统和技术的示例操作环境。

图16B示出了在图16A的环境中导航的示例内腔网络。

图16C示出了用于引导器械移动通过图16B的内腔网络的示例机器人臂。

图17示出了根据一个实施方式的用于示例医疗机器人系统的示例命令控制台。

图18示出了如本文中所描述的具有成像和EM感测能力的示例内窥镜。

图19描绘了如本文中所描述的导航系统的示意性框图。

图20描绘了用于生成所提取的虚拟特征数据集的示例处理的流程图。

图21描绘了用于基于所捕获的内窥镜图像以及所计算的、深度信息的特征与图20的所提取的虚拟特征数据集之间的对应关系来生成深度信息的示例手术中处理的流程图。

具体实施方式

1.概述

本公开内容的各方面可以被集成到能够执行各种医疗过程的机器人使能的医疗系统中，医疗过程包括诸如腹腔镜检查的微创过程以及诸如内窥镜检查的无创过程二者。在内窥镜检查过程中，系统能够执行支气管镜检查、输尿管镜检查、胃镜检查等。

除了执行广泛的过程之外，系统可以提供额外的益处，诸如增强的成像和引导以帮助医师。另外，该系统可以为医师提供从人体工程学位置执行过程的能力，而不需要棘手的臂运动和定位。更进一步地，该系统可以为医师提供以改进的易用性执行过程的能力，使得系统的器械中的一个或更多个器械可以由单个用户控制。

出于说明的目的，下面将结合附图描述各种实施方式。应当理解的是，所公开的构思的许多其他实现方式是可能的，并且利用所公开的实现方式可以实现各种优点。本文中包括标题以供参考，并且有助于查找各个部分。这些标题不意在限制关于标题所描述的构思的范围。这些构思可以在整个说明书中具有适用性。

A.机器人系统-推车。

取决于具体过程，可以以各种方式配置机器人使能的医疗系统。图1示出了被布置用于诊断和/或治疗支气管镜检查过程的基于推车的机器人使能系统10的实施方式。在支气管镜检查期间，系统10可以包括推车11，推车11具有一个或更多个机器人臂12，以将医疗器械(例如可操纵的内窥镜13，其可以是用于支气管镜检查的过程专用支气管镜)递送到自然孔口进入点(即，在本示例中为安置在台上的患者的口腔)，以递送诊断和/或治疗工具。如图所示，推车11可以被安置在患者的上躯干附近，以便提供进入该进入点。类似地，机器人臂12可以被致动以相对于进入点安置支气管镜。当利用胃镜(一种用于胃肠(GI)过程的专用内窥镜)执行GI过程时，也可以利用图1中的布置。图2更详细地描绘推车的示例实施方式。

继续参照图1，一旦推车11被正确安置，机械臂12就可以自动地、手动地或以其组合方式将可操纵内窥镜13插入到患者体内。如图所示，可操纵内窥镜13可以包括至少两个伸缩部分，例如内引导件部分和外护套部分，每个部分耦接到来自该组器械驱动器28的单独的器械驱动器，每个器械驱动器耦接到单独的机器人臂的远端。便于将引导件部分与护套部分同轴对准的器械驱动器28的这种线性布置产生“虚拟轨道”29，“虚拟轨道”29可以通过将一个或更多个机器人臂12操纵到不同角度和/或位置而在空间中重新安置。在图中使用虚线描绘了本文描述的虚拟轨道，并且因此虚线不描绘系统的任何物理结构。器械驱动器28沿着虚拟轨道29的平移使内引导件部分相对于外护套部分伸缩，或者使内窥镜13相对于患者前进或缩回。虚拟轨道29的角度可以基于临床应用或医师偏好来调整、平移和枢转。例如，在支气管镜检查中，所示的虚拟轨道29的角度和位置代表了在提供医师接近内窥镜13的同时使由于将内窥镜13弯曲到患者的口腔中而产生的摩擦最小化之间的折衷。

可以在插入之后使用来自机器人系统的精确命令沿着患者的气管和肺引导内窥镜13，直到到达靶目的地或手术部位。为了增强通过患者的肺网络的导航和/或到达期望的靶，内窥镜13可以被操纵成从外护套部分伸缩地延伸内引导件部分，以获得增强的接合和更大的弯曲半径。使用单独的器械驱动器28还允许引导件部分和护套部分彼此独立地被驱动。

例如，内窥镜13可以被引导以将活检针递送至靶，例如，患者肺内的病变或结节。可以沿着工作通道部署针以获得要由病理学家分析的组织样本，其中该工作通道沿着内窥镜的长度延伸。根据病理学结果，可以沿着内窥镜的工作通道部署附加工具以用于附加活检。在识别出结节是恶性的之后，内窥镜13可以以内窥镜方式递送工具以切除潜在的癌组织。在一些情况下，诊断和治疗处理可能需要在分开的过程中递送。在那些情况下，内窥镜13也可以用于递送基准以也“标记”靶结节的定位。在其他情况下，诊断和治疗处理可以在相同的过程期间被递送。

系统10还可以包括可移动塔30，该可移动塔30可以经由支持线缆连接至推车11以向推车11提供对控制、电子、流控、光学、传感器和/或电力的支持。将这样的功能放置在塔30中允许可以由操作医师和他/她的工作人员更容易地调整和/或重新安置的更小形状因子的推车11。此外，在推车/台与支持塔30之间的功能划分减少了手术室的混乱并且有利于改善临床工作流程。虽然推车11可以安置成靠近患者，但是塔30可以被收放在远程位置中以在过程期间不挡道。

为了支持上述机器人系统，塔30可以包括基于计算机的控制系统的(一个或更多个)部件，其例如在诸如永久性磁存储驱动器、固态驱动器等的非暂态计算机可读存储介质内存储计算机程序指令。这些指令的执行——无论是在塔30中还是在推车11中发生执行——都可以控制整个系统或其(一个或更多个)子系统。例如，当由计算机系统的处理器执行时，指令可以使机器人系统的部件致动相关的托架和臂安装件，致动机器人臂，并且控制医疗器械。例如，响应于接收到控制信号，机器人臂的关节中的马达可以将臂安置成特定姿势。

塔30还可以包括泵、流量计、阀控制器和/或流体入口，以便向可以通过内窥镜13部署的系统提供受控的冲洗和抽吸能力。这些部件也可以使用塔30的计算机系统来控制。在一些实施方式中，冲洗和抽吸能力可以通过(一个或更多个)单独的线缆直接递送至内窥镜13。

塔30可以包括电压和浪涌保护器，其被设计成向推车11提供经滤波和保护的电力，从而避免在推车11中放置电力变压器和其他辅助电力部件，从而引起更小、更可移动的推车11。

塔30还可以包括用于部署在整个机器人系统10中的传感器的支持设备。例如，塔30可以包括用于检测、接收和处理从遍及机器人系统10中的光学传感器或摄像装置接收到的数据的光电子设备。与控制系统结合，这样的光电子设备可以用于生成实时图像以显示在部署在整个系统中的任何数量的控制台中(包括显示在塔30中)。类似地，塔30还可以包括用于接收和处理从部署的电磁(EM)传感器接收到的信号的电子子系统。塔30还可以用于容纳和安置EM场发生器，以用于由医疗器械中或医疗器械上的EM传感器进行检测。

除了在系统的其余部分中可用的其他控制台(例如，安装在推车顶部的控制台)之外，塔30还可以包括控制台31。控制台31可以包括用于医师操作员的用户接口和显示屏，例如触摸屏。系统10中的控制台通常设计成提供机器人控制以及过程的手术前信息和实时信息，例如，内窥镜13的导航和定位信息。当控制台31不是医师可用的唯一控制台时，控制台31可以由诸如护士的第二操作者使用，以监测患者的健康或生命体征以及系统的操作，以及提供过程专用数据，例如，导航和定位信息。

塔30可以通过一个或更多个线缆或连接(未示出)耦接至推车11和内窥镜13。在一些实施方式中，来自塔30的支持功能可以通过单个线缆被提供至推车11，从而简化手术室并且使手术室不杂乱。在其他实施方式中，特定功能可以耦接在单独的线缆和连接中。例如，尽管可以通过单个电力线缆向推车提供电力，但也可以通过单独的线缆提供对控制、光学、流控和/或导航的支持。

图2提供了来自图1所示的基于推车的机器人使能系统的推车的实施方式的详细图示。推车11通常包括细长支承结构14(通常称为“柱”)、推车基部15和在柱14的顶部的控制台16。柱14可以包括用于支承一个或更多个机器人臂12(图2中示出三个)的部署的一个或更多个托架，例如托架17(替选地“臂架”)。托架17可以包括可单独配置的臂安装件，其沿着垂直轴旋转以调整机器人臂12的基部，以获得相对于患者的更好的安置。托架17还包括托架接口19，其允许托架17沿着柱14竖直平移。

托架接口19通过诸如槽20的槽连接至柱14，所述槽被安置在柱14的相对侧以引导托架17的竖直平移。槽20包含用于将托架安置和保持在相对于推车基部15的各种竖直高度处的竖直平移接口。托架17的竖直平移允许推车11调整机器人臂12的可达范围以满足各种台高度、患者尺寸和医师偏好。类似地，托架17上的可单独配置的臂安装件允许机器人臂12的机器人臂基部21以各种配置成角度。

在一些实施方式中，槽20可以补充有槽盖，槽盖与槽表面齐平且平行，以防止在托架17竖直平移时灰尘和流体进入竖直平移接口和柱14的内部腔室。可以通过位于槽20的竖直顶部和底部附近的成对弹簧卷轴来部署槽盖。盖盘绕在卷轴内直到随着托架17竖直地上下平移而被部署成从盖的盘绕状态延伸和缩回。当托架17向卷轴平移时，卷轴的弹簧加载提供了将盖缩回到卷轴中的力，同时当托架17平移离开卷轴时也保持紧密密封。盖可以使用例如托架接口19中的支架连接至托架17，以确保盖在托架17平移时适当地延伸和缩回。

柱14可以在内部包括诸如齿轮和马达的机构，其被设计成使用竖直对准的导螺杆，以响应于响应用户输入(例如，来自控制台16的输入)而生成的控制信号而以机械化方式平移托架17。

机器人臂12通常可以包括由一系列连杆23分开的机器人臂基部21和端部执行器22，该一系列连杆23由一系列关节24连接，每个关节包括独立的致动器，每个致动器包括独立可控的马达。每个独立可控的关节表示机器人臂可用的独立自由度。臂12中的每一个具有七个关节，因此提供七个自由度。多个关节带来多个自由度，从而允许“冗余”自由度。冗余自由度允许机器人臂12使用不同的连杆位置和关节角度将它们各自的端部执行器22安置在空间中的特定位置、取向和轨迹处。这允许系统从空间中的期望点来安置和引导医疗器械，同时允许医师将臂关节移动到离开患者的临床有利位置以产生更好的接近，同时避免臂碰撞。

推车基部15在地板上平衡柱14、托架17和臂12的重量。因此，推车基部15容纳较重的部件，例如电子器件、马达、电源以及使得推车能够移动和/或固定的部件。例如，推车基部15包括允许推车在过程之前容易地在室中移动的可滚动的轮形脚轮25。在到达适当位置之后，脚轮25可以使用轮锁固定，以在过程期间将推车11保持在适当位置。

安置在柱14的竖直端部处的控制台16允许用于接收用户输入的用户接口和显示屏(或两用装置，例如触摸屏26)两者向医师用户提供手术前和手术中数据两者。触摸屏26上的潜在手术前数据可以包括从手术前计算机化断层层析成像(CT)扫描得出的导航与映射数据、手术前规划和/或来自手术前患者面谈的注释。显示器上的手术中数据可以包括从工具提供的光学信息、来自传感器的传感器与坐标信息以及重要患者统计，例如呼吸、心率和/或脉搏。控制台16可以被安置和倾斜成允许医师从柱14的与托架17相对的侧接近控制台。从该位置，医师可以在从推车11后面操作控制台16的同时观察控制台16、机器人臂12和患者。如所示出的，控制台16还包括用于帮助操纵和稳定推车11的手柄27。

图3示出了被布置成用于输尿管镜检查的机器人使能系统10的实施方式。在输尿管镜检查过程中，推车11可以被安置成将输尿管镜32——被设计成横穿患者的尿道和输尿管的过程专用内窥镜——递送到患者的下腹部区域。在输尿管镜检查中，可以期望输尿管镜32直接与患者的尿道对准以减少该区域中的敏感解剖结构上的摩擦和力。如所示出的，推车11可以在台的脚部处对准，以允许机器人臂12安置输尿管镜32而获得对患者的尿道的直接线性接近。从台的脚部，机器人臂12可以沿着虚拟轨道33将输尿管镜32通过尿道直接插入患者的下腹部。

在插入尿道中之后，使用与支气管镜检查中类似的控制技术，可以将输尿管镜32导航到膀胱、输尿管和/或肾中以进行诊断和/或治疗应用。例如，可以将输尿管镜32引导到输尿管和肾中以使用沿着输尿管镜32的工作通道部署的激光或超声碎石装置打碎积聚的肾结石。在碎石完成之后，可以使用沿着输尿管镜32部署的篮移除所产生的结石碎片。

图4示出了类似地被布置用于血管手术的机器人使能系统的实施方式。在血管手术中，系统10可以被配置成使得推车11可以将诸如可操纵导管的医疗器械34递送至患者腿部的股动脉中的进入点。股动脉提供用于导航的较大直径以及到患者心脏的相对较少迂回和曲折路径(这简化了导航)两者。如在输尿管镜检查过程中，推车11可以被安置成朝向患者的腿和下腹部，以允许机器人臂12提供具有对患者的大腿/髋部区域中的股动脉进入点的直接线性进入的虚拟轨道35。在插入动脉后，可以通过平移器械驱动器28来引导和插入医疗器械34。替选地，推车可以被安置在患者的上腹部周围，以到达替选的血管进入点，例如，肩部和腕部附近的颈动脉和臂动脉。

B.机器人系统-台。

机器人使能医疗系统的实施方式还可以包含患者的台。包含台通过移除推车而减少手术室内的资本设备的量，这允许对患者的更好的接近。图5示出了被布置成用于支气管镜检查过程的这样的机器人使能系统的实施方式。系统36包括用于将平台38(示出为“台”或“床”)支承在地板上的支承结构或柱37。非常像在基于推车的系统中，系统36的机器人臂39的端部执行器包括器械驱动器42，其被设计成通过或沿着由器械驱动器42的线性对准形成的虚拟轨道41来操纵细长医疗器械，例如图5中的支气管镜40。实际上，可以通过将发射器和检测器放置在台38周围将用于提供荧光透视成像的C形臂安置在患者的上腹部区域上方。

图6提供了出于讨论目的而没有患者和医疗器械的系统36的替选视图。如所示出的，柱37可以包括在系统36中示出为环形的一个或更多个托架43，一个或更多个机器人臂39可以基于该一个或更多个托架。托架43可以沿着沿柱37的长度延伸的竖直柱接口44平移，以提供不同的有利位点，机器人臂39可以从这些有利位点被安置以到达患者。托架43可以使用位于柱37内的机械马达绕柱37旋转，以允许机器人臂39接近台38的多个侧，例如患者的两侧。在具有多个托架的实施方式中，托架可以分别地安置在柱上，并且可以独立于其他托架而平移和/或旋转。尽管托架43不需要围绕柱37或甚至不需要是圆形的，但所示的环形形状有利于托架43绕柱37旋转并且同时保持结构平衡。托架43的旋转和平移允许系统将诸如内窥镜和腹腔镜的医疗器械对准到患者身上的不同进入点。

臂39可以通过一组臂安装件45安装在托架上，该组臂安装件包括一系列关节，这些关节可以单独地旋转和/或伸缩地延伸，从而为机器人臂39提供附加的可配置性。此外，臂安装件45可以被安置在托架43上，使得当托架43适当地旋转时，臂安装件45可以被安置在台38的同一侧(如图6所示)，在台38的相对侧(如图9所示)，或在台38的相邻侧(未示出)。

柱37在结构上为台38提供支承并且为托架的竖直平移提供路径。在内部，柱37可以装备有用于引导托架的竖直平移的导螺杆，以及基于导螺杆使所述托架的平移机械化的马达。柱37还可以将电力和控制信号传送至托架43和安装在托架上的机器人臂39。

台基部46起到与图2所示的推车11中的推车基部15类似的功能，即，容纳较重的部件以平衡台/床38、柱37、托架43和机器人臂39。台基部46也可以包括刚性脚轮以用于在过程期间提供稳定性。在从台基部46的底部部署的情况下，脚轮可以在基部46的两侧沿相反方向延伸，并且当系统36需要移动时缩回。

继续参照图6，系统36还可以包括塔(未示出)，该塔将系统36的功能在台与塔之间进行划分，以减小台的形状因子和体积。如在较早公开的实施方式中那样，塔可以为台提供各种支持功能，例如处理、计算和控制能力，电力，流控以及/或者光学和传感器处理。塔还可以是可移动的，以被安置成离开患者，从而改善医师的接近并且使手术室不杂乱。此外，将部件放置在塔中可以允许在台基部中有更多的储存空间，以用于机器人臂的潜在收放。塔还可以包括控制台，该控制台提供用于用户输入的用户接口(例如，键盘和/或悬架式操纵台(pendant))以及用于手术前和手术中信息(例如，实时成像、导航和跟踪信息)的显示屏(或触摸屏)。

在一些实施方式中，台基部可以将机器人臂在不使用时收放和储存。图7示出了在基于台的系统的实施方式中收放机器人臂的系统47。在系统47中，托架48可以竖直平移到基部49中以使机器人臂50、臂安装件51和托架48收放在基部49内。基部盖52可以平移和缩回成打开以将托架48、臂安装件51和臂50展开在柱53周围，并且可以关闭以收放以在托架、臂安装件和臂不使用时保护它们。基部盖52可以用膜54沿着该基部盖的开口的边缘密封，以防止在关闭时灰尘和流体进入。

图8示出了被配置成用于输尿管镜检查过程的机器人使能的基于台的系统的实施方式。在输尿管镜检查中，台38可以包括用于将患者安置成与柱37和台基部46成偏角的转动部分55。转动部分55可以绕枢转点(例如，位于患者头部下方)旋转或枢转，以将转动部分55的底部部分安置成离开柱37。例如，转动部分55的枢转允许C形臂(未示出)被安置在患者的下腹部上方，而不与台38下方的柱(未示出)争夺空间。通过绕柱37旋转托架35(未示出)，机器人臂39可以将输尿管镜56沿着虚拟轨道57直接插入患者的腹股沟区域中以到达尿道。在输尿管镜检查中，也可以将镫58固定至台38的转动部分55，以在过程期间支承患者的腿的位置，并且允许对患者的腹股沟区域的无阻碍接近。

在腹腔镜检查过程中，通过在患者腹壁的(一个或更多个)小切口，可以将微创器械(形状细长以适应一个或更多个切口的尺寸)插入患者的解剖结构中。在患者腹腔充气之后，可以引导通常称为腹腔镜的器械以执行手术任务，例如抓取、切割、摘除、缝合等。图9示出了被配置用于腹腔镜检查过程的机器人使能的基于台的系统的实施方式。如图9所示，可以将系统36的托架43旋转和竖直调整以将成对的机器人臂39安置在台38的相对侧，使得可以使用臂安装件45将腹腔镜59安置成穿过患者两侧的最小切口以到达他/她的腹腔。

为了适应腹腔镜检查过程，机器人使能台系统还可以将平台倾斜到期望的角度。图10示出了具有俯仰或倾斜调整的机器人使能医疗系统的实施方式。如图10所示，系统36可以适应台38的倾斜，以将台的一部分安置在比另一部分距地面更远的距离处。此外，臂安装件45可以旋转以匹配倾斜，使得臂39与台38保持相同的平面关系。为了适应更陡的角度，柱37还可以包括伸缩部分60，该伸缩部分60允许柱37的竖直延伸以防止台38接触地面或与基部46碰撞。

图11提供了台38与柱37之间的接口的详细图示。俯仰旋转机构61可以被配置成以多个自由度改变台38相对于柱37的俯仰角。俯仰旋转机构61可以通过在柱台接口处安置正交轴线1、2来实现，每个轴由单独的马达2、4响应于电俯仰角命令来致动。沿着一个螺杆5的旋转将使得能够进行沿一个轴1的倾斜调整，而沿着另一螺杆6的旋转将使得能够进行沿着另一轴2的倾斜调整。

例如，当为了进行下腹部手术而试图将台安置在头低脚高(Trendelenburg)位置(即，患者的下腹部处在比患者的下腹部距地面更高位置的位置)时，俯仰调整特别有用。头低脚高位置使患者的内部器官通过重力滑向他/她的上腹，从而清空腹腔以供微创工具进入并且执行下腹部手术过程，例如腹腔镜前列腺切除术。

C.器械驱动器与接口。

系统的机器人臂的端部执行器包括：(i)器械驱动器(替选地称为“器械驱动机构”或“器械装置操纵器”)，其结合了用于致动医疗器械的机电装置；以及(ii)可移除或可拆卸的医疗器械，其可以没有诸如马达的任何机电部件。该二分法可以是由对医疗过程中使用的医疗器械进行消毒的需要以及由于昂贵资本设备的复杂机械组件和敏感电子器件而引起的无法对昂贵资本设备进行充分消毒所驱动的。因此，医疗器械可以被设计成从器械驱动器(以及因此从系统)拆卸、移除和互换，以便由医师或医师的工作人员单独消毒或处置。相比之下，器械驱动器不需要改变或消毒，并且可以用披盖覆盖以获得保护。

图12示出了示例器械驱动器。安置在机器人臂的远端处的器械驱动器62包括一个或更多个驱动单元63，其被以平行轴线进行布置以经由驱动轴64向医疗器械提供受控扭矩。每个驱动单元63包括用于与器械相互作用的单独的驱动轴64、用于将马达轴旋转转换成期望扭矩的齿轮头65、用于生成驱动扭矩的马达66、用于测量马达轴的速度并且向控制电路提供反馈的编码器67以及用于接收控制信号并且致动驱动单元的控制电路68。每个驱动单元63被独立地控制和机动化，器械驱动器62可以向医疗器械提供多个(如图12所示为四个)独立的驱动输出。在操作中，控制电路68将接收控制信号，将马达信号传输至马达66，将由编码器67测量的产生的马达速度与期望速度进行比较，并且调制马达信号以生成期望扭矩。

对于需要无菌环境的过程，机器人系统可以结合位于器械驱动器与医疗器械之间的驱动接口，例如连接至无菌披盖(drape)的无菌适配器。无菌适配器的主要目的是将角运动从器械驱动器的驱动轴传递到器械的驱动输入，同时保持驱动轴与驱动输入之间的物理分离并且因此保持无菌性。因此，示例无菌适配器可以包括旨在与器械驱动器的驱动轴和器械上的驱动输入配合的一系列旋转输入和输出。连接至无菌适配器的由薄的柔性材料组成的无菌披盖(例如，透明或半透明塑料)被设计成覆盖资本设备，例如器械驱动器、机器人臂和推车(在基于推车的系统中)或台(在基于台的系统中)。使用该披盖将允许把资本设备安置在患者附近，同时仍然位于不需要消毒的区域(即，非无菌区)。在无菌披盖的另一侧，医疗器械可以在需要灭菌的区域(即无菌区)与患者对接。

D.医疗器械。

图13示出了具有配对器械驱动器的示例医疗器械。与被设计成用于与机器人系统一起使用的其他器械类似，医疗器械70包括细长轴71(或细长本体)和器械基部72。由于其用于由医师进行的手动交互的预期设计而也被称为“器械手柄”的器械基部72通常可以包括诸如插口、滑轮或卷轴的可旋转的驱动输入73，其被设计成与延伸通过机器人臂76的远端处的器械驱动器75上的驱动接口的驱动输出74配合。当被物理连接、闩锁和/或耦接时，器械基部72的经配合的驱动输入73可以与器械驱动器75中的驱动输出74共享旋转轴线，以允许扭矩从驱动输出74传递到驱动输入73。在一些实施方式中，驱动输出74可以包括花键，其被设计成与驱动输入73上的插口配合。

细长轴71被设计成通过解剖结构开口或内腔(例如，在内窥镜检查中)或通过微创切口(例如，在腹腔镜检查中)被递送。细长轴66可以是柔性的(例如，具有类似于内窥镜的特性)或刚性的(例如，具有类似于腹腔镜的特性)，或者包含柔性部分和刚性部分两者的定制组合。当被设计成用于腹腔镜检查时，刚性细长轴的远端可以连接至端部执行器，该端部执行器包括由具有旋转轴的U形夹形成的关节腕和手术工具(例如，抓握器或剪刀)，当驱动输入响应于从器械驱动器75的驱动输出74接收到的扭矩而旋转时，该端部执行器可以基于来自腱部的力被致动。当被设计成用于内窥镜检查时，柔性细长轴的远端可以包括可操纵或可控制的弯曲部分，该弯曲部分可以基于从器械驱动器75的驱动输出74接收到的扭矩而被接合和弯曲。

使用轴71内的腱部沿着细长轴71传递来自器械驱动器75的扭矩。这些单独的腱部(例如，牵引线)可以单独地锚定至器械手柄72内的单独的驱动输入73。从手柄72沿着细长轴71内的一个或更多个牵引内腔引导腱部并且将其锚定在细长轴71的远侧部分处。在腹腔镜检查中，这些腱部可以耦接至远侧安装的端部执行器，例如腕部、抓握器或剪刀。在这样的布置下，施加在驱动输入73上的扭矩将张力传递到腱部，从而使端部执行器以某种方式致动。在腹腔镜检查中，腱部可以使关节绕轴旋转，从而使端部执行器沿一个方向或另一方向移动。替选地，腱部可以连接至细长轴71的远端处的抓握器的一个或更多个爪部(jaw)，其中来自腱部的张力使抓握器闭合。

在内窥镜检查中，腱部可以经由粘合剂、控制环或其他机械固定件而耦接至沿着细长轴71安置(例如，在远端处)的弯曲或接合区段。当固定地附接至弯曲区段的远端时，施加在驱动输入73上的扭矩将沿着腱部被传递，从而使较软的弯曲区段(有时称为可接合区段或区域)弯曲或接合。沿着非弯曲区段，有利的会是使沿着内窥镜轴的壁(或在内窥镜轴的壁的内部)引导单独的腱部的单独的牵引内腔螺旋或盘旋，以平衡由牵引线中的张力引起的径向力。为了特定目的，可以改变或设计其间的间隔和/或螺旋的角度，其中较紧的螺旋在负载力下呈现较小的轴压缩，而较小的螺旋量在负载力下引起较大的轴压缩，但也呈现限制弯曲。另一方面，牵引内腔可以被取向成平行于细长轴71的纵向轴线以允许在期望的弯曲或可接合区段中的受控接合。

在内窥镜检查中，细长轴71容置有多个部件以辅助机器人过程。轴可以包括用于将手术工具、冲洗和/或抽吸部署到轴71的远端处的手术区域的工作通道。轴71还可以容纳线和/或光纤以向远侧末端处的光学组件/从远侧末端处的光学组件传递信号，其中光学组件可以包括光学摄像装置。轴71也可以容纳光纤，以将光从位于近端的光源(例如，发光二极管)传送到轴的远端。

在器械70的远端处，远侧末端还可以包括用于将用于诊断和/或治疗、冲洗和抽吸的工具递送至手术部位的工作通道的开口。远侧末端还可以包括用于捕获内部解剖空间的图像的诸如纤维镜或数字摄像装置的摄像装置的端口。相关地，远侧末端还可以包括用于在使用摄像装置时照亮解剖空间的光源的端口。

在图13的示例中，驱动轴轴线以及因此驱动输入轴线与细长轴的轴线正交。然而，该布置使细长轴71的滚动能力复杂化。当腱部延伸离开驱动输入73并且进入到细长轴71内的牵引内腔时，在保持驱动输入73静止的同时使细长轴71沿着其轴线滚动会引起腱部的不期望的缠结。腱部的这样的作为结果的缠结可能破坏旨在预测柔性细长轴在内窥镜检查过程期间的移动的任何控制算法。

图14示出了器械驱动器和器械的替选设计，其中驱动单元的轴线平行于器械的细长轴的轴线。如所示出的，圆形器械驱动器80包括四个驱动单元，其驱动输出81在机器人臂82的端部处平行对准。驱动单元和它们各自的驱动输出81容置在由组件83内的驱动单元中的一个驱动的器械驱动器80的旋转组件83中。响应于由旋转驱动单元提供的扭矩，旋转组件83沿着圆形轴承旋转，该圆形轴承将旋转组件83连接至器械驱动器的非旋转部分84。可以通过电接触将电力和控制信号从器械驱动器80的非旋转部分84传送至旋转组件83，电接触可以通过电刷滑环连接(未示出)的旋转来维持。在其他实施方式中，旋转组件83可以响应于集成到非旋转部分84中的单独的驱动单元，并且因此不平行于其他驱动单元。旋转机构83允许器械驱动器80使驱动单元及其相应驱动输出81作为单个单元绕器械驱动器轴线85旋转。

与较早公开的实施方式类似，器械86可以包括细长轴部分88和器械基部87(出于讨论的目的，以透明外表示出)，该器械基部87包括被配置成接纳器械驱动器80中的驱动输出81的多个驱动输入89(例如，插口、滑轮和卷轴)。与先前公开的实施方式不同，器械轴88从器械基部87的中心延伸，其中轴线基本上平行于驱动输入89的轴线，而不是如图13的设计中那样正交。

当耦接至器械驱动器80的旋转组件83时，包括器械基部87和器械轴88的医疗器械86与旋转组件83结合绕器械驱动器轴线85旋转。由于器械轴88被安置在器械基部87的中心，因此器械轴88在被附接时与器械驱动器轴线85共轴。因此，旋转组件83的旋转使器械轴88绕其自身的纵向轴线旋转。此外，当器械基部87与器械轴88一起旋转时，连接至器械基部87中的驱动输入89的任何腱部在旋转期间都不会缠结。因此，驱动输出81、驱动输入89和器械轴88的轴线的平行允许在不使任何控制腱部缠结的情况下进行轴旋转。

E.导航和控制。

传统的内窥镜检查可以涉及使用荧光透视检查(例如，如可以通过C形臂递送)和其他形式的基于辐射的成像模态，以向操作医师提供腔内引导。相比之下，本公开内容所设想的机器人系统可以提供基于非辐射的导航和定位手段，以减少医师暴露于辐射并且减少手术室内的设备的数量。如本文所使用的，术语“定位”可以指确定和/或监测对象在参考坐标系中的位置。诸如手术前映射、计算机视觉、实时EM跟踪和机器人命令数据的技术可以单独地或组合地使用以实现无辐射操作环境。在仍使用基于辐射的成像模态的其他情况下，可以单独地或组合地使用手术前映射、计算机视觉、实时EM跟踪和机器人命令数据，以改进仅通过基于辐射的成像模态获得的信息。

图15是示出根据示例实施方式的估计机器人系统的一个或更多个元件的定位(例如，器械的定位)的定位系统90的框图。定位系统90可以是被配置成执行一个或更多个指令的一个或更多个计算机装置的集合。计算机装置可以由以上讨论的一个或更多个部件中的一个或更多个处理器和计算机可读存储器来实现。作为示例而非限制，计算机装置可以在图1所示的塔30、图1至图4所示的推车、图5至图10所示的床等中。

如图15所示，定位系统90可以包括定位模块95，其处理输入数据91至94以生成用于医疗器械的远侧末端的定位数据96。定位数据96可以是表示器械的远端相对于参考系的定位和/或取向的数据或逻辑。参考系可以是相对于患者的解剖结构或相对于已知对象——例如EM场生成器(参见下文关于EM场生成器的讨论)——的参考系。

现在更详细地描述各种输入数据91至94。手术前映射可以通过使用低剂量CT扫描的集合来完成。手术前CT扫描生成二维图像，每个二维图像表示患者的内部解剖结构的剖面图的“切片”。当整体上分析时，可以生成用于患者的解剖结构(例如，患者肺网络)的解剖腔、空间和结构的基于图像的模型。可以根据CT图像确定和近似诸如中心线几何结构的技术，以形成患者的解剖结构的三维体积，该三维体积被称为手术前模型数据91。中心线几何结构的使用在美国专利申请第14/523,760号中进行了讨论，该美国专利申请的全部内容并入本文中。网络拓扑模型也可以根据CT图像来得出，并且特别适合于支气管镜检查。

在一些实施方式中，器械可以配备有摄像装置以提供视觉数据92。定位模块95可以处理视觉数据以实现一个或更多个基于视觉的定位跟踪。例如，可以将手术前模型数据与视觉数据92结合使用，以实现对医疗器械(例如，内窥镜或通过内窥镜的工作通道前进的器械)的基于计算机视觉的跟踪。例如，使用手术前模型数据91，机器人系统可以基于内窥镜的预期行进路径根据模型生成预期内窥镜图像的库，每个图像链接至模型内的定位。在手术中，机器人系统可以参考该库，以将在摄像装置(例如，在内窥镜远端处的摄像装置)处捕获的实时图像与图像库中的图像进行比较，以辅助定位。

其他基于计算机视觉的跟踪技术使用特征跟踪来确定摄像装置的运动，并且因此确定内窥镜的运动。定位模块95的一些特征可以识别手术前模型数据91中的与解剖内腔对应的圆形几何结构并且跟踪那些几何结构的变化以确定选择了哪个解剖内腔，以及摄像装置的相对旋转和/或平移运动。拓扑图的使用可以进一步增强基于视觉的算法或技术。

光流——另一基于计算机视觉的技术——可以分析视觉数据92中的视频序列中的图像像素的位移和平移以推断摄像装置移动。通过利用多次迭代对多个帧的比较，可以确定摄像装置(并且因此内窥镜)的移动和定位。

定位模块95可以使用实时EM跟踪来生成内窥镜在全局坐标系中的实时定位，其中全局坐标系可以被配准到由手术前模型表示的患者的解剖结构。在EM跟踪中，包括以一个或更多个定位和取向嵌入在医疗器械(例如，内窥镜工具)中的一个或更多个传感器线圈的EM传感器(或跟踪器)测量由安置在已知定位处的一个或更多个静态EM场生成器产生的EM场的变化。由EM传感器检测的定位信息被存储为EM数据93。EM场生成器(或发送器)可以靠近患者放置，以产生嵌入式传感器可以检测到的低强度磁场。磁场在EM传感器的传感器线圈中感应出小电流，可以对该小电流进行分析以确定EM传感器与EM场生成器之间的距离和角度。这些距离和取向可以在手术中被“配准”到患者解剖结构(例如，手术前模型)，以确定将坐标系中的单个定位与患者的解剖结构的手术前模型中的位置对准的几何变换。一旦经配准，在医疗器械的一个或更多个位置(例如，内窥镜的远侧末端)的嵌入式EM跟踪器可以提供医疗器械通过患者的解剖结构的前进的实时指示。

定位模块95也可以使用机器人命令和运动学数据94来提供用于机器人系统的定位数据96。可以在手术前校准期间确定由接合命令引起的装置俯仰和偏航。在手术中，可以将这些校准测量与已知的插入深度信息结合使用，以估计器械的位置。替选地，可以结合EM、视觉和/或拓扑建模对这些计算进行分析，以估计医疗器械在网络内的位置。

如图15所示，定位模块95可以使用若干其他输入数据。例如，尽管在图15中未示出，但是利用形状感测光纤的器械可以提供形状数据，定位模块95可以使用该形状数据来确定器械的定位和形状。

定位模块95可以组合地使用输入数据91至94。在一些情况下，这样的组合可以使用概率方法，其中定位模块95向根据输入数据91至94中的每一个确定的定位分配置信度权重。因此，在EM数据可能不可靠(在存在EM干扰的情况下即是这样的)的情况下，通过EM数据93确定的定位的置信度可能降低，并且定位模块95可能更大程度上依赖于视觉数据92以及/或者机器人命令和运动学数据94。

如以上所讨论的，本文讨论的机器人系统可以被设计成结合以上技术中的一个或更多个的组合。位于塔、床和/或推车中的机器人系统的基于计算机的控制系统可以将计算机程序指令例如存储在诸如永久性磁存储驱动器、固态驱动器等的非暂态计算机可读存储介质内，其中计算机程序指令在被执行时使系统接收并且分析传感器数据和用户命令，生成整个系统的控制信号，以及显示导航和定位数据，例如器械在全局坐标系、解剖图等内的位置。

2.自动初始化导航系统介绍

本公开内容的实施方式涉及通过生成和使用来自内窥镜图像的深度信息以确定初始内窥镜位置、通过分析多个导航相关数据源以增加医疗器械在内腔网络内的定位和取向的估计准确度、以及通过生成和使用附加深度信息以在不良事件之后重新初始化导航系统，来促进医疗器械通过诸如肺气道或具有内部开放空间的其他解剖结构的内腔网络的导航的系统和技术。

支气管镜可以包括允许医师检查患者的气管和气道的小型摄像装置以及光源。如果支气管镜在患者气道内的精确定位是未知的，则可能发生患者创伤。为了确定支气管镜的定位，基于图像的支气管镜检查引导系统可以使用来自支气管镜摄像装置的数据在患者气道的分叉处执行局部配准(local registration)(例如，内腔网络内的特定定位处的配准)，并且因此可以有利地更不易受由于患者呼吸运动引起的位置误差的影响。然而，由于基于图像的引导方法依赖于支气管镜视频，因此基于图像的引导方法可能受到由患者咳嗽或黏液阻碍等引起的支气管镜视频中的伪影(artifacts)的影响。

电磁导航引导的支气管镜检查(EMN支气管镜检查)是一种实现EM技术以定位和引导内窥镜工具或导管通过肺的支气管通路的支气管镜检查过程。EMN支气管镜检查系统可以使用EM场生成器，EM场生成器发射低强度、变化的EM场并且建立患者内腔网络周围的跟踪体积(tracking volume)的位置。EM场是由带电对象产生的物理场，其影响场附近的带电对象的行为。附接至位于所生成的场内的对象的EM传感器可以用于跟踪这些对象在EM场内的定位和取向。通过变化的电磁场在EM传感器中感应出小电流。这些电信号的特性取决于传感器与EM场生成器之间的距离和角度。因此，EMN支气管镜检查系统可以包括：EM场生成器；可操纵医疗器械，在可操纵医疗器械的远侧末端处或附近具有EM传感器；以及引导计算系统。EM场生成器在患者的要被导航的内腔网络例如气道、胃肠道或循环通路周围生成EM场。可操纵通道被插入穿过支气管镜的工作通道并且经由EM传感器在EM场中被跟踪。

在开始EMN支气管镜检查过程之前，可以例如从手术前CT胸部扫描获得针对患者的特定气道结构的虚拟三维(3D)支气管图。使用该图和EMN支气管镜检查系统，医师可以导航到肺内的期望定位以进行活检病变、分期淋巴结、插入标记以引导放射治疗或引导近距离放射治疗导管。例如，可以在过程开始时执行配准，以生成EM场的坐标系与模型坐标系之间的映射。因此，当在支气管镜检查期间跟踪可操纵通道时，基于来自EM传感器的位置数据，可操纵通道在模型坐标系中的位置名义上已知。

如本文中所使用的，坐标系是特定感测模态的参考系。例如，对于EM数据，EM坐标系是由EM场的源(例如，场生成器)限定的参考系。对于CT图像和分段3D模型，该参考系基于由扫描仪限定的参考系。本导航系统解决了将这些不同数据源(其在它们自己的参考系中)表示(配准)到3D模型(即，CT参考系)的导航问题，例如以显示器械在模型内部的定位。

因此，如下面更详细描述的，所公开的内腔网络导航系统和技术可以组合来自基于图像的导航系统、机器人系统和EM导航系统的输入以及来自其他患者传感器的输入，以减轻导航问题并且实现更有效的内窥镜检查过程。例如，导航融合框架可以分析从器械摄像装置接收到的图像信息、来自器械末端上的EM传感器的位置信息以及来自引导器械移动的机器人系统的机器人位置信息。基于该分析，导航融合框架可以使器械位置估计和/或导航决定基于这些类型的导航数据中的一个或更多个。导航融合框架的一些实现方式可以进一步确定相对于内腔网络的3D模型的器械位置。在一些实施方式中，用于经由导航融合系统初始化跟踪的初始器械位置可以基于如本文所述的深度信息来生成。

所公开的系统和技术可以为支气管镜检查引导系统和包括用于内腔网络导航的其他类型的内窥镜过程的其他应用提供优势。在解剖学中，“内腔”可以指器官的内部开放空间或腔，如气道、血管、肾脏、心脏、肠或正在其中执行医疗过程的任何其他合适的器官。如本文中所使用的，“内腔网络”是指具有通向靶组织部位的至少一个内腔的解剖结构，例如，肺的气道、循环系统、肾盏和胃肠道系统。因此，尽管本公开内容提供了与支气管镜检查有关的导航系统的示例，但是应当理解，所公开的位置估计方面适用于对患者的内腔网络进行导航的其他医疗系统。因此，所公开的系统和技术可以与支气管镜、输尿管镜、胃肠内窥镜和其它合适的医疗器械一起使用。

3.示例导航系统的概述

图16A示出了实现所公开的导航系统和技术的一个或更多个方面的示例操作环境100。操作环境100包括患者101、支承患者101的平台102、引导内窥镜115的移动的医疗机器人系统110、用于控制医疗机器人系统110的操作的命令中心105、EM控制器135、EM场生成器120以及EM传感器125、130。图16A还示出了患者101内的内腔网络140的区域的轮廓，该内腔网络140在图16B中被更详细地示出。

医疗机器人系统110可以包括用于安置和引导内窥镜115通过患者101的内腔网络140的移动的一个或更多个机器人臂。命令中心105可以通信地耦接至医疗机器人系统110以用于接收位置数据和/或提供来自用户的控制信号。如本文中所使用的，“通信地耦接”是指任何有线数据传送介质和/或无线数据传送介质，包括但不限于无线广域网(WWAN)(例如，一个或更多个蜂窝网络)、无线局域网(WLAN)(例如，配置用于诸如IEEE 802.11(Wi-Fi))、蓝牙、数据传送线缆等的一个或更多个标准。医疗机器人系统110可以是上面关于图1至图15描述的系统中的任一个。参照图16C更详细地讨论医疗机器人系统110的实施方式，并且参照图17更详细地讨论命令中心105。

内窥镜115可以是管状且柔性的手术器械，其插入患者的解剖结构中以捕获解剖结构(例如，身体组织)的图像，并且提供用于将其他医疗器械插入靶组织部位的工作通道。如上所述，内窥镜115可以是过程专用内窥镜，例如支气管镜、胃镜或输尿管镜，或者可以是腹腔镜或可操纵血管导管。内窥镜115可以在其远端处包括一个或更多个成像装置(例如，摄像装置或其他类型的光学传感器)。成像装置可以包括一个或更多个光学部件，例如光纤、光纤阵列、光敏基板和/或透镜。光学部件与内窥镜115的末端一起移动，使得内窥镜115的末端的移动引起由成像装置捕获的图像的视野的相应变化。内窥镜115的远端可以设置有用于跟踪远端在内腔网络140周围生成的EM场内的位置的一个或更多个EM传感器125。在下面进一步参照图18描述内窥镜115的远端。

EM控制器135可以控制EM场生成器120以产生变化的EM场。取决于实施方式，EM场可以是随时间变化的和/或随空间变化的。在一些实施方式中，EM场生成器120可以是EM场生成板。所公开的患者导航系统的一些实施方式可以使用位于患者与支承患者的平台102之间的EM场生成器板，并且EM场生成器板可以包括薄屏蔽件，该薄屏蔽件使由位于其下方的导电或磁性材料引起的任何跟踪失真最小化。在其他实施方式中，EM场生成器板可以安装在例如与医疗机器人系统110中所示的机器人臂类似的机器人臂上，这可以在患者周围提供灵活的设置选项。

并入命令中心105、医疗机器人系统110和/或EM控制器135中的EM空间测量系统可以确定嵌入或设置有例如EM传感器125、130的EM传感器线圈的对象在EM场内的定位。当EM传感器被放置在如本文中所描述的受控的变化EM场内时，在传感器线圈中感应出电压。EM空间测量系统可以使用这些感应电压来计算EM传感器的位置和取向，从而计算具有EM传感器的对象的位置和取向。由于磁场具有低场强并且可以安全地穿过人体组织，因此可以在没有光学空间测量系统的视线限制的情况下进行对象的定位测量。

EM传感器125可以耦接至内窥镜115的远端，以跟踪其在EM场内的定位。EM场相对于EM场生成器是静止的，并且内腔网络的3D模型的坐标系可以被映射到EM场的坐标系。可以在患者的身体表面上(例如，在内腔网络140的区域中)设置若干附加的EM传感器130，以便例如通过实现对包括由呼吸引起的位移的患者移动的补偿来帮助跟踪EM传感器125的定位。许多不同的EM传感器130可以在身体表面上间隔开。

图16B示出了可以在图16A的操作环境100中被导航的示例内腔网络140。内腔网络140包括患者的气道150的分支结构、通向主隆突156(在支气管镜检查导航期间遇到的第一分叉)的气管154、以及可以如本文所述接近以便进行诊断和/或治疗的结节(或病变)155。如所示的，结节155位于气道150的外周处。内窥镜115具有第一直径，并且因此内窥镜115的远端不能被安置穿过结节155周围的较小直径气道。因此，可操纵导管155从内窥镜115的工作通道向结节155延伸剩余距离。可操纵导管145可以具有如下内腔，例如活检针、细胞刷和/或组织取样钳的器械可以通过该内腔被传递到结节155的靶组织部位。在这样的实现方式中，内窥镜115的远端和可操纵导管145的远端都可以设置有用于跟踪它们在气道150内的位置的EM传感器。在其他实施方式中，内窥镜115的总直径可以足够小以在没有可操纵导管155的情况下到达所述外周，或者可以足够小以接近所述外周(例如，在2.5cm至3cm内)以通过非可操纵导管来部署医疗器械。通过内窥镜115部署的医疗器械可以配备有EM传感器，并且当这样的医疗器械被部署超过内窥镜115的远侧末端时，下面描述的位置估计技术可以应用于这样的医疗器械。

在一些实施方式中，如本文中所描述的3D内腔网络模型的二维(2D)显示或者3D模型的截面可以类似于图16B。估计的位置信息可以覆盖到这样的表示上。

图16C示出了用于引导器械移动通过图16B的内腔网络140的医疗机器人系统110的示例机器人臂175。在一些实施方式中机器人臂175可以是以上描述的机器人臂12、39，并且耦接至基部180，在各种实施方式中，该基部180可以是推车基部15、患者平台38的柱37或基于天花板的安装件。如上所述，机器人臂175包括在关节165处耦接的多个臂段170，关节165为机器人臂175提供多个自由度。

机器人臂175可以使用机构变换器接口(MCI)160耦接至器械驱动器190，例如上述的器械驱动器62。器械驱动器190可以被移除并且用不同类型的器械驱动器——例如，被配置成操纵内窥镜的第一类型的器械驱动器或被配置成操纵腹腔镜的第二类型的器械驱动器——替换。MCI 160包括用于将气动压力、电力、电信号和光信号从机器人臂175传送至器械驱动器190的连接器。MCI 160可以是固定螺钉或底板连接器。器械驱动器190使用包括直接驱动、谐波驱动、齿轮传动、皮带轮和磁驱动等的技术来操纵诸如内窥镜115的手术器械。MCI 160能够基于器械驱动器190的类型互换并且可以针对特定类型的手术过程进行定制。机器人臂175可以包括关节级扭矩感测和处于远端处的腕部。

医疗机器人系统110的机器人臂175可以使用如上所述的腱部来操纵内窥镜115，以使内窥镜115的末端偏斜。内窥镜115可以响应于由细长移动构件施加的力而呈现非线性行为。非线性行为可以基于内窥镜115的刚度和压缩性，以及不同细长移动构件之间的松弛或刚度的可变性。

基部180可以被安置成使得机器人臂175可以接近以执行或辅助对患者的手术过程，同时诸如医师的用户可以根据命令控制台的舒适性来控制医疗机器人系统110。基部180可以通信地耦接至图16A中所示的命令控制台105。

基部180可以包括电源182、气动压力186以及控制和传感器电子设备184——包括诸如中央处理单元、数据总线、控制电路和存储器的部件——以及诸如用于移动机器人臂175的马达的相关致动器。电子设备184可以实现本文所描述的导航控制技术。基部180中的电子设备184还可以处理和传输从命令控制台传送的控制信号。在一些实施方式中，基部180包括用于运输医疗机器人系统110的轮188以及用于轮188的轮锁/制动器(未示出)。医疗机器人系统110的移动性有助于适应手术操作室中的空间限制以及促进手术设备的适当安置和移动。此外，移动性允许机器人臂175被配置成使得机器人臂175不会干扰患者、医师、麻醉师或任何其他设备。在过程期间，用户可以使用控制装置例如命令控制台来控制机器人臂175。

图17示出了可以例如用作示例操作环境100中的命令控制台105的示例命令控制台200。命令控制台200包括控制台基部201、显示模块202例如监视器、以及控制模块例如键盘203和操纵杆204。在一些实施方式中，命令控制台200功能中的一个或更多个可以被集成至医疗机器人系统110的基部180中或者集成到通信地耦接至医疗机器人系统110的另一系统中。用户205例如医师使用命令控制台200从符合人体工程学的位置远程控制医疗机器人系统110。

控制台基部201可以包括中央处理单元、存储器单元、数据总线和相关联的数据通信端口，其负责解释和处理诸如摄像装置图像的信号以及跟踪例如来自图16A至图16C所示的内窥镜115的传感器数据。在一些实施方式中，控制台基部201和基部180两者都执行信号处理以获得负载平衡。控制台基部201还可以处理由用户205通过控制模块203和204提供的命令和指令。除了图17所示的键盘203和操纵杆204以外，控制模块还可以包括其他装置，例如，计算机鼠标、轨迹板、轨迹球、控制板、诸如手持式远程控制器的控制器以及捕获手部姿势和手指姿势的传感器(例如，运动传感器或摄像装置)。控制器可以包括映射到器械的操作(例如，接合、驱动、水冲洗等)的一组用户输入(例如，按钮、操纵杆、指向垫等)。

用户205可以使用命令控制台200以速度模式或位置控制模式控制诸如内窥镜115的手术器械。在速度模式下，用户205基于使用控制模块的直接手动控制来直接控制内窥镜115的远端的俯仰和偏航运动。例如，操纵杆204上的移动可以被映射至内窥镜115的远端的偏航和俯仰移动。操纵杆204可以向用户205提供触觉反馈。例如，操纵杆204可以振动以指示内窥镜115不能沿某个方向进一步平移或旋转。命令控制台200还可以提供视觉反馈(例如，弹出消息)和/或音频反馈(例如，蜂鸣声)以指示内窥镜115已经达到最大平移或旋转。

在位置控制模式下，命令控制台200使用如本文中所描述的患者内腔网络的3D图和来自导航传感器的输入来控制手术器械，例如内窥镜115。命令控制台200向医疗机器人系统110的机器人臂175提供控制信号以将内窥镜115操纵至靶位置。由于依赖于3D图，因此位置控制模式可能需要患者的解剖结构的准确映射。

在一些实施方式中，用户205可以在不使用命令控制台200的情况下手动操纵医疗机器人系统110的机器人臂175。在外科手术室中的设置期间，用户205可以移动机器人臂175、内窥镜115(或多个内窥镜)和其他外科设备以接近患者。医疗机器人系统110可以依赖于来自用户205的惯性控制和力反馈来确定机器人臂175和设备的适当配置。

显示器202可以包括电子监视器(例如，LCD显示器、LED显示器，触敏显示器)、诸如护目镜或眼镜的虚拟现实观察装置和/或其他显示装置。在一些实施方式中，显示模块202与控制模块集成，例如集成为具有触摸屏的平板装置。在一些实施方式中，显示器202中的一个可以显示患者的内腔网络的3D模型和虚拟导航信息(例如，基于EM传感器位置的内窥镜的端部在模型内的虚拟表示)，而显示器202中的另一个可以显示从内窥镜115的端部处的摄像装置或另一感测装置接收到的图像信息。在一些实现方式中，用户205既可以使用集成显示器202和控制模块查看数据和向医疗机器人系统110输入命令。显示器202可以使用例如护目罩或者护目镜的立体装置显示3D图像和/或显示3D图像的2D渲染。3D图像提供“内视图”(即，内窥镜视图)，“内视图”是示出患者的解剖结构的计算机3D模型。“内视图”提供患者内部的虚拟环境和内窥镜115在患者体内的预期定位。用户205将“内视图”模型与由摄像装置捕获的实际图像进行比较，以帮助在心理上定向和确认内窥镜115处于患者体内的正确——或近似正确——的定位。“内视图”提供与内窥镜115的远端周围的解剖结构——如患者的气道、循环血管、或者肠或结肠的形状——有关的信息。显示模块202可以同时显示内窥镜115的远端周围的解剖结构的CT扫描和3D模型。此外，显示模块202可以将内窥镜115的已经确定的导航路径叠置在3D模型和/或CT扫描上。

在一些实施方式中，内窥镜115的模型与3D模型一起被显示以帮助指示手术过程的状态。例如，CT扫描标识解剖结构中的可能需要活检的病变。在操作期间，显示模块202可以示出由内窥镜115捕获的与内窥镜115的当前定位相对应的参考图像。显示模块202可以根据用户设置和特定手术过程来自动显示内窥镜115的模型的不同视图。例如，显示模块202在导航步骤期间随着内窥镜115接近患者的手术区域示出内窥镜115的俯视荧光透视视图。

图18示出了如本文所描述的具有成像和EM感测能力的示例内窥镜(例如图16A至图16C的内窥镜115)的远端300。在图18中，内窥镜的远端300包括成像装置315、照明源310和EM传感器线圈305的端部。远端300还包括通向内窥镜的工作通道320的开口，外科器械例如活检针、细胞刷和镊子可以沿着内窥镜轴通过该开口被插入，从而允许接近内窥镜末端附近的区域。

照明源310提供光以照亮解剖空间的一部分。照明源可以是各自被配置成发射选定波长或波长范围的光的一个或更多个发光装置。波长可以是任何合适的波长，例如可见光谱光、红外光、X射线(例如用于荧光透视)，仅以这几个示例为例。在一些实施方式中，照明源310可以包括位于远端300处的发光二极管(LED)。在一些实施方式中，照明源310可以包括一个或更多个纤维光纤，其延伸通过内窥镜的长度以从通过远端300发送来自远程光源例如x射线生成器的光。在远端300包括多个照明源310的情况下，这些照明源310可以各自被配置成发射彼此相同或不同波长的光。

成像装置315可以包括被配置成将表示接收到的光的能量转换成电信号的任何光敏基板或结构，例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器。成像装置315的一些示例可以包括一个或更多个光纤，例如光纤束，其被配置成将表示图像的光从内窥镜的远端300传输到内窥镜的近端附近的目镜和/或图像传感器。成像装置315可以另外包括根据各种光学设计所需的一个或更多个透镜和/或波长通过或截止滤光器。从照明源310发射的光允许成像装置315捕获患者的内腔网络内部的图像。然后，可以将这些图像作为单独的帧或一系列相继帧(例如视频)传输到计算机系统例如命令控制台200，用于进行如本文所描述的处理。

位于远端300上的电磁线圈305可以与电磁跟踪系统一起使用，以在内窥镜的远端300被设置在解剖系统内时检测内窥镜的远端300的位置和取向。在一些实施方式中，线圈305可以成角度以提供对沿不同轴电磁场的灵敏度，从而赋予所公开的导航系统测量如下完整的6个自由度的能力：三个位置自由度和三个角度自由度。在其他实施方式中，可以将仅单个线圈设置在远端300上或设置在远端300内，其中单个线圈的轴线沿着内窥镜的内窥镜轴定向。由于这种系统的旋转对称性，其对绕其轴线滚动不敏感，因此在这种实现方式中仅可以检测到5个自由度。

图19示出了如本文所描述的示例导航融合系统400的示意性框图。如下面更详细描述的，使用系统400，来自多个不同源的数据在手术过程期间被组合并且被重复分析，以提供手术器械(例如内窥镜)在患者的内腔网络内的实时移动信息和定位/取向信息的估计并且做出导航决定。

导航融合系统400包括多个数据存储库，其包括深度特征数据存储库405、内窥镜EM传感器数据存储库415、配准数据存储库475、模型数据存储库425、内窥镜成像数据存储库480、导航路径数据存储库445和机器人位置数据存储库470。尽管为了在下面的讨论中清楚起见在图19中被分开示出，但是将理解的是，一些或所有数据存储库可以一起存储在单个存储器或一组存储器中。系统400还包括多个处理模块，其包括配准计算器465、基于深度的位置估计器410、定位计算器430、图像分析器435、状态估计器440和导航控制器460。每个模块可以表示存储器中存储的一组计算机可读指令，以及由指令配置以用于一起执行下面描述的特征的一个或更多个处理器。导航融合系统400可以被实现为例如上述控制和传感器电子设备184和/或控制台基部201中的一个或更多个数据存储装置和一个或更多个硬件处理器。在一些实现方式中，导航融合系统400可以是定位系统90的实施方式。

图19还示出了与导航融合系统400通信的建模系统420。如下面更详细描述的，使用建模系统420，可以分析表示患者的解剖内腔网络的多个图像的数据以建立解剖内腔网络的虚拟表示的三维模型，并且可以使用该虚拟解剖内腔网络来建立深度特征数据存储库405。尽管是分开示出的，但是在一些实施方式中，建模系统420和导航融合系统400可以被组合到单个系统中。建模系统420包括多个处理模块，其包括模型生成器440和特征提取器450。尽管模型数据存储库425和深度特征数据存储库405被示出在导航融合系统400内，但是在一些实现方式中，这些数据存储库可以替选地或附加地位于建模系统420内。

模型生成器440是被配置成从医疗成像系统(未示出)接收数据的模块，医疗成像系统例如CT成像系统或磁共振成像系统。所接收的数据可以包括表示患者的解剖内腔网络的一系列二维图像。模型生成器440可以根据该一系列二维图像生成三维体积数据，并且可以根据该三维体积数据形成解剖内腔网络的内表面的虚拟三维模型。例如，模型生成器可以应用分割以识别数据中与解剖内腔网络的组织相对应的部分。这样，所得模型可以表示解剖内腔网络的组织的内表面。

模型数据存储库425是数据存储装置，其存储表示患者的内腔网络的模型——例如，由模型生成器440生成的模型——的数据。这样的模型可以提供关于内腔网络的结构和连通性的3D信息，在一些示例中，包括患者气道的形貌和/或直径。在屏住呼吸时执行患者肺的一些CT扫描，使得患者的气道在模型中扩展到其最大直径。

内窥镜成像数据存储库480是存储从内窥镜的远端处的摄像装置例如成像装置315接收的图像数据的数据存储装置。在各种实施方式中，图像数据可以是视频序列中的离散图像或一系列图像帧。

特征提取器450是被配置成从模型生成器440接收模型并且构建与模型内的多个不同定位相对应的深度特征的数据库的模块。例如，特征提取器450可以识别模型内的多个不同定位，在计算上将虚拟成像装置置于每个定位处，在每个定位处生成虚拟图像，并且然后根据虚拟图像得到指定特征。如本文所述的“虚拟成像装置”不是物理成像装置，而是图像捕获装置的计算模拟。该模拟可以基于虚拟成像装置参数生成虚拟图像，虚拟成像装置参数包括视场、镜头畸变、焦距和亮度阴影，虚拟成像装置参数反过来可以基于实际成像装置的参数。

每个生成的虚拟图像可以对应于虚拟深度图，该虚拟深度图表示虚拟成像装置的虚拟视场内的虚拟内腔网络的组织与虚拟成像装置的定位之间的距离。特征提取器450可以将虚拟成像装置参数与已经被识别用于在涉及患者的内腔网络的医疗过程中使用的实际成像装置的参数进行匹配。下面参照图20更详细地描述用于构建数据库的示例处理。

特征提取器450还可以从内窥镜成像数据存储库480接收数据，生成表示内窥镜成像装置与由图像的像素表示的成像组织之间的距离的深度图，并且根据生成的深度图得到特征。在一些实施方式中，特征提取器450可以使用照相测斜术(photoclinometry)(例如，通过阴影确定形状)处理来基于单个图像生成深度图。在一些实施方式中，特征提取器450可以使用描绘成像区域的立体图像集来生成深度图。

深度特征数据存储库405是存储根据由特征提取器450生成的深度图和/或虚拟深度图得到的特征的数据库的数据存储装置。特征可以基于内腔网络的性质和/或特征在导航过程期间的使用而变化。特征可以包括例如深度图内的局部极大值的位置(例如，表示沿着气道的分支可见的最远虚拟组织)、沿着围绕局部极大值的曲线峰值的位置、表示分开两个局部极大值的距离(例如，之间的像素的数目)的值、以及/或者连接多个局部极大值的线或多边形的大小、形状和取向。曲线峰值表示深度图中曲线峰值一侧的像素的深度值增加而曲线峰值另一侧的深度值减小的区域。曲线峰值可以包括局部最大值，在该局部最大值处与像素相关联的深度大于与像素任一侧的像素相关联的深度。针对每个识别定位，深度特征数据存储库405可以将特征和虚拟内腔网络内的相关联定位例如以以下形式{位置_n，特征值}存储为元组。作为示例，当定位涉及气道内的位置并且特征涉及两个识别的局部极大值之间的距离时，元组可以被生成为{位置_n(气道段，气道段内的深度)，特征值(距离)}。这样，可以快速地在与从导航的解剖内腔网络的图像实时提取的特征相比的情况下编程地评估数据库中的提取的特征，并且可以快速地查明对应于识别的最佳或高度特征匹配的定位。

基于深度的位置估计器410是被配置成将从解剖内腔网络的图像实时提取的一个或更多个特征与从虚拟图像提取的一个或更多个预先计算的特征进行比较的模块。基于深度的位置估计器410可以扫描深度特征数据存储库405以寻找虚拟特征与从实际图像提取的特征的匹配，并且可以使用与该匹配对应的定位作为器械(例如，内窥镜)在解剖内腔网络内的位置。匹配可以是精确匹配、深度特征数据存储库405中的可用特征之中的最佳匹配、在与所提取的特征的阈值差异内的匹配。基于深度的位置估计器410可以将该位置输出到状态估计器440，例如，用作器械位置的概率评估中的初始位置(“先验”)，或者用作其中器械的精确定位变得未知的不利事件(例如，咳嗽)发生之后的先验。基于深度的位置估计器410可以将该位置输出到配准计算器465，以用于生成模型与围绕患者设置的EM场之间的初始配准和/或更新的配准。

内窥镜EM传感器数据存储库415是存储从内窥镜的远端处的EM传感器得到的数据的数据存储装置。如上所述，这样的传感器可以包括EM传感器125和EM传感器线圈305，并且所得到的数据可以用于识别传感器在EM场内的位置和取向。与来自EM呼吸传感器的数据类似，内窥镜EM传感器的数据可以以(x，y，z，t_n)的形式被存储为元组，其中x、y和z表示在时间t_n处传感器在EM场中的坐标。一些实施方式还可以在EM传感器元组中包括器械的滚动、俯仰和偏航。内窥镜EM传感器数据存储库415可以存储用于每个基于内窥镜的传感器的对应于多个不同时间的多个这样的元组。

配准计算器465是可以识别3D模型的坐标系(例如用于生成模型的CT扫描仪的坐标系)与EM场的(例如EM场生成器120的)坐标系之间的配准或映射的模块。为了贯穿患者的解剖结构跟踪传感器，导航融合系统400可能需要称为“配准”的处理，通过该处理，配准计算器465找到在不同坐标系之间对准单个对象的几何变换。例如，患者身上的特定解剖部位可以具有以3D模型坐标进行的表示，并且还可以具有以EM传感器坐标进行的表示。为了计算初始配准，配准计算器465的一个实现方式可以如以下文献中描述地执行配准：2016年9月17日提交的题为“Navigation of Tubular Networks”的美国申请第15/268,238号，其公开内容据此通过引用并入本文。作为一种可能的配准技术的示例，当内窥镜插入患者的气道中时，例如当内窥镜到达各种分叉处时，配准计算器465可以在多个不同点处从内窥镜成像数据存储库480和EM传感器数据存储库415接收数据。图像数据可以用于例如经由自动特征分析识别内窥镜的远端何时到达分叉。当内窥镜被置于分叉处时，配准计算器465可以从内窥镜EM传感器数据存储库415接收数据并且识别内窥镜的远端处的EM传感器的定位。一些示例不仅可以使用分叉而且可以使用患者气道中的其他点，并且可以将这些点映射到气道的“骨架”模型中的对应点。配准计算器465可以使用将至少三个EM位置链接到模型中的点的数据，以便识别EM场与模型之间的几何变换。另一实施方式可以涉及手动配准，例如通过从患者气道的第一分叉并且从左肺和右肺中的另外两个分叉中取得至少3个，并且可以使用相应点来计算配准。用于执行几何变换的数据(也称为配准数据)可以作为配准数据存储在配准数据存储库475中。

在确定初始配准之后，配准计算器465可以基于所接收的数据更新其对配准变换的估计，以便增加变换准确度以及补偿导航系统的变化，例如由于患者的移动引起的变化。在一些方面，配准计算器465可以连续地、以限定的间隔和/或基于内窥镜(或其一个或更多个部件)在内腔网络中的位置更新对配准变换的估计。

配准数据存储库475是存储配准数据的数据存储装置，如刚才所讨论的，配准数据能够用于执行从EM场的坐标系到模型的坐标系的几何变换。在上面已经讨论，在一些实现方式中，配准数据可以由配准计算器465生成，并且可以被连续地或定期地更新。

定位计算器430是从模型数据存储库425、配准数据存储库475和观察镜位置估计器420接收数据以将EM传感器坐标转换成3D模型坐标的模块。如上所述，观察镜位置估计器420计算EM传感器相对于EM场生成器的位置的初始位置。该位置还对应于3D模型内的定位。为了将EM传感器的初始位置从EM坐标系转换到模型坐标系，定位计算器430可以访问如配准数据存储库475中存储的EM坐标系与模型坐标系之间的映射(例如配准数据)。为了将观察镜位置转换到3D模型坐标系，定位计算器430从模型数据存储库425接收表示3D模型的形貌的数据、从配准数据存储库475接收表示EM场与3D模型的坐标系之间的配准的数据、并且从观察镜位置估计器420接收观察镜在EM场中的位置，作为输入。一些实施方式还可以从状态估计器440接收先前估计的状态数据。基于接收到的数据，定位计算器430可以执行例如EM传感器位置数据到3D模型中的位置的即时变换。这可以表示对观察镜的远端在3D模型的形貌内的位置的初步估计，并且可以被设置为到状态估计器440的一个输入，用于生成对观察镜位置的最终估计，如下面更详细地描述的。

图像分析器435是从内窥镜成像数据存储库480和模型数据存储库425接收数据并且可以比较该数据以确定内窥镜定位的模块。例如，图像分析器435可以访问来自模型扫描的气道树的体积渲染或表面渲染的腔内图像，并且可以将渲染的图像与来自成像装置315的实时图像或视频帧进行比较。例如，图像可以被配准(例如使用鲍威尔优化(Powell’soptimization)、单纯形或梯度方法、具有归一化互相关或互信息作为成本的梯度下降算法)，并且然后可以使用归一化互信息和平方差误差的加权归一化和来比较从两个源获得的配准图像。来自扫描的2D图像与从内窥镜接收的2D图像之间的相似性可以指示内窥镜位于来自扫描的图像的定位附近。这样的基于图像的导航可以在患者气道的分叉处执行局部配准，并且因此与EM跟踪系统相比可以更不易受到由于患者呼吸运动引起的噪声的影响。然而，由于图像分析器435依赖于内窥镜视频，因此分析可能受到由患者咳嗽或黏液阻碍引起的图像中的伪影的影响。

在一些实施方式中，图像分析器435可以实现对象识别技术，通过该技术，图像分析器435可以检测图像数据的视野中存在的对象，例如分支开口、病变或颗粒。使用对象识别，图像分析器可以输出指示关于识别到何种对象以及表示为概率的对象的位置、取向和/或大小的信息的对象数据。作为一个示例，对象识别可以用于检测可以指示内腔网络中的分支点的对象并且然后确定它们的位置、大小和/或取向。在一个实施方式中，在内腔网络内的给定图像中，每个分支通常将显现为暗的、近似椭圆形的区域，并且这些区域可以由处理器使用区域检测算法例如最大稳定的极值区域(MSER)来自动检测为对象。图像分析器435可以使用与其他技术结合的光反射强度来识别气道。此外，图像分析器435还可以跨一组连续图像帧跟踪检测到的对象，以检测已经进入了内腔网络中的一组可能分支中的哪个分支。

机器人位置数据存储库470是存储从医疗机器人系统110接收的机器人位置数据——例如与医疗器械或医疗器械的一部分(例如器械末端或远端)医疗机器人系统110在内腔网络内的物理移动有关的数据——的数据存储装置。示例机器人位置数据可以包括：例如，指示器械末端到达特定解剖部位和/或改变其在内腔网络内的取向(例如，对于内窥镜器械的引导件和护套中的一者或两者，通过特定的俯仰、滚动、偏航、插入和缩回)的命令数据、表示医疗器械的一部分(例如器械末端或护套)的插入移动的插入数据、器械驱动器数据以及表示医疗器械的细长构件的机械移动的机械数据，例如驱动内窥镜在内腔网络内的实际移动的内窥镜的一个或更多个拉线、腱部或轴的运动。

导航路径数据存储库445是存储表示通过内腔网络去往靶组织部位的预先规划的导航路径的数据的数据存储装置。向患者身体的内腔网络中的特定点的导航可能需要在手术前采取某些步骤，以便生成创建管状网络的3D模型并且确定其内的导航路径所需的信息。如上所述，可以生成特定患者气道的形貌和结构的3D模型。可以选择靶，例如待活检的病变或待手术修复的器官组织的一部分。在一种实施方式中，用户能够通过与能够显示3D模型的计算机显示器接口连接(例如通过用鼠标点击或触摸触摸屏)来选择靶的定位。在一些实施方式中，可以通过分析模型和识别的病变部位以得到至病变的最短导航路径来以编程方式识别导航路径。在一些实施方式中，路径可以由医师识别，或者自动识别的路径可以由医师修改。导航路径可以识别内腔网络内的一系列分支以穿过以便到达所识别的靶。

状态估计器440是接收输入并执行输入的分析以确定医疗器械的状态的模块。例如，状态估计器440可以从基于深度的位置估计器410、定位计算器430、图像分析器435、导航路径数据存储库445和机器人位置数据存储库470接收数据作为输入。在考虑到提供的输入的情况下，状态估计器440可以实现概率分析以确定内腔网络内的医疗器械的状态和对应概率。估计状态可以指以下中的一个或更多个：(1)器械相对于内腔网络模型的坐标系的x、y、z位置；(2)器械是否位于模型的某个区域例如特定的气道分支中；(3)器械的俯仰、滚动、偏航、插入和/或缩回；以及(4)到靶的距离。状态估计器440可以提供作为时间的函数的器械(或器械的远侧末端)的估计状态。

在一些实施方式中，状态估计器440可以实现贝叶斯框架以确定状态和对应概率。贝叶斯统计分析从称为先验(prior)的信念(belief)开始，并且然后用观察到的数据更新该信念。先验表示对贝叶斯模型参数可能是什么的估计，并且可以表示为参数化分布。可以收集观察到的数据以获得关于参数的实际值的证据。贝叶斯分析的结果称为后验(posterior)，并且表示以置信度表示事件的概率分布。如果获得了另外的数据，则后验可以被视为先验并且利用新数据更新。该处理采用贝叶斯规则，贝叶斯规则指示条件概率，例如在事件B发生的情况下事件A发生的可能性有多大。

关于所公开的导航融合系统400，状态估计器440可以使用先前估计的状态数据作为先验，并且可以使用来自呼吸频率和/或呼吸期识别器410、观察镜位置估计器420、定位计算器430、图像分析器435、导航路径数据存储库445和/或机器人位置数据存储库470的输入作为观察到的数据。在过程的一开始，所描述的基于视觉的初始化技术可以用于估计气管中的初始深度和滚动，并且来自基于深度的位置估计器410的这个估计输出可以被用作先验。状态估计器440可以对先验和观察到的数据执行贝叶斯统计分析，以生成表示多个可能状态中的每个可能状态的概率和置信度值的后验分布。

如本文所使用的，“概率分布”中的“概率”是指对医疗器械的可能定位和/或取向的估计正确的可能性。例如，可以通过算法模块之一来计算不同概率，其指示医疗器械处于内腔网络内的若干不同可能分支之一的相对可能性。在一种实施方式中，选择概率分布的类型(例如，离散分布或连续分布)以匹配估计状态的特征(例如，估计状态的类型，例如连续位置信息与离散分支选择)。作为一个示例，用于针对三根分叉部识别医疗器械处于哪个段的估计状态可以由离散概率分布表示，并且可以包括如由算法模块之一确定的表示处于三个分支中的每个分支内的定位的可能性的三个离散值20％、30％和50％。作为另一示例，估计状态可以包括医疗器械的40±5度的滚动角，以及器械末端在分支内的段深度可以是4±1mm，每一者由作为一种类型的连续概率分布的高斯分布表示。

相比之下，本文所使用的“置信度值”反映了由图19的模块之一基于一个或更多个因素提供的对状态的估计的置信度的度量。对于基于EM的模块，诸如EM场失真、EM配准的不准确性、患者的移位或移动以及患者的呼吸等的因素可以影响状态估计的置信度。特别地，由基于EM的模块提供的状态估计的置信度值可以取决于患者的特定呼吸循环、患者或EM场生成器的移动、以及解剖结构内器械末端所在的定位。对于图像分析器435，可以影响状态估计的置信度值的示例因素包括：解剖结构内的捕获图像的定位的光照状况；遮挡捕获图像的光学传感器或在捕获图像的光学传感器的前方的流体、组织或其他障碍物的存在；患者的呼吸；患者自身(例如肺)的管状网络的状况，例如管状网络内的一般流体和管状网络的闭塞；以及在例如导航或图像捕获中使用的特定操作技术。

例如，一个因素可以是特定算法在患者的肺的不同深度处具有不同水平的准确度，使得在相对靠近气道开口的情况下，特定算法可以在其对医疗器械定位和定向的估计方面具有高置信度，但是医疗器械进一步行进进入到肺的底部中，置信度值可能下降。通常，置信度值基于与确定结果的处理相关的一个或更多个系统因素，而概率为当尝试利用单个算法基于基础数据根据多个可能性确定正确结果时出现的相对量度。

作为一个示例，用于计算由离散概率分布(例如，针对三根分叉部的具有所涉及的估计状态的三个值的分支/段识别)表示的估计状态的结果的数学等式可以如下：

S₁＝C_EM*P_1，EM+C_Image*P_1，Image+C_Robot*P_1，Robot；

S₂＝C_EM*P_2，EM+C_Image*P_2，Image+C_Robot*P_2，Robot；

S₃＝C_EM*P_3，EM+C_Image*P_3，Image+C_Robot*P_3，Robot；

在以上示例数学等式中，S_i(i＝1，2，3)表示在3D模型中识别或存在3个可能的段的情况下估计状态的可能的示例值，C_EM、C_Image和C_Robot表示与基于EM的算法、基于图像的算法和基于机器人的算法对应的置信度值，以及P_i，EM、P_i，Image和P_i，Robot表示段i的概率。由于这样的融合算法的概率性质，可以随时间跟踪呼吸，并且甚至预测呼吸以克服时延和异常值干扰。

在一些实施方式中，来自机器人位置数据470、定位计算器435和图像分析器435的数据的置信度值可以基于来自呼吸频率和/或呼吸期识别器410的呼吸期被自适应地确定。例如，机器人位置数据和图像数据与EM传感器数据受呼吸运动的影响可能不同。在一些实施方式中，从内窥镜成像数据存储库430获得的视觉数据可以用于检测经由内腔网络外部的传感器无法检测到的某些类型的呼吸运动，例如可以通过视觉处理检测到的气道在颅-尾(后-前)运动中的移动。

导航控制器460是从状态估计器440和导航路径数据存储库445接收数据并且使用该数据来引导医疗机器人系统110的进一步操作的模块。例如，导航控制器460可以沿着预定导航路径绘制估计状态，并且可以确定器械沿着导航路径前进的下一移动(例如，延伸/缩回距离、滚动、拉线或其他致动机构的致动)。在一些实施方式中，导航控制器460可以根据所确定的下一移动来自动地控制器械。在一些实施方式中，导航控制器460可以输出特定器械移动指令和/或器械驱动器操作指令，以便例如通过工作站200显示给用户。在一些实施方式中，导航控制器460可以使得显示在估计位置处3D模型的切片以及从观察镜成像数据存储库480接收的实时图像的并排视图，以有助于用户引导的导航。

4.示例导航技术的概述

根据本公开内容的一个或更多个方面，图20描绘了用于生成所提取的虚拟特征数据集的示例处理500的流程图。在一些实施方式中，处理500可以在手术前执行，即，在使用由处理500生成的模型和由处理500提取的特征的医疗过程开始之前执行。处理500可以在图19的建模系统420、图16C的控制和传感器电子设备184和/或图17的控制台基座201或其部件中实现。提供图20的流程图内的图形描绘以说明而非限制所描述的框，并且将理解，在处理500的过程期间可以生成和显示或可以不生成和不显示所描绘的模型515、深度图532、534以及相关联的特征的视觉表示。

在框510处，模型生成器440可以访问表示患者的解剖内腔网络的图像数据并生成三维模型515。例如，CT扫描或MRI扫描可以生成描绘解剖内腔网络的二维横截面的多个图像。模型生成器440可以分割这些二维图像以隔离或分割解剖内腔网络的组织，并且然后可以基于各种图像中的隔离的组织位置并且基于图像中描绘的横截面的空间关系来构建数据的三维点云。模型生成器440可以基于该三维点云来生成模型。三维模型可以将解剖内腔网络的内表面建模为虚拟内腔网络。例如，在一些实现方式中，模型515可以是从CT扫描生成的患者的气道的分割图。模型可以是患者的实际内腔网络(或内腔网络的一部分)的任何二维或三维表示。

在框520，特征提取器450可以识别模型515内的多个虚拟定位525。作为一个示例，特征提取器450可以识别表示患者气道的模型的气管区段内的多个定位，例如，一百二十个定位或者更多或更少的定位，这取决于导航系统400的参数。在其他示例中，特征提取器450可以识别气道模型的其他区段内的定位，例如，沿着通过气道模型的规划导航路径的定位、沿着规划导航路径和在规划导航路径的预定接近度内的分支的定位、或者遍及一些或所有气道区段的定位。

在框530处，特征提取器450可以生成与所识别的定位对应的多个虚拟深度图532、534。例如，特征提取器450可以使用所识别的定位来设置虚拟成像装置在虚拟解剖内腔网络内的定位，并且可以针对每个所识别的定位生成虚拟深度图532、534。所描绘的示例虚拟深度图532和虚拟深度图534描绘了与气道中的主隆突156的虚拟表示相关的相同深度信息的不同表示。虚拟深度图532的二维表示中的每个虚拟像素使用对应于其深度值的颜色来描绘，而虚拟深度图534的三维表示描绘了双峰形状，其中每个虚拟像素被示出为处于沿z轴的对应于其深度值的高度处。所描绘的虚拟深度图被提供以说明框530的概念，然而在处理500的一些实现方式中，可以不生成这样的视觉表示，因为处理500可以仅需要表示这样的深度图的数据以便导出如下所述的特征。

在一些实现方式中，在框530处，特征提取器450可以访问被识别为在其期间内腔网络将被导航的医疗过程期间使用的成像装置(例如，在内窥镜的远端处的成像装置315)的参数。特征提取器450可以设置虚拟成像装置的虚拟参数以匹配成像装置的参数。这样的参数可以包括视场、透镜畸变、焦距和亮度阴影，并且可以基于校准数据或通过测试成像装置而获得的数据。亮度阴影(也称为渐晕)是依赖于位置的由光学系统透射的光量的变化，其引起边缘附近的图像变暗。渐晕导致由透镜视场(FOV)外围附近的光学系统透射的光量减少，从而引起边缘处的图像逐渐变暗。在图像捕获之后，可以通过校准摄像装置的透镜衰减失真函数来校正渐晕。通过将虚拟参数与实际参数匹配，所得虚拟深度图532、534可以更紧密地对应于基于由成像装置捕获的图像而生成的实际深度图。

在框540处，特征提取器450分析虚拟深度图的值以便识别一个或更多个深度标准。深度标准可以是例如深度图内的局部极大值的位置(例如，表示沿着虚拟气道模型的分支可见的最远虚拟组织的像素)或者沿着围绕局部极大值的曲线峰值在距局部极大值的阈值距离内的任何位置。所描述的深度标准位置可以是虚拟深度图内的虚拟像素定位。

框540提供了作为局部极大值的示例深度标准522和544的视觉图示，其对应于虚拟左支气管和虚拟右支气管内的、由虚拟摄像装置可见的最远虚拟组织。作为一般规则，由于人的肺的典型形状，位于主隆突附近的摄像装置或虚拟摄像装置将能够看到右支气管中要比左支气管中更远。因此，深度标准544对应于右支气管内的最远描绘的虚拟组织，因为其具有比深度标准542更大的值，并且深度标准542对应于左支气管内的最远描绘的虚拟组织。这样的信息可以有助于识别如本文所述的滚动。

在框550处，特征提取器450从所识别的深度标准导出预先识别的虚拟特征。例如，如图所示，特征提取器450可以识别分隔深度标准542、544的距离555的值。距离值可以被表示为与二维深度图532对应的(x，y)空间中的像素的数量或者与三维深度图544对应的(x，y，z)向量。特征提取器450可以附加地或替选地导出右支气管和左支气管的识别和定位，作为特征。在其他实现方式中，例如，涉及在查看三个或更多个气道的分支的定位处的深度图，特征可以包括连接三个或更多个局部极大值的多边形的大小、形状和取向。

在框560处，特征提取器450可以生成虚拟定位和相关联的提取的虚拟特征的数据库。该数据库可以被提供给导航系统400，用于计算实时器械位置确定，例如，以便自动地初始化概率状态估计、计算配准和执行其他导航相关计算。

图21描述了用于基于捕获的内窥镜图像以及所计算的、深度信息的特征与图20的提取的虚拟特征数据集之间的对应关系来生成深度信息的示例手术中处理600的流程图。处理600可以由图19的建模系统420和/或导航融合系统400、图16C的控制和传感器电子设备184和/或图17的控制台基座201或其部件来实现。

在框610处，特征提取器450接收由位于被安置在患者的解剖内腔网络内的器械的远端处的成像装置捕获的成像数据。例如，成像装置可以是上述成像装置315。成像数据的示例视觉表示由描绘患者气道的主隆突的图像615示出。图像615描述了与由图20的虚拟深度图532表示的虚拟主隆突对应的解剖主隆突。图像615使用特定的视觉表示来描绘特定的特征，并且提供图像615以说明而非限制处理600。图像615表示适于在处理600中使用的腔内图像数据，并且其他合适的图像数据可以表示其他解剖结构和/或被描绘为使用不同视觉表示的图像。此外，处理600的一些实施方式可以对成像数据(例如，从成像装置的图像传感器接收的像素的值)进行操作，而不生成图像数据(例如，图像615)的对应可见表示。

在框620处，特征提取器450生成与由图像615表示的成像数据对应的深度图620。特征提取器450可以针对成像数据的每个像素计算深度值，该深度值表示成像装置与解剖内腔网络内的与该像素表示对应的组织表面之间的估计距离。具体地，深度值可以表示对成像装置的光学系统的入射光瞳与由像素描绘的被成像组织之间的物理距离的估计。在一些实施方式中，特征提取器450可以使用照相测斜法(例如，通过阴影的形状)处理来基于单个图像615生成深度图。通过使用照相测斜法，特征提取器450可以对异常值具有鲁棒性，这是由于可能被覆盖在流体(例如，粘液)中的组织的部分之间的反射率差异导致的。在一些实施方式中，特征提取器450可以使用描绘被成像区域的立体图像集来生成深度图。例如，机器人控制的内窥镜可以在第一定位处捕获第一图像，以机器人方式被缩回、延伸和/或转动已知距离到达第二定位，并且可以在第二定位处捕获第二图像。特征提取器450可以使用机器人控制的内窥镜的已知平移以及第一图像与第二图像之间的差异来生成深度图。

在框630处，特征提取器450识别深度图中的一个或更多个深度标准。如以上关于虚拟深度图所描述，基于真实图像数据生成的深度图中的深度标准可以为例如深度图内的局部极大值的位置(例如，表示沿着患者的气道分支可见的最远解剖组织的像素)或沿着围绕局部极大值的曲线峰值在距局部极大值的阈值距离内的任何位置。所描述的深度标准位置可以是图像615内的像素定位。在框630处选择用于识别的深度标准优选地对应于在框540处识别的深度标准。

例如，特征提取器450可以识别多个像素中的与深度图中的第一深度标准对应的第一像素和多个像素中的与深度图中的第二深度标准对应的第二像素，并且在一些实施方式中，每个深度标准可以对应于所识别的像素周围的深度值的区域中的局部最大值。框630提供了作为局部极大值的示例深度标准632和634的视觉图示，其对应于成像装置315可见的左支气管和右支气管内的最远组织。具体地，深度标准634对应于表示右支气管内的最远被成像组织的像素，因为其具有比深度标准632更大的值，并且深度标准632对应于表示左支气管内的最远被成像组织的像素。其他气道分叉可以在不同分支之间具有类似的已知深度关系。

在框640处，特征提取器450从所识别的深度标准导出预先识别的特征。例如，如图所示，特征提取器450可以计算与深度标准632和634对应的像素之间的距离645的值(例如，分离量)。距离值可以被表示为与二维深度图对应的(x，y)空间中的像素的数量或与三维深度图625对应的(x，y，z)向量，优选地以与在处理500的框550处识别的特征相同的格式。特征提取器450可以附加地或替选地导出右支气管和左支气管的识别和定位作为特征。在其他实现方式中，例如，涉及在查看三个或更多个气道的分支的定位处的深度图，特征可以包括连接三个或更多个局部极大值的多边形的大小、形状和取向。

在框650处，基于深度的位置估计器410计算从成像数据导出的特征与深度特征数据存储库405中的多个特征之间的对应关系。例如，从成像数据导出的特征可以是基于深度图625的所识别的深度标准计算的距离645的值，如关于框640所描述的。基于深度的位置估计器410可以将距离645的值与和气管中的多个定位相关联的距离值进行比较，以识别距离值中的与距离645的值对应的一个距离值。这些距离值可以如以上关于图20所描述的那样被预先计算并存储在数据存储库405中，或者可以在导航患者的解剖结构时实时计算这些距离值。实时计算的值可以在对应关系计算期间存储在工作存储器中，或者可以添加到数据存储库405，并且如果与该值对应的定位涉及附加的对应关系计算，则随后可以访问该值。

为了确定对应关系，基于深度的位置估计器410可以将距离555的值(以上关于处理500的框550所讨论的)识别为与距离645的值的精确匹配、识别为深度特征数据存储库405中的选项中与距离645的值的最佳匹配(例如，最接近的值)或者识别为距离645的值的预定阈值内的第一匹配。将理解，导航系统400可以被预配置成基于计算速度与位置输出的准确性之间的折衷寻找精确匹配、最佳匹配或第一阈值内匹配，或基于当前导航条件动态地寻找这些选项之一。

在框660处，基于深度的位置估计器410基于与在框650的对应关系计算中识别的虚拟特征相关联的虚拟定位来确定器械的远端在解剖内腔网络内的估计姿势。姿势可以包括器械的位置(例如，气道或其他内腔网络部分的区段内的插入深度)、器械的滚动、俯仰和/或偏转、或其他自由度。如上所述，深度特征数据存储库405可以存储元组或相关联的值的数据库，其包括定位和从在该定位处生成的虚拟图像提取的特征。因此，在框660处，基于深度的位置估计器410可以访问与在框650处识别的特征相关联地存储的定位信息，并将该定位作为器械的位置输出。在一些实施方式中，框660可以包括识别图像615中的右支气管和左支气管的位置与虚拟深度图532中的虚拟右支气管和左支气管的虚拟定位之间的角度变换。角度变换可以用于确定器械在气道内的滚动。

在框670处，基于深度的位置估计器410输出所识别的姿势以在导航系统400中使用。如上所述，姿势可被输出到状态估计器440并且在初始化期间用作自动地确定的贝叶斯先验，这与要求用户在多个指定定位处重新安置内窥镜以便允许初始化的初始化处理相反。在一些实施方式中，姿势可以被输出到配准计算器465，以用于计算模型坐标系与EM坐标系之间的配准。有益地，处理500和处理600使得能够在不需要医师偏离通过患者气道到达靶组织部位的预定导航路径的情况下进行这样的计算。

5.替选方案

以下提供了本文所述主题的若干替选方案。

1.一种利于患者的解剖内腔网络的导航的方法，所述方法由一个或更多个计算装置的集合执行，所述方法包括：

接收由位于器械的远端处的成像装置捕获的成像数据，所述器械的远端被安置在所述解剖内腔网络内；

访问从虚拟图像导出的虚拟特征，所述虚拟图像是从被安置在表示所述解剖内腔网络的虚拟内腔网络内的虚拟定位处的虚拟成像装置的视点模拟的；

计算从所述成像数据导出的特征与从所述虚拟图像导出的虚拟特征之间的对应关系；以及

基于与所述虚拟特征相关联的虚拟定位来确定所述器械的远端在所述解剖内腔网络内的姿势。

2.根据替选方案1所述的方法，还包括：基于所述成像数据来生成深度图，其中，所述虚拟特征是从与所述虚拟图像相关联的虚拟深度图导出的，并且其中，计算所述对应关系是至少部分地基于使所述深度图的一个或更多个特征与所述虚拟深度图的一个或更多个特征相关。

3.根据替选方案2所述的方法，还包括：

通过针对所述成像数据的多个像素中的每个像素计算下述深度值来生成所述深度图：所述深度值表示所述成像装置与所述解剖内腔网络内的和该像素对应的组织表面之间的估计距离；

识别所述多个像素中的与所述深度图中的第一深度标准对应的第一像素以及所述多个像素中的与所述深度图中的第二深度标准对应的第二像素；

计算表示所述第一像素与所述第二像素之间的距离的第一值；

其中，所述虚拟深度图包括针对多个虚拟像素中的每个虚拟像素的下述虚拟深度值：所述虚拟深度值表示所述虚拟成像装置与由该虚拟像素表示的所述虚拟内腔网络的一部分之间的虚拟距离，并且其中，访问从所述虚拟图像导出的虚拟特征包括：访问表示所述虚拟深度图中的第一深度标准与第二深度标准之间的距离的第二值；以及

基于所述第一值与所述第二值的比较来计算所述对应关系。

4.根据替选方案3所述的方法，还包括：

访问表示多个虚拟深度图中的第一深度标准与第二深度标准之间的距离的多个值，所述多个虚拟深度图分别表示所述虚拟内腔网络内的多个虚拟定位中的不同虚拟定位；以及

基于与所述多个值中的其他值相比更接近地对应于所述第一值的所述第二值来计算所述对应关系。

5.根据替选方案3或4中任一项所述的方法，其中，所述解剖内腔网络包括气道，并且所述成像数据描绘所述气道的分叉，所述方法还包括：

在所述深度图和所述虚拟深度图中的每一个中，将所述第一深度标准和所述第二深度标准中的一个识别为右支气管；以及

基于所述右支气管在所述深度图中的第一位置与所述右支气管在所述虚拟深度图中的第二位置之间的角距离来确定所述器械的滚动，其中，所述器械的远端在所述解剖内腔网络内的姿势包括所确定的滚动。

6.根据替选方案2至5中任一项所述的方法，还包括：

识别所述深度图和所述虚拟深度图中的每一个中的三个或更多个深度标准；

确定所述深度图和所述虚拟深度图中的每一个中的连接所述深度标准的多边形的形状和定位；以及

基于所述深度图中的多边形的形状和定位与所述虚拟深度图中的多边形的形状和定位的比较来计算所述对应关系。

7.根据替选方案2至6中任一项所述的方法，其中，基于照相测斜法来生成所述深度图。

8.根据替选方案1至7中任一项所述的方法，还包括：

基于包括位置的多个输入来计算所述器械在所述解剖内腔网络内的概率状态；以及

至少部分地基于所述概率状态来引导所述器械通过所述解剖内腔网络的导航。

9.根据替选方案8所述的方法，还包括：初始化导航系统，所述导航系统被配置成计算所述概率状态并且基于所述概率状态来引导所述解剖内腔网络的导航，其中，对所述导航系统初始化包括：基于所述位置来设置概率计算器的先验。

10.根据替选方案9所述的方法，还包括：

接收表示所述器械的远端的更新的姿势的附加数据；

基于所述附加数据来设置所述概率计算器的似然函数；以及

使用所述概率计算器基于所述先验和所述似然函数来确定所述概率状态。

11.根据替选方案8至10中任一项所述的方法，还包括：

将所述多个输入提供到被配置成计算所述概率状态的导航系统，第一输入包括所述器械的远端的姿势，并且至少一个附加输入包括来自致动所述器械的移动的机器人系统的机器人位置数据和从所述器械的远端处的位置传感器接收的数据中的一者或两者；以及

基于所述第一输入和所述至少一个附加输入来计算所述器械的概率状态。

12.根据替选方案1至11中任一项所述的方法，还包括：至少部分地基于根据所计算的对应关系确定的、所述器械的远端在所述解剖内腔网络内的姿势，确定所述虚拟内腔网络的坐标系与在所述解剖内腔网络周围生成的电磁场的坐标系之间的配准。

13.根据替选方案1至12中任一项所述的方法，其中，确定位置包括确定所述器械的远端在所述解剖内腔网络的区段内前进的距离。

14.一种被配置成利于患者的解剖内腔网络的导航的系统，所述系统包括：

成像装置，其位于器械的远端处；

存储有可执行指令的至少一个计算机可读存储器；以及

一个或更多个处理器，其与所述至少一个计算机可读存储器进行通信，并且被配置成执行所述指令以使所述系统至少执行以下操作：

接收在所述器械的远端被安置在所述解剖内腔网络内的情况下由所述成像装置捕获的成像数据；

访问从虚拟图像导出的虚拟特征，所述虚拟图像是从被安置在表示所述解剖内腔网络的虚拟内腔网络内的虚拟定位处的虚拟成像装置的视点模拟的；

计算从所述成像数据导出的特征与从所述虚拟图像导出的虚拟特征之间的对应关系；以及

基于与所述虚拟特征相关联的虚拟定位来确定所述器械的远端相对地在所述解剖内腔网络内的姿势。

15.根据替选方案14所述的系统，其中，所述一个或更多个处理器被配置成执行所述指令以使所述系统至少执行以下操作：

基于所述成像数据来生成深度图，其中，所述虚拟图像表示虚拟深度图；以及

至少部分地基于使所述深度图的一个或更多个特征与所述虚拟深度图的一个或更多个特征相关来确定所述对应关系。

16.根据替选方案15所述的系统，其中，所述一个或更多个处理器被配置成执行所述指令以使所述系统至少执行以下操作：

通过针对所述成像数据的多个像素中的每个像素计算下述深度值来生成所述深度图：所述深度值表示所述成像装置与所述解剖内腔网络内的与该像素对应的组织表面之间的估计距离；

识别所述多个像素中的与所述深度图中的第一深度标准对应的第一像素以及所述多个像素中的与所述深度图中的第二深度标准对应的第二像素；

计算表示所述第一像素与所述第二像素之间的距离的第一值；

其中，所述虚拟深度图包括针对多个虚拟像素中的每个虚拟像素的下述虚拟深度值：所述虚拟深度值表示所述虚拟成像装置与由该虚拟像素表示的所述虚拟内腔网络的一部分之间的虚拟距离，并且其中，从所述虚拟图像导出的特征包括表示所述虚拟深度图中的第一深度标准与第二深度标准之间的距离的第二值；以及

基于所述第一值与所述第二值的比较来确定所述对应关系。

17.根据替选方案16所述的系统，其中，所述一个或更多个处理器被配置成执行所述指令以使所述系统至少执行以下操作：

访问表示多个虚拟深度图中的第一深度标准与第二深度标准之间的距离的多个值，所述多个虚拟深度图分别表示所述虚拟内腔网络内的多个虚拟定位中的不同虚拟定位；以及

基于与所述多个值中的其他值相比更接近地对应于所述第一值的所述第二值来计算所述对应关系，将所述第二值识别为所述多个值中与所述第一值最接近的匹配。

18.根据替选方案16至17中任一项所述的系统，其中，所述解剖内腔网络包括气道，并且所述成像数据描绘所述气道的分叉，其中，所述一个或更多个处理器被配置成执行所述指令以使所述系统至少执行以下操作：

在所述深度图和所述虚拟深度图中的每一个中，将所述第一深度标准和所述第二深度标准中的一个识别为右支气管；以及

基于所述右支气管在所述深度图中的第一位置与所述右支气管在所述虚拟深度图中的第二位置之间的角距离来确定所述器械的滚动，其中，所述器械的远端在所述解剖内腔网络内的姿势包括所确定的滚动。

19.根据替选方案15至18中任一项所述的系统，其中，所述一个或更多个处理器被配置成执行所述指令以使所述系统至少执行以下操作：

识别所述深度图和所述虚拟深度图中的每一个中的三个或更多个深度标准；

确定连接所述深度图和所述虚拟深度图中的每一个中的所述三个或更多个深度标准的多边形的形状和定位；以及

基于将所述深度图的多边形的形状和定位与所述虚拟深度图的多边形的形状和定位进行比较来计算所述对应关系。

20.根据替选方案15至19中任一项所述的系统，其中，所述一个或更多个处理器被配置成执行所述指令以使所述系统至少执行以下操作：基于照相测斜法来生成所述深度图。

21.根据替选方案14至20中任一项所述的系统，其中，所述一个或更多个处理器被配置成与导航系统通信，并且其中，所述一个或更多个处理器被配置成执行所述指令以使所述系统至少执行以下操作：

使用所述导航系统、至少部分地基于包括位置的多个输入来计算所述器械在所述解剖内腔网络内的概率状态；以及

至少部分地基于由所述导航系统计算的概率状态来引导所述器械通过所述解剖内腔网络的导航。

22.根据替选方案21所述的系统，还包括机器人系统，所述机器人系统被配置成在所述导航期间引导所述器械的移动。

23.根据替选方案22所述的系统，其中，所述多个输入包括从所述机器人系统接收的机器人位置数据，并且其中，所述一个或更多个处理器被配置成执行所述指令以使系统至少执行以下操作：使用所述导航系统、至少部分地基于所述位置和所述机器人位置数据来计算所述器械的概率状态。

24.根据替选方案21至23中任一项所述的系统，还包括位于器械的远端处的位置传感器，所述多个输入包括从所述位置传感器接收的数据，并且其中，所述一个或更多个处理器被配置成执行所述指令以使所述系统至少执行以下操作：使用所述导航系统、至少部分地基于所述位置以及从所述位置传感器接收的数据来计算所述器械的概率状态。

25.根据替选方案14至24中任一项所述的系统，其中，所述一个或更多个处理器被配置成执行所述指令以使所述系统至少执行以下操作：至少部分地基于所述位置来确定所述虚拟内腔网络的坐标系与在所述解剖内腔网络周围生成的电磁场的坐标系之间的配准。

26.一种非暂态计算机可读存储介质，其上存储有指令，所述指令在被执行时使至少一个计算装置至少执行以下操作：

访问患者的解剖内腔网络的内表面的虚拟三维模型；

识别所述虚拟三维模型内的多个虚拟定位；

针对所述虚拟三维模型内的所述多个虚拟定位中的每个虚拟定位：

生成虚拟深度图，所述虚拟深度图表示被安置在该虚拟定位处的虚拟成像装置与所述虚拟成像装置在被安置在所述虚拟定位处时的视场内的所述内表面的一部分之间的虚拟距离，并且

从所述虚拟深度图导出至少一个虚拟特征；以及

生成使所述多个虚拟定位与从对应的虚拟深度图导出的所述至少一个虚拟特征相关联的数据库。

27.根据替选方案26所述的非暂态计算机可读存储介质，其中，所述指令在被执行时使所述至少一个计算装置至少执行以下操作：将所述数据库提供给导航系统，所述导航系统被配置成在医疗过程期间引导器械通过所述解剖内腔网络的导航。

28.根据替选方案27所述的非暂态计算机可读存储介质，其中，所述指令在被执行时使所述至少一个计算装置至少执行以下操作：

访问表示被安置在所述器械的远端处的成像装置的数据；

识别所述成像装置的图像捕获参数；以及

将所述虚拟成像装置的虚拟图像捕获参数设置为与所述成像装置的所述图像捕获参数对应。

29.根据替选方案28所述的非暂态计算机可读存储介质，其中，所述指令在被执行时使所述至少一个计算装置至少执行以下操作：基于所述虚拟图像捕获参数来生成所述虚拟深度图。

30.根据替选方案28至29中任一项所述的非暂态计算机可读存储介质，其中，所述图像捕获参数包括视场、透镜畸变、焦距和亮度阴影中的一个或更多个。

31.根据替选方案26至30中任一项所述的非暂态计算机可读存储介质，其中，所述指令在被执行时使所述至少一个计算装置至少执行以下操作：

针对所述多个虚拟定位中的每个虚拟定位：

识别所述虚拟深度图中的第一深度标准和第二深度标准，并且计算表示所述第一深度标准与所述第二深度标准之间的距离的值；以及

通过使所述多个虚拟定位与对应的值相关联来创建所述数据库。

32.根据替选方案26至31中任一项所述的非暂态计算机可读存储介质，其中，所述指令在被执行时使所述至少一个计算装置至少执行以下操作：

针对所述多个虚拟定位中的每个虚拟定位：

识别所述虚拟深度图中的三个或更多个深度标准，并且

确定连接所述三个或更多个深度标准的多边形的形状和定位；以及

通过使所述多个虚拟定位与对应的多边形的形状和定位相关联来创建所述数据库。

33.根据替选方案26至32中任一项所述的非暂态计算机可读存储介质，其中，所述指令在被执行时使所述至少一个计算装置至少执行以下操作：

从表示所述患者的解剖内腔网络的一系列二维图像生成三维体积数据；以及

从所述三维体积数据形成所述解剖内腔网络的内表面的虚拟三维模型。

34.根据替选方案33所述的非暂态计算机可读存储介质，其中，所述指令在被执行时使所述至少一个计算装置至少执行以下操作：控制计算机断层摄影成像系统捕获所述一系列二维图像。

35.根据替选方案33至34中任一项所述的非暂态计算机可读存储介质，其中，所述指令在被执行时使所述至少一个计算装置至少执行以下操作：通过将体积分割应用于所述三维体积数据来形成所述虚拟三维模型。

36.一种利于患者的解剖内腔网络的导航的方法，所述方法由一个或更多个计算装置的集合执行，所述方法包括：

接收表示所述解剖内腔网络的内部的立体图像集；

基于所述立体图像集来生成深度图；

访问从虚拟图像导出的虚拟特征，所述虚拟图像是从被安置在虚拟内腔网络内的定位处的虚拟成像装置的视点模拟的；

计算从所述深度图导出的特征与从所述虚拟图像导出的虚拟特征之间的对应关系；以及

基于与所述虚拟特征相关联的虚拟定位来确定所述器械的远端在所述解剖内腔网络内的姿势。

37.根据替选方案36所述的方法，其中，生成所述立体图像集包括：

将成像装置安置在位于所述解剖内腔网络内的第一定位处的器械的远端处；

在所述成像装置安置在所述第一定位处的情况下，捕获所述解剖内腔网络的内部的第一图像；

以机器人方式控制所述成像装置移动已知距离以到达所述解剖内腔网络内的第二定位；以及

在所述成像装置被安置在所述第二定位处的情况下，捕获所述解剖内腔网络的内部的第二图像。

38.根据替选方案37所述的方法，其中，以机器人方式控制所述成像装置移动已知距离包括以下中的一者或两者：缩回所述成像装置，和成角度地滚动所述成像装置。

6.实现系统和术语

本文中公开的实现方式提供了用于改进的内腔网络的导航的系统、方法和设备。

应该注意的是，术语“耦接(couple)”、“耦接(coupling)”、“耦接(coupled)”或者词耦接的如本文中使用的其他变型可以指示间接连接或直接连接。例如，如果将第一部件“耦接”至第二部件，则第一部件可以经由另一部件间接连接至第二部件或者直接连接至第二部件。

本文所述的特征对应关系计算、位置估计和机器人运动致动功能可以作为一个或更多个指令存储在处理器可读介质或计算机可读介质上。术语“计算机可读介质”是指可以由计算机或处理器访问的任何可用介质。作为示例而非限制，这样的介质可以包括RAM、ROM、EEPROM、闪存、CD-ROM或其他光盘存储装置、磁盘存储装置或其他磁性存储装置、或者可以用于以指令或数据结构的形式存储期望的程序代码并且可以由计算机访问的任何其他介质。应当注意的是，计算机可读介质可以是有形的且非暂态的。如本文中所使用的，术语“代码”可以指能够由计算装置或者处理器执行的软件、指令、代码或数据。

本文中公开的方法包括用于实现所描述的方法的一个或更多个步骤或动作。在不脱离权利要求的范围的情况下，方法步骤和/或动作可以彼此互换。换言之，除非正在描述的方法的正确操作需要步骤或动作的特定顺序，否则可以在不脱离权利要求的范围的情况下修改特定步骤和/或动作的顺序和/或使用。

如本文中所使用的，术语“多个”表示两个或更多个。例如，多个部件表示两个或更多个部件。术语“确定”包含各种各样的动作，并且因此，“确定”可以包括计算、电脑运算、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)、查明等。“确定”还可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。此外，“确定”可以包括解析、选择、挑选、建立等。

除非另有明确说明，否则短语“基于”并不意味着“仅基于”。换言之，短语“基于”描述了“仅基于”和“至少基于”两者。

提供了所公开的实现方式的先前描述，以使得本领域技术人员能够实现或者使用本发明。对于本领域技术人员而言，对这些实现方式的各种修改将是明显的，并且在不脱离本发明的范围的情况下，本文中限定的一般原理可以应用于其他实现方式。例如，应当理解的是，本领域普通技术人员将能够采用多个对应的替选和等同的结构细节，诸如紧固、安装、耦接或者接合工具部件的等同方式、用于产生特定致动运动的等同机构，以及用于递送电能的等同机构。因此，本发明不意在限于本文中所示的实现方式，而是符合与本文中公开的原理和新颖特征一致的最宽范围。

Claims (18)

1.一种被配置成利于患者的解剖内腔网络的导航的系统，所述系统包括：

成像装置，其位于器械的远端处；

其上存储有可执行指令的至少一个计算机可读存储器；以及

一个或更多个处理器，其与所述至少一个计算机可读存储器通信，并且被配置成执行所述指令以使所述系统至少执行以下操作：

接收在所述器械的远端被安置在所述解剖内腔网络内的情况下由所述成像装置捕获的成像数据，其中，所述解剖内腔网络包括右支气管和左支气管；

从所述成像数据中识别一个或更多个特征，从所述成像数据中识别的一个或更多个特征表示在所述成像数据中所述右支气管和所述左支气管的第一安置；

访问与虚拟图像相关联的一个或更多个特征，所述虚拟图像是从被安置在表示所述解剖内腔网络的虚拟内腔网络内的虚拟定位处的虚拟成像装置的视点模拟的，所述虚拟内腔网络包括与所述右支气管对应的虚拟右支气管和与所述左支气管对应的虚拟左支气管，其中，与所述虚拟图像相关联的一个或更多个特征表示在所述虚拟图像中所述虚拟右支气管和所述虚拟左支气管的第二安置；

计算第一安置与所述第二安置之间的对应关系；以及

基于所计算的对应关系来确定所述器械的远端在所述解剖内腔网络内的滚动。

2.根据权利要求1所述的系统，其中，所述解剖内腔网络包括通向所述右支气管和所述左支气管的气管，并且其中，所述一个或更多个处理器被配置成执行指令以使所述系统至少执行以下操作：至少部分地基于所述虚拟图像的虚拟定位来确定所述器械的远端在所述气管内的插入深度。

3.根据权利要求2所述的系统，其中，所述一个或更多个处理器被配置成执行指令以使所述系统至少执行以下操作：

在所述解剖内腔网络周围生成电磁场；以及

至少部分地基于所述器械的远端的插入深度和滚动来确定所述虚拟内腔网络的坐标系与所述电磁场的坐标系之间的配准。

4.根据权利要求1所述的系统，其中，所述一个或更多个处理器被配置成执行指令以使所述系统至少执行以下操作：

基于所述成像数据来生成深度图；以及

基于所述深度图来识别在所述成像数据中所述右支气管和所述左支气管的所述第一安置；

其中，与所述虚拟图像相关联的一个或更多个特征包括从与虚拟图像相关联的虚拟深度图导出的所述第二安置。

5.根据权利要求4所述的系统，其中，所述一个或更多个处理器被配置成执行指令以使所述系统至少执行以下操作：

通过针对所述成像数据的多个像素中的每个像素计算下述深度值来生成所述深度图：所述深度值表示所述成像装置与所述解剖内腔网络内的与该像素对应的组织表面之间的估计距离；

识别所述多个像素中的与所述深度图中的第一深度标准对应的第一像素；

基于所述第一像素的位置来确定在所述成像数据中所述右支气管的第一定位；

识别所述多个像素中的与所述深度图中的第二深度标准对应的第二像素；

基于所述第二像素的位置来确定在所述成像数据中所述左支气管的第二定位。

6.根据权利要求5所述的系统，其中，所述一个或更多个处理器被配置成执行指令以使所述系统至少执行以下操作：

确定所述第一像素具有比所述第二像素大的深度值；以及

基于确定所述第一像素具有更大的深度值来识别所述第一定位对应于所述右支气管。

7.根据权利要求5所述的系统，其中，所述第一深度标准表示所述右支气管内的最远成像组织，并且其中，所述第二深度标准表示所述左支气管内的最远成像组织。

8.根据权利要求5所述的系统，其中，所述第一深度标准对应于所述第一像素周围的深度值的第一区域中的第一局部最大值，并且其中，所述第二深度标准对应于所述第二像素周围的深度值的第二区域中的第二局部最大值。

9.根据权利要求1所述的系统，其中，所述一个或更多个处理器被配置成执行指令以使所述系统至少执行以下操作：基于在所述成像数据中所述右支气管的第一位置与在所述虚拟图像中所述虚拟右支气管的第二位置之间的角距离来确定所述器械的滚动。

10.一种非暂态计算机可读存储介质，其上存储有指令，所述指令在被执行时使至少一个计算装置至少执行以下操作：

接收在器械的远端被安置在解剖内腔网络内的情况下由成像装置捕获的成像数据，其中，所述解剖内腔网络包括右支气管和左支气管；

从所述成像数据中识别一个或更多个特征，从所述成像数据中识别的一个或更多个特征表示在所述成像数据中所述右支气管和所述左支气管的第一安置；

访问与虚拟图像相关联的一个或更多个特征，所述虚拟图像是从被安置在表示所述解剖内腔网络的虚拟内腔网络内的虚拟定位处的虚拟成像装置的视点模拟的，所述虚拟内腔网络包括与所述右支气管对应的虚拟右支气管和与所述左支气管对应的虚拟左支气管，其中，与所述虚拟图像相关联的一个或更多个特征表示在所述虚拟图像中所述虚拟右支气管和所述虚拟左支气管的第二安置；

计算第一安置与第二安置之间的对应关系；以及

基于所计算的对应关系来确定所述器械的远端在所述解剖内腔网络内的滚动。

11.根据权利要求10所述的非暂态计算机可读存储介质，其中，所述解剖内腔网络包括通向所述右支气管和所述左支气管的气管，并且其中，所述指令在被执行时使所述至少一个计算装置至少执行以下操作：至少部分地基于所述虚拟图像的虚拟定位来确定所述器械的远端在所述气管内的插入深度。

12.根据权利要求11所述的非暂态计算机可读存储介质，其中，所述指令在被执行时使所述至少一个计算装置至少执行以下操作：

在所述解剖内腔网络周围生成电磁场；以及

至少部分地基于所述器械的远端的插入深度和滚动来确定所述虚拟内腔网络的坐标系与所述电磁场的坐标系之间的配准。

13.根据权利要求10所述的非暂态计算机可读存储介质，其中，所述指令在被执行时使所述至少一个计算装置至少执行以下操作：

基于所述成像数据来生成深度图；以及

基于所述深度图来识别在所述成像数据中所述右支气管和所述左支气管的所述第一安置；

其中，与所述虚拟图像相关联的一个或更多个特征包括从与虚拟图像相关联的虚拟深度图导出的所述第二安置。

14.根据权利要求13所述的非暂态计算机可读存储介质，其中，所述指令在被执行时使所述至少一个计算装置至少执行以下操作：

通过针对所述成像数据的多个像素中的每个像素计算下述深度值来生成所述深度图：所述深度值表示所述成像装置与所述解剖内腔网络内的与该像素对应的组织表面之间的估计距离；

识别所述多个像素中的与所述深度图中的第一深度标准对应的第一像素；

基于所述第一像素的位置来确定在所述成像数据中所述右支气管的第一定位；

识别所述多个像素中的与所述深度图中的第二深度标准对应的第二像素；

基于所述第二像素的位置来确定在所述成像数据中所述左支气管的第二定位。

15.根据权利要求14所述的非暂态计算机可读存储介质，其中，所述指令在被执行时使所述至少一个计算装置至少执行以下操作：

确定所述第一像素具有比所述第二像素大的深度值；以及

基于确定所述第一像素具有更大的深度值来识别所述第一定位对应于所述右支气管。

16.根据权利要求14所述的非暂态计算机可读存储介质，其中，所述第一深度标准表示所述右支气管内的最远成像组织，并且其中，所述第二深度标准表示所述左支气管内的最远成像组织。

17.根据权利要求14所述的非暂态计算机可读存储介质，其中，所述第一深度标准对应于所述第一像素周围的深度值的第一区域中的第一局部最大值，并且其中，所述第二深度标准对应于所述第二像素周围的深度值的第二区域中的第二局部最大值。

18.根据权利要求10所述的非暂态计算机可读存储介质，其中，所述指令在被执行时使所述至少一个计算装置至少执行以下操作：基于在所述成像数据中所述右支气管的第一位置与在所述虚拟图像中所述虚拟右支气管的第二位置之间的角距离来确定所述器械的滚动。