CN112087981A - 用于标测和导航的方法和系统 - Google Patents

Abstract

本发明提供了某些方面，这些方面涉及用于利用机器人使能医疗器械标测和/或导航身体的内部区域的系统和技术。该器械可包括方位传感器，该方位传感器在器械在内部区域内导航时提供方位信息。从方位信息导出的视觉标记可叠加在内部区域的参考图像上。视觉标记可表征器械的历史方位。器械可包括成像装置。用成像装置捕获的内部区域的图像可链接到内部区域内捕获图像的方位。

Description

用于标测和导航的方法和系统

优先权申请

本申请要求2018年3月1日提交的美国临时申请62/637048的优先权，该申请以引用方式并入本文。

技术领域

本公开整体涉及身体的内部区域的标测和/或导航，并且更具体地讲，涉及用于利用机器人使能医疗器械对身体的内部区域进行标测和/或导航的方法和系统。

背景技术

医学规程诸如内窥镜检查(例如，输尿管镜检查)可涉及出于诊断和/或治疗目而进入患者的身体的内部区域(例如，肾)并使其可视化。

输尿管镜检查是常用于治疗肾结石的医学规程。在规程期间，可将被称为输尿管镜的薄的柔性管状工具或器械插入尿道中，穿过膀胱和输尿管，并进入肾中。

在某些规程中，机器人使能医疗系统可用于控制器械的插入和/或操纵。机器人使能医疗系统可包括机器人臂或其他器械定位装置，其具有用于在规程期间控制器械的定位的操纵器组件。

发明内容

本公开的实施方案涉及用于利用机器人使能医疗器械标测和/或导航身体的内部区域的系统和技术。该系统和技术可被配置成在器械被导航通过内部区域时生成指示器械的历史(例如，先前)方位的视觉标记。视觉标记可从方位传感器接收的方位信息导出。视觉标记可叠加在内部区域的参考图像上。视觉标记可形成可代表器械的先前方位的标测图。标测图可用于使内部区域的解剖结构可视化，并且可由医师用于导航内部区域。在一些具体实施中，视觉标记包括指示器械在导航通过内部区域时的路径的点或迹线。在一些具体实施中，视觉标记可包括代表内部区域的解剖结构的网格结构。

该方法和技术还可被配置成从定位在器械上的图像传感器接收图像数据。图像数据可以包括静态图像或视频。该方法和技术可将图像数据与方位数据链接，使得在特定位置处捕获的图像可被调用并显示给用户。在一些具体实施中，当用户选择内部区域内的方位时或者当器械定位在存在链接图像的方位处时，调用并显示图像。此外，该方法和技术可被配置成允许医师标记感兴趣的某些特征或位置。

因此，一个方面涉及用于标测身体的内部区域的方法。该方法包括：显示身体的内部区域的参考图像；在身体的内部区域内移动器械，该器械包括至少一个方位传感器；从至少一个方位传感器接收方位信息，该方位信息包括多个方位数据集，每个方位数据集指示在器械的移动期间器械的方位；以及将从方位数据集的至少一子集导出的视觉标记叠加在参考图像上，以表征在身体的内部区域内的移动期间器械的历史方位。

在一些实施方案中，该方法可以以任何组合包括以下特征中的一个或多个特征：(a)其中参考图像包括在逆行性肾盂造影规程期间捕获的图像；(b)其中参考图像包括荧光镜或超声图像；(c)其中参考图像在计算机断层摄影(CT)或磁共振成像(MRI)规程期间被捕获；(d)在手术中捕获参考图像；(e)其中参考图像是手术前捕获的；(f)从定位在器械上的成像装置接收器械图像数据，该器械图像数据包括在器械的移动期间由成像装置捕获的多个图像，并且对于多个图像的至少一子集，将子集的每个图像与指示捕获图像的方位的方位数据集链接；(g)包括存储链接图像以供在未来规程期间使用；(h)接收方位选择的用户输入，并且显示对应于用户输入的链接图像；(i)利用方位传感器确定器械的当前方位，并且显示对应于确定的当前方位的链接图像；(j)其中器械图像数据被自动捕获；(k)其中器械图像数据在接收到用户命令时被捕获；(l)标记内部区域内的感兴趣的位置或特征；(m)其中标记包括接收用户输入；(n)其中标记包括自动检测感兴趣的位置或特征；(o)将标记的感兴趣的位置或特征叠加在参考图像上；(p)连接视觉标记以表征器械的移动的历史路径；(q)其中视觉标记包括网格；(r)其中网格指示内部区域的解剖结构；(s)其中网格是从方位数据集的子集和从器械上的成像装置接收到的图像数据导出的；(t)其中方位数据集的子集以持续时间频率叠加在参考图像上；(u)其中方位数据集的子集以方位频率叠加在参考图像上；(v)在手术中显示视觉标记；(w)存储视觉标记以供在未来医学规程期间使用；(x)其中身体的内部区域包括肾，并且其中该方法还包括：将器械移动到肾的盏中；以及标记以下项中的至少一项：肾的盏的入口、肾的极、肾内的结石和移行细胞癌的区域；以及/或者(y)调整由方位传感器确定的方位以考虑生理移动，并且将调整的方位叠加在参考图像上。

在另一方面，公开了非暂态计算机可读存储介质，该非暂态计算机可读存储介质在其上存储有指令。指令在被执行时可致使装置的处理器至少：在身体的内部区域内移动器械；在器械的移动期间从器械的至少一个方位传感器接收方位信息，该方位信息包括多个方位数据集，每个方位数据集指示器械的方位；显示身体的内部区域的图像；以及将从方位数据集的至少一子集导出的视觉标记叠加在图像上，以表征器械在身体的内部区域内的移动期间器械的历史方位。

在一些实施方案中，非暂态计算机可读存储介质可以以任何组合包括以下特征中的一个或多个特征：(a)其中参考图像包括在逆行性肾盂造影规程期间捕获的图像；(b)其中参考图像包括荧光镜或超声图像；(c)其中参考图像在计算机断层摄影(CT)或磁共振成像(MRI)规程期间被捕获；(d)其中指令在被执行时进一步致使处理器在手术中捕获参考图像；(e)其中参考图像是手术前捕获的；(f)其中指令在被执行时进一步致使处理器：从定位在器械上的成像装置接收器械图像数据，该器械图像数据包括在器械的移动期间由成像装置捕获的多个图像；以及对于多个图像的至少一子集，将该子集的每个图像与指示捕获图像的方位的方位数据集链接；(g)其中指令在被执行时进一步致使处理器存储链接图像以供在未来规程期间使用；(h)其中指令在被执行时进一步致使处理器：接收方位选择的用户输入；以及显示对应于用户输入的链接图像；(i)其中指令在被执行时进一步致使处理器：利用方位传感器确定器械的当前方位；以及显示对应于确定的当前方位的链接图像；(j)其中器械图像数据被自动捕获；(k)其中器械图像数据在接收到用户命令时被捕获；(l)其中指令在被执行时进一步致使处理器标记内部区域内的感兴趣的位置或特征；(m)其中标记包括接收用户输入；(n)其中标记包括自动检测感兴趣的位置或特征；(o)其中指令在被执行时进一步致使处理器将标记的感兴趣的位置或特征叠加在参考图像上；(p)其中指令在被执行时进一步致使处理器连接视觉标记以表征器械的移动的历史路径；(q)其中视觉标记包括网格；(r)其中网格指示内部区域的解剖结构；(s)其中网格是从方位数据集的子集和从器械上的成像装置接收到的图像数据导出的；(t)其中方位数据集的子集以持续时间频率叠加在参考图像上；(u)其中方位数据集的子集以方位频率叠加在参考图像上；(v)其中指令在被执行时进一步致使处理器在手术中显示视觉标记；(w)其中指令在被执行时进一步致使处理器存储视觉标记以供在未来医学规程期间使用；(x)其中身体的内部区域包括肾，并且其中指令在被执行时进一步致使处理器：将器械移动到肾的盏中；以及标记以下项中的至少一项：肾的盏的入口、肾的极、肾内的结石和移行细胞癌的区域；以及/或者(y)其中指令在被执行时进一步致使处理器：调整由方位传感器确定的方位以考虑生理移动；以及将调整的方位叠加在参考图像上。

在另一方面，公开了机器人外科系统。机器人外科系统可包括：器械，该器械具有细长主体和设置在细长主体上的至少一个方位传感器；至少一个计算机可读存储器，该至少一个计算机可读存储器在其上存储有可执行指令；以及一个或多个处理器，该一个或多个处理器与至少一个计算机可读存储器通信并且被配置成执行指令以致使系统至少：在身体的内部区域内移动器械；在器械的移动期间从至少一个方位传感器接收方位信息；显示身体的内部区域的图像；以及将从方位数据集的至少一子集导出的视觉标记叠加在图像上，以表征器械在身体的内部区域内的移动期间器械的历史方位。

在一些实施方案中，系统可以以任何组合包括以下特征中的一个或多个特征：(a)其中方位传感器包括电磁传感器；(b)其中方位传感器包括形状感测纤维；(c)其中方位传感器定位在细长主体的远侧端部上；(d)其中器械包括内窥镜；(e)其中器械包括输尿管镜；(f)其中细长主体能够进行关节运动以控制器械的姿势；(g)连接到器械的器械定位装置，该器械定位装置被构造成操纵器械；(h)其中器械定位装置包括机器人臂；(i)其中参考图像包括在逆行性肾盂造影规程期间捕获的图像；(j)其中参考图像包括荧光镜或超声图像；(k)其中参考图像在计算机断层摄影(CT)或磁共振成像(MRI)规程期间被捕获；(l)其中指令在被执行时进一步致使一个或多个处理器在手术中捕获参考图像；(m)其中参考图像是手术前捕获的；(n)其中指令在被执行时进一步致使一个或多个处理器：从定位在器械上的成像装置接收器械图像数据，该器械图像数据包括在器械的移动期间由成像装置捕获的多个图像；以及对于多个图像的至少一子集，将该子集的每个图像与指示捕获图像的方位的方位数据集链接；(o)其中指令在被执行时进一步致使一个或多个处理器存储链接图像以供在未来规程期间使用；(p)其中指令在被执行时进一步致使处理器：接收方位选择的用户输入；以及显示对应于用户输入的链接图像；(q)其中指令在被执行时进一步致使一个或多个处理器：利用方位传感器确定器械的当前方位；以及显示对应于确定的当前方位的链接图像；(r)其中器械图像数据被自动捕获；(s)其中器械图像数据在接收到用户命令时被捕获；(t)其中指令在被执行时进一步致使一个或多个处理器标记内部区域内的感兴趣的位置或特征；(u)其中标记包括接收用户输入；(v)其中标记包括自动检测感兴趣的位置或特征；(w)其中指令在被执行时进一步致使一个或多个处理器将标记的感兴趣的位置或特征叠加在参考图像上；(x)其中指令在被执行时进一步致使一个或多个处理器连接视觉标记以表征器械的移动的历史路径；(y)其中视觉标记包括网格；(z)其中网格指示内部区域的解剖结构；(aa)其中网格是从方位数据集的子集和从器械上的成像装置接收到的图像数据导出的；(bb)其中方位数据集的子集以持续时间频率叠加在参考图像上；(cc)其中方位数据集的子集以方位频率叠加在参考图像上；(dd)其中指令在被执行时进一步致使一个或多个处理器在手术中显示视觉标记；(ee)其中指令在被执行时进一步致使一个或多个处理器存储视觉标记以供在未来医学规程期间使用；(ff)其中身体的内部区域包括肾，并且其中指令在被执行时进一步致使一个或多个处理器：将器械移动到肾的盏中；以及标记以下项中的至少一项：肾的盏的入口、肾的极、肾内的结石和移行细胞癌的区域；以及/或者(gg)其中指令在被执行时进一步致使一个或多个处理器：调整由方位传感器确定的方位以考虑生理移动；以及将调整的方位叠加在参考图像上。

在另一方面，描述了非暂态计算机可读存储介质，该非暂态计算机可读存储介质在其上存储有指令。指令在被执行时可致使装置的处理器至少：在身体的内部区域内移动器械；在器械的移动期间从器械的至少一个方位传感器接收方位信息，该方位信息包括多个方位数据集，每个方位数据集指示在器械的移动期间器械的方位；在器械的移动期间，从内部区域内的器械的成像装置接收图像数据，该图像数据包括由成像装置在内部区域内的一个或多个位置处捕获的一个或多个图像；基于由方位传感器确定的捕获每个图像的方位，将一个或多个图像的至少一子集与方位数据集的至少一子集链接；确定包括方位选择的用户输入；以及显示链接图像中对应于方位选择的链接图像。

在一些实施方案中，非暂态计算机可读存储介质可以以任何组合包括以下特征中的一个或多个特征：(a)其中确定用户命令包括接收用户命令；(b)其中图像数据包括静态图像；(c)其中图像数据包括视频；(d)其中方位数据集的子集以持续时间频率被选择；(e)其中方位数据集的子集以方位频率被选择；(f)其中方位信息包括指示器械的取向的信息；(g)其中图像数据被自动捕获；(h)其中图像数据在接收到用户命令时被捕获；(i)其中指令在被执行时进一步致使处理器：接收与当前方位相关联的用户输入；以及将用户输入与对应于当前方位的链接图像链接；以及/或者(j)其中指令在被执行时进一步致使处理器在图像数据的图像内检测感兴趣的特征。

在另一方面，描述了用于导航身体的内部区域的机器人外科系统。该系统可包括：器械，该器械包括细长主体、设置在细长主体上的至少一个方位传感器和设置在细长主体上的成像装置；至少一个计算机可读存储器，该至少一个计算机可读存储器在其上存储有可执行指令；以及一个或多个处理器，该一个或多个处理器与至少一个计算机可读存储器通信并且被配置成执行指令以致使系统至少：在身体的内部区域内移动器械；在器械的移动期间从至少一个方位传感器接收方位信息，该方位信息包括多个方位数据集，每个方位数据集指示在器械的移动期间器械的方位；从成像装置接收图像数据，该图像数据包括在器械的移动期间由成像装置在内部区域内的一个或多个位置处捕获的一个或多个图像；以及基于由方位传感器确定的捕获每个图像的方位，将一个或多个图像的至少一子集与方位数据集的至少一子集链接。

在一些实施方案中，系统可以任何组合包括以下特征中的一个或多个特征：(a)其中方位传感器包括EM传感器；(b)其中方位传感器包括形状感测纤维；(c)其中方位传感器定位在细长主体的远侧端部上；(d)其中器械包括内窥镜；(e)其中器械包括输尿管镜；(f)其中细长主体能够进行关节运动以控制器械的姿势；(g)连接到器械的器械定位装置，该器械定位装置被构造成操纵器械；以及/或者(h)其中器械定位装置包括机器人臂。

在另一方面，公开了用于导航身体的内部区域的方法。该方法可包括：在身体的内部区域内移动器械，该器械包括至少一个方位传感器和至少一个成像装置；从器械的至少一个方位传感器接收方位信息，该方位信息包括多个方位数据集，每个方位数据集指示在器械的移动期间器械的方位；从器械的成像装置接收图像数据，该图像数据包括由成像装置在内部区域内的一个或多个位置处捕获的一个或多个图像；基于由方位传感器确定的捕获每个图像的方位，将一个或多个图像的至少一子集与方位数据集的至少一子集链接；利用至少一个方位传感器确定器械的当前方位，该当前方位对应于多个方位数据集中的当前方位数据集；以及在用户显示器上显示与当前方位数据集链接的图像。

附图说明

下文将结合附图描述所公开的方面，该附图被提供以说明而非限制所公开的方面，其中类似的标号表示类似的元件。

图1示出了被布置用于诊断和/或治疗支气管镜检查规程的基于推车的机器人系统的实施方案。

图2描绘了图1的机器人系统的另外方面。

图3示出了被布置用于输尿管镜检查的图1的机器人系统的实施方案。

图4示出了被布置用于血管规程的图1的机器人系统的实施方案。

图5示出了被布置用于支气管镜检查规程的基于台的机器人系统的实施方案。

图6提供了图5的机器人系统的替代视图。

图7示出了被构造成收起机器人臂的示例性系统。

图8示出了被构造用于输尿管镜检查规程的基于台的机器人系统的实施方案。

图9示出了被构造用于腹腔镜检查规程的基于台的机器人系统的实施方案。

图10示出了具有俯仰或倾斜调整的图5-图9的基于台的机器人系统的实施方案。

图11提供了图5-图10的基于台的机器人系统的台和立柱之间的接口的详细图示。

图12示出了示例性器械驱动器。

图13示出了具有成对器械驱动器的示例性医疗器械。

图14示出了器械驱动器和器械的另选设计，其中驱动单元的轴线平行于器械的细长轴的轴线。

图15描绘了根据示例性实施方案的示出定位系统的框图，该定位系统估计图1-图10的机器人系统的一个或多个元件的位置，诸如图13和图14的器械的位置。

图16A是示出在肾内导航的器械的第一示例性荧光镜图像。

图16B是示出在肾内导航的图16A的器械的第二示例性荧光镜图像。

图16C是示出在肾内导航的图16A的器械的第三示例性荧光镜图像。

图17示出了指示从在肾内导航的器械的方位传感器接收的方位数据的视觉标记的示例性表示。

图18示出了叠加在肾的参考图像上的图17的视觉标记的表示。

图19示出了用在患者的内部区域内导航的医疗器械的成像装置捕获的图像可与医疗器械的捕获图像的方位链接。

图20A是示出用于标测身体的内部区域的示例性方法的流程图。

图20B是示出用于标测身体的内部区域的另一种示例性方法的流程图。

图21A是示出用于导航身体的内部区域的示例性方法的流程图。

图21B是示出用于导航身体的内部区域的另一种示例性方法的流程图。

图22是示出用于标测和/或导航身体的内部区域的系统的实施方案的某些部件的框图。

具体实施方式

1.综述。

本公开的各方面可集成到机器人使能医疗系统中，该机器人使能医疗系统能够执行各种医学规程，包括微创规程诸如腹腔镜检查，以及非侵入规程诸如内窥镜检查两者。在内窥镜检查规程中，系统可能能够执行支气管镜检查、输尿管镜检查、胃镜检查等。

除了执行广泛的规程之外，系统可以提供附加的益处，诸如增强的成像和指导以帮助医师。另外，该系统可以为医师提供从人体工程学方位执行规程的能力，而不需要笨拙的臂运动和方位。另外，该系统可以为医师提供以改进的易用性执行规程的能力，使得系统的器械中的一个或多个器械可由单个用户控制。

出于说明的目的，下文将结合附图描述各种实施方案。应当理解，所公开的概念的许多其他具体实施是可能的，并且利用所公开的具体实施可实现各种优点。标题包括在本文中以供参考并且有助于定位各个节段。这些标题并非旨在限制相对于其所述的概念的范围。此类概念可在整个说明书中具有适用性。

A.机器人系统–推车。

机器人使能医疗系统可以以多种方式构造，这取决于特定规程。图1示出了被布置用于诊断和/或治疗支气管镜检查规程的基于推车的机器人使能系统10的实施方案。在支气管镜检查期间，系统10可包括推车11，该推车具有一个或多个机器人臂12，以将医疗器械诸如可操纵内窥镜13(其可以是用于支气管镜检查的规程特定的支气管镜)递送至自然孔口进入点(即，在本示例中定位在台上的患者的口)，以递送诊断和/或治疗工具。如图所示，推车11可被定位在患者的上躯干附近，以便提供到进入点的通路。类似地，可以致动机器人臂12以相对于进入点定位支气管镜。当用胃镜(用于胃肠道(GI)规程的专用内窥镜)执行GI规程时，也可利用图1中的布置。图2更详细地描绘了推车的示例性实施方案。

继续参考图1，一旦推车11被正确定位，机器人臂12就可以机器人地、手动地或以其组合将可操纵内窥镜13插入到患者体内。如图所示，可操纵内窥镜13可包括至少两个伸缩部分，诸如内引导件部分和外护套部分，每个部分耦接到来自一组器械驱动器28的单独的器械驱动器，每个器械驱动器耦接到单独的机器人臂的远侧端部。有利于将引导件部分与护套部分同轴对准的器械驱动器28的这种线性布置产生“虚拟轨道”29，该“虚拟轨道”可以通过将一个或多个机器人臂12操纵到不同角度和/或方位而在空间中被重新定位。本文所述的虚拟轨道在附图中使用虚线描绘，并且因此虚线未描绘系统的任何物理结构。器械驱动器28沿着虚拟轨道29的平移使内引导件部分相对于外护套部分伸缩，或者使内窥镜13从患者推进或回缩。虚拟轨道29的角度可以基于临床应用或医师偏好来调整、平移和枢转。例如，在支气管镜检查中，如图所示的虚拟轨道29的角度和方位代表了在向医师提供到内窥镜13的通路同时使由内窥镜13弯曲到患者的口中引起的摩擦最小化之间的折衷。

在插入之后，内窥镜13可以使用来自机器人系统的精确命令向下导向患者的气管和肺，直到到达目标目的地或手术部位。为了增强通过患者的肺网络的导航和/或到达期望的目标，内窥镜13可被操纵以从外部护套部分伸缩地延伸内引导件部分，以获得增强的关节运动和更大的弯曲半径。使用单独的器械驱动器28还允许引导件部分和护套部分彼此独立地被驱动。

例如，内窥镜13可被导向以将活检针递送到目标，诸如患者肺内的病变或结节。针可沿工作通道向下部署，该工作通道延伸内窥镜的长度以获得待由病理学家分析的组织样本。根据病理结果，可沿内窥镜的工作通道向下部署附加工具以用于附加活检。在识别出结节是恶性的之后，内窥镜13可以通过内窥镜递送工具以切除潜在的癌组织。在一些情况下，诊断和治疗处理可能需要在单独的规程中递送。在这些情况下，内窥镜13也可用于递送基准以“标记”目标结节的位置。在其他情况下，诊断和治疗处理可在相同的规程期间递送。

系统10还可包括可移动塔30，该可移动塔可经由支撑线缆连接到推车11以向推车11提供控制、电子、流体、光学、传感器和/或电力的支持。将这样的功能放置在塔30中允许可以由操作医师和他/她的工作人员更容易地调整和/或重新定位的更小形状因子的推车11。另外，在推车/台和支撑塔30之间划分功能减少了手术室混乱并且有利于改善临床工作流程。虽然推车11可被定位成靠近患者，但是塔30可以在远程位置中被收起以在规程过程期间不挡道。

为了支持上述机器人系统，塔30可包括基于计算机的控制系统的部件，该基于计算机的控制系统将计算机程序指令存储在例如非暂态计算机可读存储介质诸如永磁存储驱动器、固态驱动器等内。无论执行是发生在塔30中还是发生在推车11中，这些指令的执行都可以控制整个系统或其子系统。例如，当由计算机系统的处理器执行时，指令可致使机器人系统的部件致动相关托架和臂安装件，致动机器人臂，并且控制医疗器械。例如，响应于接收到控制信号，机器人臂的关节中的马达可将臂定位成特定姿势。

塔30还可包括泵、流量计、阀控制器和/或流体通路，以便向可通过内窥镜13部署的系统提供受控的冲洗和抽吸能力。这些部件也可使用塔30的计算机系统来控制。在一些实施方案中，冲洗和抽吸能力可通过单独的线缆直接递送到内窥镜13。

塔30可包括电压和浪涌保护器，该电压和浪涌保护器被设计成向推车11提供经滤波和保护的电力，从而避免在推车11中放置电力变压器和其他辅助电力部件，从而得到更小、更可移动的推车11。

塔30还可包括用于在整个机器人系统10中部署的传感器的支撑设备。例如，塔30可包括用于在整个机器人系统10中检测、接收和处理从光学传感器或相机接收的数据的光电设备。结合控制系统，此类光电设备可用于生成实时图像，以用于在整个系统中部署的任何数量的控制台中显示(包括在塔30中显示)。类似地，塔30还可包括用于接收和处理从部署的电磁(EM)传感器接收的信号的电子子系统。塔30还可用于容纳和定位EM场发生器，以便由医疗器械中或医疗器械上的EM传感器进行检测。

除了系统的其余部分中可用的其他控制台(例如，安装在推车顶部上的控制台)之外，塔30还可包括控制台31。控制台31可包括用于医师操作者的用户界面和显示屏，诸如触摸屏。系统10中的控制台通常设计成提供机器人控制以及规程的术前信息和实时信息两者，诸如内窥镜13的导航和定位信息。当控制台31不是医师可用的唯一控制台时，其可由第二操作者(诸如护士)使用以监测患者的健康或生命体征和系统的操作，以及提供规程特定的数据，诸如导航和定位信息。

塔30可通过一个或多个线缆或连接件(未示出)耦接到推车11和内窥镜13。在一些实施方案中，可通过单个线缆向推车11提供来自塔30的支撑功能，从而简化手术室并消除手术室的混乱。在其他实施方案中，特定功能可耦接在单独的布线和连接中。例如，尽管可以通过单个线缆向推车提供电力，但也可以通过单独的线缆提供对控制、光学、流体和/或导航的支持。

图2提供了来自图1所示的基于推车的机器人使能系统的推车的实施方案的详细图示。推车11通常包括细长支撑结构14(通常称为“柱”)、推车基部15以及在柱14的顶部处的控制台16。柱14可包括一个或多个托架，诸如用于支持一个或多个机器人臂12(图2中示出三个)的部署的托架17(另选地为“臂支撑件”)。托架17可包括可单独构造的臂安装件，该臂安装件沿着垂直轴线旋转以调整机器人臂12的基部，以相对于患者更好地定位。托架17还包括托架接口19，该托架接口允许托架17沿着柱14竖直地平移。

托架接口19通过狭槽诸如狭槽20连接到柱14，该狭槽定位在柱14的相对侧上以引导托架17的竖直平移。狭槽20包含竖直平移接口以将托架相对于推车基部15定位并保持在各种竖直高度处。托架17的竖直平移允许推车11调整机器人臂12的到达范围以满足各种台高度、患者尺寸和医师偏好。类似地，托架17上的可单独构造的臂安装件允许机器人臂12的机器人臂基部21以多种构型成角度。

在一些实施方案中，狭槽20可补充有狭槽盖，该狭槽盖与狭槽表面齐平且平行，以防止灰尘和流体在托架17竖直平移时进入柱14的内部腔以及竖直平移接口。狭槽盖可通过定位在狭槽20的竖直顶部和底部附近的成对弹簧卷轴部署。盖在卷轴内盘绕，直到在托架17竖直地上下平移时被部署成从盖的盘绕状态延伸和回缩。当托架17朝向卷轴平移时，卷轴的弹簧加载提供了将盖回缩到卷轴中的力，同时在托架17平移远离卷轴时也保持紧密密封。可使用例如托架接口19中的支架将盖连接到托架17，以确保在托架17平移时盖的适当延伸和回缩。

柱14可在内部包括诸如齿轮和马达之类的机构，其被设计成使用竖直对准的导螺杆以响应于响应用户输入(例如，来自控制台16的输入)生成的控制信号来以机械化方式平移托架17。

机器人臂12通常可包括由一系列连杆23分开的机器人臂基部21和端部执行器22，该一系列连杆由一系列关节24连接，每个关节包括独立的致动器，每个致动器包括可独立控的马达。每个可独立控制的关节表示机器人臂可用的独立自由度。臂12中的每个臂具有七个关节，并且因此提供七个自由度。多个关节导致多个自由度，从而允许“冗余”的自由度。冗余自由度允许机器人臂12使用不同的连杆方位和关节角度将其相应的端部执行器22定位在空间中的特定方位、取向和轨迹处。这允许系统从空间中的期望点定位和导向医疗器械，同时允许医师将臂关节移动到远离患者的临床有利方位，以产生更大的接近，同时避免臂碰撞。

推车基部15在地板上平衡柱14、托架17和臂12的重量。因此，推车基部15容纳较重的部件，诸如电子器件、马达、电源以及使得推车能够移动和/或固定的部件。例如，推车基部15包括允许推车在规程之前容易地围绕房间移动的可滚动的轮形脚轮25。在到达适当方位之后，脚轮25可以使用轮锁固定，以在规程期间将推车11保持在适当方位。

定位在柱14的竖直端部处的控制台16允许用于接收用户输入的用户界面和显示屏(或两用装置，诸如触摸屏26)两者向医师用户提供术前和术中数据两者。触摸屏26上的潜在术前数据可以包括从术前计算机化断层摄影(CT)扫描导出的术前计划、导航和标测数据和/或来自术前患者面谈的记录。显示器上的术中数据可以包括从工具、传感器提供的光学信息和来自传感器的坐标信息以及重要的患者统计，诸如呼吸、心率和/或脉搏。控制台16可以被定位和倾斜成允许医师从柱14的与托架17相对的侧面接近控制台。从该方位，医师可以在从推车11后面操作控制台16的同时观察控制台16、机器人臂12和患者。如图所示，控制台16还包括用以帮助操纵和稳定推车11的柄部27。

图3示出了被布置用于输尿管镜检查的机器人使能系统10的实施方案。在输尿管镜规程中，推车11可被定位成将输尿管镜32(被设计成横穿患者的尿道和输尿管的规程特定的内窥镜)递送到患者的下腹部区域。在输尿管镜检查中，可以期望输尿管镜32直接与患者的尿道对准以减少该区域中的敏感解剖结构上的摩擦和力。如图所示，推车11可以在台的脚部处对准，以允许机器人臂12定位输尿管镜32，以用于直接线性进入患者的尿道。机器人臂12可从台的脚部沿着虚拟轨道33将输尿管镜32通过尿道直接插入患者的下腹部中。

在插入尿道中之后，使用与支气管镜检查中类似的控制技术，输尿管镜32可以被导航到膀胱、输尿管和/或肾中以用于诊断和/或治疗应用。例如，可以将输尿管镜32引导到输尿管和肾中以使用沿输尿管镜32的工作通道向下部署的激光或超声碎石装置来打碎积聚的肾结石。在碎石完成之后，可以使用沿输尿管镜32向下部署的篮移除所得的结石碎片。

图4示出了类似地布置用于血管规程的机器人使能系统的实施方案。在血管规程中，系统10可以被构造成使得推车11可将医疗器械34(诸如可操纵导管)递送至患者的腿部的股动脉中的进入点。股动脉呈现用于导航的较大直径以及到患者的心脏的相对较少的迂回且曲折的路径两者，这简化了导航。如在输尿管镜规程中，推车11可以被定位成朝向患者的腿和下腹部，以允许机器人臂12提供直接线性进入患者的大腿/髋部区域中的股动脉进入点的虚拟轨道35。在插入动脉中之后，可通过平移器械驱动器28来导向和插入医疗器械34。另选地，推车可以被定位在患者的上腹部周围，以到达另选的血管进入点，诸如肩部和腕部附近的颈动脉和臂动脉。

B.机器人系统–台。

机器人使能医疗系统的实施方案还可结合患者的台。结合台通过移除推车减少了手术室内的资本设备的量，这允许更多地接近患者。图5示出了被布置用于支气管镜检查规程的这样的机器人使能系统的实施方案。系统36包括用于将平台38(示出为“台”或“床”)支撑在地板上的支撑结构或柱37。与基于推车的系统非常相似，系统36的机器人臂39的端部执行器包括器械驱动器42，其被设计成通过或沿着由器械驱动器42的线性对准形成的虚拟轨道41来操纵细长医疗器械，诸如图5中的支气管镜40。在实践中，用于提供荧光镜成像的C形臂可以通过将发射器和检测器放置在台38周围而定位在患者的上腹部区域上方。

图6提供了用于讨论目的的没有患者和医疗器械的系统36的另选视图。如图所示，柱37可包括在系统36中示出为环形的一个或多个托架43，一个或多个机器人臂39可基于该托架。托架43可以沿着沿柱37的长度延伸的竖直柱接口44平移，以提供不同的有利点，机器人臂39可以从这些有利点被定位以到达患者。托架43可以使用定位在柱37内的机械马达绕柱37旋转，以允许机器人臂39进入台38的多个侧面，诸如患者的两侧。在具有多个托架的实施方案中，托架可单独地定位在柱上，并且可独立于其他托架平移和/或旋转。虽然托架43不需要围绕柱37或甚至是圆形的，但如图所示的环形形状有利于托架43围绕柱37旋转，同时保持结构平衡。托架43的旋转和平移允许系统将医疗器械诸如内窥镜和腹腔镜对准到患者身上的不同进入点中。

臂39可通过包括一系列关节的一组臂安装件45安装在托架上，该关节可单独地旋转和/或伸缩地延伸以向机器人臂39提供附加的可构造性。另外，臂安装架45可定位在托架43上，使得当托架43适当地旋转时，臂安装架45可定位在台38的同一侧上(如图6所示)、台38的相对侧上(如图9所示)或台38的相邻侧上(未示出)。

柱37在结构上为台38提供支撑，并且为托架的竖直平移提供路径。在内部，柱37可配备有用于引导托架的竖直平移的导螺杆，以及用以机械化基于导螺杆的所述托架的平移的马达。柱37还可将功率和控制信号传送到托架43和安装在其上的机器人臂39。

台基部46具有与图2所示的推车11中的推车基部15类似的功能，容纳较重的部件以平衡台/床38、柱37、托架43和机器人臂39。台面基部46还可结合刚性脚轮以在规程期间提供稳定性。从台基部46的底部部署的脚轮可以在基部46的两侧沿相反方向延伸，并且当系统36需要移动时回缩。

继续图6，系统36还可以包括塔(未示出)，该塔使系统36的功能在台与塔之间进行划分以减小台的形状因子和体积。如在先前所公开的实施方案中，塔可以向台提供各种支持功能，诸如处理、计算和控制能力、电力、流体和/或光学以及传感器处理。塔还可以是可移动的，以远离患者定位，从而改善医师的接近并且消除手术室的混乱。另外，将部件放置在塔中允许在台基部中有更多的储存空间，以用于机器人臂的潜在收起。塔还可以包括控制台，该控制台提供用于用户输入的用户界面(诸如键盘和/或挂件)以及用于术前和术中信息(诸如实时成像、导航和跟踪信息)的显示屏(或触摸屏)两者。

在一些实施方案中，台基部可以在不使用时收起和储存机器人臂。图7示出了在基于台的系统的实施方案中收起机器人臂的系统47。在系统47中，托架48可以竖直平移到基部49中以使机器人臂50、臂安装件51和托架48收起在基部49内。基部盖52可以平移和回缩打开以围绕柱53部署托架48、臂安装件51和臂50，并且关闭以收起托架48、臂安装件51和臂50，以便在不使用时保护它们。基部盖52可以用膜54沿着其开口的边缘密封，以防止在关闭时灰尘和流体进入。

图8示出了被构造用于输尿管镜检查规程的机器人使能的基于台的系统的实施方案。在输尿管镜检查中，台38可以包括用于将患者定位成与柱37和台基部46成偏角的旋转部分55。旋转部分55可以绕枢转点(例如，位于患者的头部下方)旋转或枢转，以便将旋转部分55的底部部分定位成远离柱37。例如，旋转部分55的枢转允许C形臂(未示出)定位在患者的下腹部上方，而不与台38下方的柱(未示出)竞争空间。通过绕柱37旋转托架35(未示出)，机器人臂39可以沿着虚拟轨道57将输尿管镜56直接插入患者的腹股沟区域中以到达尿道。在输尿管镜检查中，镫58也可以固定至台38的旋转部分55，以在规程期间支撑患者的腿的方位，并且允许完全通向患者的腹股沟区域。

在腹腔镜规程中，通过患者的腹壁中的小切口，可将微创器械(细长形状以适应一个或多个切口的尺寸)插入患者的解剖结构中。在对患者的腹腔充胀之后，可以引导通常称为腹腔镜的器械以执行手术任务，诸如抓取、切割、切除、缝合等。图9示出了被构造用于腹腔镜规程的机器人使能的基于台的系统的实施方案。如图9所示，系统36的托架43可以被旋转并且竖直调整，以将成对的机器人臂39定位在台38的相对侧上，使得可以使用臂安装件45将腹腔镜59定位成穿过患者两侧上的最小切口以到达他/她的腹腔。

为了适应腹腔镜规程，机器人使能台系统还可将平台倾斜到期望的角度。图10示出了具有俯仰或倾斜调整的机器人使能医疗系统的实施方案。如图10所示，系统36可以适应台38的倾斜，以将台的一部分定位在比另一部分距地面更远的距离处。另外，臂安装件45可以旋转以匹配倾斜，使得臂39与台38保持相同的平面关系。为了适应更陡的角度，柱37还可以包括伸缩部分60，该伸缩部分允许柱37的竖直延伸以防止台38接触地板或与基部46碰撞。

图11提供了台38与柱37之间的接口的详细图示。俯仰旋转机构61可以被构造成以多个自由度改变台38相对于柱37的俯仰角。俯仰旋转机构61可以通过将正交轴线1、2定位在柱台接口处来实现，每条轴线由单独的马达3、4响应于电俯仰角命令而致动。沿着一个螺钉5的旋转将使得能够在一条轴线1中进行倾斜调整，而沿着另一个螺钉6的旋转将使得能够沿着另一个轴线2进行倾斜调节。

例如，当试图将台定位在头低脚高方位(即，将患者的下腹部定位在比患者的下腹部距地板更高的方位)以用于下腹部手术时，俯仰调整特别有用。头低脚高方位致使患者的内部器官通过重力滑向他/她的上腹部，从而清理出腹腔以使微创工具进入并且执行下腹部外科规程，诸如腹腔镜前列腺切除术。

C.器械驱动器和接口。

系统的机器人臂的端部执行器包括：(i)器械驱动器(另选地称为“器械驱动机构”或“器械装置操纵器”)，其结合了用于致动医疗器械的机电装置；以及(ii)可移除或可拆卸的医疗器械，其可以没有诸如马达的任何机电部件，诸如马达。该二分法可能是由以下所驱动的：对医学规程中使用的医疗器械进行消毒的需要；以及由于昂贵的资本设备的复杂机械组件和敏感电子器件而不能对昂贵的资本设备进行充分消毒。因此，医疗器械可以被设计成从器械驱动器(以及因此从系统)拆卸、移除和互换，以便由医师或医师的工作人员单独消毒或处置。相比之下，器械驱动器不需要被改变或消毒，并且可以被覆盖以便保护。

图12示出了示例性器械驱动器。定位在机器人臂的远侧端部处的器械驱动器62包括一个或多个驱动单元63，其以平行轴线布置以经由驱动轴64向医疗器械提供受控扭矩。每个驱动单元63包括用于与器械相互作用的单独的驱动轴64，用于将马达轴旋转转换成期望扭矩的齿轮头65，用于生成驱动扭矩的马达66，用以测量马达轴的速度并且向控制电路提供反馈的编码器67，以及用于接收控制信号并且致动驱动单元的控制电路68。每个驱动单元63被独立地控制和机动化，器械驱动器62可以向医疗器械提供多个(如图12所示为四个)独立的驱动输出。在操作中，控制电路68将接收控制信号，将马达信号传输至马达66，将由编码器67测量的所得马达速度与期望速度进行比较，并且调制马达信号以生成期望扭矩。

对于需要无菌环境的规程，机器人系统可以结合驱动接口，诸如连接至无菌覆盖件的无菌适配器，其位于器械驱动器与医疗器械之间。无菌适配器的主要目的是将角运动从器械驱动器的驱动轴传递到器械的驱动输入，同时保持驱动轴与驱动输入之间的物理分离并且因此保持无菌。因此，示例性无菌适配器可以包括旨在与器械驱动器的驱动轴和器械上的驱动输入配合的一系列旋转输入和输出。连接到无菌适配器的由薄的柔性材料(诸如透明或半透明塑料)组成的无菌覆盖件被设计成覆盖资本设备，诸如器械驱动器、机器人臂和推车(在基于推车的系统中)或台(在基于台的系统中)。覆盖件的使用将允许资本设备被定位在患者附近，同时仍然位于不需要消毒的区域(即，非无菌区)。在无菌覆盖件的另一侧上，医疗器械可以在需要消毒的区域(即，无菌区)与患者对接。

D.医疗器械。

图13示出了具有成对器械驱动器的示例性医疗器械。与被设计成与机器人系统一起使用的其他器械类似，医疗器械70包括细长轴71(或细长主体)和器械基部72。由于其用于由医师进行的手动交互的预期设计而也被称为“器械柄部”的器械基部72通常可以包括可旋转驱动输入73(例如，插座、滑轮或卷轴)，该驱动输入被设计成与延伸通过机器人臂76的远侧端部处的器械驱动器75上的驱动接口的驱动输出74配合。当物理连接、闩锁和/或耦接时，器械基部72的配合的驱动输入73可以与器械驱动器75中的驱动输出74共享旋转轴线，以允许扭矩从驱动输出74传递到驱动输入73。在一些实施方案中，驱动输出74可以包括花键，其被设计成与驱动输入73上的插座配合。

细长轴71被设计成通过解剖开口或内腔(例如，如在内窥镜检查中)或通过微创切口(例如，如在腹腔镜检查中)递送。细长轴66可以是柔性的(例如，具有类似于内窥镜的特性)或刚性的(例如，具有类似于腹腔镜的特性)，或者包含柔性部分和刚性部分两者的定制组合。当被设计用于腹腔镜检查时，刚性细长轴的远侧端部可以连接到端部执行器，该端部执行器包括由具有旋转轴线的连接叉形成的关节腕和外科工具(例如，抓握器或剪刀)，当驱动输入响应于从器械驱动器75的驱动输出74接收到的扭矩而旋转时，该外科工具可以基于来自腱的力来致动。当设计用于内窥镜检查时，柔性细长轴的远侧端部可包括可操纵或可控制的弯曲节段，该弯曲节段以基于从器械驱动器75的驱动输出74接收到的扭矩而进行关节运动和弯曲。

使用轴71内的腱沿着细长轴71传递来自器械驱动器75的扭矩。这些单独的腱(例如，拉线)可以单独地锚定至器械柄部72内的单独的驱动输入73。从柄部72，沿细长轴71内的一个或多个牵拉腔向下导向腱并且将其锚定在细长轴71的远侧部分处。在腹腔镜检查中，这些腱可以耦接到远侧安装的端部执行器，诸如腕部、抓握器或剪刀。在这样的布置下，施加在驱动输入73上的扭矩将张力传递到腱，从而致使端部执行器以某种方式致动。在腹腔镜检查中，腱可以致使关节围绕轴线旋转，从而致使端部执行器沿一个方向或另一个方向移动。另选地，腱可以连接到细长轴71的远侧端部处的抓握器的一个或多个钳口，其中来自腱的张力致使抓握器闭合。

在内窥镜检查中，腱可以经由粘合剂、控制环或其他机械固定件耦接到沿着细长轴71定位(例如，在远侧端部处)的弯曲或关节运动节段。当固定地附接到弯曲节段的远侧端部时，施加在驱动输入73上的扭矩将沿腱向下传递，从而致使较软的弯曲节段(有时称为可关节运动节段或区域)弯曲或进行关节运动。沿着不弯曲节段，可以有利的是，使单独的牵拉腔螺旋或盘旋，该牵拉腔沿着内窥镜轴的壁(或在内部)导向单独的腱，以平衡由牵拉线中的张力引起的径向力。为了特定目的，可以改变或设计螺旋的角度和/或其间的间隔，其中更紧的螺旋在负载力下呈现较小的轴压缩，而较低的螺旋量在负载力下引起更大的轴压缩，但也呈现限制弯曲。在另一种情况下，可以平行于细长轴71的纵向轴线来导向牵拉腔以允许在期望的弯曲或可关节运动节段中进行受控关节运动。

在内窥镜检查中，细长轴71容纳多个部件以辅助机器人规程。轴可以在轴71的远侧端部处包括用于部署外科工具、对手术区域进行冲洗和/或抽吸的工作通道。轴71还可以容纳线和/或光纤以向远侧末端处的光学组件/从远侧末端处的光学组件传递信号，该光学组件可以包括光学相机。轴71也可以容纳光纤，以将来自位于近侧的光源(例如，发光二极管)的光载送到轴的远侧端部。

在器械70的远侧端部处，远侧末端还可以包括用于递送用于诊断和/或治疗的工具、对手术部位进行冲洗和抽吸的工作通道的开口。远侧末端还可以包括用于相机(诸如纤维镜或数码相机)的端口，以捕获内部解剖空间的图像。相关地，远侧末端还可以包括用于光源的端口，该光源用于在使用相机时照亮解剖空间。

在图13的示例中，驱动轴轴线以及因此驱动输入轴线与细长轴的轴线正交。然而，该布置使细长轴71的滚动能力复杂化。在保持驱动输入73静止的同时沿着其轴线滚动细长轴71会引起当腱从驱动输入73延伸出去并且进入到细长轴71内的牵拉腔时，腱的不期望的缠结。所得到的这样的腱的缠结可能破坏旨在在内窥镜规程期间预测柔性细长轴的移动的任何控制算法。

图14示出了器械驱动器和器械的另选设计，其中驱动单元的轴线平行于器械的细长轴的轴线。如图所示，圆形器械驱动器80包括四个驱动单元，其驱动输出81在机器人臂82的端部处平行对准。驱动单元和它们各自的驱动输出81容纳在由组件83内的驱动单元中的一个驱动单元驱动的器械驱动器80的旋转组件83中。响应于由旋转驱动单元提供的扭矩，旋转组件83沿着圆形轴承旋转，该圆形轴承将旋转组件83连接到器械驱动器的非旋转部分84。可以通过电接触将电力和控制信号从器械驱动器80的非旋转部分84传送至旋转组件83，该电接触可以通过电刷滑环连接(未示出)的旋转来维持。在其他实施方案中，旋转组件83可以响应于集成到不可旋转部分84中的单独的驱动单元，并且因此不平行于其他驱动单元。旋转机构83允许器械驱动器80允许驱动单元及其相应的驱动输出81作为单个单元围绕器械驱动器轴线85旋转。

与先前所公开的实施方案类似，器械86可以包括细长轴部分88和器械基部87(出于讨论的目的，示出为具有透明的外部表层)，该器械基部包括被配置成接收器械驱动器80中的驱动输出81的多个驱动输入89(诸如插座、滑轮和卷轴)。与先前公开的实施方案不同，器械轴88从器械基部87的中心延伸，该器械基部的轴线基本上平行于驱动输入89的轴线，而不是如图13的设计中那样正交。

当耦接到器械驱动器80的旋转组件83时，包括器械基部87和器械轴88的医疗器械86与旋转组件83组合地围绕器械驱动器轴线85旋转。由于器械轴88被定位在器械基部87的中心处，因此当附接时器械轴88与器械驱动器轴线85同轴。因此，旋转组件83的旋转致使器械轴88围绕其自身的纵向轴线旋转。此外，当器械基部87与器械轴88一起旋转时，连接到器械基部87中的驱动输入89的任何腱在旋转期间都不缠结。因此，驱动输出81、驱动输入89和器械轴88的轴线的平行允许轴在不会使任何控制腱缠结的情况下旋转。

E.导航和控制。

传统的内窥镜检查可以涉及使用荧光透视(例如，如可以通过C形臂递送的)和其他形式的基于辐射的成像模态，以向操作医师提供腔内指导。相比之下，本公开所设想的机器人系统可以提供基于非辐射的导航和定位装置，以减少医师暴露于辐射并且减少手术室内的设备的量。如本文所用，术语“定位”可以指确定和/或监测对象在参考坐标系中的方位。诸如术前标测、计算机视觉、实时EM跟踪和机器人命令数据的技术可以单独地或组合地使用以实现无辐射操作环境。在仍使用基于辐射的成像模态的其他情况下，可以单独地或组合地使用术前标测、计算机视觉、实时EM跟踪和机器人命令数据，以改进仅通过基于辐射的成像模态获得的信息。

图15是示出根据示例实施方案的估计机器人系统的一个或多个元件的位置(诸如器械的位置)的定位系统90的框图。定位系统90可以是被配置成执行一个或多个指令的一组一个或多个计算机装置。计算机装置可以由上文讨论的一个或多个部件中的处理器(或多个处理器)和计算机可读存储器来体现。通过示例而非限制，计算机装置可以位于图1所示的塔30、图1-图4所示的推车、图5-图10所示的床等中。

如图15所示，定位系统90可以包括定位模块95，该定位模块处理输入数据91-94以生成用于医疗器械的远侧末端的位置数据96。位置数据96可以是表示器械的远侧端部相对于参考系的位置和/或取向的数据或逻辑。参考系可以是相对于患者解剖结构或已知对象(诸如EM场发生器)的参考系(参见下文对于EM场发生器的讨论)。

现在更详细地描述各种输入数据91-94。术前标测可以通过使用低剂量ct扫描的集合来完成。术前CT扫描被重建为三维图像，该三维图像被可视化，例如作为患者的内部解剖结构的剖面图的“切片”。当总体上分析时，可以生成用于患者的解剖结构(诸如患者肺网络)的解剖腔、空间和结构的基于图像的模型。可以从CT图像确定和近似诸如中心线几何形状的技术，以形成患者的解剖结构的三维体积，其被称为术前模型数据91。中心线几何形状的使用在美国专利申请14/523,760中有所讨论，其内容全文并入本文中。网络拓扑模型也可以从CT图像中导出，并且特别适合于支气管镜检查。

在一些实施方案中，器械可以配备有相机以提供视觉数据92。定位模块95可处理视觉数据以实现一个或多个基于视觉的位置跟踪。例如，术前模型数据可以与视觉数据92结合使用，以实现对医疗器械(例如，内窥镜或推进通过内窥镜的工作通道的器械)的基于计算机视觉的跟踪。例如，使用术前模型数据91，机器人系统可以基于内窥镜的行进预期路径根据模型生成预期内窥镜图像的库，每个图像链接到模型内的位置。在操作中，机器人系统可以参考该库，以便将在摄像相机(例如，在内窥镜的远侧端部处的相机)处捕获的实时图像与图像库中的那些图像进行比较，以辅助定位。

其他基于计算机视觉的跟踪技术使用特征跟踪来确定相机的运动，并且因此确定内窥镜的运动。定位模块95的一些特征可以识别术前模型数据91中的与解剖腔对应的圆形几何结构并且跟踪那些几何结构的变化以确定选择了哪个解剖腔，以及跟踪相机的相对旋转和/或平移运动。拓扑图的使用可以进一步增强基于视觉的算法或技术。

光流(另一种基于计算机视觉的技术)可以分析视觉数据92中的视频序列中的图像像素的位移和平移以推断相机移动。光流技术的示例可以包括运动检测、对象分割计算、亮度、运动补偿编码、立体视差测量等。通过多次迭代的多帧比较，可以确定相机(以及因此内窥镜)的移动和位置。

定位模块95可以使用实时EM跟踪来生成内窥镜在全局坐标系中的实时位置，该全局坐标系可以被配准到由术前模型表示的患者的解剖结构。在EM跟踪中，包括嵌入在医疗器械(例如，内窥镜工具)中的一个或多个位置和取向中的一个或多个传感器线圈的EM传感器(或跟踪器)测量由定位在已知位置处的一个或多个静态EM场发生器产生的EM场的变化。由EM传感器检测的位置信息被存储为EM数据93。EM场发生器(或发射器)可以靠近患者放置，以产生嵌入式传感器可以检测到的低强度磁场。磁场在EM传感器的传感器线圈中感应出小电流，可以对该小电流进行分析以确定EM传感器与EM场发生器之间的距离和角度。这些距离和取向可以在手术中“配准”到患者解剖结构(例如，手术前模型)，以确定将坐标系中的单个位置与患者的解剖结构的手术前模型中的方位对准的几何变换。一旦配准，医疗器械的一个或多个方位(例如，内窥镜的远侧末端)中的嵌入式EM跟踪器可以提供医疗器械通过患者的解剖结构的进展的实时指示。

机器人命令和运动学数据94也可以由定位模块95使用以提供用于机器人系统的方位数据96。可以在术前校准期间确定从关节运动命令得到的装置俯仰和偏。在手术中，这些校准测量可以与已知的插入深度信息结合使用，以估计器械的方位。另选地，这些计算可以结合EM、视觉和/或拓扑建模进行分析，以估计医疗器械在网络内的方位。

如图15所示，定位模块95可以使用多个其他输入数据。例如，尽管在图15中未示出，但是利用形状感测纤维的器械可以提供定位模块95可以用来确定器械的位置和形状的形状数据。

定位模块95可以组合地使用输入数据91-94。在一些情况下，这样的组合可以使用概率方法，其中定位模块95向根据输入数据91-94中的每个输入数据确定的位置分配置信度权重。因此，在EM数据可能不可靠(如可能存在EM干扰的情况)的情况下，由EM数据93确定的位置的置信度可能降低，并且定位模块95可能更重地依赖于视觉数据92和/或机器人命令和运动学数据94。

如上所讨论的，本文讨论的机器人系统可以被设计成结合以上技术中的一种或多种技术的组合。位于塔、床和/或推车中的机器人系统的基于计算机的控制系统可以将计算机程序指令存储在例如非暂态计算机可读存储介质(诸如永久性磁存储驱动器、固态驱动器等)内，该计算机程序指令在执行时致使系统接收并且分析传感器数据和用户命令，生成整个系统的控制信号并且显示导航和定位数据，诸如器械在全局坐标系内的方位、解剖图等。

2.身体内部区域的标测和导航。

本公开的实施方案涉及用于利用机器人使能医疗器械标测和/或导航身体的内部区域的系统和技术。如将在下文中更详细地描述，该系统和技术可被配置成在器械被导航通过内部区域时生成指示器械的先前方位的视觉标记。视觉标记可叠加在内部区域的参考图像上并且显示给用户。视觉标记可从方位传感器接收的方位信息导出。方位传感器可定位在器械上。视觉标记可形成代表器械的先前方位的标测图。标测图可用于使内部区域的解剖结构可视化，并且可由医师用于导航内部区域内的器械。例如，医师可使用由视觉标记创建的标测图来导航到内部区域的先前访问部分或确定器械何时被导航到内部区域的新(即，先前未访问)部分中。

该方法和技术还可被配置成从定位在器械上的图像传感器接收图像数据。图像数据可以包括静态图像或视频。该方法和技术可将图像数据与方位数据链接，使得在特定位置处捕获的图像可被调用并显示给用户。在一些具体实施中，当用户选择方位时或者当器械定位在存在链接图像的方位处时，调用并显示图像。此外，该方法和技术可被配置成允许医师标记感兴趣的某些特征或位置。

用于利用机器人使能医疗器械标测和/或导航身体的内部区域的系统和技术可在许多医学规程诸如内窥镜规程或腹腔镜规程期间采用。该系统和技术可通过减少或消除与如下所述的常规技术相关联的一个或多个并发症或挑战来改进常规技术。在一些实施方案中，本文所述的技术可用于手动医学规程。

在本文所述示例中的许多示例中，参考用于从肾移除肾结石的输尿管镜规程来描述用于标测和/或导航身体的内部区域的系统和技术。然而，应当理解，该系统和技术可用于其中医疗器械在患者的身体的内部区域内导航的其他医学规程，诸如支气管镜检查、胃镜检查等。

A.介绍。

在输尿管镜或经皮肾结石移除规程开始和结束时，医师通常执行标测步骤。这可涉及将柔性内窥镜(诸如输尿管镜或膀胱镜)导航到第一(头侧)盏，用内窥镜上的成像装置在视觉上观察结石碎片，然后顺序地移动到下一个盏，直到到达最底部盏。医师使用该系统方法以努力确保尽管肾形态的广泛变化，但已观察到肾的所有区域。

该标测规程可能存在若干挑战。第一，这样的标测可为时间密集的。例如，每当发现并治疗碎片时，医师需要重复标测过程，再次从第一盏开始。第二，这样的标测可为辐射密集的。例如，仅基于内窥镜视图，通常不清楚内窥镜在肾脏内的位置。因此，医师通常在每个盏处拍摄荧光镜图像，并且有时拍摄选择性肾盂造影照片，以试图验证内窥镜在肾内的方位。第三，这样的标测可能容易出错。残余碎片的比率表明医师在该标测规程期间通常错过了盏。

本文所讨论的一些实施方案可涉及用于利用机器人使能医疗器械(例如，内窥镜、输尿管镜、膀胱镜等)标测和/或导航身体的内部区域(例如，肾或其他区域)的系统和技术，该系统和技术可改善上述标测技术并且/或者减少或消除相关联挑战中的一个或多个挑战。例如，在一些具体实施中，本文所讨论的用于标测和/或导航的系统和技术可增加医师对她已将器械导航通过肾的每个盏的信心，同时减少辐射的量和标测所需的规程时间。

在一些具体实施中，用于标测和/或导航的系统和技术可为医师提供器械的方位的连续跟踪以及解剖结构的标测样环境。此外，在一些具体实施中，用内窥镜和感兴趣的位置上的成像装置拍摄的图像的标记进一步增强了通知医师器械当前在解剖结构内的位置的能力。

例如，包括内置于其远侧末端(或该镜上的其他地方)中的EM传感器(或其他方位传感器)的柔性输尿管镜或柔性膀胱镜可通过用于导航肾的内窥镜的工作通道插入。EM传感器可提供指示器械的方位(例如，位置和/或取向)的方位数据。如将在下文更详细地描述，除了EM传感器之外或代替EM传感器，还可使用用于确定器械的方位的其他传感器和方法(例如，形状感测纤维、阻抗跟踪或其他形式的定位)。从方位信息导出的视觉标记可被显示给医师。在一些具体实施中，视觉标记叠加在解剖结构的参考图像(例如，术前CT图像或者术中或术前逆行性肾盂造影照片)的顶部上。方位数据可以例如与一个、两个或三个点配准配准，以将方位数据的坐标系与参考图像的坐标系对准。

可以以多种方式实现方位数据的坐标系与参考图像的坐标系的配准。例如，可将镜导航到可从镜的视角(例如，在利用镜上的成像装置捕获的图像中)和/或在参考图像中，诸如从镜的视角和在参考图像中两者，识别的解剖结构内的一个或多个特征。当定位在所识别的解剖特征处时，来自镜的方位数据可用于将方位数据的坐标系与参考图像的坐标系对准。在一些示例中，就肾而言，可使用镜上的成像装置将镜导航到肾的漏斗中的一个或多个漏斗。来自EM传感器的关于漏斗方位的方位数据可以与参考图像中的漏斗方位对准，以实现配准。用于基于图像的配准的其他方法(即，将利用镜上的成像装置捕获的图像中识别的方位与参考图像中的方位相关)也是可能的。作为另一个配准示例，当镜定位在解剖结构内时，可捕获解剖结构的参考图像或另一个图像(例如，CT图像)，使得镜本身出现在图像中。经由方位数据(例如，从EM数据)确定的镜的方位和镜在图像中的方位可用于对准方位数据和参考图像两者的坐标系。其他配准方法也是可能的。

在一些具体实施中，在配准之后，当器械在内部区域内移动时，器械的方位可显示在参考图像上。在一些实施方案中，视觉标记被显示为指示器械的历史(例如，先前)方位的面包屑(例如，数据点、迹线或任何其他合适的视觉指示器)。所显示的视觉标记可帮助医师验证肾的所有盏都已用器械导航。在一些具体实施中，当医师导航器械通过肾时，所显示的视觉标记形成表示肾的解剖结构的标测图。医师可使用该标测图来重新访问肾内的先前访问位置和/或确定器械当前是否定位在新的(即，先前未访问的)盏内。

在一些具体实施中，视觉标记可包括代表肾的解剖结构的三维网格结构。这样，当医师导航器械通过肾时，视觉标记可构建肾的先前访问的解剖结构的三维模型。在一些具体实施中，网格从EM传感器接收的方位信息导出，以及在一些情况下，从器械上的成像装置接收的图像数据导出。

本文所述的用于标测和/或导航的系统和技术可允许在将器械导航穿过解剖结构时标记感兴趣的位置和/或特征。例如，当医师正在导航时，她可以“标记”感兴趣的点，诸如“盏1”、“上极”、“大结石”等。在一些具体实施中，当点被标记时，图像(例如，用器械上的成像装置拍摄)与拍摄位置的方位(例如，可由EM传感器确定)一起自动保存。标记点可显示在参考图像上，并且系统可允许用户添加补充数据，诸如标签或书面描述。在一些具体实施中，在后续导航期间(在相同或后续规程期间)，本文所述的用于标测和/或导航的系统和技术可确定器械何时定位在先前标记点附近并且调出保存的图像以供参考或允许用户基于用户选择来调用标记点。

除了能够创建肾的三维标测图之外，用于标测和/或导航的系统和技术可用于将记录的图像或视频(例如，用器械上的成像装置拍摄)与其在肾内的解剖位置和取向相关。这可允许医师理解他们正在查看哪个盏和/或允许他们从特定位置调用图像。

将从EM传感器接收的方位信息导出的视觉标记叠加到解剖结构的参考图像上可允许医师将数据置于上下文中。这可允许医师使解剖结构和器械在解剖结构内的方位可视化。这可进一步允许医师识别她可能错过的肾的任何区域。标记可进一步增强医师理解视觉标记的能力，并且调用标记位置的图像可允许医师执行标记位置与先前观察到的位置相同的视觉确认。这些系统和技术可减少规程时间、辐射暴露和/或遗漏盏的错误率。

目前，常规输尿管镜检查依赖于多个荧光透视图像来确认输尿管镜已经到达每个盏。通常，肾在规程期间未填充造影剂，这意味着只有极少的解剖标志来确认是否已进入正确的盏。

例如，图16A-图16C示出了在输尿管镜规程期间拍摄的三个示例性荧光镜图像。图16A是示出在肾103内导航的器械的第一示例性荧光镜图像101a。如图像101a中所示，肾103的轮廓是可见的，但肾103的特定内部结构不是显而易见的。在肾103内导航的器械105在第一方位是可见的。第一方位可以是肾103的第一盏。医师可拍摄图像101a以验证器械105定位在第一盏内。图16B是示出处于肾103内的第二方位的器械105的第二示例性荧光镜图像101b。第二方位可以是肾103的第二盏。医师可拍摄图像101b以验证器械105定位在第二盏内。图16C是示出处于肾103内的第三方位的器械105的第三示例性荧光镜图像101c。第三方位可以是第三盏。医师可拍摄图像101c以验证器械105定位在第三盏内。如图16A-图16C所示，在常规输尿管镜规程期间，医师必须在导航的不同阶段拍摄多个荧光镜图像，以试图确定器械在肾103内的位置。如上所述，这可能是不利的，因为它需要多次暴露于辐射，耗时并且可能容易出错。

图17示出了指示、表示或从在肾内导航的器械的方位传感器接收的方位数据导出的视觉标记110的示例性表示。在图示的示例中，方位数据的视觉标记110被显示为迹线。在一些实施方案中，迹线可包括由线连接的一系列点。迹线可指示器械在肾内导航时行进的路径。如图所示，路径可形成可表示内部区域的解剖结构的标测图。视觉标记110和/或方位数据可表示当器械的末端在行进穿过肾时该末端的连续或接近连续的方位跟踪。视觉标记110可产生有用的图像或标测图，尤其是当叠加在内部区域的参考图像上时。

图18示出了叠加在肾的参考图像115上的图17的视觉标记110的表示。在该上下文中，视觉标记110提供可用于辅助导航的解剖结构的标测图。此外，医师可标记某些感兴趣的位置。标记信息也可叠加到参考图像上。例如，在图18的示例中，肾的七个盏被标记。

在一些具体实施中，可导出代表内部区域的解剖结构的视觉标记110。例如，如图18所示，解剖结构的轮廓117可从方位数据和/或视觉标记110导出并且叠加到参考图像上。在图示实施方案中，轮廓117被示出为解剖结构的二维表示；然而，在一些具体实施中，轮廓117可包括代表解剖结构的三维网格。因此，轮廓117可提供内部区域的模型，该模型可有助于医师在规程期间导航。

现在将参考若干具体示例性方法和系统更详细地描述用于标测和导航身体的内部区域的方法和系统的这些和其他特征和优点。所描述的方法和系统仅通过示例提供，并且旨在说明本公开的原理。本公开不应仅限于所描述的示例。

B.用于标测和导航身体内部区域的示例性方法和系统。

图20A是示出用于标测身体的内部区域的示例性方法200的流程图。方法200可在某些机器人系统中实现，诸如图1-图15和图22中所示的机器人系统以及其他机器人系统。在一些具体实施中，一个或多个计算机装置可被配置成执行方法200。计算机装置可以由例如上文或下文讨论的一个或多个部件中的处理器(或多个处理器)和计算机可读存储器来体现。计算机可读存储器可存储可由处理器执行以执行方法200的指令。指令可包括一个或多个软件模块。通过示例而非限制，计算机装置可以位于图1所示的塔30、图1-图4所示的推车、图5-图10所示的床等中。

方法200可例如在医疗器械例如在各种医学规程(例如，内窥镜和/或腹腔镜规程)期间在身体的内部区域内导航时执行。内部区域可为例如器官、内腔、内腔网络和/或腔等。在一些具体实施中，当器械被引入内部区域中时，可启动方法200。方法200可自动触发(例如，在事件初始化或检测时)或手动触发(例如，在接收到用户输入或命令时)。

方法200在框201处开始，在该框处显示身体的内部区域的参考图像。参考图像可表示或示出身体的内部区域。在一些具体实施中，参考图像可以是例如以下各种中的一项或多项：在逆行性肾盂造影规程期间捕获的图像、荧光镜图像、超声图像、在计算机断层摄影(CT)规程期间捕获的图像、以及在磁共振成像(MRI)规程期间捕获的图像、或任何其他类型的医学图像。

在一些具体实施中，可以在手术中捕获参考图像。例如，可以在实现方法200的医学规程期间捕获参考图像。在此类情况下，方法200可以包括用于捕获参考图像的步骤。在一些具体实施中，可以在术前捕获参考图像。例如，在规程之前(例如，在先前规程期间或对医师的先前访问期间)拍摄的内部区域的图像可用作参考图像。

参考图像可被显示给执行医学规程的医师。如前所述，参考图像可提供内部区域的解剖结构的一些指示。然而，在一些具体实施中，单独的参考图像可能不能为医师提供足够的细节来完全理解解剖结构。例如，如图16A-图16C的示例性荧光镜图像所示，荧光镜图像可仅提供内部区域的大致轮廓。在图16A-图16C中，可以看到肾103的大致形状，而肾的特定内部解剖结构和布局(例如，极、盏等)不完全可见。

如下面将更详细地讨论的，参考图像可以提供上下文，从器械上的方位传感器接收的方位信息导出的视觉标记可以叠加到该上下文上。

方法200可减少规程期间的辐射暴露量或完全消除该辐射暴露。例如，在一些具体实施中，当捕获参考图像时，患者在规程期间仅暴露于辐射一次。相比之下，在常规输尿管镜规程期间，医师通常在整个规程期间拍摄多个荧光镜图像(使患者暴露于多个辐射剂量)，如上文所讨论。图16A-图16C示出了示例性荧光镜图像，所有这些荧光镜图像都可以在单个输尿管镜规程期间捕获。在常规的输尿管镜规程中，医师可依赖于连续的荧光镜图像来确定每个盏已被访问。然而，在方法200的一些具体实施中，仅需要捕获单个参考图像，从而限制患者所暴露于的辐射量。此外，在方法200的一些具体实施中，可通过例如使用先前在先前规程或医师访问期间捕获的参考图像来完全消除规程期间的辐射暴露。

在框203处，方法200涉及在身体的内部区域内移动(例如，导航)器械。器械可以是例如上述内窥镜13(图1)、输尿管镜32(图3)、器械34(图4)、输尿管镜56(图8)、腹腔镜59(图9)、器械70(图13)或器械86(图14)，或本文所述的任何其他医疗器械，诸如下文所述的器械401(图22)。在一些具体实施中，器械可以是由能机器人使能医疗系统控制的能机器人使能器械，如本公开通篇所述。在一些实施方案中，所述器械可为手动控制的器械。

器械可包括至少一个方位传感器。方位传感器可被配置成提供关于器械的方位(例如，位置和/或取向)的方位信息。方位传感器可以是例如如上所述的EM传感器。EM传感器可以被配置成提供关于EM传感器在由EM场发生器生成的EM场内的方位(例如，位置和/或取向)的方位信息。在一些具体实施中，方位传感器可以是定位在器械上的EM场发生器。EM场发生器的方位可以相对于定位在患者体外的多个EM传感器来确定，以确定器械的方位。在一些具体实施中，可使用其他类型的方位传感器。例如，方位传感器可以是形状感测纤维(例如，光纤形状传感器)、阻抗跟踪器、加速度计、陀螺仪、超声传感器或用于确定器械的方位的任何其他类型的传感器。

方位传感器中的一个或多个方位传感器可定位在器械上。例如，方位传感器中的一个或多个方位传感器可定位在器械的远侧末端上。在一些具体实施中，方位传感器中的一个或多个方位传感器不定位在器械上。例如，方位传感器可以是器械的近侧端部上或器械所附接到的机器人臂的马达组上的扭矩传感器。方位传感器的其他示例可包括由机器人使能医疗系统命令的可用于对器械的估计姿势和方位进行建模的移动数据，和/或从图像上的成像装置接收的可被分析以确定器械的移动和方位的视觉数据。

在方法200的一些具体实施中，医师通过例如向机器人使能医疗系统提供命令来控制器械在内部区域内的移动。医师可控制器械的移动以在内部区域内导航器械。例如，在输尿管镜肾结石移除规程期间，医师可将器械导航到待移除的结石，或者如前所述，医师可将器械导航通过肾的每个盏，从而目视检查每个盏以验证结石和结石碎片已被移除。作为另一个示例，医师可将器械导航到感兴趣的区域。例如，医师可将器械导航到移行细胞癌的区域以监测、活检、治疗或切除该区域。如下所述，可通过从方位传感器接收的方位信息导出的视觉标记来辅助器械的移动或导航，该视觉标记已叠加在参考图像上。

在框205处，方法200涉及从至少一个方位传感器接收方位信息。如上所述，方位信息可指示器械的方位(例如，位置和/或取向)。在一些具体实施中，方位信息可包括器械的三自由度方位。例如，方位信息可包括表示器械在笛卡尔坐标系内的方位的x、y和z坐标。也可使用其他坐标系(例如，极坐标系)。在一些具体实施中，方位信息可包括器械的较高自由度方位。例如，方位信息可包括五自由度方位，其包括例如位置的x、y和z坐标以及器械的俯仰角和偏航角的指示，其指示器械的取向。器械的六自由度方位还可包括器械的辊信息。

在一些具体实施中，方位信息包括多个方位数据集。每个方位数据集可指示在器械的移动期间器械的方位(例如，位置和/或取向)。在一些具体实施中，当器械移动通过内部区域时，连续生成方位数据集。每个方位数据集可指示器械在特定时间点的方位。因此，方位数据集可包括器械的历史方位的日志。

在框207处，方法200涉及将从方位信息导出的视觉标记叠加到参考图像上以表征器械的历史方位。例如，框207可涉及将从方位数据集的至少一子集导出的视觉标记叠加在参考图像上，以表征在身体的内部区域内的移动期间器械的历史方位。叠加的视觉标记可形成标测图，该标测图可有助于医师导航内部区域。视觉标记可表示器械在导航内部区域时行进的路径。视觉标记可经由用户显示器显示给医师，叠加在参考图像的顶部上。因此，参考图像提供理解和可视化所显示的视觉标记的上下文。

在一些具体实施中，视觉标记可包括对应于方位数据集的至少一子集的点(例如，面包屑)。可将这些点绘制到参考图像上以显示器械的历史方位。这些点可由多种视觉标记表示。例如，视觉标记可被表示为任何合适的形状或标记，诸如点、虚线、X形、其他形状等。

可使用各种标准来确定何时将视觉标记叠加到参考图像上(即，视觉标记叠加的频率)。这些标准可包括例如器械行进的距离(例如，自先前视觉标记以来行进的距离)、行进方向、自先前叠加的视觉标记以来经过的时间等。本领域的技术人员将会理解，可以改变这些标准以确定生成视觉标记并叠加到参考图像上的频率以及连续视觉标记之间的距离。

在一些具体实施中，方位数据集的子集以持续时间频率叠加在参考图像上。持续时间频率可包括叠加的视觉标记之间的时间。例如，视觉标记可约每0.05秒叠加，即，以约0.05秒的时间间隔叠加。在其他示例中，视觉标记可以以约0.1秒、约0.25秒或约0.5秒的时间间隔，以及比列出的示例短和长的其他持续时间叠加。在一些实施方案中，持续时间频率可变化。例如，在每个叠加的视觉标记之间不需要固定的持续时间。

在一些具体实施中，方位数据集的子集以方位频率叠加在参考图像上。方位频率可包括叠加的视觉标记之间的距离。例如，视觉标记可以以约0.05mm、约0.1mm、约0.25mm、约0.5mm、约1.0mm、或约2.0mm的间隔，以及比列出的示例短和长的其他距离叠加。在一些实施方案中，方位频率可变化。例如，在每个叠加的视觉标记之间不需要固定的距离。

在一些具体实施中，视觉标记基本上连续地叠加到参考图像上，以便形成表示器械的历史方位的连续迹线(参见例如图17和图18)。在一些具体实施中，可连接以持续时间或方位频率(例如，作为离散点)叠加的视觉标记以显示器械的移动的历史路径。例如，在一些具体实施中，线可用来连接相邻的叠加的视觉标记。在另一个示例中，可将曲线拟合到叠加的视觉标记。

当医师导航器械通过内部区域并且视觉标记叠加在参考图像上时，视觉标记可开始形成标测图。标测图可表示器械的历史方位。标测图还可表示内部区域的解剖结构。例如，当医师导航进入和离开每个盏时，由视觉标记形成的路径可表示每个盏的结构。医师可使用该标测图来确定器械当前正被导航到新的(即，先前未访问的)盏还是返回到先前访问的盏。

在一些具体实施中，叠加在参考图像上的视觉标记可包括表示内部区域的解剖结构的网格。例如，在一些情况下，可围绕方位数据集拟合管状结构，以形成表示解剖结构的三维网格或模型。管状结构的直径或其他形状可基于器械在内部区域内的移动来确定。在一些具体实施中，基于从定位在器械上的成像装置接收的方位数据集和图像来确定管的直径或其他形状。例如，该方法可根据在给定方位处捕获的图像来估计管在该方位处的直径。由此，可开发出表示内部区域的解剖结构的三维网格并且将其显示为叠加到参考图像上的视觉标记。

在一些情况下，视觉标记可随时间推移而变化。例如，视觉标记可随时间推移而淡出，使得最近行进的部分比先前行进的部分更暗。作为另一个示例，来自内部区域的不同区域的视觉标记可表示为不同颜色(参见例如图17和图18)，其中不同颜色由不同类型的虚线表示。例如，不同的颜色可用于示出通过每个不同的盏的路径。

在一些具体实施中，数据可与视觉标记相关联。例如，医师可创建包含与某些视觉标记相关联的数据的便笺。用户可经由命令控制台输入数据，并且可经由显示器查看数据。

叠加在参考图像上的视觉标记可以在术中(在规程期间)向用户显示。叠加在参考图像上的视觉标记可以被存储或保存以供在未来的医学规程期间使用。

在一些具体实施中，方法200可包括一个或多个附加步骤。例如，方法200可包括下文所述的方法300(图21A)和/或方法320(图21B)的步骤中的一个或多个步骤。

方法200还可操作以标记感兴趣的位置或特征。例如，方法200可包括从定位在器械上的成像装置接收并显示当前图像。查看图像的医师可确定图像包含感兴趣的位置或特征。例如，内科医师可确定图像包含盏的入口、肾的极、移行细胞癌的区域、肾结石、结石碎片等。医师可标记该位置。医师可输入与标记的位置相关的数据。标记的位置和/或输入数据可叠加在参考图像上(参见例如图18，其示出了已标记的肾的七个盏)。

在一些具体实施中，方法200可操作以自动检测和标记感兴趣的特征。例如，可处理和分析从器械上的成像装置接收的图像，以确定它们是否包含器械的任何位置或特征。例如，自动化过程可检测图像内的结石、结石碎片或盏的入口，并自动标记这些位置。如前所述，可以将标记的位置和/或相关联的数据叠加到参考图像上。

在一些具体实施中，方法200可操作以调整由方位传感器确定的方位以考虑生理移动，并且将调整的方位叠加在参考图像上。例如，移动传感器可定位在患者身上。移动传感器可检测患者的移动(例如，呼吸)，并且调整由方位传感器确定的方位以考虑患者的移动。

图20B是示出用于标测身体的内部区域的另一种示例性方法220的流程图。方法220可在某些机器人系统中实现，诸如图1-图15和图22中所示的机器人系统以及其他机器人系统。在一些具体实施中，一个或多个计算机装置可被配置成执行方法220。计算机装置可以由例如上文或下文讨论的一个或多个部件中的处理器(或多个处理器)和计算机可读存储器来体现。计算机可读存储器可存储可由处理器执行以执行方法220的指令。指令可包括一个或多个软件模块。通过示例而非限制，计算机装置可以位于图1所示的塔30、图1-图4所示的推车、图5-图10所示的床等中。

方法220可例如在医疗器械例如在各种医学规程(例如，内窥镜和/或腹腔镜规程)期间在身体的内部区域内导航时执行。内部区域可为例如器官、内腔、内腔网络和/或腔等。在一些具体实施中，当器械被引入内部区域中时，可启动方法220。方法220可自动触发(例如，在事件初始化或检测时)或手动触发(例如，在接收到用户输入或命令时)。

方法220在框221处开始，在该框处，器械在身体的内部区域内移动。在框223处，方法220涉及从方位传感器接收器械的方位信息。框221、223可类似于先前已描述的方法200的框203、205。为简明起见，此处不再描述框221、223的特征。

在框225处，方法220涉及显示从方位信息导出的视觉标记以表征身体的内部区域的结构。在许多方面，框225类似于方法200的框207。然而，与方法200的框207相比，框225不一定涉及将视觉标记叠加到参考图像上。实际上，在一些具体实施中，方法220可以根本不涉及使用参考图像。相反，框225可涉及直接向用户显示从方位信息导出的视觉标记(即，不参考任何参考图像)。此类视觉标记的示例在图17中示出，其示出了表示为视觉标记110的方位信息。如图17所示，尽管未示出参考图像，但在一些情况下，单独的视觉标记110可足以表征身体内部区域的结构。例如，通过遵循图17中的视觉标记110的迹线，医师可获得对内部区域的先前导航区域的大致解剖结构的理解。在框225处显示的视觉标记110可为本文所述的任何类型的视觉标记，包括在离散点处显示的视觉标记、由线连接或配有线的视觉标记、表示解剖结构的网格等。

方法220可有利地在器械导航通过内部区域时构建身体的内部区域的模型或标测图。在一些情况下，医师可使用模型或标测图来返回到先前访问的位置或确定器械何时导航到内部区域的新部分中。在一些情况下，器械在内部区域内导航得越多，标测图或模型变得越清晰。

在一些具体实施中，方法220可包括一个或多个附加框。例如，方法220可包括下文所述的方法300(图21A)和/或方法320(图21B)的框中的一个或多个框。

图21A是示出用于导航身体的内部区域的示例性方法300的流程图。方法300可在某些机器人系统中实现，诸如图1-图15和图22中所示的机器人系统以及其他机器人系统。在一些具体实施中，一个或多个计算机装置可被配置成执行方法300。计算机装置可以由例如上文或下文讨论的一个或多个部件中的处理器(或多个处理器)和计算机可读存储器来体现。计算机可读存储器可存储可由处理器执行以执行方法300的指令。指令可包括一个或多个软件模块。通过示例而非限制，计算机装置可以位于图1所示的塔30、图1-图4所示的推车、图5-图10所示的床等中。

方法300可例如在医疗器械例如在各种医学规程(例如，内窥镜和/或腹腔镜规程)期间在身体的内部区域内导航时执行。内部区域可为例如器官、内腔、内腔网络和/或腔等。在一些具体实施中，当器械被引入内部区域中时，可启动方法300。方法300可自动触发(例如，在事件初始化或检测时)或手动触发(例如，在接收到用户输入或命令时)。

方法300在框301处开始，在该框处，器械在身体的内部区域内移动。器械可以是例如上述内窥镜13(图1)、输尿管镜32(图3)、器械34(图4)、输尿管镜56(图8)、腹腔镜59(图9)、器械70(图13)或器械86(图14)，或本文所述的任何其他医疗器械，诸如下文所述的器械401(图22)。在一些具体实施中，器械可以是由能机器人使能医疗系统控制的能机器人使能器械，如本公开通篇所述。

器械可包括方位传感器，诸如EM传感器、EM场发生器、形状感测纤维(例如，光纤形状传感器)、阻抗跟踪器、加速度计、陀螺仪、超声传感器或用于确定器械的方位的任何其他类型的传感器。

在方法300的一些具体实施中，医师通过例如向机器人使能医疗系统提供命令来控制器械在内部区域内的移动，如前所述。医师可控制器械的移动以将器械导航到内部区域内的期望位置，如前所述。

在框303处，方法300涉及在器械的移动期间从器械的至少一个方位传感器接收方位信息。方位信息可指示如前所述的器械的方位(例如，位置和/或取向)。在一些具体实施中，方位信息可包括器械的三自由度方位。在一些具体实施中，方位信息可包括器械的较高自由度方位，诸如五自由度方位或六自由度方位。

在一些具体实施中，方位信息包括多个方位数据集。每个方位数据集可指示在器械的移动期间器械的方位(例如，位置和/或取向)。在一些具体实施中，当器械移动通过内部区域时，连续生成方位数据集。每个方位数据集可指示器械在特定时间点的方位。因此，方位数据集可包括器械的历史方位的日志。

在框305处，方法300涉及在器械的移动期间从内部区域内的器械的成像装置接收图像数据。成像装置可以是被配置成将表示所接收的光的能量转换成电信号的任何光敏衬底或结构，例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器。在一些示例中，成像装置可包括一个或多个光纤。例如，成像装置可为光纤束，该光纤束被配置成将表示图像的光从器械的远侧端部传输到图像传感器。由成像装置捕获的图像可作为单个帧或作为一系列连续帧(例如，视频)传输到计算机系统以用于存储或显示。

图像数据可包括由成像装置在内部区域内的一个或多个位置处捕获的一个或多个图像或视频。在一些具体实施中，成像装置被配置成自动捕获图像数据。例如，成像装置可被配置成以持续时间频率捕获图像。持续时间频率可包括所捕获的图像之间的时间。例如，可以以约0.05秒、约0.1秒、约0.25秒或约0.5秒的间隔以及比列出的示例更短和更长的其他持续时间来捕获图像。在一些实施方案中，持续时间频率可变化。例如，在每个所捕获的图像之间不需要固定的持续时间。成像装置可被配置成以方位频率捕获图像。例如，方位频率可包括由器械在所捕获的图像之间移动的距离。例如，图像可以以约0.05mm、约0.1mm、约0.25mm、约0.5mm、约1.0mm、或约2.0mm的间隔，以及比列出的示例短和长的其他距离捕获。在一些实施方案中，方位频率可变化。例如，在每个所捕获的图像之间不需要固定距离。在一些实施方案中，基本上连续地捕获图像。

在一些具体实施中，在接收到用户命令后捕获图像。例如，医师可选择何时捕获图像。

在框307处，方法300涉及基于由方位传感器确定的捕获每个图像的方位，将一个或多个图像的至少一子集与方位数据集的至少一子集链接。例如，对于一个或多个图像的至少一子集，在拍摄图像的方位处接收的方位数据可以链接到图像(例如，与图像一起保存)。图像可与三自由度方位(例如，空间中的点)链接。图像还可与取向信息链接，例如，通过将图像与更高阶的自由度方位(诸如先前所述的五自由度方位或六自由度方位)链接。在框307处，方法300可创建与捕获图像的方位相关联或链接的图像数据库。如下所述，可基于图像的相关联或链接方位从数据库调用图像以显示给医师。

在一些具体实施中，所有捕获的图像与其相关联的方位数据集链接。在一些具体实施中，仅一个或多个图像的子集与其相关联的方位数据集链接。该子集可以以持续时间频率(例如，约0.1秒、约0.25秒、约0.5秒或约1.0秒的持续时间频率)或方位频率(例如，约0.1mm、约0.25mm、约0.5mm或约1.0mm的方位频率)被选择。

在框309处，方法300涉及确定包括方位选择的用户输入。在一些具体实施中，确定用户命令包括接收用户命令。例如，用户可选择内部区域内的方位。在一些具体实施中，用户从所显示的视觉标记中选择方位。在一些具体实施中，用户选择相对于参考图像的方位。

在框311处，方法300涉及显示链接图像中的与方位选择对应的链接图像。例如，可从先前所述的数据库检索链接到所选择的方位的图像。在一些具体实施中，如果没有对应于所选择的方位的链接图像，则方法300检索并显示最紧密地对应于所选择的方位的链接图像。

因此，方法300可允许用户查看对应于内部区域内的特定位置的图像。这可有利于在内部区域内进行导航。这可有助于医师找到并返回到感兴趣的特定位置或特征。在某些具体实施中，医师可将利用器械上的成像装置拍摄的当前图像与链接到内部区域内的方位的一个或多个先前拍摄的图像进行比较，以有利于器械的导航。

图21B是示出用于导航身体的内部区域的另一种示例性方法320的流程图。方法320可在某些机器人系统中实现，诸如图1-图15和图22中所示的机器人系统以及其他机器人系统。在一些具体实施中，一个或多个计算机装置可被配置成执行方法320。计算机装置可以由例如上文或下文讨论的一个或多个部件中的处理器(或多个处理器)和计算机可读存储器来体现。计算机可读存储器可存储可由处理器执行以执行方法320的指令。指令可包括一个或多个软件模块。通过示例而非限制，计算机装置可以位于图1所示的塔30、图1-图4所示的推车、图5-图10所示的床等中。

方法320可例如在医疗器械例如在各种医学规程(例如，内窥镜和/或腹腔镜规程)期间在身体的内部区域内导航时执行。内部区域可为例如器官、内腔、内腔网络和/或腔等。在一些具体实施中，当器械被引入内部区域中时，可启动方法320。方法320可自动触发(例如，在事件初始化或检测时)或手动触发(例如，在接收到用户输入或命令时)。

方法320在框321处开始，在该框处，器械在身体的内部区域内移动。器械可以是例如上述内窥镜13(图1)、输尿管镜32(图3)、器械34(图4)、输尿管镜56(图8)、腹腔镜59(图9)、器械70(图13)或器械86(图14)，或本文所述的任何其他医疗器械，诸如下文所述的器械401(图22)。在一些具体实施中，器械可以是由能机器人使能医疗系统控制的能机器人使能器械，如本公开通篇所述。

器械可包括如本公开通篇所述的至少一个方位传感器。在方法300的一些具体实施中，医师通过例如向机器人使能医疗系统提供命令来控制器械在内部区域内的移动。医师可控制器械的移动以将器械导航到内部区域内的期望位置。

在框323处，方法320涉及在器械的移动期间从器械的至少一个方位传感器接收方位信息。方位信息可指示如前所述的器械的方位(例如，位置和/或取向)。在一些具体实施中，方位信息可包括器械的三自由度方位。在一些具体实施中，方位信息可包括器械的较高自由度方位，诸如五自由度方位或六自由度方位。

在一些具体实施中，方位信息包括多个方位数据集。每个方位数据集可指示在器械的移动期间器械的方位(例如，位置和/或取向)。在一些具体实施中，当器械移动通过内部区域时，连续生成方位数据集。每个方位数据集可指示器械在特定时间点的方位。因此，方位数据集可包括器械的历史方位的日志。

在框325处，方法320涉及在器械的移动期间从内部区域内的器械的成像装置接收图像数据。图像数据可以包括内部区域的视频的一个或多个静态图像。框325可类似于方法300的框305。为了简洁起见，此处将不再描述框325的特征。

在框327处，方法320涉及基于由方位传感器确定的捕获每个图像的方位，将一个或多个图像的至少一子集与方位数据集的至少一子集链接。例如，对于一个或多个图像的至少一子集，在拍摄图像的方位处接收的方位数据可以链接到图像(例如，与图像一起保存)。框327可类似于方法300的框307。为了简洁起见，此处将不再描述框327的特征。

在框329处，方法320涉及利用至少一个方位传感器确定器械的当前方位，该当前方位对应于多个方位数据集中的当前方位数据集。例如，在框329处，方法320可确定器械在内部区域内的当前方位。

在框331处，方法320涉及显示链接图像中的与确定的当前方位对应的链接图像。因此，方法320涉及确定任何链接图像是否可用于器械的当前确定方位，并且将链接图像显示给医师是可用的。这可有利地允许医师通过将链接图像与用成像装置拍摄的当前图像进行比较来验证器械的位置。如果图像匹配，则医师可断定器械处于其先前已被导航到的位置。

方法320还可允许医师比较随时间推移拍摄的图像。例如，医师可在后续规程期间将器械导航到器械的位置(例如，移行细胞癌的区域)。方法320可检索并显示在先前规程期间拍摄的感兴趣的位置的图像。医师可比较链接图像和当前图像以确定感兴趣的位置的变化。

图19示出了链接图像的显示的示例。如图19所示，显示器120可提供解剖结构的表示。在一些实施方案中，显示器120示出解剖结构的图像(例如，荧光镜图像或其他医学图像)。在一些实施方案中，显示器120示出解剖结构的表示，诸如计算机模型。用户可选择位置121，如上文参考图21A所述。在另一个实施方案中，位置121可表示器械在解剖结构内的当前位置，例如，如上文参考图21B所述。如果链接图像123可用于所选择的位置，则链接图像123也可被显示给用户。在图示实施方案中，链接图像123示出肾结石125。

图22是示出用于标测和/或导航身体的内部区域的系统400的实施方案的某些部件的框图。在图示实施方案中，系统400包括器械401。器械401可包括被构造用于导航身体的内部区域的细长主体。在一些具体实施中，细长主体可包括工作通道，一个或多个工具可通过该工作通道插入。细长主体可为可关节运动的。即，在一些具体实施中，可控制细长主体的形状或姿势。例如，细长主体可包括可操作以调整细长主体的形状或姿势的一个或多个牵拉线或腱。

器械401还包括方位传感器402。方位传感器可被配置成提供关于器械401的方位(例如，位置和/或取向)的方位信息。方位传感器402可以是例如如上所述的EM传感器。EM传感器可以被配置成提供关于EM传感器在由EM场发生器生成的EM场内的方位(例如，位置和/或取向)的方位信息。在一些具体实施中，方位传感器可以是定位在器械上的EM场发生器。EM场发生器的方位可以相对于定位在患者体外的多个EM传感器来确定，以确定器械的方位。在一些具体实施中，可使用其他类型的方位传感器。例如，方位传感器402可以是形状感测纤维(例如，光纤形状传感器)、阻抗跟踪器、加速度计、陀螺仪、超声传感器或用于确定器械401的方位的任何其他类型的传感器。

如图所示，方位传感器402可定位在器械401上。例如，方位传感器402可定位在细长主体的远侧末端上。在一些实施方案中，方位传感器402不定位在器械401上，诸如器械401的近侧端部上或器械所附接到的机器人臂的马达组上的扭矩传感器。方位传感器的其他示例可包括由机器人使能医疗系统命令的可用于对器械的估计姿势和方位进行建模的移动数据，和/或从图像上的成像装置接收的可被分析以确定器械的移动和方位的视觉数据。

器械401还包括成像装置403。成像装置403可以是被配置成将表示所接收的光的能量转换成电信号的任何光敏衬底或结构，例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器。在一些示例中，成像装置403可包括一个或多个光纤。例如，成像装置403可为光纤束，该光纤束被配置成将表示图像的光从器械的远侧端部传输到图像传感器。由成像装置403捕获的图像可包括静态图像和/或视频。

在系统400的图示实施方案中，器械401附接到器械定位装置404。器械定位装置404可被构造成操纵器械401。例如，器械定位装置404可被构造成将器械401插入或回缩到身体的内部区域中和/或控制关节运动(即，调整器械401的形状或姿势)。例如，在一些实施方案中，器械定位装置404包括被构造成移动以推进或回缩器械401的一个或多个机器人臂。器械定位装置404还可包括如上所述的器械装置操纵器。器械装置操纵器可被构造成致动器械401的牵拉线或腱以控制器械401的关节运动。

系统400包括处理器405和存储器406。存储器406可包括将处理器405配置成执行各种方法或过程的指令。例如，存储器406可包括致使处理器405执行上述方法200(图20A)、方法220(图20B)、方法300(图21A)和/或320(图22B)的指令。

如图所示，系统400还包括医学成像装置407。医学成像装置407可以被配置成捕获身体的内部区域的参考图像。医学成像装置407可以是任何类型的医学成像器，包括例如X射线机、超声波、CT扫描仪或MRI机。医学成像装置407可以连接到处理器405和存储器406，以便提供参考图像以供使用，如上所述。

系统400还包括数据存储装置408。该数据存储装置408可以是用于存储信息的存储器，诸如硬盘驱动器、固态驱动器、闪存驱动器等。在一些具体实施中，数据存储装置408可被配置成存储从方位传感器402接收的方位信息和从成像装置403接收的图像数据。在一些具体实施中，数据存储装置408以链接到方位数据的方式存储图像数据，使得捕获每个图像的方位链接到图像。数据存储装置408还可被配置成存储在处理器405执行方法200和220时生成的视觉标记。

系统400还包括显示器409。显示器409可包括例如电子监视器(例如，液晶显示器(LCD)显示器、LED显示器或触敏显示器)、虚拟现实观看装置(例如，护目镜或眼镜)和/或其他显示装置。

显示器409可被配置成在规程期间向医师显示各种信息。例如，显示器409可显示参考图像以及叠加在其上的视觉标记。作为另一个示例，显示器409可被配置成显示与用户对方位的选择相关的一个或多个标记图像。

3.实施系统和术语。

所公开的具体实施提供了用于利用机器人使能医疗器械标测和/或导航身体的内部区域的系统、方法和设备。

应当指出的是，如本文所用，术语“耦接(couple)”、“耦接(coupling)”、“耦接(coupled)”或词语耦接的其他变型形式可以指示间接连接或直接连接。例如，如果第一部件“耦接”到第二部件，则第一部件可经由另一个部件间接连接到第二部件或直接连接到第二部件。

本文所述的标测和导航功能可作为一个或多个指令存储在处理器可读或计算机可读介质上。术语“计算机可读介质”是指可由计算机或处理器访问的任何可用介质。通过示例而非限制，这样的介质可包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、致密盘只读存储器(CD-ROM)或其他光盘存储装置、磁盘存储装置或其他磁存储装置，或可以用于存储呈指令或数据结构的形式的期望的程序代码并且可以由计算机访问的任何其他介质。应当指出的是，计算机可读介质可为有形的和非暂态的。如本文所用，术语“代码”可以指可由计算装置或处理器执行的软件、指令、代码或数据。

本文所公开的方法包括用于实现所述方法的一个或多个步骤或动作。在不脱离权利要求的范围的情况下，方法步骤和/或动作可彼此互换。换句话讲，除非正在描述的方法的正确操作需要步骤或动作的特定顺序，否则可以在不脱离权利要求的范围的情况下修改特定步骤和/或动作的顺序和/或使用。

如本文所用，术语“多个”表示两个或更多个。例如，多个部件指示两个或更多个部件。术语“确定”涵盖多种动作，并且因此，“确定”可包括计算、运算、处理、导出、调查、查找(例如，在表格、数据库或另一种数据结构中查找)、查明等。另外，“确定”可包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。另外，“确定”可包括解析、选择、挑选、建立等。

除非另有明确指明，否则短语“基于”并不意味着“仅基于”。换句话讲，短语“基于”描述“仅基于”和“至少基于”两者。

提供对所公开的具体实施的前述具体实施方式以使得本领域的任何技术人员能够制作或使用本发明。对这些具体实施的各种修改对于本领域的技术人员而言将是显而易见的，并且在不脱离本发明的范围的情况下，本文所定义的一般原理可应用于其他具体实施。例如，应当理解，本领域的普通技术人员将能够采用多个对应的替代和等同的结构细节，诸如紧固、安装、耦接或接合工具部件的等同方式、用于产生特定致动运动的等同机构、以及用于递送电能的等同机构。因此，本发明并非旨在限于本文所示的具体实施，而是被赋予符合本文所公开的原理和新颖特征的最广范围。

Claims (107)

1.一种用于标测身体的内部区域的方法，所述方法包括：

显示所述身体的内部区域的参考图像；

在所述身体的内部区域内移动器械，所述器械包括至少一个方位传感器；

从所述至少一个方位传感器接收方位信息，所述方位信息包括多个方位数据集，每个方位数据集指示在所述器械的移动期间所述器械的方位；以及

使从所述方位数据集的至少一子集导出的视觉标记叠加在所述参考图像上，以表征在所述身体的内部区域内的所述移动期间所述器械的历史方位。

2.根据权利要求1所述的方法，其中所述参考图像包括在逆行性肾盂造影规程期间捕获的图像。

3.根据权利要求1所述的方法，其中所述参考图像包括荧光镜或超声图像。

4.根据权利要求1所述的方法，其中所述参考图像在计算机断层摄影(CT)或磁共振成像(MRI)规程期间被捕获。

5.根据权利要求1所述的方法，还包括在手术中捕获所述参考图像。

6.根据权利要求1所述的方法，其中所述参考图像是手术前捕获的。

7. 根据权利要求1所述的方法，还包括：

从定位在所述器械上的成像装置接收器械图像数据，所述器械图像数据包括在所述器械的移动期间由所述成像装置捕获的多个图像；以及

对于所述多个图像的至少一子集，将所述子集的每个图像与指示捕获所述图像的方位的所述方位数据集链接。

8.根据权利要求7所述的方法，还包括存储所链接图像以供在未来规程期间使用。

9. 根据权利要求7所述的方法，还包括：

接收方位选择的用户输入；以及

显示对应于所述用户输入的链接图像。

10. 根据权利要求7所述的方法，还包括：

利用所述方位传感器确定所述器械的当前方位；以及

显示对应于所确定的当前方位的链接图像。

11.根据权利要求7所述的方法，其中所述器械图像数据被自动捕获。

12.根据权利要求7所述的方法，其中所述器械图像数据在接收到用户命令时被捕获。

13.根据权利要求1所述的方法，还包括标记所述内部区域内的感兴趣的位置或特征。

14.根据权利要求13所述的方法，其中标记包括接收用户输入。

15.根据权利要求13所述的方法，其中标记包括自动检测所述感兴趣的位置或特征。

16.根据权利要求13所述的方法，还包括将所标记的感兴趣的位置或特征叠加在所述参考图像上。

17.根据权利要求1所述的方法，还包括连接所述视觉标记以表征所述器械的移动的历史路径。

18.根据权利要求1所述的方法，其中所述视觉标记包括网格。

19.根据权利要求18所述的方法，其中所述网格指示所述内部区域的解剖结构。

20.根据权利要求19所述的方法，其中所述网格是从所述方位数据集的所述子集和从所述器械上的成像装置接收到的图像数据导出的。

21.根据权利要求1所述的方法，其中所述方位数据集的所述子集以持续时间频率叠加在所述参考图像上。

22.根据权利要求1所述的方法，其中所述方位数据集的所述子集以方位频率叠加在所述参考图像上。

23.根据权利要求1所述的方法，还包括在手术中显示所述视觉标记。

24.根据权利要求1所述的方法，还包括存储所述视觉标记以供在未来医学规程期间使用。

25. 根据权利要求1所述的方法，其中所述身体的内部区域包括肾，并且其中所述方法还包括：

将所述器械移动到所述肾的盏中；以及

标记以下项中的至少一项：所述肾的所述盏的入口、所述肾的极、所述肾内的结石和移行细胞癌的区域。

26. 根据权利要求1所述的方法，还包括：

调整由所述方位传感器确定的方位以考虑生理移动；以及

将所调整的方位叠加在所述参考图像上。

27.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质在其上存储有指令，所述指令在被执行时致使装置的处理器至少：

在身体的内部区域内移动器械；

在所述器械的移动期间从所述器械的至少一个方位传感器接收方位信息，所述方位信息包括多个方位数据集，每个方位数据集指示所述器械的方位；

显示所述身体的内部区域的图像；以及

使从所述方位数据集的至少一子集导出的视觉标记叠加在所述图像上，以表征所述器械在所述身体的内部区域内的所述移动期间所述器械的历史方位。

28.根据权利要求27所述的非暂态计算机可读存储介质，其中所述参考图像包括在逆行性肾盂造影规程期间捕获的图像。

29.根据权利要求27所述的非暂态计算机可读存储介质，其中所述参考图像包括荧光镜或超声图像。

30.根据权利要求27所述的非暂态计算机可读存储介质，其中所述参考图像在计算机断层摄影(CT)或磁共振成像(MRI)规程期间被捕获。

31.根据权利要求27所述的非暂态计算机可读存储介质，其中所述指令在被执行时进一步致使所述处理器在手术中捕获所述参考图像。

32.根据权利要求27所述的非暂态计算机可读存储介质，其中所述参考图像是手术前捕获的。

33. 根据权利要求27所述的非暂态计算机可读存储介质，其中所述指令在被执行时进一步致使所述处理器：

从定位在所述器械上的成像装置接收器械图像数据，所述器械图像数据包括在所述器械的移动期间由所述成像装置捕获的多个图像；以及

对于所述多个图像的至少一子集，将所述子集的每个图像与指示捕获所述图像的方位的所述方位数据集链接。

34.根据权利要求33所述的非暂态计算机可读存储介质，其中所述指令在被执行时进一步致使所述处理器存储所链接图像以供在未来规程期间使用。

35. 根据权利要求33所述的非暂态计算机可读存储介质，其中所述指令在被执行时进一步致使所述处理器：

接收方位选择的用户输入；以及

显示对应于所述用户输入的链接图像。

36. 根据权利要求33所述的非暂态计算机可读存储介质，其中所述指令在被执行时进一步致使所述处理器：

利用所述方位传感器确定所述器械的当前方位；以及

显示对应于所确定的当前方位的链接图像。

37.根据权利要求33所述的非暂态计算机可读存储介质，其中所述器械图像数据被自动捕获。

38.根据权利要求33所述的非暂态计算机可读存储介质，其中所述器械图像数据在接收到用户命令时被捕获。

39.根据权利要求27所述的非暂态计算机可读存储介质，其中所述指令在被执行时进一步致使所述处理器标记所述内部区域内的感兴趣的位置或特征。

40.根据权利要求39所述的非暂态计算机可读存储介质，其中标记包括接收用户输入。

41.根据权利要求39所述的非暂态计算机可读存储介质，其中标记包括自动检测所述感兴趣的位置或特征。

42.根据权利要求39所述的非暂态计算机可读存储介质，其中所述指令在被执行时进一步致使所述处理器将所标记的感兴趣的位置或特征叠加在所述参考图像上。

43.根据权利要求27所述的非暂态计算机可读存储介质，其中所述指令在被执行时进一步致使所述处理器连接所述视觉标记以表征所述器械的移动的历史路径。

44.根据权利要求27所述的非暂态计算机可读存储介质，其中所述视觉标记包括网格。

45.根据权利要求44所述的非暂态计算机可读存储介质，其中所述网格指示所述内部区域的解剖结构。

46.根据权利要求45所述的非暂态计算机可读存储介质，其中所述网格是从所述方位数据集的所述子集和从所述器械上的成像装置接收到的图像数据导出的。

47.根据权利要求27所述的非暂态计算机可读存储介质，其中所述方位数据集的所述子集以持续时间频率叠加在所述参考图像上。

48.根据权利要求27所述的非暂态计算机可读存储介质，其中所述方位数据集的所述子集以方位频率叠加在所述参考图像上。

49.根据权利要求27所述的非暂态计算机可读存储介质，其中所述指令在被执行时进一步致使所述处理器在手术中显示所述视觉标记。

50.根据权利要求27所述的非暂态计算机可读存储介质，其中所述指令在被执行时进一步致使所述处理器存储所述视觉标记以供在未来医学规程期间使用。

51. 根据权利要求27所述的非暂态计算机可读存储介质，其中所述身体的内部区域包括肾，并且其中所述指令在被执行时进一步致使所述处理器：

将所述器械移动到所述肾的盏中；以及

标记以下项中的至少一项：所述肾的所述盏的入口、所述肾的极、所述肾内的结石和移行细胞癌的区域。

52. 根据权利要求27所述的非暂态计算机可读存储介质，其中所述指令在被执行时进一步致使所述处理器：

调整由所述方位传感器确定的方位以考虑生理移动；以及

将所调整的方位叠加在所述参考图像上。

53.一种机器人外科系统，包括：

器械，所述器械具有伸长主体和设置在所述伸长主体上的至少一个方位传感器；

至少一个计算机可读存储器，所述至少一个计算机可读存储器在其上存储有可执行指令；以及

一个或多个处理器，所述一个或多个处理器与所述至少一个计算机可读存储器通信并且配置成执行所述指令以致使所述系统至少：

在身体的内部区域内移动所述器械；

在所述器械的移动期间从所述至少一个方位传感器接收方位信息；

显示所述身体的内部区域的图像；以及

使从所述方位数据集的至少一子集导出的视觉标记叠加在所述图像上，以表征所述器械在所述身体的内部区域内的所述移动期间所述器械的历史方位。

54.根据权利要求53所述的系统，其中所述方位传感器包括电磁传感器。

55.根据权利要求53所述的系统，其中所述方位传感器包括形状感测纤维。

56.根据权利要求53所述的系统，其中所述方位传感器定位在所述伸长主体的远侧端部上。

57.根据权利要求53所述的系统，其中所述器械包括内窥镜。

58.根据权利要求53所述的系统，其中所述器械包括输尿管镜。

59.根据权利要求53所述的系统，其中所述伸长主体能够进行关节运动以控制所述器械的姿势。

60.根据权利要求53所述的系统，还包括连接到所述器械的器械定位装置，所述器械定位装置构造成操纵所述器械。

61.根据权利要求60所述的系统，其中所述器械定位装置包括机器人臂。

62.根据权利要求53所述的系统，其中所述参考图像包括在逆行性肾盂造影规程期间捕获的图像。

63.根据权利要求53所述的系统，其中所述参考图像包括荧光镜或超声图像。

64.根据权利要求53所述的系统，其中所述参考图像在计算机断层摄影(CT)或磁共振成像(MRI)规程期间被捕获。

65.根据权利要求53所述的系统，其中所述指令在被执行时进一步致使所述一个或多个处理器在手术中捕获所述参考图像。

66.根据权利要求53所述的系统，其中所述参考图像是手术前捕获的。

67. 根据权利要求53所述的系统，其中所述指令在被执行时进一步致使所述一个或多个处理器：

从定位在所述器械上的成像装置接收器械图像数据，所述器械图像数据包括在所述器械的移动期间由所述成像装置捕获的多个图像；以及

对于所述多个图像的至少一子集，将所述子集的每个图像与指示捕获所述图像的方位的所述方位数据集链接。

68.根据权利要求67所述的系统，其中所述指令在被执行时进一步致使所述一个或多个处理器存储所链接图像以供在未来规程期间使用。

69. 根据权利要求67所述的系统，其中所述指令在被执行时进一步致使所述处理器：

接收方位选择的用户输入；以及

显示对应于所述用户输入的链接图像。

70. 根据权利要求67所述的系统，其中所述指令在被执行时进一步致使所述一个或多个处理器：

利用所述方位传感器确定所述器械的当前方位；以及

显示对应于所确定的当前方位的链接图像。

71.根据权利要求53所述的系统，其中所述器械图像数据被自动捕获。

72.根据权利要求67所述的系统，其中所述器械图像数据在接收到用户命令时被捕获。

73.根据权利要求53所述的系统，其中所述指令在被执行时进一步致使所述一个或多个处理器标记所述内部区域内的感兴趣的位置或特征。

74.根据权利要求73所述的系统，其中标记包括接收用户输入。

75.根据权利要求73所述的系统，其中标记包括自动检测所述感兴趣的位置或特征。

76.根据权利要求73所述的系统，其中所述指令在被执行时进一步致使所述一个或多个处理器将所标记的感兴趣的位置或特征叠加在所述参考图像上。

77.根据权利要求53所述的系统，其中所述指令在被执行时进一步致使所述一个或多个处理器连接所述视觉标记以表征所述器械的移动的历史路径。

78.根据权利要求53所述的系统，其中所述视觉标记包括网格。

79.根据权利要求78所述的系统，其中所述网格指示所述内部区域的解剖结构。

80.根据权利要求79所述的系统，其中所述网格是从所述方位数据集的所述子集和从所述器械上的成像装置接收到的图像数据导出的。

81.根据权利要求53所述的系统，其中所述方位数据集的所述子集以持续时间频率叠加在所述参考图像上。

82.根据权利要求53所述的系统，其中所述方位数据集的所述子集以方位频率叠加在所述参考图像上。

83.根据权利要求53所述的系统，其中所述指令在被执行时进一步致使所述一个或多个处理器在手术中显示所述视觉标记。

84.根据权利要求53所述的系统，其中所述指令在被执行时进一步致使所述一个或多个处理器存储所述视觉标记以供在未来医学规程期间使用。

85. 根据权利要求53所述的系统，其中所述身体的内部区域包括肾，并且其中所述指令在被执行时进一步致使所述一个或多个处理器：

将所述器械移动到所述肾的盏中；以及

标记以下项中的至少一项：所述肾的所述盏的入口、所述肾的极、所述肾内的结石和移行细胞癌的区域。

86. 根据权利要求53所述的系统，其中所述指令在被执行时进一步致使所述一个或多个处理器：

调整由所述方位传感器确定的方位以考虑生理移动；以及

将所调整的方位叠加在所述参考图像上。

87.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质在其上存储有指令，所述指令在被执行时致使装置的处理器至少：

在身体的内部区域内移动器械；

在所述器械的移动期间从所述器械的至少一个方位传感器接收方位信息，所述方位信息包括多个方位数据集，每个方位数据集指示在所述器械的移动期间所述器械的方位；

在所述器械的移动期间，从所述内部区域内的所述器械的成像装置接收图像数据，所述图像数据包括由所述成像装置在所述内部区域内的一个或多个位置处捕获的一个或多个图像；

基于由所述方位传感器确定的捕获每个图像的所述方位，将所述一个或多个图像的至少一子集与所述方位数据集的至少一子集链接；

确定包括方位选择的用户输入；以及

显示所链接图像中对应于所述方位选择的链接图像。

88.根据权利要求87所述的非暂态计算机可读存储介质，其中确定所述用户命令包括接收所述用户命令。

89.根据权利要求87所述的非暂态计算机可读存储介质，其中所述图像数据包括静态图像。

90.根据权利要求87所述的非暂态计算机可读存储介质，其中所述图像数据包括视频。

91.根据权利要求87所述的非暂态计算机可读存储介质，其中所述方位数据集的所述子集以持续时间频率被选择。

92.根据权利要求87所述的非暂态计算机可读存储介质，其中所述方位数据集的所述子集以方位频率被选择。

93.根据权利要求87所述的非暂态计算机可读存储介质，其中所述方位信息包括指示所述器械的取向的信息。

94.根据权利要求87所述的非暂态计算机可读存储介质，其中所述图像数据被自动捕获。

95.根据权利要求87所述的非暂态计算机可读存储介质，其中所述图像数据在接收到用户命令时被捕获。

96. 根据权利要求87所述的非暂态计算机可读存储介质，其中所述指令在被执行时进一步致使所述处理器：

接收与当前方位相关联的用户输入；以及

将所述用户输入与对应于所述当前方位的所链接图像链接。

97.根据权利要求96所述的非暂态计算机可读存储介质，其中所述指令在被执行时进一步致使所述处理器在所述图像数据的图像内检测感兴趣的特征。

98. 一种用于导航身体的内部区域的机器人外科系统，所述系统包括：

器械，所述器械包括

伸长主体，

至少一个方位传感器，所述至少一个方位传感器设置在所述伸长主体上，以及

成像装置，所述成像装置设置在所述伸长主体上；

至少一个计算机可读存储器，所述至少一个计算机可读存储器在其上存储有可执行指令；以及

一个或多个处理器，所述一个或多个处理器与所述至少一个计算机可读存储器通信并且配置成执行所述指令以致使所述系统至少：

在身体的内部区域内移动所述器械；

在所述器械的移动期间从所述至少一个方位传感器接收方位信息，所述方位信息包括多个方位数据集，每个方位数据集指示在所述器械的移动期间所述器械的方位；

从所述成像装置接收图像数据，所述图像数据包括在所述器械的移动期间由所述成像装置在所述内部区域内的一个或多个位置处捕获的一个或多个图像；以及

基于由所述方位传感器确定的捕获每个图像的所述方位，将所述一个或多个图像的至少一子集与所述方位数据集的至少一子集链接。

99.根据权利要求98所述的系统，其中所述方位传感器包括EM传感器。

100.根据权利要求98所述的系统，其中所述方位传感器包括形状感测纤维。

101.根据权利要求98所述的系统，其中所述方位传感器定位在所述伸长主体的远侧端部上。

102.根据权利要求98所述的系统，其中所述器械包括内窥镜。

103.根据权利要求98所述的系统，其中所述器械包括输尿管镜。

104.根据权利要求98所述的系统，其中所述伸长主体能够进行关节运动以控制所述器械的姿势。

105.根据权利要求98所述的系统，还包括连接到所述器械的器械定位装置，所述器械定位装置构造成操纵所述器械。

106.根据权利要求105所述的系统，其中所述器械定位装置包括机器人臂。

107.一种用于导航身体的内部区域的方法，所述方法包括：

在所述身体的内部区域内移动器械，所述器械包括至少一个方位传感器和至少一个成像装置；

从所述器械的所述至少一个方位传感器接收方位信息，所述方位信息包括多个方位数据集，每个方位数据集指示在所述器械的移动期间所述器械的方位；

从所述器械的所述成像装置接收图像数据，所述图像数据包括由所述成像装置在所述内部区域内的一个或多个位置处捕获的一个或多个图像；

基于由所述方位传感器确定的捕获每个图像的所述方位，将所述一个或多个图像的至少一子集与所述方位数据集的至少一子集链接；

利用所述至少一个方位传感器确定所述器械的当前方位，所述当前方位对应于所述多个方位数据集中的当前方位数据集；以及

在用户显示器上显示与所述当前方位数据集链接的图像。

Images