CN110831534B - 用于医疗仪器导航和瞄准的系统和方法 - Google Patents

Abstract

某些方面涉及用于医疗仪器导航和瞄准的系统和技术。在一个方面中，系统包括：医疗仪器，其具有长形体和至少一个传感器；显示器；处理器；以及存储器，其存储腔网络的映射部分的模型以及目标相对于模型的位置。处理器可以被配置成：基于来自至少一个传感器的数据，确定医疗仪器的远端相对于模型的位置和取向；并且使模型、目标的位置以及医疗仪器的远端的位置和取向呈现在显示器的至少一部分上。呈现可以基于指向目标并且与医疗仪器的视点不同的视点。

Description

用于医疗仪器导航和瞄准的系统和方法

相关申请的交叉引用

本申请要求于2017年12月8日提交的美国临时申请第62/596,710号的权益，其在此通过引用以其全部内容并入本文中。

技术领域

本文中公开的系统和方法涉及医疗仪器导航和瞄准，更具体地，涉及用于在医疗仪器导航期间辅助瞄准腔网络内的区域的技术。

背景技术

诸如内窥镜检查(例如，支气管镜检查)的医疗过程可能涉及将医疗工具插入至患者的腔网络(例如，气道)中以用于诊断和/或治疗目的。手术机器人系统可以被用于在医疗过程期间控制医疗工具的插入和/或操纵。手术机器人系统可以包括具有操纵器组件的至少一个机械臂，该操纵器组件可以被用于在医疗过程之前和在医疗过程期间控制医疗工具的定位。某些医疗过程(例如，活检过程)可能涉及将医疗工具的远端定位在腔网络内的目标(例如目标结节)附近。可能期望并入反馈机构，所述反馈机构提供医疗工具相对于目标的位置和/或取向信息，以有助于在该过程期间操纵医疗工具。

发明内容

本公开内容的系统、方法和装置均具有若干创新的方面，这些方面中没有一个方面单独地对本文中公开的期望属性负责。

在一个方面中，提供了一种系统，所述系统包括：医疗仪器，其具有长形体和至少一个传感器；显示器；处理器；以及存储器，其存储腔网络的映射部分的模型和目标相对于模型的位置，所述存储器还存储计算机可执行指令以使处理器执行以下操作：基于来自至少一个传感器的数据，确定医疗仪器的远端相对于模型的位置和取向；并且使模型、目标的位置以及医疗仪器的远端的位置和取向呈现在显示器的至少一部分上，其中，呈现基于指向目标并且与医疗仪器的视点不同的视点。

在另一方面中，提供了一种非暂态计算机可读存储介质，在所述非暂态计算机可读存储介质上存储有当被执行时使至少一个计算装置执行以下操作的指令：基于来自医疗仪器的至少一个传感器的数据，确定医疗仪器的远端相对于腔网络的映射部分的模型的位置和取向；并且使模型、目标相对于模型的位置以及医疗仪器的远端的位置和取向呈现在显示器的至少一部分上，其中，呈现基于指向目标并且与医疗仪器的视点不同的视点。

在又一方面中，提供了一种导航医疗仪器的方法，所述方法包括：基于来自医疗仪器的至少一个传感器的数据，确定医疗仪器的远端相对于腔网络的映射部分的模型的位置和取向；并且使模型、目标相对于模型的位置以及医疗仪器的远端的位置和取向呈现在显示器的至少一部分上，其中，呈现基于指向目标并且与医疗仪器的视点不同的视点。

附图说明

在下文中将结合附图来描述所公开的方面，提供附图是为了说明而不是限制所公开的方面，其中，相同的命名指示相同的要素。

图1示出了被布置用于(一个或多个)诊断和/或治疗性支气管镜检查过程的基于推车的机器人系统的实施方式。

图2描绘了图1的机器人系统的其他方面。

图3示出了被布置用于输尿管镜检查的图1的机器人系统的实施方式。

图4示出了被布置用于血管过程的图1的机器人系统的实施方式。

图5示出了被布置用于支气管镜检查过程的基于台的机器人系统的实施方式。

图6提供了图5的机器人系统的替选视图。

图7示出了被配置成收起(一个或多个)机械臂的示例系统。

图8示出了被配置成用于输尿管镜检查过程的基于台的机器人系统的实施方式。

图9示出了被配置成用于腹腔镜检查过程的基于台的机器人系统的实施方式。

图10示出了具有俯仰或倾斜调整的图5至图9的基于台的机器人系统的实施方式。

图11提供了图5至图10的基于台的机器人系统的台与柱之间的接口的详细图示。

图12示出了示例性仪器驱动器。

图13示出了具有成对的仪器驱动器的示例性医疗仪器。

图14示出了仪器驱动器和仪器的替选设计，其中驱动单元的轴线平行于仪器的长形轴的轴线。

图15描绘了示出根据示例实施方式的定位系统的框图，该定位系统估计图1至图10的机器人系统的一个或更多个元件的位置，例如图13和图14的仪器的位置。

图16示出了可以由机器人控制的医疗仪器导航的示例腔网络。

图17示出了图16的腔网络的示例模型。

图18是叠加在图16的腔网络上的图17的模型的视图，其中，模型对应于腔网络的映射部分。

图19提供了在腔网络内导航的医疗仪器的示例。

图20示出了示例医疗仪器的远端。

图21示出了用于确定医疗仪器的位置的示例电磁(EM)系统的某些部件。

图22示出了根据一个实施方式的用于示例医疗机器人系统的包括显示器的示例命令控制台。

图23示出了腔网络的一部分的示例基于骨架的模型。

图24A是示出了根据本公开内容的各方面的呈现用于医疗仪器导航的一个或更多个视图的示例方法的流程图。

图24B是示出了根据本公开内容的各方面的用于使用基于骨架的模型来确定医疗仪器在腔网络内的位置的另一示例方法的流程图。

图25示出了根据本公开内容的各方面的被显示以向机器人系统的用户提供导航反馈的呈现的图像的示例。

图26示出了根据本公开内容的各方面的可以被用于从用户接收输入的输入装置的示例。

图27是根据本公开内容的各方面的医疗仪器在腔网络的模型内的呈现的视图的示例。

图28A至图28D示出了根据本公开内容的各方面的基于旋转指令生成的一系列修改的呈现的视图。

图29A和图29B示出了根据本公开内容的各方面的基于高度指令生成的一系列修改的呈现的视图。

图30示出了根据本公开内容的各方面的基于切换视角指令生成的修改的呈现的视图。

图31是根据本公开内容的各方面的在医疗过程期间可以在显示器上呈现的视图的又一示例。

图32是根据本公开内容的各方面的在医疗过程期间可以在显示器上呈现的视图的另一示例。

具体实施方式

1.概述.

本公开内容的各方面可以被集成至能够执行各种医疗过程的机器人使能医疗系统中，所述医疗过程包括诸如腹腔镜检查的微创过程以及诸如内窥镜检查的无创过程两者。在内窥镜检查过程中，系统能够执行支气管镜检查、输尿管镜检查、胃镜检查等。

除了执行广泛的过程之外，系统可以提供其他益处，例如增强的成像和引导以辅助医师。此外，系统可以为医师提供从人体工程学位置执行手术的能力，而不需要笨拙的臂运动和定位。更进一步地，系统可以为医师提供以改进的易用性执行手术的能力，使得系统的仪器中的一个或更多个可以由单个用户控制。

出于说明的目的，下面将结合附图来描述各种实施方式。应当理解，所公开的构思的许多其他实现是可能的，并且可以利用所公开的实现来获得各种优点。本文中包括标题以供参考并且有助于对各个部分进行定位。这些标题不旨在限制关于其描述的构思的范围。这样的构思可以在整个说明书中具有适用性。

A.机器人系统——推车.

根据具体过程，可以以各种方式配置机器人使能的医疗系统。图1示出了被布置用于诊断和/或治疗性支气管镜检查过程的基于推车的机器人使能系统10的实施方式。在支气管镜检查期间，系统10可以包括推车11，推车11具有一个或更多个机械臂12以将可以是用于支气管镜检查的过程特定的支气管镜的医疗仪器例如可操纵的内窥镜13递送至自然孔口进入点(即，在本示例中为被定位在台上的患者的嘴)，以递送诊断和/或治疗工具。如所示的，推车11可以被定位在患者的上部躯干附近，以便提供至进入点的通路。类似地，机械臂12可以被致动以相对于进入点对支气管镜进行定位。当利用胃镜——用于GI过程的专用内窥镜——执行胃肠(GI)过程时，也可以利用图1中的布置。图2更详细地描绘了推车的示例实施方式。

继续参照图1，一旦推车11被正确地定位，机械臂12就可以机器人地、手动地或以其组合的方式将可操纵内窥镜13插入到患者体内。如所示的，可操纵内窥镜13可以包括至少两个伸缩部分，例如内引导件部分和外护套部分，每个部分耦接至来自该组仪器驱动器28的单独的仪器驱动器，每个仪器驱动器耦接至单独的机械臂的远端。便于将引导件部分与护套部分同轴对准的仪器驱动器28的这种线性布置产生“虚拟轨道”29，“虚拟轨道”29可以通过将一个或更多个机械臂12操纵到不同角度和/或位置而在空间中被重新定位。在图中使用虚线描绘了本文中描述的虚拟轨道，因此虚线不描绘系统的任何物理结构。仪器驱动器28沿着虚拟轨道29的平移使内引导件部分相对于外护套部分伸缩，或者使内窥镜13相对于患者前进或缩回。可以基于临床应用或医师偏好来调整、平移和枢转虚拟轨道29的角度。例如，在支气管镜检查中，如所示的虚拟轨道29的角度和位置表示在向医师提供接近内窥镜13与使内窥镜13弯曲到患者口中而产生的摩擦最小化之间的折衷。

内窥镜13可以在使用来自机器人系统的精确命令插入之后沿着患者的气管和肺被引导，直到到达目标目的地或手术部位。为了增强通过患者的肺网络的导航和/或到达期望的目标，内窥镜13可以被操纵成从外护套部分伸缩地延伸内引导件部分，以获得增强的接合和更大的弯曲半径。使用单独的仪器驱动器28还允许引导件部分和护套部分彼此独立地被驱动。

例如，内窥镜13可以被指引成将活检针递送至目标，例如患者肺内的病变或结节。可以沿着工作通道部署针，该工作通道沿着内窥镜的长度延伸以获得要由病理学家分析的组织样本。根据病理学结果，可以沿着内窥镜的工作通道部署附加工具以用于另外的活检。在识别出结节是恶性的之后，内窥镜13可以在内窥镜下递送工具以切除潜在的癌组织。在一些情况下，可能需要在单独的过程中给予诊断和治疗处理。在那些情况下，内窥镜13也可以用于给予基准以“标记”目标结节的位置。在其他情况下，可以在同一过程期间给予诊断和治疗处理。

系统10还可以包括可移动塔30，该可移动塔30可以经由支承线缆连接至推车11以向推车11提供对控制、电子、射流技术、光学、传感器和/或电力的支持。将这样的功能放置在塔30中允许可以由操作医师和他/她的工作人员更容易地调整和/或重新定位的更小形状因子的推车11。另外，在推车/台与支承塔30之间的功能划分减少了手术室的混乱并且有利于改善临床工作流程。虽然推车11可以被定位成靠近患者，但是塔30可以在远程位置中被收起以在手术期间不挡道。

为了支持上述机器人系统，塔30可以包括基于计算机的控制系统的(一个或多个)部件，其例如在诸如持久性磁存储驱动器、固态驱动器等的非暂态计算机可读存储介质内存储计算机程序指令。这些指令的执行——无论是在塔30中还是在推车11中执行这些指令——都可以控制整个系统或其(一个或多个)子系统。例如，当由计算机系统的处理器执行时，指令可以使机器人系统的部件致动相关的托架和臂安装件，致动机械臂，并且控制医疗仪器。例如，响应于接收到控制信号，机械臂的关节中的马达可以将臂定位成特定姿势。

塔30还可以包括泵、流量计、阀控制器和/或流体入口，以便向可以通过内窥镜13被部署的系统提供受控的冲洗和抽吸能力。也可以使用塔30的计算机系统来控制这些部件。在一些实施方式中，冲洗和抽吸能力可以通过(一个或多个)单独的线缆直接被递送至内窥镜13。

塔30可以包括电压和浪涌保护器，该电压和浪涌保护器被设计成向推车11提供经滤波和保护的电力，从而避免在推车11中放置电力变压器和其他辅助电力部件，从而产生更小、更加可移动的推车11。

塔30还可以包括用于部署在整个机器人系统10中的传感器的支持设备。例如，塔30可以包括用于检测、接收和处理从整个机器人系统10的光学传感器或摄像机接收到的数据的光电子设备。与控制系统结合，这样的光电子设备可以被用于生成实时图像以显示在被部署在整个系统中的任何数量的控制台中，所述控制台包括在塔30中。类似地，塔30还可以包括用于接收和处理从部署的电磁(EM)传感器接收到的信号的电子子系统。塔30还可以被用于容置和定位EM场发生器，以用于由医疗仪器中或医疗仪器上的EM传感器进行检测。

除了在系统的其余部分中可用的其他控制台例如被安装在推车顶部上的控制台之外，塔30还可以包括控制台31。控制台31可以包括用于医师操作者的用户接口和显示屏例如触摸屏。系统10中的控制台通常被设计成提供机器人控制以及过程的术前信息和实时信息二者，例如内窥镜13的导航和定位信息。当控制台31不是医师可用的唯一控制台时，控制台31可以由诸如护士的第二操作者用于监测患者的健康或生命体征和系统的操作以及提供过程特定数据，例如导航和定位信息。

塔30可以通过一个或更多个线缆或连接件(未示出)耦接至推车11和内窥镜13。在一些实施方式中，来自塔30的支持功能可以通过单个线缆被提供至推车11，从而简化手术室并且使手术室不混乱。在其他实施方式中，特定功能可以耦接在单独的线缆和连接件中。例如，尽管可以通过单个电力线缆向推车提供电力，但是也可以通过单独的线缆提供对控制、光学、射流技术和/或导航的支持。

图2提供了来自图1所示的基于推车的机器人使能系统的推车的实施方式的详细图示。推车11通常包括长形的支承结构14(通常被称为“柱”)、推车基部15和柱14的顶部处的控制台16。柱14可以包括用于支承一个或更多个机械臂12(图2中所示的三个)的部署的一个或更多个托架，例如托架17(可替选地，“臂支架”)。托架17可以包括可单独配置的臂安装件，该臂安装件沿着垂直轴旋转以调整机械臂12的基部，以相对于患者更好地定位。托架17还包括托架接口19，该托架接口19允许托架17沿着柱14竖直平移。

托架接口19通过诸如槽20的槽连接至柱14，所述槽被定位在柱14的相对侧上以引导托架17的竖直平移。槽20包含用于将托架定位和保持在相对于推车基部15的各种竖直高度处的竖直平移接口。托架17的竖直平移允许推车11调整机械臂12的可达范围以满足各种台高度、患者尺寸和医师偏好。类似地，托架17上的可单独配置的臂安装件允许机械臂12的机械臂基部21以各种配置成角度。

在一些实施方式中，槽20可以补充有槽盖，槽盖与槽表面齐平且平行，以防止在托架17竖直平移时灰尘和流体进入柱14的内部腔室和竖直平移接口。可以通过位于槽20的竖直顶部和底部附近的成对弹簧卷轴来部署槽盖。盖在卷轴内盘绕直到被部署成在托架17竖直地上下平移时从盖的盘绕状态伸展和缩回。当托架17向卷轴平移时，卷轴的弹簧加载提供了使盖缩回到卷轴中的力，同时当托架17平移远离卷轴时也保持紧密密封。可以使用例如托架接口19中的支架将盖连接至托架17，以确保盖在托架17平移时适当地伸展和缩回。

柱14可以在内部包括诸如齿轮和马达的机构，所述机构被设计成：响应于响应用户输入例如来自控制台16的输入而生成的控制信号，使用竖直对准的导螺杆以机械化方式平移托架17。

机械臂12通常可以包括由一系列连杆23分开的机械臂基部21和端部执行器22，所述一系列连杆23由一系列关节24连接，每个关节包括独立的致动器，每个致动器包括独立可控的马达。每个独立可控的关节表示机械臂可用的独立自由度。臂12中的每一个具有七个关节，因此提供七个自由度。多个关节引起多个自由度，从而允许“冗余”自由度。冗余自由度允许机械臂12使用不同的连杆位置和关节角度将它们各自的端部执行器22定位在空间中的特定位置、取向和轨迹处。这允许系统从空间中的期望点定位和指引医疗仪器，同时允许医师将臂关节移动到远离患者的临床有利位置处以产生更大的接近，同时避免臂碰撞。

推车基部15在地板上平衡柱14、托架17和臂12的重量。因此，推车基部15容置较重的部件，例如电子器件、马达、电源以及使得推车能够移动和/或固定的部件。例如，推车基部15包括允许推车在手术之前容易地在手术室中到处移动的可滚动轮形脚轮25。在到达适当位置之后，可以使用轮锁固定脚轮25，以在手术期间将推车11保持在适当位置。

被定位在柱14的竖直端部处的控制台16允许用于接收用户输入的用户接口和显示屏(或两用装置，例如触摸屏26)二者向医师用户提供术前数据和术中数据两者。触摸屏26上的潜在术前数据可以包括从术前计算机断层扫描检查(CT)扫描导出的术前计划、导航和映射数据和/或来自术前患者面谈的笔记。显示器上的术中数据可以包括从工具、传感器提供的光学信息和来自传感器的坐标信息以及重要的患者统计例如呼吸、心率和/或脉搏。控制台16可以被定位和倾斜，以允许医师从柱14的与托架17相对的侧面接近控制台。从该位置，医师可以在从推车11后面操作控制台16时观察控制台16、机械臂12和患者。如所示的，控制台16还包括用于帮助操纵和稳定推车11的手柄27。

图3示出了被布置成用于输尿管镜检查的机器人使能系统10的实施方式。在输尿管镜检查过程中，推车11可以被定位成将输尿管镜32——被设计成横穿患者的尿道和输尿管的手术特定内窥镜——递送至患者的下腹部区域。在输尿管镜检查中，可能期望输尿管镜32直接与患者的尿道对准以减少该区域中的敏感解剖结构上的摩擦和力。如所示的，推车11可以在台的脚部处被对准，以允许机械臂12定位输尿管镜32，以用于直接线性进入患者的尿道。从台的脚部，机械臂12可以沿着虚拟轨道33通过尿道将输尿管镜32直接插入患者的下腹部。

在插入尿道中之后，使用与支气管镜检查中类似的控制技术，输尿管镜32可以被导航到膀胱、输尿管和/或肾中以用于诊断和/或治疗应用。例如，可以使用沿着输尿管镜32的工作通道部署的激光或超声碎石装置将输尿管镜32指引到输尿管和肾中以打碎积聚的肾结石。在碎石完成之后，可以使用沿着输尿管镜32部署的篮移除所得到的结石碎片。

图4示出了类似地被布置成用于血管手术的机器人使能系统的实施方式。在血管手术中，系统10可以被配置成使得推车11可以将诸如可操纵导管的医疗仪器34递送至患者腿部中的股动脉中的进入点。股动脉存在用于导航的较大直径以及到患者心脏的相对较少迂回和曲折的路径两者，这简化了导航。如在输尿管镜检查过程中，推车11可以被定位成朝向患者的腿和下腹部，以允许机械臂12提供直接线性进入患者的大腿/髋部区域中的股动脉进入点的虚拟轨道35。在插入动脉后，可以通过平移仪器驱动器28来指引和插入医疗仪器34。可替选地，推车可以被定位在患者的上腹部周围，以到达替选的血管进入点，例如，肩部和腕部附近的颈动脉和臂动脉。

B.机器人系统——台.

机器人使能医疗系统的实施方式还可以结合患者台。通过移除推车，台的结合减少了手术室内的资本设备的数量，这允许更大地接近患者。图5示出了被布置成用于支气管镜检查过程的这样的机器人使能系统的实施方式。系统36包括用于将平台38(被示出为“台”或“床”)支承在地板上的支承结构或柱37。与基于推车的系统非常相似，系统36的机械臂39的端部执行器包括仪器驱动器42，所述仪器驱动器42被设计成通过或沿着由仪器驱动器42的线性对准形成的虚拟轨道41来操纵长形医疗仪器，例如图5中的支气管镜40。实际上，通过将发射器和检测器放置在台38周围，用于提供荧光透视成像的C形臂可以被定位在患者的上腹部区域上方。

图6提供了出于讨论目的而没有患者和医疗仪器的系统36的替选视图。如所示的，柱37可以包括在系统36中示出为环形形状的一个或更多个托架43，一个或更多个机械臂39可以基于所述一个或更多个托架43。托架43可以沿着延伸柱37的长度的竖直柱接口44平移以提供不同的有利点，机械臂39可以从这些有利点被定位成到达患者。(一个或多个)托架43可以使用被定位在柱37内的机械马达围绕柱37旋转，以允许机械臂39接近台38的多个侧面，例如患者的两侧。在具有多个托架的实施方式中，托架可以单独地被定位在柱上，并且可以独立于其他托架而平移和/或旋转。虽然托架43不需要围绕柱37或者甚至是圆形的，但所示的环形形状便于托架43绕柱37的旋转，同时保持结构平衡。托架43的旋转和平移允许系统将诸如内窥镜和腹腔镜的医疗仪器对准到患者上的不同进入点中。

臂39可以通过包括一系列关节的一组臂安装件45被安装在托架上，所述关节可以单独地旋转和/或可伸缩地延伸，以向机械臂39提供另外的可配置性。另外，臂安装件45可以被定位在托架43上，使得当托架43适当地被旋转时，臂安装件45可以被定位在台38的相同侧上(如图6中所示)，可以被定位在台38的相对侧上(如图9中所示)，或者可以被定位在台38的相邻侧上(未示出)。

柱37在结构上为台38提供支承并且为托架的竖直平移提供路径。在内部，柱37可以配备有用于引导托架的竖直平移的导螺杆以及基于导螺杆使所述托架的平移机械化的马达。柱37还可以将电力和控制信号传送至托架43和安装在托架43上的机械臂39。

台基部46起到与图2中示出的推车11中的推车基部15类似的作用，容纳较重的部件以平衡台/床38、柱37、托架43和机械臂39。台基部46还可以包括用于在手术期间提供稳定性的刚性脚轮。从台基部46的底部部署的脚轮可以在基部46的两侧上沿相对方向延伸，并且当系统36需要被移动时缩回。

继续图6，系统36还可以包括塔(未示出)，该塔在台与塔之间划分系统36的功能以减小台的形状因子和体积。如在较早公开的实施方式中，塔可以向台提供各种支持功能，例如处理能力、计算能力和控制能力、电力、射流技术和/或光学和传感器处理。塔还可以是可移动的，以被定位成远离患者，以改善医师的接近并且使手术室不杂乱。另外，将部件放置在塔中能够实现在台基部中有更多的储存空间，以用于机械臂的可能收起。塔还可以包括控制台，该控制台提供用于用户输入的诸如键盘和/或垂饰的用户接口以及用于术前和术中信息诸如实时成像、导航和跟踪信息的显示屏(或触摸屏)二者。

在一些实施方式中，台基部可以在不使用机械臂时收起并存放机械臂。图7示出了在基于台的系统的实施方式中收起机械臂的系统47。在系统47中，托架48可以被竖直平移到基部49中以将机械臂50、臂安装件51和托架48收在基部49内。基部盖52可以被平移和缩回打开以围绕柱53部署托架48、臂安装件51和臂50，并且基部盖52可以被关闭以收起托架48、臂安装件51和臂50，以在不使用它们时保护它们。基部盖52可以用膜54沿着所述基部盖52的开口的边缘被密封，以防止在被关闭时灰尘和流体进入。

图8示出了被配置成用于输尿管镜检查过程的机器人使能的基于台的系统的实施方式。在输尿管镜检查中，台38可以包括用于将患者定位成与柱37和台基部46成偏角的转动部分55。转动部分55可以绕枢转点(例如，位于患者头部下方)旋转或枢转，以便将转动部分55的底部部分定位成远离柱37。例如，转动部分55的枢转使C形臂(未示出)能够被定位在患者的下腹部上方，而不与台38下方的柱(未示出)竞争空间。通过绕柱37旋转托架35(未示出)，机械臂39可以沿着虚拟轨道57将输尿管镜56直接插入到患者的腹股沟区域中以到达尿道。在输尿管镜检查中，镫58也可以被固定至台38的转动部分55，以在手术期间支承患者的腿的位置并且使得能够清楚地进入患者的腹股沟区域。

在腹腔镜检查过程中，通过患者的腹壁中的(一个或多个)小切口，微创仪器(形状长形以适应一个或更多个切口的尺寸)可以被插入到患者的解剖结构中。在患者的腹腔膨胀之后，通常被称为腹腔镜的仪器可以被指引以执行外科手术任务，例如抓握、切割、切除、缝合等。图9示出了被配置成用于腹腔镜检查过程的机器人使能的基于台的系统的实施方式。如图9中所示，系统36的托架43可以被旋转并且被竖直地调整成将成对的机械臂39定位在台38的相对侧上，使得可以使用臂安装件45将腹腔镜59定位成穿过患者的两侧上的最小切口以到达他/她的腹腔。

为了适应腹腔镜检查过程，机器人使能的台系统还可以将平台倾斜成期望的角度。图10示出了具有俯仰或倾斜调整的机器人使能的医疗系统的实施方式。如图10中所示，系统36可以适应台38的倾斜，以将台的一部分定位在比另一部分距地面更远的距离处。另外，臂安装件45可以旋转以与倾斜匹配，使得臂39与台38保持相同的平面关系。为了适应更陡的角度，柱37还可以包括伸缩部分60，该伸缩部分60允许柱37的竖直延伸以防止台38接触地板或与基部46碰撞。

图11提供了台38与柱37之间的接口的详细图示。俯仰旋转机构61可以被配置成以多个自由度改变台38相对于柱37的俯仰角。俯仰旋转机构61可以通过将正交轴线1、2定位在柱-台接口处来实现，每个轴线由单独的马达3、4响应于电俯仰角命令而被致动。沿一个螺杆5的旋转将使得能够在一个轴线1上进行倾斜调整，而沿另一个螺杆6的旋转将使得能够沿另一个轴线2进行倾斜调整。

例如，当试图将台定位在特伦德伦伯卧位(Trendelenburg)位置处，即，将患者的下腹部定位在比患者的下腹部距地板更高的位置处以用于下腹部手术时，俯仰调整特别有用。特伦德伦伯卧位位置使患者的内部器官通过重力滑向他/她的上腹部，从而清理腹腔以使微创工具进入并执行下腹部手术过程，例如腹腔镜前列腺切除术。

C.仪器驱动器和接口.

系统的机械臂的端部执行器包括：(i)仪器驱动器(可替选地被称为“仪器驱动机构”或“仪器装置操纵器”)，其结合了用于致动医疗仪器的机电装置；以及(ii)可移除或可拆卸的医疗仪器，其可以没有诸如马达的任何机电部件。该二分法可能是由对医疗过程中使用的医疗仪器进行消毒的需要以及由于昂贵的资本设备的复杂机械组件和敏感电子器件而无法对昂贵的资本设备进行充分消毒驱动的。因此，医疗仪器可以被设计成从仪器驱动器(以及因此从系统)被拆卸、移除和互换，以用于由医师或医师的工作人员进行单独的消毒或处置。相比之下，仪器驱动器不需要被改变或消毒，并且可以被覆盖以进行保护。

图12示出了示例仪器驱动器。被定位在机械臂的远端处的仪器驱动器62包括一个或更多个驱动单元63，所述一个或更多个驱动单元63布置有平行轴线以经由驱动轴64向医疗仪器提供受控扭矩。每个驱动单元63包括：单独的驱动轴64，其用于与仪器相互作用；齿轮头65，其用于将马达轴旋转转换成期望的扭矩；马达66，其用于生成驱动扭矩；编码器67，其用于测量马达轴的速度并且向控制电路系统提供反馈；以及控制电路系统68，其用于接收控制信号并致动驱动单元。每个驱动单元63被独立地控制和机动化，仪器驱动器62可以向医疗仪器提供多个(如图12中所示，为四个)独立的驱动输出。在手术中，控制电路系统68将接收控制信号，将马达信号传送至马达66，将如由编码器67测量的得到的马达速度与期望的速度进行比较，并且调制马达信号以生成期望的扭矩。

对于需要无菌环境的过程，机器人系统可以结合位于仪器驱动器与医疗仪器之间的驱动接口，例如连接至无菌帘的无菌适配器。无菌适配器的主要目的是将角运动从仪器驱动器的驱动轴传递至仪器的驱动输入，同时保持驱动轴与驱动输入之间的物理分离并且因此保持无菌性。因此，示例无菌适配器可以包括旨在使仪器驱动器的驱动轴与仪器上的驱动输入配合的一系列旋转输入和输出。连接至无菌适配器的包括薄的柔性材料例如透明或半透明塑料的无菌帘被设计成覆盖资本设备，例如仪器驱动器、机械臂和推车(在基于推车的系统中)或台(在基于台的系统中)。帘的使用将允许资本设备被定位在患者附近，同时仍然位于不需要消毒的区域(即，非无菌区)中。在无菌帘的另一侧，医疗仪器可以与在需要消毒的区域(即，无菌区)中的患者对接。

D.医疗仪器.

图13示出了具有成对的仪器驱动器的示例医疗仪器。与被设计成用于与机器人系统一起使用的其他仪器一样，医疗仪器70包括长形轴71(或长形体)和仪器基部72。由于其用于由医师进行的手动交互的预期设计而也被称为“仪器手柄”的仪器基部72通常可以包括诸如插口、滑轮或卷轴的可旋转驱动输入73，其被设计成与驱动输出74配合，所述驱动输出74延伸穿过机械臂76的远端处的仪器驱动器75上的驱动接口。当物理地被连接、闩锁和/或耦接时，与仪器基部72配合的驱动输入73可以与仪器驱动器75中的驱动输出74共享旋转的轴线，以允许扭矩从驱动输出74传递至驱动输入73。在一些实施方式中，驱动输出74可以包括花键，所述花键被设计成与驱动输入73上的插口配合。

长形轴71被设计成通过例如如在内窥镜检查中的解剖结构开口或腔或者例如如在腹腔镜检查中的微创切口被递送。长形轴66可以是柔性的(例如，具有类似于内窥镜的特性)或刚性的(例如，具有类似于腹腔镜的特性)，或者包含柔性部分和刚性部分两者的定制组合。当被设计成用于腹腔镜检查时，刚性长形轴的远端可以被连接至端部执行器，该端部执行器包括：有关节的腕部，其由具有旋转的轴线的U形夹形成；以及例如抓握器或剪刀的手术工具，在驱动输入响应于从仪器驱动器75的驱动输出74接收到的扭矩而旋转时，该手术工具可以基于来自腱部的力被致动。当被设计成用于内窥镜检查时，柔性长形轴的远端可以包括可操纵或可控制的弯曲段，该弯曲段可以基于从仪器驱动器75的驱动输出74接收到的扭矩而被接合和弯曲。

使用轴71内的腱部沿着长形轴71传送来自仪器驱动器75的扭矩。这些单独的腱部例如牵引线可以单独地被锚定至仪器手柄72内的单独的驱动输入73。从手柄72，沿着长形轴71内的一个或更多个牵引腔指引腱部并且将腱部锚定在长形轴71的远端部分处。在腹腔镜检查中，这些腱部可以被耦接至远端安装的端部执行器例如腕部、抓握器或剪刀。在这样的布置下，施加在驱动输入73上的扭矩将张力传递至腱部，从而使端部执行器以某种方式致动。在腹腔镜检查中，腱部可以使关节围绕轴线旋转，从而使端部执行器在一个方向或另一个方向上移动。可替选地，腱部可以连接至长形轴71的远端处的抓握器的一个或更多个钳口，其中来自腱部的张力使抓握器闭合。

在内窥镜检查中，腱部可以经由粘合剂、控制环或其他机械固定件耦接至沿长形轴71(例如，在远端处)定位的弯曲或接合段。当固定地附接至弯曲段的远端时，将沿着腱部传送施加在驱动输入73上的扭矩，从而使较软的弯曲段(有时被称为可接合段或区域)弯曲或接合。沿非弯曲段，可能有利的是，使各个牵引腔盘旋或螺旋，所述牵引腔沿内窥镜轴的壁(或在内窥镜轴的壁内部)指引各个腱部，以平衡由牵引线中的张力产生的径向力。为了特定目的，可以改变或设计盘旋的角度和/或其间的间隔，其中，更紧的盘旋在负载力下呈现更小的轴压缩，而更小的盘旋量在负载力下得到更大的轴压缩，而且呈现有限弯曲。在范围的另一端，牵引腔可以平行于长形轴71的纵向轴线被定向以允许在期望的弯曲段或可接合段中进行受控接合。

在内窥镜检查中，长形轴71容置多个部件以辅助机器人手术。轴可以包括用于将手术工具、冲洗和/或抽吸部署至轴71的远端处的手术区域的工作通道。轴71还可以容纳电线和/或光纤以向远侧尖端处的光学组件/从远侧尖端处的光学组件传递信号，该光学组件可以包括光学摄像机。轴71还可以容纳光纤，以将光从位于近端的光源例如发光二极管传播至轴的远端。

在仪器70的远端处，远侧尖端还可以包括用于将用于诊断和/或治疗、冲洗和抽吸的工具递送至手术部位的工作通道的开口。远侧尖端还可以包括用于捕获内部解剖空间的图像的摄像机例如纤维镜或数码摄像机的端口。与此相关的是，远侧尖端还可以包括用于在使用摄像机时照亮解剖空间的光源的端口。

在图13的示例中，驱动轴轴线以及因此驱动输入轴线与长形轴的轴线正交。然而，该布置使长形轴71的滚转能力复杂化。当腱部从驱动输入73延伸出来并且进入长形轴71内的牵引腔时，沿长形轴71的轴线滚转长形轴71，同时保持驱动输入73静止会导致腱部的不期望的缠结。所得到的这样的腱部的缠结可能破坏旨在在内窥镜检查过程期间预测柔性长形轴的运动的任何控制算法。

图14示出了仪器驱动器和仪器的替选设计，其中驱动单元的轴线平行于仪器的长形轴的轴线。如所示的，圆形仪器驱动器80包括四个驱动单元，所述四个驱动单元具有在机械臂82的端部处平行对准的其驱动输出81。驱动单元及其各自的驱动输出81被容置在仪器驱动器80的旋转组件83中，该旋转组件83由组件83内的驱动单元之一驱动。响应于由旋转的驱动单元提供的扭矩，旋转组件83沿圆形轴承旋转，该圆形轴承将旋转组件83连接至仪器驱动器的非旋转部分84。可以通过电接触将电力和控制信号从仪器驱动器80的非旋转部分84传送至旋转组件83，所述电接触可以通过由电刷滑环连接(未示出)的旋转被保持。在其他实施方式中，旋转组件83可以响应于集成至不可旋转部分84中并且因此不平行于其他驱动单元的单独的驱动单元。旋转机构83允许仪器驱动器80使驱动单元及其各自的驱动输出81作为单个单元而围绕仪器驱动器轴线85旋转。

与较早公开的实施方式一样，仪器86可以包括长形轴部分88和仪器基部87(出于讨论的目的，被示出为具有透明的外壳)，该仪器基部87包括被配置成接纳仪器驱动器80中的驱动输出81的多个驱动输入89(例如，插口、滑轮和卷轴)。与先前公开的实施方式不同，仪器轴88从仪器基部87的中心延伸，其中仪器轴88的轴线与驱动输入89的轴线基本上平行，而不是如图13的设计中那样正交。

当耦接至仪器驱动器80的旋转组件83时，包括仪器基部87和仪器轴88的医疗仪器86与旋转组件83结合围绕仪器驱动器轴线85旋转。由于仪器轴88被定位在仪器基部87的中心处，因此当被附接时仪器轴88与仪器驱动器轴线85同轴。因此，旋转组件83的旋转使仪器轴88围绕它自己的纵向轴线旋转。此外，当仪器基部87与仪器轴88一起旋转时，连接至仪器基部87中的驱动输入89的任何腱部在旋转期间都不会缠结。因此，驱动输出81、驱动输入89和仪器轴88的轴线的平行性允许轴旋转，但不会使任何控制腱部缠结。

E.导航和控制.

传统的内窥镜检查可以涉及荧光检查(例如，如可以通过C形臂被递送)和其他形式的基于辐射的成像模态的使用，以向操作医师提供腔内引导。相比之下，由本公开内容设想的机器人系统可以提供基于非辐射的导航和定位装置，以减少医师暴露于辐射并且减少手术室内的设备的数量。如本文所使用的，术语“定位”可以指确定和/或监测对象在参考坐标系中的位置。可以单独地或组合地使用诸如术前映射、计算机视觉、实时EM跟踪和机器人命令数据的技术以实现无辐射操作环境。在其他情况下，在仍然使用基于辐射的成像模态的情况下，可以单独地或组合地使用术前映射、计算机视觉、实时EM跟踪和机器人命令数据，以对仅通过基于辐射的成像模态获得的信息进行改进。

图15是示出了根据示例实施方式的估计机器人系统的一个或更多个元件的位置例如仪器的位置的定位系统90(也被称为“状态融合模块”)的框图。定位系统90可以是被配置成执行一个或更多个指令的一个或更多个计算机装置的集合。计算机装置可以由以上讨论的一个或更多个部件中的一个处理器(或多个处理器)和计算机可读存储器来体现。通过示例的方式而非限制，计算机装置可以在图1中所示的塔30、图1至图4中所示的推车、图5至图10中所示的床等中。

如图15中所示，定位系统90可以包括定位模块95，该定位模块95处理输入数据91至94以生成用于医疗仪器的远侧尖端的位置数据96。位置数据96可以是表示仪器的远端相对于参照系的位置和/或取向的数据或逻辑。参照系可以是相对于患者的解剖结构或相对于已知对象例如EM场发生器(参见以下关于EM场发生器的讨论)的参照系。

现在更详细地描述各种各样的输入数据91至94。可以通过使用低剂量CT扫描的集合来完成术前映射。术前CT扫描被重构为三维图像，这些三维图像例如作为患者的内部解剖结构的剖视图的“切片”而被可视化。当整体上被分析时，可以生成用于患者的解剖结构例如患者的肺网络的解剖腔、空间和结构的基于图像的模型。可以从CT图像确定和近似诸如中心线几何形状的技术，以开发患者的解剖结构的三维体积，该三维体积被称为模型数据91(当仅使用术前CT扫描被生成时，也被称为“术前模型数据”)。中心线几何形状的使用在美国专利申请第14/523,760号中被讨论，其内容全部并入本文中。网络拓扑模型也可以从CT图像中得到，并且特别适合于支气管镜检查。

在一些实施方式中，仪器可以配备有摄像机以提供视觉数据92。定位模块95可以处理视觉数据以实现一个或更多个基于视觉的位置跟踪。例如，术前模型数据可以与视觉数据92结合使用，以实现对医疗仪器(例如，通过内窥镜的工作通道前进的内窥镜或仪器)的基于计算机视觉的跟踪。例如，使用术前模型数据91，机器人系统可以基于内窥镜行进的期望路径从模型生成期望的内窥镜图像库，每个图像与模型内的位置关联。在手术中，该库可以由机器人系统参考，以将在摄像机(例如，在内窥镜的远端处的摄像机)处捕获的实时图像与图像库中的图像进行比较以辅助定位。

其他基于计算机视觉的跟踪技术使用特征跟踪来确定摄像机的运动，从而确定内窥镜的运动。定位模块95的一些特征可以识别术前模型数据91中的与解剖腔对应的圆形几何结构，并且跟踪那些几何结构的变化以确定哪个解剖腔被选择，以及跟踪摄像机的相对旋转和/或平移运动。拓扑图的使用可以进一步增强基于视觉的算法或技术。

光流——另一种基于计算机视觉的技术——可以分析视觉数据92中的视频序列中的图像像素的位移和平移以推断摄像机移动。光流技术的示例可以包括运动检测、对象分割计算、亮度、运动补偿编码、立体视差测量等。通过在多次迭代中比较多个帧，可以确定摄像机(从而内窥镜)的移动和位置。

定位模块95可以使用实时EM跟踪来生成内窥镜在全局坐标系中的实时位置，该实时位置可以与由术前模型表示的患者的解剖结构配准。在EM跟踪中，包括嵌入在医疗仪器(例如，内窥镜工具)中的一个或更多个位置和取向中的一个或更多个传感器线圈的EM传感器(或跟踪器)测量由定位在已知位置处的一个或更多个静态EM场发生器创建的EM场的变化。由EM传感器检测到的位置信息被存储为EM数据93。EM场发生器(或发送器)可以靠近患者被放置，以创建嵌入式传感器可以检测到的低强度磁场。磁场在EM传感器的传感器线圈中感应出小电流，可以对该小电流进行分析以确定EM传感器与EM场发生器之间的距离和角度。这些距离和取向可以在手术中与患者解剖结构(例如，术前模型)“配准”，以确定使坐标系中的单个位置与患者的解剖结构的术前模型中的位置对准的几何变换。一旦被配准，医疗仪器的一个或更多个位置(例如，内窥镜的远侧尖端)处的嵌入式EM跟踪器可以提供医疗仪器通过患者的解剖结构的进展的实时指示。

机器人命令和运动学数据94也可以由定位模块95用于为机器人系统提供定位数据96。可以在术前校准期间确定由接合命令产生的装置俯仰和横摆。在手术中，这些校准测量可以与已知的插入深度信息结合使用以估计仪器的位置。可替选地，可以结合EM、视觉和/或拓扑建模来分析这些计算，以估计医疗仪器在网络内的位置。

如图15所示，多个其他输入数据可以由定位模块95使用。例如，尽管在图15中未示出，但是利用形状感测光纤的仪器可以提供定位模块95可以用于确定仪器的位置和形状的形状数据。

定位模块95可以以(一个或多个)组合使用输入数据91至94。在一些情况下，这样的组合可以使用概率方法，其中定位模块95向从输入数据91至94中的每一个确定的位置分配置信度权重。因此，在EM数据可能不可靠的情况下(如可能是存在EM干扰的情况)，由EM数据93确定的位置的置信度可能降低，并且定位模块95可能在很大程度上更依赖于视觉数据92和/或机器人命令和运动学数据94。

如以上所讨论的，本文中讨论的机器人系统可以被设计成包括以上技术中的一个或更多个技术的组合。例如，基于塔、床和/或推车的机器人系统的基于计算机的控制系统可以将计算机程序指令存储在诸如持久性磁存储驱动器、固态驱动器等的非暂态计算机可读存储介质内，所述计算机程序指令在执行时使系统接收并分析传感器数据和用户命令，生成整个系统的控制信号并显示导航和定位数据，例如仪器在全局坐标系中的位置、解剖图等。

2.在导航期间瞄准.

本公开内容的实施方式涉及用于在医疗仪器的导航期间瞄准腔网络内的特定区域的系统和技术。某些医疗过程可能涉及将医疗仪器驱动至目标区域(在本文中也被简称为“目标”)附近的预定位置。例如，患者的术前成像可以揭示用于诊断和/或治疗的感兴趣的区域(例如，结节、病变等)。在一个实现中，医疗过程可能涉及将医疗仪器导航至距目标结节的阈值工作距离内，并且对目标结节进行活检。然而，本文中描述的瞄准方法和技术不限于活检过程，并且可以适用于涉及将医疗仪器导航至目标的任何医疗过程。

在某些实施方式中，当医疗仪器被导航通过腔网络时，可以确定仪器的位置，并且可以显示(例如，绘制或以其他方式显示)指示仪器的位置的视觉标记以提供视觉反馈。视觉标记还可以被用于可视化腔网络相对于目标和/或医疗仪器的形状。

A.示例腔网络和模型.

图16示出了可以使用本文中描述的方法和系统进行导航的患者的示例腔网络130。在所示的实施方式中，腔网络130是患者的肺内部的气道的支气管网络。如所示的，腔网络130包括被布置成分支结构的多个腔132。尽管示出的腔网络130包括多个分支的腔132，但是在一些情况下，腔网络130可以仅包括单个腔132。也就是说，在一些情况下，腔网络130不需要包括腔132的分支布置。为了便于说明，图16将腔网络130表示为二维结构。这不应被解释为以任何方式将本公开内容限于二维腔网络。通常，腔网络130包括三维结构。

尽管在图16中示出了特定的腔网络130，但是本文中描述的仪器导航和瞄准方法及系统可以在各种各样的腔网络130的导航期间被实现。这样的腔网络130可以包括例如支气管网络、肾网络、心血管网络(例如，动脉和静脉)、胃肠道、泌尿道等。本文中描述的仪器导航和瞄准方法及系统可以在分支腔网络130和非分支腔网络130两者的导航期间被实现。

图17示出了图16的腔网络130的示例模型150。在某些实现中，可以从腔网络130的术前成像来构造模型150。然而，在其他实现中，可以使用在医疗过程期间拍摄的术中图像来生成模型150，或者除了术中图像以外，还可以使用术前图像来构造模型150。如将在下面更详细地描述的，在某些情况下，模型可以被用于促进医疗仪器通过腔网络130的导航。在某些情况下，模型150可以在腔网络130的导航之前和/或在腔网络130的导航期间被显示给用户。

模型150可以表示正被医疗仪器导航的腔网络130的一个或更多个部分。在一些实现中，可以使用各种术前成像和映射技术中的一种或更多种在腔网络的导航之前生成模型150。例如，可以通过使用低剂量计算机断层扫描检查(CT)扫描的集合来完成术前映射。如上面讨论的，术前CT扫描可以生成二维图像，每个二维图像均表示患者的内部解剖结构的剖视图的“切片”。当整体被分析时，可以生成用于患者的解剖结构例如患者的肺网络(即，腔网络)的解剖腔、空间和结构的基于图像的模型。包括使用术中CT扫描的用于生成模型150的其他方法也是可以的。

在所示的实施方式中，模型150包括多个区段152。模型150的区段152对应于腔网络130的腔132的至少一部分。因此，如果腔网络130包括腔132的分支布置，则模型150可以包括区段152的相应分支布置。如果腔网络130包括单个腔132，则模型150可以包括相应的单个分支152。通常，模型150包括三维形状，该三维形状对应于腔网络130的三维形状的至少一部分。尽管模型150可以包括三维形状，但是为了便于说明，图17将模型150示出为二维形状。在某些情况下，三维模型150的截面可以被显示在二维显示器上。

将图16的腔网络130和图17的模型150进行比较，可以看出，在某些情况下，模型150可以表示或对应于腔网络130的仅一部分。这在图18中进一步被示出，图18是叠加在腔网络130上的模型150的视图。在某些情况下，被用于生成模型150的成像技术和映射技术的局限性可能阻止生成与整个腔网络130对应的模型。例如，在腔网络内的某些分支腔132可能足够小，以致于不能用常见的成像技术和映射技术清楚地描绘和分析这些分支腔132。这样，模型150可能无法提供腔网络130的完整表示，例如，使腔网络130的各个部分未被映射和/或未被表示在模型150中。

例如，如图18中所示，模型150可以对应于腔网络130的映射部分155。不能由模型150表示的腔网络130的未映射部分135可以延伸超出映射部分155。

在一些实施方式中，模型150还可以包括具有腔网络的器官的外表面的表示。例如，在肺的情况下，模型可以包括气道的至少一部分的表示并且还可以包括肺的外表面的表示。

B.用医疗仪器对腔网络的导航.

图19提供了医疗仪器的示例，该医疗仪器例如包括位于腔网络230内的护套215和引导件245。如所示地，腔网络230(其可以类似于上面描述的腔网络130)包括气道250(其可以类似于腔132)的分支结构。在该示例中，护套215被导航(例如，被指引、被引导、被移动等)通过腔网络230朝向目标(例如，结节255)或用于诊断和/或治疗的感兴趣的区域。在所示的示例中，结节255位于腔网络230和气道250的外围处。护套215具有第一直径，因此其远端可能不能被定位通过围绕结节255的较小直径的气道，这些气道可能具有小于护套215的第一直径的直径。因此，引导件245可以被引导通过护套215的工作通道或者被放置在护套215的工作通道内，并且前进通过气道250中的剩余距离，从而到达结节255。例如，引导件245可以包括接合导管，该接合导管可以被驱动通过护套215的工作通道和/或气道250。引导件245可以具有腔，仪器例如活检针、细胞刷、组织取样钳等可以通过该腔被传递至结节255的目标组织部位。在这样的实现中，护套215的远端和引导件245的远端两者都可以设置有EM仪器传感器(和/或其他位置传感器)以跟踪它们在气道250中的位置。在其他实施方式中，护套215的总直径可能足够小以在没有引导件245的情况下到达外围，或者可能足够小以靠近外围(例如，在2.5cm至3cm内)，以例如通过不可操纵的引导件245来部署医疗仪器。通过护套215部署的医疗仪器可以配备有EM仪器传感器(和/或其他位置传感器)。

如上所述，在图19的示例中，结节255位于腔网络230的外围处。这可以在腔网络230的未被模型(例如，该模型由腔网络230的术前成像和/或在医疗过程期间拍摄的腔网络230的术中图像构造，该模型可以类似于图17和图18中所示的腔网络130的示例模型150)表示的区域中。也就是说，在某些情况下，结节255可以位于腔网络230的未映射部分(类似于图18中所示的腔网络130的未映射部分135)内。在其他示例中，结节255可以被定位在腔网络230的邻近处，因此可能被安置在模型150的外部。

图20提供了示例医疗仪器300的远端的详细视图。医疗仪器300表示图19的护套215或引导件245。医疗仪器300可以表示贯穿本公开内容描述的任何医疗仪器，这些医疗仪器包括但不限于图1的内窥镜13、图3的输尿管镜32、图9的腹腔镜59等。在图20中，仪器300的远端包括成像装置315、照明源310以及形成EM仪器传感器的EM传感器线圈305的端部。远端还包括仪器300的工作通道320的开口，外科(或医疗)仪器例如活检针、细胞刷、钳子等可以通过该开口被插入(例如，在仪器300的近端处)并且沿仪器轴前进，从而允许进入仪器300的远端或尖端附近的区域。

EM线圈305(也被称为EM位置传感器305)可以被安置在仪器300的远端上，并且可以与EM跟踪系统(例如，参见下面描述的图21)一起被使用，以当它被安置在腔网络内时检测仪器300的远端的位置和取向。在一些实施方式中，线圈305可以沿不同轴线成一定角度以提供对EM场的敏感性，从而为所公开的导航系统提供测量全部六个自由度(DoF)的能力：三个位置DoF和三个角度DoF。在其他实施方式中，单个线圈305可以被设置在远端上或被设置在远端内，其中单个线圈305的轴线沿仪器轴取向。由于这样的系统的旋转对称性，单个线圈305的这样的布置可能对围绕其轴线的滚转不敏感，因此在这样的实现中可以检测到仅五个自由度。EM线圈305可以被配置成提供EM数据，导航和定位系统(例如，参见图15的系统90和EM数据93)可以从这些EM数据确定或估计仪器300的位置。在一些实施方式中，可以利用用于检测或确定仪器300的位置的其他类型的位置传感器来代替EM线圈305，或者除了用于检测或确定仪器300的位置的其他类型的位置传感器之外还可以使用EM线圈305。

图21示出了用于基于由EM线圈305生成的EM数据来确定医疗仪器的位置的示例EM系统400的某些部件。系统400可以包括EM场发生器410和被安置在仪器300上的EM线圈305(未示出)。系统400可以在包括用于支承患者的台的操作环境中被实现。还可以包括某些附加的装置/元件，但是在图21中没有被示出。例如，环境还可以包括：机器人系统，其被配置成引导医疗仪器的移动；命令中心/控制台，其用于控制手术(或医疗)机器人系统的操作；以及EM控制器。EM控制器还可以连接至EM场发生器410，以向EM场发生器410提供用于生成EM场的控制信号。在某些实施方式中，EM控制器可以部分地或全部地并入到系统的其他处理装置中的一个或更多个处理装置中，所述一个或更多个处理装置包括EM场发生器410和/或环境中的其他装置(例如，图1中所示的推车11和/或塔30)。

当被包括时，EM控制器可以控制EM场发生器410以产生EM场。EM场可以是变化的EM场。例如，根据实施方式，EM场可以是时间变化的和/或空间变化的。EM场发生器410可以位于与图2中所示的推车11类似的推车上，或者可以经由一个或更多个支承柱附接至台的轨道。在其他实施方式中，EM场发生器410可以被安装在例如与图1的手术(或医疗)机器人系统10中所示的机械臂类似的机械臂上，这可以提供围绕患者的灵活设置选项。

EM空间测量系统可以确定嵌入有或设置有EM传感器线圈例如EM线圈305(如图20中所示)的对象在EM场内的位置。当将EM传感器放置在如本文中描述的受控的变化的EM场内时，在EM传感器中包括的(一个或多个)传感器线圈中感应出电压。这些感应电压可以由EM空间测量系统用于计算EM传感器的位置和取向，从而计算具有EM传感器的对象的位置和取向。由于EM场具有低的场强度并且可以安全地穿过人体组织，因此可以在没有光学空间测量系统的视线约束的情况下进行对象的位置测量。

可以相对于EM场发生器410的坐标系来限定EM场，并且可以将腔网络130的模型150的坐标系映射(或配准)至EM场的坐标系。因此，可以在模型的坐标系内确定如通过仪器上的EM仪器传感器305在EM场内的位置确定的仪器的位置，但是不依赖于模型来确定位置。

因此，系统400可以返回可以由定位系统90用来确定仪器的位置的EM数据93。如上所述，EM数据93可以提供模态，该模态可以被用于确定已被映射至或配准至模型150的坐标系中的位置。

返回至图20，仪器300可以包括照明源310，该照明源310提供光以照亮解剖空间的一部分。照明源310均可以是一个或更多个发光器件，所述一个或更多个发光器件被配置成发射所选的波长或波长范围的光。波长可以是任何合适的波长，仅举几个例子，例如可见光谱光、红外光、x射线(例如，用于荧光检查)。在一些实施方式中，照明源310可以包括位于仪器300的远端处的发光二极管(LED)。在一些实施方式中，照明源310可以包括延伸通过仪器300的长度的一根或更多根光纤，以从远程光源例如X射线发生器通过远端透射光。例如，远端可以包括多个照明源310，所述多个照明源310被配置成发射彼此相同或不同波长的光。

成像装置315可以包括被配置成将表示接收到的光的能量转换成电信号的任何光敏基板或结构，例如，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器。成像装置315的一些示例可以包括一根或更多根光纤例如光纤束，所述一根或更多根光纤被配置成：将表示图像的光从仪器300的远端传送至相对于仪器300的远端而言最接近地定位的目镜和/或图像传感器。成像装置315可以另外包括用于各种光学设计的一个或更多个透镜和/或波长通过或截止滤光片。从照明源310发射的光允许成像装置315捕获图像例如患者的腔网络的内部。然后，这些图像可以作为单独的帧或一系列连续的帧(例如，视频)被传送至计算机系统或计算机系统的(一个或多个)部件，例如图22中所示的命令控制台500。

图22示出了可以与本文中描述的系统的某些实现一起使用的示例命令控制台500。如所示地，在一些实施方式中，命令控制台500包括控制台基部501、(一个或多个)显示器502(例如，一个或更多个监视器)以及一个或更多个控制模块(例如，键盘503和/或操纵杆504)。用户505(例如，医师)可以使用命令控制台500(例如，从人机工程学位置)远程控制机器人系统和/或相关联的系统/子系统(例如，参照图1至图15描述的系统)。例如，用户505可以使用命令控制台500来在患者的腔网络内对仪器进行导航。命令控制台500还可以向用户505显示可以被用于帮助腔网络的导航的信息。

显示器502可以包括电子监视器(例如，LCD显示器、LED显示器、触敏显示器)、观看装置(例如，护目镜或眼镜)和/或其他显示装置(例如，观看装置的虚拟现实)。在一些实施方式中，显示器502中的一个或更多个可以显示患者的腔网络130的模型150。显示器502还可以显示从置于腔网络130内的仪器上的摄像机或另一感测装置接收到的图像信息。在一些实施方式中，仪器的模型或表示与模型150一起被显示，以帮助指示手术或医疗过程的状态。

在一些实施方式中，控制台基部501包括中央处理单元(CPU或处理器)、存储器单元(计算机可读存储器)、数据总线以及相关联的数据通信端口，这些部件负责解释和处理例如来自置于患者的腔网络内的医疗仪器的信号，例如摄像机影像和跟踪传感器数据。在一些情况下，本文中描述的用于仪器导航和瞄准的技术由控制台基部501的处理器来执行。控制台基部501还可以处理由用户505通过控制模块503、504提供的命令和指令。在一个示例中，如上所述并如在图22中所示的，控制模块503可以包括键盘，并且控制模块504可以包括控制器。控制模块可以包括其他装置，例如计算机鼠标、轨迹板、轨迹球、控制板、诸如手持式遥控器的控制器以及捕获手的姿势和手指姿势的传感器(例如，运动传感器或摄像机)。控制器可以包括被映射至仪器的操作(例如，接合、驱动、冲洗等)的一组用户输入(例如，按钮、操纵杆、方向键等)。使用控制台基部500的控制模块503、504，用户505可以使仪器导航通过腔网络130。控制模块503和504中的一个或更多个可以被配置成经由例如触觉引擎向用户提供触觉反馈。

C.示例基于骨架的腔网络建模和导航.

图23示出了腔网络的一部分的示例基于骨架的模型。具体地，基于骨架的模型150示出了腔网络130被建模为“骨架”154的实现，该“骨架”154可以包括多个离散的区段152。图23中示出的模型150可以由定位系统90(参见图15)用来计算医疗仪器的远端的位置和取向。可以为模型的每个区段152分配唯一的“区段ID”，并且可以相对于腔网络130的模型150中的相应腔(例如，图16中的腔132)的中心线限定形成骨架154的区段152中的每一个。在某些医疗过程期间，医疗仪器可以被导航通过腔网络130以用于医疗过程的至少一部分。因此，当医疗仪器的远端在由模型150限定的体积内时，医疗仪器的远端的位置可以由定位系统90估计为沿骨架154的点。

系统可以使用包括骨架154的模型150来限定医疗仪器的远端的位置。例如，可以通过以下操作来限定该位置：识别与医疗仪器的远端被安置的(腔网络130的)腔132对应的区段152并且确定医疗仪器的远端沿区段152的深度。因此，医疗仪器的远端的位置可以由两条信息——即，区段152的区段ID和远端沿区段152的深度——限定。系统可以将医疗仪器的远端的位置计算为沿所识别的区段152。尽管腔的直径可能大于进入点附近的医疗仪器的直径，但是随着医疗仪器进一步前进至腔网络130中，与区段152中的每一个对应的气道分支的腔的直径可以在尺寸上类似于医疗仪器的直径。因此，选择沿骨架154的点作为用于医疗仪器的远端的位置可能具有足够的准确性以用于导航目的。可以使用位置/取向数据例如使用EM位置传感器305测量的EM数据、由位于医疗仪器内的形状感测纤维生成的数据等来确定医疗仪器的远端的取向。

图24A是示出了根据本公开内容的各方面的能够由手术机器人系统或手术机器人系统的(一个或多个)部件操作的示例方法的流程图，该方法用于呈现医疗仪器导航的一个或更多个视图。例如，图24A中示出的方法600的步骤可以由手术机器人系统的处理器来执行。为了方便起见，方法600被描述为由系统的处理器执行。

方法600在块601处开始。处理器可以被包括为系统的一部分，该系统包括具有长形体和至少一个传感器(例如，图20的EM传感器305)的医疗仪器(例如，图20的仪器300)、显示器、处理器和存储器，该存储器存储腔网络的映射部分的模型(例如，图17、图18或图23的模型150)和目标相对于模型的位置。在块605处，处理器基于来自至少一个传感器的数据来确定医疗仪器的远端相对于模型的位置和取向。在块610处，处理器使模型、目标的位置以及医疗仪器的远端的位置和取向呈现在显示器的至少一部分上。呈现可以基于指向目标并且与医疗仪器的视点不同的视点。方法600在块615处结束。

图24B是示出了根据本公开内容的各方面的用于使用基于骨架的模型来确定医疗仪器在腔网络内的位置的另一示例方法的流程图。方法650可以在某些机器人系统例如图1至图15中示出的机器人系统以及其他机器人系统中被实现。方法650可以在导航系统例如图15的导航或定位系统90中被实现或者由导航系统例如图15的导航或定位系统90实现。在一些实施方式中，一个或更多个计算机装置可以被配置成执行方法650。计算机装置可以由以上讨论的一个或更多个部件中的一个处理器(或多个处理器)和计算机可读存储器来体现。计算机可读存储器可以存储可以由(一个或多个)处理器运行以执行方法650的指令。指令可以包括一个或更多个软件模块。通过示例的方式而非限制，计算机装置可以在图1中所示的塔30、图1至图4中所示的推车、图5至图10中所示的床、图22中所示的命令控制台500、图22中所示的显示器502中的一个或更多个显示器等中。

方法650在块651处开始。例如，如图18中所示，可以例如在医疗仪器被导航通过腔网络130时执行方法650。因此，在一些实施方式中，当医疗仪器被引入至腔网络130中时，方法650可以被触发。在一些实施方式中，例如，当接收到用户输入或命令时，方法650可以被手动触发。在一些实施方式中，当医疗仪器的远端与腔网络130的映射部分(例如，在诸如模型150的模型内)一起被定位时，执行方法650。如上所述，方法650可以被实现用于各种各样的腔网络的导航，所述各种各样的腔网络包括分支腔网络(例如，支气管网络、肾网络、心血管网络(例如，动脉和静脉)等)和非分支(例如，单个腔)腔网络(例如，胃肠道、泌尿道等)。

方法650可以涉及确定医疗仪器的远端在腔网络130的模型150内的位置。模型150可以包括具有多个区段(例如，区段152)的骨架(例如，骨架154)。可以相对于腔网络的映射部分的相应腔的中心线限定区段中的每一个。可以基于腔网络130的术前(和/或术中)图像(例如，CT扫描)来构造包括骨架154的模型150。在块655处，系统识别医疗仪器的远端位于的区段。系统可以使用一种或更多种类型的输入数据(例如，模型数据91、视觉数据92、EM数据93以及/或者机器人命令和运动学数据94)来确定医疗仪器的远端的状态(例如，区段ID和沿区段的深度)。可以基于状态来确定医疗仪器的远端的位置和/或取向。

在块660处，系统可以确定医疗仪器的远端沿着在块655中识别的区段的骨架的深度。在一种实现中，系统可以基于机器人命令和运动学数据94来计算医疗仪器被插入至患者体内的长度，并且确定医疗仪器的远端沿着从进入点到识别的区段的计算路径的深度。然后，系统可以基于路径和深度数据来确定医疗仪器的远端沿着所识别的区段的深度。在其他实施方式中，可以在无需使用路径数据的情况下基于模型数据91、视觉数据92、EM数据93以及/或者机器人命令和运动学数据94来识别医疗仪器的远端的深度。在块665处，系统可以基于所识别的区段和所确定的深度来确定医疗仪器的远端的位置。医疗仪器的远端的位置可以被确定成：沿所识别的区段的骨架位于确定的深度处。在某些实现中，响应于确定医疗仪器的远端的位置在由模型限定的体积内，系统可以将所确定的医疗仪器的远端的位置限制为沿骨架被定位。方法650在块670处结束。

可以在许多不同的导航相关的瞄准应用中使用依据基于骨架的模型150确定的位置。例如，系统可以基于所确定的医疗仪器的远端的位置和目标的位置来确定医疗仪器的远端与目标之间的距离。可以基于术前CT扫描来确定目标的位置，或者由手术机器人系统的用户基于腔网络的术中CT扫描选择目标的位置。例如，系统可以确定医疗仪器的远端的位置与目标的位置之间的欧几里得(Euclidean)距离。

如下面更详细地讨论的，系统可以在显示器上呈现医疗仪器的远端相对于模型的位置。如上面讨论的，所呈现的医疗仪器的远端的位置可以基于使用腔网络的基于骨架的模型确定的位置。

当医疗仪器的远端位于腔网络的模型内时，与基于骨架的导航的使用相关的本公开内容的某些方面可以提高系统在定位医疗仪器的远端时的准确性。例如，如结合图15所讨论的，定位系统90可以使用多种类型的输入数据(例如，模型数据91、视觉数据92、EM数据93以及/或者机器人命令和运动学数据94)来确定医疗仪器的远端的位置。通过将医疗仪器的远端的位置估计为位于骨架上(例如，通过相对于所识别的模型中的区段和沿所识别的区段的中心线的深度来限定位置)，可以在不使用基于骨架的模型的情况下减少医疗仪器的远端的位置的估计中的误差。如以上讨论的，这可能是由如下高可能性引起的：当医疗仪器的远端在腔网络的映射部分内时，医疗仪器的远端位于腔网络内。

可以通过使用基于骨架的模型来校正的一种潜在的误差源是由于组织变形导致的误差。例如，当腔从其映射位置(其可以在术前被确定)变形时，腔的一部分的位置可以从腔的该部分的映射位置移位。这样的变形可能由于由医疗仪器和/或自然生物过程等导致的腔上的力而发生。在变形期间，输入数据可能指示：医疗仪器的远端的位置已经移动到腔网络的外面。通过将医疗仪器的远端的位置估计为沿模型的骨架被定位，可以减少这样的变形误差。

除了基于骨架的模型之外，在定位医疗仪器的远端时使用多种类型的输入数据可以提供对使用单一类型的输入数据的定位方法的改进。然而，本公开内容的各方面也可以被应用于使用单一类型的输入数据的定位系统。单一输入数据系统(例如，仅EM系统、仅视觉系统或形状感测纤维)可能更容易受到某些误差例如上面讨论的各种类型的变形误差的影响。通过将这样的单一输入数据系统与基于骨架的模型组合，可以减少这些误差。在某些实施方式中，该系统可以被配置成：仅基于从单个传感器(例如，来自EM传感器或形状感测纤维之一)接收到的数据来确定表示医疗仪器的远端的位置数据。

D.用于医疗仪器导航的示例呈现视图.

图25示出了根据本公开内容的各方面的呈现的图像的示例，该呈现的图像被显示以向机器人系统的用户提供导航反馈。图25中示出的图像700可以被呈现在显示器例如图22中示出的显示器502上。在其他实施方式中，也可以使用一种或更多种其他显示技术例如投影仪(例如，全息图像投影仪)、可穿戴显示器(例如，诸如增强现实眼镜或虚拟现实头带式耳机的头戴式显示器)、3D监视器(例如，高频监视器)等来呈现图像700。某些机器人手术系统可以提供一个或更多个呈现的图像，以向系统的用户提供位置和/或引导信息，以帮助医疗仪器在医疗过程期间的导航。在图25的示例中，呈现的图像包括第一视图705至第五视图725，第一视图705至第五视图725中的每一个可以呈现提供位置和/或导航引导信息的视觉信息。尽管已经在呈现的图像700中示出了五个视图705至725，但是可以呈现任何数目的视图，并且在某些实现中，可以由用户选择或修改视图的位置、尺寸、数目等。

可以基于术前和/或术中数据来生成第一视图705至第五视图725中的一个或更多个。例如，视图705至725中的两个视图可以提供腔网络的扫描，并且可以表示医疗仪器的至少一部分在腔网络内的位置。其他视图可以提供利用被置于医疗仪器上的成像装置例如图20的成像装置415捕获的图像的呈现视图。扫描和/或成像装置捕获的图像可以为用户提供医疗仪器的远端的位置的基本上实时的表示。

本公开内容的各方面涉及可以基于腔网络的模型、医疗仪器和/或目标虚拟地呈现的附加图像的呈现。如上面所讨论的，系统可以基于腔网络的术前和/或术中扫描来生成腔网络的模型(例如，图17、图18或图23的模型150)。此外，系统可以基于一种或更多种类型的输入数据(例如，模型数据91、视觉数据92、EM数据93和/或机器人命令和运动学数据94)来确定医疗仪器的远端的位置。因此，可以呈现模型、医疗仪器的远端的位置和/或取向以及目标的视觉表示，以用于在显示器的至少一部分中(例如，在呈现的图像700中的第一视图705至第五视图725之一中)显示。

另外，文本和/或视觉信息可以被叠加在显示器的一部分上以帮助导航。例如，基于所确定的医疗仪器的远端的位置和取向以及目标的位置，系统可以确定并显示以下中的一个或更多个：医疗仪器的远端与目标之间的距离、医疗仪器的插入方向与目标之间的角度。下面将详细讨论可以提供的附加信息的类型的实施方式。

系统的用户可以使用输入装置800提供指令以控制医疗仪器的移动以及/或者调整呈现的图像700的一个或更多个方面。图26示出了根据本公开内容的各方面的可以被用于从用户接收输入的输入装置的示例。输入装置800(例如，控制器)可以包括多个用户输入元件805至815。用户输入元件805和810可以被配置成：接收与医疗仪器的远端的移动相关的用户输入指令，例如使医疗仪器的远端前进/缩回和/或接合的指令。用户输入元件815可以被配置成：接收用户输入指令以修改在显示器上呈现的一个或更多个视图。

在图26的示例中，用户输入元件815可以是被配置成由用户致动的按钮。然而，其他实施方式可以包括其他类型的输入元件，例如具有一个或更多个轴线的操纵杆、触发按钮等。在手术机器人系统的情况下，更简化的控制方案可以减轻用户的认知负荷担，从而使得用户能够在医疗过程期间专注于对系统进行控制的更多过程-关键方面。例如，用户可以使用用户输入元件805和810来控制医疗仪器的远端的移动。因此，通过将显示器内呈现的某些视图的选择或修改与单个按钮关联，用户可能不太可能将医疗仪器的移动的控制与显示的视图的修改混淆。这样，在某些实施方式中，呈现在显示器上的一个或更多个视图的修改可以被映射至与用户输入元件815的某些类型的用户交互。可能的用户交互类型的示例包括：在小于第一阈值时间段内致动用户输入元件815、在大于第一阈值时间段内致动用户输入元件815、在两倍的第二阈值时间段内致动用户输入元件815等。其他实现可以包括多个用户输入元件，每个用户输入元件被映射至用于修改呈现的视图的一个或更多个指令。

图27是根据本公开内容的各方面的可以在医疗过程期间显示的呈现的视图的示例。具体地，视图900可以被呈现在显示器的至少一部分内，以提供医疗仪器的远端910在腔网络的模型905内的相对位置的可视化。呈现的视图900还可以包括目标920(例如，用于活检过程的目标结节)。目标920可以是模型905内的区域或与模型905相邻的区域，并且医疗过程可以涉及在目标920的阈值距离内驱动医疗仪器的远端910。在活检示例中，一种或更多种工具(例如，活检针)可以从医疗仪器被部署，以当在距目标920的阈值距离内时，从目标920取回一个或更多个组织样本。在该示例中，目标920可以是患者的肺内的病变或结节。

如上面讨论的，可以基于腔网络的术前和/或术中扫描(例如，CT扫描、MRI等)来生成模型905和目标920。对于某些医疗过程，医疗仪器可以具有长形体，该长形体被配置成导航腔网络直到在目标920的阈值距离内。医疗仪器可以包括至少一个传感器(例如，EM传感器线圈305和/或成像装置415，参见图20)，所述至少一个传感器可以被安置在医疗仪器的远端910处或医疗仪器的远端910附近，并且可以被配置成产生输出信号。该系统可以被配置成：基于从至少一个传感器输出的信号来生成指示医疗仪器的远端910的位置的数据。系统可以被配置成：基于位置数据来确定医疗仪器的远端910相对于模型905的位置和/或取向。在某些实施方式中，如上面讨论的，系统可以基于腔网络的基于骨架的模型来确定医疗仪器的远端910的位置和/或取向。因此，系统可以基于所识别的模型的区段以及所确定的医疗仪器的远端910沿识别的区段的骨架的深度来确定医疗仪器的远端910的位置。

然后，系统可以使模型905、目标920的位置以及医疗仪器的远端910的位置和取向呈现在显示器的至少一部分上。图27中示出了这样的呈现的一个示例。在某些实现中，呈现基于指向目标920并且与医疗仪器的视点不同的视点。如本文中所使用的，术语“视点”通常是指相对于呈现的图像的位置，从该位置观察呈现的图像。

在一个示例中，呈现的图像可以以目标920为中心，而不是以医疗仪器的远端910为中心。如上面讨论的，除了其他视图例如由位于医疗仪器的远端910上的成像装置捕获的图像之外，呈现还可以被显示在显示器的一部分上。为了将医疗过程的补充可视化提供给由成像装置捕获的图像，可以相对于医疗仪器的远端910从“第三人称”视角视点来生成呈现的视图900。在该示例中，由成像装置捕获的图像可以被认为是从医疗仪器的远端910的视角的“第一人称”视点。

由于模型905的形状，从其生成呈现的视图900的视点可能影响在呈现的视图900中可见的对象。例如，模型905的更靠近视点的部分可能遮挡位于更靠近的部分后面的其他对象的视图。当用户旨在沿其驱动医疗仪器的模型905的部分或目标从视图被遮挡时，呈现的视图900可能无法辅助用户导航医疗仪器。因此，该系统可以被配置成：基于用户输入元件(例如，图26的用户输入元件815)的致动来修改呈现的图像900的视点，以将遮挡的对象带到视图中。在另一实施方式中，系统可以被配置成：当模型905的一部分遮挡一个或更多个其他呈现的对象的视图时，将模型905的至少一部分呈现为半透明的(或者可替选地，完全透明的)。

在一个实现中，系统可以被配置成：经由用户输入元件接收与用户输入元件的第一类型的用户交互。然后，系统可以基于与用户输入元件的第一类型的用户交互来生成第一类型的呈现指令。响应于生成第一类型的呈现指令，系统可以使修改的模型视图、目标的位置以及医疗仪器的远端的位置和取向显示在显示器的一部分内。

在某些实施方式中，系统可以采用诸如模糊逻辑或机器学习的算法来自动选择用于修改模型的视图的方法。例如，系统可以使用在医疗过程期间的用户的输入来确定在医疗过程期间用户对特定视点的偏好。在一些实施方式中，系统可以在逐个用户的基础上自适应地调整视点，因此仅使用当前用户的先前输入来确定如何调整或修改呈现的图像。在其他实施方式中，系统可以推断多个用户的用户行为，从而合并用户输入数据以生成可以被用于自动生成修改视图的全局统计数据。全局统计数据和用户特定统计数据也可以被加权以创建用户特定算法，该用户特定算法另外并入来自用户池的某些统计数据。

如上面描述的，当用户与用户输入元件交互时，系统能够检测多种不同的用户交互类型。系统可以将与用户输入元件的用户交互的类型中的每种类型映射至呈现的视图900的不同修改。例如，系统可以生成与和用户输入元件的可检测用户交互的类型中的每种类型对应的不同类型的呈现指令。因此，系统可以响应于与用户输入元件的第一类型的用户交互来生成第一类型的呈现指令。

在一种实现中，第一类型的呈现指令可以包括使指向目标的视点旋转的旋转指令。修改的视图可以包括模型、目标的位置以及医疗仪器的远端的位置和取向的旋转视图，其中目标作为旋转的中心。因此，响应于旋转指令，呈现的视图900的视点可以围绕目标旋转。

图28A至图28D示出了根据本公开内容的各方面的基于旋转指令生成的一系列修改的呈现的视图。在一个实施方式中，第一类型的用户交互可以包括：用户在长于阈值时间段内致动用户输入元件。例如，用户可以在长于阈值时间段内按压(例如，压低)按钮。一旦已经在大于阈值时间段的时间长度内致动按钮，系统就可以启动呈现的视图的视点的旋转。当按钮保持被致动时，系统可以继续旋转呈现的视图。一旦按钮被释放，系统就可以停止呈现的视图的视点的旋转。

如图28A至图28D中所示，可以生成响应于旋转指令生成的呈现的视图中的每一个，从而具有与旋转轴线形成预定角度的视点，该旋转轴线穿过如下目标，视图被配置成围绕所述目标旋转。例如，如图28A至图28D中所示，可以以目标为原点来定义坐标系。图28A至图28D中的视图中的每一个都可以围绕穿过目标的中心的旋转轴线旋转。另外，呈现的视图中的每一个处的视点可以形成与视点围绕其旋转的轴线相同的角度。

然而，由于在图28A至图28D的示例中视点与参考平面之间的角度是恒定的，因此仅使用旋转指令，某些被遮挡的对象可能仍然难以在呈现的图像中观察到。因此，系统可以检测与用户输入元件的第二类型的用户交互。例如，系统可以基于与用户输入元件的第二类型的用户交互来生成第二类型的呈现指令。在一些实现中，第二类型的呈现指令包括使旋转轴线与指向目标的视点之间的角度改变的高度指令。响应于生成第二类型的呈现指令，系统可以使具有旋转轴线与指向目标的视点之间的改变的角度的模型呈现在显示器的一部分内。

图29A和图29B示出了根据本公开内容的各方面的基于高度指令生成的一系列修改的呈现的视图。在一个实施方式中，第二类型的用户交互可以包括：用户在小于阈值时间段内致动用户输入元件。例如，用户可以在经过阈值时间段之前按压并释放按钮。一旦系统检测到第二类型的用户交互，系统就可以启动呈现的视图的视点的高度的改变。每当系统检测到第二类型的用户交互时，系统就可以在两个或更多个预定的高度角之间交替。

系统还可以检测与用户输入元件的第三类型的用户交互。例如，第三类型的用户交互可以是(一个或多个)“双击”轻敲或(一个或多个)类似姿势，其中按钮在阈值时间段(其可以不同于被用于检测第一类型的用户交互和第二类型的用户交互的阈值)内被致动。图30示出了根据本公开内容的各方面的基于切换视角指令生成的修改的呈现的视图。例如，系统可以在“第三人称”呈现的视图(如图27至图29中所示)与从医疗仪器的远端的视点的“第一人称”呈现的视图之间切换。系统可以基于与用户输入元件的第三类型的用户交互来生成第三类型的呈现指令。第三类型的呈现指令可以包括切换视角指令，该切换视角指令被配置成切换呈现的模型的显示的视点。视点的切换可以包括：将视点从当前视点(例如，与医疗仪器的视点不同的视点)改变为医疗仪器的视点。响应于生成第三类型的呈现指令，该系统可以使从医疗仪器的视点将模型呈现在显示器的一部分内。在其他实施方式中，系统可以被配置成：响应于检测到第一类型的用户交互(例如，在长于阈值时间段内致动用户输入元件)，在“第三人称”呈现的视图与“第一人称”呈现的视图之间切换。

基于医疗仪器的视点的呈现的图像可以为用户提供腔网络的内部的视觉表示，该视觉表示与由位于医疗仪器的远端上的成像装置拍摄的图像对应。在某些情况下，由于腔网络的形状、从照明源发射的光不良反射回至成像装置和/或(一种或多种)材料(例如，血液、污物、病理等)阻挡成像装置的视图，因此对系统的用户而言，由成像装置生成的图像可能难以辨认。因此，用户可以参考由成像装置捕获的图像来从医疗仪器的远端的视点呈现模型以帮助导航。

系统还可以提供叠加在一个或更多个呈现的图像上的另外的可视化和/或文本描述，以帮助医疗仪器的导航。图31是根据本公开内容的各方面的可以在医疗过程期间显示的呈现的视图的又一示例。呈现的图像1000包括沿医疗仪器的当前插入方向的在医疗仪器的远端910与目标920的表面(也被称为“边界表面”或被简称为“边界”)之间的距离的第一指示1005。呈现的图像1000还包括目标920沿医疗仪器的当前插入方向的厚度的第二指示1010。第一指示1005和第二指示1010可以向用户提供与医疗仪器的远端910的位置的适合性相关的信息，以用于沿医疗仪器的当前插入方向进行活检。在其他实施方式中，第一指示1005可以表示医疗仪器的远端910与目标920内的最密集位置之间的距离。在示出的实施方式中，系统还可以呈现指示目标920的位置的文本标签“T1”。

系统还可以在呈现的模型上呈现图形指示符1015。例如，系统可以基于医疗仪器的远端910的位置和取向使呈现从医疗仪器的远端910在医疗仪器的当前插入方向上延伸的图形指示符1015。在某些实施方式中，系统可以响应于医疗仪器的远端910在目标920的阈值距离内来呈现图形指示符。系统还可以基于来自至少一个传感器的数据来确定医疗仪器的远端910的位置和取向中的至少一个的变化，并且响应于确定医疗仪器的远端910的位置和取向中的至少一个的变化，系统可以确定图形指示符1015与目标920相交。

响应于确定线与目标920相交，系统可以使呈现对图形指示符1015的改变。在一个示例中，系统可以基于图形指示符1015是否与目标920的一部分相交来改变图形指示符1015的颜色。颜色的这种改变可以为用户提供插入方向与目标920对准的视觉指示。当医疗仪器与目标920对准并且在目标920的阈值距离内时，可以从医疗仪器的远端910部署医疗工具，以例如对目标920进行活检。

系统还可以响应于图形指示符1015与目标920的特定部分相交而改变图形指示符1015的颜色。例如，用户可以选择目标920的一部分以进行活检或者可以选择目标920的中心以进行活检。因此，当图形指示符1015与目标920的选择部分相交时，系统可以改变图形指示符1015的显示颜色，以发信号通知可以安置医疗仪器以对目标920的选择区域进行活检。在某些情况下，目标920也可以具有不均匀的形状，该不均匀的形状包括较大的主要本体部分和连接至主要本体部分的较小的次要本体部分。主要本体部分可以具有比次要本体部分更大的体积。当次要本体部分具有小于阈值体积的体积时，对准医疗仪器以对次要本体部分进行活检可能是不切实际的。因此，系统可以相对于主要本体部分的中心限定目标920的中心。然后，系统可以响应于图形指示符1015与主要身体部分的中心相交来改变图形指示符1015的颜色。

在图31中示出的实施方式中，图形指示符1015可以是从医疗仪器的远端910延伸的线。然而，应当理解，在其他实施方式中，图形指示符可以是柱体、锥体、投影的点或由医疗仪器指向的表面上的其他形状或者任何其他合适的指示符。此外，可以使用任何合适的着色、阴影或图案(例如，点线或虚线)来呈现这些指示符中的每一个。图32是根据本公开内容的各方面的具有锥体图形指示符的呈现的视图的另一示例，其可以在医疗过程期间被显示。正如提到的，在图32的实施方式中，图形指示符1020是锥体。锥体可以形成有限定锥体的孔的角度，其中该孔基于所估计的医疗仪器的远端910的取向的误差范围。如本文中所使用的，锥体的孔通常可以指锥体的侧面之间的最大角度或锥体的轴线与锥体的侧面之间的角度的两倍。例如，系统可能能够基于使用位于医疗仪器上的一个或更多个EM传感器检测到的EM数据来确定所估计的医疗仪器的远端910的取向的误差。因此，可以通过基于估计的误差改变锥体的孔来将测量的取向的误差传送给用户。在其他实施方式中，锥体1020的孔可能和医疗仪器的远端910与目标920之间的距离相关(并且根据该距离被调整)。例如，锥体的孔的尺寸可以随着医疗仪器的远端910与目标920之间的距离减小而减小。

3.实现系统和术语.

本文中公开的实现提供了用于医疗仪器导航和瞄准的系统、方法和设备。

应该注意，如本文中使用的术语“耦接(couple)”、“耦接(coupling)”、“耦接(coupled)”或词耦接(couple)的其他变型可以指示间接连接或直接连接。例如，如果将第一部件“耦接”至第二部件，则第一部件可以经由另一部件间接地连接至第二部件或者直接连接至第二部件。

本文中描述的建模功能和/或呈现功能可以作为一个或更多个指令被存储在处理器可读介质或计算机可读介质上。术语“计算机可读介质”是指可以由计算机或处理器访问的任何可用的介质。通过示例的方式而非限制，这样的介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存、光盘只读存储器(CD-ROM)或其他光盘存储装置、磁盘存储装置或其他磁存储装置、或者可以被用于以指令或数据结构的形式存储所需程序代码且可以由计算机访问的任何其他介质。应当注意，计算机可读介质可以是有形的且非暂态的。如本文中所使用的，术语“代码”可以指代能够由计算装置或处理器执行的软件、指令、代码或数据。

本文中公开的方法包括用于实现所描述的方法的一个或更多个步骤或动作。在不脱离权利要求的范围的情况下，方法步骤和/或动作可以彼此互换。换句话说，除非正在被描述的方法的正确操作需要步骤或动作的特定顺序，否则可以在不脱离权利要求的范围的情况下修改特定步骤和/或动作的顺序和/或使用。

如本文中所使用的，术语“多个”表示两个或更多个。例如，多个部件指示两个或更多个部件。术语“确定”涵盖各种各样的动作，因此“确定”可以包括计算(calculating)、计算(computing)、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)、确定(ascertaining)等。此外，“确定”可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。此外，“确定”可以包括解析、选择、挑选、建立等。

除非另有明确说明，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述了“仅基于”和“至少基于”两者。

提供了对所公开的实现的先前描述以使得本领域的任何技术人员能够制造或使用本发明。对这些实现的各种修改对于本领域技术人员而言将是显而易见的，并且在不脱离本发明的范围的情况下，本文中定义的一般原理可以应用于其他实现。例如，将认识到，本领域普通技术人员之一将能够采用许多相应的替选和等同的结构细节，例如紧固、安装、耦接或接合工具部件的等同方式、用于产生特定致动运动的等同机构和用于递送电能的等效机构。因此，本发明不旨在限于本文中所示的实现，而是应该被赋予与本文中所公开的原理和新颖特征一致的最宽范围。

Claims (34)

1.一种用于医疗仪器导航和瞄准的系统，包括：

医疗仪器，其具有长形体和至少一个传感器；

显示器；

用户输入装置，其包括指向输入元件和按钮输入元件；

处理器；以及

存储器，其存储腔网络的映射部分的模型以及目标相对于所述模型的位置，所述存储器还存储计算机可执行指令，所述计算机可执行指令被配置成使所述处理器执行以下操作：

当在所述腔网络的所述部分内导航所述医疗仪器的同时：

从所述用户输入装置的所述指向输入元件接收指向输入；

使所述医疗仪器的远端基于所述指向输入移动；

基于来自所述至少一个传感器的数据，确定所述医疗仪器的远端相对于所述模型的实时位置和取向；使所述模型的第三人称视图、所述目标的位置以及所述医疗仪器的远端的实时位置和取向呈现在所述显示器的至少一部分上，其中，所述第三人称视图基于指向所述目标并且与所述医疗仪器的视点不同的视点；

从所述用户输入装置接收旋转输入；

响应于所述旋转输入，使第三人称修改视图呈现在所述显示器的所述至少一部分上，其中，所述第三人称修改视图包括所述模型、所述目标的位置和所述医疗仪器的远端的位置和取向的旋转视图，其中所述目标作为旋转的中心；

从所述用户输入装置的所述按钮输入元件接收第一按钮输入；以及

响应于所述第一按钮输入，使所述显示器上的呈现在所述第三人称修改视图的呈现与从所述医疗仪器的视点的第一人称呈现的视图之间切换。

2.根据权利要求1所述的系统，其中，所述存储器还存储计算机可执行指令以使所述处理器执行以下操作：

经由所述用户输入装置，接收与所述按钮输入元件的用户交互，以及

响应于与所述按钮输入元件的用户交互，使所述模型的至少一部分半透明或完全透明地呈现在所述显示器的所述一部分内。

3.根据权利要求1所述的系统，其中：

所述用户输入装置包括手持式控制器。

4.根据权利要求1所述的系统，其中，所述存储器还存储计算机可执行指令以使所述处理器执行以下操作：

经由所述用户输入装置，从所述按钮输入元件接收第二按钮输入，

基于所述第二按钮输入来生成呈现指令，所述呈现指令包括使以所述目标为中心的参考平面与指向所述目标的视点之间的角度改变的高度指令，以及

响应于生成所述呈现指令，使具有在所述参考平面与指向所述目标的视点之间的改变的角度的模型呈现在所述显示器的所述一部分内。

5.根据权利要求4所述的系统，其中：

所述第一按钮输入包括在大于阈值时间段内致动所述按钮输入元件，以及

所述第二按钮输入包括在小于所述阈值时间段内致动所述按钮输入元件。

6.根据权利要求1所述的系统，其中：

所述第一按钮输入包括在时间段内保持所述按钮输入元件，以及

当所述按钮输入元件被释放时，停止所述模型的旋转视图的旋转。

7.根据权利要求1所述的系统，其中，所述存储器还存储计算机可执行指令以使所述处理器执行以下操作：

基于所述医疗仪器的远端的位置和取向，使呈现从所述医疗仪器的远端在所述医疗仪器的插入方向上延伸的图形指示符，

基于来自所述至少一个传感器的数据，确定所述医疗仪器的远端的位置和取向中的至少一个的改变，

响应于确定所述医疗仪器的远端的位置和取向中的至少一个的改变，确定所述图形指示符与所述目标相交，以及

响应于确定线与所述目标相交，使呈现所述图形指示符的改变。

8.根据权利要求7所述的系统，其中，所述存储器还存储计算机可执行指令以使所述处理器执行以下操作：

基于来自所述至少一个传感器的数据，确定所述医疗仪器的远端在距所述目标的阈值距离内；以及

响应于确定所述医疗仪器的远端在距所述目标的阈值距离内，使呈现所述图形指示符。

9.根据权利要求8所述的系统，其中，所述图形指示符选自：线、柱体或锥体。

10.根据权利要求8所述的系统，其中，所述图形指示符是锥体，所述锥体的孔基于估计的所述医疗仪器的远端的取向的误差范围。

11.根据权利要求8所述的系统，其中，所述存储器还存储计算机可执行指令以使所述处理器执行以下操作：

响应于确定所述医疗仪器的远端的位置和取向中的至少一个的改变，确定所述图形指示符与所述目标的中心相交，以及

响应于确定所述图形指示符与所述目标的中心相交，使呈现所述图形指示符的颜色的改变。

12.根据权利要求11所述的系统，其中，所述目标包括主要本体部分和连接至所述主要本体部分的次要本体部分，所述主要本体部分具有比所述次要本体部分更大的体积，并且所述目标的中心相对于所述主要本体部分的中心被限定。

13.根据权利要求1所述的系统，其中：

所述模型包括骨架，所述骨架包括多个区段，其中，所述区段中的每一个相对于所述腔网络的映射部分的相应腔的中心线被限定，

所述存储器还存储计算机可执行指令以使所述处理器执行以下操作：

识别所述医疗仪器的远端位于的区段，

确定所述医疗仪器的远端沿所识别的区段的深度，以及

基于所识别的区段和所述深度来确定所述医疗仪器的远端的位置。

14.根据权利要求13所述的系统，其中，所述存储器还存储计算机可执行指令以使所述处理器执行以下操作：

基于所确定的所述医疗仪器的远端的位置和所述目标的位置来确定所述医疗仪器的远端与所述目标之间的距离。

15.根据权利要求13所述的系统，其中，所述存储器还存储计算机可执行指令以使所述处理器执行以下操作：

基于所确定的所述医疗仪器的远端的位置，使所述医疗仪器的远端的位置呈现在所述显示器的至少另一部分上。

16.根据权利要求13所述的系统，其中，所述存储器还存储计算机可执行指令以使所述处理器执行以下操作：

确定所述医疗仪器的远端的位置在由所述模型限定的体积内，以及

将所确定的所述医疗仪器的远端的位置限制为沿所述骨架被定位。

17.根据权利要求13所述的系统，其中：

所述至少一个传感器包括电磁EM传感器或形状感测纤维中的一个，以及

所述存储器还存储计算机可执行指令以使所述处理器仅基于从所述形状感测纤维的EM传感器之一接收到的数据来生成位置数据。

18.一种非暂态计算机可读存储介质，在所述非暂态计算机可读存储介质上存储有当被执行时使至少一个计算装置执行以下操作的指令：

当在腔网络的映射部分内导航医疗仪器的同时：

从用户输入装置的指向输入元件接收指向输入；

使所述医疗仪器的远端基于所述指向输入移动；

基于来自所述医疗仪器的至少一个传感器的数据，确定所述医疗仪器的远端相对于所述腔网络的映射部分的模型的实时位置和取向；

使所述模型的第三人称视图、目标相对于所述模型的位置以及所述医疗仪器的远端的实时位置和取向呈现在显示器的至少一部分上，其中，所述第三人称视图基于指向所述目标并且与所述医疗仪器的视点不同的视点；

从所述用户输入装置接收旋转输入；

响应于所述旋转输入，使第三人称修改视图呈现在所述显示器的所述至少一部分上，其中，所述第三人称修改视图包括所述模型、所述目标的位置和所述医疗仪器的远端的位置和取向的旋转视图，其中所述目标作为旋转的中心；

从所述用户输入装置的按钮输入元件接收第一按钮输入；以及

响应于所述第一按钮输入，使所述显示器上的呈现在所述第三人称修改视图的呈现与从所述医疗仪器的视点的第一人称呈现的视图之间切换。

19.根据权利要求18所述的非暂态计算机可读存储介质，在所述非暂态计算机可读存储介质上还存储有当被执行时使至少一个计算装置执行以下操作的指令：

经由所述用户输入装置接收与所述按钮输入元件的用户交互；以及

响应于与所述按钮输入元件的用户交互，使所述模型的至少一部分半透明或完全透明地呈现在所述显示器的一部分内。

20.根据权利要求18所述的非暂态计算机可读存储介质，其中：

所述用户输入装置包括手持式控制器。

21.根据权利要求18所述的非暂态计算机可读存储介质，在所述非暂态计算机可读存储介质上还存储有当被执行时使至少一个计算装置执行以下操作的指令：

经由所述用户输入装置，从所述按钮输入元件接收第二按钮输入；

基于所述第二按钮输入来生成呈现指令，所述呈现指令包括使以所述目标为中心的参考平面与指向所述目标的视点之间的角度改变的高度指令；以及

响应于生成所述呈现指令，使具有在所述参考平面与指向所述目标的视点之间的改变的角度的模型呈现在所述显示器的一部分内。

22.根据权利要求21所述的非暂态计算机可读存储介质，其中：

所述第一按钮输入包括在大于阈值时间段内致动所述按钮输入元件，以及

所述第二按钮输入包括在小于所述阈值时间段内致动所述按钮输入元件。

23.根据权利要求18所述的非暂态计算机可读存储介质，其中：

所述第一按钮输入包括在时间段内保持所述按钮输入元件，以及

当所述按钮输入元件被释放时，停止所述模型的旋转视图的旋转。

24.根据权利要求18所述的非暂态计算机可读存储介质，在所述非暂态计算机可读存储介质上还存储有当被执行时使至少一个计算装置执行以下操作的指令：

基于所述医疗仪器的远端的位置和取向，使呈现从所述医疗仪器的远端在所述医疗仪器的插入方向上延伸的图形指示符；

基于来自所述至少一个传感器的数据，确定所述医疗仪器的远端的位置和取向中的至少一个的改变；

响应于确定所述医疗仪器的远端的位置和取向中的至少一个的改变，确定所述图形指示符与所述目标相交；以及

响应于确定线与所述目标相交，使呈现所述图形指示符的改变。

25.根据权利要求18所述的非暂态计算机可读存储介质，在所述非暂态计算机可读存储介质上还存储有当被执行时使至少一个计算装置执行以下操作的指令：

基于来自所述至少一个传感器的数据，确定所述医疗仪器的远端在距所述目标的阈值距离内；以及

响应于确定所述医疗仪器的远端在距所述目标的阈值距离内，使呈现图形指示符，所述图形指示符从所述医疗仪器的远端在所述医疗仪器的插入方向上延伸。

26.根据权利要求25所述的非暂态计算机可读存储介质，其中，所述图形指示符选自：线、柱体或锥体。

27.根据权利要求25所述的非暂态计算机可读存储介质，其中，所述图形指示符是锥体，所述锥体的孔基于估计的所述医疗仪器的远端的取向的误差范围。

28.根据权利要求25所述的非暂态计算机可读存储介质，在所述非暂态计算机可读存储介质上还存储有当被执行时使至少一个计算装置执行以下操作的指令：

响应于确定所述医疗仪器的远端的位置和取向中的至少一个的改变，确定所述图形指示符与所述目标的中心相交；以及

响应于确定所述图形指示符与所述目标的中心相交，使呈现所述图形指示符的颜色的改变。

29.根据权利要求28所述的非暂态计算机可读存储介质，其中，所述目标包括主要本体部分和连接至所述主要本体部分的次要本体部分，所述主要本体部分具有比所述次要本体部分更大的体积，并且所述目标的中心相对于所述主要本体部分的中心被限定。

30.根据权利要求28所述的非暂态计算机可读存储介质，其中：

所述模型包括骨架，所述骨架包括多个区段，其中，所述区段中的每一个相对于所述腔网络的映射部分的相应腔的中心线被限定，

在所述非暂态计算机可读存储介质上还存储有指令，当所述指令被执行时使至少一个计算装置执行以下操作：

识别所述医疗仪器的远端位于的区段；

确定所述医疗仪器的远端沿所识别的区段的深度；以及

基于所识别的区段和所述深度来确定所述医疗仪器的远端的位置。

31.根据权利要求30所述的非暂态计算机可读存储介质，在所述非暂态计算机可读存储介质上还存储有当被执行时使至少一个计算装置执行以下操作的指令：

基于所确定的所述医疗仪器的远端的位置和所述目标的位置来确定所述医疗仪器的远端与所述目标之间的距离。

32.根据权利要求30所述的非暂态计算机可读存储介质，在所述非暂态计算机可读存储介质上还存储有当被执行时使至少一个计算装置执行以下操作的指令：

基于所确定的所述医疗仪器的远端的位置，使所述医疗仪器的远端的位置呈现在所述显示器的至少另一部分上。

33.根据权利要求30所述的非暂态计算机可读存储介质，在所述非暂态计算机可读存储介质上还存储有当被执行时使至少一个计算装置执行以下操作的指令：

确定所述医疗仪器的远端的位置在由所述模型限定的体积内，以及

将所确定的所述医疗仪器的远端的位置限制为沿所述骨架被定位。

34.根据权利要求30所述的非暂态计算机可读存储介质，其中：

所述至少一个传感器包括电磁EM传感器或形状感测纤维中的一个，以及

存储器还存储计算机可执行指令以使处理器被配置成：仅基于从所述形状感测纤维的所述EM传感器之一接收到的数据来生成位置数据。

Images