CN114340540A - 器械图像可靠性系统和方法 - Google Patents

Abstract

本文描述了与图像管理有关的系统和方法。系统可包括器械，该器械包括细长主体和成像装置。细长主体可被配置成插入内腔网络中。成像装置可定位在细长主体的远侧末端处。该系统可从成像装置接收当细长主体位于内腔网络内时所捕获的一个或多个图像。对于图像中的每个图像，该系统可确定指示图像的用于将细长主体的远侧末端定位在内腔网络内的可靠性的一个或多个度量。该系统可确定一个或多个度量中的每个度量的可靠性阈值。该系统可基于一个或多个度量是否满足对应的可靠性阈值来利用一个或多个图像。

Description

器械图像可靠性系统和方法

相关申请的交叉引用

本申请要求2019年8月30日提交的美国临时申请号62/894,601的权益，该申请据此全文以引用方式并入。

技术领域

本公开整体涉及用于医疗器械的导航的系统和方法，并且更具体地涉及用于导航机器人控制的医疗器械的基于图像的分析。

背景技术

医疗规程诸如内窥镜检查(例如，支气管镜检查)可涉及出于诊断和/或治疗目的而进入患者的内腔(例如，气道)的内部并使其可视化。在规程期间，可将柔性管状工具或器械诸如内窥镜插入患者体内。在一些情况下，可将第二器械穿过内窥镜至所识别的组织部位以进行诊断和/或治疗。

支气管镜检查是允许医师检查患者的肺中的气道诸如支气管和细支气管的内部状况的医疗规程。在医疗规程期间，可将细的柔性管状工具或器械(称为支气管镜)插入患者的口腔中并向下穿过患者的喉道至其肺气道中，朝向所识别的组织部位，以进行后续诊断和/或治疗。支气管镜可具有提供通往组织部位的通路的内部内腔(“工作通道”)，并且导管和各种医疗工具可通过该工作通道插入组织部位。

在某些医学规程中，外科机器人系统可用于控制外科工具的插入和/或操纵。外科机器人系统可包括至少一个机器人臂或其他器械定位装置，其包括用于在规程期间控制外科工具的定位的操纵器组件。

附图说明

下文将结合附图描述所公开的方面，该附图被提供以说明而非限制所公开的方面，其中，类似的标号表示类似的元件。

图1示出了被布置用于诊断和/或治疗支气管镜检查规程的基于推车的机器人系统的实施方案。

图2描绘了图1的机器人系统的另外方面。

图3示出了被布置用于输尿管镜检查的图1的机器人系统的实施方案。

图4示出了被布置用于血管规程的图1的机器人系统的实施方案。

图5示出了被布置用于支气管镜检查规程的基于台的机器人系统的实施方案。

图6提供了图5的机器人系统的另选视图。

图7示出了被配置成收起机器人臂的示例性系统。

图8示出了被配置用于输尿管镜检查规程的基于台的机器人系统的实施方案。

图9示出了被配置用于腹腔镜检查规程的基于台的机器人系统的实施方案。

图10示出了具有俯仰或倾斜调整的图5至图9的基于台的机器人系统的实施方案。

图11提供了图5至图10的基于台的机器人系统的台和柱之间的接口的详细图示。

图12示出了基于台的机器人系统的另选实施方案。

图13示出了图12的基于台的机器人系统的端视图。

图14示出了其上附接有机器人臂的基于台的机器人系统的端视图。

图15示出了示例性器械驱动器。

图16示出了具有成对器械驱动器的示例性医疗器械。

图17示出了器械驱动器和器械的另选设计，其中驱动单元的轴线平行于器械的细长轴的轴线。

图18示出了具有基于器械的插入架构的器械。

图19示出了示例性控制器。

图20描绘了根据示例性实施方案的示出定位系统的框图，该定位系统估计图1至图10的机器人系统的一个或多个元件的位置，诸如图16至图18的器械的位置。

图21示出了患者的示例性内腔网络。

图22示出了可与本文所述的机器人系统的一些具体实施一起使用的示例性命令控制台。

图23示出了示例性医疗器械的远侧端部的细部图。

图24提供了内腔网络的分支的内部的示例性图像。

图25示出了包括分析系统和医疗器械的示例性图像管理系统。

图26示出了可与本文所述的医疗系统组合使用的标测系统。

图27示出了用于实施上述图像管理系统的示例性方法。

具体实施方式

I.概述。

本公开的各方面可集成到机器人使能的医疗系统中，该机器人使能的医疗系统能够执行多种医疗规程，包括微创规程诸如腹腔镜检查，以及非侵入规程诸如内窥镜检查两者。在内窥镜检查规程中，系统可能能够执行支气管镜检查、输尿管镜检查、胃镜检查等。

除了执行广泛的规程之外，系统可以提供附加的益处，诸如增强的成像和指导以帮助医师。另外，该系统可以为医师提供从人体工程学方位执行规程的能力，而不需要笨拙的臂运动和方位。另外，该系统可以为医师提供以改进的易用性执行规程的能力，使得系统的器械中的一个或多个器械可由单个用户控制。

出于说明的目的，下文将结合附图描述各种实施方案。应当理解，所公开的概念的许多其他具体实施是可能的，并且利用所公开的具体实施可实现各种优点。标题包括在本文中以供参考并且有助于定位各个节段。这些标题并非旨在限制相对于其所述的概念的范围。此类概念可在整个说明书中具有适用性。

A.机器人系统–推车。

机器人使能的医疗系统可以按多种方式配置，这取决于特定规程。图1示出了被布置用于诊断和/或治疗支气管镜检查规程的基于推车的机器人使能系统10的实施方案。在支气管镜检查期间，系统10可包括推车11，该推车具有一个或多个机器人臂12，以将医疗器械诸如可操纵内窥镜13(其可以是用于支气管镜检查的规程特定的支气管镜)递送至自然孔口进入点(即，在本示例中定位在台上的患者的口)，以递送诊断和/或治疗工具。如图所示，推车11可被定位在患者的上躯干附近，以便提供到进入点的通路。类似地，可以致动机器人臂12以相对于进入点定位支气管镜。当利用胃镜(用于胃肠道(GI)规程的专用内窥镜)执行GI规程时，也可利用图1中的布置。图2更详细地描绘了推车的示例性实施方案。

继续参考图1，一旦推车11被正确定位，机器人臂12就可以机器人地、手动地或以其组合将可操纵内窥镜13插入患者体内。如图所示，可操纵内窥镜13可包括至少两个伸缩部分，诸如内引导件部分和外护套部分，每个部分耦合到来自一组器械驱动器28的单独的器械驱动器，每个器械驱动器耦合到单独的机器人臂的远侧端部。有利于将引导件部分与护套部分同轴对准的器械驱动器28的这种线性布置产生“虚拟轨道”29，该“虚拟轨道”可以通过将一个或多个机器人臂12操纵到不同角度和/或方位而在空间中被重新定位。本文所述的虚拟轨道在附图中使用虚线描绘，并且因此虚线未描绘系统的任何物理结构。器械驱动器28沿着虚拟轨道29的平移使内引导件部分相对于外护套部分伸缩，或者使内窥镜13从患者推进或回缩。虚拟轨道29的角度可以基于临床应用或医师偏好来调节、平移和枢转。例如，在支气管镜检查中，如图所示的虚拟轨道29的角度和方位代表了在向医师提供到内窥镜13的通路同时使由内窥镜13弯曲到患者的口中引起的摩擦最小化之间的折衷。

在插入之后，内窥镜13可以使用来自机器人系统的精确命令向下导向患者的气管和肺，直到到达目标目的地或手术部位。为了增强通过患者的肺网络的导航和/或到达期望的目标，内窥镜13可被操纵以从外部护套部分伸缩地延伸内引导件部分，以获得增强的关节运动和更大的弯曲半径。使用单独的器械驱动器28还允许引导件部分和护套部分彼此独立地被驱动。

例如，内窥镜13可被导向以将活检针递送到目标，诸如患者肺内的病变或结节。针可沿工作通道向下部署，该工作通道延伸内窥镜的长度以获得待由病理学家分析的组织样本。根据病理结果，可沿内窥镜的工作通道向下部署附加工具以用于附加活检。在识别出结节是恶性的之后，内窥镜13可以通过内窥镜递送工具以切除潜在的癌组织。在一些情况下，诊断和治疗处理可在单独的规程中递送。在这些情况下，内窥镜13也可用于递送基准以“标记”目标结节的位置。在其他情况下，诊断和治疗处理可在相同的规程期间递送。

系统10还可包括可运动塔30，该可运动塔可经由支撑缆线连接到推车11以向推车11提供控制、电子、流体、光学、传感器和/或电力的支持。将这样的功能放置在塔30中允许可以由操作医师和他/她的工作人员更容易地调节和/或重新定位的更小形状因子的推车11。另外，在推车/台和支撑塔30之间划分功能减少了手术室混乱并且有利于改善临床工作流程。虽然推车11可被定位成靠近患者，但是塔30可以在远程位置中被收起以在规程过程期间不挡道。

为了支持上述机器人系统，塔30可包括基于计算机的控制系统的部件，该基于计算机的控制系统将计算机程序指令存储在例如非暂态计算机可读存储介质诸如永磁存储驱动器、固态驱动器等内。无论执行是发生在塔30中还是发生在推车11中，这些指令的执行都可以控制整个系统或其子系统。例如，当由计算机系统的处理器执行时，指令可致使机器人系统的部件致动相关托架和臂安装件，致动机器人臂，并且控制医疗器械。例如，响应于接收到控制信号，机器人臂的关节中的马达可将臂定位成特定姿势。

塔30还可包括泵、流量计、阀控制器和/或流体通路，以便向可通过内窥镜13部署的系统提供受控的冲洗和抽吸能力。这些部件也可使用塔30的计算机系统来控制。在一些实施方案中，冲洗和抽吸能力可通过单独的缆线直接递送到内窥镜13。

塔30可包括电压和浪涌保护器，该电压和浪涌保护器被设计成向推车11提供经滤波和保护的电力，从而避免在推车11中放置电力变压器和其他辅助电力部件，从而得到更小、更可运动的推车11。

塔30还可包括用于在整个机器人系统10中部署的传感器的支撑设备。例如，塔30可包括用于在整个机器人系统10中检测、接收和处理从光学传感器或相机接收的数据的光电设备。结合控制系统，此类光电设备可用于生成实时图像，以用于在整个系统中部署的任何数量的控制台中显示(包括在塔30中显示)。类似地，塔30还可包括用于接收和处理从部署的电磁(EM)传感器接收的信号的电子子系统。塔30还可用于容纳和定位EM场发生器，以便由医疗器械中或医疗器械上的EM传感器进行检测。

除了系统的其余部分中可用的其他控制台(例如，安装在推车顶部上的控制台)之外，塔30还可包括控制台31。控制台31可包括用于医师操作者的用户界面和显示屏，诸如触摸屏。系统10中的控制台通常设计成提供机器人控制以及规程的术前信息和实时信息两者，诸如内窥镜13的导航和定位信息。当控制台31不是医师可用的唯一控制台时，其可由第二操作者(诸如护士)使用以监测患者的健康状况或生命体征和系统10的操作，以及提供规程特定的数据，诸如导航和定位信息。在其他实施方案中，控制台30被容纳在与塔30分开的主体中。

塔30可通过一个或多个缆线或连接件(未示出)耦合到推车11和内窥镜13。在一些实施方案中，可通过单根缆线向推车11提供来自塔30的支撑功能，从而简化手术室并消除手术室的混乱。在其他实施方案中，特定功能可耦合在单独的布线和连接中。例如，尽管可以通过单个缆线向推车11提供电力，但也可以通过单独的缆线提供对控件、光学器件、流体和/或导航的支持。

图2提供了来自图1所示的基于推车的机器人使能的系统的推车11的实施方案的详细图示。推车11通常包括细长支撑结构14(通常称为“柱”)、推车基部15以及在柱14的顶部处的控制台16。柱14可包括一个或多个托架，诸如用于支持一个或多个机器人臂12(图2中示出三个)的部署的托架17(另选地为“臂支撑件”)。托架17可包括可单独配置的臂安装件，该臂安装件沿垂直轴线旋转以调节机器人臂12的基部，以相对于患者更好地定位。托架17还包括托架接口19，该托架接口允许托架17沿着柱14竖直地平移。

托架接口19通过狭槽诸如狭槽20连接到柱14，该狭槽定位在柱14的相对侧上以引导托架17的竖直平移。狭槽20包括竖直平移接口以将托架17相对于推车基部15定位并保持在各种竖直高度处。托架17的竖直平移允许推车11调节机器人臂12的到达范围以满足各种台高度、患者尺寸和医师偏好。类似地，托架17上的可单独配置的臂安装件允许机器人臂12的机器人臂基部21以多种配置成角度。

在一些实施方案中，狭槽20可补充有狭槽盖，该狭槽盖与狭槽表面齐平且平行，以防止灰尘和流体在托架17竖直平移时进入柱14的内部腔以及竖直平移接口。狭槽盖可通过定位在狭槽20的竖直顶部和底部附近的成对弹簧卷轴部署。盖在卷轴内盘绕，直到在托架17竖直地上下平移时被部署成从盖的盘绕状态延伸和回缩。当托架17朝向卷轴平移时，卷轴的弹簧加载提供了将盖回缩到卷轴中的力，同时在托架17平移远离卷轴时也保持紧密密封。可使用例如托架接口19中的支架将盖连接到托架17，以确保在托架17平移时盖的适当延伸和回缩。

柱14可在内部包括诸如齿轮和马达之类的机构，其被设计成使用竖直对准的导螺杆以响应于响应用户输入(例如，来自控制台16的输入)生成的控制信号来以机械化方式平移托架17。

机器人臂12通常可包括由一系列连杆23分开的机器人臂基部21和端部执行器22，该一系列连杆由一系列关节24连接，每个关节包括独立的致动器，每个致动器包括可独立控制的马达。每个可独立控制的关节表示机器人臂12可用的独立自由度。机器人臂12中的每个机器人臂可具有七个关节，并且因此提供七个自由度。多个关节导致多个自由度，从而允许“冗余”的自由度。具有冗余自由度允许机器人臂12使用不同的连接件方位和关节角度将其相应的端部执行器22定位在空间中的特定方位、取向和轨迹处。这允许系统从空间中的期望点定位和导向医疗器械，同时允许医师使臂关节运动到远离患者的临床有利方位，以产生更大的接近，同时避免臂碰撞。

推车基部15在地板上平衡柱14、托架17和机器人臂12的重量。因此，推车基部15容纳较重的部件，诸如电子器件、马达、电源以及使得推车11能够运动和/或固定的部件。例如，推车基部15包括允许推车11在规程之前容易地围绕房间运动的可滚动的轮形脚轮25。在到达适当方位之后，脚轮25可以使用轮锁固定，以在规程期间将推车11保持在适当方位。

定位在柱14的竖直端部处的控制台16允许用于接收用户输入的用户界面和显示屏(或两用装置，诸如例如触摸屏26)两者向医师用户提供术前和术中数据两者。触摸屏26上的潜在术前数据可以包括从术前计算机化断层摄影(CT)扫描导出的术前计划、导航和标测数据和/或来自术前患者面谈的记录。显示器上的术中数据可以包括从工具、传感器提供的光学信息和来自传感器的坐标信息以及重要的患者统计，诸如呼吸、心率和/或脉搏。控制台16可以被定位和倾斜成允许医师从柱14的与托架17相对的侧面接近控制台16。从该方位，医师可以在从推车11后面操作控制台16的同时观察控制台16、机器人臂12和患者。如图所示，控制台16还包括用以帮助操纵和稳定推车11的柄部27。

图3示出了被布置用于输尿管镜检查的机器人使能的系统10的实施方案。在输尿管镜检查规程中，推车11可被定位成将输尿管镜32(被设计成横穿患者的尿道和输尿管的规程特定的内窥镜)递送到患者的下腹部区域。在输尿管镜检查中，可以期望输尿管镜32直接与患者的尿道对准以减少该区域中的敏感解剖结构上的摩擦和力。如图所示，推车11可以在台的脚部处对准，以允许机器人臂12定位输尿管镜32，以用于直接线性进入患者的尿道。机器人臂12可从台的脚部沿着虚拟轨道33将输尿管镜32通过尿道直接插入到患者的下腹部中。

在插入到尿道中之后，使用与支气管镜检查中类似的控制技术，输尿管镜32可以被导航到膀胱、输尿管和/或肾中以用于诊断和/或治疗应用。例如，可以将输尿管镜32引导到输尿管和肾中以使用沿输尿管镜32的工作通道向下部署的激光或超声碎石装置来打碎积聚的肾结石。在碎石完成之后，可以使用沿输尿管镜32向下部署的篮移除所得的结石碎片。

图4示出了类似地布置用于血管规程的机器人使能的系统10的实施方案。在血管规程中，系统10可被配置成使得推车11可将医疗器械34(诸如可操纵导管)递送至患者的腿部的股动脉中的进入点。股动脉呈现用于导航的较大直径以及到患者的心脏的相对较少的迂回且曲折的路径两者，这简化了导航。如在输尿管镜检查规程中一样，推车11可被定位成朝向患者的腿部和下腹部，以允许机器人臂12提供直接线性进入患者的大腿/髋部区域中的股动脉进入点的虚拟轨道35。在插入到动脉中之后，可通过平移器械驱动器28来导向和插入医疗器械34。另选地，推车11可被定位在患者的上腹部周围，以到达另选的血管进入点，诸如例如肩部和腕部附近的颈动脉和臂动脉。

B.机器人系统–台。

机器人使能的医疗系统的实施方案还可结合患者的台。结合台通过移除推车减少了手术室内的资本设备的量，这允许更多地接近患者。图5示出了被布置用于支气管镜检查规程的这样的机器人使能系统的实施方案。系统36包括用于将平台38(示出为“台”或“床”)支撑在地板上的支撑结构或柱37。与基于推车的系统非常相似，系统36的机器人臂39的端部执行器包括器械驱动器42，其被设计成通过或沿着由器械驱动器42的线性对准形成的虚拟轨道41来操纵细长医疗器械，诸如图5中的支气管镜40。在实践中，用于提供荧光镜成像的C形臂可以通过将发射器和检测器放置在台38周围而定位在患者的上腹部区域上方。

图6提供了用于讨论目的的没有患者和医疗器械的系统36的另选视图。如图所示，柱37可包括在系统36中示出为环形的一个或多个托架43，一个或多个机器人臂39可基于该托架。托架43可以沿着沿柱37的长度延伸的竖直柱接口44平移，以提供不同的有利点，机器人臂39可以根据这些有利点被定位以到达患者。托架43可以使用定位在柱37内的机械马达围绕柱37旋转，以允许机器人臂39进入台38的多个侧面，诸如患者的两侧。在具有多个托架的实施方案中，托架可单独地定位在柱上，并且可独立于其他托架平移和/或旋转。虽然托架43不需要环绕柱37或甚至是圆形的，但如图所示的环形形状有利于托架43围绕柱37旋转，同时保持结构平衡。托架43的旋转和平移允许系统36将医疗器械诸如内窥镜和腹腔镜对准到患者上的不同进入点中。在其他实施方案(未示出)中，系统36可包括具有可调式臂支撑件的病人检查台或病床，该可调式臂支撑件呈在病人检查台或病床旁边延伸的杆或导轨的形式。一个或多个机器人臂39(例如，经由具有肘关节的肩部)可附接到可调式臂支撑件，该可调式臂支撑件可被竖直调节。通过提供竖直调节，机器人臂39有利地能够紧凑地存放在病人检查台或病床下方，并且随后在规程期间升高。

机器人臂39可通过包括一系列关节的一组臂安装件45安装在托架43上，该关节可单独地旋转和/或伸缩地延伸以向机器人臂39提供附加的可配置性。另外，臂安装件45可定位在托架43上，使得当托架43适当地旋转时，臂安装件45可定位在台38的同一侧上(如图6所示)、台38的相对侧上(如图9所示)或台38的相邻侧上(未示出)。

柱37在结构上为台38提供支撑，并且为托架43的竖直平移提供路径。在内部，柱37可配备有用于引导托架43的竖直平移的导螺杆，以及用以使基于导螺杆的托架43的平移机械化的马达。柱37还可将功率和控制信号传送到托架43和安装在其上的机器人臂39。

台基部46具有与图2所示的推车11中的推车基部15类似的功能，容纳较重的部件以平衡台/床38、柱37、托架43和机器人臂39。台面基部46还可结合刚性脚轮以在规程期间提供稳定性。从台基部46的底部部署的脚轮可以在基部46的两侧沿相反方向延伸，并且当系统36需要运动时回缩。

继续图6，系统36还可以包括塔(未示出)，该塔使系统36的功能在台与塔之间进行划分以减小台的形状因子和体积。如在先前所公开的实施方案中，塔可以向台提供多种支持功能，诸如处理、计算和控制能力、电力、流体和/或光学以及传感器处理。塔还可以是可运动的，以远离患者定位，从而改善医师的接近并且消除手术室的混乱。另外，将部件放置在塔中允许在台基部46中有更多的储存空间，以用于机器人臂39的潜在收起。塔还可以包括主控制器或控制台，其提供用于用户输入的用户界面(诸如键盘和/或挂件)以及用于术前和术中信息(诸如实时成像、导航和跟踪信息)的显示屏(或触摸屏)两者。在一些实施方案中，塔还可包括用于待用于注气的气罐的夹持器。

在一些实施方案中，台基部可以在不使用时收起和储存机器人臂。图7示出了在基于台的系统的实施方案中收起机器人臂的系统47。在系统47中，托架48可以竖直平移到基部49中以使机器人臂50、臂安装件51和托架48收起在基部49内。基部盖52可以平移和回缩打开以围绕柱53部署托架48、臂安装件51和机器人臂50，并且闭合以收起该托架、臂安装件和机器人臂，以便在不使用时保护它们。基部盖52可以利用膜54沿着其开口的边缘密封，以防止在闭合时灰尘和流体进入。

图8示出了被配置用于输尿管镜检查规程的机器人使能的基于台的系统的实施方案。在输尿管镜检查中，台38可以包括用于将患者定位成与柱37和台基部46成偏角的旋转部分55。旋转部分55可以围绕枢转点(例如，位于患者的头部下方)旋转或枢转，以便将旋转部分55的底部部分定位成远离柱37。例如，旋转部分55的枢转允许C形臂(未示出)定位在患者的下腹部上方，而不与台38下方的柱(未示出)竞争空间。通过围绕柱37旋转托架35(未示出)，机器人臂39可以沿着虚拟轨道57将输尿管镜56直接插入到患者的腹股沟区域中以到达尿道。在输尿管镜检查中，镫58也可以固定至台38的旋转部分55，以在规程期间支撑患者的腿部的方位，并且允许完全通向患者的腹股沟区域。

在腹腔镜检查规程中，通过患者的腹壁中的小切口，可将微创器械插入到患者的解剖结构中。在一些实施方案中，微创器械包括用于进入患者内的解剖结构的细长刚性构件，诸如轴。在患者腹腔充气之后，可以引导器械执行外科或医疗任务，诸如抓握、切割、消融、缝合等。在一些实施方案中，器械可以包括镜，诸如腹腔镜。图9示出了被配置用于腹腔镜检查规程的机器人使能的基于台的系统的实施方案。如图所示，系统36的托架43可被旋转并且竖直调整，以将成对的机器人臂39定位在台38的相对侧上，使得可使用臂安装件45将器械59定位成穿过患者两侧上的最小切口以到达他/她的腹腔。

为了适应腹腔镜检查规程，机器人使能的台系统还可将平台倾斜到期望的角度。图10示出了具有俯仰或倾斜调整的机器人使能的医疗系统的实施方案。如图10所示，系统36可以适应台38的倾斜，以将台的一部分定位在比另一部分距底板更远的距离处。另外，臂安装件45可以旋转以匹配倾斜，使得机器人臂39与台38保持相同的平面关系。为了适应更陡的角度，柱37还可以包括伸缩部分60，该伸缩部分允许柱37的竖直延伸以防止台38接触地板或与台基部46碰撞。

图11提供了台38与柱37之间的接口的详细图示。俯仰旋转机构61可以被配置成以多个自由度改变台38相对于柱37的俯仰角。俯仰旋转机构61可以通过将正交轴线1、2定位在柱台接口处来实现，每条轴线由单独的马达3、4响应于电俯仰角命令而致动。沿着一个螺钉5的旋转将使得能够在一条轴线1中进行倾斜调整，而沿着另一个螺钉6的旋转将使得能够沿着另一个轴线2进行倾斜调节。在一些实施方案中，可使用球形关节来在多个自由度上改变台38相对于柱37的俯仰角。

例如，当试图将台定位在头低脚高位(即，将患者的下腹部定位在比患者的上腹部距地板更高的方位)以用于下腹部手术时，俯仰调节特别有用。头低脚高位致使患者的内部器官通过重力滑向他/她的上腹部，从而清理出腹腔以使微创工具进入并且执行下腹部外科或医疗规程，诸如腹腔镜前列腺切除术。

图12和图13示出了基于台的外科机器人系统100的另选实施方案的等轴视图和端视图。外科机器人系统100包括可被配置成相对于台101支撑一个或多个机器人臂(参见例如图14)的一个或多个可调式臂支撑件105。在例示的实施方案中，示出了单个可调式臂支撑件105，但是附加的臂支撑件可设置在台101的相对侧上。可调式臂支撑件105可被配置，使得其可相对于台101运动，以调节和/或改变可调式臂支撑件105和/或安装到该可调式臂支撑件的任何机器人臂相对于台101的方位。例如，可调式臂支撑件105可相对于台101被调节一个或多个自由度。可调式臂支撑件105为系统100提供高灵活性，包括容易地将一个或多个可调式臂支撑件105和附接到其的任何机器人臂收起在台101下方的能力。可调式臂支撑件105可从收起方位升高到台101的上表面下方的方位。在其他实施方案中，可调式臂支撑件105可从收起方位升高到台101的上表面上方的方位。

可调式臂支撑件105可提供若干自由度，包括提升、侧向平移、倾斜等。在图12和图13的例示实施方案中，臂支撑件105被配置成具有四个自由度，这些自由度在图12中用箭头示出。第一自由度允许在z方向上(“Z提升”)调节可调式臂支撑件105。例如，可调式臂支撑件105可包括托架109，该托架被配置成沿或相对于支撑台101的柱102向上或向下运动。第二自由度可允许可调式臂支撑件105倾斜。例如，可调式臂支撑件105可包括旋转接头，该旋转接头可允许可调式臂支撑件105在头低脚高位与床对准。第三自由度可允许可调式臂支撑件105“向上枢转”，这可用于调节台101的一侧与可调式臂支撑件105之间的距离。第四自由度可允许可调式臂支撑件105沿台的纵向长度平移。

图12和图13中的外科机器人系统100可包括由安装到基部103的柱102支撑的台。基部103和柱102相对于支撑表面支撑台101。地板轴线131和支撑轴线133在图13中示出。

可调式臂支撑件105可安装到柱102。在其他实施方案中，臂支撑件105可安装到台101或基部103。可调式臂支撑件105可包括托架109、杆或导轨连接件111以及杆或导轨107。在一些实施方案中，安装到轨道107的一个或多个机器人臂可相对于彼此平移和运动。

托架109可通过第一接头113附接到柱102，该第一接头允许托架109相对于柱102运动(例如，诸如沿第一轴线或竖直轴线123上下运动)。第一接头113可向可调式臂支撑件105提供第一自由度(“Z提升”)。可调式臂支撑件105可包括第二接头115，该第二接头为可调式臂支撑件105提供第二自由度(倾斜)。可调式臂支撑件105可包括第三接头117，该第三接头可为可调式臂支撑件105提供第三自由度(“向上枢转”)。可提供附加接头119(在图13中示出)，该附加接头机械地约束第三接头117以在导轨连接件111围绕第三轴线127旋转时保持导轨107的取向。可调式臂支撑件105可包括第四接头121，该第四接头可沿第四轴线129为可调式臂支撑件105提供第四自由度(平移)。

图14示出了根据一个实施方案的具有安装在台101的相对侧上的两个可调式臂支撑件105A、105B的外科机器人系统140A的端视图。第一机器人臂142A附接到第一可调式臂支撑件105B的杆或导轨107A。第一机器人臂142A包括附接到导轨107A的基部144A。第一机器人臂142A的远侧端部包括可附接到一个或多个机器人医疗器械或工具的器械驱动机构146A。类似地，第二机器人臂142B包括附接到导轨107B的基部144B。第二机器人臂142B的远侧端部包括器械驱动机构146B。器械驱动机构146B可被配置成附接到一个或多个机器人医疗器械或工具。

在一些实施方案中，机器人臂142A、142B中的一者或多者包括具有七个或更多个自由度的臂。在一些实施方案中，机器人臂142A、142B中的一者或多者可包括八个自由度，包括插入轴线(包括插入的1个自由度)、腕部(包括腕部俯仰、偏航和翻滚的3个自由度)、肘部(包括肘部俯仰的1个自由度)、肩部(包括肩部俯仰和偏航的2个自由度)以及基部144A、144B(包括平移的1个自由度)。在一些实施方案中，插入自由度可由机器人臂142A、142B提供，而在其他实施方案中，器械本身经由基于器械的插入架构提供插入。

C.器械驱动器和接口。

系统的机器人臂的端部执行器可包括：(i)器械驱动器(另选地称为“器械驱动机构”或“器械装置操纵器”)，该器械驱动器结合了用于致动医疗器械的机电装置；以及(ii)可移除或可拆卸的医疗器械，该医疗器械可以没有任何机电部件，诸如马达。该二分法可能是由以下所驱动的：对医疗规程中使用的医疗器械进行灭菌的需要；以及由于昂贵的资本设备的复杂机械组件和敏感电子器件而不能对昂贵的资本设备进行充分灭菌。因此，医疗器械可以被设计成从器械驱动器(以及因此从系统)拆卸、移除和互换，以便由医师或医师的工作人员单独灭菌或处置。相比之下，器械驱动器不需要被改变或灭菌，并且可以被覆盖以便保护。

图15示出了示例器械驱动器。定位在机器人臂的远侧端部处的器械驱动器62包括一个或多个驱动单元63，该一个或多个驱动单元以平行轴线布置以经由驱动轴64向医疗器械提供受控扭矩。每个驱动单元63包括用于与器械相互作用的单独的驱动轴64，用于将马达轴旋转转换成期望扭矩的齿轮头65，用于生成驱动扭矩的马达66，用以测量马达轴的速度并且向控制电路提供反馈的编码器67，以及用于接收控制信号并且致动驱动单元的控制电路68。每个驱动单元63可被独立地控制和机动化，并且器械驱动器62可向医疗器械提供多个(例如，如图16和图17所示为四个)独立的驱动输出。在操作中，控制电路68将接收控制信号，将马达信号传输至马达66，将由编码器67测量的所得马达速度与期望速度进行比较，并且调制马达信号以生成期望扭矩。

对于需要无菌环境的规程，机器人系统可以结合驱动接口，诸如连接至无菌覆盖件的无菌适配器，其位于器械驱动器与医疗器械之间。无菌适配器的主要目的是将角运动从器械驱动器的驱动轴传递到器械的驱动输入部，同时保持驱动轴与驱动输入部之间的物理分离并且因此保持无菌。因此，示例性无菌适配器可以包括旨在与器械驱动器的驱动轴和器械上的驱动输入部配合的一系列旋转输入部和旋转输出部。连接到无菌适配器的由薄的柔性材料(诸如透明或半透明塑料)组成的无菌覆盖件被设计成覆盖资本设备，诸如器械驱动器、机器人臂和推车(在基于推车的系统中)或台(在基于台的系统中)。覆盖件的使用将允许资本设备被定位在患者附近，同时仍然位于不需要灭菌的区域(即，非无菌区)。在无菌覆盖件的另一侧上，医疗器械可以在需要灭菌的区域(即，无菌区)与患者对接。

D.医疗器械。

图16示出了具有成对器械驱动器的示例医疗器械。与被设计成与机器人系统一起使用的其他器械类似，医疗器械70包括细长轴71(或细长主体)和器械基部72。由于其用于由医师进行的手动交互的预期设计而也被称为“器械柄部”的器械基部72通常可以包括可旋转驱动输入部73(例如，插座、滑轮或卷轴)，该驱动输入部被设计成与驱动输出部74配合，该驱动输出部延伸通过机器人臂76的远侧端部处的器械驱动器75上的驱动接口。当物理连接、闩锁和/或耦合时，器械基部72的配合的驱动输入部73可以与器械驱动器75中的驱动输出部74共享旋转轴线，以允许扭矩从驱动输出部74传递到驱动输入部73。在一些实施方案中，驱动输出部74可以包括花键，其被设计成与驱动输入部73上的插座配合。

细长轴71被设计成通过解剖开口或内腔(例如，如在内窥镜检查中)或通过微创切口(例如，如在腹腔镜检查中)递送。细长轴71可以是柔性的(例如，具有类似于内窥镜的特性)或刚性的(例如，具有类似于腹腔镜的特性)，或者包括柔性部分和刚性部分两者的定制组合。当被设计用于腹腔镜检查时，刚性细长轴的远侧端部可以连接到端部执行器，该端部执行器从由具有至少一个自由度的连接叉形成的关节腕和外科工具或医疗器械(例如，抓握器或剪刀)延伸，随着驱动输入部响应于从器械驱动器75的驱动输出部74接收到的扭矩而旋转，外科工具或医疗器械可以基于来自腱的力而被致动。当设计用于内窥镜检查时，柔性细长轴的远侧端部可包括可操纵或可控制的弯曲节段，该弯曲节段可基于从器械驱动器75的驱动输出部74接收到的扭矩而进行关节运动和弯曲。

使用沿着细长轴71的腱向下沿着细长轴71传递来自器械驱动器75的扭矩。这些单独的腱(例如，牵拉线)可以单独地锚定至器械柄部72内的单独的驱动输入部73。从柄部72，沿着细长轴71的一个或多个牵拉腔向下引导腱并且将其锚定在细长轴71的远侧部分处或锚定在细长轴71的远侧部分处的腕部中。在外科手术诸如腹腔镜、内窥镜或混合手术期间，这些腱可以耦合到远侧安装的端部执行器，诸如腕部、抓握器或剪刀。在这样的布置下，施加在驱动输入部73上的扭矩将张力传递到腱，从而引起端部执行器以某种方式致动。在腹腔镜检查中，腱可以致使关节围绕轴线旋转，从而致使端部执行器沿一个方向或另一个方向移动。另选地，腱可以连接到细长轴71的远侧端部处的抓握器的一个或多个钳口，其中来自腱的张力致使抓握器闭合。

在内窥镜检查中，腱可以经由粘合剂、控制环或其他机械固定件耦合到沿着细长轴71定位(例如，在远侧端部处)的弯曲或关节运动节段。当固定地附接到弯曲节段的远侧端部时，施加在驱动输入部73上的扭矩将沿腱向下传递，从而引起较软的弯曲节段(有时称为可关节运动节段或区域)弯曲或进行关节运动。沿着不弯曲节段，可能有利的是，使沿着内窥镜轴的壁(或在内部)引导单个腱的单个牵拉腔螺旋或盘旋，以平衡由牵拉线中的张力引起的径向力。为了特定目的，可以改变或设计螺旋的角度和/或它们之间的间隔，其中，更紧的螺旋在负载力下表现出更小的轴压缩，而更少的螺旋量在负载力下引起更大的轴压缩，但也表现出更有限的弯曲。在另一种情况下，可以平行于细长轴71的纵向轴线来导向牵拉腔以允许在期望的弯曲或可关节运动节段中进行受控关节运动。

在内窥镜检查中，细长轴71容纳多个部件以辅助机器人规程。轴71可以在轴71的远侧端部处包括用于部署外科工具(或医疗器械)、对手术区域进行冲洗和/或抽吸的工作通道。轴71还可以适应线和/或光纤以向远侧末端处的光学组件/从远侧末端处的光学组件传递信号，该光学组件可以包括光学相机。轴71也可以适应光纤，以将来自位于近侧的光源(例如，发光二极管)的光载送到轴71的远侧端部。

在器械70的远侧端部处，远侧末端还可以包括用于递送用于诊断和/或治疗的工具、对手术部位进行冲洗和抽吸的工作通道的开口。远侧末端还可以包括用于相机(诸如纤维镜或数码相机)的端口，以捕获内部解剖空间的图像。相关地，远侧末端还可以包括用于光源的端口，该光源用于在使用相机时照亮解剖空间。

在图16的示例中，驱动轴轴线以及因此驱动输入部轴线与细长轴71的轴线正交。然而，该布置使细长轴71的滚动能力复杂化。在保持驱动输入部73静止的同时沿着其轴线使细长轴71滚动会引起当腱从驱动输入部73延伸出去并且进入到细长轴71内的牵拉腔时，腱的不期望的缠结。此类腱的所得缠结可能破坏旨在在内窥镜检查规程期间预测柔性细长轴71的移动的任何控制算法。

图17示出了器械驱动器和器械的另选设计，其中驱动单元的轴线平行于器械的细长轴的轴线。如图所示，圆形器械驱动器80包括四个驱动单元，其驱动输出81在机器人臂82的端部处平行对准。驱动单元和它们各自的驱动输出部81容纳在由组件83内的驱动单元中的一个驱动单元驱动的器械驱动器80的旋转组件83中。响应于由旋转驱动单元提供的扭矩，旋转组件83沿着圆形轴承旋转，该圆形轴承将旋转组件83连接到器械驱动器80的非旋转部分84。可以通过电接触将电力和控制信号从器械驱动器80的非旋转部分84传送至旋转组件83，该电接触可以通过电刷滑环连接(未示出)的旋转来保持。在其他实施方案中，旋转组件83可以响应于集成到不可旋转部分84中的单独的驱动单元，并且因此不平行于其他驱动单元。旋转机构83允许器械驱动器80旋转驱动单元及其相应的驱动输出部81，因为单个单元围绕一条器械驱动器轴线85。

与先前所公开的实施方案类似，器械86可以包括细长轴部分88和器械基部87(出于讨论的目的，示出为具有透明的外部表层)，该器械基部包括被配置成接收器械驱动器80中的驱动输出部81的多个驱动输入部89(诸如插座、滑轮和卷轴)。与先前公开的实施方案不同，器械轴88从器械基部87的中心延伸，该器械基部的轴线基本上平行于驱动输入部89的轴线，而不是如图16的设计中那样正交。

当耦合到器械驱动器80的旋转组件83时，包括器械基部87和器械轴88的医疗器械86与旋转组件83组合地围绕器械驱动器轴线85旋转。由于器械轴88被定位在器械基部87的中心处，因此当附接时器械轴88与器械驱动器轴线85同轴。因此，旋转组件83的旋转致使器械轴88围绕其自身的纵向轴线旋转。此外，由于器械基部87与器械轴88一起旋转，因此连接到器械基部87中的驱动输入部89的任何腱在旋转期间都不缠结。因此，驱动输出部81、驱动输入部89和器械轴88的轴线的平行允许轴在不会使任何控制腱缠结的情况下旋转。

图18示出了根据一些实施方案的具有基于器械的插入架构的器械。器械150可耦合到上文所述的器械驱动器中的任一个器械驱动器。器械150包括细长轴152、连接到轴152的端部执行器162和耦合到轴152的柄部170。细长轴152包括管状构件，该管状构件具有近侧部分154和远侧部分156。细长轴152沿着其外表面包括一个或多个通道或凹槽158。凹槽158被配置成接纳通过该凹槽的一根或多根线材或缆线180。因此，一根或多根缆线180沿着细长轴152的外表面延伸。在其他实施方案中，缆线180也可穿过细长轴152。所述一根或多根缆线180的操纵(例如，经由器械驱动器)使得端部执行器162的致动。

器械柄部170(也可称为器械基部)通常可包括附接接口172，该附接接口具有一个或多个机械输入件174，例如插孔、滑轮或卷轴，所述一个或多个机械输入件被设计成与器械驱动器的附接表面上的一个或多个扭矩耦合器往复地配合。

在一些实施方案中，器械150包括使得细长轴152能够相对于柄部170平移的一系列滑轮或缆线。换句话讲，器械150本身包括基于器械的插入架构，该架构适应器械的插入，从而使对机械臂的依赖最小化以提供器械150的插入。在其他实施方案中，机器人臂可以很大程度上负责器械插入。

E.控制器。

本文所述的机器人系统中的任一个机器人系统可包括用于操纵附接到机器人臂的器械的输入装置或控制器。在一些实施方案中，控制器可与器械(例如，通信地、电子地、电气、无线地和/或机械地)耦合，使得控制器的操纵例如经由主从控制而致使器械对应操纵。

图19是控制器182的实施方案的透视图。在本实施方案中，控制器182包括可具有阻抗和导纳控制两者的混合控制器。在其他实施方案中，控制器182可仅利用阻抗或被动控制。在其他实施方案中，控制器182可仅利用导纳控制。通过作为混合控制器，控制器182有利地在使用时可具有较低的感知惯性。

在例示的实施方案中，控制器182被配置成允许操纵两个医疗器械，并且包括两个柄部184。柄部184中的每个柄部连接到万向支架186。每个万向支架186连接到定位平台188。

如图19所示，每个定位平台188包括通过棱柱接头196联接到柱194的SCARA臂(选择顺应性装配机械臂)198。棱柱接头196被配置成沿着柱194(例如，沿着导轨197)平移，以允许柄部184中的每个柄部在z方向上平移，从而提供第一自由度。SCARA臂198被配置成允许柄部184在x-y平面中运动，从而提供两个附加自由度。

在一些实施方案中，一个或多个负荷传感器定位在控制器中。例如，在一些实施方案中，负荷传感器(未示出)定位在万向支架186中的每个万向支架的主体中。通过提供负荷传感器，控制器182的部分能够在导纳控制下操作，从而在使用时有利地减小控制器的感知惯性。在一些实施方案中，定位平台188被配置用于导纳控制，而万向支架186被配置用于阻抗控制。在其他实施方案中，万向支架186被配置用于导纳控制，而定位平台188被配置用于阻抗控制。因此，对于一些实施方案，定位平台188的平移自由度或方位自由度可依赖于导纳控制，而万向支架186的旋转自由度依赖于阻抗控制。

F.导航和控制。

传统的内窥镜检查可以涉及使用荧光透视(例如，如可以通过C形臂递送的)和其他形式的基于辐射的成像模态，以向操作医师提供腔内指导。相比之下，本公开所设想的机器人系统可以提供基于非辐射的导航和定位装置，以减少医师暴露于辐射并且减少手术室内的设备的量。如本文所用，术语“定位”可以指确定和/或监测对象在参考坐标系中的方位。诸如术前标测、计算机视觉、实时EM跟踪和机器人命令数据的技术可以单独地或组合地使用以实现无辐射操作环境。在仍使用基于辐射的成像模态的其他情况下，可以单独地或组合地使用术前标测、计算机视觉、实时EM跟踪和机器人命令数据，以改进仅通过基于辐射的成像模态获得的信息。

图20是示出根据示例实施方案的估计机器人系统的一个或多个元件的位置(诸如器械的位置)的定位系统90的框图。定位系统90可以是被配置成执行一个或多个指令的一组一个或多个计算机装置。计算机装置可以由上文讨论的一个或多个部件中的处理器(或多个处理器)和计算机可读存储器来体现。通过示例而非限制，计算机装置可以位于图1所示的塔30、图1至图4所示的推车11、图5至图14所示的床等中。

如图20所示，定位系统90可包括定位模块95，该定位模块处理输入数据91-94以生成用于医疗器械的远侧末端的位置数据96。位置数据96可以是表示器械的远侧端部相对于参考系的位置和/或取向的数据或逻辑。参考系可以是相对于患者解剖结构或已知对象(诸如EM场发生器)的参考系(参见下文对于EM场发生器的讨论)。

现在更详细地描述各种输入数据91-94。术前标测可以通过使用低剂量CT扫描的集合来完成。术前CT扫描被重建为三维图像，该三维图像被可视化，例如作为患者的内部解剖结构的剖面图的“切片”。当总体上分析时，可以生成用于患者的解剖结构(诸如患者肺网络)的解剖腔、空间和结构的基于图像的模型。可以从CT图像确定和近似诸如中心线几何形状的技术，以形成患者解剖结构的三维体积，其被称为模型数据91(当仅使用术前CT扫描生成时也称为“术前模型数据”)。在一些实施方案中，术前模型数据91可包括来自例如荧光镜透视检查、磁共振成像(MRI)、超声成像和/或x射线的数据。中心线几何形状的使用在美国专利申请14/523,760中有所讨论，其内容全文并入本文中。网络拓扑模型也可以从CT图像中导出，并且特别适合于支气管镜检查。

在一些实施方案中，器械可以配备有相机以提供视觉数据(或图像数据)92。定位模块95可处理视觉数据92以实现一个或多个基于视觉的(或基于图像的)位置跟踪模块或特征。例如，术前模型数据91可以与视觉数据92结合使用，以实现对医疗器械(例如，内窥镜或推进通过内窥镜的工作通道的器械)的基于计算机视觉的跟踪。例如，使用术前模型数据91，机器人系统可以基于内窥镜的行进预期路径根据模型来生成预期内窥镜图像的库，每个图像连接到模型内的位置。在外科手术进行时，机器人系统可以参考该库，以便将在相机(例如，在内窥镜的远侧端部处的相机)处捕获的实时图像与图像库中的那些图像进行比较，以辅助定位。

其他基于计算机视觉的跟踪技术使用特征跟踪来确定相机的运动，并且因此确定内窥镜的运动。定位模块95的一些特征可以识别术前模型数据91中的与解剖腔对应的圆形几何结构并且跟踪那些几何结构的变化以确定选择了哪个解剖腔，以及跟踪相机的相对旋转和/或平移运动。拓扑图的使用可以进一步增强基于视觉的算法或技术。

光流(另一种基于计算机视觉的技术)可以分析视觉数据92中的视频序列中的图像像素的位移和平移以推断相机运动。光流技术的示例可以包括运动检测、对象分割计算、亮度、运动补偿编码、立体视差测量等。通过多次迭代的多帧比较，可以确定相机(以及因此内窥镜)的运动和位置。

定位模块95可以使用实时EM跟踪来生成内窥镜在全局坐标系中的实时位置，该全局坐标系可以被配准到由术前模型表示的患者的解剖结构。在EM跟踪中，包括嵌入在医疗器械(例如，内窥镜工具)中的一个或多个位置和取向中的一个或多个传感器线圈的EM传感器(或跟踪器)测量由定位在已知位置处的一个或多个静态EM场发生器产生的EM场的变化。由EM传感器检测的位置信息被存储为EM数据93。EM场发生器(或发射器)可以靠近患者放置，以产生嵌入式传感器可以检测到的低强度磁场。磁场在EM传感器的传感器线圈中感应出小电流，可以对该小电流进行分析以确定EM传感器与EM场发生器之间的距离和角度。这些距离和取向可以在外科手术进行时“配准”到患者解剖结构(例如，术前模型)，以确定将坐标系中的单个位置与患者的解剖结构的术前模型中的方位对准的几何变换。一旦配准，医疗器械的一个或多个方位(例如，内窥镜的远侧末端)中的嵌入式EM跟踪器可以提供医疗器械通过患者的解剖结构的进展的实时指示。

机器人命令和运动学数据94也可以由定位模块95使用以提供用于机器人系统的方位数据96。可以在术前校准期间确定从关节运动命令得到的装置俯仰和偏航。在外科手术进行时，这些校准测量可以与已知的插入深度信息结合使用，以估计器械的方位。另选地，这些计算可以结合EM、视觉和/或拓扑建模进行分析，以估计医疗器械在网络内的方位。

如图20所示，定位模块95可使用多个其他输入数据。例如，尽管在图20中未示出，但是利用形状感测纤维的器械可以提供形状数据，定位模块95可以使用该形状数据来确定器械的位置和形状。

定位模块95可以组合地使用输入数据91-94。在一些情况下，这样的组合可以使用概率方法，其中定位模块95向根据输入数据91-94中的每个输入数据确定的位置分配置信度加权。因此，在EM数据可能不可靠(如可能存在EM干扰的情况)的情况下，由EM数据93确定的位置的置信度可能降低，并且定位模块95可能更重地依赖于视觉数据92和/或机器人命令和运动学数据94。

如上所讨论的，本文讨论的机器人系统可以被设计成结合以上技术中的一种或多种技术的组合。位于塔、床和/或推车中的机器人系统的基于计算机的控制系统可以将计算机程序指令存储在例如非暂态计算机可读存储介质(诸如永久性磁存储驱动器、固态驱动器等)内，该计算机程序指令在执行时引起系统接收并且分析传感器数据和用户命令，生成整个系统的控制信号并且显示导航和定位数据，诸如器械在全局坐标系内的方位、解剖图等。

II.管网络的导航。

上文所述的各种机器人系统可用于执行各种医疗规程，诸如内窥镜和腹腔镜检查规程。在某些规程期间，医疗器械诸如机器人控制的医疗器械被插入患者体内。在患者体内，器械可定位在患者的内腔网络内。如本文所用，术语“内腔网络”是指身体内的任何腔体结构，无论是包括多个内腔或分支(例如，多个分支内腔，如在肺或血管中)还是单个内腔或分支(例如，在胃肠道内)。在规程期间，可将器械移动(例如，导航、引导、驱动等)穿过内腔网络至一个或多个感兴趣区域。可由上文所述的导航或定位系统90来辅助器械移动穿过系统，该导航或定位系统可向控制机器人系统的医师提供关于器械的位置信息。

图21示出了患者的示例性内腔网络130。在例示的实施方案中，内腔网络130是患者的肺的通路151(即，内腔、分支)的支气管网络。尽管例示的内腔网络130是患者的肺内的气道的支气管网络，但本公开不仅限于例示的示例。本文所述的机器人系统和方法可用于导航任何类型的内腔网络，诸如支气管网络、肾网络、心血管网络(例如，动脉和静脉)、胃肠道、泌尿道等。

如图所示，内腔网络130包括以分支结构布置的多个通路151。一般来讲，内腔网络130包括三维结构。为了便于说明，图21将内腔网络130表示为二维结构。这不应被理解为以任何方式将本公开限制为二维内腔网络。

图21还示出了定位在内腔网络130内的医疗器械的示例。医疗器械被朝向感兴趣区域(例如，结节155)导航通过内腔网络130，以进行诊断和/或治疗。在例示的示例中，结节155位于通路151的外围，尽管感兴趣区域可根据患者和规程定位在内腔网络130内的任何位置。

在例示的示例中，医疗器械包括内窥镜116。内窥镜116可包括护套120和前导件145。在一些实施方案中，护套120和前导件145可以伸缩方式布置。例如，前导件145可滑动地定位在护套120的工作通道内。护套120可具有第一直径，并且可能不能穿过围绕结节155的较小直径通路151定位其远侧端部。因此，前导件145可被配置成从护套120的工作通道延伸通往结节155的剩余距离。前导件145可具有内腔，器械例如活检针、细胞检查用刷和/或组织取样钳可穿过该内腔传递到结节155的目标组织部位。在此类具体实施中，护套120的远侧端部和前导件145的远侧端部都可设置有EM器械传感器(例如，图23中的EM器械传感器305)，用于跟踪其在通路151内的位置。护套120和前导件145的此伸缩式布置可允许内窥镜116的较薄设计，并且可改善内窥镜116的弯曲半径，同时经由护套120提供结构支撑。

在其他实施方案中，内窥镜116的总直径可足够小以到达外围而无需伸缩式布置，或者可足够小以接近外围(例如，在约2.5cm至3cm内)以通过不可操控导管部署医疗器械。通过内窥镜116部署的医疗器械可配备有EM器械传感器(例如图23中的EM器械传感器305)，并且下文所述的基于图像的通路分析和标测技术可应用于此类医疗器械。

如图所示，为了到达结节155，必须通过内腔网络的通路151导航或引导器械(例如，内窥镜116)。操作员(诸如医师)可控制机器人系统以将器械导航至结节155。操作员可提供用于控制机器人系统的输入。

图22示出了可与本文所述的机器人系统的一些具体实施一起使用的示例性命令控制台200。操作员可提供用于控制机器人系统的输入，例如，经由命令控制台200将器械导航或引导至感兴趣区域，诸如结节155。命令控制台200可以各种布置或配置体现。在例示的示例中，命令控制台200包括控制台基部201、显示器202(例如，监视器)和一个或多个控制模块(例如，键盘203和操纵杆204)。用户205(例如，医师或其他操作员)可使用命令控制台200从人体工程学位置远程控制医疗机器人系统(例如，参考图1至图20描述的系统)。

显示器202可包括电子监视器(例如，LCD显示器、LED显示器或触敏显示器)、虚拟现实观看装置(例如，护目镜或眼镜)和/或其他显示装置。在一些实施方案中，显示器202中的一个或多个显示关于器械的位置信息，例如，如由定位系统90(图20)确定的位置信息。在一些实施方案中，显示器202中的一个或多个显示患者的内腔网络130的术前模型。位置信息可叠加在术前模型上。显示器202还可显示从相机或定位在内腔网络130内的器械上的另一感测装置接收的图像信息。在一些实施方案中，器械的模型或表示与术前模型一起显示以帮助指示外科或医疗规程的状态。

在一些实施方案中，控制台基部201包括中央处理单元(例如，CPU或处理器)、存储单元(例如，计算机可读存储器)、数据总线和相关联的数据通信端口，这些数据通信端口负责解释和处理信号诸如相机图像并且跟踪例如来自定位在患者的内腔网络内的医疗器械的传感器数据。

控制台基部201还可处理由用户205通过控制模块203、204提供的命令和指令。除了图22所示的键盘203和操纵杆204之外，控制模块还可包括其他装置，诸如计算机鼠标、触控板、轨迹球、控制盘、控制器(诸如手持式远程控制器)以及捕获手姿势和手指姿势的传感器(例如，运动传感器或相机)。控制器可包括映射到器械的操作(例如，关节运动、驱动、水冲洗等)的一组用户输入(例如，按钮、操纵杆、指向性垫等)。使用命令控制台200的控制模块203、204，用户205可将器械导航通过内腔网络130。

图23示出了示例性医疗器械300的远侧端部的细部图。医疗器械300可代表图21的内窥镜116或前导件145。医疗器械300可代表在整个本公开中描述的任何医疗器械，诸如图1的内窥镜13、图3的输尿管镜32、图9的腹腔镜59等。在图23中，器械300的远侧端部包括成像装置315、照明源310和EM传感器线圈305的形成EM器械传感器的端部。远侧端部还包括通往器械300的工作通道320的开口，通过该开口，外科器械诸如活检针、细胞学刷、镊子等可沿着器械轴插入，从而允许接近器械末端附近的区域。

位于器械300的远侧端部上的EM线圈305可与EM跟踪系统一起使用，以在器械300定位在内腔网络内时检测该器械的远侧端部的位置和取向。在一些实施方案中，线圈305可成角度以沿着不同轴线提供对EM场的灵敏度，从而赋予所公开的导航系统测量全部6个自由度(DoF)的能力：三个位置DoF和三个角度DoF。在其他实施方案中，仅单个线圈305可设置在远侧端部上或内，其中其轴线沿着器械轴取向。由于这种系统的旋转对称性，它可能对围绕其轴线的滚动不灵敏，因此在此类具体实施中可仅检测到五个自由度。另选地或除此之外，可采用其他类型的位置传感器。

照明源310提供光以照明解剖空间的一部分。照明源310可各自为被配置成发射选定波长或波长范围的光的一个或多个发光装置。波长可以是任何合适的波长，例如可见光谱光、红外光、x射线(例如，用于荧光镜透视检查)，仅举几个示例。在一些实施方案中，照明源310可包括位于器械300的远侧端部处的发光二极管(LED)。在一些实施方案中，照明源310可包括延伸穿过内窥镜的长度的一条或多条光纤，以将光从远程光源(例如x射线发生器)传输穿过远侧端部。在远侧端部包括多个照明源310的情况下，这些照明源可各自被配置成发射彼此相同或不同波长的光。

成像装置315可包括被配置成将表示所接收的光的能量转换成电信号的任何光敏衬底或结构，例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器。成像装置315的一些示例可括一条或多条光纤，例如光纤束，光纤被配置成将表示来自内窥镜远侧端部300的图像的光传输到内窥镜近侧端部附近的目镜和/或图像传感器。成像装置315可另外包括一个或多个透镜和/或波长通过或截止滤波器，如各种光学设计所要求。从照明源310发射的光允许成像装置315捕获患者的内腔网络的内部的图像。随后，这些图像可作为单个帧或一系列连续帧(例如，视频)传输到计算机系统，诸如命令控制台200。如上所述并且如下文将更详细地描述，导航或定位系统95可利用成像装置315所捕获的图像(例如，图20的视觉数据92)，以确定或估计器械在内腔网络内的位置(例如，器械300的远侧末端的位置)。

III.图像管理。

本公开的实施方案涉及用于管理在通路(例如，气道)分析和/或标测期间获得的图像的系统和技术。图像管理可以指识别、分析、过滤、利用和/或修改从如本文所述的内窥镜获得的图像。例如，图像管理系统可使用定位在内腔网络内的器械上的成像装置来捕获内腔网络的内部的图像，并且图像管理系统可分析图像以识别图像中所示的一个或多个气道。图像管理系统可使用术前模型数据(例如，来自机器学习算法的训练模型)来支持图像的管理。例如，图像管理系统可被配置成识别给定内腔网络的与足够可靠、清晰和/或其他方式的高质量图像对应的图像。在某些具体实施中，这些系统和技术可与各种其他导航和定位模式(例如，如上文参考图20所述)结合使用。

A.图像分析。

在医疗规程期间，可将图像从医疗器械(例如，内窥镜)的成像装置传送到显示器和/或存储器装置。内窥镜图像装置在导航期间为临床医生提供直接视觉感知。除此之外或另选地，可通过处理算法来分析图像以确定医疗装置在内腔网络内的位置(例如，使用定位模块95)。然而，在内窥镜检查期间捕获的图像可能难以解释，尤其是那些无信息的图像。在内窥镜检查中，无信息图像可包括呈现高度流体伪影、镜面反射和/或模糊(或不清晰)的图像，这些图像可能是由于例如快速相机运动所导致的。用于自动识别这些无信息图像的计算机化算法将利于临床医生。例如，此类图像可能被丢弃和/或标记为无信息、不可靠和/或低质量。临床医生还可能受益于本文所述的后续图像处理算法。图像管理系统有利地允许用户(例如，外科医生、执业医师等)避免可能从成像装置获得的无用图像。除此之外或另选地，该系统可允许计算机化算法更好地确定医疗器械在内腔网络内的位置。

在内腔网络内部导航的能力可以是本文所述的机器人控制的外科系统的特征，并且可涉及定位。如本文所用，定位可以指定位或确定器械在内腔网络内的位置。所确定的位置可用于帮助将器械引导至内腔网络内的一个或多个特定感兴趣区域。在一些实施方案中，机器人控制的外科系统利用一个或多个独立感测模态为器械提供术中导航。如图20所示，独立感测模态可提供位置数据(例如，EM数据93)、视觉数据92和/或机器人命令和运动学数据94。这些独立感测模态包括被配置成提供对位置的独立估计的估计模块。独立估计可随后例如使用定位模块95组合到一个导航输出中，该输出可由系统使用或显示给用户。基于图像的气道分析和标测可基于视觉数据92来提供独立的感测模态，该视觉数据可提供对位置的独立估计。特别地，在一些情况下，基于图像的气道分析和标测提供感测模态和状态/位置估计模块的组合，该状态/位置估计模块估计基于由成像装置捕获的一个或多个图像来定位器械的成像装置的内腔网络的哪一个内腔或分支。在一些实施方案中，由基于图像的气道分析和标测提供的估计值可单独使用或与其他位置估计一起使用以确定可由系统使用或显示给用户的最终位置估计。在一些实施方案中，本文所述的基于图像的气道分析和标测系统和方法可基于使用多个感测模态确定的先前位置估计来实施其估计。因此，更高质量和/或更可靠的图像可支持和优化初始和后续位置估计过程。该图像管理系统和方法可对本文所述的其他图像处理系统和方法进行补充。识别无信息和/或不可靠图像可允许将它们从进一步处理中去除，从而减少对后续处理的需要，并且可能减少无用或不正确结果的数量(例如，由于图像质量差)。

图像管理可包括分析由定位在内腔网络内的器械的成像装置315捕获的一个或多个图像，以检测图像中的一个或多个气道。图24提供了内腔网络的分支的内部的示例性图像380。在例示的示例中，图像380是肺的气道的内部图像，尽管图像380可代表任何类型的内腔网络。图像380中示出了两个接续的气道384。气道384连接到从其捕获图像的当前气道。

B.示例性图像管理方法和系统

与图24相比，一些图像可能不够清晰或可靠(对于人类和/或计算机算法而言)。因此，可有利地采用图像管理系统来识别和利用清晰、可靠和/或其他方式的高质量图像。图25示出了包括分析系统410和医疗器械420的示例性图像管理系统400。分析系统410可耦合到医疗器械。例如，分析系统410可电连接到医疗器械420。在一些配置中，分析系统410和医疗器械420容纳在同一外壳内。

分析系统410可包括计算机可读存储器412和一个或多个处理器414。存储器412可以是非暂态的，并且可包括被配置成在由处理器执行时使图像管理系统400执行各种功能的可执行指令。一个或多个处理器414可与存储器412通信，并且可被配置成执行用于执行本文所述的各种功能的指令。通过示例而非限制，存储器412和/或处理器414可设置在图1所示的塔30、图1至图4所示的推车11、图5至图14所示的床等中。

医疗器械420可包括器械基部422、细长主体424和/或成像装置428。医疗器械420可共享图21的内窥镜116、图23的医疗器械300、图1的内窥镜13、图3的输尿管镜32、图9的腹腔镜59等的一些功能。

医疗器械420可包括耦合到器械基部422的细长主体424。细长主体424的远侧端部(例如，远侧末端)可包括成像装置428。细长主体424的远侧端部可除此之外或另选地包括被配置成照亮内腔网络的一个或多个照明源(未示出)。与本文所述的其他医疗器械一样，细长主体424的远侧端部还可包括通往医疗器械420的工作通道的开口，手术器械可通过该开口沿着器械轴插入和/或插入器械轴内，从而允许接近内腔网络在器械末端附近的区域。成像装置428可包括上文关于成像装置315描述的各种功能。

图26示出了可与本文所述的医疗系统组合使用的标测系统450。标测系统450可包括虚拟视图生成器模块462、描述符提取模块466、图像质量检测器474、描述符提取模块478和/或描述符匹配模块482。第一组算法可包括虚拟视图生成器模块462和/或描述符提取模块466，并且可生成和分析虚拟图像(例如，计算机生成的图像、模拟图像、人工图像等)，这些图像可用于帮助其他算法识别从一个或多个图像传感器(例如，相机图像数据470)获得的图像数据中的特征。例如，在医疗规程之前，可将第一组算法应用于CT模型454和/或导航融合数据458。因此，来自描述符提取模块466的输出可被存储为术前数据。

标测系统450可被配置成接收包括CT模型454、导航融合数据458和/或相机图像数据470的数据。CT模型454可包括基于CT的虚拟图像或对CT进行建模。CT模型454可包括可供计算机算法(例如，虚拟视图生成器模块462、描述符提取模块466、描述符匹配模块482等)访问的术前图像的数据库。导航融合数据458可包括附加数据，诸如图像数据、EM数据和/或得自与相机图像(例如，相机图像数据470)进行比较的结果。

来自CT模型454和/或导航融合数据458的数据可传递到虚拟视图生成器模块462。虚拟视图生成器模块462可接收数据并且生成内腔网络的虚拟模型，例如内腔网络的二维(2D)或三维(3D)模型。虚拟视图生成器模块462可被配置成对可在医疗规程期间获得的图像视图进行建模或模拟。所生成的图像/模型可传递到描述符提取模块或算法466。描述符提取模块466可被配置成接收所生成的图像/模型并且识别得自图像的显著或有意义的特征(例如，描述符)。例如，描述符提取模块466可被配置成识别图像(例如，虚拟图像)的边缘、形状、颜色渐变和/或其他方面。与虚拟模型生成和分析有关的其他信息进一步描述于2019年4月18日公开的美国专利申请公开号2019/0110843中，该专利申请的全部内容以引用方式并入本文。从描述符提取模块466获得的数据可例如传递到描述符匹配模块482，使得其在规程期间可用。

第二组算法可被配置成分析相机图像数据470，该相机图像数据可最终用于比较得自第一组算法的输出以识别从图像传感器获得的图像数据中的有意义特征(例如，描述符)。如上所述，通过在医疗器械420的远侧末端/部分分析得自相机或其他成像装置428的实时图像数据，可丢弃无信息图像数据，同时可保留含信息图像数据并将其用于定位医疗器械420和/或帮助将医疗器械420导航通过内腔网络。由于第二组算法筛选了大量含信息图像和无信息图像，因此保留的图像用于更有效、快速和/或准确地定位医疗器械420。系统可依赖于在下文将详述的一个或多个图像质量度量(例如，模糊度、镜面度、特征度等)，以确定图像是否是无信息的，并且因此确定是否应丢弃图像。在每个图像质量度量内，可设置阈值以建立分析中的灵敏度水平，以便了解图像是否满足该图像质量度量。基于该分析的结果，可保留图像以用于定位和/或导航，或者可丢弃图像以防止医疗器械420的定位中的干扰和/或不准确。第二组算法可包括图像质量检测器474、描述符提取模块478和/或描述符匹配模块482。图像质量检测器474可接收相机图像数据470并进行分析其以确定相机图像数据470是否满足一个或多个质量度量。下文进一步详细地描述了图像质量检测器474的特征(例如，参考图27)。例如，图像质量检测器474可被配置成识别与所接收的图像相关的模糊度程度、镜面度程度和/或特征度程度。如果基于一个或多个对应的图像质量度量，图像没有通过一个或多个阈值质量度量，则可拒绝和/或丢弃图像。在一些实施方案中，通过质量度量的图像可由描述符提取模块478进一步分析。如果一个或多个质量度量的目标数目(例如，一个、两个、三个、四个等)和/或目标组合满足相应的一个或多个阈值质量度量，则可确定图像足够可靠、含信息和/或高质量。

描述符提取模块478可被配置成识别得自所接收的图像的一个或多个特征(例如，描述符)。例如，描述符提取模块478可被配置成识别所接收的图像内的分支、曲率、不规则性或其他显著特征。描述符提取模块478可随后将图像和/或相关联的描述符数据传递到描述符匹配模块482。

描述符匹配模块482可从描述符提取模块478和/或从描述符提取模块466接收图像和/或描述符数据。描述符匹配模块482可识别内腔网络内的医疗器械(例如，内窥镜)的位置，如本文所述。例如，描述符匹配模块482可将从描述符提取模块466获得的一个或多个特征与得自描述符提取模块478的数据中所识别的特征进行比较。在一些示例中，描述符匹配模块482可包括预期位置数据(例如，预装或预存储到模块482和/或可由模块482访问的存储器中)，以简化从描述符提取模块466、478接收到的特征的比较。因此，使用标测系统450，医疗系统可基于从一个或多个数据源(例如CT模型454、导航融合数据458和/或相机图像数据470)提取的描述符来识别和/或估计医疗器械在内腔网络内的位置。

图27示出了用于实施上述图像管理系统的示例性方法500。方法500可在整个本公开中描述的各种机器人控制的系统或其部件中实施。方法500可用机器人系统来实施，该机器人系统包括具有细长主体的器械，该细长主体被配置成插入内腔网络中。成像装置可定位在细长主体上(例如，定位在细长主体的远侧端部上)。器械可附接到被配置成使器械移动通过内腔网络的器械定位装置(例如，机械臂)。采用方法500的系统可包括被配置有致使处理器执行方法500的指令的处理器。方法500仅以举例的方式提供，并且图像管理方法可使用与图27所示的那些不同的步骤来实施。为简单起见，图27中所示的步骤被描述为由一个系统(例如，本文所述的系统中的一个系统或被配置成执行本文所述技术中的一种或多种技术的系统)执行，尽管这些步骤可由此类系统的一个或多个部件或处理器执行。

在框504处，用于图像管理的系统从装置(例如，成像装置428)接收当细长主体位于内腔网络内时所捕获的一个或多个图像。在框508处，对于一个或多个图像中的每个图像，系统确定指示图像的用于将细长主体的远侧末端或一部分定位在内腔网络内的可靠性的一个或多个质量度量。下面提供质量度量的示例。在框512处，系统确定一个或多个质量度量中的每一个质量度量的可靠性阈值。可靠性阈值可由用户提供和/或可基于质量度量和/或质量度量的值来确定。例如，可对重要的质量度量设置相对较高的阈值，但可对较不重要的质量度量设置较低的阈值。其他配置是可以的。在框516处，响应于图像的一个或多个度量中的每个度量满足对应的可靠性阈值，系统利用图像进行远侧末端的定位。系统可使用图像来确定器械的远侧末端的位置。位置确定可部分地基于关于图26所述的算法和/或本文所述(例如，关于图20所述)的其他算法。应注意，系统可响应于图像的一个或多个质量度量不满足对应的可靠性阈值，而丢弃或以其它方式不利用用于确定器械的远侧末端的位置的图像。

在一些示例中，系统访问术前模型数据。例如，系统可访问满足一个或多个可靠性阈值的图像的机器学习模型。除此之外或另选地，机器学习模型可包括未能满足一个或多个可靠性阈值的图像的模型。基于机器学习模型，系统可确定一个或多个所捕获的图像中的每个图像的一个或多个度量是否满足对应的可靠性阈值。术前模型数据可包括其他数据，诸如指示医疗装置在内腔系统内的预期位置的数据(例如，图像数据)(例如，使用气道和/或与医疗器械的位置对应的标志的计数)。例如，尽管图27中未示出，但系统可访问定位在内腔网络内的器械的位置状态估计。位置状态估计可包括器械当前定位的哪些分支的识别。位置状态可基于通过CT扫描获得的图像数据。基于位置状态估计和术前模型数据(例如，机器学习模型、CT图像)，系统可确定医疗器械的位置。位置状态估计可例如通过图20的导航和定位系统90来确定。位置状态估计可基于各种和/或多个位置感测模态和信息(诸如术前模型数据91、视觉数据92、EM数据93(或其他位置感测数据)和/或机器人命令和运动学数据94)来确定。与使用术前模型数据进行通路的位置确定和标测有关的其他信息进一步描述于2019年4月18日公开的美国专利申请公开号2019/0110843中，该专利申请的全部内容以引用方式并入本文。

系统可使用多个图像质量度量来识别图像是否可靠、含信息和/或以其他方式足够高的质量。例如，可使用三个或更多个质量度量。对于每个图像，系统可将2D图像转换为图像内图像位置的集合。图像位置可与图像内的像素对应。像素可沿着两个轴线布置在栅格中。图像位置可定义为

其中I(x,y)表示存储在图像位置(x,y)处的数据，并且W和H分别表示图像的宽度和高度。存储用于图像位置的数据可被存储为包括多个元素的矢量。例如，I(x,y)可将红色、绿色和蓝色通道的值存储在RGB图像中。“通道”可以指由图像位置存储的变量的类型。例如，RGB图像具有三个通道，而灰度图像具有一个通道。

图像质量度量可涉及各种度量。一个因子可涉及其中的图像或特征模糊的程度，其可被称为模糊度或不清晰度。另一个因子可涉及如何出现饱和和/或冲洗出的图像。具体地，该因子可能与由光(例如，来自光源的光)反射到相机引起的镜面高亮有关。该因子可被称为镜面度。另一个因子可涉及图像内视觉特征的显著程度，这可被称为特征度。视觉特征的显著可能与在图像内检测到的视觉特征的数量有关。

可通过各种方式来获得模糊度。例如，系统可将输入RGB图像转换为灰度图像。因此，图像可基于单个通道而变化，诸如黑色或黑暗程度。系统可确定图像上附近和/或相邻点的方差。可通过对与每个图像位置相关联的矢量执行拉普拉斯算子来获得方差。拉普拉斯算子可得到矩阵

可计算出该矩阵的方差μ。由此，模糊度θ可使用

计算得出，其中a是

的上限。

可通过找到图像内具有镜面高亮的点相比于作为整体的图像的比率来获得镜面度。因此，镜面度可以是图像内镜面高亮面积的比率或分数。镜面度可与图像内每个点的饱和度和/或值有关。一般来讲，“饱和度”可以指一个点相对于类似照明白色的亮度的颜色。“值”可以指颜色感知的变化程度。可通过确定满足一个或多个阈值的点(例如，像素)的数目来获得镜面度。例如，镜面点可以指具有低于阈值饱和水平的饱和度和/或具有高于阈值水平的值。

确定图像的镜面度可包括将图像转换为不同类型的图像。转换可包括将一个多通道图像转换为不同类型的多通道图像(例如，HSV图像)。例如，可将RGB图像转换为HSV图像。在一些实施方案中，R、G、B通道值可在0至1的范围内，并且可根据以下公式转化：

C_max＝max(R，G，B)

C_min＝min(R，G，B)

δ＝C_max-C_min

V＝C_max

首字母缩写HSV代表色调、饱和度和值。可分析图像的每个位置的镜面高亮的水平。可将饱和度阈值σ_饱和度和/或值阈值σ_值设置成识别具有足够镜面高亮的点(例如，像素)。例如，如果像素满足以下两个条件：(1)具有低于饱和度阈值σ_饱和度的饱和度大小，以及(2)具有低于值阈值σ_值的值大小，则该像素被识别为具有足够的镜面高亮。基于具有足够镜面高亮的点(例如，像素)的总数，可通过计算

来获得比率，其中如果该点具有低于σ_饱和度的饱和度大小和高于σ_值的值大小，则ω_i，j＝1。否则，ω_i，j＝0。照片的镜面度可包括获得的比率。

特征度可通过识别特定图像内的多个特征来确定。可使用一个或多个特征检测算法来确定多个特征，这些算法诸如比例不变特征变换(SIFT)、加速稳健特征(SURF)、二进制稳健独立基本特征(BRIEF)、得自加速节段测试的特征(FAST)、取向FAST和旋转BRIEF(ORB)和/或二进制稳健不变可扩展关键点(BRISK)。在一些具体实施中，可使用Harris算法(例如，Harris仿射区域检测器)来识别图像中的特征的各方面，诸如拐角。例如，高斯核滤波可在一个或多个标度上使用和/或可进一步包括定位显著特征(例如，角、边缘、斑点、脊等)。除此之外或另选地，滤波器(例如使用Sobel滤波器)可用于帮助识别和/或检测特征的各方面，诸如边缘。特征可以是内腔网络的横截面、内腔或分支中的不规则性或一些其他感兴趣特征。图像中的特征可包括边缘、拐角和/或环境中的其他可区分元素。因此，可识别此类方面以确定图像中的特征的存在。

如上所述，可使用一个或多个质量度量来识别可靠和/或含信息的图像。在一些配置中，方法500可包括使用上述质量度量的组合(例如，线性组合)。例如，如果(1)模糊度θ大于模糊度阈值σ_模糊度、(2)镜面度

大于镜面度阈值σ_镜面度和/或(3)特征度δ大于特征度阈值σ_特征度，则图像可被归类为无信息的/不可靠的。因此，例如，在一些具体实施中，如果θ>σ_模糊度，

并且δ<σ_特征度，则图像被确定为不可靠的。在一些配置中，如果质量度量的线性组合得到低于合成阈值的合成度量，则图像可被确定为不可靠的。可使用与相应质量度量对应的一个或多个加权因子来确定合成度量ρ。加权因子可以是线性加权因子，尽管其他变化是可以的。例如，合成度量ρ可使用

进行确定。此处，α、β和γ代表每个质量度量(例如模糊度θ、镜面度

特征度δ)的相应加权参数。在一些具体实施中，限值b可表示在内窥镜图像中检测到的特征数目的上限。可基于对一组代表性图像的分析来选择加权参数。因此，加权参数可包括在本文所述的术前数据中。

如上所述，在一些配置中，系统可除此之外或另选地实施机器学习(ML)算法以确定上述质量度量中的一个或多个质量度量。机器学习算法可被配置成捕获图像的整体信息，作为对精细(例如，像素级)图像数据的补充或另选。ML算法可被配置成识别可靠和/或含信息图像。除此之外或另选地，ML算法可被配置成识别不可靠和/或无信息图像。

可在之前对“好”(例如，含信息、可靠)图像和/或“坏”(例如，无信息、不可靠)图像来训练ML算法。训练算法可使用分类器，诸如随机森林、支持矢量机器或卷积神经网络(CNN)。因此，可基于所训练的分类器来确定“好”图像和/或“坏”图像。

一旦经训练，ML算法或模型可存储在系统(例如，存储器412)中。机器学习算法的一些示例包括监督式机器学习算法或非监督式机器学习算法，包括回归算法(诸如例如普通最小二乘法回归)、基于实例的算法(诸如例如学习矢量量化)、决策树算法(诸如例如分类和回归树)、贝叶斯算法(诸如例如朴素贝叶斯)、聚类算法(诸如例如k均值聚类)、关联规则学习算法(诸如例如先验算法)、人工神经网络算法(诸如例如感知机)、深度学习算法(诸如例如深度玻尔兹曼机器或深度神经网络)、降维算法(诸如例如主成分分析)、集成算法(诸如例如堆叠泛化)和/或其他机器学习算法。

如上所述，方法500可包括访问机器学习模型并使用该模型来确定每个图像的质量度量是否满足对应的可靠性阈值。机器学习模型可包括被训练成识别一个或多个内腔网络内的分支的卷积神经网络。机器学习模型可至少部分地基于内腔网络的模拟图像。例如，模拟图像可包括内腔网络在两个或三个维度上的至少一个计算机生成的图像。例如，机器学习模型可至少部分地基于从CT扫描收集的图像。模拟图像可从内腔网络内描绘模拟透视图。除此之外或另选地，图像数据可包括视频图像(例如，来自患者内的支气管网络)。

可以多种方式训练ML算法。例如，系统可访问内腔网络的3D表示。系统可访问内腔网络的内部的一个或多个图像。在一些配置中，系统可基于内腔网络的内部的图像和内腔网络的3D表示来确定每个图像与3D表示内的对应位置之间的标测。系统可基于该标测来设置加权参数，以在呈现给ML算法的图像数据内识别内腔网络的对应分支和/或内腔网络内对应分支的位置。除此之外或另选地，系统可基于粒子滤波器来预测图像内的一个或多个特征。

IV.实施系统和术语

本文所公开的具体实施提供了用于导航机器人控制的医疗器械的图像管理的系统、方法和设备。本文描述的各种具体实施提供了改进的图像管理和内腔网络的导航。

应当指出的是，如本文所用，术语“耦合(couple)”、“耦合(coupling)”、“耦合(coupled)”或词语耦合的其他变型形式可以指示间接连接或直接连接。例如，如果第一部件“耦合”到第二部件，则第一部件可经由另一个部件间接连接到第二部件或直接连接到第二部件。

本文所述的图像数据、分析和/或管理算法、机器学习模型、位置估计和/或机器人运动致动功能可作为一个或多个指令存储在处理器可读或计算机可读的介质上。术语“计算机可读介质”是指可由计算机或处理器访问的任何可用介质。通过示例而非限制，这样的介质可包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、致密盘只读存储器(CD-ROM)或其他光盘存储装置、磁盘存储装置或其他磁存储装置，或可以用于存储呈指令或数据结构的形式的期望的程序代码并且可以由计算机访问的任何其他介质。应当指出的是，计算机可读介质可为有形的和非暂态的。如本文所用，术语“代码”可以指可由计算装置或处理器执行的软件、指令、代码或数据。

本文所公开的方法包括用于实现所述方法的一个或多个步骤或动作。在不脱离权利要求的范围的情况下，方法步骤和/或动作可彼此互换。换句话讲，除非正在描述的方法的正确操作需要步骤或动作的特定顺序，否则可以在不脱离权利要求的范围的情况下修改特定步骤和/或动作的顺序和/或使用。

如本文所用，术语“多个”表示两个或更多个。例如，多个部件指示两个或更多个部件。术语“确定”涵盖多种动作，并且因此，“确定”可包括计算、运算、处理、导出、调查、查找(例如，在表格、数据库或另一种数据结构中查找)、查明等。另外，“确定”可包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。另外，“确定”可包括解析、选择、挑选、建立等。

除非另有明确指明，否则短语“基于”并不意味着“仅基于”。换句话讲，短语“基于”描述“仅基于”和“至少基于”两者。

提供对所公开的具体实施的前述描述以使得本领域的任何技术人员能够制作或使用本发明。对这些具体实施的各种修改对于本领域的技术人员而言将是显而易见的，并且在不脱离本发明的范围的情况下，本文所定义的一般原理可应用于其他具体实施。例如，应当理解，本领域的普通技术人员将能够采用多个对应的替代和等同的结构细节，诸如紧固、安装、耦合或接合工具部件的等同方式、用于产生特定致动运动的等同机构、以及用于递送电能的等同机构。因此，本发明并非旨在限于本文所示的具体实施，而是被赋予符合本文所公开的原理和新颖特征的最广范围。

Claims (27)

1.一种系统，包括：

器械，所述器械包括：

细长主体，所述细长主体被配置成被插入内腔网络中，以及

成像装置，所述成像装置定位在所述细长主体的远侧末端处；至少一个计算机可读存储器，在所述至少一个计算机可读存储器上存储有可执行指令；以及

一个或多个处理器，所述一个或多个处理器与所述至少一个计算机可读存储器通信并且被配置成执行所述指令以致使所述系统至少：

从所述成像装置接收当所述细长主体位于所述内腔网络内时所捕获的一个或多个图像；

对于所述一个或多个图像中的每个图像，确定指示图像的用于将所述细长主体的所述远侧末端定位在所述内腔网络内的可靠性的一个或多个度量；

确定所述一个或多个度量中的每个度量的可靠性阈值；以及

响应于所述图像的所述一个或多个度量中的每个度量满足对应的可靠性阈值，利用所述图像进行所述远侧末端的所述定位。

2.根据权利要求1所述的系统，其中，所述一个或多个处理器被配置成执行所述指令以致使所述系统至少：

访问满足一个或多个可靠性阈值的图像的机器学习模型；以及

基于所述机器学习模型来确定一个或多个所捕获的图像中的每个图像的所述一个或多个度量是否满足所述对应的可靠性阈值。

3.根据权利要求2所述的系统，其中，所述机器学习模型包括卷积神经网络，所述卷积神经网络被训练成将(i)具有满足所述对应的可靠性阈值的一个或多个度量的图像与(ii)具有不满足所述对应的可靠性阈值的一个或多个度量的图像区分开来。

4.根据权利要求1所述的系统，其中，所述一个或多个度量包括以下中的至少一者：

指示所述图像中的模糊水平的第一度量；

指示所述图像中的镜面高亮的量的第二度量；以及

指示所述图像中的视觉特征的可用性的第三度量。

5.根据权利要求4所述的系统，其中，利用所述图像包括：

将第一加权参数分配给所述第一度量；

将第二加权参数分配给所述第二度量；

将第三加权参数分配给所述第三度量；以及

基于所述第一度量、所述第二度量和所述第三度量与相应的第一加权参数、第二加权参数和第三加权参数的线性组合来确定合成度量，其中，所述合成度量指示所述图像的用于所述远侧末端的所述定位的可靠性。

6.根据权利要求4所述的系统，其中，确定所述一个或多个度量包括：

识别与所述图像的二维坐标对应的图像值，

其中，每个图像值基于对应的坐标处的颜色值。

7.根据权利要求6所述的系统，其中，确定所述一个或多个度量包括基于以下来确定所述第一度量：

对所述图像的修改图像执行拉普拉斯算子以获得矩阵；以及

确定与所述修改图像相关联的所述矩阵的方差。

8.根据权利要求6所述的系统，其中，确定所述一个或多个度量包括基于以下来确定所述第二度量：

确定所述图像的饱和度和亮度值；以及

确定饱和度或值中的至少一者与所述图像的面积的比率。

9.根据权利要求8所述的系统，其中，确定所述第二度量包括确定所述图像的第一点与第二点之间的亮度值的方差，所述第一点和所述第二点彼此相邻。

10.根据权利要求8所述的系统，其中，确定所述第二度量包括识别具有低于阈值饱和度水平的饱和度值的像素数目。

11.根据权利要求6所述的系统，其中，确定所述一个或多个度量包括基于以下来确定所述第三度量：

使用SIFT、SURF、BRIEF、BRISK或FAST中的至少一者来识别所述图像中的多个特征。

12.根据权利要求6所述的系统，其中，识别多个特征包括识别所述图像中的边缘或拐角中的至少一者。

13.根据权利要求1所述的系统，其中，利用所述图像包括将可靠性因子分配给所述一个或多个图像中的每个图像，所述可靠性因子基于所述一个或多个度量并且指示所述图像的用于所述远侧末端的所述定位的可靠性。

14.根据权利要求1所述的系统，其中，所述一个或多个处理器进一步被配置成执行所述指令以致使所述系统从用户接收与所述一个或多个度量对应的可靠性阈值中的每个可靠性阈值。

15.根据权利要求1所述的系统，其中，所述一个或多个处理器进一步被配置成执行所述指令以致使所述系统基于所述一个或多个度量的对应的第一度量和第二度量自动地设置高于第二可靠性阈值的第一可靠性阈值。

16.根据权利要求1所述的系统，其中，所述一个或多个处理器进一步被配置成执行所述指令以致使所述系统访问包括虚拟图像的术前模型数据。

17.根据权利要求16所述的系统，其中，访问术前模型数据包括将当所述细长主体位于所述内腔网络内时所捕获的所述一个或多个图像与所述虚拟图像进行比较。

18.根据权利要求17所述的系统，其中，所述一个或多个处理器进一步被配置成执行所述指令以致使所述系统基于将当所述细长主体位于所述内腔网络内时所捕获的所述一个或多个图像与所述虚拟图像进行比较来确定所述细长主体在所述内腔网络内的位置。

19.一种方法，包括：

使用设置在细长器械的远侧端部处的图像装置，接收当所述细长器械位于内腔网络内时所捕获的一个或多个图像；

访问对满足一个或多个阈值质量度量的图像进行训练的机器学习模型；以及

基于所述机器学习模型确定所述一个或多个图像是否满足所述一个或多个阈值质量度量。

20.根据权利要求19所述的方法，还包括基于所述机器学习模型，确定指示图像的用于将所述细长器械的所述远侧端部定位在所述内腔网络内的可靠性的一个或多个质量度量。

21.根据权利要求19所述的方法，还包括确定所述一个或多个阈值质量度量。

22.根据权利要求19所述的方法，还包括响应于确定所述图像的所述一个或多个质量度量中的至少一个质量度量未能满足对应的一个或多个阈值质量度量，过滤所述图像以防用于所述远侧端部的所述定位。

23.根据权利要求19所述的方法，还包括确定所述细长器械在所述内腔网络内的位置。

24.根据权利要求23所述的方法，其中，确定所述细长器械在所述内腔网络内的所述位置包括将一个或多个所捕获的图像与内腔网络的术前图像进行比较。

25.根据权利要求24所述的方法，其中，所述术前图像包括计算机生成的图像。

26.根据权利要求24所述的方法，其中，所述术前图像包括从计算机化断层摄影(CT)扫描获得的图像。

27.一种系统，包括：

器械，所述器械包括：

细长主体，所述细长主体被配置成被插入内腔网络中，以及成像装置，所述成像装置定位在所述细长主体的远侧末端处；

至少一个计算机可读存储器，在所述至少一个计算机可读存储器上存储有可执行指令；以及

一个或多个处理器，所述一个或多个处理器与所述至少一个计算机可读存储器通信并且被配置成执行所述指令以致使所述系统至少：

从所述成像装置接收当所述细长主体位于所述内腔网络内时所捕获的一个或多个图像；

对于所述一个或多个图像中的每个图像，确定指示图像的用于将所述细长主体的所述远侧末端定位在所述内腔网络内的可靠性的一个或多个度量，其中，所述一个或多个度量至少包括指示所述图像中的模糊水平的第一度量；

确定所述一个或多个度量中的每个度量的可靠性阈值；以及

响应于所述图像的所述一个或多个度量中的每个度量满足对应的可靠性阈值，利用所述图像进行所述远侧末端的所述定位。

Images