CN117615724A - 医疗器械指导系统和相关联方法 - Google Patents

Abstract

用于执行医疗规程的系统以及相关联的方法和设备。在一些实施例中，用于执行医疗规程的系统包括细长柔性设备和传感器系统，该细长柔性设备被配置成引入患者的解剖腔中，该传感器系统由细长柔性设备携带并被配置成获得解剖结构的方位数据。该系统可被配置成执行操作，该操作包含：基于第一方位数据而生成3D解剖模型，该3D解剖模型包括解剖腔内的对象，当该对象在图像内时，基于细长柔性设备的第二方位数据，以及至少部分地基于该3D解剖模型，为沿着穿过患者皮肤到达该对象的进入路径部署进入工具提供指导。

Description

医疗器械指导系统和相关联方法

相关申请的交叉引用

本申请要求2021年5月11日提交的标题为“Medical Instrument GuidanceSystems and Associated Methods(医疗器械指导系统和相关联方法)”的美国临时申请第63/187,245号的优先权和权益，其全部内容通过引用并入本文。

技术领域

本公开涉及为医疗规程提供指导的系统和相关联方法。

背景技术

微创医疗技术旨在减少医疗规程期间受损组织的数目，从而减少患者恢复时间、不适和有害副作用。这类微创技术可通过患者解剖结构中的自然孔口或通过一个或多个外科手术切口来实施。通过这些自然孔口或切口，操作者可插入微创医疗工具以到达目标组织方位。微创医疗工具包括诸如治疗性、诊断性、活组织检查和外科手术器械的器械。一些微创医疗工具可为遥控操作的或以其他方式由计算机辅助的，或者由遥控操作的、机器人的或以其他方式由计算机辅助的系统递送。各种特征可提高微创医疗工具和技术的有效性。

发明内容

本技术的实施例最好由随附说明书的权利要求书概括。

在一些实施例中，用于执行医疗规程的系统包含被配置成引入患者的解剖结构中的细长柔性设备。该系统另外包括耦合到细长柔性设备的远端部分的成像设备。成像设备被配置成获得从细长柔性设备的远端部分观看的图像。该系统还可包括传感器系统，该传感器系统由细长柔性设备携带并被配置成获得细长柔性设备的解剖结构的方位数据。该系统可进一步包括可操作地耦合到细长柔性设备和传感器系统的处理器，以及可操作地耦合到处理器的存储器。存储器可存储指令，当由处理器实行时，这些指令促使系统执行各种操作。该操作可包括当细长柔性设备在解剖腔的内部空间内被导航时，至少部分地基于来自传感器系统的第一方位数据而生成三维(3D)解剖模型。当对象在图像内时，基于细长柔性设备的第二方位数据，3D解剖模型可包括解剖腔内的至少一个对象。该操作可进一步包括至少部分地基于3D解剖模型，为沿着穿过患者皮肤到达对象的进入路径部署进入工具提供指导。

在这些和其他实施例中，执行医疗规程的方法包括使用细长柔性设备勘测患者的解剖腔。该勘测包括接收用于在解剖腔的内部空间内导航细长柔性设备的命令，以及保存来自耦合到细长柔性设备的第一定位传感器的第一方位数据。该方法还包括从定位传感器接收第一方位数据，该定位传感器耦合到在患者的解剖腔内导航的细长柔性设备。该方法可继续至少部分地基于第一方位数据而生成3D解剖模型。该方法可包括从耦合到细长柔性设备的成像设备接收图像数据，以及当解剖腔内的对象在图像数据中可见时，从定位传感器接收第二方位数据。该方法还可包括至少部分地基于第二方位数据而更新3D解剖模型以包括对象。该方法还可包括为将进入工具从外部方位部署到3D解剖模型中的对象提供指导。

在这些和其他实施例中，提供了一种非暂时性计算机可读介质。非暂时性计算机可读指令在其上存储指令，当由计算系统的一个或多个处理器实施时，促使计算系统执行本文所描述的任何实施例的方法。

应理解，前述一般说明和以下详细说明本质上均是示例性和解释性的，并且旨在提供对本公开的理解，而不限制本公开的范围。在这点上，从下面的详细描述中，本公开的附加方面、特征和优势对于本领域技术人员来说将是显而易见的。

附图说明

参考以下附图，可更好地理解本公开的许多方面。附图中的部件不一定按比例绘制。相反，重点在于清楚地图示本公开的原理。附图不应被视为将本公开限制于所描绘的具体实施例，而是仅用于解释和理解。

图1是图示根据本技术的各种实施例的用于执行医疗规程的方法的流程图。

图2是根据本技术的实施例的解剖结构和解剖结构内的细长柔性设备的部分示意图示。

图3是图示根据本技术的实施例的用于生成3D解剖模型的方法的流程图。

图4图示了根据本技术的实施例生成的点云数据的代表性示例。

图5A-5E图示了根据本技术的实施例的用于为部署进入工具提供指导的图形用户界面的各种示例。

图6是根据本技术的各种实施例配置的遥控操作的医疗系统的简化图。

图7A是根据本技术的各种实施例配置的医疗器械系统的简化图。

图7B是根据本技术的各种实施例配置的医疗器械系统的简化图。

具体实施方式

本公开涉及用于执行医疗规程的微创设备和系统及相关联方法。在一些实施例中，医疗规程包括将细长柔性设备(例如，柔性导管)引入患者的解剖结构(例如，肾脏)中。细长柔性设备可包括至少一个传感器，该传感器被配置成定位解剖结构中的至少一个目标(例如，肾结石)。一旦标识出目标方位，就可使用进入工具(例如，针)来创建到达目标的进入路径。进入路径可为用于从目标外部的外部方位引入医疗器械的经皮进入路径。例如，在一些实施例中，医疗器械可为用于在经皮肾镜取石术(PCNL)规程中打碎肾结石的工具，诸如抽吸管、肾镜或碎石机。

在这类医疗规程中，对操作者而言，在避开非目标器官和/或敏感组织结构的同时，定位进入工具以创建到达目标的路径可能具有挑战性。例如，在PCNL规程中，操作者可能需要在不刺穿肝、肠(例如，肠、结肠等)、肺和/或附近血管的情况下创建通向肾结石的经皮进入路径。然而，常规技术可能不能为定位进入工具提供足够的指导。例如，术前成像和/或建模的价值有限，因为肾结石、肾脏和/或其他器官的位置可能会移动，例如，由于术前成像与实际PCNL规程中患者体位的差异。此外，肾脏和/或周围器官可为柔软的、可变形的结构，其可在术前成像之后改变形状和/或大小。此外，肾结石可能在某些成像方式(例如，荧光透视、计算机断层扫描(CT))中不可见。因此，常规规程可依赖于训练有素的专家来用进入工具进行初始穿刺，和/或可能经常需要多次尝试来创建充分对准目标的进入路径。

为了克服这些和其他挑战，本文所描述的系统和相关联方法可被配置成引导操作者创建到达解剖目标的进入路径，同时避开附近的敏感组织结构。例如，在一些实施例中，该系统使用部署在解剖结构内的细长柔性设备来生成解剖结构的术中3D解剖模型。细长柔性设备可包括传感器系统，该传感器系统被配置成获得传感器数据(例如，方位数据、点云数据、图像数据)，并且该系统可使用传感器数据来确定解剖结构的大致3D形状并标识3D形状内的目标方位。任选地，细长柔性设备本身(例如，靠近解剖目标的细长柔性设备的一部分)可用作目标方位，这在解剖结构表现出显著运动(例如，由于呼吸、蠕动等)的情况下是有利的，因为细长柔性设备可随着解剖结构移动。3D解剖模型还可包括要避开的敏感组织结构的方位(例如，基于通用解剖模型、术前数据、术中数据、操作者和/或医生输入等确定的方位)。在一些实施例中，系统使用3D解剖模型来确定进入工具到达目标的进入路径，而不穿过敏感组织结构。该系统可输出图形用户界面，该图形用户界面为定位进入工具(例如，插入方位和/或插入角度)提供实时、准确的指导，以创建进入路径。可实时更新3D解剖模型和/或操作者指导，以反映在手术规程期间发生的患者解剖和/或目标的任何变化(例如，如果肾结石移动)。因此，本文所公开的方法可减少规程时间和复杂性，并且还可通过降低对非靶器官的损伤风险来提高患者的安全性。

本文参考图1-7B描述了本技术若干个实施例的具体细节。尽管下文在导航和执行患者的肾脏和/或尿道内的医疗规程的上下文中描述了许多实施例，但是除了本文所描述的那些之外的其他应用程序和其他实施例也在本技术的范围内。例如，除非另有说明或从上下文中清楚，否则本技术的设备、系统和方法可用于在其他患者解剖结构(诸如患者的肺、胃肠(GI)系统和/或心脏)上、中或附近导航和执行医疗规程。

应注意，除了本文所公开的实施例之外，其他实施例也在本技术的范围内。例如，尽管本文中的某些实施例是参考用于进入和/或破碎肾结石的器械来论述的，但这并不意指是限制性的，并且本技术也可应用于其他类型的医疗器械，诸如用于诊断、处理或其他医疗规程的器械。此外，本技术的实施例可具有与本文所示或所描述不同的配置、部件和/或规程。此外，本领域普通技术人员将理解，本技术的实施例可具有除了本文所示或所描述的那些之外的配置、部件和/或规程，并且在不偏离本技术的情况下，这些和其他实施例可没有本文所示或所描述的若干个配置、部件和/或规程。

本公开根据其在三维空间中的状态描述了各种器械和器械的部分。如本文所用，术语“位置”是指三维空间中的对象或对象的一部分的位置(例如，沿着笛卡尔x、y和z坐标的三个平移自由度)。如本文所用，术语“取向”是指对象或对象的一部分的旋转放置(三个旋转自由度——例如，滚动、俯仰和偏航)。如本文所用，术语“姿态”是指对象或对象的一部分在至少一个平移自由度上的位置，以及该对象或对象的一部分在至少一个旋转自由度上的取向(总共多达六个自由度)。如本文所用，术语“形状”是指沿着对象测量的一组姿态、位置或取向。

如本文所用，术语“操作者”应理解为包括可执行或协助规程的任何类型的人员，因此，包括内科医生、外科医生、医生、护士、医疗技术人员、临床医生、其他人员或本文所公开技术的用户及其任何组合。如本文所用，术语“患者”应被认为包括正在对其执行医疗规程的人类和/或非人类(例如，动物)患者。

图1是图示根据本技术的各种实施例的用于执行医疗规程的方法100的流程图。方法100被图示为一组步骤或过程110-170。方法100的步骤的全部或子集可由任何合适的计算系统或设备来实施，诸如医疗器械系统或设备的控制系统(例如，包括机器人控制或遥控外科手术系统的各种部件或设备)、工作站、便携式计算系统(例如，膝上型计算机)、任何/或其组合。例如，在一些实施例中，用于实施方法100的计算系统包括可操作地耦合到存储指令的存储器的一个或多个处理器，当实施指令时，促使计算系统根据步骤110-170执行操作。附加地或另选地，方法100的步骤110-170的全部或子集可至少部分地由计算系统的操作者(例如，医生、用户等)实施，和/或由机器人控制的外科手术系统经由操作者通过用户输入设备的用户输入件或通过使用闭环控制和/或通过系统的处理器的预编程指令自动执行。通过交叉引用图2-7B的各个方面，在以下描述中图示了方法100。

方法100始于步骤110，将细长柔性设备引入患者的解剖结构中。细长柔性设备可为适于经由微创技术(例如，经由腔内进入路线)引入解剖结构中的柔性导管或类似工具。细长柔性设备的定位和/或导航可手动执行，细长柔性设备可由操作者经由输入设备自动控制，和/或细长柔性设备可使用来自机器人系统的预编程指令集自动地机器人控制。下文参考图6-7B提供了适用于方法100的细长柔性设备和机器人医疗系统的其他细节。

例如，图2是根据本技术的实施例的解剖结构200和解剖结构200内的细长柔性设备250的部分示意图示。在图示的实施例中，解剖结构200是患者的肾脏202。肾脏202包括肾包膜204、肾皮质206和肾髓质208。肾髓质208包括多个肾锥体210，其含有负责尿液产生的肾单位结构。尿液由一系列被称为肾盏的腔室(例如，小肾盏212和大肾盏214)收集。小肾盏212邻近肾锥体210，并且会聚形成大肾盏214。主肾盏214排入肾盂216和输尿管218。细长柔性设备250可为导管、输尿管镜或适于经由患者的尿道(例如，输尿管218)引入肾脏202中的类似器械。细长柔性设备250可在肾脏202的内部空间中导航和/或铰接，以到达目标，例如，肾结石252。肾结石252可位于小肾盏212、大肾盏214、肾盂216或输尿管218附近或内部。

再次参考图1，在步骤120，方法100继续生成解剖结构的三维(“3D”)模型(本文也称为“3D解剖模型”)。3D解剖模型可为解剖结构的通道、空间和/或其他特征的任何合适的3D表示，诸如表面模型(例如，网格模型或解剖表面的其他表示)、骨架模型(例如，表示通道和/或连通性的模型)、或参数模型(例如，拟合公共参数的模型)。3D解剖模型可包括至少一个目标，该目标可为组织、对象或在医疗规程期间要进入和/或处理的任何其他合适的部位。例如，在解剖结构是肾脏的实施例中，3D解剖模型可包括主肾盏、次肾盏、肾盂和/或输尿管，并且目标可为肾脏内的肾结石，如以上图2所述。然而，在其他实施例中，3D解剖模型可包括其他类型的解剖结构和/或目标。

在一些实施例中，3D解剖模型部分或全部根据医疗规程期间获得的术中数据生成(例如，当细长柔性设备位于解剖结构内时)。术中数据可包括当细长柔性设备在解剖结构内移动时，由耦合到细长设备的定位传感器连续生成的位置数据(例如，点云数据)。在获得和保存由定位传感器生成的位置数据的同时在解剖结构内导航细长柔性设备的过程在本文中也可称为“勘测”解剖结构，在勘测过程期间生成的位置数据在本文中可称为“勘测方位数据”。如前所述，与术前数据(例如，术前CT、X射线、MRI图像和/或模型)相比，位置数据和/或其他术中数据可提供患者解剖结构和/或目标的当前状态的更准确的表示，术前数据可在执行医疗规程之前和/或当患者处于与医疗规程期间不同的位置时捕获。下面参考图3和图4详细描述可作为步骤120的一部分执行的用于从术中数据生成3D解剖模型的代表性方法。

图3是图示根据本技术的实施例的用于生成3D解剖模型的方法300的流程图。方法300开始于步骤310，获得解剖结构(例如，解剖腔，诸如肾或其他器官的内部空间)的内部传感器数据。内部传感器数据可包括例如由细长柔性设备携带的传感器系统所携带的传感器数据。例如，传感器系统可为或可包括至少一个定位传感器，该定位传感器被配置成当细长柔性设备通过驱动到解剖结构内的不同方位来勘测解剖结构时生成勘测方位数据。可保存勘测方位数据以创建形成解剖结构的一般形状的点云。可使用任何合适的定位传感器，诸如形状传感器、EM传感器、位置传感器、姿态传感器或其组合。

图4图示了根据本技术的实施例生成的点云数据集400的代表性示例。点云数据集400可通过将细长柔性设备导航到解剖结构内的不同方位来生成，并且可提供解剖结构的内部空间和/或通道的3D表示。例如，在图示实施例中，点云数据集400描绘了患者肾脏的输尿管、肾盂、主肾盏和次肾盏的3D形状。点云数据集400还包括对应于解剖结构内目标402(例如，肾结石)的方位的一组数据点。任选地，点云数据集400可包括解剖结构内或附近的附加方位的数据，以提供解剖结构的相对形状和目标方位的精确表示。如本文所公开的，点云数据集400可用于生成肾脏和肾结石的3D解剖模型。

再次参考图3的步骤310，在一些实施例中，除了位置数据之外，内部传感器数据还包括其他类型的数据。例如，内部传感器数据可包括由解剖结构内的成像设备生成的图像数据(例如，由细长柔性设备携带)。图像数据可包括例如静止或视频图像、超声波数据、热图像数据和类似项。在一些实施例中，由成像设备捕获的每个图像与由定位传感器生成的方位数据相关联，使得解剖结构内的对象的方位可基于对象的图像和与图像相关联的位置数据来确定。

在任选步骤320中，方法300可包括获取解剖结构的外部传感器数据。外部传感器数据可包括由患者体外的传感器系统生成的任何数据，例如由外部成像系统生成的外部成像数据。外部图像数据可包括以下各项中的任一项：CT数据、磁共振成像(MRI)数据、荧光透视数据、热成像数据、超声波数据、光学相干断层扫描(OCT)数据、热图像数据、阻抗数据、激光图像数据、纳米管X射线图像数据和/或表示患者解剖结构的其他合适的数据。图像数据可对应于二维(2D)、3D或四维(例如，基于时间或基于速度的信息)图像。例如，在一些实施例中，图像数据包括可组合成伪3D图像的来自多个视角的2D图像。外部传感器数据可包括术前数据和/或术中数据。

在步骤330，方法300继续基于内部和/或外部传感器数据生成3D解剖模型。例如，可使用用于从多个3D数据点生成表面或网格模型的技术，诸如表面重建算法，从勘测方位数据(例如，点云数据)生成3D解剖模型。在这类实施例中，因为用于生成点云数据的传感器系统由细长柔性设备携带，所以得到的3D解剖模型可能已经与细长柔性设备处于相同的参考系中，从而不需要附加的配准步骤。作为另一个示例，可从术前图像数据生成3D表示(例如，使用图像分割过程)，并且随后与点云数据组合以产生3D解剖模型。在这类实施例中，方法300可另外包括确定图像数据与点云数据之间的配准，例如使用配准算法，诸如基于点的迭代最近点(ICP)技术，如美国临时专利申请第62/205,440号和第62/205,433号中所描述，这两篇文献的全部内容均通过引用并入本文。

任选地，可根据术中数据(例如，内部传感器数据，如位置数据)和术前数据(例如，在细长柔性设备引入患者体内之前获得的外部图像数据)生成3D解剖模型。在这类实施例中，术中数据可用于更新术前数据，以确保所得模型准确地表示患者解剖结构的当前状态。例如，术前解剖模型可从图像数据(例如，CT数据)和/或在医疗规程之前获得的其他患者数据中生成，例如，使用本领域技术人员已知的图像分割过程。随后，术前解剖模型可与术中数据(例如，点云数据)配准，以将它们放置在相同的参考系中。配准过程可包括将细长柔性设备导航和/或触摸到对应于术前解剖模型中已知点的患者解剖结构(例如，在解剖结构内)的方位。另选地或组合地，可使用配准算法(例如，基于点的ICP技术)将术中数据配准到术前解剖模型。一旦配准，术中数据可用于修改术前解剖模型，例如，通过填充缺失部分、解决错误或歧义等。如果术前模型中存在与术中数据不匹配的部分，则可假设术中数据更准确，并且可用于替换术前模型的这些部分。

在步骤340，方法300继续向3D解剖模型添加至少一个目标。如前所述，目标可为对象(例如，肾结石)、待处理的组织(例如活检、消融等)或者解剖结构内的任何其他合适的部位。在一些实施例中，步骤340包括生成表示目标的模型部件，并且将该部件添加到3D解剖模型。另选地或组合地，步骤340可包括在3D解剖模型中标记对应于解剖结构中的目标的方位的现有部件和/或方位。

在一些实施例中，为了将目标添加到3D解剖模型中的适当方位，步骤340进一步包括标识目标在解剖结构中的方位。例如，可基于由细长柔性设备携带的传感器系统生成的内部传感器数据而标识目标方位。例如，传感器系统可包括被配置成获得目标的图像数据的成像设备(例如，相机、超声波、OCT等)。在这类实施例中，细长柔性设备可在解剖结构内被导航，直到目标在成像设备的视场内并且在图像数据内至少部分可见。成像和标识目标的过程可自动执行，可基于用户输入执行，或者它们的适当组合。例如，操作者可查看图像数据(例如，经由监视器上显示的图形用户界面)，并且可经由输入设备(例如，触摸屏、鼠标、键盘、操纵杆、轨迹球、按钮等)提供命令来指示图像数据中目标的存在(例如，通过点击、选择、标记等)。作为另一个示例，操作者可驱动细长柔性设备，直到目标位于图像数据中的特定方位(例如，与诸如一组十字准线的视觉引导对准，位于图像数据的中心等)。在又一示例中，方法300可包括使用计算机视觉和/或机器学习技术来分析图像数据，以自动或半自动地标识目标。

一旦目标在图像数据中可见，步骤340可另外包括使用定位传感器(例如，形状传感器或EM传感器)获得目标方位数据，并且基于目标方位数据和图像数据确定目标相对于3D解剖模型的方位。在步骤340中获得的目标方位数据可不同于在步骤310和330中用于在3D解剖模型中生成的勘测方位数据，或者可包括与目标方位数据相同的数据点中的一些或全部。类似地，定位传感器可为用于在步骤310中获得勘测方位数据的同一传感器，或者可为不同的传感器。当目标在成像设备的视场内时，目标方位数据可指示细长柔性设备的姿态。因此，目标方位数据可用于计算目标与细长柔性设备之间的空间关系，这进而可用于确定目标在3D解剖模型中的方位。在使用两个不同的定位传感器来生成勘测方位数据和目标方位传感器数据的实施例中，如果两个定位传感器的相对位置是已知的(例如，传感器均耦合到细长柔性设备)，则目标方位数据可被配准到勘测方位数据，因此目标可被适当地定位在3D解剖模型内。

在一些实施例中，方法300的步骤340还包括确定目标与细长柔性设备(或其一部分，如远端部分)之间的距离。可用许多不同的方法来确定距离。例如，可使用由细长柔性设备携带的接近传感器(例如，光学传感器、飞行时间传感器等)来测量距离。另选地或组合地，可基于目标的已知或估计的几何形状(例如，直径、高度、宽度)而确定距离。在这类实施例中，可基于图像数据(例如，术前图像)或任何其他合适的数据而确定或估计目标几何形状。随后，可将目标的几何形状与图像数据中的目标的几何形状进行比较，以确定目标与成像设备(以及携带成像设备的细长柔性设备)之间的距离。基于所确定的距离，可在适当的方位将目标添加到3D解剖模型中。

另选地或组合地，方法300的步骤340可包括使用细长柔性设备携带的力、压力和/或(一个或多个)接触传感器检测目标。这种方法可用于目标具有与周围组织不同的机械特性的情况，诸如不同的硬度和/或刚度。在这类实施例中，细长柔性设备可在解剖结构内导航，直到力和/或接触传感器检测到细长柔性设备与目标接触。接触时细长柔性设备(或其一部分，诸如远端部分)的方位可用作目标的方位。

在步骤350，方法300可任选地包括向3D解剖模型添加一个或多个敏感组织结构。敏感组织结构可包括任何组织、器官或在医疗规程中要避免的其他部位，例如，由于受伤、副作用和/或其他并发症的风险。敏感组织结构可位于待处理的解剖结构的附近但在其外部。例如，在与肾相关的规程(例如，PCNL规程)的上下文中，敏感组织结构可包括患者的肝、肠、肺和/或血管。在一些实施例中，步骤350包括生成表示敏感组织结构的几何形状和/或方位的一个或多个模型部件，并且将模型部件添加到3D解剖模型中。另选地或组合地，步骤350可包括将3D解剖模型内的现有部件或方位标记或以其他方式标识为对应于敏感组织结构的方位。

在一些实施例中，为了将敏感组织结构添加到3D解剖模型中的适当方位，步骤350进一步包括确定敏感组织结构相对于解剖结构的几何形状和/或方位。例如，敏感组织结构的几何形状和/或方位可基于一般解剖学信息(例如，标准患者的预期几何形状和/或方位)和/或特定患者的特征(例如，年龄、性别、身高、体重)而估计。作为另一个示例，敏感组织结构的几何形状和/或方位可基于术前数据(例如，CT图像)而确定。在另一个示例中，敏感组织结构的方位可基于已知的空间关系而估计，例如，关于细长柔性设备如何相对于解剖结构定位、细长柔性设备的插入台如何相对于外科手术台定位、患者身体如何在手术台上定位以及敏感组织结构一般位于患者体内何处的知识。在又一个示例中，敏感组织结构的方位可通过用细长柔性设备获得已知解剖学参考点的方位数据而被估计。例如，当细长柔性设备接触一个或多个外部和/或内部解剖学参考点(例如，肋骨)时，定位传感器可跟踪细长柔性设备的方位，并且所跟踪的方位可用于将解剖学参考点配准到3D解剖学模型。然后可基于敏感组织结构与解剖参考点之间的已知空间关系而估计敏感组织结构的方位。

在其他实施例中，敏感组织结构的位置可基于操作者、医生或其他医疗专业人员等的用户输入而估计。例如，医生可例如通过手动触诊患者来估计患者体内敏感组织结构的方位。医生(或另一个操作者)然后可通过将细长柔性设备接触到患者外部和/或内部解剖结构上的对应方位来标记这些方位。标记的方位可用于定义在规程期间应避免的空间或区域。在其他实施例中，传感器(例如，集成到患者贴片或其他结构中的方位传感器)可在敏感组织的方位处耦合到患者解剖结构。在其他实施例中，传感器(例如，集成到患者贴片或其他结构中的方位传感器)可在敏感组织的方位处耦合到患者解剖结构。

在一些实施例中，在步骤350中确定的敏感组织结构的几何形状和/或方位为初始估计值，并且如果合适，可随后进一步更新3D解剖模型以细化这些估计值。下面参考图1的步骤140进一步描述用于更新3D解剖模型的过程。

再次参考图1，方法100在步骤130继续，基于生成的3D解剖模型而确定目标的进入路径。进入路径可为用于经由微创技术将医疗器械引入目标的规划的路线。例如，进入路径可提供从患者体外方位到目标的经皮路线。可基于各种因素来确定进入路径，诸如路径长度(例如，到目标的最短路径)、路径形状(例如，直的路径可能适合于使用刚性器械的规程，弯曲的路径可能适合于使用柔性器械的规程)、避免与敏感组织结构相交或过于靠近敏感组织结构，和/或到达目标器官的最佳途径。在一些实施例中，步骤130进一步包括确定进入工具(例如，针、套管等)的插入位置和/或角度，以创建用于进入路径的初始穿孔、切口或其他开口。插入位置和/或角度可与进入路径的轨迹对准(例如平行)。

任选地，步骤130可包括向操作者显示所确定的进入路径，以便操作者可查看进入路径并提供反馈(如适用)。例如，步骤130可包括呈现包括覆盖在3D解剖模型上的进入路径的图形用户界面。操作者可查看进入路径，并且提供反馈以接受、拒绝或修改路径(例如，经由诸如鼠标、键盘、操纵杆、触摸屏等输入设备)。在一些实施例中，步骤130包括生成多个进入路径(例如，多个入口点/路径、不同的路径长度、形状、插入方位等)，并且操作者可基于合意性(例如，到关键结构的距离、路径长度等)选择要在规程中使用的特定路径。

在步骤140，方法100任选地包括根据术中数据(例如，图像数据、方位数据、用户输入等)更新3D解剖模型和/或进入路径。例如，如果目标、解剖结构和/或敏感组织结构在规程期间移动或以其他方式改变，则对模型的更新可能是适当的。此外，可更新3D解剖模型以更精确地符合目标、解剖结构和/或敏感组织结构的实际几何形状和/或方位。例如，如前所述，3D解剖模型中敏感组织结构的几何形状和/或方位可为初始估计，一旦术中数据可用，随后对初始估计进行更新。作为另一个示例，当目标在解剖结构内移动时，3D解剖模型中的目标方位可被更新，例如，通过将细长柔性设备的远端部分移动到多个不同的位置，以将目标维持在耦合到细长柔性设备的相机的视场内。细长柔性设备(以及与其耦合的相机)可为用户控制的(例如，手动导航和/或通过输入设备经由操作者控件以机器人控制的)和/或自动控制的(例如，使用来自机器人系统的预编程指令集)。如果合适，也可更新进入路径以考虑到3D解剖模型的变化。3D解剖模型和/或进入路径可按任何合适的频率更新，例如连续地、以预定的时间间隔周期性地(例如，每x秒、分钟一次，等等)、当接收到新的传感器数据时、当检测到显著变化时(例如，如果目标移动)、响应于用户输入，和/或其组合。

在一些实施例中，基于医疗规程期间获得的术中图像数据，诸如CT数据、荧光透视数据、超声波数据等，更新3D解剖模型。图像数据可通过外部成像系统、通过患者体内的成像设备(例如，由细长柔性设备携带)或其组合来获得。可分析图像数据以标识目标、解剖结构和/或敏感组织结构的当前几何形状和/或方位，诸如基于用户输入件、使用计算机视觉和/或机器学习技术和/或其组合。可将目标、解剖结构和/或敏感组织结构的当前几何形状和/或方位与3D解剖模型进行比较，以标识任何显著的差异(例如，形状、大小、方位等的变化)。如果合适，可修改3D解剖模型以反映图像数据中描绘的当前几何形状和/或方位。任选地，在将修订并入模型之前，可将修订呈现给操作者以用于反馈(例如，批准、拒绝或修改)。

任选地，步骤140可包括将术中数据配准到3D解剖模型，从而可将术中数据中的几何形状和/或方位映射到模型上。例如，在术中数据包括用外部成像系统获得的图像数据的实施例中，配准过程可包括获得细长柔性设备或其一部分(例如，远端部分)的图像数据，并且在图像数据中标识细长柔性设备。该标识可基于用户输入件或其组合而自动执行(例如，使用计算机视觉和/或机器学习技术)。任选地，细长柔性设备可被定位成便于标识的形状(例如，钩状)。基于细长柔性设备的图像数据的配准过程的示例提供于在2017年2月10日提交的国际公开第WO 2017/139621号中，公开了“在图像引导外科手术中使用配准的荧光透视图像的系统和方法”，其通过引用整体并入本文。在一些实施例中，步骤140的配准过程可另选地或附加地在方法100中的不同阶段执行，例如，作为步骤110-130中任何一个的一部分。

在步骤150，方法100任选地包括跟踪进入工具相对于3D解剖模型的姿态。如前所述，进入工具可为用于创建进入路径的针或其他合适的医疗器械，并且所跟踪的姿态(例如位置、取向、方位)可用于引导操作者沿着进入路径部署进入工具，如下面另外论述的。进入工具可手动定位，进入工具可由操作者通过输入设备的控制来自动控制，或者进入工具可使用来自机器人系统的预编程指令集来自动控制(如下面将参考图6-7B另外详细描述的)。

可通过多种不同方式跟踪进入工具的姿态，诸如使用定位传感器(例如，形状传感器、EM传感器)、成像设备(例如，超声波、荧光透视、CT)、与进入工具具有已知空间和/或运动关系的支撑结构(例如，机械夹具、针导、插入台等)，或其合适的组合。例如，进入工具可包括定位传感器，该定位传感器被配置成生成进入工具的位置数据。定位传感器可被配置成可移除地耦合到进入工具(例如，插入到工作通道或管腔中的传感器光纤或其他部件)，或者可被永久地固定到进入工具。在2013年1月28日提交的美国专利第9,636,040号中提供了用于将定位传感器结合到进入工具中的技术的附加示例，该专利公开了“具有嵌入式形状感测的可转向柔性针”，其全部内容通过引用并入本文。

在一些实施例中，进入工具定位传感器与柔性设备定位对准，从而可相对于细长柔性设备(因此，3D解剖模型的参考系)跟踪进入工具的姿态。配准可按各种方式执行。例如，第一定位传感器和第二定位传感器可在设定规程期间以彼此已知的空间关系放置，例如由操作者手动和/或使用3D引导件、块、板等，其包括用于将传感器定位在预定配置中的切口或其他图案。作为另一个示例，第一定位传感器和第二定位传感器可被触摸到患者身体和/或另一个对象上的同一组参考点。在另一个示例中，第一定位传感器和第二定位传感器可耦合到同一支撑结构，使得它们的相对空间配置是已知的。例如，两个传感器的近端部分可安装到相同的插入平台或其他结构支撑上。在又一个示例中，第一定位传感器和第二定位传感器可耦合到不同的支撑结构，但是不同结构之间的空间配置和/或运动学是已知的，并且可用于计算传感器之间的空间关系。例如，第一定位传感器的近端部分可安装到第一插入台、机器人臂等，而第二定位传感器的近端部分可安装到第二插入台、机器人臂等。作为又一示例，第一定位传感器和第二定位传感器可为或包括接收器-发射器对，并且在接收器-发射器对之间传送的信号可用于确定传感器之间的空间关系。

然而，在其他实施例中，用于跟踪进入工具的定位传感器可与用于在步骤120中生成细长柔性设备的勘测方位数据的定位传感器相同。在这类实施例中，定位传感器可为可移除的传感器(例如，传感器光纤)，该可移除的传感器被配置成顺序地耦合到细长柔性设备和进入工具(例如，插入到细长柔性设备和进入工具的工作管腔中)。定位传感器可首先耦合到细长柔性设备上，以获得解剖结构和目标的数据，如前面关于步骤120所论述的。在一些实施例中，一旦检测到目标(例如，如上所述，基于用户输入、图像数据等)，细长柔性设备就朝向目标定向，并且定位传感器用于记录细长柔性设备的姿态。如上所述，记录的姿态可用于确定目标相对于细长柔性设备和/或3D解剖模型的位置。随后，结合步骤150，定位传感器可从细长柔性设备中取出并耦合到进入工具，以跟踪进入工具的姿态。在一些实施例中，因为相同的定位传感器用于细长柔性设备和进入工具两者，所以不需要配准来将进入工具姿态数据映射到3D解剖模型。

作为另一个示例，进入工具可包括成像设备(例如，超声波设备)，该成像设备被配置成生成图像数据(例如，3D多普勒图像)。成像设备可移除地耦合到进入工具(例如，插入到工作通道或管腔内)，或者可永久地固定到进入工具。图像数据可用于在进入工具的参考系中生成患者解剖结构的3D表示。随后，3D表示可被配准或以其他方式与3D解剖模型进行比较，以确定进入工具相对于3D解剖模型的姿态和/或更新3D解剖模型和进入工具在3D解剖模型内的虚拟图像。

在另一个示例中，可使用与进入工具分离的成像设备(例如，外部成像系统)生成的术中图像数据(例如，荧光透视、CT)跟踪进入工具。取决于所使用的特定成像模态，图像数据可包括来自多个成像平面的进入工具的视图，以便于连续跟踪(例如，对于荧光透视，可能需要多个2D视图来跟踪进入工具的3D姿态)。基于进入工具的已知几何形状、进入工具上的基准点或其他标记、用户输入件等，可在图像数据中自动或半自动地跟踪进入工具。任选地，进入工具可包括定位传感器，并且由定位传感器生成的勘测方位数据可用作指导，用于定向成像设备以捕获进入工具的图像(例如，对于荧光透视，可调整成像设备，使得进入工具平行于荧光透视成像平面，这可能更适合于跟踪目的)。然后可将术中图像数据配准到3D解剖模型，从而可相对于3D解剖模型确定图像数据中的进入工具的姿态(例如，使用之前在步骤140中描述的技术)。另选地或组合地，成像设备可获得进入工具和细长柔性设备的图像数据，从而可确定进入工具相对于细长柔性设备的姿态(其可与3D解剖模型处于相同的参考系中)。

在步骤160，方法100可包括为部署进入工具以创建进入路径提供指导。该指导可作为显示各种信息的图形用户界面呈现给用户，诸如包括解剖结构、目标和/或附近敏感组织结构的3D解剖模型的图形表示。图形用户界面还可示出在步骤130中确定的进入路径(例如，作为覆盖在3D解剖模型上的虚拟线或类似视觉元素)。此外，图形用户界面可显示各种医疗器械相对于3D解剖模型的位置，诸如包括代表细长柔性设备和/或进入工具的实时位置的虚拟呈现件。任选地，图形用户界面可显示来自多个不同虚拟视图的3D解剖模型，诸如显示整个解剖区域的全局视图、进入工具视点和/或细长柔性设备的视点。

当操作者相对于患者身体放置进入工具时(例如，手动或经由机器人控制系统)，图形用户界面可提供指令、反馈、通知、警报等，以引导操作者沿着规划的进入路径将进入工具插入患者体内。例如，图形用户界面可显示进入工具的目标插入位置(例如，患者身体上的外部位置)和/或目标插入角度，以对进入路径进行初始穿刺。图形用户界面还可显示进入工具相对于目标位置、初始穿刺点、敏感组织结构和/或肾脏的当前位置和/或角度(例如，基于步骤150的进入工具的跟踪姿态)，并且如果合适，提供反馈(例如，视觉、听觉、触觉等)来引导操作者分别朝向目标方位和/或角度调整进入工具的当前方位和/或角度。

一旦进行了初始穿刺，当操作者将进入工具插入患者体内时，图形用户界面可跟踪进入工具相对于规划的进入路径、目标和/或局部解剖结构的当前姿态。在一些实施例中，如果进入工具偏离规划的进入路径、接近敏感组织结构或以其他方式需要校正，则图形用户界面输出警报或其他反馈(例如，视觉、听觉、触觉等)。图形用户界面可被更新(例如，如先前关于步骤140和150所论述的)以提供实时监控和反馈，直到进入工具到达目标。

图5A-5E是用于根据本技术的实施例为部署进入工具提供指导的图形用户界面500a-500e(“界面500a-500e”)的各种示例的部分示意图。接口500a-500e的特征可彼此组合和/或与本文所描述的任何其他实施例组合。首先参考图5A，接口500a显示3D解剖模型502的图形表示，包括解剖结构504(例如，肾脏)、目标506(例如，肾结石)和解剖结构504附近的敏感组织结构508的方位。接口500a还可包括进入工具510的表示，并且任选地包括细长柔性设备512。在其他实施例中，接口500a可仅示出这些设备的一部分(例如，仅示出进入工具510和/或细长柔性设备512的远端部分)，而不是示出整个进入工具510和/或细长柔性设备512。接口500a还可显示进入工具510到达目标506的规划的进入路径514(以虚线示出)。如图5A所示，规划的进入路径514可为覆盖在3D解剖模型502上的线、向量或其他视觉标记。接口500a还可示出进入工具510的计划的进入路径516(以虚线示出)，例如，如果以当前插入位置和角度将进入工具510引入患者体内，则进入工具510将采用的路径。

在图示实施例中，进入工具510的计划的进入路径516与敏感组织结构508相交。因此，接口500a可呈现反馈(例如，消息518和/或其他视觉、听觉和/或触觉警报)来通知操作者这一问题。接口500a可另外指示操作者校正进入工具510的定位(例如，通过调整当前的插入方位和/或角度)，使得计划的进入路径516不会穿过或过于靠近敏感组织结构508。例如，接口500a可指示操作者相对于患者身体重新定位进入工具510，使得计划的进入路径516与规划的进入路径514对准。

接下来参考图5B，进入工具510已相对于患者移动，使得其计划的进入路径516与规划的进入路径514对准，并且不再与敏感组织结构508相交。因此，接口500b可向操作者提供反馈(例如，消息520)，指示当前路径是令人满意的，并且操作者可继续将进入工具510插入患者体内。

接下来参考图5C，在一些实施例中，接口500c包括瞄准指示器522，以引导操作者将进入工具510与目标506对准。如图5C所示，瞄准指示器522可包括表示计划的进入路径516的一组十字准线524(例如，从竖直于计划的进入路径516的平面观察)，以及表示目标506相对于计划的进入路径516的方位的视觉元素526。在图示实施例中，由于计划的进入路径516不与目标506相交，所以进入工具510当前偏离目标。这在瞄准指示符522中通过视觉元素526偏离十字准线524来示出。接口500c还可提供视觉、听觉和/或触觉反馈(例如，消息528)，警告操作者进入工具510当前偏离目标。此外，接口500c可示出规划的进入路径514、处于正确位置和插入角度的进入工具510c的表示以创建规划的进入路径514，以及指示操作者如何调整进入工具510的当前方位和/或角度的视觉指示器(例如，箭头511)。当操作者可调整地移动进入工具510时，接口500c的各种元素(例如，计划的进入路径516、目标指示器522)可被更新以提供实时指导和反馈。

接下来参考图5D，已调整进入工具510，使得计划的进入路径516与目标506和规划的进入路径514对准。这可在接口500d中经由目标指示器522来表示，其图示了与视觉元素526相交的十字准线524。此外，接口500d可提供反馈(例如，消息530)，指示进入工具510在目标上并且准备好插入患者体内。

接下来参考图5E，当进入工具510插入患者体内时，接口500e可追踪进入工具510的远端部分与目标506之间的距离，例如，经由消息532和/或其他视觉、听觉或触觉反馈。任选地，瞄准指示符522中的视觉元素526的大小可被调整以反映进入工具510与目标506之间的距离，例如，当进入工具510远离目标506时视觉元素526较小，而当进入工具510靠近目标506时视觉元素526较大。此外，规划的和计划的进入路径514、516的长度可实时更新，以描绘进入工具510与目标506之间的剩余距离。

再次参考图1的步骤160，在一些实施例中，显示给操作者的图形用户界面可包括来自成像设备的实时图像数据，诸如患者体内的外部成像系统和/或内部成像设备。成像设备可为用于更新3D解剖模型(步骤140)和/或跟踪进入工具(步骤150)的同一成像设备，或者可使用不同的成像设备。图像数据可与3D解剖模型的图形表示一起呈现，使得操作者可观察并比较进入工具的实际姿态和规划的进入路径。另选地或组合地，3D解剖模型的各种部件可覆盖在图像数据上，诸如规划的进入路径、目标、敏感组织结构等。

在一些实施例中，图形用户界面还显示指令、反馈、通知等，用于调整成像设备以捕获进入工具的图像。这种方法可用于不同成像平面对不同规程步骤有利的情况。例如，当使用进入工具进行初始穿刺时，指令可指导操作者使用与规划的进入路径竖直或基本上竖直的成像平面，使得进入路径显示为患者身体上的点或小区域。正常的成像平面可帮助操作者将进入工具的远端放置在正确的方位处。任选地，可将激光点或类似的视觉指示器投射到患者身体上，以标记插入方位。

一旦进行了初始穿刺，指令可指导操作者使用平行或基本上平行于规划的进入路径的成像平面。平行的成像平面可更清楚地观察进入工具插入身体时的姿态。在一些实施例中，步骤160另外包括监控成像设备(或其一部分，例如成像臂)的位置和/或取向，以指导操作者如何实施正确的成像平面和/或确认正在使用正确的成像平面。

再次参考图1，在步骤170，方法100包括经由进入路径将医疗器械引入目标。在一些实施例中，一旦进入工具已经到达目标，进入工具被取出，因此医疗器械可经由进入路径被引入到目标。另选地，进入工具可保留在患者体内，并且医疗器械可经由进入工具中的工作管腔或通道引入患者体内。然而，在其他实施例中，进入工具本身可用于处理目标，使得步骤170是任选的并且可省略。

医疗器械可为适用于例如外科手术、诊断性、治疗性、消融性和/或活检规程的任何微创器械或工具。例如，医疗器械可为抽吸管、肾镜、碎石机、消融探针、活检针或用于处理目标的其他设备。医疗器械的定位可手动执行，医疗器械可由操作者通过输入设备控制而自动控制，或者医疗器械可使用来自机器人系统的一组预编程指令自动控制(如下面将参考图6-7B另外描述的)。

任选地，步骤160中提供的图形用户界面也可用于在将医疗器械引入患者体内时引导操作者。例如，可跟踪医疗器械相对于3D解剖模型的姿态(例如，使用上述步骤150和160中的技术)。另选地或组合地，图形用户界面可显示来自单独成像设备的实时图像数据，因此操作者可以可视化医疗器械在患者解剖结构内的方位。图像数据可从单个成像平面或多个成像平面描绘医疗器械。例如，在一些实施例中，医疗器械从平行或基本上平行于进入路径的成像平面成像，这可有助于可视化医疗器械的姿态。任选地，医疗器械本身可包括成像设备或其他传感器系统，因此操作者可从医疗器械的角度监视医疗器械的方位和/或处理进展。

虽然方法100的步骤以特定顺序进行了论述和说明，但图1所示的方法100不受此限制。在其他实施例中，方法100可按不同的顺序执行。在这些和其他实施例中，方法100的任何步骤可在方法100的任何其他步骤之前、期间和/或之后执行。例如，步骤140可在步骤150、160和/或170中的任何一个之前、期间和/或之后执行；步骤150可在任何步骤110-140或160之前、期间和/或之后执行；以及/或步骤160可在步骤140和/或150之前、期间和/或之后执行。此外，可重复方法100的一个或多个步骤(例如，步骤130-160中的任何一个)。

任选地，可省略图1所示方法100的一个或多个步骤(例如，步骤140和/或150)。例如，在不跟踪进入工具的实施例中(即，省略步骤150)，方法100可改为包括将3D解剖模型配准到实时术中图像数据(例如，荧光透视数据)，使得操作者可跟踪目标、解剖结构和/或敏感组织结构相对于实时图像的位置。在这类实施例中，图形用户界面可将表示目标、解剖结构和/或敏感组织结构的视觉指示器(例如，高亮、阴影、标记)覆盖到活动图像数据中的相应部件上。细长柔性设备和/或进入工具在实时图像数据中是可见的，使得操作者可评估它们相对于患者解剖结构的方位。

此外，相关领域的普通技术人员将认识到，可对图示方法100进行更改，并且仍然保持在本技术的这些和其他实施例内。例如，尽管方法100的某些实施例是参考经皮进入路径描述的，但是在其他实施例中，方法100可应用于其他类型的进入路径。例如，进入工具可经由腔内进入路径引入，例如通过细长柔性设备的工作通道或管腔。在这类实施例中，因为进入工具的姿态对应于细长柔性设备的姿态，所以方法100可省略确定进入工具的进入路径(步骤130)和/或跟踪进入工具的姿态(步骤150)。相反，在步骤160中提供的指导可集中于跟踪和更新目标的方位，例如，在目标在规程期间移动的情况下。

此外，在其他实施例中，由方法100提供的指导可简单地包括将进入工具引向细长柔性设备(例如，引向目标附近的细长柔性设备的远端部分或其他部分)。在这类实施例中，方法100不需要确定到目标的精确进入路径(即，可省略步骤130)。相反，方法100可简单地包括跟踪进入工具和细长柔性设备的相对方位，诸如通过进入工具和细长柔性设备上的相应定位传感器、与细长柔性设备上的发射器配对的进入工具上的接收器(反之亦然)和/或其他合适的技术。在步骤160中提供给操作者的指导可显示进入工具和细长柔性设备相对于彼此和/或相对于3D解剖模型的方位。任选地，进入工具可包括成像设备(例如，超声波设备)和/或其他传感器系统，以帮助操作者在将进入工具插入患者体内时避开敏感的组织结构。

图6是根据本技术的各种实施例配置的遥控操作医疗系统600(“医疗系统600”)的简化图。医疗系统600可用于执行本文结合图1-5E描述的过程中的任何一个。例如，医疗系统600可用于执行医疗规程，包括用细长柔性设备勘测解剖结构和用进入工具创建进入路径，如前面结合图1的方法100所论述的。

在一些实施例中，医疗系统600可适用于例如外科手术、诊断性、治疗性或活检规程。虽然本文提供了关于这些规程的一些实施例，但是对医疗或外科器械以及医疗或外科手术方法的任何引用均是非限制性的。本文所描述的系统、器械和方法可用于动物、人类尸体、动物尸体、人类或动物解剖体的部分、非外科手术诊断，以及用于工业系统和通用机器人或遥控操作系统。

如图6所示，医疗系统600一般包括操纵器组件602，用于操作医疗器械604，对位于工作台T上的患者P实施各种规程。在一些实施例中，医疗器械604可包括、递送、耦合和/或控制本文所描述的任何柔性器械。操纵器组件602可为遥控操作的、非遥控操作的、或者遥控操作的和非遥控操作的混合组件，其具有可为电动的和/或遥控操作的选定运动自由度以及可为非电动的和/或非遥控操作的选定运动自由度。

医疗系统600还包括主组件606，其具有用于控制操纵器组件602的一个或多个控制设备。操纵器组件602支撑医疗器械604，并且可任选地包括多个致动器或马达，这些致动器或马达响应于来自控制系统612的命令驱动医疗器械604上的输入件。致动器可任选地包括驱动系统，该驱动系统在耦合到医疗器械604时可将医疗器械604推进到自然或外科手术创建的解剖孔口中。其他驱动系统可多个自由度移动医疗器械604的远端，这可包括三个自由度的线性运动(例如，沿着X、Y和Z笛卡尔轴的线性运动)和三个自由度的旋转运动(例如，围绕X、Y和Z笛卡尔轴的旋转)。此外，致动器可用于致动医疗器械604的可关节运动的端部执行器，用于在活检设备和/或类似装置的钳口中抓取组织。诸如分解器、编码器、电位计和其他机构的致动器位置传感器可向医疗系统600提供描述马达轴的旋转和取向的传感器数据。该位置传感器数据可用于确定由致动器操纵的对象的运动。

医疗系统600还包括显示系统610，用于显示由传感器系统608的子系统生成的外科手术部位和医疗器械604的图像或图像，和/或与规程相关的任何辅助信息，包括与消融相关的信息(例如，温度、阻抗、能量递送功率水平、频率、电流、能量递送持续时间、组织消融指标等)。显示系统610和主组件606可被定向，使得操作者O可利用遥控呈现的感知来控制医疗器械604和主组件606。

在一些实施例中，医疗器械604可包括成像系统的部件，该成像系统可包括成像镜组件或成像器械，该成像镜组件或成像器械记录外科手术部位的同步或实时图像，并且通过医疗系统600的一个或多个显示器(例如显示系统610的一个或多个显示器)向操作者O提供图像。并发图像可为例如由位于外科手术部位内的成像器械捕获的二维或三维图像。在一些实施例中，成像系统包括内窥镜成像器械部件，其可整体地或可拆卸地耦合到医疗器械604。然而，在一些实施例中，附接到单独的操纵器部件的单独的内窥镜可与医疗器械604一起使用，以对外科手术部位成像。在一些实施例中，成像系统包括通道(未示出)，该通道可提供器械、设备、导管和/或本文所描述的柔性器械的递送。成像系统可被实施为硬件、固件、软件或其组合，它们与一个或多个计算机处理器交互或者以其他方式由一个或多个计算机处理器实行，该一个或多个计算机处理器可包括控制系统612的处理器。

医疗系统600还可包括控制系统612。控制系统612包括至少一个存储器和至少一个计算机处理器(未示出)，用于实现医疗器械604、主组件606、传感器系统608与显示系统610之间的控制。控制系统612还包括编程指令(例如，存储指令的非暂时性机器可读介质)以实施根据本文所公开的方面描述的方法中的一些或所有，包括用于向显示系统610提供信息的指令。

控制系统612可任选地另外包括虚拟可视化系统，以在图像引导外科手术规程期间控制医疗器械604时向操作者O提供导航辅助。使用虚拟可视化系统的虚拟导航可基于对所获取的解剖通道的术前或术中数据集的参考。虚拟可视化系统处理使用成像技术成像的外科手术部位的图像，该成像技术诸如计算机断层扫描(CT)、磁共振成像(MRI)、荧光透视、热成像、超声波、光学相干断层扫描(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像和/或类似项。

图7A是根据本技术的各种实施例配置的医疗器械系统700的简化图。医疗器械系统700包括耦合到驱动单元704的细长柔性设备702，诸如柔性导管。细长柔性设备702包括具有近端717和远端或尖端部分718的柔性主体716。医疗器械系统700另外包括跟踪系统730，该跟踪系统用于使用一个或多个传感器和/或成像设备确定远端718和/或沿着柔性主体716的一个或多个节段724的位置、取向、速度、速率、姿态和/或形状，如下面另外详细描述的。

跟踪系统730可选择使用形状传感器722跟踪远端718和/或一个或多个节段724。形状传感器722可任选地包括与柔性主体716对准的光纤(例如，设置在内部通道(未示出)内或安装在外部)。形状传感器722的光纤形成用于确定柔性主体716的形状的光纤弯曲传感器。在一个替代方案中，包括光纤布拉格光栅(FBG)的光纤用于在一个或多个维度上提供结构中的应变测量。在2006年9月26日提交的美国专利第7,781,724号中描述了用于在三维空间中监控光纤的形状和相对位置的各种系统和方法，公开了“光纤位置和形状感测设备及其相关联方法”；2008年3月12日提交的美国专利第7,772,541号，公开了“基于瑞利散射的光纤位置和/或形状感测”；以及2000年4月21日提交的美国专利第6,389,187号中，公开了“光纤弯曲传感器”，这些专利的全部内容通过引用并入本文。在一些实施例中，跟踪系统730可任选地和/或附加地使用位置传感器系统720跟踪远端718。位置传感器系统720可为EM传感器系统的部件，其中位置传感器系统720包括一个或多个导电线圈，该一个或多个导电线圈可经受外部生成的电磁场。在一些实施例中，位置传感器系统720可被配置和定位成测量六个自由度(例如，三个位置坐标X、Y和Z以及指示基点的俯仰、偏航和滚动的三个取向角)或五个自由度(例如，三个位置坐标X、Y和Z以及指示基点的俯仰和偏航的两个取向角)。在1999年8月9日提交的美国专利第6,380,732号中提供了对位置传感器系统的另外描述，该专利公开了“在被跟踪的对象上具有无源应答器的六自由度跟踪系统”，其全部内容通过引用并入本文。在一些实施例中，光纤传感器可用于测量温度或力。在一些实施例中，温度传感器、力传感器、阻抗传感器或其他类型的传感器可被包括在柔性主体内。在各种实施例中，一个或多个位置传感器(例如，纤维形状传感器、EM传感器和/或类似项)可集成在医疗器械726内，并且用于使用追踪系统730追踪医疗器械726的远端或部分的位置、取向、速度、速率、姿态和/或形状。

柔性主体716包括通道721，通道721的大小和形状适于容纳医疗器械726。例如，图7B是根据一些实施例的具有延伸的医疗器械726的柔性主体716的简化图。在一些实施例中，医疗器械726可用于诸如成像、可视化、外科手术、活检、消融、照明、冲洗和/或抽吸的规程。医疗器械726可通过柔性主体716的通道721部署，并且在解剖结构内的目标位置处使用。医疗器械726可包括例如能量递送器械(例如，消融探针)、图像捕获探针、活检器械、激光消融纤维和/或其他外科手术、诊断性或治疗性工具。医疗器械726可与柔性主体716内的成像器械(例如，图像捕获探针)一起使用。成像器械可包括耦合到相机的电缆，用于发射捕获的图像数据。在一些实施例中，成像器械可为耦合到图像处理系统731的光纤束，诸如纤维镜。成像器械可为单光谱或多光谱的，例如捕获可见、红外和/或紫外光谱中的一种或多种的图像数据。医疗器械726可从通道721的开口前进以执行规程，然后在规程完成时缩回到通道721中。医疗器械726可从柔性主体716的近端717或者从沿着柔性主体716的另一个任选的器械端口(未示出)移除。

柔性主体716还可容纳在驱动单元704与远端718之间延伸的电缆、连杆或其他转向控制件(未示出)，以可控地弯曲远端718，例如，如远端718的虚线描绘719所示。在一些实施例中，至少四根线缆用于提供独立的“上下”转向以控制远端718的俯仰，以及“左右”转向以控制远端718的偏转。在2011年10月14日提交的美国专利第9,452,276号中详细描述了可转向的细长柔性设备，该专利公开了“具有可移除视觉探针的导管”，并且该专利通过引用整体并入本文。在各种实施例中，医疗器械726可耦合到驱动单元704或单独的第二驱动单元(未示出)，并且可使用转向控制件可控地或自动地弯曲。

来自跟踪系统730的信息可发送到导航系统732，在导航系统732中，信息与来自图像处理系统731的信息和/或术前获得的模型相结合，以向操作者提供实时位置信息。在一些实施例中，实时位置信息可显示在图6的显示系统610上，用于控制医疗器械系统700。在一些实施例中，图6的控制系统612可利用位置信息作为定位医疗器械系统700的反馈。在2011年5月13日提交的美国专利第8,900,131号中提供了使用光纤传感器来配准和显示具有外科手术图像的外科手术器械的各种系统，该专利公开了“为图像引导外科手术提供解剖结构模型的动态配准的医疗系统”，其全部内容通过引用并入本文。

在一些实施例中，医疗器械系统700可在图6的医疗系统600内遥控操作。在一些实施例中，图6的操纵器组件602可由操作者直接控制来代替。在一些实施例中，操作者直接控制可包括用于手持操作器械的各种手柄和操作者接口。

本文所描述的系统和方法可按有形和非暂时性机器可读介质(一种或多种)(诸如硬盘驱动器、硬件存储器、光学介质、半导体介质、磁性介质等)的形式提供，其上记录有由处理器或计算机实行的指令。这组指令可包括指示计算机或处理器执行特定操作的各种命令，诸如本文所描述的各种实施例的方法和过程。这组指令可呈软件程序或应用程序的形式。编程指令可被实施为多个单独的程序或子例程，或者它们可被集成到本文所描述的系统的多个其他方面中。计算机存储介质可包括易失性和非易失性介质以及可移除和不可移除介质，用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息。计算机存储介质可包括但不限于RAM、ROM、EPROM、EEPROM、闪存或其他固态存储技术、CD-ROM、DVD或其他光存储件、磁盘存储或可用于存储期望的信息并可由系统部件访问的任何其他硬件介质。系统的部件可经由有线或无线通信相互通信。在一个实施例中，控制系统支持无线通信协议，诸如蓝牙、IrDA、HomeRF、IEEE 802.11、DECT和无线遥测。部件可彼此分离，或者部件的各种组合可一起集成到监视器或处理器中，或者含在具有标准计算机硬件(例如，处理器、电路、逻辑电路、存储器和类似项)的工作站中。该系统可包括处理设备，诸如微处理器、微控制器、集成电路、控制单元、存储介质和其他硬件。

可通过本文所公开的细长柔性设备或导管递送的医疗工具可包括，例如，图像采集探针、活检器械、激光消融纤维和/或其他外科手术、诊断性或治疗性工具。医疗工具可包括具有单个工作构件的末端执行器，诸如手术刀、钝刀片、光纤、电极和/或类似项。其他末端执行器可包括例如镊子、抓钳、剪刀、夹具施放器和/或类似项。其他末端执行器可另外包括电激活末端执行器，诸如电外科手术电极、换能器、传感器和/或类似项。医疗工具可包括图像捕获探针，该探针包括用于捕获图像(包括视频图像)的立体或单视场相机。医疗工具可另外容纳在其近端与远端之间延伸的缆线、连杆或其他致动控制器(未示出)，以可控地弯曲工具的远端。在2005年10月4日提交的美国专利第7,316,681号中详细描述了可转向器械，其公开了“用于执行具有增强的灵活性和灵敏度的微创外科手术的铰接外科器械”，以及在2008年9月30日提交的美国专利第9,259,274号，其公开了“用于外科手术器械的被动预载和绞盘驱动”，其全部内容通过引用并入本文。

本文所描述的系统可适用于经由自然或外科手术形成的连接通道对各种解剖系统中的解剖组织进行导航和处理，该解剖组织包括肺、结肠、胃、肠、肾和肾盏、膀胱、肝、胆囊、胰腺、脾、输尿管、卵巢、子宫、脑、包括心脏的循环系统、脉管系统和/或类似项。

请注意，所呈现的过程和显示可能并不与任何特定的计算机或其他装置内在相关。根据本文中的教导，各种通用系统可与程序一起使用，或者可证明构造更专用的装置来执行所描述的操作是方便的。各种这些系统所需的结构将作为权利要求中的元素出现。此外，本发明的实施例没有参考任何特定的编程语言来描述。应理解，可使用多种编程语言来实施本文所描述的本发明的教导。

虽然在附图中已经描述和示出了本发明的某些示例性实施例，但是应理解，这类实施例仅用于说明而非限制宽泛的发明，并且本发明的实施例不限于所示和所描述的具体构造和布置，因为本领域普通技术人员可进行各种其他修改。上述技术的实施例的详细说明并非旨在穷举或将技术限制为上述公开的精确形式。尽管以上出于说明目的描述了该技术的具体实施例和示例，但是如相关领域的技术人员将认识到的，在该技术的范围内各种等同修改是可能的。例如，虽然步骤以给定的顺序呈现，但是替代实施例可按不同的顺序执行步骤。此外，本文所描述的各种实施例也可被组合以提供另外的实施例。

综上所述，应理解，本文已经出于说明目的描述了本技术的特定实施例，但未示出或详细描述众所周知的结构和功能，以免不必要地模糊本技术的实施例的描述。在通过引用并入本文的任何材料与本公开相冲突的程度上，以本公开为准。在上下文准许的情况下，单数或复数术语也可分别包括复数或单数术语。此外，除非词语“或”被明确地限制为仅指两个或更多个项目的列表中排除其他项目的单个项目，否则在这种列表中使用“或”应被解释为包括(a)列表中的任何单个项目，(b)列表中的所有项目，或(c)列表中项目的任何组合。如本文所用，短语“和/或”在“A和/或B”中是指单独的A、单独的B以及A和B两者。在上下文准许的情况下，单数或复数术语也可分别包括复数或单数术语。此外，术语“包含”、“包括”、“具有”和“带有”通篇用于意指至少包括所叙述的特征(一个或多个)，从而不排除任何更多数目的相同特征和/或附加类型的其他特征。

此外，本文所用术语“基本上”是指动作、特征、属性、状态、结构、项目或结果的完整或接近完整的范围或程度。例如，“基本上”封闭的对象意指该对象完全封闭或接近完全封闭。在一些情况下，偏离绝对完整性的确切允许程度可取决于具体的上下文。然而，一般而言，接近完成将具有相同的总体结果，就好像获得了绝对和完全的完成。当以否定含义使用时，使用“基本上”同样适用于指完全或接近完全没有动作、特征、属性、状态、结构、项目或结果。

根据前述内容，还应理解，在不偏离技术的情况下，可进行各种修改。例如，该技术的各种部件可被另外划分为子部件，或者该技术的各种部件和功能可被组合和/或集成。此外，尽管已经在这些实施例的上下文中描述了与本技术的某些实施例相关联的优势，但是其他实施例也可展示这类优势，并且不是所有实施例均必须展示这类优势才落入本技术的范围内。因此，本公开和相关技术可涵盖本文中没有明确示出或描述的其他实施例。

本文所描述的主题的各个方面在以下编号示例中列出。

示例1.一种用于执行医疗规程的方法，该方法包含：使用细长柔性设备勘测患者的解剖腔，该勘测包括：接收用于在解剖腔的内部空间内导航细长柔性设备的命令，并且保存来自耦合到细长柔性设备的第一定位传感器的第一方位数据。该方法还包含至少部分地基于第一方位数据而生成三维(3D)解剖模型；从耦合到细长柔性设备的成像设备接收第一图像数据；当解剖腔内的对象在第一图像数据中可见时，从第一定位传感器接收第二位置数据；至少部分地基于第二位置数据而更新3D解剖模型以包括对象；以及为从外部方位向3D解剖模型中的对象部署进入工具提供指导。

示例2.根据示例1的方法，该方法进一步包含从成像设备接收第二图像数据，其中对象在第二图像数据中比在第一图像数据中更不可见；接收将细长柔性设备重新定位到相对于第二图像数据内的对象的第二位置的命令；以及当对象在第二图像数据中可见时，从定位传感器接收第三位置数据。

示例3.根据示例2的方法，该方法进一步包含至少部分地基于第三方位数据而更新3D解剖模型中的对象的方位。

示例4.根据示例3的方法，该方法进一步包含确定对象与细长柔性设备的远端部分之间的距离，其中更新对象在3D解剖模型中的方位进一步基于所述距离。

示例5.根据示例2-4中任一项的方法，该方法进一步包含至少部分地基于3D解剖模型而确定用于将进入工具从外部方位部署到对象的一个或多个进入路径。

示例6.根据示例5的方法，其中一个或多个进入路径中的每一个包括进入工具的插入位置和插入角度。

示例7.根据示例2-4中任一项的方法，该方法进一步包含更新3D解剖模型以包括至少一个敏感组织结构。

示例8.根据示例7的方法，其中至少部分地基于一般解剖学信息而更新3D解剖学模型以包括至少一个敏感组织结构。

示例9.根据示例8的方法，该方法进一步包含：接收外部成像数据；将外部成像数据配准到3D解剖模型；以及基于外部成像数据而更新至少一个敏感组织结构在3D解剖模型中的位置。

示例10.根据示例7-9中任一项的方法，其中一个或多个进入路径被配置成避开至少一个敏感组织结构。

示例11.根据示例10的方法，该方法进一步包含基于路径长度、与敏感解剖结构的接近度或解剖方法中的至少一个来表征一个或多个进入路径。

示例12.根据示例11的方法，该方法进一步包含接收进入方位数据，该进入方位数据包括进入工具的当前位置和当前角度。

示例13.根据示例12的方法，该方法进一步包含基于进入方位数据而更新一个或多个进入路径。

示例14.根据示例12或示例13的方法，该方法进一步包含将第一定位传感器配准到第二定位传感器，其中第二定位传感器耦合到进入设备。

示例15.根据示例1的方法，其中解剖腔包括肾的内腔，并且对象包括肾结石。

示例16.一种其上存储指令的非暂时性计算机可读介质，当由计算系统的一个或多个处理器实施时，该指令促使计算系统执行示例1-15中任一项的方法。

Claims (28)

1.一种用于执行医疗规程的系统，所述系统包含：

细长柔性设备，其包括远端部分；

成像设备，其耦合到所述细长柔性设备的所述远端部分，其中所述成像设备被配置成获得从所述细长柔性设备的所述远端部分观看的至少一个图像；

传感器系统，其包括由所述细长柔性设备携带的至少一个第一传感器，其中所述至少一个第一传感器被配置成获得所述细长柔性设备的方位数据；

处理器，其可操作地耦合到所述细长柔性设备和所述传感器系统；以及

存储器，其可操作地耦合到所述处理器，所述存储器存储指令，当由所述处理器实施时，所述指令促使所述系统执行操作，所述操作包含：

生成三维解剖模型即3D解剖模型，所述3D解剖模型包括解剖腔内的对象和所述解剖腔附近的一个或多个敏感组织结构；以及

至少部分地基于所述3D解剖模型，为沿着穿过患者皮肤到达所述对象的至少一个经皮进入路径部署进入工具提供指导。

2.根据权利要求1所述的系统，其中所述一个或多个敏感组织结构位于所述解剖腔的外部。

3.根据权利要求1所述的系统，其中所述操作进一步包含至少部分地基于术前数据而估计所述一个或多个敏感组织结构相对于所述解剖腔的方位。

4.根据权利要求3所述的系统，其中所述术前数据包括一个或多个患者特性。

5.根据权利要求1所述的系统，其中所述操作进一步包含至少部分地基于术中数据而确定所述一个或多个敏感组织结构相对于所述解剖腔的方位。

6.根据权利要求5所述的系统，其中所述术中数据包括以下各项中的一项或多项：图像数据、用户输入和方位数据。

7.根据权利要求1所述的系统，其中所述操作进一步包含：

接收外部成像数据；

将所述外部成像数据配准到所述3D解剖模型；以及

至少部分地基于所述外部成像数据而估计所述一个或多个敏感组织结构相对于所述解剖腔的方位。

8.根据权利要求1所述的系统，其中所述操作进一步包含至少部分地基于一般解剖信息而估计所述一个或多个敏感组织结构相对于所述解剖腔的方位。

9.根据权利要求1所述的系统，其中当所述细长柔性设备在解剖腔的内部空间内导航时，所述3D解剖模型至少部分地基于来自所述至少一个第一传感器的第一方位数据，并且当所述对象在所述至少一个图像内时，所述对象基于来自所述至少一个第一传感器的第二方位数据。

10.根据权利要求1所述的系统，其中所述至少一个第一传感器被配置成获得解剖结构的内部空间的方位数据，其中所述方位数据包括点云数据，并且至少部分地基于所述点云数据而生成所述3D解剖模型。

11.根据权利要求1所述的系统，其中所述操作进一步包含：

至少部分地基于所述对象的所述图像和由所述至少一个第一传感器获得的所述方位数据而标识所述对象在所述解剖腔内的方位。

12.根据权利要求11所述的系统，其中标识所述方位包含确定所述对象与所述细长柔性设备的远端部分之间的距离。

13.根据权利要求1-12中任一项所述的系统，其中所述操作进一步包含更新所述3D解剖模型。

14.根据权利要求13所述的系统，其中更新所述3D解剖模型包含至少部分地基于来自所述至少一个第一传感器的所述方位数据而更新所述对象的方位。

15.根据权利要求14所述的系统，其中所述至少一个图像包括在所述细长柔性设备的第一方位处捕获的第一图像和在所述细长柔性设备的第二方位处捕获的第二图像，其中所述对象在所述第一图像内比在所述第二图像内更不可见。

16.根据权利要求15所述的系统，其中所述操作进一步包含：

接收将所述细长柔性设备从所述第一位置重新定位到所述第二位置的命令；以及

当所述细长柔性设备处于所述第二位置时，至少部分地基于来自所述至少一个第一传感器的所述方位数据而更新所述对象在所述3D解剖模型中的方位。

17.根据权利要求16所述的系统，其中更新所述3D解剖模型包括至少部分地基于术中图像数据而更新所述解剖腔附近的一个或多个敏感组织结构的方位。

18.根据权利要求1所述的系统，其中所述传感器系统包括形状传感器或电磁传感器即EM传感器中的至少一个。

19.根据权利要求1-12中任一项所述的系统，其中所述经皮进入路径不同于用于将所述细长柔性设备引入所述解剖腔中的腔内进入路径。

20.根据权利要求19所述的系统，其中所述至少一个经皮进入路径是直线或曲线路径，并且其中所述至少一个经皮进入路径被选择成避开所述一个或多个敏感组织结构。

21.根据权利要求19所述的系统，其中所述操作进一步包含根据路径长度、与敏感解剖结构的接近度或解剖方法中的至少一个来表征所述至少一个经皮进入路径。

22.根据权利要求1-12中任一项所述的系统，其中所述传感器系统另外包含由所述进入工具携带的至少一个第二传感器。

23.根据权利要求22所述的系统，其中所述操作另外包含将所述至少一个第二传感器与所述至少一个第一传感器配准。

24.根据权利要求23所述的系统，其中所述指导包括：

用于所述进入工具以创建所述经皮进入路径的目标位置和目标角度，以及

从所述至少一个第二传感器获得的所述进入工具的当前位置和当前角度。

25.根据权利要求24所述的系统，其中所述指导包括用于分别朝向所述目标方位和目标角度调整所述进入工具的所述当前位置和所述当前角度的指令。

26.根据权利要求24所述的系统，其中所述指导包括所述进入工具的所述当前位置和所述当前角度对应于与一个或多个敏感组织结构相交的计划的进入路径的反馈。

27.根据权利要求1-12中任一项所述的系统，其中所述指导包括所述进入工具与所述对象之间的跟踪距离。

28.根据权利要求1-12中任一项所述的系统，其中所述指导包括用于调整术中成像系统的成像平面以便于用所述进入工具创建所述经皮进入路径的指令。