CN118139598A - 使用动态可变形腔图的自导向腔内装置 - Google Patents

Abstract

本发明涉及一种自导向腔内系统，包括：包括可导向细长主体的腔内装置，和计算机存储器存储介质，其包括一个或多个模块：导航模块，其包括用于生成导航动作的指令，所述导航动作将由所述腔内装置的所述可导向细长主体执行以到达如数字腔内图中所选择的所需位置；变形模块，其包括用于评估由执行的所述导航动作引起的对一个或多个管腔的潜在变形的指令；应力模块，其包括用于评估由所述导航动作引起的所述管腔上的潜在应力级别的指令；高级模块，其包括从所述导航模块、所述变形模块和所述应力模块中的一个或多个接收信息并生成指令以致动，并且可选地还相应致动所述腔内装置的所述可导向细长主体的指令。

Description

使用动态可变形腔图的自导向腔内装置

相关申请

本申请要求2021年9月9日提交的美国临时专利申请号63/242,101和2022年5月11日提交的美国临时专利申请号63/340,512的优先权的权益，其全部内容通过引用并入本文。

技术领域和背景技术

在本发明的一些实施例中，涉及用于导航一个或多个腔内装置的系统和方法，更具体地，但不排他地，涉及用于导航一个或多个自导向腔内装置的系统和方法。

在特定介入过程中，为了取回活检样本或递送局部治疗，要求医生到达管腔结构内的特定目标组织，例如肺支气管树、或例如脑血管系统、或例如在消化系统中。为了实现这一点，标准的做法是使用腔内工具，例如肺中的支气管镜、或例如用于脉管系统的导管插入套件，其根据实时直接视觉成像(例如直接视觉或例如血管造影术)被手动引导通过分叉的管腔，其是麻烦的任务，尤其在目标处于外围位置和/或到达该位置的路径是曲折路径的情况下。在这种情况下驱动工具的一个明显困难是机械困难。例如，在肺中，标准的支气管镜与它们需要被迫进入的外周气道(例如直径1mm)相比通常相对较厚(例如直径6mm)。另一个问题涉及导航：在直接可视化导航中，医生必须仅基于视频成像来理解支气管镜在肺中的位置。然而，由于气道的分形特性，随着气道变得越来越小，常常难以将一个气道与另一个气道区分开，使得甚至有经验的医生可能错误地选择错误的导向，最终不能达到期望的目标。同样，在血管系统中，例如脑血管系统、或例如肝血管系统，该结构是精细的、窄的和曲折的，并且使用标准血管造影片来引导微导管和导丝是具有挑战性的，并且需要多年的训练和专业化。

近年来，对于支气管镜医生来说，使用导航支气管镜来进行肺部的外周干预已经变得更加普遍。使用通常基于CT或其它近实时成像(在其上显示仪器的位置的参考)来提供肺的2D和/或3D导航渲染器的系统来执行这样的过程。因此，这种系统帮助医生将诸如支气管镜、内窥镜或普通导管(具有或不具有相机)的仪器引导到目标位置。这种被引导的仪器具有相对于标准支气管镜通常直径更小(例如，3-4mm，或更小)的优点。这种仪器通常具有足够宽的工作通道(例如，直径2mm或更大)，以允许医生一旦到达解剖结构内的所需位置就将活组织检查和/或治疗工具引入目标组织。

另外的背景技术包括欧洲专利EP2849669B1，其公开了一种医疗系统，该医疗系统包括处理器和手术装置，其包括沿着细长柔性主体的长度设置的跟踪系统。处理器接收患者解剖结构的解剖通道的第一模型。第一模型包括一组代表近侧分支和远侧分支的模型通道。处理器还从跟踪系统接收位于近侧分支和远侧分支内的细长柔性主体的形状。处理器基于细长柔性主体的形状，确定响应于位于近侧分支和远侧分支内的手术装置而作用在患者解剖结构上的一组力。处理器还通过基于该一组力使第一模型变形来生成第二模型，并显示第二模型和在第二模型内的细长柔性主体的表示。

美国专利号10499993B2公开了一种处理系统，包括处理器和其上存储有计算机可读指令的存储器。当由处理器执行时，计算机可读指令使系统接收参考状态中的分支解剖结构的参考三维体积表示，并基于参考三维体积表示获得节点和链接的参考树。计算机可读指令还使系统基于获得参考树的参考三维几何模型，并基于来自形状传感器的测量结果检测由于解剖运动引起的分支解剖结构的变形。计算机可读指令还使系统基于检测到的变形获得节点和链接的变形树，创建表示检测到的分支解剖结构的变形的三维变形场，并将该三维变形场应用于参考三维几何模型。

美国专利号10610306B2公开了一种方法，该方法包括确定至少部分地位于解剖通道内的装置的形状。该方法还包括为该装置的多个部分确定一组变形力，其中确定该组变形力包括确定该装置的多个部分的每个部分的刚度。该方法还包括基于以下内容生成指示装置相对于解剖通道的位置的复合模型：装置的形状、一组变形力(包括多个部分中的每个部分对解剖通道的相应部分的作用)，以及描述解剖通道的解剖数据。

美国专利号10524641B2公开了一种导航引导，该导航引导通过下述提供给操作者：确定内窥镜相对于参考框架的当前位置和形状，根据所确定的位置和形状生成内窥镜计算机模型，并且将内窥镜计算机模型与参考的患者计算机模型一起显示到参考框架，以便当操作者在导向患者体内的内窥镜时，可以看到该导航引导。

美国专利申请号20180193100A1公开了一种包括可安装到机器人导向器上的手术仪器的设备。手术仪器包括细长臂。细长臂包括：主动控制可弯曲区域，其包括至少一个连接区域；被动可弯曲区域，其包括连接到主动控制可弯曲区域的远端；致动机构，其延伸穿过被动可弯曲区域并连接到至少一个连接区域以控制主动控制可弯曲区域；以及通道，其延伸穿过细长臂。手术仪器还包括位于通道中的光纤。光纤包括在被动可弯曲区域或主动控制可弯曲区域中的至少一个中的光纤弯曲传感器。

美国专利号9839481B2公开了一种系统，该系统包括构造成结合到医疗仪器的近端上的手持件主体和安装在手持件主体内的手动致动器。该系统还包括安装在手持件主体内的多个驱动输入。驱动输入被构造成与电动驱动机构可拆卸地接合。第一驱动部件可操作地结合到手动致动器，并且还可操作地结合到多个驱动输入中的一个。第一驱动部件控制医疗仪器的远端在第一方向上的运动。第二驱动部件可操作地结合到手动致动器，并且还可操作地结合到多个驱动输入中的另一个。第二驱动部件控制医疗仪器的远端沿第二方向的运动。

美国专利号9763741B2公开了一种腔内机器人系统，其向手术医生提供下述能力：驱动机器人驱动的内窥镜装置到患者体内的期望解剖位置，而不需要笨拙的运动和位置，同时还从安装在内窥镜装置上的数字相机获得改进的图像质量。

美国专利申请号US20110085720A1公开了分支结构的数字图像和表示传感器在分支结构内的位置的实时指示器之间的配准，其通过使用传感器来“绘制”该结构内部的数字图像来实现。一旦已经收集了足够的位置数据，就实现了配准。在通过分支结构的导航必然导致收集附加的位置数据的意义上，配准是“自动的”，结果是，配准被连续地细化。

发明内容

以下是包括本发明实施例的一些示例的非排他性列表。本发明还包括在示例中包括少于所有特征的实施例，以及使用来自多个实例的特征的实施例，如果下面没有明确列出，也是如此。

示例1、一种生成用于自导向腔内系统的导向计划的方法，包括：

a、选择可通过数字腔内图中的一个或多个管腔接近的方位，自导向腔内装置需要到达所述方位；

b、针对所述腔内装置生成导航动作以到达所述方位；

c、评估由所述腔内装置执行的所述导航动作引起的对所述一个或多个管腔的潜在变形；

d、当所述自导向腔内系统到达所述方位时，根据所述评估潜在变形的结果更新所述导向计划。

示例2、根据示例1所述的方法，还包括：执行所述导航动作直到到达所述方位。

示例3、根据示例1或示例2所述的方法，其中，所述更新所述导向计划是实时执行的。

示例4、根据示例1-3中任一项所述的方法，其中，所述方法还包括：评估由所述腔内装置执行的所述导航动作引起的所述管腔上的潜在应力级别。

示例5、根据示例4所述的方法，其中，所述方法被执行直到所述潜在应力级别低于预定阈值。

示例6、根据示例1-5中任一项所述的方法，还包括：向所述自导向腔内系统提供所述计划。

示例7、根据示例1-6中任一项所述的方法，还包括：基于图像生成包括所述一个或多个管腔的所述数字腔内图。

示例8、根据示例7所述的方法，其中，所述图像是CT扫描。

示例9、根据示例7所述的方法，其中，所述图像是血管造影片。

示例10、根据示例1-9中任一项所述的方法，其中，所述生成导航动作包括运行所述导航动作的第一仿真。

示例11、根据示例1-10中任一项所述的方法，其中，所述评估潜在变形包括运行所述潜在变形的第二仿真。

示例12、根据示例11所述的方法，还包括：根据在所述第二仿真中仿真的所述潜在变形来更新所述数字腔内图。

示例13、根据示例4所述的方法，其中，所述评估潜在应力级别包括：运行所述潜在应力级别的仿真。

示例14、根据示例13所述的方法，还包括：更新所述导航动作以引起所述潜在应力级别的降低。

示例15、根据示例1-14中任一项所述的方法，其中，所述评估潜在变形还包括：评估由呼吸、心跳和其它外部原因引起的变形。

示例16、一种自导向腔内系统，包括：

a、腔内装置，其包括可自导向细长主体；

b、计算机存储器存储介质，其包括一个或多个模块，包括：

i、导航模块，其包括用于生成导航动作的指令，所述导航动作将由所述腔内装置的所述可导向细长主体执行以到达如数字腔内图中所选择的所需方位；

ii、变形模块，其包括用于评估由所述腔内装置的所述可导向细长主体执行的所述导航动作引起的对一个或多个管腔的潜在变形的指令；

iii、高级模块，其包括从所述导航模块和所述变形模块中的一个或多个接收信息并相应地致动所述腔内装置的所述可导向细长主体的指令。

示例17、根据示例16所述的系统，其中，所述计算机存储器存储介质还包括应力模块，所述应力模块包括用于评估由所述腔内装置的所述可导向细长主体执行的所述导航动作引起的所述管腔上的潜在应力级别的指令。

示例18、根据示例17所述的系统，其中，所述高级模块还包括从所述应力模块接收信息并相应地致动所述腔内装置的所述可导向细长主体的指令。

示例19、根据示例16-18中任一项所述的系统，其中，所述腔内装置包括一个或多个传感器，用于在所述导航动作期间监测所述腔内装置的方位。

示例20、根据示例19所述的系统，还包括：外部发射器，用于允许所述监测。

示例21、根据示例16-20中任一项所述的系统，其中，所述导航模块包括用于生成导航动作的指令，所述导航动作将由所述腔内装置的所述可导向细长主体执行，以帮助到达如数字腔内图中所选择的期望方位。

示例22、根据示例16-21中任一项所述的系统，其中，所述高级模块还包括基于接收到的所述信息生成导向计划的指令。

示例23、根据示例16-22中任一项所述的系统，其中，所述高级模块还包括基于图像生成包括所述一个或多个管腔的所述数字腔内图的指令。

示例24、根据示例23所述的系统，其中，所述图像是CT扫描。

示例25、根据示例23所述的系统，其中，所述图像是血管造影片。

示例26、根据示例16-25中任一项所述的系统，其中，所述导航模块还包括用于运行所述导航动作的第一仿真的指令。

示例27、根据示例16-26中任一项所述的系统，其中，所述变形模块还包括用于运行所述潜在变形的第二仿真的指令。

示例28、根据示例27所述的系统，还包括：根据在所述第二仿真中仿真的所述潜在变形来更新所述数字腔内图。

示例29、根据示例17所述的系统，其中，所述应力模块还包括用于运行所述潜在应力级别的第三仿真的指令。

示例30、根据示例29所述的系统，还包括：更新所述导航动作以引起所述潜在应力级别的降低。

示例31、根据示例16-30中任一项所述的系统，其中，所述评估潜在变形还包括评估由呼吸、心跳和其它外部原因引起的变形。

示例32、根据示例16-31中任一项所述的系统，其中，所述腔内装置包括一个或多个导向机构，其包括一个或多个拉线、一个或多个预弯曲轴、沿着一个或多个轴的主体具有可变刚度的所述一个或多个轴以及一个或多个共轴管。

示例33、根据示例32所述的系统，其中，所述一个或多个预弯曲轴和沿着所述一个或多个轴的主体具有可变刚度的所述一个或多个轴中的一个或多个是一个在另一个之中的。

示例34、根据示例32所述的系统，其中，所述一个或多个导向机构被构造成引起一个或多个导向动作，包括所述轴的旋转、所述轴的前进/缩回、所述装置的尖端的偏转以及所述装置的所述轴的一部分的偏转。

示例35、一种生成用于自导向腔内系统的导向计划的方法，包括：

a、选择可通过数字腔内图中的一个或多个管腔接近的方位，自导向腔内装置需要到达所述方位；

b、针对所述腔内装置生成导航动作以到达所述方位；

c、评估由所述腔内装置执行的所述导航动作引起的对一个或多个管腔的潜在变形；

d、评估由所述腔内装置执行的所述导航动作引起的所述管腔上的潜在应力级别；

e、执行步骤b-d，直到所述潜在应力级别低于预定阈值。

示例36、根据示例35所述的方法，还包括：向所述自导向腔内系统提供所述计划。

示例37、根据示例35所述的方法，还包括：基于图像生成包括所述一个或多个管腔的所述数字腔内图。

示例38、根据示例37所述的方法，其中，所述图像是CT扫描。

示例39、根据示例37所述的方法，其中，所述图像是血管造影片。

示例40、根据示例35所述的方法，其中，所述生成导航动作包括运行所述导航动作的第一仿真。

示例41、根据示例35所述的方法，其中，所述评估潜在变形包括运行所述潜在变形的第二仿真。

示例42、根据示例41所述的方法，还包括：根据在所述第二仿真中仿真的所述潜在变形来更新所述数字腔内图。

示例43、根据示例35所述的方法，其中所述评估潜在应力级别包括：运行所述潜在应力级别的仿真。

示例44、根据示例43所述的方法，还包括：更新所述导航动作以引起所述潜在应力级别的降低。

示例45、根据示例35的方法，其中，所述评估潜在变形还包括：评估由呼吸、心跳和其它外部原因引起的变形。

示例46、一种自导向腔内系统，包括：

a、腔内装置，其包括可导向细长主体；

b、计算机存储器存储介质，其包括一个或多个模块，包括：

i、导航模块，其包括用于生成导航动作的指令，所述导航动作将由所述腔内装置的所述可导向细长主体执行以到达如数字腔内图中所选择的所需方位；

ii、变形模块，其包括用于评估由所述腔内装置的所述可导向细长主体执行的所述导航动作引起的对一个或多个管腔的潜在变形的指令；

iii、应力模块，其包括用于评估由所述腔内装置的所述可导向细长主体执行的所述导航动作引起的所述管腔上的潜在应力级别的指令；

iv、高级模块，其包括从所述导航模块、所述变形模块和所述应力模块中的一个或多个接收信息并相应地致动所述腔内装置的所述可导向细长主体的指令。

示例47、根据示例46所述的系统，其中，所述腔内装置包括一个或多个传感器，用于在所述导航动作期间监测所述腔内装置的方位。

示例48、根据示例47所述的系统，还包括：外部发射器，用于允许所述监测。

示例49、根据示例46所述的系统，其中，所述导航模块包括用于生成导航动作的指令，所述导航动作将由所述腔内装置的所述可导向细长主体执行，以帮助到达如数字腔内图中所选择的期望方位。

示例50、根据示例46所述的系统，其中，所述高级模块还包括基于接收到的所述信息生成导向计划的指令。

示例51、根据示例46所述的系统，其中，所述高级模块还包括基于图像生成包括所述一个或多个管腔的所述数字腔内图的指令。

示例52、根据示例51所述的系统，其中，所述图像是CT扫描。

示例53、根据示例51所述的系统，其中，所述图像是血管造影片。

示例54、根据示例46所述的系统，其中，所述导航模块还包括用于运行所述导航动作的第一仿真的指令。

示例55、根据示例46所述的系统，其中，所述变形模块还包括用于运行所述潜在变形的第二仿真的指令。

示例56、根据示例55所述的系统，还包括：根据在所述第二仿真中仿真的所述潜在变形来更新所述数字腔内图。

示例57、根据示例46所述的系统，其中，所述应力模块还包括用于运行所述潜在应力级别的第三仿真的指令。

示例58、根据示例57所述的系统，还包括：更新所述导航动作以引起所述潜在应力级别的降低。

示例59、根据示例46所述的系统，其中，所述评估潜在变形还包括评估由呼吸、心跳和其它外部原因引起的变形。

除非另有定义，否则本文使用的所有技术和/或科学术语具有与本发明所属领域的普通技术人员通常理解的相同的含义。尽管与本文所述的方法和材料类似或等同的方法和材料可用于本发明实施例的实践或测试中，但下文描述了示例性方法和/或材料。在冲突的情况下，以专利说明书(包括定义)为准。此外，材料、方法和实施例仅是说明性的，而不是必须进行限制。

附图说明

本文仅通过示例并参考附图来描述本发明的一些实施例。现在详细地具体参考附图，强调的是，所示的细节是通过示例的方式，并且是为了对本发明的实施例进行说明性的讨论。在这一点上，结合附图进行的描述对于本领域的技术人员来说，如何实践本发明的实施例是显而易见的。

在附图中：

图1是根据本发明一些实施例的示例性腔内系统的示意性表示；

图2是根据本发明一些实施例的示例性腔内装置的示意性表示；

图3a是根据本发明的一些实施例的提供给NavNN的示例性数字/虚拟3D体积图像的示意性表示；

图3b是根据本发明的一些实施例的提供给NavNN的包括相机传感器图像的示例性数字/虚拟3D体积图像的示意性表示；

图4a-图4e是根据本发明的一些实施例的基于在手术期间实时生成并由NavNN模块处理的基于实时定位图像的驱动动作的示例性序列的示意性表示；

图5是根据本发明的一些实施例的使用3D棱锥体图元的导管的示例性体积细分的示意性表示；

图6a-图6b是根据本发明一些实施例的根据不同对象居中的示例性3D定位图像的示意性表示；

图7a-图7b是根据本发明的一些实施例的示例性非变形和变形定位图像的示意性表示；

图8是根据本发明的一些实施例的显示正确的2D/3D系统视图以反映管腔变形的示例性方法的流程图；

图9a-图9d是根据本发明的一些实施例的由DeformNN模块执行的示例性动作的示意性表示；

图10是根据本发明一些实施例的具有跟踪和导航系统的示例性腔内装置的示意图；以及

图11是根据本发明的一些实施例的系统的示例性使用方法的流程图。

具体实施方式

在本发明的一些实施例中，本发明涉及一种用于导航一个或多个腔内装置的系统和方法，腔内装置例如内窥镜，或例如小型化的腔内机器人装置，或例如血管内导管，或例如血管内导丝；并且，更具体地，但不排他地，涉及用于导航一个或多个自导向腔内装置的系统和方法。在一些实施例中，当使用多于一个装置时，它们被同时导航。虽然在以下段落中将使用单个装置来解释本发明，但应了解，相同的解释也适用于同时使用的多个装置。

在一些实施例中，为了在导航图上显示腔内装置的位置，实时或接近实时地跟踪仪器。在一些实施例中，可以使用各种方法来定位仪器并将其位置显示在导航图上，包括电磁单传感器、多传感器、光纤、荧光可视化等。例如，在一些实施例中，仪器在导管尖端处具有单个跟踪传感器(例如，电磁传感器)，从而向导航系统提供6-DOF位置和取向(也称为“方位”，其在下文中意味着位置和取向两者)。术语“导管”、“内窥镜”和“腔内装置”是指相同的装置，它是用于管腔内的装置，并且在这里可互换地使用。术语“导航图”是指解剖结构的表示，其可以基于各种模式或检测方法，包括CT、CTA、血管造影片、MR扫描、超声成像、3D超声重建、荧光成像、断层合成重建、OCT等。在一些实施例中，尖端的方位与患者的解剖结构配准并显示在导航2D/3D视图中。术语“配准”是指将不同的数据集变换成一个坐标系的过程，除非另有说明。在一些实施例中，医生因此可以看到导管尖端的表示，当它位于例如肺内、或例如大脑血管内，并且将导管操纵到期望的目标，这通常也显示在所展现的视图中。在一些实施例中，使用可能基于光纤的“形状传感器”来感测导管的形状。在一些实施例中，导管的形状使用其它装置被监测，例如使用RFID技术，其不需要从腔内装置内的主动传输以允许监测装置，或者通过使用一个或多个荧光镜投影近似实时地重建其3D形状来监测。在一些实施例中，通过在多个荧光镜2D投影中标识装置的尖端和/或全曲线，在一些参考坐标系中标识荧光镜的方位(例如使用光学基准)，以及通过优化来找到装置的3D方位和/或形状，来从荧光镜投影中重建装置的3D形状，从而使背投的2D装置的曲线与从荧光镜投影中观察到的2D曲线吻合。在一些实施例中，导管的形状与患者的解剖结构配准，并以2D/3D视图展现给医生。在一些实施例中，导管可以包括多个位置传感器(例如，电磁的)，以便能够相对于一些参考的发射器跟踪整个导管的位置和绝对形状。在一些实施例中，导管可以不包括任何传感器。在一些实施例中，它可以是在荧光检查下可见的被动导管。在一些实施例中，通过使用一个或多个荧光镜投影的重建方法，使用荧光镜来跟踪导管的形状。在一些实施例中，导管的形状和方位然后与患者的解剖结构配准并显示给医生。在一些实施例中，使用这些方法的组合。

在一些实施例中，使用各种2D/3D视图来显示导管相对于导航图的方位。在一些实施例中，医生使用这些视图来决定如何操纵导管以便它将到达目标。在一些实施例中，可选地，在这些视图中显示从入口点到目标的预先规划的路径。在一些实施例中，在介入期间，遵循该路径，医生确定导管尖端的形状并驱动它靠近目标，同时在显示的视图上观察仪器的实时跟踪的运动。

在一些实施例中，可使用各种机构将仪器驱动到所需位置。在一些实施例中，由医生操作，手动地驱动该机构，其中一个或多个杠杆提供对导管尖端的形状确定。在一些实施例中，导管可以在远端用固定曲线手动插入。在一些实施例中，导管安装到机器人驱动机构，由遥控面板控制。在一些实施例中，在任何时候，特别是当到达期望的目标时，机器人驱动机构可以将导管固定在空间或解剖结构中，消除了保持导管的需要，并且允许工具经由工作通道稳定地插入，而不改变导管的位置和取向。在一些实施例中，将导管固定在解剖结构中的潜在优点在于，由于在一些情况下不足以将导管固定“在空间中”，由于解剖结构相对于空间中的任何固定点移动(例如，当患者呼吸时)，因此将导管固定“在解剖结构中”是潜在有利的，即，无论患者的运动/呼吸或组织运动、偏转或变形，在空间中自动移动它以保持其相对于解剖目标的位置。

在许多情况下，将仪器推到管腔壁之外可能是有害的，或者至少需要小心。利用手动仪器，当它被推靠在屏障上时，阻力被传播回导管的手柄，并且从那里由医生感测。受过训练的医生意识到这种风险并因此谨慎地操作导管：当阻力增大到超过医生判断为过度的程度时，医生可以释放压力并拉动导管。一旦导管缩回，医生就可以改变尖端取向并缓慢地将其向前推向目标。然而，对于机械、机电和/或动力驱动的导管，或者在非常长的导管的情况下，医生不能感测这些力，增加了伤害患者或损坏导管的风险。因此，在一些实施例中，该系统包括例如通过力传感器和机械跟踪来取代丢失的自然力反馈的机构。

概述

本发明的一些实施例的一方面涉及一种使用虚拟动态可变形管腔图来导航腔内装置(例如支气管内窥镜、或例如血管内装置，血管内装置诸如导丝，或诸如微导管、或诸如导管或诸如栓子取回工具、或诸如卷绕工具)的系统和方法。在一些实施例中，导航由系统使用自导向腔内装置自动执行。在一些实施例中，导航和导航的更新被实时地执行，同时腔内装置朝向期望的方位前进。在一些实施例中，变形由变形感知跟踪系统实时跟踪，作为对患者体内的腔内装置的全部方位和/或形状的实时跟踪的结果，并被转换成虚拟动态可变形图。在一些实施例中，从完全跟踪的腔内装置或从多个完全跟踪的腔内装置和虚拟动态可变形图(包括装置的当前实时位置和全形状)实时生成信息3D定位图像。在一些实施例中，定位图像对所有所需信息进行编码，让有资质的人和/或智能机器(AI)决定为了到达目标而在任何位置所需的最佳驱动动作，例如导向、向前运动或向后运动。在一些实施例中，定位图像可以由导航神经网络(NavNN)模块处理以生成智能驱动动作。在一些实施例中，最初可以使用未变形定位图像来使用变形神经网络(DeformNN)模块来找到变形，从而生成用于导航的变形定位图像。在一些实施例中，系统和/或方法是通用的，并且可以被用于例如从开始到结束执行完全自主导航，或者在另一个示例中，导航可以被分解成较小的人为监控的步骤，例如由直观的“点击驱动(tap-to-drive)”用户界面控制，其中执行自主导航，例如，在解剖结构中从当前位置到所指示的位置(例如，在触摸屏界面上“点击”)。在一些实施例中，系统和/或方法可用于向人类医生显示推荐的导航指令。在一些实施例中，系统和/或方法可以用于自导向内窥镜，而内窥镜的尖端自动地与到目标的路径对准，并且医生仅向远端或近端沿着患者的气道推进尖端。在一些实施例中，该系统和/或方法可与任何血管内装置一起使用，血管内装置例如导管、导丝、工具或其它，其装配有具有自导向能力的驱动设备，而驱动设备使血管内装置尖端自动对准预先规划的路径，因此医生只需要在血管内手动或使用驱动设备将尖端向远端或近端推进。在一些实施例中，系统和/或方法适于收集训练数据以增强AI性能(例如，教导一个或多个神经网络模块，这将在下面进一步解释)。在一些实施例中，自主驱动动作由附加的安全机构来监督，从而确保对体内的装置的安全操纵。

本发明的一些实施例的一方面涉及一种系统，其将3D棱锥体图元栅格化到3D渲染目标上，并将其用于在导航过程中渲染实时3D定位图像。在一些实施例中，可选地，该方法在GPU ASIC/FPGA中实现。在一些实施例中，可选地，通过OpenGL扩展或使用DirectX将该方法暴露给开发者。在一些实施例中，可选地，该方法被用于渲染用于通过3D神经网络处理的实时3D复合数据。在一些实施例中，可选地，该方法用于渲染被跟踪的手和手指的实时3D图像。

本发明的一些实施例的一方面涉及用于在3D多通道定位图像中编码和可选地显示导航数据的系统和/或方法。可选地，在虚拟3D多通道定位图像中。在一些实施例中，可选地，通道之一包含分割管腔结构。在一些实施例中，可选地，分割管腔结构是二元的。在一些实施例中，可选地，分割管腔结构是标量似然图。在一些实施例中，可选地，使用变形神经网络模块使分割管腔结构变形。在一些实施例中，可选地，分割管腔结构由其骨架表示。在一些实施例中，可选地，通道之一包含原始CT数据、原始MRI数据、原始血管造影数据及其任意组合。在一些实施例中，可选地，一个或多个通道在其在体内的估计位置包含导管。在一些实施例中，可选地，导管被表示为全曲线或部分曲线。在一些实施例中，可选地，导管仅由其尖端表示。在一些实施例中，可选地，导管在解剖结构内的其变形位置处被提供。在一些实施例中，可选地，导管在解剖结构内在其非变形位置被渲染。在一些实施例中，可选地，通道之一包含至目标的路径。在一些实施例中，可选地，通道之一包含分割目标。在一些实施例中，可选地，通道之一包含目标球体。在一些实施例中，可选地，通道之一包含内窥镜相机的图像。在一些实施例中，可选地，图像是2D的，并且使用沿着相应射线的背投在3D定位图像中渲染。在一些实施例中，可选地，图像包含深度通道，并且使用其深度通道在3D定位图像中渲染为3D表面。在一些实施例中，可选地，定位图像具有特定的位置和对准。在一些实施例中，可选地，定位图像以导管的尖端为中心。在一些实施例中，可选地，定位图像以路径为中心。在一些实施例中，可选地，定位图像以最接近的路径点为中心。在一些实施例中，可选地，定位图像与导管的尖端取向对准。在一些实施例中，可选地，定位图像的X轴与导管的尖端取向对准。在一些实施例中，可选地，定位图像的X轴与路径方向对准。在一些实施例中，可选地，定位图像的Z轴与下一分叉的法向矢量对准。在一些实施例中，可选地，实时地生成3D定位图像输入。在一些实施例中，可选地，使用3D棱锥体细分技术来渲染定位图像。在一些实施例中，可选地，如变形感知定位系统所计算的，分割管腔结构在其变形状态下被实时渲染。在一些实施例中，可选地，使用变形神经网络在其变形状态中实时渲染分割管腔结构。在一些实施例中，可选地，导管位置在其位置被渲染，如由跟踪系统计算的。在一些实施例中，可选地，使用变形神经网络模块将导管的位置渲染在其解剖变形补偿位置。

本发明的一些实施例的一方面涉及用于生成自动导航驱动动作的系统和/或方法。在一些实施例中，可选地，使用导航神经网络(NavNN)模块来处理定位图像。在一些实施例中，可选地，使用3D卷积神经网络(3D CNN)来处理定位图像。在一些实施例中，可选地，使用3D递归神经网络(3DRNN)来处理定位图像。在一些实施例中，可选地，定位图像包括相机通道以生成更好的驱动动作。在一些实施例中，可选地，NavNN具有存储器。在一些实施例中，可选地，NavNN承载在预测之间的状态矢量。在一些实施例中，可选地，高级模块操作NavNN。在一些实施例中，可选地，高级模块通过选择NavNN的最大输出来选择最佳驱动动作。在一些实施例中，可选地，高级模块基于NavNN输出来自动激活电机。在一些实施例中，可选地，高级模块周期性地生成随机驱动动作，以向导航添加探索并规避NavNN输出的局部极值点。在一些实施例中，可选地，高级模块以特定的预定时间间隔自动地滚动(旋转)导管。在一些实施例中，可选地，在NavNN输出上使用滞后以防止不同输出驱动动作之间的“跳跃”。在一些实施例中，可选地，在NavNN输出上实施安全机构以防止有害的驱动动作。在一些实施例中，可选地，如果在患者身上施加一定的力，则不推动导管。在一些实施例中，可选地，如果在患者身上施加一定的力，则导管自动拉回。在一些实施例中，可选地，通过分析分割管腔结构内的全导管曲线来计算所施加的力。在一些实施例中，可选地，所施加的力由导管的手柄中的或沿着导管的主体的力传感器感测。在一些实施例中，可选地，NavNN在监督训练中使用3D定位图像输入被训练，该3D定位图像输入用其相应的驱动动作来标记。在一些实施例中，可选地，使用现实仿真器模块生成标记的样本。在一些实施例中，可选地，从真实机器人导航过程收集标记的样本。在一些实施例中，可选地，从真实手动导航程序收集标记的样本。在一些实施例中，可选地，操作者的手动驱动动作被自动分类。在一些实施例中，可选地，使用近侧和远侧导管传感器对驱动动作进行分类。在一些实施例中，可选地，导管的手柄包含一个或多个用于对操作者的动作进行分类的传感器。在一些实施例中，可选地，NavNN在无监督训练中使用3D定位图像输入被训练。在一些实施例中，可选地，NavNN在现实仿真器模块中使用强化学习被训练。

本发明的一些实施例的一方面涉及一种用于找到导管在变形管腔结构内的解剖位置的系统和/或方法(关于“变形管腔结构”的更多解释，参见下文)。在一些实施例中，可选地，使用变形神经网络(DeformNN)模块来处理定位图像。在一些实施例中，可选地，使用3D CNN来处理定位图像。在一些实施例中，可选地，使用3D RNN来处理定位图像。在一些实施例中，可选地，使用3D U-Net来处理定位图像。在一些实施例中，可选地，定位图像包括相机通道以提高精确度。在一些实施例中，可选地，DeformNN拥有存储器。在一些实施例中，可选地，DeformNN承载在预测之间的状态矢量。在一些实施例中，可选地，DeformNN输出变形补偿管腔结构的图像。在一些实施例中，可选地，DeformNN在其在输入管腔结构内的解剖位置输出导管的图像。在一些实施例中，可选地，DeformNN输出一个或多个假想导管在它们在管腔结构内的解剖位置处的图像，以及它们相应的置信级别。在一些实施例中，可选地，DeformNN为每个导管输出单个概率，反映输入导管在其在输入管腔结构中的位置中的置信度。在一些实施例中，可选地，搜索管腔结构的变形，使得其最大化DeformNN的输出概率。在一些实施例中，可选地，高级模块操作DeformNN。在一些实施例中，可选地，在输出变形管腔结构的情况下，输入管腔结构和输出管腔结构被配准以计算变形矢量。在一些实施例中，可选地，在输出变形的导管曲线的情况下，输入导管和输出导管被配准以计算变形矢量。在一些实施例中，可选地，变形矢量被施加到全管腔结构或导管位置以显示变形补偿系统视图。在一些实施例中，可选地，用错过的通道来装备DeformNN的局部定位图像输出，并将其输入到NavNN以生成自动驱动动作。在一些实施例中，可选地，在监督训练中使用3D定位图像输入训练DeformNN，该3D定位图像输入用其对应的变形补偿输出图像来标记。在一些实施例中，可选地，使用现实仿真器模块生成标记的样本。在一些实施例中，可选地，在仿真器模块中使用现实变形模型来仿真管腔结构的变形。在一些实施例中，可选地，在仿真器中使用多项式、样条或刚性3D变换来仿真管腔结构的变形。在一些实施例中，可选地，从真实手动导航程序收集标记的样本。在一些实施例中，可选地，将一个或多个导管插入到已知的解剖位置(例如，在外围位置)，并且通过施加内力和外力使解剖结构变形，以记录管腔结构的变形。在一些实施例中，可选地，可跟踪传感器被放置在器官内以记录变形。在一些实施例中，可选地，执行多个CBCT(锥形束CT)扫描并使用可变形配准来将其配准以计算变形矢量。在一些实施例中，可选地，在手术之前关于特定患者的管腔结构进一步训练DeformNN。

本发明的一些实施例的一方面涉及用于在导航过程中显示多个导管假设的系统和/或方法。在一些实施例中，可选地，两个或更多个导管假设在具有基于其置信水平的不同不透明度或强度的2D/3D视图上显示在管腔结构内。在一些实施例中，可选地，显示单个导管直到其在不同假设的不同方向上分裂的位置。在一些实施例中，可选地，导管假设的共享段被正常显示，而分裂段被以不同的颜色、强度或不透明度显示。在一些实施例中，可选地，在导管位置不确定时，屏幕分成不同导管假设的多个独立显示器。在一些实施例中，可选地，回落到单个获胜假设，获胜的半屏幕将失败的半屏幕“推”出视野。

本发明的一些实施例的一方面涉及一种用于计算管腔结构内的导管的力风险估计的系统和/或方法。在一些实施例中，可选地，使用导管在管腔结构内的完全跟踪位置来计算力风险估计。在一些实施例中，可选地，通过估计接触力和内导管力来计算力风险估计。在一些实施例中，可选地，通过提供使管腔结构内的导管可视化的3D定位图像，使用StressNN来计算力风险估计。在一些实施例中，可选地，用使用现实仿真器模块生成的标记样本训练StressNN。在一些实施例中，可选地，在仿真器模块中使用物理仿真的力估计来计算力风险估计。

本发明的一些实施例的一方面涉及一种使用实时3D定位图像来自导向可选地无线的且可选地一次性的腔内装置的系统和方法。在一些实施例中，可选地，该装置在手术前配对过程中与患者无线配对。在一些实施例中，可选地，使用NFC或任何其它无线方法将患者的数据(分割的管腔结构、目标规划等)传送到该装置。在一些实施例中，可选地，该装置对分割管腔结构或导管施加变形补偿。在一些实施例中，可选地，变形补偿使用骨骼变形模型和优化方法来完成。在一些实施例中，可选地，使用DeformNN进行变形补偿。在一些实施例中，可选地，装置使用NavNN来生成精确的自动驱动动作和反馈。在一些实施例中，可选地，该装置基于NavNN输出，使用手柄中的微型电机自动旋转导管(当使用被动J-导管时尤其有用)，以将导管与到目标的路径对准。在一些实施例中，可选地，该装置使用例如在手柄中的微型致动器自动地推动或拉动该装置的腔内部分，以相对于目标以任一方式推进该装置。在一些实施例中，可选地，该装置使用LED或振动电机反馈来在导航期间指示操作者。在一些实施例中，可选地，装置是手持的，并且根据装置的指令，操作者承载推/拉动作。在一些实施例中，可选地，该装置被安装到机器人驱动机构中，并且在没有人的机械干预的情况下被自主地驱动。在一些实施例中，可选地，基于力风险估计来停止自动导航。

本发明的一些实施例的一方面涉及一种用于通过指示目的地来控制被驱动的腔内装置的系统和/或方法。在一些实施例中，例如通过使用机电设备来实现驱动功能。在一些实施例中，使用其它驱动方法，例如通过将磁场施加到装配有磁体的装置、或例如通过使用气动或液压来致动装置或其它方法，在管腔中推进腔内装置。在一些实施例中，可选地，操作者通过指示仪器尖端的期望的末端位置和取向而使仪器尖端导航到解剖结构中的位置。在一些实施例中，可选地，通过点触在触摸屏上显示的表示器官的3D图中的点来标记目的地。在一些实施例中，可选地，通过点击显示解剖成像的计算机屏幕上的位置上的鼠标指针来标记目的地，解剖成像例如CT切片、或例如血管造影片、或例如声谱图或例如MRI。在一些实施例中，可选地，通过从菜单或其他用户界面(UI)元素中选择预定位置来标记目的地。在一些实施例中，可选地，目的地由系统自动建议。在一些实施例中，可选地，通过发出语音命令来指示目的地。在一些实施例中，可选地，在类似于进度条的多路点弯曲平面视图图上指示目的地。在一些实施例中，可选地，通过根据其在图上的次序以顺序的次序执行有限的操纵来获得路点。在一些实施例中，可选地，“放大镜”视图用于指示目标区域中的准确目的地。在一些实施例中，可选地，“第一人”视图用于指示目标区域中的确切目的地。在一些实施例中，可选地，触发系统以根据预定的最大行进距离停止前进。在一些实施例中，可选地，失能开关被用于停止装置的运动。在一些实施例中，可选地，使用“在解剖结构中稳定”机构，通过使用机动化的微移动和调节来主动地防止尖端超过对所确定的结构的所确定的接近度。

在详细解释本发明的至少一个实施例之前，应当理解，本发明在其应用中不必限于以下描述中阐述的和/或附图和/或实施例中所示的部件和/或方法的构造和布置的细节。本发明能够具有其它实施例或者能够以各种方式实践或实现。

示例性腔内系统

现在参考图1，其示出了根据本发明的一些实施例的示例性腔内系统的示意性表示。在一些实施例中，腔内系统100包括腔内装置102，例如内窥镜，其被配置用于腔内介入。在一些实施例中，腔内装置102连接到计算机104，其被配置成监测和控制由腔内系统100执行的动作，在一些实施例中其包括腔内装置102的自导向动作。在一些实施例中，腔内系统100还包括发射器106，其被配置成生成由腔内系统100使用的电磁场，以监测腔内装置102在患者108内的方位。在一些实施例中，腔内系统100还包括显示单元110，其被配置成向操作者显示专用图像，其在腔内介入期间在腔内装置102的导航期间潜在地帮助操作者。在一些实施例中，腔内系统100可选地还包括一个或多个传感器112，其被配置成在腔内介入期间监测患者108的运动。在一些实施例中，患者的运动被用于帮助腔内装置102在患者108内的导航。下面将进一步解释腔内系统100的上述示例性部件中的每一个及其示例性方法。

示例性腔内装置102及其跟踪系统

现在参考图2，其示出了根据本发明的一些实施例的示例性腔内装置的示意性表示。在一些实施例中，腔内系统100包括腔内装置102，例如内窥镜。在一些实施例中，腔内装置102包括手柄202和细长主体204。在一些实施例中，腔内装置102包括沿着细长主体204的多个传感器206，其被配置为检测来自发射器106的传输信号。在一些实施例中，腔内系统100使用多个传感器206监测细长主体204的方位。

在一些实施例中，多个传感器206是3轴加速度计、3轴陀螺仪、3轴磁力计中的一个或多个。在一些实施例中，多个传感器206是数字传感器。在一些实施例中，多个传感器206是包括附加A2D元件的模拟传感器，以便以数字数据形式发送感测的模拟数据。在一些实施例中，多个传感器206是数字传感器和模拟传感器的组合。

在一些实施例中，细长主体204包括位于细长主体204内和/或沿着细长主体204放置的柔性印刷电路板(PCB)。另外的信息可以在国际申请公开号WO2021048837中找到，其内容全部并入本文。在一些实施例中，PCB通信地连接到微控制器，例如通过包括少量导线线路(例如两条至四条导线)的相同数据总线。例如，集成电路(I2C)用作沿着柔性PCB安装的多个传感器206和微控制器之间的数字连接接口。在一些实施例中，腔内装置仅需要两条导线用于在传感器和微控制器之间交换数据。在一些实施例中，具有这种少量导线的潜在优点是允许在需要保持较小的导管中保持较小的导线数量。

在一些实施例中，柔性PCB可以具有安装在其上的八个、五个、十个或任何合适数量的传感器，其例如全部连接到相同的I2C总线(例如串行数据和串行时钟线)。在一些实施例中，使用例如包括电压和/或地线的4线屏蔽电缆将微控制器连接到柔性PCB。在一些实施例中，微控制器提供用于数字传感器的电压和/或接地，例如除了用于传感器的数字测量的读数的两条数据线之外。在一些实施例中，微控制器例如顺序地和/或同时地读取传感器，并例如通过有线和/或无线通信将传感器读数发送到计算机104。

在一些实施例中，例如，当PCB是竖直的时，柔性PCB的设计和/或其上的传感器的定位提供了传感器的位置和/或取向。在一些实施例中，例如，在制造过程中，PCB例如以确定传感器206相对于细长主体204的位置和/或取向的方式附接在细长主体204内和/或沿着细长主体204附接。在一些实施例中，计算机104可以用传感器的初始6DOF取向和/或位置来校准，例如当细长主体204是竖直的时，用传感器的6DOF取向和/或位置来校准。在一些实施例中，初始6DOF取向和/或位置数据以及关于细长主体204的刚性和/或柔性限制的信息作为形状约束被结合到导管定位算法中。在一些实施例中，例如，基于并入的形状约束，两个相邻传感器不能指向相反的方向。在一些实施例中，在计算中利用形状约束的潜在优点是它潜在地提供了更复杂的定位算法，其考虑了形状约束，并且潜在地使得系统100既紧凑又鲁棒。在一些实施例中，求解所有传感器的6DOF位置和/或取向，同时对细长主体204的全曲线形状施加物理形状约束，潜在地减少了运动模型的参数的数量，因此，例如，潜在地防止了测量数据的过度拟合。在一些实施例中，使用形状约束的附加潜在优点是计算机104可以避免由于噪声或失真测量而错误地计算任何传感器的位置和/或取向，因为位置和/或取向的解必须符合例如相邻传感器的位置和/或取向的解，从而它们将一起描述平滑的、物理上合理的细长主体204。

在一些实施例中，计算机104通过在定位算法中并入失真来考虑动态电磁失真，例如以便提供精确的解。在国际专利公开WO2021048837中解释了用于补偿动态磁失真的不同方法，其全部内容通过引用并入本文。

监测腔内装置的示例性方法

如上所述，监测腔内装置的示例性方法在其他地方描述，例如在国际专利公开号WO2021048837中，其全部内容通过引用并入本文。

简而言之，在一些实施例中，计算机104从发射器106接收关于所生成的交变电磁场的瞬时相位的数据。在一些实施例中，计算机104接收由多个传感器206沿着细长主体204感测的局部磁场的感测值，该局部磁场感测由发射器106生成的磁场。在一些实施例中，多个传感器206在其局部坐标系中感测所生成的磁场，因此，在一些实施例中，磁场读数根据其相对于发射器106的取向而旋转。在一些实施例中，计算机104然后在发射器数据和来自传感器的感测磁场之间相关联。在一些实施例中，计算机104然后基于发射器数据和来自传感器的感测磁场计算提供感测磁场值的多个传感器的位置和取向，例如每个传感器的6DOF或5DOF定位和/或细长主体204的整体位置、取向和/或曲线。在一些实施例中，可选地，计算机104为定位计算使用包括在多个传感器206中的相应传感器的加速度计和/或陀螺仪读数。在一些实施例中，发射器106的电磁场频率被约束在从大约10Hz到大约100Hz。可选地从约10Hz至约200Hz。可选地从约10Hz至约500Hz。可选地从约10Hz至约1000Hz。在一些实施例中，计算机104利用数学模型来描述细长主体204的运动。在一些实施例中，计算机104独立地跟踪多个传感器206中的每一个。例如，计算机104被配置为预测下一时间帧的多个传感器206中的每一个的状态，例如基于当前时间帧中的状态，和/或基于可用于校正预测的惯性测量单元(IMU)(其提供装置的运动和姿势的信息)束测量。在一些实施例中，计算机104在其导管定位算法中利用多个传感器206之间的已知结构关系来作为整体计算细长主体204的位置、取向和/或曲线的估计，而不是例如分别计算多个传感器206中的每一个的位置和/或取向。

高级监测系统的示例性原理

在一些实施例中，本发明涉及一种系统，其利用先进的监测系统来向腔内装置提供引导，并且在一些实施例中，提供自动导向(下面进一步解释)。

在导航支气管镜检查过程中，医生需要选择在导管上执行的最佳驱动动作，这取决于系统视图中展现的数据，以便使导管更靠近目标前进。在手持以及机器人驱动机构的情况下，医生试图手动地或远程地操纵导管的手柄(例如，推/拉/滚动/弯曲)，以“改善”视图中所展现的导管的状态。在本文中，术语“状态”是指根据朝向患者体内的期望位置的预定路径的装置的相对位置。装置越“在轨”，装置相对于期望目标位置的“状态”越好。作为简单的示例，当导管位于主隆突(连接左肺和右肺的第一隆突)之前时，医生需要在正确的方向(例如，通过滚动/弯曲)确定导管尖端的形状，并将导管向下推到左肺，假定所需的目标位于左肺中。在这样做之后，导管将在实时系统视图中显示在左肺中，从而实际上改善了导管的状态。备选地，如果医生错误地将导管向下推向右肺，则导管将显示在右肺中，进一步远离系统视图中显示的到期望目标的路径，从而使导管状态变差。现在，医生注意到导管进一步从路径到目标，会将导管拉回并再导航到正确的肺，以便相对于目的地目标改善导管的状态。

能够估计导管相对于目的地目标和目标路径的状态可能看似一项微不足道的任务，但当导管的状态、图或取向不完全已知时，可能会被证明是非常棘手的。这些关键因素未知的原因很多，最显著的是组织的动态变形。组织的动态变形可以由许多力(器官的或非器官的)引起。例如，弯曲导管可在组织上施加力并引起动态变形，从而使气道与导管一起运动。应当注意，一些系统不能补偿这种动态变形。在这些系统中，显示的气道图从手术一开始就是固定的，不考虑由于呼吸、手术过程中动态施加的力(如上述情况)、麻醉引起的肺不张、心脏运动、气胸等引起的变化。

即使当根据完美的图条件做出决定时，执行操纵的问题也可能妨碍导航，需要反复试错。例如，摩擦力可防止导管沿期望气道向下前进。然后，熟练的医生可以小心地与导管相互作用，在系统视图中观察导管的实时行为，尝试和改变导管尖端在不同方向上的取向，拉动和推动导管，直到导管在正确的气道中朝向目标前进。在另一个示例中，医生可能希望将导管推向上肺叶。为此，导管的尖端必须以锐角确定形状。然而，当导管被推动时，它可以滑动并向前朝向中肺叶前进，从而错过转弯。然后，熟练的医生会将导管拉回，并尝试不同程度的弯曲，以不同的取向(其中一些是重要的)和速度推进导管，直到成功进入上肺叶。

如上面的示例所示，选择最佳驱动动作的问题是非常重要的，并且不总是与简单的几何推理一致。从几何角度看似最佳的行动选择可能在实践中被证明是无益的，需要由熟练的医生反复进行不同的动作，直到导管正确推进。还重要的是要注意，在上面提供的所有示例中，假定医生由系统显示完美的2D/3D视图，其向医生提供相对于周围3D气道和到目标的路径的导管的3D状态的完全实时理解。然而，视图固有地受到人眼只能感测例如由2D监测器所展现的2D投影图像的事实的限制。有时，使用生成3D感知效果的特殊头盔或眼镜来生成立体视图并将其分别显示给每只眼睛，然而，所显示的数据本质上仍然是2D，它仅仅是原始3D数据的2D投影(或多个投影)，如由3D世界中的虚拟相机所观察到的。由于系统视图基本上是原始3D数据的2D投影，因此它们可能遭受诸如遮挡(例如，一个气道从虚拟相机的视点遮挡另一个气道)、深度的误感知(例如，两个特征之间的距离在投影视图中看起来比其在实践中实际小得多)等问题。为了克服这一点，设计视图，使得熟练的医生能够使用想象和3D感知来“完成图像”：例如，为了克服遮挡，可以使用自动相机定位算法将虚拟相机放置在具有最小遮挡的最佳位置，还通过自动移动相机，观察者在一定程度上获得3D位置的感知。然而，对所显示特征(例如，导管、周围气道和到目标的路径)的真实3D结构的最终理解取决于熟练医生的3D感知能力，这使得系统对于普通用户不太可用。

在一些实施例中，本发明的系统包括自导向内窥镜，其例如可以是手持的。在一些实施例中，医生握持内窥镜并将其沿患者的气道向下滑动。在一些实施例中，内窥镜的尖端自动导向以与下一分叉对准，使得医生将仅需要可选地以特定且预定的速度向前推动内窥镜。在一些实施例中，内窥镜的自动导向由导航神经网络(NavNN)模块提供动力，其被馈送虚拟动态定位图像并生成输出驱动动作/命令。

有关NavNN的进一步解释参见下文。

在一些实施例中，滚动和偏转驱动命令被转换成使用微型电机或内窥镜手柄内的其它致动器的机械操作。在一些实施例中，可选地，然后给予用户导航反馈(例如，推/拉回)，并且借助于NavNN，允许用户安全和容易地到达期望的目标。在一些实施例中，可选地，导管可以安装到全机器人驱动机构，并利用点触驱动用户界面导航到目标。在一些实施例中，不是用遥控器手动操作导管，而是向医生提供屏幕，该屏幕显示在其位置上的沿着到目标的路径的导管。在一些实施例中，医生然后沿着路径点触下一个最近的分支或路点，并且机器人基于来自NavNN的输出执行所需的驱动动作，以便将导管从其当前位置推进到下一个路点。在一些实施例中，所执行的操纵相对较短，并且可以由医生操作者来监督。在一些实施例中，一旦到达下一个路点，医生就指示机器人顺序地执行下一个操纵，直到到达目标。在一些实施例中，在完全自主导航情形中，医生可以指示机器人自动地执行两个连续的操纵，或者执行所有剩余的操纵以到达目标。

在一些实施例中，该系统还包括导管应力检测算法，其使用完全跟踪的导管在其解剖位置的位置和形状来估计患者管腔内的导管应力，其使用力风险估计来表示。

参见下面关于导管应力检测算法的进一步解释。

在一些实施例中，该算法检查导管的形状并提供警报，例如在导管即将断裂或开始在气道上施加过大的力的情况下。在一些实施例中，可以使用这些警报来监测机器人驱动操纵，以及在手持情况下提供用于患者安全和系统稳定性的警报。在一些实施例中，算法可以基于纯几何考虑以及专用应力神经网络(StressNN)。

关于应力神经网络(StressNN)的进一步解释参见下文。

在一些实施例中，虽然力传感器可以集成在驱动机构内以预测由装置施加到管腔的力(如由医生通过手持导管所做的那样)，但是另一种选择是利用与机器人执行的前进距离相关的装置跟踪信息来估计管腔内的装置的应力。在一些实施例中，如本文所述，在装置在解剖结构内的局部状态下，分析装置的完全跟踪的曲线，以精确地预测装置在管腔内的应力级别。通常，当装置遵循平滑路径时，它很可能被释放并且不会损害组织。当装置开始在相当直的管腔内形成曲线形状时，并且当环开始形成时，装置的应力级别被认为高并且机器人驱动机构被停止。在一些实施例中，在那些情况下，然后拉动和释放装置，或在其它情况下触发警报。在一些实施例中，将所提出的应力检测机制与外力或内力传感器相结合的潜在优点在于，它潜在地为机器人驱动的导管提供了更全面的保护。

在一些实施例中，可选地，为了提高系统的精度，用于导航的虚拟管腔图根据管腔结构的实时变形而主动变形。在一些实施例中，使虚拟管腔图变形的潜在优点在于，其潜在地避免了在其错误的解剖位置(潜在地甚至在管腔边界之外)显示装置，这可能导致错误的导航决策。在一些实施例中，变形由变形感知跟踪系统实时跟踪，其例如基于管腔结构的骨架模型。在一些实施例中，在特定形状约束条件下使用优化方法使骨骼模型变形，以便在变形的解剖结构中找到完全跟踪的装置的真实位置。在一些实施例中，使用基于许多训练样本的专用变形神经网络(DeformNN)模块，基于装置的完全跟踪位置实时发现管腔结构的变形。

关于变形神经网络(DeformNN)模块的进一步解释参见下文。

在一些实施例中，NavNN模块被给予最精确的变形补偿定位图像，无论是由基于未变形定位图像的专用变形神经网络还是由通用变形感知跟踪系统的结果生成的，用于决定最佳驱动动作。

虚拟/数字动态可变形腔图的示例性生成

在一些实施例中，如上所述，系统利用虚拟/数字动态可变形管腔图来导航患者体内的装置。在一些实施例中，作为生成虚拟/数字动态可变形管腔图的开始步骤，向系统提供例如所讨论的患者的CT图像(或MRI图像或血管造影片等)，或例如血管造影片。在一些实施例中，系统被配置为分析图像并生成患者的虚拟/数字3D体积图像。在一些实施例中，虚拟/数字3D体积图像是系统用来执行导航的图像。在一些实施例中，数字3D体积图像是提供给导航神经网络(NavNN)模块和/或变形神经网络(DeformNN)模块和/或应力神经网络(StressNN)模块的图像。

在一些实施例中，在该手术期间，系统被配置为在患者体内的导管的实际测量位置之间进行相关，并且将那些测量位置合并到虚拟/数字3D体积图像中。

示例性导航神经网络(NavNN)模块

在一些实施例中，提供导航神经网络(NavNN)模块，并且“看见”实时系统视图(3D定位图像)，并且基于该视图决定最佳驱动动作。然而，在一些实施例中，不是像用户那样与2D投影视图一起显示，而是定位图像将所有相关导航信息编码为原始3D数据。在一些实施例中，该系统被配置为克服向人类用户显示2D或3D图像的固有问题，以允许该用户通过允许NavNN模块分析作为原始3D数据的相关信息来分析和决定采取哪个路径(人类用户不能处理3D原始数据)。在一些实施例中，这种信息不会受到诸如遮挡和深度误感知之类的2D投影问题的困扰，这对于人类用户来说会发生。在一些实施例中，NavNN基于训练的权重在3D中处理数据并生成输出驱动动作。例如，每个NN包含“权重”，诸如卷积滤波器系数，阈值等。在一些实施例中，在NN的训练过程期间找到这些权重，并将其用于通过模型的进一步预测。在一些实施例中，然后将这些动作显示给用户作为驱动建议(例如，但不限于：(a)向前/向后推轴(导管)、(b)顺时针/逆时针旋转轴(导管)、(c)偏转接头#1或偏转段#1向上/向下/向右/向左、(d)顺时针/逆时针旋转接头#2、(e)偏转接头#3或偏转段#3向上/向下/向右/向左等)，或自动用于自主或半自主导航系统中。在一些实施例中，NavNN在来自物理真实仿真模块(见下文)的数据上或在使用监督或非监督方法的注释记录上被训练。例如，物理仿真模仿真实的腔内导航过程。例如，仿真可以显示在导航支气管镜检查期间用户可用的所有2D/3D视图，除了所显示的被跟踪的内窥镜不是真实的，而是它是放置在患者的CT扫描(或MRI扫描，或血管造影片等)内部的物理仿真的虚拟内窥镜。在一些实施例中，内窥镜和患者之间的所有交互在软件中被物理地仿真。

现在参考图3a，其示出了根据本发明的一些实施例的提供给NavNN的示例性数字/虚拟3D体积图像的示意性表示。在一些实施例中，如上所述，提供给NavNN的定位图像是例如从患者的术前CT(或MRI扫描、或血管造影片等)导出的特定分辨率和比例的数字/虚拟3D体积图像。在一些实施例中，例如，图像可以是100×100×100多通道体素图像，其中每个体素是尺寸为0.5mm³的立方体，使得图像覆盖5×5×5cm³的总空间体积。在一些实施例中，定位图像中的每个通道表示不同的导航特征。在一些实施例中，例如，第一通道表示被分割的管腔结构302(如上所述，从患者的术前CT/MRI/血管造影片/等得到)，第二通道表示到目标304的路径，而第三通道表示由实时跟踪系统跟踪的全导管曲线306(在感兴趣区域(ROI)的定位图像框内，在这种情况下仅使用单个导管)，如图3a所示。可选地，在图3a中未示出，第四通道与术前原始(未分割的)CT数据(或MRI数据、或血管造影数据等)一起添加。在一些实施例中，提供原始未分割的CT数据(或MRI数据、或血管造影数据等)的潜在优点在于，它潜在地使得NavNN的导航决策不仅能够基于分割的气道结构，而且能够基于可能存在于CT扫描中并被导管穿过的非分割气道。在一些实施例中，表示管腔结构的第一通道302可以包含标量图像，其反映每个体素在管腔内的可能性，例如由管腔分割神经网络或任何其它非二元管腔分割算法所输出的，而不是使用二元分割图像。在一些实施例中，在这种情况下，NavNN模块被展现有描述全管腔结构的更丰富的信息，包括通过在分割上应用二元阈值而潜在地下降了的非常小的腔管。在一些实施例中，NavNN模块的导航决策然后可以不仅基于二元分割气道结构，而且基于“软分割”气道(具有较小可能性的气道)。在一些实施例中，可选地，第二通道304还包括在到目标的路径的末端处的分割的目标或球形目标308，或者该目标被包括在专用的单独通道中。在一些实施例中，可选地，第一通道302表示分割管腔结构的骨架，其中每个骨架体素的值可以等于体素处的分割管腔结构的半径。

现在参考图3b，其示出了根据本发明的一些实施例的提供给NavNN的包括相机传感器图像的示例性数字/虚拟3D体积图像的示意性表示。在一些实施例中，可选地，可以添加第五通道310，其包含来自位于导管尖端的成像传感器的数据，例如如图3b所示。在一些实施例中，图像可以是例如VGA分辨率(640×480像素)的2D帧。在一些实施例中，由于帧是2D，但定位图像是3D，因此如下所述，重要的是指定如何在3D定位图像内在可感知的位置渲染2D帧，这将导致NN在其训练和预测中有效地使用相机图像。在一些实施例中，由于每个像素的深度(意味着每个像素距相机传感器的距离)通常是未知的，因此它可以位于沿着从3D相机位置(由于导管的3D跟踪而是已知的)沿由该像素确定的3D方向(根据其在相机传感器内的x,y位置)延伸的射线的任何点上。在一些实施例中，每个2D像素使用沿着完整射线的背投来渲染，该射线从3D相机位置开始并且在该像素的3D方向上从相机向前延伸到空间，直到与定位图像的边界碰撞，例如如图3b所示。在一些实施例中，当深度通道可用于相机图像时(例如，通过使用立体相机或通过3D重构技术或通过LiDAR或通过任何其它合适的方法)，深度值被用于将每个相机像素渲染在其在空间中的精确3D位置中，从而导致以3D渲染的2D表面，而不是沿着完整的射线背投每个像素。在一些实施例中，将成像传感器数据组合在3D定位图像内的潜在优点在于，其可以潜在地改善NavNN性能。在一些实施例中，NavNN模块被配置为标识图像中的管腔通道(相对于导管在空间中的3D位置)，并通过使用所标识的管腔来改善其输出驱动动作。应当注意，在一些实施例中，通道的次序对于NavNN并不重要，只要它在训练和预测之间是一致的即可。在一些实施例中，可选地，定位图像包含具有其他导航特征的附加通道，类似于上面列出的通道或其他性质的通道。在一些实施例中，可选地，先前执行的训练过程的结果被用于基于输入通道的哪些数据在预测输出中对NavNN的成功的贡献来决定将使用输入通道的哪些数据。

在一些实施例中，为了决定导航驱动动作，数字/虚拟3D定位图像被输入到NavNN模块，其例如可以由3D卷积神经网络(3D CNN)组成。在一些实施例中，NavNN模块以“深度”多层方案处理定位图像，直到为每个可能的驱动动作输出概率为止，例如在其输出层中使用多个sigmoid激活函数。在一些实施例中，高级模块然后选择具有最高输出概率的驱动动作作为用于下一导航驱动动作的选择，使用自动电机机械地执行驱动动作或向医生显示建议的驱动动作，如上所述。在一些实施例中，高级模块还可以对NavNN模块的输出进行过滤和/或改进和/或细化。在一些实施例中，例如，如果最大输出概率不比其余输出概率好得多，则高级模块可以在两个可比较的输出之间随机选择，以便将一些有益的随机性(探索)引入到系统中。在一些实施例中，这种随机性的潜在优点是潜在地帮助规避导航系统的局部极值点，其中系统可以在空间上在同一点附近来回走。在一些实施例中，备选地，高级模块可以迫使输出概率上的某种滞后，以便避免不同驱动动作之间的快速转换，从而平滑驱动过程。

现在参考图4a-图4e，示出了根据本发明的一些实施例的基于实时定位图像的驱动动作的示例性序列的示意性表示，实时定位图像在手术期间实时生成并由NavNN模块处理。在一些实施例中，输出驱动动作可选地由自动电机执行。为了解释图4a-图4e，假定导管是被动“J”型导管，并且驱动系统是2动作系统：滚动和推。另外，管腔结构被标记为402，到目标的路径被标记为404，并且导管被标记为406。图4a示出了导管406指向左边的气道408，该气道408不通向目标410，如路径末端处的球体所示。在一些实施例中，NavNN模块处理定位图像并输出滚动动作的最高概率。在一些实施例中，高级模块执行电动动作以滚动导管，这导致如图4b所示的导管。在一些实施例中，被展现了如图4b所示的定位图像，NavNN模块现在输出其对于推动作的最高概率，这导致如图4c所示的图像。在一些实施例中，NavNN模块然后再次输出滚动，这导致如图4d所示的图像，其中导管指向目标。在一些实施例中，仅将导管朝向目标沿小的左气道向下推，如由来自NavNN模块的推输出所指示的，这导致到达目标的最终状态，如图4e所示。

在一些实施例中，NavNN模块生成实时导航指令。在一些实施例中，如上所述，3D定位图像是包含重要导航特征的多通道体积图像(尽管如上所述，其也可以是2D视图)。在一些实施例中，虽然一些特征可以被认为是静态的(例如，分割管腔结构)，但是其他特征可以和/或能够在手术期间快速改变。例如，完全跟踪的导管位置实时地快速变化，这需要相应地更新3D定位图像。此外，在一些实施例中，虽然分割的管腔结构可以被认为是静态的，但是更优选的是使用动态结构，例如，在手术期间接近管腔结构的真实变形状态(或者至少接近管腔结构的虚拟计算的变形状态)的动态结构。在一些实施例中，在手术期间(例如，使用基于骨骼的模型或使用变形神经网络，如下面将解释的，并且还如国际专利申请号PCT/IL2021/051475中进一步解释的，其全部内容通过引用并入本文)跟踪或虚拟地计算假设的实时变形，这使得管腔结构根据所跟踪/虚拟地计算的变形被修改，并且定位图像相应地被更新以反映假设的管腔的实时变形状态。

在一些实施例中，一种或多种技术被用于基于已知结构生成实时3D体积图像。在一些实施例中，管腔结构和到目标的路径可以是静态的并且生成一次，而完全跟踪的导管是活动的并且使用3D线栅格化技术绘制在静态腔图和路径的顶部上；所有这些都忽略了变形。在一些实施例中，可以动态地修改管腔结构和到目标的路径，以近似管腔结构的实时变形状态。在一些实施例中，在这种情况下，这些特征被实时更新，这可选地需要更多的计算扩展技术。在一些实施例中，一种新颖的方法是使用GPU来实时渲染3D定位图像。在一些实施例中，在该设置中，3D定位图像被绑定为3D渲染目标，并且通过将导航结构中的每一个分解为一组体积棱锥体来渲染该导航结构。在一些实施例中，在这种新颖的提出的设置中，不是使用平面三角形，而是使用3D棱锥体图元对3D体积特征(例如管腔结构)进行体积“细分”。在一些实施例中，优化的GPU算法然后以类似于处理标准3D表面三角形的的方式处理棱锥体集合，并将它们栅格化到3D渲染目标上，基本上填充棱锥体内的所有体素，直到整个3D体积结构被绘制成体素为止。在一些实施例中，虽然现代GPU硬件不支持如上所述将棱锥体图元渲染到3D渲染目标中，但其可扩展到使用专用GPU程序来进行此操作，例如通过使用NVIDIA的CUDA(计算统一装置架构)或OpenCL(开放计算语言)来实施经优化的GPU 3D栅格化算法。在一些实施例中，备选地，专用GPU硬件可用于在ASIC或FPGA中实施的渲染3D图元。在一些实施例中，3D体积图元(棱锥体)到3D渲染目标上的栅格化可以有效地作为3D表面图元(三角形)到2D渲染目标上的渲染来完成，例如，在并行计算设置中使用小块(bucket)渲染技术，例如可以在CUDA/OpenCL或ASIC/FPGA中实现。在一些实施例中，开发者然后可以使用OpenGL扩展或使用DirectX来访问所添加的特征。例如，当使用OpenGL而不是创建2D帧缓冲器时，开发者将能够为GL_TEXTURE_3D渲染目标生成并绑定3D帧缓冲器，而不是绘制类型GL_TRIANGLES的图元，开发者将绘制类型GL_PYRAMIDS的图元(新的GLenum类型)，每个图元由4个顶点组成。当使用DirectX时，开发者将能够创建3D渲染目标纹理并将其与D3D11_BIND_RENDER_TARGET绑定标志绑定，并且代替绘制拓扑D3D_PRIMITIVE_TOPOLOGY_TRIANGLELIST的图元，开发者将绘制拓扑D3D_PRIMITIVE_TOPOLOGY_PYRAMIDLIST的图元，每个图元由4个顶点组成。

现在参考图5，其示出了根据本发明的一些实施例的使用3D棱锥体图元的导管的示例性体积细分的示意性表示。在一些实施例中，使用3D棱锥体细分表示3D结构(例如：管腔结构、到目标的路径和完全跟踪的导管-图5中所示的示例性导管)提供了用于实时移动和变形它们的极大灵活性，从而降低了为变形感知的NavNN模块生成实时3D合成定位图像的复杂性。在一些实施例中，为了更新定位图像，仅需要更新构成导航特征的顶点，例如，根据完全跟踪的导管位置来更新导管顶点，如跟踪系统所报告的，通过根据它们与原始管腔分割或骨架的关联来更新它们的顶点，根据实时变形跟踪系统潜在地更新管腔结构和到目标的路径。

应当注意，上述方法可以被看作是用于使用专用GPU程序或ASIC/FPGA生成实时3D合成数据以由3D神经网络进行处理的通用方法，用于通常用途。例如，在一些实施例中，该方法可以用于渲染在道路上行驶的汽车的实时合成体积图像，用于自主驱动或用于潜在汽车碰撞的实时预测。作为另一示例，该方法可以用于将人的手和手指(如可以由多个传感器跟踪)实时渲染到3D体积图像。然后，3D合成图像可以由NN处理，用于实时手势识别或任何其它合适的使用。

在一些实施例中，NavNN模块是使用若干监督和非监督方法来训练的。在一些实施例中，当被监督时，使用现实导航仿真器模块。在一些实施例中，模块可以使用有限元对导管建模，并且可以使用基于位置的动力学来仿真导管的物理特性，并且处理导管和管腔结构之间的碰撞。在一些实施例中，可以使用其骨骼模型或使用其原始分割体积(如从CT扫描(或MRI扫描、或血管造影片等)分割的)来表示管腔结构。在一些实施例中，可以将距离变换应用于分割的管腔体积，并且可以对其进行处理以在3D空间中创建管腔结构的3D梯度场，从而简化仿真导管和管腔结构之间的碰撞检测。在一些实施例中，导管尖端和/或曲线可以使用导航视图展现在管腔结构内，例如，如在真实的导航支气管镜检查过程中所做的。在一些实施例中，操作者然后可以使用键盘、遥控器或任何合适的方法在管腔结构内朝向任意选择的目标导航仿真导管。在一些实施例中，然后可以收集仿真导航的记录。在一些实施例中，在每个时间戳中，管腔结构内的全导管的仿真状态完全为仿真器所知。在一些实施例中，仿真器模块可以基于已知的仿真状态如上所述的生成管腔结构内的导管的定位图像以及到目标的路径。在一些实施例中，在应当包括相机通道的情况下，可以使用射线跟踪技术来渲染虚拟相机图像，该射线跟踪技术类似于用于特定相机规范的实际相机图像(例如，如在虚拟支气管镜检查中所做的)。在一些实施例中，相机图像可以用作没有深度信息的2D帧，或者可以包括深度通道，并且可以由仿真器计算。在一些实施例中，定位图像然后可以与操作者的驱动指令相关联。在一些实施例中，操作者的指令因此被认为是用于每个生成的定位图像的NavNN模块在时间上的标记。在一些实施例中，然后在NavNN模块的监督训练过程中使用所收集的多个定位图像以及它们的监督标签(操作者的指令)。在一些实施例中，训练过程的结果是NavNN模块试图模仿操作者的指令。在一些实施例中，在最坏情况的情况下，系统仅模仿“平均”操作者的决定，而在最好的情况下，系统在操作者的指令之上提供附加的概括。在一些实施例中，仿真器模块可以被提供给多个操作者，并且每个操作者可以导航到多个患者的仿真管腔结构内的多个不同目标。在一些实施例中，在该手术期间，为NavNN模块的训练生成大量的标记样本，这使得训练更加鲁棒和容错。

在一些实施例中，可以从对真实患者和/或机械仿真模型(例如管腔结构的塑料或硅模型和/或例如在真空室中充气的保存肺)执行的实际导航过程中收集标记的训练样本，而不是使用仿真器模块。在一些实施例中，导航过程可以是“机器人的”，这意味着操作者用遥控器驱动系统，指示驱动机构执行几个可能的驱动动作(例如，推/拉、滚动、偏转)中的任何一个。在一些实施例中，在机器人情况下，通过将每个实时生成的定位图像与操作者的机器人指令(例如，推/滚动/偏转)相关联来收集标记的训练样本。在一些实施例中，使用来自实际导航过程的数据的潜在优点是导管物理特性是现实的，而在仿真的情况下，导管物理特性仅是现实的近似。在一些实施例中，可以从使用不同系统对许多患者执行的多个手术收集标记的定位图像。在一些实施例中，数据收集不干扰正常过程，因为它是在后台完成的，甚至可以在手术后处理阶段离线完成。在一些实施例中，手术软件可以仅记录系统随时间变化的数据和状态(例如，完全导管位置、选择的目标、管腔结构的变形状态、相机视频和机器人驱动动作)。在一些实施例中，后处理阶段然后基于所记录的系统状态生成相应的定位图像，并用相同时间戳的所记录的机器人驱动动作来标记它们。在一些实施例中，被标记的定位图像然后可以通过本地网络或互联网被发送回专用服务器，或者可以由现场技术人员手动收集。在一些实施例中，所收集的数据用于从头开始训练或改进NavNN模块的训练。在一些实施例中，NavNN模块然后模仿多个医生的驱动动作和导航决策，这可以潜在地使其与最熟练的医生一样好或者甚至优于最熟练的医生。

在一些实施例中，当导航过程是完全手动或半手动的(即，导管是手持的并且由医生手动操纵，而没有完全驱动系统的帮助)时，可能更难以基于对导管的手动操作来标记定位图像。在一些实施例中，对于手动操作，导管的导向不是像机器人系统那样被很好地定义为来自一组几个驱动动作中的选择，而是医生的手、手腕和手臂操纵的结果。在一些实施例中，在这种情况下，标记仍然可以通过将每个手动操作分类为如上所述的有限的一组驱动动作而与每个定位图像相关联。例如，完全跟踪导管的最近侧跟踪传感器(最靠近导管手柄的传感器)可以被用于分类瞬时手柄操作，因为它最有效地反映了对导管手柄所进行的操作(如机器人所进行的那样)。作为一示例，当医生将导管向前推入管腔结构时，最近侧跟踪传感器最可能被向前推动，从而将瞬时操作分类为推动作。相反，最远侧导管传感器(在导管的尖端处)可能根本不会移动，例如由于摩擦力，这证明了为什么导管的近端部分在标识手动手柄操作的性质上是非常优选的。作为另一示例，当医生旋转手柄时，近侧传感器最可能根据导管的手柄旋转，将瞬时操作标识为滚动动作，而远侧传感器可能同样保持在位。在一些实施例中，可以使用手柄中的专用传感器(例如，6-DOF跟踪传感器、IMU传感器(加速度计、陀螺仪、磁力计或任何组合)或任何其它合适的传感器)来跟踪导管手柄。在一些实施例中，在单关节或多关节可偏转导管的情况下，可以使用远侧传感器以检测导管的偏转并为NavNN模块提供适当的标记。在一些实施例中，备选地，由于导管尖端的偏转是通过在导管手柄内推和拉导向线来完成的，所以可以在手柄中放置特殊的传感器以跟踪导向线的状态并检测偏转动作用于NavNN模块。在一些实施例中，因此有可能在实际导航过程中收集手动操作的导管的记录，并且在后处理阶段中通过将导管手柄的每个瞬时操纵分类，例如，根据NavNN模块训练的需要，使用导管的最近侧跟踪部分将它们标记为有限的一组驱动动作。

在一些实施例中，软件仿真器也可以用于使用强化学习的无监督训练，而不是使用上述监督训练方法。在一些实施例中，在这种情况下，NavNN模块对仿真导管具有完全控制，并且其目标是在随机患者仿真中将其驱动到随机选择的目的地目标。在一些实施例中，每当NavNN模块在朝向目标的路径上进行显著进展时，则奖励NavNN模块，并且当NavNN模块进行无效移动时，则惩罚NavNN模块。在一些实施例中，训练的目标是最大化NavNN模块的总奖励。在一些实施例中，诸如此类的无监督训练的潜在优点是NavNN模块可以在数千次不同患者和目标的仿真中并行训练，而不需要人工操作者。

在一些实施例中，向系统提供专用命令(指令)，其允许对导航的一定级别的随机性或“探索”。在一些实施例中，为系统提供这种明显的自由的潜在优点在于，它潜在地避免了在局部概率极值点处被捕获的风险，例如，在NavNN模块不断地输出关于相同解剖点来回的推/拉动作的情况下，这导致NavNN模块不能摆脱的导航“死端”，例如，当在单个定位图像输入上使用诸如3D CNN的无状态神经网络(即，没有“存储器”的网络)时。在一些实施例中，这种特定级别的随机性(或“探索”)可以被引入到导航中，例如通过高级操作模块。在一些实施例中，高级操作模块可以以特定概率偏好随机驱动动作优于从NavNN模块输出的动作。在一些实施例中，高级操作模块还可以检测“循环”(NavNN模块关于局部概率极值点振荡的情况)，并通过强制随机探索将NavNN模块从循环中踢出。例如，高级模块可以迫使驱动机构每秒进行100ms的滚动动作。在一些实施例中，该动作对于导航过程是无害的，并且当NavNN模块落入局部极值点时，可以允许NavNN模块摆脱该局部极值点。

在一些实施例中，NavNN模块利用导管的先前记录的状态。在这种情况下，NavNN模块不再是完美“瞬时的”。相反，在一些实施例中，NavNN模块将其输出基于历史而不仅仅基于当前的定位图像输入。在一些实施例中，NavNN模块因此在定位图像的时间序列上被训练，而不是在随机打乱的单个定位图像上被训练。在一些实施例中，NavNN模块随后被如前所述输入定位图像(与先前预测的输出状态一起)，并输出用于下一预测的更新状态。在一些实施例中，NavNN模块配备有存储器，其允许NavNN模块“记住”它已经尝试了特定操纵并且“看见”它没有成功，因此通过尝试不同的技术而不是重复尝试相同的操纵来摆脱循环。在一些实施例中，在更一般的设置中，NavNN模块被输入过去定位图像的短序列(例如，包含最后30个帧)以及它们的输出动作(与当前图像一起)，从而使它的输出基于历史而不使用专用状态矢量。在一些实施例中，NavNN模块可以在过去的定位图像的短序列上使用3DCNN来实现，或者使用具有状态矢量的3D递归神经网络(3D RNN)或者通过具有或不具有存储器的任何其它合适的方法来实现。

现在参考图6a-图6b，其示出了根据本发明的一些实施例的根据不同对象居中的示例性3D定位图像的示意性表示。在一些实施例中，由于NavNN模块被给予图像(定位图像)而不被告知导管位于该图像内的何处或者导管指向哪个方向，因此NavNN模块可能被迫搜索图像内的导管，这是无用的努力，因为关于导管的完全位置的信息对于高级模块是已知的。在一些实施例中，通过向NavNN模块提供输入图像来“减轻”NavNN模块的任务，在输入图像中，例如导管的尖端居中602，并且图像的X轴与导管的尖端方向对准，例如如图6a所示。在一些实施例中，NavNN模块然后可以获知导管总是位于图像的中心并且指向X轴，并且可以聚焦于导航特征的其余部分以决定最佳驱动动作。在一些实施例中，定位图像可以居中604，并且根据相对于导管尖端沿着到目标的路径的最近点来定向，例如如图6b所示。在一些实施例中，可以定向成使得图像的X轴与到目标的路径方向对准，并且图像的Z轴可以与下一分叉的法向矢量对准，或者与上一和下一分叉之间的内插法向矢量对准。在这种情况中，定位图像保持了沿着到目标的路径的相当稳定的中心和取向，而不管导管的尖端操作，因为它不再与导管的尖端相结合，而是与到目标的路径相联系。在一些实施例中，可以使用用于定中心和定向定位图像的若干其它选项，这些选项可以是上述选项的组合。例如，定位图像可以以导管的尖端为中心，但是根据到目标的路径定向，或者反之亦然。在一些实施例中，另外，可以增大或减小定位图像的尺寸，并且也可以改变分辨率。在一些实施例中，在NavNN模块中可以使用其中的任何这种配置来训练和预测。

示例性变形神经网络(DeformNN)模块

现在参考图7a-图7b，其示出了根据本发明的一些实施例的示例性未变形和变形定位图像的示意性表示。在一些实施例中，如上所述，装置的精确实时定位图像被提供给NavNN模块以潜在地生成更好的驱动动作。在一些实施例中，定位图像除了管腔图之外还在单独的通道中包含在管腔结构顶部上的完全跟踪的导管。在一些实施例中，为了提供更多的信息并提高DeformNN的精确度，定位图像包含附加跟踪导管的附加通道。在一些实施例中，为了提高NavNN模块的精确度和/或为了允许导管位于其在解剖结构内的正确位置，向NavNN模块提供变形输入，该变形输入包括的信息是关于实际器官变形的基于实时的信息，其被转换为管腔结构中的变形，如定位图像中所示。在一些实施例中，这是通过展开管腔结构的骨骼模型来实现的，并且用于使用优化方法基于完全跟踪的导管来发现器官变形，这也在国际专利申请号PCT/IL2021/051475中有进一步的解释，其全部内容引入本文作为参考。在一些实施例中，例如如图7a所示，利用未变形管腔结构(不具有任何变形补偿的管腔结构)，可以构造未变形的图像。在图7a中，导管似乎横穿702管腔的边界。在一些实施例中，向NavNN模块馈送未变形定位图像的缺点是NavNN模块的性能将潜在地降低，因为NavNN模块没有被提供在管腔内的导管的精确图像。在一些实施例中，变形跟踪算法提供相对于管腔结构的导管位置的调节，或者反之亦然，使得导管将出现在允许的管内，如实际上那样。在一些实施例中，在基于骨架模型的变形跟踪算法中，管腔结构被建模为具有特定半径的分支和连接分叉的骨架。在一些实施例中，骨架根据特定变形模型变形，以便在强加的器官形状约束下将导管带回管腔内部。

在一些实施例中，提出了一种基于AI统计方法来发现管腔变形的新方法。在一些实施例中，不是用骨骼模型显式地建模管腔结构并基于优化方法找到变形，而是遵循使用神经网络隐式地求解变形的AI方法。在一些实施例中，类似于NavNN模块，如上所述，DeformNN模块被输入可以具有相同尺寸和/或中心和/或取向的定位图像。然而，在一些实施例中，DeformNN模块不必以到目标的路径作为其输入通道之一来输入，因为此信息对于导航到目标更相关，但对于发现管腔变形则不太相关。此外，在一些实施例中，尽管NavNN模块优选地被输入变形定位图像(其具有变形补偿)，但是到DeformNN模块的输入是非变形定位图像，例如如图7a所示。在一些实施例中，输入到DeformNN模块的定位图像还可以包含相机通道，例如如图3b所示。在一些实施例中，DeformNN模块利用相机通道来决定管腔结构的最可能变形。例如，当管腔结构变形时，例如如图7a所示，相机图像可以教导解剖结构内正确的导管位置，例如，因为它相对于视觉分叉定位导管的尖端。在一些实施例中，DeformNN模块可以学习使用这些特征来更好地找到导管在变形管腔结构中的正确解剖位置。在一些实施例中，DeformNN模块负责获取未变形定位图像(管腔结构和导管位置)并将其转换为相同尺寸的精确变形定位图像，例如如图7b所示。在一些实施例中，这可以例如使用3D U-Net神经网络架构来实现。在一些实施例中，输出的变形定位图像然后可以用附加的通道(具有所施加的变形的到目标的路径)来装备，并且被输入到NavNN模块以生成更可靠的驱动动作，从而将导管精确地引向目标。在一些实施例中，DeformNN模块的输出还可以用于显示，以校正2D/3D系统视图来反映管腔变形，如下面将进一步解释的，并且例如在图8的流程图中示出。

现在参考图8，其示出了根据本发明的一些实施例的显示正确的2D/3D系统视图以反映管腔变形的示例性方法的流程图。在一些实施例中，系统生成未变形定位图像802。术语“未变形定位图像”是指其中图像没有被改变和/或补偿潜在的和/或估计的和/或计算的变形(其或者由于导管的运动，或者由于患者的运动等)的定位图像。在一些实施例中，系统然后使用DeformNN模块生成变形定位图像804。术语“变形定位图像”是指其中图像已经被改变和/或补偿潜在的和/或估计的和/或计算的变形(其或者由于导管的运动，或者由于患者的运动等)的定位图像。在一些实施例中，利用新生成的变形定位图像来更新系统视图806。在一些实施例中，然后将新生成的变形定位图像馈送到NavNN模块808。在一些实施例中，NavNN模块随后提供将由系统执行的必要的驱动动作810。

在一些实施例中，DeformNN模块可以只输出一个或多个概率(而不是输出非变形定位图像输入的变形版本)，指示输入导管在其正确位置的管腔内，如输入定位图像中。在这种情况下，使用高级优化，例如，基于骨骼模型的高级优化，并且利用基于骨骼方法的变形跟踪算法来搜索管腔的变形。在一些实施例中，当输出单个概率时，不是基于更多标准能量函数(如编码分岔角约束的函数等)的能量最小化进行优化，而是以最大化DeformNN模块的输出概率进行优化——搜索变形状态，使其在被DeformNN模块输出时为正确状态的概率最大化。在一些实施例中，DeformNN然后用作用于评估所建议的变形的度量，但是变形本身在外部在使用任何合适的变形模型的优化算法中完成。

在一些实施例中，如上所述，DeformNN模块可以被设计和训练成在完全变形定位图像中输出导管的位置。在一些实施例中，DeformNN模块在未变形的管腔结构上取一个输入导管位置，并在未变形的管腔结构内部在其输出上在管腔结构未变形时导管应该在的位置处渲染该输入导管位置。在一些实施例中，DeformNN模块输出单个通道，在该通道上它渲染修改的导管位置。这与图7a-图7b中所示的不同，在图7a-图7b中，DeformNN模块将管腔结构从未变形状态改变为变形状态，但使导管保持原样。在这种情况下，高级模块可以在输出图像中找到导管，并且在其原始位置的输入导管和在解剖结构内部的变形位置的输出导管之间进行匹配，如DeformNN模块所输出的。在一些实施例中，导管匹配可以通过在两个3D图像中找到导管的尖端并沿着导管的长度攀升来实现，或者通过任何其它合适的方法来实现。在一些实施例中，可以分别使用曲线函数γ₀,γ₁:[0,1]→³来表示变形之前和变形之后的导管的位置。在一些实施例中，然后可以使用Δγ＝γ₀-γ₁计算一组变形差。

在一些实施例中，由于DeformNN模块找到导管在解剖结构内的位置，因此可以安全地假定γ₁(σ)位于管腔结构内。在一些实施例中，然后使用任何合适的骨架模型，沿着非变形管腔结构γ₁(σ)的每个3D位置可以被更新到其变形位置γ₀(σ)，用于显示或其它计算算法。在一些实施例中，通过匹配变形之前和变形之后的导管位置(如由DeformNN模块输出的)，间接地揭示管腔结构的变形。

在一些实施例中，备选地，在更直接的方法中，DeformNN模块可以被设计和训练以基于导管位置输出变形管腔结构，而使导管保持原样。在这种情况下，输出图像是输入管腔结构的变形版本，并且它可以用于显示或其它计算算法。例如，可以使用3D图像配准技术或通过使用每个输入结构和输出结构的骨架来将输出管腔结构与输入管腔结构相匹配。在一些实施例中，通过在输入结构和输出结构之间进行匹配，可以为输入结构和输出结构内的每个共享点计算变形矢量。在一些实施例中，变形矢量然后可以被应用于管腔结构的骨架模型，以使其实时地跟踪其变形状态，如由DeformNN模块所解决的。

现在参考图9a-图9d，其示出了根据本发明的一些实施例的由DeformNN模块执行的示例性动作的示意性表示。在一些实施例中，在由于高对称性或严重的预配准系统误差而难以确定导管是在一个管腔还是在另一个管腔内902的特定情况下，如图9a所示，DeformNN模块如果被设计成将导管渲染在其在解剖结构内的修改位置，则可以选择输出具有相似或不同强度(概率)的两个可能的假想导管904、906，例如如图9b所示。在一些实施例中，这表明DeformNN模块不确定正确的变形，并且每个输出导管的强度反映AI对特定位置的置信度。在这种情况下，高级模块可以基于输出强度或基于其它高级考虑选择输出导管曲线中的一个。例如，高级模块可以选择显示更接近系统已经展现的导管的导管，从而防止不同导管假设之间的“跳跃”(特别是在输出强度相似的情况下)。在一些实施例中，备选地，可以向用户显示分裂的导管，以便反映系统对在解剖结构内的实际导管位置的不确定性。在该视图中，操作者被展现在管腔结构内的两个或更多个假想导管，每个假想导管以不同的强度或不透明度显示，其对应于AI的输出强度。在一些实施例中，用户可以仅为了“提供信息”的目的而具有该信息。在一些实施例中，用户可以使用该信息来告诉系统采取哪个方向。在一些实施例中，一旦解决了不定性，例如，在使导管908进一步朝向目标前进之后，使得其曲线具有更确定的形状，这教导了DeformNN模块关于解剖结构内部的实际导管位置，如图9c所示，分裂的导管输出强度910自然地减小，并且DeformNN模块在其输出处输出单个强导管强度912，例如如图9d所示。因此，在一些实施例中，系统视图最终在解剖结构内的确定位置处显示单个强导管，因为一旦不确定性得到解决，所有其他假设导管的不透明度就会减少。在一些实施例中，在备选的视图中，当DeformNN模块输出多个导管假设时，系统可以选择仅向下展现导管到其开始分裂的点(如由DeformNN模块输出的)。在一些实施例中，其然后可以将导管的其余部分(即，左分裂部分和右分裂部分)渲染为“红色”或具有透明性，以向用户指示系统关于导管的该部分的位置是不确定的。在一些实施例中，在另一个备选的视图中，在导管不确定时，屏幕可以被分裂成例如左屏幕和右屏幕，每个屏幕显示在解剖结构内导管的不同假设位置。在一些实施例中，一旦不确定性得到解决，“获胜”的一半就会变成全屏视图，而将另一半推出视野。在一些实施例中，NavNN模块可以被展现有定位图像，其包含多个导管假设(具有可能不同的强度)，并且可以被训练，使得即使在这些不确定的条件下，NavNN模块仍然能够继续导航。例如，如果NavNN模块采用存储器，则它可以尝试导致结论性导管位置的特定驱动动作。在一些实施例中，NavNN模块然后可以“看到”该结论性导管位置是否朝向目标前进。如果不是这样，则可以选择将导管拉回并尝试不同的驱动动作(因为它已经尝试了第一驱动动作，如在其存储器或状态矢量中编码的那样)，使得最终的结论性导管位置将朝向目标前进。

在一些实施例中，通过展现成对的未变形输入和变形输出定位图像来完成对DeformNN模块的训练。在一些实施例中，可以通过使用现实仿真器模块来收集这些图像，如上文针对NavNN模块的训练过程所描述的。在这种情况下，导管的精确仿真位置对于仿真而言是已知的。在一些实施例中，导管在管腔结构内的仿真中的真实位置被用于生成DeformNN模块的输出定位图像。在该图像中，导管被精确地放置在解剖结构内部的其真实位置处，这应该由DeformNN模块输出。在一些实施例中，为了创建输入图像，将一些变形模型应用于管腔结构。例如，可以基于标准多项式或样条技术或使用仿真真实器官的解剖变形的更精细的技术来随机地变形该结构，例如，使用可以基于各种组织和结构的物理测量的有限元和/或有限体积物理仿真。在一些实施例中，由于变形仅施加到管腔结构，而不施加到导管，因此结果是“未变形的”定位图像(不具有变形补偿的图像)，其中导管看似横穿管腔边界。在一些实施例中，这创建了可用于对DeformNN模块进行训练的一对图像。在一些实施例中，类似于NavNN模块，从仿真收集数据具有在许多患者、目标和管腔结构内的不同导管姿势上创建大量训练样本集的潜力，这对于成功训练AI模型是重要的。

在一些实施例中，可以使用真实手术的记录来收集活体器官(例如肺)的精确变形数据。在一些实施例中，导管可以被引入到肺内的特定已知气道中，并且导管的完全位置可以在特定强制变形或自然变形下被记录，这教导了气道的变形。在一些实施例中，另外，可以将多个导管引入到多个已知气道中，并且可以记录它们的全部位置，以教导关于在特定施加力的作用下平行的多个气道的变形。在一些实施例中，也可以从机械仿真模型收集训练样本，如NavNN模块那样。在一些实施例中，多个跟踪传感器可以被部署在器官内部，例如，在肺的胸膜上，并且可以记录变形的实时数据。在一些实施例中，可以在使器官变形的同时执行多次CBCT(锥形束CT)扫描，并且可以使用可变形配准来配准不同的扫描，以揭示在特定施加力下扫描之间的变形矢量。在一些实施例中，变形也可以通过其它方式来学习和测量，例如，通过使用超声探头、荧光成像、通过使用对比度、标记物、体外传感器以及其它合适的装置。

在一些实施例中，可以使用如上所述的变形增强方法在手术前阶段中在特定患者上进一步训练DeformNN模块，以进一步将模型适合在特定患者的管腔结构上，从而在手术期间提高AI模型的性能。例如，在手术之前，患者的管腔结构可以被加载到离线仿真器模块中。在一些实施例中，然后可以将仿真导管放置在仿真管腔结构内的不同随机位置。在一些实施例中，管腔结构的变形可以由仿真器模块来仿真，从而生成非变形定位图像与变形定位图像对。在一些实施例中，可以向经过训练的DeformNN模块展现新创建的图像对，并且可以基于这些对以较小的学习速率对其进行进一步训练，使得其仍将具有来自其原始训练的其权重，但是这些权重现在将被微调为朝向当前患者的适合变形。在一些实施例中，这些操作可能会将变形模型调整和偏向于当前患者，略微失去其一般性，从而有利于解决当前患者解剖结构上的变形。

示例性应力神经网络(StressNN)模块

在一些实施例中，该系统包括导管应力检测算法，其利用被跟踪的导管在其解剖位置处的位置和形状来估计患者气道内的导管应力。在一些实施例中，该算法检查导管的形状并提供警报，例如在导管即将断裂或开始在气道上施加过大的力的情况下。在一些实施例中，这些警报可以被用于例如监测机器人驱动操纵以及在手持情况下提供警报，用于患者安全和系统稳定性。在一些实施例中，算法基于纯几何学考虑以及专用应力神经网络(StressNN)模块，其分析导管的形状。

在一些实施例中，虽然力传感器可以集成在驱动机构内以预测由导管施加到气道的力(如由医生通过手持导管所做的那样)，但是另一种选择是利用与机器人导管前进距离相关的导管跟踪信息来估计气道内的导管应力。在一些实施例中，如本文其他地方所述，分析导管在解剖结构内的在其局部状态下的完全跟踪曲线，以精确地预测导管在气道内的应力级别。通常，当导管沿着平滑路径行进时，它很可能被释放并且不会损害组织。当导管开始在直气道内形成弯曲形状时，并且当导管形状环开始形成时，导管的应力级别被认为高，并且当使用机器人驱动机构时，机器人驱动机构停止。在一些实施例中，导管然后被拉动和释放。在一些实施例中，将所提出的应力检测机制与外力传感器或内力传感器相结合的潜在优点在于，它潜在地为机器人驱动的导管提供了更全面的保护。

在一些实施例中，例如，当导管被向前驱动已知距离时，预期导管的尖端将相应地前进。在导管尖端不移动的极端情况下，可以得出结论，沿导管的长度生成张力，并且不会转换为尖端的向前运动。另外，在一些实施例中，可以分析导管的瞬时形状，并基于导管长度在管腔结构内的形状来推导导管长度的应力级别。

在一些实施例中，例如，可以使用真实地仿真导管和管腔结构的物理特性的物理有限元仿真来估计对于解剖结构内的给定形状和位置由导管施加在管腔结构上的力。在这种情况下，导管被放置在仿真管腔结构内，正如它位于实际结构内一样，如在手术中所跟踪的那样。在一些实施例中，这些在干预期间实时执行。在一些实施例中，这些仅在仿真中执行，这意味着不是在手术期间，从而例如教导NN和/或其它软件。在一些实施例中，然后运行仿真，并且可以基于导管的仿真结构和管腔的仿真行为来计算物理仿真力。在一些实施例中，一旦计算了接触力以及内导管力，则可使用二元阈值或平滑阈值来计算力风险估计，例如，0和1之间的标量。

在一些实施例中，如上所述的3D定位图像可以用于在3D中可视化管腔结构内部的导管的形状。在一些实施例中，定位图像可以被输入到专用应力神经网络(StressNN)模块中，其基于导管在管腔结构内的形状输出力风险估计，如通过定位图像可视化的。例如，StressNN模块可以在导管在管腔结构内释放时输出接近0的值，并且可以在导管在管腔结构内的形状指示风险时(例如，当导管的形状高度弯曲或开始形成环时)输出接近1的值。在这种情况下，高级模块可以将导管拉回直到StressNN模块输出接近0的值并且导管被释放。在一些实施例中，为了向StressNN模块提供更高级别的可靠性，提供了具有更大帮助的定位图像，例如，其中整个导管的可跟踪长度是可见的定位图像。在一些实施例中，这允许StressNN模块还考虑导管的近端部分，在该近端部分中，在手术中可以建立曲线和环。

在一些实施例中，使用仿真器模块来训练StressNN模块。在这种情况下，仿真导管被引入管腔结构中并导航到器官内的随机位置。在一些实施例中，通过物理仿真来计算接触力和内导管力，并且基于所计算的力，通过将定位图像与其对应的力风险估计配对来收集标记的样本。在一些实施例中，通过提供先前医疗手术的记录来执行StressNN模块的训练，例如通过在手术期间使用导管中的传感器并记录力。例如，通过分析记录并利用在那时导管的状态导出用户执行的动作。

在一些实施例中，NavNN还用于检测管腔结构内的导管应力。在一些实施例中，训练NavNN，使得每当操作者(或仿真器)检测到高级别的导管应力时，导管被拉回。在一些实施例中，这教导NavNN执行如3D定位图像中所示的导管的应力检测，并且在建立应力的情况下将导管拉回。在一些实施例中，通过物理仿真模块、专用StressNN模块、NavNN模块或上述的任何组合来执行最终导管应力检测。

具有其跟踪和导航系统的示例性腔内装置的概述

现在参考图10，其示出了根据本发明的一些实施例的具有跟踪和导航系统的示例性腔内装置的示意性表示。图10所示的腔内装置是图1所示的腔内装置的改进形式，其中增加了负责提供关于导航、变形和应力的输入的部件。在一些实施例中，腔内系统1000包括腔内装置1002，例如内窥镜或支气管镜或脉管导管、或脉管导丝，其被配置用于腔内介入。在一些实施例中，腔内装置1002包括在腔内装置1002的远端处的一个或多个相机和/或一个或多个传感器1014。在一些实施例中，腔内装置1002连接到计算机1004，其被配置成监测和控制由腔内装置1002执行的动作，在一些实施例中包括腔内装置1002的自导向动作，这将在下面进一步解释。在一些实施例中，腔内系统1000还包括发射器1006，其被配置成生成由腔内系统1000用于监测腔内装置1002在患者1008内的位置的电磁场。在一些实施例中，腔内系统1000还包括显示单元1010，其被配置为向操作者显示专用图像，其在腔内介入期间在腔内装置1002的导航期间潜在地帮助操作者。在一些实施例中，腔内系统1000可选地还包括一个或多个传感器1012，其被配置成在腔内介入期间监测患者1008的运动。在一些实施例中，患者的运动被用于帮助腔内装置1002在患者1008内的导航。在一些实施例中，计算机1004包括NavNN模块1016，其被配置成例如从一个或多个相机和/或一个或多个传感器1014接收精确的实时定位图像，并且如上所述。在一些实施例中，如上所述，NavNN模块1016然后为患者1008内的腔内装置1002生成驱动方向以到达其中的期望位置。在一些实施例中，计算机1004包括DeformNN模块1018，其被配置为计算变形信息并将变形信息提供给系统2D/3D视图以生成解剖结构内的导管方位的更精确的图像以及提供给NavNN模块，然后NavNN模块利用该变形信息潜在地增加导航和驱动方向的精确度。在一些实施例中，计算机1004包括StressNN模块1020，其被配置为计算和/或估计由导管在腔内装置1002被操纵的位置处的组织上执行的应力。在一些实施例中，StressNN模块1020基于导管在患者1008体内的位置和方位，可选地实时地执行计算/估计。在一些实施例中，计算机1004包括高级模块1022，其接收来自定位系统(发射器和传感器)、NavNN模块、DeformNN模块和StressNN模块的所有信息，并利用该信息驱动腔内系统1000中的一个或多个机构，例如驱动腔内装置1002的远端(转向-见下文)的机器人机构、驱动腔内装置1002前进到患者体内和/或从患者体内取出腔内装置1002的机器人机构。

示例性自导向腔内装置和增强视图

在一些实施例中，腔内装置1002包括机械工作远端，其被配置成手动地或自动地致动，以将腔内装置1002引导和促进朝向患者1008体内的所需位置。在一些实施例中，仪器(腔内装置1002)被配置成使得它可以自主地将其工作尖端定向到特定目标，具有适当的空间感知算法(例如基于从NavNN模块和/或DeformNN模块接收的信息)和感测能力。例如，在腔内装置导航的情况下，系统允许自导向装置，其中操作者向远端或向近端移动装置，而装置的尖端根据其相对于目标的位置自导向。在一些实施例中，这样的目标例如可以是路径上的点，装置的尖端被配置成指向该点。在这个示例中，为了遵循到目标的路径，操作者可能只需要小心地向远端推动装置，而尖端自导向通过管腔树的分叉，使得装置最终达到其目标。此外，对于该示例，在一些实施例中，在外部计算机装置(例如膝上型计算机或平板电脑或任何其它合适的装置)上进行预操作计划，其中管腔结构被分割并且目标和路径被标识。在一些实施例中，然后可以经由物理连接、无线电、WiFi、蓝牙、NFC(近场通信)或其它传送方法和协议将该计划传送到装置。

在一些实施例中，自导向尖端的空间中的点可以是运动体积中的目标，例如呼吸的肺、或例如肝脏中的目标、或例如软血管分布中的目标、或例如消化系统中的目标，而导管的尖端被配置为朝向该目标定向而无需操作者干预。

在一些实施例中，腔内装置1002可以包括手柄，其封装所需的电子处理器和控制部件，包括所需的算法、电源和所需的机电驱动部件。在一些实施例中，腔内装置1002可以是一次性装置或非一次性装置。

在一些实施例中，腔内装置1002可以连接到外部屏幕，其上显示管腔结构的表示，以及管腔内仪器的位置的更新表示。在一些实施例中，附加于或替代显示仪器的位置，向操作者提供其它反馈装置以通知系统的状态。在一些实施例中，这样的通知可以是，例如，闪烁的绿灯，只要仪器在轨以到达目标(例如，它遵循路径)即可；到达目标时的稳定绿光指示。在一些实施例中，当可能在当前位置没有到达目标并且导管需要被拉回时(例如，当尖端经过目标时，或者当尖端沿着错误分叉时)，稳定红光指示或在手柄中使用振动电机的振动反馈。在一些实施例中，除了上述指示之外，声音指示可以由导管手柄内的小扬声器播放，在手术过程中引导操作者。在一些实施例中，这里没有提及附加的指示和警报方法，但是在本发明的范围内。

在一些实施例中，机电驱动部件可以由导管手柄内的微型电机组成。在一些实施例中，可以存在控制被动“J”型导管的滚动角的单个微型电机。在一些实施例中，NavNN模块1016可以输出两个驱动动作：推/拉、滚动。在一些实施例中，当需要滚动动作时，高级模块1022自动激活导管内的滚动电机以执行导管的旋转，从而导管总是自动对准到目标的下一分叉。在一些实施例中，当需要推动作时，导管手柄上的绿色LED可以闪烁，向操作者指示导管在到目标的轨道上并且需要手动推动。在一些实施例中，当需要拉动作时，可以在手柄中激活振动反馈，例如使用手柄内的振动电机，或者红色LED可以打开或闪烁，向操作者指示导管偏离轨道并需要缩回。在一些实施例中，当需要推或拉动作时，高级模块1022激活导管内的向前/向后电机以执行导管的受限的前进或缩回，使得导管自动地朝向目标前进(或当导管进入错误的管腔时拉回)。在一些实施例中，由导管执行的运动(向前或向后)的维度(尺寸或长度)受到电机(可选地位于导管的手柄中)的机械特性的限制。在一些实施例中，该维度(尺寸或长度)是固定的并且是已知的。在一些实施例中，该维度(尺寸或长度)是主动可调节的和已知的，例如通过更换电机或通过调节电机提供的力。在一些实施例中，系统被配置成使用“已知的运动维度”来提供对朝向目标的导航的微调。在一些实施例中，备选地或附加地，系统被配置成使用“已知维度”来保持解剖结构内部的稳定性，例如，当到达运动目标时，通过致动装置(向前致动、向后致动和停止致动)，系统可以在目标的运动中保持特定的位置，从而保持解剖结构内部相对于目标的稳定性。

为了理解任务的复杂性，将提供以下示例。呼吸引起组织的自然变形，例如在肺中，在呼吸期间肺的下肺叶可以从大约2cm运动/变形到大约3cm。为了为导航提供最准确的“图像”，系统通过使用DeformNN模块，根据感测到的例如由呼吸引起的患者的运动来实时更新管腔图。在一些实施例中，例如使用位于患者身上和/或床上和/或操作台上的一个或多个传感器来监测运动。在一些实施例中，一旦运动被精确地结合到动态管腔图中，其它变形也被考虑，例如，由实际致动装置到该位置所引起的变形，并且该其他变形主动地结合到动态管腔图中。因此，此时，存在针对由器官的运动或诱发的运动引起的变形而不断更新的3D腔图。一旦实现这一点，用户就可以指示系统保持选定的位置。例如，相对于目标的给定距离(例如，与目标保持15mm)或者在用户选择的管腔图上的特定点上保持位置，使得装置保持在所选择的点上。在一些实施例中，系统利用对致动引起的“已知运动维度”的系统“感知”来致动推进设备，以完成对装置的导航和定位的微调。在一些实施例中，将装置固定到管腔结构内相对于运动目标的解剖位置的潜在优点在于，其优于下述备选方案：将装置稳定在自由空间中，或者将装置稳定到管腔结构，这未考虑实际目标的运动，实际目标可能具有来自管腔的其它运动特性。3D跟踪系统通常在跟踪坐标系中跟踪装置，跟踪坐标通常相对于通常固定在床上的发射器(例如在EM中)。因此，在“自由3D空间”，即例如在床坐标系中跟踪设备。因此，装置方位在其被跟踪的x,y,z方位上由于患者的呼吸或其它器官的或非器官的变形而显著振荡(例如在2和3cm之间)，尽管装置在体内的解剖方位实际上不改变，例如，装置在管腔内的相同方位，但是目标由于呼吸引起的变形而移动。已知的技术通常通过在导管的方位上应用一些控制机制，通过将机器人装置固定在相对于跟踪源的相同的x,y,z方位(“在自由空间中”)，来将机器人导管固定在自由空间中。在一些实例中，由于相对于源的固定x,y,z方位并不反映相对于解剖结构的固定位置，因此该方法具有很大的缺陷。

在一些实施例中，一次性导管是完全无线的并且包含电源(例如电池)、微处理器、专用ASIC/FPGA、NFC通信支持、红色/绿色指示LED、振动电机和用于导管的微型旋转和/或向前电机。图11中示出了示例性系统流程图。在一些实施例中，在导管-患者配对阶段中，对于特定患者在平板电脑上进行术前计划，并通过将导管连接到平板电脑而使用NFC将术前计划传送到无线导管1102。在一些实施例中，可选地，可以播放声音指示，或者LED可以在配对时开启，即，在成功地将患者的计划传输到导管上时开启1104。在一些实施例中，可选地，该计划可以由分割的管腔结构、到目标的路径计划和目标标记组成。在一些实施例中，可选地，分割的管腔结构具有稀疏的特性，并且因此可以例如使用霍夫曼编码或其它合适的方法被压缩(例如，压缩到仅几千字节)以适应大多数微处理器的存储器限制。在一些实施例中，可选地，电磁校准也可以在配对时被传送到无线导管。在一些实施例中，可选地，电磁发射器标识符或完全配置和校准可以被传送到无线导管，使得导管将能够在手术期间执行完全校准的电磁跟踪。在一些实施例中，执行相机传感器采样1108。在导管由数字电磁传感器组成的情况下，不需要外部放大器和DSP来提供完全6-DOF跟踪，只需要在大多数微处理器中能够实现的软件算法1110(依赖于所传送的电磁配置和校准)。在一些实施例中，在手术期间，导管然后能够通过处理来自其多个传感器的所测量的磁场，使用6-DOF跟踪算法1110来求解完全的导管位置，如先前所解释的。在一些实施例中，导管位置然后在一个或多个配准过程中与管腔结构相匹配。在一些实施例中，可以使用上文提及的方法(例如使用专用ASIC/FPGA芯片中的特定GPU块)来可选地实时渲染多通道3D定位图像1114。在一些实施例中，通过使用上述方法将2D相机帧渲染到3D定位图像上，并且可选地由专用GPU加速，定位图像可以包含专用相机通道。在一些实施例中，2D相机帧可以从导管尖端处的相机传感器捕获。在一些实施例中，原始相机图像可以由ASIC/FPGA中的图像信号处理器(ISP)块1112处理。在一些实施例中，DeformNN模块可用于使用所渲染的定位图像来实时地跟踪器官失真1116。在一些实施例中，利用变形定位图像来更新系统视图1118。在一些实施例中，由于在专用ASIC/FPGA芯片上计算DeformNN模块过程，因此将DeformNN数据传递到NavNN模块1016以进一步使用1120。在一些实施例中，在DeformNN动作之后，可以执行NavNN以计算朝向目标的最佳驱动动作1124，或将导管稳定在运动的目标上，类似地由专用ASIC/FPGA在硬件上加速。在一些实施例中，来自NavNN模块的输出被用于向操作者提供反馈1122，如上所述。在一些实施例中，一旦到达目标(如由高级模块1022实现的)，可选地，可以向操作者提供反馈，并且可以通过导管中的特殊工作通道插入活组织检查和治疗工具。在一些实施例中，另外，在将定位图像传递到NavNN模块之前或之后，可以使用StressNN模块来估计管腔结构内的导管的力风险估计。在一些实施例中，接近1的力风险估计指示导管在管腔结构内施加过大的力，并且系统然后可以停止，或者导管可以被自动拉回直到被释放(如由再次接近0的力风险估计所指示的)。在一些实施例中，系统流程由微处理器编排，其可以是专用芯片或者可以作为块并入专用ASIC/FPGA芯片中。

在一些实施例中，无线自导向导管还可以配备WiFi仪器，以便向外部监测器发送压缩的(例如，使用H.265)或未压缩的2D/3D系统视图。在这种情况下，可以使用导管的专用GPU来实时地生成视图，并且可以可选地例如使用ASIC/FPGA内的硬件加速H.265编码器来对视图进行编码。在一些实施例中，系统视图可以由任何启用WiFi的装置通过web服务、RTSP协议、web浏览器或任何其它视频流软件来显示。在一些实施例中，视图显示在外部监测器上或者显示在平板电脑或智能电话中，为操作者医生提供重要的2D/3D导航信息。在一些实施例中，内窥镜视频可以显示在附接到导管手柄的小型便携式显示屏上，类似于潜望镜或放大镜视图。在一些实施例中，操作者然后可以通过小显示器看“入患者”，就好像导管是潜望镜一样。在一些实施例中，所显示的内窥镜视频可以用下述来增强：附加的3D导航数据，例如到目标的路径、目标或其他导航指示(例如给医生的指示)；来自CT(或MRI扫描、或血管造影片等)的附加解剖特征等。在一些实施例中，附加地或备选地，代替显示增强内窥镜视频视图，可以显示例如在管腔结构中在其解剖位置的完全跟踪导管的纯虚拟3D视图，其在普通导航过程中显示在外部监视器上的。

在一些实施例中，腔内装置包括一个或多个导向机构，该导向机构被配置为导向腔内装置朝向一个或多个方向。在一些实施例中，一个或多个导向机构包括以下项中的一个或多个：

1.一个或多个拉线：在一些实施例中，一个或多个拉线沿着轴连接到一个或多个接头或点。

2.一个或多个预弯曲轴：在一些实施例中，一个或多个预弯曲轴一个位于另一个内部，其中预弯曲轴的一个相对于另一个的旋转导致轴的偏转，例如，当轴的两个曲线对齐时实现最大偏转，而当轴的两个曲线彼此相对时实现最小偏转。

3.一个或多个具有不同机械特性的轴，一个轴在另一个轴内部：在一些实施例中，轴的偏转通过使用两个轴来实现，其中一个是预弯曲轴，另一个不是预弯曲轴，并且具有可变的刚度。在一些实施例中，通过使轴相对于彼此轴向平移来执行偏转：预弯曲区段至可变刚度轴的较软区段的平移导致最大偏转，且预弯曲区段至可变刚度轴的较硬区段的平移导致最小偏转。

4.上述任一种生成偏转的组合，例如，其中两个轴都是预弯曲的，具有可变刚度或预弯曲和可变刚度两者，具有旋转、轴向平移或旋转和轴向平移两者。

5.两个或更多个同轴管：在一些实施例中，通过使用两个同轴管来执行轴的偏转，其中一个管的刚度围绕管的横截面的圆周是不均匀的。在一些实施例中，通过改变横截面的材料组成和/或结构，通过选择性地去除围绕圆周的材料或通过其组合，可以实现围绕管的横截面的圆周的变化的刚度。在一些实施例中，通过使管一个相对另一个进行轴向平移实现偏转，使轴在压缩时朝向可变刚度管的较软侧偏转，而在张紧时朝向管的较硬侧偏转。

在一些实施例中，当两个管都具有围绕圆周的可变刚度并且管组装成刚性侧不对准时，通过使用一个或多个上述方法来执行轴的偏转。

在一些实施例中，通过在多个区段中给轴提供预弯曲或围绕圆周的变化的刚度，通过在多个区段中使用上述方法中的一种或多种(预弯曲轴或围绕圆周的可变刚度)来执行轴的偏转。在一些实施例中，预弯曲和变化的刚度或不同的区段可以对准或呈不同的取向。

在一些实施例中，导向动作是以下动作中的一个或多个：

1.轴的顺时针和逆时针旋转。

2.轴向前或向后前进。

3.例如通过使用一个或多个拉线使尖端偏转。

4.单向偏转：例如使用单个拉线。

5.双向偏转：例如通过使用两个拉线。

6.多向偏转：例如：

i.通过使用多于2个拉线，例如两个垂直平面中的4个线，从而当每次每个平面拉一个线同时释放相对的线时，允许在每个平面中的两个方向上在两个平面中偏转和矫直；

ii.通过使用多于2个拉线，例如3个或4个拉线，其分布在轴的轴线周围，从而允许通过组合对一个或多个拉线的拉动而沿任何方向偏转。

7.使用一个或多个拉线使尖端偏转，以实现平面外的3维偏转：

i.在一个平面中的双拉线，其中该平面偏离轴的对称平面，从而允许在两个方向上的平面外偏转，其中这些方向在平面外并且彼此不相反。

ii.连接到轴的一个或多个拉线，该轴具有沿着轴的横截面的圆周的不均匀的刚度。在一些实施例中，通过改变横截面的材料组成和/或结构，通过选择性地去除围绕圆周的材料，或通过这些方法的组合，可以实现围绕管的横截面的圆周的变化的刚度。在一些实施例中，偏转方向由拉线相对于围绕圆周的刚度分布的圆周位置来确定。

iii.在上述方法中的偏转，其中轴的横截面沿着其轴线改变，通过改变横截面中的刚度的方向性和/或横截面的总刚度和/或拉线在横截面中的位置，沿着导管的轴线生成不同的偏转方向，并允许三维的平面外偏转。

示例性点触驱动界面

在一些实施例中，该系统包括用户界面，其被配置成允许用户通过指示目的地来控制机电驱动的腔内装置。在一些实施例中，使用其它驱动方法来推进腔内装置，例如通过将磁场施加到装配有磁体的装置，或者例如通过使用气动或液压来致动装置。在一些实施例中，操作者通过向系统指示仪器尖端的期望的末端位置和取向来致动系统以使仪器尖端导航到器官中的位置。在一些实施例中，一旦操作者已经向系统指示了期望的目的地，则使用AI或其它方法来触发系统以操纵和驱动仪器，使得所得到的位置在身体中处于所要求的方位和取向。在一些实施例中，安装安全机构以防止不希望的运动。

在一些实施例中，操作者例如通过点触表示管腔结构的3D图中的点(例如显示在触摸屏上)来标记装置的期望的末端方位和取向。在一些实施例中，这使得系统操纵装置的尖端到器官中适当的目的地方位。在一些实施例中，例如通过点击在显示解剖结构描绘的计算机屏幕上的方位上的鼠标指针，来实现相同的目的，解剖结构描绘例如CT切片(或MRI扫描、或血管造影片等)。在一些实施例中，例如，操作者通过从菜单或其它UI元素中选择预定位置，诸如肺支气管分叉，或诸如血管分叉，诸如解剖界标，或诸如预定目标或标记位置，来向系统指示方位。在一些实施例中，可选地，目标方位由系统自动建议，例如自动标识为可疑病变的方位。在一些实施例中，可选地，操作者通过发出语音命令来指示目的地。应当理解，提供这些实施例作为示例，并且本发明的其它实施例在本发明的范围内是可能的。

在一些实施例中，系统显示弯曲的平面重建类型视图，其由“缝合”在一起的多个CT平面(或其他成像模式)的区段生成，以形成例如在肺的情况下从气管到目标的连续2D视图；或者例如从股动脉中的入口到脑血管分布中的目标。在一些实施例中，这样的视图，例如遵循预先规划的路径，允许用户在专注于通向目标的路径时查看成像中编码的解剖细节。在一些实施例中，在每个分叉处，视图仅显示将通向目标的“正确”选择。在一些实施例中，当导航装置的尖端离开所显示的成像平面时，采用“错误转向”是可直观地检测到的。在一些实施例中，可选地，在这种情况下也可以显示对用户的警告。在一些实施例中，该视图可用于向系统指示导航的下一区段的目的地。例如，通过指向目标而直接到目标，或者例如，通过在路径上的不同点处(例如在每个管腔分叉处)具有多个路径点。在一些实施例中，这潜在地允许操作者容易地选择“进度条”样式点来推进装置。在一些实施例中，可以递增地到达路点，其中用户仅指示系统前进到下一路点，直到到达目标。在一些实施例中，该视图是紧凑的，并且对与医生相关的所有信息进行编码，以监督半自主导航过程，包括所有周围的解剖特征(如在所显示的CT条带或所使用的其它成像模式中所看到的)以及最终目标。在一些实施例中，当用户指示目的地时，这种指示可以是到管腔内的位置，或者到管腔外的位置，或者以其他方式不安全或危险的方位，系统根据安全限制或其他考虑来警告、限制和/或阻止导航。在一些实施例中，这种限制可以由制造商来安排和/或由操作者先于操作地确定和/或由操作者特别设置，例如由作为对操作者动作的响应而引起的确认消息来设置。在一些实施例中，这样的安全机制在给定适当的操作者许可的情况下可选地被配置或被覆盖。在一些实施例中，例如，系统可以将图形用户界面上指示的任何点解释为内腔，从而将管腔外部指示的点与管腔树上管腔内部的最近点相匹配。在该示例中，系统然后可以定位导管的尖端，使得它精确地取向朝向由用户在管腔外部指示的点。在该示例中，系统可以指示与原始指示的位置相比的校正位置。在一些实施例中，可以做出其它指示以通知用户已经选择了备选方位。在一些实施例中，系统可以显示目标区域的放大，使得用户能够准确地指向尖端目的地和对准的位置。例如，这可以使用“放大镜”样式视图来完成，一旦用户指示目标目的地，就引发该“放大镜”样式视图。在一些实施例中，该放大视图然后允许微调所请求的位置，或者这可以通过“第一人”样式视图来实现，以帮助操作者选择精确的尖端取向，例如在病变的3D渲染上。

在一些实施例中，系统被触发以根据预定的最大行进距离停止前进。例如，在等待额外的操作者命令之前，仅允许被驱动装置行进有限的航段。在一些实施例中，可以指示最终目的地，但是一次执行一个航段，以便施加更大的控制。在一些实施例中，可以在3D图上指示安全区域，其中允许自动移动，但是必须手动控制外部移动。

在一些实施例中，界面受到失能开关型控制形式的安全机构的限制，其中装置尖端的运动仅在触发开关被接合时才被使能，并通过弹簧加载动作以使其失效。这种开关的另一个实施例可以是脚踏板，其允许仅在其被压下时才移动。在其它实施例中，采用按压操作机构的其它方法。

系统在血管临床应用中的示例性使用

在一些实施例中，例如，该系统用于由大血管闭塞(LVO)引起的急性缺血性中风的神经血管情况，或在另一种情况下，例如，用于外周动脉闭塞情况。在一些实施例中，使用一个或多个装置，例如导丝、或微导管、或再灌注导管、或支架取回器等，引入血管再造装置以进行血栓切除术，例如支架辅助的血栓切除术、或例如直接抽吸血栓切除术技术。在一些实施例中，每个都在它们各自的远端部分中装配有形状和方位传感器，并且每个都被连接回跟踪装置，从而允许同时跟踪形状、方位、施加在彼此和脉管上的力，并且允许显示解剖结构(例如动脉、凝块、周围组织等)的实时变形。在例如血管内情况下使用的另一个实施例中，通过近似实时地从一个或多个荧光镜投影重建装置的3D形状，以跟踪装置及其形状、方位、施加在彼此和解剖管腔上的力，并通过允许显示解剖结构(例如动脉、凝块、周围组织等)的实时变形，从而实现相同的目的。在一些实施例中，通过下述来执行从荧光镜投影重建装置的3D形状：在多个荧光透视2D投影中标识装置的尖端或全曲线，例如使用光学基准来识别荧光镜在某个参考坐标系中的方位，以及通过优化来找到装置的3D位置和/或形状，从而背投的2D装置的曲线将适合于从荧光荧光镜投影观察到的2D曲线。

如本文所用的关于量或值，术语“约”是指“在±20％的范围内”。

术语“包含”、“包括”、“具有”和它们的共轭是指“包括但不限于”。

术语“由…组成”是指“包括且限于”。

术语“基本上由…组成”是指组合物、方法或结构可以包括另外的成分、步骤和/或部分，但仅当另外的成分、步骤和/或部分不会实质上改变所要求保护的组合物、方法或结构的基本和新颖特征时。

如本文所用，单数形式“一”、“一个”和“该”包括复数引用，除非上下文另有明确规定。例如，术语“一化合物”或“至少一个化合物”可以包括多个化合物，包括其混合物。

在整个本申请中，本发明的实施例可以参考范围格式来呈现。应当理解，范围格式的描述仅仅是为了方便和简洁，不应当被解释为对本发明范围的不灵活的限制。因此，范围的描述应被认为已经具体公开了所有可能的子范围以及该范围内的单个数值。例如，范围如“1至6”的描述应被认为具有具体公开的子范围，如“1至3”、“1至4”、“1至5”、“2至4”、“2至6”、“3至6”等；以及该范围内的单个数字，例如1、2、3、4、5和6。不管范围的宽度如何，这都是适用的。

每当在本文中指示数值范围(例如“10-15”、“10至15”或通过这些另一个这样的范围指示链接的任何一对数字)时，其表示包括所指示的范围限制内的任何数字(分数或整数)，包括范围限制，除非上下文另外清楚地指示。短语“第一指示数字和第二指示数字之间的范围”和“从第一指示数字到、直到(或另一个这样的范围指示术语)第二指示数字”在本文中可互换使用，并且旨在包括第一指示数字和第二指示数字以及它们之间的所有分数和整数。

除非另外指出，否则本文使用的数字和基于此的任何数字范围是如本领域技术人员所理解的在合理测量和舍入误差的精确度内的近似值。

应当理解，为清楚起见，在单独实施例的上下文中描述的本发明的特定特征也可以在单个实施例中组合提供。相反，为简洁起见，在单个实施例的上下文中描述的本发明的各种特征也可以单独地或以任何合适的子组合来提供，或者在本发明的任何其它描述的实施例中作为合适的特征来提供。在各种实施例的上下文中描述的特定特征不应被认为是那些实施例的必要特征，除非该实施例在没有那些元件的情况下是不起作用的。

尽管已经结合本发明的特定实施例描述了本发明，但是显然，对于本领域的技术人员来说，许多替换、修改和变化是显而易见的。因此，本发明旨在包括落入所附权利要求的精神和广泛范围内的所有这些替换、修改和变化。

申请人的意图在于，本说明书中所提及的所有出版物、专利和专利申请的全部内容通过引用并入本说明书中，就好像当引用每个单独的出版物、专利或专利申请时具体地和单独地指出它将通过引用并入本文中一样。此外，在本申请中任何参考文献的引用或标识不应被解释为承认这样的参考文献可作为本发明的现有技术获得。在使用部分标题的情况下，它们不应被解释为必须的限制。此外，本申请的任何优先权文件的全部内容通过引用并入本文。

Claims (34)

1.一种生成用于自导向腔内系统的导向计划的方法，包括：

a、选择可通过数字腔内图中的一个或多个管腔接近的方位，自导向腔内装置需要到达所述方位；

b、针对所述腔内装置生成导航动作以到达所述方位；

c、评估由所述腔内装置执行的所述导航动作引起的对一个或多个管腔的潜在变形；

d、当所述自导向腔内系统到达所述方位时，根据所述评估潜在变形的结果更新所述导向计划。

2.根据权利要求1所述的方法，还包括：执行所述导航动作直到到达所述方位。

3.根据权利要求1或2所述的方法，其中，所述更新所述导向计划是实时执行的。

4.根据权利要求1-3中任一项所述的方法，其中，所述方法还包括：评估由所述腔内装置执行的所述导航动作引起的所述管腔上的潜在应力级别。

5.根据权利要求4所述的方法，其中，所述方法被执行直到所述潜在应力级别低于预定阈值。

6.根据权利要求1-5中任一项所述的方法，还包括：向所述自导向腔内系统提供所述计划。

7.根据权利要求1-6中任一项所述的方法，还包括：基于图像生成包括所述一个或多个管腔的所述数字腔内图。

8.根据权利要求7所述的方法，其中，所述图像是CT扫描。

9.根据权利要求7的方法，其中，所述图像是血管造影片。

10.根据权利要求1-9中任一项所述的方法，其中，所述生成导航动作包括运行所述导航动作的第一仿真。

11.根据权利要求1-10中任一项所述的方法，其中，所述评估潜在变形包括运行所述潜在变形的第二仿真。

12.根据权利要求11所述的方法，还包括：根据在所述第二仿真中仿真的所述潜在变形来更新所述数字腔内图。

13.根据权利要求4所述的方法，其中，所述评估潜在应力级别包括：运行所述潜在应力级别的仿真。

14.根据权利要求13所述的方法，还包括：更新所述导航动作以引起所述潜在应力级别的降低。

15.根据权利要求1-14中任一项所述的方法，其中，所述评估潜在变形还包括：评估由呼吸、心跳和其它外部原因引起的变形。

16.一种自导向腔内系统，包括：

a、腔内装置，其包括可自导向细长主体；

b、计算机存储器存储介质，其包括一个或多个模块，包括：

i、导航模块，其包括用于生成导航动作的指令，所述导航动作将由所述腔内装置的所述可导向细长主体执行以到达如数字腔内图中所选择的所需方位；

ii、变形模块，其包括用于评估由所述腔内装置的所述可导向细长主体执行的所述导航动作引起的对一个或多个管腔的潜在变形的指令；

iii、高级模块，其包括从所述导航模块和所述变形模块中的一个或多个接收信息并相应地致动所述腔内装置的所述可导向细长主体的指令。

17.根据权利要求16所述的系统，其中，所述计算机存储器存储介质还包括应力模块，其包括用于评估由所述腔内装置的所述可导向细长主体执行的所述导航动作引起的所述管腔上的潜在应力级别的指令。

18.根据权利要求17所述的系统，其中，所述高级模块还包括从所述应力模块接收信息并相应地致动所述腔内装置的所述可导向细长主体的指令。

19.根据权利要求16-18中任一项所述的系统，其中，所述腔内装置包括一个或多个传感器，用于在所述导航动作期间监测所述腔内装置的方位。

20.根据权利要求19所述的系统，还包括：外部发射器，用于允许所述监测。

21.根据权利要求16-20中任一项所述的系统，其中，所述导航模块包括用于生成导航动作的指令，所述导航动作将由所述腔内装置的所述可导向细长主体执行，以帮助到达如数字腔内图中所选择的期望方位。

22.根据权利要求16-21中任一项所述的系统，其中，所述高级模块还包括基于接收到的所述信息生成导向计划的指令。

23.根据权利要求16-22中任一项所述的系统，其中，所述高级模块还包括基于图像生成包括所述一个或多个管腔的所述数字腔内图的指令。

24.根据权利要求23所述的系统，其中，所述图像是CT扫描。

25.根据权利要求23所述的系统，其中，所述图像是血管造影片。

26.根据权利要求16-25中任一项所述的系统，其中，所述导航模块还包括用于运行所述导航动作的第一仿真的指令。

27.根据权利要求16-26中任一项所述的系统，其中，所述变形模块还包括用于运行所述潜在变形的第二仿真的指令。

28.根据权利要求27所述的系统，还包括：根据在所述第二仿真中仿真的所述潜在变形来更新所述数字腔内图。

29.根据权利要求17所述的系统，其中，所述应力模块还包括用于运行所述潜在应力级别的第三仿真的指令。

30.根据权利要求29所述的系统，还包括：更新所述导航动作以引起所述潜在应力级别的降低。

31.根据权利要求16-30中任一项所述的系统，其中，所述评估潜在变形还包括评估由呼吸、心跳和其它外部原因引起的变形。

32.根据权利要求16-31中任一项所述的系统，其中，所述腔内装置包括一个或多个导向机构，其包括一个或多个拉线、一个或多个预弯曲轴、沿着一个或多个轴的主体具有可变刚度的所述一个或多个轴以及一个或多个共轴管。

33.根据权利要求32所述的系统，其中，所述一个或多个预弯曲轴和沿着所述一个或多个轴的主体具有可变刚度的所述一个或多个轴中的一个或多个是一个在另一个之中的。

34.根据权利要求32所述的系统，其中，所述一个或多个导向机构被构造成引起一个或多个导向动作，所述一个或多个导向动作包括所述轴的旋转、所述轴的前进/缩回、所述装置的尖端的偏转以及所述装置的所述轴的一部分的偏转。