CN117941008A - 利用机器学习进行体内导航的系统和方法 - Google Patents

Abstract

一种提供医疗装置的体内导航的方法，包括：接收患者解剖结构的输入医学成像数据；从解剖结构中装置的远端上的传感器接收输入的非光学体内图像数据；使用经过训练的模型来定位输入成像数据中的远端，其中：基于(i)一个或多个个体的解剖结构的训练用非光学体内图像数据和训练用医学成像数据和(ii)将训练图像数据与训练成像数据中的位置相关联的作为基准真实值的配准数据，来训练模型，以学习训练图像数据和训练成像数据之间的关联；使用所学习的关联和输入数据来确定所述医疗装置的输出位置；修改所述输入成像数据以描绘所确定的位置；以及使显示器输出修改后的输入成像数据。

Description

利用机器学习进行体内导航的系统和方法

相关申请的交叉引用

本申请要求2021年6月22日提交的美国临时专利申请No.63/213,458的优先权的权益，其完整内容通过引用结合到本文中。

技术领域

本公开的各种实施方式总体上涉及用于体内导航的基于机器学习的技术，并且更具体地，涉及用于确定非光学图像数据(例如超声成像数据)和医学成像数据之间的配准的系统和方法。

背景技术

在某些医疗手术中，医疗装置(例如，至少部分地)被推进到患者体内。例如，在从患者肺内移除不期望的组织的肺消融手术中，消融装置被推进到具有不期望的组织的肺的外围部分中。虽然已经使用了采用直接插入(例如，经由针)的技术，但是这种技术通常具有并发症的高风险。已经开发了侵入性较小的技术，例如利用支气管镜的技术。然而，这种技术也可能有缺点。

本公开旨在解决上文提及的挑战。本文中提供的背景技术的描述是为了总体呈现本公开的内容。除非本文另有说明，否则本部分中描述的材料不是本申请中权利要求的现有技术，并且不因包含在本部分中而被承认为现有技术或现有技术的教导。

发明内容

根据本公开的某些方面，公开了用于提供医疗装置的体内导航的方法和系统。

在一个方面，用于提供医疗装置的体内导航的系统的示例性实施方式可以包括存储器、显示器和可操作地连接到显示器和存储器的处理器。存储器可以存储指令和经过训练的机器学习模型。经过训练的机器学习模型可以已经基于(i)一个或多个个体的解剖结构的至少一部分的训练用非光学体内图像数据和训练用医学成像数据和(ii)将训练用非光学体内图像数据与训练用医学成像数据中的位置相关联的作为基准真实值(groundtruth，地面真实值)的配准数据来被训练。所述训练可以已经被配置为使经过训练的机器学习模型学习所述训练用非光学体内图像数据与所述训练用医学成像数据之间的关联。处理器可以被配置为执行存储器中的指令以执行操作。所述操作可以包括：接收与患者的解剖结构的至少一部分相关联的输入医学成像数据；从传感器接收输入非光学体内图像数据，该传感器位于推进到患者的解剖结构的部分中的医疗装置的远端上；使用所学习的关联来确定所述医疗装置的远端在所述输入医学成像数据中的位置；修改输入医学成像数据，以包括指示所述医疗装置的远端的所确定位置的位置指示符；以及使显示器输出包括位置指示符的经修改的输入医学成像数据。

在一些实施方式中，操作还可以包括：在医疗装置在患者的解剖结构的部分内移动时，从传感器接收进一步的非光学体内图像数据；使用所学习的关联，以基于进一步的非光学体内图像数据来确定医疗装置的远端的更新的位置；更新所述输入医学成像数据，以基于所述医疗装置的远端的更新的位置来调整位置指示符；以及使显示器输出更新的输入医学成像数据。

在一些实施方式中，更新的位置的确定、输入医学成像数据的更新以及经由更新的输入医学成像数据的显示的输出可以实时或接近实时地发生，使得显示器被配置为输出医疗装置的远端的实时位置。

在一些实施方式中，经过训练的机器学习模型可以被配置为学习训练用非光学体内图像数据的非光学体内图像的序列与训练用医学成像数据内的行进的路径之间的关联。

在一些实施方式中，经过训练的机器学习模型可以被配置为通过使用输入非光学体内图像数据从输入医学成像数据中的先前位置预测医疗装置的远端的行进的路径来确定医疗装置的远端在输入医学成像数据中的位置。

在一些实施方式中，操作可以进一步包括：从输入非光学体内图像数据中提取至少一个三维结构；以及从输入医学成像数据，将至少一个三维结构与解剖结构的至少一部分的几何形状配准。在一些实施方式中，进一步基于所述至少一个三维结构与所述几何形状的配准，可以确定医疗装置的远端的位置。

在一些实施方式中，经过训练过的机器学习模型可以包括长短期记忆网络或序列对序列模型中的一个或多个。

在一些实施方式中，操作还可以包括从位于医疗装置的远端附近的位置传感器接收位置信号。在一些实施方式中，进一步基于位置信号，可以确定医疗装置的远端的位置。

在一些实施方式中，操作还可以包括使用位置信号将医疗装置的远端的位置定位到患者的解剖结构的部分内的区域。在一些实施方式中，使用所学习的关联来确定医疗装置的远端在输入医学成像数据中的位置可以包括使用所学习的关联来识别在所定位的区域内的远端的位置。

在一些实施方式中，输入非光学体内图像数据可以包括来自相控换能器阵列的360度图像数据。

在一些实施方式中，训练可以被配置为将所述训练用非光学体内图像数据与解剖结构的内部部分的直径相关联。在一些实施方式中，使用所学习的关联来确定医疗装置的远端的位置可以包括：使用所学习的关联来确定医疗装置的远端的当前位置处的患者的解剖结构的内部部分的直径；以及将当前直径与输入医学成像数据的几何形状进行比较，以识别在输入医学成像数据中与所确定的直径匹配的位置。

在一些实施方式中，经过训练的机器学习模型可以被配置为学习基于训练用非光学体内图像数据而确定的直径的序列与训练用医学成像数据内的行进的路径之间的关联。在一些实施方式中，经过训练的机器学习模型可以被配置为通过使用输入非光学体内图像数据从输入医学成像数据中的先前位置预测医疗装置的远端的行进的路径来确定医疗装置的远端在输入医学成像数据中的位置。

在一些实施方式中，患者的解剖结构的部分可以包括患者的肺的外周部分。

在一些实施方式中，输入非光学体内图像数据可以包括超声数据。

在一些实施方式中，经过训练的机器学习模型可以被配置为基于从医疗装置的另一传感器接收到的与医疗装置相关联的形状信息来确定医疗装置的远端在输入医学成像数据中的位置。

在另一方面，用于提供医疗装置的体内导航的方法的示例性实施方式可以包括：接收与患者的解剖结构的至少一部分相关联的输入医学成像数据；从传感器接收输入非光学体内图像数据，该传感器位于推进到患者的解剖结构的部分中的医疗装置的远端上；使用经过训练的机器学习模型来确定医疗装置的远端在输入医学成像数据中的位置，其中：经过训练的机器学习模型是基于(i)一个或多个个体的解剖结构的至少一部分的训练用非光学体内图像数据和训练用医学成像数据和(ii)将训练用非光学体内图像数据与训练用医学成像数据中的位置相关联的作为基准真实值的配准数据来训练的；训练被配置为使经过训练的机器学习模型学习所述训练用非光学体内图像数据与所述训练用医学成像数据之间的关联，并且经过训练的机器学习模型被配置为使用所学习的关联，来基于所述输入非光学体内图像数据，使用所学习的关联来确定医疗装置的远端在输入医学成像数据中的位置；修改输入医学成像数据，以包括指示医疗装置的远端的所确定位置的位置指示符；以及使显示器输出包括位置指示符的经修改的输入医学成像数据。

在一些实施方式中，输入非光学体内图像数据可以包括超声数据。在一些实施方式中，患者的解剖结构的部分可以包括患者的肺的外周部分。

在另一个方面，响应于接收输入医学成像数据并从位于医疗装置的远端上的传感器接收输入非光学体内图像数据，训练机器学习模型以确定在输入医学成像数据内患者的解剖结构中的医疗装置的远端的输出位置的方法的示例性实施方式可以包括：将训练数据输入到机器学习模型中，训练数据包括一个或多个个体的解剖结构的至少一部分的训练用非光学体内图像数据和训练用医学成像数据；将基准真实值输入到机器学习模型中，所述机器学习模型包含将所述训练用非光学体内图像数据与所述训练用医学成像数据中的位置相关联的配准数据；以及用机器学习模型使用训练数据和基准真实值来学习能够由机器学习模型使用的所述训练用非光学体内图像数据和所述训练用医学成像数据之间的关联，以确定医疗装置的远端的输出位置。

在一些实施方式中，该方法可以进一步包括用机器学习模型使用训练数据和基准真实值来学习训练用非光学体内图像的序列和训练用医学成像数据内的行进路径之间的关联，使得机器学习模型被配置成通过使用输入非光学体内图像数据从输入医学成像数据中的先前位置预测医疗装置的远端的行进的路径来确定医疗装置的远端在输入医学成像数据中的位置。

在一些实施方式中，训练用非光学体内图像数据是超声数据。

应当理解的是，前面的一般描述和下面的详细描述都只是示例性和解释性的，而不是对所公开的实施方式的限制。

附图说明

并入本说明书并构成本说明书的一部分的附图示出了各种示例性实施方式，并且与说明书一起用于解释所公开的实施方式的原理。

图1描绘了根据一个或多个实施方式的用于训练和/或使用机器学习模型来提供医疗装置的体内导航的示例性环境。

图2A描绘了根据一个或多个实施方式的可与图1的环境一起使用的医疗装置的示例性实施方式。

图2B描绘了由在空气中操作的换能器产生的示例性超声图像。

图2C描绘了由在体内操作的换能器产生的另一示例性超声图像，换能器和周围组织之间具有间隙。

图3描绘了根据一个或多个实施方式的训练机器学习模型以提供医疗装置的体内导航的示例性方法的流程图。

图4A描绘了根据一个或多个实施方式的使用经过训练的机器学习模型来提供医疗装置的体内导航的示例性方法的流程图。

图4B和4C描绘了根据一个或多个实施方式的由导航系统生成的导航输出的示例性实施方式。

图5描绘了根据一个或多个实施方式的计算装置的示例。

具体实施方式

根据本公开的某些方面，公开了用于提供医疗装置(例如，要在患者的肺的外围内导航的消融装置)的体内导航的方法和系统。在某些医疗手术中，可能希望将医疗装置导航到体内的某个位置。然而，传统导航技术可能不合适。例如，传统技术对于导航到目标部位和/或确认已经到达目标部位来说可能不够准确。传统导航技术也可以依赖于包括光源、照相机和/或透镜，这可能导致尺寸太大而不能导航到一些目标部位的医疗装置。

如下面将更详细讨论的，在各种实施方式中，描述了基于从设置在医疗装置的远端上的传感器接收的非光学体内图像数据并参考医学成像数据(例如术前CT扫描数据)，使用机器学习来定位医疗装置的远端的系统和方法。通过训练机器学习模型(例如经由有监督的或半监督的学习)，来学习非光学体内图像数据和医学成像数据中的医疗装置远端位置之间的关联，经过训练的机器学习模型可以用于为医疗装置提供导航信息，例如，医学成像数据中指示医疗装置远端的实时位置的位置指示符。

在本公开中提供对任何特定手术的引用只是为了方便，而不是为了限制本公开。本领域普通技术人员将认识到，所公开的装置和方法背后的构思可以在任何合适的手术中使用。可以参考下面的描述和附图来理解本公开，其中用相同的附图标记来表示相似的元素。

下面使用的术语可以以其最广泛合理的方式解释，即使它与本公开的某些具体示例的详细描述结合使用时亦是如此。事实上，某些术语甚至可以在下文中强调；然而，任何旨在以任何受限方式解释的术语将在本具体实施方式部分中被明显且具体地定义。前面的一般描述和下面的详细描述都只是示例性和解释性的，而不是对所要求保护的各特征的限制。

为了便于描述，装置和/或其部件的部分被称为近侧和远侧部分。应该注意的是，术语“近侧”旨在指更靠近装置的用户的部分，并且术语“远侧”在本文中用于指进一步远离用户的部分。类似地，“远侧地”延伸表示部件在远侧方向上延伸，而“近侧地”延伸表示部件在近侧方向上延伸。

在本公开中，术语“基于”是指“至少部分地基于”单数形式“一”、“一种”和“该”以及不使用数量词的情形包括复数的所指对象，除非上下文另有规定。术语“示例性”是指“示例”，而不是“理想的”。术语“包括”、“包含”或其其他变体旨在涵盖非排他性包含，使得包括元素列表的过程、方法或产品不一定只包括这些元素，而是可以包括未明确列出的或此类过程、方法、物品或装置固有的其他元素。术语“或”是析取地使用的，因此“A或B中的至少一个”包括(A)、(B)、(A和A)、(A和B)等等。相对术语，如“基本上”和“一般”，用于表示所陈述或理解的值的±10％的可能变化。

如本文所用，诸如“医学成像数据”等术语通常包括与患者的几何形状和/或生理学相关联的数据和/或指示患者的几何形状和/或生理学的数据，例如，该数据可以经由医学成像生成的数据和/或可以表示为患者的解剖结构的图像(例如，二维图像、三维图像或模型、视频、时变图像等)的数据。医学成像通常包括这样的技术：其中产生信号(光、电磁能、辐射等)，并且进行测量以指示该信号如何与患者相互作用和/或受患者影响、透过患者传输等。医学成像技术的例子包括CT扫描、MRI扫描、X射线扫描或任何其他合适的形式，例如，可用于使患者的解剖结构的至少一部分的内部可视化的形式。医学成像数据可以包括，例如，至少一部分患者解剖结构的几何模型，二维数据和/或图像，三维数据和/或图像，体素数据，该部分患者解剖结构的实体模型，代表该部分解剖结构和/或该部分解剖结构特征的节点或点的网格，和/或与患者和/或医学成像相关联的任何其他合适的数据。

本文中使用时，“非光学图像数据”通常包括指示图像、与图像相关联和/或可用于生成图像的数据，以及使用非光学信号(例如，经由超声换能器生成的信号)生成的数据。

本文中使用时，“机器学习模型”通常包括指令，数据，和/或被配置为接收输入并对输入施以权重、偏差、分类或分析中的一个或多个以生成输出的模型。输出可以包括例如输入的分类，基于输入的分析，与输入相关联的设计、过程、预测或建议，或任何其他合适类型的输出。机器学习模型通常使用训练数据来训练，例如经验数据和/或输入数据的样本，这些数据被馈送到模型中，以便建立、调整或修正模型的一个或多个方面(例如，权重、偏差、用于形成分类或聚类的标准等。机器学习模型的各个方面可以经由网络(例如，神经网络)或经由任何合适的配置对输入进行线性地、并行地操作。

机器学习模型的执行可以包括部署一种或多种机器学习技术，例如线性回归、逻辑回归、随机森林、梯度增强机器(GBM)、深度学习和/或深度神经网络。可以采用有监督和/或无监督的训练。例如，有监督的学习可以包括提供训练数据和对应于训练数据的标签。无监督方法可以包括聚类、分类或类似物。也可以使用K-均值聚类或K-最近邻，其可以是有监督的或无监督的。也可以使用K-最近邻和无监督聚类技术的组合。可以使用任何合适类型的训练，例如随机的、梯度增强的、随机播种的、递归的、历元的或基于批处理的等。

在某些医疗手术中，可能希望将医疗装置导航到患者体内的目标部位，例如，进入患者的肺的外围中，用于诸如不希望的组织的消融的手术。然而，传统的体内导航技术(例如传统的支气管镜技术)对于导航到目标部位或验证已经到达目标部位来说可能不够准确。

支气管镜技术的一个关注点是不仅能够准确导航到用于消融的目标，而且能够确认已经达到目标。通常，在手术(例如上面所述的手术)中，医学成像，例如在手术之前或手术中拍摄的患者的CT图像，可以用作被动地图与经由支气管镜的主动导航结合。用于此目的的支气管镜技术包括导航(电磁和/或视频)支气管镜检查、径向探头支气管内超声和机器人支气管镜检查。

然而，传统的导航技术(包括前述技术)不能充分地解决精确导航到目标和确认目标的问题。单独的电磁导航通常不足以提供细粒度的细节和/或确认到达目标部分。视频导航可用于确认到达目标部位，但提供的信息有限，而且支气管镜对光源、照相机和透镜的要求可能会将装置直径增大到无法到达肺外围的期望部分的尺寸。径向探头需要旋转装置进行成像，这可能会给患者带来风险和/或可能是不可能的，这取决于患者的生理机能和/或装置的位置。而且，机器人支气管镜检查通常涉及与该手术协同操作的患者外部的大型和/或复杂的机器，例如CT成像机等，其可能是笨重的和/或昂贵的。传统技术可能导致医疗装置太大而不能导航到目标部位，这可能给患者带来风险，和/或可能需要大型、复杂和/或昂贵的外部机械来结合该手术进行操作。因此，需要改进与用于医疗装置的体内导航相关的技术。

在下面的描述中，将参照附图描述实施方式。如下面将更详细讨论的，在各种实施方式中，描述了用于提供医疗装置的体内导航的系统和方法。

在示例性使用情形中，医疗手术包括将医疗装置引入和/或推进到患者体内的目标部位。可以对包括目标部位的患者身体的至少一部分进行医学成像(例如CT扫描等)，例如在手术之前和/或期间进行。可以在医学成像中识别患者体内目标部位的位置。医疗装置可以被引入患者体内，以便朝向目标部位前进。例如，医疗装置可以经由患者的气道被引入，以便朝向患者肺部的目标部位前进。医疗装置可以包括末端执行器(例如消融装置)，其定位在医疗装置的远端上，例如用于执行治疗手术。医疗装置还可以包括位于医疗装置的远端上的传感器，例如被配置成产生指示超声医学图像的信号的换能器。在一些情况下，医疗装置可以不包括照相机、光源或透镜中的一个或多个。导航系统可以被配置成接收由传感器产生的信号，例如从传感器接收非光学体内图像数据。导航系统可以包括经过训练的机器学习模型，该模型被配置为基于从传感器接收的非光学体内图像数据来确定在医学成像数据中医疗装置的远端在患者体内的位置。导航系统可以修改医学成像数据，以便包括位置指示符，该位置指示符指示由医学成像数据描绘的患者的解剖结构内的医疗装置的远端的位置，并且可以使显示器输出修改的医学成像数据。例如，随着医疗装置的远端在患者的解剖结构中行进，显示器可以描绘在医学成像数据中医疗装置的远端的实时位置。

在另一个示例性使用情形中，可以训练机器学习模型来确定推进到患者的解剖结构中的医疗装置的远端在医学成像数据中的位置。可以将包括一个或多个个体的解剖结构的至少一部分的医学成像数据和非光学体内图像数据的训练数据输入到机器学习模型中。包括将非光学体内图像数据与医学成像数据中位置相关联的配准数据的基准真实值(ground truth)也可以被输入到机器学习模型中。训练数据和基准真实值可用于机器学习模型，以开发可由机器学习模型使用的非光学体内图像数据和医学成像数据之间的关联，来确定输出的医疗装置的远端位置。

在一些情况下，基准真实值可以采用额外的导航技术来至少部分地生成。例如，可以使用包括传感器(例如超声波换能器)且还包括光学传感器(例如照相机)的医疗装置来获得训练数据和基准真实值。视频支气管镜检查可用于确定和/或验证医疗装置的位置，以便在来自传感器的信号和医疗装置在医学成像数据中的位置之间产生地面真实关联。此外，可以通过将经由经过训练的模型确定的位置与经由视频支气管镜检查确定的位置进行比较来验证机器学习模型的训练。

虽然上面的几个例子涉及超声，但是应该理解，根据本公开的技术可以适用于任何合适类型的非光学成像。在一个示例中，压力传感器、医学成像技术或类似物可以用于确定患者体内的压力、温度或其他生物或生理特征。医疗装置可以包括替代或除了上述传感器之外的另一传感器，该传感器被配置成感测这样的生物或生理特征中的一个或多个特征。身体内的一个或多个确定的特征和由另一传感器感测的一个或多个确定的特征可以用作机器学习模型的输入。此外，虽然上面的几个实施方式涉及肺的外围内的组织的消融和/或肺的外围内的组织中的导航和/或支气管镜检查，但是应该理解，根据本公开的技术可以适用于涉及医疗装置的体内导航的任何合适的手术，包括例如心脏或心脏瓣膜手术，肺、胃肠、泌尿或其他身体道中的任何手术，使用内窥镜、支气管镜、结肠镜、输尿管镜或其他类似装置的任何程序，和/或任何治疗或诊断过程，包括例如活检、消融、切除、解剖、注射、药物或治疗剂的应用等，或其组合。还应该理解，上面的例子仅仅是说明性的。本公开的技术和技艺可以适用于任何合适的活动。

下面介绍了机器学习技术的各个方面，其可以适用于医疗装置的体内导航。如下面将更详细讨论的，适于参考医学成像数据确定医疗装置在患者的解剖结构内的位置和/或行进的路径的机器学习技术可以包括根据本公开的一个或多个方面，例如，训练数据的具体选择、机器学习模型的具体训练过程、适于与经过训练的机器学习模型一起使用的具体装置的操作、与具体数据(诸如医学成像数据)结合的机器学习模型的操作、机器学习模型对这种具体数据的修正等，和/或基于本公开本领域普通技术人员可以显而易见的其他方面。

图1描绘了可用于本文中所呈技术的示例性环境100。一个或多个用户装置105、一个或多个医疗装置110、一个或多个显示器115、一个或多个医疗提供者120以及一个或多个数据存储系统125可以通过电子网络130进行通信。如下面将进一步详细讨论的，一个或多个导航系统135可以通过电子网络130与环境100的一个或多个其他组件通信。一个或多个用户装置105可以与用户140相关联，例如，与生成、训练或调整用于提供医疗装置的体内导航的机器学习模型；生成、获得或分析医学成像数据；和/或执行医疗手术中的一个或多个相关联的用户。

在一些实施方式中，环境100的组件与公共实体(例如医院、设施等)相关联。在一些实施方式中，环境的一个或多个组件与不同于另一个实体的实体相关联。环境100的系统和装置可以以任何排布进行通信。如本文将讨论的，除其他活动外，环境100的系统和/或装置可以通信，以便生成、训练或使用机器学习模型中的一个或多个来为医疗装置110提供体内导航。

用户装置105可以被配置成使用户140能够访问环境100中的其他系统和/或与之交互。例如，用户装置105可以是计算机系统，例如台式计算机、移动设备、平板电脑等。在一些实施方式中，用户装置105可以包括安装在用户装置105的存储器上的一个或多个电子应用，例如程序、插件、浏览器扩展等。在一些实施方式中，电子应用可以与环境100中的一个或多个其他组件相关联。例如，电子应用可以包括系统控制软件、系统监控软件、软件开发工具等中的一个或多个。

图2A描绘了医疗装置110的示例性实施方式。然而，应该理解，图2中的实施方式仅是说明性的，并且可以使用用于体内导航到目标部位的任何合适的医疗装置。医疗装置110可以包括经由管215连接到近端210的远端205。

远端205可以包括一个或多个部分220，该部分220被配置成容纳组件和/或联通设置在管215中的内腔。例如，至少一个传感器225可以设置在部分220中的一个中。在另一个示例中，具有末端执行器230的工具可以设置在另一个部分220中，例如消融装置、镊子、网、用于吸入或输出流体和/或材料的孔等。传感器225可以包括例如换能器、电磁位置传感器、光纤位置传感器等。在图2所示的实施方式中，传感器225包括换能器阵列，但是应该理解，可以使用任何合适类型的非光学传感器。

在一些实施方式中，管215可以由柔性材料形成。管215可以包括在远端205和近端210之间连通的一个或多个内腔(未示出)。在一些实施方式中，管215还可以包括和/或容纳其他元件，例如线连接器，该线连接器被配置成在远端205处的组件(例如传感器225)和近端210之间传送数据。

近端210可以包括例如手柄部分245，其使得操作者能够操纵、前进、缩回和/或定向远端205。近端210还可以包括一个或多个接口250，例如脐部，以输出数据、发送或接收电信号和/或将流体或材料传送到医疗装置110或从医疗装置110传出。用于数据的接口可以包括有线或无线连接中的一个或多个。接口250还可以被配置为接收用于操作传感器225或末端执行器230的能量。

在该实施方式中，医疗装置110不包括视觉导航元件，例如光纤线和透镜、照相机等。结果是，远端205以及在一些实施方式中的管215可以具有相对于传统医疗装置(例如支气管镜)较小的外径。例如，医疗装置110可以具有适于导航到肺的外周的外径，例如直径为3毫米或更小。

在一些实施方式中，医疗装置110或其至少一部分被配置为一次性的，例如一次性使用的装置。通过不包括视觉导航元件，相对于传统的医疗装置，可以降低由于处置医疗装置110而产生的成本。

再次参考图1，显示器115可以被配置为输出从环境100中的其他系统接收的信息。例如，显示器115可以是监视器、平板电脑、电视、移动设备等。在一些实施方式中，显示器115可以集成到环境的另一个组件中，例如用户装置105。

医疗提供者120可以包括和/或表示使用计算机系统的人、计算机系统和/或使用计算机系统的实体。例如，医疗提供者120可以包括医学成像装置(例如CT扫描仪)、实体(例如使用医学成像装置的医院或门诊设施)或医学数据交换系统，等等。医疗提供者120可以生成或以其他方式获得医学成像数据，例如通过对患者执行医学成像和/或执行对所获得的医学成像数据的分析。例如，医疗提供者120可以对患者执行CT扫描，并生成患者的解剖结构的至少一部分的三维模型和/或二维图像。医疗提供者120还可以获得任何合适的患者特定信息，例如年龄、病史等。医疗提供者120可以向环境100的一个或多个其他组件(例如导航系统135)提供医学成像数据和/或任何其他数据和/或提供对医学成像数据和/或任何其他数据的访问，如下面进一步详细讨论的。

数据存储系统125可以包括服务器系统、电子医学数据系统、计算机可读存储器，例如硬盘驱动器、闪存驱动器、磁盘等。在一些实施方式中，数据存储系统125包括应用编程接口和/或与应用编程接口交互，该应用编程接口用于将数据交换到其他系统，例如环境的一个或多个其他组件。数据存储系统125可以包括和/或充当医学成像数据的存储库或源。例如，由CT扫描产生的医学成像数据可以由数据存储系统125存储和/或由数据存储系统125提供给导航系统135，如下面更详细讨论的。

在各种实施方式中，电子网络130可以是广域网(“WAN”)、局域网(“LAN”)、个人局域网(“PAN”)等。在一些实施方式中，电子网络130包括互联网，并且在各种系统之间提供的信息和数据在线发生。“在线”可以指从远离连接到互联网的其他装置或网络的位置访问或连接到源数据或信息。替换性地，“在线”可以指通过移动通信网络或装置连接或访问电子网络(有线或无线)。互联网是计算机网络的全球性系统，其是多个网络组成的网络，其中连接到网络的一台计算机或其他设备上的一方可以从任何其他计算机获取信息，并与其他计算机或设备上的各方进行通信。互联网中使用最广泛的部分是万维网(通常缩写为“WWW”或称为“Web”)。“网站页面”通常包括位置、数据存储等，其例如由计算机系统托管和/或操作，以便能够在线访问，并且其可以包括被配置成使程序(例如网络浏览器)执行操作(例如发送、接收或处理数据、生成视觉显示和/或交互界面等)的数据。

如下文进一步详细讨论的，导航系统135可以执行以下中的一项或多项：生成、存储、训练或使用机器学习模型，该机器学习模型被配置为确定医疗装置110的远端205的位置；调整(修改)患者的医学成像数据(例如基于远端205的经确定的位置)，以包括该位置的视觉指示符(视觉标示)；操作显示器115以显示调整后的医学成像数据，以及其他活动。导航系统135可以包括机器学习模型和/或与机器学习模型相关联的指令，例如，用于生成机器学习模型、训练机器学习模型、使用机器学习模型等的指令。导航系统135可以包括用于检索医学成像数据、调整医学成像数据(例如基于机器学习模型的输出)和/或操作显示器115以输出医学成像数据(例如基于机器学习模型调整的医学成像数据)的指令。导航系统135可以包括训练数据，例如来自一个或多个个体的医学成像数据和非光学体内图像数据，并且可以包括基准真实值，例如将非光学体内图像数据与医学成像数据中的位置相关联的配准数据。

在一些实施方式中，非光学图像数据包括超声数据。超声数据通常包括与患者的解剖结构的一部分的内部结构相关联的数据，其是通过将超声施加于患者的解剖结构而产生的，其中使用探针(例如超声换能器)将高频振动脉冲传输到组织中。振动(至少部分地)从表示体内声阻抗变化的表面(例如组织的结构或几何形状)反射。返回到换能器的被反射的振动可以(例如经由管215中的导线)传输到近端210上的连接器和/或医疗提供者系统120，用于处理成图像数据。图像数据的生成是基于施加振动后反射返回到换能器所用的时间，以及返回的反射的强度。传统的换能器通常被配置成仅在一个维度上接收信号响应的变动。换句话说，对于换能器的静态位置，只可接收超声图像的一列像素数据。因此，为了生成图像，换能器通常扫过整个视场(例如来回旋转)，以便连续地向所述数据添加和/或刷新数值的列。

因为数据是基于接收到的反射而收集的，所以通常，为了接收在某个位置处的信号，换能器必须与周围组织接触。然而，情况可能并不总是如此，尤其是当医疗装置的直径小于医疗装置导航于其中的解剖结构的尺寸时。由于换能器和周围组织产生的空气或气体间隙等通常导致来自换能器的信号被反射回来。图2B描绘了在空气中工作的换能器的示例性超声图像，使得形成基本上空白的超声图像。图2C描绘了在气道中工作的换能器的示例性超声图像，其中在换能器的扫描的至少一部分上，在换能器和周围组织之间存在间隙。该间隙导致图像数据中的伪影280，称为振铃(“ringdown”)伪影，其通常被认为降低了图像数据的诊断用途。然而，图像数据(即使存在这种伪影)仍然可以用于导航的目的。例如，振铃伪影的存在可以是指示医疗装置行进于其中的内腔的直径对于该装置来说太大，这可能是指示装置可能没有充分推进到腔直径较小的肺的外周。下面更详细地讨论这种成像数据的进一步用途。

如上所述，在一些实施方式中，医疗装置110包括换能器阵列。换能器阵列可以包括例如彼此平行布置的多个换能器，例如分布在远端外圆周的至少一部分上方。结果，可以在不旋转传感器225的情况下一次感测多列数据。在各种实施方式中，可以使用并联的任何合适的传感器。附加的换能器有效地增加了传感器225的静态视场。在各种实施方式中，传感器225、医疗装置110和/或另一系统被配置成控制使用具有并联换能器的传感器的数据采集和/或控制将来自并联换能器的信号组合成组合的医学成像数据。

在一些实施方式中，除了导航系统135之外的系统或装置用于生成和/或训练机器学习模型。例如，这种系统可以包括用于生成机器学习模型、训练数据和基准真实值的指令，和/或用于训练机器学习模型的指令。然后可以将得到的经过训练的机器学习模型提供给导航系统135。

通常，机器学习模型包括一组变量，例如节点、神经元、过滤器等，经由应用训练数据将其调整(例如加权或偏置)成不同的值。在监督学习中(例如在所提供的训练数据的基准真实值是已知的情况下)，可以通过基于高斯噪声、预训练模型等(例如随机地)将训练数据的样本馈送到具有设置为初始化值的各变量的模型中来进行训练。可以将输出与基准真实值比较以确定误差，然后误差可以通过模型反向传播以调整变量的值。

训练可以以任何合适的方式进行，例如分批进行，并且可以包括任何合适的训练方法，例如随机或非随机梯度下降、梯度提升、随机森林等。在一些实施方式中，训练数据的一部分可以在训练期间被保留和/或用于验证经过训练的机器学习模型，例如，将经训练的模型的输出与该部分训练数据的基准真实值进行比较，以评估经训练的模型的准确度。机器学习模型的训练可以被配置成使机器学习模型学习非光学体内图像数据和医学成像数据之间的关联，使得经过训练的机器学习模型被配置成基于所学习的关联，响应于输入的非光学体内图像数据和输入的医学成像数据来确定输入的医学成像数据内的输出位置。

如上所提到，机器学习模型可以被配置为接收作为输入医学成像数据和非光学体内图像数据。这种数据通常可以表示为像素或体素的阵列。例如，单色二维图像可以表示为对应于图像像素强度的值的二维阵列。三维成像数据(例如由CT扫描等产生的三维成像数据)可以表示为三维阵列。机器学习模型的变量对输入数据执行操作，以便生成输出。如上所述，输出可以是医学成像数据内的位置，例如三维坐标或指示该位置的数据。应当理解，前述数据的维度的数量是示例性的，并且可以使用任何合适类型的数据，例如具有时间成分的数据。

在各种实施方式中，机器学习模型的变量可以以任何合适的排列相互关联，以便生成输出。例如，在一些实施方式中，机器学习模型可以包括图像处理架构，其被配置为识别、隔离和/或提取医学成像数据和/或非光学体内图像数据中的一个或多个的特征、几何形状和/或结构。例如，机器学习模型可以包括一个或多个卷积神经网络(“CNN”)，该卷积神经网络被配置为识别医学成像数据和/或非光学体内图像数据中的特征，并且可以包括进一步的架构(例如连接层、神经网络等)，该进一步的架构被配置为确定所识别的特征之间的关系，以便确定医学成像数据中的位置。

在一些情况下，训练数据和/或输入数据的不同样本可以不是独立的。例如，随着医疗装置110的远端205在患者的解剖结构内移动，由传感器225在当前位置感测到的非光学体内图像数据可以与由传感器225在先前位置感测到的非光学体内图像数据相关。换句话说，各因素(例如患者的解剖结构的几何特征中的一个或多个和远端225的连续行进)可以导致由传感器225感测的非光学体内图像数据作为相关的连续实例。因此，在一些实施方式中，机器学习模型可以被配置为考虑和/或确定多个样本之间的关系。

例如，在一些实施方式中，导航系统135的机器学习模型可以包括递归神经网络(“RNN”)。一般来说，RNN是一类前馈神经网络，可以很好地适应处理一系列输入。在一些实施方式中，机器学习模型可以包括长短期记忆(“LSTM”)模型和/或序列对序列(“Seq2Seq”)模型。LSTM模型可以被配置为从考虑至少一些先前样本和/或输出的样本生成输出。Seq2Seq模型可以被配置成例如接收非光学体内图像序列作为输入，并在医学成像数据中生成位置序列(例如路径)作为输出。

尽管在图1中被描绘为单独的组件，但是应该理解，在一些实施方式中，环境100中的组件或者组件的一部分可以与一个或多个其他组件集成或结合到其中。例如，显示器115的一部分可以集成到与医疗提供者120相关联的计算机系统或实体用户装置105中。在另一个示例中，导航系统135可以与医疗提供者系统120和/或数据存储系统125集成。在一些实施方式中，上面讨论的一个或多个组件的操作或方面可以分布在一个或多个其他组件中。可以使用环境100的各种系统和装置的任何合适的布置和/或集成。

将在下面的方法中进一步详细地讨论机器学习模型的其他方面和/或其如何与医疗装置110和/或医疗手术结合使用，以将医疗装置导航到患者的解剖结构内的目标部位。在以下方法中，各种动作可以被描述为由图1中的组件，例如导航系统135、用户装置105、医疗装置110、显示器115、医疗提供者系统120或其组件，进行或执行。然而，应该理解，在各种实施方式中，上面讨论的环境100的各种组件可以执行指令或执行动作(包括下面讨论的动作)。由装置执行的动作可以被认为是由与该装置相关联的处理器、致动器等执行的。此外，应该理解，在各种实施方式中，可以以任何合适的方式添加、省略和/或重新排列各种步骤。

图3示出了用于训练机器学习模型的示例性方法，以响应于第一医学成像数据的输入和从位于医疗装置远端上的传感器接收的第一非光学体内图像数据的输入，在第一医学成像数据内确定医疗装置110的远端205在患者的解剖结构中的输出位置，例如在上面讨论的各种示例中。在步骤305，医疗提供者120可以获得一个或多个个体的医学成像数据。例如，医疗提供者120可以对一个或多个个体的解剖结构的一部分(例如，个体肺的外围部分)执行CT扫描，和/或可以从另一源(例如，数据存储系统115)或另一实体(例如，医院或门诊设施)(例如，经由电子医学数据库)检索这种医学成像数据。在一些实施方式中，可以基于一个或多个标准对个体进行分类，例如，年龄、性别、身高、体重和/或任何其他合适的人口统计数据。在一些实施方式中，个体可以不是人。例如，训练数据可以从使用与人类至少有一些解剖学相似性的物种(例如猪等)的动物研究中生成。通常，获得的医学成像数据可用于描绘每个个体的解剖结构的部分的视觉表示。

在步骤310，医疗提供者120可以获得该一个或多个个体的解剖结构的至少一部分的非光学体内图像数据。例如，医疗提供者120(例如医生或操作者等)可以将医疗装置(例如医疗装置110等)引入该一个或多个个体的体内，并且随着医疗装置的远端被导航到相应个体内的目标部位，捕获非光学体内图像数据。

在一些实施方式中，非光学体内图像数据是超声数据。在一些实施方式中，医疗装置包括换能器阵列，使得在不需要扫描或旋转远端的情况下接收超声数据。在一些实施方式中，非光学体内图像数据包括与解剖结构的内部的四周的至少一部分相关联的图像数据。例如，在一些实施方式中，非光学体内图像数据的视场可以是30度、90度、180度、360度等。在一些实施方式中，换能器阵列被配置成连续地捕获数据，例如，使得随着换能器阵列在个体的解剖结构内行进，换能器阵列的每个片段捕获数据值的连续序列。

在步骤315，随着捕获非光学图像数据，医疗提供者120可以获得与医疗装置的远端的位置相关联的位置信息。可以使用任何合适类型的位置信息。在一些实施方式中，医疗装置110的远端可以包括电磁位置传感器，例如，其使用一个或多个电磁信号来确定位置传感器的三维位置。在一些实施方式中，医疗装置的远端可以包括光学导航元件，例如照相机、光纤、透镜等，其使得医疗提供者120能够目视检查医疗装置的远端在患者的解剖结构内的位置，并且输入这样的数据(例如经由用户装置105)。在一些实施方式中，医疗装置110可以包括光纤形状感测机构。在一些实施方式中，位置信息包括与医疗装置110的形状相关联的形状信息。在一些实施方式中，外部扫描仪(例如CT扫描仪、X射线扫描仪等)可以结合医疗装置在个体内的行进来操作，并且可以用于确定个体内远端的位置。应该理解，虽然该方法中的医疗装置可以利用一些前述光学导航元件和技术来用于生成训练数据的目的，如下面进一步详细讨论的，但是不要求在使用经过训练的机器学习模型的过程中使用这些元件或技术，即使当用于训练模型的训练数据是用使用光学导航的医疗装置收集的。

在一些实施方式中，除了医学成像数据和/或非光学体内图像数据之外和/或基于医学成像数据和/或非光学体内图像数据，医疗提供者120可以获得附加数据。例如，在一些实施方式中，医疗提供者120可以从医学成像数据和/或非光学体内成像数据中提取至少一个三维结构。例如，医疗提供者120可以基于医学成像数据生成三维模型。

在步骤320，导航系统135可以接收所获得的医学成像数据、非光学体内图像数据、位置信息和任选的附加数据，并且可以生成将捕获非光学体内图像数据的位置与医学成像数据中的位置相关联的配准数据。在一些实施方式中，生成配准数据可以包括将个体的解剖结构与医学成像数据和/或生成的三维模型配准，然后将捕获非光学体内图像数据的位置与所配准的医学成像数据中的相应位置相关联。在一些实施方式中，医疗提供者可以将从医学成像数据中提取的结构的位置与从非光学体内成像数据中提取的类似结构进行配准。可以使用任何适当的结构相似性度量。在一些实施方式中，医疗提供者120可以被配置成接收用户输入，以例如设置、调整或微调相对于医学成像数据的位置信息。例如，在一些实施方式中，显示器115可以结合光学导航元件的输出来输出医学成像数据，并使用户能够设置、选择、调整或调谐(微调)医学成像数据中医疗装置的远端的当前位置的位置。在一些实施方式中，医疗装置110的形状可以与医学成像数据的几何形状配准。以上仅是示例，并且可以使用任何合适的技术，以利用位置信息将医学成像数据与非光学体内图像数据配准。

在步骤325，导航系统135可以将一个或多个个体的解剖结构的至少一部分的医学成像数据和非光学体内图像数据输入到机器学习模型中作为训练数据。在一些实施方式中，分批输入训练数据。在一些实施方式中，训练数据的至少一部分从机器学习模型中保留，以用作验证数据。在一些实施方式中，训练数据作为对应于一个或多个个体中的每一个的相应序列被输入。

在步骤330，导航系统135可以将配准数据作为基准真实值输入到机器学习模型中。在一些实施方式中，步骤330与步骤325同时、并行或依次例如交替执行。

在步骤335，导航系统135可以使用训练数据和基准真实值以及机器学习模型，以生成可由机器学习模型使用的非光学体内图像数据和医学成像数据之间的关联，来确定医疗装置的远端的输出位置。例如，导航系统135可以，例如对于训练数据的每个样本、一批训练数据等，使用机器学习模型来确定训练数据和基准真实值之间的误差，并且反向传播该误差，以便调整机器学习模型的一个方面。通过调整机器学习模型的各方面(例如变量、权重、偏差、节点、神经元等)，对机器学习模型进行训练，以学习可由机器学习模型使用的非光学体内图像数据与医学成像数据之间的关联，从而确定医疗装置远端的输出位置。

在一些实施方式中，通过学习关联，机器学习模型可以被配置为通过使用第一非光学体内图像数据预测医疗装置110的远端205从第一医学成像数据中的先前位置的行进路径来确定医疗装置110的远端205在第一医学成像数据中的位置。例如，在一些实施方式中，机器学习模型和/或导航系统135可以被配置成随时间跟踪和/或存储远端205的位置和/或基于先前的位置确定远端205的当前位置。在示例性实施方式中，机器学习模型可以包括长短期存储器网络或序列到序列模型中的一个或多个，例如，如在上面的一个或者多个示例中所讨论的。

在一些实施方式中，机器学习模型被配置为学习医疗装置110的形状(例如，随着医疗装置110的移动，该形状随时间变化)与医学成像数据内的远端205的位置之间的关联。

在一些实施方式中，机器学习模型可以被配置为学习基于非光学体内图像数据确定的一系列维度或测量值(例如直径，诸如身体内腔的横截面直径)与医学成像数据内的行进路径之间的关联。例如，在一些实施方式中，医疗提供者120和/或导航系统135可以确定医学成像数据中的位置处的直径，和/或可以确定非光学体内图像数据的直径，并且可以使用这种确定的直径作为机器学习模型的进一步输入。在一些实施方式中，医学成像数据中位置的直径可以基于与医学成像数据相关联的解剖结构的部分的几何形状来确定。在一些实施方式中，医学成像数据中的位置的直径和非光学体内图像数据被用作训练数据，并且所确定的位置的直径被用作机器学习模型和/或另一机器学习模型的基准真实值，该机器学习模型被配置为响应于非光学体内图像数据的输入而输出直径。可以使用任何合适的技术，以基于非光学体内图像数据来确定解剖结构的内部部分的直径。虽然上面的一些实施方式涉及直径，但是应该理解，在至少一些实施方式中，维度(尺寸)或测量值不限于圆或圆的近似，并且可以使用任何合适的维度、测量值和/或几何形状。

任选地，在步骤340，导航系统135可以验证经过训练的机器学习模型。例如，导航系统135可以输入训练数据(例如在训练期间从机器学习模型保留的训练数据的一部分)作为验证数据，并使用经过训练的机器学习模型来生成医学成像数据内的输出位置。然后，导航系统135可以将生成的输出的位置与来自对应于输入验证数据的基准真实值的配准数据的位置进行比较，以生成经过训练的机器学习模型的准确度。例如，导航系统135可以基于输出中的每个位置和配准数据中的相应位置之间的平均距离来确定准确度。可以使用任何合适的准确度度量。导航系统135可以分别基于准确度是高于还是低于预定阈值来验证或拒绝机器学习模型的训练。

图4示出了用于提供医疗装置的体内导航的示例性过程，例如通过利用经过训练的机器学习模型，诸如根据上文讨论的一个或多个实施方式训练的机器学习模型。在步骤405，导航系统135可以接收与患者的解剖结构的至少一部分相关联的第一医学成像数据。第一医学成像数据可以与患者的CT扫描等相关联。可以从数据存储系统125接收第一医学成像数据。例如，第一医学成像数据可以已经在先前时间(例如在手术前)获得，例如通过患者的医学成像获得。第一医学成像数据可以从医疗提供者120接收，例如从结合该方法操作的医学成像扫描装置例如CT扫描仪等接收。解剖结构的该至少一部分可以是患者肺的外围。第一医学成像数据可以识别患者的解剖结构内的目标部位，例如，待消融的不期望组织的位置、疾病或痼疾的位置，诸如损伤、异物肿块或任何其他合适的医学相关的位置。

在步骤410，医疗提供者120可以将医疗装置110的远端205插入患者体内，并将远端205朝向目标部位推进。例如，医疗提供者120可以通过经支气管、经内窥镜、经腹腔镜或任何其他合适的技术将远端205插入患者体内。

在步骤415，导航系统135可以从位于医疗装置110的远端205上的传感器接收第一非光学体内图像数据。第一非光学体内图像数据可以包括超声数据。传感器可以包括超声换能器。超声换能器可以是换能器阵列。第一非光学体内图像数据可以包括顺着圆周的扫描(例如，具有30度、90度、180度、360度等的视场)延伸的非光学图像数据，使得可以在不扫描或旋转传感器的情况下获得视场。第一非光学图像数据可以被接收，例如经由医疗装置110的近端210上的接口来接收。

任选地，在步骤420，导航系统135可以(例如经由接口)从位于医疗装置110的远端205附近的位置传感器接收位置信号。位置信号可以包括能用于将位置传感器的位置定位到预定区域的信息。例如，位置信号可以包括准确到大约六英寸、三英寸、一英寸等的三维位置信息。在各种实施方式中，位置传感器可以包括例如电磁位置传感器、光纤形状感测机构等等，或其组合。在一些实施方式中，位置信号包括与医疗装置110等的形状相关联的信息。

任选地，在步骤425，导航系统135可以从第一医学成像数据或第一非光学体内图像数据中的一个或多个中提取一个或多个三维结构。在一些实施方式中，在步骤405接收的数据可以包括一个或多个提取的结构，例如，患者的解剖结构的几何三维模型等。在一些实施方式中，提取的结构包括患者的解剖结构的内部部分的直径。

在步骤430，导航系统135可以使用经过训练的机器学习模型，例如根据图3的方法和/或上面讨论的其他实施方式训练的模型，来确定医疗装置110的远端205在第一医学成像数据中的位置。例如，经过训练的机器学习模型可以已经基于(i)一个或多个个体的解剖结构的至少一部分的第二非光学体内图像数据和第二医学成像数据和(ii)将第二非光学体内图像数据与第二医学成像数据中的位置相关联的作为基准真实值的配准数据来被训练。训练可以已经被配置成使经过训练的机器学习模型学习非光学体内图像数据和医学成像数据之间的关联，使得经过训练的机器学习模型被配置成基于所学习的关联响应于输入的医学成像数据和输入的非光学体内图像数据来确定输入医学成像数据内的输出位置。在一些实施方式中，经过训练过的机器学习模型包括长短期记忆网络或序列对序列模型中的一个或多个。

在一些实施方式中，导航系统135可以使用位置信号将医疗装置的远端的位置定位到患者的解剖结构的部分内的区域。在一些实施方式中，导航系统135将输入到经过训练的机器学习模型中的第一医学成像数据限制到仅仅所定位的区域。在一些实施方式中，导航系统135输入所定位的区域作为经过训练的机器学习模型的进一步输入。在一些实施方式中，经过训练的机器学习模型还被配置为接收位置信号作为输入。在一些实施方式中，位置信号包括三维坐标、三维区域或体积、医疗装置110的形状(例如与光纤形状传感器相关联的形状)等中的一个或多个。

在一些实施方式中，导航系统135被配置成将从第一非光学体内图像数据中提取的至少一个结构与第一医学成像数据中患者的解剖结构的至少一部分的几何形状配准，例如，与从第一医学成像数据中提取的至少一个结构配准。在一些实施方式中，进一步基于至少一个三维结构与几何形状的配准，确定医疗装置110的远端205的位置。例如，配准和/或一个或多个提取的结构可以用作向经过训练的机器学习模型的进一步输入。在另一个示例中，配准可以用于识别解剖结构的所定位的区域以确定所述位置。

在一些实施方式中，经过训练的机器学习模型被训练成学习非光学体内图像数据和解剖结构的内部部分的维度(尺寸)或测量值，例如，直径之间的关联。在一些实施方式中，导航系统135可以使用经过训练的机器学习模型来确定在医疗装置110的远端205的当前位置处的患者的解剖结构的内部部分的直径。在一些实施方式中，导航系统135可以将当前直径与医学成像数据的几何形状进行比较，以识别医学成像数据中与确定的直径匹配的位置，例如，以便确定医疗装置110的远端205的位置。

在一些实施方式中，经过训练的机器学习模型被训练，以学习非光学体内图像数据的非光学体内图像的序列与医学成像数据内的行进路径之间的关联。在一些实施方式中，经过训练的机器学习模型被配置为通过利用第一非光学体内图像数据预测医疗装置的远端205从第一医学成像数据中的先前位置的行进路径来确定医疗装置的远端205在第一医学成像数据中的位置。例如，在一些实施方式中，经过训练的机器学习模型可以被配置为接受第一医学成像数据和在第一非光学体内成像数据中的非光学体内图像的序列作为输入，并生成第一医学成像数据中的位置的序列(例如路径)作为输出。

在一些实施方式中，经过训练的机器学习模型被训练，以学习诸如基于非光学体内图像数据而确定的那些维度或测量值，例如直径，的序列与医学成像数据内的行进路径之间的关联。经过训练的机器学习模型可以被配置为通过利用第一非光学体内图像数据预测指示医疗装置110的远端205从第一医学成像数据中的先前位置的行进路径的序列来确定医疗装置110的远端205在第一医学成像数据中的位置。

在步骤435，导航系统135可以修改第一医学成像数据，以包括指示医疗装置的远端的所确定位置的位置指示符。在各种实施方式中，位置指示符可以包括以下中的一个或多个：指示远端205的位置的图形或对象，例如几何形状(诸如如箭头、圆圈等)；指示远端205的路径的图形或对象，例如实线、虚线、已经通过的第一医学成像数据的部分的颜色等。在一些实施方式中，位置指示符包括医学成像数据中医疗装置110和/或远端205的表示。在一些实施方式中，第一医学成像数据可以被进一步调整以包括从第一医学成像数据或第一非光学体内成像数据中的一个或多个中提取的至少一个结构的描述。在一些实施方式中，第一医学成像数据可以被进一步调整以包括远端205的当前位置处的患者的解剖结构的渲染或三维模型。在一些实施方式中，第一医学成像数据可以被进一步调整以包括基于第一非光学体内图像数据生成的图像。在一些实施方式中，第一医学成像数据可以被进一步调整以包括附加数据的视觉描述，例如远端205和目标部位之间的距离，或者(例如由导航系统135确定的)远端205已经到达目标部位的确认。

在步骤440，导航系统135可以使显示器115输出包括位置指示符的经过修改的第一医学成像数据。例如，显示器115可以将第一医学成像数据显示为患者的解剖结构的地图，其中位置指示符识别医学成像装置的远端205的当前位置。

图4B和4C描绘了可由导航系统135产生的输出475的不同的示例性实施方式。如图4B和4C所示，由导航系统135产生的输出475可以包括以下的一个或多个：描绘了患者的解剖结构的至少一部分的医学成像数据477，覆盖在医学成像数据477上并指示医疗装置110的当前位置和/或过去位置的位置信息479和/或路径信息481，覆盖在医学成像数据的相应位置处的超声成像数据483等。

在一些实施方式中，导航系统135、用户装置105、或者显示器115的触摸屏输入等被配置成接收来自用户140的输入以例如操纵第一医学成像数据的视角，以在输出中包含、移动、调整和/或移除进一步的信息，例如基于第一非光学体内图像数据或上面讨论的附加数据生成的图像。

再回到图4A，任选地，在步骤445，医疗提供者120可以移动医疗装置110，例如，使得远端205在患者的解剖结构内的位置改变。

任选地，在步骤450，可以迭代步骤415到步骤440中的一个或多个，例如，以便考虑医疗装置110的远端205的新位置。例如，导航系统135可以从传感器接收进一步的非光学体内图像数据，并且可以使用经过训练的机器学习模型来基于进一步的非光学体内图像数据来确定医疗装置110的远端205的更新位置。此外，导航系统135可以更新第一医学成像数据以基于医疗装置110的远端205的更新位置来调整位置指示符，并且可以更新显示器115以输出更新的第一医学成像数据。在一些实施方式中，这种迭代可以实时或接近实时地发生，使得显示器115被配置为输出医疗装置110的远端205的实时位置。

任选地，在步骤455，导航可以被配置成使得显示器115在导航系统135确定远端205已经到达目标部位时输出目标部位确认。

任选地，在步骤460，医疗提供者120可以使用医疗装置110在目标部位处执行手术。例如，医疗提供者可以激活末端执行器230(例如消融装置)，以便消融目标部位的组织。

任选地，在步骤465，导航系统135和/或医疗提供者可以基于从远端205处的传感器接收的进一步的非光学体内图像数据来确认手术的完成。例如，该手术可以涉及对患者的解剖结构的几何形状的修正。导航系统135可以被配置为提取患者的解剖结构的一个或多个经过修正的结构，并将经过修正的结构与先前提取的结构进行比较。例如，第一医学成像数据可以已经识别出要消融的组织，并且导航系统135可以被配置成识别所述组织是否已经被消融或者仍然存在于患者体内。

在步骤470，医疗提供者120可以将医疗装置110从患者的身体中缩回。在一些实施方式中，医疗提供者120可以布置医疗装置110。

应当理解，本公开中的实施方式仅是示例性的，并且其他实施方式可以包括来自其他实施方式的特征的各种组合，以及附加的或更少的特征。例如，虽然上面的一些实施方式涉及肺的外围内的组织的消融。然而，也可以采用任何合适的手术。此外，虽然上面的一些实施方式涉及超声波，但是也可以使用任何合适的非光学图像模态或技术。在一个示例性实施方式中，代替传感器或除了传感器之外，医疗装置110包括光纤灯和可用于远端205的位置感测的接收器光纤。

一般来说，本公开中讨论的被理解为计算机可实现的任何过程或操作(例如图3和4所描绘的过程)可以由计算机系统的一个或多个处理器来执行，例如图1的环境100中的任何系统或装置，如上所述。由一个或多个处理器执行的过程或过程步骤也可以被称为操作。一个或多个处理器可以被配置为通过访问指令(例如，软件或计算机可读代码)来执行这样的过程，当由一个或多个处理器执行时，指令导致一个或多个处理器来执行过程。指令可以存储在计算机系统的存储器中。处理器可以是中央处理单元(CPU)、图形处理单元(GPU)或任何合适类型的处理单元。

计算机系统(例如实现上述示例中的过程或操作的系统或装置)可以包括一个或多个计算装置，例如图1中的一个或多个系统或装置。计算机系统的一个或多个处理器可以包括在单个计算装置中，或者分布在多个计算装置间。计算机系统的存储器可以包括多个计算装置中的每个计算装置的相应存储器。

图5是计算机500的简化功能框图，该计算机500可以被配置为,根据本公开的示例性实施方式，用于执行图3和4的方法的装置。例如，根据本公开的示例性实施方式，计算机500可以被配置为导航系统135和/或另一个系统。在各种实施方式中，本文中任何系统可以是计算机500，包括例如用于分组数据通信的数据通信接口520。计算机500还可以包括用于执行程序指令的以一个或多个处理器形式的中央处理单元(“CPU”)502。计算机500可以包括内部通信总线508和存储单元506(例如ROM、HDD、SDD等)，其可以在计算机可读介质522上存储数据，尽管如此计算机500也可以经由网络通信接收编程和数据。计算机500还可以具有存储用于执行本文中给出的技术的指令524的存储器504(例如RAM)，尽管如此指令524也可以临时或永久存储在计算机500的其他模块(例如，处理器502和/或计算机可读介质522)中。计算机500还可以包括输入和输出端口512和/或显示器510，以连接输入和输出装置，例如键盘、鼠标、触摸屏、监视器、显示器等。各种系统功能可以在许多类似的平台上以分布式方式实现，以分配处理负载。任选地，系统可以通过一个计算机硬件平台的适当编程来实现。

技术的各程序方面可以被认为是“产品”或“制造品”，通常以可执行代码和/或相关数据的形式存在于或体现在一种机器可读介质中。“存储”型介质包括计算机、处理器等或其相关模块的任何或所有的有形存储器，例如各种半导体存储器、磁带驱动器、磁盘驱动器等，其可以在任何时候为软件编程提供非暂时性存储。软件的全部或部分有时可以通过互联网或各种其他电信网络进行通信。例如，这种通信能够将软件从一台计算机或处理器加载到另一台计算机或处理器中，例如从移动通信网络的管理服务器或主计算机加载到服务器的计算机平台中和/或从服务器加载到移动装置中。因此，可以承载软件元素的另一种类型的介质包括光波、电波和电磁波，例如通过本地装置之间的物理接口、通过有线和光学座机网络以及通过各种空中链路使用的光波、电波和电磁波。携带这种波的物理元件(例如有线或无线链路、光链路等)也可以被认为是承载软件的介质。如本文所用，除非限于非暂时的、有形的“存储”介质，否则诸如计算机或机器“可读介质”之类的术语是指参与向处理器提供指令以供执行的任何介质。

虽然示例性地参考传输数据来描述所公开的方法、装置和系统，但是应该理解，所公开的实施方式可以适用于任何环境，例如台式计算机或膝上型计算机、汽车娱乐系统、家庭娱乐系统等。此外，所公开的实施方式可以适用于任何类型的互联网协议。

应当理解，在本发明的示例性实施方式的上述描述中，本发明的各种特征有时被组合在其单个实施方式、附图或描述中，目的是简化公开内容并有助于理解各种发明方面中的一个或多个方面。然而，该公开的方法不应被解释为反映这样的意图：所要求保护的发明需要比每个权利要求中明确列举的特征更多的特征。相反，如所附权利要求所反映的，发明方面在于少于单个前述公开实施方式的所有特征。因此，“具体实施方式”之后的权利要求在此明确地结合到该“具体实施方式”中，每个权利要求各自独立地作为本发明的单独的实施方式。

此外，虽然本文中描述的一些实施方式包括其他实施方式中包括的一些特征但不包括其他特征，但是如本领域技术人员所理解的，不同实施特征的各特征的组合意图在本发明的范围内，并且形成不同的实施方式。例如，在所附权利要求中，任何要求保护的实施方式都可以以任何组合使用。

因此，虽然已经描述了某些实施方式，但本领域技术人员将认识到，在不脱离本发明精神的情况下，可以对其进行其他修改和进一步的修改，并且旨在要求保护落入本发明的范围内的所有这些改变和修改。例如，可以从框图中添加或删除功能，并且可以在功能块之间交换操作。可以向本发明范围内描述的方法添加或删除步骤。

上述公开的主题被认为是说明性的，而不是限制性的，并且所附权利要求旨在涵盖所有这样的修改、增强和其他实现方式，其落入本公开的真正精神和范围内。因此，在法律允许的最大范围内，本公开的范围将由所附权利要求及其等同物的最广泛的允许解释来确定，并且不应受到前述详细描述的限制或限定。虽然已经描述了本公开的各种实现方式，但是对于本领域普通技术人员来说明显的是，在本公开的范围内可以做出很多实现方式。因此，除了根据所附权利要求及其等同物之外，本公开不受限制。

Claims (15)

1.一种用于提供医疗装置的体内导航的系统，包括：

存储器，其存储指令和经过训练的机器学习模型，其中：

所述经过训练的机器学习模型的训练是基于(i)一个或多个个体的解剖结构的至少一部分的训练用医学成像数据和训练用非光学体内图像数据和(ii)将所述训练用医学成像数据中的位置与所述训练用非光学体内图像数据相关联的作为基准真实值的配准数据，来进行的；并且

所述训练被配置为使所述经过训练的机器学习模型学习所述训练用非光学体内图像数据与所述训练用医学成像数据之间的关联；

显示器；以及

处理器，其可操作地连接到所述显示器和所述存储器，并且被配置为执行所述指令以执行操作，所述操作包括：

接收与患者的解剖结构的至少一部分相关联的输入医学成像数据；

从传感器接收输入非光学体内图像数据，所述传感器位于推进到所述患者的解剖结构的所述部分中的医疗装置的远端上；

使用所学习的关联来确定所述医疗装置的远端在所述输入医学成像数据中的位置；

修改所述输入医学成像数据，以包括位置指示符以指示所述医疗装置的远端的所确定的位置；以及

使所述显示器输出包括所述位置指示符的经修改的输入医学成像数据。

2.根据权利要求1所述的系统，其中所述操作还包括：

在所述医疗装置在所述患者的解剖结构的所述部分内移动时，从所述传感器接收进一步的非光学体内图像数据；

使用所学习的关联，以基于所述进一步的非光学体内图像数据来确定所述医疗装置的远端的更新的位置；

更新所述输入医学成像数据，以基于所述医疗装置的远端的更新的位置来调整所述位置指示符；以及

使所述显示器输出更新的输入医学成像数据。

3.根据权利要求2所述的系统，其中所述更新的位置的确定、所述输入医学成像数据的更新以及所述更新的输入医学成像数据经由显示器的输出实时或接近实时地发生，使得所述显示器被配置为输出所述医疗装置的远端的实时位置。

4.根据前述权利要求中任一项所述的系统，其中，所述经过训练的机器学习模型被配置为学习所述训练用非光学体内图像数据的非光学体内图像的序列与所述训练用医学成像数据内的行进的路径之间的关联。

5.根据前述权利要求中任一项所述的系统，其中，所述经过训练的机器学习模型被配置为通过使用所述输入非光学体内图像数据从所述输入医学成像数据中的先前位置预测所述医疗装置的远端的行进的路径来确定所述医疗装置的远端在所述输入医学成像数据中的位置。

6.根据前述权利要求中任一项所述的系统，其中：

这些操作还包括：

从所述输入非光学体内图像数据中提取至少一个三维结构；以及

将所述至少一个三维结构与来自所述输入医学成像数据的所述解剖结构的所述至少一部分的几何形状配准；并且

所述医疗装置远端的位置的确定还基于所述至少一个三维结构与所述几何形状的配准。

7.根据前述权利要求中任一项所述的系统，其中所述经过训练过的机器学习模型包括长短期记忆网络或序列对序列模型中的一个或多个。

8.根据前述权利要求中任一项所述的系统，其中：

所述操作还包括从位于所述医疗装置的远端附近的位置传感器接收位置信号；并且

所述医疗装置的远端的位置的确定还基于所述位置信号。

9.根据权利要求8所述的系统，其中：

所述操作还包括使用所述位置信号将所述医疗装置的远端的位置定位到所述患者的解剖结构的所述部分内的区域；并且

使用所学习的关联来确定所述医疗装置的远端在所述输入医学成像数据中的位置包括使用所学习的关联来识别所述远端在所定位的区域内的位置。

10.根据前述权利要求中任一项所述的系统，其中所述输入非光学体内图像数据包括来自相控换能器阵列的360度图像数据。

11.根据前述权利要求中任一项所述的系统，其中：

所述训练被配置为将所述训练用非光学体内图像数据与解剖结构的内部部分的直径相关联；并且

使用所学习的关联来确定所述医疗装置的远端的位置包括：

使用所学习的关联来确定在所述医疗装置的远端的当前位置处的患者的所述解剖结构的内部部分的直径；以及

将当前直径与所述输入医学成像数据的几何形状进行比较，以识别在所述输入医学成像数据中与所确定的直径相匹配的位置。

12.根据前述权利要求中任一项所述的系统，其中：

所述经过训练的机器学习模型被配置为学习基于所述训练用非光学体内图像数据而确定的直径的序列与所述训练用医学成像数据内的行进的路径之间的关联；并且

所述经过训练的机器学习模型被配置为通过使用所述输入非光学体内图像数据从所述输入医学成像数据中的先前位置预测所述医疗装置的远端的行进的路径来确定所述医疗装置的远端在所述输入医学成像数据中的位置。

13.根据前述权利要求中任一项所述的系统，其中所述患者的解剖结构的所述部分包括所述患者的肺的外周部分。

14.根据前述权利要求中任一项所述的系统，其中所述输入非光学体内图像数据是超声数据。

15.根据前述权利要求中任一项所述的系统，其中所述经过训练的机器学习模型被配置为基于从所述医疗装置的另一传感器接收到的与所述医疗装置相关联的形状信息来确定所述医疗装置的远端在所述输入医学成像数据中的位置。