CN117015347A - 介入设备的位移估计 - Google Patents

Abstract

提供了一种用于确定介入设备在管腔内的移动的系统。所述介入设备包括在所述管腔内部的远侧部分和在所述管腔外部的近侧部分，并且所述系统包括处理器。所述处理器被配置为：从超声换能器接收一幅或多幅图像，其中，所述图像表示内部具有介入设备的管腔；并且将所述一幅或多幅图像输入到机器学习算法中。所述机器学习算法被训练为学习在管腔内部的介入设备的一幅或多幅图像的内容与所述介入设备的所述远侧部分在与所述介入设备的所述远侧部分的移动方向平行或几乎平行的高程方向上的位移之间的关系，并且输出针对所述一幅或多幅图像的与所述介入设备的所述远侧部分在所述高程方向上的所述移动相对应的一维估计位移。

Description

介入设备的位移估计

技术领域

本发明涉及介入设备的移动的领域。具体地，本发明涉及基于超声图像来估计介入设备在管腔内部的位移的领域。

背景技术

血管内超声(IVUS)成像是一种使用超声从血管内对血管进行成像从而从放置在导管的顶端处的超声设备的位置提供360°视图的技术。在每个导管位置处，采集包含血管管腔、血管壁和更远处的一些相邻结构的二维(2D)图像。在血管疾病的情况下，图像还揭示恶性组织(例如钙和血栓)的组成和空间分布。

通过在导管拉回期间采集IVUS图像的序列，原则上，采集包括病变和通常狭窄区段的血管的3D体积数据集。为了处置受阻的血液流动，医师通常需要测量狭窄的和可能期望的管腔区域、疾病的纵向范围和任何侧分支的位置，以确定待处置的区段的长度。这些测量用于确定适当球囊或适当支架的直径和长度。

旋转IVUS导管在以下程度上类似于光学相干断层扫描(OCT)导管，两者除了机动化换能器旋转之外还都提供机动化拉回的程度。这就是为什么旋转IVUS和OCT导管使得能够提供病变血管区段的直径和长度两者。

然而，相控阵列IVUS导管根本不需要任何机动化。事实上，医师普遍更喜欢手动收回导管。不幸的是，他们以未知且通常随时间变化的速度这样做，妨碍了充分的3D评估。

医师对手动拉回的偏好以及心脏引起的换能器运动和运动反转的存在引起在拉回方向上的距离信息的丢失。该距离信息对于医师和自动检测和量化算法两者对IVUS数据的适当解读是至关重要的。

用于估计导管在管腔内部的运动的当前方法期望机动化的恒定拉回速度，并且仅关注导管的心脏引起的运动反转。此外，这些方法还需要在心动时相中分割数据(通过基于ECG的门控或基于图像的门控)并且使用稳定时相作为参考。

当前方法还需要大的时间搜索窗口，以便在足够大数量的先前帧内找到正确的“相似”帧；在计算上昂贵的操作。因此，需要一种用于估计导管在管腔内部的运动的改进方法。

发明内容

本发明由权利要求限定。

根据依据本发明的方面的示例，提供了一种用于确定介入设备在管腔内部的位移的系统，所述介入设备包括在所述管腔内部的远侧部分和在所述管腔外部的近侧部分，所述系统包括：

处理器，其被配置为：

从超声换能器接收一幅或多幅图像，其中，所述图像表示所述管腔；并且

将所述一幅或多幅图像输入到机器学习算法中。

所述机器学习算法被训练为学习管腔的一幅或多幅图像的内容与介入设备的远侧部分在与超声换能器的成像平面基本上垂直的高程方向上的位移之间的关系。所述机器学习算法因此被训练为确定利用介入设备的远侧部分上的超声换能器采集的管腔的一幅或多幅图像与当已经采集了管腔的那些一幅或多幅图像时介入设备的位移之间的关系。此外，所述机器学习算法被配置为输出针对所述一幅或多幅图像的与所述介入设备的所述远侧部分在所述管腔中的所述运动相对应的一维估计位移。所述介入设备可以是导管、导丝、鞘管或它们的组合中的一种。介入设备也可以被称为管腔内设备或血管内设备，这取决于其被用于的临床应用。在一些实施例中，远侧部分可以是介入设备的远端。在一些实施例中，近侧部分可以是介入设备的近端。

对象的运动或移动可以通过其位移来量化，其中，指定位移的幅度和方向。然而，确定对象在3D中的位移需要计算三个变量，这可能是计算密集的并且增加了执行计算所需的时间。在需要实时运动对象的应用中，位移的计算可能是不可行的。

发明人已经认识到，对于介入设备在管腔中的运动，介入设备被约束为在一个维度上(即，在血管的纵向方向上，因此在超声成像系统的高程方向上)移动。因此，即使介入设备在典型坐标系(例如笛卡尔坐标系)中不断地改变方向，介入设备也总是相对于管腔在一个方向上行进。

仅在一个维度上估计位移的需要简化了估计过程，从而改进了机器学习算法的鲁棒性，并且甚至可以减少/消除复合误差的影响。换句话说，通过机器学习算法简化估计过程可以由于降低的复杂性而改进输出的一维估计位移的准确性和/或精确性。

介入设备在管腔中的位移可以通过训练机器学习算法以学习具有内部介入设备的管腔的超声图像与介入设备在管腔中的位移之间的关系来确定。这由于超声图像的“散斑”图案及其相对稳定性而是可能的。散斑图案在三个维度上延伸，并且因此，在连续的超声图像中，它应当是相对稳定的，即，没有随时间的显著变化。

然而，如果介入设备的速度变化，则当图像以均匀的时间间隔布置时，散斑图案将被拉伸和压缩。训练机器学习算法被配置为学习图像上的散斑图案与介入设备的远侧部分在由超声换能器提供的超声图像之间的位移之间的关系。

由于机器学习算法被配置为输出1D位移值，因此处理器执行机器学习算法所需的计算所需的时间可以显著减少，并且因此可以实时确定介入设备的远侧部分在管腔中的位移。

另外，当与具有三个输出(即，3D位移)的算法相比时，由于机器学习算法的简化，机器学习算法将更鲁棒(即，输出的准确性/精确性改进和/或意外输出减少)。

超声换能器可以是设置在介入设备的远侧部分处或附近的血管内超声换能器。

所述一幅或多幅图像中的每幅图像可以具有对应的采集时间(即时间点)，并且所述处理器还可以被配置为基于所估计的位移和所述图像之间的所述采集时间的差异来确定对所述介入设备的远侧部分的所述速度的估计。

所述处理器还可以被配置为基于所述一幅或多幅图像和所述介入设备的位移来确定所述介入设备在所述管腔中的位置。

例如，两幅图像之间的位移可以用于确定在拍摄每幅图像的时刻介入设备在管腔内的位置。因此，介入设备的位置可以被映射到例如来自外部视图的管腔的模型上。

所述机器学习算法还可以被配置为输出运动反转指示，其中，所述运动反转指示指示所述运动在所述管腔内的方向的变化。

运动反转可以基于例如输出位移的符号来量化。如果位移为负，则这可以指示介入设备正在向后移动。替代地，机器学习算法可以输出附加变量，其中，“0”指示正常运动，并且“1”指示运动反转。

所述机器学习算法可以被配置为从所述一幅或多幅图像被输入到所述机器学习算法中在至多0.2秒内输出所估计的位移。

至多0.2秒的时间将允许机器学习算法每秒输出位移估计五次。优选地，机器学习算法可以每秒输出位移估计至少10次。

所述处理器还可以被配置为基于所估计的位移是否高于预定值来确定速度限制指示。

如果介入设备移动的太快，则血管内超声换能器可能无法拍摄足够的图像用于管腔的准确表示。因此，处理器可以被配置为确定当图像之间的位移高于预定值(例如，0.23mm；在30fps下，导致7mm/s的速度限制)时的速度限制指示。另外，处理器可以被配置为如果介入设备被拉动得太快(例如，如果速度限制指示是“太快”)则警告用户。

替代地，所述系统还可以被配置为根据估计位移和从机器学习算法获得估计位移之间的时间来计算估计速度。估计速度的值然后可以用于确定速度限制指示。

所述机器学习算法可以基于以下中的一项或多项：

全连接神经网络；

卷积神经网络；

递归神经网络；或

基于长短期记忆LSTM的神经网络。

一幅或多幅图像可以以极坐标方式被输入到机器学习算法中。

所述处理器还可以被配置为根据与相继图像或相继(对应)图像区域相对应的多个估计位移来确定中值位移指示。

所述处理器还可以被配置为将心脏时相数据输入到所述机器学习算法中，其中，所述心脏时相数据表示对象的心动周期。

包括心脏时相数据以确保机器学习算法考虑到由于心动周期引起的管腔的任何变化可以是有益的。

该系统还可以包括用于存储所述一幅或多幅图像和/或存储一个或多个估计位移的存储器缓存。

本发明还提供了一种用于确定介入设备在管腔内部的运动的方法，所述介入设备包括在所述管腔内部的远侧部分和在所述管腔外部的近侧部分，其中，所述介入设备包括在所述介入设备的所述远侧部分处或附近的血管内超声换能器，所述方法包括：

从血管内超声换能器接收一幅或多幅图像，其中，所述图像表示在内部具有所述介入设备的所述管腔；并且

将所述一幅或多幅图像输入到机器学习算法中。

所述机器学习算法被训练为学习管腔的一幅或多幅图像的内容与介入设备的远侧部分在与超声换能器的成像平面基本上垂直的高程方向上的位移之间的关系。所述机器学习算法因此被训练为确定利用介入设备的远侧部分上的超声换能器采集的管腔的一幅或多幅图像与当已经采集了管腔的一幅或多幅图像时介入设备的位移之间的关系。此外，所述机器学习算法被配置为输出针对所述一幅或多幅图像的与所述介入设备的所述远侧部分在所述管腔中的所述运动相对应的一维估计位移。

本发明还提供了一种计算机程序代码单元的计算机程序产品，当在具有处理系统的计算设备上运行时，所述计算机程序代码单元使所述处理系统执行用于确定介入设备在管腔内的运动的方法的所有步骤。

本发明的这些和其他方面将参考下文描述的(一个或多个)实施例变得显而易见并将参考下文描述的(一个或多个)实施例得以阐述。

附图说明

为了更好地理解本发明并且为了更清楚地示出它可以如何被实施，现在将会仅以示例的方式参考附图，其中：

图1示出了具有IVUS图像和X射线图像的共配准(COREG)系统的示例输出屏幕，示出了针对介入设备的拉回轨迹；

图2示出了用于估计介入设备在管腔中的位移的第一方法；

图3示出了用于估计介入设备在管腔中的位移的第二方法；

图4示出了介入设备在管腔中的图示；

图5示出了来自管腔中的IVUS换能器的图像；

图6示出了用于估计介入设备在管腔中的位移的方法；

图7示出了机器学习算法的示例架构；

图8示出了用于从多个图像估计位移的方法；

图9示出了使用机器学习算法来估计介入设备在管腔中的速度的测试结果；

图10示出了估计介入设备的高程速度和介入设备的实际速度的两种方法的结果；

图11示出了利用对应于超过分辨率极限的速度值的图像序列训练的机器学习算法的测试结果；并且

图12示出了用于利用LSTM层确定运动方向的示例机器学习算法；

图13示出了在横向和轴向方向上的散斑尺寸；

图14和图15以坐标表示；

图16和图17表示位移；

图18示出了拉回路径的曲率；

图19示出了血管中心线，其中，切片可以在不同的倾斜角度下穿过血管；

图20示出了与IVUS数据同时采集的X射线图像。

具体实施方式

将参考附图来进行描述本发明。

应当理解，详细描述和具体示例在指示装置、系统和方法的示例性实施例的同时，仅旨在用于图示的目的，而不旨在限制本发明的范围。根据以下描述、所附权利要求和附图，将更好地理解本发明的装置、系统和方法的这些和其他特征、方面和优点。应当理解，附图仅仅是示意性的，并且未按比例绘制。还应当理解，在整个附图中使用相同的附图标记来表示相同或相似的部件。

尽管本发明在导管的说明书中被例示，但是在任何实施例中，介入设备可以是导管、导丝、鞘管或它们的组合中的一种。尽管在本发明的示例性描述中使用了措辞“远端”和“近端”，但是在任何实施例中，这可以被解读为介入设备的远侧部分和近侧部分，因为它也是预期的。

本发明提供了一种用于确定导管在管腔内部的运动或移动的系统。所述导管包括在所述管腔内部的远端和在所述管腔外部的近端，并且所述系统包括处理器。所述处理器被配置为从超声换能器接收一幅或多幅图像，其中，所述图像表示内部具有所述导管的所述管腔，并且将所述一幅或多幅图像输入到机器学习算法中。所述机器学习算法被训练为学习导管在管腔内部的一幅或多幅图像的内容与所述导管的所述远端在与所述导管的所述远端的运动方向平行或几乎平行的高程方向上的位移之间的关系，并且输出针对所述一幅或多幅图像的与所述导管的所述远端在所述高程方向上的运动相对应的一维估计位移。

图1示出了具有IVUS图像102和X射线图像104的共配准COREG系统的示例输出屏幕，示出了针对导管的拉回轨迹。直到最近，X射线荧光透视法是获得相控阵列IVUS换能器沿着拉回轨迹相对于血管壁的纵向位移的估计的唯一选择。

然而，最近已经开发了一种完全基于超声图像来估计导管的顶端的速度/位移的系统。下面公开的这种新方法提供了IVUS换能器相对于血管壁的高程速度(即，相继帧之间的位移)的估计，并且基于机器学习算法的使用。

基于X射线的位置估计方法和基于IVUS的位移估计方法两者都具有其特定的优点和缺点。然而，两种方法可以协同组合，以便显著减少两种方法的缺点。

目前，X射线系统的帧速率必须足够高以确保位置估计的适当密集序列来计算针对同时采集的IVUS图像102中的每个IVUS图像的足够准确的位置估计。这目前导致电离辐射的连续暴露。通过将分别用于位置估计和位移估计的X射线和IVUS方法组合，克服了对连续X射线采集的需要，并且因此减少了电离辐射的暴露。

另外，在当前的COREG系统中，来自X射线图像104的对换能器位置估计的序列不是实时可用的，并且需要X射线图像104的完整序列是可用的。相反，来自IVUS图像102的位移估计通常以相对小的延迟(即，通常为几个帧)可用。因此，X射线位置估计和IVUS位移估计两者的组合可以减少计算负担并且加速换能器位置估计的计算。

从X射线图像104采集的位置估计的准确性通常受制于X射线采集系统的空间分辨率。在实践中，这导致高程位置估计(即，沿着管腔的长度的位置)的约2mm的准确性。此外，从X射线图像104采集的位置估计的准确性也可能受到X射线系统的运动模糊的影响。在一些情况下，该运动模糊的特性可能不可用于位置估计过程。有利地，基于IVUS的位移估计的绝对误差达到约0.1mm/s的值。因此，X射线位置估计和IVUS位移估计两者的组合可以提供具有比任何单独的系统更高的鲁棒性和准确性的位置估计。

图2示出了用于估计导管在管腔中的位移的第一方法。基于X射线的位置估计过程(诸如但不限于已经作为前述COREG系统的一部分存在的位置估计过程)形成提供导管的顶端的第一位置估计204的序列的第一系统202。X射线系统202提供用于确定第一位置估计204的一个或多个X射线图像104。

基于IVUS的位移估计系统形成提供估计位移值208的序列的第二系统206。IVUS系统206提供用于确定IVUS图像之间的估计位移的一个或多个IVUS图像102。另外，可以基于估计的位移208和IVUS图像之间花费的时间(例如，来自图像时间戳)来估计导管的顶端的速度。

“组合器”元件210使用第一位置估计204的序列和估计的位移208的序列(或速度估计的序列)来计算改进的第二位置估计212的序列。

另外，估计的位移208和/或估计的速度可以用于影响X射线采集过程。估计的位移208及/或估计的速度也可以用于辅助第一位置估计204。

图3示出了用于估计导管在管腔中的位移的第二方法。估计位移序列208的已知准确性可以用于估计位置估计212的第二序列中的累积误差302，其从估计的位移208的总和(或估计速度值的数值积分)得出。对于每一幅IVUS图像102，将累积误差302的值连续地与预定阈值304进行比较，并且将所得到的信号提供给第一系统202，第一系统202用于确定何时采集新的第一位置估计204。这降低了所需的第一位置估计204的数量，并且因此降低了所需的X射线图像104的数量。所需的X射线图像104的数量可以与所需的第一位置估计204的数量一样低。然而，如果这对于位置的可靠估计是必要的，则所需的X射线图像104的数量可以更高。

如果每幅图像102的平均/预期误差是已知的，或可以被估计，则可以进一步估计N个图像/帧之后的预期误差。平均/预期误差可以取决于估计位移值208。N个帧之后的预期误差可能比预期误差的总和更宽容，因为误差可能是彼此抵消的过估计和欠估计的组合。例如，在每个位移的误差为e_i的情况下，其中，误差为e_i被假设为在零均值的情况下正态分布，则累积误差e_acc可以是误差e_i平方和的平方根：

第一系统202与第二系统206的组合还可以使用第二系统206的能力来检测导管运动的不存在(例如，当换能器被操作者“停放”多帧时)。这里，估计的位移208的序列将与预定阈值进行比较，以测试绝对位移是否足够低以指示“静止”。估计速度还可以用于确定导管是否静止。

可选地或额外地，可以将已经被标记为“静止”的连续IVUS图像的数量与预定的第二阈值进行比较，以测试静止帧的数量何时超过预定值，以便指示换能器“停放”，于是第一系统可以接收不存在对新的第一位置估计204的立即需要的信号，从而降低所需的X射线图像104的数量。

组合系统还可以使用第二系统206的能力来检测导管沿着高程方向的预定最大速度限制已经被超过(例如，当导管被操作者拉回太快时)。在这种情况下，第一系统206可以接收第二系统202不能提供可靠的位移估计208的信号，于是第一系统202增加第一位置估计204的速率，因此也提高X射线成像帧速率。

还可以使估计的位移208和/或速度估计的序列可用于确定第一位置估计204。例如，由于在估计的位移208(或速度)低的情况下第一系统202“知道”新的X射线图像中的导管位置不会远离先前位置，估计的位移208可以减小第一位置估计过程中的搜索窗口的尺寸。替代地或额外地，估计的位移208可以在第一位置估计过程中改变搜索窗口的位置，使得它更好地以(一个或多个)新的X射线图像104中的最可能的导管位置为中心。

搜索窗口尺寸以及搜索窗口位置两者都可以通过X射线图像104序列中的导管的预期“路线图”的估计来限制。可以在导管拉回之前手动绘制这种路线图估计。否则，可以在采集新的X射线图像104和IVUS图像102时自动地(重新)计算新的路线图假设。这些示例方法旨在减少基于X射线的位置估计过程的计算的数量，例如，旨在使第一位置估计204在拉回采集期间或之后更早可用，或甚至减轻对完成的X射线序列采集的需要。

估计的位移208还可以用于通过补偿X射线系统202的运动模糊来改进根据X射线图像104的第一位置估计的过程。运动模糊可以是第一系统202的曝光时间和内置时空图像处理算法的组合，通常旨在减少噪声。尽管运动模糊的点扩散函数取决于运动的方向和幅度，但是模糊过程本身是由于通常恒定的时间窗口(temporal aperture)。第一位置估计过程改进可以包括例如基于模型和模型参数的估计来显式恢复该时间窗口。所述第一位置估计过程改进还可以包括使用恢复的时间窗口来重建无运动模糊图像，例如通过去卷积的方式。否则，所述第一位置估计过程改进可以直接使用估计的位移208(或速度估计)来直接从一个或多个X射线图像恢复第一位置估计204，而无需时间窗口的显式估计。估计的位移208的这种直接使用的实施可以基于经训练的机器学习算法。

在导管轨迹没有保持足够平行于成像平面的情况下，例如由于血管的弯曲度，估计的位移208还可以支持基于X射线的位置估计过程。在这种情况下，X射线图像104中的导管的投影经受透视缩短，从而妨碍通过脉管的真实行进距离的可靠恢复。位移估计208的连续可用性可以用于在第一位置估计204局部不可靠或甚至不存在时的此类情况下确保定位跟踪。这可以减轻对同时二次X射线投影的需要，或甚至减轻对先前CT血管造影的需要。

投影的导管路径长度(以像素为单位)并不总是线性映射到实际导管路径长度(以mm为单位)。在血管/管腔朝向或远离X射线检测器弯曲的情况下，投影路径长度可以经受透视缩短。在这种情况下，不再存在可以用作用于基于IVUS始发的位移估计来移动X射线图像中的减小的搜索区域的基础的固定线性关系。

然而，在导管402包括不透射线标记的情况下，投影位移与实际位移之间的变化关系可以从(投影的)X射线图像104中的标记之间的变化距离导出。由于换能器404通常位于导管402的远端，因此在许多图像期间，拉回引起标记在换能器404之前，并且因此提供许多“校准”样本。校准样本可以用于准确地估计投影导管路径长度与真实导管路径长度之间的局部变化关系。

替代地，可以使用先前的CT模型来导出3D血管形状，并且使用该3D血管形状作为用于校正该透视缩短的基础。

组合器元件210可以是基于卡尔曼滤波器的位置估计器，其是融合相同对象的不同动态状态(位置、速度、加速度)的不同感官测量的已知方法。替代地，组合器元件可以是从估计位移的序列计算第三位置估计的单独数值积分元件。因此，第三位置估计和第一位置估计204的序列可以用于确定第二改进的位置估计212。组合系统还可以使用来自第一系统202的时间插值的第一位置估计204来补偿估计的位移208的漂移。

第二系统206可以是血管外超声(EVUS)数据而不是IVUS数据。EVUS数据通常利用外部超声探头来采集。替代地，第二系统206可以是使用导管的外部(身体外部)测量的高程位移208作为换能器在导管的远端处或附近相对于被成像血管的位置和/或位移的代表的外部系统。

第二系统206还可以是基于IVUS的系统、基于EVUS的系统和/或外部导管跟踪方法的组合。

当第一系统202是X射线成像系统时，组合系统可以被应用以减少总X射线剂量。此外，本发明可以用于高程位置估计的广泛应用。

组合系统的应用是病变/支架直径和长度的准确定尺寸。从血管造影照片中读取用于手动IVUS拉回的当前病变/支架长度估计。组合系统可以检测导管在拉回期间暂时停放，并且随后发出对操作者的指示。另外，组合系统可以向算法提供信号以使用相同位置处的多个帧来进行改进的分析。可以组合相同位置处的多个帧以通过组合噪声或散斑的多个实现(可能在连续的横向组织运动下或在血液散斑的多个实现下)来改进准确性。

特定实施方式可以是使用当导管静止时收集的多个帧，并且使用动脉和静脉之间的血液散斑的差异(由流速的差异引起)。在大腿的外周静脉IVUS中已经观察到这种现象。这种算法可以在检测到导管“停放”时自动开始。

图4示出了导管402在管腔406中的图示。在该示例中，导管402包括在导管402的顶端处(即，在导管402的远端处)的IVUS换能器404。IVUS换能器404具有成像平面408，该成像平面408对应于由换能器404成像的区域，并且垂直于换能器404的长度并且在径向方向410上延伸。高程方向412被定义为垂直于成像平面408的方向，并且因此平行于或几乎平行于导管402的顶端的运动方向。高程方向412可以不总是平行于行进方向，因为导管402的顶端在向前移动时可以成角度。

图5示出了来自管腔406中的IVUS换能器404的图像。图5a示出了来自换能器404的单个图像102，并且图5b示出了具有导管402的顶端的对应速度值504的连续IVUS图像502的序列的横截面。

图5b的图像包括来自图像102的系列中的每一个的像素的水平行的组合。一个这样的水平行在图5a中被示出为虚线，并且图5b的图像是这样的图像行的垂直堆叠。

可以根据连续IVUS图像502的序列来估计导管402的端部的速度。

在图5中可以看到速度变化对IVUS图像数据的影响。图5a中的IVUS图像102清楚地表现出“散斑”，这是对于相干成像方法并且因此也对于超声检查而言典型的臭名昭著的颗粒图案。散斑的一个重要特性是它相对稳定的事实(即，从相同位置成像的相同3D场景将重复地创建相同的散斑图案)。

散斑现象在所有三个空间方向上延伸，其中，平均散斑颗粒的形状和尺寸由超声频率和超声换能器元件的(有限)尺寸决定。因此，已知它相对独立于散射组织，只要声学散射元件的分布足够密集。在这些条件下，预期每个散斑将在高程方向412上采用相对恒定的平均形状和尺寸。

在拉回速度的变化下，当图像102以均匀的时间间隔布置时，记录的散斑图案的形状被拉伸和压缩。空间数据的明显变形在图5b中可见。在图5b中还描绘了相关联的实际速度504。

除了速度幅度的变化之外，速度的“符号”也倾向于偶尔“翻转”，因为在高程方向412上的运动在单次拉回内反转。运动反转影响回拉序列内的图像的单调空间排序。当医师决定在相同的拉回期间重新访问先前捕获的部位时，通常发生有意的运动反转。无意的运动反转通常由心脏运动引起，并且因此在冠状动脉的IVUS成像中非常常见，其中，换能器移动在连续图像之间偶尔超过6mm。

图6示出了用于估计导管在管腔中的位移208的方法。一个或多个超声图像102(例如，IVUS图像)被输入到机器学习算法602中，机器学习算法602返回与一个或多个输入图像102相关联的相对高程位移208的估计。输入图像102优选地以与采集相同的顺序提供。用于执行该方法的系统可以包括用于存储与一个或多个输入图像102相关联的数据的存储器缓存。所存储的数据可以是输入图像102或从输入图像102导出的数据。

机器学习算法602可以是但不限于全连接网络、卷积网络或递归神经网络(诸如长短期记忆网络)。机器学习算法602还可以包括专用于位移估计任务的各个方面的多个模块化人工神经网络。机器学习算法602被训练为输出对应于输入图像102的一维估计位移值208。

输出的估计的位移208也可以被转换成估计的速度值604(基于图像帧之间的时间)和/或导管的顶端在管腔中的第三位置估计606。

例如，机器学习算法602可以由对存储在极域中的对应包络数据节段的时间堆叠进行操作的卷积神经网络(CNN)组成。这样的节段可以对应于笛卡尔域中的图像扇区，其中，输入图像102通常被显示。在极域中，散斑统计看起来实际上是空间不变的，并且因此允许位移估计的任务分布在多个但类似的估计单元中。在该示例中，可以选择逐扇区分开，以改进针对由于管腔分叉或声学阴影引起的信号损失的鲁棒性、以及诸如由次要导丝(通常称为“伙伴线”)引起的强局部声学响应。即使在没有这种扰动的情况下，基于节段的估计也可以胜过利用单个网络的位移估计。

即使在图像平面中存在横向(平移或旋转)运动(例如，由于心脏运动)的情况下，机器学习算法602也可以用于提供估计的位移208。估计的位移208可以进一步用于指示医师是否超过预定义速度限制610，并且将指示提供给用户界面。估计的位移208可以用于改进序列测量的解读，例如，通过提供根据以mm为单位的物理拉回距离而不是顺序帧索引的自动化管腔面积测量的序列。

还可以基于估计的位移208来检测在高程方向412上的运动反转608。还可以以允许实时检测的计算成本并且在没有心脏门控的情况下估计在反向运动方向上的图像间位移的幅度。

估计位移还可以用于检测导管移动612的不存在(例如，当换能器被操作者“停放”多个帧时)。这里，可以将估计的位移208的序列与预定阈值进行比较，以测试估计的位移208是否足够低以指示“静止”。估计速度还可以用于确定导管是否静止612。

图7示出了机器学习算法602的示例架构。图像102是由256条线组成的极线IVUS图像。在该示例中，图像102被分成每个节段32条线的八个节段702，并且节段702被单独输入到机器学习算法602中。每个节段702通过第一卷积层704、第一最大池化层706、第二卷积层708、第二最大池化层710、全局平均池化层712和一个或多个密集层714。密集层714输出每个节段702的估计的位移208。然后可以组合来自每个节段702的估计的位移208(例如，平均或中值)以获得更鲁棒的组合估计位移。

图8示出了用于从多个图像102估计位移的方法。在该示例中，存在八个连续图像102的序列，每幅图像被分成八个节段702。对应于连续图像1102中的每幅图像的八个节段702被输入到机器学习算法602(例如，卷积神经网络)中，机器学习算法602输出针对输入节段702中的每个节段的估计位移802的序列。八个输出估计位移的中值被给出为针对图像102的序列的(一个或多个)中心图像(即，在该示例中，图像四和五)的组合位移估计804。

在该示例中，机器学习算法602可以包括多个神经网络，每个神经网络接收单个节段702并且输出单个输入节段702的估计的位移。在一些实例中，根据输入图像102中的估计的位移和时间差(例如，根据已知的帧速率)来确定每个节段的估计速度可能是有益的。因此，可以根据估计的速度而不是中值估计位移804来确定(一个或多个)中心图像的中值速度估计。

图9示出了使用机器学习算法602来估计导管在管腔中的速度的测试结果。图8中所示的用于估计位移的方法用于测试。图9a在y轴上示出了以mm/s为单位的估计的速度值，并且在x轴上示出了以mm/s为单位的实际速度值。可以根据估计的位移和例如图像的帧速率来确定估计的速度值。图9a中的每个点902相对于用于移动导管的实际速度示出了使用图8中所示的方法获得的估计的速度。线904示出了在估计速度值完全准确的情况下的预期值。图9b示出了以mm/s为单位的估计的速度值与实际速度值之间的平均绝对误差，并且x轴示出了以mm/s为单位的实际速度值。每个点906示出了每个点902与线904上的对应点之间的绝对差。

替代地，可以在训练数据的不同选择上训练两种(或更多种)不同的机器学习算法，一种称为集成学习的方法。然后，可以使用两个或更多个单独的估计位移的中值来生成单个更鲁棒的位移估计。集成学习方法在估计真实高程位移方面也表现出显著的准确性。

散斑图案的相对稳定性和可预测的统计特性在估计相继超声帧之间的运动之前已经被利用。已知的方法是结合回归模型使用相继图像之间的相关性，该回归模型描述帧间相关性和位移之间的通常非线性的关系。然而，这些运动估计方法旨在使用外部超声探头，并且忽略在导管本身上可能使用超声换能器(即，IVUS换能器)。

额外地，基于相关性的运动估计方法假设超声换能器在图像序列的采集期间经受相对大的移动自由度，这增加了获得估计所需的计算资源，并且因此增加了获得估计所花费的时间。

图10示出了估计导管的高程速度和导管的实际速度的两种方法的结果。图10a中描绘的结果示出了从线1004中的估计位移获得的估计速度与利用足够准确的位置检测器采集的线1006中的真实(地面实况)高程速度相比较，并且进一步与从线1002中的基于相关性的速度估计获得的速度估计相比较。y轴示出了以mm/s为单位的速度，并且x轴示出了以秒为单位的时间。

图10b示出了通过对图10a中的三条线1002、1004和1006进行积分而获得的导管的累积位移(即，相对于原点的位置)。y轴示出了以mm为单位的累积位移，并且x轴示出了以秒为单位的时间。线1012对应于使用基于相关性的方法估计的累积位移，并且基于积分线1002。线1014对应于使用机器学习算法估计的累积位移，并且基于积分线1004。线1016对应于通过对线1006进行积分而获得的真实累积位移。基于相关性的方法的准确性被示出为不足以准确地估计更长距离上的高程位移(和/或高程位置)。然而，通过机器学习算法对位移的估计在更长的纵向距离上表现出持续的位置准确性。

沿着高程方向的相对图像位置的恢复可以用于描绘根据高程位置的自动面积测量的系列和/或用于创建被成像解剖结构的“运动校正的”3D断层摄影重建。

机器学习算法还可以利用与超过由物理采集参数(例如，RF频率和换能器形状)管理的理论分辨率极限的速度值相对应的图像序列来训练。

图11示出了利用对应于超过分辨率极限的速度值的图像序列训练的机器学习算法的测试结果。y轴示出了从机器学习算法获得的估计速度值，并且x轴示出了实际速度值。每个点1102对照用于移动导管的实际速度示出了从使用机器学习算法获得的估计速度。线1104示出了在估计速度值具有完美准确性的情况下的预期结果。

值得注意的是，在没有具有物理分辨率极限的任何了解的机器学习算法的情况下，当相继切片之间的重叠变得小于在高度方向上的平均散斑尺寸的一半时，它鲁棒地产生饱和到恒定值(约7mm/s)的速度估计。

因此，可以使用机器学习算法向医师提供拉回速度太高的指示。实际上，这意味着与相继帧相关联的空间切片没有充分交叠以确保被成像组织的完全覆盖。

速度估计中的鲁棒饱和行为允许以相对简单的方式实施用于例如IVUS导管的操作者的反馈方法。例如，对于高达5mm/s的值示出“绿光”，对于在5mm/s和6mm/s之间的值示出“橙色”，并且对于高于6mm/s的任何值示出“红色”(“移动太快”)。这些阈值是基于利用以每秒30帧操作的IVUS换能器获得的图11中描绘的观察的示例。对于以不同频率和帧速率的其他导管，也可能存在不同的对应速度限制。利用针对不同导管的经训练的模型，可以自动地向医师提供这些速度限制指示。

检测到导管速度超过特定限制可以向操作者发出减慢的指示和/或向算法提供指示违反连续性假设的信号(例如，在边界分割算法中)。

可以利用机器学习算法估计高程轴上的幅值和方向，从而允许在存在运动反转的情况下恢复高程帧位置。重要的是要注意，在运动反转之后，后续的一个或多个帧将必须包含“熟悉的”内容，因为换能器基本上重新访问血管中的旧位置。一种可能的方法是使用所谓的长短期记忆(LSTM)神经网络来确定高程轴上的方向。

图12示出了用于利用LSTM层1206确定运动方向的示例机器学习算法。在该示例中，LSTM层1206之前是卷积神经网络(CNN)1204。这里，CNN 1204被训练为将每个输入图像1202减少到更小的特征向量，同时保留属性以评估帧相似性。LSTM 1206被训练为提供先前帧之间的有效比较。一个或多个密集层1208还被训练为针对每个输入图像1202提供指示在反向运动下采集哪些图像的分类1208。

可选地，基于LSTM的运动方向估计器使用估计位移的幅度作为附加输入。估计方向和估计位移可以被组合地使用以用于在导管和组织运动的大的变化下的相对图像位置的恢复。

任何实施例中的机器学习算法可以被配置为接受以极坐标表示而不是笛卡尔表示的IVUS图像。尽管笛卡尔表示提供了解剖结构的拓扑上正确的形状和尺寸保持绘制，但是极坐标表示提供了图像重建的点扩散函数变得几乎空间不变的空间域。这有利地使得散斑图案在两个平面方向上采用几乎均匀的统计特性(在这种情况下，在横向和轴向上的已知平均散斑尺寸，其值可以被计算或测量)。这在图13中图示。在散斑统计在空间上不均匀的情况下，例如根据轴向距离示出强的变化，平均散斑尺寸的这种空间分布是时间不变的。因此，在不失一般性的情况下，我们继续假设均匀散斑分布的讨论。只要这种极线图像表示可用作完整图像处理链的一部分，使用以极线表示的图像数据潜在地有益于实施的计算效率，并且潜在地最小化与以笛卡尔表示显示IVUS图像所需的扫描转换过程相关联的附加延迟。

机器学习算法还可以被配置为确定两幅或更多幅相继图像之间的对应图像区域之间的位移，从而产生在纵向方向上的局部位移的逐区域估计。

例如，这些图像区域可以对应于以笛卡尔表示的IVUS图像的扇区，有益地对应于以极坐标表示的矩形区域。另外地或替代地，这些图像区域可以对应于不同的深度范围，其对应于以笛卡尔表示的环，也有益地对应于以极坐标表示的矩形区域。该组合在图14和图15中图示。

可以组合逐区域纵向位移估计以产生一个单个逐帧位移估计。例如，在逐扇区估计的情况下，这允许拒绝估计集合中的估计异常值，以增加逐帧估计的鲁棒性。

逐区域纵向位移估计可以有益地实现对应于与完成帧的序列相关联的时间实例之间的多个时间实例的位移估计。在相控阵列IVUS中，图像重建本身倾向于遵循与采集通道数据的顺序相关联的旋转图案。类似于机械旋转IVUS导管，这引起相继的图像扇区与不同但相继的时刻相关联。特别是在IVUS图像的帧速率相对低的情况下(通常与大视场的成像相关联)，与帧实例相关联的时间分辨率可能不足以跟随拉回速度的突然变化。这在图16和图17中图示。

可以组合逐区域纵向位移估计以导出拉回路径的曲率。例如，逐区域估计可以用于拟合模型(例如笛卡尔域中的平面模型)的参数。这在图18中图示。

例如，曲线估计的该序列可以用于支持解剖标志的识别。

替代地或额外地，曲线估计的该序列可以用于构成血管和周围组织的解剖学上正确的3D表示。

替代地或额外地，曲线估计的该序列可以用于从包含脉管的倾斜切片的一个或多个IVUS图像中恢复管腔的真实形状和直径。这可以涉及垂直于纵向血管中心线的一个或多个(虚拟)IVUS图像的合成。这在图19中图示。这类似于血管中心线从CT切片的提取，其中，切片可以在不同的倾斜角度下穿过血管。

额外地，弯曲脉管的形状的恢复可以由形状信息源(诸如一个或多个X射线图像)辅助。可选地，这些X射线图像与IVUS数据同时采集，示出了(导管相对于解剖结构的投影)。投影平面内的导管曲率提供了3D中的真实曲率的代表。导管上的投影的不透射线(均匀间隔的)标记的透视缩短提供的投影平面外的曲率的代表。这样的标记在图20中图示。这些局部曲率信息源可以用于改进从IVUS数据获得的噪声或不完整的曲率估计。作为回报，IVUS数据可以用于改进来自X射线系统的曲率估计，例如以消除从X射线图像导出的平面面外曲率的方向的歧义。

机器学习算法还可以被配置为接受一个或多个原始(通道)信号、中间信号、或原始信号的中间表示。特别是在相控阵列IVUS中，连续原始信号采集之间的时间间隔比相继帧之间的时间间隔短得多。与相继帧的使用相比，可以利用原始信号之间的更高时间分辨率来估计在高得多的拉回速度下的导管位移。因此，原始或中间信号的所述使用导致用于位移估计的帧内方法。

例如，该算法可以使用飞行时间校正(ToF)通道信号的集合，该飞行时间校正(ToF)通道信号的集合被收集用于与笛卡尔B模式输出图像中的包络值的径向集合相关联的波束形成的A线的计算。贡献(发射和接收)连续阵列元件的数量确定了利用其重建图像的合成孔径的尺寸。例如，在延迟求和波束成形的情况下，在(加权)求和之前以及在包络检测之前，这些信号可以存在于信号缓存中。

例如，这些信号可以根据其相应的采集时间实例(重新)排序。这里，构成第一信号组和第二信号组，使得每个信号组包含一个或多个TOF校正的通道信号，但是使得第一组和第二组与两个不同的时间实例相关联。这些信号组可以例如被转换为第一包络信号和第二包络信号。机器学习可以被配置为接受两个或更多个这样的信号组，以产生在所述信号组之间的时间段期间的导管位移的估计。该估计和与合成孔径的中心的位置相关联的一条或多条径向线相关联。在IVUS导管包括64个元件的阵列的情况下，上述方法将导致每帧64个位移估计。

返回到估计位移的采集，位移的估计可以与心脏时相的信息组合，旨在确保(通常周期性的)心脏诱导的组织变形(例如，压缩、平移、旋转)和相关联的测量(例如，管腔面积)不影响使用空间重新排序的图像或空间重新排序的测量的过程。心脏时相信息可以来自ECG设备，可以从IVUS帧序列导出，或可以从速度估计导出。

高程位移估计(或中间3D空间重建)也可以用于支持用于例如侧分支检测或支架分割的算法。

连续图像之间的高程位移的变化可能引起解剖结构和植入物在捕获的图像序列中出现变形。用于自动检测的算法可能受益于采集图像的高程速度/位移的了解。因此，速度/位移估计的序列可以形成对检测或分类算法的额外输入。替代地，速度/位移估计的序列可以用于执行对应图像的中间运动校正，在此之后经运动校正的图像形成对检测或分类算法的输入。

机器学习算法是处理输入数据以便产生或预测输出数据的任何自训练算法。这里，输入数据包括来自超声换能器的图像，并且输出数据包括管腔中的导管在高程方向上的位移的估计。

用于在本发明中采用的合适机器学习算法对于本领域技术人员将是显而易见的。合适机器学习算法的示例包括决策树算法和人工神经网络。诸如逻辑回归、支持向量机或朴素贝叶斯模型的其他机器学习算法是合适的替代方案。

人工神经网络(或简称神经网络)的结构受人脑的启发。神经网络由层组成，每个层包括多个神经元。每个神经元包括数学运算。特别地，每个神经元可以包括单一类型的变换的不同加权组合(例如，相同类型的变换、S形等，但是具有不同的权重)。在处理输入数据的过程中，对输入数据执行每个神经元的数学运算以产生数值输出，并且将神经网络中的每个层的输出顺序地馈送到下一层。最后一层提供输出。

训练机器学习算法的方法是众所周知的。通常，这样的方法包括获得训练数据集，该训练数据集包括训练输入数据条目和对应的训练输出数据条目。将初始化的机器学习算法应用于每个输入数据条目以生成预测的输出数据条目。预测的输出数据条目与对应的训练输出数据条目之间的误差用于修改机器学习算法。可以重复该过程，直到误差收敛，并且预测的输出数据条目与训练输出数据条目足够相似(例如±1％)。这通常被称为监督学习技术。

例如，在机器学习算法由神经网络形成的情况下，可以修改每个神经元的数学运算(的权重)，直到误差收敛。修改神经网络的已知方法包括梯度下降、反向传播算法等。

训练机器学习算法以输出位移估计的重要方面是确保用于训练的输入图像包含与真实超声图像类似的散斑统计。这可以通过使用例如用于拉动导管的拉回引擎和体内管腔的体模表示来实现。还可以模拟在管腔中移动的导管，因此模拟的快照可以用作训练图像。

训练输入数据条目对应于来自超声换能器的示例图像。训练输出数据条目对应于估计位移。

技术人员将能够容易地开发用于执行本文描述的任何方法的处理器。因此，流程图的每个步骤可以表示由处理器执行的不同动作，并且可以由处理器的相应模块执行。

如上所述，系统利用处理器来执行数据处理。处理器可以用软件和/或硬件以多种方式实施，以执行所需的各种功能。处理器通常采用可以使用软件(例如微代码)编程以执行所需的功能的一个或多个微处理器。处理器可以被实施为执行一些功能的专用硬件与执行其他功能的一个或多个编程的微处理器和相关联的电路的组合。

可以在本公开的各种实施例中采用的电路的示例包括但不限于常规微处理器、专用集成电路(ASIC)和现场可编程门阵列(FPGA)。

在各种实施方式中，处理器可以与一个或多个存储介质相关联，诸如易失性和非易失性计算机存储器，诸如RAM、PROM、EPROM和EEPROM。存储介质可以利用一个或多个程序来编码，所述一个或多个程序当在一个或多个处理器和/或控制器上运行时以所需的功能来执行。各种存储介质可以固定在处理器或控制器内，或可以是可运输的，使得存储在其上的一个或多个程序可以加载到处理器中。

本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的发明时能够理解并实现对所公开的实施例的变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。

单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。

尽管某些措施被记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。

计算机程序可以被存储/分布在合适的介质上，例如与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质，但是也可以被以其他形式分布，例如经由互联网或其他有线或无线的电信系统。

如果术语“适于”用于权利要求书或说明书中，应注意术语“适于”旨在相当于术语“被配置为”。

权利要求中的任何附图标记都不应被解释为对范围的限制。

Claims (15)

1.一种用于确定介入设备(402)的远侧部分在管腔(406)内部的位移的系统，包括：

处理器，其被配置为：

从超声换能器(404)接收一幅或多幅图像(102)，其中，所述图像(102)表示所述管腔(406)；并且

将所述一幅或多幅图像(102)输入到机器学习算法(602)中，其中：

所述机器学习算法(602)被训练为确定所述管腔(406)的所述一幅或多幅图像(102)与所述介入设备(402)在与所述介入设备(402)的所述远侧部分的移动方向基本上平行的高程方向(412)上的位移之间的关系，并且

所述机器学习算法(602)被配置为输出针对所述一幅或多幅图像(102)的与所述介入设备(402)的所述远侧部分在所述高程方向(412)上的移动相对应的一维估计位移(208)。

2.根据权利要求1所述的系统，其中，所述超声换能器(404)被设置在所述介入设备(402)的所述远侧部分上，并且其中，所述高程方向(412)基本上垂直于所述超声换能器(404)的成像平面(408)。

3.根据权利要求1或2中的任一项所述的系统，其中，所述一幅或多幅图像(102)中的每幅图像具有对应的采集时间，并且所述处理器还被配置为基于所估计的位移(208)和所述图像(102)之间的所述采集时间的差异来确定对所述介入设备(402)的速度(604)的估计。

4.根据权利要求1至3中的任一项所述的系统，其中，所述处理器还被配置为基于所述一幅或多幅图像(102)和所估计的位移(208)来确定所述介入设备(402)在所述管腔(406)中的位置估计(606)。

5.根据权利要求1至4中的任一项所述的系统，其中，所述机器学习算法(602)还被配置为输出移动反转指示(608)，其中，所述移动反转指示(608)指示所述介入设备(402)在所述管腔(406)内的移动方向的变化。

6.根据权利要求1至5中的任一项所述的系统，其中，所述机器学习算法(602)被配置为在距所述一幅或多幅图像(102)被输入到所述机器学习算法(602)中至多0.2秒内输出所估计的位移(208)。

7.根据权利要求1至6中的任一项所述的系统，其中，所述处理器还被配置为基于所估计的位移(208)是否高于预定值来确定速度限制指示(610)。

8.根据权利要求1至7中的任一项所述的系统，其中，所述机器学习算法(602)基于以下中的一项或多项：

全连接神经网络；

卷积神经网络；

递归神经网络；或

基于长短期记忆LSTM的神经网络。

9.根据权利要求1至8中的任一项所述的系统，其中，所述处理器还被配置为将每幅图像分割成多个节段(702)并且将每个节段(702)输入到所述机器学习算法(602)中，并且其中，所述机器学习算法(602)还被配置为输出针对所述节段(702)中的每个节段的估计位移(208)。

10.根据权利要求1至9中的任一项所述的系统，其中，所述处理器还被配置为根据多个相继的估计位移(802)来确定中值位移指示(804)。

11.根据权利要求1至10中的任一项所述的系统，其中，所述处理器还被配置为将心脏时相数据输入到所述机器学习算法(602)中，其中，所述心脏时相数据表示对象的心动周期。

12.根据权利要求1至11中的任一项所述的系统，还包括用于存储所述一幅或多幅图像(102)和/或存储一个或多个估计位移(208)的存储器缓存。

13.根据权利要求1至12中的任一项所述的系统，还包括用于显示所述一幅或多幅图像(102)和对应的估计位移(208)的用户接口。

14.一种用于确定介入设备(402)的远侧部分在管腔(406)内部的位移的方法，所述方法包括：

从超声换能器(404)接收一幅或多幅图像(102)，其中，所述图像(102)表示所述管腔(406)；并且

将所述一幅或多幅图像(102)输入到机器学习算法(602)中，其中：

所述机器学习算法(602)被训练为确定所述管腔(406)的一幅或多幅图像(102)与所述介入设备(402)在与所述介入设备(402)的所述远侧部分的移动方向基本上平行的高程方向(412)上的位移之间的关系，并且

所述机器学习算法(602)被配置为输出针对所述一幅或多幅图像(102)的与所述介入设备(402)的所述远侧部分在所述高程方向(412)上的移动相对应的一维估计位移(208)。

15.一种包括计算机程序代码单元的计算机程序产品，所述计算机程序代码单元当在具有处理系统的计算设备上运行时使所述处理系统执行根据权利要求14所述的方法的所有步骤。