CN116847787A - 对介入设备的位置估计 - Google Patents

Abstract

提供了一种用于确定介入设备在管腔内的位置的系统。所述介入设备包括所述管腔内的远侧部分和所述管腔外的近侧部分，并且所述系统包括处理器。所述处理器被配置为：从第一系统接收所述介入设备的远侧部分在所述管腔内的第一估计位置，并且从第二系统接收所述介入设备的远侧部分在所述管腔内的估计位移，其中，所述估计位移表示所述介入设备的远侧部分在所述管腔内的移动。所述处理器还被配置为基于所述第一估计位置和所述估计位移来确定所述介入设备的远侧部分在所述管腔内的第二估计位置。

Description

对介入设备的位置估计

技术领域

本发明涉及介入设备定位的领域。特别地，本发明涉及改进对介入设备在管腔内的位置的估计的领域。

背景技术

血管内超声(IVUS)成像是一种使用超声从血管内对血管进行成像的技术，其从放置在导管的尖端处的超声设备的位置提供360°视图。在每个导管位置处，采集二维(2D)图像，该图像包含血管管腔、血管壁和其他的一些相邻结构。在血管疾病的情况下，图像还揭示了恶性组织的组成和空间分布，例如钙和血栓。

原则上，通过在导管拉回期间采集IVUS图像的序列，人们采集包括病变和常常狭窄部分的血管的3D体积数据集。为了处置受损血流，内科医师通常需要测量狭窄的和潜在期望的管腔面积、疾病的纵向范围和任何侧支的位置，以确定待处置的部分的长度。这些测量结果被用于确定适当的球囊或适当的支架的直径和长度。

在两者除了机动化换能器旋转之外还提供机动化拉回的程度上，旋转IVUS导管类似于光学相干断层摄影(OCT)导管。这就是为什么旋转IVUS和OCT导管使得能够提供病变血管部分的直径和长度。

然而，相控阵列IVUS导管根本不需要任何机动化。实际上，内科医师广泛地更喜欢手动撤回导管。遗憾的是，它们以未知且通常随时间变化的速度这样做，这阻碍了充分的3D评估。

通常，内科医师依靠导管插入术实验室中的荧光透视系统，并且视觉检查X射线血管造影图像，以估计病变血管部分的长度。这样的长度估计还可以由计算机视觉方法支持，诸如，例如，自动跟随血管段或自动指示换能器的位置。

更复杂的解决方案使用集成共同配准(COREG)系统，该系统与IVUS拉回同时使用荧光透视采集。X射线帧的序列然后被用于估计导管尖端沿着拉回轨迹的纵向位置。IVUS帧然后使用它们相应的采集时间戳与位置估计的序列同步。

然而，X射线系统的帧速率必须足够高，以确保位置估计的适当密集的序列，以为同时采集的IVUS帧中的每个计算足够准确的位置估计。这当前导致对于X射线帧的连续采集并且因此针对所涉及的所有方的电离辐射的连续暴露的需要。因此，需要一种用于确定导管的位置的改进的系统。

发明内容

本发明由权利要求定义。

根据依据本发明的方面的示例，提供了一种用于确定介入设备在管腔内的位置的系统，所述介入设备包括所述管腔内的远侧部分和所述管腔外的近侧部分，所述系统包括：

处理器，其被配置为：

从第一系统接收所述介入设备的远侧部分在所述管腔内的第一估计位置；

从第二系统接收所述介入设备的远侧部分在所述管腔内的估计位移，其中，所述估计位移表示所述介入设备的远侧部分在所述管腔内的移动；并且

基于所述第一估计位置和所述估计位移来确定所述介入设备的远侧部分在所述管腔内的第二估计位置。所述介入设备可以是导管、导丝、护套或这些的组合之一。所述介入设备也可以称为管腔内设备或血管内设备，这取决于其用于的临床应用。在一些实施例中，所述远侧部分可以是所述介入设备的远端。在一些实施例中，所述近侧部分可以是所述介入设备的近端。

当前用于估计介入设备在管腔内的位置(所述第一估计位置)的方法要求具有高准确度的成像模态，以便提供准确的位置。通常，这些方法不实时提供所述介入设备的位置，因为它们要求大量的计算资源。

发明人已经意识到，可以比所述介入设备的位置更快地(即实时)确定所述介入设备在所述管腔内的位移。因此，他们提出基于所述介入设备的最新可用的第一估计位置和位移来确定所述介入设备的改进位置(第二估计位置)。

作为简化示例，如果最新的可用位置估计是在一秒钟前进行的，并且所述介入设备的远侧部分在该时间期间移动了5mm，则可以获得改进的位置估计作为最新可用位置估计+5mm。其他方法也可以用于组合所述第一估计位置和所述位移以获得改进的第二估计位置，诸如卡尔曼滤波器、机器学习算法等。

所述第一系统可以包括用于获得X射线图像的X射线成像系统和被配置为基于所述X射线图像计算所述第一估计位置的X射线成像处理器。

X射线成像可以提供所述管腔和内部介入设备的截面。此外，X射线图像帧的序列可以被用于确定所述介入设备在所述管腔内的第一估计位置。

所述介入设备可以包括不透射线标记，并且所述X射线成像处理器可以被配置为基于所述不透射线标记之间的距离来计算所述第一估计位置。X射线图像中的投影介入设备路径可能并不总是与所述管腔在同一平面内(即，所述管腔可能朝向/远离投影介入设备弯曲)，并且这样一来，所述X射线图像中的投影介入设备可能经受局部透视缩短。因此，如果所述介入设备具有不透射线标记，其可以在彼此相距已知距离的X射线图像中看到，则所述标记距离的变化可以被用于调整所述第一估计位置，以考虑所述管腔朝向/远离所述X射线图像弯曲。备选地或者额外地，所述标记可以被用于调整所述第二估计位置。

备选地，所述第一系统可以是其他体外成像模态，诸如磁共振成像MRI系统或单独的超声系统。示例性单独的超声系统可以是从所述管腔外部观察包括所述介入设备的血管的外部超声系统，常常称为血管外超声或EVUS。对于所述不同的体外系统，存在可以施加在所述介入设备上并且可以通过相应的体外成像模态检测的标记(例如MR标记、回声标记、不透射线标记)，这样的标记在本领域中是已知的。

第二系统的示例可以是位置跟踪系统，例如(但不限于)能够提供所述介入设备的弯曲形状的(光学)形状感测介入设备(例如FORS)。其他系统也可能能够提供介入设备相对于预定参考元件的估计位移，例如(但不限于)止血阀或使用与框架或桌子刚性连接的位置参考的位置测量元件。

所述第二系统可以包括用于获得超声图像的超声换能器和被配置为基于所述超声图像计算所述估计位移的超声处理器。所述估计位移表示所述介入设备的远侧部分在所述管腔内的移动或运动。

所述超声换能器可以设置在所述介入设备上。

所述超声换能器可以是血管内超声换能器，并且所述估计位移可以在基本上垂直于所述血管内超声转换器的成像平面的仰角方向上。

所述处理器可以被配置为指示所述第一系统基于所述估计位移来获得随后的第一估计位置。

指示所述第一系统何时获得随后的第一估计位置以减少所述第一系统的使用次数可能是有益的。例如，如果X射线成像系统被用作所述第一系统，则减少总体获得的X射线帧的数量并因此减少X射线辐射暴露可能是有益的。

备选地，如果所述介入设备的远侧部分比预期移动更快，则可能要求更频繁地获得所述估计位置。因此，在获得随后的第一估计位置之间经过的时间可以取决于所述位移而变化。

指示所述第一系统可以基于根据估计位移的序列确定累积误差，并且基于将所述累积误差与预定误差阈值进行比较来指示所述第一系统获得随后的第一估计位置。

所述累积误差可以是例如自从获得最近的第一估计位置获得的位移值的和。备选地，所述累积误差可以是针对经过的时间绘制的位移的数值积分、位移值的平方根之和或位移值的平方和或均方根。存在许多用于根据一组位移值来确定累积误差的方法。

所述处理器还可以被配置为基于所述估计位移小于预定下阈值来确定所述介入设备相对于所述管腔是否静止，并且指示所述第一系统还可以基于所述介入设备不静止。

当所述介入设备静止或“停放”时(即未由操作者拉动/推动)，可能不需要获得任何进一步的第一位置估计。由于管腔在身体内的固有移动(例如从心动周期)，并且考虑到所述估计位移的计算中的非零误差，预定低值可以是非零值，例如0.5mm。

所述处理器还可以被配置为基于将第一时间段上的估计位移与预定上阈值进行比较来确定速度限制指示，并且指示所述第一系统还可以基于所述速度限制指示。

如果所述速度限制指示例如指示所述介入设备移动过快，则指示所述第一系统比预期更早地获得随后的第一估计位置可能是有益的，因为很可能所述介入设备的实际位置已经从所述快速移动显著改变。

所述处理器还可以被配置为基于所述估计位移来调整第一系统的参数。

例如，所述第一系统的搜索窗口的大小或位置可以基于所述介入设备的远侧部分的位移而改变。

所述处理器还可以被配置为基于第一估计位置的序列、估计位移的序列和/或第二估计位置的序列来确定所述介入设备在所述管腔中的路线图。

所述处理器还可以被配置为在确定所述第二估计位置时补偿所述第一系统的运动模糊。

确定第二估计位置可以基于：

将所述第一估计位置和所述估计位移输入到基于卡尔曼滤波器的位置估计器中；

基于随时间的估计位移来确定所述介入设备的远侧部分的估计速度，并且基于所述介入设备的远侧部分的第一估计位置和估计速度来确定所述第二估计位置；和/或

将所述第一估计位置和所述估计位移输入到机器学习算法中，所述机器学习算法被训练为基于所述第一估计位置和估计位移输出第二估计位置。

所述系统还可以包括所述第一系统和/或所述第二系统。本发明还提供了一种用于确定介入设备在管腔内的位置的方法，所述介入设备包括所述管腔内的远侧部分和所述管腔外的近侧部分，所述方法包括：

从第一系统接收所述介入设备的远侧部分在所述管腔内的第一估计位置；

从第二系统接收所述介入设备的远侧部分在所述管腔内的估计位移，其中，所述估计位移表示所述介入设备的远侧部分在所述管腔内的移动；并且

基于所述第一估计位置和所述估计位移来确定所述介入设备的远侧部分在所述管腔内的第二估计位置。

本发明还提供了一种包括计算机程序代码单元的计算机程序产品，其当在具有处理系统的计算设备上运行时使所述处理系统执行上文定义的用于确定介入设备在管腔内的位置的方法的所有步骤。

本发明的这些和其他方面将根据在下文中所描述的(一个或多个)实施例而显而易见并且将参考在下文中所描述的(一个或多个)实施例得到阐述。

附图说明

为了更好地理解本发明并且更清楚地示出其可以如何实现，现在将仅通过示例对附图进行参考，其中：

图1示出了共同配准(COREG)系统的示例输出屏幕，其中，IVUS图像和X射线图像示出了针对介入设备的拉回轨迹；

图2示出了用于估计管腔中的介入设备的位移的第一方法；

图3示出了用于估计管腔中的介入设备的位移的第二方法；

图4示出了管腔中的介入设备的图示；

图5示出了来自管腔中的IVUS换能器的图像；

图6示出了用于估计管腔中的介入设备的位移的方法；

图7示出了用于机器学习算法的示例架构；

图8示出了根据多幅图像估计位移的方法；

图9示出了针对使用机器学习算法来估计管腔中的介入设备的速度的测试结果；

图10示出了针对估计介入设备的仰角速度和介入设备的真实速度的两种方法的结果；

图11示出了针对利用对应于超过分辨率限制的速度值的图像序列训练的机器学习算法的测试结果；并且

图12示出了用于利用LSTM层确定运动方向的示例机器学习算法；

图13示出了横向方向和轴向方向上的散斑大小；

图14和图15以坐标表示；

图16和图17表示位移；

图18示出了拉回路径的弯曲；

图19示出了血管中心线，其中，切片可以在不同的倾斜角度下穿过血管；

图20示出了与IVUS数据同时采集的X射线图像。

具体实施方式

将参考附图来描述本发明。

应当理解，详细描述和特定示例在指示装置、系统和方法的示例性实施例时旨在仅出于图示的目的并且不旨在限制本发明的范围。本发明的装置、系统和方法的这些和其他特征、方面和优点将从以下描述、权利要求书和附图变得更好理解。应当理解，附图仅是示意性的并且未按比例绘制。还应当理解，相同的附图标记贯穿附图被用于指示相同或相似的部分。

尽管本发明在针对导管的描述中被例示，但是在各实施例中的任何实施例中，介入设备可以是导管、导丝、护套或这些的组合之一。尽管在本发明的示例性描述中使用了措辞远端和近端，但是在各实施例中的任何实施例中，这可以被解释为介入设备的远侧部分和近侧部分，因为其也被预期到。

本发明提供了一种用于确定导管在管腔内的位置的系统。导管包括管腔内的远端和管腔外的近端，并且系统包括处理器。处理器被配置为从第一系统接收导管的远端在管腔内的第一估计位置，并且从第二系统接收导管的远端在管腔内的估计位移，其中，估计位移表示导管的远端在管腔内的运动。处理器还被配置为基于第一估计位置和估计位移来确定导管的远端在管腔内的第二估计位置。

图1示出了共同配准COREG系统的示例输出屏幕，其中，IVUS图像102和X射线图像104示出了针对导管的拉回轨迹。直到最近，X射线荧光透视是获得相控阵列IVUS换能器沿着拉回轨迹相对于血管壁的纵向位移的估计的仅有选择。

然而，最近已经开发了一种完全基于超声图像来估计导管的尖端的速度/位移的系统。下文所公开的该新方法提供了IVUS换能器相对于血管壁的仰角速度(即连续帧之间的位移)的估计，并且基于机器学习算法的使用。

基于X射线的位置估计方法和基于IVUS的位移估计方法两者具有其特定的优点和缺点。然而，两种方法可以协同组合，以便显著减少两种方法的缺点。

当前，X射线系统的帧速率必须足够高，以确保位置估计的适当密集的序列，以便为同时采集的IVUS图像102中的每幅计算足够准确的位置估计。这当前导致电离辐射的持续暴露。通过将分别用于位置估计和位移估计的X射线和IVUS方法组合，克服了对连续X射线采集的需要，并且因此减少了电离辐射的暴露。

此外，在当前COREG系统中，来自X射线图像104的换能器位置估计的序列不是实时可用的，并且要求X射线图像104的完整序列可用。相反，来自IVUS图像102的位移估计通常以相对小的延迟(即，典型地几个帧)可用。因此，X射线位置估计和IVUS位移估计两者的组合可以减少计算负荷并加速换能器位置估计的计算。

从X射线图像104采集的位置估计的准确度通常受限于X射线采集系统的空间分辨率。实际上，这导致仰角位置估计(即沿着管腔的长度的位置)的大约2mm的准确度。此外，从X射线图像104采集的位置估计的准确度也可能受限于X射线系统的运动模糊。在一些情况下，该运动模糊的特性可能不可用于位置估计过程。有利地，基于IVUS的位移估计中的绝对误差达到大约0.1mm/s的值。因此，X射线位置估计和IVUS位移估计两者的组合可以提供具有比单独系统中的任何系统更高的鲁棒性和准确度的位置估计。

图2示出了用于估计导管在管腔中的位移的第一方法。基于X射线的位置估计过程，诸如但不限于，作为前述COREG系统的部分已经存在的过程，形成第一系统202，第一系统202提供导管的尖端的第一位置估计204的序列。X射线系统202提供用于确定第一位置估计204的X射线图像104中的一幅或多幅。

基于IVUS的位移估计系统形成第二系统206，第二系统206提供估计位移值208的序列。IVUS系统206提供一幅或多幅IVUS图像102，该一幅或多幅IVUS图像被用于确定IVUS图像之间的估计位移。此外，可以基于估计位移208和IVUS图像之间所花费的时间(例如根据图像时间戳)来估计导管的尖端的速度。

“组合器”元件210使用第一位置估计204的序列和估计位移208的序列(或速度估计的序列)来计算改进的第二位置估计212的序列。

此外，估计位移208和/或估计速度可以被用于影响X射线采集过程。估计位移208和/或估计速度也可以被用于辅助第一位置估计204。

图3示出了用于估计导管在管腔中的位移的第二方法。估计位移208的序列的已知准确度可以被用于估计位置估计212的第二序列中的累积误差302，累积误差302是根据估计位移208的总和(或估计速度值的数值积分)得出的。对于每幅IVUS图像102，累积误差302的值被连续地与预定阈值304进行比较，并且所得信号被提供给第一系统202，第一系统202被用于确定何时采集新的第一位置估计204。这降低了所要求的第一位置估计204的数目，并且因此降低了所要求的X射线图像104的数目。所要求的X射线图像104的数目可以与所要求的第一位置估计204的数目一样低。然而，所要求的X射线图像104的数目可以更高，如果这对于位置的可靠估计是必要的。

如果每幅图像102的平均/预期误差是已知的，或者可以估计，则可以进一步估计N幅图像/N个帧之后的预期误差。平均/预期误差可以取决于估计位移值208。在N个帧之后的预期误差可能比预期误差的和更宽容，因为误差很可能是互相抵消的过估计和欠估计的组合。例如，在位移中每个中的误差是e_i的情况下(其中，假设误差e_i以零均值正态分布)，累积误差e_acc可以是误差e_i平方和的平方根：

第一系统202和第二系统206的组合还可以使用第二系统206的能力来检测导管运动的缺失(例如，当换能器由操作者针对多个帧“停放”时)。此处，将估计位移208的序列与预定阈值进行比较，以测试绝对位移是否足够低以指示“停止”。估计速度也可以被用于确定导管是否静止。

任选地或额外地，可以将已经标记为“停止”的连续IVUS图像的数目与预定第二阈值进行比较，以便测试停止帧的数目何时超过预定值，以便指示换能器“停放”，根据其，第一系统可以接收到不立即需要新的第一位置估计204的信号，因此降低所要求的X射线图像104的数目。

组合系统还可以使用第二系统206的能力来检测导管沿着仰角方向的预定最大速度限制已经被超过(例如当导管由操作者拉得太快时)。在这种情况下，第一系统206可以接收第二系统202不能提供可靠的位移估计208的信号，根据该信号，第一系统202增加第一位置估计204的速率，因此也提高了X射线成像帧速率。

估计位移208的序列和/或速度估计也可以可用于确定第一位置估计204。例如，由于第一系统202“知道”在估计位移208(或速度)低的情况下，新的X射线图像中的导管位置不能远离先前的位置，因此估计位移208可以减小第一位置估计过程中的搜索窗口的大小。备选地或者额外地，估计位移208可以在第一位置估计过程中改变搜索窗口的位置，使得搜索窗口更好地居中在(一幅或多幅)新的X射线图像104中最可能的导管位置上。

搜索窗口大小以及搜索窗口位置两者可能由X射线图像104序列中的导管的预期“路线图”的估计限制。这样的路线图估计可以在导管拉回之前手动绘制。否则，可以在采集新的X射线图像104和IVUS图像102时自动(重新)计算新的路线图假设。这些示例方法旨在减少基于X射线的位置估计过程的计算次数，例如，目的是在拉回采集期间或之后更早地使第一位置估计204可用，或者甚至减轻对完整的X射线序列采集的需要。

估计位移208还可以被用于通过补偿X射线系统202的运动模糊来改进根据X射线图像104的第一位置估计的过程。运动模糊可以是第一系统202的曝光时间和内置时空图像处理算法的组合，通常目的是减少噪声。尽管运动模糊的点扩散函数取决于运动的方向和幅度，但是模糊过程本身归因于常常恒定的时间孔径。第一位置估计过程改进可以包括例如基于模型和基于模型参数的估计来显式恢复该时间孔径。所述第一位置估计过程改进还可以包括使用恢复的时间孔径来重建无运动模糊的图像，例如通过去卷积的方式。否则，所述第一位置估计过程改进可以直接使用估计位移208(或速度估计)来直接从一幅或多幅X射线图像恢复第一位置估计204，而无需对时间孔径进行明确估计。估计位移208的这样的直接使用的实施可以基于经训练的机器学习算法。

在导管轨迹没有保持与成像平面足够平行时的情况下，例如由于血管的弯曲，估计位移208也可以支持基于X射线的位置估计过程。在这种情况下，导管在X射线图像104中的投影受限于透视缩短，从而阻碍了通过血管的真实行进距离的可靠恢复。在这样的情况下，当第一位置估计204局部不可靠或甚至不存在时，位移估计208的连续可用性可以被用于确保位置跟踪。这可以减轻对同时次级X射线投影的需要，或者甚至对先前CT血管造影的需要。

投影的导管路径长度(以像素为单位)并不总是线性映射到真实导管路径长度(以mm为单位)。在血管/管腔朝向或远离X射线探测器弯曲的情况下，投影的路径长度可能受限于透视缩短。在这样的情况下，不再存在固定的线性关系，该线性关系可以用作用于基于源自IVUS的位移估计来移动X射线图像中的减少搜索区的基础。

然而，在导管402包括不透射线标记的情况下，投影的位移与真实位移之间的变化关系可以从(投影的)X射线图像104中的标记之间的变化距离导出。由于换能器404通常在导管402的远侧部分(例如血管内超声扫描器)或远端(例如前视IVUS或ICE)，因此在许多图像期间拉回使得标记在换能器404之前，并且因此提供许多“校准”样本。校准样本可以被用于准确估计投影的导管路径长度与真实导管路径长度之间的局部变化关系。

备选地，先前的CT模型可以被用于导出3D血管形状，并且将此用作用于校正该透视缩短的基础。

组合器元件210可以是基于卡尔曼滤波器的位置估计器，这是融合相同对象的不同动态状态(位置、速度、加速度)的不同感觉测量结果的已知方法。备选地，组合器元件可以是单独的数值积分元件，其根据估计位移的序列计算第三位置估计。因此，第三位置估计和第一位置估计204的序列可以被用于确定改进的第二位置估计212。组合系统还可以使用来自第一系统202的时间插值的第一位置估计204来补偿估计位移208中的漂移。

第二系统206可以是血管外超声(EVUS)数据而不是IVUS数据。EVUS数据通常是用外部超声探头采集的。备选地，第二系统206可以是外部系统，其使用导管的外部(身体外部)测量的仰角位移208作为相对于被成像血管的导管的远端处或附近的换能器的位置和/或位移的代理。

第二系统206也可以是基于IVUS的系统、基于EVUS的系统和/或外部导管跟踪方法的组合。

当第一系统202是X射线成像系统时，可以应用组合系统来减少总X射线剂量。此外，本发明可以用于仰角位置估计的广泛应用。

组合系统的应用是病变/支架直径和长度的准确确定大小。从血管造影图中读取用于手动IVUS拉回的当前病变/支架长度估计。组合系统可以在拉回期间检测到导管临时停放，并且随后调用对操作者的指示。

此外，组合系统可以向算法提供信号，以在相同位置处使用多个帧以用于改进的分析。在相同位置处的多个帧可以被组合以通过组合噪声或散斑的多个实现来改进准确度，可能在持续的横向组织运动下或在血液散斑的多种实现下。

一种特定的实施方案可以是使用在导管停止时收集的多个帧，并且使用动脉与静脉之间的血液散斑的差异(由流速的差异引起)。该现象已经在大腿的外周静脉IVUS中观察到。这样的算法可以在检测到导管被“停放”时自动启动。

图4示出了管腔406中的导管402的图示。在该示例中，导管402包括导管402的尖端附近(即导管402的远端附近)的远侧部分处的IVUS换能器404。IVUS换能器404具有成像平面408，成像平面408对应于由换能器404成像的区并且垂直于换能器404的长度并且在径向方向410上延伸。仰角方向412被定义为垂直于成像平面408的方向，并且因此与导管402的尖端的运动方向平行或几乎平行。仰角方向412可能并不总是平行于行进方向，因为导管402的尖端在向前移动时可能处于一角度。

图5示出了来自管腔406中的IVUS换能器404的图像。图5a示出了来自换能器404的单幅图像102，并且图5b示出了具有导管402的尖端的对应速度值504的连续IVUS图像502的序列的截面。

图5b的图像包括来自一系列图像102中的每幅的水平像素行的组合。一个这样的水平行在图5a中示出为虚线，并且图5b的图像是这样的图像行的垂直堆叠。

根据连续IVUS图像502的序列来估计导管402的尖端的速度是可能的。

速度变化对IVUS图像数据的效应可以在图5中看到。图5a中的IVUS图像102清楚地呈现“散斑”，对于相干成像方法并且因此也对于超声检查典型的臭名昭著的颗粒图案。散斑的重要特性是它相对稳定的事实(即，从相同位置成像的相同3D场景将重复创建相同的散斑图案)。

散斑现象在所有三个空间方向上延伸，其中，平均散斑颗粒的形状和大小由超声频率和超声换能器元件的(有限的)尺寸支配。因此，已知其相对独立于散射组织，只要声散射元件的分布足够密集。在这些条件下，预期散斑中的每个将在仰角方向412上采用相对恒定的平均形状和大小。

在拉回速度的变化下，当图像102以均匀的时间间隔布置时，记录的散斑图案的形状变得拉伸和压缩。空间数据的明显变形在图5b中可见。在图5b中也描绘了相关联的实际速度504。

除了速度的幅度的变化之外，速度的“符号”也倾向于偶尔“翻转”，因为在单个拉回内在仰角方向412上的运动反转。运动反转影响拉回序列内的图像的单调空间排序。当内科医师决定在相同拉回期间重新访问先前捕获的部位时，通常发生故意的运动反转。

意外的运动反转通常是由心脏运动引起的，并且因此在冠状动脉的IVUS成像中非常常见，其中，连续图像之间的换能器移动偶尔超过6mm。

图6示出了用于估计导管在管腔中的位移208的方法。一幅或多幅超声图像102(例如IVUS图像)被输入到机器学习算法602中，该算法返回与一幅或多幅输入图像102相关联的相对仰角位移208的估计。输入图像102优选地以与采集相同的顺序提供。用于执行该方法的系统可以包括用于存储与一幅或多幅输入图像102相关联的数据的存储器缓冲器。所存储的数据可以是输入图像102或从输入图像102导出的数据。

机器学习算法602可以是但不限于全连接网络、卷积网络或递归神经网络(诸如长短期记忆网络)。机器学习算法602还可以包括专用于位移估计任务的各方面的多个模块化人工神经网络。机器学习算法602被训练为输出对应于输入图像102的一维估计位移值208。

输出估计位移208也可以被转换为估计速度值604(基于图像帧之间的时间)和/或转换为管腔中的导管的尖端的第三位置估计606。

例如，机器学习算法602可以包括对存储在极域中的对应包络数据段的时间堆叠进行操作的卷积神经网络(CNN)。这样的分段可以对应于笛卡尔域中的图像扇区，其中，输入图像102被正常显示。在极域中，散斑统计看起来几乎是空间不变的，并且因此允许位移估计的任务分布在多个但相似的估计单元中。在该示例中，可以选择逐扇区分离，以改进针对归因于管腔分叉或声学阴影的信号丢失的鲁棒性，以及对诸如由次级导丝(通常称为“伙伴线”)引起的那些响应的强局部声学响应的鲁棒性。即使在没有这样的扰动的情况下，基于分段的估计也可以优于具有单个网络的位移估计。

即使在图像平面中存在横向(平移或旋转)运动(例如由于心脏运动)的情况下，机器学习算法602也可以被用于提供估计位移208。估计位移208还可以被用于指示内科医师是否超过预定义速度限制610，并且将该指示提供给用户接口。估计位移208可以被用于改进序列测量的解释，例如，通过提供作为以mm为单位的物理拉回距离而不是顺序帧索引的函数的自动管腔面积测量结果的序列。

还可以基于估计位移208来检测在仰角方向412上的运动反转608。反向运动方向上的图像间位移的幅度也可以以允许实时检测并且没有心脏门控的计算成本来估计。

估计位移也可以被用于检测导管运动612的不存在(例如当换能器由操作者针对多个帧“停放”时)。此处，可以将估计位移208的序列与预定阈值进行比较，以测试估计位移208是否足够低以指示“停止”。估计速度也可以被用于确定导管是否静止612。

图7示出了用于机器学习算法602的示例架构。图像102是由256行组成的极性IVUS图像。在该示例中，图像102被分裂成每个32行的八个分段702，并且分段702被单独输入到机器学习算法602中。每个分段702通过第一卷积层704、第一最大池化层706、第二卷积层708、第二最大池化层710、全局平均池化层712和一个或多个密集层714。密集层714为分段702中的每一个输出估计位移208。然后可以组合(例如平均或中值)来自分段702中的每一个的估计位移208，以获得更鲁棒的组合估计位移。

图8示出了根据多幅图像102估计位移的方法。在该示例中，存在八幅连续图像102的序列，每幅图像被划分为八个分段702。对应于连续图像1102中的每一幅的八个分段702被输入到机器学习算法602(例如卷积神经网络)中，该算法输出针对输入分段702中的每个的估计位移802的序列。八个输出估计位移的中值被给出为针对图像102的序列的(一幅或多幅)中心图像(即在该示例中为图像4和5)的组合位移估计804。

在该示例中，机器学习算法602可以包括多个神经网络，每个神经网络接收单个分段702并输出针对单个输入分段702的估计位移。在一些实例中，根据输入图像102中的估计位移和时间差(例如根据已知帧速率)来确定针对每个分段的估计速度可能是有益的。因此，可以根据估计速度而不是中值估计位移804来确定针对(一幅或多幅)中心图像的中值速度估计。

图9示出了针对使用机器学习算法602来估计导管在管腔中的速度的测试结果。用于估计图8所示的位移的方法被用于测试。图9a示出了y轴上以mm/s为单位的估计速度值和x轴上以mm/s为单位的真实速度值。可以根据估计位移和例如图像的帧速率来确定估计速度值。图9a中的每个点902示出了使用图8中所示的方法获得的估计速度与用于移动导管的真实速度。线904示出了在估计速度值完全准确的情况下的期望值。图9b示出了以mm/s为单位的估计速度值与真实速度值之间的平均绝对误差，并且x轴示出了以mm/s为单位的真实速度值。每个点906示出了每个点902与线904上的对应点之间的绝对差异。

备选地，可以在训练数据的不同选择上训练两个(或更多个)不同的机器学习算法，一种被称为集成学习的方法。然后，两个或更多个单独的估计位移的中值可以被用于生成单个的、更鲁棒的位移估计。集成学习方法在估计真实仰角位移方面也呈现出显著的准确度。

先前已经利用散斑图案的相对稳定性和可预测的统计性质来估计连续超声帧之间的运动。一种已知的方法是将连续图像之间的相关性与描述帧间相关性和位移之间的通常非线性关系的回归模型组合使用。然而，这些运动估计方法旨在使用外部超声探头而忽略了在导管本身上可能使用超声换能器(即IVUS换能器)。

此外，基于相关性的运动估计方法假设超声换能器在图像序列的采集期间经受相对大的移动自由度，这增加了获得估计所需的计算资源，并且因此增加了获得估计所花费的时间。

图10示出了针对估计导管的仰角速度和导管的真实速度的两种方法的结果。图10a中所描绘的结果示出了线1004中的从估计位移获得的估计速度与用足够准确的位置检测器采集的线1006中的真实(真实情况)仰角速度相比较，并且还与线1002中从基于相关性的速度估计获得的速度估计进行比较。y轴以mm/s为单位示出了速度，并且x轴以秒为单位示出了时间。

图10b示出了通过积分图10a中的三条线1002、1004和1006所获得的导管的累积位移(即相对于原点的位置)。y轴以mm为单位示出了累积位移，并且x轴以秒为单位示出了时间。线1012对应于使用基于相关性的方法估计的累积位移，并且基于积分线1002。线1014对应于使用机器学习算法估计的累积位移，并且基于积分线1004。线1016对应于通过积分线1006获得的真实累积位移。基于相关性的方法的准确度被示出为不足以准确估计较长距离上的仰角位移(和/或仰角位置)。然而，通过机器学习算法对位移的估计在较长的纵向距离上呈现出持续的位置准确度。

沿着仰角方向的相对图像位置的恢复可以用于描绘作为仰角位置的函数的自动区测量结果的序列，和/或用于创建被成像解剖结构的“运动校正”3D断层摄影重建。

机器学习算法也可以用对应于速度值的图像的序列来训练，该速度值超过由物理采集参数(例如RF频率和换能器形状)支配的理论分辨率限制。

图11示出了针对利用对应于超过分辨率限制的速度值的图像序列训练的机器学习算法的测试结果。y轴示出了从机器学习算法获得的估计速度值，并且x轴示出了真实速度值。每个点1102示出了根据使用机器学习算法获得的估计速度与用于移动导管的真实速度。线1104示出了在估计速度值具有完美准确度的情况下的预期结果。

显著地，在机器学习算法不具有物理分辨率限制的任何知识的情况下，当连续切片之间的交叠在仰角方向上变得小于平均散斑大小的一半时，它鲁棒地产生饱和到恒定值(约7mm/s)的速度估计。

因此，机器学习算法可以被用于向内科医师提供拉回速度过高的指示。实际上，这意味着与连续帧相关联的空间切片没有充分交叠以确保被成像组织的完全覆盖。

速度估计中的鲁棒饱和行为允许以相对简单的方式来实施用于例如IVUS导管的操作者的反馈方法。例如，对于高达5mm/s的值示出“绿光”，对于5mm/s与6mm/s之间的值示出“橙色”，对于高于6mm/s的任何值示出“红色”(“移动太快”)。这些阈值是基于图11中所描绘的观察的示例，该观察是用以每秒30帧操作的IVUS换能器获得的。对于不同频率和帧速率处的其他导管，也可能存在不同的对应速度限制。利用针对不同导管的经训练模型，可以自动向内科医师提供这些速度限制指示。

检测到导管速度超过某个限制可能向操作员调用速度太慢的指示和/或向算法提供指示违反连续性假设的信号(例如在边界分割算法中)。

仰角轴上的幅度和方向两者可以利用机器学习算法估计，从而允许在存在运动反转的情况下恢复仰角帧位置。重要的是，应注意，在运动反转之后，后续一个或多个帧将必须包含“熟悉”的内容，因为换能器基本上重新访问血管中的旧位置。一种可能的方法是使用所谓的长短期记忆(LSTM)神经网络来确定仰角轴上的方向。

图12示出了用于利用LSTM层1206确定运动方向的示例机器学习算法。在该示例中，LSTM层1206在卷积神经网络(CNN)1204之后。此处，CNN 1204被训练为将每幅输入图像1202减少到较小的特征向量，同时保留评估帧相似性的性质。LSTM 1206被训练为提供先前帧中间的有效比较。一个或多个密集层1208也被训练为为每幅输入图像1202提供分类1208，其指示哪些图像是在反向运动下采集的。

任选地，基于LSTM的运动方向估计器使用估计位移的幅度作为额外输入。估计方向和估计位移可以组合用于在导管和组织运动的大变化下恢复相对图像位置。

在各实施例中的任何实施例中的机器学习算法可以被配置为接受极坐标表示而不是笛卡尔表示的IVUS图像。尽管笛卡尔表示提供了解剖结构的拓扑正确的形状和大小保持绘制，但是极坐标表示提供了其中图像重建的点扩散函数变得实际上空间不变的空间域。这有益地导致散斑图案在两个平面方向上采用几乎均匀的统计性质(在这种情况下，在横向方向和轴向方向上的已知平均散斑大小，其值可以被计算或测量)。这在图13中被图示。在散斑统计在空间上不均匀的情况下，例如示出作为轴向距离的函数的强变化，平均散斑大小的该空间分布是时间不变的。因此，在不失一般性的情况下，我们假设均匀散斑分布而继续进行该讨论。只要这样的极坐标图像表示作为完整图像处理链的部分是可用的，极坐标表示中的图像数据的使用潜在地有利于所述方式的计算效率，并且潜在地最小化与以笛卡尔表示显示IVUS图像所要求的扫描转换过程相关联的额外延迟。

机器学习算法还可以被配置为确定两幅或更多幅连续图像之间的对应图像区域之间的位移，这产生纵向方向上的局部位移的逐区域估计。

例如，这些图像区域可以对应于笛卡尔表示中的IVUS图像的扇区，其有益地对应于极坐标表示中的矩形区域。额外地或备选地，这些图像区域可以对应于不同的深度范围，其对应于笛卡尔表示中的环，也有益地对应于极坐标表示中的矩形区域。图14和图15中图示了组合。

逐区域纵向位移估计可以被组合以产生一个单个逐帧位移估计。例如，在逐扇区估计的情况下，这允许拒绝估计集合中间的估计异常值，以增加逐帧估计的鲁棒性。

逐区域纵向位移估计可以有益地使能对应于与完成帧的序列相关联的时间实例之间的多个时间实例的位移估计。在相控阵列IVUS中，图像重建本身倾向于遵循与采集信道数据的顺序相关联的旋转模式。类似于机械旋转IVUS导管，这导致连续图像扇区与不同但连续的时间实例相关联。特别地在IVUS图像的帧速率相对低的情况下(通常与大视场的成像相关联)，与帧实例相关联的时间分辨率可能不足以跟随拉回速度的突然变化。这在图16和图17中被图示。

逐区域纵向位移估计可以被组合以导出拉回路径的曲率。例如，逐区域估计可以被用于拟合模型(例如笛卡尔域中的平面模型)的参数。这在图18中被图示。

例如，曲线估计的该序列可以被用于支持解剖界标的标识。

备选地或者额外地，曲线估计的该序列可以被用于组成血管和周围组织的解剖学上正确的3D表示。

备选地或者额外地，曲线估计的该序列可以被用于根据包含血管的倾斜切片的一幅或多幅IVUS图像恢复管腔的真实形状和直径。这可能涉及垂直于纵向血管中心线的一幅或多幅(虚拟)IVUS图像的组成。这在图19中被图示。这类似于从CT切片中提取血管中心线，其中，切片可以在不同的倾斜角度下穿过血管。

此外，弯曲血管的形状的恢复可以通过形状信息的管腔外源(诸如一幅或多幅X射线图像)来帮助。

任选地，这些X射线图像与IVUS数据同时采集，示出(导管相对于解剖结构的投影)。投影平面内的导管弯曲提供了针对3D中的真实弯曲的代理。导管上的投影不透射线(均匀间隔)标记的透视缩短提供了针对投影平面外的弯曲的代理。图20中图示了这样的标记。这些局部弯曲信息源可以被用于改进从IVUS数据获得的有噪声或不完整的弯曲估计。作为回应，IVUS数据可以被用于改进来自X射线系统的弯曲估计，例如以消除从X射线图像导出的平面外弯曲的方向的歧义。

机器学习算法还可以被配置为接受一个或多个原始(信道)信号、中间信号或原始信号的中间表示。特别地在相位阵列IVUS中，连续原始信号采集之间的时间间隔比连续帧之间的时间间隔短得多。与连续帧的使用相比较，在高得多的拉回速度下，可以利用原始信号之间的更高的时间分辨率来估计导管位移。这样一来，所述对原始或中间信号的使用产生用于位移估计的帧内方法。

例如，算法可以使用为计算波束形成A线而收集的飞行时间校正(ToF)信道信号的集合，该A线与笛卡尔B模式输出图像中的包络值的径向集合相关联。贡献(发射和接收)连续阵列元件的数目确定了利用其来重建图像的合成孔径的大小。例如，在延迟和求和波束形成的情况下，在(加权)求和之前和包络检测之前，这些信号可以存在于信号缓冲器中。

例如，这些信号可以根据它们相应的采集时间实例进行(重新)排序。此处，第一信号组和第二信号组被组成，使得每个信号组包含一个或多个ToF校正的信道信号，但是使得第一和第二组与两个不同的时间实例相关联。这些信号组例如可以被转换成第一和第二包络信号。机器学习可以被配置为接受这样的信号组中的两个或更多个，以产生在所述信号组之间的时间段期间的导管位移的估计。该估计与同合成孔径中心的位置相关联的一个或多个径向线相关联。在IVUS导管包括64个元件的阵列的情况下，上述方法将产生每帧64个位移估计。

返回到估计位移的采集，位移的估计可以与心脏相位的信息组合，目的是确保(通常周期性的)心脏引起的组织变形(例如压缩、平移、旋转)和相关联的测量结果(例如管腔面积)不影响使用空间上重新排序的图像或空间上重新排序的测量结果的过程。心脏相位信息可以来自ECG设备，可以从IVUS帧序列导出，或者可以从速度估计导出。

仰角位移估计(或中间3D空间重建)也可以被用于支持用于例如侧分支检测或支架分割的算法。

连续图像之间的仰角位移的变化可能导致解剖结构和植入物在捕获的图像序列中看起来变形。用于自动检测的算法潜在地可能受益于利用其来采集图像的仰角速度/位移的知识。因此，速度/位移估计的序列可以形成针对检测或分类算法的额外输入。备选地，速度/位移估计的序列可以被用于执行对应图像的中间运动校正，在其之后运动校正的图像形成针对检测或分类算法的输入。

机器学习算法是处理输入数据以便产生或预测输出数据的任何自训练算法。此处，输入数据包括来自超声换能器的图像，并且输出数据包括管腔中的导管在仰角方向上的位移的估计。

用于本发明的适合的机器学习算法对于技术人员来说将是显而易见的。适合的机器学习算法的示例包括决策树算法和人工神经网络。诸如逻辑回归、支持向量机或朴素贝叶斯模型的其他机器学习算法是适合的备选方案。

人工神经网络(或简单地神经网络)的结构由人类大脑启示。神经网络包括层，每个层包括多个神经元。每个神经元包括数学运算。特别地，每个神经元可以包括单个类型的变换的不同加权组合(例如相同类型的变换、S形等，但是具有不同的加权)。在处理输入数据的过程中，在输入数据上执行每个神经元的数学运算以产生数值输出，并且神经网络中的每个层的输出被顺序馈送到下一层中。最终层提供输出。

训练机器学习算法的方法是众所周知的。

通常，这样的方法包括获得训练数据集，其包括训练输入数据条目和对应的训练输出数据条目。初始化的机器学习算法应用于每个输入数据条目以生成预测的输出数据条目。预测的输出数据条目与对应的训练输出数据条目之间的误差被用于修改机器学习算法。可以重复该过程，直到误差收敛，并且预测的输出数据条目与训练输出数据条目足够相似(例如±1％)。这通常被称为监督式学习技术。

例如，在机器学习算法由神经网络形成的情况下，可以修改每个神经元的数学运算(的加权)，直到误差收敛。修改神经网络的已知方法包括梯度下降、反向传播算法等。

训练机器学习算法以输出位移估计的重要方面是确保用于训练的输入图像包含与真实超声图像相似的散斑统计。这可以通过使用例如用于拉动导管的拉回引擎和身体中的管腔的体模表示来实现。也可以模拟在管腔中移动的导管，因此模拟的快照可以用作训练图像。

训练输入数据条目对应于来自超声换能器的示例图像。训练输出数据条目对应于估计位移。

技术人员将容易能够开发用于执行任何本文所描述的方法的处理器。因此，流程图的每个步骤可以表示由处理器执行的不同动作，并且可以由处理处理器的相应模块执行。

如上文所讨论的，系统利用处理器来执行数据处理。处理器可以利用软件和/或硬件以许多方式实施以执行要求的各种功能。处理器通常采用可以使用软件(例如，微代码)编程以执行所需功能的一个或多个微处理器。处理器可以被实施为执行一些功能的专用硬件和执行其他功能的一个或多个编程微处理器和相关联的电路的组合。

可以被采用在本公开的各种实施例中的电路的示例包括但不限于常规微处理器、专用集成电路(ASIC)和现场可编程门阵列(FPGA)。

在各种实施方案中，处理器可以与一个或多个存储介质相关联，诸如易失性和非易失性计算机存储器，诸如RAM、PROM、EPROM和EEPROM。存储介质可以编码有一个或多个程序，其当在一个或多个处理器和/或控制器上运行时执行所需功能。各种存储介质可以被固定在处理器或控制器内或可以是可运输的，使得被存储在其上的一个或多个程序可以被加载到处理器中。

通过研究附图、说明书和权利要求书，本领域的技术人员在实践请求保护的本发明时可以理解和实现对所公开的实施例的变型。在权利要求中，词语“包括”不排除其他元件或者步骤，并且词语“一”或“一个”不排除多个。

单个处理器或其他单元可以履行权利要求中记载的若干项的功能。

尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。

计算机程序可以被存储/分布在合适的介质上，例如与其他硬件一起提供或作为其他硬件的部分提供的光学存储介质或固态介质，但计算机程序也可以以其他形式来分布，例如经由因特网或者其他有线或无线电信系统分布。

如果术语“适于”被使用在权利要求或说明书中，则应注意到，术语“适于”旨在等于术语“被配置为”。

权利要求书中的任何附图标记不应被解释为对范围的限制。

Claims (15)

1.一种用于确定介入设备(402)的远侧部分在管腔(406)内的位置的系统，包括：

处理器，其被配置为：

从第一系统(202)接收所述介入设备(402)的所述远侧部分在所述管腔(406)内的第一估计位置(204)；

从第二系统(206)接收所述介入设备(402)的所述远侧部分在所述管腔(406)内的估计位移(208)，其中，所述估计位移(208)表示所述介入设备的所述远侧部分在所述管腔(406)内的移动；并且

基于所述第一估计位置(204)和所述估计位移(208)来确定所述介入设备(402)的所述远侧部分在所述管腔(406)内的第二估计位置(212)。

2.根据权利要求1所述的系统，还包括所述第一系统(202)，其中，所述第一系统(202)包括：

体外成像系统，其用于获得体外图像(104)；以及

成像处理器，其被配置为基于所述体外图像(104)来计算所述第一估计位置(204)。

3.根据权利要求2所述的系统，其中，所述介入设备(402)包括能由所述体外成像系统检测到的一个或多个标记，并且其中，所述成像处理器被配置为基于所述一个或多个标记的位置和/或所述标记之间的距离来计算所述第一估计位置(204)。

4.根据权利要求1至3中的任一项所述的系统，还包括所述第二系统(206)，其中，所述第二系统(206)包括：

超声换能器(404)，其用于获得超声图像(102)；以及

超声处理器，其被配置为基于所述超声图像(102)来计算所述估计位移(208)。

5.根据权利要求4所述的系统，其中，所述超声换能器(404)被设置在所述介入设备(402)的所述远侧部分上，并且其中，所述估计位移(208)在基本垂直于所述超声换能器(404)的成像平面(408)的仰角方向(412)上。

6.根据权利要求1至5中的任一项所述的系统，其中，所述处理器被配置为指示所述第一系统(202)基于所述估计位移(208)来获得随后的第一估计位置(204)。

7.根据权利要求6所述的系统，其中，指示所述第一系统(202)基于：

根据估计位移(208)的序列来确定累积误差(302)；并且

基于将所述累积误差(302)与预定误差阈值(304)进行比较来指示所述第一系统(202)获得随后的第一估计位置(204)。

8.根据权利要求6或7中的任一项所述的系统，其中，所述处理器还被配置为基于所述估计位移(208)小于预定下阈值来确定所述介入设备(402)相对于所述管腔(406)是否静止，并且其中，指示所述第一系统(202)还基于所述介入设备(402)不是静止的。

9.根据权利要求6至8中的任一项所述的系统，其中，所述处理器还被配置为基于将第一时间段上的所述估计位移(208)与预定上阈值进行比较来确定速度限制指示(610)，并且其中，指示所述第一系统(202)还基于所述速度限制指示(610)。

10.根据权利要求1至9中的任一项所述的系统，其中，所述处理器还被配置为基于所述估计位移(208)来调整所述第一系统(202)的参数。

11.根据权利要求1至10中的任一项所述的系统，其中，所述处理器还被配置为基于第一估计位置(204)的序列、估计位移(208)的序列和/或第二估计位置(212)的序列来确定所述介入设备(402)在所述管腔(406)中的路线图。

12.根据权利要求1至11中的任一项所述的系统，其中，所述处理器还被配置为在确定所述第二估计位置(212)时补偿所述第一系统(202)的运动模糊。

13.根据权利要求1至12中的任一项所述的系统，其中，确定第二估计位置(212)基于：

将所述第一估计位置(204)和所述估计位移(208)输入到基于卡尔曼滤波器的位置估计器中；

基于随时间的所述估计位移(208)来确定所述介入设备(402)的所述远侧部分的估计速度(604)，并且基于所述介入设备(402)的所述远侧部分的所述第一估计位置(204)和所述估计速度(604)来确定所述第二估计位置(212)；和/或

将所述第一估计位置(204)和所述估计位移(208)输入到机器学习算法中，所述机器学习算法被训练为基于所述第一估计位置(204)和估计位移(208)来输出第二估计位置(212)。

14.一种确定介入设备(402)的远侧部分在管腔(406)内的位置的方法，所述方法包括：

从第一系统(202)接收所述介入设备(402)的所述远侧部分在所述管腔(406)内的第一估计位置(204)；

从第二系统(206)接收所述介入设备(402)的所述远侧部分在所述管腔(406)内的估计位移(208)，其中，所述估计位移(208)表示所述介入设备(402)的所述远侧部分在所述管腔(406)内的移动；并且

基于所述第一估计位置(204)和所述估计位移(208)来确定所述介入设备(402)的所述远侧部分在所述管腔(406)内的第二估计位置(212)。

15.一种包括计算机程序代码单元的计算机程序产品，所述计算机程序代码单元当在具有处理系统的计算设备上运行时使所述处理系统执行根据权利要求14所述的方法的所有步骤。