CN110070534B - 用于基于血管图像自动获取特征序列的方法和预测血流储备分数的装置 - Google Patents

Abstract

本公开涉及一种用于基于血管图像自动获取特征序列的方法和预测血流储备分数的装置。所述基于血管图像自动获取特征序列的方法包括：接收由成像装置获取的血管图像。然后，由处理器获取所述血管的中心线上的一系列位置处的流速的序列。由所述处理器，通过融合结构相关特征和流速并使用卷积神经网络，获取在所述血管的中心线上的所述一系列位置处的第一特征的序列。处理器能够基于第一特征的序列，通过使用序列到序列神经网络确定所述一系列位置处的FFR的序列。该方法可以用于实时使用，采用卷积神经网络作为特征提取器并融合结构相关特征和流速以获得特征，从而可能比仅基于人工设计特征的现有方法更友好和更强大。

Description

用于基于血管图像自动获取特征序列的方法和预测血流储备 分数的装置

相关申请的交叉引用

本申请要求2018年5月22日提交的美国临时申请第62/674,608号的优先权，其全部内容通过引用结合在此。

技术领域

本公开一般地涉及图像处理和分析。更具体地，本公开涉及用于基于血管图像自动预测血流储备分数(FFR)的方法和装置。

背景技术

冠状动脉循环通过冠状动脉中的循环血液向心脏肌肉(心肌)供氧。严重的冠状动脉狭窄可以限制心肌血流并导致心肌缺血。冠状动脉X线血管造影是诊断冠心病的最常用技术之一。通过将对X射线部分不透明的造影剂注入血管，X射线血管造影可以从不同的取向(即，从不同的投影视角)动态观察血管的形状和状态及其任何病变，以及流体动力学。X射线血管造影一般适用于检查心脏的大血管，如冠状动脉、以及颈动脉和颅内动脉，并通常用于诊断和观察动脉狭窄、闭塞、血管发育异常和血液供应状况。然而，狭窄程度由观察这些图像的医务人员(例如放射科医师)人工评估，其准确性取决于医务人员的经验。此外，医务人员不能仅根据狭窄程度直接评估血管树远端的血流供应和缺血状况。血流储备分数(FFR)已于1995年提出，并已成为评估冠状动脉血流和指导冠状动脉再血管化决策的重要指标。然而，FFR测量是通过以侵入方式使用压力导丝进行的，并且甚至可能导致创伤的风险，尤其是在经常进行时。

已经引入了血管模拟，其主要依靠物理模型，如计算流体动力学(CFD)求解器或经验流体动力学方程，来计算血管中的FFR。这些血管模拟方法严重依赖于对血液流体特性、血管和狭窄几何模型的假设，因此可能导致预测误差。例如，虚拟计算FFR(虚拟FFR)鉴于其非侵入性而被提出，并且潜在地减少患者的诊断不适和成本。目前，虚拟FFR方法主要包括基于冠状动脉造影计算机断层摄影(CT)的FFR_CT、基于X射线血管造影图像的FFR模拟vFFR、以及基于定量冠状动脉血管造影与TIMI(心肌梗塞溶栓)计帧法的组合的FFR_QCA。CFD方法通常需要数十分钟甚至数小时的模拟时间，并且不能用于实时应用。使用经验流体动力学方程的方法对流体性质和血管几何形状做出若干假设，限于某些条件(例如，血管曲率不能太大)，从而由于基础的假设而不能扩展，并且在各种条件下不够准确。

基于机器学习的方法可用于提供预测FFR值的快速且面向数据的方法。然而，现有方法通常使用人工设计的特征，其需要针对各种条件和不同的患者进行适配，因为预测准确性取决于这些特征的设计。

另外，现有的基于机器学习的方法的性能最终受到训练数据的限制。并且通常采用血管模拟(例如CFD模拟)提供的计算结果作为学习网络的训练数据。然而，血管模拟的物理模型中的误差将在训练好的学习网络中被复制和维持，这劣化了其性能。

公开了一种基于血管图像来自动预测血流储备分数(FFR)的方法和装置，来解决以上关注问题。

发明内容

本公开提供了一种用于基于血管图像自动预测血流储备分数(FFR)的方法和装置。该方法可以用于实时使用，采用卷积神经网络(CNN)作为特征提取器并融合结构相关特征和流速以获得特征，从而可能比仅基于人工设计特征的现有方法更友好和更强大。此外，该方法充分利用有创测量的FFR来获得与地面真值数据更一致的训练数据，从而提高预测精度。此外，该方法将沿着血管的融合的特征序列馈送至序列到序列网络，以便考虑沿着血管的点之间的相互影响，从而进一步提高预测精度。

在一个方面，本公开涉及一种基于血管图像自动获取特征序列的计算机实现的方法，所述方法包括：接收由成像装置获取的血管图像；由处理器，获取所述血管的中心线上的一系列位置处的流速的序列；由所述处理器，通过融合结构相关特征和流速并使用卷积神经网络，获取在所述血管的中心线上的所述一系列位置处的第一特征的序列。

在一些实施例中，所述中心线是3D中心线，所述获取在所述血管的中心线上的所述一系列位置处的第一特征的序列的步骤包括：基于所述血管的至少两个图像重建所述血管的3D模型并提取所述血管的所述3D中心线；在所述血管的所述3D中心线上的一系列位置处获取结构特征的序列，所述结构特征包括血管半径、参考半径、曲率和光程深度中的至少一个；融合所述血管的所述3D中心线上所述一系列位置的所述结构特征的序列和所述流速的序列；和基于融合的特征序列，通过使用所述卷积神经网络来获取所述第一特征的序列。

在一些实施例中，每个结构特征通过连接血管半径、参考半径和曲率中的至少两个来获得。

在一些实施例中，所述中心线是2D中心线，所述获取在所述血管的中心线上的所述一系列位置处的第一特征的序列的步骤包括：从所述血管图像中提取所述血管的2D中心线；在所述血管的所述2D中心线上的一系列位置处采样固定尺寸的图像块的序列；基于所述固定尺寸的图像块的序列，通过使用卷积神经网络来获取所述结构相关特征的序列；和融合在所述血管的所述2D中心线上的所述一系列位置处的所述结构相关特征的序列和所述流速的序列，以便获得所述第一特征的序列。

在一些实施例中，融合所述结构相关特征的序列和流速的序列的步骤包括将所述血管的中心线上的相应位置处的所述结构相关特征和所述流速连接。

在另一方面，本公开涉及一种用于基于血管图像自动预测血流储备分数(FFR)的装置，所述装置包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器执行所述计算机可执行指令时，实现如下步骤：上述的任何一种基于血管图像自动获取特征序列的计算机实现的方法；以及基于所述第一特征的序列，通过使用序列到序列神经网络来确定所述一系列位置处的FFR的序列。

在一些实施例中，所述卷积神经网络和所述序列到序列神经网络使用训练数据一体地训练。

在一些实施例中，所述训练数据通过使用测量数据修正模拟的FFR结果来生成。

在一些实施例中，通过使用测量数据来修正模拟的FFR结果包括平移和/或伸缩所述模拟的FFR结果以使得在中心线上的测量点处的模拟FFR值等于相应的测量的FFR值同时考虑所述模拟的FFR结果的梯度。

在一些实施例中，考虑所述模拟的FFR结果的梯度包括维持所述模拟的FFR结果的梯度的变化率。

在一些实施例中，所述训练数据通过利用压力导丝获取所述血管的FFR回拉曲线并且通过配准将所述FFR回拉曲线从时域映射到空间域来生成。

在一些实施例中，所述序列到序列神经网络选自递归神经网络、门控递归单元、长短期记忆单元或它们的双向变体的组。

在一些实施例中，该装置还包括接口，被配置为获取由成像装置获取的血管图像。

在一些实施例中，所述成像装置的成像模态由计算机断层摄影、数字减影血管造影、磁共振成像、功能磁共振成像、动态对比增强磁共振成像、扩散磁共振成像、螺旋计算机断层摄影、锥形束计算机断层摄影、正电子发射断层摄影、单光子发射计算机断层摄影、X射线成像、光学断层摄影、荧光成像、超声成像、放射治疗射野成像的组中选出。

根据本公开的再一方面，本公开涉及一种具有存储在其上的指令的非暂时性计算机可读介质，所述指令在由处理器执行时执行：上述的任何一种基于血管图像自动获取特征序列的计算机实现的方法；以及基于所述第一特征的序列，通过使用序列到序列神经网络确定所述一系列位置处的FFR的序列。

应当理解，前面的一般性描述和以下的详细描述仅是示例性和说明性的，并不是对要求保护的本发明的限制。

附图说明

在不一定按比例绘制的附图中，相同的附图标记可以描述不同视图中的类似部件。具有字母后缀或不同字母后缀的相同数字可表示类似部件的不同实例。附图通常通过示例而非通过限制的方式示出了各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本方法、装置、或其上存储有用于实现该方法的指令的非暂时性计算机可读介质的穷尽或排他实施例。

图1示出了根据本公开的实施例的示例性FFR预测过程。

图2示出了根据本公开的实施例的采用CNN-序列到序列网络的第一管道来预测血管的3D中心线上的FFR值的序列的示例性过程；

图3示出了根据本公开实施例的适于执行如图2所示的预测过程的第一FFR预测系统；

图4示出了根据本公开的实施例的沿着血管的模拟FFR值的曲线与沿着血管的修正FFR值的曲线。

图5示出了根据本公开的实施例的采用CNN-序列到序列网络的第二管道来预测血管的2D中心线上的FFR值的序列的示例性过程；

图6示出了根据本公开的实施例的适于执行如图5所示的预测过程的第二FFR预测系统；

图7示出了根据本公开的实施例的预测模型(CNN-序列到序列网络学习网络)的训练过程；以及

图8示出了根据本公开的实施例的示例性FFR预测装置的框图。

具体实施方式

在下文中，技术术语“特征”可以表示矩阵、矢量和数值中的任何一个，其可以用作神经网络或其一部分的输入。此外，技术术语“结构相关特征”可以表示与血管结构相关的特征。“结构相关特征”可以包括具有明确的结构和物理意义的特征(下文中称为“结构特征”)，其可以由医务人员容易地理解，例如血管半径、参考半径(病变血管如果处于健康状态下(例如，没有由于狭窄而导致的变窄))的半径、曲率、光程深度等。此外，“结构相关特征”还可以包括如下特征，例如通过将图像或结构特征馈送到CNN中而获得的特征，其隐含(编码)结构信息(这意味着医务人员不能从特征中提取和理解这种编码的结构信息)，并且编码的结构信息可以包含以下任何一个：血管半径、参考半径(病变血管如果处于健康状态下(例如，没有由于狭窄而导致的变窄))的半径、曲率、光程深度、或其组合。技术术语“光程”表示射线传输路径。此外，技术术语“血管图像”可以表示包括血管部分的图像。例如，“血管图像”可以是目标部位的图像，其中具有血管部分和其他内容物(例如其他器官和背景部分)。

图1示出了根据本公开的实施例的用于基于血管图像自动预测FFR的计算机实现的方法的示例性FFR预测过程100。如图1所示，FFR预测过程100可以包括以下步骤：接收由成像装置获取的血管图像(步骤101)；获取血管的中心线上的一系列位置处的流速的序列(步骤102)；通过融合结构相关特征和流速并使用CNN获取在血管的中心线上的一系列位置处的第一特征的序列(步骤103)；并且，基于第一特征的序列，通过使用序列到序列神经网络确定所述一系列位置处的FFR值的序列(步骤104)。具体说来，FFR预测过程100包括由步骤101-步骤103构成的基于血管图像自动获取第一特征的序列的过程，该过程所获取的第一特征的序列可以在步骤104中用于使用序列到序列神经网络确定所述一系列位置处的FFR值的序列。需要注意的是，该过程所获取的第一特征的序列不仅仅可用于预测所述一系列位置处的FFR值的序列，还可以用于预测所述一系列位置处的其他血管参数(例如狭窄度等)的序列。

在一些实施例中，序列到序列神经网络可选自递归神经网络(RNN)、门控递归单元(GRU)、长短期记忆单元(LSTM)或它们的双向变体的组中。可以采用RNN作为序列到序列神经网络，但是可以根据需要用其他序列到序列神经网络替换RNN。

在一些实施例中，FFR预测过程100可以采用CNN-序列到序列网络的学习网络，其中CNN用作特征提取器以提取结构相关特征，例如，CNN可用于从图像中提取结构相关特征或从人工设计的结构特征中提取更高水平的结构相关特征。通过使用CNN，步骤103可以有效地(卷积运算在图像上的加速效果)并且自适应地(通过训练包括CNN的学习网络)提取结构相关特征，从而不太容易由于CNN的参数共享导致发生过拟合。在一些实施例中，可以通过训练来自动调节CNN的参数，因此医务人员不需要根据学习网络的应用场景人工设计和修改特征。例如，医务人员可以简单地设计固定的结构特征矩阵，包括血管的中心线上的一系列点处的血管半径、参考半径等，将该结构特征矩阵馈送到CNN中以提取更高水平的结构相关特征，以及使用训练数据来训练CNN以使提取的结构相关特征适应应用场景。以这种方式，大大减轻了医务人员的工作量，这有利于自动FFR预测方法的扩展。

在一些实施例中，可以在预测管道中应用CNN之前或之后执行在血管的中心线上的一系列位置处的结构相关特征和流速的融合。通过在融合结构相关特征和流速的同时使用序列到序列网络(其可以考虑中心线上不同位置之间的相互影响)，FFR预测模型准确且全面地模拟FFR的物理作用机制，从而改善了FFR预测方法的性能。在临床实验中，发明人证实了本公开的FFR预测方法的性能优于利用单独的结构相关特征或单独的流速作为特征的方法以及利用点对点学习网络而不是序列到序列网络的方法。此外，本公开的FFR预测方法可以几乎实时地预测FFR值并且将其映射回血管的中心线和3D血管几何结构。

血管的中心线可以是3D中心线或2D中心线。图2示出了根据本公开的实施例的用于预测血管的3D中心线上的FFR值的序列的示例性过程，其中采用CNN-序列到序列网络的第一管道作为学习网络。

如图2所示，预测过程开始于提取3D中心线和在3D中心线上的一系列位置处的结构特征。特别地，它可以包括基于来自不同投影视角的血管的至少两个图像重建血管的3D模型并提取血管的3D中心线。3D重建可以如下进行：从2D血管图像的序列提取2D中心线和血管壁，并在此基础上重建包括3D中心线的3D血管模型。然后，从3D血管模型，可以获取3D中心线上的一系列位置处的结构特征的序列，包括但不限于血管半径、参考半径、曲率和光程深度中的至少一个。在一些实施例中，3D中心线上的一系列位置处的流速的序列可以由自动计帧过程得出。在一些实施例中，可采用各种其他过程来获得流速的序列，包括但不限于2017年11月28日提交的第62/591,437号美国临时申请所公开的过程。

可以将每个结构特征和流速视为一个通道。如图2所示，输入矩阵具有N*m的维度，其中N是3D中心线上的位置(点)的数量，m是通道(即，特征)的数量。例如，特征矩阵的每个列向量，即X1，X2，X3......表示3D中心线上的一系列位置处的对应的特征序列，其中一个列向量表示3D中心线上的一系列位置处的流速的序列。输入矩阵被馈入CNN以提取更高级别的特征。在一些实施例中，CNN块可以由若干卷积层组成，具有适当的填充，跟着是非线性激活单元。在一些实施例中，激活单元可以是sigmoid、tanh或修正线性单元(relu)。提取的特征(即，来自CNN块的输出)形成顺序连接的N个节点，并且每个节点对应于节点的接收域中间的中心线点。然后将节点序列馈送至序列到序列网络中以进行序列到序列预测。序列到序列网络擅长捕获下游节点和上游节点之间的顺序依赖性，从而改善预测过程的表现。在一些实施例中，可以采用RNN作为序列到序列神经网络。在其他实施例中，可以采用GRU、LSTM或它们的双向变体中的任何一个作为序列到序列神经网络，以便在vanilla RNN中学习长期依赖性时解决诸如梯度爆炸和梯度消失的数值问题。

图3示出了根据本公开的实施例的第一FFR预测系统300，其适于执行如图2所示的预测过程。如图3所示，第一FFR预测系统300可包括第二特征提取单元308、FFR预测模型训练单元302和FFR预测单元303。在一些实施例中，第二特征提取单元308可从血管图像数据库306接收血管图像，并将其馈送到流速计算单元304和立体重建单元305。立体重建单元305可对接收的血管图像进行2D图像处理和立体重建，以提取每个2D血管图像的2D中心线、3D血管几何结构的3D中心线以及沿3D中心线的结构特征。流速计算单元304可以得出沿3D中心线的流速。在一些实施例中，流速计算单元304可以利用例如自动计帧过程得出沿血管图像的2D中心线的流速，并将得出的流速映射到3D中心线上的相应位置，以便获得沿3D中心线的流速。流速和结构特征的序列由融合单元307融合，以获得沿3D中心线的第二特征的序列。在一些实施例中，如图2所示，可以通过将每个结构特征的序列与流速的序列连接来执行融合操作，以获得其中每个节点对应于3D中心线上的相应位置的特征矩阵。

3D中心线上的第二特征的序列被馈送到FFR预测单元303，以通过使用从FFR预测模型训练单元302接收的训练好的FFR预测模型，来预测血管的3D中心线上的FFR值的序列。在一些实施例中，FFR预测模型训练单元302可以被配置为通过使用训练数据来训练FFR预测模型(例如，CNN-序列到序列神经网络的第一管道)。在一些实施例中，训练数据可以从训练数据数据库301获得或者由训练数据生成单元309生成。在一些实施例中，3D中心线上的第二特征的序列和预测出的FFR值的序列可以从FFR预测单元303通过网络308被发送到训练数据数据库301作为新样本，以便更新训练数据数据库301。以这种方式，训练数据可以通过预测过程被持续地丰富并且训练好的FFR预测模型的性能可受益于丰富的训练数据。

训练数据生成单元309可以被配置为通过如下各种方法生成训练数据。

目前，通常沿着血管的中心线的FFR值，例如，从基于物理的模型(例如CFD或经验流体动力学方程)模拟出的FFR值，被直接用作训练数据。然而，基于物理的模型依赖于关于流体性质(血液密度、粘度)、血管几何形状等的若干假设，因此模拟的FFR值可能与实际测量的FFR值有偏差。基于学习网络的FFR预测模型，如果使用模拟的FFR值进行训练，本质上是基于物理的模型的替代模型。基于学习网络的FFR预测模型提供比基于物理的模型更快的预测，但是它不能补偿基于物理的模型中的误差，因此不够准确。

沿着血管的中心线的测量的FFR值可以是地面真值数据的最佳候选。然而，对于血管，通常其远端的压力由压力导丝上的压力传感器测量并除以主动脉压力以获得单个FFR值，而不是FFR值的序列。FFR回拉曲线提供沿血管的中心线的测量的FFR，然而，FFR回拉曲线不能获得大量数据，因此不能独立地用作训练数据。

在一些实施例中，测量的FFR值用于修正模拟的FFR结果以生成训练数据。特别地，通过使用测量的FFR值来修正模拟的FFR结果包括伸缩和/或平移模拟的FFR结果，以使得中心线上的测量点处的模拟FFR值等于相应的测量的FFR值，同时考虑模拟的FFR结果的梯度。以这种方式，相应的测量的FFR值可以用作参考以修正模拟的FFR结果相对于测量的FFR结果的漂移。此外，测量的FFR结果的曲线的特征可以通过模拟的FFR结果的梯度来反映，因此，考虑到其梯度伸缩模拟的FFR结果的曲线，可以获得修正的FFR结果的曲线，其近似于测量的FFR结果的曲线。

如图4所示，沿着血管的测量的FFR值的曲线(例如，通过测量的回拉曲线获得)与模拟的FFR值的曲线不同；测量点设置在血管的远端，以便将患病部分定位在其近端侧。在测量点的远端侧，模拟FFR值的曲线和测量的FFR值的曲线随着它们离开测量点以几乎相等的梯度(斜率)缓慢下降。也就是说，在测量点的远侧，可以平移模拟FFR值的曲线以使测量点处的修正FFR值与测量点处的测量的FFR值一致。以这种方式，在平移之后测量点的远侧上的模拟FFR值的截面曲线符合测量点的远侧的测量的FFR值的截面曲线。在测量点的近侧，通过维持模拟FFR结果的梯度在血管的中心线上的各个点处的变化率来伸缩模拟FFR值的截面曲线。如图4所示，在测量点的近侧的模拟FFR值的截面曲线在伸缩之后很好地符合在测量点的近侧的测量的FFR值的截面曲线。尽管在图4中仅使用一个测量点作为示例，但是可以使用多个测量点作为参考，尤其是当血管具有弥散性病变或多个病变时，以确保修正的FFR结果与测量的FFR结果的一致性。在一些实施例中，血管的中心线可以被多个测量点分成几个部分，并且可以相应地获得模拟的FFR值的多个截面曲线，可以分别伸缩和平移模拟的FFR值的各个截面曲线，以使其在相应测量点处的值与在相应测量点处测量的FFR值一致，同时保持其在相应部分的各个点处的梯度的变化率。

在一些实施例中，仅在时域中可获得的FFR回拉曲线可以通过配准被映射到空间域中的血管中心线点坐标，以便生成相应的训练数据。在一些实施例中，可以如下执行配准：在压力导丝上距离压力传感器的预定距离处设置不透射线标记，不透射线的压力导丝的现有部或部分可以用作该标记；在压力导丝的回拉过程中，获取每个测量的FFR值的压力检测时刻，同时通过顺序成像跟踪血管的中心线上的不透射线标记的位置；基于所跟踪的不透射线标记的位置和预定距离，确定压力传感器在血管的中心线上的位置。在一些实施例中，配准可以以其他技术手段执行。例如，可以在压力传感器处设置不透射线标记，并且可以将速度传感器安装在压力导丝的近端处，一旦从参考图像确定(例如，通过图像处理)了中心线上的不透射线标记(压力传感器)的参考坐标，就可以通过从参考坐标减去检测时刻之间的检测速度的积分来自动确定在随后的回拉过程期间压力传感器的坐标。

图5示出了根据本公开的实施例的用于预测血管的2D中心线上的FFR值的序列的示例性过程，其中采用CNN-序列到序列网络学习网络的第二管道作为学习网络。如图5所示，2D图像，尤其是在血管的2D中心线上的一系列位置处的固定尺寸的图像块的序列，以及在2D中心线上的该一系列位置处的流速的序列被用作输入。与图2中所示的输入相比较，输入是原始的，没有后处理(例如用于提取结构特征)并且更容易获得，因此第二管道对于医务人员来说更友好。

对于该实施例，仅需要提取2D血管的中心线，FFR预测不需要3D重建，因此大大加速了预测过程。作为对比，现有的FFR预测过程通常依赖于血管的3D重建，因为本领域技术人员理所当然地认为2D图像缺少3D信息并且在丢失3D信息的条件下的FFR预测似乎是不适定的问题。然而，发明人发现局部图像强度有效地编码一些重要的3D信息，例如光程(如2017年11月30日提交的第62/592,595号美国临时申请中所记载的)。在血管的提取的2D中心线上的一系列位置处采样的固定尺寸的图像块的序列中的局部图像强度也沿着血管的中心线编码重要的3D信息，因此基于其的预测过程仍然可以具有良好的性能，并且耗时明显降低、特征提取更简单。

在一些实施例中，可以从近侧到远侧沿着中心线顺序地提取固定尺寸(例如30像素×30像素)的图像块。可以将图像块的序列馈送到CNN(例如，2D CNN块)以提取编码诸如半径、光程深度、曲率等丰富信息的更高级别的特征。这些特征可以进一步与流速融合在一起，并被馈送至序列到序列网络。可以通过连接简单地执行特征融合以形成更大的特征矩阵。在一些实施例中，可以如下获取特征矩阵：基于固定尺寸的图像块的序列，通过使用CNN获取结构相关特征的序列；将在所述血管的2D中心线上的所述一系列位置上的所述结构相关特征的序列和所述流速的序列融合，以获取所述第一特征的序列作为特征矩阵。类似于图2中所示的预测过程，融合结构相关特征的序列和流速的序列的步骤包括连接在血管的2D中心线上的相应位置处的结构相关特征和流速，并且特征矩阵的每个节点对应于血管的2D中心线上的位置。

在一些实施例中，对于如图2和图5中所示的预测过程，使用训练数据来一体训练CNN和序列到序列神经网络。然而，用于如图5所示的预测模型的训练数据由2D中心线上的图像块的序列和2D中心线上的流速的序列与2D中心线上的FFR值构成。作为对比，用于如图2所示的预测模型的训练数据可以由通过融合3D中心线上的一系列位置处的结构特征的序列和流速的序列所获得的特征矩阵与3D中心线上的FFR值构成。

图6示出了根据本公开的实施例的第二FFR预测系统，其适用于如图5所示的预测过程。由于预测过程不同，第二FFR预测系统与第一FFR预测系统不同。特别地，将血管图像馈送到图像块提取单元605中以在血管的2D中心线上提取图像块的序列，并且还将血管图像馈送到流速计算单元604以类似于图3所示的流速计算单元304来计算2D中心线上的流速的序列。此外，可以在FFR预测单元603的内部而不是FFR预测单元603的外部包括融合单元607。如图6所示，FFR预测模型训练单元602可以使用与FFR预测模型训练单元302采用的训练数据不同的训练数据来训练FFR预测模型，并且发送训练好的FFR预测模型(包括训练好的CNN和训练好的序列到序列神经网络)到FFR预测单元603。在一些实施例中，FFR预测单元603可以基于2D中心线上的图像块的序列和2D中心线上的流速的序列作为输入、通过执行融合操作并使用训练好的CNN和序列到序列神经网络，来预测血管的2D中心线上的FFR值。作为示例，FFR预测单元603可以将训练好的CNN应用于2D中心线上的图像块的序列，以提取2D中心线上的结构相关特征的序列，其编码诸如半径、光程深度、曲率等的丰富信息，并且将其与2D中心线上的流速的序列融合，例如通过连接，以获取第一特征的序列，然后将所获取的第一特征的序列馈送到训练好的序列到序列神经网络以获得2D中心线上的FFR值作为输出。

图6中的其他单元，包括训练数据生成单元609和训练数据数据库601，执行与图3中的相应单元执行的操作类似的操作。因此，为了避免与本公开的核心点的冗余和混淆，省略其描述。

图7示出了根据本公开实施例的CNN-序列到序列网络学习网络的训练过程。如图7所示，预测模型训练过程700开始于接收训练数据集(步骤701)，训练数据集中的每一条(即，每个样本)包括在血管的中心线上的位置处的第三特征(将被输入到CNN-序列到序列网络学习网络)以及在相应位置的FFR值(作为训练标签)。特别地，第三特征的定义和其输入位置都可以取决于特定的预测模型。例如，对于如图2所示的预测模型，第三特征可以通过在中心线上的对应位置处连接至少一个结构特征和流速来构造，并且可以作为整体输入到CNN中。对于另一个例子，对于如图5所示的预测模型，第三特征可以由中心线上的位置处的图像块和相应位置处的流速构成，所述图像块可以输入到CNN中以获得相应的结构相关特征，所述相应位置处的流速可以与相应的结构相关特征融合并输入至序列到序列网络。然后，在步骤702，将单个第三特征连同对应的预测标签(即，FFR值)作为训练数据输入到CNN-序列到序列网络学习网络。在一些实施例中，整个学习网络的权重可以已经被初始化。在步骤703，可以针对损失函数验证学习网络的参数。然后在步骤704，可以基于在步骤703的验证结果调整学习网络的参数。在一些实施例中，步骤703和704也可以集成在同一步骤中，其中学习网络的参数可以根据每条训练数据对损失函数进行优化。在一些实施例中，优化过程可以由任何一种常见算法执行，包括但不限于梯度下降算法(例如标准随机梯度下降算法)、牛顿法、共轭梯度算法、准牛顿法和Levenberg Marquardt算法等

在一些实施例中，可以在步骤703采用各种损失函数，包括但不限于交叉熵、绝对值损失函数等。例如，损失函数J(θ)可以被定义为均方误差(MSE)，如公式1所示。

其中，y_i是地面真值标签(训练标签)，而在

是模型预测结果，N表示样本数，θ表示模型参数。

在步骤705，确定是否已经处理了所有条目的训练数据，如果是，则在步骤706，输出具有当前优化参数的训练好的学习网络作为训练好的预测模型。否则，该过程返回到步骤702以处理后续条目的训练数据，直到处理完所有条目。

图8示出了根据本公开的实施例的示例性FFR预测装置的框图。FFR预测装置800可以包括网络接口807，通过该网络接口807，FFR预测装置800可以连接到网络(未示出)，例如但不限于医院中的局域网或因特网。网络可以将FFR预测装置800与诸如图像采集装置(未示出)、医学图像数据库808和图像数据存储装置809的外部装置连接。图像采集装置可以是任何类型的成像模态，例如但不限于计算机断层摄影(CT)、数字减影血管造影(DSA)、磁共振成像(MRI)、功能性MRI、动态对比增强-MRI、扩散MRI、螺旋CT、锥形束计算机断层摄影(CBCT)、正电子发射断层摄影(PET)、单光子发射计算断层摄影(SPECT)、X射线成像、光学断层摄影、荧光成像、超声成像、放射治疗射野成像。

在一些实施例中，FFR预测装置800可以是专用智能装置或通用智能装置。例如，装置800可以是为图像数据获取和图像数据处理任务定制的计算机，或者是放置在云中的服务器。例如，装置800可以集成到图像采集装置中。可选地，该装置可以包括3D重建单元或与3D重建单元协作，用于基于由图像采集装置采集的2D血管图像来重建血管的3D模型。

FFR预测装置800可以包括图像处理器801和存储器804，并且可以另外包括输入/输出802和图像显示器803中的至少一个。

图像处理器801可以是包括一个或多个通用处理装置的处理装置，诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地，图像处理器801可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或者运行指令集的组合的处理器。图像处理器801还可以是一个或多个专用处理装置，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)，片上系统(SoC)等。如本领域技术人员将理解的，在一些实施例中，图像处理器801可以是专用处理器，而不是通用处理器。图像处理器801可以包括一个或多个已知的处理装置，例如来自Intel^TM制造的Pentium^TM、Core^TM、Xeon^TM或Itanium系列的微处理器，由AMD TM制造的Turion^TM、Athlon^TM、Sempron^TM、Opteron^TM、FX^TM、Phenom ^TM系列，或由Sun Microsystems制造的各种处理器。图像处理器801还可以包括图形处理单元，诸如来自

的GPU，由Nvidia^TM制造的

系列，由Intel^TM制造的GMA，Iris^TM系列，或由AMD^TM制造的Radeon^TM系列。图像处理器801还可以包括加速处理单元，例如由AMD^TM制造的Desktop A-4(6,8)系列，由Intel^TM制造的Xeon Phi^TM系列。所公开的实施例不限于任何类型的处理器或处理器电路，其以其他方式被配置为满足识别、分析、维护、生成和/或提供大量成像数据或操纵这样的成像数据以提供FFR预测的计算需求，或与所公开的实施例一致地操纵任何其他类型的数据的计算需求。另外，术语“处理器”或“图像处理器”可以包括一个以上的处理器，例如，多核设计或多个处理器，每个处理器具有多核设计。图像处理器801可以执行存储在存储器804中的计算机程序指令序列，以执行本文公开的各种操作、过程和方法。

图像处理器801可以通信地耦合到存储器804并且被配置为执行存储在其中的计算机可执行指令。存储器804可以包括只读存储器(ROM)、闪存、随机存取存储器(RAM)、诸如同步DRAM(SDRAM)或Rambus DRAM的动态随机存取存储器(DRAM)、静态存储器(例如，闪存、静态随机存取存储器)等，计算机可执行指令以任何格式存储在其上。在一些实施例中，存储器804可以存储一个或多个图像处理程序805的计算机可执行指令。计算机程序指令可以由图像处理器801访问，从ROM或者任何其他合适的存储器位置读取，并且加载在RAM中以供图像处理器801执行。例如，存储器804可以存储一个或多个软件应用程序。存储在存储器804中的软件应用程序可以包括，例如，用于普通计算机系统的操作系统(未示出)以及用于软控制装置的操作系统。此外，存储器804可以存储整个软件应用程序或仅存储可由图像处理器801执行的软件应用程序的一部分(例如，图像处理程序805)。此外，存储器804可以存储多个软件模块，用于实现与本公开一致的基于血管图像自动预测FFR的方法的各个步骤或用于训练FFR预测模型的过程。如图3所示，例如，FFR预测模型训练单元302、FFR预测单元303、训练数据生成单元309、第二特征提取单元308(包括流速计算单元304、立体重建单元305和融合单元307)，可以实现为存储在存储器804上的软件模块。对于另一个例子，至少FFR预测单元303和第二特征提取单元308被实现为存储在存储器804上的软件模块，FFR预测模型训练单元302可以远离FFR预测装置800定位并且与FFR预测单元303通信以使其能够接收FFR预测模型，以用于预测血管的3D中心线上的FFR值，该FFR预测模型已经由FFR预测模型训练单元302利用来自训练数据生成单元309或训练数据数据库301的训练数据进行训练。又例如，如图6所示，FFR预测模型训练单元602、FFR预测单元603(包括融合单元607)、训练数据生成单元609、流速计算单元604和图像块提取单元605可以实现为存储在存储器804上的软件模块。对于又一示例，至少FFR预测单元603、流速计算单元604和图像块提取单元605被实现为存储在存储器804中的软件模块，FFR预测模型训练单元602可以远离FFR预测装置800定位并且与FFR预测单元603通信以使其能够接收FFR预测模型，用于预测血管的2D中心线上的FFR值，该FFR预测模型已经由FFR预测模型训练单元602利用来自训练数据生成单元609或训练数据数据库601的训练数据进行训练。

此外，存储器804可以存储在执行计算机程序时生成/缓冲的数据，例如，医学图像数据806，包括从(一个或多个)图像采集装置、医学图像数据库808、图像数据存储装置809等发送的医学图像。这样的医学图像数据806可以包括接收的(一个或多个)血管图像，其中自动特征提取和进一步的FFR预测将由(一个或多个)图像处理程序805实现。此外，医学图像数据806还可以包括实际提取和输入的特征连同相应的FFR预测结果。图像处理器801可以执行(一个或多个)图像处理程序805以实现用于基于血管图像自动预测FFR的方法。在一些实施例中，当执行(一个或多个)图像处理程序805时，图像处理器801可以将对应的输入特征与预测结果相关联，并将其发送到存储器804中，以便保留其作为医学图像数据806。可选地，存储器804可以与医学图像数据库808通信以从其获得血管图像，或者将血管图像与用于FFR预测的相应中间信息一起发送到医学图像数据库808并且因此将它们存储在医学图像数据库808上，以在需要时由其他FFR预测装置存取、获得、并使用。在一些实施例中，如图3所示，中间信息可以包括但不限于训练预测模型的参数、第二特征的序列、流速的序列、3D血管模型、结构特征的序列和3D中心线上的一系列位置中的任何一种。在一些实施例中，如图6所示，中间信息可以包括但不限于训练好的预测模型的参数、图像块的序列、流速的序列和2D中心线上的一系列位置中的任何一种。

在一些实施例中，FFR预测模型(尤其是CNN-序列到序列网络学习网络)可以存储在存储器804中。可选地，学习网络可以存储在远程装置、单独的数据库(例如医学图像数据库808)、分布式装置中，并且可以由(一个或多个)图像处理程序805使用。实际输入的特征连同预测结果可以作为新的训练样本存储在医学图像数据库808中，以便持续更新训练数据集，不断提高训练好的学习网络的性能。此外，可以采用存储在医学图像数据库808上的先前训练的预测模型的参数作为后期训练期间预测模型的初始参数，这可以大大加速训练过程。

在一些实施例中，可以提供图像数据存储装置809以与医学图像数据库808交换图像数据。例如，图像数据存储装置809可以驻留在其他医学图像采集装置中。

输入/输出802可以被配置为允许FFR预测装置800接收和/或发送数据。输入/输出802可以包括允许装置800与用户或其他机器和装置通信的一个或多个数字和/或模拟通信装置。例如，输入/输出802可以包括允许用户提供输入的键盘和鼠标。

网络接口807可以包括网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、诸如光纤的高速数据传输适配器、USB 8.0、闪电、例如Wi-Fi适配器的无线网络适配器、电信(8G、4G/LTE等)适配器。装置800可以通过网络接口807连接到网络。网络可以提供局域网(LAN)、无线网络、云计算环境(例如，作为服务的软件、作为服务的平台、作为服务的基础设施等)、客户端-服务器、广域网(WAN)等。

除了显示医学图像之外，图像显示器803还可以通过将诸如预测的FFR值的其他信息映射回2D中心线或映射到3D血管几何结构来显示其他信息。例如，图像显示器803可以是LCD、CRT或LED显示器。

本文描述了各种操作或功能，其可以实现为软件代码或指令或者定义为软件代码或指令。这样的内容可以是可以直接执行(“对象”或“可执行”形式)的源代码或差分代码(“delta”或“patch”代码)。软件代码或指令可以存储在计算机可读存储介质中，并且当被执行时，可以使机器执行所描述的功能或操作，并且包括用于以机器(例如，计算装置，电子系统等)可访问的形式存储信息的任何机构，例如可记录或不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存装置等)。

已经出于说明的目的呈现了前面的描述。它并非穷尽的，并且不限于所公开的精确形式或实施例。考虑到所公开实施例的说明书和实践，实施例的修改和改编将是显而易见的。

在本文件中，术语“一”或“个”，如专利文献中常见的那样，包括一个或多个，独立于“至少一个”或“一个以上”的任何其他实例或用法。在本文件中，除非另有说明，否则术语“或”用于表示非排他性的或，即“A或B”包括“A但不是B”，“B但不是A”和“A和B”。在本文中，术语“包括(including)”和“其中(in which)”用作相应术语“包括(comprising)”和“其中(wherein)”的普通英语等同物。此外，在随附权利要求中，术语“包括(including)”和“包括(comprising)”是开放式的，即，包括除了那些在权利要求中在该术语后列出的要素以外的要素的装置、系统、装置、制品、组成、配方或过程，也被视为落入该权利要求的保护范围内。此外，在下面的权利要求中，术语“第一”、“第二”和“第三”等仅被用作标签，并不旨在对其对象施加数值上的要求。

这里描述的示例性方法可以至少部分地是机器或计算机实现的。一些示例可以包括用指令编码的计算机可读介质或机器可读介质，所述指令可操作以配置电子装置执行如以上示例中所述的方法。这种方法的实现可以包括软件代码，诸如微代码、汇编语言代码、更高级的语言代码等。各种程序或程序模块可以使用各种软件编程技术来创建。例如，可以使用Java、Python、C、C++、汇编语言或任何已知的编程语言来设计程序段或程序模块。一个或多个这样的软件部分或模块可以被集成到计算机系统和/或计算机可读介质中。这种软件代码可以包括用于执行各种方法的计算机可读指令。软件代码可以形成计算机程序产品或计算机程序模块的一部分。此外，在一个示例中，软件代码可以诸如在执行期间或其他时间有形地存储在一个或多个易失性、非暂时性或非易失性有形计算机可读介质上。这些有形的计算机可读介质的示例可以包括但不限于硬盘、可移动磁盘、可移动光盘(例如，光盘和数字视频盘)、磁带盒、存储卡或棒、随机存取存储器(RAM)，只读存储器(ROM)等。

此外，尽管在此描述了说明性实施例，但是范围包括具有基于本公开的等效元素、修改、省略、组合(例如，跨各种实施例的方案的组合)、调整或变更的任何和所有实施例。权利要求中的要素将基于权利要求中使用的语言进行宽泛地解释，而不限于本说明书中或在本申请的存续期间描述的示例，这些示例将被解释为非排他性的。此外，所公开的方法的步骤可以以任何方式进行修改，包括通过重新排序步骤或插入或删除步骤。因此，意图仅仅将描述视为例子，真正的范围由以下权利要求及其全部等同范围表示。

以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或多个方案)可以彼此组合使用。本领域普通技术人员在查看以上描述时可以使用其他实施例。而且，在上面的详细描述中，各种特征可以被组合在一起以简化本公开。这不应被解释成意图让不要求保护的公开特征对于任何权利要求而言都是必不可少的。而是，发明主题可以在于比一个公开的实施例的所有特征少的特征组合。因此，以下权利要求由此作为示例或实施例并入到具体实施方式中，其中每个权利要求独立作为单独的实施例，并且可以构想的是，这些实施例可以以各种组合或置换来相互组合。本发明的范围应该参考所附权利要求以及赋予这些权利要求的等同物的全部范围来确定。

Claims (15)

1.一种基于血管图像自动获取特征序列的方法，该方法由计算机实现，其特征在于，所述方法包括：

接收由成像装置获取的血管图像；

由处理器，获取血管的中心线上的一系列位置处的流速的序列；

由所述处理器，通过融合在所述血管的中心线上的一系列位置的结构相关特征的序列和所述流速的序列并使用卷积神经网络，获取在所述血管的中心线上的所述一系列位置处的第一特征的序列并馈送到序列到序列神经网络。

2.根据权利要求1所述的方法，其特征在于，所述中心线是3D中心线，所述获取在所述血管的中心线上的所述一系列位置处的第一特征的序列的步骤包括：

基于所述血管的至少两个图像重建所述血管的3D模型并提取所述血管的所述3D中心线；

在所述血管的所述3D中心线上的一系列位置处获取结构特征的序列，所述结构特征包括血管半径、参考半径、曲率和光程深度中的至少一个；

融合所述血管的所述3D中心线上所述一系列位置的所述结构特征的序列和所述流速的序列；和

基于融合的特征序列，通过使用所述卷积神经网络来获取所述第一特征的序列。

3.根据权利要求2所述的方法，其特征在于，每个结构特征通过连接血管半径、参考半径和曲率中的至少两个来获得。

4.根据权利要求1所述的方法，其特征在于，所述中心线是2D中心线，所述获取在所述血管的中心线上的所述一系列位置处的第一特征的序列的步骤包括：

从所述血管图像中提取所述血管的2D中心线；

在所述血管的所述2D中心线上的一系列位置处采样固定尺寸的图像块的序列；

基于所述固定尺寸的图像块的序列，通过使用卷积神经网络来获取所述结构相关特征的序列；和

融合在所述血管的所述2D中心线上的所述一系列位置处的所述结构相关特征的序列和所述流速的序列，以便获得所述第一特征的序列。

5.如权利要求4所述的方法，其特征在于，融合所述结构相关特征的序列和流速的序列的步骤包括将所述血管的中心线上的相应位置处的所述结构相关特征和所述流速连接。

6.一种用于基于血管图像自动预测血流储备分数的装置，所述装置包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器执行所述计算机可执行指令时，实现如下步骤：

根据权利要求1-5中任何一项所述的基于血管图像自动获取特征序列的计算机实现的方法；以及

基于所述第一特征的序列，通过使用序列到序列神经网络来确定所述一系列位置处的FFR的序列。

7.如权利要求6所述的装置，其特征在于，所述卷积神经网络和所述序列到序列神经网络使用训练数据一体地训练。

8.如权利要求7所述的装置，其特征在于，所述训练数据通过使用测量数据修正模拟的FFR结果来生成。

9.如权利要求8所述的装置，其特征在于，通过使用测量数据来修正模拟的FFR结果包括平移和/或伸缩所述模拟的FFR结果以使得在中心线上的测量点处的模拟FFR值等于相应的测量的FFR值同时考虑所述模拟的FFR结果的梯度。

10.如权利要求9所述的装置，其特征在于，考虑所述模拟的FFR结果的梯度包括维持所述模拟的FFR结果的梯度的变化率。

11.根据权利要求7所述的装置，其特征在于，所述训练数据通过利用压力导丝获取所述血管的FFR回拉曲线并且通过配准将所述FFR回拉曲线从时域映射到空间域来生成。

12.如权利要求6所述的装置，其特征在于，所述序列到序列神经网络选自递归神经网络、门控递归单元、长短期记忆单元或它们的双向变体的组。

13.如权利要求6所述的装置，其特征在于，该装置还包括接口，被配置为获取由成像装置获取的血管图像。

14.根据权利要求13所述的装置，其特征在于，所述成像装置的成像模态由计算机断层摄影、数字减影血管造影、磁共振成像、功能磁共振成像、动态对比增强磁共振成像、扩散磁共振成像、螺旋计算机断层摄影、锥形束计算机断层摄影、正电子发射断层摄影、单光子发射计算机断层摄影、X射线成像、光学断层摄影、荧光成像、超声成像、放射治疗射野成像的组中选出。

15.一种具有存储在其上的指令的非暂时性计算机可读介质，所述指令在由处理器执行时执行：

根据权利要求1-5中任何一项所述的基于血管图像自动获取特征序列的计算机实现的方法；以及

基于所述第一特征的序列，通过使用序列到序列神经网络确定所述一系列位置处的FFR的序列。

Images