CN109727270B - 心脏核磁共振图像的运动机理和纹理特征分析方法和系统 - Google Patents

Abstract

本发明公开了一种心脏核磁共振图像的分析系统，包括：三维心脏分割模块，所述三维心脏分割模块对输入的心脏三维核磁共振图像序列进行分割，获得裁剪的心脏三维核磁共振图像序列；运动特征提取模块，所述运动特征提取模块接收三维心脏分割模块的分割结果提取每个像素的基于图像块的运动特征和全局运动特征；以及全连通判别模块，所述全连通判别模块在每个像素中建立运动特征和组织分类之间的对应关系。

Description

心脏核磁共振图像的运动机理和纹理特征分析方法和系统

技术领域

本发明涉及图像处理领域。具体而言，本发明涉及心脏核磁共振图像的运动机理和纹理特征分析方法和系统。

背景技术

在常规临床实践中，延迟增强(DE)-心脏磁共振(CMR)成像可被视为检测病变区域的金标准，因为它使用钆造影剂在成像过程中提供高度准确的心肌病变区域描绘。然而，这种成像过程可能是危险的，因为使用钆造影剂对慢性终末期儿童内耳病患者是致命的。根据美国肾脏数据系统，超过40％的慢性肾病患者患有心血管疾病。大约有20％的急性心肌病变患者伴随慢性肾脏疾病。此外，最近的研究表明，钆可能沉积到皮肤上。因此，在不使用造影剂的情况下直接诊断心肌病变是一项重大的临床进展，不仅可用于指示急性和慢性心肌病变的存在、位置和跨度，还可预测缺血性心脏病中慢性功能障碍的恢复。

由于心肌病变改变了受影响心肌的力学性质，逐渐削弱了受影响肌纤维的收缩性，许多临床研究都致力于通过检测肌纤维心肌病变引起的运动模式异常来识别无造影剂的心肌病变区域。最常见的方法是使用能量配准和Demons算法技术来计算心肌的位移。其中一些方法，如统计图谱对齐和序列配准方法，通过计算心肌的位移，快速建立磁共振帧之间的对应关系，从图像序列中提取运动特征。其中一些方法采用多帧分析，系统地解决了心肌致密运动场和有用变形参数恢复的不适定问题。第三种方法是统计形状建模，这在2015年STACOM挑战获得成功。其中一些方法通过对可能的运动和形状的统计表示进行建模，引入先验知识，试图克服数据的内在复杂性。

尽管上述方法能够确认心肌病变的定位，直接从心脏核磁共振图像准确描绘病变区域序列仍然极具挑战性，因为：(1)受试者之间和体内巨大的心脏多样性在心肌病变运动模式形成了沟壑。这些由心肌病变引起的多样性使得正则化策略很难找到一个系统的数学模型来区分密集运动场后的心脏运动模式；(2)心肌及周围组织各点的组合可变性大，相互关系复杂，相互依赖性强。这种组合变异性使得仅考虑心肌边界的心脏运动估计难以提取和选择合适的运动信息；(3)心脏核磁共振图像序列中不同时间帧间局部图像强度的干扰。这些干扰导致了以能量为基础的技术的困难，例如从图像序列中建立连续的致密运动和心肌变形，因为每次估计只考虑相邻的帧。

因此本领域需要一种新颖的对心脏图像的分析方法，无需造影剂，即可提取足够的运动特征来表示心脏磁共振图像序列中每个像素的运动。

发明内容

本发明提出了三维(3D)+时间(t)的四维运动模型结合自动化心脏结构分割，对不同心脏核磁扫描序列和不同核磁机器上扫描出来的图像进行分析。

根据本发明的一个实施例，提供一种心脏核磁共振图像的分析系统，包括：

三维心脏分割模块，所述三维心脏分割模块对输入的心脏三维核磁共振图像序列进行分割，获得裁剪的心脏三维核磁共振图像序列；

运动特征提取模块，所述运动特征提取模块接收三维心脏分割模块的分割结果提取每个像素的基于图像块的运动特征和全局运动特征；以及

全连通判别模块，所述全连通判别模块在每个像素中建立运动特征和组织分类之间的对应关系。

在本发明的实施例中，所述心脏三维核磁共振图像包括横断面视图、矢状面视图和冠状面视图。

在本发明的实施例中，所述三维心脏分割模块通过U-net对心脏三维核磁共振图像的横断面视图、矢状面视图和冠状面视图分别进行图像分割，三个视图的分割结果进行自适应融合，形成立体分割结构。

在本发明的实施例中，所述三维心脏分割模块对分割结构进行连接性分析，包括：

计算横断面视图、矢状面视图和冠状面视图中每一个的残差量；

利用所述残差量确定与其他视图融合的强度。

在本发明的实施例中，所述运动特征提取模块对三维图像序列的横断面视图序列、矢状面视图序列和冠状面视图序列分别进行如下操作：

使用LSTM-RNN网络从序列中提取基于图像块的运动特征；以及

使用FullFlow算法从序列中计算全局运动特征。

在本发明的实施例中，所述LSTM-RNN网络使用11×11像素的滑动窗口。

根据本发明的另一个实施例，提供一种基于多视图多感兴趣的区域U-Net的全心脏分割方法，包括：

接收三维心脏核磁扫描序列；

通过U-net对所述三维心脏核磁扫描序列的三个不同平面视图进行图像分割；以及

对三个不同平面视图的输出进行自适应融合，形成立体分割结构。

在本发明的另一个实施例中，所述三维心脏核磁扫描序列是不同核磁机器上扫描出来的三维图像序列。

在本发明的另一个实施例中，对分割结构进行连接性分析，包括：

计算横断面视图、矢状面视图和冠状面视图中每一个的残差量；

利用所述残差量确定与其他视图融合的强度。

在本发明的另一个实施例中，为不同平面视图中的每一类分配可靠性参数，以改变不同平面的影响。

本发明的实施例能够精确地从多中心、多模态扫描序列和不同核磁机器的心脏磁共振图像序列中直接画出心脏的特定区域，而无需造影剂。该方案系统地建模了一个基于深度学习方法和Demons算法的运动特征学习体系，以连续提取足够的运动特征来表示心脏磁共振图像序列中每个像素的运动。

本发明的实施例结合了运动机理去学习和纹理分析，以提高对不同种类的心脏变化进行分析的准确性。

附图说明

为了进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。

图1示出根据本发明的一个实施例的基于多视图多ROI(感兴趣的区域)U-Net(MV-MROI-U-Net)的全心脏分割过程的流程图。

图2示出根据本发明的一个实施例的用于全心脏分割的三维U-net的架构。

图3示出根据本发明的实施例全心脏分割的流程图。

图4示出根据本发明的一个实施例的心脏图像的特征分析系统的框图。

具体实施方式

在以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、材料或操作以免使本发明的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量、材料和配置，以便提供对本发明的实施例的全面理解。然而，本发明可在没有特定细节的情况下实施。此外，应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。

在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。

图1示出根据本发明的一个实施例的基于多视图多ROI(感兴趣的区域)U-Net(MV-MROI-U-Net)的全心脏分割过程的流程图。如图1所示，在步骤110，接收输入图像。输入图像可以是不同三维(3D)心脏核磁扫描序列或不同核磁机器上扫描出来的3D图像序列。3D图像序列包括横断面视图、矢状面视图和冠状面视图。

在步骤120，通过U-net对3D图像的三个不同平面视图进行图像分割。在本发明的实施例中，MV-MROI-U-Net方法基于编码-解码U-net，并且以伪三维(即二维切片)的方式分割图像。从三个不同平面，即横断面、矢状面和冠状面，以二维方式训练U-net，从而了解心脏的3D特性。

图2示出根据本发明的一个实施例的用于全心脏分割的三维U-net的架构。U-Net通俗来讲是卷积神经网络的一种变形。整个神经网络主要有两部分组成：收缩路径(contracting path)和扩展路径(expanding path)。收缩路径主要是用来捕捉图片中的上下文信息(context information)，而与之相对称的扩展路径则是为了对图片中所需要分割出来的部分进行精准定位(localization)。

每个框对应一个多通道特征图，其中通道数在框顶标，x-y的大小位于框的左下角；白色框表示复制的特征图；箭头表示不同的操作。

U-Net为了能精准的定位，收缩路径上提取出来的高像素特征会在升采样(upsampling)过程中与新的特征图(feature map)进行结合，以最大程度的保留前面降采样(downsampling)过程一些重要的特征信息。而为了能使网络结构能更高效的运行，结构中是没有全连接层(fully connected layers)，这样子可以很大程度上减少需要训练的参数，并得益于特殊的U形结构可以很好的保留图片中的所有信息。

收缩路径上是每两个3*3的卷积层(unpadded convolutional layers)后会跟一个2*2的最大池化层(Maxpooling layer)，并且每个卷积层后面采用relu激活函数来对原始图片进行降采样操作，除此之外，每一次降采样都会使特征通道数增加一倍。

在扩展路径的向上采样(deconvolution)中，使用双线性插值以便最小化代价函数。每个卷积层之后是批归一化和有漏洞的修正线性单元(lReLU)。同时，每一步的升采样都会加入来自相对应收缩路径的特征图(经裁剪以保持相同的形状)。

在网络的最后一层是一个1*1的卷积层，通过这一操作可以将64通道的特征向量转换为所需要的分类结果的数量。U-Net有一个很重要的有点是其基本可以对任意形状大小的图片进行卷积操作，特别是任意大的图片。

接下来，在步骤130，对三个U-net的输出进行自适应融合，将每一个U-net输出的结果组合形成立体分割结构。基于U-net的图像分割方法的主要问题是不能进行精细分割。在本发明的实施例中，通过将三个U-net的输出进行融合，能够获得图像的精细分割。图3示出根据本发明的实施例全心脏分割的流程图。

将其中一个面的分割指示为o。然后，向o施加连接性分析(connectivityanalysis，CA)，以便估计可靠区域(真正类)和不可靠区域(假正类)。这些“大致”正确和互补分割信息可用于评估不同平面的分割质量。假设图像中分类的数量是n，每类中组件的数量是m，则可进行如下的CA操作：

CA(o)＝{o₁₁，...，o_nm|∪o_ij＝o，and o₁₁，...，o_nm|∩o_ij＝φ}

首先计算每个平面的残差量，并且将该残差量用于确定与其他平面融合的强度。

在自适应融合过程中，可以为每一类分配可靠性参数(权重)，以增加具有更高可靠性(可信)分割的平面的影响：

w＝∑_i{max_j{|o_j|}}/∑_ij|o_ij|

其中ω指示权重参数。这表示差值越大，分割越可靠。

由心脏疾病引起的心肌力学性质的变化可导致运动异常。可基于这种运动异常，直接从非造影剂心脏磁共振成像序列描绘心肌病变区域。本发明的主要目的在于开发一种新的运动特征学习方法和系统，以有效地建立运动特征和组织特性之间的直接对应关系。该运动特征学习方法和系统由三个功能模块组成：一、心脏分割功能模块，可以自动从心脏磁共振图像中分割出三维心脏组织结构；二、运动特征提取功能模块，将三维全心脏分割结果输入到四维运动分析模型中；三、全连通神经网络判别模块，在每个像素中建立运动特征和组织分类之间的对应关系。

图4示出根据本发明的一个实施例的心脏图像的特征分析系统的框图。如图4所示，心脏图像的特征分析系统400包括心脏分割模块410、运动特征提取模块420以及全连通判别模块430。

心脏分割模块410可通过上述MV-MROI-U-Net方法对输入的心脏三维核磁共振图像序列进行分割。分割结果输入到运动特征提取模块420。

在裁剪包括心脏在内的ROI图像序列后，利用运动特征提取模块420收集两种类型的运动特征来表征像素的运动模式。这些特征是从ROI图像序列的基于块的全局信息中提取出来的。最后，这些特征被用来区分每个像素的心肌病变区域和其他组织。运动特征提取模块420采用四维运动分析模型(三维图像+时间)。对于三维图像的运动分析，对三维图像的横断面视图、矢状面视图和冠状面视图分别进行二维图像+时间的运动分析，从而获得三维图像+时间的运动分析。下面介绍二维图像+时间的运动分析过程。首先从心脏分割模块410裁剪的心脏三维核磁共振图像序列的某一视图序列中提取基于图像块的运动特征。采用LSTM-RNN网络，以时序图像块作为输入来解决这一问题。在图像序列上滑动一个窗口来生成二维+时间图像块。在本发明的一个实施例中，选用11×11像素的空间范围。在本发明的其他实施例中，可以使用其他尺寸的空间范围，例如N×N像素的空间范围。因为在一个心动周期有25核磁共振图像，在LSTM-RNN网络的最后一模块组装了一个高维向量(11×11×25大小)，该向量能够生成包括该像素的运动轨迹的三维图像块。由于网络是以滑动窗口的方式运行的，所以在滑动窗口经过ROI的所有像素后，在所有像素上提取局部运动信息。在RNN的训练过程中，使用门控机制来自动学习每个图像块在不同时间的不同，而忽略其他无用的信息。

RNN的输入是心脏分割模块生成的心脏三维核磁共振图像序列。

在我们的运动特征提取模块的实现中，输入图像I＝(I₁，I₂...I_J，J＝25)是64×64大小。滑动窗口是尺寸为11×11的空间片。这导致由J个图像组成的序列被展开为每个像素的矢量P_l(p₎∈R^11*11*J作为输入。假设我们知道前一时间步h_t-1的隐藏状态帧，即当前的隐藏和输出模块时间步长可以计算为：

h_t＝Φ(W_xh[h_t-1,x_t])

p_t＝soft max(W_hyh_t)

其中x_t，h_t和y_t分别是每个时间步t的输入模块，隐藏模块和输出模块。W_xh和W_hy是两个矩阵，分别表示输入模块和隐藏模块之间的权重，以及隐藏模块和输出模块之间的权重。φ表示激活函数。

LSTM旨在减轻消失的梯度。因此，它包含许多存储单元，其中乘法门单元和自复流单元是两个基本构建块。除了隐藏模块向量h_t之外，LSTM还具有存储器向量c_t，输入门i_t，遗忘门f_t和输出门o_t。LSTM中的这三个门可以计算为：

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

o_t＝σ(W_o[h_t-1,x_t]+b_o)

为了避免每模块过度拟合的问题:

其中W_t是权重矩阵，D是压差算子。最终存储单元和最终隐藏状态由下式给出：

h_t＝o_t⊙tanh(c_t)

为了最小化LSTM在一组训练序列上的总误差，可以使用迭代梯度下降(例如反向传播到时间)来改变每个权重与其相对于误差的导数成比例。对于LSTM，当错误值从输出反向传播时，错误仍保留在单元的内存中。这个'错误轮播'不断地将错误反馈给每个门，直到他们学会切断价值。因此，定期反向传播在训练LSTM块以长时间记住值时是有效的。

使用FullFlow算法从ROI图像序列中计算全局运动特征。该算法可以生成不需要图像内容先验信息的密集向量场，其中每个像素的位移向量定义为该像素在后续图像中的位置。

考虑到相邻帧，参考图像I＝(I_J-1)和目标图像I’＝(I_J)，我们的目标是计算包含水平和垂直分量的流量w＝(u,v)^T。流场将I中的每个像素p映射到I'中的q＝p+w_p。目标函数是:

是4连接像素网格。I中每一个像素p与其在I中的四个邻居连接并在时间上连接到I中的

个像素。

数据项ρD(p,w_p,I,I’)惩罚连接不同像素p和p+w_p的流场。在每个颜色通道中类似地计算归一化互相关(NCC)：

ρD(p，w_p，I，I′)＝1-max(NCC，0)

正则化项ρ(w_p-w_q)可以展开为:

ρ(w)＝min(ρ(w¹)+ρ(w²)，τ)

w¹和w²是向量w的两个分量，ρ(·)是一个惩罚函数。正则化项还耦合流的水平和垂直分量。拉普拉斯重量L_p,q被用来衰减沿颜色不连续的正则化:

最后，对于每个图像I_J-1，我们在前向后向一致性检查中删除不一致的匹配，即计算从I到I’的向前流和从I到I’的向后流。为了得到子像素分辨率流，我们在前向后向校验后对结果进行了子像素插值。在这项工作中，我们使用了EpicFlow插值方案。一个完整的运动场w_J-1＝(u_J-1,v_J-1)然后参照下一个坐标系I_J计算。换句话说，我们已经学习(或获得)了整个ROI图像中相邻帧之间组织的运动场。

完全连接的判别模块430使用堆叠自动编码器(SAE)来联合学习基于图像块的运动特征和基于图像的运动特征，以提供ROI内每个像素的有效运动特征表示。这种联合学习是互利的，因为它不仅通过LSTM-RNN获得时间运动中心肌病变的空间相关性，而且还通过Demons算法补充图像块外的运动信息。由多模块稀疏自动编码器组成的SAE通过捕获这两个运动特征的有用“分模块分组”或“部分整体分解”来学习基于图像块和基于图像的运动特征作为共享表示。这种作为高维矢量(139)的共享表示表征了ROI内部像素运动的所有方面，并且集成了分类器(Softmax)以最终识别心肌像素运动异常。因此，这些模块使得能够直接描绘像素方式心肌病变而无需心肌边界的任何初步分割。

尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。

Claims (5)

1.一种心脏核磁共振图像的分析系统，包括：

三维心脏分割模块，所述三维心脏分割模块对输入的心脏三维核磁共振图像序列进行分割，获得裁剪的心脏三维核磁共振图像序列；

运动特征提取模块，所述运动特征提取模块接收三维心脏分割模块的分割结果提取每个像素的基于图像块的运动特征和全局运动特征；以及

全连通判别模块，所述全连通判别模块在每个像素中建立运动特征和组织分类之间的对应关系，

其中所述心脏三维核磁共振图像序列包括横断面视图、矢状面视图和冠状面视图，所述三维心脏分割模块通过U-net对心脏三维核磁共振图像的横断面视图、矢状面视图和冠状面视图分别进行图像分割，三个视图的分割结果进行自适应融合，形成立体分割结构，

其中所述三维心脏分割模块将分割结构指示为o，对o进行连接性分析，

假设图像中分类的数量是n，每类中组件的数量是m，则可进行如下的连接性分析CA操作：

CA(o)＝{o₁₁，...，o_nm|∪o_ij＝o，and o₁₁，...，o_nm|∩o_ij＝φ}

计算横断面视图、矢状面视图和冠状面视图中每一个的残差量；

利用所述残差量确定与其他视图融合的强度；

在自适应融合过程中，为每一类分配可靠性参数，以增加具有更高可靠性分割的平面的影响：

w＝∑_i{max_j{|o_j|}}/∑_ij|o_ij|

其中ω指示权重参数。

2.如权利要求1所述的系统，其特征在于，所述运动特征提取模块对三维图像序列的横断面视图序列、矢状面视图序列和冠状面视图序列分别进行如下操作：

使用LSTM-RNN网络从序列中提取基于图像块的运动特征；以及

使用FullFlow算法从序列中计算全局运动特征。

3.如权利要求2所述的系统，其特征在于，所述LSTM-RNN网络使用11×11像素的滑动窗口。

4.一种基于多视图多感兴趣的区域U-Net的全心脏分割方法，包括：

接收三维心脏核磁扫描序列；

通过U-net对所述三维心脏核磁扫描序列的三个不同平面视图进行图像分割；以及

对三个不同平面视图的输出进行自适应融合，形成立体分割结构，

其中所述三维心脏核磁扫描序列包括横断面视图、矢状面视图和冠状面视图，通过U-net对三维心脏核磁扫描序列的横断面视图、矢状面视图和冠状面视图分别进行图像分割，三个视图的分割结果进行自适应融合，形成立体分割结构，

其中将分割结构指示为o，对o进行连接性分析，

假设图像中分类的数量是n，每类中组件的数量是m，则可进行如下的连接性分析CA操作：

CA(o)＝{o₁₁，..._，o_nm|∪o_ij＝o，and o₁₁，...，o_nm|∩o_ij＝φ}

计算横断面视图、矢状面视图和冠状面视图中每一个的残差量；

利用所述残差量确定与其他视图融合的强度；

在自适应融合过程中，为每一类分配可靠性参数，以增加具有更高可靠性分割的平面的影响：

u＝∑_i{max_j{|o_j|}}/∑_ij|o_ij|

其中ω指示权重参数。

5.如权利要求4所述的方法，其特征在于，所述三维心脏核磁扫描序列是不同核磁机器上扫描出来的三维图像序列。

Images