CN110580681B - 高分辨率心机运动模式分析装置和方法 - Google Patents

Abstract

本发明公开了一种高分辨率心机运动模式分析装置，包括：超分辨率处理单元，所述超分辨率处理单元接收原始心脏图像，通过聚焦感兴趣的区域ROI的超分辨率神经网络对图像进行超分处理，得到超分辨率的图像；以及运动分析单元，运动分析单元通过深度学习框架提取经超分辨率处理的图像中的局部和全局运动特征。

Description

高分辨率心机运动模式分析装置和方法

技术领域

本发明涉及图像处理领域，更具体而言，本发明涉及高分辨率心机运动模式分析装置和方法。

背景技术

现阶段心肌梗死的精准评估依赖于使用造影剂后的核磁扫描，但造影剂的使用有潜在危害，特别是一定程度上会影响患者的肾功能。心肌梗死和周围冬眠心肌的大小、范围是影响心肌梗死患者左心收缩功能的重要原因。患者是否应当接受再血管化治疗，需要评价患者治疗后心肌功能可能的恢复情况，例如超过心肌厚度的50％的心肌梗死厚度难以恢复功能。心脏磁共振成像(MRI)是评价心肌梗死和冬眠心肌的重要影像学方法，尤其是通过钆类对比剂的延迟强化序列能够准确评价心肌梗死的存在和范围。但是肾功能损害在患有冠状动脉疾病的患者中是常见的，并且如果严重，则不能进行用于心肌梗死(MI)评估的晚期钆增强(LGE)成像。

即便使用造影剂以获得医学图像，仍因图像分辨率不佳而阻碍图像数据的进一步分析诊治。用于图像增强的超分辨率(SR)在医学图像应用中具有重要意义。从广义上讲，有两种类型的SR，一种需要从同一对象的不同视图中的多个低分辨率(LR)图像重建为高分辨率(HR)输出，另一种依赖于大量学习训练数据集，即LR-HR对。在真实的临床环境中，从多视图获取图像是昂贵的并且有时是不可行的。为此，在基于GAN框架并不断优化图像分辨率方面已有诸多研究，但结果通常不尽如人意并且仍然远不能达到现实要求。

发明内容

本发明提出一种全新高分辨率新机运动模式分析方法。首先，通过对非造影剂增强心脏电影序列MRI的深入学习，从递归神经网络提取局部运动特征和并使用先进光流方法导出全局运动特征，建立慢性心肌梗死的自动描述框架。然后，基于生成对抗网络(GAN)的学习框架，从语义标签贴图自动生成高分辨率图像而无需人工辅助。解决了使用GAN从图像低分辨率版本生成高分辨率版本难度极大和目前获得的高分辨率图像结果中缺少细节和逼真纹理的两大技术难题。由此实现人工智能无创精准识别慢性心肌梗死。

根据本发明的一个实施例，提供一种高分辨率心机运动模式分析装置，包括：

超分辨率处理单元，所述超分辨率处理单元接收原始心脏图像，通过聚焦感兴趣的区域ROI的超分辨率神经网络对图像进行超分处理，得到超分辨率的图像；以及

运动分析单元，运动分析单元通过深度学习框架提取经超分辨率处理的图像中的局部和全局运动特征。

在本发明的一个实施例中，聚焦ROI的超分辨率神经网络包括：

ROI检测神经网络，用于接收原始心脏图像，利用最大池化残差块和输入尺度自由残差神经网络进行处理，输出ROI区域图像；

超分辨率图像生成器G，用于接收ROI区域图像，从ROI区域图像的低分辨率图像估计出高分辨率图像；

预训练的视觉几何组VGG和图像鉴别器D，用于根据真实有效的高分辨率图像找出超分辨率图像。

在本发明的一个实施例中，超分辨率图像生成器G使用超分辨率残差网络。

在本发明的一个实施例中，深度学习框架包括：

心脏腔室定位单元，使用Zelier和Fergus网络模型从输入的图像序列中定位心脏腔室；以及

运动特征提取单元，用于从递归神经网络RNN提取局部运动特征并使用先进光流方法导出全局运动特征。

在本发明的一个实施例中，所述深度学习框架还包括判别网络，使用堆叠自动编码器来联合学习局部运动特征和全局运动特征，以提供心脏腔室内每个像素的有效运动特征表示。

在本发明的一个实施例中，所述判别网络还包括分类器，用于识别心肌像素运动异常。

在本发明的一个实施例中，所述原始心脏图像是心脏电影核磁图像扫描序列。

根据本发明的另一个实施例，提供一种高分辨率心机运动模式分析方法，包括：

接收原始心脏图像；

通过聚焦感兴趣的区域ROI的超分辨率神经网络对图像进行超分辨率处理，得到超分辨率的图像；以及

通过深度学习框架提取经超分辨率处理的图像中的局部和全局运动特征。

在本发明的另一个实施例中，对图像进行超分辨率处理包括：

接收原始心脏图像，利用最大池化残差块和输入尺度自由残差神经网络进行处理，输出ROI区域图像；

从ROI区域图像的低分辨率图像估计出高分辨率图像；以及

根据真实有效的高分辨率图像找出超分辨率图像。

在本发明的另一个实施例中，通过深度学习框架提取经超分辨率处理的图像中的局部和全局运动特征包括：

使用Zelier和Fergus网络模型从输入的图像序列中定位心脏腔室；

从递归神经网络RNN提取局部运动特征；以及

使用先进光流方法导出全局运动特征。

附图说明

为了进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。

图1示出根据本发明的一个实施例的高分辨率心机运动模式分析装置100的结构示意图。

图2示出根据本发明的一个实施例的聚焦ROI的超分辨率神经网络200的架构示意图。

图3示出根据本发明的一个实施例的ROI检测神经网络210的示意图。

图4示出根据本发明的一个实施例的超分辨率图像生成器G 220的示意图。

图5示出根据本发明的一个实施例的预训练的VGG 230和鉴别器D 240的示意图。

图6示出根据本发明的一个实施例的深度学习框架600。

图7示出根据本发明的一个实施例的心脏腔室定位单元610的结构示意图。

图8示出根据本发明的一个实施例的运动特征提取单元620的结构示意图。

图9示出根据本发明的一个实施例的判别网络630的结构示意图。

图10示出根据本发明的一个实施例的高分辨率心机运动模式分析方法的流程图。

具体实施方式

在以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、材料或操作以免使本发明的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量、材料和配置，以便提供对本发明的实施例的全面理解。然而，本发明可在没有特定细节的情况下实施。此外，应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。

在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。

本发明提出一种全自动的框架，通过对非增强心脏核磁共振电影成像的深度学习来描述慢性心肌梗死，并评估其准确性，以确定心肌梗死的存在、位置、透过性和大小，而不需要注射钆。

图1示出根据本发明的一个实施例的高分辨率心机运动模式分析装置100的结构示意图。该高分辨率心机运动模式分析装置100包括超分辨率处理单元110和运动分析单元120。

首先，超分辨率处理单元110对原始心脏图像进行超分辨率(SR)处理，使得低分辨率图像变成高分辨率，得到超分辨率(SR)图像。

在本发明的实施例中，原始心脏图像可以是心脏电影核磁图像CINE MRI。心脏电影核磁图像为扫描序列，主要描述的是心脏在收缩和扩张整个周期的运动过程，通常可包含25帧图像，图像本身看起来也是动态的(2D+t)，就是二维图像+第三维时间，其中二维图像是心脏的某一个截面。在本发明的其他实施例中，也可以将心脏电影核磁图像做成全心成像3D+t，即，三维图像+第四维时间。

图像超分辨率(SR)提供了一种替代且相对便宜的解决方案，用于在空间分辨率增强而非硬件改进方面改善医学图像的感知质量。在本发明的实施例中，对原始心脏图像进行超分处理是基于生成对抗网络GAN的，原始GAN模型不是很稳定，本发明提出基于WGAN(Wasserstein GAN)增加梯度惩罚GP(Gradient Penalty)。为了使本发明的超分模型会自动专注在感兴趣区域的超分上，在本发明的方案中加入感兴趣的区域ROI检测，由此使得后面的运动特征提取更加集中也更加准确。因此可将本发明所使用的超分辨率处理可以被称为聚焦ROI的超分辨率处理。感兴趣的区域ROI可以是但不限于病变区域。

图2示出根据本发明的一个实施例的聚焦ROI的超分辨率神经网络200的架构示意图。聚焦ROI的超分辨率神经网络200包括ROI检测神经网络210、超分辨率图像生成器G220、预训练的VGG(visual geometry group视觉几何组)230以及HR/SR图像鉴别器D 240。在应用生成对抗网络GAN之前,ROI检测神经网络210旨在从全尺寸LR图像和HR图像中检测感兴趣区域ROI。

具体而言，将全尺寸LR图像或HR图像输入到ROI检测神经网络210。ROI检测神经网络210采用最大池化残差块和输入尺度自由残差神经网络。图3示出根据本发明的一个实施例的ROI检测神经网络210的示意图。在两个残余块之后添加最大池化层，其包括四个卷积和批量归一化层之间的两个跳过连接。这有助于加快训练过程，并降低ROI检测任务的内存成本。ROI检测神经网络210的输出为感兴趣的区域，如图中方块所示。

生成对抗网络GAN包括超分辨率图像生成器G 220和HR/SR图像鉴别器D 240。超分辨率图像生成器G 220接收感兴趣的区域的图像。图4示出根据本发明的一个实施例的超分辨率图像生成器G 220的示意图。超分辨率图像生成器G 220旨在从感兴趣的区域的低分辨率图像I_LR估计出尽可能逼真的SR图像I_SR。如图4所示，超分辨率图像生成器G 220使用SR残差网络(SRResNet)作为生成器G，包括16个残余块，并跟随子像素卷积层。

预训练的VGG 230可以是预训练的19层VGG。鉴别器D 240旨在从真实有效的高分辨率图像I_HR中将超分辨率图像找出来。图5示出根据本发明的一个实施例的预训练的VGG230和鉴别器D 240的示意图。

鉴别器D 240、预训练的VGG 230与超分辨率图像生成器G 220同时训练以生成感知上逼真的图像特征。通过感兴趣的区域的检测，该训练旨在解决：

其中

和

是可训练参数，l^G和l^D是G和D的损失函数。

对聚焦ROI的超分辨率神经网络200进行训练之后，对其进行实验评估，发现聚焦ROI的超分辨率神经网络200能够对多种下采样图像获得很高的精度。在评估中，定义如果病变100％被预测的ROI覆盖，则它是完美的检测，如果覆盖率为95％，则是可接受的检测。在第一案例中，2218幅图像是完美的检测(93.7％)，其他111幅是可接受的检测(98.4％)。在第二案例中，2109张图片是完美的检测(89.1％)，其他119张可接受的检测(94.1％)。

返回图1，运动分析单元120对超分辨率(SR)图像进行运动模式分析。具体而言，通过深度学习提取经超分辨率处理的心脏电影核磁图像中的局部和全局运动特征。具体而言，首先建立深度学习模型，通过该模型提取MRI图像中的代表性局部和全局运动特征，并将它们与LGE图像相关联。一旦该模型被训练，就可以在没有LGE图像的情况下预测心肌梗死MI位置、大小和透壁性。

图6示出根据本发明的一个实施例的深度学习框架600。如图6所述，深度学习框架600包括心脏腔室定位单元610和运动特征提取单元620。心脏腔室可以是左心室。

心脏腔室定位单元610是用于检测心脏腔室的定位深度网络。图7示出根据本发明的一个实施例的心脏腔室定位单元610的结构示意图。心脏腔室定位单元610使用Zelier和Fergus网络模型从输入的MRI图像序列中定位感兴趣的区域(ROI)，该ROI即为心脏腔室。

运动特征提取单元620从递归神经网络RNN提取局部运动特征并使用先进光流方法导出全局运动特征。图8示出根据本发明的一个实施例的运动特征提取单元620的结构示意图。本发明的框架(基于递归神经网络)可以压缩局部运动分布，同时从感兴趣区域时间序列中提取全局运动场并生成密集运动场以全面地表征局部和全局运动。如图8所示，上半部分为局部运动分析，下半部分为全局运动分析。

局部运动分析采用长短期记忆LSTM-RNN网络，以时序图像块作为输入来解决这一问题。在图像序列上滑动一个窗口来生成二维+时间图像块。在本发明的一个实施例中，选用11×11像素的空间范围。在本发明的其他实施例中，可以使用其他尺寸的空间范围，例如N×N像素的空间范围。因为在一个心动周期有25核磁共振图像，在LSTM-RNN网络的最后一模块组装了一个高维向量(11×11×25大小)，该向量能够生成包括该像素的运动轨迹的三维图像块。由于网络是以滑动窗口的方式运行的，所以在滑动窗口经过ROI的所有像素后，在所有像素上提取局部运动信息。在RNN的训练过程中，使用门控机制来自动学习每个图像块在不同时间的不同，而忽略其他无用的信息。

全局运动分析采用光流方法，首先对多个连续帧进行运动位移估计，然后进行密集运动流分析得到全局运动特征。

深度学习框架600还可任选地包括判别网络630。判别网络630使用堆叠自动编码器(SAE)来联合学习局部运动特征和全局运动特征，以提供ROI内每个像素的有效运动特征表示。图9示出根据本发明的一个实施例的判别网络630的结构示意图。首先将局部运动特征和全局运动特征进行连接，并输入到堆叠自动编码器进行联合学习。这种联合学习是互利的，因为它不仅通过LSTM-RNN获得时间运动中心肌病变的空间相关性，而且还通过Demons算法补充图像块外的运动信息。由多模块稀疏自动编码器组成的SAE通过捕获这两个运动特征的有用“分模块分组”或“部分整体分解”来学习基于图像块和基于图像的运动特征作为共享表示。这种作为高维矢量(139)的共享表示表征了ROI内部像素运动的所有方面，并且集成了分类器(Softmax)以最终识别心肌像素运动异常。因此，这些模块使得能够直接描绘像素方式心肌病变而无需心肌边界的任何初步分割。

图10示出根据本发明的一个实施例的高分辨率心机运动模式分析方法的流程图。首先，在步骤1010，对原始心脏图像进行超分辨率(SR)处理，使得低分辨率图像变成高分辨率，得到超分辨率(SR)图像。

在本发明的实施例中，原始心脏图像可以是心脏电影核磁图像CINE MRI。心脏电影核磁图像为扫描序列，主要描述的是心脏在收缩和扩张整个周期的运动过程，通常可包含25帧图像，图像本身看起来也是动态的(2D+t)，就是二维图像+第三维时间，其中二维图像是心脏的某一个截面。在本发明的其他实施例中，也可以将心脏电影核磁图像做成全心成像3D+t，即，三维图像+第四维时间。

图像超分辨率(SR)提供了一种替代且相对便宜的解决方案，用于在空间分辨率增强而非硬件改进方面改善医学图像的感知质量。在本发明的实施例中，对原始心脏图像进行超分处理是基于生成对抗网络GAN的，原始GAN模型不是很稳定，本发明提出基于WGAN(Wasserstein GAN)增加梯度惩罚GP(Gradient Penalty)。为了使本发明的超分模型会自动专注在感兴趣区域的超分上，在本发明的方案中加入感兴趣的区域ROI检测，由此使得后面的运动特征提取更加集中也更加准确。因此可将本发明所使用的超分辨率处理可以被称为聚焦ROI的超分辨率处理。感兴趣的区域ROI可以是但不限于病变区域。

然后，在步骤1020，对超分辨率(SR)图像进行运动分析。通过定位深度网络心脏腔室，可使用Zelier和Fergus网络模型从输入的MRI图像序列中定位感兴趣的区域(ROI)，该ROI即为心脏腔室。然后，进行运动特征提取，从递归神经网络RNN提取局部运动特征并使用先进光流方法导出全局运动特征。

可任选地，在步骤1030，基于局部运动特征和全局运动特征进行判别。使用堆叠自动编码器(SAE)来联合学习局部运动特征和全局运动特征，以提供ROI内每个像素的有效运动特征表示。首先将局部运动特征和全局运动特征进行连接，并输入到堆叠自动编码器进行联合学习。这种联合学习是互利的，因为它不仅通过LSTM-RNN获得时间运动中心肌病变的空间相关性，而且还通过Demons算法补充图像块外的运动信息。由多模块稀疏自动编码器组成的SAE通过捕获这两个运动特征的有用“分模块分组”或“部分整体分解”来学习基于图像块和基于图像的运动特征作为共享表示。这种作为高维矢量(139)的共享表示表征了ROI内部像素运动的所有方面，并且集成了分类器(Softmax)以最终识别心肌像素运动异常。因此，这些模块使得能够直接描绘像素方式心肌病变而无需心肌边界的任何初步分割。

对于心脏核磁数据固有分辨率低的问题，本发明使用超分辨率算法对原始数据进行超分辨率处理，然后，通过心肌运动模型对全心高分辨率数据进行分析。超级分辨率和运动模型生成可以同步进行。

本发明创新提出的深度学习模型将提取非增强心脏电影序列MRI图像中的代表性局部和全局运动特征，并将它们与LGE图像相关联，在没有LGE图像的情况下直接识别出梗死区域，同时识别精度达到像素级别

本发明提出最大池化残差块和输入尺度自由残差神经网络，有助于加快训练过程，并降低感兴趣区域(ROI)检测任务的内存成本(感兴趣区域包括病变和心脏组织结构)；同时采用SR残差网络(SRResNet)作为生成器G，以快速生成感知上逼真的图像特征。

本发明提出了监督GAN框架来合成医学图像，包括用于估计低分辨图像的发生器和用于区分高清晰度真实图像和生成图像的鉴别器。

本发明采用多尺度鉴别器，无需更深的网络或更大的卷积内核，即可生成高分辨率图像。

尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。

Claims (9)

1.一种高分辨率心机运动模式分析装置，包括：

超分辨率处理单元，所述超分辨率处理单元接收原始心脏图像，通过聚焦感兴趣的区域ROI的超分辨率神经网络对图像进行超分处理，得到超分辨率的图像，其中所述聚焦ROI的超分辨率神经网络包括：ROI检测神经网络，用于接收原始心脏图像，利用最大池化残差块和输入尺度自由残差神经网络进行处理，输出ROI区域图像；超分辨率图像生成器G，用于接收ROI区域图像，从ROI区域图像的低分辨率图像估计出超分辨率图像；预训练的视觉几何组VGG和图像鉴别器D，用于根据真实有效的高分辨率图像找出超分辨率图像，图像鉴别器D、预训练的视觉几何组VGG与超分辨率图像生成器G同时训练以生成感知上逼真的图像特征，通过感兴趣的区域的检测，所述训练旨在解决：

其中

和

是可训练参数，l^G和l^D是G和D的损失函数，I_lr为感兴趣的区域的低分辨率图像，I_hr为真实有效的高分辨率图像；以及

运动分析单元，运动分析单元通过深度学习框架提取经超分辨率处理的图像中的局部和全局运动特征，

其中所述深度学习框架包括运动特征提取单元，用于从采用长短期记忆LSTM-RNN网络提取局部运动特征并使用先进光流方法导出全局运动特征，所述长短期记忆LSTM-RNN网络以时序图像块作为输入，所述长短期记忆LSTM-RNN网络以滑动窗口的方式运行，在滑动窗口经过ROI的所有像素后，在所有像素上提取局部运动信息，在LSTM-RNN网络的最后一模块组装一个高维向量，所述高维向量生成包括像素的运动轨迹的三维图像块，

其中深度学习框架将所述局部和全局运动特征与晚期钆增强LGE图像相关联，所属深度学习框架被训练后，能够在没有LGE图像的情况下预测心肌梗死MI位置、大小和透壁性。

2.如权利要求1所述的高分辨率心机运动模式分析装置，其特征在于，所述超分辨率图像生成器G使用超分辨率残差网络。

3.如权利要求1所述的高分辨率心机运动模式分析装置，其特征在于，所述深度学习框架包括：

心脏腔室定位单元，使用Zelier和Fergus网络模型从输入的图像序列中定位心脏腔室。

4.如权利要求3所述的高分辨率心机运动模式分析装置，其特征在于，所述深度学习框架还包括判别网络，使用堆叠自动编码器来联合学习局部运动特征和全局运动特征，以提供心脏腔室内每个像素的有效运动特征表示。

5.如权利要求4所述的高分辨率心机运动模式分析装置，其特征在于，所述判别网络还包括分类器，用于识别心肌像素运动异常。

6.如权利要求1所述的高分辨率心机运动模式分析装置，其特征在于，所述原始心脏图像是心脏电影核磁图像扫描序列。

7.一种高分辨率心机运动模式分析方法，包括：

接收原始心脏图像；

通过聚焦感兴趣的区域ROI的超分辨率神经网络对图像进行超分辨率处理，得到超分辨率的图像，其中所述聚焦ROI的超分辨率神经网络包括：ROI检测神经网络，用于接收原始心脏图像，利用最大池化残差块和输入尺度自由残差神经网络进行处理，输出ROI区域图像；超分辨率图像生成器G，用于接收ROI区域图像，从ROI区域图像的低分辨率图像估计出超分辨率图像；预训练的视觉几何组VGG和图像鉴别器D，用于根据真实有效的高分辨率图像找出超分辨率图像，图像鉴别器D、预训练的视觉几何组VGG与超分辨率图像生成器G同时训练同时训练以生成感知上逼真的图像特征，通过感兴趣的区域的检测，所述训练旨在解决：

其中

和

是可训练参数，l^G和l^D是G和D的损失函数，I_lr为感兴趣的区域的低分辨率图像，I_hr为真实有效的高分辨率图像；以及

通过深度学习框架提取经超分辨率处理的图像中的局部和全局运动特征，其中所述深度学习框架从采用长短期记忆LSTM-RNN网络提取局部运动特征并使用先进光流方法导出全局运动特征，所述长短期记忆LSTM-RNN网络以时序图像块作为输入，所述长短期记忆LSTM-RNN网络以滑动窗口的方式运行，在滑动窗口经过ROI的所有像素后，在所有像素上提取局部运动信息，在LSTM-RNN网络的最后一模块组装一个高维向量，所述高维向量生成包括像素的运动轨迹的三维图像块。

8.如权利要求7所述的高分辨率心机运动模式分析方法，其特征在于，对图像进行超分辨率处理包括：

接收原始心脏图像，利用最大池化残差块和输入尺度自由残差神经网络进行处理，输出ROI区域图像；

从ROI区域图像的低分辨率图像估计出高分辨率图像；以及

根据真实有效的高分辨率图像找出超分辨率图像。

9.如权利要求7所述的高分辨率心机运动模式分析方法，其特征在于，通过深度学习框架提取经超分辨率处理的图像中的局部和全局运动特征包括：

使用Zelier和Fergus网络模型从输入的图像序列中定位心脏腔室。

Images