CN109410289A - 一种深度学习的高欠采样超极化气体肺部mri重建方法 - Google Patents

Abstract

本发明公开了一种深度学习的高欠采样超极化气体肺部MRI重建方法。包括以下步骤：构建构建超极化气体肺部MRI图像训练集，设计级联CNN模型，进行CNN模型训练，根据训练得到的级联CNN模型获得重建图像，本发明利用级联CNN模型，而且在损失函数中加入肺部轮廓信息，能够在高欠采样倍数下得到精确的重建图像，显著地加快成像速度。

Description

一种深度学习的高欠采样超极化气体肺部MRI重建方法

技术领域

本发明涉及磁共振成像(Magnetic Resonance Imaging，MRI)、深度学习、欠采样重建等技术领域，具体涉及一种深度学习的高欠采样超极化气体肺部MRI重建方法，适用于加快超极化惰性气体(如¹²⁹Xe、³He等)肺部MRI的成像速度，并提高成像质量。

背景技术

MRI是一种非侵入、无电离辐射的影像学方法，可以为临床提供高分辨率的结构和功能信息。传统MRI以氢质子为观测对象，而肺部主要由空腔组成，氢质子密度低，因此肺部是传统MRI的盲区。自旋交换光抽运技术可以将惰性气体(如³He、¹²⁹Xe等)的极化度提高10³～10⁵倍，从而使气体肺部MRI成为可能。¹²⁹Xe在组织和血液中具有较好的溶解性，因此超极化¹²⁹Xe MRI不仅能够对肺部通气功能和微结构进行成像，还能评价肺部的气-气交换和气-血交换功能，从而为肺部疾病的早期诊断和预后监测提供一种全新手段。

超极化¹²⁹Xe气体的纵向磁化矢量具有不可恢复性，在采样过程中随射频激发次数呈指数衰减[He Deng et al.Journal of Magnetic Resonance,2016,263:92－100.]。此外，大部分超极化气体MRI方法需要屏气，而较长的屏气时间对肺部疾病患者而言具有很大挑战性，因此迫切需要发展快速成像技术。并行成像、radial和spiral等方法可以加快超极化气体MRI的成像速度，但是这些方法依赖特殊的硬件或序列。基于压缩感知的MRI(称为Compressed Sensing-Magnetic Resonance Imaging,CS-MRI)是一种能够以远低于奈奎斯特采样频率欠采k空间数据从而加快成像速度的技术，无需特定硬件和序列[Sa Xiao etal.Journal of Magnetic Resonance,2018,290:29－37.]。但是，CS-MRI技术也存在一些限制：1)CS-MRI采样轨迹必须满足不相关性准则；2)CS-MRI常用的稀疏变换不足以描述复杂的生物组织结构，例如基于TV的稀疏变换在重建结果中会引入阶梯伪影，小波变换可能会引起块状伪影；3)CS-MRI的非线性重建算法涉及迭代计算，需要较长的重建时间；4)超参数的选择对CS-MRI的重建效果有很大影响，不合适的超参数会造成重建结果过平滑或存在残留的欠采样伪影。

近年来深度学习在图像分类、语音识别、图像复原、超分辨率重建等领域取得很大进展。深度学习尤其是卷积神经网络(Convolutional Neural Networks，CNN)也被用于MRI欠采样重建领域[Taejoon Eoet al.IEEE Transactions on Medical Imaging,2018,80:2188－2201.]。基于深度学习的欠采样重建通过训练CNN学习欠采样图像和参考图像(通常将全采样图像作为参考图像)之间的非线性关系。相比于CS-MRI，基于深度学习的MRI欠采样重建方法在重建速度、图像质量、加速倍数等方面具有显著优势。目前基于深度学习的MRI欠采样重建主要以脑部、膝关节等MRI的图像为研究对象，原因是这类图像具有高分辨率、高信噪比、数据量大等优势，可以为深度学习训练提供高质量的参考图像。然而，因超极化气体纵向磁化矢量不可再生(随激发次数和激发时间快速衰减)，导致超极化气体MRI的图像易受噪声和伪影影响，信噪比低，易丢失细节信息等。这使得将深度学习推广应用于超极化气体MRI欠采样重建面临很大困难。

本质上，欠采样重建是一个逆问题，与图像超分辨率重建、去噪、去模糊等图像复原问题类似[Guang Yang et al.IEEE Transactions on Medical Imaging,2018,37:1310－1321]。针对受污染数据，Ashish Bora等人提出一种AmbientGAN方法，可以从受污染的观测值(噪声、模糊等)中生成正确的图像，但是此方法需要结合污染过程模型，例如噪声分布模型[Ashish Bora et al.International Conference on LearningRepresentations,2018]。但是在MRI中，噪声准确估计是一个困难的任务，原因是噪声可能是非稳态的Rician噪声。最近，Jaakko Lehtinen等人提出一种Noise2Noise的方法，该方法不需要图像先验信息或噪声模型，仅利用噪声观测图像就可以恢复出正确的图像[JaakkoLehtinen et al.Proceedings of the 35th International Conference on MachineLearning,2018]。基于以上分析，本发明构造包含两个CNN的级联CNN模型，由粗到精地学习欠采样图像和全采样图像之间的非线性映射关系，即首先利用第一级网络去除图像中的伪影并恢复部分细节信息，再利用第二级网络并结合质子图像提供的肺部轮廓信息进一步提高肺部实质区域的重建效果。相比于CS-MRI，本方法可以实现更高的欠采样倍数(6倍欠采样)，并且具有更好的重建效果和重建速度。

发明内容

本发明针对现有超极化气体肺部MRI快速成像中存在的上述技术问题，提出一种深度学习的高欠采样超极化气体肺部MRI重建方法。

一种深度学习的高欠采样超极化气体肺部MRI重建方法，包括以下步骤：

步骤1，构建超极化气体肺部MRI图像训练集。具体包括：

步骤1.1，收集多组全采样超极化气体肺部磁共振k空间数据和相应的质子图像。将每组全采样超极化气体肺部磁共振k空间数据进行快速傅里叶变换，获得的重建结果作为训练集中的参考图像y。分割质子图像，获得肺部实质区域mask。

步骤1.2，根据采样率运用蒙特卡洛方法生成采样矩阵，对每组全采样超极化气体肺部磁共振k空间数据进行回顾性欠采样，得到欠采样k空间数据，然后采用零填充重建的方法对欠采样k空间数据进行处理获得含有伪影并丢失部分细节信息的零填充图像。将零填充图像作为训练集中的输入图像x。

步骤1.3，步骤1.1和1.2中得到的输入图像x和对应的参考图像y组成超极化气体肺部MRI图像训练集中的训练样本对。对于第i个训练样本对，输入图像x表示为xⁱ，参考图像y表示为yⁱ，对应的肺部实质区域mask表示为maskⁱ。

步骤2，设计级联CNN模型。本发明采用包含两级网络的级联CNN模型，由粗到精地学习输入图像x和参考图像y之间的非线性映射关系，如图1所示。级联CNN模型的第一级网络表示为f_cnn1(·,θ₁)，第二级网络表示为f_cnn2(·,θ₂)，θ₁、θ₂分别为第一级网络和第二级网络的参数，·表示网络输入。第一级网络和第二级网络均包括输入层、隐含层和输出层，其中隐含层包括卷积层、激活层和池化层。第一级网络输入为xⁱ，输出为初始重建图像，初始重建图像表示为 然后将作为第二级网络输入，第二级网络的输出结果为最终重建图像，最终重建图像表示为

为了训练CNN模型，第一级网络的损失函数定义为：

第二级网络的损失函数定义为：

其中，n为选取的训练样本对的数量，公式(2)中·为点乘，l2表示L2范数。将mask加入损失函数，目的在于在训练过程中可以针对肺部实质区域进行参数优化，提高肺部实质区域的重建效果。

步骤3，CNN模型训练。模型训练就是利用反向传播和基于动量的随机梯度下降法寻找使损失函数最小的模型参数，即满足：

本发明采用递增方式训练级联CNN模型，即首先训练第一级网络，在第一级网络训练完成后，再训练第二级网络。在第一级网络训练过程中，对于第t次迭代，θ₁的取值表示为

步骤3.1、对第一级网络的进行训练；

具体包括以下步骤：

步骤3.1.1、首先从训练集中随机挑选数量为n的训练样本对的输入图像xⁱ作为第一级网络的输入，i∈{1…n}，经过正向传播得到初始重建图像

步骤3.1.2、然后利用公式(1)计算损失函数值为第t次迭代θ₁的取值；

步骤3.1.3、再通过反向传播算法计算损失函数值相对于参数的偏导数；最后利用基于动量的随机梯度下降法对参数进行更新，即通过公式(5)和公式(6)获得第t+1次迭代θ₁的取值迭代次数t加1并返回步骤3.1.1，直至损失函数值最小，损失函数值最小时对应的即为第一级网络的最优参数θ'₁，停止训练并将训练得到的第一级网络表示为f_cnn1(·,θ'₁)；

其中，μ为动量，η为学习率，t为迭代次数，和分别是第t和t-1次迭代参数θ₁的更新值，和分别表示第t和t+1次迭代θ₁的取值。

相比于随机梯度下降法，基于动量的随机梯度下降法在每次参数更新时，考虑上次的参数更新值，可以加速收敛和提高精度。

步骤3.2、对第二级网络进行训练；

具体包括以下步骤：

步骤3.2.1、首先从训练集中随机挑选数量为n的训练样本对的输入图像xⁱ作为训练得到的第一级网络f_cnn1(·,θ'₁)的输入，i∈{1…n}，经过正向传播得到初始重建图像然后将作为第二级网络输入；

步骤3.2.2、然后利用公式(2)计算损失函数值为第t次迭代θ₂的取值；

步骤3.2.3、再通过反向传播算法计算损失函数值相对于参数的偏导数；最后利用基于动量的随机梯度下降法对参数进行更新，即通过公式(7)和公式(8)获得第t+1次迭代θ₂的取值迭代次数t加1并返回步骤3.2.1，直至损失函数值最小，损失函数值最小时对应的即为第二级网络的最优参数θ'₂，停止训练并将训练得到的第二级网络表示为f_cnn2(·,θ'₂)；

其中，μ为动量，η为学习率，t为迭代次数，和分别是第t和t-1次迭代参数θ₂的更新值，和分别表示第t和t+1次迭代θ₂的取值。

在第一级和第二级网络训练完成以后，将第一级和第二级网络组成的级联CNN模型表示为f_cnn(·,θ')，其中θ'＝{θ₁',θ₂'}为级联CNN模型的最优参数。·表示网络输入。

步骤4，CNN模型网络推断。利用训练得到的级联CNN模型f_cnn(·,θ')对欠采样k空间数据进行重建。仅需要输入输入图像x，即欠采样k空间得到的零填充图像，经过正向传播，即可得到重建图像y'：y'＝f_cnn(x,θ')。

本发明与现有技术相比，具有以下优点：

本方法在高欠采样倍数情况下，依然能够达到精确的重建效果，具有更好的细节恢复能力，大幅提高超极化MRI的成像速度；不需要调整参数，在实际应用中更加便捷；重建速度快，仅需要级联CNN模型正向传播，可达到毫秒量级；级联CNN模型具有更深的网络层数，特征表达能力更强；利用质子图像提供的肺部轮廓信息，提高肺部实质区域的重建效果。

附图说明

图1为一种基于深度学习的高欠采样超极化气体肺部MRI重建方法流程图；

图2为全采样超极化气体肺部磁共振图像，其中a1～d1为实施例1中四幅全采样超极化气体肺部磁共振图像；

a2～d2为a1～d1对应的零填充图像；

a3～d3为a2～d2对应的传统CS-MRI重建图像；

a4～d4为a2～d2对应的采用本实施例1方法得到的重建图像。

具体实施方式

下面通过实施例1并结合附图对本发明作进一步说明：

实施例1：

一种深度学习的高欠采样超极化气体肺部MRI重建方法，包括以下步骤：

步骤1，构建超极化气体肺部MRI图像训练集，本实施例中超极化气体为¹²⁹Xe，超极化气体肺部MRI图像训练集为¹²⁹Xe肺部MRI图像训练集；

步骤1.1，收集72名志愿者的全采样超极化气体肺部磁共振k空间数据和相应的质子图像。全采样超极化气体肺部磁共振k空间数据采用3D bSSFP序列采集，采样矩阵大小为96×84，层数24。对全采样超极化气体肺部磁共振k空间数据进行快速傅里叶变换，获得的重建结果作为参考图像y，剔除肺部信号区域小于图像大小10％的图像，共得到806幅参考图像。分割质子图像，获得肺部实质区域mask。

步骤1.2，利用蒙特卡洛方法生成采样率为1/6的采样矩阵，对每组全采样超极化气体肺部磁共振k空间数据进行回顾性欠采样，得到欠采样k空间数据，然后采用零填充重建的方法对欠采样k空间数据进行处理获得零填充图像。将零填充图像作为训练集中的输入图像x。

步骤1.3，步骤1.1和1.2中得到的输入图像x和对应的参考图像y组成超极化气体肺部MRI图像训练集中的训练样本对，对于第i个训练样本对，输入图像x表示为xⁱ，参考图像y表示为yⁱ，对应的肺部实质区域mask表示为maskⁱ。本实施例中，参考图像x和输入图像y都归一化到[0,1]，并使用对称填充的方式将参考图像x和输入图像y的大小均填充为96×96。

步骤2，设计级联CNN模型。级联CNN模型包括两级网络，级联CNN模型的两级网络都采用U-net网络。级联CNN模型的两级网络的输入和输出大小均为96×96。U-net网络由收缩路径和扩张路径两部分组成，形成两侧对称的U形状。在收缩路径中，每次连续使用两次3×3的卷积，每个卷积层之后均连接RELU激活层，并在第二个卷积层之后连接步长为2的2×2的最大池化层。在扩张路径中，利用去卷积层逐渐恢复输入图像的大小，将去卷积层得到的特征与收缩路径中对应层的特征级联，增加对底层特征的利用。最后利用1×1的卷积层重建。U-net网络可以在MATLAB 2017a(MathWorks,Natick)环境中，利用MatConvNet工具箱搭建。级联CNN模型的第一级网络和第二级网络分别表示为：f_cnn1(·,θ₁)和f_cnn2(·,θ₂)，θ₁、θ₂分别为相应的网络参数，

第一级网络输入为xⁱ，输出为初始重建图像，初始重建图像表示为 然后将作为第二级网络输入，第二级网络的输出结果为最终重建图像，最终重建图像表示为

第一级网络的损失函数定义为：

第二级网络的损失函数定义为：

其中，n为选取的训练样本对的数量，公式(2)中·为点乘，l2表示L2范数。将mask加入损失函数，目的在于在训练过程中可以针对肺部实质区域进行参数优化，提高肺部实质区域的重建效果。

步骤3，CNN模型训练。模型训练就是利用反向传播和基于动量的随机梯度下降法寻找使损失函数最小的模型参数，即满足：

本发明采用递增方式训练级联CNN模型，即首先训练第一级网络，在第一级网络训练完成后，再训练第二级网络。在第一级网络训练过程中，对于第t次迭代，θ₁的取值表示为

步骤3具体包括以下步骤：

步骤3.1、对第一级网络的进行训练；

具体包括以下步骤：

步骤3.1.1、首先从训练集中随机挑选数量为n的训练样本对的输入图像xⁱ作为第一级网络的输入，i∈{1…n}，经过正向传播得到初始重建图像

步骤3.1.2、然后利用公式(1)计算损失函数值为第t次迭代θ₁的取值；

步骤3.1.3、再通过反向传播算法计算损失函数值相对于参数的偏导数；最后利用基于动量的随机梯度下降法对参数进行更新，即通过公式(5)和公式(6)获得第t+1次迭代θ₁的取值迭代次数t加1并返回步骤3.1.1，直至损失函数值最小，损失函数值最小时对应的即为第一级网络的最优参数θ₁'，停止训练并将训练得到的第一级网络表示为f_cnn1(·,θ'₁)；

其中，μ为动量，η为学习率，t为迭代次数，和分别是第t和t-1次迭代参数θ₁的更新值，和分别表示第t和t+1次迭代θ₁的取值。

相比于随机梯度下降法，基于动量的随机梯度下降法在每次参数更新时，考虑上次的参数更新值，可以加速收敛和提高精度。

步骤3.2、对第二级网络进行训练；

具体包括以下步骤：

步骤3.2.1、首先从训练集中随机挑选数量为n的训练样本对的输入图像xⁱ作为训练得到的第一级网络f_cnn1(·,θ'₁)的输入，i∈{1…n}，经过正向传播得到初始重建图像然后将作为第二级网络输入；

步骤3.2.2、然后利用公式(2)计算损失函数值为第t次迭代θ₂的取值；

步骤3.2.3、再通过反向传播算法计算损失函数值相对于参数的偏导数；最后利用基于动量的随机梯度下降法对参数进行更新，即通过公式(7)和公式(8)获得第t+1次迭代θ₂的取值迭代次数t加1并返回步骤3.2.1，直至损失函数值最小，损失函数值最小时对应的即为第二级网络的最优参数θ₂'，停止训练并将训练得到的第二级网络表示为f_cnn2(·,θ'₂)；

其中，μ为动量，η为学习率，t为迭代次数，和分别是第t和t-1次迭代参数θ₂的更新值，和分别表示第t和t+1次迭代θ₂的取值。

在第一级和第二级网络训练完成以后，将第一级和第二级网络组成的级联CNN模型表示为f_cnn(·,θ')，其中θ'＝{θ₁',θ₂'}为级联CNN模型的最优参数。·表示网络输入。

步骤4，CNN模型网络推断。利用训练得到的级联CNN模型f_cnn(·,θ')对欠采样k空间数据进行重建，仅需要将欠采样k空间得到的零填充图像输入模型f_cnn(·,θ')中，经过网络正向传播，即可得到重建图像。

图2中的a2～d2显示，在6倍欠采样下，零填充图像已经丢失大部分结构和细节信息并包含严重的欠采样伪影。图2中的a3～d3显示，传统CS-MRI方法虽然可以恢复部分结构信息，但是重建图像含有明显的平滑效应，且没有恢复重要的通气缺陷区域。图2中的a4～d4显示，本方法能够精确地恢复出超极化¹²⁹Xe MRI的图像结构和细节信息，特别是一些细微的通气缺陷区域。

本文所描述的具体实施方法仅仅是对本发明的举例说明。本发明中超极化气体不局限于实施例中的¹²⁹Xe，还可以是³He、⁸³Kr等，成像方式也不局限于超极化气体MRI的通气像，还可以是超极化气体扩散加权成像和溶解态成像等。本发明中CNN模型也不局限于U-net，还可以是ResNet等。本发明中CNN模型的训练方法也不局限于基于动量的随机梯度下降法，也包括Adam、RMSProp等深度学习中常用的优化算法。本发明所属技术领域的技术人员可以对所描述的具体实施方式做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (2)

1.一种深度学习的高欠采样超极化气体肺部MRI重建方法，其特征在于，包括以下步骤：

步骤1、收集多组全采样超极化气体肺部磁共振k空间数据和相应的质子图像，将每组全采样超极化气体肺部磁共振k空间数据进行快速傅里叶变换，获得的重建结果作为训练集中的参考图像y，分割质子图像，获得肺部实质区域mask，对每组全采样超极化气体肺部磁共振k空间数据进行欠采样后进行零填充重建获得零填充图像，将零填充图像作为超极化气体肺部MRI图像训练集中的输入图像x，输入图像x和对应的参考图像y组成训练集中的训练样本对，对于第i个训练样本对，输入图像x表示为xⁱ，参考图像y表示为yⁱ，对应的肺部实质区域mask表示为maskⁱ；

步骤2、设计级联CNN模型，级联CNN模型包括第一级网络f_cnn1(·,θ₁)和第二级网络f_cnn2(·,θ₂)，其中θ₁、θ₂分别为第一级网络和第二级网络的参数，·表示网络输入；

步骤3、训练级联CNN模型：

根据训练样本对中的输入图像xⁱ作为第一级网络f_cnn1(·,θ₁)的输入，利用反向传播算法和基于动量的随机梯度下降法寻找损失函数最小对应的θ₁作为第一级网络的最优参数θ₁'，

根据训练样本对中的输入图像xⁱ作为第一级网络f_cnn1(·,θ₁')的输入，得到初始重建图像然后将作为第二级网络f_cnn2(·,θ₂)的输入，利用反向传播算法和基于动量的随机梯度下降法寻找损失函数最小对应的θ₂作为第一级网络的最优参数θ₂'，

步骤4、将输入图像x输入到训练后的级联CNN模型，经过正向传播，即可得到重建图像。

2.根据权利要求1所述的一种深度学习的高欠采样超极化气体肺部MRI重建方法，其特征在于，

所述的步骤3包括以下步骤：

步骤3.1、对第一级网络的进行训练，包括以下步骤：；

步骤3.1.1、首先从训练集中随机挑选数量为n的训练样本对的输入图像xⁱ作为第一级网络的输入，i∈{1…n}，经过正向传播得到初始重建图像

步骤3.1.2、通过公式计算损失函数值 为第t次迭代θ₁的取值；

步骤3.1.3、通过公式和公式获得第t+1次迭代θ₁的取值迭代次数t加1并返回步骤3.1.2，直至损失函数值最小，损失函数值最小时对应的即为第一级网络的最优参数θ₁'；

其中，μ为动量，η为学习率，t为迭代次数，和分别是第t和t-1次迭代参数θ₁的更新值，和分别表示第t和t+1次迭代θ₁的取值；

步骤3.2、对第二级网络进行训练，具体包括以下步骤：

步骤3.2.1、首先从训练集中随机挑选数量为n的训练样本对的输入图像xⁱ作为训练得到的第一级网络f_cnn1(·,θ₁')的输入，i∈{1…n}，经过正向传播得到初始重建图像作为第二级网络输入；

步骤3.2.2、利用公式计算损失函数值 为第t次迭代θ₂的取值；

步骤3.2.3、通过公式和公式获得第t+1次迭代θ₂的取值迭代次数t加1并返回步骤3.2.2，直至损失函数值最小，损失函数值最小时对应的即为第二级网络的最优参数θ₂'；

其中，μ为动量，η为学习率，t为迭代次数，和分别是第t和t-1次迭代参数θ₂的更新值，和分别表示第t和t+1次迭代θ₂的取值。