CN111047597A - 一种基于深度学习的多回波水脂分离方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的多回波水脂分离方法。包括构建水脂分离MRI图像数据集；搭建基于梯度回波序列多回波特性的多回波双向卷积残差网络；使用损失函数和优化算法迭代训练多回波双向卷积残差网络直至收敛；在水脂分离测试阶段，利用训练好的多回波双向卷积残差网络对输入MRI图像进行分离得到对应的纯水信号图像和纯脂肪信号图像。本发明的多回波双向卷积网络通过联合利用回波之间的依赖关系以及现有迭代水脂分离算法的迭代性质，有效地提高了水脂分离的鲁棒性；采用基于残差模块的迭代水脂分离结构方式迭代优化分离结果，提高了水脂分离的准确率；引入多层特征融合高效且充分利用多层级优化分离特征，提高了图像的细节质量。

Description

一种基于深度学习的多回波水脂分离方法

技术领域

本发明涉及医用磁共振成像和深度学习技术领域，具体涉及一种基于深度学习的多回波水脂分离方法。

背景技术

在磁共振成像(MRI)的临床应用中，脂肪的强信号通常不利于病灶的识别和诊断，其中影响比较大的病症如炎症，水肿，肿瘤等。因此，抑制脂肪信号以增强组织水图像的对比度或分离水和脂肪信号具有非常重要的临床应用价值。到目前为止，世界上已经发展了多种抑制脂肪信号、增强水信号或分离水和脂肪信号的技术，包括利用脂肪纵向弛豫时间T₁较短特性的STIR技术，利用水质子和脂肪质子化学位移频率差的化学位移选择性(CHESS)脂肪饱和技术或水激发成像，以及基于化学位移的Dixon水脂分离技术。由于某些疾病的诊断(例如骨髓疾病，肾上腺腺瘤和脂肪肝)需要定量的脂肪含量信息和水与脂肪的比例信息，因此能同时获得纯水和纯脂肪图像的Dixon方法近年来越来越受欢迎。但近年来的水脂分离方法通常通过引入更多的参数(包括水和脂肪信号，主磁场不均匀性，弛豫率(R₂*)和多峰脂肪谱)和优化算法来避免严重的伪影和提高水脂分离的准确性，这也导致水脂分离处理过程相比之前的方法变得更加复杂。此外，由于需要求解迭代算法，这些方法的分离速度通常难以满足实时处理的要求。

近年来，由于深度学习方法的准确性和高效性，越来越多的研究者将其应用于各种MRI应用中。深度学习尤其是卷积神经网络(Convolutional Neural Networks，CNN)也被用于水脂分离任务。基于深度学习的水脂分离通过训练CNN学习多回波图像和参考图像(通常将传统方法分离得到的纯水信号图像和纯脂肪信号图像作为参考图像)之间的非线性映射关系。相比于传统的水脂分离方法，基于深度学习的水脂分离方法能从输入数据中隐式地学习先验信息(回波时间TEs、多峰脂肪谱的频移等)，而无需事先指定，并且在分离速度方面具有显著优势。多回波梯度回波序列(Multi-echo Gradient-recalled EchoSequence，mGRE)因其一次扫描可以获得多个不同权重的

加权图像、一个定量的

图像以及用于精确计算水信号图像和脂肪信号图像的基础数据而被基于深度学习的水脂分离方法广泛采用。然而这些基于深度学习的水脂分离方法所采用的卷积神经网络都是自然图像领域中通用的网络结构，并未针对多回波梯度回波序列水脂分离任务中各个回波图像水脂比例不同的特点而进行特定优化。基于以上分析，本发明提出一种联合利用回波之间依赖关系以及现有迭代水脂分离算法迭代性质的多回波双向卷积残差网络(Multi-echoBidirectional Convolutional Residual Network，MEBCRN)，其中首创性设计多回波双向卷积网络作为特征提取模块充分学习相邻回波图像之间的相似性和差异性以提取更丰富更准确的多回波特征表示；采用基于残差模块的迭代水脂分离结构方式迭代优化分离结果；引入多层特征融合高效且充分利用多层级优化分离特征进一步提高图像的细节质量。

发明内容

本发明的目的在于克服现有技术的不足，提出一种设计合理且兼顾分离准确率和处理速度的基于深度学习的多回波水脂分离方法。

为了解决上述技术问题，本发明所采用的技术方案是：

一种基于深度学习的多回波水脂分离方法，主要包括以下操作步骤：

步骤1、构建水脂分离MRI图像数据集；

步骤2、搭建基于梯度回波序列多回波特性的多回波双向卷积残差网络，多回波双向卷积残差网络包括多回波双向卷积网络和残差网络；

步骤3、使用损失函数和优化算法迭代训练多回波双向卷积残差网络直至多回波双向卷积残差网络达到收敛；

步骤4、在水脂分离测试阶段，利用步骤3中训练好的多回波双向卷积残差网络对输入MRI图像进行分离得到对应的纯水信号图像和纯脂肪信号图像。

进一步地，所述步骤1包括以下步骤：

步骤1.1、对MRI图像进行裁剪，将裁剪后的MRI图像作为水脂分离MRI图像数据集中的输入图像；

步骤1.2、采用水脂分离方法对步骤1.1得到的输入图像进行水脂分离，获得MRI图像对应的纯水信号图像和纯脂肪信号图像，并将MRI图像对应的纯水信号图像和纯脂肪信号图像分别作为数据集中的参考水图像和参考脂肪图像；

步骤1.3、将获得的输入图像和对应的参考水图像和参考脂肪图像组成水脂分离MRI图像数据集中的样本对。

进一步地，所述步骤2包括以下步骤：

步骤2.1、使用包含若干个级联的多回波双向卷积单元的多回波双向卷积网络学习多回波的输入图像中相邻回波图像之间的相似性和差异性，提取多回波特征，并将多回波特征输入到残差网络；

步骤2.2、利用包括若干个级联的残差模块的残差网络对多回波双向卷积网络提取得到的多回波特征进行处理获得各个残差模块对应的优化分离特征；

步骤2.3、通过多层特征融合对步骤2.2中每个残差模块对应的优化分离特征融合，得到多层级深度融合特征；再将多层级深度融合特征经过若干个串联的卷积层，得到最终的纯水信号图像和纯脂肪信号图像。

进一步地，所述步骤2.1包括以下步骤：

步骤2.1.1、第j个多回波双向卷积单元中的第t个回波图像同时在正向和反向分别进行输入卷积计算、回波卷积计算和迭代卷积计算获得正向多回波特征和反向多回波特征，并且将正向多回波特征和反向多回波特征的和作为第j个多回波双向卷积单元中的第t个回波图像的最终特征信息

步骤2.1.2、将第t个回波图像的最终特征信息

与输入图像中第t个回波图像

先进行通道级联得到第j个多回波双向卷积单元中的第t个回波特征信息，再将通道级联后的各个回波特征信息进行合并得到第j个多回波双向卷积单元的多回波特征F^j，将第j个多回波双向卷积单元的多回波特征F^j输入下一个多回波双向卷积单元，其中i为回波图像对应的输入图像序号。

进一步地，所述步骤2.2包括以下步骤：

步骤2.2.1、第b个残差模块通过两个串联的卷积层对输入特征F_b-1进行水脂分离，得到分离特征Q_b-1，第一个残差模块的输入特征F₀为多回波双向卷积网络的最后一个多回波双向卷积单元输出的多回波特征；

步骤2.2.2、以残差形式将分离特征Q_b-1与输入特征F_b-1相加，得到第b个残差模块的优化分离特征F_b，将第b个残差模块的优化分离特征F_b作为下一个残差模块的输入特征。

本发明的优点和积极效果是：

1、本发明提出的多回波双向卷积网络通过联合利用回波之间的依赖关系以及传统优化算法的迭代性质，获得更丰富更准确的多回波特征表示，有效地提高了水脂分离的鲁棒性，该多回波双向卷积网络的结构设计具有首创性；

2、本发明采用基于残差模块的迭代水脂分离结构方式迭代优化分离结果，使迭代水脂分离过程更加精确地关注在具有高判别性的特征，提高了水脂分离的准确率；

3、本发明通过多层特征融合高效且充分利用多层级优化分离特征，降低了多层级优化分离特征的损失，提高了纯水信号图像和纯脂肪信号图像的细节质量。

附图说明

图1是本发明的多回波双向卷积残差网络框架图；

图2是本发明的多回波双向卷积网络框架图；

图3是本发明的多回波双向卷积单元框架图；

图4是本发明的残差模块框架图；

图5是本发明与U-net网络水脂分离的效果对比图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

实施例：

一种基于深度学习的多回波水脂分离方法，包括以下步骤：

步骤1、构建水脂分离腹部MRI图像数据集。具体实现过程包括：

步骤1.1、对已有21名志愿者的384张八回波梯度回波序列的腹部MRI切片图像进行裁剪，将尺寸为288×288的MRI切片图像裁剪为160×288尺寸，以去除多余的边界无用信息并且加快后续模型的训练速度，裁剪后的MRI切片图像作为水脂分离腹部MRI图像数据集中的输入图像。

步骤1.2、采用传统水脂分离方法[Hernando D et al.Magnetic Resonance inMedicine,2010,63:79-90]对步骤1.1获得的输入图像进行水脂分离，获得纯水信号图像和纯脂肪信号图像分别作为水脂分离腹部MRI图像数据集中的参考水图像和参考脂肪图像。

步骤1.3、将获得的输入图像和对应的参考水图像和参考脂肪图像组成水脂分离腹部MRI图像数据集中的样本对。

步骤2、搭建基于梯度回波序列多回波特性的多回波双向卷积残差网络，多回波双向卷积残差网络包括多回波双向卷积网络和残差网络，多回波双向卷积网络包括多个级联的多回波双向卷积单元，残差网络包括多个级联的残差模块，输入图像经过多回波双向卷积网络处理获得多回波特征，多回波特征经残差网络处理获得多层级深度融合特征，多层级深度融合特征经过两个串联的卷积层，得到最终的纯水信号图像和纯脂肪信号图像，如图1所示。具体实现过程包括：

步骤2.1、本实施例中，使用包含四个级联多回波双向卷积单元的多回波双向卷积网络充分学习八回波的输入图像中相邻回波图像之间的相似性和差异性，提取更丰富更准确的多回波特征，如图2所示。本发明将回波图像之间的依赖关系以及传统优化算法的迭代性质与卷积神经网络紧密结合，有效地提高了水脂分离的鲁棒性。

步骤2.1的具体实现过程如下：

步骤2.1.1、第j个多回波双向卷积单元中的第t个回波图像同时在mGRE序列的正向和反向同时进行输入卷积计算(作用于网络初始输入数据的相同回波图像

上，其中i为回波图像对应的输入图像序号，i＝1，...，384)、回波卷积计算(作用于从前一个回波图像提取的正向多回波特征

或后一个回波图像提取的反向多回波特征

上)和迭代卷积计算(作用于从前一个多回波双向卷积单元相同回波图像提取的最终特征信息

上)获得正向多回波特征和反向多回波特征，并且将正向多回波特征和反向多回波特征的和作为第j个多回波双向卷积单元中的第t个回波图像的最终特征信息

如图3所示，其过程可表示为：

其中，σ为非线性激活函数ReLU；*为卷积计算；W_x为输入卷积层的卷积核；W_t为回波卷积层的卷积核；W_j为迭代卷积层的卷积核；

为正向卷积计算的偏置项；

为反向卷积计算的偏置项；

为第j个多回波双向卷积单元中的第t个回波图像的正向多回波特征；

为第个多回波双向卷积单元中的第t个回波图像的反向多回波特征。其中，特征信息

和

被设置为零初始状态，T为回波的总数目，单个多回波双向卷积单元中输入卷积层、回波卷积层和迭代卷积层尺寸相同，四个多回波双向卷积单元卷积层尺寸依次为3×3×8、3×3×10、3×3×12和3×3×14；

步骤2.1.2、将第t个回波图像的最终特征信息

与输入图像中第t个回波图像

先进行通道级联得到第j个多回波双向卷积单元中的第t个回波特征信息，再将通道级联后的八个回波特征信息进行合并得到第j个多回波双向卷积单元的多回波特征F^j，将第j个多回波双向卷积单元的多回波特征F^j输入下一个多回波双向卷积单元以免多次迭代卷积损失信息。

步骤2.2、本实施例中，利用包括六个级联的残差模块的残差网络对多回波双向卷积网络提取得到的多回波特征进行迭代水脂分离，残差模块如图4所示。

步骤2.2的具体实现过程如下：

步骤2.2.1、第b个残差模块通过两个串联的卷积层对输入特征F_b-1进行水脂分离，得到分离特征Q_b-1，其中，F₀＝F⁴，即第一个残差模块的输入特征F₀为多回波双向卷积网络的最后一个多回波双向卷积单元输出的多回波特征F⁴，两个串联的卷积层尺寸均为3×3×128，本实施例中，b＝1,...,6；

步骤2.2.2、以残差形式将分离特征Q_b-1与输入特征F_b-1相加来消除深层网络难以训练以及性能退化问题，得到第b个残差模块的优化分离特征F_b，将第b个残差模块的优化分离特征F_b作为下一个残差模块(第b+1个残差模块)的输入特征。

步骤2.3、通过多层特征融合对步骤2.2中每个残差模块优化得到的优化分离特征融合，得到多层级深度融合特征；再将多层级深度融合特征经过两个串联的卷积层，得到最终的纯水信号图像和纯脂肪信号图像；其中，多层特征融合中的卷积层尺寸均为3×3×128，两个串联的卷积层尺寸依次为3×3×128和3×3×4。

步骤3、使用MSE损失函数和Adam优化算法迭代训练多回波双向卷积残差网络直至多回波双向卷积残差网络达到收敛；

步骤4、在水脂分离测试阶段，输入mGRE图像，利用步骤3中训练好的多回波双向卷积残差网络分离得到mGRE图像对应的纯水信号图像和纯脂肪信号图像。

通过实验论证，本发明的基于多回波特性卷积神经网络可以联合利用回波之间的依赖关系以及传统优化算法的迭代性质，获得更丰富更准确的多回波特征表示；基于残差模块的迭代水脂分离结构方式迭代优化分离结果，使迭代水脂分离过程更加精确地关注在具有高判别性的特征信息，提高了水脂分离的准确率；多层特征融合高效且充分利用多层级优化分离特征，提高了纯水信号图像和纯脂肪信号图像的细节质量。

为了更好地证明本发明的有效性，如Goldfarb等人提出的全身水脂分离方法采用K-折交叉验证方式训练网络模型，本发明在包含376张切片的腹部MRI图像数据集上也采用8折交叉验证方式训练各网络模型。

在对比实验中，由于现有基于卷积神经网络的水脂分离方法中Andersson等人提出的心脏水脂分离方法和Goldfarb等人提出的全身水脂分离方法均采用U-net网络[Ronneberger O et al.In Proceedings Part III of the 18th InternationalConference of MICCAI,pp.234-241，Munich,2015]，因此本发明将与U-net网络进行性能对比。为保证对比实验的公平性，两种方法均在相同的软硬件环境下进行实验。

对比实验的软硬件环境：Pytorch框架；Windows 10系统；Intel i7-8700K CPU；32GB内存；NVIDIA GTX 1080Ti显卡；

对比的基于卷积神经网络的水脂分离算法为：

Andersson等人提出的心脏水脂分离方法，参考文献：Andersson J,

H,Kullberg J.Separation of water and fat signal in whole-body gradient echoscans using convolutional neural networks[J].Magnetic resonance in medicine,2019,82(3):1177-1186.

Goldfarb等人提出的全身水脂分离方法，参考文献：Goldfarb JW,Craft J,CaoJJ.Water-fat separation and parameter mapping in cardiac MRI via deeplearning with a convolutional neural network[J].Journal of Magnetic ResonanceImaging,2019.

评价指标：本发明使用正规化方均根差(Normalized Root Mean Squared Error，NRMSE)、峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)、结构相似性(StructuralSimilarity，SSIM)和单张切片的水脂分离时间Time四种客观评价指标评估各网络模型的性能，其中NRMSE指标的数值越小、PSNR和SSIM指标的数值越大表明水脂分离的效果越好，Time指标的数值越小表明水脂分离的处理速度越快。

表1本发明与U-net网络的客观评价指标对比

从表1中两种方法的客观指标上看，本发明NRMSE指标比U-net降低了0.0055，而在PSNR和SSIM指标方面相比于U-net分别有4.1789dB和5.58％的提升。在单张切片的处理耗时方面，本发明虽然耗时高于U-net，但仍控制在0.1秒内，满足临床实时处理的要求。

图5展示了本发明与U-net网络的水脂分离结果以及水和脂肪信号图像与参考图像的差值图像，其中选取的图像为具有代表性的图像。相比于U-net网络，本发明水和脂肪信号的差值图像深色亮点最少，且得到的水和脂肪信号图像细节更丰富、视觉感知效果最好也最接近参考图像。综上所述，本发明是一种有效的多回波梯度回波序列图像水脂分离方法。

最后需要强调的是：本发明描述的实施例对本发明只是起解释说明作用，而并不是对其加以限制。本发明适用的身体部位不局限于描述的实施例中的腹部，还可以是脑部、心脏或者膝盖等身体部位。本发明适用的mGRE序列回波数目也不局限于描述的实施例中的8个回波，还可以是5个回波、6个回波或者7个回波等。本发明所属领域的技术人员在未偏离本发明的精神与原理下所作的任何改变、等效替代或者简化，均属于本发明保护的范围。

本发明未作详细描述的内容属于本领域技术人员公知的现有技术。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于深度学习的多回波水脂分离方法，其特征在于包括以下步骤：

步骤1、构建水脂分离MRI图像数据集；

步骤2、搭建基于梯度回波序列多回波特性的多回波双向卷积残差网络，多回波双向卷积残差网络包括多回波双向卷积网络和残差网络；

步骤3、使用损失函数和优化算法迭代训练多回波双向卷积残差网络直至多回波双向卷积残差网络达到收敛；

步骤4、在水脂分离测试阶段，利用步骤3中训练好的多回波双向卷积残差网络对输入MRI图像进行分离得到对应的纯水信号图像和纯脂肪信号图像。

2.根据权利要求1所述的一种基于深度学习的多回波水脂分离方法，其特征在于：所述步骤1包括以下步骤：

步骤1.1、对MRI图像进行裁剪，将裁剪后的MRI图像作为水脂分离MRI图像数据集中的输入图像；

步骤1.2、采用水脂分离方法对步骤1.1得到的输入图像进行水脂分离，获得MRI图像对应的纯水信号图像和纯脂肪信号图像，并将MRI图像对应的纯水信号图像和纯脂肪信号图像分别作为数据集中的参考水图像和参考脂肪图像；

步骤1.3、将获得的输入图像和对应的参考水图像和参考脂肪图像组成水脂分离MRI图像数据集中的样本对。

3.根据权利要求1所述的一种基于深度学习的多回波水脂分离方法，其特征在于：所述步骤2包括以下步骤：

步骤2.1、使用包含若干个级联的多回波双向卷积单元的多回波双向卷积网络学习多回波的输入图像中相邻回波图像之间的相似性和差异性，提取多回波特征，并将多回波特征输入到残差网络；

步骤2.2、利用包括若干个级联的残差模块的残差网络对多回波双向卷积网络提取得到的多回波特征进行处理获得各个残差模块对应的优化分离特征；

步骤2.3、通过多层特征融合对步骤2.2中每个残差模块对应的优化分离特征融合，得到多层级深度融合特征；再将多层级深度融合特征经过若干个串联的卷积层，得到最终的纯水信号图像和纯脂肪信号图像。

4.根据权利要求3所述的一种基于深度学习的多回波水脂分离方法，其特征在于：所述步骤2.1包括以下步骤：

步骤2.1.1、第j个多回波双向卷积单元中的第t个回波图像同时在正向和反向分别进行输入卷积计算、回波卷积计算和迭代卷积计算获得正向多回波特征和反向多回波特征，并且将正向多回波特征和反向多回波特征的和作为第j个多回波双向卷积单元中的第t个回波图像的最终特征信息

步骤2.1.2、将第t个回波图像的最终特征信息

与输入图像中第t个回波图像

先进行通道级联得到第j个多回波双向卷积单元中的第t个回波特征信息，再将通道级联后的各个回波特征信息进行合并得到第j个多回波双向卷积单元的多回波特征F^j，将第j个多回波双向卷积单元的多回波特征F^j输入下一个多回波双向卷积单元，其中i为回波图像对应的输入图像序号。

5.根据权利要求3所述的一种基于深度学习的多回波水脂分离方法，其特征在于：所述步骤2.2包括以下步骤：

步骤2.2.1、第b个残差模块通过两个串联的卷积层对输入特征F_b-1进行水脂分离，得到分离特征Q_b-1，第一个残差模块的输入特征F₀为多回波双向卷积网络的最后一个多回波双向卷积单元输出的多回波特征；

步骤2.2.2、以残差形式将分离特征Q_b-1与输入特征F_b-1相加，得到第b个残差模块的优化分离特征F_b，将第b个残差模块的优化分离特征F_b作为下一个残差模块的输入特征。

Images