CN108090871B - 一种基于卷积神经网络的多对比度磁共振图像重建方法 - Google Patents

Abstract

一种基于卷积神经网络的多对比度磁共振图像重建方法，涉及磁共振成像。首先获取多对比度磁共振的低分辨率和高分辨率图像，然后建立多对比度磁共振图像重建的卷积神经网络模型，再利用多对比度的磁共振图像作为训练集对卷积神经网络进行训练，最后将低分辨率的磁共振图像以及对应的参考图像输入到网络来重建高分辨率的磁共振图像。这种通过深度学习利用多对比度图像之间结构相似性的图像重建方法具有重建速度快和重建效果好的特点。

Description

一种基于卷积神经网络的多对比度磁共振图像重建方法

技术领域

本发明涉及磁共振成像，尤其是涉及利用多对比度图像来提高超分辨率重建的质量以及利用绝对值正则化和基于自适应矩估计的梯度优化算法来加快训练卷积神经网络收敛速度措施的一种基于卷积神经网络的多对比度磁共振图像重建方法。

背景技术

磁共振成像(Magnetic Resonance Imaging,MRI)是医学临床检测的一种影像技术，具有非侵入、无损伤等特点，是重要的临床医学诊断工具。

在临床诊断和后期图像分析中，通常需要高分辨率的MRI图像。但是，高分辨率的MRI成像时间较长，在心脏等需要快速成像的情况下，容易引起运动伪影进而降低成像质量。在不改变硬件条件的情况下，一种能够有效减少MRI扫描时间并得到高分辨率图像的方法就是超分辨率技术。Dong等人提出了一个用于自然图像的超分辨率重建问题的卷积神经网络模型(Chao Dong,Chen Change Loy,Kaiming He,Xiaoou Tang.Image super-resolution using deep convolutional networks[J].IEEE Transactions on PatternAnalysis and Machine Intelligence,38:295-307,2016)。该模型通过学习低分辨率和高分辨率图像的样本库，得到低分辨率和高分辨率图像之间的映射关系，然后进行图像超分辨率重建。Qu等人提出了一种学习多对比度图像的自相似结构的MRI图像重建方法(XiaoboQu,YingkunHou,Fan Lam,Di Guo,JianhuiZhong,Zhong Chen.Magnetic resonance imagereconstruction from undersampled measurements using a patch-based nonlocaloperator[J],Medical Image Analysis,18:843-856,2014.)。Lai等人利用MRI通常需要采集多对比度图像的特点，以其中一种对比度图像作为参考图像，得到了更好的重建图像质量(Zongying Lai,Xiaobo Qu,Hengfa Lu,Xi Peng,Di Guo,Yu Yang,Gang Guo,ZhongChen,Sparse MRI reconstruction using multi-contrast image guided graphrepresentation[J],Magnetic Resonance Imaging,43:95-104,2017.)。Zheng等人提出了一种利用局部权值相似性的多对比度磁共振脑图超分辨率方法，也是利用了参考图像提升了重建质量(Hong Zheng,Xiaobo Qu,Zheng-Jian Bai,Yunsong Liu,Di Guo,JiyangDong,Xi Peng,Zhong Chen,Multi-contrast brain magnetic resonance image super-resolution using the local weight similarity[J],BMC Medical Imaging,DOI:10.1186/s12880-016-0176-2,2017.)。Kingma D等人提出了一种自适应矩估计的梯度优化算法，该算法根据各参数梯度的一阶矩估计和二阶矩估计为参数提供更新值，具有计算效率高、收敛速度快等特点，适合数据和参数较多的函数优化问题(Kingma D,Ba J.Adam:Amethod for stochastic optimization[J].arXiv:1412.6980,2014.)。

发明内容

本发明的目的在于提供利用多对比度MRI图像训练的卷积神经网络，具有网络收敛快速，重建图像质量高的一种基于卷积神经网络的多对比度磁共振图像重建方法。

本发明包括以下步骤：

1)建立多对比度磁共振图像的训练集；

在步骤1)中，所述建立多对比度磁共振图像的训练集的具体方法可为：从磁共振成像仪器上获取高分辨率的多种对比度图像，包括T2加权图像和T1加权图像，选择T2加权图像作为训练集的理想输出X^T,H，并用核函数C对T2加权图像进行卷积降低图像分辨率，得到训练集中的低分辨率输入图像X^T,L，训练集的低分辨图像定义为：

其中，H表示高分辨率，L表示低分辨率，

表示卷积运算，C为卷积核，X^T,H为高分辨率T2加权图像，X^T,L为低分辨率T2加权图像，将T1加权图像作为训练集中的高分辨率参考图像X^R,H。

2)建立多对比度磁共振图像重建模型；

在步骤2)中，所述建立多对比度磁共振图像重建模型的具体方法可为：多对比度磁共振图的重建模型是卷积神经网络从输入端到输出端的映射函数

该映射函数具有参数Θ＝{W₁,W₂,...,W_L；B₁,B₂,...,B_L}，其中W_l表示第l层的权值矩阵，B_l表示第l层的偏置，L是网络模型的总层数，给定低分辨率图像X_n ^T,L和它对应的参考图像

作为网络输入，将X_n ^T,L对应的高分辨率图像

作为网络输出，损失函数定义为：

其中，n表示第n张图像，N是训练集中样本的数量，||·||²表示矩阵范数的平方。

3)训练多对比度磁共振图像重建模型；

在步骤3)中，所述训练多对比度磁共振图像重建模型的具体方法可为：模型的训练就是通过最小化损失函数E(Θ)来估计映射函数F中参数Θ的最优取值

损失函数的最小化由梯度下降算法和标准的反向传播算法实现，权值矩阵更新的公式为：

偏置更新的公式为：

这里，l和i分别是卷积层的索引和迭代次数，η是学习率，

和

分别是第i次迭代时损失函数对权值矩阵和偏置的偏导数。经过模型中参数多次的迭代更新，损失函数达到最小，此时模型中的参数就是映射函数F中参数Θ的最优取值

4)对目标磁共振图像进行重建；

在步骤4)中，所述对目标磁共振图像进行重建的具体方法可为：将训练得到的模型最优取值

作为F中的参数Θ，给模型输入低分辨率的T2加权图像Y^T,L和作为参考图像的高分辨率T1加权图像Y^R,H，经过模型的正向传播后，重建出高分辨率的T2加权图像Y^T,H，用公式表示为：

5)在步骤3)的基础上使用自适应矩估计的梯度优化算法，提高模型训练的收敛速度，引入梯度的一阶矩m和二阶矩v以及对应的估计值

和

以此为依据来调整每次参数的更新，权值矩阵的更新公式(3)被替换为：

其中梯度的一阶矩更新公式为：

梯度的二阶矩更新公式为：

其中，

是损失函数对权值矩阵的偏导数

β₁、β₂和ε为预设的超参数。

6)在步骤3)中约束卷积核是稀疏的，降低网络中卷积计算的复杂度，对卷积核施加绝对值正则化，并设置正则化权重λ，公式(2)的损失函数转化为：

其中，W_l是网络中第l层的权值矩阵。

本发明提供可以从低分辨率磁共振图像重建出高分辨率磁共振图像的方法，首先获取多对比度磁共振的低分辨率和高分辨率图像，然后建立多对比度磁共振图像重建的卷积神经网络模型，再利用多对比度的磁共振图像作为训练集对卷积神经网络进行训练，最后将低分辨率的磁共振图像以及对应的参考图像输入到网络来重建高分辨率的磁共振图像。这种通过深度学习利用多对比度图像之间结构相似性的图像重建方法具有重建速度快和重建效果好的特点。

附图说明

图1是多对比度MRI图像重建模型的训练过程。

图2是多对比度MRI图像的重建过程。

图3是采用不同梯度算法的网络收敛曲线的比较图。

图4是不同λ取值情况下第一个卷积层的64个卷积核的比较。

图5是无参考图像信息和有参考图像信息的MRI脑图超分辨率重建结果。

具体实施方式

本发明实施例是一个利用卷积神经网络的多对比度MRI脑图的多分辨率重建具体过程，是对本发明所提出方法的详细描述。

具体实施过程如下：

第一步：获得训练的多对比度数据集

本实施例采用的数据集是来源于BrainWeb的MRI数据库(http://brainweb.bic.mni.mcgill.ca/brainweb/)中的多对比度图像，使用图像像素大小为1mm×1mm，切片厚度1mm、无噪声且无不均匀场强仿真得到的图像。高分辨率T1加权图像和高分辨率T2加权图像各119张，每张图像的大小均为230×194。高分辨率T1加权图像X^T1,H作为参考图像，对高分辨率的T2加权图像X^T2,H使用窗口大小为3×3，方差为1的高斯核进行模糊处理：

其中，G是窗口大小为3×3，方差为1的高斯核。

再对X^T2,L进行尺度因子为2的下采样操作，然后用双三次插值回原大小作为低分辨率的T2加权图像X^T2,L。最后以14为步长抽取出高分辨率T1加权图像的子图和低分辨率T2加权图像的子图作为训练集的输入，得到21420张子图，每个子图的大小为32×32。

高分辨率T2加权图像X^T2,H以同样的步长抽取子图，每个子图大小为14×14，作为训练集的理想输出。

第二步：构建基于卷积神经网络的多对比度磁共振图像重建模型

重建模型由三个卷积层组成，映射函数F的参数为Θ＝{W₁,W₂,W₃；B₁,B₂,B₃}。第一个卷积层有64×2(64为输出通道数，2为输入通道数)个9×9大小的卷积核，第二层有32×64个1×1大小的卷积核，第三层有1×32个5×5大小的卷积核。

将高分辨率T1加权图像的子图和低分辨率T2加权图像的子图作为模型的输入，模型的输出与对应的高分辨率T2加权图像的均方误差作为模型的损失函数E(Θ)：

其中，根据第一步中获得训练集一共有21376个样本，所以N＝21376。

第三步：训练基于卷积神经网络的多对比度磁共振图像重建模型

模型的训练过程就是最小化损失函数E(Θ)的过程，从而估计出映射函数F中参数Θ的最优取值

损失的最小化由梯度下降算法和标准的反向传播算法实现。权值矩阵更新的公式为：

偏置更新的公式为：

其中，3个卷积层对应的学习率分别为0.1,0.1,0.01。经过多次迭代后，网络模型达到收敛，进而得到映射函数F中参数的最优取值

第四步：对高分辨率的T2加权图像进行重建

将训练得到的模型最优取值

作为F中的参数Θ。给模型输入低分辨率的T2加权图像Y^T,L和作为参考图像的高分辨率T1加权图像Y^R,H，经过模型的正向传播后，重建出高分辨率的T2加权图像Y^T,H。用公式表示为：

第五步：采用基于自适应矩估计的梯度优化算法

采用自适应矩估计的梯度优化算法来更新每次迭代中的权值矩阵。引入梯度的一阶矩m和二阶矩v以及对应的估计值

和

以此为依据来调整每次参数的更新。公式(3)中的权值矩阵更新被替换为：

其中梯度的一阶矩更新公式为：

梯度的二阶矩更新公式为：

这里使用β₁＝0.9，β₂＝0.999，ε＝10^-8。

多对比度MRI图像重建模型的训练过程参见图1，其中f₁是第一个卷积层卷积核的大小，f₂是第二个卷积层卷积核的大小，f₃是第三个卷积层卷积核的大小，在具体实施方式中取f₁＝9，f₂＝1，f₃＝5。

多对比度MRI图像的重建过程参见图2。

图3是采用自适应矩估计的梯度优化算法后，网络收敛曲线与批量梯度下降算法的网络收敛曲线的比较。可以看出采用自适应矩估计的梯度优化算法后网络收敛的速度快于原来的方法，且平均峰值信噪比也有所提高。图3是采用不同梯度算法的网络收敛曲线的比较图。其中，纵轴表示的平均峰值信噪比的定义为：

其中，PSNR_m是测试集中第m张图片的峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)，单位是dB，M是测试集中的样本数目。这里峰值信噪比的定义为：

其中，peakval是图像像素灰度值的最大值，

是重建出来的高分辨率T2加权图像，P和Q分别是该图像的长和宽,p和q是图像中像素点的坐标。

第六步：对卷积核施加绝对值正则化约束

对卷积神经网络中的卷积核施加绝对值正则化进行约束，引入正则化权重系数λ，获得稀疏的卷积核。公式(11)的损失函数转化为：

采用不同的λ取值情况下第一个卷积层的64个卷积核的比较见图4，(a)～(f)中的正则化系数分别取值0，1×10^-6，2×10^-6，3×10^-6，4×10^-6，5×10^-6，可以看出当采取绝对值正则化后，无影响的卷积核数目比原来多，减少了卷积运算的复杂度。

无参考图像信息和有参考图像信息的MRI脑图超分辨率重建结果参见图5，(a)是高分辨率的T2加权图像，(b)是无参考图像时的重建图像，(c)是有参考图像时的重建图像，(d)是作为参考图像的高分辨率T1加权图像，(e)是无参考图像时的重建误差图，(f)是有参考图像的重建误差图。

Claims (5)

1.一种基于卷积神经网络的多对比度磁共振图像重建方法，其特征在于包括以下步骤：

1)建立多对比度磁共振图像的训练集；

2)建立多对比度磁共振图像重建模型；

3)训练多对比度磁共振图像重建模型；

4)对目标磁共振图像进行重建；

5)在步骤3)的基础上使用自适应矩估计的梯度优化算法，提高模型训练的收敛速度，引入梯度的一阶矩m和二阶矩v以及对应的估计值

和

以此为依据来调整每次参数的更新，权值矩阵的更新公式被替换为：

其中，梯度的一阶矩更新公式为：

梯度的二阶矩更新公式为：

其中，

是损失函数对权值矩阵的偏导数

β₁、β₂和ε为预设的超参数；

6)在步骤3)中约束卷积核是稀疏的，降低网络中卷积计算的复杂度，对卷积核施加绝对值正则化，并设置正则化权重λ，损失函数转化为：

其中，W_l是网络中第l层的权值矩阵。

2.如权利要求1所述一种基于卷积神经网络的多对比度磁共振图像重建方法，其特征在于在步骤1)中，所述建立多对比度磁共振图像的训练集的具体方法为：从磁共振成像仪器上获取高分辨率的多种对比度图像，包括T2加权图像和T1加权图像，选择T2加权图像作为训练集的理想输出X^T,H，并用核函数C对T2加权图像进行卷积降低图像分辨率，得到训练集中的低分辨率输入图像X^T,L，训练集的低分辨图像定义为：

其中，H表示高分辨率，L表示低分辨率，

表示卷积运算，C为卷积核，X^T,H为高分辨率T2加权图像，X^T,L为低分辨率T2加权图像，将T1加权图像作为训练集中的高分辨率参考图像X^{R ,H}。

3.如权利要求1所述一种基于卷积神经网络的多对比度磁共振图像重建方法，其特征在于在步骤2)中，所述建立多对比度磁共振图像重建模型的具体方法为：多对比度磁共振图的重建模型是卷积神经网络从输入端到输出端的映射函数

该映射函数具有参数Θ＝{W₁,W₂,...,W_L；B₁,B₂,...,B_L}，其中W_l表示第l层的权值矩阵，B_l表示第l层的偏置，L是网络模型的总层数，给定低分辨率图像X_n ^T,L和它对应的参考图像

作为网络输入，将X_n ^T,L对应的高分辨率图像

作为网络输出，损失函数定义为：

其中，n表示第n张图像，N是训练集中样本的数量，||·||²表示矩阵范数的平方。

4.如权利要求1所述一种基于卷积神经网络的多对比度磁共振图像重建方法，其特征在于在步骤3)中，所述训练多对比度磁共振图像重建模型的具体方法为：模型的训练就是通过最小化损失函数E(Θ)来估计映射函数F中参数Θ的最优取值

损失函数的最小化由梯度下降算法和标准的反向传播算法实现，权值矩阵更新的公式为：

偏置更新的公式为：

其中，l和i分别是卷积层的索引和迭代次数，η是学习率，

和

分别是第i次迭代时损失函数对权值矩阵和偏置的偏导数；经过模型中参数多次的迭代更新，损失函数达到最小，此时模型中的参数就是映射函数F中参数Θ的最优取值

5.如权利要求1所述一种基于卷积神经网络的多对比度磁共振图像重建方法，其特征在于在步骤4)中，所述对目标磁共振图像进行重建的具体方法为：将训练得到的模型最优取值

作为F中的参数Θ，给模型输入低分辨率的T2加权图像Y^T,L和作为参考图像的高分辨率T1加权图像Y^R,H，经过模型的正向传播后，重建出高分辨率的T2加权图像Y^T,H，用公式表示为：

Images