CN106373167A - 一种基于深度神经网络的压缩传感核磁共振成像方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的压缩传感核磁共振成像方法，该方法可从核磁共振成像设备所采集到的k‑空间低采样数据重建出高质量的核磁共振图像。该方法主要包括交替方向乘子法深度神经网络的构造、网络参数训练过程、应用于压缩传感核磁共振成像三大步骤。采用多对低采样率下的采样数据和相应全采样数据重建的核磁共振图像为训练数据集，训练交替方向乘子法神经网络的模型参数，使该深度神经网络以低采样率下的采样数据为输入时的输出图像尽可能逼近全采样数据重建的图像；在应用中，给定低采样率下的k‑空间采样数据，将其输入到训练好的交替方向乘子法深度神经网络，该网络的输出即为重建的核磁共振图像。

Description

一种基于深度神经网络的压缩传感核磁共振成像方法

技术领域：

本发明属于医学核磁共振成像领域，具体涉及一种基于深度神经网络的压缩传感核磁共振成像方法，用于实现从核磁共振设备采集到的k-空间采样数据重建出高质量的核磁共振图像。

背景技术：

核磁共振成像技术是一种无损伤的成像技术，可以为医疗诊断提供功能和解刨辅助诊断信息。成像速度慢是核磁共振成像技术存在的一个重要问题。压缩感知核磁共振技术是一种快速磁共振成像技术，该技术通过在k-空间中对样本数据进行采样，采集少量样本而不是所有样本，然后基于少量采样样本重建出清晰的核磁共振图像，由于成像设备只采样少量样本，因此可加速核磁共振成像速度。

下面将简要介绍现有的压缩感知核磁共振技术。

压缩感知核磁共振成像方法往往通过优化如下压缩感知模型进行图像重建：

$\begin{array}{ccc}m_{x,z}in\left\{\frac{1}{2}\right||S\mathrm{\Ψ}x-y|{|}_2^2+\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{\λ}}_{l}g\left(z_l\right)\}& s.t.& z_l=D_{l}x,\∀l\end{array}$

其中Ψ是傅里叶变换，S是采样算子，x是核磁共振图像，y是傅里叶域内的采样数据，g(.)是正则化约束项。核磁共振图像x可以通过极小化压缩感知模型进行求解。该问题在数学上是个反问题，往往需要设计好的正则化约束来实现反问题的优化求解。经典方法往往采用图像变换域内的稀疏性正则化约束,例如梯度场内的全变差约束[1,2,3,4],小波域内的稀疏约束[5,6]。字典学习方法采用图像块字典的稀疏线性组合约束图像重建模型[7,8]。非局部方法[9,10]则采用相似图像块的协同重建提高图像重建精度。基于变换域内稀疏约束的压缩传感成像方法往往成像速度快，但是精度不如更为复杂的字典学习方法和非局部方法，同时字典学习方法和非局部方法的重建速度相对较慢。

压缩传感核磁共振成像模型的优化往往采用交替方向乘子迭代算法[3,11,12]，主要思想是构造增广拉格朗日函数，然后将变量分解为多组，针对多组变量进行交替优化，而每个子优化问题往往有显式解，因为优化算法运行速度快。尽管上述方法在核磁共振压缩传感成像中具有良好的表现，但压缩传感重建模型的构造主要通过人的经验确定，其中的变换域、稀疏性约束、正则化系数等均由人为设定，因此按照该传统方法的思路，很难选择最优的压缩传感成像模型实现更高精度的图像重建。

参考文献：

[1]Michael Lustig,David Donoho,and John M Pauly.Sparse mri:Theapplication of compressed sensing forrapidmr imaging.Magnetic Resonance inMedicine,58(6):1182–1195,2007.

[2]Kai Tobias Block,Martin Uecker,and Jens Frahm.Undersampled radialmri with multiple coils:Iterativeimage reconstruction using a total variationconstraint.Magnetic Resonance in Medicine,57(6):1086–1098,2007.

[3]Junfeng Yang,Yin Zhang,and Wotao Yin.A fast alternating directionmethod for tvl1-l2 signal reconstructionfrom partial fourier data.IEEEJournal of Selected Topics in Signal Processing,4(2):288–297,2010.

[4]Florian Knoll,KristianBredies,Thomas Pock,and RudolfStollberger.Second order total generalizedvariation(tgv)for mri.MagneticResonance in Medicine,65(2):480–491,2011.

[5]Chen Chen and Junzhou Huang.Compressive sensing mri with wavelettree sparsity.In Advances inneural information processing systems,pages 1115–1123,2012.

[6]XiaoboQu,Di Guo,BendeNing,and et al.Undersampledmri reconstructionwith patch-based directionalwavelets.Magnetic resonance imaging,30(7):964–977,2012.

[7]SaiprasadRavishankar and YoramBresler.Mrimage reconstruction fromhighly undersampled k-spacedata by dictionary learning.IEEE Transactions onMedical Imaging,30(5):1028–1041,2011.

[8]Zhifang Zhan,Jian-FengCai,Di Guo,Yunsong Liu,Zhong Chen,and XiaoboQu.Fast multi-classdictionaries learning with geometrical directions in mrireconstruction.IEEE Transactions on BiomedicalEngineering,DOI:10.1109/TBME.2015.2503756,2016.

[9]Sheng Fang,Kui Ying,Li Zhao,and Jianping Cheng.Coherenceregularization for sense reconstructionwith a nonlocal operator(cornol).Magnetic Resonance in Medicine,64(5):1413–1425,2010.

[10]XiaoboQu,YingkunHou,Fan Lam,Di Guo,JianhuiZhong,and ZhongChen.Magnetic resonance imagereconstruction from undersampled measurementsusing a patch-based nonlocal operator.Medical ImageAnalysis,18(6):843–856,2014.

[11]Stephen Boyd,Neal Parikh,Eric Chu,BorjaPeleato,and JonathanEckstein.Distributed optimization andstatistical learning via the alternatingdirection method of multipliers.Foundation and Trends in MachineLearning,3(1):1–122,2011.

[12]HuahuaWang,Arindam Banerjee,and Zhi-QuanLuo.Parallel directionmethod of multipliers.In Advancesin Neural Information Processing Systems,pages 181–189,2014.

发明内容：

本发明的目的在于针对经典压缩感知重建方法的缺陷和不足，提供一种基于深度神经网络的压缩传感核磁共振成像方法。该发明的目的是从核磁共振成像设备所采集的k-空间采样数据重建出高质量的核磁共振图像。因为所采集的k-空间采样数据量远少于全采样方式的采样数据量，因此可以加速核磁共振成像设备的成像速度，同时需要达到很高的核磁共振成像精度。

为达到上述目的，本发明采用如下的技术方案来实现：

一种基于深度神经网络的压缩传感核磁共振成像方法，包括如下步骤：

1)构造深度神经网络：将优化压缩传感能量模型的交替方向乘子迭代算法的计算过程抽象为深度神经网络，即交替方向乘子法深度神经网络；

2)训练数据集构造：为训练交替方向乘子法深度神经网络，构造训练数据集，训练数据集由多个数据对构成，每个数据对由傅里叶变换域，即k-空间采样数据和相应的全采样数据重建的核磁共振图像组成，全采样数据重建的核磁共振图像是网络训练的输出目标；

3)交替方向乘子法深度神经网络参数训练过程：基于上述训练数据集，用反向传播算法学习深度神经网络模型最优参数θ^*，使得深度神经网络以低采样数据为输入时的网络输出逼近相应全采样数据重建的核磁共振图像；

4)应用训练好的交替方向乘子法深度神经网络进行核磁共振图像重建过程：输入k-空间的采样数据，其网络输出即为重建的核磁共振图像。

本发明进一步的改进在于：所述步骤1)中的交替方向乘子法深度神经网络由重构层、卷积层、非线性变换层及乘子更新层共四种类型层构成，交替方向乘子迭代算法的迭代过程确定了一个由上述四种类型层组成的深度神经网络称为交替方向乘子法深度神经网络。

本发明进一步的改进在于：所述步骤3)网络输出的目标函数R(θ)定义为：

$R\left(\mathrm{\θ}\right)=\frac{1}{\left|\mathrm{\Γ}\right|}\underset{(y,x^{gt})\mathrm{\Γ}}{\Σ}\frac{\left|\right|\hat{x}(y,\mathrm{\θ})-x^{gt}|{|}_2}{\left|\right|x^{gt}|{|}_2}$

其中，Γ为训练数据集，|Γ|表示训练数据集中元素个数，y为核磁共振成像设备采集的k-空间采样数据，x^gt为相应全采样数据重建的核磁共振图像，为网络输出图像，θ为深度神经网络模型参数。

本发明进一步的改进在于：所述步骤3)中采用反向传播算法计算网络输出的目标函数相对于网络层参数的导数，然后基于训练数据集采用随机梯度下降算法优化网络层的参数，直到网络参数收敛，获得深度神经网络模型最优参数θ^*。

本发明进一步的改进在于：所述步骤4)的具体操作过程如下：

在进行核磁共振成像时，输入核磁共振设备采集的k-空间采样数据x，将其送入训练好的交替方向乘子法深度神经网络，网络输出的图像即为重建的核磁共振图像。

本发明的有益效果是：

本发明一种基于深度学习的核磁共振压缩传感成像方法，该方法将经典压缩传感模型的优化算法，即交替方向乘子法的迭代过程建模为一个深度神经网络，则压缩传感中的模型参数转化为网络参数；进一步通过大量训练数据训练交替方向乘子法深度神经网络的参数，获得实现高精度核磁共振图像重建的最优模型参数。最后，应用训练好的交替方向乘子法深度网络，可从观测到的k-空间采样数据中重建出高质量的核磁共振图像。

本发明可以从核磁共振成像设备所采集到的k-空间采样数据重建出高质量的核磁共振图像。相对于现有的基于变换域内正则化的核磁共振图像重建方法(例如全变差约束、小波域内稀疏性正则化约束方法等)，所提出方法具有相近的运算速度，但重建的核磁共振图像精度显著地更高；相对于字典学习和非局部方法等高精度重建方法，所提出方法具有更高的重建精度和更快的运算速度。

此外，本发明主要可用于支持核磁共振成像设备中的快速成像功能，在核磁共振设备的研发与生产中具有重要的应用价值。

附图说明：

图1是本发明的实施流程图。

图2是交替方向乘子法深度神经网络结构图。

图3是核磁共振图像重建实例图，其中，图3(a)为k-空间采样数据(20％采样率)，图3(b)为交替方向乘子法深度网络重建图像。

具体实施方式：

为使本发明的目的、技术方案及优点更加清新，下结合附图及具体实例，对本发明做进一步的详细说明。这些实例仅仅说明性的，而并非对本发明的限制。

如图1所示，本发明一种基于深度神经网络的压缩传感核磁共振成像方法，包括如下步骤：

一.交替方向乘子法深度神经网络构造:

压缩传感核磁共振成像问题的重建图像一般通过求解如下优化问题获得：

$\begin{array}{ccc}{\min }_{x,z}\left\{\frac{1}{2}\right||Ax-y|{|}_2^2+{\mathrm{\Σ}}_{l=1}^L{\mathrm{\λ}}_{l}g\left(z_l\right)\}& s.t.& z_l=D_{l}x,\∀l=1,2,\mathrm{...},L\end{array}---\left(1\right)$

其中x的解即为重建的核磁共振图像，y为观测到的k-空间采样数据，算子A＝SF为采样算子S和傅里叶变换算子F的乘积，D_l表示第l个滤波器对应的滤波矩阵，z_l为辅助变量。上述模型往往可以通过如下交替方向乘子法进行迭代优化，具体步骤为：

$\left\{\begin{array}{c}{x}^{\left(n\right)}=F^T{\left(P^{T}P+{\mathrm{\Σ}}_{l=1}^L{\mathrm{\ρ}}_l{\mathrm{FD}}_l^T{D}_l{F}^T\right)}^{-1}\[P^{T}y+{\mathrm{\Σ}}_{l=1}^L{\mathrm{\ρ}}_l{\mathrm{FD}}_l^T\left(z_l^{\left(n-1\right)}+{\mathrm{\β}}_l^{\left(n-1\right)}\right)\]\\ {z_l}^{\left(n\right)}=S\left(D_l{x}^{\left(n\right)}+{\mathrm{\β}}_l^{\left(n-1\right)};\frac{{\mathrm{\λ}}_l}{{\mathrm{\ρ}}_l}\right),l=1,\mathrm{...},L\\ {\mathrm{\β}}_l^{\left(n\right)}={\mathrm{\β}}_l^{\left(n-1\right)}+{\mathrm{\η}}_l\left(D_l{x}^{\left(n\right)}-{z_l}^{\left(n\right)}\right)\end{array}\right.---\left(2\right)$

我们将上述交替方向乘子法迭代格式中的计算流程，抽象为一个新的神经深度网络(如图2所示)，该结构由很多操作单元组合组成，每个操作单元包含四个网络层：重构层、卷积层、非线性变换层及乘子更新层。针对第n个操作单元，具体介绍如下。

重构层(X⁽ⁿ⁾)：这个网络层来源于公式(2)中的第一行运算，经过这层操作，可以重构出一幅核磁共振图像。给定输入和则这层的输出为：

$\begin{array}{c}{x}^{\left(n\right)}=F^T{\left(P^{T}P+{\mathrm{\Σ}}_{l=1}^L{{\mathrm{\ρ}}_l}^{\left(n\right)}{\mathrm{FH}}_l^{\left(n\right)T}{H_l}^{\left(n\right)}{F}^T\right)}^{-1}\[P^{T}y\\ +{\mathrm{\Σ}}_{l=1}^L{{\mathrm{\ρ}}_l}^{\left(n\right)}{\mathrm{FH}}_l^{\left(n\right)T}\left(z_l^{\left(n-1\right)}+{\mathrm{\β}}_l^{\left(n-1\right)}\right)\]\end{array}$

其中，H_l ⁽ⁿ⁾表示第l个线性滤波变换，ρ_l ⁽ⁿ⁾表示第l个惩罚系数。

卷积层(C⁽ⁿ⁾)：这个网络层执行的是卷积操作。给定图像x⁽ⁿ⁾，则这层的输出是：

$c_l^{\left(n\right)}=D_l^{\left(n\right)}{x}^{\left(n\right)}$

其中，D_l ⁽ⁿ⁾表示第l个可学习的线性滤波变换，为了拓展网络的性能，不限制每层的参数共享。

非线性变换层(Z⁽ⁿ⁾)：这个网络层来源于公式(2)中的第二行非线性收缩函数操作。由于一个分段线性函数可以逼近任意函数，我们通过分段线性函数学习一个更一般化的非线性变换形式。给定输入和则这层的输出为：

${z_l}^{\left(n\right)}=S_{PLE}(c_l^{\left(n\right)}+{\mathrm{\β}}_l^{(n-1)};{\{p_i,q_{l.i}^{\left(n\right)}\}}_{i=1}^{N_c})$

其中S_PLE(·)是由控制点确定的分段线性函数,为事先确定的位置点，是在这些位置点的第l个滤波变换的函数值。

乘子更新层(M⁽ⁿ⁾)：这个网络层来源于公式(2)中的第三行乘子更新操作。给定输入和z_l ⁽ⁿ⁾，则这层的输出为：

${\mathrm{\β}}_l^{\left(n\right)}={\mathrm{\β}}_l^{(n-1)}+{{\mathrm{\η}}_l}^{\left(n\right)}(c_l^{\left(n\right)}-{z_l}^{\left(n\right)})$

其中，η_l ⁽ⁿ⁾表示第l个可学习的参数。

综上所述，交替方向乘子法深度网络需要学习的参数有：重构层的H_l ⁽ⁿ⁾和ρ_l ⁽ⁿ⁾、卷积层的D_l ⁽ⁿ⁾、非线性变换层的以及乘子更新层的η_l ⁽ⁿ⁾，其中l∈{1,2,…,L}和n∈{1,2,…,N_s},N_s为操作单元总数。

二.训练数据集构造

为确定交替方向乘子法深度神经网络的最优参数，我们针对压缩传感核磁共振成像问题构造训练数据集合。该训练数据集合由多对数据构成，每对数据包括k-空间采样数据和相应的全采样数据重建的核磁共振图像。在实际构造中，我们先用核磁共振成像设备在全采样设置下的数据重构出全采样数据对应的核磁共振图像x^gt，然后对全采样数据进行采样以获得相应k-空间采样数据y。把k-空间全采样数据重建图像x^gt作为标准重构图像，将其k-空间采样数据y作为网络输入。标准重构图像与k-空间采样数据构成了一对训练数据(x^gt,y),很多对这样的训练构成了网络训练集合Γ。

三.交替方向乘子法深度神经网络参数训练

以Γ为训练数据集，采用规范化L₂范数误差(nLNE)作为网络输出的损失函数：

$R\left(\mathrm{\θ}\right)=\frac{1}{\left|\mathrm{\Γ}\right|}\underset{(y,x^{gt})\mathrm{\Γ}}{\Σ}\frac{\left|\right|\hat{x}(y,\mathrm{\θ})-x^{gt}|{|}_2}{\left|\right|x^{gt}|{|}_2}$

其中，为交替方向乘子法深度网络输出，θ为网络参数。通过反向传播算法计算损失函数相对于网络参数的梯度，基于所计算的关于网络参数的梯度，采用随机梯度下降算法极小化网络输出损失函数来确定网络最优参数。

四.应用训练好的交替方向乘子法深度神经网络进行核磁共振图像重建

通过步骤三的训练过程，我们可以确定最优的交替方向乘子法深度神经网络参数，基于训练好的模型，针对新的k-空间采样数据，将其作为网络输入，网络的输出即为重构图像。因为步骤三的网络参数训练过程使得该网络以k-空间采样数据为输入时的网络输出图像与k-空间全采样数据重构图像尽可能接近，因此训练好的网络可以在数据欠采样情况下仍然能获得高质量的重建图像。

在数值实验中，我们随机挑选了150张脑部MRI全采样重构图像，按不同采样率对其在k-空间进行下采样，由此获得了150对脑部MRI重构数据对。其中选100对数据作为训练数据，50对用于测试。k-空间采样模式选择拟径向采样，采样率分别取20％、30％、40％、50％。为了客观评价不同方法，重构精度用在测试集上平均的规范化L₂范数误差(nLNE)和峰值信噪比(PSNR)来表示。所有实验在处理器为i7-4790k(CPU)的电脑上运行。

如表一所示，将我们的方法与传统的压缩传感核磁共振成像方法在不同采样率的情况进行对比，比较方法包括：Zero-filling、TV和RecPF，同时将我们的方法与最新的方法进行对比，包括：SIDWT、PBDW、PANO及FDLCP。我们设计的有15个操作单元的网络(ADMM-Net15)在不同采样率下都达到了最好的重构精度并且重构速度也很快。图3是重构图像的可视化结果，可以看出我们的方法很好的保持了边界并且没有明显的人工噪声。

表一：不同方法不同采样率在脑部数据的比较结果

Claims (5)

1.一种基于深度神经网络的压缩传感核磁共振成像方法，其特征在于，包括如下步骤：

1)构造深度神经网络：将优化压缩传感能量模型的交替方向乘子迭代算法的计算过程抽象为深度神经网络，即交替方向乘子法深度神经网络；

2)训练数据集构造：为训练交替方向乘子法深度神经网络，构造训练数据集，训练数据集由多个数据对构成，每个数据对由傅里叶变换域，即k-空间采样数据和相应的全采样数据重建的核磁共振图像组成，全采样数据重建的核磁共振图像是网络训练的输出目标；

3)交替方向乘子法深度神经网络参数训练过程：基于上述训练数据集，用反向传播算法学习深度神经网络模型最优参数θ^*，使得深度神经网络以低采样数据为输入时的网络输出逼近相应全采样数据重建的核磁共振图像；

4)应用训练好的交替方向乘子法深度神经网络进行核磁共振图像重建过程：输入k-空间的采样数据，其网络输出即为重建的核磁共振图像。

2.根据权利要求1所述的基于深度神经网络的压缩传感核磁共振成像方法，其特征在于：所述步骤1)中的交替方向乘子法深度神经网络由重构层、卷积层、非线性变换层及乘子更新层共四种类型层构成，交替方向乘子迭代算法的迭代过程确定了一个由上述四种类型层组成的深度神经网络称为交替方向乘子法深度神经网络。

3.根据权利要求1所述的基于深度神经网络的压缩传感核磁共振成像方法，其特征在于：所述步骤3)网络输出的目标函数R(θ)定义为：

$R\left(\mathrm{\θ}\right)=\frac{1}{\left|\mathrm{\Γ}\right|}\underset{(y,x^{gt})\mathrm{\Γ}}{\Σ}\frac{\left|\right|\hat{x}(y,\mathrm{\θ})-x^{gt}|{|}_2}{\left|\right|x^{gt}|{|}_2}$

其中，Γ为训练数据集，|Γ|表示训练数据集中元素个数，y为核磁共振成像设备采集的k-空间采样数据，x^gt为相应全采样数据重建的核磁共振图像，为网络输出图像，θ为深度神经网络模型参数。

4.根据权利要求3所述的基于深度神经网络的压缩传感核磁共振成像方法，其特征在于：所述步骤3)中采用反向传播算法计算网络输出的目标函数相对于网络层参数的导数，然后基于训练数据集采用随机梯度下降算法优化网络层的参数，直到网络参数收敛，获得深度神经网络模型最优参数θ^*。

5.根据权利要求1所述的基于深度神经网络的压缩传感核磁共振成像方法，其特征在于：所述步骤4)的具体操作过程如下：

在进行核磁共振成像时，输入核磁共振设备采集的k-空间采样数据x，将其送入训练好的交替方向乘子法深度神经网络，网络输出的图像即为重建的核磁共振图像。