CN113379867A - 一种基于联合优化采样矩阵的核磁共振图像重建方法 - Google Patents

Abstract

一种基于联合优化采样矩阵来设计核磁共振图像重建方法，包括：构造训练数据集；训练数据集由多张全采样磁共振图像构成，每张图像由核磁共振设备采集的K空间全采样数据进行傅里叶逆变换得到；构造联合优化采样矩阵和重建算法的神经网络；联合优化采样矩阵和重建算法训练神经网络：基于训练数据集，给定损失函数，使用梯度下降算法更新联合优化采样矩阵和重建算法的神经网络中的参数，直至损失函数值稳定；应用所学到的采样矩阵和重建算法进行磁共振图像重建过程。本发明方法可以自适应学习最优的采样矩阵，并实现从核磁共振设备采集到的K空间亚采样数据中快速重建出高质量的核磁共振图像。

Description

一种基于联合优化采样矩阵的核磁共振图像重建方法

技术领域

本发明属于医学核磁共振成像领域，具体涉及一种基于联合优化采样矩阵的核磁共振图像重建方法。

背景技术

核磁共振成像是一种非入侵的、无游离辐射的医学成像技术，广泛运用于脊椎、脑部、头颈部和软组织病变的诊断中。为了克服核磁共振成像技术中成像速度慢的缺点，引入了压缩感知技术，该技术在K空间中对样本数据进行亚采样，然后基于采样数据重建出清晰的核磁共振图像，由于磁共振设备中进行亚采样而非全采样，因此可以大幅提升核磁共振成像速度。

在进行核磁共振图像重建的过程中，涉及到两个基本问题：(1)如何设计采样矩阵；(2) 如何设计核磁共振图像重建算法。下面将分别进行简要介绍。

现有的采样矩阵大多为人工设计，最常用的采样矩阵包括：带跳线的笛卡尔矩阵^[1]、伪射线矩阵^[2]、随机均匀矩阵^[3]和可变密度矩阵^[4]，其中带跳线的笛卡尔矩阵是一维采样矩阵，后三者为二维采样矩阵。这些流行的采样矩阵大多遵循可变密度概率密度函数，在低频区域的采样比高频区域更加密集，从而能够在有限的亚采样率下获取更加有用的采样数据，提升图像重建的精度。另一种常见的Poisson盘采样策略^[5]除了遵循密度函数外，还使用以最小距离分隔的采样位置，从而进一步利用并行MRI中的冗余性。然而，这些采样矩阵的设计是独立的、启发性的，因此缺乏对特定数据和重建算法的自适应能力，也限制了重建精度的提升。

现有的核磁共振图像重建算法主要分为两类。第一类算法是传统的基于模型的迭代优化算法，该算法对优化压缩感知能量模型中的先验项进行设计，并选择合适的最优化算法进行迭代求解。先验项的选择通常包括核磁共振图像在梯度域^[6]、小波变换域^[7]、组合变换域^[8]、自适应变换域^[9]等变换域之下的稀疏性约束，也有研究者使用非局部方法^[10]或字典学习方法^[11]来约束图像重建模型。确定先验项后，使用适当的最优化算法迭代优化目标函数，当迭代次数达到一定值时，迭代值将逐渐收敛至目标值，从而得到核磁共振图像重建结果。上述传统算法虽然具有理论支撑，能够在理论上保证重建算法的收敛性和收敛精度，但其计算复杂度较高，而且通过人工设计难以得到最优的先验项约束。第二类算法是数据驱动的深度学习算法，该算法首先通过全采样核磁共振数据来获得大量观测值与真值的数据对，从而获得训练所需要的数据集，其后，在该数据集上训练预先构建的端到端神经网络^[2,12,13]，直至损失函数收敛，从而使网络从数据中学到重建核磁共振图像的能力。数据驱动的深度学习算法极大地缩短了重建时间，而且不需要通过人的经验来设计目标函数的先验项，因此更加方便，图像的重建精度也更高。

上述工作都将采样矩阵的设计和重建算法的设计视为两个独立的问题，从而实现方法设计的简单性和泛化性。然而实际上，最优的采样矩阵依赖于特定的重建算法和解剖学部位。

发明内容

本发明的目的在于克服现有的分离设计采样矩阵和重建算法的缺陷和不足，提供一种基于联合优化采样矩阵的核磁共振图像重建方法。方法设计了一个联合优化采样矩阵和重建算法的神经网络来进行训练和重建，不仅重建速度快、重建质量高，而且能够自适应地根据不同的解剖学部位和不同的采样率学出最优的采样矩阵。

本发明的技术方案如下：

一种基于联合优化采样矩阵来设计核磁共振图像重建方法，包括以下步骤：S1：构造训练数据集；为了联合优化采样矩阵和核磁共振图像重建网络，构建训练数据集，训练数据集由多张全采样磁共振图像构成，每张图像由核磁共振设备采集的K空间全采样数据进行傅里叶逆变换得到；S2：构造联合优化采样矩阵和重建算法的神经网络：将优化压缩感知能量模型的迭代收缩阈值算法展开为重建网络，并加入用于优化采样矩阵的采样网络；S2：联合优化采样矩阵和重建算法训练神经网络：基于训练数据集，给定损失函数，使用梯度下降算法更新联合优化采样矩阵和重建算法的神经网络中的参数，直至损失函数值稳定；S4:应用所学到的采样矩阵和重建算法进行磁共振图像重建过程。

优选的，在上述基于联合优化采样矩阵来设计核磁共振图像重建方法中，在步骤S2中，采样网络由可学习的实值概率矩阵和伯努利采样操作组成，采样网络生成的采样矩阵输入到重建网络中，重建网络由优化压缩感知能量模型的迭代收缩阈值算法展开得到，并由梯度下降模块和去伪影模块交替堆叠而成。

优选的，在上述基于联合优化采样矩阵来设计核磁共振图像重建方法中，在步骤S3中，用反向传播算法计算损失函数相对于网络中各个参数的梯度，然后基于训练数据集采用梯度下降算法优化网络层的参数，直至损失函数数值稳定，最终获得神经网络的最优参数。

优选的，在上述基于联合优化采样矩阵来设计核磁共振图像重建方法中，在步骤S4中，将所学到的采样矩阵应用到磁共振设备中，从中获取采样矩阵下的K空间亚采样数据并进行傅里叶逆变换得到立即重建图像，将所学到的采样矩阵和立即重建图像送入训练好的重建网络，网络输出的图像即为重建的核磁共振图像。

根据本发明的技术方案，产生的有益效果是:

1.本发明可以提供定制化的采样矩阵，并从观测到的K空间亚采样数据中重建出高质量的核磁共振图像；

2.相对于传统的采样矩阵设计，本发明能够根据不同的解剖学部位和不同的采样率，自适应学出最优的采样矩阵，从而进一步提升重建精度；

3.相对于传统的基于模型的迭代优化算法，以及数据驱动的深度学习算法，本发明具备更高的重建精度，同时保持了实时的重建速度和良好的可解释性。

为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明如下：

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。

图1是本发明的基于联合优化采样矩阵的核磁共振图像重建方法的流程图。

图2是联合优化采样矩阵和重建算法的神经网络的结构图。

图3a是目标全采样真值图像。

图3b是笛卡尔矩阵的重建结果。

图3c是伪射线矩阵的重建结果。

图3d是随机均匀矩阵的重建结果。

图3e是可变密度矩阵的重建结果。

图3f是本发明所提出的联合优化采样矩阵和重建算法的神经网络在一维版本的重建结果。

图3g是本发明所提出的联合优化采样矩阵和重建算法的神经网络在二维版本的重建结果。

具体实施方式

为使本发明的目的、技术方法及优点更加清晰，下面结合附图及具体实例，对本发明做进一步的详细说明。这些实例仅仅是说明性的，而并非对本发明的限制。

用于自适应学习最优的采样矩阵，以及实现从核磁共振设备采集到的K空间亚采样数据中快速重建出高质量的核磁共振图像，本发明提供了一种基于联合优化采样矩阵来设计核磁共振图像重建方法。

图1是本发明的基于联合优化采样矩阵来设计核磁共振图像重建方法的实施流程图，如图1所示，本发明方法，包括如下步骤：

S1：构造训练数据集

为确定所提出的联合优化采样矩阵和重建算法的神经网络的最优参数，针对压缩感知核磁共振成像问题构造训练数据集。具体地，为了联合优化采样矩阵和核磁共振图像重建网络，构建训练数据集，该训练数据集由多张全采样磁共振图像构成，每张图像由核磁共振设备采集的K空间全采样数据进行傅里叶逆变换得到。在实际构造过程中，通过核磁共振成像设备在全采样设置下采集K空间全采样数据，并进行傅里叶逆变换，从而得到对应的核磁共振图像x^gt作为训练样本，很多这样的训练样本就构成了网络训练数据集集合Γ。

S2：构造联合优化采样矩阵和重建算法的神经网络：将优化压缩感知能量模型的迭代收缩阈值算法展开为重建网络，并加入用于优化采样矩阵的采样网络。构造的联合优化采样矩阵和重建算法的神经网络包括两个子网络：将优化压缩感知能量模型的迭代收缩阈值算法展开而得的重建网络，以及用于优化采样矩阵的采样网络。采样网络由可学习的实值概率矩阵和伯努利采样操作组成，采样网络生成的采样矩阵输入到重建网络中，重建网络由优化压缩感知能量模型的迭代收缩阈值算法展开得到，并由梯度下降模块和去伪影模块交替堆叠而成。

下面结合图2，依次介绍重建网络和采样网络的设计。如图2所示，显示了联合优化采样矩阵和重建算法的神经网络的结构，FT表示傅里叶变换，⊙表示元素级别的按位相乘操作，IFT表示傅里叶逆变换，卷积(3×3×c_i×c_o)表示大小为3×3×c_i的c_o个滤波器组成的卷积操作。

重建网络：压缩感知核磁共振成像问题的重建图像一般通过求解如下优化问题得到：

其中，x是核磁共振图像，y是K空间中的亚采样数据，F是傅里叶变换操作，M是采样过程中所使用的二值化采样矩阵，⊙是元素级别的按位相乘操作，g(x)是先验项约束，该项对核磁共振图像x的某些先验性质进行约束，用于去除x中的伪影，提升重建精度，α是先验项的权重。一个简单且常见的先验项设计为：

g(x)＝||x||₁ (2)

由此所获得的目标函数往往可以通过如下的迭代阈值收缩法进行迭代优化，具体步骤为：

其中，F^H代表傅里叶逆变换，M为采样网络所学到的二值化采样矩阵，x₀是对在M观测下的K空间亚采样数据y进行傅里叶逆变换所得到的直接重建图像，ρ为步长系数，prox_g，r(rⁱ)表示对rⁱ进行近端映射操作。本发明将上述迭代收缩阈值法的迭代计算流程，展开为一个深度神经网络作为重建网络。

具体地，重建网络的输入为前面的x₀，重建网络由N个操作单元组成，每个操作单元包含一个梯度下降模块和一个去伪影模块。针对第i个操作单元(Stage i)，具体介绍如下：

梯度下降模块来源于公式(3)中的第一行运算，经过这个模块，可以保证重建图像不会偏离观测数据内容，从而保持重建图像与观测数据内容的一致性，因此本模块也称为数据一致性模块。对于第i个梯度下降模块，给定输入x^i-1、x⁰和M，则该模块的输出为：

rⁱ＝x^i-1-ρⁱF^HM⊙Fx^i-1+ρⁱx₀ (4)

其中，x^i-1为第i-1个去伪影模块的输出，ρⁱ是可学习的步长系数，M为采样网络所学到的二值化采样矩阵，rⁱ为当前第i个梯度下降模块的输出。

去伪影模块来源于公式(3)中的第二行运算，经过这个模块，可以使重建图像更满足公式(1)所示目标问题中的先验项约束。对于第i个去伪影模块，给定输入ri，则该模块的输出为：

其中，Res称为残差模块，Conv表示卷积操作，ReLU表示使用线性整流函数进行激活。整个数据流的过程为，首先使用

将输入的rⁱ进行卷积得到多通道特征图，然后经过2 个残差模块

和

提取特征，接着将结果进行

卷积得到单通道特征图，最后与输入的rⁱ相加，即得到当前第i个去伪影模块的输出xⁱ。其中，每个残差模块

的数据流为：将输入的多通道特征图进行卷积、线性整流函数激活、卷积，将结果与输入相加。最后一个去伪影模块的输出x^N即为重建网络的最终重建结果。

由此，本发明所提出的重建网络需要学习的参数有：梯度下降模块中的步长系数ρⁱ，去伪影模块中的卷积操作，包括

其中， i∈{1，2，...，N}，N为操作单元的总个数。

采样网络：为了保证稳健性和随机性，本发明使用概率下采样方案。具体地，采样网络需要学习一个与二值采样矩阵M相同大小的实值概率矩阵P，其中的每个值P_i，j代表采样矩阵M中的相应位置M_i，j取1的概率。从P中进行伯努利分布采样即可得到M：

M_i，j＝Bina(P_i，j-U_i，j) (7)

其中，U_i，j服从[0，1]的均匀分布，Bina表示二值化函数。注意，为了使网络在训练过程中更稳定地控制采样率，在从P采样出M之前，即公式(7)之前，会将P进行缩放以使其均值为目标采样率。

在训练时，使用平凡的二值化函数Bina_v：

在测试时，为了对采样率进行完全准确地控制，使用贪婪的二值化函数Bina_g：

其中，Ω表示集合{P_i，j-U_i，j}，b(Ω，α)表示集合Ω中的第α×|Ω|大的元素，α是目标采样率，公式(9)精确地控制了所生成的采样矩阵M的采样率。由此，本发明所提出的采样网络需要学习的参数为P。

S3.联合优化采样矩阵和重建算法训练神经网络，其中训练过程为：基于上述训练数据集，给定损失函数，使用梯度下降算法更新联合优化采样矩阵和重建算法的神经网络中的参数，直至损失函数值稳定。在该步骤中，采用反向传播算法计算损失函数相对于网络中各个参数的梯度，然后基于训练数据集采用梯度下降算法优化网络层的参数，直至损失函数数值稳定，最终获得神经网络的最优参数。

在该步骤中，以Γ为训练数据集，采用均方误差作为网络的损失函数：

其中，|Γ|表示训练样本对的总数，H(x^gt，θ，P)表示联合优化采样矩阵和重建算法的神经网络的重建结果，θ为重建网络的参数，P为采样网络的参数。通过反向传播算法计算损失函数相对于网络中各个参数的梯度，然后基于训练数据集采用梯度下降算法优化网络层的参数，直至损失函数数值稳定，即可获得联合优化采样矩阵和重建算法的神经网络的最优参数。

而采样网络中的平凡的二值化函数即公式(8)不可微，为此，使用以下函数的梯度来进行近似：

其中，t和k是随着训练轮次变换的控制变量，其变化过程为：

其中T_min＝0.1，T_max＝10，N_e是训练的总轮次。

S4.应用所学到的采样矩阵和重建算法进行磁共振图像重建过程：将所学到的采样矩阵应用到磁共振设备中，从中获取该采样矩阵下的K空间亚采样数据并进行傅里叶逆变换得到立即重建图像，将所学到的采样矩阵和该立即重建图像送入训练好的重建网络，网络输出的图像即为重建的核磁共振图像。

通过步骤S3的训练过程，可以计算联合优化采样矩阵和重建算法的神经网络的最优参数，基于训练好的模型，在进行压缩感知核磁共振图像重建时，首先通过采样网络得到二值化采样矩阵，接着使用该二值化采样矩阵在核磁共振设备上采集该二值化采样矩阵下的K 空间亚采样数据，并进行傅里叶逆变换得到立即重建图像，将该立即重建图像和二值化采样矩阵送入训练好的重建网络中，网络输出的图像即为重建的核磁共振图像。由于步骤S3的网络训练过程使得该网络的输出能够与全采样数据重建图像尽可能接近，因此训练好的网络可以在数据亚采样情况下仍然获得高质量的重建图像。

在实验中，在大脑MRI数据集上进行训练和预测，该数据集包括800张训练图像和50 张测试图像。实验中将四种重建算法(传统算法PANO、传统算法BM3D-MRI、深度学习算法UNet、本发明所提出的重建网络)与六种采样策略(笛卡尔矩阵、伪射线矩阵、随机均匀矩阵、可变密度矩阵、本发明所提出的采样网络的一维版本、本发明所提出的采样网络的二维版本)进行结合，在5％和10％采样率下进行实验。为了客观评价不同方法的重建精度，使用峰值信噪比(PSNR)作为对比的指标。所有实验在NVIDIA Tesla V100的服务器上运行。实验中所使用的重建网络中N＝9。

表1：四种重建算法和六种采样策略的二十四种组合在5％和10％采样率下的重建精度比较结果(峰值信噪比)

如上表1所示，无论使用哪个重建算法，本发明所提出的采样网络都能比其他采样矩阵获得更高的重建精度，另外，本发明所使用的基于传统算法的深度展开重建网络也优于其它重建算法。总的来说，本发明所提出的联合优化采样矩阵和重建算法的神经网络在各个采样率下都达到了最高的重建精度。

图3a是目标全采样真值图像，图3b-g是上述实验中的各个采样策略在本发明所提出的重建网络上重建大脑磁共振重建图像的可视化对比结果(5％采样率下)，每个采样策略都展示了重建图像及其与目标图像的峰值信噪比(PSNR)。其中，图3b是笛卡尔矩阵的重建结果；图3c是伪射线矩阵的重建结果；图3d是随机均匀矩阵的重建结果；图3e是可变密度矩阵的重建结果；图3f是本发明所提出的采样网络在一维版本的重建结果；图3g是本发明所提出的采样网络在二维版本的重建结果。

如图3a-g所示，对比同是一维的笛卡尔矩阵和本发明所提出的采样网络(一维)，可以看到，前者的重建结果与原始图像差异很大，许多重要的细节信息被丢失，而后者的重建结果质量更高，纹理更清晰；对比同是二维的伪射线矩阵、随机均匀矩阵、可变密度矩阵和本发明所提出的采样网络(二维)，本发明也重建出了更细节、更准确的纹理信息。由此可见，相比目前几种采样策略，本发明所提出的联合优化采样矩阵和重建算法的神经网络能够更好地重建核磁共振图像中的细节信息，取得更高的重建精度。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

参考文献：

[1]Haldar J P,Hernando D,Liang Z P.Compressed-sensing MRI with randomencoding[J]. IEEE Transactions on Medical Imaging,2010,30(4):893-903.

[2]Sun J,Li H,Xu Z.Deep ADMM-Net for compressive sensing MRI[C]//Advances in Neural Information Processing Systems.2016:10-18.

[3]Gamper U,Boesiger P,Kozerke S.Compressed sensing in dynamic MRI[J].Magnetic Resonance in Medicine:An Official Journal of the InternationalSociety for Magnetic Resonance in Medicine,2008,59(2):365-373.

[4]Wang Z,Arce G R.Variable density compressed image sampling[J].IEEETransactions on Image Processing,2009,19(1):264-270.

[5]Levine E,Daniel B,Vasanawala S,et al.3D Cartesian MRI withcompressed sensing and variable view sharing using complementary poisson-discsampling[J].Magnetic Resonance in Medicine,2017,77(5):1774-1785.

[6]Block K T,Uecker M,Frahm J.Undersampled radial MRI with multiplecoils.Iterative image reconstruction using a total variation constraint[J].Magnetic Resonance in Medicine:An Official Journal of the InternationalSociety for Magnetic Resonance in Medicine,2007,57(6): 1086-1098.

[7]Qu X,Guo D,Ning B,et al.Undersampled MRI reconstruction withpatch-based directional wavelets[J].Magnetic Resonance Imaging,2012,30(7):964-977.

[8]Yang J,Zhang Y,Yin W,et al.A fast alternating direction method forTVL1-L2 signal reconstruction from partial fourier data[J].IEEE Journal ofSelected Topics in Signal Processing, 2010,4(2):288-297.

[9]Wang S,Liu J,Peng X,et al.Two-layer tight frame sparsifying modelfor compressed sensing magnetic resonance imaging.[J].BioMed ResearchInternational,2016.

[10]Liang D,Wang H,Chang Y,et al.Sensitivity encoding reconstructionwith nonlocal total variation rgularization[J].Magnetic Resonance inMedicine,2011,65(5):1384-1392.

[11]Ravishankar S,Bresler Y.MR image reconstruction from highlyundersampled k-space data by dictionary learning[J].IEEE Transactions onMedical Imaging,2011,30(5): 1028-1041.

[12]Hyun C M,Kim H P,Lee S M,et al.Deep learning for undersampled mrireconstruction[J].Physics in Medicine and Biology,2018,63(13).

[13]Zheng H,Fang F,Zhang G,et al.Cascaded dilated dense network withtwo-step data consistency for mri reconstruction[C].Neural InformationProcessing Systems,2019:1744-1754.

Claims (4)

1.一种基于联合优化采样矩阵来设计核磁共振图像重建方法，其特征在于，包括以下步骤：

S1：构造训练数据集；为了联合优化采样矩阵和核磁共振图像重建网络，构建训练数据集，所述训练数据集由多张全采样磁共振图像构成，每张图像由核磁共振设备采集的K空间全采样数据进行傅里叶逆变换得到；

S2：构造联合优化采样矩阵和重建算法的神经网络：将优化压缩感知能量模型的迭代收缩阈值算法展开为重建网络，并加入用于优化采样矩阵的采样网络；

S3.联合优化采样矩阵和重建算法训练神经网络：基于所述训练数据集，给定损失函数，使用梯度下降算法更新所述联合优化采样矩阵和重建算法的神经网络中的参数，直至损失函数值稳定；

S4.应用所学到的采样矩阵和重建算法进行磁共振图像重建过程。

2.根据权利要求1所述的基于联合优化采样矩阵来设计核磁共振图像重建方法，其特征在于，在所述步骤S2中，所述采样网络由可学习的实值概率矩阵和伯努利采样操作组成，所述采样网络生成的采样矩阵输入到所述重建网络中，所述重建网络由优化压缩感知能量模型的迭代收缩阈值算法展开得到，并由梯度下降模块和去伪影模块交替堆叠而成。

3.根据权利要求1所述的基于联合优化采样矩阵来设计核磁共振图像重建方法，其特征在于，在所述步骤S3中，用反向传播算法计算损失函数相对于网络中各个参数的梯度，然后基于所述训练数据集采用梯度下降算法优化网络层的参数，直至损失函数数值稳定，最终获得神经网络的最优参数。

4.根据权利要求1所述的基于联合优化采样矩阵来设计核磁共振图像重建方法，其特征在于，在所述步骤S4中，将所学到的采样矩阵应用到磁共振设备中，从中获取所述采样矩阵下的K空间亚采样数据并进行傅里叶逆变换得到立即重建图像，将所学到的采样矩阵和所述立即重建图像送入训练好的重建网络，网络输出的图像即为重建的核磁共振图像。

Images