CN108717717A - 基于卷积神经网络和迭代方法相结合的稀疏mri重建的方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络和迭代方法相结合的稀疏MRI重建的方法，该方法首先准备一个数据集，包括训练数据和测试数据，训练数据用于训练网络，测试数据用于测试训练好的网络，每组数据都包含一组样本和标签，样本为将高度降采样的k空间数据分为低频数据和高频数据，分别进行填零重建得到的具有噪声和伪影的低质量的高频图像和低频图像，标签为该低质量图像对应的没有噪声与伪影的高质量MR图像。分别利用低频数据和高频数据训练出两个结构相同的网络，一个用于重建高频k空间数据，一个用于重建低频k空间数据，两个重建结果相加就是最终需要的重建结果。本发明利用更少的k空间数据，重建速度更快，图像质量更高。

Description

基于卷积神经网络和迭代方法相结合的稀疏MRI重建的方法

技术领域

本发明涉及图像处理，尤其涉及一种基于卷积神经网络和迭代方法相结合的稀疏MRI重建的方法。

背景技术

磁共振成像(Magnetic Resonance Imaging,MRI)是通过体外高频磁场作用，由体内物质向周围环境辐射能量产生信号实现的，成像过程与图像重建和CT相近，与CT相比，其主要优点是：离子化放射对脑组织无放射性损害，也无生物学损害。可以直接做出横断面、矢状面、冠状面和各种斜面的体层图像，没有CT图像中那种射线硬化等伪影。显示疾病的病理过程较CT更广泛，结构更清楚。能发现CT显示完全正常的等密度病灶。但是由于生理学和硬件条件的限制，MRI的主要问题就是扫描所需的时间较长，所以目前提出了很多有效的加速成像的方法。主要为并行成像(parallel MR imaging)和基于压缩感知的磁共振成像(CS-MRI),其中CS-MRI可以利用数据某个变换域的稀疏性，从随机降采样的k空间数据中重建出高分辨率的图像。目前CS-MRI的方法中，稀疏变换主要分为两类：第一类为固定的分析变换，比如小波变换，全变差等，此类方法主要基于图像的局部信息，忽略了图像中重要的非局部性质，难以达到满意的效果。例如，无法取出MR图像中由于降采样而产生的混叠伪影或者线装伪影，还有可能在图像处理的过程中产生新的伪影部分，或是模糊图像的边缘细节信息。第二类为自适应的稀疏变换，比如字典，该方法将参考图像拆分为很多小的图像块，通过训练得到一组过完备字典(字典的列数大于行数)，然后对训练得到的过完备字典进行稀疏编码，可以表示出图像。该方法可以较好的去除图像中的噪声和伪影，但是当进一步减小采样率以加速磁共振成像速度的时候，该方法除噪和去伪影的能力明显减弱，并且图像中的细节会丢失，所以需要寻找稀疏能力更强的基来对图像进行稀疏表示。

发明内容

发明目的：本发明针对现有技术中成像慢的问题，提供一种基于卷积神经网络和迭代方法相结合的稀疏MRI重建的方法，本发明在压缩感知理论的支持下，结合深度学习，提出了使用卷积神经网络来学习图像的稀疏表示，(图像的稀疏表示是压缩感知理论用于降采样的MRI重建的关键点，图像的稀疏度越高，图像中的噪声和伪影能更好的去除，图像中的结构能更好的恢复出来。)通过少量的k空间数据(原始MRI数据)，高效地重建出质量等同于全采样情况的磁共振图像。由于一般的卷积神经网络方法重建出的图像中细节容易丢失，经实验观察是因为k空间数据中的高频信息在处理的过程中容易丢失，导致了图像上细节的丢失，于是本发明中提出了一种新的训练神经网络的方法：将降采样得到的k空间数据分为高频k空间数据和低频k空间数据(低频k空间数据决定图像域的主要的轮廓和对比度，高频k空间数据决定图像的边缘和细节信息)，然后分别训练出一个低频神经网络和高频神经网络，两个网络重建出的结果进行相加就能得到高质量的MR图像。

技术方案：本发明所述的基于卷积神经网络和迭代方法相结合的稀疏MRI重建的方法包括：

(1)获取MRI数据集，并分别变换为全采样的k空间数据，再通过采样生成降采样的k空间数据；

(2)分别采用同样方式将降采样的k空间数据和全采样的k空间数据分为低频数据和高频数据，并转换到图像域，得到降采样低频图像域数据、降采样高频图像域数据、全采样低频图像域数据和全采样高频图像域数据；

(3)构造迭代的卷积神经网络，并将网络参数随机初始化，其中，卷积神经网络的迭代次数为卷积神经网络所包括的浅层神经网络的个数；

(4)将降采样低频图像域数据和降采样高频图像域数据分别作为卷积神经网络的样本输入，进行前向传播得到低频输出和高频输出，将低频输出与全采样低频图像域数据计算得到低频图像的损失函数，将高频输出与全采样高频图像域数据计算得到高频图像的损失函数；

(5)对两个损失函数分别进行最小化处理，从而更新卷积神经网络中的网络参数；

(6)采用测试数据对更新过网络参数的卷积神经网络进行测试，当测试结果达到预设阈值时，则认为训练完成，训练完成后生成两个结构相同的卷积神经网络，一个用于重建低频k空间数据，一个用于重建高频k空间数据；

(7)将待重建MRI数据分为高频数据和低频数据，高频数据和低频数据分别通过对应的卷积神经网络重建图像，再将两个重建图像相加得到完整的重建结果。

进一步的，步骤(1)中MRI数据的变换采用傅里叶变换方式。

进一步的，步骤(2)中低频数据和高频数据到图像域的转换采用傅立叶逆变换方式。

进一步的，步骤(2)中高频数据和低频数据的划分采用：将图像中间矩形区域作为低频数据，将剩余外围作为高频数据。

进一步的，步骤(3)中构造的卷积神经网络具体由N个浅层神经网络相连得到，每个浅层神经网络包含：

一求取数据保真度项λ^tA^T(Ax^t-y)的层；

一求取正则化项的三层卷积层；

一保留当前层输入x^t的层，

一求和层，用于求取前面三项的和，作为当前浅层神经网络的输出，输出具体为：

其中，x表示待重建的MRI图像，x^t表示当前浅层神经网络的输入，x^t+1表示当前浅层神经网络的输出，t表示当前浅层神经网络的序号，λ为正则化参数，y为降采样的k空间数据，A为降采样傅里叶编码矩阵，K为正则化参数的个数，G_k为变换矩阵，y_k表示激活函数。

进一步的，步骤(4)中所述损失函数采用均方差计算，具体为：

其中D为训练数据集，包含N_D组数据y_s为降采样的k空间数据，x_s为对应的高质量的参考图像，t表示当前迭代次数，为每次迭代时网络中的参数，包括正则化参数λ^t，滤波参数和偏置 表示从y_s开始到最后一次迭代后重建出的图像。

有益效果：本发明与现有技术相比，其显著优点是：本发明将卷积神经网络与传统的迭代重建方法相结合，并且提出了一种新的训练网络的方式：将k空间数据分为高频数据和低频数据分别训练，有效的改善了现有的重建方法在对高度降采样的k空间数据进行重建时细节容易丢失的问题，将高频网络和低频网络的重建结果相加就是最终需要的MRI重建结果。本发明可以将MR图像中由于高度降采样而产生的噪声和伪影有效的去除，并且能有效的保留图像中的结构和信息，满足临床分析和诊断的要求，并且在GPU的加速下，重建速度很快，可以达到实时成像的效果。

附图说明

图1为本发明中迭代重建与神经网络结合的一个具体的模型图；

图2为对20％采样的k空间数据进行填零重建的结果示意图；

图3为对10％采样的k空间数据进行填零重建的结果示意图；

图4为用字典学习对与图2中相同20％采样的k空间数据的重建结果图；

图5为用本发明方法对与图2中相同的20％采样的k空间数据的重建结果图；

图6为利用本发明方法中的网络结构，用整个k空间域对网络进行训练之后，对与图3中相同的10％采样的k空间数据的重建结果图；

图7为利用本发明方法中的网络结构，并且利用本发明方法中提出的‘分频’方法来训练网络后，对与图3中相同的10％采样的k空间数据的重建结果。

具体实施方式

本实施例提供了一种基于卷积神经网络和迭代方法相结合的稀疏MRI重建的方法，包括以下步骤：

(1)获取多个MRI数据集，并分别变换为全采样的k空间数据，再通过采样生成降采样的k空间数据。

例如，可以获取250张来自于医院临床使用的MRI心脏数据，对250张数据做傅里叶变化来模拟全采样的k空间数据。再利用采样率为10％的径向采样矩阵对全采样的k空间数据进行降采样，得到降采样的k空间数据。

(2)分别采用同样方式将降采样的k空间数据和全采样的k空间数据分为低频数据和高频数据，并转换到图像域，得到降采样低频图像域数据、降采样高频图像域数据、全采样低频图像域数据和全采样高频图像域数据。

其中，划分时，将降采样的k空间数据分为中间矩形区域(低频k空间数据)和剩余的外围区域(高频k空间数据)，对两组k空间数据做傅里叶逆变换，分别得到对应的图像空间的数据(此时的图像都充满了由于降采样而产生的噪声和伪影)作为神经网络的输入样本，用于训练网络，然后对全采样的k空间数据做同样的处理，得到高、低频k空间数据对应的图像作为训练数据的对照样本。

(3)构造迭代的卷积神经网络，并将网络参数随机初始化，其中，卷积神经网络的迭代次数为卷积神经网络所包括的浅层神经网络的个数。

在构造卷积神经网络前，先进行分析：卷积神经网络用于对降采样得到的k空间数据进行填零重建，得到的结果作为一个初始化的图像，然后对这个初始化图像进行迭代更新，直至图像质量恢复到一定程度。每次迭代的结果都由三个部分决定，第一个是上次迭代的结果，第二个是数据保真度项，第三个为待更新图像的稀疏表示作为正则化项，本方法中，卷积神经网络可以通过训练数据学习得到图像的稀疏表示，最大化图像的稀疏度。由于图像的相邻像素具有很高的相似度，导致图像中有较多的冗余信息，从而图像可以稀疏表示，而图像中的噪声和伪影杂乱无章无法稀疏表示，所以图像的稀疏度越高，噪声和伪影更容易去除。基于压缩感知的稀疏MRI重建的数学模型如下：

其中第一项为数据保真度项，x表示待重建的MR图像，y为降采样的k空间数据，A为降采样傅里叶编码矩阵。第二项为图像的稀疏表示作为正则化项，λ为正则化参数用于控制两项之间的平衡。本方法中的稀疏模型如下：

其中K为正则化参数的个数，G_k为变换矩阵，可以看成是对图像的卷积操作，是一个势函数，G_k和都可以从训练数据中学习得到。以上最小二乘问题可以通过一个简单的梯度下降法来最优化，最终它的解如下：

整个方法的流程如图1所示，t表示当前迭代次数，其中N为总迭代次数，本实施例中N设置为50，每次迭代都对应公式(3)，其中有一个三层的卷积神经网络对应公式(3)中的最后一项，网络中的参数可以通过优化损失函数得到，首次采用随机和经验设置。

根据以上分析可知：假设迭代次数设置为N，实际就上整个卷积神经网络就是由N个浅层神经网络相连得到，每个浅层网络如图1下方方框中所示。包含一个求取数据保真度项求取λ^tA^T(Ax^t-y)的层，以及一个求取正则化项这一项的三层卷积层，还有一个保留当前层输入x^t的层，最后有一层求和层，求取前面三项的和，作为此次迭代的输出，一个完整的浅层网络对应公式(3)。网络构造完毕对网络中的参数随机初始化，并且按照经验设定学习率，迭代次数，batchsize，epoch等参数。

(4)将降采样低频图像域数据和降采样高频图像域数据分别作为卷积神经网络的样本输入，进行前向传播得到低频输出和高频输出，将低频输出与全采样低频图像域数据计算得到低频图像的损失函数，将高频输出与全采样高频图像域数据计算得到高频图像的损失函数。

其中，训练时采用在之前准备的250组数据中随机选择200组作为训练数据，剩余的50组作为测试数据。损失函数具体为均方差函数，如下所示：

其中D为训练数据集，包含N_D组数据其中y_s为降采样的k空间数据，x_s为对应的高质量的参考图像，为每次迭代时网络中的参数，包括正则化参数λ^t，滤波参数和偏置 表示从y_s开始到最后一次迭代后重建出的图像。本发明中利用Adam方法来最优化该损失函数。

(5)对两个损失函数分别进行最小化处理，从而更新卷积神经网络中的网络参数。

(6)采用测试数据对更新过网络参数的卷积神经网络进行测试，当测试结果达到预设阈值时，则认为训练完成，训练完成后生成两个结构相同的卷积神经网络，一个用于重建低频k空间数据，一个用于重建高频k空间数据。

(7)将待重建MRI数据分为高频数据和低频数据，高频数据和低频数据分别通过对应的卷积神经网络重建图像，再将两个重建图像相加得到完整的重建结果。

下面对于本实施例进行效果评估。

主要做三组结果对比来评估本方法的高效性。第一组为直接将本发明方法的输入图像和重建出的图像作对比，以此来评估本方法对图像中由于降采样而产生的噪声和伪影的去除能力。如图2和图5所示，分别为20％采样率的k空间数据填零重建得到的图像作为本发明方法中卷积神经网络的输入，以及本发明方法的重建结果。图3和图7则为10％采样率下的对比。第二组对比为图4和图5，分别为利用自适应的字典对20％采样的k空间数据的重建结果和本发明方的重建结果。第三组对比为图6与图7，两者都使用了本发明方法中的网络，图6来自于用整个k空间数据训练的神经网络的重建结果，图7来自于用‘分频’方法训练的神经网络的重建结果。为了客观有效的做出对比，采用了视觉评估和量化评估两种方法进行评估：

A、视觉评估

找临床经验丰富的放射科医生来观察在相同采样的k空间下本发明方法的重建结果和利用自适应的字典重建出的结果，通过他们的主观判断来评估本方法对重建图像质量的提高。另一方面，也观察在同样的网络结构下，用整个k空间域训练出的网络和‘分频’训练出的网络的重建结果，以此来评估本发明中提出的‘分频’训练方法对重建结果是否有所明显提高。

B、量化评估

在使用视觉评估本发明方法的有效性的同时，我们引入两个量化指标对本发明方法的有效性进行评判。第一个为峰值信噪比(Peak Signal to Noise Ratio,PSNR),第二个为结构相似度(Structural Similarity Index,SSIM).它们的计算方法如下。

PSNR：

其中I表示重建后的图像，K表示对应的样本标签，MAX_I表示图像I的最大像素值，MSE表示当前图像I和参考图像K的均方误差。

SSIM：

其中u_X和u_Y分别表示图像X和Y的均值，σ_X和σ_Y分别表示图像X和Y的标准差，和分别表示图像X和Y的方差，σ_XY表示图像X和Y的协方差，C₁，C₂为常数，为了防止分母为0。

利用重建出的图像和对应的参考图像分别计算PSNR和SSIM，PSNR单位为dB，数值越大表示失真越小。SSIM从亮度、对比度、结构三方面度量图像相似性，取值为[0,1]，数值越大表示失真越小。

以上所揭露的仅为本发明一种较佳实施例而已，不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (6)

1.一种基于卷积神经网络和迭代方法相结合的稀疏MRI重建的方法，其特征在于该方法包括：

(1)获取MRI数据集，并分别变换为全采样的k空间数据，再通过采样生成降采样的k空间数据；

(2)分别采用同样方式将降采样的k空间数据和全采样的k空间数据分为低频数据和高频数据，并转换到图像域，得到降采样低频图像域数据、降采样高频图像域数据、全采样低频图像域数据和全采样高频图像域数据；

(3)构造迭代的卷积神经网络，并将网络参数随机初始化，其中，卷积神经网络的迭代次数为卷积神经网络所包括的浅层神经网络的个数；

(4)将降采样低频图像域数据和降采样高频图像域数据分别作为卷积神经网络的样本输入，进行前向传播得到低频输出和高频输出，将低频输出与全采样低频图像域数据计算得到低频图像的损失函数，将高频输出与全采样高频图像域数据计算得到高频图像的损失函数；

(5)对两个损失函数分别进行最小化处理，从而更新卷积神经网络中的网络参数；

(6)采用测试数据对更新过网络参数的卷积神经网络进行测试，当测试结果达到预设阈值时，则认为训练完成，训练完成后生成两个结构相同的卷积神经网络，一个用于重建低频k空间数据，一个用于重建高频k空间数据；

(7)将待重建MRI数据分为高频数据和低频数据，高频数据和低频数据分别通过对应的卷积神经网络重建图像，再将两个重建图像相加得到完整的重建结果。

2.根据权利要求1所述的基于卷积神经网络和迭代方法相结合的稀疏MRI重建的方法，其特征在于：步骤(1)中MRI数据的变换采用傅里叶变换方式。

3.根据权利要求1所述的基于卷积神经网络和迭代方法相结合的稀疏MRI重建的方法，其特征在于：步骤(2)中低频数据和高频数据到图像域的转换采用傅立叶逆变换方式。

4.根据权利要求1所述的基于卷积神经网络和迭代方法相结合的稀疏MRI重建的方法，其特征在于：步骤(2)中高频数据和低频数据的划分采用：将图像中间矩形区域作为低频数据，将剩余外围作为高频数据。

5.根据权利要求1所述的基于卷积神经网络和迭代方法相结合的稀疏MRI重建的方法，其特征在于：步骤(3)中构造的卷积神经网络具体由N个浅层神经网络相连得到，每个浅层神经网络包含：

一求取数据保真度项λ^tA^T(Ax^t-y)的层；

一求取正则化项的三层卷积层；

一保留当前层输入x^t的层，

一求和层，用于求取前面三项的和，作为当前浅层神经网络的输出，输出具体为：

其中，x表示待重建的MRI图像，x^t表示当前浅层神经网络的输入，x^t+1表示当前浅层神经网络的输出，t表示当前浅层神经网络的序号，λ为正则化参数，y为降采样的k空间数据，A为降采样傅里叶编码矩阵，K为正则化参数的个数，G_k为变换矩阵，y_k表示激活函数。

6.根据权利要求1所述的基于卷积神经网络和迭代方法相结合的稀疏MRI重建的方法，其特征在于：步骤(4)中所述损失函数采用均方差计算，具体为：

其中D为训练数据集，包含N_D组数据y_s为降采样的k空间数据，x_s为对应的高质量的参考图像，t表示当前迭代次数，为每次迭代时网络中的参数，包括正则化参数λ^t，滤波参数和偏置 表示从y_s开始到最后一次迭代后重建出的图像。