CN107633486B - 基于三维全卷积神经网络的结构磁共振图像去噪方法 - Google Patents

Abstract

本发明涉及一种基于三维全卷积神经网络的结构磁共振图像去噪方法，首先对无噪结构磁共振图像和含噪结构磁共振图像进行预处理，并构建训练数据集和标签数据集，然后构建多层三维全卷积神经网络，将训练数据集输入到构建的神经网络中进行训练，获得学习后的多层三维全卷积神经网络模型，将测试含噪结构磁共振图像输入到学习后的多层三维全卷积神经网络中，得到去噪结构磁共振图像。本发明的去噪方法，没有破坏图像的空间结构，能够充分利用磁共振图像的多维结构化特征，保留了原始数据的三维空间信息，提高了去噪精度。同时本发明无需任何先验知识，并且能够实现任意尺寸、任意噪声类型和浓度的三维结构化图像去噪，应用范围广。

Description

基于三维全卷积神经网络的结构磁共振图像去噪方法

技术领域

本发明属于图像去噪领域，尤其涉及一种基于三维全卷积神经网络的结构磁共振图像去噪方法。

背景技术

作为一类非侵入式高空间分辨率成像的技术手段，结构磁共振图像已经被广泛用于医疗诊断。然而，由于受到设备、技术和被试等方面的限制，尤其是在高分辨率和高速采集要求下，结构磁共振图像通常遭受到严重随机噪声污染。从而影响图像成像质量，为后续的医学诊断带来了一定的困难，并且将大大降低后续磁共振图像分析，如配准，分割等的可靠程度。

目前，结构磁共振图像去噪方法分为两类：采集过程中图像去噪和采集后图像去噪。采集过程中图像去噪主要是多次采集图像并进行简单平均达到提高信噪比的目的。简单平均去噪方法较为简单，但是数据采集需要耗费较多的时间。由于MRI图像的噪声分布通常满足瑞利分布，采集后图像去噪主要是指根据MRI图像的噪声特点，采用数字图像增强方法对采集到的磁共振图像进行去噪处理，从而达到提升图像视觉质量的效果。采集后图像去噪方法主要包基于滤波方法和基于学习方法。基于滤波的去噪方法主要利用噪声是高频信息的特点，在时域或者频域对图像进行滤波从而达到去噪的目的。基于学习的去噪方法假设无噪图像和噪声图像之间存在某种通用的映射关系，从大量无噪样本和对应的噪声样本中学习先验知识和规则，即学习现有无噪图像和噪声图像之间的映射关系，从而利用学习到的映射关系将噪声图像变换为无噪图像，从而实现去噪。

最常见的滤波方法是低通高斯滤波，其基本思想是根据像素邻接点的空间距离进行加权平均。然而它在移除噪声的同时，容易模糊边缘。为了保留图像边缘信息，大量基于梯度的滤波方法被提出，如各向异性扩散滤波、和非线性全变分算法,并用于磁共振图像去噪。虽然基于梯度的滤波方法能够保留边缘，但是容易丢失细节信息。基于变换的滤波方法对磁共振图像进行各类变换，如小波变换，离散余弦变换等，从而在频率域实现图像去噪。目前非局部去噪算法得到了极大的关注。最经典的非局部算法是非局部均值滤波。它在某个局部区域搜索相似局部模式，并根据其相似程度自适应权值，最后进行加权平均。尽管非局部均值滤波取得了一定的去噪效果，它通过在局部区域搜索和自身相似的模式从而达到去噪效果，而且在某些情况下，很难找到自相似模式。

为了高效利用自相似和模式的稀疏性，稀疏编码被应用到图像去噪，将图像分成过完备图像块，采用字典学习方法从噪声图像或者高质量无噪图像中学习字典。然而，基于稀疏编码的去噪方法要求将图像块进行向量化，破坏了图像的结构化空间信息，并且受限于字典尺寸，不能处理任意尺寸的图像。

现有大部分去噪方法主要用于处理自然图像，并且需要事先给定噪声的类型和方差，或者假设噪声满足某种概率分布。然而在现实应用中，无法预知噪声的类型和方差，而且实际噪声也不满足某种特定的概率分布，因此去噪效果难以令人满意。更进一步，一些基于学习的去噪方法，如稀疏编码等，从图像中提取图像块，并将其向量化，从而用于训练稀疏字典，严重破坏了图像的空间结构。

近年来，随着深度学习在图像处理领域的广泛应用，卷积神经网络被逐渐应用到图像去噪领域，但是现有基于卷积神经网络的图像去噪方法将图像视为二维矩阵，仅仅利用了二维空间的局部相似模式。而磁共振图像是对大脑三维空间的展示，其实质为三维矩阵，第三个维度为大脑的层数，三维矩阵中每个体素点不仅和同层周围的体素点具有相似性，也与邻近层的体素点具有相似性。目前的二维卷积神经网络保留了图像的二维空间信息，却忽略了磁共振图像三维结构信息，没有考虑到三维空间上的局部相似性。因此现有方法对于磁共振图像都很难得到理想的去噪效果。

发明内容

针对现有技术之不足，本发明提出一种基于三维全卷积神经网络的结构磁共振图像去噪方法，所述方法包括：

步骤1：对无噪结构磁共振图像和与其对应的含噪结构磁共振图像进行预处理并构建训练数据集和标签数据集；

步骤11：输入标准格式的无噪结构磁共振图像和含噪结构磁共振图像，进行格式转换；

步骤12：将转换格式后的无噪结构磁共振图像和含噪结构磁共振图像移除头骨部分，只保留脑区部分；

步骤13：对移除头骨后的无噪结构磁共振图像和含噪结构磁共振图像进行归一化处理，将其归一化到[0-1]区间；

步骤14：对归一化处理后的无噪结构磁共振图像和含噪结构磁共振图像采用滑动窗方式在三维空间上分别提取多个无噪三维图像块和含噪三维图像块，其中，由所述含噪三维图像块构成训练数据集，由所述无噪三维图像块构成标签数据集；

步骤2：构建多层三维全卷积神经网络，所述多层三维全卷积神经网络包括一个输入层、至少五层三维卷积层和与所述三维卷积层一一对应的三维解卷积层以及一个融合层；

步骤21：所述输入层用于接收所述训练数据集；

步骤22：构建至少五层三维卷积层和三维解卷积层，每个三维卷积层由多个三维卷积核构成，其中，所述三维卷积层和所述三维解卷积层依次交替出现在输入层和融合层之间，所述三维卷积层的数学表示为：

其中，

表示第i层第j个的三维特征映射，f(x,0)表示ReLU激活函数，b_i,j表示偏置，

表示第i层第k个三维卷积核，其尺寸为L₁×L₂×L₃；

步骤23：构建融合层，所述融合层为一个三维卷积核构成的三维卷积层；

步骤3：将所述训练数据集输入到步骤2构建的三维全卷积神经网络中进行训练，获得学习后的多层三维全卷积神经网络模型；

步骤31：将所述训练数据集分成多批训练数据，并初始化步骤2构建的三维全卷积神经网络中所有的三维卷积层和三维解卷积层中的卷积核权重和偏置对损失函数导数为0，即：

△W^(l)＝0

△b^(l)＝0

其中，W表示卷积核权重，b表示偏置对损失函数，l表示第l层；

步骤32：每次输入一批训练数据到步骤2构建的多层三维全卷积神经网络中的输入层；

步骤33：将步骤32中获得的训练数据与后续的三维卷积层和三维解卷积层中各个节点参数进行计算，实现网络训练的前向传播，最后通过融合层，获得输出数据；

步骤34：利用欧式距离，计算所述输出数据和所述标签数据集的误差；

其中，I,J,K表示三维样本的尺寸。

步骤35：基于步骤34计算的误差，采用梯度下降法，反向计算卷积核权重和偏置对损失函数的倒数

和

并对其累加到△W^(l)和△b^(l)，即：

步骤36：重复步骤32至步骤35，直到所有批次的训练数据处理完毕，完成一次迭代，根据上述△W^(l)和△b^(l)，采用批量梯度下降算法，得到更新后网络参数，数学表示如下：

其中，m表示训练样本的批数，α为学习率，λ为动能；

步骤37：重复步骤32至步骤36，直到达到预设的迭代次数；

步骤4：将测试含噪结构磁共振图像输入到步骤3训练好的多层三维全卷积神经网络模型中，输出去噪结构磁共振图像；

步骤41：将测试含噪结构磁共振图像输入到步骤3训练好的卷积神经网络模型的输入层；

步骤42：将步骤41接收的测试含噪结构磁共振图像从前向后依次和多个卷积层和解卷积层进行运算，最后在融合层输出去除噪声后的去噪结构磁共振图像。

与现有技术相比，本发明的有益效果在于：

1、本发明采用三维全卷积神经网络的去噪方法，与现有技术相比，没有破坏图像的空间结构，直接将磁共振图像视为三阶张量，能够充分利用磁共振图像的多维结构化特征，保留了原始数据的三维空间信息，提高了去噪性能。

2、直接通过三维全卷积神经网络实现端到端的自动学习噪声图像到无噪图像的函数映射关系，除了含噪图像和对应无噪图像的训练样本，无需任何先验知识，并且能够实现任意尺寸、任意噪声类型和浓度的三维结构化图像去噪，本发明的去噪方法能够推广应用到任意三维图像数据去噪。

3、本发明去噪方法中的三维解卷积操作，解决了三维卷积操作导致的图像尺寸变小的问题，使得输入数据和输出数据保持一致，使得去噪过程具有更好的解释性。

附图说明

图1是本发明图像去噪方法的算法流程图；

图2是本发明多层三维全卷积神经网络的结构示意图；和

图3是卷积和解卷积的示意图。

具体实施方式

下面结合附图进行详细说明。

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是实例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

针对现有技术的不足，本发明提出一种基于三维全卷积神经网络的结构磁共振图像去噪方法，该方法将磁共振图像作为三维图像，保留了图像丰富的三维结构信息，提升的去噪能力。

现结合说明书附图，详细说明本发明的技术方案，本发明一种基于三维全卷积神经网络的结构磁共振图像去噪方法包括：

步骤1：对无噪结构磁共振图像和与其对应的含噪结构磁共振图像进行预处理并构建训练数据集和标签数据集。输入的无噪和含噪磁共振图像均为三维磁共振图像。输入的无噪结构磁共振图像来自真实采集的图像数据，其对应的含噪结构磁共振图像为在无噪结构磁共振图像上人为加入噪声产生的图像。步骤1中的含噪结构磁共振图像作为训练样本来训练卷积神经网络。

本发明除了需要含噪结构磁共振图像和其对应的无噪结构磁共振图像的训练样本，无需任何先验知识，并且能够实现任意尺寸、任意噪声类型和浓度的三维结构化图像去噪，本发明的去噪方法能够推广应用到任意三维图像数据去噪，实际应用范围广。

步骤11：输入标准格式的无噪结构磁共振图像和含噪结构磁共振图像，进行格式转换。原始磁共振图像数据格式为DCM格式，采用SPM将其转换为NII格式。原因在于原始DCM格式是一个人的磁共振数据由N个DCM文件构成，而转为NII格式后，一个人的磁共振数据由1个NII文件构成，方便于后面的数据处理。

步骤12：将步骤11中转换格式后的无噪结构磁共振图像和含噪结构磁共振图像移除头骨部分，只保留脑区部分。

步骤13：对步骤12中移除头骨后的无噪结构磁共振图像和含噪结构磁共振图像进行归一化处理，将其归一化到[0-1]区间。由于原始采集到的磁共振图像数据范围从0到上万不等，而图像处理通常要将其范围变换到[0-1]，以便于把所有数据放到同一个范围。

步骤14：对步骤13中归一化处理后的无噪结构磁共振图像和含噪结构磁共振图像采用滑动窗方式在三维空间上分别提取多个无噪三维图像块和含噪三维图像块。其中，由含噪三维图像块构成训练数据集，由无噪三维图像块构成标签数据集。图像块的个数根据图像大小和滑动窗口尺寸来决定的，一般取上万个。

步骤2：构建多层三维全卷积神经网络。图2是本发明多层三维全卷积神经网络的结构示意图。如图2所示，多层三维全卷积神经网络包括一个输入层、至少五层三维卷积层和与三维卷积层一一对应的三维解卷积层以及一个融合层。多层三维卷积神经网络至少五层。本发明构建的是全卷积神经网络，全卷积神经网络与普通的卷积神经网络相比，区别在于：多了一个解卷积的过程，使得输出的图像与输入的图像尺寸大小一样，使得去噪过程具有更好的解释性。

步骤21：输入层用于接收训练数据集。

步骤22：构建至少五层三维卷积层和与三维卷积层一一对应的三维解卷积层，每个三维卷积层由多个三维卷积核构成。三维卷积核的个数根据具体的情况确定。如可以取3×3、7×7等个数的卷积核。其中，三维卷积层和三维解卷积层依次交替出现在输入层和融合层之间，三维卷积层的数学表示为：

其中，

表示第i层第j个的三维特征映射，f(x,0)表示ReLU激活函数，b_i,j表示偏置，

表示第i层第k个三维卷积核，其尺寸为L₁×L₂×L₃。

图3为卷积和解卷积的示意图。三维解卷积的操作同三维卷积操作。不同的是，三维卷积操作使得输入数据的尺寸变小，而三维解卷积则将获得的特征映射尺寸恢复为原始尺寸，即对特征映射进行上采样。

步骤23：构建融合层，融合层为一个三维卷积核构成的三维卷积层。

步骤3：将训练数据集输入到步骤2构建的多层三维全卷积神经网络中进行训练，获得学习后的多层三维全卷积神经网络模型。

该深度卷积神经网络的训练包括两个阶段，第一阶段为正向传播过程，输入层接受每批数据，通过每层隐含层的卷积层和解卷积层，不断将计算结果传入下一层，直到输出层，获得去噪后的三维图像，直到所有批次的数据处理完毕；第二个阶段，将第一阶段获得的去噪后三维图像与训练标签数据集进行对比，计算两者的欧式距离，并将其作为误差向前传递，用于修正所有隐含层中卷积核的权重和偏置，不断提高三维图像去噪的精度。

步骤31：将训练数据集分成多批训练数据，因为训练数据集的数据量较大，构造的深度学习网络无法一次性处理所有训练数据，因此需要将训练数据集分为多个批次进行处理。具体的批数根据训练样本的个数和每批样本个数而定，例如有1万个训练样本，每批100个，则分成100批训练数据。并初始化步骤2构建的三维全卷积神经网络中所有的三维卷积层和三维解卷积层中的卷积核权重和偏置对损失函数导数为0，即：

△W^(l)＝0

△b^(l)＝0

其中，W表示卷积核权重，b表示偏置对损失函数，l表示第l层。

步骤32：每次输入一批训练数据到构建的三维全卷积神经网络中的输入层。

步骤33：将步骤32中获得的训练数据与后续的三维卷积层和三维解卷积层中各个节点参数进行计算，实现神经网络训练的前向传播，最后通过融合层，获得输出数据。

步骤34：利用欧式距离，计算输出数据和标签数据集的误差：

其中，I,J,K表示三维样本的尺寸。

步骤35：基于步骤34计算的误差，采用梯度下降法，反向计算卷积核权重和偏置对损失函数的倒数

和

并将其累加到△W^(l)和△b^(l)，即：

步骤36：重复步骤32-步骤35，直到所有批次的训练数据处理完毕，完成一次迭代。根据步骤35计算得到的△W^(l)和△b^(l)，采用批量梯度下降算法，得到更新后神经网络参数，数学表示如下：

其中，m表示训练样本的批数，α为学习率，λ为动能，决定了参数更新过程中，上一次迭代参数的影响大小。

步骤37：重复步骤32至步骤36，直到达到预设的迭代次数。一般迭代次数可取为10的5次方，或损失小于0.02左右，损失可由损失函数决定。迭代停止后，即得到训练好的卷积神经网络。

步骤4：将测试含噪结构磁共振图像输入到步骤3训练好的卷积神经网络模型中，输出去噪结构磁共振图像。测试含噪结构磁共振图像用于作为测试样本。

步骤41：将测试含噪结构磁共振图像输入到步骤3训练好的多层三维全卷积神经网络模型的输入层。

步骤42：将步骤41接收的测试含噪结构磁共振图像从前向后依次和多个卷积层和解卷积层进行运算，最后在融合层输出去除噪声后的去噪结构磁共振图像。去噪结构磁共振图像为通过卷积神经网络模型学习到的无噪结构磁共振图像。

本发明基于三维全卷积神经网络的去噪方法，与现有的磁共振图像去噪方法相比，将磁共振图像作为三维数据来进行处理，保留了磁共振图像的三维结构信息，提高了图像去噪的精度。同时，通过三维解卷积操作，解决了三维卷积操作导致图像尺寸变小的问题，输入数据和输出数据尺寸保持一致，使得去噪过程具有更好的解释性。

需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。

Claims (1)

1.一种基于三维全卷积神经网络的结构磁共振图像去噪方法，其特征在于，所述方法包括：

步骤1：对无噪结构磁共振图像和与其对应的含噪结构磁共振图像进行预处理，并构建训练数据集和标签数据集；

步骤11：输入标准格式的无噪结构磁共振图像和含噪结构磁共振图像，进行格式转换；

步骤12：将转换格式后的无噪结构磁共振图像和含噪结构磁共振图像移除头骨部分，只保留脑区部分；

步骤13：对移除头骨后的无噪结构磁共振图像和含噪结构磁共振图像进行归一化处理，将其归一化到[0-1]区间；

步骤14：对归一化处理后的无噪结构磁共振图像和含噪结构磁共振图像采用滑动窗方式在三维空间上分别提取多个无噪三维图像块和含噪三维图像块，其中，由所述含噪三维图像块构成训练数据集，由所述无噪三维图像块构成标签数据集；

步骤2：构建多层三维全卷积神经网络，所述多层三维全卷积神经网络包括一个输入层、至少五层三维卷积层和与所述三维卷积层一一对应的三维解卷积层以及一个融合层；

步骤21：所述输入层用于接收所述训练数据集；

步骤22：构建至少五层三维卷积层和三维解卷积层，每个三维卷积层由多个三维卷积核构成，其中，所述三维卷积层和所述三维解卷积层依次交替出现在输入层和融合层之间，所述三维卷积层的数学表示为：

其中，

表示第i层第j个的三维特征映射，f(x,0)表示ReLU激活函数，b_i,j表示偏置，

表示第i层第k个三维卷积核，其尺寸为L₁×L₂×L₃；

步骤23：构建融合层，所述融合层为一个三维卷积核构成的三维卷积层；

步骤3：将所述训练数据集输入到步骤2构建的三维全卷积神经网络中进行训练，获得学习后的多层三维全卷积神经网络模型；

步骤31：将所述训练数据集分成多批训练数据，并初始化步骤2构建的三维全卷积神经网络中所有的三维卷积层和三维解卷积层中的卷积核权重和偏置对损失函数导数为0，即：

△W^(l)＝0

△b^(l)＝0

其中，W表示卷积核权重，b表示偏置对损失函数，l表示第l层；

步骤32：每次输入一批训练数据到步骤2构建的多层三维全卷积神经网络中的输入层；

步骤33：将步骤32中获得的训练数据与后续的三维卷积层和三维解卷积层中各个节点参数进行计算，实现网络训练的前向传播，最后通过融合层，获得输出数据；

步骤34：利用欧式距离，计算所述输出数据和所述标签数据集的误差；

其中，I,J,K表示三维样本的尺寸；

步骤35：基于步骤34计算的误差，采用梯度下降法，反向计算卷积核权重和偏置对损失函数的倒数

和

并对其累加到△W^(l)和△b^(l)，即：

步骤36：重复步骤32至步骤35，直到所有批次的训练数据处理完毕，完成一次迭代，根据上述△W^(l)和△b^(l)，采用批量梯度下降算法，得到更新后网络参数，数学表示如下：

其中，m表示训练样本的批数，α为学习率，λ为动能；

步骤37：重复步骤32至步骤36，直到达到预设的迭代次数；

步骤4：将测试含噪结构磁共振图像输入到步骤3训练好的多层三维全卷积神经网络模型中，输出去噪结构磁共振图像；

步骤41：将测试含噪结构磁共振图像输入到步骤3训练好的卷积神经网络模型的输入层；

步骤42：将步骤41接收的测试含噪结构磁共振图像从前向后依次和多个卷积层和解卷积层进行运算，最后在融合层输出去除噪声后的去噪结构磁共振图像。

Images