CN109949235A

CN109949235A - 一种基于深度卷积神经网络的胸部x光片去噪方法

Info

Publication number: CN109949235A
Application number: CN201910141579.6A
Authority: CN
Inventors: 金燕; 蒋晓奔; 韦振坤; 李�远; 姚宇
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2019-02-26
Filing date: 2019-02-26
Publication date: 2019-06-28

Abstract

本发明公开了一种基于深度卷积神经网络的胸部X光片去噪方法，包括：收集胸部X光片数据，并进行数据格式的转化、预处理后得到训练用的原始图像块，加入高斯噪声后生成含噪图像块，将成对的原始图像块和含噪图像块作为训练数据集；构建去除胸部X光片噪声的卷积神经网络模型，所述卷积神经网络模型包括深度卷积神经网络和残差网络；将成对的原始图像块和含噪图像块作为输入，进行训练，得到训练完成后的卷积神经网络模型X‑ReCNN；将待去除噪声的胸部X光片数据作为X‑ReCNN的输入特征图，去除噪声，输出预测的去噪后的胸部X光片。该方法可以轻量化、速度快、高精度的去除胸部X光片中的噪声，而且大幅度地降低了网络结构的参数，缩短了网络训练时间。

Description

一种基于深度卷积神经网络的胸部X光片去噪方法

技术领域

本发明属于图像去噪技术领域，具体涉及一种基于深度卷积神经网络的胸部X光片去噪方法。

背景技术

胸部X光片(Chest X-ray)是一种价格低廉，并且快速易得的医学影像技术。相较于计算机断层扫描技术(Computed Tomography，CT)，传统的胸部X光片不仅价格便宜，并且辐射量更低，现在医学研究表明，有1.5％～2％的肿瘤可能是由于CT的高辐射剂量导致。特别是在诸如肺炎、气胸、间质性肺病、心力衰竭、骨折、裂孔疝等疾病的早期诊断上，X射线都有较为广泛的应用。此外，胸部X光检查是2014年全国3亿多人体检的标准检查方法。这个数字仍在增加，导致每年都会产生数以亿计的胸部X光片。

虽然胸部X光片在医疗检查中起到越来越重要的作用，但是胸部X光片在生成过程中，不仅会受到各种类型和程度的噪声影响，并且还存在条状伪影。这会降低上述各种疾病被筛查出来的概率，并且在一定程度上干扰医生对疾病的诊断、分析和治疗。因此对胸部X光片进行去噪和复原就具有十分重要的意义。此外，去噪过程会在一定程度上干扰原始图像的质量，这可能会导致人或机器做出错误的决策。因此，医学图像的去噪过程中，应该尽可能地考虑去噪的准确性。

近些年来，随着深度学习的快速发展，深度卷积神经网络在图像去噪领域上的应用也愈加的广泛。如公开号为CN106204468A的中国专利文献公开了一种基于ReLU卷积神经网络的图像去噪方法，包括以下步骤：搭建ReLU卷积神经网络模型，所述ReLU卷积神经网络模型包括多个卷积层和每个所述卷积层后的激活层，所述激活层为ReLU函数；选取训练集，并设置所述ReLU卷积神经网络模型的训练参数；根据所述ReLU卷积神经网络模型及其训练参数，以最小化损失函数为目标训练所述ReLU卷积神经网络模型形成图像去噪神经网络模型；将待处理的图像输入到所述图像去噪神经网络模型，输出去噪后的图像。如公开号为CN106408522A的中国专利文献公开了一种基于卷积对神经网络的图像去噪方法，包括以下步骤：搭建卷积对神经网络模型，所述卷积对神经网络模型包括多个卷积对和相应的激活层；选取训练集，并设置所述卷积对神经网络模型的训练参数；根据所述卷积对神经网络模型及其训练参数，以最小化损失函数为目标训练所述卷积对神经网络模型形成图像去噪神经网络模型；将待处理的图像输入到所述图像去噪神经网络模型，输出去噪后的图像。

去噪自编码器和卷积去噪自编码器(CNN DAE)是经典自编码器的扩展，这两个模型都试图通过构建模型，直接学习到干净的去噪后图片，但是模型的稳健性和泛化能力不够好，实际的表现效果没有训练时表现得出色。

发明内容

本发明的目的在于提供一种基于深度卷积神经网络的胸部X光片去噪方法，可以轻量化、速度快、高精度的去除胸部X光片中的噪声，而且大幅度地降低了网络结构的参数，缩短了网络训练时间。

本发明解决其技术问题所采用的技术方案是：

一种基于深度卷积神经网络的胸部X光片去噪方法，包括以下步骤：

(1)收集胸部X光片数据，并进行数据格式的转化、预处理后得到原始图像块，在原始图像块中加入高斯噪声后生成含噪图片，将成对的原始图像块和含噪图像块作为训练数据集；

(2)构建去除胸部X光片噪声的卷积神经神经网络模型，所述卷积神经网络模型包括深度卷积神经网络和残差网络；

(3)将步骤(1)中成对的原始图像块和含噪图像块作为输入，对构建的卷积神经网络进行训练，在训练过程中，所述卷积神经网络对含噪图片中的噪声进行学习，调整参数直至卷积神经网络模型收敛，得到训练完成后的去除胸部X光片噪声的卷积神经网络模型X-ReCNN；

(4)将待去除噪声的胸部X光片数据进行格式的转化和预处理后，作为卷积神经网络模型X-ReCNN的输入特征图，去除噪声，输出预测的去噪后的胸部X光片。

在步骤(1)中，所述预处理的方法为依次进行数据增强和归一化像素值，所述数据增强的方法为缩放和旋转。

在步骤(2)中，所述卷积神经网络模型包括：

第一噪声提取模块，包括卷积层和激活层，用于提取输入的含噪图像块的噪声特征，输出第一特征图至第二噪声提取模块；

第二噪声提取模块，包括深度卷积神经网络模块，所述深度卷积神经网络模块包括depthwise(DW)卷积操作和pointwise(PW)卷积操作，用于进一步提取第一特征图的噪声特征，生成第二特征图，并输出至重建输出模块；

重建输出模块，包括卷积层和激活层，用于进一步提取第二特征图的噪声分布，输出第三特征图至残差模块，所述第三特征图与原始输入的胸部X光片在尺寸上保持一致；

残差模块，直连第一噪声提取模块和重建输出模块，将第一噪声提取模块、第二噪声提取模块和重建输出模块构成一个残差单元，输出去噪后的胸部X光片。

不同于传统的残差网络结构，本发明没有采用许多个小型的残差单元，而是用整个网络来构成一个大的残差单元，以此来预测噪声图像。

在本发明中，在训练过程中，将原始图像块和含噪图像块作为输入，构建的神经网络根据原始图像块对含噪图像块的噪声进行学习，将含噪图像块中的噪声分布提取出来，根据提取的噪声分布去除胸部X光片中的噪声，得到去噪后的胸部X光片。

所述第二噪声提取模块包括14个深度卷积神经网络模块，每个深度卷积神经网络模块中依次连接有DW卷积、PW卷积、批量正则化层和激活层。

所述激活层为ReLU函数，所述ReLU函数公式为：

ReLU(X)＝Max(0，X)

其中，X指输出层的权重大小。

优选的，所述卷积神经网络模型包括：

第一噪声提取模块，包括依次连接的1个卷积层和1个激活层，所述卷积层的卷积核大小为3×3、步长为1、输出通道数为48；

第二噪声提取模块，包括依次连接的14个深度卷积神经网络模块，所述深度卷积神经网络模块包括依次连接的有DW卷积、PW卷积、批量正则化层和激活层，所述DW卷积的卷积核大小为3×3、步长为1、输出通道数为48，所述PW卷积的卷积核大小为1×1、步长为1、输出通道数为48；

重建输出模块，包括依次连接的1个卷积层和1个激活层，所述卷积层的卷积核大小为3×3、步长为1、输出通道数为1；

残差模块，直连第一噪声提取模块和重建输出模块，将第一噪声提取模块、第二噪声提取模块和重建输出模块构成一个残差单元。

在步骤(3)中，所述含噪图像块为加入固定高斯噪声水平或不固定高斯噪声水平的含噪图像块，训练完成后的卷积神经网络模型为去除固定高斯噪声水平的模型X-ReCNN-S或高斯盲去噪的模型X-ReCNN-B。

所述固定高斯噪声水平为σ₁＝15和σ₂＝25，所述不固定高斯噪声水平为σ₃∈[0,45]。

在步骤(3)中，所述训练的过程包括预训练模型和微调模型，在预训练模型的训练过程中：网络的权重采用高斯初始化进行分布，采用Adam优化方式，网络的损失函数设置为：

权重系数采用L2正则化方式，得到不同精度的预训练完成后的卷积神经网络模型X-ReCNN。

所述微调模型的方法为：对精度最高的预训练完成后的卷积神经网络模型X-ReCNN进行微调，所述微调的方法为：将学习率进行调整，利用Adam算法继续迭代训练，得到微调后的卷积神经网络模型X-ReCNN。

与现有技术相比，本发明技术方案的优点有：

(1)本发明提出了一种新的基于深度卷积神经网络的X光片图像去噪模型X-ReCNN,并取得了很好的去噪效果；

(2)本发明使用深度可分离卷积技术代替传统的卷积，在精度可靠的情况下，参数量比基于使用传统卷积网络的模型小10倍，并且计算速度更快；

(3)本发明使用批量正则化对每一层做标准化处理，使得输出服从均值为0，方差为1的正态分布，解决网络要不断适应新的数据分布而变得难以训练的问题；

(4)本发明使用残差学习构建成一个大的残差单元，将网络的优化目标从直接学习含噪图转化成学习含噪图中的噪声，降低了网络学习的难度。

(5)本发明使用相较于其他卷积网络只能去除固定的噪声水平，本文进一步提出了一种高斯盲去噪模型X-ReCNN-B，可以在很好地去除范围在[0,45]的高斯噪声，进一步提升了模型的实用性。

附图说明

图1为X-ReCNN网络结构示意图；

图2为Depthwise卷积示意图；

图3为Pointwise卷积示意图；

图4为残差学习单元示意图；

图5为测试集的示意图；

图6为实施例中X-ReCNN-S和X-ReCNN-B对于σ₁＝15的胸部X光片去噪效果图；

图7为实施例中X-ReCNN-S和X-ReCNN-B对于σ₂＝25的胸部X光片去噪效果图；

图8为实施例中卷积神经网络模型的结构示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图和实施例对本发明作进一步的详细描述。

实施例1

本发明提供一种基于深度卷积神经网络的胸部X光片去噪方法，含有以下步骤：

步骤1：收集胸部X光片数据，并进行数据格式的转化、预处理后得到原始图像块，在原始图像块中加入高斯噪声后生成含噪图片，将成对的原始图像块和含噪图片作为训练数据集。

步骤11：将胸部X光片数据集中IMG格式的图像转换成JPG数据格式；

本发明使用的数据集是由日本放射技术学会委员会(JSRT)提供的结节和非结节的胸片图像。这是一个已经公开可用的数据集，从13个日本的相关机构，以及美国的一个机构共计收集了247张胸部X光图片。为隐私保护需要，采用IMG数据格式进行加密处理。本发明使用Image J软件，将图像的灰度值设置成16位，并将IMG格式转换成JPG数据格式。转化后图像的原始尺寸为2048×2048。

步骤12：数据预处理：

JSRT数据集中，一共有247张胸部X光图片，图片的原始尺寸为2048×2048。我们选取了其中的225张图片作为训练集，另外的15张图片作为测试集。为了增强数据，并且加快网络的训练速度，我们先将原始图片缩放成512×512的大小，随后对图片进行采样，采样的尺寸为120×120，采样间隔为20。同时使用缩放和旋转技术进行数据增强，共计得到64×2096采样图像块。最后将每张图片转成120×120×1的tensor，并归一化像素值。

步骤2：构建去除胸部X光片噪声的卷积神经网络模型，所述卷积神经网络模型包括深度卷积神经网络和残差网络。

本实施例构建的卷积神经网络模型的结构示意图如图1和图8所示。

步骤21：第一噪声提取模块，包括卷积层和激活层，用于提取输入的含噪图像块的噪声特征，输出第一特征图至第二噪声提取模块；

如图1所示，本发明的胸部X光片去噪卷积神经网络在第1层使用“Conv+ReLU”(“卷积+激活”)模块。我们使用48个尺寸为3×3的卷积核对输入图片进行常规的卷积操作，卷积的步长为1，通过参数共享机制，将低剂量胸部CT图片的噪声特征初步提取出来。接着使用非线性函数ReLU增加模型非线性表征能力，ReLU函数公式为：

ReLU(X)＝Max(0,x) (1)

步骤22：第二噪声提取模块，包括深度卷积神经网络模块，所述深度卷积神经网络模块包括DW卷积和PW卷积，用于进一步提取第一特征图的噪声特征，生成第二特征图，并输出至重建输出模块。

如图1所示，本发明的胸部X光片去噪卷积神经网络在第2～14层使用“(DW+PW)Conv+BN+ReLU”模块，与前一层结构的区别是引进了DW和PW新的卷积操作，这可以显著地降低网络参数量，防止过拟合等问题；并且加入了批量正则化(BN)，统一设定为均值为0，方差为1可以通过改变激活输入值的分布，使激活输入值落在非线性函数对输入比较敏感的区域，以此来避免梯度消失的问题，加快网络的收敛。

不同于标准的卷积过程，深度可分离卷积是将一个完整的卷积运算分解为两步进行。如图2所示，首先使用depthwise(DW)进行卷积运算，不同于常规的卷积操作，DW完全是在二维平面内进行，一个通道只被一个卷积核卷积，卷积核的数量与上一层的通道数相同。在本发明中，使用48个尺寸为3×3的卷积核对输入进行DW卷积，卷积步长为1。

DW完成后的特征图数量与输入层的通道数相同，无法扩展特征图。而且这种运算对输入层每个通道独立进行卷积运算，无法有效地利用不同通道在相同空间位置上的特征信息。因此需要进行pointwise(PW)卷积来将这些特征图进行组合生成新的特征图，如图3所示，它的卷积核尺寸为1*1*M，M为上一层的通道数。在本发明中，使用48个尺寸为1×1的卷积核对输入进行PW操作，卷积步长为1。

在对输入特征图进行卷积操作后，需要进一步使用BN对输出做标准化处理，使得输出服从均值为0，方差为1的正态分布。假设某层的样本集合为B＝{x₁,x₂,x₃…x_m}，批量正则化的公式如下：

其中，μ_B是样本集合B的均值，是样本集合的方差，表示x_i正则化输出后的值，∈是为了防止方差为0，而引进的微小正数，γ和β分别是对标准化后的参数进行平移和缩放的系数，这两个参数都是需要通过训练得到。

步骤23：重建输出模块，包括卷积层和激活层，用于进一步提取第二特征图的噪声分布，输出第三特征图至残差模块，所述第三特征图与原始输入的胸部X光片在尺寸上保持一致。

如图1所示，本发明的胸部X光片去噪卷积神经网络在最后一层(第15层)使用“Conv+ReLU”模块，通过单独的卷积操作，将胸部低剂量CT图片中噪声的分布提取出来，作为输出，使得最后输出图片尺寸和输入图片尺寸保持一致。在本发明中，我们使用1个尺寸为3×3的卷积核对输出图像进行重建,卷积步长为1。

步骤24：残差模块，直连第一噪声提取模块和重建输出模块，将第一噪声提取模块、第二噪声提取模块和重建输出模块构成一个残差单元，使用残差学习将整个网络构建成一个大的残差单元，输出去噪后的胸部X光片；

如图4所示，在没有使用残差网络之前，需要优化的目标是H(X)＝F(X)+X。通过使用残差网络，将优化的目标转变成H(X)-X，通过这种跳跃结构，将优化从一个等价映射转变为逼近0，从而使训练难度降低。在本发明中，将X作为未退化的胸部CT图，H(X)作为退化后的含噪图，学习目标就从直接学习含噪图，转变成学习含噪图中的噪声，这就在很大程度上降低了学习的难度，使得网络能更加容易找到局部最优解，并且缩短训练时间。

最后用含噪的胸部X光片图减去模型输出的噪声图，就可以得到去噪后的胸部X光片。

(3)将成对的原始图像块和含噪图像块作为输入，对构建的卷积神经网络进行训练，在训练过程中，所述卷积神经网络对含噪图像块中的噪声进行学习，调整参数直至卷积神经网络模型收敛，得到训练完成后的去除胸部X光片噪声的卷积神经网络模型X-ReCNN。

步骤31：预训练模型：

本发明首先对采样后的图像块分别加入σ₁＝15和σ₂＝25的高斯噪声来模拟固定噪声水平下的含噪图像。

为了使X-ReCNN可以去除不同噪声水平的噪声，我们又对所有采样的图像块加入σ₃∈[0,45]的高斯噪声来模拟不同噪声水平下的含噪图像。

最后将成对的原始图像块和含噪图像块投入X-ReCNN网络中进行训练，分别得到去除固定高斯噪声水平的模型X-ReCNN-S和高斯盲去噪的模型X-ReCNN-B。

加载本发明中的胸部X光片去噪卷积神经网络(去除胸部X光片噪声的卷积神经网络模型)，网络的权重采用高斯初始化进行分布，每一层的卷积都采用均值为0，方差为0.1的高斯分布。在训练当中采用Adam优化方式，初始的学习速率设定为0.001，随着训练的进行，逐渐衰减至10^-5。

网络的损失函数设置为公式(6)。

一次训练的批量大小设置为64，权重系数采用L2正则化方式，系数设置为0.001。一共训练50轮

步骤32：微调模型：

从步骤31中加载在测试集中精度最高的模型，调整学习率为0.0001，利用Adam算法继续训练20个epoch(迭代训练20次)。

对上述经过预训练和微调后得到的卷积神经网络模型进行测试：

(1)选取实验数据

本发明从JSRT数据集中随机选取15张胸部X光片图片作为测试集(未参加训练)，如图5所示。图片大小设置为512×512，分别加入σ₁＝15，σ₂＝25的噪声，作为两组测试集。

(2)实验结果

按照实施例1中的步骤训练胸部X光片去噪的卷积神经网络，构造完模型之后，先使用0.001的学习率预训练50个epoch，然后加载预训练模型中精度最高的进行微调，用0.0001的学习率再训练20个epoch，分别得到去除固定噪声水平σ₁＝15，σ₂＝25的X-ReCNN-S模型，以及高斯盲去噪模型X-ReCNN-B。

图6以测试集中的第14幅图片为例，展示了σ₁＝15时，两种模型的去噪效果，其中(a)为原图，(b)为σ₁＝15的噪声图，PSNR为25.061dB，(c)为X-ReCNN-S的去噪效果图，PSNR为42.316dB，(d)为X-ReCNN-B的去噪效果图，PSNR为42.270dB。

图7以测试集中的第15幅图片为例，展示了σ₂＝25时，两种模型的去噪效果，其中(a)为原图，(b)为σ₂＝25的噪声图，PSNR为20.818dB，(c)为X-ReCNN-S的去噪效果图，PSNR为39.567dB，(d)为X-ReCNN-B的去噪效果图，PSNR为39.631dB。

通过图6和图7，可以直观地看到本发明去除胸部X光片噪声的有效性。表1和表2分别是噪声水平为15和25下，对所有测试数据的PSNR、RMSE、SSIM客观评价指标求均值的结果。通过表1和表2，可以看出本发明在客观评价方面也取得了很好的效果。

表1 噪声水平为15时测试数据性能参数均值

	PSNR/dB	RMSE	SSIM
				Noise image/σ＝15	24.935	14.448	0.2751
X-ReCNN-B	41.371	2.1851	0.9742
				X-ReCNN-S	41.422	2.1689	0.9745

表2 噪声水平为25时测试数据性能参数均值

	PSNR/dB	RMSE	SSIM
				Noise image/σ＝25	20.816	23.2179	0.1350
X-ReCNN-B	39.325	2.7641	0.9671
				X-ReCNN-S	39.157	2.8215	0.9674

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims

1.一种基于深度卷积神经网络的胸部X光片去噪方法，包括以下步骤：

(1)收集胸部X光片数据，并进行数据格式的转化、预处理后得到训练用的原始图像块，在原始图像块中加入高斯噪声后生成含噪图像块，将成对的原始图像块和含噪图像块作为训练数据集；

(2)构建去除胸部X光片噪声的卷积神经网络模型，所述卷积神经网络模型包括深度卷积神经网络和残差网络；

(3)将步骤(1)中成对的原始图像块和含噪图像块作为输入，对构建的卷积神经网络进行训练，在训练过程中，所述卷积神经网络对含噪图像块中的噪声进行学习，调整参数直至卷积神经网络模型收敛，得到训练完成后的去除胸部X光片噪声的卷积神经网络模型X-ReCNN；

2.根据权利要求1所述的基于深度卷积神经网络的胸部X光片去噪方法，其特征在于，在步骤(1)中，所述预处理的方法为依次进行数据增强和归一化像素值，所述数据增强的方法为缩放和旋转。

3.根据权利要求1所述的基于深度卷积神经网络的胸部X光片去噪方法，其特征在于，在步骤(2)中，所述卷积神经网络模型包括：

第二噪声提取模块，包括深度卷积神经网络模块，所述深度卷积神经网络模块包括DW卷积操作和PW卷积操作，用于进一步提取第一特征图的噪声特征，生成第二特征图，并输出至重建输出模块；

4.根据权利要求3所述的基于深度卷积神经网络的胸部X光片去噪方法，其特征在于，所述第二噪声提取模块包括14个深度卷积神经网络模块，每个深度卷积神经网络模块中依次连接有DW卷积、PW卷积、批量正则化层和激活层。

5.根据权利要求3或4所述的基于深度卷积神经网络的胸部X光片去噪方法，其特征在于，所述激活层为ReLU函数，所述ReLU函数公式为：

ReLU(X)＝Max(0,X)

其中，X指输出层的权重大小。

6.根据权利要求4所述的基于深度卷积神经网络的胸部X光片去噪方法，其特征在于，所述卷积神经网络模型包括：

7.根据权利要求3所述的基于深度卷积神经网络的胸部X光片去噪方法，其特征在于，在步骤(3)中，所述含噪图像块为加入固定高斯噪声水平或不固定高斯噪声水平的含噪图像块，训练完成后的卷积神经网络模型为去除固定高斯噪声水平的模型X-ReCNN-S或高斯盲去噪的模型X-ReCNN-B。

8.根据权利要求7所述的基于深度卷积神经网络的胸部X光片去噪方法，其特征在于，所述固定高斯噪声水平为σ₁＝15和σ₂＝25，所述不固定高斯噪声水平为σ₃∈[0,45]。

9.根据权利要求1所述的基于深度卷积神经网络的胸部X光片去噪方法，其特征在于，在步骤(3)中，所述训练的过程包括预训练模型和微调模型，在预训练模型的训练过程中：网络的权重采用高斯初始化进行分布，采用Adam优化方式，网络的损失函数设置为：

10.根据权利要求9所述的基于深度卷积神经网络的胸部X光片去噪方法，其特征在于，所述微调模型的方法为：对精度最高的预训练完成后的卷积神经网络模型X-ReCNN进行微调，所述微调的方法为：将学习率进行调整，利用Adam算法继续迭代训练，得到微调后的卷积神经网络模型X-ReCNN。