CN112258415B - 一种基于生成对抗网络的胸部x光片超分辨率和去噪方法 - Google Patents
一种基于生成对抗网络的胸部x光片超分辨率和去噪方法 Download PDFInfo
- Publication number
- CN112258415B CN112258415B CN202011164179.6A CN202011164179A CN112258415B CN 112258415 B CN112258415 B CN 112258415B CN 202011164179 A CN202011164179 A CN 202011164179A CN 112258415 B CN112258415 B CN 112258415B
- Authority
- CN
- China
- Prior art keywords
- convolution
- resolution
- chest
- super
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000011976 chest X-ray Methods 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 63
- 230000004913 activation Effects 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 238000011049 filling Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 230000008030 elimination Effects 0.000 claims description 5
- 238000003379 elimination reaction Methods 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000011068 loading method Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000014759 maintenance of location Effects 0.000 claims description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000002601 radiography Methods 0.000 description 4
- 206010035664 Pneumonia Diseases 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000012856 packing Methods 0.000 description 3
- 238000004321 preservation Methods 0.000 description 3
- 230000008485 antagonism Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010001052 Acute respiratory distress syndrome Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 201000001178 Bacterial Pneumonia Diseases 0.000 description 1
- 208000010392 Bone Fractures Diseases 0.000 description 1
- 208000025721 COVID-19 Diseases 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 206010017076 Fracture Diseases 0.000 description 1
- 206010019280 Heart failures Diseases 0.000 description 1
- 208000025370 Middle East respiratory syndrome Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 241001066068 Pneumia Species 0.000 description 1
- 201000003176 Severe Acute Respiratory Syndrome Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 201000000028 adult respiratory distress syndrome Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 201000003144 pneumothorax Diseases 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000003612 virological effect Effects 0.000 description 1
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/40—Transformation of program code
- G06F8/41—Compilation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明公开了一种基于生成对抗网络的胸部X光片超分辨率和去噪方法，包括：(1)收集胸部X光片，进行预处理后构建训练集；(2)构建胸部X光片的生成对抗网络；所述的生成对抗网络包括生成器、判别器、VGG16网络；(3)采用训练集对生成对抗网络进行训练，得到训练完成的生成对抗网络模型；(4)将含有噪声且需要超分辨率的待处理胸部X光片进行预处理后，作为所述生成对抗网络模型的生成器的输入，生成去除噪声并且分辨率加倍的超分辨率图片，完成对待处理胸部X光片的超分辨率和去噪处理。本发明的方法可以在最大程度上保留医学图像细节纹理的同时对图片进行超分辨率和去噪处理。
Description
技术领域
本发明属于图像超分辨率和去噪领域技术，尤其涉及一种基于生成对抗网络的胸部X光片超分辨率和去噪方法。
背景技术
胸部X光片(Chest X-ray)是一种价格低廉，并且快速易得的医学影像技术。相较于计算机断层扫描技术(Computer Tomography，CT)，传统的胸部X光片不仅价格便宜，并且辐射量低，现在医学研究表明，有1.5％～2％的肿瘤可能是由高剂量CT辐射导致。特别是在诸如肺炎、气胸、心力衰竭、骨折等疾病的早期诊断上，X射线都有较为广泛的应用。
虽然胸部X光片在医疗检查中起到越来越重要的作用，但是胸部X光片在生成过程中，不仅会收到各种类型和程度的噪声影响，并且还存在伪影。这不但会降低筛选出疾病的概率，并且还会一定程度上干扰医生对疾病的诊断和分析。因此对胸部X光片进行去噪和超分辨率就具有十分重要的意义，此外，在生成图像的过程中会一定程度上降低原始图像的质量，这可能导致人或机器做出错误的决策。
在近几年的研究以及发明专利中，图像复原技术主要有两种：基于传统的数字图像处理方法以及深度学习方法。其中离散小波是传统方法之一，小波分解与重构方法的主要优点是算法简单、计算速度快，但是对于不同的噪声参数和不同的噪声类型的鲁棒性很差；双边滤波器也是基于传统方法的图像复原技术之一，相比于上者，提高了对于去除高斯白噪声能力，但对于图像的高频边缘部分去噪效果不明显；还有利用剪切变换、曲波变换和离散余弦非局部图像的去噪方法，但是不能有效去除医学图像中的噪声伪影；非局部均值正则化方法是现在主流的去噪方法之一，可以显著提高低质量医学图片的质量；块匹配和三维变换域协同滤波(BM3D)方法，通过将相似的2D图像片段分组到3D数据阵列中，在有效抑制噪声伪影同时进一步减少了时间，但也会造成图像细节纹理的丢失。
随着深度学习的发展，深度学习技术在数字图像和计算机视觉应用越来越广泛，其中去噪自编码器和卷积去噪网络在医学图像的去噪得到了广泛的应用，这种模型的特点是通过训练大量数据进而学习到图像中的噪声分布，但模型对不同噪声效果的鲁棒性不同，测试去噪效果也不同；自从2014年GAN(Generative Adversarial Network)的提出，GAN在生成清晰图片上面展现出了强大的能力，甚至在最近的研究中可以生成1024×1024的高分辨率图片。
发明内容
本发明提供了一种基于生成对抗网络的胸部X光片超分辨率和去噪方法，训练一个生成网络可以在最大程度上保留医学图像细节纹理的同时对图片进行超分辨率和去噪处理。
本发明的技术方案如下：
一种基于生成对抗网络的胸部X光片超分辨率和去噪方法，包括以下步骤：
(1)收集胸部X光片，进行预处理后构建训练集；所述的胸部X光片包括清晰高分辨率图片和对应的低分辨率含噪声图片；
(2)构建胸部X光片的生成对抗网络；所述的生成对抗网络包括：
生成器，根据输入生成虚假(Fake)图片，所述的虚假图片为去除噪声并且分辨率加倍的超分辨率图片；
判别器，用于判别所述的训练集中的清晰高分辨率图片与生成器生成的虚假图片；
VGG16网络，用于构建感知损失函数正则项；
(3)将所述训练集中的低分辨率含噪声图片作为输入，对构建的生成对抗网络进行训练；在训练过程中生成器不断生成虚假图片，将生成的虚假图片和所述训练集中的清晰高分辨率图片不断在判别器中进行对抗，最终直至生成对抗网络收敛且判别器分辨不出虚假图片和清晰高分辨率图片，得到训练完成的生成对抗网络模型(X-Ray Super-Resolution And Denoising Using Generative Adversarial Network：X-SDGan)；
(4)将含有噪声且需要超分辨率的待处理胸部X光片进行预处理后，作为所述生成对抗网络模型的生成器的输入，生成去除噪声并且分辨率加倍的超分辨率图片，完成对待处理胸部X光片的超分辨率和去噪处理。
所述的预处理包括对胸部X光片进行旋转、缩放以及归一化。
所述的生成器包括：
多尺度浅层纹理特征提取模块，包括卷积层和激活函数层，用于抓取图片的浅层纹理特征，并将浅层纹理特征输出至深层纹理特征提取及噪声消除模块；
深层纹理特征提取及噪声消除模块，由稠密网络块组成，所述稠密网络块包括卷积层和激活函数层，用于提取图像深层纹理特征并消除噪声；
超分辨率模块，由上采样块组成，所述上采样块包括卷积层、反卷积层以及激活函数层，用于上采样并扩大图片的分辨率。
多尺度浅层特征提取模块通过使用三种不同尺寸大小的卷积核对输入图像进行卷积操作，三种不同尺寸大小的卷积核大小分别为(1×1)、(3×3)和(5×5)，由于卷积核不同的大小有不同的感受野，可以更好的提取浅层特征的图像纹理细节。其中(1×1)卷积核的卷积步长为1，填充为0，输出通道为64；(3×3)卷积核的卷积步长为1，填充为1，输出通道为64；(5×5)卷积核的卷积步长为1，填充为2，输出通道为64；这样设置的好处是不会改变输入图片的尺寸大小。其中为了减少大卷积计算量，分别在(3×3)和(5×5)的卷积前加上(1×1)的卷积，最后将三个卷积所提取的图像信息通过特征融合方式concat在一起。
深层纹理特征及噪声消除模块由6个稠密网络块组成，6个稠密网络块依次连接并将每个稠密网络块输出的结果都乘一个残差系数；每个稠密网络块由5部分组成，前4部分由(3×3)的卷积层和PRelu激活函数组成，其中(3×3)的卷积步长为1，填充为1，输出通道为64；第5部分由(3×3)的卷积组成，无激活函数，卷积步长为1，填充为1，输出通道为64。最后将每一层的输出与后面的所有输出相连接即每个层都会接受其前面所有层作为额外的输出。优选将残差系数设置为0.2。
超分辨率模块由3个Up模块和2个Down模块组成，各个模块采用交叉连接的方式连接。其中Up模块分别在头部，中部，尾部，再将Up模块的输入与下一个Up模块的输入连接；Down模块也同样采取这种连接方式。每个Up模块内部由4部分组成：分别为2个卷积块和2个反卷积块，连接方式同样是交叉连接的方式，并将卷积块的输出与下一个卷积块的输出相减；反卷积块的输出与下一个反卷积块的输出相加。Down模块内部由3个卷积块和一个反卷积块组成，以(卷积—卷积—反卷积—卷积)的方式连接，并将第一个卷积的输出与反卷积的输出相减，第二个卷积的输出与第四个卷积的输出相加。其中Up模块和Down模块中的第一个卷积块由(1×1)的卷积和PRelu函数组成，卷积步长为1，填充为0，输出通道为64；其余卷积块由(6×6)的卷积和PRelu函数组成，卷积步长为2，填充为2，输出通道为64；Up模块与Down模块中的反卷积块由(6×6)的反卷积和PRelu函数组成，反卷积步长为2，填充为2，输出通道为64。
所述的判别器由卷积层、激活函数层和批量归一化层组成。
判别器由9个卷积块依次连接组成，其中第一个卷积块由卷积层以及PRelu函数组成，最后一个卷积块只有一个卷积层组成，其余卷积块分别由卷积层、批次归一化层以及PRelu函数组成。所述判别器的卷积核大小都为(3×3)，步长依次为(1-2-1-2-1-2-1-2-1)，输出通道依次为(64-64-128-128-256-256-512-512-1)。
所述的VGG16网络通过分别提取虚假图片与清晰高分辨率图片的特征进行对比，作为正则项来惩罚生成对抗网络的损失函数。
所述的VGG16网络是在ImageNet比赛上预训练好的模型，包括模型以及训练的参数。
所述的生成器和判别器的激活函数为PRelu函数；所述的PRelu函数为：
PRelu(x)＝MAX(ax,0)；
其中，ax指输出层的权重；Max(ax,0)通过比较0和输入ax取大值。
步骤(3)中，采用Adam优化方式训练所述的生成对抗网络；
判别器的损失函数为：
Dreal＝σ(D(y)-E[D(G(x))])→1如果y比G(x)更真实；
Dfake＝σ(D(G(x))-E[D(y)]→0如果G(x)比y更真实；
其中，E(·)表示判别器的均值；G(x)表示生成器生成的数据分布；D(y)表示判别器的数据分布；σ表示Sigmoid激活函数。
生成器的损失函数是在判别器的损失函数基础引入正则项，所述的正则项包括感知损失函数Lperceptual和像素损失函数Lpixel：
LG＝αLpixel+βLperceptual+γLGAN；
其中，VGG(·)表示一个包含预训练参数的VGG网络，VGG网络用于提取真实数据y和生成数据G(x)的特征；生成器的损失函数LG由感知损失函数Lperceptual、像素损失Lpixel和判别器损失函数LGAN组成，其中α，β和γ表示超参数。
优选的，生成器的损失函数的超参数α，β和γ分别设置为1e-2、1、5e-3。
优选的，步骤(3)还包括：对训练好的生成对抗网络模型进行微调；微调方法为：调整学习率进行，利用Adam优化器迭代训练，得到微调后的生成对抗网络模型。
优选的，步骤(3)中，在训练时，通过设置不同的超参数，训练后获得若干组训练参数；将训练参数加载到生成器中，以峰值信噪比、结构相似性、边缘保持系数为图像指标来测试训练后的生成器的图片生成质量，挑选出其中指标评价最好的训练参数，加载到生成器中，作为最终的生成器模型。
与现有技术相比，本发明的有益效果为：
(1)与传统卷积神经网络的方法相比，采用生成对抗网络可以生成更清晰的图片；
(2)网络结构采用了多尺度特征融合的方式，使用1×1、3×3和5×5的卷积核增加了不同尺度的感受野的同时降低了参数量；
(3)与其他单一超分辨率或者去噪方法不同，本方法可以同时实施超分辨率和去噪。
附图说明
图1为基于生成对抗网络的胸部X光片同时超分辨率和去噪方法的实施流程图；
图2为基于生成对抗网络的胸部X光片同时超分辨率和去噪方法的网络结构示意图；
图3为多尺度特征融合模块示意图；
图4为稠密网络结构图；
图5为上采样模块示意图；
图6为所采用数据集Chest X-Ray Images(Pneumonia)数据集的干净高分辨率，含噪声低分辨率和使用X-SDGan处理后的图片对比结果，其中图a-d为干净高分辨率图片，图e-h是分别与图a-d对应的含噪声低分辨率图片，图i-l是对图e-h分别进行超分辨率和去噪后处理的图片；
图7为所采用Covid Chest-Xray数据集的干净高分辨率，含噪声低分辨率和使用X-SDGan处理后的图片对比结果，其中图a-d为干净高分辨率图片，图e-h是分别与图a-d对应的含噪声低分辨率图片，图i-l是对图e-h分别进行超分辨率和去噪后的图片。
具体实施方式
下面结合附图和实施例对本发明作进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
如图1所示，一种基于生成对抗网络的胸部X光片的超分辨率和去噪方法，包括以下方式：
(1)收集胸部X光片数据，并对高分辨率(High-Resolution,HR)HR图片和含噪声低分辨率(Noise and low-resolution,NLR)NLR图片的格式、大小进行预处理后得到网络训练用的原始图像块，将成对的原始图像块和含噪声图像块作为网络的训练数据，在本发明中，采用的胸部X光片数据集选用Chest X-Ray Images(Pneumonia)(参考地址：https://data.mendeley.com/datasets/rscbjbr9sj/2)，该数据集图像选自广州市妇幼保健中心的1至5岁儿童患者的回顾性研究，所有胸部X光片均作为患者常规临床护理的一部分进行；
(2)构建对胸部X光片同时进行超分辨率和去噪的生成对抗网络，如图2所示，所述网络主要包含3部分，其一为用于生成图片的生成器，所生成的图片为分辨率加倍的超分辨图片，我们提供的网络可分别生成×2、×4的清晰图片；其二是判别器网络，判别器作为一个裁判，将生成器中生成的图片与数据集中的HR图片做对比，通过判别器的损失函数产生误差来使生成器生成与HR图片相同的图片；其三为用于构建感知损失函数正则项的VGG16网络；
(3)将步骤(1)中含噪声的NLR图片作为输入，对构建的生成对抗网络进行训练，在训练过程中生成器不断生成分辨率加倍的Fake图像块，并将Fake图像块和HR图像块不断在判别器中进行对抗，最终直至网络模型收敛且判别器分辨不出Fake图像和HR图像的真假，得到训练完成后的一个生成对抗网络模型X-SDGan，该模型可以同时对胸部X光片进行超分辨和去噪；
(4)将带去除噪声和需要超分辨率放大倍数的胸部X光片数据进行格式化转化后，作为生成对抗网络模型生成器的输入特征图，去除噪声同时进行超分辨率处理，得到去噪后的×2，或×4的胸部X光片。
在步骤(1)中，预处理的方法是对数据进行旋转、缩放以及归一化。
在步骤(2)中，生成对抗网络模型包括：
第一是生成器模块，如图2所示，第一部分是多尺度特征融合模块，包括卷积测和激活函数，用于抓取图像不同感受野的细节纹理特征；第二部分是提取图像深层特征纹理并用于去除噪声的稠密网络模块，由残差块和激活函数组成；第三部分是超分辨率上采样模块，用于提高生成图像的分辨率，由卷积层，反卷积层，全局池化层和激活函数组成。
第二是判别器模块，通过输入上述生成器中生成的Fake图片与HR图片进行对抗，直至判别器分辨不出Fake图片和HR图片的真假，判别器由卷积层，激活层和批量归一化层组成；
第三是用于构建感知损失的VGG16网络，通过将生成器中生成的Fake图片与HR的图片一起输入预训练好的VGG16网络，通过分别提取Fake图片与HR的特征进行对比，作为正则项来惩罚生成对抗网络的损失函数；
最终通过生成器生成去噪和超分辨率后的干净图片。
生成器与判别器中的激活函数为PRelu函数，PRelu函数公式为：
PRelu(x)＝MAX(ax,0)
其中，ax指输出层的权重；Max(ax,0)通过比较0和输入ax，取大值。
在步骤(6)中，生成对抗网络中的生成器内部包括：
第一是多尺度特征融合模块，如图3所示，通过使用不同尺寸大小的卷积核对输入图像进行卷积操作，所属三种大小不同的卷积分别为(1×1，3×3，5×5)，由于卷积核不同的大小有不同的感受野，可以更好的提取浅层特征的图像纹理细节，其中(1×1)的卷积步长为1，填充为0，(3×3)的卷积步长为1，填充为1，输出通道为64，(5×5)的卷积步长为1，填充为2，输出通道为64，这样设置的好处是不会改变输入图片的尺寸大小。其中为了减少大卷积计算量分别在(3×3)和(5×5)的卷积前加上(1×1)的卷积，最后将三个卷积所提取的图像信息通过特征融合方式Concat在一起。
第二是提取图像深层特征纹理并去噪的模块，如图4所示，该模块由6个稠密网络块组成，6个模块依次连接并将每个模块输出的结果都乘一个残差系数，这里将残差系数设置为0.2。每个稠密网络由5部分组成，前4部分由(3×3)的卷积层和PRelu激活函数组成，其中(3×3)的卷积步长为1，填充为1，输出通道为64；第5部分由(3×3)的卷积组成，无激活函数，卷积步长为1，填充为1，输出通道为64。最后将每一层的输出与后面的所有输出相连接即每个层都会接受其前面所有层作为额外的输出。
第三是上采样部分模块，如图5所示，该模块分别由3个Up模块和2个Down模块组成，采用交叉连接的方式其中Up模块分别在头部，中部，尾部，再将Up模块的输入与下一个Up模块的输入连接，Down也同样采取这种连接方式。Up模块内部由4部分组成分别为2个卷积块和2个反卷积块，连接方式同样是交叉连接的方式，并将卷积块的输出与下一个卷积快的输出相减，反卷积块的输出与下一个反卷积输出相加。Down模块内部由三个卷积块和一个反卷积块组成，以(卷积—卷积—反卷积—卷积)的方式连接，并将第一个卷积的输出与反卷积的输出相减，第二个卷积的输出与第四个卷积的输出相加。其中Up模块和Down模块中的第一个卷积块由(1×1)的卷积，步长为1，填充为0，输出通道为64，以及PRelu函数组成；其余卷积块由(6×6)的卷积，步长为2，填充为2，输出通道为64，以及PRelu函数组成；Up模块与Down模块中的反卷积块由(6×6)的反卷积，步长为2，填充为2，输出通道为64，以及PRelu函数组成。其中网络默认生成的是2x图像，若要生成4x图像，上采样模块的卷积核大小应调整为(8×8)，步长为4，填充为2，其余参数不变。最后在输出部分添加SE层，SE用于学习通道间的注意力相关性筛选出了针对通道的注意力机制，通过全局池化层将所有的信息通道压缩到一起，在对不同通道进行激活达到筛选注意力的目的。
在步骤(6)中，生成对抗网络中的判别器包括：
判别器由9个卷积块依次连接组成，其中第一个卷积块由卷积层以及PRelu函数组成，最后一个卷积块只有一个卷积层组成，其余卷积块内部分别由卷积层，批次归一化层以及PRelu函数组成。所述判别器的卷积核大小都为(3×3)，步长依次为(1-2-1-2-1-2-1-2-1)，输出通道依次为(64-64-128-128-256-256-512-512-1)。
在步骤(6)中，生成对抗网络中的感知损失VGG16网络，采用VGG16网络的模型是在ImageNet比赛上面与训练好的模型，包括模型以及训练的参数。
在步骤(3)中的训练超分辨和去噪的对抗网络，包括在训练中采用Adam优化方式，其中判别器的损失函数为：
Dreal＝σ(D(y)-E[D(G(x))])→1如果y比G(x)更真实
Dfake＝σ(D(G(x))-E[D(y)]→0如果G(x)比y更真实
其中E(•)表示判别器的均值，δ表示Sigmoid激活函数，G(x)表示生成器生成的数据分布，D(y)表示判别器数据分布。
生成器的损失函数则是在判别器的损失函数基础引入正则项，即感知损失和像素损失(MSE)：
LG＝αLpixel+βLperceptual+γLGAN
其中VGG(·)表示一个包含预训练参数的VGG网络，VGG网络用于提取真实数据y和生成数据G(x)的特征；最后，GAN网络的损失函数LG由感知损失函数Lperceptual，像素损失Lpixel和判别器损失函数LGAN组成，其中α，β和γ表示超参数。
损失函数的超参数α，β和γ分别设置为1e-2,1,5e-3，得到不同精度的预训练后的生成对抗网络模型X-SDGan。
在步骤(1)中，微调模型的方法步骤(3)中，微调模型的方法为：设置学习率为1e-4，采用mini-batch的训练方法，batch-size设置为4，总共8752个图片块，训练6个epoch，使用Adam优化器迭代训练，其中Adam优化器指数衰减率为β1＝0.9，β2＝0.99。
在网络训练完成后，选择最佳的模型参数，对训练好的超分辨和去噪的生成器做验证，为了验证模型的鲁棒性选择两种胸部X光片数据集：
其一为步骤(1)中所选的广州市妇幼保健中心的1至5岁儿童患者的胸部X光片数据集，作为训练集组成的X光片均含有一定程度的病理区域，患者均患有不同程度的肺炎；
其二选择Covid-ChestXray数据集(参考地址：https://www.semanticscholar.org/cord19/download)来作为我们的验证集，Covid-ChestXray数据集是一个公开开放的胸部X光片和CT图像的公开数据集，这些患者对COVID-19或其他病毒和细菌性肺炎(MERS，SARS和ARDS)呈阳性或疑似，数据通过公共来源以及通过医院和医生间接收集来收集。
分别采用Chest X-Ray Images(Pneumonia)数据集、Covid Chest-Xray数据集的干净高分辨率图片、含噪声低分辨率图片训练生成对抗网络得到X-SDGan，将含噪声低分辨率图片输入X-SDGan的生成器生成超分辨率和去噪的图片，如图6和图7所示。
为了验证训练网络的有效性，选取10张图片(不含在训练集中)来进行验证，表1是在噪声水平为15的情况下，对10张图片所组成的验证集的PSNR(峰值信噪比)、SSIM(结构相似性)以及EPI(边缘保持系数)客观评价指标求均值的结果，所得结果将与(BM3D+BICUBIC)方法进行对比。通过表1可以看出本发明在客观评价方面也取得了很好的效果。
表1验证数据性能参数均值
通过表1可以观察到，与传统的BM3D+BICUBIC方法相比，X-SDGan方法的平均PSNR值比BM3D+BICUBIC方法高2.975；而SSIM和EPI代表超分辨后的图像结构变化与边缘保留细节的指标，其值越高表示图像结构与边缘保留性能越好，从表1可知，X-SDGan的SSIM和EPI值比BM3D+BICUBIC分别高出了0.05和0.048。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于生成对抗网络的胸部X光片超分辨率和去噪方法，其特征在于，包括以下步骤：
(1)收集胸部X光片，进行预处理后构建训练集；所述的胸部X光片包括清晰高分辨率图片和对应的低分辨率含噪声图片；
(2)构建胸部X光片的生成对抗网络；所述的生成对抗网络包括：
生成器，根据输入生成虚假图片，所述的虚假图片为去除噪声并且分辨率加倍的超分辨率图片；
判别器，用于判别所述的训练集中的清晰高分辨率图片与生成器生成的虚假图片；
VGG16网络，用于构建感知损失函数正则项；
所述的生成器包括：
多尺度浅层纹理特征提取模块，包括卷积层和激活函数层，用于抓取图片的浅层纹理特征，并将浅层纹理特征输出至深层纹理特征提取及噪声消除模块；
深层纹理特征提取及噪声消除模块，用于提取图像深层纹理特征并消除噪声，由6个稠密网络块组成，6个稠密网络块依次连接并将每个稠密网络块输出的结果都乘一个残差系数；每个稠密网络块由5部分组成，前4部分由(3×3)的卷积层和PRelu激活函数组成，其中(3×3)的卷积步长为1，填充为1，输出通道为64；第5部分由(3×3)的卷积组成，卷积步长为1，填充为1，输出通道为64；最后将每一层的输出与后面的所有输出相连接；
超分辨率模块，由上采样块组成，所述上采样块包括卷积层、反卷积层以及激活函数层，用于上采样并扩大图片的分辨率；
(3)将所述训练集中的低分辨率含噪声图片作为输入，对构建的生成对抗网络进行训练；在训练过程中生成器不断生成虚假图片，将生成的虚假图片和所述训练集中的清晰高分辨率图片不断在判别器中进行对抗，最终直至生成对抗网络收敛且判别器分辨不出虚假图片和清晰高分辨率图片，得到训练完成的生成对抗网络模型；
(4)将含有噪声且需要超分辨率的待处理胸部X光片进行预处理后，作为所述生成对抗网络模型的生成器的输入，生成去除噪声并且分辨率加倍的超分辨率图片，完成对待处理胸部X光片的超分辨率和去噪处理。
2.根据权利要求1所述的基于生成对抗网络的胸部X光片超分辨率和去噪方法，其特征在于，所述的预处理包括对胸部X光片进行旋转、缩放以及归一化。
3.根据权利要求1所述的基于生成对抗网络的胸部X光片超分辨率和去噪方法，其特征在于，多尺度浅层特征提取模块通过使用三种不同尺寸大小的卷积核对输入图像进行卷积操作，卷积核大小分别为(1×1)、(3×3)和(5×5)；其中(1×1)卷积核的卷积步长为1，填充为0，输出通道为64；(3×3)卷积核的卷积步长为1，填充为1，输出通道为64；(5×5)卷积核的卷积步长为1，填充为2，输出通道为64；最后将三个卷积核所提取的图像信息通过特征融合方式合并在一起；
超分辨率模块由3个Up模块和2个Down模块组成，其中Up模块分别在头部、中部、尾部，再将前一个Up模块的输入与下一个Up模块的输入连接，前一个Down模块的输入与下一个Down模块的输入连接；每个Up模块内部由4部分组成：分别为2个卷积块和2个反卷积块，连接方式是交叉连接的方式，并将前一个卷积块的输出与下一个卷积块的输出相减，前一个反卷积块的输出与下一个反卷积块的输出相加；Down模块内部由3个卷积块和一个反卷积块组成，以卷积-卷积-反卷积-卷积的方式连接，并将第一个卷积的输出与反卷积的输出相减，第二个卷积的输出与第四个卷积的输出相加；其中Up模块和Down模块中的第一个卷积块由(1×1)的卷积和PRelu函数组成，卷积步长为1，填充为0，输出通道为64；其余卷积块由(6×6)的卷积和PRelu函数组成，卷积步长为2，填充为2，输出通道为64；Up模块与Down模块中的反卷积块由(6×6)的反卷积和PRelu函数组成，反卷积步长为2，填充为2，输出通道为64。
4.根据权利要求1所述的基于生成对抗网络的胸部X光片超分辨率和去噪方法，其特征在于，所述的判别器由卷积层、激活函数层和批量归一化层组成。
5.根据权利要求4所述的基于生成对抗网络的胸部X光片超分辨率和去噪方法，其特征在于，判别器由9个卷积块依次连接组成，其中第一个卷积块由卷积层以及PRelu函数组成，最后一个卷积块由卷积层组成，其余卷积块分别由卷积层、批次归一化层以及PRelu函数组成；所述判别器的卷积核大小都为(3×3)，步长依次为1、2、1、2、1、2、1、2、1，输出通道依次为64、64、128、128、256、256、512、512、1。
6.根据权利要求1所述的基于生成对抗网络的胸部X光片超分辨率和去噪方法，其特征在于，所述的生成器和判别器的激活函数为PRelu函数；所述的PRelu函数为：
PRelu(x)＝MAX(ax，0)；
其中，ax指输出层的权重；Max(ax,0)通过比较0和输入ax取大值。
7.根据权利要求1所述的基于生成对抗网络的胸部X光片超分辨率和去噪方法，其特征在于，步骤(3)中，在训练时，通过设置不同的超参数，训练后获得若干组训练参数；将训练参数加载到生成器中，以峰值信噪比、结构相似性、边缘保持系数为图像指标来测试训练后的生成器的图片生成质量，挑选出其中指标评价最好的训练参数，加载到生成器中，作为最终的生成器模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011164179.6A CN112258415B (zh) | 2020-10-27 | 2020-10-27 | 一种基于生成对抗网络的胸部x光片超分辨率和去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011164179.6A CN112258415B (zh) | 2020-10-27 | 2020-10-27 | 一种基于生成对抗网络的胸部x光片超分辨率和去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112258415A CN112258415A (zh) | 2021-01-22 |
| CN112258415B true CN112258415B (zh) | 2024-02-20 |
Family
ID=74262674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011164179.6A Active CN112258415B (zh) | 2020-10-27 | 2020-10-27 | 一种基于生成对抗网络的胸部x光片超分辨率和去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112258415B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113052930A (zh) * | 2021-03-12 | 2021-06-29 | 北京医准智能科技有限公司 | 一种胸部dr双能量数字减影图像生成方法 |
| CN113326873A (zh) * | 2021-05-19 | 2021-08-31 | 云南电网有限责任公司电力科学研究院 | 一种基于数据增强的电力设备分合闸状态自动分类方法 |
| CN113487495B (zh) * | 2021-06-02 | 2022-04-29 | 湖北地信科技集团股份有限公司 | 一种基于深度学习的多尺度高分影像抗噪生成方法 |
| CN113240669A (zh) * | 2021-06-11 | 2021-08-10 | 上海市第一人民医院 | 一种基于核磁影像的脊椎图像处理方法 |
| CN113792791B (zh) * | 2021-09-14 | 2024-05-03 | 百度在线网络技术（北京）有限公司 | 针对视觉模型的处理方法及装置 |
| CN115984106B (zh) * | 2022-12-12 | 2024-04-02 | 武汉大学 | 一种基于双边生成对抗网络的线扫描图像超分辨率方法 |
| CN117407663B (zh) * | 2023-12-15 | 2024-03-26 | 山东科技大学 | 一种基于卷积神经网络的全波形数据去噪方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949235A (zh) * | 2019-02-26 | 2019-06-28 | 浙江工业大学 | 一种基于深度卷积神经网络的胸部x光片去噪方法 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
-
2020
- 2020-10-27 CN CN202011164179.6A patent/CN112258415B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949235A (zh) * | 2019-02-26 | 2019-06-28 | 浙江工业大学 | 一种基于深度卷积神经网络的胸部x光片去噪方法 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112258415A (zh) | 2021-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112258415B (zh) | 一种基于生成对抗网络的胸部x光片超分辨率和去噪方法 | |
| CN110443867B (zh) | 基于生成对抗网络的ct图像超分辨率重构方法 | |
| CN111325686B (zh) | 一种基于深度学习的低剂量pet三维重建方法 | |
| Tang et al. | Unpaired low-dose CT denoising network based on cycle-consistent generative adversarial network with prior image information | |
| CN109785243B (zh) | 基于对抗生成网络未配准低剂量ct的去噪方法、计算机 | |
| Gu et al. | MedSRGAN: medical images super-resolution using generative adversarial networks | |
| WO2022121160A1 (zh) | 一种基于深度学习的增强ct图像质量和分辨率的方法 | |
| Kuanar et al. | Low dose abdominal CT image reconstruction: An unsupervised learning based approach | |
| JP2020168352A (ja) | 医用装置及びプログラム | |
| CN112435164B (zh) | 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法 | |
| CN115953494B (zh) | 基于低剂量和超分辨率的多任务高质量ct图像重建方法 | |
| Jiang et al. | Low-dose CT lung images denoising based on multiscale parallel convolution neural network | |
| CN114241077B (zh) | 一种ct图像分辨率优化方法及装置 | |
| Li et al. | Low-dose CT image denoising with improving WGAN and hybrid loss function | |
| Gajera et al. | CT-scan denoising using a charbonnier loss generative adversarial network | |
| Zhu et al. | Metal artifact reduction for X-ray computed tomography using U-net in image domain | |
| CN112258642A (zh) | 基于深度学习的低剂量pet数据三维迭代更新重建方法 | |
| CN113516586A (zh) | 一种低剂量ct图像超分辨率去噪方法和装置 | |
| CN108038840B (zh) | 一种图像处理方法、装置、图像处理设备及存储介质 | |
| CN115601268A (zh) | 基于多尺度自注意力生成对抗网络的ldct图像去噪方法 | |
| CN110599530B (zh) | 基于双正则约束的mvct图像纹理增强方法 | |
| CN116863014A (zh) | 一种基于深度双域联合引导学习的ldct图像重建方法 | |
| Feng et al. | Dual residual convolutional neural network (DRCNN) for low-dose CT imaging | |
| CN115456890A (zh) | 基于多尺度双域判别器的生成对抗医学ct图像去噪方法 | |
| CN114926383A (zh) | 基于细节增强分解模型的医学图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |