CN112270654A - 基于多通道gan的图像去噪方法 - Google Patents
基于多通道gan的图像去噪方法 Download PDFInfo
- Publication number
- CN112270654A CN112270654A CN202011203808.1A CN202011203808A CN112270654A CN 112270654 A CN112270654 A CN 112270654A CN 202011203808 A CN202011203808 A CN 202011203808A CN 112270654 A CN112270654 A CN 112270654A
- Authority
- CN
- China
- Prior art keywords
- image
- loss
- network
- denoising
- mse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000006870 function Effects 0.000 claims abstract description 44
- 230000000694 effects Effects 0.000 claims abstract description 28
- 230000008447 perception Effects 0.000 claims abstract description 22
- 239000002131 composite material Substances 0.000 claims abstract description 21
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 8
- 230000008034 disappearance Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 48
- 238000012545 processing Methods 0.000 abstract description 10
- 238000004088 simulation Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008602 contraction Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000004718 Panda Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
基于多通道GAN的图像去噪算法,属于图形处理领域，具体涉及一种基于多通道GAN的图像去噪方法。首先，基于U‑net衍生网络，引入残差块跳跃连接提取特征并融合像素级特征进而有效保留图像细节信息；而后基于MSE、特征感知、对抗损失构建复合损失函数以迭代调节网络从而使得生成器与判别器达至纳什平衡，从而最大限度地去除图像噪声；最后利用算术平均加权融合三通道输出信息以获得最终去噪图像，效果是主观视觉特征显著，且在噪声各异条件下，所提算法具有较低耗时及较好的图像去噪性能。
Description
技术领域
本发明属于图形处理领域，具体涉及一种基于多通道生成对抗网络的图像去噪方法。
背景技术
近年来，伴随图像处理技术的快速进步，其在诸如医学影像、卫星遥感以及智能监控等应用领域获得持续关注。高质量图像是保证后续有效处理的前提，然而采集及传输过程中图像不可避免地被噪声所污染，从而影响后续图像分类、识别等任务完成的可靠性。因此，如何在不破坏图像原有特征条件下最大限度地去除噪声以尽可能恢复原始图像是目前图像处理领域的热点问题之一。
针对此问题，众多有效去噪算法相继被提出，常见去噪算法通常可分为以下两类：(a)基于传统滤波器去噪，其基于图像及噪声的统计及结构约束设计滤波器实现去噪。其中，Boston等人首先提出用于去除低密度噪声的中值滤波器(Median Filter,MF)，该滤波器对于高密度噪声适用性较差。基于此，Suman等人提出可高效滤除高密度噪声的自适应中值滤波器(Adaptive Median Filter,AMF)，由于该滤波器使用固定窗口尺寸，对于具有不同噪声密度的图像无法自适应调整窗口阈值，因而导致图像模糊。需要注意的是，上述滤波器仅利用噪声统计信息而较少考虑图像自身相关结构及统计约束，且卷积核设置不同将导致卷积过程丢失部分有用信息。针对此问题，Aharon M等人提出K均值奇异值分解(K-meansSingular Value Decomposition,K-SVD)方法，其利用离散余弦变换构造字典，并基于奇异矩阵更新字典参数。然而，该方法仅基于当前图像块恢复图像，没有考虑其他相关区域信息，从而导致纹理细节丢失。针对上述问题，基于图像非局域及稀疏性，Dabov K等提出三维块匹配方法(Block-Matching and 3D filtering,BM3D)，其基于硬阈值及维纳滤波联合去噪，可较好地保留图像细节，然其需要同时考虑多图像块匹配因而计算复杂度较高；(b)基于特征学习去噪，此类方法通过学习含噪与去噪图像之间映射关系实现去噪。其中，基于卷积神经网络(Convolutional Neural Network,CNN)权值共享、鲁棒性强、特征有效表达等优势，Jain V等人首次将CNN用于图像去噪，然而其去噪效果严重依赖特征提取深度，即基于浅层网络则泛化能力较差，而基于深层网络尽管去噪性能较好却计算复杂度较高。针对此问题，Zhang Kai等所提前馈去噪卷积网络(Denoising CNN,DnCNN)首次将残差思想应用至图像去噪，残差网络在提取深度特征时将低级特征信息作为参考，并引入批量归一化(Batch Normalization,BN)调节网络以提升网络收敛速度，从而高效获取残差图像进而显著改善去噪效果。2015年，Ronneberger等提出利用U-net实现有效语义分割，该网络由如下两部分构成：扩张路径用以精准定位，收缩路径用于获取上下文信息，基于此架构U-net可实现高效像素级分类，由此，Mattias P等人基于此网络实现图像去噪。此外，Mao song等人通过并行训练多通道自编码器以估计各通道最优权重，从而实现自适应图像去噪。上述算法皆基于开环网络，为使输出结果可反馈以调节网络从而改善去噪性能，Divakar等于2017年基于闭环思想提出利用对抗原理训练去噪网络，此去噪模型包括生成及判别模块，通过将判别结果反馈至生成模块以改善去噪效果。Wolterink Jelmer等人所提去噪模型中生成及判别模块均采用浅层卷积网络，其损失函数建模为像素及对抗损失，相比上述学习模型，该方法去噪效果较好，然而直观可感知细节即主观信息仍有明显丢失。针对此问题，Yang Q等人联合感知及对抗损失，基于预训练几何组特征差异衡量去噪效果，该方法表明感知损失更利于提升主观感知。为进一步提升去噪性能，Park HS等人采用如下复杂生成网络：生成网络包含收缩路径及具有短接连接的扩展路径，基于二维小波分解与重构实现上下采样，小波分解后接高通滤波器直接跳转至扩展路径，并连接收缩路径，从而尽可能保留图像细节，然而上述结构改善去噪效果的同时也使得计算复杂度显著增加。
发明内容
针对传统去噪算法去噪性能不佳的问题，本发明提出一种基于生成对抗网络的多通道图像去噪方法。所提方法首先分离彩色图像RGB三通道；其次利用U-net衍生网络及残差块构建生成模块以有效提取图像特征；而后基于全卷积神经网络构造对抗模块；最后，基于均方误差(Mean Square Error,MSE)损失、感知损失及对抗损失构建复合感知损失函数以改善去噪性能同时有效保留图像细节信息。
为实现上述目的，本发明的技术方案是：一种基于多通道GAN的图像去噪方法，包括如下步骤：
步骤1，生成对抗网络建立彩色图像去躁模型，通过U-net衍生网络提取图像特征，并通过残差块跳跃连接融合像素级特征；
步骤2，通过MSE、特征感知、对抗损失构建复合损失函数，用于迭代调节网络，使得生成器与判别器达至纳什平衡；
步骤3，通过算术平均加权融合三通道输出信息获得最终去噪图像。
进一步的，生成对抗网络建立彩色图像去噪模型包括建立特征提取模型及建立判别模型，
特征提取模型通过U-net衍生网络以及ResNet构建生成器网络，
生成器网络的编/解码器采用对称卷积操作，使图像输入/出维度相同，
生成器网络中第一层和最后一层卷积层的卷积核尺寸为7×7，其他层卷积层的卷积核大小为3×3，步长设置为1用于捕捉更多细节信息，
各卷积层后接BN用于提升学习率，加快网络训练速度，
各BN后链接激活函数ReLU，
最后一层以tanh(·)为激活函数用于缓解梯度消失效应，保证训练稳定性；
通过9个残差块跳跃连接融合像素级特征,使去噪时可有效保留图像低阶特征，
判别模型建立判别器网络，判别模型以生成网络所产生伪图像G(f)以及原始图像为输入，判别模块包含5个卷积层，每层卷积核大小为4×4，步长为2且滤波器个数依次为64、128、256及512；除最后一层外，其他层皆后接BN及非线性函数激活LeakyReLU；输出采用sigmod函数用于概率分析并将判别结果归一化，输出表征输入图像之间相似性，分数越高表明二者之间相似程度越大。
进一步的，通过MSE、特征感知、对抗损失构建复合损失函数的方法：使用如下三类损失度量构造可体现去噪效果、内容完整性以及主观视觉效果的复合损失函数；
(1)对抗损失
基于训练数据集，最小最大化如式(1)所示对抗损失以获得最优生成器及判别器而提升生成器所生成图像与原始图像之间相似性；
其中，G表示生成器特征提取操作，u为干净原始图像，Pu为干净图像的数据分布；f为含噪图像，Pf为对应含噪图像数据分布；E(·)为期望算子，logD(u)为判别器D正确识别真实图像概率，log(1-D(G(f)))为判别器D将生成图像识别为虚假图像的概率；
(2)MSE损失
通过MSE损失所具有的均值回归特性用于保证像素间一致性，缓解细节平滑效应，MSE损失表示为：
LMSE＝||G(f)-u||2 (2)
其中，u为原始干净图像，G(f)为输出去噪图像，LMSE为仅利用均方误差损失调节网络时所得损失值。
(3)感知损失
基于如下感知损失有效保持主观特征信息：
LVGG＝E(f,u)||φ(G(f))-φ(u)||2 (3)
其中，LVGG为仅利用感知损失调节网络时所得损失值，φ为预训练VGG-19网络最后卷积层输出，通过将原始与去噪图像分别输入预训练VGG-19网络以获取各自图像特征从而可衡量二者感知特征损失；
由上述，基于GAN所构建去噪网络的复合感知损失函数表示如下：
Ltotal＝λ1LMSE+λ2LVGG+λ3Ld (4)
其中，λ1，λ2，λ3分别表示各损失所占权重，Ld为仅利用对抗损失调节网络时所得损失值。
进一步的，通过算术平均加权融合三通道输出信息获得最终去噪图像的方法：
设三通道加权系数分别为wA、wB、wC，且满足wA+wB+wC＝1，则融合图像F像素(i,j)表示为：
F(i,j)＝wA·A(i,j)+wB·B(i,j)+wC·C(i,j) (5)
其中，A(i,j)、B(i,j)、C(i,j)分别表示三通道各自输出图像信息的像素值，
若令wA、wB、wC分别为δ(A(i,j)-max(A(i,j),B(i,j),C(i,j)))、δ(B(i,j)-max(A(i,j),B(i,j),C(i,j)))及δ(C(i,j)-max(A(i,j),B(i,j),C(i,j)))，则表示三通道基于像素取大原则融合；若令δ(A(i,j)-min(A(i,j),B(i,j),C(i,j)))、δ(B(i,j)-min(A(i,j),B(i,j),C(i,j)))及δ(C(i,j)-min(A(i,j),B(i,j),C(i,j)))，则表示三通道基于像素取小准则融合，其中，max(·),min(·),δ(·)分别表示极大值、极小值算子以及狄拉克函数，使用算术平均方法融合三通道信息，wA＝wB＝wC＝1/3。
有益效果：针对图像采集和传输过程中所产生噪声导致后续图像处理能力下降的问题，本发明提出基于生成对抗网络(Generative Adversarial Network,GAN)的分通道图像去噪算法。所提方法将含噪彩色图像分离为RGB三通道，各通道基于具有相同架构的端到端可训练的GAN实现去噪；GAN生成器模块基于U-net衍生网络以及残差块构建，从而可参考低级特征信息以有效提取深度特征进而避免丢失细节信息；而判别器模块则基于全卷积网络构造，因而可获得像素级分类从而提升判别精确性；此外，为改善去噪能力且尽可能保留图像细节信息，所构建去噪网络基于如下三类损失度量构建复合损失函数：对抗损失，视觉感知损失，以及均方误差损失；最后，利用算术平均方法融合三通道输出信息以获得最终去噪图像。实验结果表明，与主流算法相比，所提算法可有效去除图像噪声，且可较好地恢复原始图像细节。
附图说明
图1为本发明实现的流程图。
图2为本发明整体去噪框架图。
图3为特征提取网络结构图。
图4为判别网络结构图。
图5为多种去噪算法主观视觉性能估计效果图。
图6为多种损失函数主观视觉性能估计效果图。
具体实施方式
下面结合附图对本发明的实现步骤做进一步详细描述：本发明基于生成对抗学习模型，提出了一种多通道融合图像去噪算法。如图1所示，首先，该算法基于U-net衍生网络提取图像特征，并基于残差块跳跃连接融合像素级特征进而有效保留图像细节信息；而后基于MSE、特征感知、对抗损失构建复合损失函数以迭代调节网络从而使得生成器与判别器达至纳什平衡，从而最大限度地去除图像噪声；最后利用算术平均加权融合三通道输出信息以获得最终去噪图像。数值仿真表明，与BM3D、DnCNN、MSRResNET-GAN、RED-WGAN、WGAN-VGG及DUGAN等六种主流去噪算法相比，所提算法主观视觉特征显著，且在噪声各异条件下，所提算法具有较低耗时及较好的图像去噪性能。实现本发明的基本思路是，首先建立图像特征提取模型；其次基于U-net衍生网络方法，并引入残差块跳跃连接以保留细节信息；然后，将去噪图像与真实图像分别送至判别器中，并基于复合感知损失进行迭代训练网络；最后利用加权方法实现去噪性能估计。
针对上述技术构思，本发明各个步骤的具体实现方式如下：
1建立特征提取模型
生成模块是基于GAN去噪网络的核心部分，图像去噪性能较大程度上依赖于生成模块。U-net为具有编码/解码器结构的全卷积神经网络，与普通编解码结构相比，U-net的优势在于具有跳跃连接，其将编/解码器特征图按通道拼合，因而可保留具有不同分辨率的像素级细节信息。此外，ResNet由于残差块间跳跃连接可避免梯度消失从而可显著提高网络收敛速度。由此，本发明利用U-net衍生网络以及ResNet构建生成模块，在U-net基础上引入部分具有跳跃连接的残差块，通过编码器、解码器及残差块的处理尽可能保留图像信息同时不显著增加计算复杂度；最后通过损失函数迭代调整网络。生成网络结构如图3所示，其中，k、n、s分别表示卷积核大小、滤波器数以及卷积步长。
生成网络中，编/解码器采用对称卷积操作以保证图像输入/出维度相同；第一层和最后一层卷积核尺寸为7×7，其他层卷积核大小为3×3，步长设置为1以捕捉更多细节信息；各卷积层后接BN以提升学习率，从而加快网络训练速度；各BN后链接激活函数ReLU；最后一层以tanh(·)为激活函数以缓解梯度消失效应从而保证训练稳定性；此外，生成模块中还加入9个残差块以保证去噪效果的同时可有效保留图像低阶特征。
2建立判别模型
判别模块基于全卷积神经网络构建，其将传统CNN中全连接层替换为卷积层以消除输入图片尺寸限制；判别模块以生成网络所产生伪图像G(f)以及原始图像为输入，判别模块结构如图4所示。判别模块包含5个卷积层，每层卷积核大小为4×4，步长为2且滤波器个数依次为64、128、256及512；除最后一层外，其他层皆后接BN及非线性函数激活LeakyReLU以避免ReLU神经元“死亡”；输出采用sigmod函数以便于概率分析并将判别结果归一化，此输出表征输入图像之间相似性，分数越高表明二者之间相似程度越大。
3损失函数
为了训练所构建生成器及判别器模块以改善去噪能力同时尽可能保持原始图像内容及纹理等重要特征，本发明基于如下三类损失度量构造可体现去噪效果、内容完整性以及主观视觉效果的复合损失函数：传统可度量生成对抗网络性能的对抗损失，表征主观信息的视觉感知损失，以及表述像素间一致性的MSE损失。
(1)对抗损失
基于训练数据集，最小最大化如式(1)所示对抗损失以获得最优生成器及判别器模块从而提升生成器所生成图像与原始图像之间相似性进而改善图像去噪性能。
(2)MSE损失
对抗损失虽可有效调节生成及判别模块，然易导致高频伪影。由于MSE所具有的均值回归特性可保证像素间良好的一致性，因此可有效缓解细节平滑效应。MSE损失可表示为：
LMSE＝||G(f)-u||2 (7)
(3)感知损失
图像处理中细节信息完整性显得尤为重要，然而基于上述MSE损失训练网络易产生图像模糊，从而导致主观信息缺失。由于感知损失可度量生成及原始图像在感知特征空间的距离，而不仅局限于像素空间。因此，可基于如下感知损失有效保持主观特征信息：
LVGG＝E(f,u)||φ(G(f))-φ(u)||2 (8)
其中，φ为预训练VGG-19网络最后卷积层输出，通过将原始与去噪图像分别输入预训练VGG-19网络以获取各自图像特征从而可衡量二者感知特征损失。
(4)复合感知损失函数
基于以上所述，基于GAN所构建去噪网络的复合感知损失函数可表示如下：
Ltotal＝λ1LMSE+λ2LVGG+λ3Ld (9)
其中，λ1，λ2，λ3分别表示各损失权重，其可基于实验设置。
4融合模块
所构建去噪网络中融合模块采用空域图像融合算法，即加权平均法。设三通道加权系数分别为wA、wB、wC，且满足wA+wB+wC＝1，则融合图像F像素(i,j)可表示为：
F(i,j)＝wA·A(i,j)+wB·B(i,j)+wC·C(i,j) (10)
加权系数可通过诸如最大、最小、平均以及主成分分析(Principal ComponentAnalysis,PCA)等方法设置。若令wA、wB、wC分别为δ(A(i,j)-max(A(i,j),B(i,j),C(i,j)))、δ(B(i,j)-max(A(i,j),B(i,j),C(i,j)))及δ(C(i,j)-max(A(i,j),B(i,j),C(i,j)))，则表示三通道基于像素取大原则融合；类似地，若令δ(A(i,j)-min(A(i,j),B(i,j),C(i,j)))、δ(B(i,j)-min(A(i,j),B(i,j),C(i,j)))及δ(C(i,j)-min(A(i,j),B(i,j),C(i,j)))，则意味着三通道基于像素取小准则融合，其中，max(·),min(·),δ(·)分别表示极大值、极小值算子以及狄拉克函数。由于所构建去噪网络无差别处理三通道信息，因此为了尽可能保持图像原有细节信息，本发明采用算术平均方法融合三通道信息，即wA＝wB＝wC＝1/3。
本发明的效果可通过以下仿真进一步证明，通过仿真可知，本发明与现有技术相比具有以下优点：
本发明基于对抗学习去噪模型，并引入U-net衍生网络及残差块重构特征提取模块，从而实现图像初步去噪工作，且提高了去噪网络的稳定性；此外本发明通过复合感知损失反向迭代地训练网络以改善算法去噪性能，一定程度上降低了算法计算复杂度，且在噪声各异条件下具有显著的视觉主观感受以及较高的客观评价指标。
仿真条件：生成器由15层CNN构成(如图3所示)，其中包含9层残差网络，编/解码结构中卷积核大小分别设置为7×7、3×3、3×3、3×3、3×3、7×7；判别器基于全卷积神经网络构建(如图4所示)，卷积核大小设置为4×4；训练过程中，批处理大小为64，采用Adam算法更新梯度，学习率为0.001，动量值为0.9，权值衰减为0.00001；为增加训练样本数，可对训练数据随机添加类别、密度各异的噪声以增加模型泛化能力。
仿真内容：
仿真1：多种去噪算法主观视觉性能估计效果图。图5为采用BM3D、DnCNN、RED-WGAN、WGAN-VGG、MSRResNet-GAN、DUGAN算法和本发明去噪效果图对比。
图5为所提方法及对比算法所得去噪效果对比图，对应所得PSNR/SSIM如表1、2所示，其中加粗字体标识最高指标值，下划线标识次最高值。由图5的(c)可知，BM3D虽可有效去除噪声，然而其在联合滤波及逆变换过程中易产生细节平滑，从而造成信息丢失进而导致图像模糊；其次，由于DnCNN卷积中采用固定滤波窗口提取特征且无补充信息结构，因而产生如图5的(d)所示的颜色信息丢失现象；相较于上述算法，模型MSRResNET-GAN所得去噪图像边缘较锐化，然由于其缺乏特征重建结构，从而导致如图5的(e)所示图像特征缺失；再者，WGAN-VGG去噪网络基于对抗及感知损失调节模型参数，虽可较大限度地保留图像细节，但易产生部分高频伪影；此外，RED-WGAN及DUGAN模型分别采用典型编/解码结构及残差块构建去噪网络，因而可保持相对较完整的主观信息，但由于上述两模型特征提取时均采用跨层连接进行像素级融合，进而导致去噪效果易产生如图5的(g)、(h)所示模糊化现象；相较于上述模型，所提算法综合利用编解码结构及残差块的优势构建基于GAN的去噪网络，且构造可体现去噪效果、内容完整性以及主观视觉效果的复合损失函数，因而可有效去除图像噪声同时尽可能保持图像细节信息。
表1不同算法去噪PSNR值
表2不同算法去噪SSIM值
表1、2为表征图像逼近程度的PSNR/SSIM，由此二表可知，BM3D、DnCNN所得PSNR均值分别比所提算法低1.96dB及1.84dB，SSIM分别低0.0487及0.0457，其可归因于BM3D采用传统滤波器去噪且DnCNN采用固定滤波窗口进行去噪操作；其次，MSRResNET-GAN将残差网络引入去噪操作，因而其在噪声密度25％的Panda图像下拥有次高指标值，所得PSNR均值比所提算法低0.55dB，SSIM均值低0.0262；再者，WGAN-VGG由于采用完全卷积操作提取特征，其PSNR均值比所提算法降低0.6dB，SSIM均值降低0.0227；需要注意的是，由于RED-WGAN及DUGAN利用自编码模型及残差网络提取特征，因而部分去噪性能优于本发明算法，但所提算法PSNR在噪声各异条件下比此二者分别平均提高0.21dB和0.04dB，SSIM分别平均提高0.0113和0.0046。综上所述，所提算法在视觉主观感受及图像修复逼近程度两方面皆有较好的去噪效果。
仿真2：图6表示多种损失函数主观视觉性能估计效果图。考虑不同损失对网络去噪性能的影响，图6示出了分别利用L1及感知损失、对抗及感知损失、仅感知损失、MSE及感知损失、综合MSE、对抗及感知损失对网络调节后去噪效果对比图。
图6为所提模型基于如下损失函数所得去噪效果图：(a)综合L1及感知损失；(b)综合对抗及感知损失；(c)仅感知损失；(d)综合MSE及感知损失；(e)综合MSE、对抗及感知损失。由图6的(a)、(b)可知，采用L1和感知损失以及对抗和感知复合损失函数虽可保持主观细节信息，但会导致图像高频信息丢失；其次，由图的6(c)可知，仅利用感知损失将使得网络训练更侧重特征空间，因而相比上述二者轮廓突出，但易导致部分高频伪影；再者，图6的(d)较大程度地保留了图像细节信息从而可改善人类主观感知；最后，由图6的(e)可知，所提算法所采用的综合损失可保留图像主观信息同时有效消除噪声。
表3不同损失函数去噪PSNR/SSIM值
表3为基于不同损失所得PSNR/SSIM，由于网络利用图像像素差异进行优化，因而基于MSE损失调节网络易产生较高PSNR/SSIM值。由表3可知，综合MSE及感知损失调节网络取得次高指标值，所提损失所得PSNR比其提升0.04dB。综上所述，所提综合损失函数去噪效果优于其他组合损失函数，因而可显著提升网络去噪性能。
仿真3：运行时间对比。实验选取标准图像库中三幅测试图像，并基于上述平台评估算法平均运行时间，所得结果如表4所示。
由表4可知，相较于DnCNN、MSRResNET-GAN、WGAN-VGG及DUGAN，所提算法耗时较低，其可归因于DnCNN、MSRResNET-GAN和WGAN-VGG采用较为耗时的常规特征提取操作，而DUGAN具有较大网络深度，特征提取较为耗时；其次，RED-WGAN耗时与所提算法相当；再者，BM3D虽具有图像块提取及搜索操作，但代码优化后运行速度显著提升，从而其耗时小于所提算法。需要注意的是，牺牲计算代价所换来的收益为噪声各异条件下所提算法去噪性能相较于对比算法有所提升。综上所述，由于所提算法增加网络宽度而非深度，并引入残差网络，从而缩小网络参数规模同时降低运行时间，进而表明所提算法可以较小计算代价获得较好去噪效果。
表4不同算法耗时对比
综上所述，本发明基于对抗学习理论，提出来一种多通道生成对抗网络的图像去噪算法。首先，所提算法利用U-net衍生网络提取图像特征，并基于残差块跳跃连接融合像素级特征进而有效保留图像细节信息；其次，基于MSE、特征感知、对抗损失构建复合损失函数以迭代调节网络从而使得生成器与判别器达至纳什平衡，从而最大限度地去除图像噪声；最后，基于算术平均加权融合三通道输出信息以获得最终去噪图像。通过与BM3D、DnCNN、MSRResNET-GAN、RED-WGAN、WGAN-VGG及DUGAN等六种主流去噪算法对比验证了所提算法有效性。由此，本发明所提算法可以为工程应用中图像处理领域的去噪性能研究提供坚实的理论与实现依据。
以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。
Claims (4)
1.一种基于多通道GAN的图像去噪方法，其特征在于，包括如下步骤：
步骤1，生成对抗网络建立彩色图像去躁模型，通过U-net衍生网络提取图像特征，并通过残差块跳跃连接融合像素级特征；
步骤2，通过MSE、特征感知、对抗损失构建复合损失函数，用于迭代调节网络，使得生成器与判别器达至纳什平衡；
步骤3，通过算术平均加权融合三通道输出信息获得最终去噪图像。
2.如权利要求1所述的基于多通道GAN的图像去噪方法，其特征在于，生成对抗网络建立彩色图像去噪模型包括建立特征提取模型及建立判别模型，
特征提取模型通过U-net衍生网络以及ResNet构建生成器网络，
生成器网络的编/解码器采用对称卷积操作，使图像输入/出维度相同，
生成器网络中第一层和最后一层卷积层的卷积核尺寸为7×7，其他层卷积层的卷积核大小为3×3，步长设置为1用于捕捉更多细节信息，
各卷积层后接BN用于提升学习率，加快网络训练速度，
各BN后链接激活函数ReLU，
最后一层以tanh(·)为激活函数用于缓解梯度消失效应，保证训练稳定性；
通过9个残差块跳跃连接融合像素级特征,使去噪时可有效保留图像低阶特征，
判别模型建立判别器网络，判别模型以生成网络所产生伪图像G(f)以及原始图像为输入，判别模块包含5个卷积层，每层卷积核大小为4×4，步长为2且滤波器个数依次为64、128、256及512；除最后一层外，其他层皆后接BN及非线性函数激活LeakyReLU；输出采用sigmod函数用于概率分析并将判别结果归一化，输出表征输入图像之间相似性，分数越高表明二者之间相似程度越大。
3.如权利要求1所述的基于多通道GAN的图像去噪方法，其特征在于，通过MSE、特征感知、对抗损失构建复合损失函数的方法：使用如下三类损失度量构造可体现去噪效果、内容完整性以及主观视觉效果的复合损失函数；
(1)对抗损失
基于训练数据集，最小最大化如式(1)所示对抗损失以获得最优生成器及判别器而提升生成器所生成图像与原始图像之间相似性；
其中，G表示生成器特征提取操作，u为干净原始图像，Pu为干净图像的数据分布；f为含噪图像，Pf为对应含噪图像数据分布；E(·)为期望算子，logD(u)为判别器D正确识别真实图像概率，log(1-D(G(f)))为判别器D将生成图像识别为虚假图像的概率；
(2)MSE损失
通过MSE损失所具有的均值回归特性用于保证像素间一致性，缓解细节平滑效应，MSE损失表示为：
LMSE＝||G(f)-u||2 (2)
其中，u为原始干净图像，G(f)为输出去噪图像，LMSE为仅利用均方误差损失调节网络时所得损失值。
(3)感知损失
基于如下感知损失有效保持主观特征信息：
LVGG＝E(f,u)||φ(G(f))-φ(u)||2 (3)
其中，LVGG为仅利用感知损失调节网络时所得损失值，φ为预训练VGG-19网络最后卷积层输出，通过将原始与去噪图像分别输入预训练VGG-19网络以获取各自图像特征从而可衡量二者感知特征损失；
由上述，基于GAN所构建去噪网络的复合感知损失函数表示如下：
Ltotal＝λ1LMSE+λ2LVGG+λ3Ld (4)
其中，λ1，λ2，λ3分别表示各损失所占权重，Ld为仅利用对抗损失调节网络时所得损失值。
4.如权利要求1所述的基于多通道GAN的图像去噪方法，其特征在于，
通过算术平均加权融合三通道输出信息获得最终去噪图像的方法：
设三通道加权系数分别为wA、wB、wC，且满足wA+wB+wC＝1，则融合图像F像素(i,j)表示为：
F(i,j)＝wA·A(i,j)+wB·B(i,j)+wC·C(i,j) (5)
其中，A(i,j)、B(i,j)、C(i,j)分别表示三通道各自输出图像信息的像素值，
若令wA、wB、wC分别为δ(A(i,j)-max(A(i,j),B(i,j),C(i,j)))、δ(B(i,j)-max(A(i,j),B(i,j),C(i,j)))及δ(C(i,j)-max(A(i,j),B(i,j),C(i,j)))，则表示三通道基于像素取大原则融合；若令δ(A(i,j)-min(A(i,j),B(i,j),C(i,j)))、δ(B(i,j)-min(A(i,j),B(i,j),C(i,j)))及δ(C(i,j)-min(A(i,j),B(i,j),C(i,j)))，则表示三通道基于像素取小准则融合，其中，max(·),min(·),δ(·)分别表示极大值、极小值算子以及狄拉克函数，使用算术平均方法融合三通道信息，wA＝wB＝wC＝1/3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011203808.1A CN112270654A (zh) | 2020-11-02 | 2020-11-02 | 基于多通道gan的图像去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011203808.1A CN112270654A (zh) | 2020-11-02 | 2020-11-02 | 基于多通道gan的图像去噪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112270654A true CN112270654A (zh) | 2021-01-26 |
Family
ID=74345590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011203808.1A Pending CN112270654A (zh) | 2020-11-02 | 2020-11-02 | 基于多通道gan的图像去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112270654A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990215A (zh) * | 2021-03-04 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 图像去噪方法、装置、设备及存储介质 |
| CN113240669A (zh) * | 2021-06-11 | 2021-08-10 | 上海市第一人民医院 | 一种基于核磁影像的脊椎图像处理方法 |
| CN113256531A (zh) * | 2021-06-11 | 2021-08-13 | 云南电网有限责任公司电力科学研究院 | 一种用于电力设备高光谱图像的降噪方法 |
| CN113609900A (zh) * | 2021-06-25 | 2021-11-05 | 南京信息工程大学 | 局部生成人脸定位方法、装置、计算机设备和存储介质 |
| CN113628150A (zh) * | 2021-07-05 | 2021-11-09 | 深圳大学 | 攻击图像生成方法、电子设备及可读存储介质 |
| CN113780301A (zh) * | 2021-07-26 | 2021-12-10 | 天津大学 | 防御对抗攻击的自适应去噪机器学习应用方法 |
| CN113838040A (zh) * | 2021-09-29 | 2021-12-24 | 西安工程大学 | 一种针对彩色纹理织物缺陷区域的检测方法 |
| CN113902647A (zh) * | 2021-11-19 | 2022-01-07 | 东北师范大学 | 一种基于双闭环网络的图像去模糊方法 |
| CN115442613A (zh) * | 2021-06-02 | 2022-12-06 | 四川大学 | 一种利用gan的基于帧间信息的噪声去除方法 |
| CN118397033A (zh) * | 2024-06-28 | 2024-07-26 | 厦门凡祈丰科技有限公司 | 一种时间域门限的混合高斯背景分离方法、装置、设备和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109035142A (zh) * | 2018-07-16 | 2018-12-18 | 西安交通大学 | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 |
| CN110097512A (zh) * | 2019-04-16 | 2019-08-06 | 四川大学 | 基于Wasserstein生成对抗网络的三维MRI图像去噪模型的构建方法及应用 |
| CN110473154A (zh) * | 2019-07-31 | 2019-11-19 | 西安理工大学 | 一种基于生成对抗网络的图像去噪方法 |
| CN110868598A (zh) * | 2019-10-17 | 2020-03-06 | 上海交通大学 | 基于对抗生成网络的视频内容替换方法及系统 |
-
2020
- 2020-11-02 CN CN202011203808.1A patent/CN112270654A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109035142A (zh) * | 2018-07-16 | 2018-12-18 | 西安交通大学 | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 |
| CN110097512A (zh) * | 2019-04-16 | 2019-08-06 | 四川大学 | 基于Wasserstein生成对抗网络的三维MRI图像去噪模型的构建方法及应用 |
| CN110473154A (zh) * | 2019-07-31 | 2019-11-19 | 西安理工大学 | 一种基于生成对抗网络的图像去噪方法 |
| CN110868598A (zh) * | 2019-10-17 | 2020-03-06 | 上海交通大学 | 基于对抗生成网络的视频内容替换方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| LONG BAO ET AL.: "Real Image Denoising Based on Multi-Scale Residual Dense Block and Cascaded U-Net with Block-Connection", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》, pages 3 * |
| 张元祺: "于生成对抗网络的彩色图像去噪方法", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 22 - 29 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990215A (zh) * | 2021-03-04 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 图像去噪方法、装置、设备及存储介质 |
| CN112990215B (zh) * | 2021-03-04 | 2023-12-12 | 腾讯科技（深圳）有限公司 | 图像去噪方法、装置、设备及存储介质 |
| CN115442613A (zh) * | 2021-06-02 | 2022-12-06 | 四川大学 | 一种利用gan的基于帧间信息的噪声去除方法 |
| CN113240669A (zh) * | 2021-06-11 | 2021-08-10 | 上海市第一人民医院 | 一种基于核磁影像的脊椎图像处理方法 |
| CN113256531A (zh) * | 2021-06-11 | 2021-08-13 | 云南电网有限责任公司电力科学研究院 | 一种用于电力设备高光谱图像的降噪方法 |
| CN113609900A (zh) * | 2021-06-25 | 2021-11-05 | 南京信息工程大学 | 局部生成人脸定位方法、装置、计算机设备和存储介质 |
| CN113609900B (zh) * | 2021-06-25 | 2023-09-12 | 南京信息工程大学 | 局部生成人脸定位方法、装置、计算机设备和存储介质 |
| CN113628150A (zh) * | 2021-07-05 | 2021-11-09 | 深圳大学 | 攻击图像生成方法、电子设备及可读存储介质 |
| CN113628150B (zh) * | 2021-07-05 | 2023-08-08 | 深圳大学 | 攻击图像生成方法、电子设备及可读存储介质 |
| CN113780301B (zh) * | 2021-07-26 | 2023-06-27 | 天津大学 | 防御对抗攻击的自适应去噪机器学习应用方法 |
| CN113780301A (zh) * | 2021-07-26 | 2021-12-10 | 天津大学 | 防御对抗攻击的自适应去噪机器学习应用方法 |
| CN113838040A (zh) * | 2021-09-29 | 2021-12-24 | 西安工程大学 | 一种针对彩色纹理织物缺陷区域的检测方法 |
| CN113902647A (zh) * | 2021-11-19 | 2022-01-07 | 东北师范大学 | 一种基于双闭环网络的图像去模糊方法 |
| CN113902647B (zh) * | 2021-11-19 | 2024-08-06 | 东北师范大学 | 一种基于双闭环网络的图像去模糊方法 |
| CN118397033A (zh) * | 2024-06-28 | 2024-07-26 | 厦门凡祈丰科技有限公司 | 一种时间域门限的混合高斯背景分离方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112270654A (zh) | 基于多通道gan的图像去噪方法 | |
| CN114140353B (zh) | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 | |
| Dong et al. | Deep spatial–spectral representation learning for hyperspectral image denoising | |
| CN111028163B (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
| CN109360156B (zh) | 基于生成对抗网络的图像分块的单张图像去雨方法 | |
| CN107492070B (zh) | 一种双通道卷积神经网络的单图像超分辨率计算方法 | |
| CN106204467B (zh) | 一种基于级联残差神经网络的图像去噪方法 | |
| Wang et al. | Domain adaptation for underwater image enhancement | |
| CN104361328B (zh) | 一种基于自适应多列深度模型的人脸图像正规化方法 | |
| CN109872288A (zh) | 用于图像去噪的网络训练方法、装置、终端及存储介质 | |
| CN110796622B (zh) | 一种基于串联神经网络多层特征的图像比特增强方法 | |
| CN111260591B (zh) | 一种基于注意力机制的图像自适应去噪方法 | |
| CN107085835B (zh) | 基于四元数加权核范数最小的彩色图像去噪方法 | |
| CN107862249A (zh) | 一种分叉掌纹识别方法及装置 | |
| CN110490816B (zh) | 一种水下异构信息数据降噪方法 | |
| CN114266707A (zh) | 一种结合注意力机制和Retinex模型的低光图像增强方法 | |
| Paul et al. | Modified convolutional neural network with pseudo-CNN for removing nonlinear noise in digital images | |
| CN116523794A (zh) | 一种基于卷积神经网络的低光照图像增强方法 | |
| CN115861094A (zh) | 一种融合注意力机制的轻量级gan水下图像增强模型 | |
| CN110503608B (zh) | 基于多视角的卷积神经网络的图像去噪方法 | |
| Liu et al. | Low-light image enhancement network based on recursive network | |
| CN117726540A (zh) | 一种增强门控Transformer的图像去噪方法 | |
| CN111047537A (zh) | 一种图像去噪中恢复细节的系统 | |
| ZhiPing et al. | A new generative adversarial network for texture preserving image denoising | |
| CN113362241B (zh) | 一种结合高低频分解和两级融合策略的深度图去噪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |