CN115330620A - 一种基于循环生成对抗网络的图像去雾方法 - Google Patents
一种基于循环生成对抗网络的图像去雾方法 Download PDFInfo
- Publication number
- CN115330620A CN115330620A CN202210961250.6A CN202210961250A CN115330620A CN 115330620 A CN115330620 A CN 115330620A CN 202210961250 A CN202210961250 A CN 202210961250A CN 115330620 A CN115330620 A CN 115330620A
- Authority
- CN
- China
- Prior art keywords
- image
- generator
- fog
- layer
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 125000004122 cyclic group Chemical group 0.000 title claims abstract description 13
- 230000006870 function Effects 0.000 claims description 56
- 230000004913 activation Effects 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 30
- 238000010606 normalization Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 14
- 230000008447 perception Effects 0.000 claims description 9
- 230000002441 reversible effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 10
- 238000012545 processing Methods 0.000 abstract description 3
- 230000002829 reductive effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于循环生成对抗网络的图像去雾方法，属于图像处理技术领域。本发明包括：获取待处理的有雾图像；将待处理的有雾图像输入预先训练好的循环生成对抗网络中，获得所述待处理有雾图像对应的无雾图像；所述循环生成对抗网络包括生成器，生成器包括用于有雾图像生成无雾图像的去雾模块和图像有雾区域注意模块；去雾模块和图像有雾区域注意模块的输出结果相乘，得到最终输出的无雾图像。优点：基于循环生成对抗网络进行图像去雾，消除对成对数据集的要求，有雾图像特征提取充分，提升了去雾效果且最终得到的去雾图像自然均衡，减少了细节缺失。
Description
技术领域
本发明涉及一种基于循环生成对抗网络的图像去雾方法，属于图像处理技术领域。
背景技术
雾霾天气下拍摄的照片呈现出对比度模糊，色彩失真，图像信息丢失等缺点，这不仅降低了图片的清晰度，还严重影响了后期对图像的进一步处理。因此进行图像去雾工作的研究显得尤为重要。利用图像去雾技术可以减少甚至消除雾霭对图像产生的影响，还原出清晰、生动、图像细节丰富的图像，受到了许多研究人员的关注。而进一步研究同时具有更高质量和效率的图像去雾算法更是当下研究的重中之重，具有重要的现实的意义和应用价值。
近年来，随着图像去雾相关研究的不断推进，已经出现了许多非常优秀的图像去雾技术。目前国内外对去雾算法的研究，通常将图像去雾技术划分为三类，分别为：基于图像增强的去雾算法、基于物理模型的去雾算法以及基于深度学习的去雾算法。基于图像增强的去雾方法不考虑导致图像退化的原因，而是通过图像增强的方法增强有雾图的对比度，从而改善图像的质量，实现去雾的效果，虽然其结果符合人类的视觉要求，但只是淡化了雾霾对图像的影响，图像去雾后可能会丢失部分图像信息。基于物理模型的去雾算法通过先验信息估计有雾图像的透射率值和大气光照值，然后带入大气散射模型进而恢复无雾图像，但是不同的先验知识存在着各自应用场景的局限性，并且去雾效果与模型参数的选取有关，不精确的参数将直接影响复原后图像的效果。基于深度学习的去雾算法基于卷积神经网络或生成对抗网络等模型提取有雾图像特性，通过大量的数据训练模型使其拥有去雾的能力。根据网络输出是否为去雾后的图像可分为端到端的去雾网络和非端到端的去雾网络。在非端到端去雾网络中，去雾网络结合卷积神经网络与先验理论知识，在经过充分的训练后，能够学习到有雾图像的透射率值等参数将其带入大气散射模型中从而推演出无雾图像。端到端去雾网络通过提取有雾图像特性信息然后进行重建无雾图像，从而直接通过不同结构的卷积神经网络将输入的有雾图像输出为无雾图像。但是基于深度学习的端到端的图像去雾的方法中模型训练缺乏真实成对数据集，基于循环生成对抗网络实现图像去雾时对于有雾图像特征提取不充分影响最终去雾效果，且最终得到的去雾图像往往存在细节缺失和不自然。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种基于循环生成对抗网络的图像去雾方法，以解决现有技术中基于深度学习的端到端的图像去雾的方法中模型训练缺乏真实成对数据集、基于循环生成对抗网络实现图像去雾时对于有雾图像特征提取不充分影响最终去雾效果且最终得到的去雾图像存在细节缺失和不自然的问题。
为解决上述技术问题，本发明是采用下述方案实现的：
本发明提供了一种基于循环生成对抗网络的图像去雾方法，包括：
获取待处理的有雾图像；
将待处理的有雾图像输入预先训练好的循环生成对抗网络中，获得所述待处理有雾图像对应的无雾图像；
其特征在于，所述循环生成对抗网络包括生成器，生成器包括用于有雾图像生成无雾图像的去雾模块和图像有雾区域注意模块；去雾模块和图像有雾区域注意模块的输出结果相乘，得到最终输出的无雾图像。
优选的，所述循环生成对抗网络还包括判别器Dx和判别器Dy，生成器有两个，分别为生成器G和生成器F，生成器G和生成器F、判别器Dx和判别器Dy分别具有相同的网络结构；生成器G、判别器Dy和生成器F以及生成器G、判别器Dx和生成器F分别构成有雾图像的前向循环生成对抗网络以及无雾图像的反向循环生成对抗网络。
优选的，所述去雾模块包括串联的编码器、转化器和解码器，编码器用于提取与压缩有雾图像的特征；转换器用于整合编码器所提取的图像特征；解码器用于将转换器得到的无雾图像特征还原有雾部分特性，得到去雾后的无雾图像。
优选的，所述编码器包括串联的多尺度卷积模块和3个下采样模块；多尺度卷积模块包括4个不同尺度卷积核与ReLU激活函数层构成的卷积块，每个下采样模块均包括串联的卷积层、实例归一化层及 ReLU激活函数层。
优选的，所述转换器包括多个串联的残差模块，每个残差模块均包括串联的第一卷积块和第二卷积块，第一卷积块包括串联的卷积层、实例归一化层和ReLU激活函数层；第二卷积块包括串联的空洞卷积层、实例归一化层和ReLU激活函数层；每个残差模块的输入端和其第二卷积块的空洞卷积层均采用跳跃连接的形式连接。
优选的，所述解码器包括串联的3个第一上采样模块和1个第二上采样模块，每个第一上采样模块均包括串联的反卷积层、实例归一化层和ReLU激活函数层，第二上采样模块包括串联的tanh激活函数和卷积层。
优选的，所述编码器和解码器之间连接有跳层，用于融合底层的位置信息与深层的语义信息。
优选的，所述有雾区域注意模块并联在去雾网络模块上，用于提取有雾图像区域位置信息，输出有雾位置注意图，其包括串联的5个累加的卷积层、LeakyReLU激活函数、4个第三卷积块以及1个第四卷积块，每个第三卷积块均包括卷积层和LeakyReLU激活函数，第四卷积块包括卷积层和Sigmoid激活函数。
优选的，所述判别器包括串联的4个包括卷积层、实例归一化层和LeakyReLU激活函数的卷积块和1个包括卷积层和Sigmoid激活函数的卷积块。
优选的，所述循环生成对抗网络的训练，包括：
从数据集中随机选取无雾图像和有雾图像，得到训练样本集；
使用平均值为0和标准偏差为0.001的高斯分布对生成器和判别器的网络的权重参数W进行初始化；
输入训练样本集中的成对样本至前向循环生成对抗网络以及反向循环生成对抗网络中交替迭代训练，先固定生成器权重参数对判别器进行训练，使用随机梯度下降算法来更新判别器的最终权重参数，之后固定判别器的权重参数为所述更新的判别器的最终权重参数对生成器进行训练，使用随机梯度下降算法来更新生成器的最终权重参数；
所述随机梯度下降算法的W更新公式为：
其中，α为基础学习率，W′为更新后的权重参数，W为权重参数，LG为总损失函数；
LG＝LGAN+Lcyc(G，F)+βLlose(G，F)
式中，LGAN为生成器与判别器的对抗损失，Lcyc(G，F)为循环生成对抗网络中的循环一致性损失，Llose(G，F)为感知损失，β为感知损失函数在网络中所占的权重比例；
LGAN＝LGAN(G，Dy，x，y)+LGAN(F，Dx，x，y)
＝Ey～P(y)[lnDy(y)]+Ex～P(x)[ln(1-Dy(G(x)))]
+Ex～P(x)[lnDx(x)]+Ey～P(y)[ln(1-Dx(F(y)))]
式中，LGAN(G，Dy，x，y)为生成器G与判别器Dy的对抗损失， LGAN(F，Dx，x，y)为生成器F与判别器Dx的对抗损失，x代表有雾图像， y代表无雾图像，x～P(x)表示为x服从训练数据集样本P(x)的分布， y～P(y)表示为y训练数据集样本P(y)，G(x)表示为生成器G从P(x)中的有雾图像生成的无雾图像，F(y)表示为生成器F从P(y)中的无雾图像生成的有雾图像，E表示为数学期望，Dy(y)和Dy(G(x))分别表示为判别器Dy对无雾图像y和G(x)的判别结果，Dx(x)和Dx(F(y))分别表示为判别器Dx对有雾图像和F(y)的判别结果；
Lcyc(G，F)＝Ex～P(x)[||F(G(x))-x||1]+Ey～P(y)[||G(F(y))-y||1]
式中，F(G(x))表示为生成器F从G(x)再生成的有雾图像，G(F(y)) 表示为生成器G从F(y)再生成的无雾图像；
式中，
为损失网络，Cj表示网络的第j层，CjHjWj表示损失网络第j层的特征图的大小；
以预定的总损失函数值最小为目标，根据判别器的最终权重参数和生成器的最终权重参数得到训练好的循环生成对抗网络。
与现有技术相比，本发明所达到的有益效果：
1、本发明基于循环生成对抗网络进行图像去雾，针对目前监控、视频截图得到原始图像清晰度较差的情况，在生成器中引入了一个多尺度卷积模块对输入的原始图片进行更多的特征提取，从而有利于生成器获取更多特征信息提高去雾的效果。
2、本发明在生成器中增加图像有雾区域注意模块作为去雾网络的辅助分支，将其结果与去雾网络输出结果进行相乘，使得去雾网络最终生成的无雾图像在有雾与无雾不同部分区别更小，减少细节缺失，使得恢复的去雾图像更加自然均衡。
3、本发明将残差网络与空洞卷积引入到生成器中，空洞卷积扩大了生成网络的感受野，还能保留特征图的许多细节信息，级联的残差模块通过跳跃式连接的方式将信息传递到网络的更深层，可以在不增加计算复杂度的情况下有效解决深层网络梯度消失的问题。
附图说明
图1是本发明实施例提供的一种基于循环生成对抗网络的图像去雾方法实施的整体网络架构流程示意图；
图2是本发明实施例提供的一种循环生成对抗网络的生成器结构示意图；
图3是本发明实施例提供的一种循环生成对抗网络的判别器结构示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
本实施例提供了一种基于循环生成对抗网络的图像去雾方法，如图1所示的一种基于循环生成对抗网络的图像去雾方法实施的整体网络架构流程示意图，步骤如下：
步骤1：获取NYU2数据集作为训练生成器与判别器网络的原始数据集。
步骤2：根据获取到的原始数据集，分别将有雾图像的图像块和无雾图像的图像块按比例分成两部分，一部分作为训练样本，另一部分作为测试样本，便于训练；在获取的数据集中随机选取1000对图像作为训练样本，100对图像作为测试样本。将训练数据集中有雾图像分组记为P(x)，无雾图像分组记为P(y)，并将两组图像的像素统一归一化为256×256大小。
步骤3：将步骤2中的训练样本作为输入，设计循环生成对抗网络。
循环生成对抗网络设计了两个相互对称的GAN网络，包括判别器Dx和判别器Dy，生成器有两个，分别为生成器G和生成器F，生成器G和生成器F、判别器Dx和判别器Dy分别具有相同的网络结构；生成器G、判别器Dy和生成器F以及生成器G、判别器Dx和生成器F分别构成有雾图像的前向循环生成对抗网络以及无雾图像的反向循环生成对抗网络。利用两个生成器和两个判别器来实现原图像和生成图像之间的相互映射，实现了非配对数据集也能够实现数据的相互转化。
针对一组训练集图像，其中包含两个映射关系：有雾图像->无雾图像和无雾图像->有雾图像。生成器G将有雾图像x生成为近似无雾图像样本y^，再利用判别器Dy判断生成的无雾图像是否为真实图像，同时，利用生成器F将生成的无雾图像再生成为有雾图像。不断通过判别器来判别生成器生成无雾图像的准确性来提高生成器的性能，同时随着生成器的提高可以反过来训练判别器的判别结果是否准确。在生成器和判别器的不断对抗博弈过程中，生成器生成的图像质量更好，判别器的判别能力也越来越强。
为了确保最终生成的有雾图像x^和原本样本尽可能相似，网络中引入一个循环一致性损失，来保证网络在不断训练过程中最终生成的有雾图像与原样本图像越来越相似，此过程为前向循环过程。同理为了保证生成器F的训练效果，通过设置了一个对偶反向循环过程，实现无雾图像的后向循环过程。
通过上述训练得到弱监督的循环生成对抗网络可以实现较优的图像去雾网络。
进一步地，设计生成器的网络结构，如图2所示为本发明所设计的循环生成对抗网络的生成器结构示意图。其中生成器网络主要可以分为三个模块：编码器、转换器和解码器三个模块。
所述编码器为下采样过程，用于有雾图像特征信息的压缩与提取。首先采用了一个多尺度卷积模块对输入的原图进行特征提取。多尺度卷积模块由四个不同的卷积核来构成多尺度卷积模块，并且将卷积后的结果进行通道间的拼接作为原始图像的特征提取。然后进行三次下采样操作，将得到的特征图压缩到原有的1/4的大小，每个下采样模块由3×3卷积核、实例归一化层和ReLU激活函数组成。
所述转化器用于整合编码器所提取的图像特征，为了更好的整合图像特征，本发明采用6个串联的残差块代替原有的卷积来完成有雾图像特征到无雾图像特征的转换。其中残缺块由两个卷积块组成，两个卷积块都使用了卷积层+实例归一化层+非线性ReLU激活函数的结构，第一个卷积块中使用了3×3大小的标准卷积，第二个卷积块中使用了3×3的空洞卷积，引入空洞卷积主要是为了扩大生成网络的感受野的同时还能保留特征图的许多细节信息，提高生成无雾图像的准确性。
所述解码器主要为上采样模块，将转换器得到的无雾图像特征进一步还原有雾部分特性，得到去雾后的无雾图像。其中上采样模块由一个反卷积层+实例归一化层+非线性激活函数ReLU组合而成。最后一个上采样模块使用卷积和tanh激活函数，使用饱和tanh激活函数替代非饱和ReLU激活函数，可以有效预防梯度消失和梯度爆炸。
进一步地，在编码器和解码器中间引入跳层连接，在上采样过程中融合下采样过程中的特征图，跳层连接通过拼接将底层的位置信息与深层的语义信息相融合。采用Concat融合方式，使得图像包含更为丰富的特征信息，保障生成的去雾图像信息更完整、更真实。
进一步地，图像有雾区域注意模块为图像去雾网络的辅助分支，通过对有雾图像中的有雾区域进行定位，使得整个生成器网络最后生成的无雾图像更加清晰自然，即将其结果与去雾网络输出结果进行相乘，使得去雾网络最终生成的无雾图像在有雾与无雾边界区别更小，使得恢复的去雾图像更加自然均衡。该模块由一个全卷积网络构成，首先使用5个3×3的卷积层进行累加来获取输出图像较为全局的特征信息，其后紧跟着一个LeakyReLU激活函数，然后经过4个3×3 卷积层+LeakyReLU激活函数的结构来提取有雾图像区域位置信息，最后经过3×3卷积层+Sigmoid激活函数输出有雾区域注意图。
进一步地，设计判别器的网络结构，所述判别器网络用来判别生成无雾图像是否为原始有雾图像，利用生成器和判别器不断博弈的过程提升生成图像的质量。图3为判别器的网络结构图，本发明设计的判别器是一个全卷积的网络，将判别器输出映射为矩阵，能够更为充分考虑图像不同区域的细节特征。该判别器结构为5层全卷积网络，前四层卷积块包括卷积层、实例归一化层和非线性LeakyReLU激活函数，最后一层仅包含卷积层和Sigmoid激活函数。
步骤4：构建损失函数。该循环生成对抗网络的损失函数包括对抗损失、循环一致性损失和感知损失。对抗损失函数和循环一致性损失函数是循环生成对抗网络中固有的损失函数，从而能够使用非成对数据集训练得到与成对数据集相同的效果。同时为了提高图像的生成质量，特别引入了感知损失函数以加强对生成图像质量的约束。
对抗损失用来判断生成有雾图像与无雾图像的相似度，然后不断训练使得生成的无雾图像越来越相似。生成器G的目标是有雾图像x转换为无雾图像y，即x->y的映射。根据交叉熵损失，针对判别器Dy可以构造下面的损失函数：
LGAN(G，Dy，x，y)＝Ey～P(y)[lnDy(y)]+Ex～P(x)[ln(1-Dy(G(x)))]
同理判别器Dx可以构造下面的损失函数：
LGAN(F，Dx，x，y)＝Ex～P(x)[lnDx(x)]+Ey～P(y)[ln(1-Dx(F(y)))]
故，整个循环生成对抗损失函数为：
LGAN＝LGAN(G，Dy，x，y)+LGAN(F，Dx，x，y)
其中，LGAN(G，Dy，x，y)为生成器G与判别器Dy的对抗损失， LGAN(F，Dx，x，y)为生成器F与判别器Dx的对抗损失，x代表有雾图像， y代表无雾图像，x～P(x)表示为x服从训练数据集样本P(x)的分布， y～P(y)表示为y训练数据集样本P(y)，G(x)表示为生成器G从P(x)中的有雾图像生成的无雾图像，F(y)表示为生成器F从P(y)中的无雾图像生成的有雾图像，E表示为数学期望，Dy(y)和Dy(G(x))分别表示为判别器Dy对无雾图像y和G(x)的判别结果，Dx(x)和Dx(F(y))分别表示为判别器Dx对有雾图像和F(y)的判别结果；
循环一致性损失：用于约束有雾和无雾图像数据的相互转换，解决在只有对抗性损失的情况下不能保证输出分布与目标分布相一致的问题。记为：
Lcyc(G，F)＝Ex～P(x)[||F(G(x))-x||1]+Ey～P(y)[||G(F(y))-y||1]
其中，F(G(x))表示为生成器F从G(x)再生成的有雾图像，G(F(y)) 表示为生成器G从F(y)再生成的无雾图像；
感知损失：它是将真实图片卷积得到的特征与生成图片卷积得到的特征作比较，使得高层信息(内容和全局结构)更接近。对抗损失与循环一致性损失可能会出现的输出图片比较平滑(丢掉了细节部分 /高频部分)，因此引入感知损失函数是可以增强图像细节。
感知损失计算的是网络生成结果和真值在预训练的VGG网络特定层输出的特征图之间的距离，感知损失表示为：
其中，
表示损失网络，Cj表示网络的第j层，CjHjWj表示第 j层的特征图的大小。
综上，总损失函数可以表示为：
LG＝LGAN+Lcyc(G，F)+βLlose(G，F)
其中，β为感知损失函数的权重比例，表示感知损失函数所在部分对整体损失函数的影响程度。
步骤5：训练循环生成对抗网络。训练网络的目的是通过不断调整权重参数，使得步骤4中的损失函数值达到最小。首先对每一阶段网络的权重参数进行初始化，使用平均值为0和标准偏差为 0.001的高斯分布随机初始化权重参数。
初始化完成后，使用随机梯度下降算法来更新权重参数，更新权重参数规则为：
其中，α为基础学习率，W′为更新后的权重参数，W为权重参数，LG为总损失函数；
训练时将输入的成对样本先进行前向传播得到网络的输出值和损失函数总误差，再利用反向传播求出各个权重参数的偏导数，最后根据随机梯度下降公式对权重参数进行更新。
由于网络中生成器与判别器互相对抗学习最终实现两者共同达到最佳效果，因此训练时先固定生成器权重参数对判别器进行训练，记录损失函数的下降情况，根据上述更新权重的计算方式不断迭代更新判别器权重参数。同理训练完判别器后，固定判别器权重参数对生成器进行训练，不断更新生成器的权重参数。
重复上述步骤，以总损失函数值最小为目标，根据判别器的最终权重参数和生成器的最终权重参数得到训练好的循环生成对抗网络。
步骤6：将有雾图像输入到上述预先训练好的循环生成对抗网络中，得到无雾图像。
本发明采用增加特征信息的循环生成对抗网络进行图像去雾，属于端对端去雾，可以解决现有采用基于深度学习的图像去雾方法所面临的缺乏真实成对数据集问题。通过增加多尺度卷积模块对输入的原始图片进行更多的特征提取，提高去雾准确性。将空洞卷积与残差网络引入到生成器网络中，增加了生成网络的感受野还能保留特征图的许多细节信息。同时采用级联的残差块通过跳跃式连接的方式将信息传递到网络的更深层，可以在不增加计算复杂度的情况下有效解决深层网络梯度消失的问题。生成器中增加用于提高有雾图像细节恢复能力的特征提取模块作为去雾网络的辅助分支，使得恢复的去雾图像更加自然均衡。
上述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种基于循环生成对抗网络的图像去雾方法，包括：
获取待处理的有雾图像；
将待处理的有雾图像输入预先训练好的循环生成对抗网络中，获得所述待处理有雾图像对应的无雾图像；
其特征在于，所述循环生成对抗网络包括生成器，生成器包括用于有雾图像生成无雾图像的去雾模块和图像有雾区域注意模块；去雾模块和图像有雾区域注意模块的输出结果相乘，得到最终输出的无雾图像。
2.根据权利要求1所述的一种基于循环生成对抗网络的图像去雾方法，其特征在于，所述循环生成对抗网络还包括判别器Dx和判别器Dy，生成器有两个，分别为生成器G和生成器F，生成器G和生成器F、判别器Dx和判别器Dy分别具有相同的网络结构；生成器G、判别器Dy和生成器F以及生成器G、判别器Dx和生成器F分别构成有雾图像的前向循环生成对抗网络以及无雾图像的反向循环生成对抗网络。
3.根据权利要求1所述的一种基于循环生成对抗网络的图像去雾方法，其特征在于，所述去雾模块包括串联的编码器、转化器和解码器，编码器用于提取与压缩有雾图像的特征；转换器用于整合编码器所提取的图像特征；解码器用于将转换器得到的无雾图像特征还原有雾部分特性，得到去雾后的无雾图像。
4.根据权利要求3所述的一种基于循环生成对抗网络的图像去雾方法，其特征在于，所述编码器包括串联的多尺度卷积模块和3个下采样模块；多尺度卷积模块包括4个不同尺度卷积核与ReLU激活函数层构成的卷积块，每个下采样模块均包括串联的卷积层、实例归一化层及ReLU激活函数层。
5.根据权利要求3所述的一种基于循环生成对抗网络的图像去雾方法，其特征在于，所述转换器包括多个串联的残差模块，每个残差模块均包括串联的第一卷积块和第二卷积块，第一卷积块包括串联的卷积层、实例归一化层和ReLU激活函数层；第二卷积块包括串联的空洞卷积层、实例归一化层和ReLU激活函数层；每个残差模块的输入端和其第二卷积块的空洞卷积层均采用跳跃连接的形式连接。
6.根据权利要求3所述的一种基于循环生成对抗网络的图像去雾方法，其特征在于，所述解码器包括串联的3个第一上采样模块和1个第二上采样模块，每个第一上采样模块均包括串联的反卷积层、实例归一化层和ReLU激活函数层，第二上采样模块包括串联的tanh激活函数和卷积层。
7.根据权利要求3所述的一种基于循环生成对抗网络的图像去雾方法，其特征在于，所述编码器和解码器之间连接有跳层，用于融合底层的位置信息与深层的语义信息。
8.根据权利要求1所述的一种基于循环生成对抗网络的图像去雾方法，其特征在于，所述有雾区域注意模块并联在去雾网络模块上，用于提取有雾图像区域位置信息，输出有雾位置注意图，其包括串联的5个累加的卷积层、LeakyReLU激活函数、4个第三卷积块以及1个第四卷积块，每个第三卷积块均包括卷积层和LeakyReLU激活函数，第四卷积块包括卷积层和Sigmoid激活函数。
9.根据权利要求2所述的一种基于循环生成对抗网络的图像去雾方法，其特征在于，所述判别器包括串联的4个包括卷积层、实例归一化层和LeakyReLU激活函数的卷积块和1个包括卷积层和Sigmoid激活函数的卷积块。
10.根据权利要求2所述的一种基于循环生成对抗网络的图像去雾方法，其特征在于，所述循环生成对抗网络的训练，包括：
从数据集中随机选取无雾图像和有雾图像，得到训练样本集；
使用平均值为0和标准偏差为0.001的高斯分布对生成器和判别器的网络的权重参数W进行初始化；
输入训练样本集中的成对样本至前向循环生成对抗网络以及反向循环生成对抗网络中交替迭代训练，先固定生成器权重参数对判别器进行训练，使用随机梯度下降算法来更新判别器的最终权重参数，之后固定判别器的权重参数为所述更新的判别器的最终权重参数对生成器进行训练，使用随机梯度下降算法来更新生成器的最终权重参数；
所述随机梯度下降算法的W更新公式为：
其中，α为基础学习率，W′为更新后的权重参数，W为权重参数，LG为总损失函数；
LG＝LGAN+Lcyc(G,F)+βLlose(G,F)
式中，LGAN为生成器与判别器的对抗损失，Lcyc(G,F)为循环生成对抗网络中的循环一致性损失，Llose(G,F)为感知损失，β为感知损失函数在网络中所占的权重比例；
LGAN＝LGAN(G,Dy,x,y)+LGAN(F,Dx,x,y)
＝Ey～P(y)[lnDy(y)]+Ex～P(x)[ln(1-Dy(G(x)))]
+Ex～P(x)[lnDx(x)]+Ey～P(y)[ln(1-Dx(F(y)))]
式中，LGAN(G,Dy,x,y)为生成器G与判别器Dy的对抗损失，LGAN(F,Dx,x,y)为生成器F与判别器Dx的对抗损失，x代表有雾图像，y代表无雾图像，x～P(x)表示为x服从训练数据集样本P(x)的分布，y～P(y)表示为y训练数据集样本P(y)，G(x)表示为生成器G从P(x)中的有雾图像生成的无雾图像，F(y)表示为生成器F从P(y)中的无雾图像生成的有雾图像，E表示为数学期望，Dy(y)和Dy(G(x))分别表示为判别器Dy对无雾图像y和G(x)的判别结果，Dx(x)和Dx(F(y))分别表示为判别器Dx对有雾图像和F(y)的判别结果；
Lcyc(G,F)＝Ex～P(x)[||F(G(x))-x||1]+Ey～P(y)[||G(F(y))-y||1]
式中，F(G(x))表示为生成器F从G(x)再生成的有雾图像，G(F(y))表示为生成器G从F(y)再生成的无雾图像；
式中，
为损失网络，Cj表示网络的第j层，CjHjWj表示损失网络第j层的特征图的大小；
以预定的总损失函数值最小为目标，根据判别器的最终权重参数和生成器的最终权重参数得到训练好的循环生成对抗网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210961250.6A CN115330620A (zh) | 2022-08-11 | 2022-08-11 | 一种基于循环生成对抗网络的图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210961250.6A CN115330620A (zh) | 2022-08-11 | 2022-08-11 | 一种基于循环生成对抗网络的图像去雾方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115330620A true CN115330620A (zh) | 2022-11-11 |
Family
ID=83921701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210961250.6A Pending CN115330620A (zh) | 2022-08-11 | 2022-08-11 | 一种基于循环生成对抗网络的图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115330620A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116645298A (zh) * | 2023-07-26 | 2023-08-25 | 广东电网有限责任公司珠海供电局 | 一种架空输电线路视频监控图像去雾方法及装置 |
| CN116721403A (zh) * | 2023-06-19 | 2023-09-08 | 山东高速集团有限公司 | 一种道路交通标志检测方法 |
| CN117611442A (zh) * | 2024-01-19 | 2024-02-27 | 第六镜科技(成都)有限公司 | 一种近红外人脸图像生成方法 |
-
2022
- 2022-08-11 CN CN202210961250.6A patent/CN115330620A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116721403A (zh) * | 2023-06-19 | 2023-09-08 | 山东高速集团有限公司 | 一种道路交通标志检测方法 |
| CN116645298A (zh) * | 2023-07-26 | 2023-08-25 | 广东电网有限责任公司珠海供电局 | 一种架空输电线路视频监控图像去雾方法及装置 |
| CN116645298B (zh) * | 2023-07-26 | 2024-01-26 | 广东电网有限责任公司珠海供电局 | 一种架空输电线路视频监控图像去雾方法及装置 |
| CN117611442A (zh) * | 2024-01-19 | 2024-02-27 | 第六镜科技(成都)有限公司 | 一种近红外人脸图像生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363716B (zh) | 一种基于条件生成对抗网络复合降质图像高质量重建方法 | |
| CN113362223B (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
| CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN111798369B (zh) | 一种基于循环条件生成对抗网络的人脸衰老图像合成方法 | |
| CN108804397B (zh) | 一种基于少量目标字体的汉字字体转换生成的方法 | |
| CN115330620A (zh) | 一种基于循环生成对抗网络的图像去雾方法 | |
| JP2022548712A (ja) | フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法 | |
| CN108388900A (zh) | 基于多特征融合和时空注意力机制相结合的视频描述方法 | |
| CN110458060A (zh) | 一种基于对抗学习的车辆图像优化方法及系统 | |
| CN112183637A (zh) | 一种基于神经网络的单光源场景光照重渲染方法及系统 | |
| CN110880165A (zh) | 一种基于轮廓和颜色特征融合编码的图像去雾方法 | |
| CN112967178B (zh) | 一种图像转换方法、装置、设备及存储介质 | |
| CN113240683B (zh) | 基于注意力机制的轻量化语义分割模型构建方法 | |
| CN112241939B (zh) | 一种基于多尺度和非局部的轻量去雨方法 | |
| Wei et al. | Bidirectional hybrid LSTM based recurrent neural network for multi-view stereo | |
| CN115620010A (zh) | 一种rgb-t双模态特征融合的语义分割方法 | |
| CN114612832A (zh) | 一种实时手势检测方法及装置 | |
| CN111667421A (zh) | 一种图像去雾方法 | |
| CN116912708A (zh) | 一种基于深度学习的遥感影像建筑物提取方法 | |
| CN115565056A (zh) | 基于条件生成对抗网络的水下图像增强方法及系统 | |
| CN116012722A (zh) | 一种遥感影像场景分类方法 | |
| CN114943894A (zh) | 一种基于ConvCRF的高分遥感影像建筑物提取优化方法 | |
| CN113610732A (zh) | 基于交互对抗学习的全聚焦图像生成方法 | |
| CN115544613A (zh) | 一种多模态数据驱动的城市道路布局设计自动化方法 | |
| CN109766918A (zh) | 基于多层次上下文信息融合的显著性物体检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |