CN113658051A - 一种基于循环生成对抗网络的图像去雾方法及系统 - Google Patents
一种基于循环生成对抗网络的图像去雾方法及系统 Download PDFInfo
- Publication number
- CN113658051A CN113658051A CN202110713063.1A CN202110713063A CN113658051A CN 113658051 A CN113658051 A CN 113658051A CN 202110713063 A CN202110713063 A CN 202110713063A CN 113658051 A CN113658051 A CN 113658051A
- Authority
- CN
- China
- Prior art keywords
- image
- discriminator
- generator
- fog
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 125000004122 cyclic group Chemical group 0.000 title description 8
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 230000007704 transition Effects 0.000 claims abstract description 13
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 230000000694 effects Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims 1
- 239000002994 raw material Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 14
- 238000012545 processing Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 7
- 230000008447 perception Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于循环生成对抗网络的图像去雾方法及系统,包括:获取待处理的有雾图像;输入到预先训练好的密集连接循环生成对抗网络,输出无雾图像;所述密集连接循环生成对抗网络包括生成器,生成器包括编码器、转换器和解码器,编码器包括密集连接层,用于提取输入图像的特征,转换器包括过度转换层,用于将编码器阶段提取的特征进行组合,解码器包括密集连接层和缩放卷积神经网络层,密集连接层用于还原图像的原有特征,缩放卷积神经网络层用于去除还原的原有特征的棋盘格效应,得到最终输出的无雾图像。优点:基于循环生成对抗网络进行图像去雾,消除对成对数据集的要求,提高了特征图的利用率,保持网络训练效率,提高生成图像质量。
Description
技术领域
本发明涉及一种基于循环生成对抗网络的图像去雾方法及系统,属于图像处理技术领域。
背景技术
在信息化飞速发展的社会条件下,图像视频是人们获取信息的主要来源,图像的质量也严重影响着信息的读取与判断,现如今卫星遥感系统、航拍系统、室外监控和目标识别等系统的工作都是依赖于光学成像仪器来完成,但由于雾霾天气的出现,采集的照片清晰度会受到影响,呈现对比度降低,图像模糊,可提取的特征严重不足的特点。这不仅使得图片观赏性降低,还会影响图像后期的处理。因此,为了给研究者提供清晰、特征丰富的图像,让计算机视觉系统正常工作,图像去雾的研究是非常有必要的。
随着计算机视觉应用的日益广泛和计算机技术的发展与成熟,图像去雾技术己经取得了可观的研究成果。对于雾天图像的处理算法主要分为三类。一种是基于图像增强算法,基于图像增强的去雾方法是对被降质的图像进行增强,改善图像的质量,突出图像中景物的特征和有价值的信息。但这种方法不考虑导致图像退化的原因,处理后可能会导致图像部分信息的损失,出现失真现象。第二种是基于大气散射模型的方法,这种方法首先根据无雾图像的一些先验知识对大气散射模型参数进行估计,然后将参数代入模型进而恢复无雾图像。经过该方法处理得到的无雾图像更加清晰、自然,细节损失较少,但不同的先验知识存在着各自应用场景的局限性。三是基于深度学习的方法,大多数研究以合成的雾图数据作为训练集,训练不同类型的卷积神经网络来估计透射率或者直接估计无雾图像。比较有代表性的网络有Dehazenet,MSCNN,AOD-NET,DCPN等,但一般都需要大规模训练数据集,而且需要清晰和有雾的图像对,一旦不满足条件,这些基于学习的方法将失效。然而,实际上,由于场景的变化和其他因素的影响,要收集具有所需场景真实性的大量成对数据集非常困难。而合成的有雾图像,其信息量又存在与真实的有雾图像不一致的问题,影响去雾效果。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷,提供一种基于循环生成对抗网络的图像去雾方法及系统,解决现有采用基于深度学习的图像去雾方法所面临的缺乏真实成对数据集、基于循环生成对抗网络实现图像去雾特征学习不足、以及生成图像产生伪影影响图像去雾质量等问题。
为解决上述技术问题,本发明提供一种基于循环生成对抗网络的图像去雾方法,包括:
获取待处理的有雾图像;
输入到预先训练好的密集连接循环生成对抗网络,输出无雾图像;
所述密集连接循环生成对抗网络包括生成器,生成器包括编码器、转换器和解码器,编码器包括密集连接层,用于提取输入图像的特征,转换器包括过度转换层,用于将编码器阶段提取的特征进行组合,解码器包括密集连接层和缩放卷积神经网络层,密集连接层用于还原图像的原有特征,缩放卷积神经网络层用于去除还原的原有特征的棋盘格效应,得到最终输出的无雾图像。
进一步的,所述转换器阶段还包括密集残差块,密集残差块包含密集连接层和过渡转换层,密集连接层用于将编码器提取到的特征进行组合拼接,过渡转换层用于保持输入图像和输出图像的维度相同,方便后续解码器的进一步操作。
进一步的,所述密集连接循环生成对抗网络还包括跳层,连接编码器和解码器,用于进行数据信息流的传输。
进一步的,所述密集连接循环生成对抗网络的训练过程包括:
密集连接循环生成对抗网络还包括判别器判别器Dx和判别器Dy,生成器有两个,分别为生成器G和生成器F,其中生成器G和生成器F,判别器Dx和判别器Dy分别具有着相同的网络结构;
从Reside数据集中随机选取无雾图像和有雾图像各N张作为训练样本,有雾图像的训练样本记为数据集P(x),无雾图像的训练样本数据集P(y);
对数据集P(x)和数据集P(y)进行标记,利用标记后的数据集P(x)和数据集P(y)对判别器Dx和判别器Dy进行训练,使得判别器Dx和判别器Dy能够判断若输入两幅有雾图像,判别器结果标记为1,若输入两幅无雾图像判别器结果也标记为1,若分别输入一幅有雾图像,一幅无雾图像,判别器结果标记为0;
对生成器和判别器的网络的权重参数W进行初始化;
初始化完成后,根据数据集P(x)和数据集P(y)确定输入样本;
根据输入样本,先固定生成器权重参数对判别器进行训练,使用随机梯度下降算法来更新判别器的最终权重参数,之后固定判别器的权重参数为所述更新的判别器的最终权重参数对生成器进行训练,使用随机梯度下降算法来更新生成器的最终权重参数;
根据判别器的最终权重参数和生成器的最终权重参数确定训练好的密集连接循环生成对抗网络。
进一步的,所述随机梯度下降算法包括:
根据输入样本利用如下更新公式更新权重参数,更新公式为:
其中,α为基础学习率,W′为更新后的权重参数,LG为总损失函数,
LG=Lgan+Lcyc(G,F)+γLPer(G,F)
Lgan为整体对抗损失函数,
Lgan=Lgan1+Lgan2
Lgan1为生成器G和判别器Dy的对抗损失函数:
Lgan1=Ey~P(y)[log Dy(y)]+Ex~P(x)[log(1-Dy(G(x)))]
Lgan2为生成器F和判别器Dx的对抗损失函数:
Lgan2=Ex~P(x)[log Dx(x)]+Ey~P(y)[log(1-Dx(F(y)))]
其中,x代表有雾图像,y代表无雾图像,x~P(x)表示x服从数据集样本P(x)的分布,y~P(y)表示y服从数据集样本P(y)的分布,G(x)为生成器G从数据集P(x)中的有雾图像生成的无雾图像,F(y)为生成器F从数据集P(y)中的无雾图像生成的有雾图像,E表示数学期望,Dy(y)、Dy(G(x))分别表示判别器Dy对无雾图像y和G(x)的判别结果;Dx(x)、Dx(F(y))、分别表示判别器Dx对x和F(y)的判别结果;
Lcyc(G,F)为循环一致性损失函数:
Lcyc(G,F)=Ex~P(x)[||F(G(x))-x||1]+Ey~P(y)[||G(F(y))-y||1]
其中,F(G(x))为生成器F从无雾图像G(x)再生成的有雾图像;G(F(y))为生成器G从有雾图像F(y)又生成的无雾图像,
LPer(G,F)为感知损失函数:
重新获取输入样本,并重复上述步骤,通过不断调整权重参数使总损失函数趋于平稳或循环次数达到预先设置的阈值,则停止训练,输出最终的权重,趋于平稳的判定条件是连续若干次循环的损失函数误差∈稳定不大于0.001。
一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行所述的方法中的任一方法。
一种基于循环生成对抗网络的图像去雾系统,包括,
一个或多个处理器、存储器以及一个或多个程序,其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。
本发明所达到的有益效果:
第一,基于循环生成对抗网络进行图像去雾,消除了对成对数据集的要求,解决了人工合成数据集训练网络无法应用于真实去雾场景中的问题;
第二,将DenseNet网络中的密集连接结构与ResNet网络中的残差结构引入到生成器网络中,增加了网络参数的容量,提高了特征图的利用率,解决了循环生成对抗网络中特征学习不足,图像细节不够具体的问题,保持了网络训练效率;
第三,针对循环生成对抗网络中生成器网络会出现网络伪影问题,在解码器中加入缩放卷积神经网络去除网络伪影,提高生成图像质量。
附图说明
图1为本发明方法实施的整体网络架构流程示意图;
图2为本发明方法实施例所述的密集残差的循环生成对抗网络生成器结构示意图;
图3为判别器的网络结构图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
图1为本发明的一种基于循环生成对抗网络的图像去雾方法实施的整体网络架构流程示意图。
步骤1,构建设计密集残差的循环生成对抗网络。
首先,在Reside数据集(图像去雾研究常用的数据集)中,随机选取无雾图像和有雾的图像各150张作为训练样本,分别记为P(x)组(有雾的图像)和P(y)组(清晰无雾的图像),并将两组图像像素统一调整至256×256大小。另外,再选出有雾和无雾图像各50张分别记为A、B两组,用于判别器Dx和Dy的预训练。从P(x)、P(y)两组数据集中分别读取一张有雾图像和一张无雾图像(选取的图像无需成对),同时输入到密集残差的循环生成对抗网络中进行处理。
在系统工作的过程中,两个生成器G、F生成四个输出结果,分别是:输入有雾图像,输出去雾图像和循环生成的有雾图像;输入为无雾图像,则输出为生成的有雾图像和循环生成的无雾图像。
一方面,生成器G从数据集P(x)中的有雾图像生成相应的无雾图像G(x),另一方面,生成器F从数据集P(y)中的无雾图像生成有雾的图像F(y)。
判别器Dy判断生成器G所生成的无雾图像质量,判别器Dx判别生成器F生成的有雾图像质量。判别器输出值范围为[0,1],判别器输出值接近于0,则继续训练生成器;判别器输出值接近于1,证明生成器生成图像质量符合要求,进一步可以继续训练判别器。在生成器和判别器的不断博弈过程中,生成器生成的图像质量更好,判别器的判别能力也越来越强。
进一步地,为了约束有雾图像与无雾图像的特征转换,使得G、F两个生成器可以协同优化,生成器F从无雾图像G(x)又生成有雾图像F(G(x));生成器G从有雾图像F(y)又生成无雾图像G(F(y))。通过训练使得x与F(G(x))不断接近,y与G(F(y))不断接近,得到最优的去雾模型。
将图像归一化处理并进行储存。通过这种网络结构实现弱监督的图像去雾。
进一步地,设计生成器的网络结构,图2为本发明方法实施例所述密集残差循环生成对抗网络的生成器结构示意图。生成器网络共分为编码、转换器和解码三个阶段。
编码阶段:提取输入图像的特征,本文将原本的卷积操作替换为密集连接层以提高特征图的利用率,密集连接层包含三个密集连接的大小为3×3,填充为2的卷积层。在密集连接层中对特征图在深度方向上进行拼接。
转换器阶段:将编码器阶段提取的特征进行组合,通过转换层对特征图进行处理,卷积尺度大小为1×1。转换层后接N个密集残差块来增加网络参数的容量,N的数量可以后期根据训练情况调整。密集残差块中包含了密集连接层与过渡转换层。在密集连接处理后,过渡转换层对密集连接的处理结果进行过渡处理,包括归一化处理以及激活操作。经过过渡转换后的特征图会与输入数据进行逐分量相加操作以形成恒等映射层。经过过渡转换后,密集连接层的输出与输入数据的维度相同,保证残差操作。由于在这个过程中,网络处理的特征图分辨率较低,卷积计算量较小,所以密集连接的残差块在加深网络提高利用率的同时,也不会对网络效率产生较大影响。
解码阶段:还原图像的原有特征,生成相应的图像,在解码器的上采样过程中同样采用密集连接的方式,特别的是,本文加入缩放卷积操作消除棋盘格伪影效应,即使用最近邻插值将图像缩放到目标尺寸,再进行卷积操作。最后通过组合上采样还原出的特征,输出最后的图像结果。
进一步地,在编码器和解码器两个模块间引入跳层连接,进行数据信息流的传输,以便在编码过程和解码过程之间提供更多的信息传输。
进一步地,设计判别器的网络结构,图3为判别器的网络结构图,本文设计的判别器是一个全卷积的网络,使用了5个尺寸为4×4的卷积网络用于提取特征,第一层包括卷积层和泄露修正线性单元(LeakyReLu)激活函数;中间三层卷积层进行尺寸的压缩和升维之后进行批量归一化来加速网络的收敛性,随后用激活函数进行激活;最后一层仅包含卷积运算,以保持训练过程中的稳定性。
步骤2,构建损失函数,损失函数包括对抗损失、循环一致性损失和感知损失。对抗损失和循环一致性损失是循环生成对抗网络网络中固有的损失函数,能够完成模型使用非对称数据的训练。同时为了提高图像的生成质量,特别引入了感知损失函数以加强对生成图像质量的约束。
对抗损失:用于约束对抗过程中图像生成的情况,生成器G和判别器Dy的对抗损失记为:
Lgan1=Ey~P(y)[log Dy(y)]+Ex~P(x)[log(1-Dy(G(x)))] (2)
同理,生成器F和判别器Dx的对抗损失记为:
Lgan2=Ex~P(x)[log Dx(x)]+Ey~P(y)[log(1-Dx(G(y)))] (3)
故,整体对抗损失函数为记为:
Lgan=Lgan1+Lgan2 (4)
其中,x代表有雾图像,y代表无雾图像,x~P(x)表示x服从数据集样本P(x)的分布,y~P(y)表示y服从数据集样本P(y)的分布,E表示数学期望。
循环一致性损失:用于约束有雾和无雾图像数据的相互转换,解决在只有对抗性损失的情况下不能保证输出分布与目标分布相一致的问题。记为:
Lcyc(G,F)=Ex~P(x)[||F(G(x))-x||1]+Ey~P(y)[||G(F(y))-y||1] (5)
其中,F(G(x))为原始图像的循环图像,它将生成器的结果G(x)带回为原来的图像。G(F(y))为原始图像y的循环图像,能够使F(y)回到原始图像y。训练的目的使F(G(x))与x,G(F(y))与y不断接近。
感知损失:从高层语义角度约束图像生成的感知细节。仅仅使用前两种损失会出现结果过度平滑,丢失细节。感知损失计算的是网络生成结果和真值在预训练的VGG网络(卷积神经网络中经典网络结构)特定层输出的特征图之间的距离,感知损失表示为:
总损失函数表示为:
LG=Lgan+Lcyc(G,F)+γLPer(G,F) (7)
其中,γ为感知损失函数的权重比例,反映了感知损失函数所在部分对整体损失函数的影响程度,这里取为0.6。
步骤3,网络的训练。
首先对判别器进行预训练,判别器只需要清楚雾在图像上体现出来的像素分布特征,例如强度分布及位置分布等,便可判断图像是否为真实有雾图像或真实无雾图像。步骤1选取的A,B两组数据集用于对判别器的训练,在训练过程中,采用标签的方式使得判别器初步可以判断雾的特征,若输入两幅有雾图像,判别器结果标记为1;同理,若输入两幅无雾图像判别器结果也标记为1;若分别输入一幅有雾,一幅无雾图像,结果标记为0,通过判别器的预训练,使得后期判别器与生成器的博弈过程更加真实有效。
进一步地,对整个网络进行训练,首先对每一阶段网络的权重参数W进行初始化,在[-0.1,0.1]之间随机选取一个小数,作为初始化的权重参数,初始化完成后,使用随机梯度下降算法来更新权重参数。更新规则为:
其中α为基础学习率。
把G和F两个生成器的基础学习率均设置为0.0001,将样本训练次数最大值预设为500次。对每对输入的样本,先利用前向传播求出总误差,再利用反向传播求出各个权重参数的偏导数,最后根据公式(8)对权重参数进行更新。
在网络的训练过程中,首先,固定生成器权重参数对判别器进行训练,分别记录对抗损失函数、循环一致损失函数和感知损失函数的下降情况,进一步地,在前向传播和反向传播的过程中迭代不断更新判别器权重参数。随后,同理固定判别器对生成器进行训练,不断更新生成器的权重参数。
重复上述步骤,通过不断调整权重参数使得式(6)中的总损失函数趋于平稳,这里判定平稳的条件是连续相邻10次循环的损失函数误差∈稳定在0.001左右。当训练次数达到500或∈≤0.001时,则停止训练。
步骤4,将有雾图像输入到上述预先训练好的密集连接循环生成对抗网络中,得到无雾图像。
相应的本发明还提供一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行所述的方法中的任一方法。
相应的本发明还提供一种基于循环生成对抗网络的图像去雾系统,包括,
一个或多个处理器、存储器以及一个或多个程序,其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。
本发明采用密集连接的循环生成对抗网络进行图像去雾,属于端对端去雾,输入有雾图像可以直接输出无雾图像。由于使用循环生成对抗网络,可以解决现有采用基于深度学习的图像去雾方法所面临的缺乏真实成对数据集问题,引入密集连接和残差网络结构,对CycleGan网络结构进行优化,增加网络参数的容量并提高了特征图的利用率。解决了循环生成对抗网络中特征学习不足的问题,同时采用缩放卷积避免了网络伪影,提高生成图片的质量。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (7)
1.一种基于循环生成对抗网络的图像去雾方法,其特征在于,包括:
获取待处理的有雾图像;
输入到预先训练好的密集连接循环生成对抗网络,输出无雾图像;
所述密集连接循环生成对抗网络包括生成器,生成器包括编码器、转换器和解码器,编码器包括密集连接层,用于提取输入图像的特征,转换器包括过度转换层,用于将编码器阶段提取的特征进行组合,解码器包括密集连接层和缩放卷积神经网络层,密集连接层用于还原图像的原有特征,缩放卷积神经网络层用于去除还原的原有特征的棋盘格效应,得到最终输出的无雾图像。
2.根据权利要求1所述的基于循环生成对抗网络的图像去雾方法,其特征在于,所述转换器阶段还包括密集残差块,密集残差块包含密集连接层和过渡转换层,密集连接层用于将编码器提取到的特征进行组合拼接,过渡转换层用于保持输入图像和输出图像的维度相同。
3.根据权利要求1所述的基于循环生成对抗网络的图像去雾方法,其特征在于,所述密集连接循环生成对抗网络还包括跳层,连接编码器和解码器,用于进行数据信息流的传输。
4.根据权利要求1所述的基于循环生成对抗网络的图像去雾方法,其特征在于,所述密集连接循环生成对抗网络的训练过程包括:
密集连接循环生成对抗网络还包括判别器判别器Dx和判别器Dy,生成器有两个,分别为生成器G和生成器F,其中生成器G和生成器F,判别器Dx和判别器Dy分别具有着相同的网络结构;
从Reside数据集中随机选取无雾图像和有雾图像各N张作为训练样本,有雾图像的训练样本记为数据集P(x),无雾图像的训练样本数据集P(y);
对数据集P(x)和数据集P(y)进行标记,利用标记后的数据集P(x)和数据集P(y)对判别器Dx和判别器Dy进行训练,使得判别器Dx和判别器Dy能够判断若输入两幅有雾图像,判别器结果标记为1,若输入两幅无雾图像判别器结果也标记为1,若分别输入一幅有雾图像,一幅无雾图像,判别器结果标记为0;
对生成器和判别器的网络的权重参数W进行初始化;
初始化完成后,根据数据集P(x)和数据集P(y)确定输入样本;
根据输入样本,先固定生成器权重参数对判别器进行训练,使用随机梯度下降算法来更新判别器的最终权重参数,之后固定判别器的权重参数为所述更新的判别器的最终权重参数对生成器进行训练,使用随机梯度下降算法来更新生成器的最终权重参数;
根据判别器的最终权重参数和生成器的最终权重参数确定训练好的密集连接循环生成对抗网络。
5.根据权利要求4所述的基于循环生成对抗网络的图像去雾方法,其特征在于,所述随机梯度下降算法包括:
根据输入样本利用如下更新公式更新权重参数,更新公式为:
其中,α为基础学习率,W′为更新后的权重参数,LG为总损失函数,
LG=Lgan+Lcyc(G,F)+γLPer(G,F)
Lgan为整体对抗损失函数,
Lgan=Lgan1+Lgan2
Lgan1为生成器G和判别器Dy的对抗损失函数:
Lgan1=Ey~P(y)[logDy(y)]+Ex~P(x)[log(1-Dy(G(x)))]
Lgan2为生成器F和判别器Dx的对抗损失函数:
Lgan2=Ex~P(x)[logDx(x)]+Ey~P(y)[log(1-Dx(F(y)))]
其中,x代表有雾图像,y代表无雾图像,x~P(x)表示x服从数据集样本P(x)的分布,y~P(y)表示y服从数据集样本P(y)的分布,G(x)为生成器G从数据集P(x)中的有雾图像生成的无雾图像,F(y)为生成器F从数据集P(y)中的无雾图像生成的有雾图像,E表示数学期望,Dy(y)、Dy(G(x))分别表示判别器Dy对无雾图像y和G(x)的判别结果;Dx(x)、Dx(F(y))、分别表示判别器Dx对x和F(y)的判别结果;
Lcyc(G,F)为循环一致性损失函数:
Lcyc(G,F)=Ex~P(x)[||F(G(x))-x||1]+Ey~P(y)[||G(F(y))-y||1]
其中,F(G(x))为生成器F从无雾图像G(x)再生成的有雾图像;G(F(y))为生成器G从有雾图像F(y)又生成的无雾图像,
LPer(G,F)为感知损失函数:
重新获取输入样本,并重复上述步骤,通过不断调整权重参数使总损失函数趋于平稳或循环次数达到预先设置的阈值,则停止训练,输出最终的权重,趋于平稳的判定条件是连续若干次循环的损失函数误差∈稳定不大于0.001。
6.一种存储一个或多个程序的计算机可读存储介质,其特征在于:所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行根据权利要求1至5所述的方法中的任一方法。
7.一种基于循环生成对抗网络的图像去雾系统,其特征在于:包括,
一个或多个处理器、存储器以及一个或多个程序,其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1至5所述的方法中的任一方法的指令。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110713063.1A CN113658051B (zh) | 2021-06-25 | 2021-06-25 | 一种基于循环生成对抗网络的图像去雾方法及系统 |
PCT/CN2022/086885 WO2022267641A1 (zh) | 2021-06-25 | 2022-04-14 | 一种基于循环生成对抗网络的图像去雾方法及系统 |
US17/831,421 US20220414838A1 (en) | 2021-06-25 | 2022-06-02 | Image dehazing method and system based on cyclegan |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110713063.1A CN113658051B (zh) | 2021-06-25 | 2021-06-25 | 一种基于循环生成对抗网络的图像去雾方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113658051A true CN113658051A (zh) | 2021-11-16 |
CN113658051B CN113658051B (zh) | 2023-10-13 |
Family
ID=78489001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110713063.1A Active CN113658051B (zh) | 2021-06-25 | 2021-06-25 | 一种基于循环生成对抗网络的图像去雾方法及系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113658051B (zh) |
WO (1) | WO2022267641A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114140662A (zh) * | 2021-11-29 | 2022-03-04 | 广州中科智巡科技有限公司 | 一种基于循环生成对抗网络的绝缘子雷击图像样本增广方法 |
CN114266937A (zh) * | 2021-12-20 | 2022-04-01 | 北京百度网讯科技有限公司 | 模型训练、图像处理方法,装置,设备以及存储介质 |
CN114638767A (zh) * | 2022-05-18 | 2022-06-17 | 山东师范大学 | 基于生成对抗网络的腹腔镜影像除烟方法 |
WO2022267641A1 (zh) * | 2021-06-25 | 2022-12-29 | 南京邮电大学 | 一种基于循环生成对抗网络的图像去雾方法及系统 |
CN116245902A (zh) * | 2023-03-06 | 2023-06-09 | 北京市遥感信息研究所 | 一种基于图像分割神经网络的复杂场景云检测方法及系统 |
CN116452470A (zh) * | 2023-06-20 | 2023-07-18 | 深圳市欧冶半导体有限公司 | 一种基于深度学习分阶段式训练的图像去雾方法及装置 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116012258B (zh) * | 2023-02-14 | 2023-10-13 | 山东大学 | 一种基于循环生成对抗网络的图像和谐化方法 |
CN116051562B (zh) * | 2023-03-31 | 2023-06-13 | 北京大学 | 基于深度生成网络的金属3d打印质量预测方法 |
CN116342437B (zh) * | 2023-05-30 | 2023-07-21 | 中国空气动力研究与发展中心低速空气动力研究所 | 一种基于密集连接亚像素gan模型的图像去雾方法 |
CN116757068B (zh) * | 2023-06-06 | 2024-01-09 | 青岛理工大学 | 一种基于深度学习对cfrp自冲铆接成形过程的预测方法 |
CN116452469B (zh) * | 2023-06-20 | 2023-10-03 | 深圳市欧冶半导体有限公司 | 一种基于深度学习的图像去雾处理方法及装置 |
CN116645298B (zh) * | 2023-07-26 | 2024-01-26 | 广东电网有限责任公司珠海供电局 | 一种架空输电线路视频监控图像去雾方法及装置 |
CN116957988B (zh) * | 2023-08-28 | 2024-03-08 | 南京航空航天大学 | 一种目标检测驱动的潜望镜图像复原表征学习方法 |
CN117408893B (zh) * | 2023-12-15 | 2024-04-05 | 青岛科技大学 | 一种基于浅层神经网络的水下图像增强方法 |
CN117852419A (zh) * | 2024-03-07 | 2024-04-09 | 齐鲁工业大学(山东省科学院) | 基于条件生成对抗网络的可再生能源发电场景生成方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109300090A (zh) * | 2018-08-28 | 2019-02-01 | 哈尔滨工业大学(威海) | 一种基于亚像素和条件对抗生成网络的单幅图像去雾方法 |
CN109472818A (zh) * | 2018-10-17 | 2019-03-15 | 天津大学 | 一种基于深度神经网络的图像去雾方法 |
CN110288550A (zh) * | 2019-06-28 | 2019-09-27 | 中国人民解放军火箭军工程大学 | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 |
CN111179189A (zh) * | 2019-12-15 | 2020-05-19 | 深圳先进技术研究院 | 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质 |
CN111507909A (zh) * | 2020-03-18 | 2020-08-07 | 南方电网科学研究院有限责任公司 | 一种有雾图像清晰化的方法、装置及存储介质 |
CN111709888A (zh) * | 2020-06-03 | 2020-09-25 | 中科九度(北京)空间信息技术有限责任公司 | 一种基于改进的生成对抗网络的航拍图像去雾方法 |
CN111738942A (zh) * | 2020-06-10 | 2020-10-02 | 南京邮电大学 | 一种融合特征金字塔的生成对抗网络图像去雾方法 |
CN111986108A (zh) * | 2020-08-07 | 2020-11-24 | 西北工业大学 | 一种基于生成对抗网络的复杂海空场景图像去雾方法 |
CN112150379A (zh) * | 2020-09-22 | 2020-12-29 | 武汉工程大学 | 基于感知判别增强生成对抗网络的图像去雾方法及装置 |
CN112785517A (zh) * | 2021-01-08 | 2021-05-11 | 南京邮电大学 | 一种基于高分辨率表征的图像去雾方法和装置 |
CN112801902A (zh) * | 2021-01-29 | 2021-05-14 | 福州大学 | 一种基于改进生成对抗网络的交通图像去雾方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190294931A1 (en) * | 2018-03-26 | 2019-09-26 | Artomatix Ltd. | Systems and Methods for Generative Ensemble Networks |
CN110689599B (zh) * | 2019-09-10 | 2023-05-19 | 上海大学 | 基于非局部增强的生成对抗网络的3d视觉显著性预测方法 |
CN113658051B (zh) * | 2021-06-25 | 2023-10-13 | 南京邮电大学 | 一种基于循环生成对抗网络的图像去雾方法及系统 |
-
2021
- 2021-06-25 CN CN202110713063.1A patent/CN113658051B/zh active Active
-
2022
- 2022-04-14 WO PCT/CN2022/086885 patent/WO2022267641A1/zh unknown
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109300090A (zh) * | 2018-08-28 | 2019-02-01 | 哈尔滨工业大学(威海) | 一种基于亚像素和条件对抗生成网络的单幅图像去雾方法 |
CN109472818A (zh) * | 2018-10-17 | 2019-03-15 | 天津大学 | 一种基于深度神经网络的图像去雾方法 |
CN110288550A (zh) * | 2019-06-28 | 2019-09-27 | 中国人民解放军火箭军工程大学 | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 |
CN111179189A (zh) * | 2019-12-15 | 2020-05-19 | 深圳先进技术研究院 | 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质 |
CN111507909A (zh) * | 2020-03-18 | 2020-08-07 | 南方电网科学研究院有限责任公司 | 一种有雾图像清晰化的方法、装置及存储介质 |
CN111709888A (zh) * | 2020-06-03 | 2020-09-25 | 中科九度(北京)空间信息技术有限责任公司 | 一种基于改进的生成对抗网络的航拍图像去雾方法 |
CN111738942A (zh) * | 2020-06-10 | 2020-10-02 | 南京邮电大学 | 一种融合特征金字塔的生成对抗网络图像去雾方法 |
CN111986108A (zh) * | 2020-08-07 | 2020-11-24 | 西北工业大学 | 一种基于生成对抗网络的复杂海空场景图像去雾方法 |
CN112150379A (zh) * | 2020-09-22 | 2020-12-29 | 武汉工程大学 | 基于感知判别增强生成对抗网络的图像去雾方法及装置 |
CN112785517A (zh) * | 2021-01-08 | 2021-05-11 | 南京邮电大学 | 一种基于高分辨率表征的图像去雾方法和装置 |
CN112801902A (zh) * | 2021-01-29 | 2021-05-14 | 福州大学 | 一种基于改进生成对抗网络的交通图像去雾方法 |
Non-Patent Citations (1)
Title |
---|
孙嘉敏: "基于CycleGAN的水面图像去雾方法的研究与实现", 《中国优秀硕士学位论文全文数据库》, no. 01, pages 11381871 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022267641A1 (zh) * | 2021-06-25 | 2022-12-29 | 南京邮电大学 | 一种基于循环生成对抗网络的图像去雾方法及系统 |
CN114140662A (zh) * | 2021-11-29 | 2022-03-04 | 广州中科智巡科技有限公司 | 一种基于循环生成对抗网络的绝缘子雷击图像样本增广方法 |
CN114266937A (zh) * | 2021-12-20 | 2022-04-01 | 北京百度网讯科技有限公司 | 模型训练、图像处理方法,装置,设备以及存储介质 |
CN114638767A (zh) * | 2022-05-18 | 2022-06-17 | 山东师范大学 | 基于生成对抗网络的腹腔镜影像除烟方法 |
CN116245902A (zh) * | 2023-03-06 | 2023-06-09 | 北京市遥感信息研究所 | 一种基于图像分割神经网络的复杂场景云检测方法及系统 |
CN116245902B (zh) * | 2023-03-06 | 2023-11-14 | 北京市遥感信息研究所 | 一种基于图像分割神经网络的复杂场景云检测方法及系统 |
CN116452470A (zh) * | 2023-06-20 | 2023-07-18 | 深圳市欧冶半导体有限公司 | 一种基于深度学习分阶段式训练的图像去雾方法及装置 |
CN116452470B (zh) * | 2023-06-20 | 2023-09-15 | 深圳市欧冶半导体有限公司 | 一种基于深度学习分阶段式训练的图像去雾方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113658051B (zh) | 2023-10-13 |
WO2022267641A1 (zh) | 2022-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113658051B (zh) | 一种基于循环生成对抗网络的图像去雾方法及系统 | |
US11055828B2 (en) | Video inpainting with deep internal learning | |
Li et al. | Zero-shot image dehazing | |
Yin et al. | Highly accurate image reconstruction for multimodal noise suppression using semisupervised learning on big data | |
CN111062880A (zh) | 一种基于条件生成对抗网络的水下图像实时增强方法 | |
CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
US20220414838A1 (en) | Image dehazing method and system based on cyclegan | |
CA3137297C (en) | Adaptive convolutions in neural networks | |
CN114820341A (zh) | 一种基于增强Transformer的图像盲去噪方法及系统 | |
CN116664450A (zh) | 基于扩散模型的图像增强方法、装置、设备及存储介质 | |
CN113066034A (zh) | 人脸图像的修复方法与装置、修复模型、介质和设备 | |
CN114339409A (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
Xu et al. | AutoSegNet: An automated neural network for image segmentation | |
KS et al. | Deep multi-stage learning for hdr with large object motions | |
CN116777764A (zh) | 一种基于扩散模型的光学遥感图像去云雾方法及系统 | |
Liu et al. | Facial image inpainting using multi-level generative network | |
CN114820389B (zh) | 一种基于无监督解耦表征的人脸图像去模糊方法 | |
CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及系统 | |
CN116863320A (zh) | 基于物理模型的水下图像增强方法及系统 | |
CN106897975B (zh) | 一种超立方体粒计算的图像去噪方法 | |
CN116362991A (zh) | 一种基于域对齐gan先验的盲脸恢复方法 | |
CN113542780B (zh) | 一种网络直播视频的压缩伪影去除方法及装置 | |
CN114862699A (zh) | 基于生成对抗网络的人脸修复方法、装置及存储介质 | |
CN114494387A (zh) | 一种生成数据集网络模型及雾图生成方法 | |
Tian et al. | A modeling method for face image deblurring |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |