CN112614070A - 一种基于DefogNet的单幅图像去雾方法 - Google Patents
一种基于DefogNet的单幅图像去雾方法 Download PDFInfo
- Publication number
- CN112614070A CN112614070A CN202011576883.2A CN202011576883A CN112614070A CN 112614070 A CN112614070 A CN 112614070A CN 202011576883 A CN202011576883 A CN 202011576883A CN 112614070 A CN112614070 A CN 112614070A
- Authority
- CN
- China
- Prior art keywords
- defognet
- data
- image
- generator
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000006870 function Effects 0.000 claims abstract description 121
- 238000012549 training Methods 0.000 claims abstract description 32
- 230000008447 perception Effects 0.000 claims abstract description 30
- 230000004456 color vision Effects 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 42
- 239000013598 vector Substances 0.000 claims description 27
- 238000001228 spectrum Methods 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 125000004122 cyclic group Chemical group 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 235000004257 Cordia myxa Nutrition 0.000 claims description 3
- 244000157795 Cordia myxa Species 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000010924 continuous production Methods 0.000 claims 1
- 230000017105 transposition Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 5
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 abstract 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 abstract 1
- 238000005457 optimization Methods 0.000 abstract 1
- 238000013461 design Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于DefogNet的单幅图像去雾方法，该方法以CycleGAN为基础进行适当优化，在生成器中采用跨层连接的结构，增加了模型的多尺度特征提取能力，有效避免过拟合的发生，从而优化图像的质量；设计了独特的损失函数，添加细节感知损失和色彩感知损失，避免去雾操作导致图像的颜色差异、重建缺失等情况，有效提高了去雾后图像的还原度；提出了Defog‑SN算法改进了判别器的结构，使得整个判别网络满足1‑Lipschitz连续，增强了模型的稳定性，有效避免了GANs网络易崩溃的问题。该方法仅仅需要大量的图像便能够顺利达到训练网络的目的，完全省略了人为提取特征的操作，并且不需要场景先验信息，具备了更强的实用性以及精确度，属于一种适应范围较广的方法。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种基于DefogNet的单幅图像去雾方法。
背景技术
雾、霾等天气环境下采集的图像往往存在对比度低、场景不清晰、颜色误差较大等问题，易对目标检测和语义分割等计算机视觉算法的应用产生负面影响。因此，无须使用任何先验信息直接对单幅图像完成去雾处理的方法，在计算机视觉及人工智能领域具有重要的研究价值。目前常见的去雾方法根据原理的不同可以划分为三种：1.图像增强技术，此方法关注的重点主要集中在图像本身的对比度等信息；雾霾图像对比度等信息一定程度上反映了雾霾的严重程度，但针对这类直观信息的方法缺少对雾霾图像形成机理的探究，往往在去雾过程中丢失细节信息，难以达到良好的去雾效果。2.以物理模型为基础的图像复原法，此方法从成像机制上对有雾图片展开研究，主要通过先验知识和物理模型相结合的方式完成去雾操作，但须估算先验信息。3.以神经网络为基础的去雾方法，此方法主要使用神经网络来完成雾霾特征提取，由此完成去雾处理。这些方法训练时往往对带雾图像和其相对应的无雾图像具有真实性的要求，数据要求高，获取难度大，且去雾结果存在边缘细节信息丢失、模型稳定性不足等问题。
发明内容
发明目的：针对以上问题，本发明提出一种基于DefogNet的单幅图像去雾方法。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于DefogNet的单幅图像去雾方法，具体方法如下：
在训练阶段，首先构建有雾图像样本数据集X和无雾图像样本数据集Y，同时构造DefogNet网络训练模型，利用有雾图像样本数据集X和无雾图像样本数据集Y训练所述DefogNet网络训练模型，得到最终DefogNet网络模型；
在测试阶段，首先将有雾图像归一化至特定尺寸，然后将归一化后的有雾图像输入至DefogNet网络模型，输出得到生成的去雾图像；
其中，所述DefogNet网络模型具体包括：
第一生成器和第二生成器，所述第一生成器用于接收输入带雾图像和合成的带雾图像，生成对应的去雾图像；所述第二生成器用于接收输入无雾图像和合成的无雾图像，生成对应的带雾图像；
第一生成器对应第一判别器，第二生成器对应第二判别器，第一判别器和第二判别器用于判别输入图像来源于真实数据集或合成数据集；
所述DefogNet网络训练模型通过在图像背景保持不变的情况下学习雾霾特征，通过两个生成器和两个判别器的循环对抗中对模型参数进行更新，直至DefogNet网络训练模型目标函数小于设定的阈值，表示训练完成，得到所述DefogNet网络模型。
进一步的，为正确训练样本分布，有效优化最终生成图片的质量，所述DefogNet的网络模型在CycleGAN网络模型的基础上进行改进，具体包括：
在所述第一生成器和第二生成器中加入跨层连接结构增强网络多尺度特征提取的能力，突破编解码过程中信息丢失的瓶颈，摒弃了简单地连接对称层所有通道的方法。
所述第一生成器和第二生成器的网络结构均为编码器-转换器-解码器；所述编码器及解码器采用卷积层、激活层、BN层；转换器采用Dense block的稠密连接结构，包括卷积层和激活层；
其中，编解码器和解码器中的激活层使用Leaky ReLU激活函数：
转换器中的激活层使用SeLU激活函数，能够将样本分布自动归一化至均值为0以及标准差为1，所述SeLU激活函数：
进一步的，所述第一判别器和第二判别器均采用CNN网络模型，共6个层级结构，每个层级包括卷积层、激活层、BN层和谱归一化层。
本发明对已被提出的CycleGAN损失函数进行改进，以原始CycleGAN损失函数为基础，添加色彩感知损失函数以及细节感知损失函数，用于估计图像在经过去雾处理之后产生的差异性。
所述DefogNet的损失函数由原始CycleGAN损失函数、色彩感知损失函数以及细节感知损失函数构成：
Ldefog＝LCYC+Ldpl+Lcpl(I)
式中，Ldefog为DefogNet网络模型的损失函数；LCYC为CycleGAN网络模型的损失函数；Ldpl为细节感知损失函数；Lcpl(I)为色彩感知损失函数。
进一步的CycleGAN网络模型的损失函数由生成器与判别器的对抗损失函数和循环一致性损失函数构成：
LCYC＝LGAN(G，DY，X，Y)+LGAN(F，DX，X，Y)+γLCCL
式中，LCYC为CycleGAN损失函数；LGAN(G，DY，X，Y)表示判别器对真实样本的概率估计；LGAN(F，DX，X，Y)表示判别器对生成样本的概率估计；γ为循环一致损失的权重；LCCL为循环一致性损失函数。
进一步的，所述生成对抗损失函数由判别器对真实样本的概率估计以及判别器对生成样本的概率估计构成，相关公式：
式中，LGAN(G，DY，X，Y)表示判别器对真实样本的概率估计；
表示数据域X内的样本数据x的期望分布；
表示数据域Y内的样本数据y的期望分布；LGAN(F，DX，X，Y)表示判别器对生成样本的概率估计；X、Y分别表示两个数据域；x表示数据域X内的样本数据；y表示数据域Y内的样本数据；G表示X到Y的映射函数；F表示Y到X的映射函数；DX、DY分别表示第一判别器和第二判别器；
进一步的，所述循环一致性损失函数：
式中，LCCL为循环一致性损失函数；φ(x)为数据域X内的样本数据的正态分布；φ(y)为数据域Y内的样本数据的正态分布；φ(F(G(x)))为；φ(G(F(y)))为；
进一步的，为降低生成图片与原图的差异，加入了细节感知损失函数，所述细节感知损失函数由第一生成器和第二生成器的细节感知损失函数构成；其中，DefogNet的细节感知损失函数：
Ldpl＝Ldpl(FX→Y)+Ldpl(GY→X)
式中，Ldpl为DefogNet的细节感知损失函数；Ldpl(GX→Y)为第一生成器的细节感知损失函数；Ldpl(FY→X)为第二生成器的细节感知损失函数。
其中，所述第一生成器的细节感知损失函数：
式中，Ldpl(GX→Y)为第一生成器的细节感知损失函数；
为数据域X内的样本数据的期望概率分布；
为数据域Y内的样本数据的期望概率分布。
所述第二生成器的细节感知损失函数：
式中，Ldpl(FY→X)为第二生成器的细节感知损失函数；
进一步的，去雾处理过程需要对rgb三种类型的通道完成相同的操作，同时还需要保持去雾完成后的图像细节不产生较大的差异，因此在生成图像时加入色彩感知损失函数；所述色彩感知损失函数：
式中，Lcpl(I)为DefogNet的色彩感知损失函数；W为图片的宽；H为图片的高；rgb表示色光的彩色模式，r表示红色，g表示绿色，b表示蓝色。
本发明还提出一种Defog-SN算法，能够解决生成样本多样性不足的问题，提高去雾图像的质量，进一步提升网络整体的稳定性以及收敛速度，具体在所述第一判别器和第二判别器的卷积层中均添加谱归一化层，令判别网络满足1-Lipschitz连续，同时利用梯度惩罚增强了Lipschitz约束条件，得到DefogNet网络模型的目标函数。
进一步的，在所述第一判别器和第二判别器的卷积层中均添加谱归一化层，令判别网络满足1-Lipschitz连续，具体包括：
卷积层参数矩阵W满足1-Lipschitz连续，需满足如下关系式：
式中，WSN为归一化后的卷积层参数矩阵；W为卷积层参数矩阵；σ(W)为卷积层参数矩阵W的谱范数，且该谱范数等于卷积层参数矩阵W的最大奇异值；
其中，谱范数σ(W)的计算公式如下：
式中，h表示任意一卷积层；
进一步的，卷积层参数矩阵W的最大奇异值利用其左右奇异值向量得到，具体包括：
首先，随机初始化向量u，并将向量u作为参数矩阵W的右奇异值向量；
然后，根据右奇异值向量u通过以下公式计算左奇异值向量v：
式中，v为参数矩阵W的左奇异值向量；W为卷积层参数矩阵；u为参数矩阵W的右奇异值向量；
接着，将计算得到的左奇异值向量v计算得到新的右奇异值向量u：
最后，通过重复迭代，直到卷积层参数矩阵的奇异值达到最大；其中卷积层的奇异值计算公式：
式中，
为WTW最大特征值的开方，即卷积层参数矩阵W的最大奇异值。
进一步的，本发明提出了计算具有任意步长和填充方案的判别器的卷积层的最大奇异值，同时通过反卷积运算简化和加快卷积谱范数的计算，具体包括：
神经网络中判别器第i层的输出特征图ψi(X)可表示为输入数据域X的线性运算：
式中，M是输入的特征图的全部像素点；Fi，j为滤波器；j为坐标点；
对数据域X进行矢量化处理，使得Ti，j表示为与Fi，j相关的整体线性运算：
ψi(X)＝[T1，1 … T1，M]X
卷积运算表示为：
通过转置卷积参数矩阵W得到WT，无需显式构造W就可以实现矩阵乘法，从而得到谱范数σ(W)；
这样，通过幂迭代方法获得谱范数σ(W)，并在卷积和卷积转置运算中添加适当的步长和填充参数。在每一层卷积运算中使用相同的u，每个步骤仅更新一次W，并使用更大的范围来限制σ(W)≤β，这样可以加快训练速度：
其中，β为常数；
进一步的，本发明使用Wasserstein距离衡量生成的分布pg和实际分布Pdata是否符合要求。由于引入了1-lipschitz连续性，网络参数的变化范围需要限制在一定范围内，即每次更新时参数的变化范围都不应超过某个常数β。因此，实际数据分布pdata与生成的数据分布pg之间的Wasserstein距离可以表示为：
式中，Dw为实际数据分布pdata与生成的数据分布pg之间的Wasserstein距离；
为实际数据的期望分布；
为生成数据的期望分布；
其中Dw越小，生成分布pg越接近于真实分布Pdata。
由于引入了频谱归一化，该函数在任何情况下都是可微的，可以解决Gan模型训练过程中梯度消失的问题。此时判别器的目标函数如下：
式中，objD为判别器的目标函数；
本发明还通过梯度惩罚增强了Lipschitz约束条件，具体包括：
首先，使用随机采样方法获得真实样本Xdata，错误样本Xg和[0，1]范围内的随机数θ：
Xdata～Pdata，Xg～pg，θ～uniform[0，1]
式中，Xdata～Pdata表示真实样本服从真实分布；Xg～pg表示错误样本服从生成分布；θ～uniform[0，1]表示随机数服从随机函数分布；
然后，在真实样本Xdata和错误样本Xg之间随机插入样本
其中，
满足的分布表示为
最后，得到DefogNet网络模型的目标函数为：
式中，obj(G，D)表示DefogNet网络模型的目标函数值。
有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：
针对当前大多采用先验知识方法中设计先验物理模型复杂，特征提取不完备，并且去雾处理效率低的问题。本发明在生成器中添加了跨层连接的设计，通过训练DefogNet得到最优生成网络G，直接生成无雾图，省略了人工设计先验模型的环节，既不需要模糊和真实图像的样本，也不需要在训练和测试阶段的任何大气散射模型参数。
针对去雾操作中产生的颜色偏移、对比度过高，导致颜色失真等情况，本发明设计了独特的损失函数：细节感知损失和色彩感知损失，用以优化对单幅图像进行去雾处理的DefogNet。
本发明在判别网络中引入谱归一化，提出Defog-SN算法，该算法的泛化能力强，有效地解决了生成样本多样性不足的问题，提高了去雾图像的质量，进一步提升网络整体的稳定性以及收敛速度。
附图说明
图1是本发明去雾方法的总体流程图；
图2是本发明DefogNet的网络结构示意图；
图3是本发明DefogNet的生成器结构示意图；
图4是本发明DefogNet的判别器结构示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
本发明所述的一种基于DefogNet的单幅图像去雾方法，通过DefogNet的去雾方法在保证图像背景和结构不变的条件下实现图像去雾，生成清晰图像。
本发明的训练集和验证集中的有雾和无雾图像采用开源数据集RESIDE、I-HAZE、O-HAZE中的图像。RESIDE的室外数据集包含8970幅清晰无雾图像和根据清晰图像合成的313950幅有雾图像。O-HAZE是一个室外场景数据库，包含45对室外场景的真实有雾图像和相应的无雾图像。I-HAZE包含了35对室内真实场景的有雾图像及相应的无雾图像。本发明从I-HAZE、O-HAZE以及RESIDE中随机抽取4900张用于训练以及验证。随机抽取的有雾图像为域X；随机抽取的无雾图像为域Y。
一种基于DefogNet的单幅图像去雾方法，具体方法如下：
在训练阶段，首先构建有雾图像样本数据集X和无雾图像样本数据集Y，同时构造DefogNet网络训练模型，利用有雾图像样本数据集X和无雾图像样本数据集Y训练所述DefogNet网络训练模型，得到最终DefogNet网络模型；
在测试阶段，首先将有雾图像归一化至特定尺寸，然后将归一化后的有雾图像输入至DefogNet网络模型，输出得到生成的去雾图像；
其中，所述DefogNet网络模型具体包括：
第一生成器和第二生成器，所述第一生成器用于接收输入带雾图像和合成的带雾图像，生成对应的去雾图像；所述第二生成器用于接收输入无雾图像和合成的无雾图像，生成对应的带雾图像；
第一生成器对应第一判别器，第二生成器对应第二判别器，第一判别器和第二判别器用于判别输入图像来源于真实数据集或合成数据集；
所述DefogNet网络训练模型通过在图像背景保持不变的情况下学习雾霾特征，通过两个生成器和两个判别器的循环对抗中对模型参数进行更新，直至DefogNet网络训练模型目标函数小于设定的阈值，表示训练完成，得到所述DefogNet网络模型。
进一步的，为正确训练样本分布，有效优化最终生成图片的质量，所述DefogNet的网络模型在CycleGAN网络模型的基础上进行改进，具体包括：
在所述第一生成器和第二生成器中加入跨层连接结构增强网络多尺度特征提取的能力，突破编解码过程中信息丢失的瓶颈，摒弃了简单地连接对称层所有通道的方法。
所述第一生成器和第二生成器的网络结构均为编码器-转换器-解码器；所述编码器及解码器采用卷积层、激活层、BN层；转换器采用Dense block的稠密连接结构，包括卷积层和激活层；
其中，编解码器和解码器中的激活层使用Leaky ReLU激活函数：
转换器中的激活层使用SeLU激活函数，能够将样本分布自动归一化至均值为0以及标准差为1，所述SeLU激活函数：
进一步的，所述第一判别器和第二判别器均采用CNN网络模型，共6个层级结构，每个层级包括卷积层、激活层、BN层和谱归一化层。
本发明对已被提出的CycleGAN损失函数进行改进，以原始CycleGAN损失函数为基础，添加色彩感知损失函数以及细节感知损失函数，用于估计图像在经过去雾处理之后产生的差异性。
所述DefogNet的损失函数由原始CycleGAN损失函数、色彩感知损失函数以及细节感知损失函数构成：
Ldefog＝LCYC+Ldpl+Lcpl(I)
式中，Ldefog为DefogNet网络模型的损失函数；LCYC为CycleGAN网络模型的损失函数；Ldpl为细节感知损失函数；Lcpl(I)为色彩感知损失函数。
进一步的CycleGAN网络模型的损失函数由生成器与判别器的对抗损失函数和循环一致性损失函数构成：
LCYC＝LGAN(G，DY，X，Y)+LGAN(F，DX，X，Y)+γLCCL
式中，LCYC为CycleGAN损失函数；LGAN(G，DY，X，Y)表示判别器对真实样本的概率估计；LGAN(F，DX，X，Y)表示判别器对生成样本的概率估计；γ为循环一致损失的权重；LCCL为循环一致性损失函数。
进一步的，所述生成对抗损失函数由判别器对真实样本的概率估计以及判别器对生成样本的概率估计构成，相关公式：
式中，LGAN(G，DY，X，Y)表示判别器对真实样本的概率估计；
表示数据域X内的样本数据x的期望分布；
表示数据域Y内的样本数据y的期望分布；LGAN(F，DX，X，Y)表示判别器对生成样本的概率估计；X、Y分别表示两个数据域；x表示数据域X内的样本数据；y表示数据域Y内的样本数据；G表示X到Y的映射函数；F表示Y到X的映射函数；DX、DY分别表示第一判别器和第二判别器；
进一步的，所述循环一致性损失函数：
式中，LCCL为循环一致性损失函数；φ(x)为数据域X内的样本数据的正态分布；φ(y)为数据域Y内的样本数据的正态分布；φ(F(G(x)))为；φ(G(F(y)))为；
进一步的，为降低生成图片与原图的差异，加入了细节感知损失函数，所述细节感知损失函数由第一生成器和第二生成器的细节感知损失函数构成；其中，DefogNet的细节感知损失函数：
Ldpl＝Ldpl(FX→Y)+Ldpl(GY→X)
式中，Ldpl为DefogNet的细节感知损失函数；Ldpl(GX→Y)为第一生成器的细节感知损失函数；Ldpl(FY→X)为第二生成器的细节感知损失函数。
其中，所述第一生成器的细节感知损失函数：
式中，Ldpl(GX→Y)为第一生成器的细节感知损失函数；
为数据域X内的样本数据的期望概率分布；
为数据域Y内的样本数据的期望概率分布。
所述第二生成器的细节感知损失函数：
式中，Ldpl(FY→X)为第二生成器的细节感知损失函数；
进一步的，去雾处理过程需要对rgb三种类型的通道完成相同的操作，同时还需要保持去雾完成后的图像细节不产生较大的差异，因此在生成图像时加入色彩感知损失函数；所述色彩感知损失函数：
式中，Lcpl(I)为DefogNet的色彩感知损失函数；W为图片的宽；H为图片的高；rgb表示色光的彩色模式，r表示红色，g表示绿色，b表示蓝色。
本发明还提出一种Defog-SN算法，能够解决生成样本多样性不足的问题，提高去雾图像的质量，进一步提升网络整体的稳定性以及收敛速度，具体在所述第一判别器和第二判别器的卷积层中均添加谱归一化层，令判别网络满足1-Lipschitz连续，同时利用梯度惩罚增强了Lipschitz约束条件，得到DefogNet网络模型的目标函数。
进一步的，在所述第一判别器和第二判别器的卷积层中均添加谱归一化层，令判别网络满足1-Lipschitz连续，具体包括：
卷积层参数矩阵W满足1-Lipschitz连续，需满足如下关系式：
式中，WSN为归一化后的卷积层参数矩阵；W为卷积层参数矩阵；σ(W)为卷积层参数矩阵W的谱范数，且该谱范数等于卷积层参数矩阵W的最大奇异值；
其中，谱范数σ(W)的计算公式如下：
式中，h表示任意一卷积层；
进一步的，卷积层参数矩阵W的最大奇异值利用其左右奇异值向量得到，具体包括：
首先，随机初始化向量u，并将向量u作为参数矩阵W的右奇异值向量；
然后，根据右奇异值向量u通过以下公式计算左奇异值向量v：
式中，v为参数矩阵W的左奇异值向量；W为卷积层参数矩阵；u为参数矩阵W的右奇异值向量；
接着，将计算得到的左奇异值向量v计算得到新的右奇异值向量u：
最后，通过重复迭代，直到卷积层参数矩阵的奇异值达到最大；其中卷积层的奇异值计算公式：
式中，
为WTW最大特征值的开方，即卷积层参数矩阵W的最大奇异值。
进一步的，本发明提出了计算具有任意步长和填充方案的判别器的卷积层的最大奇异值，同时通过反卷积运算简化和加快卷积谱范数的计算，具体包括：
神经网络中判别器第i层的输出特征图ψi(X)可表示为输入数据域X的线性运算：
式中，M是输入的特征图的全部像素点；Fi，j为滤波器；j为坐标点；
对数据域X进行矢量化处理，使得Ti，j表示为与Fi，j相关的整体线性运算：
ψi(X)＝[T1，1 … T1，M]X
卷积运算表示为：
通过转置卷积参数矩阵W得到WT，无需显式构造W就可以实现矩阵乘法，从而得到谱范数σ(W)；
这样，通过幂迭代方法获得谱范数σ(W)，并在卷积和卷积转置运算中添加适当的步长和填充参数。在每一层卷积运算中使用相同的u，每个步骤仅更新一次W，并使用更大的范围来限制σ(W)≤β，这样可以加快训练速度：
其中，β为常数；
进一步的，本发明使用Wasserstein距离衡量生成的分布pg和实际分布pdata是否符合要求。由于引入了1-lipschitz连续性，网络参数的变化范围需要限制在一定范围内，即每次更新时参数的变化范围都不应超过某个常数β。因此，实际数据分布pdata与生成的数据分布pg之间的Wasserstein距离可以表示为：
式中，Dw为实际数据分布pdata与生成的数据分布pg之间的Wasserstein距离；
为实际数据的期望分布；
为生成数据的期望分布；
其中Dw越小，生成分布pg越接近于真实分布pdata。
由于引入了频谱归一化，该函数在任何情况下都是可微的，可以解决Gan模型训练过程中梯度消失的问题。此时判别器的目标函数如下：
式中，objD为判别器的目标函数；
本发明还通过梯度惩罚增强了Lipschitz约束条件，具体包括：
首先，使用随机采样方法获得真实样本Xdata，错误样本Xg和[0，1]范围内的随机数θ：
Xdata～pdata，Xg～pg，θ～uniform[0，1]
式中，Xdata～pdata表示真实样本服从真实分布；Xg～pg表示错误样本服从生成分布；θ～uniform[0，1]表示随机数服从随机函数分布；
然后，在真实样本Xdata和错误样本Xg之间随机插入样本
：
其中，
满足的分布表示为
最后，得到DefogNet网络模型的目标函数为：
式中，obj(G，D)表示DefogNet网络模型的目标函数值。
Claims (10)
1.一种基于DefogNet的单幅图像去雾方法，其特征在于，该方法包括如下步骤：
在训练阶段，首先构建有雾图像样本数据集X和无雾图像样本数据集Y，同时构造DefogNet网络训练模型，利用有雾图像样本数据集X和无雾图像样本数据集Y训练所述DefogNet网络训练模型，得到最终DefogNet网络模型；
在测试阶段，首先将有雾图像归一化至特定尺寸，然后将归一化后的有雾图像输入至DefogNet网络模型，输出得到生成的去雾图像；
其中，所述DefogNet网络模型具体包括：
第一生成器和第二生成器，所述第一生成器用于接收输入带雾图像和合成的带雾图像，生成对应的去雾图像；所述第二生成器用于接收输入无雾图像和合成的无雾图像，生成对应的带雾图像；
第一生成器对应第一判别器，第二生成器对应第二判别器，第一判别器和第二判别器用于判别输入图像来源于真实数据集或合成数据集；
所述DefogNet网络训练模型通过在图像背景保持不变的情况下学习雾霾特征，通过两个生成器和两个判别器的循环对抗中对模型参数进行更新，直至DefogNet网络训练模型目标函数小于设定的阈值，表示训练完成，得到所述DefogNet网络模型。
2.根据权利要求1所述的一种基于DefogNet的单幅图像去雾方法，其特征在于，所述第一生成器和第二生成器的网络结构均为编码器-转换器-解码器；所述编码器及解码器采用卷积层、激活层、BN层；转换器采用Dense block的稠密连接结构，包括卷积层和激活层；
所述第一判别器和第二判别器均采用CNN网络模型，共6个层级结构，每个层级包括卷积层、激活层、BN层和谱归一化层。
3.根据权利要求2所述的一种基于DefogNet的单幅图像去雾方法，其特征在于，所述编解码器和解码器中的激活层使用Leaky ReLU激活函数：
所述转换器中的激活层使用SeLU激活函数：
4.根据权利要求3所述的一种基于DefogNet的单幅图像去雾方法，其特征在于，添加细节感知损失与色彩感知损失，构成了DefogNet的损失函数：
Ldefog＝LCYC+Ldpl+Lcpl(I)
式中，Ldefog为DefogNet的损失函数；LCYC为CycleGAN损失函数；Ldpl为细节感知损失函数；Lcpl(I)为色彩感知损失函数；
所述CycleGAN损失函数由生成器与判别器的对抗损失函数和循环一致性损失函数构成：
LCYC＝LGAN(G，DY，X，Y)+LGAN(F，DX，X，Y)+γLCCL
式中，LCYC为CycleGAN损失函数；LGAN(G，DY，X，Y)表示判别器对真实样本的概率估计；LGAN(F，DX，X，Y)表示判别器对生成样本的概率估计；γ为循环一致损失的权重；LCCL为循环一致性损失函数。
5.根据权利要求4所述的一种基于DefogNet的单幅图像去雾方法，其特征在于，所述细节感知损失包括：
(1)第一生成器的细节感知损失函数：
式中，Ldpl(GX→Y)为第一生成器的细节感知损失函数；X、Y表示两个数据域；x表示数据域X内的样本数据；y表示数据域Y内的样本数据；G表示X到Y的映射函数，F表示Y到X的映射函数；DX、DY分别表示第一判别器和第二判别器；
为数据域X内的样本数据的期望分布；
为数据域Y内的样本数据的期望分布；
(2)第二生成器的细节感知损失函数：
式中，Ldpl(FY→X)为第二生成器的细节感知损失函数；
(3)所述第一生成器和第二生成器的细节感知损失函数构成DefogNet的细节感知损失函数：
Ldpl＝Ldpl(FX→Y)+Ldpl(GY→X)
式中，Ldpl为DefogNet的细节感知损失函数。
6.根据权利要求4所述的一种基于DefogNet的单幅图像去雾方法，其特征在于，所述色彩感知损失：
式中，Lcpl(I)为DefogNet的色彩感知损失函数；W为图片的宽；H为图片的高；r g b表示色光的彩色模式，r表示红色，g表示绿色，b表示蓝色。
7.根据权利要求3所述的一种基于DefogNet的单幅图像去雾方法，其特征在于，在所述第一判别器和第二判别器的卷积层中均添加谱归一化层，令判别网络满足1-LipsChitz连续，具体包括：
卷积层参数矩阵W满足1-Lipschitz连续，需满足如下关系式：
式中，WSN为归一化后的卷积层参数矩阵；W为卷积层参数矩阵；σ(W)为卷积层参数矩阵W的谱范数，且该谱范数等于卷积层参数矩阵W的最大奇异值；
其中，卷积层参数矩阵W的最大奇异值利用其左右奇异值向量得到，具体通过随机初始化向量u，并将向量u作为参数矩阵W的右奇异值向量；然后通过下列计算式反复迭代，直到卷积层参数矩阵的奇异值达到最大；其中计算式：
式中，v为参数矩阵W的左奇异值向量；W为卷积层参数矩阵；u为参数矩阵W的右奇异值向量；
为WTW最大特征值的开方，即卷积层参数矩阵W的最大奇异值；
其中，所述谱范数σ(W)的计算公式如下：
式中，h表示任意一卷积层。
8.根据权利要求7所述的一种基于DefogNet的单幅图像去雾方法，其特征在于，计算卷积层的最大奇异值过程中通过反卷积运算简化和加快卷积谱范数的计算，具体包括：
神经网络中判别器第i层的输出特征图ψi(X)可表示为输入数据域X的线性运算：
式中，M是输入的特征图的全部像素点；Fi，j为滤波器；j为坐标点；
对数据域X通过卷积运算进行矢量化处理，使得Ti，j表示为与Fi，j相关的整体线性运算：
ψi(X)＝[T1，1 … T1，M]X
其中，卷积运算表示为：
通过转置卷积参数矩阵得到WT，进而得到谱范数σ(W)；
通过幂迭代方法获得谱范数σ(W)，并在卷积和卷积转置运算中添加一定的步长和填充参数，同时在每一层卷积运算中均使用相同的右奇异值向量u，每个步骤仅更新一次W，并使用更大的范围来限制σ(W)≤β，得到加快训练速度的作用；其中，归一化后的卷积层参数矩阵的计算公式为：
式中，β为常数。
9.根据权利要求8所述的一种基于DefogNet的单幅图像去雾方法，其特征在于，令判别网络满足1-Lipschitz连续过程中利用梯度惩罚增强了Lipschitz约束条件，得到DefogNet网络模型的目标函数，具体包括：
首先，使用随机采样方法获得真实样本Xdata，错误样本Xg和[0，1]范围内的随机数θ：
Xdata～pdata，Xg～pg，θ～uniform[0，1]
式中，Xdata～pdata表示真实样本服从真实分布；Xg～pg表示错误样本服从生成分布；θ～uniform[0，1]表示随机数服从随机函数分布；
然后，在真实样本Xdata和错误样本Xg之间随机插入样本
其中，
满足的分布表示为
最后，得到DefogNet网络模型的目标函数为：
式中，obj(G，D)表示DefogNet网络模型的目标函数值。
10.根据权利要求9所述的一种基于DefogNet的单幅图像去雾方法，其特征在于，生成的分布pg和实际分布pdata通过Wasserstein距离判断是否符合要求，具体包括：
设置阈值，若计算得到的Wasserstein距离小于阈值，则表示生成的分布pg符合要求；否则，不符合要求；其中，Wasserstein距离计算式为：
式中，Dw为实际数据分布pdata与生成的数据分布pg之间的Wasserstein距离；
为实际数据的期望分布；
为生成数据的期望分布。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011576883.2A CN112614070B (zh) | 2020-12-28 | 2020-12-28 | 一种基于DefogNet的单幅图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011576883.2A CN112614070B (zh) | 2020-12-28 | 2020-12-28 | 一种基于DefogNet的单幅图像去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112614070A true CN112614070A (zh) | 2021-04-06 |
| CN112614070B CN112614070B (zh) | 2023-05-30 |
Family
ID=75248236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011576883.2A Active CN112614070B (zh) | 2020-12-28 | 2020-12-28 | 一种基于DefogNet的单幅图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112614070B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256541A (zh) * | 2021-07-16 | 2021-08-13 | 四川泓宝润业工程技术有限公司 | 利用机器学习对钻井平台监控画面进行去水雾的方法 |
| CN113870139A (zh) * | 2021-09-30 | 2021-12-31 | 天津大学 | 一种循环对抗神经网络无人碾压识别去雾方法 |
| CN116452469A (zh) * | 2023-06-20 | 2023-07-18 | 深圳市欧冶半导体有限公司 | 一种基于深度学习的图像去雾处理方法及装置 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109300090A (zh) * | 2018-08-28 | 2019-02-01 | 哈尔滨工业大学（威海） | 一种基于亚像素和条件对抗生成网络的单幅图像去雾方法 |
| CN109493303A (zh) * | 2018-05-30 | 2019-03-19 | 湘潭大学 | 一种基于生成对抗网络的图像去雾方法 |
| CN110084121A (zh) * | 2019-03-27 | 2019-08-02 | 南京邮电大学 | 基于谱归一化的循环生成式对抗网络的人脸表情迁移的实现方法 |
| US20190295302A1 (en) * | 2018-03-22 | 2019-09-26 | Northeastern University | Segmentation Guided Image Generation With Adversarial Networks |
| CN111091616A (zh) * | 2019-11-25 | 2020-05-01 | 艾瑞迈迪科技石家庄有限公司 | 一种三维超声图像的重建方法及装置 |
| CN111179202A (zh) * | 2019-12-31 | 2020-05-19 | 内蒙古工业大学 | 一种基于生成对抗网络的单幅图像去雾增强方法和系统 |
| US20200160153A1 (en) * | 2018-11-15 | 2020-05-21 | L'oreal | System and method for augmented reality using conditional cycle-consistent generative image-to-image translation models |
| CN111260741A (zh) * | 2020-02-07 | 2020-06-09 | 北京理工大学 | 一种利用生成对抗网络的三维超声模拟方法及装置 |
| CN111275647A (zh) * | 2020-01-21 | 2020-06-12 | 南京信息工程大学 | 一种基于循环生成对抗网络的水下图像复原方法 |
| CN111738940A (zh) * | 2020-06-02 | 2020-10-02 | 大连理工大学 | 一种基于自注意力机制模范生成对抗网络的人脸图像眼部补全方法 |
| CN111833277A (zh) * | 2020-07-27 | 2020-10-27 | 大连海事大学 | 一种具有非配对多尺度混合编解码结构的海上图像去雾方法 |
| CN111986108A (zh) * | 2020-08-07 | 2020-11-24 | 西北工业大学 | 一种基于生成对抗网络的复杂海空场景图像去雾方法 |
| CN112037139A (zh) * | 2020-08-03 | 2020-12-04 | 哈尔滨工业大学（威海） | 基于RBW-CycleGAN网络的图像去雾方法 |
-
2020
- 2020-12-28 CN CN202011576883.2A patent/CN112614070B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190295302A1 (en) * | 2018-03-22 | 2019-09-26 | Northeastern University | Segmentation Guided Image Generation With Adversarial Networks |
| CN109493303A (zh) * | 2018-05-30 | 2019-03-19 | 湘潭大学 | 一种基于生成对抗网络的图像去雾方法 |
| CN109300090A (zh) * | 2018-08-28 | 2019-02-01 | 哈尔滨工业大学（威海） | 一种基于亚像素和条件对抗生成网络的单幅图像去雾方法 |
| US20200160153A1 (en) * | 2018-11-15 | 2020-05-21 | L'oreal | System and method for augmented reality using conditional cycle-consistent generative image-to-image translation models |
| CN110084121A (zh) * | 2019-03-27 | 2019-08-02 | 南京邮电大学 | 基于谱归一化的循环生成式对抗网络的人脸表情迁移的实现方法 |
| CN111091616A (zh) * | 2019-11-25 | 2020-05-01 | 艾瑞迈迪科技石家庄有限公司 | 一种三维超声图像的重建方法及装置 |
| CN111179202A (zh) * | 2019-12-31 | 2020-05-19 | 内蒙古工业大学 | 一种基于生成对抗网络的单幅图像去雾增强方法和系统 |
| CN111275647A (zh) * | 2020-01-21 | 2020-06-12 | 南京信息工程大学 | 一种基于循环生成对抗网络的水下图像复原方法 |
| CN111260741A (zh) * | 2020-02-07 | 2020-06-09 | 北京理工大学 | 一种利用生成对抗网络的三维超声模拟方法及装置 |
| CN111738940A (zh) * | 2020-06-02 | 2020-10-02 | 大连理工大学 | 一种基于自注意力机制模范生成对抗网络的人脸图像眼部补全方法 |
| CN111833277A (zh) * | 2020-07-27 | 2020-10-27 | 大连海事大学 | 一种具有非配对多尺度混合编解码结构的海上图像去雾方法 |
| CN112037139A (zh) * | 2020-08-03 | 2020-12-04 | 哈尔滨工业大学（威海） | 基于RBW-CycleGAN网络的图像去雾方法 |
| CN111986108A (zh) * | 2020-08-07 | 2020-11-24 | 西北工业大学 | 一种基于生成对抗网络的复杂海空场景图像去雾方法 |
Non-Patent Citations (6)
| Title |
|---|
| HANYU LI: "A Fusion Adversarial Underwater Image Enhancement Network with a Public Test Dataset", 《ARXIV:1906.06819 》 * |
| SUTING CHEN 等: "DefogNet: A Single-Image Dehazing Algorithm with Cyclic Structure and Cross-Layer Connections", 《HINDAWI：COMPLEXITY》 * |
| TAKERU MIYATO 等: "Spectral Normalization for Generative Adversarial Networks", 《ARXIV:1802.05957》 * |
| 任硕: "基于生成对抗网络的无监督图像翻译方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 赵绍良: "基于生成对抗网络的图像彩色化算法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 雷蕾 等: "基于谱归一化条件生成对抗网络的图像修复算法", 《计算机工程》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256541A (zh) * | 2021-07-16 | 2021-08-13 | 四川泓宝润业工程技术有限公司 | 利用机器学习对钻井平台监控画面进行去水雾的方法 |
| CN113870139A (zh) * | 2021-09-30 | 2021-12-31 | 天津大学 | 一种循环对抗神经网络无人碾压识别去雾方法 |
| CN116452469A (zh) * | 2023-06-20 | 2023-07-18 | 深圳市欧冶半导体有限公司 | 一种基于深度学习的图像去雾处理方法及装置 |
| CN116452469B (zh) * | 2023-06-20 | 2023-10-03 | 深圳市欧冶半导体有限公司 | 一种基于深度学习的图像去雾处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112614070B (zh) | 2023-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN112614070B (zh) | 一种基于DefogNet的单幅图像去雾方法 | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| CN111739082B (zh) | 一种基于卷积神经网络的立体视觉无监督深度估计方法 | |
| CN111833277B (zh) | 一种具有非配对多尺度混合编解码结构的海上图像去雾方法 | |
| CN112767279B (zh) | 一种基于离散小波集成生成对抗网络的水下图像增强方法 | |
| CN110689599A (zh) | 基于非局部增强的生成对抗网络的3d视觉显著性预测方法 | |
| CN111986108A (zh) | 一种基于生成对抗网络的复杂海空场景图像去雾方法 | |
| CN114445292A (zh) | 一种多阶段渐进式水下图像增强方法 | |
| CN113160392B (zh) | 基于深度神经网络的光学建筑目标三维重建方法 | |
| CN114742966A (zh) | 一种基于图像的三维场景重建方法及装置 | |
| CN115330620A (zh) | 一种基于循环生成对抗网络的图像去雾方法 | |
| CN116205962A (zh) | 基于完整上下文信息的单目深度估计方法及系统 | |
| CN113379715A (zh) | 一种水下图像增强和数据集真值图像获得方法 | |
| CN114972619A (zh) | 一种基于自对齐双重回归的单图像人脸三维重建方法 | |
| CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及系统 | |
| CN116721216A (zh) | 基于GCF-MVSNet网络的多视图三维重建方法 | |
| CN116863053A (zh) | 一种基于知识蒸馏的点云渲染增强方法 | |
| CN116843544A (zh) | 一种高超声速流场导入卷积神经网络进行超分辨率重建的方法、系统及设备 | |
| CN110675381A (zh) | 一种基于串行结构网络的本征图像分解方法 | |
| CN116137043A (zh) | 一种基于卷积和Transformer的红外图像彩色化方法 | |
| CN114783039A (zh) | 一种3d人体模型驱动的运动迁移方法 | |
| CN115705493A (zh) | 一种基于多特征注意力神经网络的图像去雾建模方法 | |
| CN117036893B (zh) | 一种基于局部跨阶段和快速下采样的图像融合方法 | |
| Wu et al. | Semantic image inpainting based on generative adversarial networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |