CN111179202A - 一种基于生成对抗网络的单幅图像去雾增强方法和系统 - Google Patents

Abstract

本发明涉及一种基于生成对抗网络的单幅图像去雾增强方法：样本数据获取模块至少获取若干有雾图像的经由第二去雾模块先行验证后的验证去雾图像和若干无雾图像，从而生成对抗网络训练模块能够基于生成对抗映射网络以先验去雾图像的RGB直方图学习无雾图像的RGB直方图的方式获取先验去雾图像和无雾图像的特征值的相关性分布规律，从而将分布规律转化为先行验证的去雾模型，以使得第一去雾模块将经过先行验证的去雾模型嵌入至待去雾图像恢复为有效去雾图像。

Description

一种基于生成对抗网络的单幅图像去雾增强方法和系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于生成对抗网络的单幅图像去雾增强方法和系统。

背景技术

雾是一种自然现象，它会模糊场景、降低可见度和改变颜色。由于现实生活中存在各种导致视觉系统成像质量的因素，使得成像设备获取的图像产生一定程度的退化。值得关注的是近年来频繁发生在全国各地的雾霾天气，已经严重地影响到了社会活动、工业生产的正常运营，致使分布广泛的监控录像锁定和追踪罪犯、计算机视觉的户外监测、遥感系统、飞行导航等系统的安全问题形成巨大挑战，特别是自动驾驶技术，雾霾气候将对其应用产生重大安全隐患。图像模糊导致景物特征不同程度衰减，相关电子设备系统在此环境下工作的鲁棒性(Robust)和可靠性大幅降低。因此，雾天降质图像优质去雾算法的研究与科学评价系统的提升，依然是近期图像处理与计算机视觉识别研究的重点内容和研究热点。图像去雾(Dehaze)技术主要是指通过一定的手段，去除图像中的雾霾信息干扰，恢复图像颜色、对比度、景物细节信息，从而得到高质量的图像，以便得到满意的视觉效果，同时获得更多的有效图像信息，并给予理论上的科学评价。对于减少交通运输、视频监控、导航系统等户外成像设备受恶劣天气条件制约，提高相关系统工作的可靠性和稳定性，具有重大的工程应用价值。

传统的去雾算法主要分为两类，基于大气光散射模型图像复原的去雾算法与基于图像增强理论的去雾算法。目前主流的去雾算法是基于大气光散射模型建立的，其中最为广泛的图像去雾算法是暗通道先验去雾算法。这种暗通道先验去雾算法在诸多领域已经满足需求，但是由于缺乏有雾图像中有效的先验知识，所以无法得到最优的透视率，在图像复原过程中呈现颜色偏移的想象。为了满足在监控录像锁定和追踪罪犯、计算机视觉的户外监测、遥感系统、飞行导航、自动驾驶技术等对图像要求质量高的领域，如何进一步地提升去雾图像的质量是本领域需要解决的技术问题。

公开号为CN106127702B的中国专利公开的一种基于深度学习的图像去雾方法，用于去除有雾图像中的雾气干扰，降低雾气对图像质量的影响。其包括：获取样本集与测试样本集；对样本集中有雾图像进行HSL空间变化，提取有雾图像局部低亮特征，并对所有特征分量进行尺度缩放与归一化处理；找出判别透视率，使深度判别神经网络实现对抗式训练；利用深度生成对抗神经网络对上述特征分量进行训练，学习建立有雾图像与透视率间的映射网络；运用深度生成神经网络对测试样本集进行去雾测试。该方式用于对以往去雾算法先验信息不足的技术问题。

但是，该专利无法感知去雾图像中被雾削弱的特征，因而会导致图像中某些细节和色彩偏移的丢失，使雾图像具有弱化场景信息的特点以难以提取原始场景信息。

此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于发明人做出本发明时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝非本发明不具备这些现有技术的特征，相反本发明已经具备现有技术的所有特征，而且申请人保留在背景技术中增加相关现有技术之权利。

发明内容

针对现有技术之不足，本发明提供了一种基于生成对抗网络的单幅图像去雾增强系统，包括样本数据获取模块、生成对抗网络训练模块和第一去雾模块，其中：所述样本数据获取模块，通过公开的图像库和/或通过网络爬虫技术获取适用于生成对抗网络训练模块构建去雾模型的若干图像作为样本数据；所述生成对抗网络训练模块，提取所述若干图像的特征值并通过生成对抗映射网络将所述特征值学习转化为能够用于第一去雾模块将待去雾图像恢复为有效去雾图像的去雾模型；所述样本数据获取模块至少获取若干有雾图像的经由第二去雾模块先行验证后的验证去雾图像和若干无雾图像，从而所述生成对抗网络训练模块能够基于所述生成对抗映射网络以所述先验去雾图像的特征值的直方图学习所述无雾图像的特征值的直方图的方式获取所述先验去雾图像和所述无雾图像的特征值的相关性分布规律，从而将所述分布规律转化为先行验证的去雾模型，以使得所述第一去雾模块将所述经过先行验证的去雾模型嵌入至所述待去雾图像恢复为有效去雾图像。例如，其特征值可以是RGB。

根据一种优选的实施方式，所述第二去雾模块配置为按照如下方式将所述有雾图像进行先验去雾获取所述验证去雾图像：在计算机视觉和计算机图形学中，配置能够用于将所述有雾图像先验转化为所述验证去雾图像的映射模型，所述映射模型至少包括用以描述所述有雾图像和所述验证去雾图像的映射关系的透射率值与大气光值，求取大气光值：在所述有雾图像的RGB三通道中选取能够用于获取暗通道图的最小值通道图，并基于所述暗通道图获取所述大气光值；求取透射率值：基于暗通道先验理论获取所述透视率值；基于所述映射模型、所述大气光值和所述透视率值将所述有雾图像进行先验去雾得到所述验证去雾图像。

根据一种优选的实施方式，所述生成对抗网络训练模块对比所述待去雾图像对应的经由所述第一去雾模块中的先行验证的去雾模型恢复的有效去雾图像和经由所述第二去雾模块先行验证的验证去雾图像，用于获取所述有效去雾图像和所述验证去雾图像的特征值的相关性分布，以使得所述生成对网络训练模块能够自适应地基于先行验证的有效去雾图像和先行验证的验证去雾图像修正所述去雾模型。

根据一种优选的实施方式，所述生成对抗网络训练模块包括生成器和判别器，所述生成器构建生成网络，所述生成网络用于所述先验去雾图像模仿所述无雾图像以生成中间去雾图像；所述判别器构建判别网络，所述判别网络基于所述中间去雾图像计算代价函数；如果代价函数计算结果小于预先设置的去雾阈值，则将所述生成网络作为去雾模型；否则，将所述中间去雾图像作为所述生成器的输入图像继续进行学习，直至所述代价函数计算结果小于预先设置的去雾阈值，以更新所述生成网络。

根据一种优选的实施方式，所述生成对抗网络训练模块包括生成器和判别器，所述生成器构建生成网络，所述生成网络用于所述先验去雾图像模仿所述无雾图像以生成中间去雾图像；所述判别器构建判别网络，所述判别网络基于所述中间去雾图像计算代价函数；如果代价函数计算结果小于预先设置的去雾阈值，则将所述生成网络作为去雾模型；否则，将所述中间去雾图像作为所述生成器的输入图像继续进行学习，直至所述代价函数计算结果小于预先设置的去雾阈值，以更新所述生成网络。

根据一种优选的实施方式，所述第一去雾模块将所述待去雾图像分割成若干个小块图像，并统计每一小块图像的像素值分布以获取每一小块图像的直方图统计结果，将该直方图统计结果输入所述生成网络中以输出每一小块图像的去雾结果对应的直方图，并将每一小块图像对应的直方图累加拼接成大块图像，利用导向滤波器以去除边角不自然过渡的方式对所述大块图像进行滤波以获取所述有效去雾图像。

根据一种优选的实施方式，所述生成网络学习建立从雾图像到透视图的映射网络，得到生成的透视图，并通过判别网络生成透视图和最优透视图；所述生成网络和所述判别网络符合下列要求：

其中，dist是从训练样本中获得的最佳视角，作为判别过程中的判别视角，dist是从样本中获得的判别视角它满足分布数据p；t是g的生成视角；f为输入特征，即从雾图像样本中提取的训练特征；其中，对于判别网络D来说，其用于分辨区分视角和生成视角；而对于网络G来说，使D不能正确区分生成视角，从而与所述判别网络D对抗训练。

根据一种优选的实施方式，所述去雾增强系统包括评价模块，所述评价模块按照如下方式配置：响应于接收到第一去雾模块输出的有效去雾图像的情况下而向所述第二去雾模块发出评价信号，使得所述第二去雾模块向所述评价模块输入验证去雾图像；基于至少一个预设评价指标评价所述有效去雾图像相对于所述验证去雾图像的质量改善相对值，在所述质量改善相对值大于或等于设定质量相对值的情况下，所述第一去雾模块输出所述有效去雾图像，并且所述生成对网络训练模块能够自适应地基于先行验证的有效去雾图像和先行验证的验证去雾图像更新所述去雾模型；在所述质量改善相对值小于设定质量相对值的情况下，所述生成对抗网络训练模块采用至少一次高斯回归模型对所述去雾模型进行修正。

根据一种优选的实施方式，本发明还公开了一种基于生成对抗网络的单幅图像去雾增强方法，用于上述系统。

本发明的相比较于现有技术：利用DCP去雾后的RGB信息数据，与无雾图像RGB信息数据做对抗训练，有效地解决了DCP无法回避的明亮部分去雾失真问题。为了解决DCP造成的明亮失真问题，采用生成对抗网络网络，同时产生输出判别网络进行评估，以确保输出看起来像真实的图像。其间，生成网络先生成靶图。靶图是这个网络中最重要的部分，因为它将引导生成网络关注雾化区域。靶图由一个循环网络生成。然后，生成网络利用设计好自动编码器，以输入图像和靶图作为输入。为了获得更广泛的上下文信息，在自动编码器的解码器侧，采用多尺度损失。每个损失都比较了卷积层的输出和相应的ground truth之间的差异。卷积层的输入包含着解码器层的特征。除了这些损失之外，对于自动编码器的最终输出，使用一个感知损失来获得与ground truth更全面的相似性。最后的输出也是生成网络的输出。在获得生成图像输出后，判别网络将检查它是否真实。其实，在测试阶段，目标雾化区域并没有给出。因此，在局部区域上没有判别网络可以关注的信息。为了解决这一问题，利用引导判别网络指向局部目标区域。总的来说，将靶图引入到生成网络和判别网络中，这是一种全新的方法，可以有效地实现图像去雾。

附图说明

图1是本发明提供的一种基于生成对抗网络的单幅图像去雾增强系统的示意图。

附图标记列表

F：有雾图像 100：样本采集模块

DF₁：先验去雾图像 200：生成对抗网络模块

NF：无雾图像 300：第一去雾模块

DF₂：有效去雾图像 400：第二去雾模块

WF：待去雾图像 500：评价模块

DF₃：验证去雾图像

具体实施方式

下面结合附图1进行详细说明。

为了便于理解本发明，将本发明的技术用语进行如下解释。

图像去雾(DeFog scene)：对含有雾霾的图像进行修复，从而最大程度复原场景本来的能见度和颜色的方法。基于映射模型、大气光值和透视率值将有雾图像F进行先验去雾，可以得到验证去雾图像。

生成对抗网络：Generative Adversarial Networks，其包括生成网络和对抗网络。

雾图：即雾霾图像，在雾霾天气下拍摄的图像。由于大气中的水滴、烟、雾、尘土微粒等混浊媒介对环境光(Atmospheric Light)吸收与散射的影响，导致透过光(Transmission Light)强度衰减，从而使得光学传感器所接收到的光强发生了变化，致使图像对比度降低、动态范围缩小、图像模糊不清、细节信息缺失、景物特征被掩盖、色彩保真度下降，无法达到满意的视觉效果。

暗通道先验(Dark Channel Prior)算法：是基于统计意义上观测得到的结果。对于一个观测图像J，其暗通道先验的观测结果为：

J^dark(x)＝miny_∈Ω(x)(minc_{∈(r，g，b)}J^c(y))；

如果J^dark(x)→0，则J是无雾室外图像。

式中，Ω(x)是以x为中心的一个局部窗口。J^c是J的一个颜色通道。

对抗网络：(GAN，Generative Adversarial Networks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。

RGB：色彩就是常说的三原色，R代表Red(红色)，G代表Green(绿色)，B代表Blue(蓝色)。

本发明中，“模块”是具有相应功能的硬件、软件或者硬件软件的结合的处理器。本发明中，训练学习采用的主要设备配置为：Intel(R)Core(TM)i5-7300HQ CPU@2.5GHz和NVIDIA GeForce GTX 1050Ti。

实施例1

本实施例公开一种基于生成对抗网络的单幅图像去雾增强系统，包括样本数据获取模块100、生成对抗网络训练模块200和第一去雾模块300。

样本数据获取模块100，用于获取样本数据。其主要通过公开的图像库和/或通过网络爬虫技术获取若干图像。若干图像包括有雾图像和无雾图像。这些图像适用于生成对抗网络训练模块200构建去雾模型。本实施例中，样本数据获取模块100能够获取若干有雾图像F和若干无雾图像NF，然后将若干有雾图像F经由第二去雾模块400进行先行验证以获取对应的验证去雾图像DF₁。

生成对抗网络训练模块200，提取若干图像的特征值，并能够通过生成对抗映射网络将特征值学习转化为去雾模型。该去雾模型能够用于第一去雾模块300将待去雾图像WF恢复为有效去雾图像DF₂。对抗网络训练模块200能够基于生成对抗映射网络以先验去雾图像DF₁的RGB直方图学习无雾图像NF的RGB直方图的方式获取先验去雾图像DF₁和无雾图像NF的特征值的相关性分布规律，然后将分布规律转化为先行验证的去雾模型。第一去雾模块300将经过先行验证的去雾模型嵌入至待去雾图像WF恢复为有效去雾图像DF₂。利用DCP去雾后的RGB信息数据，与无雾图像RGB信息数据做对抗训练，有效地解决了DCP无法回避的明亮部分去雾失真问题。为了解决DCP造成的明亮失真问题，采用生成对抗网络网络，同时产生输出判别网络进行评估，以确保输出看起来像真实的图像。其间，生成网络先生成靶图。靶图是这个网络中最重要的部分，因为它将引导生成网络关注雾化区域。靶图由一个循环网络生成。然后，生成网络利用设计好自动编码器，以输入图像和靶图作为输入。为了获得更广泛的上下文信息，在自动编码器的解码器侧，采用多尺度损失。每个损失都比较了卷积层的输出和相应的ground truth之间的差异。卷积层的输入包含着解码器层的特征。除了这些损失之外，对于自动编码器的最终输出，使用一个感知损失来获得与ground truth更全面的相似性。最后的输出也是生成网络的输出。在获得生成图像输出后，判别网络将检查它是否真实。其实，在测试阶段，目标雾化区域并没有给出。因此，在局部区域上没有判别网络可以关注的信息。为了解决这一问题，利用靶图来引导判别网络指向局部目标区域。总的来说，将靶图引入到生成网络和判别网络中，可以有效地实现图像去雾。

优选地，生成对抗网络训练模块200包括生成器和判别器。生成器构建生成网络，生成网络用于先验去雾图像DF1模仿无雾图像NF以生成中间去雾图像。判别器构建判别网络，判别网络基于中间去雾图像计算代价函数；如果代价函数计算结果小于预先设置的去雾阈值，则将生成网络作为去雾模型；否则，将中间去雾图像作为生成器的输入图像继续进行学习，直至代价函数计算结果小于预先设置的去雾阈值，以更新生成网络。优选地，第一去雾模块300配置为：将图像分割成一系列的小块，使得每一小块内，雾的浓度相差不大。统计每一小块内的像素值的分布，分R、G、B三通道统计灰度直方图。设灰度直方图的横坐标以4像素为间隔，总共有256/4＝64个间隔。有三个通道，统计得到的数据表示成64×1×3的矩阵；将统计得到的矩阵除以矩阵中的最大值，保证所有输入数据的取值范围为0-1，便于模型学习。将之前得到的每一小块图像的直方图统计结果输入到经过训练的网络中，通过一系列一维的卷积，最终输出预测的去雾结果中对应块的直方图。将输出的直方图以及输入的直方图都除以它们所有数据的和，使它们中数据的累加和为1，并通过积分转换为累计分布直方图，以进行直方图匹配。进行直方图匹配后，对应的，分别获得每一块的去雾结果，并拼成大图。由于分块预测，此时区块之间会有不自然的过渡，通过导向滤波器来去除不自然的过渡。原始有雾图像作为引导图。优选地，小块图像小块大小分8×8像素。优选地，网络结构分为三部分：特征提取层，映射层以及压缩层。特征提取层由三层网络组成：第一层由64个3×1×3的卷积核组成，第二层由64个3×1×64的卷积核组成，第三层由32个3×1×64的卷积核组成。所有的卷积核都做一维的卷积。每一层做卷积的时候都对输入特征进行“零填充”，保证所有输出特征在第一个维度上保持64的大小。映射层有16层，每层包含32个3×1×32的卷积核。映射层采用一个一维“残差网络”的结构。映射层中每一层的输出都为输入以及卷积结果的和。压缩层将映射层的输出压缩为64×1×3的大小，用于之后进行三个通道的直方图匹配。

优选地，生成网络学习建立从雾图像到透视图的映射网络，得到生成的透视图，并通过判别网络生成透视图和最优透视图。生成网络和判别网络符合下列要求：

其中，dist是从训练样本中获得的最佳视角，作为判别过程中的判别视角。dist是从样本中获得的判别视角它满足分布数据p。t是g的生成视角。f为输入特征，即从雾图像样本中提取的训练特征。

其中，对于判别网络D来说，其用于分辨区分视角和生成视角。而对于网络G来说，使D不能正确区分生成视角，从而与判别网络D对抗训练。

判别网络主要是对输入的视角进行分类，得到正确的判别概率。由于透视率与图像的深度信息有一定的相关性，并且深度信息是实际场景中的一种渐变信息，所以在真实场景中透视率的变化有一定的规律。但是对于生成的透视图，由于去雾可能存在偏差，生成的结果不能满足真实场景下的变化规律，也不能准确反映雾场景的透光状态。有鉴于此，利用卷积神经网络提取透视率的特征，可以得到代表透视率变化规律的特征，并以此特征作为透视率的判断标准，从而确定两种透视率的判别概率。在卷积层的训练中，初始参数的选取直接影响训练的精度。参数更新与各输入节点的梯度变化有关，训练后容易得到饱和非线性模型为了减少输入和初始化对参数更新的影响，提高训练学习率，在判别网络中引入了批标准化层，包括标准化和激活函数re-lu。利用卷积网络对输入信息进行感知，逐层提取透视率中与雾相关的特征，并通过完全连接的方式对两个透视图进行区分。判别网络主要对输入视角进行分类，得到正确的判别概率。由于透视率与图像的深度信息有关，而深度信息是实际场景中的一种梯度信息，因此在实际场景中透视率的变化有一定的规律。对于透视图的生成速率，由于结构偏差，生成的结果不能满足真实场景中的变化规律，也不能准确反映雾场景中的光透射状态。鉴于此，利用卷积神经网络提取透视图的特征，得到透视图的特征变化规律利用这些特征作为透视的标准，可以区分两种透视的概率。在卷积层的训练中，初始参数对训练精度的影响较大新模型与各层输入节点的梯度变化有关，便于训练后得到饱和非线性模型为了减少输入和初始化对参数更新的影响，提高训练学习率，在判别网络中引入了批标准化层。生成网络结构图雾场景中的透视与雾图像的饱和度、色差、矢量对比度、黑色通道和光晕有关。因此，利用卷积网络逐层提取这些特征。特征。由于所提取的高度抽象的特征具有表示透视图的特点，并且包含透视图信息，因此可以通过映射和恢复来获得所需的透视图。利用阶跃卷积网络对抽象特征进行分解，通过映射sigmoid激活函数得到场景中的透视图。为了解决初始化梯度和损失函数下降幅度过小的问题，在网络中增加了一个批量标准化层为了使透视信息更可靠地反映场景的实际情况，在生成的网络中加入空间池层，提取出粗糙的透视信息并对其进行稀疏处理，以保证生成的网络具有最佳的透视效果。

优选地，生成对抗网络训练模块200对比待去雾图像WF对应的经由第一去雾模块100中的先行验证的去雾模型恢复的有效去雾图像DF₂和经由第二去雾模块200先行验证的验证去雾图像DF₃，用于获取有效去雾图像DF₂和验证去雾图像DF₃的特征值的相关性分布。生成对网络训练模块200能够自适应地基于先行验证的有效去雾图像DF₂和先行验证的验证去雾图像DF₃修正去雾模型。优选地，去雾增强系统包括评价模块500。本实施例从模型准确性以及训练集搜索两个角度，对去雾模型进行校正。并提出两层联合的高斯过程回归模型，来降低了模型误差；从筛选数据集的角度，优化数据驱动模型，并针对去雾算法使用的数据驱动模型，进行具体设计。预设评价指标评价可以是：

式中，PSNR反映了信号最大可能功率和影响它的表示精度的破坏性噪声功率的比值。评价模块500按照如下方式配置：响应于接收到第一去雾模块300输出的有效去雾图像DF₂的情况下而向第二去雾模块400发出评价信号，使得第二去雾模块400向评价模块500输入验证去雾图像DF₃。采用PSNR对有效去雾图像DF₂相对于验证去雾图像DF₃的质量改善相对值。质量改善相对值可以是PSNR_DF2与PSNR_DF3的差值。在质量改善相对值大于或等于设定质量相对值的情况下，第一去雾模块300输出有效去雾图像DF₂，并且生成对网络训练模块200能够自适应地基于先行验证的有效去雾图像DF₂和先行验证的验证去雾图像DF₃更新去雾模型。在质量改善相对值小于设定质量相对值的情况下，生成对抗网络训练模块200采用至少一次高斯回归模型对去雾模型进行修正。

实施例2

本实施例公开一种基于暗通道的先验去雾系统。本实施例可以是对实施例1的进一步改进和/或补充，重复的内容不再赘述。在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式的整体和/或部分内容可以作为本实施例的补充。

第二去雾模块400配置为按照如下方式将有雾图像F进行先验去雾获取验证去雾图像DF1。在计算机视觉和计算机图形学中，配置能够用于将有雾图像F先验转化为验证去雾图像DF1的映射模型，映射模型至少包括用以描述有雾图像F和验证去雾图像DF1的映射关系的透射率值与大气光值。求取大气光值：在有雾图像F的RGB三通道中选取能够用于获取暗通道图的最小值通道图，并基于暗通道图获取大气光值。求取透射率值：基于暗通道先验理论获取透视率值。基于映射模型、大气光值和透视率值将有雾图像F进行先验去雾得到验证去雾图像DF1。

优选地，第二去雾模块200是基于暗通道先验的去雾模块，其至少按照以下步骤执行先验去雾：

S1：求取有雾图像每个像素点的R，G，B三个通道的最小值，然后进行最小值滤波即得到有雾图像的暗通道图像，具体表达式为：

式中，J表示有雾图像，即F；J^c表示J的R，G，B三个颜色通道之一；J^c(y)表示图像中每个像素点的某一颜色通道的值；Ω(x)为以像素点x为中心的一个滤波区域；J^dark即为J的暗通道图。

基于暗通道先验理论，确定透视率值：

由此可知：

基于暗通道先验理论：

由此可知：

为透射率值；

引入去雾因子ω，取0～1

S2：计算暗通道图像中像素值前0.1％的像素点的位置，然后求取有雾图像中对应位置的像素值的平均值作为有雾图像的大气光值A；

S3：基于大气散射模型——映射模型：

I(x)＝J(x)t(x)+A(1-t(x))

将大气光值和透射率值代入映射模型中，求取先验去雾图像DF₁—J(x)。

基于暗通道先验得到的先验去雾图像至少具有如下的缺陷：由于某些透射率和深度信息之间的不相称关系，存在光晕和块效应等视觉缺陷。对于这部分不可靠的传输估计，通常采用软消光、引导滤波等基于滤波的方法来细化运算，使传输图像的边缘信息更接近原始图像但是，基于滤波的精度运算存在着一些缺陷，如透射率不符合深度信息的变化规律，导致估计偏差，削弱了非雾图像的对比度。

实施例3

本实施例可以是对实施例1的进一步改进和/或补充，重复的内容不再赘述。在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式的整体和/或部分内容可以作为本实施例的补充。

本实施例公开一种基于生成对抗网络的单幅图像去雾增强方法。包括：

样本数据获取模块100通过公开的图像库和/或通过网络爬虫技术获取适用于生成对抗网络训练模块200构建去雾模型的若干图像作为样本数据；

生成对抗网络训练模块200提取若干图像的特征值并通过生成对抗映射网络将特征值转化为能够用于第一去雾模块300将待去雾图像WF恢复为有效去雾图像DF₂的去雾模型；

从而生成对抗网络训练模块200能够基于生成对抗映射网络以先验去雾图像DF₁的RGB直方图学习无雾图像NF的RGB直方图的方式获取先验去雾图像DF₁和无雾图像NF的特征值的相关性分布规律，从而将分布规律转化为先行验证的去雾模型，以使得第一去雾模块300将经过先行验证的去雾模型嵌入至待去雾图像WF恢复为有效去雾图像DF₂。

优选地，第二去雾模块400配置为按照如下方式将有雾图像F进行先验去雾获取验证去雾图像DF1：

在计算机视觉和计算机图形学中，配置能够用于将有雾图像F先验转化为验证去雾图像DF1的映射模型，映射模型至少包括用以描述有雾图像F和验证去雾图像DF1的映射关系的透射率值与大气光值，

求取大气光值：在有雾图像F的RGB三通道中选取能够用于获取暗通道图的最小值通道图，并基于暗通道图获取大气光值；

求取透射率值：基于暗通道先验理论确定透视率值；

基于映射模型、大气光值和透视率值将有雾图像F进行先验去雾得到验证去雾图像DF1。

优选地，生成对抗网络训练模块200对比待去雾图像WF对应的经由第一去雾模块100中的先行验证的去雾模型恢复的有效去雾图像DF₂和经由第二去雾模块200先行验证的验证去雾图像DF₃，用于获取有效去雾图像DF₂和验证去雾图像DF₃的特征值的相关性分布，以使得生成对网络训练模块200能够自适应地基于先行验证的有效去雾图像DF₂和先行验证的验证去雾图像DF₃修正去雾模型。

需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。

Claims (10)

1.一种基于生成对抗网络的单幅图像去雾增强系统，包括样本数据获取模块(100)、生成对抗网络训练模块(200)和第一去雾模块(300)，其中：

所述样本数据获取模块(100)，通过公开的图像库和/或通过网络爬虫技术获取适用于生成对抗网络训练模块(200)构建去雾模型的若干图像作为样本数据；

所述生成对抗网络训练模块(200)，提取所述若干图像的特征值并通过生成对抗映射网络将所述特征值学习转化为能够用于第一去雾模块(300)将待去雾图像(WF)恢复为有效去雾图像(DF₂)的去雾模型；

其特征在于，

所述样本数据获取模块(100)至少获取若干有雾图像(F)的经由第二去雾模块(400)先行验证后的验证去雾图像(DF₁)和若干无雾图像(NF)，从而所述生成对抗网络训练模块(200)能够基于所述生成对抗映射网络以所述先验去雾图像(DF₁)的RGB直方图学习所述无雾图像(NF)的RGB直方图的方式获取所述先验去雾图像(DF₁)和所述无雾图像(NF)的特征值的相关性分布规律，从而将所述分布规律转化为先行验证的去雾模型，以使得所述第一去雾模块(300)将所述经过先行验证的去雾模型嵌入至所述待去雾图像(WF)恢复为有效去雾图像(DF₂)。

2.根据权利要求1所述的去雾增强系统，其特征在于，所述第二去雾模块(400)配置为按照如下方式将所述有雾图像(F)进行先验去雾获取所述验证去雾图像(DF1)：

在计算机视觉和计算机图形学中，配置能够用于将所述有雾图像(F)先验转化为所述验证去雾图像(DF1)的映射模型，所述映射模型至少包括用以描述所述有雾图像(F)和所述验证去雾图像(DF1)的映射关系的透射率值与大气光值，

求取大气光值：在所述有雾图像(F)的RGB三通道中选取能够用于获取暗通道图的最小值通道图，并基于所述暗通道图获取所述大气光值；

求取透射率值：基于暗通道先验理论获取所述透视率值；

基于所述映射模型、所述大气光值和所述透视率值将所述有雾图像(F)进行先验去雾得到所述验证去雾图像(DF1)。

3.根据权利要求1或2所述的去雾增强系统，其特征在于，所述生成对抗网络训练模块(200)对比所述待去雾图像(WF)对应的经由所述第一去雾模块(100)中的先行验证的去雾模型恢复的有效去雾图像(DF₂)和经由所述第二去雾模块(200)先行验证的验证去雾图像(DF₃)，用于获取所述有效去雾图像(DF₂)和所述验证去雾图像(DF₃)的特征值的相关性分布，以使得所述生成对网络训练模块(200)能够自适应地基于先行验证的有效去雾图像(DF₂)和先行验证的验证去雾图像(DF₃)修正所述去雾模型。

4.根据前述权利要求之一所述的去雾增强系统，其特征在于，所述生成对抗网络训练模块(200)包括生成器和判别器，

所述生成器构建生成网络，所述生成网络用于所述先验去雾图像(DF1)模仿所述无雾图像(NF)以生成中间去雾图像；

所述判别器构建判别网络，所述判别网络基于所述中间去雾图像计算代价函数；如果代价函数计算结果小于预先设置的去雾阈值，则将所述生成网络作为去雾模型；否则，将所述中间去雾图像作为所述生成器的输入图像继续进行学习，直至所述代价函数计算结果小于预先设置的去雾阈值，以更新所述生成网络。

5.根据前述权利要求之一所述的去雾增强系统，其特征在于，所述第一去雾模块(300)将所述待去雾图像(WF)分割成若干个小块图像，并统计每一小块图像的像素值分布以获取每一小块图像的直方图统计结果，

将该直方图统计结果输入所述生成网络中以输出每一小块图像的去雾结果对应的直方图，并将每一小块图像对应的直方图累加拼接成大块图像，利用导向滤波器以去除边角不自然过渡的方式对所述大块图像进行滤波以获取所述有效去雾图像(DF₂)。

6.根据前述权利要求之一所述的去雾增强系统，其特征在于，所述生成网络学习建立从雾图像到透视图的映射网络，得到生成的透视图，并通过判别网络生成透视图和最优透视图；所述生成网络和所述判别网络符合下列要求：

其中，dist是从训练样本中获得的最佳视角，作为判别过程中的判别视角，dist是从样本中获得的判别视角它满足分布数据p；t是g的生成视角；f为输入特征，即从雾图像样本中提取的训练特征；

其中，对于判别网络D来说，其用于分辨区分视角和生成视角；而对于网络G来说，使D不能正确区分生成视角，从而与所述判别网络D对抗训练。

7.根据前述权利要求之一所述的去雾增强系统，其特征在于，所述去雾增强系统包括评价模块(500)，所述评价模块(500)按照如下方式配置：

响应于接收到第一去雾模块(300)输出的有效去雾图像(DF₂)的情况下而向所述第二去雾模块(400)发出评价信号，使得所述第二去雾模块(400)向所述评价模块(500)输入验证去雾图像(DF₃)；

基于至少一个预设评价指标评价所述有效去雾图像(DF₂)相对于所述验证去雾图像(DF₃)的质量改善相对值，

在所述质量改善相对值大于或等于设定质量相对值的情况下，所述第一去雾模块(300)输出所述有效去雾图像(DF₂)，并且所述生成对网络训练模块(200)能够自适应地基于先行验证的有效去雾图像(DF₂)和先行验证的验证去雾图像(DF₃)更新所述去雾模型；

在所述质量改善相对值小于设定质量相对值的情况下，所述生成对抗网络训练模块(200)采用至少一次高斯回归模型对所述去雾模型进行修正。

8.一种基于生成对抗网络的单幅图像去雾增强方法，包括：

样本数据获取模块(100通过公开的图像库和/或通过网络爬虫技术获取适用于生成对抗网络训练模块(200)构建去雾模型的若干图像作为样本数据；

生成对抗网络训练模块(200)提取所述若干图像的特征值并通过生成对抗映射网络将所述特征值转化为能够用于第一去雾模块(300)将待去雾图像(WF)恢复为有效去雾图像(DF₂)的去雾模型；

其特征在于，

从而所述生成对抗网络训练模块(200)能够基于所述生成对抗映射网络以所述先验去雾图像(DF₁)的RGB直方图学习所述无雾图像(NF)的RGB直方图的方式获取所述先验去雾图像(DF₁)和所述无雾图像(NF)的特征值的相关性分布规律，从而将所述分布规律转化为先行验证的去雾模型，以使得所述第一去雾模块(300)将所述经过先行验证的去雾模型嵌入至所述待去雾图像(WF)恢复为有效去雾图像(DF₂)。

9.根据权利要求8所述的增强方法，其特征在于，所述第二去雾模块(400)配置为按照如下方式将所述有雾图像(F)进行先验去雾获取所述验证去雾图像(DF1)：

在计算机视觉和计算机图形学中，配置能够用于将所述有雾图像(F)先验转化为所述验证去雾图像(DF1)的映射模型，所述映射模型至少包括用以描述所述有雾图像(F)和所述验证去雾图像(DF1)的映射关系的透射率值与大气光值，

求取大气光值：在所述有雾图像(F)的RGB三通道中选取能够用于获取暗通道图的最小值通道图，并基于所述暗通道图获取所述大气光值；

求取透射率值：基于暗通道先验理论确定透视率值；

基于所述映射模型、所述大气光值和所述透视率值将所述有雾图像(F)进行先验去雾得到所述验证去雾图像(DF1)。

10.根据权利要求8或9所述的增强方法，其特征在于，所述生成对抗网络训练模块(200)对比所述待去雾图像(WF)对应的经由所述第一去雾模块(100)中的先行验证的去雾模型恢复的有效去雾图像(DF₂)和经由所述第二去雾模块(200)先行验证的验证去雾图像(DF₃)，用于获取所述有效去雾图像(DF₂)和所述验证去雾图像(DF₃)的特征值的相关性分布，以使得所述生成对网络训练模块(200)能够自适应地基于先行验证的有效去雾图像(DF₂)和先行验证的验证去雾图像(DF₃)修正所述去雾模型。

Images