CN112150379A - 基于感知判别增强生成对抗网络的图像去雾方法及装置 - Google Patents

Abstract

本发明公开了一种基于感知判别增强生成对抗网络的图像去雾方法及装置，该方法包括：样本采集，使用高清相机获得清晰无雾的图像，然后通过光学模型和深度先验信息合成有雾图像，从而获取有雾和无雾图像对；构建生成网络，将采集到的数据样本分为训练集和测试集，将训练集中的有雾图像输入到生成网络中，生成去雾图像；构建感知判别增强对抗网络，将生成的去雾图像和原始的无雾图像发送到对抗网络中，判别生成的去雾图像的真假；迭代给定的次轮后，得到最优的模型；将测试图像输入到最优的模型中，进行去雾处理。本发明所提出的方法优于其他最新的图像去雾算法，能生成更高质量的无雾图像。

Description

基于感知判别增强生成对抗网络的图像去雾方法及装置

技术领域

本发明属于图像去雾技术领域，更具体地，涉及一种基于感知增强生 成对抗网络的图像去雾方法及装置。

背景技术

雾是一种大气现象，由空气中很小的颗粒引起，这些颗粒使大气的透 明度变得模糊。在计算机视觉中，雾会导致图像质量严重下降，进而影响 后续图像分析算法的性能。

现有的图像去雾方法大体上可以分为两类，首先是基于先验的去雾方 法。He等人假设在清晰的自然图像中，RGB通道中的至少一个通道接近于 零，因此提出了基于暗通道先验的图像去雾方法(Single Image Haze Removal Using Dark Channel Prior)，但处理类似于大气光的场景对象(例如 天空或白色建筑物)时，此类方法可能会失效。

最近，基于深卷积神经网络(CNN)的方法比传统的去雾方法有了显 著的改进。其中，Cai等人提出了一种用于图像去雾的深度卷积网络 (DehazeNet:An End-to-EndSystem for Single Image Haze Removal)，该方法 使用卷积神经网络来训练有雾图像的颜色特征(如深色原色，褪色，最大 对比度等)并优化传输。Ren等人提出了一种多尺度的CNN(Single Image Dehazing via Multi-scale Convolutional Neural Networks)，以获得三个与雾相 关的置信度图(白平衡，对比度增强，伽玛校正)。Li等人设计了一种轻量 级的CNN(AOD-Net:All-In-One Dehazing Network)，它可以直接生成清晰 的图像，在确保算法的性能的同时也可以提高速度。Qin等人提出了一种基 于注意力的不同层次的特征融合(FFA)结构(FFA-Net:Feature Fusion Attention Network for Single ImageDehazing)，并且可以从特征注意力(FA) 模块中自适应地学习特征权重，从而为重要特征赋予更多权重。Engin等人 提出了一种称为“循环去雾”的端到端网络，该网络不需要成对的朦胧图 像和相应的无雾清晰进行训练，所提出的方法不依赖于大气散射模型参数 的估计，通过组合循环一致性和感知损失来增强CycleGAN，从而提高纹理 信息恢复的质量并生成视觉上更好的无雾图像。

上述基于学习的方法取得了较好的客观和主观效果。然而，现有的图 像去雾方法大多是为了提高网络性能而盲目增加网络深度，忽略了模型在 训练过程中难以收敛而导致梯度消失。这样的图像去雾算法很难在重建图 像上后的良好的视觉效果。因此，如何使得模型在训练中稳定收敛，从而 增强模型的性能也是非常重要的。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提出了一种基于感知判 别增强生成对抗网络的图像去雾方法及装置，由此解决目前图像去雾算法 存在一定的局限性的技术问题。

为实现上述目的，本发明提供了一种基于感知判别增强生成对抗网络 的图像去雾方法，包括：

S1：样本采集，使用高清相机获得清晰无雾的图像，然后通过光学模 型和深度先验信息合成有雾图像，从而获取有雾和无雾图像对，并将获得 的图像对分为训练集和测试集；

S2：构建生成网络，将训练集中的有雾图像输入到生成网络中先提取 有雾图像浅层特征，然后经过若干个无BN层的残差块，最后通过卷积层来 对残差学习后的特征进行特征融合并将特征通道数降维，得到生成的去雾 图像；

S3：构建感知判别增强对抗网络，将生成的去雾图像和原始的无雾图 像输入到对抗网络中，通过卷积层来提取图像浅层特征并将特征图缩小， 然后经过若干个密集块，最后通过全连接层和激活函数判别去雾图像的真 假；

S4：模型训练，迭代给定的次轮后，得到最优的模型；

S5：图像测试，将测试图像输入到最优的模型中，进行去雾处理，输 出去雾后的图像。

进一步地，步骤S1中：使用高清相机获得清晰无雾的图像，然后通过 光学模型和深度先验信息合成有雾图像，从而获取有雾和无雾图像对，建 立有雾到无雾图像映射数据库作为训练和测试样本。

步骤S2包括：

S2.1：对于N对训练样本

网络输入的有雾图像

通过卷积层来提取有雾图像浅层特征，其中最后一层的输出用作 全局跳跃连接，得到了残差网络输入的特征张量形式为

S2.2：残差网络由卷积层和PReLU激活函数构成，不同于一般残差网 络，这里的残差网络不采用BN层，因为BN层中特征表达方式会影响网络 学习原始空间的分布，而有雾图像与清晰图像之间有相同的空间分布，不 采用BN层反而能提升生成图像的质量同时减少网络参数计算量。

因此经过残差学习后输出的特征张量形式为S_l根据公式可表示为：

其中，H_l ^Res(·)表示残差网络中非线性转化函数，H_l ^Res(S_l-1)表示第l层输 出的特征图。故经过残差网络后，网络预测的残差图像f^C(s_i)可以表示为：

f^C(s_i)＝H_j ^Res(S_j-1)+S_j-1

最终，生成网络生成的图像

可以表示为：

优选地，步骤S3包括：

S3.1：判别网络输入的待判别图像

通过卷积得到密集连接块时输 入的特征张量形式为

S3.2：密集连接网络由卷积层、BN层和LeakyReLU构成。因此经过密 集学习后输出的特征张量形式为T_l根据公式可表示为：

其中，H₁ ^Den(·)表示密集网络中非线性转化函数，，H₁ ^Den(T_l-1)表示第l层输 出的特征图。

S3.3：判别网络在训练过程中，通过计算生成图像和原始清晰图像在密 集学习中特征之间的差异性来约束生成图像在特征域空间上与原始清晰图 像一致，增强判别网络对生成图像的判别能力；判别网络采用密集连接学 习对不同层次的特征进行复用，提升了梯度的反向传播，由于密集连接是 在特征的通道上实现短路连接，因而能够通过使用较小的特征图来训练网 络，使得网络更加容易训练的同时增强网络的判别能力。

优选地，步骤S4包括：迭代给定的次轮后，得到最优的模型。在生成 网络训练过程中，对于生成图像和原始清晰图像之间像素域上的损失能够 有效最小化二者之间的像素差异。生成网络中的去雾损失

可以定义 为：

对于密集连接网络中每一层输出特征H_l ^Den(z_i)，感知损失函数利用L1 范数来计算，表示特征域上的损失，感知损失

定义为：

根据生成对抗网络的定义，网络中对抗损失分为

和

两部分， 如公式所示：

综上所述，使用超参数λ₁和λ₂表示目标函数中去雾损失

和感知 损失

权重。基于感知判别增强生成对抗网络的总损失函数可以定义 为：

上述公式中，E(*)表示分布函数的期望值，I^Hazy表示输入的有雾图像， I^Clean表示原始的无雾清晰图像，

表示生成的无雾清晰图像， P_(*)(I^clean)表示真实样本的概率分布，P_(*)(I^Hazy)表示生成网络生成假 样本的概率分布，

为生成网络对抗损失，

为判别网络对抗损失，logD(G(I^Hazy))，D(I^clean)为 判别器对原始无雾图像分布的判断，D(G(I^Hazy))为生成无雾图像分布的判 断。

优选地，步骤S5包括：给定待测试的图像，输出去雾后的图像

本发明还提供了一种基于感知判别增强生成对抗网络的图像去雾装置， 包括：

样本采集模块，使用高清相机获得清晰无雾的图像，然后通过光学模 型和深度先验信息合成有雾图像，从而获取有雾和无雾图像对，并将获得 的图像对分为训练集和测试集；

生成网络构建模块，将训练集中的有雾图像输入到生成网络中先提取 有雾图像浅层特征，然后经过若干个无BN层的残差块，最后通过卷积层来 对残差学习后的特征进行特征融合并将特征通道数降维，得到生成的去雾 图像；

感知判别增强对抗网络构建模块，将生成的去雾图像和原始的无雾图 像输入到对抗网络中，通过卷积层来提取图像浅层特征并将特征图缩小， 然后经过若干个密集块，最后通过全连接层和激活函数判别去雾图像的真 假；

训练模块，迭代给定的次轮后，得到最优的模型；

测试模块，将测试图像输入到最优的模型中，进行去雾处理，输出去 雾后的图像。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序， 所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。

本发明的有益效果是：本发明提供了一种有效的感知判别增强生成对 抗网络的图像去雾方法及装置，通过对抗学习来提取有雾图像和清晰图像 像素级分布信息，生成网络利用残差连接学习解决网络加深后的收敛问题； 同时判别网络使用密集连接学习和感知损失来增强匹配特征域一致性，从 而提高图像去雾算法的性能。

附图说明

图1是本发明实施例提供的一种感知判别增强生成对抗网络的图像去 雾方法的流程示意图；

图2是本发明实施例提供的一种基于感知判别增强生成对抗网络的图 像去雾方法网络结构图；

图3是本发明实施例提供的一种在I-haze和O-haze数据集上的结果图， 其中，(a)输入的有雾图像；(b)为本发明实验结果图；(c)；为原始的无雾 清晰图像。

图4是本发明实施例提供的一种装置结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图 及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体 实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的 本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可 以相互组合。

本发明实施例的基于感知判别增强生成对抗网络的图像去雾方法，如 图1所示，包括以下步骤：

S1：样本采集，使用高清相机获得清晰无雾的图像，然后通过光学模 型和深度先验信息合成有雾图像，从而获取有雾和无雾图像对，并将获得 的图像对分为训练集和测试集；

S2：构建生成网络，将训练集中的有雾图像输入到生成网络中先提取 有雾图像浅层特征，然后经过若干个无BN层的残差块，最后通过卷积层来 对残差学习后的特征进行特征融合并将特征通道数降维，得到生成的去雾 图像。

步骤S2具体包括：

S2.1：对于N对训练样本

网络输入的有雾图像

通过两个卷积层来提取有雾图像浅层特征，其中第二层的输出用 作全局跳跃连接，得到了残差网络输入的特征张量形式为

S2.2：在经过16层残差网络学习过程中，H_l ^Res(·)表示残差网络中非 线性转化函数，由卷积层和PReLU构成,不同于一般残差网络，这里的残 差网络不采用BN层，因为BN层中特征表达方式会影响网络学习原始空间 的分布，而有雾图像与清晰图像之间有相同的空间分布，不采用BN层反而 能提升生成图像的质量同时减少网络参数计算量。因此经过残差学习后输 出的特征张量形式为S_l根据公式可表示为：

其中，l＝{1,2,…,16}，H_l ^Res(S_l-1)表示第l层输出的特征图。故经过16层 残差学习网络后，网络预测的残差图像f^C(s_i)可以表示为：

f^C(s_i)＝H₁₆ ^Res(S₁₅)+S₁₅

最终，生成网络生成的图像

可以表示为：

S3：构建感知判别增强对抗网络，将生成的去雾图像和原始的无雾图 像输入到对抗网络中，通过卷积层来提取图像浅层特征并将特征图缩小， 然后经过若干个密集块，最后通过全连接层和激活函数判别去雾图像的真 假。

步骤S3具体包括：

S3.1：判别网络输入的待判别图像

通过两次卷积得到密集连接块 时输入的特征张量形式为

S3.2：在经过4层密集连接网络学习过程中，H₁ ^Den(·)表示密集网络中 非线性转化函数，由卷积层、BN层和LeakyReLU激活函数构成。因此经 过密集学习后输出的特征张量形式为T_l根据公式可表示为：

其中，l＝{1,2,3,4}，H₁ ^Den(T_l-1)表示第l层输出的特征图。则密集连接网络 的最终输出有1024个特征图；判别网络采用密集连接学习对不同层次的特 征进行复用，提升了梯度的反向传播，由于密集连接是在特征的通道上实 现短路连接，因而能够通过使用较小的特征图来训练网络，使得网络更加 容易训练的同时增强网络的判别能力。

S3.3：判别网络在训练过程中，通过计算生成图像和原始清晰图像在密 集学习中特征之间的差异性来约束生成图像在特征域空间上与原始清晰图 像一致，增强判别网络对生成图像的判别能力。

S4：模型训练，迭代给定的次轮后，得到最优的模型；

在生成网络训练过程中，对于生成图像和原始清晰图像之间像素域上 的损失能够有效最小化二者之间的像素差异。生成网络中的去雾损失

可以定义为：

对于密集连接网络中每一层输出特征H_l ^Den(z_i)，感知损失函数利用L1 范数来计算，表示特征域上的损失，感知损失

定义为：

根据生成对抗网络的定义，网络中对抗损失分为

和

两部分， 如公式所示：

综上所述，使用超参数λ₁和λ₂表示目标函数中去雾损失

和感知 损失

权重。基于感知判别增强生成对抗网络的总损失函数可以定义 为：

上述公式中，E(*)表示分布函数的期望值，I^Hazy表示输入的有雾图像， I^Clean表示原始的无雾清晰图像，

表示生成的无雾清晰图像， P_(*)(I^clean)表示真实样本的概率分布，P_(*)(I^Hazy)表示生成网络生成假 样本的概率分布，

为生成网络对抗损失，

为判别网络对抗损失，log D(G(I^Hazy))，D(I^clean)为 判别器对原始无雾图像分布的判断，D(G(I^Hazy))为生成无雾图像分布的判 断。

S5：给定待测试的图像，输出去雾后的图像

本发明还提供一种用于实现上述基于感知判别增强生成对抗网络的图 像去雾方法的基于感知增强生成对抗网络的图像去雾装置，如图3所示， 包括：

样本采集模块，使用高清相机获得清晰无雾的图像，然后通过光学模 型和深度先验信息合成有雾图像，从而获取有雾和无雾图像对，并将获得 的图像对分为训练集和测试集；

生成网络构建模块，将训练集中的有雾图像输入到生成网络中先提取 有雾图像浅层特征，然后经过若干个无BN层的残差块，最后通过卷积层来 对残差学习后的特征进行特征融合并将特征通道数降维，得到生成的去雾 图像；

感知判别增强对抗网络构建模块，将生成的去雾图像和原始的无雾图 像输入到对抗网络中，通过卷积层来提取图像浅层特征并将特征图缩小， 然后经过若干个密集块，最后通过全连接层和激活函数判别去雾图像的真 假；

训练模块，迭代给定的次轮后，得到最优的模型；

测试模块，将测试图像输入到最优的模型中，进行去雾处理，输出去 雾后的图像。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序， 计算机程序被处理器执行时实现上述实施例的基于感知判别增强生成对抗 网络的图像去雾方法的步骤。

测试实施例：

实验采用Nitre2018年去雾比赛数据集I-Haze和O-Haze，O-Haze数据 集包含45对有雾图像和无雾图像，其中选择35对图像用于训练，剩下的 10对图像用于测试；I-Haze数据库包含35对有雾图像和无雾图像，其中选 择25对图像用于训练，剩下的10对图像用于测试。

本发明与其他的图像去雾算法对比，提供实验数据来表达本方法的有 效性，对比实验结果的参数比较如下表1所示，表1为10张I-Haze图像和 10张O-Haze图像对比实验结果(平均PSNR、SSIM和LPIPS)，其中PSNR 值与SSIM值越高表示效果越好，LPIPS值越小表示效果越好。实验结果如 图3所示，(a)为有雾图像；(b)为本发明实验结果图；(c)为原始无雾清晰 图像。

表1

从以上表格实验数据可以看出，本发明方法均与对比方法相比获得了 高的分数，即优于对比算法。

上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储 在记录介质(诸如CD-ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算 机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机 器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述 的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸 如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、 处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代 码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被 计算机、处理器或硬件访问且执行时，实现在此描述的基于分层多尺度残 差融合网络的人脸超分辨率方法。此外，当通用计算机访问用于实现在此 示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出 的处理的专用计算机。

需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分 为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组 合成新的步骤/部件，以实现本发明的目的。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等 同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于感知判别增强生成对抗网络的图像去雾方法，其特征在于，包括：

S1：样本采集，使用高清相机获得清晰无雾的图像，然后通过光学模型和深度先验信息合成有雾图像，从而获取有雾和无雾图像对，并将获得的图像对分为训练集和测试集；

S2：构建生成网络，将训练集中的有雾图像输入到生成网络中先提取有雾图像浅层特征，然后经过若干个无BN层的残差块，最后通过卷积层来对残差学习后的特征进行特征融合并将特征通道数降维，得到生成的去雾图像；

S3：构建感知判别增强对抗网络，将生成的去雾图像和原始的无雾图像输入到对抗网络中，通过卷积层来提取图像浅层特征并将特征图缩小，然后经过若干个密集块，最后通过全连接层和激活函数判别去雾图像的真假；

S4：模型训练，迭代给定的次轮后，得到最优的模型；

S5：图像测试，将测试图像输入到最优的模型中，进行去雾处理，输出去雾后的图像。

2.根据权利要求1所述的基于感知判别增强生成对抗网络的图像去雾方法，其特征在于，在步骤S1中，使用高清相机获得清晰无雾的图像，然后通过光学模型和深度先验信息合成有雾图像，从而获取有雾和无雾图像对，建立有雾到无雾图像映射数据库作为训练和测试样本。

3.根据权利要求1所述的基于感知判别增强生成对抗网络的图像去雾方法，其特征在于，步骤S2包括：

S2.1：对于N对训练样本

网络输入的有雾图像

通过卷积层来提取有雾图像浅层特征，其中最后一层的输出用作全局跳跃连接，得到残差网络输入的特征张量形式为

S2.2：残差网络由卷积层和PReLU激活函数构成，通过去掉BN层提升生成图像的质量并减少计算量，经过残差学习后输出的特征张量形式为S_l根据公式表示为：

其中，H_l ^Res(·)表示残差网络中非线性转化函数，H_l ^Res(S_l-1)表示第l层输出的特征图，故经过j层残差网络后，网络预测的残差图像f^C(s_i)可以表示为：

f^C(s_i)＝H_j ^Res(S_j-1)+S_j-1

最终，生成网络生成的图像

可以表示为：

4.根据权利要求3所述的基于感知判别增强生成对抗网络的图像去雾方法，其特征在于，步骤S3包括：

S3.1：判别网络输入的待判别图像

通过卷积得到密集连接块时输入的特征张量形式为

S3.2：密集连接网络，由卷积层、BN层和LeakyReLU激活函数构成，因此经过密集学习后输出的特征张量形式为T_l根据公式可表示为：

其中，H₁ ^Den(·)表示密集网络中非线性转化函数，H₁ ^Den(T_l-1)表示第l层输出的特征图；判别网络采用密集连接学习对不同层次的特征进行复用，提升梯度的反向传播；

S3.3：判别网络在训练过程中，通过计算生成图像和原始清晰图像在密集学习中特征之间的差异性来约束生成图像在特征域空间上与原始清晰图像一致，增强判别网络对生成图像的判别能力。

5.根据权利要求4所述的基于感知判别增强生成对抗网络的图像去雾方法，其特征在于，在步骤S4中：

在生成网络训练过程中，对于生成图像和原始清晰图像之间像素域上的损失能够有效最小化二者之间的像素差异，生成网络中的去雾损失

定义为：

对于密集连接网络中每一层输出特征H_l ^Den(z_i)，感知损失函数利用L1范数来计算，表示特征域上的损失，感知损失

定义为：

根据生成对抗网络的定义，网络中对抗损失分为

和

两部分，如公式所示：

使用超参数λ₁和λ₂表示目标函数中去雾损失

和感知损失

权重，基于判别增强生成对抗网络的总损失函数定义为：

上述公式中，E(*)表示分布函数的期望值，I^Hazy表示输入的有雾图像，I^Clean表示原始的无雾清晰图像，

表示生成的无雾清晰图像，P_(*)(I^clean)表示真实样本的概率分布，P_(*)(I^Hazy)表示生成网络生成假样本的概率分布，

为生成网络对抗损失，

为判别网络对抗损失，log D(G(I^Hazy))，D(I^clean)为判别器对原始无雾图像分布的判断，D(G(I^Hazy))为生成无雾图像分布的判断。

6.一种基于感知判别增强生成对抗网络的图像去雾装置，其特征在于，包括：

样本采集模块，使用高清相机获得清晰无雾的图像，然后通过光学模型和深度先验信息合成有雾图像，从而获取有雾和无雾图像对，并将获得的图像对分为训练集和测试集；

生成网络构建模块，将训练集中的有雾图像输入到生成网络中先提取有雾图像浅层特征，然后经过若干个无BN层的残差块，最后通过卷积层来对残差学习后的特征进行特征融合并将特征通道数降维，得到生成的去雾图像；

感知判别增强对抗网络构建模块，将生成的去雾图像和原始的无雾图像输入到对抗网络中，通过卷积层来提取图像浅层特征并将特征图缩小，然后经过若干个密集块，最后通过全连接层和激活函数判别去雾图像的真假；

训练模块，迭代给定的次轮后，得到最优的模型；

测试模块，将测试图像输入到最优的模型中，进行去雾处理，输出去雾后的图像。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5中任一项所述的基于感知判别增强生成对抗网络的图像去雾方法的步骤。

Images