CN110717863B - 一种基于生成对抗网络的单图像去雪方法 - Google Patents

Abstract

本发明涉及一种基于生成对抗网络的单图像去雪方法，包括构建一个去除雪花的生成对抗网络，步骤如下：第一步：数据集的构建：为得到一个带标签的数据库，构建一个合成雪图像数据库，方法如下：通过photoshop模拟雪花落下颗粒尺寸的变化，每个基本蒙版由一个小、中、和大粒径，同时，各基层的雪粒蒙版具有不同的密度、形状、运动轨迹，以及增加变化的透明度。第二步：生成网络构建。第三步：鉴别网络构建：鉴别网络分成两部分：全局鉴别器以及细微区域鉴别器，全局鉴别器查看整个图像以检查是否有不一致，而细微区域鉴别器查看特定的区域是否满足要求。

Description

一种基于生成对抗网络的单图像去雪方法

技术领域

本发明涉及深度学习领域，具体涉及基于一种单图像去雪生成对抗网络。

背景技术

通常，天气环境因素会造成图像质量下降，从而使得基于计算机视觉的算法的性能下降。降雪天气中所拍摄的各类图像，会因为雪花的干扰影响图像质量，从而导致后续工作的难度上升，降低了工作效率。降雪天气通常由运动不规则的大小雪花部分遮挡。因此，构建去除雪花影响图像的核心思想是使用原有背景环境进行雪花区域的补全。

近年来，去除雨水颗粒以及雾霾天气成为了视觉领域常见的研究内容。相较于雨雾图像中大气颗粒物的特征在时空频域、运动方式以及半透明度的各种形态相似性，雪花的特征更为复杂多变，不同大小、不同形状、不同透明度的特征都使得雪花的去除工作更为困难。在去雪工作上，有一部分文献采用的是与去雨类似的思想，如HOG、频率空间分离和颜色假设来进行雪花颗粒模拟。这些特征不但没有正确模拟部分特征，而且恶化了泛化场景。XU等^[1]人使用引导滤波器获得引导图来引导雨雪的去除。引导滤波器的超参数通常适用于一种类型的雪，这些参数可能适用于低透明度的雪，但它们对于不透明的雪是无效的。PEI等^[2]分析了雨雪图像的颜色和频率特征，认为雨雪位于高频和明亮的区域。该方法首先提取图像的高频部分，然后使用强度先验检测雨雪，最后，通过引导滤波器恢复雨雪图像。这种方法仅使用亮度先验来检测雨雪，很可能将背景中亮的区域误检为雨雪。ZHENG等^[3]也假设雨雪分布在图像的高频部分。该方法利用引导滤波器将高频部分分解为背景边缘和雨雪，并将低频部分作为引导图像来引导去雨雪。上述方式都简单的认为雪花继承了雨水特性，如在频域分布，色彩空间和边缘特征之上，而忽略了雪的独有特征，如透明度、形状、尺寸、轨迹和分布。因此，这些先验去雨算法只能去除一些较窄的雪条纹以及半透明的雪花，而不能去除不透明颗粒的大雪花。近年来出现了一些基于深度学习去雨的算法[2-3]，而这些方法同样只能简单地去掉半透明且窄的小颗粒雪花。

生成对抗网络是一种深度学习模型，作为近年来最具发展前景的无监督学习方法之一，在各大领域均有广泛应用。机器学习模型大体可以分为两类，生成模型和判别模型。生成模型功能作为一个样本生成器，当输入一个噪声/样本，然后把它包装成一个逼真的样本，也就是输出。判别模型作为一个二分类器(如同0-1分类器)，来判断输入的样本是真是假。(就是输出值大于0.5还是小于0.5)。本发明从雪的模型出发，使用了一种新的去除雪的深度学习网络。从宏观角度考虑，雪花检测和移除所关注的图像区域相同，检测到的雪花可以引导雪花的去除。针对雪花特征设计一种特征提取网络来关注雪花存在区域，利用这个信息，生成无雪花的图像。

[1]XU Jiang,ZHAO Wei,LIU Peng,et al.An improved guidance image basedmethod to remove rain and snow in a single image[J].Computer&InformationScience,2012,5(3):49-55.

[2]PEI S C,TSAI Y T,LEE C Y.Removing rain and snow in a single imageusing saturation and visibility features[C]//IEEE International Conference onMultimedia and Expo Workshops.IEEE,2014:1-6.

[3]ZHENG Xianhui,LIAO Yinghao,GUO Wei,et al.Single-image-based rainand snow removal using multi-guided filter[C]//International Conference onNeural Information Processing.Springer,Berlin,

发明内容

本发明从雪的特征研究出发，设计了一种新型的去除雪花的生成对抗网络。该模型由一个特征提取网络、一个上下文自动编码器网络和一个识别网络组成。

一种基于生成对抗网络的单图像去雪方法，包括构建一个去除雪花的生成对抗网络，步骤如下：

第一步：数据集的构建：为得到一个带标签的数据库，构建一个合成雪图像数据库，方法如下：通过photoshop模拟雪花落下颗粒尺寸的变化，每个基本蒙版由一个小、中、和大粒径，同时，各基层的雪粒蒙版具有不同的密度、形状、运动轨迹，以及增加变化的透明度，合成雪图像数据库包含多组下雪、无雪图像，分为训练集和测试集；考虑到复杂环境下的雪花的空间特征远近不同，将深度信息都归一化到0-255的数值范围之间，方便网络的输入输出。

第二步：生成网络构建：

生成网络包括两个网络部份：首先是一个特征提取网络，之后连接一个上下文自动编码器，采用VGG16网络结构，其作用是在输入图像中找到需要去除雪花的区域，也就是需要进行操作的区域，而图像中雪花区域的周围部分也是需要进行关注的地方，构建由卷积层到反卷积层所构成的网络结构，加入跳跃连接的网络结构，以提取更加丰富的图像特征，提升生成图像的质量指标；编码层分为8层，每进行一次编码，特征图像大小减半，数量增长一倍，解码层与编码层对称，每解码一层，特征图尺寸放大一倍，特征图数量增加一倍。

第三步：鉴别网络构建：鉴别网络分成两部分：全局鉴别器以及细微区域鉴别器，全局鉴别器查看整个图像以检查是否有不一致，而细微区域鉴别器查看特定的区域是否满足要求。

本发明从雪的模型出发，设计了一种新的去除雪的深度学习网络。从宏观角度考虑，雪花检测和移除所关注的图像区域相同，检测到的雪花可以引导雪花的去除。使用一种特征提取机制来关注雪花存在区域，利用这个信息，通过生成对抗网络机制生成无雪花的图像，从实验结果PSNR指标分析，此网络输出能够满足计算机视觉后续工作展开要求。本发明有以下特点：

1.通过生成对抗网络恢复图像拥有更高的图像质量。

2.通过生成对抗网络恢复图像具有更高的鲁棒性能，能够应用于各环境场景之中。

附图说明

图1：基于特征提取的生成对抗去雪网络结构示意图

图2：VGG网络特定层雪花特征示意图

图3：上下文自动编码器的网络结构

图4：3组从左至右为输入的带雪图像、真实清晰图像、去雪结果图像结果对比示意图

图5：去雪网络处理图像PSNR指标前后对比

具体实施方式

本发明从雪的模型出发，设计了一种新的去除雪的深度学习网络。从宏观角度考虑，雪花检测和移除所关注的图像区域相同，检测到的雪花可以引导雪花的去除。使用一种特征提取机制来关注雪花存在区域，利用这个信息，通过生成对抗网络机制生成无雪花的图像。

为将本发明的技术方案描述得更加楚，对本发明的具体实施过程做如下的进一步地描述。本发明按以下步骤具体实现：

(1)数据集的构建

为了使合成的雪花图像更接近真实的下雪图像，首先获得背景图像，然后通过photoshop模拟雪花落下颗粒尺寸的变化。每个基本蒙版由一个小、中、和大粒径。同时，各基层的雪粒蒙版具有不同的密度、形状、运动轨迹，以及增加变化的透明度。各类别的基本蒙版示例如图4所示。雪数据集包含了10000组下雪、无雪图像，其中训练集包含了7000组，测试集包含了3000组。

考虑到雪花遮挡区域是随机的，且被遮挡的环境场景信息大部分区域都完全消失了。当雪花颗粒比较大时，分布在图像上的密集的大颗粒雪花会使图像质量会更加糟糕。本发明将背景图像和雪花蒙版合成为退化图像：

I＝(1-M)B+R

(1)

其中I代表输入彩色图像，M代表蒙版。在蒙版中，M(x)＝1表示像素x是有雪区域的一部分，否则将其看作是背景区域的一部分。B是背景图像，R是雪花带来的影响，代表了复杂的背景信息和反射光的环境干扰或者是雪花粘在透镜或相机镜片上的影响。由于雪花形状、透明度和折射率不同，雪花区域的像素是不仅受到固定的某些区域的影响，而且受到整个环境的影响，使得雪花的大部分看起来有着不同于背景的特征。此外图像中包含雪花的图像区域大多是模糊不清的。雪花的某些透明的部分，则表现出了一些关于背景的信息。因此所设计网络可以显示和使用这些信息。

(2)生成网络构建：

生成网络包括两个网络部份：首先是一个特征提取网络，之后连接一个上下文自动编码器。本发明采用VGG16网络结构，其作用是在输入图像中找到需要去除雪花的区域，也就是需要进行操作的区域。而图像中雪花区域的周围部分也是需要进行关注的地方，本发明构建由卷积层到反卷积层所构成的网络结构，加入跳跃连接的网络结构，以提取更加丰富的图像特征，提升生成图像的质量指标。编码层分为8层，每进行一次编码，特征图像大小减半，数量增长一倍，解码层与编码层对称，每解码一层，特征图尺寸放大一倍，特征图数量增加一倍。

将跳跃结构加入编码器结构之中，将每层输出的特征图能够直连到对称的解码器中，充分利用图像的特征纹理细节信息。卷积层的卷积核尺寸设置为3，步长设置为2，补充边长为1，在网络结构最后添加Relu激活函数，激活系数设置为0.2。

特征提取网络：特征提取机制已被广泛应用于图像中目标区域的定位，以捕捉特定区域的特征。在生成无雪花背景图像中特征提取同样很重要，这样网络可以知道应该删除/恢复的具体位置。

利用官网VGG 16层网络训练得到模型产生的weight和bias数值，对输入图像进行前向训练，从而得到特征图。

上下文自动编码器：

上下文自动编码器的目的是生成一个没有雪花的图像。自动编码器的输入是输入图像和特征提取图像的最终输出图的级联。自动编码器有8个conv+relu块，并添加了跳连以防止输出模糊。图3说明了上下文自动编码器的体系结构。

如图3所示，本发明构建的自动编码器设计了两种损耗函数：多尺度损耗和感知损耗。对于多尺度损失，从不同的解码器层中提取特征，形成不同尺度大小的输出。通过采用这种方法，从不同的尺度获得更丰富的上下文信息。损失函数定义为：

此外本发明还添加了一个感知损失，用于测量自动编码器输出的特征和相应无雪的干净图像的特征之间的全局差异。这些特征可以从训练过的VGG中提取，本发明将感知损失函数表示为：

L_P(O,T)＝L_MSE(VGG(O),VGG(T))

(3)

其中，VGG是一个经过预训练的CNN网络，并从给定的输入图像中生成特征。O代表自动编码器的输出图像，实际上是整个生成网络的输出图像：O＝G(I)。T是没有雪花的ground truth图像。总的来说，本发明生成网络的损失函数可以写为：

L_G＝10^-2L_GAN(O)+L_M({S},{T})+L_P(O,T)

(4)

其中L_GAN(O)＝log(1-D(O))。

(3)鉴别网络构建：

为了区分假图像和真图像，本发明采用全局和局部图像内容一致性来区分。全局鉴别器查看整个图像以检查是否有任何不一致，而细微区域鉴别器查看特定的区域。由于雪花存在位置存在不确定性，且雪花的密度大小也是不固定的。因此，细微区域鉴别器必用于寻找这些雪花存在区域。

本发明是使用一个有特征提取机制的判别器，考虑到雪花不同于背景的特征，本发明使用特征提取机制循环网络生成的雪花特征图。

考虑到深层网络训练的复杂度以及庞大的参数数量，本发明采用对于图像局部的质量评价体系，判定图像中局部像素点区域的网络结构，从而提升生成图像的质量。

判别器采用7个卷积层，前5层的卷积核尺寸为4，步长为2，补充边长为1，第6层的步长设置为1，后跟Relu激活函数层，激活系数设置为0.2，输出通道数量增加一倍，完全连接层为1024和具有S行激活功能的单个神经元。最后从第三个卷积层中提取特征，在元素上方相乘作为下一层输入。

鉴别器的整个损耗函数可以表示为：

L_D(O,R)＝-log(D(R))-log(1-D(O))+γL_map(O,R)

(5)

其中，L_map是从判别器内部层提取的特征与最终注意力图之间的损失：

L_map(O,R)＝L_MSE(D_map(O))+L_MSE(D_map(R))

(6)

其中，D_map表示通过判别网络生成二维地图的过程。γ设为0.1。R是一个样本从真实干净的图像集中提取的示例图像。0表示只包含0个值的映射。因此，第二项意味着，对于R，没有必要关注的特定区域。最后从三个卷积层中提取特征，然后按元素顺序进行乘法运算。

实验结果分析：

实验结果如图5所示。

本发明提出了一种基于单图像去除雪花天气影响的网络模型，通过特征提取机制构建生成对抗网络，利用雪花关注区域图像进行位置判定，并将该图与输入图像一起输入到上下文自动编码器生成去雪图像，之后使用判别网络对生成图像进行评估，用来确定生成图像质量是否满足后续工作需求。

在此网络中引入的特征提取机制是网络中最关键的部分，因为在训练过程中，这种机制将引导生成网络寻找雪花集中存在的区域找，之后上下文自动编码器网络关注雪花存在区域周围区域。识别网络评估恢复区域的局部特征相似度，回传有效信息，进一步加速雪花的有效去除，减少去雪的复杂性。实验选取使用PSNR参数作为图像去雪的评价指标来判别去雪的效果质量好坏。实验结果表明经过去雪网络生成的无雪图像相较于原图像提升均在3db以上，所构建网络满足后续工作需求。

Claims (1)

1.一种基于生成对抗网络的单图像去雪方法，包括构建一个去除雪花的生成对抗网络，步骤如下：

第一步：数据集的构建：为得到一个带标签的数据库，构建一个合成雪图像数据库，方法如下：通过photoshop模拟雪花落下颗粒尺寸的变化，每个基本蒙版由一个小、中、和大粒径，同时，各基层的雪粒蒙版具有不同的密度、形状、运动轨迹，以及增加变化的透明度，合成雪图像数据库包含多组下雪、无雪图像，分为训练集和测试集；考虑到复杂环境下的雪花的空间特征远近不同，将深度信息都归一化到0-255的数值范围之间，方便网络的输入输出；

第二步：生成网络构建：生成网络包括两个网络部份：首先是一个采用VGG16网络结构的特征提取网络，其作用是在输入图像中找到需要去除雪花的区域，也就是需要进行操作的区域，而图像中雪花区域的周围部分也是需要进行关注的地方，之后连接一个上下文自动编码器，上下文自动编码器是由卷积层到反卷积层所构成的网络结构，加入跳跃连接的网络结构，以提取更加丰富的图像特征，提升生成图像的质量指标；编码层分为8层，每进行一次编码，特征图像大小减半，数量增长一倍，解码层与编码层对称，每解码一层，特征图尺寸放大一倍，特征图数量增加一倍；

第三步：鉴别网络构建：鉴别网络分成两部分：全局鉴别器以及细微区域鉴别器，全局鉴别器查看整个图像以检查是否有不一致，而细微区域鉴别器查看特定的区域是否满足要求。

Images