CN111179187B - 基于循环生成对抗网络的单幅图像去雨方法 - Google Patents

Abstract

本发明公开了一种基于循环生成对抗网络的单幅图像去雨方法，首先构建DCycleGAN模型；然后设计DCycleGAN模型的损失函数；其次采用成对和未成对两种训练方式训练DCycleGAN模型；最后将测试集输入训练好的DCycleGAN模型，获得去雨后的干净图像，完成单幅图像去雨任务。本发明采用分解的思想，支持使用成对和未成对两种方式进行训练，能够解决循环生成对抗网络在图像去雨时使用未成对训练可能出现的色彩偏移和背景模糊问题，在成对训练方式上的评估指标优于现有方法。

Description

基于循环生成对抗网络的单幅图像去雨方法

技术领域

本发明属于图像处理领域，具体涉及一种基于循环生成对抗网络的单幅图像去雨方法。

背景技术

雨是现实生活中非常普遍的天气，不仅影响人类的视觉，而且还会严重影响计算机系统的准确性。特别是在大雨中，来自各个方向的雨水累积，使背景图像朦胧，这种影响会显著降低依赖于图像特征提取、视觉建模的户外系统的性能，包括视频监控，物体检测和自动驾驶等等。因此去除图像中的雨痕并从雨水图像中恢复背景是一项重要的图像处理任务。

单幅图像去雨工作的难点在于雨痕方向、密度、大小、形状不一致，而且，图像去雨问题是一个病态问题，因为没有对应的真值图。另外，当雨痕颜色和图像背景相似时，使用现有方法会出现背景模糊和图像中残留雨痕的问题。

目前主要的单幅图像去雨方法分为两类：基于先验的方法和基于深度学习的方法。基于先验的方法主要探索雨痕的物理特性并将其建模为信号分离问题，以及直接进行图像滤波的问题，如基于低秩表示的方法和基于稀疏编码的方法等等。由于这些模型是基于先验假设的低级特征固定雨条纹，也只能除去特定的形状、规模和密度的雨痕。基于深度学习的去雨方法使用合成数据集输入深度神经网络，这种方法最大的缺陷是合成数据集与现实雨图像之间有一定的分布间隙。因此，单幅图像去雨任务仍然是一项具有挑战性的难题。

发明内容

本发明的目的在于提供一种基于循环生成对抗网络的单幅图像去雨方法，采用分解的思想，支持使用成对和未成对两种方式进行训练，能够解决循环生成对抗网络在图像去雨时使用未成对训练可能出现的色彩偏移和背景模糊问题，并且能够在成对训练方式的评估指标上优于现有的方法。

实现本发明目的的技术方案为：一种基于循环生成对抗网络的单幅图像去雨方法，包括以下步骤：

步骤1、构建DCycleGAN模型，具体步骤为：

步骤11、选取循环生成对抗网络中的生成器和鉴别器作为DCycleGAN模型的生成器和鉴别器的基础骨架；

步骤12、将步骤11获得的生成器修改成编解码结构，并消除其中含有的批量归一化操作；

步骤13、设计DCycleGAN模型的体系结构由两个生成器和两个鉴别器组成，每个生成器和鉴别器的结构通过步骤11和步骤12确定；

步骤14、将模型结构分为两个学习过程:从雨图像到干净背景图像的学习过程和从干净背景图像到雨图像的学习过程；每个学习过程均采用雨图像分解为干净背景图像和雨痕的思想；

步骤15、在从雨图像到干净背景图像的学习过程中，首先将输入的雨图像输入生成器G1获得生成的干净背景图像，将输入的雨图像输入生成器G2获得生成的雨痕图像，然后将生成的干净背景图像输入鉴别器D1判断是否是真实的干净背景图像，最后将生成的干净背景图像和生成的雨痕图像相加获得重建的雨图像；

步骤16、在从干净背景图像到雨图像的学习过程中，首先将输入的干净背景图像和步骤15中生成的雨痕图像相加获得合成的雨图像，然后将合成的雨图像输入鉴别器D2判断是否是真实的雨图像，最后将合成的雨图像输入生成器G1获得重建的干净背景图像；

步骤2、设计DCycleGAN模型的损失函数；

步骤3、采用成对和未成对两种训练方式训练DCycleGAN模型；

步骤4、将测试集输入训练好的DCycleGAN模型，获得去雨后的干净图像，完成单幅图像去雨任务。

本发明与现有技术相比，其显著优点为：(1)将生成器修改为编解码结构可以提取多尺度特征以及能够接受任意尺寸的图像输入；(2)去除批量归一化操作可以显著减少内存缩短训练时间；(3)将编码结构和解码结构对称的卷积层直接连接能够融合多尺度特征；(4)采用图像分解的方法将雨图像分解为雨痕和干净背景图像，继而将这两种图像输入到网络中，能够分别学习雨痕特征和背景图像特征，而之前方法只能单一的学习某种特征；(5)支持使用成对和未成对两种方式进行训练；能够解决循环生成对抗网络在图像去雨时使用未成对训练会出现的色彩偏移和背景模糊问题；在成对训练方式上的评估指标优于现有的方法，证明本发明能够在去雨任务上获得很好的效果。

附图说明

图1为本发明的DCycleGAN模型架构图。

图2为本发明的生成器的网络结构图。

图3为本发明的鉴别器的网络结构图。

图4为DCycleGAN模型结果图与其他方法的结果对比图，从左到右分别为：输入雨图像、LP方法结果图、DDN方法结果图、JORDER方法结果图、DID-MDN方法结果图、DCycleGAN模型结果图、实际的干净背景图。

图5为现实场景下的雨图像和其输入到本发明的模型结果图，左边为输入的雨图像，右边为本发明输入的结果图。

具体实施方式

一种基于循环生成对抗网络的单幅图像去雨方法，包括以下步骤：

步骤1、构建DCycleGAN模型，具体步骤为：

步骤11、选取循环生成对抗网络中的生成器和鉴别器作为DCycleGAN模型的生成器和鉴别器的基础骨架；

步骤12、将步骤11获得的生成器修改成编解码结构，并消除其中含有的批量归一化操作；

步骤13、设计DCycleGAN模型的体系结构由两个生成器和两个鉴别器组成，每个生成器和鉴别器的结构通过步骤11和步骤12确定；

步骤14、将模型结构分为两个学习过程:从雨图像到干净背景图像的学习过程和从干净背景图像到雨图像的学习过程；每个学习过程均采用雨图像分解为干净背景图像和雨痕的思想；

步骤15、在从雨图像到干净背景图像的学习过程中，首先将输入的雨图像输入生成器G1获得生成的干净背景图像，将输入的雨图像输入生成器G2获得生成的雨痕图像，然后将生成的干净背景图像输入鉴别器D1判断是否是真实的干净背景图像，最后将生成的干净背景图像和生成的雨痕图像相加获得重建的雨图像；

步骤16、在从干净背景图像到雨图像的学习过程中，首先将输入的干净背景图像和步骤15中生成的雨痕图像相加获得合成的雨图像，然后将合成的雨图像输入鉴别器D2判断是否是真实的雨图像，最后将合成的雨图像输入生成器G1获得重建的干净背景图像；

步骤2、设计DCycleGAN模型的损失函数；

步骤3、采用成对和未成对两种训练方式训练DCycleGAN模型；

步骤4、将测试集输入训练好的DCycleGAN模型，获得去雨后的干净图像，完成单幅图像去雨任务。

优选地，步骤12中的生成器的编解码结构分为编码和解码两个结构，具体步骤为：

(1)编码结构由下采样操作和卷积运算组成；解码结构由上采样操作和卷积运算组成；

(2)除第一个卷积层和最后一个卷积层外，在每个卷积层后添加ReLU激活函数，然后在最后一个卷积层后添加Tanh激活函数；

(3)将编码结构和解码结构对称的卷积层直接连接。

优选地，步骤2中的设计DCycleGAN模型的损失函数的具体步骤为：

步骤21、引入雨图像和干净背景图像的循环一致性损失函数：L_cycle(G₁,G₂)＝E_I～pdata(I){||G₁(I)+G₂(I)-I||₁}+E_{B～pdata(B),I～pdata(I)}{||G₁(G₂(I)+B)-B||₁}，其中，L_cycle(G₁,G₂)表示循环一致性损失函数，I表示雨图像，B表示干净背景图像，E表示期望值，pdata表示数据分布，I～pdata(I)和B～pdata(B)表示从雨图像和干净背景图像数据集的数据分布中进行选择，G₁(I)表示将I输入到生成器G₁后的输出结果，G₂(I)表示将I输入到生成器G₂后的输出结果，||G₁(I)+G₂(I)-I||₁表示G₁(I)+G₂(I)与I之间的绝对误差，既他们二者之间的距离，||G₁(G₂(I)+B)-B||₁表示G₁(G₂(I)+B)与B之间的绝对误差。

步骤22、引入两个关于生成器和鉴别器之间的对抗损失：

其中，L_GAN(G₁,D₁)表示生成器G₁和判别器D₁的对抗损失函数，D₁(B)表示将B输入到鉴别器D₁后的输出结果，

表示D₁(B)和实值1之间的平方误差损失，

表示D₁(G₁(I))和实值1之间的平方误差损失；

L_GAN(G₂,D₂)表示生成器G₂和鉴别器D₂的对抗损失函数，D₂(I)表示将I输入到鉴别器D₂后的输出结果，

表示D₂(I)和实值1之间的平方误差损失，

表示D₂(B+G₂(I))和实值1之间的平方误差损失。

步骤23、引入保持颜色不变性的特性损失：

L_identity(G₁)＝E_B～pdata(B){||G₁(B)-1||₁}

其中，L_identity(G₁)表示生成器G₁的不变性特征损失函数，||G₁(B)-1||₁表示G₁(B)和实值1之间的绝对误差损失；

步骤24、将权重引入上诉步骤31、32、33的损失函数获得最终的总损失函数为：

L_final(G₁,G₂,D₁,D₂)＝λ₁·L_cycle(G₁,G₂)+λ₂·L_GAN(G₁,D₁)+λ₃·L_GAN(G₂,D₂)+λ₄·L_identity(G₁)，其中，λ₁,λ₂,λ₃,λ₄表示权重。

优选地，步骤3中的采用成对和未成对两种训练方式训练DCycleGAN模型，具体为：在成对训练方式时，数据集采用雨图像和其对应的干净背景图像；在未成对训练方式时，从数据集中选取雨图像和随机的干净背景图像。

下面结合实施例和附图对本发明进行详细说明。

实施例

一种基于循环生成对抗网络的单幅图像去雨方法，具体步骤为：

步骤1、构建DCycleGAN(分解循环生成对抗网络)模型。

首先，本发明对CycleGAN进行改进以适应单幅图像去雨任务。现有的基于深度学习的单幅图像去雨方法只能使用成对数据集进行训练，本发明的方法不仅可以成对数据集进行训练，还可以对未成对数据集进行训练。图1是本发明的DCycleGAN模型架构图。在图1中，模型有两个输入：雨图像I和干净背景图像B。雨图像和背景图像均可应用于未配对的训练样本。模型的总体架构由两个生成器和两个鉴别器构成。模型中的生成器(G1和G2)分别被定义为生成雨痕图像和干净背景图像的生成器，两个生成器共享相同的网络结构，生成器G1的目标是尽可能多地保留详细结构信息以消除雨痕。生成器G2的目标是尽可能保持所有雨痕信息。类似地，模型的两个鉴别器(D1和D2)分别用于判断生成的干净背景图像和生成的雨痕图像是否真实，这两个鉴别器也共享相同的网络结构。

本发明修改CycleGAN的生成器作为本发明模型的生成器，将生成器修改成编解码结构，并消除其中的批量归一化操作。在残差网络的启发下，还添加了一个全局跳跃连接，以捕获更多有用的远距离信息。如图2中，生成器包含一个编码过程和一个解码过程，除第一个卷积层和最后一个卷积层外，在每个卷积层之后添加一个ReLU激活函数。编码过程主要由下采样和一系列卷积运算组成。下采样操作采用核大小为2的平均池化。为了缓解梯度消失的问题，通过级联将该特征提供给对称解码部分。解码过程主要由上采样和一系列卷积运算组成。在某个具体实施例中，本发明用步长为2的反卷积作为上采样操作的过程。由于本发明使用的生成器是全卷积结构，本发明的模型可以输入任何尺寸的测试雨图像。

鉴别器用于确定生成的图像是真实的还是假的。和CycleGAN中的鉴别器网络一样，它包含了一系列的卷积、批量归一化和LeakyReLu激活函数，最后一层将多维图像映射到一维获得模型的输出。鉴别器的结构如图3所示。

步骤2、设计DCycleGAN模型的损失函数。

本发明定义雨图像I和干净背景图像B属于训练集的两个域。如果我们使用CycleGAN框架进行训练很难从图像中有效地去雨。本发明引入雨图像和干净背景图像的循环一致性损失函数为：

L_cycle(G₁,G₂)＝E_I～pdata(I){||G₁(I)+G₂(I)-I||₁}+E_{B～pdata(B),I～pdata(I)}{||G₁(G₂(I)+B)-B||₁}

(1)

其中，I表示雨图像，B表示干净背景图像，E表示期望值，pdata表示数据分布，I～pdata(I)和B～pdata(B)表示从雨图像和干净背景图像数据集的数据分布中进行选择。

其次，增加两个关于生成器和鉴别器之间的对抗损失，以使训练过程稳定：

为了保持颜色不变性，本发明引入了特性损失，表示为：

L_identity(G₁)＝E_B～pdata(B){||G₁(B)-1||₁} (4)

最后，将以上损失函数进行加权获得最终的损失函数：

L_final(G₁,G₂,D₁,D₂)＝λ₁·L_cycle(G₁,G₂)+λ₂·L_GAN(G₁,D₁)+λ₃·L_GAN(G₂,D₂)+λ₄·L_identity(G₁)

(5)

其中，λ₁,λ₂,λ₃,λ₄表示权重。

步骤3、采用成对和未成对两种训练方式训练DCycleGAN模型。

步骤4、将测试集输入训练好的DCycleGAN模型，获得去雨后的干净图像，完成单幅图像去雨任务。本发明的数据集采用公开的雨图像数据集。将测试集输入到训练好的DCycleGAN模型，获得干净的背景图像，完成单幅图像去雨任务。另外，本发明还在现实的雨图像上进行测试，以展示模型的优势。

为了展示模型结果在视觉上的效果，图4中给出了DCycleGAN模型和DDN(深度细节网络)、JORDER(深度联合雨检测和去除)、LP(层先验)、DIDMDN(使用多流稠密网络密度感知图像去雨)方法在公开测试集上进行去雨的结果对比图，在视觉效果上，从左到右分别为：输入雨图像、LP方法结果图、DDN方法结果图、JORDER方法结果图、DID-MDN方法结果图、DCycleGAN模型结果图、实际的干净背景图,可以看出，与其他方法相比，DID-MDN具有更好的去雨视觉效果，但与实际的干净背景图相比，其颜色发生了一定变化，但是本发明的DCycleGAN能够生成更逼真的图像，并保留颜色和纹理细节。在图5中，给出了现实的雨水图像进行测试的结果，左边一栏为现实的雨图像，右边一栏为本发明的实验结果，可以看出实验结果上基本没有残留雨痕并且保留了背景细节，证实了本发明的模型在现实场景下具有可用性。

Claims (3)

1.一种基于循环生成对抗网络的单幅图像去雨方法，其特征在于，包括以下步骤：

步骤1、构建DCycleGAN模型，具体步骤为：

步骤11、选取循环生成对抗网络中的生成器和鉴别器作为DCycleGAN模型的生成器和鉴别器的基础骨架；

步骤12、将步骤11获得的生成器修改成编解码结构，并消除其中含有的批量归一化操作；

步骤13、设计DCycleGAN模型的体系结构由两个生成器和两个鉴别器组成，每个生成器和鉴别器的结构通过步骤11和步骤12确定；

步骤14、将模型结构分为两个学习过程:从雨图像到干净背景图像的学习过程和从干净背景图像到雨图像的学习过程；每个学习过程均采用雨图像分解为干净背景图像和雨痕的思想；

步骤15、在从雨图像到干净背景图像的学习过程中，首先将输入的雨图像输入生成器G1获得生成的干净背景图像，将输入的雨图像输入生成器G2获得生成的雨痕图像，然后将生成的干净背景图像输入鉴别器D1判断是否是真实的干净背景图像，最后将生成的干净背景图像和生成的雨痕图像相加获得重建的雨图像；

步骤16、在从干净背景图像到雨图像的学习过程中，首先将输入的干净背景图像和步骤15中生成的雨痕图像相加获得合成的雨图像，然后将合成的雨图像输入鉴别器D2判断是否是真实的雨图像，最后将合成的雨图像输入生成器G1获得重建的干净背景图像；

步骤2、设计DCycleGAN模型的损失函数；具体步骤为：

步骤21、引入雨图像和干净背景图像的循环一致性损失函数：

，其中，L_cycle(G₁,G₂)表示循环一致性损失函数，I表示雨图像，B表示干净背景图像，E表示期望值，pdata表示数据分布，I～pdata(I)和B～pdata(B)表示从雨图像和干净背景图像数据集的数据分布中进行选择，G₁(I)表示将I输入到生成器G₁后的输出结果，G₂(I)表示将I输入到生成器G₂后的输出结果，||G₁(I)+G₂(I)-I||₁表示G₁(I)+G₂(I)与I之间的绝对误差，既二者之间的距离，||G₁(G₂(I)+B)-B||₁表示G₁(G₂(I)+B)与B之间的绝对误差；

步骤22、引入两个关于生成器和鉴别器之间的对抗损失：

其中，L_GAN(G₁,D₁)表示生成器G₁和判别器D₁的对抗损失函数，D₁(B)表示将B输入到鉴别器D₁后的输出结果，

表示D₁(B)和实值1之间的平方误差损失，

表示D₁(G₁(I))和实值1之间的平方误差损失；

L_GAN(G₂,D₂)表示生成器G₂和鉴别器D₂的对抗损失函数，D₂(I)表示将I输入到鉴别器D₂后的输出结果，

表示D₂(I)和实值1之间的平方误差损失，

表示D₂(B+G₂(I))和实值1之间的平方误差损失；

步骤23、引入保持颜色不变性的特性损失：

L_identity(G₁)＝E_B～pdata(B){||G₁(B)-1||₁}

其中，L_identity(G₁)表示生成器G₁的不变性特征损失函数，||G₁(B)-1||₁表示G₁(B)和实值1之间的绝对误差损失；

步骤24、将权重引入上诉步骤31、32、33的损失函数获得最终的总损失函数为：

L_final(G₁,G₂,D₁,D₂)＝λ₁·L_cycle(G₁,G₂)+λ₂·L_GAN(G₁,D₁)+λ₃·L_GAN(G₂,D₂)+λ₄·L_identity(G₁)，其中，λ₁,λ₂,λ₃,λ₄表示权重；

步骤3、采用成对和未成对两种训练方式训练DCycleGAN模型；

步骤4、将测试集输入训练好的DCycleGAN模型，获得去雨后的干净图像，完成单幅图像去雨任务。

2.根据权利要求1所述的基于循环生成对抗网络的单幅图像去雨方法，其特征在于，步骤12中的生成器的编解码结构分为编码和解码两个结构，具体步骤为：

(1)编码结构由下采样操作和卷积运算组成；解码结构由上采样操作和卷积运算组成；

(2)除第一个卷积层和最后一个卷积层外，在每个卷积层后添加ReLU激活函数，然后在最后一个卷积层后添加Tanh激活函数；

(3)将编码结构和解码结构对称的卷积层直接连接。

3.根据权利要求1所述的基于循环生成对抗网络的单幅图像去雨方法，其特征在于，步骤3中的采用成对和未成对两种训练方式训练DCycleGAN模型，这两种训练方式具体表现为：在成对训练方式时，数据集采用雨图像和其对应的干净背景图像；在未成对训练方式时，从数据集中选取雨图像和随机的干净背景图像。

Images