CN111145112B - 一种基于残差对抗细化网络的两阶段图像去雨方法及系统 - Google Patents

Abstract

本发明公开了一种基于残差对抗细化网络的图像去雨方法，可以有效地去除图像中的雨滴，并且恢复出真实的场景图像。本发明将去雨分为两大阶段，第一阶段主要在于从原始图像中去除残差图像，恢复出较为清晰的图像，再将恢复出的图像输入到第二阶段，恢复被雨滴遮挡部分的背景信息，精修图像，提高质量。本发明将有雨图像看成是清晰图像和残差图像的合成，基于这一原理，通过残差网络从原始有雨图像中得到残差图像，并将原始图像减去残差图像，得到第一阶段的输出图像；在第二阶段中，采用生成式对抗网络将第一阶段的输出图像和残差图像作为输入，其中残差图像作为注意力机制，辅助网络恢复出更真实的图像。本发明还提出了一种图像去雨系统。

Description

一种基于残差对抗细化网络的两阶段图像去雨方法及系统

技术领域

本发明涉及计算机视觉，深度学习以及生成式对抗神经网络技术领域，具体地说是一种基于残差对抗细化网络的两阶段图像去雨方法及系统、隐式雨水模型及其在图像处理中的应用。

背景技术

雨是一种常见的天气现象，但它的存在可能会极大地影响目标和场景的可见性，尤其是在大雨的情况下，来自各个方向的雨水的累积，使得图像中的目标和场景变得模糊不清。在雨中拍摄的图像和视频不仅在人眼视觉层面受到极大的影响，而且对于计算机视觉系统而言，它会干扰和降低许多计算机视觉和图像处理任务的性能，例如，物体检测和目标跟踪，基于无人机的视频监控，自动驾驶和驾驶员辅助等等。因此，必须处理包含诸如雨，雪和雾等恶劣天气影响的图像和视频，而去雨一直是计算机视觉研究中的十分重要的任务之一。然而，无论是在图像还是视频中，去雨是一项非常具有挑战性的任务，我们必须在去掉雨水的同时恢复出被遮挡的物体和场景。

对于大多数去雨算法而言，都将有雨的图像分为两个层面，背景(Background)和雨水层(Rain Streak)，因此算法模型可以基于以下公式：

其中，O为有雨图像，即输入图像，B为没有雨的背景图像，Ri是雨水层，一共有n个不同方向和大小的雨水层叠加。可以看到，部分算法的模型认为有雨图像是背景图像和雨水层图像的某种线性叠加。当然另外还有部分算法将雨水图像建立为非线性模型，然而实际雨天图片数据情况往往比这种线性模式或非线性模型更加复杂，因此，基于这些模型的算法在真实雨天图片的去雨效果并不理想。此外，不论是基于线性雨水模型还是非线性雨水模型的算法，通常只在各自模型的仿真数据域上有效。比如基于线性模型的算法应用于基于非线性雨水模型的仿真数据集上效果较差，不同非线性雨水模型的算法在不同仿真数据域间的有效性也较差，这就是域转换问题。

在现有的去雨算法中，大多仅仅考虑雨水层和背景层的分离，而没有考虑到单纯的图像分离过程会使得图像的部分区域出现失真，例如雨水特别大的区域，其背后的内容和纹理信息在去雨之后会变得模糊，甚至失真。

发明内容

本发明的目的在于解决现有技术中雨水图像建模方式不适用于真实雨水图像，真实雨水图像往往比建模的仿真数据复杂得多，此外也存在域转换和大雨图像处理后模糊失真的问题，提出了一种基于残差对抗细化网络的两阶段去雨方法。

本发明方法认为雨水图像的物理模型应该是一种基于隐式的模型形式，称之为残差雨水模型，如下所示：

O＝R_e+B

R_e＝F(B；R；N)

其中，O为有雨图像，B为背景图像，R是雨水层，R_e是O的残差图像，它是由B，R和未知因子N通过隐式函数F生成的。由于该模型是隐式雨水模型，因此能克服上述域转换问题。

其次，通过两个阶段进行去雨的实现。具体而言，在第一阶段中，通过残差网络将图像分解为背景图像和残差图像。然后，残差图像被用作第二阶段中的对抗细化网络的注意力矩阵，以细化被雨严重退化的背景图像中的区域。

实现本发明目的的具体技术方案是：

一种基于残差对抗细化网络的两阶段去雨方法，该方法包括以下具体步骤，如图1所示：

步骤1：搭建第一阶段的残差网络。网络采用编码器——解码器结构，具体结构如下：三层卷积层(编码/下采样)，12个残差模块，三层反卷积层(解码/上采样)。

步骤2：训练第一阶段网络，将输入的原始训练集有雨图像数据随机裁剪成256*256大小，目的在于数据增强和加速训练过程，随后将256*256大小的图像输入到残差网络，网络预测出残差图像，将输入图像减去残差图像，得到第一阶段的去雨结果(第一阶段背景图像)。预测的残差图像与原始训练集图像数据的真实对照残差图像一起计算第一阶段的损失函数L_stage1＝λ_L2L₂，使得该损失函数最小，以此训练网络。

步骤3：搭建第二阶段的对抗细化网络，该网络模式采用生成式对抗网络，分为生成器和判别器两部分。其中生成器采用编码器——解码器结构，具体结构如下：三层卷积层(编码)，6个残差模块，三层反卷积层(解码)；判别器为分类器结构，并且加入注意力机制的梯度惩罚，判别器预测输入图像是否为真。

步骤4：训练第二阶段网络，将输入的原始训练集有雨图像数据随机裁剪成256*256大小，固定第一阶段训好的残差网络，随后将256*256大小的图像输入到该残差网络，生成残差图像。将此残差图像作为注意力矩阵，同时将此残差图像与此时残差网络预测所得的背景图像(背景图像为输入原始有雨图像和预测的残差图像的差值图像)作级联(CONCAT)后作为第二阶段网络的输入图像。第二阶段的生成器预测去雨后图像，得到去雨结果(第二阶段背景图像)；将原始训练集的真实背景图像(无雨图像)和第二阶段去雨后的图像(第二阶段背景图像)分别输入第二阶段的判别器进行判别。第二阶段的损失函数为：L_stage2＝λ_L1L₁+λ_ganL_gan+λ_contentL_content+λ_sytleL_sytle+λ_ssimL_ssim+λ_gpL_gp生成器和判别器在训练过程中交替更新，目标是使得损失函数最小，使得网络尽量收敛，得到较好的接近收敛的去雨网络。

步骤5：分别载入第一阶段和第二阶段训练好的模型，设置较小的初始学习率，将输入的原始训练集有雨图像数据随机裁剪成256*256大小，随后输入第一阶段网络，得到残差图像和第一阶段去雨后图像(第一阶段背景图像)，将这两幅图像输入第二阶段网络，得到第二阶段的去雨图像(第二阶段背景图像)。按照第一阶段和第二阶段损失函数更新目标规则，交替更新两个阶段的网络，完成两阶段网络训练过程得到最终去雨网络。

步骤6：在本方法实际应用过程(通常也称为测试过程)，将实际需要处理的有雨图像(无需做剪裁处理)输入步骤5训练好的两阶段网络，最终在第二阶段细化网络生成器的输出处，得到去雨后的清晰图像。

步骤2中，所述将有雨图像输入到第一阶段残差网络中，其网络结构如图2所示：三层卷积层(编码)，12个残差模块，三层反卷积层(解码)，其中残差模块如图5所示，由两层卷积层和挤压激励模块组成(如图6所示)。

步骤3和步骤4中，所述将上一阶段的输出图像输入到第二阶段网络中，其生成器结构如图3所示：三层卷积层(编码)，6个残差模块，3层反卷积层(解码)；其判别器结构如图4所示，由5层卷积层构成，最终输出为单节点预测准确率。在判别器参数更新阶段加入注意力机制的梯度惩罚机制。具体而言，将判别器网络进行参数梯度反传更新后的输入层梯度，与注意力矩阵做点乘，注意力矩阵使用步骤4输出的残差图像，目的在于使得判别器网络在参数更新过程中由注意力矩阵分配梯度权重，并用以惩罚判别器网络，获取更有效的训练策略。

步骤5中，所述较小的初始学习率为0.000002，训练步骤4得到的接近收敛的网络，并继续使用交替更新的方式进行网络参数的细化更新。这里设定较小的，合理的初始化学习率可使得交替训练有效进行，网络继续收敛。

步骤2中所述损失函数具体定义如下：

第一阶段的损失函数为L_stage1＝λ_L2L₂。其中，

L₂指二范式。λ_L2＝100(该数值可根据实际训练效果在0.1-100之间调整)。

R_e指真实对照的残差图像，即原始训练集中经过随机裁剪后的有雨图像数据与原始训练集对应无雨图像(真实背景图像)数据的差，

指步骤2中残差网络预测的残差图像。

步骤4中所述第二阶段的损失函数具体定义如下：

L_stage2＝λ_L1L₁+λ_ganL_gan+λ_contentL_content+λ_sytleL_sytle+λ_ssimL_ssim+λ_gpL_gp，其中，λ_L1、λ_gan、λ_content、λ_style、λ_ssim、λ_gp的值根据实际训练效果在0.1-500之间调整，其余6个相关项如下所述：

1)L1损失函数

B指原始训练集中对照的真实背景图像(无雨图像)，

指生成器预测的背景图像(去雨后图像)，两者作L1范式损失函数。

2)SSIM损失函数

其中，SSIM为计算SSIM指标函数^[1]。

3)生成式对抗神经网络目标函数

其中，G为生成器，D为判别器，y～q(y)表示图像数据y采样于训练集真实无雨数据分布q(y)，x～p(x)表示图像数据x采样于训练集输入有雨数据分布p(x)，判别器希望最大化这个目标函数，而生成器希望最小化这个目标函数。此处生成器和判别器的具体结构为步骤3和步骤4构建的细化网络生成器和判别器。

4)内容损失函数

其中，φ_i是在公开数据集ImageNet一千分类任务上预训练好的VGG19网络^[5]的relu1_1，relu2_1，relu3_1，relu4_1和relu5_1层上输出的加权结果(i＝1,2,3,4，5，依次分别对应这5层)，其中各项权值均为0.2，N_i是VGG19第i层的特征的维数，定义为公知，详见参考文献[2]。

5)风格损失函数

其中，φ_j是在公开数据集ImageNet一千分类任务上预训练好的VGG19网络^[5]的relu2_2，relu3_4，relu4_4和relu5_2层输出的特征图(j＝1,2,3,4，依次分别对应这4层)，特征图的尺寸大小为C_j×H_j×W_j。

是一个从φ_j构建的C_j×C_j的Gram矩阵。相关参数定义为公知，详见参考文献[2]。

6)注意力梯度惩罚：

其中attention为第一阶段产生的残差图像归一化后的矩阵，

为网络预测的第二阶段输出背景图像(无雨图像)，即

指对细化网络判别器进行参数反传更新后输入层参数梯度。⊙为矩阵点乘符号。

本发明还提出了一种基于残差对抗细化网络的两阶段图像去雨系统，采用基于残差对抗细化网络的两阶段图像去雨方法，所述系统包括：

一阶段模块：用于搭建、训练残差网络，通过残差网络将图像分解为背景图像和残差图像；

二阶段模块：用于搭建、训练对抗细化网络，通过对抗细化网络细化被雨严重退化的背景图像中的区域。

本发明涉及一种基于残差对抗细化网络的两阶段去雨方法，能够实现图像去雨和精修的效果。现有的方法在大雨图像上不能很好地实现去雨，并且它们存在域转换问题，通常不能很好地推广到新的数据集，即泛化能力不强。为了克服这些问题，本发明首先提出一种新的隐式雨水模型，将雨水图像建模为背景图像和残差图像的组合，该模型不受雨水仿真数据集的仿真模型建立原理限制，适用于多种雨水仿真模型。基于这种隐式雨水模型，然后提出了一种新的两阶段残差对抗细化网络来处理大雨图像，网络的泛化能力强，去雨效果好。具体地，在第一阶段中，设计残差网络生成残差图像，网络结构中使用残差模块，并且该模块主要用以学习残差信息，较符合去雨任务，通过该结构能更好地学习到残差图像信息，并且在残差模块中加入挤压激励网络模块(SE模块)，用以学习特征通道间的权重，更好地学习通道间的信息，预测残差图像。第一阶段的残差网络用以生成残差图像，然后，残差图像被用作第二阶段中的对抗细化网络的注意力矩阵，以细化被雨严重退化的背景图像中的区域。在第二阶段生成式对抗网络中，根据去雨任务的特殊性，设计注意力梯度惩罚损失函数，该损失函数用以约束判别器参数更新，使得判别器参数梯度更新过程中取决于图像雨量大小，能够着重恢复大雨区域丢失的背景信息，去雨效果较好，如图9所示。最终，采用本发明的去雨方法，在不同仿真数据集和真实数据集上都得到较好的去雨效果，如图7和图8所示。

附图说明

图1为本发明整体网络框图。

图2为第一阶段残差网络结构图。

图3为第二阶段对抗细化网络生成器构图。

图4为判别器结构图。

图5为残差模块结构图。

图6为挤压激励模块(SE模块)结构图；(参数定义为公知，详见参考文献[4])

图7a、7b为本发明在真实数据集上的效果图；图7a为原始图像，图7b为去雨后的图像。

图8为本发明在仿真数据集上的效果图。

图9为引入注意力机制与不使用注意力机制的真实数据集效果对比图。

图2-图5中：Conv：卷积核

Norm：归一化层

Relu：激活函数Relu(x)＝max(x,0)

ConvTranspose：反卷积核

Tanh：激活函数

LeakyRelu：激活函数LeakyRelu(x)＝max(0,x)+leak*min(0,x)(leak是一个很小的常数)

具体实施方式

结合以下具体实施例和附图，对发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

本发明包括以下具体步骤：

步骤1：搭建第一阶段的残差网络。其网络采用编码器——解码器结构，具体结构如下：三层卷积层(编码)，12个残差模块，三层反卷积层(解码)。

步骤2：训练第一阶段网络，将输入的原始训练集有雨图像数据随机裁剪成256*256大小，目的在于数据增强和加速训练过程，随后将256*256大小的图像输入到残差网络，预测出残差图像，将输入图像减去残差图像，得到第一阶段的去雨结果(第一阶段背景图像)。预测的残差图像与原始训练集图像数据的真实对照残差图像一起计算第一阶段的损失函数L_stage1＝λ_L2L₂，训练目标是通过迭代更新网络参数使该损失函数最小。训练第一阶段网络时设置初始学习率为0.0002，采用Adam优化方法，学习率每经过10次迭代(epoch)除以10，共200次迭代。

步骤3：搭建第二阶段的对抗细化网络，分为生成器和判别器两部分。其中生成器采用编码器——解码器结构，具体结构如下：三层卷积层(编码)，6个残差模块，三层反卷积层(解码)；判别器采用分类器结构，并且加入注意力机制的梯度惩罚，预测输入图像是否为真。

步骤4：训练第二阶段网络，将输入的原始训练集有雨图像数据随机裁剪成256*256大小，固定第一阶段训好的残差网络，随后将256*256大小的图像输入到网络，预测出残差图像。将此残差图像作为注意力矩阵，同时将此残差图像级联“输入有雨图像和残差图像的差值图像(即由残差网络的输出计算得到的背景图像)”作为第二阶段网络的输入图像，具体而言，将残差图像和差值图像级联输入第二阶段网络。第二阶段的生成器预测去雨后图像，得到去雨结果(第二阶段背景图像)；将原始背景图像和第二阶段去雨后的图像(第二阶段背景图像)分别输入第二阶段的判别器进行判别。生成器和判别器在训练过程中交替迭代更新，降低第二阶段损失函数L_stage2目标是使其最小，最终使得网络收敛，得到较好的去雨结果。训练第二阶段网络时设置初始学习率为0.0002，采用Adam优化方法，学习率每经过10次迭代(epoch)除以10，共200次迭代。

步骤5：分别载入第一阶段和第二阶段训练好的模型，设置较小的初始学习率(0.000002)，将输入的原始训练集有雨图像数据随机裁剪成256*256大小，随后输入第一阶段网络，得到残差图像和第一阶段去雨后图像(第一阶段背景图像)，将两幅图像输入第二阶段网络，得到第二阶段的去雨图像(第二阶段背景图像)。按照第一阶段和第二阶段损失函数训练目标规则，交替更新两个阶段的网络，完成两阶段网络训练过程得到最终去雨网络。

步骤6：在实际使用本方法时，将实际需要处理的有雨图像(无需做剪裁处理)输入步骤5输入训练好的两阶段网络的生成器，最终在第二阶段细化网络生成器的输出处，得到去雨后的清晰图像。

本发明较佳实施方式中，其中，步骤2中，设计更新网络采用的第一阶段损失函数为：

L_stage1＝λ_L2L₂。其中，

R_e指真实对照的残差图像，

指生成器预测的残差图像，两者作L2(二范式)损失函数。λ_L2＝100(可根据实际训练效果在0.1-100之间调整)。

本发明较佳实施方式中，其中，步骤3和步骤4中，设计更新网络采用的第二阶段的损失函数为：

L_stage2＝λ_L1L₁+λ_ganL_gan+λ_contentL_content+λ_sytleL_sytle+λ_ssimL_ssim+λ_gpL_gp，其中，λ_L1＝100，λ_gan＝1,λ_content＝0.1,λ_style＝100,λ_ssim＝20,λ_gp＝10(可根据实际训练效果在0.1-500之间调整)，其余6个相关项如下所述：

1)L1损失函数

B指原始训练集中对照的真实背景图像(无雨图像)，

指生成器预测的背景图像(去雨后图像)，两者作L1(范式)损失函数。

2)SSIM损失函数

其中，SSIM为计算SSIM指标函数^[1]。

3)生成式对抗神经网络目标函数

其中，G为生成器，D为判别器，y～q(y)表示图像数据y采样于训练集真实无雨数据分布q(y)，x～p(x)表示图像数据x采样于训练集输入有雨数据分布p(x)，判别器希望最大化这个目标函数，而生成器希望最小化这个目标函数。此处生成器和判别器的具体结构为步骤3和步骤4构建的细化网络生成器和判别器。

4)内容损失函数

其中，φ_i是在公开数据集ImageNet一千分类任务上预训练好的VGG19网络^[5]的relu1_1，relu2_1，relu3_1，relu4_1和relu5_1层上输出的加权结果(i＝1,2,3,4，5，依次分别对应这5层)，其中各项权值均为0.2，N_i是VGG19第i层的特征的维数，定义为公知，详见参考文献[2]。

5)风格损失函数

其中，φ_j是在公开数据集ImageNet一千分类任务上预训练好的VGG19网络^[5]的relu2_2，relu3_4，relu4_4和relu5_2层输出的特征图(j＝1,2,3,4，依次分别对应这4层)，特征图的尺寸大小为C_j×H_j×W_j。

是一个从φ_j构建的C_j×C_j的Gram矩阵。相关参数定义为公知，详见参考文献[2]

6)注意力梯度惩罚项：

其中attention为第一阶段产生的残差图像归一化后的矩阵，

为网络预测的第二阶段输出背景图像(无雨图像)，即

指对细化网络判别器进行参数反传更新后输入层参数梯度。⊙为矩阵点乘符号。

本发明中的基于残差对抗细化网络的两阶段图像去雨系统，采用基于残差对抗细化网络的两阶段图像去雨方法，所述系统包括：

一阶段模块：用于搭建、训练残差网络，通过残差网络将图像分解为背景图像和残差图像；

二阶段模块：用于搭建、训练对抗细化网络，通过对抗细化网络细化被雨严重退化的背景图像中的区域。

实施例

参阅图1至图9，本实施例包括如下步骤：

步骤1：训练第一阶段残差网络，将有雨图像分解为背景图像和残差图像。

具体地，网络结构采用三层卷积层(编码)，12个残差模块，三层反卷积层(解码)。训练过程中输入图像尺寸为256*256，因为本发明所有卷积神经网络结构均为全卷积结构，因此在测试过程中不受图像大小影响，比如输入320*240大小的有雨图像，经过两阶段网络后输入仍为320*240大小。

步骤2：训练第二阶段对抗细化网络，得到第二阶段去雨结果。

具体地，固定第一阶段网络参数，得到第一阶段输出的残差图像，以及第一阶段去雨后图像，将两者输入第二阶段对抗网络中，得到第二阶段的去雨结果。

步骤3：载入训练好的两阶段网络，以较小的初始化学习率(0.000002)，更新两阶段网络的参数，最终得到收敛的网络。

步骤4：将测试集中的有雨图像输入两阶段网络，最终得到去雨后图像，整个过程实现端到端结构，便于实际使用，去雨效果如图7和图8所示。

相较于现有技术，本发明首先提出一种新的隐式雨水模型，将雨水图像建模为背景图像和残差图像的组合。基于这种隐式降雨模型，然后提出了一种新的两阶段生成式对抗神经网络来处理雨水图像。在第一阶段中，通过对抗网络将图像分解为背景图像和残差图像。然后，残差图像被用作第二阶段中的对抗网络的注意力矩阵，以细化被雨严重退化的背景图像中的区域。整个过程实现端到端自动化的形式。

参考文献

[1]Alain Horé,Ziou D.Image Quality Metrics:PSNR vs.SSIM[C].2010 20^thInternational Conference on Pattern Recognition.2366-2369,2010.

[2]Nazeri K,Ng E,Joseph T,et al.EdgeConnect:Generative ImageInpainting with Adversarial Edge Learning.2019.

[3]Gulrajani I,Ahmed F,Arjovsky M,et al.Improved Training ofWasserstein GANs[C].2017 Advances in Neural Information ProcessingSystems.5767-5777,2017.

[4]Jie H,Li S,Albanie S,et al.Squeeze-and-Excitation Networks[J].IEEETransactions on Pattern Analysis and Machine Intelligence,99:1-1,2017.

[5]O.Russakovsky,J.Deng,H.Su,J.Krause,S.Satheesh,S.Ma,Z.Huang,A.Karpathy,A.Khosla,M.Bernstein,et al.Imagenet large scale visual recognitionchallenge[J].International Journal of Computer Vision,115(3):211–252,2015.

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (10)

1.一种基于残差对抗细化网络的两阶段图像去雨方法，其特征在于，该方法包括以下具体步骤：

步骤1：搭建第一阶段的残差网络；

步骤2：将原始训练集有雨图像数据输入所述残差网络预测出残差图像，将输入图像减去残差图像，得到第一阶段的去雨结果，设置初始学习率，训练所述残差网络；

步骤3：搭建第二阶段的对抗细化网络，分为生成器和判别器两部分；

步骤4：固定训练后的残差网络，随后将原始训练集有雨图像数据输入到所述训练后的残差网络，预测出残差图像，并将此预测的残差图像作为注意力矩阵，同时将所述预测的残差图像与残差网络预测的背景图像作级联后，作为所述对抗细化网络的输入图像，所述背景图像为输入原始训练集有雨图像和预测的残差图像的差值图像；第二阶段的生成器预测去雨后图像，得到第二阶段去雨图像；将原始训练集的真实背景图像和第二阶段去雨后的图像分别输入第二阶段的判别器进行判别；设置初始学习率，生成器和判别器在训练过程中交替更新，使得网络收敛，得到接近收敛的对抗细化网络；

步骤5：分别载入训练好的残差网络和所述对抗细化网络，设置初始学习率，再次将原始训练集有雨图像数据输入所述残差网络，得到残差图像和第一阶段去雨后图像，将这两幅图像输入所述对抗细化网络，得到第二阶段的去雨图像；按照第一阶段和第二阶段损失函数更新目标规则，交替更新两个网络，完成网络训练过程得到最终去雨网络；

步骤6：将需要处理的有雨图像输入训练好的最终去雨网络，在所述对抗细化网络生成器的输出处，得到去雨后的清晰图像。

2.根据权利要求1所述的两阶段图像去雨方法，其特征在于，步骤1中，所述第一阶段的残差网络中，网络采用编码器——解码器结构，其结构包括：三层卷积层，12个残差模块，三层反卷积层，其中残差模块由两层卷积层和挤压激励模块组成。

3.根据权利要求1所述的两阶段图像去雨方法，其特征在于，步骤2、4、5中，将输入的原始训练集中有雨图像数据随机裁剪成256*256大小，用于数据增强和加速训练过程。

4.根据权利要求1所述的两阶段图像去雨方法，其特征在于，步骤2中，将残差网络预测的残差图像与原始训练集图像数据的真实对照残差图像一起计算第一阶段的损失函数L_stage1＝λ_L2L₂，使得该损失函数最小，以此训练网络；

其中，

L₂指二范式；λ_L2根据实际训练效果在0.1-100之间调整；R_e指真实对照的残差图像，即原始训练集中经过随机裁剪后的有雨图像数据与原始训练集对应无雨图像数据的差，

指步骤2中残差网络预测的残差图像。

5.根据权利要求1所述的两阶段图像去雨方法，其特征在于，步骤3中，所述对抗细化网络分为生成器和判别器两部分；所述生成器采用编码器——解码器结构，其结构包括：三层卷积层，6个残差模块，三层反卷积层，其中残差模块由两层卷积层组成；所述判别器采用分类器结构，由5层卷积层构成，最终输出为单节点预测准确率，预测输入图像是否为真。

6.根据权利要求1所述的两阶段图像去雨方法，其特征在于，步骤4中，在判别器阶段加入注意力机制和梯度惩罚机制，计算判别器网络的梯度，将判别器网络进行参数梯度反传更新后的输入层梯度，与注意力矩阵做点乘，注意力矩阵使用步骤4中输出的残差图像。

7.根据权利要求1所述的两阶段图像去雨方法，其特征在于，步骤4中，生成器和判别器在训练过程中交替迭代更新，降低第二阶段损失函数L_stage2，使其最小，最终使得网络收敛；

L_stage2＝λ_L1L₁+λ_ganL_gan+λ_contentL_content+λ_sytleL_sytle+λ_ssimL_ssim+λ_gpL_gp；其中，λ_L1、λ_gan、λ_content、λ_style、λ_ssim、λ_gp的值根据实际训练效果在0.1-500之间调整，其余各项：

1)L1损失函数

B指原始训练集中对照的真实背景图像，

指生成器预测的背景图像，两者作L1范式损失函数；

2)SSIM损失函数

其中，SSIM为计算SSIM指标函数；

3)生成式对抗神经网络目标函数

其中，G为生成器，D为判别器，y～q(y)表示图像数据y采样于训练集真实无雨数据分布q(y)，x～p(x)表示图像数据x采样于训练集输入有雨数据分布p(x)，判别器希望最大化这个目标函数，而生成器希望最小化这个目标函数；此处生成器和判别器的具体结构为步骤3和步骤4构建的细化网络生成器和判别器；

4)内容损失函数

其中，φ_i是在公开数据集ImageNet一千分类任务上预训练好的VGG19网络的relu1_1，relu2_1，relu3_1，relu4_1和relu5_1层上输出的加权结果，i＝1,2,3,4，5，依次分别对应这5层，其中各项权值均为0.2，N_i是VGG19第i层的特征的维数；

5)风格损失函数

其中，φ_j是在公开数据集ImageNet一千分类任务上预训练好的VGG19网络^[5]的relu2_2，relu3_4，relu4_4和relu5_2层输出的特征图，j＝1,2,3,4，依次分别对应这4层，特征图的尺寸大小为C_j×H_j×W_j；

是一个从φ_j构建的C_j×C_j的Gram矩阵；

6)注意力梯度惩罚

其中，attention为第一阶段产生的残差图像归一化后的矩阵，

为网络预测的第二阶段输出背景图像，即

指对细化网络判别器进行参数反传更新后输入层参数梯度；⊙为矩阵点乘符号。

8.根据权利要求1所述的两阶段图像去雨方法，其特征在于，步骤2、步骤4中，所述初始学习率为0.0002；和/或，步骤5中，所述初始学习率为0.000002，训练步骤4得到的接近收敛的对抗细化网络，并继续使用交替更新的方式进行网络参数的细化更新，网络继续收敛。

9.根据权利要求1所述的两阶段图像去雨方法，其特征在于，所述两阶段图像去雨方法基于隐式雨水模型，认为有雨图像由背景图像和残差图像组成，所述隐式雨水模型如下式所示：

O＝R_e+B

R_e＝F(B；R；N)

其中，O为有雨图像，B为背景图像，R是雨水层；R_e是O的残差图像，它是由B，R和未知因子N通过隐式函数F生成。

10.一种基于残差对抗细化网络的两阶段图像去雨系统，其特征在于，采用如权利要求1-9之任一项所述的基于残差对抗细化网络的两阶段图像去雨方法，所述系统包括：

一阶段模块：用于搭建、训练残差网络，通过残差网络将图像分解为背景图像和残差图像；

二阶段模块：用于搭建、训练对抗细化网络，通过对抗细化网络细化被雨严重退化的背景图像中的区域。

Images