CN117196985A - 一种基于深度强化学习的视觉去雨雾方法 - Google Patents

Abstract

本发明涉及一种基于深度强化学习的视觉去雨雾方法，属于机器视觉技术领域，解决了现有去雨雾的智能模糊算法存在的效果不佳、普适性和实时性较差、有模糊残留现象的问题，该方法具体包括以下步骤：建立统一模糊图像退化的数学模型，并根据待处理图像的模糊类型确定对应的模糊处理后退化后的图像；构建软掩码雨雾物理模型；构建基于深度强化学习框架的去雨雾模型；设计去雨雾模型的总损失函数；使用未配对图片对去雨雾模型进行训练，得到训练好的模型；将测试数据集输入到训练好的模型中，获得去除雨雾后的干净图像。本发明能够实现单幅图像去雨雾处理，还原所摄图像或视频清晰度，为后续图像处理奠定坚实的技术基础。

Description

一种基于深度强化学习的视觉去雨雾方法

技术领域

本发明涉及机器视觉技术领域，具体涉及一种基于深度强化学习的视觉去雨雾方法。

背景技术

在信息时代，随着物联网技术、人工智能科技的发展，关于自主可控智能设备、无人值守平台、无人驾驶辅助技术、移动机器人相关装置的发明和创新成果极大提高了人们的生活水平，加快了社会的智能化进程。其中，机器人视觉因涵盖计算机视觉技术、图像采集与还原技术、无人驾驶技术等领域，已成为全世界研究的热点和难点之一。特别是各类机器人在移动、运动过程中的视觉和图像处理过程更是后续实时摄录、无人驾驶、远程航拍等领域的基础和关键。

基于移动机器人应用场合、作业场景及室内外运动环境的特点，经机器人视觉系统摄录的实时图片或视频画面极易出现雾状模糊、清晰度差等现象，其拍摄效果难以满足实际工程需求。例如，场景一：阴雨天，户外作业的机器人在运动过程中，因受天气影响，其视觉系统(摄像头及保护罩)表面笼罩层薄雾或雨雾，导致摄录的图像或视频模糊，不清晰，效果极差；场景二：因受昼夜、地域、地区、季节等特殊因素影响，机器人长时间作业过程中，会因温差较大导致其视觉系统(摄像头及保护罩)表面逐渐覆盖层薄雾或雨雾，进而导致摄录的图像或视频模糊，不清晰，效果极差；场景三：在室内或狭小空间，因机器人作业过程中意外情况，导致其视觉系统(摄像头及保护罩)表面突然笼罩层薄雾或雨雾，使原来清晰的图像或视频突然变得雾状现象。在上述且不局限于上述场景下，针对移动机器人视觉系统，如不及时处理此类(如薄雾或雨雾)现象，还原清晰的现场图像或视频效果，会对工程现场、社会市场、百姓生命安全等造成不良影响，甚至是难以挽回的损失。同时，在工程实践过程中，带有雨雾状图像或视频的不当处理，也会对后续目标识别、信息检测、目标定位、目标跟踪等图像处理技术造成重大影响。

针对机器人视觉系统表层去除雨雾的需求，可采用定期维护方式和智能控制算法实现。采用玻璃加热器或雨刷等物理设备定期、自动清洁的方法不但费时费力，更难以满足重点工程的实时性、现实性需求。因此，智能控制算法成为解决此类问题的首选，也是该领域研究的热点和难点。依据计算机视觉处理流程，对带雨雾的图像即视频信息处理，可基于多幅图像去雨雾处理技术实现。进一步，又可分解为单幅图像去雨雾技术。其难点主要有两大方面：首先，是分清图像模糊的根源，即是视觉失焦、镜头晃动、车体运动、烟雾层或雨雾层导致。不同根源，采用的去模糊模型和框架各不同。其次，明确模糊类型为雨雾层，其难点是在机器人作业场景中，会遇到类似雨雾等不利因素，导致拍摄的图像信息丢失。现阶段，此类去雨雾的智能模糊算法有：基于卷积神经网络的去雨雾框架、生成对抗网络单尺度去雨雾框架等。基于卷积神经网络的去雨雾框架结构复杂，需架构多尺度、深层次逐层实现，才能达到理想效果，普适性和实时性较差；基于生成对抗网络的单尺度去雨雾框架，因其尺度单一，无法挖掘雨雾的多属性信息，针对雨雾浓度不同区域会有模糊残留现象，效果不理想。因此，提供一种适当增加框架尺度的同时提升系统决策能力的方法可以解决此类工程问题，填补相关技术领域的空白。

发明内容

本发明提供一种基于深度强化学习的视觉去雨雾方法，该方法解决了现有去雨雾的智能模糊算法存在的效果不佳、普适性和实时性较差以及针对雨雾浓度不同区域会有模糊残留现象的问题，通过本发明能够让移动机器人视觉系统在多种场景下，即使移动机器人出现因温度、天气、季节、昼夜、地域、区域、常态或突然等因素，导致其视觉系统(摄像头及保护罩)表面逐渐覆盖薄雾或雨雾层现象时，仍然能够实现单幅图像去雨雾处理，还原所摄图像或视频清晰度，为后续目标识别、信息检测、目标定位、目标跟踪等图像处理奠定坚实的技术基础。

为实现上述目的，本发明采取的技术方案如下：

一种基于深度强化学习的视觉去雨雾方法，包括以下步骤：

步骤1：建立统一模糊图像退化的数学模型，并根据待处理图像的模糊类型确定对应的模糊处理后退化后的图像；

步骤2：根据步骤1得到的带雨雾的退化模糊图像，构建软掩码雨雾物理模型；

步骤3：构建基于深度强化学习框架的去雨雾模型，所述去雨雾模型包括8个生成网络和2个判别网络，其整体结构分为两个部分：第一部分为分解组合网络，用于将真实雨雾图像分解成干净背景图和潜在雨雾特征代码以及将干净背景图和潜在雨雾特征组合生成模糊雨雾图片；第二部分为合成分解网络，用于生成具有多种雨雾特征的未配对雨雾图以及分解合成的雨雾图为雨雾特征代码与背景图；两个判别网络分别用于对生成的干净图片与真实的干净图片、生成的雨雾图片与真实的雨雾图片进行判断，直至生成网络生成的图片骗过判别网络，达到训练稳定；

步骤4：设计所述去雨雾模型的总损失函数，所述总损失函数为重构损失函数、判别网络D_C损失函数、生成网络G_D生成损失函数、判别网络D_R损失函数、生成网络G_C生成损失函数、identify损失函数之和；

步骤5：使用未配对图片对所述去雨雾模型进行训练，得到训练好的模型；

步骤6：将测试数据集输入到训练好的模型中，获得去除雨雾后的干净图像。

与现有技术相比，本发明具有的有益效果是：(1)与循环生成对抗网络修改整个图像的通用风格转移方法不同，雨雾去除仅从输入图像中去除雨雾并保持其干净部分不变，能充分增强重点目标信息的同时仅抑制非重点目标信息，并未对原图像做本质修改；(2)通过将雨雾图像分解为常见的场景和不同的浓度的雨雾样式，无限雨雾样式和一张干净图像组成不同的逼真雨雾图像，实现多种样式的雨雾图像转换成为干净图像，仅使用未配对的真实数据可以有效地去除真实世界附着的雨雾；(3)雨雾风格和干净场景的组合是一个非常复杂的功能，生成网络G_D、G_C设计为自动编码器结构，直接学习从雨雾图像到干净场景和雨雾特征潜在代码的分解函数与从干净场景和雨雾特征到雨雾图像的合成函数，从而训练G_D学习从雨雾图像到干净图像的映射功能，同时保持背景不变，训练G_C学习从干净图像到雨雾图像的映射功能；(4)相较于雨雾建模为二元掩码模型仅反映位置特征的不足，本发明方法既考虑了模糊强度和空间信息，又增强了系统决策能力。

附图说明

图1是本发明实施例所述的一种基于深度强化学习的视觉去雨雾方法的流程图；

图2是本发明实施例中DRainGAN-model的框架图；

图3是本发明实施例中生成网络G_D的网络结构图；

图4是本发明实施例中生成网络G_C的网络结构图；

图5是本发明实施例中判别网络D_C的网络结构图；

图6是本发明实施例中判别网络D_R的网络结构图。

具体实施方式

下面结合附图和较佳实施例对本发明的技术方案进行详细说明。

如图1所示，本实施例提供一种基于深度强化学习的视觉去雨雾方法，该方法包括以下步骤：

步骤1：建立统一模糊图像退化的数学模型，并根据待处理图像的模糊类型确定对应的模糊处理后退化后的图像。

模糊图像类型分运动模糊和雨雾模糊两种，其中运动模糊是由移动机器人摄像头或机器人本体聚焦不稳导致的。因此，可假设图像形变的时变分量沿x轴和y轴两个方向。

设机器人及其视觉系统为质点，采集图像的过程可认为是质点的运动过程。因此，建立统一模糊图像退化的数学模型为：

其中，g(x,y)表示模糊图像；f(x,y)表示原图像，h(x,y)表示退化函数；n(x,y)表示噪声；x和y分别为质点在x轴和y轴的时变分量；C＝f(x,y)表示原图像，t(p)表示大气透射函数，p表示原图像中的像素点，A表示图像全局背景光，Z(p)表示系统噪声。

根据公式(1)，当模糊图像类型为雨雾模糊时，建立的模糊退化模型写作：

g(p)＝I(p)＝C*t(p)+A(1-t(p))+Z(p) (2)

其中，I(p)为带雨雾的退化模糊图像。C＝f(x,y)为原干净清晰的图像。A为图像全局背景光。t(p)＝h(p)＝e^-βd(p)为大气透射率，为机器人摄像头到目标大致距离，m为机器人摄像头到目标的x轴的距离，n为机器人摄像头到目标的y轴的距离，β为所摄空间的散射系数，Z(p)＝n(p)在公式(1)中为系统噪声，这里可定义为雨雾浓度函数。

当模糊图像类型为运动模糊时，建立的模糊退化模型写作：

g(x,y)＝f(x,y)*h(x,y)+n(x,y) (3)

公式(3)中变量定义与公式(1)相同，此处不再赘述。

公式(3)所示的模糊退化模型在频域上的表示为：

G(u,v)＝F(u,v)·H(u,v)+N(u,v) (4)

其中，u和v分别为x轴和y轴的频域表示，G(u,v)为退化后的图像的频域表示，H(u,v)为退化模型的频域表示，F(u,v)为原图像的频域表示，N(u,v)为噪声的频域表示。

建立大气湍流退化模型为：

其中，k为湍流系数，图像模糊程度越大，系数越大。一般取经验数字：k＝25×10^-4为剧烈湍流，k＝10×10^-4为中等湍流，k＝2.5×10^-4为低湍流。

因此，得到视觉系统运动模糊退化模型为：

其中，x轴和y轴的时变运动分量分别为x₀(t)＝at/T和y₀(t)＝bt/T。介质上任意点的总曝光量是瞬时曝光量的积分。

步骤2：依据步骤1得到的模糊处理后退化后的图像中雨雾覆盖位置、区域、对背景像素值的增大或减小等信息，构建一种考虑雨雾多样性、区域大小、浓度以及其对背景模糊程度的软掩码雨雾物理模型，通过对软掩码雨雾进行建模，提供对雨雾现象的物理意义的解释，基于软掩码雨雾物理模型，提出基于构建的物理模型的去雨雾算法。

建立附着雨雾的建模即软掩码雨雾物理模型如下：

其中，I(p)为带雨雾的模糊图像。U表示软掩码，范围在[-1,1]之间，U＞0表示雨雾对背景图像有提高亮度效果，U＜0表示雨雾对背景图像有削弱亮度效果。可见，|U|的值越大，表示对背景图像像素影响越大。Z代表雨雾浓度，Z＝0表示雨雾浓度足够大，可使机器人视觉表面凝结成雨雾状态；Z≠0且Z∈[-1,1]表示雨雾浓度有限，无法使机器人视觉表面凝结成雨雾状态。B(p)表示背景图像，R(p)表示雨雾的效果，代表了背景信息和环境反射光的复杂混合物。最终全部带雨雾的模糊图像以及干净图像组成用于网络训练的输入数据集。

步骤3：构建基于深度强化学习框架的去雨雾模型(DRainGAN-model)。本步骤构建的去雨雾模型包括8个生成网络和2个判别网络，其整体结构分为两个部分：第一部分为分解组合网络，用于将真实雨雾图像分解成干净背景图和潜在雨雾特征代码以及将干净背景图和潜在雨雾特征组合生成模糊雨雾图片；第二部分为合成分解网络，用于生成具有多种雨雾特征的未配对雨雾图以及分解合成的雨雾图为雨雾特征代码与背景图；两个判别网络分别用于对生成的干净图片与真实的干净图片、生成的雨雾图片与真实的雨雾图片进行判断，直至生成网络生成的图片骗过判别网络，达到训练稳定，此时输出的图片质量最高。

构建去雨雾模型的具体步骤为：

步骤3.1：选取最小二乘生成对抗网络中的生成网络和判别网络作为DRainGAN-model的生成网络和判别网络的基础骨架；

步骤3.2：设计DRainGAN-model的体系结构，搭建如下的框架1至框架4：

框架1学习从雨雾图像到干净背景图像的映射，采用雨雾图像分解为干净背景图像和雨雾的思想，生成网络G_D学习从雨雾图像到干净背景图像和雨雾特征的分解，分解函数公式如下：

C_x,R_x＝G_D(x) (8)

首先，将附着雨雾图像和干净图像通过二分类神经网络分类输入到生成网络G_D中训练，雨雾图片x训练获得生成的干净背景图像C_x和雨雾特征代码R_x；然后采用图像合成的思想，合成函数公式如下：

x＝G_C(C_x,R_x) (9)

从干净场景和雨雾样式到雨雾图像的合成：生成的干净背景图像C_x和雨雾特征代码R_x输入到生成网络G_C中进行重建合成雨雾图像生成的干净背景图像C_x输入到判别网络D_x中判断干净背景图像C_x是否来自真实干净图像域，即判断是否是真实的干净背景图像。

框架2学习真实干净图片y从雨雾图像到干净背景图像C_y和雨雾特征代码R_y的分解，分解函数公式如下：

C_y,R_y＝G_D(y) (10)

生成的干净背景图像C_y和雨雾特征代码R_y输入到生成网络G_C中进行重建合成雨雾图像(由于干净图像无雨雾样式，基于域不变特征，强制输出图片与输入图片相同)合成函数公式如下：

y＝G_C(C_y,R_y) (11)

框架3学习从干净背景图像到雨雾图像的合成过程以及雨雾映射分解过程，将框架2中真实干净图片y分解生成的干净背景图像C_y与框架1获得的雨雾特征代码R_x输入到生成网络G_C中进行重建合成雨雾图像采用雨雾图像分解为干净背景图像和雨雾的思想，将合成雨雾图像/>输入到生成网络G_D中分解生成干净背景图像/>和雨雾特征代码/>生成的雨雾图像/>还输入到判别网络D_y中判断是否来自真实雨雾图像域，即判断是否是真实的雨雾图像，。

框架4将框架1生成的干净背景图像c_x与框架2生成的雨雾特征代码R_y输入到生成网络G_C中合成雨雾图像将合成雨雾图像x～输入到生成网络G_D中分解生成干净背景图像和雨雾特征代码/>

本实施例中的生成网络G_C和G_D采用自编码器实现。使用残差模块将干净背景图像与雨雾潜在代码分开，干净图像定义为表示残差图像。如图3所示，分解生成网络G_D由三个卷积层+Relu激活层、两个Residual块和三个反卷积层+Relu激活层组合而成。分解附着雨雾图像生成残差图像/>然后将残差图像添加到原图像x中，进行激活函数激活获取干净图像。如图4所示，组合生成网络G_C由三个卷积层+Relu激活层、两个Residual块和三个反卷积层+Relu激活层组成，将干净图像C_x和雨雾特征代码R_x组合生成残差图像/>然后将残差图像添加到干净图像C_x中，利用激活函数进行激活产生附着雨雾图像/>

将干净图像y通过分解生成网络G_D，生成干净图像C_y和不清晰图像R_y，然后通过组合生成网络G_C生成干净图像

本实施例中的判别网络D_C、D_R结构如下：

多尺度判别网络D_C(即图2中的判别网络D_x)、D_R(即图2中的判别网络D_y)为2个并行的判别网络，判别网络D_C由网络D_C1、网络D_C2组成，如图5所示，D_C1、D_C2结构完全一致，D_C1、D_C2用于区分生成的干净背景图像C_x与真实干净图片y，D_C1对输入的生成图像进行2倍下采样，D_C2输入原始大小的生成图像。D_C1、D_C2均由7个卷积层组成，通过全连接层进行卷积，最后使用sigmoid函数进行激活。

判别网络D_R由网络D_R1、网络D_R2组成，如图6所示，D_R1、D_R2用于区分生成的雨雾图像和真实雨雾图片x，D_R1对输入的生成图像进行2倍下采样，D_R2输入原始大小的生成图像。D_R1、D_R2由7层卷积层组成，通过全连接层进行卷积，最后使用sigmoid函数激活。

步骤4：设计DRainGAN-model的总损失函数，具体设计过程如下：

步骤4.1：根据带雨雾层图像的模糊性特点，需要采用图像增强技术对原图像进行预处理，有目的地强调图像的整体或局部特点，扩大图像中不同物体或背景之间的差别，抑制非必要目标特征，增强必要目标信息，提高图像的视觉效果。

步骤4.2：对原图像进行图像增强处理，计算增强后的图像和原图像间的欧氏距离，并建立两图像的二维高斯模糊算子。具体为：对原图像和增强后的图像进行高斯模糊处理，再计算他们的欧氏距离，用于提取两图像间的属性差异，即亮度、对比度和目标信息的色彩差距。

其中，L_color为颜色损失函数；I和J分别为雨雾层变量和干净变量；I(x)和分别J(x)分别为含雨雾层图像和干净清晰图像。

有：

其中，i，j，k，l表示为图像二维空间的像素变量；G(x_k,x_l)为二维高斯模糊算子；I(x_i,x_j)为含雨雾图像二维空间中第i行第j列像素；I(x_i+k,x_j+l)为含雨雾图像二维空间中第i+k行第j+l列像素。

令：

其中，μ_I、σ_I、μ_J、σ_J分别为二维高斯模糊算子的雨雾层图像和原图像的参数变量；A为图像全局背景光。

步骤4.3：引入真实雨雾图像与重建雨雾图像重建损失函数，要完成风格迁移，既要拟合干净图片的风格分布，又要保持雨雾区域对应的内容特征，防止造成雨雾区域的背景生成新的未出现的背景。

步骤4.4：引入真实雨雾图像分解的雨雾特征代码与生成雨雾图像分解的雨雾特征代码的重构损失函数。

步骤4.5：引入真实干净图像分解的雨雾特征代码与生成雨雾图像分解的雨雾特征代码的重构损失函数。

重构损失函数(L_recon)：包含真实附着雨滴水雾图片x与组合生成网络G_C生成雨雾图片真实干净图片y与组合生成网络G_C生成干净图片/>分解生成网络GD生成干净图片/>与分解生成网络生成干净图片C_y、分解生成网络GD生成的干净图片/>与分解生成网络G_D生成的干净图片C_x。

其中，和/>用于分解出背景和附着雨雾并被保留下来。输入的干净图像y经过分解的c_y应该与y图片形同，为避免生成网络G_D可能会自主地修改图像的色调，使得整体的颜色产生变化，加入identify损失函数L_idt(y,C_y)＝||y-C_y||₁。

步骤4.6：引入identify损失，用于评价增强后的图像与原图像中目标信息的色彩差异。在给定阈值范围内，保证真实图片不会发生颜色偏移，生成的干净背景图像c_x与雨雾图像

identify损失函数：包含分解生成网络G_D生成输出的图片C_y与输入图像y的损失函数、分解生成网络G_D输出的图片c_x与组合生成网络G_C输出的图像的损失函数，即

步骤4.7：引入判别网络D_C损失函数。

定义判别损失函数：

其中，p_data(y)是真实图片y的分布，表示真实输入图片y服从y的分布的期望，D_C1(y)表示判别网络输入图片y，D_C2(y)表示判别网络输入图片y，/>是真实图片C_x的分布，/>表示生成的图片C_x服从C_x的分布的期望，D_C1(C_x)表示判别网络输入图片C_x，D_C2(C_x)表示判别网络输入图片C_x。

定义生成网络G_D生成损失函数：

其中，是通过分解生成网络G_D生成的干净图像的分布，D_C1(C_x)表示判别网络输入图片C_x，D_C1(C_x)表示判别网络输入图片C_x,/>表示生成的图片C_x服从C_x的分布的期望。通过最小化D_C的损失函数，可以让生成的干净图片看起来与真实干净图片无差异。

步骤4.8：引入判别网络D_R损失函数。

定义判别网络D_R损失函数：

其中，表示真实输入图片x服从x的分布的期望，D_R1(x)表示判别网络输入图片x，D_R2(x)表示判别网络输入图片x，/>表示判别网络输入图片/>表示判别网络输入图片/>表示生成的图片/>服从/>的分布的期望。

定义生成网络G_C生成损失函数：

表示生成的图片/>服从/>的分布的期望，/>表示判别网络输入图片表示判别网络输入图片/>

步骤4.9：定义并计算总损失函数

综合考虑上述所有损失函数，包括重构损失函数(L_recon)、判别网络D_C损失函数L_GAN(D_C)、生成损失函数L_GAN(G_D)、判别网络D_R损失函数L_GAN(D_R)、生成损失函数L_GAN(G_C)、identify损失函数(L_idt)，并将上述函数融合，构成了总的损失函数，用来模拟真实拍摄的雨雾图片，即：

L(D_C,G_D,D_R,G_C)＝L_recon+L_GAN(D_C)+L_GAN(G_D)+L_GAN(D_R)+L_GAN(G_C)+λL_idt (20)

其中，λ表示颜色损失函数在总的损失函数中的权重，通过最小化D_R的损失函数，可以让生成的雨雾图片看起来与真实雨雾图片无差异。这样就能将雨雾的风格转移到另一个干净的图像上。

步骤5：使用未配对图片对DRainGAN-model进行训练，得到训练好的模型。

步骤6：将测试数据集输入训练好的模型中，获得去除雨雾后的干净图像，完成摄像头附着雨雾的图像处理任务。测试集的图片为真实世界图片，针对不同场合、不同实践、不同季节、不同温度条件下拍摄的含雨雾残留图片情况，在测试时可以着重输入这种类型图片进行测试。

本发明公开了一种基于深度强化学习的移动机器人视觉系统去雨雾方法，首先，根据雨雾的特点，薄雾导致图像的对比度降低，但仍能保留一定的细节和轮廓；浓厚雾则会显著降低对比度，使图像中的物体和细节几乎无法辨别，即图像的模糊属性是由覆盖薄雾或雨雾层带来的。其次，基于图像分解技术，将雨雾图像依据其背景信息和雨雾覆盖效果分类(可分为如下类型:雨雾全覆盖、雨雾部分覆盖、薄雾覆盖、浓雾覆盖)，将雨雾去除定义为一个多对一的图像到图像的转换问题，即将一张干净清晰的图像，根据雨雾类型融合成多种雨雾风格并生成多张模糊图像，利用未配对图像从各类雨雾图像中恢复出干净清晰的图像。最后，将原干净背景图像与雨雾风格的不同排列组合，合成逼真的雨雾图像，进行雨雾模糊去除，输出的干净图片，为后续目标识别、信息检测、目标定位、目标跟踪等图像处理奠定坚实的技术基础。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于深度强化学习的视觉去雨雾方法，其特征在于，包括以下步骤：

步骤1：建立统一模糊图像退化的数学模型，并根据待处理图像的模糊类型确定对应的模糊处理后退化后的图像；

步骤2：根据步骤1得到的带雨雾的退化模糊图像，构建软掩码雨雾物理模型；

步骤3：构建基于深度强化学习框架的去雨雾模型，所述去雨雾模型包括8个生成网络和2个判别网络，其整体结构分为两个部分：第一部分为分解组合网络，用于将真实雨雾图像分解成干净背景图和潜在雨雾特征代码以及将干净背景图和潜在雨雾特征组合生成模糊雨雾图片；第二部分为合成分解网络，用于生成具有多种雨雾特征的未配对雨雾图以及分解合成的雨雾图为雨雾特征代码与背景图；两个判别网络分别用于对生成的干净图片与真实的干净图片、生成的雨雾图片与真实的雨雾图片进行判断，直至生成网络生成的图片骗过判别网络，达到训练稳定；

步骤4：设计所述去雨雾模型的总损失函数，所述总损失函数为重构损失函数、判别网络D_C损失函数、生成网络G_D生成损失函数、判别网络D_R损失函数、生成网络G_C生成损失函数、identify损失函数之和；

步骤5：使用未配对图片对所述去雨雾模型进行训练，得到训练好的模型；

步骤6：将测试数据集输入到训练好的模型中，获得去除雨雾后的干净图像。

2.根据权利要求1所述的一种基于深度强化学习的视觉去雨雾方法，其特征在于，建立的统一模糊图像退化的数学模型为：

其中，g(x,y)表示模糊图像；f(x,y)表示原图像，h(x,y)表示退化函数；n(x,y)表示噪声；x和y分别为质点在x轴和y轴的时变分量；C＝f(x,y)表示原图像，t(p)表示大气透射函数，p表示原图像中的像素点，A表示图像全局背景光，Z(p)表示系统噪声。

3.根据权利要求1所述的一种基于深度强化学习的视觉去雨雾方法，其特征在于，构建的软掩码雨雾物理模型为：

其中，I(p)为带雨雾的模糊图像；U表示软掩码，范围在[-1,1]之间，U＞0表示雨雾对背景图像有提高亮度效果，U＜0表示雨雾对背景图像有削弱亮度效果；Z代表雨雾浓度，Z＝0表示雨雾浓度足够大，可使机器人视觉表面凝结成雨雾状态，Z≠0且Z∈[-1,1]表示雨雾浓度有限，无法使机器人视觉表面凝结成雨雾状态；B(p)表示背景图像；R(p)表示雨雾的效果，代表了背景信息和环境反射光的复杂混合物。

4.根据权利要求1所述的一种基于深度强化学习的视觉去雨雾方法，其特征在于，步骤3包括以下步骤：

步骤3.1：选取最小二乘生成对抗网络中的生成网络和判别网络作为去雨雾模型的生成网络和判别网络的基础骨架；

步骤3.2：搭建如下的框架1至框架4：

框架1学习从雨雾图像到干净背景图像的映射，采用雨雾图像分解为干净背景图像和雨雾的思想，生成网络G_D学习从雨雾图像到干净背景图像和雨雾特征的分解，分解函数公式如下：

C_x,R_x＝G_D(x) (8)

首先，将附着雨雾图像和干净图像通过二分类神经网络分类输入到生成网络G_D中训练，雨雾图片x训练获得生成的干净背景图像C_x和雨雾特征代码R_x；然后采用图像合成的思想，合成函数公式如下：

x＝G_C(C_x,R_x) (9)

生成的干净背景图像C_x和雨雾特征代码R_x输入到生成网络G_C中进行重建合成雨雾图像生成的干净背景图像C_x还输入到判别网络D_x中判断是否来自真实干净图像域；

框架2学习真实干净图片y从雨雾图像到干净背景图像C_y和雨雾特征代码R_y的分解，分解函数公式如下：

C_y,R_y＝G_D(y) (10)

生成的干净背景图像C_y和雨雾特征代码R_y输入到生成网络G_C中进行重建合成雨雾图像合成函数公式如下：

y＝G_C(C_y,R_y) (11)

框架3学习从干净背景图像到雨雾图像的合成过程以及雨雾映射分解过程，将框架2中真实干净图片y分解生成的干净背景图像C_y与框架1获得的雨雾特征代码R_x输入到生成网络G_C中进行重建合成雨雾图像采用雨雾图像分解为干净背景图像和雨雾的思想，将合成雨雾图像/>输入到生成网络G_D中分解生成干净背景图像/>和雨雾特征代码/>生成的雨雾图像/>还输入到判别网络D_y中判断是否来自真实雨雾图像域；

框架4将框架1生成的干净背景图像c_x与框架2生成的雨雾特征代码R_y输入到生成网络G_C中合成雨雾图像将合成雨雾图像x～输入到生成网络G_D中分解生成干净背景图像/>和雨雾特征代码/>

5.根据权利要求1所述的一种基于深度强化学习的视觉去雨雾方法，其特征在于，生成网络G_D由三个卷积层+ReLu激活层、两个Residual块和三个反卷积层+ReLu激活层组合而成，生成网络G_C由三个卷积层+ReLu激活层、两个Residual块和三个反卷积层+ReLu激活层组成。

6.根据权利要求1所述的一种基于深度强化学习的视觉去雨雾方法，其特征在于，判别网络D_C由网络D_C1、网络D_C2组成，网络D_C1、网络D_C2结构完全一致，用于区分生成的干净背景图像C_x与真实干净图片y，网络D_C1对输入的生成图像进行2倍下采样，网络D_C2输入原始大小的生成图像，网络D_C1、网络D_C2均由7个卷积层组成，通过全连接层进行卷积，最后使用sigmoid函数进行激活；

判别网络D_R由网络D_R1、网络D_R2组成，网络D_R1、网络D_R2结构完全一致，用于区分生成的雨雾图像与真实雨雾图片x，网络D_R1对输入的生成图像进行2倍下采样，网络D_R2输入原始大小的生成图像，网络D_R1、网络D_R2均由7个卷积层组成，通过全连接层进行卷积，最后使用sigmoid函数进行激活。/>