CN117196985A - 一种基于深度强化学习的视觉去雨雾方法 - Google Patents
一种基于深度强化学习的视觉去雨雾方法 Download PDFInfo
- Publication number
- CN117196985A CN117196985A CN202311169948.5A CN202311169948A CN117196985A CN 117196985 A CN117196985 A CN 117196985A CN 202311169948 A CN202311169948 A CN 202311169948A CN 117196985 A CN117196985 A CN 117196985A
- Authority
- CN
- China
- Prior art keywords
- rain
- fog
- image
- network
- clean
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000000007 visual effect Effects 0.000 title claims abstract description 21
- 230000002787 reinforcement Effects 0.000 title claims abstract description 19
- 230000006870 function Effects 0.000 claims abstract description 68
- 230000015556 catabolic process Effects 0.000 claims abstract description 15
- 238000006731 degradation reaction Methods 0.000 claims abstract description 15
- 230000000694 effects Effects 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 238000013178 mathematical model Methods 0.000 claims abstract description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 14
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 238000003786 synthesis reaction Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 239000002245 particle Substances 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000003313 weakening effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 12
- 239000007787 solid Substances 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 9
- 239000003595 mist Substances 0.000 description 6
- 230000001681 protective effect Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度强化学习的视觉去雨雾方法,属于机器视觉技术领域,解决了现有去雨雾的智能模糊算法存在的效果不佳、普适性和实时性较差、有模糊残留现象的问题,该方法具体包括以下步骤:建立统一模糊图像退化的数学模型,并根据待处理图像的模糊类型确定对应的模糊处理后退化后的图像;构建软掩码雨雾物理模型;构建基于深度强化学习框架的去雨雾模型;设计去雨雾模型的总损失函数;使用未配对图片对去雨雾模型进行训练,得到训练好的模型;将测试数据集输入到训练好的模型中,获得去除雨雾后的干净图像。本发明能够实现单幅图像去雨雾处理,还原所摄图像或视频清晰度,为后续图像处理奠定坚实的技术基础。
Description
技术领域
本发明涉及机器视觉技术领域,具体涉及一种基于深度强化学习的视觉去雨雾方法。
背景技术
在信息时代,随着物联网技术、人工智能科技的发展,关于自主可控智能设备、无人值守平台、无人驾驶辅助技术、移动机器人相关装置的发明和创新成果极大提高了人们的生活水平,加快了社会的智能化进程。其中,机器人视觉因涵盖计算机视觉技术、图像采集与还原技术、无人驾驶技术等领域,已成为全世界研究的热点和难点之一。特别是各类机器人在移动、运动过程中的视觉和图像处理过程更是后续实时摄录、无人驾驶、远程航拍等领域的基础和关键。
基于移动机器人应用场合、作业场景及室内外运动环境的特点,经机器人视觉系统摄录的实时图片或视频画面极易出现雾状模糊、清晰度差等现象,其拍摄效果难以满足实际工程需求。例如,场景一:阴雨天,户外作业的机器人在运动过程中,因受天气影响,其视觉系统(摄像头及保护罩)表面笼罩层薄雾或雨雾,导致摄录的图像或视频模糊,不清晰,效果极差;场景二:因受昼夜、地域、地区、季节等特殊因素影响,机器人长时间作业过程中,会因温差较大导致其视觉系统(摄像头及保护罩)表面逐渐覆盖层薄雾或雨雾,进而导致摄录的图像或视频模糊,不清晰,效果极差;场景三:在室内或狭小空间,因机器人作业过程中意外情况,导致其视觉系统(摄像头及保护罩)表面突然笼罩层薄雾或雨雾,使原来清晰的图像或视频突然变得雾状现象。在上述且不局限于上述场景下,针对移动机器人视觉系统,如不及时处理此类(如薄雾或雨雾)现象,还原清晰的现场图像或视频效果,会对工程现场、社会市场、百姓生命安全等造成不良影响,甚至是难以挽回的损失。同时,在工程实践过程中,带有雨雾状图像或视频的不当处理,也会对后续目标识别、信息检测、目标定位、目标跟踪等图像处理技术造成重大影响。
针对机器人视觉系统表层去除雨雾的需求,可采用定期维护方式和智能控制算法实现。采用玻璃加热器或雨刷等物理设备定期、自动清洁的方法不但费时费力,更难以满足重点工程的实时性、现实性需求。因此,智能控制算法成为解决此类问题的首选,也是该领域研究的热点和难点。依据计算机视觉处理流程,对带雨雾的图像即视频信息处理,可基于多幅图像去雨雾处理技术实现。进一步,又可分解为单幅图像去雨雾技术。其难点主要有两大方面:首先,是分清图像模糊的根源,即是视觉失焦、镜头晃动、车体运动、烟雾层或雨雾层导致。不同根源,采用的去模糊模型和框架各不同。其次,明确模糊类型为雨雾层,其难点是在机器人作业场景中,会遇到类似雨雾等不利因素,导致拍摄的图像信息丢失。现阶段,此类去雨雾的智能模糊算法有:基于卷积神经网络的去雨雾框架、生成对抗网络单尺度去雨雾框架等。基于卷积神经网络的去雨雾框架结构复杂,需架构多尺度、深层次逐层实现,才能达到理想效果,普适性和实时性较差;基于生成对抗网络的单尺度去雨雾框架,因其尺度单一,无法挖掘雨雾的多属性信息,针对雨雾浓度不同区域会有模糊残留现象,效果不理想。因此,提供一种适当增加框架尺度的同时提升系统决策能力的方法可以解决此类工程问题,填补相关技术领域的空白。
发明内容
本发明提供一种基于深度强化学习的视觉去雨雾方法,该方法解决了现有去雨雾的智能模糊算法存在的效果不佳、普适性和实时性较差以及针对雨雾浓度不同区域会有模糊残留现象的问题,通过本发明能够让移动机器人视觉系统在多种场景下,即使移动机器人出现因温度、天气、季节、昼夜、地域、区域、常态或突然等因素,导致其视觉系统(摄像头及保护罩)表面逐渐覆盖薄雾或雨雾层现象时,仍然能够实现单幅图像去雨雾处理,还原所摄图像或视频清晰度,为后续目标识别、信息检测、目标定位、目标跟踪等图像处理奠定坚实的技术基础。
为实现上述目的,本发明采取的技术方案如下:
一种基于深度强化学习的视觉去雨雾方法,包括以下步骤:
步骤1:建立统一模糊图像退化的数学模型,并根据待处理图像的模糊类型确定对应的模糊处理后退化后的图像;
步骤2:根据步骤1得到的带雨雾的退化模糊图像,构建软掩码雨雾物理模型;
步骤3:构建基于深度强化学习框架的去雨雾模型,所述去雨雾模型包括8个生成网络和2个判别网络,其整体结构分为两个部分:第一部分为分解组合网络,用于将真实雨雾图像分解成干净背景图和潜在雨雾特征代码以及将干净背景图和潜在雨雾特征组合生成模糊雨雾图片;第二部分为合成分解网络,用于生成具有多种雨雾特征的未配对雨雾图以及分解合成的雨雾图为雨雾特征代码与背景图;两个判别网络分别用于对生成的干净图片与真实的干净图片、生成的雨雾图片与真实的雨雾图片进行判断,直至生成网络生成的图片骗过判别网络,达到训练稳定;
步骤4:设计所述去雨雾模型的总损失函数,所述总损失函数为重构损失函数、判别网络DC损失函数、生成网络GD生成损失函数、判别网络DR损失函数、生成网络GC生成损失函数、identify损失函数之和;
步骤5:使用未配对图片对所述去雨雾模型进行训练,得到训练好的模型;
步骤6:将测试数据集输入到训练好的模型中,获得去除雨雾后的干净图像。
与现有技术相比,本发明具有的有益效果是:(1)与循环生成对抗网络修改整个图像的通用风格转移方法不同,雨雾去除仅从输入图像中去除雨雾并保持其干净部分不变,能充分增强重点目标信息的同时仅抑制非重点目标信息,并未对原图像做本质修改;(2)通过将雨雾图像分解为常见的场景和不同的浓度的雨雾样式,无限雨雾样式和一张干净图像组成不同的逼真雨雾图像,实现多种样式的雨雾图像转换成为干净图像,仅使用未配对的真实数据可以有效地去除真实世界附着的雨雾;(3)雨雾风格和干净场景的组合是一个非常复杂的功能,生成网络GD、GC设计为自动编码器结构,直接学习从雨雾图像到干净场景和雨雾特征潜在代码的分解函数与从干净场景和雨雾特征到雨雾图像的合成函数,从而训练GD学习从雨雾图像到干净图像的映射功能,同时保持背景不变,训练GC学习从干净图像到雨雾图像的映射功能;(4)相较于雨雾建模为二元掩码模型仅反映位置特征的不足,本发明方法既考虑了模糊强度和空间信息,又增强了系统决策能力。
附图说明
图1是本发明实施例所述的一种基于深度强化学习的视觉去雨雾方法的流程图;
图2是本发明实施例中DRainGAN-model的框架图;
图3是本发明实施例中生成网络GD的网络结构图;
图4是本发明实施例中生成网络GC的网络结构图;
图5是本发明实施例中判别网络DC的网络结构图;
图6是本发明实施例中判别网络DR的网络结构图。
具体实施方式
下面结合附图和较佳实施例对本发明的技术方案进行详细说明。
如图1所示,本实施例提供一种基于深度强化学习的视觉去雨雾方法,该方法包括以下步骤:
步骤1:建立统一模糊图像退化的数学模型,并根据待处理图像的模糊类型确定对应的模糊处理后退化后的图像。
模糊图像类型分运动模糊和雨雾模糊两种,其中运动模糊是由移动机器人摄像头或机器人本体聚焦不稳导致的。因此,可假设图像形变的时变分量沿x轴和y轴两个方向。
设机器人及其视觉系统为质点,采集图像的过程可认为是质点的运动过程。因此,建立统一模糊图像退化的数学模型为:
其中,g(x,y)表示模糊图像;f(x,y)表示原图像,h(x,y)表示退化函数;n(x,y)表示噪声;x和y分别为质点在x轴和y轴的时变分量;C=f(x,y)表示原图像,t(p)表示大气透射函数,p表示原图像中的像素点,A表示图像全局背景光,Z(p)表示系统噪声。
根据公式(1),当模糊图像类型为雨雾模糊时,建立的模糊退化模型写作:
g(p)=I(p)=C*t(p)+A(1-t(p))+Z(p) (2)
其中,I(p)为带雨雾的退化模糊图像。C=f(x,y)为原干净清晰的图像。A为图像全局背景光。t(p)=h(p)=e-βd(p)为大气透射率,为机器人摄像头到目标大致距离,m为机器人摄像头到目标的x轴的距离,n为机器人摄像头到目标的y轴的距离,β为所摄空间的散射系数,Z(p)=n(p)在公式(1)中为系统噪声,这里可定义为雨雾浓度函数。
当模糊图像类型为运动模糊时,建立的模糊退化模型写作:
g(x,y)=f(x,y)*h(x,y)+n(x,y) (3)
公式(3)中变量定义与公式(1)相同,此处不再赘述。
公式(3)所示的模糊退化模型在频域上的表示为:
G(u,v)=F(u,v)·H(u,v)+N(u,v) (4)
其中,u和v分别为x轴和y轴的频域表示,G(u,v)为退化后的图像的频域表示,H(u,v)为退化模型的频域表示,F(u,v)为原图像的频域表示,N(u,v)为噪声的频域表示。
建立大气湍流退化模型为:
其中,k为湍流系数,图像模糊程度越大,系数越大。一般取经验数字:k=25×10-4为剧烈湍流,k=10×10-4为中等湍流,k=2.5×10-4为低湍流。
因此,得到视觉系统运动模糊退化模型为:
其中,x轴和y轴的时变运动分量分别为x0(t)=at/T和y0(t)=bt/T。介质上任意点的总曝光量是瞬时曝光量的积分。
步骤2:依据步骤1得到的模糊处理后退化后的图像中雨雾覆盖位置、区域、对背景像素值的增大或减小等信息,构建一种考虑雨雾多样性、区域大小、浓度以及其对背景模糊程度的软掩码雨雾物理模型,通过对软掩码雨雾进行建模,提供对雨雾现象的物理意义的解释,基于软掩码雨雾物理模型,提出基于构建的物理模型的去雨雾算法。
建立附着雨雾的建模即软掩码雨雾物理模型如下:
其中,I(p)为带雨雾的模糊图像。U表示软掩码,范围在[-1,1]之间,U>0表示雨雾对背景图像有提高亮度效果,U<0表示雨雾对背景图像有削弱亮度效果。可见,|U|的值越大,表示对背景图像像素影响越大。Z代表雨雾浓度,Z=0表示雨雾浓度足够大,可使机器人视觉表面凝结成雨雾状态;Z≠0且Z∈[-1,1]表示雨雾浓度有限,无法使机器人视觉表面凝结成雨雾状态。B(p)表示背景图像,R(p)表示雨雾的效果,代表了背景信息和环境反射光的复杂混合物。最终全部带雨雾的模糊图像以及干净图像组成用于网络训练的输入数据集。
步骤3:构建基于深度强化学习框架的去雨雾模型(DRainGAN-model)。本步骤构建的去雨雾模型包括8个生成网络和2个判别网络,其整体结构分为两个部分:第一部分为分解组合网络,用于将真实雨雾图像分解成干净背景图和潜在雨雾特征代码以及将干净背景图和潜在雨雾特征组合生成模糊雨雾图片;第二部分为合成分解网络,用于生成具有多种雨雾特征的未配对雨雾图以及分解合成的雨雾图为雨雾特征代码与背景图;两个判别网络分别用于对生成的干净图片与真实的干净图片、生成的雨雾图片与真实的雨雾图片进行判断,直至生成网络生成的图片骗过判别网络,达到训练稳定,此时输出的图片质量最高。
构建去雨雾模型的具体步骤为:
步骤3.1:选取最小二乘生成对抗网络中的生成网络和判别网络作为DRainGAN-model的生成网络和判别网络的基础骨架;
步骤3.2:设计DRainGAN-model的体系结构,搭建如下的框架1至框架4:
框架1学习从雨雾图像到干净背景图像的映射,采用雨雾图像分解为干净背景图像和雨雾的思想,生成网络GD学习从雨雾图像到干净背景图像和雨雾特征的分解,分解函数公式如下:
Cx,Rx=GD(x) (8)
首先,将附着雨雾图像和干净图像通过二分类神经网络分类输入到生成网络GD中训练,雨雾图片x训练获得生成的干净背景图像Cx和雨雾特征代码Rx;然后采用图像合成的思想,合成函数公式如下:
x=GC(Cx,Rx) (9)
从干净场景和雨雾样式到雨雾图像的合成:生成的干净背景图像Cx和雨雾特征代码Rx输入到生成网络GC中进行重建合成雨雾图像生成的干净背景图像Cx输入到判别网络Dx中判断干净背景图像Cx是否来自真实干净图像域,即判断是否是真实的干净背景图像。
框架2学习真实干净图片y从雨雾图像到干净背景图像Cy和雨雾特征代码Ry的分解,分解函数公式如下:
Cy,Ry=GD(y) (10)
生成的干净背景图像Cy和雨雾特征代码Ry输入到生成网络GC中进行重建合成雨雾图像(由于干净图像无雨雾样式,基于域不变特征,强制输出图片与输入图片相同)合成函数公式如下:
y=GC(Cy,Ry) (11)
框架3学习从干净背景图像到雨雾图像的合成过程以及雨雾映射分解过程,将框架2中真实干净图片y分解生成的干净背景图像Cy与框架1获得的雨雾特征代码Rx输入到生成网络GC中进行重建合成雨雾图像采用雨雾图像分解为干净背景图像和雨雾的思想,将合成雨雾图像/>输入到生成网络GD中分解生成干净背景图像/>和雨雾特征代码/>生成的雨雾图像/>还输入到判别网络Dy中判断是否来自真实雨雾图像域,即判断是否是真实的雨雾图像,。
框架4将框架1生成的干净背景图像cx与框架2生成的雨雾特征代码Ry输入到生成网络GC中合成雨雾图像将合成雨雾图像x~输入到生成网络GD中分解生成干净背景图像和雨雾特征代码/>
本实施例中的生成网络GC和GD采用自编码器实现。使用残差模块将干净背景图像与雨雾潜在代码分开,干净图像定义为表示残差图像。如图3所示,分解生成网络GD由三个卷积层+Relu激活层、两个Residual块和三个反卷积层+Relu激活层组合而成。分解附着雨雾图像生成残差图像/>然后将残差图像添加到原图像x中,进行激活函数激活获取干净图像。如图4所示,组合生成网络GC由三个卷积层+Relu激活层、两个Residual块和三个反卷积层+Relu激活层组成,将干净图像Cx和雨雾特征代码Rx组合生成残差图像/>然后将残差图像添加到干净图像Cx中,利用激活函数进行激活产生附着雨雾图像/>
将干净图像y通过分解生成网络GD,生成干净图像Cy和不清晰图像Ry,然后通过组合生成网络GC生成干净图像
本实施例中的判别网络DC、DR结构如下:
多尺度判别网络DC(即图2中的判别网络Dx)、DR(即图2中的判别网络Dy)为2个并行的判别网络,判别网络DC由网络DC1、网络DC2组成,如图5所示,DC1、DC2结构完全一致,DC1、DC2用于区分生成的干净背景图像Cx与真实干净图片y,DC1对输入的生成图像进行2倍下采样,DC2输入原始大小的生成图像。DC1、DC2均由7个卷积层组成,通过全连接层进行卷积,最后使用sigmoid函数进行激活。
判别网络DR由网络DR1、网络DR2组成,如图6所示,DR1、DR2用于区分生成的雨雾图像和真实雨雾图片x,DR1对输入的生成图像进行2倍下采样,DR2输入原始大小的生成图像。DR1、DR2由7层卷积层组成,通过全连接层进行卷积,最后使用sigmoid函数激活。
步骤4:设计DRainGAN-model的总损失函数,具体设计过程如下:
步骤4.1:根据带雨雾层图像的模糊性特点,需要采用图像增强技术对原图像进行预处理,有目的地强调图像的整体或局部特点,扩大图像中不同物体或背景之间的差别,抑制非必要目标特征,增强必要目标信息,提高图像的视觉效果。
步骤4.2:对原图像进行图像增强处理,计算增强后的图像和原图像间的欧氏距离,并建立两图像的二维高斯模糊算子。具体为:对原图像和增强后的图像进行高斯模糊处理,再计算他们的欧氏距离,用于提取两图像间的属性差异,即亮度、对比度和目标信息的色彩差距。
其中,Lcolor为颜色损失函数;I和J分别为雨雾层变量和干净变量;I(x)和分别J(x)分别为含雨雾层图像和干净清晰图像。
有:
其中,i,j,k,l表示为图像二维空间的像素变量;G(xk,xl)为二维高斯模糊算子;I(xi,xj)为含雨雾图像二维空间中第i行第j列像素;I(xi+k,xj+l)为含雨雾图像二维空间中第i+k行第j+l列像素。
令:
其中,μI、σI、μJ、σJ分别为二维高斯模糊算子的雨雾层图像和原图像的参数变量;A为图像全局背景光。
步骤4.3:引入真实雨雾图像与重建雨雾图像重建损失函数,要完成风格迁移,既要拟合干净图片的风格分布,又要保持雨雾区域对应的内容特征,防止造成雨雾区域的背景生成新的未出现的背景。
步骤4.4:引入真实雨雾图像分解的雨雾特征代码与生成雨雾图像分解的雨雾特征代码的重构损失函数。
步骤4.5:引入真实干净图像分解的雨雾特征代码与生成雨雾图像分解的雨雾特征代码的重构损失函数。
重构损失函数(Lrecon):包含真实附着雨滴水雾图片x与组合生成网络GC生成雨雾图片真实干净图片y与组合生成网络GC生成干净图片/>分解生成网络GD生成干净图片/>与分解生成网络生成干净图片Cy、分解生成网络GD生成的干净图片/>与分解生成网络GD生成的干净图片Cx。
其中,和/>用于分解出背景和附着雨雾并被保留下来。输入的干净图像y经过分解的cy应该与y图片形同,为避免生成网络GD可能会自主地修改图像的色调,使得整体的颜色产生变化,加入identify损失函数Lidt(y,Cy)=||y-Cy||1。
步骤4.6:引入identify损失,用于评价增强后的图像与原图像中目标信息的色彩差异。在给定阈值范围内,保证真实图片不会发生颜色偏移,生成的干净背景图像cx与雨雾图像
identify损失函数:包含分解生成网络GD生成输出的图片Cy与输入图像y的损失函数、分解生成网络GD输出的图片cx与组合生成网络GC输出的图像的损失函数,即
步骤4.7:引入判别网络DC损失函数。
定义判别损失函数:
其中,pdata(y)是真实图片y的分布,表示真实输入图片y服从y的分布的期望,DC1(y)表示判别网络输入图片y,DC2(y)表示判别网络输入图片y,/>是真实图片Cx的分布,/>表示生成的图片Cx服从Cx的分布的期望,DC1(Cx)表示判别网络输入图片Cx,DC2(Cx)表示判别网络输入图片Cx。
定义生成网络GD生成损失函数:
其中,是通过分解生成网络GD生成的干净图像的分布,DC1(Cx)表示判别网络输入图片Cx,DC1(Cx)表示判别网络输入图片Cx,/>表示生成的图片Cx服从Cx的分布的期望。通过最小化DC的损失函数,可以让生成的干净图片看起来与真实干净图片无差异。
步骤4.8:引入判别网络DR损失函数。
定义判别网络DR损失函数:
其中,表示真实输入图片x服从x的分布的期望,DR1(x)表示判别网络输入图片x,DR2(x)表示判别网络输入图片x,/>表示判别网络输入图片/>表示判别网络输入图片/>表示生成的图片/>服从/>的分布的期望。
定义生成网络GC生成损失函数:
表示生成的图片/>服从/>的分布的期望,/>表示判别网络输入图片表示判别网络输入图片/>
步骤4.9:定义并计算总损失函数
综合考虑上述所有损失函数,包括重构损失函数(Lrecon)、判别网络DC损失函数LGAN(DC)、生成损失函数LGAN(GD)、判别网络DR损失函数LGAN(DR)、生成损失函数LGAN(GC)、identify损失函数(Lidt),并将上述函数融合,构成了总的损失函数,用来模拟真实拍摄的雨雾图片,即:
L(DC,GD,DR,GC)=Lrecon+LGAN(DC)+LGAN(GD)+LGAN(DR)+LGAN(GC)+λLidt (20)
其中,λ表示颜色损失函数在总的损失函数中的权重,通过最小化DR的损失函数,可以让生成的雨雾图片看起来与真实雨雾图片无差异。这样就能将雨雾的风格转移到另一个干净的图像上。
步骤5:使用未配对图片对DRainGAN-model进行训练,得到训练好的模型。
步骤6:将测试数据集输入训练好的模型中,获得去除雨雾后的干净图像,完成摄像头附着雨雾的图像处理任务。测试集的图片为真实世界图片,针对不同场合、不同实践、不同季节、不同温度条件下拍摄的含雨雾残留图片情况,在测试时可以着重输入这种类型图片进行测试。
本发明公开了一种基于深度强化学习的移动机器人视觉系统去雨雾方法,首先,根据雨雾的特点,薄雾导致图像的对比度降低,但仍能保留一定的细节和轮廓;浓厚雾则会显著降低对比度,使图像中的物体和细节几乎无法辨别,即图像的模糊属性是由覆盖薄雾或雨雾层带来的。其次,基于图像分解技术,将雨雾图像依据其背景信息和雨雾覆盖效果分类(可分为如下类型:雨雾全覆盖、雨雾部分覆盖、薄雾覆盖、浓雾覆盖),将雨雾去除定义为一个多对一的图像到图像的转换问题,即将一张干净清晰的图像,根据雨雾类型融合成多种雨雾风格并生成多张模糊图像,利用未配对图像从各类雨雾图像中恢复出干净清晰的图像。最后,将原干净背景图像与雨雾风格的不同排列组合,合成逼真的雨雾图像,进行雨雾模糊去除,输出的干净图片,为后续目标识别、信息检测、目标定位、目标跟踪等图像处理奠定坚实的技术基础。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (6)
1.一种基于深度强化学习的视觉去雨雾方法,其特征在于,包括以下步骤:
步骤1:建立统一模糊图像退化的数学模型,并根据待处理图像的模糊类型确定对应的模糊处理后退化后的图像;
步骤2:根据步骤1得到的带雨雾的退化模糊图像,构建软掩码雨雾物理模型;
步骤3:构建基于深度强化学习框架的去雨雾模型,所述去雨雾模型包括8个生成网络和2个判别网络,其整体结构分为两个部分:第一部分为分解组合网络,用于将真实雨雾图像分解成干净背景图和潜在雨雾特征代码以及将干净背景图和潜在雨雾特征组合生成模糊雨雾图片;第二部分为合成分解网络,用于生成具有多种雨雾特征的未配对雨雾图以及分解合成的雨雾图为雨雾特征代码与背景图;两个判别网络分别用于对生成的干净图片与真实的干净图片、生成的雨雾图片与真实的雨雾图片进行判断,直至生成网络生成的图片骗过判别网络,达到训练稳定;
步骤4:设计所述去雨雾模型的总损失函数,所述总损失函数为重构损失函数、判别网络DC损失函数、生成网络GD生成损失函数、判别网络DR损失函数、生成网络GC生成损失函数、identify损失函数之和;
步骤5:使用未配对图片对所述去雨雾模型进行训练,得到训练好的模型;
步骤6:将测试数据集输入到训练好的模型中,获得去除雨雾后的干净图像。
2.根据权利要求1所述的一种基于深度强化学习的视觉去雨雾方法,其特征在于,建立的统一模糊图像退化的数学模型为:
其中,g(x,y)表示模糊图像;f(x,y)表示原图像,h(x,y)表示退化函数;n(x,y)表示噪声;x和y分别为质点在x轴和y轴的时变分量;C=f(x,y)表示原图像,t(p)表示大气透射函数,p表示原图像中的像素点,A表示图像全局背景光,Z(p)表示系统噪声。
3.根据权利要求1所述的一种基于深度强化学习的视觉去雨雾方法,其特征在于,构建的软掩码雨雾物理模型为:
其中,I(p)为带雨雾的模糊图像;U表示软掩码,范围在[-1,1]之间,U>0表示雨雾对背景图像有提高亮度效果,U<0表示雨雾对背景图像有削弱亮度效果;Z代表雨雾浓度,Z=0表示雨雾浓度足够大,可使机器人视觉表面凝结成雨雾状态,Z≠0且Z∈[-1,1]表示雨雾浓度有限,无法使机器人视觉表面凝结成雨雾状态;B(p)表示背景图像;R(p)表示雨雾的效果,代表了背景信息和环境反射光的复杂混合物。
4.根据权利要求1所述的一种基于深度强化学习的视觉去雨雾方法,其特征在于,步骤3包括以下步骤:
步骤3.1:选取最小二乘生成对抗网络中的生成网络和判别网络作为去雨雾模型的生成网络和判别网络的基础骨架;
步骤3.2:搭建如下的框架1至框架4:
框架1学习从雨雾图像到干净背景图像的映射,采用雨雾图像分解为干净背景图像和雨雾的思想,生成网络GD学习从雨雾图像到干净背景图像和雨雾特征的分解,分解函数公式如下:
Cx,Rx=GD(x) (8)
首先,将附着雨雾图像和干净图像通过二分类神经网络分类输入到生成网络GD中训练,雨雾图片x训练获得生成的干净背景图像Cx和雨雾特征代码Rx;然后采用图像合成的思想,合成函数公式如下:
x=GC(Cx,Rx) (9)
生成的干净背景图像Cx和雨雾特征代码Rx输入到生成网络GC中进行重建合成雨雾图像生成的干净背景图像Cx还输入到判别网络Dx中判断是否来自真实干净图像域;
框架2学习真实干净图片y从雨雾图像到干净背景图像Cy和雨雾特征代码Ry的分解,分解函数公式如下:
Cy,Ry=GD(y) (10)
生成的干净背景图像Cy和雨雾特征代码Ry输入到生成网络GC中进行重建合成雨雾图像合成函数公式如下:
y=GC(Cy,Ry) (11)
框架3学习从干净背景图像到雨雾图像的合成过程以及雨雾映射分解过程,将框架2中真实干净图片y分解生成的干净背景图像Cy与框架1获得的雨雾特征代码Rx输入到生成网络GC中进行重建合成雨雾图像采用雨雾图像分解为干净背景图像和雨雾的思想,将合成雨雾图像/>输入到生成网络GD中分解生成干净背景图像/>和雨雾特征代码/>生成的雨雾图像/>还输入到判别网络Dy中判断是否来自真实雨雾图像域;
框架4将框架1生成的干净背景图像cx与框架2生成的雨雾特征代码Ry输入到生成网络GC中合成雨雾图像将合成雨雾图像x~输入到生成网络GD中分解生成干净背景图像/>和雨雾特征代码/>
5.根据权利要求1所述的一种基于深度强化学习的视觉去雨雾方法,其特征在于,生成网络GD由三个卷积层+ReLu激活层、两个Residual块和三个反卷积层+ReLu激活层组合而成,生成网络GC由三个卷积层+ReLu激活层、两个Residual块和三个反卷积层+ReLu激活层组成。
6.根据权利要求1所述的一种基于深度强化学习的视觉去雨雾方法,其特征在于,判别网络DC由网络DC1、网络DC2组成,网络DC1、网络DC2结构完全一致,用于区分生成的干净背景图像Cx与真实干净图片y,网络DC1对输入的生成图像进行2倍下采样,网络DC2输入原始大小的生成图像,网络DC1、网络DC2均由7个卷积层组成,通过全连接层进行卷积,最后使用sigmoid函数进行激活;
判别网络DR由网络DR1、网络DR2组成,网络DR1、网络DR2结构完全一致,用于区分生成的雨雾图像与真实雨雾图片x,网络DR1对输入的生成图像进行2倍下采样,网络DR2输入原始大小的生成图像,网络DR1、网络DR2均由7个卷积层组成,通过全连接层进行卷积,最后使用sigmoid函数进行激活。/>
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311169948.5A CN117196985A (zh) | 2023-09-12 | 2023-09-12 | 一种基于深度强化学习的视觉去雨雾方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311169948.5A CN117196985A (zh) | 2023-09-12 | 2023-09-12 | 一种基于深度强化学习的视觉去雨雾方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117196985A true CN117196985A (zh) | 2023-12-08 |
Family
ID=88999368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311169948.5A Pending CN117196985A (zh) | 2023-09-12 | 2023-09-12 | 一种基于深度强化学习的视觉去雨雾方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117196985A (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104168402A (zh) * | 2013-05-17 | 2014-11-26 | 浙江大华技术股份有限公司 | 一种视频帧图像去雾方法及装置 |
CN108986044A (zh) * | 2018-06-28 | 2018-12-11 | 广东工业大学 | 一种图像去雨雾方法、装置、设备及存储介质 |
CN109447918A (zh) * | 2018-11-02 | 2019-03-08 | 北京交通大学 | 基于注意力机制的单幅图像去雨方法 |
CN110223259A (zh) * | 2019-06-14 | 2019-09-10 | 华北电力大学(保定) | 一种基于生成式对抗网络的道路交通模糊图像增强方法 |
CN110322419A (zh) * | 2019-07-11 | 2019-10-11 | 广东工业大学 | 一种遥感图像去雾方法及系统 |
CN111210394A (zh) * | 2020-01-03 | 2020-05-29 | 北京智云视图科技有限公司 | 一种基于深度分解合成网络的图像增强技术 |
US20200285959A1 (en) * | 2018-09-30 | 2020-09-10 | Boe Technology Group Co., Ltd. | Training method for generative adversarial network, image processing method, device and storage medium |
US20200372618A1 (en) * | 2018-05-09 | 2020-11-26 | Tencent Technology (Shenzhen) Company Limited | Video deblurring method and apparatus, storage medium, and electronic apparatus |
CN112348762A (zh) * | 2020-11-30 | 2021-02-09 | 上海海事大学 | 一种基于多尺度融合生成对抗网络的单幅图像去雨方法 |
CN112435187A (zh) * | 2020-11-23 | 2021-03-02 | 浙江工业大学 | 一种基于聚集残差生成对抗网络的单图像盲去运动模糊方法 |
CN112734649A (zh) * | 2021-01-06 | 2021-04-30 | 暨南大学 | 一种基于轻量级神经网络的图像退化方法及退化系统 |
-
2023
- 2023-09-12 CN CN202311169948.5A patent/CN117196985A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104168402A (zh) * | 2013-05-17 | 2014-11-26 | 浙江大华技术股份有限公司 | 一种视频帧图像去雾方法及装置 |
US20200372618A1 (en) * | 2018-05-09 | 2020-11-26 | Tencent Technology (Shenzhen) Company Limited | Video deblurring method and apparatus, storage medium, and electronic apparatus |
CN108986044A (zh) * | 2018-06-28 | 2018-12-11 | 广东工业大学 | 一种图像去雨雾方法、装置、设备及存储介质 |
US20200285959A1 (en) * | 2018-09-30 | 2020-09-10 | Boe Technology Group Co., Ltd. | Training method for generative adversarial network, image processing method, device and storage medium |
CN109447918A (zh) * | 2018-11-02 | 2019-03-08 | 北京交通大学 | 基于注意力机制的单幅图像去雨方法 |
CN110223259A (zh) * | 2019-06-14 | 2019-09-10 | 华北电力大学(保定) | 一种基于生成式对抗网络的道路交通模糊图像增强方法 |
CN110322419A (zh) * | 2019-07-11 | 2019-10-11 | 广东工业大学 | 一种遥感图像去雾方法及系统 |
CN111210394A (zh) * | 2020-01-03 | 2020-05-29 | 北京智云视图科技有限公司 | 一种基于深度分解合成网络的图像增强技术 |
CN112435187A (zh) * | 2020-11-23 | 2021-03-02 | 浙江工业大学 | 一种基于聚集残差生成对抗网络的单图像盲去运动模糊方法 |
CN112348762A (zh) * | 2020-11-30 | 2021-02-09 | 上海海事大学 | 一种基于多尺度融合生成对抗网络的单幅图像去雨方法 |
CN112734649A (zh) * | 2021-01-06 | 2021-04-30 | 暨南大学 | 一种基于轻量级神经网络的图像退化方法及退化系统 |
Non-Patent Citations (6)
Title |
---|
JIA ZIHUI ET AL.: "Residual Adaptive Mask Generative Adversarial Network for Image Raindrop Removal", 2020 IEEE INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND COMPUTER APPLICATIONS (ICAICA), 1 September 2020 (2020-09-01), pages 517 - 521 * |
SHAO MINGWEN ET AL.: "Uncertainty Guided Multi-Scale Attention Network for Raindrop Removal From a Single Image", IEEE TRANSACTIONS ON IMAGE PROCESSING, 4 May 2021 (2021-05-04), pages 4828 - 4839, XP011853581, DOI: 10.1109/TIP.2021.3076283 * |
XU YAN ET AL.: "RainGAN: Unsupervised Raindrop Removal via Decomposition and Composition", 《2022 IEEE/CVF WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION WORKSHOPS》, 31 December 2022 (2022-12-31), pages 14 - 23 * |
胡明娣 等: "单幅图像去雨数据集和深度学习算法的联合评估与展望", 《中国图象图形学报》, vol. 27, no. 05, 31 May 2022 (2022-05-31), pages 1359 - 1391 * |
蔡体健等: "《数字图像处理 基于Python》", 31 July 2022, 北京:机械工业出版社, pages: 113 - 117 * |
贾绪仲 等: "一种基于条件生成对抗网络的去雾方法", 《信息与电脑(理论版)》, no. 09, 15 May 2018 (2018-05-15), pages 60 - 62 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yang et al. | Single image deraining: From model-based to data-driven and beyond | |
Yang et al. | Proximal dehaze-net: A prior learning-based deep network for single image dehazing | |
CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
Kuanar et al. | Night time haze and glow removal using deep dilated convolutional network | |
Li et al. | Deep dehazing network with latent ensembling architecture and adversarial learning | |
Zhang et al. | Single image dehazing via dual-path recurrent network | |
CN109993804A (zh) | 一种基于条件生成对抗网络的道路场景去雾方法 | |
Sun et al. | A convolutional network for joint deraining and dehazing from a single image for autonomous driving in rain | |
Guo et al. | Joint raindrop and haze removal from a single image | |
Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
CN113160278A (zh) | 一种场景流估计、场景流估计模型的训练方法和装置 | |
Yu et al. | Split-attention multiframe alignment network for image restoration | |
Yan et al. | Feature-aligned video raindrop removal with temporal constraints | |
Qian et al. | CIASM-Net: a novel convolutional neural network for dehazing image | |
CN114627269A (zh) | 一种基于深度学习目标检测的虚拟现实安防监控平台 | |
Shen et al. | Optical flow for autonomous driving: Applications, challenges and improvements | |
Lee et al. | Learning to remove bad weather: Towards robust visual perception for self-driving | |
CN107301625B (zh) | 基于亮度融合网络的图像去雾方法 | |
Goncalves et al. | Guidednet: Single image dehazing using an end-to-end convolutional neural network | |
Singh et al. | Weakly supervised image dehazing using generative adversarial networks | |
CN116523790A (zh) | 一种sar图像去噪优化方法、系统和存储介质 | |
CN117196985A (zh) | 一种基于深度强化学习的视觉去雨雾方法 | |
Shit et al. | Encoder and decoder-based feature fusion network for single image dehazing | |
Kokubo et al. | Removing raindrops from a single image using synthetic data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |