CN110503609A - 一种基于混合感知模型的图像去雨方法 - Google Patents

Abstract

本发明提供一种基于混合感知模型的图像去雨方法，包括步骤：1)将待处理图像输入到编码网络中，输出特征谱；2)再将特征谱分别输入到用于局部信息感知的解码网络和用于输出非局部信息感知的解码网络中；3)用于局部信息感知的解码网络输出雨滴掩膜图像；用于非局部信息感知的解码网络输出上下文关系谱；4)将上下文关系谱和待处理图像拼接在一起输入至修复网络中，修复网络输出修复图像；5)将待处理图像和修复图像加权组合得到最终去雨图像。本发明引入了非局部信息感知网络，它可以通过训练自动学习全局信息，帮助修复网络恢复出更清晰的图像；引入了局部信息感知网络，有效避免无雨区域的过增强现象，让修复网络只关注雨滴遮挡区域。

Description

一种基于混合感知模型的图像去雨方法

技术领域

本发明涉及图像处理领域、深度学习领域，特别涉及一种基于混合感知模型和深度学习修复图像的方法。

背景技术

许多新兴应用，如无人机，自动/辅助驾驶，搜救机器人，环境监测，安全监控，运输和检查，都依赖于基于计算机视觉的传感和对室外环境的理解。此类系统涉及广泛的目标任务，例如检测，识别，分割，跟踪和解析。然而，视觉传感和理解算法的性能将在很大程度上受到恶劣环境的危害，如浓雾和暴雨，尤其是摄像机镜头被大量雨滴遮挡的情形。

目前的图像去雨技术主要针对于背景中的雨，背景中的雨往往导致图像模糊，目标没有被完全遮挡。而当镜头被大量雨滴遮挡时，背景信息大量丢失，这对图像修复处理提出巨大挑战。

发明内容

本发明所要解决的技术问题是，提供一种从单张图像中去掉遮挡目标的雨滴并修复背景的方法。

本发明为解决上述技术问题所采用的技术方案是，一种基于混合感知模型的图像去雨方法，包括以下步骤：

1)将待处理图像输入到编码网络中，输出特征谱；

2)再将特征谱分别输入到用于局部信息感知的解码网络和用于输出非局部信息感知的解码网络中；

3)用于局部信息感知的解码网络输出雨滴掩膜图像，雨滴掩膜图像中各像素值取值范围为0到1，雨滴遮挡越严重对应位置的像素值越接近1；用于非局部信息感知的解码网络输出上下文关系谱，上下文关系谱用于捕捉雨滴内部和周围的背景的相关性，以帮助修复雨滴区域；

4)将上下文关系谱和待处理图像拼接在一起输入至修复网络中，修复网络输出修复图像T；

5)将待处理图像和修复图像加权组合得到最终去雨图像O：

其中，表示图像中对应像素值相乘，Mask为雨滴掩膜图像。

从去雨图像O的计算可以看出：在雨滴严重遮挡区域，Mask的值接近1，去雨图像O中该位置像素值的主要贡献来源于图像T，即在无雨滴的干净区域，Mask的值趋于0，去雨图像O的主要贡献来源于P，即也就是直接从原始输入图片搬移信息。这样做的好处是修复网络可以专注于修复雨滴遮挡区域，无需担心破坏干净区域。

本发明引入了非局部信息感知网络，它可以通过训练自动学习全局信息，帮助修复网络恢复出更清晰的图像；引入了局部信息感知网络，可以有效避免无雨区域的过增强现象，并且让修复网络只关注雨滴遮挡区域。

发明的有益效果是：能够有效地将镜头被大量雨滴遮挡时所拍摄的图像恢复为清晰图像。

附图说明

图1为本发明流程示意图。

具体实施方式

如图1所示的图像去雨方法，包括以下步骤：

1)将一张镜头被雨滴遮挡的相机所拍摄的图像P输入到编码网络中，编码网络输出特征谱S；

2)将特征谱S分别输入到局部信息感知网络Decoder1和非局部信息感知网络Decoder2当中，Decoder1输出雨滴掩膜Mask。从图像上看，Mask将点亮雨滴区域，雨滴遮挡越严重，Mask对应位置的值越接近1(Mask通过tanh函数约束到0到1范围内)；Decoder2输出上下文关系谱A，A用于捕捉雨滴内部和周围的背景的信息，以帮助修复雨滴区域；

3)将上下文关系谱A和图片P拼接到一起，然后输入到修复网络G中，G采用U-net结构；修复网络G输出图像T；

4)将输入图像P和图像T加权组合得到最终输出图像O：

其中，表示图像中对应像素值相乘，Mask为雨滴掩膜图像。

训练网络所用的损失函数采用了感知损失和像素级损失，具体公式如下：

Loss＝0.05*L1_loss(O，GT)+L1_loss(vgg(O)，vgg(GT))

其中L1_loss表示L1范数损失函数，即两幅图像相减，所得差的绝对值。O表示加权后最终所得图像，GT表示与输入图像P对应的清晰图像。vgg表示在ImageNet数据集上预训练的分类网络，这里取它的中间某一层(一般选第30层)特征图作为输出。

局部信息感知网络工作原理：因为最终输出图片O是输入图片P和修复网络输出的图片T的加权组合，优化损失函数就是要减小图片O和清晰图片GT的差异。显然，图片P和图片T中，越接近GT者权重越大，这样才会使得损失函数减小。在干净区域，图片P和GT的像素值是相等的，而T经过修复网络G处理后会不可避免地失真，因此损失函数的约束会使得P的权重大，T的权重小，这样Mask在干净区域的值趋于零；而在雨滴遮挡区域，P和GT有着固定的差异，修复网络G会促使T与GT的差异小于P和GT的差异，因此P的权重小，T的权重大。由以上两点可知，损失函数会约束局部信息感知网络使其输出好的雨滴掩膜Mask，并且Mask的值并不是非零即一，它会根据雨滴透明度自适应调整大小，在(0,1)区间内连续取值。

非局部信息感知网络工作原理：一般来说，损失函数对非局部信息感知网络的约束并不直接，因而非局部信息感知网络很难收敛，无法获得有用信息。但在这里，非局部信息感知网络和局部信息感知网络共用了一个编码网络，而局部信息感知网络会关注雨滴区域，进而编码网络也会关注雨滴区域，因此非局部信息感知网络的解码器可以在编码网络的基础上进行学习，使得其更容易收敛，相当于局部信息感知网络对非局部信息感知网络起了引导作用。此外，非局部信息感知网络不仅仅关注雨滴区域，本发明在非局部信息感知网络的输出层之前，引入了一层non-local neural network,帮助非局部信息感知网络学习全局信息，如雨滴周围的纹理、色彩等与雨滴遮挡区域之间的相关性信息，使得上下文关系谱可以为修复网络提供雨滴周围的重要信息。

Claims (3)

1.一种基于混合感知模型的图像去雨方法，其特征在于，包括以下步骤：

1)将待处理图像输入到编码网络中，输出特征谱；

2)再将特征谱分别输入到用于局部信息感知的解码网络和用于输出非局部信息感知的解码网络中；

3)用于局部信息感知的解码网络输出雨滴掩膜图像，雨滴掩膜图像中各像素值取值范围为0到1，雨滴遮挡越严重对应位置的像素值越接近1；用于非局部信息感知的解码网络输出上下文关系谱，上下文关系谱用于捕捉雨滴内部和周围的背景的相关性，以帮助修复雨滴区域；

4)将上下文关系谱和待处理图像拼接在一起输入至修复网络中，修复网络输出修复图像；

5)将待处理图像和修复图像加权组合得到最终去雨图像：

其中，表示图像中对应像素值相乘，O、Mask、T、P分别为去雨图像、雨滴掩膜图像、修复图像、待处理图像。

2.如权利要求1所述方法，其特征在于，训练网络的损失函数Loss为：

Loss＝0.05*L1_loss(O，GT)+L1_loss(vgg(O)，vgg(GT))

其中，L1_loss表示L1范数损失函数；O为去雨图像，GT为与待处理图像P相对应的清晰图像；vgg为取图像特征的函数。

3.如权利要求2所述方法，其特征在于，所述取图像特征的函数vgg为在ImageNet数据集上预训练的分类网络中间一层特征图的输出。