CN112561819A - 一种基于自支持模型的自滤波图像去雾算法 - Google Patents

Abstract

本发明公开了一种基于自支持模型的自滤波图像去雾算法，包括以下步骤：构建图像去雾模型；获取有雾图像数据；利用图像去雾模型中的图像重构组件获得不同层次的特征，由于采用了自滤波模块，获得的特征具有更好的表征能力，然后将这些特征转化为图片传入自支持组件；自支持组件利用两张支持图像改进表观预测，增强表观预测的细节最终获得清晰恢复图像；分别计算恢复图像和支持图像与对应清晰图像的均方误差，更新图像去雾模型。上述技术方案，对实际拍摄的雾图进行有效地去雾处理，提高恢复图像的质量。

Description

一种基于自支持模型的自滤波图像去雾算法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于自支持模型的自滤波图像去雾算法。

背景技术

近年来，高级视觉任务例如目标跟踪、目标检测等取得了巨大的突破，在各种公开数据集中产生了非常良好的结果。但在实际落地中，往往会受到各种复杂天气情况的影像，例如雨天，运动模糊，雾气等。雾气作为一种典型的天气现象，会造成图像内容和颜色的劣化，对后续的高级视觉任务造成很大的阻碍。因此，探究如何在大雾的恶劣天气条件下获得清晰图片具有非常重大的研究意义。在大雾场景下，物体的反射光线在传播过程中，由于空气中悬浮的颗粒影响，图片在成像时色彩偏暗，纹理细节分辨率能力下降。因此，在去除图像雾气的同时，需要尽可能的对图像的细节纹理信息，色彩信息进行恢复，使恢复的图片具有更好的视觉效果。

图像去雾是一个典型的图像复原问题，其雾图生成过程可以由经典的大气散射模型近似的表示，其定义如下

I＝tJ+A(1-t)

t(x)＝e^βd(x)

其中，I为观察到的有雾图像J代表清晰图像，A为大气光，t表示传输图，它描述到达相机传感器而不被散射的那部分光。d表示物体成像的深度，β是大气衰减系数。图像去雾问题是一个典型的病态问题。

过往的图像去雾算法可以被粗略的非为两种类别：基于先验的方法与基于深度学习的方法。基于先验的方法通过研究不同先验信息来进行图像去雾，例如何凯明等人于2009年通过观察与数学统计发现在雾图中绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道有很低的像素值，基于这一观察，何凯明等人提出了暗通道先验去雾算法。于此相比，基于深度学习的去雾算法直接从有雾图像中估计这些参数或将有雾图片直接映射到清晰的输出图片。例如蔡博仑等人在2016年提出了一种端到端的神经网络估计传输图，然后利用大气物理散射模型恢复无雾图像。尽管这些基于深度学习的去雾算法取得良好的效果，但是这些算法的表现仍然受到两个因素的限制：(1)学习到的特征中存在一定的冗余(2)恢复图像细节信息的丢失。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种对实际拍摄的雾图进行有效地去雾处理，恢复高质量图像的基于自支持模型的自滤波图像去雾算法。

为实现上述目的，本发明提供了如下技术方案：一种基于自支持模型的自滤波图像去雾算法，包括以下步骤：

S1、构建图像去雾模型，该图像去雾模型包括图像重构组件和自支持组件；

S2、获取有雾图像数据，传入图像重构组件，此组件由我们提出的自滤波模块构成，利用门控循环单元卷积能够过滤掉输入中的冗余特征以提高特征的表征能力；

S3、利用图像重构组件获得三种不同层次的特征，并将这些特征恢复成图像，按特征层次从高到低，三张图像分别称为：表观预测，支持图像1，支持图像2。表观预测包含最多语义信息，具有最好的去雾效果。两张支持图像具有更多细节信息辅助表观预测进行去雾。

S4、将S3获得的三张图像传入图像去雾模型中的自支持组件，利用两张支持图像改进表观预测，增强表观预测的细节最终获得清晰恢复图像。

S5、分别计算恢复图像和支持图像与对应清晰图像的均方误差，更新图像去雾模型；其中，均方误差指导图像去雾模型学习清晰图像的内容，通过对支持图像额外添加均方误差进行监督增强去雾模型的去雾性能。

作为优选的，步骤S2，具体包括：

通过将自滤波机制引入二代残差模块进行冗余特征的过滤，提出了自滤波模块，自滤波机制的实现依赖于门控循环单元卷积，利用门控循环单元卷积中的重置门和更新门丢弃输入中的冗余信息来增强特征的表征能力；通过将门控循环单元卷积运用在二代残差模块的的不同特征组之间的残差连接中，实现了自滤波模块；由于二代残差模块会将输入特征随机分割成4个特征组并将它们直接进行混合；这不可避免地会造成重复的特征，并对网络的性能具有负面影响；因此，利用门控循环单元卷积过滤掉这些重复的特征来提升算法性能；

门控循环单元卷积作为一种循环神经网络卷积，具有两个输入：一个包含来自过去状态的信息，另一个包含来自输入中的当前状态信息；门控循环单元卷积利用重置门和更新门丢弃无用信息并动态的将输入中的有效信息进行融合；以此类推，当门控循环单元卷积的两个输入相同时同样可以过滤掉其中的冗余信息，因此，通过门控循环单元卷积的两个输入设置为相同的输入以实现自滤波机制。

作为优选的，步骤S3具体包括：

所述图像重构组件采用编码器解码器结构，由若干个自滤波模块、卷积层和反卷积层组成；在恢复无雾图像的过程中，编码器将模糊输入映射到高维特征空间，解码器从高维特征空间中恢复图像；图像的复原是一个逐渐进行的过程，在解码阶段，来自不同层的特征包含关于清晰图像的不同信息，这些不同层次的特征被分别转化为表观特征与支持图像并传入自支持组件。

作为优选的，步骤S4具体包括：

所述自支持组件利用不同层次特征间的互补信息来提升最终恢复图像的质量；自支持组件将来自图像重构组件的三张包含不同层次信息的图片作为输入，利用不同大小的卷积自适应的对其进行混合，包括1×1，3×3，5×5；输出的特征代表多尺度上的互补关系；在逐步的拼接与处理中，获得的多尺度的互补关系与外观预测相融合，使恢复的图像包含更多的细节和更少的颜色失真。

作为优选的，步骤S5具体包括：

对单张恢复图像和对应的清晰图像计算均方误差失公式为：

其中，C，H，W分别表示图像的通道数，高和宽；I^clear表示清晰的图像；I^output表示模型恢复的图像；为了增强算法性能，对两张支持图像添加了均方误差，以进行监督；网络模型的损失函数是分别计算恢复图像，支持图像与对应清晰图像间的损失，总损失函数定义如下：

L^total＝L^restored+L^support1+L^support2，

L^total表示总损失函数，L^restored表示恢复图像与清晰图像间的损失函数；L^support1，L^support2分别表示支持图像1与支持图像2和清晰图像间的损失函数。

本发明的优点是：

1、与现有技术相比，本发明提出了自滤波模块，该模块可以通过丢弃输入中的冗余信息来增强特征的表征能力；

2、与现有技术相比，本发明提出了自支持组件，该组件将从不同层次特征恢复而来的图像作为输入。利用在这些图像中包含的不同层次特征间的互补信息来提升最终恢复图像的质量。

下面结合说明书附图和具体实施例对本发明作进一步说明。

附图说明

图1为本发明实施例的去雾流程图；

图2为本发明实施例的应用场景图；

图3为本发明实施例自滤波模块的应用场景图；

图4为本发明实施例自支持组件的应用场景图；

具体实施方式

参见图1至图4，本发明公开的一种基于自支持模型的自滤波图像去雾算法，包括以下步骤：

S1、构建图像去雾模型，该图像去雾模型包括图像重构组件和自支持组件；

具体过程为，如图2所示，构建图像去雾模型。图像去雾模型包括图像重构组件(如图2所示)、自支持组件(如图4所示)。

S2、获取有雾图像数据，传入图像重构模块，此组件由我们提出的自滤波模块(如图3所示)构成，利用门控循环单元卷积能够过滤掉输入中的冗余特征以提高特征的表征能力；

S3、利用图像重构组件获得三种不同层次的特征，并将这些特征恢复成图像，按特征层次从高到低，三张图像分别称为：表观预测，支持图像1，支持图像2。表观预测包含最多语义信息，具有最好的去雾效果。两张支持图像具有更多细节信息辅助表观预测进行去雾。

S4、将S3获得的三张图像传入图像去雾模型中的自支持组件，利用两张支持图像改进表观预测，增强表观预测的细节最终获得清晰恢复图像。

S5、分别计算恢复图像和支持图像与对应清晰图像的均方误差，更新图像去雾模型；其中，均方误差指导图像去雾模型学习清晰图像的内容，通过对支持图像额外添加均方误差进行监督增强去雾模型的去雾性能。

作为优选的，步骤S2，具体包括：

通过将自滤波机制引入二代残差模块进行冗余特征的过滤，提出了自滤波模块，自滤波机制的实现依赖于门控循环单元卷积，利用门控循环单元卷积中的重置门和更新门丢弃输入中的冗余信息来增强特征的表征能力；通过将门控循环单元卷积运用在二代残差模块的的不同特征组之间的残差连接中，实现了自滤波模块；由于二代残差模块会将输入特征随机分割成4个特征组并将它们直接进行混合；这不可避免地会造成重复的特征，并对网络的性能具有负面影响；因此，利用门控循环单元卷积过滤掉这些重复的特征来提升算法性能；

门控循环单元卷积作为一种循环神经网络卷积，具有两个输入：一个包含来自过去状态的信息，另一个包含来自输入中的当前状态信息；门控循环单元卷积利用重置门和更新门丢弃无用信息并动态的将输入中的有效信息进行融合；以此类推，当门控循环单元卷积的两个输入相同时同样可以过滤掉其中的冗余信息，因此，通过门控循环单元卷积的两个输入设置为相同的输入以实现自滤波机制。

作为优选的，步骤S3具体包括：

所述图像重构组件采用编码器解码器结构，由若干个自滤波模块、卷积层和反卷积层组成；在恢复无雾图像的过程中，编码器将模糊输入映射到高维特征空间，解码器从高维特征空间中恢复图像；图像的复原是一个逐渐进行的过程，在解码阶段，来自不同层的特征包含关于清晰图像的不同信息，这些不同层次的特征被分别转化为表观特征与支持图像并传入自支持组件。

作为优选的，步骤S4具体包括：

所述自支持组件利用不同层次特征间的互补信息来提升最终恢复图像的质量；自支持组件将来自图像重构组件的三张包含不同层次信息的图片作为输入，利用不同大小的卷积自适应的对其进行混合，包括1×1，3×3，5×5；输出的特征代表多尺度上的互补关系；在逐步的拼接与处理中，获得的多尺度的互补关系与外观预测相融合，使恢复的图像包含更多的细节和更少的颜色失真。

作为优选的，步骤S5具体包括：

对单张恢复图像和对应的清晰图像计算均方误差失公式为：

其中，C，H，W分别表示图像的通道数，高和宽；I^clear表示清晰的图像；I^output表示模型恢复的图像；为了增强算法性能，对两张支持图像添加了均方误差，以进行监督；网络模型的损失函数是分别计算恢复图像，支持图像与对应清晰图像间的损失，总损失函数定义如下：

L^total＝L^restored+L^support1+L^support2，

L^total表示总损失函数，L^restored表示恢复图像与清晰图像间的损失函数；L^support1，L^support2分别表示支持图像1与支持图像2和清晰图像间的损失函数。

实际应用时，首先将一张有雾图片传入图像重构组件，利用此组件提取解码阶段不同层次的特征，由于采用了自滤波模块，提取到不同层次的特征具有更好的表征能力；

其次，将获得的不同层次的特征转化为图片，按特征层次从高到底分别称为表观预测，支持图像1，支持图像2；

然后，将图像重构组件输出的三张包含不同层次信息的图片作为自支持组件的输入，利用不同大小的卷积自适应的对其进行混合，根据混合后特征恢复出包含更多细节和更少颜色失真的复原图片。

最后，分别计算恢复图像和支持图像与对应清晰图像的均方误差，更新图像去雾模型。

本发明具有如下有益效果：

1、与现有技术相比，本发明提出了自滤波模块，该模块可以通过丢弃输入中的冗余信息来增强特征的表征能力；

2、与现有技术相比，本发明提出了自支持组件，该组件将从不同层次特征恢复而来的图像作为输入。利用在这些图像中包含的不同层次特征间的互补信息来提升最终恢复图像的质量。

上述实施例对本发明的具体描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，本领域的技术工程师根据上述发明的内容对本发明作出一些非本质的改进和调整均落入本发明的保护范围之内。

Claims (5)

1.一种基于自支持模型的自滤波图像去雾算法，其特征在于：包括以下步骤：

S1、构建图像去雾模型，该图像去雾模型包括图像重构组件和自支持组件；

S2、获取有雾图像数据，传入图像重构组件，此组件由我们提出的自滤波模块构成，利用门控循环单元卷积能够过滤掉输入中的冗余特征以提高特征的表征能力；

S3、利用图像重构组件获得三种不同层次的特征，并将这些特征恢复成图像，按特征层次从高到低，三张图像分别称为：表观预测，支持图像1，支持图像2；

S4、将S3获得的三张图像传入图像去雾模型中的自支持组件，利用两张支持图像改进表观预测，增强表观预测的细节最终获得清晰恢复图像；

S5、分别计算恢复图像和支持图像与对应清晰图像的均方误差，更新图像去雾模型；其中，均方误差指导图像去雾模型学习清晰图像的内容，通过对支持图像额外添加均方误差进行监督增强去雾模型的去雾性能。

2.根据权利要求1所述的一种基于自支持模型的自滤波图像去雾算法，其特征在于：步骤S2，具体包括：

通过将自滤波机制引入二代残差模块进行冗余特征的过滤，提出了自滤波模块，自滤波机制的实现依赖于门控循环单元卷积，利用门控循环单元卷积中的重置门和更新门丢弃输入中的冗余信息来增强特征的表征能力；通过将门控循环单元卷积运用在二代残差模块的的不同特征组之间的残差连接中，实现了自滤波模块；由于二代残差模块会将输入特征随机分割成4个特征组并将它们直接进行混合；这不可避免地会造成重复的特征，并对网络的性能具有负面影响；因此，利用门控循环单元卷积过滤掉这些重复的特征来提升算法性能；

门控循环单元卷积作为一种循环神经网络卷积，具有两个输入：一个包含来自过去状态的信息，另一个包含来自输入中的当前状态信息；门控循环单元卷积利用重置门和更新门丢弃无用信息并动态的将输入中的有效信息进行融合；以此类推，当门控循环单元卷积的两个输入相同时同样可以过滤掉其中的冗余信息，因此，通过门控循环单元卷积的两个输入设置为相同的输入以实现自滤波机制。

3.根据权利要求2所述的一种基于自支持模型的自滤波图像去雾算法，其特征在于：步骤S3具体包括：

所述图像重构组件采用编码器解码器结构，由若干个自滤波模块、卷积层和反卷积层组成；在恢复无雾图像的过程中，编码器将模糊输入映射到高维特征空间，解码器从高维特征空间中恢复图像；图像的复原是一个逐渐进行的过程，在解码阶段，来自不同层的特征包含关于清晰图像的不同信息，这些不同层次的特征被分别转化为表观特征与支持图像并传入自支持组件。

4.根据权利要求3所述的一种基于自支持模型的自滤波图像去雾算法，其特征在于：步骤S4具体包括：

所述自支持组件利用不同层次特征间的互补信息来提升最终恢复图像的质量；自支持组件将来自图像重构组件的三张包含不同层次信息的图片作为输入，利用不同大小的卷积自适应的对其进行混合，包括1×1，3×3，5×5；输出的特征代表多尺度上的互补关系；在逐步的拼接与处理中，获得的多尺度的互补关系与外观预测相融合，使恢复的图像包含更多的细节和更少的颜色失真。

5.根据权利要求4所述的一种基于自支持模型的自滤波图像去雾算法，其特征在于：步骤S5具体包括：

对单张恢复图像和对应的清晰图像计算均方误差失公式为:

其中，C，H,W分别表示图像的通道数，高和宽；I^clear表示清晰的图像；I^output表示模型恢复的图像；为了增强算法性能，对两张支持图像添加了均方误差，以进行监督；网络模型的损失函数是分别计算恢复图像，支持图像与对应清晰图像间的损失，总损失函数定义如下：

L^total＝L^restored+L^support1+L^support2，

L^total表示总损失函数，L^restored表示恢复图像与清晰图像间的损失函数；L^support1，L^support2分别表示支持图像1与支持图像2和清晰图像间的损失函数。

Images