CN111667421B - 一种图像去雾方法 - Google Patents

Abstract

本发明属于图像处理技术领域，公开了一种图像去雾方法，包括：建立训练集，训练集包括多对训练样本对，每对训练样本对包括无雾图像和对应的含雾图像；构建去雾网络模型，去雾网络模型基于隐式欧拉逼近的隐式结构进行构造，用于实现单幅图像去雾；利用训练集对去雾网络模型进行训练，获得训练好的去雾网络模型；将待测试的含雾图像输入至训练好的去雾网络模型，获得去雾图像。本发明解决了现有技术中图像去雾方法的稳定性和精度较差的问题，能够有效提高图像去雾的效果。

Description

一种图像去雾方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像去雾方法。

背景技术

计算机视觉技术已经成为了一个热门话题，但是当图像处理遇上极端天气时，由于获得图像的信息会被极端天气极大的污染，进而影响算法技术的稳定性和精度。图像去雾技术针对图像中存在烟雾或者雾蒙蒙的问题，利用算法对图像进行增强，去除图像中的雾。一方面图像去雾可以增强图像的可视化效果，一方面可以为后续的计算机视觉处理提供可靠的信息源头，因此受到了越来越多的关注。目前，图像去雾的算法主要分为两种：基于雾图统计学先验的方法和基于深度学习的方法。

基于先验的方法从雾图本身的数据特性出发，针对雾图或者清晰的背景图构造先验模型。该方法依赖于人工先验，在处理复杂场景，比如多光源的情况下，会出现较大的色彩失真。

基于深度学习的方法是近些年来研究的热点。与基于先验的方法不同，基于学习的方法直接从雾图数据集中学习从雾图到去雾图的映射，不依赖于人工先验，一般可以取得比基于先验的方法更好的结果。一般来说，目前多数基于学习的去雾方法都会采用Res-Net(残差网络)作为网络的基本结构来搭建整个去雾网络，稳定性和精度均存在较大不足，有待提高。

发明内容

本申请实施例通过提供一种图像去雾方法，解决了现有技术中图像去雾方法的稳定性和精度较差的问题。

本申请实施例提供一种图像去雾方法，包括以下步骤：

建立训练集，所述训练集包括多对训练样本对，每对所述训练样本对包括无雾图像和对应的含雾图像；

构建去雾网络模型，所述去雾网络模型基于隐式欧拉逼近的隐式结构进行构造，用于实现单幅图像去雾；

利用所述训练集对所述去雾网络模型进行训练，获得训练好的去雾网络模型；

将待测试的含雾图像输入至所述训练好的去雾网络模型，获得去雾图像。

优选的，所述去雾网络模型包括：隐式结构模块；所述隐式结构模块包括至少一个多级特征提取模块；

所述多级特征提取模块用于提取含雾图像的特征，并将所述含雾图像的特征转换为去雾图像的特征。

优选的，所述隐式结构模块对应的隐式结构形式为：

x_k+1＝x_k+hf(x_k+1)

所述隐式结构形式通过牛顿迭代法求解，实现步骤为：

g_i+1＝g₀+hf(g_i)

经过多次迭代达到收敛点g^*＝x_k+1:

g^*＝g₀+hf(g^*)

至此得到隐式结构的解；

其中，x_k和x_k+1为结构中传输的图像特征信息，h为迭代步长，

f(·)为结构中包含的处理函数，g_i和g_i+1为隐式结构中第i层迭代的输入和输出。

优选的，所述多级特征提取模块由两个膨胀卷积层、两个实例归一化层、两个ReLU层构成。

优选的，所述去雾网络模型还包括：多层次特征融合模块；

所述隐式结构模块包括多个依次连接的所述多级特征提取模块，不同的所述多级特征提取模块所侧重的特征、感知野大小存在区别；

所述多层次特征融合模块用于对多个所述多级特征提取模块分别提取出的特征进行融合。

优选的，所述去雾网络模型还包括：编码模块、解码模块；

所述编码模块的输出端与所述隐式结构模块的输入端连接；

所述编码模块用于提取输入图像的底层特征，并将输入图像从RGB空间转换为特征空间；

所述解码模块用于将图像从特征空间转换为RGB空间，并输出最终得到的去雾图像。

优选的，所述编码模块由两个卷积层、两个实例归一化层、两个ReLU层构成；

所述解码模块由一个微步卷积层、一个卷积层、两个实例归一化层、两个ReLU层构成。

优选的，所述去雾网络模型还包括：残差通道注意力模块；

所述残差通道注意力模块用于去除网状残影。

优选的，所述残差通道注意力模块由一个卷积层、一个平均池化层、两个全连接层、一个Sigmoid层构成。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

在本申请实施例中，提出的图像去雾方法主要包括建立训练集，构建去雾网络模型，利用训练集对去雾网络模型进行训练，获得训练好的去雾网络模型，将待测试的含雾图像输入至训练好的去雾网络模型，获得去雾图像；其中的训练集包括多对训练样本对，每对训练样本对包括无雾图像和对应的含雾图像；去雾网络模型基于隐式欧拉逼近的隐式结构进行构造，用于实现单幅图像去雾。目前多数基于学习的去雾方法都会采用Res-Net(残差网络)作为网络的基本结构来搭建整个去雾网络，从微分方程的角度来说，Res-Net可以看作是微分方程的一阶显式欧拉逼近，稳定性和精度均不如隐式欧拉逼近，进而影响最终的去雾效果。相对于采用Res-Net作为网络基本结构以实现图像去雾的方法，本发明提出的图像去雾方法基于隐式欧拉逼近的隐式结构实现，本方法结合了欧拉方法中的隐式结构的稳定性和精度，以及CNN(卷积神经网络)的学习能力。本发明采用隐式结构作为网络的基础模块，提高了比原始Res-Net结构作为基础模块的网络的图像去雾的效果。

附图说明

为了更清楚地说明本实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像去雾方法中去雾网络模型构建的流程图；

图2为本发明实施例提供的一种图像去雾方法中去雾网络模型的总体结构图；

图3为本发明实施例提供的一种图像去雾方法中多级特征提取模块的示意图；

图4为本发明实施例提供的一种图像去雾方法中残差通道注意力模块的示意图；

图5为合成的含雾室内图像；

图6(a)为含雾室内图像裁剪区域的真实去雾图像；

图6(b)为采用本发明方法对含雾室内图像裁剪区域进行去雾后的图像重建结果；

图6(c)为采用FFA方法对含雾室内图像裁剪区域进行去雾后的图像重建结果；

图6(d)为采用AOD方法对含雾室内图像裁剪区域进行去雾后的图像重建结果；

图7为真实的含雾室外图像；

图8(a)为采用本发明方法对含雾室外图像进行去雾后的图像重建结果；

图8(b)为采用FFA方法对含雾室外图像进行去雾后的图像重建结果；

图8(c)为采用AOD方法对含雾室外图像进行去雾后的图像重建结果。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

本实施例提供了一种图像去雾方法，包括以下步骤：

建立训练集，所述训练集包括多对训练样本对，每对所述训练样本对包括无雾图像和对应的含雾图像。

构建去雾网络模型，所述去雾网络模型基于隐式欧拉逼近的隐式结构进行构造，用于实现单幅图像去雾。

利用所述训练集对所述去雾网络模型进行训练，获得训练好的去雾网络模型。

将待测试的含雾图像输入至所述训练好的去雾网络模型，获得去雾图像。

其中，所述去雾网络模型主要包括：隐式结构模块；所述隐式结构模块包括至少一个多级特征提取模块；所述多级特征提取模块用于提取含雾图像的特征，并将所述含雾图像的特征转换为去雾图像的特征。

所述隐式结构模块对应的隐式结构形式为：

x_k+1＝x_k+hf(x_k+1)

所述隐式结构形式通过牛顿迭代法求解，实现步骤为：

g_i+1＝g₀+hf(g_i)

经过多次迭代达到收敛点g^*＝x_k+1:

g^*＝g₀+hf(g^*)

至此得到隐式结构的解。

其中，x_k和x_k+1为结构中传输的图像特征信息，h为迭代步长，

f(.)为结构中包含的处理函数，g_i和g_i+1为隐式结构中第i层迭代的输入和输出。

所述多级特征提取模块由两个膨胀卷积层、两个实例归一化层、两个ReLU层构成。

此外，所述去雾网络模型还包括：编码模块、多层次特征融合模块、残差通道注意力模块、解码模块。

所述编码模块的输出端与所述隐式结构模块的输入端连接；所述编码模块用于提取输入图像的底层特征，并将输入图像从RGB空间转换为特征空间。所述编码模块由两个卷积层、两个实例归一化层、两个ReLU层构成。

所述隐式结构模块包括多个依次连接的所述多级特征提取模块，不同的所述多级特征提取模块所侧重的特征、感知野大小存在区别；所述多层次特征融合模块用于对多个所述多级特征提取模块分别提取出的特征进行融合。

所述残差通道注意力模块用于去除网状残影。所述残差通道注意力模块由一个卷积层、一个平均池化层、两个全连接层、一个Sigmoid层构成。

所述解码模块用于将图像从特征空间转换为RGB空间，并输出最终得到的去雾图像。所述解码模块由一个微步卷积层、一个卷积层、两个实例归一化层、两个ReLU层构成。

下面对本发明作进一步的说明。

本发明采用隐式结构作为网络的基础模块，提出的隐式结构的具体实现方式如下：

现有技术通常采用的显式欧拉近似的公式如下(等效于ResNet结构)：

x_k+1＝x_k+hf(x_k) (1)

本发明采用的隐式欧拉近似的公式为：

x_k+1＝x_k+hf(x_k+1) (2)

由于公式(2)无法直接代数求解，因此需要使用牛顿迭代法来逼近。具体实现步骤如下：

g_i+1＝g₀+hf(g_i) (3)

然后，经过多次迭代达到收敛点g^*＝x_k+1:

g^*＝g₀+hf(g^*) (4)

利用公式(3)的迭代方法，可以得到逼近隐式欧拉近似(2)的结构，本发明中称为IM-Block，如图3所示。基于此，本发明提出利用公式(3)构造网络的基本模块IM-Block(如图3所示)，并将此模块替代常见的ResNet结构，用于单图像去雾的任务中。

本发明中去雾网络模型构建的流程图如图1所示，去雾网络模型的总体结构图如图2所示。具体的，本实施例提供了一种图像去雾方法，包括以下步骤：

步骤1，根据已有无雾图像，预处理得到对应含雾图像，将每对无雾-含雾图像作为一个训练样本对，建立训练集。

由于去雾图像数据集难以自然获取，不同时间段的图片难以保证非雾区域相同，所以去雾数据集一般由人为手段处理生成。而训练数据集有限，需要经过数据增强方法来有效利用有限的训练数据。

本实施例采用翻转、旋转、缩放、裁剪的手段增加含雾图像数量：

(1)翻转：翻转包括水平翻转和垂直翻转。

(2)旋转：旋转就是顺时针或者逆时针的旋转，注意在旋转的时候，最好旋转90-180°，否则会出现尺度问题。

(3)缩放：图像可以被放大或缩小。放大时，放大后的图像尺寸会大于原始尺寸。大多数图像处理架构会按照原始尺寸对放大后的图像进行裁切。

(4)裁剪：裁剪图片的感兴趣区域，通常在训练的时候，会采用随机裁剪出不同区域，并重新放缩回原始尺寸。

在获得含雾-去雾图像对后，即可输入模型进行训练。

步骤2，去雾网络模型构建。

具体包括含雾图像特征提取和重建，基于多级(例如三级)隐式结构模块的含雾-去雾特征转化，多级特征融合以及通道残差注意力四部分。

步骤2a，构建编码模块和解码模块，如图2中的ENCODER和DECODER模块。

其中，ENCODER模块用于提取边缘、轮廓等底层特征，并将原图从RGB空间转换为特征空间，包括两个卷积层，两个Instance Norm(实例归一化)层和两个ReLU层，实现将图像从RGB空间转换至特征空间，用于后续CNN的特征学习。

DECODER模块相当于是ENCODER模块的反过程，具体在ENCODER的基础上，将第一层卷积层CONV改成TCONV，表示微步卷积。

步骤2b，构建多级(例如三级)隐式结构模块，用于将上述含雾图像的特征提取并转换为去雾图像的特征，如图2所示。

每个IM-Block结构可以看作是一层特征提取模块，此步骤构建了三层特征提取模块。每个IM-Block中的非线性函数(公式(3)中的f)可以通过不同的组合来构造。本发明利用两个膨胀卷积层，两个Instance Norm层和两个ReLU激活函数，来构造此非线性函数，具体实现结构如图2中所示的MLE模块。

其中，x_k和x_k+1为结构中传输的图像特征信息，h为步长，

f(·)为结构中包含的处理函数，再经过T次迭代之后，将输入的含雾图像特征x₀转换为去雾图像特征x_T。

在CNN具体实现中，f(·)为一个膨胀卷积单元，由两个膨胀卷积层，两个InstanceNormal层和两个ReLU层实现。然后通过多次迭代膨胀卷积单元去趋近于隐式结构的最终解。

记第i次迭代中的两个膨胀卷积层分别为C_i1、C_i2，两个实例归一化分别为I_i1、I_i2，ReLU激活函数同一记作为R；记第一个输入与经过C_i1-I_i1-R-C_i2-I_i2-R的输出做一次加法记作一次迭代，作为第i个输出g_i。i次迭代后视作完成一个隐式结构模块，最终，隐式结构的CNN实现示意图如附图3所示。通过隐式结构迭代实现的CNN算法，经过一定次数后将输出去雾图像特征作重建去雾图像之用。

步骤2c，多级特征融合，构建多级特征框架。

由于步骤2b中构建了多级(例如三级)IM-Block结构来提取图像的多级特征，考虑到不同的多级特征提取模块所侧重的特征不同，以及感知野大小也不同，为结合各模块的优点并规避其中缺点，本结构构建了多级特征框架来融合不同层级的图像特征。

具体的，将三个多级特征模块的输出提取出来后输入到一个卷积层中得到三个权重系数W＝[W₁，W₂，W₃]∈R^3×c×wh其中c为通道数，w为图片宽度，h为图像高度。该系数将会给予三个层级的特征在不同位置不同通道以不同系数来进行融合。

记组卷积层G，步骤2b中的三个特征输出记为

将三个不同层级的输出输入组卷积层G，输出一组权重系数W＝[W₁，W₂，W₃]，最后将系数和特征相乘，得到最后的结果，多级特征融合的CNN示意图如附图2所示。

步骤2d，构建残差通道注意力模块(Residual Channel Attention Block)来去除经过CNN处理后产生的网状残影，参看图4，该模块包括一个卷积层，一个平均池化层记作AVG，两个全连接层记作MLP和一个Sigmoid层。实现如下：

y＝x+x*Sigmoid(MLP(AVG(CONV(x)))) (5)

其中，*为汉达玛积，此模块基于注意力(Attention)机制，由于网状残影在各通道的分布并非均匀，因此通过给予不同通道以不同权重来减少噪声的影响，噪声量多的通道权重小，噪声量少的通道权重大。

步骤3，利用构建的训练集对去雾网络模型进行训练，

步骤4，将待测试的含雾图像输入到训练好的去雾网络模型中，获得相应的去雾图像。

为了验证本发明提供的图像去雾方法的效果，下面结合2个具体的图像处理实例进行去雾效果对比。

(1)如图5所示，为一张合成的含雾室内图像；如图6(a)所示，为含雾室内图像裁剪区域的真实去雾图像。分别采用本发明、现有技术中的FFA(即特征融合注意力网络)方法、现有技术中的AOD(即一体化去雾网络)方法对含雾室内图像裁剪区域进行去雾处理。采用本方法进行去雾后的图像重建结果如图6(b)所示，采用FFA方法进行去雾后的图像重建结果如图6(c)所示，采用AOD方法进行去雾后的图像重建结果如图6(d)所示。通过对比可以看到，本发明提供的图像去雾方法具有更好的精度和去雾效果。

(2)如图7所示，为一张真实的含雾室外图像，下面分别采用本发明、现有技术中的FFA方法、现有技术中的AOD方法对图7进行去雾处理。采用本方法进行去雾后的图像重建结果如图8(a)所示，采用FFA方法进行去雾后的图像重建结果如图8(b)所示，采用AOD方法进行去雾后的图像重建结果如图8(c)所示。通过对比可以看到，本发明提供的图像去雾方法具有更好的精度和去雾效果。

综上，本发明实施例提供的一种图像去雾方法采用的是基于隐式结构IM-Block的图像去雾网络，本方法综合利用了欧拉方法中的隐式结构较好稳定性和较高的近似精度，以及CNN(卷积神经网络)的学习能力，采用以隐式结构作为网络的基础模块，提高了比原始Res-Net结构作为基础模块的网络的图像去雾的效果。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种图像去雾方法，其特征在于，包括以下步骤：

建立训练集，所述训练集包括多对训练样本对，每对所述训练样本对包括无雾图像和对应的含雾图像；

构建去雾网络模型，所述去雾网络模型基于隐式欧拉逼近的隐式结构进行构造，用于实现单幅图像去雾；

利用所述训练集对所述去雾网络模型进行训练，获得训练好的去雾网络模型；

将待测试的含雾图像输入至所述训练好的去雾网络模型，获得去雾图像；

其中，所述去雾网络模型包括：编码模块、隐式结构模块、多层次特征融合模块、残差通道注意力模块和解码模块；

所述编码模块的输出端与所述隐式结构模块的输入端连接；所述编码模块用于提取输入图像的底层特征，并将输入图像从RGB空间转换为特征空间；

所述隐式结构模块包括多个依次连接的多级特征提取模块，所述多级特征提取模块用于提取含雾图像的特征，并将所述含雾图像的特征转换为去雾图像的特征；不同的所述多级特征提取模块所侧重的特征、感知野大小存在区别；

所述多层次特征融合模块用于对多个所述多级特征提取模块分别提取出的特征进行融合，且进行融合时不同的所述多级特征提取模块对应不同的权重系数；

所述残差通道注意力模块用于去除网状残影，并通过给予不同通道以不同权重来减少噪声的影响；

所述解码模块用于将图像从特征空间转换为RGB空间，并输出最终得到的去雾图像。

2.根据权利要求1所述的图像去雾方法，其特征在于，所述隐式结构模块对应的隐式结构形式为：

x_k+1＝x_k+hf(x_k+1)

所述隐式结构形式通过牛顿迭代法求解，实现步骤为：

g_i+1＝g₀+hf(g_i)

经过多次迭代达到收敛点g^*＝x_k+1：

g^*＝g₀+hf(g^*)

至此得到隐式结构的解；

其中，x_k和x_k+1为结构中传输的图像特征信息，h为迭代步长，

f(.)为结构中包含的处理函数，g_i和g_i+1为隐式结构中第i层迭代的输入和输出。

3.根据权利要求1所述的图像去雾方法，其特征在于，所述多级特征提取模块由两个膨胀卷积层、两个实例归一化层、两个ReLU层构成。

4.根据权利要求1所述的图像去雾方法，其特征在于，所述编码模块由两个卷积层、两个实例归一化层、两个ReLU层构成；

所述解码模块由一个微步卷积层、一个卷积层、两个实例归一化层、两个ReLU层构成。

5.根据权利要求1所述的图像去雾方法，其特征在于，所述残差通道注意力模块由一个卷积层、一个平均池化层、两个全连接层、一个Sigmoid层构成。

Images