CN112785517B - 一种基于高分辨率表征的图像去雾方法和装置 - Google Patents

Abstract

本发明公开了一种基于高分辨率表征的图像去雾方法和装置，属于图像处理技术领域，方法包括：随机选取RESIDE数据集中有雾/无雾图像对作为训练集；利用有雾/无雾图像对训练高分辨率卷积神经网络，将待去雾的有雾图像输入到训练好的高分辨率卷积神经网络，获得经去雾处理的无雾图像。本发明提供的去雾方法和装置能够降低了图像空间信息的丢失，使得恢复图像更加自然。

Description

一种基于高分辨率表征的图像去雾方法和装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于高分辨率表征的图像去雾方法和装置。

背景技术

近年来，随着人工智能的发展，计算机视觉被广泛应用到我们生活的各个领域，如图像识别、图像分割等等，而这些高级别的图像处理任务对于输入图像的质量有较高的要求。但是由于垃圾焚烧、工厂废气排放等原因，使得雾霾天气越来越常见。在雾霾天气下空气中存在大量的悬浮颗粒，光线与这些悬浮颗粒相互作用，使得光线能量严重衰减，到达成像设备的场景光信息受损，所以拍摄得到的图像呈现出对比度模糊，色彩失真，影响高级别的图像处理任务。

目前，图像去雾算法主要可以分为三种类型：

第一种类型是基于图像增强的方法，该方法不考虑图像退化的原因，直接通过图像增强的方法提高有雾图像的对比度，但容易产生过增强或者图像信息丢失的问题，故恢复的无雾图像质量一般。

第二种类型是基于大气散射模型的方法，该方法处理得到的无雾图像更加清晰、自然，细节损失较少，但不同的先验知识存在着各自应用场景的局限性。此外，若参数估计不准确将直接影响最终的去雾效果。

第三种类型是基于深度学习的方法。该方法没有先验知识的限制，在网络训练好的情况下可以取得较好的效果。然而由于训练网络的数据主要来自于人工合成，导致网络可能在真实的有雾图像上去雾效果不理想。基于深度学习的图像去雾方法根据网络输出是否为去雾后的图像可分为端到端的去雾网络和非端到端的去雾网络。非端到端的去雾网络以Dehazenet和MSCNN为代表，首先通过卷积神经网络对大散射模型参数进行估计，然后将参数代入模型逆向恢复无雾图像。这种方法存在的主要问题是，如果参数估计的不准确会直接影响最终的去雾效果。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于高分辨率表征的图像去雾方法和装置，降低了图像空间信息的丢失，使得恢复图像更加自然。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种基于高分辨率表征的图像去雾方法，包括如下步骤：

随机选取RESIDE数据集中有雾/无雾图像对作为训练集；

利用有雾/无雾图像对训练高分辨率卷积神经网络；

将待去雾的有雾图像输入到训练好的高分辨率卷积神经网络，获得经去雾处理的无雾图像。

进一步的，所述高分辨率卷积神经网络包括第一阶段、第二阶段、第三阶段、第四阶段、第五阶段；

所述第一阶段包括两个卷积层和四个残差块，所述卷积层与所述残差块连接；

所述第二阶段、第三阶段、第四阶段均包括一个转换层模块、四个残差块和一个多尺度融合层模块，所述转换层模块的输出与所述残差块连接，所述残差块的输出与多尺度融合模块连接；

所述第五阶段包括用于图片分辨率调整的上采样。

进一步的，所述转换层模块包含一个卷积层和一个BN层，所述残差块包括两个卷积层、两个BN层以及一个跳层连接，所述多尺度融合模块包括上采样和下采样；

所述卷积层的输出与所述BN层连接，所述BN层的输出与Relu激活函数连接；上一阶段的输出依次经过本阶段转换层模块的卷积层、BN层和Relu激活函数，再进入所述残差块的卷积层、BN层，将所述残差块的输入与所述残差块的BN层的输出相加后再经过Relu激活函数，最后输入到多尺度融合模块进行不同尺度特征图之间的特征融合。

进一步的，利用有雾图像训练高分辨率卷积神经网络的方法包括如下步骤：

构建损失函数，对高分辨率卷积神经网络的每一阶段网络的权重参数进行初始化；

根据所述损失函数结果利用随机梯度下降算法更新权重参数；

对所述损失函数进行新一轮迭代计算，再次对权重参数进行更新。

重复以上迭代操作，直至所述损失函数最小，获取训练好的高分辨率卷积神经网络。

进一步的，构建的损失函数如下式所示：

当只有单个训练样本时，所述损失函数为：

当有多个训练样本时，所述损失函数为：

式中，n为训练样本的个数，J_i为第i个训练样本的真实的无雾图像，

为第 i个训练样本由网络估计得到的无雾图像。

进一步的，使用随机梯度下降算法来更新权重参数的更新规则服从如下公式：

式中，α为学习速率，W为权重参数，L为损失函数。

第二方面，本发明提供了一种图像去雾装置，包括如下模块：

数据获取模块，用于随机获取RESIDE数据集中多组有雾/无雾图像对作为训练集；

模型训练模块，用于利用所述有雾/无雾图像对训练高分辨率卷积神经网络；

去雾处理模块，将待去雾的有雾图像输入到训练好的高分辨率卷积神经网络，获得经去雾处理的无雾图像。

进一步的，所述高分辨率卷积神经网络包括第一阶段、第二阶段、第三阶段、第四阶段、第五阶段；

所述第一阶段包括两个卷积层和四个残差块，所述卷积层与所述残差块连接；

所述第二阶段、第三阶段、第四阶段均包括一个转换层模块、四个残差块和一个多尺度融合层模块，所述转换层模块的输出与所述残差块连接，所述残差块的输出与多尺度融合模块连接；

所述第五阶段包括用于图片分辨率调整上采样。

与现有技术相比，本发明所达到的有益效果：

本发明的去雾方法和装置采用训练好的高分辨率卷积神经网络，能够始终保持着高分辨率特征图，充分提取图像的全局信息，使得恢复图像更加自然；

通过在高分辨率特征图主网络逐渐并行加入低分辨率特征图子网络，避免导致图像空间信息的丢失问题；

另外，本发明没有以大气散射模型为依据，而是将有雾图像输入到卷积神经网络直接估计得到无雾图像，避免了基于深度学习的非端到端的图像去雾方法中对参数估计不准确而带来的最终去雾效果不理想的问题。

附图说明

图1是本发明实施例提供的一种基于高分辨率表征的图像去雾方法的流程示意图；

图2为本发明实施例提供的一种高分辨率卷积神经网络的总体结构示意图；

图3为图2中高分辨率卷积神经网络的第二阶段网络结构的详细示意图；

图4为本发明实施例提供的一种图像去雾装置的结构框图；

图5为本发明实施例提供的一种图像去雾的效果对比图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

如图1所示，本发明实施例提供了一种基于高分辨率表征的图像去雾方法，包括如下步骤：

随机选取RESIDE(REalistic Single Image Dehazing)数据集中6000组有雾 /无雾图像对作为训练集，其中，每组有雾/无雾图像对包括一个有雾图像和与有雾图像相对应的无雾图像。在有雾/无雾图像对中选择1000张有雾图像作为测试集，并对选择的测试集进行预处理；

利用获取的有雾/无雾图像对训练高分辨率卷积神经网络；

将待去雾的有雾图像输入到训练好的高分辨率卷积神经网络，获得经去雾处理的无雾图像。

在本实施例中，高分辨率卷积神经网络包括第一阶段、第二阶段、第三阶段、第四阶段、第五阶段。在高分辨率卷积神经网络中，除上采样使用卷积核大小为1*1之外，其余卷积核大小均为3*3。除下采样使用的卷积步长为2之外，其余卷积步长均为1。

其中，第一阶段包括两个卷积层和四个第一残差块，卷积层与残差块连接。具体地，第一阶段由两个卷积核大小为3*3、卷积步长为2的卷积层和4个残差块依次拼接而成。

第二阶段、第三阶段、第四阶段均包括一个转换层模块、四个残差块和一个多尺度融合层模块，转换层模块的输出与所述残差块连接，所述残差块的输出与多尺度融合模块连接。

在本实施例中，转换层模块包含一个卷积层和一个BN层，残差块包括两个卷积层、两个BN层以及一个跳层连接，多尺度融合模块包括上采样和下采样。

卷积层的输出与BN层连接，BN层的输出与Relu激活函数连接；上一阶段的输出依次经过所述转换层模块的卷积层、BN层和Relu激活函数，再进入所述残差块的卷积层、BN层，将所述残差块的输入与所述残差块的BN层的输出相加后再经过Relu激活函数。

对于第二阶段、第三阶段和第四阶段的网络结构，以第二阶段运行过程为例，如图3所示，具体描述如下：

转换层采用3*3的卷积核，其中一个步长为1的结果对应高分辨率分支，另外一个步长为2的结果对应低分辨率分支，低分辨率分支的分辨率为高分辨率分支的一半，同时通过调整滤波器的个数，使低分辨率分支特征图的通道数加倍，其表达式如下：

其中，

为第i阶段的第j个分支经过转换层的输出，Relu为激活函数，BN为BatchNormalization，CONV为3*3的卷积，X为输入特征图，s为卷积的步长大小，n 为滤波器个数。

残差块由3*3卷积层、BN层、Relu激活层、3*3卷积层、BN层、跳层连接和Relu激活层依次级联而成，其表达式如下：

O₁＝Relu(BN(COPNV(X)_s))

O₂＝Relu(BN(COPNV(O₁)_s)+X)

其中，o₁为中间变量，o₂为残差层最终的输出，x为输入特征图，s为卷积的步长大小。

在本实施例中，多尺度融合层包括上采样和下采样。

在上采样过程中，首先将低分辨率分支的特征图通过1*1的卷积使得低分辨率特征图通道数与高分辨率特征图通道数一致，然后通过最邻近插值法转换到与高分辨率分支分辨率相同的特征图并将二者求和。

在下采样过程中，首先将高分辨率分支的特征图通过步长为2的3*3卷积变换到与低分辨率分支分辨率相同且通道数相同的特征图，最后将二者求和。

其中，网络的第五阶段由上采样组成。首先通过1*1的卷积和双线性插值将不同分辨率的特征图进行融合，最终再通过上采样将特征图上采样到输入图像大小，用于网络的训练和测试。

在本实施例中，利用有雾图像训练高分辨率卷积神经网络的方法包括如下步骤：

构建损失函数，对高分辨率卷积神经网络的每一阶段网络的权重参数进行初始化；

根据所述损失函数结果利用随机梯度下降算法更新权重参数；

对所述损失函数进行新一轮迭代计算，再次对权重参数进行更新。

重复以上迭代操作，直至所述损失函数最小，获取训练好的高分辨率卷积神经网络。在本实施例中，训练网络的目的是通过不断调整权重参数使得损失函数达到最小。

具体地，构建的损失函数如下式所示：

当只有单个训练样本时，所述损失函数为：

当有多个训练样本时，所述损失函数为：

式中，n为训练样本的个数，J_i为第i个训练样本的真实的无雾图像，

为第 i个训练样本由网络估计得到的无雾图像。

具体地，对每一阶段网络的权重参数进行初始化，使用平均值为0和标准偏差为0.001的高斯分布随机初始化权重参数。在初始化后，使用随机梯度下降算法来更新权重参数的更新规则服从如下公式：

式中，α为学习速率，W为权重参数，L为损失函数。上述公式中的偏导数可以由反向传播算法求出。其中，反向传播算法主要步骤是：

首先，将给定样本进行前向传播，得到网络最终的输出值；

然后，计算出总误差，并用总误差对每个结点分别求偏导，可得到每个结点对最终输出的影响。

具体地，有雾图像和无雾图像之间可通过大气散射模型进行图像合成，其中，大气散射模型的公式表示如下：

I＝J×t+A×(1-t)

式中，I为有雾图像，J为无雾图像，A为全局大气光，A∈[0.6,1.0]，t为透射率，t＝e^-βd，β为散射系数，β∈[0.4,1.6]，d为图像的场景深度。

本发明实施例还提供了一种图像去雾装置，包括如下模块：

数据获取模块，用于随机选取RESIDE数据集中多组有雾/无雾图像对作为训练集；

模型训练模块，用于利用有雾图像训练高分辨率卷积神经网络；

去雾处理模块，将待去雾的有雾图像输入到训练好的高分辨率卷积神经网络，获得经去雾处理的无雾图像。

进一步的，高分辨率卷积神经网络包括第一阶段、第二阶段、第三阶段、第四阶段、第五阶段；

第一阶段包括两个卷积层和四个残差块，卷积层与残差块连接；

第二阶段、第三阶段、第四阶段均包括一个转换层模块、四个残差块和一个多尺度融合层模块，转换层模块的输出与残差块连接，残差块的输出与多尺度融合模块连接；

第五阶段包括用于图片分辨率调整的上采样。

如图5所示，图中第一行中，DCP方法的结果在建筑物的周围有明显的白光色差，DeHazenet方法的结果与原图对比可以看到其存在过饱和的问题；在第二行中，DCP方法和DeHazenet方法的结果在天空部分存在严重失真；在第三行中，CAP方法存在去雾不彻底的问题，DeHazenet方法仍然存在过饱和的问题。如下表1所示，各种去雾方法的去雾效果评价指标中，本发明实施例提供的去雾方法在PSNR和SSIM两方面均存在一定优势。

表1：去雾效果的客观评价指标。

总得来说，本发明实施例提供去雾方法的最终去雾结果更加自然，更符合人类的视觉审美。

综上，本发明实施例提供的方法和装置采用高分辨率卷积神经网络来进行图像去雾，将有雾图像输入到预先训练好的高分辨率卷积神经网络直接得到无雾图像。

由于高分辨率卷积神经网络在整个过程始终保持着高分辨率，避免了传统的卷积神经网络通过“降采样-升采样”方式导致图像空间信息的丢失。

同时，由于是端到端的图像去雾，解决了基于非端到端的图像去雾方法对参数估计不准确导致最终结果不理想的问题。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (4)

1.一种基于高分辨率表征的图像去雾方法，其特征在于，包括如下步骤：

随机选取RESIDE数据集中多组有雾/无雾图像对作为训练集；

利用所述有雾/无雾图像对训练高分辨率卷积神经网络；

将待去雾的有雾图像输入到训练好的高分辨率卷积神经网络，获得经去雾处理的无雾图像；

所述高分辨率卷积神经网络包括第一阶段、第二阶段、第三阶段、第四阶段、第五阶段；

所述第一阶段包括两个卷积层和四个残差块，所述卷积层与第一残差块连接；

所述第二阶段、第三阶段、第四阶段均包括一个转换层模块、四个残差块和一个多尺度融合层模块，所述转换层模块的输出与所述残差块连接，所述残差块的输出与多尺度融合模块连接；

所述第五阶段包括用于图片分辨率调整的上采样；

所述转换层模块包含一个卷积层和一个BN层，所述残差块包括两个卷积层、两个BN层以及一个跳层连接，所述多尺度融合模块包括上采样和下采样；

所述卷积层的输出与所述BN层连接，所述BN层的输出与Relu激活函数连接；上一阶段的输出依次经过本阶段转换层模块的卷积层、BN层和Relu激活函数，再进入所述残差块的卷积层、BN层，将所述残差块的输入与所述残差块的BN层的输出相加后再经过Relu激活函数，最后输入到多尺度融合模块进行不同尺度特征图之间的特征融合；

构建的损失函数如下式所示：

当只有单个训练样本时，所述损失函数为：

当有多个训练样本时，所述损失函数为：

式中，n为训练样本的个数，J_i为第i个训练样本的真实的无雾图像，

为第i个训练样本由网络估计得到的无雾图像。

2.根据权利要求1所述的基于高分辨率表征的图像去雾方法，其特征在于，利用有雾/无雾图像对训练高分辨率卷积神经网络的方法包括如下步骤：

构建损失函数，对高分辨率卷积神经网络的每一阶段网络的权重参数进行初始化；

根据所述损失函数结果利用随机梯度下降算法更新权重参数；

对所述损失函数进行新一轮迭代计算，再次对权重参数进行更新；

重复以上迭代操作，直至所述损失函数最小，获取训练好的高分辨率卷积神经网络。

3.根据权利要求1所述的基于高分辨率表征的图像去雾方法，其特征在于，使用随机梯度下降算法来更新权重参数的更新规则服从如下公式：

式中，α为学习速率，W为权重参数，L为损失函数。

4.一种图像去雾装置，其特征在于，包括如下模块：

数据获取模块，用于随机选取RESIDE数据集中多组有雾/无雾图像对作为训练集；

模型训练模块，用于利用所述有雾图像训练高分辨率卷积神经网络；

去雾处理模块，将待去雾的有雾图像输入到训练好的高分辨率卷积神经网络，获得经去雾处理的无雾图像；

所述高分辨率卷积神经网络包括第一阶段、第二阶段、第三阶段、第四阶段、第五阶段；

所述第一阶段包括两个卷积层和四个残差块，所述卷积层与所述残差块连接；

所述第二阶段、第三阶段、第四阶段均包括一个转换层模块、四个残差块和一个多尺度融合层模块，所述转换层模块的输出与所述残差块连接，所述残差块的输出与多尺度融合模块连接；

所述第五阶段包括用于图片分辨率调整的上采样；

所述转换层模块包含一个卷积层和一个BN层，所述残差块包括两个卷积层、两个BN层以及一个跳层连接，所述多尺度融合模块包括上采样和下采样；

所述卷积层的输出与所述BN层连接，所述BN层的输出与Relu激活函数连接；上一阶段的输出依次经过本阶段转换层模块的卷积层、BN层和Relu激活函数，再进入所述残差块的卷积层、BN层，将所述残差块的输入与所述残差块的BN层的输出相加后再经过Relu激活函数，最后输入到多尺度融合模块进行不同尺度特征图之间的特征融合；

构建的损失函数如下式所示：

当只有单个训练样本时，所述损失函数为：

当有多个训练样本时，所述损失函数为：

式中，n为训练样本的个数，J_i为第i个训练样本的真实的无雾图像，

为第i个训练样本由网络估计得到的无雾图像。

Images