CN114742719A - 一种基于多特征融合的端到端图像去雾方法 - Google Patents

Abstract

本发明公开了一种基于多特征融合的端到端图像去雾方法：步骤一，获取样本数据集；步骤二，搭建基于多特征融合的端到端图像去雾网络模型，包括以全局特征融合注意力模块为核心的基础网络、支持反向传播的先验特征提取模块和先验特征自适应融合模块；暗通道先验特征和颜色衰减先验特征进入先验特征自适应融合模块进行融合，再与基础网络得到的深度学习特征融合；步骤三，构建损失函数；步骤四，训练基于多特征融合的端到端图像去雾网络模型；步骤五，利用训练好的模型对待处理图像进行去雾处理，得到去雾后图像。在合成数据集和真实数据集的实验结果表明，本发明的方法提高了模型在真实场景的去雾能力和迁移能力，并且参数量小，可实现快速去雾。

Description

一种基于多特征融合的端到端图像去雾方法

技术领域

本发明属于有雾图像处理技术领域，涉及一种基于多种特征融合的图像去雾的方法。

背景技术

随着信息化时代的到来，各种智能视觉系统被广泛应用于智能交通、智能安防和军事侦察等领域。它们以图像作为传递信息的基础载体并对其进行智能处理和分析，例如目标检测、识别和跟踪等等，但这些高级视觉任务对图像的质量有一定的要求。在雾霾天气下，由于空气中大量的悬浮粒子对物体反射光和大气光的吸收和散射作用，导致拍摄的图像质量大幅度下降，出现对比度降低、颜色失真和清晰度下降等问题，这些问题会严重图像在高级视觉任务中的应用，导致智能视觉系统出错。所以图像去雾已经成为计算机视觉中的重要研究课题，其旨在通过去除图像雾气来将有雾图像恢复为无雾图像，恢复其清晰度，对保障高级视觉任务的性能和智能视觉系统的稳定使用具有重大意义。

现有的图像去雾方法主要可以分为2类，一是基于图像先验特征的方法，这类方法以大气散射模型为基础，利用图像先验特征估计出透射率图和全球大气光值，然后代入进大气散射模型，求得清晰图像。He等人提出了暗通道先验特征，用于估计透射率图，但会在天空区域及白色区域失效；Zhu等人提出了颜色衰减先验，通过建立图像亮度、饱和度与场景深度的线性模型求解出深度图，然后推导出透射率图，但其会导致在近景区域会有部分白色。先验信息一般基于真实图像数据统计，在真实场景下往往非常有效，但具有局限性，无法通用于所有场景。

二是基于深度学习的方法，可以通过神经网络估计透射率图和全球大气光值，再代入大气散射模型求解出清晰图像，但这样会造成误差叠加，最终误差增大，所以目前是通过神经网络直接从有雾图像预测出清晰图像的方法占主流。但是这类方法也存在着问题，要训练这样的神经网络需要大量的有雾/清晰图像对，但这种数据的获取异常困难，虽然NTIRE组织了几次去雾挑战并介绍了几个小规模的真实世界数据集，但它是稀少的、不全面的，也无法训练出通用性很高的模型。所以目前使用的训练图像一般是合成图像，有雾图像是通过在真实清晰图像上根据大气散射模型进行加雾处理而形成的。由于神经网络在合成数据集上进行训练，合成数据与真实数据存在一定的差异性，就导致模型迁移到真实场景下的去雾效果往往没有那么好。

发明内容

针对上述现有技术存在的缺陷或不足，本发明的目的在于，提供一种基于先验特征与深度特征融合的图像去雾方法，该方法解决了模型在真实场景下通用性与有效性不能兼顾的问题，提高了深度学习模型在真实场景下的去雾效果；并且模型较为轻量，能实现快速去雾。

为了实现上述目的，本发明所采用的技术方案如下：

一种基于多特征融合的端到端图像去雾方法，具体包括以下步骤：

步骤一，获取样本数据集：分别使用合成数据集和真实世界数据集训练和测试网络模型；合成数据集和真实世界数据集均包括有雾/清晰图像对；

步骤二，搭建基于多特征融合的端到端图像去雾网络模型：包括以全局特征融合注意力模块为核心的基础网络、支持反向传播的先验特征提取模块和先验特征自适应融合模块；其中，支持反向传播的先验特征自适应融合模块得到的暗通道先验特征和颜色衰减先验特征进入先验特征自适应融合模块进行融合，再与以全局特征融合注意力模块为核心的基础网络得到的深度学习特征进行融合；

步骤三，构建损失函数；

步骤四，训练基于多特征融合的端到端图像去雾网络模型：设置训练参数、初始化网络模型参数，数据集训练样本中的有雾图像作为网络模型的输入，然后把网络模型的输出与有雾图像对应的真实清晰图像代入损失函数计算损失，利用反向传播算法更新网络模型参数，得到训练好的去雾网络模型；

步骤五，利用训练好的模型对待处理图像进行去雾处理，得到去雾后的图像。

进一步的，所述步骤1中的合成数据集包括MSBDN所使用的RESIDE训练集和OTS测试集，真实世界数据集包括O-HAZE数据集和NH-HAZE数据集。

进一步的，所述步骤二中，所述的以全局特征融合注意力模块为核心的基础网络包括依次相连接的编码器、残差块和解码器，其中，编码器包括依次相连的卷积层、特征增强模块、下采样卷积层、特征增强模块、下采样卷积层；解码器包括依次相连的上采样卷积层、特征增强模块、上采样卷积层、特征增强模块、卷积层和Tanh函数。

进一步的，所述以全局特征融合注意力模块为核心的基础网络中，第一层和最后一层的卷积层都使用7×7的卷积核，除了最后一层卷积层，其余卷积层后都有非线性Relu函数，残差块内的卷积层后也有非线性Relu函数；在残差块中，不使用任何归一化层，卷积层都使用3×3卷积；该基础网络包含三个尺度，在编码器中，使用Stride-Conv层进行1/2倍的下采样处理，得到的特征图为原来的1/2，每个尺度均由特征增强模块代表；在解码器中，使用Transposed-Conv层进行2倍的上采样处理。

进一步的，所述特征增强模块由两个残差块、全局特征融合注意力模块(GFFA)和两个局部残差连接构成；所述特征增强模块用于实现如下功能：首先将输入数据依次采用两个残差块进行特征提取，从第一个残差块中输出数据还通过两个局部残差连接与第二个残差块的输出数据、GFFA模块的输出数据分别逐像素相加，得到特征增强模块的输出数据；

在所述解码器中的特征增强模块的输入为所述先验特征自适应融合模块的输出x、编码器中高度相等的特征增强模块的输出y、上采样卷积层的输出z。

进一步的，所述全局特征融合注意力模块包含3个部分：全局上下文块、高效通道注意力块、简化像素注意力块；

所述全局上下文块用于实现如下计算过程：

δ＝conv(Relu(LN(conv(c))))

gc＝x+δ

其中，x为GFFA的输入，gc为全局上下文块的输出，LN代表LayerNorm；

所述的高效通道注意力块用于实现如下计算过程：

eca＝x×Sigmoid(1Dconv(c,k))

其中，C代表通道数，|t|_odd表示最近的奇数t,本实施例中将γ和b分别设置成2和1,k＝5，eca为高效通道注意力块的输出；

所述全局上下文块的输出gc和高效的通道注意力块的输出eca进行逐像素相加，输入简化像素注意力模块；

所述简化像素注意力模块包括1个卷积层和Relu函数，用于实现如下计算过程：

spa＝(eca+gc)×Sigmoid(conv((eca+gc))。

进一步的，所述步骤二中，所述的先验特征提取模块用于对有雾图像进行暗通道先验特征、颜色衰减先验特征的提取；其中：

A、暗通道先验特征的提取

使用三维最大池化对有雾图像I(x)进行暗通道先验特征的提取，如下式所示：

I_dark(x)＝1-maxpool3D(1-I(x))；

B、提取颜色衰减先验特征，公式如下：

sv(x)＝HSV(I(x))_s-HSV(I(x))_v

其中，I(x)为有雾图像；

进一步的，所述步骤二中，所述的先验特征自适应融合模块的实现如下式所示：

p1,p2＝split(softmax(conv(concat(I_dark(x),sv(x)))))

f＝(p1×I_dark(x))+(p2×sv(x))

df＝f+conv(conv(conv(f)))；

得到的df再经过卷积层、残差块得到的结果分为两路，一路进入解码器的第2个特征增强模块，另一路经过下采样、残差块后进入解码器的第1个特征增强模块。

进一步的，所述步骤三中，所述损失函数为：

L＝L_MSE+γL_P

其中，L_all表示总的损失，L_MSE表示均方误差损失，L_P表示感知损失，γ控制感知损失的权重，设置为0.04；W和H分别代表图像的宽度和高度，J(x)和JG(x)分别表示网络输出的无雾图像和真实的无雾图像；φ代表VGG16的i层的特征图。

进一步的，所述步骤四中，模型训练使用Adam优化器，其中β1参数和β2参数分别设置为0.9和0.999，训练时batch-size设置为8，总共训练1×10⁶次迭代；

初始学习率设置为1×10^-4，然后采用余弦策略进行学习率下降调整；假设总训练迭代次数为T，η为初始学习率，然后在第t代，计算学习率：

与现有技术相比，本发明有以下有益效果：

1、结合先验特征在真实场景的有效性和深度学习的通用性，通过融合2种先验特征和深度学习特征，提出基于多特征融合的单幅图像去雾网络，提高了模型在真实户外场景的去雾性能；

2、选择被广泛使用的暗通道先验特征和颜色衰减先验特征，并采取了非常直接有效和支持反向传播的提取方式，使得模型依然是端到端的，有利于去雾模型更好的嵌入到高级视觉任务当中，为其服务。

3、提出先验特征自适应融合模块，从2种先验特征中选择有效的特征进行融合，避免特征过于冗杂而影响到模型的性能。

附图说明

图1是本发明的基于多特征融合的端到端图像去雾网络的整体结构图；

图2是特征增强模块网络结构图；

图3是全局特征融合模块网络结构图；

图4是先验特征提取过程和自适应融合过程图，其中：

(a)是有雾图像hazy；

(b)是暗通道先验特征提取结果图I_dark(x)；

(c)是颜色衰减先验特征提取结果图sv(x)；

(d)是有雾图像对应的清晰图像GT；

(e)是暗通道先验特征对应的权重图p1；

(f)是颜色衰减先验特征对应的权重图p2；

(g)是暗通道先验特征和颜色衰减先验特征融合结果图f；

(h)是先验特征融合结果的残差增强结果图df；

图5是先验特征自适应融合模块网络结构图；

图6是合成数据集上图像去雾结果对比图，其中：

(a)是有雾图像及其方框的放大图；

(b)是DCP模型的去雾结果及其方框的放大图；

(c)是AOD-Net模型的去雾结果及其方框的放大图；

(d)是DCPDN模型的去雾结果及其方框的放大图；

(e)是FFA-Net模型的去雾结果及其方框的放大图；

(f)是MSBDN模型的去雾结果及其方框的放大图；

(g)是本发明模型的去雾结果及其方框的放大图；

(h)是有雾图像对应的清晰图像及其方框的放大图；

图7是真实世界数据集上图像去雾结果对比图；其中：

(a)是有雾图像；

(b)是DCP模型的去雾结果图；

(c)是AOD-Net模型的去雾结果图；

(d)是DCPDN模型的去雾结果图；

(e)是FFA-Net模型的去雾结果图；

(f)是MSBDN模型的去雾结果图；

(g)是本发明模型的去雾结果图；

(h)是有雾图像对应的清晰图像；

图8是基于多特征融合的端到端图像去雾方法流程图。

以下结合附图和实施例对本发明作进一步详细解释说明。

具体实施方式

本实施例给出一种基于多特征融合的端到端图像去雾方法，包括以下步骤：

步骤一，获取样本数据集：

(1)合成数据集

获取MSBDN在RESIDE数据集上进行数据增强后使用的数据集。MSBDN从RESIDE训练数据集中选择9000个室外有雾/清晰图像对和7000个室内有雾/清晰图像对作为训练集，方法是从相同场景中删除多余的图像。并且为了进一步增强训练数据，使用[0.5,1.0]范围内的三个随机比例调整每对图像的大小，从有雾图像中随机裁剪256×256图像块，然后将它们水平、垂直翻转为模型的输入。获取RESIDE数据集中的OTS子数据集作为测试集，其中包含500对户外合成图像。

(2)真实世界数据集

获取NTIRE2018Dehazing Challenge中的O-HAZE数据集和NTIRE2020 DehazingChallenge中使用的NH-HAZE数据集。O-HAZE数据集包含45对室外有雾/清晰图像对，使用其中第1-40对来训练模型，使用第41-45对进行测试。NH-HAZE数据集包含55对室外有雾/清晰图像对，使用第1-50对来训练模型，使用第51-55对进行测试。在测试过程中，由于图像太大，在一些实验中对输入图像进行了裁剪，以防止内存不足。

步骤二，搭建基于多特征融合的端到端图像去雾网络模型：包括以全局特征融合注意力模块为核心的基础网络、先验特征提取模块和先验特征自适应融合模块；

如图1所示，为基于多特征融合的图像去雾网络的整体结构图。

(1)以全局特征融合注意力模块为核心的基础网络

基础网络采用具有跳层连接的编码器-解码器结构，这类体系结构已经在图像去雾任务中表现出良好的效果。本实施例中，以全局特征融合注意力模块为核心的基础网络包括依次相连接的编码器、残差块和解码器，其中，编码器包括依次相连的卷积层、特征增强模块、下采样卷积层、特征增强模块、下采样卷积层；解码器包括依次相连的上采样卷积层、特征增强模块、上采样卷积层、特征增强模块、卷积层和Tanh函数。

全局特征融合注意力模块为核心的基础网络中，第一层和最后一层的卷积层都使用7×7的卷积核，除了最后一层卷积层，其余卷积层后都有非线性Relu函数，残差块内的卷积层后也有非线性Relu函数。在残差块中，不使用任何归一化层，卷积层都使用3×3卷积。该基础网络包含三个尺度，在编码器中，使用Stride-Conv层进行1/2倍的下采样处理，得到的特征图为原来的1/2，每个尺度均由特征增强模块代表。在下采样之前对特征进行集中增强，有利于减少特征损失。在解码器中，使用Transposed-Conv层进行2倍的上采样处理，上采样后的特征增强有利于图像信息的恢复。

编码器-解码器的基础模块为特征增强模块，如图2所示，其由两个残差块、全局特征融合注意力模块(GFFA)和两个局部残差连接构成。特征增强模块用于实现如下功能：首先将输入数据依次采用两个残差块进行特征提取，从第一个残差块中输出数据还通过两个局部残差连接与第二个残差块的输出数据、GFFA模块的输出数据分别逐像素相加，得到特征增强模块的输出数据。从而利用局部残差连接和全局特征融合注意力模块对提取的特征进行增强，局部残差连接可以让网络绕过不重要的信息，全局特征融合注意力模块用于让网络关注更加有用的信息并加入全局信息，以提升模型性能。

图2所示，在编码器与解码器中的特征增强模块的输入不同，解码器中特征增强模块的输入为先验特征自适应融合模块的输出x、编码器中高度相等的特征增强模块的输出y、上采样卷积层的输出z。

(2)全局特征融合注意力模块(GFFA)

如图3所示，全局特征融合注意力模块包含3个部分：全局上下文块、高效通道注意力块、简化像素注意力块。

当浓雾遮挡住部分场景时，需要依靠全局上下文信息去复原清晰场景，所以全局信息对图像去雾很重要。通过堆叠卷积块、增大感受野的方式并不能完全捕获全局信息，并且会增大网络参数，本实施例中使用如下公式所示的全局上下文块捕获全局信息，并通过加入全局上下文块输出特征增强现有特征：

δ＝conv(Relu(LN(conv(c))))

gc＝x+δ

其中，x为GFFA的输入，gc为全局上下文块的输出，LN代表LayerNorm；上面第一个公式表示上下文建模过程：首先通过1×1卷积获得1×H×W的特征图，然后把尺寸变为HW×1×1，在HW的方向上利用softmax函数进行归一化，得到全局特征权重，最后把x变为c×HW，再与全局特征权重进行矩阵乘法操作得到全局上下文特征c(尺寸为C×1×1)；上面第二和第三个公式表示对全局上下文特征c进一步处理得到的特征与GFFA的输入x逐像素相加，得到全局上下文块的输出gc，从而实现把全局上下文块初步输出的特征再加回到原来的特征上，得到具有全局信息的增强特征。

以前的通道注意力都是通过全局平均池化获取全局空间信息，并把特征图的尺寸从C×H×W变为C×1×1，但全局平均池化过程会损失大量信息。通道注意力与全局上下文块有着相似的结构，本实施例发现上下文建模过程拥有全局平均池化同样的作用，而且更为高效。所以本实施例使用上下文建模过程替代通道注意力中的全局平均池化，为了进一步简化网络，本实施例中采用让全局上下文块和高效通道注意力模块共享上下文建模过程。

在捕获跨通道交互的过程，本实施例中使用高效通道注意力块，通过考虑每个通道及其k个邻居去捕获局部跨通道交互，得到通道权重。高效通道注意力块的过程通过一维卷积去实现，k的大小由与通道数相关的自适应函数确定，如下公式所示：

eca＝x×Sigmoid(1Dconv(c,k))

其中，C代表通道数，|t|_odd表示最近的奇数t,本实施例中将γ和b分别设置成2和1,k＝5，eca为高效通道注意力块的输出。

以上技术方案中，由全局上下文块通过捕获所有通道交互来进行特征转换，通过逐像素加法进行特征融合，由高效通道注意力块通过捕获局部通道交互并使用逐像素乘法，最后本实施例将全局上下文块的输出gc和高效的通道注意力块的输出eca进行逐像素相加，以进一步增强特征，作为下一步的输入。

简化像素注意力模块使用了2个卷积层和Relu函数，经过实验发现仅使用一个卷积层效果更好，且进一步简化了网络，因此本实施例中，包括1个卷积层和Relu函数，过程如下式：

spa＝(eca+gc)×Sigmoid(conv((eca+gc))

把高效通道注意力块的输出gc和上下文块的输出eca进行逐像素相加得到加和，送入1×1卷积和sigmoid激活函数，得到像素注意力特征图，特征图尺寸从C×H×W变为1×H×W，然后让加和与像素注意力特征图进行逐元素相乘，得到输出spa。

(3)先验特征提取模块

先验特征提取模块用于对有雾图像进行暗通道先验特征、颜色衰减先验特征的提取。

A、暗通道先验特征的提取

He统计了大量的无雾图像，发现一条规律：每一幅图像的每一个像素的RGB三个颜色通道中，总有一个通道的灰度值很低。他把这个值称之为暗通道值，表示如下：

其中c表示R、G、B三通道中的某一通道，得到的J_dark(x)称之为暗通道图像，通过大量统计并观察发现，暗通道图像的灰度值是很低的，所以将整幅暗通道图像中所有像素的灰度值近似为0，即：

J_dark(x)→0

对于神经网络而言，网络的输入为有雾图像，由于雾霾的存在，图像中白色区域增加，导致图像的暗通道值不在近似为0，所以对有雾图像I(x)求得的暗通道图像I_dark(x)的像素值可以一定程度上代表图像的雾浓度。

本实施例中，使用三维最大池化对有雾图像I(x)进行暗通道图像特征的提取，如下式所示：

I_dark(x)＝1-maxpool3D(1-I(x))

结果如图4(b)所示，在近处无雾区域，暗通道图像几乎都是黑色的，可以很清楚的区分有雾区域和无雾区域。由于每个局部区域的暗通道值一样，所以它缺乏细节信息。

B、颜色衰减先验特征的提取

Zhu等人通过对有雾图像的统计发现，无雾情况下，亮度和饱和度几乎没差，受雾的影响下，亮度和饱和度之差悬殊。并且雾越浓重，两者相差越悬殊，也就是说亮度和饱和度之差和雾浓度正相关。本实施例用以下公式直接求得颜色衰减先验特征；

sv(x)＝HSV(I(x))_s-HSV(I(x))_v

把有雾图像I(x)转化为HSV格式，然后直接使用s通道的值减v通道的值作本实施例的颜色衰减先验特征。如图4(c)所示，sv(x)的值在雾越浓的区域越大，并且由于本实施例直接的提取方式，sv(x)包含大量的细节信息。

2种先验特征的计算过程全部是基于张量的，所以它可以支持反向传播，以此保证本实施例的网络依然是一个端到端的网络。

(4)先验特征自适应融合模块

上述两种先验都是基于对真实图像的统计，所以它们的加入会让模型捕获到更适用于真实场景的特征。本实施例对于先验特征的提取是简单直接的，可以提取到最原始的先验特征，但这两种先验特征都有它的不足之处，暗通道先验在白色或者天空区域会失效，颜色衰减先验在近景无雾区域也会有部分白色。这样的特征直接加入到网络中无疑会影响到网络的性能，所以，本实施例设计了先验特征自适应融合模块，如图5所示，利用注意力机制对2种先验特征进行自适应的选择性的融合，以获取最有效的特征，其过程如下：

p1,p2＝split(softmax(conv(concat(I_dark(x),sv(x)))))

f＝(p1×I_dark(x))+(p2×sv(x))

df＝f+conv(conv(conv(f)))

首先，把2个先验特征图I_dark(x)和sv(x)concat，再经过一个3×3卷积、softmax函数，会得到一个2通道的注意力特征，再经过Split操作，，也就是把每一个通道的特征图当作一个先验特征的注意力图，会得到2个注意力图p1和p2，然后将二者和对应的先验特征分别相乘后再相加，得到融合后的特征f；最后，让f经过三个卷积操作后再加上f，通过残差的形式对f进行特征增强，得到增强后的特征df。

在图4中，p1和p2分别是I_dark(x)和sv(x)的注意力图，可以看到，对于I_dark(x)主要保留近景无雾区域，对于sv(x)主要保留有雾区域和近景区域的细节信息。f对于近景无雾区域的恢复效果较好，且对于有雾区域达到了一定的去雾效果，df在保留细节信息的同时，去除了更多的雾度，df会再经过卷积层、残差块得到的结果分为两路，一路进入解码器的第2个特征增强模块，另一路经过下采样、残差块后进入解码器的第1个特征增强模块。

步骤三，构建损失函数：

均方误差在图像去雾任务中被广泛使用，并被证明对像素信息的恢复非常有效果。本实施例同样使用了均方误差作为损失函数之一，定义如下：

其中,W和H分别代表图像的宽度和高度，J(x)和JG(x)分别表示网络恢复的无雾图像和真实的无雾图像。同时，本实施例加入了感知损失，目的是通过观察提取的高、低层次特征的组合来保持原始的图像结构和背景信息，如下公式所示：

其中，φ代表VGG16的i层的特征图，本实施例的i的取值为2、5和8，即本实施例分别把网络输出的无雾图像J(x)和真实无雾图像JG(x)送入VGG16并取出第2层、第5层和第8层的特征图，并分别计算2个特征图之间的距离。

综上所述，本实施例总损失函数为：

L＝L_MSE+γL_P

其中L_all表示总的损失，L_MSE表示均方误差损失，L_P表示感知损失，γ控制感知损失的权重，本实施例设置为0.04。

步骤四，训练基于多特征融合的端到端图像去雾网络模型。具体是：设置训练参数、初始化网络模型参数，数据集训练样本中的有雾图像作为网络模型的输入，然后把网络模型的输出与有雾图像对应的真实清晰图像代入损失函数计算损失，利用反向传播算法更新网络模型参数，得到训练好的去雾网络模型。

模型训练使用Adam优化器，其中β1参数和β2参数分别设置为0.9和0.999，训练时batch-size设置为8，总共训练1×10⁶次迭代。

初始学习率设置为1×10^-4，然后采用余弦策略进行学习率下降调整，让学习率逐步从初始值下降为0。假设总训练迭代次数为T，η为初始学习率，然后在第t代，计算学习率：

模型训练框架为PyTorch,训练使用的显卡型号为NVIDIA GTX2080SUPPER GPU，显卡容量8G。

步骤五，利用训练好的模型对待处理图像进行去雾处理，得到去雾后的图像。

本实施例分别在合成数据集OTS和真实数据集O-HAZE、NH-HAZE上进行了图像去雾测试，对于图6(a)和图7(a)的有雾图像，使用本实施例训练好的模型进行去雾，结果如图6(g)和图7(g)所示，同时与其他先进模型的去雾结果进行对比，从图中6和图7可以看出，DCP模型去雾结果有明显的颜色失真，AOD-Net和DCPDN模型的去雾效果不好，FFA-Net的去雾结果有部分区域没有完全去雾，MSBND去雾结果细节特征恢复不足。本发明的算法拥有最优的结果，并且有很好的色彩恢复和细节恢复能力。即使GT图像有雾，本实施例依然能得到更清晰图像，这也证明本实施例的模型具有强大的去雾能力，适用真实户外环境。

为了更准确的评估本发明所提出的方法，本实施例还进行了定量的比较，使用PSNR和SSIM作为评价指标，在三个数据集上的比较结果如表1所示。在三个测试数据集上，本实施例的模型都具有最高的PSNR和SSIM，PSNR的值分别比次优模型分别高0.48dB、0.44dB和0.14dB。

为了验证本发明所提取的这2种先验特征的融合是否有利于在合成数据集训练的模型能更好的迁移到真实场景，本实施例让模型在合成数据集RESIDE上训练2×10⁵次迭代，然后直接在OTS、O-HAZE数据上进行测试，结果如表2所示，表中的先验特征融合都使用先验特征自适应融合模块。在合成数据集上颜色衰减先验并不适用，但2种先验特征都适用于真实数据集，PSNR和SSIM分别提升0.22dB和0.05，证明本模型的设计可以提升模型的迁移能力，让模型能更好的直接迁移到真实世界数据上。并且通过先验特征自适应融合模块进行多特征融合，只有0.07M的参数增加，模型整体的参数量只有8.57M,这保证了模型的轻量性和运行效率，能更好的在真实场景达到快速去雾。

表1在三个测试集上的定量对比实验结果

表2先验特征对模型迁移能力的影响对比

Claims (10)

1.一种基于多特征融合的端到端图像去雾方法，其特征在于，具体包括以下步骤：

步骤一，获取样本数据集：分别使用合成数据集和真实世界数据集训练和测试网络模型；合成数据集和真实世界数据集均包括有雾/清晰图像对；

步骤二，搭建基于多特征融合的端到端图像去雾网络模型：包括以全局特征融合注意力模块为核心的基础网络、支持反向传播的先验特征提取模块和先验特征自适应融合模块；其中，支持反向传播的先验特征自适应融合模块得到的暗通道先验特征和颜色衰减先验特征进入先验特征自适应融合模块进行融合，再与以全局特征融合注意力模块为核心的基础网络得到的深度学习特征进行融合；

步骤三，构建损失函数；

步骤四，训练基于多特征融合的端到端图像去雾网络模型：设置训练参数、初始化网络模型参数，数据集训练样本中的有雾图像作为网络模型的输入，然后把网络模型的输出与有雾图像对应的真实清晰图像代入损失函数计算损失，利用反向传播算法更新网络模型参数，得到训练好的去雾网络模型；

步骤五，利用训练好的模型对待处理图像进行去雾处理，得到去雾后的图像。

2.如权利要求1所述的基于多特征融合的端到端图像去雾方法，其特征在于，所述步骤1中的合成数据集包括MSBDN所使用的RESIDE训练集和OTS测试集，真实世界数据集包括O-HAZE数据集和NH-HAZE数据集。

3.如权利要求1所述的基于多特征融合的端到端图像去雾方法，其特征在于，所述步骤二中，所述的以全局特征融合注意力模块为核心的基础网络包括依次相连接的编码器、残差块和解码器，其中，编码器包括依次相连的卷积层、特征增强模块、下采样卷积层、特征增强模块、下采样卷积层；解码器包括依次相连的上采样卷积层、特征增强模块、上采样卷积层、特征增强模块、卷积层和Tanh函数。

4.如权利要求3所述的基于多特征融合的端到端图像去雾方法，其特征在于，所述以全局特征融合注意力模块为核心的基础网络中，第一层和最后一层的卷积层都使用7×7的卷积核，除了最后一层卷积层，其余卷积层后都有非线性Relu函数，残差块内的卷积层后也有非线性Relu函数；在残差块中，不使用任何归一化层，卷积层都使用3×3卷积；该基础网络包含三个尺度，在编码器中，使用Stride-Conv层进行1/2倍的下采样处理，得到的特征图为原来的1/2，每个尺度均由特征增强模块代表；在解码器中，使用Transposed-Conv层进行2倍的上采样处理。

5.如权利要求3或4所述的基于多特征融合的端到端图像去雾方法，其特征在于，所述特征增强模块由两个残差块、全局特征融合注意力模块(GFFA)和两个局部残差连接构成；所述特征增强模块用于实现如下功能：首先将输入数据依次采用两个残差块进行特征提取，从第一个残差块中输出数据还通过两个局部残差连接与第二个残差块的输出数据、GFFA模块的输出数据分别逐像素相加，得到特征增强模块的输出数据；

在所述解码器中的特征增强模块的输入为所述先验特征自适应融合模块的输出x、编码器中高度相等的特征增强模块的输出y、上采样卷积层的输出z。

6.如权利要求5所述的基于多特征融合的端到端图像去雾方法，其特征在于，所述全局特征融合注意力模块包含3个部分：全局上下文块、高效通道注意力块、简化像素注意力块；

所述全局上下文块用于实现如下计算过程：

δ＝conv(Relu(LN(conv(c))))

gc＝x+δ

其中，x为GFFA的输入，gc为全局上下文块的输出，LN代表LayerNorm；

所述的高效通道注意力块用于实现如下计算过程：

eca＝x×Sigmoid(1Dconv(c,k))

其中，C代表通道数，|t|_odd表示最近的奇数t,本实施例中将γ和b分别设置成2和1,k＝5，eca为高效通道注意力块的输出；

所述全局上下文块的输出gc和高效的通道注意力块的输出eca进行逐像素相加，输入简化像素注意力模块；

所述简化像素注意力模块包括1个卷积层和Relu函数，用于实现如下计算过程：

spa＝(eca+gc)×Sigmoid(conv((eca+gc))。

7.如权利要求1所述的基于多特征融合的端到端图像去雾方法，其特征在于，所述步骤二中，所述的先验特征提取模块用于对有雾图像进行暗通道先验特征、颜色衰减先验特征的提取；其中：

A、暗通道先验特征的提取

使用三维最大池化对有雾图像I(x)进行暗通道先验特征的提取，如下式所示：

I_dark(x)＝1-maxpool3D(1-I(x))；

B、提取颜色衰减先验特征，公式如下：

sv(x)＝HSV(I(x))_s-HSV(I(x))_v

其中，I(x)为有雾图像。

8.如权利要求1所述的基于多特征融合的端到端图像去雾方法，其特征在于，所述步骤二中，所述的先验特征自适应融合模块的实现如下式所示：

p1,p2＝split(softmax(conv(concat(I_dark(x),sv(x)))))

f＝(p1×I_dark(x))+(p2×sv(x))

df＝f+conv(conv(conv(f)))；

得到的df再经过卷积层、残差块得到的结果分为两路，一路进入解码器的第2个特征增强模块，另一路经过下采样、残差块后进入解码器的第1个特征增强模块。

9.如权利要求1所述的基于多特征融合的端到端图像去雾方法，其特征在于，所述步骤三中，所述损失函数为：

L＝L_MSE+γL_P

其中，L_all表示总的损失，L_MSE表示均方误差损失，L_P表示感知损失，γ控制感知损失的权重，设置为0.04；W和H分别代表图像的宽度和高度，J(x)和JG(x)分别表示网络输出的无雾图像和真实的无雾图像；φ代表VGG16的i层的特征图。

10.如权利要求1所述的基于多特征融合的端到端图像去雾方法，其特征在于，所述步骤四中，模型训练使用Adam优化器，其中β1参数和β2参数分别设置为0.9和0.999，训练时batch-size设置为8，总共训练1×10⁶次迭代；

初始学习率设置为1×10^-4，然后采用余弦策略进行学习率下降调整；假设总训练迭代次数为T，η为初始学习率，然后在第t代，计算学习率：

Images