CN111192219B - 一种基于改进的逆大气散射模型卷积网络的图像去雾方法 - Google Patents

Abstract

本发明公开了图像处理技术领域的一种基于改进的逆大气散射模型卷积网络的图像去雾方法，旨在解决现有技术中图像增强的去雾方法导致图像失真、图像复原的去雾方法对模型参数选取要求过高、基于深度学习的去雾算法容易因大气光值估计误差而影响图像去雾效果的技术问题。所述方法包括如下步骤：将有雾图像输入预先训练好的卷积神经网络，获取无雾图像；所述卷积神经网络包括彼此串联的颜色特征提取卷积网络和深度去雾卷积网络，颜色特征提取卷积网络的输出端与深度去雾卷积网络的输入端连接。

Description

一种基于改进的逆大气散射模型卷积网络的图像去雾方法

技术领域

本发明涉及一种基于改进的逆大气散射模型卷积网络的图像去雾方法，属于图像处理技术领域。

背景技术

雾天时，弥漫在空中的雾气模糊了人们的视线，使得景物的能见度大幅降低，给人们的生产生活带来严重的影响。雾天获得的图像受到严重退化，不仅模糊不清，对比度降低，而且彩色图像还会出现严重的颜色偏移与失真，比如沙尘暴天气获得的图像往往出现严重的泛红现象。这大大降低了图像的应用价值，将给户外图像采集与处理系统带来很大的困难，甚至无法正常工作，对生产与生活等各方面造成了极大的影响，例如高速公路图像监视系统，在恶劣天气条件下得到的退化图像会对判断车辆信息和监控交通情况造成极大的困难。因此，图像去雾技术的研究具有重要意义。

目前，图像去雾算法主要可以分为三种类型：第一类是图像增强的去雾方法。该方法本身没有考虑雾天图像降质的物理过程，不能针对图像退化的具体原因进行有效补偿，因此只能在一定程度上改善视觉效果。第二类是图像复原的去雾方法。该方法是从图像退化的角度出发进行分析，建立雾天成像的模型，推导出图像退化的过程，该方法使经过处理后的图像更加清晰、自然，细节损失较少。然而，去雾的效果与模型参数的选取有关，不精确的参数将直接影响复原后图像的效果。近年来，随着深度学习的不断发展，越来越多的被用于图像处理领域。因此，基于深度学习的去雾算法可以被认为是第三类去雾算法。现有基于深度学习的图像去雾算法，大多通过深度学习网络模型估计有雾图像的透射率值，单独估计大气光值，这种方式往往导致大气光值的估计出现误差，影响图像去雾的效果。逆大气散射模型公式对大气散射模型公式进行变形，得到去雾后的图像和对应的有雾图像、透射率值、大气光值的关系式，然后通过深度学习中的卷积神经网络分别估计逆大气散射模型公式中的透射率值和大气光值，最后可得到去雾后的清晰图像。金字塔池化模型能够聚合有雾图像不同区域的上下文信息，从而提高网络获取全局信息的能力，已经被广泛应用于图像处理研究，其在图像语义分割领域的应用是当下研究热点。

发明内容

针对现有技术的不足，本发明的目的在于提供一种基于改进的逆大气散射模型卷积网络的图像去雾方法，以解决现有技术中图像增强的去雾方法导致图像失真、图像复原的去雾方法对模型参数选取要求过高、基于深度学习的去雾算法容易因大气光值估计误差而影响图像去雾效果的技术问题。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于改进的逆大气散射模型卷积网络的图像去雾方法，包括如下步骤：

将有雾图像输入预先训练好的卷积神经网络，获取无雾图像；

所述卷积神经网络包括彼此串联的颜色特征提取卷积网络和深度去雾卷积网络，颜色特征提取卷积网络的输出端与深度去雾卷积网络的输入端连接。

进一步地，所述颜色特征提取卷积网络包括顺序连接的RGB三通道特征提取模块、全连接层1、卷积层4、激励层4，所述RGB三通道特征提取模块包括彼此并联的R通道、G通道、B通道，所述R通道、G通道、B通道中的任一通道包括顺序连接的卷积层和激励层，所述激励层的输出端与全连接层1的输入端连接。

进一步地，所述深度去雾卷积网络包括彼此并联的透射率值估计模块和光强归一化值估计模块，所述透射率值估计模块和光强归一化值估计模块的输出端共同连接有Eltwise层，所述Eltwise层顺序连接有金字塔池化层、卷积层13、激励层13；所述透射率值估计模块包括三个彼此并联的卷积层，所述卷积层的输出端对应连接有激励层，所述激励层的输出端共同连接有全连接层2，所述全连接层2的输出端与Eltwise层的输入端连接。

进一步地，所述金字塔池化层包括顺序连接的多种金字塔尺度特征融合模块、上采样层、全连接层3，所述多种金字塔尺度特征融合模块包括不少于两个不同尺寸且彼此并联的池化层，所述池化层顺序连接有卷积层和激励层，所述激励层的输出端与上采样层的输入端连接。

进一步地，所述卷积神经网络的训练方法，包括：

获取无雾图像；

基于所述无雾图像获取有雾图像；

基于所述无雾图像和有雾图像构建训练样本；

以预构建的损失函数最小为目标，利用训练样本对卷积神经网络进行训练。

进一步地，所述有雾图像的获取方法，包括：在所述无雾图像上添加柏林噪声，获取有雾图像。

进一步地，所述损失函数，其计算公式如下：

式中，L为损失函数，n为训练样本个数，J_i为训练样本i去雾后的图像，

为训练样本i的实际无雾图像，λ为衰减参数，W_ji为训练样本i的权值系数矩阵。

与现有技术相比，本发明所达到的有益效果：本发明方法在网络模型中增加颜色通道特征提取网络，对有雾图像RGB颜色空间三个通道的信息进行融合，可避免去雾造成的图像颜色失真；基于逆大气散射模型公式，同时估计有雾图像透射率值和大气光强值，在逆大气散射模型公式基础上作了相应改进，可减小单独估计大气光强值引起的误差，改善图像去雾的效果；在网络模型中增加金字塔池化层，可充分提取有雾图像全局信息，因此可以得到更好的去雾效果，去雾后的图像更加真实自然；利用样本集的多样性以及网络结构的普适性，对介质不均匀以及雾化图像中的平坦区域都具有较好的去雾效果。

附图说明

图1是本发明方法实施例的流程示意图；

图2是本发明方法实施例中所述颜色特征提取卷积网络的结构示意图；

图3是本发明方法实施例中所述深度去雾卷积网络的结构示意图；

图4是本发明方法实施例中所述金字塔池化层的结构示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明具体实施方式提供了一种基于改进的逆大气散射模型卷积网络的图像去雾方法，如图1所示，是本发明方法实施例的流程示意图，所述方法包括如下步骤：

步骤1，获取PASCAL VOC数据集以及在网上下载的无雾图像作为训练样本中的无雾图像集。

步骤2，利用柏林噪声(Perlin Noise)为步骤1中的无雾图像集添加不同浓度的雾，得到有雾图像集；将有雾图像集和无雾图像集中的图像转换成HDF5的数据格式存储，然后分别将有雾图像和无雾图像按比例分成两部分，一部分作为训练样本，另一部分作为测试样本，便于训练。本步骤中，为能够适应不同天气条件下的雾浓度，学习到不同雾浓度图像的特征，对无雾图像集合成了浓度百分比分别为10％、20％、30％、40％、50％、60％、70％、80％、90％、100％的雾，得到有雾图像集；挑选部分有雾图像和无雾图像对作为训练样本，剩余图像作为测试样本。

步骤3，将步骤2中HDF5格式的训练样本作为输入，设计端到端的卷积神经网络模型。所述卷积神经网络模型包括彼此串联的颜色特征提取卷积网络和深度去雾卷积网络，颜色特征提取卷积网络的输出端与深度去雾卷积网络的输入端连接。

更具体地，如图2所示，是本发明方法实施例中所述颜色特征提取卷积网络的结构示意图，所述颜色特征提取卷积网络包括顺序连接的RGB三通道特征提取模块、全连接层1、卷积层4、激励层4，所述RGB三通道特征提取模块包括彼此并联的R通道、G通道、B通道，所述R通道包括彼此串联的卷积层1和激励层1，所述G通道包括彼此串联的卷积层2和激励层2，所述B通道包括彼此串联的卷积层3和激励层3。颜色特征提取卷积网络的输入层将输入图像i映射到R、G、B颜色空间，卷积层1、卷积层2、卷积层3采用高斯滤波器对输入图像R、G、B颜色通道的值分别进行卷积，卷积后的结果为F₁ ^R、F₁ ^G和F₁ ^B，具体如下：

F₁ ^R＝W₁*I^R+B₁ (1)

F₁ ^G＝W₂*I^G+B₂ (2)

F₁ ^B＝W₃*I^B+B₃ (3)

式中，I^R、I^G和I^B分别表示输入图像R、G、B颜色空间某一颜色通道的像素值矩阵，W₁和B₁表示卷积层1的权重系数矩阵和偏差矩阵，W₂和B₂表示卷积层2的权重系数矩阵和偏差矩阵，W₃和B₃表示卷积层3的权重系数矩阵和偏差矩阵，*代表卷积操作。

激励层1、激励层2、激励层3对应采用3个修正线性单元ReLU激活函数分别上述三个卷积层的输出结果F₁ ^R、F₁ ^G和F₁ ^B进行非线性回归，全连接层1对上述三个激励层输出的结果按通道维度进行拼接，拼接后的结果为F₁，具体如下：

F₁＝∩{max(0,F₁ ^R),max(0,F₁ ^G),max(0,F₁ ^B)} (4)

再由卷积层4对全连接层1的输出F₁进行卷积，并将卷积结果通过激励层4的ReLU函数进行非线性回归，可以得到F₂，具体如下：

F₂＝max(W₄*F₁+B₄) (5)

式中，W₄和B₄表示卷积层4的权重系数矩阵和偏差矩阵。

更具体地，如图3所示，是本发明方法实施例中所述深度去雾卷积网络的结构示意图，所述深度去雾卷积网络是基于逆大气散射模型卷积网络(IASM-Net)进行改进的卷积神经网络，其输入层为颜色特征提取卷积网络的输出F₂。深度去雾卷积网络包括三部分：

第一部分，利用透射率值估计模块来估计输入图像的透射率值，所述透射率值估计模块包括三个彼此并联的卷积层5、卷积层6、卷积层7，卷积层5串联有激励层5，卷积层6串联有激励层6，卷积层7串联有激励层7，激励层5、激励层6、激励层7的输出端共同连接有全连接层2。其中，卷积层5、卷积层6、卷积层7的输出结果分别为

和

具体如下：

式中，W₅和B₅表示卷积层5的权重系数矩阵和偏差矩阵，W₆和B₆表示卷积层6的权重系数矩阵和偏差矩阵，W₇和B₇表示卷积层7的权重系数矩阵和偏差矩阵。

同理，激励层5、激励层6、激励层7对应采用3个修正线性单元ReLU激活函数对上述卷积层5、卷积层6、卷积层7的输出结果

和

进行非线性回归，全连接层2对激励层5、激励层6、激励层7的输出结果在通道维度进行拼接，可以得到F₃，具体如下：

第二部分，采用光强归一化值估计模块来估计输入图像的大气光强归一化值，所述光强归一化值估计模块包括彼此串联的卷积层8和激励层8，其输出结果为F₄，具体如下：

F₄＝max(W₈*F₂+B₈) (10)

B₈＝-A (11)

式中，W₈和B₈表示卷积层8的权重系数矩阵和偏差矩阵，A为大气光强A的矩阵。

第三部分，采用Eltwise层的点乘操作来合并第一部分的输出F₃和第二部分的输出F₄，Eltwise层的输出结果为F₅，该F₅输入金字塔池化层，如图4所示，是本发明方法实施例中所述金字塔池化层的结构示意图，所述金字塔池化层包括顺序连接的多种金字塔尺度特征融合模块、上采样层、第三全连接层，本实施例中，所述多种金字塔尺度特征融合模块包括四个彼此并联的池化层1、池化层2、池化层3、池化层4，上述四个池化层大小分别为4*4、8*8、16*16、32*32，同时为保证全局特征的权重，上述四个池化层后面对应连接有卷积层9、卷积层10、卷积层11、卷积层12，且该四个卷积层大小均为1*1*1，以降低通道的数量。然后，通过上采样层恢复未池化前的特征，并通过全连接层3可以得到F₆。接着，由卷积层13采用三个高斯滤波器对F₆进行卷积，卷积后的输出结果为F₇，具体如下：

F₇＝W₁₃*F₆+B₁₃ (12)

B₁₃＝A (13)

式中，W₁₃和B₁₃表示卷积层13的权重系数矩阵和偏差矩阵。

然后，将F₇代入激励层13中的Sigmoid激活函数，激活函数为：

S(x)＝1/(1+e^-x) (14)

式中，e为自然常数，x为任意值。

最后，可以得到由激励层13输出的结果F₈，具体如下：

F₈＝S(F₇) (15)

F₈即为去雾后的清晰图像J。

步骤4，构建损失函数。当只有单个训练样本i时，损失函数为：

当有多个训练样本时，损失函数为：

式中，J_i表示训练样本i去雾后的图像，n是训练样本的个数，λ表示衰减参数，W_ji表示训练样本i的权值系数矩阵，

表示训练样本i的实际无雾图像。

在式(17)中，等式右侧第一项

是均方差项，第二项

是规则项。可以看出，规则项与偏置B_ji无关，仅能控制权重的大小，因此也称为权重衰减项。权重衰减项中，权重的衰减参数λ可以用来决定两项在损失函数中的比重。训练的关键就是通过不断调整权重W_ji和偏置B_ji，获得最小的损失函数。

训练时，首先，对所有的权重W_ji和偏置B_ji参数进行初始化。网络模型每层的权重均使用平均值为0和标准偏差为0.001的高斯分布随机初始化滤波器权重，初始偏置设置为0；

初始化完成后，使用随机梯度下降算法来更新权重W_ji和偏置B_ji，更新规则分别服从式(18)和式(19)，具体如下：

式中，α表示学习速率。式(18)和式(19)中的偏导数可以由反向传播算法求出，即对损失函数公式分别求对权W_ji和偏置B_ji的偏导，具体如下：

其中，反向传播算法主要步骤是：首先，将给定样本进行前向传递，得到全部网络神经节点的输出值；然后，计算出总误差，并用总误差对某个节点进行求偏导，可得到该节点对最终输出的影响。

因此，完整的网络模型训练步骤如下：

对网络各层参数进行初始化；

对每个样本i：

a:利用反向传播求出

和

b:求出参数W_ji和B_ji的变化量，其中初始化ΔW和ΔB均为0，具体如下：

c：完成参数更新，具体如下：

d：将更新的权重W_ji和偏置B_ji代入损失函数，重复执行步骤a至步骤d，直至损失函数最小，更新结束，进入步骤5。在训练过程中，使用Nvidia Ge Force GTX 1050 8G GPU进行加速。

步骤5，将新的有雾图像输入训练好的卷积神经网络模型，得到的输出结果作为该新的有雾图像去雾后的无雾图像。

前述步骤3中指出，所述深度去雾卷积网络是基于逆大气散射模型卷积网络(IASM-Net)进行改进的卷积神经网络，逆大气散射模型公式对大气散射模型公式进行变形，大气散射模型为：

I＝J×t_i+A(1-t_i)， (26)

式中，I表示训练样本i的光强矩阵，J表示原始的无雾图像中与训练样本i相对应的图像的光强矩阵，t_i为训练样本i的透射率矩阵，A为训练样本i相应的有雾图像拍摄时的大气光强度；

对上述大气散射模型公式进行变形，可以得到逆大气散射模型公式为：

本发明实施例中，在网络模型中增加颜色通道特征提取网络，对有雾图像RGB颜色空间三个通道的信息进行融合，可避免去雾造成的图像颜色失真；基于逆大气散射模型公式，同时估计有雾图像透射率值和大气光强值，在逆大气散射模型公式基础上作了相应改进，可减小单独估计大气光强值引起的误差，改善图像去雾的效果；在网络模型中增加金字塔池化层，可充分提取有雾图像全局信息，因此可以得到更好的去雾效果，去雾后的图像更加真实自然；利用样本集的多样性以及网络结构的普适性，对介质不均匀以及雾化图像中的平坦区域都具有较好的去雾效果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (5)

1.一种基于改进的逆大气散射模型卷积网络的图像去雾方法，其特征是，包括如下步骤：

将有雾图像输入预先训练好的卷积神经网络，获取无雾图像；

所述卷积神经网络包括彼此串联的颜色特征提取卷积网络和深度去雾卷积网络，颜色特征提取卷积网络的输出端与深度去雾卷积网络的输入端连接；

所述深度去雾卷积网络包括彼此并联的透射率值估计模块和光强归一化值估计模块，所述透射率值估计模块和光强归一化值估计模块的输出端共同连接有Eltwise层，所述Eltwise层顺序连接有金字塔池化层、卷积层13、激励层13；所述透射率值估计模块包括三个彼此并联的卷积层，所述卷积层的输出端对应连接有激励层，所述激励层的输出端共同连接有全连接层2，所述全连接层2的输出端与Eltwise层的输入端连接；

所述金字塔池化层包括顺序连接的多种金字塔尺度特征融合模块、上采样层、全连接层3，所述多种金字塔尺度特征融合模块包括不少于两个不同尺寸且彼此并联的池化层，所述池化层顺序连接有卷积层和激励层，所述激励层的输出端与上采样层的输入端连接。

2.根据权利要求1所述的基于改进的逆大气散射模型卷积网络的图像去雾方法，其特征是，所述颜色特征提取卷积网络包括顺序连接的RGB三通道特征提取模块、全连接层1、卷积层4、激励层4，所述RGB三通道特征提取模块包括彼此并联的R通道、G通道、B通道，所述R通道、G通道、B通道中的任一通道包括顺序连接的卷积层和激励层，所述激励层的输出端与全连接层1的输入端连接。

3.根据权利要求1所述的基于改进的逆大气散射模型卷积网络的图像去雾方法，其特征是，所述卷积神经网络的训练方法，包括：

获取无雾图像；

基于所述无雾图像获取有雾图像；

基于所述无雾图像和有雾图像构建训练样本；

以预构建的损失函数最小为目标，利用训练样本对卷积神经网络进行训练。

4.根据权利要求3所述的基于改进的逆大气散射模型卷积网络的图像去雾方法，其特征是，所述有雾图像的获取方法，包括：在所述无雾图像上添加柏林噪声，获取有雾图像。

5.根据权利要求3所述的基于改进的逆大气散射模型卷积网络的图像去雾方法，其特征是，所述损失函数，其计算公式如下：

式中，L为损失函数，n为训练样本个数，J_i为训练样本i去雾后的图像，

为训练样本i的实际无雾图像，λ为衰减参数，W_ji为训练样本i的权值系数矩阵。

Images