CN110930320A - 一种基于轻量化卷积神经网络的图像去雾方法 - Google Patents

Abstract

本发明公开了图像处理技术领域的一种基于轻量化卷积神经网络的图像去雾方法，旨在解决现有技术中采用图像增强的去雾方法处理的图像存在信息丢失、采用图像复原的去雾方法处理的图像如果选取参数不当会影响复原后图像的效果、采用基于深度学习的去雾算法影响图像去雾的速度的技术问题。所述方法包括如下步骤：将有雾图像输入预先训练好的轻量化卷积神经网络，获取无雾图像；所述轻量化卷积神经网络包括不少于两个不同尺度的深度可分离卷积层，所述深度可分离卷积层包括彼此串联的深度卷积和逐点卷积。

Description

一种基于轻量化卷积神经网络的图像去雾方法

技术领域

本发明涉及一种基于轻量化卷积神经网络的图像去雾方法，属于图像处理技术领域。

背景技术

由于垃圾焚烧、建筑扬尘、汽车尾气等诸多原因，国内很多城市蒙上了雾霾的阴影。雾霾天气拍摄的图像，由于对比度、色彩饱和度显著下降，导致图片不够清晰，影响了图片的使用效果。比如，交通监控视频模糊，致使图像在识别和处理过程中出现偏差，不利于准确记录交通信息。因而提升雾天图像质量，降低雾霾天气对户外成像的影响，有着十分迫切的理论和实际需求。

随着计算机技术的发展，视频和图像去雾算法广泛应用于民用和军事领域，如遥感、目标检测和交通监控。目前，图像去雾算法主要可以分为三种类型：第一类是图像增强的去雾方法，该方法不考虑导致图像退化的原因，使图像去雾的问题转化为对比度增强的问题，经过增强后的图像具有更高的对比度，但是处理后的图像存在信息丢失，会出现失真现象。第二类是图像复原的去雾方法，该方法是从图像退化的角度出发进行分析，建立雾天成像的模型，推导出图像退化的过程，据此恢复出去雾后的图像，该方法使处理后的图像更加清晰、自然，细节损失较少，但去雾效果与模型参数的选取有关，不精确的参数将直接影响复原后图像的效果。第三类是基于深度学习的去雾算法。近年来，随着深度学习的不断发展，越来越多地被用于图像处理领域，比如图像分类、物体识别、人脸识别等，且获得了较好的效果。现有基于深度学习的图像去雾算法，大多通过普通卷积方式实现图像去雾，这种方式仅实现了图像通道相关性和空间相关性的联合映射，且由于卷积层数较多，往往导致网络模型训练参数过多，影响图像去雾的速度。

发明内容

针对现有技术的不足，本发明的目的在于提供一种基于轻量化卷积神经网络的图像去雾方法，以解决现有技术中采用图像增强的去雾方法处理的图像存在信息丢失、采用图像复原的去雾方法处理的图像如果选取参数不当会影响复原后图像的效果、采用基于深度学习的去雾算法影响图像去雾的速度的技术问题。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于轻量化卷积神经网络的图像去雾方法，包括如下步骤：

将有雾图像输入预先训练好的轻量化卷积神经网络，获取无雾图像；

所述轻量化卷积神经网络包括不少于两个不同尺度的深度可分离卷积层，所述深度可分离卷积层包括彼此串联的深度卷积和逐点卷积。

进一步地，所述轻量化卷积神经网络还包括不少于两个第一全连接层，所述第一全连接层与所述深度可分离卷积层串联且彼此间隔分布。

进一步地，所述轻量化卷积神经网络还包括彼此串联的金字塔池化层和第一卷积层，所述金字塔池化层和第一卷积层串联于轻量化卷积神经网络的输出层与最接近所述输出层的深度可分离卷积层之间，所述第一卷积层串联于所述金字塔池化层与所述输出层之间。

进一步地，所述金字塔池化层包括顺序连接的池化层组、第二卷积层组、上采样层、第二全连接层，所述池化层组与最接近所述输出层的深度可分离卷积层连接，所述第二全连接层与所述第一卷积层连接，所述池化层组包括不少于两个不同尺度且彼此并联的池化层，所述第二卷积层组包括不少于两个第二卷积层，所述池化层与第二卷积层对应串联。

进一步地，所述轻量化卷积神经网络的训练，包括：

获取有雾图像和无雾图像并将其转化为相同像素规格的图像块，基于所述图像块构建训练样本；

以预构建的损失函数最小为目标，利用训练样本对轻量化卷积神经网络进行训练。

进一步地，所述深度可分离卷积层设有五个，所述损失函数，其表达式如下：

式中，L为损失函数，n为训练样本的个数，J_i为训练样本i去雾后的图像块，J_i ^*为训练样本i的实际无雾图像块，λ为衰减参数，W_ji为训练样本i的第j个深度可分离卷积层的权重系数矩阵。

进一步地，在利用训练样本对轻量化卷积神经网络进行训练之前，还包括：

用平均值为0和标准偏差为0.001的高斯分布随机初始化W_ji中的各项分量；

初始化B_ji为0，式中，B_ji为训练样本i的第j个深度可分离卷积层的偏差系数矩阵。

进一步地，利用训练样本对轻量化卷积神经网络进行训练，包括：

根据训练结果更新W_ji和B_ji；

将更新后的W_ji和B_ji代入损失函数；

重复W_ji和B_ji的更新和代入过程，直至损失函数最小，获取训练好的轻量化卷积神经网络。

进一步地，将有雾图像输入预先训练好的轻量化卷积神经网络，获取无雾图像，包括：将第一卷积层的输出代入大气散射模型变形公式，由所述输出层输出无雾图像。

与现有技术相比，本发明所达到的有益效果：本发明方法采用轻量化卷积方式-深度可分离卷积代替普通卷积，并增加金字塔池化层提取有雾图像的全局信息，输出为有雾图像透射率和大气光的关系式的值；然后将该关系式的值代入大气散射模型变形公式，输出即为去雾后的清晰图像。由于采用多尺度的深度可分离卷积替代普通卷积，能够显著减少网络模型训练参数，提高单幅图像的去雾速度；网络模型中的金字塔池化层能够充分提取有雾图像的全局信息，使去雾后的图像更加清晰自然。

附图说明

图1是本发明方法实施例的流程示意图；

图2是本发明方法实施例所述轻量化卷积神经网络的结构示意图；

图3是本发明方法实施例所述金字塔池化层的结构示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

深度可分离卷积是一种轻量化的卷积方式，这种卷积方式将普通卷积分为深度卷积和逐点卷积，不仅可以分开映射图像通道相关性和空间相关性，并且显著降低了网络模型训练参数，能够快速实现图像去雾效果。

鉴于上述分析，本发明具体实施方式提供了一种基于轻量化卷积神经网络的图像去雾方法，如图1所示，是本发明方法实施例的流程示意图，所述方法包括如下步骤：

步骤1，获取PASCAL VOC数据集以及在网上下载的无雾图像作为训练样本中的无雾图像集。

步骤2，利用柏林噪声(Perlin Noise)为步骤1中的无雾图像集添加不同浓度的雾，得到有雾图像集。将有雾图像集和无雾图像集中的图像裁剪成64*64的图像块，再转换成HDF5的数据格式存储。将有雾图像的图像块和无雾图像的图像块各自按比例分成两部分，一部分作为训练样本，另一部分作为测试样本，以用于训练。上述过程中，为能够适应不同天气条件下的雾浓度，学习不同雾浓度下的图像特征，对无雾图像集合成浓度百分比分别为10、20、30、40、50、60、70、80、90、100的雾，得到有雾图像集；挑选有雾图像和无雾图像共计2506对作为训练样本，剩余502对图像作为测试样本。

步骤3，将步骤2中HDF5格式的训练样本作为输入，设计端到端的轻量化卷积神经网络模型。如图2所示，是本发明方法实施例所述轻量化卷积神经网络的结构示意图，所述网络模型包括输入层、多尺度的深度可分离卷积层、激励层、全连接层、金字塔池化层以及输出层。

其中，多尺度的深度可分离卷积层由五个不同尺度的深度可分离卷积层依次拼接而成，该五个深度可分离卷积层由输入层至输出层方向依次为深度可分离卷积层1、深度可分离卷积层2、深度可分离卷积层3、深度可分离卷积层4、深度可分离卷积层5，其对应的尺度分别为3*3*3、3*3*6、5*5*9、7*7*6、3*3*3。每个深度可分离卷积层包括彼此串联的深度卷积和逐点卷积，其中深度卷积作为输入端，逐点卷积作为输出端。以深度可分离卷积层1的运行过程为例，可分为深度卷积过程和逐点卷积过程，具体如下：

(1)深度卷积过程：首先，根据RGB颜色通道将输入图像块i分为三组，然后，采用高斯滤波器分别对每组进行卷积，深度卷积的结果为

其表达式如下：

c∈[R,G,B]；

式中，I^c为输入图像块R、G、B颜色空间某一颜色通道的像素值矩阵，W₁和B₁分别为对应的卷积网络的权重系数矩阵和偏差系数矩阵；

(2)逐点卷积过程：采用k个高斯滤波器对

的所有通道同时进行1×1的卷积，逐点卷积的结果为F_1b，其表达式如下：

F_1b＝W₂*F_1a+B₂，

c∈[R,G,B]；

式中，F_1a为

中所有颜色通道融合后的像素值矩阵，W₂和B₂分别为对应的卷积网络的权重系数矩阵和偏差系数矩阵。

激励层采用修正线性单元ReLU激活函数对DS-Conv1的输出结果F_1b进行非线性回归，从而获得F₁，其表达式如下：

F₁＝max(0,F_1b)；

同理，将F₁作为深度可分离卷积层2的输入，可以得到F_2b，F_2b经过激励层后的输出为F₂。

全连接层包括三个第一全连接层和一个第二全连接层，三个第一全连接层由输入层至输出层方向依次为全连接层1、全连接层2、全连接层3，三个第一全连接层与深度可分离卷积层串联且彼此间隔分布。其中全连接层1对F₁、F₂在通道维度进行拼接，并将拼接后的输出作为深度可分离卷积层3的输入，深度可分离卷积层3的输出结果通过激励层可以得到F₃。同理，全连接层2对F₂、F₃在通道维度进行拼接，并将拼接后的输出作为深度可分离卷积层4的输入，深度可分离卷积层4输出结果通过激励层获得F₄。全连接层3对全连接层1的输出和全连接层2的输出在通道维度进行拼接，并将全连接层3输出的结果作为深度可分离卷积层5的输入，深度可分离卷积层5的输出结果通过激励层可以得到F₅。

如图3所示，是本发明方法实施例所述金字塔池化层的结构示意图，所述金字塔池化层由输入层至输出层方向包括顺序连接的池化层组、第二卷积层组、上采样层、全连接层4，池化层组与深度可分离卷积层5连接，全连接层4即前面定义的第二全连接层，全连接层4通过卷积层5与输出层连接，卷积层5在本实施例中可定义为第一卷积层。池化层组包括相互并联的池化层1、池化层2、池化层3、池化层4。第二卷积层组包括相互并联的卷积层1、卷积层2、卷积层3、卷积层4。金字塔池化层的输入为F₅，池化层融合了四种不同级别的金字塔特征，池化核大小分别为4*4、8*8、16*16、32*32。并且为保证全局特征的权重，在每个级别后需增加1*1*1的卷积来降低通道的数量。再通过上采样层恢复未池化前的特征，最终通过全连接层4可以得到F₆。

输出层采用3个高斯滤波器对F₆进行卷积，其中卷积核大小为3，卷积层输出结果即为输入图像块i的透射率与大气光的关系式的值K。将上述关系式的值K代入AOD-Net中提出的大气散射模型变形公式，即可得到去雾后的清晰图像块J。大气散射模型如下：

I＝J×t_i+A(1-t_i)，

式中，I为训练样本i的光强矩阵，J为原始的无雾图像中与训练样本i相对应的图像块的光强矩阵，t_i为训练样本i的透射率矩阵，A为训练样本i相对应的有雾图像拍摄时的大气光强度A。对上述大气散射模型公式进行变形，可以得到：

J＝KI-K+b，

式中，b为常数。

步骤4，构建损失函数。当只有单个训练样本i时，损失函数为：

当有多个训练样本时，损失函数为：

式中，n为训练样本的个数，J_i为训练样本i去雾后的图像块，

为训练样本i的实际无雾图像块，λ为衰减参数，W_ji为训练样本i的第j个深度可分离卷积层的权重系数矩阵；

在损失函数

中，等式右侧第一项

是均方差项，第二项

是规则项；

可以看出，规则项与训练样本i的第j个深度可分离卷积层的偏差系数矩阵B_ji无关，仅能控制训练样本i的第j个深度可分离卷积层的权重系数矩阵W_ji的大小，因此也称为权重衰减项。权重衰减项中权重的衰减参数λ可以用来决定两项在损失函数中的比重。训练的关键就是通过不断调整W_ji和B_ji，获得最小的损失函数。

训练时，首先对W_ji和B_ji进行初始化。网络模型每层的权重均使用平均值为0和标准偏差为0.001的高斯分布随机初始化滤波器权重，即W_ji中的各项分量；初始化B_ji为0；

初始化完成后，使用随机梯度下降算法来更新W_ji和B_ji，更新规则服从如下公式：

式中，α为学习速率。上述两个公式中的偏导数可以由反向传播算法求出，即对损失函数公式分别求W_ji的偏导

和B_ji的偏导

其表达式如下：

其中，反向传播算法主要步骤是：首先，将给定样本进行前向传递，得到全部网络神经节点的输出值；然后，计算出总误差，并用总误差对某个节点进行求偏导，可得到该节点对最终输出的影响。

因此，完整的网络模型训练步骤如下：

对网络各层参数进行初始化；

对每个样本i，

a:利用反向传播求出

和

b:求出参数W_ji和B_ji的变化量，其中初始化ΔW和ΔB均为0：

c：完成参数更新：

d：将更新后W_ji和B_ji代入损失函数，重复执行步骤a至步骤d，直至损失函数最小，更新结束，进入步骤5。在训练过程中使用Nvidia Ge Force GTX 1050 8G GPU进行加速。

步骤5，将新的有雾图像输入训练好的轻量化卷积神经网络模型，得到的输出结果作为该新的有雾图像去雾后的无雾图像。

本发明方法采用轻量化卷积方式-深度可分离卷积代替普通卷积，并增加金字塔池化层提取有雾图像的全局信息，输出为有雾图像透射率和大气光的关系式的值；然后将该关系式的值代入大气散射模型变形公式，输出即为去雾后的清晰图像。由于采用多尺度的深度可分离卷积替代普通卷积，能够显著减少网络模型训练参数，提高单幅图像的去雾速度；网络模型中的金字塔池化层能够充分提取有雾图像的全局信息，使去雾后的图像更加清晰自然。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种基于轻量化卷积神经网络的图像去雾方法，其特征是，包括如下步骤：

将有雾图像输入预先训练好的轻量化卷积神经网络，获取无雾图像；

所述轻量化卷积神经网络包括不少于两个不同尺度的深度可分离卷积层，所述深度可分离卷积层包括彼此串联的深度卷积和逐点卷积。

2.根据权利要求1所述的基于轻量化卷积神经网络的图像去雾方法，其特征是，所述轻量化卷积神经网络还包括不少于两个第一全连接层，所述第一全连接层与所述深度可分离卷积层串联且彼此间隔分布。

3.根据权利要求2所述的基于轻量化卷积神经网络的图像去雾方法，其特征是，所述轻量化卷积神经网络还包括彼此串联的金字塔池化层和第一卷积层，所述金字塔池化层和第一卷积层串联于轻量化卷积神经网络的输出层与最接近所述输出层的深度可分离卷积层之间，所述第一卷积层串联于所述金字塔池化层与所述输出层之间。

4.根据权利要求3所述的基于轻量化卷积神经网络的图像去雾方法，其特征是，所述金字塔池化层包括顺序连接的池化层组、第二卷积层组、上采样层、第二全连接层，所述池化层组与最接近所述输出层的深度可分离卷积层连接，所述第二全连接层与所述第一卷积层连接，所述池化层组包括不少于两个不同尺度且彼此并联的池化层，所述第二卷积层组包括不少于两个第二卷积层，所述池化层与第二卷积层对应串联。

5.根据权利要求3所述的基于轻量化卷积神经网络的图像去雾方法，其特征是，所述轻量化卷积神经网络的训练，包括：

获取有雾图像和无雾图像并将其转化为相同像素规格的图像块，基于所述图像块构建训练样本；

以预构建的损失函数最小为目标，利用训练样本对轻量化卷积神经网络进行训练。

6.根据权利要求5所述的基于轻量化卷积神经网络的图像去雾方法，其特征是，所述深度可分离卷积层设有五个，所述损失函数，其表达式如下：

式中，L为损失函数，n为训练样本的个数，J_i为训练样本i去雾后的图像块，

为训练样本i的实际无雾图像块，λ为衰减参数，W_ji为训练样本i的第j个深度可分离卷积层的权重系数矩阵。

7.根据权利要求6所述的基于轻量化卷积神经网络的图像去雾方法，其特征是，在利用训练样本对轻量化卷积神经网络进行训练之前，还包括：

用平均值为0和标准偏差为0.001的高斯分布随机初始化W_ji中的各项分量；

初始化B_ji为0，式中，B_ji为训练样本i的第j个深度可分离卷积层的偏差系数矩阵。

8.根据权利要求7所述的基于轻量化卷积神经网络的图像去雾方法，其特征是，利用训练样本对轻量化卷积神经网络进行训练，包括：

根据训练结果更新W_ji和B_ji；

将更新后的W_ji和B_ji代入损失函数；

重复W_ji和B_ji的更新和代入过程，直至损失函数最小，获取训练好的轻量化卷积神经网络。

9.根据权利要求3至8中任一项所述的基于轻量化卷积神经网络的图像去雾方法，其特征是，将有雾图像输入预先训练好的轻量化卷积神经网络，获取无雾图像，包括：将第一卷积层的输出代入大气散射模型变形公式，由所述输出层输出无雾图像。

Images