CN105574827B - 一种图像去雾的方法、装置 - Google Patents

Abstract

本发明适用于图像处理技术领域，提供了一种图像去雾的方法、装置，所述方法包括：对不含雾图像进行人工加雾，生成含雾图像；输入含雾图像和所述含雾图像的透射率至深度卷积网络或者多尺度深度卷积网络，训练所述深度卷积网络或者所述多尺度深度卷积网络，直至所述深度卷积网络或者所述多尺度深度卷积网络输出的透射率与所述含雾图像的实际透射率之间的误差小于预设的误差阈值；输入待去雾的有雾图像至训练好的所述深度卷积网络或者所述多尺度深度卷积网络中，输出所述有雾图像的透射率；根据雾天成像模型、大气光值和所述有雾图像的透射率，将所述有雾图像恢复为无雾图像。本发明，可以大大降低白边现象的发生，并且在对比度上有显著提高。

Description

一种图像去雾的方法、装置

技术领域

本发明属于图像处理技术领域，尤其涉及一种图像去雾的方法、装置。

背景技术

雾霾天气下空气中除了水分子还存在气溶胶微粒和水滴，对光进行衰减吸收，获取的图像和视频出现清晰度低、对比度下降、颜色整体趋于灰白、颜色偏移和色彩失真现象。

图像去雾技术能够显著提高退化图像的清晰度，增强对比度，矫正色彩偏差。

目前主流的暗通道先验图像去雾算法是基于对大量户外清晰图像的统计规律得出的，即绝大多数清晰图像的非天空局部区域内至少有一个颜色通道的像素值很低趋近于0，然而暗通道先验有其自身的局限性，暗通道先验在天空区域和白色物体区域并不成立、去雾后图像整体偏暗、对深度跳变极剧烈的边界仍存在延伸的白边等现象。

发明内容

有鉴于此，本发明实施例提供一种图像去雾的方法、装置，以解决现有技术提供的图像去雾的方法，去雾后图像整体偏暗、对深度跳变极剧烈的边界仍存在延伸的白边等现象的问题。

第一方面，提供一种图像去雾的方法，包括：

对不含雾图像进行人工加雾，生成含雾图像；

输入含雾图像和所述含雾图像的透射率至深度卷积网络或者多尺度深度卷积网络，训练所述深度卷积网络或者所述多尺度深度卷积网络，直至所述深度卷积网络或者所述多尺度深度卷积网络输出的透射率与所述含雾图像的透射率之间的误差小于预设的误差阈值；

输入待去雾的有雾图像至训练好的所述深度卷积网络或者所述多尺度深度卷积网络中，输出所述有雾图像的透射率；

根据雾天成像模型、大气光值和所述有雾图像的透射率，将所述有雾图像恢复为无雾图像。

进一步地，所述对不含雾图像进行人工加雾，包括：

获取不含雾图像的场景深度；

设定加雾的浓度和大气光值；

将雾的浓度和场景深度转换为透射率；

根据雾天成像模型、大气光值和所述透射率，对不含雾图像进行人工加雾。

进一步地，所述深度卷积网络包括：

多层卷积网络层；

多层全连接的网络层；

每层卷积网络层均采用受限制的非线性激活函数；

非线性激活函数为ReLU触发激活。

进一步地，所述深度卷积网络包括3层卷积网络层，第一层由32个7×7的滤波器构成，第二层由16个5×5的滤波器组成，第三层由1个5×5的滤波器组成。

进一步地，所述深度卷积网络还包括：

拼接层；

所述拼接层将第一层卷积网络层输出的32个特征映射图像与输入至所述深度卷积网络的输入图像在数量维度上串联起来，生成35个特征映射图像，并将所述35个特征映射图像输入到第二层卷积网络层进行卷积。

进一步地，所述多尺度深度卷积网络包括第一深度卷积网络和第二深度卷积网络；

所述第一深度卷积网络和所述第二深度卷积网络均由四层卷积网络层组成；

所述第一深度卷积网络的卷积网络层的卷积核尺寸相比所述第二深度卷积网络的卷积网络层的卷积核尺寸，小但个数多。

进一步地，所述第一深度卷积网络的第一层由48个5×5的滤波器构成，第二层由128个3×3的滤波器组成，第三层由32个3×3的滤波器组成，第四层由1个3×3的滤波器组成；

所述第二深度卷积网络的第一层由64个9×9的滤波器构成，第二层由64个5×5的滤波器组成，第三层由32个5×5的滤波器组成，第四层由1个3×3的滤波器组成。

进一步地，所述第一深度卷积网络还包括：

第一拼接层；

所述第一拼接层将第二层卷积网络层输出的特征映射图像与输入至所述第一深度卷积网络的输入图像在数量维度上串联起来，并输入到第三层卷积网络层进行卷积；

所述第二深度卷积网络还包括：

第二拼接层；

所述第二拼接层将所述第二深度卷积网络的第四层卷积网络层输出的特征映射图像与输入至所述第一深度卷积网络的输入图像在数量维度上串联起来，并输入到所述第二深度卷积网络的第一层卷积网络层进行卷积。

第二方面，提供一种图像去雾的装置，包括：

人工加雾单元，用于对不含雾图像进行人工加雾，生成含雾图像；

模型训练单元，用于输入含雾图像和所述含雾图像的透射率至深度卷积网络或者多尺度深度卷积网络，训练所述深度卷积网络或者所述多尺度深度卷积网络，直至所述深度卷积网络或者所述多尺度深度卷积网络输出的透射率与所述含雾图像的透射率之间的误差小于预设的误差阈值；

透射率输出单元，用于输入待去雾的有雾图像至训练好的所述深度卷积网络或者所述多尺度深度卷积网络中，输出所述有雾图像的透射率；

图像去雾单元，用于根据雾天成像模型、大气光值和所述有雾图像的透射率，将所述有雾图像恢复为无雾图像。

进一步地，所述人工加雾单元，包括：

场景深度获取模块，用于获取不含雾图像的场景深度；

设定模块，用于设定加雾的浓度和大气光值；

转换模块，用于将雾的浓度和场景深度转换为透射率；

人工加雾模块，用于根据雾天成像模型、大气光值和所述透射率，对不含雾图像进行人工加雾。

进一步地，所述深度卷积网络包括：

多层卷积网络层；

多层全连接的网络层；

每层卷积网络层均采用受限制的非线性激活函数；

非线性激活函数为ReLU触发激活。

进一步地，所述深度卷积网络包括3层卷积网络层，第一层由32个7×7的滤波器构成，第二层由16个5×5的滤波器组成，第三层由1个5×5的滤波器组成。

进一步地，所述深度卷积网络还包括：

拼接层；

所述拼接层将第一层卷积网络层输出的32个特征映射图像与输入至所述深度卷积网络的输入图像在数量维度上串联起来，生成35个特征映射图像，并将所述35个特征映射图像输入到第二层卷积网络层进行卷积。

进一步地，所述多尺度深度卷积网络包括第一深度卷积网络和第二深度卷积网络；

所述第一深度卷积网络和所述第二深度卷积网络均由四层卷积网络层组成；

所述第一深度卷积网络的卷积网络层的卷积核尺寸相比所述第二深度卷积网络的卷积网络层的卷积核尺寸，小但个数多。

进一步地，所述第一深度卷积网络的第一层由48个5×5的滤波器构成，第二层由128个3×3的滤波器组成，第三层由32个3×3的滤波器组成，第四层由1个3×3的滤波器组成；

所述第二深度卷积网络的第一层由64个9×9的滤波器构成，第二层由64个5×5的滤波器组成，第三层由32个5×5的滤波器组成，第四层由1个3×3的滤波器组成。

进一步地，所述第一深度卷积网络还包括：

第一拼接层；

所述第一拼接层将第二层卷积网络层输出的特征映射图像与输入至所述第一深度卷积网络的输入图像在数量维度上串联起来，并输入到第三层卷积网络层进行卷积；

所述第二深度卷积网络还包括：

第二拼接层；

所述第二拼接层将所述第二深度卷积网络的第四层卷积网络层输出的特征映射图像与输入至所述第一深度卷积网络的输入图像在数量维度上串联起来，并输入到所述第二深度卷积网络的第一层卷积网络层进行卷积。

在本发明实施例，通过深度卷积网络计算出透射率参数，深度卷积网络是一种监督式的深度学习模型，通过深度卷积网络可以从有雾图像直接回归计算出透射率参数，是像素(图像块)到像素的非线性映射。跟卷积神经网络一样可以直接对原始的图像数据进行训练，而无需对训练图像进行增强拉伸等预处理，初始的无论何种质量的有雾图像都可以直接送到深度卷积网络模型中计算，减少了数据准备的时间和预处理的麻烦，并且相比传统的卷积神经网络，深度卷积神经网络层数更多，能力更强，局部处理复杂图像和复杂变换的能力。另外，多尺度深度卷积网络则是在不同尺度层面对透射率参数进行从粗到细的学习，从而使得网络输出的透射率图像同时具有多尺度的深度信息，更加符合自然场景的深度规律和人对事物的感知，得到的去雾图像整体上更亮且色彩更加自然。

实验中将多尺度深度卷积网络去雾与暗通道结合引导滤波去雾算法进行了比较，发现多尺度深度卷积网络去雾在对比度、色彩鲜艳程度、天空区域、去雾后图像亮度上有相当的优势，在整体图像亮度拉伸和边缘白边现象上均有优势，可以大大降低白边现象的发生，并且在对比度上有显著提高。

附图说明

图1是本发明图像去雾的方法实施例的实现流程图；

图2是本发明图像去雾的方法实施例中，深度卷积网络模型的结构示意图；

图3是本发明图像去雾的方法实施例中，一深度卷积网络的结构示意图；

图4是本发明图像去雾的方法实施例中，另一深度卷积网络的结构示意图；

图5是本发明图像去雾的方法实施例中，多尺度深度卷积网络的结构示意图；

图6是本发明图像去雾的装置实施例的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明实施例中，对不含雾图像进行人工加雾，生成含雾图像；输入含雾图像和所述含雾图像的透射率至深度卷积网络或者多尺度深度卷积网络，训练所述深度卷积网络或者所述多尺度深度卷积网络，直至所述深度卷积网络或者所述多尺度深度卷积网络输出的透射率与所述含雾图像的透射率之间的误差小于预设的误差阈值；输入待去雾的有雾图像至训练好的所述深度卷积网络或者所述多尺度深度卷积网络中，输出所述有雾图像的透射率；根据雾天成像模型、大气光值和所述有雾图像的透射率，将所述有雾图像恢复为无雾图像。

以下结合具体实施例对本发明的实现进行详细描述：

实施例一

图1示出了本发明实施例一提供的图像去雾的方法的实现流程，详述如下：

在步骤S101中，对不含雾图像进行人工加雾，生成含雾图像。

在本发明实施例中，对于有雾图像，很难获取其对应的无雾图像用于训练。为解决这一问题，本发明实施例采用人工加雾的方法对不含雾图像加入雾，生产含雾的图像。

使用人工加雾图像的一个优点是：可以方便的获取有雾图像的透射率用于多尺度深度卷积网络的训练。

其中，可以先获取不含雾图像的场景深度和设定的加雾浓度，再将雾的浓度和该场景深度转换为透射率，最后根据雾天成像模型、大气光值和所述透射率，对不含雾图像进行人工加雾。

具体方法如下：

实验中采用了两个户外数据库，分别是Make3D和KITTI数据库。

Make3D数据库由对齐的清晰图像和场景深度数据组成，彩色场景图像分辨率大小为1704×2272，而场景深度数据分辨率大小为55×305，由于激光扫描仪的精度问题深度数据有缺失。

KITTI数据库由户外视频数据和场景深度数据组成，从提供的视频场景中选择了城市、道路、居民、校园四个场景的视频，每隔50帧截取一幅图像，图像分辨率大小为1392×512，但是深度数据十分稀疏，分辨率为153×46，较远的天空区域以及有遮挡的区域深度数据缺失。

实验中获取到不含雾图像的场景深度后，可以通过将雾的浓度和该场景深度转换为透射率，再通过该透射率对不含雾图像进行人工加雾，生成含雾图像。然后，从含雾图像中随机抽取图像块，构建训练集和测试集，并训练深度卷积网络或者多尺度深度卷积网络得到逐像素估计的端到端的深度卷积网络或者多尺度深度卷积网络。

优选地，为了使加雾效果均匀，采用优化着色法对场景深度数据中的缺失部分进行填充，然后放大2倍场景深度数据的分辨率并采用相同的方法进行填充，最后场景深度数据被填充到原来的4倍分辨率。

透射率与场景深度呈负指数关系t(x)＝exp(-βd)，场景深度d的数值范围为0～90，为了使变换后的透射率范围在0～1内，将大气散射系数β取值为0.03，为避免部分区域(如天空、白色建筑物等)出现透射率为0的情况，将转换后的透射率限定在0.1～1范围内。

由于场景深度数据本身的不均匀，人工加雾以后得到的含雾图像会呈现不均匀雾，实验中还可以采用引导滤波(guided filter)对透射率在清晰场景图像的引导下使其边缘与实际场景更相符。最后按照大气散射模型I(x)＝J(x)t(x)+A(1-t(x))对清晰图像进行加雾，其中，大气光参数A取值为[1,1,1]，t为透射率，j(x)为不含雾图像，I(x)为含雾图像。

优选地，可以将Make3D数据中重复场景、阴影遮挡面积较大、场景深度数据不可靠等场景删除后选择259幅图像，同样KITTI数据库选择387幅图像。为了增加数据量，可以进行2个操作：(1)将数据库中的图像进行尺度拉伸(拉伸因子为1.2、1.4和1.6)、旋转(+3和-3度旋转)、翻转(上下和左右翻转)；(2)人工加雾中加不同浓度的雾，散射系数β取值为0.03、0.05、0.07。

实验中，可以不采用原尺寸大小的图像直接作为深度卷积网络或者多尺度卷积网络的输入数据，而是将图像按非重叠方式间隔抽取33×33的图像块，同样在对应的透射率图像上抽取对应的透射率图像块作为训练标签。数据准备过程中可以从Make3D和KITTI分别抽取了614400个图像块，并随机序列打乱，按照HDF5的格式存储为10个h5文件，并按照4:1的比例分为训练集和测试集。

在步骤S102中，输入含雾图像和所述含雾图像的透射率至深度卷积网络或者多尺度深度卷积网络，训练所述深度卷积网络或者所述多尺度深度卷积网络，直至所述深度卷积网络或者所述多尺度深度卷积网络输出的透射率与所述含雾图像的透射率之间的误差小于预设的误差阈值。

在本发明实施例中，去雾质量的高低主要依赖于透射率估计得准确与否，大气光在一定程度上影响图像的整体亮度，相比较而言透射率对去雾效果的好坏起决定作用。

公式t(x)＝exp(-βd)表明透射率参数与场景深度呈负指数关系，因此对去雾透射率的估计相当于对场景深度的估计，也属于低层次的图像处理范畴。受深度卷积网络在图像超分辨率、无参图像质量评估和场景深度估计上的成功应用启发，可以通过多尺度深度卷积网络完成对透射率的估计，然后反解大气散射模型即可得到去雾的清晰图像。

其中，深度卷积网络包括：多层卷积网络层；多层全连接的网络层；每层卷积网络层均采用受限制的非线性激活函数，非线性激活函数通常为ReLU触发激活。

图2示出了本本发明实施例所采用的深度卷积网络的结构示意图。输入的是含雾图像，经过中间多层的卷积网络层输出含雾图像对应的透射率，卷积网络层中包含多层的卷积层，卷积层中的每个特征图像都是通过三维滤波器与前一卷积层的所有特征映射图像卷积得到，即卷积层与前一卷积层是全连接的。每个卷积层都采用受限制的非线性激活函数ReLU触发激活，透射率的数值范围在0～1之间，不会出现负值，而ReLU正好可以过滤卷积过程中可能会产生的负值，同时还能增加模型参数的稀疏性加快深度卷积网络的训练速度。输入含雾图像经过多层的卷积层提取特征后，可以直接回归出单通道的透射率图像，是端到端的映射。

在实验探索阶段，可以通过简单的深度卷积网络对透射率进行回归计算，如图3所示，该卷积网络仅由三层卷积层组成，第一层由32个7×7的滤波器构成，第二个卷积层由16个5×5的滤波器组成，第三层由1个5×5的滤波器输出回归的透射率，深度卷积网络中均采用受限制的线性单元ReLU函数激活变换卷积层输出的特征，ReLU不仅可以避免卷积负值在网络中的流动，还能加速深度卷积网络的训练，使其更快达到收敛结果。

实验表明，图3所示的深度卷积网络已经能基本估计出透射率，但是在去雾图像中会存在一定的白边现象，这是由于透射率在边界处不够剧烈变化的原因。

因此，在图3所示的深度卷积网络的基础上可以进行相应改进，如图4所示。相比于图3，该改进的深度卷积网络增加了一个拼接concat层，拼接层将第一层卷积网络层输出的32个特征映射图像与输入至所述深度卷积网络的输入图像在数量维度上串联起来，生成35个特征映射图像，并将所述35个特征映射图像输入到第二层卷积网络层进行卷积。原含雾图像富含丰富的边缘信息，这些边缘跳变代表了深度跳变区域，也就是透射率跳变的区域。拼接层的作用是将原来丰富的边缘深度跳变信息引入到趋向于透射率的特征中，第一层卷积网络层输出的特征映射图像一定程度上代表了透射率的数值范围和内容，原含雾图像的边缘经过卷积后被一定程度的模糊掉而很难传入到输出的透射率中，这时在模糊的特征映射基础上引入原含雾图像的边缘信息可以指导输出透射率的边界。拼接层的做法在某种意义上类似于引导滤波中的引导图像。

多尺度深度卷积网络可以在不同尺度层次上对透射率进行回归计算，在场景深度估计有很好的应用。受此启发思考，可以从不同尺度大小的视野对透射率进行估计，并在上述深度卷积网络的基础上设计了如图5所示的多尺度深度卷积网络。

在图5中，所述多尺度深度卷积网络包括第一深度卷积网络network1和第二深度卷积网络network2。所述第一深度卷积网络和所述第二深度卷积网络均由四层卷积网络层组成；所述第一深度卷积网络的卷积网络层的卷积核尺寸相比所述第二深度卷积网络的卷积网络层的卷积核尺寸，小但个数多。

具体的，所述第一深度卷积网络的第一层由48个5×5的滤波器构成，第二层由128个3×3的滤波器组成，第三层由32个3×3的滤波器组成，第四层由1个3×3的滤波器组成；所述第二深度卷积网络的第一层由64个9×9的滤波器构成，第二层由64个5×5的滤波器组成，第三层由32个5×5的滤波器组成，第四层由1个3×3的滤波器组成。

所述第一深度卷积网络还包括：第一拼接层；所述第一拼接层将第二层卷积网络层输出的特征映射图像与输入至所述第一深度卷积网络的输入图像在数量维度上串联起来，并输入到第三层卷积网络层进行卷积。

所述第二深度卷积网络还包括：第二拼接层；所述第二拼接层将所述第二深度卷积网络的第四层卷积网络层输出的特征映射图像与输入至所述第一深度卷积网络的输入图像在数量维度上串联起来，并输入到所述第二深度卷积网络的第一层卷积网络层进行卷积。

network1的卷积核尺寸小但个数多，能够从较小而较多的局部图像视野角度发现图像的内部细节，加上第一拼接层的细化作用，out1层能够输出具有相当细节信息的透射率图像。Network2在network1输出透射率图像的基础上在原输入图像的引导下进一步在更大的局部视野上观察图像相对全局的信息，主要是完成对透射率整体像素值大小的调整，out2层输出的透射率具有更加全局的深度信息。通过network1和network2在不同尺度视野上对图像的边缘细节信息进行观察和特征提取，从而使得深度卷积网络输出的透射率图像同时具有多尺度的深度信息，更加符合自然场景的深度规律和人对事物的感知。

具体的，对多尺度深度卷积网络进行训练时，首先对network1训练到收敛状态，然后维持network1网络结构的权重不变对network2进行训练，network2的训练过程中network1的学习率为0，误差只向network2反向传播，而不会传播到network1。

由于网络包含众多的参数，为加速训练过程，可使用图形处理器(Graphics_processing_unit，GPU)进行并行加速。

在步骤S103中，输入待去雾的有雾图像至训练好的所述深度卷积网络或者所述多尺度深度卷积网络中，输出所述有雾图像的透射率。

在本发明实施例中，可以输入待去雾的有雾图像至训练好的所述多尺度深度卷积网络中，输出所述有雾图像的透射率。

在步骤S104中，根据雾天成像模型、大气光值和所述有雾图像的透射率，将所述有雾图像恢复为无雾图像。

在本发明实施例中，根据公式I(x)＝J(x)t(x)+A(1-t(x))可以得到最后的去雾图像，其中A有两种选择：(1)A＝[1,1,1]；(2)取图像中雾浓度最高、最不透明区域的前0.1％最亮像素，实验证明第二种方案估计的大气光值更合理，去雾图像整体上更亮且色彩更加自然。

本实施例，通过深度卷积网络计算出透射率参数，深度卷积网络是一种监督式的深度学习模型，通过深度卷积网络可以从有雾图像直接回归计算出透射率参数，是像素(图像块)到像素的非线性映射。跟卷积神经网络一样可以直接对原始的图像数据进行训练，而无需对训练图像进行增强拉伸等预处理，初始的无论何种质量的有雾图像都可以直接送到深度卷积网络模型中计算，减少了数据准备的时间和预处理的麻烦，并且相比传统的卷积神经网络，深度卷积神经网络层数更多，能力更强，局部处理复杂图像和复杂变换的能力。另外，多尺度深度卷积网络则是在不同尺度层面对透射率参数进行从粗到细的学习，从而使得网络输出的透射率图像同时具有多尺度的深度信息，更加符合自然场景的深度规律和人对事物的感知，得到的去雾图像整体上更亮且色彩更加自然。

应理解，在本发明实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

实施例二

图6示出了本发明实施例二提供的图像去雾的装置的具体结构框图，为了便于说明，仅示出了与本发明实施例相关的部分。该图像去雾的装置6包括：人工加雾单元61、模型训练单元62、透射率输出单元63和图像去雾单元64。

其中，人工加雾单元61，用于对不含雾图像进行人工加雾，生成含雾图像；

模型训练单元62，用于输入含雾图像和所述含雾图像的透射率至深度卷积网络或者多尺度深度卷积网络，训练所述深度卷积网络或者所述多尺度深度卷积网络，直至所述深度卷积网络或者所述多尺度深度卷积网络输出的透射率与所述含雾图像的透射率之间的误差小于预设的误差阈值；

透射率输出单元63，用于输入待去雾的有雾图像至训练好的所述深度卷积网络或者所述多尺度深度卷积网络中，输出所述有雾图像的透射率；

图像去雾单元64，用于根据雾天成像模型、大气光值和所述有雾图像的透射率，将所述有雾图像恢复为无雾图像。

进一步地，所述人工加雾单元61，包括：

场景深度获取模块，用于获取不含雾图像的场景深度；

设定模块，用于设定加雾的浓度和大气光值；

转换模块，用于将雾的浓度和场景深度转换为透射率；

人工加雾模块，用于根据雾天成像模型、大气光值和所述透射率，对不含雾图像进行人工加雾。

具体的，所述深度卷积网络包括：

多层卷积网络层；

多层全连接的网络层；

每层卷积网络层均采用受限制的非线性激活函数；

非线性激活函数为ReLU触发激活。

进一步地，所述深度卷积网络包括3层卷积网络层，第一层由32个7×7的滤波器构成，第二层由16个5×5的滤波器组成，第三层由1个5×5的滤波器组成。

进一步地，所述深度卷积网络还包括：

拼接层；

所述拼接层将第一层卷积网络层输出的32个特征映射图像与输入至所述深度卷积网络的输入图像在数量维度上串联起来，生成35个特征映射图像，并将所述35个特征映射图像输入到第二层卷积网络层进行卷积。

进一步地，所述多尺度深度卷积网络包括第一深度卷积网络和第二深度卷积网络；

所述第一深度卷积网络和所述第二深度卷积网络均由四层卷积网络层组成；

所述第一深度卷积网络的卷积网络层的卷积核尺寸相比所述第二深度卷积网络的卷积网络层的卷积核尺寸，小但个数多。

进一步地，所述第一深度卷积网络的第一层由48个5×5的滤波器构成，第二层由128个3×3的滤波器组成，第三层由32个3×3的滤波器组成，第四层由1个3×3的滤波器组成；

所述第二深度卷积网络的第一层由64个9×9的滤波器构成，第二层由64个5×5的滤波器组成，第三层由32个5×5的滤波器组成，第四层由1个3×3的滤波器组成。

进一步地，所述第一深度卷积网络还包括：

第一拼接层；

所述第一拼接层将第二层卷积网络层输出的特征映射图像与输入至所述第一深度卷积网络的输入图像在数量维度上串联起来，并输入到第三层卷积网络层进行卷积；

所述第二深度卷积网络还包括：

第二拼接层；

所述第二拼接层将所述第二深度卷积网络的第四层卷积网络层输出的特征映射图像与输入至所述第一深度卷积网络的输入图像在数量维度上串联起来，并输入到所述第二深度卷积网络的第一层卷积网络层进行卷积。

本发明实施例提供图像去雾的装置可以应用在前述对应的方法实施例一中，详情参见上述实施例一的描述，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (16)

1.一种图像去雾的方法，其特征在于，包括：

对不含雾图像进行人工加雾，生成含雾图像；

输入含雾图像和所述含雾图像的透射率至深度卷积网络或者多尺度深度卷积网络，训练所述深度卷积网络或者所述多尺度深度卷积网络，直至所述深度卷积网络或者所述多尺度深度卷积网络输出的透射率与所述含雾图像的透射率之间的误差小于预设的误差阈值；

输入待去雾的有雾图像至训练好的所述深度卷积网络或者所述多尺度深度卷积网络中，输出所述有雾图像的透射率；

根据雾天成像模型、大气光值和所述有雾图像的透射率，将所述有雾图像恢复为无雾图像。

2.如权利要求1所述的方法，其特征在于，所述对不含雾图像进行人工加雾，包括：

获取不含雾图像的场景深度；

设定加雾的浓度和大气光值；

将雾的浓度和场景深度转换为透射率；

根据雾天成像模型、大气光值和所述透射率，对不含雾图像进行人工加雾。

3.如权利要求1或2所述的方法，其特征在于，所述深度卷积网络包括：

多层卷积网络层；

多层全连接网络层；

每层卷积网络层和全连接的网络层均采用受限制的非线性激活函数；

非线性激活函数为ReLU触发激活。

4.如权利要求3所述的方法，其特征在于，所述深度卷积网络包括3层卷积网络层，第一层由32个7×7的滤波器构成，第二层由16个5×5的滤波器组成，第三层由1个5×5的滤波器组成。

5.如权利要求4所述的方法，其特征在于，所述深度卷积网络还包括：

拼接层；

所述拼接层将第一层卷积网络层输出的32个特征映射图像与输入至所述深度卷积网络的输入图像在数量维度上串联起来，生成35个特征映射图像，并将所述35个特征映射图像输入到第二层卷积网络层进行卷积。

6.如权利要求3所述的方法，其特征在于，所述多尺度深度卷积网络包括第一深度卷积网络和第二深度卷积网络；

所述第一深度卷积网络和所述第二深度卷积网络均由四层卷积网络层组成；

所述第一深度卷积网络的卷积网络层的卷积核尺寸相比所述第二深度卷积网络的卷积网络层的卷积核尺寸，小但个数多。

7.如权利要求6所述的方法，其特征在于，所述第一深度卷积网络的第一层由48个5×5的滤波器构成，第二层由128个3×3的滤波器组成，第三层由32个3×3的滤波器组成，第四层由1个3×3的滤波器组成；

所述第二深度卷积网络的第一层由64个9×9的滤波器构成，第二层由64个5×5的滤波器组成，第三层由32个5×5的滤波器组成，第四层由1个3×3的滤波器组成。

8.如权利要求7所述的方法，其特征在于，所述第一深度卷积网络还包括：

第一拼接层；

所述第一拼接层将第二层卷积网络层输出的特征映射图像与输入至所述第一深度卷积网络的输入图像在数量维度上串联起来，并输入到第三层卷积网络层进行卷积；

所述第二深度卷积网络还包括：

第二拼接层；

所述第二拼接层将所述第二深度卷积网络的第四层卷积网络层输出的特征映射图像与输入至所述第一深度卷积网络的输入图像在数量维度上串联起来，并输入到所述第二深度卷积网络的第一层卷积网络层进行卷积。

9.一种图像去雾的装置，其特征在于，包括：

人工加雾单元，用于对不含雾图像进行人工加雾，生成含雾图像；

模型训练单元，用于输入含雾图像和所述含雾图像的透射率至深度卷积网络或者多尺度深度卷积网络，训练所述深度卷积网络或者所述多尺度深度卷积网络，直至所述深度卷积网络或者所述多尺度深度卷积网络输出的透射率与所述含雾图像的透射率之间的误差小于预设的误差阈值；

透射率输出单元，用于输入待去雾的有雾图像至训练好的所述深度卷积网络或者所述多尺度深度卷积网络中，输出所述有雾图像的透射率；

图像去雾单元，用于根据雾天成像模型、大气光值和所述有雾图像的透射率，将所述有雾图像恢复为无雾图像。

10.如权利要求9所述的装置，其特征在于，所述人工加雾单元，包括：

场景深度获取模块，用于获取不含雾图像的场景深度；

设定模块，用于设定加雾的浓度和大气光值；

转换模块，用于将雾的浓度和场景深度转换为透射率；

人工加雾模块，用于根据雾天成像模型、大气光值和所述透射率，对不含雾图像进行人工加雾。

11.如权利要求9或10所述的装置，其特征在于，所述深度卷积网络包括：

多层卷积网络层；

多层全连接的网络层；

每层卷积网络层均采用受限制的非线性激活函数；

非线性激活函数为ReLU触发激活。

12.如权利要求11所述的装置，其特征在于，所述深度卷积网络包括3层卷积网络层，第一层由32个7×7的滤波器构成，第二层由16个5×5的滤波器组成，第三层由1个5×5的滤波器组成。

13.如权利要求12所述的装置，其特征在于，所述深度卷积网络还包括：

拼接层；

所述拼接层将第一层卷积网络层输出的32个特征映射图像与输入至所述深度卷积网络的输入图像在数量维度上串联起来，生成35个特征映射图像，并将所述35个特征映射图像输入到第二层卷积网络层进行卷积。

14.如权利要求11所述的装置，其特征在于，所述多尺度深度卷积网络包括第一深度卷积网络和第二深度卷积网络；

所述第一深度卷积网络和所述第二深度卷积网络均由四层卷积网络层组成；

所述第一深度卷积网络的卷积网络层的卷积核尺寸相比所述第二深度卷积网络的卷积网络层的卷积核尺寸，小但个数多。

15.如权利要求14所述的装置，其特征在于，所述第一深度卷积网络的第一层由48个5×5的滤波器构成，第二层由128个3×3的滤波器组成，第三层由32个3×3的滤波器组成，第四层由1个3×3的滤波器组成；

所述第二深度卷积网络的第一层由64个9×9的滤波器构成，第二层由64个5×5的滤波器组成，第三层由32个5×5的滤波器组成，第四层由1个3×3的滤波器组成。

16.如权利要求15所述的装置，其特征在于，所述第一深度卷积网络还包括：

第一拼接层；

所述第一拼接层将第二层卷积网络层输出的特征映射图像与输入至所述第一深度卷积网络的输入图像在数量维度上串联起来，并输入到第三层卷积网络层进行卷积；

所述第二深度卷积网络还包括：

第二拼接层；

所述第二拼接层将所述第二深度卷积网络的第四层卷积网络层输出的特征映射图像与输入至所述第一深度卷积网络的输入图像在数量维度上串联起来，并输入到所述第二深度卷积网络的第一层卷积网络层进行卷积。