CN106780356A - 基于卷积神经网络和先验信息的图像去雾方法 - Google Patents

Abstract

本发明属于图像处理、计算机视觉技术领域，为提出一种能够有效移除图像中雾影响的图像去雾方法，实现基于深度学习和先验信息的图像去雾。本发明，基于卷积神经网络和先验信息的图像去雾方法，雾天气的成像模型表示为：I(x)＝J(x)t(x)+A(1‑t(x)) 式中，I(x)是雾天拍摄的图像，J(x)是清晰的图像，A是全局背景光，t(x)∈[0,1]为媒介透射率，媒介透射率表示为：t(x)＝exp(‑βd(x)),式中，β为大气衰减因子，d(x)为场景深度，采用深度学习技术结合雾图像先验信息相结合的方式进行估计，再根据成像模型采用反补偿技术恢复出清晰的图像。本发明主要应用于图像处理场合。

Description

基于卷积神经网络和先验信息的图像去雾方法

技术领域

本发明属于图像处理、计算机视觉技术领域，涉及一种基于卷积神经网络和先验信息的图像去雾方法。

背景技术

空气中存在雾、霾、灰尘等悬浮颗粒，因此有雾天气拍摄的图像往往存在低对比度、模糊、颜色失真等退化现象。当有雾图像被用于视频分析、辅助驾驶等实际应用领域中往往展示出一定的局限性。近些年来，图像去雾在计算机应用和消费摄影等研究领域已经成为一个积极的研究方向。然而，图像去雾仍然是一个具有挑战性的不适定问题。

在过去的几年里，很多图像去雾方法被提出，主要可以分为以下几类：基于辅助信息的方法、基于非模型的方法，基于先验/假设的方法，基于学习的方法。尽管图像去雾领域已经取得了很大进步，但仍存在一些问题。基于辅助信息的方法具有一些阻碍其实际应用的问题。例如，基于硬件设备的方法往往较贵且操作复杂，同一场景拍摄的多幅图像或者场景深度信息很难获得。基于非模型的方法常常会产生过度增强或者欠增强的区域，甚至产生颜色偏差或者伪影。尽管基于先验/假设的方法已经取得了较大的成功，但这类方法被高计算复杂度、估计的场景深度准确度以及挑战性场景的普适性所限制。最近，基于学习的方法被用来

移除图像中的雾影响。然而，这类方法需要提高其训练和处理速度。

发明内容

为克服现有技术的不足，本发明旨在通过结合卷积神经网络和雾图像的先验信息，研究一种能够有效移除图像中雾影响的图像去雾方法，实现基于深度学习和先验信息的图像去雾。本发明采用的技术方案是，基于卷积神经网络和先验信息的图像去雾方法，雾天气的成像模型表示为：

I(x)＝J(x)t(x)+A(1-t(x))

式中，I(x)是雾天拍摄的图像，J(x)是清晰的图像，A是全局背景光，t(x)∈[0,1]为媒介透射率，媒介透射率表示为：

t(x)＝exp(-βd(x)),

式中，β为大气衰减因子，d(x)为场景深度，采用深度学习技术结合雾图像先验信息相结合的方式进行估计，再根据成像模型采用反补偿技术恢复出清晰的图像。

进一步地具体步骤是，

1)先验信息是指像颜色衰减先验

亮度与饱和度强度的差值与媒介透射率呈现某种程度的反比关系，表示为：

式中，x为图像中的像素位置，c(x)为图像中雾的浓度，v(x)和s(x)分别为图像的亮度分量强度和饱和度分量强度，v(x)-s(x)称为颜色衰减先验；

2)端对端的卷积神经网络

设计3层的端对端的卷积神经网络，该网络对输入的先验图进行3层卷积处理，分别是块抽取与表示、非线性映射、重构，具体处理流程如下：

首先，对先验图进行密集抽取图像块，并且采用适当数目的滤波器代表图像块：

F₁(P)＝min(max(0,W₁*P+B₁),1),

式中，P为颜色衰减先验图，W₁和B₁分别是滤波器和偏差量，“*”表示卷积，这里，W₁的大小为f₁×f₁×n₁，f₁为1个滤波器的大小，n₁是滤波器的个数，B₁是n₁维的向量；

接下来，对第1层中每个图像块中n₁维特征进行卷积处理，表示为：

F₂(P)＝min(max(0,W₂*F₁(P)+B₂),1)

式中，W₂包含n₂个大小为n₁×f₂×f₂的滤波器，B₂为n₂维的向量，

最后，对第2层非线性映射的结果进行重构，具体表示为：

F₃(P)＝W₃*F₂(P)+B₃

式中，W₃为包含1个大小为n₂×f₃×f₃的滤波器，B₃为1维向量，该3层卷积处理过程中，存在较多未知参数，表示为：

Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}

为获得这些未知的滤波器参数，采用最小均方误差MSE作为损失函数，通过最小化训练颜色衰减先验图样本与对应的媒介透射率图真实结果之间的差距来获得上述未知的网络参数，其在当前未知参数Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}的条件下，损失函数L(Θ)表示为：

式中，N为样本个数，t_i第i个标签媒介透视率，第i个样本经过三层卷积处理的结果F(P_i；Θ)在当前未知参数Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}条件下所估计的透射率大小，通过上述方式进行深度学习训练，获得自动映射雾图像颜色衰减图到媒介透射率图的卷积神经网络模型，当输入一副有雾图像的颜色衰减先验图输入到训练好的卷积神经网络，该网络直接输出其对应的媒介透射率图；

3)反演图像去雾

已知一副有雾图像I(x)，首先计算其颜色衰减先验图，将其输入到已训练好的卷积神经网络模型，自动输出其对应的媒介透射率图t(x)，计算有雾图像三个颜色信道RGB中局部最小值，获得对应的暗通道图，对暗通道图中的像素进行从大到小排序，获取排在前0.1％的像素点的位置。将有雾图像对应位置上的像素点的平均像素值作为本发明中的全局背景光值，最后，将已经获得的全局背景光A、媒介透射率图t(x)、有雾图像I(x)代入雾图像的成型模型，反演出清晰的图像J(x)，具体表示为：

本发明的特点及有益效果是：

1)本发明首次将卷积神经网络与有雾图像的先验信息相结合进行图像去雾，相较以往单纯采用假设条件或者先验知识的方法相比，本发明的方法可以更加准确的估计有雾图像的媒介透射率，并且更加有效的去除雾对图像的影响；

2)本发明发明了通过直接映射有雾图像的颜色衰减先验图到对应的媒介透射率图，该方法与现有的基于学习的图像去雾方法相比，具有更快的训练速度；

3)本发明发明了一种基于卷积神经网络与图像先验信息的图像去雾方法，该方法与现有方法相比较，可以获得更好的去雾效果，具有应对挑战性有雾图像更好的鲁棒性，去雾后的图像更加真实自然。

附图说明：

图1给出了本发明图像去雾的流程框图；

图2给出了设计的端对端的卷积神经网络结构。

具体实施方式

本发明充分利用深度学习网络框架的学习能力和有雾图像先验信息的有效性，发明一种基于卷积神经网络和先验信息的图像去雾方法。雾天气的成像模型可以表示为：

I(x)＝J(x)t(x)+A(1-t(x))，

式中，I(x)是雾天拍摄的图像，J(x)是清晰的图像，A是全局背景光，t(x)∈[0,1]为媒介透射率。媒介透射率是图像去雾的关键因素，并且其与拍摄场景的深度有关，可表示为：

t(x)＝exp(-βd(x)),

式中，β为大气衰减因子，d(x)为场景深度。为了恢复出清晰的图像，准确的估计出图像的媒介透射率是至关重要的。本发明针对媒介透射率的准确估计展开研究，采用深度学习技术结合雾图像先验信息相结合的方式进行估计。最后，根据成像模型采用反补偿技术恢复出清晰的图像，具体技术方案详述如下：

1有雾图像颜色衰减先验

大量的统计实验发现，有雾图像的亮度强度和饱和度强度的差值与图像中雾的浓度呈正比。又因为媒介透射率与雾浓度成反比，因此亮度与饱和度强度的差值与媒介透射率呈现某种程度的反比关系，可以表示为：

式中，x为图像中的像素位置，t(x)为媒介透射率，c(x)为图像中雾的浓度，v(x)和s(x)分别为图像的亮度分量强度和饱和度分量强度，v(x)-s(x)称为颜色衰减先验。一副有雾图像，我们进行简单的运算就可以获得其颜色衰减先验。因为，我们希望通过卷积神经网络的学习能力，学习到颜色衰减先验和媒介透射率之间的数学表达关系。当输入一副有雾图像的颜色衰减先验图输入到训练好的卷积神经网络，该网络可以直接输出其对应的媒介透射率图。因此本发明还设计了一个具有较强学习能力的端对端的卷积神经网络。

2端对端的卷积神经网络

为了自动映射有雾图像的颜色衰减先验图到其对应的媒介透射率图，我们设计了一个3层的端对端的卷积神经网络，该网络对输入的先验图进行3层卷积处理，分别是块抽取与表示、非线性映射、重构，具体处理流程如下：

首先，对先验图进行密集抽取图像块，并且采用适当数目的滤波器代表图像块：

F₁(P)＝min(max(0,W₁*P+B₁),1),

式中，P为颜色衰减先验图，W₁和B₁分别是滤波器和偏差量，“*”表示卷积。这里，W₁的大小为f₁×f₁×n₁，f₁为1个滤波器的大小，n₁是滤波器的个数。B₁是n₁维的向量。

接下来，对第1层中每个图像块中n₁维特征进行卷积处理，可表示为：

F₂(P)＝min(max(0,W₂*F₁(P)+B₂),1),

式中，W₂包含n₂个大小为n₁×f₂×f₂的滤波器，B₂为n₂维的向量。

最后，对第2层非线性映射的结果进行重构，具体可表示为：

F₃(P)＝W₃*F₂(P)+B₃

式中，W₃为包含1个大小为n₂×f₃×f₃的滤波器，B₃为1维向量。该3层卷积处理过程中，存在较多未知参数，可表示为：

Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}，

为获得这些未知的滤波器参数，本发明采用MSE(最小均方误差)作为损失函数，通过最小化训练样本(颜色衰减先验图)与真实结果(对应的媒介透射率图)之间的差距来获得上述未知的网络参数，其在当前未知参数Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}的条件下，损失函数L(Θ)可表示为：

式中，N为样本个数，t_i第i个标签媒介透视率，第i个样本经过三层卷积处理的结果F(P_i；Θ)在当前未知参数Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}条件下所估计的透射率大小。通过上述方式进行训练，可以获得自动映射雾图像颜色衰减图到媒介透射率图的卷积神经网络模型。

3反演图像去雾

已知一副有雾图像I(x)，首先计算其颜色衰减先验图，将其输入到已训练好的卷积神经网络模型，自动输出其对应的媒介透射率图t(x)。计算有雾图像三个颜色信道RGB中局部最小值，获得对应的暗通道图，对暗通道图中的像素进行从大到小排序，获取排在前0.1％的像素点的位置。将有雾图像对应位置上的像素点的平均像素值作为本发明中的全局背景光值。最后，将已经获得的全局背景光A、媒介透射率图t(x)、有雾图像I(x)代入雾图像的成型模型，反演出清晰的图像J(x)，具体可以表示为：

下面结合算法流程框图对本发明进行详细的描述。

如图1所示，本发明提供一种结合卷积神经网络和有雾图像颜色衰减先验的图像去雾方法，其包括以下步骤：

步骤1：计算有雾图像的颜色衰减先验图

将有雾图像从RGB颜色空间转换到HSV颜色空间，其中v为亮度强度分量，s为饱和度强度分量，颜色衰减先验图P可以表示为：

P(x)＝v(x)-s(x)。

步骤2：端对端的卷积神经网络预测媒介透射率图

如图2所示，本发明设计了一个3层的端对端卷积神经网络，该网络对输入的先验图进行3层卷积处理，分别是块抽取与表示、非线性映射、重构，具体处理流程如下：

首先，对先验图进行密集抽取图像块，并且采用适当数目的滤波器代表图像块：

F₁(P)＝min(max(0,W₁*P+B₁),1),

式中，P为颜色衰减先验图，W₁和B₁分别是滤波器和偏差量，“*”表示卷积。这里，W₁的大小为f₁×f₁×n₁，f₁为1个滤波器的大小，n₁是滤波器的个数。B₁是n₁维的向量。

接下来，对第1层中每个图像块中n₁维特征进行卷积处理，可表示为：

F₂(P)＝min(max(0,W₂*F₁(P)+B₂),1),

式中，W₂包含n₂个大小为n₁×f₂×f₂的滤波器，B₂为n₂维的向量。

最后，对第2层非线性映射的结果进行重构，具体可表示为：

F₃(P)＝W₃*F₂(P)+B₃

式中，W₃为包含1个大小为n₂×f₃×f₃的滤波器，B₃为1维向量。该3层卷积处理过程中，存在较多未知参数，可表示为：

Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}，

为获得这些未知的滤波器参数，本发明采用MSE(最小均方误差)作为损失函数，通过最小化训练样本(颜色衰减先验图)与真实结果(对应的媒介透射率图)之间的差距来获得上述未知的网络参数，其在当前未知参数Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}的条件下，损失函数L(Θ)可表示为：

式中，N为样本个数，t_i第i个标签媒介透视率，第i个样本经过三层卷积处理的结果F(P_i；Θ)在当前未知参数Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}条件下所估计的透射率大小。通过上述方式进行训练，可以获得自动映射雾图像颜色衰减图到媒介透射率图的卷积神经网络模型。为了训练该网络，本发明从网络上收集了143104个大小为33×33的图像块，并采用这些收集的图像，并依据有雾天气成像模型合成有雾图像块作为训练样本。该网络采用的滤波器个数和大小设置如下f₁＝9,f₂＝1,f₃＝5,n₁＝64,n₂＝32。

步骤3：反演图像去雾

已知一副有雾图像I(x)，首先计算其颜色衰减先验图，将其输入到已训练好的卷积神经网络模型，自动输出其对应的媒介透射率图t(x)。计算有雾图像三个颜色信道RGB中局部最小值，获得对应的暗通道图，对暗通道图中的像素进行从大到小排序，获取排在前0.1％的像素点的位置。将有雾图像对应位置上的像素点的平均像素值作为本发明中的全局背景光值。最后，将已经获得的全局背景光A、媒介透射率图t(x)、有雾图像I(x)代入雾图像的成型模型，反演出清晰的图像J(x)，具体可以表示为：

Claims (2)

1.一种基于卷积神经网络和先验信息的图像去雾方法，其特征是，雾天气的成像模型表示为：

I(x)＝J(x)t(x)+A(1-t(x))

式中，I(x)是雾天拍摄的图像，J(x)是清晰的图像，A是全局背景光，t(x)∈[0,1]为媒介透射率，媒介透射率表示为：

t(x)＝exp(-βd(x))

式中，β为大气衰减因子，d(x)为场景深度，采用深度学习技术结合雾图像先验信息相结合的方式进行估计，再根据成像模型采用反补偿技术恢复出清晰的图像。

2.如权利要求1所述的基于卷积神经网络和先验信息的图像去雾方法，其特征是，进一步地具体步骤是，

1)先验信息是指像颜色衰减先验

亮度与饱和度强度的差值与媒介透射率呈现某种程度的反比关系，表示为：

$t\left(x\right)\∝\frac{1}{c\left(x\right)}\∝\frac{1}{v\left(x\right)-s\left(x\right)},$

式中，x为图像中的像素位置，c(x)为图像中雾的浓度，v(x)和s(x)分别为图像的亮度分量强度和饱和度分量强度，v(x)-s(x)称为颜色衰减先验；

2)端对端的卷积神经网络

设计3层的端对端的卷积神经网络，该网络对输入的先验图进行3层卷积处理，分别是块抽取与表示、非线性映射、重构，具体处理流程如下：

首先，对先验图进行密集抽取图像块，并且采用适当数目的滤波器代表图像块：

F₁(P)＝min(max(0,W₁*P+B₁),1),

式中，P为颜色衰减先验图，W₁和B₁分别是滤波器和偏差量，“*”表示卷积，这里，W₁的大小为f₁×f₁×n₁，f₁为1个滤波器的大小，n₁是滤波器的个数，B₁是n₁维的向量；

接下来，对第1层中每个图像块中n₁维特征进行卷积处理，表示为：

F₂(P)＝min(max(0,W₂*F₁(P)+B₂),1)

式中，W₂包含n₂个大小为n₁×f₂×f₂的滤波器，B₂为n₂维的向量，

最后，对第2层非线性映射的结果进行重构，具体表示为：

F₃(P)＝W₃*F₂(P)+B_3.

式中，W₃为包含1个大小为n₂×f₃×f₃的滤波器，B₃为1维向量，该3层卷积处理过程中，存在较多未知参数，表示为：

Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}

为获得这些未知的滤波器参数，采用最小均方误差MSE作为损失函数，通过最小化训练颜色衰减先验图样本与对应的媒介透射率图真实结果之间的差距来获得上述未知的网络参数，其在当前未知参数Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}的条件下，损失函数L(Θ)表示为：

$L\left(\mathrm{\Θ}\right)=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}\left|\right|F(P_i;\mathrm{\Θ})-t_i|{|}^2$

式中，N为样本个数，t_i第i个标签媒介透视率，第i个样本经过三层卷积处理的结果F(P_i；Θ)在当前未知参数Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}条件下所估计的透射率大小，通过上述方式进行深度学习训练，获得自动映射雾图像颜色衰减图到媒介透射率图的卷积神经网络模型，当输入一副有雾图像的颜色衰减先验图输入到训练好的卷积神经网络，该网络直接输出其对应的媒介透射率图；

3)反演图像去雾

已知一副有雾图像I(x)，首先计算其颜色衰减先验图，将其输入到已训练好的卷积神经网络模型，自动输出其对应的媒介透射率图t(x)，计算有雾图像三个颜色信道RGB中局部最小值，获得对应的暗通道图，对暗通道图中的像素进行从大到小排序，获取排在前0.1％的像素点的位置。将有雾图像对应位置上的像素点的平均像素值作为本发明中的全局背景光值，最后，将已经获得的全局背景光A、媒介透射率图t(x)、有雾图像I(x)代入雾图像的成型模型，反演出清晰的图像J(x)，具体表示为：

$J\left(x\right)=\frac{1}{t\left(x\right)}\left(I\right(x)-A)+A.$