CN105719247B - 基于特征学习的单幅图像去雾方法 - Google Patents

Abstract

本发明公开了一种基于特征学习的单幅图像去雾方法，首先通过稀疏自动编码机对有雾图像进行多尺度的纹理结构特征提取，与此同时，抽取各种与雾相关的颜色特征。然后，采用多层神经网络进行样本训练，学习得到雾天条件下纹理结构特征及颜色特征与场景深度间的映射关系，并估算出有雾图像的场景深度图。在此基础上，利用场景深度图近似地估算出透射率图。该透射率能图有效反映了有雾图像中各个局部区域的雾气浓度。最后，结合大气散射模型，根据透射率图进一步复原出无雾图像。本方法能够对有雾图像进行复原，得到更高质量的无雾图像，并且与现有的去雾方法相比，具有更好的场景普适能力。

Description

基于特征学习的单幅图像去雾方法

技术领域

本发明涉及计算机视觉领域，更具体地，涉及到一种基于特征学习的单幅图像去雾方法。

背景技术

在雾、霾等恶劣天气下，大气中存在较多的水滴或尘粒，致使光在传播过程中发生散射或被吸收，此时户外拍摄的图像往往模糊不清，对比度较低。监控设备等依赖于户外图像的系统性能急剧下降，甚至无法正常运作。因此，对图像进行去雾处理具有重要意义。

目前图像去雾的方法主要可分为两类：一类是使用图像增强的方法，即通过增强图像的对比度来达到去雾目的，这类方法可以应用并有针对性地改良已有的成熟图像处理算法，对薄雾图像能够取得较好的去雾效果，但由于没有针对成雾的客观原因，所以不能从根本上实现去雾。另一类是基于物理模型的去雾方法，该类方法通过研究大气成雾以及图像退化的客观机理，构建出大气散射模型，再根据模型对雾天图像复原，从而实现去雾。然而，这两类方法都存在着一个共同的局限性，即只利用了颜色特征，而没有考虑到与雾霾相关的纹理结构特征，致使透射率的估计精度受到限制，因此具有一定的场景局限性。

发明内容

为了更好地利用图像纹理、结构和颜色等特征以提高去雾效果，本方法提出一种基于特征学习的单幅图像去雾方法。首先通过稀疏自动编码机对有雾图像进行多尺度的纹理结构特征提取，同时抽取各种与雾相关的颜色特征。然后采用多层神经网络进行样本训练，学习得到雾天条件下纹理结构特征及颜色特征与场景深度间的映射关系，并估算出有雾图像的场景深度图。最后结合大气散射模型，根据场景深度图复原无雾图像。该方法能够复原出更高质量的无雾图像，且具有更好的场景普适能力。

为了克服现有技术的不足，本发明的技术方案为：

一种基于特征学习的单幅图像去雾方法，包括以下步骤：

S1.获取一组有雾图像I^set及其对应的场景深度图d^set作为训练数据集；

S2.利用数据集I^set和d^set训练稀疏自动编码机，该稀疏自动编码机用于提取与雾相关的纹理结构特征；

S3.利用训练好的稀疏自动编码机，对I^set中的每一幅有雾图像I_i提取与雾有关的纹理结构特征T_i；

S4.对I^set中的每一幅有雾图像I_i提取与雾有关的颜色特征D_i、C_i、R_i、G_i和B_i，分别表示暗原色特征、颜色衰减特征、图像的R通道、图像的G通道和图像的B通道；

S5.以I^set中每一幅有雾图像所提取的特征T_i、D_i、C_i、R_i、G_i和B_i作为输入的训练数据，同时以d^set中对应的场景深度图d_i作为训练标签，训练多层神经网络。该网络用于表示不同特征组合与场景深度之间的映射关系，以有雾图像的纹理结构特征及不同的颜色特征作为输入，输出其对应的场景深度；

S6.输入一幅待复原的有雾图像I，利用训练好的稀疏自动编码机提取有雾图像I的与雾相关的纹理结构特征T；

S7.提取有雾图像I的与雾相关的颜色特征D、C、R、G和B；

S8.利用训练好的多层神经网络，以T、D、C、R、G和B作为输入，输出有雾图像I所对应的场景深度图d；

S9.根据大气散射模型，利用d估算出大气光照度A；

S10.结合有雾图像I、场景深度图d和大气光照度A，复原出对应的无雾图像J。

更进一步地，所述步骤S2中的稀疏自动编码机是经过样本训练得到的，具体的训练方法为：

给定一组有雾图像I^set及其对应的场景深度图d^set，图1给出了用于提取景物纹理和结构特征的稀疏自动编码机及其训练过程。该自动编码机由两部分组成:第一部分为稀疏编码，用于提取局部块的主要纹理与结构特征，通过一个无监督的自学习神经网络实现，如图1(c)所示，网络的输入是向量化的局部块，S是对输入向量进行降维后所得到的特征，网络的输出为S再次映射到高维时所得到的输出向量；第二部分为一个2层神经网络，用于获得纹理结构特征与场景深度之间的映射关系。稀疏自动编码机中的网络使用sigmoid函数f(x)＝1/(1+e^-x)作为传输函数，其训练时，首先从训练样本集I^set中，随机组成选取20,000个大小为r×r的局部块作为第一部分的网络输入，进行无监督学习。然后，以第一部分隐含层输出作为第二部分的网络输入。最后，对每一个r×r的局部块，在训练样本集d^set中找到相对应的局部块，以其中心位置的场景深度作为标签，进行有监督学习。神经网络中参数的学习通过反向传播算法实现。

更进一步地，所述步骤S4中对于一幅有雾图像I，与雾相关的各种颜色特征的提取方法。具体实现如下：

给定一幅有雾图像I及其对应的大气光照度A，本方法需要提取3类颜色特征，分别是：暗原色特征、颜色衰减特征以及图像的RGB空间下的3个通道分量。

暗原色特征定义如下：

其中，Ω(x)是以x为中心，大小为15×15的局部块，I^c表示有雾图像I在颜色通道c下的分量，D表示局部块尺寸为15×15的暗原色特征。

颜色衰减特征定义如下：

其中，I^val和I^sat分别为有雾图像在HSV颜色空间下的亮度分量和饱和度分量，θ₀、θ₁和θ₂为线性系数，θ₀＝0.1893，θ₁＝1.0267，θ₂＝-1.2966。

有雾图像I中RGB空间下的三个分量(R通道分量、G通道分量和B通道分量)也作为本方法的颜色特征，定义如下：

R＝I^red,

G＝I^green,

B＝I^blue.

上式中，I^red、I^green和I^blue分别表示有雾图像I在RGB颜色空间上的三个分量。

更进一步地，所述步骤S5中多层神经网络的训练方法，依赖于一组用于训练的有雾图像I^set及其对应的场景深度图d^set。具体的训练方法如下：

图2给出了用于场景深度估计的神经网络模型及其训练过程。该网络包含3层(输入层、隐含层和输出层)，输入层中神经元的个数与特征图的数目相等，隐含层中的神经元个数是输入层的2倍，输出层只有一个神经元，表示最终输出的场景深度。如图2所示，首先分别对训练样本集I^set中的有雾图像I₁,I₂,…,I_n进行特征提取，每一幅有雾图像I_i对应6幅特征图R、G、B、C、D和T。然后，以这些特征作为输入，以训练样本集d^set中的真实场景深度d_i作为标签，采用反向传播算法对网络进行有监督学习。最后得到训练后的神经网络模型。

更进一步地，所述步骤S9中的大气光照度A的估计方法，依赖于一幅有雾图像I及其对应的场景深度图d。具体的估计方法如下：

给定一幅有雾图像I及对应的场景深度图d，其大气光照度A可进一步通过下式估算得出：

其中，x和y用于表示图像中的坐标。

更进一步地，所述步骤S10中利用有雾图像I、大气光照度A和场景深度图d复原出无雾图像的方法。具体的图像复原方法如下：

已知有雾图像I、大气光照度A和场景深度图d，根据大气散射模型，可由下式复原出无雾图像：

其中，β是大气散射系数，一般可取β＝2.0。

与现有技术相比，本发明具有以下有益效果：

1)将原本的求解去雾方程问题转化为机器学习的问题，能够从海量的数据中有针对性地学习出与雾相关的特征，获得场景深度的表达，这种特征表达具有相当高的准确性，对无雾图像的复原起到关键作用，大幅度提高了去雾效果，尤其是当图像中有大量纹理结构规则的区域时，本发明的方法具有明显的优越性。

2)结合各种不同类型的与雾相关的颜色特征，使得去雾方法本身具有更强的场景普适能力。这种普适能力主要体现在，本发明的去雾方法不容易受白色物体或大片天空区域影响，而传统去雾方法在处理这些区域时容易失效。

附图说明

图1为本发明的方法中所涉及稀疏自动编码机及其训练过程。

图2为本发明的方法中用于场景深度估计的多层神经网络及其训练过程。

图3为本发明的方法执行步骤示意图。

图4为本发明方法的去雾效果图及估计得出的对应的场景深度图。

具体实施方式

下面结合附图对本发明做进一步的描述，但本发明的实施方式并不限于此。

本发明的方法执行步骤示意图如附图3所示，具体包括如下步骤：

S1.获取一组有雾图像I^set及其对应的场景深度图d^set作为训练数据集；

S2.利用数据集I^set和d^set训练用于提取与雾相关的纹理结构特征的稀疏自动编码机。图1给出了用于提取景物纹理和结构特征的稀疏自动编码机及其训练过程。该自动编码机由两部分组成:第一部分为稀疏编码，用于提取局部块的主要纹理与结构特征，通过一个无监督的自学习神经网络实现，如图1(c)所示，网络的输入是向量化的局部块，S是对输入的向量进行降维后所得到的特征，网络的输出为S再次映射到高维时所得到的输出向量；第二部分为一个2层神经网络，用于获得纹理结构特征与场景深度之间的映射关系。稀疏自动编码机中的网络使用sigmoid函数f(x)＝1/(1+e^-x)作为传输函数，其训练时，首先从训练样本集I^set中，随机组成选取20,000个大小为r×r的局部块作为第一部分的网络输入，进行无监督学习。然后，以第一部分隐含层输出作为第二部分的网络输入。最后，对每一个r×r的局部块，在训练样本集d^set中找到相对应的局部块，以其中心位置的场景深度作为标签，进行有监督学习。神经网络中参数的学习通过反向传播算法实现。

S3.利用训练好的稀疏自动编码机，对I^set中的每一幅有雾图像I_i提取与雾有关的纹理结构特征T_i；

S4.对I^set中的每一幅有雾图像I_i提取与雾有关的颜色特征D_i、C_i、R_i、G_i和B_i，分别表示暗原色特征、颜色衰减特征、图像的R通道、图像的G通道和图像的B通道。

暗原色特征定义如下：

其中，Ω(x)是以x为中心，大小为15_×15的局部块，I^c表示有雾图像I在颜色通道c下的分量，D表示局部块尺寸为15×15的暗原色特征。

颜色衰减特征定义如下：

其中，I^val和I^sat分别为有雾图像在HSV颜色空间下的亮度分量和饱和度分量，θ₀、θ₁和θ₂为线性系数，θ₀＝0.1893，θ₁＝1.0267，θ₂＝-1.2966。

有雾图像I中RGB空间下的三个分量(R通道分量、G通道分量和B通道分量)也作为本方法的颜色特征，定义如下：

R＝I^red,

G＝I^green,

B＝I^blue.

上式中，I^red、I^green和I^blue分别表示有雾图像I在RGB颜色空间上的三个分量。

S5.以I^set中每一幅有雾图像所提取的特征T_i、D_i、C_i、R_i、G_i和B_i作为输入的训练数据，同时以d^set中对应的场景深度图d_i作为训练标签，训练多层神经网络。该网络用于表示不同特征组合与场景深度之间的映射关系，以有雾图像的纹理结构特征及不同的颜色特征作为输入，输出其对应的场景深度。图2给出了用于场景深度估计的神经网络模型及其训练过程。该网络包含3层(输入层、隐含层和输出层)，输入层中神经元的个数与特征图的数目相等，隐含层中的神经元个数是输入层的2倍，输出层只有一个神经元，表示最终输出的场景深度。如图2所示，首先分别对训练样本集I^set中的有雾图像I₁,I₂,…,I_n进行特征提取，每一幅有雾图像I_i对应6幅特征图R、G、B、C、D和T。然后，以这些特征作为输入，以训练样本集d^set中的真实场景深度d_i作为标签，采用反向传播算法对网络进行有监督学习。最后得到训练后的神经网络模型。

S6.输入一幅待复原的有雾图像I，利用训练好的稀疏自动编码机提取有雾图像I的与雾相关的纹理结构特征T；

S7.提取有雾图像I的与雾相关的颜色特征D、C、R、G和B；

S8.利用训练好的多层神经网络，以T、D、C、R、G和B作为输入，输出有雾图像I所对应的场景深度图d；

S9.根据大气散射模型，利用d估算出大气光照度A。给定一幅有雾图像I及对应的场景深度图d，其大气光照度A可进一步通过下式估算得出：

其中，x和y用于表示图像中的坐标。

S10.结合有雾图像I、场景深度图d和大气光照度A，复原出对应的无雾图像J：

其中，β是大气散射系数，一般可取β＝2.0。

图4是本发明方法的去雾效果图及估计得出的对应的场景深度图。实验1中，本发明方法有效复原了大部分纹理细节，例如图像右侧的黄色花朵清晰可见，而对于颜色与雾气较为接近的区域(如女士的脸颊)，在去雾结果图中并没有出现过度去雾的现象。实验2中，对有雾图像进行去雾处理的同时，保持了物体之间的细节，例如图像中部的灯柱和旁边穿黑色衣服的男士，两者的轮廓区别鲜明。实验3中，尽管原有雾图像存在轻微的偏色，但去雾结果并没有受到响应的影响，依然能清晰地复原出远处的景物，颜色自然。

以上所述的本发明的实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所作出的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (1)

1.一种基于特征学习的单幅图像去雾方法，其特征在于，包括以下步骤：

S1.获取一组有雾图像I^set及其对应的场景深度图d^set作为训练数据集；

S2.利用数据集I^set和d^set训练稀疏自动编码机，该稀疏自动编码机用于提取与雾相关的纹理结构特征；

S3.利用训练好的稀疏自动编码机，对I^set中的每一幅有雾图像I_i提取与雾有关的纹理结构特征T_i；

S4.对I^set中的每一幅有雾图像I_i提取与雾有关的颜色特征D_i、C_i、R_i、G_i和B_i，分别表示暗原色特征、颜色衰减特征、图像的R通道、图像的G通道和图像的B通道；

S5.以I^set中每一幅有雾图像所提取的特征T_i、D_i、C_i、R_i、G_i和B_i作为输入的训练数据，同时以d^set中对应的场景深度图d_i作为训练标签，训练多层神经网络；该网络用于表示不同特征组合与场景深度之间的映射关系，以有雾图像的纹理结构特征及不同的颜色特征作为输入，输出其对应的场景深度；

S6.输入一幅待复原的有雾图像I，利用训练好的稀疏自动编码机提取有雾图像I的与雾相关的纹理结构特征T；

S7.提取有雾图像I的与雾相关的颜色特征D、C、R、G和B；

S8.利用训练好的多层神经网络，以T、D、C、R、G和B作为输入，输出有雾图像I所对应的场景深度图d；

S9.根据大气散射模型，利用d估算出大气光照度A；

S10.结合有雾图像I、场景深度图d和大气光照度A，复原出对应的无雾图像J；对于给定一组有雾图像I^set及其对应的场景深度图d^set，所述步骤S2中的稀疏自动编码机是经过样本训练得到的，具体的训练方式为：

自动编码机由两部分组成：第一部分为稀疏编码，用于提取局部块的主要纹理与结构特征，通过一个无监督自学习的3层神经网络实现，网络的输入是向量化的局部块，隐含层的输出S是对输入的向量进行降维后所得到的特征，网络的输出为S再次映射到高维时所得到的输出向量；第二部分为一个2层神经网络，用于获得纹理结构特征与场景深度之间的映射关系；

稀疏自动编码机中的网络使用sigmoid函数f(x)＝1/(1+e^-x)作为传输函数，其训练时，首先从训练样本集I^set中，随机选取N个大小均为r×r的局部块作为第一部分的网络输入，进行无监督学习；然后，以第一部分隐含层输出作为第二部分的网络输入；最后，对每一个r×r的局部块，在训练样本集d^set中找到相对应的局部块，以其中心位置的场景深度作为标签，进行有监督学习；对于一幅有雾图像I，提取与雾有关的颜色特征的提取方法，具体实现如下：

给定一幅有雾图像I及其对应的大气光照度A，提取3类颜色特征，分别是：暗原色特征、颜色衰减特征以及图像的RGB空间下的3个通道分量；

暗原色特征定义如下：

其中，Ω(x)是以x为中心，大小为15×15的局部块，I^c表示有雾图像I在颜色通道c下的分量，D表示局部块尺寸为15×15的暗原色特征；

颜色衰减特征定义如下：

其中，I^val和I^sat分别为有雾图像在HSV颜色空间下的亮度分量和饱和度分量，θ₀、θ₁和θ₂为线性系数；

有雾图像I中RGB空间下的三个分量也作为本方法的颜色特征，三个分量分别为R通道分量、G通道分量和B通道分量，定义如下：

R＝I^red

G＝I^green

B＝I^blue

上式中，I^red、I^green和I^blue分别表示有雾图像I在RGB颜色空间上的三个分量；所述步骤S5中多层神经网络的训练方法，依赖于一组用于训练的有雾图像I^set及其对应的场景深度图d^set；具体的训练方法如下：

多层神经网络包含3层，分别为输入层、隐含层和输出层，输入层中神经元的个数与特征图的数目相等，隐含层中的神经元个数是输入层的2倍，输出层只有一个神经元，表示最终输出的场景深度；其过程为：

首先分别对训练样本集I^set中的有雾图像I₁，I₂，…，I_n进行特征提取，每一幅有雾图像I_i对应6幅特征图R、G、B、C、D和T，然后，以这些特征作为输入，以训练样本集d^set中的真实场景深度d_i作为标签，采用反向传播算法对网络进行有监督学习，最后得到训练后的神经网络模型；

所述步骤S9中的大气光照度A的估计方法，依赖于一幅有雾图像I及其对应的场景深度图d；具体的估计方法如下：

给定一幅有雾图像I及对应的场景深度图d，其大气光照度A可进一步通过下式估算得出：

其中，x和y用于表示图像中的坐标；

所述步骤S10中利用有雾图像I、大气光照度A和场景深度图d复原出无雾图像的方法；具体的图像复原方法如下：

已知有雾图像I、大气光照度A和场景深度图d，根据大气散射模型，可由下式复原出无雾图像：

其中，β是大气散射系数。