CN112419166A - 一种基于局部区域分割与scn结合的图像去雾方法 - Google Patents

Abstract

本发明提出本发明提出的一种基于局部区域分割与SCN结合的图像去雾方法，采用基于信息熵率的超像素分割算法将有雾图像进行区域分块，得到各区域分块图像；利用SCN通过无监督学习方式获取各区域分块图像的雾特征，得到各区域分块图像的雾特征图；基于CNN模型通过有监督学习方式得到特征图与透射率图之间的映射关系，得到各区域分块图像的场景透射率图；采用超引导滤波方法对得到的场景透射率图进行滤波操作；根据大气散射模型反演出无雾图像。本发明方法得到的去雾后图像，去雾效果更明显、稳定性更强，具有较好的场景通用性。

Description

一种基于局部区域分割与SCN结合的图像去雾方法

技术领域

本发明涉及图像去雾领域，特别是指一种基于局部区域分割与SCN结合的 图像去雾方法。

背景技术

在气象条件不佳的情况下，空气中悬浮粒子(如雾、霾和灰尘等)吸收物体 本身的反射光，同时散射大气光，使得拍摄的图像颜色偏灰白、对比度下降， 物体特征难以辨别，降质后的图像不仅视觉效果差，影响后期处理，还会对各 类依赖光学成像仪器的系统(如航拍系统、室外监控和目标识别等)造成严重的 干扰.为此图像去雾技术具有重要的实际意义。

早期的方法通过增加对比度，突出景物特征和有价值信息，达到雾天图像 清晰化目的，之后又提出直方图均衡化方法，通过扩大图像灰度级的动态范围 使其分布大致均匀，从而提高图像的对比度，后期有提出Retinex理论，认为 一幅图像可以表示为照射分量和反射分量的乘积，找到方法分离出反射分量， 然后削弱照射分量以达到图像增强目的；另外，同态滤波算法、小波变换等也 常用来提高图像对比度，此类方法仅仅考虑对比度，没有研究有雾图像退化的 物理模型，去雾效果一般，而且经常造成图像细节丢失，使图像失真。

目前去雾算法大部分基于物理模型。通过研究大气悬浮颗粒对光的散射作 用，建立大气散射模型，先估计出关键的透射率图，然后反演出降质前的图像。 有论文通过分析5000张户外清晰图像，统计出在无雾条件下，图像任意局部小 块内RGB三通道至少有一个强度很小，基于此先验知识利用最小值滤波估计透 射率图，然后反演出无雾图像，但暗通道先验方法过高估计雾的浓度，导致去 雾后图像整体亮度偏暗，且天空区域常出现失真现象.假设大气耗散函数在局 部上变化平缓，利用中值滤波对介质透射系数进行估计，但该方法不能自适应 调整参数，容易产生光晕效应。也有学者使用主成分分析方法，解释了暗通道 先验的合理性，然后利用自适应维也纳滤波代替最小值滤波对场景透射率进行 估计；而且依据图像固有的边界约束，提出一种基于上下文正则加权的方法估 计场景透射率，该方法简单高效，但去雾后图像的天空区域易出现“块效应”， 视觉效果不自然。综上，目前主流算法需要先验知识或人为约束作为前提，在 大部分情况下能够取得理想去雾效果，但在一些复杂场景(如含大面积白色/天 空区域，或者雾浓度较大)失效，因此具有一定的场景局限性。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于局部区 域分割与SCN结合的图像去雾方法，去雾效果更明显、稳定性更强，具有较好 的场景通用性。

本发明采用如下技术方案：

一种基于局部区域分割与SCN结合的图像去雾方法，包括以下步骤：

步骤S1：采用基于信息熵率的超像素分割算法将有雾图像进行区域分块， 得到各区域分块图像；

步骤S2：利用SCN通过无监督学习方式获取各区域分块图像的雾特征，得 到各区域分块图像的雾特征图；

步骤S3：基于CNN模型通过有监督学习方式得到特征图与透射率图之间的 映射关系，得到各区域分块图像的场景透射率图；

步骤S4：采用超引导滤波方法对得到的场景透射率图进行滤波操作；

步骤S5：根据大气散射模型反演出无雾图像。

优选的，步骤S1中所述基于信息熵率的超像素分割算法具体为：

将图像映射成无向图，将图像分割转化为图的区域相似性；

利用最大转移概率定义目标函数；

通过求解目标函数最大值获取相应的区域。

优选的，步骤2中SCN的训练具体包括：

从训练样本集Iset中选择N个大小为r×r的有雾图像块x_i作为输入， 以x_i自身作为标签进行训练，各层之间使用sigmoid作为传输函数，以均方误 差函数MES作为损失函数，通过反向传播算法训练各网络层参数，对于训练 样本x_i，定义各层的输出为：

a(1)＝x_i

a(2)＝f(∑W(1)a(1)+b(1))

a(3)＝f(∑W(2)a(2)+b(2))

...

a(p)＝f(∑W(p-1)a(p-1)+b(p-1))

网络参数通过最小化网络输入x_i和输出之间的loss函数获得，用均方误差 函数作为loss函数，样本的总量为N，则有：

其中网络的层数为p，网络参数W和b表示相邻两层间的联结权重和偏 置，a(·)表示各层的输出值，a(1)＝x_i表示第一层网络的输出为x_i，f(·)代表 sigmoid激活函数，定义为f(·)＝1/(1+exp(－x))。

优选的，步骤S3基于CNN模型通过有监督学习方式得到特征图与透射率图 之间的映射关系，得到各区域分块图像的场景透射率图，具体包括：CNN模型 中主要包含三个操作：卷积conv、修正函数ReLU和全连接FC；其中卷积conv 中第l+1卷积层的输出为：

其中

和

分别代表当前第l层和第l+1层的输出，n，m表示特征 图的数量，k是卷积核，b为误差，*表示卷积操作；

修正函数ReLU卷积操作后加上修正函数，使得输出像素值为正，ReLU定 义如下：

全连接FC采用单个3×3的卷积近似代替FC操作；利用matconvnet算法 实现CNN的训练过程，以特征序列feature(x_i)作为样本输入，对应的透射率图 t(x_i)作为标签，使用SGD反向传播算法进行有监督的训练，t*(x_i)是CNN的 输出值，定义输出值与标签间的loss函数为：

优选的，采用超引导滤波方法对得到的场景透射率图进行滤波操作，具体 包括：超引导滤波过程可以表示为

其中：I为指导矩阵；p为输入矩阵；q为输出矩阵；ij为矩阵中元素，wij(I) 是超引导滤波器的核，影响输出矩阵q对场景结构信息的保持性；超引导滤波 器在像素k处的输出是指导矩阵I中以像素k'为中心的窗口w_k'中所有元素的线 性组合，表达式为：

其中a_k'和b_k'是窗口w_k'中和输入图像P有关的常量线性变换系数，为求得 a_k'和b_k'，将最小化输入图像P和输出图像Q之间的差异性问题转化为代价函数 的极小值问题，定义代价函数E(a_k'，b_k')：

其中ε归一化参数；E(a_k'，b_k')取最小值，得到a_k′和b_k′；对所有局部窗口应用 局部线性模型，得到最终的滤波效果，输出图像Q为：

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

本发明提出的一种基于局部区域分割与SCN结合的图像去雾方法，采用基 于信息熵率的超像素分割算法将有雾图像进行区域分块，得到各区域分块图像； 利用SCN通过无监督学习方式获取各区域分块图像的雾特征，得到各区域分块 图像的雾特征图；基于CNN模型通过有监督学习方式得到特征图与透射率图之 间的映射关系，得到各区域分块图像的场景透射率图；采用超引导滤波方法对 得到的场景透射率图进行滤波操作；根据大气散射模型反演出无雾图像。本发 明采用基于信息熵率的超像素分割算法，首先进行区域分块，再分别对各个小 区域求取透射率图，能够通过分割减少图像中边缘部分暗原色值误判的概率， 减小方块效应；采用超引导滤波方法进行滤波，能够运算速度明显提高；此外， 本发明方法得到的去雾后图像颜色更明亮、内容细节更完整。

附图说明

图1是本发明提供优选实施例的方法的流程图；

图2是本发明实施例自编码网络结构图；

图3是本发明实施例卷积神经网络结构图；

图4是本发明实施例实验验证图结果图，其中图(a1)、(b1)、(c1)、 (d1)为原始雾天图像；图(a2)、(b2)、(c2)、(d2)为利用Fattal算法得出 的结果图像；图(a3)、(b3)、(c3)、(d3)为利用He云雾算法得出的结果图 像；图(a4)、(b4)、(c4)、(d4)为利用本发明算法得出的结果图像。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、 数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含” 等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元 件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类 似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管 是直接的还是间接的。

本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当 理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照 倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从 这些过程移除某一步或数步操作。

本发明解决上述技术问题的技术方案是：

图1为基于局部区域分割与SCN(自编码网络)结合的图像去雾总体流程图， 下面将结合附图和实例图，对本发明的实施方式进行详细描述，包括以下几个 步骤：

一种基于局部区域分割与SCN结合的图像去雾方法，包括以下步骤：

步骤S10：采用基于信息熵率的超像素分割算法将有雾图像进行区域分块， 得到各区域分块图像；

步骤S10中所述基于信息熵率的超像素分割算法具体为：

将图像映射成无向图，将图像分割转化为图的区域相似性；

利用最大转移概率定义目标函数；

通过求解目标函数最大值获取相应的区域。

步骤S20：利用SCN通过无监督学习方式获取各区域分块图像的雾特征，得 到各区域分块图像的雾特征图；

步骤20中SCN的训练具体包括：

从训练样本集Iset中选择N个大小为r×r的有雾图像块x_i作为输入， 以x_i自身作为标签进行训练，各层之间使用sigmoid作为传输函数，以均方误 差函数MES作为损失函数，通过反向传播算法训练各网络层参数，对于训练 样本x_i，定义各层的输出为：

a(1)＝x_i

a(2)＝f(∑W(1)a(1)+b(1))

a(3)＝f(∑W(2)a(2)+b(2))

...

a(p)＝f(∑W(p-1)a(p-1)+b(p-1))

网络参数通过最小化网络输入x_i和输出之间的loss函数获得，用均方误差 函数作为loss函数，样本的总量为N，则有：

其中网络的层数为p，网络参数W和b表示相邻两层间的联结权重和偏 置，a(·)表示各层的输出值，a(1)＝x_i表示第一层网络的输出为x_i，f(·)代表sigmoid激活函数，定义为f(·)＝1/(1+exp(－x))。

如图2，为本文自编码网络结构.该自编码网络一共包含四层，具体包括1 个输入层、2个隐含层和1个输出层，各层神经元的数量分别为r×r、k₁×k₁、 k₂×k₂、r×r，原则上k₁和k₂均小于r。

在训练过程中，以30000个大小为15×15的有雾图像块作为输入，两个隐 含层大小分别为121和49，网络参数W初始化为[0，0.001]的高斯分布，b 初始化为0，迭代次数80。训练出参数W和b之后，记录每个训练样本x_i的两 个隐含层输出值a(2，x_i)和a(3，x_i)，并将其归一化至初始大小15×15，最后将 x_i及归一化后的特征进行融合，得到一个15×15×9的特征块序列feature(x_i).因 样本输入块x_i是RGB三通道，对每个分量单独训练得到自编码网络，每个自编 码网包含1个输入层和2个隐含层，故最终得到feature(x_i)的维数为3×3＝9。此 外给定一张测试图像，滑块处理后将各块带入训练好的自编码网络，得到对应 的特征块序列；然后将所有特征块序列按对应位置重组成原始图像大小，得到 一个9维的特征图序列，为有雾图像通过自编码网络学习得到的特征图序列。

步骤S30：基于CNN模型通过有监督学习方式得到特征图与透射率图之间的 映射关系，得到各区域分块图像的场景透射率图；

步骤S30基于CNN模型通过有监督学习方式得到特征图与透射率图之间的 映射关系，得到各区域分块图像的场景透射率图，具体包括：CNN模型中主要 包含三个操作：卷积conv、修正函数ReLU和全连接FC；其中卷积conv中第 l+1卷积层的输出为：

其中

和

分别代表当前第l层和第l+1层的输出，n，m表示特征图的 数量，k是卷积核，b为误差，*表示卷积操作；

修正函数ReLU卷积操作后加上修正函数，使得输出像素值为正，ReLU定 义如下：

全连接FC采用单个3×3的卷积近似代替FC操作；利用matconvnet算法实 现CNN的训练过程，以特征序列feature(x_i)作为样本输入，对应的透射率图t(x_i) 作为标签，使用SGD反向传播算法进行有监督的训练，t*(x_i)是CNN的输出值， 定义输出值与标签间的loss函数为：

本实施例中，根据雾的相关特征图与透射率之间存在一种非线性的映射关 系，这一前提，即:

t(x_i)＝f₁(f₂(…f_n(F₁(x_i)，F₂(x_i)，…，F_k(x_i))))

式中F_k(x_i)表示图像x_i的第k个特征图，f₁、f₂、…f_n表示一系列未知的非线 性关系，t(x_i)表示x_i对应的透射率.本实施例利用CNN模型代替随机森林，通过 有监督学习方式得到特征图与透射率图之间的映射关系。训练完CNN参数后， 将得到的特征图序列作为CNN模型的输入，得到要求的场景透射率图。本实施 例中CNN结构如图4所示，网络的第一层是输入层；第二层采用多尺度的平行 卷积操作获取多尺度的特征；第三层到第六层是一个过渡阶段，串行4个单尺 度的卷积操作，每个卷积后用ReLU函数进行修正；最后一层是采用全连接，输 出与原始图像大小一致的单通道图。

步骤S40：采用超引导滤波方法对得到的场景透射率图进行滤波操作；

步骤S40中采用超引导滤波方法对得到的场景透射率图进行滤波操作，具 体包括：超引导滤波过程可以表示为：

其中：I为指导矩阵；p为输入矩阵；q为输出矩阵；ij为矩阵中元素，wij(I) 是超引导滤波器的核，影响输出矩阵q对场景结构信息的保持性；超引导滤波 器在像素k处的输出是指导矩阵I中以像素k'为中心的窗口w_k'中所有元素的线 性组合，表达式为：

其中a_k'和b_k'是窗口w_k'中和输入图像P有关的常量线性变换系数，为求得 a_k'和b_k'，将最小化输入图像P和输出图像Q之间的差异性问题转化为代价函数 的极小值问题，定义代价函数E(a_k'，b_k')：

其中ε归一化参数；E(a_k'，b_k')取最小值，得到a_k′和b_k′；对所有局部窗口应用 局部线性模型，得到最终的滤波效果，输出图像Q为：

步骤S50：根据大气散射模型反演出无雾图像。

下面通过具体的实例进行验证说明：

为了更加直观地显示本文算法的效果，将本文算法与Fattal去雾算法、 He去云雾算法进行比较，对比实验结果如图4所示。其中:(a)～(c)组图像为 雾气较浓时的图像，(d)组图像为薄雾时的图像。末位数字为1的图像为原始 雾天图像，末位数字为2的图像为采用Fattal算法恢复的无雾图像，末位数字 为3的图像为He算法恢复的无雾图像，末位数字为4的图像为本文算法恢复 的无雾图像。从整体上看，Fattal去雾算法对于去薄雾情况效果较好，但随着 雾气加重，恢复后的图像会使图像对比度增加，特别是在浓雾情况下，恢复 后的雾天图像出现明显失真。图4中:(a2)中远处的布娃娃因亮度值过大，导致 基本无法看出物体的轮廓，灰度值与大气光值相近部分也会受到其影响而无 法识别，如边缘部分的白色物体；(c2)中树木细节无法识别，例如红色虚线标 记处所示。另外，从(a2)、(a3)、(a4)中红色实线标记对比中可以看出，经过 Fattal算法去雾后的布娃娃头发颜色出现明显失真；经过He去云雾算法后， 布娃娃细节部分如眼睛、鼻子与面部灰度相近比较暗淡，而本文算法去雾后 的布娃娃头发、脸部等细节更加清晰和突出，脸部与头发之间的对比度更显 自然在体现场景目标的层次感方面，本文算法也具有一定优势。从图4第2 组图中的红色实线标记对比可以看到:对于由近及远接近大气光的部分，(b2) 的去雾效果不是很明显，与天空相接处仍有雾存在；(b3)和(b4)相比，两者都

本发明提出的一种基于局部区域分割与SCN结合的图像去雾方法，采用基 于信息熵率的超像素分割算法将有雾图像进行区域分块，得到各区域分块图像； 利用SCN通过无监督学习方式获取各区域分块图像的雾特征，得到各区域分块 图像的雾特征图；基于CNN模型通过有监督学习方式得到特征图与透射率图之 间的映射关系，得到各区域分块图像的场景透射率图；采用超引导滤波方法对 得到的场景透射率图进行滤波操作；根据大气散射模型反演出无雾图像。本发 明采用基于信息熵率的超像素分割算法，首先进行区域分块，再分别对各个小 区域求取透射率图，能够通过分割减少图像中边缘部分暗原色值误判的概率， 减小方块效应；采用超引导滤波方法进行滤波，能够运算速度明显提高；此外， 本发明方法得到的去雾后图像颜色更明亮、内容细节更完整。

上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明 的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新 颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修 改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发 明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例 以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要 求书及其等效物限定。

Claims (5)

1.一种基于局部区域分割与SCN结合的图像去雾方法，其特征在于，包括以下步骤：

步骤S1：采用基于信息熵率的超像素分割算法将有雾图像进行区域分块，得到各区域分块图像；

步骤S2：利用SCN通过无监督学习方式获取各区域分块图像的雾特征，得到各区域分块图像的雾特征图；

步骤S3：基于CNN模型通过有监督学习方式得到特征图与透射率图之间的映射关系，得到各区域分块图像的场景透射率图；

步骤S4：采用超引导滤波方法对得到的场景透射率图进行滤波操作；

步骤S5：根据大气散射模型反演出无雾图像。

2.根据权利要求1所述的基于局部区域分割与SCN结合的图像去雾方法，其特征在于，步骤S1中所述基于信息熵率的超像素分割算法具体为：

将图像映射成无向图，将图像分割转化为图的区域相似性；

利用最大转移概率定义目标函数；

通过求解目标函数最大值获取相应的区域。

3.根据权利要求1所述的基于局部区域分割与SCN结合的图像去雾方法，其特征在于，步骤2中SCN的训练具体包括：

从训练样本集Iset中选择N个大小为r×r的有雾图像块x_i作为输入，以x_i自身作为标签进行训练，各层之间使用sigmoid作为传输函数，以均方误差函数MES作为损失函数，通过反向传播算法训练各网络层参数，对于训练样本x_i，定义各层的输出为：

a(1)＝x_i

a(2)＝f(∑W(1)a(1)+b(1))

a(3)＝f(∑W(2)a(2)+b(2))

...

a(p)＝f(∑W(p-1)a(p-1)+b(p-1))

网络参数通过最小化网络输入x_i和输出之间的loss函数获得，用均方误差函数作为loss函数，样本的总量为N，则有：

其中网络的层数为p，网络参数W和b表示相邻两层间的联结权重和偏置，a(·)表示各层的输出值，a(1)＝x_i表示第一层网络的输出为x_i，f(·)代表sigmoid激活函数，定义为f(·)＝1/(1+exp(－x))。

4.根据权利要求3所述的基于局部区域分割与SCN结合的图像去雾方法，其特征在于，步骤S3基于CNN模型通过有监督学习方式得到特征图与透射率图之间的映射关系，得到各区域分块图像的场景透射率图，具体包括：CNN模型中主要包含三个操作：卷积conv、修正函数ReLU和全连接FC；其中卷积conv中第l+1卷积层的输出为：

其中

和

分别代表当前第l层和第l+1层的输出，n，m表示特征图的数量，k是卷积核，b为误差，*表示卷积操作；

修正函数ReLU卷积操作后加上修正函数，使得输出像素值为正，ReLU定义如下：

全连接FC采用单个3×3的卷积近似代替FC操作；利用matconvnet算法实现CNN的训练过程，以特征序列feature(x_i)作为样本输入，对应的透射率图t(x_i)作为标签，使用SGD反向传播算法进行有监督的训练，t*(x_i)是CNN的输出值，定义输出值与标签间的loss函数为：

5.根据权利要求1所述的基于局部区域分割与SCN结合的图像去雾方法，其特征在于，采用超引导滤波方法对得到的场景透射率图进行滤波操作，具体包括：超引导滤波过程可以表示为

其中：I为指导矩阵；p为输入矩阵；q为输出矩阵；ij为矩阵中元素，wij(I)是超引导滤波器的核，影响输出矩阵q对场景结构信息的保持性；超引导滤波器在像素k处的输出是指导矩阵I中以像素k'为中心的窗口w_k'中所有元素的线性组合，表达式为：

其中a_k'和b_k'是窗口w_k'中和输入图像P有关的常量线性变换系数，为求得a_k'和b_k'，将最小化输入图像P和输出图像Q之间的差异性问题转化为代价函数的极小值问题，定义代价函数E(a_k'，b_k')：

其中ε归一化参数；E(a_k'，b_k')取最小值，得到a_k′和b_k′；对所有局部窗口应用局部线性模型，得到最终的滤波效果，输出图像Q为：

Images