CN113436095A - 一种包含天空区域图像的去雾方法 - Google Patents

Abstract

本发明公开了一种包含天空区域图像的去雾方法，属于图像处理技术领域。该方法步骤主要包括：S1.获取待处理的图像I，并使用弱监督图像分割方法，分割天空及其他部分，主要包括以下部分：制作涂鸦语义分割标签、建立簇预测标签、建立损失函数；S2.对于分割出的其他部分使用改进后的暗通道方法进行去雾处理，其中主要包括以下部分：设计去雾模型、透射率模型，加入快速导向滤波以及大气光值设定；S3.对于天空区域使用MSRCR方法去雾处理；S4.将去雾后的天空区域和其它部分拼接成一个图像。利用该算法有效解决了包含天空区域去雾时产生的伪影问题，与使用深度学习的去雾方法相比，极大缩短了去雾时间。

Description

一种包含天空区域图像的去雾方法

技术领域

本发明属于深度学习和计算机视觉技术领域，具体涉及一种包含天空区域图像的去雾方法。

背景技术

电力能源是人类生活必不可少的，从发电构成来看，各国火力发电占据着主导地位，但火力发电中化石燃料，包括煤炭，石油，天然气等在燃烧的过程中产生大量的污染，加重了酸雨的危害，同时也增加空气中粉尘污染，对人们的生活及植物的生存造成了严重的影响，而且其资源消耗大，效率低，加剧资源紧缺，并为环境治理造成诸多麻烦。与其相比作为可再生能源之一的风力发电，优势格外突出。

风机叶片的迎风面是发电机的主要动力来源，叶片在高空运转时雷电、冰雹、沙尘等恶劣天气随时都有可能危害风机叶片，一个早期发现的横向裂纹通常用几个小时就可以修复，如果裂痕扩展到纤维内部，就需要更多的金钱和时间。据统计，因叶片问题引起的故障停机率约在30％以上，这极大地浪费了风机资源。

目前，针对去雾的研究方案最主流的是通过暗通道去雾算法和基于深度学习两种方法。但暗通道去雾算法在面对明亮物体场景如天空区域或白色建筑物等时，由于对大气光值估算并不准确而导致出现光晕现象；基于深度学习的去雾算法往往需要人工为训练集图像中的每一个像素定义标签，虽然最后效果显著，但工作量极大，耗用时间也较长。

发明内容

针对上述研究的问题，本发明的目的在于：为了避免在去雾处理时天空区域出现光晕现象，提出了一种包含天空区域图像的去雾方法。

为了解决上述技术问题，本发明采用的技术方案如下：

一种包含天空区域图像的去雾方法，包括如下步骤：

S1：获取待处理的图像I，并使用弱监督图像分割方法，分割天空及其他部分，主要包括以下部分：制作涂鸦语义分割标签、建立簇预测标签、建立损失函数；

进一步的，所述S1的具体步骤为：

S1.1：为待处理图像I制作涂鸦语义分割标签，使用涂鸦的方式分隔开天空区域与其他区域。

S1.2：建立预测簇标签的标准：

(a)相似特征的像素应该被分配相同的标签；

(b)空间连续像素应该被赋予相同的标签。

S1.3：首先将相同标签分配给相似特征的像素，用线性分类器将每个像素的特征分为q类；假设输入为RGB图像I＝{v_n∈R³}，其中每个像素均归一化为[0，1]；从{v_n}到M个卷积分量计算p维特征图{x_n}，每个卷积分量都由一个二维(2D)卷积、ReLU激活函数和一个批处理归一化函数组成，批处理对应于单个输入图像的N个像素，为所有M个分量设置了p个大小为3*3的过滤器，其中用于特征提取的组件也可以被其他网络代替(如FCN)。

应用线性分类器获得响应图{r_n＝W_cx_n}，其中W_c∈R^q*p；随后将相应标准化为{r′_n}，使其均值和单位方差为0，选择{r′_n}中最大的维数，得到每个像素的聚类标签C_n，此分类规则称为argmax分类，其功能将特征向量聚类为q类，最终响应的第i类{r′_n}可以写成：

r′_n,i表示r′_n中第i个元素，相当于每个像素分配给q个代表点中的最近的点，这些代表点在q维空间中的各个轴上以无限距离放置，C_i可以是空集，因此唯一簇标签的数量可以从1到q任意变化。

S1.4：N表示输入彩色图像I＝{v_n∈R³}的像素个数，f:R³→R^p为特征提取函数，{X_n∈R^p}为图像像素的一组p维特征向量，通过C_n＝g(X_n)将聚类标签{C_n∈Z}分配给所有的像素，g:R^p→Z表示映射函数，g是一个赋值函数，返回值最接近X_n的聚类中心标签。

固定g和f预测最优的{C_n}，用固定{C_n}训练g和f的参数，此时提出基于CNN算法对{x_n}和{C_n}的特征提取函数进行联合优化。

S1.5：损失函数L有特征相似度约束、空间连续性约束以及用户输入的涂鸦信息组成，如下：

L＝L_sim({r′_n，C_n})+μL_con({r′_n})+θL_scr({r′_n，s_n，u_n})

μ，θ分别是空间连续性损失函数和涂鸦损失函数的权重，以下将分别描述上述函数的每一个组成部分。

特征相似性描述：

L_sim({r′_n,C_n})

群集标签{C_n}是通过将argmax函数应用于{r′_n}的标准化响应得到的，聚类标签作为伪标签，计算{r′_n}和{C_n}之间的交叉熵损失作为特征相似性的约束：

当t＝0时δ(t)为1，其他情况δ(t)为0；该损失函数的目的是增强相似特征相似性，通过最小化损失函数更新网络权值，以便提取更有效地聚类特征。

空间连续特征描述——在图像分割中，图像像素聚类在空间上连续是更可取的，另外还引入了使聚类标签与邻近像素的标签相同这一约束条件，将响应图{r′_n}的水平和垂直差异的L₁-范数视为空间约束，并由微分算子执行该过程，具体定义空间连续损失函数L_con为：

W，H分别是输入图片的宽和高，r′_ξ,η表示响应图{r′_n}中(ξ,η)处的像素值，通过空间连续性损失L_con，可以抑制由于复杂的图案或纹理导致的过多标签。

以涂鸦作为用户输入——引入部分交叉熵的涂鸦损失L_scr如下：

如果第n个像素是涂鸦像素，u_n＝1，否则为0，S_n表示每个像素的涂鸦标签。

通过以上步骤可以分离有雾图像中天空和其它部分。

S2：对于分割出的其他部分使用改进后的暗通道方法进行去雾处理，其中主要包括以下部分：设计去雾模型、透射率模型，加入快速导向滤波以及大气光值设定。

进一步的，所述S2的具体步骤为：

S2.1：一种包含天空区域图像的去雾方法，其特征在于，暗通道模型如下所示；

其中，c为r、g、b三个通道，I^c(x)为图像在通道c处x点的像素，A^c为全球大气光成分，取分割出的除天空区域全局的1％亮度作为A^c的值，ω的值设置为0.95，避免图像过度恢复。

S2.3：其中加入快速导向滤波器，其模型如下所示：

其中q_i为滤波后的输出图像，I_i是导向图像，i是像素的位置，k为9*9大小的局部正方形窗口Ω的索引，a_k、b_k是Ω_k中线性常数系数。

给定滤波输入图像p，滤波器使p和q之间的重构误差最小；

μ_k、σ_k是Ω_k的平均值和方差，

是待滤波图像在窗口Ω_k中的均值，ε是控制平滑度的regularization函数。

求取去雾图像具体为：令t＝t₀，将透射率和全球大气光值带入雾图形成模型如下：

其中，t₀＝0，J(x)为代去雾图像，I(x)为恢复的无雾图像。

通过以上步骤得到去雾后的其他部分。

所述S3的具体步骤为：

S3.1：分割出的天空区域使用带彩色恢复的多尺度Retinex算法(MSRCR),其表达式为：

其中C_i表示第i个通道的色彩恢复因子，用来调节3个通道颜色的比例，其模型如下所示：

f(·)表示颜色空间的映射函数：

其中β是增益常数，α是受控制的非线性强度。

S3.2：MSRCR算法处理图像后，像素值一般会出现负值，故从对数域r(x,y)转换为实数域R(x,y)后，需要改变增益Gain，偏差Offest对图像进行修正，使公式可以表示为：

其中G表示增益Gain，O表示偏差Offset。

与现有技术相比，本发明的有益效果是：利用该算法有效解决了包含天空区域去雾时产生的伪影问题，与使用深度学习的方法相比，极大缩短了去雾时间。

附图说明

图1为本发明去雾方法流程图；

图2为本发在分割时所提出的训练CNN的算法。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，提出相应具体实施方案，对本发明进一步详细说明。

一种包含天空的图像去雾方法，其具体步骤如下：

S1：获取待处理的图像I，并使用弱监督图像分割方法，分割天空及其他部分；主要包括以下部分：制作涂鸦语义分割标签、建立簇预测标签、建立损失函数；

进一步的，所述S1的具体步骤为：

S1.1：为待处理图像I制作涂鸦语义分割标签，使用涂鸦的方式分隔开天空区域与其他区域。

S1.2：建立预测簇标签的标准：

(a)相似特征的像素应该被分配相同的标签；

(b)空间连续像素应该被赋予相同的标签。

S1.3：首先将相同标签分配给相似特征的像素，用线性分类器将每个像素的特征分为q类；假设输入为RGB图像I＝{v_n∈R³}，其中每个像素均归一化为[0，1]，从{v_n}到M个卷积分量计算p维特征图{x_n}，每个卷积分量都由一个二维(2D)卷积、ReLU激活函数和一个批处理归一化函数组成，批处理对应于单个输入图像的N个像素，为所有M个分量设置了p个大小为3*3的过滤器，其中用于特征提取的组件也可以被其他网络代替(如FCN)。

应用线性分类器获得响应图{r_n＝W_cx_n}，其中W_c∈R^q*p；随后将响应标准化为{r′_n}，使其均值和单位方差为0，选择{r′_n}中最大的维数，得到每个像素的聚类标签C_n，此分类规则称为argmax分类，其功能将特征向量聚类为q类，最终响应的第i类{r′_n}可以写成：

r′_n,i表示r′_n中第i个元素，相当于每个像素分配给q个代表点中的最近的点，这些代表点在q维空间中的各个轴上以无限距离放置，C_i可以是空集，因此唯一簇标签的数量可以从1到q任意变化。

S1.4：N表示输入彩色图像I＝{v_n∈R³}的像素个数，f:R³→R^p为特征提取函数，{X_n∈R^p}为图像像素的一组p维特征向量，通过C_n＝g(X_n)将聚类标签{C_n∈Z}分配给所有的像素，g:R^p→Z表示映射函数，g是一个赋值函数，返回值最接近X_n的聚类中心标签。

我们需要固定g和f预测最优的{C_n}，用固定{C_n}训练g和f的参数，此时提出基于CNN算法对{x_n}和{C_n}的特征提取函数进行联合优化。

S1.5：损失函数L有特征相似度约束、空间连续性约束以及用户输入的涂鸦信息组成，如下：

L＝L_sim({r′_n,C_n})+μL_con({r′_n})+θL_scr({r′_n,s_n,u_n})

μ，θ分别是空间连续性损失函数和涂鸦损失函数的权重，以下将分别描述上述函数的每一个组成部分。

特征相似性描述：

L_sim({r′_n,C_n})

群集标签{C_n}是通过将argmax函数应用于{r′_n}的标准化响应得到的，聚类标签作为伪标签，计算{r′_n}和{C_n}之间的交叉熵损失作为特征相似性的约束：

当t＝0时δ(t)为1，其他情况δ(t)为0；该损失函数的目的是增强相似特征相似性，通过最小化损失函数更新网络权值，以便提取更有效地聚类特征。

空间连续特征描述，在图像分割中，图像像素聚类在空间上连续是更可取的，另外还引入了使聚类标签与邻近像素的标签相同这一约束条件，将响应图{r′_n}的水平和垂直差异的L₁-范数视为空间约束，并由微分算子执行该过程，具体定义空间连续损失函数L_con为：

W，H分别是输入图片的宽和高，r′_ξ,η表示响应图{r′_n}中(ξ,η)处的像素值，通过空间连续性损失L_con，可以抑制由于复杂的图案或纹理导致的过多标签。

以涂鸦作为用户输入，引入部分交叉熵的涂鸦损失L_scr如下：

如果第n个像素是涂鸦像素，u_n＝1，否则为0，S_n表示每个像素的涂鸦标签。

通过以上步骤可以分离有雾图像中天空和其它部分。

S2：对于分割出的其他部分使用改进后的暗通道方法进行去雾处理，其中主要包括以下部分：设计去雾模型、透射率模型，加入快速导向滤波以及大气光值设定。

进一步的，所述S2的具体步骤为：

S2.1：一种包含天空区域图像的去雾方法，其特征在于，暗通道模型如下所示；

其中，c为r、g、b三个通道，I^c(x)为图像在通道c处x点的像素，A^c为全球大气光成分，取分割出的除天空区域全局的1％亮度作为A^c的值，ω的值设置为0.95，避免图像过度恢复。

S2.3：其中加入快速导向滤波器，其模型如下所示：

其中q_i为滤波后的输出图像，I_i是导向图像，i是像素的位置，k为9*9大小的局部正方形窗口Ω的索引，a_k、b_k是Ω_k中线性常数系数。

给定滤波输入图像p，滤波器使p和q之间的重构误差最小；

μ_k、σ_k是Ω_k的平均值和方差，

是待滤波图像在窗口Ω_k中的均值，ε是控制平滑度的regularization函数。

求取去雾图像具体为：令t＝t₀，将透射率和全球大气光值带入雾图形成模型如下：

其中，t₀＝0，J(x)为代去雾图像，I(x)为恢复的无雾图像。

通过以上步骤得到去雾后的其他部分。

所述S3的具体步骤为：

S3.1：分割出的天空区域使用带彩色恢复的多尺度Retinex算法(MSRCR),其表达式为：

其中C_i表示第i个通道的色彩恢复因子，用来调节3个通道颜色的比例，其模型如下所示：

f(·)表示颜色空间的映射函数：

其中β是增益常数，α是受控制的非线性强度。

S3.2：MSRCR算法处理图像后，像素值一般会出现负值，故从对数域r(x,y)转换为实数域R(x,y)后，需要改变增益Gain，偏差Offest对图像进行修正，使公式可以表示为：

其中G表示增益Gain，O表示偏差Offset。

以上所述仅为本发明的一个实施方式，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种包含天空区域图像的去雾方法，其特征在于，包括以下步骤：

S1：获取待处理图像I，并使用弱监督图像分割方法，分割天空及其他部分；

S2：对于分割出的其他部分使用改进后的暗通道方法进行去雾处理；

S3：对于天空区域使用MSRCR方法去雾处理；

S4：将去雾后的两部分合并在一起恢复出整体的去雾图像。

2.根据权利要求1所述的一种包含天空区域图像的去雾方法，其特征在于，所述步骤S1的具体步骤为：

S1.1：为待处理图像I制作涂鸦语义分割标签，使用涂鸦的方式分隔开天空区域与其他区域；

S1.2：建立预测簇标签的标准：

(a)相似特征的像素应该被分配相同的标签；

(b)空间连续像素应该被赋予相同的标签；

S1.3：首先将相同标签分配给相似特征的像素，用线性分类器将每个像素的特征分为q类；假设输入为RGB图像I＝{v_n∈R³}，其中每个像素均归一化为[0，1]，从{v_n}到M个卷积分量计算p维特征图{x_n}，每个卷积分量都由一个二维(2D)卷积、ReLU激活函数和一个批处理归一化函数组成，批处理对应于单个输入图像的N个像素，为所有M个分量设置了p个大小为3*3的过滤器，其中用于特征提取的组件也可以被其他网络代替(如FCN)；应用线性分类器获得响应图{r_n＝W_cx_n}，其中W_c∈R^q*p；随后将相应标准化为{r′_n}，使其均值和单位方差为0；选择{r′_n}中最大的维数，得到每个像素的聚类标签C_n，此分类规则称为argmax分类，其功能将特征向量聚类为q类；最终响应的第i类{r′_n}可以写成：

其中，r′_n,i表示r′_n中第i个元素，相当于每个像素分配给q个代表点中的最近的点，这些代表点在q维空间中的各个轴上以无限距离放置，C_i可以是空集；因此唯一簇标签的数量可以从1到q任意变化；

S1.4：N表示输入彩色图像I＝{v_n∈R³}的像素个数，f:R³→R^p为特征提取函数，{X_n∈R^p}为图像像素的一组p维特征向量；通过C_n＝g(X_n)将聚类标签{C_n∈Z}分配给所有的像素，g:R^p→Z表示映射函数，g是一个赋值函数，返回值最接近X_n的聚类中心标签；

固定g和f预测最优的{C_n}，固定{C_n}训练g和f的参数，此时提出基于CNN算法对{x_n}和{C_n}的特征提取函数进行联合优化；

S1.5：损失函数L有特征相似度约束、空间连续性约束以及用户输入的涂鸦信息组成，如下：

L＝L_sim({r′_n,C_n})+μL_con({r′_n})+θL_scr({r′_n,s_n,u_n})

μ，θ分别是空间连续性损失函数和涂鸦损失函数的权重；以下将分别描述上述函数的每一个组成部分：

(a)特征相似性描述

L_sim({r′_n,C_n})

群集标签{C_n}是通过将argmax函数应用于{r′_n}的标准化响应得到的，聚类标签作为伪标签，计算{r′_n}和{C_n}之间的交叉熵损失作为特征相似性的约束：

当t＝0时δ(t)为1，其他情况δ(t)为0；该损失函数的目的是增强相似特征相似性，通过最小化损失函数更新网络权值，以便提取更有效地聚类特征；

(b)空间连续特征描述

在图像分割中，图像像素聚类在空间上连续是更可取的，另外还引入了使聚类标签与邻近像素的标签相同这一约束条件；

将响应图{r′_n}的水平和垂直差异的L₁-范数视为空间约束，并由微分算子执行该过程，具体定义空间连续损失函L_con为：

W，H分别是输入图片的宽和高，r′_ξ,η表示响应图{r′_n}中(ξ,η)处的像素值，通过空间连续性损失L_con，可以抑制由于复杂的图案或纹理导致的过多标签；

(c)以涂鸦作为用户输入

引入部分交叉熵的涂鸦损失L_scr如下：

如果第n个像素是涂鸦像素，u_n＝1，否则为0，S_n表示每个像素的涂鸦标签。

3.根据权利要求1所述的一种包含天空区域图像的去雾方法，其特征在于，所述步骤S2的具体步骤为：

S2.1：暗通道I^drak(x)如下所示：

其中，I^c(y)为恢复后的无雾图像在c通道的像素值，c∈{r,g,b}为c取彩色图像{r,g,b}三通道，Ω(x)是以x为中心的一个滑动窗口，其中设置Ω的边长为9，并求取在此窗口下带雾的其他部分图像中各个像素点处的暗通道值；

S2.2定义透射率预估模型t(x)，对暗通道两边求两次最小值运算，并引入权重因子ω∈[0,1]表示期望恢复的程度，其透射率t(x)模型如下：

其中，c为r、g、b三个通道，I^c(x)为图像在通道c处x点的像素，A^c为全球大气光成分，取分割出的除天空区域全局的1％亮度作为A^c的值，ω的值设置为0.95，避免图像过度恢复；

S2.3：其中加入快速导向滤波器，其模型如下所示：

其中q_i为滤波后的输出图像，I_i是导向图像，i是像素的位置，k为9*9大小的局部正方形窗口Ω的索引，a_k、b_k是Ω_k中线性常数系数；

给定滤波输入图像p,滤波器使p和q之间的重构误差最小；

μ_k、σ_k是Ω_k的平均值和方差，

是待滤波图像在窗口Ω_k中的均值，ε是控制平滑度的regularization函数；

S2.4：求取去雾图像具体为：令t＝t₀，将透射率和全球大气光值带入雾图形成模型如下：

其中，t₀＝0，J(x)为代去雾图像，I(x)为恢复的无雾图像。

4.根据权利要求1所述的一种包含天空区域图像的去雾方法，其特征在于，所述步骤S3的具体步骤为：

S3.1：分割出的天空区域使用带彩色恢复的多尺度Retinex算法(MSRCR),其表达式为：

其中C_i表示第i个通道的色彩恢复因子，用来调节3个通道颜色的比例，其模型如下所示：

f(·)表示颜色空间的映射函数：

其中β是增益常数，α是受控制的非线性强度；

S3.2：MSRCR算法处理图像后，像素值一般会出现负值，故从对数域r(x,y)转换为实数域R(x,y)后，需要改变增益Gain，偏差Offest对图像进行修正，使公式可以表示为：

其中G表示增益Gain，O表示偏差Offset。

Images