CN104574325A - 一种天空光估计方法与系统及其图像去雾方法 - Google Patents

Abstract

本发明基于暗原色先验单幅图像去雾理论提出一种新的天空光求取方法。天空光来自无穷远处，图像中最大亮度值的像素被看成是天空光，因而白色的汽车或者建筑物可能被误认为天空光而影响图像的去雾恢复效果。本发明求取天空光的步骤如下；1)通过提取出暗通道图中较亮的区域作为候选天空域；2)将候选区进行二值化，候选区置1，非候选区置0，形成二值图像；3)对候选连通区域二值图进行腐蚀处理，滤掉面积较小的白色亮物体；4)对二值图像进行连通域处理，形成多个连通区域；5)求取面积最大的候选连通区域，将此连通域作为天空域的估计；6)在Y通道图像上将天空域的灰度最大值作为天空光的估计。

Description

一种天空光估计方法与系统及其图像去雾方法

技术领域

本发明属于图像处理与分析技术领域，更具体地，涉及一种天空光估计方法与系统及其图像去雾方法。

背景技术

雾天时，采集到的图像中景物的对比度以及颜色会有一定程度的衰减，图像中蕴含的许多特征会变得模糊，图像中的一些细节无法辨识，图像视觉效果和数据质量下降。因此雾天条件下，研究图像处理技术去除雾的影响，增加图像的对比度和清晰度，使得计算机视觉系统能够在恶劣天气下也能可靠、稳定的工作，对于当下雾霾天气频发，无疑具有十分重要的理论和实际应用价值。

对于根据大气散射模型以及暗原色先验理论的去雾研究，将Y通道图中亮度最大值作为天空光的估计，但是图像中亮度最大的点往往是白色的建筑物或者白色的汽车，其深度并非处于无穷远处，这样势必造成天空光的求取错误。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提出一种基于天空光估计方法及其图像去雾方法，利用暗原色通道图找出候选天空区域，再对候选区域进行图像腐蚀处理，将最大候选区域视为天空区域，从而达到天空域的自动提取，在Y通道亮度图上将天空域的亮度最大值作为天空光的度量。针对大量图片的测试结果，证明本发明方法对于存在天空区域的图像能够准确地自动提取天空域，从而得到精确的天空光，进而恢复出更为清晰的图像。

为了实现上述目的，按照本发明的一个方面，提供了一种天空光估计方法，包括如下步骤：

(1)选取暗通道图像中亮度前X％区域作为候选天空域，其中X为预设值；

(2)对暗通道图像进行二值化处理，将上述选取的候选天空域置1，非候选天空域置0，形成二值图像；

(3)对二值图像的候选天空域进行腐蚀处理，以便滤掉面积较小的白色亮物体，其中腐蚀处理的模板为w*w，w为预设的模板大小值；

(4)对腐蚀处理后的二值图像进行连通域处理，形成多个连通区域，所述连通域处理是指将具有相同像素值的相邻像素点连成一个连通区域；

(5)计算各个连通区域的面积，选取面积最大的连通区域作为估计的天空域，所述面积为连通区域里像素点的个数；

(6)在Y通道含雾图像上，利用上述估计的天空域的位置信息，找出Y通道含雾图像上与上述估计的天空域相同位置区域里的最大灰度值，将该最大灰度值作为天空光的估计值。

在本发明的一个实施例中，所述步骤(1)中X的取值范围为：10<X<30。

在本发明的一个实施例中，所述步骤(3)中的w的取值范围为5<w<9。

按照本发明的另一方面，还提供了一种天空光估计系统，包括候选天空域选取模块、二值化处理模块、腐蚀处理模块、连通域处理模块、天空域估计模块以及天空光估计模块，其中：

候选天空域选取模块，用于选取暗通道图中亮度前X％区域作为候选天空域，其中X为预设值；

二值化处理模块，用于对暗通道图进行二值化处理，将上述选取的候选天空域置1，非候选天空域置0，形成二值图像；

腐蚀处理模块，用于对二值图像的候选天空域进行腐蚀处理，以便滤掉面积较小的白色亮物体，其中腐蚀处理的模板为w*w，w为预设的模板大小值；

连通域处理模块，用于对腐蚀处理后的二值图像进行连通域处理，形成多个连通区域，所述连通域处理是指将具有相同像素值的相邻像素点连成一个连通区域；

天空域估计模块，用于计算各个连通区域的面积，选取面积最大的连通区域作为估计的天空域，所述面积为连通区域里像素点的个数；

天空光估计模块，用于在Y通道含雾图像上，利用上述估计的天空域的位置信息，找出Y通道含雾图像上与上述估计的天空域相同位置区域里的最大灰度值，将该最大灰度值作为天空光的估计值。

在本发明的一个实施例中，所述候选天空域选取模块中X的取值范围为：10<X<30。

在本发明的一个实施例中，所述腐蚀处理模块中的w的取值范围为5<w<9。

按照本发明的另一方面，还提供了一种基于天空光估计的图像去雾方法，包括如下步骤：

(1)读入原始含雾图像，所述原始含雾图像处于RGB颜色空间；

(2)将原始含雾图像从RGB颜色空间转换到YUV颜色空间；

(3)在Y通道含雾图像上利用暗原色先验理论求取Y通道含雾图像的暗原色通道，得到暗原色通道图像；

(4)利用权利要求1至3任一项所述估计天空光的方法估计出暗原色通道图像的天空光A；

(5)根据天空光以及暗原色通道图像求取透射率传输图

(6)采用指导性滤波器对透射率传输图做滤波平滑处理得到t(x)；

(7)根据大气散射公式求取Y通道复原图像J(x)，公式为：I(x)＝J(x)t(x)+A[1-t(x)]，其中I(x)为Y通道含雾图像。

(8)对Y通道复原图像J(x)进行亮度增强处理得到J(x)'；

(9)将亮度增强后的Y通道复原图像J(x)'从YUV颜色空间转换至RGB颜色空间，得到最终去雾图像。

在本发明的一个实施例中，所述步骤(3)具体为：

对Y通道含雾图像的每一个像素点求取其局部区域亮度的最小值，将这个最小值作为该中心像素点的暗原色，对整幅图像做最小值处理即得到暗原色通道图像。

在本发明的一个实施例中，所述步骤(5)具体根据下式处理：

$\tilde{t}\left(x\right)=1-\underset{y\&Element;\mathrm{\&Omega;}\left(x\right)}{\min }(I\left(y\right)/A)$

其中Ω(x)是以x为中心的局部区域，I(y)为局部区域里的Y通道含雾图像，A为天空光。

在本发明的一个实施例中，所述步骤(8)中的亮度增强处理具体为：

采用双线性拉伸方法对Y通道复原图像进行亮度拉伸。

与现有技术相比，本发明具有如下有益效果：

1、本发明利用暗原色通道提取天空候选区并进一步准确高效地提取出天空区域，解决了图像分割中提取背景天空区域自适应低、精确度不高等问题。

2、本发明通过自动提取天空区域得到更为准确的天空光估计，解决了物理模型图像去雾算法中天空光求取不准确等问题。

3、本发明直接在Y通道图像上做去雾处理，使得恢复图像色彩更加逼真，解决了暗原色先验理论去雾算法恢复图像中存在的色偏问题。

4、本发明去雾方法运行速度快，对于标清视频(720*576)在GPU上可以达到实时化并行处理，解决了暗原色先验理论去雾算法运行速度过慢等问题。

附图说明

图1为本发明估计天空光方法的流程图；

图2为本发明实施例中天空光估计方法各个处理阶段的结果比较图，其中：

图(a1)、(a2)与(a3)分别为原始有雾图像；

图(b1)、(b2)与(b3)分别为Y通道亮度图像；

图(c1)、(c2)与(c3)分别为暗原色通道图像；

图(d1)、(d2)与(d3)分别为候选区二值图像；

图(e1)、(e2)与(e3)分别为对二值图进行腐蚀之后的图像；

图(f1)、(f2)与(f3)分别为提取出的天空域图像，图中白色显示为天空区域；

图3为本发明基于天空光估计的图像去雾方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明的目的在于暗原色先验单幅图像去雾中求取更为准确的天空光，排除白色亮物体的干扰。本发明能够自动准确提取图像中的天空区域，算法设计简单，易于实现，运行速度快，设备要求低。可用于图像分割中天空域的自动提取。如图1所示，为本发明天空光估计方法流程图，具体步骤如下：

(1)选取暗通道图中亮度前X％区域作为候选天空域，其中X为预设值，优选地10<X<30，具体做法为：设暗原色通道图大小为M*N，求取暗原色通道图像的直方图，从直方图最大灰度值个数开始往下统计，将个数刚好大于M*N*X％时的灰度值作为阈值，暗原色通道图像中灰度值大于该阈值的点保留作为天空域的候选点，小于该阈值点不做考虑；

(2)对暗通道图进行二值化处理，将上述选取的候选天空域置1，非候选天空域置0，形成二值图像；

(3)对二值图像的候选天空域进行腐蚀处理，以便滤掉面积较小的白色亮物体，其中腐蚀处理的模板为w*w，w为预设的模板大小值，优选地5<w<9；

(4)对腐蚀处理后的二值图像进行连通域处理，形成多个连通区域，所述连通域处理是指将具有相同像素值的相邻像素点连成一个连通区域；

(5)计算各个连通区域的面积，选取面积最大的连通区域作为估计的天空域，所述面积为连通区域里像素点的个数；

(6)在Y通道含雾图像上，利用上述估计的天空域的位置信息，找出Y通道含雾图像上与上述估计的天空域相同位置区域里的最大灰度值，将该最大灰度值作为估计的天空光。

如图2所示，为利用本发明实施例中天空光估计方法各个处理阶段的结果比较图，具体地，图(a1)、(a2)与(a3)所示分别为初始有雾图像。通过RGB转换至YUV通道，提取Y通道亮度图像分别如(b1)、(b2)与(b3)所示，在Y通道图上利用暗原色先验理论求取图像的暗原色通道，得到暗原色通道图像分别如(c1)、(c2)与(c3)所示。

求取天空光的具体步骤如下：

(1)天空光来自无穷远处，而对于一幅图像来说，天空区域的深度即为无穷远，其灰度值一般处于图像灰度值的最大值左右，然而白色物体的灰度值有可能大于天空区域灰度值，因而简单地求取全图的灰度最大值并不能准确的得到天空光，这里将暗原色通道图像中灰度前X％的像素点作为天空域的候选区，对其进行二值化处理分别如(d1)、(d2)与(d3)所示；

(2)从图(d1)的天空域的候选区可以看到，白色建筑物的屋顶也被当做天空域的候选区，因其面积都较小，故采用w*w的模板对二值图进行腐蚀处理，从而滤掉白色屋顶的干扰，结果如图(e1)所示。

(3)从图(e1)观察可知，屋顶区域并没有全部被去除，因其面积较小，而天空域面积相对较大，故求取候选区域的最大连通域，将此连通域作为天空区域的度量，如图(f1)所示，从而得到准确的天空光估计。

进一步地，本发明还提供了一种天空光估计系统，包括候选天空域选取模块、二值化处理模块、腐蚀处理模块、连通域处理模块、天空域估计模块以及天空光估计模块，其中：

候选天空域选取模块，用于选取暗通道图中亮度前X％区域作为候选天空域，其中X为预设值；

二值化处理模块，用于对暗通道图进行二值化处理，将上述选取的候选天空域置1，非候选天空域置0，形成二值图像；

腐蚀处理模块，用于对二值图像的候选天空域进行腐蚀处理，以便滤掉面积较小的白色亮物体，其中腐蚀处理的模板为w*w，w为预设的模板大小值；

连通域处理模块，用于对腐蚀处理后的二值图像进行连通域处理，形成多个连通区域，所述连通域处理是指将具有相同像素值的相邻像素点连成一个连通区域；

天空域估计模块，用于计算各个连通区域的面积，选取面积最大的连通区域作为估计的天空域，所述面积为连通区域里像素点的个数；

天空光估计模块，用于在Y通道含雾图像上，利用上述估计的天空域的位置信息，找出Y通道含雾图像上与上述估计的天空域相同位置区域里的最大灰度值，将该最大灰度值作为天空光的估计值。

优选地，所述候选天空域选取模块中X的取值范围为：10<X<30。

优选地，所述腐蚀处理模块中的w的取值范围为5<w<9。

进一步地，如图3所示，本发明还提供了一种基于天空光估计的图像去雾方法，其具体步骤如下：

(1)读入原始含雾图像，所述原始含雾图像处于RGB颜色空间；

(2)将原始含雾图像从RGB颜色空间转换到YUV颜色空间；

本去雾方法将原始含雾图像的RGB颜色空间转换到YUV颜色空间，直接在Y通道含雾图像上做去雾处理，大大加速了算法的运行速度；

(3)在Y通道含雾图像上利用暗原色先验理论求取Y通道含雾图像的暗原色通道，得到暗原色通道图像；即对每一个像素点求取其局部区域亮度的最小值，这个最小值作为该中心像素点的暗原色，对整幅图像做最小值处理即得到图像的暗原色通道图像；

(4)利用上述估计天空光的方法估计出暗原色通道图像的天空光A；

(5)根据天空光以及暗原色通道图像求取透射率传输图公式如下：

$\tilde{t}\left(x\right)=1-\underset{y\&Element;\mathrm{\&Omega;}\left(x\right)}{\min }(I\left(y\right)/A)$

其中Ω(x)是以x为中心的局部区域，I(y)为局部区域里的Y通道含雾图像，A为天空光，天空光为全图统一值；

(6)采用指导性滤波器对透射率传输图做滤波平滑处理得到t(x)；

由于所求取的透射率传输图存在严重的块效应，边缘细节信息损失严重，这里采用指导性滤波器对透射率传输图做滤波平滑处理得到t(x)，使其更加准确。指导性滤波器原理如下：

$a_k=\frac{\frac{1}{\left|w\right|}\underset{x\&Element;w_k}{\mathrm{\&Sigma;}}I\left(x\right)\tilde{t}\left(x\right)-{\mathrm{\&mu;}}_k{\stackrel{\&OverBar;}{t}}_k}{{\mathrm{\&sigma;}}_k^2+\mathrm{\&epsiv;}}$

$b_k={\stackrel{\&OverBar;}{t}}_k-a_k{\mathrm{\&mu;}}_k$

其中μ_k和是Y通道含雾图像I在局部窗口w_k里的均值和方差，是透射率在局部窗口w_k里的均值，|w|是局部窗口w_k里的像素点个数，ε是一个正则化参数，用来防止后面a_k项的计算值过大，这里30<w_k<50，得到滤波平滑结果为：

$t\left(x\right)=\frac{1}{\left|w\right|}\underset{k:x\&Element;w_k}{\mathrm{\&Sigma;}}(a_{k}I\left(x\right)+b_k)$

(7)根据大气散射公式求取Y通道复原图像J(x)，公式为：

I(x)＝J(x)t(x)+A[1-t(x)]

公式中I(x)为Y通道含雾图像，根据所求的透射率t(x)以及A可得到Y通道的复原图像J(x)

(8)对Y通道复原图像J(x)进行亮度增强处理得到J(x)'；

由于复原图像J(x)的亮度普遍偏低，因此需要对其进行亮度增强后处理，优选地这里采用双线性拉伸方法对Y通道复原图像进行亮度拉伸；

(9)将亮度增强后的Y通道复原图像J(x)'从YUV颜色空间转换至RGB颜色空间，得到最终去雾图像。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种天空光估计方法，其特征在于，所述方法包括如下步骤：

(1)选取暗通道图像中亮度前X％区域作为候选天空域，其中X为预设值；

(2)对暗通道图像进行二值化处理，将上述选取的候选天空域置1，非候选天空域置0，形成二值图像；

(3)对二值图像的候选天空域进行腐蚀处理，以便滤掉面积较小的白色亮物体，其中腐蚀处理的模板为w*w，w为预设的模板大小值；

(4)对腐蚀处理后的二值图像进行连通域处理，形成多个连通区域，所述连通域处理是指将具有相同像素值的相邻像素点连成一个连通区域；

(5)计算各个连通区域的面积，选取面积最大的连通区域作为估计的天空域，所述面积为连通区域里像素点的个数；

(6)在Y通道含雾图像上，利用上述估计的天空域的位置信息，找出Y通道含雾图像上与上述估计的天空域相同位置区域里的最大灰度值，将该最大灰度值作为天空光的估计值。

2.如权利要求1所述的方法，其特征在于，所述步骤(1)中X的取值范围为：10<X<30。

3.如权利要求1或2所述的方法，其特征在于，所述步骤(3)中的w的取值范围为5<w<9。

4.一种天空光估计系统，其特征在于，所述系统包括候选天空域选取模块、二值化处理模块、腐蚀处理模块、连通域处理模块、天空域估计模块以及天空光估计模块，其中：

候选天空域选取模块，用于选取暗通道图中亮度前X％区域作为候选天空域，其中X为预设值；

二值化处理模块，用于对暗通道图进行二值化处理，将上述选取的候选天空域置1，非候选天空域置0，形成二值图像；

腐蚀处理模块，用于对二值图像的候选天空域进行腐蚀处理，以便滤掉面积较小的白色亮物体，其中腐蚀处理的模板为w*w，w为预设的模板大小值；

连通域处理模块，用于对腐蚀处理后的二值图像进行连通域处理，形成多个连通区域，所述连通域处理是指将具有相同像素值的相邻像素点连成一个连通区域；

天空域估计模块，用于计算各个连通区域的面积，选取面积最大的连通区域作为估计的天空域，所述面积为连通区域里像素点的个数；

天空光估计模块，用于在Y通道含雾图像上，利用上述估计的天空域的位置信息，找出Y通道含雾图像上与上述估计的天空域相同位置区域里的最大灰度值，将该最大灰度值作为天空光的估计值。

5.如权利要求4所述的系统，其特征在于，所述候选天空域选取模块中X的取值范围为：10<X<30。

6.如权利要求4或5所述的系统，其特征在于，所述腐蚀处理模块中的w的取值范围为5<w<9。

7.一种基于天空光估计的图像去雾方法，其特征在于，所述方法包括如下步骤：

(1)读入原始含雾图像，所述原始含雾图像处于RGB颜色空间；

(2)将原始含雾图像从RGB颜色空间转换到YUV颜色空间；

(3)在Y通道含雾图像上利用暗原色先验理论求取Y通道含雾图像的暗原色通道，得到暗原色通道图像；

(4)利用权利要求1至3任一项所述估计天空光的方法估计出暗原色通道图像的天空光A；

(5)根据天空光以及暗原色通道图像求取透射率传输图

(6)采用指导性滤波器对透射率传输图做滤波平滑处理得到t(x)；

(7)根据大气散射公式求取Y通道复原图像J(x)，公式为：I(x)＝J(x)t(x)+A[1-t(x)]，其中I(x)为Y通道含雾图像。

(8)对Y通道复原图像J(x)进行亮度增强处理得到J(x)'；

(9)将亮度增强后的Y通道复原图像J(x)'从YUV颜色空间转换至RGB颜色空间，得到最终去雾图像。

8.如权利要求7所述的方法，其特征在于，所述步骤(3)具体为：

对Y通道含雾图像的每一个像素点求取其局部区域亮度的最小值，将这个最小值作为该中心像素点的暗原色，对整幅图像做最小值处理即得到暗原色通道图像。

9.如权利要求7或8所述的方法，其特征在于，所述步骤(5)具体根据下式处理：

$\tilde{t}\left(x\right)=1-\underset{y\&Element;\mathrm{\&Omega;}\left(x\right)}{\min }(I\left(y\right)/A)$

其中Ω(x)是以x为中心的局部区域，I(y)为局部区域里的Y通道含雾图像，A为天空光。

10.如权利要求7或8所述的方法，其特征在于，所述步骤(8)中的亮度增强处理具体为：

采用双线性拉伸方法对Y通道复原图像进行亮度拉伸。