CN111161167B - 基于中通道补偿和自适应大气光估计的单幅图像去雾方法 - Google Patents

Abstract

本发明公开了一种基于中通道补偿和自适应大气光估计的单幅图像去雾方法，首先，提出RGB空间的判决图，并设计一种阈值约束方法，可有效区分天空和非天空区域，提出了基于判决图的自适应阈值约束大气光估计方法，可得到优化后的大气光值，避免恢复的图像出现色偏以及过饱和等现象。另外，提出基于中通道补偿的透射率估计方法，并将其和基于暗通道先验求得的透射率相融合，从而获得较为准确的透射率估计，可有效避免天空区域颜色失真和过饱和现象。为了防止去雾过程中图像细节丢失，本发明将输入图像分解为结构层和纹理层，仅对结构层图像进行去雾。利用本发明去雾方法得到的恢复图片对比度高、色彩明亮并且在视觉效果上更加清晰自然。

Description

基于中通道补偿和自适应大气光估计的单幅图像去雾方法

技术领域

本发明属于计算机图像处理的领域，尤其涉及一种用于图像或者视频去雾方法。

背景技术

在雾、霾等恶劣天气条件下拍摄的户外图像，由于大气悬浮粒子等影响，使得景物的能见度大幅降低，质量受到严重的退化，对比度大大降低。图像质量的退化会严重影响其后续处理，比如视频监控、特征提取、目标识别等。因此，图像去雾一直是计算机视觉、图像处理领域的研究热点。

现有的图像去雾方法中，主要包括基于图像增强的方法和基于物理模型的复原方法。图像增强方法不考虑图像退化的原因，无法真正实现去雾；基于物理模型的方法中，应用暗通道先验的去雾方法^[1]取得了广泛的应用。但当图像中含有大面积天空区域或白色物体时，暗通道先验算法失效，导致透射率估计不准确，去雾效果欠佳。

[参考文献]

[1]He K,Jian S,Tang X.Single image haze removal using dark channelprior[C]//IEEE Conference on Computer Vision&Pattern Recognition.2009.

[2]Narasimhan S G,Nayar S K.Vision and the Atmosphere[J].International Journal of Computer Vision,2002,48(3):233-254.

[3]Tarel J P,Hautière N.Fast visibility restoration froma singlecolor or gray level image[C].IEEE International Conference on ComputerVision,2010:2201-2208.

[4]He K,Sun J,Tang X.Guided image filtering[J].IEEE Transactions onPattern Analysis and Machine Intelligence,2013,35(6):1397-1409.

[5]陈本豪，高涛，卢玮，王翠翠，李琨.基于雾天图像退化模型的自适应参数优化的去雾算法[J].科学技术与工程，2019，19(21):219-227。

[6]Li Y,Guo F,Tan R T,et al.A Contrast Enhancement Framework withJPEG Artifacts Suppression[J].2014.

发明内容

针对暗通道先验对天空区域失效等问题，本发明提出一种基于中通道补偿和自适应大气光估计的去雾方法。首先，提出RGB空间的判决图，并设计一种阈值约束方法，可有效区分天空和非天空区域，由此提出了基于判决图的自适应阈值约束大气光估计方法；另外，提出基于中通道补偿的透射率估计方法，并将其和基于暗通道先验求得的透射率相融合，从而获得较为准确的透射率估计，可有效避免天空区域颜色失真和过饱和现象。为了防止去雾过程中图像细节丢失，本发明将输入图像分解为结构层和纹理层^[6]，仅对结构层图像进行去雾。

为了解决上述技术问题，本发明提出的一种基于中通道补偿和自适应大气光估计的单幅图像去雾方法，包括以下步骤：

步骤一、将输入的有雾图像分解为结构层图像和纹理层图像；

步骤二、定义RGB空间的立体判决图,以R空间为x轴，G空间为y轴，B空间为z轴；在此判决图中，定义坐标(0,0,0)为黑像素点，坐标(1,1,1)为白像素点，以坐标(1,1,1)为圆心，以(1-δ)为半径作圆O；若通过暗通道先验求得的像素点在该圆O内，则认为该像素点接近(1,1,1)，属于白色物体像素点，舍弃；若通过暗通道先验求得的像素点在该圆O外则认为不是白色物体像素点，保留，并用于求解大气光值；其中δ为阈值；

步骤三、对该立体判决图中的阈值δ进行约束，基于立体判决图的自适应阈值约束得到优化后的大气光值A₁,过程如下：

大气散射模型为：

I(x)＝J(x)t(x)+A(1-t(x)) (1)

式(1)中，I(x)为有雾图像的结构层图像，J(x)为无雾图像的结构层图像，A是大气光值，t(x)为场景的透射率；

采用下式对立体判决图中的δ阈值进行约束：

式(2)中，Ac_max是根据暗通道先验理论求出的大气光值A中的最大值，Ac_min是大气光值A的最小值；D_max是整体结构层图像最大像素值，D_min是整体结构层图像最小像素值；

对暗通道前0.1％的像素点进行自适应阈值判断，对保留在立体判决图中圆外的像素点取平均值得到具有自适应的优化后的大气光值A₁；

步骤四、根据暗通道先验理论求得透射率t(x)，

式(3)中，Ω(x)是以像素x为中心的滤波窗口，I^c(y)表示RGB图像某一点y的某一通道，ω根据经验取0.95，A₁为优化后的大气光值；

根据暗通道和亮通道先验理论求得中通道透射率t₁(x)：

对式(1)等号两边各通道进行中值滤波，得到：

在天空区域中，中间通道的像素值接近于1，即：

将式(5)代入式(4)，得到：

步骤五、将求得的透射率t(x)和中通道透射率t₁(x)根据式(7)进行融合，得到优化后的透射率t_f(x)：

步骤六、将得到的优化后的透射率t_f(x)经过引导滤波进行细化处理，得到边缘结构明显的透射率

步骤七、将步骤三得到的优化后的大气光值A₁和步骤六得到的透射率代入大气散射模型，得到：

进而得出恢复的无雾图像的结构层图像：

式(9)中，t₀是为了防止过小而设置的阈值，t₀取0.1。

步骤八：将得到的无雾图像的结构层图像与步骤一分解出的纹理层图像进行叠加得到恢复的无雾图像。

与现有技术相比，本发明的有益效果是：在对大气光值A的估计中，可有效区分天空区域和非天空区域，并且提出的立体判决图和自适应阈值约束方法能有效避免有雾图片中白色物体的影响，可得到优化后的大气光值，避免恢复的图像出现色偏以及过饱和等现象。在对透射率t(x)的估计中，针对暗通道先验对天空区域失效的问题，提出了中通道补偿算法，可有效同时对天空区域以及对天空区域进行去雾，得到的恢复图片对比度高、色彩明亮并且在视觉效果上更加清晰自然。

附图说明

图1是本发明中RGB空间的立体判决图。

图2(a)至图2(f)是三通道透射率及融合图；其中，图2(a)为暗通道融合图，图2(b)为中通道融合图，图2(c)为亮通道融合图，图2(d)为暗亮通道融合图，图2(e)为中亮通道融合图，图2(f)为暗中通道融合图。

图3(a)至图3(d)是实施例1的主观效果图对比；其中，图3(a)是模糊图像，图3(b)是He^[1]的暗通道先验的去雾效果图，图3(c)是tarel^[3]的去雾结果图，图3(d)是本发明方法的去雾结果图。

图4(a)至图4(d)是实施例2的主观效果图对比；其中，图4(a)是模糊图像，图4(b)是He^[1]的暗通道先验的去雾效果图，图4(c)是tarel^[3]的去雾结果图，图4(d)是本发明方法的去雾结果图。

图5(a)至图5(d)是实施例3的主观效果图对比；其中，图5(a)是模糊图像，图5(b)是He^[1]的暗通道先验的去雾效果图，图5(c)是tarel^[3]的去雾结果图，图5(d)是本发明方法的去雾结果图。

图6(a)至图6(d)是实施例3的主观效果图对比；其中，图6(a)是模糊图像，图6(b)是He^[1]的暗通道先验的去雾效果图，图6(c)是tarel^[3]的去雾结果图，图6(d)是本发明方法的去雾结果图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步的说明，但下述实施例绝非对本发明有任何限制。

现有技术中暗通道先验去雾的基本思路。

Narasimhan等^[2]提出的大气散射模型为：

I(x)＝J(x)t(x)+A(1-t(x))，

其中，I(x)为有雾图像的结构层，J(x)为无雾图像的结构层，A是大气光值，t(x)为场景透射率。

基于暗通道先验，可求得透射率：

将透射率表达式代入大气散射模型中,可得到去雾图像为：

其中，t₀根据经验取0.1。

下面结合附图及具体实施例对本发明做进一步的说明，但下述实施例绝非对本发明有任何限制。

以暗通道先验为基础的去雾方法，通常选取暗通道前0.1％的像素所对应有雾图像中的像素点取平均值作为大气光值A，其不足之处在于当图像中存在白色物体时，大气光估计值比实际大很多，严重影响复原效果。因此，本发明中提出了一种RGB空间的立体判决图的概念，并设计自适应阈值约束方法有效区分天空和非天空区域，消除白色物体影响，判决图结构如图1所示。

在该判决图中，可认为(0,0,0)为黑像素点，(1,1,1)为白像素点。以(1,1,1)为圆心，以(1-δ)为半径作圆O；若像素点在圆O内，则认为该像素点接近(1,1,1)，属于白色物体像素点，舍弃；若像素点在圆O外则认为不是白色物体像素点，可用于求解大气光，保留。其中δ为阈值，为了使阈值的选取具有自适应性，采用下式对其进行约束：

其中，Ac_max是暗通道求出的大气光值A中的最大值，Ac_min是大气光值A的最小值；D_max是整体图像最大像素值，D_min是整体图像最小像素值。

对暗通道前0.1％的像素点进行自适应阈值判断，对保留在圆外的像素点取平均值可得到具有自适应的大气光值A₁。由于其去除了在圆内的类似于白色物体的像素点，故可以有效区分天空区域和非天空区域。

为克服暗通道先验缺陷，文献[5]提出了亮元素先验，该先验适用于暗通道去雾效果不好的浓雾天空区域。研究发现，天空区域的亮元素总是非常接近于1，透射率估计偏大,去雾后图像整体偏暗。本发明研究发现，中通道补偿可以有效恢复天空区域的透射率，暗通道先验可以有效恢复景物部分的透射率。因此，本发明提出将中通道补偿与暗通道先验相结合，实现天空和景物区域有效去雾。

基于上述考虑，本发明提出的一种基于中通道补偿和自适应大气光估计的单幅图像去雾方法，首先，提出RGB空间的判决图，并设计一种阈值约束方法，可有效区分天空和非天空区域，由此提出了基于判决图的自适应阈值约束大气光估计方法；另外，提出基于中通道补偿的透射率估计方法，并将其和基于暗通道先验求得的透射率相融合，从而获得较为准确的透射率估计，可有效避免天空区域颜色失真和过饱和现象。为了防止去雾过程中图像细节丢失，本发明将输入图像分解为结构层和纹理层^[6]，仅对结构层图像进行去雾。具体步骤如下：

步骤一、将输入的有雾图像分解为结构层图像和纹理层图像；

步骤二、定义RGB空间的立体判决图，如图1所示，以R空间为x轴，G空间为y轴，B空间为z轴；在此判决图中，定义坐标(0,0,0)为黑像素点，坐标(1,1,1)为白像素点，以坐标(1,1,1)为圆心，以(1-δ)为半径作圆O；若通过暗通道先验求得的像素点在该圆O内，则认为该像素点接近(1,1,1)，属于白色物体像素点，舍弃；若通过暗通道先验求得的像素点在该圆O外则认为不是白色物体像素点，保留，并用于求解大气光值；其中δ为阈值。

步骤三、对该立体判决图中的阈值δ进行约束，基于立体判决图的自适应阈值约束得到优化后的大气光值A₁,过程如下：

大气散射模型为：

I(x)＝J(x)t(x)+A(1-t(x)) (1)

式(1)中，I(x)为有雾图像的结构层图像，J(x)为无雾图像的结构层图像，A是大气光值，t(x)为场景的透射率；

采用下式对立体判决图中的δ阈值进行约束：

式(2)中，Ac_max是根据暗通道先验理论求出的大气光值A中的最大值，Ac_min是大气光值A的最小值；D_max是整体结构层图像最大像素值，D_min是整体结构层图像最小像素值；

对暗通道前0.1％的像素点进行自适应阈值判断，对保留在立体判决图中圆外的像素点取平均值得到具有自适应的优化后的大气光值A₁。

步骤四、根据暗通道先验理论求得透射率t(x)，

式(3)中，Ω(x)是以像素x为中心的滤波窗口，I^c(y)表示RGB图像某一点y的某一通道，ω根据经验取0.95，A₁为优化后的大气光值；

根据暗通道和亮通道先验理论求得中通道透射率t₁(x)：

对式(1)等号两边各通道进行中值滤波，得到：

在天空区域中，中间通道的像素值也比较接近于1，而且可以有效避免白色区域的影响，即：

将式(5)代入式(4)，可以得到：

在天空区域，基于暗通道先验得到的透射率t(x)偏小，基于中通道补偿得到的透射率t₁(x)相对准确；在景物区域，基于中通道补偿得到的透射率t₁(x)偏小，基于暗通道先验得到的透射率t(x)相对准确；无论是在天空区域还是在景物区域，基于亮通道先验得到的透射率均偏大。

步骤五、将求得的透射率t(x)和中通道透射率t₁(x)根据式(7)进行融合，得到优化后的透射率t_f(x)：

基于暗通道先验得到的透射率t(x)在天空区域不能有效恢复，在景物部分可以有效恢复，如图2(a)所示。而基于中通道补偿得到的透射率t₁(x)在天空区域可以有效恢复，在景物部分不能有效恢复，如图2(b)所示。经过亮通道处理后的图像透射率在天空区域和景物部分均不能有效恢复，如图2(c)所示。图2(d)、图2(e)和图2(f)分别是暗亮通道、中亮通道、暗中通道融合效果。可以看出，其中暗通道和中通道的融合能够同时有效处理天空和景物区域，去雾结果良好。

步骤六、将得到的优化后的透射率t_f(x)经过引导滤波进行细化处理，得到边缘结构明显的透射率

步骤七、将步骤三得到的优化后的大气光值A₁和步骤六得到的透射率代入大气散射模型，得到：

进而得出恢复的无雾图像的结构层图像：

式(9)中，t₀是为了防止过小而设置的阈值，t₀取0.1。

步骤八：将得到的无雾图像的结构层图像与步骤一分解出的纹理层图像进行叠加得到恢复的无雾图像。

为了验证本发明提出的去雾方法的有效性，将本发明去雾方法与现有经典的去雾方法进行对比。图3(a)至图3(d)，图4(a)至图4(d)，图5(a)至图5(d)，图6(a)至图6(d)分别为实施例1-4的本发明方法与He^[1]、tarel^[3]方法之间的主观效果图对比。其中，图3(a)、图4(a)图5(a)和图6(a)均为模糊图像，图3(b)、图4(b)、图5(b)和图6(b)给出了He^[1]的暗通道先验的去雾效果，图3(c)、图4(c)、图5(c)和图6(c)给出了tarel^[3]的去雾结果。图3(d)、图4(d)、图5(d)和图6(d)均为本发明方法的效果图，本发明方法相比He^[1]和tarel^[3]可有效提高图像对比度，去雾更加彻底，细节信息丰富，更符合人眼的视觉特性。

为客观评价本发明算法，计算实施例1-4去雾后图像的平均梯度和信息熵，如表1所示。由表1数据显示，本发明去雾方法可有效提高有雾图像的平均梯度和信息熵，失真程度最小，去雾效果最为真实自然，并优于He^[1]方法和tarel^[3]方法。

表1客观指标比较结果

尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。

Claims (1)

1.一种基于中通道补偿和自适应大气光估计的单幅图像去雾方法，其特征在于，包括以下步骤：

步骤一、将输入的有雾图像分解为结构层图像和纹理层图像；

步骤二、定义RGB空间的立体判决图,以R空间为x轴，G空间为y轴，B空间为z轴；在此判决图中，定义坐标(0,0,0)为黑像素点，坐标(1,1,1)为白像素点，以坐标(1,1,1)为圆心，以(1-δ)为半径作圆O；若通过暗通道先验求得的像素点在该圆O内，则认为该像素点接近(1,1,1)，属于白色物体像素点，舍弃；若通过暗通道先验求得的像素点在该圆O外则认为不是白色物体像素点，保留，并用于求解大气光值；其中δ为阈值；

步骤三、对该立体判决图中的阈值δ进行约束，基于立体判决图的自适应阈值约束得到优化后的大气光值A₁,过程如下：

大气散射模型为：

I(x)＝J(x)t(x)+A(1-t(x)) (1)

式(1)中，I(x)为有雾图像的结构层图像，J(x)为无雾图像的结构层图像，A是大气光值，t(x)为场景的透射率；

采用下式对立体判决图中的δ阈值进行约束：

式(2)中，Ac_max是根据暗通道先验理论求出的大气光值A中的最大值，Ac_min是大气光值A的最小值；D_max是整体结构层图像最大像素值，D_min是整体结构层图像最小像素值；

对暗通道前0.1％的像素点进行自适应阈值判断，对保留在立体判决图中圆外的像素点取平均值得到具有自适应的优化后的大气光值A₁；

步骤四、根据暗通道先验理论求得透射率t(x)，

式(3)中，Ω(x)是以像素x为中心的滤波窗口，I^c(y)表示RGB图像某一点y的某一通道，ω根据经验取0.95，A₁为优化后的大气光值；

根据暗通道和亮通道先验理论求得中通道透射率t₁(x)：

对式(1)等号两边各通道进行中值滤波，得到：

在天空区域中，中间通道的像素值接近于1，即：

将式(5)代入式(4)，得到：

步骤五、将求得的透射率t(x)和中通道透射率t₁(x)根据式(7)进行融合，得到优化后的透射率t_f(x)：

步骤六、将得到的优化后的透射率t_f(x)经过引导滤波进行细化处理，得到边缘结构明显的透射率

步骤七、将步骤三得到的优化后的大气光值A₁和步骤六得到的透射率代入大气散射模型，得到：

进而得出恢复的无雾图像的结构层图像：

式(9)中，t₀是为了防止过小而设置的阈值，t₀取0.1；

步骤八：将得到的无雾图像的结构层图像与步骤一分解出的纹理层图像进行叠加得到恢复的无雾图像。