CN108596857A - 用于智能驾驶的单幅图像去雾方法 - Google Patents

Abstract

本发明提供了一种用于智能驾驶的单幅图像去雾方法，利用最小滤波的方法对输入单幅有雾图像进行滤波，以获取输入图像对应的最小通道图像；利用场景深度与最小通道强度成正比的关系建立场景深度估计模型，快速准确估计出场景深度；根据传输图与场景深度之间的关系估算出场景传输图；联合输入有雾图像和所得的场景深度图，采用新的有效的大气光估计算法估计出大气光；最后，结合场景传输图、大气光和输入单幅有雾图像，利用大气物理模型有效实现单幅图像去雾。本发明能够快速准确地估算出场景传输图，提高单幅图像的去雾质量，避免把有雾图像中像素强度最大的像素当作大气光的错误。

Description

用于智能驾驶的单幅图像去雾方法

技术领域

本发明涉及信息技术中的计算机视觉领域，尤其是一种图像去雾方法。

背景技术

图像去雾技术是指利用特定的方法或手段，降低甚至消除空气中悬浮微粒或水珠对所采集图像的不良影响，以改善图像视觉效果的图像处理技术。它在智能驾驶系统、智能监控系统、卫星远端传感系统、军事、安防、教育和娱乐等多个领域都有着广泛的应用。单幅图像去雾技术是图像去雾技术中最有发展前景的技术之一。该技术只需输入一幅有雾图像，利用相关先验知识，通过特定方法或手段，可求解出传输图，然后基于大气物理模型，恢复得到去雾图像。然而，现有的单幅图像去雾技术所恢复的去雾图像的质量往往并不理想，存在的主要问题是传输图估计效率低和大气光估计不准确。

传输图估计问题是单幅图像去雾的最大难点所在。目前，对传输图估计的研究已经有很多。由于基于大气物理模型的图像去雾过程实质是求解欠定方程的过程，因此，基于先验知识的方法是通常对有雾或者无雾图像进行大量实验和统计分析，得到相应的先验知识，然后以此为基础，通过对大气物理模型进行变形求解，从而实现单幅图像去雾。比如，暗通道先验的图像去雾方法，就是通过对无雾图像的统计，发现在图像局部区域内，至少有一个颜色通道的亮度接近于0，然后以此求解传输图。这类方法可快速求得大气光传输图，但是这类方法过分地依赖于先验知识，当先验信息不符合所处理的图像时，图像去雾效果就不理想，比如在去雾后的图像里容易出现光晕现象等。基于深度学习的方法则是通过建立分层模型，然后对大量样本训练学习，得到模型参数，从而实现传输图解算。这类方法在图像去雾时虽然效果较好，但计算复杂度比较高。

大气光估计是单幅图像去雾技术的另一个关键问题所在。通常情况下，雾最浓区域的像素可看作是大气光的估计。因此，最简单的大气光估计方法是选择有雾图像中像素强度最大的像素作为大气光估计。然而这种方法通常会把图像中白色区域像素错误地选作为大气光的估计。基于四叉树的大气光估计方法假定天空区域在图像上方，然后通过统计各个区域的灰度平均值，选作平均值最大的区域再次进行分解，直至满足某个预先设定的值时，迭代停止，则把该区域的像素平均值作为大气光估计值。由于这种方法假定了天空区域在上方，因此其应用范围受到了限制。此外，由于四叉树分解的过程是一个不断迭代的过程，因此，该方法求解大气光的运算量仍然比较大。

发明内容

为了克服现有技术的不足，本发明提供一种用于智能驾驶的无人车车载系统中存在的图像去雾视觉效果差的问题，基于车载视频采集系统进行图像去雾，可以同时解决图像去雾时的两个最关键问题：传输图估计问题和大气光估计问题，从而可以恢复出高质量的去雾图像。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤S1，输入单幅有雾图像，进行场景深度估计；

步骤S2，根据深度估计得到的自然场景深度图像，生成能够表示场景环境中雾浓度的传输图像；

步骤S3，根据深度估计得到的自然场景深度图像和输入有雾图像，估计出能够表示环境光强度的大气光；

步骤S4，利用估计的传输图和大气光，结合大气物理模型实现单幅图像去雾。

所述的步骤S1中，根据输入有雾图像I(x)，计算得到有雾图像的最小通道图像根据最小通道图像计算得到与I(x)所对应的深度图像其中x表示图像的坐标索引，r,g,b分别表示红色、绿色和蓝色通道，c表示r,g,b中某一个颜色通道，I^c(x)表示I(x)的颜色通道，Min表示的最小值，Max表示的最大值。

所述的步骤S2中，根据深度图像d(x)和传输图像t(x)之间的指数关系t(x)＝e^-βd(x)计算出能够表示场景雾浓度的传输图像t(x)，其中β为大气媒介参数。

所述的步骤S3中，求取深度图向d(x)中深度强度从大到小排列的前0.1％的像素所组成的大气光估计候选点点集Ω；将大气光估计候选点点集Ω在输入有雾图像I(x)中所对应像素位置的像素强度最大值作为大气光估计值A。

所述的步骤S4中，单幅图像去雾其中t₀为t(x)的下限，max(t(x),t₀)表示取t(x)≥t₀时的最大值。

本发明的有益效果是：

1)计算场景传输图时，本方法引入最小通道的思想，利用场景深度和有雾图像的最小通道强度成正比的关系，建立线性模型，生成场景深度图。根据该深度图则很容易估算出有雾图像的场景传输图。理论和实验结果证明，这种方法能够快速准确地估算出场景传输图，提高单幅图像的去雾质量，而已有的方法无法快速有效地估算出场景传输图；

2)对于大气光估计，本方法根据所获得的场景深度图，通过对单幅图像去雾的物理模型进行推理演绎，提出了一种更加合理有效的大气光估计方法。所提方法把场景深度信息和图像像素信息相结合，以估计大气光，可有效避免把有雾图像中像素强度最大的像素当作大气光的错误，而已有的方法没有有效利用场景深度信息估计大气光，所以图像去雾效果并不理想。

本发明的图像去雾方法除了可适用于智能驾驶的车载视频采集预处理系统的图像去雾外，还可以应用于户外视频监控、虚拟现实和遥感信息系统等多个领域。

附图说明

图1为本发明的单幅图像去雾方法流程图；

图2为本发明中的最小通道、深度图和传输图示意图；

图3为不同单幅图像去雾算法对真实有雾图像序列Mountain1的去雾结果图。

图4为不同单幅图像去雾算法对合成有雾图像序列Cloth4的去雾结果图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明提出的一种用于智能驾驶的图像去雾方法采用的技术方案包括以下步骤：

步骤S1：输入单幅有雾图像，进行场景深度估计；

步骤S2：根据深度估计得到的自然场景深度图像，生成可表示场景环境中雾浓度的传输图像；

步骤S3：根据深度估计得到的自然场景深度图像和输入有雾图像，估计出可表示环境光强度的大气光；

步骤S4：利用估计的传输图和大气光，结合传统大气物理模型，实现单幅图像去雾。

所述步骤S1包括：

步骤S11，根据输入有雾图像I(x)，计算得到有雾图像的最小通道图像

步骤S12，根据最小通道图像计算得到与I(x)所对应的深度图像，计算公式为：

其中x表示图像的坐标索引，d(x)表示深度图，r,g,b分别表示红色、绿色和蓝色通道，c表示r,g,b中某一个颜色通道，I^c(x)表示输入I(x)的颜色通道，min表示求最小值，Min表示的最小值，即Max表示的最大值，即

所述步骤S2包括：

根据输入有雾图像所对应的深度图d(x)，利用传输图t(x)和深度图d(x)之间存在的指数关系t(x)＝e^-βd(x)，可计算出能够表示场景雾浓度的传输图，其中β为大气媒介参数。

所述步骤S3包括：

步骤S31，根据输入有雾图像所对应的深度图d(x)，求得深度图中深度强度从大到小排列的前0.1％的像素所组成的大气光估计候选点点集Ω；

步骤S32，根据输入有雾图像I(x)及大气光估计候选点点集Ω，把在Ω中所对应像素位置，在输入有雾图像中像素强度最大的值作为大气光估计值，计算公式为：

所述步骤S4包括：

利用上述步骤估计的传输图t(x)和大气光估计值A，结合传统大气物理模型，实现单幅图像去雾，计算公式为：

I(x)是输入有雾图像，J(x)是所恢复出的去雾图像。为了避免t(x)过小时引入大量噪声，对t(x)的下界进行了限制，即t(x)≥t₀，即t₀为t(x)的下限，实验中取t₀＝0.1。

图1为本发明用于智能驾驶的单幅图像去雾方法的流程图。其主要原理是：首先，利用最小滤波的方法对输入单幅有雾图像进行滤波，以获取输入图像对应的最小通道图像。其次，利用场景深度与最小通道强度成正比的关系，建立场景深度估计模型，可快速准确估计出场景深度。然后根据传输图与场景深度之间的关系，可估算出场景传输图。再次，联合输入有雾图像和所得的场景深度图，采用新的有效的大气光估计算法，可估计出大气光。最后，结合场景传输图、大气光和输入单幅有雾图像，利用传统大气物理模型，可有效实现单幅图像去雾。

参照图1，在步骤S1根据单幅输入有雾图像，得到有雾图像的最小通道图像，生成场景深度图像。步骤S1进一步包括步骤S11和步骤S12。

步骤S11，根据输入有雾图像I(x)，利用最小滤波器，逐像素对其三个颜色通道RGB求最小值，计算得到有雾图像的最小通道图像图2(b)给出了图2(a)对应的最小通道图像

步骤S12，根据最小通道图像计算得到I(x)的所对应的深度图像d(x)。为了减少运算量，我们把根据先验知识得到的d(x)与之间的正比关系，建立线性模型：

其中x表示图像的坐标索引，d(x)表示深度图，r,g,b分别表示红色、绿色和蓝色通道，c表示r,g,b中某一个颜色通道，I^c(x)表示输入I(x)的颜色通道，min表示求最小值，Min表示的最小值，即Max表示的最大值，即图2(c)给出了根据图2(b)估计的深度图像d(x)。

在步骤S2根据输入有雾图像所对应的深度图d(x)，利用传输图t(x)和深度图d(x)之间存在的指数关系t(x)＝e^-βd(x)，可计算出能够表示场景雾浓度的传输图t(x)。其中β为大气媒介参数，实验中取β＝1.0。图2(d)给出了由图2(c)计算的传输图t(x)。

在步骤S3根据深度估计得到的自然场景深度图像和输入有雾图像，估计出可表示环境光强度的大气光。步骤S3进一步包括步骤S31和步骤S32。

步骤S31，根据输入有雾图像所对应的深度图d(x)，求得深度图中深度强度从大到小排列的前0.1％的像素所组成的大气光估计候选点点集Ω，即

Ω＝{x|d(x)≥M}

其中M为d(x)中所有像素按照深度值从大到小排列，前0.1％处的一个像素的深度值。

步骤S32，根据输入有雾图像I(x)及大气光估计候选点点集Ω，把在Ω中所对应像素位置，在输入有雾图像中像素强度最大的值作为大气光估计值，计算公式为：

5、在步骤S4利用所估计的传输图t(x)和大气光A，结合传统大气物理模型，实现单幅图像去雾，计算公式为：

I(x)是输入有雾图像，J(x)是所恢复出的去雾图像。为了避免t(x)过小时引入大量噪声，对t(x)的下界进行了限制，即t(x)≥t₀，实验中取t₀＝0.1。图2(e)给出了由图2(d)恢复出的去雾图像J(x)。

本发明的具体实施效果如表1、表2、表3、图3和图4所示。表1给出了单幅图像去雾算法在真实有雾图像上测试结果的无参考质量评价。表2给出了单幅图像去雾算法在合成有雾图像数据集上测试结果的MSE、PSNR和SSIM比较。表3给出了单幅图像去雾算法的时间复杂度比较结果。图3给出了真实有雾图像序列Mountain1利用不同图像去雾算法的去雾结果。图4给出了合成有雾图像序列Cloth4利用不同图像去雾算法的去雾结果。从图3和图4可以看出，其它算法的去雾效果不甚理想，比如去雾不彻底，或存在颜色失真或者光晕效应的问题。这是因为这些算法对于传输图估计不准确，大气光不能正确选择。由以上实验结果可以看出，与其它传统的单幅图像去雾算法相比，本文发明所提出的算法简单、快速且有效，去雾的效果更好些。

表1真实有雾图像无参考质量评价结果比较

表2合成有雾图像MSE、PSNR和SSIM比较

表3算法时间复杂度比较

以上所述的具体实施例，对本发明的目的、技术方案和优点进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种用于智能驾驶的单幅图像去雾方法，其特征在于包括下述步骤：

步骤S1，输入单幅有雾图像，进行场景深度估计；

步骤S2，根据深度估计得到的自然场景深度图像，生成能够表示场景环境中雾浓度的传输图像；

步骤S3，根据深度估计得到的自然场景深度图像和输入有雾图像，估计出能够表示环境光强度的大气光；

步骤S4，利用估计的传输图和大气光，结合大气物理模型实现单幅图像去雾。

2.根据权利要求1所述的用于智能驾驶的单幅图像去雾方法，其特征在于：所述的步骤S1中，根据输入有雾图像I(x)，计算得到有雾图像的最小通道图像根据最小通道图像计算得到与I(x)所对应的深度图像其中x表示图像的坐标索引，r,g,b分别表示红色、绿色和蓝色通道，c表示r,g,b中某一个颜色通道，I^c(x)表示I(x)的颜色通道，Min表示的最小值，Max表示的最大值。

3.根据权利要求1所述的用于智能驾驶的单幅图像去雾方法，其特征在于：所述的步骤S2中，根据深度图像d(x)和传输图像t(x)之间的指数关系t(x)＝e^-βd(x)计算出能够表示场景雾浓度的传输图像t(x)，其中β为大气媒介参数。

4.根据权利要求1所述的用于智能驾驶的单幅图像去雾方法，其特征在于：所述的步骤S3中，求取深度图向d(x)中深度强度从大到小排列的前0.1％的像素所组成的大气光估计候选点点集Ω；将大气光估计候选点点集Ω在输入有雾图像I(x)中所对应像素位置的像素强度最大值作为大气光估计值A。

5.根据权利要求1所述的用于智能驾驶的单幅图像去雾方法，其特征在于：所述的步骤S4中，单幅图像去雾其中t₀为t(x)的下限，max(t(x),t₀)表示取t(x)≥t₀时的最大值。