CN104715456B - 一种图像的去雾方法 - Google Patents

Abstract

本发明公开了一种图像的去雾方法。该方法包括：对输入的图像进行通道筛选，将所述图像分为三个独立的单通道图像；计算所述图像的暗通道；统计所述三个独立的单通道图像的灰度直方图分布；统计所述三个独立的单通道图像的环境光；对所述暗通道进行高斯滤波；计算透射率映射表；进行去雾处理，通过计算得到复原后的各个通道，对复原后的三个通道进行数据合并，输出图像。通过使用本发明所提供的图像的去雾方法，可以在满足去雾功能的同时，可以大大提高图像处理的运行速度。

Description

一种图像的去雾方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种图像的去雾方法。

背景技术

由于我国工业化进程的加快，工业废气和汽车尾气的排放量都在迅速增加，使得环境空气中发杂质含量增大，直接造成了工业化城市大量的雾霾天气。雾霾天气环境下，能见度降低，在此种天气条件下摄像装置发成像质量降低，无法对视野中的目标进行有效分辨，因此，对存在雾霾的监控视频进行去雾处理就显得非常必要。

对比现有技术中的各种去雾算法可以发现，现有技术中的基于暗原色先验的图像去雾方法虽然可以取得较为理想的去雾效果，但该方法的计算量巨大，处理一帧图像需要花费几秒甚至更多时间，从而难以满足监控视频的实时性要求。因此，需要找到一种加速方法以实现实时去雾处理。

发明内容

有鉴于此，本发明提供一种图像的去雾方法，从而可以在满足去雾功能的同时，大大提高图像处理的运行速度。

本发明的技术方案具体是这样实现的：

一种图像的去雾方法，该方法包括：

对输入的图像进行通道筛选，将所述图像分为三个独立的单通道图像；

计算所述图像的暗通道；

统计所述三个独立的单通道图像的灰度直方图分布；

统计所述三个独立的单通道图像的环境光；

对所述暗通道进行高斯滤波；

计算透射率映射表；

进行去雾处理，通过计算得到复原后的各个通道

对复原后的三个通道进行数据合并，输出图像。

较佳的，所述图像为RGB彩色图像；

所述三个独立的单通道图像分别为imgR、imgG和imgB。

较佳的，所述计算图像的暗通道为：

将所述三个独立的单通道图像imgR、imgG和imgB中的对应位置的最小取值作为图像的暗原色。

较佳的，所述统计三通道的灰度直方图分布包括：

对所述三个独立的单通道图像分别统计其灰度直方图分布并存储结果。

较佳的，所述统计所述三个独立的单通道图像的环境光包括：

选取三通道中亮度最大的1％的像素为环境光，分别计算出每个通道的环境光。

较佳的，所述选取三通道中亮度最大的1％的像素为环境光包括：

对图像中的每一帧进行处理；

如果图像中的当前帧为第一帧，则将经过原始统计得到的当前帧的环境光作为经过学习得到的当前帧的环境光；

如果图像中的当前帧不是第一帧，则判断经过原始统计得到的当前帧的环境光与上一帧的环境光的差值是否小于或等于预设的阈值；如果是，则将上一帧的环境光与经过原始统计得到的当前帧的环境光的加权平均值作为经过学习得到的当前帧的环境光；如果否，则将上一帧的环境光作为经过学习得到的当前帧的环境光。

较佳的，所述经过学习得到的当前帧的环境光为：

其中，表示经过原始统计得到的第k帧的环境光，A_k表示经过学习得到的第k帧的环境光，α表示当前帧的更新权重，A_thresh表示所述预设的阈值。

较佳的，所述α的取值范围为0到1。

较佳的，所述α的取值为0.2。

较佳的，所述A_thresh的取值为50。

较佳的，通过如下的公式对所述暗通道进行高斯滤波：

J_dark＝Conv(J_dark,gaussian_kernel)；

其中，J_dark为户外无雾图像J的暗原色，conv表示滤波操作，所述gaussian_kernel表示高斯核函数。

较佳的，所述计算透射率映射表包括：

建立初始的透射率映射表；

根据预设的公式对于0～255的输入分别计算其透射率，将计算结果存储在透射率映射表中。

较佳的，所述预设的公式为：

其中，t(x)为传输率，为t(x)的倒数，round表示取整且四舍五入的操作，ω为透射系数，A_c为一通道的环境光，t₀为预设的透射率的下限值。

较佳的，使用如下的修改后的复原公式，计算得到复原后的各个通道：

J_c(x)＝((I_c(x)-A_c)*t_map[J_dark(x)])>>10+A_c；

其中，J_c(x)为一通道去雾后的图像，I_c(x)为一通道去雾前的图像，t_map为透射率映射表，“>>”表示右移位操作。

如上可见，在本发明所提供的图像的去雾方法中，使用了带雾的大气散射模型，针对图像中广泛存在的暗原色假设计算图像的暗通道，并根据暗通道与原始图像分别统计每个颜色通道的环境光，根据大气散射模型计算图像的透射率映射表，通过查表操作进行加速，对暗通道进行高斯滤波处理，以使用暗通道的空间信息，最后结合最初建立的大气散射模型最终可得到去雾后的图像。由于在上述的方法中，将所述图像分为3个独立的单通道图像，将三个颜色通道分开，因而保证了每个通道数据的连续性，所以非常适合采用SIMD指令技术，对适当的部分采用SSE2指令集对程序进行修改，因此在满足去雾功能的同时，可以极大的提高图像处理操作的运行速度，例如，可在单线程上对720P视频进行实时处理，图像处理速度的提升效果非常明显。

附图说明

图1为本发明实施例中的图像的去雾方法的流程示意图。

图2为本发明实施例中的去雾前的原始图像。

图3为本发明实施例中的去雾后的效果图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

本实施例提供了一种图像的去雾方法。

图1为本发明实施例中的图像的去雾方法的流程示意图。如图1所示，本发明实施例中的图像的去雾方法主要包括如下所述的步骤：

步骤101，对输入的图像进行通道筛选，将所述图像分为三个独立的单通道图像。

较佳的，在本发明的具体实施例中，所述图像可以是RGB彩色图像；因此，所述三个独立的单通道图像可以分别为imgR、imgG和imgB。

步骤102，计算所述图像的暗通道。

在计算机视觉和计算机图形中，被广泛使用的大气散射模型可使用如下所述的公式表示：

I(x)＝Aρ(x)e^-βd(x)+A(1-e^-βd(x)) (1)

其中，I(x)是场景成像，A是大气光，β是大气散射系数，ρ(x)和d(x)分别是坐标x处的场景反照率和景深，其中透射率t(x)＝e^-βd(x)，因此，我们看到的无雾自然图像可以表示为：J(x)＝Aρ(x)。因此，上述公式(1)右边的第一项J(x)t(x)可以称为直接衰减项，第二项A(1-t(x))则为大气光成分。其中，所述直接衰减项描述的是景物光线在透射媒介中经衰减后的部分，而所述大气光成分则是由前方散射引起的，会导致景物颜色的偏移。

本发明中使用了暗原色先验(dark channel prior)进行去雾。其中，暗原色先验是通过对户外无雾图像的观察得出的：在绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道具有很低的值。换言之，该区域光强度的最小值是个很小的数。暗原色先验即假设至少一个颜色通道的局部区域内，场景反照率趋于零：

其中，ρ^dark(x)为场景反照率，y为属于Ω区域的任意点。

对于图像J，可以定义：

其中，J_c代表J的某一个颜色通道，而Ω(x)是以x为中心的一块方形区域。经统计观察得出，J_dark的强度总是很低并且趋近于0。如果J是户外无雾图像，则可将J_dark称为J的暗原色。

对公式(1)的左右两侧同时进行最小值滤波，可以得到：

上述是对介质传播函数的一个粗略估计，需要用抠图的方法进行细化，但是复杂度很高。最后可得到真正的t(x)代入原大气散射模型中即可得到恢复后的图像。即：

在本发明的技术方案中，由于统计区域信息会花费大量时间，且不利于并行化，因此可以对上述的模型进行退化，将Ω(x)的尺度定义为1，只对单点进行暗原色计算，这样得到的图像可以称之为暗通道。

因此，在本步骤中，将需要计算图像的暗通道。

较佳的，在本发明的具体实施例中，所述计算图像的暗通道可以是：

将所述3个独立的单通道图像imgR、imgG和imgB中的对应位置的最小取值作为图像的暗原色，即

J_dark(x)＝min(min(imgR(x),imgG(x)),imgB(x)) (5)

由于在本发明的技术方案中，在步骤101中已经将所述图像分为3个独立的单通道图像，将三个颜色通道分开，因而保证了每个通道数据的连续性，所以非常适合采用单指令多数据流(SIMD)指令。由于数据流单指令多数据扩展指令集2(SSE2)指令可以一次性比较16×2个8位数据，因此图像处理速度的提升效果非常明显。

步骤103，统计所述三个独立的单通道图像的灰度直方图分布。

较佳的，在本发明的具体实施例中，所述统计三通道的灰度直方图分布包括：

对三个通道imgR、imgG和imgB分别统计其灰度直方图分布并存储结果。

例如，可以将统计结果存储为histR[256]、histG[256]和histB[256]。

步骤104，统计所述三个独立的单通道图像的环境光。

较佳的，在本发明的具体实施例中，所述统计所述三个独立的单通道图像的环境光包括：

选取三通道中亮度最大的1％的像素为环境光，分别计算出每个通道的环境光A_R、A_G和A_B。

由于上述步骤103中统计了三通道的直方图，因此本步骤中计算环境光非常方便，可以利用环境光自动地估测图像的大气光成分。

较佳的，在本发明的具体实施例中，所述选取三通道中亮度最大的1％的像素为环境光包括：

对图像中的每一帧进行处理；

如果图像中的当前帧为第一帧，则将经过原始统计得到的当前帧的环境光作为经过学习得到的当前帧的环境光(即设为初始值)；

如果图像中的当前帧不是第一帧，则判断经过原始统计得到的当前帧的环境光与上一帧的环境光的差值是否小于或等于预设的阈值；如果是，则表示所记录的环境光的变化不大，此时可将上一帧的环境光与经过原始统计得到的当前帧的环境光的加权平均值作为经过学习得到的当前帧的环境光；如果否，则表示所记录的环境光的变化较大，此时，不改变当前环境光，即将上一帧的环境光作为经过学习得到的当前帧的环境光。

例如，较佳的，在本发明的具体实施例中，所述经过学习得到的当前帧的环境光可表示为：

其中，上述的表示经过原始统计得到的第k帧的环境光，A_k表示经过学习得到的第k帧的环境光，α表示当前帧的更新权重，取值范围为0到1，取值越大表示更新的速率越快；较佳的，在本发明的具体实施例中，所述α的取值为0.2；A_thresh表示所述预设的阈值；较佳的，在本发明的具体实施例中，所述A_thresh的取值为50。

步骤105，对所述暗通道进行高斯滤波。

在本步骤中，将对所述暗通道进行高斯滤波，以增加暗通道的空间稳定性。

由于在上述步骤102中将暗原色的计算公式进行了退化，因此在本步骤中，将对所述暗通道进行高斯滤波，以增加暗通道的空间稳定性。

平滑之后的传输率保留了场景的轮廓信息，并且是处处平滑的，纹理部分也被抹去了。因此，较佳的，在本发明的具体实施例中，可以通过如下所述的公式对所述暗通道进行高斯滤波：

J_dark＝Conv(J_dark,gaussian_kernel) (7)

其中，J_dark为户外无雾图像J的暗原色，所述conv表示滤波操作，所述gaussian_kernel表示高斯核函数。

另外，在本发明的技术方案中，可以根据具体的实际应用场景选取不同大小的滤波窗口。例如，为了提高处理速度，可以将滤波窗口的大小设置为11。另外，在实时性要求不高的场合下，还可适当增大滤波窗口以提高去雾的视觉效果。

步骤106，计算透射率映射表。

在本发明的技术方案中，透射率估计公式如下：

t(x)＝1-J_dark(x)/max(A_c) (8)

如果在图像中彻底地移除雾的存在，则图像将会看起来有些不真实，并且深度感会丢失。所以，可以通过在方程(8)中引入一个透射系数ω(0<ω≤1)，保留一部分覆盖遥远景物的雾，即：

t(x)＝1-ωJ_dark(x)/max(A_c) (9)

较佳的，在本发明的具体实施例中，所述ω的取值可以根据实际应用情况预先设置，例如，可以将所述ω的取值设置为0.9。

按照暗原色先验去雾算法，当传输率t(x)很小时，很容易因为噪声的影响而造成恢复的图像有失真。因此，在本发明的技术方案中，可以给t(x)设定一个下限，虽然这样会在雾很浓的地方保留些许的雾，但是可以很好地抑制失真。

较佳的，在本发明的具体实施例中，可以使用如下所述的公式为所述t(x)设定一个下限：

t(x)＝max(1-ωJ_dark(x)/max(A_c),t₀) (10)

其中，A_c为某一通道的环境光，t₀为预设的透射率的下限值。较佳的，在本发明的具体实施例中，可以根据实际应用的需要预先设置t₀的取值。例如，较佳的，可以将t₀的取值设置为0.1。

由于在最后的复原公式中，t(x)是作为分母存在，而除法在运算中所占时间较长，因此这里取其倒数，采用乘法代替。因此上述公式(10)可以转化为：

由于根据上述公式计算出的透射率的值均为浮点数，在计算时耗费CPU计算周期较多，因此可以对上述公式(11)进行整型变化，即：

按照上述计算公式可知，大气传输透射率唯一与暗通道的灰度值有关，因此为了加速其的计算，采用查表的方式最为快速。

因此，在本发明的较佳实施例中，所述计算透射率映射表包括：

建立初始的透射率映射表t_map[256]；

根据预设的公式，例如，上述的公式(12)对于0～255的输入分别计算其透射率，将计算结果存储在透射率映射表中。

步骤107，进行去雾处理，通过计算得到复原后的各个通道。

在本发明的技术方案中，将进行去雾处理，通过计算得到复原后的各个通道。

一般来说，原始的复原公式为：

但是在本发明的技术方案中，将对上述复原公式进行修改。因此，修改后的复原公式可以表示为：

J_c(x)＝((I_c(x)-A_c)*t_map[J_dark(x)])>>10+A_c (13)

其中，J_c(x)为某一通道去雾后的图像，I_c(x)为某一通道去雾前的图像，t_map为透射率映射表，“>>”表示右移位操作。

通过使用上述的修改后的复原公式，即可通过计算得到复原后的各个通道。

由于上述三个独立的单通道图像的数据相互独立且各自连续，因此也非常适合采用SSE指令集加速，对每个通道均按照上述公式进行计算，即可得到复原后的各个通道。

步骤108，对复原后的三个通道进行数据合并，输出图像，从而可以方便后续的其他处理及显示。

综上可知，在本发明所提供的图像的去雾方法中，使用了带雾的大气散射模型，针对图像中广泛存在的暗原色假设计算图像的暗通道，并根据暗通道与原始图像分别统计每个颜色通道的环境光，根据大气散射模型计算图像的透射率映射表，通过查表操作进行加速，对暗通道进行高斯滤波处理，以使用暗通道的空间信息，最后结合最初建立的大气散射模型最终可得到去雾后的图像。由于在上述的方法中，将所述图像分为3个独立的单通道图像，将三个颜色通道分开，因而保证了每个通道数据的连续性，所以非常适合采用SIMD指令技术，对适当的部分采用SSE2指令集对程序进行修改，因此在满足去雾功能的同时，可以极大的提高图像处理操作的运行速度，例如，可在单线程上对720P视频进行实时处理，图像处理速度的提升效果非常明显。而且，如图2和图3所示，对图像进行上述去雾处理之后，图像的处理效果也比较好。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (9)

1.一种图像的去雾方法，其特征在于，该方法包括：

对输入的图像进行通道筛选，将所述图像分为三个独立的单通道图像；其中，所述图像为RGB彩色图像；所述三个独立的单通道图像分别为imgR、imgG和imgB；

计算所述图像的暗通道：将所述三个独立的单通道图像imgR、imgG和imgB中的对应位置的最小取值作为图像的暗原色；

统计所述三个独立的单通道图像的灰度直方图分布；

统计所述三个独立的单通道图像的环境光：选取三通道中亮度最大的1％的像素为环境光，分别计算出每个通道的环境光；

对所述暗通道进行高斯滤波；

计算透射率映射表；

进行去雾处理，通过计算得到复原后的各个通道；

对复原后的三个通道进行数据合并，输出图像；

其中，所述选取三通道中亮度最大的1％的像素为环境光包括：

对图像中的每一帧进行处理；

如果图像中的当前帧为第一帧，则将经过原始统计得到的当前帧的环境光作为经过学习得到的当前帧的环境光；

如果图像中的当前帧不是第一帧，则判断经过原始统计得到的当前帧的环境光与上一帧的环境光的差值是否小于或等于预设的阈值；如果是，则将上一帧的环境光与经过原始统计得到的当前帧的环境光的加权平均值作为经过学习得到的当前帧的环境光；如果否，则将上一帧的环境光作为经过学习得到的当前帧的环境光；

所述经过学习得到的当前帧的环境光为：

其中，表示经过原始统计得到的第k帧的环境光，A_k表示经过学习得到的第k帧的环境光，α表示当前帧的更新权重，A_thresh表示所述预设的阈值。

2.根据权利要求1所述的方法，其特征在于，所述统计三通道的灰度直方图分布包括：

对所述三个独立的单通道图像分别统计其灰度直方图分布并存储结果。

3.根据权利要求1所述的方法，其特征在于：

所述α的取值范围为0到1。

4.根据权利要求1所述的方法，其特征在于：

所述α的取值为0.2。

5.根据权利要求1所述的方法，其特征在于：

所述A_thresh的取值为50。

6.根据权利要求1所述的方法，其特征在于，通过如下的公式对所述暗通道进行高斯滤波：

J_dark＝Conv(J_dark,gaussian_kernel)；

其中，J_dark为户外无雾图像J的暗原色，conv表示滤波操作，所述gaussian_kernel表示高斯核函数。

7.根据权利要求6所述的方法，其特征在于，所述计算透射率映射表包括：

建立初始的透射率映射表；

根据预设的公式对于0～255的输入分别计算其透射率，将计算结果存储在透射率映射表中。

8.根据权利要求7所述的方法，其特征在于，所述预设的公式为：

其中，t(x)为传输率，为t(x)的倒数，round表示取整且四舍五入的操作，ω为透射系数，A_c为一通道的环境光，t₀为预设的透射率的下限值。

9.根据权利要求8所述的方法，其特征在于，使用如下的修改后的复原公式，计算得到复原后的各个通道：

J_c(x)＝((I_c(x)-A_c)*t_map[J_dark(x)])>>10+A_c；

其中，J_c(x)为一通道去雾后的图像，I_c(x)为一通道去雾前的图像，t_map为透射率映射表，“>>”表示右移位操作。