CN104036466B - 一种视频去雾方法与系统 - Google Patents

Abstract

本发明公开了一种视频去雾的方法与系统，其技术方案包括以下步骤：输入有雾视频帧RGB图像，计算大气光值，计算透射率图，透射率图做导向滤波，修正图像，获得去雾视频帧。本发明对大气光值的计算分两种情况进行，如果透射率图不可用，则按图像中较亮像素区域(除去字幕，灯光等特别亮的像素)计算得到；如果透射率图可用，则按透射率最低的部分区域像素点计算得到。本发明能解决去雾算法速度慢、受灯光、字幕等干扰与画面不和谐等问题，能有效去除雾霾并保留图像原有细节特征，具有计算复杂度低，图像去雾后各部分区域和谐等优点。可用于视频侦查等应用中对有雾视频进行预处理，有利于后续视频分析以及有利于人工观看去雾后的视频。

Description

一种视频去雾方法与系统

技术领域

本发明涉及视频图像处理方法，特别涉及一种视频去雾方法与系统。

背景技术

由于城市空气污染的加剧，雾霾天气越来越频繁，这给户外视频监控的画面质量带来了挑战。如何改善雾霾天气户外视频监控的效果，得到了学术界、产业界的特别关注和研发倾注。

从硬件的解决方法来说，滤光片能够让部分不可见光穿透，从而加强图像的质量。从软件算法的解决方法来说，去雾算法对图像进行后处理是一种比较简明的方法。由于已经安装的摄像机，不可能都被最新的具有去雾功能的摄像机更换掉，所以基于算法的后处理算法是一种比较实际的解决方案。在一些视频侦查协助破案的应用中，有雾的视频给办案人员造成了严重的视觉疲劳。特别需要有一种效果较好，速度又快的去雾算法。

基于算法的去雾方法，包括了大致五类方法。第一是基于全局化增强的方法，如全局直方图均衡化，Retinex算法等；第二是局部化增强算法，如基于局部直方图均衡化算法，基于局部方差的算法；第三，基于偏微分方程的方法，如建立能量优化模型，利用信息消除不确定性方法等；第四是基于深度关系，假设场景深度已知，利用辅助信息提取景深的方法；五是基于先验知识的方法，如Tan方法，Fatal方法，He方法(KaimingHe等“Single ImageHaze Removal Using Dark Channel Prior”,IEEE2011)。其中He的方法利用输入的有雾图像亮度值I，大气光值A和透射图t，根据有雾图像模型I＝Jt+A(1-t)来求解得出有雾图像的强度值J。

He的方法在处理效果上达到了较好的水准，但是也存在算法复杂度高等不足，而在实际应用中，处理效率是一个非常关键的因素，如何使去雾算法在视频处理中速度更快，是一个值得特别重视的环节。另外He的算法对于如何准确的计算大气光值，没有特别好的策略，针对一些实际的应用场景，由于存在灯光等干扰，全局的一个大气光值往往达不到好的处理效果。而大气光值对图像质量影响很大，过高时会形成光晕，画面偏暗；而如果过低，有些区域，特别是天空区域会过爆，而红绿灯往往就在天空区域，如果恢复的图像过爆，就看不到红绿灯了。He的算法处理的是自然风景和航拍图，在安防监控，智能交通等领域，特别是大雾天气，车大灯打开，如果按照一般的策略取最大值或最大值范围的平均值作为大气光值，则很容易误把车灯的亮度作为大气光值，这将带来严重的问题。即使按照He后来提出的改进的大气光计算方法，按照暗通道最大值区域的平均值作为大气光估算值，得到的效果，整体画面会偏暗，而且在车灯区域会出现块效应等不和谐现象。大气光值在一个场景中，不同的区域应该是不同的，天空区域大气光值大，路面等区域大气光值略小。那么如何做些适当的修正，以达到暗区、亮区较好的协调效果？

发明内容

本发明针对上述问题，提供了一种视频去雾方法与系统。

本发明所采用的技术方案为：一种视频去雾方法与系统，包括以下步骤：

S1，输入含有RGB图像信息的有雾视频帧，所述有雾视频帧包含关键帧和非关键帧，所述关键帧为从起始帧起算依次间隔n帧的视频帧，所述n为100到1000之间某一确定的自然数；

S2，计算所述关键帧的大气光值；

S3，计算透射率图；

S4，透射率图做导向滤波；

S5，修正图像；

S6，获得去雾视频帧，

对于视频去雾，没有必要每帧都计算各自的大气光值和透射率图。可以间隔n帧计算一次大气光值，从而显著提高了运算速度。

作为优选，所述步骤S2中大气光值的计算方法为：

当S3中透射率图不可用时，选择图像中除去240-255像素点之后亮度值最大的1％像素点的平均值作为大气光值估算值，RGB三个通道分开计算，得到A^r,A^g,A^b三个通道的各自大气光值；

当S3中透射率图可用时，选择图像中透射率最小的1％区域平均值作为大气光值估算值。

考虑到实际应用中，车灯的干扰和字幕的干扰，以及一些白色杆子的干扰，最亮的像素点并不是天空。按照场景中最大亮度区域去计算大气光值，会不准确，而过高的大气光值，会造成暗区更暗，亮区更亮，整体场景会严重失真。考虑到透射率最小的区域基本上是天空区域，所以我们选择透射率最小的一部分区域来计算大气光值。

作为优选，所述步骤S3中透射率图的计算方法为：

对于关键帧的透射率图计算，是通过对暗通道图像进行最小值滤波后计算得到；

对于非关键帧的透射率图计算，是通过上一帧的透射率和当前帧的RGB图像各通道亮度值比较得到。

在透射率图的计算上，我们采用每帧在上一帧透射率图基础上做更新，因为不是每个点都需要更新，而且不用做最小值滤波计算，其计算速度可以加快很多。起始帧透射率图的计算可能因为车灯的干扰会不准确，随着更新，后续帧的透射率会更加准确，避免车灯周围不和谐的增强出现。

作为优选，所述步骤S4中导向滤波的模型为：

所述p是输入，q是输出，所述方法模型的意思是指一个点x的滤波之后的值q(x)，为该点输入值p(x)和以该点为中心的Ω区域内的像素平均值的加权值，所述Ω区域内的滤波可以是高斯滤波等各种滤波形式，

按照二分法，求得，

所述σ是Ω区域内的像素方差值，ε是一个为防止计算时除以0值的一个很小的数，a和b的求取可利用积分图法进行加速。

透射率的计算，按照传统的计算，其结果还是比较粗糙，有着比较明显的块效应(block artifacts)。在深度突变的地方，也有一定的光晕现象出现。所以需要采用一个能保持边缘的滤波。在He的文献中，提出了利用导向滤波(guided imagefiltering)技术，来进行保持边缘的模糊处理。本模型效果与其一样，而速度比He快了一倍以上。

作为优选，所述步骤S5中修正图像的方法：

对暗区进行调整，设α(x)＝(255-I(x))/255，则有：

对f(x)设定下限t₀,当f(x)小于t₀时，f(x)用t₀代替,t₀值定为0.1,

对于三个通道图像分解为：

I(x)表示所述有雾视频帧中的像素x的强度值，J(x)表示对所述有雾视频帧进行去雾处理后得到的去雾视频帧中的像素x的强度值，A(x)表示所述关键帧的大气光值，t(x)表示所述视频帧中的像素x的透射率。

作为优选，所述步骤S6中获得去雾视频的方法为对于RGB三个通道进行如下修正：

当t<120/255.0时，J(x)＝(1-t)I+tJ(x)，否则维持不变。

该式换种角度说，就是我们对天空这样的区域，进行了保守的去雾。其好处在于，“树立”在天空中的红绿灯，依然能够可见，而不会被去雾的副作用弄得“无影无踪”。

作为优选，所述起始帧的透射率图计算方法为：

t(x)表示有雾图像中的像素x的透射率，D(y)是所述暗通道图像，ω是考虑到在晴朗的天气也存在一定的雾，故取值0.95，A为大气光值，Ω(x)为中心在x出的一个局部图像模块，所述起始帧的透射率图由其经过最小滤波运算后得到。

作为优选，所述上一帧的透射率和当前帧的RGB图像各通道亮度值的比较方法为：

上一帧的透射率为t^prev(x)，当前帧的透射率为t^curr(x)，迭代的算法避免了每次计算透射率图，大幅减少了计算量。同时我们也动态进行调整。第一帧透射率图的计算可能因为车灯的干扰会不准确，随着更新，后续帧的透射率会更加准确，避免车灯周围不和谐的增强出现。

本发明有以下优点：

第一，本发明是视频去雾，每一帧透射率的更新是在上一帧基础上的简单运算，速度很快，且能获得较准确的透射率。

第二，本发明计算大气光值是先选择透射率最低的区域进行计算，然后按照图像像素点的亮度值进行修正。得到的暗区的亮度值有一定的加强，画面更加的清晰。

第三，导向滤波采用新的模型和公式，与He的导向滤波算法有着一样的处理效果，并且速度提高一倍。

第四，对透射率较小的区域，进行了一个加权计算，目的是对天空等区域进行比较保守的滤波，从而避免图像过爆。

附图说明

附图构成本申请的一部分，用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定：

附图1：He算法去雾流程图

附图2：本发明算法去雾流程图

附图3：透射率计算流程图

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的视频去雾方法和系统具体实施方式如下：

参考附图1-3，如附图2所示的一种视频去雾方法与系统，包括以下步骤：

步骤1，输入含有RGB图像信息的有雾视频帧。

步骤2，计算大气光值：

如果是起始帧，选择图像中除去240-255像素点之后，选取亮度值最大的1％像素点的平均值作为大气光值估算值，RGB三个通道分开计算，得到A^r,A^g,A^b三个通道的各自大气光值。如果不是起始帧，选择图像中透射率最小的1％区域平均值作为大气光值估算值。n取值1000，即大气光值的计算每间隔1000帧计算一次，减少了计算量。

对于图像的很多非天空场景的区域，在一些像素点上至少存在一种颜色通道的值趋近与0，这主要来源于三个方面：物体的阴影、黑色物体及表面、颜色鲜艳的物体。换而言之，这些区域的最小亮度应该是非常低的值。形式上，对于一副图像J，定义：

式(1)

其中，J^c是图像J的一个彩色通道，Ω(x)是中心在x处的一个局部图像模块。J^dark(x)被称为暗通道图像，以下简写为D(x)。

在计算机视觉和计算机图形领域，以下等式所描述的有雾图像模型被广泛使用：

I(x)＝J(x)t(x)+A(x)(1-t(x)) 式(2)

其中，I(x)表示观察到的有雾图像中的像素x的强度值，J(x)表示对有雾图像进行去雾处理后得到的去雾图像中的像素x的强度值，A(x)表示有雾图像的大气光值，t(x)表示有雾图像中的像素x的透射率。

图像去雾的目的在于从有雾图像中的每个像素x的强度值I(x)恢复出去雾图像中的每个像素x的强度值J(x)。在求解去雾图像中的每个像素x的强度值J(x)之前，需要从有雾图像中的每个像素x的强度值I(x)估算有雾图像的大气光值A(x)和有雾图像中的每个像素的透射率t(x)。基于以上的有雾图像模型可以得出：

式(3)

步骤3，透射率图计算方法，参看附图3：

对于视频去雾，没有必要每帧都计算各自的大气光值和透射率图，本发明采用间隔1000帧计算一次大气光值。而在透射率图的计算上，本发明采用每帧在上一帧透射率图基础上做更新，因为不是每个点都需要更新，而且除关键帧外，透射率图的计算不用做最小值滤波计算，计算速度加快很多。其中，第一帧透射率图的计算方法如下：

式(4)

其中D(y)是暗通道图像。ω是考虑到再晴朗的天气，也存在一定的雾。ω取值0.95。A是大气光值。求透射率图，需要做最小值滤波运算，其计算复杂度比较高，参考文献：Daniel Lemire，STREAMING MAXIMUM-MINIMUM FILTER USING NO MORE THAN THREECOMPARISONS PER ELEMENT，进行快速计算。取窗口大小15X15，即半径为7.

从第二帧开始，透射率图的计算方法采用在前一帧透射率图基础上进行更新。记上一帧的透射率为t^prev(x),当前帧的透射率为t^curr(x)。

式(5)

按照以上公式分别求出RGB三个通道的透射率t。第一帧作为关键帧，后续每间隔1000帧重新计算一次透射率作为初始透射率，以应对环境光照变化的影响。

因此避免了每帧计算透射率图，大幅减少了计算量。同时本发明对透射率图还进行动态调整。第一帧透射率图的计算可能因为车灯的干扰而不准确，随着更新，后续帧的透射率会更加准确，从而避免车灯周围不和谐的增强出现。

步骤4，透射率图做以下导向滤波：

透射率的计算，按照式(4)的计算，其结果仍然较粗糙，有较明显的块效应。在深度突变的地方，也有一定的光晕现象出现。所以需要采用一个能保持边缘的滤波。在He的文献中，提出了利用导向滤波技术，来进行保持边缘的模糊处理。

本发明中，提出一种效果与其一样。而速度比他快一倍的滤波方法。该方法的模型如下：

式(6)

这个模型的意思是指一个点x的滤波之后的值q(x)，是该点输入值p(x)和以该点为中心的Ω区域内的像素平均值的加权值。

为使其能量最小，按照二分法，求得，

式(7)

有a(x)+b(x)＝1

其中σ是Ω区域内的像素方差值，ε是一个为防止计算时除以0值的一个很小的数。Ω区域在本发明中取正方形区域，5x5区域。

对透射率图按照以上滤波公式滤波后，得到t，按照式(8)，代入f(x)，可以求得相应的去雾图像J(x)。

式(8)

因为f(x)可能为0，对f(x)设定下限t0,当f(x)小于t0时，f(x)用t0代替,t0值定为0.1。

步骤5，修正图像方法如下：

用上式计算的结果，在暗区会偏暗，在亮区会过爆。这是因为，对上式(8)变型为：

J(x)＝aI(x)-bA(x) 式(9)

其中a＝1/f(x),a>1,b＝a-1。

变换之后的像素点是放大原来的像素值减去一定比例的大气光值。暗区的放大的值较小，而减去的大气光较大，因而使得暗区更暗。

所以，对暗区进行调整，设α(x)＝(255-I(x))/255，则式(8)变更为：

式(10)

此时，暗区因为少减了一定比例的大气光值，暗区变得亮了一些，其效果得到了增强。这也可以说是利用了局部化增强的一种去雾方法。

本发明对亮区的修正采取了一种加权的方式对透射率较低的区域进行折中计算：

J(x)＝(1-t)I+tJ(x)当t<120/255.0时 式(11)

步骤6，获得去雾视频帧：

三个通道分别计算：

J^r(x)＝(1-t)I^r+tJ^r(x)当t<120/255.0时，否则维持不变

J^g(x)＝(1-t)I^g+tJ^g(x)当t<120/255.0时，否则维持不变

J^b(x)＝(1-t)I^b+tJ^b(x)当t<120/255.0时，否则维持不变式(12)

以上计算都是RGB三个通道分开计算，恢复出来的RGB要进行合并，最终恢复出去雾视频帧。

本发明每一帧透射率的更新是在上一帧基础上的简单运算，速度快，且能获得较准确的透射率。本发明计算大气光值是先选择透射率最低的区域进行计算，然后按照图像像素点的亮度值进行修正。得到的暗区的亮度值有一定的加强，画面更加的清晰。导向滤波采用新的模型和公式，与He的导向滤波算法有着一样的处理效果，并且速度提高一倍。对透射率较小的区域，进行了一个加权计算，目的是对天空等区域进行比较保守的滤波，从而避免图像过爆。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种视频去雾方法，其特征在于，包括以下步骤：

S1，输入含有RGB图像信息的有雾视频帧，所述有雾视频帧包含关键帧和非关键帧，所述关键帧为从起始帧起算依次间隔n帧的视频帧，所述n为100到1000之间某一确定的自然数；

S2，计算所述关键帧的大气光值；

S3，计算透射率图；

S4，透射率图做导向滤波；

S5，修正图像；

S6，获得去雾视频帧，

所述步骤S5中修正图像的方法：

对暗区进行调整，设α(x)＝(255-I(x))/255，则有：

对f(x)设定下限t₀,当f(x)小于t₀时，f(x)用t₀代替,t₀值定为0.1,

对于三个通道图像分解为：

I(x)表示所述有雾视频帧中的像素x的强度值，J(x)表示对所述有雾视频帧进行去雾处理后得到的去雾视频帧中的像素x的强度值，A(x)表示所述关键帧的大气光值，t(x)表示所述视频帧中的像素x的透射率。

2.根据权利要求1所述的视频去雾方法，其特征在于，所述步骤S2中大气光值的计算方法为：

当S3中透射率图不可用时，选择图像中除去240-255像素点之后亮度值最大的1％像素点的平均值作为大气光值估算值，RGB三个通道分开计算，得到A^r,A^g,A^b三个通道的各自大气光值；

当S3中透射率图可用时，选择图像中透射率最小的1％区域平均值作为大气光值估算值。

3.根据权利要求1所述的视频去雾方法，其特征在于，所述步骤S6中获得去雾视频的方法为对于RGB三个通道进行如下修正：

当t<120/255.0时，J(x)＝(1-t)I+tJ(x)，否则维持不变。