CN104717400A - 一种监控视频的实时去雾方法 - Google Patents

Abstract

本发明涉及一种监控视频的实时去雾方法，属于图像处理技术领域。包括如下步骤：1、场景数据采集和采样；2.监控视频内容划分；3.监控视频去雾处理，3.1有雾天气检测；3.2视频背景去雾；3.3视频前景去雾；3.4大气光估计。与现有视频/图像去雾方法相比，本发明具有算法简单、计算复杂度低、实现速度快；算法对监控视频的特点有针对性处理，减小了无雾天气时的计算冗余，且鲁棒性强。

Description

一种监控视频的实时去雾方法

技术领域

本发明涉及一种监控视频的实时去雾方法，属于图像处理技术领域。

背景技术

视频去雾问题是计算机视觉领域中的一个重要课题，其是指对在雾天拍摄的降质的视频进行增强还原以消除雾气的影响，增强其视觉效果和可视度的问题。在雾、霾天气条件下，场景辐射照度被大气中的悬浮微粒散射，户外场景能见度降低，图像/视频中的目标对比度和颜色特征被衰减，场景的可辨识度大大降低。随着社会经济的发展，诸如智能监控视频、目标检测与识别以及遥感应用等领域对视频的依赖越来越大，去除视频中雾气对场景及目标的影响显得十分必要。

由于视频可以被简单视为连续的图像序列，故可利用图像去雾方法对视频进行处理。近年来，图像去雾方法已有很多相关研究，比如基于局部先验的图像去雾方法(He K,Sun J,Tang X.Single image haze removal usingdark channel prior[J].Pattern Analysis and Machine Intelligence,IEEETransactions on,2011,33(12):2341-2353；Fattal,Raanan."Single imagedehazing."ACM Transactions on Graphics(TOG).Vol.27.No.3.ACM,2008.)。以上的图像去雾算法能够对图像实现去雾增强。但是利用图像局部先验对场景的深度或传输率进行估计时，对于真实场景中的很多情况，先验的失效会导致场景深度或传输率的估计错误，从而导致最终的图像去雾效果不佳。同时该类方法计算复杂度高，耗费大量的运算时间和空间，制约了其实际应用中的实时性。总体来说，利用单幅图像去雾算法对视频进行逐帧去雾增强处理，没有考虑视频本身时间连续性，造成去雾视频的局部或全局不连续或闪烁。

申请号为CN201210125321.5的专利公开了一种基于自适应容差的视频图像去雾方法。该方法利用引导滤波对透射率的估计进行细化，从而得到更加细致的透射图，使去雾结果更加细腻。但引导滤波的过程计算复杂度高，并不能满足视频处理的实时性要求。

申请号为CN201110134572.5的专利公开了一种实时视频的去雾处理系统。该系统利用数字集成电路实现了去雾，通过硬件加速来提升去雾处理的速度。该系统处理分辨率为288×352的视频速度可达60帧/秒，处理720×576的视频速率可达15帧/秒。该方法对于高清视频并不能满足实时去雾处理。

发明内容

本发明的目的是为了解决视频去雾算法计算复杂度高，不能满足实时处理的问题，提出了一种监控视频的实时去雾方法。该方法根据监控视频场景固定的特点，首先对监控场景进行数据采集，利用采集到的数据作为先验对监控视频进行实时去雾。

本发明的目的是是通过下述技术方案实现的。

一种监控视频的实时去雾方法，包括如下步骤：

步骤一、场景数据采集和采样

分时段对场景监控视频进行采集，对采集到的视频进行采样，对得到的样本场景图像提取光照、对比度、暗通道等特征，按照特征相似性，采用K-means进行聚类，通过归为一类的的图像对场景的传输率图进行估计，然后将所得到的K个传输率图进行最小二乘优化，得到最终估计得场景传输率图以及对应的样本图像。

步骤二.监控视频内容划分

监控视频的智能化处理更关注运动目标，故运动目标的去雾效果至关重要。对于采集到的监控视频，首先采用帧差法将视频帧划分为运动目标和背景两个部分。对于背景部分，直接套用第一步中估计得到的场景传输率；对于运动目标部分进行传输率的重新计算估计。

步骤三.监控视频去雾处理

1)有雾天气检测：均匀间隔对视频中某一帧进行检测，提取其暗通道特征，当大于预设阈值时为无雾天气，不需要进行去雾处理；当小于预设阈值时判定为有雾天气，进行去雾处理。

2)视频背景去雾：对视频进行均匀采样抽样图像，对抽样图像在第一步中的样本图像集合中检测最相似的样本图像，将该样本图像的传输率图设为背景部分的传输率图。

3)视频前景去雾：由于场景深度变化的平滑性，前景部分的深度应与周围环境的深度相近。故考虑传输率的平滑性和前景部分的对比度增强两个因素，构造能量函数，对前景部分的传输率图优化求解。由于前景部分的区域较小，求解十分迅速。

4)大气光估计：由于对单幅图像进行大气光估计的误差，会造成去雾视频的整体亮度变化不平滑而出现闪烁。本发明采用对抽样得到的样本图像进行大气光估计，并对视频连续的大气光值进行平滑处理，避免去雾视频的闪烁，同时减小了大气光估计的计算量。

有益效果

与现有视频/图像去雾方法相比，本发明具有以下明显的有益效果

1.算法简单，计算复杂度低，实现速度快。

2.算法对监控视频的特点有针对性处理，减小了无雾天气时的计算冗余，且鲁棒性强。

附图说明

图1是场景监控视频采集流程图；

图2是场景去雾方法流程图。

具体实施方式

下面结合附图对本发明的具体实施方式做详细说明。

一种监控视频的实时去雾方法，如图1所示，其具体实现过程如下：

步骤一、场景监控视频采集

对于监控摄像头采集的视频流，每分钟进行一次数据采集，将每30分钟所采集到的30帧图像进行平均，作为该时段的样本图像数据。对采集到的样本图像I^e提取如下特征：

1)图像平均亮度L^mean＝Σ_x，yL^e(x，y)。其中L^e为I^e在Lab颜色空间中的亮度分量，x、y为图像像素坐标。

2)图像对比度其中p_i定义为i％的图像像素值的饱和度低于p_i的值，i、j为5的倍数。

3)图像暗通道特征 $D^e=\left\{d\right|d=\underset{c\∈\{r,g,b\}}{\min }\underset{y\∈\mathrm{\Δ}}{\min }\left(I_c^e\left(y\right)\right)\},.$

其中窗口Δ大小选择为25×25，c为图像的r、g、b通道。同时为了加速计算，对暗通道特征图像进行下采样。

通过上述特征，对采集的样本进行聚类，采用K-means算法，相似度距离函数采用欧式距离。对每个类别的图像集分别求得对应的场景传输率图，采用暗通道图像去雾方法估计(He K,Sun J,Tang X.Single image hazeremoval using dark channel prior[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2011,33(12):2341-2353.)，使用引导滤波对传输率图进行细化。

步骤二、雾天判断和视频内容划分，见图2

1)监控视频雾天判断：对每30分钟采集的样本，求得其对应的暗通道图像，并用阈值法对暗通道图像进行二分，阈值设为120，当暗通道值小的部分超过预设阈值T时，则当前天气判定为晴天，无需进行增强处理；当暗通道值小的部分不足预设阈值T时，则判断为有雾天气，进行去雾处理。取T＝0.6。

2)当前天气判定为有雾天气时，进行视频内容的划分。采用差分法对连续视频进行运动部分检测，当差值大于阈值的时候，则判定为运动区域。利用形态滤波对检测图像进行处理，消除小区域出现的噪点，并保持运动部分的连续性。去

步骤三、监控视频去雾，见图2

1)大气光估计：由于对单幅图像进行大气光估计的误差，会造成去雾视频的整体亮度变化不平滑而出现闪烁。本发明采用对每分钟抽样得到的第i帧样本图像进行大气光估计为A_i，对大气光进行平滑，使

$A_i=\left\{\begin{array}{c}\frac{1}{2}(A_1+...+A_{i-1}+A_i),i\≤N\\ \frac{1}{N+1}(A_{i-N}+...+A_{i-1}+A_i),i>N\end{array}\right.,$

N为预设平滑区间，取N＝30。

2)视频背景传输率估计：对视频均匀采样抽样图像I，间隔为10min，对抽样图像在第一步中的样本图像集合中检测最相似的样本图像，图像特征及特征距离函数与第一步相同。将检测到的相似样本图像对应的传输率图设为背景部分的传输率图。

3)视频前景前景传输率t估计：由于场景深度变化的平滑性，前景部分的深度应与周围环境的深度相近。故考虑传输率的平滑性和前景部分的对比度增强两个因素，对前景部分的传输率图优化求解。优化能量函数

$\underset{t}{\arg \min }\underset{\mathrm{\Ω}}{\mathrm{\Σ}}\underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}{(t\left(x\right)-t\left(\mathrm{\Ω}\right))}^2+\underset{x}{\mathrm{\Σ}}\underset{y\∈N_x}{\mathrm{\Σ}}{w}_{x,y}{(t\left(x\right)-t\left(y\right))}^2$

其中，w_x，y＝e^(-||I(x)-I(y)||²/2δ²)，Ω为x的5×5邻域，N_x为x的9×9邻域。由于前景部分的区域较小，求解十分迅速。

4)去雾处理：通过上述步骤估计得到的大气光值A_i以及场景传输率图t，计算得到去雾后的图像J为：

其中t₀为传输率的下限，通常设置为0.1。

结论：通过上述步骤，得到最终的当前帧的视频去雾结果,对1080p高清视频的去雾处理速度可以达到25-30帧每秒，达到实时处理的要求。相比已有视频去雾技术对于1080p高清视每秒5帧左右的处理速度，本方法处理速度提高了4倍以上。同时本方法在无雾天气不会对视频进行处理，减小了计算冗余。

本发明不仅限于以上实施例，凡是利用本发明的设计思路，做一些简单变化的设计，都应计入本发明的保护范围之内。

Claims (1)

1.一种监控视频的实时去雾方法，其特征在于，包括如下步骤：

步骤一、场景数据采集和采样

分时段对场景监控视频进行采集，对采集到的视频进行采样，对得到的样本场景图像提取光照、对比度、暗通道等特征，按照特征相似性，采用K-means进行聚类，通过归为一类的的图像对场景的传输率图进行估计，然后将所得到的K个传输率图进行最小二乘优化，得到最终估计得场景传输率图以及对应的样本图像；

步骤二.监控视频内容划分

对于采集到的监控视频，首先采用帧差法将视频帧划分为运动目标和背景两个部分；对于背景部分，直接套用第一步中估计得到的场景传输率；对于运动目标部分进行传输率的重新计算估计；

步骤三.监控视频去雾处理

1)有雾天气检测：均匀间隔对视频中某一帧进行检测，提取其暗通道特征，当大于预设阈值时为无雾天气，不需要进行去雾处理；当小于预设阈值时判定为有雾天气，进行去雾处理；

2)视频背景去雾：对视频进行均匀采样抽样图像，对抽样图像在第一步中的样本图像集合中检测最相似的样本图像，将该样本图像的传输率图设为背景部分的传输率图；

3)视频前景去雾：由于场景深度变化的平滑性，前景部分的深度应与周围环境的深度相近；故考虑传输率的平滑性和前景部分的对比度增强两个因素，构造能量函数，对前景部分的传输率图优化求解；由于前景部分的区域较小，求解十分迅速；

4)大气光估计：采用对抽样得到的样本图像进行大气光估计，并对视频连续的大气光值进行平滑处理，避免去雾视频的闪烁，同时减小了大气光估计的计算量。