CN103886598B - 一种基于视频图像处理的隧道烟雾检测装置与方法 - Google Patents

Abstract

本发明提供了智能视频分析系统中一种基于视频图像处理的隧道烟雾检测装置与方法。该方法包括：背景初始化单元，用于提取出稳定的主背景及初始参考图像；全区域疑似弥漫烟雾和局部区域疑似动态烟雾界定单元，用于实时地对隧道环境中的疑似烟雾进行稀薄度定性区分，可以分为两类：一是全区域弥漫烟雾，二是局部疑似动态烟雾；全区域疑似弥漫烟雾判决单元，根据全区域疑似烟雾的特征向量进行弥漫烟雾的判定；局部疑似动态烟雾判决单元，根据局部疑似烟雾的特征进行局部动态烟雾的判定；背景更新单元，实时更新环境背景。本发明首先利用疑似烟雾界定单元对隧道烟雾状态环境进行二分类，然后针对不同的疑似烟雾类型分别运用不同的判决方法，识别并判定出隧道中是否有烟雾存在。

Description

一种基于视频图像处理的隧道烟雾检测装置与方法

技术领域

本发明涉及计算机视觉、视频监控，更具体的说，涉及到一种基于视频图像处理的隧道烟雾检测装置与方法。

背景技术

随着交通运输业的迅速发展，公路和隧道数量也在不断增长，现有的智能交通管理系统在一定程度上解决了交通安全的问题，但是对于较为封闭的隧道而言，如果出现弥漫的烟雾，将极易导致交通事故和火灾发生，从而造成人员伤亡和经济损失，因此一种有效的隧道烟雾检测装置的研究迫在敏捷。

早期的烟雾检测方案是在隧道内设置烟雾传感器。如公开号为CN1133461A的专利中，利用了光散射原理对烟雾进行报警。这类烟雾检测器的局限性在于烟雾必须要接触到检测器才能触发报警信号，也就是说，这类检测器检测烟雾的准确性和实时性很大程度地依赖于检测器的数量和安装位置，另一方面，这类烟雾检测器的灵敏度有阈值，对于较稀薄的弥漫烟雾，准确率会受到影响。

现有的烟雾检测方案是基于视频图像分析的烟雾识别技术。如通过运动特征分析（参见袁非牛.（2008年4月）.基于累积量和主运动方向的视频烟雾检测方法.中国图象图形学报），利用烟雾运动的特征进行烟雾识别；如通过烟雾的静态特征分析（参见公开号为CN101751558A的专利），利用背景建模结合对比度和平滑度等特征进行烟雾识别；如通过在检测窗中设置长时窗和短时窗检测（参见公开号为CN102163360A的专利），利用检测窗内视频图像的亮度方差特征来识别烟雾。

在实际的隧道烟雾视频分析时，基于视频图像分析的烟雾识别技术中，正如上述学报提出的基于运动特征分析的烟雾检测方法，由于差值图像二值化时阈值是固定的，运动区域检测点的提取受烟雾稀薄度的影响比较大，当烟雾比较稀薄时，无法准确地提取出运动区域检测点，以至于不能进行后期的烟雾特征分析，最终不能达到检测烟雾的目的。正如上述专利CN101751558A提出的通过烟雾的静态特征分析的烟雾检测方法，该方法对于稀薄烟雾的检测有局限性，另一方面该技术方案的实现计算量比较复杂，不能实时地处理高清视频，所以还不能商用。正如上述专利CN102163360A提出的通过设置时长窗检测烟雾的技术方法，该方法只考虑了灰度图像的亮度这一个特征，不能完全排除类似烟雾颜色及亮度的运动物体的干扰，另一方面，灵敏度参数S受环境变化的影响较大，不能自适应地改变，从而会导致漏检烟雾，最终难以保证烟雾检测的准确性。综上所述，目前迫切需要一种能检测全区域弥漫稀薄烟雾的视频烟雾检测方法及装置。

发明内容

本发明实施例的主要目的在于提供一种基于视频图像处理的隧道烟雾检测装置与方法，此装置不仅能够检测出局部动态烟雾，而且有效地弥补了常见的视频烟雾检测装置不能检测全区域弥漫烟雾的不足，明显提高了隧道烟雾检测的准确性和灵敏度。

为满足上述目的，根据本发明实施例提供的基于视频的烟雾检测装置与方法，该方法包括：

第一步骤，通过对连续的N帧图像建立背景模型，获取稳定的初始化背景图像和初始化参考图像；

第二步骤，通过当前图像减去前一帧图像得到检测图像，统计检测图像中各分块区域的检测点，统计检测点个数满足一定条件的分块区域的出现概率及分块区域的分布特性，由此对隧道环境中的疑似烟雾进行定性分类；

第三步骤，对于全区域疑似弥漫烟雾，设置固定长度T帧的滑动窗口，根据当前帧图像各分块区域频域的能量在滑动窗口中表现出的下降趋势，同时各分块区域在时域上表现出的纹理模糊趋势，判决是否为全区域弥漫烟雾；

第四步骤，对于局部疑似动态烟雾，通过当前图像减去背景图像提取前景图像，计算相邻前景图像中的感兴趣区域伸缩后的相似度，计算当前图像和参考图像中非感兴趣区域的相似度，判决是否为局部动态烟雾；

第五步骤，根据烟雾环境类型，用不同的背景更新方法实时更新背景。

按照本发明的另一个方面，提供了一种基于视频的隧道烟雾检测装置，该装置包括：

（1）背景初始化单元，通过对连续的N帧图像建立背景模型，获取稳定的初始化背景图像和初始化参考图像；

（2）全区域疑似弥漫烟雾和局部疑似动态烟雾界定单元，通过当前图像减去前一帧图像得到检测图像，统计检测图像中各分块区域的检测点，统计检测点个数满足一定条件的分块区域的出现概率及分块区域的分布特性，由此对隧道环境中的疑似烟雾进行定性分类；

（3）全区域弥漫烟雾判决单元，设置固定长度M帧的滑动窗口，根据当前帧图像各分块区域频域的能量在滑动窗口中表现出的下降趋势，同时各分块区域在时域上表现出的纹理模糊趋势，判决是否为全区域弥漫烟雾；

（4）局部动态烟雾判决单元，通过当前图像减去背景图像提取前景图像，计算相邻前景图像中的感兴趣区域伸缩后的相似度，计算当前图像和参考图像中非感兴趣区域的相似度，判决是否为局部动态烟雾；

（5）背景更新单元，根据烟雾环境类型，用不同的背景更新方法实时更新背景。

本发明实施方式与现有技术相比，主要区别及其效果在于：

现有的基于视频的烟雾检测方法大多都是致力于提高系统对外界环境的自适应能力，而对烟雾本身的特性变化有较少的关注，另一方面，其检测方法大多都是基于烟雾运动的前期特征或者基于静态烟雾灰度方差等特征进行烟雾判定的，对于逐渐弥漫的稀薄烟雾这种场景关注的较少。基于以上两点，现有的烟雾检测方法对烟雾本身特性变化的适应能力还有待于提高。

本发明提出的方法，在全区域疑似弥漫烟雾和局部疑似动态烟雾界定单元中，首先将隧道中的疑似烟雾环境进行分类，进一步地，根据不同的烟雾类型采用不同检测方法，对比现有的烟雾检测方法有了更强的针对性，提高了对烟雾本身特性变化的适应能力。在全区域弥漫烟雾判决单元中，本发明不依赖于烟雾运动这一特征，弥补了现有烟雾检测方法完全依赖运动检测不能检测稀薄烟雾的不足，提高了烟雾检测的精确度。在局部动态烟雾判决单元中，本发明主要考虑了局部动态烟雾本身膨胀、相似度等特性，提高了烟雾检测的精确度。在背景更新单元中，本发明根据不同的烟雾环境类型，用不同的背景更新方法实时更新背景。综上所述，本发明提出的方法提高了检测系统对烟雾本身特性变化的适应能力，具有较强的鲁棒性。

附图说明

图1是按照本发明的基于视频的隧道烟雾检测方法的系统框图；

图2是按照本发明的基于视频的隧道烟雾检测方法的总体流程图；

图3是按照本发明的全区域弥漫烟雾和局部动态烟雾的界定流程图；

图4是按照本发明的全区域弥漫烟雾判定流程图；

图5是按照本发明的局部动态烟雾判定流程图;

图6是图像的二维小波分解图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面将结合附图对本发明的实施方式进行详细描述。本发明适用于各种交通隧道。

图1示出了按照本发明的基于视频的隧道烟雾检测方法的系统框图，按照发明的基于视频的隧道烟雾检测方法主要包括5个部分：

第一部分，初始化单元101，用来提取主背景图像和参考图像；

第二部分，烟雾界定单元102，用于实时地对隧道环境中的疑似烟雾根据稀薄度进行全区域烟雾和局部烟雾的定性分类；

第三部分，全区域弥漫烟雾判定单元103，根据全区域疑似烟雾的特征向量进行弥漫烟雾的判定；

第四部分，局部动态烟雾判定单元104，根据局部疑似烟雾的特征进行局部动态烟雾的判定；

第五部分，背景更新单元105，实时更新环境背景。

基于视频的隧道烟雾检测方法，初始化单元101中，采用图像平均的方法，通过计算连续N帧图像的平均值得到主背景图像。假设当前图像为I_k,则主背景图像I_back为：

其中，参考图像为I_ref=I_back。

图2示出了按照本发明的基于视频的隧道烟雾检测方法的总体流程图；

图3示出了按照本发明的基于视频的隧道烟雾检测方法的全区域弥漫烟雾和局部动态烟雾界定单元的方法示意图。

在301中，将当前图像减去其前一帧图像则得到检测图像，假设当前图像为I_k，则检测图像为I_t=I_k-I_k-1。

在302中，将检测图像I_t分为8×8块，检测图像中的检测点为像素值大于或者等于阈值T1的像素点，其中T1可以取5～10内的任意整数值。

在303中，计算每一块区域中的检测点的个数占该区域总像素数的比例K_i，记录K_i大于阈值T2的分块，并统计该分块个数占总分块数的比例K，其中T2可以取0.6～0.8内的任意值。

在304中，根据303得到记录的分块区域，对记录的分块区域画一个最小外接矩形，计算该矩形的面积S。

在305中，若K大于阈值T3，同时S大于阈值T4，则认为是全区域疑似弥漫烟雾，否则认为是局部疑似动态烟雾，其中T3可以取0.7～0.9内的任意值，T4可以取0.7～0.9内的任意值。

图4示出了按照本发明的基于视频的隧道烟雾检测方法的全区域弥漫烟雾判定单元的方法示意图。

在401中，全区域疑似弥漫烟雾由图3所述方法判定得到。

在402中，将当前帧图像I_k分为8×8块，在403中，分别对各块区域进行二维离散小波变换，如图6所示为图像的二维小波分解，其中I_ki为当前图像，I_d0为当前图像二维小波变换后的低频信息LL，I_d1为垂直高频信息LH，I_d2为水平高频信息HL，I_d3为对角线高频信息HH，由此计算各区域的高频能量和E_ki=HH+HL+LH，其中k为帧数，i为块数。

在404中，对各块区域计算其模糊度特征，计算方法为：假设当前帧图像

某一块区域中位置[x,y]处的灰度值为G[x,y]，那么该块区域的模糊度特征为：

F_ki=|G[x,y]-G[x-1,y+2]|+|G[x,y]-G[x+1,y+2]|+|G[x,y]-G[x+2,y+1]|+|G[x,y]-G[x+2,y-1]|+|G[x,y]-G[x+1,y-2]|+|G[x,y]-G[x-1,y-2]|+|G[x,y]-G[x-2,y-1]|+|G[x,y]-G[x-2,y+1]|

其中i为块数，k为当前帧。

在405中，设置固定滑动窗口的帧数为T，分别计算T帧图像的E_ki和F_kj，对T帧图像中处于相同检测块位置处由403计算得到的观察点(k,E_k)通过最小二乘法进行线性拟合，得到一次线性参数K_Ei，则检测图像的高频能量的平均变化趋势为：

其中T可以取300～400之间的任意整数值。

在406中，同405，对观察点(k,F_k)通过最小二乘法进行线性拟合，得到一次线性参数K_Fi，则检测图像的模糊度的平均变化趋势为：

在407中，若K1小于阈值T5，且K2小于阈值T6，则判定为全区域弥漫烟雾，输出告警信号，其中T5可以取-10～0之间的任意值，T6可以取-10～0之间的任意值。

图5示出了按照本发明的基于视频的隧道烟雾检测方法的局部动态烟雾判定单元的方法示意图。

在501中，局部疑似动态烟雾由图3所述方法判定得到。假设当前图像为I_k，则前景图像为I_F=I_k-I_back。

在502中，感兴趣区域为前景图像I_F中像素值大于或等于阈值T7的像素点，非感兴趣区域为前景图像中像素值小于阈值T7的像素点，其中T7可以取20～30之间的任意值。

在503～505中，假设当前前景图像的感兴趣区域对应到当前帧图像中的区域为I_k，该区域通过内核为椭圆形的模板膨胀或腐蚀后的图像分别为I_k1和I_k2，则定义当前帧图像I_k和其相邻帧图像I_k+1的相似度为：R1=max{r_k，r_k+1}，其中r_k=(I_k1and I_k2）/max(I_k1,I_k2)。

在506～508中，假设当前前景图像的非感兴趣区域对应到当前帧图像中的区域为I_k，该非感兴趣区域对应到参考图像中的区域为I_r，则定义当前帧图像和参考图像的非感兴趣区域的相似度R2=(I_kandI_r)/max(I_k,I_r)。

在509中，若R1大于阈值T8，同时R2大于阈值T9，则判定为局部烟雾，输出告警信号，其中T8可以取0.7～0.9之间的任意值，T9可以取-10～0之间的任意值。

在图1所示的背景更新单元中，若判定是全区域弥漫烟雾，则背景更新采用背景更新单元105，假设当前帧图像为I_k，当前背景图像为首先，计算当前帧图像I_k的平均亮度系数为:

计算当前背景图像的平均亮度为:

那么更新后的背景图像为:

在图1所示的背景更新单元中，若判定是局部动态烟雾，则背景更新采用背景更新单元106，假设当前帧图像为I_k，背景图像为则更新后的背景图像为:

需要说明的是，为了突出本发明方法的创新部分，本发明的上述各设备实施方式中并没有提到实现该技术用到的相关常用基本单元，但是这并不表明实施上述设备方式不需要其他的基本单元。

以上所述的具体实施例，对本发明的目的、技术方案和效果进行了详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制发明，本领域的普通技术人员应该明白，可以在形式上和细节上对其作一定的改变，而均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于视频图像处理的隧道烟雾检测方法，首先通过实时分析隧道环境变化，根据全区域疑似弥漫烟雾和局部疑似动态烟雾单元将隧道环境类型进行定性分类，一类是局部动态烟雾，另一类是全区域弥漫烟雾，进而运用对应的烟雾检测方法对疑似烟雾分别进行识别和判定，输出告警信号，所述基于视频图像处理的隧道烟雾检测方法组成结构包括：

(1)背景初始化单元，通过连续的N帧视频图像建立背景模型，获取稳定的背景图像和参考图像；

(2)全区域疑似弥漫烟雾和局部疑似动态烟雾单元，通过当前帧图像减去前一帧图像得到检测图像，将检测图像进行分块，统计检测图像中各分块区域的检测点，统计满足条件的分块区域的出现概率及分块区域的分布，从而对隧道环境中的疑似烟雾进行定性分类；

(3)全区域弥漫烟雾判定单元，设置固定长度T帧的滑动窗口，根据检测图像各分块区域频域上的能量在滑动窗口中表现出的下降趋势，同时各分块区域在时域上表现出的纹理模糊趋势，判定是否为全区域弥漫烟雾；

(4)局部动态烟雾判定单元，通过当前帧图像减去背景图像得到前景图像，计算相邻前景图像中的感兴趣区域与其伸缩后的区域的相似度，计算当前帧图像和参考图像中非感兴趣区域的相似度，判定是否为局部动态烟雾；

(5)背景更新单元，根据烟雾环境类型的不同，分别实时更新背景。

2.根据权利要求1所述的方法，其特征在于，所述全区域疑似弥漫烟雾和局部疑似动态烟雾单元中，检测点是检测图像中灰度值大于阈值T1的像素点，将检测图像切分为8×8块，计算检测图像中各分块的检测点个数占相应分块总像素点个数的比例K_i，记录K_i大于阈值T2的分块个数占总分块数的比例K，对记录的分块区域画一个最小外接矩形，计算该矩形的面积S，其中，i∈{1,2,...64}，T1取5～10内的任意整数值，T2取0.6～0.8内的任意值。

3.根据权利要求2所述的方法，其特征在于，所述全区域疑似弥漫烟雾和局部疑似动态烟雾单元中，若K大于阈值T3，同时S大于阈值T4，则判定为全区域疑似弥漫烟雾，否则为局部疑似的动态烟雾，其中，T3取0.7～0.9内的任意值，T4取0.7～0.9内的任意值。

4.根据权利要求1所述的方法，其特征在于，所述全区域弥漫烟雾判定单元中，将检测图像分割为8×8块，设置固定长度为T帧的滑动窗口，计算检测图像中各分块区域在频域的高频能量E_ki，计算各分块区域在时域上的纹理模糊度F_ki，根据E_ki和F_ki在T帧的滑动窗口的变化趋势判定是否为全区域弥漫烟雾，其中k表示帧数，i表示块数。

5.根据权利要求4所述的方法，其特征在于，所述高频能量E_ki通过对检测图像进行二维离散小波变换得到，E_ki＝HH+HL+LH，其中HH,HL,LH为检测图像进行离散小波变换后的高频能量，所述纹理模糊度F_ki通过对检测图像的纹理平滑性统计得到，假设检测图像的某一分块区域中位置[x,y]处的像素点灰度值为G[x,y]，那么该某一分块区域的纹理模糊度为：

F_ki＝|G[x,y]-G[x-1,y+2]|+|G[x,y]-G[x+1,y+2]|+|G[x,y]-G[x+2,y+1]|

+|G[x,y]-G[x+2,y-1]|+|G[x,y]-G[x+1,y-2]|+|G[x,y]-G[x-1,y-2]|

+|G[x,y]-G[x-2,y-1]|+|G[x,y]-G[x-2,y+1]|。

6.根据权利要求4所述的方法，其特征在于，在固定长度T帧的滑动窗口中，对E_ki的变化趋势进行线性拟合得到一次线性参数K_Ei，则检测图像的高频能量的平均变化趋势为：

$K1=\frac{1}{64}\underset{i=1}{\overset{i=64}{\Σ}}{K}_{Ei}$

对F_ki的变化趋势进行线性拟合得到一次线性参数K_Fi，则检测图像的纹理模糊度的平均变化趋势为：

$K2=\frac{1}{64}\underset{i=1}{\overset{i=64}{\Σ}}{K}_{Fi}$

所述全区域弥漫烟雾判定单元中，若K1小于阈值T5，且K2小于阈值T6，则判定为全区域弥漫烟雾，其中，T5取-10～0之间的任意值，T6取-10～0之间的任意值。

7.根据权利要求1所述的方法，其特征在于，所述局部动态烟雾判定单元中，感兴趣区域为前景图像中像素值大于阈值T7的像素点，假设当前前景图像的感兴趣区域对应到当前帧图像中的区域为I_k，区域I_k伸缩后的图像分别为I_k1和I_k2，则相邻前景图像中的感兴趣区域伸缩后的相似度为:R1＝max{r_k，r_k+1},其中r_k＝(I_k1and I_k2)/max(I_k1,I_k2)，T7取20～30之间的任意值，k表示帧数。

8.根据权利要求7所述的方法，其特征在于，所述局部动态烟雾判定单元中，非感兴趣区域为前景图像中像素值小于阈值T7的像素点，假设当前帧图像的非感兴趣区域为I_k，该非感兴趣区域对应到参考图像中的区域为I_r，则当前帧图像和参考图像的非感兴趣区域的相似度为：R2＝(I_kand I_r)/max(I_k,I_r)。

9.根据权利要求8所述的方法，其特征在于，所述局部动态烟雾判定单元中，若R1大于阈值T8，同时R2大于阈值T9，则判定是局部烟雾，其中，T8取0.7～0.9之间的任意值，T9取-10～0之间的任意值。

10.根据权利要求1所述的方法，其特征在于，所述背景更新单元中，假设当前帧图像为I_c[k]，当前背景图像为I_b[k]，那么

$P_{c\[k\]}=\underset{x=0}{\overset{M}{\Σ}}\underset{y=0}{\overset{N}{\Σ}}(C\[x,y\]/255)/(M\×N)$

计算当前帧图像I_c[k]的归一化平均亮度为：

$P_{c\[k\]}=\underset{x=0}{\overset{M}{\Σ}}\underset{y=0}{\overset{N}{\Σ}}(C\[x,y\]/255)/(M\×N)$

计算当前背景图像I_b[k]的归一化平均亮度为：

$P_{b\[k\]}=\underset{x=0}{\overset{M}{\Σ}}\underset{y=0}{\overset{N}{\Σ}}(C\[x,y\]/255)/(M\×N)$

若检测结果为全区域弥漫烟雾，则更新后的背景图像为：

$I_{b\[k+1\]}=\frac{P_{c\[k\]}}{p_{b\[k\]}}\×I_{b\[k\]}$

若检测结果是局部动态烟雾，则更新后的背景图像为：

I_b[k+1]＝α×I_c[k]+(1-α)×I_b[k]

其中，C[x,y]是当前帧图像位置[x,y]处的像素点灰度值，M×N是当前帧图像的大小。