CN106355566A

CN106355566A - 一种应用于固定摄像机动态视频序列的烟雾与火焰探测方法

Info

Publication number: CN106355566A
Application number: CN201610884153.6A
Authority: CN
Inventors: 叶时平; 张登辉; 陈华锋; 陈超祥; 白直灿; 谢尔盖·阿布拉梅科; 理查得·博古什
Original assignee: Zhejiang Shuren University
Current assignee: Zhejiang Shuren University
Priority date: 2016-10-10
Filing date: 2016-10-10
Publication date: 2017-01-25

Abstract

一种应用于固定摄像机动态视频序列的烟雾与火焰探测方法，包括以下步骤：1)视频帧变换预处理，将获取的4个相邻帧I_t‑2,I_t‑1,I_t和I_t+1经过灰度变换、直方图均衡和离散小波变换；2)缓慢移动区域识别和像素分割采用自适应背景减除算法获取前景的二值图像F_bin；3)连通分量分析去除图像中的噪声；4)混沌运动估计使用光流来计算烟雾和火焰的移动统计特征；5)移动斑点分类包括颜色分割与对比分析、空间与时间小波分析两个阶段。本发明计算速度快、检测准确率高。

Description

一种应用于固定摄像机动态视频序列的烟雾与火焰探测方法

技术领域

本发明涉及图像处理、计算机视觉、计算方法等领域，尤其是这一种应用于固定摄像机动态视频序列的烟雾与火焰探测方法。

背景技术

基于视频序列的烟雾与火焰联合识别是指根据视频中连续的多帧图像确定场景中的烟雾或者火焰，烟雾或者火焰识别一旦完成，就可以通过红外传感器、光学传感器或离子传感器来动态、快速地基于烟、热或辐射等火的某些特性来及时探测火灾。现行很多识别方法都是基于火焰或者烟雾的单独特征，而且高耗时、效率低，基于视频帧序列的烟雾和火焰的联合检测仍然是亟待解决的难题，这主要是由于烟雾和火焰具有不同特点，在不同背景、光照条件下，诸如亮度、运动、边缘、纹理等原始图像特征均不能全面表征烟雾和火焰。

发明内容

为了克服已有火焰、烟雾检测方法的噪声高度敏感、高计算耗时、轮廓退化、效率较低的不足，且不能联合检测的不足，本发明提供一种应用于固定摄像机动态视频序列，能够同时检测烟雾和火焰信息的自适应背景减除、颜色斑点混沌分类的烟雾与火焰探测方法。

本发明解决其技术问题所采用的技术方案是：

一种应用于固定摄像机动态视频序列的烟雾与火焰探测方法，包括以下步骤：

所述一种应用于固定摄像机动态视频序列的烟雾与火焰探测方法包括视频帧变换预处理方法、缓慢移动区域和像素分割方法、连通分量分析方法、混沌运动估计方法、移动斑点分类方法，其中：

1)所述视频帧变换预处理方法，采用三个步骤：利用灰度变换处理图像的对比度；利用直方图均衡化处理图像并用离散小波变换改善图像对比度；利用离散Haar小波变换调整图像的大小并消除水平、垂直、对角线方向的高频图像噪声；

2)所述缓慢移动区域和像素分割方法，利用背景减除法对图像背景进行分割，利用连续视频帧和视频背景，递归估算背景图像，将烟雾和火焰逐渐混合到图像背景中；

3)所述连通分量分析方法，基于形态学理论，利用连通分量分析技术将含有噪声的前景作为输入，采用形态学开操作、闭操作，去除图像中的图斑噪声，并连接图像中的运动斑点，获得目标轮廓区域；

4)所述混沌运动估计方法，基于烟雾和火焰粒子的无序、随机运动特征，利用光流来计算烟雾和火焰的移动统计特征，有效去除图像的噪声影响，并能够确定同质区域运动矢量的方向；

5)所述移动斑点分类方法，在YCbCr空间对火焰进行颜色分割，利用Weber方法对疑似含有烟雾的区域进行对比分析，并对每个视频场景计算其能量和时间统计量，利用本发明开发的空间能量系数一维时间小波分析方法，检测出火焰闪烁特征。

本发明的技术构思为：使用视频帧变换预处理方法改善图像对比度，并消除图像高频噪声，使用缓慢移动区域和像素分割方法获取视频图像中的烟雾、火焰背景区域和前景目标，连通分量分析方法去除图像中的图斑噪声，并连接图像中的运动斑点，获得目标轮廓区域，再使用混沌运动估计方法去除图像的噪声，并确定同质区域运动矢量的方向。

本发明的有益效果主要表现在：烟雾和火焰的联合检测、计算速度快、检测准确率高。

附图说明

图1是本发明方法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1，一种应用于固定摄像机动态视频序列的烟雾与火焰探测方法，包括以下步骤：

通过灰度变换和离散小波变换去提高图像对比度，并减少计算耗时；然后自适应背景减除从帧中提取缓慢移动区域和所谓的前景像素。利用连通分量分析消除前景噪声以及将缓慢移动区域和像素合并为斑点。获取的连通斑点被传入分类模块以进行Weber对比分析，同时将连通斑点作为光流计算模块的输入。最后，分类模块获取烟雾检测的最终结果。

1)视频帧变换预处理，将获取的4个相邻帧I_t-2,I_t-1,I_t和I_t+1作为预处理模块输入，经过三个处理步骤：灰度变换、直方图均衡和离散小波变换，使用用灰度变换将彩色图像变化为灰色图像，使用直方图均衡改善图像的对比度，使用离散Haar小波变换来提高图像的水平、垂直和对角线方向的高频细节处理效率。

2)缓慢移动区域识别和像素分割采用自适应背景减除算法，利用帧I_t-1和背景B_t-1递归地估计t时刻的背景图像B_t：

B_{t} (x, y) = \{\begin{matrix} {αB}_{t - 1} (x, y) + (1 - α) I_{t - 1} (x), i f (x, y) i s m o v i n g \\ B_{t - 1} (x, y), i f (x, y) i s s t a t i o n a r y \end{matrix}

其中(x,y)表示一个像素坐标，α是0和1之间的自适应参数。由于一个烟雾区域逐帧增长，属于烟雾区域的像素很快就不固定于背景中，α值将接近1。

初始时B₀(x,y)＝I₀(x,y)。若以下条件满足，则像素(x,y)属于移动对象：

(|I_t(x,y)-I_t-1(x,y)|＞T_t(x,y))&(|I_t(x,y)-I_t-2(x,y)|＞T_t(x,y))

其中I_t-2(x,y),I_t-1(x,y),I_t(x,y)分别表示t-2,t-1和t时刻像素(x,y)的亮度值。T_t(x,y)是像素(x,y)的自适应阈值，其在t时刻的值通过下述公式计算：

T_{t} (x, y) = \{\begin{matrix} {αT}_{t - 1} (x, y) + (1 - α) (5 \times | I_{t - 1} (x, y) - B_{t - 1} (x, y) |), i f (x, y) i s m o v i n g \\ T_{t - 1} (x, y) i f (x, y) i s s t a t i o n a r y \end{matrix}

初始时T₀(x,y)＝const＞0。

当前帧I_t+1被建模为使用混合参数β的前景F_t+1和背景成分B_t的组合：

I_t+1(x,y)＝βF_t+1(x,y)+(1-β)B_t(x,y)

对于不透明物体β值等于1，对于透明物体β值等于0，对于半透明物体，如烟，β值位于0到1的范围。

因此，一旦在背景更新步骤中获得了B_t、当前帧I_t+1，并将β值设为0.38，就可以估算前景F_t+1。然后，应用阈值处理获取前景的二值图像F_bin。对于α和β两个参数的估算，可以通过接受者操作特性ROC分析来估算α和β的最优值。

3)连通分量分析去除图像中的噪声并连接运动斑点，去除图像中的噪声使用形态学运算实现：

使用形态学开操作缩小细微噪声区域：

其中S标识图像，M表示3×3结构元素；

使用形态学闭操作重建开操作中丢失的分量：

S \cdot M = (S &CirclePlus; M) (-) M

其中M表示3×3结构元素.

重复搜索图像中所有的轮廓，然后丢弃过小的轮廓，并用多边形近似表示剩余的轮廓。

4)混沌运动估计使用光流来计算烟雾和火焰的移动统计特征，光流计算只应用于属于前景的图像块，该过程可以有效降低错误检测率。我们采用farneback光流法计算，该算法对噪声不敏感，并且可以确定同质区域运动矢量的方向。粒子共向运动的系数被确定为：

C＝V_c/V_t,

其中V_c表示运动矢量共向的数量，V_t表示感兴趣区域运动矢量总的数量。

5)移动斑点分类包括颜色分割与对比分析、空间与时间小波分析两个阶段。颜色分割与对比分析在YCbCr空间对火焰进行颜色分割，图像某区域将被认为属于火焰，如果：

Y_i＞Y_m,Cb_i＜Cb_m,Cr_i＜Cr_m

其中Y_i,Cb_i,Cr_i表示感兴趣区域像素的亮度、蓝色分量、红色分量的平均值；Y_m,Cb_m,Cr_m表示帧上所有像素的亮度、蓝色分量、红色分量的平均值。

由于烟雾的亮度颜色变化范围很大，从透明的灰色到黑色，所以使用区域对比度分析对疑似含有烟雾的区域进行分析，我们采用Weber对比分析：

C_{w} = \frac{1}{n} Σ_{i = 1}^{n} \frac{F_{t + 1} (x, y) - B_{t} (x, y)}{B_{t} (x . y)},

其中F_t+1(x,y)表示t时刻属于一个斑点的像素(x,y)的强度,B_t(x,y)表示t时刻位于对应斑点下方的背景像素(x,y)的强度,n表示属于斑点的像素数量。

基于空间和时间的小波分析用于对运动斑点分类，需要计算每个场景的能量和时间统计量，高频小波能量通常可以反映烟雾区域的特征，而高频分量的减少能够被当前图像和背景图像的空间小波变换检测。能量可以由下式计算：

E (B_{k}, I_{t}) = \underset{m, n &Element; B_{k}}{Σ} [L H {(m, n)}^{2} + H L {(m, n)}^{2} + H H {(m, n)}^{2}]

其中B_k是感兴趣区域的第k个图像块，作为输入图像；LH,HL,HH是包含原始图像水平、垂直、对角线方向高频信息的小波变换系数。

场景的背景图像通常是光滑的且缺乏对象，这些区域通常有较低的小波能量。因此，场景的背景估计和高频能量减少可以通过当前图像和背景的基于下式的小波变换进行检测：

λ (B_{k}, I_{t}, {BG}_{t}) = \frac{E (B_{k}, I_{t})}{E (B_{k}, {BG}_{t})}

其中BG_t表示背景图像。

Claims

1.一种应用于固定摄像机动态视频序列的烟雾与火焰探测方法，包括以下步骤：

1)视频帧变换预处理，将获取的4个相邻帧I_t-2,I_t-1,I_t和I_t+1作为预处理模块输入，经过三个处理步骤：灰度变换、直方图均衡和离散小波变换，使用用灰度变换将彩色图像变化为灰色图像，使用直方图均衡改善图像的对比度，使用离散Haar小波变换来提高图像的水平、垂直和对角线方向的高频细节处理效率；；

B_{t} (x, y) = \{\begin{matrix} α B_{t - 1} (x, y) + (1 - α) I_{t - 1} (x), if (x, y) is moving \\ B_{t - 1} (x, y), if (x, y) is stationary \end{matrix}

其中(x,y)表示一个像素坐标，α是0和1之间的自适应参数；由于一个烟雾区域逐帧增长，属于烟雾区域的像素很快就不固定于背景中，α值将接近1；初始时B₀(x,y)＝I₀(x,y)；若以下条件满足，则像素(x,y)属于移动对象：

(|I_t(x,y)-I_t-1(x,y)|＞T_t(x,y))&(|I_t(x,y)-I_t-2(x,y)|＞T_t(x,y))

其中I_t-2(x,y),I_t-1(x,y),I_t(x,y)分别表示t-2,t-1和t时刻像素(x,y)的亮度值；T_t(x,y)是像素(x,y)的自适应阈值，其在t时刻的值通过下述公式计算：

T_{t} (x, y) = \{\begin{matrix} α T_{t - 1} (x, y) + (1 - α) (5 \times | I_{t - 1} (x, y) - B_{t - 1} (x, y) |), i f (x, y) i s m o v i n g \\ T_{t - 1} (x, y), i f (x, y) i s s t a t i o n a r y \end{matrix}

初始时T₀(x,y)＝const＞0；

I_t+1(x,y)＝βF_t+1(x,y)+(1-β)B_t(x,y)

对于不透明物体β值等于1，对于透明物体β值等于0，对于半透明物体，如烟，β值位于0到1的范围；

因此，一旦在背景更新步骤中获得了B_t、当前帧I_t+1，并将β值设为0.38，就可以估算前景F_t+1；然后，应用阈值处理获取前景的二值图像F_bin；

3)连通分量分析去除图像中的噪声

使用形态学开操作缩小细微噪声区域：

其中S标识图像，M表示3×3结构元素；

使用形态学闭操作重建开操作中丢失的分量：

并连接运动斑点，去除图像中的噪声使用形态学运算实现：

其中M表示3×3结构元素.

重复搜索图像中所有的轮廓，然后丢弃过小的轮廓，并用多边形近似表示剩余的轮廓；

4)混沌运动估计使用光流来计算烟雾和火焰的移动统计特征，光流计算只应用于属于前景的图像块，该过程可以有效降低错误检测率；采用farneback光流法计算，该算法对噪声不敏感，并且可以确定同质区域运动矢量的方向；粒子共向运动的系数被确定为：

C＝V_c/V_t,

其中V_c表示运动矢量共向的数量，V_t表示感兴趣区域运动矢量总的数量；5)移动斑点分类包括颜色分割与对比分析、空间与时间小波分析两个阶段；颜色分割与对比分析在YCbCr空间对火焰进行颜色分割，图像某区域将被认为属于火焰，如果：

Y_i＞Y_m,Cb_i＜Cb_m,Cr_i＜Cr_m

2.如权利要求1所述一种应用于固定摄像机动态视频序列的烟雾与火焰探测方法，其特征在于：所述步骤2)中，对于α和β两个参数的估算，通过接受者操作特性ROC分析来估算α和β的最优值。

3.如权利要求书1所述一种应用于固定摄像机动态视频序列的烟雾与火焰探测方法，其特征在于：所述步骤5)中，所述颜色分割与对比分析过程为采用Weber对比分析：

C_{w} = \frac{1}{n} Σ_{i = 1}^{n} \frac{F_{t + 1} (x, y) - B_{t} (x, y)}{B_{t} (x . y)},

4.如权利要求书1所述一种应用于固定摄像机动态视频序列的烟雾与火焰探测方法，其特征在于：所述步骤5)中，所述空间与时间小波分析过程采用基于空间和时间的小波分析用于对运动斑点分类，需要计算每个场景的能量和时间统计量，高频小波能量通常可以反映烟雾区域的特征，而高频分量的减少能够被当前图像和背景图像的空间小波变换检测；能量可以由下式计算：

E (B_{k}, I_{t}) = \underset{m, n &Element; B_{k}}{Σ} [L H {(m, n)}^{2} + H L {(m, n)}^{2} + H H {(m, n)}^{2}]

其中Bk是感兴趣区域的第k个图像块，作为输入图像；LH,HL,HH是包含原始图像水平、垂直、对角线方向高频信息的小波变换系数；

场景的背景图像通常是光滑的且缺乏对象，这些区域通常有较低的小波能量；因此，场景的背景估计和高频能量减少可以通过当前图像和背景的基于下式的小波变换进行检测：

λ (B_{k}, I_{t}, {BG}_{t}) = \frac{E (B_{k}, I_{t})}{E (B_{k}, {BG}_{t})}

其中BG_t表示背景图像。