CN105788142A - 一种基于视频图像处理的火灾检测系统及检测方法 - Google Patents

Abstract

本发明公开了一种基于视频图像处理的火灾检测系统及检测方法。依次由视频采集模块，火灾检测模块，火灾分析模块，火灾判断模块和火灾报警模块连接而成。视频采集模块采集摄像头覆盖区域内的视频图像；火灾检测模块对视频图像进行背景建模和背景更新，并进行前景运动目标的检测；火灾分析模块对视频图像进行分析找出疑似火焰区域，并提取出疑似火焰的静态特征和动态特征；火灾判断模块把火灾分析模块提取出来的火焰静态特征和动态特征作为BP神经网络的输入，判断是否有火焰存在于视频中；火灾报警模块会根据火灾判断模块输出结果判断是否发出报警。本发明结合现有的监控系统，节约检测成本；在保证测火灾的精确度的基础上大大降低了误报率。

Description

一种基于视频图像处理的火灾检测系统及检测方法

技术领域

本发明涉及火灾检测系统及检测方法，特别涉及一种基于视频图像处理的火灾检测系统及检测方法。

背景技术

火灾在现代生活当中造成的经济损失非常严重，并且极大地危害人类的人身安全。高层建筑火灾，森林火灾，隧道火灾，公共交通工具火灾等安全事故，尤为突出。传统的火灾探测器(感烟型，感温型等)在探测上述火灾时，反应时间过长，误报率高，这都不利于火灾的及时发现。

在现代随着计算机技术的发展和视频处理技术的日渐成熟，基于视频的火灾检测技术也成为检测火灾的一种检测火灾的重要方法。但是由于这种技术新颖，在实际工作中的普及成本高，因此在实际的运用中还不广泛，已经运用到这种技术的，在实施的过程中也暴露出容易受环境和疑似火焰干扰物的影响，也存在误报率高的缺点。

发明内容

针对上述提到的现有的火灾检测技术的缺点，本发明的目的在于提供一种基于视频图像处理的火灾检测系统及检测方法，来能够应对场景复杂的火灾情况，并且提出的基于视频图像处理的火灾检测系统结合了现有的监控系统，大大节约了检测成本，提高了经济效益；提出的基于视频图像处理的火灾检测方法有效检测火灾的精确度也较现有的火灾检测技术有很大的提高，并具有非常低的误报率。

为达到上述目的，本发明采用的技术方案为：

一、一种基于视频图像处理的火灾检测系统：

依次由视频输入单元，视频预处理单元和视频输出单元组成的视频采集模块；由背景建模和更新单元，前景运动目标检测单元组成的火灾检测模块；由疑似火焰区域检测单元，火焰特征提取单元组成的火灾分析模块；火灾判断模块和火灾报警模块连接而成。

二、一种基于视频图像处理的火灾检测方法，该方法包括以下步骤：

1)视频采集模块采集摄像头覆盖区域内的视频图像；

2)火灾检测模块对视频图像进行背景建模和背景更新，并进行前景运动目标的检测；

3)火灾分析模块对视频图像进行分析找出疑似火焰区域，并提取出疑似火焰的静态特征和动态特征；

4)火灾判断模块把火灾分析模块提取出来的火焰静态特征和动态特征作为BP神经网络的输入，判断是否有火焰存在于视频中；

5)火灾报警模块会根据火灾判断模块输出结果判断是否发出报警。

所述视频采集模块，包括：视频输入单元，视频预处理单元和视频输出单元；视频输入单元通过摄像头捕获视频序列，把视频序列输入到视频预处理单元进行预处理操作，然后把预处理后的视频序列通过视频输出单元送给火灾检测模块。

所述火灾检测模块，包括：背景建模和更新单元，前景运动目标检测单元；背景建模和更新单元接收到来自视频采集模块送过来的视频，对每一帧图像进行背景建模，对连续视频帧进行背景更新，再经过前景运动目标检测单元检测出前景运动目标，然后把数据移交火灾分析模块。

所述火灾分析模块，包括：疑似火焰区域检测单元，火焰特征提取单元；疑似火焰区域检测单元利用颜色模型规则提取疑似火焰区域，提取出疑似火焰区域以后再经火焰特征提取单元提取火焰相应的静态特征和动态特征，把提取的静态特征和动态特征输入进所述火灾判断单元进行综合判断，然后把输出结果送给所述火灾报警模块。

所述视频预处理单元采用如下方法对采集到的视频图像进行滤波，去除图像中的噪声干扰：

采用一个3×3的滑动窗口对图像像素矩阵按照下列步骤进行处理：

(1)选定一个二维的3×3的窗口M_xy，假设要处理的像素为m(x,y)；

(2)窗口内的像素值矩阵按行从左到右升序，列从上到下升序，左对角线从左上到右下升序排列；排好顺序以后，得到左上角的像素值记为m_min，右下角的像素值记为m_max，正中央的像素值记为m_med；

(3)这样排列会出现三种情况：

①如果m_min<m(x,y)<m_max,m_min≥0,m_max≤255，说明m(x,y)是没有被噪声污染的像素点，不用改变；否则，说明m(x,y)是一个被污染的像素；

②若m(x,y)是一个被污染的像素点，若m_min<m_med<m_max，0<m_med<255,则用m_med替换m(x,y)；

③如果不满足m_min<m_med<m_max，或者255<m_med＝0,则说明m_med也是个被污染的像素点，

这种情况下就用与m(x,y)相邻的像素点代替m(x,y)；

(4)重复执行(1)到(3)步骤至整幅图像像素矩阵处理完毕。

所述背景建模与更新单元采用如下的方法对图像数据进行背景建模和更新：

(1)背景建模

①对每一帧图像的每一个像素点建立像素点模型

$B_{t_0}(x,y)=\left(m_{t_1}\right(x,y),m_{t_2}(x,y),...,m_{t_N}(x,y\left)\right)$

其中：t₀代表当前建模图像的时刻，表示(x,y)在t₁时刻的像素值，表示(x,y)在t_N时刻的像素值，表示t时刻(x,y)像素点的模型，一帧图像的背景模型就是所有像素点的背景模型；

②对当前帧的像素点进行前景背景分类

S_r(m_t(x,y))＝{m|EuclidDis(m,m_t(x,y))＜r}

其中：t为当前时刻，m_t(x,y)为(x,y)点位置t时刻的像素值，S_r(m_t(x,y))为颜色空间中与m_t(x,y)欧几里德距离小于r的像素点集合；

③对S_r(m_t(x,y))和(x,y)点背景模型取交集的势

$count=\#\{S_r\left(m_t\left(x,y\right)\right)\&cap;B_{t_0}\left(x,y\right)\}$

利用如下公式对像素点进行分类

其中：T为根据实验所确定的阈值，该值可以根据检测的场景不同做出调整；

(2)背景更新

若m_t(x,y)被判定为背景像素点，系统执行一个随机函数来判定这个背景像素点是否被用来更新背景模型，如果判定为要更新，则系统用该点像素值m_t(x,y)，随机的去替换背景模型中的某一个元素；还要考虑该像素点的邻域N_t(x,y)，由于图像中相临近位置的像素点在颜色空间中具有相关性，因此其邻域像素也能为背景像素，因此，使用该点像素值m_t(x,y)来更新邻域N_t(x,y)内随机某位置(x_i,y_i)像素点的背景模型B_t(x_i,y_i)，达到将突然停止运动并静止的运动目标去除，以免被检测为前景目标；

(4)对检测到的前景目标运动区域，先进行一次开运算，再进行一次闭运算，以去除前景目标运动区域中的空洞。

所述疑似火焰区域提取单元采用的颜色模型规则基于RGB空间，具体包括：

规则1：R≥B,G≥B，R≥B

规则2：R≥R_t

规则3：S≥(255-R)×S_t/R_t

规则4：R≥R_ad，G≥G_ad或T₁≥ad₁,T₂≥ad₂

式中：R、G、B是火焰红、绿、蓝颜色分量，R_t为像素点的红色分量阈值，S为像素点的饱和度，S_t为像素点的饱和度阈值，R_ad，G_ad是改进后的火焰的红色分量和绿色分量的阈值，ad₁，ad₂分别为T₁，T₂的阈值，T₁＝|G-R|,T₂＝|B-G|，R_t∈[116,136]，S_t∈[46,63]，R_ad∈[233,250]，G_ad∈[233,250]，ad₁∈[12,32]，ad₂∈[12,32]。

所述火焰特征提取单元，提取火焰的静态特征和动态特征，所述火焰的静态特征包括圆形度、尖角数和颜色一阶矩，所述火焰的动态特征包括火焰的形体变化、面积增长率，具体的按照如下方法进行特征提取：

(1)圆形度

圆形度表示物体边缘与圆的相似程度，是物体边缘轮廓复杂程度的一种度量，物体a的圆形度值C_a计算公式如下：

$C_a=\frac{{L_a}^2}{4\mathrm{\&pi;}\&times;S_a}$

式中：S_a为物体a所在区域面积，L_a为物体a所在区域周长，即区域边界的长度；

C_a的最小值取1，物体a边缘越复杂，C_a的取值越高，与火焰颜色相近的干扰物边缘复杂度不高，C_a≈1，而火焰燃烧时边缘较为复杂，C_a≧1；

(2)尖角数

对于火焰尖角来说，突出的特征就是顶点，顶点就是提取的边缘曲线的局部极值点，这里用于尖角顶点的判定条件如下：

①尖角必须是顶点，即该点上方没有目标黑点，尖角的形状大体上呈不规则三角形，尖角左右两边的夹角应满足一定条件，尖角的狭长通过下式来控制

$L=\frac{F\left(n\right)}{F(n-1)}$

式中：F(n)为尖角中某一行的像素点数，F(n-1)为上一行的像素点，L为尖角的狭长；

②对尖角的宽度和高度也有限制，尖角的宽度也应该有一个最大值W_max，高度也应该有一个最小值H_min，采用如下公式来判断尖角是火焰的尖角还是由于毛刺、噪声产生的尖角：

$G=\frac{S_j}{S_h}\&times;100\%$

式中：S_h为火焰面积，S_j为尖角面积，G为二者的比值；

若G≈1％时，此时的尖角大部分都是火焰尖角，若G＜1％时，尖角大部分是由于毛刺和噪声引起的尖角；

(3)火焰的形体变化

火焰的形体变化是指在燃烧过程中，由于气流的运动或火焰本身的闪烁，火焰的位置和形状的不断变化，但是在连续的视频帧中火焰在形状上比较接近；因此，将火焰连续图像的这种形状相似特性作为判断火焰的一种判据

${\mathrm{\&zeta;}}_i=\frac{\underset{(x,y)\&Element;\mathrm{\&Theta;}}{\&Sigma;}\stackrel{\&OverBar;}{g}(x,y)\&cap;\stackrel{\&OverBar;}{g_{i+1}}(x,y)}{\underset{(x,y)\&Element;\mathrm{\&Theta;}}{\&Sigma;}\stackrel{\&OverBar;}{g}(x,y)\&cup;\stackrel{\&OverBar;}{g_{i+1}}(x,y)},i=1,2,...,n$

式中：ζ_i表示连续帧图像形体变化的相似度，表示二值化后的火灾图像序列，Θ表示第i帧图像中的目标区域，并以连续5帧图像火焰疑似目标的形体相似度ζ_i的平均值作为识别火焰的一个判据；

由于火焰的位置和面积不可能是完全不变的，所以定义阈值T₁,T₂(T₁＜T₂)，当时，即认为待识别物体是快速运动的亮点，当时，可认为有固定光源存在，当时可认为该区域为火焰区域；

(4)面积增长率

火灾在发生初期一个非常显著的特征就是蔓延，具体表现就是面积的增长，因此，根据相邻帧的同一疑似火焰区域的面积是否发生变化来作为判别火焰的一个依据，依据计算公式如下：

$I_j=\frac{S{\left(Z_j\right)}_t-S{\left(Z_j\right)}_{t_0}}{t-t_0}$

式中：I_j表示面积增长率，S为面积，Z_j为可疑区域，t和t₀表示时刻；

(5)颜色一阶矩

火焰的颜色分布以一般的发光物体的颜色分布是不一样的，表现为焰心从内到外逐步由白色变为红色，一次可将颜色分布作为区分火焰和干扰物体的特征之一，通常使用颜色矩来计算颜色的分布，颜色矩以数字方法为基础，在RGB空间中计算，由于颜色信息主要集中在低阶矩，因此本文选用颜色一阶矩来表达图像的颜色分布，其中计算公式为：

${\mathrm{\&mu;}}_i=\frac{1}{N}{\mathrm{\&Sigma;}}_{j=1}^N{p}_{ij}$

其中，μ_i为面积增长率，N为图像的帧数，p_ij为第i,j帧图像。

所述火灾判断模块判断火焰是否存在的步骤具体包括：

把火灾分析模块提取出的特征输入进BP神经网络进行综合判断，其步骤如下：

(1)把火灾分析模块中提取到的火焰的静态特征和动态特征共5个特征参数作为输入信号input输入进BP神经网络；

(2)采用如下公式确定BP神经网络隐层节点数

$N_h=\frac{\frac{1}{2}{N}_o\&times;N_i^2+\frac{3}{2}{N}_o\&times;N_i-1}{N_o+N_i}$

其中，N_i，N_o，N_h分别表示输入层、输出层和隐层的节点数；若计算结果中含有小数，则“加1取整”；

(3)对神经网络输出信号output进行归一化处理，使其值介于0～1之间，根据输出值可将视频分为如下三种状态：

1)当output∈[0,0.3)时，表示正常状况；

2)当output∈(0.3,0.8]时，表示有可疑火灾出现；

3)当output∈(0.8,1]时，表示有火灾出现；

(4)测试样本和训练样本

选取的测试样本和训练样本均分为火灾样本、干扰样本和正常样本三种状态；干扰样本包括汽车前灯、尾灯、晃动的手电筒光、蜡烛火焰、运动的红色的汽车，火灾样本的获取通过拍摄汽油、废旧报纸燃烧过程、网络获得，正常样本的视频通过现场拍摄和网络获得。

本发明具有的有益效果是：

(1)对采集到的监控区域的视频，利用文中提出的处理方法对视频图像进行预处理操作，能够去除图像中的噪声，进一步改善输入图像的质量。

(2)本发明提出的疑似火焰区域判断的规则，可以准确的找出监控区域内疑似火焰区域，并且排除掉疑似火焰区域的黄绿区域和灰色区域，缩小检测范围，保证后面步骤的准确检测。

(3)利用现有的监控设备，能够减少整个系统的经济成本。

(4)本发明综合了火焰的静态特征和动态特征信息，并提出对提取到的五个特征利用BP神经网络进行综合判断的方法能准确的判断出疑似火焰区域内是否真的有火焰的存在，准确的排除了汽车前灯、尾灯、晃动的手电筒光、蜡烛火焰、运动的红色汽车的干扰，在保证检测准确率的基础上大大降低了误报率。

附图说明

图1是本发明的基于视频图像处理的火灾检测系统框图；

图2是本发明的基于视频图像处理的火灾检测方法的流程图；

图3是本发明的BP神经网络的实现原理图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1所示，本发明的一种基于视频图像处理的火灾检测系统，依次由视频输入单元，视频预处理单元和视频输出单元组成的视频采集模块；由背景建模和更新单元，前景运动目标检测单元组成的火灾检测模块；由疑似火焰区域检测单元，火焰特征提取单元组成的火灾分析模块；火灾判断模块和火灾报警模块连接而成。

如图1、图2所示，本发明的一种基于视频图像处理的火灾检测方法，该方法包括以下步骤：

1)视频采集模块采集摄像头覆盖区域内的视频图像；

2)火灾检测模块对视频图像进行背景建模和背景更新，并进行前景运动目标的检测；

3)火灾分析模块对视频图像进行分析找出疑似火焰区域，并提取出疑似火焰的静态特征和动态特征；

4)火灾判断模块把火灾分析模块提取出来的火焰静态特征和动态特征作为BP神经网络的输入，判断是否有火焰存在于视频中；

5)火灾报警模块会根据火灾判断模块输出结果判断是否发出报警。

所述视频采集模块，包括：视频输入单元，视频预处理单元和视频输出单元；视频输入单元通过摄像头捕获视频序列，把视频序列输入到视频预处理单元进行预处理操作，然后把预处理后的视频序列通过视频输出单元送给火灾检测模块。

所述火灾检测模块，包括：背景建模和更新单元，前景运动目标检测单元；背景建模和更新单元接收到来自视频采集模块送过来的视频，对每一帧图像进行背景建模，对连续视频帧进行背景更新，再经过前景运动目标检测单元检测出前景运动目标，然后把数据移交火灾分析模块。

所述火灾分析模块，包括：疑似火焰区域检测单元，火焰特征提取单元；疑似火焰区域检测单元利用颜色模型规则提取疑似火焰区域，提取出疑似火焰区域以后再经火焰特征提取单元提取火焰相应的静态特征和动态特征，把提取的静态特征和动态特征输入进所述火灾判断单元进行综合判断，然后把输出结果送给所述火灾报警模块。

所述视频预处理单元采用如下方法对采集到的视频图像进行滤波，去除图像中的噪声干扰：

采用一个3×3的滑动窗口对图像像素矩阵按照下列步骤进行处理：

(1)选定一个二维的3×3的窗口M_xy，假设要处理的像素为m(x,y)；

$\begin{array}{ccc}0& 0& 255\\ 122& {123}_{m_{\left(x,y\right)}}& 255\\ 0& 255& 255\end{array}$

(2)窗口内的像素值矩阵按行从左到右升序，列从上到下升序，左对角线从左上到右下升序排列；排好顺序以后，得到左上角的像素值记为m_min，右下角的像素值记为m_max，正中央的像素值记为m_med；

$\begin{array}{ccc}{0}_{m_{\min }}& 0& 122\\ 0& {123}_{m_{med}}& 255\\ 255& 255& {255}_{m_{\max }}\end{array}$

(3)这样排列会出现三种情况：

①如果m_min<m(x,y)<m_max,m_min≥0,m_max≤255，说明m(x,y)是没有被噪声污染的像素点，不用改变；否则，说明m(x,y)是一个被污染的像素；

②若m(x,y)是一个被污染的像素点，若m_min<m_med<m_max，0<m_med<255,则用m_med替换m(x,y)；

③如果不满足m_min<m_med<m_max，或者255<m_med＝0,则说明m_med也是个被污染的像素点，这种情况下就用与m(x,y)相邻的像素点代替m(x,y)；

(4)重复执行(1)到(3)步骤至整幅图像像素矩阵处理完毕。

所述背景建模与更新单元采用如下的方法对图像数据进行背景建模和更新：

(1)背景建模

①对每一帧图像的每一个像素点建立像素点模型

$B_{t_0}(x,y)=\left(m_{t_1}\right(x,y),m_{t_2}(x,y),...,m_{t_N}(x,y\left)\right)$

其中：t₀代表当前建模图像的时刻，表示(x,y)在t₁时刻的像素值，表示(x,y)在t_N时刻的像素值，表示t时刻(x,y)像素点的模型，一帧图像的背景模型就是所有像素点的背景模型；

②对当前帧的像素点进行前景背景分类

S_r(m_t(x,y))＝{m|EuclidDis(m,m_t(x,y))＜r}

其中：t为当前时刻，m_t(x,y)为(x,y)点位置t时刻的像素值，S_r(m_t(x,y))为颜色空间中与m_t(x,y)欧几里德距离小于r的像素点集合；

③对S_r(m_t(x,y))和(x,y)点背景模型取交集的势

$count=\#\{S_r\left(m_t\left(x,y\right)\right)\&cap;B_{t_0}\left(x,y\right)\}$

利用如下公式对像素点进行分类

其中：T为根据实验所确定的阈值，该值可以根据检测的场景不同做出调整；

(2)背景更新

若m_t(x,y)被判定为背景像素点，系统执行一个随机函数来判定这个背景像素点是否被用来更新背景模型，如果判定为要更新，则系统用该点像素值m_t(x,y)，随机的去替换背景模型中的某一个元素；还要考虑该像素点的邻域N_t(x,y)，由于图像中相临近位置的像素点在颜色空间中具有相关性，因此其邻域像素也能为背景像素，因此，使用该点像素值m_t(x,y)来更新邻域N_t(x,y)内随机某位置(x_i,y_i)像素点的背景模型B_t(x_i,y_i)，达到将突然停止运动并静止的运动目标去除，以免被检测为前景目标；

(4)对检测到的前景目标运动区域，先进行一次开运算，再进行一次闭运算，以去除前景目标运动区域中的空洞。

所述疑似火焰区域提取单元采用的颜色模型规则基于RGB空间，具体包括：

规则1：R≥B,G≥B，R≥B

规则2：R≥R_t

规则3：S≥(255-R)×S_t/R_t

规则4：R≥R_ad，G≥G_ad或T₁≥ad₁,T₂≥ad₂

式中：R、G、B是火焰红、绿、蓝颜色分量，R_t为像素点的红色分量阈值，S为像素点的饱和度，S_t为像素点的饱和度阈值，R_ad，G_ad是改进后的火焰的红色分量和绿色分量的阈值，ad₁，ad₂分别为T₁，T₂的阈值，T₁＝|G-R|,T₂＝|B-G|，R_t∈[116,136]，S_t∈[46,63]，R_ad∈[233,250]，G_ad∈[233,250]，ad₁∈[12,32]，ad₂∈[12,32]。

所述火焰特征提取单元，提取火焰的静态特征和动态特征，所述火焰的静态特征包括圆形度、尖角数和颜色一阶矩，所述火焰的动态特征包括火焰的形体变化、面积增长率，具体的按照如下方法进行特征提取：

(1)圆形度

圆形度表示物体边缘与圆的相似程度，是物体边缘轮廓复杂程度的一种度量，物体a的圆形度值C_a计算公式如下：

$C_a=\frac{{L_a}^2}{4\mathrm{\&pi;}\&times;S_a}$

式中：S_a为物体a所在区域面积，L_a为物体a所在区域周长，即区域边界的长度；

C_a的最小值取1，物体a边缘越复杂，C_a的取值越高，与火焰颜色相近的干扰物(车灯、路灯等物体)边缘复杂度不高，C_a≈1，而火焰燃烧时边缘较为复杂，C_a≧1；

(2)尖角数

对于火焰尖角来说，突出的特征就是顶点，顶点就是提取的边缘曲线的局部极值点，这里用于尖角顶点的判定条件如下：

①尖角(很尖或者广义上的平角)必须是顶点，即该点上方没有目标黑点，尖角的形状大体上呈不规则三角形，尖角左右两边的夹角应满足一定条件，尖角的狭长通过下式来控制

$L=\frac{F\left(n\right)}{F(n-1)}$

式中：F(n)为尖角中某一行的像素点数，F(n-1)为上一行的像素点，L为尖角的狭长；

②对尖角的宽度和高度也有限制，尖角的宽度也应该有一个最大值W_max，高度也应该有一个最小值H_min，采用如下公式来判断尖角是火焰的尖角还是由于毛刺、噪声产生的尖角：

$G=\frac{S_j}{S_h}\&times;100\%$

式中：S_h为火焰面积，S_j为尖角面积，G为二者的比值；

若G≈1％时，此时的尖角大部分都是火焰尖角，若G＜1％时，尖角大部分是由于毛刺和噪声引起的尖角；

(3)火焰的形体变化

火焰的形体变化是指在燃烧过程中，由于气流的运动或火焰本身的闪烁，火焰的位置和形状的不断变化，但是在连续的视频帧中火焰在形状上比较接近；因此，将火焰连续图像的这种形状相似特性作为判断火焰的一种判据

${\mathrm{\&zeta;}}_i=\frac{\underset{(x,y)\&Element;\mathrm{\&Theta;}}{\&Sigma;}\stackrel{\&OverBar;}{g}(x,y)\&cap;\stackrel{\&OverBar;}{g_{i+1}}(x,y)}{\underset{(x,y)\&Element;\mathrm{\&Theta;}}{\&Sigma;}\stackrel{\&OverBar;}{g}(x,y)\&cup;\stackrel{\&OverBar;}{g_{i+1}}(x,y)},i=1,2,...,n$

式中：ζ_i表示连续帧图像形体变化的相似度，表示二值化后的火灾图像序列，Θ表示第i帧图像中的目标区域，并以连续5帧图像火焰疑似目标的形体相似度ζ_i的平均值作为识别火焰的一个判据；

由于火焰的位置和面积不可能是完全不变的，所以定义阈值T₁,T₂(T₁＜T₂)，当时，即认为待识别物体是快速运动的亮点，当时，可认为有固定光源存在，当时可认为该区域为火焰区域；

(4)面积增长率

火灾在发生初期一个非常显著的特征就是蔓延，具体表现就是面积的增长，因此，根据相邻帧的同一疑似火焰区域的面积是否发生变化来作为判别火焰的一个依据，依据计算公式如下：

$I_j=\frac{S{\left(Z_j\right)}_t-S{\left(Z_j\right)}_{t_0}}{t-t_0}$

式中：I_j表示面积增长率，S为面积，Z_j为可疑区域，t和t₀表示时刻；

(5)颜色一阶矩

火焰的颜色分布以一般的发光物体的颜色分布是不一样的，表现为焰心从内到外逐步由白色变为红色，一次可将颜色分布作为区分火焰和干扰物体的特征之一，通常使用颜色矩来计算颜色的分布，颜色矩以数字方法为基础，在RGB空间中计算，由于颜色信息主要集中在低阶矩，因此本文选用颜色一阶矩来表达图像的颜色分布，其中计算公式为：

${\mathrm{\&mu;}}_i=\frac{1}{N}{\mathrm{\&Sigma;}}_{j=1}^N{p}_{ij}$

其中，μ_i为面积增长率，N为图像的帧数，p_ij为第i,j帧图像，本文取连续6帧。

依据图3所示，实现BP神经网络。BP神经网络的实现分为三个部分，即BP神经网络构建、BP神经网络训练、BP神经网络预测。

(1)构建合适的BP神经网络要确定BP神经网络的输入节点数、隐层节点数和输出节点数。本发明BP神经网络的输入就是提取出来的火焰的静态特征和动态特征，即圆形度、尖角数、颜色一阶矩、火焰的形体变化和面积增长率作为输入信号input入BP神经网络

(2)采用如下公式确定BP神经网络隐层节点数

$N_h=\frac{\frac{1}{2}{N}_o\&times;N_i^2+\frac{3}{2}{N}_o\&times;N_i-1}{N_o+N_i}$

其中，N_i，N_o，N_h分别表示输入层、输出层和隐层的节点数；若计算结果中含有小数，则“加1取整”；

(3)对神经网络输出信号output进行归一化处理，使其值介于0～1之间，根据输出值可将视频分为如下三种状态：

1)当output∈[0,0.3)时，表示正常状况；

2)当output∈(0.3,0.8]时，表示有可疑火灾出现；

3)当output∈(0.8,1]时，表示有火灾出现；

(4)测试样本和训练样本。本发明选取的测试样本和训练样本均分为火灾样本、干扰样本和正常样本三种状态；干扰样本包括汽车前灯、尾灯、晃动的手电筒光、蜡烛火焰、运动的红色的汽车，火灾样本的获取通过拍摄汽油、废旧报纸燃烧过程、网络获得，正常样本的视频通过现场拍摄和网络获得。

火灾报警模块根据输出结果和预先实验所得阈值进行比较，若判断为视频图像中存在火焰，火灾报警模块就会发出报警。

Claims (10)

1.一种基于视频图像处理的火灾检测系统，其特征在于：依次由视频输入单元，视频预处理单元和视频输出单元组成的视频采集模块；由背景建模和更新单元，前景运动目标检测单元组成的火灾检测模块；由疑似火焰区域检测单元，火焰特征提取单元组成的火灾分析模块；火灾判断模块和火灾报警模块连接而成。

2.根据权利要求1所述系统的一种基于视频图像处理的火灾检测方法，其特征在于，该方法包括以下步骤：

1)视频采集模块采集摄像头覆盖区域内的视频图像；

2)火灾检测模块对视频图像进行背景建模和背景更新，并进行前景运动目标的检测；

3)火灾分析模块对视频图像进行分析找出疑似火焰区域，并提取出疑似火焰的静态特征和动态特征；

4)火灾判断模块把火灾分析模块提取出来的火焰静态特征和动态特征作为BP神经网络的输入，判断是否有火焰存在于视频中；

5)火灾报警模块会根据火灾判断模块输出结果判断是否发出报警。

3.根据权利要求2所述的一种基于视频图像处理的火灾检测方法，其特征在于，所述视频采集模块，包括：视频输入单元，视频预处理单元和视频输出单元；视频输入单元通过摄像头捕获视频序列，把视频序列输入到视频预处理单元进行预处理操作，然后把预处理后的视频序列通过视频输出单元送给火灾检测模块。

4.根据权利要求2所述的一种基于视频图像处理的火灾检测方法，其特征在于，所述火灾检测模块，包括：背景建模和更新单元，前景运动目标检测单元；背景建模和更新单元接收到来自视频采集模块送过来的视频，对每一帧图像进行背景建模，对连续视频帧进行背景更新，再经过前景运动目标检测单元检测出前景运动目标，然后把数据移交火灾分析模块。

5.根据权利要求2所述的一种基于视频图像处理的火灾检测方法，其特征在于，所述火灾分析模块，包括：疑似火焰区域检测单元，火焰特征提取单元；疑似火焰区域检测单元利用颜色模型规则提取疑似火焰区域，提取出疑似火焰区域以后再经火焰特征提取单元提取火焰相应的静态特征和动态特征，把提取的静态特征和动态特征输入进所述火灾判断单元进行综合判断，然后把输出结果送给所述火灾报警模块。

6.根据权利要求3所述的一种基于视频图像处理的火灾检测方法，其特征在于，所述视频预处理单元采用如下方法对采集到的视频图像进行滤波，去除图像中的噪声干扰：

采用一个3×3的滑动窗口对图像像素矩阵按照下列步骤进行处理：

(1)选定一个二维的3×3的窗口M_xy，假设要处理的像素为m(x,y)；

(2)窗口内的像素值矩阵按行从左到右升序，列从上到下升序，左对角线从左上到右下升序排列；排好顺序以后，得到左上角的像素值记为m_min，右下角的像素值记为m_max，正中央的像素值记为m_med；

(3)这样排列会出现三种情况：

①如果m_min<m(x,y)<m_max,m_min≥0,m_max≤255，说明m(x,y)是没有被噪声污染的像素点，不用改变；否则，说明m(x,y)是一个被污染的像素；

②若m(x,y)是一个被污染的像素点，若m_min<m_med<m_max，0<m_med<255,则用m_med替换m(x,y)；

③如果不满足m_min<m_med<m_max，或者255<m_med＝0,则说明m_med也是个被污染的像素点，

这种情况下就用与m(x,y)相邻的像素点代替m(x,y)；

(4)重复执行(1)到(3)步骤至整幅图像像素矩阵处理完毕。

7.根据权利要求4所述的一种基于视频图像处理的火灾检测方法，其特征在于，所述背景建模与更新单元采用如下的方法对图像数据进行背景建模和更新：

(1)背景建模

①对每一帧图像的每一个像素点建立像素点模型

$B_{t_0}(x,y)=\left(m_{t_1}\right(x,y),m_{t_2}(x,y),...,m_{t_N}(x,y\left)\right)$

其中：t₀代表当前建模图像的时刻，表示(x,y)在t₁时刻的像素值，表示(x,y)在t_N时刻的像素值，表示t时刻(x,y)像素点的模型，一帧图像的背景模型就是所有像素点的背景模型；

②对当前帧的像素点进行前景背景分类

S_r(m_t(x,y))＝{m|EuclidDis(m,m_t(x,y))＜r}

其中：t为当前时刻，m_t(x,y)为(x,y)点位置t时刻的像素值，S_r(m_t(x,y))为颜色空间中与m_t(x,y)欧几里德距离小于r的像素点集合；

③对S_r(m_t(x,y))和(x,y)点背景模型取交集的势

$count=\#\{S_r\left(m_t\right(x,y\left)\right)\&cap;B_{t_0}(x,y)\}$

利用如下公式对像素点进行分类

其中：T为根据实验所确定的阈值，该值可以根据检测的场景不同做出调整；

(2)背景更新

若m_t(x,y)被判定为背景像素点，系统执行一个随机函数来判定这个背景像素点是否被用来更新背景模型，如果判定为要更新，则系统用该点像素值m_t(x,y)，随机的去替换背景模型中的某一个元素；还要考虑该像素点的邻域N_t(x,y)，由于图像中相临近位置的像素点在颜色空间中具有相关性，因此其邻域像素也能为背景像素，因此，使用该点像素值m_t(x,y)来更新邻域N_t(x,y)内随机某位置(x_i,y_i)像素点的背景模型B_t(x_i,y_i)，达到将突然停止运动并静止的运动目标去除，以免被检测为前景目标；

(4)对检测到的前景目标运动区域，先进行一次开运算，再进行一次闭运算，以去除前景目标运动区域中的空洞。

8.根据权利要求5所述的一种基于视频图像处理的火灾检测方法，其特征在于，所述疑似火焰区域提取单元采用的颜色模型规则基于RGB空间，具体包括：

规则1：R≥B,G≥B，R≥B

规则2：R≥R_t

规则3：S≥(255-R)×S_t/R_t

规则4：R≥R_ad，G≥G_ad或T₁≥ad₁,T₂≥ad₂

式中：R、G、B是火焰红、绿、蓝颜色分量，R_t为像素点的红色分量阈值，S为像素点的饱和度，S_t为像素点的饱和度阈值，R_ad，G_ad是改进后的火焰的红色分量和绿色分量的阈值，ad₁，ad₂分别为T₁，T₂的阈值，T₁＝|G-R|,T₂＝|B-G|，R_t∈[116,136]，S_t∈[46,63]，R_ad∈[233,250]，G_ad∈[233,250]，ad₁∈[12,32]，ad₂∈[12,32]。

9.根据权利要求5所述的一种基于视频图像处理的火灾检测方法，其特征在于，所述火焰特征提取单元，提取火焰的静态特征和动态特征，所述火焰的静态特征包括圆形度、尖角数和颜色一阶矩，所述火焰的动态特征包括火焰的形体变化、面积增长率，具体的按照如下方法进行特征提取：

(1)圆形度

圆形度表示物体边缘与圆的相似程度，是物体边缘轮廓复杂程度的一种度量，物体a的圆形度值C_a计算公式如下：

$C_a=\frac{{L_a}^2}{4\mathrm{\&pi;}\&times;S_a}$

式中：S_a为物体a所在区域面积，L_a为物体a所在区域周长，即区域边界的长度；

C_a的最小值取1，物体a边缘越复杂，C_a的取值越高，与火焰颜色相近的干扰物边缘复杂度不高，C_a≈1，而火焰燃烧时边缘较为复杂，C_a≧1；

(2)尖角数

对于火焰尖角来说，突出的特征就是顶点，顶点就是提取的边缘曲线的局部极值点，这里用于尖角顶点的判定条件如下：

①尖角必须是顶点，即该点上方没有目标黑点，尖角的形状大体上呈不规则三角形，尖角左右两边的夹角应满足一定条件，尖角的狭长通过下式来控制

$L=\frac{F\left(n\right)}{F(n-1)}$

式中：F(n)为尖角中某一行的像素点数，F(n-1)为上一行的像素点，L为尖角的狭长；

②对尖角的宽度和高度也有限制，尖角的宽度也应该有一个最大值W_max，高度也应该有一个最小值H_min，采用如下公式来判断尖角是火焰的尖角还是由于毛刺、噪声产生的尖角：

$G=\frac{S_j}{S_h}\&times;100\%$

式中：S_h为火焰面积，S_j为尖角面积，G为二者的比值；

若G≈1％时，此时的尖角大部分都是火焰尖角，若G＜1％时，尖角大部分是由于毛刺和噪声引起的尖角；

(3)火焰的形体变化

火焰的形体变化是指在燃烧过程中，由于气流的运动或火焰本身的闪烁，火焰的位置和形状的不断变化，但是在连续的视频帧中火焰在形状上比较接近；因此，将火焰连续图像的这种形状相似特性作为判断火焰的一种判据

${\mathrm{\&zeta;}}_i=\frac{\underset{\left(x,y\right)\&Element;\mathrm{\&Theta;}}{\mathrm{\&Sigma;}}\stackrel{\&OverBar;}{g}\left(x,y\right)\&cap;\stackrel{-}{g_{i+1}}\left(x,y\right)}{\underset{\left(x,y\right)\&Element;\mathrm{\&Theta;}}{\mathrm{\&Sigma;}}\stackrel{\&OverBar;}{g}\left(x,y\right)\&cup;\stackrel{-}{g_{i+1}}\left(x,y\right)},i=1,2,...,n$

式中：ζ_i表示连续帧图像形体变化的相似度，表示二值化后的火灾图像序列，Θ表示第i帧图像中的目标区域，并以连续5帧图像火焰疑似目标的形体相似度ζ_i的平均值作为识别火焰的一个判据；

由于火焰的位置和面积不可能是完全不变的，所以定义阈值T₁,T₂(T₁＜T₂)，当时，即认为待识别物体是快速运动的亮点，当时，可认为有固定光源存在，当时可认为该区域为火焰区域；

(4)面积增长率

火灾在发生初期一个非常显著的特征就是蔓延，具体表现就是面积的增长，因此，根据相邻帧的同一疑似火焰区域的面积是否发生变化来作为判别火焰的一个依据，依据计算公式如下：

$I_j=\frac{S{\left(Z_j\right)}_t-S{\left(Z_j\right)}_{t_0}}{t-t_0}$

式中：I_j表示面积增长率，S为面积，Z_j为可疑区域，t和t₀表示时刻；

(5)颜色一阶矩

火焰的颜色分布以一般的发光物体的颜色分布是不一样的，表现为焰心从内到外逐步由白色变为红色，一次可将颜色分布作为区分火焰和干扰物体的特征之一，通常使用颜色矩来计算颜色的分布，颜色矩以数字方法为基础，在RGB空间中计算，由于颜色信息主要集中在低阶矩，因此本文选用颜色一阶矩来表达图像的颜色分布，其中计算公式为：

${\mathrm{\&mu;}}_i=\frac{1}{N}{\mathrm{\&Sigma;}}_{j=1}^N{p}_{ij}$

其中，μ_i为面积增长率，N为图像的帧数，p_ij为第i,j帧图像。

10.根据权利要求5所述的一种基于视频图像处理的火灾检测方法，其特征在于，所述火灾判断模块判断火焰是否存在的步骤具体包括：

把火灾分析模块提取出的特征输入进BP神经网络进行综合判断，其步骤如下：

(1)把火灾分析模块中提取到的火焰的静态特征和动态特征共5个特征参数作为输入信号input输入进BP神经网络；

(2)采用如下公式确定BP神经网络隐层节点数

$N_h=\frac{\frac{1}{2}{N}_o\&times;N_i^2+\frac{3}{2}{N}_o\&times;N_i-1}{N_o+N_i}$

其中，N_i，N_o，N_h分别表示输入层、输出层和隐层的节点数；若计算结果中含有小数，则“加1取整”；

(3)对神经网络输出信号output进行归一化处理，使其值介于0～1之间，根据输出值可将视频分为如下三种状态：

1)当output∈[0,0.3)时，表示正常状况；

2)当output∈(0.3,0.8]时，表示有可疑火灾出现；

3)当output∈(0.8,1]时，表示有火灾出现；

(4)测试样本和训练样本

选取的测试样本和训练样本均分为火灾样本、干扰样本和正常样本三种状态；干扰样本包括汽车前灯、尾灯、晃动的手电筒光、蜡烛火焰、运动的红色的汽车，火灾样本的获取通过拍摄汽油、废旧报纸燃烧过程、网络获得，正常样本的视频通过现场拍摄和网络获得。