CN106228150B - 基于视频图像的烟雾检测方法 - Google Patents

Abstract

本发明提出一种基于视频图像的烟雾检测方法，通过对视频图像中的运动区域，从颜色、形状规则度、运动方向三个特征对运动物体进行烟雾判断，即，对输入的视频图像进行运动捕捉，获取运动区域后，分别对烟雾的颜色、形状规则度、以及运动方向三个特征对获取到的运动区域的视频图像进行烟雾匹配；最后，将匹配结果作为BP神经网络的输入层，通过BP神经网络分析法得到最终检测结果。在满足三个特征的情况下，相对于单一的特征判断方法，本方法进一步提高了烟雾判断的准确率，并增加了对蓝色烟雾的检测，可以通过对多种颜色的分析与判断，增加烟雾检测的准确率，及时地对火灾进行预警。

Description

基于视频图像的烟雾检测方法

所属技术领域

本发明属于烟雾检测技术领域，具体涉及基于视频图像的烟雾检测领域。

背景技术

火是人类文明进步的重要标志，但是，当其失去控制时，就会给社会生产和公共安全带来严重的损失。烟雾是火灾发生初期的重要标志之一，明火的出现往往意味着燃烧过程已经持续了一段时间，因此对烟雾进行检测，可以在火灾发生初期对燃烧点进行定位，为后续火灾治理工作提供相关重要信息。

基于视频图像的火灾预警系统较传统的感温、感光检测系统而言，具有三大优势：首先，基于视频图像的火灾预警系统可以在较远距离进行火灾检测，而传统的感应式检测系统，需要工作在特定的检测区域内才可以进行火灾预警；其次，随着计算机视觉的飞速发展，烟雾的基本特征可以通过视频图像处理技术得以概括，相关数据的获取成本也在逐步降低；再次，因为其不受温度、湿度等环境的影响，相对于传统的感应式火灾预警系统，基于视频图像的火灾检测系统可以应用于更广泛的场景中。

发明内容

为解决上述问题，本发明提出一种基于视频图像的烟雾检测方法，通过对视频图像中的运动区域，从颜色、形状规则度、运动方向三个特征对运动物体进行烟雾判断，即：

首先，对输入的视频图像进行运动捕捉，获取运动区域后，分别对烟雾的颜色、形状规则度、以及运动方向三个特征对获取到的运动区域的视频图像进行烟雾匹配，最后，将匹配结果进行综合分析，得到最终检测结果。具体匹配方法如下：

(1)烟雾的颜色匹配

获取的视频图像中的运动区域某点像素的RGB值为(R,G,B),对该点RGB值进行归一化处理，处理公式如下：

其中，分别为R、G、B三个颜色分量归一化处理后的新值；并对归一化处理后的值进行以下条件匹配：

B＝1-(R+G)；

其中，R₁、R₂为R归一化处理新值的最小值和最大值，G₁、G₂为G归一化处理新值的最小值和最大值。

进一步的，所述R₁取值优选为0.3137、R₂取值优选为0.3373，G₁取值优选为0.3137、G₂取值优选为0.3407。

(2)形状规则度匹配

对视频图像中的动态区域进行形状规则度分析，分析公式如下：

式中，N_s表示对视频图像中疑似烟雾区域进行检测统计到的像素总数，N_c表示对视频图像中疑似烟雾区域进行边缘检测统计到的边缘像素个数，D为形状规则度，其取值范围是 [0，1]。

(3)运动方向匹配

使用Meanshift算法对视频图像中的运动区域进行运动方向分析，采用目标模型的概率密度q_u作为判断依据，候选模型的概率密度p_u(y)作为判断对象，采用Bhattachyarya系数h(y) 来度量q_u和p_u(y)的相似度；当系数h(y)取值满足一定预设条件时，进一步通过Bhattachyarya 系数的匹配来确定烟雾运动的方向。

具体的，使用Meanshift算法对视频图像中的运动区域进行运动方向分析，将目标模型的概率密度作为判断依据，计算公式如下：

式中，x₀为选定待匹配样本，x_i为该领域内的候选样本，函数k(x)为核函数的凸函数；m 为样本数，i为候选样本的序号，x₀-x_i表示x_i相对于点x₀的偏移量，δ(x)是Kroneckerdelta 函数，用来判断目标区域中像素的颜色，在数值上是否属于目标模型的特征值；b(x_i)是灰度值索引函数，u为特征值序号，C₁为标准化常量系数，h是核函数的带宽；

对应的，候选模型的概率密度作为判断对象，计算公式如下：

式中，y₀为候选区域的中心坐标，C₂为标准化常量系数；

q_u和p_u(y)的相似度采用Bhattachyarya系数h(y)来度量，其计算方式如下：

其中，相似度h(y)的取值在0到1之间，h(y)的值越大，表示两个模型越相似；当相似度满足预设条件时，表明该候选模型为目标模型在移动若干帧/时间后的成像，由此作为运动方向的判据；否则，表明目标模板经若干帧/时间后已经消失于视频中；

然后通过Bhattachyarya系数的匹配来确定烟雾运动的方向，其计算方式如下：

D＝f(max(h(y)).i,max(h(y)).j)

式中，i,j分别代表当相似度满足预设条件时的候选模型像素点相对与目标模型像素点的相对横纵坐标。

进一步的，相似度取值h(y)同时满足公式C1和C2；

C1：h(y)＝max[h(y)],y∈(S)，

C2：

式中，S表示以目标模板为中心的对应面积区域。

进一步，当S表示以目标模板为中心，边长为L像素的近似正方形面积区域时，相对横纵坐标i,j满足以下条件，即：

D＝f(i,j)＝L*i+j-L

i∈(1,L),j∈(1,L)

式中，f(i,j)用来计算烟雾运动方向的数字编码，表示匹配数据的相对位置；其计算公式如下：

D＝f(i,j)＝L*i+j-L。

(3)综合分析

将烟雾的颜色、形状规则度、以及运动方向三个特征的匹配结果作为BP神经网络的输入层，通过BP神经网络分析法得到最终检测结果。

有效益果：

1)本发明结合了烟雾在颜色、形状规则度、运动方向三个特征对对视频图像中的运动区域进行综合分析，并可将匹配结果作为BP神经网络的输入层，通过BP神经网络分析法得到最终检测结果；在满足三个特征的情况下，相对于单一的特征判断方法，本方法进一步提高了烟雾判断的准确率，以实现火灾预警的目的。

2)相对于传统的烟雾颜色检测，本发明除了对烟雾常规颜色(黑、白、灰)的检测，还增加对蓝色的判断；由于室外火灾的主要燃烧物是植物，而植物中含有大量的矿物元素，因此当植物燃烧时，往往会有蓝色的烟雾，因此，增加对蓝色烟雾的检测，不仅可以更切实际的考虑烟雾颜色特征，还可以通过对多种颜色的分析与判断，增加烟雾检测的准确率，及时地对火灾进行预警。

附图说明

图1烟雾检测系统流程图

图2运动方向与数字编码对照图

图3烟雾原始图像1和烟雾检测结果1(绿色区域表示烟雾所在区域)

图4烟雾原始图像2和烟雾检测结果2(绿色区域表示烟雾所在区域)

具体实施方式

通常烟雾在视频图像中的主要特征包括如下几点：1)烟雾具有一定的浓度和形状；2) 烟雾的主要颜色为自然界火灾中常见的烟雾颜色；3)烟雾所处的光照强度不会发生大幅改变； 4)烟雾运动的主方向不会发生高频率的变化；5)烟雾扩散过程中无障碍物影响其自然的外形轮廓。

本发明依据烟雾的上述特征提出一种基于视频图像的烟雾检测方法，主要针对烟雾匹配 (检测)环节进行优化，结合附图1所示，即对输入的视频图像进行运动捕捉，获取运动区域后，分别对烟雾的颜色、形状规则度、以及运动方向三个特征对获取到的运动区域的视频图像进行烟雾匹配，最后，将匹配结果进行综合分析，得到最终检测结果。

具体检测方法如下：

对输入的视频图像进行运动捕捉，获取运动区域后，分别对获取到的运动区域的视频图像进行烟雾的颜色、形状规则度、以及运动方向三个特征匹配，各匹配方法如下所列：

(1)颜色匹配：

由于烟雾的颜色主要为黑、白、灰这三种颜色，而在RGB颜色空间中，这三种颜色的表示方法又极为相似：R±α＝G±α＝B±α，即，红、绿、蓝三色分量取值相同或近似，因此传统的烟雾颜色表示方法，很多会按照上述方式进行烟雾判断。但现实环境相对复杂，烟雾发生的同时，往往伴随着环境光的亮度改变，如自身火光的变化、外界复杂环境灯光的影响等，简单的颜色值分量相同或近似已经无法满足其对烟雾颜色的描述。根据上述问题，本发明对其进行一定程度的改进，具体做法如下：

设视频图像中某点像素的RGB值为(R,G,B),对该点RGB值进行归一化处理，处理方法如下：

其中，分别为R、G、B三个颜色分量归一化处理后的新值。

对归一化处理后的值进行以下条件匹配：

其中，R₁、R₂、G₁、G₂为实验统计数据，取值分别为R₁＝0.3137，R₂＝0.3373，G₁＝0.3171， G₂＝0.3407；由于R+G+B＝1，因此B＝1-(R+G)。

本发明实验素材来自14段烟雾测试视频，通过对其中8段视频进行数据分析，得到相应阈值，并用取得的数据对剩余6段视频进行验证。

统计方法为逐帧分析。通过对颜色值的持续观察与记录，对样本数据进行均值、方差计算，当方差达到最小值时，其对应的均值为本实验阈值取值的接近数据。把取得的阈值接近数据带回视频中，不断进行实验，并对阈值接近数据进行微调，当误差取值最小时，阈值接近数据为本实验中阈值的实际数据。

(2)形状规则度匹配：

自然界中，与烟雾具有相同或相近颜色的事物相对较多，如具有相似颜色的飞鸟、飘扬的旗帜、倾泻的瀑布等。单独将颜色作为烟雾的唯一判决条件，会导致较高的误检率，因此，通过对烟雾的特征进行分析，本发明还将从形状规则对以及运动方向两大方向，对烟雾进行分析。相对于颜色相近的规则动态物体，如汽车等，烟雾具有边缘不规则程度较高的特性。根据这一特点，本发明对其进行形状规则度的度量，具体方法如下：

对视频图像中的动态区域进行形状规则度分析，具体计算过程如下：

其中，s表示面积，c表示周长，D为形状规则度，其取值范围是[0,1]，其值越接近1，表明检测的物体越接近圆形，实验结果中规则度的数值就会越高；但烟雾，由于其边缘不规则程度较高，在圆形度检测中的数值较其它物体在数值上会低很多，因此可以作为判别烟雾的一种依据。

对应的，对视频图像中的动态区域进行形状规则度分析，分析公式如下：

式中，N_s表示对视频图像中疑似烟雾区域进行检测统计到的像素总数，N_c表示对视频图像中疑似烟雾区域进行边缘检测统计到的边缘像素个数，D为形状规则度，其取值范围是 [0，1]。

(3)运动方向匹配：

瀑布会在地心引力的作用下向下流动，汽车会在相应的线路上有序的前行，即使是相对灵活多变的飞鸟，也会因气流的影响，而在短时间内无法快速改变其运动方向。但是，由于存在内在热力以及外界风力的驱使，烟雾的运动方向可以做到相对高频的改变，这也就成为了烟雾检测的又一判断标准。具体方式如下：

使用Meanshift算法对视频图像中的运动区域进行运动方向分析，将目标模型的概率密度作为判断依据，计算公式如下：

式中，x₀为选定待匹配样本，x_i为该领域内的候选样本，函数k(x)为核函数的凸函数；m 为样本数，i为候选样本的序号，x₀-x_i表示x_i相对于点x₀的偏移量，δ(x)是Kroneckerdelta 函数，用来判断目标区域中像素的颜色，在数值上是否属于目标模型的特征值；b(x_i)是灰度值索引函数，u为特征值序号，C₁为标准化常量系数，h是核函数的带宽；

对应的，候选模型的概率密度作为判断对象，计算公式如下：

式中，y₀为候选区域的中心坐标，C₂为标准化常量系数；

q_u和p_u(y)的相似度采用Bhattachyarya系数h(y)来度量，其计算方式如下：

其中，相似度h(y)的取值在0到1之间，h(y)的值越大，表示两个模型越相似；当相似度满足预设条件时，表明该候选模型为目标模型在移动若干帧/时间后的成像，由此作为运动方向的判据；否则，表明目标模板经若干帧/时间后已经消失于视频中；

其中，预设条件可设置为：相似度取值h(y)同时满足公式C1和C2；

C1：h(y)＝max[h(y)],y∈(S)，

C2：

式中，S表示以目标模板为中心的对应面积区域，此处取以目标模板为中心，3像素为边长的正方形面积区域，如附图2所示；C2取经验值1/2。

进一步的，通过Bhattachyarya系数的匹配来确定烟雾运动的方向，其计算方式如下：

D＝f(max(h(y)).i,max(h(y)).j)

式中，i,j分别代表当相似度满足预设条件时的候选模型像素点相对与目标模型像素点的相对横纵坐标。

其中，为了区别与y，使用i,j来分别代表当相似度满足公式C1和C2时，对应的候选模型像素点相对与目标模型像素点的相对横纵坐标，其中，i∈(1,3)，j∈(1,3)。

其中，f(i,j)用来计算烟雾运动方向的数字编码，其计算过程如下：

D＝f(i,j)＝3×i+j-3

上式用来表示匹配数据的相对位置，D的取值与运动方向对照表如图2所示。

具体的，图2中，坐标1(135)代表相对于中心坐标5(静止)，其运动角度为135°，即左上方；坐标2(90)代表相对于中心坐标5(静止)，其运动角度为90°，即正上方；坐标3(45)代表相对于中心坐标5(静止)，其运动角度为45°，即右上方；坐标4(180) 代表相对于中心坐标5(静止)，其运动角度为180°，即正左方；坐标6(0)代表相对于中心坐标5(静止)，其运动角度为0°，即正右方；坐标7(225)代表相对于中心坐标5 (静止)，其运动角度为225°，即左下方；坐标8(275)代表相对于中心坐标5(静止)，其运动角度为275°，即正下方；坐标0(315)代表相对于中心坐标5(静止)，其运动角度为315°，即右下方。

(4)综合分析

在以上基础上，将烟雾的颜色、形状规则度及运动方向三个特征均匹配完成后，可选择 BP神经网络分析法进行综合分析，即将这三个特征的匹配结果作为BP神经网络的输入层进行综合分析，得到最终检测结果。

上述方案可在Visual Studio 2010平台下，使用Opencv运行库来实现；经过大量实验统计，验证了本方法对烟雾检测具有良好的检测率；图3和图4为基本本方法得到的烟雾检测对比图。

本发明优选实施例只是用于帮助阐述本发明，优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地利用本发明。

Claims (7)

1.一种基于视频图像的烟雾检测方法，其特征在于：对输入的视频图像进行运动捕捉，获取运动区域后，分别对烟雾的颜色、形状规则度、以及运动方向三个特征对获取到的运动区域的视频图像进行烟雾匹配，最后，将匹配结果进行综合分析，得到最终检测结果；

获取的视频图像中的运动区域某点像素的RGB值为(R,G,B)，对该点RGB值进行归一化处理，处理公式如下：

其中，分别为R、G、B三个颜色分量归一化处理后的新值；并对归一化处理后的值进行以下条件匹配：

其中，R₁、R₂为R归一化处理新值的最小值和最大值，G₁、G₂为G归一化处理新值的最小值和最大值；所述R₁取值为0.3137、R₂取值为0.3373，G₁取值为0.3137、G₂取值为0.3407。

2.根据权利要求1所述的基于视频图像的烟雾检测方法，其特征在于：对视频图像中的动态区域进行形状规则度分析，分析公式如下：

式中，N_s表示对视频图像中疑似烟雾区域进行检测统计到的像素总数，N_c表示对视频图像中疑似烟雾区域进行边缘检测统计到的边缘像素个数，D为形状规则度，其取值范围是[0，1]。

3.根据权利要求1所述的基于视频图像的烟雾检测方法，其特征在于：使用Meanshift算法对视频图像中的运动区域进行运动方向分析，采用目标模型的概率密度q_u作为判断依据，候选模型的概率密度p_u(y)作为判断对象，采用Bhattachyarya系数h(y)来度量q_u和p_u(y)的相似度；当系数h(y)取值满足一定预设条件时，进一步通过Bhattachyarya系数的匹配来确定烟雾运动的方向。

4.根据权利要求3所述的基于视频图像的烟雾检测方法，其特征在于：使用Meanshift算法对视频图像中的运动区域进行运动方向分析，将目标模型的概率密度作为判断依据，计算公式如下：

式中，x₀为选定待匹配样本，x_i为该领域内的候选样本，函数k(x)为核函数的凸函数；m为样本数，i为候选样本的序号，x₀-x_i表示x_i相对于点x₀的偏移量，δ(x)是Kronecker delta函数，用来判断目标区域中像素的颜色，在数值上是否属于目标模型的特征值；b(x_i)是灰度值索引函数，u为特征值序号，C₁为标准化常量系数，h是核函数的带宽；

对应的，候选模型的概率密度作为判断对象，计算公式如下：

式中，y₀为候选区域的中心坐标，C₂为标准化常量系数；

q_u和p_u(y)的相似度采用Bhattachyarya系数h(y)来度量，其计算方式如下：

其中，相似度h(y)的取值在0到1之间，h(y)的值越大，表示两个模型越相似；当相似度满足预设条件时，表明该候选模型为目标模型在移动若干帧或若干时间后的成像，由此作为运动方向的判据；否则，表明目标模板经若干帧或若干时间后已经消失于视频中；

然后，通过Bhattachyarya系数的匹配来确定烟雾运动的方向，其计算方式如下：

D＝f(max(h(y)).i,max(h(y)).j)

式中，i,j分别代表当相似度满足预设条件时的候选模型像素点相对与目标模型像素点的相对横纵坐标。

5.根据权利要求4所述的基于视频图像的烟雾检测方法，其特征在于：所述的预设条件是：相似度取值h(y)同时满足公式C1和C2；

C1：h(y)＝max[h(y)],y∈(S)，

式中，S表示以目标模板为中心的对应面积区域。

6.根据权利要求5所述的基于视频图像的烟雾检测方法，其特征在于：当S表示以目标模板为中心，边长为L像素的近似正方形面积区域时，相对横纵坐标i,j满足以下条件，即：

D＝f(i,j)＝L*i+j-L

i∈(1,L),j∈(1,L)

式中，f(i,j)用来计算烟雾运动方向的数字编码，表示匹配数据的相对位置。

7.根据权利要求1所述的基于视频图像的烟雾检测方法，其特征在于：将烟雾的颜色、形状规则度、以及运动方向三个特征的匹配结果作为BP神经网络的输入层，通过BP神经网络分析法得到最终检测结果。