CN101441712A

CN101441712A - 一种火焰的视频识别方法和一种火灾监控方法及其系统

Info

Publication number: CN101441712A
Application number: CNA2008102405702A
Authority: CN
Inventors: 谌安军
Original assignee: Vimicro Corp
Current assignee: Mid Star Technology Ltd By Share Ltd
Priority date: 2008-12-25
Filing date: 2008-12-25
Publication date: 2009-05-27
Anticipated expiration: 2028-12-25
Also published as: CN101441712B

Abstract

本发明披露了一种火焰的视频识别方法和一种火灾监控方法及其系统。该火灾监控方法包括如下步骤：获取视频图像，建立背景模型，检测视频图像中的前景目标；把所述前景目标的图像传送到服务器端；在服务器端，依据通过训练图像建立的火焰颜色模型，判断所述前景目标的哪些目标点为火焰颜色点；对前景目标的所述火焰颜色点进行聚类分析，得到前景目标的火焰区域，对前后帧图像的火焰区域加以匹配，当匹配关系超过设定阈值时，判定所述火焰区域有火焰产生；当判定所述火焰区域有火焰产生时，进行报警验证机制的验证，当满足报警条件时，进行报警。本发明不局限场景的远近，适用范围更加广泛；同时，实现了智能化处理。

Description

一种火焰的视频识别方法和一种火灾监控方法及其系统

技术领域

本发明涉及一种火焰的视频识别方法和一种火灾监控方法及其系统。

背景技术

随着社会生产的发展，大型的厂房、商业场馆、娱乐场所和办公场所等都需要对场所的安全进行监控，尤其是火灾，其带来损失尤为巨大。因此对重点防火场所或区域进行火灾的监控意义重大。

现有的火灾报警系统大都采用点式采样传感器。这些现场级的近距离传感器和专业光电设备在可操作性、可靠性、检测率、场地适用性、成本费用及通用性等方面存在不同的局限。特别是对于大面积、区域开放的场景，传感器距离场景都较远，传统的火灾报警系统都无能为力。

有些基于视频的火灾报警系统，无非是在原有传统系统上增加了视频传输这一技术，并没有实现视频的智能分析。

发明内容

有鉴于此，本发明的目的在于克服传统火灾报警系统对于大面积、开放区域场景无法有效报警的缺陷，提供了一种全新的智能化火焰的视频识别方法和火灾监控方法及其系统。

根据本发明的第一方面，提供了一种火焰的视频识别方法，包括以下步骤：

步骤1：检测视频图像中的前景目标；

步骤2：依据火焰颜色模型，判断所述前景目标的哪些目标点为火焰颜色点，其中，所述火焰颜色模型通过训练图像而建立；

步骤3：对前景目标的所述火焰颜色点进行聚类分析，得到前景目标的火焰区域；

步骤4：对前后帧图像的火焰区域进行匹配，当匹配关系超过设定阈值时，判定所述火焰区域有火焰产生。

根据本发明的第二方面，提供了一种火灾监控方法，包括如下步骤：

步骤a：获取视频图像，建立背景模型，检测视频图像中的前景目标；

步骤b：把所述前景目标的图像传送到服务器端；

步骤c：在服务器端，依据通过训练图像建立的火焰颜色模型，判断所述前景目标的哪些目标点为火焰颜色点；

步骤d：对前景目标的所述火焰颜色点进行聚类分析，得到前景目标的火焰区域，对前后帧图像的火焰区域加以匹配，当匹配关系超过设定阈值时，判定所述火焰区域有火焰产生；

步骤e：当判定所述火焰区域有火焰产生时，进行报警验证机制的验证，当满足报警条件时，进行报警。

根据本发明的第三方面，提供了一种火灾监控系统，包括：

摄像头，获取监控区域的视频图像；

数据处理板，基于摄像头获取的视频图像建立背景模型，检测视频图像中的前景目标；

网络传输单元，把数据处理板检测到前景目标的图像传送到火焰识别单元；

火焰识别单元，依据通过训练图像建立的火焰颜色模型，判断所述网络传输单元传送来的前景目标的哪些目标点为火焰颜色点，并对前景目标的所述火焰颜色点进行聚类分析，得到前景目标的火焰区域，以及，对前后帧图像的火焰区域加以匹配，当匹配关系超过设定阈值时，判定所述火焰区域有火焰产生；

火灾报警单元，当火焰识别单元判定有火焰产生时，进行报警验证机制的验证，当满足报警条件时，进行报警。

本发明的火焰的视频识别方法和火灾监控方法及其系统，不局限场景的远近，适用范围更加广泛；同时，实现了智能化，把人从监控工作中解放出来；再之，对于现有监控系统而言具有较大的可移植性，便于对现有系统进行更新或改造。

附图说明

下面将参照附图对本发明的具体实施方案进行更详细的说明，其中：

图1是本发明的系统结构图；

图2是本发明一个实施例的系统结构图；

图3是本发明的数据处理板处理流程图；

图4是本发明的火焰颜色模型建立流程图；以及

图5是本发明的火焰识别流程图。

具体实施方式

为了实现火灾监控的智能化，本发明提供了一种火焰的视频识别方法和一种火灾监控方法及其系统。接下来将具体说明该方法及其系统。

图1示出本发明的系统结构图。如图1所示，本发明火灾监控系统包括摄像头100，数据处理板102，网络传输单元104，火焰识别单元106和火灾报警单元108。

摄像头100获取监控区域的视频图像。

数据处理板102基于摄像头获取的视频图像建立背景模型，检测视频图像中的前景目标。

网络传输单元104把数据处理板102检测到前景目标的图像传送到火焰识别单元106。

火焰识别单元106依据通过训练图像建立的火焰颜色模型，判断所述网络传输单元104传送来的前景目标的哪些目标点为火焰颜色点，并对前景目标的所述火焰颜色点进行聚类分析，得到前景目标的火焰区域，以及，对前后帧图像的火焰区域加以匹配，当匹配关系超过设定阈值时，判定所述火焰区域有火焰产生。

火灾报警单元108用于当火焰识别单元106判定有火焰产生时，进行报警验证机制的验证，当满足报警条件时，进行报警。

在一个实施例中，所述火灾监控系统还包括视频录像单元110，在火灾报警单元108进行报警的同时，启动视频录像，对火灾的现场进行记录。

在一个实施例中，所述火焰识别单元106、火灾报警单元108以及视频录像单元110均处于服务器端。

在一个实施例中，所述数据处理板102处于摄像头100的装置内部。

在一个实施例中，所述摄像头100为网络摄像头，即处在网络中，拥有独立的网络地址，网络传输单元104也设置在摄像头装置的内部。

图2示出本发明一个实施例的系统结构图。如图2所示，火灾监控系统包括网络传输单元204、火焰识别单元206和火灾报警单元208，以及多个摄像头和数据处理板，分别为摄像头1和数据处理板1到摄像头N和数据处理板N。

摄像头1—N分别获取不同监控区域的视频图像。

数据处理板1—N基于摄像头1—N获取的不同视频图像各自建立背景模型，检测视频图像中的前景目标。

网络传输单元204把数据处理板1—N检测到前景目标的图像分别传送到火焰识别单元206。

火焰识别单元206据通过训练图像建立的火焰颜色模型，分别判断所述网络传输单元204传送来的1—N前景目标的哪些目标点为火焰颜色点，并对各个前景目标的所述火焰颜色点进行聚类分析，得到各个前景目标的火焰区域，以及，对各个前景目标的前后帧图像的火焰区域加以匹配，当匹配关系超过设定阈值时，判定所述火焰区域有火焰产生。

火灾报警单元208当火焰识别单元206判定1—N路监控中有火焰产生时，进行报警验证机制的验证，任何一路监控中当满足报警条件时，进行报警。

在一个实施例中，所述火灾监控系统还包括视频录像单元210，在火灾报警单元208进行报警的同时，启动视频录像，对火灾的现场进行记录。

图3示出本发明的数据处理板处理流程图。如图3所示，步骤300开始，步骤302中，布局各摄像头全面监控需要检测的场景。

步骤304中，初始化数据处理板，准备进行各种数值计算；并在步骤306中，输入M帧图像作为初始背景估计的参考图象。

步骤308和309中，分别建立基于M帧图像的慢背景模型和快背景模型，然后分两路在步骤310和步骤312中，生成慢背景图像和快背景图像。

慢背景模型和快背景模型建立后都维持M帧图像的数据量，根据更新的规则更新其中的图像。慢背景图像和快背景图像的生成主要依据慢背景模型和快背景模型。

接着，在步骤314中，输入图像的像素点信息，分别与快慢背景图像相减，得到基于快慢背景的差分图像；步骤316中，对基于快慢背景的差分图像进行融合。

在步骤318中，对融合的结果进行整合处理，得到前景图像。

再接着，步骤320中，对前景图像进行去噪声处理，得到前景目标图像。

当生成场景背景图像，计算输入图像的每个像素点与背景的像素点相减，得到差分图像，采用背景相减法得到前景图像。这样得到的前景点还是会受到噪声的干扰，需要进行后处理。这里采用形态学滤波中先腐蚀后膨胀的处理方法，去掉由于噪声带来影响。

然后在步骤322中，输出前景目标图像，并进行网络传输。

直到监控工作停止，在步骤324中，结束整个数据处理板的处理流程。

针对慢背景模型和快背景模型，做如下补充说明：

【慢背景模型】

输入前M帧图像作为初始背景估计的参考图象，利用这M帧图象建立慢背景模型。假设x₁，x₂，…，x_M是图像中的某个像素点的像素值x_t的一组观察值样本。利用这些样本，采用中值滤波法计算出t时刻任何一个像素点的背景像素估计值：

B (x_{t}) = \underset{i}{median} (x_{i})

整合这些背景像素估计值，就会生成慢背景的图像。

一般的模型更新方法是采用FIF0先进先出的策略，用最新的像素来更新最老的像素，这样更新的策略会带来一些异常因素的影响。这里采用的是相关性最新的更新策略，对已有像素进行排序，对于排序后距离中值最远，也即对背景像素相关度最差的像素为要被替代的像素。用替代后的像素重新组成M帧图象更新慢背景模型。

相关性最新的更新策略的主要思路为：

列表1如上，以上列表是针对每一个像素点。

当有新数据进来时，首先对0~10的数据进行排序，然后按照数据的大小顺序对其重新排序，因为在初始计算时0~9的数据已经是排序后的结果了，所以只要将10插入相应位置即可，结果如下列表2：

对于以上结果，将采用5为输出结果，同时将数据0要丢弃，保留9，8，7，6，10，5，4，3，2，1作为下一次更新的已有数据结果，即如列表1所示：9，8，7，6，10，5，4，3，2，1将分别针对9，8，7，6，5，4，3，2，1，0。

【快背景模型】

输入前M帧图像作为初始背景估计的参考图象，利用这M帧图象建立快背景模型。假设x₁，x₂，…，x_M是图像中的某个像素点的像素值x_t的一组观察值样本。利用这些样本，采用中值滤波法计算出t时刻任何一个像素点的背景像素估计值：

B (x_{t}) = \underset{i}{median} (x_{i})

整合这些背景像素估计值，主要是在寄存器中按照图像的像素点坐标位置使其连续起来，就会生成快背景的图像。

快背景模型与慢背景模型的建立是一样的，其区别在于背景更新，快背景模型的更新采用FIF0先进先出的策略，进来一帧新的图像，丢弃最老的图像，这样背景将非常快的跟上环境的快速变化。

图4示出本发明的火焰颜色模型建立流程图。如图4所示，步骤400开始，接着，在步骤402中，输入建立火焰颜色模型的训练图像。在训练图像中人为的标定其内各个像素点是否是火焰像素点。

步骤404中，将一个该训练图像从RGB空间转换到HSV空间。RGB到HSV空间的转换中，H参数表示色彩信息，即所处的光谱颜色的位置；S为纯度为一比例值，范围从0到1，它表示成所选颜色的纯度和该颜色最大的纯度之间的比率；V表示色彩的明亮程度，范围从0到1。

紧跟着，步骤406中，对所有像素点进行统计。

然后在步骤408中，连续输入一个像素点数据，在步骤410中，判断该像素点是否是火焰像素点，如果是，则进入步骤416中，在该像素点对应的HS分量处增加一个正的高斯脉冲，其中H分量和S分量可以建立一个坐标平面，所述在该像素点对应的HS分量处增加一个正的高斯脉冲就是指：在所述坐标平面的对应坐标点处在垂直于所述坐标平面的方向上增加一个正的高斯脉冲；如果不是，则进入步骤412中，在该像素点对应的HS分量处增加一个负的高斯脉冲。

接下来都要进入步骤418中，判断该图像的像素点是否都判断完毕，如果不是，则返回步骤408中，重新输入下一个像素点数据；如果是，则进入步骤420中，输入下一个图像的像素点进行判断。

在步骤422中，判断输入图像也即训练图像是否都处理完毕，如果还没有，则进入步骤424中，将下一个图像从RGB空间转换到HSV空间，然后返回步骤406，对所有像素点进行统计，并顺序执行其他步骤；如果已经输入完毕，则进入步骤426中，建立火焰颜色的模型，凡在HS坐标平面上方的点所对应的像素点都为火焰像素点，凡在HS坐标平面下方的点所对应的像素点都不是火焰像素点。

最后，进入步骤428，结束火焰颜色模型建立的进程。

需要补充说明的是，其转换实现的函数以伪码表示为：

max＝max(R，G，B)

min＝min(R，G，B)

if R＝max，H＝(G-B)/(max-min)

if G＝max，H＝2+(B-R)/(max-min)

if B＝max，H＝4+(R-G)/(max-min)

H＝H*60

ifH<0，H＝H+360

V＝max(R，G，B)

S＝(max-min)/max

图5示出本发明的火焰识别流程图。如图5所示，步骤500中开始。然后进入步骤502中，依据火焰颜色模型对传送来的图像数据进行识别。

在步骤504中，判断图像的哪些像素点为火焰颜色点。接着，在步骤506中，将备选的火焰点进行聚类分析，得到火焰区域目标。

在步骤508中，对识别分析的图像进行缓存。然后再在步骤510中，对前后两帧图像的火焰区域进行匹配的比较。

保留前一帧图像的火焰区域分析结果，将当前帧分析得到的火焰区域与前一帧的火焰区域进行相互最近距离的区域匹配。匹配的方法有很多，可以是特征点匹配，模板匹配等。该实施例采用了相对简单的相关匹配，即两个区域直接相减的绝对值，如果超过一定阈值则为判断为火焰，否则不是。

紧接着，步骤512中，判断两帧图像的火焰区域的匹配关系是否超过设定阈值。如果没有超过，返回步骤510，对后两帧图像的火焰区域进行匹配的比较；如果超过，则进入步骤514中，判定所述火焰区域有火焰产生。

然后再在步骤516中，判断是否满足报警验证机制的验证条件，如果仍不满足，则返回510，对后两帧图像的火焰区域进行匹配的进一步比较；如果满足，则进入步骤518中，判定火灾已经发生。

为了减少误报，还采用了报警验证机制，当火焰产生次数超过验证阈值时，进行火灾的报警。当验证阈值为2时，也即连续两帧都在该区域检测到了火焰就报警判断为火灾发生。

接着在步骤520中，进行报警。然后进入步骤522中结束。

需补充说明的是，上述陈述中提及的前后帧可以是指10帧以内的前后帧，包括连续的和/或不连续的前后帧。

以上对本发明的具体描述旨在说明具体实施方案的实现方式，不能理解为是对本发明的限制。本领域普通技术人员在本发明的教导下，可以在详述的实施方案的基础上做出各种变体，这些变体均应包含在本发明的构思之内。本发明所要求保护的范围仅由所述的权利要求书进行限制。

Claims

1.一种火焰的视频识别方法，包括以下步骤：

步骤1：检测视频图像中的前景目标；

2.如权利要求1所述火焰的视频识别方法，其特征在于：

所述步骤1检测图像的前景目标是通过图像和背景图像进行差分，得到前景目标，或，进一步对不同背景对应的差分图像进行融合，得到前景目标。

3.如权利要求2所述火焰的视频识别方法，其特征在于：

所述背景包括快背景和慢背景，快背景更新采用先进先出的策略，和/或，慢背景更新采用相关性最新的策略。

4.如权利要求1所述火焰的视频识别方法，其特征在于：

所述步骤1视频图像中前景目标的检测采用形态学滤波中先腐蚀后膨胀的处理去除噪声，得到前景目标的图像。

5.如权利要求1所述火焰的视频识别方法，其特征在于：

所述步骤2中建立火焰颜色模型是通过对训练图像从RGB空间转换到HSV空间，在火焰像素点像素值的H、S分量处增加一个正的高斯脉冲，凡像素值在HS平面上方的像素点均为火焰颜色点，得到火焰颜色模型。

6.如权利要求1所述火焰的视频识别方法，其特征在于：

所述步骤4中对前后帧图像的火焰区域进行匹配，匹配的方法为特征点匹配、模板匹配和最不相关性匹配中的任一种。

7.如权利要求1至6任一项所述火焰的视频识别方法，其特征在于：

所述步骤4中前后帧图像是指10帧以内的前后帧，包括连续的和/或不连续的前后帧。

8.一种火灾监控方法，包括如下步骤：

步骤b：把所述前景目标的图像传送到服务器端；

9.如权利要求8所述的火灾监控方法，其特征在于：

所述步骤e中进行报警的同时，启动视频录像，对火灾的现场进行记录。

10.如权利要求8所述的火灾监控方法，其特征在于：

所述步骤a的背景模型包括快背景模型和慢背景模型，分别生成快背景和慢背景图像，快背景模型更新采用先进先出的策略，和/或，慢背景模型更新采用相关性最新的策略。

11.如权利要求8所述的火灾监控方法，其特征在于：

所述步骤a视频图像中前景目标的检测是通过与背景图像相减，得到差分图像，然后采用形态学滤波中先腐蚀后膨胀的处理去除噪声，得到前景目标的图像。

12.如权利要求8所述的火灾监控方法，其特征在于：

所述步骤c中火焰颜色模型是通过对训练图像从RGB空间转换到HSV空间，在火焰像素点像素值的H、S分量处增加一个正的高斯脉冲，凡像素值在HS平面上方的像素点均为火焰颜色点，得到火焰颜色模型。

13.如权利要求8所述的火灾监控方法，其特征在于：

所述步骤d中对前后帧图像的火焰区域进行匹配，匹配的方法为特征点匹配、模板匹配和最不相关性匹配中的任一种。

14.如权利要求8所述的火灾监控方法，其特征在于：

所述步骤d中前后帧图像是指10帧以内的前后帧，包括连续的和/或不连续的前后帧。

15.如权利要求8至14任一项所述的火灾监控方法，其特征在于：

所述步骤e中报警验证机制，当判定前后帧图像中有火焰产生的次数超过验证阈值时，确定满足报警验证条件，认定火灾已经发生。

16.一种火灾监控系统，包括：

摄像头，获取监控区域的视频图像；

17.如权利要求16所述的火灾监控系统，还包括：

视频录像单元，在火灾报警单元进行报警的同时，启动视频录像，对火灾的现场进行记录。

18.如权利要求17所述的火灾监控系统，其特征在于：

所述火焰识别单元、火灾报警单元以及视频录像单元均处于服务器端，所述摄像头通过网络和服务器相连。

19.如权利要求16至18所述的火灾监控系统，其特征在于：

所述数据处理板处于摄像头内部。

20.如权利要求19所述的火灾监控系统，其特征在于：

所述火灾监控系统包括多个摄像头和数据处理板，同时监控不同的场景。

21.如权利要求20所述的火灾监控系统，其特征在于：

所述摄像头为网络摄像头，网络传输单元也包含在摄像头装置内部。