CN107944359B - 基于视频的火焰检测方法 - Google Patents

基于视频的火焰检测方法 Download PDF

Info

Publication number
CN107944359B
CN107944359B CN201711125384.XA CN201711125384A CN107944359B CN 107944359 B CN107944359 B CN 107944359B CN 201711125384 A CN201711125384 A CN 201711125384A CN 107944359 B CN107944359 B CN 107944359B
Authority
CN
China
Prior art keywords
flame
video
color
image
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711125384.XA
Other languages
English (en)
Other versions
CN107944359A (zh
Inventor
周美兰
王元鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Clp Smart Security Polytron Technologies Inc
Original Assignee
Shenzhen Clp Smart Security Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Clp Smart Security Polytron Technologies Inc filed Critical Shenzhen Clp Smart Security Polytron Technologies Inc
Priority to CN201711125384.XA priority Critical patent/CN107944359B/zh
Publication of CN107944359A publication Critical patent/CN107944359A/zh
Application granted granted Critical
Publication of CN107944359B publication Critical patent/CN107944359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于视频的火焰检测方法，要解决的技术问题是提高火焰检测的准确率。本发明的基于视频的火焰检测方法，包括以下步骤：获得视频图像序列，图像预处理，颜色检测，火焰特征提取，AdaBoost预测。本发明与现有技术相比，根据火焰像素在RGB与YCbCr颜色空间的特征，找出视频图像中满足条件的所有候选火焰点，然后，将视频图像进行分块，计算视频块中火焰像素集颜色和亮度属性所对应的协方差矩阵，提取颜色和亮度协方差矩阵中的上三角或下三角部分作为特征向量，将获取的特征向量集作为AdaBoost分类器的输入，将特征向量输入到AdaBoost分类模型，输出为是否发生火灾的判别，可实时地检测出火灾发生情形，并能减少误报率，具有较高的准确性，鲁棒性强。

Description

基于视频的火焰检测方法
技术领域
本发明涉及一种安全监控的方法，特别是一种对火灾的检测方法。
背景技术
现有技术的火灾自动监测方法主要采用烟感传感器、温度传感器、红外探测器进行检测，有效探测距离较小，且报警后需到现场确认，不能及时发现与收集到足够的判别信息，导致造成巨大的灾难。
早期火焰检测的研究方法主要体现在火焰的颜色模型上。Chen等人根据红绿蓝RGB三通道间规律来制定出能够区分火焰像素的规则，提取火焰区域。Celik等人在亮度蓝色色度红色色度YCbCr(一种色彩空间，Y指亮度分量，Cb指蓝色色度分量，Cr指红色色度分量)颜色模型上建立一个基于规则的火焰像素分类的通用颜色模型。Marbach等人使用亮度色差YUV(Y表示亮度Luminance，UV表示色差Chrominance，是构成彩色的两个分量)颜色模型判断疑似区域是否存在火焰。上述仅使用颜色模型来检测火焰的方法在特定的环境中可获得较高的识别率，然而会将灯光、阳光、行走中穿着黄色、红色衣服的人等干扰物当成火焰，导致存在很多误检。钟取发结合运动量积量、运动方向、闪烁频率、运动程度和运动一致性等特征和反向传播BP(back propagation)神经网络(一种按照误差逆向传播算法训练的多层前馈神经网络)对火焰和烟雾进行识别。Ko等人分析火焰视频的小波特征，采用支持向量机对这些变换后的特征进行分类。这些火焰检测方法仅考虑火焰的局部特征，很容易造成误判，只适应于某些特定场景下的火焰检测。
现有技术已经有多种基于视频的火焰检测方法，但大多数方法对火焰的判断过于单一、抗干扰性低，错报率和漏报率较高，因此需要建立一个判断更全面、识别率更高和适应性更强的视频火焰检测方法。
发明内容
本发明的目的是提供一种基于视频的火焰检测方法，要解决的技术问题是提高火焰检测的准确率。
本发明采用以下技术方案：一种基于视频的火焰检测方法，包括以下步骤：
一、获得视频图像序列，实时采集监控现场的视频图像的信息，得到帕尔PAL制式含有连续视频的模拟视频信号，压缩成动态图像专家组MPEG视频格式的视频，将视频传送给智能图像处理器，智能图像处理器通过视频解码分解成视频图像序列；
二、图像预处理，对视频图像进行去噪处理，使用中值滤波方法来去除视频图像中的噪声点；
三、颜色检测，按以下步骤：
(1)将RGB颜色空间转换成YCbCr颜色空间：
式(1)中，Y是亮度分量，Cb是蓝色色度分量，Cr是红色色度分量，R、G和B分别为RGB颜色空间的红、绿、蓝通道值；
(2)在YCbCr颜色空间的图像中，图像在Y,Cb和Cr通道上的均值 和为：
式(2)中，N为图像中像素总个数，xi、yi为第i个图像点的坐标，Y(xi,yi)、Cb(xi,yi)和Cr(xi,yi)分别为第i个图像点在Y、Cb和Cr通道上的值，均值为 和
(3)满足下列所有条件的图像点为候选火焰点(火焰像素点)：
R(xi,yi)>G(xi,yi)>B(xi,yi)且R(xi,yi)>RT
Y(xi,yi)>Cb(xi,yi)
Cr(xi,yi)>Cb(xi,yi)
且且
|Cb(xi,yi)-Cr(xi,yi)|≥τ (3)
式(3)中，τ为色差阈值，RT是红色通道阈值，当τ＝40，RT＝110时，将满足式(3)的图像点称为火焰像素点；
四、火焰特征提取，将预处理后的视频图像分成大小相等的视频块，统计每个视频块中满足式(3)条件的像素点个数，为火焰像素点个数，若火焰像素点个数不少于整个视频块中总像素个数的15％，分别计算视频块中火焰像素点的颜色属性向量和亮度属性向量所对应的协方差矩阵：
(1)火焰像素点的颜色属性向量C(i,j,t)为：
C(i,j,t)＝[Y(i,j,t) Cb(i,j,t) Cr(i,j,t)] (4)
式(4)中，Y(i,j,t)，Cb(i,j,t)和Cr(i,j,t)分别为图像中第t帧、火焰像素点(i,j)的亮度分量，蓝色色度分量和红色色度分量；
火焰像素点的亮度属性向量
I(i,j,t)＝(R(i,j,t)+G(i,j,t)+B(i,j,t))/3
Ix(i,j,t)＝I(i+1,j,t)-I(i-1,j,t)
Ixx(i,j,t)＝I(i-1,j,t)-2I(i,j,t)+I(i+1,j,t)
Iy(i,j,t)＝I(i,j+1,t)-I(i,j-1,t)
Iyy(i,j,t)＝I(i,j-1,t)-2I(i,j,t)+I(i,j+1,t)
It(i,j,t)＝I(i,j,t+1)-I(i,j,t-1)
Itt(i,j,t)＝I(i,j,t-1)-2I(i,j,t)+I(i,j,t+1) (5)
式(5)中，(i,j)为火焰像素点在图像中的位置，t为火焰像素点所在预处理后的视频图像序列中的帧序号，I表示火焰像素点的亮度值，Ix和Ixx表示亮度在水平x方向上的变化值，Iy和Iyy表示亮度在垂直y方向上的变化值，It和Itt表示亮度在时间t上的变化值；
(2)火焰像素点集所组成的颜色矩阵Scolor和亮度矩阵SI分别为：
式(6)和式(7)中，Nb为当前视频块中火焰像素点个数，为火焰像素点在图像中位置，为火焰像素点在视频图像序列中的帧序号；
(3)颜色矩阵Scolor和亮度矩阵SI所对应的协方差矩阵分别为：CovC和CovI。协方差矩阵的第(a,b)个元素值为：
式(8)中，Nb为视频块中火焰像素点总个数，dk,a和dk,b分别为第k个火焰像素点的第a个和第b个属性值，矩阵Scolor或SI的第k行第a列和第b列的元素值，μa和μb分别为第a个和第b个属性的均值；
(4)将颜色协方差矩阵和亮度协方差矩阵进行归一化，提取归一化后矩阵的上三角或下三角部分作为火焰的颜色和亮度的特征向量，每一个特征向量的维数为34，34为颜色特征向量和亮度特征向量维数之和，颜色特征向量维数为(3×4)/2，亮度特征向量维数为(7×8)/2。归一化计算方法：
式(9)中，为归一化后协方差矩阵的第(r,s)个元素值，Cov(r,s)为归一化前的协方差矩阵的第(r,s)个元素值；
五、AdaBoost预测
将火焰特征向量输入到AdaBoost分类模型进行预测，若预测结果输出为1，表示当前图像块存在火焰。
本发明的方法步骤一将视频传送给智能图像处理器采用网络线缆或同轴视频电缆。
本发明的方法步骤四视频块大小为16×16×f，其中，16表示图像块在水平或垂直方向上的像素个数，16×16为图像块大小，f为帧率。
本发明的方法步骤四后进行AdaBoost训练，将由特征向量所组成的样本集，包括正、负样本，正样本为火焰特征向量，负样本为干扰物特征向量，输入到AdaBoost分类器进行训练，经训练后，得到AdaBoost分类模型；从16个图像中提取出Nfire＝592728个火焰特征向量，同时从16个干扰物视频提取出Nnon_fire＝954111个类似于火焰颜色的干扰物特征向量，从火焰特征向量集中随机挑选Nfire/3个特征向量作为正样本，类别标签为1，从干扰物特征向量集中随机挑选Nnon_fire/2个特征作为负样本，类别标签为-1，构成训练集，训练集为正、负样本的组合，未被选择的特征向量作为测试集。将训练集输入到AdaBoost分类器进行训练，得到AdaBoost分类模型。
本发明的方法训练具体过程为：
(1)初始化每个特征向量的权值wi＝1/Ns，i＝1,…,Ns，Ns为样本数；
(2)使用训练集、权值和训练集所对应的类别标签，训练一个弱分类器，根据每个样本是否正确分类来更新每个样本的权值，训练集是已知样本的类别，可根据分类器的结果与实际类别结果的比较来判断是否正确分类，权值更新过的样本集被用于训练下一个分类器，整个训练过程如此迭代地进行下去，直到达到足够小的错误率或最大迭代次数；
(3)将训练得到的弱分类器加权组合成强分类器，即AdaBoost分类模型。
本发明的方法从16个图像中提取出Nfire＝592728个火焰特征向量，同时从16个干扰物视频提取出Nnon_fire＝954111个类似于火焰颜色的干扰物特征向量，从火焰特征向量集中随机挑选Nfire/3个特征向量作为正样本，类别标签为1，从干扰物特征向量集中随机挑选Nnon_fire/2个特征作为负样本，类别标签为-1，构成训练集，训练集为正、负样本的组合，未被选择的特征向量作为测试集。
本发明的方法步骤五将火焰特征向量输入到AdaBoost分类模型进行预测，若预测结果输出为-1，表示当前图像块中不存在火焰。
本发明的方法步骤五将火焰特征向量输入到AdaBoost分类模型进行预测，预测结果输出为1，表示当前图像块存在火焰，智能图像处理器立即发生告警声响，向当地的物业管理的监控中心发出报警信息和相应的视频图像。
本发明与现有技术相比，根据火焰像素在RGB与YCbCr颜色空间的特征，找出视频图像中满足条件的所有候选火焰点，然后，将视频图像进行分块，计算视频块中火焰像素集颜色和亮度属性所对应的协方差矩阵，提取颜色和亮度协方差矩阵中的上三角或下三角部分作为特征向量，将获取的特征向量集作为AdaBoost分类器的输入，将特征向量输入到AdaBoost分类模型，输出为是否发生火灾的判别，可实时地检测出火灾发生情形，并能减少误报率，具有较高的准确性，鲁棒性强。
附图说明
图1是本发明的方法流程图。
具体实施方法
下面结合附图和实施例对本发明作进一步详细说明。本发明的基于视频的火焰检测方法，首先根据火焰像素在RGB与YCbCr颜色空间的特征，找出视频图像中满足条件的所有候选火焰点。然后，将视频图像进行分块，计算视频块中火焰像素集颜色和亮度属性所对应的协方差矩阵，提取颜色和亮度协方差矩阵中的上三角或下三角部分作为特征向量。随机选择大量正负样本作为训练集，基于自适应增强AdaBoost(Adaptive Boosting)分类器进行训练，并建立相应的分类模型。最后，计算候选火焰点视频块的特征向量，将特征向量输入AdaBoost分类模型进行预测，判断其是否为火焰。
如图1所示，本发明的基于视频的火焰检测方法，包括以下步骤：
一、获得视频图像序列
监控摄像机作为一种视频图像采集传感器，实时采集监控现场的视频图像的信息，得到帕尔PAL制式含有连续视频的模拟视频信号，压缩成动态图像专家组MPEG视频格式的视频，采用网络线缆或同轴视频电缆将视频传送给智能图像处理器，智能图像处理器将获取的视频通过视频解码分解成视频图像序列，用于视频火焰检测。
二、图像预处理
由于智能图像处理器获取到的视频图像可能会受到干扰或在传输过程中产生噪声点，因此，在颜色检测前需对视频图像进行去噪处理，使用中值滤波方法来去除视频图像中的噪声点。中值滤波的具体过程是(文献1：《数字图像处理》(第二版)第97～98页，(美)冈萨雷斯，ISBN：9787505382367，电子工业出版社)：采用一个滑动窗口在被处理的图像上按像素点逐点滑动，用窗口内所有像素值的中值来代替滑动窗口中心点的像素值，得到预处理后的视频图像(图像)。
将视频图像序列中的每幅图像进行中值滤波处理，去除图像中的噪声点，可以提高视频火焰检测的准确率。
三、颜色检测
对预处理后的视频图像进行颜色检测。在预处理后的视频图像中找出满足火焰约束条件的火焰像素点集，提取火焰特征。
颜色是火焰的一个重要特征，本步骤检测预处理后的视频图像的常规火焰颜色特征。常用颜色空间有：RGB颜色空间、色调饱和度亮度HSI(一种数字图像的模型，以色调、饱和度和亮度三种基本特征量来感知颜色，H为色调，S为饱和度，I为亮度)颜色空间和YCbCr颜色空间。
根据预处理后的视频图像的火焰所具有颜色特征，找出候选火焰像素点，按以下步骤：
(1)按现有技术(https://en.wikipedia.org/wiki/YCbCr)将RGB颜色空间转换成YCbCr颜色空间：
式(1)中，Y是亮度分量(通道)，Cb是蓝色色度分量(通道)，Cr是红色色度分量(通道)，R、G和B分别为RGB颜色空间的红、绿、蓝通道值。将RGB颜色空间转换成YCbCr颜色空间的用于检测火焰特征，火焰的亮度较大，因YCbCr能将图像中的亮度与色度分离开来。
(2)在YCbCr颜色空间的图像中，图像在Y,Cb和Cr通道上的均值 和为：
式(2)中，N为图像中像素总个数，xi、yi为第i个图像点的坐标，Y(xi,yi)、Cb(xi,yi)和Cr(xi,yi)分别为第i个图像点在Y、Cb和Cr通道上的值，均值为 和
(3)根据火焰像素在RGB和YCbCr颜色空间的特征可知(文献2：Chen,T.H.,Wu,P.H.,Chiou,Y.C.一种基于图像处理的早期火焰检测方法[C].IEEE图像处理国际会议ICIP2004，第三卷，第1707～1710页，Chen,T.H.,Wu,P.H.,Chiou,Y.C.Anearly fire-detection method based on image processing[C].Proceedings of ImageProcessing,2004.ICIP’04.2004International Conference on,vol.3.IEEE,2004.1707～1710；文献3：一种基于颜色特征的视频序列中的火焰检测方法，消防安全杂志,2009,第44(2)期，第147～158页，Celik T,Demirel H.Fire detection in video sequencesusing a generic color model[J].Fire Safety Journal,2009,44(2):147-158.)，满足下列所有条件的图像点为候选火焰点(火焰像素点)：
R(xi,yi)>G(xi,yi)>B(xi,yi)且R(xi,yi)>RT
Y(xi,yi)>Cb(xi,yi)
Cr(xi,yi)>Cb(xi,yi)
且且
|Cb(xi,yi)-Cr(xi,yi)|≥τ (3)
式(3)中，τ为色差阈值，RT是红色通道阈值。根据文献2和文献3，当τ＝40，RT＝110时，将满足式(3)的图像点称为火焰像素点，可取得比较满意的效果。
四、火焰特征提取
将预处理后的视频图像分成大小相等的视频块，每个视频块大小为16×16×f，其中，16表示图像块在水平或垂直方向上的像素个数，16×16为图像块大小，f为帧率。统计每个视频块中满足式(3)条件的像素点个数，为火焰像素点个数(火焰像素点集)，若火焰像素点个数不少于整个视频块中总像素个数的15％，分别计算视频块中火焰像素点集的颜色属性向量和亮度属性向量所对应的协方差矩阵：
(1)火焰像素点的颜色属性向量为火焰像素点分别在Y、Cb和Cr通道上的值，因图像的像素点用RGB值表达，由式(1)可将像素点的R、G、B值转换成Y、Cb、Cr值，火焰像素点的颜色属性向量C(i,j,t)为：
C(i,j,t)＝[Y(i,j,t) Cb(i,j,t) Cr(i,j,t)] (4)
式(4)中，Y(i,j,t)，Cb(i,j,t)和Cr(i,j,t)分别为图像中第t帧、火焰像素点(i,j)(i,j为像素点在图像中的位置)的亮度分量，蓝色色度分量和红色色度分量(分别在Y、Cb和Cr通道上的值)。
火焰像素点的亮度属性向量为火焰像素点的亮度值及其亮度在时间和图像中的空间位置方向上的变化值(文献4：H,Günay O,E.基于协方差矩阵的视频火焰检测方法[J].机器视觉及其应用,2012,第23(6)期，第1103～1113页，H,Günay O,E.Covariance matrix-based fire and flamedetection method in video[J].Machine Vision andApplications,2012,23(6):1103～1113.)，火焰像素点的亮度属性向量
I(i,j,t)＝(R(i,j,t)+G(i,j,t)+B(i,j,t))/3
Ix(i,j,t)＝I(i+1,j,t)-I(i-1,j,t)
Ixx(i,j,t)＝I(i-1,j,t)-2I(i,j,t)+I(i+1,j,t)
Iy(i,j,t)＝I(i,j+1,t)-I(i,j-1,t)
Iyy(i,j,t)＝I(i,j-1,t)-2I(i,j,t)+I(i,j+1,t)
It(i,j,t)＝I(i,j,t+1)-I(i,j,t-1)
Itt(i,j,t)＝I(i,j,t-1)-2I(i,j,t)+I(i,j,t+1) (5)
式(5)中，(i,j)为火焰像素点在图像中的位置，t为火焰像素点所在预处理后的视频图像序列中的帧序号，I表示火焰像素点的亮度值，Ix和Ixx表示亮度在水平x方向是的变化值，Iy和Iyy表示亮度在垂直y方向上的变化值，It和Itt表示亮度在时间t上的变化值。
(2)统计视频块中的火焰像素点个数，若火焰像素点个数不少于视频块中总像素个数的15％，火焰像素点集所组成的颜色矩阵Scolor和亮度矩阵SI分别为：
式(6)和式(7)中，Nb为当前视频块中火焰像素点个数，为火焰像素点在图像中位置，为火焰像素点在视频图像序列中的帧序号。颜色矩阵Scolor和亮度矩阵SI分别用于计算协方差矩阵。
(3)颜色矩阵Scolor和亮度矩阵SI所对应的协方差矩阵分别为：CovC和CovI。根据现有技术(https://en.wikipedia.org/wiki/Covariance_matrix)，协方差矩阵的第(a,b)个(a表示行下标，b表示列下标)元素值为：
式(8)中，Nb为视频块中火焰像素点总个数，dk,a和dk,b分别为第k个火焰像素点的第a个和第b个属性值，即矩阵Scolor或SI的第k行第a列和第b列的元素值，μa和μb分别为第a个和第b个属性的均值〔式(6)或式(7)中第a列或第b列的平均值〕，Cov(a,b)只是协方差矩阵CovC或CovI的一个值，表示协方差矩阵中第a行第b列中的值，CovC为大小是3×3的矩阵，CovI为大小是7×7的矩阵。
(4)将颜色协方差矩阵和亮度协方差矩阵进行归一化，并提取归一化后矩阵的上三角或下三角部分(因协方差矩阵是对称矩阵)作为火焰的颜色属性向量和亮度属性向量(特征向量，颜色和亮度的特征向量)。每一个特征向量的维数为34，34为颜色特征向量和亮度特征向量维数之和，颜色特征向量维数为(3×4)/2，亮度特征向量维数为(7×8)/2。归一化计算方法(文献5：H,Günay O,E.基于协方差描述子的实时野火检测方法[C].IEEE第19届欧洲信号处理会议EUSIPCO2011，第894～898页。H,Günay O,E.Real-time wildfire detection using correlation descriptors[C].Proceedings of the19thEuropean Signal Processing Conference(EUSIPCO),2011IEEEInternational Conference on.IEEE,2011:894-898.)：
式(9)中，为归一化后协方差矩阵的第(r,s)个元素值，Cov(r,s)为归一化前的协方差矩阵的第(r,s)个元素值，Cov(r,r)与Cov(s,s)为协方差矩阵对角线上的值，即第r行第r列和第s行第s列，Cov(r,s)为协方差矩阵第r行第s列元素值。
五、AdaBoost训练
自适应增强AdaBoost(Adaptive Boosting)是一种以级联方式将弱分类器提升为强分类器的学习算法。本发明所采用的AdaBoost基本思想是(https://baike.baidu.com/item/adaboost/4531273？fr＝aladdin)：针对同一个训练集训练不同的弱分类器，然后将这些弱分类器集合起来，构成一个强分类器。
将由特征向量所组成的样本集，包括正、负样本，正样本为火焰特征向量，负样本为干扰物特征向量，输入到AdaBoost分类器进行训练，经训练后，得到AdaBoost分类模型。本发明的方法从16个图像(包括室内、窒外火焰视频)中提取出Nfire＝592728个火焰特征向量，同时从16个干扰物视频(包括初升太阳类、消防车车灯、舞台灯光类、着红色或黄色衣服行人类火焰视频)提取出Nnon_fire＝954111个类似于火焰颜色的干扰物特征向量。从火焰特征向量集中随机挑选Nfire/3个特征向量作为正样本，类别标签为1，从干扰物特征向量集中随机挑选Nnon_fire/2个特征作为负样本，类别标签为-1，构成训练集。训练集为正、负样本的组合，未被选择的特征向量作为测试集。将训练集输入到AdaBoost分类器进行训练，得到AdaBoost分类模型，训练具体过程为(文献6：Freund Y.,Schapire R.一种新的Boosting算法与实验，机器学习国际会议，旧金山，1995，第148～156页。Freund Y.,SchapireR.Experiments with a new boosting algorithm.ProceedingsofInternational Conference on Machine Learning.Morgan Kauffman,San Francisco,1996:148-156)：
(1)初始化每个样本(特征向量)的权值wi＝1/Ns，i＝1,…,Ns，Ns为样本数。
(2)使用训练集、权值和训练集所对应的类别标签，训练一个弱分类器。根据每个样本是否正确分类来更新每个样本的权值，训练集是已知样本的类别，可根据分类器的结果与实际类别结果的比较来判断是否正确分类，权值更新过的样本集被用于训练下一个分类器，整个训练过程如此迭代地进行下去，直到达到足够小的错误率或最大迭代次数(设置的弱分类器个数)。
(3)将训练得到的弱分类器加权组合成强分类器即AdaBoost分类模型。误差率低的弱分类器在最终分类器中占的权重较大，否则较小。
训练后得到AdaBoost分类模型，采用测试集中的特征向量进行AdaBoost预测，根据类别判别结果与实际类别比较，评估分类器性能。
六、AdaBoost预测
将火焰特征向量输入到AdaBoost分类模型进行预测，经预测后可得到判别结果。若预测结果输出为1，则表示当前图像块存在火焰，预测结果输出为-1，表示当前图像块中不存在火焰。
七、判别结果
若判断结果为1(即存在火焰目标，发生火灾)，智能图像处理器立即发生告警声响，并向当地的物业管理的监控中心发出报警信息和相应的视频图像。
本发明基于视频的火焰检测方法可实时地检测出火灾信息，针对视频中火焰无法实现实时、精确地火焰检测问题，在分析火焰的颜色及时空域的特征上，将获取的特征向量集作为AdaBoost分类器的输入，经训练后输出AdaBoost分类模型。将特征向量输入到AdaBoost分类模型，输出为是否发生火灾的判别。可实时地检测出火灾发生情形，并能减少误报率，具有较高的准确性，鲁棒性强。

Claims (2)

1.一种基于视频的火焰检测方法，包括以下步骤：
一、获得视频图像序列，实时采集监控现场的视频图像的信息，得到帕尔PAL制式含有连续视频的模拟视频信号，压缩成动态图像专家组MPEG视频格式的视频，将视频传送给智能图像处理器，智能图像处理器通过视频解码分解成视频图像序列，所述将视频传送给智能图像处理器采用网络线缆或同轴视频电缆；
二、图像预处理，对视频图像进行去噪处理，使用中值滤波方法来去除视频图像中的噪声点；
三、颜色检测，按以下步骤：
(1)将RGB颜色空间转换成YCbCr颜色空间：
式(1)中，Y是亮度分量，Cb是蓝色色度分量，Cr是红色色度分量，R、G和B分别为RGB颜色空间的红、绿、蓝通道值；
(2)在YCbCr颜色空间的图像中，图像在Y,Cb和Cr通道上的均值和为：
式(2)中，N为图像中像素总个数，xi、yi为第i个图像点的坐标，Y(xi,yi)、Cb(xi,yi)和Cr(xi,yi)分别为第i个图像点在Y、Cb和Cr通道上的值，均值为 和
(3)满足下列所有条件的图像点为火焰像素点：
R(xi,yi)>G(xi,yi)>B(xi,yi)且R(xi,yi)>RT
Y(xi,yi)>Cb(xi,yi)
Cr(xi,yi)>Cb(xi,yi)
且且
|Cb(xi,yi)-Cr(xi,yi)|≥τ (3)
式(3)中，τ为色差阈值，RT是红色通道阈值，当τ＝40，RT＝110时，将满足式(3)的图像点称为火焰像素点；
四、火焰特征提取，将预处理后的视频图像分成大小相等的视频块，所述视频块大小为16×16×f，其中，16表示图像块在水平或垂直方向上的像素个数，16×16为图像块大小，f为帧率，统计每个视频块中满足式(3)条件的像素点个数，为火焰像素点个数，若火焰像素点个数不少于整个视频块中总像素个数的15％，分别计算视频块中火焰像素点的颜色属性向量和亮度属性向量所对应的协方差矩阵：
(1)火焰像素点的颜色属性向量C(i,j,t)为：
C(i,j,t)＝[Y(i,j,t) Cb(i,j,t) Cr(i,j,t)] (4)
式(4)中，Y(i,j,t)，Cb(i,j,t)和Cr(i,j,t)分别为图像中第t帧、火焰像素点(i,j)的亮度分量，蓝色色度分量和红色色度分量；
火焰像素点的亮度属性向量
I(i,j,t)＝(R(i,j,t)+G(i,j,t)+B(i,j,t))/3
Ix(i,j,t)＝I(i+1,j,t)-I(i-1,j,t)
Ixx(i,j,t)＝I(i-1,j,t)-2I(i,j,t)+I(i+1,j,t)
Iy(i,j,t)＝I(i,j+1,t)-I(i,j-1,t)
Iyy(i,j,t)＝I(i,j-1,t)-2I(i,j,t)+I(i,j+1,t)
It(i,j,t)＝I(i,j,t+1)-I(i,j,t-1)
Itt(i,j,t)＝I(i,j,t-1)-2I(i,j,t)+I(i,j,t+1) (5)
式(5)中，(i,j)为火焰像素点在图像中的位置，t为火焰像素点所在预处理后的视频图像序列中的帧序号，I表示火焰像素点的亮度值，Ix和Ixx表示亮度在水平x方向上的变化值，Iy和Iyy表示亮度在垂直y方向上的变化值，It和Itt表示亮度在时间t上的变化值；
(2)统计视频块中的火焰像素点个数，若火焰像素点个数不少于视频块中总像素个数的15％，火焰像素点集所组成的颜色矩阵Scolor和亮度矩阵SI分别为：
式(6)和式(7)中，Nb为当前视频块中火焰像素点个数，为火焰像素点在图像中位置，为火焰像素点在视频图像序列中的帧序号；
(3)颜色矩阵Scolor和亮度矩阵SI所对应的协方差矩阵分别为：CovC和CovI，协方差矩阵的第(a,b)个元素值为：
式(8)中，Nb为视频块中火焰像素点总个数，dk,a和dk,b分别为第k个火焰像素点的第a个和第b个属性值，矩阵Scolor或SI的第k行第a列和第b列的元素值，μa和μb分别为第a个和第b个属性的均值；
(4)将颜色协方差矩阵和亮度协方差矩阵进行归一化，提取归一化后矩阵的上三角或下三角部分作为火焰的颜色和亮度的特征向量，每一个特征向量的维数为34，34为颜色特征向量和亮度特征向量维数之和，颜色特征向量维数为(3×4)/2，亮度特征向量维数为(7×8)/2，归一化计算方法：
式(9)中，为归一化后协方差矩阵的第(r,s)个元素值，Cov(r,s)为归一化前的协方差矩阵的第(r,s)个元素值；
五、AdaBoost训练
将由特征向量所组成的样本集，包括正、负样本，正样本为火焰特征向量，负样本为干扰物特征向量，输入到AdaBoost分类器进行训练，经训练后，得到AdaBoost分类模型；从16个图像中提取出Nfire＝592728个火焰特征向量，同时从16个干扰物视频提取出Nnon_fire＝954111个类似于火焰颜色的干扰物特征向量，从火焰特征向量集中随机挑选Nfire/3个特征向量作为正样本，类别标签为1，从干扰物特征向量集中随机挑选Nnon_fire/2个特征作为负样本，类别标签为-1，构成训练集，训练集为正、负样本的组合，未被选择的特征向量作为测试集，将训练集输入到AdaBoost分类器进行训练，得到AdaBoost分类模型；
六、AdaBoost预测
将火焰特征向量输入到AdaBoost分类模型进行预测，若预测结果输出为1，表示当前图像块存在火焰；若预测结果输出为-1，表示当前图像块中不存在火焰；
七、火灾报警
若判断结果为1，智能图像处理器立即发生告警声响，向当地的物业管理的监控中心发出报警信息和相应的视频图像。
2.根据权利要求1所述的基于视频的火焰检测方法，其特征在于：所述训练具体过程为：
(1)初始化每个特征向量的权值wi＝1/Ns，i＝1,…,Ns，Ns为样本数；
(2)使用训练集、权值和训练集所对应的类别标签，训练一个弱分类器，根据每个样本是否正确分类来更新每个样本的权值，训练集是已知样本的类别，可根据分类器的结果与实际类别结果的比较来判断是否正确分类，权值更新过的样本集被用于训练下一个分类器，整个训练过程如此迭代地进行下去，直到达到足够小的错误率或最大迭代次数；
(3)将训练得到的弱分类器加权组合成强分类器，即AdaBoost分类模型。
CN201711125384.XA 2017-11-14 2017-11-14 基于视频的火焰检测方法 Active CN107944359B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711125384.XA CN107944359B (zh) 2017-11-14 2017-11-14 基于视频的火焰检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711125384.XA CN107944359B (zh) 2017-11-14 2017-11-14 基于视频的火焰检测方法

Publications (2)

Publication Number Publication Date
CN107944359A CN107944359A (zh) 2018-04-20
CN107944359B true CN107944359B (zh) 2019-11-15

Family

ID=61932151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711125384.XA Active CN107944359B (zh) 2017-11-14 2017-11-14 基于视频的火焰检测方法

Country Status (1)

Country Link
CN (1) CN107944359B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564065B (zh) * 2018-04-28 2020-02-21 广东电网有限责任公司 一种基于ssd的电缆隧道明火识别方法
CN110533872A (zh) * 2018-05-25 2019-12-03 中车株洲电力机车研究所有限公司 一种用于列车车厢的火灾预警方法
CN108898069B (zh) * 2018-06-05 2021-09-10 辽宁石油化工大学 基于多分类器融合的视频火焰检测方法
CN109165575B (zh) * 2018-08-06 2024-02-20 天津艾思科尔科技有限公司 一种基于ssd框架的烟火识别算法
CN109300110A (zh) * 2018-08-24 2019-02-01 哈尔滨理工大学 一种基于改进颜色模型的森林火灾图像检测方法
CN109101945A (zh) * 2018-08-27 2018-12-28 贵阳学院 一种交通视频监控图像中的多车牌检测方法
CN109409224B (zh) * 2018-09-21 2023-09-05 河海大学 一种自然场景火焰检测的方法
CN109872493A (zh) * 2019-01-28 2019-06-11 上海得舟信息科技有限公司 一种基于视频图像处理的火焰位置检测装置
CN109886231A (zh) * 2019-02-28 2019-06-14 重庆科技学院 一种垃圾焚烧厂火焰燃烧状态识别方法
CN110033040B (zh) * 2019-04-12 2021-05-04 华南师范大学 一种火焰识别方法、系统、介质和设备
CN110706237B (zh) * 2019-09-06 2023-06-06 上海衡道医学病理诊断中心有限公司 一种基于YCbCr色彩空间的二氨基联苯胺分离和评估方法
CN111062293B (zh) * 2019-12-10 2022-09-09 太原理工大学 一种基于深度学习的无人机森林火焰识别方法
CN111127810A (zh) * 2019-12-24 2020-05-08 新疆信息产业有限责任公司 机房明火自动告警方法及系统
CN111429434B (zh) * 2020-03-26 2024-04-16 北京金自能源科技发展有限公司 用于合金炉火焰检测的视觉识别方法
CN114067518A (zh) * 2021-10-26 2022-02-18 太原科技大学 天然气长输管道智能防火报警系统
CN115240074B (zh) * 2022-09-22 2023-08-11 山东锋士信息技术有限公司 一种基于协方差表示的高光谱图像分类方法及设备
CN116452831B (zh) * 2023-04-27 2024-06-07 中国长江三峡集团有限公司 天然气掺氢燃烧系统调整方法、装置及电子设备
CN117853935B (zh) * 2024-03-07 2024-06-11 河南胜华电缆集团有限公司 一种基于视觉分析的电缆火焰蔓延检测方法、装置和服务平台

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105225235A (zh) * 2015-09-18 2016-01-06 北京航空航天大学 一种基于多光谱特征的视频火焰检测方法
CN105788142A (zh) * 2016-05-11 2016-07-20 中国计量大学 一种基于视频图像处理的火灾检测系统及检测方法
CN106845443A (zh) * 2017-02-15 2017-06-13 福建船政交通职业学院 基于多特征融合的视频火焰检测方法
CN106952438A (zh) * 2017-04-19 2017-07-14 天津安平易视智能影像科技有限公司 一种基于视频图像的火灾预警方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105225235A (zh) * 2015-09-18 2016-01-06 北京航空航天大学 一种基于多光谱特征的视频火焰检测方法
CN105788142A (zh) * 2016-05-11 2016-07-20 中国计量大学 一种基于视频图像处理的火灾检测系统及检测方法
CN106845443A (zh) * 2017-02-15 2017-06-13 福建船政交通职业学院 基于多特征融合的视频火焰检测方法
CN106952438A (zh) * 2017-04-19 2017-07-14 天津安平易视智能影像科技有限公司 一种基于视频图像的火灾预警方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Real-time wildfire detection using correlation descriptors;Y.Hakan Habiboglu etc.;《2011 19th European Signal Processing Conference》;20150402;第895-896页 *

Also Published As

Publication number Publication date
CN107944359A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
CN107944359B (zh) 基于视频的火焰检测方法
CN110516609B (zh) 一种基于图像多特征融合的火灾视频检测及预警方法
Dedeoglu et al. Real-time fire and flame detection in video
CN106600888B (zh) 一种森林火灾自动检测方法及系统
WO2020078229A1 (zh) 目标对象的识别方法和装置、存储介质、电子装置
Zhao et al. SVM based forest fire detection using static and dynamic features
Celik et al. Fire detection in video sequences using a generic color model
Premal et al. Image processing based forest fire detection using YCbCr colour model
Di Lascio et al. Improving fire detection reliability by a combination of videoanalytics
Habiboglu et al. Real-time wildfire detection using correlation descriptors
CN101853512B (zh) 一种基于视频时间和空间信息的火焰检测方法
CN108447219A (zh) 基于视频图像的火灾检测系统及方法
CN102982313B (zh) 烟雾检测的方法
CN109145689A (zh) 一种机器人火灾检测方法
Patel et al. Flame detection using image processing techniques
Pritam et al. Detection of fire using image processing techniques with LUV color space
CN108009479A (zh) 分布式机器学习系统及其方法
CN106339657B (zh) 基于监控视频的秸秆焚烧监测方法、装置
Zhang et al. Contour based forest fire detection using FFT and wavelet
CN103996045B (zh) 一种基于视频的多种特征融合的烟雾识别方法
CN107688793A (zh) 一种变电站室外火灾自动监测预警方法
CN105701474B (zh) 一种结合颜色和外型特征的视频烟雾识别方法
Benjamin et al. Extraction of fire region from forest fire images using color rules and texture analysis
Celik et al. Computer vision based fire detection in color images
CN102542304B (zh) 识别wap手机色情图像的区域分割肤色算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518114 Guangdong Shenzhen Longgang District Buji Street giant silver technology industrial factory 5 plant 401

Applicant after: ZDST COMMUNICATION TECHNOLOGY Co.,Ltd.

Address before: 518114 Guangdong Shenzhen Longgang District Buji Street giant silver technology industrial factory 5 plant 401

Applicant before: SHENZHEN ZHONGDIAN SHUTONG SCIENCE & TECHNOLOGY Co.,Ltd.

Address after: 518114 Guangdong Shenzhen Longgang District Buji Street giant silver technology industrial factory 5 plant 401

Applicant after: SHENZHEN ZHONGDIAN SHUTONG SCIENCE & TECHNOLOGY Co.,Ltd.

Address before: 518114 Guangdong Shenzhen Longgang District Buji Street giant silver technology industry factory area No. 5 401

Applicant before: ZDST COMMUNICATION TECHNOLOGY CO.,LTD.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 1106, Hengmei Daxia, No. 3 Ganli Road, Jihua Street, Longgang District, Shenzhen City, Guangdong Province, 518000

Applicant after: ZDST COMMUNICATION TECHNOLOGY Co.,Ltd.

Address before: 518114 Factory 401, No. 5, Juyin Science and Technology Industrial Factory Area, Buji Street, Longgang District, Shenzhen City, Guangdong Province

Applicant before: ZDST COMMUNICATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant