CN106203334A - 一种室内场景火苗检测方法 - Google Patents

一种室内场景火苗检测方法 Download PDF

Info

Publication number
CN106203334A
CN106203334A CN201610539889.XA CN201610539889A CN106203334A CN 106203334 A CN106203334 A CN 106203334A CN 201610539889 A CN201610539889 A CN 201610539889A CN 106203334 A CN106203334 A CN 106203334A
Authority
CN
China
Prior art keywords
flare
target
gradient
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610539889.XA
Other languages
English (en)
Other versions
CN106203334B (zh
Inventor
杨琛
张圳
李丹
姜哲
燕肇
燕肇一
李倩仪
彭真明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201610539889.XA priority Critical patent/CN106203334B/zh
Publication of CN106203334A publication Critical patent/CN106203334A/zh
Application granted granted Critical
Publication of CN106203334B publication Critical patent/CN106203334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36Indoor scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种室内场景火苗检测方法,属于可见光图像和视频处理等应用领域,解决现有技术中对是否存在可能引起火灾的初期火焰、小火苗难以精确检测和跟踪的问题。本发明以可见光图像的颜色空间转换和分割为基础,结合火苗的形态学特征进行判别,由于火苗图像在YCbCr颜色空间中的分量通道具有明显的梯度强度和梯度分布特征,利用支持向量机对其HOG特征进行学习和识别,在动态视频中通过瞬时性的帧间差分以及质心漂移算法实现火苗目标的跟踪。通过大量室内火苗图像和视频样本测试表明,本方法较于传统方法识别率高、检测速度快、虚警率低且可靠性高。本发明是针对初期火焰、小火苗等的检测和跟踪。

Description

一种室内场景火苗检测方法
技术领域
一种室内场景火苗检测方法,用于火苗的检测,涉及可见光图像目标识别与检测应用领域,具体涉及到初期火焰和小火苗检测和跟踪。
背景技术
火灾是最常见的严重灾害之一,它直接危及人类的生命财产,造成环境污染,甚至生态平衡。目前国内外的火灾自动报警技术主要是基于传感器的检测。但在室外仓库和大型室内仓库等大空间场合中,传感器信号由于空间的巨大而变得十分微弱。即使是高精度的传感器也会由于种种干扰噪声而无法工作。基于视觉的火灾检测技术通过对火灾发生的过程中,伴随的各种视觉特征进行检测,从而实现对火灾是否发生加以判断。近年来,由于数码拍摄和视频处理技术的快速发展,以及成本的不断降低,利用计算机视觉技术代替传统的火灾检测技术成为了一个大的趋势。与传统的火灾检测技术相比,基于视觉的火灾检测技术主要有以下优势:能够在相对开放的环境中使用;所处理数据为数字图像,方便利用计算机视觉及图像的有关技术进行处理和分析;能够提供更多火灾信息。利用这些信息,更有助于人们采取有效的措施进行灭火、救援工作;检测的过程可以充分利用图像处理和模式识别等技术。而伴随着这些技术的发展,可以更为有效提高火灾检测系统报警的准确度,降低漏报和误报情况。
目前,国际上已相继出现了融合了视频火焰检测技术的系统,比较典型的axonxLLC公司开发的SigniFire系统,Hughes Associates公司开发的Volume Sensor系统以及SenseWARE系统等。归纳起来,主要有以下一些方法和技术:
基于像素颜色的方法,早期VFD方法主要依据的是火焰的颜色和亮度。首先出现的是灰度图像处理方法,包括单固定黑白相机和多黑白相机。这类方法通常利用对比法或帧差法从背景中提取较亮的火焰,但性能受监测距离的影响比较严重。基于火焰颜色的彩色图像处理方法可以明显抑制亮度条件(如背景光照)变化所导致的误检。固定的彩色模型可能忽略材料不同所导致的颜色异常,所以借助机器学习方法来对火焰颜色建模,通过训练人工检测的火焰样本得到火焰颜色的查找表,并生成彩色直方图,以提高模型的可靠性和对场景适应力,但其计算复杂度较高,难以达到实时效率。然而,以上方法都集中关注于火焰的存在性,不能提供燃烧的状态和过程信息(面对火灾的经济损失,这些信息往往至关重要),需要人工估计误检率。Chen等采用了一种二阶决策机制,先用颜色检测火焰的存在,再判断火焰的蔓延或消减状态。该方法引入了HSI模型,用R通道的亮度和饱和度判断火焰像素的真实性,通过比较RGB之间亮度分量的比例来估计烟雾的存在,再利用运动特征反复校验燃烧的状态变化趋势。但是HIS模型存在的缺点是,“H”所代表的色调通道分量,在火苗检测中并不能保留火苗的形态学特征,从而造成了有效信息丢失。
基于火焰颜色运动区域的方法,相对于真实火焰复杂多变的嵌套结构,单用火焰颜色的像素集合来描述火焰区域过于简陋,甚至于像素颜色的层次变化也不足以反映火苗复杂的时变性。Horng则以帧间火焰颜色区域的掩模差来定义火焰的时序运动,Chen等认为火焰区域的动态特征包括火焰闪动、区域变形、整体蔓延和红外抖动等,可利用像素变化判别火焰的闪动,以面积变化检测火焰的生长,虽效率较高,但模型过于简单,可靠性差。Fastcom开始利用FFT的峰值来描述和检测时变的火焰边缘像素。Liu等则先用光谱和结构模型来提取火焰的候选区域,并用傅里叶系数描述这些区域的边缘轮廓,然后通过帧间前向估计获得各区域的自回归(AR)模型参数,最后以傅里叶系数和AR模型参数为特征对火焰区域进行分类。其中,候选区的检测只涉及光谱和结构特征,选择疑似焰核的高亮部分作为种子,沿梯度方向生长,将火焰颜色概率(HSV高斯混合模型)较高的邻域像素引入区域,再用阈值校验区域边缘上具有内部颜色的像素比例,滤除接近纯色的区域。国内,袁宏永等也讨论了基于图像的火焰检测技术,但漏警或误警较高,鲁棒性和适应性较差。袁非牛等提出一种基于规格化傅里叶描述子的轮廓波动距离模型,用来度量火焰的时空闪烁特征。但这些对火焰形状变化的频域描述存在缺陷:一是火焰闪动不属于纯正弦周期运动,很难用FFT检测其时序峰值;二是傅里叶变换不能承载时间信息,必须利用时窗检测,时窗尺寸的选择显得重要而困难,过长过短都可能失去周期或峰值。
基于时频与状态分析的方法,燃烧的火焰与具有燃料和燃具无关的高频特性,通过分析这种高频的时序变化能有效地减少误检。Toreyin等在提取运动的火焰颜色区域的基础上,利用小波变换来分析该区域运动的时频特性,并估计火焰闪动的存在。Fastcom虽没有利用颜色时变性,却利用了空间小波系数的能量变化来检测火焰。但是基于火焰闪动的时频特征方法并不适用于火苗检测中,火苗在静止或运动过程中没有大面积的闪动特性,利用这样的方法并不能准确的检测出火苗。
发明内容
本发明针对上述不足之处提供了一种室内场景火苗检测方法,解决现有技术中对是否存在可能引起火灾的初期火焰、小火苗难以精确检测和跟踪的问题。
为了实现上述目的,本发明采用的技术方案为:
一种室内场景火苗检测方法,其特征在于,包括如下步骤:
步骤1、输入待检测的视频,提取视频的各帧图像并进行降噪、增强对比度预处理操作;
步骤2、将预处理后的各帧图像使用帧间差分法获取差分图像,得到提高分辨率的兴趣区域(ROI);
步骤3、提取兴趣区域(ROI),对兴趣区域进行YCbCr颜色空间转化,并对YCbCr颜色空间转化后的兴趣区域的三个分量通道进行阈值分割,将各个分割结果进行叠加,得到目标二值化图像,若目标二值化图像不存在显著差异区域,则判定无火苗目标出现,反之转到步骤4;
步骤4、对步骤3中得到的二值化图像进行形态学判定,即对火苗目标的面积、斜率和圆形度进行判定,根据形态学判定结果,确定最佳目标区域,若没有符合条件的目标区域,则判定无火苗出现,反之转到步骤5;
步骤5、选取步骤4中得到的目标区域所对应的步骤3中的兴趣区域(ROI),将该兴趣区域(ROI)转换得到三个分量通道的梯度方向直方图(HOG)特征,通过提前经过样本训练的分类器对梯度方向直方图(HOG)特征进行火苗目标识别,并对本次检测的梯度方向直方图(HOG)特征进行学习;
步骤6、当检测到火苗目标后,标记目标区域,运用质心漂移算法对火苗目标在下一帧图像中进行跟踪;
步骤7、将存在有火苗目标的各帧图像还原为视频形式输出检测结果。
进一步,所述步骤2的具体流程为:
步骤21、读入经步骤1预处理后的各帧图像,依时序计算两帧图像间的差值,通过差值图像可以去除背景中不变物体的干扰,并确定检测目标(火苗目标)的范围,获得兴趣区域(ROI);
步骤22、用双三次插值算法得到提高分辨率的兴趣区域(ROI),所涉及的运算对象是提高分辨率后图像像素点的16个最近邻点,三次插值算法的基函数公式为:
S ( &omega; ) = | &omega; | 3 - | &omega; | 2 + 1 | &omega; | < 1 - | &omega; | 3 + 5 | &omega; | 2 - 8 | &omega; | 1 &le; | &omega; | < 2 0 | &omega; | &GreaterEqual; 2 ;
其中ω是指提高分辨率后图像像素点坐标与原图像16个最近邻点坐标的相对偏移值,S(ω)是插值基函数。
进一步,所述步骤3的具体流程为:
步骤31、提取兴趣区域(ROI),将兴趣区域(ROI)由RGB颜色空间转换为YCbCr颜色空间,转换公式为:
Y C b C r = 16 128 128 + 65.481 128.553 24.966 - 37.797 - 74.203 112.000 112.000 - 93.786 - 18.214 &times; R G B ;
步骤32、将兴趣区域转换为YCbCr颜色空间后获得Y通道分量、Cb通道分量和Cr通道分量,分别对三个通道求均值可得Ymean、Cbmean、Crmean;根据以下三点作为确定阈值范围的依据:火苗目标的任意像素点的Y通道分量值大于该通道平均值Ymean,同时大于该像素点Cb通道分量值;火苗目标的Cb通道分量值小于该通道平均值Cbmean,火苗目标的Cr通道分量值大于该通道平均值Crmean,同时大于该像素点的Cb通道分量值;通过大量样本测试所得的三个通道的数据值对阈值范围表达式进行修正,再对三个分量通道进行阈值分割,得到新的分量通道值Y’、Cb’、Cr’,其公式为:
步骤33、将新的分量通道值Y’、Cb’、Cr’叠加,即矩阵点乘,得到兴趣区域阈值分割后的二值化图像。
进一步,所述步骤4中,对步骤3中得到的二值化图像分割结果进行形态学判定的具体流程为:
步骤41、根据火苗所具有的像素数大小相对于整幅图片的像素数,定义火苗目标的面积的像素比范围在0.0055%-0.22%之内;
步骤42、根据火苗在不同位置时,表现出的形态上偏性或扁平型,定义火苗目标的骨架主干斜率最大值为5,最小值为-5,主要范围在-3~3之内;
步骤43、火苗目标的圆形度是火苗目标投影周长与投影面积相等的圆的周长之比,计算公式如下:
&psi; = 1 2 A &pi; ;
式中A为物体的投影面积,π为物体的投影周长,Ψ最小值为1,越接近于1说明物体圆形度越高。
进一步,所述步骤5的具体流程为:
步骤51、选取步骤4中得到的目标区域所对应的步骤32中获得的三个分量通道图像,即分量通道值Y’、Cb’、Cr’;
步骤52、分别输入三个分量通道图像,计算三个分量通道图像中任一像素点(x,y)的梯度,其公式为:
Gx(x,y)=H(x+1,y)-H(x-1,y),
Gy(x,y)=H(x,y+1)-H(x,y-1),
式中,Gx(x,y)、Gy(x,y)、H(x,y)分别表示输入图像的像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值;
步骤53、计算三个分量通道图像中任一像素点(x,y)处的梯度幅度和梯度方向为:
G ( x , y ) = G x ( x , y ) 2 + G y ( x , y ) 2 ,
&alpha; ( x , y ) = tan - 1 &lsqb; G y ( x , y ) G x ( x , y ) &rsqb; ,
式中G(x,y)为该像素点(x,y)梯度幅度,α(x,y)为该像素点(x,y)梯度方向,将每个像素点的梯度方向,利用双线性内插法将其幅值累加到直方图中,即构成了梯度方向直方图;
步骤54、将三个分量通道图像分别划分成小cells,并统计每个cell的梯度方向直方图,即统计不同梯度的个数,形成每个cell的描述符,再将每几个cell组成一个block,一个block内所有cell的特征描述符串联起来便得到该block的HOG特征描述符,最后将三个分量通道图像内的所有block的HOG特征描述符串联起来就可以得到该通道分量的HOG特征,即梯度方向直方图特征;
步骤55、通过使用支持向量机(SVM)算法对样本进行训练的分类器对梯度方向直方图(HOG)特征进行火苗目标识别,并对本次检测的梯度方向直方图(HOG)特征进行学习。
进一步,所述步骤55中,使用支持向量机(SVM)算法对样本进行训练的步骤为:
步骤551、根据火苗目标的图像,即正样本和不包含火苗目标的图像,即负样本,训练基本分类器;
步骤552、用分类器对所有负样本再次分类,检测错误样本,得到训练好的分类器。
进一步,所述步骤6中,运用质心漂移算法对火苗目标在下一帧图像中进行跟踪的具体流程为:
步骤61、选用检测到的火苗目标的质心作为火苗目标的特征;
步骤62、在下一帧图像中的对应兴趣区域(ROI)中检索质心漂移量符合火苗目标慢速移动的实际情况和漂移量极小的情况,漂移量即是质心在两帧间的距离,所用距离度量为欧式距离,定义如下:
D e = &lsqb; ( x - s ) 2 + ( y - t ) 2 &rsqb; 1 2 ,
其中(x,y)、(s,t)分别是前后两帧质心的坐标位置;
步骤63、定义步骤62中检索得到的火苗目标为该帧的检测目标,并依次进行迭代计算。
与现有技术相比,本发明的优点在于:
一、本发明通过可见光摄像头对火苗的识别,第一时间监控到火情并进行报警;
二、本发明以可见光图像的颜色空间转换和分割为基础,结合火苗的形态学特征进行判别,由于火苗图像在YCbCr颜色空间中的分量通道具有明显的梯度强度和梯度分布特征,利用支持向量机对其HOG特征进行学习和识别,在动态视频中通过瞬时性的帧间差分以及质心漂移算法实现火苗目标的跟踪,通过大量火苗图像和视频样本测试表明,本方法较于传统方法和现有技术,本发明具有识别率高、预警速度快、虚警率低且可靠性高的优点;
三、对火苗的检测技术不仅仅适用于室内火情预警,在自动化工业生产、石油天然气勘探、航空航天领域也能延伸应用;
四、本发明采用的质心漂移算法,预估火苗的运动范围并在连续帧的该范围内进行检测,计算量小、计算时间短,有效提高了检测效率。
附图说明
图1为本发明的流程示意图;
图2为本发明中静态场景火苗图像检测效果示意图;其中(a)为原图像;(b)为阈值分割后标记点图像;(c)为检测结果;(d)为标记区域放大图像;
图3为本发明的视频检测跟踪效果示意图;其中(a)为第52帧未出现目标;(b)为第54帧检测目标(c)为第311帧跟踪目标;(d)为第589帧未出现目标;(e)为第590帧检测目标;(f)第591帧跟踪目标。
具体实施方式
下面将结合附图及实施例对本发明作进一步的说明。
步骤1、输入待检测的视频,提取视频的各帧图像并进行降噪、增强对比度预处理操作;
步骤2、将预处理后的各帧图像使用帧间差分法获取差分图像,得到提高分辨率的兴趣区域(ROI);具体流程为:
步骤21、读入经步骤1预处理后的各帧图像,依时序计算两帧图像间的差值,通过差值图像可以去除背景中不变物体的干扰,并确定检测目标(火苗目标)的范围,获得兴趣区域(ROI);
步骤22、用双三次插值算法得到提高分辨率的兴趣区域(ROI),所涉及的运算对象是提高分辨率后图像像素点的16个最近邻点,三次插值算法的基函数公式为:
S ( &omega; ) = | &omega; | 3 - | &omega; | 2 + 1 | &omega; | < 1 - | &omega; | 3 + 5 | &omega; | 2 - 8 | &omega; | 1 &le; | &omega; | < 2 0 | &omega; | &GreaterEqual; 2 ;
其中ω是指提高分辨率后图像像素点坐标与原图像16个最近邻点坐标的相对偏移值,S(ω)是插值基函数。
步骤3、提取兴趣区域(ROI),对兴趣区域进行YCbCr颜色空间转化,并对YCbCr颜色空间转化后的兴趣区域的三个分量通道进行阈值分割,将各个分割结果进行叠加,得到目标二值化图像,若目标二值化图像不存在显著差异区域,则判定无火苗目标出现,反之转到步骤4;具体流程为:
步骤31、提取兴趣区域(ROI),将兴趣区域(ROI)由RGB颜色空间转换为YCbCr颜色空间,转换公式为:
Y C b C r = 16 128 128 + 65.481 128.553 24.966 - 37.797 - 74.203 112.000 112.000 - 93.786 - 18.214 &times; R G B ;
步骤32、将兴趣区域转换为YCbCr颜色空间后获得Y通道分量、Cb通道分量和Cr通道分量,分别对三个通道求均值可得Ymean、Cbmean、Crmean;根据以下三点作为确定阈值范围的依据:火苗目标的任意像素点的Y通道分量值大于该通道平均值Ymean,同时大于该像素点Cb通道分量值;火苗目标的Cb通道分量值小于该通道平均值Cbmean,火苗目标的Cr通道分量值大于该通道平均值Crmean,同时大于该像素点的Cb通道分量值;通过大量样本测试所得的三个通道的数据值对阈值范围表达式进行修正,再对三个分量通道进行阈值分割,得到新的分量通道值Y’、Cb’、Cr’,其公式为:
步骤33、将新的分量通道值Y’、Cb’、Cr’叠加,即矩阵点乘,得到兴趣区域阈值分割后的二值化图像。
步骤4、对步骤3中得到的二值化图像进行形态学判定,即对火苗目标的面积、斜率和圆形度进行判定,根据形态学判定结果,确定最佳目标区域,若没有符合条件的目标区域,则判定无火苗出现,反之转到步骤5;对步骤3中得到的二值化图像分割结果进行形态学判定的具体流程为:
步骤41、根据火苗所具有的像素数大小相对于整幅图片的像素数,定义火苗目标的面积的像素比范围在0.0055%-0.22%之内;
步骤42、根据火苗在不同位置时,表现出的形态上偏性或扁平型,定义火苗目标的骨架主干斜率最大值为5,最小值为-5,主要范围在-3~3之内;
步骤43、火苗目标的圆形度是火苗目标投影周长与投影面积相等的圆的周长之比,计算公式如下:
&psi; = 1 2 A &pi; ;
式中A为物体的投影面积,π为物体的投影周长,Ψ最小值为1,越接近于1说明物体圆形度越高,定义火苗的圆形度在1.3以下。
步骤5、选取步骤4中得到的目标区域所对应的步骤3中的兴趣区域(ROI),将该兴趣区域(ROI)转换得到三个分量通道的梯度方向直方图(HOG)特征,通过提前经过样本训练的分类器对梯度方向直方图(HOG)特征进行火苗目标识别,并对本次检测的梯度方向直方图(HOG)特征进行学习;具体流程为:
步骤51、选取步骤4中得到的目标区域所对应的步骤32中获得的三个分量通道图像(三个分量通道),即分量通道值Y’、Cb’、Cr’;
步骤52、分别输入三个分量通道图像,计算三个分量通道图像中任一像素点(x,y)的梯度,其公式为:
Gx(x,y)=H(x+1,y)-H(x-1,y),
Gy(x,y)=H(x,y+1)-H(x,y-1),
式中,Gx(x,y)、Gy(x,y)、H(x,y)分别表示输入图像的像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值;
步骤53、计算三个分量通道图像中任一像素点(x,y)处的梯度幅度和梯度方向为:
G ( x , y ) = G x ( x , y ) 2 + G y ( x , y ) 2 ,
&alpha; ( x , y ) = tan - 1 &lsqb; G y ( x , y ) G x ( x , y ) &rsqb; ,
式中G(x,y)为该像素点(x,y)梯度幅度,α(x,y)为该像素点(x,y)梯度方向,将每个像素点的梯度方向,利用双线性内插法将其幅值累加到直方图中,即构成了梯度方向直方图;
步骤54、将三个分量通道图像分别划分成小cells,并统计每个cell的梯度方向直方图,即统计不同梯度的个数,形成每个cell的描述符,再将每几个cell组成一个block,一个block内所有cell的特征描述符串联起来便得到该block的HOG特征描述符,最后将三个分量通道图像内的所有block的HOG特征描述符串联起来就可以得到该通道分量的HOG特征,即梯度方向直方图特征;
步骤55、通过使用支持向量机(SVM)算法对样本进行训练的分类器对梯度方向直方图(HOG)特征进行火苗目标识别,并对本次检测的梯度方向直方图(HOG)特征进行学习。使用支持向量机(SVM)算法对样本进行训练的步骤为:
步骤551、根据火苗目标的图像,即正样本和不包含火苗目标的图像,即负样本,训练基本分类器;
步骤552、用分类器对所有负样本再次分类,检测错误样本,得到训练好的分类器。
步骤6、当检测到火苗目标后,标记目标区域,运用质心漂移算法对火苗目标在下一帧图像中进行跟踪;运用质心漂移算法对火苗目标在下一帧图像中进行跟踪的具体流程为:
步骤61、选用检测到的火苗目标的质心作为火苗目标的特征;
步骤62、在下一帧图像中的对应兴趣区域(ROI)中检索质心漂移量符合火苗目标慢速移动的实际情况和漂移量极小的情况(慢速移动是指火苗每帧偏移量大约与自身长宽尺寸同属一个数量级,极小值是每次比较得出的极值,不固定,就是比较不同的疑似目标选取偏移量极小的作为检测目标),漂移量即是质心在两帧间的距离,所用距离度量为欧式距离,定义如下:
D e = &lsqb; ( x - s ) 2 + ( y - t ) 2 &rsqb; 1 2 ,
其中(x,y)、(s,t)分别是前后两帧质心的坐标位置;
步骤63、定义步骤62中检索得到的火苗目标为该帧的检测目标,并依次进行迭代计算。
步骤7、将存在有火苗目标的各帧图像还原为视频形式输出检测结果。
本发明提出反应更为及时且检测准确率高的针对初期火焰、小火苗等的检测技术,为实现特殊场景下的火警预报产品提供技术支持和指导。

Claims (7)

1.一种室内场景火苗检测方法,其特征在于,包括如下步骤:
步骤1、输入待检测的视频,提取视频的各帧图像并进行降噪、增强对比度预处理操作;
步骤2、将预处理后的各帧图像使用帧间差分法获取差分图像,得到提高分辨率的兴趣区域(ROI);
步骤3、提取兴趣区域(ROI),对兴趣区域进行YCbCr颜色空间转化,并对YCbCr颜色空间转化后的兴趣区域的三个分量通道进行阈值分割,将各个分割结果进行叠加,得到目标二值化图像,若目标二值化图像不存在显著差异区域,则判定无火苗目标出现,反之转到步骤4;
步骤4、对步骤3中得到的二值化图像进行形态学判定,即对火苗目标的面积、斜率和圆形度进行判定,根据形态学判定结果,确定最佳目标区域,若没有符合条件的目标区域,则判定无火苗出现,反之转到步骤5;
步骤5、选取步骤4中得到的目标区域所对应的步骤3中的兴趣区域(ROI),将该兴趣区域(ROI)转换得到三个分量通道的梯度方向直方图(HOG)特征,通过提前经过样本训练的分类器对梯度方向直方图(HOG)特征进行火苗目标识别,并对本次检测的梯度方向直方图(HOG)特征进行学习;
步骤6、当检测到火苗目标后,标记目标区域,运用质心漂移算法对火苗目标在下一帧图像中进行跟踪;
步骤7、将存在有火苗目标的各帧图像还原为视频形式输出检测结果。
2.根据权利要求1所述的一种室内场景火苗检测方法,其特征在于,所述步骤2的具体流程为:
步骤21、读入经步骤1预处理后的各帧图像,依时序计算两帧图像间的差值,通过差值图像可以去除背景中不变物体的干扰,并确定检测目标(火苗目标)的范围,获得兴趣区域(ROI);
步骤22、用双三次插值算法得到提高分辨率的兴趣区域(ROI),所涉及的运算对象是提高分辨率后图像像素点的16个最近邻点,三次插值算法的基函数公式为:
S ( &omega; ) = | &omega; | 3 - | &omega; | 2 + 1 | &omega; | < 1 - | &omega; | 3 + 5 | &omega; | 2 - 8 | &omega; | 1 &le; | &omega; | < 2 0 | &omega; | &GreaterEqual; 2 ;
其中ω是指提高分辨率后图像像素点坐标与原图像16个最近邻点坐标的相对偏移值,S(ω)是插值基函数。
3.根据权利要求1所述的一种室内场景火苗检测方法,其特征在于,所述步骤3的具体流程为:
步骤31、提取兴趣区域(ROI),将兴趣区域(ROI)由RGB颜色空间转换为YCbCr颜色空间,转换公式为:
Y C b C r = 16 128 128 + 65.481 128.553 24.966 - 37.797 - 74.203 112.000 112.000 - 93.786 - 18.214 &times; R G B ;
步骤32、将兴趣区域转换为YCbCr颜色空间后获得Y通道分量、Cb通道分量和Cr通道分量,分别对三个通道求均值可得Ymean、Cbmean、Crmean;根据以下三点作为确定阈值范围的依据:火苗目标的任意像素点的Y通道分量值大于该通道平均值Ymean,同时大于该像素点Cb通道分量值;火苗目标的Cb通道分量值小于该通道平均值Cbmean,火苗目标的Cr通道分量值大于该通道平均值Crmean,同时大于该像素点的Cb通道分量值;通过大量样本测试所得的三个通道的数据值对阈值范围表达式进行修正,再对三个分量通道进行阈值分割,得到新的分量通道值Y’、Cb’、Cr’,其公式为:
步骤33、将新的分量通道值Y’、Cb’、Cr’叠加,即矩阵点乘,得到兴趣区域阈值分割后的二值化图像。
4.根据权利要求1一种室内场景火苗检测方法,其特征在于,所述步骤4中,对步骤3中得到的二值化图像分割结果进行形态学判定的具体流程为:
步骤41、根据火苗所具有的像素数大小相对于整幅图片的像素数,定义火苗目标的面积的像素比范围在0.0055%-0.22%之内;
步骤42、根据火苗在不同位置时,表现出的形态上偏性或扁平型,定义火苗目标的骨架主干斜率最大值为5,最小值为-5,主要范围在-3~3之内;
步骤43、火苗目标的圆形度是火苗目标投影周长与投影面积相等的圆的周长之比,计算公式如下:
&psi; = 1 2 A &pi; ;
式中A为物体的投影面积,π为物体的投影周长,Ψ最小值为1,越接近于1说明物体圆形度越高。
5.根据权利要求3所述的一种室内场景火苗检测方法,其特征在于,所述步骤5的具体流程为:
步骤51、选取步骤4中得到的目标区域所对应的步骤32中获得的三个分量通道图像,即分量通道值Y’、Cb’、Cr’;
步骤52、分别输入三个分量通道图像,计算三个分量通道图像中任一像素点(x,y)的梯度,其公式为:
Gx(x,y)=H(x+1,y)-H(x-1,y),
Gy(x,y)=H(x,y+1)-H(x,y-1),
式中,Gx(x,y)、Gy(x,y)、H(x,y)分别表示输入图像的像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值;
步骤53、计算三个分量通道图像中任一像素点(x,y)处的梯度幅度和梯度方向为:
G ( x , y ) = G x ( x , y ) 2 + G y ( x , y ) 2 ,
&alpha; ( x , y ) = tan - 1 &lsqb; G y ( x , y ) G x ( x , y ) &rsqb; ,
式中G(x,y)为该像素点(x,y)梯度幅度,α(x,y)为该像素点(x,y)梯度方向,将每个像素点的梯度方向,利用双线性内插法将其幅值累加到直方图中,即构成了梯度方向直方图;
步骤54、将三个分量通道图像分别划分成小cells,并统计每个cell的梯度方向直方图,即统计不同梯度的个数,形成每个cell的描述符,再将每几个cell组成一个block,一个block内所有cell的特征描述符串联起来便得到该block的HOG特征描述符,最后将三个分量通道图像内的所有block的HOG特征描述符串联起来就可以得到该通道分量的HOG特征,即梯度方向直方图特征;
步骤55、通过使用支持向量机(SVM)算法对样本进行训练的分类器对梯度方向直方图(HOG)特征进行火苗目标识别,并对本次检测的梯度方向直方图(HOG)特征进行学习。
6.根据权利要求5所述的一种室内场景火苗检测方法,其特征在于,所述步骤55中,使用支持向量机(SVM)算法对样本进行训练的步骤为:
步骤551、根据火苗目标的图像,即正样本和不包含火苗目标的图像,即负样本,训练基本分类器;
步骤552、用分类器对所有负样本再次分类,检测错误样本,得到训练好的分类器。
7.根据权利要求1所述的一种室内场景火苗检测方法,其特征在于,所述步骤6中,运用质心漂移算法对火苗目标在下一帧图像中进行跟踪的具体流程为:
步骤61、选用检测到的火苗目标的质心作为火苗目标的特征;
步骤62、在下一帧图像中的对应兴趣区域(ROI)中检索质心漂移量符合火苗目标慢速移动的实际情况和漂移量极小的情况,漂移量即是质心在两帧间的距离,所用距离度量为欧式距离,定义如下:
D e = &lsqb; ( x - s ) 2 + ( y - t ) 2 &rsqb; 1 2 ,
其中(x,y)、(s,t)分别是前后两帧质心的坐标位置;
步骤63、定义步骤62中检索得到的火苗目标为该帧的检测目标,并依次进行迭代计算。
CN201610539889.XA 2016-07-11 2016-07-11 一种室内场景火苗检测方法 Active CN106203334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610539889.XA CN106203334B (zh) 2016-07-11 2016-07-11 一种室内场景火苗检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610539889.XA CN106203334B (zh) 2016-07-11 2016-07-11 一种室内场景火苗检测方法

Publications (2)

Publication Number Publication Date
CN106203334A true CN106203334A (zh) 2016-12-07
CN106203334B CN106203334B (zh) 2019-04-02

Family

ID=57473454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610539889.XA Active CN106203334B (zh) 2016-07-11 2016-07-11 一种室内场景火苗检测方法

Country Status (1)

Country Link
CN (1) CN106203334B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106855947A (zh) * 2016-12-28 2017-06-16 西安电子科技大学 基于核互模态因素分析核融合的多光谱图像变化检测方法
CN107067007A (zh) * 2016-12-22 2017-08-18 河海大学 一种基于图像特征提取的多特征融合秸秆焚烧火灾检测方法
CN108985374A (zh) * 2018-07-12 2018-12-11 天津艾思科尔科技有限公司 一种基于动态信息模型的火焰检测方法
CN109493361A (zh) * 2018-11-06 2019-03-19 中南大学 一种火灾烟雾图像分割方法
WO2019126989A1 (zh) * 2017-12-26 2019-07-04 李庆远 吸烟者干扰设备和方法
CN110148089A (zh) * 2018-06-19 2019-08-20 腾讯科技(深圳)有限公司 一种图像处理方法、装置及设备、计算机存储介质
CN111145222A (zh) * 2019-12-30 2020-05-12 浙江中创天成科技有限公司 一种结合烟雾运动趋势和纹理特征的火灾检测方法
CN111368826A (zh) * 2020-02-25 2020-07-03 安徽炬视科技有限公司 一种基于可变卷积核的明火检测算法
CN111523528A (zh) * 2020-07-03 2020-08-11 平安国际智慧城市科技股份有限公司 基于规模识别模型的策略发送方法、装置和计算机设备
CN113160513A (zh) * 2021-04-19 2021-07-23 杭州舜程科技有限公司 基于多传感器的火焰探测装置
CN113723300A (zh) * 2021-08-31 2021-11-30 平安国际智慧城市科技股份有限公司 基于人工智能的火情监测方法、装置及存储介质
CN114332063A (zh) * 2022-01-04 2022-04-12 合肥工业大学 一种基于背景差分的线束顺序检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515326A (zh) * 2009-03-19 2009-08-26 浙江大学 一种适用于识别和检测大空间火灾火焰的方法
CN102163358A (zh) * 2011-04-11 2011-08-24 杭州电子科技大学 一种基于视频图像分析的烟雾/火焰检测方法
CN103020577A (zh) * 2011-09-20 2013-04-03 佳都新太科技股份有限公司 一种基于hog特征的运动目标识别方法及系统
US20130182904A1 (en) * 2012-01-17 2013-07-18 Objectvideo, Inc. System and method for video content analysis using depth sensing
CN103425959A (zh) * 2012-05-24 2013-12-04 信帧电子技术(北京)有限公司 一种识别火灾的火焰视频检测方法
CN104853151A (zh) * 2015-04-17 2015-08-19 张家港江苏科技大学产业技术研究院 一种基于视频图像的大空间火灾监测系统
CN105426840A (zh) * 2015-11-18 2016-03-23 成都中昊英孚科技有限公司 一种基于多特征融合的红外森林火灾判定方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515326A (zh) * 2009-03-19 2009-08-26 浙江大学 一种适用于识别和检测大空间火灾火焰的方法
CN102163358A (zh) * 2011-04-11 2011-08-24 杭州电子科技大学 一种基于视频图像分析的烟雾/火焰检测方法
CN103020577A (zh) * 2011-09-20 2013-04-03 佳都新太科技股份有限公司 一种基于hog特征的运动目标识别方法及系统
US20130182904A1 (en) * 2012-01-17 2013-07-18 Objectvideo, Inc. System and method for video content analysis using depth sensing
CN103425959A (zh) * 2012-05-24 2013-12-04 信帧电子技术(北京)有限公司 一种识别火灾的火焰视频检测方法
CN104853151A (zh) * 2015-04-17 2015-08-19 张家港江苏科技大学产业技术研究院 一种基于视频图像的大空间火灾监测系统
CN105426840A (zh) * 2015-11-18 2016-03-23 成都中昊英孚科技有限公司 一种基于多特征融合的红外森林火灾判定方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
彭真明: "基于活跃度的图像分割算法性能评价新方法", 《吉林大学学报(工学版)》 *
罗媛媛: "基于YCbCr颜色空间的森林火灾探测技术的研究", 《中国优秀硕士学位论文全文数据库 农业科技辑》 *
辛颖: "基于图像处理的贮木场火灾检测方法", 《消防科学与技术》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067007A (zh) * 2016-12-22 2017-08-18 河海大学 一种基于图像特征提取的多特征融合秸秆焚烧火灾检测方法
CN106855947A (zh) * 2016-12-28 2017-06-16 西安电子科技大学 基于核互模态因素分析核融合的多光谱图像变化检测方法
CN106855947B (zh) * 2016-12-28 2020-02-21 西安电子科技大学 基于核互模态因素分析核融合的多光谱图像变化检测方法
WO2019126989A1 (zh) * 2017-12-26 2019-07-04 李庆远 吸烟者干扰设备和方法
CN110148089B (zh) * 2018-06-19 2024-04-23 腾讯科技(深圳)有限公司 一种图像处理方法、装置及设备、计算机存储介质
CN110148089A (zh) * 2018-06-19 2019-08-20 腾讯科技(深圳)有限公司 一种图像处理方法、装置及设备、计算机存储介质
CN108985374A (zh) * 2018-07-12 2018-12-11 天津艾思科尔科技有限公司 一种基于动态信息模型的火焰检测方法
CN109493361B (zh) * 2018-11-06 2021-08-06 中南大学 一种火灾烟雾图像分割方法
CN109493361A (zh) * 2018-11-06 2019-03-19 中南大学 一种火灾烟雾图像分割方法
CN111145222A (zh) * 2019-12-30 2020-05-12 浙江中创天成科技有限公司 一种结合烟雾运动趋势和纹理特征的火灾检测方法
CN111368826A (zh) * 2020-02-25 2020-07-03 安徽炬视科技有限公司 一种基于可变卷积核的明火检测算法
CN111368826B (zh) * 2020-02-25 2023-05-05 安徽炬视科技有限公司 一种基于可变卷积核的明火检测算法
CN111523528A (zh) * 2020-07-03 2020-08-11 平安国际智慧城市科技股份有限公司 基于规模识别模型的策略发送方法、装置和计算机设备
CN111523528B (zh) * 2020-07-03 2020-10-20 平安国际智慧城市科技股份有限公司 基于规模识别模型的策略发送方法、装置和计算机设备
CN113160513A (zh) * 2021-04-19 2021-07-23 杭州舜程科技有限公司 基于多传感器的火焰探测装置
CN113723300A (zh) * 2021-08-31 2021-11-30 平安国际智慧城市科技股份有限公司 基于人工智能的火情监测方法、装置及存储介质
CN114332063A (zh) * 2022-01-04 2022-04-12 合肥工业大学 一种基于背景差分的线束顺序检测方法
CN114332063B (zh) * 2022-01-04 2024-06-25 合肥工业大学 一种基于背景差分的线束顺序检测方法

Also Published As

Publication number Publication date
CN106203334B (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
CN106203334B (zh) 一种室内场景火苗检测方法
Li et al. Traffic light recognition for complex scene with fusion detections
CN101493980B (zh) 一种基于多特征融合的快速视频火焰探测方法
CN111126136B (zh) 一种基于图像识别的烟雾浓度量化方法
CN109977782B (zh) 基于目标位置信息推理的跨店经营行为检测方法
CN103218816B (zh) 一种基于视频分析的人群密度估计方法与人流量统计方法
CN104392468B (zh) 基于改进视觉背景提取的运动目标检测方法
CN104298969B (zh) 基于颜色与haar特征融合的人群规模统计方法
CN107833221A (zh) 一种基于多通道特征融合和机器学习的漏水监测方法
CN105426828B (zh) 人脸检测方法、装置及系统
CN105788142A (zh) 一种基于视频图像处理的火灾检测系统及检测方法
CN105335701B (zh) 一种基于hog与d-s证据理论多信息融合的行人检测方法
CN107403175A (zh) 一种运动背景下的视觉跟踪方法及视觉跟踪系统
CN103810703B (zh) 一种基于图像处理的隧道视频运动目标检测方法
CN107424171A (zh) 一种基于分块的抗遮挡目标跟踪方法
CN104408745A (zh) 一种基于视频图像的实时烟雾场景检测方法
CN105741324A (zh) 移动平台上的运动目标检测识别与跟踪方法
CN109815863A (zh) 基于深度学习和图像识别的烟火检测方法和系统
CN108648211A (zh) 一种基于深度学习的小目标检测方法、装置、设备和介质
Zhang et al. Application research of YOLO v2 combined with color identification
CN109165602A (zh) 一种基于视频分析的黑烟车检测方法
CN116229052B (zh) 一种基于孪生网络的变电站设备状态变化检测方法
CN106611165B (zh) 一种基于相关滤波和颜色匹配的汽车车窗检测方法及装置
CN109684986A (zh) 一种基于车辆检测跟踪的车辆分析方法及系统
CN113657305B (zh) 一种基于视频的黑烟车辆及林格曼黑度等级智能检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant