CN107025652A - 一种基于运动特性和颜色时空信息的火焰检测方法 - Google Patents

一种基于运动特性和颜色时空信息的火焰检测方法 Download PDF

Info

Publication number
CN107025652A
CN107025652A CN201710310723.5A CN201710310723A CN107025652A CN 107025652 A CN107025652 A CN 107025652A CN 201710310723 A CN201710310723 A CN 201710310723A CN 107025652 A CN107025652 A CN 107025652A
Authority
CN
China
Prior art keywords
image
pixel
flame
color space
time information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710310723.5A
Other languages
English (en)
Other versions
CN107025652B (zh
Inventor
强彦
宋宁
赵涓涓
王�华
马瑞青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN201710310723.5A priority Critical patent/CN107025652B/zh
Publication of CN107025652A publication Critical patent/CN107025652A/zh
Application granted granted Critical
Publication of CN107025652B publication Critical patent/CN107025652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于运动特性和颜色时空信息的火焰检测方法,利用真实火焰区域的颜色时空信息特性,将感兴趣区域转换至亮度分量与饱和度分量,通过阈值分别取得前景区域,随图像序列时间顺序依次获得I前景区域与S前景区域,进行存储组成特征序列,再将观察特征值序列输入相关性分析公式进行计算,得到该感兴趣区域是否含有真实火焰的确认结果。当相关性分析结果大于确认阈值,则认为感兴趣区域中含有真实火焰的存在,并发出警报。本发明具有良好的快速性,在较短的处理时间下,具有较高的检测率与较低的误检率,并对光照具有很好的鲁棒性,可用于更为广泛的火灾监控场合。

Description

一种基于运动特性和颜色时空信息的火焰检测方法
技术领域
本发明涉及图像处理中火焰目标检测算法领域,具体是一种基于运动特性和颜色时空信息的火焰检测方法。
背景技术
火灾一直都是森林环境、财产安全的巨大威胁之一,能够及时地对突发火灾进行报警是减少或避免火灾带来损失的有效措施。对于室外的环境,可以安装标量传感器,它们分别利用火灾火焰的烟雾、温度、光的特性对火焰进行探测,但由于空间高度、覆盖范围等因素,往往导致高的误报率。在这种情况下,基于计算机视觉技术的图像型火灾探测技术可以实现更加准确、可视化的监测。近年来,随着计算机视觉技术的快速发展,利用该技术进行火灾报警成为可能,并且已存在一些现有的技术。
现有的技术主要集中在分析火焰特征上。对于颜色分析而言,将采集到的彩色图像转换至RGB通道,对每个像素的这三个通道设置一些阈值条件,将满足这些条件的像素点划分为火焰像素点。其中有三基色分量差分法、动态阈值法等,其基本思想都仅分析了序列图像的静态信息,虽然有效地利用了图像的颜色信息,但忽略了序列图像随时间的变化信息,即从图像序列整体角度去分析运动物体的变化规律,才是火焰区别于其他运动物体的关键所在。
针对图像序列的动态信息,运动目标检测技术是计算机视觉中信息提取的关键步骤,其核心是快速准确地从图像序列中提取出运动目标,是后续火焰目标分析的重要基础。现有运动目标检测技术按照工作原理主要分为三类,光流法,帧差法,背景减除法。光流法能够实现从运动的摄像机拍摄图像序列中提取出运动物体,但其具有很大的计算量,用途较小;帧差法使用相邻两幅图像相减,通过与选定的适当阈值比较得到运动物体,因为其只要使用两幅图像就能够进行运动检测,所以具有较快的速度,实时性较高,在其后来发展出的三帧差法也同样具有这样的优点,但是,使用帧差法得到的运动目标难以获取完整的目标轮廓,无法获得准确的运动检测结果,往往作为运动检测的一种辅助方法;背景减除法是运动检测中使用最为广泛的办法,其主要思想是先构建一个静态背景模型,再将新的图像与背景模型相减,与选定的分割阈值相比较后获得运动目标。
基于背景减除法的运动检测算法主要面对一些难以处理的困难:背景中存在树叶摆动,烟雾等情况,光照变化以及间歇性运动物体存在等现象。目前已经提出很多解决上述一些问题的方法,如建立基于颜色信息的背景模型,基于纹理信息的背景模型,基于像素点的处理办法,基于区域的处理方法,但大多数往往以牺牲实时性为代价而提高处理效果,这在硬件应用领域无疑会带来新的挑战。
总之,现有的基于图像序列信息的火灾预警方法利用了较多的二维信息,如颜色、形状、面积等;也有一些利用了分析局部图像序列的方法,力求分析图像目标的变化规律。现有技术虽然在一些简单的室内场景中,具有较好的检测效果,但是在具有复杂外界环境的场合下,其检测率会明显下降,因为室外环境的光照变化与各种噪声会影响图像特征的获取。
发明内容
基于上述想法,本发明提出一种基于运动特性和颜色时空信息的火焰检测方法,此方法能够适应复杂的森林环境,具有良好的鲁棒性与抗干扰能力,对采集的图像序列进行实时的火焰检测
为实现上述目的,采用如下技术方案:
一种基于运动特性和颜色时空信息的火焰检测方法,包括如下步骤:
(1)选取图像序列的第一张图像,使用此图像中的像素点初始化背景模型;
(2)从第二张图像开始,判断像素点是否属于背景像素,若属于背景像素,则进行背景模型的更新,否则,提取出运动目标作为前景图像,转至步骤(3);
(3)对当前图像与下一张相邻图像分别进行边缘检测,异或合成边缘变化图;
(4)将步骤(2)中提取的前景图像通过邻域均值滤波平滑后与步骤(3)中得到的边缘变化图合成运动变化图,后经二值化处理、形态学变化,标记连通区域,提取出感兴趣区域,转至步骤(5);
(5)将提取出的感兴趣区域转换为I分量图与S分量图,选择合适的阈值进行二值化操作,包括合适的亮度阈值和饱和度阈值,得到I分量区域与S分量区域,存储特征值序列,进行相关性计算,确认火焰的发生,具体包括以下步骤:
a.分析:从原始数据集中选取包含火焰的图像序列与包含伪火的图像序列作为分析样本并依次提取颜色时空信息,其中包括I前景区域和S前景区域,将它们的区域面积值分别记录下来,作为特征序列,通过下式计算它们之间的相关度:
其中r表示相关性系数,Cov(I,S)是I、S的协方差,σI、σS分别是I、S的标准差;通过分析发现,包含真实火焰图像序列中的I区域与S区域变化趋势具有较强的相关性;
b.预处理:对图像序列依次进行运动检测,若无运动区域,则直接按无火焰目标跳过继续下一张图像的检测,否则,提取出图像中的感兴趣区域,取得颜色时空信息特征序列;
c.火焰确认:通过颜色时空信息特征序列,即I前景区域与S前景区域随时间变化的情况,计算相关性系数,若大于阈值θ,则认为图像中确实含有火焰;
correlation(I,S)>θ (7)。
所述的一种基于运动特性和颜色时空信息的火焰检测方法,阈值θ设置为0.55,用于将火焰与伪火焰区分开。
所述的一种基于运动特性和颜色时空信息的火焰检测方法,步骤(1)中:对于任一像素点,首先需要建立背景模型BG(x,y),其后才能进行前景的检测,背景模型BG(x,y)的表达式如下:
BG(x,y)={v1(x,y),v2(x,y),......,vN(x,y)},N=20 (1)
其中BG(x,y)表示背景模型,vN(x,y)表示背景模型中第N个背景模型样本,N是样本的总数,取N为20;
要求背景模型由图像序列的第一张图像建立,建立方式为:在首张图像中,以某个像素点为中心的3*3像素的八邻域为随机采样区域,随机采样20次,共计采样20个背景值。
所述的一种基于运动特性和颜色时空信息的火焰检测方法,步骤(2)中:给定邻域范围阈值R从第二幅图像开始,按如下公式对连续下一幅图像中像素点进行前景或背景判断:
其中,logic(x,y)=1时表示像素点(x,y)被划分为前景点,logic(x,y)=0时表示像素点(x,y)被划分为背景点;BGi(x,y)表示背景模型中的第i个样本,dis(BGi(x,y),image(x,y))表示该像素点与背景模型里第i个样本点的欧式距离,sum是求和运算符,Nmin表示最小满足条件,欧式距离计算公式如下所示:
dis(BGi(x,y),image(x,y))=abs(BGi(x,y),image(x,y)) (3)。
所述的一种基于运动特性和颜色时空信息的火焰检测方法,步骤(2)中:从第二张图像开始,使用取帧间隔TF依次获取图像,当像素点被划分为背景像素的时候,采用更新率F对背景模型进行更新,具体过程如下所述:
首先,对背景模型中的样本点进行更新,采用随机选取的方式,选取样本的其中一个进行更新,用新判定的背景点替换这个样本点;其次,采用邻域内点更新背景点的背景模型来实现这一思想,具体做法是用邻域点的像素值随机替换它的一个背景模型样本值,其中更新率均为F,取值为1/16。
所述的一种基于运动特性和颜色时空信息的火焰检测方法,步骤(3)中:对于每幅图像首先需要通过sobel算子获得边缘图,进而才能得到边缘变化图,具体包括以下步骤:
a.分别将如下2个方向模板沿着图像从一个像素移动到另一个像素,并将像素的中心与图像中的某个像素位置重合;
b.将模板内的系数与其图像上相应的像素值相乘;
c.将所有相乘的值相加;
d.利用2个卷积的值,计算梯度值作为新的灰度值;
e.选取合适的阈值t,若新像素的灰度值>t,则认为该像素点为背景边缘点,突出显示;
f.将当前图像的边缘图与上一张图像的边缘图进行异或,合成得到边缘变化图。
所述的一种基于运动特性和颜色时空信息的火焰检测方法,步骤(4)中:将前景提取图与边缘变化图进行与操作合成后,感兴趣区域的提取还需要经过二值化处理和形态学变化,对于一幅图像,要进行二值化处理,首先需要先找到合适的阈值T,采用Otsu方法取得;其具体实现过程为:设灰阶图像(x,y)的灰度级为0~L,灰度级i的像素数为ni,则图像中总像素数目为灰度级i出现的概率为pi=ni/N,pi≥0,总的灰度平均值为设阈值k将灰度级分为两组C0、C1,分别代表背景和目标:C0=0:k,C1=k+1:L,则有:C0产生的概率为C1产生的概率为C0均值为其中C1均值为两组间的数学期望为μ=ω0μ01μ1,按照模式识别理论,可求出这两类的类间方差为:
σ2(k)=ω00-μ)211-μ)2=ω0ω110)2 (4)
以类间方差σ2(k)作为衡量不同阈值导出类别分离性能的测量准则,极大化σ2(k)的过程就是自动确定阈值的过程,因此最佳阈值T为T=arg max σ2(k);
将此二值图像进行形态学处理,其后再对其进行邻域均值滤波,这里采用3*3窗口大小的模板进行处理。
所述的一种基于运动特性和颜色时空信息的火焰检测方法,步骤(4)中:对各个连通区域进行标记后,才能够提取到感兴趣区域;从二值图像(0,0)坐标开始从上到下扫描整幅图像,如果遇到目标像素,则初始化连通区域的长、宽以及外接矩形信息,标记目标像素所在目标段,记录目标段最左边和最右边像素的x,y坐标。
所述的一种基于运动特性和颜色时空信息的火焰检测方法,步骤(5)中:亮度阈值取值为190,饱和度阈值的取值范围为0.2~0.3,将提取出的I前景区域与S前景区域分别和感兴趣区域进行与操作,取得I前景区域与S前景区域的面积进行存储,以判断感兴趣区域中是否为真实火焰区域。
本发明的有益效果是:
本发明方法采用运动检测结合边缘信息来提取准确的运动目标,去除了伪影的干扰,并能有效的分离噪声与前景目标;在采用颜色时空信息进行火焰确认过程中,采用Otsu自适应阈值,有效避免了光照强度突变引起的干扰,背景的实时更新能够适应天气随时间的变化,有效提高了火焰报警的准确率,降低了干扰物体的假警报率;对森林火焰的平均检测率为91.78%,对非火焰的误检率为7.11%。本发明将运动检测作为一个视觉任务,使用分析取得的运动模型检测新采集图像的运动,使用计算机视觉特征计算分析火焰模式,减少处理量,与现有技术相比,本发明对森林环境的自适应性和火焰动态特征的检测方式,可以达到较好的快速性。
本发明提出的基于运动特性和颜色时空信息的火焰检测方法,不仅执行快速,同时可以保证较高的检测率与较低的误检率,更重要的是可以在复杂的检测环境下保持良好的鲁棒性,可以应用于森林火灾监控场合。
附图说明
图1为本发明的整体流程示意图。
图2为步骤(2)中背景模型的建立过程示意图。
图3为本发明实验发现序列图像中火焰像素的增长图。
图4为本发明分析颜色特性的时空变化特性。
图5是本发明基于运动特性和颜色时空信息的火焰检测方法提取图像序列样本的感兴趣区域结果与常用的混合高斯模型、ViBe算法的对比图,a1、b1是原始样本图像,a2、b2,是采用运动特性与边缘特性提取的感兴趣区域结果图,a3、b3是采用混合高斯模型提取出的感兴趣区域结果图,a4、b4是采用混合高斯模型提取出的感兴趣区域结果图。
图6是本发明基于运动特性和颜色时空信息的火焰检测方法与另外两种方法的检测率对比图。
图7是本发明基于运动特性和颜色时空信息的火焰检测方法与另外两种方法的误检率对比图。
图8是本发明基于运动特性和颜色时空信息的火焰检测方法与另外两种方法的检测时间对比图。
具体实施方式
以下结合具体实施例,对本发明进行详细说明。
一种基于运动特性和颜色时空信息的火焰检测方法,整体过程如图1所示,其中背景模型的建立过程如图2所示,本发明包括以下步骤:
(1)选取图像序列的第一张图像,使用此图像中的像素点初始化背景模型。
步骤(1)中,对于任一像素点,首先需要建立背景模型BG(x,y),其后才能进行前景的检测,背景模型BG(x,y)的表达式如下:
BG(x,y)={v1(x,y),v2(x,y),......,vN(x,y)},N=20 (1)
其中BG(x,y)表示本发明提出的背景模型,vN(x,y)表示背景模型中第N个背景模型样本,N是样本的总数,取N为20。
要求背景模型由图像序列的第一张图像建立,建立方式为:在首张图像中,以某个像素点为中心的3*3像素的八邻域为随机采样区域,随机采样20次,共计采样20个背景值,这种方法获得的背景模型不依赖于历史像素,仅通过单张图像就可以建立,而且具有颜色纹理信息所携带的特性,具有很低的计算量。
(2)从第二张图像开始,判断像素点属于背景像素,则进行背景模型的更新,如图2所示,否则,提取出运动目标作为前景图像,转至步骤(3)。
步骤(2)中:给定邻域范围阈值R,从第二幅图像开始,按如下公式对连续下一幅图像中像素点进行前/背景判断:
其中,logic(x,y)=1时表示像素点(x,y)被划分为前景点,logic(x,y)=0时表示像素点(x,y)被划分为背景点。BGi(x,y)表示背景模型中的第i个样本,dis(BGi(x,y),image(x,y))表示该像素点与背景模型里第i个样本点的欧式距离,sum是求和运算符,Nmin表示最小满足条件,欧式距离计算公式如下所示:
dis(BGi(x,y),image(x,y))=abs(BGi(x,y),image(x,y)) (3);
步骤(2)中:从第二幅图像开始,使用取帧间隔TF依次获取图像,当像素点被划分为背景像素的时候,使用更新率F对背景模型进行更新,具体过程如下所述:首先,对背景模型中的样本点进行更新,采用随机选取的方式,选取样本的其中一个进行更新,用新判定的背景点替换这个样本点;其次,由于背景点一般不会独立存在,其邻域点极有可能也是背景点,但是也不绝对是背景点,所以采用邻域内点更新背景点的背景模型来实现这一思想,具体做法是用邻域点的像素值随机替换它的一个背景模型样本值,其中更新率均为F,这里取值为1/16。
(3)对当前图像与下一张相邻图像分别进行边缘检测,异或合成边缘变化图。
步骤(3)中:对于每幅图像首先需要通过sobel算子获得边缘图,进而才能得到边缘变化图,具体包括以下步骤:
a.分别将如下2个方向模板沿着图像从一个像素移动到另一个像素,并将像素的中心与图像中的某个像素位置重合;
b.将模板内的系数与其图像上相应的像素值相乘;
c.将所有相乘的值相加;
d.利用2个卷积的值,计算梯度值作为新的灰度值;
e.选取合适的阈值t,若新像素的灰度值>t,则认为该像素点为背景边缘点,突出显示;
f.将当前图像的边缘图与上一张图像的边缘图进行异或,合成得到边缘变化图。
(4)将步骤(2)中提取的前景图像与步骤(3)中得到的边缘变化图合成运动变化图,后经二值化处理、形态学变化,提取感兴趣区域,转至步骤(5)。
步骤(4)中:将前景提取图与边缘变化图进行与操作合成后,感兴趣区域(ROI)的提取还需要经过二值化处理和形态学变化,对于一幅图像,要进行二值化处理,首先需要先找到合适的阈值T,采用Otsu方法取得,基本思想是将图像直方图用某一灰度值分割成两组,当被分割成的两组方差最大时,此灰度值就作为图像二值化的阈值T。Otsu阈值法使用范围广泛,不论图像的直方图有无明显的双峰,都能得到比较满意的分割效果。其具体实现过程为:设灰阶图像(x,y)的灰度级为0~L,灰度级i的像素数为ni,则图像中总像素数目为灰度级i出现的概率为pi=ni/N,pi≥0,总的灰度平均值为设阈值k将灰度级分为两组C0、C1,分别代表背景和目标:C0=0:k,C1=k+1:L,则有:C0产生的概率为C1产生的概率为C0均值为其中C1均值为两组间的数学期望为μ=ω0μ01μ1,按照模式识别理论,可求出这两类的类间方差为:
σ2(k)=ω00-μ)211-μ)2=ω0ω110)2 (4)
以类间方差σ2(k)作为衡量不同阈值导出类别分离性能的测量准则,极大化σ2(k)的过程就是自动确定阈值的过程,因此最佳阈值T为T=arg max σ2(k)。
将此二值图像进行形态学处理,其后再对其进行邻域均值滤波,这里采用3*3窗口大小的模板进行处理。
步骤(4)中:对各个连通区域进行标记后,才能够提取到感兴趣区域。从二值图像(0,0)坐标开始从上到下扫描整幅图像,如果遇到目标像素,则初始化连通区域的长、宽以及外接矩形信息,标记目标像素所在目标段,记录目标段最左边和最右边像素的x,y坐标。
(5)将提取出的感兴趣区域转换为I分量图与S分量图,选择合适阈值进行二值化操作,包括合适的亮度阈值和饱和度阈值,得到I分量区域与S分量区域,存储特征值序列,进行相关性计算,确认火焰的发生,具体包括以下步骤:
a.分析:从原始数据集中选取包含火焰的图像序列与包含伪火的图像序列作为分析样本并依次提取颜色时空信息,其中包括I前景区域和S前景区域,将它们的区域面积值分别记录下来,作为特征序列,通过下式计算它们之间的相关度:
其中r表示相关性系数,Cov(I,S)是I、S的协方差,σI、σS分别是I、S的标准差。通过分析发现,包含真实火焰图像序列中的I区域与S区域变化趋势具有较强的相关性。而对于伪火焰的图像序列中它们之间的相关度是弱的或可以忽略的。显然,火焰与伪火灾的相关性系数之间存在着显著的差异,样本中火焰序列的最小相关性系数r值和伪火焰中最大相关性系数r值分别为0.83和0.27,这提供给我们一个宽的阈值选择范围。我们将阈值θ设置为0.55,用于将火焰与伪火焰区分开。
b.预处理:对图像序列依次进行运动检测,若无运动区域,则直接按无火焰目标跳过继续下一张图像的检测,否则,提取出图像中的感兴趣区域,取得颜色时空信息特征序列。
c.火焰确认:通过颜色时空信息特征序列,即I前景区域与S前景区域随时间变化的情况,计算相关性系数,若大于阈值θ,则认为图像中确实含有火焰;
correlation(I,S)>θ
步骤(5)中:采用经验值将亮度阈值取值为190,饱和度阈值的取值范围为0.2~0.3,将提取出的I前景区域与S前景区域分别和感兴趣区域进行与操作,取得I前景区域与S前景区域的面积进行存储,以判断感兴趣区域中是否为真实火焰区域。
针对样本集中的序列,为了设置参数,我们分析了15个火焰序列中的10个,其余与无火序列共同测试算法,这里加入无火的序列是为了测试对伪火焰的误检率。算法中最重要的参数是取帧间隔TF,首先它必须与火焰动力学的时间尺度相关联,其次,其值越高,算法相关联的处理负载越轻,实现的功耗越低,为了设置TF,我们对序列图像建立背景模型,依次获得每张图像中火焰像素的近似数目,如图3所示,发现其数值高度依赖于时间动力学,呈现平滑变化。事实上,大多数的突然变化可以通过每秒采集图像发现,因此,我们设置TF=1s。
在TF、F确定情况下,考虑阈值θ。通过分析火焰图像序列发现,I区域与S区域变化趋势具有较强的相关性,如图4所示。在数据集上,计算S区域与I区域的相关性系数,对伪火焰序列的分析结果显示了I前景区域与S前景区域在所有情况下是弱的或可以忽略的相关,其中手电筒的光与阳光引起了较高的相关性,虽然光照射的不同角度会改变相关性大小,但它们之间的相关度并没有真实火焰高。从对火焰序列的分析结果可以看出,火焰与伪火灾的相关性系数之间存在着显著的差异,样本中火焰序列的最小相关性系数r值和伪火焰中最大相关性系数r值分别为0.83和0.27,这提供给我们一个宽的阈值选择范围。我们将θ设置为0.55,用于将火焰与伪火焰区分开。
图5是本发明基于运动特性和颜色时空信息的火焰检测方法提取图像序列样本的感兴趣区域结果与常用的混合高斯模型、ViBe算法的对比图,a1、b1是原始样本图像,a2、b2,是采用运动特性与边缘特性提取的感兴趣区域结果图,a3、b3是采用混合高斯模型提取出的感兴趣区域结果图,a4、b4是采用混合高斯模型提取出的感兴趣区域结果图。
图6是本发明基于运动特性和颜色时空信息的火焰检测方法与另外两种方法的检测率对比图。其中方法1采用火焰像素分类的通用颜色模型,使用YCbCr色彩空间分离亮度与色度,实现火焰的检测,方法2采用使用颜色的时间空间特性生成特征向量,使用支持向量机分类器训练和测试所提取的特征,进行火焰检测。
图7是本发明基于运动特性和颜色时空信息的火焰检测方法与另外两种方法的误检率对比图。方法1与方法2描述同图6。
图8是本发明基于运动特性和颜色时空信息的火焰检测方法与另外两种方法的检测时间对比图。方法1与方法2描述同图6。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种基于运动特性和颜色时空信息的火焰检测方法,其特征在于,包括如下步骤:
(1)选取图像序列的第一张图像,使用此图像中的像素点初始化背景模型;
(2)从第二张图像开始,判断像素点是否属于背景像素,若属于背景像素,则进行背景模型的更新,否则,提取出运动目标作为前景图像,转至步骤(3);
(3)对当前图像与下一张相邻图像分别进行边缘检测,异或合成边缘变化图;
(4)将步骤(2)中提取的前景图像通过邻域均值滤波平滑后与步骤(3)中得到的边缘变化图合成运动变化图,后经二值化处理、形态学变化,标记连通区域,提取出感兴趣区域,转至步骤(5);
(5)将提取出的感兴趣区域转换为I分量图与S分量图,选择合适的阈值进行二值化操作,包括合适的亮度阈值和饱和度阈值,得到I分量区域与S分量区域,存储特征值序列,进行相关性计算,确认火焰的发生,具体包括以下步骤:
a.分析:从原始数据集中选取包含火焰的图像序列与包含伪火的图像序列作为分析样本并依次提取颜色时空信息,其中包括I前景区域和S前景区域,将它们的区域面积值分别记录下来,作为特征序列,通过下式计算它们之间的相关度:
其中r表示相关性系数,Cov(I,S)是I、S的协方差,σI、σS分别是I、S的标准差;通过分析发现,包含真实火焰图像序列中的I区域与S区域变化趋势具有较强的相关性;
b.预处理:对图像序列依次进行运动检测,若无运动区域,则直接按无火焰目标跳过继续下一张图像的检测,否则,提取出图像中的感兴趣区域,取得颜色时空信息特征序列;
c.火焰确认:通过颜色时空信息特征序列,即I前景区域与S前景区域随时间变化的情况,计算相关性系数,若大于阈值θ,则认为图像中确实含有火焰;
correlation(I,S)>θ (7)。
2.根据权利要求1所述的一种基于运动特性和颜色时空信息的火焰检测方法,其特征在于,阈值θ设置为0.55,用于将火焰与伪火焰区分开。
3.根据权利要求1所述的一种基于运动特性和颜色时空信息的火焰检测方法,其特征在于,步骤(1)中:对于任一像素点,首先需要建立背景模型BG(x,y),其后才能进行前景的检测,背景模型BG(x,y)的表达式如下:
BG(x,y)={v1(x,y),v2(x,y),......,vN(x,y)},N=20 (1)
其中BG(x,y)表示背景模型,vN(x,y)表示背景模型中第N个背景模型样本,N是样本的总数,取N为20;
要求背景模型由图像序列的第一张图像建立,建立方式为:在首张图像中,以某个像素点为中心的3*3像素的八邻域为随机采样区域,随机采样20次,共计采样20个背景值。
4.根据权利要求1所述的一种基于运动特性和颜色时空信息的火焰检测方法,其特征在于,步骤(2)中:给定邻域范围阈值R从第二幅图像开始,按如下公式对连续下一幅图像中像素点进行前景或背景判断:
其中,logic(x,y)=1时表示像素点(x,y)被划分为前景点,logic(x,y)=0时表示像素点(x,y)被划分为背景点;BGi(x,y)表示背景模型中的第i个样本,dis(BGi(x,y),image(x,y))表示该像素点与背景模型里第i个样本点的欧式距离,sum是求和运算符,Nmin表示最小满足条件,欧式距离计算公式如下所示:
dis(BGi(x,y),image(x,y))=abs(BGi(x,y),image(x,y)) (3)。
5.根据权利要求4所述的一种基于运动特性和颜色时空信息的火焰检测方法,其特征在于,步骤(2)中:从第二张图像开始,使用取帧间隔TF依次获取图像,当像素点被划分为背景像素的时候,采用更新率F对背景模型进行更新,具体过程如下所述:
首先,对背景模型中的样本点进行更新,采用随机选取的方式,选取样本的其中一个进行更新,用新判定的背景点替换这个样本点;其次,采用邻域内点更新背景点的背景模型来实现这一思想,具体做法是用邻域点的像素值随机替换它的一个背景模型样本值,其中更新率均为F,取值为1/16。
6.根据权利要求1所述的一种基于运动特性和颜色时空信息的火焰检测方法,其特征在于,步骤(3)中:对于每幅图像首先需要通过sobel算子获得边缘图,进而才能得到边缘变化图,具体包括以下步骤:
a.分别将如下2个方向模板沿着图像从一个像素移动到另一个像素,并将像素的中心与图像中的某个像素位置重合;
b.将模板内的系数与其图像上相应的像素值相乘;
c.将所有相乘的值相加;
d.利用2个卷积的值,计算梯度值作为新的灰度值;
e.选取合适的阈值t,若新像素的灰度值>t,则认为该像素点为背景边缘点,突出显示;
f.将当前图像的边缘图与上一张图像的边缘图进行异或,合成得到边缘变化图。
7.根据权利要求1所述的一种基于运动特性和颜色时空信息的火焰检测方法,其特征在于,步骤(4)中:将前景提取图与边缘变化图进行与操作合成后,感兴趣区域的提取还需要经过二值化处理和形态学变化,对于一幅图像,要进行二值化处理,首先需要先找到合适的阈值T,采用Otsu方法取得;其具体实现过程为:设灰阶图像(x,y)的灰度级为0~L,灰度级i的像素数为ni,则图像中总像素数目为灰度级i出现的概率为pi=ni/N,pi≥0,总的灰度平均值为设阈值k将灰度级分为两组C0、C1,分别代表背景和目标:C0=0:k,C1=k+1:L,则有:C0产生的概率为C1产生的概率为C0均值为其中C1均值为两组间的数学期望为μ=ω0μ01μ1,按照模式识别理论,可求出这两类的类间方差为:
σ2(k)=ω00-μ)211-μ)2=ω0ω110)2 (4)
以类间方差σ2(k)作为衡量不同阈值导出类别分离性能的测量准则,极大化σ2(k)的过程就是自动确定阈值的过程,因此最佳阈值T为T=arg maxσ2(k);
将此二值图像进行形态学处理,其后再对其进行邻域均值滤波,这里采用3*3窗口大小的模板进行处理。
8.根据权利要求1所述的一种基于运动特性和颜色时空信息的火焰检测方法,其特征在于,步骤(4)中:对各个连通区域进行标记后,才能够提取到感兴趣区域;从二值图像(0,0)坐标开始从上到下扫描整幅图像,如果遇到目标像素,则初始化连通区域的长、宽以及外接矩形信息,标记目标像素所在目标段,记录目标段最左边和最右边像素的x,y坐标。
9.根据权利要求1所述的一种基于运动特性和颜色时空信息的火焰检测方法,其特征在于,步骤(5)中:亮度阈值取值为190,饱和度阈值的取值范围为0.2~0.3,将提取出的I前景区域与S前景区域分别和感兴趣区域进行与操作,取得I前景区域与S前景区域的面积进行存储,以判断感兴趣区域中是否为真实火焰区域。
CN201710310723.5A 2017-05-05 2017-05-05 一种基于运动特性和颜色时空信息的火焰检测方法 Active CN107025652B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710310723.5A CN107025652B (zh) 2017-05-05 2017-05-05 一种基于运动特性和颜色时空信息的火焰检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710310723.5A CN107025652B (zh) 2017-05-05 2017-05-05 一种基于运动特性和颜色时空信息的火焰检测方法

Publications (2)

Publication Number Publication Date
CN107025652A true CN107025652A (zh) 2017-08-08
CN107025652B CN107025652B (zh) 2019-09-27

Family

ID=59528403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710310723.5A Active CN107025652B (zh) 2017-05-05 2017-05-05 一种基于运动特性和颜色时空信息的火焰检测方法

Country Status (1)

Country Link
CN (1) CN107025652B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010050A (zh) * 2017-11-27 2018-05-08 电子科技大学 一种基于自适应背景更新和选择性背景更新的前景检测方法
CN108985374A (zh) * 2018-07-12 2018-12-11 天津艾思科尔科技有限公司 一种基于动态信息模型的火焰检测方法
CN109726620A (zh) * 2017-10-31 2019-05-07 北京国双科技有限公司 一种视频火焰检测方法及装置
CN109741350A (zh) * 2018-12-04 2019-05-10 江苏航天大为科技股份有限公司 基于形态学变化与活动点填充的交通视频背景提取方法
CN109902666A (zh) * 2019-03-29 2019-06-18 国网湖南省电力有限公司 一种基于二维otsu的电网山火潜在火点识别方法
CN110287812A (zh) * 2019-06-04 2019-09-27 安徽中盛溯源生物科技有限公司 动物转圈行为的计算方法及其应用
CN110309808A (zh) * 2019-07-09 2019-10-08 北京林业大学 一种大范围尺度空间下的自适应烟雾根节点检测方法
CN110910402A (zh) * 2019-11-01 2020-03-24 武汉纺织大学 一种夜间室外火焰检测方法
CN111882568A (zh) * 2020-06-28 2020-11-03 北京石油化工学院 火灾图像边缘提取处理方法、终端及系统
CN112052823A (zh) * 2020-09-17 2020-12-08 江苏怀业信息技术股份有限公司 目标检测方法和装置
CN112150750A (zh) * 2020-08-25 2020-12-29 航天信德智图(北京)科技有限公司 一种基于边缘计算的森林火警监测系统
CN112734722A (zh) * 2021-01-08 2021-04-30 昆明理工大学 一种基于改进完全局部二值模式火焰终点碳含量预测方法
CN112949536A (zh) * 2021-03-16 2021-06-11 中信重工开诚智能装备有限公司 一种基于云平台的火灾报警方法
CN113255684A (zh) * 2021-06-28 2021-08-13 恒银金融科技股份有限公司 一种基于灰度图溢出的背景分离方法
CN113379999A (zh) * 2021-06-22 2021-09-10 徐州才聚智能科技有限公司 火情检测方法、装置、电子设备及存储介质
CN114022451A (zh) * 2021-11-05 2022-02-08 华能国际电力股份有限公司上海石洞口第二电厂 一种基于图像分割识别的火焰智能检测方法
CN114046533A (zh) * 2021-08-31 2022-02-15 汉谷云智(武汉)科技有限公司 一种基于火焰分析寻优的煤粉炉燃烧优化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908142A (zh) * 2010-08-04 2010-12-08 丁天 一种基于特征分析的视频火焰检测方法
CN103324910A (zh) * 2013-05-06 2013-09-25 南京新奕天智能视频技术有限公司 一种基于视频检测的火灾报警方法
CN105741319A (zh) * 2016-01-22 2016-07-06 浙江工业大学 基于盲目更新策略和前景模型的改进视觉背景提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908142A (zh) * 2010-08-04 2010-12-08 丁天 一种基于特征分析的视频火焰检测方法
CN103324910A (zh) * 2013-05-06 2013-09-25 南京新奕天智能视频技术有限公司 一种基于视频检测的火灾报警方法
CN105741319A (zh) * 2016-01-22 2016-07-06 浙江工业大学 基于盲目更新策略和前景模型的改进视觉背景提取方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
王全 等: "海计算模式下的森林火焰识别算法", 《计算机工程与设计》 *
谢妍梅 等: "基于HSI颜色空间的彩色图像边缘检测", 《计算机工程》 *
郭维 等: "基于HIS模型的火焰图像分割算法研究", 《电脑开发与应用》 *
陈磊 等: "基于视频的火焰检测方法", 《计算机工程与设计》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726620B (zh) * 2017-10-31 2021-02-05 北京国双科技有限公司 一种视频火焰检测方法及装置
CN109726620A (zh) * 2017-10-31 2019-05-07 北京国双科技有限公司 一种视频火焰检测方法及装置
CN108010050A (zh) * 2017-11-27 2018-05-08 电子科技大学 一种基于自适应背景更新和选择性背景更新的前景检测方法
CN108985374A (zh) * 2018-07-12 2018-12-11 天津艾思科尔科技有限公司 一种基于动态信息模型的火焰检测方法
CN109741350A (zh) * 2018-12-04 2019-05-10 江苏航天大为科技股份有限公司 基于形态学变化与活动点填充的交通视频背景提取方法
CN109741350B (zh) * 2018-12-04 2020-10-30 江苏航天大为科技股份有限公司 基于形态学变化与活动点填充的交通视频背景提取方法
CN109902666A (zh) * 2019-03-29 2019-06-18 国网湖南省电力有限公司 一种基于二维otsu的电网山火潜在火点识别方法
CN109902666B (zh) * 2019-03-29 2023-11-24 国网湖南省电力有限公司 一种基于二维otsu的电网山火潜在火点识别方法
CN110287812A (zh) * 2019-06-04 2019-09-27 安徽中盛溯源生物科技有限公司 动物转圈行为的计算方法及其应用
CN110287812B (zh) * 2019-06-04 2023-04-07 安徽中盛溯源生物科技有限公司 动物转圈行为的计算方法及其应用
CN110309808A (zh) * 2019-07-09 2019-10-08 北京林业大学 一种大范围尺度空间下的自适应烟雾根节点检测方法
CN110910402A (zh) * 2019-11-01 2020-03-24 武汉纺织大学 一种夜间室外火焰检测方法
CN110910402B (zh) * 2019-11-01 2022-07-29 武汉纺织大学 一种夜间室外火焰检测方法
CN111882568A (zh) * 2020-06-28 2020-11-03 北京石油化工学院 火灾图像边缘提取处理方法、终端及系统
CN111882568B (zh) * 2020-06-28 2023-09-15 北京石油化工学院 火灾图像边缘提取处理方法、终端及系统
CN112150750A (zh) * 2020-08-25 2020-12-29 航天信德智图(北京)科技有限公司 一种基于边缘计算的森林火警监测系统
CN112052823A (zh) * 2020-09-17 2020-12-08 江苏怀业信息技术股份有限公司 目标检测方法和装置
CN112734722A (zh) * 2021-01-08 2021-04-30 昆明理工大学 一种基于改进完全局部二值模式火焰终点碳含量预测方法
CN112949536A (zh) * 2021-03-16 2021-06-11 中信重工开诚智能装备有限公司 一种基于云平台的火灾报警方法
CN112949536B (zh) * 2021-03-16 2022-09-16 中信重工开诚智能装备有限公司 一种基于云平台的火灾报警方法
CN113379999A (zh) * 2021-06-22 2021-09-10 徐州才聚智能科技有限公司 火情检测方法、装置、电子设备及存储介质
CN113379999B (zh) * 2021-06-22 2024-05-24 徐州才聚智能科技有限公司 火情检测方法、装置、电子设备及存储介质
CN113255684A (zh) * 2021-06-28 2021-08-13 恒银金融科技股份有限公司 一种基于灰度图溢出的背景分离方法
CN113255684B (zh) * 2021-06-28 2021-10-26 恒银金融科技股份有限公司 一种基于灰度图溢出的背景分离方法
CN114046533A (zh) * 2021-08-31 2022-02-15 汉谷云智(武汉)科技有限公司 一种基于火焰分析寻优的煤粉炉燃烧优化方法
CN114046533B (zh) * 2021-08-31 2024-03-12 汉谷云智(武汉)科技有限公司 一种基于火焰分析寻优的煤粉炉燃烧优化方法
CN114022451A (zh) * 2021-11-05 2022-02-08 华能国际电力股份有限公司上海石洞口第二电厂 一种基于图像分割识别的火焰智能检测方法

Also Published As

Publication number Publication date
CN107025652B (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
CN107025652B (zh) 一种基于运动特性和颜色时空信息的火焰检测方法
CN115082683B (zh) 一种基于图像处理的注塑缺陷检测方法
CN104392468B (zh) 基于改进视觉背景提取的运动目标检测方法
US20230289979A1 (en) A method for video moving object detection based on relative statistical characteristics of image pixels
AU2016250791B2 (en) Colony contrast gathering
CN105404847B (zh) 一种遗留物实时检测方法
Sanin et al. Shadow detection: A survey and comparative evaluation of recent methods
CN104715238B (zh) 一种基于多特征融合的行人检测方法
CN107085714B (zh) 一种基于视频的森林火灾检测方法
CN106682635B (zh) 一种基于随机森林特征选择的烟雾检测方法
CN110298297B (zh) 火焰识别方法和装置
CN104408482B (zh) 一种高分辨率sar图像目标检测方法
CN108229458A (zh) 一种基于运动检测和多特征提取的火焰智能识别方法
CN107833221A (zh) 一种基于多通道特征融合和机器学习的漏水监测方法
CN107480607B (zh) 一种智能录播系统中站立人脸检测定位的方法
CN106846362A (zh) 一种目标检测跟踪方法和装置
CN103761529A (zh) 一种基于多色彩模型和矩形特征的明火检测方法和系统
CN108038867A (zh) 基于多特征融合和立体视觉的火焰检测和定位方法
CN107240112B (zh) 一种复杂场景下个体x角点提取方法
CN109460764A (zh) 一种结合亮度特征与改进帧间差分法的卫星视频船舶监测方法
Russell et al. An evaluation of moving shadow detection techniques
CN106447701A (zh) 用于图像相似性确定、对象检测和跟踪的方法和装置
CN103413149B (zh) 复杂背景中实现静态目标检测和识别的方法
CN106326834A (zh) 人体性别自动识别方法及装置
CN114202646A (zh) 一种基于深度学习的红外图像吸烟检测方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant