CN111951250B - 一种基于图像的火灾检测方法 - Google Patents

一种基于图像的火灾检测方法 Download PDF

Info

Publication number
CN111951250B
CN111951250B CN202010817904.9A CN202010817904A CN111951250B CN 111951250 B CN111951250 B CN 111951250B CN 202010817904 A CN202010817904 A CN 202010817904A CN 111951250 B CN111951250 B CN 111951250B
Authority
CN
China
Prior art keywords
frame image
current frame
background
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010817904.9A
Other languages
English (en)
Other versions
CN111951250A (zh
Inventor
刘琳
魏凤笛
刘佳磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN202010817904.9A priority Critical patent/CN111951250B/zh
Publication of CN111951250A publication Critical patent/CN111951250A/zh
Application granted granted Critical
Publication of CN111951250B publication Critical patent/CN111951250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像的火灾检测方法,获取当前帧图像和背景帧图像;对当前帧图像和背景帧图像进行第一预处理,得到第一预处理当前帧图像和第一预处理背景帧图像;提取形状不规则特征、背景模糊特征以及面积增长率;基于第一BP神经网络模型,以形状不规则特征、背景模糊特征和面积增长率作为输入值,得出烟雾检测结果;当烟雾检测结果为有烟雾时,对当前帧图像和背景帧图像进行火焰检测,并根据火焰检测结果得到火灾检测结果;本发明通过将背景帧图像作为图像比对的基础,提取当前帧图像和背景帧图像中的烟雾特征,再结合BP神经网络模型,先对图像中的烟雾进行检测,若无烟雾,则不需要进行火焰检测,节省检测时间,提升检测效率。

Description

一种基于图像的火灾检测方法
技术领域
本发明属于图像检测技术领域,尤其涉及一种基于图像的火灾检测方法。
背景技术
火的使用与早期人类社会的进步息息相关,与此同时,由火焰引发的火灾却对人们的生命财产安全造成了严重威胁。
随着科技的发展,人们逐渐意识到需要加强预警监测系统建设,与其在意外发生时耗时耗力控制,不如提高火灾预警水平,及时发现着火区域,尽早控制并消灭火情。因此如何高效的检测、报警火灾,及时预防、控制火情,引起人们的极大关注。
火灾的发生对人们造成的各种危害使得火灾报警系统的研究发展在很早之前就已经展开。最初的火灾报警系统主要是基于检测火灾发生时产生的燃烧物质而进行的传感器报警,后期为了实现多传感器集成警报,使用了感烟、感温、感光探测器及复合型探测器等多个传感器。利用火焰的烟雾,温度和光的特征来检测火灾并转换火灾信号(模拟信号),并将其转换为电信号(数字信号),反馈给控制中心进行检测。
但是,对于户外及高大空间而言,传统感烟、感温、感光式火灾探测器等单一判据的监测系统应用性不强,易受环境内其他因素干扰,误报率较高。
发明内容
本发明的目的是提供一种基于图像的火灾检测方法,通过与烟雾和火焰进行结合分析,提高火灾检测准确率,降低火灾预警的误报率。
本发明采用以下技术方案:一种基于图像的火灾检测方法,包括以下步骤:
获取当前帧图像和背景帧图像;
对当前帧图像和背景帧图像进行第一预处理,得到第一预处理当前帧图像和第一预处理背景帧图像;其中,背景帧图像为当前帧图像之前的第N帧图像,N为大于等于1的整数;
提取第一预处理当前帧图像中第三区域的形状不规则特征、第一预处理当前帧图像和第一预处理背景帧图像之间的背景模糊特征、以及第一预处理当前帧图像和第一预处理背景帧图像中的疑似烟雾区域的面积增长率;
基于第一BP神经网络模型,以形状不规则特征、背景模糊特征和面积增长率作为输入值,得出烟雾检测结果;
当烟雾检测结果为有烟雾时,对当前帧图像和背景帧图像进行火焰检测,并根据火焰检测结果确定火灾检测结果。
进一步地,第一预处理包括:
通过背景减除法对当前帧图像/背景帧图像与对应的对比帧图像进行比较,得到具有第一区域的当前帧图像/背景帧图像;其中,对比帧图像为当前帧图像/背景帧图像之前的第M帧图像,M为大于等于1的整数;
以第一预定阈值对当前帧图像/背景帧图像的R、G、B通道进行颜色提取并滤波,得到具有R通道特征的当前帧图像/背景帧图像、具有G通道特征的当前帧图像/背景帧图像和具有B通道特征的当前帧图像/背景帧图像;
将具有R通道特征的当前帧图像/背景帧图像、具有G通道特征的当前帧图像/背景帧图像和具有B通道特征的当前帧图像/背景帧图像进行融合,得到具有第二区域的当前帧图像/背景帧图像;
将具有第一区域的当前帧图像/背景帧图像和具有第二区域的当前帧图像/背景帧图像进行融合,得到具有第三区域的当前帧图像/背景帧图像;
对具有第三区域的当前帧图像/背景帧图像中的第三区域依次进行边缘检测和形态学处理,得到第一预处理当前帧图像/第一预处理背景帧图像。
进一步地,第一BP神经网络模型具有3个输入特征值、2层隐藏层和1层输出层;其中,3个输入特征值分别对应形状不规则特征、背景模糊特征和面积增长率。
进一步地,对当前帧图像和背景帧图像进行火焰检测方法为:
对当前帧图像和背景帧图像进行第二预处理,得到第二预处理当前帧图像和第二预背景帧图像;
提取第二预处理当前帧图像中火焰区域的质心特征、第二预处理当前帧图像和第二预背景帧图像中火焰区域的面积变化特征、第二预处理当前帧图像中火焰区域的尖角特征、以及第二预处理当前帧图像中火焰区域的纹理特征;
基于第二BP神经网络模型,以质心特征、面积变化特征、尖角特征和纹理特征为输入值,得到火焰检测结果。
进一步地,第二预处理的具体方法为:
通过大津法对当前帧图像/背景帧图像进行自适应阈值二值化处理,得到具有第四区域的当前帧图像/背景帧图像;
以第二预定阈值对当前帧图像/背景帧图像的R、G、B通道进行颜色提取并滤波,得到具有R通道特征的当前帧图像/背景帧图像、具有G通道特征的当前帧图像/背景帧图像和具有B通道特征的当前帧图像/背景帧图像;
将具有R通道特征的当前帧图像/背景帧图像、具有G通道特征的当前帧图像/背景帧图像和具有B通道特征的当前帧图像/背景帧图像进行融合,得到具有第五区域的当前帧图像/背景帧图像;
将具有第四区域的当前帧图像/背景帧图像和具有第五区域的当前帧图像/背景帧图像进行融合,得到具有第六区域的当前帧图像/背景帧图像;
对具有第六区域的当前帧图像/背景帧图像中的第三区域依次进行边缘检测和形态学处理,得到第二预处理当前帧图像/第二预处理背景帧图像。
进一步地,第二BP神经网络模型具有10个输入特征值、2层隐藏层和1层输出层;
其中,10个输入特征值分别对应质心特征中的质心横坐标和质心纵坐标,面积变化特征,尖角特征,纹理特征中的角二阶矩、相关度、熵、对比度、逆差矩,以及第二预处理当前帧图像中第六区域的高度。
进一步地,提取第一预处理当前帧图像中第三区域的形状不规则特征包括:
获取第三区域的边缘像素点数量以及第三区域的像素点总数量;
通过STD=SEP/STP计算出不规则性的量度,将不规则性的量度作为第三区域的形状不规则特征;其中,STD为不规则性的量度,SEP是第三区域的边缘像素数量,STP是第三区域的像素点总数量。
进一步地,形态学处理包括:
对进行边缘检测后的当前帧图像/背景帧图像依次进行闭运算和开运算;
其中,闭运算为依次进行膨胀操作和腐蚀操作;开运算为依次进行腐蚀操作和膨胀操作;
膨胀操作为将与第三区域/第六区域边缘像素点接触的其他像素点进行合并;
腐蚀操作为将第三区域/第六区域边缘像素点向内收缩。
本发明的有益效果是:本发明通过将背景帧图像作为图像比对的基础,提取当前帧图像和背景帧图像中的烟雾特征,再结合BP神经网络模型,先对图像中的烟雾进行检测,若无烟雾,则不需要进行火焰检测,节省检测时间,提升检测效率,当检测到烟雾后再获取当前帧图像和背景帧图像中的火焰特征,结合火焰的BP神经网络模型对当前帧图像进行检测,最后根据火焰检测结果输出火灾检测结果,进而提升火灾检测精度,降低误报率。
附图说明
图1为本发明实施例一种基于图像的火灾检测方法的流程图;
图2为本发明实施例中第一预处理过程中各阶段得到的当前帧图像;
图3为本发明实施例中提取背景模糊特征过程中得到小波变换过程图;
图4为本发明实施例中烟雾扩散对比示意图;
图5为本发明实施例中的第一BP神经网络的输入输出示意图;
图6为本发明实施例中第二预处理过程中产生的图像;
图7为本发明实施例中各边缘检测方法的对比效果图;
图8为本发明实施例中的第二BP神经网络的输入输出示意图;
图9为本发明验证实施例中烟雾真实值预测值对比结果图;
图10为本发明验证实施例中火焰真实值预测值对比结果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
图像检测预警火灾技术作为一种非接触式的技术,并非采用人眼的主观判断而是基于机器视觉的客观决策。可以实现一些复杂场景的火灾检测,如人为很难覆盖全面的原始森林火灾检测、高大室外广阔空间检测等,这类方法具有响应快、成本低、监测限制小、抗干扰能力强等优点。
但对于火焰检测流程,当下处理方法大都基于灰度图处理,采用判据显得比较单一。漏判、误判率往往比较高,系统的鲁棒性、适应性比较差,这些局限性导致火焰检测效率并不能满足实际需求。
随着视频监控技术和图像处理技术的飞速发展,基于图像特征的火灾检测系统可以大大提高火灾检测的可靠性和准确率,具有广泛的应用场景。视频监控系统,涵盖数字通信和数字图像处理技术,通过远程火灾视频,实现基于火焰、烟雾特征的火情分析决策。在高大空间或者户外恶劣环境下,提出火灾检测方案。
针对传统传感器、探测器数据采集的单一性检测问题,以及野外等高大空间人工监控的难度问题,本发明提出基于视频的多特征融合的火灾检测方法。首先从视频帧数化、图像滤波、图像分割、形态学处理四部分进行火灾图像预处理;然后从火焰特征提取和烟雾特征提取两部分着手,提取了10个火焰特征和3个烟雾特征;最后采用BP神经网络,将上述特征作为神经网络的输入对网络进行训练,从而检测火灾是否发生。仿真结果表明,本设计可以实现对于烟雾和火焰的准确检测。
本发明公开了一种基于图像的火灾检测方法,如图1所示,包括以下步骤:
获取当前帧图像和背景帧图像;对当前帧图像和背景帧图像进行第一预处理,得到第一预处理当前帧图像和第一预处理背景帧图像;其中,背景帧图像为当前帧图像之前的第N帧图像,N为大于等于1的整数;提取第一预处理当前帧图像中第三区域的形状不规则特征、第一预处理当前帧图像和第一预处理背景帧图像之间的背景模糊特征、以及第一预处理当前帧图像和第一预处理背景帧图像中的疑似烟雾区域之间的面积增长率;基于第一BP神经网络模型,以形状不规则特征、背景模糊特征和面积增长率作为输入值,得出烟雾检测结果;当烟雾检测结果为有烟雾时,对当前帧图像和背景帧图像进行火焰检测,并根据火焰检测结果确定火灾检测结果。
本发明通过将背景帧图像作为图像比对的基础,提取当前帧图像和背景帧图像中的烟雾特征,再结合BP神经网络模型,先对图像中的烟雾进行检测,若无烟雾,则不需要进行火焰检测,节省检测时间,提升检测效率,当检测到烟雾后再获取当前帧图像和背景帧图像中的火焰特征,结合火焰的BP神经网络模型对当前帧图像进行检测,最后根据火焰检测结果输出火灾检测结果,进而提升火灾检测精度,降低误报率。
在本发明的一个实施例中第一预处理包括:
通过背景减除法对当前帧图像/背景帧图像与对应的对比帧图像进行比较,得到具有第一区域的当前帧图像/背景帧图像;其中,对比帧图像为当前帧图像/背景帧图像之前的第M帧图像,M为大于等于1的整数。以第一预定阈值对当前帧图像/背景帧图像的R、G、B通道进行颜色提取并滤波,得到具有R通道特征的当前帧图像/背景帧图像、具有G通道特征的当前帧图像/背景帧图像和具有B通道特征的当前帧图像/背景帧图像。将具有R通道特征的当前帧图像/背景帧图像、具有G通道特征的当前帧图像/背景帧图像和具有B通道特征的当前帧图像/背景帧图像进行融合,得到具有第二区域的当前帧图像/背景帧图像。将具有第一区域的当前帧图像/背景帧图像和具有第二区域的当前帧图像/背景帧图像进行融合,得到具有第三区域的当前帧图像/背景帧图像。对具有第三区域的当前帧图像/背景帧图像中的第三区域依次进行边缘检测和形态学处理,得到第一预处理当前帧图像/第一预处理背景帧图像。
判断是否发生火灾,最直观的方法便是观察图像信息中是否具有火焰以及烟雾。火灾发生初期,火势发展需要一定的时间,燃烧面积不大并且着火点固定。但火灾火焰并非固定不变,受到外界环境影响,不同时刻的火焰无论是面积,辐射能量还是形状都在不断发生变化。通过这个性质,可以将火焰与路灯、烛火等元素区分开。一般情况下,在发生火灾时,烟雾比火焰出现的更早,在森林等高大空间内的火灾视频中,火焰占比较小。因此,本实施例中在提取火灾特征时,烟雾特征提取和火焰特征提取同样重要。所以,先进行烟雾特征提取,后进行火焰特征提取,并且,为了提升检测效率,当未检测到烟雾时,可以不检测火焰,直接判断没有火灾发生。
进行烟雾特征提取之前,首先进行运动目标检测和运动区域提取,获得疑似烟雾区域,接下来对疑似区域进行烟雾颜色筛选,进一步缩小目标区域。最后基于疑似烟雾区域进行特征提取。
上述的第一预处理过程,即为获取疑似烟雾区域的过程,第三区域即为最终得到的疑似烟雾区域。
发生火灾时,烟雾受到外界影响,面积扩散较快,并且这种扩散是无规则的。因此,本实施例首先采取目标检测的方法,对烟雾区域进行初步提取。目标检测方法各有千秋,常见的有背景减除法、光流法、帧间差法等。
本实施例主要采用背景减除法。通过背景减除法,可以较好的检测烟雾区域。其主要思想是将当前帧与对比帧进行差分比较,通过背景减除得到运动目标。其中,前景运动区域即为背景减除中区别较大的区域,同理,区别较小的区域则为背景区域。
差分图像可表示为:
Dk(i,j)=|fk(i,j)-Bk-1(i,j)|,
离散图像的坐标为(i,j),对差分图像执行二值化处理以获得图像的像素值和阈值。通过将像素值与阈值T进行比较,大于阈值则为前景图像,置1,小于阈值则为背景图像,置0。从而获得运动区域Rk(i,j),用下式表示:
如图2所示,为本发明实施例中对当前帧图像进行第一预处理的过程中得到的处理图像。其中图2(a)为背景帧图像,图2(b)为当前帧图像,本实施例中,将背景帧图像作为当前帧图像的对比帧图像,进而得到如图2(c)中背景减法后的当前帧图像。图2(d)为具有第二区域的当前帧图像。图2(e)为将图2(c)和图2(d)进行融合后的当前帧图像,该图像中包括第三区域,即疑似烟雾区域。图2(f)为对第三区域进行边缘检测后的当前帧图像,图2(g)为进行膨胀操作后的当前帧图像,图2(h)为进行形态学处理后的当前帧图像,即进行第一预处理后的当前帧图像,图像中的白色部分即为进行处理后的第三区域。
得到第一预处理后的当前帧图像后,则开始提取烟雾特征。对于烟雾特征,分子总是处于永不停息的无规则运动之中,火灾发生时,烟雾也会发生无规则的运动。从早期的小面积不断扩大范围,呈现出来的运动趋势是不规则的。判断烟雾区域的形状较为困难,因其不规则性,导致没有准确的计算法则。但是,在相同面积下,不规则形状的物体的周长会更长。
进而,提取第一预处理当前帧图像中第三区域的形状不规则特征包括:
获取第三区域的边缘像素点数量以及第三区域的像素点总数量;通过STD=SEP/ST计算出不规则性的量度,将不规则性的量度作为第三区域的形状不规则特征;其中,STD为不规则性的量度,用于将烟雾与其他规则形状的物体区分开,SEP是第三区域的边缘像素数量,STP是第三区域的像素点总数量。
具体的,相当于提取了可疑烟雾区域的面积和周长,并计算了比率。实现对于形状不规则特征的提取。
因为烟雾具有半透明的性质,烟雾的出现使得图像背景变得模糊。因此,火灾发生时,烟雾会对背景图像造成遮挡。小波变换被广泛应用于分析检测烟雾,可有效将烟雾与其他遮挡物体区分开。
对图像进行小波分解可以得到四幅图像,如图3所示,其中低频分量位于左上角,即图3(a),其余三幅高频分量图像表示原始图像位于水平(图3(b))、垂直(图3(c))、对角(图3(d))三个方向的纹理特征,通过对比背景视频帧和烟雾视频帧可以得到烟雾的扩散使得图像的三个高频分量图像信息减少。
根据上述分析,令E(BΩ,n)为第n张视频帧,并且此高频图像包含视频帧中全部高频信息。通过公式可以清晰的表示出来:
E(BΩ,n)=|LHn(i,j)|2+|HLn(i,j)|2+|HHn(i,j)|2
在上面提取的烟雾视频帧中,第n帧(当前帧)的高频能量为en,其对背景视频帧进行二次小波变换获得的高频能量为ebn(背景帧)。将第n帧包含疑似区域的视频帧与包含背景区域的视频帧之间高频能量缩减的性质,也就是烟雾图像的背景模糊特征用表示,得到下式:
一般物体的缩减性质小于0.1,而视频帧中出现烟雾时的值就大致位于(0.2,0.8)区间,因此,将/>作为检测烟雾信息的一个特征,即背景模糊特征。
在视频中,烟雾区域随时间变化,但是其他对象不具有此功能。如图4所示,左侧为烟雾早期图像,右侧为烟雾晚期图像,通过观察烟雾特性可知,火灾发生前期,烟雾面积是不断扩大的。由于温度升高会使得分子的扩散速度增快,而火情发生时,往往伴随着高温,这使得烟雾面积扩散的更快。因此,可以采用连续帧或者间隔帧之间的面积变化率来判决其扩散情况。
将ti时刻的疑似烟雾面积设为Si,ti+k时刻疑似面积设为Si+k。将ti与ti+k时刻之间的面积差表示为Si+k-Si。则ti到ti+k的面积增长率可表示为:
对于BP神经网络,为了对系统进行准确的判别和预测,需要建立稳定的、性能优良的模型。传统的识别方法对于线性系统而言可以满足识别需求,但对于非线性系统而言,仅凭传统方法无法满足需求。神经网络的出现,在很大程度上解决了非线性系统的判别问题。因为神经网络具有通过学习逼近任意非线性映射的能力,神经网络由于不受非线性问题的限制而被广泛用于各种领域。
BP神经网络是多层前馈神经网络,其权重通过反向传播(Back Propagation)算法进行调整。BP神经网络的结构分为三层:输入层,隐藏层和输出层。根据连接权重连接不同层中的神经元,但是不同层中的神经元彼此不连接。通过足够数量的样本训练,使偏差达到最小误差,则达成训练目的,使得即使不属于训练样本集的数据也能有良好的输出。
BP算法主要由非线性转化、反向传播、权值修正、终止条件四个部分展开。其中权值修正部分一般采用梯度下降法。
1)非线性转化
由输入层到隐藏层:
由隐藏层到输出层:
两个公式进行总结,可以得到:
当前层单元值可以用Ij表示,上一层的单元值可以用oi表示,wij为两层之间连接两个单元值的权重值,θj为神经网络每一层的偏向值。要对每一层的输出进行非线性的转换,当前层输出为Ij,f为非线性转化函数,又称为激活函数,定义如下:
即每一层的输出为:
以这种方式,通过输入值在向前方向上获得每一层的输出值。输入样本进入神经网络,通过每个权重层接收加权总和,并通过激活函数映射,传至最后一层得到输出结果。
2)反向传播部分,将实际输出与理想输出进行比较以计算误差。然后,误差会传播到神经元的每一层,从而改变每一层的权重和阈值。
3)权值修正
梯度下降法原则:权值修正应当沿着梯度下降最快的方向进行修正。
4)终止条件
偏差更新低于阈值,预测错误率低于阈值,达到预定的循环次数。
在本发明的一个实施例中,对采集到的烟雾视频图像进行预处理和特征提取等操作,并将提取出的特征作为BP神经网络的输入层。但中间隐层节点数没有有效方法确定,因此需进行反复试验来确定最优的隐层节点数。本实施例所设计的系统要求对检测结果进行报警,因此,可对结果进行归一化处理,输出层只需一个节点输出需报警情况即可,从而完成火灾检测。
测试集和训练集的选取原则:
由于神经网络训练结果的好坏与训练集内容有很大关系,为了尽可能的涵盖各种火灾情况。本实施例的样本包括单一背景火焰和人为干扰源。其中,单一背景火焰包括室内小面积火焰,开阔路面火焰烟雾等。人为干扰源主要是自然光、路灯、车灯等日常出现频率较高且容易误判的物体。除此之外,对于蜡烛火、香烟火等生活火焰也提取一定数量的训练样本。
输入、输出层确定:
使用神经网络时,可以根据要实现的目标,确定输入和输出层中的节点数。本实施例所采用的输入节点数即为火焰和烟雾的特征数,由于最终目标是实现火灾检测,因此,输出节点数只需一个便可以实现判断要求。但隐层节点数并没有一个公认的行之有效的方法。本实施例中,采用如下经验公式计算隐藏层节点数:
其中,Hidden表示隐层节点数,k表示分类数,根据上文,采用k=1(只有一类的分类结果),n表示特征向量维数。
烟雾检测神经网络部分的输入输出如图5所示,其中,输入3个特征值,隐藏层选取两层,输出层一层,输出一个节点,即第一BP神经网络模型具有3个输入特征值、2层隐藏层和1层输出层;其中,3个输入特征值分别对应形状不规则特征、背景模糊特征和面积增长率。
在本发明的一个实施例中,对当前帧图像和背景帧图像进行火焰检测方法为:
对当前帧图像和背景帧图像进行第二预处理,得到第二预处理当前帧图像和第二预背景帧图像;提取第二预处理当前帧图像中火焰区域的质心特征、第二预处理当前帧图像和第二预背景帧图像中火焰区域的面积变化特征、第二预处理当前帧图像中火焰区域的尖角特征、以及第二预处理当前帧图像中火焰区域的纹理特征;基于第二BP神经网络模型,以质心特征、面积变化特征、尖角特征和纹理特征为输入值,得到火焰检测结果。
具体的,第二预处理的具体方法为:
通过大津法对当前帧图像/背景帧图像进行自适应阈值二值化处理,得到具有第四区域的当前帧图像/背景帧图像;以第二预定阈值对当前帧图像/背景帧图像的R、G、B通道进行颜色提取并滤波,得到具有R通道特征的当前帧图像/背景帧图像、具有G通道特征的当前帧图像/背景帧图像和具有B通道特征的当前帧图像/背景帧图像;将具有R通道特征的当前帧图像/背景帧图像、具有G通道特征的当前帧图像/背景帧图像和具有B通道特征的当前帧图像/背景帧图像进行融合,得到具有第五区域的当前帧图像/背景帧图像;将具有第四区域的当前帧图像/背景帧图像和具有第五区域的当前帧图像/背景帧图像进行融合,得到具有第六区域的当前帧图像/背景帧图像;对具有第六区域的当前帧图像/背景帧图像中的第三区域依次进行边缘检测和形态学处理,得到第二预处理当前帧图像/第二预处理背景帧图像。
在本发明实施例中,识别火焰的情况下,红色成分(R)和绿色成分(G)较大,绿色成分(G)大于蓝色成分(B)。基于视频图像的火灾识别算法,通过对彩色图片集像素的颜色分量统计,发现了火焰区别于其他物体的特征。总结出火焰图像中各个像素的颜色分量关系,如下所示:
Pri>Rmean
Pri>Pgi>Pbi
其中Pri、Pgi、Pbi分别是当前像素点Pi的R、G、B分量,Rmean为当前图像像素中色分量的均值,满足Pri>200,Pgi<200,Pbi<100。因为图像的亮度和色度会因光照的改变而不断发生变化。为了消除光照影响,采用设置不同分量间的比值来实现,将RGB模型转换到对光照不敏感的其他空间,但此种转化是以牺牲时间为代价的。本实施例中还提出了火焰像素三种颜色分量满足以下范围:
0.25≤Pgi/(Pri+1)≤0.65
0.05≤Pbi/(Pri+1)≤0.45。
0.20≤Pbi/(Pgi+1)≤0.60
而对于烟雾检测是R、G、B通道内,对于灰度值大于1的像素点填1,小于1的像素点填0,从而实现颜色处理。
关于大津法,当前景和背景图像的方差G最大时,前景和背景之间的差异最大,并且此时的灰度t被认为是最佳阈值。整幅图像由门限t分为两类,分别是暗区和亮区,得到门限t后对图像进行自适应阈值二值化处理,进而得到在R、G、B通道对应的当前帧图像,如图6中(a)、(c)、(e)所示。对当前帧图像进行大津法处理后,由于图像中含有颗粒状噪声,因此在进行下一步处理前,需要先进行滤波,本实施例中,先对各通道的当前帧图像进行滤波,在将各通道的图像进行合并,滤波效果会优于常规的合并后再滤波,具体的,本实施例中选用的是方形中值滤波,使用方形中值滤波不会影响特定区域的形状,滤波后的图像如图6中(b)、(d)、(e)所示。
关于边缘检测,上文通过自适应阈值二值化处理,得到二值图像,通过提取二值图像的轮廓,便可以找出某个非零像素点附近是否有零点,零元素的分布情况等信息,从而检测出火焰图像的边缘,为后续特征提取做准备。图像边缘检测方法主要包括高斯-拉普拉斯(LOG)算子,罗伯茨(Roberts)算子和坎尼(Canny)算子。如图7所示,每个算子的边缘检测仿真结果,由图可见Canny算子处理效果最佳,因此,本实施例中主要采用Canny算子的方法实现边缘检测。
关于形态学处理,处理算法各有千秋,但无论什么算法,都离不开膨胀、腐蚀操作。即其他算法均是基于两种算法所提出,如击中或不击中,以及下文提到的开、闭运算等。实际上,开、闭运算正是根据膨胀和腐蚀算法的不可逆性转化而来。在本实施例中,形态学处理包括:
对进行边缘检测后的当前帧图像/背景帧图像依次进行闭运算和开运算;其中,闭运算为依次进行膨胀操作和腐蚀操作;开运算为依次进行腐蚀操作和膨胀操作;膨胀操作为将与第三区域/第六区域边缘像素点接触的其他像素点进行合并;腐蚀操作为将第三区域/第六区域边缘像素点向内收缩。
在本发明的一个实施例中,质心是一个多质点系统的质量中心,几何层面而言,质心是二维形状的几何中心,而非与重心等同。本实施例中的质心是火灾图像中火焰区域的亮度总和,即为图像亮度的整体特征。由于火灾发生过程中,火焰的质心和其他物体相比有较为明显的变化。因此本实施例将质心距作为火灾特征之一进行提取。
在本发明实施例中的面积变化特征,指的是计算像素点最大的连通域的火焰面积的变化特征,具体采用8连通算法可得。
关于尖角特征,大多数情况下,火焰因其不确定的增长趋势,不同时刻其尖角数目均远远大于其他干扰物体。例如,路灯,车灯,手电筒等接近圆形的物体,其角点尖角数接近于0。本实施例中使用计算尖角特征,其中,Ix,Iy为图像像素点在x,y方向上的梯度。计算火焰区域的尖角特征后,将尖角数量与指定的阈值进行比较,选择在阈值范围内的尖角数量对应的区域作为识别的火焰区域。
关于纹理特征,本实施例采用灰度共生矩阵的方法,计算得出角二阶矩、相关度、熵、对比度、逆差矩等特征。
关于火焰区域的高度特征,是该区域中具有最小x轴值的像素点与具有最大x轴值的像素点之间的差值。
在本发明的一个实施例中,如图8所示,第二BP神经网络模型具有10个输入特征值、2层隐藏层和1层输出层;其中,10个输入特征值分别对应质心特征中的质心横坐标和质心纵坐标,面积变化特征,尖角特征,纹理特征中的角二阶矩、相关度、熵、对比度、逆差矩,以及第二预处理当前帧图像中第六区域(疑似火焰区域)的高度。
验证实施例:
本实施例选取室外开阔场景下的视频帧作为输入,从中提取视频帧,获得特征数据,作为神经网络学习的数据集。共得输入数据37组,训练神经网络,从中选取11组数据作为测试集,得到的数据如表1所示。其中detal_e为烟雾的模糊度特征,STD为烟雾的不规则性特征,Area为烟雾面积特征。网络全局误差为0.005,步长为0.001,训练次数为100000。37组数据中选择11组数据用于测试。由实际输出结果可得,含烟视频均大于0.9而小于1,不含烟视频则远远小于0.9。系统可靠性良好。
表1部分测试样本数据
MATLAB预测值与真实值对比情况如图9所示,由图9可见不规则性特征低于170的图像被认为是烟雾图像。即使某一项指标达到烟雾判断标准,但综合考虑三项指标,得到最终检测结果也可能并不是烟雾图像。可见神经网络对于烟雾检测的单一特征误判问题做出了较好的改进。
为了尽可能的考虑到干扰火焰检测的因素,火焰检测选取一个稳定的打火机火焰视频,2个不同场景的路灯视频,一个室内火焰视频,一个室外火焰视频共5组视频,每个视频均按照30帧的间隔进行分帧操作,得到236组数据,并从中选择40组数据作为测试集。网络全局误差为0.005,步长为0.001,训练次数为100000。由实际输出结果可得,含火视频均大于0.9而小于1,不含火视频则远远小于0.9。系统可靠性良好。
部分测试数据如表2所示。如图10所示,为火焰真实值与预测值的对比结果,由图可得,选择68个样本进行测试,准确率达到95%。取得了较好的训练以及测试效果。
表2部分测试样本数据
本发明以火灾发生早期的火焰特征和烟雾特征作为判据,分别提取10个火焰特征和3个烟雾特征,通过特征融合作为神经网络输入。构建简单实用的神经网络模型,实现火灾检测。一旦发生火灾,可以进行及时预警,为控制火情节省宝贵的时间,快速并且高效的处理突发的火灾情况。

Claims (5)

1.一种基于图像的火灾检测方法,其特征在于,包括以下步骤:
获取当前帧图像和背景帧图像;
对所述当前帧图像和背景帧图像进行第一预处理,得到第一预处理当前帧图像和第一预处理背景帧图像;其中,所述背景帧图像为当前帧图像之前的第N帧图像,N为大于等于1的整数;
提取所述第一预处理当前帧图像中第三区域的形状不规则特征、第一预处理当前帧图像和第一预处理背景帧图像之间的背景模糊特征、以及第一预处理当前帧图像和第一预处理背景帧图像中的疑似烟雾区域的面积增长率;
基于第一BP神经网络模型,以所述形状不规则特征、背景模糊特征和面积增长率作为输入值,得出烟雾检测结果;
当所述烟雾检测结果为有烟雾时,对所述当前帧图像和背景帧图像进行火焰检测,并根据火焰检测结果确定火灾检测结果;
所述第一预处理包括:
通过背景减除法对所述当前帧图像/背景帧图像与对应的对比帧图像进行比较,得到具有第一区域的当前帧图像/背景帧图像;其中,所述对比帧图像为所述当前帧图像/背景帧图像之前的第M帧图像,M为大于等于1的整数;
以第一预定阈值对所述当前帧图像/背景帧图像的R、G、B通道进行颜色提取并滤波,得到具有R通道特征的当前帧图像/背景帧图像、具有G通道特征的当前帧图像/背景帧图像和具有B通道特征的当前帧图像/背景帧图像;
将具有R通道特征的当前帧图像/背景帧图像、具有G通道特征的当前帧图像/背景帧图像和具有B通道特征的当前帧图像/背景帧图像进行融合,得到具有第二区域的当前帧图像/背景帧图像;
将所述具有第一区域的当前帧图像/背景帧图像和具有第二区域的当前帧图像/背景帧图像进行融合,得到具有第三区域的当前帧图像/背景帧图像;
对具有第三区域的当前帧图像/背景帧图像中的第三区域依次进行边缘检测和形态学处理,得到所述第一预处理当前帧图像/第一预处理背景帧图像;
对所述当前帧图像和背景帧图像进行火焰检测方法为:
对所述当前帧图像和背景帧图像进行第二预处理,得到第二预处理当前帧图像和第二预背景帧图像;
提取所述第二预处理当前帧图像中火焰区域的质心特征、第二预处理当前帧图像和第二预背景帧图像中火焰区域的面积变化特征、所述第二预处理当前帧图像中火焰区域的尖角特征、以及所述第二预处理当前帧图像中火焰区域的纹理特征;
基于第二BP神经网络模型,以所述质心特征、面积变化特征、尖角特征和纹理特征为输入值,得到火焰检测结果;
所述第二预处理的具体方法为:
通过大津法对所述当前帧图像/背景帧图像进行自适应阈值二值化处理,得到具有第四区域的当前帧图像/背景帧图像;
以第二预定阈值对所述当前帧图像/背景帧图像的R、G、B通道进行颜色提取并滤波,得到具有R通道特征的当前帧图像/背景帧图像、具有G通道特征的当前帧图像/背景帧图像和具有B通道特征的当前帧图像/背景帧图像;
将具有R通道特征的当前帧图像/背景帧图像、具有G通道特征的当前帧图像/背景帧图像和具有B通道特征的当前帧图像/背景帧图像进行融合,得到具有第五区域的当前帧图像/背景帧图像;
将具有第四区域的当前帧图像/背景帧图像和具有第五区域的当前帧图像/背景帧图像进行融合,得到具有第六区域的当前帧图像/背景帧图像;
对具有第六区域的当前帧图像/背景帧图像中的第三区域依次进行边缘检测和形态学处理,得到所述第二预处理当前帧图像/第二预处理背景帧图像。
2.如权利要求1所述的一种基于图像的火灾检测方法,其特征在于,所述第一BP神经网络模型具有3个输入特征值、2层隐藏层和1层输出层;其中,所述3个输入特征值分别对应所述形状不规则特征、背景模糊特征和面积增长率。
3.如权利要求1所述的一种基于图像的火灾检测方法,其特征在于,第二BP神经网络模型具有10个输入特征值、2层隐藏层和1层输出层;
其中,所述10个输入特征值分别对应所述质心特征中的质心横坐标和质心纵坐标,面积变化特征,尖角特征,纹理特征中的角二阶矩、相关度、熵、对比度、逆差矩,以及所述第二预处理当前帧图像中第六区域的高度。
4.如权利要求1所述的一种基于图像的火灾检测方法,其特征在于,提取所述第一预处理当前帧图像中第三区域的形状不规则特征包括:
获取所述第三区域的边缘像素点数量以及所述第三区域的像素点总数量;
通过计算出不规则性的量度,将所述不规则性的量度作为所述第三区域的形状不规则特征;其中,STD为所述不规则性的量度,SEP是所述第三区域的边缘像素数量,STP是所述第三区域的像素点总数量。
5.如权利要求1所述的一种基于图像的火灾检测方法,其特征在于,所述形态学处理包括:
对进行边缘检测后的当前帧图像/背景帧图像依次进行闭运算和开运算;
其中,所述闭运算为依次进行膨胀操作和腐蚀操作;所述开运算为依次进行腐蚀操作和膨胀操作;
所述膨胀操作为将与所述第三区域/第六区域边缘像素点接触的其他像素点进行合并;
所述腐蚀操作为将所述第三区域/第六区域边缘像素点向内收缩。
CN202010817904.9A 2020-08-14 2020-08-14 一种基于图像的火灾检测方法 Active CN111951250B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010817904.9A CN111951250B (zh) 2020-08-14 2020-08-14 一种基于图像的火灾检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010817904.9A CN111951250B (zh) 2020-08-14 2020-08-14 一种基于图像的火灾检测方法

Publications (2)

Publication Number Publication Date
CN111951250A CN111951250A (zh) 2020-11-17
CN111951250B true CN111951250B (zh) 2024-02-06

Family

ID=73343732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010817904.9A Active CN111951250B (zh) 2020-08-14 2020-08-14 一种基于图像的火灾检测方法

Country Status (1)

Country Link
CN (1) CN111951250B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327269A (zh) * 2021-05-21 2021-08-31 哈尔滨理工大学 一种无标记颈椎运动检测方法
CN113593170B (zh) * 2021-08-11 2022-08-30 张佳 一种基于远程感烟探测的智能预警系统
CN113781736B (zh) * 2021-09-23 2022-12-27 深圳市保国特卫安保技术服务有限公司 一种楼宇消防预警方法、系统、设备及存储介质
CN114187734A (zh) * 2021-12-01 2022-03-15 深圳市中西视通科技有限公司 一种用于烟雾报警的图像识别方法和系统
CN114155439B (zh) * 2021-12-07 2024-06-25 河南鑫安利安全科技股份有限公司 基于视觉感知的化工企业安全风险预警方法与系统
CN116630843B (zh) * 2023-04-13 2024-05-17 安徽中科数智信息科技有限公司 一种用于消防救援的防火监督管理方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794486A (zh) * 2015-04-10 2015-07-22 电子科技大学 基于多特征融合的视频烟雾检测方法
CN105788142A (zh) * 2016-05-11 2016-07-20 中国计量大学 一种基于视频图像处理的火灾检测系统及检测方法
CN107749067A (zh) * 2017-09-13 2018-03-02 华侨大学 基于运动特性和卷积神经网络的火灾烟雾检测方法
KR101869442B1 (ko) * 2017-11-22 2018-06-20 공주대학교 산학협력단 화재 감지 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794486A (zh) * 2015-04-10 2015-07-22 电子科技大学 基于多特征融合的视频烟雾检测方法
CN105788142A (zh) * 2016-05-11 2016-07-20 中国计量大学 一种基于视频图像处理的火灾检测系统及检测方法
CN107749067A (zh) * 2017-09-13 2018-03-02 华侨大学 基于运动特性和卷积神经网络的火灾烟雾检测方法
KR101869442B1 (ko) * 2017-11-22 2018-06-20 공주대학교 산학협력단 화재 감지 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于BP神经网络的仓储火灾火焰识别研究;郭键;张涛;;数学的实践与认识(07);全文 *

Also Published As

Publication number Publication date
CN111951250A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN111951250B (zh) 一种基于图像的火灾检测方法
CN110516609B (zh) 一种基于图像多特征融合的火灾视频检测及预警方法
CN107609470B (zh) 野外火灾早期烟雾视频检测的方法
Chen et al. Multi-feature fusion based fast video flame detection
CN103871029B (zh) 一种图像增强及分割方法
KR101353952B1 (ko) 시공간적 비오에프와 랜덤 포레스트를 이용한 산불 연기 감지 방법
Premal et al. Image processing based forest fire detection using YCbCr colour model
KR101168760B1 (ko) 화염 검출 방법 및 장치
CN107085714B (zh) 一种基于视频的森林火灾检测方法
CN107944359A (zh) 基于视频的火焰检测方法
CN103942557B (zh) 一种煤矿井下图像预处理方法
CN112069975A (zh) 一种基于紫外、红外、视觉的综合火焰检测方法
CN109886227A (zh) 基于多通道卷积神经网络的室内火灾视频识别方法
CN108038867A (zh) 基于多特征融合和立体视觉的火焰检测和定位方法
CN108074234A (zh) 一种基于目标跟踪和多特征融合的大空间火焰检测方法
CN105139429B (zh) 一种基于火焰显著图和空间金字塔直方图的火灾检测方法
CN107045723A (zh) 基于透射率动态检测的烟雾识别方法
CN108921215A (zh) 一种基于局部极值共生模式和能量分析的烟雾检测
CN107688793A (zh) 一种变电站室外火灾自动监测预警方法
CN109903311A (zh) 一种改进tld的矿井下视频目标跟踪方法
CN111368756A (zh) 一种基于可见光的明火烟雾快速识别方法和系统
CN109410222A (zh) 一种火焰检测方法及装置
Zhang et al. DeepFireNet: A real-time video fire detection method based on multi-feature fusion
CN113902694A (zh) 一种基于动静结合的目标检测方法
CN107729811B (zh) 一种基于场景建模的夜间火焰检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant