CN109684982A - 结合易混目标排除的基于视频分析的火焰检测方法 - Google Patents

结合易混目标排除的基于视频分析的火焰检测方法 Download PDF

Info

Publication number
CN109684982A
CN109684982A CN201811557875.6A CN201811557875A CN109684982A CN 109684982 A CN109684982 A CN 109684982A CN 201811557875 A CN201811557875 A CN 201811557875A CN 109684982 A CN109684982 A CN 109684982A
Authority
CN
China
Prior art keywords
flame
object region
car light
flame object
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811557875.6A
Other languages
English (en)
Other versions
CN109684982B (zh
Inventor
徐勇
刘川意
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qianhai zhongchuanglinko Investment Development Co., Ltd
Original Assignee
Shenzhen Yun An Bao Technology Co Ltd
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yun An Bao Technology Co Ltd, Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Yun An Bao Technology Co Ltd
Priority to CN201811557875.6A priority Critical patent/CN109684982B/zh
Publication of CN109684982A publication Critical patent/CN109684982A/zh
Application granted granted Critical
Publication of CN109684982B publication Critical patent/CN109684982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种结合易混目标排除的基于视频分析的火焰检测方法，首先利用训练好的火焰目标检测深度模型判别出初选火焰目标区域；然后将训练好的车灯检测深度模型应用于初选火焰目标区域，若某个初选火焰目标区域被判定为车灯，则将其排除在真实火焰目标区域外；经过车灯检测深度模型筛选留下的初选火焰目标区域被最终标记为终选火焰目标区域；最后利用火苗的运动特性从终选火焰目标区域中筛选出真实火焰目标区域。本发明的有益效果是：将易混的夜间车灯排除，有利于减少误判，提高火焰检测的准确度。

Description

结合易混目标排除的基于视频分析的火焰检测方法
技术领域
本发明涉及火焰检测方法，尤其涉及一种结合易混目标排除的基于视频分析的火焰检测方法。
背景技术
火焰的监测具有重要的意义，正确的火焰监测可帮助人们及早发现室内外的火灾，有效减小生命财产的损失。基于视频分析的火焰检测方法对实时传入的视频序列进行分析和判断，自动确定出具有火焰的图像帧。
基于视频分析的火焰检测方法可分为传统的依赖特征的方法与利用深度学习网络的方法。依赖特征的方法需要利用专门的算法从视频序列或图像帧中抽取特定的特征，然后利用专门的分类器进行火焰和非火焰的二分类。利用深度学习网络的方法不需要任何其他算法抽取特征，而是由网络自动提取出对火焰判识最有效的特征，并在此基础上判断特征所对应图像区域是否为火焰。上述两类方法都存在如下问题：夜间的车灯很容易被误判为火焰，我们的统计分析显示，超过70％的火焰目标的误报由于夜间的车灯引起；假如通过调高或调低阈值的方式来减少此类误判，则很可能导致真正的火焰目标被漏报(即把真正的火焰目标判定为非火焰目标)的情况。
发明内容
为了解决现有技术中的问题，本发明提供了一种结合易混目标排除的基于视频分析的火焰检测方法。
本发明提供了一种结合易混目标排除的基于视频分析的火焰检测方法，首先利用训练好的火焰目标检测深度模型判别出初选火焰目标区域；然后将训练好的车灯检测深度模型应用于初选火焰目标区域，若某个初选火焰目标区域被判定为车灯，则将其排除在真实火焰目标区域外；经过车灯检测深度模型筛选留下的初选火焰目标区域被最终标记为终选火焰目标区域；最后利用火苗的运动特性从终选火焰目标区域中筛选出真实火焰目标区域。
作为本发明的进一步改进，将训练好的车灯检测深度模型对初选火焰目标区域进行甄别，找出其中的车灯目标，并将与车灯目标区域存在重叠或二者间最近距离小于r的初选火焰目标区域判定为非真实火焰目标区域，经此步骤后留下的初选火焰目标区域被确定为终选火焰目标区域。
作为本发明的进一步改进，所述车灯检测深度模型的训练方式如下：对每一个正例或反例图像，同时将图像本身与对应的XML文件作为网络的输入，XML文件给出图像中所有夜间车灯区域的矩形框位置，对包括夜间车灯图像的正例数据的训练目标为使网络计算得出的夜间车灯的矩形定位框与真实的夜间车灯矩形框的位置差异最小化，反例图像为不包括夜间车灯的图像，反例图像的XML文件中“夜间车灯区域”矩形定位框的所有顶点坐标位置全部定义为(0,0)。
作为本发明的进一步改进，该车灯检测深度模型完成训练后的应用方式如下：将一个初选火焰目标区域的1.2倍作为该车灯检测深度模型的输入，网络按照训练好的参数运行，然后标出其中的夜间车灯矩形框及矩形框为夜间车灯的概率，将概率大于0.6的夜间车灯矩形框作为真实的夜间车灯目标。
作为本发明的进一步改进，对终选火焰目标区域进行运动特性分析，过程如下：假设当前图像帧中包含终选火焰目标区域，则计算该终选火焰目标区域与前两帧图像的相应区域的差值图像，如果两个差值图像矩阵的范数均小于阈值μ，则判定该终选火焰目标区域为非真实的火焰目标区域；而所有通过了该步骤的筛选的终选火焰目标区域被判定为真实火焰目标区域。
作为本发明的进一步改进，假设终选火焰目标区域的图像矩阵为I，而前两帧图像的相应区域的图像矩阵分别为I1,I2，I与I1,I2的差值图像矩阵分别为Q1(m,n)＝I(m,n)-I1(m,n)，Q2(m,n)＝I(m,n)-I2(m,n)，符号(m,n)用来指定图像矩阵中的第m行、第n列的像素，Q1的范数定义为
本发明的有益效果是：将易混的夜间车灯排除，有利于减少误判，提高火焰检测的准确度。
附图说明
图1是本发明一种结合易混目标排除的基于视频分析的火焰检测方法的流程图。
图2是本发明一种结合易混目标排除的基于视频分析的火焰检测方法的最近距离示意图。
具体实施方式
下面结合附图说明及具体实施方式对本发明作进一步说明。
如图1所示，一种结合易混目标排除的基于视频分析的火焰检测方法，使用双深度模型，首先利用训练好的火焰目标检测深度模型判别出火焰目标区域(称为初选火焰目标区域)；然后将训练好的车灯检测深度模型应用于这些目标区域，若某个初选火焰目标区域被判定为车灯，则将其排除在真正的火焰目标区域外；经过车灯检测深度模型筛选的初选火焰目标区域被最终标记为火焰目标区域(称为终选火焰目标区域)；最后利用火苗的运动特性从终选火焰目标区域中筛选出真实火焰目标区域。完整火焰目标区域检测的流程如图1所示。分析判别出夜间车灯为第一大火焰误判对象，并提出合理的结合易混的夜间车灯排除的火焰检测思路与方法为本发明的重要创新点。
由于夜间车灯为最主要的火焰误报来源，所以提出建立专门的模型对初选火焰目标区域进行甄别，找出其中的车灯目标，并将与车灯目标区域存在重叠或二者间最近距离小于r的初选火焰目标区域判定为非真实火焰目标区域，经此步骤后留下的初选火焰目标区域被确定为终选火焰目标区域。将与车灯目标区域存在重叠的初选火焰目标区域判定为非真实火焰目标区域的合理性显而易见。而将与车灯目标区域二者间最近距离小于r的初选火焰目标区域判定为非真实火焰目标区域的物理意义如下：由于本发明只对初选火焰目标区域进行是否为车灯目标的判识，因此，一个车灯目标区域肯定位于一个初选火焰目标区域内，检测出车灯目标区域后，覆盖其的初选火焰目标区域一定为虚假火焰目标。但与此同时，与该车灯目标区域距离很近的初选火焰目标区域也大概率为虚假火焰目标，因此也应该设置规则将其排除在外。阈值r通过基于大量视频的实验确定。图2形象给出了初选火焰目标区域与车灯目标区域间最近距离的示例。
图2初选火焰目标区域与车灯目标区域间最近距离的示例。图中两个矩形框分别代表一个初选火焰目标区域与一个车灯目标区域。图中的水平短实线的长度即为这两个目标区域间的最近距离，而其他连接两个矩形框边缘的线段的长度都大于该距离。
本发明所指夜间车灯特指夜晚天气条件下，启用了照明灯源的车灯，具体包括轿车、货车、单人骑行的电动助力车、警车等的夜间车灯。此前尚没有人专门对夜间车灯进行基于深度模型的判识。基于夜间车灯为最主要的火焰误报来源的发现，本发明专门对夜间车灯进行数据采集与检测。
数据采集包括夜间车灯图像数据(即正例数据)与其他所有非夜间车灯图像数据(即反例数据)的采集。正例数据与反例数据的适宜比例为1:5左右，以恰当反映反例数据大大多于正例数据的现实。正例数据与反例数据都具有较大的多样性，且正例数据一共来自5000多图像帧，反例数据一共来自25000多图像帧。
深度网络结构设置为32层的网络，其中网络的主要部分为依次进行的包括卷积层、池化层与正则化层的10个网络子层(合计30层)以及后续的两个全连接层。
该深度网络的训练方式如下：对每一个正例或反例图像，同时将图像本身与对应的XML文件作为网络的输入，XML文件给出图像中所有夜间车灯区域的矩形框位置(如果存在夜间车灯)。对包括夜间车灯图像的正例数据的训练目标为使网络计算得出的夜间车灯的矩形定位框与真实的夜间车灯矩形框的位置差异最小化。反例图像(即不包括夜间车灯的图像)的XML文件中“夜间车灯区域”矩形定位框的所有顶点坐标位置全部定义为(0,0)。该深度网络完成训练后的应用方式如下：将一个初选火焰目标区域的1.2倍(假如初选火焰目标区域为300x400像素的矩形区域，则其1.2倍为360x480像素的矩形区域)作为该深度网络的输入，网络按照训练好的参数运行，然后标出其中的夜间车灯矩形框(如果网络判定初选火焰目标区域中存在车灯)及矩形框为夜间车灯的概率，将概率大于0.6的夜间车灯矩形框作为真实的夜间车灯目标，并据此确定出终选火焰目标区域。
火苗具有显著的运动特性，而本发明的网络模型只对单帧图像进行检测，因此，网络无法利用火苗的运动特性进行火焰判定。为此，本发明的最后步骤为对终选火焰目标区域进行运动特性分析。具体如下：假设当前图像帧中包含终选火焰目标区域，则计算该终选火焰目标区域与前两帧图像的相应区域的差值图像，如果两个差值图像矩阵的范数均小于阈值μ，则判定该终选火焰目标区域为非真实的火焰目标区域；而所有通过了改步骤的筛选的终选火焰目标区域被判定为真实火焰目标区域。假设终选火焰目标区域的图像矩阵为I，而前两帧图像的相应区域的图像矩阵分别为I1,I2。I与I1,I2的差值图像矩阵分别为Q1(m,n)＝I(m,n)-I1(m,n)，Q2(m,n)＝I(m,n)-I2(m,n)。符号(m,n)用来指定图像矩阵中的第m行、第n列的像素，例如，I(m,n)表示I中位于第m行、第n列的像素。Q1的范数定义为
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.一种结合易混目标排除的基于视频分析的火焰检测方法，其特征在于，首先利用训练好的火焰目标检测深度模型判别出初选火焰目标区域；然后将训练好的车灯检测深度模型应用于初选火焰目标区域，若某个初选火焰目标区域被判定为车灯，则将其排除在真实火焰目标区域外；经过车灯检测深度模型筛选留下的初选火焰目标区域被最终标记为终选火焰目标区域；最后利用火苗的运动特性从终选火焰目标区域中筛选出真实火焰目标区域。
2.根据权利要求1所述的结合易混目标排除的基于视频分析的火焰检测方法，其特征在于：将训练好的车灯检测深度模型对初选火焰目标区域进行甄别，找出其中的车灯目标，并将与车灯目标区域存在重叠或二者间最近距离小于r的初选火焰目标区域判定为非真实火焰目标区域，经此步骤后留下的初选火焰目标区域被确定为终选火焰目标区域。
3.根据权利要求1所述的结合易混目标排除的基于视频分析的火焰检测方法，其特征在于：所述车灯检测深度模型的训练方式如下：对每一个正例或反例图像，同时将图像本身与对应的XML文件作为网络的输入，XML文件给出图像中所有夜间车灯区域的矩形框位置，对包括夜间车灯图像的正例数据的训练目标为使网络计算得出的夜间车灯的矩形定位框与真实的夜间车灯矩形框的位置差异最小化，反例图像为不包括夜间车灯的图像，反例图像的XML文件中“夜间车灯区域”矩形定位框的所有顶点坐标位置全部定义为(0,0)。
4.根据权利要求3所述的结合易混目标排除的基于视频分析的火焰检测方法，其特征在于：该车灯检测深度模型完成训练后的应用方式如下：将一个初选火焰目标区域的1.2倍作为该车灯检测深度模型的输入，网络按照训练好的参数运行，然后标出其中的夜间车灯矩形框及矩形框为夜间车灯的概率，将概率大于0.6的夜间车灯矩形框作为真实的夜间车灯目标。
5.根据权利要求1所述的结合易混目标排除的基于视频分析的火焰检测方法，其特征在于：对终选火焰目标区域进行运动特性分析，过程如下：假设当前图像帧中包含终选火焰目标区域，则计算该终选火焰目标区域与前两帧图像的相应区域的差值图像，如果两个差值图像矩阵的范数均小于阈值μ，则判定该终选火焰目标区域为非真实的火焰目标区域；而所有通过了该步骤的筛选的终选火焰目标区域被判定为真实火焰目标区域。
6.根据权利要求5所述的结合易混目标排除的基于视频分析的火焰检测方法，其特征在于：假设终选火焰目标区域的图像矩阵为I，而前两帧图像的相应区域的图像矩阵分别为I1,I2，I与I1,I2的差值图像矩阵分别为Q1(m,n)＝I(m,n)-I1(m,n)，Q2(m,n)＝I(m,n)-I2(m,n)，符号(m,n)用来指定图像矩阵中的第m行、第n列的像素，Q1的范数定义为
CN201811557875.6A 2018-12-19 2018-12-19 结合易混目标排除的基于视频分析的火焰检测方法 Active CN109684982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811557875.6A CN109684982B (zh) 2018-12-19 2018-12-19 结合易混目标排除的基于视频分析的火焰检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811557875.6A CN109684982B (zh) 2018-12-19 2018-12-19 结合易混目标排除的基于视频分析的火焰检测方法

Publications (2)

Publication Number Publication Date
CN109684982A true CN109684982A (zh) 2019-04-26
CN109684982B CN109684982B (zh) 2020-11-20

Family

ID=66186293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811557875.6A Active CN109684982B (zh) 2018-12-19 2018-12-19 结合易混目标排除的基于视频分析的火焰检测方法

Country Status (1)

Country Link
CN (1) CN109684982B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135343A (zh) * 2019-05-15 2019-08-16 南通大学 一种路灯智能检测与夜间状态判断方法
CN110288082A (zh) * 2019-06-05 2019-09-27 北京字节跳动网络技术有限公司 卷积神经网络模型训练方法、装置和计算机可读存储介质
CN112767875A (zh) * 2021-01-21 2021-05-07 深圳市智岩科技有限公司 火焰灯效产生方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101393603A (zh) * 2008-10-09 2009-03-25 浙江大学 一种识别和检测隧道火灾火焰的方法
CN101840571A (zh) * 2010-03-30 2010-09-22 杭州电子科技大学 一种基于视频图像的火焰检测方法
CN107480729A (zh) * 2017-09-05 2017-12-15 江苏电力信息技术有限公司 一种基于深度时空域特征的输电线路山火检测方法
CN107610124A (zh) * 2017-10-13 2018-01-19 中冶赛迪技术研究中心有限公司 一种炉口图像预处理方法
CN107729811A (zh) * 2017-09-13 2018-02-23 浙江大学 一种基于场景建模的夜间火焰检测方法
US20180082137A1 (en) * 2016-09-19 2018-03-22 Nec Laboratories America, Inc. Advanced driver-assistance system
CN108537215A (zh) * 2018-03-23 2018-09-14 清华大学 一种基于图像目标检测的火焰检测方法
CN108944650A (zh) * 2018-08-14 2018-12-07 浙江安谐智能科技有限公司 一种基于远近光灯照射原理的车灯开启状态判别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101393603A (zh) * 2008-10-09 2009-03-25 浙江大学 一种识别和检测隧道火灾火焰的方法
CN101840571A (zh) * 2010-03-30 2010-09-22 杭州电子科技大学 一种基于视频图像的火焰检测方法
US20180082137A1 (en) * 2016-09-19 2018-03-22 Nec Laboratories America, Inc. Advanced driver-assistance system
CN107480729A (zh) * 2017-09-05 2017-12-15 江苏电力信息技术有限公司 一种基于深度时空域特征的输电线路山火检测方法
CN107729811A (zh) * 2017-09-13 2018-02-23 浙江大学 一种基于场景建模的夜间火焰检测方法
CN107610124A (zh) * 2017-10-13 2018-01-19 中冶赛迪技术研究中心有限公司 一种炉口图像预处理方法
CN108537215A (zh) * 2018-03-23 2018-09-14 清华大学 一种基于图像目标检测的火焰检测方法
CN108944650A (zh) * 2018-08-14 2018-12-07 浙江安谐智能科技有限公司 一种基于远近光灯照射原理的车灯开启状态判别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135343A (zh) * 2019-05-15 2019-08-16 南通大学 一种路灯智能检测与夜间状态判断方法
CN110288082A (zh) * 2019-06-05 2019-09-27 北京字节跳动网络技术有限公司 卷积神经网络模型训练方法、装置和计算机可读存储介质
CN112767875A (zh) * 2021-01-21 2021-05-07 深圳市智岩科技有限公司 火焰灯效产生方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN109684982B (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN111274930B (zh) 一种基于深度学习的安全帽佩戴以及吸烟行为识别方法
CN109684982A (zh) 结合易混目标排除的基于视频分析的火焰检测方法
CN104751634B (zh) 高速公路隧道行车图像采集信息的综合应用方法
CN108039044B (zh) 基于多尺度卷积神经网络的车辆智能排队的系统及方法
CN105590099B (zh) 一种基于改进卷积神经网络的多人行为识别方法
CN111507371B (zh) 自动评估对训练图像的标签可靠性的方法和装置
CN104992447A (zh) 一种污水运动微生物的图像自动检测方法
CN103679704B (zh) 一种基于光照补偿的视频运动阴影检测方法
CN111353380B (zh) 一种基于机器图像识别技术的城市道路积水图像识别系统
CN110910353B (zh) 一种工业假不良检测方法及系统
CN105741324A (zh) 移动平台上的运动目标检测识别与跟踪方法
CN107480607A (zh) 一种智能录播系统中站立人脸检测定位的方法
CN110503092B (zh) 基于领域适应的改进ssd监控视频目标检测方法
CN112818853B (zh) 一种交通要素识别方法、装置、设备及储存介质
CN116563762A (zh) 一种油气站火灾检测方法、系统、介质、设备及终端
CN114627435A (zh) 基于图像识别的智能灯光调节方法、装置、设备及介质
Zheng et al. A lightweight algorithm capable of accurately identifying forest fires from UAV remote sensing imagery
CN110516694A (zh) 一种基于代价敏感学习的排水管道缺陷自动检测方法
CN113762162A (zh) 一种基于语义分割和识别的火灾预警方法及系统
CN107729811B (zh) 一种基于场景建模的夜间火焰检测方法
CN117274907A (zh) 一种基于YOLOv5算法改进的烟火检测方法
CN105913008A (zh) 基于假设检验的人群异常事件检测方法
CN116958764A (zh) 一种基于深度学习的检测挂载设备数据的方法
CN111178275A (zh) 一种基于卷积神经网络的火灾检测方法
CN116258999A (zh) 基于视频流的指示灯状态检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201023

Address after: Room 201, building a, No. 1, liyumen street, Qianwan 1st Road, Shenzhen Hong Kong cooperation zone, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Qianhai zhongchuanglinko Investment Development Co., Ltd

Address before: 518000 Guangdong Shenzhen Nanshan District Taoyuan street Shenzhen University city Harbin Institute of Technology Campus

Applicant before: HARBIN INSTITUTE OF TECHNOLOGY, SHENZHEN

Applicant before: SHENZHEN YUN AN BAO TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant