CN109684982B - 结合易混目标排除的基于视频分析的火焰检测方法 - Google Patents
结合易混目标排除的基于视频分析的火焰检测方法 Download PDFInfo
- Publication number
- CN109684982B CN109684982B CN201811557875.6A CN201811557875A CN109684982B CN 109684982 B CN109684982 B CN 109684982B CN 201811557875 A CN201811557875 A CN 201811557875A CN 109684982 B CN109684982 B CN 109684982B
- Authority
- CN
- China
- Prior art keywords
- target area
- flame
- flame target
- image
- night
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 238000004458 analytical method Methods 0.000 title claims abstract description 15
- 230000007717 exclusion Effects 0.000 title description 5
- 230000008030 elimination Effects 0.000 claims abstract description 5
- 238000003379 elimination reaction Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种结合易混目标排除的基于视频分析的火焰检测方法，首先利用训练好的火焰目标检测深度模型判别出初选火焰目标区域；然后将训练好的车灯检测深度模型应用于初选火焰目标区域，若某个初选火焰目标区域被判定为车灯，则将其排除在真实火焰目标区域外；经过车灯检测深度模型筛选留下的初选火焰目标区域被最终标记为终选火焰目标区域；最后利用火苗的运动特性从终选火焰目标区域中筛选出真实火焰目标区域。本发明的有益效果是：将易混的夜间车灯排除，有利于减少误判，提高火焰检测的准确度。
Description
技术领域
本发明涉及火焰检测方法，尤其涉及一种结合易混目标排除的基于视频分析的火焰检测方法。
背景技术
火焰的监测具有重要的意义，正确的火焰监测可帮助人们及早发现室内外的火灾，有效减小生命财产的损失。基于视频分析的火焰检测方法对实时传入的视频序列进行分析和判断，自动确定出具有火焰的图像帧。
基于视频分析的火焰检测方法可分为传统的依赖特征的方法与利用深度学习网络的方法。依赖特征的方法需要利用专门的算法从视频序列或图像帧中抽取特定的特征，然后利用专门的分类器进行火焰和非火焰的二分类。利用深度学习网络的方法不需要任何其他算法抽取特征，而是由网络自动提取出对火焰判识最有效的特征，并在此基础上判断特征所对应图像区域是否为火焰。上述两类方法都存在如下问题：夜间的车灯很容易被误判为火焰，我们的统计分析显示，超过70％的火焰目标的误报由于夜间的车灯引起；假如通过调高或调低阈值的方式来减少此类误判，则很可能导致真正的火焰目标被漏报(即把真正的火焰目标判定为非火焰目标)的情况。
发明内容
为了解决现有技术中的问题，本发明提供了一种结合易混目标排除的基于视频分析的火焰检测方法。
本发明提供了一种结合易混目标排除的基于视频分析的火焰检测方法，首先利用训练好的火焰目标检测深度模型判别出初选火焰目标区域；然后将训练好的车灯检测深度模型应用于初选火焰目标区域，若某个初选火焰目标区域被判定为车灯，则将其排除在真实火焰目标区域外；经过车灯检测深度模型筛选留下的初选火焰目标区域被最终标记为终选火焰目标区域；最后利用火苗的运动特性从终选火焰目标区域中筛选出真实火焰目标区域。
作为本发明的进一步改进，将训练好的车灯检测深度模型对初选火焰目标区域进行甄别，找出其中的车灯目标，并将与车灯目标区域存在重叠或二者间最近距离小于r的初选火焰目标区域判定为非真实火焰目标区域，经此步骤后留下的初选火焰目标区域被确定为终选火焰目标区域。
作为本发明的进一步改进，所述车灯检测深度模型的训练方式如下：对每一个正例或反例图像，同时将图像本身与对应的XML文件作为网络的输入，XML文件给出图像中所有夜间车灯区域的矩形框位置，对包括夜间车灯图像的正例数据的训练目标为使网络计算得出的夜间车灯的矩形定位框与真实的夜间车灯矩形框的位置差异最小化，反例图像为不包括夜间车灯的图像，反例图像的XML文件中“夜间车灯区域”矩形定位框的所有顶点坐标位置全部定义为(0,0)。
作为本发明的进一步改进，该车灯检测深度模型完成训练后的应用方式如下：将一个初选火焰目标区域的1.2倍作为该车灯检测深度模型的输入，网络按照训练好的参数运行，然后标出其中的夜间车灯矩形框及矩形框为夜间车灯的概率，将概率大于0.6的夜间车灯矩形框作为真实的夜间车灯目标。
作为本发明的进一步改进，对终选火焰目标区域进行运动特性分析，过程如下：假设当前图像帧中包含终选火焰目标区域，则计算该终选火焰目标区域与前两帧图像的相应区域的差值图像，如果两个差值图像矩阵的范数均小于阈值μ，则判定该终选火焰目标区域为非真实的火焰目标区域；而所有通过了该步骤的筛选的终选火焰目标区域被判定为真实火焰目标区域。
作为本发明的进一步改进，假设终选火焰目标区域的图像矩阵为I，而前两帧图像的相应区域的图像矩阵分别为I1,I2，I与I1,I2的差值图像矩阵分别为Q1(m,n)＝I(m,n)-I1(m,n)，Q2(m,n)＝I(m,n)-I2(m,n)，符号(m,n)用来指定图像矩阵中的第m行、第n列的像素，Q1的范数定义为
本发明的有益效果是：将易混的夜间车灯排除，有利于减少误判，提高火焰检测的准确度。
附图说明
图1是本发明一种结合易混目标排除的基于视频分析的火焰检测方法的流程图。
图2是本发明一种结合易混目标排除的基于视频分析的火焰检测方法的最近距离示意图。
具体实施方式
下面结合附图说明及具体实施方式对本发明作进一步说明。
如图1所示，一种结合易混目标排除的基于视频分析的火焰检测方法，使用双深度模型，首先利用训练好的火焰目标检测深度模型判别出火焰目标区域(称为初选火焰目标区域)；然后将训练好的车灯检测深度模型应用于这些目标区域，若某个初选火焰目标区域被判定为车灯，则将其排除在真正的火焰目标区域外；经过车灯检测深度模型筛选的初选火焰目标区域被最终标记为火焰目标区域(称为终选火焰目标区域)；最后利用火苗的运动特性从终选火焰目标区域中筛选出真实火焰目标区域。完整火焰目标区域检测的流程如图1所示。分析判别出夜间车灯为第一大火焰误判对象，并提出合理的结合易混的夜间车灯排除的火焰检测思路与方法为本发明的重要创新点。
由于夜间车灯为最主要的火焰误报来源，所以提出建立专门的模型对初选火焰目标区域进行甄别，找出其中的车灯目标，并将与车灯目标区域存在重叠或二者间最近距离小于r的初选火焰目标区域判定为非真实火焰目标区域，经此步骤后留下的初选火焰目标区域被确定为终选火焰目标区域。将与车灯目标区域存在重叠的初选火焰目标区域判定为非真实火焰目标区域的合理性显而易见。而将与车灯目标区域二者间最近距离小于r的初选火焰目标区域判定为非真实火焰目标区域的物理意义如下：由于本发明只对初选火焰目标区域进行是否为车灯目标的判识，因此，一个车灯目标区域肯定位于一个初选火焰目标区域内，检测出车灯目标区域后，覆盖其的初选火焰目标区域一定为虚假火焰目标。但与此同时，与该车灯目标区域距离很近的初选火焰目标区域也大概率为虚假火焰目标，因此也应该设置规则将其排除在外。阈值r通过基于大量视频的实验确定。图2形象给出了初选火焰目标区域与车灯目标区域间最近距离的示例。
图2初选火焰目标区域与车灯目标区域间最近距离的示例。图中两个矩形框分别代表一个初选火焰目标区域与一个车灯目标区域。图中的水平短实线的长度即为这两个目标区域间的最近距离，而其他连接两个矩形框边缘的线段的长度都大于该距离。
本发明所指夜间车灯特指夜晚天气条件下，启用了照明灯源的车灯，具体包括轿车、货车、单人骑行的电动助力车、警车等的夜间车灯。此前尚没有人专门对夜间车灯进行基于深度模型的判识。基于夜间车灯为最主要的火焰误报来源的发现，本发明专门对夜间车灯进行数据采集与检测。
数据采集包括夜间车灯图像数据(即正例数据)与其他所有非夜间车灯图像数据(即反例数据)的采集。正例数据与反例数据的适宜比例为1:5左右，以恰当反映反例数据大大多于正例数据的现实。正例数据与反例数据都具有较大的多样性，且正例数据一共来自5000多图像帧，反例数据一共来自25000多图像帧。
深度网络结构设置为32层的网络，其中网络的主要部分为依次进行的包括卷积层、池化层与正则化层的10个网络子层(合计30层)以及后续的两个全连接层。
该深度网络的训练方式如下：对每一个正例或反例图像，同时将图像本身与对应的XML文件作为网络的输入，XML文件给出图像中所有夜间车灯区域的矩形框位置(如果存在夜间车灯)。对包括夜间车灯图像的正例数据的训练目标为使网络计算得出的夜间车灯的矩形定位框与真实的夜间车灯矩形框的位置差异最小化。反例图像(即不包括夜间车灯的图像)的XML文件中“夜间车灯区域”矩形定位框的所有顶点坐标位置全部定义为(0,0)。该深度网络完成训练后的应用方式如下：将一个初选火焰目标区域的1.2倍(假如初选火焰目标区域为300x400像素的矩形区域，则其1.2倍为360x480像素的矩形区域)作为该深度网络的输入，网络按照训练好的参数运行，然后标出其中的夜间车灯矩形框(如果网络判定初选火焰目标区域中存在车灯)及矩形框为夜间车灯的概率，将概率大于0.6的夜间车灯矩形框作为真实的夜间车灯目标，并据此确定出终选火焰目标区域。
火苗具有显著的运动特性，而本发明的网络模型只对单帧图像进行检测，因此，网络无法利用火苗的运动特性进行火焰判定。为此，本发明的最后步骤为对终选火焰目标区域进行运动特性分析。具体如下：假设当前图像帧中包含终选火焰目标区域，则计算该终选火焰目标区域与前两帧图像的相应区域的差值图像，如果两个差值图像矩阵的范数均小于阈值μ，则判定该终选火焰目标区域为非真实的火焰目标区域；而所有通过了改步骤的筛选的终选火焰目标区域被判定为真实火焰目标区域。假设终选火焰目标区域的图像矩阵为I，而前两帧图像的相应区域的图像矩阵分别为I1,I2。I与I1,I2的差值图像矩阵分别为Q1(m,n)＝I(m,n)-I1(m,n)，Q2(m,n)＝I(m,n)-I2(m,n)。符号(m,n)用来指定图像矩阵中的第m行、第n列的像素，例如，I(m,n)表示I中位于第m行、第n列的像素。Q1的范数定义为
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (4)
1.一种结合易混目标排除的基于视频分析的火焰检测方法，其特征在于，首先利用训练好的火焰目标检测深度模型判别出初选火焰目标区域；然后将训练好的车灯检测深度模型应用于初选火焰目标区域，若某个初选火焰目标区域被判定为车灯，则将其排除在真实火焰目标区域外；经过车灯检测深度模型筛选留下的初选火焰目标区域被最终标记为终选火焰目标区域；最后利用火苗的运动特性从终选火焰目标区域中筛选出真实火焰目标区域，将训练好的车灯检测深度模型对初选火焰目标区域进行甄别，找出其中的车灯目标，并将与车灯目标区域存在重叠或二者间最近距离小于r的初选火焰目标区域判定为非真实火焰目标区域，经此步骤后留下的初选火焰目标区域被确定为终选火焰目标区域，所述车灯检测深度模型的训练方式如下：对每一个正例或反例图像，同时将图像本身与对应的XML文件作为网络的输入，XML文件给出图像中所有夜间车灯区域的矩形框位置，对包括夜间车灯图像的正例数据的训练目标为使网络计算得出的夜间车灯的矩形定位框与真实的夜间车灯矩形框的位置差异最小化，反例图像为不包括夜间车灯的图像，反例图像的XML文件中“夜间车灯区域”矩形定位框的所有顶点坐标位置全部定义为(0,0)。
2.根据权利要求1所述的结合易混目标排除的基于视频分析的火焰检测方法，其特征在于：该车灯检测深度模型完成训练后的应用方式如下：将一个初选火焰目标区域的1.2倍作为该车灯检测深度模型的输入，网络按照训练好的参数运行，然后标出其中的夜间车灯矩形框及矩形框为夜间车灯的概率，将概率大于0.6的夜间车灯矩形框作为真实的夜间车灯目标。
3.根据权利要求1所述的结合易混目标排除的基于视频分析的火焰检测方法，其特征在于：对终选火焰目标区域进行运动特性分析，过程如下：假设当前图像帧中包含终选火焰目标区域，则计算该终选火焰目标区域与前两帧图像的相应区域的差值图像，如果两个差值图像矩阵的范数均小于阈值μ，则判定该终选火焰目标区域为非真实的火焰目标区域；而所有通过了该过程的筛选的终选火焰目标区域被判定为真实火焰目标区域。
4.根据权利要求3所述的结合易混目标排除的基于视频分析的火焰检测方法，其特征在于：假设终选火焰目标区域的图像矩阵为I，而前两帧图像的相应区域的图像矩阵分别为I1,I2，I与I1,I2的差值图像矩阵分别为Q1(m,n)＝I(m,n)-I1(m,n)，Q2(m,n)＝I(m,n)-I2(m,n)，符号(m,n)用来指定图像矩阵中的第m行、第n列的像素，Q1的范数定义为
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811557875.6A CN109684982B (zh) | 2018-12-19 | 2018-12-19 | 结合易混目标排除的基于视频分析的火焰检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811557875.6A CN109684982B (zh) | 2018-12-19 | 2018-12-19 | 结合易混目标排除的基于视频分析的火焰检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109684982A CN109684982A (zh) | 2019-04-26 |
| CN109684982B true CN109684982B (zh) | 2020-11-20 |
Family
ID=66186293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811557875.6A Expired - Fee Related CN109684982B (zh) | 2018-12-19 | 2018-12-19 | 结合易混目标排除的基于视频分析的火焰检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109684982B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135343A (zh) * | 2019-05-15 | 2019-08-16 | 南通大学 | 一种路灯智能检测与夜间状态判断方法 |
| CN110288082B (zh) * | 2019-06-05 | 2022-04-05 | 北京字节跳动网络技术有限公司 | 卷积神经网络模型训练方法、装置和计算机可读存储介质 |
| CN112767875B (zh) * | 2021-01-21 | 2022-01-18 | 深圳市智岩科技有限公司 | 火焰灯效产生方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101393603A (zh) * | 2008-10-09 | 2009-03-25 | 浙江大学 | 一种识别和检测隧道火灾火焰的方法 |
| CN101840571A (zh) * | 2010-03-30 | 2010-09-22 | 杭州电子科技大学 | 一种基于视频图像的火焰检测方法 |
| CN107480729A (zh) * | 2017-09-05 | 2017-12-15 | 江苏电力信息技术有限公司 | 一种基于深度时空域特征的输电线路山火检测方法 |
| CN107610124A (zh) * | 2017-10-13 | 2018-01-19 | 中冶赛迪技术研究中心有限公司 | 一种炉口图像预处理方法 |
| CN107729811A (zh) * | 2017-09-13 | 2018-02-23 | 浙江大学 | 一种基于场景建模的夜间火焰检测方法 |
| CN108537215A (zh) * | 2018-03-23 | 2018-09-14 | 清华大学 | 一种基于图像目标检测的火焰检测方法 |
| CN108944650A (zh) * | 2018-08-14 | 2018-12-07 | 浙江安谐智能科技有限公司 | 一种基于远近光灯照射原理的车灯开启状态判别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10330787B2 (en) * | 2016-09-19 | 2019-06-25 | Nec Corporation | Advanced driver-assistance system |
-
2018
- 2018-12-19 CN CN201811557875.6A patent/CN109684982B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101393603A (zh) * | 2008-10-09 | 2009-03-25 | 浙江大学 | 一种识别和检测隧道火灾火焰的方法 |
| CN101840571A (zh) * | 2010-03-30 | 2010-09-22 | 杭州电子科技大学 | 一种基于视频图像的火焰检测方法 |
| CN107480729A (zh) * | 2017-09-05 | 2017-12-15 | 江苏电力信息技术有限公司 | 一种基于深度时空域特征的输电线路山火检测方法 |
| CN107729811A (zh) * | 2017-09-13 | 2018-02-23 | 浙江大学 | 一种基于场景建模的夜间火焰检测方法 |
| CN107610124A (zh) * | 2017-10-13 | 2018-01-19 | 中冶赛迪技术研究中心有限公司 | 一种炉口图像预处理方法 |
| CN108537215A (zh) * | 2018-03-23 | 2018-09-14 | 清华大学 | 一种基于图像目标检测的火焰检测方法 |
| CN108944650A (zh) * | 2018-08-14 | 2018-12-07 | 浙江安谐智能科技有限公司 | 一种基于远近光灯照射原理的车灯开启状态判别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109684982A (zh) | 2019-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI677826B (zh) | 車牌辨識系統與方法 | |
| US20190122059A1 (en) | Signal light detection | |
| CN105788142B (zh) | 一种基于视频图像处理的火灾检测系统及检测方法 | |
| WO2019223586A1 (zh) | 车位使用状况的检测方法、装置、电子设备及存储介质 | |
| WO2018130016A1 (zh) | 一种基于监控视频的停车检测方法及装置 | |
| CN101393603B (zh) | 一种识别和检测隧道火灾火焰的方法 | |
| CN108009543A (zh) | 一种车牌识别方法及装置 | |
| JP2022506905A (ja) | 知覚システムを評価するシステム及び方法 | |
| CN109684982B (zh) | 结合易混目标排除的基于视频分析的火焰检测方法 | |
| CN107609512A (zh) | 一种基于神经网络的视频人脸捕捉方法 | |
| CN105184271A (zh) | 一种基于深度学习的车辆自动检测方法 | |
| CN111325769A (zh) | 一种目标对象检测方法及装置 | |
| CN103679704B (zh) | 一种基于光照补偿的视频运动阴影检测方法 | |
| CN105139429B (zh) | 一种基于火焰显著图和空间金字塔直方图的火灾检测方法 | |
| CN113657305B (zh) | 一种基于视频的黑烟车辆及林格曼黑度等级智能检测方法 | |
| CN111191611A (zh) | 基于深度学习的交通标志标号识别方法 | |
| CN107563299B (zh) | 一种利用ReCNN融合上下文信息的行人检测方法 | |
| CN106778736B (zh) | 一种鲁棒的车牌识别方法及其系统 | |
| CN105046218A (zh) | 一种基于串并行处理的多特征交通视频烟雾检测方法 | |
| CN104268548B (zh) | 一种基于道路图像的积雪检测方法 | |
| CN112597928B (zh) | 一种事件检测方法及相关装置 | |
| CN109800693B (zh) | 一种基于颜色通道混合特征的夜间车辆检测方法 | |
| CN111402185B (zh) | 一种图像检测方法及装置 | |
| CN114821441A (zh) | 联合ads-b信息的基于深度学习的机场场面运动目标识别方法 | |
| CN107729811B (zh) | 一种基于场景建模的夜间火焰检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201023 Address after: Room 201, building a, No. 1, liyumen street, Qianwan 1st Road, Shenzhen Hong Kong cooperation zone, Shenzhen City, Guangdong Province Applicant after: Shenzhen Qianhai zhongchuanglinko Investment Development Co.,Ltd. Address before: 518000 Guangdong Shenzhen Nanshan District Taoyuan street Shenzhen University city Harbin Institute of Technology Campus Applicant before: HARBIN INSTITUTE OF TECHNOLOGY (SHENZHEN) Applicant before: SHENZHEN YUN AN BAO TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201120 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |