CN110378265A - 一种早期火灾检测方法、计算机可读介质及系统 - Google Patents

一种早期火灾检测方法、计算机可读介质及系统 Download PDF

Info

Publication number
CN110378265A
CN110378265A CN201910611908.9A CN201910611908A CN110378265A CN 110378265 A CN110378265 A CN 110378265A CN 201910611908 A CN201910611908 A CN 201910611908A CN 110378265 A CN110378265 A CN 110378265A
Authority
CN
China
Prior art keywords
network model
detection
weight
testing result
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910611908.9A
Other languages
English (en)
Inventor
张发恩
贲圣兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Qizhi (chengdu) Technology Co Ltd
Original Assignee
Innovation Qizhi (chengdu) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Qizhi (chengdu) Technology Co Ltd filed Critical Innovation Qizhi (chengdu) Technology Co Ltd
Priority to CN201910611908.9A priority Critical patent/CN110378265A/zh
Publication of CN110378265A publication Critical patent/CN110378265A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Alarm Systems (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Fire Alarms (AREA)

Abstract

本发明涉及一种早期火灾检测方法，用于检测火灾，该方法包括以下步骤：步骤S1：获取实时监控视频；步骤S2：提供一个单帧检测网络模型，并使用单帧检测网络模型检测当前时刻的图像是否存在火焰和\或烟雾，以获得第一检测结果；步骤S3：提供一个时序检测网络模型，并使用时序检测网络模型检测当前时刻之前的视频序列中火焰等级和\或烟雾等级，以获得第二检测结果；及步骤S4：结合第一检测结果和第二检测结果计算火灾风险等级。以防止对火灾的漏检情况，增加检测火灾的准确率。本发明还提供一种计算机可读介质。本发明还提供一种检测系统。

Description

一种早期火灾检测方法、计算机可读介质及系统
【技术领域】
本发明涉及计算机视觉领域，尤其涉及一种早期火灾检测方法、计算机可读介质及系统。
【背景技术】
现有的火灾大多是基于烟雾传感器或红外传感器等进行检测，然而由于烟雾、热量等扩散到对应的传感器需要一定的时间，因此使用这些传感器不能及时地检测到火灾；
随着图像分析技术的提升，研究者考虑以视频进行输入，利用多帧信息进行火焰检测。这类方法一般是通过对前后两帧图像计算帧间差，检测出运动区域，然后判断运动区域是否为火焰或烟雾，即对帧间差图像使用颜色特征检测疑似火焰区域，基于背景差分法检测疑似烟雾区域，进而分别提取图像特征，判断疑似区域是否存在火焰或烟雾。对帧间差图像使用多尺度卷积网络检测其中是否存在火焰区域。
上述基于视频的火灾检测方法仅利用了前后帧的信息，在火灾早期，火焰发展缓慢，前后帧差异较小时容易存在漏检。
【发明内容】
为克服现有技术存在的问题，本发明提供一种早期火灾检测方法、计算机可读介质及系统。
本发明解决技术问题的方案是提供一种早期火灾检测方法，用于检测火灾，该方法包括以下步骤：步骤S1：获取实时监控视频；步骤S2：提供一个单帧检测网络模型，并使用单帧检测网络模型检测当前时刻的图像是否存在火焰和\或烟雾，以获得第一检测结果；步骤S3：提供一个时序检测网络模型，并使用时序检测网络模型检测当前时刻之前的视频序列中火焰等级和\或烟雾等级，以获得第二检测结果；及步骤S4：结合第一检测结果和第二检测结果计算火灾风险等级。
优选地，步骤S3提供一个时序检测网络模型，并使用时序检测网络模型检测当前时刻之前的视频序列中火焰等级和\或烟雾等级，以获得第二检测结果，还包括以下步骤：步骤S31：计算当前时刻之前相邻T个视频序列之间的帧间差；步骤S32：提取每个帧间差图像特征；及步骤S33：提取每个帧间差图像特征中的时间相关性特征，获得第二检测结果。
优选地，步骤S2提供一个单帧检测网络模型，并使用单帧检测网络模型检测当前时刻的图像是否存在火焰和\或烟雾，以获得第一检测结果，还包括以下步骤：步骤S201：根据火灾场景的视频建立单帧图像形式的第一训练集和视频序列形式的第二训练集；步骤S202：根据第一训练集训练单帧检测网络模型；及步骤S203：根据第二训练集训练时序检测网络模型。
优选地，步骤S202根据第一训练集训练单帧检测网络模型，还包括以下步骤：步骤S2021：初始化第一权值；步骤S2022：对第一权值执行单次优化操作；步骤S2023：判断第一权值是否达到终止优化条件，若达到，则进入步骤S2024，若未达到，则返回步骤S2022；及步骤S2024：保存单帧检测网络模型结构及对应的第一权值。
优选地，步骤S2022对第一权值执行单次优化操作中还包括以下步骤：步骤S20221：从第一训练集中选取至少一火焰和\或烟雾的标注信息的第一样本；步骤S20222：使用单帧检测网络模型对第一样本进行处理；步骤S20223：根据处理结果计算第一损失函数；步骤S20224：计算第一损失函数相对第一权值的梯度值；及步骤S20225：更新第一权值。
优选地，步骤S203根据第二训练集训练时序检测网络模型中还包括以下步骤：步骤S2031：初始化第二权值；步骤S2032：对第二权值执行单次优化操作；步骤S2033：判断第二权值是否达到终止优化条件，若达到，则进入步骤S034，若未达到，则返回步骤S2032；及步骤S2034：保存时序检测网络模型结构及对应的第二权值。
优选地，步骤S2032对第二权值执行单次优化操作中还包括以下步骤：步骤S20321：从第二训练集中选取至少一火焰等级和\或烟雾等级的标注信息的第二样本；步骤S20322：使用时序检测网络模型对第二样本进行处理；步骤S20323：根据处理结果计算第二损失函数；步骤S20324：计算第二损失函数相对第二权值的梯度值；及步骤 S20325：更新第二权值。
优选地，步骤S4结合第一检测结果和第二检测结果计算火灾风险等级之后还包括以下步骤：步骤S5：结合火灾风险等级和设定的阈值，判断是否启动报警，若火灾风险等级小于设定阈值时，则返回步骤S4，若火灾风险等级大于设定阈值时，则进入步骤S6；及步骤S6：启动报警。
本发明还提供一种计算机可读介质，所述计算机可读介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述的早期火灾检测方法。
本发明还提供一种检测系统，所述检测系统包括：监控模块，被配置为用于获取监控视频；第一检测模块，被配置为提供一个单帧检测网络模型，并使用单帧检测网络模型检测当前时刻的图像是否存在火焰和\或烟雾，以获得第一检测结果；第二检测模块，被配置为提供一个时序检测网络模型，并使用时序检测网络模型检测当前时刻之前的视频序列中火焰等级和\或烟雾等级，以获得第二检测结果；及计算模块，被配置为用于结合第一检测结果和第二检测结果计算火灾风险等级。
与现有技术相比，本发明的早期火灾检测方法、计算机可读介质及系统具有以下优点：
1.通过单帧检测网络模型结合当前图像检测是否存在火焰和\或烟雾，以获得第一检测结果；通过时序检测网络模型结合当前图像前的视频序列检测火焰等级和\或烟雾等级，以获得第二检测结果；进而结合第一检测结果和第二检测结果预算火灾风险等级，以防止不同环境下，单帧检测网络模型在当前图像中没有检测到火焰和\或烟雾，进而通过时序检测网络模型对当前图像前的视频序列进行检测，以检测到火焰和\或烟雾，并计算出火焰等级和\或烟雾等级，以防止对火灾的漏检情况，增加检测火灾的准确率。
2.根据火灾场景的视频建立单帧图像形式的第一训练集和视频序列形式的第二训练集，并根据第一训练集训练单帧检测网络模型，以使单帧检测网络模型检测当前图像中是否存在火焰和\ 或烟雾，根据第二训练集训练时序检测网络模型，以使时序检测网络模型检测当前图像之前的视频序列中火焰等级和\或烟雾等级，进而提高早起火灾检测方法检测火灾的准确性。
3.使用随机数作为第一权值，并通过第一训练集中的单帧图像对第一权值进行优化，以使单帧检测网络模型结合优化后的第一权值进行火灾检测，提升单帧检测网络模型检测是否存在火焰和\或烟雾的准确性。
4.使用随机数作为第二权值，并通过第二训练集中的视频序列对第二权值进行优化，以使时序检测网络模型结合优化后的第二权值进行火灾检测，提升时序检测网络模型检测火焰等级和\ 或烟雾等级的准确性。
5.结合火灾风险等级和设定的阈值，判断是否启动报警，阈值由用户自行设定，以供用户根据不同的环境设定不同的报警阈值，既能防止不必要的报警，又能做到第一时间准确的报警。
6.在计算机可读介质中存储计算机程序，计算机程序被设置为运行时执行早期火灾检测方法，以通过计算机实现早期检测火灾的目的。
7.将早期检测火灾的方法具体为监控模块、第一检测模块、第二检测模块及计算模块，以实现早期检测火灾的目的。
【附图说明】
图1是本发明第一实施例早期火灾检测方法的流程示意图。
图2是本发明第一实施例早期火灾检测方法中步骤S3的流程示意图。
图3是本发明第一实施例早期火灾检测方法中步骤S2之前的流程示意图。
图4是本发明第一实施例早期火灾检测方法中步骤S202的流程示意图。
图5是本发明第一实施例早期火灾检测方法中步骤S2022的流程示意图。
图6是本发明第一实施例早期火灾检测方法中步骤S203的流程示意图。
图7是本发明第一实施例早期火灾检测方法中步骤S2032的流程示意图。
图8是本发明第一实施例早期火灾检测方法中步骤S4之后的流程示意图。
图9是本发明第三实施例早期火灾检测系统的模块示意图。
附图标记说明：1、检测系统；11、监控模块； 12、第一检测模块；13、第二检测模块；14、计算模块。
【具体实施方式】
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，本发明第一实施例提供一种早期火灾检测方法，该方法包括以下步骤，
步骤S1：获取实时监控视频；
步骤S2：提供一个单帧检测网络模型，并使用单帧检测网络模型检测当前时刻的图像是否存在火焰和\或烟雾，以获得第一检测结果；
步骤S3：提供一个时序检测网络模型，并使用时序检测网络模型检测当前时刻之前的视频序列中火焰等级和\或烟雾等级，以获得第二检测结果；及
步骤S4：结合第一检测结果和第二检测结果计算火灾风险等级。
具体地，首先使用监控摄像头获取实时监控视频序列，记当前时刻为t，当前时刻的图像为It，当前时刻之前有T个图像形成的视频序列，将当前时刻前T个视频序列It-T+1,,…It-1,It做为输入数据；
然后,提供一个单帧检测网络模型,并将当前时刻图像It输入至单帧检测网络模型中，以检测当前时刻的图像It是否存在火焰和\或烟雾，以获得第一检测结果，即火焰检测结果和\或烟雾检测结果；
进而，提供一个时序检测网络模型，并将当前时刻前T个视频序列It-T+1,,…It-1,It输入时序检测网络模型中，以检测当前时刻之前的视频序列 It-T+1,,…It-1,It中火焰等级和\或烟雾等级，以获得第二检测结果，即火焰等级和\或烟雾等级；
最后第一检测结果和第二检测结果计算火灾风险等级。所述火灾风险等级的计算方法，可以将第一检测结果和第二检测结果作为输入，使用逻辑回归得到[0,1]区间的风险估计。也可以使用用户定义的规则计算风险指数。
可以理解，实时监控视频可以为机房、变电站或森林等容易产生火灾隐患之场景的实时监控视频；
单帧检测网络模型为一个用于目标检测深度卷积网络，包括但不限于RCNN(RegionConvolutional Neural Network)，Faster-RCNN(Faster-RegionConvolutionalNeural Network)，YOLO(You Only Look Once)， SSD(Single Shot MultiBox Detector)等；
时序检测网络模型包括特征提取网络和时序分析网络模型，特征提取网络为一个深度卷积网络，包括但不限于LeNet神经网络、AlexNet、VGG (Visual Geometry GroupNetwork)、Inception 神经网络、ResNet神经网络；时序分析网络模型为一个最终循环神经网络，包括但不限于RNN (Recurrent Neural Network)，LSTM(Long Short-Term Memory)，GRU(Gated Rucurrent Unit)；
第一检测结果为火焰检测结果和\或烟雾检测结果，火焰检测结果和烟雾检测结果由对应的检测框序列表示，其中每个检测框用四元组(x， y，w，h)表示，其中x和y表示火焰或烟雾对应的矩形包络(Rectangle-Packing)的左上角点坐标， w和h为对应的矩形包络的宽和高。如果没有检测到火焰或烟雾，则返回空列表；第二检测结果为火焰等级和\或烟雾等级，级别0表示不存在火焰或烟雾，级别1表示火焰或烟雾等级最高；
由于单帧检测网络模型获得第一检测结果和时序检测网络模型获得第二检测结果互不影响，且第一检测结果和第二检测结果均可以进行火灾检测，因此单帧检测网络模型和时序检测网络模型的检测顺序可以互换，同时使用单帧检测网络模型和时序检测网络模型进行火灾检测，以防止对火灾的漏检情况，增加检测火灾的准确率。
请参阅图2，步骤S3提供一个时序分析网络模型，并使用时序分析网络模型检测当前时刻之前的视频序列中火焰等级和\或烟雾等级，以获得第二检测结果，还包括以下步骤：
步骤S31：计算当前时刻之前相邻T个视频序列之间的帧间差；
步骤S32：提取每个帧间差图像特征；及
步骤S33：提取每个帧间差图像特征中的时间相关性特征，获得第二检测结果。
具体地，首先使用帧间差分法计算当前时刻的前T个帧视频序列的帧间差，得到T-1个帧间差图像Dt-T+2,…,Dt-1,Dt，其中Di＝Ii-Ii-1,i＝t-T+2,…,t；
然后使用特征提取网络对每个帧间差图像Di分别提取特征fi，形成帧间差图像特征序列 ft-T+2,…,ft-1,ft，其中，各帧间差图像使用的特征提取网络相同；
最后使用时序分析网络以帧间差图像特征序列ft-T+2,…,ft-1,ft做为输入，提取每个帧间差图像特征中的时间相关性特征，得到第二检测结果。
可以理解，帧间差为对相邻两帧图像做差，得到两帧图像中发生变化的区域；将帧间差图像特征序列输入时序分析网络模型之后，并根据时间相关性特征即可得出火焰等级或烟雾等级，即第二检测结果。如在连续的三帧图像中均检测出火焰，通过帧间差分法计算第一帧图像和第二帧图像的帧间差，得出一个帧间差图像D1，通过帧间差分法计算第二帧图像和第三帧图像的帧间差，得出一个帧间差图像D2,然后使用特征提取网络提取帧间差图像D1和D2中的特征f1和f2，最后将 f1和f2作为时序分析网络模型的输入，并提取帧间差图像特征f1和f2的时间相关性特征，进而得出火焰在这三帧图像中的运动信息，即火焰等级。
请参阅图3，步骤S2提供一个单帧检测网络模型，并使用单帧检测网络模型检测当前时刻的图像是否存在火焰和\或烟雾，以获得第一检测结果，还包括以下步骤：
步骤S201：根据火灾场景的视频建立单帧图像形式的第一训练集和视频序列形式的第二训练集；
步骤S202：根据第一训练集训练单帧检测网络模型；及
步骤S203：根据第二训练集训练时序分析网络模型。
可以理解，火灾场景的视频可以真实火灾场景中的视频，也可以为实验模拟火灾场景中的视频；
第一训练集为火灾监控场景的视频中随机选取的若干单帧图像，所选图像中可以存在或不存在火焰/烟雾，对于不存在火焰/烟雾的图像，火焰/烟雾等级标注为0，对于存在火焰/烟雾的图像，火焰/烟雾等级为[0,1]的浮点数，等级为1表示火焰/烟雾等级最高；进而将选取的若干单帧图像作为单帧检测网络模型的输入，以训练单帧检测网络模型。
第二训练集为火灾场景的监控视频中的视频序列；所选视频中可以存在或不存在火焰/烟雾，对于不存在火焰/烟雾的视频，火焰/烟雾等级标注为0，对于存在火焰/烟雾视频，火焰/烟雾等级为[0,1]的浮点数，等级为1表示火焰/烟雾等级最高。进而将上述视频序列作为时序检测网络模型的输入，以训练时序检测网络模型。
请参阅图4，步骤S202根据第一训练集训练单帧检测网络模型，还包括以下步骤：
步骤S2021：初始化第一权值；
步骤S2022：对第一权值执行单次优化操作；
步骤S2023：判断第一权值是否达到终止优化条件，若达到，则进入步骤S2024，若未达到，则返回步骤S2022；及
步骤S2024：保存单帧检测网络模型结构及对应的第一权值。
首先对单帧检测网络模型的第一权值进行初始化，然后根据第一权值运行一次单帧检测网络模型，即对第一权值执行单次优化操作，最后根据单帧检测网络模型计算的结果判断第一权值是否达到终止优化条件，若达到，则进入步骤S2024，即保存单帧检测网络模型结构及对应的第一权值，若未达到，则返回步骤S2022，即继续对第一权值执行单次优化操作。
可以理解，第一权值为单帧检测网络模型的参数，第一权值可以使用随机数作为初始值，或者使用其他数据集上的预训练权值进行初始化；
判断第一权值是否达到终止优化条件包括但不限于损失值不再降低、验证集检测率不再提升或者达到设定的优化次数。
请参阅图5，步骤S2022对第一权值执行单次优化操作中还包括以下步骤：
步骤S20221：从第一训练集中选取至少一火焰和\或烟雾的标注信息的第一样本；
步骤S20222：使用单帧检测网络模型对第一样本进行处理；
步骤S20223：根据处理结果计算第一损失函数；
步骤S20224：计算第一损失函数相对第一权值的梯度值；及
步骤S20225：更新第一权值。
首先在第一训练集中选取至少一火焰和\或烟雾的标注信息的第一样本，然后使用单帧检测网络模型对第一样本进行处理，此时单帧检测网络模型的权值为前一步训练得到的第一权值，进而根据单帧检测网络模型的处理结果计算第一损失函数，进而计算第一损失函数相对第一权值的梯度值，此时第一权值为单帧检测网络模型的参数，最后根据梯度值对第一权值进行更新，至此完成对第一权值的单次优化操作。
可以理解，第一训练集包含图像和图像中的火焰和烟雾的标注信息；
第一损失函数包括单帧检测网络模型进行火焰检测的损失和烟雾检测的损失；
更新第一权值的方法包括但不限于SGD (Stochastic Gradient Descent)，RMSProp(Root Mean Square Prop)，Adam(Adaptive Moment Estimation)，NAG(NesterovAccelerated Gradient)或其组合。
请参阅图6，步骤S203根据第二训练集训练时序分析网络模型中还包括以下步骤：
步骤S2031：初始化第二权值；
步骤S2032：对第二权值执行单次优化操作；
步骤S2033：判断第二权值是否达到终止优化条件，若达到，则进入步骤S034，若未达到，则返回步骤S2032；及
步骤S2034：保存时序分析网络模型结构及对应的第二权值。
首先对时序检测网络模型的第二权值进行初始化，然后根据第二权值运行一次时序检测网络模型，即对第二权值执行单次优化操作，最后根据时序检测网络模型计算的结果判断第二权值是否达到终止优化条件，若达到，则进入步骤S034，即保存时序检测网络模型结构及对应的第二权值，若未达到，则返回步骤S032，即继续对第二权值执行单次优化操作。
可以理解，第二权值为时序检测网络模型包含了特征提取网络的参数和时序分析网络模型的参数，第二权值可以使用随机数做为初始值，或者使用其他数据集上的预训练权值进行初始化；
判断第二权值是否达到终止优化条件包括但不限于损失值不再降低、验证集检测率不再提升或者达到设定的优化次数。
请参阅图7，步骤S2032对第二权值执行单次优化操作中还包括以下步骤：
步骤S20321：从第二训练集中选取至少一火焰等级和\或烟雾等级的标注信息的第二样本；
步骤S20322：使用时序分析网络模型对第二样本进行处理；
步骤S20323：根据处理结果计算第二损失函数；
步骤S20324：计算第二损失函数相对第二权值的梯度值；及
步骤S20325：更新第二权值。
首先在第二训练集中选取至少一火焰等级和 \或烟雾等级的标注信息的第二样本，然后使用时序检测网络模型对第二样本进行处理，此时时序检测网络模型的权值为前一步训练得到的第二权值，进而根据时序检测网络模型的处理结果计算第二损失函数，进而计算第二损失函数相对第二权值的梯度值，此时第二权值为时序检测网络模型的参数，最后根据梯度值对第二权值进行更新，至此完成对第二权值的单次优化操作。
可以理解，第二训练集包含视频序列和视频序列中的火焰等级和烟雾等级的标注信息
第二损失函数包括时序检测网络模型进行火焰等级预测的损失和烟雾等级预测的损失；
更新第二权值的方法包括但不限于SGD (Stochastic Gradient Descent)，RMSProp(Root Mean Square Prop)，Adam(Adaptive Moment Estimation)，NAG(NesterovAccelerated Gradient)或其组合。
请参阅图8，步骤S4结合第一检测结果和第二检测结果计算火灾风险等级之后还包括以下步骤：
步骤S5：结合火灾风险等级和设定的阈值，判断是否启动报警，若火灾风险等级小于设定阈值时，则进入步骤S4，若火灾风险等级大于设定阈值时，则进入步骤S6；及
步骤S6：启动报警。
可以理解，将第一检测结果和第二检测结果检测的火灾风险等级定义为0～1，等级0表示没有火灾风险，等级1表示火灾风险最高，并将报警阈值设定为0.3，当火灾风险等级小于0.3时，则不启动报警，并继续计算火灾风险等级；当火灾风险等级大于0.3时，则启动报警。阈值为用户根据实际场景设定。
报警阈值可结合不同的环境设置为不同，如在潮湿或阴雨的环境中，火灾发生前到发生火灾的时间周期较长，进而可将报警阈值设置在 0.7-0.9之间，以防止不必要的救火行动；如在干燥或烈日的环境中，火灾发生前到发生火灾的时间周期较短，进而可将报警阈值设置在0.1-0.3 之间，以在最快的时间内进行救火行动。
本发明第二实施例提供一种计算机可读介质，计算机可读介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述的早期火灾检测方法。
根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元 (CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
请参阅图9，本发明第三实施例提供一种检测系统1，其包括监控模块11，监控模块11被配置为用于获取监控视频；第一检测模块12，第一检测模块12被配置为用于使用单帧检测网络模型获得第一检测结果；第二检测模块13，第二检测模块 13被配置为用于使用时序检测网络模型获得第二检测结果；及计算模块14，计算模块14被配置为用于结合第一检测结果和第二检测结果计算火灾风险等级。
第一实施例中的相关限定内容同样适用于本实施例。
与现有技术相比，本发明的早期火灾检测方法、计算机可读介质及系统具有以下优点：
1.通过单帧检测网络模型结合当前图像检测是否存在火焰和\或烟雾，以获得第一检测结果；通过时序检测网络模型结合当前图像前的视频序列检测火焰等级和\或烟雾等级，以获得第二检测结果；进而结合第一检测结果和第二检测结果预算火灾风险等级，以防止不同环境下，单帧检测网络模型在当前图像中没有检测到火焰和\或烟雾，进而通过时序检测网络模型对当前图像前的视频序列进行检测，以检测到火焰和\或烟雾，并计算出火焰等级和\或烟雾等级，以防止对火灾的漏检情况，增加检测火灾的准确率。
2.根据火灾场景的视频建立单帧图像形式的第一训练集和视频序列形式的第二训练集，并根据第一训练集训练单帧检测网络模型，以使单帧检测网络模型检测当前图像中是否存在火焰和\ 或烟雾，根据第二训练集训练时序检测网络模型，以使时序检测网络模型检测当前图像之前的视频序列中火焰等级和\或烟雾等级，进而提高早起火灾检测方法检测火灾的准确性。
3.使用随机数作为第一权值，并通过第一训练集中的单帧图像对第一权值进行优化，以使单帧检测网络模型结合优化后的第一权值进行火灾检测，提升单帧检测网络模型检测是否存在火焰和\或烟雾的准确性。
4.使用随机数作为第二权值，并通过第二训练集中的视频序列对第二权值进行优化，以使时序检测网络模型结合优化后的第二权值进行火灾检测，提升时序检测网络模型检测火焰等级和\ 或烟雾等级的准确性。
5.结合火灾风险等级和设定的阈值，判断是否启动报警，阈值由用户自行设定，以供用户根据不同的环境设定不同的报警阈值，既能防止不必要的报警，又能做到第一时间准确的报警。
6.在计算机可读介质中存储计算机程序，计算机程序被设置为运行时执行早期火灾检测方法，以通过计算机实现早期检测火灾的目的。
7.将早期检测火灾的方法具体为监控模块、第一检测模块、第二检测模块及计算模块，以实现早期检测火灾的目的。
以上所述仅为本发明较佳实施例而已，并不用以限制本发明，凡在本发明原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (10)

1.一种早期火灾检测方法，用于检测火灾，其特征在于：该方法包括以下步骤：
步骤S1：获取实时监控视频；
步骤S2：提供一个单帧检测网络模型，并使用单帧检测网络模型检测当前时刻的图像是否存在火焰和\或烟雾，以获得第一检测结果；
步骤S3：提供一个时序检测网络模型，并使用时序检测网络模型检测当前时刻之前的视频序列中火焰等级和\或烟雾等级，以获得第二检测结果；及
步骤S4：结合第一检测结果和第二检测结果计算火灾风险等级。
2.如权利要求1所述的早期火灾检测方法，其特征在于：步骤S3提供一个时序检测网络模型，并使用时序检测网络模型检测当前时刻之前的视频序列中火焰等级和\或烟雾等级，以获得第二检测结果，还包括以下步骤：
步骤S31：计算当前时刻之前相邻T个视频序列之间的帧间差；
步骤S32：提取每个帧间差图像特征；及
步骤S33：提取每个帧间差图像特征中的时间相关性特征，获得第二检测结果。
3.如权利要求1所述的早期火灾检测方法，其特征在于：步骤S2提供一个单帧检测网络模型，并使用单帧检测网络模型检测当前时刻的图像是否存在火焰和\或烟雾，以获得第一检测结果，还包括以下步骤：
步骤S201：根据火灾场景的视频建立单帧图像形式的第一训练集和视频序列形式的第二训练集；
步骤S202：根据第一训练集训练单帧检测网络模型；及
步骤S203：根据第二训练集训练时序检测网络模型。
4.如权利要求3所述的早期火灾检测方法，其特征在于：步骤S202根据第一训练集训练单帧检测网络模型，还包括以下步骤：
步骤S2021：初始化第一权值；
步骤S2022：对第一权值执行单次优化操作；
步骤S2023：判断第一权值是否达到终止优化条件，若达到，则进入步骤S2024，若未达到，则返回步骤S2022；及
步骤S2024：保存单帧检测网络模型结构及对应的第一权值。
5.如权利要求4所述的早期火灾检测方法，其特征在于：步骤S2022对第一权值执行单次优化操作中还包括以下步骤：
步骤S20221：从第一训练集中选取至少一火焰和\或烟雾的标注信息的第一样本；
步骤S20222：使用单帧检测网络模型对第一样本进行处理；
步骤S20223：根据处理结果计算第一损失函数；
步骤S20224：计算第一损失函数相对第一权值的梯度值；及
步骤S20225：更新第一权值。
6.如权利要求3所述的早期火灾检测方法，其特征在于：步骤S203根据第二训练集训练时序检测网络模型中还包括以下步骤：
步骤S2031：初始化第二权值；
步骤S2032：对第二权值执行单次优化操作；
步骤S2033：判断第二权值是否达到终止优化条件，若达到，则进入步骤S034，若未达到，则返回步骤S2032；及
步骤S2034：保存时序检测网络模型结构及对应的第二权值。
7.如权利要求6所述的早期火灾检测方法，其特征在于：步骤S2032对第二权值执行单次优化操作中还包括以下步骤：
步骤S20321：从第二训练集中选取至少一火焰等级和\或烟雾等级的标注信息的第二样本；
步骤S20322：使用时序检测网络模型对第二样本进行处理；
步骤S20323：根据处理结果计算第二损失函数；
步骤S20324：计算第二损失函数相对第二权值的梯度值；及
步骤S20325：更新第二权值。
8.如权利要求1所述的早期火灾检测方法，其特征在于：步骤S4结合第一检测结果和第二检测结果计算火灾风险等级之后还包括以下步骤：
步骤S5：结合火灾风险等级和设定的阈值，判断是否启动报警，若火灾风险等级小于设定阈值时，则返回步骤S4，若火灾风险等级大于设定阈值时，则进入步骤S6；及
步骤S6：启动报警。
9.一种计算机可读介质，其特征在于：所述计算机可读介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1-8中任一项中所述的早期火灾检测方法。
10.一种检测系统，其特征在于：所述检测系统包括：
监控模块，被配置为用于获取监控视频；
第一检测模块，被配置为提供一个单帧检测网络模型，并使用单帧检测网络模型检测当前时刻的图像是否存在火焰和\或烟雾，以获得第一检测结果；
第二检测模块，被配置为提供一个时序检测网络模型，并使用时序检测网络模型检测当前时刻之前的视频序列中火焰等级和\或烟雾等级，以获得第二检测结果；及
计算模块，被配置为用于结合第一检测结果和第二检测结果计算火灾风险等级。
CN201910611908.9A 2019-07-08 2019-07-08 一种早期火灾检测方法、计算机可读介质及系统 Withdrawn CN110378265A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910611908.9A CN110378265A (zh) 2019-07-08 2019-07-08 一种早期火灾检测方法、计算机可读介质及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910611908.9A CN110378265A (zh) 2019-07-08 2019-07-08 一种早期火灾检测方法、计算机可读介质及系统

Publications (1)

Publication Number Publication Date
CN110378265A true CN110378265A (zh) 2019-10-25

Family

ID=68252356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910611908.9A Withdrawn CN110378265A (zh) 2019-07-08 2019-07-08 一种早期火灾检测方法、计算机可读介质及系统

Country Status (1)

Country Link
CN (1) CN110378265A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648490A (zh) * 2019-09-26 2020-01-03 华南师范大学 适用于嵌入式平台的多因子火焰识别方法
CN110969205A (zh) * 2019-11-29 2020-04-07 南京恩博科技有限公司 一种基于目标检测的森林烟火检测方法、存储介质和设备
CN111091072A (zh) * 2019-11-29 2020-05-01 河海大学 一种基于YOLOv3的火焰及浓烟检测方法
CN111523420A (zh) * 2020-04-14 2020-08-11 南京烽火星空通信发展有限公司 基于多任务深度神经网络的表头分类与表头列语义识别方法
CN111723656A (zh) * 2020-05-12 2020-09-29 中国电子系统技术有限公司 一种基于YOLO v3与自优化的烟雾检测方法及装置
CN113205487A (zh) * 2021-04-12 2021-08-03 武汉大学 一种基于残差网络融合异构数据的电缆状态检测方法
CN116978207A (zh) * 2023-09-20 2023-10-31 张家港江苏科技大学产业技术研究院 一种多功能的实验室安全监测与预警系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163358A (zh) * 2011-04-11 2011-08-24 杭州电子科技大学 一种基于视频图像分析的烟雾/火焰检测方法
CN106897720A (zh) * 2017-01-11 2017-06-27 济南中维世纪科技有限公司 一种基于视频分析的烟火检测方法及装置
CN108399359A (zh) * 2018-01-18 2018-08-14 中山大学 一种视频序列下实时火灾检测预警方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163358A (zh) * 2011-04-11 2011-08-24 杭州电子科技大学 一种基于视频图像分析的烟雾/火焰检测方法
CN106897720A (zh) * 2017-01-11 2017-06-27 济南中维世纪科技有限公司 一种基于视频分析的烟火检测方法及装置
CN108399359A (zh) * 2018-01-18 2018-08-14 中山大学 一种视频序列下实时火灾检测预警方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648490A (zh) * 2019-09-26 2020-01-03 华南师范大学 适用于嵌入式平台的多因子火焰识别方法
CN110969205A (zh) * 2019-11-29 2020-04-07 南京恩博科技有限公司 一种基于目标检测的森林烟火检测方法、存储介质和设备
CN111091072A (zh) * 2019-11-29 2020-05-01 河海大学 一种基于YOLOv3的火焰及浓烟检测方法
CN111523420A (zh) * 2020-04-14 2020-08-11 南京烽火星空通信发展有限公司 基于多任务深度神经网络的表头分类与表头列语义识别方法
CN111523420B (zh) * 2020-04-14 2023-07-07 南京烽火星空通信发展有限公司 基于多任务深度神经网络的表头分类与表头列语义识别方法
CN111723656A (zh) * 2020-05-12 2020-09-29 中国电子系统技术有限公司 一种基于YOLO v3与自优化的烟雾检测方法及装置
CN111723656B (zh) * 2020-05-12 2023-08-22 中国电子系统技术有限公司 一种基于YOLO v3与自优化的烟雾检测方法及装置
CN113205487A (zh) * 2021-04-12 2021-08-03 武汉大学 一种基于残差网络融合异构数据的电缆状态检测方法
CN113205487B (zh) * 2021-04-12 2022-09-13 武汉大学 一种基于残差网络融合异构数据的电缆状态检测方法
CN116978207A (zh) * 2023-09-20 2023-10-31 张家港江苏科技大学产业技术研究院 一种多功能的实验室安全监测与预警系统
CN116978207B (zh) * 2023-09-20 2023-12-01 张家港江苏科技大学产业技术研究院 一种多功能的实验室安全监测与预警系统

Similar Documents

Publication Publication Date Title
CN110378265A (zh) 一种早期火灾检测方法、计算机可读介质及系统
CN111091072A (zh) 一种基于YOLOv3的火焰及浓烟检测方法
CN109034632B (zh) 一种基于对抗样本的深度学习模型安全风险评估方法
CN105787472B (zh) 一种基于时空拉普拉斯特征映射学习的异常行为检测方法
CN102208018A (zh) 一种基于视频差异分析的输电线路火灾识别方法
CN110425005A (zh) 矿井下皮带运输人员人机交互行为安全监控与预警方法
CN113139500B (zh) 烟雾检测方法、系统、介质及设备
CN110413838A (zh) 一种无监督视频摘要模型及其建立方法
CN110348390A (zh) 一种火焰检测模型的训练方法、计算机可读介质及系统
CN112241554B (zh) 基于差分隐私指数机制的模型窃取防御方法和装置
US20230359896A1 (en) Intelligent recognition and alert methods and systems
CN108491762A (zh) 一种人体跌倒的检测方法及装置
CN110147762A (zh) 一种嵌入式消防误报消除系统
CN104463253A (zh) 基于自适应背景学习的消防通道安全检测方法
CN109376736A (zh) 一种基于深度卷积神经网络的视频小目标检测方法
CN111062350B (zh) 基于人工智能烟火识别算法
CN113052147A (zh) 一种行为识别方法及装置
CN107480578A (zh) 一种利用人群行为分析的视频检测系统及方法
CN104077571B (zh) 一种采用单类序列化模型的人群异常行为检测方法
CN111986436A (zh) 一种基于紫外、深度神经网络的综合火焰检测方法
CN116187740A (zh) 一种输电线路沿线山火监测方法及系统
CN111931573A (zh) 基于yolo进化深度学习模型的安全帽检测与预警方法
CN114913460A (zh) 一种基于卷积神经网络的电动车入梯实时检测方法
CN112308093B (zh) 基于图像识别的空气质量感知方法、模型训练方法及系统
CN104504265B (zh) 一种在役桥梁监测信息安全评估的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20191025

WW01 Invention patent application withdrawn after publication