CN112699801A - 基于视频图像的火灾识别方法及系统 - Google Patents

基于视频图像的火灾识别方法及系统 Download PDF

Info

Publication number
CN112699801A
CN112699801A CN202011625371.0A CN202011625371A CN112699801A CN 112699801 A CN112699801 A CN 112699801A CN 202011625371 A CN202011625371 A CN 202011625371A CN 112699801 A CN112699801 A CN 112699801A
Authority
CN
China
Prior art keywords
flame
target
fire
calculating
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011625371.0A
Other languages
English (en)
Other versions
CN112699801B (zh
Inventor
石芳菲
刘征宇
刘盟
周陈喜
陈晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute Of Ship Electronic Equipment 726 Institute Of China Ship Heavy Industry Corp
Original Assignee
Shanghai Institute Of Ship Electronic Equipment 726 Institute Of China Ship Heavy Industry Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute Of Ship Electronic Equipment 726 Institute Of China Ship Heavy Industry Corp filed Critical Shanghai Institute Of Ship Electronic Equipment 726 Institute Of China Ship Heavy Industry Corp
Priority to CN202011625371.0A priority Critical patent/CN112699801B/zh
Publication of CN112699801A publication Critical patent/CN112699801A/zh
Application granted granted Critical
Publication of CN112699801B publication Critical patent/CN112699801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

本发明提供了一种基于视频图像的火灾识别方法及系统，包括：步骤S1：建立火灾数据集并训练基于深度学习的火焰目标检测模型，获取火灾数据集并训练基于深度学习的火焰目标检测模型建立结果信息；步骤S2：根据火灾数据集并训练基于深度学习的火焰目标检测模型建立结果信息，判别检测到的火焰目标是否为虚假火焰，获取检测到的火焰目标是否为虚假火焰判别结果信息；步骤S3：获取基于视频图像的火灾识别结果信息。本发明针对现有火灾图像识别算法抗干扰能力弱、容易出现误报警问题，提出了一种具有较高抗误报警能力且可以给出火灾相对位置的图像识别算法。

Description

基于视频图像的火灾识别方法及系统
技术领域
本发明涉及火灾识别技术领域，具体地，涉及一种基于视频图像的火灾识别方法及系统，尤其涉及一种基于深度学习、图像处理的判断视频中是否有火焰的算法。
背景技术
随着人工智能技术的不断发展，越来越多理论研究成果逐步走向落地应用，计算机视觉作为人工智能的一个重要分支，在人脸识别、无人驾驶、监控分析等领域已有较广泛的应用，拓展人工智能的应用范围将产生更大的社会价值。
火灾作为一类难以完全消除的安全风险，威胁着人们的生命和财产安全，一旦发生火灾，若未在早期发现并扑灭，往往会造成巨大的损失。近年来，监控摄像头被更加广泛的部署在各类场所，使得基于视频监控图像的火灾监测技术具有便捷的应用基础，且相较与传统的烟温等传感器具有部署成本低、报警速度快、覆盖范围广等优势，因此视频火灾检测技术具有较高的实际应用价值。
传统的视频图像火灾检识别术通常采用基于对特定特征的提取，再结合分类模型加以训练，最后判断单帧图片中是否有火灾信息。此类方法的鲁棒性较差，在实际应用中很容易受到日光、灯光、彩色图案等干扰影响，误报警率高。近年来，基于卷积神经网络的人工智能技术在图像分类、目标检测、图像分割等方向都取得了远优于传统方法的效果。将卷积神经网络应用于视频火灾识别可提算法高准确率和鲁棒性。
专利文献CN111476965A公开了一种火灾检测模型的构建方法、火灾检测方法及相关设备，火灾检测模型的构建方法包括：获取待优化参数及测试样本，测试样本包括环境信息以及与环境信息对应的火灾信息；执行迭代步骤，迭代步骤包括：根据待优化参数生成待优化模型，将环境信息输入待优化模型，根据待优化模型的输出结果、环境信息对应的火灾信息以及乌鸦搜索算法计算迭代参数；将迭代参数作为新的待优化参数，循环执行迭代步骤，直到满足预设迭代条件，将满足迭代条件的迭代参数作为最优参数，根据最优参数生成火灾检测模型。采用构建的火灾检测模型，可以提高火灾检测的效率和准确度。该专利在流程构造和技术性能上仍然有待提高的空间。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于视频图像的火灾识别方法及系统。
根据本发明提供的一种基于视频图像的火灾识别方法，包括：
步骤S1：建立火灾数据集并训练基于深度学习的火焰目标检测模型，获取火灾数据集并训练基于深度学习的火焰目标检测模型建立结果信息；
步骤S2：根据火灾数据集并训练基于深度学习的火焰目标检测模型建立结果信息，判别检测到的火焰目标是否为虚假火焰，获取检测到的火焰目标是否为虚假火焰判别结果信息；
步骤S3：获取基于视频图像的火灾识别结果信息。
优选地，所述步骤S1包括：
步骤S1.1：通过互联网下载及火灾实验录制的方式获取多段火灾视频和图片数据，建立火灾图像数据库；
优选地，所述步骤S1还包括：
步骤S1.2：从建立的火灾图像数据库中手动截取火灾图片，采用数据增强的方法对数据集扩增；使用目标检测图片标注工具对图片中的火焰进行数据标注，构建训练火焰目标模型所需数据集；
步骤S1.3：将自建火灾数据集划分为训练集和测试集，使用训练集训练火焰目标检测模型，使用测试集测试模型性能，通过对模型反复优化获取性能良好的火焰检测模型；
优选地，所述步骤S2包括：
步骤S2.1：火焰检测模型检测到图像中的一个火焰目标后输出6个值：Xmin、Xmax、Ymin、Ymax、name、score；
其中，Xmin表示目标框的x轴最大坐标、Xmax表示x轴最大坐标、Ymin表示y轴最小坐标、Ymax表示y轴最大坐标、name表示目标名称、score表示检测为该目标的概率；
步骤S2.2：若某一帧图像中检测到有火焰，则记录接下来t秒内的所有帧的检测输出结果，当某帧中检测到的火焰目标数量大于2时仅记录score值最大和次大的目标结果，当t秒内有超过一定比例的帧中有检测到火焰目标则将检测结果输入至下一判断环节，否则视为此t秒内检测到的为虚假目标；
步骤S2.3：若t秒内含有火焰目标的帧中均只记录有一个目标则将火焰的检测结果信息序列记为火焰A，若t秒内含有火焰目标的帧中记录两个目标，则计算每一目标中心位置与前一含有两目标的帧中每一目标中心位置的欧式距离，根据就近原则将火焰信息分为两个序列，分别记为火焰A和火焰B；
优选地，所述步骤S2还包括：
步骤S2.4：计算火焰A中目标框平均面积，计算火焰B中目标框平均面积，若目标框平均面积小于原始图像面积一定比例，则采取灰度变化条件判别是否为真实火焰。否则采用面积变化条件和运动变化条件进行判别。(提高对小目标判别的准确度)
步骤S2.5：灰度变化条件判别的方法为：计算火焰A中每一目标框内像素灰度均值Hn，计算火焰A中所有目标框内像素灰度均值的均值
Figure BDA0002874716070000031
计算Hn在
Figure BDA0002874716070000032
上下跳变频率Hp，若Hp值在一定经验阈值范围内则判断其为真实火焰，否则视为虚假火焰。
步骤S2.6：面积变化条件判别方法为：计算火焰A序列中目标的面积的均值S和标准差δS，计算标准差与均值的比值K，若K值在经验阈值区间内则进入运动变化判断环节，否则为虚假目标(排除大小基本不变的目标)。
步骤S2.7：运动变化条件方法为：在火焰A信息序列中，从第二个火焰目标开始至最后一个火焰目标，依次计算当前目标框中心坐标y轴值与前一目标框中心坐标y轴值的差值，计算差值由正到负的跳变频率，若频率值在一定经验阈值区间内则判断火焰A为真实目标，否则为虚假目标(排除非往复跳动目标)；
步骤S2.8：判别识别到目标为真实火焰后输出报警信息。
根据本发明提供的一种基于视频图像的火灾识别系统，包括：
模块M1：建立火灾数据集并训练基于深度学习的火焰目标检测模型，获取火灾数据集并训练基于深度学习的火焰目标检测模型建立结果信息；
模块M2：根据火灾数据集并训练基于深度学习的火焰目标检测模型建立结果信息，判别检测到的火焰目标是否为虚假火焰，获取检测到的火焰目标是否为虚假火焰判别结果信息；
模块M3：获取基于视频图像的火灾识别结果信息。
优选地，所述模块M1包括：
模块M1.1：通过互联网下载及火灾实验录制的方式获取多段火灾视频和图片数据，建立火灾图像数据库；
优选地，所述模块M1还包括：
模块M1.2：从建立的火灾图像数据库中手动截取火灾图片，采用数据增强的方法对数据集扩增；使用目标检测图片标注工具对图片中的火焰进行数据标注，构建训练火焰目标模型所需数据集；
模块M1.3：将自建火灾数据集划分为训练集和测试集，使用训练集训练火焰目标检测模型，使用测试集测试模型性能，通过对模型反复优化获取性能良好的火焰检测模型；
优选地，所述模块M2包括：
模块M2.1：火焰检测模型检测到图像中的一个火焰目标后输出6个值：Xmin、Xmax、Ymin、Ymax、name、score；
其中，Xmin表示目标框的x轴最大坐标、Xmax表示x轴最大坐标、Ymin表示y轴最小坐标、Ymax表示y轴最大坐标、name表示目标名称、score表示检测为该目标的概率；
模块M2.2：若某一帧图像中检测到有火焰，则记录接下来t秒内的所有帧的检测输出结果，当某帧中检测到的火焰目标数量大于2时仅记录score值最大和次大的目标结果，当t秒内有超过一定比例的帧中有检测到火焰目标则将检测结果输入至下一判断环节，否则视为此t秒内检测到的为虚假目标；
模块M2.3：若t秒内含有火焰目标的帧中均只记录有一个目标则将火焰的检测结果信息序列记为火焰A，若t秒内含有火焰目标的帧中记录两个目标，则计算每一目标中心位置与前一含有两目标的帧中每一目标中心位置的欧式距离，根据就近原则将火焰信息分为两个序列，分别记为火焰A和火焰B；
优选地，所述模块M2还包括：
模块M2.4：计算火焰A中目标框平均面积，计算火焰B中目标框平均面积，若目标框平均面积小于原始图像面积一定比例，则采取灰度变化条件判别是否为真实火焰。否则采用面积变化条件和运动变化条件进行判别。(提高对小目标判别的准确度)
模块M2.5：灰度变化条件判别的方法为：计算火焰A中每一目标框内像素灰度均值Hn，计算火焰A中所有目标框内像素灰度均值的均值
Figure BDA0002874716070000041
计算Hn在
Figure BDA0002874716070000042
上下跳变频率Hp，若Hp值在一定经验阈值范围内则判断其为真实火焰，否则视为虚假火焰。
模块M2.6：面积变化条件判别方法为：计算火焰A序列中目标的面积的均值S和标准差δS，计算标准差与均值的比值K，若K值在经验阈值区间内则进入运动变化判断环节，否则为虚假目标(排除大小基本不变的目标)。
模块M2.7：运动变化条件方法为：在火焰A信息序列中，从第二个火焰目标开始至最后一个火焰目标，依次计算当前目标框中心坐标y轴值与前一目标框中心坐标y轴值的差值，计算差值由正到负的跳变频率，若频率值在一定经验阈值区间内则判断火焰A为真实目标，否则为虚假目标(排除非往复跳动目标)；
模块M2.8：判别识别到目标为真实火焰后输出报警信息。
与现有技术相比，本发明具有如下的有益效果：
1、本发明针对现有火灾图像识别算法抗干扰能力弱、容易出现误报警问题，提出了一种具有较高抗误报警能力且可以给出火灾相对位置的图像识别算法。
2、本发明采用基于深度学习技术的火焰目标检测模型来检测火焰，具有准确度高，环境适应性强的优势。
3、本发明在模型检测到单帧火焰目标后，对连续多帧检测到的火焰目标框中心高度值变化、目标框面积变化、目标区域灰度变化进行进一步判别来排除虚假目标。采用两级判别模式，利用了火焰的静态及动态特征信息，提高了对虚假目标的判别能力，有效降低误报警率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的整体流程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1，一种基于视频图像的火灾识别方法，包括：第一步，建立火灾数据集并训练基于深度学习的火焰目标检测模型，火焰目标检测可以使用的模型包括但不限于R-CNN系列(R-CNN、Fast R-CNN、Faster R-CNN)、YOLO系列(YOLO v1、YOLO v2、YOLO v3、YOLO v4)、SSD、RetinaNet等。
方法为：1、通过互联网下载及火灾实验录制的方式获取多段火灾视频和图片数据，建立火灾图像数据库。
2、从建立的火灾图像数据库中手动截取火灾图片，采用数据增强的方法对数据集扩增；使用目标检测图片标注工具对图片中的火焰进行数据标注，构建训练火焰目标模型所需数据集。
3、将自建火灾数据集划分为训练集和测试集，使用训练集训练火焰目标检测模型，使用测试集测试模型性能，通过对模型反复优化获取性能良好的火焰检测模型。
第二步，进一步判别检测到的火焰目标是否为虚假火焰。
方法为：1、火焰检测模型检测到图像中的一个火焰目标后输出6个值：Xmin、Xmax、Ymin、Ymax、name、score，分别表示目标框的x轴最大坐标、x轴最大坐标、y轴最小坐标、y轴最大坐标、目标名称、检测为该目标的概率。
2、若某一帧图像中检测到有火焰，则记录接下来t秒内的所有帧的检测输出结果，当某帧中检测到的火焰目标数量大于2时仅记录score值最大和次大的目标结果，当t秒内有超过一定比例的帧中有检测到火焰目标则将检测结果输入至下一判断环节，否则视为此t秒内检测到的为虚假目标。
3、若t秒内含有火焰目标的帧中均只记录有一个目标则将火焰的检测结果信息序列记为火焰A，若t秒内含有火焰目标的帧中记录两个目标，则计算每一目标中心位置与前一含有两目标的帧中每一目标中心位置的欧式距离，根据就近原则将火焰信息分为两个序列，分别记为火焰A和火焰B。
4、计算火焰A中目标框平均面积，计算火焰B中目标框平均面积，若目标框平均面积小于原始图像面积一定比例，则采取灰度变化条件判别是否为真实火焰。否则采用面积变化条件和运动变化条件进行判别。(提高对小目标判别的准确度)
5、灰度变化条件判别的方法为：计算火焰A中每一目标框内像素灰度均值Hn，计算火焰A中所有目标框内像素灰度均值的均值Hn，计算Hn在Hn上下跳变频率Hp，若Hp值在一定经验阈值范围内则判断其为真实火焰，否则视为虚假火焰。
6、面积变化条件判别方法为：计算火焰A序列中目标的面积的均值S和标准差δS，计算标准差与均值的比值K，若K值在经验阈值区间内则进入运动变化判断环节，否则为虚假目标(排除大小基本不变的目标)。
7、运动变化条件方法为：在火焰A信息序列中，从第二个火焰目标开始至最后一个火焰目标，依次计算当前目标框中心坐标y轴值与前一目标框中心坐标y轴值的差值，计算差值由正到负的跳变频率，若频率值在一定经验阈值区间内则判断火焰A为真实目标，否则为虚假目标(排除非往复跳动目标)。
8、判别识别到目标为真实火焰后输出报警信息。操作流程如图1所示。
具体地，在一个实施例中，一种以YOLO v4作为火焰目标检测模型如下：
1、通过互联网下载及火灾实验录制的方式获取多段火灾视频和图片数据，建立火灾图像数据库。火灾图像包含多种燃烧场景、火焰多个拍摄角度、燃烧的各个阶段，以及一定数量的灯光、落日、彩色图案等干扰样本。
2、从建立的火灾图像数据库中手动截取火灾图片，采用数据增强的方法对数据集扩增(数据增强方法有翻转、旋转、裁剪、添加噪声)；使用目标检测图片标注工具对图片中的火焰进行数据标注，为了避免漏检，将疑似火焰均标记为目标，构建训练所需数据集。
3、训练YOLO v4网络模型。将自建火灾数据集的70％作为训练集，30％作为测试集，使用训练集训练YOLO v4模型，深度学习框架选择tensorflow2.0，使用GPU加速训练，模型初始化权重采用基于公开数据集训练的YOLO v4模型权重，通过对模型的反复训练及参数调优，保存损失函数较小的若干个模型，使用测试集对保存的模型进行测试，结合测试结果对模型进一步微调及训练，获取综合性能最佳的模型。
4、将监控视频图像输入至训练好的YOLO v4模型进行火灾检测。依次读取视频的每帧图像并进行检测，YOLO v4检测到一个火焰目标后输出6个值：Xmin、Xmax、Ymin、Ymax、name、score，分别表示目标框的x轴最大坐标、x轴最大坐标、y轴最小坐标、y轴最大坐标、目标名称、检测为目标的概率。
5、计算目标框面积和中心坐标。目标面积S＝(Xmax-Xmin)*(Ymax-Ymin)；目标框中心坐标为C(X，Y)，其中X＝(Xmax+Xmin)/2，
Y＝(Ymax+Ymin)/2。
6、对视频中识别到的目标的帧数进行比例条件判断。若某一帧图像中检测到有火焰，则记录接下来3秒内的所有帧的检测输出结果，当某帧中检测到的火焰目标数量大于2时仅记录score值最大和次大的目标结果，若3秒内有超过30％的帧中有检测到火焰目标则将检测结果输入至下一判断环节，否则视为此3秒内检测到的为虚假目标。
7、若3秒内含有火焰目标的帧中均只记录有一个目标则将火焰的检测结果信息序列记为火焰A，若3秒内含有火焰目标的帧中记录两个目标的，则计算每一目标中心位置与前一含有两目标的帧中每一目标中心位置的欧式距离，根据就近原则将火焰信息分为两个序列，分别记为火焰A和火焰B。
8、计算火焰A中目标框平均面积，计算火焰B中目标框平均面积，若平均面积小于原始图像面积的1/300，则采取灰度变化条件判别其是否为真实火焰。否则采用面积变化条件和运动变化条件进行判别。
9、灰度变化条件判别的方法为：计算火焰A中每一目标框内像素灰度均值Hn，计算所有目标框内像素灰度均值的均值
Figure BDA0002874716070000081
计算Hn在
Figure BDA0002874716070000082
上下跳变频率Hp，若Hp在3～20Hz内则判断其为真实火焰，否则视为虚假火焰。
10、面积变化条件判别方法为：计算火焰A序列中目标的面积的均值S和标准差δS，计算标准差与均值的比值K，若K值在经验阈值区间内则进入运动变化条件判断环节，否则为虚假目标(排除大小基本不变的目标)。
11、运动变化条件方法为：在火焰A信息序列中，从第二个火焰目标开始至最后一个火焰目标，依次计算当前目标框中心坐标y轴值与前一目标框中心坐标y轴值的差值，计算差值由正到负的跳变频率，若频率在3～20H内则判断火焰A为真实目标，否则为虚假目标(排除非往复跳动目标)。
12、报警输出。若经上述条件判别为真实火焰目标，则输出目标信息并发出报警。
在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于视频图像的火灾识别方法，其特征在于，包括：
步骤S1：建立火灾数据集并训练基于深度学习的火焰目标检测模型，获取火灾数据集并训练基于深度学习的火焰目标检测模型建立结果信息；
步骤S2：根据火灾数据集并训练基于深度学习的火焰目标检测模型建立结果信息，判别检测到的火焰目标是否为虚假火焰，获取检测到的火焰目标是否为虚假火焰判别结果信息；
步骤S3：获取基于视频图像的火灾识别结果信息。
2.根据权利要求1所述的基于视频图像的火灾识别方法，其特征在于，所述步骤S1包括：
步骤S1.1：通过互联网下载及火灾实验录制的方式获取多段火灾视频和图片数据，建立火灾图像数据库。
3.根据权利要求2所述的基于视频图像的火灾识别方法，其特征在于，所述步骤S1还包括：
步骤S1.2：从建立的火灾图像数据库中手动截取火灾图片，采用数据增强的方法对数据集扩增；使用目标检测图片标注工具对图片中的火焰进行数据标注，构建训练火焰目标模型所需数据集；
步骤S1.3：将自建火灾数据集划分为训练集和测试集，使用训练集训练火焰目标检测模型，使用测试集测试模型性能，通过对模型反复优化获取性能良好的火焰检测模型。
4.根据权利要求1所述的基于视频图像的火灾识别方法，其特征在于，所述步骤S2包括：
步骤S2.1：火焰检测模型检测到图像中的一个火焰目标后输出6个值：Xmin、Xmax、Ymin、Ymax、name、score；
其中，Xmin表示目标框的x轴最大坐标、Xmax表示x轴最大坐标、Ymin表示y轴最小坐标、Ymax表示y轴最大坐标、name表示目标名称、score表示检测为该目标的概率；
步骤S2.2：若某一帧图像中检测到有火焰，则记录接下来t秒内的所有帧的检测输出结果，当某帧中检测到的火焰目标数量大于2时仅记录score值最大和次大的目标结果，当t秒内有超过一定比例的帧中有检测到火焰目标则将检测结果输入至下一判断环节，否则视为此t秒内检测到的为虚假目标；
步骤S2.3：若t秒内含有火焰目标的帧中均只记录有一个目标则将火焰的检测结果信息序列记为火焰A，若t秒内含有火焰目标的帧中记录两个目标，则计算每一目标中心位置与前一含有两目标的帧中每一目标中心位置的欧式距离，根据就近原则将火焰信息分为两个序列，分别记为火焰A和火焰B。
5.根据权利要求4所述的基于视频图像的火灾识别方法，其特征在于，所述步骤S2还包括：
步骤S2.4：计算火焰A中目标框平均面积，计算火焰B中目标框平均面积，若目标框平均面积小于原始图像面积一定比例，则采取灰度变化条件判别是否为真实火焰；否则采用面积变化条件和运动变化条件进行判别；
步骤S2.5：计算火焰A中每一目标框内像素灰度均值Hn，计算火焰A中所有目标框内像素灰度均值的均值
Figure FDA0002874716060000021
计算Hn在
Figure FDA0002874716060000022
上下跳变频率Hp，若Hp值在一定经验阈值范围内则判断其为真实火焰，否则视为虚假火焰；
步骤S2.6：面积变化条件判别方法为：计算火焰A序列中目标的面积的均值S和标准差δS，计算标准差与均值的比值K，若K值在经验阈值区间内则进入运动变化判断环节，否则为虚假目标；
步骤S2.7：在火焰A信息序列中，从第二个火焰目标开始至最后一个火焰目标，依次计算当前目标框中心坐标y轴值与前一目标框中心坐标y轴值的差值，计算差值由正到负的跳变频率，若频率值在一定经验阈值区间内则判断火焰A为真实目标，否则为虚假目标；
步骤S2.8：判别识别到目标为真实火焰后输出报警信息。
6.一种基于视频图像的火灾识别系统，其特征在于，包括：
模块M1：建立火灾数据集并训练基于深度学习的火焰目标检测模型，获取火灾数据集并训练基于深度学习的火焰目标检测模型建立结果信息；
模块M2：根据火灾数据集并训练基于深度学习的火焰目标检测模型建立结果信息，判别检测到的火焰目标是否为虚假火焰，获取检测到的火焰目标是否为虚假火焰判别结果信息；
模块M3：获取基于视频图像的火灾识别结果信息。
7.根据权利要求6所述的基于视频图像的火灾识别系统，其特征在于，所述模块M1包括：
模块M1.1：通过互联网下载及火灾实验录制的方式获取多段火灾视频和图片数据，建立火灾图像数据库。
8.根据权利要求7所述的基于视频图像的火灾识别系统，其特征在于，所述模块M1还包括：
模块M1.2：从建立的火灾图像数据库中手动截取火灾图片，采用数据增强的方法对数据集扩增；使用目标检测图片标注工具对图片中的火焰进行数据标注，构建训练火焰目标模型所需数据集；
模块M1.3：将自建火灾数据集划分为训练集和测试集，使用训练集训练火焰目标检测模型，使用测试集测试模型性能，通过对模型反复优化获取性能良好的火焰检测模型。
9.根据权利要求6所述的基于视频图像的火灾识别系统，其特征在于，所述模块M2包括：
模块M2.1：火焰检测模型检测到图像中的一个火焰目标后输出6个值：Xmin、Xmax、Ymin、Ymax、name、score；
其中，Xmin表示目标框的x轴最大坐标、Xmax表示x轴最大坐标、Ymin表示y轴最小坐标、Ymax表示y轴最大坐标、name表示目标名称、score表示检测为该目标的概率；
模块M2.2：若某一帧图像中检测到有火焰，则记录接下来t秒内的所有帧的检测输出结果，当某帧中检测到的火焰目标数量大于2时仅记录score值最大和次大的目标结果，当t秒内有超过一定比例的帧中有检测到火焰目标则将检测结果输入至下一判断环节，否则视为此t秒内检测到的为虚假目标；
模块M2.3：若t秒内含有火焰目标的帧中均只记录有一个目标则将火焰的检测结果信息序列记为火焰A，若t秒内含有火焰目标的帧中记录两个目标，则计算每一目标中心位置与前一含有两目标的帧中每一目标中心位置的欧式距离，根据就近原则将火焰信息分为两个序列，分别记为火焰A和火焰B。
10.根据权利要求9所述的基于视频图像的火灾识别系统，其特征在于，所述模块M2还包括：
模块M2.4：计算火焰A中目标框平均面积，计算火焰B中目标框平均面积，若目标框平均面积小于原始图像面积一定比例，则采取灰度变化条件判别是否为真实火焰；否则采用面积变化条件和运动变化条件进行判别；
模块M2.5：计算火焰A中每一目标框内像素灰度均值Hn，计算火焰A中所有目标框内像素灰度均值的均值
Figure FDA0002874716060000041
计算Hn在
Figure FDA0002874716060000042
上下跳变频率Hp，若Hp值在一定经验阈值范围内则判断其为真实火焰，否则视为虚假火焰；
模块M2.6：面积变化条件判别方法为：计算火焰A序列中目标的面积的均值S和标准差δS，计算标准差与均值的比值K，若K值在经验阈值区间内则进入运动变化判断环节，否则为虚假目标；
模块M2.7：在火焰A信息序列中，从第二个火焰目标开始至最后一个火焰目标，依次计算当前目标框中心坐标y轴值与前一目标框中心坐标y轴值的差值，计算差值由正到负的跳变频率，若频率值在一定经验阈值区间内则判断火焰A为真实目标，否则为虚假目标；
模块M2.8：判别识别到目标为真实火焰后输出报警信息。
CN202011625371.0A 2020-12-30 2020-12-30 基于视频图像的火灾识别方法及系统 Active CN112699801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011625371.0A CN112699801B (zh) 2020-12-30 2020-12-30 基于视频图像的火灾识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011625371.0A CN112699801B (zh) 2020-12-30 2020-12-30 基于视频图像的火灾识别方法及系统

Publications (2)

Publication Number Publication Date
CN112699801A true CN112699801A (zh) 2021-04-23
CN112699801B CN112699801B (zh) 2022-11-11

Family

ID=75513176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011625371.0A Active CN112699801B (zh) 2020-12-30 2020-12-30 基于视频图像的火灾识别方法及系统

Country Status (1)

Country Link
CN (1) CN112699801B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192038A (zh) * 2021-05-07 2021-07-30 北京科技大学 基于深度学习的已有火焰环境中异常烟火识别监测方法
CN113449588A (zh) * 2021-05-13 2021-09-28 上海湃道智能科技有限公司 烟火检测方法
CN114356076A (zh) * 2021-12-13 2022-04-15 中国船舶重工集团公司第七0九研究所 一种手势操控方法和系统
CN114694103A (zh) * 2022-05-27 2022-07-01 瞳见科技有限公司 一种基于深度学习的烟火识别系统及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819735A (zh) * 2012-08-17 2012-12-12 深圳辉锐天眼科技有限公司 基于视频帧图像的火焰检测方法
CN103337123A (zh) * 2013-06-17 2013-10-02 西安石油大学 基于视频图像的油田联合站火灾预警系统及方法
CN104721996A (zh) * 2015-04-13 2015-06-24 王传波 基于火焰图像识别自动对中消防装置及方法
CN107704818A (zh) * 2017-09-28 2018-02-16 韦彩霞 一种基于视频图像的火灾检测系统
CN108447219A (zh) * 2018-05-21 2018-08-24 中国计量大学 基于视频图像的火灾检测系统及方法
CN109086682A (zh) * 2018-07-11 2018-12-25 东南大学 一种基于多特征融合的智能视频黑烟车检测方法
CN109977838A (zh) * 2019-03-20 2019-07-05 西安理工大学 一种火焰燃烧状态检测方法
CN110276284A (zh) * 2019-06-11 2019-09-24 暨南大学 基于视频质量评估的火焰识别方法、装置、设备及存储介质
CN111368771A (zh) * 2020-03-11 2020-07-03 四川路桥建设集团交通工程有限公司 一种基于图像处理的隧道火灾预警方法、装置、计算机设备以及计算机可读存储介质
CN112052797A (zh) * 2020-09-07 2020-12-08 合肥科大立安安全技术有限责任公司 基于MaskRCNN的视频火灾识别方法及系统
CN112132090A (zh) * 2020-09-28 2020-12-25 天地伟业技术有限公司 一种基于yolov3的烟火自动检测预警方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819735A (zh) * 2012-08-17 2012-12-12 深圳辉锐天眼科技有限公司 基于视频帧图像的火焰检测方法
CN103337123A (zh) * 2013-06-17 2013-10-02 西安石油大学 基于视频图像的油田联合站火灾预警系统及方法
CN104721996A (zh) * 2015-04-13 2015-06-24 王传波 基于火焰图像识别自动对中消防装置及方法
CN107704818A (zh) * 2017-09-28 2018-02-16 韦彩霞 一种基于视频图像的火灾检测系统
CN108447219A (zh) * 2018-05-21 2018-08-24 中国计量大学 基于视频图像的火灾检测系统及方法
CN109086682A (zh) * 2018-07-11 2018-12-25 东南大学 一种基于多特征融合的智能视频黑烟车检测方法
CN109977838A (zh) * 2019-03-20 2019-07-05 西安理工大学 一种火焰燃烧状态检测方法
CN110276284A (zh) * 2019-06-11 2019-09-24 暨南大学 基于视频质量评估的火焰识别方法、装置、设备及存储介质
CN111368771A (zh) * 2020-03-11 2020-07-03 四川路桥建设集团交通工程有限公司 一种基于图像处理的隧道火灾预警方法、装置、计算机设备以及计算机可读存储介质
CN112052797A (zh) * 2020-09-07 2020-12-08 合肥科大立安安全技术有限责任公司 基于MaskRCNN的视频火灾识别方法及系统
CN112132090A (zh) * 2020-09-28 2020-12-25 天地伟业技术有限公司 一种基于yolov3的烟火自动检测预警方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GIUSEPPE MARBACH等: ""An image processing techique for fire detection in video images"", 《FIRE SAFETY JOURNAL》 *
李扬等: ""基于视频图像的多特征火灾检测技术及发展前景展望"", 《科技广场》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192038A (zh) * 2021-05-07 2021-07-30 北京科技大学 基于深度学习的已有火焰环境中异常烟火识别监测方法
CN113192038B (zh) * 2021-05-07 2022-08-19 北京科技大学 基于深度学习的已有火焰环境中异常烟火识别监测方法
CN113449588A (zh) * 2021-05-13 2021-09-28 上海湃道智能科技有限公司 烟火检测方法
CN114356076A (zh) * 2021-12-13 2022-04-15 中国船舶重工集团公司第七0九研究所 一种手势操控方法和系统
CN114356076B (zh) * 2021-12-13 2023-10-03 中国船舶重工集团公司第七0九研究所 一种手势操控方法和系统
CN114694103A (zh) * 2022-05-27 2022-07-01 瞳见科技有限公司 一种基于深度学习的烟火识别系统及方法

Also Published As

Publication number Publication date
CN112699801B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN112699801B (zh) 基于视频图像的火灾识别方法及系统
CN107609470B (zh) 野外火灾早期烟雾视频检测的方法
CN101493980B (zh) 一种基于多特征融合的快速视频火焰探测方法
CN109389185B (zh) 使用三维卷积神经网络的视频烟雾识别方法
CN111626188B (zh) 一种室内不可控明火监测方法及系统
CN110490043A (zh) 一种基于区域划分和特征提取的森林烟火检测方法
CN111626112A (zh) 一种基于轻量化3D-RDNet模型的烟雾视频检测方法及系统
CN108230607B (zh) 一种基于区域特征分析的图像火灾探测方法
CN111401246A (zh) 一种烟雾浓度检测方法、装置、设备及存储介质
CN108985200A (zh) 一种基于终端设备的非配合式的活体检测算法
CN114202646A (zh) 一种基于深度学习的红外图像吸烟检测方法与系统
CN104463869A (zh) 一种视频火焰图像复合识别方法
CN105139429A (zh) 一种基于火焰显著图和空间金字塔直方图的火灾检测方法
CN108921215A (zh) 一种基于局部极值共生模式和能量分析的烟雾检测
CN113469050A (zh) 基于图像细分类的火焰检测方法
CN115719463A (zh) 一种基于超分辨率重构和自适应挤压激励的烟火检测方法
CN111461076A (zh) 帧差法与神经网络结合的烟雾检测方法和检测系统
CN113052055A (zh) 一种基于光流改进与Yolov3的烟雾检测方法
CN109086647B (zh) 烟雾检测方法及设备
CN114757979B (zh) 一种神经网络与红外图像匹配的厨房吸烟检测方法及系统
CN116416576A (zh) 基于v3-yolox的烟雾/火焰双光视觉检测方法
CN111091586A (zh) 一种快速的烟雾动态遮挡区域检测和定位方法及其应用
CN113298027B (zh) 一种火焰检测方法、装置、电子设备和存储介质
CN111127433B (zh) 一种检测火焰的方法及装置
CN114998783A (zh) 一种用于烟火及人员行为视频分析的前端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant