CN117011785B - 基于时空关联和高斯热图的烟火检测方法、装置及系统 - Google Patents

基于时空关联和高斯热图的烟火检测方法、装置及系统 Download PDF

Info

Publication number
CN117011785B
CN117011785B CN202310828111.0A CN202310828111A CN117011785B CN 117011785 B CN117011785 B CN 117011785B CN 202310828111 A CN202310828111 A CN 202310828111A CN 117011785 B CN117011785 B CN 117011785B
Authority
CN
China
Prior art keywords
detection
smoke
flame
detection frame
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310828111.0A
Other languages
English (en)
Other versions
CN117011785A (zh
Inventor
李叶青
汤峻
许小路
杜聪炬
喻莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Huaxin Cement Co Ltd
Original Assignee
Huazhong University of Science and Technology
Huaxin Cement Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology, Huaxin Cement Co Ltd filed Critical Huazhong University of Science and Technology
Priority to CN202310828111.0A priority Critical patent/CN117011785B/zh
Publication of CN117011785A publication Critical patent/CN117011785A/zh
Application granted granted Critical
Publication of CN117011785B publication Critical patent/CN117011785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本发明公开了一种基于时空关联和高斯热图的烟火检测方法、装置及系统，属于计算机视觉技术领域，包括：热图生成模块，对训练数据进行预处理，将视频帧图像训练数据通过热图生成模块，得到包含烟雾和火焰空间关联信息的热图；模型训练模块，用于得到烟雾和火焰目标检测模型；目标检测模块，用于输出可能存在烟雾和火焰的检测框位置；区域截取模块，利用可能的检测框位置截取出其在下一帧对应位置的区域；误检过滤模块，用于剔除因与烟火颜色或形状相似而导致的错误检测。本发明能够为模型引入烟雾和火焰的空间和时间关联信息，烟雾和火焰检测结果两者相互指导相互补充，降低了两类目标的漏检和误检概率。

Description

基于时空关联和高斯热图的烟火检测方法、装置及系统
技术领域
本发明属于计算机视觉技术领域，更具体地，涉及一种基于时空关联和高斯热图的烟火检测方法、装置及系统。
背景技术
火灾是人类面临的主要灾害之一，随着建筑的发展使火灾对人类的生命财产安全的威胁愈发严重。由于火灾的快速蔓延特性，如果在初始阶段就检测到火灾并及时处理，对维护日常生产生活的稳定具有重要意义。
传统烟火探测系统依赖于烟雾传感器，通过火灾引起的烟雾上升触发安装在建筑物天花板上的烟雾传感器。该检测方法存在安装成本昂贵、存在固有延迟等弊端，且在室外场景烟雾易受气流吹散从而无法达到检测效果。随着深度学习在视觉领域的兴起，基于视频的烟火检测方法具有响应及时、适用范围广等优点，逐渐成为如今烟火检测方法的研究热点。
在视频或图像中，火焰通常可以表征为从初始位置向外蔓延的橙色或黄色焰形，烟雾可以被描述为白色、灰色和黑色的雾状物组合，其中含有微小的燃烧颗粒物。因此火焰会在气流、附件易燃物的影响下发生移动，烟雾通常比干净的空气重，在火焰的推动同样上下飘动并迅速移动。同时，燃烧颗粒物是伴随着火焰生成的，火焰和烟雾在图像中具有一定的空间关联性，即烟雾存在于火焰轮廓上方。
现有方法大多直接采用如YOLO、SSD等性能良好的目标检测网络框架实现烟与火的检测，并在此基础上加入轻量化模块、注意力模块降低训练成本、提高检测性能。但单纯的添加模块并没有合理地考虑烟和火两类目标在空间上的关联性，以及烟和火在视频中的运动特性，从而导致漏检(如没有将火焰附近的烟雾检测出来)、误检(如将反光的墙面检测为烟雾)的发生。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于时空关联和高斯热图的烟火检测方法、装置及系统，旨在解决现有烟火检测方法没有合理地考虑烟和火两类目标在空间上的关联性，以及烟和火在视频中的运动特性，从而导致漏检、误检的技术问题。
为实现上述目的，第一方面，本发明提供了一种基于时空关联和高斯热图的烟火检测方法，包括：步骤S1：获取训练数据集，每组训练数据包括原始图像以及对应的若干烟雾和火焰检测框标注；对每组训练数据，生成以其对应的所有检测框为中心的高斯热图；步骤S2：将每组训练数据和对应生成的高斯热图一同输入至烟火检测模型进行训练；步骤S3：将待检测图像输入至训练后的烟火检测模型，得到若干烟雾目标和火焰目标检测框；步骤S4：对每一个火焰目标检测框R1和烟雾目标检测框R2，分别根据R1和R2所在位置截取出其在下一帧对应位置的检测框R1’和R2’；步骤S5：分别计算检测框R1和R1’、R2和R2’的相对运动量，超过相应阈值判定为火焰或烟雾目标。
进一步地，所述步骤S1中，对每组训练数据，生成以其对应的所有检测框为中心的高斯热图，包括：创建一个与原始图像分辨率相等的零矩阵，分别以每个检测框中心点为中心，生成高斯热图：
其中，Σi代表第i个检测框对应的协方差矩阵，z指代原始图像上每个像素点的二维坐标，/>代表第i个检测框中心位置，(xi,yi)代表第i个检测框左上顶点的二维坐标，wi、hi分别代表第i个检测框的宽度和高度，M与N分别代表烟雾和火焰检测框数量。
进一步地，第i个检测框对应的协方差矩阵Σi为：
其中，σi代表第i个检测框对应的高斯函数标准差，si＝wi×hi代表第i个检测框的面积，sbase代表基准面积，σbase代表高斯函数的基准标准差，sthr代表检测框面积门限。
进一步地，第i个检测框对应的协方差矩阵Σi为：
其中，σi代表第i个检测框对应的高斯函数标准差，si＝wi×hi代表第i个检测框的面积，sbase代表基准面积，σbase代表高斯函数的基准标准差，sthr代表检测框面积门限，为第i个检测框高度与宽度的比。
进一步地，所述步骤S2中，以烟雾回归损失、烟雾置信损失、火焰回归损失、火焰置信损失之和为总损失，对烟火检测模型进行训练。
进一步地，在执行所述步骤S4之前，所述方法还包括：通过步骤S3得到若干烟雾目标和火焰目标检测框后，使用非极大值抑制算法筛除冗余的检测框，并筛除小于置信阈值的检测框。
进一步地，所述步骤S5中，分别通过帧间差分法和光流场法计算检测框R1和R1’、R2和R2’的相对运动量，再通过设置权重确定最终的相对运动量。
第二方面，本发明提供了一种基于时空关联和高斯热图的烟火检测装置，包括：数据获取模块，用于获取训练数据集，每组训练数据包括原始图像以及对应的若干烟雾和火焰检测框标注；热图生成模块，用于对每组训练数据，生成以其对应的所有检测框为中心的高斯热图；模型训练模块，用于将每组训练数据和对应生成的高斯热图一同输入至烟火检测模型进行训练；目标检测模块，用于将待检测图像输入至训练后的烟火检测模型，得到若干烟雾目标和火焰目标检测框；区域截取模块，用于对每一个火焰目标检测框R1和烟雾目标检测框R2，分别根据R1和R2所在位置截取出其在下一帧对应位置的检测框R1’和R2’；误检过滤模块，用于分别计算检测框R1和R1’、R2和R2’的相对运动量，超过相应阈值判定为火焰或烟雾目标。
第三方面，本发明提供了一种基于时空关联和高斯热图的烟火检测系统，包括：计算机可读存储介质和处理器；所述计算机可读存储介质用于存储可执行指令；所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行第一方面所述的基于时空关联和高斯热图的烟火检测方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明在训练时，根据烟雾和火焰标注位置生成高斯热图，为模型引入烟雾和火焰的空间关联信息，烟雾和火焰检测结果两者相互指导相互补充，降低两类目标的漏检概率；在测试时，根据烟雾和火焰存在的固有运动特性，在相邻帧的目标检测区域上进行目标运动量计算，为模型引入烟雾和火焰的时间关联信息，剔除因与烟火颜色或形状相似而导致的错误检测，降低两类目标的误检概率。
(2)本发明通过对高斯核的标准差进行调整，让生成的热图尺度自适应于目标尺度，使生成的热图具有尺度感知能力；对二维高斯核的形状进行进一步调整，让生成的热图形状自适应于目标形状，使生成的热图具有形状感知能力。尺度感知和形状感知热图可以让网络更加准确地关注到烟雾和火焰目标的空间关联性。
附图说明
图1为本发明实施例提供的一种基于时空关联和高斯热图的烟火检测方法流程图。
图2为本发明实施例提供的烟火检测模型结构图。
图3为本发明实施例提供的烟火检测模型训练流程图。
图4为本发明实施例提供的烟火检测模型推理流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1：
参阅图1，结合图2至图4，本发明提供了一种基于时空关联和高斯热图的烟火检测方法，包括步骤S1至S5。
步骤S1：获取训练数据集，每组训练数据包括原始图像以及对应的若干烟雾和火焰检测框标注；对每组训练数据，生成以其对应的所有检测框为中心的高斯热图。
该步骤主要为了加强训练图像中烟雾与火焰目标的特征表达，得到叠加有以烟雾和火焰检测框为中心的高斯热图Hobject。
具体地，对于给定输入图像Iobject，烟雾类别对应的检测框标注[x1,y1,w1,h1,…,xM,yM,wM,hM]以及火焰类别对应的检测框标注[x’1,y’1,w’1,h’1,…,x’N,y’N,w’N,h’N]，首先创建一个与输入图像分辨率相等的零矩阵，然后分别以每个检测框中心点为中心，生成高斯热图：
其中，z指代原始图像上每个像素点的二维坐标，代表烟雾和火焰的中心位置，/>代表第i个检测框中心位置，(xi,yi)代表第i个检测框左上顶点的二维坐标，wi、hi分别代表第i个检测框的宽度和高度，M与N分别代表烟雾和火焰检测框数量。协方差矩阵Σ可以设置为对角矩阵：
其中，σ为高斯函数的标准差，对角矩阵中的主对角线上的值保持一致。
进一步，为了让生成的热图具有尺度感知能力，可以对高斯核的标准差进行进一步调整，让生成的热图尺度自适应于目标尺度。具体做法为，将手工确定的标准差σ＝σbase修改为与目标检测框面积有关的参数，此时原高斯热图生成函数对应修改为：
其中，并且第i个检测框对应的协方差矩阵Σi为：
其中，σi代表第i个检测框对应的高斯函数标准差，si＝wi×hi代表第i个检测框的面积，sbase代表基准面积，σbase代表基准标准差，这样生成的高斯核大小是在原高斯核基础上进行的调整。sthr代表目标检测框面积门限，这意味着小于面积门限时，不对标准差进行修改，大于面积门限时，标准差随着目标检测框面积线性变化。
进一步，为了让生成的热图具有形状感知能力，可以对二维高斯核的形状进行进一步调整，让生成的热图形状自适应于目标形状。具体做法为，将协方差矩阵设置为非对角矩阵，即：
其中，为第i个检测框高度与宽度的比，这样热图的形状就与检测框的形状进行了对应。尺度感知和形状感知热图可以让网络更加准确地关注到烟雾和火焰目标的空间关联性。
步骤S2：将每组训练数据和对应生成的高斯热图一同输入至烟火检测模型进行训练。
本实施例中，同时输入原始图像与高斯热图，有助于网络在训练时同时关注烟雾与火焰的纹理特征，充分利用火焰附近存在烟雾的空间先验知识。
具体地，对于给定输入RGB图像Iobject和生成的烟火热图Hobject，进行级联操作，堆叠为通道数为3的输入图像Aobject：
其中⊙为逐像素点乘。
然后将其输入烟火检测模型中进行训练，参阅图2。
具体地，网络采用Anchor-free框架，包括DarkNet53的Backbone模块、SPP层，和PANet的Neck模块，并在头部网络中具有分类头、回归头和检测头三个分支。损失函数由分类损失、回归损失和置信损失三部分组成：
L＝Lcls+Lreg+Lobj
其中，分类损失Lcls和置信损失Lobj使用BCE损失，回归损失Lreg使用IoU损失。
进一步，为了加强网络的特征提取能力，对输入数据进行不同次数的下采样操作，然后将不同分辨率的特征图进行融合。当输入尺寸为640×640×3时，三个特征层的输出尺寸分别为80×80×256、40×40×512、20×20×1024，即分别进行3、4、5次下采样操作。
进一步，为了增强网络的泛化性能，在网络的输入端，采用Mosaic和Mixup的数据增强方法。其中Mosaic对四张图片进行随机缩放、随机裁剪、随机排布，然后将他们进行拼接；Mixup对两张图片缩放填充至相同大小，然后直接将两张图片进行加权融合。这些图片的检测框是同时存在的。
进一步，为了增强网络的表达能力，预测时将头部网络进行解耦，将不同任务分开训练，由于烟火检测任务中只包含两类目标，这里将烟雾检测和火焰检测视为两个任务，其目的是希望利用生成的热图中烟雾和火焰的空间相关性。因此丢弃掉分类头，烟雾和火焰回归头的输出尺寸均为H×W×4，对应目标检测框的[x,y,w,h]信息，烟雾和火焰的检测头的输出尺寸均为H×W×1，对应判断目标检测框是前景(烟雾、火焰)还是背景。损失函数修改为如下形式：
L＝Lsmkobj+Lfireobj+Lsmkreg+Lfirereg
其中，Lsmkobj、Lfireobj、Lsmkreg、Lfirereg分别为烟雾回归损失、火焰回归损失、烟雾置信损失、火焰置信损失。
步骤S3：将待检测图像输入至训练后的烟火检测模型，得到若干烟雾目标和火焰目标检测框。
具体地，烟火检测模型的输出分别包含烟雾和火焰各自的位置参数与置信参数，对于每个特征点，根据坐标偏移输出计算中心预测点的位置。
进一步，在得到所有的检测框后，使用非极大值抑制算法(NMS)筛除冗余的检测框，再按照置信度大小排序筛除小于置信阈值的检测框。
特别地，在该步骤中，可以设置较低的置信阈值，以保证所有烟雾和火焰目标都被检测出来。
步骤S4：对每一个火焰目标检测框R1和烟雾目标检测框R2，分别根据R1和R2所在位置截取出其在下一帧对应位置的检测框R1’和R2’。
具体地，对每一个火焰目标，根据检测框R1＝[x1,y1,w1,h1]所在位置截取出其在下一帧对应位置的检测框R1’＝R1，同时截取当前帧，获得两帧火焰目标图像；对每一个烟雾目标，根据检测框R2＝[x2,y2,w2,h2]所在位置截取出其在下一帧对应位置的检测框R2’＝R2，同时截取当前帧，获得两帧烟雾目标图像。
步骤S5：分别计算检测框R1和R1’、R2和R2’的相对运动量，超过相应阈值判定为火焰或烟雾目标。
该步骤主要为了剔除因与烟火颜色或形状相似而导致的错误检测。
具体地，输入尺寸为w1×h1×6的两张火焰目标图像。由于实际情况中烟雾往往处于运动的状态，因此可以通过计算R1和R1’的相对运动量来判断目标是否为真实火焰。
具体地，相对运动量可通过帧间差分法、光流场法进行计算。记两帧截取图像三通道的灰度值分别为其中帧间差分法按照对像素点对应的灰度值进行相减，得到差分图像，使用L1或L2范数计算得到火焰在红色通道上的相对运动量/>
同理可得
光流法需要确定检测框R1上的每一个像素在检测框R1’上的位置，利用Lucas-Kanade算法得到检测区域的光流场，使用L1或L2范数计算得到火焰相对运动量
类似地，烟雾相对运动量M2可以按照上述方法进行计算。可选地，总相对运动量可由上述两类相对运动量通过设置权重共同决定，以减少不同场景下的火焰和烟雾运动。
计算得到相对运动量后，通过分别设置火焰和烟雾相对运动量阈值，小于阈值的目标被筛除，大于阈值的目标即为最终的检测结果。
实施例2：
一种基于时空关联和高斯热图的烟火检测装置，包括：
数据获取模块，用于获取训练数据集，每组训练数据包括原始图像以及对应的若干烟雾和火焰检测框标注；
热图生成模块，用于对每组训练数据，生成以其对应的所有检测框为中心的高斯热图；
模型训练模块，用于将每组训练数据和对应生成的高斯热图一同输入至烟火检测模型进行训练；
目标检测模块，用于将待检测图像输入至训练后的烟火检测模型，得到若干烟雾目标和火焰目标检测框；
区域截取模块，用于对每一个火焰目标检测框R1和烟雾目标检测框R2，分别根据R1和R2所在位置截取出其在下一帧对应位置的检测框R1’和R2’；
误检过滤模块，用于分别计算检测框R1和R1’、R2和R2’的相对运动量，超过相应阈值判定为火焰或烟雾目标。
上述基于时空关联和高斯热图的烟火检测装置中各个模块的划分仅用于举例说明，在其他实施例中，可将基于时空关联和高斯热图的烟火检测装置按照需要划分为不同的模块，以完成上述装置的全部或部分功能。
相关技术方案同实施例1，在此不再赘述。
实施例3：
一种基于时空关联和高斯热图的烟火检测系统，包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行实施例1所述的基于时空关联和高斯热图的烟火检测方法。
相关技术方案同实施例1，在此不再赘述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于时空关联和高斯热图的烟火检测方法，其特征在于，包括：
步骤S1：获取训练数据集，每组训练数据包括原始图像以及对应的若干烟雾和火焰检测框标注；对每组训练数据，生成以其对应的所有检测框为中心的高斯热图；
步骤S2：将每组训练数据和对应生成的高斯热图一同输入至烟火检测模型进行训练；
步骤S3：将待检测图像输入至训练后的烟火检测模型，得到若干烟雾目标和火焰目标检测框；
步骤S4：对每一个火焰目标检测框R1和烟雾目标检测框R2，分别根据R1和R2所在位置截取出其在下一帧对应位置的检测框R1’和R2’；
步骤S5：分别计算检测框R1和R1’、R2和R2’的相对运动量，超过相应阈值判定为火焰或烟雾目标；
所述步骤S1中，对每组训练数据，生成以其对应的所有检测框为中心的高斯热图，包括：
创建一个与原始图像分辨率相等的零矩阵，分别以每个检测框中心点为中心，生成高斯热图：
其中，∑i代表第i个检测框对应的协方差矩阵，z指代原始图像上每个像素点的二维坐标，/>代表第i个检测框中心位置，(xi,yi)代表第i个检测框左上顶点的二维坐标，wi、hi分别代表第i个检测框的宽度和高度，M与N分别代表烟雾和火焰检测框数量。
2.根据权利要求1所述的基于时空关联和高斯热图的烟火检测方法，其特征在于，第i个检测框对应的协方差矩阵∑i为：
其中，σi代表第i个检测框对应的高斯函数标准差，si＝wi×hi代表第i个检测框的面积，sbase代表基准面积，σbase代表高斯函数的基准标准差，sthr代表检测框面积门限。
3.根据权利要求1所述的基于时空关联和高斯热图的烟火检测方法，其特征在于，第i个检测框对应的协方差矩阵∑i为：
其中，σi代表第i个检测框对应的高斯函数标准差，si＝wi×hi代表第i个检测框的面积，sbase代表基准面积，σbase代表高斯函数的基准标准差，sthr代表检测框面积门限，为第i个检测框高度与宽度的比。
4.根据权利要求1至3任一项所述的基于时空关联和高斯热图的烟火检测方法，其特征在于，所述步骤S2中，以烟雾回归损失、烟雾置信损失、火焰回归损失、火焰置信损失之和为总损失，对烟火检测模型进行训练。
5.根据权利要求1至3任一项所述的基于时空关联和高斯热图的烟火检测方法，其特征在于，在执行所述步骤S4之前，所述方法还包括：
通过步骤S3得到若干烟雾目标和火焰目标检测框后，使用非极大值抑制算法筛除冗余的检测框，并筛除小于置信阈值的检测框。
6.根据权利要求1至3任一项所述的基于时空关联和高斯热图的烟火检测方法，其特征在于，所述步骤S5中，分别通过帧间差分法和光流场法计算检测框R1和R1’、R2和R2’的相对运动量，再通过设置权重确定最终的相对运动量。
7.一种基于时空关联和高斯热图的烟火检测装置，其特征在于，包括：
数据获取模块，用于获取训练数据集，每组训练数据包括原始图像以及对应的若干烟雾和火焰检测框标注；
热图生成模块，用于对每组训练数据，生成以其对应的所有检测框为中心的高斯热图；
模型训练模块，用于将每组训练数据和对应生成的高斯热图一同输入至烟火检测模型进行训练；
目标检测模块，用于将待检测图像输入至训练后的烟火检测模型，得到若干烟雾目标和火焰目标检测框；
区域截取模块，用于对每一个火焰目标检测框R1和烟雾目标检测框R2，分别根据R1和R2所在位置截取出其在下一帧对应位置的检测框R1’和R2’；
误检过滤模块，用于分别计算检测框R1和R1’、R2和R2’的相对运动量，超过相应阈值判定为火焰或烟雾目标；
所述热图生成模块中，对每组训练数据，生成以其对应的所有检测框为中心的高斯热图，包括：
创建一个与原始图像分辨率相等的零矩阵，分别以每个检测框中心点为中心，生成高斯热图：
其中，∑i代表第i个检测框对应的协方差矩阵，z指代原始图像上每个像素点的二维坐标，/>代表第i个检测框中心位置，(xi,yi)代表第i个检测框左上顶点的二维坐标，wi、hi分别代表第i个检测框的宽度和高度，M与N分别代表烟雾和火焰检测框数量。
8.一种基于时空关联和高斯热图的烟火检测系统，其特征在于，包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如权利要求1-6任一项所述的基于时空关联和高斯热图的烟火检测方法。
CN202310828111.0A 2023-07-06 2023-07-06 基于时空关联和高斯热图的烟火检测方法、装置及系统 Active CN117011785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310828111.0A CN117011785B (zh) 2023-07-06 2023-07-06 基于时空关联和高斯热图的烟火检测方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310828111.0A CN117011785B (zh) 2023-07-06 2023-07-06 基于时空关联和高斯热图的烟火检测方法、装置及系统

Publications (2)

Publication Number Publication Date
CN117011785A CN117011785A (zh) 2023-11-07
CN117011785B true CN117011785B (zh) 2024-04-05

Family

ID=88564603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310828111.0A Active CN117011785B (zh) 2023-07-06 2023-07-06 基于时空关联和高斯热图的烟火检测方法、装置及系统

Country Status (1)

Country Link
CN (1) CN117011785B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120035734A (ko) * 2010-10-06 2012-04-16 (주)에이치엠씨 화재 검출 방법
JP2019015237A (ja) * 2017-07-07 2019-01-31 日産自動車株式会社 エンジンの制御方法および制御装置
CN110073301A (zh) * 2017-08-02 2019-07-30 强力物联网投资组合2016有限公司 工业物联网中具有大数据集的数据收集环境下的检测方法和系统
CN112052797A (zh) * 2020-09-07 2020-12-08 合肥科大立安安全技术有限责任公司 基于MaskRCNN的视频火灾识别方法及系统
CN113469050A (zh) * 2021-07-01 2021-10-01 安徽大学 基于图像细分类的火焰检测方法
WO2021207283A1 (en) * 2020-04-06 2021-10-14 Flir Systems, Inc. Non-contact temperature measurement in thermal imaging systems and methods
CN215336522U (zh) * 2021-05-06 2021-12-28 广东纯米电器科技有限公司 锅具支架及集成灶
CN114463534A (zh) * 2021-12-28 2022-05-10 佳都科技集团股份有限公司 一种目标关键点检测方法、装置、设备及存储介质
CN114663488A (zh) * 2022-03-16 2022-06-24 北京理工大学 一种基于深度学习的火箭助推器分离运动参数测量方法
CN114841920A (zh) * 2022-03-29 2022-08-02 清华大学 基于图像处理的火焰识别方法、装置及电子设备
CN115294520A (zh) * 2022-07-28 2022-11-04 烟台大学 一种基于卷积神经网络的烟火检测方法
CN115631442A (zh) * 2022-10-19 2023-01-20 江苏理工学院 基于机器视觉的火灾火焰检测方法和装置
CN116071685A (zh) * 2023-02-28 2023-05-05 国家电投集团重庆合川发电有限公司 一种基于帧间差分法和改进YOLOv4的火电厂烟火检测方法
CN116311422A (zh) * 2023-02-06 2023-06-23 熵基科技股份有限公司 关键点检测模型的训练方法、装置及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120035734A (ko) * 2010-10-06 2012-04-16 (주)에이치엠씨 화재 검출 방법
JP2019015237A (ja) * 2017-07-07 2019-01-31 日産自動車株式会社 エンジンの制御方法および制御装置
CN110073301A (zh) * 2017-08-02 2019-07-30 强力物联网投资组合2016有限公司 工业物联网中具有大数据集的数据收集环境下的检测方法和系统
WO2021207283A1 (en) * 2020-04-06 2021-10-14 Flir Systems, Inc. Non-contact temperature measurement in thermal imaging systems and methods
CN112052797A (zh) * 2020-09-07 2020-12-08 合肥科大立安安全技术有限责任公司 基于MaskRCNN的视频火灾识别方法及系统
CN215336522U (zh) * 2021-05-06 2021-12-28 广东纯米电器科技有限公司 锅具支架及集成灶
CN113469050A (zh) * 2021-07-01 2021-10-01 安徽大学 基于图像细分类的火焰检测方法
CN114463534A (zh) * 2021-12-28 2022-05-10 佳都科技集团股份有限公司 一种目标关键点检测方法、装置、设备及存储介质
CN114663488A (zh) * 2022-03-16 2022-06-24 北京理工大学 一种基于深度学习的火箭助推器分离运动参数测量方法
CN114841920A (zh) * 2022-03-29 2022-08-02 清华大学 基于图像处理的火焰识别方法、装置及电子设备
CN115294520A (zh) * 2022-07-28 2022-11-04 烟台大学 一种基于卷积神经网络的烟火检测方法
CN115631442A (zh) * 2022-10-19 2023-01-20 江苏理工学院 基于机器视觉的火灾火焰检测方法和装置
CN116311422A (zh) * 2023-02-06 2023-06-23 熵基科技股份有限公司 关键点检测模型的训练方法、装置及存储介质
CN116071685A (zh) * 2023-02-28 2023-05-05 国家电投集团重庆合川发电有限公司 一种基于帧间差分法和改进YOLOv4的火电厂烟火检测方法

Also Published As

Publication number Publication date
CN117011785A (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
TW202013252A (zh) 車牌辨識系統與方法
CN111401311A (zh) 一种基于图像检测的高空抛物识别方法
WO2020179065A1 (ja) 画像処理装置、画像処理方法及び記録媒体
CN106096603A (zh) 一种融合多特征的动态火焰检测方法及装置
CN108230607B (zh) 一种基于区域特征分析的图像火灾探测方法
WO2024051297A1 (zh) 一种轻量化的火灾烟雾检测方法、终端设备及存储介质
CN113486697B (zh) 基于空基多模态图像融合的森林烟火监测方法
CN115082855A (zh) 基于改进yolox算法的行人遮挡检测方法
CN114202646A (zh) 一种基于深度学习的红外图像吸烟检测方法与系统
CN111582074A (zh) 一种基于场景深度信息感知的监控视频树叶遮挡检测方法
CN115359406A (zh) 一种邮局场景人物交互行为识别方法及系统
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN115690496A (zh) 基于YOLOv5的实时区域入侵检测方法
CN114399734A (zh) 一种基于视觉信息的森林火灾预警方法
CN111553337A (zh) 一种基于改进锚框的高光谱多目标检测方法
CN114422720A (zh) 视频浓缩方法、系统、装置和存储介质
CN109064444B (zh) 基于显著性分析的轨道板病害检测方法
CN113052055A (zh) 一种基于光流改进与Yolov3的烟雾检测方法
CN117011785B (zh) 基于时空关联和高斯热图的烟火检测方法、装置及系统
Wang et al. Forest fire detection method based on deep learning
CN109325946A (zh) 一种危险化学品堆垛监测方法和系统
CN114998879A (zh) 一种基于事件相机的模糊车牌识别方法
Gao et al. Design and implementation of fire detection system using new model mixing
Zhao et al. Calculation method of classroom head-up rate based on head pose estimation
KR20150055481A (ko) 영상 내 그림자 화소 제거를 위한 배경 기반 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant