CN112633061A - 一种轻量级的fire-det火焰检测方法及系统 - Google Patents

一种轻量级的fire-det火焰检测方法及系统 Download PDF

Info

Publication number
CN112633061A
CN112633061A CN202011292139.XA CN202011292139A CN112633061A CN 112633061 A CN112633061 A CN 112633061A CN 202011292139 A CN202011292139 A CN 202011292139A CN 112633061 A CN112633061 A CN 112633061A
Authority
CN
China
Prior art keywords
flame
network
det
convolution
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011292139.XA
Other languages
English (en)
Other versions
CN112633061B (zh
Inventor
高尚兵
陈浩霖
相林
于永涛
蔡创新
李文婷
汪长春
于坤
朱全银
张正伟
吕昊泽
龚宇晨
曾钰涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaiyin Institute of Technology
Original Assignee
Huaiyin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaiyin Institute of Technology filed Critical Huaiyin Institute of Technology
Priority to CN202011292139.XA priority Critical patent/CN112633061B/zh
Publication of CN112633061A publication Critical patent/CN112633061A/zh
Priority to KR1020217017931A priority patent/KR102680989B1/ko
Priority to PCT/CN2021/092359 priority patent/WO2022105143A1/zh
Application granted granted Critical
Publication of CN112633061B publication Critical patent/CN112633061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种轻量级的FIRE‑DET火焰检测方法及系统，首先构建包含复杂环境下的数据集；其次，构建单步检测模型FIRE‑DET，模型中Backbone使用由多卷积组合结构层叠的FIRE‑Net网络，并减少卷积通道数；将BiFPN作为模型的特征融合网络，提高多尺度特征融合的效果；增加一种改进的空间注意力机制，对火焰特征进行增强；将提取的特征，输入Class/Box Net层中进行预测和回归；最后，使用数据集对FIRE‑DET模型进行训练，获得用于火焰检测的检测器。本发明的识别率为97.55％，火焰检测速度达到45帧/s，可用于实时火焰检测并预警，且具有较好的鲁棒性与广泛的应用价值。

Description

一种轻量级的FIRE-DET火焰检测方法及系统
技术领域
本发明属于图像处理及预防火灾技术领域，具体涉及一种轻量级的 FIRE-DET火焰检测方法及系统。
背景技术
近年来，随着深度学习的研究越来越深入，应用领域越来越广。在现有火焰检测系统中，研究者通过对计算机视觉结合，主要有以下种类：(1)基于颜色空间的图像分割方法：Nurul SB等人提出了一种利用图像增强技术、RGB和 YCbCr彩色模型，在给定条件下，从背景中分离出火灾像素，从原始图像中分离出亮度和色度对比来检测火灾的方法。DmytroPeleshko等人提出了基于颜色分割和运动物体检测融合的方法，在最大资源限制下的优于其他算法。Teng Wang 等人建立了一个包含色散、相似度和质心运动的多专家系统来识别火焰。(2) 基于图像梯度与积分的方法：OUYANG Ji-neng等人提出了一种以火焰图像的边缘梯度作为研究对象，选择颜色B分量的边缘梯度作为判断火焰和干涉图像的依据。通过对大量样本的图像边缘梯度进行曲线拟合，建立了基于图像边缘梯度的火焰识别模型。Alexander F提出了对图像颜色和形状特征计算以及积分计算来检测火焰，而且不急剧增加处理时间。(3)基于红外图像的检测方法：Kewei Wang提出了一种9层卷积神经网络IRCNN来代替传统的手工经验方法来提取红外图像特征，然后利用提取的特征训练线性支持向量机实现火灾检测。(4) 基于图像增强与颜色空间的方法：Nurul SB等人提出了一种利用图像增强技术、 RGB和YCbCr彩色模型，在给定条件下，从背景中分离出火灾像素，从原始图像中分离出亮度和色度对比来检测火灾的方法。(5)基于分割与分类融合的检测方法：AndrewJ.D等人提出了一种基于超像素分割的火焰检测方法，该方法运用超像素分割的技术，实现了对于图片进行分割后，再使用分类方法实现对火焰的检测。Naigong Yu等人采用运动特征检测和颜色特征检测相结合的方法从视频中提取疑似火焰区域。然后，利用两流卷积神经网络对提取的可疑区域进行分类。(6)基于深度学习的检测方法：是利用神经网络检测方法实现对火焰的检测和可视化。如：回天等人的提出了一种基于Faster-RCNN模型的火焰检测方法；杜晨锡等人提出了一种基于YOLOv2的视频火焰检测方法。Khan Muhammad等人提出一种一种新颖的、节能的、计算效率高的CNN架构。
基于深度学习的方法在泛化性上优于其他方法，但是深度卷积神经网络的训练对数据集的容量与电脑配置具有较高要求。针对这个问题本专利提出一种轻量级的FIRE-DET火焰检测方法及系统。
发明内容
发明目的：针对现有技术存在的问题，本发明目的在于提供一种轻量级的 FIRE-DET火焰检测方法及系统，既能实时检测火焰又能保持较好的准确率，并提供可视化效果。
技术方案：一种轻量级的FIRE-DET火焰检测方法，具体包括以下步骤：
(1)构建FIRE-DET模型；所述FIRE-DET模型包括特征提取网络、特征融合网络、图像分割网络与预测识别网络；所述特征提取网络通过多卷积组合结构层叠构成，通过减少卷积的通道数降低检测模型的参数量；所述特征融合网络为BiFPN网络；所述图像分割网络，将融合后的特征进行反卷积和卷积操作后获得注意力图，并与特征融合网络获得的特征进行融合；
(2)对预先获取的包含复杂环境的视频帧图像进行预处理和归一化，形成数据集；并对FIRE-DET模型进行训练，获得用于火焰检测的模型M；
(3)使用模型M对火焰对象的边框与类别进行预测后，获得并保存火焰的位置信息；将保存的火焰目标位置在原视频图像上进行可视化；当视频帧中各火焰目标面积的和与原视频帧面积的比达到预定阈值后，发出火焰警报。
进一步地，步骤(1)所述的特征提取网络工作过程如下：
将输入的图片归一化为416×416大小生成IMG0；将归一化后的IMG0作为多卷积组合网络的输入进行计算获得F1；将F1进行卷积核为2×2的最大池化操作后获得的Pool1，作为多卷积组合网络的输入进行计算获得F2；将F2进行卷积核为2×2的最大池化操作后获得的Pool2，作为多卷积组合网络的输入进行计算获得F3；将F3进行卷积核为2×2的最大池化操作后获得的Pool3，作为多卷积组合网络的输入进行计算获得F4；将F4进行卷积核为2×2的最大池化操作后获得的Pool4，作为多卷积组合网络的输入进行计算获得F5；对F5进行卷积核为2×2的最大池化操作后，进行卷积核为3×3大小的卷积操作获得F6；对F6进行卷积核为2×2的最大池化操作后，进行卷积核为3×3大小的卷积操作获得F7。
进一步地，步骤(1)所述的特征融合网络工作过程如下：
将经过特征提取网络多卷积组合结构获得的特征图F3、F4、F5、F6和F7 作为BiFPN网络的输入，进行特征融合后获得输出C1、C2、C3、C4和C5；将C1、C2、C3、C4和C5作为BiFPN网络的输入，再次进行特征融合，获得输出D1、D2、D3、D4和D5；所述BiFPN网络的过程如下：
1)网络中有五个输入，分别记为Input1，Input2，Input3，Input4与Input5；
2)将Input1进行2×2的反卷积操作后与Input2进行矩阵和操作获得A1；将A1进行2×2的反卷积操作后与Input3进行矩阵和操作获得A2；将A2进行 2×2的反卷积操作后与Input2进行矩阵和操作获得A3；
3)将A3进行2×2的反卷积操作后与Input5进行矩阵和操作获得B5；将 B5进行2×2的最大池化操作后与Input4和A3进行矩阵和操作获得B4；将B4 进行2×2的最大池化操作后与Input3和A2进行矩阵和操作获得B3；将B3进行2×2的最大池化操作后与Input2和A1进行矩阵和操作获得B2；将B2进行 2×2的最大池化操作后与Input1进行矩阵和操作获得B1；
4)将每个1-3)中的B1、B2、B3、B4和B5作为特征融合网络的输出。
进一步地，所述步骤(2)实现过程如下：
(21)通过对公开的火焰视频使用取关键帧的方法将视频提取出视频帧集合，并对视频帧集使用图像标注工具进行标注火焰的位置构建标签数据集；
(22)将训练数据集中每个视频帧图像对应的二值图像依照标签数据集，将二值图像对应原图标记火焰的位置设置为1，其他部分设置为0，形成FIRE-DET 的二值图像标签数据集，最后将视频帧集合、火焰对象标签数据集和二值图像标签数据集构建FIRE-DET的数据集；
(23)将视频帧集合中视频帧图像的按正态分布的对像素值增长，并将视频帧图像随机产生水平镜像操作，对数据集进行数据增强。
进一步地，步骤(3)所述图像分割网络的损失函数为：
loss＝max(x,0)-x×z+log(1+e-abs(x))
其中，x为图像分割网络输出的注意力图，z为标记火焰目标的二值图像；将图像分割网络输出的三个注意力图分别与标记火焰的二值图像使用损失函数进行反馈计算。
本发明还提供一种轻量级的FIRE-DET火焰检测系统，包括：
图像预处理模块：用于读取视频帧图像，并将视频帧图像进行预处理和归一化；
火焰检测模块：用于使用训练好的FIRE-DET模型对归一化后的视频帧图像进行检测，得到火焰目标的位置信息；
火焰区域可视化模块：用于根据火焰检测模块保存的火焰目标位置，对原视频图像中对应的是火焰目标进行标记，实现火焰追踪的可视化；
火焰警报模块：用于对视频持续监测，当火焰目标在视频帧中超出预定面积时，发出火焰警报以提示用户。
还提供一种轻量级的FIRE-DET火焰检测系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现根据以上所述的轻量级的FIRE-DET火焰检测方法。
有益效果：与现有技术相比，本发明的有益效果：本发明构建了一个轻量级的FIRE-DET火焰检测模型，在FIRE-DET模型中采用多卷积核组合结构减少特征提取网络层的通道量；引入BiFPN网络，将主干网络获得的特征进行融合获得具有多尺度信息的特征图，提高模型的检测的准确率；同时引入图像分割模块，将特征融合网络模块得到的特征图进行反卷积与卷积操作后得到注意力图用于模型检测，提高模型的检测的准确率；且分别计算图像分割模块三个注意力图的损失函数，提高模型的收敛速；本发明的识别率为97.55％，火焰检测速度达到 45帧/s，可用于实时火焰检测并预警，且具有较好的鲁棒性与广泛的应用价值。
附图说明
图1为本发明中FIRE-DET模型结构示意图；
图2为本发明的检测流程图；
图3为本发明实施例中FIRE-DET模型的主干网FIRE-NET络结构图；
图4为本发明实施例中FIRE-DET模型的BiFPN结构图；
图5为本发明实施例中多卷积组合结构图；
图6为本发明实施例中FIRE-DET模型的层结构图；
图7为本发明实施例中FIRE-DET模型中的特征图与注意力图融合流程图；
图8为本发明实施例的实验中检测时获得的过程图；其中(a)为预处理后的视频帧；(b)为经过FIRE-DET模型中图像分割网络后获得的注意力图；(c) 为标记(a)中火焰位置获得的二值图；
图9为本发明实施例的实验检测流程图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本实施方式中涉及大量变量，现将各变量作如下说明，如表1所示。
表1变量说明表
Figure BDA0002784100840000051
Figure BDA0002784100840000061
Figure BDA0002784100840000071
Figure BDA0002784100840000081
本实施方式使用真实场景的火焰视频数据，视频包含不同颜色的火焰，不同形状的火焰，小目标火焰，特殊火焰，与火焰颜色接近的灯光，本方法对该视频数据进行处理，检测火焰位置并进行可视化。
本发明提出的一种轻量级的FIRE-DET火焰检测方法，具体包括以下步骤：
步骤1：构建FIRE-DET模型，如图1所示。
FIRE-DET模型包括特征提取网络、特征融合网络、图像分割网络与预测识别网络；所述特征提取网络通过多卷积组合结构层叠构成，通过减少卷积的通道数降低检测模型的参数量；所述特征融合网络由BiFPN网络组成，提高多尺度特征融合的效果；图像分割网络，作用是将融合后的特征进行反卷积和卷积操作后获得注意力图，并与特征融合网络获得的特征进行融合。
1、特征提取网络使用由多卷积组合结构层叠的FIRE-Net网络，并减少卷积通道数，多卷积组合结构如图5所示，过程如下：
1)对输入经进行三次卷积核为1×1的卷积操作，并将第一次与第三次卷积的结果记为F11与F12。
2)对输入经进行三次卷积首先经过卷积核为3×3的卷积操作，再通过卷积核为1×1的卷积操作，最后通过卷积核为3×3的卷积操作，并将第一次与第三次卷积的结果记为F21与F22。
3)对输入经进行三次卷积，首先经过卷积核为9×9的卷积操作，再通过卷积核为1×1的卷积操作，最后通过卷积核为9×9的卷积操作，并将第一次与第三次卷积的结果记为F31与F32。
4)将每个1-3)中的F11、F12、F21、F22、F31与F32进行加权融合并输出F。
特征提取网络结构如图3所示，并如图6所示层结构进行构建，工作过程如下：
(11)将输入的图片归一化为416×416大小生成IMG0；
(12)将归一化后的IMG0作为多卷积组合网络的输入进行计算获得F1；
(13)将F1进行卷积核为2×2的最大池化操作后获得的Pool1，作为多卷积组合网络的输入进行计算获得F2；
(14)将F2进行卷积核为2×2的最大池化操作后获得的Pool2，作为多卷积组合网络的输入进行计算获得F3；
(15)将F3进行卷积核为2×2的最大池化操作后获得的Pool3，作为多卷积组合网络的输入进行计算获得F4；
(16)将F4进行卷积核为2×2的最大池化操作后获得的Pool4，作为多卷积组合网络的输入进行计算获得F5；
(17)对F5进行卷积核为2×2的最大池化操作后，进行卷积核为3×3大小的卷积操作获得F6；
(18)对F6进行卷积核为2×2的最大池化操作后，进行卷积核为3×3大小的卷积操作获得F7。
2、将BiFPN网络组合构建模型的特征融合网络，提高多尺度特征融合的效果。
如图4所示，BiFPN网络具体特征融合过程如下：
1)网络中有五个输入，分别记为Input1，Input2，Input3，Input4与Input5。
2)将Input1进行2×2的反卷积操作后与Input2进行矩阵和操作获得A1；将A1进行2×2的反卷积操作后与Input3进行矩阵和操作获得A2；将A2进行 2×2的反卷积操作后与Input2进行矩阵和操作获得A3。
3)将A3进行2×2的反卷积操作后与Input5进行矩阵和操作获得B5；将B5进行2×2的最大池化操作后与Input4和A3进行矩阵和操作获得B4；将B4 进行2×2的最大池化操作后与Input3和A2进行矩阵和操作获得B3；将B3进行2×2的最大池化操作后与Input2和A1进行矩阵和操作获得B2；将B2进行 2×2的最大池化操作后与Input1进行矩阵和操作获得B1。
4)将每个1-3)中的B1、B2、B3、B4和B5作为BiFPN网络的输出。
特征融合网络的工作过程如下：
(21)将F3、F4、F5、F6和F7作为BiFPN网络的输入，进行特征融合后获得C1、C2、C3、C4和C5；
(22)将C1、C2、C3、C4和C5作为BiFPN网络的输入，再次进行特征融合，获得D1、D2、D3、D4和D5。
3、FIRE-DET模型图像分割网络，包括：
(31)将C5进行卷积核为3×3的卷积操作，获得AttentionMap1；
(32)将C4进行卷积核为3×3的卷积操作，获得AttentionMap2；
(33)将C3进行卷积核为3×3的卷积操作，获得AttentionMap3。
如图8中所示(a)预处理后的视频帧(b)为注意力图(c)二值图像，为了提高网络更注意(a)中火焰位置，所以将特征图进行反卷积与卷积后的得到的注意力图与火焰对象的二值图像之间定义为一个损失函数，进行损失计算。
损失函数计算如下：
loss＝max(x,0)-x×z+log(1+e-abs(x))
其中，x为图像分割网络输出的注意力图，z为标记火焰目标的二值图像。将图像分割网络输出的三个注意力图分别与标记火焰的二值图像使用上述损失函数进行反馈计算，可以使网络的损失函数快速下降并达到收敛。
4、FIRE-DET模型预测识别网络，如图7所示，包括：
(41)将AttentionMap1复制和拼接成与D5的通道数大小一致后与其进行点乘计算后，进行卷积核为3×3大小的卷积操作获得Map1。
(42)将AttentionMap2复制和拼接成与D4的通道数大小一致后与其进行点乘计算后，进行卷积核为3×3大小的卷积操作获得Map2。
(43)将AttentionMap3复制和拼接成与D3的通道数大小一致后与其进行点乘计算后，进行卷积核为3×3大小的卷积操作获得Map3。
(44)Map1、Map2与Map3为模型输出对应视频帧中预测候选框的类别概率和相对于对应标准尺寸框的坐标偏移量，计算该图片预测信息，获得火焰的位置信息。
步骤2：如图2所示，将预先获取的包含复杂环境的真实的火焰视频数据进行预处理后，训练FIRE-DET模型得到M。具体包括：
(1)通过对真实的火焰视频数据使用取帧法将视频每三十帧截取一帧，构建训练数据集P1，P1为{Frame1，Frame2，…，FrameN}，FrameN为截取的第N 张视频帧，并对训练数据集使用labelImg图像标注工具进行标注火焰的位置构建标签数据集L1，L1为{Label1，Label2，…，LabelN}，LabelN为FrameN中火焰的位置，每个Label为(x1,y1,x2,y2)其中(x1,y1)代表火焰左上角的位置，(x 2,y2) 代表火焰右下角的位置。将训练数据集P1中每个视频帧图像对应的二值图像依照标签数据集L1，将二值图像中火焰位置设置为1，其他部分设置为0，形成 FIRE-DET的标签数据集L2，最后将P1、L1和L2构成FIRE-DET的数据集Data。将视频帧集合中视频帧图像的按正态分布的对像素值增长，并将视频帧图像随机产生水平镜像操作，对数据集进行数据增强。
(2)预训练的权重设为随机值，将FIRE-DET模型的输入维度设为(416， 416，3)。
(3)设置FIRE-DET模型参数，包括：使用Adam梯度下降法并将学习率设为1×10-4、下采样次数设置为4，损失函数设为交叉熵函数。
(4)将Data1中的P1作为输入值、L1与L2作为监督值，在FIRE-DET模型中训练得到模型M。
步骤3：如图9所示，将训练好的FIRE-DET模型M对火焰对象的边框与类别进行预测后，获得并保存火焰的位置信息；将保存的火焰目标位置在原视频图像上进行可视化；当视频帧中各火焰目标面积的和与原视频帧面积的比达到预定阈值后，发出火焰警报。
获取视频帧图像IMG，并进行预处理得到IMG0。将视频帧图像IMG0的尺寸进行归一化得到图像IMG1。本实施方式归一化为416×416像素的大小，以作为下一步模型M的输入。
将归一化大小的图像传入模型M中，将视频帧图像对应的火焰的坐标位置存储在数组Loc中，依据Loc，在预处理且归一化后的视频帧IMG1中标记火焰目标位置，得到火焰识别效果图IMG2，从而实现火焰追踪的可视化。
当视频流中火焰目标在视频帧中的面积达到设定阈值后，发出火焰警报。若所有火焰目标在视频帧中占的面积的总和大于50％则发出火焰警报，否则继续判断。具体为：将视频帧图像按Loc的火焰位置生成一个二值图像FLAG，二值图像FLAG中火焰位置设置为1，其他部分设置为0；按下述公式进行判断：
Fires＝sum(FLAG)
Figure BDA0002784100840000121
其中，Fires为所有火焰目标面积的和，w为视频帧的宽，h为视频帧的高。如果满足上述公式，则发出火焰警报。
本发明还公开一种轻量级的FIRE-DET火焰检测系统，主要由以下模块构成：图像预处理模块：用于读取视频帧图像，并将视频帧图像进行预处理和归一化；火焰检测模块：用于使用训练好的FIRE-DET模型对归一化后的视频帧图像进行检测，得到火焰目标的位置信息；火焰区域可视化模块：用于根据火焰检测模块保存的火焰目标位置，对原视频图像中对应的是火焰目标进行标记，实现火焰追踪的可视化；以及，火焰警报模块：用于对视频持续监测，当火焰目标在视频帧中的面积达到预定阈值时，发出火焰警报以提示用户。该系统可以实现上述的一种轻量级的FIRE-DET火焰检测方法，属于同一发明构思，具体细节参照上述方法实施例，此处不在赘述。
基于相同的发明构思，本发明实施例公开的一种轻量级的FIRE-DET火焰检测系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被加载至处理器时实现上述的轻量级的FIRE-DET火焰检测方法。

Claims (7)

1.一种轻量级的FIRE-DET火焰检测方法，其特征在于，包括以下步骤：
(1)构建FIRE-DET模型；所述FIRE-DET模型包括特征提取网络、特征融合网络、图像分割网络与预测识别网络；所述特征提取网络通过多卷积组合结构层叠构成，通过减少卷积的通道数降低检测模型的参数量；所述特征融合网络为BiFPN网络；所述图像分割网络，将融合后的特征进行反卷积和卷积操作后获得注意力图，并与特征融合网络获得的特征进行融合；
(2)对预先获取的包含复杂环境的视频帧图像进行预处理和归一化，形成数据集；并对FIRE-DET模型进行训练，获得用于火焰检测的模型M；
(3)使用模型M对火焰对象的边框与类别进行预测后，获得并保存火焰的位置信息；将保存的火焰目标位置在原视频图像上进行可视化；当视频帧中各火焰目标面积的和与原视频帧面积的比达到预定阈值后，发出火焰警报。
2.根据权利要求1所述的轻量级的FIRE-DET火焰检测方法，其特征在于，其特征在于，步骤(1)所述的特征提取网络工作过程如下：
将输入的图片归一化为416×416大小生成IMG0；将归一化后的IMG0作为多卷积组合网络的输入进行计算获得F1；将F1进行卷积核为2×2的最大池化操作后获得的Pool1，作为多卷积组合网络的输入进行计算获得F2；将F2进行卷积核为2×2的最大池化操作后获得的Pool2，作为多卷积组合网络的输入进行计算获得F3；将F3进行卷积核为2×2的最大池化操作后获得的Pool3，作为多卷积组合网络的输入进行计算获得F4；将F4进行卷积核为2×2的最大池化操作后获得的Pool4，作为多卷积组合网络的输入进行计算获得F5；对F5进行卷积核为2×2的最大池化操作后，进行卷积核为3×3大小的卷积操作获得F6；对F6进行卷积核为2×2的最大池化操作后，进行卷积核为3×3大小的卷积操作获得F7。
3.根据权利要求1所述的轻量级的FIRE-DET火焰检测方法，其特征在于，其特征在于，步骤(1)所述的特征融合网络工作过程如下：
将经过特征提取网络多卷积组合结构获得的特征图F3、F4、F5、F6和F7作为BiFPN网络的输入，进行特征融合后获得输出C1、C2、C3、C4和C5；将C1、C2、C3、C4和C5作为BiFPN网络的输入，再次进行特征融合，获得输出D1、D2、D3、D4和D5；所述BiFPN网络的过程如下：
1)网络中有五个输入，分别记为Input1，Input2，Input3，Input4与Input5；
2)将Input1进行2×2的反卷积操作后与Input2进行矩阵和操作获得A1；将A1进行2×2的反卷积操作后与Input3进行矩阵和操作获得A2；将A2进行2×2的反卷积操作后与Input2进行矩阵和操作获得A3；
3)将A3进行2×2的反卷积操作后与Input5进行矩阵和操作获得B5；将B5进行2×2的最大池化操作后与Input4和A3进行矩阵和操作获得B4；将B4进行2×2的最大池化操作后与Input3和A2进行矩阵和操作获得B3；将B3进行2×2的最大池化操作后与Input2和A1进行矩阵和操作获得B2；将B2进行2×2的最大池化操作后与Input1进行矩阵和操作获得B1；
4)将每个1-3)中的B1、B2、B3、B4和B5作为特征融合网络的输出。
4.根据权利要求1所述的轻量级的FIRE-DET火焰检测方法，其特征在于，所述步骤(2)实现过程如下：
(21)通过对公开的火焰视频使用取关键帧的方法将视频提取出视频帧集合，并对视频帧集使用图像标注工具进行标注火焰的位置构建标签数据集；
(22)将训练数据集中每个视频帧图像对应的二值图像依照标签数据集，将二值图像对应原图标记火焰的位置设置为1，其他部分设置为0，形成FIRE-DET的二值图像标签数据集，最后将视频帧集合、火焰对象标签数据集和二值图像标签数据集构建FIRE-DET的数据集；
(23)将视频帧集合中视频帧图像的按正态分布的对像素值增长，并将视频帧图像随机产生水平镜像操作，对数据集进行数据增强。
5.根据权利要求1所述的轻量级的FIRE-DET火焰检测方法，其特征在于，其特征在于，步骤(3)所述图像分割网络的损失函数为：
loss＝max(x,0)-x×z+log(1+e-abs(x))
其中，x为图像分割网络输出的注意力图，z为标记火焰目标的二值图像；将图像分割网络输出的三个注意力图分别与标记火焰的二值图像使用损失函数进行反馈计算。
6.一种采用如权利要求1至4任一所述方法的轻量级的FIRE-DET火焰检测系统，其特征在于，包括：
图像预处理模块：用于读取视频帧图像，并将视频帧图像进行预处理和归一化；
火焰检测模块：用于使用训练好的FIRE-DET模型对归一化后的视频帧图像进行检测，得到火焰目标的位置信息；
火焰区域可视化模块：用于根据火焰检测模块保存的火焰目标位置，对原视频图像中对应的是火焰目标进行标记，实现火焰追踪的可视化；
火焰警报模块：用于对视频持续监测，当火焰目标在视频帧中超出预定面积时，发出火焰警报以提示用户。
7.一种轻量级的FIRE-DET火焰检测系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-5任一项所述的轻量级的FIRE-DET火焰检测方法。
CN202011292139.XA 2020-11-18 2020-11-18 一种轻量级的fire-det火焰检测方法及系统 Active CN112633061B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011292139.XA CN112633061B (zh) 2020-11-18 2020-11-18 一种轻量级的fire-det火焰检测方法及系统
KR1020217017931A KR102680989B1 (ko) 2020-11-18 2021-05-08 경량급의 fire-det 화염 검측 방법 및 시스템
PCT/CN2021/092359 WO2022105143A1 (zh) 2020-11-18 2021-05-08 一种轻量级的fire-det火焰检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011292139.XA CN112633061B (zh) 2020-11-18 2020-11-18 一种轻量级的fire-det火焰检测方法及系统

Publications (2)

Publication Number Publication Date
CN112633061A true CN112633061A (zh) 2021-04-09
CN112633061B CN112633061B (zh) 2023-03-24

Family

ID=75303327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011292139.XA Active CN112633061B (zh) 2020-11-18 2020-11-18 一种轻量级的fire-det火焰检测方法及系统

Country Status (3)

Country Link
KR (1) KR102680989B1 (zh)
CN (1) CN112633061B (zh)
WO (1) WO2022105143A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313668A (zh) * 2021-04-19 2021-08-27 石家庄铁道大学 一种地铁隧道表面病害特征提取方法
CN113449588A (zh) * 2021-05-13 2021-09-28 上海湃道智能科技有限公司 烟火检测方法
CN113537213A (zh) * 2021-07-14 2021-10-22 安徽炬视科技有限公司 一种基于可变卷积核的烟雾明火检测算法
CN113743190A (zh) * 2021-07-13 2021-12-03 淮阴工学院 一种基于BiHR-Net和YOLOv3-head的火焰检测方法及系统
WO2022105143A1 (zh) * 2020-11-18 2022-05-27 淮阴工学院 一种轻量级的fire-det火焰检测方法及系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998287A (zh) * 2022-06-19 2022-09-02 河南中烟工业有限责任公司 烟叶异物高精度识别方法、系统、电子设备及计算机可读存储介质
CN116229192B (zh) * 2022-12-12 2024-06-11 淮阴工学院 一种基于ODConvBS-YOLOv5s的火焰烟雾检测方法
CN116363485B (zh) * 2023-05-22 2024-03-12 齐鲁工业大学(山东省科学院) 一种基于改进YOLOv5的高分辨率目标检测方法
CN116863419A (zh) * 2023-09-04 2023-10-10 湖北省长投智慧停车有限公司 一种目标检测模型轻量化的方法、装置、电子设备及介质
CN117612078B (zh) * 2023-10-08 2024-10-29 成都格理特电子技术有限公司 一种基于图像的炉膛火焰检测方法
CN118172556B (zh) * 2024-05-09 2024-09-20 深圳先进技术研究院 火焰地理分割方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537215A (zh) * 2018-03-23 2018-09-14 清华大学 一种基于图像目标检测的火焰检测方法
CN110751089A (zh) * 2019-10-18 2020-02-04 南京林业大学 基于数字图像和卷积特征的火焰目标检测方法
US20200184260A1 (en) * 2018-12-11 2020-06-11 Industrial Technology Research Institute Object detection method using cnn model and object detection apparatus using the same
CN111310662A (zh) * 2020-02-17 2020-06-19 淮阴工学院 一种基于集成深度网络的火焰检测识别方法及系统
CN111680706A (zh) * 2020-06-17 2020-09-18 南开大学 一种基于编码和解码结构的双通道输出轮廓检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11087130B2 (en) * 2017-12-29 2021-08-10 RetailNext, Inc. Simultaneous object localization and attribute classification using multitask deep neural networks
CN109214349B (zh) * 2018-09-20 2021-08-06 天津大学 一种基于语义分割增强的物体检测方法
CN111027491A (zh) * 2019-12-12 2020-04-17 江西洪都航空工业集团有限责任公司 一种基于无锚点机制的火焰检测方法及装置
CN111696077A (zh) * 2020-05-11 2020-09-22 余姚市浙江大学机器人研究中心 一种基于WaferDet网络的晶圆缺陷检测方法
CN111914937B (zh) * 2020-08-05 2024-05-10 湖北工业大学 一种轻量化改进目标检测方法及检测系统
CN112633061B (zh) * 2020-11-18 2023-03-24 淮阴工学院 一种轻量级的fire-det火焰检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537215A (zh) * 2018-03-23 2018-09-14 清华大学 一种基于图像目标检测的火焰检测方法
US20200184260A1 (en) * 2018-12-11 2020-06-11 Industrial Technology Research Institute Object detection method using cnn model and object detection apparatus using the same
CN110751089A (zh) * 2019-10-18 2020-02-04 南京林业大学 基于数字图像和卷积特征的火焰目标检测方法
CN111310662A (zh) * 2020-02-17 2020-06-19 淮阴工学院 一种基于集成深度网络的火焰检测识别方法及系统
CN111680706A (zh) * 2020-06-17 2020-09-18 南开大学 一种基于编码和解码结构的双通道输出轮廓检测方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022105143A1 (zh) * 2020-11-18 2022-05-27 淮阴工学院 一种轻量级的fire-det火焰检测方法及系统
CN113313668A (zh) * 2021-04-19 2021-08-27 石家庄铁道大学 一种地铁隧道表面病害特征提取方法
CN113313668B (zh) * 2021-04-19 2022-09-27 石家庄铁道大学 一种地铁隧道表面病害特征提取方法
CN113449588A (zh) * 2021-05-13 2021-09-28 上海湃道智能科技有限公司 烟火检测方法
CN113743190A (zh) * 2021-07-13 2021-12-03 淮阴工学院 一种基于BiHR-Net和YOLOv3-head的火焰检测方法及系统
CN113743190B (zh) * 2021-07-13 2023-12-22 淮阴工学院 一种基于BiHR-Net和YOLOv3-head的火焰检测方法及系统
CN113537213A (zh) * 2021-07-14 2021-10-22 安徽炬视科技有限公司 一种基于可变卷积核的烟雾明火检测算法
CN113537213B (zh) * 2021-07-14 2024-01-30 安徽炬视科技有限公司 一种基于可变卷积核的烟雾明火检测算法

Also Published As

Publication number Publication date
KR20220071143A (ko) 2022-05-31
CN112633061B (zh) 2023-03-24
WO2022105143A1 (zh) 2022-05-27
KR102680989B1 (ko) 2024-07-04

Similar Documents

Publication Publication Date Title
CN112633061B (zh) 一种轻量级的fire-det火焰检测方法及系统
Luo et al. Fire smoke detection algorithm based on motion characteristic and convolutional neural networks
CN112801018B (zh) 一种跨场景目标自动识别与追踪方法及应用
CN108830252B (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN109583340B (zh) 一种基于深度学习的视频目标检测方法
CN111767882A (zh) 一种基于改进yolo模型的多模态行人检测方法
CN111079674B (zh) 一种基于全局和局部信息融合的目标检测方法
CN111814638B (zh) 基于深度学习的安防场景火焰检测方法
CN113963032A (zh) 一种融合目标重识别的孪生网络结构目标跟踪方法
CN110766020A (zh) 一种面向多语种自然场景文本检测与识别的系统及方法
CN110969171A (zh) 基于改进卷积神经网络的图像分类模型、方法及应用
CN110705412A (zh) 一种基于运动历史图像的视频目标检测方法
CN114037938B (zh) 一种基于NFL-Net的低照度目标检测方法
CN110956158A (zh) 一种基于教师学生学习框架的遮挡行人再标识方法
CN114694089B (zh) 一种新型的多模态融合的行人重识别方法
CN114821374A (zh) 一种知识与数据协同驱动的无人机航拍目标检测方法
Li et al. Fire flame image detection based on transfer learning
CN112560824B (zh) 一种基于多特征自适应融合的人脸表情识别方法
CN114821441A (zh) 联合ads-b信息的基于深度学习的机场场面运动目标识别方法
CN110688512A (zh) 基于ptgan区域差距与深度神经网络的行人图像搜索算法
CN114898359A (zh) 一种基于改进EfficientDet的荔枝病虫害检测方法
CN112418358A (zh) 一种强化深度融合网络的车辆多属性分类方法
Wang et al. Video Smoke Detection Based on Multi-feature Fusion and Modified Random Forest.
CN112487926A (zh) 一种基于时空图卷积网络的景区投喂行为识别方法
CN118212572A (zh) 一种基于改进YOLOv7的道路损坏检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210409

Assignee: Jiangsu Kesheng Xuanyi Technology Co.,Ltd.

Assignor: HUAIYIN INSTITUTE OF TECHNOLOGY

Contract record no.: X2023980048436

Denomination of invention: A Lightweight FIRE-NET Flame Detection Method and System

Granted publication date: 20230324

License type: Common License

Record date: 20231129