CN113743190B - 一种基于BiHR-Net和YOLOv3-head的火焰检测方法及系统 - Google Patents
一种基于BiHR-Net和YOLOv3-head的火焰检测方法及系统 Download PDFInfo
- Publication number
- CN113743190B CN113743190B CN202110789523.9A CN202110789523A CN113743190B CN 113743190 B CN113743190 B CN 113743190B CN 202110789523 A CN202110789523 A CN 202110789523A CN 113743190 B CN113743190 B CN 113743190B
- Authority
- CN
- China
- Prior art keywords
- flame
- convolution kernel
- flame detection
- net
- conv
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000012800 visualization Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 238000005070 sampling Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 101150064138 MAP1 gene Proteins 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 101150013335 img1 gene Proteins 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 101150009249 MAP2 gene Proteins 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 101100075995 Schizosaccharomyces pombe (strain 972 / ATCC 24843) fma2 gene Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 101150071665 img2 gene Proteins 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Fire-Detection Mechanisms (AREA)
Abstract
本发明公开了一种基于BiHR‑Net和YOLOv3‑head的火焰检测方法及系统，首先，构建火焰检测模型，模型中主干网络使用两次下采样的方式获得输入图像小分辨率特征，降低检测模型的参数量；然后提出了一种特征提取与特征融合的方法BiHR‑Net，对输入的特征图进行两次卷积后的特征图，进行上采样和下采样生成两个子路线获取额外的特征，并对在BiHR‑Net的最后对三个尺度的特征进行融合，达到提高检测的效果的目的；将BiHR‑Net获得的特征，输入YOLO‑head网络中进行预测和回归；最后，使用数据集对火焰检测模型进行训练，获得用于火焰检测的检测器。本发明的火焰检测速度达到112帧/s，可对火焰进行快速检测并预警，且模型具有较好的鲁棒性。
Description
技术领域
本发明属于图像处理及火灾预防技术领域，具体涉及一种基于BiHR-Net和YOLOv3-head的火焰检测方法及系统。
背景技术
火灾的发生会威胁人类的生命安全，如：2019年自9月以来，澳大利亚森林火灾燃烧面积达1120万公顷，伤亡人数34人，约30亿动物死亡或流离失所。2020年3月30日，四川省凉山州西昌市经久乡发生森林火灾，造成19名消防战士牺牲。如何预防火灾或在出现火灾隐情时尽早发现，是我们一直要解决的问题。
近年火焰检测的方法主要分为：
1)基于火焰特征的检测方法，使用手工提取的火焰特征识别火焰。如：Wu等人(2018)结合静态特征、动态特征提出了一种鲁棒的分类器检测烟雾；Xie等人(2020)提出了一种同时利用基于运动闪烁的动态特征和深层静态特征的视频火灾检测方法。
2)基于传统机器学习的检测的方法，更注重特征的提取，特征可解释性较强。如：Borges等人(2010)提取颜色、偏斜度、粗糙度、面积变化等火焰特征进行火焰检测，并使用贝叶斯分类器在火焰和非火焰图像之间进行分类；Ko等人(2011)基于模糊有限自动机的火焰检测算法；Gunay等人(2012)提出了一种基于熵函数的在线自适应决策融合框架。
3)基于深度学习的检测的方法，通过自动学习特征(卷积特征)检测火焰，无需要设计指定特征，学习获得的特征只有计算机理解。如：Kim等人(2019)将连续帧中边界框内的汇总特征由Long Short-Term Memory(LSTM)可在短期时间序列中判断是否存在火并进行分类。然后，将大多数连续的短期决策合并在一起长期投票决定最终决定；Aslan等人(2020)提出一种基于视觉的深度卷积生成对抗性神经网络火焰检测方法；Zhang等人(2020)提出了一种有效的非对称编译码U形结构ATT-Squeeze-Net来鉴别森林火灾；Dunnings等人(2018)提出了一种基于超像素分割的火焰检测方法。
基于深度学习的方法在泛化性上优于其他方法，但检测速度仍然有待进一步提高。针对如何构建一个具有更高精确度和更高效率的火焰检测模型的问题本专利提出一种轻量级的火焰检测火焰检测方法及系统。
发明内容
发明目的：针对现有技术存在的问题，本发明目的在于提供一种基于BiHR-Net和YOLOv3-head的火焰检测方法及系统，既能实时检测火焰又能保持较好的准确率，并提供可视化效果。
技术方案：基于BiHR-Net和YOLOv3-head的火焰检测方法，具体包括以下步骤：
(1)构建火焰检测模型，并对其进行训练；所述火焰检测模型包括主干网络、特征提取与融合网络BiHR-Net以及预测识别网络YOLOv3-head；
(2)对预先获取的包含复杂环境的视频帧图像进行预处理和归一化，构建出数据集；并对火焰检测模型进行训练，获得用于火焰检测的模型M；
(3)使用模型M对火焰对象的边框与类别进行预测后，获得并保存火焰的位置信息；将保存的火焰目标位置在原视频图像上进行可视化；当视频帧中各火焰目标面积之和与原视频帧面积的比达到预定阈值后，发出火焰警报。
进一步地，步骤(1)所述的主干网络通过多次下采样获取小分辨率特征，降低检测模型的参数量；工作过程如下：
将输入的图片归一化为512×512大小获得IMG0；将归一化后的IMG0作为efficient-multiConv模块的输入进行计算获得F1；将F1进行2×2最大池化操作得到Pool1，将Pool1作为efficient-multiConv block的输入进行计算获得F2；将F2进行卷积核为2×2的最大池化操作后获得的Pool2，作为efficient-multiConv block的输入进行计算获得F3；将F3作为主干网络的输出。
进一步地，步骤(1)所述的特征提取与特征融合网络BiHR-Net工作过程如下：
(S1)将经过主干网络中获得的特征图作为BiHR-Net网络的输入，并将F3记为Input1；
(S2)对Input1进行卷积核大小为3×3的Depthwise Conv操作后，再进行Pointwise Conv操作，重复两次本操作后获得B1；
(S3)将B1进行2×2的反卷积操作后获得C1；将B1进行卷积核大小为3×3的Depthwise Conv操作后，再进行Pointwise Conv操作获得C2；将B1进行卷积核大小为2×2的MaxPooling操作后获得C3；
(S4)对C1、C2和C3进行卷积核大小为3×3的Depthwise Conv操作后，再进行Pointwise Conv操作，重复两次本操作后获得D1、D2和D3；
(S5)将D1进行卷积核大小为3×3的Depthwise Conv操作后，再进行PointwiseConv操作获得D11；将D1进行卷积核大小为2×2的MaxPooling操作后获得D12；将D1进行卷积核大小为4×4的MaxPooling操作后获得D13；
(S6)将D2进行2×2的反卷积操作后获得D21；将D2进行卷积核大小为3×3的Depthwise Conv操作后，再进行Pointwise Conv操作获得D22；将D2进行卷积核大小为2×2的MaxPooling操作后获得D23；
(S7)将D3进行4×4的反卷积操作后获得D31；将D3进行2×2的反卷积操作后获得D32；将D3进行卷积核大小为3×3的Depthwise Conv操作后，再进行Pointwise Conv操作获得D33；
(S8)D11、D21和D31进行矩阵和操作获得E1；D12、D22和D32进行矩阵和操作获得E2；D13、D23和D33进行矩阵和操作获得E3；最后将E1、E2和E3作为HR-Net网络的输出。
进一步地，所述步骤(2)实现过程如下：
(21)对火焰视频使用取关键帧的方法和使用爬虫爬取图片的方法获取火焰图像集合，并对火焰图像集合使用图像标注工具进行标注火焰的位置构建标签数据集；
(22)将火焰数据集中的图像按标准正态分布的对像素值增长，并将图像随机产生水平镜像，缩放和平移等预处理的操作，对数据集进行数据增强。
基于相同的发明构思，本发明还提供一种基于BiHR-Net和YOLOv3-head的火焰检测系统，包括：
火焰检测模块：将视频帧图像进行预处理和归一化，用于使用训练好的火焰检测模型对归一化后的视频帧图像进行检测，得到火焰目标的位置信息；
火焰区域可视化模块：用于根据火焰检测模块保存的火焰目标位置，对原视频图像中对应的是火焰目标进行标记，实现火焰追踪的可视化；
火焰警报模块：用于对视频持续监测，当火焰目标在视频帧中超出预定面积时，发出不同的火焰警报以提示用户；
疏散预案模块：根据不同的火焰警报制定疏散预案，供用户选择。
有益效果：本发明构建了一个轻量级的火焰检测火焰检测模型，在火焰检测模型中采用Efficient-MutilConv结构减少特征提取网络层的通道数量；引入BiHR-Net网络，将主干网络获得的特征进行提取与融合，随后获得具有多尺度信息的特征图，提高模型检测的准确率，最后对模型中卷积操作使用可分离卷积替换；本发明的识别率为97％，火焰检测速度达到112FPS，可用于实时火焰检测并预警，且具有较好的鲁棒性与广泛的应用价值。
附图说明
图1为本发明的流程图；
图2为本发明实施方式中火焰检测模型结构图；
图3为本发明实施方式中火焰检测模型的主干网结构图；
图4为本发明实施方式中火焰检测模型的BiHR-Net结构图；
图5为本发明实施方式中Efficient-MutilConv结构图；
图6为本发明实施方式中火焰检测模型的层结构图；
图7为本发明实施方式的实验检测流程图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本实施方式中涉及大量变量，现将各变量作如下说明，如表1所示。
表1变量说明表
本发明提出的一种轻量级的火焰检测火焰检测方法，首先，构建火焰检测模型，模型中主干网络使用两次下采样的方式获得输入图像四分之一倍大小的特征图，以减少后续卷积的参数量；然后提出了一种特征提取与特征融合的方法BiHR-Net，对输入的特征图进行两次卷积后的特征图，进行上采样和下采样生成两个子路线获取额外的特征，并对在BiHR-Net的最后对三个尺度的特征进行融合，达到提高检测的效果的目的；将BiHR-Net获得的特征，输入YOLO-head网络中进行预测和回归；最后，使用数据集对火焰检测模型进行训练，获得用于火焰检测的检测器。本实施方式使用真实场景的火焰视频数据，视频包含不同颜色的火焰，不同形状的火焰，小目标火焰，特殊火焰，与火焰颜色接近的灯光，本方法对该视频数据进行处理，检测火焰位置并进行可视化。如图1所示，具体包括以下步骤：
步骤1：构建火焰检测模型，如图2所示，并对其进行训练；所述火焰检测模型包括主干网络、特征提取与融合网络BiHR-Net以及预测识别网络YOLOv3-head。
火焰检测模型包括主干网络、特征提取与特征融合网络与预测识别网络；所述主干网络通过Efficient-multiConv结构层叠构成，通过减少卷积的通道数和卷积方法降低检测模型的参数量；所述特征融合网络为BiHR-Net网络，提高多尺度特征的提取和融合的效果；
1、主干网络使用由一种轻量级的卷积模块Efficient-multiConv结构层叠的主干网络，并减少卷积通道数，Efficient-multiConv结构如图5所示，过程如下：
1)对输入特征图进行卷积核大小为1×1的Depthwise Conv操作后再进行Pointwise Conv操作且重复执行三次，并将第一次与第三次Pointwise Conv的结果记为F11与F12。
2)对输入特征图进行三次操作，首先经过卷积核为3×3的Depthwise Conv操作后进行Pointwise Conv操作，再通过卷积核为1×1的Depthwise Conv操作后进行PointwiseConv操作，最后通过卷积核为3×3的Depthwise Conv操作后进行Pointwise Conv操作，并将第一次与第三次Pointwise Conv的结果记为F21与F22。
3)对输入特征图进行三次操作，首先经过卷积核为9×9的Depthwise Conv操作后进行Pointwise Conv操作，再通过卷积核为1×1的Depthwise Conv操作后进行PointwiseConv操作，最后通过卷积核为9×9的Depthwise Conv操作后进行Pointwise Conv操作，并将第一次与第三次Pointwise Conv的结果记为F31与F32。
4)将每个1-3)中的F11、F12、F21、F22、F31与F32进行加权融合并输出F。
主干网络结构如图3所示，并如图6所示层结构的backbone部分进行构建，工作过程如下：
(11)将输入的图片IMG归一化为512×512大小获得IMG0；
(12)将归一化后的IMG0作为Efficient-multiConv结构的输入进行计算获得F1；
(13)将F1进行2×2的最大池化操作后获得的Pool1，作为Efficient-multiConv结构的输入进行计算获得F2；
(14)将F2进行卷积核为2×2的最大池化操作后获得的Pool2，作为Efficient-multiConv结构的输入进行计算获得F3；
(15)将F3作为主干网络的输出。
2、特征提取与融合网络BiHR-Net，可以获取多个尺度的特征并对多尺度特征进行融合，提高检测的效果。
如图4所示，BiHR-Net网络具体特征融合过程如下：
21)将上述主干网络中的F3作为BiHR-Net网络的输入，并将Pool3记为Input1。
22)对Input1进行卷积核大小为3×3的Depthwise Conv操作后，再进行PointwiseConv操作，重复两次上述操作后获得B1。
23)将B1进行2×2的反卷积操作后获得C1；将B1进行卷积核大小为3×3的Depthwise Conv操作后，再进行Pointwise Conv操作获得C2；将B1进行卷积核大小为2×2的MaxPooling操作后获得C3；
24)对C1、C2和C3进行卷积核大小为3×3的Depthwise Conv操作后，再进行Pointwise Conv操作，重复两次上述操作后获得D1、D2和D3。
25)将D1进行卷积核大小为3×3的Depthwise Conv操作后，再进行PointwiseConv操作获得D11；将D1进行卷积核大小为2×2的MaxPooling操作后获得D12；将D1进行卷积核大小为4×4的MaxPooling操作后获得D13；
26)将D2进行2×2的反卷积操作后获得D21；将D2进行卷积核大小为3×3的Depthwise Conv操作后，再进行Pointwise Conv操作获得D22；将D2进行卷积核大小为2×2的MaxPooling操作后获得D23；
27)将D3进行4×4的反卷积操作后获得D31；将D3进行2×2的反卷积操作后获得D32；将D3进行卷积核大小为3×3的Depthwise Conv操作后，再进行Pointwise Conv操作获得D33；
28)D11、D21和D31进行矩阵和操作获得E1；D12、D22和D32进行矩阵和操作获得E2；D13、D23和D33进行矩阵和操作获得E3；最后将E1、E2和E3作为HR-Net网络的输出
3、火焰检测模型预测识别网络YOLOv3-head，如图7所示，包括：
(31)将E1进行卷积核大小为3×3的Depthwise Conv操作后，再进行PointwiseConv操作获得Map1。
(32)将E2进行卷积核大小为3×3的Depthwise Conv操作后，再进行PointwiseConv操作获得Map2。
(33)将E3进行卷积核大小为3×3的Depthwise Conv操作后，再进行PointwiseConv操作获得Map3。
(34)Map1、Map2与Map3为模型输出对应视频帧中预测候选框的类别概率和相对于对应标准尺寸框的坐标偏移量，计算出真实信息后，获取火焰的位置信息。
步骤2：对预先获取的包含复杂环境的视频帧图像进行预处理和归一化，构建出数据集；并对火焰检测模型进行训练，获得用于火焰检测的模型M。
对火焰视频使用取关键帧的方法和使用爬虫爬取图片的方法获取火焰图像集合，并对火焰图像集合使用图像标注工具进行标注火焰的位置构建标签数据集；将火焰数据集中的图像按标准正态分布的对像素值增长，并将图像随机产生水平镜像，缩放和平移等预处理的操作，对数据集进行数据增强。具体包括以下步骤：
(1)通过对真实的火焰视频数据使用取帧法将视频每三十帧截取一帧，构建训练数据集P1，P1为{Frame1，Frame2，…，FrameN}，FrameN为截取的第N张视频帧，通过爬虫爬取网络火焰图片构建训练数据集P2。然后对训练数据集P1和P2使用labelImg图像标注工具进行标注火焰的位置构建标签数据集L1，L1为{Label1，Label2，…，LabelN}，LabelN为FrameN中火焰的位置，每个Label为(x1,y1,x2,y2)其中(x1,y1)代表火焰左上角的位置，(x2,y2)代表火焰右下角的位置。最后将P1、P2和L2构成火焰检测的数据集Data。将视频帧集合中视频帧图像的按标准正态分布的对像素值增长，并将视频帧图像随机产生水平镜像、缩放和平移操作，对数据集进行数据增强。
(2)预训练的权重设为随机值，将火焰检测模型的输入维度设为(512，512，3)。
(3)设置火焰检测模型参数，包括：使用Adam梯度下降法并将学习率设为1×10-4、下采样次数设置为3，损失函数设为YOLO-loss。
(4)将Data1中的P1和P2作为输入值、L1作为监督值，在火焰检测模型中训练得到模型M。
步骤3：将训练好的火焰检测模型M对火焰对象的边框与类别进行预测后，获得并保存火焰的位置信息；将保存的火焰目标位置在原视频图像上进行可视化；当视频帧中各火焰目标面积的和与原视频帧面积的比达到预定阈值后，发出火焰警报。
获取视频帧图像IMG，并进行预处理得到IMG0。将视频帧图像IMG0的尺寸进行归一化得到图像IMG1。本实施方式归一化为512×512像素的大小，以作为下一步模型M的输入。
将归一化大小的图像传入模型M中，将视频帧图像对应的火焰的坐标位置存储在数组Loc中，依据Loc，在预处理且归一化后的视频帧IMG1中标记火焰目标位置，得到火焰识别效果图IMG2，从而实现火焰追踪的可视化。
当视频流中火焰目标在视频帧中的面积达到设定阈值后，发出火焰警报。若所有火焰目标在视频帧中占的面积的总和大于50％则发出火焰警报，否则继续判断。具体为：将视频帧图像按Loc的火焰位置生成一个二值图像FLAG，二值图像FLAG中火焰位置设置为1，其他部分设置为0；按下述公式进行判断：
Fires＝sum(FLAG)
其中Fires为所有火焰目标面积的和，w为视频帧的宽，h为视频帧的高。如果满足上述公式，则发出火焰警报。
基于相同的发明构思，本发明还提供一种基于BiHR-Net和YOLOv3-head的火焰检测系统，包括：
火焰检测模块：将视频帧图像进行预处理和归一化，用于使用训练好的火焰检测模型对归一化后的视频帧图像进行检测，得到火焰目标的位置信息；
火焰区域可视化模块：用于根据火焰检测模块保存的火焰目标位置，对原视频图像中对应的是火焰目标进行标记，实现火焰追踪的可视化；
火焰警报模块：用于对视频持续监测，当火焰目标在视频帧中超出预定面积时，发出不同的火焰警报以提示用户；
疏散预案模块：根据不同的火焰警报制定疏散预案，供用户选择。
Claims (2)
1.一种基于BiHR-Net和YOLOv3-head的火焰检测方法，其特征在于，包括以下步骤：
（1）构建火焰检测模型，并对其进行训练；所述火焰检测模型包括主干网络、特征提取与融合网络BiHR-Net以及预测识别网络YOLOv3-head；
（2）对预先获取的包含复杂环境的视频帧图像进行预处理和归一化，构建出数据集；并对火焰检测模型进行训练，获得用于火焰检测的模型M；
（3）使用模型M对火焰对象的边框与类别进行预测后，获得并保存火焰的位置信息；将保存的火焰目标位置在原视频图像上进行可视化；当视频帧中各火焰目标面积之和与原视频帧面积的比达到预定阈值后，发出火焰警报；
步骤（1）所述的主干网络通过多次下采样获取小分辨率特征，降低检测模型的参数量；工作过程如下：
将输入的图片归一化为512×512大小获得IMG0；将归一化后的IMG0作为efficient-multiConv 模块的输入进行计算获得F1；将F1进行2×2最大池化操作得到Pool1，将Pool1作为efficient-multiConv block的输入进行计算获得F2；将F2进行卷积核为2×2的最大池化操作后获得的Pool2，作为efficient-multiConv block的输入进行计算获得F3；将F3作为主干网络的输出；
步骤（1）所述的特征提取与特征融合网络BiHR-Net工作过程如下：
（S1）将经过主干网络中获得的特征图作为BiHR-Net网络的输入，并将F3记为Input1；
（S2）对Input1进行卷积核大小为3×3的Depthwise Conv操作后，再进行PointwiseConv操作，重复两次本操作后获得B1；
（S3）将B1进行2×2的反卷积操作后获得C1；将B1进行卷积核大小为3×3的DepthwiseConv操作后，再进行Pointwise Conv操作获得C2；将B1进行卷积核大小为2×2的MaxPooling操作后获得C3；
（S4）对C1、C2和C3进行卷积核大小为3×3的Depthwise Conv操作后，再进行PointwiseConv操作，重复两次本操作后获得D1、D2和D3；
（S5）将D1进行卷积核大小为3×3的Depthwise Conv操作后，再进行Pointwise Conv操作获得D11；将D1进行卷积核大小为2×2的MaxPooling操作后获得D12；将D1进行卷积核大小为4×4的MaxPooling操作后获得D13；
（S6）将D2进行2×2的反卷积操作后获得D21；将D2进行卷积核大小为3×3的DepthwiseConv操作后，再进行Pointwise Conv操作获得D22；将D2进行卷积核大小为2×2的MaxPooling操作后获得D23；
（S7）将D3进行4×4的反卷积操作后获得D31；将D3进行2×2的反卷积操作后获得D32；将D3进行卷积核大小为3×3的Depthwise Conv操作后，再进行Pointwise Conv操作获得D33；
（S8）D11、D21和D31进行矩阵和操作获得E1；D12、D22和D32进行矩阵和操作获得E2；D13、D23和D33进行矩阵和操作获得E3；最后将E1、E2和E3作为HR-Net网络的输出；
所述步骤（2）实现过程如下：
（21）对火焰视频使用取关键帧的方法和使用爬虫爬取图片的方法获取火焰图像集合，并对火焰图像集合使用图像标注工具进行标注火焰的位置构建标签数据集；
（22）将火焰数据集中的图像按标准正态分布的对像素值增长，并将图像随机产生水平镜像，进行缩放和平移操作，对数据集进行数据增强。
2.一种采用如权利要求1所述方法的基于BiHR-Net和YOLOv3-head的火焰检测系统，其特征在于，包括：
火焰检测模块：将视频帧图像进行预处理和归一化，用于使用训练好的火焰检测模型对归一化后的视频帧图像进行检测，得到火焰目标的位置信息；
火焰区域可视化模块：用于根据火焰检测模块保存的火焰目标位置，对原视频图像中对应的是火焰目标进行标记，实现火焰追踪的可视化；
火焰警报模块：用于对视频持续监测，当火焰目标在视频帧中超出预定面积时，发出不同的火焰警报以提示用户；
疏散预案模块：根据不同的火焰警报制定疏散预案，供用户选择。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110789523.9A CN113743190B (zh) | 2021-07-13 | 2021-07-13 | 一种基于BiHR-Net和YOLOv3-head的火焰检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110789523.9A CN113743190B (zh) | 2021-07-13 | 2021-07-13 | 一种基于BiHR-Net和YOLOv3-head的火焰检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113743190A CN113743190A (zh) | 2021-12-03 |
| CN113743190B true CN113743190B (zh) | 2023-12-22 |
Family
ID=78728606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110789523.9A Active CN113743190B (zh) | 2021-07-13 | 2021-07-13 | 一种基于BiHR-Net和YOLOv3-head的火焰检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113743190B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116453053B (zh) * | 2023-04-18 | 2023-09-26 | 南京恩博科技有限公司 | 一种火灾检测方法、装置、计算机设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751089A (zh) * | 2019-10-18 | 2020-02-04 | 南京林业大学 | 基于数字图像和卷积特征的火焰目标检测方法 |
| CN111091072A (zh) * | 2019-11-29 | 2020-05-01 | 河海大学 | 一种基于YOLOv3的火焰及浓烟检测方法 |
| CN111832576A (zh) * | 2020-07-17 | 2020-10-27 | 济南浪潮高新科技投资发展有限公司 | 一种用于移动端的轻量级目标检测方法及系统 |
| CN112633061A (zh) * | 2020-11-18 | 2021-04-09 | 淮阴工学院 | 一种轻量级的fire-det火焰检测方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102097294B1 (ko) * | 2019-07-19 | 2020-04-06 | (주)지와이네트웍스 | 화염 판단을 위한 신경망 모델의 학습 및 검출 방법, 및 이를 수행하는 장치 |
-
2021
- 2021-07-13 CN CN202110789523.9A patent/CN113743190B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751089A (zh) * | 2019-10-18 | 2020-02-04 | 南京林业大学 | 基于数字图像和卷积特征的火焰目标检测方法 |
| CN111091072A (zh) * | 2019-11-29 | 2020-05-01 | 河海大学 | 一种基于YOLOv3的火焰及浓烟检测方法 |
| CN111832576A (zh) * | 2020-07-17 | 2020-10-27 | 济南浪潮高新科技投资发展有限公司 | 一种用于移动端的轻量级目标检测方法及系统 |
| CN112633061A (zh) * | 2020-11-18 | 2021-04-09 | 淮阴工学院 | 一种轻量级的fire-det火焰检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113743190A (zh) | 2021-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112633061B (zh) | 一种轻量级的fire-det火焰检测方法及系统 | |
| US8983180B2 (en) | Method of detecting smoke of forest fire using spatiotemporal BoF of smoke and random forest | |
| CN112861635B (zh) | 一种基于深度学习的火灾及烟雾实时检测方法 | |
| Chaudhari et al. | Face detection using viola jones algorithm and neural networks | |
| CN112733814B (zh) | 一种基于深度学习的行人徘徊滞留检测方法、系统及介质 | |
| Matlani et al. | Hybrid deep VGG-NET convolutional classifier for video smoke detection | |
| CN116343330A (zh) | 一种红外-可见光图像融合的异常行为识别方法 | |
| Ramirez-Alonso et al. | Temporal weighted learning model for background estimation with an automatic re-initialization stage and adaptive parameters update | |
| CN113743190B (zh) | 一种基于BiHR-Net和YOLOv3-head的火焰检测方法及系统 | |
| CN114359733A (zh) | 一种基于视觉的烟雾火情的检测方法及系统 | |
| Choudhary et al. | Real-time crowd behavior detection using SIFT feature extraction technique in video sequences | |
| Wang et al. | Spatial-temporal structural and dynamics features for Video Fire Detection | |
| Zhang et al. | DeepFireNet: A real-time video fire detection method based on multi-feature fusion | |
| WO2016019973A1 (en) | Method for determining stationary crowds | |
| Jang et al. | Detection of dangerous situations using deep learning model with relational inference | |
| Ham et al. | Vision based forest smoke detection using analyzing of temporal patterns of smoke and their probability models | |
| Yang et al. | Combining Gaussian mixture model and HSV model with deep convolution neural network for detecting smoke in videos | |
| CN117409347A (zh) | 一种基于esnn的早期火灾检测方法 | |
| Deldjoo et al. | A novel fuzzy-based smoke detection system using dynamic and static smoke features | |
| CN109409224B (zh) | 一种自然场景火焰检测的方法 | |
| Samaila et al. | Real-time detection of abandoned object using centroid difference method | |
| Zhang et al. | Real-time fire detection using video sequence data | |
| JP2022184321A (ja) | 煙検出装置 | |
| Girdhar et al. | An Improved Empirical Hyper-Parameter Tuned Supervised Model for Human Activity Recognition based on Motion Flow and Deep Learning | |
| Lian et al. | An improved fire and smoke detection method based on YOLOv7 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |