CN114677629A - 一种基于yolov5网络的烟火检测预警方法及系统 - Google Patents
一种基于yolov5网络的烟火检测预警方法及系统 Download PDFInfo
- Publication number
- CN114677629A CN114677629A CN202210328823.1A CN202210328823A CN114677629A CN 114677629 A CN114677629 A CN 114677629A CN 202210328823 A CN202210328823 A CN 202210328823A CN 114677629 A CN114677629 A CN 114677629A
- Authority
- CN
- China
- Prior art keywords
- network
- smoke
- fire
- data set
- firework
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 132
- 238000001514 detection method Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims description 45
- 238000012360 testing method Methods 0.000 claims description 26
- 238000011176 pooling Methods 0.000 claims description 22
- 238000002372 labelling Methods 0.000 claims description 19
- 238000012795 verification Methods 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 15
- 238000013519 translation Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000007306 turnover Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 11
- 230000004913 activation Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 108091008695 photoreceptors Proteins 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010000369 Accident Diseases 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Fire-Detection Mechanisms (AREA)
- Alarm Systems (AREA)
Abstract
本发明涉及一种基于YOLOV5网络的烟火检测预警方法及系统，方法包括：获取初始烟火数据集，并对初始烟火数据集进行数据增强，得到烟火数据集；构建烟火检测网络，基于烟火数据集对烟火检测网络进行训练，得到训练好的所述烟火检测网络；将实时帧图像输入训练好的烟火检测网络，得到识别结果。烟火检测网络采用YOLOv5网络，并且引入注意力机制，突出火焰和烟雾重要特征。本发明提高了烟火的检测精度和检测速度，从而实现对火灾的快速检测与及时预警，有效阻止火灾的蔓延，保护人民群众财产及生命安全。
Description
技术领域
本发明涉及监测技术领域，特别是涉及一种基于YOLOV5网络的烟火检测预警方法及系统。
背景技术
烟火(烟雾和火焰)检测是指在监控视频图像中进行烟火的识别和定位，在安防监控领域具有重要的意义。
火灾是非常常见且危害极大的灾害之一，常常会造成巨大的资源、财产损失并可能造成人员伤亡，因此对于深林、无人仓库、公共设施、易燃易爆品、某些重要区域等的烟火防控和预警成为重中之重，及时预警可以快速通知执勤人员并协助消防人员及时处理火灾危机，做到尽早预防和避免火灾事故的突发和蔓延，最大程度减少损失。其中对烟雾、火焰进行准确、快速的检测成为重中之重。
传统的检测方法主要是针对温度、透明度、烟雾等进行物理采样的传感器，但是传感器主要适用于近距离感应，容易受到场地等限制，并且易用性、检测准确率、可靠性等难以保证，安全人员不到现场查看难以及时判断现场具体情况。而基于视频的检测方法则可以通过远距离画面的传输，实现远程查看，因此得到了快速发展和应用。常用的视频检测方法，一般通过对视频图像进行运动区域提取，根据火焰区域的RGB或HSV通道分量的特征进行判别，这种方法对火焰的判别有一些效果，但是对烟雾却无法使用。也有采用对图像进行分块预测，利用不同大小的滑动窗口进行区域提取，然后送入各种卷积神经网络进行分类，判断是否是火焰或烟雾，但是这种方法效率低、准确率也不够，并且对烟火的位置判断的也不够准确。
发明内容
有鉴于此，本发明提供了一种基于YOLOV5网络的烟火检测预警方法及系统，通过引入注意力机制，突出火焰和烟雾重要特征，并且优化了损失函数，解决正负样本极端不平衡的问题。
为实现上述目的，本发明提供了如下方案：
一种基于YOLOV5网络的烟火检测预警方法，包括：
获取初始烟火数据集，并对所述初始烟火数据集进行数据增强，得到烟火数据集；对所述烟火数据集进行分割，得到训练集、验证集和测试集；
构建烟火检测网络，基于所述训练集、所述验证集和所述测试集对所述烟火检测网络进行训练、验证和测试，得到训练好的所述烟火检测网络；
获取实时监测视频数据，对所述实时监测视频数据进行帧提取，得到帧图像，基于所述帧图像和训练好的所述烟火检测网络，得到识别结果；
所述烟火检测网络选用YOLOV5网络；所述烟火检测网络选包括主干网络、颈部网络和预测网络；
所述主干网络引入注意力网络，进行通道注意力特融合和空间注意力特征融合；
所述预测网络的目标框损失函数选用Focal Loss，平衡正负样本比例。
优选地，所述获取初始烟火数据集，并对所述初始烟火数据集进行数据增强，得到烟火数据集；对所述烟火数据集进行分割，得到训练集、验证集和测试集，包括：
对公开数据集进行筛选和对自制视频进行截图，得到所述初始烟火数据集；所述初始烟火数据集中的火灾图片包括的类型包括森林火灾、工厂火灾、居民区火灾和车辆火灾；所述初始烟火数据集中的火灾图片的烟雾场景包括黑色烟雾和白色烟雾；所述初始烟火数据集中的火灾图片的火焰场景包括白天火焰和黑夜火焰；
对所述初始烟火数据集依次进行平移、旋转和翻转处理，得到所述烟火数据集；所述数据增强包括所述平移、所述旋转和所述翻转；
使用LabelImg标注工具对所述烟火数据集进行标注，得到标注数据集；标注类别包括火焰和烟雾；
对所述标注数据集进行分割，得到所述训练集、所述验证集和所述测试集。
优选地，所述主干网络包括切片网络、注意力网络、跨阶段局部网络和空间金字塔池化网络；所述注意力网络包括通道注意力网络和空间注意力网络；
所述切片网络对输入的图像进行切片和拼接，得到二倍下采样特征图；
所述通道注意力网络对输入特征图进行通道注意力特征融合，得到融合通道注意力特征图；
所述空间注意力网络对输入特征图进行空间注意力特征融合，得到融合空间注意力特征图；
所述跨阶段局部网络对输入特征图映射划分为两部分，一部分做卷积操作，另一部分与卷积操作后结果进行拼接和特征融合，得到细粒度特征图；
所述空间金字塔池化网络基于输入特征图得到设定尺寸特征图。
优选地，所述颈部网络包括特征金字塔网络和路径聚合网络；
所述特征金字塔网络采用上采样的方式进行传递融合，得到上采样融合特征图；
所述路径聚合网络采用下采样的方式进行传递融合，得到下采样融合特征图。
优选地，所述识别结果包括目标物体类别、目标物体置信度、目标矩形框和目标物体数量；所述目标矩形框包括矩形框中心坐标和矩形框大小。
优选地，所述方法还包括：
对所述目标物体置信度进行判断，当所述目标物体置信度大于置信度阈值时，发出报警信息；所述报警信息包括火灾地点和火焰目标大小；
所述火灾地点基于目标深度信息和目标水平信息得到；
所述目标深度信息和所述目标水平信息基于双目测距原理进行计算得到。
本发明还提供了一种基于YOLOV5网络的烟火检测预警系统，包括：
数据获取模块，获取初始烟火数据集，并对所述初始烟火数据集进行数据增强，得到烟火数据集；对所述烟火数据集进行分割，得到训练集、验证集和测试集；
模型构建及训练模块，构建烟火检测网络，基于所述训练集、所述验证集和所述测试集对所述烟火检测网络进行训练、验证和测试，得到训练好的所述烟火检测网络；
目标识别模块，获取实时监测视频数据，对所述实时监测视频数据进行帧提取，得到帧图像，基于所述帧图像和训练好的所述烟火检测网络，得到识别结果；
所述烟火检测网络选用YOLOV5网络；所述烟火检测网络选包括主干网络、颈部网络和预测网络；
所述主干网络引入注意力网络，进行通道注意力特融合和空间注意力特征融合；
所述预测网络的目标框损失函数选用Focal Loss，平衡正负样本比例。
优选地，所述数据获取模块包括：
数据获取单元，对公开数据集进行筛选和对自制视频进行截图，得到所述初始烟火数据集；所述初始烟火数据集中的火灾图片包括的类型包括森林火灾、工厂火灾、居民区火灾和车辆火灾；所述初始烟火数据集中的火灾图片的烟雾场景包括黑色烟雾和白色烟雾；所述初始烟火数据集中的火灾图片的火焰场景包括白天火焰和黑夜火焰；
数据增强单元，对所述初始烟火数据集依次进行平移、旋转和翻转处理，得到所述烟火数据集；所述数据增强包括所述平移、所述旋转和所述翻转；
数据标注单元，使用LabelImg标注工具对所述烟火数据集进行标注，得到标注数据集；标注类别包括火焰和烟雾；
数据分割单元，对所述标注数据集进行分割，得到所述训练集、所述验证集和所述测试集。
优选地，所述主干网络包括切片网络、注意力网络、跨阶段局部网络和空间金字塔池化网络；所述注意力网络包括通道注意力网络和空间注意力网络；
所述切片网络对输入的图像进行切片和拼接，得到二倍下采样特征图；
所述通道注意力网络对输入特征图进行通道注意力特征融合，得到融合通道注意力特征图；
所述空间注意力网络对输入特征图进行空间注意力特征融合，得到融合空间注意力特征图；
所述跨阶段局部网络对输入特征图映射划分为两部分，一部分做卷积操作，另一部分与卷积操作后结果进行拼接和特征融合，得到细粒度特征图；
所述空间金字塔池化网络基于输入特征图得到设定尺寸特征图。
优选地，所述系统还包括：
判断模块，对所述识别结果进行判断，当所述识别结果大于置信度阈值时，发出报警信息；所述报警信息包括火灾地点和火焰目标大小；所述火灾地点基于目标深度信息和目标水平信息得到；所述目标深度信息和所述目标水平信息基于双目测距原理进行计算得到。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明涉及一种基于YOLOV5网络的烟火检测预警方法及系统，方法包括：获取初始烟火数据集，并对初始烟火数据集进行数据增强，得到烟火数据集；构建烟火检测网络，基于烟火数据集对烟火检测网络进行训练，得到训练好的所述烟火检测网络；将实时帧图像输入训练好的烟火检测网络，得到识别结果。烟火检测网络采用YOLOv5网络，并且引入注意力机制，突出火焰和烟雾重要特征。本发明提高了烟火的检测精度和检测速度，从而实现对火灾的快速检测与及时预警，有效阻止火灾的蔓延，保护人民群众财产及生命安全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于YOLOV5网络的烟火检测预警方法流程图；
图2为本发明烟火检测网络结构图；
图3为本发明注意力网络结构图；
图4为本发明识别结果示意图；
图5为本发明基于YOLOV5网络的烟火检测预警系统结构图。
符号说明：1、数据获取模块；2、模型构建及训练模块；3、目标识别模块；4、判断模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于YOLOV5网络的烟火检测预警方法及系统，通过引入注意力机制，突出火焰和烟雾重要特征，并且优化了损失函数，解决正负样本极端不平衡的问题。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明基于YOLOV5网络的烟火检测预警方法流程图。如图1所示，本发明提供了一种基于YOLOV5网络的烟火检测预警方法，包括：
步骤S1，获取初始烟火数据集，并对所述初始烟火数据集进行数据增强，得到烟火数据集；对所述烟火数据集进行分割，得到训练集、验证集和测试集。
具体地，所述步骤S1包括：
步骤S11，对公开数据集进行筛选和对自制视频进行截图，得到所述初始烟火数据集；所述初始烟火数据集中的火灾图片包括的类型包括森林火灾、工厂火灾、居民区火灾和车辆火灾；所述初始烟火数据集中的火灾图片的烟雾场景包括黑色烟雾和白色烟雾；所述初始烟火数据集中的火灾图片的火焰场景包括白天火焰和黑夜火焰。
步骤S12，对所述初始烟火数据集依次进行平移、旋转和翻转处理，得到所述烟火数据集；所述数据增强包括所述平移、所述旋转和所述翻转。
步骤S13，使用LabelImg标注工具对所述烟火数据集进行标注，得到标注数据集；标注类别包括火焰和烟雾；标注信息存储为xml格式。
步骤S14，对所述标注数据集进行分割，得到所述训练集、所述验证集和所述测试集。
步骤S2，构建烟火检测网络，基于所述训练集、所述验证集和所述测试集对所述烟火检测网络进行训练、验证和测试，得到训练好的所述烟火检测网络。
如图2所示，本实施例中，所述烟火检测网络选用YOLOV5网络；所述烟火检测网络选包括主干网络Backbone、颈部网络Neck和预测网络Precision。
所述主干网络包括切片网络Focus、注意力网络CBL_CBAM、跨阶段局部网络CSP和空间金字塔池化网络SPP。所述注意力网络包括通道注意力网络和空间注意力网络。
所述切片网络对输入的图像进行切片和拼接，得到二倍下采样特征图。所述切片网络在不损失任何信息的情况下通过增加特征图的维度来缩小特征图的尺寸。
所述通道注意力网络对输入特征图进行通道注意力特征融合，得到融合通道注意力特征图。
所述空间注意力网络对输入特征图进行空间注意力特征融合，得到融合空间注意力特征图。
具体地，如图3所示，所述通道注意力网络通过全局平均池化和全局最大池化操作聚合一个特征图的空间信息，得到平均池化的特征
和最大池化的特征
然后将这两个特征分别通过一个共享的全连接层(MLP)，并将输出的特征进行基于逐元素的加和操作与激活操作，输出融合通道注意力特征图MC：
其中，σ指激活函数，W0和W1指MLP的权重，F为通道注意力网络的输入特征，AvgPool为全局平均池化，MaxPool为全局最大池化。
其次，将融合通道注意力特征图MC和输入特征F做加和操作，生成空间注意网络的输入特征F′。
所述空间注意力网络分别沿着通道轴进行平均池化操作和最大池化操作，得到两个特征图
和
然后做通道拼接操作和卷积操作(卷积核为7×7)，再经过激活操作输出空间注意特征MS：
其中，
指逐元素加和操作。
所述跨阶段局部网络对输入特征图映射划分为两部分，一部分做卷积操作，另一部分与卷积操作后结果进行拼接和特征融合，得到细粒度特征图。其中，主干网络中的CSP1_X中加入残差结构使得层和层之间进行反向传播时，梯度值得到增强，有效防止网络加深时所引起的梯度消失，得到的特征粒度更细。
所述空间金字塔池化网络基于输入特征图得到设定尺寸特征图。
颈部网络中使用特征金字塔网络FPN和路径聚合网络PAN，FPN自上向下将高层的特征信息通过上采样的方式进行传递融合，传达强语义特征；PAN为自下向上的特征金字塔，将低层的定位特征传递上去，传达强定位特征，两者同时使用加强网络特征融合能力。
主干网络的输出结果：第一个CSP1_3操作输出特征连接到颈部网络中的特征金字塔网络，自上向下的将高层强语义特征传递下来，增强语义信息；第二个CSP1_3操作的输出特征连接到颈部网络网络中的路径聚合网络，自下向上的将低层的定位特征传递上去，增强定位信息。空间金字塔池化网络操作输出特征最后经过卷积操作与池化操作，获得高宽比和大小任意的特征。
颈部网络对不同尺寸的特征图进行采样，将特征图处理成相同大小，然后进行特征融合及卷积，得到3个具有更强特征表现能力的特征层；
颈部网络输出的3个具有更强特征表现能力的特征层传递到预测网络中进行预测，生成预测结果。
预测网络中利用目标框损失函数，计算出目标框的信息；再利用非极大值抑制对多个目标框进行筛选，输出符合的目标框信息；边界锚框的损失函数使用Focal Loss。在烟火检测网络训练时减少易分类样本所占的权重，使得烟火检测网络在训练时专注于难分类样本，解决正负样本不平衡问题。
所述损失函数如下：
其中，y是真实样本，y′指预测类别概率。α用来调解正负样本的比例，设置α＝0.25。γ用来降低简单样本的损失值,设置γ＝2。
配置训练参数，训练所述烟火检测网络，得到训练好的所述烟火检测网络；训练好的所述烟火检测网络包括网络结构和权重信息。
所述训练参数如下所示：初始学习率设置为0.001，学习率动量设为0.95，权重衰减系数设为0.0005，迭代次数设为500。
图2中，CONV代表卷积，slice代表切片，Concat代表合并函数，Maxpool代表最大池化，BN代表批量归一化，UpSample代表上采样，add代表添加，Resunit代表残差组件，Leakyrelu为激活函数。Input代表输入。
步骤S3，获取实时监测视频数据，对所述实时监测视频数据进行帧提取，得到帧图像，基于所述帧图像和训练好的所述烟火检测网络，得到识别结果。对每一帧图像均进行识别，得到每一帧图像对应的识别结果。
所述识别结果包括目标物体类别、目标物体置信度、目标矩形框和目标物体数量；所述目标矩形框包括矩形框中心坐标和矩形框大小。
具体地，识别结果如图4所示，图4中的数字代表置信度，smoke代表类别为烟雾，fire代表类别为火焰。
步骤S4，对所述目标物体置信度进行判断，当所述目标物体置信度大于置信度阈值时，发出报警信息。本实施例中，所述置信度阈值设为0.6。
所述报警信息包括火灾地点和火焰目标大小。所述火灾地点基于目标深度信息和目标水平信息得到。所述目标深度信息和所述目标水平信息基于双目测距原理进行计算得到。
具体地，假设P为矩形框中心点，XL-XR为点P在左右两幅视图上的成像视差，OL左相机的光心，OR为右相机的光心，PL点P在左相机感光器上的成像点，PR为点P在右相机感光器上的成像点；B为左相机和右相机的中心距离，f为左相机和右相机焦距，Z为所求的目标深度信息，X和Y为所求目标水平信息，依据相似三角形原理：
可得：
并计算计算目标矩形框在帧图像视野的占比
式中：h目标矩形框的高，w为目标矩形框的宽，H帧图像的高，W为帧图像的宽。
图5为本发明基于YOLOV5网络的烟火检测预警系统结构图。如图5所示，本发明提供了一种基于YOLOV5网络的烟火检测预警系统，包括：数据获取模块1、模型构建及训练模块2和目标识别模块3。
所述数据获取模块1用于获取初始烟火数据集，并对所述初始烟火数据集进行数据增强，得到烟火数据集；对所述烟火数据集进行分割，得到训练集、验证集和测试集。
所述模型构建及训练模块2用于构建烟火检测网络，基于所述训练集、所述验证集和所述测试集对所述烟火检测网络进行训练、验证和测试，得到训练好的所述烟火检测网络。
所述目标识别模块3用于获取实时监测视频数据，对所述实时监测视频数据进行帧提取，得到帧图像，基于所述帧图像和训练好的所述烟火检测网络，得到识别结果。
所述烟火检测网络选用YOLOV5网络；所述烟火检测网络选包括主干网络、颈部网络和预测网络。
所述主干网络引入注意力网络，进行通道注意力特融合和空间注意力特征融合。
所述预测网络的目标框损失函数选用Focal Loss，平衡正负样本比例。
具体地，所述数据获取模块1包括：数据获取单元、数据增强单元、数据标注单元和数据分割单元。
所述数据获取单元对公开数据集进行筛选和对自制视频进行截图，得到所述初始烟火数据集；所述初始烟火数据集中的火灾图片包括的类型包括森林火灾、工厂火灾、居民区火灾和车辆火灾；所述初始烟火数据集中的火灾图片的烟雾场景包括黑色烟雾和白色烟雾；所述初始烟火数据集中的火灾图片的火焰场景包括白天火焰和黑夜火焰。
所述数据增强单元对所述初始烟火数据集依次进行平移、旋转和翻转处理，得到所述烟火数据集；所述数据增强包括所述平移、所述旋转和所述翻转。
所述数据标注单元使用LabelImg标注工具对所述烟火数据集进行标注，得到标注数据集；标注类别包括火焰和烟雾。
所述数据分割单元对所述标注数据集进行分割，得到所述训练集、所述验证集和所述测试集。
进一步地，所述主干网络包括切片网络、注意力网络、跨阶段局部网络和空间金字塔池化网络；所述注意力网络包括通道注意力网络和空间注意力网络。
所述切片网络对输入的图像进行切片和拼接，得到二倍下采样特征图。
所述通道注意力网络对输入特征图进行通道注意力特征融合，得到融合通道注意力特征图。
所述空间注意力网络对输入特征图进行空间注意力特征融合，得到融合空间注意力特征图。
所述跨阶段局部网络对输入特征图映射划分为两部分，一部分做卷积操作，另一部分与卷积操作后结果进行拼接和特征融合，得到细粒度特征图。
所述空间金字塔池化网络基于输入特征图得到设定尺寸特征图。
优选地，所述系统还包括判断模块4。
所述判断模块4对所述识别结果进行判断，当所述识别结果大于置信度阈值时，发出报警信息；所述报警信息包括火灾地点和火焰目标大小；所述火灾地点基于目标深度信息和目标水平信息得到；所述目标深度信息和所述目标水平信息基于双目测距原理进行计算得到。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于YOLOV5网络的烟火检测预警方法，其特征在于，包括：
获取初始烟火数据集，并对所述初始烟火数据集进行数据增强，得到烟火数据集；对所述烟火数据集进行分割，得到训练集、验证集和测试集；
构建烟火检测网络，基于所述训练集、所述验证集和所述测试集对所述烟火检测网络进行训练、验证和测试，得到训练好的所述烟火检测网络；
获取实时监测视频数据，对所述实时监测视频数据进行帧提取，得到帧图像，基于所述帧图像和训练好的所述烟火检测网络，得到识别结果；
所述烟火检测网络选用YOLOV5网络；所述烟火检测网络选包括主干网络、颈部网络和预测网络；
所述主干网络引入注意力网络，进行通道注意力特融合和空间注意力特征融合；
所述预测网络的目标框损失函数选用FocalLoss，平衡正负样本比例。
2.根据权利要求1所述的烟火检测预警方法，其特征在于，所述获取初始烟火数据集，并对所述初始烟火数据集进行数据增强，得到烟火数据集；对所述烟火数据集进行分割，得到训练集、验证集和测试集，包括：
对公开数据集进行筛选和对自制视频进行截图，得到所述初始烟火数据集；所述初始烟火数据集中的火灾图片包括的类型包括森林火灾、工厂火灾、居民区火灾和车辆火灾；所述初始烟火数据集中的火灾图片的烟雾场景包括黑色烟雾和白色烟雾；所述初始烟火数据集中的火灾图片的火焰场景包括白天火焰和黑夜火焰；
对所述初始烟火数据集依次进行平移、旋转和翻转处理，得到所述烟火数据集；所述数据增强包括所述平移、所述旋转和所述翻转；
使用LabelImg标注工具对所述烟火数据集进行标注，得到标注数据集；标注类别包括火焰和烟雾；
对所述标注数据集进行分割，得到所述训练集、所述验证集和所述测试集。
3.根据权利要求1所述的烟火检测预警方法，其特征在于，所述主干网络包括切片网络、注意力网络、跨阶段局部网络和空间金字塔池化网络；所述注意力网络包括通道注意力网络和空间注意力网络；
所述切片网络对输入的图像进行切片和拼接，得到二倍下采样特征图；
所述通道注意力网络对输入特征图进行通道注意力特征融合，得到融合通道注意力特征图；
所述空间注意力网络对输入特征图进行空间注意力特征融合，得到融合空间注意力特征图；
所述跨阶段局部网络对输入特征图映射划分为两部分，一部分做卷积操作，另一部分与卷积操作后结果进行拼接和特征融合，得到细粒度特征图；
所述空间金字塔池化网络基于输入特征图得到设定尺寸特征图。
4.根据权利要求1所述的烟火检测预警方法，其特征在于，所述颈部网络包括特征金字塔网络和路径聚合网络；
所述特征金字塔网络采用上采样的方式进行传递融合，得到上采样融合特征图；
所述路径聚合网络采用下采样的方式进行传递融合，得到下采样融合特征图。
5.根据权利要求1所述的烟火检测预警方法，其特征在于，所述识别结果包括目标物体类别、目标物体置信度、目标矩形框和目标物体数量；所述目标矩形框包括矩形框中心坐标和矩形框大小。
6.根据权利要求5所述的烟火检测预警方法，其特征在于，所述方法还包括：
对所述目标物体置信度进行判断，当所述目标物体置信度大于置信度阈值时，发出报警信息；所述报警信息包括火灾地点和火焰目标大小；
所述火灾地点基于目标深度信息和目标水平信息得到；
所述目标深度信息和所述目标水平信息基于双目测距原理进行计算得到。
7.一种基于YOLOV5网络的烟火检测预警系统，其特征在于，包括：
数据获取模块，获取初始烟火数据集，并对所述初始烟火数据集进行数据增强，得到烟火数据集；对所述烟火数据集进行分割，得到训练集、验证集和测试集；
模型构建及训练模块，构建烟火检测网络，基于所述训练集、所述验证集和所述测试集对所述烟火检测网络进行训练、验证和测试，得到训练好的所述烟火检测网络；
目标识别模块，获取实时监测视频数据，对所述实时监测视频数据进行帧提取，得到帧图像，基于所述帧图像和训练好的所述烟火检测网络，得到识别结果；
所述烟火检测网络选用YOLOV5网络；所述烟火检测网络选包括主干网络、颈部网络和预测网络；
所述主干网络引入注意力网络，进行通道注意力特融合和空间注意力特征融合；
所述预测网络的目标框损失函数选用FocalLoss，平衡正负样本比例。
8.根据权利要求7所述的烟火检测预警系统，其特征在于，所述数据获取模块包括：
数据获取单元，对公开数据集进行筛选和对自制视频进行截图，得到所述初始烟火数据集；所述初始烟火数据集中的火灾图片包括的类型包括森林火灾、工厂火灾、居民区火灾和车辆火灾；所述初始烟火数据集中的火灾图片的烟雾场景包括黑色烟雾和白色烟雾；所述初始烟火数据集中的火灾图片的火焰场景包括白天火焰和黑夜火焰；
数据增强单元，对所述初始烟火数据集依次进行平移、旋转和翻转处理，得到所述烟火数据集；所述数据增强包括所述平移、所述旋转和所述翻转；
数据标注单元，使用LabelImg标注工具对所述烟火数据集进行标注，得到标注数据集；标注类别包括火焰和烟雾；
数据分割单元，对所述标注数据集进行分割，得到所述训练集、所述验证集和所述测试集。
9.根据权利要求7所述的烟火检测预警系统，其特征在于，所述主干网络包括切片网络、注意力网络、跨阶段局部网络和空间金字塔池化网络；所述注意力网络包括通道注意力网络和空间注意力网络；
所述切片网络对输入的图像进行切片和拼接，得到二倍下采样特征图；
所述通道注意力网络对输入特征图进行通道注意力特征融合，得到融合通道注意力特征图；
所述空间注意力网络对输入特征图进行空间注意力特征融合，得到融合空间注意力特征图；
所述跨阶段局部网络对输入特征图映射划分为两部分，一部分做卷积操作，另一部分与卷积操作后结果进行拼接和特征融合，得到细粒度特征图；
所述空间金字塔池化网络基于输入特征图得到设定尺寸特征图。
10.根据权利要求7所述的烟火检测预警系统，其特征在于，所述系统还包括：
判断模块，对所述识别结果进行判断，当所述识别结果大于置信度阈值时，发出报警信息；所述报警信息包括火灾地点和火焰目标大小；所述火灾地点基于目标深度信息和目标水平信息得到；所述目标深度信息和所述目标水平信息基于双目测距原理进行计算得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210328823.1A CN114677629A (zh) | 2022-03-30 | 2022-03-30 | 一种基于yolov5网络的烟火检测预警方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210328823.1A CN114677629A (zh) | 2022-03-30 | 2022-03-30 | 一种基于yolov5网络的烟火检测预警方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114677629A true CN114677629A (zh) | 2022-06-28 |
Family
ID=82075652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210328823.1A Pending CN114677629A (zh) | 2022-03-30 | 2022-03-30 | 一种基于yolov5网络的烟火检测预警方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114677629A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115294483A (zh) * | 2022-09-28 | 2022-11-04 | 山东大学 | 输电线路复杂场景的小目标识别方法及系统 |
| CN115861772A (zh) * | 2023-02-22 | 2023-03-28 | 杭州电子科技大学 | 基于RetinaNet的多尺度单阶段目标检测方法 |
| CN115909107A (zh) * | 2022-12-06 | 2023-04-04 | 武汉纺织大学 | 一种基于无人机视角的烟火检测方法、系统、设备及介质 |
| CN116229192A (zh) * | 2022-12-12 | 2023-06-06 | 淮阴工学院 | 一种基于ODConvBS-YOLOv5s的火焰烟雾检测方法 |
| CN116863252A (zh) * | 2023-09-04 | 2023-10-10 | 四川泓宝润业工程技术有限公司 | 动火作业现场易燃物检测方法、装置、设备、存储介质 |
| CN117671602A (zh) * | 2024-01-31 | 2024-03-08 | 吉林省中农阳光数据有限公司 | 基于图像识别的农田森林烟雾防火检测方法和设备 |
| JP7475745B1 (ja) | 2023-04-27 | 2024-04-30 | 南京郵電大学 | バイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法 |
| CN118280089A (zh) * | 2024-05-31 | 2024-07-02 | 南通大学 | 一种基于数据分析的电瓶车蓄电池火灾预警方法及系统 |
-
2022
- 2022-03-30 CN CN202210328823.1A patent/CN114677629A/zh active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115294483A (zh) * | 2022-09-28 | 2022-11-04 | 山东大学 | 输电线路复杂场景的小目标识别方法及系统 |
| CN115909107A (zh) * | 2022-12-06 | 2023-04-04 | 武汉纺织大学 | 一种基于无人机视角的烟火检测方法、系统、设备及介质 |
| CN115909107B (zh) * | 2022-12-06 | 2023-08-18 | 武汉纺织大学 | 一种基于无人机视角的烟火检测方法、系统、设备及介质 |
| CN116229192A (zh) * | 2022-12-12 | 2023-06-06 | 淮阴工学院 | 一种基于ODConvBS-YOLOv5s的火焰烟雾检测方法 |
| CN116229192B (zh) * | 2022-12-12 | 2024-06-11 | 淮阴工学院 | 一种基于ODConvBS-YOLOv5s的火焰烟雾检测方法 |
| CN115861772A (zh) * | 2023-02-22 | 2023-03-28 | 杭州电子科技大学 | 基于RetinaNet的多尺度单阶段目标检测方法 |
| JP7475745B1 (ja) | 2023-04-27 | 2024-04-30 | 南京郵電大学 | バイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法 |
| CN116863252A (zh) * | 2023-09-04 | 2023-10-10 | 四川泓宝润业工程技术有限公司 | 动火作业现场易燃物检测方法、装置、设备、存储介质 |
| CN116863252B (zh) * | 2023-09-04 | 2023-11-21 | 四川泓宝润业工程技术有限公司 | 动火作业现场易燃物检测方法、装置、设备、存储介质 |
| CN117671602A (zh) * | 2024-01-31 | 2024-03-08 | 吉林省中农阳光数据有限公司 | 基于图像识别的农田森林烟雾防火检测方法和设备 |
| CN117671602B (zh) * | 2024-01-31 | 2024-04-05 | 吉林省中农阳光数据有限公司 | 基于图像识别的农田森林烟雾防火检测方法和设备 |
| CN118280089A (zh) * | 2024-05-31 | 2024-07-02 | 南通大学 | 一种基于数据分析的电瓶车蓄电池火灾预警方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114677629A (zh) | 一种基于yolov5网络的烟火检测预警方法及系统 | |
| KR102203135B1 (ko) | 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템 | |
| CN111985365A (zh) | 一种基于目标检测技术的秸秆焚烧监测方法和系统 | |
| JP6742623B1 (ja) | 監視装置、監視方法、及びプログラム | |
| CN114399734A (zh) | 一种基于视觉信息的森林火灾预警方法 | |
| CN111553298B (zh) | 一种基于区块链的火灾识别方法及系统 | |
| CN111382610B (zh) | 一种事件检测方法、装置及电子设备 | |
| Zabarauskas et al. | Luke: An autonomous robot photographer | |
| CN112381005A (zh) | 一种面向复杂场景的安全帽检测系统 | |
| CN109684982B (zh) | 结合易混目标排除的基于视频分析的火焰检测方法 | |
| US20210099571A1 (en) | Preventing photo image related risks | |
| CN117392495A (zh) | 一种基于特征融合的视频火焰检测方法及系统 | |
| Refaai et al. | [Retracted] An Enhanced Drone Technology for Detecting the Human Object in the Dense Areas Using a Deep Learning Model | |
| CN116310922A (zh) | 石化厂区监控视频风险识别方法、系统、电子设备及存储介质 | |
| CN113269111A (zh) | 一种基于视频监控的电梯异常行为检测方法及系统 | |
| CN110992324B (zh) | 一种基于x射线图像的智能危险品检测方法及系统 | |
| CN115546722A (zh) | 一种烟火检测方法、系统、计算机设备以及存储介质 | |
| CN113516069A (zh) | 基于尺寸鲁棒的道路标识实时检测方法及装置 | |
| Sankarasubramanian et al. | Prevent, Detect, Respond, Mitigate Liquid Sodium Leakage, and Fire Accidents Using AI | |
| Afrin et al. | Fire and disaster detection with multimodal quadcopter By machine learning | |
| Kobeissi et al. | Innovative Single-Camera Depth Mapping for Enhanced Indoor Fire Detection and Localization | |
| KR102638102B1 (ko) | 해양 경계감시를 위한 선박 인식 방법 및 모바일 단말 | |
| CN117409193B (zh) | 一种烟雾场景下的图像识别方法、装置及存储介质 | |
| CN112927231B (zh) | 车身污垢检测模型的训练方法、车身污垢检测方法及装置 | |
| CN117437568A (zh) | 基于Faster RCNN的火灾实时检测方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |