CN115631436A - 一种基于无人机实时视频流的火灾检测方法及系统 - Google Patents
一种基于无人机实时视频流的火灾检测方法及系统 Download PDFInfo
- Publication number
- CN115631436A CN115631436A CN202211629322.3A CN202211629322A CN115631436A CN 115631436 A CN115631436 A CN 115631436A CN 202211629322 A CN202211629322 A CN 202211629322A CN 115631436 A CN115631436 A CN 115631436A
- Authority
- CN
- China
- Prior art keywords
- layer
- fire
- real
- time video
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 96
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000012216 screening Methods 0.000 claims abstract description 13
- 238000011176 pooling Methods 0.000 claims description 60
- 230000004913 activation Effects 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 230000006872 improvement Effects 0.000 claims description 8
- 238000013138 pruning Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 2
- 238000007670 refining Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 19
- 238000011161 development Methods 0.000 description 8
- 239000000463 material Substances 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000011897 real-time detection Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 241000098700 Sarcocheilichthys parvus Species 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Remote Sensing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Fire-Detection Mechanisms (AREA)
Abstract
本发明提供的一种基于无人机实时视频流的火灾检测方法及系统，所述检测方法包括：对火灾数据进行收集、筛选和标注，获得标注火灾数据；对原始轻量级目标检测算法进行改进并训练，获得改进型轻量级目标检测算法训练模型；采用无人机获取实时视频流；将所述实时视频流输入至所述改进型轻量级目标检测算法训练模型进行检测是否有火灾信号。
Description
技术领域
本发明涉及目标检测领域，尤其涉及一种基于无人机实时视频流的火灾检测方法及系统。
背景技术
现有技术中公开了一种基于无人机的火灾勘测预报警系统及勘测方法，通过无人机机体上的红外温度计来获取检测对象的温度值，并根据温度值与着火点的数据库来判断是否发生火灾。仅采用传感器来对特定区域进行区域监测，检测范围有限。此外，仅通过传感器的温度值来判断监控区域的火灾情况，存在较大偏差。申请号为CN202010838463.0公开了一种基于无人机的火灾勘测预报警系统及勘测方法，着火点数据库收纳每个物堆的材料的实际着火点区间；定位导航模块用于为无人机本体提供预设的勘测路径；材料录入模块用于录入物堆的材料种类并储存；温度感应模块包括设置于无人机本体上的若干红外温度计，用于检测被巡检物堆的温度值，并将温度值发送至处理模块；处理模块用于获取温度感应模块检测的温度值、用于获取当前物堆材料种类，根据温度值与着火点数据库判定当前物堆是否有发生火灾的可能性；报警模块受控于处理模块，作出火灾预报警。
综上所述，现有技术中亟需一种智能的检测精确的火灾检测方法。
发明内容
鉴于上述问题，提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的一种基于无人机实时视频流的火灾检测方法及系统。
根据本发明的一个方面，提供了一种基于无人机实时视频流的火灾检测方法，所述检测方法包括：
对火灾数据进行收集、筛选和标注，获得标注火灾数据；
对原始轻量级目标检测算法进行改进并训练，获得轻量级目标检测算法训练模型；
采用无人机获取实时视频流；
将所述实时视频流输入至所述轻量级目标检测算法训练模型进行检测是否有火灾信号。
可选的，所述将所述实时视频流输入至所述轻量级目标检测算法训练模型进行检测是否有火灾信号之后还包括：如果有检测到火灾信号，发出报警。
可选的，所述对火灾数据进行收集、筛选和标注具体包括：
采集火灾数据，并建立火灾数据集；
对所述火灾数据进行筛选，剔除掉采集质量不满足质量要求的数据，获得筛选火灾数据；
采用人工标注的方式对所述筛选火灾数据的火焰图像进行标注。
可选的，对所述原始轻量级目标检测算法进行改进并训练具体包括：
模型参数量修剪，采用结构化的修剪方式来对模型的卷积核进行修剪；
在深层卷积神经网络中改进激活函数，采用mish激活函数替代原有的Leaky Relu激活函数；
加入了注意力机制，使模型重点关注输入数据中的兴趣区域。
可选的，所述将所述实时视频流输入至所述轻量级目标检测算法训练模型进行检测是否有火灾信号具体包括：
无人机按特定航线在巡检区域进行画面采集，获得实时视频流；
将所述实时视频流回传至地面端的目标检测网络；
所述目标检测网络中的轻量级目标检测算法训练模型根据所述实时视频流检测是否有火灾信号。
可选的，所述检测方法还包括：
将改进后的轻量级目标检测算法部署至计算平台。
可选的，所述对所述原始轻量级目标检测算法进行改进具体包括：
改进后的算法具有三个部分，分为前部、中部和后部；
前部的结构依次是：第一卷积层→第二卷积层→第三卷积层；
中部的结构依次是：注意力机制→第一CSP-ResNet池化模块→第二CSP-ResNet池化模块→第三CSP-ResNet池化模块→第四卷积层→第五卷积层；
后部的结构依次是：第六卷积层→第七卷积层→第一YOLO模块→第八卷积层→上采样层→第九卷积层→第十卷积层→第二YOLO模块。
可选的，所述加入了注意力机制具体包括：
池化特征注意力机制，能够融合特征空间信息并关注模型的细化特征；
所述池化特征注意力机制包括前、后两个部分，分别与第三卷积层和第五卷积层级联，前半部分包括一个2×2最大池化层、一个平均池化层和一个上采样倍率为52的上采样层；后半部分包括一个2×2最大池化层、一个平均池化层和一个上采样倍率为26的上采样层；
前半部分一端与第三卷积层级联，前半部分另一端和后半部分的一端之间采用一个滤波器数量为128、步长为1的1×1的卷积层进行连接；后半部分的另一端与第五卷积层之间采用一个滤波器数量为256、步长为1的1×1的卷积层进行连接；
池化特征增强层获取输入图像的特征，获得特征图；
通过Maxpool和Avgpool将所述特征图的空间信息进行融合，生成两个不同的空间图：Favg1和Fmax1；
两个不同的空间图：Favg1和Fmax1通过1×1的卷积层进行融合，获得融合后的特征图；
所述特征图被传播到下一个池化层，获得更精细的特征。
本发明还提供了一种基于无人机实时视频流的火灾检测系统，其特征在于，所述检测系统包括：
视频流获取模块，用于采用无人机获取实时视频流；
数据标注模块，用于对火灾数据进行收集、筛选和标注，获得标注火灾数据；
目标检测算法训练模块，用于将所述标注火灾数据输入至原始轻量级目标检测算法进行训练；
模型改进训练模块，用于对所述原始轻量级目标检测算法进行改进并训练，获得轻量级目标检测算法训练模型；
火灾信号检测模块，用于将所述实时视频流输入至所述轻量级目标检测算法训练模型进行检测是否有火灾信号。
本发明提供的一种基于无人机实时视频流的火灾检测方法及系统，所述检测方法包括：对火灾数据进行收集、筛选和标注，获得标注火灾数据；对所述原始轻量级目标检测算法进行改进并训练，获得轻量级目标检测算法训练模型；采用无人机获取实时视频流；将所述实时视频流输入至所述轻量级目标检测算法训练模型进行检测是否有火灾信号。首先通过无人机来获取实时视频流；其次根据部署在地面的设备上的改进型轻量级目标检测算法YOLO v4-tiny，对无人机视频流进行实时处理，实现了火焰的精准实时检测。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的火灾检测系统整体框图；
图2为本发明实施例提供的YOLO v4-tiny网络结构图；
图3为本发明实施例提供的改进型YOLO v4-tiny网络结构；
图4为本发明实施例提供的火灾报警模块示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明的说明书实施例和权利要求书及附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。
下面结合附图和实施例，对本发明的技术方案做进一步的详细描述。
本发明提出一种基于无人机实时视频流的火灾检测方法。图1为本发明火灾检测系统整体框图。
首先通过无人机来获取实时视频流；其次根据部署在地面的设备上的改进型轻量级目标检测算法YOLO v4-tiny（You Only Look Once），对无人机视频流进行实时处理，实现了火焰的精准实时检测；最后将检测结果通过串口发送至报警模块，如检测到火焰，则通过短信和蜂鸣器等方式报警。
方法包括：
步骤S1：对火灾数据进行收集、筛选和标注；
步骤S2：将火灾数据输入至原始轻量级目标检测算法进行训练；
步骤S3：对原始算法进行改进并训练；
步骤S4：将训练好的模型部署至英伟达开发板；
步骤S5：将无人机的实时视频流输入至模型进行检测；
步骤S6：检测到火灾信号，火灾报警模块发出预警。
步骤S1、 对火灾数据进行收集、筛选和标注包括：
目前，并未有公开的遥感火灾图像数据集。基于深度学习的目标检测算法需要大量的数据集来对模型进行训练。为了能使本发明目标检测算法识别到有效的火焰特征，首先构建了一个火灾图像数据集；之后对数据进行筛选，删除掉低质量的数据。筛选后的数据集一共包含971张火焰图像数据，采用labelimg软件对数据集进行标注。
步骤S2、将火灾数据输入至原始轻量级目标检测算法进行训练；
火灾数据集被划分为训练集和测试集。其中，训练集包含711张图像，一共有1530个标注框；测试集包含260张图像，一共有587个标注框。训练平台为RTX 2080Ti。训练框架为Darknet，是一个基于C++语言的目标检测平台。学习率会直接影响梯度下降法的性能，本发明将学习率设为0.00261。模型把所有的数据集训练一次即为一次迭代次数，将训练迭代次数设为6000次。其中，在前1000次训练中，学习率保持不变；在训练至4800次和5400次时，模型的学习率分别下降10倍和100倍。模型的动量可加速模型的学习速度，尤其是对于高曲率或者带噪声的梯度。由于无人机航拍图像的复杂性，本发明将模型的动量设为0.9。输入图像尺寸为416*416。训练完毕后，对原始模型的性能进行评估，包括参数量、权重大小、准确率、损失值、FPS。
S3、对原始算法进行改进并训练；
原始YOLO v4-tiny算法是一个具有三个部分的轻量级目标检测算法，分为前部、中部和后部，如图2所示。前部的结构依次是：第一卷积层1→第二卷积层2→第三卷积层3；中部的结构依次是：第一CSP-ResNet池化模块→第二CSP-ResNet池化模块→第三CSP-ResNet池化模块→第四卷积层→第五卷积层；后部的结构依次是：第六卷积层→第七卷积层→第一个YOLO模块→第八卷积层→上采样层→第九卷积层→第十卷积层→第二个YOLO模块。
其中，第一卷积层、第二卷积层和第三卷积层的尺寸均为3×3、步长为2，滤波器数量分别为32、64、64，对输入图像进行初步特征提取，输出特征图尺寸为104×104×64。
CSP-ResNet池化模块包含CSP-ResNet模块和最大池化层。附图2为CSP-ResNet的结构，包含4个级联的卷积层。以第一个CSPResNet中第一个卷积层为例，其计算公式如公式1.1所示：
其中，
为输入卷积层的数据维度，
为填充值，
为滤波器的数量，
为步长，
为第一个CSPResNet中第一个卷积层输出数据的维度。
第一个CSPResNet的计算公式如公式所示：
其中，
为第一个CSPResNet的输出矩阵，
分别为第一个CSPResNet中级联的四个卷积层的输出矩阵，
为矩阵按元素相加的操作。
第一个CSP-ResNet池化模块的第一个卷积层卷积核尺寸为3×3，步长为1，滤波器数量为64；第二个卷积层卷积核尺寸为3×3，步长为1，滤波器数量为32；第三个卷积层卷积核尺寸为3×3，步长为1，滤波器数量为32；第四个卷积层卷积核尺寸为3×3，步长为1，滤波器数量为64。
其中，CSP-ResNet池化模块的4个卷积层采用了残差结构进行连接（第三个卷积层的输出特征与第二个卷积层的输出特征采用特征融合的方式，输出至第四个卷积层；第四个卷积层的输出特征与第一个卷积层的输出特征采用特征融合的方式，输出至最大池化层）。最大池化层的尺寸为2×2，步长为2，减少输出特征的参数量，提高模型的处理速度。输出特征图尺寸为52×52×128。
第二个CSP-ResNet池化模块的计算公式如公式所示：
其中，
为第二个CSP-ResNet池化模块的输出矩阵，
分别为第二个CSP-ResNet池化模块中级联的四个卷积层的输出矩阵。
第二个CSP-ResNet池化模块包含CSP-ResNet池化模块和一个尺寸为2×2、步长为2最大池化层。其中，CSP-ResNet池化模块与上一层的CSP-ResNet池化模块的整体结构相同，仅在滤波器数量上有所区别。这层的CSP-ResNet池化模块4个级联卷积层的滤波器数量分别为128、64、64、128，输出特征图尺寸为26×26×256。
第三个CSPResNet池化模块的计算公式如公式所示：
其中，
为第三个CSPResNet池化模块的输出矩阵，
分别为第三个CSPResNet池化模块中级联的四个卷积层的输出矩阵。
第三个CSP-ResNet池化模块包含CSP-ResNet模块和一个尺寸为2×2、步长为2最大池化层。其中，CSP-ResNet池化模块与上一层的CSP-ResNet池化模块的整体结构相同，仅在滤波器数量上有所区别。这层的CSP-ResNet池化模块4个级联卷积层的滤波器数量分别为256、128、128、256，输出特征图尺寸为13×13×512。
第一个YOLO模块包含4个级联的卷积层和一个检测层。第一个卷积层卷积核尺寸为3×3，步长为1，滤波器数量为512；第二个卷积层卷积核尺寸为3×3，步长为1，滤波器数量为256；第三个卷积层卷积核尺寸为3×3，步长为1，滤波器数量为256；第四个卷积层卷积核尺寸为1×1，步长为1，滤波器数量为18；检测层输出该模型的第一个检测特征，输出特征图尺寸为13×13×18。
第二个YOLO模块包含3个级联的卷积层、一个上采样层和一个检测层。第一个卷积层卷积核尺寸为1×1，步长为1，滤波器数量为128；第二个卷积层卷积核尺寸为3×3，步长为1，滤波器数量为256；第三个卷积层卷积核尺寸为1×1，步长为1，滤波器数量为18；上采样层的上采样倍数为2；检测层输出该模型的第二个检测特征。其中，第一个卷积层的输入特征为第一个YOLO模块的第2个卷积层的输出特征，经过第二个YOLO模块的第一个卷积层之后，进行一个上采样操作，与第二个CSP-ResNet池化模块的第四个卷积层进行特征融合，输出至第三个卷积模块。输出特征图尺寸为26×26×18。
本发明设计的模型的训练平台为RTX 2080Ti。训练框架为Darknet，是一个基于C++语言的目标检测平台。学习率会直接影响梯度下降法的性能，本发明将学习率设为0.00261。模型把所有的数据集训练一次即为一次迭代次数，本发明将训练迭代次数设为80000次。其中，在前1000次训练中，学习率保持不变；在训练至64000次和72000次时，模型的学习率分别下降10倍和100倍。模型的动量可加速模型的学习速度，特别是对于高曲率或者带噪声的梯度。由于无人机航拍图像的复杂性，本发明将模型的动量设为0.9。输入图像尺寸为416*416。
算法的改进点包含以下三个方面：1.模型参数量修剪；2.改进激活函数；3.加入注意力机制。
改进后的算法是一个具有三个部分的轻量级目标检测算法，分为前部、中部和后部。前部的结构依次是：第一卷积层→第二卷积层→第三卷积层；中部的结构依次是：注意力机制→第一CSP-ResNet池化模块→第二CSP-ResNet池化模块→第三CSP-ResNet池化模块→第四卷积层→第五卷积层；后部的结构依次是：第六卷积层→第七卷积层→第一个YOLO模块→第八卷积层→上采样层→第九卷积层→第十卷积层→第二个YOLO模块。
模型参数量修剪包括：
本发明主要对模型后部的卷积层进行修剪。卷积层6的滤波器数量由256减少为128，卷积层7的滤波器数量由512减少为256，卷积层9的滤波器数量由256减少至128。
改进激活函数包括：
原始模型的激活函数均为Leaky Relu。本发明将激活函数调整为Mish激活函数，采用mish激活函数替代原有的Leaky Relu激活函数。
公式1.5为Mish激活函数的表达式。Mish激活函数上下有界，范围。与ReLU、Swish等激活函数相比，Mish激活函数解决了网络层数加深，精度下降的问题，在深层卷积神经网络中能更好的保持稳定性和准确性。
加入池化特征注意力机制，具体包括：附图3为本发明提出的池化特征注意力机制的结构图，结构为可融合特征的空间信息并关注模型的细化特征。分别与第三卷积层和第五卷积层级联。注意力机制主要包含两个部分。前半部分包含一个2×2最大池化层、一个平均池化层和一个上采样倍率为52的上采样层；后半部分包含一个2×2最大池化层、一个平均池化层和一个上采样倍率为26的上采样层。前半部分和后半部分之间采用一个滤波器数量为128、步长为1的1×1的卷积层进行连接；后半部分与卷积层5之间采用一个滤波器数量为256、步长为1的1×1的卷积层进行连接。
池化特征增强层获取输入图像的特征，并通过Maxpool和Avgpool将特征图的空间信息进行融合，生成两个不同的空间图：Favg1和Fmax1。之后，这些特征通过1×1的卷积层进行融合，减少了模型参数。最后，特征图被传播到下一个池化层以获得更精细的特征。池化特征增强层可用公示1.6表示：
其中
为sigmoid 函数。
步骤S3对改进后的算法进行训练。训练平台和实验的参数设置均与S2保持一致。
步骤S4中将训练好的模型部署至英伟达开发板。开发板搭载ubuntu操作系统，采用darknet环境进行编译。开发板性能最高的工作模式为15 W 4 Core，以该模式来对目标检测算法进行测试。
步骤S5中首先要规划无人机的巡查区域，其次将无人机机载摄像头的实时视频流传输至英伟达开发板，通过开发板搭载的改进型YOLO v4-tiny算法实时检测无人机视频流中是否有火灾信号。检测的实时视频流直接输出至英伟达开发板的显示设备，能够直观的观测到检测结果。
在步骤S6中，报警模块将实时监测火灾目标检测模块的火灾信号。当监测到来自火灾目标检测模块的的火灾信号时，报警模块被触发，将会通过短信和蜂鸣器的方式发出报警信号。
其中，报警模块结构如图4所示。报警模块由STM32单片机、蜂鸣器、和SIM900A模块组成。其中，STM32单片机作为报警模块的主控芯片，LED指示灯和蜂鸣器可直接STM32单片机的GPIO口直接控制，SIM900A模块则需通过串口用STM32单片机控制其发送短信。
当报警模块被触发时，STM32单片机将控制LED指示灯、蜂鸣器和SIM900A模块产生报警提示。具体的，LED指示灯将发出红色的闪烁光；蜂鸣器发出报警提示音；SIM900A模块给指定的用户发送报警短信，以方便管理员进行远程管理。
表1为原始YOLO v4-tiny算法和改进型YOLO v4-tiny算法在火灾图像数据集上的性能对比。其中，参数量为模型所有模块的计算量，可衡量算法的复杂程度；权重尺寸为模型最终权重文件的大小，反映模型所需的计算量，会直接影响模型的FPS（Frames PerSecond）；mAP（mean Average Precision）为检测准确度，是目标检测领域常用的衡量指标，包括识别的准确率和预测锚框与真实锚框的匹配程度。
如表1所示，由于对模型深层的卷积核进行了修剪，改进后算法的参数量和权重尺寸整体低于原始算法，改进后的算法对硬件设备的计算能力要求更低。改进后算法的mAP也优于原始算法，这证明本发明的改进是有效的。
表1为YOLO v4-tiny算法和改进型YOLO v4-tiny算法在火灾图像数据集上的性能对比。
表1 在Visdrone数据集上算法性能对比。
| 参数量 | 权重尺寸 | mAP(%) | Loss | FPS | |
| 原始算法 | 6.817 | 23.7Mb | 41.2 | 0.5072 | 18.7 |
| 改进算法 | 6.467 | 22.3Mb | 44.59 | 0.0371 | 30.1 |
如表1所示，改进算法的mAP和FPS均优于原始算法。此外，本发明加入了激活函数的改进，并加入了注意力机制。改进算法的损失函数值低于原始算法，这也进一步证明了本发明针对损失函数的改进是有效的。
若对模型的准确率要求较高，本发明S3的轻量级目标检测算法可改为大型目标检测算法。改进方案在大型目标检测算法上也是有效的，可获取更优的模型性能。
若对模型的实时性要求较高，且无便携性需求，本发明S4可将英伟达开发板替换为搭载大型目标检测模型的高性能计算机。
除上述技术方案外，若对系统的功耗求较高，SIM900A模块还可以选用其他具有短信功能的无线模块代替， NB-IoT模块；STM32单片机可选用功耗更低的MSP430单片机。
有益效果：首先通过无人机来获取实时视频流；其次根据部署在地面的设备上的改进型轻量级目标检测算法YOLO v4-tiny（You Only Look Once），对无人机视频流进行实时处理，实现了火焰的精准实时检测；最后将检测结果通过串口发送至报警模块，如检测到火焰，则通过短信、LED指示灯和蜂鸣器的方式报警。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于无人机实时视频流的火灾检测方法，其特征在于，所述检测方法包括：
对火灾数据进行收集、筛选和标注，获得标注火灾数据；
对原始轻量级目标检测算法进行改进并训练，获得轻量级目标检测算法训练模型；
采用无人机获取实时视频流；
将所述实时视频流输入至所述轻量级目标检测算法训练模型进行检测是否有火灾信号。
2.根据权利要求1所述的一种基于无人机实时视频流的火灾检测方法，其特征在于，所述将所述实时视频流输入至所述轻量级目标检测算法训练模型进行检测是否有火灾信号之后还包括：如果有检测到火灾信号，发出报警。
3.根据权利要求1所述的一种基于无人机实时视频流的火灾检测方法，其特征在于，所述对火灾数据进行收集、筛选和标注具体包括：
采集火灾数据，并建立火灾数据集；
对所述火灾数据进行筛选，剔除掉采集质量不满足质量要求的数据，获得筛选火灾数据；
采用人工标注的方式对所述筛选火灾数据的火焰图像进行标注。
4.根据权利要求1所述的一种基于无人机实时视频流的火灾检测方法，其特征在于，对所述原始轻量级目标检测算法进行改进并训练具体包括：
模型参数量修剪，采用结构化的修剪方式来对模型的卷积核进行修剪；
在深层卷积神经网络中改进激活函数，采用mish激活函数替代原有的Leaky Relu激活函数；
加入了注意力机制，使模型重点关注输入数据中的兴趣区域。
5.根据权利要求1所述的一种基于无人机实时视频流的火灾检测方法，其特征在于，所述将所述实时视频流输入至所述轻量级目标检测算法训练模型进行检测是否有火灾信号具体包括：
无人机按特定航线在巡检区域进行画面采集，获得实时视频流；
将所述实时视频流回传至地面端的目标检测网络；
所述目标检测网络中的轻量级目标检测算法训练模型根据所述实时视频流检测是否有火灾信号。
6.根据权利要求1所述的一种基于无人机实时视频流的火灾检测方法，其特征在于，所述检测方法还包括：
将改进后的轻量级目标检测算法部署至计算平台。
7.根据权利要求1所述的一种基于无人机实时视频流的火灾检测方法，其特征在于，所述对所述原始轻量级目标检测算法进行改进具体包括：
改进后的算法具有三个部分，分为前部、中部和后部；
前部的结构依次是：第一卷积层→第二卷积层→第三卷积层；
中部的结构依次是：注意力机制→第一CSP-ResNet池化模块→第二CSP-ResNet池化模块→第三CSP-ResNet池化模块→第四卷积层→第五卷积层；
后部的结构依次是：第六卷积层→第七卷积层→第一YOLO模块→第八卷积层→上采样层→第九卷积层→第十卷积层→第二YOLO模块。
8.根据权利要求7所述的一种基于无人机实时视频流的火灾检测方法，其特征在于，所述加入了注意力机制具体包括：
池化特征注意力机制，能够融合特征空间信息并关注模型的细化特征；
所述池化特征注意力机制包括前、后两个部分，分别与第三卷积层和第五卷积层级联，前半部分包括一个2×2最大池化层、一个平均池化层和一个上采样倍率为52的上采样层；后半部分包括一个2×2最大池化层、一个平均池化层和一个上采样倍率为26的上采样层；
前半部分一端与第三卷积层级联，前半部分另一端和后半部分的一端之间采用一个滤波器数量为128、步长为1的1×1的卷积层进行连接；后半部分的另一端与第五卷积层之间采用一个滤波器数量为256、步长为1的1×1的卷积层进行连接；
池化特征增强层获取输入图像的特征，获得特征图；
通过Maxpool和Avgpool将所述特征图的空间信息进行融合，生成两个不同的空间图：Favg1和Fmax1；
两个不同的空间图：Favg1和Fmax1通过1×1的卷积层进行融合，获得融合后的特征图；
所述特征图被传播到下一个池化层，获得更精细的特征。
9.一种基于无人机实时视频流的火灾检测系统，其特征在于，所述检测系统包括：
视频流获取模块，用于采用无人机获取实时视频流；
数据标注模块，用于对火灾数据进行收集、筛选和标注，获得标注火灾数据；
模型改进训练模块，用于对所述原始轻量级目标检测算法进行改进并训练，获得轻量级目标检测算法训练模型；
火灾信号检测模块，用于将所述实时视频流输入至所述轻量级目标检测算法训练模型进行检测是否有火灾信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211629322.3A CN115631436A (zh) | 2022-12-19 | 2022-12-19 | 一种基于无人机实时视频流的火灾检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211629322.3A CN115631436A (zh) | 2022-12-19 | 2022-12-19 | 一种基于无人机实时视频流的火灾检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115631436A true CN115631436A (zh) | 2023-01-20 |
Family
ID=84910996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211629322.3A Pending CN115631436A (zh) | 2022-12-19 | 2022-12-19 | 一种基于无人机实时视频流的火灾检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115631436A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117409191A (zh) * | 2023-12-12 | 2024-01-16 | 优备科技股份有限公司 | 基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113902994A (zh) * | 2021-10-13 | 2022-01-07 | 云南大学 | 基于无人机与英伟达开发板的目标检测方法、系统及装置 |
| CN114743151A (zh) * | 2022-05-07 | 2022-07-12 | 中北大学 | 一种基于改进YOLOv4-tiny的轻量化抗干扰火焰检测方法 |
| EP4064214A1 (en) * | 2021-03-26 | 2022-09-28 | Tata Consultancy Services Limited | Integrated deep learning model for co-operative and cascaded inference on edge |
-
2022
- 2022-12-19 CN CN202211629322.3A patent/CN115631436A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4064214A1 (en) * | 2021-03-26 | 2022-09-28 | Tata Consultancy Services Limited | Integrated deep learning model for co-operative and cascaded inference on edge |
| CN113902994A (zh) * | 2021-10-13 | 2022-01-07 | 云南大学 | 基于无人机与英伟达开发板的目标检测方法、系统及装置 |
| CN114743151A (zh) * | 2022-05-07 | 2022-07-12 | 中北大学 | 一种基于改进YOLOv4-tiny的轻量化抗干扰火焰检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王冠博等: "改进YOLOv4的火焰图像实时检测" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117409191A (zh) * | 2023-12-12 | 2024-01-16 | 优备科技股份有限公司 | 基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法 |
| CN117409191B (zh) * | 2023-12-12 | 2024-03-08 | 优备科技股份有限公司 | 基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11281822B2 (en) | Atmospheric sensor network and analytical information system related thereto | |
| CN110869738A (zh) | 用于空气质量监测的移动显微镜系统 | |
| CN113780211A (zh) | 一种基于改进型Yolov4-tiny的轻量级飞机检测方法 | |
| CN111047565A (zh) | 一种用于森林云雾图像分割的方法、存储介质和设备 | |
| CN108537122A (zh) | 包含气象参数的图像融合采集系统及图像存储方法 | |
| US20220283051A1 (en) | Remote pneumatic testing system | |
| CN115631436A (zh) | 一种基于无人机实时视频流的火灾检测方法及系统 | |
| US20230359896A1 (en) | Intelligent recognition and alert methods and systems | |
| CN114049565A (zh) | 基于遥感影像和dem数据的地质灾害判识方法和装置 | |
| CN114332815B (zh) | 交通灯状态检测方法、装置、车辆及存储介质 | |
| CN115372877B (zh) | 基于无人机的变电站的避雷器泄露电流表计巡检方法 | |
| CN109409288A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| US11203442B2 (en) | Combined automatic dependent surveillance-broadcast and carbon monoxide detecting device | |
| CN111398109A (zh) | 大气能见度测量方法、传感器模组、系统和存储介质 | |
| CN111062950A (zh) | 一种用于多类别森林场景图像分割的方法、存储介质和设备 | |
| CN115880466B (zh) | 基于无人机遥感的城市工程测绘方法及系统 | |
| CN114511784A (zh) | 环境监测预警方法、装置、设备及存储介质 | |
| CN111539325A (zh) | 基于深度学习的森林火灾探测方法 | |
| WO2023123869A1 (zh) | 能见度值检测方法、装置、设备及存储介质 | |
| CN114037907A (zh) | 输电线路的检测方法、装置、计算机设备、存储介质 | |
| CN117765680B (zh) | 森林火险监测预警方法、装置、设备和存储介质 | |
| CN111815576A (zh) | 金属部件腐蚀状况检测方法、装置、设备和存储介质 | |
| CN118293999A (zh) | 一种用于试剂瓶的液位检测系统 | |
| CN117929703A (zh) | 基于人脸检测功能的酒精浓度快速检测棒监测预警系统 | |
| CN111931721B (zh) | 年检标签颜色和个数的检测方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230120 |