CN117409191B - 基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法 - Google Patents

基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法 Download PDF

Info

Publication number
CN117409191B
CN117409191B CN202311695298.8A CN202311695298A CN117409191B CN 117409191 B CN117409191 B CN 117409191B CN 202311695298 A CN202311695298 A CN 202311695298A CN 117409191 B CN117409191 B CN 117409191B
Authority
CN
China
Prior art keywords
fire
target detection
unmanned aerial
early warning
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311695298.8A
Other languages
English (en)
Other versions
CN117409191A (zh
Inventor
王冠博
李兴勇
胡朋
丁洪伟
于勇涛
朱元静
杨俊东
赵宏志
杨志军
柳虔林
杨超
郭沛颖
王宗山
李羽珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Youbei Technology Co ltd
Original Assignee
Youbei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Youbei Technology Co ltd filed Critical Youbei Technology Co ltd
Priority to CN202311695298.8A priority Critical patent/CN117409191B/zh
Publication of CN117409191A publication Critical patent/CN117409191A/zh
Application granted granted Critical
Publication of CN117409191B publication Critical patent/CN117409191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及火灾预警技术领域，尤其涉及一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法。步骤如下：S1：对火灾数据进行收集、筛选和标注；S2：将火灾数据输入至原始目标检测算法进行训练；S3：对原始算法进行改进并训练；S4：将训练好的模型部署至英伟达开发板；S5：对无人机的实时视频流进行检测；S6：检测到火灾信号，火灾报警模块发出预警。本发明提供的一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法，通过提高了火灾目标检测的精度和鲁棒性，同时建立了实时火灾巡检及报警系统，实现了无人机与地面设备的高效协同，从而提供了更高效、准确和实时的火灾预警和巡检解决方案。

Description

基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法
技术领域
本发明涉及火灾预警技术领域，尤其涉及一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法。
背景技术
在火灾巡检领域，利用无人机进行实时检测和预警已逐渐成为一种有效的方法，由于它能快速覆盖大面积并提供实时影像。然而，当面对低分辨率和光通量密度差异显著的遥感视角，当前的无人机搭载的常规目标检测算法在火灾场景中，尤其是对小尺度的火焰和烟雾目标，以及在各种遮挡情况下，往往难以准确和及时地进行检测。这限制了无人机在火灾预警和巡检中的最大效用；
火灾预警和巡检系统是社会基础设施的重要组成部分，关乎公共安全和资源保护。传统上，火灾预警主要依赖于固定安装的烟雾探测器、温度传感器以及卫星遥感技术。
卫星遥感技术：卫星遥感技术能够覆盖广大区域，尤其对于森林、农田等开放区域的火灾有一定的检测能力。但这种方法的反应速度受到卫星过境周期的制约，且其分辨率可能不足以捕捉小规模的火源。
传统的烟雾探测器与温度传感器：它们虽然在室内环境中表现良好，但在开放的自然环境中，它们的部署和维护成本高，覆盖范围受限。
近年来，无人机技术在诸多领域得到了广泛的应用，其中火灾巡检与预警是一重要方向。其主要优势在于无人机能够迅速覆盖广大区域，为实时火灾检测提供高分辨率的视频流。此外，利用深度学习的目标检测技术，可以在视频流中准确地检测出火灾的迹象。
然而，将无人机视频流应用于火灾检测并非易事。传统的目标检测算法如FasterR-CNN、SSD等，虽然在一般的目标检测任务中表现优异，但面对火灾这样的特殊场景，尤其是在低分辨率、高光通量密度差异的遥感视角下，它们可能无法准确、实时地检测到火焰和烟雾目标。
YOLO(You Only Look Once)系列算法作为实时目标检测的代表，在某些版本中具有较好的轻量性和实时性，但同样面临上述挑战。尤其是当火焰和烟雾目标的尺度小、存在遮挡或在复杂的背景中时，传统的YOLO模型可能失效或响应不及时；
上述技术存在以下问题：
1、低分辨率和小尺度问题：在高空巡查，无人机实地获取的早期火灾图像中的火灾特征变得非常小并可能会变得模糊。这种情况下，传统的目标检测算法可能在检测小尺度的火焰和烟雾上遇到困难。另外，火灾现场的光通量密度，特别是火焰和烟雾的，可能会出现明显的差异。在烟雾笼罩或火焰的强烈光照下，火源和背景之间的区别可能会变得模糊，这进一步增加了传统目标检测算法识别火灾特征的困难。现有的方法CN116206223A、CN114037910A、CN116229296A中虽然实现了无人机视角的火灾检测，但仍存在以下缺点：
尽管这些方法都使用了深度学习技术，并结合了无人机的实时图像采集功能，但它们主要依赖于现有的YOLO系列算法(如YOLOv3和YOLOX)。这些算法可能没有针对火灾场景中特有的问题(如小尺度火焰、光通量密度差异)进行优化。
这些专利没有明确提及如何解决高空低分辨率下的火焰检测问题，以及如何在复杂光照条件下识别火源
2、遮挡问题：在火灾检测的实际应用场景中，尤其是无人机对于大范围地区的巡查，火焰和烟雾的遮挡问题是一个经常被忽视的挑战。具体地，由于火灾的发生地点可能是在森林、城市或其他复杂的环境中，火焰和烟雾经常被建筑、树木、电线等障碍物所遮挡。这样的遮挡会大大降低传统火灾检测算法的准确性，导致火灾在早期阶段被遗漏，从而错失最佳的救援时机。
从现有的专利中CN116503702A、CN113112510B、CN116071673A中我们可以看出：
基于深度学习的森林火灾检测方法(CN116503702A)强调了数据增强和速度优化，但并未明确提及如何处理遮挡情况。
语义分割的森林火灾检测方法(CN113112510B)主要侧重于对遥感图像的语义分割处理，但对于实际的遮挡情况并没有明确的解决方案。
基于无人机航拍图像的早期森林火灾检测方法(CN116071673A)对图像质量和早期火灾的识别进行了优化，尽管引入了注意力机制来减少复杂背景的干扰，但对于实际遮挡情况的处理并不明确。
3、无人机与地面设备协同性问题：在现代的森林火灾防控中，无人机的作用日益凸显，其高效的数据采集和实时监控功能，为火灾的早期发现和及时处置提供了有力支撑。但伴随其应用，一些关键的技术难题也随之浮现，尤其是无人机与地面设备之间的协同性问题。
尽管专利CN116206223A、CN111508181A、CN101650866中提出了各自的火灾检测方案，但这些方案在无人机与地面设备协同性上仍有明显不足。例如，专利(CN116206223A)中，虽然采用了边缘计算进行火灾检测，但其方法对于数据的传输和处理过程中的协同性并未进行明确描述，可能会导致火灾数据处理延迟，从而错过及时应对火灾的黄金时间。专利(CN111508181A)虽然提到了地面站与无人机的互动，但更多的是在火灾确认上，对于火灾的实时监控和预警系统则未进行深入考虑。而专利(CN101650866)更是聚焦在无人机上的火灾检测技术，对于与地面设备的协同工作几乎未涉及。
这些专利背后所反映的问题，实际上是现今大多数无人机火灾检测系统所面临的：即便能够在无人机上进行实时监测，但如何迅速、准确地传输这些关键信息至地面设备，并确保地面设备能够高效处理和响应这些信息，仍是一个巨大的挑战。
因此，现有技术在火灾巡检和实时预警方面存在一些问题和局限，主要表现在分辨率低、光通量差异大、遮挡情况复杂、实时性要求高以及无人机与地面协同不足。这为新的技术创新提供了机会。
为此，我们设计一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法，用于对上述技术问题提供另一种技术方案。
发明内容
基于此，有必要针对上述技术问题，提供一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法，用于解决上述背景技术中提出的技术问题。
为了解决上述的技术问题，本发明采用了如下技术方案：
一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法，步骤如下：
S1：对火灾数据进行收集、筛选和标注；
S2：对原始算法进行改进并训练；
S3：将火灾数据输入至S2步骤改进后的原始目标检测算法进行训练；
S4：将训练好的模型部署至英伟达开发板；
S5：对无人机的实时视频流进行检测；
S6：检测到火灾信号，火灾报警模块发出预警。
作为本发明提供的所述的一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法的一种优选实施方式，所述S1步骤中，对火灾数据进行收集、筛选和标注，步骤如下：
构建火灾图像数据集；
对数据进行筛选，删除掉低质量的数据；
对筛选后的数据集中火焰图像数据，采用labelimg软件对数据集进行标注。
作为本发明提供的所述的一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法的一种优选实施方式，所述S3步骤中，将火灾数据输入至原始目标检测算法进行训练，步骤如下：
将火灾图像数据集输入至改进YOLOv8目标检测算法进行训练。
作为本发明提供的所述的一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法的一种优选实施方式，将数据集中971张火焰图像数据，分为训练集和测试集；
训练集包含711张图像，一共有1530个标注框；
测试集包含260张图像，一共有587个标注框。
作为本发明提供的所述的一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法的一种优选实施方式，所述S2步骤中，对原始算法进行改进并训练，步骤如下：
对YOLOv8目标检测算法中Backbone的浅层采用全维动态卷积；
在Backbone和Head中采用协调注意力机制，将通道注意力分解为并行的一维特征编码，并有效的将空间坐标信息整合到注意力中。
作为本发明提供的所述的一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法的一种优选实施方式，全维动态卷积引入了多维注意力机制，以并行的方式沿着核空间的4个维度计算四种注意力机制，表达式如下：
当输入为X，输出为y时，全维动态卷积可用公式(1)表示：
y＝(αωi⊙αfi⊙αci⊙αsi⊙Wi+…+αωn⊙αfn⊙αcn⊙αsn⊙Wn)*X
其中，i∈[1,n]，⊙为乘法运算，*为卷积运算，αωi为加权卷积核Wi的注意力标量，αfi、αci、αsi分别为加权卷积核Wi的输出通道注意力标量、输入通道注意力标量和核空间注意力标量。
作为本发明提供的所述的一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法的一种优选实施方式，协调注意力利用两个一维全局池化操作，分别沿垂直和水平方向对输入特征进行融合，产生两个独立的特征图，两个特征图分别嵌入特定方向的信息；
不同特定方向信息嵌入的特征图被分别编码成两个注意力特征；
通过sigmoid函数进行融合。
作为本发明提供的所述的一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法的一种优选实施方式，所述S4步骤中，开发板搭载ubuntu操作系统，采用darknet环境进行编译。
作为本发明提供的所述的一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法的一种优选实施方式，所述S6步骤中，检测到火灾信号，火灾报警模块发出预警，步骤如下：
报警模块将实时监测火灾目标检测模块的火灾信号；
当监测到来自火灾目标检测模块的的火灾信号时，报警模块被触发，将会通过短信和蜂鸣器的方式发出报警信号。
作为本发明提供的所述的一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法的一种优选实施方式，所述报警模块由STM32单片机、LED指示灯、蜂鸣器和SIM900A模块组成；
STM32单片机作为报警模块的主控芯片；
LED指示灯和蜂鸣器由STM32单片机的GPIO口直接控制；
SIM900A模块通过串口用STM32单片机控制其发送短信。
可以毫无疑义的看出，通过本申请的上述的技术方案，必然可以解决本申请要解决的技术问题。
同时，通过以上技术方案，本发明至少具备以下有益效果：
本发明提供的一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法，通过引入全维动态卷积(ODConv)技术，改进了目标检测算法，使其能够更准确地检测小尺度的火灾目标；这意味着即使在高空、低分辨率和光通量密度差异显著的条件下，也能捕捉到火灾特征，提高了检测的精度；
通过引入了通道-协调注意力(Channel-CoorAtt)机制，该机制强化了目标检测模型对兴趣区域的感知能力；这意味着即使火焰和烟雾被树木、建筑物或其他障碍物遮挡，模型仍能准确地检测出火灾，增强了检测的鲁棒性；
通过提供了高效的目标检测算法，还结合了无人机与地面设备，建立了实时火灾巡检及报警系统；通过深度学习的目标检测算法，能够实时传输无人机机载摄像头捕获的视频流至地面设备，实时检测火情；一旦火情被检测到，报警模块会立即触发，通过多种方式(短信、LED指示灯、蜂鸣器)发出报警信号，通知管理员进行相应处理，确保了火灾的实时预警和快速响应；
通过提高了火灾目标检测的精度和鲁棒性，同时建立了实时火灾巡检及报警系统，实现了无人机与地面设备的高效协同，从而提供了更高效、准确和实时的火灾预警和巡检解决方案，解决了传统技术中存在的问题和缺点。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的火灾检测系统整体框图；
图2为本发明的YOLO v8网络结构图；
图3为本发明改进后的YOLO v8网络结构图；
图4为本发明的全维动态卷积示意图；
图5为本发明的协调注意力示意图；
图6为本发明的火灾报警模块示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了使本技术领域的人员更好地理解本发明方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征和技术方案可以相互组合。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
参照图1-图6，一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法，步骤如下：
S1:对火灾数据进行收集、筛选和标注；
目前，并未有公开的遥感火灾图像数据集。基于深度学习的目标检测算法需要大量的数据集来对模型进行训练。因此，为了能使本发明目标检测算法识别到有效的火焰特征，首先构建了一个火灾图像数据集；之后对数据进行筛选，删除掉低质量的数据。筛选后的数据集一共包含971张火焰图像数据，采用labelimg软件对数据集进行标注。
S2:将火灾数据输入至原始目标检测算法进行训练；
步骤2首先将火灾图像数据集输入至原始目标检测算法进行训练。火灾数据集被划分为训练集和测试集。其中，训练集包含711张图像，一共有1530个标注框；测试集包含260张图像，一共有587个标注框。训练平台为RTX 2080Ti。训练框架为pytorch。学习率会直接影响梯度下降法的性能，本发明将学习率设为0.00261。模型把所有的数据集训练一次即为一次迭代次数，本发明将训练迭代次数设为1000次。其中，在前100次训练中，学习率保持不变；在训练至800次和900次时，模型的学习率分别下降10倍和100倍。模型的动量可加速模型的学习速度，特别是对于高曲率或者带噪声的梯度。由于无人机航拍图像的复杂性，本发明将模型的动量设为0.9。输入图像尺寸为416*416。训练完毕后，对原始模型的性能进行评估，包括参数量、权重大小、准确率、损失值、FPS等。
S3:对原始算法进行改进并训练；
YOLO v8是YOLO系列最新的算法，也是目前单阶段目标检测算法中性能最优的算法。YOLO v8采用了深度卷积神经网络，将目标检测任务转换为端到端的回归问题，同时预测输入图像的类别和边界框。YOLO v8的结构如图2所示，可大致分为两部分：Backbone和Head。
Backbone部分：
A.卷积层P1:这可能是一个基础的卷积层，用于对输入图像进行初步的特征提取。
B.c2f结构:对应"CSP Bottleneck with 2convolutions"，为Backbone提供了中间的特征提取能力。从图中我们可以看到，它在P1至P5的每个阶段都出现，代表在每个尺度上都会有特征的提取和重整。它由卷积层(conv)、分离层(spilt)和Bottleneck×N(N次应用Bottleneck结构)组成。
C.卷积层P2,P3,P4,P5:这些卷积层在特定的步骤中进一步提取特征，这些层可能与不同的特征图尺寸对应，提取不同级别的特征。
D.SPPF:SPPF可能是空间金字塔池化结构的一种变种，通常在卷积网络中用于捕捉多尺度信息。
Head部分：
a.c2f与卷积操作:在Head部分，我们可以看到c2f结构与其他卷积层结合，用于生成更丰富和细化的特征图。
b.Concat与Upsample:这两个操作用于融合不同层级的特征图并调整其尺寸，这在多尺度目标检测中非常重要。
c.Detect:最终的检测操作，负责产生目标的边界框、分类得分等。它包含BoxLoss&Cls Loss，其中Box Loss处理边界框的回归问题，Cls Loss处理分类问题。
针对YOLOv8的结构和功能，我们可以总结其不足之处如下：
小尺度目标检测：尽管YOLOv8在多尺度目标检测方面表现出色，但对于小尺度的火灾目标，其检测能力仍然存在局限。在实际环境中，小尺度的火灾目标(如远距离的火焰)可能是火灾的早期迹象，对于及时发现和控制火灾至关重要。
对于遮挡条件的处理：在许多实际场景中，火焰和烟雾可能被其他物体遮挡，如树木、建筑物等。此时，普通的目标检测模型可能会受到干扰，导致检测性能下降。
图3为改进后的YOLO v8。本发明在模型Backbone的浅层采用全维动态卷积，借鉴多维注意力机制的思想，以并行的方式沿着核空间的四个维度学习卷积核四种类型的注意力，从而提升较小尺度火焰目标的准确性。此外，为了能捕捉被遮盖目标因全局池化造成的位置损失，本发明在Backbone和Head采用协调注意力机制，将第二卷积层和第三卷积层均改为全维动态卷积，将通道注意力分解为并行的一维特征编码，并有效的将空间坐标信息整合到注意力中。
全维动态卷积：
全维动态卷积引入了多维注意力机制，以并行的方式沿着核空间的4个维度计算四种注意力机制，如图4所示。这几种注意力是相互补充的，将它们应用于卷积核可加强模型的特征提取能力。
当输入为X，输出为y时，全维动态卷积可用公式(1)表示：
y＝(αωi⊙αfi⊙αci⊙αsi⊙Wi+…+αωn⊙αfn⊙αcn⊙αsn⊙Wn)*X
其中，i∈[1,n]，⊙为乘法运算，*为卷积运算，αωi为加权卷积核Wi的注意力标量，αfi、αci、αsi分别为加权卷积核Wi的输出通道注意力标量、输入通道注意力标量和核空间注意力标量。这四种注意力是相互补充的，并且以位置方式、通道方式、滤波器方式和核方式的将它们逐步乘以卷积核Wi，使得卷积运算可捕获不同输入X的所有空间位置、所有输入通道、所有过滤器和所有内核的注意力，为捕捉丰富的上下文特征提供了保证。因此，全维动态卷积可以显著增强模型对遥感火灾小目标的特征提取能力。
协调注意力
协调注意通过坐标信息嵌入和坐标注意生成来获取信息编码的通道位置关系和远程依赖性。协调注意力机制针对目标检测中的遮挡问题进行了特别优化。这一机制通过有效地整合通道信息和空间位置信息，强化了模型对兴趣区域的感知能力，特别是在存在遮挡的复杂场景中。如图5所示，SE注意力在全局池化的作用下获取通道注意力，并以较低的计算成本获取显著的模型性能。然而，它只考虑编码通道间信息，而忽略了位置信息的重要性。CBAM首先通过减少输入张量的通道维数来利用位置信息，之后使用较大尺寸的卷积核来计算空间注意力。然而，CBAM只能捕捉局部关系，无法模拟通道和空间注意力的长期依赖关系。这导致当目标(如火焰和烟雾)被其他物体(如树木、建筑物)部分遮挡时，模型的检测性能可能会下降。与CBAM和SE不同，协调注意力机制引入了坐标信息嵌入和坐标注意生成，能够捕捉通道间的位置关系和远程依赖性。通过将通道注意力分解为两个并行的一维特征编码过程，协调注意力有效地将空间坐标信息整合到通道注意力中。这意味着即使某一部分的兴趣区域被遮挡，模型也能通过捕捉其他部分的空间位置信息，来准确地定位和识别目标。
具体来说，协调注意力利用两个一维全局池化操作，分别沿垂直和水平方向对输入特征进行融合，产生两个独立的特征图，这两个特征图嵌入了特定方向的信息。接下来，这两个方向信息嵌入的特征图被分别编码成两个注意力特征，并通过sigmoid函数进行融合。这种整合方法使得遮挡下的特征仍然可以被有效地识别，从而增强了模型在遮挡条件下的检测鲁棒性；
在第四卷积层和第五卷积层之上均加入协调注意力机制，同时在c2f和SPPE之间也加入协调注意力机制。
S4:将训练好的模型部署至英伟达开发板。
开发板搭载ubuntu操作系统，采用darknet环境进行编译。开发板性能最高的工作模式为15W 4Core，以该模式来对目标检测算法进行测试。
S5:对无人机的实时视频流进行检测；
首先要规划无人机的巡查区域，其次将无人机机载摄像头的实时视频流传输至英伟达开发板，通过开发板搭载的改进型YOLO v8算法来实现无人机视频流的实时检测。检测的实时视频流直接输出至英伟达开发板的显示设备，可以直观的观测到检测结果。
S6:检测到火灾信号，火灾报警模块发出预警
在步骤S6中，报警模块将实时监测火灾目标检测模块的火灾信号。当监测到来自火灾目标检测模块的的火灾信号时，报警模块被触发，将会通过短信和蜂鸣器的方式发出报警信号。
其中，报警模块结构如图6所示。报警模块由STM32单片机、蜂鸣器、和SIM900A模块组成。其中，STM32单片机作为报警模块的主控芯片，LED指示灯和蜂鸣器可直接STM32单片机的GPIO口直接控制，SIM900A模块则需通过串口用STM32单片机控制其发送短信。
当报警模块被触发时，STM32单片机将控制LED指示灯、蜂鸣器和SIM900A模块产生报警提示。具体的，LED指示灯将发出红色的闪烁光；蜂鸣器发出报警提示音；SIM900A模块给指定的用户发送报警短信，以方便管理员进行远程管理。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该本发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (7)

1.一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法，其特征在于，步骤如下：
S1：对火灾数据进行收集、筛选和标注；
S2：对原始算法进行改进并训练；
S3：将火灾数据输入至S2步骤改进后的原始目标检测算法进行训练；
S4：将训练好的模型部署至英伟达开发板；
S5：对无人机的实时视频流进行检测；
S6：检测到火灾信号，火灾报警模块发出预警；
所述S3步骤中，将火灾数据输入至原始目标检测算法进行训练，步骤如下：
将火灾图像数据集输入至改进YOLOv8目标检测算法进行训练；
所述S2步骤中，对原始算法进行改进并训练，步骤如下：
对YOLOv8目标检测算法中Backbone的浅层采用全维动态卷积；
将第二卷积层和第三卷积层均改为全维动态卷积；
在Backbone和Head中采用协调注意力机制，将通道注意力分解为并行的一维特征编码，并有效的将空间坐标信息整合到注意力中；
在第四卷积层和第五卷积层之上均加入协调注意力机制，同时在c2f和SPPE之间也加入协调注意力机制；
协调注意力利用两个一维全局池化操作，分别沿垂直和水平方向对输入特征进行融合，产生两个独立的特征图，两个特征图分别嵌入特定方向的信息；
不同特定方向信息嵌入的特征图被分别编码成两个注意力特征；
通过sigmoid函数进行融合。
2.根据权利要求1所述的一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法，其特征在于，所述S1步骤中，对火灾数据进行收集、筛选和标注，步骤如下：
构建火灾图像数据集；
对数据进行筛选，删除掉低质量的数据；
对筛选后的数据集中火焰图像数据，采用labelimg软件对数据集进行标注。
3.根据权利要求1所述的一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法，其特征在于，将数据集中971张火焰图像数据，分为训练集和测试集；
训练集包含711张图像，一共有1530个标注框；
测试集包含260张图像，一共有587个标注框。
4.根据权利要求1所述的一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法，其特征在于，全维动态卷积引入了多维注意力机制，以并行的方式沿着核空间的4个维度计算四种注意力机制，表达式如下：
当输入为X，输出为y时，全维动态卷积可用公式(1)表示：
y＝(αωi⊙αfi⊙αci⊙αsi⊙Wi+…+αωn⊙αfn⊙αcn⊙αsn⊙Wn)*X
其中，i∈[1,n]，⊙为乘法运算，*为卷积运算，αωi为加权卷积核Wi的注意力标量，αfi、αci、αsi分别为加权卷积核Wi的输出通道注意力标量、输入通道注意力标量和核空间注意力标量。
5.根据权利要求1所述的一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法，其特征在于，所述S4步骤中，开发板搭载ubuntu操作系统，采用darknet环境进行编译。
6.根据权利要求1所述的一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法，其特征在于，所述S6步骤中，检测到火灾信号，火灾报警模块发出预警，步骤如下：
报警模块将实时监测火灾目标检测模块的火灾信号；
当监测到来自火灾目标检测模块的的火灾信号时，报警模块被触发，将会通过短信和蜂鸣器的方式发出报警信号。
7.根据权利要求6所述的一种基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法，其特征在于，所述报警模块由STM32单片机、LED指示灯、蜂鸣器和SIM900A模块组成；
STM32单片机作为报警模块的主控芯片；
LED指示灯和蜂鸣器由STM32单片机的GPIO口直接控制；
SIM900A模块通过串口用STM32单片机控制其发送短信。
CN202311695298.8A 2023-12-12 2023-12-12 基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法 Active CN117409191B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311695298.8A CN117409191B (zh) 2023-12-12 2023-12-12 基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311695298.8A CN117409191B (zh) 2023-12-12 2023-12-12 基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法

Publications (2)

Publication Number Publication Date
CN117409191A CN117409191A (zh) 2024-01-16
CN117409191B true CN117409191B (zh) 2024-03-08

Family

ID=89487374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311695298.8A Active CN117409191B (zh) 2023-12-12 2023-12-12 基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法

Country Status (1)

Country Link
CN (1) CN117409191B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020161610A2 (en) * 2019-02-04 2020-08-13 Jungo Connectivity Ltd. Adaptive monitoring of a vehicle using a camera
CN114004803A (zh) * 2021-10-29 2022-02-01 武汉大学 一种基于物体光照编辑的方法
CN115631436A (zh) * 2022-12-19 2023-01-20 优备科技股份有限公司 一种基于无人机实时视频流的火灾检测方法及系统
CN115760867A (zh) * 2022-11-30 2023-03-07 云南大学 一种基于改进U-Net网络的类器官分割方法及系统
CN116229192A (zh) * 2022-12-12 2023-06-06 淮阴工学院 一种基于ODConvBS-YOLOv5s的火焰烟雾检测方法
CN116343077A (zh) * 2023-01-03 2023-06-27 西安电子科技大学 一种基于注意力机制与多尺度特征的火灾检测预警方法
CN116704324A (zh) * 2023-05-26 2023-09-05 华南师范大学 基于水下图像的目标检测方法、系统、设备以及存储介质
CN116824543A (zh) * 2023-06-13 2023-09-29 天津理工大学 一种基于od-yolo的自动驾驶目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016029939A1 (en) * 2014-08-27 2016-03-03 Metaio Gmbh Method and system for determining at least one image feature in at least one image

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020161610A2 (en) * 2019-02-04 2020-08-13 Jungo Connectivity Ltd. Adaptive monitoring of a vehicle using a camera
CN114004803A (zh) * 2021-10-29 2022-02-01 武汉大学 一种基于物体光照编辑的方法
CN115760867A (zh) * 2022-11-30 2023-03-07 云南大学 一种基于改进U-Net网络的类器官分割方法及系统
CN116229192A (zh) * 2022-12-12 2023-06-06 淮阴工学院 一种基于ODConvBS-YOLOv5s的火焰烟雾检测方法
CN115631436A (zh) * 2022-12-19 2023-01-20 优备科技股份有限公司 一种基于无人机实时视频流的火灾检测方法及系统
CN116343077A (zh) * 2023-01-03 2023-06-27 西安电子科技大学 一种基于注意力机制与多尺度特征的火灾检测预警方法
CN116704324A (zh) * 2023-05-26 2023-09-05 华南师范大学 基于水下图像的目标检测方法、系统、设备以及存储介质
CN116824543A (zh) * 2023-06-13 2023-09-29 天津理工大学 一种基于od-yolo的自动驾驶目标检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ODCA-YOLO: An Omni-Dynamic Convolution Coordinate Attention-Based YOLO for Wood Defect Detection;rijun wang等;《Forests》;20230916;第14卷(第9期);1-18 *
Omni-Dimensional Dynamic Convolution Meets Bottleneck Transformer: A Novel Improved High Accuracy Forest Fire Smoke Detection Model;Jingjing Qian等;《Forests 2023》;20230419;第14卷(第4期);1-23 *
TP-YOLO: A Lightweight Attention-Based Architecture for Tiny Pest Detection;Yang Di等;《2023 IEEE International Conference on Image Processing (ICIP)》;20230911;3394-3398 *
基于YOLOv8的火灾烟雾检测算法研究;王晨灿等;《北京联合大学学报》;20230920;第37卷(第05期);69-77 *
改进YOLO v4-tiny的火焰实时检测;王冠博等;《计算机工程与科学》;20221215;第44卷(第12期);2196-2205 *
改进YOLOv5的绝缘子缺陷检测算法;张梅等;《安徽理工大学学报(自然科学版)》;20230715;第43卷(第04期);10-18 *

Also Published As

Publication number Publication date
CN117409191A (zh) 2024-01-16

Similar Documents

Publication Publication Date Title
Zhan et al. A high-precision forest fire smoke detection approach based on ARGNet
US9652863B2 (en) Multi-mode video event indexing
CN101334924B (zh) 一种火灾探测系统及其火灾探测方法
CN106897720A (zh) 一种基于视频分析的烟火检测方法及装置
CN107437318B (zh) 一种可见光智能识别算法
KR101953342B1 (ko) 멀티 센서 화재감지 방법 및 시스템
KR102149832B1 (ko) 딥러닝 기반의 자동 폭력 감지 시스템
CN111222478A (zh) 一种工地安全防护检测方法和系统
CN114202711A (zh) 一种列车车厢内异常行为智能监测方法、装置及监控系统
CN201091014Y (zh) 一种火灾探测装置
US20220122360A1 (en) Identification of suspicious individuals during night in public areas using a video brightening network system
CN114202646A (zh) 一种基于深度学习的红外图像吸烟检测方法与系统
CN116543241B (zh) 泄露气体云团的检测方法、装置、存储介质和电子设备
CN110853287A (zh) 一种基于物联网分布式架构的火焰实时监控系统及方法
CN116846059A (zh) 一种用于电网巡检和监控的边缘检测系统
CN115294528A (zh) 一种行人安全监控方法及装置
Jaradat et al. A victims detection approach for burning building sites using convolutional neural networks
Hussain et al. Uav-based multi-scale features fusion attention for fire detection in smart city ecosystems
CN114399734A (zh) 一种基于视觉信息的森林火灾预警方法
KR20230086457A (ko) 화재 감지 시스템의 구축을 위한 전차 장치 및 그 방법
CN117409191B (zh) 基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法
CN111753587A (zh) 一种倒地检测方法及装置
CN115798133A (zh) 一种火焰报警方法、装置、设备及存储介质
CN115083229A (zh) 基于ai视觉识别的飞行训练设备智能识别与警示系统
CN116310927A (zh) 基于深度学习的多源数据分析火灾监测与识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant