CN115909107B - 一种基于无人机视角的烟火检测方法、系统、设备及介质 - Google Patents

一种基于无人机视角的烟火检测方法、系统、设备及介质 Download PDF

Info

Publication number
CN115909107B
CN115909107B CN202211555741.7A CN202211555741A CN115909107B CN 115909107 B CN115909107 B CN 115909107B CN 202211555741 A CN202211555741 A CN 202211555741A CN 115909107 B CN115909107 B CN 115909107B
Authority
CN
China
Prior art keywords
convolution
smoke
feature map
unmanned aerial
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211555741.7A
Other languages
English (en)
Other versions
CN115909107A (zh
Inventor
姜明华
张可怡
余锋
张欣瑶
宋坤芳
周昌龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Textile University
Original Assignee
Wuhan Textile University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Textile University filed Critical Wuhan Textile University
Priority to CN202211555741.7A priority Critical patent/CN115909107B/zh
Publication of CN115909107A publication Critical patent/CN115909107A/zh
Application granted granted Critical
Publication of CN115909107B publication Critical patent/CN115909107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于无人机视角的烟火检测方法、系统、设备及介质,方法包括以下步骤:S1、采集无人机视角下的含烟雾场景图像、含火焰场景图像及一般场景图像作为数据集,对所述数据集的图像进行预处理;S2、将经过预处理的数据送入目标检测网络进行训练,得到无人机视角下的烟火识别模型;S3、将训练好的烟火识别模型部署到无人机上,当检测到图像中有烟雾或者火焰时,无人机将发出警报,并返回检测结果。本发明解决了现有技术中烟火目标检测边界不清晰、烟火识别准确率低、无人机视觉下目标小难以检测的问题,提高了目标检测的准确性和有效性,能够及时发现火灾安全隐患,实时保证监测区域的安全。

Description

一种基于无人机视角的烟火检测方法、系统、设备及介质
技术领域
本发明涉及目标检测领域,尤其涉及一种基于无人机视角的烟火检测方法、系统、设备及介质。
背景技术
目标检测是计算机视觉领域的最重要的应用之一,目前基于深度学习的目标检测方法已被广泛应用到了行人检测、疾病诊断、交通追踪及遥感图像检测等领域。近年来,由于无人机获取图像的便捷性和多角度特性,利用无人机拍摄的图像,对感兴趣目标进行检测,用于区域管理,已经成为智慧城乡建设的重要内容。特别是对于林业火灾的防控,采用无人机对烟火进行监测已成为趋势。由于林业面积广阔、区域水文地理环境复杂,开展林业资源监测、人工巡检工作存在安防效果差、成本高、效率低、人员风险高且无法迅速掌握全局等弊端,林业火灾一旦发生,会在短时间内迅速蔓延。传统观察调度手段无法掌握全局,而无人机则弥补了这一缺点,能够实时高空观察火势走向,全面掌握火灾情况并及时预警。
现有基于深度学习的目标检测方法通常网络模型较为复杂,无法满足无人机图像目标检测对资源和实时性的较高要求。同时,无人机视角下的目标小,存在难以检测的问题。公开号为CN110634260A的中国专利公开了一种烟火检测方法,该方法根据场景内发出的光线通过多光谱滤片装置后进入成像设备成像,经过与图像模板进行对比,以此来判断场景图像是否为烟火图像,确定为烟火图像后即判定场景内有烟火产生。但是此方法在实际情况中受环境中光线、其他波段等因素干扰较大,烟火目标检测边界不够清晰、烟火识别准确率较低。
因此,在保证目标检测精度的情况下,根据检测对象的特点,设计高效的无人机图像实时目标检测模型,是目前无人机图像目标检测实际应用的瓶颈。
发明内容
有鉴于此,本发明提供了一种基于无人机视角的烟火检测方法、系统、设备及介质,目的在于,解决现有技术中烟火目标检测边界不清晰、烟火识别准确率低、无人机视觉下目标小难以检测的技术问题,提高目标检测的准确性和有效性,及时发现火灾安全隐患,实时保证监测区域的安全。
为实现上述目的,本发明提供了一种基于无人机视角的烟火检测方法,包括以下步骤:
S1、采集无人机视角下的含烟雾场景图像、含火焰场景图像及一般场景图像作为数据集,对所述数据集的图像进行预处理;
S2、将经过预处理的数据送入目标检测网络进行训练,得到无人机视角下的烟火识别模型;
S3、将训练好的烟火识别模型部署到无人机上,当检测到图像中有烟雾或者火焰时,无人机将发出警报,并返回检测结果。
进一步的,所述对数据集的图像进行预处理的步骤具体包括:
S11、对数据集的图像进行目标分类和标注,将图像中的烟雾和火焰目标进行标注;
S12、采用分量法对图像进行灰度化;
S13、采用双线性插值算法对图像进行缩放;
S14、采用空间域图像增强技术通过线性和非线性变换对图像像素进行增强。
进一步的,所述目标检测网络的具体操作包括以下步骤:
S21、使用预处理后的图像作为所述目标检测网络的输入,经过4×1、1×4的卷积操作后,进行局部特征归一化操作;
S22、经过三个多卷积块进行特征提取;
S23、对步骤S22输出的特征图进行下采样,通过三个多卷积块进行特征提取,并依次送入小目标增强模块、通道空间注意力模块;
S24、对步骤S23输出的特征图进行下采样,通过九个多卷积块进行特征提取,并依次送入小目标增强模块、通道空间注意力模块;
S25、对步骤S24输出的特征图进行下采样,通过三个多卷积块进行特征提取,并依次送入小目标增强模块、通道空间注意力模块;
S26、对步骤S25输出的特征图进行全局平均池化和局部特征归一化操作,输出预测结果。
进一步的,所述多卷积块的具体操作包括以下步骤:
SA1、输入的特征图通过1×1卷积进行降维;
SA2、通过四次3×3卷积操作提取特征,不改变特征图的高宽和通道数;
SA3、将步骤SA1和步骤SA2输出的特征图进行拼接;
SA4、通过3×3的卷积操作提取特征;
SA5、将步骤SA4输出的特征图分为两组,一组经过1×1卷积操作后再进行3×3卷积操作,另一组经过最大池化操作后再进行3×3卷积操作;
SA6、对两组操作得到的结果进行拼接并输出。
进一步的,所述小目标增强模块的具体操作包括以下步骤:
SB1、对输入的特征图进行上采样和下采样,将输入的特征图、上采样后的特征图和下采样后的特征图进行拼接;
SB2、将拼接后得到的结果分为两组:一组经过全局最大池化、1×1卷积操作后,进行局部归一化操作并送入Mish激活函数;另一组经过全局平均池化、1×1卷积操作后,进行局部归一化操作并送入Mish激活函数;
SB3、对两组操作得到的结果进行相加操作,再进行1×1卷积操作;
SB4、将步骤SB1和SB3得到的结果进行相乘操作,再进行局部特征归一化后送入Mish激活函数;
SB5、通过3×3的卷积操作提取特征,所提取的结果与该模块的输入特征图经过1×1卷积降维、3×3卷积特征提取和1×1卷积升维后的结果进行相加操作;
SB6、通过最大池化操作后输出得到小目标增强后的特征图。
进一步的,所述通道空间注意模块包括通道注意力部分,所述通道注意力部分的具体操作包括以下步骤:
SC1、将输入的特征图分为两组,一组进行全局最大池化操作后再进行1×1卷积、Mish激活函数、1×1卷积操作;另一组进行全局平均池化操作后再进行1×1卷积、Mish激活函数、1×1卷积操作;
SC2、两组操作得到的结果分别与所述通道空间注意模块的输入特征图进行相乘操作;
SC3、将两个相乘后的结果进行相加操作,得到通道注意力特征图。
进一步的,所述通道空间注意模块还包括空间注意力部分,所述空间注意力部分的具体操作包括以下步骤:
SD1、对步骤SC3输出的结果进行1×1卷积、3×3卷积和1×1卷积操作;
SD2、沿着通道维度分别进行全局最大池化和全局平均池化操作;
SD3、全局最大池化和全局平均池化操作后的结果分别与步骤SC3输出的结果进行相乘操作,将两个相乘后的结果进行拼接,得到特征图;
SD4、将拼接得到的特征图送入1×1、3×3和1×1卷积层的进行特征提取;
SD5、将提取到的特征图送入Mish激活函数,得到最终的通道空间注意力特征图。
本发明还提供了一种基于无人机视角的烟火检测系统,所述烟火检测系统包括:
构建数据集模块,用于采集无人机视角下的含烟雾场景图像、含火焰场景图像及一般场景图像并构建数据集,对所述数据集的图像进行预处理;
烟火识别模型模块,用于将经过预处理的数据送入目标检测网络进行训练,得到无人机视角下的烟火识别模型;
烟火检测模块,用于当检测到图像中有烟雾或者火焰时,无人机将发出警报,并返回检测结果。
本发明还提供了一种基于无人机视角的烟火检测设备,包括处理器、存储器,所述存储器用于存储一个或多个程序,其特征在于:所述处理器执行所述一个或多个程序时,实现前述基于无人机视角的烟火检测方法。
本发明还提供了一种计算机可读存储介质,其存储有至少一个程序,其特征在于,所述至少一个程序被处理器执行时,实现前述基于无人机视角的烟火检测方法。
与现有技术相比,本发明具有如下有益效果:
1、本发明通过对无人机采集的场景图像中烟雾和火焰目标进行标注,即选择了烟雾和火焰两个检测目标,能够实现24小时实时检测,解决了森林烟火发生时烟雾相较于火焰更明显、更容易扩散,但夜间无法拍摄到烟雾的问题。
2、本发明通过灰度化、几何变换和图像增强技术对数据集图像进行预处理,有目的地强调了图像局部特性,将原来不清晰的图像变得清晰,扩大了图像中不同物体特征之间的差别,增强了相关信息的可检测性,最大限度地简化了数据,避免了烟火目标边界不清晰的问题。
3、本发明通过采用小目标增强模块和通道空间注意力模块,防止了微小特征淹没在冲突信息中而引发的漏检误检等情况,解决了无人机视角下目标小难以检测的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于无人机视角的烟火检测方法的流程图。
图2是根据本发明实施例的目标检测网络的结构图。
图3是根据本发明实施例的多卷积模块的结构图。
图4是根据本发明实施例的小目标增强模块的结构图。
图5是根据本发明实施例的通道空间注意模块的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地说明,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种基于无人机视角的烟火检测方法,包括以下步骤:
S1、采集无人机视角下的含烟雾场景图像、含火焰场景图像及一般场景图像作为数据集,对数据集的图像进行预处理;
S2、将经过预处理的数据送入目标检测网络进行训练,得到无人机视角下的烟火识别模型;
S3、将训练好的烟火识别模型部署到无人机上,当检测到图像中有烟雾或者火焰时,无人机将发出警报,并返回检测结果。
进一步的,对数据集的图像进行预处理的步骤具体包括:
S11、对数据集的图像进行目标分类和标注,将图像中的烟雾和火焰目标进行标注;
S12、采用分量法对图像进行灰度化;
S13、采用双线性插值算法对图像进行缩放;
S14、采用空间域图像增强技术通过线性和非线性变换对图像像素进行增强。
其中,对数据集图像进行目标分类和标注时,除了选择图像中有烟雾、火焰目标的正样本以外,还保留一些图像与真值不对应的负样本或预测时与真值标签误差较大的困难样本。通过灰度化、几何变换和图像增强等技术,消除图像中无关信息,恢复有用的真实信息,最大限度地简化数据,增强相关信息的可检测性。
在空间域中,通过线性和非线性变换来增强构成图像的像素。通过灰度变换使图像成像均匀,或扩大图像动态范围,扩展对比度。运用锐化方法使烟火目标的边缘轮廓更加清晰,便于目标识别。
图像增强的目的是要改善图像的视觉效果,针对给定图像的应用场合和烟火目标的无边界、难检测等特点,有目的地强调图像的整体或局部特性,将原来不清晰的图像变得清晰或强调某些感兴趣的特征,扩大图像中不同物体特征之间的差别,抑制不感兴趣的特征,使之改善图像质量、丰富信息量,加强图像判读和识别效果。
在本发明一实施例中,如图2所示,步骤S2中对经预处理的数据进行训练的目标检测网络的具体操作包括以下步骤:
S21、使用预处理后的图像作为目标检测网络的输入,经过4×1、1×4的卷积操作后,进行局部特征归一化操作;
S22、经过三个多卷积块进行特征提取;
S23、对步骤S22输出的特征图进行下采样,通过三个多卷积块进行特征提取,并依次送入小目标增强模块、通道空间注意力模块;
S24、对步骤S23输出的特征图进行下采样,通过九个多卷积块进行特征提取,并依次送入小目标增强模块、通道空间注意力模块;
S25、对步骤S24输出的特征图进行下采样,通过三个多卷积块进行特征提取,并依次送入小目标增强模块、通道空间注意力模块;
S26、对步骤S25输出的特征图进行全局平均池化和局部特征归一化操作,输出预测结果。
在本发明一实施例中,如图3所示,目标检测网络结构中使用到的多卷积块的具体操作包括以下步骤:
SA1、输入的特征图通过1×1卷积进行降维;
SA2、通过四次3×3卷积操作提取特征,不改变特征图的高宽和通道数;
SA3、将步骤SA1和步骤SA2输出的特征图进行拼接;
SA4、通过3×3的卷积操作提取特征;
SA5、将步骤SA4输出的特征图分为两组,一组经过1×1卷积操作后再进行3×3卷积操作,另一组经过最大池化操作后再进行3×3卷积操作;
SA6、对两组操作得到的结果进行拼接并输出。
进一步的,多卷积块的每一次卷积操作后都进行局部特征归一化操作,再送入激活函数,这里的激活操作采用的激活函数是Mish函数。
在本发明一实施例中,如图4所示,目标检测网络结构中使用到的小目标增强模块的具体操作包括以下步骤:
SB1、对输入的特征图进行上采样和下采样,将输入的特征图、上采样后的特征图和下采样后的特征图进行拼接;
SB2、将拼接后得到的结果分为两组:一组经过全局最大池化、1×1卷积操作后,进行局部归一化操作并送入Mish激活函数;另一组经过全局平均池化、1×1卷积操作后,进行局部归一化操作并送入Mish激活函数;
SB3、对两组操作得到的结果进行相加操作,再进行1×1卷积操作;
SB4、将步骤SB1和SB3得到的结果进行相乘操作,再进行局部特征归一化后送入Mish激活函数;
SB5、通过3×3的卷积操作提取特征,所提取的结果与该模块的输入特征图经过1×1卷积降维、3×3卷积特征提取和1×1卷积升维后的结果进行相加操作;
SB6、通过最大池化操作后输出得到小目标增强后的特征图。
在本发明一实施例中,如图5所示,目标检测网络结构中使用到的通道空间注意模块包括通道注意力部分,通道注意力部分的具体操作包括以下步骤:
SC1、将输入的特征图分为两组,一组进行全局最大池化操作后再进行1×1卷积、Mish激活函数、1×1卷积操作;另一组进行全局平均池化操作后再进行1×1卷积、Mish激活函数、1×1卷积操作;
SC2、两组操作得到的结果分别与通道空间注意模块的输入特征图进行相乘操作;
SC3、将两个相乘后的结果进行相加操作,得到通道注意力特征图。
进一步的,通道空间注意模块还包括空间注意力部分,空间注意力部分的具体操作包括以下步骤:
SD1、对步骤SC3输出的结果进行1×1卷积、3×3卷积和1×1卷积操作;
SD2、沿着通道维度分别进行全局最大池化和全局平均池化操作;
SD3、全局最大池化和全局平均池化操作后的结果分别与步骤SC3输出的结果进行相乘操作,将两个相乘后的结果进行拼接,得到特征图;
SD4、将拼接得到的特征图送入1×1、3×3和1×1卷积层的进行特征提取;
SD5、将提取到的特征图送入Mish激活函数,得到最终的通道空间注意力特征图。
其中,将输入特征图分别进行全局最大池化和全局平均池化操作,是对输入特征图的空间维度进行压缩。
在本发明一实施例中,步骤S3中将训练好的烟火识别模型部署到无人机上,开始加载烟火识别模型并预测烟火目标位置与类别,当检测到图像中有烟雾或者火焰时,无人机将发出警报,输出并返回检测结果;具体包括以下内容:
S31、获取无人机工作中的实时视频,经过逐帧解析得到每一帧的图像;
S32、将每一帧的图像送入训练好的烟火识别模型,烟火识别模型判断图像中是否存在烟雾、火焰目标,若检测到烟雾、火焰目标则终端发出警报提醒,并短信通知相关负责人,同时保存实时检测结果并输出。
本发明实施例还提供了一种基于无人机视角的烟火检测系统,包括:
构建数据集模块,用于采集无人机视角下的含烟雾场景图像、含火焰场景图像及一般场景图像并构建数据集,对数据集的图像进行预处理;
烟火识别模型模块,用于将经过预处理的数据送入目标检测网络进行训练,得到无人机视角下的烟火识别模型;
烟火检测模块,用于当检测到图像中有烟雾或者火焰时,无人机将发出警报,并返回检测结果。
本发明实施例还提供了一种基于无人机视角的烟火检测设备,包括处理器、存储器,存储器用于存储一个或多个程序,其特征在于:处理器执行一个或多个程序时,实现前述基于无人机视角的烟火检测方法。
本发明实施例还提供了一种计算机可读存储介质,其存储有至少一个程序,其特征在于,至少一个程序被处理器执行时,实现前述基于无人机视角的烟火检测方法。
值得注意的是,上述系统实施例中,所包括的各个单元只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式,并且很显然,根据上述教导,可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用,从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (7)

1.一种基于无人机视角的烟火检测方法,其特征在于,包括以下步骤:
S1、采集无人机视角下的含烟雾场景图像、含火焰场景图像及一般场景图像作为数据集,对所述数据集的图像进行预处理;
S2、将经过预处理的数据送入目标检测网络进行训练,得到无人机视角下的烟火识别模型;
S3、将训练好的烟火识别模型部署到无人机上,当检测到图像中有烟雾或者火焰时,无人机将发出警报,并返回检测结果;
所述目标检测网络的具体操作包括以下步骤:
S21、使用预处理后的图像作为所述目标检测网络的输入,经过4×1、1×4的卷积操作后,进行局部特征归一化操作;
S22、经过三个多卷积块进行特征提取;
S23、对步骤S22输出的特征图进行下采样,通过三个多卷积块进行特征提取,并依次送入小目标增强模块、通道空间注意力模块;
S24、对步骤S23输出的特征图进行下采样,通过九个多卷积块进行特征提取,并依次送入小目标增强模块、通道空间注意力模块;
S25、对步骤S24输出的特征图进行下采样,通过三个多卷积块进行特征提取,并依次送入小目标增强模块、通道空间注意力模块;
S26、对步骤S25输出的特征图进行全局平均池化和局部特征归一化操作,输出预测结果;
所述多卷积块的具体操作包括以下步骤:
SA1、输入的特征图通过1×1卷积进行降维;
SA2、通过四次3×3卷积操作提取特征,不改变特征图的高宽和通道数;
SA3、将步骤SA1和步骤SA2输出的特征图进行拼接;
SA4、通过3×3的卷积操作提取特征;
SA5、将步骤SA4输出的特征图分为两组,一组经过1×1卷积操作后再进行3×3卷积操作,另一组经过最大池化操作后再进行3×3卷积操作;
SA6、对两组操作得到的结果进行拼接并输出;
所述小目标增强模块的具体操作包括以下步骤:
SB1、对输入的特征图进行上采样和下采样,将输入的特征图、上采样后的特征图和下采样后的特征图进行拼接;
SB2、将拼接后得到的结果分为两组:一组经过全局最大池化、1×1卷积操作后,进行局部归一化操作并送入Mish激活函数;另一组经过全局平均池化、1×1卷积操作后,进行局部归一化操作并送入Mish激活函数;
SB3、对两组操作得到的结果进行相加操作,再进行1×1卷积操作;
SB4、将步骤SB1和SB3得到的结果进行相乘操作,再进行局部特征归一化后送入Mish激活函数;
SB5、通过3×3的卷积操作提取特征,所提取的结果与该模块的输入特征图经过1×1卷积降维、3×3卷积特征提取和1×1卷积升维后的结果进行相加操作;
SB6、通过最大池化操作后输出得到小目标增强后的特征图。
2.根据权利要求1所述的一种基于无人机视角的烟火检测方法,其特征在于,所述对数据集的图像进行预处理的步骤具体包括:
S11、对数据集的图像进行目标分类和标注,将图像中的烟雾和火焰目标进行标注;
S12、采用分量法对图像进行灰度化;
S13、采用双线性插值算法对图像进行缩放;
S14、采用空间域图像增强技术通过线性和非线性变换对图像像素进行增强。
3.根据权利要求1所述的一种基于无人机视角的烟火检测方法,其特征在于,所述通道空间注意力模块包括通道注意力部分,所述通道注意力部分的具体操作包括以下步骤:
SC1、将输入的特征图分为两组,一组进行全局最大池化操作后再进行1×1卷积、Mish激活函数、1×1卷积操作;另一组进行全局平均池化操作后再进行1×1卷积、Mish激活函数、1×1卷积操作;
SC2、两组操作得到的结果分别与所述通道空间注意力模块的输入特征图进行相乘操作;
SC3、将两个相乘后的结果进行相加操作,得到通道注意力特征图。
4.根据权利要求3所述的一种基于无人机视角的烟火检测方法,其特征在于,所述通道空间注意力模块还包括空间注意力部分,所述空间注意力部分的具体操作包括以下步骤:
SD1、对步骤SC3输出的结果进行1×1卷积、3×3卷积和1×1卷积操作;
SD2、沿着通道维度分别进行全局最大池化和全局平均池化操作;
SD3、全局最大池化和全局平均池化操作后的结果分别与步骤SC3输出的结果进行相乘操作,将两个相乘后的结果进行拼接,得到特征图;
SD4、将拼接得到的特征图送入1×1、3×3和1×1卷积层的进行特征提取;
SD5、将提取到的特征图送入Mish激活函数,得到最终的通道空间注意力特征图。
5.一种基于无人机视角的烟火检测系统,其特征在于,所述烟火检测系统包括:
构建数据集模块,用于采集无人机视角下的含烟雾场景图像、含火焰场景图像及一般场景图像并构建数据集,对所述数据集的图像进行预处理;
烟火识别模型模块,用于将经过预处理的数据送入目标检测网络进行训练,得到无人机视角下的烟火识别模型;
烟火检测模块,用于当检测到图像中有烟雾或者火焰时,无人机将发出警报,并返回检测结果;
所述目标检测网络的具体操作包括以下步骤:
S21、使用预处理后的图像作为所述目标检测网络的输入,经过4×1、1×4的卷积操作后,进行局部特征归一化操作;
S22、经过三个多卷积块进行特征提取;
S23、对步骤S22输出的特征图进行下采样,通过三个多卷积块进行特征提取,并依次送入小目标增强模块、通道空间注意力模块;
S24、对步骤S23输出的特征图进行下采样,通过九个多卷积块进行特征提取,并依次送入小目标增强模块、通道空间注意力模块;
S25、对步骤S24输出的特征图进行下采样,通过三个多卷积块进行特征提取,并依次送入小目标增强模块、通道空间注意力模块;
S26、对步骤S25输出的特征图进行全局平均池化和局部特征归一化操作,输出预测结果;
所述多卷积块的具体操作包括以下步骤:
SA1、输入的特征图通过1×1卷积进行降维;
SA2、通过四次3×3卷积操作提取特征,不改变特征图的高宽和通道数;
SA3、将步骤SA1和步骤SA2输出的特征图进行拼接;
SA4、通过3×3的卷积操作提取特征;
SA5、将步骤SA4输出的特征图分为两组,一组经过1×1卷积操作后再进行3×3卷积操作,另一组经过最大池化操作后再进行3×3卷积操作;
SA6、对两组操作得到的结果进行拼接并输出;
所述小目标增强模块的具体操作包括以下步骤:
SB1、对输入的特征图进行上采样和下采样,将输入的特征图、上采样后的特征图和下采样后的特征图进行拼接;
SB2、将拼接后得到的结果分为两组:一组经过全局最大池化、1×1卷积操作后,进行局部归一化操作并送入Mish激活函数;另一组经过全局平均池化、1×1卷积操作后,进行局部归一化操作并送入Mish激活函数;
SB3、对两组操作得到的结果进行相加操作,再进行1×1卷积操作;
SB4、将步骤SB1和SB3得到的结果进行相乘操作,再进行局部特征归一化后送入Mish激活函数;
SB5、通过3×3的卷积操作提取特征,所提取的结果与该模块的输入特征图经过1×1卷积降维、3×3卷积特征提取和1×1卷积升维后的结果进行相加操作;
SB6、通过最大池化操作后输出得到小目标增强后的特征图。
6.一种基于无人机视角的烟火检测设备,其特征在于,包括处理器、存储器,所述存储器用于存储一个或多个程序,其特征在于:所述处理器执行所述一个或多个程序时,实现如权利要求1-4中任一项所述的基于无人机视角的烟火检测方法。
7.一种计算机可读存储介质,其存储有至少一个程序,其特征在于,所述至少一个程序被处理器执行时,实现如权利要求1-4中任一项所述的基于无人机视角的烟火检测方法。
CN202211555741.7A 2022-12-06 2022-12-06 一种基于无人机视角的烟火检测方法、系统、设备及介质 Active CN115909107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211555741.7A CN115909107B (zh) 2022-12-06 2022-12-06 一种基于无人机视角的烟火检测方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211555741.7A CN115909107B (zh) 2022-12-06 2022-12-06 一种基于无人机视角的烟火检测方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN115909107A CN115909107A (zh) 2023-04-04
CN115909107B true CN115909107B (zh) 2023-08-18

Family

ID=86478706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211555741.7A Active CN115909107B (zh) 2022-12-06 2022-12-06 一种基于无人机视角的烟火检测方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN115909107B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126293A (zh) * 2019-12-25 2020-05-08 国网智能科技股份有限公司 一种火焰和烟雾异常情况检测方法及系统
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
CN114677629A (zh) * 2022-03-30 2022-06-28 山东中科先进技术有限公司 一种基于yolov5网络的烟火检测预警方法及系统
CN115294520A (zh) * 2022-07-28 2022-11-04 烟台大学 一种基于卷积神经网络的烟火检测方法
CN115424171A (zh) * 2022-08-24 2022-12-02 深圳海翼智新科技有限公司 火焰和烟雾检测方法、装置和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126293A (zh) * 2019-12-25 2020-05-08 国网智能科技股份有限公司 一种火焰和烟雾异常情况检测方法及系统
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
CN114677629A (zh) * 2022-03-30 2022-06-28 山东中科先进技术有限公司 一种基于yolov5网络的烟火检测预警方法及系统
CN115294520A (zh) * 2022-07-28 2022-11-04 烟台大学 一种基于卷积神经网络的烟火检测方法
CN115424171A (zh) * 2022-08-24 2022-12-02 深圳海翼智新科技有限公司 火焰和烟雾检测方法、装置和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A self-attention network for smoke detect;Minghua Jiang et al.;《Fire Safety Journal》;全文 *

Also Published As

Publication number Publication date
CN115909107A (zh) 2023-04-04

Similar Documents

Publication Publication Date Title
CN106874889B (zh) 基于卷积神经网络的多特征融合sar目标鉴别方法
US10628890B2 (en) Visual analytics based vehicle insurance anti-fraud detection
US20130163822A1 (en) Airborne Image Capture and Recognition System
US9881212B2 (en) Infrared image based early detection of oil spills in water
CN110310264A (zh) 一种基于dcnn的大尺度目标检测方法、装置
US20140369566A1 (en) Perimeter Image Capture and Recognition System
US20080050021A1 (en) Method of difference sensing through optical coherent change detection
US8094886B1 (en) Thermal wake/vessel detection technique
RU2546548C1 (ru) Способ для автоматизированной регистрации в реальном времении морских млекопитающих
CN112819068A (zh) 一种基于深度学习的船舶作业违章行为实时侦测方法
CN111553321A (zh) 一种流动商贩目标检测模型、检测方法及其管理方法
CN116543241B (zh) 泄露气体云团的检测方法、装置、存储介质和电子设备
CN114202646A (zh) 一种基于深度学习的红外图像吸烟检测方法与系统
CN116311078A (zh) 一种林火分析及监测方法、系统
CN111274896B (zh) 一种烟火识别算法
Alsheikhy A fire detection algorithm using convolutional neural network
CN115909107B (zh) 一种基于无人机视角的烟火检测方法、系统、设备及介质
Wang et al. Fire situation detection method for unmanned fire-fighting vessel based on coordinate attention structure-based deep learning network
CN105095891A (zh) 一种人脸捕捉的方法,装置及系统
Habal et al. An Experimental Approach on Detecting and Measuring Waterbody through Image Processing Techniques
CN101814134A (zh) 一种基于计算机视觉监视技术的火焰智能检测方法
KR20210044127A (ko) 영상 분석 기반 가시거리 측정 및 경보 시스템 및 방법
Sandirasegaram Spot SAR ATR using wavelet features and neural network classifier
JP7048705B1 (ja) 対象物認識装置、対象物認識方法、およびプログラム
Vijayakumar et al. R-CNN and YOLOV4 based Deep Learning Model for intelligent detection of weaponries in real time video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant