CN115512225A - 一种基于注意力机制实现端到端的森林火灾检测算法 - Google Patents

一种基于注意力机制实现端到端的森林火灾检测算法 Download PDF

Info

Publication number
CN115512225A
CN115512225A CN202211199537.6A CN202211199537A CN115512225A CN 115512225 A CN115512225 A CN 115512225A CN 202211199537 A CN202211199537 A CN 202211199537A CN 115512225 A CN115512225 A CN 115512225A
Authority
CN
China
Prior art keywords
training
data set
attention mechanism
forest fire
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211199537.6A
Other languages
English (en)
Inventor
李琪林
严平
蔡君懿
叶润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Marketing Service Center Of State Grid Sichuan Electric Power Co
Original Assignee
Marketing Service Center Of State Grid Sichuan Electric Power Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Marketing Service Center Of State Grid Sichuan Electric Power Co filed Critical Marketing Service Center Of State Grid Sichuan Electric Power Co
Priority to CN202211199537.6A priority Critical patent/CN115512225A/zh
Publication of CN115512225A publication Critical patent/CN115512225A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/28—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于注意力机制实现端到端的森林火灾检测算法，包括步骤S1：收集森林火灾事件系列图片，并对其进行预处理；S2：将森林火灾事件系列图片的特征分为浓烟与火焰两个特征表现；根据相对应的特征表现，依次为第一数据集中拼接图赋予第一标签与第二标签进行标注；S3：采用卷积神经网络对拼接图提取2D特征，并采用交叉注意力机制将提取出的2D特征进行特征融合；S4：采用标准COCO数据集进行预训练，并通过迁移学习将其迁移至第一数据集进行训练；按比例划分为训练集与测试集，将训练集送入网络模型中进行迭代训练，得到最优模型；S5：将测试集中的拼接图送入训练好的最优模型中，确认拼接图目标中的类别及位置，输出最终结果。

Description

一种基于注意力机制实现端到端的森林火灾检测算法
技术领域
本发明涉及计算机图像识别技术领域，具体涉及一种基于注意力机制实现端到端的森林火灾检测算法。
背景技术
森林火灾不仅会对自然环境造成严重的危害，而且会对人民财产安全造成不可估量的损害。如何通过有效的手段做到及时预警，及时发现，及时处理成为当前火灾检测领域一个至关重要的研究方向。目前火灾检测主要通过以下两种方式：一种是通过红外相机和温度传感器组合的方式进行检测。当火灾发生时，由于局部环境温度会升高，通过红外相机和温度传感器可以有效的检测出环境温度的变化，从而可以判断出是否有火灾发生。另一种方式是通过基于深度学习的目标检测手段，对大量火灾数据进行训练，从而可以达到对火灾的识别和定位。第一种方法很大程度上受制于红外相机和温度传感器的安装环境，比如发电锅炉及炼钢厂附近，那么该设备的准确率将大大降低。第二种方法虽然简单有效，但是却需要提前手工设计Anchor机制，这对于非计算机视觉人员来说是非常困难的；其次目前主流的目标检测算法，还不能实现真正意义上的端到端的处理，一般都需要一个后处理阶段NMS(非极大值抑制)，正因为有了NMS操作，模型在调参上就变得异常复杂，而且即使训练好了一个模型，部署起来也非常困难，因为并非所有的硬件设备都支持这一操作。
有鉴于此，特提出本申请。
发明内容
本发明的目的是提供一种基于注意力机制实现端到端的森林火灾检测算法，该方法不仅可以保证火灾识别过程的高效快速，还能进一步的提高火灾识别的准确率，最终优化算法的复杂度，提升其整体性能。
本发明通过下述技术方案实现：
一种基于注意力机制实现端到端的森林火灾检测算法，包括步骤：
S1：收集森林火灾事件系列图片，并对其进行预处理；先对系列图片进行数据增强，之后按照随机裁剪与随机排布的方式进行拼接生成拼接图，将多个生成的拼接图进行组合生成第一数据集，并对第一数据集引入预设高斯噪声；
S2：将森林火灾事件系列图片的特征分为浓烟与火焰两个特征表现；根据相对应的特征表现，依次为第一数据集中拼接图赋予第一标签与第二标签进行标注；并将标注后的拼接图按照其特征表现的标签，生成与该图片对应的标签组团，并按序显示其标签类别；
S3：采用卷积神经网络对拼接图提取2D特征，并采用交叉注意力机制将提取出的2D特征进行特征融合；其预测头采用前向网络FFN对拼接图的类型信息与定位框进行预测，其中定位框采用匈牙利算法进行二分图匹配，并对损失函数进行优化；在多次优化后输出唯一定位框；
S4：采用标准COCO数据集进行预训练，并通过迁移学习将其迁移至第一数据集进行训练；将第一数据集按比例划分为训练集与测试集，将训练集送入网络模型中进行迭代训练，并采用自适应梯度下降算法调节其学习率，得到最优模型；
S5：根据上述步骤S4的训练结果，将测试集中的拼接图送入训练好的最优模型中，确认拼接图目标中的类别及位置，输出最终结果。
进一步的，在上述步骤S1中，预处理过程采用Mosaic-4方法进行数据增强，并选取4张系列图片进行拼接组合，输出一张拼接图。
进一步的，第一标签与第二标签分别对应浓烟与火焰，其标注为YOLO格式标注；任一一张拼接图经过标注后都会根据其标签类别依次生成的标签组团中包括：标签类别、标记框中心横坐标与图片宽度的比值、标记框中心纵坐标与图片高度的比值、标记框宽度与图片宽度的比值以及标记框高度与图片高度的比值。
进一步的，在上述步骤S3中，采用CNN骨干网络ResNet-50模型进行特征提取输出特征图；在对图片进行提取之前，还先将ResNet-50模型加入COCO数据集上进行预训练，然后冻结其权重参数，再迁移到目标数据集上进行二次训练后再对拼接图进行2d特征提取。
进一步的，任一拼接图还添加有位置编码，位置编码采用绝对位置编码；任一拼接图的编码会根据其不同频率下的正弦余弦函数对空间位置进行计算再进行编码。
进一步的，在上述步骤S3中，特征融合过程包括：将拼接图输入到训练好的ResNet-50模型进行2D特征提取，并将提取的2D特征经过Flatten()函数扁平化后与位置编码相加，并传递给6层的Encoder-Decoder结构；其中每部分的Encoder-Decoder采用完全相同的结构。
进一步的，在上述步骤S3中，前向网络FFN采用由Relu激活函数和3层1*1卷积层组合形成的构造，用于对标准化中心坐标、高度与宽度进行预测，之后再通过softmax函数激活获取预测的类型信息。
进一步的，在上述步骤S3中，定位框采用匈牙利算法进行二分图匹配，使预测的结果集合与真实的结果集合中的元素进行一一对应，其中预测的结果包括类型信息与定位框；其优化过程为：采用标注信息与预测信息做差，使得预测的类型信息与标注的类型信息接近一致，并使定位框的参数也与真实的参数接近一致令损失函数最小化；其中，标注信息为真实的类型信息，包括物体的位置和类别；预测信息包括定位框的位置和物体类别的概率。
进一步的，在上述步骤S4中，其模型的训练方式包括：
将ResNet-50模型中提取的特征图与位置编码依次输入到编码器中进行特征融合，采用交叉注意力机制进行堆叠与正则化，并通过Feed Forward层输出预测结果集合；
在解码器中输入真实时间目标查询编码，通过交叉注意力机制的堆叠与正则化输出的真实结果集合，在模型中引入上述的预测结果集合，将预测结果集合与真实结果集合再进行基于交叉注意力机制的堆叠与正则化，在Feed Forward层输出比较结果；
将比较结果通过前向网络FNN与匈牙利算法进行优化，逐渐降低预测结果集合与真实结果集合的差值，直到输出最优结果。
进一步的，在上述步骤S5中，在训练模型最优权重的过程中，先在COCO数据集上进行预训练，然后再迁移至目标数据集上，不断调整网络模型的参数，直到模型能正确输出图像中火焰和烟雾的位置；保存训练得到的参数，完成训练后将最优权重模型保存并在测试集上测试。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明以端到端的学习方式，实现一种基于交叉注意力机制的森林火灾检测算法，与现有技术相比，其优点在于：
1)本发明是基于注意力机制生成的特征更好的表示火焰及烟雾的形态，就算是被遮挡严重的情况下也能发挥其优势，极大的简化了模型的复杂度。
2)本发明利用匈牙利算法实现唯一一个预测输出框，大大减少了非极大值抑制所产生的多个输出，而且不需要过多的人工干预，真正意义上实现了端到端的目标检测框架。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明实施例提供的基于注意力机制实现端到端的森林火灾检测算法整体流程图；
图2为本发明实施例提供的基于注意力机制实现端到端的森林火灾检测算法模型流程示意图。
具体实施方式
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述事实和方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，涉及的程序或者所述的程序可以存储于一计算机所可读取存储介质中，该程序在执行时，包括如下步骤：此时引出相应的方法步骤，所述的存储介质可以是ROM/RAM、磁碟、光盘等等。
请参阅图1-图2，本实施例提供了一种基于注意力机制实现端到端的森林火灾检测算法，包括步骤：
S1：收集森林火灾事件系列图片，并对其进行预处理；先对系列图片进行数据增强，之后按照随机裁剪与随机排布的方式进行拼接生成拼接图，将多个生成的拼接图进行组合生成第一数据集，并对第一数据集引入预设高斯噪声。引入合理高斯噪声是为了增强模型的鲁棒性。
S2：将森林火灾事件系列图片的特征分为浓烟与火焰两个特征表现；根据相对应的特征表现，依次为第一数据集中拼接图赋予第一标签与第二标签进行标注；并将标注后的拼接图按照其特征表现的标签，生成与该图片对应的标签组团，并按序显示其标签类别。落实到本实施中，第一标签与第二标签分别对应浓烟与火焰，其标注为YOLO格式标注。数据集标注采用LabelImg软件对其进行YOLO格式的标注。第一数据集中图片的标签共分为两类，分别是Fire(火焰)和Smog(浓烟)。标注完成后，每一张拼接图都会产生一个与文件名相同的txt文件，txt文件中的每一行表示一个标记的类别，每一行由5列数据组成，从左至右分别表示标签类别，标记框中心横坐标与图片宽度的比值，标记框中心纵坐标与图片高度的比值，标记框宽度与图片宽度的比值，标记框高度与图片高度的比值。
S3：采用卷积神经网络对拼接图提取2D特征，并采用交叉注意力机制将提取出的2D特征进行特征融合；其预测头采用前向网络FFN对拼接图的类型信息与定位框进行预测，其中定位框采用匈牙利算法进行二分图匹配，并对损失函数进行优化；在多次优化后输出唯一定位框。本实施例特征融合部分不再采用现有单阶段目标检测较为普遍的方法：FPN+PAN(特征金字塔)结构融合图像不同尺度的特征，而采用Transformer中的交叉注意力机制来实现。
S4：采用标准COCO数据集进行预训练，并通过迁移学习将其迁移至第一数据集进行训练；将第一数据集按比例划分为训练集与测试集，本实施例采用目标数据集按照8:2的比例划分为训练集。将训练集送入网络模型中进行迭代训练，并采用自适应梯度下降算法调节其学习率，得到最优模型。
S5：根据上述步骤S4的训练结果，将测试集中的拼接图送入训练好的最优模型中，确认拼接图目标中的类别及位置，输出最终结果。
其中，在预处理阶段使用Mosaic-4增强的方法，选取4张图片进行拼接组成一张输入图像，这种操作扩充了目标图像的特征。此外，拼接后的图像在批量归一化计算时，每层相当于使用4个不同图像激活统计数据，增强算法的鲁棒性。在上述步骤S2中，由于在步骤S4中要进行迁移学习，加快训练速度，本实施例选择标准的COCO数据集进行预训练。为了和标准COCO数据集的格式保持一致，在目标数据集的处理上也要采用相同的格式，但是目前主流标准软件都不支持COCO数据集的格式；因此采用Labelimg软件先对其进行YOLO格式的标注，然后通过编写python脚本程序，将其转换为标准的COCO数据集格式。
在上述步骤S3中，采用CNN骨干网络ResNet-50模型进行特征提取输出特征图；在对图片进行提取之前，还先将ResNet-50模型加入COCO数据集上进行预训练，然后冻结其权重参数，再迁移到目标数据集上进行二次训练后再对拼接图进行2d特征提取，是为了提高模型的泛化性和鲁棒性。
落实到本实施中，任一拼接图还添加有位置编码，位置编码采用绝对位置编码；任一拼接图的编码会根据其不同频率下的正弦余弦函数对空间位置进行计算再进行编码。将拼接图输入到训练好的ResNet-50模型进行2D特征提取，并将提取的2D特征经过Flatten()函数扁平化后与位置编码相加，其中每部分的Encoder-Decoder采用完全相同的结构。
具体的交叉注意力机制算法如下：
注意力机制中有三个重要的概念：1)query:本实施例中指的是最后关注输出的目标；2)key:本实施例中要喂入的图像；3)value:计算所关注目标权重的价值。
本实施例汇中key来自于encoder的输出特征图，query来自特定的输入objectqueries；通过度量query-key的相互影响得到Attention的权重以自适应聚合关键的上下文信息。其关系表示为：
Figure BDA0003871919900000061
其中
Figure BDA0003871919900000062
是一个系数，因为QKT得到的点积结果是一个比较大的数，根据softmax函数的特性随着自变量的增大，函数值将稳定在一个常数附近，此时梯度值变化不大，不利于模型训练，因此除以
Figure BDA0003871919900000063
加快训练速度。
FFN是由具有Relu激活函数和具有3层1*1卷积层构成，FFN预测框标准化中心坐标，高度和宽度，然后使用softmax函数激活获得预测类标签。
在步骤S3中，最后输出的定位框采用匈牙利算法进行二分图匹配，即对预测的结果集合和真实的结果集合的元素进行一一对应，使得匹配损失最小，其表示为：
Figure BDA0003871919900000064
Figure BDA0003871919900000065
对于那些不是背景的，获得其对应目标概率的预测，然后用框的损失函数减去预测类别的概率。表明不仅框要更可能地接近，类别也要基本一致，这样才是最好的。经过匈牙利算法之后，我们得到了ground truth和预测目标框之间一一对应的关系。
在上述步骤S4中，其模型的训练方式包括：
将ResNet-50模型中提取的特征图与位置编码依次输入到编码器中进行特征融合，采用交叉注意力机制进行堆叠与正则化，并通过Feed Forward层输出预测结果集合；
在解码器中输入真实时间目标查询编码，通过交叉注意力机制的堆叠与正则化输出的真实结果集合，在模型中引入上述的预测结果集合，将预测结果集合与真实结果集合再进行基于交叉注意力机制的堆叠与正则化，在Feed Forward层输出比较结果；
将比较结果通过前向网络FNN与匈牙利算法进行优化，逐渐降低预测结果集合与真实结果集合的差值，直到输出最优结果。
最后，在上述步骤S5中，在训练模型最优权重的过程中，先在COCO数据集上进行预训练，然后再迁移至目标数据集上，不断调整网络模型的参数，直到模型能正确输出图像中火焰和烟雾的位置；保存训练得到的参数，完成训练后将最优权重模型保存并在测试集上测试。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于注意力机制实现端到端的森林火灾检测算法，其特征在于，包括步骤：
S1：收集森林火灾事件系列图片，并对其进行预处理；先对系列图片进行数据增强，之后按照随机裁剪与随机排布的方式进行拼接生成拼接图，将多个生成的拼接图进行组合生成第一数据集，并对第一数据集引入预设高斯噪声；
S2：将森林火灾事件系列图片的特征分为浓烟与火焰两个特征表现；根据相对应的特征表现，依次为第一数据集中拼接图赋予第一标签与第二标签进行标注；并将标注后的拼接图按照其特征表现的标签，生成与该图片对应的标签组团，并按序显示其标签类别；
S3：采用卷积神经网络对拼接图提取2D特征，并采用交叉注意力机制将提取出的2D特征进行特征融合；其预测头采用前向网络FFN对拼接图的类型信息与定位框进行预测，其中定位框采用匈牙利算法进行二分图匹配，并对损失函数进行优化；在多次优化后输出唯一定位框；
S4：采用标准COCO数据集进行预训练，并通过迁移学习将其迁移至第一数据集进行训练；将第一数据集按比例划分为训练集与测试集，将训练集送入网络模型中进行迭代训练，并采用自适应梯度下降算法调节其学习率，得到最优模型；
S5：根据上述步骤S4的训练结果，将测试集中的拼接图送入训练好的最优模型中，确认拼接图目标中的类别及位置，输出最终结果。
2.根据权利要求1所述的一种基于注意力机制实现端到端的森林火灾检测算法，其特征在于，在上述步骤S1中，预处理过程采用Mosaic-4方法进行数据增强，并选取4张系列图片进行拼接组合，输出一张拼接图。
3.根据权利要求1所述的一种基于注意力机制实现端到端的森林火灾检测算法，其特征在于，所述第一标签与第二标签分别对应浓烟与火焰，其标注为YOLO格式标注；任一一张拼接图经过标注后都会根据其标签类别依次生成的标签组团中包括：标签类别、标记框中心横坐标与图片宽度的比值、标记框中心纵坐标与图片高度的比值、标记框宽度与图片宽度的比值以及标记框高度与图片高度的比值。
4.根据权利要求3所述的一种基于注意力机制实现端到端的森林火灾检测算法，其特征在于，在上述步骤S3中，采用CNN骨干网络ResNet-50模型进行特征提取输出特征图；在对图片进行提取之前，还先将ResNet-50模型加入COCO数据集上进行预训练，然后冻结其权重参数，再迁移到目标数据集上进行二次训练后再对拼接图进行2d特征提取。
5.根据权利要求4所述的一种基于注意力机制实现端到端的森林火灾检测算法，其特征在于，任一拼接图还添加有位置编码，位置编码采用绝对位置编码；任一拼接图的编码会根据其不同频率下的正弦余弦函数对空间位置进行计算再进行编码。
6.根据权利要求5所述的一种基于注意力机制实现端到端的森林火灾检测算法，其特征在于，在上述步骤S3中，特征融合过程包括：
将拼接图输入到训练好的ResNet-50模型进行2D特征提取，并将提取的2D特征经过Flatten()函数扁平化后与位置编码相加，并传递给6层的Encoder-Decoder结构；其中每部分的Encoder-Decoder采用完全相同的结构。
7.根据权利要求6所述的一种基于注意力机制实现端到端的森林火灾检测算法，其特征在于，在上述步骤S3中，前向网络FFN采用由Relu激活函数和3层1*1卷积层组合形成的构造，用于对标准化中心坐标、高度与宽度进行预测，之后再通过softmax函数激活获取预测的类型信息。
8.根据权利要求7所述的一种基于注意力机制实现端到端的森林火灾检测算法，其特征在于，在上述步骤S3中，定位框采用匈牙利算法进行二分图匹配，使预测的结果集合与真实的结果集合中的元素进行一一对应，其中预测的结果包括类型信息与定位框；其优化过程为：采用标注信息与预测信息做差，使得预测的类型信息与标注的类型信息接近一致，并使定位框的参数也与真实的参数接近一致令损失函数最小化；其中，所述标注信息为真实的类型信息，包括物体的位置和类别；所述预测信息包括定位框的位置和物体类别的概率。
9.根据权利要求8所述的一种基于注意力机制实现端到端的森林火灾检测算法，其特征在于，在上述步骤S4中，其模型的训练方式包括：
将ResNet-50模型中提取的特征图与位置编码依次输入到编码器中进行特征融合，采用交叉注意力机制预测后进行堆叠与正则化防止过拟合，并通过Feed Forward层输出预测结果集合；
在解码器中输入真实时间目标查询编码，输出真实结果集合，在并引入上述的预测结果集合，在Feed Forward层输出预测结果集合与真实结果集合的比较结果；
将比较结果通过前向网络FNN与匈牙利算法进行优化，逐渐降低预测结果集合与真实结果集合的差值，直到输出最优结果。
10.根据权利要求9所述的一种基于注意力机制实现端到端的森林火灾检测算法，其特征在于，在上述步骤S5中，在训练模型最优权重的过程中，先在COCO数据集上进行预训练，然后再迁移至目标数据集上，不断调整网络模型的参数，直到模型能正确输出图像中火焰和烟雾的位置；保存训练得到的参数，完成训练后将最优权重模型保存并在测试集上测试。
CN202211199537.6A 2022-09-29 2022-09-29 一种基于注意力机制实现端到端的森林火灾检测算法 Pending CN115512225A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211199537.6A CN115512225A (zh) 2022-09-29 2022-09-29 一种基于注意力机制实现端到端的森林火灾检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211199537.6A CN115512225A (zh) 2022-09-29 2022-09-29 一种基于注意力机制实现端到端的森林火灾检测算法

Publications (1)

Publication Number Publication Date
CN115512225A true CN115512225A (zh) 2022-12-23

Family

ID=84507298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211199537.6A Pending CN115512225A (zh) 2022-09-29 2022-09-29 一种基于注意力机制实现端到端的森林火灾检测算法

Country Status (1)

Country Link
CN (1) CN115512225A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824462A (zh) * 2023-08-30 2023-09-29 贵州省林业科学研究院 一种基于视频卫星的森林智能防火方法
CN117893613A (zh) * 2024-03-15 2024-04-16 泉州装备制造研究所 一种托盘位姿估计方法、系统及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824462A (zh) * 2023-08-30 2023-09-29 贵州省林业科学研究院 一种基于视频卫星的森林智能防火方法
CN116824462B (zh) * 2023-08-30 2023-11-07 贵州省林业科学研究院 一种基于视频卫星的森林智能防火方法
CN117893613A (zh) * 2024-03-15 2024-04-16 泉州装备制造研究所 一种托盘位姿估计方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN115512225A (zh) 一种基于注意力机制实现端到端的森林火灾检测算法
CN107808133B (zh) 基于无人机巡线的油气管道安全监测方法、系统及软件存储器
CN114445706A (zh) 一种基于特征融合的输电线路目标检测与识别方法
CN112581443A (zh) 一种风力发电机叶片表面损伤轻量化识别方法
CN110706211A (zh) 基于卷积神经网络的铁路路基病害雷达图实时检测方法
CN111738206A (zh) 基于CenterNet的用于无人机巡检的挖掘机检测方法
CN116385958A (zh) 一种用于电网巡检和监控的边缘智能检测方法
CN115294520A (zh) 一种基于卷积神经网络的烟火检测方法
CN113569672A (zh) 轻量级目标检测与故障识别方法、装置及系统
CN115761627A (zh) 一种火灾烟雾火焰图像识别方法
CN114494908A (zh) 一种基于改进的YOLOv5输电线路航拍图像缺陷检测方法
CN114140750A (zh) 一种基于YOLOv4-Tiny的加油站安全帽佩戴实时检测方法
CN113569981A (zh) 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法
CN114399734A (zh) 一种基于视觉信息的森林火灾预警方法
CN111353412B (zh) 端到端的3D-CapsNet火焰检测方法及装置
CN113160117A (zh) 一种自动驾驶场景下的三维点云目标检测方法
CN117011772A (zh) 一种输电线路的风险提示方法、装置和存储介质
CN112085096A (zh) 一种基于迁移学习的物体局部异常发热检测的方法
CN116824330A (zh) 一种基于深度学习的小样本跨域目标检测方法
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
Huang et al. Exploring various applicable techniques to detect smoke on the satellite images
CN113591685B (zh) 一种基于多尺度池化的地理对象空间关系识别方法及系统
CN114998686A (zh) 烟雾检测模型构建方法、装置、设备、介质及检测方法
CN114359797A (zh) 一种基于gan网络的工地夜间异常实时检测方法
CN116682070B (zh) 复杂场景下危险气体泄漏红外视频检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination