CN117253031B - 一种基于多元复合深度学习的森林火灾监测方法 - Google Patents
一种基于多元复合深度学习的森林火灾监测方法 Download PDFInfo
- Publication number
- CN117253031B CN117253031B CN202311524112.2A CN202311524112A CN117253031B CN 117253031 B CN117253031 B CN 117253031B CN 202311524112 A CN202311524112 A CN 202311524112A CN 117253031 B CN117253031 B CN 117253031B
- Authority
- CN
- China
- Prior art keywords
- fire
- module
- time
- real
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012544 monitoring process Methods 0.000 title claims abstract description 37
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 239000002131 composite material Substances 0.000 title claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000011161 development Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 13
- 101000799969 Escherichia coli (strain K12) Alpha-2-macroglobulin Proteins 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000007246 mechanism Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000556 factor analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
- Y02A40/28—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于多元复合深度学习的森林火灾监测方法，包括以下步骤：S1、采集历史火灾图片生成历史火灾数据集；S2、使用历史火灾数据集训练YOLO‑V8卷积神经网络模型得到森林火灾检测模型；S3、采集实时火灾图片，将实时火灾图片输入至森林火灾检测模型；S4、通过时空卷积网络提取检测出的森林火灾图片的时空特征；S5、输出实时火灾图片对应的森林火灾种类和火灾发展阶段。本发明有益效果：通过将实时火灾图片输入至森林火灾检测模型预测出森林火灾的发展阶段，便于后续采取相应的灭火措施，提高了灭火效率。
Description
技术领域
本发明属于森林火灾监测技术领域，尤其是涉及一种基于多元复合深度学习的森林火灾监测方法。
背景技术
随着气候暖干化现象日益严重，人类活动对森林干扰持续增加，多方因素导致森林火灾频发，对于森林火灾的类型、火灾发展阶段进行监测对于火灾扑救有着重要的意义。
近年来，物联网、大数据和以机器学习为代表的人工智能技术的快速发展，为森林火灾的监测预警提供了契机。当前对于森林多类型火灾的监测方法主要采用基于历史森林火灾数据、物联网数据、地理环境数据等，采用物联网数据传输关键技术、频谱分析技术、机器学习算法等建立森林火灾检测模型，当前的检测模型存在以下问题：第一，偏重数据统计，轻森林火灾演化规律：采用历史火灾数据与地理数据进行火险因子分析，使得对于尚未发生或鲜有发生火灾的森林区域适用性较差；且森林地区地理数据通常更新周期较长，无法完成和历史森林火灾的时间尺度完成匹配。第二，极易受到环境噪声影响：在采用噪声频谱分析技术进行森林火灾分类时，火灾噪声频谱趋势线在受到环境噪声影响时极易改变振幅走向，造成分类错误。第三，现有技术主要侧重对森林火灾的分类，但对不同类型的森林火灾的发展阶段尚未进行有效判断。
发明内容
有鉴于此，本发明旨在提出一种基于多元复合深度学习的森林火灾监测方法，以期解决上述部分技术问题中的至少之一。
为达到上述目的，本发明的技术方案是这样实现的：
本发明第一方面提供了一种基于多元复合深度学习的森林火灾监测方法，包括以下步骤：
S1、采集历史火灾图片生成历史火灾数据集；
S2、使用历史火灾数据集训练YOLO-V8卷积神经网络模型得到森林火灾检测模型；
S3、采集实时火灾图片，将实时火灾图片输入至森林火灾检测模型；
S4、通过时空积网络提取S3中识别出火灾种类的实时火灾图片的时空特征；
S5、输出实时火灾图片对应的火灾种类和火灾发展阶段。
进一步的，所述S1中，通过多维信息地基传感器阵列获取监控图像信息，收集整理带有火灾的监控图像信息并截取不同场景下的历史火灾图片，使用Labelme软件对图片进行数据标注历史火灾图片的火灾类型，将标注完毕的历史火灾图片生成历史火灾数据集；
历史火灾数据集按照6:4比例分为训练集和测试集；
采集实时火灾图片的过程如下：通过多维信息地基传感器阵列获取监控图像信息，收集整理带有火灾的监控图像信息并截取不同场景下的实时火灾图片；
监控图像信息包括红外图像信息、热像图信息、可见光图像信息。
进一步的，所述YOLO-V8卷积神经网络模型包括输入端、骨干网络Backbone、Neck模块和输出端；
所述输入端包括：
马赛克数据增强模块：其被配置为将多张火灾图片拼接成一个大火灾图片；
自适应锚框计算模块：其被配置为根据数据集的特征分布，计算锚框的大小和比例；
自适应灰度填充模块：其被配置为对输入图像进行灰度填充，以保持输入图像的大小一致性；
所述骨干网络Backbone包括：
Conv模块：其被配置为提取图像的低级和中级特征。
C2f模块：其被配置为对残差特征进行学习的主要模块，通过更多的分支跨层连接，丰富模型的梯度流，提高特征表示能力。
SPPF模块：其被配置为实现空间金字塔池化特征，在不同尺度上提取特征；
所述Neck模块采用PAN结构，通过多个子分支的特征融合，整合不同尺度的特征信息；
所述输出端将分类和检测过程进行解耦，主要包括损失计算和目标检测框筛选；
损失计算用于计算预测框和真实框之间的损失，包括分类损失和边界框回归损失；
目标检测框筛选根据阈值和非极大值抑制算法，筛选出具有高置信度的目标检测框。
进一步的，所述YOLO-V8卷积神经网络模型还包括ECAM结构，ECAM结构包括：高效通道注意力模块，其被配置为通过全局平均池化操作获取通道的全局平均特征向量，通过全连接层将全局平均特征向量映射到一个维度，并再映射回原始维度，得到通道注意力权重；
协调空间注意力模块，其被配置为在水平和垂直方向上对每个通道进行特征编码。
进一步的，所述S3中采集实时火灾图片，将实时火灾图片输入至森林火灾检测模型，输出实时火灾图片对应的火灾种类。
进一步的，所述S4中通过时空卷积网络提取S3中识别出火灾种类的实时火灾图片的时空特征，在时空卷积网络结构之前增加图神经网络结构来表现像素之间的关系；
时空卷积网络的每个基本单元均包括一个空间图卷积模块和一个时间图卷积模块。
进一步的，在空间图卷积层中加入图注意力模块，图注意力模块根据火灾趋势样本计算出图注意力矩阵；
在空间图卷积层后添加通道注意力模块，注意力模块的工作流程如下：
A1、对输入数据进行降维或压缩的操作，将输入矩阵转换为矩阵Z；
A2、全连接层将矩阵Z作为输入，并应用权重矩阵W1和W2进行计算，得到输出矩阵S；
A3、将输出矩阵S与原始输入进行相乘，并通过残差方式相加。
本发明第二方面提供了一种电子设备，包括处理器以及与处理器通信连接，且用于存储所述处理器可执行指令的存储器，所述处理器用于执行上述第一方面所述的方法。
本发明第三方面提供了一种服务器，包括至少一个处理器，以及与所述处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，以使所述至少一个处理器执行如第一方面所述的方法。
本发明第四方面提供了一种计算机可读取存储介质，存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现第一方面所述的方法。
相对于现有技术，本发明所述的一种基于多元复合深度学习的森林火灾监测方法具有以下有益效果：
（1）本发明所述的一种基于多元复合深度学习的森林火灾监测方法，通过将实时火灾图片输入至森林火灾检测模型预测出森林火灾的发展阶段，便于后续采取相应的灭火措施，提高了灭火效率。
（2）本发明所述的一种基于多元复合深度学习的森林火灾监测方法，不需要过度依赖历史火灾数据以及区域、时间限制，采用图像检测方法，降低背景环境干扰，使得训练出的森林火灾检测模型更加具有普适性。
（3）本发明所述的一种基于多元复合深度学习的森林火灾监测方法，为了降低模糊背景对森林火灾检测造成的干扰，抑制冗余和干扰信息，提高模型对森林火灾检测及其分类的准确率，在原始骨干网络中引入了ECAM注意力机制，提高了模型对重要特征的关注程度，降低模型的复杂度，也在准确定位森林火灾时保留精确的位置信息。
（4）本发明所述的一种基于多元复合深度学习的森林火灾监测方法，在进行森林火灾发展阶段判定时，时空卷积网络（ST-GCN）中引入多注意力机制，有效地增强了模型特征提取的能力，进一步提高了对不同类型森林火灾的发展阶段的预测结果。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的森林火灾监测方法流程示意图；
图2为本发明实施例所述的ECAM注意力机制结构示意图；
图3为本发明实施例所述的空间图卷积层中加入图注意力模块结构示意图；
图4为本发明实施例所述的通道注意力模块结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
实施例一：
如图1所示，一种基于多元复合深度学习的森林火灾监测方法，包括以下步骤：
S1、采集历史火灾图片生成历史火灾数据集；
S1中，通过多维信息地基传感器阵列获取监控图像信息，收集整理带有火灾的监控图像信息并截取不同场景下的历史火灾图片，使用Labelme软件对图片进行数据标注历史火灾图片的火灾类型，将标注完毕的历史火灾图片生成历史火灾数据集；
历史火灾数据集按照6:4比例分为训练集和测试集；
采集实时火灾图片的过程如下：通过多维信息地基传感器阵列获取监控图像信息，收集整理带有火灾的监控图像信息并截取不同场景下的实时火灾图片；
监控图像信息包括红外图像信息、热像图信息、可见光图像信息。
S2、使用历史火灾数据集训练YOLO-V8卷积神经网络模型得到森林火灾检测模型；
S3、采集实时火灾图片，将实时火灾图片输入至森林火灾检测模型，输出实时火灾图片对应的火灾种类；
S4、通过时空积网络提取S3中识别出火灾种类的实时火灾图片的时空特征；
S5、输出实时火灾图片对应的火灾发展阶段。
YOLO-V8卷积神经网络模型包括输入端、骨干网络Backbone、Neck模块和输出端；
输入端包括：
马赛克数据增强模块：其被配置为将多张火灾图片拼接成一个大火灾图片；增加训练数据的多样性和模型的鲁棒性；
自适应锚框计算模块：其被配置为根据数据集的特征分布，计算锚框的大小和比例；以增加训练数据的多样性和模型的鲁棒性。
自适应灰度填充模块：其被配置为对输入图像进行灰度填充，以保持输入图像的大小一致性；以保持输入图像的大小一致性。
骨干网络Backbone包括：
Conv模块：其被配置为提取图像的低级和中级特征。
C2f模块：其被配置为对残差特征进行学习的主要模块，通过更多的分支跨层连接，丰富模型的梯度流，提高特征表示能力。
SPPF模块：其被配置为实现空间金字塔池化特征，在不同尺度上提取特征；增强YOLO-V8卷积神经网络模型对不同尺度对象的感知能力。
Neck模块采用PAN结构，通过多个子分支的特征融合，整合不同尺度的特征信息；用于增强网络对不同缩放尺度对象特征融合的能力。
输出端将分类和检测过程进行解耦，主要包括损失计算和目标检测框筛选；
损失计算用于计算预测框和真实框之间的损失，包括分类损失和边界框回归损失；
使用SIOU作为检测框回归损失函数，即
；
其中，SIOU损失为USIO，距离损失为、形状损失为/>、IOU损失为UIO；
目标检测框筛选根据阈值和非极大值抑制算法，筛选出具有高置信度的目标检测框。
如图2所示，YOLO-V8卷积神经网络模型还包括ECAM结构。
ECAM结构包括：高效通道注意力模块，其被配置为通过全局平均池化操作获取通道的全局平均特征向量，通过全连接层将全局平均特征向量映射到一个维度，并再映射回原始维度，得到通道注意力权重；
高效通道注意力模块ECAB使用通道注意力学习不同特征通道之间的相关性，提高模型对重要特征的关注程度；通过自适应选择一维卷积核大小的方法，实现局部通道的高效交互，降低模型的复杂度。
对于给定特征张量为；
其中，C为通道，H为高度，W为宽度；
高效通道注意力模块的输出为，表达式如下：
；
式中：G为全局平均池化；C1为一维卷积；为sigmoid函数。
协调空间注意力模块，其被配置为在水平和垂直方向上对每个通道进行特征编码。协调空间注意力模块将空间注意力分解为两个一维特征编码过程，分别沿着两个空间方向聚合特征，在准确定位森林火灾时保留精确的位置信息。给定输入X，首先使用大小为（H,1）和（1，W）的池化核分别沿水平和垂直方向对每个通道进行编码，第c个通道在h和w处的编码输出和/>；
；
给定输入X，CSAB（Channel and Spatial Attention Block）首先使用大小为（H,1）和（1,W）的池化核分别沿水平和垂直方向对每个通道进行编码。对于第c个通道在位置(h,w)，编码输出可以通过以下方式计算：
水平方向编码输出代码为：E_h(c, h, w) = \sum_{i=1}^{H} X(c, i, w) / H；
垂直方向编码输出代码为：E_w(c, h, w) = \sum_{j=1}^{W} X(c, h, j) / W；
其中，X(c, i, w)表示输入张量X中第c个通道在位置(i,w)的值，X(c, h, j)表示输入张量X中第c个通道在位置(h,j)的值。
通过这样的编码过程，CSAB能够分别在水平和垂直方向上对每个通道进行特征编码，以保留精确的位置信息。这有助于准确定位森林火灾等任务中的目标位置，并提供更精细的空间注意力机制。
通过ECAM注意力机制，可以在特征提取过程中对通道和空间维度进行加权，提高重要特征的表达能力，并抑制冗余和干扰信息。这有助于提高森林火灾检测的准确度和鲁棒性。
S3中采集实时火灾图片，将实时火灾图片输入至森林火灾检测模型，输出实时火灾图片对应的火灾种类。
S4中通过时空卷积网络提取S3中识别出火灾种类的实时火灾图片的时空特征，在时空卷积网络结构之前增加图神经网络结构来表现像素之间的关系；
时空卷积网络的每个基本单元均包括一个空间图卷积模块和一个时间图卷积模块。
其中空间图卷积模块：空间图卷积模块用于提取空间特征。它包含以下组件：
空间图卷积层：用于在空间维度上进行卷积操作，通过聚合邻居节点的特征来更新节点的表示。这一层的输出是对空间维度上的特征进行卷积后的结果。
批标准化层：用于提高模型的训练速度和稳定性，将输入数据进行标准化处理。
ReLU激活函数层：用于引入非线性变换，增加模型的表达能力。
时间图卷积模块：时间图卷积模块与空间图卷积模块类似，用于提取时间特征。它包含以下组件：
时间图卷积层：用于在时间维度上进行卷积操作，通过聚合邻居节点的特征来更新节点的表示。这一层的输出是对时间维度上的特征进行卷积后的结果。
批标准化层：用于提高模型的训练速度和稳定性，将输入数据进行标准化处理。
ReLU激活函数层：用于引入非线性变换，增加模型的表达能力。
通过空间图卷积模块和时间图卷积模块的组合，ST-GCN能够同时提取空间和时间特征，从而实现对时空数据的特征提取和分析。
如图3所示，在空间图卷积层中加入图注意力模块，图注意力模块根据火灾趋势样本计算出图注意力矩阵；
如图4所示，在空间图卷积层后添加通道注意力模块，注意力模块根据火灾趋势样本计算出图注意力矩阵，使模型不仅可以学习网络的参数，还可以优化连通图，以得到更适合描述火灾发展阶段的图结构，从而能够更好地进行阶段预测。具体来说，加入图注意力模块后，空间图卷积公式可表示为：
；
其中，是一个数据驱动图矩阵，B为图注意力矩阵，/>是卷积层对应的权重矩阵， />是卷积核大小，k表示对图划分为k个子集，/>是输入的特征映射，/>是输出的特征映射。
注意力模块的工作流程如下：
A1、对输入数据进行降维或压缩的操作，将输入矩阵转换为矩阵Z；
A2、全连接层将矩阵Z作为输入，并应用权重矩阵W1和W2进行计算，得到输出矩阵S；
A3、将输出矩阵S与原始输入进行相乘，并通过残差方式相加。
有效地增强了模型特征提取的能力，进一步提高了对森林火灾发展阶段预测的结果。
本法发明的有益效果：
不需要过度依赖历史火灾数据以及区域、时间限制，采用图像检测方法，降低背景环境干扰，使得训练出的森林火灾检测模型更加具有普适性。
为了降低模糊背景对森林火灾检测造成的干扰，抑制冗余和干扰信息，提高模型对森林火灾检测及其分类的准确率，在原始骨干网络中引入了ECAM注意力机制，提高了模型对重要特征的关注程度，降低模型的复杂度，也在准确定位森林火灾时保留精确的位置信息。
在进行森林火灾发展阶段判定时，时空卷积网络（ST-GCN）中引入多注意力机制，有效地增强了模型特征提取的能力，进一步提高了对不同类型森林火灾的发展阶段的预测结果。
实施例二：
一种电子设备，包括处理器以及与处理器通信连接，且用于存储处理器可执行指令的存储器，处理器用于执行上述实施例一的方法。
实施例三：
一种服务器，包括至少一个处理器，以及与处理器通信连接的存储器，存储器存储有可被至少一个处理器执行的指令，指令被处理器执行，以使至少一个处理器执行如实施例一的方法。
实施例四：
一种计算机可读取存储介质，存储有计算机程序，其特征在于：计算机程序被处理器执行时实现实施例一的方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和系统，可以通过其它的方式实现。例如，以上所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。上述单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于多元复合深度学习的森林火灾监测方法，其特征在于，包括以下步骤：
S1、采集历史火灾图片生成历史火灾数据集；
S2、使用历史火灾数据集训练YOLO-V8卷积神经网络模型得到森林火灾检测模型；
S3、采集实时火灾图片，将实时火灾图片输入至森林火灾检测模型，输出实时火灾图片对应的火灾种类；
S4、通过时空卷积网络提取S3中识别出火灾种类的实时火灾图片的时空特征，在时空卷积网络结构之前增加图神经网络结构来表现像素之间的关系，时空卷积网络的每个基本单元均包括一个空间图卷积模块和一个时间图卷积模块，在空间图卷积层中加入图注意力模块，图注意力模块根据火灾趋势样本计算出图注意力矩阵；
S5、输出实时火灾图片对应的火灾发展阶段；
YOLO-V8卷积神经网络模型包括输入端、骨干网络Backbone、Neck模块、输出端、ECAM结构；
ECAM结构包括：高效通道注意力模块，其被配置为通过全局平均池化操作获取通道的全局平均特征向量，通过全连接层将全局平均特征向量映射到一个维度，并再映射回原始维度，得到通道注意力权重，高效通道注意力模块ECAB使用通道注意力学习不同特征通道之间的相关性，提高模型对重要特征的关注程度，通过自适应选择一维卷积核大小的方法，实现局部通道的高效交互，降低模型的复杂度；
协调空间注意力模块，其被配置为在水平和垂直方向上对每个通道进行特征编码，协调空间注意力模块将空间注意力分解为两个一维特征编码过程，分别沿着两个空间方向聚合特征，在准确定位森林火灾时保留精确的位置信息。
2.根据权利要求1所述的一种基于多元复合深度学习的森林火灾监测方法，其特征在于：所述S1中，通过多维信息地基传感器阵列获取监控图像信息，收集整理带有火灾的监控图像信息并截取不同场景下的历史火灾图片，使用Labelme软件对图片进行数据标注历史火灾图片的火灾类型，将标注完毕的历史火灾图片生成历史火灾数据集；
历史火灾数据集按照6:4比例分为训练集和测试集；
采集实时火灾图片的过程如下：通过多维信息地基传感器阵列获取监控图像信息，收集整理带有火灾的监控图像信息并截取不同场景下的实时火灾图片；
监控图像信息包括红外图像信息、热像图信息、可见光图像信息。
3.根据权利要求1所述的一种基于多元复合深度学习的森林火灾监测方法，其特征在于：
所述输入端包括：
马赛克数据增强模块：其被配置为将多张火灾图片拼接成一个大火灾图片；
自适应锚框计算模块：其被配置为根据数据集的特征分布，计算锚框的大小和比例；
自适应灰度填充模块：其被配置为对输入图像进行灰度填充，以保持输入图像的大小一致性；
所述骨干网络Backbone包括：
Conv模块：其被配置为提取图像的低级和中级特征；
C2f模块：其被配置为对残差特征进行学习的主要模块，通过更多的分支跨层连接，丰富模型的梯度流，提高特征表示能力；
SPPF模块：其被配置为实现空间金字塔池化特征，在不同尺度上提取特征；
所述Neck模块采用PAN结构，通过多个子分支的特征融合，整合不同尺度的特征信息；
所述输出端将分类和检测过程进行解耦，包括损失计算和目标检测框筛选；
损失计算用于计算预测框和真实框之间的损失，包括分类损失和边界框回归损失；
目标检测框筛选根据阈值和非极大值抑制算法，筛选出具有高置信度的目标检测框。
4.根据权利要求1所述的一种基于多元复合深度学习的森林火灾监测方法，其特征在于：所述S3中采集实时火灾图片，将实时火灾图片输入至森林火灾检测模型，输出实时火灾图片对应的火灾种类。
5.根据权利要求1所述的一种基于多元复合深度学习的森林火灾监测方法，其特征在于：
在空间图卷积层后添加通道注意力模块，注意力模块的工作流程如下：
A1、对输入数据进行降维或压缩的操作，将输入矩阵转换为矩阵Z；
A2、全连接层将矩阵Z作为输入，并应用权重矩阵W1和W2进行计算，得到输出矩阵S；
A3、将输出矩阵S与原始输入进行相乘，并通过残差方式相加。
6.一种电子设备，包括处理器以及与处理器通信连接，且用于存储所述处理器可执行指令的存储器，其特征在于：所述处理器用于执行上述权利要求1-5任一所述的方法。
7.一种服务器，其特征在于：包括至少一个处理器，以及与所述处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，以使所述至少一个处理器执行如权利要求1-5任一所述的方法。
8.一种计算机可读取存储介质，存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311524112.2A CN117253031B (zh) | 2023-11-16 | 2023-11-16 | 一种基于多元复合深度学习的森林火灾监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311524112.2A CN117253031B (zh) | 2023-11-16 | 2023-11-16 | 一种基于多元复合深度学习的森林火灾监测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117253031A CN117253031A (zh) | 2023-12-19 |
| CN117253031B true CN117253031B (zh) | 2024-01-30 |
Family
ID=89126707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311524112.2A Active CN117253031B (zh) | 2023-11-16 | 2023-11-16 | 一种基于多元复合深度学习的森林火灾监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117253031B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117933085B (zh) * | 2024-01-30 | 2024-06-11 | 北京中卓时代消防装备科技有限公司 | 一种基于大数据的火灾蔓延模拟模型训练方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109522819A (zh) * | 2018-10-29 | 2019-03-26 | 西安交通大学 | 一种基于深度学习的火灾图像识别方法 |
| CN113657150A (zh) * | 2021-07-07 | 2021-11-16 | 浙江大华技术股份有限公司 | 一种跌倒检测方法、装置和计算机可读存储介质 |
| CN114399734A (zh) * | 2022-01-17 | 2022-04-26 | 三峡大学 | 一种基于视觉信息的森林火灾预警方法 |
| CN115223198A (zh) * | 2022-07-05 | 2022-10-21 | 深圳职业技术学院 | 一种猪只行为识别方法、系统、计算机设备和存储介质 |
| CN116152662A (zh) * | 2023-02-24 | 2023-05-23 | 昆明理工大学 | 一种森林火灾烟雾探测方法和系统 |
-
2023
- 2023-11-16 CN CN202311524112.2A patent/CN117253031B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109522819A (zh) * | 2018-10-29 | 2019-03-26 | 西安交通大学 | 一种基于深度学习的火灾图像识别方法 |
| CN113657150A (zh) * | 2021-07-07 | 2021-11-16 | 浙江大华技术股份有限公司 | 一种跌倒检测方法、装置和计算机可读存储介质 |
| CN114399734A (zh) * | 2022-01-17 | 2022-04-26 | 三峡大学 | 一种基于视觉信息的森林火灾预警方法 |
| CN115223198A (zh) * | 2022-07-05 | 2022-10-21 | 深圳职业技术学院 | 一种猪只行为识别方法、系统、计算机设备和存储介质 |
| CN116152662A (zh) * | 2023-02-24 | 2023-05-23 | 昆明理工大学 | 一种森林火灾烟雾探测方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117253031A (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112052886A (zh) | 基于卷积神经网络的人体动作姿态智能估计方法及装置 | |
| CN117253031B (zh) | 一种基于多元复合深度学习的森林火灾监测方法 | |
| CN110135319A (zh) | 一种异常行为检测方法及其系统 | |
| CN112562255B (zh) | 微光环境下电缆沟道烟雾火情的智能图像检测方法 | |
| CN112419202B (zh) | 基于大数据及深度学习的野生动物图像自动识别系统 | |
| CN114821204B (zh) | 一种基于元学习嵌入半监督学习图像分类方法与系统 | |
| CN115331172A (zh) | 一种基于监控视频的车间危险行为识别报警方法及系统 | |
| CN113988357B (zh) | 基于深度学习的高层建筑风致响应预测方法及装置 | |
| KR20180123810A (ko) | Ｘ-Ｒａｙ 의료 영상 판독을 위한 데이터 심화학습 처리 기술 및 그 방법 | |
| CN114897728A (zh) | 图像增强方法、装置、终端设备以及存储介质 | |
| CN114782892A (zh) | 违规行为目标检测方法、装置、设备及存储介质 | |
| CN116469007A (zh) | 森林火灾识别方法 | |
| CN101184235B (zh) | 一种从运动图像中提取背景图像的实现方法及装置 | |
| CN115409697A (zh) | 一种图像处理方法及相关装置 | |
| CN115358952B (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| JPWO2021181627A5 (ja) | 画像処理装置、画像認識システム、画像処理方法および画像処理プログラム | |
| CN116844041A (zh) | 一种基于双向卷积时间自注意力机制的耕地提取方法 | |
| CN116385281A (zh) | 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法 | |
| CN112861135B (zh) | 基于注意力机制的恶意代码检测方法 | |
| CN114998930A (zh) | 重遮挡图像集生成及重遮挡人体目标模型训练方法 | |
| Ung et al. | Leverage Samples with Single Positive Labels to Train CNN-based Models For Multi-label Plant Species Prediction. | |
| CN113256556A (zh) | 一种图像选择方法及装置 | |
| CN113128525A (zh) | 一种荒漠草原种群斑块识别的控制装置及方法 | |
| CN114120056A (zh) | 小目标识别方法、装置、电子设备、介质及产品 | |
| CN114764902A (zh) | 一种行为识别方法、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |