CN112836608B - 森林火灾源头的估计模型训练方法、估计方法及系统 - Google Patents

森林火灾源头的估计模型训练方法、估计方法及系统 Download PDF

Info

Publication number
CN112836608B
CN112836608B CN202110097330.7A CN202110097330A CN112836608B CN 112836608 B CN112836608 B CN 112836608B CN 202110097330 A CN202110097330 A CN 202110097330A CN 112836608 B CN112836608 B CN 112836608B
Authority
CN
China
Prior art keywords
foreground
forest fire
image
features
dimensional features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110097330.7A
Other languages
English (en)
Other versions
CN112836608A (zh
Inventor
曹毅超
刘建水
李彦
陈斌锋
李溯
封晓强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING ENBO TECHNOLOGY CO LTD
Original Assignee
NANJING ENBO TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING ENBO TECHNOLOGY CO LTD filed Critical NANJING ENBO TECHNOLOGY CO LTD
Priority to CN202110097330.7A priority Critical patent/CN112836608B/zh
Publication of CN112836608A publication Critical patent/CN112836608A/zh
Application granted granted Critical
Publication of CN112836608B publication Critical patent/CN112836608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种森林火灾源头的估计模型训练方法、估计方法及系统，属于计算机视觉和森林烟火视频监测领域。本发明的估计模型包括主干网络、前景特征增强模块、多帧特征融合模块，训练模型时包括构建森林火灾视频样本数据集；对正样本和负样本进行预处理；将经过预处理后的森林火灾视频样本输入主干网络提取图像的高维特征，将高维特征输入前景特征增强模块增强前景特征，输入多帧特征融合模块进行特征融合，融合后进行反卷积操作，将高维特征映射为火灾源头的估计掩码；利用Focal Loss损失函数进行模型参数优化。估计方法采用所训练的模型对森林火灾源头进行估计，并将估计方法部署于估计系统中。本发明能够准确地对森林火灾源头进行识别和估计。

Description

森林火灾源头的估计模型训练方法、估计方法及系统
技术领域
本发明属于计算机视觉和森林烟火视频监测领域，具体涉及一种森林火灾源头的估计模型训练方法、估计方法及系统。
背景技术
森林火灾是指失去人为控制、在林区大范围蔓延，对森林生态系统造成大量损失的林火行为。森林火灾突发性强、破坏性高，是全球发生最频发、破坏最严重、处置最困难的自然灾害之一，是森林资源安全的最大威胁。我国总体上是一个生态脆弱的国家，是一个森林火灾多发的国家，森林防火任务是国家森林资源保护的首要任务，关系到人民生命财产和森林资源的安全。近年来随着计算机性能的进步和GPU的迅速崛起，计算机视觉技术获得了长足发展，以深度神经网络为代表的图像处理方法在目标检测、动作识别、超分辨率等领域获得了巨大成功，基于计算机视觉的林火监测技术的识别能力正处于新的快速发展阶段。
在森林火灾检测的过程中，森林火灾发生后的火点视觉定位问题是森林火灾监测系统中的重要环节，能否对视频中产生大面积烟雾的火灾源头进行自动精确定位是非常重要的。由于火灾发生后，由于地理环境的遮挡，以及光照等原因，在火灾发生后，可能火灾监控系统只能拍摄到大面积的烟雾，而不能及时发现火灾源头，导致消防人员无法及时赶到火灾发生位置，从而造成大量的损失。
现有技术中有很多基于计算机视觉以及深度学习技术进行森林火灾检测的方法，在这些方法中，一部分是通过检测烟雾，来确定是否发生森林火灾，例如申请号为201811271332.8的中国专利公开了一种基于深度学习的火灾图像识别方法，该专利通过对检测火灾产生的烟雾实现森林火灾的识别；部分方法是通过识别火焰和烟雾的方法来实现森林火灾的识别，例如申请号为201910750219.6的中国专利公开了一种森林火灾的监测方法、装置、设备和系统。但是，这些方法都难以准确地对森林火灾发生的源头进行有效识别和估计。
发明内容
技术问题：本发明针对现有的森林火灾识别方法难以对火灾源头进行准确识别和估计的问题，提供一种森林火灾源头的估计模型训练方法，并且利用该训练方法所训练出的估计模型，提供一种森林火灾源头的估计方法及系统，本发明能够对森林火灾的源头进行估计，从而准确确定火灾发生位置，及时扑灭火灾。
技术方案：本发明的森林火灾源头的估计模型训练方法，其中，估计模型包括主干网络、前景特征增强模块、多帧特征融合模块，该方法包括：
构建森林火灾视频样本数据集，将收集的森林火灾视频样本进行分类，其中，有火灾产生的视频样本作为正样本，无火灾产生的视频样本作为负样本；
对正样本和负样本进行预处理；
将经过预处理后的森林火灾视频样本输入主干网络提取图像的高维特征，将高维特征输入前景特征增强模块增强前景特征，输入多帧特征融合模块进行特征融合，融合后进行反卷积操作，将高维特征映射为火灾源头的估计掩码；
利用Focal Loss损失函数进行模型参数优化，得到最优的森林火灾源头估计模型。
进一步地，对正样本进行预处理的方法为：
将每个正样本制作成为包括T帧的图像序列，每帧图像高度为H，宽度为W，对于每个图像序列，准备大小相同的全为0的掩码，将火灾发生的像素区域人工标注为1，利用高斯函数对标注为1的像素区域进行扩张；
对负样本的预处理方法为：
将每个负样本制作称为包括T帧的图像序列，每帧图像高度为H，宽度为W。
进一步地，高维特征在前景特征增强模块中进行前景特征增强的方法包括：
计算T帧图像的高维特征的均值xbg，计算公式为：
Figure BDA0002914886810000021
其中，xt表示t时刻图像的高维特征，并以xbg作为图像序列的背景特征；
计算图像序列在高维空间上的前景特征zt，计算公式为：zt＝xt-xbg，对各通道进行求和，得到
Figure BDA0002914886810000022
计算前景注意力掩码At，计算公式为：
Figure BDA0002914886810000023
其中，σ(·)为sigmoid激活函数，δ(·)是ReLu激活函数，
Figure BDA0002914886810000024
是前景特征增强模块中的可学习参数，Conv(·)表示卷积计算过程；
计算增强后的前景特征
Figure BDA0002914886810000031
计算公式为：
Figure BDA0002914886810000032
进一步地，主干网络为Resnet、MobileNet、DenseNet或ResNext。
进一步地，多帧特征融合模块为Concat层。
本发明的森林火灾源头估计方法，包括：
获取森林火灾视频图像；
将森林火灾视频图像处理成为若干图像序列，每个图像序列包括T帧，每帧图像的高度为H，宽度为W；
将图像序列输入采用所述的估计模型训练方法训练好的模型中，利用主干网络提取图像的高维特征，将高维特征输入前景特征增强模块进行前景特征增强，输入多帧特征融合模块进行特征融合，然后进行反卷积操作，将高维特征映射为火灾源头的估计掩码。
进一步地，高维特征在前景特征增强模块中进行前景特征增强的方法包括：
计算T帧图像的高维特征的均值xbg，计算公式为：
Figure BDA0002914886810000033
其中，xt表示t时刻图像的高维特征，并以xbg作为图像序列的背景特征；
计算图像序列在高维空间上的前景特征zt，计算公式为：zt＝xt-xbg，对各通道进行求和，得到
Figure BDA0002914886810000034
计算前景注意力掩码At，计算公式为：
Figure BDA0002914886810000035
其中，σ(·)为sigmoid激活函数，δ(·)是ReLu激活函数，
Figure BDA0002914886810000036
是前景特征增强模块中的可学习参数，Conv(·)表示卷积计算过程；
计算增强后的前景特征
Figure BDA0002914886810000037
计算公式为：
Figure BDA0002914886810000038
进一步地，主干网络为Resnet、MobileNet、DenseNet或ResNext。
进一步地，多帧特征融合模块为Concat层，将多帧特征在时间维度上进行堆叠。
本发明的森林火灾源头的估计系统，利用所述的估计方法对森林火灾源头进行估计。
有益效果：本发明与现有技术相比，具有以下优点：
(1)现有的森林火灾识别方法中，多利用卷积神经网络进行目标识别，而通常的卷积神经网络在识别烟火等半透明目标时，往往会因为目标的边缘、纹理、形状的不确定性，造成漏报或误报，导致识别的准确率较低。本发明所提供的森林火灾源头的估计模型训练方法，利用高斯函数夸张的方法对正样本进行标注，降低了模型收敛的难度，减少了正负样本的比例悬殊导致训练出的模型准确性差的问题；利用前景特征增强模块将前景特征增强，从而在卷积神经网络的计算过程中，对时间维度上的特征进行背景建模，凸显出变化的前景特征，从而提升了对烟火目标的识别能力，从而使得训练出能够更好的识别出森林火灾源头的模型。
(2)本发明的所提出的森林火灾源头估计方法，利用所提出的模型训练方法对估计模型进行训练，从而能够准确地识别出在森林火灾源头。该估计方法，利用前景特征增强模块将前景特征增强，从而在卷积神经网络的计算过程中，对时间维度上的特征进行背景建模，凸显出变化的前景特征，提升了对烟火目标的识别能力，减少了因为识别的目标不确定的问题导致的漏报和误报，从而提高了识别准确率。同时，本发明的森林火灾源头估计方法，实现了森林火灾源头的识别和估计，从而快速识别第对着火点进行低昂为，促进了森林防火的数字化和智能化提升，对森林火灾监测的相应速度具有重要意义。
(3)本发明所提供的森林火灾源头的估计系统，可以快速准确地识别出森林火灾源头，判断出森林起火位置，从而使得消防人员能够快速响应，及早地将火灾扑灭，减少损失。
附图说明
图1为本发明的森林火灾估计模型的结构图；
图2为本发明的森林火灾源头的估计模型训练方法的流程图；
图3为本发明中对正样本进行标注的示例图；
图4为本发明的前景特征增强模块的结构图；
图5为本发明前景特征增强的流程图；
图6为本发明的实施例中的空间注意力效果图；
图7为本发明的森林火灾源头的估计方法的流程图。
具体实施方式
下面结合实施例和说明书附图对本发明作进一步的说明。
结合图1所示，本发明的森林火灾源头的估计模型包括主干网络、前景特征增强模块、多帧特征融合模块，其中主干网络用于特征提取，在本发明的实施例中，主干网络利用的是现有的卷积神经网络模型，如Resnet、MobileNet、DenseNet或ResNext等，当然，本领域技术人员根据专业知识，也可采用其他的卷积神经网络模型进行替换。用xt表示t时刻的高维特征，f(·)表示主干网络计算过程，Ft表示t时刻的输入图像，Wθ表示主干网络可训练参数，则通过主干网络，实现xt＝f(Ft,Wθ)。特征提取计算中，卷积神经网络的主干模型是权值共享的，所有的图像序列到特征变换基于相同的映射关系。
对于前景特征增强模块的作用是能够将图像中的疑似烟火区域更加凸显，从而便于更加准确地识别估计，对于其结构，下文会通过前景特征增强模块的内部计算过程进行说明。
多帧特征融合模块的作用是能将特征进行时间上的堆叠，从而实现特征的融合，在本发明的实施例中，前景特征增强模块为Concat层，利用Concat方法，实现多帧特征的融合。
为了使得森林火灾源头估计模型能够具有更高的准确性，在进行部署前必须进行训练，因此，本发明提供了一种森林火灾源头的估计模型训练方法，如图2所示，该训练方法包括：
S100：构建森林火灾视频样本数据集，将收集的森林火灾视频样本进行分类，其中，有火灾产生的视频样本作为正样本，无火灾产生的视频样本作为负样本。在构建森林火灾视频样本数据集时，可基于森林烟火视频监控系统，通过手工收集或者现有的林火视频监控系统自动收集。
S110：对正样本和负样本进行预处理。因为火灾源头估计的任务是建立从输入图像序列FT×3×H×W到源头掩码的映射关系
Figure BDA0002914886810000051
其中F为输入图像，T为图像帧数，H和W分别为图像的高度和宽度，m为期望得到的火灾源头掩码图，其尺寸和输入图像一致，因此在本发明的实施例中，对于正样本的处理方法为：将每个正样本制作成为包括T帧的图像序列，每帧图像高度为H，宽度为W，其中，T＝8,H＝224,W＝224。对于每个图像序列，准备大小相同的全为0的掩码，将火灾发生的像素区域人工标注为1，利用高斯函数对标注为1的像素区域进行扩张。高斯函数扩展的作用在于降低模型收敛的难度，一定程度上降低正负样本的比例悬殊，对模型加以引导。如图3所示，第一列为原始图像，第二列为人工标注的掩码，第三列为高斯函数扩张后的标注掩码。
S120：将经过预处理后的森林火灾视频样本输入主干网络提取图像的高维特征，即实现xt＝f(Ft,Wθ)的过程。
S130：将高维特征输入前景特征增强模块增强前景特征；结合图4和图5所示，高维特征在前景特征增强模块中进行前景特征增强的方法为：
S131：计算T帧图像的高维特征的均值xbg，计算公式为：
Figure BDA0002914886810000061
其中，xt表示t时刻图像的高维特征，并以xbg作为图像序列的背景特征。
S132：计算图像序列在高维空间上的前景特征zt，在序列数据中，前景特征与烟火目标有强相关性，是火灾源头估计模型需要重点关注的信息，具体的计算公式为：
zt＝xt-xbg，
并对各通道进行求和，得到
Figure BDA0002914886810000062
S133：计算前景注意力掩码At，计算公式为：
Figure BDA0002914886810000063
其中，σ(·)为sigmoid激活函数，δ(·)是ReLu激活函数，
Figure BDA0002914886810000064
是前景特征增强模块中的可学习参数，Conv(·)表示卷积计算过程。
S134：计算增强后的前景特征
Figure BDA0002914886810000065
得到前景注意力掩码At之后，需要对网络中的高维特征进行调节，得到通过前景注意力增强后的高维特征表示，从而能进一步凸显烟雾所在空间的特征表示，具体的计算公式为：
Figure BDA0002914886810000066
需要注意的是，这里的At针对的每张输入图像，即不同时刻的空间注意力是有变化的，在本发明的一个实施例中，空间注意力效果如图6所示。
S140：得到增强后的特征表示
Figure BDA0002914886810000067
后，可以融合多帧图像的特征进行烟火源头预测，在本发明的实施例中，采用上述的Concat方法进行多帧特征融合，将
Figure BDA0002914886810000068
在时间维度上堆叠。
S150：采用标准的反卷积操作实现特征图的尺寸上采样和通道下采样，将高维特征映射为火灾源头估计掩码。
S160：使用FocalLoss损失函数进行模型优化，从而得到最优的模型，用于部署。
现有的森林火灾识别方法中，多利用卷积神经网络进行目标识别，而通常的卷积神经网络在识别烟火等半透明目标时，往往会因为目标的边缘、纹理、形状的不确定性，造成漏报或误报，导致识别的准确率较低。本发明所提供的森林火灾源头的估计模型训练方法，利用高斯函数夸张的方法对正样本进行标注，降低了模型收敛的难度，减少了正负样本的比例悬殊导致训练出的模型准确性差的问题；利用前景特征增强模块将前景特征增强，从而在卷积神经网络的计算过程中，对时间维度上的特征进行背景建模，凸显出变化的前景特征，从而提升了对烟火目标的识别能力，从而使得训练出的模型能够更好的识别出森林火灾的源头。
进一步地，利用所提供的模型训练方法，如图7所示，本发明提供了一种森林火灾源头估计方法，包括：
S200：获取森林火灾视频图像；具体的，可以利用摄像头拍摄森林火灾情况，从而获取森林火灾视频图像。
S210：将森林火灾视频图像处理成为若干图像序列，每个图像序列包括T帧，每帧图像的高度为H，宽度为W；在发明的实施例中，T＝8,H＝224,W＝224。
S220：利用主干网络提取图像的高维特征。
S230：将高维特征输入前景特征增强模块进行前景特征增强，具体过程如步骤S131～S134所述。
S240：输入多帧特征融合模块进行特征融合；如步骤S140，采用Concat方法进行多帧特征融合，将增强后的前景特征在时间维度上堆叠。
S250：反卷积操作实现特征图的尺寸上采样和通道下采样，将高维特征映射为森林火灾源头估计掩码。
本发明的所提出的森林火灾源头估计方法，利用所提出的模型训练方法对估计模型进行训练，从而能够准确地识别出在森林火灾源头。该估计方法，利用前景特征增强模块将前景特征增强，从而在卷积神经网络的计算过程中，对时间维度上的特征进行背景建模，凸显出变化的前景特征，提升了对烟火目标的识别能力，减少了因为识别的目标不确定的问题导致的漏报和误报，从而提高了识别准确率。同时，本发明的森林火灾源头估计方法，实现了森林火灾源头的识别和估计，从而快速识别第对着火点进行低昂为，促进了森林防火的数字化和智能化提升，对森林火灾监测的相应速度具有重要意义。
进一步地，本发明还提供一种森林火灾源头的估计系统，该估计系统利用本发明所提出的估计方法对森林火灾源头进行识别。具体的，可以包括摄像头，用于采集森林火灾图像，对森林情况进行监控；数据处理设备，例如GPU，部署有利用本发明的估计模型训练方法训练出的估计模型，具体地，数据处理模块可以部署在前端，也可以部署在后端，当部署在前端时，摄像头采集的图像直接送入数据处理设备中进行处理；当部署在后端时，摄像头采集的图像通过网络传输到后端，通过后端运算，完成森林火灾源头估计。还可以包括数据库，可以将采集的图像数据保存。
本发明所提供的森林火灾源头的估计系统，可以快速准确地识别出森林火灾源头，判断出森林起火位置，从而使得消防人员能够快速响应，及早地将火灾扑灭，减少损失。
上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims (8)

1.一种森林火灾源头的估计模型训练方法，其特征在于，估计模型包括主干网络、前景特征增强模块、多帧特征融合模块，训练方法包括：
构建森林火灾视频样本数据集，将收集的森林火灾视频样本进行分类，其中，有火灾产生的视频样本作为正样本，无火灾产生的视频样本作为负样本；
对正样本和负样本进行预处理；
将经过预处理后的森林火灾视频样本输入主干网络提取图像的高维特征，将高维特征输入前景特征增强模块增强前景特征，输入多帧特征融合模块进行特征融合，融合后进行反卷积操作，将高维特征映射为火灾源头的估计掩码；高维特征在前景特征增强模块中进行前景特征增强的方法包括：
计算T帧图像的高维特征的均值xbg，计算公式为：
Figure FDA0003207648890000011
其中，xt表示t时刻图像的高维特征，并以xbg作为图像序列的背景特征；
计算图像序列在高维空间上的前景特征zt，计算公式为：zt＝xt-xbg，对各通道进行求和，得到
Figure FDA0003207648890000012
计算前景注意力掩码At，计算公式为：
Figure FDA0003207648890000013
其中，σ(·)为sigmoid激活函数，δ(·)是ReLu激活函数，
Figure FDA0003207648890000014
是前景特征增强模块中的可学习参数，Conv(·)表示卷积计算过程；
计算增强后的前景特征
Figure FDA0003207648890000015
计算公式为：
Figure FDA0003207648890000016
利用FocalLoss损失函数进行模型参数优化，得到最优的森林火灾源头估计模型。
2.根据权利要求1所述的一种森林火灾源头的估计模型训练方法，其特征在于，对正样本进行预处理的方法为：
将每个正样本制作成为包括T帧的图像序列，每帧图像高度为H，宽度为W，对于每个图像序列，准备大小相同的全为0的掩码，将火灾发生的像素区域人工标注为1，利用高斯函数对标注为1的像素区域进行扩张；
对负样本的预处理方法为：
将每个负样本制作称为包括T帧的图像序列，每帧图像高度为H，宽度为W。
3.根据权利要求1或2所述的一种森林火灾源头的估计模型训练方法，其特征在于，主干网络为Resnet、MobileNet、DenseNet或ResNext。
4.根据权利要求3所述的一种森林火灾源头的估计模型训练方法，其特征在于，多帧特征融合模块为Concat层。
5.一种森林火灾源头估计方法，其特征在于，包括：
获取森林火灾视频图像；
将森林火灾视频图像处理成为若干图像序列，每个图像序列包括T帧，每帧图像的高度为H，宽度为W；
将图像序列输入采用权利要求1-4任一项所述的估计模型训练方法训练好的模型中，利用主干网络提取图像的高维特征，将高维特征输入前景特征增强模块进行前景特征增强，输入多帧特征融合模块进行特征融合，然后进行反卷积操作，将高维特征映射为火灾源头的估计掩码；
高维特征在前景特征增强模块中进行前景特征增强的方法包括：
计算T帧图像的高维特征的均值xbg，计算公式为：
Figure FDA0003207648890000021
其中，xt表示t时刻图像的高维特征，并以xbg作为图像序列的背景特征；
计算图像序列在高维空间上的前景特征zt，计算公式为：zt＝xt-xbg，对各通道进行求和，得到
Figure FDA0003207648890000022
计算前景注意力掩码At，计算公式为：
Figure FDA0003207648890000023
其中，σ(·)为sigmoid激活函数，δ(·)是ReLu激活函数，
Figure FDA0003207648890000024
是前景特征增强模块中的可学习参数，Conv(·)表示卷积计算过程；
计算增强后的前景特征
Figure FDA0003207648890000025
计算公式为：
Figure FDA0003207648890000026
6.根据权利要求5所述的一种森林火灾源头估计方法，其特征在于，主干网络为Resnet、MobileNet、DenseNet或ResNext。
7.根据权利要求6所述的一种森林火灾源头估计方法，其特征在于，多帧特征融合模块为Concat层，将多帧特征在时间维度上进行堆叠。
8.一种森林火灾源头的估计系统，其特征在于，利用权利要求5～7任一项所述的估计方法对森林火灾源头进行估计。
CN202110097330.7A 2021-01-25 2021-01-25 森林火灾源头的估计模型训练方法、估计方法及系统 Active CN112836608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110097330.7A CN112836608B (zh) 2021-01-25 2021-01-25 森林火灾源头的估计模型训练方法、估计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110097330.7A CN112836608B (zh) 2021-01-25 2021-01-25 森林火灾源头的估计模型训练方法、估计方法及系统

Publications (2)

Publication Number Publication Date
CN112836608A CN112836608A (zh) 2021-05-25
CN112836608B true CN112836608B (zh) 2021-10-01

Family

ID=75931332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110097330.7A Active CN112836608B (zh) 2021-01-25 2021-01-25 森林火灾源头的估计模型训练方法、估计方法及系统

Country Status (1)

Country Link
CN (1) CN112836608B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688748B (zh) * 2021-08-27 2023-08-18 武汉大千信息技术有限公司 一种火灾检测的模型及方法
CN114157836A (zh) * 2021-11-19 2022-03-08 中国铁塔股份有限公司黑龙江省分公司 基于候选框融合的森林防火调度系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769674A (zh) * 2018-06-27 2018-11-06 北京大学深圳研究生院 一种基于自适应层次化运动建模的视频预测方法
CN110458077A (zh) * 2019-08-05 2019-11-15 高新兴科技集团股份有限公司 一种车辆颜色识别方法及系统
CN111079572A (zh) * 2019-11-29 2020-04-28 南京恩博科技有限公司 一种基于视频理解的森林烟火检测方法、存储介质和设备
CN111292334A (zh) * 2018-12-10 2020-06-16 北京地平线机器人技术研发有限公司 一种全景图像分割方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769674A (zh) * 2018-06-27 2018-11-06 北京大学深圳研究生院 一种基于自适应层次化运动建模的视频预测方法
CN111292334A (zh) * 2018-12-10 2020-06-16 北京地平线机器人技术研发有限公司 一种全景图像分割方法、装置及电子设备
CN110458077A (zh) * 2019-08-05 2019-11-15 高新兴科技集团股份有限公司 一种车辆颜色识别方法及系统
CN111079572A (zh) * 2019-11-29 2020-04-28 南京恩博科技有限公司 一种基于视频理解的森林烟火检测方法、存储介质和设备

Also Published As

Publication number Publication date
CN112836608A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN109409256A (zh) 一种基于3d卷积神经网络的森林烟火检测方法
CN112836608B (zh) 森林火灾源头的估计模型训练方法、估计方法及系统
CN110969205A (zh) 一种基于目标检测的森林烟火检测方法、存储介质和设备
CN111985365A (zh) 一种基于目标检测技术的秸秆焚烧监测方法和系统
CN114863097A (zh) 一种基于注意力机制卷积神经网络的红外弱小目标检测方法
WO2021169049A1 (zh) 一种真实场景下玻璃检测的方法
CN113128481A (zh) 一种人脸活体检测方法、装置、设备及存储介质
CN114399734A (zh) 一种基于视觉信息的森林火灾预警方法
CN116416576A (zh) 基于v3-yolox的烟雾/火焰双光视觉检测方法
CN116206223A (zh) 一种基于无人机边缘计算的火灾检测方法及系统
CN116071676A (zh) 一种基于注意力导向金字塔融合的红外小目标检测方法
CN117671502A (zh) 一种森林火灾检测方法及系统
CN115272882A (zh) 一种基于遥感影像的离散建筑物检测方法及系统
CN112699810B (zh) 一种提升室内监控系统人物识别精度的方法及装置
CN113657233A (zh) 一种基于计算机视觉的无人机森林火灾烟雾探测方法
CN109766780A (zh) 一种基于深度学习的船舶烟雾排放在线检测和追踪方法
CN116226435B (zh) 基于跨模态检索的遥感图像与ais信息的关联匹配方法
CN114821486B (zh) 一种电力作业场景下人员识别方法
CN111783891B (zh) 一种定制化物体检测方法
CN115311601A (zh) 一种基于视频分析技术的火灾探测分析方法
Sun et al. YOLOv7-FIRE: A tiny-fire identification and detection method applied on UAV
CN112905832A (zh) 复杂背景细粒度图像检索系统及方法
CN111274894A (zh) 一种基于改进YOLOv3的人员在岗状态检测方法
CN111382628A (zh) 同行判定方法及相关产品
CN116071624B (zh) 一种基于主动学习的抽烟检测数据标注方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant