CN112989932A - 基于改进原型网络的少样本森林火灾烟雾识别方法及装置 - Google Patents

基于改进原型网络的少样本森林火灾烟雾识别方法及装置 Download PDF

Info

Publication number
CN112989932A
CN112989932A CN202110161965.9A CN202110161965A CN112989932A CN 112989932 A CN112989932 A CN 112989932A CN 202110161965 A CN202110161965 A CN 202110161965A CN 112989932 A CN112989932 A CN 112989932A
Authority
CN
China
Prior art keywords
image
module
sample
few
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110161965.9A
Other languages
English (en)
Inventor
张军国
胡春鹤
李婷婷
柴垒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Forestry University
Original Assignee
Beijing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Forestry University filed Critical Beijing Forestry University
Priority to CN202110161965.9A priority Critical patent/CN112989932A/zh
Publication of CN112989932A publication Critical patent/CN112989932A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Abstract

本发明实施例公开了一种基于改进原型网络的少样本森林火灾烟雾识别方法及装置。方法包括：训练少样本检测网络模型；获取测试数据集，并将其划分为支持图像集和查询图像集；将支持图像集和查询图像集输入少样本网络模型进行特征识别，得到图像特征向量；计算图像特征向量的欧式距离，并根据欧式距离计算图像在每一个类上的概率，得到分类结果，从而完成图像的森林火灾烟雾识别；通过所述图像输出模块输出查询图像集中每一图像的分类结果。实施本发明实施例，针对少样本数据集(仅包括烟、云、雾、树及悬崖等)，设计了基于改进原型网络的森林火灾烟雾检测网络，在保证准确率的前提下，降低了检测的误报率。

Description

基于改进原型网络的少样本森林火灾烟雾识别方法及装置
技术领域
本发明涉及人工智能在森林火灾烟雾检测中的应用技术领域，具体涉及一种基于改进原型网络的少样本森林火灾烟雾识别方法及装置。
背景技术
森林火灾是最严重的自然灾害之一，具有突发性强、破坏性大、传播速度快等特点。图像处理以及深度学习技术的发展使得早期森林火灾自动检测成为可能。相比于传统的机器学习算法，深度卷积神经网络能够克服人工提取低层烟雾数据特征存在的准确率较低的问题，在特征提取的过程中提取到深层以及具有鉴别力的烟雾图像特征，从而提高检测的准确率。
然而由于复杂的背景环境以及疑似烟雾区域如：云、雾、霾等影响，森林火灾烟雾检测的误报率居高不下。某一地区真实森林火灾烟雾图像数据有限，而卷积神经网络大多依赖大量的训练数据，过少的数据会导致训练过拟合，从而影响检测模型的性能。
综上可知，传统卷积神经网络算法在使用大量数据训练时有较好的检测效果，对于少量训练数据集的情况，往往会产生过拟合的问题。当前可获得的有效的森林火灾烟雾图像数据样本量较为有限，无法满足大样本数据量要求的检测算法。与此同时，由于森林火灾烟雾背景复杂，且存在较多的干扰项，以往的算法的检测结果会存在高误报率的问题。
发明内容
针对现有技术中的技术缺陷，本发明实施例的目的在于提供一种基于改进原型网络的少样本森林火灾烟雾识别方法及装置。
第一方面，本发明实施例提供了一种基于改进原型网络的少样本森林火灾烟雾识别方法，包括：
训练少样本检测网络模型，所述少样本检测网络模型包括依次连接的输入模块、目标特征提取模块、元学习模块及输出模块；
获取测试数据集，并将所述测试数据集划分为支持图像集和查询图像集；所述测试数据集中的图像包括烟、云、雾、树及悬崖；
将所述支持图像集和查询图像集输入训练好的所述少样本检测网络模型，采用所述输入模块及目标特征提取模块进行处理，得到支持图像特征向量和查询图像特征向量；
通过元学习模块进行处理，计算所述支持图像特征向量和查询图像特征向量的欧式距离，并根据所述欧式距离计算所述查询图像集中每一图像在每一个类上的概率，得到分类结果，从而完成所述查询图像集中每一图像的森林火灾烟雾识别；
通过所述图像输出模块输出所述查询图像集中每一图像的分类结果。
在本申请的一种具体实施方式中，训练少样本检测网络模型具体为：
数据集建立：获取训练数据集，并将所述训练数据集划分为支持样本和查询样本；所述训练数据集包括miniImageNet中的数据，共95类，且所述训练数据集中不含有所述测试数据集的类别；
模型搭建：构建所述少样本检测网络模型，该模型中的目标特征提取模块有原始特征提取模块和注意力机制模块结合所得；
模型训练及优化：采用miniImageNet中的数据对少样本检测网络模型进行训练及优化；
模型评估：采用5-way平均准确率对所述少样本检测网络模型进行评估，同时使用准确率(AR)、误报率(FAR)、烟雾准确率(DR)、召回率(RR)和F1值对森林火灾烟雾数据集检测结果进行评估。
其中，所述原始特征提取模块包括四个卷积块，每一个卷积块包括卷积层、激活层、池化层，所述注意力机制模块包括通道注意力模块和空间注意力模块。
进一步地，在本申请的一优选实施方式中，所述方法包括：
将所述原始特征提取模块中的第一和第四卷积块卷积层后增加所述注意力机制模块，得到所述目标特征提取模块。
在本申请的一具体实施方式中，得到支持向量和查询向量具体包括：
将所述支持图像集中的支持图像和所述查询图像集中的查询图像输入所述输入模块；
采用引入注意力机制的所述目标特征提取模块对所述支持图像和查询图像进行特征提取，得到图像特征向量；
采用所述元学习模块对图像特征向量进行欧氏距离计算，得到查询图像集中每一图像在每一个类上的概率，得到分类结果。
进一步地，在本申请的一优选实施方式中，所述方法包括：
采用5-way平均准确率、准确率、误报率、烟雾准确率及召回率对所述分类结果进行评估。
第二方面，本发明实施例提供了一种基于改进原型网络的少样本森林火灾烟雾识别装置，包括：
训练单元，用于训练少样本检测网络模型，所述少样本检测网络模型包括依次连接的输入模块、目标特征提取模块、元学习模块及输出模块；
获取单元，用于获取测试数据集，并将所述测试数据集划分为支持图像集和查询图像集；所述测试数据集中的图像包括烟、云、雾、树及悬崖；
检测单元，用于：
将所述支持图像集和查询图像集输入训练好的所述少样本检测网络模型，采用所述输入模块及目标特征提取模块进行处理，得到支持图像特征向量和查询图像特征向量；
通过元学习模块进行处理，计算所述支持图像特征向量和查询图像特征向量的欧式距离，并根据所述欧式距离计算所述查询图像集中每一图像在每一个类上的概率，得到分类结果，从而完成所述查询图像集中每一图像的森林火灾烟雾识别；
通过所述图像输出模块输出所述查询图像集中每一图像的分类结果。
第三方面，本发明实施例提供了另一种基于改进原型网络的少样本森林火灾烟雾识别装置，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面所述的方法。
与现有技术相比，实施本发明实施例，针对少样本数据集(仅包括烟、云、雾、树及悬崖等)，设计了基于改进原型网络的森林火灾烟雾检测网络，在保证准确率的前提下，降低了检测的误报率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明基于改进原型网络的少样本森林火灾烟雾识别方法的流程图；
图2是少样本检测模型的训练流程图；
图3是网络模型架构图；
图4是原始特征提取模块结构图；
图5是卷积注意模块(CBAM)结构图；
图6是目标特征提取模块结构图；
图7是本发明基于改进原型网络的少样本森林火灾烟雾识别装置的一种结构图；
图8是本发明基于改进原型网络的少样本森林火灾烟雾识别装置的另一种结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，本发明实施例提供的基于改进原型网络的少样本森林火灾烟雾识别方法主要包括：
S101，训练少样本检测网络模型。
其中，所述少样本检测网络模型包括依次连接的输入模块、目标特征提取模块、元学习模块及输出模块。
具体地，如图2所示，少样本检测网络模型的建立主要包括以下四个步骤：
一、数据集建立
获取样本数据集，包括公开数据集、网络数据集和视频监控等。该样本数据集中的图片包括基础图像及烟、云、雾、树、悬崖等的图像，基础图像指的是烟、云、雾、树及悬崖图像以外的其他类别的图像。
二、网络模型构建
构建的网络模型如图3所示，其主要包括以下部分：
1、图像输入模块
该部分的输入数据分为支持样本和查询样本两部分，由对样本数据集进行划分所得。
2、特征提取模块
该部分可以用于提取更深层次和更具有辨别性的目标特征，结构如图4所示，使用了4个卷积块，每一个卷积块包含卷积层、激活层及池化层。
3、卷积注意模块(CBMA)
该部分为了在特征提取阶段关注更有效的目标特征，其结构如图5所示。
在图5中，CBAM模块包括两个部分，分别是通道注意力模块和空间注意力模块。特征的每一个通道都代表着一个专门的检测器，通道注意力模块关注什么样的特征是有意义的。通道注意力模型能够利用特征间的内在通道关系，空间注意力模型能够利用特征间的内在空间关系。这两个模块可以通过并行或者顺序的方式组合在一起，其中经过实验，将通道注意力放在前面能够取得更好的效果。
将卷积模块输出的特征图F∈RC×H×W作为输入，其中C表示特征图的通道数，H表示特征图的高，W表示特征图的宽，CBAM可以以此获得一个一维通道注意力图MC∈RC×1×1和一个二维空间注意力图MS∈R1×H×W。注意力处理过程如下公式所示：
F1＝MC(F)⊙F
F2＝MS(F1)⊙F1
其中⊙表示哈达玛积(Hadmard product)。在多通道过程中，能够相应的改变空间维度：通道的结果能够沿着空间维度传播。其中F1是经过通道注意力模块和原输出特征整合后的输出特征，F2是经过空间注意力模块和原输出特征整合后输出特征。
1)通道注意力模块
为了有效地计算通道的注意力，需要压缩输入特征图的空间维数。首先使用平均池化和最大池化操作来聚合特征映射的空间信息,生成两个不同的空间上下文描述符：
Figure BDA0002937009650000061
和
Figure BDA0002937009650000062
分别表示平均池化和最大池化。两个描述符同时通道一个共享网络MLP，以产生通道注意力图MC∈RC×1×1。共享网络由多层感知机和一个隐藏层组成。为了减少共享网络的参数，隐藏层的激活大小被设置为RC/r×1×1，其中r是压缩率。最后将通道注意力图逐元素求和合并输出向量得到F1。通道注意力模块的具体计算过程如下：
Figure BDA0002937009650000063
其中σ表示网络的激活函数，W0∈RC/r×C和W1∈RC×C/r表示网络需要学习的参数
1)空间注意力模块
利用特征间的空间关系，可以生成空间注意图。空间注意力可以看做是对通道注意力的补充。为了计算空间注意力，首先在通道轴上应用平均池化和最大池化运算，并将它们连接起来以审查各行一个有效的特征描述符。使用两个池化操作来聚合功能映射的通道信息，生成两个二维映射平均池化
Figure BDA0002937009650000071
和最大池化
Figure BDA0002937009650000072
然后在串联特征描述符上应用一个标准的卷积层和一个7×7卷积混合，生成二维空间注意力图MS∈RH×W。空间注意力模块的具体计算过程如下：
Figure BDA0002937009650000073
其中σ表示网络的激活函数，f表示卷积。将以上特征提取模块和注意力机制模块结合构成新的特征提取模块，如图6所示。该新的特征提取模块包含4个卷积块，第1和4分别加入CBAM。经过实验，发现将CBAM共同作用于第1和4个卷积块所得到的测试结果最好。
需要说明的是，结合前述描述可知，原始特征提取模块包括4个卷积块，本发明引入注意力机制，将原始特征提取模块中的第一和第四卷积块卷积层后增加所述注意力机制模块，得到目标特征提取模块。
4、元学习模块
该模型使用特征提取网络和注意力机制模型对支持图像和查询图像进行特征提取，对支持图像进行类原型计算。从支持图像中获得其类原型和矩阵空间，通过使用欧式距离计算类原型与查询图像特征的距离进行类别判定。每一个类原型支持样本的平均向量可由以下公式计算得出：
Figure BDA0002937009650000074
其中Sk1表示类标记为k1的实例样本集，F3(xi)表示支持图像经特征提取网络输出的支持图像特征向量。每个类
Figure BDA0002937009650000081
的类原型表达和查询样本
Figure BDA0002937009650000082
的特征表达能够通过本发明中基于注意力机制的神经网络所分类。
对于查询样本q，可以计算其每一个类上的概率，公式如下：
Figure BDA0002937009650000083
其中d(·,·)表示两个向量的欧式距离。
5、输出模块
该部分输出查询图像的分类结果及测试集的平均准确率。
三、训练及优化
模型的学习过程通过Adam优化器得到最小化的真实类别k1的log-probabilityJ＝-logp(y＝k1|q)。训练的过程如下：随机从训练集选择一个类别的子集，然后在能够作为支持集的集合中选择一个子集样本，再在剩余的查询样本中选择一个子集。训练中的损失函数J表达式如下：
Figure BDA0002937009650000084
其中NC是每一个过程的类的数量，NS和NQ分别是每个类中支持样本和查询样本的数量。
即，根据支持样本和查询样本对所述少样本检测网络模型进行训练及优化。
四、模型评估
采用5-way平均准确率对所述少样本检测网络模型进行评估，同时使用准确率(AR)、误报率(FAR)、烟雾准确率(DR)、召回率(RR)和F1值对森林火灾烟雾数据集检测结果进行评估。
需要说明的是，本发明的上述卷积神经网络模型在训练和验证时，使用的是miniImageNet中的数据，共95类，每类样本600张，在后续的测试阶段使用的是森林火灾烟雾数据集(包括烟、云、雾、树和悬崖)，且训练数据集中不含有测试数据集的类别。
S102，获取测试数据集，并将所述测试数据集划分为支持图像集和查询图像集。
其中，所述测试数据集中的图像仅包括烟、云、雾、树及悬崖。
具体地，该测试数据集包括公开数据集、网络数据收集、视频监控等。这些数据集中的图像可以分为以下5类：烟、云、雾、树、悬崖，每类各600张图像，共计3000张图像。对比传统数据集，在烟雾图像的基础上增加云、树、悬崖等干扰项，可以提供更加模拟真实森林火灾烟雾的复杂背景的场景，提高算法针对复杂背景场景下的测试结果。
S103，将所述支持图像集和查询图像集输入训练好的所述少样本检测网络模型，采用所述输入模块及目标特征提取模块进行处理，得到支持图像特征向量和查询图像特征向量。
S104，通过元学习模块进行处理，计算所述支持图像特征向量和查询图像特征向量的欧式距离，并根据所述欧式距离计算所述查询图像集中每一图像在每一个类上的概率，得到分类结果，从而完成所述查询图像集中每一图像的森林火灾烟雾识别。
S105，通过所述图像输出模块输出所述查询图像集中每一图像的分类结果。
进一步地，本发明的方法还使用准确率(AR)、误报率(FAR)、烟雾准确率(DR)、召回率(RR)和F1-score(F1)值对森林火灾烟雾数据集检测结果进行评估公式如下：
Figure BDA0002937009650000091
Figure BDA0002937009650000092
Figure BDA0002937009650000093
Figure BDA0002937009650000094
Figure BDA0002937009650000101
其中，TP表示正样本集中分类正确的样本数量，TN表示负样本集中分类正确的样本数量，FN表示负样本集中分类错误的样本数量，FP表示正样本集中分类错误的样本数量。
Figure BDA0002937009650000102
如上表所示，分别使用欧式距离和余弦距离对原型网络以及改进的原型网络进行测试。通过比较余弦距离和欧式距离对少样本森林火灾烟雾检测模型的影响。对于原型网络，使用欧式距离比使用余弦距离的准确率高5％。对于改进的原型网络，使用欧式距离比使用余弦距离的准确率高出7％。因此使用欧式距离对类原型和查询特征进行计算，从而提高检测结果的准确率。
在上表中，5-way表示测试集包含五个类别，5-shot表示使用五个支持图像计算出一个类原型。
使用上述基于改进原型网络的少样本检测模型，对森林火灾烟雾数据集进行测试，对比结果如下：
Figure BDA0002937009650000103
对比原型网络方法，本发明中的方法准确率有所提升，误报率有所下降，烟雾检测准确率为84％，比原型网络提高9％。
综上所述，本发明的方法主要优点如下：
(1)在测试数据集中增加了疑似烟雾干扰项，能够更准确地反映真实森林火灾环境。
(2)针对疑似烟雾干扰以及复杂背景的问题，提出一种基于混合注意力机制的图像特征提取模块，从而可以提高森林火灾烟雾识别的准确性。
(3)针对某一地区真实森林火灾烟雾数据集有限的问题，提出一种基于原型网络的元学习模块，从而可以提高森林火灾烟雾识别的准确性。
(4)结合(2)和(3)提出了一种基于改进原型网络的少样本森林火灾烟雾识别方法，在保证准确率的前提下，降低了检测的误报率。
基于相同的发明构思，本发明实施例还提供了一种基于改进原型网络的少样本森林火灾烟雾识别装置。如图7所示，该装置包括：
训练单元10，用于训练少样本检测网络模型，所述少样本检测网络模型包括依次连接的输入模块、目标特征提取模块、元学习模块及输出模块；
获取单元11，用于获取测试数据集，并将所述测试数据集划分为支持图像集和查询图像集；所述测试数据集中的图像包括烟、云、雾、树及悬崖；
检测单元12，用于：
将所述支持图像集和查询图像集输入训练好的所述少样本检测网络模型，采用所述输入模块及目标特征提取模块进行处理，得到支持图像特征向量和查询图像特征向量；
通过元学习模块进行处理，计算所述支持图像特征向量和查询图像特征向量的欧式距离，并根据所述欧式距离计算所述查询图像集中每一图像在每一个类上的概率，得到分类结果，从而完成所述查询图像集中每一图像的森林火灾烟雾识别；
通过所述图像输出模块输出所述查询图像集中每一图像的分类结果。
其中，训练单元10主要用于：
建立数据集：获取训练数据集，并将所述训练数据集划分为支持样本和查询样本；所述训练数据集包括miniImageNet中的数据，共95类，且所述训练数据集中不含有所述测试数据集的类别；
搭建模型：构建所述少样本检测网络模型，该模型中的目标特征提取模块由原始特征提取模块和注意力机制模块结合所得；
训练及优化模型：采用miniImageNet中的数据对少样本检测网络模型进行训练及优化；
评估模型：采用5-way平均准确率对所述少样本能检测网络模型进行评估，同时使用准确率(AR)、误报率(FAR)、烟雾准确率(DR)、召回率(RR)和F1值对森林火灾烟雾数据集检测结果进行评估。
进一步地，检测单元12还用于：
将所述支持图像集中的支持图像和所述查询图像集中的查询图像输入所述输入模块；
采用引入注意力机制的所述目标特征提取模块对所述支持图像和查询图像进行特征提取，得到图像特征向量；
采用所述元学习模块对图像特征向量进行欧氏距离计算，得到查询图像集中每一图像在每一个类上的概率，得到分类结果。
进一步地，检测单元12还用于：
采用准确率、误报率、烟雾准确率及召回率对所述测试集分类结果进行评估。
可选地，本发明实施例还提供了另一种基于改进原型网络的少样本森林火灾烟雾识别装置。如图8所示，该装置可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行上述基于改进原型网络的少样本森林火灾烟雾识别方法实施例部分的方法。
应当理解，在本发明实施例中，所称处理器101可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备102可以包括键盘等，输出设备103可以包括显示器(LCD等)、扬声器等。
该存储器104可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明实施例提供的基于改进原型网络的少样本森林火灾烟雾识别方法的实施例中所描述的实现方式，在此不再赘述。
进一步地，本发明实施例还提供了一种可读存储介质，存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：上述基于改进原型网络的少样本森林火灾烟雾识别方法。
所述计算机可读存储介质可以是前述实施例所述的电子设备的内部存储单元，例如系统的硬盘或内存。所述计算机可读存储介质也可以是所述系统的外部存储设备，例如所述系统上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述系统的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述系统所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种基于改进原型网络的少样本森林火灾烟雾识别方法，其特征在于，包括：
训练少样本检测网络模型，所述少样本检测网络模型包括依次连接的输入模块、目标特征提取模块、元学习模块及输出模块；
获取测试数据集，并将所述测试数据集划分为支持图像集和查询图像集；所述测试数据集中的图像包括烟、云、雾、树及悬崖；
将所述支持图像集和查询图像集输入训练好的所述少样本检测网络模型，采用所述输入模块及目标特征提取模块进行处理，得到支持图像特征向量和查询图像特征向量；
通过元学习模块进行处理，计算所述支持图像特征向量和查询图像特征向量的欧式距离，并根据所述欧式距离计算所述查询图像集中每一图像在每一个类上的概率，得到分类结果，从而完成所述查询图像集中每一图像的森林火灾烟雾识别；
通过所述图像输出模块输出所述查询图像集中每一图像的分类结果。
2.如权利要求1所述的少样本森林火灾烟雾识别方法，其特征在于，训练少样本检测网络模型具体为：
数据集建立：获取训练数据集，并将所述训练数据集划分为支持样本和查询样本；所述训练数据集包括miniImageNet中的数据，共95类，且所述训练数据集中不含有所述测试数据集的类别；
模型搭建：构建所述少样本检测网络模型，该模型中的目标特征提取模块由原始特征提取模块和注意力机制模块结合所得；
模型训练及优化：采用miniImageNet中的数据对少样本检测网络模型进行训练及优化；
模型评估：采用5-way平均准确率对所述少样本检测网络模型进行评估，同时使用准确率(AR)、误报率(FAR)、烟雾准确率(DR)、召回率(RR)和F1值对森林火灾烟雾数据集检测结果进行评估。
3.如权利要求2中的少样本森林火灾烟雾识别方法，其特征在于，所述原始特征提取模块包括四个卷积块，每一个卷积块包括卷积层、激活层、池化层，所述注意力机制模块包括通道注意力模块和空间注意力模块；所述方法包括：
在所述原始特征提取模块中的第一和第四卷积块卷积层后增加所述注意力机制模块，得到新的卷积块，从而构成所述目标特征提取模块。
4.如权利要求3所述的少样本森林火灾烟雾识别方法，其特征在于，所述方法具体包括：
将所述支持图像集中的支持图像和所述查询图像集中的查询图像输入所述输入模块；
采用引入注意力机制的所述目标特征提取模块对所述支持图像和查询图像进行特征提取，得到图像特征向量；
采用所述元学习模块对图像特征向量进行欧氏距离计算，得到查询图像集中每一图像在每一个类上的概率，得到分类结果。
5.如权利要求1所述的少样本森林火灾烟雾识别方法，其特征在于，所述方法还包括：
采用5-way平均准确率、准确率、误报率、烟雾准确率及召回率对所述分类结果进行评估。
6.一种基于改进原型网络的少样本森林火灾烟雾识别装置，其特征在于，包括：
训练单元，用于训练少样本检测网络模型，所述少样本检测网络模型包括依次连接的输入模块、目标特征提取模块、元学习模块及输出模块；
获取单元，用于获取测试数据集，并将所述测试数据集划分为支持图像集和查询图像集；所述测试数据集中的图像包括烟、云、雾、树及悬崖；
检测单元，用于：
将所述支持图像集和查询图像集输入训练好的所述少样本检测网络模型，采用所述输入模块及目标特征提取模块进行处理，得到支持图像特征向量和查询图像特征向量；
通过元学习模块进行处理，计算所述支持图像特征向量和查询图像特征向量的欧式距离，并根据所述欧式距离计算所述查询图像集中每一图像在每一个类上的概率，得到分类结果，从而完成所述查询图像集中每一图像的森林火灾烟雾识别；
通过所述图像输出模块输出所述查询图像集中每一图像的分类结果。
7.如权利要求6所述的少样本森林火灾烟雾识别装置，其特征在于，所述训练单元用于：
建立数据集：获取训练数据集，并将所述训练数据集划分为支持样本和查询样本；所述训练数据集包括miniImageNet中的数据，共95类，且所述训练数据集中不含有所述测试数据集的类别；
搭建模型：构建所述少样本检测网络模型，该模型中的目标特征提取模块由原始特征提取模块和注意力机制模块结合所得；
训练及优化模型：采用miniImageNet中的数据对少样本检测网络模型进行训练及优化；
评估模型：采用5-way平均准确率对所述少样本检测网络模型进行评估，同时使用准确率(AR)、误报率(FAR)、烟雾准确率(DR)、召回率(RR)和F1值对森林火灾烟雾数据集检测结果进行评估。
8.如权利要求6所述的少样本森林火灾烟雾识别装置，其特征在于，所述检测单元还用于：
将所述支持图像集中的支持图像和所述查询图像集中的查询图像输入所述输入模块；
采用引入注意力机制的所述目标特征提取模块对所述支持图像和查询图像进行特征提取，得到图像特征向量；
采用所述元学习模块对图像特征向量进行欧氏距离计算，得到查询图像集中每一图像在每一个类上的概率，得到分类结果。
9.一种基于改进原型网络的少样本森林火灾烟雾识别装置，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-5任一项所述的方法。
CN202110161965.9A 2021-02-05 2021-02-05 基于改进原型网络的少样本森林火灾烟雾识别方法及装置 Pending CN112989932A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110161965.9A CN112989932A (zh) 2021-02-05 2021-02-05 基于改进原型网络的少样本森林火灾烟雾识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110161965.9A CN112989932A (zh) 2021-02-05 2021-02-05 基于改进原型网络的少样本森林火灾烟雾识别方法及装置

Publications (1)

Publication Number Publication Date
CN112989932A true CN112989932A (zh) 2021-06-18

Family

ID=76348157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110161965.9A Pending CN112989932A (zh) 2021-02-05 2021-02-05 基于改进原型网络的少样本森林火灾烟雾识别方法及装置

Country Status (1)

Country Link
CN (1) CN112989932A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837048A (zh) * 2021-09-17 2021-12-24 南京信息工程大学 基于少样本注意力的车辆重识别方法
CN115424404A (zh) * 2022-09-06 2022-12-02 湖南省永神科技有限公司 一种具有火灾报警功能的照明系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409256A (zh) * 2018-10-10 2019-03-01 东南大学 一种基于3d卷积神经网络的森林烟火检测方法
CN111860660A (zh) * 2020-07-24 2020-10-30 辽宁工程技术大学 基于改进高斯网络的小样本学习垃圾分类方法
CN111881957A (zh) * 2020-07-15 2020-11-03 中国科学院自动化研究所 基于信息导向注意力网络的图像识别方法、系统及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409256A (zh) * 2018-10-10 2019-03-01 东南大学 一种基于3d卷积神经网络的森林烟火检测方法
CN111881957A (zh) * 2020-07-15 2020-11-03 中国科学院自动化研究所 基于信息导向注意力网络的图像识别方法、系统及装置
CN111860660A (zh) * 2020-07-24 2020-10-30 辽宁工程技术大学 基于改进高斯网络的小样本学习垃圾分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SANGHYUN WOO ETC.: "\"CBAM:Convolutional Block Attention Module\"", 《ARXIV:1807.06521V2[CS.CV]》 *
汪荣贵等: ""多级注意力特征网络的小样本学习"", 《电子与信息学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837048A (zh) * 2021-09-17 2021-12-24 南京信息工程大学 基于少样本注意力的车辆重识别方法
CN113837048B (zh) * 2021-09-17 2023-08-01 南京信息工程大学 基于少样本注意力的车辆重识别方法
CN115424404A (zh) * 2022-09-06 2022-12-02 湖南省永神科技有限公司 一种具有火灾报警功能的照明系统

Similar Documents

Publication Publication Date Title
CN108875732B (zh) 模型训练与实例分割方法、装置和系统及存储介质
CN110851835A (zh) 图像模型检测方法、装置、电子设备及存储介质
CN111027576B (zh) 基于协同显著性生成式对抗网络的协同显著性检测方法
CN111104925B (zh) 图像处理方法、装置、存储介质和电子设备
WO2019200702A1 (zh) 去网纹系统训练方法、去网纹方法、装置、设备及介质
CN112989932A (zh) 基于改进原型网络的少样本森林火灾烟雾识别方法及装置
CN113704082A (zh) 模型评测方法、装置、电子设备及存储介质
CN110348434A (zh) 相机来源鉴别方法、系统、存储介质和计算设备
CN114241587B (zh) 人脸活体检测对抗鲁棒性的评估方法及装置
CN114140663A (zh) 一种基于多尺度注意力学习网络的害虫识别方法及系统
CN112418256A (zh) 分类、模型训练、信息搜索方法、系统及设备
CN112818774A (zh) 一种活体检测方法及装置
TWI803243B (zh) 圖像擴增方法、電腦設備及儲存介質
CN112149528A (zh) 一种全景图目标检测方法、系统、介质及设备
CN116188956A (zh) 一种深度伪造人脸图像检测的方法及相关设备
CN115758337A (zh) 基于时序图卷积网络的后门实时监测方法、电子设备、介质
CN115761599A (zh) 一种视频异常检测方法及系统
CN115761888A (zh) 基于nl-c3d模型的塔吊操作人员异常行为检测方法
CN115314239A (zh) 基于多模型融合的隐匿恶意行为的分析方法和相关设备
CN110751065B (zh) 训练数据的采集方法及装置
CN112464810A (zh) 一种基于注意力图的吸烟行为检测方法及装置
CN113536859A (zh) 行为识别模型训练方法、识别方法、装置及存储介质
CN117079336B (zh) 样本分类模型的训练方法、装置、设备及存储介质
CN117333808B (zh) 一种面向轻量化部署的建筑物火灾识别方法及系统
CN117332703B (zh) 人工地震波生成方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination