CN110309800A - 一种林火烟雾探测方法及装置 - Google Patents

一种林火烟雾探测方法及装置 Download PDF

Info

Publication number
CN110309800A
CN110309800A CN201910604190.0A CN201910604190A CN110309800A CN 110309800 A CN110309800 A CN 110309800A CN 201910604190 A CN201910604190 A CN 201910604190A CN 110309800 A CN110309800 A CN 110309800A
Authority
CN
China
Prior art keywords
power module
attention
channel
image
smog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910604190.0A
Other languages
English (en)
Other versions
CN110309800B (zh
Inventor
宋卫国
巴锐
袁璟
芮雪
张俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201910604190.0A priority Critical patent/CN110309800B/zh
Publication of CN110309800A publication Critical patent/CN110309800A/zh
Application granted granted Critical
Publication of CN110309800B publication Critical patent/CN110309800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种林火烟雾探测方法及装置，该方法通过多种类别的图像集进行训练，多注意力卷积神经网络包括：卷积神经网络的基础模块、至少一个残差注意力模块和至少一个通道‑空间注意力模块；所述通道‑空间注意力模块中包含通道注意力模块和空间注意力模块；通过样本图像集对网络的训练得到训练好的多注意力卷积神经网络，采用该训练好的多注意力卷积神经网络对烟雾进行识别，提高了烟雾识别的准确度，进而提高了林火烟雾预警的准确度。

Description

一种林火烟雾探测方法及装置
技术领域
本发明涉及图像处理领域，尤其涉及一种林火烟雾探测方法及装置
背景技术
森林火灾是一种经常发生，且破坏力强的自然灾害，会对人类生命财产安全、生态系统和环境造成极大的伤害，因此，为了避免由于森林火灾带来的重大损失，对森林火灾的预警非常必要。
森林火灾发生过程中会释放大量的烟雾，虽然森林火灾产生的烟雾会损害空气质量并扰乱大气辐射，但是烟雾作为林火各个阶段的重要产物，可以作为探测森林火灾的信号，即可以通过对烟雾进行分析对森林火灾进行预警。
现有技术中，出现了一些通过对烟雾进行分析，对森林火灾进行预警的方法，例如，人工目视判别法、多波段阈值法等，但是对烟雾的识别准确度不高，因此，亟需研究一种方法提高烟雾识别的准确度，进而提高森林火灾预警的准确度。
发明内容
有鉴于此，本发明实施例公开了一种林火烟雾探测方法及装置，解决了现有技术中烟雾识别准确率低的问题。
本发明实施例公开了一种林火烟雾探测方法的流程示意图，在本实施例中，该方法包括：
获取待识别的图像；
将所述待识别的图像输入到已训练的多注意力卷积神经网络中；所述已训练的多注意力卷积神经网络包括：卷积神经网络的基础模块、至少一个残差注意力模块和至少一个通道-空间注意力模块；所述通道-空间注意力模块中包含通道注意力模块和空间注意力模块；所述多注意力卷积神经网络是通过包含至少两种地物类别的图像集训练后得到的；所述地物类别中包含烟雾类别，和与烟雾具有相似特征的其它类别；
输出所述待识别的图像是否属于烟雾类别的结果。
可选的，还包括：
对所述待识别的图像进行尺寸变换、裁剪和/或翻转；
对所述待识别的图像各通道的像素值进行归一化处理。
可选的，对所述多注意力卷积神经网络进行训练的过程包括：
获取样本数据集；所述样本数据集中包括烟雾类别和与所述烟雾类别具有相似特征的其它类别；
对所述样本数据集中每个图像进行人工判别和分类，并依据分类的结果设置所述样本数据集中每个图像的地物类别标签；
将所述样本数据集和每个图像的类别标签输入到所述多注意力卷积神经网络中，对所述多注意力卷积神经网络进行训练。
可选的，所述与所述烟雾具有相似特征的地物类别包括：烟雾、云、沙尘、雾霾、海岸、陆地中的一个或者多个。
可选的，所述通道注意力模块包括：
全局池化层、至少一个全连接层、sigmoid函数和第一融合模块；
其中，在所述通道注意力模块接收到第一特征图后，将所述第一特征图分别经过全局池化层、至少一个全连接层和sigmoid函数进行处理，得到通道注意力分布，将所述第一特征图和所述通道注意力分布通过所述融合模块进行乘法操作，得到通道注意的结果图。
可选的，所述空间注意力模块包括：
特征处理模块、至少一个全连接层、sigmoid函数和第二融合模块；
其中，在所述空间注意力模块接收到第二特征图后，将第二特征图通过特征处理模块提取每个通道中预设位置处的特征值，得到包含像素特征值的特征值集合，将所述特征值集合分别经过至少一个全连接层和sigmoid函数进行处理后，得到空间注意力分布图，并将所述空间注意力分布图和第二特征图通过第二融合模块进行相乘操作，得到空间注意力结果图。
可选的，所述残差注意力模块包括：
主干分支、软掩膜分支和第三融合模块，所述主干分支中包括至少一个通道-空间注意力模块，所述软掩膜分支中包含至少一个通道-空间注意力模块、池化层、上采样层和激励层；
其中，所述残差注意力模块在接收到第三特征图后，将所述特征图分别通过主干分支和所述软掩膜分支进行处理，得到主干特征图和软掩膜特征图，并将所述主干特征图和所述软掩膜特征图经过所述第三融合模块进行融合处理。
可选的，所述通道-空间注意力模块包括：
通道注意力模块、空间注意力模块和第四融合模块；
所述通道-空间注意力模块接收到第四特征图后，第四特征图分别经过通道注意力模块和空间注意力模块进行处理，得到第五特征图，通过第四融合模块，将所述第五特征图和第四特征图相加。
可选的，还包括：
对卫星影像进行辐射校正和几何校正获得所述样本集中的图像。
本发明实施例还公开了一种林火烟雾探测装置，所述装置包括：
获取单元，用于获取待识别的图像；
识别单元，用于将所述待识别的图像输入到已训练的多注意力卷积神经网络中；所述已训练的多注意力卷积神经网络包括：卷积神经网络的基础模块、至少一个残差注意力模块和至少一个通道-空间注意力模块；所述通道-空间注意力模块中包含通道注意力模块和空间注意力模块；所述多注意力卷积神经网络是通过包含至少两种地物类别的图像集训练后得到的；所述地物类别中包含烟雾类别，和与烟雾具有相似特征的其它类别；
输出单元，用于输出所述待识别的图像是否属于烟雾类别的结果。
本发明实施例公开了一种林火烟雾探测方法，该方法包括：获取待识别的图像；将所述待识别的图像输入到已训练的多注意力卷积神经网络中；已训练的多注意力卷积神经网络包括：卷积神经网络的基础模块、至少一个残差注意力模块和至少一个通道-空间注意力模块；通道-空间注意力模块中包含通道注意力模块和空间注意力模块；多注意力卷积神经网络是通过包含至少两种地物类别的图像集训练后得到的；地物类别中包含烟雾类别，和与烟雾具有相似特征的其它类别；输出所述待识别的图像是否属于烟雾类别的结果。由此可知，将卷积神经网络用于烟雾识别，结合了通道注意力机制、空间注意力机制和残差注意力机制，并且，还对训练样本进行了改进，考虑了与烟雾具有相似特征的地物类别。这样，大大提高了烟雾识别的精度，进而提高了林火烟雾预警的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1示出了本发明实施例提供的一种林火烟雾探测方法的流程示意图；
图2示出了本发明实施例提供的通道-空间注意力模块的一种结构示意图；
图3示出了本发明实施例提供的通道-空间注意力模块的另一种结构示意图；
图4示出了本发明实施例提供的残差模块的一种结构示意图；
图5示出了本发明实施例提供的一种多注意力卷积神经网络的结构示意图；
图6示出了本发明实施例提供的一种多注意力卷积神经网络的训练方法的流程示意图；
图7示出了本发明实施例提供的一种林火烟雾探测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
申请人经研究发现，现有技术中常用的对烟雾进行识别的方法，通常是利用烟雾的特征进行分析，例如，K-means聚类算法、Fisher线性分类器和神经网络等方法均是通过学习不同类别间的特征差异，识别烟雾区域，即利用烟雾和其他类别的不同特征，将图像中烟雾的区域识别出来。但是，由于烟雾的形状、纹理、光谱和颜色等特征与其它的地物，例如云、雾霾、沙尘有很大的相似性，因此，这些方法仅采用某些人工提取的特征进行烟雾识别会导致其识别精度低。并且，还需要知道的是，林火烟雾探测本身就是依靠对烟雾的识别，若烟雾的识别精度低，那么林火烟雾探测的准确度就低，就容易出现误报漏报的问题。
由上述问题可知，提高烟雾识别的精度是当前亟待解决的问题，而卷积神经网络的出现，大大提升了图像分类的精度。并且，申请人经研究发现，火灾烟雾有时只占图像中的一部分区域，因此，图像空间范围上的特征很重要；而且，通过卷积神经网络对图像进行处理时，每个特征图通道上烟雾的特征也会有差别。因此，在卷积神经网络的设计中，考虑图像空间和通道间的权重参数，对提高识别精度非常重要，由此，本发明结合了空间注意力机制和通道注意力机制。除此之外，为了进一步提升本方案对烟雾的识别，还采用残差注意力机制。
申请人研究还发现，烟雾类别与很多地物的特征相似，本方案通过大量的实验筛选出了，极易被混淆的几种地物类别，包括：烟雾、云、沙尘、雾霾、海岸和陆地。本方案中，将这几种地物类别的样本输入到卷积神经网络中进行训练，得到可以识别每种类别的卷积神经网络。
由此可知，本发明将卷积神经网络用于烟雾识别，结合了通道注意力机制、空间注意力机制和残差注意力机制，并且，还对训练样本进行了改进，考虑了与烟雾具有相似特征的地物类别。这样，大大提高了烟雾识别的精度，进而提高了林火烟雾探测的精度。
参考图1，示出了本发明实施例提供的一种林火烟雾探测方法的流程示意图，在本实施例中，该方法包括：
S101：获取待识别的图像；
本实施例中，不同的待识别的图像，可能来自于不同的来源，那么导致图像质量和图像大小都有可能不同，不同形态的图像无法直接在下述多注意力卷积神经网络中应用，需要先将图像进行预处理/或图像增强，例如可以包括如下的方法：
对所述待识别的图像进行尺寸变换、裁剪和/或翻转；
对所述待识别的图像各通道的像素值进行归一化处理。
其中，本实施例中，可以通过尺寸变换和随机裁剪，以及随机水平和竖直翻转，从而达到图像增强的目的。
S102：将所述待识别的图像输入到已训练的多注意力卷积神经网络中；所述已训练的多注意力卷积神经网络包括：卷积神经网络的基础模块、至少一个残差注意力模块和至少一个通道-空间注意力模块；所述通道-空间注意力模块包括通道注意力模块和空间注意力模块；所述多注意力卷积神经网络是通过包含至少两种地物类别的图像集训练后得到的；所述地物类别中包括烟雾类别和与烟雾具有相似特征的其它类别；
本实施例中，多注意力卷积神经网络的结构包括：卷积神经网络的基础模块、至少一个残差注意力模块和至少一个通道-空间注意力模块；所述通道-空间注意力模块包括通道注意力模块和空间注意力模块。
其中，卷积神经网络的基础模块是现有的卷积神经网络的一些基本的模块，例如包括：卷积层、池化层、激励层和全连接层中的一个或者多个。
其中，多注意力卷积神经网络中包括的通道注意力模块、空间注意力模块和残差注意力模块具体结构分别包括：
通道注意力模块包括：
全局池化层、至少一个全连接层、sigmoid函数和第一融合模块；
其中，在所述通道注意力模块接收到第一特征图后，将所述第一特征图分别经过全局池化层、至少一个全连接层和sigmoid函数进行处理，得到通道注意力分布，将所述第一特征图和所述通道注意力分布通过所述融合模块进行乘法操作，得到通道注意的结果图。
空间注意力模块包括：
特征处理模块、至少一个全连接层、sigmoid函数和第二融合模块；
其中，在所述空间注意力模块接收到第二特征图后，将第二特征图通过特征处理模块提取每个通道中预设位置处的特征值，得到包含像素特征值的特征值集合，将所述特征值集合分别经过至少一个全连接层和sigmoid函数进行处理后，得到空间注意力分布图，并将所述空间注意力分布图和第二特征图通过第二融合模块进行相乘操作，得到空间注意力结果图。
其中，通道注意力模块和空间注意力模块组合构成通道-空间注意力模块，具体的，参考图2，通道-空间注意力模块包括：
通道注意力模块、空间注意力模块和第四融合模块
其中，通道-空间注意力模块接收到第四特征图后，第四特征图分别经过通道注意力模块和空间注意力模块进行处理，得到第五特征图，通过第四融合模块，将所述第五特征图和第四特征图相加。
其中，第四特征图可以是对原始图像经过一些卷积操作后得到的，例如可以是经过一些卷积神经网络的基础模块处理后得到的，或者经过其它的通道-空间注意力模块或者残差注意力模块处理后得到的。
举例说明：参考图3，假设原始图像为图像X，对图像X经过一些卷积处理后得到第四特征图，表示为特征图经过通道注意力模块和空间注意力模块后得到特征图将特征图V'与特征图V相加，得到输出结果Y。
除此之外，通道-空间注意力模块还可以包括ReLU函数，将第五特征图V'与特征图V相加后的结果经过ReLU函数后，得到输出结果Y。
其中，针对通道注意力模块和空间注意力模块的处理过程可以包括：
通道注意力模块：
首先对特征图的每个通道采用全局平均池化获得通道特征然后采用两个全连接层和sigmoid函数对Z处理获得通道注意分布最后将M与V相乘得到通道间注意的结果P。
其中，Z可以表示为：式中a,b代表像素位置。
空间注意力模块：
在空间注意力机制的过程中，首先将通道注意力结果P输入到特征处理模块，得到U，其中为每个通道位置j处的特征值，且j的最大值等于W×H。然后采用两个全连接层和sigmoid函数对U处理获得空间注意分布其中ni为特征图通道vi的空间特征分布图。最后将N与V相乘获得空间注意的结果Q，该Q表示通过通道-空间注意力模块处理后得到的特征图
如图4所示，残差注意力模块包括：
主干分支、软掩膜分支和第三融合模块，所述主干分支中包括至少一个通道-空间注意力模块，所述软掩膜分支中包含至少一个通道-空间注意力模块、池化层、上采样层和激励层；
其中，所述残差注意力模块在接收到第三特征图后，将所述特征图分别通过主干分支和所述软掩膜分支进行处理，得到主干特征图和软掩膜特征图，并将所述主干特征图和所述软掩膜特征图经过所述第三融合模块进行融合处理。
需要说明的是，残差注意力模块中，主干分支和软掩膜分支中包含至少一个通道-空间注意力模块，主干分支和软掩膜分支中通道-空间注意力模块的数量可以根据用户的需要进行设置，因此主干分支和软掩膜分支可以包括不同的结构，那么残差注意力模块也具有不同的结构，如图4所示，示出了残差模块的一种结构示意图，其中，图4中的软掩膜分支中的n可以根据需要进行设置，n大于等于0
举例说明：假设第三特征图为特征图A，将特征图A分别通过主干分支和软掩膜分支进行处理，主干分支得到输出结果T(A)，软掩模分支输出结果为S(A)，将主干分支的输出结果和软掩膜分支的输出结果通过第三融合模块进行融合，输出结果O(A)＝T(A)+T(A)*S(A)。
本实施例中，通过上述的介绍可知，多注意力卷积神经网络包括：
卷积神经网络的基础模块、至少一个残差注意力模块和至少一个通道-空间注意力模块；所述通道-空间注意力模块包括通道注意力模块和空间注意力模块。
其中，多注意力卷积神经网络中包含的残差注意力模块和通道注意力模块的数量可以根据用户的实际情况决定，并且，神经网络的基础模块也可以包括卷积层、池化层、激励层和全连接层，其中，卷积层、池化层、激励层也可以包括一个或者多个。如图5所示，示出了一种多注意力卷积神经网络的结构示意图，该结构中包括3个残差注意力模块，其中，残差注意力模块1、2、3中软掩膜分支的n例如(参考图4)可以分别设置为2、1、0。
S103：输出所述待识别的图像是否属于烟雾类别的结果。
其中，通过上述的介绍可知，多注意力卷积神经网络可以识别多种类别，例如包括：烟雾、云、沙尘、雾霾、海岸和陆地，当识别出某一种类别后，若属于烟雾的则输出烟雾类别，若不属于烟雾的则输出不是烟雾的类别。
本实施例中，将卷积神经网络用于烟雾识别，并且结合了通道注意力机制、空间注意力机制和残差注意力机制，并且，还对训练样本进行了改进，考虑了与烟雾具有相似特征的地物类别。这样，大大提高了烟雾识别的精度，进而提高了林火烟雾探测的精度。
参考图6，示出了本发明实施例提供的一种多注意力卷积神经网络的训练方法的流程示意图，在本实施例中，该方法包括：
S201：获取样本数据集；所述样本数据集中，包括烟雾类别和与所述烟雾类别具有相似特征的其它类别；
本实施例中，由于很多地物类别与烟雾具有相似的特征，在对烟雾进行探测时，与烟雾具有相似特征的类别可能会影响烟雾识别的准确度，例如，本实施例中包括的类别可以包括：烟雾、云、沙尘、雾霾、海岸和陆地中的一个或者多个，除此之外，还可以包括其它的类别，本实施例中不进行限定。
本实施例中，数据集的来源可以为从中国科学技术大学火灾科学国家重点实验室的森林火灾卫星遥感实验平台和美国戈达德太空飞行中心的大气档案与分发系统分布式数据中心获取得到MODIS L1B级数据。除此之外，还可以是其它来源的数据，本实施例在这里不进行限定。
MODIS L1B数据在用于训练之前，首先进行辐射校正和几何校正，获得各波段的反射率和辐射率数据以及具有地理位置信息的卫星影像。
S202：对所述样本数据集中的每个图像进行人工判别和分类，并依据分类的结果设置所述样本数据集中每个图像的地物类别标签；
本实施例中，在对图像进行分类时，若一幅图像中包括多种地物时，参考如下的优先级对图像进行分类：第一优先级：烟雾，第二优先级：沙尘、雾霾，第三优先级云，第四优先级：海岸和陆地。
举例说明：假设一张图片中同时出现了烟雾、海岸时，则该图片的类别为烟雾；假设一张图片中同时出现了雾霾、云和陆地，则该张图片的类别为雾霾。
S203：将所述样本数据集和每个图像的类别标签输入到多注意力卷积神经网络中，对所述多注意力卷积神经网络进行训练。
本实施例中，在对多注意力卷积神经网络进行训练时，先设置网络的初始状态，包括：学习率、最大迭代次数和网络参数等。
在对多注意力卷积神经网络进行训练时，通过信息前向传播和误差反向传播进行迭代计算和训练，不断更新网络参数来学习和提取图像中与类别相对应的空间特征和通道间特征；
在对多注意力卷积神经网络进行训练时，例如可以采用Adam梯度优化算法对目标损失函数进行优化，在每一次迭代中不断更新网络的参数，目标损失函数采用交叉熵损失函数；通过计算得到网络预测的准确率和损失函数值，降低损失函数值来提升网络性能，提高预测的精度，直至达到设定的最大迭代次数后停止训练。
其中，交叉熵损失函数可以表示为：
式中n为类别总数，xk表示第k类图像，yk表示第k类的类别标签，hθ表示假设函数。
本实施例中，通过多种类别的图像集训练网络，多注意力卷积神经网络包括：卷积神经网络的基础模块、至少一个残差注意力模块和至少一个通道-空间注意力模块；所述通道-空间注意力模块中包含通道注意力模块和空间注意力模块，得到训练好的多注意力卷积神经网络，通过该训练好的多注意力卷积神经网络对烟雾进行识别，提高了烟雾识别的准确度，进而提高了林火烟雾预警的准确度。
参考图7，示出了本发明实施例提供的一种林火烟雾探测装置的结构示意图，在本实施例中，该装置包括：
获取单元701，用于获取待识别的图像；
识别单元702，用于将所述待识别的图像输入到已训练的多注意力卷积神经网络中；所述已训练的多注意力卷积神经网络包括：卷积神经网络的基础模块、至少一个残差注意力模块和至少一个通道-空间注意力模块；所述通道-空间注意力模块中包含通道注意力模块和空间注意力模块；所述多注意力卷积神经网络是通过包含至少两种地物类别的图像集训练后得到的；所述地物类别中包含烟雾类别，和与烟雾具有相似特征的其它类别；
输出单元703，用于输出所述待识别的图像是否属于烟雾类别的结果。
可选的，还包括：
预处理单元，用于：
对所述待识别的图像进行尺寸变换、裁剪和/或翻转；
对所述待识别的图像各通道的像素值进行归一化处理。
可选的，对所述多注意力卷积神经网络进行训练的过程包括：
获取样本数据集；所述样本数据集中包括烟雾类别和与所述烟雾类别具有相似特征的其它类别；
对所述样本数据集中每个图像进行人工判别和分类，并依据分类的结果设置所述样本数据集中每个图像的地物类别标签；
将所述样本数据集和每个图像的类别标签输入到所述多注意力卷积神经网络中，对所述多注意力卷积神经网络进行训练。
可选的，所述与所述烟雾具有相似特征的地物类别包括：烟雾、云、沙尘、雾霾、海岸、陆地中的一个或者多个。
可选的，所述通道注意力模块包括：
全局池化层、至少一个全连接层、sigmoid函数和第一融合模块；
其中，在所述通道注意力模块接收到第一特征图后，将所述第一特征图分别经过全局池化层、至少一个全连接层和sigmoid函数进行处理，得到通道注意力分布，将所述第一特征图和所述通道注意力分布通过所述融合模块进行乘法操作，得到通道注意的结果图。
可选的，所述空间注意力模块包括：
特征处理模块、至少一个全连接层、sigmoid函数和第二融合模块；
其中，在所述空间注意力模块接收到第二特征图后，将第二特征图通过特征处理模块提取每个通道中预设位置处的特征值，得到包含像素特征值的特征值集合，将所述特征值集合分别经过至少一个全连接层和sigmoid函数进行处理后，得到空间注意力分布图，并将所述空间注意力分布图和第二特征图通过第二融合模块进行相乘操作，得到空间注意力结果图。
可选的，所述残差注意力模块包括：
主干分支、软掩膜分支和第三融合模块，所述主干分支中包括至少一个通道-空间注意力模块，所述软掩膜分支中包含至少一个通道-空间注意力模块、池化层、上采样层和激励层；
其中，所述残差注意力模块在接收到第三特征图后，将所述特征图分别通过主干分支和所述软掩膜分支进行处理，得到主干特征图和软掩膜特征图，并将所述主干特征图和所述软掩膜特征图经过所述第三融合模块进行融合处理。
可选的，所述通道-空间注意力模块包括：
通道注意力模块、空间注意力模块和第四融合模块；
所述通道-空间注意力模块接收到第四特征图后，第四特征图分别经过通道注意力模块和空间注意力模块进行处理，得到第五特征图，通过第四融合模块，将所述第五特征图和第四特征图相加。
可选的，还包括：
校正单元，用于对卫星影像进行辐射校正和几何校正获得所述样本集中的图像。
通过本实施例的装置对烟雾进行识别，能够大大提高烟雾识别的精度，进而提高林火探测的准确度。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种林火烟雾探测方法，其特征在于，包括：
获取待识别的图像；
将所述待识别的图像输入到已训练的多注意力卷积神经网络中；所述已训练的多注意力卷积神经网络包括：卷积神经网络的基础模块、至少一个残差注意力模块和至少一个通道-空间注意力模块；所述通道-空间注意力模块中包含通道注意力模块和空间注意力模块；所述多注意力卷积神经网络是通过包含至少两种地物类别的图像集训练后得到的；所述地物类别中包含烟雾类别，和与烟雾具有相似特征的其它类别；
输出所述待识别的图像是否属于烟雾类别的结果。
2.根据权利要求1所述的方法，其特征在于，还包括：
对所述待识别的图像进行尺寸变换、裁剪和/或翻转；
对所述待识别的图像各通道的像素值进行归一化处理。
3.根据权利要求1所述的方法，其特征在于，对所述多注意力卷积神经网络进行训练的过程包括：
获取样本数据集；所述样本数据集中包括烟雾类别和与所述烟雾类别具有相似特征的其它类别；
对所述样本数据集中每个图像进行人工判别和分类，并依据分类的结果设置所述样本数据集中每个图像的地物类别标签；
将所述样本数据集和每个图像的类别标签输入到所述多注意力卷积神经网络中，对所述多注意力卷积神经网络进行训练。
4.根据权利要求1或3所述的方法，其特征在于，所述与所述烟雾具有相似特征的地物类别包括：烟雾、云、沙尘、雾霾、海岸和陆地中的一个或者多个。
5.根据权利要求1或3所述的方法，其特征在于，所述通道注意力模块包括：
全局池化层、至少一个全连接层、sigmoid函数和第一融合模块；
其中，在所述通道注意力模块接收到第一特征图后，将所述第一特征图分别经过全局池化层、至少一个全连接层和sigmoid函数进行处理，得到通道注意力分布，将所述第一特征图和所述通道注意力分布通过所述融合模块进行乘法操作，得到通道注意的结果图。
6.根据权利要求1或3所述的方法，其特征在于，所述空间注意力模块包括：
特征处理模块、至少一个全连接层、sigmoid函数和第二融合模块；
其中，在所述空间注意力模块接收到第二特征图后，将第二特征图通过特征处理模块提取每个通道中预设位置处的特征值，得到包含像素特征值的特征值集合，将所述特征值集合分别经过至少一个全连接层和sigmoid函数进行处理后，得到空间注意力分布图，并将所述空间注意力分布图和第二特征图通过第二融合模块进行相乘操作，得到空间注意力结果图。
7.根据权利要求1或3所述的方法，其特征在于，所述残差注意力模块包括：
主干分支、软掩膜分支和第三融合模块，所述主干分支中包括至少一个通道-空间注意力模块，所述软掩膜分支中包含至少一个通道-空间注意力模块、池化层、上采样层和激励层；
其中，所述残差注意力模块在接收到第三特征图后，将所述特征图分别通过主干分支和所述软掩膜分支进行处理，得到主干特征图和软掩膜特征图，并将所述主干特征图和所述软掩膜特征图经过所述第三融合模块进行融合处理。
8.根据权利要求1或3所述的方法，其特征在于，所述通道-空间注意力模块包括：
通道注意力模块、空间注意力模块和第四融合模块；
所述通道-空间注意力模块接收到第四特征图后，第四特征图分别经过通道注意力模块和空间注意力模块进行处理，得到第五特征图，通过第四融合模块，将所述第五特征图和所述第四特征图相加。
9.根据权利要求3所述的方法，其特征在于，还包括：
对卫星影像进行辐射校正和几何校正获得所述样本集中的图像。
10.一种林火烟雾探测装置，其特征在于，所述装置包括：
获取单元，用于获取待识别的图像；
识别单元，用于将所述待识别的图像输入到已训练的多注意力卷积神经网络中；所述已训练的多注意力卷积神经网络包括：卷积神经网络的基础模块、至少一个残差注意力模块和至少一个通道-空间注意力模块；所述通道-空间注意力模块中包含通道注意力模块和空间注意力模块；所述多注意力卷积神经网络是通过包含至少两种地物类别的图像集训练后得到的；所述地物类别中包含烟雾类别，和与烟雾具有相似特征的其它类别；
输出单元，用于输出所述待识别的图像是否属于烟雾类别的结果。
CN201910604190.0A 2019-07-05 2019-07-05 一种林火烟雾探测方法及装置 Active CN110309800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910604190.0A CN110309800B (zh) 2019-07-05 2019-07-05 一种林火烟雾探测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910604190.0A CN110309800B (zh) 2019-07-05 2019-07-05 一种林火烟雾探测方法及装置

Publications (2)

Publication Number Publication Date
CN110309800A true CN110309800A (zh) 2019-10-08
CN110309800B CN110309800B (zh) 2021-07-06

Family

ID=68078173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910604190.0A Active CN110309800B (zh) 2019-07-05 2019-07-05 一种林火烟雾探测方法及装置

Country Status (1)

Country Link
CN (1) CN110309800B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160096A (zh) * 2019-11-26 2020-05-15 北京海益同展信息科技有限公司 禽蛋异常的识别方法、装置及系统、存储介质、电子装置
CN111415361A (zh) * 2020-03-31 2020-07-14 浙江大学 基于深度学习的胎儿大脑脑龄估计和异常检测方法及装置
CN111414969A (zh) * 2020-03-26 2020-07-14 西安交通大学 一种雾天环境下的烟检测方法
CN112131931A (zh) * 2020-08-07 2020-12-25 中国地质大学（武汉） 基于注意力机制的深度森林高光谱图像分类方法和系统
CN112686190A (zh) * 2021-01-05 2021-04-20 北京林业大学 一种基于自适应目标检测的森林火灾烟雾自动识别方法
CN113408577A (zh) * 2021-05-12 2021-09-17 桂林电子科技大学 一种基于注意力机制的图像分类方法
CN113476761A (zh) * 2021-05-21 2021-10-08 浙江安防职业技术学院 基于ai驱动的高分遥感森火风险普查以及预警防控方法
CN115115628A (zh) * 2022-08-29 2022-09-27 山东第一医科大学附属省立医院(山东省立医院) 一种基于三维精细化残差网络的腔隙性脑梗死识别系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103456122A (zh) * 2013-08-26 2013-12-18 中国科学技术大学 一种森林火灾烟雾识别方法及装置
US10089556B1 (en) * 2017-06-12 2018-10-02 Konica Minolta Laboratory U.S.A., Inc. Self-attention deep neural network for action recognition in surveillance videos
CN108764303A (zh) * 2018-05-10 2018-11-06 电子科技大学 一种基于注意力机制的遥感图像自然语言生成方法
CN109033998A (zh) * 2018-07-04 2018-12-18 北京航空航天大学 基于注意力机制卷积神经网络的遥感影像地物标注方法
CN109544524A (zh) * 2018-11-15 2019-03-29 中共中央办公厅电子科技学院 一种基于注意力机制的多属性图像美学评价系统
CN109829893A (zh) * 2019-01-03 2019-05-31 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN109858419A (zh) * 2019-01-23 2019-06-07 广州智慧城市发展研究院 一种自下而上-自上而下的行为识别系统
CN109871777A (zh) * 2019-01-23 2019-06-11 广州智慧城市发展研究院 一种基于注意力机制的行为识别系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103456122A (zh) * 2013-08-26 2013-12-18 中国科学技术大学 一种森林火灾烟雾识别方法及装置
US10089556B1 (en) * 2017-06-12 2018-10-02 Konica Minolta Laboratory U.S.A., Inc. Self-attention deep neural network for action recognition in surveillance videos
CN108764303A (zh) * 2018-05-10 2018-11-06 电子科技大学 一种基于注意力机制的遥感图像自然语言生成方法
CN109033998A (zh) * 2018-07-04 2018-12-18 北京航空航天大学 基于注意力机制卷积神经网络的遥感影像地物标注方法
CN109544524A (zh) * 2018-11-15 2019-03-29 中共中央办公厅电子科技学院 一种基于注意力机制的多属性图像美学评价系统
CN109829893A (zh) * 2019-01-03 2019-05-31 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN109858419A (zh) * 2019-01-23 2019-06-07 广州智慧城市发展研究院 一种自下而上-自上而下的行为识别系统
CN109871777A (zh) * 2019-01-23 2019-06-11 广州智慧城市发展研究院 一种基于注意力机制的行为识别系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FEI WANG ET AL: "Residual Attention Network for Image Classification", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
徐诚极等: "Attention-YOLO：引入注意力机制的 YOLO 检测算法", 《计算机工程与应用》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160096A (zh) * 2019-11-26 2020-05-15 北京海益同展信息科技有限公司 禽蛋异常的识别方法、装置及系统、存储介质、电子装置
WO2021104125A1 (zh) * 2019-11-26 2021-06-03 京东数科海益信息科技有限公司 禽蛋异常的识别方法、装置及系统、存储介质、电子装置
CN111414969A (zh) * 2020-03-26 2020-07-14 西安交通大学 一种雾天环境下的烟检测方法
CN111415361A (zh) * 2020-03-31 2020-07-14 浙江大学 基于深度学习的胎儿大脑脑龄估计和异常检测方法及装置
CN112131931A (zh) * 2020-08-07 2020-12-25 中国地质大学（武汉） 基于注意力机制的深度森林高光谱图像分类方法和系统
CN112131931B (zh) * 2020-08-07 2023-08-29 中国地质大学（武汉） 基于注意力机制的深度森林高光谱图像分类方法和系统
CN112686190A (zh) * 2021-01-05 2021-04-20 北京林业大学 一种基于自适应目标检测的森林火灾烟雾自动识别方法
CN113408577A (zh) * 2021-05-12 2021-09-17 桂林电子科技大学 一种基于注意力机制的图像分类方法
CN113476761A (zh) * 2021-05-21 2021-10-08 浙江安防职业技术学院 基于ai驱动的高分遥感森火风险普查以及预警防控方法
CN113476761B (zh) * 2021-05-21 2022-08-23 浙江安防职业技术学院 基于ai驱动的高分遥感森火风险普查以及预警防控方法
CN115115628A (zh) * 2022-08-29 2022-09-27 山东第一医科大学附属省立医院(山东省立医院) 一种基于三维精细化残差网络的腔隙性脑梗死识别系统
CN115115628B (zh) * 2022-08-29 2022-11-22 山东第一医科大学附属省立医院(山东省立医院) 一种基于三维精细化残差网络的腔隙性脑梗死识别系统

Also Published As

Publication number Publication date
CN110309800B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN110309800A (zh) 一种林火烟雾探测方法及装置
CN110532859A (zh) 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN113567984A (zh) 一种sar图像中人造小目标的检测方法及系统
CN108416307A (zh) 一种航拍图像路面裂缝检测方法、装置及设备
Carlberg et al. Classifying urban landscape in aerial LiDAR using 3D shape analysis
CN110399856A (zh) 特征提取网络训练方法、图像处理方法、装置及其设备
CN111723657B (zh) 一种基于YOLOv3与自优化的河道异物检测方法及装置
CN109598891A (zh) 一种利用深度学习分类模型实现烟雾检测的方法和系统
CN109583345A (zh) 道路识别方法、装置、计算机装置及计算机可读存储介质
CN108846334A (zh) 一种云类别自动识别方法及系统
CN107239759A (zh) 一种基于深度特征的高空间分辨率遥感图像迁移学习方法
CN110956158A (zh) 一种基于教师学生学习框架的遮挡行人再标识方法
CN108460391A (zh) 基于生成对抗网络的高光谱图像无监督特征提取方法
CN111985374A (zh) 人脸定位方法、装置、电子设备及存储介质
CN106529484A (zh) 基于类指定多核学习的光谱和激光雷达数据联合分类方法
CN112287983B (zh) 一种基于深度学习的遥感图像目标提取系统和方法
CN109242826A (zh) 基于目标检测的移动设备端签状物根数计数方法及系统
AU2020233747B2 (en) Methods for artificial neural networks
CN110084284A (zh) 基于区域卷积神经网络的目标检测与二级分类算法及装置
CN111898419A (zh) 基于级联深度卷积神经网络的分区滑坡检测系统及方法
CN115631462A (zh) 基于am-yolox的草莓病虫害检测方法及系统
Johnson et al. Opensentinelmap: A large-scale land use dataset using openstreetmap and sentinel-2 imagery
Xu et al. ALAD-YOLO: an lightweight and accurate detector for apple leaf diseases
CN114358178A (zh) 一种基于YOLOv5算法的机载热成像野生动物物种分类方法
CN102231190B (zh) 冲洪积扇信息的自动提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant