CN113762143A - 一种基于特征融合的遥感图像烟探测方法 - Google Patents
一种基于特征融合的遥感图像烟探测方法 Download PDFInfo
- Publication number
- CN113762143A CN113762143A CN202111035064.1A CN202111035064A CN113762143A CN 113762143 A CN113762143 A CN 113762143A CN 202111035064 A CN202111035064 A CN 202111035064A CN 113762143 A CN113762143 A CN 113762143A
- Authority
- CN
- China
- Prior art keywords
- feature
- remote sensing
- branch
- smoke
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 230000004927 fusion Effects 0.000 title claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 239000000428 dust Substances 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- -1 haze Substances 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 235000019504 cigarettes Nutrition 0.000 abstract description 6
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征融合的遥感图像烟探测方法，本发明提出的基于特征融合的卷积神经网络主要包括三个部分：主干网络，全局特征分支和局部特征分支；其中主干网络被用作初步的特征提取器；全局特征分支的作用是提取重复纹理等全局特征；局部分支被用于提取局部关键区域内的显著特征；遥感图像中烟具有不同的形状、纹理和范围，兼顾全局特征和局部特征有利于烟的探测；本发明公开的遥感烟探测方法在一个公开遥感数据集上取得了最高的探测精度96.22％。
Description
技术领域
本发明属于视频图像处理领域，具体涉及一种基于特征融合的遥感图像烟探测方法。
背景技术
火灾是一种常见的自然灾害，会对人类的安全和财产造成极大的危害，对火灾的检测和报警十分重要。当发生火灾时，卫星捕捉到的烟会被当作火灾发生的信号。随着卫星遥感技术的可用性和性能的提高，利用遥感图像来探测烟从而进行火灾检测的方式被广泛采用。然而，遥感图像中烟的形状，纹理和颜色等变化很大。且遥感数据中的一些场景，如云、雾霾等与烟很相似，这都增加了烟探测的难度。所以进行遥感烟探测的研究具有重要意义。
随着深度学习的发展，卷积神经网络被广泛应用于提取图像的深层特征。许多现有的卷积神经网络都是重点关注基于重复纹理的全局特征，而忽略了图像中的局部特征。然而在遥感图像中，烟有时占据了整张图像，有时只占据了图像中很小的一部分。在烟只占一部分的图像中，局部特征在探测烟的过程中就起到了决定性的作用。所以要在捕捉全局特征的同时兼顾局部特征。研究者们模仿人的视觉系统提出了包括通道注意力和空间注意力的注意力机制来定位图像中关键的区域。全局特征和局部特征之间自适应的融合过程，可以帮助神经网络充分提取特征。
发明内容
为解决上述问题，本发明公开了一种基于特征融合的遥感图像烟探测方法，采用自适应的特征融合网络，兼顾了图像里的全局特征和局部特征，探测准确率高。
为达到上述目的，本发明的技术方案如下：
一种基于特征融合的遥感图像烟探测方法，包括以下步骤：
步骤1：将数据集按一定比例划分为训练集，验证集和测试集；
步骤2：建立卷积神经网络的主干网络；
步骤3：建立全局特征分支；
步骤4：建立局部特征分支；
步骤5：加载训练集，对卷积神经网络进行训练；
步骤6：通过步骤5训练的网络，对烟进行探测。
进一步的，所述步骤1的遥感烟探测数据集包含有6类场景共计6225张图片。6类场景分别是：烟，灰尘，雾霾，云，陆地和海岸。其中灰尘、雾霾和云这三种场景和烟十分相似，用来让神经网络从相似场景中学习烟的特征。对数据集进行划分后，训练集包含3984张图片，验证集包含999张图片，测试集包含1242张(烟：203张；灰尘：201张；雾霾：200张；云：232张；陆地：205张；海岸：201张)图片。
进一步的，所述步骤2的主干网络被用作一个初步的特征提取器，由残差模块堆叠组成。主干网络从输入的遥感图像中初步的提取特征，得到的特征图将作为全局特征分支和局部特征分支的输入。
进一步的，所述步骤3中的全局特征分支主要包括两个模块：多层级连接模块和分类头模块。多层级连接模块，其输入是由主干网络产生的分辨率为56×56,28×28,14×14的三组特征图。不同分辨率的特征图是互补的，高分辨率特征图拥有更多的空间信息，低分辨率特征图包含更多的语义信息。这种多层级特征图之间的融合可以使不同分辨率的特征图包含的信息被充分得提取和利用。然而，直接把不同分辨率的特征图连接在一起会使得连接过程太过僵硬导致信息的丢失。为此，我们在多层级连接模块中设计了一个相互激活模块来使得多层级连接过程变得光滑，能保留更多的有效信息。多层级连接模块的输出将被送入分类头模块里。在分类头模块中将高分辨率特征图依次下采样至最低的分辨率并相加，并送进全连接层中得到全局特征分支的输出prediction-G。
进一步的，所述步骤4中的局部特征分支主要利用注意力机制和最大池化来捕捉图像中的局部显著特征。在注意力模块中，我们使用了通道注意力和空间注意力。通道注意力能够突出更为重要的特征图，空间注意力能够定位特征图中包含显著特征的区域。最大池化层能够保留最为显著的信息，并节省计算资源。局部特征分支的输出记为prediction-S。全局特征分支和局部特征分支的输出加权相加后得到整个网络的输出prediction：
prediction＝αG×prediction-G+αS×prediction-S (1)
其中，αG和αS是可训练的参数，他们决定了全局特征分支和局部特征分支在最终探测结果中所占的比例，加强了特征融合的过程，进一步提升网络的性能。
进一步的，所述步骤5中加载训练集时，输入图片被随机裁剪至224×224，然后施加水平和竖直的旋转变换。一共训练200个循环，初始的学习率为0.02，并在第100个循环后缩小一半。本发明使用的深度学习框架是Pytorch。
进一步的，所述步骤6在测试集上进行分类的过程中，利用所述步骤6中训练好的神经网络得到分类结果，最终结果显示在测试集中1242张图片中，被正确探测的图片数目为1195张，正确率为96.22％；其中203张烟的图片中被正确探测的数量为188；非烟的1039张图片中被正确探测的图片数量为1007；其中96.22％的探测正确率是迄今在此数据集上得到的最高的分类正确率。
本发明的有益效果为：
(1)本发明采用自适应的特征融合网络，兼顾了图像里的全局特征和局部特征。
(2)本发明设计的卷积神经网络，在全局特征分支中设计了多层级连接模块让不同分辨率的特征图进行信息交换，并切入了相互激活模块以使信息交换过程更加畅通。
(3)本发明设计的卷积神经网络，在局部特征分支中嵌入了空间和通道维度的注意力机制，并利用最大池化来充分提取关键区域中的局部特征。
(4)本发明设计的卷积神经网络在遥感烟探测数据集上取得了目前最高的探测准确率96.22％。
附图说明
图1是本发明的模型整体结构图；
图2是本发明的特征融合卷积神经网络模型结构图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
如图1和图2所示，本发明公开了一种基于特征融合的遥感图像烟探测方法，该方法包括以下步骤：
步骤1：把遥感烟探测数据集分为训练集，验证集与测试集。此遥感烟探测数据集包含有6类场景共计6225张图片。6类场景分别是：烟，灰尘，雾霾，云，陆地和海岸。其中灰尘、雾霾和云这三种场景和烟十分相似，用来让神经网络从相似场景中习得烟得特征。对数据集进行划分后，训练集包含3984张图片，验证集包含999张图片，测试集包含1242张(烟：203张；灰尘：201张；雾霾：200张；云：232张；陆地：205张；海岸：201张)图片。
步骤2：建立特征融合网络的主干网络。主干网络被用作一个初步的特征提取器，由残差模块堆叠组成。主干网络从输入的遥感图像中初步的提取特征，得到的特征图将作为全局特征分支和局部特征分支的输入。
步骤3：建立特征融合网络的全局特征分支。全局特征分支主要包括两个模块：多层级连接模块和分类头模块。多层级连接模块，其输入是由主干网络产生的分辨率为56×56,28×28,14×14的三组特征图。不同分辨率的特征图是互补的，高分辨率特征图拥有更多的空间信息，低分辨率特征图包含更多的语义信息。这种多层级特征图之间的融合可以使不同分辨率的特征图包含的信息被充分得提取和利用。然而，直接把不同分辨率的特征图连接在一起会使得连接过程太过僵硬导致信息的丢失。为此，我们在多层级连接模块中设计了一个相互激活模块来使得多层级连接过程变得光滑，能保留更多的有效信息。多层级连接模块的输出将被送入分类头模块里。在分类头模块中将高分辨率特征图依次下采样至最低的分辨率并相加，并送进全连接层中得到全局特征分支的输出prediction-G。
步骤4：建立特征融合网络的局部特征分支。局部特征分支主要利用注意力机制和最大池化来捕捉图像中的局部显著特征。在注意力模块中，我们使用了通道注意力和空间注意力。通道注意力能够突出更为重要的特征图，空间注意力能够定位特征图中包含显著特征的区域。最大池化层能够保留最为显著的信息，并节省计算资源。局部特征分支的输出记为prediction-S。全局特征分支和局部特征分支的输出加权相加后得到整个网络的输出prediction：
prediction＝αG×prediction-G+αS×prediction-S (1)
其中，αG和αS是可训练的参数，他们决定了全局特征分支和局部特征分支在最终探测结果中所占的比例，加强了特征融合的过程，进一步提升网络的性能。
步骤5：加载训练集，输入网络的图片被随机裁剪至224×224，然后施加水平和竖直的旋转变换。一共训练200个循环，初始的学习率为0.02，并在第100个循环后缩小一半。本发明使用的深度学习框架是Pytorch。
训练好的神经网络得到分类结果，最终结果显示在测试集中1242张图片中，被正确探测的图片数目为1195张，正确率为96.22％；其中203张烟的图片中被正确探测的数量为188；非烟的1039张图片中被正确探测的图片数量为1007。96.22％的探测正确率是迄今在此数据集上得到的最高的分类正确率。
Claims (6)
1.一种基于特征融合的遥感图像烟探测方法，其特征在于：包括以下步骤：
步骤1：将遥感烟探测数据集按一定比例划分为训练集，验证集和测试集；
步骤2：建立卷积神经网络的主干网络；
步骤3：建立全局特征分支；
步骤4：建立局部特征分支；
步骤5：加载训练集，对卷积神经网络进行训练；
步骤6：通过步骤5训练的网络，对烟进行探测。
2.根据权利要求1所述的基于特征融合的遥感图像烟探测方法，其特征在于：所述步骤1的遥感烟探测数据集包含有6类场景；6类场景分别是：烟，灰尘，雾霾，云，陆地和海岸；其中灰尘、雾霾和云这三种场景和烟十分相似，用来让神经网络从相似场景中学习烟的特征；对遥感烟探测数据集进行划分后，数据集被分成了训练集，验证集和测试集。
3.根据权利要求1所述的基于特征融合的遥感图像中烟的探测方法，其特征在于：所述步骤2的主干网络被用作一个初步的特征提取器，由残差模块堆叠组成；主干网络从输入的遥感图像中初步的提取特征，得到的特征图将作为全局特征分支和局部特征分支的输入。
4.根据权利要求1所述的基于特征融合的遥感图像中烟的探测方法，其特征在于：所述步骤3中的全局特征分支主要包括两个模块：多层级连接模块和分类头模块；多层级连接模块，其输入是由主干网络产生的分辨率为56×56，28×28，14×14的三组特征图；在多层级连接模块中设计了一个相互激活模块来使得多层级连接过程变得光滑，能保留更多的有效信息；多层级连接模块的输出将被送入分类头模块里；在分类头模块中将高分辨率特征图依次下采样至最低的分辨率并相加，并送进全连接层中得到全局特征分支的输出prediction-G。
5.根据权利要求1所述的基于特征融合的遥感图像中烟的探测方法，其特征在于：所述步骤4中的局部特征分支主要利用注意力机制和最大池化来捕捉图像中的局部显著特征；在注意力模块中，使用通道注意力和空间注意力；通道注意力能够突出更为重要的特征图，空间注意力能够定位特征图中包含显著特征的区域；最大池化层能够保留最为显著的信息，并节省计算资源，局部特征分支的输出记为prediction-S；全局特征分支和局部特征分支的输出加权相加后得到整个网络的输出prediction：
prediction＝αG×prediction-G+aS×prediction-S (1)
其中，αG和αS是可训练的参数。
6.根据权利要求1所述的基于特征融合的遥感图像中烟的探测方法，其特征在于：所述步骤5中加载训练集时，输入图片被随机裁剪至224×224，然后施加水平和竖直的旋转变换；一共训练200个循环，初始的学习率为0.02，并在第100个循环后缩小一半；其深度学习框架是Pytorch。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111035064.1A CN113762143A (zh) | 2021-09-05 | 2021-09-05 | 一种基于特征融合的遥感图像烟探测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111035064.1A CN113762143A (zh) | 2021-09-05 | 2021-09-05 | 一种基于特征融合的遥感图像烟探测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113762143A true CN113762143A (zh) | 2021-12-07 |
Family
ID=78792983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111035064.1A Pending CN113762143A (zh) | 2021-09-05 | 2021-09-05 | 一种基于特征融合的遥感图像烟探测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113762143A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738124A (zh) * | 2020-06-15 | 2020-10-02 | 西安电子科技大学 | 基于Gabor变换和注意力的遥感图像云检测方法 |
| CN112132205A (zh) * | 2020-09-18 | 2020-12-25 | 东南大学 | 一种基于卷积神经网络的遥感图像分类方法 |
| CN112580525A (zh) * | 2020-12-22 | 2021-03-30 | 南京信息工程大学 | 一种基于行人再识别的病例活动轨迹监测方法 |
| CN112883941A (zh) * | 2021-04-16 | 2021-06-01 | 哈尔滨理工大学 | 一种基于并行神经网络的人脸表情识别方法 |
| US20210232813A1 (en) * | 2020-01-23 | 2021-07-29 | Tongji University | Person re-identification method combining reverse attention and multi-scale deep supervision |
| CN113191218A (zh) * | 2021-04-13 | 2021-07-30 | 南京信息工程大学 | 基于双线性注意力汇集和卷积长短期记忆的车型识别方法 |
-
2021
- 2021-09-05 CN CN202111035064.1A patent/CN113762143A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210232813A1 (en) * | 2020-01-23 | 2021-07-29 | Tongji University | Person re-identification method combining reverse attention and multi-scale deep supervision |
| CN111738124A (zh) * | 2020-06-15 | 2020-10-02 | 西安电子科技大学 | 基于Gabor变换和注意力的遥感图像云检测方法 |
| CN112132205A (zh) * | 2020-09-18 | 2020-12-25 | 东南大学 | 一种基于卷积神经网络的遥感图像分类方法 |
| CN112580525A (zh) * | 2020-12-22 | 2021-03-30 | 南京信息工程大学 | 一种基于行人再识别的病例活动轨迹监测方法 |
| CN113191218A (zh) * | 2021-04-13 | 2021-07-30 | 南京信息工程大学 | 基于双线性注意力汇集和卷积长短期记忆的车型识别方法 |
| CN112883941A (zh) * | 2021-04-16 | 2021-06-01 | 哈尔滨理工大学 | 一种基于并行神经网络的人脸表情识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 曾向阳: "《自适应的参数》", 31 March 2016, 国防工业出版社, pages: 74 - 77 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111401250A (zh) | 一种基于混合卷积神经网络的中文唇语识别方法及装置 | |
| Li et al. | Sign language recognition based on computer vision | |
| CN104573111A (zh) | 一种监控视频中的行人数据结构化存储及预检索方法 | |
| Lyu et al. | Small object recognition algorithm of grain pests based on SSD feature fusion | |
| CN113469050A (zh) | 基于图像细分类的火焰检测方法 | |
| CN112132205B (zh) | 一种基于卷积神经网络的遥感图像分类方法 | |
| Qiang et al. | Forest fire smoke detection under complex backgrounds using TRPCA and TSVB | |
| CN115809327B (zh) | 一种多模融合和话题的实时社交网络谣言检测方法 | |
| CN114662497A (zh) | 一种基于协同神经网络的虚假新闻检测方法 | |
| CN115761627A (zh) | 一种火灾烟雾火焰图像识别方法 | |
| CN115171047A (zh) | 基于轻量级长短距离注意力transformer网络的火灾图像检测方法 | |
| Cai et al. | A real-time smoke detection model based on YOLO-smoke algorithm | |
| CN111860457A (zh) | 一种斗殴行为识别预警方法及其识别预警系统 | |
| CN113627504B (zh) | 基于生成对抗网络的多模态多尺度特征融合目标检测方法 | |
| Wang et al. | Learning precise feature via self-attention and self-cooperation YOLOX for smoke detection | |
| Fan et al. | An improved yolov5 marine biological object detection algorithm | |
| CN113762143A (zh) | 一种基于特征融合的遥感图像烟探测方法 | |
| CN115690658B (zh) | 一种融合先验知识的半监督视频异常行为检测方法 | |
| CN117036875A (zh) | 一种基于融合注意力gan的红外弱小移动目标生成算法 | |
| CN115641445A (zh) | 一种非对称内卷积与Transformer相融合的遥感图像阴影检测方法 | |
| CN114998783A (zh) | 一种用于烟火及人员行为视频分析的前端设备 | |
| CN111898564B (zh) | 一种时序卷积网络模型、模型训练和目标识别方法、装置 | |
| CN114550032A (zh) | 一种端到端三维卷积目标检测网络的视频烟雾检测方法 | |
| CN113361475A (zh) | 一种基于多阶段特征融合信息复用的多光谱行人检测方法 | |
| Wang et al. | Robust Wake Word Spotting With Frame-Level Cross-Modal Attention Based Audio-Visual Conformer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |