CN115115647A - 一种融合注意力机制和残差aspp的遥感影像语义分割方法 - Google Patents
一种融合注意力机制和残差aspp的遥感影像语义分割方法 Download PDFInfo
- Publication number
- CN115115647A CN115115647A CN202210691801.1A CN202210691801A CN115115647A CN 115115647 A CN115115647 A CN 115115647A CN 202210691801 A CN202210691801 A CN 202210691801A CN 115115647 A CN115115647 A CN 115115647A
- Authority
- CN
- China
- Prior art keywords
- residual
- aspp
- remote sensing
- attention mechanism
- sensing image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 47
- 230000011218 segmentation Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 21
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 title claims abstract 22
- 238000012546 transfer Methods 0.000 title abstract description 3
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims 1
- 238000009499 grossing Methods 0.000 claims 1
- 239000011800 void material Substances 0.000 claims 1
- 238000012795 verification Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种融合注意力机制和残差ASPP的遥感影像语义分割方法，包括以下方法；步骤S1:构建融合注意力机制和残差ASPP的神经网络；步骤S2:训练步骤S1中构建的融合注意力机制和残差ASPP的神经网络；步骤S3:利用步骤S2中训练好的模型，进行遥感影像语义分割，具体的，通过将获取的遥感图像输入到步骤S2训练好的融合注意力机制和残差ASPP的语义分割模型中进行遥感图像语义分割。本发明采用注意力机制与残差结构对现有模型进行改进，提出了一种融合注意力机制和残差ASPP的遥感影像语义分割算法模型，其采用训练集和验证集对该模型进行训练、验证，高效、准确地分割遥感影像的地物类别，实现注意力机制与残差结构在ASPP模型之中的嵌入式使用，提高语义分割的准确率。
Description
技术领域
本发明涉及一种融合注意力机制和残差ASPP的遥感影像语义分割方法，属于自然资源管理和城市规划领域。
背景技术
随着遥感技术的发展，遥感影像提供的覆盖范围越来越广，空间分辨率越来越高，近年来遥感图像的分辨率已经达到了厘米级别。技术进步产生了更多的冗余图像信息和噪声，遥感影像语义分割的任务变得更有挑战性,传统的语义分割方法只考虑每个像素的数字值，与周围的其他像素分开，存在分类精度低和难以适应复杂样例的局限性。
发明内容
针对上述现有技术存在的问题，本发明提供一种融合注意力机制和残差ASPP的遥感影像语义分割方法，从而解决上述技术问题。
为了实现上述目的，本发明采用的技术方案是：一种融合注意力机制和残差ASPP的遥感影像语义分割方法，其特征在于，包括以下方法；
步骤S1:构建融合注意力机制和残差ASPP的神经网络；
步骤S2:训练步骤S1中构建的融合注意力机制和残差ASPP的神经网络；
步骤S3:利用步骤S2中训练好的模型，进行遥感影像语义分割，具体的，通过将获取的遥感图像输入到步骤S2训练好的融合注意力机制和残差ASPP的语义分割模型中进行遥感图像语义分割。
进一步的，所述步骤S1中融合注意力机制和残差ASPP的神经网络的构建以编码器-解码器作为基础结构，其中模型内融合有ASPP模块，注意力机制和残差结构；。
进一步的，所述编码器利用注意力机制和残差结构对所述ASPP模块进行了改进进而形成包含5个空洞卷积注意力单元和1个残差单元的残差ASPP模块；所述解码器用于接收编码器输出的浅层和深层特征，具体的，将浅层特征输入注意力模块，并使用1×1卷积进行处理，将深层特征进行8倍上采样处理，然后将处理后的浅层特征与深层特征融合，融合后的特征用3×3卷积进行处理，进行8倍上采样处理，经过卷积与上采样处理最终得到网络的预测依据。
进一步的，所述注意力机制采用Dual Attention(DA)模块来预测道路，荒地和森林；通过采用The convolutional block attention module(CBAM)模块来预测背景，水体，建筑。
进一步的，所述步骤S2的具体方法为：
S21:从开源的遥感影像数据集(LoveDA)获取遥感影像的数据集，并将其按8：1：1的比例划分为训练集、验证集和测试集。
S22:将数据预处理后的遥感图像输入步骤S1构建的融合注意力机制和残差ASPP的模型中进行训练。
进一步的，所述步骤S22的具体方法为：
S221:遥感图像输入融合注意力机制和残差ASPP的语义分割网络模型中，前向传播获得语义分割网络模型输出的遥感影像样本地物类型的形状信息；
S222:采用损失函数计算预测结果与实际结果之间的损失并通过反向传播算法来不断优化模型的参数，损失函数使用DiceLoss+CELoss；
其损失函数计算公式如下:
Total Loss＝LCE+Ldice (5)。
本发明的有益效果是：与现有技术相比，本发明采用注意力机制与残差结构对现有模型进行改进，提出了一种融合注意力机制和残差ASPP的遥感影像语义分割算法模型。采用训练集和验证集对该模型进行训练、验证，高效、准确地分割遥感影像的地物类别，实现注意力机制与残差结构在ASPP模型之中的嵌入式使用，提高语义分割的准确率。
附图说明
图1为本发明提供的一种融合注意力机制和残差ASPP的遥感影像语义分割方法流程图；
图2是本发明实施例中构建的融合注意力机制和残差ASPP的遥感影像语义分割算法模型的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。
除非另有定义，本文所使用的所有的技术术语和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同，本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
如图1所示，本实施例提供的一种融合注意力机制和残差ASPP的遥感影像语义分割方法(RAANet)，包括以下步骤：
S1.构建融合注意力机制和残差ASPP的神经网络。
基于编码器-解码器的基础架构，在编码器中采用Xception NetWork作为骨干网络，将输入的特征分为浅层特征和深层特征。其深层特征通过一个注意力模块(CBAM),再将其分别输入到残差单元和五个空洞卷积率为3，6，12，18，24的注意力空洞卷积单元，将每个空洞卷积注意力单元的输出与残差单元的输出进行矩阵加法，再将五个空洞卷积注意力单元的结果堆叠起来，然后1×1卷积整合特征并输出。
在解码器中，先将编码器输出的浅层特征输入至注意力模块中，用1×1卷积整合特征，再将编码器中最后输出的深层特征进行8倍上采样，堆叠组合后经过卷积核大小为3×3的卷积层，再进行8倍上采样。
S2.训练融合注意力机制和残差ASPP的神经网络。
S21.从开源的LoveDA中获取遥感影像的数据集，并将其按8：1：1的比例划分为训练集、验证集和测试集。
S22.选用Adam作为优化器，并设置等间隔调整学习率，调整间隔为1，学习率调整倍数为0.92，损失函数使用DiceLoss+CELoss。
其损失函数计算公式如下:
Total Loss＝LCE+Ldice (5)。
S23.将从数据集中获取的数据输入至S1中所构建的融合注意力机制和残差ASPP的神经网络模型之中，然后再利用反向传播算法，对模型进行训练。
S3.利用训练好的融合注意力机制和残差ASPP的神经网络进行遥感图像语义分割。
S31.将遥感图像输入步骤S2训练好的融合注意力机制和残差ASPP的语义分割模型中进行遥感图像语义分割。进行语义分割后，利用精度，召回率，和交并比三个指标对模型进行评估。各地物类型的评价结果如表1所示，对比PSPNet，U-Net和DeeplabV3plus都有较大提升，由此可见本模型在遥感影像语义分割上效果出色。
表1
本发明实施例中所采集的遥感影像样本来自LovaDA数据集，遥感影像数据共包含5987张3米分辨率的遥感影像。具体环境为Pycharm和ArcGIS软件平台以及GeForce RTX3060GPU等硬件平台，利用Python及其相关库进行开发实验，如Numpy、Pytorch、PIL、Opencv等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种融合注意力机制和残差ASPP的遥感影像语义分割方法，其特征在于，包括以下方法；
步骤S1:构建融合注意力机制和残差ASPP的神经网络；
步骤S2:训练步骤S1中构建的融合注意力机制和残差ASPP的神经网络；
步骤S3:利用步骤S2中训练好的模型，进行遥感影像语义分割，具体的，通过将获取的遥感图像输入到步骤S2训练好的融合注意力机制和残差ASPP的语义分割模型中进行遥感图像语义分割。
2.根据权利要求1所述的一种融合注意力机制和残差ASPP的遥感影像语义分割方法，其特征在于，所述步骤S1中融合注意力机制和残差ASPP的神经网络的构建以编码器-解码器作为基础结构，其中模型内融合有ASPP模块，注意力机制和残差结构。
3.根据权利要求2所述的一种融合注意力机制和残差ASPP的遥感影像语义分割方法，其特征在于，所述编码器利用注意力机制和残差结构对所述ASPP模块进行了改进，进而形成包含5个空洞卷积注意力单元和1个残差单元的残差ASPP模块；所述解码器用于接收编码器输出的浅层和深层特征，具体的，将浅层特征输入注意力模块，并使用1×1卷积进行处理，将深层特征进行8倍上采样处理，然后将处理后的浅层特征与深层特征融合，融合后的特征用3×3卷积进行处理，进行8倍上采样处理，经过卷积与上采样处理最终得到网络的预测依据。
4.根据权利要求2所述的一种融合注意力机制和残差ASPP的遥感影像语义分割方法，其特征在于，所述注意力机制采用DualAttention(DA)模块来预测道路，荒地和森林；通过采用The convolutional block attention module(CBAM)模块来预测背景，水体，建筑。
5.根据权利要求1所述的一种融合注意力机制和残差ASPP的遥感影像语义分割方法，其特征在于，所述步骤S2的具体方法为：
S21:从开源的遥感影像数据集(LoveDA)获取遥感影像的数据集，并将其按8：1：1的比例划分为训练集、验证集和测试集。
S22:将数据预处理后的遥感图像输入步骤S1构建的融合注意力机制和残差ASPP的模型中进行训练。
6.根据权利要求5所述的一种融合注意力机制和残差ASPP的遥感影像语义分割方法，其特征在于，所述步骤S22的具体方法为：
S221:遥感图像输入融合注意力机制和残差ASPP的语义分割网络模型中，前向传播获得语义分割网络模型输出的遥感影像样本地物类型的形状信息；
S222:采用损失函数计算预测结果与实际结果之间的损失并通过反向传播算法来不断优化模型的参数，损失函数使用DiceLoss+CELoss；
其损失函数计算公式如下:
Total Loss＝LCE+Ldice (5)
上式中，N代表样本的总数，ti代表目标值；yi代表预测值；I代表目标值乘预测值的和；U代表；U表示预测值和目标值的和，ε表示平滑系数，在本发明中取1e-5,K表示类别数，
是预测的可能类别分布，y是真实类别分布。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210691801.1A CN115115647B (zh) | 2022-06-17 | 2022-06-17 | 一种融合注意力机制和残差aspp的遥感影像语义分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210691801.1A CN115115647B (zh) | 2022-06-17 | 2022-06-17 | 一种融合注意力机制和残差aspp的遥感影像语义分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115115647A true CN115115647A (zh) | 2022-09-27 |
| CN115115647B CN115115647B (zh) | 2024-09-27 |
Family
ID=83328418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210691801.1A Active CN115115647B (zh) | 2022-06-17 | 2022-06-17 | 一种融合注意力机制和残差aspp的遥感影像语义分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115115647B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115546647A (zh) * | 2022-10-21 | 2022-12-30 | 河北省科学院地理科学研究所 | 一种基于遥感影像的语义分割模型 |
| CN116844051A (zh) * | 2023-07-10 | 2023-10-03 | 贵州师范大学 | 一种融合aspp和深度残差的遥感图像建筑物提取方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113807210A (zh) * | 2021-08-31 | 2021-12-17 | 西安理工大学 | 一种基于金字塔切分注意力模块的遥感图像语义分割方法 |
| WO2022100495A1 (zh) * | 2020-11-11 | 2022-05-19 | 上海健康医学院 | 一种磨玻璃样肺结节自动分割方法及计算机设备 |
| CN114596500A (zh) * | 2022-01-12 | 2022-06-07 | 南通大学 | 一种基于通道-空间注意力和DeeplabV3plus的遥感影像语义分割方法 |
-
2022
- 2022-06-17 CN CN202210691801.1A patent/CN115115647B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022100495A1 (zh) * | 2020-11-11 | 2022-05-19 | 上海健康医学院 | 一种磨玻璃样肺结节自动分割方法及计算机设备 |
| CN113807210A (zh) * | 2021-08-31 | 2021-12-17 | 西安理工大学 | 一种基于金字塔切分注意力模块的遥感图像语义分割方法 |
| CN114596500A (zh) * | 2022-01-12 | 2022-06-07 | 南通大学 | 一种基于通道-空间注意力和DeeplabV3plus的遥感影像语义分割方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115546647A (zh) * | 2022-10-21 | 2022-12-30 | 河北省科学院地理科学研究所 | 一种基于遥感影像的语义分割模型 |
| CN116844051A (zh) * | 2023-07-10 | 2023-10-03 | 贵州师范大学 | 一种融合aspp和深度残差的遥感图像建筑物提取方法 |
| CN116844051B (zh) * | 2023-07-10 | 2024-02-23 | 贵州师范大学 | 一种融合aspp和深度残差的遥感图像建筑物提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115115647B (zh) | 2024-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2023077816A1 (zh) | 边界优化的遥感图像语义分割方法、装置、设备及介质 | |
| CN109145939B (zh) | 一种小目标敏感的双通道卷积神经网络语义分割方法 | |
| CN111612066B (zh) | 基于深度融合的卷积神经网络的遥感图像分类方法 | |
| CN115115647A (zh) | 一种融合注意力机制和残差aspp的遥感影像语义分割方法 | |
| CN110705457A (zh) | 一种遥感影像建筑物变化检测方法 | |
| CN109101975A (zh) | 基于全卷积神经网络的图像语义分割方法 | |
| CN108399428A (zh) | 一种基于迹比准则的三元组损失函数设计方法 | |
| CN111325750B (zh) | 一种基于多尺度融合u型链神经网络的医学图像分割方法 | |
| CN110853057B (zh) | 基于全局和多尺度全卷积网络的航拍图像分割方法 | |
| CN113012172A (zh) | 一种基于AS-UNet的医学图像分割方法及系统 | |
| CN114943963A (zh) | 一种基于双分支融合网络的遥感图像云和云影分割方法 | |
| CN108986453A (zh) | 一种基于情境信息的交通状况预测方法、系统及装置 | |
| CN111797920B (zh) | 门控特征融合的深度网络不透水面遥感提取方法及系统 | |
| Zhou et al. | Convolutional neural networks–based model for automated sewer defects detection and classification | |
| CN114283315A (zh) | 一种基于交互式引导注意力和梯形金字塔融合的rgb-d显著性目标检测方法 | |
| Cui et al. | Improved genetic algorithm to optimize the Wi-Fi indoor positioning based on artificial neural network | |
| CN117217368A (zh) | 预测模型的训练方法、装置、设备、介质及程序产品 | |
| CN113096070A (zh) | 一种基于MA-Unet的图像分割方法 | |
| CN118010009B (zh) | 一种教育机器人在复杂环境下的多模态导航系统 | |
| CN115829163A (zh) | 基于多模式集成的长江中下游流域径流预测方法和系统 | |
| CN115512222A (zh) | 一种线下训练-线上学习的灾害场景地物损毁评估方法 | |
| CN117787601A (zh) | 一种基于ai的家政上门服务调度方法、介质及系统 | |
| CN116933946A (zh) | 一种基于客流去向结构的轨道交通od客流预测方法及系统 | |
| CN115035193A (zh) | 一种基于双目视觉与图像分割技术的散装粮随机扦样方法 | |
| Liu et al. | Research on driving obstacle detection technology in foggy weather based on GCANet and feature fusion training |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |