CN114387512A - 基于多尺度特征融合与增强的遥感影像建筑物提取方法 - Google Patents
基于多尺度特征融合与增强的遥感影像建筑物提取方法 Download PDFInfo
- Publication number
- CN114387512A CN114387512A CN202111627701.4A CN202111627701A CN114387512A CN 114387512 A CN114387512 A CN 114387512A CN 202111627701 A CN202111627701 A CN 202111627701A CN 114387512 A CN114387512 A CN 114387512A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- sensing image
- building
- feature map
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 61
- 230000004927 fusion Effects 0.000 title claims abstract description 53
- 238000011176 pooling Methods 0.000 claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000013135 deep learning Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 238000010586 diagram Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 37
- 230000004913 activation Effects 0.000 claims description 18
- 238000012795 verification Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 3
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 12
- 238000002474 experimental method Methods 0.000 description 5
- 238000002679 ablation Methods 0.000 description 4
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多尺度特征融合与增强的遥感影像建筑物提取方法，包括：采集目标区域的遥感影像并进行预处理，将预处理后的遥感影像输入预构建的建筑物提取模型中进行建筑物提取；其中，建筑物提取模型的构建过程包括：采用编码‑解码结构构建深度学习网络模型，深度学习网络模型包括编码阶段和解码阶段，并且在编码阶段和解码阶段之间引入多尺度特征融合模块和双通道池化加权模块；本发明能够提高建筑物语义分割的准确率的同时，大大减小了网络模型参数量，提高了训练和识别的速度；进而提升建筑物提取模型的性能，提升建筑物提取的精度。
Description
技术领域
本发明涉及一种基于多尺度特征融合与增强的遥感影像建筑物提取方法，属于遥感图像识别技术领域。
背景技术
传统的计算机视觉技术进行高分遥感影像地面建筑物识别提取主要是利用建筑物的多边形形状信息、颜色和纹理特征，随后使用传统机器学习分类算法(AdaBoost、支持向量机、随机森林等)对这些特征进行分类，并完成建筑物的提取。但是真实环境下，城市建筑物有着复杂多变的纹理和颜色，以及会受到阴影的遮挡，这些因素使上述算法在复杂的建筑物提取场景下处理能力不足。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种基于多尺度特征融合与增强的遥感影像建筑物提取方法，在提高建筑物语义分割的准确率的同时，减小了网络模型参数量的大小，提高了模型训练速度和识别速度。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种基于多尺度特征融合与增强的遥感影像建筑物提取方法，包括：
采集目标区域的遥感影像并进行预处理，将预处理后的遥感影像输入预构建的建筑物提取模型中进行建筑物提取；
其中，所述建筑物提取模型的构建过程包括：
采集目标区域的遥感影像，并人工标注遥感影像中建筑物区域得到对应的建筑物标签；
将遥感影像和建筑物标签按照预设比例划分为独立的训练样本、验证样本以及测试样本，以构成样本数据集，并对样本数据集进行预处理；
采用编码-解码结构构建深度学习网络模型，所述深度学习网络模型包括编码阶段和解码阶段，并且在编码阶段和解码阶段之间引入多尺度特征融合模块和双通道池化加权模块；
通过训练样本对网络模型进行训练，通过验证样本对训练后的网络模型进行验证及模型选择；
将测试样本输入选择后的网络模型中，根据模型输出的预测建筑物标签与真实建筑物标签进行比较得到精度指标；
若精度指标满足预设要求，则将选择后的网络模型作为建筑物提取模型。
可选的，所述编码阶段包括：
采用DenseNet-45网络作为编码器从输入的样本数据中提取含有深层以及浅层语义特征的特征图；
其中，所述编码器包括5个串联的dense block，每个dense block输出的特征图依次记为C1、C2、C3、C4、C5，所述特征图的尺寸分别为样本数据的1/2、1/4、1/8、1/16、1/32。
可选的，所述多尺度特征融合模块获取编码器末端dense block输出的特征图C5；
所述多尺度特征融合模块为四个分支并行结构；其中，前两个所述分支分别按照等差和等比的规律来组合不同扩张率的空洞卷积来获取特征图C5的不同尺度特征；后两个所述分支分别使用平均池化和最大池化来提取特征图C5的突出特征和平均特性；
四个所述分支末端均经过BN层和Relu激活函数层来调整多尺度特征融合模块输出的数据分布；对四个所述分支的输出进行通道拼接，将拼接结果通过一个1*1的卷积层来融合特征以及调整输出特征图的数量，从而输出特征图C5 ′。
可选的，所述解码阶段包括：
获取特征图C1、C2、C3、C4、C5 ′，通过上采样逐步将特征图恢复为样本数据的尺寸，并通过4个双通道池化加权模块辅助上采样；
所述4个双通道池化加权模块分别记为第一双通道池化加权模块、第二双通道池化加权模块、第三双通道池化加权模块和第四双通道池化加权模块；
所述上采样过程如下：
将特征图C4和C5 ′分别作为第四双通道池化加权模块的两个输入，将第四双通道池化加权模块的输出进行2倍上采样，得到特征图P4；
将特征图C3和P4分别作为第三双通道池化加权模块的两个输入，将第三双通道池化加权模块的输出进行2倍上采样，得到特征图P3；
将特征图C2和P3分别作为第二双通道池化加权模块的两个输入，将第二双通道池化加权模块的输出进行2倍上采样，得到特征图P2；
将特征图C1和P2分别作为第一双通道池化加权模块的两个输入，将第一双通道池化加权模块的输出进行2倍上采样，得到特征图P1；
将特征图P1进行2倍上采样的到样本数据的尺寸的特征图P，特征图P经过像素分类器输出单通道特征分割结果。
可选的，所述双通道池化加权模块包括上分支和下分支；
所述上分支获取编码器输出的特征图，并对特征图进行全局平均池化操作得到通道级别的全局特征；
对全局特征通过一次全连接操作、ReLU激活函数激活、二次全连接操作、Sigmoid激活函数激活，学习通道之间的相互关系，并计算出不同通道的权重；
将得到的权重与解码阶段上采样输出的特征图相乘获取增强特征图；
对增强特征图进行1*1卷积操作实现通道之间的融合以及调整输出通道数量；
所述下分支获取编码器输出的特征图，并对特征图进行局部最大池化和局部平均池化操作得到通道级别的局部特征；
将局部特征进行逐通道相加学习，将学习到的权重通过1*1卷积操作进行融合以及调整输出通道数；将融合结果通过Sigmoid激活函数激活，与解码阶段上采样输出的特征图相乘来选择性的聚焦每个像素点；
对上分支和下分支的输出进行逐通道相加并通过1*1卷积操作进行融合得到双通道池化加权模块的输出。
可选的，所述网络模型的训练过程包括优化函数和损失函数，所述优化函数为Adam，学习率为0.0001；所述损失函数为交叉熵损失函数；通过计算损失函数误差，采用梯度反向传播算法不断优化调整网络权值和偏置，当损失函数误差收敛，则训练完成。
第二方面，本发明提供了一种基于多尺度特征融合与增强的遥感影像建筑物提取装置，所述提取装置包括：
数据获取模块：用于采集目标区域的遥感影像并进行预处理；
建筑物提取模块：用于将预处理后的遥感影像输入预构建的建筑物提取模型中进行建筑物提取；
其中，所述建筑物提取模型的构建过程包括：
采集目标区域的遥感影像，并人工标注遥感影像中建筑物区域得到对应的建筑物标签；
将遥感影像和建筑物标签按照预设比例划分为独立的训练样本、验证样本以及测试样本，以构成样本数据集，并对样本数据集进行预处理；
采用编码-解码结构构建深度学习网络模型，所述深度学习网络模型包括编码阶段和解码阶段，并且在编码阶段和解码阶段之间引入多尺度特征融合模块和双通道池化加权模块；
通过训练样本对网络模型进行训练，通过验证样本对训练后的网络模型进行验证及模型选择；
将测试样本输入选择后的网络模型中，根据模型输出的预测建筑物标签与真实建筑物标签进行比较得到精度指标；
若精度指标满足预设要求，则将选择后的网络模型作为建筑物提取模型。
第三方面，本发明提供了一种基于多尺度特征融合与增强的遥感影像建筑物提取装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据上述任一项所述方法的步骤。
第四方面，本发明提供了计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一项所述方法的步骤。
与现有技术相比，本发明所达到的有益效果：
本发明提供的一种基于多尺度特征融合与增强的遥感影像建筑物提取方法，通过构建建筑物提取模型对遥感影像进行建筑物提取；在建筑物提取模型的构建过程中，通过编码器获取含有深层以及浅层语义特征的特征图，将编码器末端的输出的特征图输入到多尺度特征融合模块，获得新的特征图；将新的特征图进行双线性插值上采样之后的特征图输入到双通道池化加权模块，再将编码器输出的对应的特征图输入双通道池化加权模块，获得合并特征图，再合并特征图，再次进行双线性差值上采样恢复到原图大小；通过上述方法，能够提高建筑物语义分割的准确率的同时，大大减小了网络模型参数量，提高了训练和识别的速度，进而提升建筑物提取模型的性能，从而提升建筑物提取的准确性。
附图说明
图1是本发明实施例提供的一种基于多尺度特征融合与增强的遥感影像建筑物提取方法流程图；
图2是本发明实施例提供的建筑物提取模型的构建过程流程图；
图3是本发明实施例提供的编码阶段和解码阶段流程示意图；
图4是本发明实施例提供的多尺度特征融合模块的原理示意图；
图5是本发明实施例提供的双通道池化加权模块的原理示意图；
图6是本发明实施例提供的编码器消融实验效果示意图；
图7是本发明实施例提供的多尺度特征融合模块消融实验效果示意图；
图8是本发明实施例提供的双通道池化加权模块消融实验效果示意图；
图9是本发明实施例提供的建筑物提取模型实验效果示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
如图1所示，本发明实施例提供了一种基于多尺度特征融合与增强的遥感影像建筑物提取方法，包括：
S1、采集目标区域的遥感影像并进行预处理；
S2、将预处理后的遥感影像输入预构建的建筑物提取模型中进行建筑物提取。
如图2所示，建筑物提取模型的构建过程包括：
S101、采集目标区域的遥感影像，并人工标注遥感影像中建筑物区域得到对应的建筑物标签。
S102、将遥感影像和建筑物标签按照预设比例划分为独立的训练样本、验证样本以及测试样本，以构成样本数据集，并对样本数据集进行预处理。
S103、采用编码-解码结构构建深度学习网络模型，深度学习网络模型包括编码阶段和解码阶段，并且在编码阶段和解码阶段之间引入多尺度特征融合模块和双通道池化加权模块。
S104、通过训练样本对网络模型进行训练，通过验证样本对训练后的网络模型进行验证及模型选择；
网络模型的训练过程包括优化函数和损失函数，优化函数为Adam，学习率为0.0001；损失函数为交叉熵损失函数；通过计算损失函数误差，采用梯度反向传播算法不断优化调整网络权值和偏置，当损失函数误差收敛，则训练完成。
S105、将测试样本输入选择后的网络模型中，根据模型输出的预测建筑物标签与真实建筑物标签进行比较得到精度指标。
S106、若精度指标满足预设要求，则将选择后的网络模型作为建筑物提取模型。
具体的，编码阶段和解码阶段如图3所示。
编码阶段包括：
采用DenseNet-45网络作为编码器从输入的样本数据中提取含有深层以及浅层语义特征的特征图；
其中，编码器包括5个串联的dense block，每个dense block输出的特征图依次记为C1、C2、C3、C4、C5，特征图的尺寸分别为样本数据的1/2、1/4、1/8、1/16、1/32。
编码器的效果图如图6所示，图中Image为遥感影像，Ground Truth为建筑物标签，Proposed(k＝24)，Proposed(VGG-19)，Proposed(k＝16)，Proposed(k＝32)，Proposed(k＝48)为搭载不同编码器的模型输出的效果图。
如图3所示，多尺度特征融合模块获取编码器末端dense block输出的特征图C5；
多尺度特征融合模块为四个分支并行结构；其中，前两个分支分别按照等差和等比的规律来组合不同扩张率的空洞卷积来获取特征图C5的不同尺度特征；后两个分支分别使用平均池化和最大池化来提取特征图C5的突出特征和平均特性；
四个分支末端均经过BN层和Relu激活函数层来调整多尺度特征融合模块输出的数据分布；对四个分支的输出进行通道拼接，将拼接结果通过一个1*1的卷积层来融合特征以及调整输出特征图的数量，从而输出特征图C5 ′。
验证：如图7所示，图中Image为遥感影像，Ground Truth为建筑物标签，Baseline+MSSFM为添加多尺度特征融合模块的效果图，Baseline+ASPP为添加了传统ASPP模型的效果图，Baseline为直接效果图；通过在WHU数据集上进行对比消融实验，添加多尺度特征融合模块之后对大型建筑物内部以及边缘分割的完整性和连续性更好，减少了“虫洞”现象。对于大型建筑物旁边的非建筑物的分割更加准确，在一定程度上避免了错误分割，MIOU、召回率、精度以及F1-Score均有所提高。同时添加多尺度特征融合模块比添加ASPP模块具有更好的性能，MIOU提升了0.89％。可以看出我们的多尺度特征融合模块可以很好的起到融合多通道特征扩大感受野的作用。
解码阶段包括：
获取特征图C1、C2、C3、C4、C5 ′，通过上采样逐步将特征图恢复为样本数据的尺寸，并通过4个双通道池化加权模块辅助上采样；
4个双通道池化加权模块分别记为第一双通道池化加权模块、第二双通道池化加权模块、第三双通道池化加权模块和第四双通道池化加权模块；
上采样过程如下：
将特征图C4和C5 ′分别作为第四双通道池化加权模块的两个输入，将第四双通道池化加权模块的输出进行2倍上采样，得到特征图P4；
将特征图C3和P4分别作为第三双通道池化加权模块的两个输入，将第三双通道池化加权模块的输出进行2倍上采样，得到特征图P3；
将特征图C2和P3分别作为第二双通道池化加权模块的两个输入，将第二双通道池化加权模块的输出进行2倍上采样，得到特征图P2；
将特征图C1和P2分别作为第一双通道池化加权模块的两个输入，将第一双通道池化加权模块的输出进行2倍上采样，得到特征图P1；
将特征图P1进行2倍上采样的到样本数据的尺寸的特征图P，特征图P经过像素分类器输出单通道特征分割结果。
如图5所示，双通道池化加权模块包括上分支和下分支；
上分支获取编码器输出的特征图，并对特征图进行全局平均池化操作得到通道级别的全局特征；
对全局特征通过一次全连接操作、ReLU激活函数激活、二次全连接操作、Sigmoid激活函数激活，学习通道之间的相互关系，并计算出不同通道的权重；
将得到的权重与解码阶段上采样输出的特征图相乘获取增强特征图；
对增强特征图进行1*1卷积操作实现通道之间的融合以及调整输出通道数量；
下分支获取编码器输出的特征图，并对特征图进行局部最大池化和局部平均池化操作得到通道级别的局部特征；
将局部特征进行逐通道相加学习，将学习到的权重通过1*1卷积操作进行融合以及调整输出通道数；将融合结果通过Sigmoid激活函数激活，与解码阶段上采样输出的特征图相乘来选择性的聚焦每个像素点；
对上分支和下分支的输出进行逐通道相加并通过1*1卷积操作进行融合得到双通道池化加权模块的输出。
验证：如图8-9所示，图中Image为遥感影像，Ground Truth为建筑物标签，Proposed为添加双通道池化加权模块效果图，Proposed_Without_DAPWM为未添加双通道池化加权模块效果图；MA-FCN，DeeplabV3+、U-Net、Segnet、FCN为各种网络效果图。
在WHU数据集上进行实验将含有双通道池化加权模块与不含双通道池化加权模块的同一模型进行比对，分析建筑物分割性能。同时为了证明该模块的通用性，将该模块添加到U-net网络中与原始的U-net网络进行比对。实验表明双通道注意力池化加权模块对于模型的整体分割精度提升较大，添加前后建筑物分割MIOU指标提升了4.61％，在召回率、精度以及F1-Score方面也有较大提升。同时在U-net网络中添加了该模块也相较于添加前有更好的性能，其中MIOU提升了0.76％，可见该模块拥有较好的通用性能。
实施例二：
本发明实施例提供了一种基于多尺度特征融合与增强的遥感影像建筑物提取装置，提取装置包括：
数据获取模块：用于采集目标区域的遥感影像并进行预处理；
建筑物提取模块：用于将预处理后的遥感影像输入预构建的建筑物提取模型中进行建筑物提取；
其中，建筑物提取模型的构建过程包括：
采集目标区域的遥感影像，并人工标注遥感影像中建筑物区域得到对应的建筑物标签；
将遥感影像和建筑物标签按照预设比例划分为独立的训练样本、验证样本以及测试样本，以构成样本数据集，并对样本数据集进行预处理；
采用编码-解码结构构建深度学习网络模型，深度学习网络模型包括编码阶段和解码阶段，并且在编码阶段和解码阶段之间引入多尺度特征融合模块和双通道池化加权模块；
通过训练样本对网络模型进行训练，通过验证样本对训练后的网络模型进行验证及模型选择；
将测试样本输入选择后的网络模型中，根据模型输出的预测建筑物标签与真实建筑物标签进行比较得到精度指标；
若精度指标满足预设要求，则将选择后的网络模型作为建筑物提取模型。
实施例三：
本发明实施例提供了一种基于多尺度特征融合与增强的遥感影像建筑物提取装置，包括处理器及存储介质；
存储介质用于存储指令；
处理器用于根据指令进行操作以执行根据实施例一所述方法的步骤。
实施例四：
本发明提供了计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现实施例一所述方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (9)
1.一种基于多尺度特征融合与增强的遥感影像建筑物提取方法，其特征在于，包括：
采集目标区域的遥感影像并进行预处理，将预处理后的遥感影像输入预构建的建筑物提取模型中进行建筑物提取；
其中，所述建筑物提取模型的构建过程包括：
采集目标区域的遥感影像，并人工标注遥感影像中建筑物区域得到对应的建筑物标签；
将遥感影像和建筑物标签按照预设比例划分为独立的训练样本、验证样本以及测试样本，以构成样本数据集，并对样本数据集进行预处理；
采用编码-解码结构构建深度学习网络模型，所述深度学习网络模型包括编码阶段和解码阶段，并且在编码阶段和解码阶段之间引入多尺度特征融合模块和双通道池化加权模块；
通过训练样本对网络模型进行训练，通过验证样本对训练后的网络模型进行验证及模型选择；
将测试样本输入选择后的网络模型中，根据模型输出的预测建筑物标签与真实建筑物标签进行比较得到精度指标；
若精度指标满足预设要求，则将选择后的网络模型作为建筑物提取模型。
2.根据权利要求1所述的一种基于多尺度特征融合与增强的遥感影像建筑物提取方法，其特征在于，所述编码阶段包括：
采用DenseNet-45网络作为编码器从输入的样本数据中提取含有深层以及浅层语义特征的特征图；
其中，所述编码器包括5个串联的dense block，每个dense block输出的特征图依次记为C1、C2、C3、C4、C5，所述特征图的尺寸分别为样本数据的1/2、1/4、1/8、1/16、1/32。
3.根据权利要求2所述的一种基于多尺度特征融合与增强的遥感影像建筑物提取方法，其特征在于，所述多尺度特征融合模块获取编码器末端dense block输出的特征图C5；
所述多尺度特征融合模块为四个分支并行结构；其中，前两个所述分支分别按照等差和等比的规律来组合不同扩张率的空洞卷积来获取特征图C5的不同尺度特征；后两个所述分支分别使用平均池化和最大池化来提取特征图C5的突出特征和平均特性；
四个所述分支末端均经过BN层和Relu激活函数层来调整多尺度特征融合模块输出的数据分布；对四个所述分支的输出进行通道拼接，将拼接结果通过一个1*1的卷积层来融合特征以及调整输出特征图的数量，从而输出特征图C5 ′。
4.根据权利要求3所述的一种基于多尺度特征融合与增强的遥感影像建筑物提取方法，所述解码阶段包括：
获取特征图C1、C2、C3、C4、C5 ′，通过上采样逐步将特征图恢复为样本数据的尺寸，并通过4个双通道池化加权模块辅助上采样；
所述4个双通道池化加权模块分别记为第一双通道池化加权模块、第二双通道池化加权模块、第三双通道池化加权模块和第四双通道池化加权模块；
所述上采样过程如下：
将特征图C4和C5 ′分别作为第四双通道池化加权模块的两个输入，将第四双通道池化加权模块的输出进行2倍上采样，得到特征图P4；
将特征图C3和P4分别作为第三双通道池化加权模块的两个输入，将第三双通道池化加权模块的输出进行2倍上采样，得到特征图P3；
将特征图C2和P3分别作为第二双通道池化加权模块的两个输入，将第二双通道池化加权模块的输出进行2倍上采样，得到特征图P2；
将特征图C1和P2分别作为第一双通道池化加权模块的两个输入，将第一双通道池化加权模块的输出进行2倍上采样，得到特征图P1；
将特征图P1进行2倍上采样的到样本数据的尺寸的特征图P，特征图P经过像素分类器输出单通道特征分割结果。
5.根据权利要求4所述的一种基于多尺度特征融合与增强的遥感影像建筑物提取方法，其特征在于，所述双通道池化加权模块包括上分支和下分支；
所述上分支获取编码器输出的特征图，并对特征图进行全局平均池化操作得到通道级别的全局特征；
对全局特征通过一次全连接操作、ReLU激活函数激活、二次全连接操作、Sigmoid激活函数激活，学习通道之间的相互关系，并计算出不同通道的权重；
将得到的权重与解码阶段上采样输出的特征图相乘获取增强特征图；
对增强特征图进行1*1卷积操作实现通道之间的融合以及调整输出通道数量；
所述下分支获取编码器输出的特征图，并对特征图进行局部最大池化和局部平均池化操作得到通道级别的局部特征；
将局部特征进行逐通道相加学习，将学习到的权重通过1*1卷积操作进行融合以及调整输出通道数；将融合结果通过Sigmoid激活函数激活，与解码阶段上采样输出的特征图相乘来选择性的聚焦每个像素点；
对上分支和下分支的输出进行逐通道相加并通过1*1卷积操作进行融合得到双通道池化加权模块的输出。
6.根据权利要求1所述的一种基于多尺度特征融合与增强的遥感影像建筑物提取方法，其特征在于，所述网络模型的训练过程包括优化函数和损失函数，所述优化函数为Adam，学习率为0.0001；所述损失函数为交叉熵损失函数；通过计算损失函数误差，采用梯度反向传播算法不断优化调整网络权值和偏置，当损失函数误差收敛，则训练完成。
7.一种基于多尺度特征融合与增强的遥感影像建筑物提取装置，其特征在于，所述提取装置包括：
数据获取模块：用于采集目标区域的遥感影像并进行预处理；
建筑物提取模块：用于将预处理后的遥感影像输入预构建的建筑物提取模型中进行建筑物提取；
其中，所述建筑物提取模型的构建过程包括：
采集目标区域的遥感影像，并人工标注遥感影像中建筑物区域得到对应的建筑物标签；
将遥感影像和建筑物标签按照预设比例划分为独立的训练样本、验证样本以及测试样本，以构成样本数据集，并对样本数据集进行预处理；
采用编码-解码结构构建深度学习网络模型，所述深度学习网络模型包括编码阶段和解码阶段，并且在编码阶段和解码阶段之间引入多尺度特征融合模块和双通道池化加权模块；
通过训练样本对网络模型进行训练，通过验证样本对训练后的网络模型进行验证及模型选择；
将测试样本输入选择后的网络模型中，根据模型输出的预测建筑物标签与真实建筑物标签进行比较得到精度指标；
若精度指标满足预设要求，则将选择后的网络模型作为建筑物提取模型。
8.一种基于多尺度特征融合与增强的遥感影像建筑物提取装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1-6任一项所述方法的步骤。
9.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111627701.4A CN114387512B (zh) | 2021-12-28 | 2021-12-28 | 基于多尺度特征融合与增强的遥感影像建筑物提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111627701.4A CN114387512B (zh) | 2021-12-28 | 2021-12-28 | 基于多尺度特征融合与增强的遥感影像建筑物提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114387512A true CN114387512A (zh) | 2022-04-22 |
| CN114387512B CN114387512B (zh) | 2024-04-19 |
Family
ID=81198677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111627701.4A Active CN114387512B (zh) | 2021-12-28 | 2021-12-28 | 基于多尺度特征融合与增强的遥感影像建筑物提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114387512B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115841625A (zh) * | 2023-02-23 | 2023-03-24 | 杭州电子科技大学 | 一种基于改进U-Net模型的遥感建筑物影像提取方法 |
| CN116452972A (zh) * | 2023-03-17 | 2023-07-18 | 兰州交通大学 | 一种基于Transformer端到端的遥感图像车辆目标检测方法 |
| CN117115641A (zh) * | 2023-07-20 | 2023-11-24 | 中国科学院空天信息创新研究院 | 建筑物信息提取方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111460936A (zh) * | 2020-03-18 | 2020-07-28 | 中国地质大学（武汉） | 基于U-Net网络的遥感影像建筑物提取方法、系统、电子设备 |
| CN112364699A (zh) * | 2020-10-14 | 2021-02-12 | 珠海欧比特宇航科技股份有限公司 | 基于加权损失融合网络的遥感图像分割方法、装置及介质 |
| CN113420619A (zh) * | 2021-06-07 | 2021-09-21 | 核工业北京地质研究院 | 一种遥感影像建筑物提取方法 |
| WO2021184891A1 (zh) * | 2020-03-20 | 2021-09-23 | 中国科学院深圳先进技术研究院 | 遥感影像地物分类方法及系统 |
-
2021
- 2021-12-28 CN CN202111627701.4A patent/CN114387512B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111460936A (zh) * | 2020-03-18 | 2020-07-28 | 中国地质大学（武汉） | 基于U-Net网络的遥感影像建筑物提取方法、系统、电子设备 |
| WO2021184891A1 (zh) * | 2020-03-20 | 2021-09-23 | 中国科学院深圳先进技术研究院 | 遥感影像地物分类方法及系统 |
| CN112364699A (zh) * | 2020-10-14 | 2021-02-12 | 珠海欧比特宇航科技股份有限公司 | 基于加权损失融合网络的遥感图像分割方法、装置及介质 |
| CN113420619A (zh) * | 2021-06-07 | 2021-09-21 | 核工业北京地质研究院 | 一种遥感影像建筑物提取方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115841625A (zh) * | 2023-02-23 | 2023-03-24 | 杭州电子科技大学 | 一种基于改进U-Net模型的遥感建筑物影像提取方法 |
| CN115841625B (zh) * | 2023-02-23 | 2023-06-06 | 杭州电子科技大学 | 一种基于改进U-Net模型的遥感建筑物影像提取方法 |
| CN116452972A (zh) * | 2023-03-17 | 2023-07-18 | 兰州交通大学 | 一种基于Transformer端到端的遥感图像车辆目标检测方法 |
| CN117115641A (zh) * | 2023-07-20 | 2023-11-24 | 中国科学院空天信息创新研究院 | 建筑物信息提取方法、装置、电子设备及存储介质 |
| CN117115641B (zh) * | 2023-07-20 | 2024-03-22 | 中国科学院空天信息创新研究院 | 建筑物信息提取方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114387512B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2019213369B2 (en) | Non-local memory network for semi-supervised video object segmentation | |
| CN114387512B (zh) | 基于多尺度特征融合与增强的遥感影像建筑物提取方法 | |
| CN108664981B (zh) | 显著图像提取方法及装置 | |
| CN110378222B (zh) | 一种输电线路防震锤目标检测与缺陷识别方法及装置 | |
| CN111127538B (zh) | 一种基于卷积循环编码-解码结构的多视影像三维重建方法 | |
| CN112837315B (zh) | 一种基于深度学习的输电线路绝缘子缺陷检测方法 | |
| CN109146944B (zh) | 一种基于深度可分卷积神经网络的视觉深度估计方法 | |
| CN109492596B (zh) | 一种基于K-means聚类和区域推荐网络的行人检测方法及系统 | |
| CN114943963A (zh) | 一种基于双分支融合网络的遥感图像云和云影分割方法 | |
| CN115830471B (zh) | 一种多尺度特征融合和对齐的域自适应云检测方法 | |
| CN113034444A (zh) | 一种基于MobileNet-PSPNet神经网络模型的路面裂缝检测方法 | |
| CN109598301B (zh) | 检测区域去除方法、装置、终端和存储介质 | |
| GB2579262A (en) | Space-time memory network for locating target object in video content | |
| CN112365511A (zh) | 基于重叠区域检索与对齐的点云分割方法 | |
| CN113269224A (zh) | 一种场景图像分类方法、系统及存储介质 | |
| CN114742985A (zh) | 一种高光谱特征提取方法、装置及存储介质 | |
| CN114299285A (zh) | 三维点云半自动标注方法、系统、电子设备及存储介质 | |
| CN114581789A (zh) | 一种高光谱图像分类方法及系统 | |
| CN112883807A (zh) | 车道线检测方法和系统 | |
| CN111582101A (zh) | 一种遥感图像检测方法及系统 | |
| CN116468947A (zh) | 刀具图像识别方法、装置、计算机设备及存储介质 | |
| CN114913330B (zh) | 点云部件分割方法、装置、电子设备与存储介质 | |
| CN110738194A (zh) | 一种基于点云有序编码的三维物体识别方法 | |
| CN113962332B (zh) | 基于自优化融合反馈的显著目标识别方法 | |
| CN115147727A (zh) | 一种遥感影像不透水面提取方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |