CN114092824A - 结合密集注意力和并行上采样的遥感图像道路分割方法 - Google Patents
结合密集注意力和并行上采样的遥感图像道路分割方法 Download PDFInfo
- Publication number
- CN114092824A CN114092824A CN202010853221.9A CN202010853221A CN114092824A CN 114092824 A CN114092824 A CN 114092824A CN 202010853221 A CN202010853221 A CN 202010853221A CN 114092824 A CN114092824 A CN 114092824A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- sensing image
- sampling
- attention
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
针对高分辨率遥感图像中道路分割算法精度低的问题,本发明提出一种结合密集注意力和并行上采样的遥感图像道路分割方法。本方法包括如下步骤:步骤1、设计密集空洞空间金字塔注意力模块(Dense Atrous Spatial Pyramid Attention,DASPA);步骤2、设计多路并行上采样结构(Multi‑channel Parallel Upsampling,MPUpsample);步骤3、搭建遥感图像道路分割网络,其中密集空洞空间金字塔注意力结构作用于编码器和解码器的中心部分,多路并行上采样模块作用于解码器部分;步骤4、在公开的遥感图像道路信息提取数据集上对提出的网络模型进行训练和测试;步骤5、将本发明方法的分割结果与目前先进的遥感图像道路分割方法进行比较分析。本发明方法在DeepGlobe公开数据集上能显著提高遥感图像道路分割性能,在遥感图像领域具有极大的应用价值。
Description
技术领域
本发明属于计算机视觉的图像处理领域,特别涉及一种结合密集注意力和并行上采样的遥感图像道路分割方法。
背景技术
道路作为遥感图像中典型的地理标志,在地图绘制、环境监测、军事应用等领域具有重要的应用价值。由于遥感技术的快速发展,遥感图像的分辨率不断提高,噪声对图像的干扰也随之增加,如何从遥感图像中自动提取出高精度的道路信息已成为近年来研究的热点与难点。目前基于卷积神经网络(Convolutional Neural Network,CNN)的遥感图像分割方法表现尤为突出,相较于传统的半自动提取方法,该方法能有效抑制道路信息提取过程中产生的噪声以及减少道路细节信息的丢失,使得提取效果大幅提升。然而,自动提取遥感图像道路信息主要存在以下难点:(1)输入图像分辨率高,数据量大,需要足够大的感受野;(2)遥感图像中的道路细长且复杂,占整幅图像比重较少;(3)由于地理限制,部分道路被阴影、云、建筑物或树木等物体覆盖,图像色彩对比度低,感兴趣区域的提取难度较大;(4)道路具有自然连通性,即具有图像的拓扑特点。
近年来,针对如何从高分辨率遥感图像中自动提取道路信息的问题,国内外已经提出了多种方法。比较常见的传统遥感图像道路信息提取方法有基于像素、基于对象、基于知识以及基于机器学习的方法。虽然这些方法在分割性能上取得了长足的进步,但仍无法解决道路由于遮挡出现的信息丢失问题。同时,由于背景噪声信息的存在,提取过程中会产生大量难以处理的细碎边界特征。
发明内容
针对高分辨率遥感图像中道路分割算法精度低的问题,本发明提出了结合密集注意力和并行上采样的遥感图像道路信息提取方法。在编码器-解码器的中间部分设计了密集空洞空间金字塔注意力结构,将通道注意力分支和空间注意力分支进行自适应融合有利于提取丰富的全局上下文信息,筛选出有用的目标特征,抑制无关特征的干扰。在解码器部分设计了多路并行上采样模块,通过融合多路特征图以获得具有精细位置信息的预测结果,提升模型的细节特征保持能力。实验结果表明,该模型在DeepGlobe数据集上获得了显著的分割性能的提升,可广泛应用于遥感图像领域内的各种任务。
本发明的技术解决方案包括如下步骤。
步骤1、设计密集空洞空间金字塔注意力模块(Dense Atrous Spatial PyramidAttention,DASPA)。
步骤2、设计多路并行上采样结构(Multi-channel Parallel Upsampling,MPUpsample)。
步骤3、搭建遥感图像道路分割网络,其中密集空洞空间金字塔注意力结构作用于编码器和解码器的中心部分,多路并行上采样模块作用于解码器部分。
步骤4、在公开的遥感图像道路信息提取数据集上对提出的网络模型进行训练和测试。
步骤5、将本发明方法的分割结果与目前先进的遥感图像道路分割方法进行比较分析。
本发明与现有技术相比,其显著优点是:1)本发明方法设计的密集空洞空间金字塔注意力模块,将并行的空间信息和通道信息相结合,重新调整特征重要性,在保留图像细节信息的同时消除背景特征的干扰,从而获得更为精确的分割结果;2)本发明方法设计的多路并行上采样模块将来自解码器的所有上采样特征映射堆叠,以获取不同尺度下的上下文信息,并将它们一起作为最后一层的输入来进行图像预测,保证精确定位的同时捕获丰富的细节信息,使网络模型更好地聚合多尺度特征,切实有效的提高了上采样对于图像细节信息的修复效果,进一步提升了道路的分割精度;3)本发明提出的网络模型能有效提高遥感图像道路分割精度,可扩展应用到遥感图像领域或者其它图像分割任务中,具有极大的创新意义和应用价值。
附图说明
图1为本发明的密集空洞空间金字塔注意力模块结构图;
图2为本发明的多路并行上采样模块结构图;
图3本发明的遥感图像道路分割网络结构图;
图4为本发明方法与其他算法在DeepGlobe数据集预测结果比较。
具体实施方式
图1下面结合附图及具体实施例对本发明方案作进一步说明。
步骤1、设计密集空洞空间金字塔注意力模块(Dense Atrous Spatial PyramidAttention,DASPA)。为了更好地提取不同尺度下金字塔特征的密集上下文信息,在保留图像细节信息的同时消除背景特征的干扰,本发明提出了密集空洞空间金字塔注意力模块,如图1所示,首先采用使用密集连接的方式将空洞率为1,2,4,8的扩张卷积的输出结合到一起,接着将从输入特征图A学习到的密集特征信息与1×1卷积所提取的原始特征进行逐像素加权,最后将通道注意力分支与密集空洞空间注意力分支进行特征融合得到输出特征图,其中,。此外,通道注意力分支是将卷积得到的特征图通过全局平均池化(Global Average Pooling, GAP)得到一个1×1×c的特征向量,然后通过两个全连接层来建立通道间的相关性,第一次全连接(Fully Connected, FC)操作将特征维度降低到输入图像的1/16,经过ReLu激活后通过第二次全连接恢复到原来的维度,最后将通过Sigmoid函数获得的归一化后的权重加权到输入图像的每个通道的特征上。DASPA模块的计算过程如公式(1)所示:
步骤2、设计多路并行上采样模块(Multi-channel Parallel Upsampling,MPUpsample)。在传统U形网络中,高级抽象语义信息从解码器的高层逐步传递到低层,较深层捕获的边缘信息会被逐渐稀释,不利于遥感图像道路分割。因此针对自上而下路径中道路边缘细节信息易丢失的问题,本发明进一步提出多路并行上采样模块,如图2所示。该结构与主流架构相比,不只是使用解码器的最后一层来预测分割掩码,而是将来自解码器的所有上采样特征映射堆叠起来,以获取不同尺度下的上下文信息,并将它们一起作为最后一层的输入来进行图像预测,保证精确定位的同时捕获丰富的细节信息,使网络模型更好地聚合多尺度特征。在特征图并行上采样的过程中,考虑到显存消耗的影响,本结构首先使用1×1卷积减少每个层次的特征图通道数,再分别进行2倍、4倍、8倍、16倍上采样来恢复图像分辨率,以确保在上采样过程中不会损失过多细节特征,最后将多分支的上采样特征图进行堆叠,并依次通过3×3和1×1卷积层,从而实现图像的分割。
步骤3、搭建遥感图像道路分割网络,其中密集空洞空间金字塔注意力结构作用于编码器和解码器的中心部分,多路并行上采样模块作用于解码器部分。遥感图像道路分割网络模型如图3所示。
为了提高模型对感兴趣目标的分割精度以及道路细节特征的保持能力,该网络中的密集空洞空间金字塔注意力模块利用空间注意力分支中的多个扩张卷积和密集连接结构来扩大网络感受野,获取局部和全局的多尺度层次特征,通道注意力分支通过建立通道间的相互依赖关系重新调整各通道特征的重要性,将通道注意力分支和空间注意力分支进行自适应融合有利于提取丰富的全局上下文信息,筛选出有用的目标特征,抑制无关特征的干扰。多路并行上采样模块不同于简单的采用双线性插值或反卷积的上采样方式来恢复特征图的分辨率,而是在解码器融合多路特征图以获得具有精细位置信息的预测结果,提升模型的细节特征保持能力。
步骤4、本发明采用DeepGlobe遥感图像道路提取数据集来验证算法的性能,该数据集包含6226张训练图像及其对应的标签,将6226张图片按7:2:1随机分成4358张训练图片、1245张测试图片和623张验证图片。其中标签是与输入图像具有相同高度和宽度的灰度二值图像,道路和非道路像素分别设置为255和0。所有图像大小均为1024×1024,每幅图像都是由DigitalGlobe卫星采集的地面分辨率为0.5m/pixel的RGB图像。数据集包括荒郊、城市、乡村和雨林等复杂场景。在公开的遥感图像道路信息提取数据集上对提出的网络模型进行训练和测试。本发明实验是在GPU型号为NVIDIA GTX1080Ti的计算平台下进行的,所用深度学习框架为Pytorch1.2.0。在训练阶段,本发明采用了平移、缩放、旋转和翻转的数据增强的方式,以二分类交叉熵和骰子系数损失作为损失函数,Adam作为优化器。初始学习率设定为,训练批次大小为4,共训练300轮,输入图像大小为,在测试阶段采用水平旋转和[1.25,1.5,1.75]缩放比例进行多尺度测试。
步骤5、为了准确地评估遥感图像道路分割模型的分割精度,本发明采用语义分割中常用的指标来进行评价,即召回率(P r )、准确率(P a )、精准率(P p )和F1-score。P r 即预测正确的道路像素点数量占所有道路像素点数量的比例,P a 即预测正确的道路和背景像素点数量占整幅遥感图像中像素点数量的比例,P p 即预测正确的道路像素点数量占预测为正确的道路像素点数量的比例,F1-score即召回率和精准率的综合评价指标,F1-score越高,说明模型分割性能越稳健。P r 、P a 、P p 和F1-score计算公式为:
公式中:TP为道路预测正确的像素数目;TN为背景预测正确的像素数目;FN为提取错误的背景信息的像素数目;FP为提取错误的道路信息的像素数目。
实验结果如表1所示,本发明方法各项指标均优于目前的主流算法。主流算法中DenseASPP虽然获得密集的多尺度特征,但是很难在扩张率大小的选择和尺度变化之间取得平衡。U-Net模型是典型的U型结构,网络使用跳连接结合低级特征图的空间信息,虽然最终特征图实现了不同尺度下的特征融合,但是由于遥感图像存在较多干扰因素,U-Net网络无法抑制噪声干扰并筛选出有用的特征。同时,高分辨率遥感图像数据集数据量大,U-Net模型与LinkNet相比,模型训练产生的参数量更多且精度更低。FCN-16s虽然将不同下采样层输出的特征进行融合,但是分割结果中的道路细节表征不明显且精度不高,存在道路结构缺失的现象。本发明方法有效提取了网络最高层的密集多尺度空间特征,并融合空间注意力分支和通道注意力分支筛选出包含道路的图像信息,避免了无用特征的干扰,在解码器部分利用多路特征图进行通道叠加,解决了由于道路结构中断导致的细节信息丢失问题。
表1 不同算法在DeepGlobe数据集上的分割指标对比
图4显示了不同算法在DeepGlobe遥感图像道路提取数据集上的分割效果对比图,由图4可知,本发明方法在抑制冗余特征的干扰以及处理细节信息丢失方面明显优于其他算法。U-Net虽然比LinkNet分割的图像完整性更高,但是易引入大量无用信息且存在错分漏分的情况。FCN-16s的道路关键细节信息丢失严重,图像特征提取由于其他遮挡物影响容易产生虚假信息,导致分割性能更低。DenseASPP相较于其他算法分割效果最差,部分复杂图像的道路结构存在大块缺失的现象,边界信息损失严重。本发明方法与上述算法相比,更好地保留了道路结构特征的完整性,有效地抑制了噪声对影像提取的干扰,分割效果图更接近于真实图像标签。
Claims (4)
1.结合密集注意力和并行上采样的遥感图像道路分割方法,包括如下步骤:
步骤1、设计密集空洞空间金字塔注意力模块(Dense Atrous Spatial PyramidAttention,DASPA);
步骤2、设计多路并行上采样结构(Multi-channel Parallel Upsampling,MPUpsample);
步骤3、搭建遥感图像道路分割网络,其中密集空洞空间金字塔注意力结构作用于编码器和解码器的中心部分,多路并行上采样模块作用于解码器部分;
步骤4、在公开的遥感图像道路信息提取数据集上对提出的网络模型进行训练和测试;
步骤5、将本发明方法的分割结果与目前先进的遥感图像道路分割方法进行比较分析。
2.根据权利要求1所述方法,其特征在于,步骤1设计的密集空洞空间金字塔注意力模块如图1,由空间注意力和通道注意力两个并行的分支组成,其中空间注意力分支包括一个1×1的卷积和一个扩张率为1,2,4,8的密集空洞空间金字塔结构,能够重新调整特征重要性,在保留图像细节信息的同时消除背景特征的干扰,从而获得更为精确的分割结果。
3.根据权利要求1所述方法,其特征在于,步骤2设计的多路并行上采样结构如图2,首先,使用1×1卷积减少每个层次的特征图通道数;其次,分别进行2倍、4倍、8倍、16倍上采样来恢复图像分辨率,以确保在上采样过程中不会损失过多细节特征;最后,将多分支的上采样特征图进行堆叠,并依次通过3×3和1×1卷积层,从而实现图像的分割。
4.根据权利要求1所述方法,其特征在于,步骤3搭建的遥感图像道路分割网络如图3,其中密集空洞空间金字塔注意力模块作用于编码器和解码器的中心部分,多路并行上采样模块作用于解码器部分,编码器部分采用ResNet34作为预训练模型,使用7×7卷积提取原始输入图像的粗略特征,经过4个下采样层后提取到精细的图像边缘信息和位置信息,密集空洞空间金字塔注意力模块首先采用密集连接的方式将不同扩张率的空洞卷积进行连接,增加网络最高层的感受野,实现所有中间特征的融合;其次通过学习权重来抑制多尺度图像不相关和易混淆的像素信息;最后结合网络的抽象空间信息和通道信息来捕获丰富的局部和全局特征,为掩码分割提供足够精确的像素级预测,多路并行上采样模块有效地将不同尺度层的特征结合起来,有助于增强目标特征的响应能力,同时为了减少特征通道融合的参数数量,该结构首先减少通道数,再通过上采样来恢复图像分辨率,并将上采样后的特征图堆叠起来整体作为输入产生分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010853221.9A CN114092824A (zh) | 2020-08-23 | 2020-08-23 | 结合密集注意力和并行上采样的遥感图像道路分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010853221.9A CN114092824A (zh) | 2020-08-23 | 2020-08-23 | 结合密集注意力和并行上采样的遥感图像道路分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114092824A true CN114092824A (zh) | 2022-02-25 |
Family
ID=80295301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010853221.9A Pending CN114092824A (zh) | 2020-08-23 | 2020-08-23 | 结合密集注意力和并行上采样的遥感图像道路分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114092824A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114972989A (zh) * | 2022-05-18 | 2022-08-30 | 中国矿业大学(北京) | 一种基于深度学习算法的单幅遥感影像高度信息估算方法 |
CN117078943A (zh) * | 2023-10-17 | 2023-11-17 | 太原理工大学 | 融合多尺度特征和双注意力机制的遥感影像道路分割方法 |
CN117132767A (zh) * | 2023-10-23 | 2023-11-28 | 中国铁塔股份有限公司湖北省分公司 | 一种小目标检测方法、装置、设备及可读存储介质 |
-
2020
- 2020-08-23 CN CN202010853221.9A patent/CN114092824A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114972989A (zh) * | 2022-05-18 | 2022-08-30 | 中国矿业大学(北京) | 一种基于深度学习算法的单幅遥感影像高度信息估算方法 |
CN114972989B (zh) * | 2022-05-18 | 2023-01-10 | 中国矿业大学(北京) | 一种基于深度学习算法的单幅遥感影像高度信息估算方法 |
CN117078943A (zh) * | 2023-10-17 | 2023-11-17 | 太原理工大学 | 融合多尺度特征和双注意力机制的遥感影像道路分割方法 |
CN117078943B (zh) * | 2023-10-17 | 2023-12-19 | 太原理工大学 | 融合多尺度特征和双注意力机制的遥感影像道路分割方法 |
CN117132767A (zh) * | 2023-10-23 | 2023-11-28 | 中国铁塔股份有限公司湖北省分公司 | 一种小目标检测方法、装置、设备及可读存储介质 |
CN117132767B (zh) * | 2023-10-23 | 2024-03-19 | 中国铁塔股份有限公司湖北省分公司 | 一种小目标检测方法、装置、设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113298818B (zh) | 基于注意力机制与多尺度特征的遥感图像建筑物分割方法 | |
CN112396607B (zh) | 一种可变形卷积融合增强的街景图像语义分割方法 | |
CN111126202B (zh) | 基于空洞特征金字塔网络的光学遥感图像目标检测方法 | |
CN111047551B (zh) | 一种基于U-net改进算法的遥感影像变化检测方法及系统 | |
CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
CN114092824A (zh) | 结合密集注意力和并行上采样的遥感图像道路分割方法 | |
CN111738111A (zh) | 基于多分支级联空洞空间金字塔的高分辨遥感图像的道路提取方法 | |
CN111787187B (zh) | 利用深度卷积神经网络进行视频修复的方法、系统、终端 | |
CN114943963A (zh) | 一种基于双分支融合网络的遥感图像云和云影分割方法 | |
CN114359723A (zh) | 一种基于空谱特征融合网络的遥感影像变化检测方法 | |
CN110349087B (zh) | 基于适应性卷积的rgb-d图像高质量网格生成方法 | |
CN115082675B (zh) | 一种透明物体图像分割方法及系统 | |
CN111401379A (zh) | 基于编解码结构的DeepLabv3plus-IRCNet图像语义分割算法 | |
CN116580241B (zh) | 基于双分支多尺度语义分割网络的图像处理方法及系统 | |
CN115205672A (zh) | 一种基于多尺度区域注意力的遥感建筑物语义分割方法及系统 | |
CN114663759A (zh) | 一种基于改进DeepLabV3+的遥感影像建筑物提取方法 | |
CN115631513B (zh) | 基于Transformer的多尺度行人重识别方法 | |
CN115908772A (zh) | 一种基于Transformer和融合注意力机制的目标检测方法及系统 | |
CN116630824A (zh) | 一种面向电力巡检机制的卫星遥感图像边界感知语义分割模型 | |
CN115223017B (zh) | 一种基于深度可分离卷积的多尺度特征融合桥梁检测方法 | |
CN116030357A (zh) | 一种高分辨率遥感图像变化检测深度网络及检测方法 | |
CN113066089A (zh) | 一种基于注意力引导机制的实时图像语义分割网络 | |
CN116630704A (zh) | 一种基于注意力增强和密集多尺度的地物分类网络模型 | |
CN115601236A (zh) | 一种基于特征信息蒸馏网络的遥感图像超分辨重建方法 | |
CN117876679A (zh) | 一种基于卷积神经网络的遥感图像场景分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |