CN114842333B - 一种遥感影像建筑物提取方法、计算机设备及存储介质 - Google Patents
一种遥感影像建筑物提取方法、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114842333B CN114842333B CN202210387685.4A CN202210387685A CN114842333B CN 114842333 B CN114842333 B CN 114842333B CN 202210387685 A CN202210387685 A CN 202210387685A CN 114842333 B CN114842333 B CN 114842333B
- Authority
- CN
- China
- Prior art keywords
- size
- feature
- feature map
- remote sensing
- building
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种遥感影像建筑物提取方法、计算机设备及存储介质,该方法包括:构建样本数据集,对样本数据集中的影像进行数据增强处理;构建改进的DeepLab V3+模型,该模型包括Xception模块、SKASPP模块、第一特征提取与采样模块、特征融合模块、第二特征提取与采样模块;利用数据增强处理后的样本数据集对改进的DeepLab V3+模型进行训练;采用训练后的DeepLab V3+模型进行建筑物提取,输出建筑物提取结果。本发明提高了模型多尺度表达能力,能够自动权衡浅层特征和深层特征,提高了特征提取准确度,提高了边缘特征检测性能。
Description
技术领域
本发明属于计算机视觉技术领域,尤其涉及一种基于DeepLabV3+优化的遥感影像建筑物提取方法、计算机设备及存储介质。
背景技术
随着遥感技术的不断成熟,卫星拍摄的影像图分辨率逐渐提升,可以从高分辨率遥感影像中直接观察到地物目标。建筑物与人们的生活息息相关,在土地利用监控、农业监测、防灾预警、城市规划等许多领域都有着广泛的应用,因此对于建筑物的提取也至关重要,但是如果纯由人工进行统计,任务量巨大,这将耗费大量的人力和财力资源,并且效率较低。在自动化技术快速发展的今天,设计出一个自动提取遥感影像建筑物的算法显得至关重要。
传统上,从高分辨率遥感图像中提取建筑物主要是靠人工设计特征,并利用这些特征来提取建筑物,常用的特征包括建筑物的形状特征、纹理特征以及光谱特征等。
近年来,随着深度学习技术的快速发展,对于绝大部分的计算机视觉问题,基于卷积神经网络的方法获得的效果明显优于其它传统算法。目前,利用卷积神经网络进行语义分割任务,并提出了一系列先进的分割模型,例如Seg-Net、U-Net、PSP-Net和DeepLab系列等,有大量学者将这些分割模型直接用于提取建筑物,并且取得一定的效果。
传统办法中的特征提取器严重依靠专家经验,并且人为设计的特征又与不同地区的建筑物风格有关,其鲁棒性较差,需要经常对特征提取器中的超参数进行调整,无法真正的完成建筑物的自动提取。基于深度学习的语义分割,直接将分割模型训练遥感数据依然面临诸多问题,例如在遥感影像中目标的多尺度问题,这将导致对于极端大小的目标出现空洞现象和漏检现象,语义分割算法虽然可以获得一定的性能,但是目标边缘的检测效果较差,这将导致边缘出现锯齿状。
发明内容
针对现有技术中的上述技术问题,本发明提供一种遥感影像建筑物提取方法、计算机设备及存储介质,将SKNet注意力模块与ASPP模块相结合得到SKASPP模块,采用SKASPP模块替代DeepLab V3+模型中原有的ASPP模块,以提高模型多尺度表达能力,提高建筑物尺度极端的检测性能,避免空洞现象和漏检现象;采用特征融合模块自动权衡浅层特征和深层特征,抑制无效特征,提高特征提取精度;在损失函数中引入边缘损失权重,提高边缘特征检测能力。
本发明是通过如下的技术方案来解决上述技术问题的:一种遥感影像建筑物提取方法,包括以下步骤:
获取建筑物的原始遥感影像,对每张所述原始遥感影像进行标记得到该原始遥感影像的标签图,由所述原始遥感影像及其标签图构成样本数据集;
对所述样本数据集中每张原始遥感影像及其标签图进行数据增强处理,得到新影像及其新标签图;
构建DeepLab V3+模型,所述DeepLab V3+模型包括Xception模块、SKASPP模块、第一特征提取与采样模块、特征融合模块、第二特征提取与采样模块;其中:
所述Xception模块用于对输入的每张影像进行特征提取,得到尺寸为32×32×2048的第一特征图以及尺寸为128×128×128的第二特征图;
所述SKASPP模块用于对所述第一特征图进行降维、特征融合、升维以及赋权重处理,得到尺寸为32×32×256的有效特征图;
所述第一特征提取与采样模块用于对所述SKASPP模块输出的尺寸为32×32×256的有效特征图进行特征提取,得到尺寸为32×32×256的特征图,对该32×32×256的特征图进行上采样处理,得到尺寸为128×128×256的有效特征图;
所述特征融合模块用于对所述第一特征提取与采样模块输出的尺寸为128×128×256的有效特征图与所述Xception模块输出的第二特征图进行特征融合,得到尺寸为128×128×256的有效特征图;
所述第二特征提取与采样模块用于对所述特征融合模块输出的尺寸为128×128×256的有效特征图进行特征提取、上采样处理以及输出维度变换处理,得到尺寸为512×512×2的建筑物预测概率图,其中建筑物预测概率图的2个维度分别表示为建筑物的概率、为非建筑物的概率;
基于数据增强处理后的样本数据集,采用损失函数对构建的DeepLab V3+模型进行训练,得到训练好的DeepLab V3+模型;
获取建筑物的遥感影像,利用训练好的DeepLab V3+模型对所述遥感影像进行建筑物提取,输出建筑物提取结果。
进一步地,所述数据增强处理的具体实现过程为:
步骤2.1:对每张原始遥感影像进行色域变换,色域变换先将RGB格式的原始遥感影像转换成HSV格式,然后对HSV格式遥感影像的色相值、饱和度值和明度值进行随机变换,得到HSV数据格式的遥感影像,最后将HSV数据格式转换为RGB数据格式,得到RGB数据格式的影像;
步骤2.2:对所述步骤2.1中RGB数据格式的影像及其标签图进行镜像处理,并对镜像处理后的影像进行缩放,得到512×512大小的影像;
步骤2.3:每次从所述步骤2.2得到的512×512大小的影像中随机抽取4张影像,对该4张影像中的每张影像随机裁剪出256×256区域,由4个256×256区域拼接成一张512×512大小的新影像;
步骤2.4:对每张新影像对应的原始遥感影像及其标签图进行所述步骤2.3的裁剪和拼接处理,得到新的原始遥感影像和新标签图,确保新影像与新标签图一一对应。
进一步地,利用所述SKASPP模块进行降维、特征融合、升维以及赋权重处理的具体实现过程为:
步骤3.21:利用3×3卷积对进行所述第一特征图降维处理,得到尺寸为32×32×256的特征图;
步骤3.22:对所述步骤3.21得到的尺寸为32×32×256的特征图分别进行1×1空洞卷积且空洞率为1、3×3空洞卷积且空洞率为6、3×3空洞卷积且空洞率为12、3×3空洞卷积且空洞率为18、以及全局平均池化与上采样处理,得到5张尺寸均为32×32×256的特征图;
步骤3.23:对所述步骤3.22得到的5张尺寸均为32×32×256的特征图采用add操作进行特征融合,得到一张尺寸为32×32×256的特征图;
步骤3.24:对所述步骤3.23得到的一张尺寸为32×32×256的特征图进行全局平均池化处理,得到尺寸为1×1×256的特征图;
步骤3.25:对所述步骤3.24得到的尺寸为1×1×256的特征图采用1×1卷积进行降维处理,得到尺寸为1×1×32的特征图;
步骤3.26:对所述步骤3.25得到的尺寸为1×1×32的特征图采用5种1×1卷积进行升维处理,得到5张尺寸均为1×1×256的特征图;
步骤3.27:利用激活函数为所述步骤3.26得到的每张尺寸为1×1×256的特征图赋予不同的权重,将所述权重与对应的尺寸为1×1×256的特征图相乘,得到尺寸均为32×32×256的5张不同感受野的特征图;
步骤3.28:对所述步骤3.27得到的尺寸均为32×32×256的5张不同感受野的特征图采用add操作进行特征融合,得到一张尺寸为32×32×256的有效特征图。
进一步地,利用所述特征融合模块进行特征融合的具体实现过程为:
步骤3.31:将所述第一特征提取与采样模块输出的尺寸为128×128×256的有效特征图与所述第二特征图通过concat融合方式进行融合,得到融合后的深度特征;
步骤3.32:对所述步骤3.31融合后的深度特征采用1×1卷积进行降维处理,得到尺寸为128×128×1的特征图;
步骤3.33:将所述步骤3.32得到的尺寸为128×128×1的特征图与所述步骤3.31融合后的深度特征相乘,得到尺寸为128×128×256的特征图;
步骤3.34:对所述步骤3.31融合后的深度特征进行全局平均池化处理,得到尺寸为1×1×256的特征图,再利用1×1卷积对该尺寸为1×1×256的特征图进行升维和降维处理,得到1×1×256的特征图;
步骤3.35:将所述步骤3.34得到的1×1×256的特征图与所述步骤3.31融合后的深度特征相乘,得到尺寸为128×128×256的特征图;
步骤3.36:对所述步骤3.33得到的尺寸为128×128×256的特征图与所述步骤3.35得到的尺寸为128×128×256的特征图采用add操作进行特征融合,得到尺寸为128×128×256的有效特征图。
进一步地,所述损失函数的具体表达式为:
其中,m为单个训练批次的所有影像中所有像素点的个数,α为控制正负样本的权重系数,β为控制难易样本的权重系数,ω为控制边缘样本的权重系数,为DeepLab V3+模型输出的预测值,y为标签图真实值经过独热编码后的结果,L为损失值。
进一步地,所述控制正负样本的权重系数α的取值为0.25,所述控制难易样本的权重系数β的取值为2,所述控制边缘样本的权重系数ω的取值为2。
进一步地,在所述DeepLab V3+模型的训练过程中,采用Adam优化算法优化权值,采用余弦退火衰减法优化学习率。
进一步地,在计算所述损失函数之前,还对所述新标签图进行边缘检测,边缘检测的具体实现过程为:
对所述新标签图进行腐蚀操作,再将所述新标签图与腐蚀操作后的标签图相减得到建筑物内轮廓;
对所述新标签图进行膨胀操作,再将膨胀操作后的标签图与所述新标签图相减得到建筑物外轮廓;
将所述建筑物内轮廓与建筑物外轮廓融合,得到轮廓标签图。
本发明还提供一种计算机设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序时实现如上所述遥感影像建筑物提取方法的步骤。
本发明还提供一种计算机存储介质,所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述遥感影像建筑物提取方法的步骤。
有益效果
与现有技术相比,本发明的优点在于:
本发明所提供的一种遥感影像建筑物提取方法、计算机设备及存储介质,采用由SKNet注意力模块与ASPP模块结合得到的SKASPP模块替代DeepLab V3+模型中原有的ASPP模块,提高了模型的多尺度表达能力,弥补了传统模型对极端大小物体检测效果差的缺陷;同时采用特征融合模块自动权衡浅层特征和深层特征,突出重要特征,抑制无效特征,提高了特征的提取准确性;在损失函数中引入边缘损失权重,给予边缘部分更大的关注度,优化边缘检测效果,提高了边缘特征检测能力;本发明可以获得更高的检测或提取精度。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一个实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中DeepLab V3+模型的结构示意图;
图2是本发明实施例中Xception模块的处理流程图;
图3是本发明实施例中SKASPP模块的处理流程图;
图4是本发明实施例中特征融合模块的处理流程图;
图5是本发明实施例中前景边缘检测流程图;
图6是本发明实施例中背景边缘检测流程图。
具体实施方式
下面结合本发明实施例中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例所提供的一种遥感影像建筑物提取方法,包括以下步骤:
步骤1:样本数据集的构建:获取建筑物的原始遥感影像,对每张原始遥感影像进行标记得到该原始遥感影像对应的标签图,由原始遥感影像及其标签图构成样本数据集。原始遥感影像包括红、绿、蓝三个通道,即原始遥感影像为RGB格式。
标签图是一张二值图,白色代表建筑物,黑色代表非建筑物,人为利用Labelme软件对原始影像中的建筑物进行标记,导出结果即为二值图(又称为标签图)。
样本数据集可以按照比例划分为训练样本、验证样本和测试样本,对模型的训练包括训练过程、验证过程和测试过程。
步骤2:对样本数据集中每张原始遥感影像及其标签图进行数据增强处理,得到新影像及其新标签图。
为了使模型能够应对复杂多变的环境,对样本数据集中的原始遥感影像进行数据增强处理,能够降低原始遥感影像中光照、阴影等外部因素所带来的干扰,有利于提高模型的鲁棒性,提高影像边界处的检测性能。数据增强处理的具体实现过程为:
步骤2.1:对每张原始遥感影像进行色域变换,色域变换先将RGB格式的原始遥感影像转换成HSV格式(即色相Hue、饱和度Saturation和明度Value),然后对HSV格式遥感影像的色相值、饱和度值和明度值进行随机变换,得到HSV数据格式的遥感影像,最后将HSV数据格式转换为RGB数据格式,得到RGB数据格式的影像。色域变换可以降低原始遥感影像中光照、阴影等外部因素所带来的干扰。
步骤2.2:对步骤2.1中RGB数据格式的影像及其标签图进行镜像处理,并对镜像处理后的影像进行缩放,得到512×512大小的影像。具体地,对影像及其标签图进行上下镜像、左右镜像和随机旋转处理,并进行统一缩放处理,提高了模型的泛化能力。
步骤2.3:每次从步骤2.2得到的512×512大小的影像中随机抽取4张影像,对该4张影像中的每张影像随机裁剪出256×256区域,由4个256×256区域拼接成一张512×512大小的新影像。
步骤2.4:对每张新影像对应的原始遥感影像及其标签图进行步骤2.3的裁剪和拼接处理,得到新的原始遥感影像和新标签图。即对每张新影像对应的4张原始遥感影像的每张原始遥感影像随机裁剪出256×256区域,由4个256×256区域拼接成一张512×512大小的新的原始遥感影像,同样操作得到新标签图,这样可以确保新影像与新标签图一一对应。
4合1增强处理可以丰富背景信息,一定程度上迫使模型学习到更深层次的特征表达,一方面可以提升模型的鲁棒性,另一方面有利于提升影像边界处的检测性能。同时,裁剪和拼接处理可以引入更多的窗口交替环节,避免了窗口与窗口之间存在不连续的情况。
步骤3:构建DeepLab V3+模型。
对原有的DeepLab V3+模型进行改进,采用由SKNet注意力模块与ASPP模块结合得到的SKASPP模块替代DeepLab V3+模型中的ASPP模块,以自动适应多尺度信息;采用特征融合模块替代DeepLab V3+模型中的concat处理,以抑制无效特征。
如图1所示,改进后的DeepLab V3+模型包括Xception模块、SKASPP模块、第一特征提取与采样模块、特征融合模块、第二特征提取与采样模块。其中:
Xception模块用于对输入的每张影像进行特征提取,得到尺寸为32×32×2048的第一特征图以及尺寸为128×128×128的第二特征图。如图2所示,Xception模块由输入子模块、中间子模块和输出子模块构成。图2中,利用Conv层(即卷积层)和Sep conv层(即深度可分离卷积层)对特征图的大小进行降采样处理。当输入数据的尺寸大小为512×512×3时,经过输入子模块后得到得到4种不同尺寸的特征图,其尺寸分别是256×256×64、128×128×128、64×64×256和32×32×728,后续的中间子模块和输出子模块都是为了提取到更加深层次的特征,经过中间子模块和输出子模块后得到尺寸为32×32×2048的特征图。
SKASPP模块用于对第一特征图进行降维、特征融合、升维以及赋权重处理,得到尺寸为32×32×256的有效特征图。如图3所示,利用SKASPP模块进行降维、特征融合、升维以及赋权重处理的具体实现过程为:
步骤3.21:为了减少计算量,利用3×3卷积对进行第一特征图降维处理,得到尺寸为32×32×256的特征图;
步骤3.22:对步骤3.21得到的尺寸为32×32×256的特征图分别进行1×1空洞卷积且空洞率为1、3×3空洞卷积且空洞率为6、3×3空洞卷积且空洞率为12、3×3空洞卷积且空洞率为18、以及全局平均池化与上采样处理,得到5张尺寸均为32×32×256的特征图;
步骤3.23:对步骤3.22得到的5张尺寸均为32×32×256的特征图采用add操作进行特征融合,得到一张尺寸为32×32×256的特征图;
步骤3.24:对步骤3.23得到的一张尺寸为32×32×256的特征图进行全局平均池化处理(GAP),得到尺寸为1×1×256的特征图;
步骤3.25:对步骤3.24得到的尺寸为1×1×256的特征图采用1×1卷积进行降维处理,得到尺寸为1×1×32的特征图;
步骤3.26:对步骤3.25得到的尺寸为1×1×32的特征图采用5种1×1卷积进行升维处理,得到5张尺寸均为1×1×256的特征图;
步骤3.27:利用softmax激活函数为步骤3.26得到的每张尺寸为1×1×256的特征图赋予不同的权重,将权重与对应的尺寸为1×1×256的特征图相乘,得到尺寸均为32×32×256的5张不同感受野的特征图;
步骤3.28:对步骤3.27得到的尺寸均为32×32×256的5张不同感受野的特征图采用add操作进行特征融合,得到一张尺寸为32×32×256的有效特征图。
采用SKASPP模块对特征图进行处理提升了模型的多尺度信息表达能力,对于尺度极端的建筑物也有较好的检测性能。
第一特征提取与采样模块用于对SKASPP模块输出的尺寸为32×32×256的有效特征图进行特征提取,得到尺寸为32×32×256的特征图,对该32×32×256的特征图采用双线性插值进行4倍的上采样处理,得到尺寸为128×128×256的有效特征图。
语义分割的任务是进行像素级的分类,这就意味着输入图片的大小(例如512×512)与输出的预测图大小要一致(512×512)。经过Xception模块和SKASPP模块处理导致此时的特征图大小变为32×32,为了恢复数据大小就需要对数据进行上采样处理,一共需要进行512/32=16倍的上采样,此处先进行4倍上采样,而不是直接16倍上采样,因为渐进式的上采样可以逐渐融合浅层特征,保留更多的局部信息,使模型拥有更高的检测性能。
特征融合模块用于对第一特征提取与采样模块输出的尺寸为128×128×256的有效特征图与所述Xception模块输出的第二特征图进行特征融合,得到尺寸为128×128×256的有效特征图,自动对浅层特征与深层特征进行权衡。如图4所示,利用特征融合模块(SCSE)进行特征融合的具体实现过程为:
步骤3.31:将第一特征提取与采样模块输出的尺寸为128×128×256的有效特征图与第二特征图通过concat融合方式进行融合,得到融合后的深度特征;
步骤3.32:对步骤3.31融合后的深度特征采用1×1卷积进行降维处理,得到尺寸为128×128×1的特征图;
步骤3.33:将步骤3.32得到的尺寸为128×128×1的特征图与步骤3.31融合后的深度特征相乘,得到尺寸为128×128×256的特征图;
步骤3.34:对步骤3.31融合后的深度特征进行全局平均池化处理,得到尺寸为1×1×256的特征图,再利用1×1卷积对该尺寸为1×1×256的特征图进行升维和降维处理,得到1×1×256的特征图;
步骤3.35:将步骤3.34得到的1×1×256的特征图与步骤3.31融合后的深度特征相乘,得到尺寸为128×128×256的特征图;
步骤3.36:对步骤3.33得到的尺寸为128×128×256的特征图与步骤3.35得到的尺寸为128×128×256的特征图采用add操作进行特征融合,得到尺寸为128×128×256的有效特征图。
特征融合模块给予深层特征更大的权重,抑制浅层特征或无效特征,提升了模型的特征权衡能力。
第二特征提取与采样模块用于对特征融合模块输出的尺寸为128×128×256的有效特征图采用3×3卷积进行特征提取,得到尺寸为128×128×256的特征图,再利用双线性插值进行4倍上采样处理,最后利用1×1卷积进行输出维度变换处理,最终得到尺寸为512×512×2的建筑物预测概率图,其中,建筑物预测概率图的2个维度分别表示为建筑物的概率、为非建筑物的概率。
步骤4:基于数据增强处理后的样本数据集,采用损失函数对构建的DeepLab V3+模型进行训练,得到训练好的DeepLab V3+模型。
模型训练就是利用损失函数对所有的参数量求偏导,然后求得L对于每一个参数的梯度值,然后再利用adam优化算法完成权值更新。本实施例中,单个训练批次训练4张影像,每一轮迭代1375个批次,一共迭代40轮,则训练一共迭代55000次。采用余弦退火衰减法优化学习率。
由于样本数据集中正负样本不均衡,而focal loss有利于解决数据不均衡的问题,但无法解决建筑物边缘检测的问题,因此,在focal loss基础上引入边缘损失权重,使模型更加注重边缘信息的提取,引入边缘损失权重的损失函数的具体表达式为:
其中,m为单个训练批次的所有影像中所有像素点的个数,示例性的4张影像中所有像素点的个数为4×512×512,α为控制正负样本的权重系数,β为控制难易样本的权重系数,ω为控制边缘样本的权重系数(对于非边缘部分取值为1,边缘部分取值为2),为DeepLab V3+模型输出的预测值,y为标签图真实值经过独热编码后的结果,L为损失值。
本实施例中,控制正负样本的权重系数α的取值为0.25,控制难易样本的权重系数β的取值为2,控制边缘样本的权重系数ω的取值为2。
边缘检测的目的就是为了在损失函数中给予边缘部分更大的关注度,从而优化边缘的检测效果。边缘检测包括以下步骤:
步骤4.1:前景边缘检测。如图5所示,对标签图进行腐蚀操作,再用标签图减去腐蚀后的结果,得到建筑物内轮廓。在腐蚀操作中,使用3×3的大小卷积核,进行5次迭代处理。
步骤4.2:背景边缘检测。如图6所示,对标签图进行膨胀操作,再用膨胀后的结果减去标签图,得到背景外轮廓。在膨胀操作中,使用3×3的大小卷积核,进行5次迭代处理。
步骤4.3:将建筑物内轮廓与建筑物外轮廓融合,得到轮廓标签图。
步骤5:获取建筑物的遥感影像,对每张所述遥感影像进行标记得到对应的标签图,对所述遥感影像及其标签图进行数据增强处理,利用训练好的DeepLab V3+模型对数据增强处理后的数据进行建筑物提取,输出建筑物提取结果。
以上所揭露的仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或变型,都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种遥感影像建筑物提取方法,其特征在于,包括以下步骤:
获取建筑物的原始遥感影像,对每张所述原始遥感影像进行标记得到该原始遥感影像的标签图,由所述原始遥感影像及其标签图构成样本数据集;
对所述样本数据集中每张原始遥感影像及其标签图进行数据增强处理,得到新影像及其新标签图;
构建DeepLab V3+模型,所述DeepLab V3+模型包括Xception模块、SKASPP模块、第一特征提取与采样模块、特征融合模块、第二特征提取与采样模块;其中:
所述Xception模块用于对输入的每张影像进行特征提取,得到尺寸为32×32×2048的第一特征图以及尺寸为128×128×128的第二特征图;
所述SKASPP模块用于对所述第一特征图进行降维、特征融合、升维以及赋权重处理,得到尺寸为32×32×256的有效特征图;
所述第一特征提取与采样模块用于对所述SKASPP模块输出的尺寸为32×32×256的有效特征图进行特征提取,得到尺寸为32×32×256的特征图,对该32×32×256的特征图进行上采样处理,得到尺寸为128×128×256的有效特征图;
所述特征融合模块用于对所述第一特征提取与采样模块输出的尺寸为128×128×256的有效特征图与所述Xception模块输出的第二特征图进行特征融合,得到尺寸为128×128×256的有效特征图;
所述第二特征提取与采样模块用于对所述特征融合模块输出的尺寸为128×128×256的有效特征图进行特征提取、上采样处理以及输出维度变换处理,得到尺寸为512×512×2的建筑物预测概率图,其中建筑物预测概率图的2个维度分别表示为建筑物的概率、为非建筑物的概率;
基于数据增强处理后的样本数据集,采用损失函数对构建的DeepLab V3+模型进行训练,得到训练好的DeepLab V3+模型;
获取建筑物的遥感影像,利用训练好的DeepLab V3+模型对所述遥感影像进行建筑物提取,输出建筑物提取结果;
利用所述SKASPP模块进行降维、特征融合、升维以及赋权重处理的具体实现过程为:
步骤3.21:利用3×3卷积对进行所述第一特征图降维处理,得到尺寸为32×32×256的特征图;
步骤3.22:对所述步骤3.21得到的尺寸为32×32×256的特征图分别进行1×1空洞卷积且空洞率为1、3×3空洞卷积且空洞率为6、3×3空洞卷积且空洞率为12、3×3空洞卷积且空洞率为18、以及全局平均池化与上采样处理,得到5张尺寸均为32×32×256的特征图;
步骤3.23:对所述步骤3.22得到的5张尺寸均为32×32×256的特征图采用add操作进行特征融合,得到一张尺寸为32×32×256的特征图;
步骤3.24:对所述步骤3.23得到的一张尺寸为32×32×256的特征图进行全局平均池化处理,得到尺寸为1×1×256的特征图;
步骤3.25:对所述步骤3.24得到的尺寸为1×1×256的特征图采用1×1卷积进行降维处理,得到尺寸为1×1×32的特征图;
步骤3.26:对所述步骤3.25得到的尺寸为1×1×32的特征图采用5种1×1卷积进行升维处理,得到5张尺寸均为1×1×256的特征图;
步骤3.27:利用激活函数为所述步骤3.26得到的每张尺寸为1×1×256的特征图赋予不同的权重,将所述权重与对应的尺寸为1×1×256的特征图相乘,得到尺寸均为32×32×256的5张不同感受野的特征图;
步骤3.28:对所述步骤3.27得到的尺寸均为32×32×256的5张不同感受野的特征图采用add操作进行特征融合,得到一张尺寸为32×32×256的有效特征图。
2.如权利要求1所述的遥感影像建筑物提取方法,其特征在于,所述数据增强处理的具体实现过程为:
步骤2.1:对每张原始遥感影像进行色域变换,色域变换先将RGB格式的原始遥感影像转换成HSV格式,然后对HSV格式遥感影像的色相值、饱和度值和明度值进行随机变换,得到HSV数据格式的遥感影像,最后将HSV数据格式转换为RGB数据格式,得到RGB数据格式的影像;
步骤2.2:对所述步骤2.1中RGB数据格式的影像及其标签图进行镜像处理,并对镜像处理后的影像进行缩放,得到512×512大小的影像;
步骤2.3:每次从所述步骤2.2得到的512×512大小的影像中随机抽取4张影像,对该4张影像中的每张影像随机裁剪出256×256区域,由4个256×256区域拼接成一张512×512大小的新影像;
步骤2.4:对每张新影像对应的原始遥感影像及其标签图进行所述步骤2.3的裁剪和拼接处理,得到新的原始遥感影像和新标签图,确保新影像与新标签图一一对应。
3.如权利要求1所述的遥感影像建筑物提取方法,其特征在于,利用所述特征融合模块进行特征融合的具体实现过程为:
步骤3.31:将所述第一特征提取与采样模块输出的尺寸为128×128×256的有效特征图与所述第二特征图通过concat融合方式进行融合,得到融合后的深度特征;
步骤3.32:对所述步骤3.31融合后的深度特征采用1×1卷积进行降维处理,得到尺寸为128×128×1的特征图;
步骤3.33:将所述步骤3.32得到的尺寸为128×128×1的特征图与所述步骤3.31融合后的深度特征相乘,得到尺寸为128×128×256的特征图;
步骤3.34:对所述步骤3.31融合后的深度特征进行全局平均池化处理,得到尺寸为1×1×256的特征图,再利用1×1卷积对该尺寸为1×1×256的特征图进行升维和降维处理,得到1×1×256的特征图;
步骤3.35:将所述步骤3.34得到的1×1×256的特征图与所述步骤3.31融合后的深度特征相乘,得到尺寸为128×128×256的特征图;
步骤3.36:对所述步骤3.33得到的尺寸为128×128×256的特征图与所述步骤3.35得到的尺寸为128×128×256的特征图采用add操作进行特征融合,得到尺寸为128×128×256的有效特征图。
5.如权利要求4所述的遥感影像建筑物提取方法,其特征在于,所述控制正负样本的权重系数α的取值为0.25,所述控制难易样本的权重系数β的取值为2,所述控制边缘样本的权重系数ω的取值为2。
6.如权利要求1所述的遥感影像建筑物提取方法,其特征在于,在所述DeepLab V3+模型的训练过程中,采用Adam优化算法优化权值,采用余弦退火衰减法优化学习率。
7.如权利要求1~3中任一项所述的遥感影像建筑物提取方法,其特征在于,在计算所述损失函数之前,还对所述新标签图进行边缘检测,边缘检测的具体实现过程为:
对所述新标签图进行腐蚀操作,再将所述新标签图与腐蚀操作后的标签图相减得到建筑物内轮廓;
对所述新标签图进行膨胀操作,再将膨胀操作后的标签图与所述新标签图相减得到建筑物外轮廓;
将所述建筑物内轮廓与建筑物外轮廓融合,得到轮廓标签图。
8.一种计算机设备,其特征在于,包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序时实现如权利要求1~7中任一项所述遥感影像建筑物提取方法的步骤。
9.一种计算机存储介质,所述计算机存储介质上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1~7中任一项所述遥感影像建筑物提取方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210387685.4A CN114842333B (zh) | 2022-04-14 | 2022-04-14 | 一种遥感影像建筑物提取方法、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210387685.4A CN114842333B (zh) | 2022-04-14 | 2022-04-14 | 一种遥感影像建筑物提取方法、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114842333A CN114842333A (zh) | 2022-08-02 |
CN114842333B true CN114842333B (zh) | 2022-10-28 |
Family
ID=82563411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210387685.4A Active CN114842333B (zh) | 2022-04-14 | 2022-04-14 | 一种遥感影像建筑物提取方法、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114842333B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118172688B (zh) * | 2024-03-22 | 2024-08-13 | 安徽大学 | 基于DeeplabV3+和Unet网络架构的无人机小麦倒伏影像分割方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102289678A (zh) * | 2011-08-10 | 2011-12-21 | 武汉大学 | 一种基于非等权距离的多波段遥感影像模糊监督分类方法 |
CN112183360A (zh) * | 2020-09-29 | 2021-01-05 | 上海交通大学 | 高分辨率遥感影像的轻量化语义分割方法 |
WO2021031066A1 (zh) * | 2019-08-19 | 2021-02-25 | 中国科学院深圳先进技术研究院 | 一种软骨图像分割方法、装置、可读存储介质及终端设备 |
CN113436210A (zh) * | 2021-06-24 | 2021-09-24 | 河海大学 | 一种融合上下文逐级采样的道路图像分割方法 |
-
2022
- 2022-04-14 CN CN202210387685.4A patent/CN114842333B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102289678A (zh) * | 2011-08-10 | 2011-12-21 | 武汉大学 | 一种基于非等权距离的多波段遥感影像模糊监督分类方法 |
WO2021031066A1 (zh) * | 2019-08-19 | 2021-02-25 | 中国科学院深圳先进技术研究院 | 一种软骨图像分割方法、装置、可读存储介质及终端设备 |
CN112183360A (zh) * | 2020-09-29 | 2021-01-05 | 上海交通大学 | 高分辨率遥感影像的轻量化语义分割方法 |
CN113436210A (zh) * | 2021-06-24 | 2021-09-24 | 河海大学 | 一种融合上下文逐级采样的道路图像分割方法 |
Non-Patent Citations (2)
Title |
---|
Spatial attention network for road extraction;Chen R N,et al.;《IGARSS IEEE international geoscience and remote sensing symposium》;20201231;全文 * |
自适应感受野机制遥感图像分割模型;刘航 等;《中国图象图形学报》;20200603;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114842333A (zh) | 2022-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107506792B (zh) | 一种半监督的显著对象检测方法 | |
CN114943876A (zh) | 一种多级语义融合的云和云影检测方法、设备及存储介质 | |
CN112116620B (zh) | 一种室内图像语义分割与涂装展示的方法 | |
CN114220001A (zh) | 基于双注意力神经网络的遥感影像云与云阴影检测方法 | |
CN111882620A (zh) | 一种基于多尺度信息道路可行驶区域分割方法 | |
CN113239830A (zh) | 一种基于全尺度特征融合的遥感图像云检测方法 | |
CN112989995B (zh) | 文本检测方法、装置及电子设备 | |
CN111640116B (zh) | 基于深层卷积残差网络的航拍图建筑物分割方法及装置 | |
CN111161224A (zh) | 基于深度学习的铸件内部缺陷分级评估系统及方法 | |
CN111832453A (zh) | 基于双路深度神经网络的无人驾驶场景实时语义分割方法 | |
CN114842333B (zh) | 一种遥感影像建筑物提取方法、计算机设备及存储介质 | |
CN116993737B (zh) | 一种基于卷积神经网络的轻量型裂缝分割方法 | |
CN114120036A (zh) | 一种轻量化的遥感图像云检测方法 | |
CN115810149A (zh) | 基于超像素与图卷积的高分辨率遥感图像建筑物提取方法 | |
CN117727046A (zh) | 新型山洪前端仪器仪表读数自动识别方法及系统 | |
CN115330703A (zh) | 基于上下文信息融合的遥感影像云与云阴影检测方法 | |
CN114926826A (zh) | 场景文本检测系统 | |
CN114049503A (zh) | 一种基于非端到端深度学习网络的显著性区域检测方法 | |
CN118172308A (zh) | 融合注意力机制与可变形卷积的轮毂表面缺陷检测方法、装置、电子设备及存储介质 | |
CN112990041A (zh) | 一种基于改进型U-net的遥感影像建筑物提取方法 | |
CN111160372B (zh) | 一种基于高速卷积神经网络的大目标识别方法 | |
CN110796716A (zh) | 一种基于多重残差网络和正则化迁移学习的图像着色方法 | |
CN113344005B (zh) | 一种基于优化小尺度特征的图像边缘检测方法 | |
CN114565764A (zh) | 基于舰船实例分割的港口全景感知系统 | |
CN114581657A (zh) | 基于多尺度条形空洞卷积的图像语义分割方法、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |