CN114529828A - 遥感图像居民地要素提取方法和装置及设备 - Google Patents

Abstract

本申请涉及一种遥感图像居民地要素提取方法和装置及设备，其中方法包括：获取要处理的遥感图像；对遥感图像进行边缘特征提取得到边缘特征图；对遥感图像进行语义分割得到语义特征图；将边缘特征图与语义特征图进行拼接组合，得到遥感图像的要素提取结果。通过对遥感图像进行边缘特征提取，然后将提取出的图像边缘特征与遥感图像的语义特征进行融合，增强对图像特征的利用度，从而能够提取更为准确完整的居民地轮廓，并且对背景地物具有更强的抗干扰性，最终有效提高了遥感图像居民地要素提取的精度。

Description

遥感图像居民地要素提取方法和装置及设备

技术领域

本申请涉及遥感图像处理技术领域，尤其涉及一种遥感图像居民地要素提取方法和装置及设备。

背景技术

遥感图像语义分割的本质是对遥感图像中的居民地、道路、水系、植被等地物要素进行像素级分类预测。目前，对于遥感图像语义分割通常是基于深度学习的语义分割方法来实现。基于深度学习的语义分割方法在自然图像处理方面取得了显著效果，但是，对于遥感图像的语义分割，由于遥感图像与自然场景图像相比，遥感图像图幅范围更广，图像特征更为复杂，包含的目标种类更为丰富，并且目标尺度变化较大，这就导致利用语义分割网络对遥感图像地物要素进行提取时，存在提取精度不高，对地物轮廓分割不够准确的情况，从而影响最终遥感图像居民地要素提取结果的精确度。

发明内容

有鉴于此，本申请提出了一种遥感图像居民地要素提取方法，可以有效提高遥感图像居民地要素提取结果的精确度。

根据本申请的一方面，提供了一种遥感图像居民地要素提取方法，包括：

获取要处理的遥感图像；

对所述遥感图像进行边缘特征提取得到边缘特征图；

对所述遥感图像进行语义分割得到所述语义特征图；

将所述边缘特征图与所述语义特征图进行拼接组合，得到所述遥感图像的要素提取结果。

在一种可能的实现方式中，对所述遥感图像进行边缘特征提取得到边缘特征图时，采用Canny算子来进行所述遥感图像的边缘特征的提取。

在一种可能的实现方式中，采用Canny算子进行所述遥感图像的边缘特征的提取时，包括：

计算所述遥感图像的梯度幅度和方向，得到所述遥感图像的梯度幅度结果；

去除所述遥感图像的梯度幅度结果中非局部梯度最大值点，得到所述遥感图像中的边缘点；

连接所述遥感图像的边缘点，得到所述边缘特征图。

在一种可能的实现方式中，去除所述遥感图像的梯度幅度结果中非局部梯度最大值点时，使用非极大值抑制处理梯度幅度的方式进行。

在一种可能的实现方式中，连接所述遥感图像的边缘点时，采用双阈值法进行。

在一种可能的实现方式中，采用双阈值法连接所述遥感图像的边缘点时，包括：

采用双阈值中的高阈值进行边缘点的筛选，保留高于所述高阈值点的边缘点；

将高于所述高阈值点的边缘点进行连接，并在端点的预设邻域内进行满足低阈值点的边缘点连接，直至整个边缘图闭合，得到所述边缘特征图。

在一种可能的实现方式中，对所述遥感图像进行语义分割得到所述语义特征图后，还包括：对所述语义特征图进行上采样的操作。

在一种可能的实现方式中，对所述遥感图像进行语义分割得到所述语义特征图时，采用语义分割模型进行。

根据本申请的另一方面，还提供了一种遥感图像居民地要素提取装置，包括：图像获取模块、边缘提取模块、语义分割模块和要素提取模块；

所述图像获取模块，被配置为获取要处理的遥感图像；

所述边缘提取模块，被配置为对所述遥感图像进行边缘特征提取得到边缘特征图；

所述语义分割模块，被配置为对所述遥感图像进行语义分割得到所述语义特征图；

所述要素提取模块，被配置为将所述边缘特征图与所述语义特征图进行拼接组合，得到所述遥感图像的要素提取结果。

根据本申请的另一方面，还提供了一种遥感图像居民地要素提取设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令时实现前面任一所述的方法。

通过对遥感图像进行边缘特征提取，然后将提取出的图像边缘特征与遥感图像的语义特征进行融合，增强对图像特征的利用度，从而能够提取更为准确完整的居民地轮廓，并且对背景地物具有更强的抗干扰性，最终有效提高了遥感图像居民地要素提取的精度。

根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。

图1示出本申请一实施例的遥感图像居民地要素提取方法的流程图；

图2示出本申请一实施例的遥感图像居民地要素提取方法中，对遥感图像进行边缘特征提取的流程图；

图3示出本申请另一实施例的遥感图像居民地要素提取方法的示意图；

图4a和图4b分别示出本申请一实施例的遥感图像居民地要素提取方法中对遥感图像进行语义分割时所采用语义分割模型进行训练时采用的遥感图像居民地样本库数据示例图；

图5a1至图5d4分别示出采用本申请一实施例的遥感图像居民地要素提取方法在测试集上的提取结果示例图；

图6示出本申请一实施例的遥感图像居民地要素提取装置的结构框图；

图7示出本申请一实施例的遥感图像居民地要素提取设备的结构框图。

具体实施方式

以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。

图1示出根据本申请一实施例的遥感图像居民地要素提取方法的流程图。如图1所示，该方法包括：步骤S100，获取要处理的遥感图像。步骤S200，对遥感图像进行边缘特征提取得到边缘特征图。步骤S300，对遥感图像进行语义分割得到语义特征图。步骤S400，将边缘特征图与语义特征图进行拼接组合，经卷积操作，得到遥感图像的要素提取结果。

其中，需要指出的是，本申请实施例的遥感图像居民地要素提取方法主要是针对于现有语义分割网络提取遥感图像居民地要素时所存在的精度不高、轮廓结果不准确的问题。也就是说，本申请实施例的遥感图像居民地要素提取方法，是用于进行遥感图像居民地要素提取的。对应的，最终所得到的遥感图像的要素提取结果即为所提取出的包含有居民地要素的图像。

由此，本申请实施例的遥感图像居民地要素提取方法，通过对遥感图像进行边缘特征提取，然后将提取出的图像边缘特征与遥感图像的语义特征进行融合，增强对图像特征的利用度，从而能够提取更为准确完整的居民地轮廓，并且对背景地物具有更强的抗干扰性，最终有效提高了遥感图像居民地要素提取的精度。

其中，本领域技术人员可以理解的是，边缘特征是遥感图像最基本的特征，边缘出现在遥感图像信息最集中、区域属性变化最大的地方。边缘特征的提取可以利用微分算子通过卷积操作来完成，根据微分算子导数阶数的不同，有一阶和二阶之分。居民地周边环境复杂，地物种类众多，对遥感图像中的居民地要素进行边缘特诊提取时很容易受到其他地物的噪声干扰。同时，居民地主要由人工建筑物组成，在遥感图像中其边缘两边的灰度值变化较为明显。因此，在本申请实施例的遥感图像居民地要素提取方法中，在对遥感图像进行边缘特征提取时，可以采用Canny算子来进行以得到遥感图像的边缘特征图。Canny算子是通过高斯函数来平滑处理图像的，其能够有效抑制图像噪声的同时，还能够获取较高的边缘检测精度，去噪能力比较强。

参见图2，在采用Canny算子进行遥感图像的边缘特征的提取时，包括：步骤S210，计算遥感图像的梯度幅度和方向，得到遥感图像的梯度幅度结果。然后，再通过步骤S220，去除遥感图像的梯度幅度结果中非局部梯度最大值点，得到遥感图像中的边缘点。进而，再通过步骤S230，连接遥感图像的边缘点，得到边缘特征图。

其中，在一种可能的实现方式中，在上述对遥感图像进行边缘特征提取的实施例中，在计算遥感图像的梯度幅度和方向之前，还可以包括步骤S201，对遥感图像进行平滑处理，然后再在平滑处理后的遥感图像的基础上进行梯度幅度和方向的计算。

更加具体的，在对遥感图像进行平滑处理时，可以采用二维高斯函数来进行。举例来说，当前所获取到的遥感图像为f(x,y)，对原始图像f(x,y)使用二维高斯函数G(x,y)进行平滑处理。平滑后的遥感图像标记为：I(x,y)。

其中，I(x,y)＝f(x,y)*G(x,y)。

通过上述方式对遥感图像进行平滑处理后，即可执行步骤S210，计算遥感图像的梯度幅度和方向。在一种可能的实现方式中，可以利用2*2的1阶差分卷积模板进行。其中，2*2的1阶差分卷积模板G_x和G_y如下所示：

平滑处理后的遥感图像I(x,y)在x轴和y轴方向的偏微分可以表示为：

G_x＝(I(x,y+1)-I(x,y)+I(x+1,y+1)-I(x+1,y))/2；

G_y＝(I(x,y)-I(x+1,y)+I(x1,y+1)-I(x+1,y+1))/2；

梯度幅度和方向计算公式可以表示为：

其中，M(x,y)和α(x,y)分别为计算得到的遥感图像的梯度幅度和方向。

通过上述方式计算得到遥感图像的梯度幅度和方向之后，即可执行步骤 S220，去除遥感图像的梯度幅度结果中非局部梯度最大值点，以得到遥感图像中的边缘点。在一种可能的实现方式中，可以使用非极大值抑制处理梯度幅度的方式进行。

具体的，使用非极大值抑制处理梯度幅度，去除非局部梯度最大值点来得到更为精确的边缘点时，可以通过在梯度图像(即前面步骤S210计算得到的梯度幅度结果)中逐像素点的比较当前像素点与其在梯度方向上相邻两个像素点的梯度幅度，保留其为最大值点的情况作为边缘点。

即，由前面计算得到的梯度图像中的首个像素点开始，对当前正在进行判断的像素点与其相邻的两个像素点(即，在梯度方向上分别位于当前正在进行判断的像素点两边的像素点)的梯度幅度进行比较，并根据比较结果保留三个像素点中在梯度方向上梯度幅度最大的像素点作为边缘点。

举例来说，当前正在进行判断的像素点为Sn，其在梯度方向上相邻的两个像素点分别为Sn-1和Sn+1，通过对Sn、Sn-1和Sn+1的梯度幅度进行比较。当且仅当Sn的梯度幅度大于Sn-1和Sn+1的梯度幅度时作为边缘点保留，否则抑制掉。

也就是说，在使用非极大值抑制处理梯度幅度，去除非局部梯度最大值点时，可以通过对计算得到的梯度图像中的像素点进行梯度方向上的幅度的比较判断，由首个像素点开始逐像素点进行比较。

具体的，在比较过程中，主要包括对当前正在判断的像素点与其所在梯度方向上相邻的两个像素点进行梯度幅度的比较，只有在比较出当前正在判断的像素点的梯度幅度均大于与其相邻的两个像素点的梯度幅度时，才将当前正在判断的像素点作为边缘点保留，否则则将该像素点抑制掉。

通过上述任一所述的方式去除遥感图像的梯度幅度记过中非局部梯度最大值点后，最终保留下来的像素点均可以作为遥感图像的边缘点。此时，可以直接各边缘点的连接，从而得到最终的边缘图像。

在进行边缘点的连接时，则可以采用双阈值法进行。具体的，采用双阈值法连接遥感图像的边缘点时，主要包括以下步骤：首先，采用双阈值中的高阈值进行边缘点的筛选，保留高于高阈值点的边缘点。然后，再将高于高阈值点的边缘点进行连接，并在端点的预设邻域内进行满足低阈值点的边缘点连接，直至整个边缘图闭合，从而得到边缘特征图。

也就是说，在进行边缘点的连接时，可以通过设置两个阈值，一个为高阈值，另一个为低阈值，高阈值点用于阈值化处理非极大值抑制图像得到一个初始的边缘图像，其中的边缘点比较精确，但由于设置的阈值点比较高，会使得图像中的边缘不连续。因此，再通过所设置的低阈值点，将高阈值检测结果中的边缘点进行连接，在端点的预设邻域内搜索满足低阈值的边缘点进行连接，直至整个边缘图像闭合即可得到最终的边缘特征图。

其中，对于高阈值和低阈值这两个阈值的设定，在一种可能的实现方式中，高阈值的取值范围可以为：80-100，低阈值的取值范围可以为：30-50。此处，本领域技术人员可以理解的是，高阈值和低阈值的取值范围针对灰度级数为0-255的灰度图像。

进一步地，在本申请实施例的方法，对遥感图像进行语义分割得到语义特征图时，可以采用语义分割模型来进行。具体的，所采用的语义分割模型可以为DeepLabv3+网络。

参见图3，为本申请实施例的方法中，采用改进后的边缘特征增强 DeepLabv3+网络结构，通过将遥感图像边缘特征与原始网络编码器输出的语义特征进行融合，来增强网络对图像特征的利用度，进而使网络提取精度得到有效提升。

其中，本领域技术人员可以理解的是，在使用本申请中改进后的边缘特征增强DeepLabv3+网络结构进行遥感图像的要素提取时，需要提前对改进后的边缘特征增强DeepLabv3+网络结构进行训练，使得边缘特征增强 DeepLabv3+网络结构收敛至最佳状态。

在训练时，输入数据包括包括3部分：原始遥感图像、标签数据和边缘特征图。使用原DeepLabv3+网络对遥感图像的语义特征进行提取和融合处理，在网络解码模块将图像语义特征融合并上采样恢复成原图大小后，将边缘特征图与其进行拼接组合，经卷积操作得到网络推理结果，推理结果与标签真值进行损失计算，并反向传播更新网络权重，直至网络收敛。

此外，还需要指出的是，在本申请实施例的方法中，对遥感图像进行语义分割得到相应的语义特征图之后，将所得到的语义特征图与前面采用任一所述方式得到的边缘特征图进行拼接组合之前，还包括对语义特征图进行上采样的操作。

通过对语义特征图进行上采样，使得所得到语义特征图恢复至与原遥感图像相同尺寸之后，再将语义特征图与边缘特征图进行拼接组合，从而保证了语义特征图与边缘特征图进行拼接组合时尺寸的一致。

进一步地，需要指出的是，在本申请实施例中，在将语义特征图与边缘特征图进行拼接组合时，可以通过将两种特征图按列拼接即横向拼接的方式来实现。

其中，本领域技术人员可以理解的是，将两种特征图按列拼接具体指的是，将两种特征图中各像素点组成的灰度矩阵按列进行拼接，其具体拼接方式此处不再进行赘述。

为了说明本申请实施例的方法的优势，以下在构建的数据集上，将本申请实施例的方法与采用原始DeepLabv3+网络进行遥感图像居民地要素提取进行对比。

具体的，实验硬件环境为Intel Core(TM)I9 3.60GHz CPU、32GB RAM、一块GeForce GTX 2080GPU；软件系统为Windows 10-64位操作系统； DeepLabv3+及其改进网络，基于Pytorch 1.0框架，采用Python 3.7编程实现；边缘特征提取采用Matlab 2015a编程实现。

使用的基础数据为遥感图像居民地样本库，共包含419幅大小约为1000 ×1000的2米分辨率“天绘一号”卫星遥感图像，并进行了二值标注(居民地和非居民地)。该样本库重点选择城镇等人口稠密地区的遥感图像，同时兼顾乡村等人口相对密集地区的遥感图像，样本数据涵盖密集街区式居民地和稀疏街区式居民地等多种形态，尤其关注农村小型街区式居民地选择，并充分兼顾到不同类型街区式居民地样本数量的均衡性。

如图4a和图4b所示，为遥感图像居民地样本库部分数据示例(居地标注为白色)。虽然在全卷积神经网络中可以输入任意尺寸的图像，但在训练过程中，同一批量的训练图像尺寸需要保持一致。若输入的图像尺寸过大，或是以每次1张的批量大小进行输入，都会使网络收敛过慢，训练时间过长。因此，按照256×256大小对样本数据进行随机裁切，并剔除掉其中不含有居民地要素的切片数据，最终共得到由12872张图像构成的居民地样本数据集。

从居民地样本数据集中随机选取85％数据作为训练集，剩余数据作为测试集。利用Canny算子对数据集中原始遥感图像进行边缘特征提取，每张遥感图像对应生成1张边缘图像，并保存为mat格式。模型训练时，设置地物要素类别数c＝2；初始学习率lr＝0.00001，采用多项式学习率策略，每次迭代后将初始学习率乘以(1-iter/total_iter)^1.5；设置每次训练所选取的样本数 batch size＝8，训练周期数为100个epochs；权重衰减系数设置为0.0005，其余参数采用默认值。

采用平均交并比(Mean Intersection over Union,mIoU)指标来评估测试结果，mIoU表示每个类别预测结果和真实值的交集与其并集的比值，按类别计算后的平均值。计算公式可以表示为：

其中，k表示非空类别数量，TP表示真正类数量,FP表示假正类数量，FN 表示假负类数量。

如表1所示，为不同网络模型在构建的居民地样本数据集上的测试结果。从表中可知，相比于原始DeepLabv3+，经过100个训练周期边缘特征增强 DeepLabv3+能够得到更高的提取精度，mIoU提升了0.93％。

表1在居民地样本数据集测试集上的测试结果

如图5a1至图5d4所示，为DeepLabv3+和多特征增强DeepLabv3+在测试集上的提取结果示例。其中，a1至a4为原始遥感图像； b1至b4为标签图像；c1至c4为采用原DeepLabv3+网络提取结果，d1至d4为采用本申请实施例的方法(即，改进后的边缘特征增强DeepLabv3+网络)提取结果。

由此可以明显看出，DeepLabv3+的提取结果存在两个明显的问题，一是对居民地边界轮廓的提取不够准确，尤其是对轮廓转折部分描述不够精细，如图5c1和图5c2所示。另一个是容易受到与居民地具有相似特征的背景地物干扰，出现误判，如图5c3和图5c4所示。

导致此问题的原因是DeepLabv3+中为了增强对多尺度目标的提取能力，使用了不同扩张率的空洞卷积，但过大的扩张率会导致图像边缘，尤其是大尺度目标提取不准确。

相比于原网络，本申请实施例的方法通过融入图像边缘特征，边缘特征增强DeepLabv3+的提取精度得到有效提高，提取到的居民地轮廓更为准确完整，且对背景地物的抗干扰性更强，如图5d1至图5d4。

需要说明的是，尽管以图1至图5作为示例介绍了如上所述的遥感图像居民地要素提取方法，但本领域技术人员能够理解，本申请应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定各步骤的具体实现方式，只要能够实现提高遥感图像居民地要素提取结果精确度的目的即可。

相应的，基于前面任一所述的遥感图像居民地要素提取方法，本申请还提供了一种遥感图像居民地要素提取装置。由于本申请提供的遥感图像居民地要素提取装置的工作原理与本申请实施例的遥感图像居民地要素提取方法的原理相同或类似，因此不再进行赘述。

参见图6，本申请提供的遥感图像居民地要素提取装置100，包括图像获取模块110、边缘提取模块120、语义分割模块130和要素提取模块140。其中，图像获取模块110，被配置为获取要处理的遥感图像。边缘提取模块120，被配置为对遥感图像进行边缘特征提取得到边缘特征图。语义分割模块130，被配置为对遥感图像进行语义分割得到语义特征图。要素提取模块140，被配置为将边缘特征图与语义特征图进行拼接组合，得到遥感图像的要素提取结果。

更进一步地，根据本申请的另一方面，还提供了一种遥感图像居民地要素提取设备200。参阅图7，本申请实施例的遥感图像居民地要素提取设备200 包括处理器210以及用于存储处理器210可执行指令的存储器220。其中，处理器210被配置为执行可执行指令时实现前面任一所述的遥感图像居民地要素提取方法。

此处，应当指出的是，处理器210的个数可以为一个或多个。同时，在本申请实施例的遥感图像居民地要素提取设备200中，还可以包括输入装置 230和输出装置240。其中，处理器210、存储器220、输入装置230和输出装置240之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。

存储器220作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本申请实施例的遥感图像居民地要素提取方法所对应的程序或模块。处理器210通过运行存储在存储器220中的软件程序或模块，从而执行遥感图像居民地要素提取设备200的各种功能应用及数据处理。

输入装置230可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置240可以包括显示屏等显示设备。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种遥感图像居民地要素提取方法，其特征在于，包括：

获取要处理的遥感图像；

对所述遥感图像进行边缘特征提取得到边缘特征图；

对所述遥感图像进行语义分割得到所述语义特征图；

将所述边缘特征图与所述语义特征图进行拼接组合，得到所述遥感图像的要素提取结果。

2.根据权利要求1所述的方法，其特征在于，对所述遥感图像进行边缘特征提取得到边缘特征图时，采用Canny算子来进行所述遥感图像的边缘特征的提取。

3.根据权利要求2所述的方法，其特征在于，采用Canny算子进行所述遥感图像的边缘特征的提取时，包括：

计算所述遥感图像的梯度幅度和方向，得到所述遥感图像的梯度幅度结果；

去除所述遥感图像的梯度幅度结果中非局部梯度最大值点，得到所述遥感图像中的边缘点；

连接所述遥感图像的边缘点，得到所述边缘特征图。

4.根据权利要求3所述的方法，其特征在于，去除所述遥感图像的梯度幅度结果中非局部梯度最大值点时，使用非极大值抑制处理梯度幅度的方式进行。

5.根据权利要求3所述的方法，其特征在于，连接所述遥感图像的边缘点时，采用双阈值法进行。

6.根据权利要求5所述的方法，其特征在于，采用双阈值法连接所述遥感图像的边缘点时，包括：

采用双阈值中的高阈值进行边缘点的筛选，保留高于所述高阈值点的边缘点；

将高于所述高阈值点的边缘点进行连接，并在端点的预设邻域内进行满足低阈值点的边缘点连接，直至整个边缘图闭合，得到所述边缘特征图。

7.根据权利要求1至6任一项所述的方法，其特征在于，对所述遥感图像进行语义分割得到所述语义特征图后，还包括：对所述语义特征图进行上采样的操作。

8.根据权利要求1至6任一项所述的方法，其特征在于，对所述遥感图像进行语义分割得到所述语义特征图时，采用语义分割模型进行。

9.一种遥感图像居民地要素提取装置，其特征在于，包括：图像获取模块、边缘提取模块、语义分割模块和要素提取模块；

所述图像获取模块，被配置为获取要处理的遥感图像；

所述边缘提取模块，被配置为对所述遥感图像进行边缘特征提取得到边缘特征图；

所述语义分割模块，被配置为对所述遥感图像进行语义分割得到所述语义特征图；

所述要素提取模块，被配置为将所述边缘特征图与所述语义特征图进行拼接组合，得到所述遥感图像的要素提取结果。

10.一种遥感图像居民地要素提取设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令时实现权利要求1至8中任意一项所述的方法。

Images