CN113723411B - 一种用于遥感图像语义分割的特征提取方法和分割系统 - Google Patents

Abstract

本发明提供了一种用于遥感图像语义分割的特征提取方法和分割系统，特征提取方法应用于特征提取模型，特征提取模型包括卷积模块和多尺度卷积网络，特征提取方法包括：将遥感图像输入卷积模块，得到初始特征图；将初始特征图输入多尺度卷积网络，得到目标特征图，其中，多尺度卷积网络包括若干多尺度卷积模块，每个多尺度卷积模块均包括级联的若干深度可分离卷积单元。本发明中的特征提取模型，主要通过多尺度卷积网络提取遥感图像对应的目标特征图，多尺度卷积网络中的深度可分离卷积单元可以有效降低参数量，提取到遥感图像更精确的目标特征图，进而可以基于目标特征图得到效果更好的分割图像，可以做到快速对遥感图像进行分割。

Description

一种用于遥感图像语义分割的特征提取方法和分割系统

技术领域

本申请涉及图像处理领域，特别是涉及一种用于遥感图像语义分割的特征提取方法和分割系统。

背景技术

随着遥感技术的发展，遥感图像的分辨率逐渐提升，更高的分辨率就包含了更加丰富的信息，使其广泛应用于国土资源、气象海洋、城市规划、环境监测、军事侦察等领域。

遥感图像通常包括道路、水域、建筑、森林、农作物、车辆等多个类别的细节信息，类别分布非常不平衡。同时，受拍摄角度和位置的影响，遥感图像中对目标通常尺度变化较大，且纹理细节难以分辨。遥感图像的分割就是将遥感图像中不同的类别分割为不同的区域，并用不同的颜色进行标记，使其成为计算机和使用者都能理解的直观表示。然而，使用传统的图像分割方法分割的准确率较低，分割的实时性交叉，难以大规模部署和使用。深度学习成为了人工智能重点研究领域之一，深度学习在解决诸如图像识别、语音识别和自然语言处理等方面表现十分出色。基于深度学习的分割方法以像素点为单元进行精准分割，在处理遥感图像方面有着得天独厚的条件。因此，使用深度学习方法对遥感图像进行分割势在必行。

因此，现有技术有待改进。

发明内容

本发明所要解决的技术问题是，现有的图像分割方法，分割的准确率较低。本发明提出了一种用于遥感图像语义分割的特征提取方法和分割系统，特征提取模型包括多尺度卷积网络，通过多尺度卷积网络可以提取到遥感图像更精确的特征图，进而得到效果更好、准确度更高的分割图像。

第一方面，本发明实施例提供了一种用于遥感图像语义分割的特征提取方法，应用于特征提取模型，所述特征提取模型包括卷积模块和多尺度卷积网络，所述用于遥感图像语义分割的特征提取方法，包括：

将遥感图像输入所述卷积模块，以得到初始特征图；

将所述初始特征图输入所述多尺度卷积网络，得到目标特征图，其中，所述多尺度卷积网络包括若干多尺度卷积模块，每个多尺度卷积模块均包括级联的若干深度可分离卷积单元，所述深度可分离卷积单元包括多个卷积层，所述目标特征图用于进行语义分割。

作为进一步的改进技术方案，所述多尺度卷积网络包括第一多尺度卷积模块、第二多尺度卷积模块、第三多尺度卷积模块和第四多尺度卷积模块；所述将所述初始特征图输入所述多尺度卷积网络，得到目标特征图，具体包括：

将所述初始特征图输入所述第一多尺度卷积模块，得到第一特征图；

将所述第二特征图输入所述第二多尺度卷积模块，得到第二特征图；

将所述第三特征图输入所述第三多尺度卷积模块，得到第三特征图；

将所述第四特征图输入所述第四多尺度卷积模块，得到目标特征图。

作为进一步的改进技术方案，所述第一多尺度模块包括级联的3个深度可分离卷积单元，所述第二多尺度模块包括级联的4个深度可分离卷积单元；所述第三多尺度模块包括级联的6个深度可分离卷积单元；所述第四多尺度模块包括级联的3个深度可分离卷积单元。

作为进一步的改进技术方案，对于属于不同多尺度卷积模块的任意两个深度可分离卷积单元，所述任意两个深度可分离卷积单元包括卷积核数量不同、卷积核尺寸相同、连接顺序相同的多个卷积层。

所述第一多尺度模块包括级联的第一深度可分离卷积单元、第二深度可分离卷积单元和第三多尺度单元，所述第一深度可分离卷积单元、第二深度可分离卷积单元和第三多尺度单元的结构相同；所述将所述初始特征图输入所述第一多尺度卷积模块，得到第一特征图，具体包括：

将所述初始特征图输入所述第一深度可分离卷积单元，得到第一候选特征图；

将所述第一候选特征图输入所述第二深度可分离卷积单元，得到第二候选特征图；

将所述第二候选特征图输入所述第三深度可分离卷积单元，得到第一特征图。

作为进一步的改进技术方案，所述第一深度可分离卷积单元包括第一卷积子单元、第二卷积子单元、第三卷积子单元、第四卷积子单元和第一调整卷积层；所述将所述初始特征图输入所述第一深度可分离卷积单元，得到第一候选特征图，具体包括：

将所述初始特征图分别输入所述第一卷积子单元、第二卷积子单元、第三卷积子单元和第四卷积子单元，得到第一子特征图、第二子特征图、第三子特征图和第四子特征图；

将所述第一子特征图、所述第二子特征图、所述第三子特征图和所述第四子特征图拼接输入所述第一调整卷积层，得到第一调整特征图；

将所述第一调整特征图和所述初始特征图相加，得到第一候选特征图。

作为进一步的改进技术方案，所述第一卷积子单元包括级联的：1×1卷积层、3×3深度可分离卷积层和1×1卷积层；所述第二卷积子单元包括级联的：1×1卷积层、5×5深度可分离卷积层和1×1卷积层；所述第三卷积子单元包括级联的：3×3最大池化层和1×1卷积层；所述第四卷积子单元包括：1×1卷积层。

作为进一步的改进技术方案，所述将所述初始特征图输入所述多尺度卷积网络，得到目标特征图之后，还包括：

将所述目标特征图分别输入混合定位模型和空洞空间金字塔模型，通过所述混合定位模型得到位置特征图，通过所述空洞空间金字塔模型得到语义特征图；

基于所述位置特征图和所述语义特征图确定分割图像。

第二方面，本发明提供了一种用于遥感图像语义分割的分割系统，包括：

图像获取模块，用于获取待处理遥感图像；

类别获取模块，用于接收若干分割类别；

图像分割模块，用于按照所述若干分割类别对所述待处理遥感图像进行图像语义分割，得到若干目标分割图像；其中，所述图像分割模块配置了所述用于遥感图像语义分割的特征提取方法中的所述特征提取模型；

输出模块，用于输出所述若干目标分割图像。

作为进一步的改进技术方案，所述分割系统还包括：

数据处理模块，用于统计所述若干目标分割图像中，每张目标分割图像占所述待处理遥感图像的类别，并输出统计结果。

第三方面，本发明提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

将遥感图像输入所述卷积模块，以得到初始特征图；

将所述初始特征图输入所述多尺度卷积网络，得到目标特征图，其中，所述多尺度卷积网络包括若干多尺度卷积模块，每个多尺度卷积模块均包括级联的若干深度可分离卷积单元，所述深度可分离卷积单元包括多个卷积层，所述目标特征图用于进行语义分割。

第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

将遥感图像输入所述卷积模块，以得到初始特征图；

将所述初始特征图输入所述多尺度卷积网络，得到目标特征图，其中，所述多尺度卷积网络包括若干多尺度卷积模块，每个多尺度卷积模块均包括级联的若干深度可分离卷积单元，所述深度可分离卷积单元包括多个卷积层，所述目标特征图用于进行语义分割。

与现有技术相比，本发明实施例具有以下优点：

本发明实施例中，用于遥感图像语义分割的特征提取方法应用于特征提取模型，所述特征提取模型包括卷积模块和多尺度卷积网络，所述用于遥感图像语义分割的特征提取方法，包括：将遥感图像输入所述卷积模块，以得到初始特征图；将所述初始特征图输入所述多尺度卷积网络，得到目标特征图，其中，所述多尺度卷积网络包括若干多尺度卷积模块，每个多尺度卷积模块均包括级联的若干深度可分离卷积单元，所述深度可分离卷积单元包括多个卷积层，所述目标特征图用于进行语义分割。本发明中的特征提取模型，主要通过多尺度卷积网络提取遥感图像对应的目标特征图，多尺度卷积网络中的深度可分离卷积单元可以有效降低参数量，提取到遥感图像更精确的目标特征图，进而可以基于目标特征图得到效果更好、准确度更高的分割图像，可以做到快速对遥感图像进行分割。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种用于遥感图像语义分割的特征提取方法的流程示意图；

图2为本发明实施例中，第一深度可分离卷积单元的结构示意图；

图3为本发明实施例中，混合定位模型的结构示意图；

图4为本发明实施例中基于遥感图像确定分割图像的流程示意图；

图5为本发明提出的分割模型和其它主流网络，在DLRSD遥感图像分割数据集上的可视化结果；

图6为本发明提出的用于遥感图像语义分割的分割系统的结构示意图；

图7为本发明实施例中分割系统配置有初始化界面的示意图；

图8为本发明实施例中分割系统配置的显示界面的示意图；

图9为本发明实施例中分割系统配置的，包括下拉菜单的显示界面的示意图；

图10为本发明实施例中分割系统配置的，包括保存窗口的显示界面的示意图；

图11为本发明实施例中一种计算机设备的内部结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

发明人经过研究发现，随着遥感技术的发展，遥感图像的分辨率逐渐提升，更高的分辨率就包含了更加丰富的信息，使其广泛应用于国土资源、气象海洋、城市规划、环境监测、军事侦察等领域。

遥感图像通常包括道路、水域、建筑、森林、农作物、车辆等多个类别的细节信息，类别分布非常不平衡。同时，受拍摄角度和位置的影响，遥感图像中对目标通常尺度变化较大，且纹理细节难以分辨。遥感图像的分割就是将遥感图像中不同的类别分割为不同的区域，并用不同的颜色进行标记，使其成为计算机和使用者都能理解的直观表示。然而，使用传统的图像分割方法分割的准确率较低，分割的实时性交叉，难以大规模部署和使用。深度学习成为了人工智能重点研究领域之一，深度学习在解决诸如图像识别、语音识别和自然语言处理等方面表现十分出色。基于深度学习的分割方法以像素点为单元进行精准分割，在处理遥感图像方面有着得天独厚的条件。因此，使用深度学习方法对遥感图像进行分割势在必行。

为了解决上述问题，本发明实施例中，用于遥感图像语义分割的特征提取方法应用于特征提取模型，所述特征提取模型包括卷积模块和多尺度卷积网络，所述用于遥感图像语义分割的特征提取方法，包括：将遥感图像输入所述卷积模块，以得到初始特征图；将所述初始特征图输入所述多尺度卷积网络，得到目标特征图，其中，所述多尺度卷积网络包括若干多尺度卷积模块，每个多尺度卷积模块均包括级联的若干深度可分离卷积单元，所述深度可分离卷积单元包括多个卷积层，所述目标特征图用于进行语义分割。本发明中的特征提取模型，主要通过多尺度卷积网络提取遥感图像对应的目标特征图，多尺度卷积网络中的深度可分离卷积单元可以有效降低参数量，提取到遥感图像更精确的目标特征图，进而可以基于目标特征图得到效果更好、准确度更高的分割图像，可以做到快速对遥感图像进行分割。

本发明提供的一种用于遥感图像语义分割的特征提取方法应用于特征提取模型，所述特征提取模型可以转移到电子设备中，也就是说，可以在电子设备上执行用于遥感图像语义分割的特征提取方法，所述电子设备可以以各种形式来实现，例如，PC机、服务器、手机、平板电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)等。另外，该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，所述电子设备至少包括处理器和存储介质。

下面结合附图，详细说明本发明的各种非限制性实施方式。

参见图1，示出了本发明实施例中的一种用于遥感图像语义分割的特征提取方法，包括以下步骤：

S1、将遥感图像输入卷积模块，以得到初始特征图。

在本发明实施例中，所述遥感图像语义分割的特征提取方法应用于特征提取模型，所述特征提取模型包括卷积模块和多尺度卷积网络。所述遥感图像用于进行图像语义分割，所述遥感图像可以从遥感图像库中获取，或者，所述遥感图像可以通过航空摄影获取。所述卷积模块包括两个3×3的卷积层和一个最大池化层，所述遥感图像输入第一个3×3卷积层后，再经过批量归一化(BN)和激活(ReLU)操作，得到p1，然后将p1输入第二个3×3卷积层，再经过BN和ReLU操作，得到p2，将p2输入最大池化层，得到p3。其中，第一个3×3卷积层的步长为2，会将遥感图像的尺寸降低一半，第二个3×3卷积层的步长为1，不改变p1的通道数和图像尺寸，所述最大池化层是3×3的最大池化层，步长为2，表示在3×3的像素点之中挑出一个最大值来代表这9个像素点。

假设遥感图像的尺寸为248×248，所述卷积模块的网络结构如表1所示，表1中的输出尺寸是该网络结构中卷积层输出的特征图的尺寸，例如，遥感图像的尺寸为248×248，第一个3×3卷积层(3x3,32Conv)输出的特征图的尺寸为124×124。

表1

S2、将所述初始特征图输入所述多尺度卷积网络，得到目标特征图。

在本发明实施例中，所述多尺度卷积网络包括若干多尺度卷积模块，每个多尺度卷积模块均包括级联的若干深度可分离卷积单元，所述深度可分离卷积单元包括多个卷积层。进一步的，所述深度可分离卷积单元包括的多个卷积核尺寸不同卷积层。

在本发明实施例中，所述多尺度卷积网络包括第一多尺度卷积模块、第二多尺度卷积模块、第三多尺度卷积模块和第四多尺度卷积模块。

具体的，步骤S2包括：

S21、将所述初始特征图输入所述第一多尺度卷积模块，得到第一特征图。

在本发明实施例中，所述第一多尺度卷积模块包括级联的第一深度可分离卷积单元、第二深度可分离卷积单元和第三多尺度单元，其中，所述第一深度可分离卷积单元、第二深度可分离卷积单元和第三多尺度单元的结构相同，也就是说，第一多尺度卷积模块包括三个相同的多尺度单元。所述第一深度可分离卷积单元的输入项为初始特征图，第一深度可分离卷积单元的输出项是第二深度可分离卷积单元的输入项，第二深度可分离卷积单元的输出项是第三深度可分离卷积单元的输入项，第三深度可分离卷积单元的输出项是第一特征图。

具体的，步骤S21包括：

S211、将所述初始特征图输入所述第一深度可分离卷积单元，得到第一候选特征图。

在本发明实施例中，参见图2，所述第一深度可分离卷积单元包括：第一卷积子单元101、第二卷积子单元102、第三卷积子单元103、第四卷积子单元104和第一调整卷积层105。其中，第一卷积子单元、第二卷积子单元、第三卷积子单元和第四卷积子单元并联。具体的，步骤S211包括：

S2111、将所述初始特征图分别输入所述第一卷积子单元、第二卷积子单元、第三卷积子单元和第四卷积子单元，得到第一子特征图、第二子特征图、第三子特征图和第四子特征图。

在本发明实施例中，所述第一卷积子单元101包括级联的：1×1卷积层(c111)、3×3深度可分离卷积层(c112)和1×1卷积层(c113)，所述第二卷积子单元102包括级联的：1×1卷积层(c121)、5×5深度可分离卷积层(c122)和1×1卷积层(c123)；所述第三卷积子单元103包括级联的：3×3最大池化层(c131)和1×1卷积层(c132)；所述第四卷积子单元104包括：1×1卷积层(c141)。

进一步地，在本发明实施例中，c111的卷积核数量为64，c112的卷积核数量为64，c113的卷积核数量为32，c121的卷积核数量为64，c122的卷积核数量为64，c123的卷积核数量为32，c132的卷积核数量为32，c141的卷积核数量为32。

在本发明实施例中，将所述初始特征图输入第一卷积子单元中的1×1卷积层，得到特征图f11，将f1输入第一卷积子单元中的3×3深度可分离卷积层，得到特征图f12，将f12输入第一卷积子单元中的1×1卷积层，得到第一子特征图f1；将所述初始特征图输入第二卷积子单元中的1×1卷积层，得到特征图f21，将f21输入第二卷积子单元中的5×5深度可分离卷积层，得到特征图f22，将f22输入第二卷积子单元中的1×1卷积层，得到第二子特征图f2；将所述初始特征图输入第三卷积子单元中的3×3最大池化层，得到特征图f31，将f31输入第二卷积子单元中的1×1卷积层，得到第三子特征图f3；将所述初始特征图输入第四卷积子单元中的1×1卷积层，得到第四子特征图f4。

在本发明实施例中，特征图经过每个卷积层的处理后，均会执行BN和ReLU操作。例如，将所述初始特征图输入第一卷积子单元中的1×1卷积层后，再执行BN和ReLU操作，得到特征图f11，将f1输入第一卷积子单元中的3×3深度可分离卷积层后，再执行BN和ReLU操作，得到特征图f12，将f12输入第一卷积子单元中的1×1卷积层后，再执行BN和ReLU操作，得到第一子特征图f1。

S2112、将所述第一子特征图、所述第二子特征图、所述第三子特征图和所述第四子特征图拼接输入所述第一调整卷积层，得到第一调整特征图。

在本发明实施例中，将所述第一子特征图f1、所述第二子特征图f2、所述第三子特征图f3和所述第四子特征图f4拼接得到拼接特征图F1，将拼接特征图F1输入所述第一调整卷积层，得到第一调整特征图。所述第一调整卷积层是1×1卷积层(c151)，c151的卷积核数量为64。

S2113、将所述第一调整特征图和所述初始特征图相加，得到第一候选特征图。

在本发明实施例中，所述第一深度可分离卷积单元还可以包括第二调整卷积层，若初始特征图的通道数和第一调整特征图的通道数，和/或尺寸不同，可以将初始特征图输入第二调整卷积层，以使得调整通道数，和/或尺寸之后的初始特征图和第一调整特征图的通道数和尺寸均相同。所述第二调整卷积层是1×1卷积层。若初始特征图的通道数和第一调整特征图的通道数和尺寸均相同，则不需要第二调整卷积层，因此，图2中通过虚线表示第二调整层卷积层与初始特征图之间的连接。

S212、将所述第一候选特征图输入所述第二深度可分离卷积单元，得到第二候选特征图；

S213、将所述第二候选特征图输入所述第三深度可分离卷积单元，得到第一特征图。

在本发明实施例中，第一深度可分离卷积单元、第二深度可分离卷积单元和第三多尺度单元的结构相同，因此，步骤S212和步骤S213的处理过程与步骤S211的处理过程相同，步骤S212和步骤S213的过程可以参考步骤S211的说明。

S22、将所述第二特征图输入所述第二多尺度卷积模块，得到第二特征图；

S23、将所述第三特征图输入所述第三多尺度卷积模块，得到第三特征图；

S24、将所述第四特征图输入所述第四多尺度卷积模块，得到目标特征图。

在本发明实施例中，所述第二多尺度卷积模块包括级联的4个深度可分离卷积单元，第二多尺度卷积模块包括的4个深度可分离卷积单元结构相同；所述第三多尺度卷积模块包括级联的6个深度可分离卷积单元结构相同，第三多尺度卷积模块包括6个深度可分离卷积单元；所述第四多尺度卷积模块包括级联的3个深度可分离卷积单元，第四多尺度卷积模块包括3个深度可分离卷积单元结构相同。

对于属于不同多尺度卷积模块的任意两个深度可分离卷积单元，所述任意两个深度可分离卷积单元包括卷积核数量不同、卷积核尺寸相同、连接顺序相同的多个卷积层。

举例说明，所述第二多尺度卷积模块包括级联的4个深度可分离卷积单元，分别为：第四深度可分离卷积单元、第五深度可分离卷积单元、第六深度可分离卷积单元和第七深度可分离卷积单元。由于第四深度可分离卷积单元、第五深度可分离卷积单元、第六深度可分离卷积单元和第七深度可分离卷积单元的结构相同，以第四深度可分离卷积单元作为示例，第四深度可分离卷积单元包括多个卷积子单元，分别为：第五卷积子单元、第六卷积子单元、第七卷积子单元、第八卷积子单元和第三调整卷积层。

具体的，第五卷积子单元包括的多个卷积层与第一卷积子单元包括的多个卷积层相比，卷积核数量不同、卷积核尺寸相同、连接顺序相同；同样的第六卷积子单元包括的多个卷积层与第二卷积子单元包括的多个卷积层相比，卷积核数量不同、卷积核尺寸相同、连接顺序相同；第七卷积子单元包括的多个卷积层与第三卷积子单元包括的多个卷积层相比，卷积核数量不同、卷积核尺寸相同、连接顺序相同；第八卷积子单元包括的多个卷积层与第四卷积子单元包括的多个卷积层相比，卷积核数量不同、卷积核尺寸相同、连接顺序相同；第三调整卷积层和第一调整卷积层的卷积核尺寸相同。

进一步地，所述第五卷积子单元包括级联的：1×1卷积层(c411)、3×3深度可分离卷积层(c412)和1×1卷积层(c413)，所述第六卷积子单元包括级联的：1×1卷积层(c421)、5×5深度可分离卷积层(c422)和1×1卷积层(c423)；所述第七卷积子单元包括级联的：3×3最大池化层(c431)和1×1卷积层(c432)；所述第八卷积子单元包括：1×1卷积层(c441)。c111的卷积核数量为128，c112的卷积核数量为128，c113的卷积核数量为64，c121的卷积核数量为128，c122的卷积核数量为128，c123的卷积核数量为64，c132的卷积核数量为64，c141的卷积核数量为64。所述第三调整卷积层为1×1卷积层。

在本发明实施例中，假设遥感图像的尺寸为248x248时，多尺度卷积网络的具体网络结构如表2所示。

在本发明实施例中，步骤S22、步骤S23和步骤S24的处理过程与步骤S21的处理过程相同，因此，步骤S22、步骤S23和步骤S24具体过程可以参见步骤S21的说明。

表2

在本发明实施例中，将所述多尺度卷积网络中的多个深度可分离卷积单元记为GMBlock，GMBlock的网络结构为：

GMBlock的网络结构中只标记了卷积层的卷积核尺寸，未标记卷积核数量。将GMBlock按照一定规律堆叠，得到多尺度卷积网络，所述特征提取模型包括卷积模块和多尺度卷积网络，所述特征提取模型记为RgmNet。

在本发明实施例中，所述目标特征图用于进行语义分割，在步骤S2之后，还包括：

S3、将所述第三特征图输入混合定位模型，将所述目标特征图输入空洞空间金字塔模型，通过所述混合定位模型得到位置特征图，通过所述空洞空间金字塔模型(AtrousSpatial Pyramid Pooling,ASPP)得到语义特征图。

在本发明实施例中，将遥感图像输入特征提取模型(RgmNet)，得到目标特征图像，通过RgmNet的第三多尺度卷积模块得到第三特征图，将第三特征图输入混合定位(Horizontal Location,HL)模型，得到所述遥感图像对应的位置特征图，将目标特征图输入所述空洞空间金字塔(Atrous Spatial Pyramid Pooling,ASPP)模型，得到所述遥感图像对应的语义特征图。

在本发明实施例中，所述ASPP模型包括四个并行的卷积层和一个池化层，并行的第一卷积层为1×1卷积层，空洞率为1，并行的第二卷积层为3×3卷积层，空洞率为6，并行的第三卷积层为3×3卷积层，空洞率为12，并行的第四卷积层为3×3卷积层，空洞率为18，ASPP模型的池化层为全局平均池化层，所述全局平均池化层后还包括用于调整通道数的1×1卷积层。将目标图像分别输入四个并行的卷积层和全局平均池化层，并将全局平均池化层输出的特征图进行双线性插值，使得双线性插值后的特征图与四个并行的卷积层分别输出的特征图尺寸相同，也就是说，得到相同尺寸的五张特征图，再将五张特征图在通道维度上进行拼接，然后输入1×1卷积层，得到语义特征图。

具体的，参见图3，所述HL模型包括：1×1卷积层、1×3卷积层、3×1卷积层、1×N全局平均池化层、N×1全局平均池化层和若干全连接层。具体的，第三特征图A输入1×1卷积层，降低A的维度，得到B，将B输入1×3卷积层得到C，将B输入3×1卷积层得到D，将B输入1×N全局平均池化层，进行行方向全局平局池化处理，得到E，将B输入N×1全局平均池化层，进行列方向全局平局池化处理，得到F，E通过两个全连接层(Linear)后，与C相加得到G，F通过两个全连接层(Linear)后，与D相加得到H，最后通过1x1卷积调整通道得到位置特征图O。

S4、基于所述位置特征图和所述语义特征图确定分割图像。

在本发明实施例中，将位置特征图进行双线性插值放大到与语义特征图相同尺寸，将尺寸放大后的位置特征图和语义特征图进行拼接，得到预测图，将预测图输入通道调整层(1×1卷积层)，以调整预测图的通道数，并将调整通道数后的预测图进行双线性插值放大，得到预测结果图。

在本发明实施例中，在特征提取的过程中，不可避免地会压缩尺寸，从而导致空间信息的丢失，因此通过一个辅助损失模块将损失最小化，将语义特征图输入所述辅助损失模块，得到辅助损失，基于所述辅助损失与所述预测结果图，确定分割图像。

参见图4，将遥感图像201输入RgmNet202得到目标特征图像，将目标特征图像分别输入混合定位模型(HL Module)203和空洞空间金字塔模型(ASPP)204，基于HL Module输出的位置特征图和ASPP输出的语义特征图确定预测图205，将预测图输入通道调整层206，得到预测结果图。基于辅助损失207和预测结果图确定分割图像208。

基于本发明中的特征提取模型，本发明还提供了一种用于遥感图像语义分割的分割模型，分割模型包括所述特征提取模型、所述空洞空间金字塔模型、所述混合定位模型、通道调整层和辅助损失模块，基于所述分割模型执行步骤S1至步骤S4的方法，得到分割图像。为了近一步说明本发明的有益效果，在DLRSD和WHDLD两个遥感图像分割数据集上进行了测试，将本发明提出的分割模型与主流网络进行对比，其对比结果如下表3和表4所示。表3是DLRSD遥感图像分割数据对应的测试结果，表4是WHDLD遥感图像分割数据对应的测试结果。

表3

表4

通过表3和表4可知，本发明提出的分割模型要明显优于其它主流网络，在DLRSD遥感图像分割数据集上，与使用相同ASPP解码结构的DeepLab v3+相比，本发明提出的分割模型在平均交并比上有着3.1％的提升。在DLRSD数据集上的可视化结果如图5所示，通过图5可知，本发明提出的分割模型能够更加容易的分割出不同尺度的物体，对小目标的分割效果更好。

在本发明实施例中，用于遥感图像语义分割的特征提取方法应用于特征提取模型，所述特征提取模型包括卷积模块和多尺度卷积网络，所述用于遥感图像语义分割的特征提取方法，包括：将遥感图像输入所述卷积模块，以得到初始特征图；将所述初始特征图输入所述多尺度卷积网络，得到目标特征图，其中，所述多尺度卷积网络包括若干多尺度卷积模块，每个多尺度卷积模块均包括级联的若干深度可分离卷积单元，所述深度可分离卷积单元包括多个卷积层，所述目标特征图用于进行语义分割。本发明中的特征提取模型，主要通过多尺度卷积网络提取遥感图像对应的目标特征图，多尺度卷积网络中的深度可分离卷积单元可以有效降低参数量，提取到遥感图像更精确的目标特征图，进而可以基于目标特征图得到效果更好、准确度更高的分割图像，可以做到快速对遥感图像进行分割。

本发明还提供了一种用于遥感图像语义分割的分割系统，参见图6，所述分割系统包括：图像获取模块301，用于获取待处理遥感图像；类别获取模块302，用于接收若干分割类别；图像分割模块303，用于按照所述若干分割类别对所述待处理遥感图像进行图像语义分割，得到若干目标分割图像；其中，所述图像分割模块配置了所述特征提取模型；输出模块304，用于输出所述若干目标分割图像。

在本发明实施例中，预先设定了多个预设分割类别，所述多个预设分割类别包括：土地、建筑、路面、马路、植被和水，所述若干分割类别是在所述多个预设分割类别中选取的。所述待处理遥感图像可以是用户输入的图像。

所述分割系统配置有初始化界面，如图7所示，所述初始化界面设置有输入路径的文本框、显示不同类别颜色的勾选框、进度条及与用户相关的按钮。通过输入路径的文本框可以获取待处理遥感图像，若用户输入错误的路径，则系统会自动报错；通过显示不同类别颜色的勾选框，可以接收若干分割类别，并且，不同的分割类别对应不同的颜色，目标分割图像中的颜色即可以表示分割类别。进一步的，其它类别(不属于若干分割类别的类别)可以用黑色填充。

在本发明实施例中，在获取待处理遥感图像和分割类别之后，通过所述图像分割模块对待处理遥感图像语义分割，得到若干目标分割图像。

在所述分割系统配置的显示界面，如图8所示，可以显示若干目标分割图像。进一步地，可以设定按照类别的显示勾选框显示目标分割图像，一个界面可以同时显示3张目标分割图像。如图9所示，可以通过显示界面设定给的下拉菜单查看不同的目标分割图像。

在本发明实施例中，所述分割系统还包括数据处理模块，用于统计所述若干目标分割图像中，每张目标分割图像占所述待处理遥感图像的类别，并输出统计结果。

在本发明实施例中，在显示界面可以同步显示统计结果，如图9所示，图9右上角为统计结果的饼状图。第一个饼状图为包括所有分割类别(多个预设分割类别)对应的统计情况，未选择的分割类别包含在其它类别中。第二个饼状图为选中的分割类别(若干目标分割图像)对应的统计情况。

在本发明实施例中，所述显示界面还设置有保存选项，在分割系统工作期间，通过保存选项，能够随时保存，避免因操作失误而导致的结果丢失。若没有进行一次完整的分割时点击保存选项，会弹出警告信息，以提示用户重新分割；若完成一次完整的分割时点击保存选项，则弹出保存窗口，通过保存窗口可以将得到的目标分割图像保存在指定路径下。保存窗口如图10所示。

在本发明实施例中，所述显示界面还设置有清除选项，通过清除选项可以清除当前所有操作，回到软件初始化界面。

在本发明实施例中，所述用于遥感图像语义分割的分割系统配置了所述特征提取模型，通过所述分割系统，有效降低参数量，提取到遥感图像更精确的目标特征图，进而可以基于目标特征图得到效果更好、准确度更高的分割图像，可以做到快速对遥感图像进行分割。

本发明实施例还提供了一种计算机设备，该设备可以是终端，内部结构如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种用于遥感图像语义分割的特征提取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图11所示的仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本发明实施例还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

将遥感图像输入所述卷积模块，以得到初始特征图；

将所述初始特征图输入所述多尺度卷积网络，得到目标特征图，其中，所述多尺度卷积网络包括若干多尺度卷积模块，每个多尺度卷积模块均包括级联的若干深度可分离卷积单元，所述深度可分离卷积单元包括多个卷积层，所述目标特征图用于进行语义分割。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

将遥感图像输入所述卷积模块，以得到初始特征图；

将所述初始特征图输入所述多尺度卷积网络，得到目标特征图，其中，所述多尺度卷积网络包括若干多尺度卷积模块，每个多尺度卷积模块均包括级联的若干深度可分离卷积单元，所述深度可分离卷积单元包括多个卷积层，所述目标特征图用于进行语义分割。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

Claims (10)

1.一种用于遥感图像语义分割的特征提取方法，其特征在于，应用于特征提取模型，所述特征提取模型包括卷积模块和多尺度卷积网络，所述用于遥感图像语义分割的特征提取方法，包括：

将遥感图像输入所述卷积模块，以得到初始特征图；

将初始特征图输入第一多尺度卷积模块，得到第一特征图；

将第二特征图输入第二多尺度卷积模块，得到第二特征图；

将第三特征图输入第三多尺度卷积模块，得到第三特征图；

将第四特征图输入第四多尺度卷积模块，得到目标特征图；其中，所述多尺度卷积网络包括若干多尺度卷积模块，每个多尺度卷积模块均包括级联的若干深度可分离卷积单元，所述深度可分离卷积单元包括多个卷积层，所述目标特征图用于进行语义分割；

所述将初始特征图输入第一多尺度卷积模块，得到第一特征图，包括：

将初始特征图分别输入第一卷积子单元、第二卷积子单元、第三卷积子单元和第四卷积子单元，得到第一子特征图、第二子特征图、第三子特征图和第四子特征图；

将所述第一子特征图、所述第二子特征图、所述第三子特征图和所述第四子特征图拼接输入第一调整卷积层，得到第一调整特征图；

将所述第一调整特征图和初始特征图相加，得到第一候选特征图；

将所述第一候选特征图输入第二深度可分离卷积单元，得到第二候选特征图；

将所述第二候选特征图输入第三深度可分离卷积单元，得到第一特征图。

2.根据权利要求1所述的用于遥感图像语义分割的特征提取方法，其特征在于，所述多尺度卷积网络包括第一多尺度卷积模块、第二多尺度卷积模块、第三多尺度卷积模块和第四多尺度卷积模块。

3.根据权利要求2所述的用于遥感图像语义分割的特征提取方法，其特征在于，所述第一多尺度卷积模块包括级联的3个深度可分离卷积单元，所述第二多尺度卷积模块包括级联的4个深度可分离卷积单元；所述第三多尺度卷积模块包括级联的6个深度可分离卷积单元；所述第四多尺度卷积模块包括级联的3个深度可分离卷积单元。

4.根据权利要求3所述的用于遥感图像语义分割的特征提取方法，其特征在于，对于属于不同多尺度卷积模块的任意两个深度可分离卷积单元，所述任意两个深度可分离卷积单元包括卷积核数量不同、卷积核尺寸相同、连接顺序相同的多个卷积层。

5.根据权利要求2所述的用于遥感图像语义分割的特征提取方法，其特征在于，所述第一多尺度卷积模块包括级联的第一深度可分离卷积单元、第二深度可分离卷积单元和第三多尺度单元，所述第一深度可分离卷积单元、第二深度可分离卷积单元和第三多尺度单元的结构相同。

6.根据权利要求5所述的用于遥感图像语义分割的特征提取方法，其特征在于，所述第一深度可分离卷积单元包括第一卷积子单元、第二卷积子单元、第三卷积子单元、第四卷积子单元和第一调整卷积层。

7.根据权利要求6所述的用于遥感图像语义分割的特征提取方法，其特征在于，所述第一卷积子单元包括级联的：1×1卷积层、3×3深度可分离卷积层和1×1卷积层；所述第二卷积子单元包括级联的：1×1卷积层、5×5深度可分离卷积层和1×1卷积层；所述第三卷积子单元包括级联的：3×3最大池化层和1×1卷积层；所述第四卷积子单元包括：1×1卷积层。

8.根据权利要求2至7中任意一项所述的用于遥感图像语义分割的特征提取方法，其特征在于，将初始特征图输入多尺度卷积网络，得到目标特征图之后，还包括：

将所述第三特征图输入混合定位模型，将所述目标特征图输入空洞空间金字塔模型，通过所述混合定位模型得到位置特征图，通过所述空洞空间金字塔模型得到语义特征图；

基于所述位置特征图和所述语义特征图确定分割图像。

9.一种用于遥感图像语义分割的分割系统，其特征在于，包括：

图像获取模块，用于获取待处理遥感图像；

类别获取模块，用于接收若干分割类别；

图像分割模块，用于按照所述若干分割类别对所述待处理遥感图像进行图像语义分割，得到若干目标分割图像；其中，所述图像分割模块配置了权利要求1至8中任意一项所述特征提取模型；

输出模块，用于输出所述若干目标分割图像。

10.根据权利要求9所述的用于遥感图像语义分割的分割系统，其特征在于，所述分割系统还包括：

数据处理模块，用于统计所述若干目标分割图像中，每张目标分割图像占所述待处理遥感图像的类别，并输出统计结果。

Images