CN117689958A - 一种基于子空间网络的少样本遥感场景分类方法 - Google Patents

Abstract

本发明涉及一种基于子空间网络的少样本遥感场景分类方法包括：根据遥感场景图像数据集中遥感场景图像的类别将遥感场景图像数据集划分为训练集、验证集和测试集；根据划分好的训练集、验证集和测试集构建训练任务、验证任务和测试任务；建立基于子空间网络的少样本遥感场景分类模型，根据构建的训练任务设置损失函数；根据设置的损失函数，利用基于任务的元学习训练策略对基于子空间网络的少样本遥感场景分类模型进行元训练，在训练的同时，通过验证任务对基于子空间网络的少样本遥感场景分类模型进行元验证，保存性能最佳的模型，训练和验证过程完成后，通过测试任务对保存的性能最佳的模型进行元测试；本发明具有更好的分类性能和更高的稳定性。

Description

一种基于子空间网络的少样本遥感场景分类方法

技术领域

本发明属于遥感影像智能化分析领域，特别是涉及一种基于子空间网络的少样本遥感场景分类方法。

背景技术

遥感场景分类旨在通过对遥感图像内容的理解来区分不同的场景类别，广泛应用于自然灾害检测、城市规划、土地覆盖分类等领域。近年来，深度学习方法在遥感场景分类上已经取得了不错的效果，但这些方法需要依赖大量有标注样本进行训练，且无法分类新类别遥感场景图像，存在着巨大的局限性。而少样本学习方法仅需要依靠少量有标注样本即可实现对新类别图像的分类，恰好可以弥补深度学习方法的不足。

目前少样本学习思想已经在自然图像分类上得到了广泛应用，但由于遥感场景图像和自然图像是两种不同类型的图像，直接将少样本自然图像分类方法应用于遥感图像上并不能取得好的分类效果。与自然图像相比，遥感场景图像具有以下几个特点：(1)复杂的背景：遥感场景图像多在较高的高度拍摄，图像中包含许多与类别无关的地物，呈现出背景复杂的特点。(2)较高的类间相似性：物体在形状和纹理上的相似性使得不同类别的遥感场景图像呈现出相似的外观。(3)较大的类内差异：由于地物的多样性以及光照、尺度和角度的差异，同一类别的场景图像在视觉上存在很大差异。上述这些特点使少样本遥感场景分类任务更加具有挑战性。

少样本遥感场景分类方法主要涉及特征提取模块和分类度量模块的设计。现有的少样本遥感场景分类方法多关注特征提取部分，他们引入注意力机制或多尺度特征提取模块来提取有区别性的图像特征，忽略了遥感场景语义对特征提取的指导作用，同时，这些方法也忽略了对分类度量模块的设计，他们多采用基于原型的分类器，但仅通过对各类别图像特征简单加权所得的原型保留了图像中较多与类别语义无关的背景信息，不足以表征类别的语义共性，即基于原型的分类器受图像中无关背景信息的负面影响较大，因此分类效果不好。

发明内容

为解决以上现有技术存在的问题，本发明提出了一种基于子空间网络的少样本遥感场景分类方法，以有效缓解无关背景信息负面影响，提高对遥感场景图像的分类效果，该方法包括以下步骤：

S1：根据遥感场景图像数据集中遥感场景图像的类别将遥感场景图像数据集划分为训练集、验证集和测试集；

S2：根据划分好的训练集、验证集和测试集构建训练任务、验证任务和测试任务；

S3：建立基于子空间网络的少样本遥感场景分类模型，根据构建的训练任务设置损失函数；

S4：根据设置的损失函数，利用基于任务的元学习训练策略对基于子空间网络的少样本遥感场景分类模型进行元训练，在训练的同时，通过验证任务对基于子空间网络的少样本遥感场景分类模型进行元验证，保存性能最佳的模型；

S5：训练和验证过程完成后，通过测试任务对保存的性能最佳的模型进行元测试。

进一步地，所述将遥感场景图像数据集划分为训练集、验证集和测试集包括：

将总类别集合为C_total的遥感场景图像数据集D按遥感场景图像的类别划分为训练集D_train、验证集D_val和测试集D_test，训练集D_train、验证集D_val和测试集D_test中遥感场景图像的类别集合分别为C_train、C_val和C_test，其中， 且C_train∪C_val∪C_test＝C_total。

进一步地，所述构建训练任务、验证任务和测试任务包括：

在训练集D_train、验证集D_val和测试集D_test上以相同的方式构建训练任务、验证任务和测试任务，其中，训练任务的构建方式包括：从训练集的类别集合C_train中随机选择N个类别，每个类别随机选择K+M个遥感场景图像，将每个类别的K个遥感场景图像为支持集，剩余的M个遥感场景图像为查询集，同理构建验证任务和测试任务。

进一步地，所述基于子空间网络的少样本遥感场景分类模型包括：图像特征提取模块、场景语义引导模块和分类器模块；

所述图像特征提取模块采用ResNet12作为该模块的网络结构，用于对输入的遥感场景图像进行特征提取得到特征图F_m；

所述场景语义引导模块包括：上下两个支路和特征聚合模块，上支路用于根据特征图F_m获取场景嵌入u′；下支路用于将特征图表示F_m对齐到与场景嵌入共享的流形中得到新特征图F_m′；所述特征聚合模块用于将场景嵌入u′和特征图F_m′逐空间相关性计算得到语义关系图r；根据语义关系图r对特征图F_m进行加权，再将得到的特征图展平得到特征嵌入z；

所述分类器模块用于根据每个任务的查询集和支持集中样本的特征嵌入构建标准子空间分类器，通过标准子空间分类器对查询集中的样本进行分类。

进一步地，在场景语义引导模块的上支路先对特征图F_m进行全局平均池化操作得到全局特征聚合表示u，再利用可学习的1×1卷积层对全局特征聚合表示u进行卷积操作，获得遥感场景图像的场景嵌入u′，场景嵌入u′可用公式表示为：

u′＝σ_α(GAP(F_m))

其中，GAP表示全局平均池化，σ_α(·)表示卷积层，α为对应的参数；

在场景语义引导模块的下支路对特征图F_m进行卷积操作得到特征图F_m′，所使用的卷积模块由1×1卷积层、批归一化层和ReLU激活函数层构成，特征图F_m′表示为：

F_m′＝σ_β(F_m)

其中，σ_β(·)表示下支路的卷积模块，β为对应的参数；

在场景语义引导模块的特征聚合模块中，首先根据遥感场景图像的场景嵌入u′和特征图F_m′采用逐点内积的方式计算各空间位置i对应的特征与场景语义嵌入u′的相关性，再进行归一化操作得到场景语义关系图r，场景语义关系图r上位置i处的相关性取值r_i通过以下公式计算：

其中，表示特征图F_m′上空间位置i处对应的向量，H×W表示特征图F_m′的空间位置总数；

利用语义关系图r对原始特征图F_m进行加权更新，并展平为特征向量得到遥感场景图像的特征嵌入z，表示为如下：

z＝Flatten(rF_m)

其中，Flatten表示展平操作。

进一步地，所述构建标准子空间分类器包括：

步骤101：计算每个任务中每个类别对应的支持集中样本的特征嵌入的平均值作为该类别的初始原型，对于类别c，其初始原型μ_c表示为：

其中，K表示支持集中类别c的样本的数量，表示任务的支持集中类别c的第i个样本的特征嵌入；

步骤102：将任务中每个类别的支持集中样本的特征嵌入和该类别的初始原型相减，得到该类别的初始特征空间，对于类别c，其初始特征空间表示为：

其中，表示类别c的初始特征空间；

步骤103：将任务中每个类别的初始特征空间进行奇异值分解得到左奇异矩阵，对类别c，该操作具体表示为：

其中，左奇异矩阵B_c＝[a₁,a₂,a₃,a₄,…,a_n]为正交矩阵；对左奇异矩阵B_c进行截断得到该类别的初始特征子空间，对类别c，其初始特征子空间表示为：

P_c＝[a₁,a₂,a₃,a₄]

其中，P_c表示类别c的初始特征子空间；

步骤104：计算任务的查询集中样本的特征嵌入到每个类别的初始特征子空间的投影距离，其表示为：

d_c(q_i)＝||(I-M_c)(z_que,i-μ_c)||₂,q_i∈que

其中，d_c(q_i)表示任务的查询集中样本q_i到类别c的初始特征子空间P_c的投影距离，que表示任务的查询集，‖·‖₂表示L2范数，z_que,i表示任务的查询集中样本q_i的特征嵌入；

步骤105：根据任务的查询集中样本的特征嵌入到每个类别的初始特征子空间的投影距离，计算任务的查询集中样本属于各类别的概率，其表示为：

其中，c∈{1,2,…,N}，N表示任务的支持集中类别的总数，m_c(q_i)表示任务的查询集中样本q_i属于类别c的概率；

步骤106：根据任务的查询集中样本属于各类别的概率，对各类别的初始原型进行微调得到各类别的微调原型，对于类别c，其微调原型表示为：

其中，μ′_c表示类别c的微调原型；

步骤107：将任务中每个类别的支持集中样本的特征嵌入和该类别的微调原型相减，得到该类别的修正特征空间，对于类别c，其修正特征空间表示为：

其中，表示类别c的修正特征空间；

步骤108：将任务中每个类别的修正特征空间进行奇异值分解得到左奇异矩阵，对类别c，该操作具体表示为：

其中左奇异矩阵B_c′＝[a₁′,a₂′,a₃′,a₄′,…,a_n′]为正交矩阵。对左奇异矩阵B_c′进行截断得到该类别的修正特征子空间，则类别c的修正特征子空间表示为：

P_rc＝[a₁′,a₂′,a₃′,a₄′]

其中，P_rc表示类别c的修正特征子空间；

步骤109：以各类别修正子空间P_rc为特征子空间的初始化值，利用目标函数自动学习出所有类别的标准子空间集P′：

其中，为各类别标准子空间的集合，D(x_i,j,P′_i)表示任务的支持集中第i个类别的第j个支持样本到第i个类别的子空间P′_i的投影距离，D(x_i,j,P′_l)表示任务的支持集中第i个类别的第j个支持样本到第l个类别的子空间P′_l的投影距离；

步骤110：以各类别的标准子空间为度量基准构建标准子空间分类器对任务的查询集中样本进行分类，对于类别c，其表示为：

d_c′(q_i)＝||(I-M_c′)(z_que,i-μ_C)||₂

其中，M′_c＝P′_cP′_c ^T，P′_c表示类别c的标准子空间，d_c′(q_i)表示任务的查询集中样本q_i到类别c的标准子空间P′_c的投影距离，p′(y＝c|q_i)表示任务的查询集中样本q_i属于类别c的概率，比较查询集图像q_i属于各类别的概率值，将其分类为最大概率所对应的类别。

优选地，所述损失函数包括：

L＝L_cls+ωL_inter+γL_intra

其中，L表示设置的损失函数，ω和γ表示的权重系数；N表示一个训练任务中支持集中样本的类别总数，M表示训练任务在每个类别中查询样本的数量，p_c,q表示查询样本q属于它的真实类别c的预测概率，P_i和P_j表示任意两个类别的标准子空间，M表示每个类别中查询样本的数量，Z_i表示第i个查询样本的特征嵌入，y_i表示第i个查询样本的真实类别；对于I_[x]取值，当表达式x为真时，I_[x]值为1，否则为0，cosine(a,b)表示向量a和b的余弦相似度。

优选地，所述通过验证任务对基于子空间网络的少样本遥感场景分类模型进行验证，保存性能最佳的模型包括：

采用基于任务的方式对基于子空间网络的少样本遥感场景分类模型进行训练，训练时设置一定的迭代次数，每次迭代选择一个训练任务，进行前向传播，计算损失并利用Adam算法不断优化更新模型参数；每经过一定次数的迭代训练，进行一次模型验证，选择一定数量的验证任务，利用当前的模型，对每个任务的查询集进行分类预测，计算全部验证任务的平均分类准确率即为此次模型验证的结果，根据验证结果，保存截止目前训练时刻的最佳模型。

优选地，所述通过测试任务对保存的性能最佳的模型进行测试包括：随机抽取600个测试任务，利用训练所得的最佳模型对每个测试任务中的查询集图像进行分类预测，计算这600个测试任务的平均分类准确率作为模型测试的结果。

本发明至少具有以下有益效果

本发明采用场景语义引导模块增强了遥感场景图像中与类别语义相关性较大的区域特征；引入查询集图像信息构建标准子空间分类器，提高了类别度量基准的准确性和可靠性，且构建的标准子空间分类器受复杂背景信息的负面影响较小；同时，本网络设计的损失函数能够约束模型正确理解类别语义，缓解遥感图像较大的类内差异和类间相似性导致的分类混淆问题，提高遥感场景图像的分类效果。

附图说明

图1为本发明的整体流程图；

图2为本发明的网络框架图；

图3为本发明的场景语义引导模块的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

请参阅图1，本发明提供一种基于子空间网络的少样本遥感场景分类方法，包括：

S1：根据遥感场景图像数据集中遥感场景图像的类别将遥感场景图像数据集划分为训练集、验证集和测试集；

S2：根据划分好的训练集、验证集和测试集构建训练任务、验证任务和测试任务；

S3：建立基于子空间网络的少样本遥感场景分类模型，根据构建的训练任务设置损失函数；

S4：根据设置的损失函数，利用基于任务的元学习训练策略对基于子空间网络的少样本遥感场景分类模型进行元训练，在训练的同时，通过验证任务对基于子空间网络的少样本遥感场景分类模型进行元验证，保存性能最佳的模型；

S5：训练和验证过程完成后，通过测试任务对保存的性能最佳的模型进行元测试。

进一步地，所述将遥感场景图像数据集划分为训练集、验证集和测试集包括：

将总类别集合为C_total的遥感场景图像数据集D按遥感场景图像的类别划分为训练集D_train、验证集D_cal和测试集D_test，训练集D_train、验证集D_val和测试集D_test中遥感场景图像的类别集合分别为C_train、C_val和C_test，其中， 且C_train∪C_val∪C_test＝C_total，在本实施例中各类别集合互不相交。

进一步地，所述构建训练任务、验证任务和测试任务包括：

在训练集D_train、验证集D_val和测试集D_test上以相同的方式构建训练任务、验证任务和测试任务，以构建一个N-way K-shot M-query的训练任务为例，其中，训练任务的构建方式包括：从训练集的类别集合C_train中随机选择N个类别，每个类别随机选择K+M个遥感场景图像，将每个类别的K个遥感场景图像为支持集，剩余的M个遥感场景图像为查询集，保证每个任务的支持集和查询集中不会出现重复的图像，同理构建验证任务和测试任务，综上所述，每个任务都由支持集和查询集构成，支持集：S＝{(x_1,1,y_1,1),(x_1,2,y_1,2),…,(x_N,K,y_N,K)}，x_i,j表示来自类别i的第j个图像，y_i,j∈{0,1,2,…,N-1}表示图像x_i,j的真实类别标签，查询集：Q＝{q₁,q₂,…,q_n×M}，q_l表示查询集的第l个图像。对训练任务、验证任务和测试任务，支持集图像类别标签均已知，而查询集图像类别标签未知，需要对其进行预测。

如图2所示，进一步地，所述基于子空间网络的少样本遥感场景分类模型包括：图像特征提取模块、场景语义引导模块和分类器模块；

所述图像特征提取模块采用ResNet12作为该模块的网络结构，用于对输入的遥感场景图像进行特征提取得到特征图F_m；输入为将原始图像大小统一调整为128×128后的图像x_i，输出为C×H×W的特征图F_m(C、H和W分别为特征图的通道数、高度和宽度)，可表示为：

式中，为常规图像特征提取模块的参数；

所述场景语义引导模块包括：上下两个支路和特征聚合模块，上支路用于根据特征图F_m获取场景嵌入u′；下支路用于将特征图表示F_m对齐到与场景嵌入共享的流形中得到新特征图F_m′；所述特征聚合模块用于将场景嵌入u′和特征图F_m′逐空间相关性计算得到语义关系图r；根据语义关系图r对特征图F_m进行加权，再将得到的特征图展平得到特征嵌入z；本实施例中场景语义引导模块突出图像中与类别语义相关性较高的区域特征；

所述分类器模块用于根据每个任务的查询集和支持集中样本的特征嵌入构建标准子空间分类器，通过标准子空间分类器对查询集中的样本进行分类。

如图3所示，进一步地，在场景语义引导模块的上支路先对特征图F_m进行全局平均池化操作得到全局特征聚合表示u，再利用可学习的1×1卷积层对全局特征聚合表示u进行卷积操作，获得遥感场景图像的场景嵌入u′，场景嵌入u′可用公式表示为：

u′＝σ_α(GAP(F_m))

其中，GAP表示全局平均池化，σ_α(·)表示卷积层，α为对应的参数；

在场景语义引导模块的下支路对特征图F_m进行卷积操作得到特征图F_m′，所使用的卷积模块由1×1卷积层、批归一化层和ReLU激活函数层构成，特征图F_m′表示为：

F_m′＝σ_β(F_m)

其中，σ_β(·)表示下支路的卷积模块，β为对应的参数；

在场景语义引导模块的特征聚合模块中，首先根据遥感场景图像的场景嵌入u′和特征图F_m′采用逐点内积的方式计算各空间位置i对应的特征与场景语义嵌入u′的相关性，再进行归一化操作得到场景语义关系图r，场景语义关系图r上位置i处的相关性取值r_i通过以下公式计算：

其中，F_m′_i表示特征图F_m′上空间位置i处对应的向量，H×W表示特征图F_m′的空间位置总数；

利用语义关系图r对原始特征图F_m进行加权更新，并展平为特征向量得到遥感场景图像的特征嵌入z，表示为如下：

z＝Flatten(rF_m)

其中，Flatten表示展平操作。在本实施例中通过语义关系图r对原始特征图F_m进行加权更新，并展平为特征向量得到遥感场景图像的特征嵌入，对于输入为任务的支持集中类别为c的样本生成支持嵌入即对于任务查询集中的样本生成查询嵌入特征z＝z_que,i；

进一步地，所述构建标准子空间分类器包括：

步骤101：计算每个任务中每个类别对应的支持集中样本的特征嵌入的平均值作为该类别的初始原型，对于类别c，其初始原型μ_c表示为：

其中，K表示支持集中类别c的样本的数量，表示任务的支持集中类别c的第i个样本的特征嵌入；

步骤102：将任务中每个类别的支持集中样本的特征嵌入和该类别的初始原型相减，得到该类别的初始特征空间，对于类别c，其初始特征空间表示为：

其中，表示类别c的初始特征空间；

步骤103：将任务中每个类别的初始特征空间进行奇异值分解得到左奇异矩阵，对类别c，该操作具体表示为：

其中，左奇异矩阵B_c＝[a₁,a₂,a₃,a₄,…,a_n]为正交矩阵；对左奇异矩阵B_c进行截断得到该类别的初始特征子空间，对类别c，其初始特征子空间表示为：

P_c＝[a₁,a₂,a₃,a₄]

其中，P_c表示类别c的初始特征子空间；

步骤104：计算任务的查询集中样本的特征嵌入到每个类别的初始特征子空间的投影距离，其表示为：

d_c(q_i)＝||(I-M_c)(z_que,i-μ_c)||₂,q_i∈que

其中，d_c(q_i)表示任务的查询集中样本q_i到类别c的初始特征子空间P_c的投影距离，que表示任务的查询集，‖·‖₂表示L2范数，z_que,i表示任务的查询集中样本q_i的特征嵌入；

步骤105：根据任务的查询集中样本的特征嵌入到每个类别的初始特征子空间的投影距离，计算任务的查询集中样本属于各类别的概率，其表示为：

其中，c∈{1,2,…,N}，N表示任务的支持集中类别的总数，m_c(q_i)表示任务的查询集中样本q_i属于类别c的概率；

步骤106：根据任务的查询集中样本属于各类别的概率，对各类别的初始原型进行微调得到各类别的微调原型，对于类别c，其微调原型表示为：

其中，μ′_c表示类别c的微调原型；

步骤107：将任务中每个类别的支持集中样本的特征嵌入和该类别的微调原型相减，得到该类别的修正特征空间，对于类别c，其修正特征空间表示为：

其中，表示类别c的修正特征空间；

步骤108：将任务中每个类别的修正特征空间进行奇异值分解得到左奇异矩阵，对类别c，该操作具体表示为：

其中左奇异矩阵B_c′＝[a₁′,a₂′,a₃′,a₄′,…,a_n′]为正交矩阵。对左奇异矩阵B_c′进行截断得到该类别的修正特征子空间，则类别c的修正特征子空间表示为：

P_rc＝[a₁′,a₂′,a₃′,a₄′]

其中，P_rc表示类别c的修正特征子空间；

步骤109：以各类别修正子空间P_rc为特征子空间的初始化值，利用目标函数自动学习出所有类别的标准子空间集P′：

其中，为各类别标准子空间的集合，D(x_i,j,P_i′)表示任务的支持集中第i个类别的第j个支持样本到第i个类别的子空间P_i′的投影距离，D(x_i,j,P_l′)表示任务的支持集中第i个类别的第j个支持样本到第l个类别的子空间P_l′的投影距离；

步骤110：以各类别的标准子空间为度量基准构建标准子空间分类器对任务的查询集中样本进行分类，对于类别c，其表示为：

d_c′(q_i)＝||(I-M′_c)(z_que,i-μ_c)||₂

其中，M′_c＝P′_cP′_c ^T，P′_c表示类别c的标准子空间，d_c′(q_i)表示任务的查询集中样本q_i到类别c的标准子空间P′_c的投影距离，p′(y＝c|q_i)表示任务的查询集中样本q_i属于类别c的概率，比较查询集图像q_i属于各类别的概率值，将其分类为最大概率所对应的类别。在本实施例中对于训练任务、验证任务和测试任务的处理过程如上述步骤101-步骤110所述，基于相同的原理对训练任务、验证任务和测试任务进行处理。

优选地，所述损失函数包括：

L＝L_cls+ωL_inter+γL_intra

其中，L表示设置的损失函数，ω和γ表示的权重系数；N表示一个训练任务中支持集中样本的类别总数，M表示训练任务在每个类别中查询样本的数量，p_c,q表示查询样本q属于它的真实类别c的预测概率，P_i和P_j表示任意两个类别的标准子空间，M表示每个类别中查询样本的数量，Z_i表示第i个查询样本的特征嵌入，y_i表示第i个查询样本的真实类别；对于I_[x]取值，当表达式x为真时，I_[x]值为1，否则为0，cosine(a,b)表示向量a和b的余弦相似度。

优选地，所述通过验证任务对基于子空间网络的少样本遥感场景分类模型进行验证，保存性能最佳的模型包括：

采用基于任务的方式对基于子空间网络的少样本遥感场景分类模型进行训练，训练时设置一定的迭代次数，每次迭代选择一个训练任务，进行前向传播，计算损失并利用Adam算法不断优化更新模型参数；每经过一定次数的迭代训练，进行一次模型验证，选择一定数量的验证任务，利用当前的模型，对每个任务的查询集进行分类预测，计算全部验证任务的平均分类准确率即为此次模型验证的结果，根据验证结果，保存截止目前训练时刻的最佳模型。

优选地，所述通过测试任务对保存的性能最佳的模型进行测试包括：随机抽取600个测试任务，利用训练所得的最佳模型对每个测试任务中的查询集图像进行分类预测，计算这600个测试任务的平均分类准确率作为模型测试的结果。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

综上所述本发明采用场景语义引导模块增强了遥感场景图像中与类别语义相关性较大的区域特征；引入查询集图像信息构建标准子空间分类器，提高了类别度量基准的准确性和可靠性，且构建的标准子空间分类器受复杂背景信息的负面影响较小；同时，本网络设计的损失函数能够约束模型正确理解类别语义，缓解遥感图像较大的类内差异和类间相似性导致的分类混淆问题，提高遥感场景图像的分类效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于子空间网络的少样本遥感场景分类方法，其特征在于，包括：

S1：根据遥感场景图像数据集中遥感场景图像的类别将遥感场景图像数据集划分为训练集、验证集和测试集；

S2：根据划分好的训练集、验证集和测试集构建训练任务、验证任务和测试任务；

S3：建立基于子空间网络的少样本遥感场景分类模型，根据构建的训练任务设置损失函数；

S4：根据设置的损失函数，利用基于任务的元学习训练策略对基于子空间网络的少样本遥感场景分类模型进行元训练，在训练的同时，通过验证任务对基于子空间网络的少样本遥感场景分类模型进行元验证，保存性能最佳的模型；

S5：训练和验证过程完成后，通过测试任务对保存的性能最佳的模型进行元测试。

2.根据权利要求1所述的一种基于子空间网络的少样本遥感场景分类方法，其特征在于，所述将遥感场景图像数据集划分为训练集、验证集和测试集包括：

将总类别集合为C_total的遥感场景图像数据集D按遥感场景图像的类别划分为训练集D_train、验证集D_cal和测试集D_test，训练集D_train、验证集D_val和测试集D_test中遥感场景图像的类别集合分别为C_train、C_val和C_test，其中， 且C_train∪C_val∪C_tes＝C_total。

3.根据权利要求1所述的一种基于子空间网络的少样本遥感场景分类方法，其特征在于，所述构建训练任务、验证任务和测试任务包括：

在训练集D_train、验证集D_vak和测试集D_test上以相同的方式构建训练任务、验证任务和测试任务，其中，训练任务的构建方式包括：从训练集的类别集合C_train中随机选择N个类别，每个类别随机选择K+M个遥感场景图像，将每个类别的K个遥感场景图像为支持集，剩余的M个遥感场景图像为查询集，同理构建验证任务和测试任务。

4.根据权利要求1所述的一种基于子空间网络的少样本遥感场景分类方法，其特征在于，所述基于子空间网络的少样本遥感场景分类模型包括：图像特征提取模块、场景语义引导模块和分类器模块；

所述图像特征提取模块采用ResNet12作为该模块的网络结构，用于对输入的遥感场景图像进行特征提取得到特征图F_m；

所述场景语义引导模块包括：上下两个支路和特征聚合模块，上支路用于根据特征图F_m获取场景嵌入u′；下支路用于将特征图表示F_m对齐到与场景嵌入共享的流形中得到新特征图F_m′；所述特征聚合模块用于将场景嵌入u′和特征图F_m′逐空间相关性计算得到语义关系图r；根据语义关系图r对特征图F_m进行加权，再将得到的特征图展平得到特征嵌入z；

所述分类器模块用于根据每个任务的查询集和支持集中样本的特征嵌入构建标准子空间分类器，通过标准子空间分类器对查询集中的样本进行分类。

5.根据权利要求4所述的一种基于子空间网络的少样本遥感场景分类方法，其特征在于，在场景语义引导模块的上支路先对特征图F_m进行全局平均池化操作得到全局特征聚合表示u，再利用可学习的1×1卷积层对全局特征聚合表示u进行卷积操作，获得遥感场景图像的场景嵌入u′，场景嵌入u′可用公式表示为：

u′＝σ_α(GAP(F_m))

其中，GAP表示全局平均池化，σ_α(·)表示卷积层，α为对应的参数；

在场景语义引导模块的下支路对特征图F_m进行卷积操作得到特征图F_m′，所使用的卷积模块由1×1卷积层、批归一化层和ReLU激活函数层构成，特征图F_m′表示为：

F_m′＝σ_β(F_m)

其中，σ_β(·)表示下支路的卷积模块，β为对应的参数；

在场景语义引导模块的特征聚合模块中，首先根据遥感场景图像的场景嵌入u′和特征图F_m′采用逐点内积的方式计算各空间位置i对应的特征与场景语义嵌入u′的相关性，再进行归一化操作得到场景语义关系图r，场景语义关系图r上位置i处的相关性取值r_i通过以下公式计算：

其中，表示特征图F_m′上空间位置i处对应的向量，H×W表示特征图F_m′的空间位置总数；

利用语义关系图r对原始特征图F_m进行加权更新，并展平为特征向量得到遥感场景图像的特征嵌入z，表示为如下：

z＝Flatten(rF_m)

其中，Flatten表示展平操作。

6.根据权利要求4所述的一种基于子空间网络的少样本遥感场景分类方法，其特征在于，所述构建标准子空间分类器包括：

步骤101：计算每个任务中每个类别对应的支持集中样本的特征嵌入的平均值作为该类别的初始原型，对于类别c，其初始原型μ_c表示为：

其中，K表示支持集中类别c的样本的数量，表示任务的支持集中类别c的第i个样本的特征嵌入；

步骤102：将任务中每个类别的支持集中样本的特征嵌入和该类别的初始原型相减，得到该类别的初始特征空间，对于类别c，其初始特征空间表示为：

其中，表示类别c的初始特征空间；

步骤103：将任务中每个类别的初始特征空间进行奇异值分解得到左奇异矩阵，对类别c，该操作具体表示为：

其中，左奇异矩阵B_c＝[a₁,a₂,a₃,a₄,…,a_n]为正交矩阵；对左奇异矩阵B_c进行截断得到该类别的初始特征子空间，对类别c，其初始特征子空间表示为：

P_c＝[a₁,a₂,a₃,a₄]

其中，P_c表示类别c的初始特征子空间；

步骤104：计算任务的查询集中样本的特征嵌入到每个类别的初始特征子空间的投影距离，其表示为：

d_c(q_i)＝||(I-M_c)(z_que,i-μ_c)||₂,q_i∈que

其中，d_c(q_i)表示任务的查询集中样本q_i到类别c的初始特征子空间P_c的投影距离，que表示任务的查询集，‖·‖₂表示L2范数，z_que,i表示任务的查询集中样本q_i的特征嵌入；

步骤105：根据任务的查询集中样本的特征嵌入到每个类别的初始特征子空间的投影距离，计算任务的查询集中样本属于各类别的概率，其表示为：

其中，c∈{1,2,…,N}，N表示任务的支持集中类别的总数，m_c(q_i)表示任务的查询集中样本q_i属于类别c的概率；

步骤106：根据任务的查询集中样本属于各类别的概率，对各类别的初始原型进行微调得到各类别的微调原型，对于类别c，其微调原型表示为：

其中，μ′_c表示类别c的微调原型；

步骤107：将任务中每个类别的支持集中样本的特征嵌入和该类别的微调原型相减，得到该类别的修正特征空间，对于类别c，其修正特征空间表示为：

其中，表示类别c的修正特征空间；

步骤108：将任务中每个类别的修正特征空间进行奇异值分解得到左奇异矩阵，对类别c，该操作具体表示为：

其中，左奇异矩阵B_c′＝[a₁′,a₂′,a₃′,a₄′,…,a_n′]为正交矩阵；对左奇异矩阵B_c′进行截断得到该类别的修正特征子空间，则类别c的修正特征子空间表示为：

P_rc＝[a₁′,a₂′,a₃′,a₄′]

其中，P_rc表示类别c的修正特征子空间；

步骤109：以各类别修正子空间P_rc为特征子空间的初始化值，利用目标函数自动学习出所有类别的标准子空间集P′：

其中，为各类别标准子空间的集合，D(x_i,j,P′_i)表示任务的支持集中第i个类别的第j个支持样本到第i个类别的子空间P′_i的投影距离，D(x_i,j,P′_l)表示任务的支持集中第i个类别的第j个支持样本到第l个类别的子空间P′_l的投影距离；

步骤110：以各类别的标准子空间为度量基准构建标准子空间分类器对任务的查询集中样本进行分类，对于类别c，其表示为：

d_c′(q_i)＝||(I-M′_c)(z_que,i-μ_C)||₂

其中，P′_c表示类别c的标准子空间，d_c′(q_i)表示任务的查询集中样本q_i到类别c的标准子空间P′_c的投影距离，p′(y＝c|q_i)表示任务的查询集中样本q_i属于类别c的概率，比较查询集图像q_i属于各类别的概率值，将其分类为最大概率所对应的类别。

7.根据权利要求6所述的一种基于子空间网络的少样本遥感场景分类方法，其特征在于，所述损失函数包括：

L＝L_cls+ωL_inter+γL_intra

其中，L表示设置的损失函数，ω和γ表示的权重系数；N表示一个训练任务中支持集中样本的类别总数，M表示训练任务在每个类别中查询样本的数量，p_c,q表示查询样本q属于它的真实类别c的预测概率，P_i和P_j表示任意两个类别的标准子空间，M表示每个类别中查询样本的数量，Z_i表示第i个查询样本的特征嵌入，y_i表示第i个查询样本的真实类别；对于I_[x]取值，当表达式x为真时，I_[x]值为1，否则为0，cosine(a,b)表示向量a和b的余弦相似度。

8.根据权利要求1所述的一种基于子空间网络的少样本遥感场景分类方法，其特征在于，所述通过验证任务对基于子空间网络的少样本遥感场景分类模型进行验证，保存性能最佳的模型包括：

采用基于任务的方式对基于子空间网络的少样本遥感场景分类模型进行训练，训练时设置一定的迭代次数，每次迭代选择一个训练任务，进行前向传播，计算损失并利用Adam算法不断优化更新模型参数；每经过一定次数的迭代训练，进行一次模型验证，选择一定数量的验证任务，利用当前的模型，对每个任务的查询集进行分类预测，计算全部验证任务的平均分类准确率即为此次模型验证的结果，根据验证结果，保存截止目前训练时刻的最佳模型。

9.根据权利要求1所述的一种基于子空间网络的少样本遥感场景分类方法，其特征在于，所述通过测试任务对保存的性能最佳的模型进行测试包括：随机抽取600个测试任务，利用训练所得的最佳模型对每个测试任务中的查询集图像进行分类预测，计算这600个测试任务的平均分类准确率作为模型测试的结果。