CN113222011B - 一种基于原型校正的小样本遥感图像分类方法 - Google Patents

Abstract

本发明公开了一种基于原型校正的小样本遥感图像分类方法，包括以下步骤：步骤一、设置小样本遥感图像分类的整体网络框架；步骤二、对特征提取器和自注意力模型进行预训练；步骤三、对支持集样本进行扩充；步骤四、利用扩充后的支持集进行原型校正；步骤五、利用校正并扩充的支持集原型和分类器，对查询集样本进行预测，得到最终的分类结果。本发明利用自注意力模型可以有效提取遥感图像显著性特征，能够降低背景无关信息噪声的影响；通过对支持集各个类别的原型特征进行校正，能够提高特征的类别表征能力，从而提高小样本条件下的遥感图像分类精度。

Description

一种基于原型校正的小样本遥感图像分类方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于原型校正的小样本遥感图像分类方法。

背景技术

近年来,深度学习在图像处理、计算机视觉等领域取得了突破性进展，也推动着遥感图像分类技术的发展。传统的图像分类算法已经难以满足实际应用对图像处理的性能和智能化等方面要求。深度学习算法通过对大脑认知的模仿，以自主实现对图像特征的分析处理，具有强大的特征学习与表征能力，成为当前图像分类的主流方法。

当前，图像分类方法通常依赖大量的标注数据，并且需要较长的训练时间。而实际应用场景的标注数据往往有限，这推动了小样本图像分类技术的发展。考虑到图像中目标的光照、形状、纹理等变化很大，因此小样本学习仍然是一项具有挑战性的问题。小样本图像分类旨在通过少量的训练样本便可以达到对未知类别分类的能力，这类似于人类大脑基于先验知识对未知事物进行关联及推理的过程。

小样本图像分类方法可以在训练数据缺失的情况下，仅利用几张已知标签的样本便可以对测试样本进行正确分类。小样本图像分类技术在空中目标侦测、海上舰船目标检测、稀缺动物分类等应用中有巨大应用前景。因此，基于小样本深度学习的遥感图像分类技术，可以实现有限数据下的高精度图像分类，提升深度神经网络的应用范围。

发明内容

本发明所要解决的技术问题是当样本数量不足时，深度网络模型过拟合、分类性能差的问题。针对此问题，提供一种基于原型校正的小样本遥感图像分类方法，其结构简单、设计合理，采用迁移学习的思想进行预训练，以实现模型较好的泛化能力，避免过拟合的现象；利用自注意力模型有效提取遥感图像显著性特征，降低背景无关信息噪声的影响；通过对支持集各个类别的原型特征进行校正，提高特征的类别表征能力。

为解决上述技术问题，本发明采用的技术方案是：一种基于原型校正的小样本遥感图像分类方法，其特征在于：包括以下步骤：

步骤一、设置小样本遥感图像分类的整体网络框架：

步骤101、初始化网络的特征提取器F、自注意力模型A；

步骤102、设置网络的学习率和训练轮次；

步骤103、选取训练集样本，同时初始化测试阶段的支持集S和查询集Q样本；

步骤二、对特征提取器和自注意力模型进行预训练：

步骤201、将训练集D_T的各个样本旋转4次，得到扩充训练数据集D_T4；

步骤202、将扩充后的训练数据集D_T4输入到特征提取器F，生成特征F(D_T4)；

步骤203、将特征F(D_T4)输入到自注意力模型A，得到自注意力特征F_A(D_T4)；

步骤204、将特征F_A(D_T4)输入到分类器，得到各个样本对应的预测标签，并计算分类损失L_g，更新特征提取器F和自注意力模型A的参数，当L_g收敛时，迭代训练停止；

步骤205、将训练数据D_T随机打乱得到D_TS，将D_T和D_TS分别依次输入特征提取器F和自注意力模型A后，得到输出的特征为F_A(D_T)和F_A(D_TS)，以

特征作为分类器的输入；

步骤206、将特征

与对应的标签输入到分类器，得到各个样本对应的预测标签，并计算分类损失L_f，更新特征提取器F和自注意力模型A的参数，当L_f收敛时，迭代训练停止；

步骤三、对支持集样本进行扩充：

步骤301、计算训练集D_T中各个类别的原型P_j和协方差∑j，计算支持集S中各个类别S_i的原型

和协方差∑s_i；

步骤302、对于支持集S中每一个类别S_i的原型

计算其与训练集D_T中所有类别原型P_j的欧式距离D_ij，从训练集D_T中选出与支持集类别S_i最近的两个类别原型P_c1、P_c2及对应的协方差∑c1、∑c2；

步骤303、对于支持集S中的每一个类别S_i生成伪样本

伪样本

的各个维度满足高斯分布，且伪样本

的特征均值等于原型

P_c1和P_c2的均值，伪样本

的特征协方差等于∑c1和∑c2的均值；

步骤304、利用生成的伪样本

得到扩充后的支持集

步骤四、利用扩充后的支持集进行原型校正：

步骤401、利用扩充后的支持集

进行分类器的训练；

步骤402、训练后的分类器对查询集Q进行预测，得到分类预测标签与预测概率；

步骤403、从查询集Q中选出各个类别预测概率最高的前n个样本，利用这些样本的特征对支持集的原型特征进行校正；

步骤404、重复步骤三，利用校正后的原型特征进行支持集样本扩充，得到最终扩充后的支持集；

步骤五、利用扩充后的支持集和分类器，对查询集样本进行预测，得到最终的分类结果。

上述的一种基于原型校正的小样本遥感图像分类方法，其特征在于：步骤101中自注意力模型A的网络结构包含三个卷积层l₁,l₂,l₃和softmax层，l₁和l₂的卷积结果相乘作为自注意力权重，l₃的卷积结果和自注意力权重相乘后，经过softmax层得到最终的自注意力特征；其中，卷积层均为基于神经网络VGG、ResNet、GoogleNet或AlexNet中的一种基本卷积单元。

上述的一种基于原型校正的小样本遥感图像分类方法，其特征在于：步骤204中分类损失L_g的计算公式为：

其中，y⁽ⁱ⁾表示第i个样本的标签，

是对应的预测标签，N表示样本数量。

上述的一种基于原型校正的小样本遥感图像分类方法，其特征在于：步骤206中分类损失L_f的计算公式为：

其中，y⁽ⁱ⁾表示未打乱顺序的第i个样本标签，y_f ⁽ⁱ⁾表示随机打乱顺序后的第i个样本标签，

是对应的预测标签，N表示样本数量。

上述的一种基于原型校正的小样本遥感图像分类方法，其特征在于：步骤301中训练集D_T中各个类别的原型P_j和协方差∑j的计算公式为：

其中，p_ji表示第j个类别的第i个样本特征。

上述的一种基于原型校正的小样本遥感图像分类方法，其特征在于：步骤403的支持集原型特征校正公式为：

其中，

表示查询集中分类预测结果属于第i个类别的第j个样本特征。

本发明与现有技术相比具有以下优点：

本发明利用自注意力模型可以有效提取遥感图像显著性特征，能够降低背景无关信息噪声的影响；通过对支持集各个类别的原型特征进行校正，能够提高特征的类别表征能力，从而提高小样本条件下的遥感图像分类精度。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。

如图1所示，本发明的一种基于原型校正的小样本遥感图像分类方法，包括以下步骤：

步骤一、设置小样本遥感图像分类的整体网络框架：

步骤101、初始化网络的特征提取器F、自注意力模型A。自注意力模型A的网络结构包含三个卷积层l₁,l₂,l₃和softmax层，l₁和l₂的卷积结果相乘作为自注意力权重，l₃的卷积结果和自注意力权重相乘后，经过softmax层得到最终的自注意力特征；其中，卷积层均为基于神经网络VGG、ResNet、GoogleNet或AlexNet中的一种基本卷积单元。

步骤102、设置网络的学习率和训练轮次；

步骤103、选取训练集样本，同时初始化测试阶段的支持集S和查询集Q样本；

步骤二、对特征提取器和自注意力模型进行预训练：

步骤201、将训练集D_T的各个样本旋转4次，得到扩充训练数据集D_T4。

具体实施时，对于每一批次的任务，训练数据集的维度是(128，3，84，84)，经过旋转4次后，数据维度变为(512，3，84，84)。

步骤202、将扩充后的训练数据集D_T4输入到特征提取器F，生成特征F(D_T4)。

具体实施时，经过特征提取器F后数据维度为(512，640，1，1)。

步骤203、将特征F(D_T4)输入到自注意力模型A，得到自注意力特征F_A(D_T4)。

具体实施时，在自注意力模型A中，特征提取器生成的特征F(D_T4)分别作为三个卷积层Conv_k、Conv_v、Conv_q的输入，在1×1卷积核的作用下，分别得到如下对应维度的输出：Conv_k(F(D_T4))：(512，80，1，1)、Conv_q(F(D_T4))：(512，80，1，1)、Conv_v(F(D_T4))：(512，640，1，1)；随后Conv_k(F(D_T4))和Conv_q(F(D_T4))维度均变换为(512，80，1)，Conv_v(F(D_T4))维度变换为(512，640，1)；Conv_k(F(D_T4))与Conv_q(F(D_T4))进行矩阵相乘，相乘的结果经过softmax归一化得到特征权重，权重矩阵维度是(512，1，1)，Conv_v(F(D_T4))与权重矩阵相乘得到自注意力特征F_A(D_T4)，对应维度是(512，640)。

步骤204、将特征F_A(D_T4)输入到分类器，得到各个样本对应的预测标签，并计算分类损失L_g，更新特征提取器F和自注意力模型A的参数，当L_g收敛时，迭代训练停止；分类损失L_g的计算公式为：

其中，y⁽ⁱ⁾表示第i个样本的标签，

是对应的预测标签，N表示样本数量。

步骤205、将训练数据D_T随机打乱得到D_TS，将D_T和D_TS分别依次输入特征提取器F和自注意力模型A后，得到输出的特征为F_A(D_T)和F_A(D_TS)，以

特征作为分类器的输入；

步骤206、将特征

与对应的标签输入到分类器，得到各个样本对应的预测标签，并计算分类损失L_f，更新特征提取器F和自注意力模型A的参数，当L_f收敛时，迭代训练停止；分类损失L_f的计算公式为：

其中，y⁽ⁱ⁾表示未打乱顺序的第i个样本标签，y_f ⁽ⁱ⁾表示随机打乱顺序后的第i个样本标签，

是对应的预测标签，N表示样本数量。

步骤三、对支持集样本进行扩充：

步骤301、计算训练集D_T中各个类别的原型P_j和协方差∑j，计算支持集S中各个类别S_i的原型

和协方差∑s_i；原型P_j和协方差∑j的计算公式为：

其中，p_ji表示第j个类别的第i个样本特征。

步骤302、对于支持集S中每一个类别S_i的原型

计算其与训练集D_T中所有类别原型P_j的欧式距离D_ij，从训练集D_T中选出与支持集类别S_i最近的两个类别原型P_c1、P_c2及对应的协方差∑c1、∑c2；

步骤303、对于支持集S中的每一个类别S_i生成伪样本

伪样本

的各个维度满足高斯分布，且伪样本

的特征均值等于原型

P_c1和P_c2的均值，伪样本

的特征协方差等于∑c1和∑c2的均值；

步骤304、利用生成的伪样本

得到扩充后的支持集

步骤四、利用扩充后的支持集进行原型校正：

步骤401、利用扩充后的支持集

进行分类器的训练；

步骤402、训练后的分类器对查询集Q进行预测，得到分类预测标签与预测概率；

步骤403、从查询集Q中选出各个类别预测概率最高的前n个样本，利用这些样本的特征对支持集的原型特征进行校正；支持集原型特征校正公式为：

其中，

表示查询集中分类预测结果属于第i个类别的第j个样本特征。

步骤404、重复步骤三，利用校正后的原型特征进行支持集样本扩充，得到最终扩充后的支持集；

步骤五、利用扩充后的支持集和分类器，对查询集样本进行预测，得到最终的分类结果。

以上所述，仅是本发明的实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (6)

1.一种基于原型校正的小样本遥感图像分类方法，其特征在于：包括以下步骤：

步骤一、设置小样本遥感图像分类的整体网络框架：

步骤101、初始化网络的特征提取器F、自注意力模型A；

步骤102、设置网络的学习率和训练轮次；

步骤103、选取训练集样本，同时初始化测试阶段的支持集S和查询集Q样本；

步骤二、对特征提取器和自注意力模型进行预训练：

步骤201、将训练集D_T的各个样本旋转4次，得到扩充训练数据集D_T4；

步骤202、将扩充后的训练数据集D_T4输入到特征提取器F，生成特征F(D_T4)；

步骤203、将特征F(D_T4)输入到自注意力模型A，得到自注意力特征F_A(D_T4)；

步骤204、将特征F_A(D_T4)输入到分类器，得到各个样本对应的预测标签，并计算分类损失L_g，更新特征提取器F和自注意力模型A的参数，当L_g收敛时，迭代训练停止；

步骤205、将训练数据D_T随机打乱得到D_TS，将D_T和D_TS分别依次输入特征提取器F和自注意力模型A后，得到输出的特征为F_A(D_T)和F_A(D_TS)，以

特征作为分类器的输入；

步骤206、将特征

与对应的标签输入到分类器，得到各个样本对应的预测标签，并计算分类损失L_f，更新特征提取器F和自注意力模型A的参数，当L_f收敛时，迭代训练停止；

步骤三、对支持集样本进行扩充：

步骤301、计算训练集D_T中各个类别的原型P_j和协方差∑j，计算支持集S中各个类别S_i的原型

和协方差∑s_i；

步骤302、对于支持集S中每一个类别S_i的原型

计算其与训练集D_T中所有类别原型P_j的欧式距离D_ij，从训练集D_T中选出与支持集类别S_i最近的两个类别原型P_c1、P_c2及对应的协方差∑c1、∑c2；

步骤303、对于支持集S中的每一个类别S_i生成伪样本

伪样本

的各个维度满足高斯分布，且伪样本

的特征均值等于原型

P_c1和P_c2的均值，伪样本

的特征协方差等于∑c1和∑c2的均值；

步骤304、利用生成的伪样本

得到扩充后的支持集

步骤四、利用扩充后的支持集进行原型校正：

步骤401、利用扩充后的支持集

进行分类器的训练；

步骤402、训练后的分类器对查询集Q进行预测，得到分类预测标签与预测概率；

步骤403、从查询集Q中选出各个类别预测概率最高的前n个样本，利用这些样本的特征对支持集的原型特征进行校正；

步骤404、重复步骤三，利用校正后的原型特征进行支持集样本扩充，得到最终扩充后的支持集；

步骤五、利用扩充后的支持集和分类器，对查询集样本进行预测，得到最终的分类结果。

2.按照权利要求1所述的一种基于原型校正的小样本遥感图像分类方法，其特征在于：步骤101中自注意力模型A的网络结构包含三个卷积层l₁,l₂,l₃和softmax层，l₁和l₂的卷积结果相乘作为自注意力权重，l₃的卷积结果和自注意力权重相乘后，经过softmax层得到最终的自注意力特征；其中，卷积层均为基于神经网络VGG、ResNet、GoogleNet或AlexNet中的一种基本卷积单元。

3.按照权利要求1所述的一种基于原型校正的小样本遥感图像分类方法，其特征在于：步骤204中分类损失L_g的计算公式为：

其中，y⁽ⁱ⁾表示第i个样本的标签，

是对应的预测标签，N表示样本数量。

4.按照权利要求1所述的一种基于原型校正的小样本遥感图像分类方法，其特征在于：步骤206中分类损失L_f的计算公式为：

其中，y⁽ⁱ⁾表示未打乱顺序的第i个样本标签，y_f ⁽ⁱ⁾表示随机打乱顺序后的第i个样本标签，

是对应的预测标签，N表示样本数量。

5.按照权利要求1所述的一种基于原型校正的小样本遥感图像分类方法，其特征在于：步骤301中训练集D_T中各个类别的原型P_j和协方差∑j的计算公式为：

其中，p_ji表示第j个类别的第i个样本特征。

6.按照权利要求1所述的一种基于原型校正的小样本遥感图像分类方法，其特征在于：步骤403的支持集原型特征校正公式为：

其中，

表示查询集中分类预测结果属于第i个类别的第j个样本特征。

Images