CN110909643B - 基于最近邻原型表示的遥感舰船图像小样本分类方法 - Google Patents

Abstract

本发明公开了一种基于最近邻原型表示的遥感舰船图像小样本分类方法，包括如下步骤：在辅助数据集上使用小批量梯度下降法训练得到后续特征提取器；使用特征提取器对待测类别的少量已知样本与测试样本进行特征提取；使用“图像到特征”的最近邻表达计算类别原型特征向量；各类别原型向量与待测特征向量进行度量判断类别。本发明不需要进行不同图像域之间的知识迁移，使得在样本受限情况下，能够大幅提高舰船分类的准确度。

Description

基于最近邻原型表示的遥感舰船图像小样本分类方法

技术领域

本发明属于模式识别与机器学习技术领域，更具体的说是涉及一种基于最近邻原型表示的遥感舰船图像小样本分类方法。

背景技术

近年来，卫星相机技术的飞速发展使得高质量、高分辨率的光学遥感图像的获取变得便捷。大量遥感数据促进了光学遥感图像领域的研究。在这些研究中，舰船检测在军事与民用领域都具有重要的意义且吸引了大量研究人员的关注。伴随着卷积神经网络(CNN)的发展，舰船检测算法的不断完善使得检测精度不断提高，这有效的提供了与标记真值高度匹配的舰船切片图像。但是，现阶段舰船检测算法仅仅指示出舰船的位置，这与数字图像处理中检测算法“既要指明图像中目标的类别，又要指明其所在的位置”有所不同。

因此，一些学者针对舰船类别判断进行专门的研究。在这些研究中，由于样本匮乏的问题会成为制约以数据驱动的CNN类方法性能的瓶颈而频频被提到。一般而言，数据增强与迁移学习被用来作为缓解这一问题的手段，如图1所示。数据增强通过对有限的图像样本进行翻转、裁剪、颜色等变换手段以获取更多的样本图像。具体有通过对图像进行随机角度旋转并在扩大的图像边缘填充图像像素均值执行数据扩充；有通过使用3D舰船模型和Unity游戏引擎合成图像来达到增加样本数量的目的；迁移学习通过在相似且数据充足的数据集上进行预训练后再在目标数据集进行知识迁移。上述的方法在一定程度上解决了样本数量不足的问题。但总体而言，舰船分类的研究要滞后于舰船检测，尤其是在光学遥感图像领域。缺乏广泛使用的分类数据集与舰船本身的特性(类内多样性与类间相似性)是造成阻碍分类领域研究的原因。并且上述提到的数据增强与迁移学习等方法依旧需要每类具有数十个上百个标记样本(经过数据增强后的样本数量将会变的更多)才能取得理想的效果。在实际的应用背景中，某些类舰船是稀有的，想要获取到大量的相关样本需要付出的时间成本，金钱成本是高昂的，甚至是不可能的。上述方法在此情况下将几乎起不到作用。如何有效地使用数量稀少的已知类别舰船样本对舰船检测算法得到的少见类别的舰船切片数据进行正确的分类(也就是小样本问题，一般每类标记样本小于5个)对于舰船识别领域的研究具有十分重要的意义。

发明内容

有鉴于此，本发明提供了一种基于最近邻原型表示的遥感舰船图像小样本分类方法，不需要进行不同图像域之间的知识迁移，使得在样本受限情况下，能够大幅提高舰船分类的准确度。

为了实现上述目的，本发明采用如下技术方案：

一种基于最近邻原型表示的遥感舰船图像小样本分类方法，包括如下步骤：

S1：在辅助数据集上使用小批量梯度下降法训练得到后续特征提取器；

S2：使用特征提取器对待测类别的少量已知样本与测试样本进行特征提取；

S3：使用“图像到特征”的最近邻表达计算类别原型特征向量；

S4：各类别原型向量与待测特征向量进行度量判断类别。

优选的，所述步骤S1中在辅助数据集上使用小批量梯度下降法训练得到后续特征提取器的方法为：确定训练数据采样方法后，使用CNN分类网络在辅助数据集上进行训练，分类网络训练完毕之后，去除掉网络的最后一层全连接层和Softmax层，得到后续特征提取器。

优选的，所述步骤S2中使用特征提取器对待测类别的少量已知样本与测试样本进行特征提取的方法为：将待测类别中少量的标记样本与测试样本输入到特征提取器中，得到相应的特征向量。

优选的，所述步骤S3中使用“图像到特征”的最近邻表达计算类别原型特征向量的方法为：通过标记样本的特征向量得到不同类别的原型特征向量，测试样本中图像的特征向量与不同类别的原型特征向量进行度量得到类别判断；每类的原型由测试图像的特征向量同标记样本中每类特征向量相应特征维度的最近邻向量组成，通过使用每个特征维度上的最近邻值，在标记样本组合有限的条件下，得到更多的原型特征向量。

优选的，所述步骤S4中各类别原型向量与待测特征向量进行度量判断类别的方法为：从每个类别极少的标记样本中得出的原型特征向量作为其所属类别的表示与待测图像特征向量相似性度量，与当前待测图像距离最近的原型特征向量所属的类别相比，得出待测类别。

优选的，与当前待测图像距离最近的原型特征向量所属的类别相比，得出待测类别的方法为：采用欧式距离作为距离度量函数，得到待测图像到各个类别原型特征向量的距离之后使用Softmax函数得到属于每一类的概率值，概率值最大的类别即为最终的判断类别。

本发明的有益效果在于：

本发明利用某些具有大量标记样本的舰船类别组成辅助数据集，使用CNN分类网络在辅助数据集上进行充分训练；之后利用训练好的分类网络作为特征提取器对包含小样本的标记样本和测试样本进行特征提取；最后对各个类别的原型特征与测试样本特征进行相似性度量来对测试样本执行分类。本发明不需要进行不同图像域之间的知识迁移通过度量的方式使得即便某些类别标记样本很少也可以进行准确的分类，使得在样本受限情况下的舰船分类准确度有了较大幅度的提高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为现有技术的方法流程图。

图2附图为本发明的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅附图2，本发明提供了一种基于最近邻原型表示的遥感舰船图像小样本分类方法，包括如下步骤：

S1：在辅助数据集上使用小批量梯度下降法训练得到后续特征提取器。

CNN具有强大的特征表征能力，但是这种能力需要大量的数据驱动CNN中海量参数更新才可以获得。尽管小样本分类的相关研究在舰船领域还鲜有技术方案，但在自然图像领域已有大量的完整技术方案。其中，情景训练策略(episodic training strategy)被奉为小样本特征提取器训练方法的准则。具体而言情景训练策略是根据测试时已知的小样本类别数，每类标记样本数来确定在用辅助数据集A进行训练时每一个迭代输入的训练数据类别数与每类样本数。而相关小样本研究分别表明，在训练特征提取器时使用更多的类别与每类使用更多的样本对最终的性能提高是有帮助的。由此，本发明方法抛弃了小样本中惯用的情景训练策略而采用每次迭代随机采样数据。

确定了训练数据采样方法后，使用经典CNN分类网络在辅助数据集A上进行训练以使分类网络具有良好的特征提取能力与分类效果。分类网络可以使用诸如AlexNet、VGGNet、ResNet、DenseNet等网络。分类网络训练完毕之后，需要去除掉网络的最后一层全连接层和Softmax层，使其对后续的输入数据只输出相应的特征向量，得到后续特征提取器。

S2：使用特征提取器对待测类别的少量已知样本与测试样本进行特征提取。

将待测类别中少量的标记样本(支持集S)与测试样本(询问集Q)输入到步骤S1中得到的去除最后一个全连接层和Softmax层的特征提取器中，得到相应的特征向量。

S3：使用“图像到特征”的最近邻表达计算类别原型特征向量。

假设步骤S2中得到的特征向量为：

其中，

是询问集Q的输入图像，f_φ是特征提取器对图像特征的编码过程，a_i对应特征第i个维度的特征值。

本发明方法将通过支持集S的特征向量得到不同类别的原型特征向量，询问集Q中图像的特征向量与不同类别的原型特征向量进行度量得到类别判断。本发明提出了“图像到特征”的最近邻特征表达方式来得到每类的原型特征向量。具体而言，每类的原型是由测试图像的特征向量同支持集S中每类特征向量相应特征维度的最近邻向量组成的，其数学表达式为：

其中，S_k代表支持集S中属于类别k的子集合，p_k是类别k的原型，x_i是支持集S中类别k中的一个图像，y_i是与x_i图像对应的标签。这也就意味着对于不同的测试特征向量，每类的原型是不同的。而之前小样本学习中的做法是对支持集合S中同一类数据的特征向量在每一个特征维度上取平均值：

平均值作为原型的取法在直观上看来比较合理，但是考虑到支持集S中每类的标记样本数量是极少的，极少的样本并不能很好的概括出样本的数据分布。有可能存在这种情况：待测试样本其应属于类r，但是其与标记样本的C类特征中的每一个均不相似，这样便不能做出正确的判断。故特征向量的平均值也不能很好的代表某个类别。相较于平均值作为样本原型的方式，使用每个特征维度上的最近邻值可以达到使用有限的标记样本组合成更多的原型特征向量可能性。例如特征向量有2048维，即:

则在原型特征向量p_k中，a₁是来自类别k的第二个样本的第1个维度的特征值，a₂是来自k类的第四个样本的第2个维度的特征值，a₃是来自k类的第一个样本的第3个维度的特征值，……以次类推。组合特征向量形成原型的过程也称之为“图像到特征”。通过“组合”的形式可以不受到每一张标记样本特征向量的限制，这在一定程度上解决了以平均值作为类别原型的弊端。

S4：各类别原型向量与待测特征向量进行度量判断类别。

从每个类别极少的标记样本中得出的原型特征向量作为其所属类别的“表示”与待测图像特征向量相似性度量，与当前待测图像距离最近的原型特征向量所属的类别即为本发明方法得出的待测类别。

由于最理想的原型特征向量应是整个类别特征空间的聚类中心点，故在特征空间上原型到其他同类别的平均距离最短。基于此假设，欧式距离被用作本发明的距离度量函数，得到待测图像到各个类别原型特征向量的距离之后使用Softmax函数得到属于每一类的概率值，概率值最大的类别即为最终的判断类别。此过程的数学表达式为：

其中，propabiliity表示在给定测试图像

的情况下，预测类别

属于第k类的概率值，d表示欧式距离。

本发明使用度量的方式相比于其他舰船分类的方法有效减少了正确分类所需要的标记样本数，在本发明的验证实验中，每类的标记样本数仅需1个或者5个便可以取得良好的效果。本发明成功将小样本分类的思路引入到了舰船分类领域，但本发明方法摒弃了小样本领域广泛采用的情景训练策略的采样方式而使用随机采样方式。使用随机采样方式使得网络模型不局限于固定的范式，在训练的每一个迭代中接受到的训练类别数与每类样本数随机，有效提高了模型的鲁棒性。同时，本发明提出了基于“图像到特征”的最近邻原型表达方式，使得原型的计算不单单依赖于已知的标记样本的特征向量，还取决于待测样本的特征向量。根据不同待测样本的特征向量，在特征的不同维度上通过有限样本间的组合可以形成多种原型的可能，一定程度上解决了样本不足的问题并且避免了欠拟合现象。本发明采用的随机采样，原型最近邻表示的方式与常用的情景训练策略，原型平均值方式的效果对比见表1。实验设置方面，测试类别包括辅助数据集A中没有见过的类别(称为“新类”)与辅助数据集A中出现过的类别(称为“基础类”)，但在生成原型时都仅使用N个样本(即表1中的N-shot)，同时每次测试中测试全部的基础类和M个基类(即表1中的M-novel)。同时，本发明还同有代表性的几个小样本方法在相同实验条件下进行了对比，具体结果见表2。与相关方法的对比可以看出本发明的方法在各个实验设置下的“新类”与“基础类”的分类准确率都有了一定的提高。

表1

表1为本发明与现有小样本技术在HRSC2016切片数据集上准确率对比表。表中准确率表示分类正确的测试图像数量与全部数量的比值，准确率土后的数值是95％的置信度。

表2

表2为本发明与有代表性的小样本方法在HRSC2016切片数据集上准确率对比。DN4是深度最近邻卷积网络，RN是关系网络，MN是匹配网络，PN是原型网络。

本发明提出了一种基于“图像到特征”的最近邻原型表达方式，通过组合特征的方式可以突破有限的样本，有更多原型的选择，一定程度上提高了“新类”的预测能力。本发明还提出了使用随机采样的方式训练网络作为后续小样本的特征提取器，通过随机采样使得模型在训练的每次迭代中不局限于固定的类别数据，可以更加灵活的适用于后续不同的实验配置。

本发明利用某些具有大量标记样本的舰船类别组成辅助数据集，使用CNN分类网络在辅助数据集上进行充分训练；之后利用训练好的分类网络作为特征提取器对包含小样本的标记样本和测试样本进行特征提取；最后对各个类别的原型特征与测试样本特征进行相似性度量来对测试样本执行分类。本发明不需要进行不同图像域之间的知识迁移通过度量的方式使得即便某些类别标记样本很少也可以进行准确的分类，使得在样本受限情况下的舰船分类准确度有了较大幅度的提高。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种基于最近邻原型表示的遥感舰船图像小样本分类方法，其特征在于，包括如下步骤：S1：在辅助数据集上使用小批量梯度下降法训练得到后续特征提取器；S2：使用特征提取器对待测类别的少量已知样本与测试样本进行特征提取；S3：使用“图像到特征”的最近邻表达计算类别原型特征向量，通过标记样本的特征向量得到不同类别的原型特征向量，测试样本中图像的特征向量与不同类别的原型特征向量进行度量得到类别判断；每类的原型由测试图像的特征向量同标记样本中每类特征向量相应特征维度的最近邻向量组成，通过使用每个特征维度上的最近邻值，在标记样本组合有限的条件下，得到更多的原型特征向量；S4：各类别原型向量与待测特征向量进行度量判断类别。

2.根据权利要求1所述的一种基于最近邻原型表示的遥感舰船图像小样本分类方法，其特征在于，所述步骤S1中在辅助数据集上使用小批量梯度下降法训练得到后续特征提取器的方法为：确定训练数据采样方法后，使用CNN分类网络在辅助数据集上进行训练，分类网络训练完毕之后，去除掉网络的最后一层全连接层和Softmax层，得到后续特征提取器。

3.根据权利要求2所述的一种基于最近邻原型表示的遥感舰船图像小样本分类方法，其特征在于，所述步骤S2中使用特征提取器对待测类别的少量已知样本与测试样本进行特征提取的方法为：将待测类别中少量的标记样本与测试样本输入到特征提取器中，得到相应的特征向量。

4.根据权利要求1所述的一种基于最近邻原型表示的遥感舰船图像小样本分类方法，其特征在于，所述步骤S4中各类别原型向量与待测特征向量进行度量判断类别的方法为：从每个类别极少的标记样本中得出的原型特征向量作为其所属类别的表示与待测图像特征向量相似性度量，与当前待测图像距离最近的原型特征向量所属的类别相比，得出待测类别。

5.根据权利要求4所述的一种基于最近邻原型表示的遥感舰船图像小样本分类方法，其特征在于，与当前待测图像距离最近的原型特征向量所属的类别相比，得出待测类别的方法为：采用欧式距离作为距离度量函数，得到待测图像到各个类别原型特征向量的距离之后使用Softmax函数得到属于每一类的概率值，概率值最大的类别即为最终的判断类别。

Images