CN114281985A

CN114281985A - 样本特征空间增强方法及装置

Info

Publication number: CN114281985A
Application number: CN202111165666.9A
Authority: CN
Inventors: 杨佳伟; 姚建华
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2021-09-30
Filing date: 2021-09-30
Publication date: 2022-04-05

Abstract

本公开的实施例提供了一种样本特征空间增强方法和小样本分类器训练方法、以及相应的装置、设备和存储介质。本公开的实施例的方法针对无标签数据集，通过无监督预训练和无监督聚类确定特征编码器和遗产字典，并利用特征编码器和遗产字典基于少量新类样本获得更丰富的样本特征，以增强样本的特征空间。通过将本公开的实施例的方法应用于小样本分类，能够将基类样本的语义变化迁移至新类样本，从而基于少量新类样本生成富有语义变化的更多可靠的新类样本，以提升小样本分类器的分类能力。此外，本公开的实施例中的特征编码器和遗产字典的确定都无需标签信息，因此本公开的实施例的方法也可以适用于其他的无标签或标签紧缺的任务。

Description

样本特征空间增强方法及装置

技术领域

本公开涉及人工智能及计算机视觉领域，更具体地，涉及一种样本特征空间增强方法和小样本分类器训练方法、以及相应的装置、设备和存储介质。

背景技术

近年来，在人类的快速学习能力的启发下，研究人员希望模型在学习了一定类别的大量数据后，在面对新的类别时只需要少量样本就能快速学习，因此小样本分类(Few-Shot Classification)获得了越来越多的研究人员的关注，其已成为计算机视觉和机器学习等多个研究领域的研究热点。

目前，基于深度学习的小样本分类已经取得了一定研究成果，但由于样本量较少大大增加了模型学习的难度，使得小样本分类任务仍面临着很大挑战。小样本分类技术通常基于对有标签的大数据集进行有监督预训练，其成功依赖于大量有标签的样本，但是在实际场景中，大规模的有标签数据集通常难以获取，而无标签数据集通常更为常见。此外，预训练数据集本身往往存在可用于优化小样本分类的大量丰富的知识(诸如预训练数据集中的数据分布等)，但现有的小样本分类技术只通过利用预训练学习所得到的模型权重而迁移了关于预训练数据集中的基类的部分知识，而并没有对预训练数据集的知识进行充分利用。

因此，需要一种有效的小样本分类方法，使得可以更充分地利用无标签数据集并以更低的标注成本来实现更优的小样本分类。

发明内容

为了解决上述问题，本公开利用通过无监督预训练和无监督聚类确定的特征编码器和遗产字典，基于少量样本获得更丰富的样本特征，增强样本的特征空间，从而提升了后续小样本分类器的分类能力，且大大降低对标签的标注成本。

本公开的实施例提供了一种样本特征空间增强方法和小样本分类器训练方法、以及相应的装置、设备和存储介质。

本公开的实施例提供了一种样本特征空间增强方法，包括：获取第一数量的样本；利用经预训练的特征编码器，基于所述第一数量的样本确定第一数量的特征向量，所述第一数量的特征向量与所述第一数量的样本一一对应，所述经预训练的特征编码器是基于预训练样本集训练的；以及基于所述第一数量的特征向量，利用遗产字典确定第二数量的增强特征向量，所述遗产字典包括多个特征向量聚类的特征信息，所述多个特征向量聚类中的特征向量是利用所述经预训练的特征编码器基于所述预训练样本集预先生成的；其中，所述第一数量的样本的特征空间包括所述第一数量的特征向量和所述第二数量的增强特征向量，所述第二数量不小于所述第一数量，其中，所述第一数量的特征向量中的一个特征向量与所述第二数量的增强特征向量中的至少一个特征向量相关联。

根据本公开的实施例，所述方法还包括：利用所述特征编码器确定所述预训练样本集中的每一预训练样本的特征向量；对所述预训练样本集中的所有预训练样本的所有特征向量进行聚类以形成所述多个特征向量聚类；生成所述多个特征向量聚类中的每一特征向量聚类的特征信息；以及利用所述多个特征向量聚类中的每一特征向量聚类的特征信息来生成所述遗产字典。

根据本公开的实施例，对于所述多个特征向量聚类中的每一特征向量聚类，所述特征向量聚类的特征信息包括所述特征向量聚类的统计信息组，所述统计信息组包括所述特征向量聚类内的所有特征向量的均值和协方差矩阵。

根据本公开的实施例，基于所述第一数量的特征向量，利用遗产字典确定第二数量的增强特征向量包括：对于所述第一数量的特征向量中的每一特征向量，从所述遗产字典中查找与所述特征向量的相似度最高的特征向量聚类；以及基于所述特征向量聚类的特征信息，确定与所述特征向量相关联的多个增强特征向量；其中，所述第二数量的增强特征向量包括对于所述第一数量的特征向量中的每个特征向量所确定的多个增强特征向量。

根据本公开的实施例，从所述遗产字典中查找与所述特征向量的相似度最高的特征向量聚类包括：基于所述遗产字典所包括的多个特征向量聚类中的每一特征向量聚类的统计信息组，计算所述特征向量与每一特征向量聚类的相似度，并确定与所述特征向量的相似度最高的特征向量聚类；其中，所述相似度为余弦相似度，计算所述特征向量与每一特征向量聚类的相似度包括计算所述特征向量与所述特征向量聚类的统计信息组中的均值的余弦相似度。

根据本公开的实施例，基于所述特征向量聚类的特征信息，确定与所述特征向量相关联的多个增强特征向量包括：基于所述特征向量聚类的统计信息组，确定与所述特征向量相关联的语义偏移分布，所述语义偏移分布为多元高斯分布，其以零向量为均值且以所述特征向量聚类的协方差矩阵为协方差；基于所述语义偏移分布，确定与所述特征向量相关联的多个语义偏移向量；以及基于所述特征向量和与所述特征向量相关联的所述多个语义偏移向量，确定所述多个增强特征向量。

根据本公开的实施例，所述特征编码器是针对所述预训练样本集进行无监督预训练所得到的，所述预训练样本集中的所有预训练样本均为无标签样本；其中，使用在线编码器和动量编码器来针对所述预训练样本集进行无监督预训练，所述在线编码器包括所述特征编码器，并且所述动量编码器包括所述在线编码器的副本，所述动量编码器的参数是基于对所述在线编码器的参数的动量更新所得到的，所述动量更新基于所述动量编码器的参数与所述在线编码器的参数的加权和。

根据本公开的实施例，对于每个预训练样本生成至少两个样本视图；对于所述预训练样本集中的每一预训练样本，确定所述在线编码器对所述预训练样本的任一样本视图确定的特征向量与所述动量编码器对所述预训练样本集的任一其他样本视图确定的特征向量之间的第一误差、以及所述动量编码器对所述预训练样本的所述任一样本视图确定的特征向量与所述在线编码器对所述预训练样本集的任一其他样本视图确定的特征向量之间的第二误差；以及基于与所述预训练样本集中的所有预训练样本相关联的所述第一误差和所述第二误差，确定所述经预训练的特征编码器。

根据本公开的实施例，所述特征编码器包括多个待定参数；基于与所述预训练样本集中的所有预训练样本相关联的所述第一误差和所述第二误差，确定所述经预训练的特征编码器包括：确定所述多个待定参数的当前估计值；基于与所述预训练样本集中的所有预训练样本相关联的所有第一误差之和、以及与所有预训练样本相关联的所有第二误差之和，确定所述无监督预训练的目标误差；在所述目标误差满足预定条件的情况下，基于所述多个待定参数的当前估计值确定所述特征编码器的多个待定参数的值。

根据本公开的实施例，确定所述在线编码器对所述预训练样本的任一样本视图确定的特征向量与所述动量编码器对所述预训练样本集的任一其他样本视图确定的特征向量之间的第一误差，还包括：确定所述在线编码器对所述预训练样本的所述任一样本视图确定的特征向量与所述动量编码器对所述预训练样本的其他任一样本视图确定的特征向量之间的至少一个正样本相似度；确定所述在线编码器对所述预训练样本的所述任一样本视图确定的特征向量与所述动量编码器对所述预训练样本集中的其他预训练样本的任一样本视图确定的特征向量之间的多个负样本相似度；以及基于所述至少一个正样本相似度以及所述多个负样本相似度，确定所述第一误差；其中，确定所述动量编码器对所述预训练样本的任一样本视图确定的特征向量与所述在线编码器对所述预训练样本集的任一其他样本视图确定的特征向量之间的第二误差，还包括：确定所述动量编码器对所述预训练样本的所述任一样本视图确定的特征向量与所述在线编码器对所述预训练样本的其他任一样本视图确定的特征向量之间的至少一个正样本相似度；确定所述动量编码器对所述预训练样本的所述任一样本视图确定的特征向量与所述在线编码器对所述预训练样本集中的其他预训练样本的任一样本视图确定的特征向量之间的多个负样本相似度；以及基于所述至少一个正样本相似度以及所述多个负样本相似度，确定所述第二误差。

本公开的实施例提供了一种小样本分类器训练方法，包括：获取第一数量的样本；确定所述第一数量的样本的特征空间，所述特征空间包括第一数量的特征向量和第二数量的增强特征向量；基于所述特征空间中的特征向量和增强特征向量，训练所述小样本分类器；其中，所述第一数量的样本的特征空间是通过权利要求1-10中任一项所述的方法所确定的。

本公开的实施例提供了一种样本特征空间增强装置，包括：样本获取模块，被配置为获取第一数量的样本；特征向量确定模块，被配置为利用经预训练的特征编码器，基于所述第一数量的样本确定第一数量的特征向量，所述第一数量的特征向量与所述第一数量的样本一一对应，所述经预训练的特征编码器是基于预训练样本集训练的；特征向量增强模块，被配置为基于所述第一数量的特征向量，利用遗产字典确定第二数量的增强特征向量，所述遗产字典包括多个特征向量聚类的特征信息，所述多个特征向量聚类中的特征向量是利用所述经预训练的特征编码器基于所述预训练样本集预先生成的；其中，所述第一数量的样本的特征空间包括所述第一数量的特征向量和所述第二数量的增强特征向量，所述第二数量不小于所述第一数量，其中，所述第一数量的特征向量中的一个特征向量与所述第二数量的增强特征向量中的至少一个特征向量相关联。

根据本公开的实施例，所述装置还包括遗产字典生成模块，所述遗产字典生成模块被配置为：利用所述特征编码器确定所述预训练样本集中的每一预训练样本的特征向量；对所述预训练样本集中的所有预训练样本的所有特征向量进行聚类以形成所述多个特征向量聚类；生成所述多个特征向量聚类中的每一特征向量聚类的特征信息；以及利用所述多个特征向量聚类中的每一特征向量聚类的特征信息来生成所述遗产字典。

根据本公开的实施例，所述特征向量增强模块基于所述第一数量的特征向量，利用遗产字典确定第二数量的增强特征向量包括：对于所述第一数量的特征向量中的每一特征向量，从所述遗产字典中查找与所述特征向量的相似度最高的特征向量聚类；以及基于所述特征向量聚类的特征信息，确定与所述特征向量相关联的多个增强特征向量；其中，所述第二数量的增强特征向量包括对于所述第一数量的特征向量中的每个特征向量所确定的多个增强特征向量。

本公开的实施例提供了一种样本特征空间增强设备，包括：一个或多个处理器；以及一个或多个存储器，其中，所述一个或多个存储器中存储有计算机可执行程序，当由所述处理器执行所述计算机可执行程序时，执行如上所述的方法。

本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机可执行指令，所述指令在被处理器执行时用于实现如上所述的方法。

本公开的实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如上所述的方法。

本公开的实施例所提供的方法相比于传统的基于大规模有标签数据集的方法而言，利用无监督预训练，避免了对有监督预训练中对有标签样本的需求，从而大大降低对标签的标注成本。

本公开的实施例针对无标签数据集，通过无监督预训练和无监督聚类确定特征编码器和遗产字典，并利用特征编码器和遗产字典基于少量新类样本获得更丰富的样本特征，以增强样本的特征空间。通过将本公开的实施例的方法应用于小样本分类，能够将基类样本的语义变化迁移至新类样本，从而基于少量新类样本生成富有语义变化的更多可靠的新类样本，以提升小样本分类器的分类能力。此外，本公开的实施例中的特征编码器和遗产字典的确定都无需标签信息，因此本公开的实施例的方法也可以适用于其他的无标签或标签紧缺的任务。

附图说明

为了更清楚地说明本公开的实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本公开的一些示例性实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1A是示出根据本公开的实施例的样本特征空间增强方法的流程图；

图1B是示出根据本公开的实施例的样本特征空间增强的示意性流程框图；

图2是示出根据本公开的实施例的无监督对比学习预训练的示意图；

图3A是示出根据本公开的实施例的构建遗产字典的流程图；

图3B是示出根据本公开的实施例的构建遗产字典的示意图；

图4是示出根据本公开的实施例的样本特征空间增强的示意图；

图5是示出根据本公开的实施例的小样本分类器训练方法的流程图；

图6是示出根据本公开的实施例的小样本分类器训练的示意图；

图7是示出根据本公开的实施例的样本特征空间增强装置的示意图；

图8示出了根据本公开的实施例的样本特征空间增强设备的示意图；

图9示出了根据本公开的实施例的示例性计算设备的架构的示意图；以及

图10示出了根据本公开的实施例的存储介质的示意图。

具体实施方式

为了使得本公开的目的、技术方案和优点更为明显，下面将参考附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

在本说明书和附图中，具有基本上相同或相似步骤和元素用相同或相似的附图标记来表示，且对这些步骤和元素的重复描述将被省略。同时，在本公开的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性或排序。

除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。

为便于描述本公开，以下介绍与本公开有关的概念。

本公开的样本特征空间增强方法可以是基于人工智能(Artificialintelligence，AI)的。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。例如，对于基于人工智能的样本特征空间增强方法而言，其能够以类似于人类通过极少量的样本快速学习新物体的方式，只需要基于少量的样本就可以快速学习新类别。人工智能通过研究各种智能机器的设计原理与实现方法，使本公开的样本特征空间增强方法具有将基类样本的语义变化迁移至新类样本，从而基于少量新类样本生成富有语义变化的更多可靠的新类样本，以提升小样本分类器的分类能力的功能。

本公开的样本特征空间增强方法可以是基于机器学习的。例如，本公开的样本特征空间增强方法可以是基于机器学习中的无监督学习。无监督学习是一类用于在数据中寻找模式的机器学习技术，其旨在从未标注的大量特征数据中找到其中的共性或关联，而不同于像有监督学习一样输出特定预测值。例如，本公开的样本特征空间增强方法可以基于机器学习中的聚类算法。聚类算法属于无监督学习，其中，K-means(K均值)聚类算法是最著名的聚类方法之一，其旨在通过迭代的方式寻找K个簇(Cluster)的一种划分方案，使得聚类结果所对应的代价函数最小。考虑到K-means聚类算法具有出色的速度和良好的可扩展性，在本公开的样本特征空间增强方法中，可优选地利用K-means方法来对预训练数据集的所有无标签图像的特征向量进行聚类以生成多个聚类簇。但是，本公开仅以上述K-means聚类方法作为示例而非限制来执行数据聚类，其他可实现类似效果的聚类算法也可应用于本公开的样本特征空间增强方法。

此外，本公开的样本特征空间增强方法可以基于计算机视觉(Computer Vision，CV)技术。计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。由此，基于计算机视觉技术，本公开的样本特征空间增强方法可以从图像样本中获取特征信息，并对该特征信息进行数据增强以生成具有语义变化的更丰富的特征信息。

因此，本公开的样本特征空间增强方法还可以基于数据增强(DataAugmentation)。数据增强是图像分类中用于弥补训练数据较少的有效方法，其通过对数据进行多种变换，向原有的小样本数据集中增加新的数据，来人工地扩充训练集，非常适合小样本分类问题。本公开的样本特征空间增强方法可以通过数据增强来基于少量新类样本生成富有语义变化的新类样本，从而提升小样本分类的性能。

综上所述，本公开的实施例提供的方案涉及机器学习、计算机视觉等技术，下面将结合附图对本公开的实施例进行进一步地描述。

图1A是示出根据本公开的实施例的样本特征空间增强方法100的流程图。图1B是示出根据本公开的实施例的样本特征空间增强的示意性流程框图。

现有的小样本分类技术通常是在有标签的大数据集上进行有监督预训练。该预训练的任务通常包括元学习任务和分类任务。其中，元学习任务将有标签数据集划分为许多子任务，每个任务中包含若干个(例如5个)类别，每个类别包含用于训练的若干个小样本(例如每个类别提供5个样本)，和用于评估的若干个小样本(例如每个类别提供15个样本)。元学习通过让神经网络模型学习这些子任务的过程，使其能够从少量样本中学习到新概念，从而拥有小样本分类能力。对于分类任务，其将有标签数据集视为一个整体，即不进行数据集划分，而是直接对该数据集进行全监督的分类任务预训练，从而得到可靠的特征编码器。在小样本学习阶段，给定少量有标签的训练样本，用经由先前的预训练得到的特征编码器抽取特征向量，之后基于这些特征向量训练一个新的分类器，从而拥有小样本分类的能力。

然而，对于小样本分类技术，其所面临的最主要难题往往是有标签的样本数量过少，而深度学习模型的训练依赖于足够的样本数据。在许多实际应用场景中，直接获取大量的有标签数据很困难，而专业的数据采集和标注需要人工参与，成本较高，很多任务都难以及时获得足够且可靠的有监督信息。

并且，上述小样本分类技术只通过利用预训练学习所得到的模型权重而迁移了关于预训练数据集中的基类的部分知识，而并没有对预训练数据集本身所包括的可用于优化小样本分类的大量丰富的知识(诸如预训练数据集中的数据分布等)进行充分利用，造成对这部分知识的浪费，不利于小样本分类器的有效训练。

本公开基于此，提供了一种样本特征空间增强方法，其通过基于无标签数据集进行无监督预训练和无监督聚类，迁移了预训练数据集中的数据分布信息用于增强样本的特征空间。

如图1A所示，在步骤101中，可以获取第一数量的样本。

可选地，第一数量的样本可以是有标签的少量新类样本或基类样本。

例如，这些有标签的少量新类样本或基类样本可以分别经由本公开的样本特征空间增强方法被转换为多个样本，以用于训练小样本分类器，转换后的样本具有与其所对应的原始样本相同的类别标签。

可选地，这些有标签的少量新类样本或基类样本可以分别属于多个类别，其中，每个类别包括若干样本(例如，1、5或10个样本)。

可选地，该第一数量的样本可以是不同类别的图像样本。例如，其可以是医学病理图像(例如数字病理全景图像(whole slide images，WSI))中仅有少量样本的罕见病种或新型病种的图像样本。医学病理图像中的基类样本往往容易获得，而罕见疾病和新型类别的样本不易获得，数量稀少，且其标记需要某些领域的专家，标记成本很高，但由于其分类与病种的诊断与后续治疗紧密相关，对这种样本的自动且准确的分类与标记具有重要的现实意义。

在获取到第一数量的样本后，可以提取这些样本的特征，以用于后续特征空间增强。

在步骤102中，可以利用经预训练的特征编码器，基于所述第一数量的样本确定第一数量的特征向量，所述第一数量的特征向量与所述第一数量的样本一一对应，所述经预训练的特征编码器是基于预训练样本集训练的。

可选地，对于第一数量的样本中的每个样本，可以利用预训练所得到的特征编码器，将高维输入样本数据映射至低维特征空间，在其特征空间生成该样本的特征向量。此时样本特征空间包括这些原始的特征向量(即第一数量的特征向量)，该样本特征空间为如图1B所示的原始的样本特征空间。因此，后续对样本特征空间的增强可以看作对其中的样本的特征向量的增强。

根据本公开的实施例，所述特征编码器可以是针对所述预训练样本集进行无监督预训练所得到的，所述预训练样本集中的所有预训练样本均可为无标签样本。

可选地，该特征编码器可以是通过基于预训练样本集的无监督对比学习预训练所得到的。具体地，基于无监督对比学习预训练得到特征编码器的过程可以如以下参考图2所述。

可选地，由于本公开的样本特征空间增强方法进行神经网络预训练的目的是获得更优的特征编码器，而并非旨在将该预训练局限于无监督预训练，本公开的方法所采用的无监督预训练仅仅是众多预训练任务中的一种，其仅用作示例而非限制，因此本公开中的无监督预训练也可以被其他预训练任务替代，例如全监督的分类任务预训练、图像重现任务预训练、聚类任务预训练等。

在步骤103中，可以基于所述第一数量的特征向量，利用遗产字典确定第二数量的增强特征向量，所述遗产字典可以包括多个特征向量聚类的特征信息，所述多个特征向量聚类中的特征向量可以是利用所述经预训练的特征编码器基于所述预训练样本集预先生成的。

可选地，遗产字典可以看作用于构建该遗产字典的上述预训练样本集的遗产，其是对该无标签数据集中所包括的知识(诸如无标签数据集的数据分布等)的继承。本公开的样本特征空间增强方法可以通过该遗产字典来充分利用无标签数据集的知识。

根据本公开的实施例，步骤103中的基于所述第一数量的特征向量，利用遗产字典确定第二数量的增强特征向量可以包括：对于所述第一数量的特征向量中的每一特征向量，从所述遗产字典中查找与所述特征向量的相似度最高的特征向量聚类；以及基于所述特征向量聚类的特征信息，确定与所述特征向量相关联的多个增强特征向量。

其中，根据本公开的实施例，所述第二数量的增强特征向量包括对于所述第一数量的特征向量中的每个特征向量所确定的多个增强特征向量。

可选地，在获取到新的样本的特征向量后，可以从遗产字典中查找与该样本的特征向量最相似的特征向量聚类，以将该特征向量聚类的知识迁移到包括该样本的特征向量的知识领域中。

例如，在新获取的样本为狗的图像并且狗不属于基类(可识别类别)的情况下，可以从遗产字典中找到与其最相似的一个类别(例如，狼)，并将该类别的知识(例如狼的特征变化规律)应用于该样本的特征向量，以基于该样本的特征向量生成富有与所找到的类别相似的语义变化的多个增强特征向量。

根据本公开的实施例，所述第一数量的样本的特征空间可以包括所述第一数量的特征向量和所述第二数量的增强特征向量，所述第二数量不小于所述第一数量。其中，所述第一数量的特征向量中的一个特征向量与所述第二数量的增强特征向量中的至少一个特征向量相关联。

可选地，对第一数量的样本中的任一样本的特征增强可以基于该样本的原始的特征向量执行多次，以生成多个增强特征向量，该多个增强特征向量所对应的多个增强样本可以具有与其所对应的原始样本相同的类别标签。

可选地，第一数量的样本的特征空间基于上述遗产字典被增强后，如图1B所示，增强的样本特征空间可以包括原始的第一数量的特征向量和新生成的第二数量的增强特征向量。

图2是示出根据本公开的实施例的无监督对比学习预训练的示意图。

可选地，遗产字典的构建以及样本空间增强中所使用的特征编码器可以是基于图2所示的无监督对比学习预训练所确定的。

根据本公开的实施例，可以使用在线编码器和动量编码器来针对所述预训练样本集进行无监督预训练，所述在线编码器可以包括所述特征编码器，并且所述动量编码器可以包括所述在线编码器的副本，所述动量编码器的参数可以是基于对所述在线编码器的参数的动量更新所得到的，所述动量更新可以基于所述动量编码器的参数与所述在线编码器的参数的加权和。

如图2所示，在线编码器可以包括特征编码器f_φ、以及用于实现特定训练任务的映射头f_g和预测头f_q(例如，用于实现分类任务)，其中函数f代表神经网络模型，而下标φ、g和q表示各模型分别对应的参数集合。动量编码器可以包括特征编码器

和映射头

其中

和

分别表示在线编码器中的参数φ和g的动量副本，其分别是对其所对应的参数进行动量更新所得到的。

可选地，在参数更新阶段可以仅对在线编码器的参数进行更新，而动量编码器的参数可以基于其自身在上一次迭代中的参数以及所更新的在线编码器的参数而被动量更新。

例如，对于一批样本，在在线编码器和动量编码器的第k次优化迭代中，对动量编码器的参数

知

的动量更新可以分别表示为：

其中，m表示动量，其使得动量编码器的参数逐步向在线编码器的参数逼近。

根据本公开的实施例，对于每个预训练样本可以生成至少两个样本视图。

如图2所示，以无标签的图像样本为例，每一批无标签图像样本x在进入模型训练时，都会首先通过随机数据增强t得到两个视图x₁，x₂～t(x)(视图1和视图2)。例如，以狗作为示例，试图1可以是头部的视图，视图2可以是尾巴的视图。

例如，对于该批无标签图像样本中的任一样本，可以对该图像样本进行随机变换(诸如裁剪、旋转和变色等)，以生成该样本的至少两个样本视图。

可选地，来自同一样本的样本视图可以看作互为正样本，而对于这些样本视图，来自其他样本的样本视图可以看作负样本。

可选地，本公开的对比学习预训练旨在最大化正样本对(来自同一图像样本的两个视图)之间的相似度，同时最小化负样本对(来自不同图像样本的两个视图)之间的相似度。

根据本公开的实施例，对于所述预训练样本集中的每一预训练样本，确定所述在线编码器对所述预训练样本的任一样本视图确定的特征向量与所述动量编码器对所述预训练样本集的任一其他样本视图确定的特征向量之间的第一误差、以及所述动量编码器对所述预训练样本的所述任一样本视图确定的特征向量与所述在线编码器对所述预训练样本集的任一其他样本视图确定的特征向量之间的第二误差；以及基于与所述预训练样本集中的所有预训练样本相关联的所述第一误差和所述第二误差，确定所述经预训练的特征编码器。

根据本公开的实施例，确定上述第一误差还可以包括：确定所述在线编码器对所述预训练样本的所述任一样本视图确定的特征向量与所述动量编码器对所述预训练样本的其他任一样本视图确定的特征向量之间的至少一个正样本相似度；确定所述在线编码器对所述预训练样本的所述任一样本视图确定的特征向量与所述动量编码器对所述预训练样本集中的其他预训练样本的任一样本视图确定的特征向量之间的多个负样本相似度；以及基于所述至少一个正样本相似度以及所述多个负样本相似度，确定所述第一误差。

根据本公开的实施例，确定上述第二误差还可以包括：确定所述动量编码器对所述预训练样本的所述任一样本视图确定的特征向量与所述在线编码器对所述预训练样本的其他任一样本视图确定的特征向量之间的至少一个正样本相似度；确定所述动量编码器对所述预训练样本的所述任一样本视图确定的特征向量与所述在线编码器对所述预训练样本集中的其他预训练样本的任一样本视图确定的特征向量之间的多个负样本相似度；以及基于所述至少一个正样本相似度以及所述多个负样本相似度，确定所述第二误差。

可选地，视图x₁，x₂分别输入在线编码器和动量编码器以及分别输入动量编码器和在线编码器，可以分别获得特征向量

例如，在视图x₁，x₂分别输入在线编码器和动量编码器的情况下，x₁可以看作是对x₂的查询，目的是使来自相同样本的视图相似度最高，这可以被表示为最小化对比损失函数：

其中，u，v表示两组对应的特征向量，v⁺表示正样本特征向量，即对应于与u来自同一样本的另一视图，v^-表示负样本特征向量，即对应于当前批样本中的其他样本的视图，τ表示模型的温度超参数，

表示对(·)内的表达式关于v^-进行求和。

例如，上述第一误差可以表示为在视图x₁，x₂分别输入在线编码器和动量编码器的情况下的

而上述第二误差可以表示为在视图x₁，x₂分别输入动量编码器和在线编码器的情况下的

根据本公开的实施例，所述特征编码器可以包括多个待定参数。

根据本公开的实施例，基于与所述预训练样本集中的所有预训练样本相关联的所述第一误差和所述第二误差，确定所述经预训练的特征编码器可以包括：确定所述多个待定参数的当前估计值；基于与所述预训练样本集中的所有预训练样本相关联的所有第一误差之和、以及与所有预训练样本相关联的所有第二误差之和，确定所述无监督预训练的目标误差；在所述目标误差满足预定条件的情况下，基于所述多个待定参数的当前估计值确定所述特征编码器的多个待定参数的值。

可选地，对于一批无标签图像样本，上述对比损失函数可以表示为对其中每个样本作为在线编码器的输入情况下的对比损失函数的和：

其中，∑_u(·)可以表示对(·)内的表达式关于u进行求和，即对该批无标签图像样本中的所有图像样本的每个样本视图所对应的第一误差进行求和。

可选地，还可以对(3)中的L_ctr(u，v)关于该批图像样本的数目求平均，以确定该批图像样本的损失值的均值，本公开的上述表达式仅用作示例，可在不影响最优化结果的情况下对其进行适当调整。

如上所述，在视图x₁，x₂分别输入在线编码器和动量编码器以及分别输入动量编码器和在线编码器两种情况下，对比学习预训练优化的总目标函数可以表示为最小化这两种情况下的平均对比损失函数：

其中，在最小化该总目标函数之前，可以对所有特征向量进行归一化处理，即z＝z/||z||。

通过对上述目标函数的最小化，可以确定用于本公开的样本特征空间增强方法的后续处理的特征编码器，而图2中用于特定任务训练的映射头和预测头可以不在后续处理中使用。

接下来，可以利用经预训练得到的特征编码器来建立遗产字典。具体地，图3A是示出根据本公开的实施例的构建遗产字典的流程图。图3B是示出根据本公开的实施例的构建遗产字典的示意图。

样本特征空间增强方法100除了如图1A所示的步骤101-103外，还可以包括如图3A所示的用于建立遗产字典的步骤104。

在步骤1041中，可以利用所述特征编码器确定所述预训练样本集中的每一预训练样本的特征向量。

可选地，可以从整个预训练样本集中的所有样本提取其相应的特征向量，以确定该预训练样本集的特征向量集合。

如图3B所示，特征编码器f_φ以预训练样本集为输入，输出该预训练样本集的特征向量集合以供后续处理，其中，该特征编码器f_φ是已经预训练确定的神经网络模型。

在步骤1042中，可以对所述预训练样本集中的所有预训练样本的所有特征向量进行聚类以形成所述多个特征向量聚类。

可选地，可以对上述特征向量集合进行聚类，以将最相似的特征向量划分至同一特征向量聚类。

可选地，可以采用K-means(K-均值)聚类算法来对预训练样本集的所有特征向量进行聚类，以距离作为特征向量间相似性度量的标准，即特征向量间的距离越小，其相似度越高，因此其越有可能在同一聚类簇中，而具有较低相似度的特征向量被划分至不同聚类簇。

可选地，本公开的实施例采用K-means聚类算法用于构建遗产字典，但该K-means聚类算法仅用作示例而非限制，其他可以实现相同目的的任何聚类算法同样可以用于对样本的特征向量进行聚类以构建遗产字典。根据本公开实施例，聚类算法可以是有监督的聚类或无监督的聚类。

因此，基于上述聚类算法，可以生成基于相似性原则的多个(记为C个)特征向量聚类。

在步骤1043中，可以生成所述多个特征向量聚类中的每一特征向量聚类的特征信息。

根据本公开的实施例，对于所述多个特征向量聚类中的每一特征向量聚类，所述特征向量聚类的特征信息可以包括所述特征向量聚类的统计信息组，所述统计信息组可以包括所述特征向量聚类内的所有特征向量的均值和协方差矩阵。

可选地，可以为多个特征向量聚类中的每一个特征向量聚类确定其统计信息，以确定该聚类中的可迁移知识(诸如潜在的语义偏移等)。

可选地，对于多个特征向量聚类中的第i个特征向量聚类，可以计算该特征向量聚类的原型c_i(即均值)和协方差矩阵∑_i，因此该特征向量聚类的特征信息可以包括二元组(c_i，∑_i)。

在步骤1044中，可以利用所述多个特征向量聚类中的每一特征向量聚类的特征信息来生成所述遗产字典。

可选地，上述多个特征向量聚类中的第i个特征向量聚类的二元组(c_i，∑_i)可以作为遗产字典中的第i项，因此基于多个特征向量聚类相应的二元组可以构建遗产字典

如图3B所示，预训练样本集的特征向量集合经特定聚类算法形成多个聚类后，其统计信息(包括均值和协方差)构成了遗产字典。该遗产字典可以包括多个特征向量聚类中的每个特征向量聚类的原型(每个聚类的中心)及其数据分布(围绕聚类中心的数据分布)，反映了该聚类中的特征向量的语义变化。

可选地，本公开的实施例使用特征编码器(卷积神经网络)的最后一层输出来构建遗产字典，但实际上可以利用该卷积神经网络的不同层的输出来构建多尺度、多级别的遗产字典，从而实现更优的样本特征空间增强。

因此，基于上述步骤104，根据本公开的实施例，步骤103中从所述遗产字典中查找与所述特征向量的相似度最高的特征向量聚类可以包括：基于所述遗产字典所包括的多个特征向量聚类中的每一特征向量聚类的统计信息组，计算所述特征向量与每一特征向量聚类的相似度，并确定与所述特征向量的相似度最高的特征向量聚类。

图4是示出根据本公开的实施例的样本特征空间增强的示意图。

如图4所示，在步骤①中，对于原始样本特征空间中的每个样本特征向量，基于该特征向量与遗产字典中的多个特征向量聚类的统计信息组的相似度，可以在遗产字典中找到与该特征向量最相似的特征向量聚类(图4中示为在步骤①中以箭头形式对特征向量与特征向量聚类的关联)。例如，对于原始样本特征空间中位于左下方的特征向量，其在遗产字典中最相似的特征向量聚类为遗产字典中的左下方处以虚线框示出的聚类。

其中，根据本公开的实施例，所述相似度可以为余弦相似度。

根据本公开的实施例，计算所述特征向量与每一特征向量聚类的相似度可以包括计算所述特征向量与所述特征向量聚类的统计信息组中的均值的余弦相似度。

可选地，对于样本特征空间中的任一特征向量z，在遗产字典中查找与其相似度最高的特征向量聚类可以表示为：

i^*＝arg max_iz·c_i/||z||||c_i|| (5)

其中，arg max_i(·)表示对(·)内的表达式最大化时对应的i，i^*表示所查得的特征向量聚类。

通过步骤①确定了与原始样本特征空间中的各个样本特征向量相似度最高的各个特征向量聚类后，在步骤②中，可以基于这些特征向量聚类的特征信息，来对这些样本特征向量进行数据增强。

根据本公开的实施例，步骤103中基于所述特征向量聚类的特征信息，确定与所述特征向量相关联的多个增强特征向量可以包括：基于所述特征向量聚类的统计信息组，确定与所述特征向量相关联的语义偏移分布，所述语义偏移分布为多元高斯分布，其以零向量为均值且以所述特征向量聚类的协方差矩阵为协方差；基于所述语义偏移分布，确定与所述特征向量相关联的多个语义偏移向量；以及基于所述特征向量和与所述特征向量相关联的所述多个语义偏移向量，确定所述多个增强特征向量。

可选地，对于新类样本的特征向量，可以认为其和与其相似的特征向量聚类具有类似的变化模式，即可以将特征向量聚类的语义偏移迁移至该样本的特征向量。

例如，在新类样本为狗的图像的情况下，可以从遗产字典中找到与其最相似的一个类别(例如，狼)，并将该类别的语义偏移迁移至该样本，也就是说，可以认为类别为狗的样本中发生的变化类似于类别为狼的样本中的变化，即通过与相似类别相关联的合理联想，基于新类样本生成富有与相似类别的语义变化相似的增强特征向量。

如图4中的步骤②所示，基于原始样本特征空间以及为原始样本特征空间中的每一特征向量查找得到的特征向量聚类的特征信息(统计信息组)，可以确定增强样本特征空间，从而获得增强样本。

可选地，该增强样本特征空间可以包括原始特征向量以及增强特征向量。其中，该增强特征向量可以包括相对于原始特征向量的语义偏移，该语义偏移是基于与原始特征向量最相似的特征向量聚类的特征信息确定的。

可选地，对原始特征向量的增强可以是加性增强，即基于原始特征向量与语义偏移向量的和，生成增强特征向量。

可选地，该语义偏移向量可以是对上述语义偏移分布的随机采样。例如，对于原始样本特征空间中的任一特征向量z以及所查得的与其最相似的特征向量聚类i^*，该语义偏移向量可以表示为

其中

表示上述以零向量为均值且以特征向量聚类i^*的协方差矩阵

为协方差的多元高斯分布。因此，所生成的增强特征向量可以表示为

在步骤②中，对于原始样本特征空间中的每一个原始特征向量，增强样本特征空间中可以存在与其相关联的多个增强特征向量，这些增强特征向量以原始特征向量为中心并相对于原始特征向量具有上述语义偏移。

如上所述，本公开的实施例的样本特征空间增强方法通过迁移从预训练数据集中学习到的特征编码器的模型权重，并且迁移预训练数据集中的数据分布，捕获了预训练数据集中的数据的语义变化，从而达到对预训练数据集的充分利用。

可选地，在将本公开的样本特征空间增强方法应用于小样本分类的情况下，基于原始样本特征可以生成多个可靠且具有语义变化的增强样本特征，因此小样本分类性能基于原始样本特征和增强样本特征得以提升，如步骤②的增强样本特征空间中分类的边界由虚线移动至实线所示。

图5是示出根据本公开的实施例的小样本分类器训练方法500的流程图。图6是示出根据本公开的实施例的小样本分类器训练的示意图。

如图5所示，在步骤501中，可以获取第一数量的样本。

可选地，第一数量的样本可以是有标签的少量新类样本或基类样本。例如，其可以是医学病理图像(例如WSI图像)中仅有少量样本的罕见病种或新型病种的图像样本。

接下来，可以基于所获得的用于训练小样本分类器的第一数量的样本来进行样本特征空间增强。

在步骤502中，可以确定所述第一数量的样本的特征空间，所述特征空间包括第一数量的特征向量和第二数量的增强特征向量。

根据本公开的实施例，所述第一数量的样本的特征空间可以是通过上述特征空间增强方法所确定的。

如图6所示，确定第一数量的样本的特征空间可以包括以下三个步骤：

①通过无监督预训练基于预训练样本集确定特征编码器；

②利用所确定的特征编码器提取预训练样本集的特征向量，以基于聚类算法构建遗产字典；

③利用所确定的特征编码器和构建的遗产字典，基于第一数量的样本(图6中以少量新类样本为例)确定其增强的特征空间，以基于增强的特征空间训练小样本分类器。

可选地，在步骤①中，利用特征编码器提取预训练样本集的特征向量以基于特定代理任务进行预训练(其中，代理头是用于执行该特定代理任务的神经网络模型)，从而确定最优的特征编码器。

在完成特征编码器的训练之后，可以仅保留该特征编码器部分而舍弃代理头部分。该确定的特征编码器可以在第②和③步骤中使用。

在步骤②中，类似于参考图3B所述，可以基于预训练样本集的特征向量的数据分布构建遗产字典。

基于分别在步骤①和步骤②中确定的特征编码器和遗产字典，步骤③中可以基于第一数量的样本(例如，少量新类样本)，提取第一数量的特征向量，并基于第一数量的特征向量和遗产字典，生成第二数量的增强特征向量，以实现对第一数量的样本的特征空间的增强，其中，特征空间增强部分可以如参考图4所述。

通过上述样本特征空间增强，第一数量的样本的特征空间由原始的第一数量的特征向量扩充至包括该第一数量的特征向量以及新生成的第二数量的增强特征向量。

因此，在步骤503中，可以基于所述特征空间中的特征向量和增强特征向量，训练所述小样本分类器。

通过将上述样本特征空间增强方法应用于小样本分类，将基类样本的语义变化迁移至新类样本，能够基于少量新类样本生成富有语义变化的更多可靠的新类样本，从而基于这些样本来训练小样本分类器以提升小样本分类器的分类能力。

图7是示出根据本公开的实施例的样本特征空间增强装置700的示意图。

所述样本特征空间增强装置700可以包括样本获取模块701、特征向量确定模块702和特征向量增强模块703。

根据本公开的实施例，数据获取模块701可以被配置为获取第一数量的样本。

例如，这些有标签的少量新类样本或基类样本可以分别属于多个类别，其中，每个类别包括若干样本(例如，1、5或10个样本)。

例如，该第一数量的样本可以是不同类别的图像样本。例如，其可以是医学病理图像中仅有少量样本的罕见病种或新型病种的图像样本。

特征向量确定模块702可以被配置为利用经预训练的特征编码器，基于所述第一数量的样本确定第一数量的特征向量，所述第一数量的特征向量与所述第一数量的样本一一对应，所述经预训练的特征编码器是基于预训练样本集训练的。

可选地，对于第一数量的样本中的每个样本，可以利用预训练所得到的特征编码器，将高维输入样本数据映射至低维特征空间，在其特征空间生成该样本的特征向量。

根据本公开的实施例，所述特征编码器是针对所述预训练样本集进行无监督预训练所得到的，所述预训练样本集中的所有预训练样本均为无标签样本。

可选地，该特征编码器可以是通过基于预训练样本集的无监督对比学习预训练所得到的，例如参考图2所述的基于无监督对比学习预训练得到。

特征向量增强模块703可以被配置为基于所述第一数量的特征向量，利用遗产字典确定第二数量的增强特征向量，所述遗产字典包括多个特征向量聚类的特征信息，所述多个特征向量聚类中的特征向量是利用所述经预训练的特征编码器基于所述预训练样本集预先生成的。

根据本公开的实施例，所述第一数量的样本的特征空间包括所述第一数量的特征向量和所述第二数量的增强特征向量，所述第二数量不小于所述第一数量，其中，所述第一数量的特征向量中的一个特征向量与所述第二数量的增强特征向量中的至少一个特征向量相关联。

可选地，第一数量的样本的特征空间基于上述遗产字典被增强后，增强的样本特征空间可以包括原始的第一数量的特征向量和新生成的第二数量的增强特征向量。

此外，根据本公开的实施例，样本特征空间增强装置700还可以包括遗产字典生成模块704。

根据本公开的实施例，遗产字典生成模块704可以被配置为执行如参考图3A所述的方法来生成遗产字典。

根据本公开的又一方面，还提供了一种样本特征空间增强设备。图8示出了根据本公开的实施例的样本特征空间增强设备2000的示意图。

如图8所示，所述样本特征空间增强设备2000可以包括一个或多个处理器2010，和一个或多个存储器2020。其中，所述存储器2020中存储有计算机可读代码，所述计算机可读代码当由所述一个或多个处理器2010运行时，可以执行如上所述的样本特征空间增强方法。

本公开的实施例中的处理器可以是一种集成电路芯片，具有信号的处理能力。上述处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，可以是X86架构或ARM架构的。

一般而言，本公开的各种示例实施例可以在硬件或专用电路、软件、固件、逻辑，或其任何组合中实施。某些方面可以在硬件中实施，而其他方面可以在可以由控制器、微处理器或其他计算设备执行的固件或软件中实施。当本公开的实施例的各方面被图示或描述为框图、流程图或使用某些其他图形表示时，将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备，或其某些组合中实施。

例如，根据本公开的实施例的方法或装置也可以借助于图9所示的计算设备3000的架构来实现。如图9所示，计算设备3000可以包括总线3010、一个或多个CPU 3020、只读存储器(ROM)3030、随机存取存储器(RAM)3040、连接到网络的通信端口3050、输入/输出组件3060、硬盘3070等。计算设备3000中的存储设备，例如ROM 3030或硬盘3070可以存储本公开提供的样本特征空间增强方法的处理和/或通信使用的各种数据或文件以及CPU所执行的程序指令。计算设备3000还可以包括用户界面3080。当然，图8所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图9示出的计算设备中的一个或多个组件。

根据本公开的又一方面，还提供了一种计算机可读存储介质。图10示出了根据本公开的存储介质的示意图4000。

如图10所示，所述计算机存储介质4020上存储有计算机可读指令4010。当所述计算机可读指令4010由处理器运行时，可以执行参照以上附图描述的根据本公开的实施例的样本特征空间增强方法。本公开的实施例中的计算机可读存储介质可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(SDRAM)、双倍数据速率同步动态随机存取存储器(DDRSDRAM)、增强型同步动态随机存取存储器(ESDRAM)、同步连接动态随机存取存储器(SLDRAM)和直接内存总线随机存取存储器(DR RAM)。应注意，本文描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。应注意，本文描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本公开的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行根据本公开的实施例的样本特征空间增强方法。

需要说明的是，附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含至少一个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在上面详细描述的本公开的示例实施例仅仅是说明性的，而不是限制性的。本领域技术人员应该理解，在不脱离本公开的原理和精神的情况下，可对这些实施例或其特征进行各种修改和组合，这样的修改应落入本公开的范围内。

Claims

1.一种样本特征空间增强方法，包括：

获取第一数量的样本；

利用经预训练的特征编码器，基于所述第一数量的样本确定第一数量的特征向量，所述第一数量的特征向量与所述第一数量的样本一一对应，所述经预训练的特征编码器是基于预训练样本集训练的；以及

基于所述第一数量的特征向量，利用遗产字典确定第二数量的增强特征向量，所述遗产字典包括多个特征向量聚类的特征信息，所述多个特征向量聚类中的特征向量是利用所述经预训练的特征编码器基于所述预训练样本集预先生成的；

其中，所述第一数量的样本的特征空间包括所述第一数量的特征向量和所述第二数量的增强特征向量，所述第二数量不小于所述第一数量，

其中，所述第一数量的特征向量中的一个特征向量与所述第二数量的增强特征向量中的至少一个特征向量相关联。

2.如权利要求1所述的方法，还包括：

利用所述特征编码器确定所述预训练样本集中的每一预训练样本的特征向量；

对所述预训练样本集中的所有预训练样本的所有特征向量进行聚类以形成所述多个特征向量聚类；

生成所述多个特征向量聚类中的每一特征向量聚类的特征信息；以及

利用所述多个特征向量聚类中的每一特征向量聚类的特征信息来生成所述遗产字典。

3.如权利要求2所述的方法，其中，

对于所述多个特征向量聚类中的每一特征向量聚类，所述特征向量聚类的特征信息包括所述特征向量聚类的统计信息组，所述统计信息组包括所述特征向量聚类内的所有特征向量的均值和协方差矩阵。

4.如权利要求2所述的方法，其中，基于所述第一数量的特征向量，利用遗产字典确定第二数量的增强特征向量包括：

对于所述第一数量的特征向量中的每一特征向量，从所述遗产字典中查找与所述特征向量的相似度最高的特征向量聚类；以及

基于所述特征向量聚类的特征信息，确定与所述特征向量相关联的多个增强特征向量；

其中，所述第二数量的增强特征向量包括对于所述第一数量的特征向量中的每个特征向量所确定的多个增强特征向量。

5.如权利要求3或4所述的方法，其中，从所述遗产字典中查找与所述特征向量的相似度最高的特征向量聚类包括：

基于所述遗产字典所包括的多个特征向量聚类中的每一特征向量聚类的统计信息组，计算所述特征向量与每一特征向量聚类的相似度，并确定与所述特征向量的相似度最高的特征向量聚类；

其中，所述相似度为余弦相似度，

计算所述特征向量与每一特征向量聚类的相似度包括计算所述特征向量与所述特征向量聚类的统计信息组中的均值的余弦相似度。

6.如权利要求3或4所述的方法，其中，基于所述特征向量聚类的特征信息，确定与所述特征向量相关联的多个增强特征向量包括：

基于所述特征向量聚类的统计信息组，确定与所述特征向量相关联的语义偏移分布，所述语义偏移分布为多元高斯分布，其以零向量为均值且以所述特征向量聚类的协方差矩阵为协方差；

基于所述语义偏移分布，确定与所述特征向量相关联的多个语义偏移向量；以及

基于所述特征向量和与所述特征向量相关联的所述多个语义偏移向量，确定所述多个增强特征向量。

7.如权利要求1所述的方法，其中，

所述特征编码器是针对所述预训练样本集进行无监督预训练所得到的，所述预训练样本集中的所有预训练样本均为无标签样本；

其中，使用在线编码器和动量编码器来针对所述预训练样本集进行无监督预训练，所述在线编码器包括所述特征编码器，并且所述动量编码器包括所述在线编码器的副本，所述动量编码器的参数是基于对所述在线编码器的参数的动量更新所得到的，所述动量更新基于所述动量编码器的参数与所述在线编码器的参数的加权和。

8.如权利要求7所述的方法，其中，对于每个预训练样本生成至少两个样本视图；

对于所述预训练样本集中的每一预训练样本，确定所述在线编码器对所述预训练样本的任一样本视图确定的特征向量与所述动量编码器对所述预训练样本集的任一其他样本视图确定的特征向量之间的第一误差、以及所述动量编码器对所述预训练样本的所述任一样本视图确定的特征向量与所述在线编码器对所述预训练样本集的任一其他样本视图确定的特征向量之间的第二误差；以及

基于与所述预训练样本集中的所有预训练样本相关联的所述第一误差和所述第二误差，确定所述经预训练的特征编码器。

9.如权利要求8所述的方法，其中，所述特征编码器包括多个待定参数；

基于与所述预训练样本集中的所有预训练样本相关联的所述第一误差和所述第二误差，确定所述经预训练的特征编码器包括：

确定所述多个待定参数的当前估计值；

基于与所述预训练样本集中的所有预训练样本相关联的所有第一误差之和、以及与所有预训练样本相关联的所有第二误差之和，确定所述无监督预训练的目标误差；

在所述目标误差满足预定条件的情况下，基于所述多个待定参数的当前估计值确定所述特征编码器的多个待定参数的值。

10.如权利要求8所述的方法，其中，确定所述在线编码器对所述预训练样本的任一样本视图确定的特征向量与所述动量编码器对所述预训练样本集的任一其他样本视图确定的特征向量之间的第一误差，还包括：

确定所述在线编码器对所述预训练样本的所述任一样本视图确定的特征向量与所述动量编码器对所述预训练样本的其他任一样本视图确定的特征向量之间的至少一个正样本相似度；

确定所述在线编码器对所述预训练样本的所述任一样本视图确定的特征向量与所述动量编码器对所述预训练样本集中的其他预训练样本的任一样本视图确定的特征向量之间的多个负样本相似度；以及

基于所述至少一个正样本相似度以及所述多个负样本相似度，确定所述第一误差；

其中，确定所述动量编码器对所述预训练样本的任一样本视图确定的特征向量与所述在线编码器对所述预训练样本集的任一其他样本视图确定的特征向量之间的第二误差，还包括：

确定所述动量编码器对所述预训练样本的所述任一样本视图确定的特征向量与所述在线编码器对所述预训练样本的其他任一样本视图确定的特征向量之间的至少一个正样本相似度；

确定所述动量编码器对所述预训练样本的所述任一样本视图确定的特征向量与所述在线编码器对所述预训练样本集中的其他预训练样本的任一样本视图确定的特征向量之间的多个负样本相似度；以及

基于所述至少一个正样本相似度以及所述多个负样本相似度，确定所述第二误差。

11.一种小样本分类器训练方法，包括：

获取第一数量的样本；

确定所述第一数量的样本的特征空间，所述特征空间包括第一数量的特征向量和第二数量的增强特征向量；

基于所述特征空间中的特征向量和增强特征向量，训练所述小样本分类器；

其中，所述第一数量的样本的特征空间是通过权利要求1-10中任一项所述的方法所确定的。

12.一种样本特征空间增强装置，包括：

样本获取模块，被配置为获取第一数量的样本；

特征向量确定模块，被配置为利用经预训练的特征编码器，基于所述第一数量的样本确定第一数量的特征向量，所述第一数量的特征向量与所述第一数量的样本一一对应，所述经预训练的特征编码器是基于预训练样本集训练的；

特征向量增强模块，被配置为基于所述第一数量的特征向量，利用遗产字典确定第二数量的增强特征向量，所述遗产字典包括多个特征向量聚类的特征信息，所述多个特征向量聚类中的特征向量是利用所述经预训练的特征编码器基于所述预训练样本集预先生成的；

13.如权利要求12所述的装置，其中，所述装置还包括遗产字典生成模块，所述遗产字典生成模块被配置为：

14.如权利要求13所述的装置，其中，所述特征向量增强模块基于所述第一数量的特征向量，利用遗产字典确定第二数量的增强特征向量包括：

15.如权利要求12所述的装置，其中，所述特征编码器是针对所述预训练样本集进行无监督预训练所得到的，所述预训练样本集中的所有预训练样本均为无标签样本；

16.一种样本特征空间增强设备，包括：

一个或多个处理器；以及

一个或多个存储器，其中存储有计算机可执行程序，当由所述处理器执行所述计算机可执行程序时，执行权利要求1-10中任一项所述的方法。

17.一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令在由处理器运行时使得计算机设备执行权利要求1-11中任一项所述的方法。

18.一种计算机可读存储介质，其上存储有计算机可执行指令，所述指令在被处理器执行时用于实现如权利要求1-11中任一项所述的方法。