CN114692715A

CN114692715A - 一种样本标注方法及装置

Info

Publication number: CN114692715A
Application number: CN202011624570.XA
Authority: CN
Inventors: 沈艳艳; 缪新元; 唐启栋; 李小慧
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2020-12-30
Filing date: 2020-12-30
Publication date: 2022-07-01

Abstract

本申请实施例提供了一种样本标注方法及装置。该方法在小样本标注任务中同时引入了支持集中每个标签类的共性特征、基于标注任务而变化的支持集和查询集和动态特征、以及支持集标签类和查询集的互相关性特征，生成了包含上述特征的支持集标签类交互性特征向量和查询集交互性特征向量，计算查询集交互性特征向量和支持集标签类交互性特征向量中的各个标签类之间的相似度，使用相似度最高的标签类对查询集中的待标注样本进行标注。本申请实施例的技术方案对支持集标签类交互性特征向量和查询集交互性特征向量对支持集和查询集的特征表达更合理，对数据变化适应性更强，能够提升样本标注精度。

Description

一种样本标注方法及装置

技术领域

本申请涉及机器学习技术领域，尤其涉及一种样本标注方法及装置。

背景技术

深度神经网络模型由于复杂程度高，参数量大，往往需要海量的标注数据用于模型训练，其背后隐藏着巨大的数据标注代价。数据标注可以使用标注模型来实现，而标注模型对样本数据的规模也有一定的要求，以图片数据为例，当某一标签(类别)的图片样本规模有限时，数据标注模型的训练容易在该标签上过拟合，导致标注结果变差。而考虑到时间和标注成本，以及长尾效应(即少量类别中包含大量的样本，大量类别中仅包含少量的样本)，对于特定的图片标注任务，往往只能为指定标签提供少量图片样本。

因此，如何使用少量带标签数据训练得到分类精度优异、能适应动态数据变化的标注模型，即小样本标注或者小样本分类，是当前业界研究的重要方向之一。然而，目前的小样本标注模型在实际应用中却存在着特征提取不合理以及对数据变化适应性差等问题，导致样本标注精度难以提高。

发明内容

本申请实施例提供了一种样本标注方法及装置，以提高样本标注精度。

第一方面，本申请实施例提供了一种样本标注方法，该方法包括：获取标注任务的支持集的第一特征向量和标注任务的查询集的第二特征向量，第一特征性向量和第二特征向量包含支持集中各个标签类各自的共性特征；使用卷积神经网络获取支持集的第三特征向量和查询集的第四特征向量，卷积神经网络包含与支持集的特征相关联的卷积核参数；根据支持集的第一特征向量和第三特征向量以及查询集的第二特征向量和第四特征向量，计算查询集相对于支持集中各个标签类的相似度；根据相似度对查询集进行标注。

本申请实施例提供的技术方案，同时引入了支持集中每个标签类的共性特征、根据标注任务的支持集的特征而变化的支持集和查询集和动态特征，使支持集和查询集在特征表达上能够针对标签类的共性特征进行强化，对数据变化适应性更强，提升了样本标注精度。

在一种实现方式中，支持集中各个标签类各自的共性特征是对支持集的第五特征向量中的每个标签类对应的维度分别进行平均池化得到的，第五特征向量是对支持集的特征进行embedding操作得到的。这样，通过对第五特征向量中的每个标签类对应的维度分别进行平均池化，不仅可以得到每个标签类的共性特征，还能够对共性特征进行降维，有利于减少后续计算量。

在一种实现方式中，第一特征向量是对支持集的类尺度因子向量与第五特征向量执行向量相乘和相加得到的；第二特征向量是对类尺度因子向量与查询集的第六特征向量执行向量相乘和相加得到的，第六特征向量是对查询集的特征执行嵌入embedding操作得到的；其中，类尺度因子向量是将对应支持集中各个标签类各自的共性特征的共性特征向量进行全局池化，然后输入到一个全连接神经网络得到的。这样，本申请实施例针对当前样本标注任务，从当前任务输入的支持集中提取到用于表征每个标签类的共性特征的类尺度因子向量，然后使用这个类尺度因子向量对支持集特征向量和查询集特征向量进行特征增强，使单一任务中支持集和查询集的标签类之间的差异性特征得到放大，而相似性特征则相对得到衰减，使得支持集和查询集相对于当前任务的感知增强，有利于提升标注精度，例如在“足球”对“篮球”标注的任务中，颜色纹理特征会得到增强，在“篮球”对“花朵”任务中，形状特征会得到增强。

在一种实现方式中，第一特征向量是使用归一化指数函数将类尺度因子向量与第五特征向量相乘之后的每个维度值映射到0～1的数值范围内，然后再与第五特征向量相加得到的。这样，在第一特征向量中，共性特征的部分被压缩到0～1的数值范围内，不会影响原有第五特征向量的表达。

在一种实现方式中，第二特征向量是使用归一化指数函数将类尺度因子向量与第六特征向量相乘之后的每个维度值映射到0～1的数值范围内，然后再与第六特征向量相加得到的。这样，在第二特征向量中，共性特征的部分被压缩到0～1的数值范围内，不会影响原有第六特征向量的表达。

在一种实现方式中，卷积核参数通过以下步骤得到：将第五特征向输入到卷积神经网络进行特征提取，以得到表征标注任务的整体特征的任务特征向量；生成服从多元高斯分布的随机向量，随机向量以任务特征向量的一半维度值作为均值，另一半维度值作为方差；将随机向量输入到全连接神经网络进行降维处理，以得到卷积核参数。可见，该卷积核参数是可以随着支持集的样本数据的变化而动态改变的，因此，使用这样的卷积核参数提取到的第三特征向量和第四特征向量是随着支持集和样本集的样本数据变化而动态变化的，有利于提升标注精度。

在一种实现方式中，根据支持集的第一特征向量和第三特征向量以及查询集的第二特征向量和第四特征向量，计算查询集相对于支持集中各个标签类的相似度，包括：获取支持集的第七特征向量和查询集的第八特征向量，第七特征向量是第一特征向量和第三特征向量拼接得到的，第八特征向量是第二特征向量和第四特征向量拼接得到的；对第七特征向量进行平均池化，得到支持集的第九特征向量；获取支持集与查询集之间的局部相关性特征向量，局部相关性特征向量是对第九特征向量与第八特征向量进行维度转换之后，再进行矩阵相乘得到的；获取支持集的第十特征向量和查询集的第十一特征向量，第十特征向量是第九特征向量和局部相关性特征向量利用注意力机制得到的，第十一特征向量是第八特征向量和局部相关性特征向量利用注意力机制得到的；根据第九特征向量和第十特征向量确定查询集相对于支持集中各个标签类的相似度，根据相似度对查询集进行标注。目前普遍的方法在生成注意力权重分布时一般采用卷积神经网络模型，由此引入了额外的参数，增加了训练难度，而本申请实施例在生成注意力权重分布时没有引入额外的参数，降低了训练难度。除此之外，由于本申请实施例在没有引入额外参数，因此其可以直接移植到任意已经训练好的小样本标注框架中，无需重新训练。

在一种实现方式中，第十特征向量是将第九特征向量与第一注意力权重分布向量相乘，再累加第九特征向量得到的，第一注意力权重分布向量是对局部相关性特征向量先后进行水平方向的平均池化、归一化指数函数操作和维度转换得到的。

在一种实现方式中，第十一特征向量是将第八特征向量与第二注意力权重分布向量相乘，再累加第八特征向量得到的，第二注意力权重分布向量是对局部相关性特征向量先后进行竖直方向的平均池化、归一化指数函数操作和维度转换得到的。

本申请实施例局部相关性特征向量进行了简单的平均池化和softmax操作，得到各自的注意力权重分布向量，使得支持集和查询集在后续进行数据比对时能够侧重于相似特征部分，从而有利于提升标注精度。

第二方面，本申请实施例提供了一种样本标注装置，该装置包括：任务特征提取模块，用于获取标注任务的支持集的第一特征向量和所述标注任务的查询集的第二特征向量，所述第一特征性向量和所述第二特征向量包含所述支持集中各个标签类各自的共性特征；动态特征提取模块，用于使用卷积神经网络获取所述支持集的第三特征向量和所述查询集的第四特征向量，所述卷积神经网络包含与所述支持集的特征相关联的卷积核参数；分类模块，用于根据所述支持集的所述第一特征向量和所述第三特征向量以及所述查询集的第二特征向量和所述第四特征向量，计算所述查询集相对于所述支持集中各个标签类的相似度，以及用于根据所述相似度对所述查询集进行标注。

在一种实现方式中，所述任务特征提取模块，还用于对所述支持集的第五特征向量中的每个标签类对应的维度分别进行平均池化，以得到所述支持集中各个标签类各自的共性特征，所述第五特征向量是对所述支持集的特征进行embedding操作得到的。这样，通过对第五特征向量中的每个标签类对应的维度分别进行平均池化，不仅可以得到每个标签类的共性特征，还能够对共性特征进行降维，有利于减少后续计算量。

在一种实现方式中，所述任务特征提取模块，具体用于将所述支持集的类尺度因子向量与所述第五特征向量执行向量相乘和相加，以得到所述第一特征向量；所述任务特征提取模块，还用于将所述类尺度因子向量与所述查询集的第六特征向量执行向量相乘和相加，以得到所述第二特征向量，所述第六特征向量是对所述查询集的特征执行嵌入embedding操作得到的；其中，所述类尺度因子向量是将对应所述支持集中各个标签类各自的共性特征的共性特征向量进行全局池化，然后输入到一个全连接神经网络得到的。这样，本申请实施例针对当前样本标注任务，从当前任务输入的支持集中提取到用于表征每个标签类的共性特征的类尺度因子向量，然后使用这个类尺度因子向量对支持集特征向量和查询集特征向量进行特征增强，使单一任务中支持集和查询集的标签类之间的差异性特征得到放大，而相似性特征则相对得到衰减，使得支持集和查询集相对于当前任务的感知增强，有利于提升标注精度，例如在“足球”对“篮球”标注的任务中，颜色纹理特征会得到增强，在“篮球”对“花朵”任务中，形状特征会得到增强。

在一种实现方式中，所述任务特征提取模块，具体用于使用归一化指数函数将所述类尺度因子向量与所述第五特征向量相乘之后的每个维度值映射到0～1的数值范围内，然后再与所述第五特征向量相加，以得到所述第一特征向量。这样，在第一特征向量中，共性特征的部分被压缩到0～1的数值范围内，不会影响原有第五特征向量的表达。

在一种实现方式中，所述任务特征提取模块，具体用于使用归一化指数函数将所述类尺度因子向量与所述第六特征向量相乘之后的每个维度值映射到0～1的数值范围内，然后再与所述第六特征向量相加，以得到所述第二特征向量。这样，在第二特征向量中，共性特征的部分被压缩到0～1的数值范围内，不会影响原有第六特征向量的表达。

在一种实现方式中，所述动态特征提取模块，具体用于将所述第五特征向输入到卷积神经网络进行特征提取，以得到表征所述标注任务的整体特征的任务特征向量；所述动态特征提取模块，还用于生成服从多元高斯分布的随机向量，所述随机向量以所述任务特征向量的一半维度值作为均值，另一半维度值作为方差；所述动态特征提取模块，还用于将所述随机向量输入到全连接神经网络进行降维处理，以得到所述卷积核参数。可见，该卷积核参数是可以随着支持集的样本数据的变化而动态改变的，因此，使用这样的卷积核参数提取到的第三特征向量和第四特征向量是随着支持集和样本集的样本数据变化而动态变化的，有利于提升标注精度。

在一种实现方式中，该样本标注装置还包括：互注意力模块；所述互注意力模块，用于获取所述支持集的第七特征向量和所述查询集的第八特征向量，所述第七特征向量是所述第一特征向量和所述第三特征向量拼接得到的，所述第八特征向量是所述第二特征向量和所述第四特征向量拼接得到的；所述互注意力模块，还用于对所述第七特征向量进行平均池化，得到所述支持集的第九特征向量；所述互注意力模块，还用于获取所述支持集与所述查询集之间的局部相关性特征向量，所述局部相关性特征向量是对所述第九特征向量与所述第八特征向量进行维度转换之后，再进行矩阵相乘得到的；所述互注意力模块，还用于获取所述支持集的第十特征向量和所述查询集的第十一特征向量，所述第十特征向量是所述第九特征向量和所述局部相关性特征向量利用注意力机制得到的，所述第十一特征向量是所述第八特征向量和所述局部相关性特征向量利用注意力机制得到的；所述分类模块，用于根据所述第九特征向量和所述第十特征向量确定所述查询集相对于所述支持集中各个标签类的相似度，根据所述相似度对所述查询集进行标注。目前普遍的方法在生成注意力权重分布时一般采用卷积神经网络模型，由此引入了额外的参数，增加了训练难度，而本申请实施例在生成注意力权重分布时没有引入额外的参数，降低了训练难度。除此之外，由于本申请实施例在没有引入额外参数，因此其可以直接移植到任意已经训练好的小样本标注框架中，无需重新训练。

在一种实现方式中，所述互注意力模块，具体用于将所述第九特征向量与第一注意力权重分布向量相乘，再累加所述第九特征向量，以得到所述第十特征向量，所述第一注意力权重分布向量是对所述局部相关性特征向量先后进行水平方向的平均池化、归一化指数函数操作和维度转换得到的。

在一种实现方式中，所述互注意力模块，具体用于将所述第八特征向量与第二注意力权重分布向量相乘，再累加所述第八特征向量，以得到所述第十一特征向量，所述第二注意力权重分布向量是对所述局部相关性特征向量先后进行竖直方向的平均池化、归一化指数函数操作和维度转换得到的。

第三方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面及其各个实现方式的方法。

第四方面，本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面及其各个实现方式的方法。

第五方面，本申请实施例还提供了一种芯片系统，该芯片系统包括处理器，用于支持上述装置或系统实现上述方面中所涉及的功能，例如，生成或处理上述方法中所涉及的信息。

附图说明

图1是本申请实施例示出的小样本标注的元任务训练模式的样本示意图；

图2示出了目前一种基于元任务的小样本标注模型的结构示意图；

图3是本申请示例性示出的数据标注系统的架构图；

图4示例性示出一种用于实现本申请实施例的样本标注方法的服务器的结构示意图；

图5是本申请实施例提供的样本标注方法的流程图；

图6是本申请实施例提供的一种样本标注方法的步骤S102的流程示意图；

图7是本申请实施例的方法在步骤S201中进行样本级别的平均池化的示意图；

图8是本申请实施例的方法在步骤S202中进行通道级别的全局平均池化的示意图；

图9是本申请实施例提供的一种样本标注方法的步骤S103的流程示意图；

图10是本申请实施例提供的样本标注方法的步骤S402-步骤S404的流程示意图；

图11是本申请实施例提供的一种样本标注方法的步骤S106的流程示意图；

图12是本申请实施例提供的一种样本标注装置的示意图。

具体实施方式

在对本申请实施例的技术方案进行阐述说明之前，首先对本申请实施例所属技术领域的技术术语的含义进行列举说明：

元任务：小样本分类任务在训练/测试模式中的一个最小训练/测试单元。在本申请实施例中元任务可以对应权利要求书中的当前标注任务。

支持集：元任务中带有标签的数据集(即已知类别)，支持集中的样本可以称作支持样本。

查询集：元任务中待标注的数据集(即未知类别)，查询集中的样本可以称作查询样本。

标签类：在数据标注任务中，标签类指的是样本的类别，已知类别的样本即可承载带有标签的样本。

本申请实施例的以下内容中：支持集增强特征向量可以对应权利要求书中的第一特征向量；查询集增强特征向量可以对应权利要求书中的第二特征向量；支持集动态特征向量可以对应权利要求书中的第三特征向量；支持集特征向量可以对应权利要求书中的第五特征向量；查询集特征向量可以对应权利要求书中的第六特征向量；查询集动态特征向量可以对应权利要求书中的第四特征向量；支持集高层次动态特征向量可以对应权利要求书中的第七特征向量；查询集高层次动态特征向量可以对应权利要求书中的第八特征向量；支持集标签类特征向量可以对应权利要求书中的第九特征向量；支持集标签类交互性特征向量可以对应权利要求书中的第十特征向量；查询集交互性特征向量可以对应权利要求书中的第十一特征向量。

随着人工智能(artificial intelligence，AI)技术的发展，以深度学习(deeplearning)技术为代表的先进机器学习方法在交通、医疗、金融等各个领域得到了广泛的应用。深度学习技术通过构建深度神经网络模型，自动学习各类数据不同层次的表征，以进一步实现数据分类、数据匹配、数据识别等应用。相比于传统人工挖掘的数据特征，深度学习技术挖掘数据特征的性能更加优异，使得其在上述各领域的关键应用上均取得了优异的表现。

然而，深度神经网络模型由于复杂程度高，参数量大，往往需要海量的标注数据用于模型训练，其背后隐藏着巨大的数据标注代价。数据标注可以使用标注模型来实现，而标注模型对样本数据的规模也有一定的要求。以图片数据为例，当某一标签(类别)的图片样本规模有限时，数据标注模型的训练容易在该标签上过拟合，导致标注结果变差；以文本数据为例，当某一标签的文本样本规模有限时，文本样本难以反映出该标签对应的语境，数据标注模型无法学习到该标签对应的语境信息，导致标注结果变差；以语音数据为例，当某一标签的语音样本规模有限时，这些语音可能包括空白或者杂音等，导致标注结果变差。而考虑到时间和标注成本，以及长尾效应，对于特定的图片标注任务，往往只能为指定标签提供少量图片样本。

除此以外，随着时间的变化，待标注的数据集可能会出现变化，即使同一类标签的样本也可能出现分布的变化，例如同一人的样貌会随着年龄增长而发生变化，手机图库中这个人的相关图片自然也会有所差异。数据集和样本分布的变化会导致已有的标注模型难以适应而标注结果变差。

因此，如何使用少量带标签数据训练得到分类精度优异、能适应动态数据变化的标注模型，即小样本标注或者小样本分类，是当前业界研究的重要方向之一。目前，小样本分类的训练以及测试流程可以采用元任务的训练模式。其中，元任务在本申请实施例中是指小样本分类任务在训练/测试模式中的一个最小训练/测试单元。

图1是本申请实施例示出的小样本标注的元任务训练模式的样本示意图。如图1所示，元任务训练模式可以包括元训练阶段和元测试阶段，每个阶段均包含多个元任务。每个元任务使用的数据包括支持集和查询集，其中，支持集是指元任务中带有标签的数据集(即已知类别)，查询集是指元任务中待标注的数据集(即未知类别)，支持集中的样本可以称作支持样本，查询集中的样本可以称作查询样本。

元任务可以被表示为N-way-K-shot，表示支持集包括N个类别，每个类别包含K个样本，查询集中的样本属于N个类别中的某一个类别，例如，在图1示出的元任务训练模式中，元任务为5-way-1-shot，表示支持集包括5个类别，每个类别包含1张图片，查询集中的每张图片属于5个类别中的某一个类别。

目前，基于元任务训练模式，在标注模型的元训练阶段，通常需要使用已标注的数据(如ImageNet的数据)构成多个元任务，训练得到泛化性能良好的模型。在元测试阶段，将已标注的少量数据(类别不同于训练阶段中的数据类别)作为支持集，待标注的数据作为查询集，共同输入训练好的标注模型中，为待标注的数据打上标签，完成标注过程。

图2示出了目前一种基于元任务的小样本标注模型的结构示意图。如图2所示，该标注模型包括：特征提取模块(embedding module)，用于通过多层卷积神经网络(convolutional neural network，CNN)同时提取支持集和查询集的样本特征；图片比对模块(image-to-class module)，用于利用图片通道级别局部特征，每个查询样本计算其到某一类别(image-to-class)的相似度；分类器(classifier)，用于将相似性度结果softmax层，通过softmax(函数)操作进行分类预测。

其中，特征提取是计算机视觉和图像处理中的一个概念，指的是使用计算机提取图像信息，将其转变为一个数字向量表示；softmax函数，也称归一化指数函数，它能将一个含任意实数的K维的向量的“压缩”到另一个K维实向量中，使得每一个元素的范围都在(0，1)之间，并且所有元素的和为1。假设softmax层的输入为向量x，则对x进行softmax操作的计算公式为：

然而，上述小样本标注模型在实际应用中存在着特征提取不合理以及对数据变化适应性差等影响数据标注精度的问题。具体表现为：

1、该标注模型的特征提取模块主要针对图片的局部特征进行提取，没有考虑在不同的标注任务中的不同标签设置对特征提取的整体要求，例如：在包含“足球”标签和“篮球”标签的标注任务中，颜色纹理特征比形状特征更重要，而在包含“篮球”标签和“花朵”标签的标注任务中，形状特征却可能变得非常重要。在标签种类多的情况下，该特征提取不合理的缺陷显得尤为突出。

2、该标注模型独立对待支持集与查询集中的图片，没有考虑支持集与查询集的特征关系。如2所示，查询集图片与支持集图片中瓢虫的背景颜色不一致，而瓢虫是相似的，对比相似性时应该更强调瓢虫特征。

3、该标注模型的特征提取模块在训练完毕后参数固定，无法动态调整，当出现新的标签或者原有标签的数据发生动态变化时，需要对模型进行重新训练，否则会导致模型失效。

为了解决上述技术问题，本申请实施例提供了一种样本标注方法。

本申请实施例提供的样本标注方法可以应用于数据标注系统中。图3是本申请示例性示出的数据标注系统的架构图。如图3所示，该数据标注系统可以包括：数据库和数据标注装置。数据库存储有用于少量的带有标签的样本集合(即支持集)以及待标注的样本集合(即查询集)。数据标注装置构建有相应的标注模型，数据标注装置以数据库中的支持集和样本集作为标注模型的输入以训练标注模型，从而对查询集进行标注；标注模型生成的标注结果可以入库保存，或者应用于后续的数据搜索和数据推荐等场景中。

本申请实施例提供的样本标注方法可以通过在硬件计算环境中部署软件形式的神经网络模型和计算机程序代码的方式实现，可用的硬件计算环境例如：个人计算机、服务器、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、可编程的消费电子设备、云服务器、服务器实例、超级计算机、包括以上任何系统或设备的分布式计算环境等等。图4示例性示出一种用于实现本申请实施例的样本标注方法的服务器的结构示意图，如图4所示，该服务器可以包括存储器和处理器。其中，存储器存储有包含支持集和查询集的数据库、用于实现本申请实施例的样本标注方法的神经网络模型(标注模型)和计算机程序代码，存储器还可以用于存储标注结果。处理器例如可以包括至少一个中央处理器(central processing unit，CPU)、和/或、至少一个图形处理器(graphics processingunit，GPU)、和/或、至少一个神经网络处理器(neural-network processing unit，NPU)等，处理器用于运行存储器中的神经网络模型和计算机程序代码，以实现本申请实施例的样本标注方法的各个步骤流程，生成相应的数据。

在一种实现方式中，支持集和查询集的数据也可以存储在其他设备中或者存储在云端，当需要在服务器上执行本申请实施例的方法时，服务器可以从存储有支持集和查询集的其他设备或者云端获取支持集和查询集数据。其中，支持集和查询集数据可以从其他设备或者云端一次或者多次传输给服务器，本申请实施例对此不做限定。

这里需要补充说明的是，本申请实施例提供的方法可以应用于各种类型样本的标注场景中，例如图片标注、命名实体标注、文本标注、声纹标注等，本申请实施例对此不做限定。接下来以图片标注为例对本申请实施例的样本标注方法的各实施例进行示例性地描述。

实施例一

本申请实施例一对样本标注方法的技术方案进行整体性地描述。图5是本申请实施例提供的样本标注方法的流程图。如图5所示，该方法可以包括以下步骤S101-步骤S106：

步骤S101，对支持集和查询集进行低层次的特征提取，以得到支持集特征向量和查询集特征向量。

低层次的特征提取的目的是将支持集和查询集中的样本(例如图片、命名实体、文本、声纹等)从原本的不便于机器理解的形式转换成便于机器理解和计算的向量形式，该过程也可以称作embedding过程。对于不同形式的样本，低层次的特征提取采用的方式也不同，例如：对于图片类样本，可以通过卷积神经网络提取低层次的样本特征；对于命名实体、文本等文字类样本，可通过word2vec的方式提取低层次的样本特征，word2vec涉及的常见的模型包括Skip-gram和CBOW等，其涉及的神经网络模型例如可以包括长短期记忆神经网络(long short-term memory，LSTM)、循环神经网络(recurrent neural network，RNN)等；对于声纹等音频信息，可以使用梅尔倒频谱系数(mel-frequency cepstralcoefficients，MFCC)等提取低层次的样本特征。

以图片为例，本申请实施例中，每一张图片对应低层次的样本特征可以是一个空间维度为c×h×w的特征向量。其中，c表示样本特征的通道数，该通道数与卷积神经网络使用的卷积核的数量有关，一般来说，每采用一个卷积核对图片进行卷积，即可以得到一个通道的向量，卷积核的数量集体可以由本领域技术人员自行确定，本申请实施例不做具体限定，如果本领域技术人员希望获得更高维度的向量，则可以使用更多的卷积核，反之亦然。h和w分别表示向量的高度和宽度，具体可以与卷积核的大小和卷积的步长有关，卷积核越大和步长越大，h和w越小，卷积核越小和步长越小，h和w越大。

另外，需要补充说明的是，由于图片是像素特征，因此也不便于卷积神经网络直接进行卷积操作，因此在将图片输入到卷积神经网络之前，可以首先提取图片的方向梯度直方图(histogram of oriented gradient，HOG)特征，将图片转换成表征颜色梯度的特征向量，然后在表征颜色梯度的特征向量输入到卷积神经网络中。

本申请实施例中，支持集特征向量可以包含支持集中所有带有标签的图片的特征向量，查询集特征向量可以包含查询集中所有待标注的图片的特征向量。例如：

支持集特征向量可以是一个空间为度为N×K×c×h×w的特征向量f_s，这里记作：

f_s∈R^{N×K×c×h×w}

其中，N表示支持集中包含的类别数量、K表示每个类别中包含的图片的数量。

查询集特征向量可以是一个空间为度为N×？×c×h×w的特征向量f_q，这里记作：

f_q∈R^{N×？×c×h×w}

其中，“？”表示查询集中待标注的图片数量，例如，当查询集中包含1张图片时，“？”的值为1，当查询集中包含2张图片时，“？”的值为2，以此类推。

需要补充说明的是，本身请实施例的步骤S101提供的将支持集和查询集中的图片进行向量化表示的方式仅作为一种示例性的方式，不构成对本申请实施例的具体限定，本领域技术人员还可以采用机器视觉或者自然语言处理领域中的其他方式对图片进行向量化表示，这些都没有超出本申请实施例的保护范围。

步骤S102，从支持集特征向量中提取类共性特征，所述类共性特征向量表征支持集中每个标签类的共性特征，将类共性特征向量分别作用于支持集特征向量和查询集特征向量，得到支持集增强特征向量和查询集增强特征向量。

图6是本申请实施例提供的一种样本标注方法的步骤S102的流程示意图。

如图6所示，步骤S102可以包括以下步骤S201-步骤S2042：

步骤S201，对支持集特征向量中的每个标签类对应的维度进行样本级别的平均池化(AvgPool)，得到类共性特征向量。

其中，平均池化是一种对多个向量取平均值的特征处理方式，能够保留向量显著特征、降低特征维度，增大后续使用卷积核时的卷积核的感受视野等。

图7是本申请实施例的方法在步骤S201中进行样本级别的平均池化的示意图。

如图7所示，样本级别的平均池化是指将支持集特征向量中的每个样本(即每张图片)对应的维度c×h×w作为一个向量，这样，当每个标签类包含K个样本时，该标签类就包含K个维度为c×h×w的向量，样本级别的平均池化就是将这个K个c×h×w的向量中的同一位置的数值计算平均值，使得针对每个标签类能够得到一个维度为c×h×w的、表征这个标签类的共性特征向量。因此，对于包含有N个标签类的支持集特征向量来说，其对应的类共性特征向量F_s可以表示为：

这里需要补充说明的是，使用平均池化的方式获得类共性特征向量仅作为本申请实施例在步骤S201中的一个示例，这意味着本领域技术人员还可以使用其他的池化方式获得类共性特征向量，例如最大池化MaxPooling等，这些都没有超出本申请实施例的保护范围。

步骤S202，对类共性特征向量进行通道级别的全局平均池化(global averagepooling，GAP)，以得到类通道特征向量。

其中，类通道特征向量包括支持集中各个标签类的通道共性特征。

全局平均池化是指将一个向量中的所有维度值取平均的特种处理方式。

图8是本申请实施例的方法在步骤S202中进行通道级别的全局平均池化的示意图。

如图8所示，通道级别的全局平均池化是指将类共性特征向量F_s∈R^N×c×h×w中的表征每个标签类的共性特征的维度为c×h×w的向量作为一个向量，将这个向量中的高度h和宽度w上的所有维度取平均值，每一个维度为c×h×w的向量在全局平均池化之后维度变为c。因此，对于包含N个标签类的类共性特征向量F_s∈R^N×c×h×w来说，其对应的类通道特征向量F′_s可以表示为：

这里需要补充说明的是，使用全局平均池化的方式获得类通道特征向量仅作为本申请实施例在步骤S202中的一个示例，这意味着本领域技术人员还可以使用其他的池化方式获得类通道特征向量，例如全局最大池化Global MaxPooling等，这些都没有超出本申请实施例的保护范围。

步骤S203，将类通道特征向量输入到一个全连接神经网络(fully connectednetwork，FC)，以得到支持集的类尺度因子向量。

全连接神经网络用于将类通道特征向量F′_s∈R^N×c从一个平面向量降维转化到一个R^N的一维空间内，相当于对类通道特征向量F′_s∈R^N×c中的位于同一标签类内的不同位置的特征进行了整合输出，将每个标签类的共性特征都用一个因子值来表示。对于包含N个标签类的类通道特征向量F′_s∈R^N×c来说，其对应的类尺度因子向量α可以表示为：

α＝g_θ(F′_s)∈R^N×1

其中，g_θ表示全连接神经网络。

在一种实现方式中，该全连接神经网络可以是双层全连接神经网络。

步骤S2041，使用归一化指数函数将类尺度因子向量与支持集特征向量相乘之后的每个维度值映射到0～1的数值范围内，然后再与支持集特征向量相加，得到支持集增强特征向量。

其中，归一化指数函数例如softmax函数，用于将一个含任意实数的多维的向量的“压缩”到另一个多维实向量中，使得每一个元素的范围都在(0，1)之间，并且所有元素的和为1。

示例地，假设softmax函数输入为向量x，则对x进行softmax函数计算的公式为：

其中，x_i表示向量x中的第i个维度值。

那么，步骤S2041得到支持集增强特征向量f′_s的方法可以通过以下公式表达：

f′_s＝softmax(α*f_s)+f_s∈R^{N×K×c×h×w}

步骤S2042，使用归一化指数函数将类尺度因子向量与查询集特征向量相乘之后的每个维度值映射到0～1的数值范围内，然后再与查询集特征向量相加，得到查询集增强特征向量。

基于上述输出的softmax函数的内容，步骤S2042得到查询集增强特征向量f′_q的方法可以通过以下公式表达：

f′_q＝softmax(α*f_q)+f_q∈R^{N×？×c×h×w}

本申请实施例在步骤S102中，针对当前样本标注任务，从当前任务输入的支持集中提取到用于表征每个标签类的共性特征的类尺度因子向量，然后使用这个类尺度因子向量对支持集特征向量和查询集特征向量进行特征增强，使单一任务中支持集和查询集的标签类之间的差异性特征得到放大，而相似性特征则相对得到衰减，使得支持集和查询集相对于当前任务的感知增强，有利于提升标注精度，例如在“足球”对“篮球”标注的任务中，颜色纹理特征会得到增强，在“篮球”对“花朵”任务中，形状特征会得到增强。

步骤S103，使用动态参数生成器从支持集特征向量中生成卷积核参数，并且使用加载了该卷积核参数的卷积神经网络分别对支持集特征向量和查询集特征向量进行特征提取，以得到支持集动态特征向量和查询集动态特征向量。

其中，动态参数生成器可以由卷积神经网络和全连接神经网络构成。

图9是本申请实施例提供的一种样本标注方法的步骤S103的流程示意图。

如图9所示，基于上述动态参数生成器的结构，步骤S103可以包括以下步骤S301-步骤S304：

步骤S301，将支持集特征向量输入到卷积神经网络进行特征提取，得到表征当前标注任务的整体特征的任务特征向量。

任务特征向量可以是一个维度为2m的向量f_t，这里记作：

f_t∈R^2m

其中，m的数值大小可以由步骤S301中的卷积神经网络采用的卷积核的大小和卷积的步长决定，卷积核的大小和卷积的步长越大，m的数值越小，意味着提取的当前标注任务的整体特征越粗糙，卷积核的维度越少，m的数值越大，意味着提取的当前标注任务的整体特征越精细，因此本领域技术人员可以根据期望的特征精度自行设置m的数值，本申请实施例对此不作限定。

一般来说，由于卷积神经网络对支持集特征向量进行特征提取通常是一种降维操作，因此2m的大小通常小于支持集特征向量原有的维度，例如2m通常会小于N×K×c×h×w。

步骤S302，以任务特征向量的一半维度值作为均值，另一半维度值作为方差，随机生成服从多元高斯分布的随机向量。

在一种实现方式中，可以以任务特征向量的前一半维度值作为均值μ，后一半维度值作为方差σ，生成随机向量r，其中，随机向量r的维度也可以是2m或者其他维度。例如，当任务特征向量f_t∈R^2m时，其前一半维度值可以表示为f_t[:m]，后一半维度值可以表示为f_t[m:]，则以此得到的多元高斯分布N可以表示为N(μ＝f_t[:m],σ＝f_t[m:])，服从该多元高斯分布N的随机向量r可以表示为：

r∈R^2m

在另一种实现方式中，可以以任务特征向量的后一半维度值作为均值μ，前一半维度值作为方差σ，生成随机向量r。例如，当任务特征向量f_t∈R^2m时，可以得到的多元高斯分布N可以表示为N(μ＝f_t[m:],σ＝f_t[:m])，然后在生成服从该多元高斯分布N的随机向量r。

在一些其他的实现方式中，还可以通过其他的方式从任务特征向量中确定多元高斯分布N的均值μ和方差σ，例如：以间隔的方式从任务特征向量中抽取作为均值μ的维度值和作为方差的维度值等，本申请实施例对此不作限定。

步骤S303，将随机向量输入到全连接神经网络进行降维处理，得到卷积核参数。

全连接神经网络用于将随机向量r∈R^2m进行降维处理，以得到维度较低的卷积核参数kernel：

kernel＝g_θ(r)∈Rⁿ

其中，g_θ表示全连接神经网络，kernel的维度n通常小于2m，具体可以根据全连接神经网络输入层和输出层的参数决定，本申请实施例对此不作限定。

步骤S304，使用加载了该卷积核参数的卷积神经网络分别对支持集特征向量和查询集特征向量进行特征提取，以得到支持集动态特征向量和查询集动态特征向量。

具体实现中，可以使用步骤S303的到的卷积核参数kernel构建两个卷积神经网络，然后将支持集特征向量输入到其中一个卷积神经网络中进行特征提取，以得到支持集动态特征向量，将查询集特征向量输入到另一个卷积神经网络中进行特征提取，以得到查询集动态特征向量。

本申请实施例在步骤S103中，引入动态参数生成器，在标注模型的训练过程中可以对卷积神经网络和全连接层参数进行训练，在测试和生产环境中，可以使用已训练的动态参数生成器从支持集特征向量中生成卷积核参数，可见该卷积核参数是可以随着支持集的样本数据的变化而动态改变的，因此，使用这样的卷积核参数提取到的支持集动态特征向量和查询集动态特征向量是随着支持集和样本集的样本数据变化而动态变化的，有利于提升标注精度。

步骤S104，将支持集增强特征向量与支持集动态特征向量进行拼接，得到支持集高层次动态特征向量，以及，将查询集增强特征向量与查询集动态特征向量拼接，以得到查询集高层次动态特征向量。

具体实现中，如图9所示，可以将支持集增强特征向量与支持集动态特征向量在通道维度进行拼接，以得到支持集高层次动态特征向量，这样，支持集高层次动态特征向量即包含原有的c个通道，又包含支持集动态特征向量对应的通道，通道数可以记作c′。那么，支持集高层次动态特征向量f″_s可以表示为：

f″_s＝∈R^{N×K×c′×h×w}

类似地，可以将查询集增强特征向量与查询集动态特征向量在通道维度进行拼接，以得到查询集高层次动态特征向量，这样，查询集高层次动态特征向量即包含原有的c个通道，又包含查询集动态特征向量对应的通道，通道数可以记作c′。那么，查询集高层次动态特征向量Q可以表示为：

Q＝∈R^{N×？×c′×h×w}

步骤S105，对支持集高层次动态特征向量进行平均池化得到支持集标签类特征向量，获取支持集标签类特征向量与查询集高层次动态特征向量的局部相关性特征向量，将局部相关性特征向量分别作用于支持集标签类特征向量和查询集高层次动态特征向量，得到支持集标签类交互性特征向量和查询集交互性特征向量。

基于上述动态参数生成器的结构，步骤S105可以包括以下步骤S401-步骤S404：

步骤S401，对支持集高层次动态特征向量进行样本级别的平均池化，得到支持集标签类特征向量。

样本级别的平均池化是指将支持集高层次动态特征向量中的每个样本(即每张图片)对应的维度c'×h×w作为一个向量，这样，当每个类别包含K个样本时，该类别就包含K个维度为c'×h×w的向量，样本级别的平均池化就是将这个K个c'×h×w的向量中的同一位置的数值计算平均值，使得针对每个类别能够得到一个维度为c'×h×w的、表征这个类别共性特征的向量。因此，对于包含有N个类别的支持集高层次动态特征向量来说，其对应的支持集标签类特征向量P_s可以表示为：

这里需要补充说明的是，使用平均池化的方式获得支持集标签类特征向量仅作为本申请实施例在步骤S401中的一个示例，这意味着本领域技术人员还可以使用其他的池化方式获得支持集标签类特征向量，例如最大池化MaxPooling等，这些都没有超出本申请实施例的保护范围。

步骤S402，对支持集标签类特征向量和查询集高层次动态特征向量进行维度转换之后，进行矩阵相乘，得到局部相关性特征向量。

图10是本申请实施例提供的样本标注方法的步骤S402-步骤S404的流程示意图。

如图10所示，为便于描述，这里可以将支持集标签类特征向量P和查询集高层次动态特征向量Q简化描述为C×H×W的三维立体向量。首先，将支持集标签类特征向量P从C×H×W的三维立体向量转换为宽度为C、高度为H×W的二维平面向量。类似地，可以对查询集高层次动态特征向量Q从C×H×W的三维立体向量转换为宽度为C、高度为H×W的二维平面向量，然后在转置成宽度为H×W、高度为C的二维平面向量。即支持集标签类特征向量P对应的二维平面向量的宽度等于查询集高层次动态特征向量Q对应的二维平面向量的高度，支持集标签类特征向量P对应的二维平面向量的高度等于查询集高层次动态特征向量Q对应的二维平面向量的宽度。

接下来，将支持集标签类特征向量P转换得到的宽度为C、高度为H×W的二维平面向量与查询集高层次动态特征向量Q转换得到的宽度为C、高度为H×W的二维平面向量进行矩阵相乘，得到一个宽度为H×W、高度为H×W的二维平面向量，即局部相关性特征向量M。

步骤S403，对局部相关性特征向量先后进行水平方向的平均池化、归一化指数函数操作和维度转换，得到第一注意力权重分布向量，以及，对局部相关性特征向量先后进行竖直方向的平均池化、归一化指数函数操作和维度转换，得到第二注意力权重分布向量。

如图10所示：

水平方向的平均池化指的是将向量的同一行的维度值取平均值，因此宽度为H×W、高度为H×W的局部相关性特征向量M经过水平方向的平均池化之后，能够得到宽度为1、高度为H×W的向量；然后，将得到的向量进行归一化指数函数softmax操作，使其各个维度值均归一化到0～1的区间内，最后，将softmax操作之后的向量进行维度转换，得到一个宽度为W、高度为H的向量，称作第一注意力权重分布向量A_p。

垂直方向的平均池化指的是将向量的同一列的维度值取平均值，因此宽度为H×W、高度为H×W的局部相关性特征向量M经过垂直方向的平均池化之后，能够得到宽度为H×W、高度为1的向量；然后，将得到的向量进行归一化指数函数softmax操作，使其各个维度值均归一化到0～1的区间内，最后，将softmax操作之后的向量进行维度转换，得到一个宽度为W、高度为H的向量，称作第二注意力权重分布向量A_q。

这里需要补充说明的是，使用平均池化的方式对局部相关性特征向量M进行处理仅作为本申请实施例在步骤S403中的一个示例，这意味着本领域技术人员还可以使用其他的池化方式，例如最大池化MaxPooling等，这些都没有超出本申请实施例的保护范围。

步骤S404，将支持集标签类特征向量与第一注意力权重分布向量相乘，再累加支持集标签类特征向量，得到支持集标签类交互性特征向量，以及，将查询集高层次动态特征向量与第二注意力权重分布向量相乘，再累加查询集高层次动态特征向量，得到查询集交互性特征向量。

结合图10，步骤S404得到支持集标签类交互性特征向量P′的方法可以通过以下公式表达：

P′＝P*M+P∈R^C×H×W

步骤S404得到查询集交互性特征向量Q′的方法可以通过以下公式表达：

Q′＝Q*M+Q∈R^C×H×W

本申请实施例在步骤S105中，对支持集标签类特征向量和查询集高层次动态特征向量Q的局部相关性特征向量M进行了简单的平均池化和softmax操作，得到各自的注意力权重分布向量，使得支持集和查询集在后续进行数据比对时能够侧重于相似特征部分，从而有利于提升标注精度。另外，目前普遍的方法在生成注意力权重分布时一般采用卷积神经网络模型，由此引入了额外的参数，增加了训练难度，而本申请实施例在步骤S105生成注意力权重分布时没有引入额外的参数，降低了训练难度。除此之外，由于本申请实施例在步骤S105没有引入额外参数，因此其可以直接移植到任意已经训练好的小样本标注框架中，无需重新训练。

步骤S106，计算查询集交互性特征向量和支持集标签类交互性特征向量中的各个标签类之间的相似度，使用相似度最高的标签类对待标注样本进行标注。

步骤S106可以应用于标注模型的测试和生产环境阶段。具体实现中，如图11所示，可以利用通道级别的局部特征，计算查询集交互性特征向量中的每个查询样本的交互性特征向量与支持集标签类交互性特征向量的各个标签类的交互性特征向量之间的相似度，这样，就可以得到每个查询样本到某一个标签类的相似度。然后，根据相似度的计算结果，向相似度最高的标签类标注给待标注样本。

其中，相似度也可以称作相似距离，相似度最高对应相似距离最近。本申请实施例中，相似度可以是余弦距离、欧式距离等，这里不做具体限定。

另外，在标注模型的训练阶段，如图11所示，查询集交互性特征向量还可以输入到一个全局分类器中做全局标签预测。全局分类器例如可以包括一个全连接层和softmax层组成。全局分类器的作用是将查询集交互性特征向量(即经过注意力作用之后的查询集)分配到整个任务的全局标签中，使得标注模型不仅只关注当前元任务的标签，还关注整个训练集中的其他标签，因此全局分类器能够降低当前元任务训练的过拟合风险。

由以上技术方案可知，本申请实施例提供的样本标注方法，首先针对当前样本标注任务，从当前任务输入的支持集中提取到用于表征每个标签类的共性特征的类尺度因子向量，然后使用这个类尺度因子向量对支持集特征向量和查询集特征向量进行特征增强，使单一任务中支持集和查询集的标签类之间的差异性特征得到放大，而相似性特征则相对得到衰减，使得支持集和查询集相对于当前任务的感知增强，有利于提高样本标注精度；然后，引入动态参数生成器，在标注模型的训练过程中可以对动态参数生成器进行训练，在测试和生产环境中，可以使用已训练的动态参数生成器从支持集特征向量中生成卷积核参数，使得该卷积核参数是可以随着支持集的样本数据的变化而动态改变的，进一步使得卷积核参数提取到的支持集动态特征向量和查询集动态特征向量是随着支持集和样本集的样本数据变化而动态变化的，有利于提高样本标注精度；然后，对支持集标签类特征向量和查询集高层次动态特征向量的局部相关性特征向量进行了简单的平均池化和softmax操作，得到各自的注意力权重分布向量，使得支持集和查询集在后续进行数据比对时能够侧重于相似特征部分，有利于提高样本标注精度。

为了验证本申请实施例提供的样本标注方法和标注模型能够提高样本标注精度，申请人使用小样本图像分类领域的基准数据集miniImageNet进行了一些测试。

其中，miniImageNet是ILSVRC(大规模视觉识别挑战赛)中使用的数据集ImageNet的一个子数据集。miniImageNet中共有100个图片类别，每个类别下包含了600张图片。测试中将100个图片类别中的64、16、20个类别分别划分至训练集、验证集、测试集中，并将图片大小调整为84×84像素。

根据小样本图片分类问题普遍采用的N-way K-shot元任务定义，在每一个元任务中随机采样N个类别，并在每个类别下随机选择K张图片组成支持集，该类别下的剩余图片可被选入查询集。在测试阶段，查询集中每一类别包含数量一致若干张图片，通过预测准确率考察模型的性能。

训练过程采用多轮次的情景训练方式。在miniImageNet数据集上共进行100轮训练，每一轮次随机采样1200个N-way K-shot元任务用作训练。前60轮训练中每10轮次训练完成后，在验证集上随机采样600个元任务用于评估模型当前的训练效果并保存模型参数。60轮次后，每一轮训练完成都进行同样的模型性能评估。

在模型测试阶段，从测试集上随机采样2000个元任务进行测试。考虑到训练过程中可能存在的模型过拟合问题，可以依照训练阶段利用验证集数据得到的阶段性评估结果，选择效果最好的那一轮次模型进行测试。测试完成后计算2000个元任务上的平均分类准确率以及对应的95％置信区间。

以5-way 1-shot和5-way 5-shot的元任务为例，最终测试结果以及与其他模型对比结果如下表：

表1 miniImageNet数据集5-way元任务测试准确率(95％置信区间)

由此可见，本申请实施例提供的样本标注方法与各现有技术的样本标注方法相比，标注精度均有提高。

另外，需要补充说明的是，本申请实施例提供的样本标注方法的各方法步骤均可以独立的移植整合到目前已有的样本标注方案中，同样能够达到提高标注精度的作用。

示例地，为证实本申请步骤S102提高标注精度的作用，申请人将本申请实施例的样本标注方法去除步骤S102之后与完整的方法进行对比，得到了如下测试结果：

表1完整样本标注方法与去除步骤S102的方法测试准确率

由此可见，本申请实施例提供的样本标注方法的步骤S103能够提高标注精度。

本申请实施例提供的样本标注方法的其他步骤对提高精确度的作用均可以通过类似方法测试得到，此处不再赘述。

上述实施例对本申请提供的样本标注方法的各步骤进行了介绍。可以理解的是，服务器等设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

例如，服务器等设备可以通过软件模块来实现相应的功能。

在一个实施例中，如图12所示，用于实现上述样本标注方法的装置包括：特征增强模块120，用于从支持集特征向量中提取类共性特征，类共性特征向量表征支持集中每个标签类的共性特征，将类共性特征向量分别作用于支持集特征向量和查询集特征向量，得到支持集增强特征向量和查询集增强特征向量；动态特征提取模块130，用于使用动态参数生成器从支持集特征向量中生成卷积核参数，动态参数提取器由卷积神经网络和全连接神经网络构成，使用加载了该卷积核参数的卷积神经网络分别对支持集特征向量和查询集特征向量进行特征提取，以得到支持集动态特征向量和查询集动态特征向量；互注意力模块140，用于将支持集增强特征向量与支持集动态特征向量拼接，得到支持集高层次动态特征向量，以及，将查询集增强特征向量与查询集动态特征向量拼接，以得到查询集高层次动态特征向量；互注意力模块140，还用于对支持集高层次动态特征向量进行平均池化得到支持集标签类特征向量，获取支持集标签类特征向量与查询集高层次动态特征向量的局部相关性特征向量，将局部相关性特征向量分别作用于支持集标签类特征向量和查询集高层次动态特征向量，得到支持集标签类交互性特征向量和查询集交互性特征向量；分类模块150，用于计算查询集交互性特征向量和支持集标签类交互性特征向量中的各个标签类之间的相似度，使用相似度最高的标签类对查询集中的待标注样本进行标注。

本申请实施例提供的技术方案，同时引入了支持集中每个标签类的共性特征、基于标注任务而变化的支持集和查询集和动态特征、以及支持集标签类和查询集的互相关性特征，生成了包含上述特征的支持集标签类交互性特征向量和查询集交互性特征向量，因此支持集标签类交互性特征向量和查询集交互性特征向量对支持集和查询集的特征表达更合理，对数据变化适应性更强，提升了样本标注精度。

在一种实现方式中，特征增强模块120具体包括：第一池化单元121，用于对支持集特征向量中的每个标签类对应的维度进行样本级别的平均池化，得到类共性特征向量；第二池化单元122，用于对类共性特征向量进行通道级别的全局平均池化，以得到类通道特征向量；类尺度因子生成单元123，用于将类通道特征向量输入到一个全连接神经网络，以得到支持集的类尺度因子向量；增强特征生成单元124，用于使用归一化指数函数将类尺度因子向量与支持集特征向量相乘之后的每个维度值映射到0～1的数值范围内，然后再与支持集特征向量相加，得到支持集增强特征向量，以及，使用归一化指数函数将类尺度因子向量与查询集特征向量相乘之后的每个维度值映射到0～1的数值范围内，然后再与查询集特征向量相加，得到查询集增强特征向量。这样，本申请实施例针对当前样本标注任务，从当前任务输入的支持集中提取到用于表征每个标签类的共性特征的类尺度因子向量，然后使用这个类尺度因子向量对支持集特征向量和查询集特征向量进行特征增强，使单一任务中支持集和查询集的标签类之间的差异性特征得到放大，而相似性特征则相对得到衰减，使得支持集和查询集相对于当前任务的感知增强，有利于提升标注精度，例如在“足球”对“篮球”标注的任务中，颜色纹理特征会得到增强，在“篮球”对“花朵”任务中，形状特征会得到增强。

在一种实现方式中，动态特征提取模块130具体包括：任务特征提取单元131，用于将支持集特征向量输入到卷积神经网络进行特征提取，得到表征当前标注任务的整体特征的任务特征向量；随机向量生成单元132，用于以任务特征向量的一半维度值作为均值，另一半维度值作为方差，随机生成服从多元高斯分布的随机向量；卷积核参数生成单元133，用于将随机向量输入到全连接神经网络进行降维处理，得到卷积核参数；动态特征提取单元134，用于使用加载了该卷积核参数的卷积神经网络分别对支持集特征向量和查询集特征向量进行特征提取，以得到支持集动态特征向量和查询集动态特征向量这样，本申请实施例引入动态参数生成器，在标注模型的训练过程中可以对卷积神经网络和全连接层参数进行训练，在测试和生产环境中，可以使用已训练的动态参数生成器从支持集特征向量中生成卷积核参数，可见该卷积核参数是可以随着支持集的样本数据的变化而动态改变的，因此，使用这样的卷积核参数提取到的支持集动态特征向量和查询集动态特征向量是随着支持集和样本集的样本数据变化而动态变化的，有利于提升标注精度。

在一种实现方式中，随机向量生成单元132具体用于：以任务特征向量的前一半维度值作为均值，后一半维度值作为方差，随机生成随机向量。

在一种实现方式中，互注意力模块140具体包括：第一特征拼接单元141，用于将支持集增强特征向量与支持集动态特征向量在通道维度拼接，得到支持集高层次动态特征向量。

在一种实现方式中，互注意力模块140具体包括：第二特征拼接单元142，用于将查询集增强特征向量与查询集动态特征向量在通道维度拼接，得到查询集高层次动态特征向量。

在一种实现方式中，互注意力模块140具体包括：第三池化单元143，用于对支持集高层次动态特征向量进行样本级别的平均池化，得到支持集标签类特征向量；局部相关性特征生成单元144，用于对支持集标签类特征向量与查询集高层次动态特征向量进行维度转换之后，进行矩阵相乘，得到局部相关性特征向量；权重分布生成单元145，用于对局部相关性特征向量先后进行水平方向的平均池化、归一化指数函数操作和维度转换，得到第一注意力权重分布向量，以及，对局部相关性特征向量先后进行竖直方向的平均池化、归一化指数函数操作和维度转换，得到第二注意力权重分布向量；交互性特征生成单元146，用于将支持集标签类特征向量与第一注意力权重分布向量相乘，再累加支持集标签类特征向量，得到支持集标签类交互性特征向量，以及，将查询集高层次动态特征向量与第二注意力权重分布向量相乘，再累加查询集高层次动态特征向量，得到查询集交互性特征向量。这样，本申请实施例对支持集标签类特征向量和查询集高层次动态特征向量的局部相关性特征向量进行了简单的平均池化和softmax操作，得到各自的注意力权重分布向量，使得支持集和查询集在后续进行数据比对时能够侧重于相似特征部分，从而有利于提升标注精度。另外，目前普遍的方法在生成注意力权重分布时一般采用卷积神经网络模型，由此引入了额外的参数，增加了训练难度，而本申请实施例在步骤S105生成注意力权重分布时没有引入额外的参数，降低了训练难度。除此之外，由于本申请实施例在步骤S105没有引入额外参数，因此其可以直接移植到任意已经训练好的小样本标注框架中，无需重新训练。

在一种实现方式中，局部相关性特征生成单元144具体用于：将支持集标签类特征向量和查询集高层次动态特征向量从三维立体向量转换为二维平面向量，其中，支持集标签类特征向量对应的二维平面向量的宽度等于查询集高层次动态特征向量对应的二维平面向量的高度，支持集标签类特征向量对应的二维平面向量的高度等于查询集高层次动态特征向量对应的二维平面向量的宽度；将支持集标签类特征向量对应的二维平面向量与查询集高层次动态特征向量对应的二维平面向量相乘，得到局部相关性特征向量。

在一种实现方式中，该装置还包括：低层次特征提取模块110，用于对支持集和查询集进行低层次的特征提取，以得到支持集特征向量和查询集特征向量，低层次的特征提取包括使用卷积神经网络对支持集和查询集进行特征提取。

例如，服务器等设备可以通过硬件模块来实现相应的功能。

在一个实施例中，如图4所示，用于实现上述样本标注方法的装置包括：处理器210和存储器220；其中，存储器220包括有程序指令，程序指令被处理器210运行时，使得服务器用于执行如下步骤：从支持集特征向量中提取类共性特征，类共性特征向量表征支持集中每个标签类的共性特征，将类共性特征向量分别作用于支持集特征向量和查询集特征向量，得到支持集增强特征向量和查询集增强特征向量；使用动态参数生成器从支持集特征向量中生成卷积核参数，动态参数生成器由卷积神经网络和全连接神经网络构成，使用加载了该卷积核参数的卷积神经网络分别对支持集特征向量和查询集特征向量进行特征提取，以得到支持集动态特征向量和查询集动态特征向量；将支持集增强特征向量与支持集动态特征向量拼接，得到支持集高层次动态特征向量，以及，将查询集增强特征向量与查询集动态特征向量拼接，以得到查询集高层次动态特征向量；对支持集高层次动态特征向量进行平均池化得到支持集标签类特征向量，获取支持集标签类特征向量与查询集高层次动态特征向量的局部相关性特征向量，将局部相关性特征向量分别作用于支持集标签类特征向量和查询集高层次动态特征向量，得到支持集标签类交互性特征向量和查询集交互性特征向量；计算查询集交互性特征向量和支持集标签类交互性特征向量中的各个标签类之间的相似度，使用相似度最高的标签类对查询集中的待标注样本进行标注。

本申请实施例还提供一种计算机存储介质，计算机存储介质中存储有计算机指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。

本申请实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面的方法。

本申请还提供了一种芯片系统。该芯片系统包括处理器，用于支持上述装置或设备实现上述方面中所涉及的功能，例如，生成或处理上述方法中所涉及的信息。在一种可能的设计中，芯片系统还包括存储器，用于保存上述装置或设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims

1.一种样本标注方法，其特征在于，包括：

获取标注任务的支持集的第一特征向量和所述标注任务的查询集的第二特征向量，所述第一特征性向量和所述第二特征向量包含所述支持集中各个标签类各自的共性特征；

使用卷积神经网络获取所述支持集的第三特征向量和所述查询集的第四特征向量，所述卷积神经网络包含与所述支持集的特征相关联的卷积核参数；

根据所述支持集的所述第一特征向量和所述第三特征向量以及所述查询集的第二特征向量和所述第四特征向量，计算所述查询集相对于所述支持集中各个标签类的相似度；

根据所述相似度对所述查询集进行标注。

2.根据权利要求1所述的方法，其特征在于，所述共性特征是对所述支持集的第五特征向量中的每个标签类对应的维度进行平均池化得到的，所述第五特征向量是对所述支持集的特征进行embedding操作得到的。

3.根据权利要求2所述的方法，其特征在于，

所述第一特征向量是对所述支持集的类尺度因子向量与所述第五特征向量执行向量相乘和相加得到的；

所述第二特征向量是对所述类尺度因子向量与所述查询集的第六特征向量执行向量相乘和相加得到的，所述第六特征向量是对所述查询集的特征执行嵌入embedding操作得到的；

其中，所述类尺度因子向量是将对应所述支持集中各个标签类各自的共性特征的共性特征向量进行全局池化，然后输入到一个全连接神经网络得到的。

4.根据权利要求2所述的方法，其特征在于，所述第一特征向量是使用归一化指数函数将所述类尺度因子向量与所述第五特征向量相乘之后的每个维度值映射到0～1的数值范围内，然后再与所述第五特征向量相加得到的。

5.根据权利要求2所述的方法，其特征在于，所述第二特征向量是使用归一化指数函数将所述类尺度因子向量与所述第六特征向量相乘之后的每个维度值映射到0～1的数值范围内，然后再与所述第六特征向量相加得到的。

6.根据权利要求2-5任一项所述的方法，其特征在于，所述卷积核参数通过以下步骤得到：

将所述第五特征向输入到卷积神经网络进行特征提取，以得到表征所述标注任务的整体特征的任务特征向量；

生成服从多元高斯分布的随机向量，所述随机向量以所述任务特征向量的一半维度值作为均值，另一半维度值作为方差；

将所述随机向量输入到全连接神经网络进行降维处理，以得到所述卷积核参数。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述支持集的所述第一特征向量和所述第三特征向量以及所述查询集的第二特征向量和所述第四特征向量，计算所述查询集相对于所述支持集中各个标签类的相似度，包括：

获取所述支持集的第七特征向量和所述查询集的第八特征向量，所述第七特征向量是所述第一特征向量和所述第三特征向量拼接得到的，所述第八特征向量是所述第二特征向量和所述第四特征向量拼接得到的；

对所述第七特征向量进行平均池化，得到所述支持集的第九特征向量；

获取所述支持集与所述查询集之间的局部相关性特征向量，所述局部相关性特征向量是对所述第九特征向量与所述第八特征向量进行维度转换之后，再进行矩阵相乘得到的；

获取所述支持集的第十特征向量和所述查询集的第十一特征向量，所述第十特征向量是所述第九特征向量和所述局部相关性特征向量利用注意力机制得到的，所述第十一特征向量是所述第八特征向量和所述局部相关性特征向量利用注意力机制得到的；

根据所述第九特征向量和所述第十特征向量确定所述查询集相对于所述支持集中各个标签类的相似度，根据所述相似度对所述查询集进行标注。

8.根据权利要求7所述的方法，其特征在于，

所述第十特征向量是将所述第九特征向量与第一注意力权重分布向量相乘，再累加所述第九特征向量得到的，所述第一注意力权重分布向量是对所述局部相关性特征向量先后进行水平方向的平均池化、归一化指数函数操作和维度转换得到的。

9.根据权利要求7所述的方法，其特征在于，

所述第十一特征向量是将所述第八特征向量与第二注意力权重分布向量相乘，再累加所述第八特征向量得到的，所述第二注意力权重分布向量是对所述局部相关性特征向量先后进行竖直方向的平均池化、归一化指数函数操作和维度转换得到的。

10.一种样本标注装置，其特征在于，包括：

任务特征提取模块，用于获取标注任务的支持集的第一特征向量和所述标注任务的查询集的第二特征向量，所述第一特征性向量和所述第二特征向量包含所述支持集中各个标签类各自的共性特征；

动态特征提取模块，用于使用卷积神经网络获取所述支持集的第三特征向量和所述查询集的第四特征向量，所述卷积神经网络包含与所述支持集的特征相关联的卷积核参数；

分类模块，用于根据所述支持集的所述第一特征向量和所述第三特征向量以及所述查询集的第二特征向量和所述第四特征向量，计算所述查询集相对于所述支持集中各个标签类的相似度，以及用于根据所述相似度对所述查询集进行标注。

11.根据权利要求10所述的样本标注装置，其特征在于，

所述任务特征提取模块，还用于对所述支持集的第五特征向量中的每个标签类对应的维度进行平均池化，以得到所述共性特征，所述第五特征向量是对所述支持集的特征进行embedding操作得到的。

12.根据权利要求11所述的样本标注装置，其特征在于，

所述任务特征提取模块，具体用于将所述支持集的类尺度因子向量与所述第五特征向量执行向量相乘和相加，以得到所述第一特征向量；

所述任务特征提取模块，还用于将所述类尺度因子向量与所述查询集的第六特征向量执行向量相乘和相加，以得到所述第二特征向量，所述第六特征向量是对所述查询集的特征执行嵌入embedding操作得到的；

13.根据权利要求11所述的样本标注装置，其特征在于，

所述任务特征提取模块，具体用于使用归一化指数函数将所述类尺度因子向量与所述第五特征向量相乘之后的每个维度值映射到0～1的数值范围内，然后再与所述第五特征向量相加，以得到所述第一特征向量。

14.根据权利要求11所述的样本标注装置，其特征在于，

所述任务特征提取模块，具体用于使用归一化指数函数将所述类尺度因子向量与所述第六特征向量相乘之后的每个维度值映射到0～1的数值范围内，然后再与所述第六特征向量相加，以得到所述第二特征向量。

15.根据权利要求11-14任一项所述的样本标注装置，其特征在于，

所述动态特征提取模块，具体用于将所述第五特征向输入到卷积神经网络进行特征提取，以得到表征所述标注任务的整体特征的任务特征向量；

所述动态特征提取模块，还用于生成服从多元高斯分布的随机向量，所述随机向量以所述任务特征向量的一半维度值作为均值，另一半维度值作为方差；

所述动态特征提取模块，还用于将所述随机向量输入到全连接神经网络进行降维处理，以得到所述卷积核参数。

16.根据权利要求10-15任一项所述的样本标注装置，其特征在于，还包括：互注意力模块；

所述互注意力模块，用于获取所述支持集的第七特征向量和所述查询集的第八特征向量，所述第七特征向量是所述第一特征向量和所述第三特征向量拼接得到的，所述第八特征向量是所述第二特征向量和所述第四特征向量拼接得到的；

所述互注意力模块，还用于对所述第七特征向量进行平均池化，得到所述支持集的第九特征向量；

所述互注意力模块，还用于获取所述支持集与所述查询集之间的局部相关性特征向量，所述局部相关性特征向量是对所述第九特征向量与所述第八特征向量进行维度转换之后，再进行矩阵相乘得到的；

所述互注意力模块，还用于获取所述支持集的第十特征向量和所述查询集的第十一特征向量，所述第十特征向量是所述第九特征向量和所述局部相关性特征向量利用注意力机制得到的，所述第十一特征向量是所述第八特征向量和所述局部相关性特征向量利用注意力机制得到的；

所述分类模块，用于根据所述第九特征向量和所述第十特征向量确定所述查询集相对于所述支持集中各个标签类的相似度，根据所述相似度对所述查询集进行标注。

17.根据权利要求16所述的样本标注装置，其特征在于，

所述互注意力模块，具体用于将所述第九特征向量与第一注意力权重分布向量相乘，再累加所述第九特征向量，以得到所述第十特征向量，所述第一注意力权重分布向量是对所述局部相关性特征向量先后进行水平方向的平均池化、归一化指数函数操作和维度转换得到的。

18.根据权利要求16所述的样本标注装置，其特征在于，

所述互注意力模块，具体用于将所述第八特征向量与第二注意力权重分布向量相乘，再累加所述第八特征向量，以得到所述第十一特征向量，所述第二注意力权重分布向量是对所述局部相关性特征向量先后进行竖直方向的平均池化、归一化指数函数操作和维度转换得到的。

19.一种芯片系统，其特征在于，包括：存储器和处理器，所述存储器存储有计算机程序指令，所述程序指令被所述处理器执行时，使得所述芯片系统实现如权利要求1-9任一项所述的方法。

20.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-9中任一项所述的方法。

21.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-9中任一项所述的方法。