CN111985581A - 一种基于样本级注意力网络的少样本学习方法 - Google Patents

Abstract

本发明涉及一种基于样本级注意力网络的少样本学习方法，包括步骤：将支撑集的样本和查询集的样本分别输入到特征提取模块中，得到相应的支撑集特征向量和查询集特征向量；将每个类对应的支撑集特征向量输入到样本级注意力网络模块中得到每个类别的类原型；通过计算查询集特征向量与每个类原型之间的距离，得到查询集特征向量所属类别的概率分布；采用查询集的交叉熵损失与支撑集的分类损失共同训练特征提取模块与样本级注意力网络模块，反向传播求梯度更新网络。本发明只需学习大量相似的学习任务就可以解决新的目标任务，对于目标任务，不再需要模型更新。

Description

一种基于样本级注意力网络的少样本学习方法

技术领域

本发明涉及样本图像分类技术领域，特别是一种基于样本级注意力网络的少样本学习方法。

背景技术

近年来，在深度网络的帮助下，计算机在图像识别任务上已经超越了人类，但是深度网络也存在着三个问题：第一，训练深度网络模型需要大量的标记数据，所以图像识别技术多数都集中在有大规模数据集的物体识别上。第二，现实中很多的场景是不存在大量标注数据的，或者很多标注数据需要领域专家进行标注，获得大规模标注数据集的成本过于高，导致很多领域目前无法使用深度学习。第三，深度学习需要大量的数据和多次迭代训练出一个模型，但是当面临新类别出现的时候，又需要重新进行训练。

基于此，学者们提出了少样本学习，少样本学习的目标就是面对新类别样本数量极少的情况下，利用过往的经验进行快速学习。少样本学习的研究意义在于以下两点：第一，少样本学习能够借助几个新类别标记的数据集就对整个数据集进行分类，进而能够解决对大量未知图片标记的问题。第二，少样本学习可以在原先训练好的模型基础上，加上少量新类别数据进行训练，就可以快速学习到新类别的知识，从而对新类别进行准确的分类，进而解决传统深度学习需要重新训练的问题。

少样本学习的问题可以被定义为C-way K-shot任务，即给定一个支撑集S，它包含C个不同的图像类，每个类有K个标记的样本。对于给定的查询集Q，少样本学习的目的是根据支撑集S对查询集Q中每个未标记的样本进行分类。然而，由于支撑集S的样本数量极少，它将很难有效的训练模型对查询集样本Q进行分类。因此需要借助一组辅助数据集，这组辅助数据集包含大量的类和标记样本,但其与支撑集S的类别不相交。通过在辅助数据集上进行学习，以提取可转移的知识，使我们能够在支撑集S上进行更好的少样本学习，从而更准确的对查询集Q进行分类。少样本学习中的网络训练机制是情节训练机制。这个训练机制是在匹配网络中被提出的，后续的研究中均采用了这种训练机制。这种机制使用辅助数据集作为训练的样本，每一次训练的时候都从辅助数据集中随机选择C类样本，每类样本中选取K个标记样本作为支撑集，从剩余的样本中选取部分样本作为查询集，每次训练都使用网络对查询集进行分类，使用分类损失进行网络的训练。在无数次迭代训练后就认为这个网络具备了面对新的C个类别，能够根据每个类别仅有的K个样本，对于未标记的样本进行准确分类。

目前针对少样本学习任务的算法，大致可分为两类：

第一类是基于度量的方法。该方法的核心思想在于度量支撑集样本与查询集样本特征之间的距离或相似度，距离最近或者相似度最高的则被判别为是查询集所属的类别。由于少样本学习任务中的样本过少，而神经网络分类器存在大量参数，在训练分类器的时候就会产生过拟合的现象。为了避免过拟合，所以采用非参数化的分类器来度量未标记样本与标记样本之间的相似度或距离。其中Vinyals等人提出的匹配网络，使用不同的特征提取网络分别提取支撑集和查询集特征，使用查询集样本与支撑集同一类别不同样本距离的加权和计算分类概率。匹配网络中还首次提出了情景训练机制，这种训练方式被后面的小样本学习算法研究广泛使用。Snell等人提出的原型网络，使用每个类的均值作为类原型，使用查询集样本与支撑集样本的距离来计算分类概率。Sung等人提出的关系型网络，对度量方式进行建模，训练一个网络来学习计算查询集与支持集的相似度。Garcia等人提出的图神经网络，使用图神经网络，利用支撑集样本标签推理出查询集样本所属的类别。

第二类是基于元学习的方法。元学习指的是根据过往的经验来快速的学习新任务，其目标是使用大量的学习任务来学习模型，使得模型使用少量的训练样本就可以解决新的任务。其中最具代表的算法就是Finn等人提出的MAML算法，该方法首先使用元学习学习一组神经网络权值作为网络的初始权重，然后利用来自新任务的少量训练数据训练网络，几步的梯度下降就可以使得网络在新任务上取得很好的性能。Ravi等人提出的Meta-Learner LSTM算法使用一个基于LSTM的元学习器作为优化器来训练目标网络的参数、初始化权重。

但是以上两种方法都存在缺点，即面对新的少样本学习任务时网络还需要进行微调。

发明内容

有鉴于此，本发明的目的是提出一种基于样本级注意力网络的少样本学习方法，只需学习大量相似的学习任务就可以解决新的目标任务，对于目标任务，不再需要模型更新。

本发明采用以下方案实现：一种基于样本级注意力网络的少样本学习方法，具体包括以下步骤：

将支撑集的样本和查询集的样本分别输入到特征提取模块中，得到相应的支撑集特征向量和查询集特征向量；

将每个类对应的支撑集特征向量输入到样本级注意力网络模块中得到每个类别的类原型；

通过计算查询集特征向量与每个类原型之间的距离，得到查询集特征向量所属类别的概率分布；

采用查询集的交叉熵损失与支撑集的分类损失共同训练特征提取模块与样本级注意力网络模块，反向传播求梯度更新网络。

进一步地，所述将每个类对应的支撑集特征向量输入到样本级注意力网络模块中得到每个类别的类原型具体为：

对于类别i，其原型的计算公式如下：

式中，c_i代表支撑集T_s中第i类的类原型，N表示第i类支撑集样本数量，α_j表示第i类支撑集中第j个支撑集样本的权重，

表示第i类中第j个支撑集样本的特征向量。

进一步地，所述第i类支撑集中第j个支撑集样本的权重α_j的计算公式如下：

其中，

式中，

表示第i类中第j个支撑集样本的特征向量，

为查询集样本的特征向量，g(·)表示全连接层，·表示点乘运算，σ(·)为激活函数，sum{·}表示对向量里的所有元素求和。

进一步地，所述通过计算查询集特征向量与每个类原型之间的距离，得到查询集特征向量所属类别的概率分布具体为：

通过下式计算查询集样本x_q为第i类的概率：

式中，d(.,.)为两个特征向量之间的距离，c_i代表支撑集T_s中第i类的类原型，N表示第i类支撑集样本数量，

为查询集样本的特征向量。

进一步地，所述采用查询集的交叉熵损失与支撑集的分类损失共同训练特征提取模块与样本级注意力网络模块具体为：采用以下损失函数来训练特征提取模块与样本级注意力网络模块：

式中，

表示第i类中第j个支撑集样本，x_q代表查询集样本。第一项为查询集的交叉熵分类损失，其中P_θ(y＝i|x_q)为查询集样本x_q为第i类的概率；第二项为支撑集的交叉熵分类损失，其中

为支撑集

为第i类的概率，其中

计算公式如下所示：

式中，d(.,.)为两个特征向量之间的距离，c_i代表支撑集T_s中第i类的类原型，N表示第i类支撑集样本数量，

为支撑集样本的特征向量。

与现有技术相比，本发明有以下有益效果：

1.由于少样本学习中每个类别的样本数量比较少，可能会存在部分样本目标不明显从而影响分类性能的情况，为了解决这个问题，本发明使用样本级注意力网络，能够更好的获得与分类任务更加相关的类原型。

2.本发明在查询集分类损失的基础上加上支撑集分类损失，保证模型计算出的原型既能对查询样本进行正确的分类，又能对该类中的支撑集样本进行正确的分类。支撑集分类损失会拉近同一类支撑集样本与该类原型之间的距离，从而拉远与支撑集样本不同类别的原型的距离，使得整个特征空间各类间距离变大，类内距离变小。

附图说明

图1为本发明实施例的原理框架示意图。

图2为本发明实施例的特征提取模块示意图。

图3为本发明实施例的特征提取模块中的残差块的网络结构图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种基于样本级注意力网络的少样本学习方法，具体包括以下步骤：

将支撑集的样本和查询集的样本分别输入到特征提取模块中，得到相应的支撑集特征向量和查询集特征向量；

将每个类对应的支撑集特征向量输入到样本级注意力网络模块中得到每个类别的类原型；

通过计算查询集特征向量与每个类原型之间的距离，得到查询集特征向量所属类别的概率分布；

采用查询集的交叉熵损失与支撑集的分类损失共同训练特征提取模块与样本级注意力网络模块，反向传播求梯度更新网络。

较佳的，如图2所示，本实施例所使用的特征提取模块为ResNet-256F，在该网络的最后本实施例使用全局平均池化层代替全连接层。具体来说，该特征提取网络包含了四个残差块和一个全局平均池化层。其中一个残差块如图3所示，可以表示为：

x_l+1＝x_l+F(x_l,W_l)；

残差块分为两部分：直接映射部分和残差部分。F(x_l,W_l)代表残差部分，由3个3×3卷积层组成，如图3中右侧部分所示。网络的前两个残差块还包含一个2×2的最大池化层，而后两个块没有。将支撑集T_s的样本

和查询集T_Q的样本x_q分别输入ResNet-256F中，得到相应的特征向量

和

在本实施例中，所述将每个类对应的支撑集特征向量输入到样本级注意力网络模块中得到每个类别的类原型具体为：

对于类别i，其原型的计算公式如下：

式中，c_i代表支撑集T_s中第i类的类原型，N表示第i类支撑集样本数量，α_j表示第i类支撑集中第j个支撑集样本的权重，

表示第i类中第j个支撑集样本的特征向量。

在本实施例中，所述第i类支撑集中第j个支撑集样本的权重α_j的计算公式如下：

其中，

式中，

表示第i类中第j个支撑集样本的特征向量，

为查询集样本的特征向量，g(·)表示全连接层，·表示点乘运算，σ(·)为激活函数，sum{·}表示对向量里的所有元素求和。

在本实施例中，所述通过计算查询集特征向量与每个类原型之间的距离，得到查询集特征向量所属类别的概率分布具体为：

通过下式计算查询集样本x_q为第i类的概率：

式中，d(.,.)为两个特征向量之间的距离，本实施例取欧式距离，c_i代表支撑集T_s中第i类的类原型，N表示第i类支撑集样本数量，

为查询集样本的特征向量。

在本实施例中，所述采用查询集的交叉熵损失与支撑集的分类损失共同训练特征提取模块与样本级注意力网络模块具体为：采用以下损失函数来训练特征提取模块与样本级注意力网络模块：

式中，

表示第i类中第j个支撑集样本，x_q代表查询集样本。第一项为查询集的交叉熵分类损失，其中P_θ(y＝i|x_q)为查询集样本x_q为第i类的概率；第二项为支撑集的交叉熵分类损失，其中

为支撑集

为第i类的概率，其中

计算公式如下所示：

式中，d(.,.)为两个特征向量之间的距离，c_i代表支撑集T_s中第i类的类原型，N表示第i类支撑集样本数量，

为支撑集样本的特征向量。

特别的，传统的方法使用的是查询集的交叉熵损失来训练网络。本发明在交叉熵损失的基础上加上支撑集分类损失，保证模型计算出的原型既能对查询样本进行正确的分类，又能对该类中的支撑集样本进行正确的分类。

特别的，本实施例中的样本为图像数据。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (5)

1.一种基于样本级注意力网络的少样本学习方法，其特征在于，包括以下步骤：

将支撑集的样本和查询集的样本分别输入到特征提取模块中，得到相应的支撑集特征向量和查询集特征向量；

将每个类对应的支撑集特征向量输入到样本级注意力网络模块中得到每个类别的类原型；

通过计算查询集特征向量与每个类原型之间的距离，得到查询集特征向量所属类别的概率分布；

采用查询集的交叉熵损失与支撑集的分类损失共同训练特征提取模块与样本级注意力网络模块，反向传播求梯度更新网络。

2.根据权利要求1所述的一种基于样本级注意力网络的少样本学习方法，其特征在于，所述将每个类对应的支撑集特征向量输入到样本级注意力网络模块中得到每个类别的类原型具体为：

对于类别i，其原型的计算公式如下：

式中，c_i代表支撑集T_s中第i类的类原型，N表示第i类支撑集样本数量，α_j表示第i类支撑集中第j个支撑集样本的权重，

表示第i类中第j个支撑集样本的特征向量。

3.根据权利要求2所述的一种基于样本级注意力网络的少样本学习方法，其特征在于，所述第i类支撑集中第j个支撑集样本的权重α_j的计算公式如下：

其中，

式中，

表示第i类中第j个支撑集样本的特征向量，

为查询集样本的特征向量，g(·)表示全连接层，·表示点乘运算，σ(·)为激活函数，sum{·}表示对向量里的所有元素求和。

4.根据权利要求1所述的一种基于样本级注意力网络的少样本学习方法，其特征在于，所述通过计算查询集特征向量与每个类原型之间的距离，得到查询集特征向量所属类别的概率分布具体为：

通过下式计算查询集样本x_q为第i类的概率：

式中，d(.,.)为两个特征向量之间的距离，c_i代表支撑集T_s中第i类的类原型，N表示第i类支撑集样本数量，

为查询集样本的特征向量。

5.根据权利要求1所述的一种基于样本级注意力网络的少样本学习方法，其特征在于，所述采用查询集的交叉熵损失与支撑集的分类损失共同训练特征提取模块与样本级注意力网络模块具体为：采用以下损失函数来训练特征提取模块与样本级注意力网络模块：

式中，

表示第i类中第j个支撑集样本，x_q代表查询集样本；第一项为查询集的交叉熵分类损失，其中P_θ(y＝i|x_q)为查询集样本x_q为第i类的概率；第二项为支撑集的交叉熵分类损失，其中

为支撑集

为第i类的概率，其中

计算公式如下所示：

式中，d(.,.)为两个特征向量之间的距离，c_i代表支撑集T_s中第i类的类原型，N表示第i类支撑集样本数量，

为支撑集样本的特征向量。

Images