CN114898136B - 一种基于特征自适应的小样本图像分类方法 - Google Patents

Abstract

本发明涉及一种基于特征自适应的小样本图像分类方法。本发明充分利用了支持集类间的信息，学习基于特定任务的模型，通过自适应方法，分两个模块对特征表示的鉴别性信息进行增强，从而提高在目标任务上的性能。首先在特定任务中利用类间注意力方法学习到了类间的潜在联系，并用这种视觉信息更新原来的特征。更新后的特征不仅包含了实例中的鉴别性信息，还针对这一特定任务作出整体的关联。然后将支持集投影至高维空间得到掩码，从而在空间中得到任务相关的特征维度，去除了冗余信息对分类的影响。本发明方法克服现有技术专注于提取鉴别性特征，缺失针对特定任务和支持集类间联系，特征空间信息冗余的问题，使分类效果更加优秀。

Description

一种基于特征自适应的小样本图像分类方法

技术领域

本发明属于计算机视觉领域，具体涉及一种基于特征自适应的小样本图像分类方法。

背景技术

小样本图像分类是指给定很少的标记样本(支持集)，这些样本的类别在训练时从未出现，将未标记的样本(查询集)通过少量的标记样本分类为新的类别。传统图像分类方法已经通过深度学习模型取得了先进成果，但很大程度上依赖于大量的训练数据。而在现实应用场景中，很多特殊类别只能采集到极少量样本或标记数据，而对无标签数据进行标注将会消耗大量资源。因此，小样本图像分类方法在学术界和工业界均有着重要的研究价值。在人类的快速学习能力的启发下，研究人员希望神经网络模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习。这就是小样本图像分类要解决的问题。

近年来，随着深度学习的迅速发展，小样本图像分类领域涌现出大量的基于空间度量的分类方法，这类方法通常是在大量已有的图像类别上训练神经网络模型，选取支持和查询样本并将其嵌入到一个共享的特征空间后，比较特征的相似性。一个经典的空间度量方法是原型网络，原型网络通过平均支持集得到每个类别的原型，优化查询样本到同一类别原型的距离来训练模型。训练好模型后，对测试数据到支持集各个类别原型的距离做softmax，来判断测试数据的类别标签。

虽然这类方法能够学习到丰富的特征，但这些特征都是依据支持集的每个类别独立地提取，所构成的特征空间可能包含了对于任务分类无用的特征维度，这样提取到的特征充斥大量的冗余信息，这些信息无益于分类，而且还会掩盖关键的鉴别性信息。

发明内容

本发明的目的是为了解决上述背景技术中存在的不足，即对于不同的小样本图像分类任务采用了公有的特征提取器，特征空间无法考虑到不同小样本图像分类任务的鉴别性信息。本发明提出了一种基于特征自适应的小样本图像分类方法。考虑了小样本图像分类任务内部类间的相似度信息，加入了特征自适应操作，并通过将支持集嵌入高维空间得到鉴别性信息掩码，从而在空间中得到任务相关的特征维度进行分类。本发明方法克服了现有技术存在的特征空间特征信息冗余的问题。

为了实现上述目的，本发明所采用的技术方案为：

基于特征自适应的小样本图像分类方法，该方法分为如下步骤：

步骤一，划分数据集，将数据集划分为训练集D_train，测试集D_test，训练集与测试集包含不同种类的图像；

步骤二，构建小样本分类任务，从训练集D_train中取样支持集D_support和查询集D_query构成任务，并将所述小样本分类任务中包含的图像经过特征提取器提取支持集和查询集的初步特征；

步骤三，将提取到的支持集特征送入Transformer结构的自适应模块；

步骤四，将实现自适应后的支持集特征送入投影模块，将每类支持集特征按通道方向级联，然后将其嵌入至新的特征空间，在通道方向上使用softmax得到支持集各类别的掩码；

步骤五，通过Reshaper模块将最初经过特征提取器得到的支持集和查询集的特征嵌入至和掩码共享的特征空间，并将通过每类支持集得到的各类掩码分别应用至支持集特征和查询集特征；

步骤六，计算应用掩码后的查询集和各类支持集的相似度分数，应用softmax进行分类，计算交叉熵损失，反向传播更新网络参数；

步骤七，重复进行步骤二至六，训练整体的网络模型，得到训练后网络模型，使用训练后的网络模型对测试集D_test样本进行分类。

进一步的，步骤二的具体实现方式如下；

构建小样本分类任务，任务包含支持集和查询集，给定一个查询样本，其目标是将其分类为支持集中的一个类别，首先从训练集D_train中取样若干个N个类别的样本，然后从每个类别中随机选K个样本，构建支持集 指支持集样本，/>指样本对应标签；类别中剩余的样本构建查询集/> 指支持集样本，/>指样本对应标签，n_q为查询集样本数量；

将支持集和查询集的图像样本x送入特征提取器f_θ(·)，得到支持集和查询集的初步特征表示:

φ_x＝f_θ(x)

特征提取器f_θ(·)由四个卷积神经网络块构成，每一个卷积神经网络块包括：64个3×3维卷积核，批归一化层，ReLU激活函数，2×2最大池化层；

进一步的，步骤三的具体实现方式如下；

将支持集样本的特征表示送入Transformer结构的自适应模块，为得到Transformer结构中的query，key，value集合，分别采用三组线性层对支持集样本的特征进行投影，线性层的维度是d×d′，d对应样本的特征表示的维度，对支持集内的每个样本特征分别进行变换，每个样本特征都得到query，key，value向量，支持集的样本得到的query，key，value可以分别构成集合Q，K，V，公式如下：

其中是支持集样本经过特征提取器得到的特征表示集合，/>表示/>中的元素个数，φ_x指经过特征提取器得到的支持集样本的初步特征表示；

单个query与其他样本得到的key点乘计算相似度，再经过softmax得到注意力向量α_q,:，向量α_q,:的第k个元素α_qk揭示了样本q和样本k之间的相似性，V_:,k对应value中的第k列，将计算出的注意力值作为权重同value中的对应列作列对应加权求和得到新的query值经过线性层/>改变特征至原来的通道数，和原特征φ_x相加，τ表示经过dropout和LN转换，得到更新后的特征χ_x，公式如下：

进一步的，步骤四的具体实现方式如下；

将实现自适应后的支持集特征送入投影模块，实现自适应后的支持集特征图大小为(NK,m₁,d₁,d₁)，N是类别数，K是每个类别的样本数，m₁是通道数，d₁是特征的长和宽，将每类支持集特征按通道方向级联，得到张量大小为(N,Km₁,d₁,d₁)，然后通过投影模块将其嵌入至新的特征空间，得到张量大小为(N,m₂,d₂,d₂)，在通道方向上使用softmax得到不同类别的掩码一共有对应类别数N个掩码p，掩码可以掩盖不相关的特征，并通过支持集的特征来选择对当前的小样本任务最具鉴别性的特征。

进一步的，步骤五的具体实现方式如下；

为使掩码p影响支持集和查询集的特征，通过Reshaper模块匹配网络中掩码和样本特征之间的形状，将最初经过特征提取器得到的支持集和查询集的特征通过Reshaper模块嵌入至掩码共享的特征空间，并将各类掩码p分别按元素乘法应用至支持集特征和查询集特征，支持集应用掩码后，还应平均得到该类的原型；

其中φ_x指经过特征提取器得到的支持集样本的初步特征表示；是支持集样本经过特征提取器得到的特征表示集合，/>是支持集第i类的集合，p_i是第i类的掩码，⊙表示样本方向广播掩码，/>是支持集应用掩码后平均得到的原型；

其中Q是查询集样本经过特征提取器得到的特征表示集合，p_i是第i类掩码，⊙表示样本方向广播掩码，Qⁱ表示应用了第i类掩码的查询集特征集合，表示第j个应用了第i类掩码的查询特征。

进一步的，Reshaper模块和投影模块都由三个卷积神经网络块构成，每一个卷积神经网络块包括：3×3卷积核的卷积层，批归一化层，ReLU激活函数，2×2最大池化层；

进一步的，步骤六的具体实现方式如下；

通过掩码得到的支持集和查询集特征，计算二者间的欧式距离来度量相似度，得到距离后通过softmax将查询样本分类至支持集的类别，以查询集第z个样本为例，其分类至第k类的概率为：

其中，表示了查询集应用了第k个掩码的第z个样本，和支持集应用了第k个掩码的第k类原型之间的欧式距离；

计算损失用到的交叉熵损失，公式如下：

其中，为Q_z的真实标签，n_q为查询集样本数量；

得到损失后，反向传播更新网络参数。

与现有技术相比，本发明具有如下有益效果：

本发明方法基于PyTorch深度学习框架，充分利用了支持集类间的信息，学习基于特定任务的模型，通过自适应方法分两个模块对特征表示的鉴别性信息进行增强，从而提高在目标任务上的性能。首先在特定任务中利用类间注意力方法学习到了类间的潜在联系，并用这种视觉信息更新了原来的特征，更新后的特征不仅包含了实例中的鉴别性信息，还对这一特定任务有了整体的关联，然后投影支持集得到掩码，去除了冗余信息对分类的影响。本发明方法克服了现有技术专注于提取鉴别性特征，缺失针对特定任务和支持集类间联系的问题，使分类效果更加优秀。

附图说明

图1为本发明的流程示意图。

图2为本发明中所述方法在训练阶段的网络结构图，其中以单张查询样本为例。

具体实施方式

下面结合附图和实施例对本发明做进一步的说明。

实施例1

本实施例提供的基于特征自适应的小样本图像分类方法，具体步骤如下：

步骤一，划分数据集，将数据集划分为训练集D_train，测试集D_test，训练集与测试集应包含不同种类的图像，每类样本图像数目一般不少于600个；

步骤二，构建小样本分类任务，从训练集D_train中取样支持集D_support和查询集D_query构成任务，并将所述小样本分类任务中包含的图像经过特征提取器提取支持集和查询集的初步特征；

进一步的，步骤二的具体实现方式如下；

构建小样本分类任务，任务包含支持集和查询集。给定一个查询样本，其目标是将其分类为支持集中的一个类别。首先从训练集D_train中取样若干个N个类别的样本，然后从每个类别中随机选K个样本，构建支持集 指支持集样本，/>指样本对应标签；类别中剩余的样本构建查询集/> 指支持集样本，/>指样本对应标签，n_q为查询集样本数量；

将支持集和查询集的图像样本x送入特征提取器f_θ(·)，得到支持集和查询集的初步特征表示:

φ_x＝f_θ(x)

特征提取器f_θ(·)由四个卷积神经网络块构成，每一个卷积神经网络块包括：64个3×3维卷积核，批归一化层，ReLU激活函数，2×2最大池化层；

步骤三，将提取到的支持集特征送入Transformer结构的自适应模块。其中，自注意力机制促进了实例嵌入适应，并且考虑了任务内支持集类间的信息；

进一步的，步骤三的具体实现方式如下；

将支持集样本的特征表示送入Transformer结构的自适应模块。为得到Transformer结构中的query，key，value集合，分别采用三组线性层对支持集样本的特征进行投影，线性层的维度是d×d′，d对应样本的初步特征表示的维度。对支持集内的每个样本特征分别进行变换，每个样本特征都得到query，key，value向量，支持集的样本得到的query，key，value可以分别构成集合Q，K，V，公式如下：

其中是支持集样本经过特征提取器得到的特征表示集合，/>表示/>中的元素个数，φ_x指经过特征提取器f()得到的支持集样本的初步特征表示。

单个query与其他样本得到的key点乘计算相似度，再经过softmax得到注意力向量α_q,:，向量α_q,:的第k个元素α_qk揭示了样本q和样本k之间的相似性，V_:,k对应value中的第k列，将计算出的注意力值作为权重同value中的对应列作加权求和得到新的query值经过线性层/>改变特征至原来的通道数，和原特征φ_x相加，τ表示经过dropout和LN转换(layer normalization，通道方向做归一化)，得到更新后的特征ψ_x，公式如下：

步骤四，将实现自适应后的支持集特征送入投影模块。将每类支持集特征按通道方向级联，然后将其嵌入至新的特征空间，在通道方向上使用softmax得到支持集各类别的掩码，掩码可以掩盖不相关的特征，并通过支持集的特征来选择对当前的小样本任务最具鉴别性的特征。

进一步的，步骤四的具体实现方式如下；

将实现自适应后的支持集特征送入投影模块。实现自适应后的支持集特征图大小为(NK,m₁,d₁,d₁)，N是类别数，K是每个类别的样本数，m₁是通道数，d₁是特征的长和宽。将每类支持集特征按通道方向级联，得到张量大小为(N,Km₁,d₁,d₁)，然后通过投影模块将其嵌入至新的特征空间，得到张量大小为(N,m₂,d₂,d₂)，在通道方向上使用softmax得到不同类别的掩码一共有对应类别数N个掩码p，掩码可以掩盖不相关的特征，并通过支持集的特征来选择对当前的小样本任务最具鉴别性的特征。

步骤五，通过Reshaper模块将最初经过特征提取器得到的支持集和查询集的特征嵌入至和掩码共享的特征空间，并将通过每类支持集得到的各类掩码分别应用至支持集特征和查询集特征。

进一步的，步骤五的具体实现方式如下；

为使掩码p影响支持集和查询集的特征，需要通过Reshaper模块匹配网络中掩码和样本特征之间的形状。将最初经过特征提取器得到的支持集和查询集的特征通过Reshaper模块嵌入至掩码共享的特征空间，并将各类掩码p分别按元素乘法应用至支持集特征和查询集特征，支持集应用掩码后，还应平均得到该类的原型。

其中是支持集样本经过特征提取器得到的特征表示集合，/>是支持集第i类的集合，p_i是该类的掩码，⊙表示样本方向广播掩码，/>是支持集应用掩码后平均得到的原型。

其中Q是查询集样本经过特征提取器得到的特征表示集合，p_i是第i类掩码，⊙表示样本方向广播掩码，Qⁱ表示应用了第i类掩码的查询集特征集合，表示第j个应用了第i类掩码的查询特征。

进一步的，Reshaper模块和投影模块都由三个卷积神经网络块构成，每一个卷积神经网络块包括：3×3卷积核的卷积层，批归一化层，ReLU激活函数，2×2最大池化层；

步骤六，计算应用掩码后的查询集和各类支持集的相似度分数，应用softmax进行分类，计算交叉熵损失，反向传播更新网络参数；

进一步的，步骤六的具体实现方式如下；

通过掩码得到的支持集和查询集特征，计算二者间的欧式距离来度量相似度，得到距离后通过softmax将查询样本分类至支持集的类别，以查询集第z个样本为例，其分类至第k类的概率为：

其中，表示了查询集应用了第k个掩码的第z个样本，和支持集应用了第k个掩码的第k类原型之间的欧式距离。

计算损失用到的交叉熵损失，公式如下：

其中，为Q_z的真实标签，n_q为查询集样本数量。

得到损失后，反向传播更新网络参数。

步骤七，重复进行步骤二至六，训练神经网络模型，得到训练后网络模型，使用训练后模型对测试集D_test样本进行分类。

进一步的，步骤七的具体实现方式如下；

重复进行步骤二至六，迭代训练深度神经网络模型，得到训练后的网络模型，使用训练后模型对测试集D_test样本进行分类。

从测试集D_test中取样小样本分类任务，与步骤二中从训练集中采样采取相同的方式，测试分类性能。

应当理解的是，上述针对实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，本发明可以有各种更改和变化。在不脱离本发明权利要求所保护的范围。所作的任何修改、等同替换、改进等，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种基于特征自适应的小样本图像分类方法，其特征在于，包括如下步骤：

步骤一，划分数据集，将数据集划分为训练集D_train，测试集D_test，训练集与测试集包含不同种类的图像；

步骤二，构建小样本分类任务，从训练集D_train中取样支持集D_support和查询集D_query构成任务，并将所述小样本分类任务中包含的图像经过特征提取器提取支持集和查询集的初步特征；

步骤三，将提取到的支持集特征送入Transformer结构的自适应模块；

步骤三的具体实现方式如下；

将支持集样本的特征表示送入Transformer结构的自适应模块，为得到Transformer结构中的query，key，value集合，分别采用三组线性层对支持集样本的特征进行投影，线性层的维度是d×d′，d对应样本的特征表示的维度，对支持集内的每个样本特征分别进行变换，每个样本特征都得到query，key，value向量，支持集的样本得到的query，key，value可以分别构成集合Q，K，V，公式如下：

其中是支持集样本经过特征提取器得到的特征表示集合，/>表示/>中的元素个数，φ_x指经过特征提取器得到的支持集样本的初步特征表示；

单个query与其他样本得到的key点乘计算相似度，再经过softmax得到注意力向量α_q,:，向量α_q,:的第k个元素α_qk揭示了样本q和样本k之间的相似性，V_:,k对应value中的第k列，将计算出的注意力值作为权重同value中的对应列作列对应加权求和得到新的query值经过线性层/>改变特征至原来的通道数，和原特征φ_x相加，τ表示经过dropout和LN转换，得到更新后的特征ψ_x，公式如下：

步骤四，将实现自适应后的支持集特征送入投影模块，将每类支持集特征按通道方向级联，然后将级联后得到张量嵌入至新的特征空间，在通道方向上使用softmax得到支持集各类别的掩码；

步骤五，通过Reshaper模块将最初经过特征提取器得到的支持集和查询集的特征嵌入至和掩码共享的特征空间，并将通过每类支持集得到的各类掩码分别应用至支持集特征和查询集特征；

步骤五的具体实现方式如下；

为使掩码p影响支持集和查询集的特征，通过Reshaper模块匹配网络中掩码和样本特征之间的形状，将最初经过特征提取器得到的支持集和查询集的特征通过Reshaper模块嵌入至掩码共享的特征空间，并将各类掩码p分别按元素乘法应用至支持集特征和查询集特征，支持集应用掩码后，还应平均得到该类的原型；

其中φ_x指经过特征提取器得到的支持集样本的初步特征表示；是支持集样本经过特征提取器得到的特征表示集合，/>是支持集第i类的集合，p_i是第i类的掩码，⊙表示样本方向广播掩码，/>是支持集应用掩码后平均得到的原型；

其中Q是查询集样本经过特征提取器得到的特征表示集合，p_i是第i类掩码，⊙表示样本方向广播掩码，Qⁱ表示应用了第i类掩码的查询集特征集合，表示第j个应用了第i类掩码的查询特征；

步骤六，计算应用掩码后的查询集和各类支持集的相似度分数，应用softmax进行分类，计算交叉熵损失，反向传播更新网络参数；

步骤七，重复进行步骤二至六，训练整体的网络模型，得到训练后网络模型，使用训练后的网络模型对测试集D_test样本进行分类。

2.如权利要求1所述的一种基于特征自适应的小样本图像分类方法，其特征在于：步骤二的具体实现方式如下；

构建小样本分类任务，任务包含支持集和查询集，给定一个查询样本，其目标是将其分类为支持集中的一个类别，首先从训练集D_train中取样若干个N个类别的样本，然后从每个类别中随机选K个样本，构建支持集 指支持集样本，/>指支持集样本对应标签；类别中剩余的样本构建查询集/> 指查询集样本，/>指查询集样本对应标签，n_q为查询集样本数量；

将支持集和查询集的图像样本x送入特征提取器f_θ(·)，得到支持集和查询集的初步特征表示:

φ_x＝f_θ(x)

特征提取器f_θ(·)由四个卷积神经网络块构成，每一个卷积神经网络块包括：64个3×3维卷积核，批归一化层，ReLU激活函数，2×2最大池化层。

3.如权利要求1所述的一种基于特征自适应的小样本图像分类方法，其特征在于：步骤四的具体实现方式如下；

将实现自适应后的支持集特征送入投影模块，实现自适应后的支持集特征图大小为(NK,m₁,d₁,d₁)，N是类别数，K是每个类别的样本数，m₁是通道数，d₁是特征的长和宽，将每类支持集特征按通道方向级联，得到张量大小为(N,Km₁,d₁,d₁)，然后通过投影模块将其嵌入至新的特征空间，得到张量大小为(N,m₂,d₂,d₂)，在通道方向上使用softmax得到不同类别的掩码一共有对应类别数N个掩码p，掩码可以掩盖不相关的特征，并通过支持集的特征来选择对当前的小样本任务最具鉴别性的特征。

4.如权利要求1所述的一种基于特征自适应的小样本图像分类方法，其特征在于：Reshaper模块和投影模块都由三个卷积神经网络块构成，每一个卷积神经网络块包括：3×3卷积核的卷积层，批归一化层，ReLU激活函数，2×2最大池化层。

5.如权利要求1所述的一种基于特征自适应的小样本图像分类方法，其特征在于：步骤六的具体实现方式如下；

通过掩码得到的支持集和查询集特征，计算二者间的欧式距离来度量相似度，得到距离后通过softmax将查询样本分类至支持集的类别，以查询集第z个样本为例，其分类至第k类的概率为：

其中，表示了查询集应用了第k个掩码的第z个样本，和支持集应用了第k个掩码的第k类原型之间的欧式距离；

计算损失用到的交叉熵损失，公式如下：

其中，为Q_z的真实标签，n_q为查询集样本数量；

得到损失后，反向传播更新网络参数。