CN114387473A - 一种基于基类样本特征合成的小样本图像分类方法 - Google Patents

Abstract

本发明涉及小样本图像分类技术领域，具体涉及一种基于基类样本特征合成的小样本图像分类方法，本发明利用监督对比损失函数在基类数据集上对模型进行预训练得到特征提取器，提取基类和新类样本特并计算原型，对于每类新类原型，利用Cosine相似性计算其近邻基类原型，并在新类原型与其近邻基类原型之间线性合成若干新的样本特征。本发明在不考虑样本分布的情况下，就能实现少量支持样本特征的增强，从而提高小样本图像分类性能。本发明将基类视为多数类，采用过采样技术对新类中的样本进行扩充，能够解决基类与新类之间样本不平衡问题。

Description

一种基于基类样本特征合成的小样本图像分类方法

技术领域

本发明涉及小样本图像分类技术领域，具体涉及一种基于基类样本特征合成的小样本图像分类方法。

背景技术

图像分类是机器学习和计算机视觉领域中的一项非常重要的基础性课题，在诸如目标检测、行人重识别、目标跟踪等众多前沿研究领域中起着至关重要的作用。近年来，伴随着大量标签图像数据的出现，该领域利用深度学习技术取得突破性进展。但是只从少量图像数据中就快速形成并理解一个新的概念，对于深度神经网络来说仍然是一个非常巨大的挑战。小样本学习旨在标注数据非常少的情况下完成相关学习任务，是解决上述问题的主要方法。而在图像分类任务中，小样本学习技术利用少量的训练样本完成图像的分类决策。

小样本图像分类任务中存在的根本问题在于每类样本数量太少从而导致无法精确地刻画每类样本的分布。因而，在原图像空间对图像样本集进行扩充或者在特征空间进行增强是解决该问题的有效方式。目前，已经出现了若干基于数据增强的小样本图像分类方法。例如Chen等(Chen Z T,FuYW,Chen KY,Jiang Y G.Image block augmentation forone-shot learning.[C]//Proceedings of the 34th AAAI Conference on ArtificialIntelligence,Hawaii,USA,2019:3379-3386.)通过将相似的无标签图像中某些小块代替新类支持图像样本中某些小块的拼图技术实现图像样本的扩充；Zhang等(Zhang H,ZhangJ,Koniusz P.Few-shot learning via saliency-guided hallucination of samples[C]//Proceedings of the IEEE Conference on Computer Vision andPatternRecognition.2019:2770-2779)利用显著性目标检测算法，将图像分割成前景与背景，再将不同图片的前景和背景进行拼合，组成更多的合成图像，以此实现数据集的扩充；除此之外，在特征空间进行数据增强是对每类样本的类间变化进行建模的有效手段。例如，Hariharan等(Hariharan B,Girshick,R..Low-shot visual recognition by shrinkingand hallucinating features[C]/Proceedings ofthe IEEE International Conferenceon ComputerVision,Venice,Italy,2017:3018-3027.)利用自动编码器对同类别不同样本之间的变化建立模型，然后借助于这种变化信息为新类中的样本生成新样本来实现图像集的扩充。另外，通过生成器与判别器互相博弈隐含地对学习数据分布的生产式对抗网络同样也是实现小样本特征增强的有效方式。例如，Li等(Li K,Zhang Y,Li K，Fu Y,Adversarial feature hallucination networks for few-shot learning[C]//Proceedings ofthe 33rd IEEE Conference on Computer Vision and PatternRecognition.Piscataway,NJ,USA:IEEE Press,2020:2020:13467-13476.)使用更稳定的Wasserstein GAN和两个新颖的正则化项来同时保证所生成的小样本数据特征的判别性和多样性。

然而，上述方法往往采用复杂的自编码器或者生成式对抗网络隐含对数据分布进行建模，并且还忽略了基类样本与新类样本非常不平衡的问题。为了解决上述问题，本发明提供了一种基于基类样本特征合成的小样本图像分类方法。

发明内容

针对以上问题，本发明提供了一种基于基类样本特征合成的小样本图像分类方法，在不考虑样本分布的情况下，就能实现少量支持样本特征的增强，从而提高小样本图像分类性能。

为了实现上述目的，本发明采用的技术方案如下：

一种基于基类样本特征合成的小样本图像分类方法，包括以下步骤：

步骤1：对于给定的数据集D，确定待处理的基类数据集D_base和新类数据集D_novel。其中

表示基类数据集中第c个类别数据样本集合，x_m表示第m个基类图像样本，y_m表示其对应的标签，C_b表示基类数据集中的类别总数，N_c为第c个类别基类数据样本的数目。在D_novel上构建N-way-K-shot分类任务，每个分类任务由支持样本集

和查询样本集

组成，其中x_s表示第s个支持样本，y_s表示对应的标签，x_q表示第q个查询样本。

步骤2：从基类数据集D_base中随机抽取M个图像样本，使用图像增强技术将其扩充为2M个样本，然后将其输入到参数为α的编码器E_α()和参数为β的投影器P_β()中，得到由2M个数据特征组成的集合

其中u_m表示第m个图像样本的特征，y_m为其对应的标签。假定集合中任意数据为锚点，并将其作为正例样本，将集合A(m)中与该锚点标签的所有样本视为正例样本，构建正例样本集合P(m)，而集合A(m)中的所有剩余样本为负例样本，构建负例样本集合N(m)。计算关于正例样本集合P(n)与负例样本集合N(n)之间的监督对比损失，计算该损失函数关于参数的梯度，并利用梯度下降算法对编码器E_α()中参数α和投影器P_β()中参数β进行优化。

步骤3：将步骤2中预训练好的编码器E_α()作为特征提取器，对基类数据集中的所有样本提取特征，并计算每类样本的原型。假定基类数据集中所有类的原型集合为

其中P_c为基类数据集中第c个类别的原型。

步骤4，将步骤2中预训练好的编码器E_α()作为特征提取器，对新类数据集中的支持图像样本提取特征，并计算每类支持样本的原型特征。假设第n个类别的原型表示为P_n，利用cosine相似性计算其与基类原型数据集P_base的L个近邻，然后在P_n与其每个近邻基类原型之间线性合成产生新的样本特征。

步骤5：利用增广后的支持样本数据集

对逻辑回归分类器进行训练；

步骤6：将步骤2中预训练好的编码器E_α()作为特征提取器，对新类数据集中的查询图像样本提取特征，利用训练好的逻辑回归分类器进行测试。

优选地，所述步骤1的具体步骤如下：

(1)对于给定的数据集D，将其分割为三个子集，即训练集D_train，验证集D_val和测试集D_test，每个子集中的分类类别不相同，即：

D_train∪D_val∪D_test＝D。

(2)将训练集D_train作为基类数据集D_base，测试集D_test作为新类数据集D_novel，在D_novel数据集中随机抽取N个类别，每个类别中随机抽取K个样本，得到支持样本集

其中x_s表示第s个支持样本，y_s表示对应的标签，再在N个类别中的剩余数据中抽取一批样本得到查询样本集

其中x_q表示第q个查询样本。

优选地，所述步骤2中，基于监督对比损失函数的优化过程如下：

(1)从D_train抽取M个图像样本作为训练的批图像样本集D_M，对于其中的第i个基类图像样本x_i，利用增强技术对其增强得到

并将其添输入到编码器E_α()和投影器P_β()得到相应的d维特征向量，这里编码器E_α()为残差神经网络，投影器P_β()为只有一层隐含层的多层感知器，则第i个基类图像样本x_i的特征表示为：u_i＝P_β(E_α(x_i))；

(2)经过特征提取环节，此时得到由2M个数据特征组成的集合

其中u_m表示第m个图像样本的特征，y_m为其对应的标签；将u_m作为正例样本，在集合A(m)中所有样本的标签与y_m一致都视为正例样本，构成正例样本集合P(m)；剩余样本则被视为负例样本，构成负例样本集合N(m)；

(3)基于正例样本集合P(m)与负例样本集合N(m)所构建的监督对比损失函数的计算公式为：

其中，τ∈⁺为温度系数，u_p为正例样本集合P(m)中的第p个样本，u_a为负例样本集合N(m)中第a个样本特征，s(·)表示任意两个样本的cosine相似性度量，表达式为：

(4)利用梯度下降算法对参数进行更新，直到算法收敛为止，此时完成对主干网络的预训练。

优选地，所述步骤3中，原型的计算过程如下：

(1)固定编码器E_α()中的参数α，对基类数据集中的所有样本提取特征，假设第c个基类中有N_i个样本，其中第i个图像样本x_i的d维特征表示为：

u_i＝P_β(E_α(x_i))

(2)基类数据集中第c个类别的原型计算公式为：

所有的基类原型组成的集合记为

优选地，所述步骤4中，样本特征合成的计算过程如下：

(1)固定编码器E_α()中的参数α，对新类数据集中的所有支持样本提取特征，假设第n个新类中的第s个图像样本x_s的d维特征表示为：

u_s＝P_β(E_α(x_s))

(2)第n个新类的原型计算公式为：

(3)对于第n个原型P_n，其L个近邻基类原型表示为

从J_n选取某一近邻基类原型P_l，则新合成的样本特征表示为：

其中，λ∈[0,1]为随机常数，通过改变λ的值以及重复选取J_n中近邻基类原型，就可以为第n个新类合成大量的样本特征。

优选地，所述步骤5中，分类器的训练过程如下：

(1)对于增广后的支持样本数据集

将其输入到参数矩阵为W＝[w₁,w₂,....w_N]的逻辑回归分类器g_w(·)中，第s个支持样本的属于第n个类别输出值p_sn为：

(2)对分类器进行优化的损失函数的计算公式为：

(3)计算损失函数关于参数W的梯度，并利用梯度下降算法对其更新，直到算法收敛得到训练好的逻辑回归分类器g_w(·)。

优选地，所述步骤6中，测试过程如下：

(1)固定编码器E_α()中的参数α，对新类数据集中的查询样本提取特征，第q个支持样本的d维特征表示为：

u_q＝P_β(E_α(x_q))

(2)利用训练好的对查询样本进行分类决策为：

本发明有益效果：

1、在不考虑新类样本分布的情况下，本发明基于基类样本征特合成的小样本图像分类方法能够为每类新类合成大量新的样本特征，从而避免过拟合，提高分类正确率。

2、本发明基于基类样本征特合成的小样本图像分类方法将基类视为多数类，采用过采样技术对新类中的样本进行扩充，能够解决基类与新类之间样本不平衡问题。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合附图将对本发明实施例中的技术方案进行清楚、完整地描述，以使本领域的技术人员能够更好的理解本发明的优点和特征，从而对本发明的保护范围做出更为清楚的界定。本发明所描述的实施例仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，一种基于基类样本特征合成的小样本图像分类方法，包括以下步骤：

步骤1：对于给定的数据集D，确定待处理的基类数据集D_base和新类数据集D_novel。其中

表示基类数据集中第c个类别数据样本集合，x_m表示第m个基类图像样本，y_m表示其对应的标签，C_b表示基类数据集中的类别总数，N_c为第c个类别基类数据样本的数目。在D_novel上构建N-way-K-shot分类任务，每个分类任务由支持样本集

和查询样本集

组成，其中x_s表示第s个支持样本，y_s表示对应的标签，x_q表示第q个查询样本。

步骤2：从基类数据集D_base中随机抽取M个图像样本，使用图像增强技术将其扩充为2M个样本，然后将其输入到参数为α的编码器E_α()和参数为β的投影器P_β()中，得到由2M个数据特征组成的集合

其中u_m表示第m个图像样本的特征，y_m为其对应的标签。假定集合中任意数据为锚点，并将其作为正例样本，将集合A(m)中与该锚点标签的所有样本视为正例样本，构建正例样本集合P(m)，而集合A(m)中的所有剩余样本为负例样本，构建负例样本集合N(m)。计算关于正例样本集合P(n)与负例样本集合N(n)之间的监督对比损失，计算该损失函数关于参数的梯度，并利用梯度下降算法对编码器E_α()中参数α和投影器P_β()中参数β进行优化。

步骤3：将步骤2中预训练好的编码器E_α()作为特征提取器，对基类数据集中的所有样本提取特征，并计算每类样本的原型。假定基类数据集中所有类的原型集合为

其中P_c为基类数据集中第c个类别的原型。

步骤4，将步骤2中预训练好的编码器E_α()作为特征提取器，对新类数据集中的支持图像样本提取特征，并计算每类支持样本的原型特征。假设第n个类别的原型表示为P_n，利用cosine相似性计算其与基类原型数据集P_base的L个近邻，然后在P_n与其每个近邻基类原型之间线性合成产生新的样本特征。

步骤5：利用增广后的支持样本数据集

对逻辑回归分类器进行训练。

步骤6：将步骤2中预训练好的编码器E_α()作为特征提取器，对新类数据集中的查询图像样本提取特征，利用训练好的逻辑回归分类器进行测试。

具体的，所述步骤1的具体步骤如下：

(1)对于给定的数据集D，将其分割为三个子集，即训练集D_train，验证集D_val和测试集D_test，每个子集中的分类类别不相同，即：

D_train∪D_val∪D_test＝D。

(2)将训练集D_train作为基类数据集D_base，测试集D_test作为新类数据集D_novel，在D_novel数据集中随机抽取N个类别，每个类别中随机抽取K个样本，得到支持样本集

其中x_s表示第s个支持样本，y_s表示对应的标签，再在N个类别中的剩余数据中抽取一批样本得到查询样本集

其中x_q表示第q个查询样本。

具体的，所述步骤2中，基于监督对比损失函数的优化过程如下：

(1)从D_train抽取M个图像样本作为训练的批图像样本集D_M，对于其中的第i个基类图像样本x_i，利用增强技术对其增强得到

并将其添输入到编码器E_α()和投影器P_β()得到相应的d维特征向量，这里编码器E_α()为残差神经网络，投影器P_β()为只有一层隐含层的多层感知器，则第i个基类图像样本x_i的特征表示为：u_i＝P_β(E_α(x_i))；

(2)经过特征提取环节，此时得到由2M个数据特征组成的集合

其中u_m表示第m个图像样本的特征，y_m为其对应的标签；将u_m作为正例样本，在集合A(m)中所有样本的标签与y_m一致都视为正例样本，构成正例样本集合P(m)；剩余样本则被视为负例样本，构成负例样本集合N(m)；

(3)基于正例样本集合P(m)与负例样本集合N(m)所构建的监督对比损失函数的计算公式为：

其中，τ∈⁺为温度系数，u_p为正例样本集合P(m)中的第p个样本，u_a为负例样本集合N(m)中第a个样本特征，s(·)表示任意两个样本的cosine相似性度量，表达式为：

(4)利用梯度下降算法对参数进行更新，直到算法收敛为止，此时完成对主干网络的预训练。

具体的，所述步骤3中，原型的计算过程如下：

(1)固定编码器E_α()中的参数α，对基类数据集中的所有样本提取特征，假设第c个基类中有N_i个样本，其中第i个图像样本x_i的d维特征表示为：

u_i＝P_β(E_α(x_i))

(2)基类数据集中第c个类别的原型计算公式为：

所有的基类原型组成的集合记为

具体的，所述步骤4中，样本特征合成的计算过程如下：

(1)固定编码器E_α()中的参数α，对新类数据集中的所有支持样本提取特征，假设第n个新类中的第s个图像样本x_s的d维特征表示为：

u_s＝P_β(E_α(x_s))

(2)第n个新类的原型计算公式为：

(3)对于第n个原型P_n，其L个近邻基类原型表示为

从J_n选取某一近邻基类原型P_l，则新合成的样本特征表示为：

其中，λ∈[0,1]为随机常数，通过改变λ的值以及重复选取J_n中近邻基类原型，就可以为第n个新类合成大量的样本特征。

具体的，所述步骤5中，分类器的训练过程如下：

(1)对于增广后的支持样本数据集

将其输入到参数矩阵为W＝[w₁,w₂,....w_N]的逻辑回归分类器g_w(·)中，第s个支持样本的属于第n个类别输出值p_sn为：

(2)对分类器进行优化的损失函数的计算公式为：

(3)计算损失函数关于参数W的梯度，并利用梯度下降算法对其更新，直到算法收敛得到训练好的逻辑回归分类器g_w(·)。

具体的，所述步骤6中，测试过程如下：

(1)固定编码器E_α()中的参数α，对新类数据集中的查询样本提取特征，第q个支持样本的d维特征表示为：

u_q＝P_β(E_α(x_q))

(2)利用训练好的对查询样本进行分类决策为：

以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (7)

1.一种基于基类样本特征合成的小样本图像分类方法，其特征在于，包括以下步骤：

步骤1：对于给定的数据集D，确定待处理的基类数据集D_base和新类数据集D_novel；其中

表示基类数据集中第c个类别数据样本集合，x_m表示第m个基类图像样本，y_m表示其对应的标签，C_b表示基类数据集中的类别总数，N_c为第c个类别基类数据样本的数目；在D_novel上构建N-way-K-shot分类任务，每个分类任务由支持样本集

和查询样本集

组成，其中x_s表示第s个支持样本，y_s表示对应的标签，x_q表示第q个查询样本；

步骤2：从基类数据集D_base中随机抽取M个图像样本，使用图像增强技术将其扩充为2M个样本，然后将其输入到参数为α的编码器E(_α)和参数为β的投影器P(_β)中，得到由2M个数据特征组成的集合

其中u_m表示第m个图像样本的特征，y_m为其对应的标签；假定集合中任意数据为锚点，并将其作为正例样本，将集合A(m)中与该锚点标签的所有样本视为正例样本，构建正例样本集合P(m)，而集合A(m)中的所有剩余样本为负例样本，构建负例样本集合N(m)；计算关于正例样本集合P(n)与负例样本集合N(n)之间的监督对比损失，计算该损失函数关于参数的梯度，并利用梯度下降算法对编码器E(_α)中参数α和投影器P(_β)中参数β进行优化；

步骤3：将步骤2中预训练好的编码器E(_α)作为特征提取器，对基类数据集中的所有样本提取特征，并计算每类样本的原型；假定基类数据集中所有类的原型集合为

其中P_c为基类数据集中第c个类别的原型；

步骤4，将步骤2中预训练好的编码器E(_α)作为特征提取器，对新类数据集中的支持图像样本提取特征，并计算每类支持样本的原型特征；假设第n个类别的原型表示为P_n，利用cosine相似性计算其与基类原型数据集P_base的L个近邻，然后在P_n与其每个近邻基类原型之间线性合成产生新的样本特征；

步骤5：利用增广后的支持样本数据集

对逻辑回归分类器进行训练；

步骤6：将步骤2中预训练好的编码器E(_α)作为特征提取器，对新类数据集中的查询图像样本提取特征，利用训练好的逻辑回归分类器进行测试。

2.根据权利要求1所述的一种基于基类样本特征合成的小样本图像分类方法，其特征在于，所述步骤1的具体步骤如下：

将训练集D_train作为基类数据集D_base，测试集D_test作为新类数据集D_novel，在D_novel数据集中随机抽取N个类别，每个类别中随机抽取K个样本，得到支持样本集

其中x_s表示第s个支持样本，y_s表示对应的标签，再在N个类别中的剩余数据中抽取一批样本得到查询样本集

其中x_q表示第q个查询样本。

3.根据权利要求1所述的一种基于基类样本特征合成的小样本图像分类方法，其特征在于，所述步骤2 中，基于监督对比损失函数的优化过程如下：

(1)从D_train抽取M个图像样本作为训练的批图像样本集D_M，对于其中的第i个基类图像样本x_i，利用增强技术对其增强得到

并将其添输入到编码器E(_α)和投影器P(_β)得到相应的d维特征向量，这里编码器E(_α)为残差神经网络，投影器P(_β)为只有一层隐含层的多层感知器，则第i个基类图像样本x_i的特征表示为：u_i＝P_β(E_α(x_i))；

(2)经过特征提取环节，此时得到由2M个数据特征组成的集合

其中u_m表示第m个图像样本的特征，y_m为其对应的标签；将u_m作为正例样本，在集合A(m)中所有样本的标签与y_m一致都视为正例样本，构成正例样本集合P(m)；剩余样本则被视为负例样本，构成负例样本集合N(m)；

(3)基于正例样本集合P(m)与负例样本集合N(m)所构建的监督对比损失函数的计算公式为：

其中，τ∈⁺为温度系数，u_p为正例样本集合P(m)中的第p个样本，u_a为负例样本集合N(m)中第a个样本特征，s(·)表示任意两个样本的cosine相似性度量，表达式为：

(4)利用梯度下降算法对参数进行更新，直到算法收敛为止，此时完成对主干网络的预训练。

4.根据权利要求1所述的一种基于基类样本特征合成的小样本图像分类方法，其特征在于，所述步骤3中，原型的计算过程如下：

(1)固定编码器E(_α)中的参数α，对基类数据集中的所有样本提取特征，假设第c个基类中有N_i个样本，其中第i个图像样本x_i的d维特征表示为：

u_i＝P_β(E_α(x_i))

(2)基类数据集中第c个类别的原型计算公式为：

所有的基类原型组成的集合记为

5.根据权利要求1所述的一种基于基类样本特征合成的小样本图像分类方法，其特征在于，所述步骤4中，样本特征合成的计算过程如下：

(1)固定编码器E(_α)中的参数α，对新类数据集中的所有支持样本提取特征，假设第n个新类中的第s个图像样本x_s的d维特征表示为：

u_s＝P_β(E_α(x_s))

(2)第n个新类的原型计算公式为：

(3)对于第n个原型P_n，其L个近邻基类原型表示为

从J_n选取某一近邻基类原型P_l，则新合成的样本特征表示为：

其中，λ∈[0,1]为随机常数，通过改变λ的值以及重复选取J_n中近邻基类原型，就可以为第n个新类合成大量的样本特征。

6.根据权利要求1所述的一种基于基类样本特征合成的小样本图像分类方法，其特征在于，所述步骤5中，分类器的训练过程如下：

(1)对于增广后的支持样本数据集

将其输入到参数矩阵为W＝[w₁,w₂,....w_N]的逻辑回归分类器g_w(·)中，第s个支持样本的属于第n个类别输出值p_sn为：

(2)对分类器进行优化的损失函数的计算公式为：

(3)计算损失函数关于参数W的梯度，并利用梯度下降算法对其更新，直到算法收敛得到训练好的逻辑回归分类器g_w(·)。

7.根据权利要求1所述的一种基于基类样本特征合成的小样本图像分类方法，其特征在于，所述步骤6中，测试过程如下：

(1)固定编码器E(_α)中的参数α，对新类数据集中的查询样本提取特征，第q个支持样本的d维特征表示为：

u_q＝P_β(E_α(x_q))

(2)利用训练好的对查询样本进行分类决策为：

Images