CN115170868A

CN115170868A - 一种基于聚类的小样本图像分类两阶段元学习方法

Info

Publication number: CN115170868A
Application number: CN202210692889.9A
Authority: CN
Inventors: 袁进; 黄淑茵
Original assignee: Hunan University
Current assignee: Hunan University
Priority date: 2022-06-17
Filing date: 2022-06-17
Publication date: 2022-10-11

Abstract

本发明公开了一种基于聚类的小样本图像分类两阶段元学习方法，将聚类与对比学习应用到小样本图像分类中，包括以下步骤：步骤1：确定小样本数据集，对小样本图像数据聚类；步骤2：二阶段元学习网络结构设计；步骤3：损失函数设计；步骤4：将聚类后的图片输入二阶段元学习网络对比训练；步骤5：利用训练好的二阶段模型对新类图像进行特征提取；步骤6：基于多特征计算图像相似度输出分类结果；通过将聚类和二阶段元学习网络对比训练引入小样本学习，使得网络能更好地提取图像的可区分性特征；网络结构上，增加了共性特征提取网络与个性特征提取网络，采用三重损失函数训练，更细粒度地区分相似样本，提升目前小样本图像识别的准确率。

Description

一种基于聚类的小样本图像分类两阶段元学习方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于聚类的小样本图像分类两阶段元学习方法。

背景技术

近年来，深度学习理论在计算机视觉任务中取得了巨大的成功。凭借庞大的网络结构以及海量的训练参数，深度学习算法采用大量带标签数据优化训练网络，在诸多领域展现出卓越的性能。另一方面，考虑到部分领域(如医学、军事领域等)数据的隐私性，数据获取难度较大，且需要具备专业知识的人员进行标记，导致获取大量带标签数据代价昂贵。因此，如何在有限样本的条件下实现深度网络的高效学习亟待解决。

为解决该问题，近年来研究学者们逐渐关注于小样本学习任务。小样本学习是指在训练类别样本较少的情况下进行相关学习的任务，期望机器通过学习大量基类数据后,仅需少量新类样本就能快速学习到新类的特性并作出预测。通常情况下，小样本学习仅需1到5个样本就能完成图像的分类任务。在此条件下，将小样本图像分类运用到数据稀缺领域，将会节约采集数据所需的巨额成本，具有非常高的研究价值。

目前，现有的小样本方法主要分为以下三类：基于模型的小样本学习，基于参数优化的小样本学习，以及基于数据增强的小样本学习。基于模型的小样本学习通过模型结构的设计，实现在少量样本上的参数快速更新，建立样本与预测值之间的映射函数；基于参数优化的小样本学习通过改进参数快速更新策略实现模型参数的更新；基于数据增强的小样本学习将小样本学习的根本问题归咎于样本数量过少，样本多样性太低，通过为小样本类别合成新的带标签数据扩充训练数据以实现性能提升。在训练方式上，基于元学习的训练方式被研究者普遍认可。目前元学习训练方式主要分为元训练阶段与元测试阶段。元训练阶段基于大量的基类数据训练模型并测试性能，而元测试阶段对新类进行特征学习与预测。在每一个阶段，算法模拟小样本学习的方式随机抽取N个类别，每个类别K个样本进行参数学习(称为N-way,K-shot)，不断迭代来提升模型的性能。尽管该方式取得了一定的性能提升，但其准确度仍然无法令人满意，尤其是对相似类别的区分性能不高，其原因是N-way,K-shot的随机取样模式获得的样本信息量不高，绝大部分样本之间的差异性较大，识别难度不高，从而无法推动模型进行更细粒度的深度挖掘学习。

基于此问题，本发明提出了一种基于聚类的小样本图像分类两阶段元学习方法，改进原有的元学习模式，引入聚类技术与对比学习方式，优化小样本学习网络结构与损失函数，大幅度提高相似类别的识别精度。该发明成果具有重大的应用价值，在图像样本稀缺、图像类别相似度极高的条件下能够实现图像的精准分类。

发明内容

为解决上述问题，本发明提出了一种基于聚类的小样本图像分类两阶段元学习方法，将聚类与对比学习应用到小样本图像分类中，包括以下步骤：

步骤1：确定小样本数据集，对小样本图像数据聚类；

步骤2：二阶段元学习网络结构设计；

步骤3：损失函数设计；

步骤4：将聚类后的图片输入二阶段元学习网络对比训练；

步骤5：利用训练好的二阶段模型对新类图像进行特征提取；

步骤6：基于多特征计算图像相似度输出分类结果。

进一步的，步骤1中包含的数据集有：mini-Imagenet、tiered-Imagenet以及CUB200；对数据集进行划分，分为“基类数据集”和“新类数据集”，两个数据集涵盖的类别不重叠；在样本空间中，相似类别的图像特征相对聚集，不相似类的图像特征相距较远，采用K-Means聚类算法对所有图像进行聚类，区分类别之间的相似度。

进一步的，步骤2中，卷积神经网络以Resnet-12为主要结构提取图片特征；在此基础上设计共性特征网络与个性特征网络，共性特征网络旨在学习同一聚类内不同类别图像的共性特征，个性特征网络旨在学习不同类别图像之间的可区分性个性特征，从而得到两组不同类型的特征，为细粒度图像分类提供强大的特征支持。

进一步的，步骤3中，损失函数包括交叉熵损失函数和三重损失函数；

交叉熵损失函数表达式为：

其中，y为期望值标签输出，x为神经网络实际标签输出，n为样本数；交叉熵损失用于基础特征提取网络、共性特征提取网络以及个性特征提取网络末端，用于确保网络输出的类别标签以及聚类标签的正确性；

三重损失函数表示为：

Loss₂＝max{||f(a)-f(b)||₂-||f(a)-f(c)||₂+α，0}，

其中a，b为同一类的图像，而a，c为同一聚类下不同类别的图像，α为距离参数用于扩大两个相似类别之间的特征距离。

进一步的，步骤4中，相比于传统的单阶段元学习训练模式，采用双阶段的对比训练方式，其中：

第一阶段，包括：对聚类后的基类数据集小样本图像输入Resnet-12基础特征提取网络，再经过共性神经网络和个性特征网络得到的相应的共性特征与个性特征，分别利用分类器将图像特征映射为分类标签计算损失函数；其中，Resnet-12与共性特征网络部分用的是交叉熵损失函数，个性特征网络用的是交叉熵损失函数和三重损失函数；

第二阶段与第一阶段在区别在于：将聚类后的基类数据集小样本图像分为支持集和查询集，两者进行对比学习；融合后的特征利用分类器根据支持集和查询集的余弦相似度计算交叉熵损失；二阶段对比训练的方法相较于单阶段训练，能够更好地识别图像差异性的特征；

余弦相似度表达式为：

其中f(m)、f(n)分别为支持集、查询集样本的特征向量。

进一步的，步骤5中，新类数据集中的支持集和查询集图片输入元学习网络中提取特征，每一张图片提取出两种特征：共性特征与个性特征。

进一步的，步骤6中，根据步骤5得到了新类中支持集和查询集图片的共性特征与个性特征，利用步骤5中的余弦相似度度量出共性相似度与个性相似度，综合考虑两者最终输出与待测查询集图片类别相似度最高的类别标签，得到图像分类结果。

本发明有益效果如下：本发明创新性地将聚类和二阶段元学习网络对比训练引入小样本学习，将同一聚类不同类别的相似图像进行对比训练，使得网络能更好地提取图像的可区分性特征。网络结构上，增加了共性特征提取网络与个性特征提取网络，采用三重损失函数训练，能够更细粒度地区分相似样本，提升目前小样本图像识别的准确率。

附图说明

图1是本发明方法流程图；

图2是本发明数据集聚类以及支持集、查询集的组成过程图；

图3是本发明二阶段元学习网络对比训练过程图；

图4是本发明新类图像预测类别过程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。

下面结合说明书附图对本发明做进一步说明：

如图1所示，一种基于聚类的小样本图像分类两阶段元学习方法，包括如下步骤：

步骤一：确定小样本数据集，对小样本图像数据聚类；

具体地，步骤一的具体步骤为：

图2为数据集聚类以及支持集、查询集的组成过程图。步骤1中包含的数据集有：mini-Imagenet、tiered-Imagenet以及CUB200。首先需要对数据集进行划分，分为“基类数据集”和“新类数据集”，两个数据集涵盖的类别不重叠。在样本空间中，相似类别的图像特征相对聚集，不相似类的图像特征相距较远，因此采用K-Means聚类算法对所有图像进行聚类，区分类别之间的相似度。具体来说，假设簇划分为(C₁,C₂,...,C_k),当采用欧式距离聚类时，数据x与第i个簇的中心点c_i之间的距离计算式如下：

其中，k是簇的个数，由人工进行设置。聚类算法的目标是最小化数据对象到簇中心的平方误差dist。

步骤二：二阶段元学习网络结构设计；

具体地，步骤二的具体步骤为：

卷积神经网络以Resnet-12为主要结构提取图片特征；在此基础上设计了共性特征网络与个性特征网络，共性特征网络旨在学习同一聚类内不同类别图像的共性特征，而个性特征网络旨在学习不同类别图像之间的可区分性个性特征，从而得到两组不同类型的特征，为细粒度图像分类提供强大的特征支持。

步骤三：损失函数设计；

具体地，步骤三的具体步骤为：

损失函数包括交叉熵损失函数和三重损失函数；

交叉熵损失函数表达式为：

其中，y为期望值标签输出，x为神经网络实际标签输出，n为样本数；交叉熵损失用于基础特征提取网络、共性特征提取网络以及个性特征提取网络末端，用于确保网络输出的类别标签以及聚类标签的正确性。

三重损失函数表示为：

Loss₂＝max{||f(a)-f(b)||₂-||f(a)-f(c)||₂+α，0}，

步骤四：将聚类后的图片输入二阶段元学习网络对比训练；

具体地，步骤四的具体步骤为：

图3为二阶段元学习网络对比训练过程图，相比于传统的单阶段元学习训练模式，方法采用双阶段的对比训练方式，其中：

第一阶段，包括：对聚类后的基类数据集小样本图像输入Resnet-12基础特征提取网络，再经过共性神经网络和个性特征网络得到的相应的共性特征与个性特征，分别利用分类器将图像特征映射为分类标签计算损失函数。其中，Resnet-12与共性特征网络部分用的是交叉熵损失函数，个性特征网络用的是交叉熵损失函数和三重损失函数；

第二阶段与第一阶段不同的是：将聚类后的基类数据集小样本图像分为支持集和查询集，两者进行对比学习；融合后的特征利用分类器根据支持集和查询集的余弦相似度计算交叉熵损失；二阶段对比训练的方法相较于单阶段训练，能够更好地识别图像差异性的特征。

余弦相似度表达式为：

其中f(m)、f(n)分别为支持集、查询集样本的特征向量。

步骤五：利用训练好的二阶段模型对新类图像进行特征提取；

具体地，步骤五的具体步骤为：

新类数据集中的支持集和查询集图片输入元学习网络中提取特征，每一张图片提取出两种特征：共性特征与个性特征。

步骤六：基于多特征计算图像相似度输出分类结果。

具体地，步骤六的具体步骤为：

图4是新类图像预测类别过程图，根据步骤5得到了新类中支持集和查询集图片的共性特征与个性特征，利用步骤5的余弦相似度度量出共性相似度与个性相似度，综合考虑两者最终输出与待测查询集图片类别相似度最高的类别标签，得到图像分类结果。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims

1.一种基于聚类的小样本图像分类两阶段元学习方法，其特征在于，将聚类与对比学习应用到小样本图像分类中，包括以下步骤：

步骤1：确定小样本数据集，对小样本图像数据聚类；

步骤2：二阶段元学习网络结构设计；

步骤3：损失函数设计；

步骤4：将聚类后的图片输入二阶段元学习网络对比训练；

步骤5：利用训练好的二阶段模型对新类图像进行特征提取；

步骤6：基于多特征计算图像相似度输出分类结果。

2.根据权利要求1所述一种基于聚类的小样本图像分类两阶段元学习方法，其特征在于：所述步骤1中包含的数据集有：mini-Imagenet、tiered-Imagenet以及CUB200；对数据集进行划分，分为“基类数据集”和“新类数据集”，两个数据集涵盖的类别不重叠；在样本空间中，相似类别的图像特征相对聚集，不相似类的图像特征相距较远，采用K-Means聚类算法对所有图像进行聚类，区分类别之间的相似度。

3.根据权利要求1所述一种基于聚类的小样本图像分类两阶段元学习方法，其特征在于：步骤2中，卷积神经网络以Resnet-12为主要结构提取图片特征；在此基础上设计共性特征网络与个性特征网络，共性特征网络旨在学习同一聚类内不同类别图像的共性特征，个性特征网络旨在学习不同类别图像之间的可区分性个性特征，从而得到两组不同类型的特征，为细粒度图像分类提供强大的特征支持。

4.根据权利要求1所述一种基于聚类的小样本图像分类两阶段元学习方法，其特征在于：步骤3中，所述损失函数包括交叉熵损失函数和三重损失函数；

所述交叉熵损失函数表达式为：

所述三重损失函数表示为：

Loss₂＝max{||f(a)-f(b)||₂-||f(a)-f(c)||₂+α，0}，

5.根据权利要求1所述一种基于聚类的小样本图像分类两阶段元学习方法，其特征在于：步骤4中，相比于传统的单阶段元学习训练模式，采用双阶段的对比训练方式，其中：

所述余弦相似度表达式为：

其中f(m)、f(n)分别为支持集、查询集样本的特征向量。

6.根据权利要求1所述一种基于聚类的小样本图像分类两阶段元学习方法，其特征在于：步骤5中，新类数据集中的支持集和查询集图片输入元学习网络中提取特征，每一张图片提取出两种特征：共性特征与个性特征。

7.根据权利要求6所述一种基于聚类的小样本图像分类两阶段元学习方法，其特征在于：步骤6中，根据步骤5得到了新类中支持集和查询集图片的共性特征与个性特征，利用步骤5中的余弦相似度度量出共性相似度与个性相似度，综合考虑两者最终输出与待测查询集图片类别相似度最高的类别标签，得到图像分类结果。