CN110490227A - 一种基于特征转换的少样本图像分类方法 - Google Patents

Abstract

本发明公开了一种基于特征转换的少样本图像分类方法，具体可分为如下步骤：划分数据集；从训练集取样少样本分类任务；利用神经网络提取少样本分类任务样本的特征表示；利用数据的相似度信息对原始特征进行特征转换；对任务中待分类样本分类，计算交叉熵损失，反向传播更新网络参数；迭代训练得到理想的特征提取网络；完成少样本分类任务。本发明训练了一个适合于少样本分类的特征提取器，使得在训练数据极少的情况下，分类器仍可以取得较为理想的分类性能。并且在特征提取后增加了一步特征转换操作，使得少样本分类任务内部的相似度信息得以利用，在计算复杂度仅有极小的增加的情况下，分类性能获得显著提升。为少样本分类任务提供了新思路。

Description

一种基于特征转换的少样本图像分类方法

技术领域

本发明涉及深度学习与图像分类，具体涉及一种基于特征转换的少样本图像分类方法。

背景技术

近年来，深度学习在各个领域都取得了显著的成绩，例如在计算机视觉，机器翻译，语音建模等任务中都发挥了重要的作用。尽管深度学习已经获得了巨大的成功，训练深层神经网络却需要使用大量带标签数据进行迭代训练，才能达到这样令人惊叹的效果。在训练数据量很少的情况下，深层神经网络模型很难达到令人满意的性能。

相比于在训练数据很少的情况下难以训练的深层神经网络模型，人类，甚至小孩子都拥有通过仅仅看过几张新事物的图片便可以识别出新事物的能力。例如小孩子在百科全书中看到一张老虎的图片，即使之前不知道老虎这种动物，仍然可以在下次看到老虎时轻松的识别出来。

目前很多解决少样本图像分类的方法都受到了原型网络的影响。原型网络假设存在一个特征提取器可以将图像映射到一个特有的映射空间(embedding space)，在这个空间中，每一类图像都存在有原型，待分类样本可以通过与原型进行距离比较得到其分类结果，即K-近邻分类方法。原型可以由支持集各类样本的均值得到。原型网络简单而有效。在少样本分类标准数据集Mini-imagenet 数据集上，支持集中每类图像只有1个标注样本的情况下(one-shot-learning)，查询图像识别准确率达到49.42±0.78％，支持集中每类图像有5个标注样本的情况下(five-shot-learning)，查询图像识别准确率达到68.20±0.66％。

然而大部分解决少样本图像分类问题的方法都采取了使用一个公共的深层神经网络作为特征提取器。但是对于不同的少样本图像分类任务采用相同的特征提取器并不是最合适的方法。

发明内容

为了解决上述背景技术中存在的不足，即对于不同的少样本分类任务采用了公有的特征提取器，无法考虑到不同少样本分类任务特有的信息。本发明提出了一种基于特征转换的少样本图像分类方法。在原型网络的基础上，考虑了少样本分类任务内部样本点之间的相似度信息，加入了特征转换操作，使得识别准确率得到了提高。

为了实现上述目的，本发明所采用的技术方案为：

一种基于特征转换的少样本图像分类方法，该方法包括如下步骤：

步骤1，划分数据集，将数据集划分为训练集D_train，测试集D_test，训练集与测试集应包含不同种类的图像，每类样本图像数目一般不少于600个；

步骤2，从训练集D_train中取样少样本分类任务，并将所述少样本分类任务中包含的图像经过深度神经网络模型的前向传播计算，得到图像的高层特征表示，组成特征表示矩阵X；

步骤3，使用所述图像的高层特征计算图像两两之间的相似度，构建相似度矩阵，并按行归一化；

步骤4，对所述特征表示矩阵进行特征转换，即使用所述归一化后的相似度矩阵与所述特征表示矩阵使用矩阵乘法相乘，得到特征转换后的特征表示矩阵；

步骤5，使用K-近邻算法，对所述少样本分类任务中的D_query包含的图像进行分类，并计算交叉熵损失，反向传播更新网络参数；

步骤6，重复进行步骤2-5训练深度神经网络模型，得到训练后深度神经网络模型，使用测试集对训练后深度神经网络模型进行分类测试；

作为优选，所述步骤2从训练集中取样少样本分类任务，并将所述少样本分类任务中包含的图像经过深度神经网络模型的前向传播计算，得到图像的高层特征表示，组成特征表示矩阵具体包括：

所述少样本分类任务包括支持集D_support和查询集D_query；

其中，D_support包括K×N张图像样本，K表示图像种类的数量，N表示每种图像样本的数量，在从训练集中取样时应先随机选取K种图像作为此次少样本分类任务的分类目标，然后从选取的K种图像中，每种随机抽取N个样本作为支持集D_support，并且每种样本随机抽取N_q张作为查询集D_query；

注意D_query的图像种类与D_support的图像种类相同均为K，D_support每种图像均包含N张图像样本，D_query每种图像均包含N_q张待分类图像样本，两个集合交集为空；

可以将D_support看作少样本分类任务的训练集，而将D_query看作少样本分类任务的测试集，通过从D_support中获取知识以对D_query中的样本进行分类；

构建深度神经网络模型，深度神经网络模型由四个卷积神经网络块构成，每一个卷积神经网络块包括：

64个3×3维卷积核，批归一化层，ReLU激活函数，2×2最大池化层；

堆叠四个卷积神经网络块构成特征提取网络网络参数可采用现有的参数初始化策略对参数进行初始化；

图像经过特征提取网络f前向传播算法计算得到高层特征表示，并用高层特征表示构造特征表示矩阵X∈R^n×d：

其中，n表示少样本分类任务中所有图像数量，即包括支持集D_support与查询集D_query，d表示高层特征维数；

作为优选，步骤3所述使用所述图像的高层特征计算图像两两之间的相似度，构建相似度矩阵，并按行归一化，具体包括：

相似度矩阵W∈R^n×n

第i个特征向量与第j个特征的相似度为：

其中，x_i表示特征表示矩阵中第i行，即第i张图像的特征表示，与前述定义保持一致定义x_j，σ表示温度系数，对于不同数据集采用不同的温度系数；

对所得相似度矩阵使用公式T＝D^-1W进行按行归一化；

其中,D为相似度矩阵W各行相似度之和为对角线元素的对角阵，即

上述公式中d_i表示对角阵的第i个位置，T即为归一化后的结果；

T中任意元素T_ij可以表示在一个随机游走过程中，从第i个样本转移到第j 个样本的概率；

作为优选，所述步骤4对所述特征表示矩阵进行特征转换，即使用所述归一化后的相似度矩阵T与所述特征表示矩阵X使用矩阵乘法相乘，得到特征转换后的特征表示矩阵X_t，即X_t＝TX。

作为优选，所述步骤5使用K-近邻算法，对所述少样本分类任务中的D_query包含的图像进行分类，并计算交叉熵损失，反向传播更新网络参数具体包括：

以特征表示矩阵中的支持集D_support作为K-近邻算法的训练集，计算支持集 D_support的样本的各类原型：

上述公式中，c_k表示支持集D_support的第k类样本的原型，S_k表示D_support中第k类样本的集合，为特征提取器，x_i表示第i张图像的原始数据，即为第i张图像的特征表示；

使用上述各类样本原型的特征表示与查询集D_query中样本的特征表示计算两者间的欧氏距离，以此对查询集D_query中的样本进行分类，以待分类样本为x为例：

其中，函数表示计算x的特征表示与第k类原型c_k之间的欧氏距离，上述公式计算了样本x属于第k类的概率；

步骤5中所述计算交叉熵损失为：

使用反向传播算更新特征提取神经网络模型的参数

作为优选，步骤6所述重复进行步骤2-5训练深度神经网络模型，得训练后深度神经网络模型；

步骤6所述使用测试集对训练后深度神经网络模型进行分类测试具体包括：

通过多次从训练集中取样少样本分类任务，使用反向传播算法更新特征提取器神经网络的参数，得到最终的模型；

最后从测试集D_test中以取样少样本分类任务，与步骤2中从训练集中采样采取相同的方式，测试分类性能。

与现有的技术相比本发明的有益效果在于：

本发明所述的一种基于特征提取和特征转换的少样本分类方法，该方法利用了机器学习中的卷积神经网络对少样本图像分类任务中的图像进行特征提取，并利用了分类任务中样本间的相似度信息，进行了特征转换，使得少样本分类任务中不同分类任务使用的公有特征提取器利用到了不同任务中特有的信息。提高了分类任务的准确率。

利用本发明所述的基于特征转换的少样本图像分类方法，在每类只有一个标注样本的情况下(one-shot-learning)，图像识别准确率高于现有方法，以 Mini-Imagenet数据集上的测试结果为例，one-shot-learning准确率达到55％，高于现有方法。

利用本发明所述的基于特征转换的少样本图像分类方法，在每类只有五个标注样本的情况下(five-shot-learning)，图像识别准确率高于现有方法，以 Mini-Imagenet数据集上的测试结果为例，five-shot-learning准确率达到71％，高于现有方法。

附图说明

图1：为本发明的方法流程图；

图2：为本发明模型整体结构示意图；

图3：为本发明实施例是否加入特征转换操作的准确率对比图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于特征转换的少样本图像分类方法，该方法的整体结构图如图2所示，本发明的具体实施方式为一种基于特征转换的少样本图像分类方法，该方法包括如下步骤：

步骤1，划分数据集，将数据集划分为两部分，分别是训练集 其中，(x_i,y_i)表示一个样本，y_i∈{1,…,C}，表示对应数据x_i所属类别，总共有C种不同类型的图像，共N_train张被划分到训练集中。类似的，将数据集剩余部分用作测试集训练集与测试集应包含不同种类的图像，每类样本图像数目一般不少于600个；

步骤2，从训练集D_train中取样少样本分类任务，并将所述少样本分类任务中包含的图像经过深度神经网络模型的前向传播计算，得到图像的高层特征表示，组成特征表示矩阵X；

较佳地，所述步骤2从训练集中取样少样本分类任务，并将所述少样本分类任务中包含的图像经过深度神经网络模型的前向传播计算，得到图像的高层特征表示，组成特征表示矩阵具体包括：

所述少样本分类任务包括支持集和查询集

S_k＝{(x₁,y₁),(x₂,y₂),…,(x_N,y_N)},

其中，D_support包括K×N张图像样本，K表示图像种类的数量，N表示每种图像样本的数量，在从训练集中取样时应先随机选取K种图像作为此次少样本分类任务的分类目标，然后从选取的K种图像中，每种随机抽取N个样本作为支持集D_support，并且每种样本随机抽取N_q张作为查询集D_query,S_k与Q_k分别是支持集与查询集的第k类子集；

注意D_query的图像种类与D_support的图像种类相同均为K，D_support每种图像均包含N张图像样本，D_query每种图像均包含N_q张待分类图像样本，两个集合交集为空；

可以将D_support看作少样本分类任务的训练集，而将D_query看作少样本分类任务的测试集，通过从D_support中获取知识以对D_query中的样本进行分类；

构建深度神经网络模型，深度神经网络模型由四个卷积神经网络块构成，每一个卷积神经网络块包括：

64个3×3维卷积核，批归一化层，ReLU激活函数，2×2最大池化层；

堆叠四个卷积神经网络块构成特征提取网络网络参数可采用现有的参数初始化策略对参数进行初始化；

图像经过特征提取网络f前向传播算法计算得到高层特征表示，并用高层特征表示构造特征表示矩阵X∈R^n×d：

其中，n表示少样本分类任务中所有图像数量，即包括支持集D_support与查询集D_query，d表示高层特征维数；

步骤3，使用所述图像的高层特征计算图像两两之间的相似度，构建相似度矩阵，并按行归一化；

较佳地，步骤3所述使用所述图像的高层特征计算图像两两之间的相似度，构建相似度矩阵，并按行归一化，具体包括：

相似度矩阵W∈R^n×n

第i个特征向量与第j个特征的相似度为：

其中，x_i表示特征表示矩阵中第i行，即第i张图像的特征表示，与前述定义保持一致定义x_j，σ表示温度系数，对于不同数据集采用不同的温度系数；

对所得相似度矩阵使用公式T＝D^-1W进行按行归一化；

其中,D为相似度矩阵W各行相似度之和为对角线元素的对角阵，即

上述公式中d_i表示对角阵的第i个位置，T即为归一化后的结果；

T中任意元素T_ij可以表示在一个随机游走过程中，从第i个样本转移到第j 个样本的概率；

步骤4，对所述特征表示矩阵进行特征转换，即使用所述归一化后的相似度矩阵与所述特征表示矩阵使用矩阵乘法相乘，得到特征转换后的特征表示矩阵；

较佳地，所述步骤4对所述特征表示矩阵进行特征转换，即使用所述归一化后的相似度矩阵T与所述特征表示矩阵X使用矩阵乘法相乘，得到特征转换后的特征表示矩阵X_t，即X_t＝TX。

步骤5，使用K-近邻算法，对所述少样本分类任务中的D_query包含的图像进行分类，并计算交叉熵损失，反向传播更新网络参数；

较佳地，所述步骤5使用K-近邻算法，对所述少样本分类任务中的D_query包含的图像进行分类，并计算交叉熵损失，反向传播更新网络参数具体包括：

以特征表示矩阵中的支持集D_support作为K-近邻算法的训练集，计算支持集 D_support的样本的各类原型：

上述公式中，c_k表示支持集D_support的第k类样本的原型，S_k表示D_support中第k类样本的集合，为特征提取器，x_i表示第i张图像的原始数据，即为第i张图像的特征表示；

使用上述各类样本原型的特征表示与查询集D_query中样本的特征表示计算两者间的欧氏距离，以此对查询集D_query中的样本进行分类，以待分类样本为x为例：

其中，函数表示计算x的特征表示与第k类原型c_k之间的欧氏距离，上述公式计算了样本x属于第k类的概率；

步骤5中所述计算交叉熵损失为：

使用反向传播算更新特征提取神经网络模型的参数

步骤6，重复进行步骤2-5训练深度神经网络模型，得到训练后深度神经网络模型，使用测试集对训练后深度神经网络模型进行分类测试；

作为优选，步骤6所述重复进行步骤2-5训练深度神经网络模型，得训练后深度神经网络模型；

步骤6所述使用测试集对训练后深度神经网络模型进行分类测试具体包括：

通过多次从训练集中取样少样本分类任务，使用反向传播算法更新特征提取器神经网络的参数，得到最终的模型；

最后从测试集D_test中以取样少样本分类任务，与步骤2中从训练集中采样采取相同的方式，测试分类性能。

如图3所示为本发明实施例的准确率对比图，两条折线分别表示了是否加入特征转换操作的分类准确率，从图中容易看出，对于同一少样本分类任务，加入特征转换操作时的分类准确率普遍高于未加入特征转换操作时的分类准确率，证明了本方法的有效性。

以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员依然可以根据前述实施例或附图进行其他不同形式的修改或变动。这里无法对所有实施方式或技术方案进行穷举，所有本发明原则内的修改、更换等，均应包含在本发明要求的保护范围内。

Claims (6)

1.一种基于特征转换的少样本图像分类方法，其特征在于，该方法包括如下步骤：

步骤1，划分数据集，将数据集划分为训练集D_train，测试集D_test，训练集与测试集应包含不同种类的图像，每类样本图像数目一般不少于600个；

步骤2，从训练集D_train中取样少样本分类任务，并将所述少样本分类任务中包含的图像经过深度神经网络模型的前向传播计算，得到图像的高层特征表示，组成特征表示矩阵X；

步骤3，使用所述图像的高层特征计算图像两两之间的相似度，构建相似度矩阵，并按行归一化；

步骤4，对所述特征表示矩阵进行特征转换，即使用所述归一化后的相似度矩阵与所述特征表示矩阵使用矩阵乘法相乘，得到特征转换后的特征表示矩阵；

步骤5，使用K-近邻算法，对所述少样本分类任务中的D_query包含的图像进行分类，并计算交叉熵损失，反向传播更新网络参数；

步骤6，重复进行步骤2-5训练深度神经网络模型，得到训练后深度神经网络模型，使用测试集对训练后深度神经网络模型进行分类测试。

2.根据权利1所述的基于特征转换的少样本图像分类方法，其特征在于，

所述步骤2从训练集中取样少样本分类任务，并将所述少样本分类任务中包含的图像经过深度神经网络模型的前向传播计算，得到图像的高层特征表示，组成特征表示矩阵具体包括：

所述少样本分类任务包括支持集D_support和查询集D_query；

其中，D_support包括K×N张图像样本，K表示图像种类的数量，N表示每种图像样本的数量，在从训练集中取样时应先随机选取K种图像作为此次少样本分类任务的分类目标，然后从选取的K种图像中，每种随机抽取N个样本作为支持集D_support，并且每种样本随机抽取N_q张作为查询集D_query；

注意D_query的图像种类与D_support的图像种类相同均为K，D_support每种图像均包含N张图像样本，D_query每种图像均包含N_q张待分类图像样本，两个集合交集为空；

可以将D_support看作少样本分类任务的训练集，而将D_query看作少样本分类任务的测试集，通过从D_support中获取知识以对D_query中的样本进行分类；

构建深度神经网络模型，深度神经网络模型由四个卷积神经网络块构成，每一个卷积神经网络块包括：

64个3×3维卷积核，批归一化层，ReLU激活函数，2×2最大池化层；

堆叠四个卷积神经网络块构成特征提取网络网络参数可采用现有的参数初始化策略对参数进行初始化；

图像经过特征提取网络f前向传播算法计算得到高层特征表示，并用高层特征表示构造特征表示矩阵X∈R^n×d：

其中，n表示少样本分类任务中所有图像数量，即包括支持集D_support与查询集D_query，d表示高层特征维数。

3.根据权利1所述的基于特征转换的少样本图像分类方法，其特征在于，步骤3所述使用所述图像的高层特征计算图像两两之间的相似度，构建相似度矩阵，并按行归一化，具体包括：

相似度矩阵W∈R^n×n

第i个特征向量与第j个特征的相似度为：

其中，x_i表示特征表示矩阵中第i行，即第i张图像的特征表示，与前述定义保持一致定义x_j，σ表示温度系数，对于不同数据集采用不同的温度系数；

对所得相似度矩阵使用公式T＝D^-1W进行按行归一化；

其中,D为相似度矩阵W各行相似度之和为对角线元素的对角阵，即

上述公式中d_i表示对角阵的第i个位置，T即为归一化后的结果；

T中任意元素T_ij可以表示在一个随机游走过程中，从第i个样本转移到第j个样本的概率。

4.根据权利1所述的基于特征转换的少样本图像分类方法，其特征在于，步骤4中所述特征表示矩阵进行特征转换，即使用所述归一化后的相似度矩阵T与所述特征表示矩阵X使用矩阵乘法相乘，得到特征转换后的特征表示矩阵X_t，即X_t＝TX。

5.根据权利1所述的基于特征转换的少样本图像分类方法，其特征在于，步骤5所述使用K-近邻算法，对所述少样本分类任务中的D_query包含的图像进行分类，并计算交叉熵损失，反向传播更新网络参数具体包括：

以特征表示矩阵中的支持集D_support作为K-近邻算法的训练集，计算支持集D_support的样本的各类原型：

上述公式中，c_k表示支持集D_support的第k类样本的原型，S_k表示D_support中第k类样本的集合，为特征提取器，x_i表示第i张图像的原始数据，即为第i张图像的特征表示；

使用上述各类样本原型的特征表示与查询集D_query中样本的特征表示计算两者间的欧氏距离，以此对查询集D_query中的样本进行分类，以待分类样本为x为例：

其中，函数表示计算x的特征表示与第k类原型c_k之间的欧氏距离，上述公式计算了样本x属于第k类的概率；

步骤5中所述计算交叉熵损失为：

使用反向传播算更新特征提取神经网络模型的参数

6.根据权利1所述的基于特征转换的少样本图像分类方法，其特征在于，步骤6所述重复进行步骤2-5训练深度神经网络模型，得训练后深度神经网络模型；

步骤6所述使用测试集对训练后深度神经网络模型进行分类测试具体包括：

通过多次从训练集中取样少样本分类任务，使用反向传播算法更新特征提取器神经网络的参数，得到最终的模型；

最后从测试集D_test中以取样少样本分类任务，与步骤2中从训练集中采样采取相同的方式，测试分类性能。