CN110942091B - 寻找可靠的异常数据中心的半监督少样本图像分类方法 - Google Patents

Abstract

本发明公开了一种寻找可靠的异常数据中心的半监督少样本图像分类方法，具体可分为如下步骤：划分数据集；从训练集取样半监督少样本分类任务；利用神经网络提取少样本分类任务样本的特征表示；寻找可靠异常数据聚类中心；利用无标签数据优化各类图像原型；利用原型对任务中待分类样本分类，计算交叉熵损失，反向传播更新网络参数；迭代训练得到理想的特征提取网络；完成半监督少样本分类任务。本发明训练了一个适合于少样本分类的特征提取器，使得在训练数据极少的情况下，分类器仍可以取得较为理想的分类性能。并且在训练时加入了无标签数据，利用寻找可靠的异常数据中心的方法，合理利用无标签数据的信息，提高了分类器的性能。

Description

寻找可靠的异常数据中心的半监督少样本图像分类方法

技术领域

本发明属于深度学习与图像分类技术领域，涉及一种图像分类方法，具体涉及一种寻找可靠的异常数据中心的半监督少样本图像分类方法。

背景技术

近年来，深度学习通过从大量带标签数据中学习知识，训练深层神经网络模型，在计算机视觉，机器翻译，语音建模等任务中都获得了巨大的成功。但训练深层神经网络却需要使用大量带标签数据进行迭代训练，才能达到令人满意的效果。在带标签数据量不足的情况下，传统的深度学习方法就失效了。

为了解决这个问题，少样本学习方法成为了人们关注的热点。少样本学习方法利用元学习的方法，从训练数据中获取一般知识，使得模型在带标签数据量很少的情况下，依然能有很好的泛化性能。

为了进一步提高少样本学习模型的性能，学者们提出了在少样本学习任务中引入无标签数据，使原本的少样本学习任务转变为半监督的少样本学习任务，通过合理利用无标签数据的信息，使得模型性能得到进一步的提升。

现有的方法在解决半监督少样本学习问题时，大都建立在原型网络的基础上。原型网络假设存在一个特征提取器可以将图像映射到一个特有的映射空间(embeddingspace)，在这个空间中，每一类图像都存在有原型，待分类样本可以通过与原型进行距离比较得到其分类结果，即K-近邻分类方法。而原型可以由支持集各类样本的均值得到。半监督少样本学习方法在此基础上使用K-Means聚类方法对无标签样本聚类，并通过聚类结果对所得的原型优化。

然而现有方法假设干扰数据(异常数据)的聚类中心处于原点位置，这个假设虽然简单却有不合理之处。

发明内容

为了解决上述背景技术中存在的不足，即假设干扰数据(异常数据)的聚类中心处于原点位置。本发明提出了一种寻找可靠的异常数据中心的半监督少样本图像分类方法。不对干扰数据的中心位置做出假设，而是采用了分析无标签数据信息并从中寻找可靠的异常数据中心的方法。

本发明所采用的技术方案为：一种寻找可靠的异常数据中心的半监督少样本图像分类方法，其特征在于，包括以下步骤：

步骤1：划分数据集；

将数据集划分为训练集D_train，测试集D_test，训练集与测试集包含不同种类的图像，每类样本图像数目不少于预设值N；

步骤2：从训练集中取样半监督少样本分类任务；

从训练集D_train中取样半监督少样本分类任务E，包括支持集D_support和查询集D_query以及无标签数据集D_unlabel；将所述半监督少样本分类任务E中包含的图像经过深度神经网络模型的前向传播计算，得到图像的高层特征表示；

步骤3：使用所述图像的高层特征中的支持集D_support部分计算各类图像的原型；

步骤4：使用所述各类图像的原型，计算寻找可靠的异常数据聚类中心；

步骤5：使用K-Means聚类算法，以步骤4中找到的聚类中心以及各类图像原型作为聚类中心对所述半监督少样本分类任务中的D_unlabel包含的无标签数据聚类，并通过聚类结果重新计算原型位置，优化原型；

步骤6：使用最近邻算法，对所述半监督少样本分类任务中的D_query包含的图像进行分类，并计算交叉熵损失，反向传播更新网络参数；

步骤7：重复进行步骤2-6训练深度神经网络模型，得到训练后深度神经网络模型，使用测试集对训练后深度神经网络模型进行分类测试。

与现有的技术相比本发明的有益效果在于：

本发明所述的一种寻找可靠的异常数据中心的半监督少样本图像分类方法，该方法利用了机器学习中的卷积神经网络对少样本图像分类任务中的图像进行特征提取，并加入了无标签数据信息，寻找可靠的异常数据中心，利用K-Means聚类方法优化原型，合理的利用了无标签数据的信息，提高了分类任务的准确率。

利用本发明所述的寻找可靠的异常数据中心的半监督少样本图像分类方法，在每类只有一个标注样本的情况下(one-shot-learning)，图像识别准确率高于现有方法，以Mini-Imagenet数据集上的测试结果为例，one-shot-learning准确率达到50％，高于现有方法(49％)。以Omniglot数据集上的测试结果为例，one-shot-learning准确率达到98％，同样高于现有方法(97％)。

附图说明

图1：为本发明实施例的流程图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请见图1，本发明提供的一种寻找可靠的异常数据中心的半监督少样本图像分类方法，包括以下步骤：

步骤1：划分数据集；

将数据集划分为训练集D_train，测试集D_test，训练集与测试集包含不同种类的图像，每类样本图像数目不少于预设值N；

本实施例中，将数据集划分为两部分，分别是训练集其中，(x_i，y_i)表示一个样本，y_i∈{1，...，C}，表示对应数据x_i所属类别，总共有C种不同类型的图像，共N_train张被划分到训练集中。类似的，将数据集剩余部分用作测试集/>y_i∈{1，...，C_t}。训练集与测试集应包含不同种类的图像，每类样本图像数目一般不少于600个；

步骤2：从训练集中取样半监督少样本分类任务；

从训练集D_train中取样半监督少样本分类任务E，包括支持集D_support和查询集D_query以及无标签数据集D_unlabel；将半监督少样本分类任务E中包含的图像经过深度神经网络模型的前向传播计算，得到图像的高层特征表示；

本实施例中，设K，K_d，N_s，N_q，N_u为预设值，其中K表示待分类图像种类数，K_d表示无标签数据中作为干扰项的图像种类数(与待分类图像种类不同)，N_s表示支持集D_support中每种待分类图像样本数量，N_q表示查询集D_query中每种待分类图像样本数量，N_u表示D_unlabel中每种无标签图像样本数量，D_support，D_query，D_unlabel所包含样本数量分别为K×N_s，K×N_q，(K+K_d)×N_u；

S_k、Q_k、U_k分别是支持集、查询集、无标签数据集的第k类子集；

将D_support看作分类任务的训练集，而将D_query看作分类任务的测试集，通过从D_support与D_unlabel中获取知识以对D_query中的样本进行分类；

构建深度神经网络模型，深度神经网络模型由四个卷积神经网络块构成，每个卷积神经网络块包括：64个3×3卷积核，批归一化层，ReLU激活函数，2×2最大池化层；堆叠四个卷积神经网络块构成特征提取网络网络参数/>采用现有的参数初始化策略对参数进行初始化；

图像经过特征提取网络前向传播算法计算得到其高层特征表示。

步骤3：使用图像的高层特征中的支持集D_support部分计算各类图像的原型；

本实施例中，利用公式c_k计算各类图像的原型；

其中c_k表示支持集D_support的第k类样本的原型，S_k表示D_support中第k类样本的集合，为特征提取网络，x_i表示第i张图像的原始数据，/>即为第i张图像的特征表示。

步骤4：使用各类图像的原型，计算寻找可靠的异常数据聚类中心；

本实施例中，利用公式计算各无标签样本属于各类的概率；

其中，表示第j个无标签样本，/>表示无标签样本/>属于第k类的概率；/>为特征提取网络，/>即为第j张图像的特征表示；c_k表示支持集D_support的第k类样本的原型；

定义事件B：无标签样本属于第k类；其概率分布的不确定性通过计算其香农熵得到，即/>

寻找各无标签样本与各类样本原型欧氏距离最近的原型，并计算其距离值，即

以公式：

R(x_j)＝E(x_j)+λ×DIST(x_j)；

作为无标签样本为可靠异常数据中心的可靠程度函数，计算各个无标签样本为可靠异常数据中心的可靠程度，其中λ为预设平衡值参数；

不断寻找可靠异常数据中心，并以公式：

作为继续寻找异常数据中心的条件，其中α为预设值。

步骤5：使用K-Means聚类算法，以步骤4中找到的聚类中心以及各类图像原型作为聚类中心对半监督少样本分类任务中的D_unlabel包含的无标签数据聚类，并通过聚类结果重新计算原型位置，优化原型；

本实施例中，利用步骤3得到的各类图像原型以及步骤4中得到的异常数据中心作为聚类中心，对无标签数据进行聚类操作，利用公式计算各无标签样本属于各类的概率；

其中：

其中，表示第j个无标签样本，/>表示无标签样本/>属于第k类的概率；r表示聚类半径，r_k特指对于第k类数据的聚类半径；/>为特征提取网络，/>即为第j张图像的特征表示；c_k表示支持集D_support的第k类样本的原型；

然后利用公式对原型进行优化：

其中，表示优化后的原型，x_i表示第i张图像的原始数据，/>即为第i张图像的特征表示；/>表示第j张无标签样本图像的特征表示，z_i，k与/>分别表示支持集样本的标签向量以及无标签样本属于各类的概率向量(软标签，一个元素和为1的向量)。

步骤6：使用最近邻算法，对半监督少样本分类任务中的D_query包含的图像进行分类，并计算交叉熵损失，反向传播更新网络参数；

本实施例中，使用步骤5中所得优化后的各类样本原型的特征表示与查询集D_query中样本的特征表示计算两者间的欧氏距离，以此对查询集D_query中的样本进行分类；

假设待分类样本为x，则样本x属于第k类的概率为：

其中，为特征提取网络，c_k表示支持集D_support的第k类样本的原型；

计算交叉熵损失为：

使用反向传播算法更新特征提取神经网络模型/>的参数/>

步骤7：重复进行步骤2-6训练深度神经网络模型，得到训练后深度神经网络模型，使用测试集对训练后深度神经网络模型进行分类测试；

本实施例中，通过多次从训练集中取样半监督少样本分类任务，使用反向传播算法更新特征提取器神经网络的参数，得到最终的模型；

最后从测试集D_test中以取样半监督少样本分类任务，与步骤2中从训练集中采样采取相同的方式，测试分类性能。

以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员依然可以根据前述实施例或附图进行其他不同形式的修改或变动。这里无法对所有实施方式或技术方案进行穷举，所有本发明原则内的修改、更换等，均应包含在本发明要求的保护范围内。

Claims (6)

1.一种寻找可靠的异常数据中心的半监督少样本图像分类方法，其特征在于，包括以下步骤：

步骤1：划分数据集；

将数据集划分为训练集D_train，测试集D_test，训练集与测试集包含不同种类的图像，每类样本图像数目不少于预设值N；

步骤2：从训练集中取样半监督少样本分类任务；

从训练集D_train中取样半监督少样本分类任务E，包括支持集D_support和查询集D_query以及无标签数据集D_unlabel；将所述半监督少样本分类任务E中包含的图像经过深度神经网络模型的前向传播计算，得到图像的高层特征表示；

步骤3：使用所述图像的高层特征中的支持集D_support部分计算各类图像的原型；

利用公式c_k计算各类图像的原型；

其中c_k表示支持集D_support的第k类样本的原型，S_k表示D_support中第k类样本的集合，为特征提取网络，x_i表示第i张图像的原始数据，/>即为第i张图像的特征表示；

步骤4：使用所述各类图像的原型，计算寻找可靠的异常数据聚类中心；

步骤5：使用K-Means聚类算法，以步骤4中找到的聚类中心以及各类图像原型作为聚类中心对所述半监督少样本分类任务中的D_unlabel包含的无标签数据聚类，并通过聚类结果重新计算原型位置，优化原型；

步骤6：使用最近邻算法，对所述半监督少样本分类任务中的D_query包含的图像进行分类，并计算交叉熵损失，反向传播更新网络参数；

步骤7：重复进行步骤2-6训练深度神经网络模型，得到训练后深度神经网络模型，使用测试集对训练后深度神经网络模型进行分类测试。

2.根据权利要求1所述的寻找可靠的异常数据中心的半监督少样本图像分类方法，其特征在于：步骤2中，所述半监督少样本分类任务包括支持集D_support和查询集D_query以及无标签数据集合D_unlabel；设K，K_d，N_s，N_q，N_u为预设值，其中K表示待分类图像种类数，K_d表示无标签数据中作为干扰项的图像种类数，N_s表示支持集D_support中每种待分类图像样本数量，N_q表示查询集D_query中每种待分类图像样本数量，N_u表示D_unlabel中每种无标签图像样本数量，D_support，D_query，D_unlabel所包含样本数量分别为K×N_s，K×N_q，(K+K_d)×N_u；

将D_support看作分类任务的训练集，而将D_query看作分类任务的测试集，通过从D_support与D_unlabel中获取知识以对D_query中的样本进行分类；

构建深度神经网络模型，深度神经网络模型由四个卷积神经网络块构成，每个卷积神经网络块包括：64个3×3卷积核，批归一化层，ReLU激活函数，2×2最大池化层；堆叠四个卷积神经网络块构成特征提取网络网络参数/>采用现有的参数初始化策略对参数进行初始化；

图像经过特征提取网络前向传播算法计算得到其高层特征表示。

3.根据权利要求1所述的寻找可靠的异常数据中心的半监督少样本图像分类方法，其特征在于：步骤4中，利用公式计算各无标签样本属于各类的概率；

其中，表示第j个无标签样本，/>表示无标签样本/>属于第k类的概率；/>为特征提取网络，/>即为第j张图像的特征表示；c_k表示支持集D_support的第k类样本的原型；

定义事件B：无标签样本属于第k类；其概率分布的不确定性通过计算其香农熵得到，即/>

寻找各无标签样本与各类样本原型欧氏距离最近的原型，并计算其距离值，即

以公式：

R(x_j)＝E(x_j)+λ×DIST(x_j)；

作为无标签样本为可靠异常数据中心的可靠程度函数，计算各个无标签样本为可靠异常数据中心的可靠程度，其中λ为预设平衡值参数；

不断寻找可靠异常数据中心，并以公式：

作为继续寻找异常数据中心的条件，其中α为预设值。

4.根据权利要求1所述的寻找可靠的异常数据中心的半监督少样本图像分类方法，其特征在于：步骤5中，利用步骤3得到的各类图像原型以及步骤4中得到的异常数据中心作为聚类中心，对无标签数据进行聚类操作，利用公式计算各无标签样本属于各类的概率；

其中：

其中，表示第j个无标签样本，/>表示无标签样本/>属于第k类的概率；r表示聚类半径，r_k特指对于第k类数据的聚类半径；/>为特征提取网络，/>即为第j张图像的特征表示；c_k表示支持集D_support的第k类样本的原型；

然后利用公式对原型进行优化：

其中，表示优化后的原型，x_i表示第i张图像的原始数据，/>即为第i张图像的特征表示；/>表示第j张无标签样本图像的特征表示，z_i，k与/>分别表示支持集样本的标签向量以及无标签样本属于各类的概率向量。

5.根据权利要求1所述的寻找可靠的异常数据中心的半监督少样本图像分类方法，其特征在于：步骤6中，使用步骤5中所得优化后的各类样本原型的特征表示与查询集D_query中样本的特征表示计算两者间的欧氏距离，以此对查询集D_query中的样本进行分类；

假设待分类样本为x，则样本x属于第k类的概率为：

其中，为特征提取网络，c_k表示支持集D_support的第k类样本的原型；

所述计算交叉熵损失为：

使用反向传播算法更新特征提取神经网络模型/>的参数/>

6.根据权利要求1-5任意一项所述的寻找可靠的异常数据中心的半监督少样本图像分类方法，其特征在于：步骤7中，通过若干次从训练集中取样半监督少样本分类任务，使用反向传播算法更新特征提取器神经网络的参数，得到最终的模型；

最后从测试集D_test中以取样半监督少样本分类任务，与步骤2中从训练集中采样采取相同的方式，测试分类性能。