CN104794489B - 一种基于深度标签预测的诱导式图像分类方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度标签预测的诱导式图像分类方法及系统，首先对有标签的训练样本和无标签的训练样本进行相似性学习，构造加权相似近邻图，再初始化一个类标签矩阵。为了降低“浅”预测标签中的混合信号对系统性能的影响，引入了描述学习的思想，先计算基于原始输入空间的通常含有混合信号的“浅”软标签，进而利用描述学习得到判别性更强的深度软标签，取深度标签中概率的最大值，用于类别鉴定，得到最准确的分类结果。通过深度标签预测，有效降低了浅层软标签中的混合信号对结果的影响，使分类精度大幅提高。此外，本发明方法通过引入描述学习，可快速有效地完成样本外数据的深度归纳分类，无需引入额外的学习过程，方法可拓展性好。

Description

一种基于深度标签预测的诱导式图像分类方法及系统

技术领域

本申请涉及模式识别和数据挖掘技术领域，特别是涉及一种基于深度标签预测的诱导式图像分类方法及系统。

背景技术

当今，图像分类技术是数据挖掘、机器学习等领域最重要的研究课题之一。分类主要对未知类别的数据进行类别判断，在医疗数据分析，文本、网页、多媒体数据分类，信用卡评级等领域有重大意义，一旦研究成功并投入使用将带来巨大的社会效益与经济效益。

因其优秀的实用性和分类正确率，基于相似图构造的半监督学习方法已然兴起为实用而普遍的分类工具。监督型学习方法的性能已被证明优于无监督型学习方法，但在现实世界中，监督数据往往难以获得；假如通过对无标签样本进行人工标定来获得监督信息，将耗费大量的时间、人力，从而使实用性大大降低。因此，为了兼顾实用与准确，半监督学习成为人们追捧的方法。半监督型学习主要通过对大量数据中每一类样本中的少量数据进行标定，再将监督信息通过相似图传播给未知类别的数据，进而预测出无标签样本的类别。

近年来，基于标签传播理论的学习过程因其简单、有效、快速的优点，成为半监督学习的典型代表之一。标签传播于2002年由Zhu等人提出，一经提出即引起国内外学者的广泛关注，并逐渐被证实为一种简单、快速、扩展性强，性能稳定的算法，并逐渐被应用在许多领域，比如社交平台的社会关系分析、多媒体信息检索分类等。标签传播通过学习样本之间的相似性，将有标签样本的监督信息传播给无标签样本，进而实现对无标签样本的类别估计。目前几乎所有算法都采用浅层的软标签预测结果作为输出，然而浅层软标签中的混合信号往往对结果有较大影响。因此现有方法缺少了对软标签进行优化的步骤。

因此，提出一种基于深度标签预测的诱导式图像分类方法及系统，减少原始输入空间含有的混合信号的影响，获得判别性更强的深度软类别标签，提高算法的适用范围和鲁棒性，增强分类性能，是本领域人员亟待解决的问题。

发明内容

有鉴于此，本申请提供了一种基于深度标签预测的诱导式图像分类方法及系统，以减少原始输入空间含有的混合信号的影响，获得判别性更强的深度软类别标签，提高算法的适用范围和鲁棒性，增强分类性能。

为解决上述技术问题，本申请提供一种基于深度标签预测的诱导式图像分类方法，该方法利用描述学习理论进行半监督标签传播的诱导式分类，包括：

对训练集进行训练预处理，包括：根据训练集中所有训练样本的K近邻使用LLE-重构权，构建相似近邻图，根据所述相似近邻图求得对称化、归一化的权重矩阵，初始化类别标签矩阵Y；

构建直推式深度标签预测模型，迭代得到所述训练集的“浅”软标签矩阵F、深度嵌入矩阵P和深度投影矩阵A，利用所述“浅”软标签矩阵F和深度嵌入矩阵P得到所述训练集的深度预测标签，利用所述深度投影矩阵A对所述深度预测标签进行描述学习；

对测试样本进行诱导式标签预测，包括：利用学习得到的深度投影矩阵A对测试集中无标签样本数据进行投影，得到所述测试集的深度标签矩阵，根据所述深度标签矩阵中各行的最大值确定测试样本对应的标签类别，得到分类结果。

优选的，所述根据训练集中所有训练样本的K近邻使用LLE-重构权，构建相似近邻图，根据所述相似近邻图求得对称化、归一化的权重矩阵，包括：

对所述训练集中所有训练样本进行K最近邻搜索，找出每个样本的K个最近邻样本；

采用LLE-重构权的构造方法，计算、衡量顶点之间的相似性，构造相似近邻图的相似度量矩阵；

对所述相似度量矩阵进行对称化、归一化处理，得到所述权重矩阵。

本申请还提供了一种基于深度标签预测的诱导式图像分类系统，包括：

训练预处理模块，用于对训练集进行训练预处理，包括：根据训练集中所有训练样本的K近邻使用LLE-重构权，构建相似近邻图，根据所述相似近邻图求得对称化、归一化的权重矩阵，初始化类别标签矩阵Y；

训练模块，用于构建直推式深度标签预测模型，迭代得到所述训练集的“浅”软标签矩阵F、深度嵌入矩阵P和深度投影矩阵A，利用所述“浅”软标签矩阵F和深度嵌入矩阵P得到所述训练集的深度预测标签，利用所述深度投影矩阵A对所述深度预测标签进行描述学习；

测试模块，用于对测试样本进行诱导式标签预测，包括：利用学习得到的深度投影矩阵A对测试集中无标签样本数据进行投影，得到所述测试集的深度标签矩阵，根据所述深度标签矩阵确定测试样本对应的标签类别，以完成诱导式半监督图像分类过程。

以上本申请提供的一种基于深度标签预测的诱导式图像分类方法及系统中，在应用直推式标签传播方法计算得到原始输入空间的“浅”软标签F后，利用描述学习计算得到判别性更强的深度软标签(也就是深度预测标签)，取深度软标签中相似性概率的最大值，用于图像类别的鉴定，得到更准确的分类结果。通过将描述学习引入诱导式过程，可有效地将浅层软标签中的混合信号对分类结果的影响降至最低，使分类精度有大幅提高，此外，同时也扩展了标签传播方法的适用范围，提高了性能和稳定性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请一种基于深度标签预测的诱导式图像分类方法实施例1的流程图；

图2为本申请一种基于深度标签预测的诱导式图像分类方法实施例1的标签预测示意图

图3为本申请一种基于深度标签预测的诱导式图像分类方法实施例2的流程图；

图4为本申请一种基于深度标签预测的诱导式图像分类系统实施例1的结构框图示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的核心是提供一种基于深度标签预测的诱导式图像分类方法及系统，以解决现有技术中浅层软标签中的混合信号对分类结果有较大影响，降低分类结果的精确度的技术问题。

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。

本申请共使用了5个真实数据集，分别是UMIST、YALE、GeorgiaTech、CASIA-HWDB1.1、USPS。其中UMIST、YALE、Georgia Tech为人脸数据集，基于计算高效性考虑，所有真实图像的尺寸被压缩为32×32；在实验中，每张图片对应一个1024维的向量。CASIA-HWDB1.1、USPS为手写体数据集。其中CASIA图像压缩为14×14，USPS为16×16，对应实验中维度分别为196和256的向量。

本申请为诱导式的图像分类方法，即利用已有的训练模型和测试集进行诱导式标签预测，因此以测试集的性能表现来说明本申请提出的新方法。其中，LNP提出通过重构样本外数据的软标签来处理测试集数据的诱导式方法，而GFHF、LLGC、SLP都没有对应的诱导式方法，因此对上述方法，在实验中将统一使用LNP式的诱导方法来处理样本外数据。故上述方法在测试集中的表现，将主要由其直推式过程的性能表现决定。而ELP提出使用投影的方式处理样本外数据，实验中ELP将使用该方法对测试集进行诱导式分类。为了公平起见，所有方法将统一使用LLE-重构权来构造相似近邻图，建立权重矩阵。

在人脸识别的诱导式实验中，我们将有标签样本的数量和无标签样本的数量设置为相等，每次在同一类样本(即同一个人的人脸图像)中取固定数量的样本作为有标签数据，并且取15次随机取样结果的平均值作为实验结果。

首先从Yale人脸数据集中选出一定比例的数据(包含少量有标签和适量无标签样本，有标签样本比例参照实验设置中的labeled ratio)作为训练集，其他数据作为测试集(均为无标签样本)；设选出的训练数据集为X＝[X_L，X_U]∈R^n×(l+u)，其中n是数据的原始维度，l+u＝N为训练样本的总数量，X_L＝[x₁,x₂,...,x_l]∈R^n×l为训练集中的有标签数据集，X_U＝[x_l+1,x_l+2,...,x_l+u]∈R^n×u为训练样本中的无标签数据集。每个列向量x_i∈Rⁿ代表一个对象图像样本。假设总类别标签数为c，并且每种标签都被包含于有标签数据集X_L中，且有标签数据集X_L中的每个样本有且仅有一个属于标签集{1,2...,c}的标签。除此，训练集为N_T为测试集的样本数量。

下面将使用真实数据集中的Yale人脸数据集作为实施例进行具体实施方式说明。在本实施例Yale人脸数据集中，数据维度n＝1024,总样本数量＝165,标签类别数c＝15。

参考图1，示出了本申请一种基于深度标签预测的诱导式图像分类方法实施例1的流程图，基于上述实验设置，该方法利用描述学习理论进行半监督标签传播的诱导式分类，具体可以包括如下步骤：

步骤S100、对训练集进行训练预处理，包括：根据训练集中所有训练样本的K近邻使用LLE-重构权，构建相似近邻图，根据所述相似近邻图求得对称化、归一化的权重矩阵，初始化类别标签矩阵Y；

为了有效降低预测标签中的混合信号对分类结果的影响，步骤S100主要完成图像分类训练过程的基于的直推式分类的预处理过程，主要是各变量、参数的设置和初始化，即对训练集中有标签的图像训练样本和无标签的图像训练样本数据进行相似性学习，构造权重矩阵，也称重构系数矩阵，用于表征样本间的相似性；并人工标定原始的类别标签矩阵Y，该类别标签矩阵Y用于记录已知的监督信息。

针对训练集，初始化训练集样本的原标签矩阵Y＝[y₁,y₂,…,y_l+u]∈R^(c+1)(l+u)，其中，任一y_i为一个列向量，对应第i个样本x_i。对于训练集中的有标签样本，如果已知x_j的标签属于第i类，则赋值y_i,j＝1(1≤i≤c)，同列其他元素均赋值为0，即y_i,j＝0(1≤i≤c+1)；对于训练集中无标签的样本，在i＝c+1处赋值y_i,j＝1，同列其他元素均为0，即y_i,j＝0(1≤i≤c)。所得Y即为原始标签矩阵，Y的每列元素之和均为1，其中，Y的第c+1行将作为异类或未发现类的检测容器。

步骤S101、构建直推式深度标签预测模型，迭代得到所述训练集的“浅”软标签矩阵F、深度嵌入矩阵P和深度投影矩阵A，利用所述“浅”软标签矩阵F和深度嵌入矩阵P得到所述训练集的深度预测标签，利用所述深度投影矩阵A对所述深度预测标签进行描述学习；

在步骤S101中，引入深度投影矩阵A＝[A₁,A₂,...,A_n]∈R^n×(c+1)对原始数据进行特征提取，并通过近似拟合训练集深度预测标签的方式建立诱导式标签传播模型。优选地，直推式深度标签预测模型可以是所诉直推式深度标签预测模型，也可以是其他的，本申请不做严格限定，下面以所述直推式深度标签预测模型为例进行说明；

该步骤主要基于所述直推式深度标签预测模型进行标签迭代传播，即由深度嵌入矩阵P和“浅”软标签矩阵F得到训练集的深度预测标签，并用深度投影矩阵A对深度预测标签进行描述学习，求得用于诱导式标签传播的深度投影矩阵A。具体如下：

结合深度投影矩阵A和深度预测标签建立直推式标签传播模型，定义如下：

其中，P^Tf_i≥0是非负约束，W_i,j表示x_i的近邻x_j对x_i的协同重构权重，e^T(P^Tf_i)＝1是列和为一约束，能使输出的深度软标签满足概率和为一的逻辑；e是一个元素均为1的列向量；P的l2,1范数，即||P||_2,1能使P的许多行变为零，从而减小原始输入空间中的混合信号对“浅”软标签的影响，确保P是稀疏的。根据输出的软标签概率矩阵F(也就是“浅”软标签矩阵F)，使用深度嵌入矩阵P对其进行投影，根据结果每列中的最大元素确定对应样本的深度预测标签，即l(x_j)＝argmax_i≤c+1(P^TF)_i,j。模型中A的l2,1范数，即||A||_2,1，与直推式模型中P的l2,1范数功能相同；即能使A中的许多行变成零，从而保证被提取的特征是稀疏的。

在实际迭代求解过程中，我们将模型转换成如下形式：

其中，Subj p^TF≥0，e^T(P^TF)＝e^T分别为“浅”标签非负约束和列和为1约束；模型中的U为对角矩阵，第i个对角元素为μ_i；对于有标签样本μ_i设置为+∞，对于无标签样本α_u设置为0。模型中的V为对角矩阵，第i个对角元素V_ii ^＝∑_jW_i,j。Ψ也为对角矩阵，对应第i个对角元素为ψ_i。每次迭代中，对于模型中的P、F、A，我们均采用固定其他值来更新其中一个值的方法。在本实施例Yale人脸数据集中，我们用μ_i＝10¹⁰来近似无穷大，用α_u＝10^-8来近似零。

步骤S102、对测试样本进行诱导式标签预测，包括：利用在步骤S101中学习得到的深度投影矩阵A对测试集中无标签样本数据进行投影，得到所述测试集的深度标签矩阵，根据所述深度标签矩阵中各行的最大值确定测试样本对应的标签类别，得到分类结果。

该步骤主要对测试样本进行诱导式标签预测，即利用深度投影矩阵A对测试集中的无标签数据进行投影，预测得到未分类样本的深度标签矩阵，根据其中各行的最大值，得到对应测试样本的深度预测标签，完成诱导式半监督图像分类过程。具体如下：

所述利用深度投影矩阵A对测试集数据进行投影，具体如下：

其中，x_new∈X_T，A^*＝A^k+1。对于每一个无标签样本诱导预测所得的其中最大值的位置对应预测得到的标签类别，即由此得到测试集数据的深度预测标签，完成基于深度标签预测的诱导式半监督分类过程。

为了便于更加直观地理解本申请提供的技术方案，参考图2，示出了本申请一种基于深度标签预测的诱导式图像分类方法实施例1的标签预测示意图，其中，测试样本与第一类训练样本的相似程度最大，以此判断测试样本属于第一类。

以上本申请提供的一种基于深度标签预测的诱导式图像分类方法及系统中，在应用直推式标签传播方法计算得到原始输入空间的“浅”软标签F后，利用描述学习计算得到判别性更强的深度软标签(也就是深度预测标签)，取深度软标签中相似性概率的最大值，用于图像类别的鉴定，得到更准确的分类结果。通过将描述学习引入诱导式过程，可有效地将浅层软标签中的混合信号对分类结果的影响降至最低，使分类精度有大幅提高，此外，本申请通过引入描述学习，可快速有效地完成直接对样本外的数据进行深度分类，不需要引入额外的学习过程，方法可拓展性好。

参考图3，示出了本申请一种基于深度标签预测的诱导式图像分类方法实施例2的流程图，具体地，可以通过以下步骤执行步骤S100中、根据训练集中所有训练样本的K近邻使用LLE-重构权，构建相似近邻图，根据所述相似近邻图求得对称化、归一化的权重矩阵：

步骤S300、对所述训练集中所有训练样本进行K最近邻搜索，找出每个样本的K个最近邻样本；

步骤S301、采用LLE-重构权的构造方法，计算、衡量顶点之间的相似性，构造相似近邻图的相似度量矩阵；

步骤S302、对所述相似度量矩阵进行对称化、归一化处理，得到所述权重矩阵。

具体地，找出每个目标图像样本x_i的K个近邻，构建x_i的K近邻集N(x_i)。在本实施例Yale人脸数据集中，K＝7。样本x_i和x_j之间的相似度通过LLE-重构权进行表征：

其中x_j和x_r均为目标图像样本x_i的近邻。重构系数矩阵即为对进行对称化处理，具体为：令为一个对角矩阵，其中故可用于衡量顶点x_i的度(即在图中的重要性或影响力)。然后对进行归一化，具体为：

对进行归一化能增大数据密度低的区域的权重，同时减小数据密度高的区域的权重，削弱数据分布密度对权重图构建的影响，有利于处理数据密度差距较大的数据集。

与上述本申请一种基于深度标签预测的诱导式图像分类方法实施例1相对应，本申请还提供了一种基于深度标签预测的诱导式图像分类系统实施例1，参考图4，该系统400可以包括如下内容：

训练预处理模块401，用于对训练集进行训练预处理，包括：根据训练集中所有训练样本的K近邻使用LLE-重构权，构建相似近邻图，根据所述相似近邻图求得对称化、归一化的权重矩阵，初始化类别标签矩阵Y；

训练模块402，用于构建直推式深度标签预测模型，迭代得到所述训练集的“浅”软标签矩阵F、深度嵌入矩阵P和深度投影矩阵A，利用所述“浅”软标签矩阵F和深度嵌入矩阵P得到所述训练集的深度预测标签，利用所述深度投影矩阵A对所述深度预测标签进行描述学习；

测试模块403，用于对测试样本进行诱导式标签预测，包括：利用学习得到的深度投影矩阵A对测试集中无标签样本数据进行投影，得到所述测试集的深度标签矩阵，根据所述深度标签矩阵确定测试样本对应的标签类别，以完成诱导式半监督图像分类过程。

关于实验参数的选择，所有方法统一使用LLE-重构权来构建相似近邻图，其中对K近邻的参数K统一设置为7。所述诱导式模型中的参数ψ_i和α将通过网格搜索的方式进行选择，两个参数的取值范围均为{10^-8,10^-6,...,10⁶,10⁸}。每次实验中，训练样本和测试样本的挑选均是随机的，因此对每一个labeled ratio(有标签样本占训练集数据的比例)我们将重复20次随机挑选训练集和测试集的过程来得到平均结果。请参阅表1，为本申请与4个经典标签传播算法(即GFHF、LLGC、SLP、LNP)和嵌入式标签传播算法ELP，在5个真实图像数据集上的诱导式分类结果对比。实验中，数据集被划分训练集和测试集，训练集包括有标签集和无标签集，测试集均为无标签样本。任务在于建立训练模型后使用诱导式分类过程对测试集进行分类。

表1(本申请和传统标签传播算法及嵌入式标签传播算法的正确率对比)给出了20次实验的平均结果(％)和最好结果(％)。参与比较的标签传播算法各自采用默认的参数进行实验。在本申请中，参数α_l、α_u一般分别设为0和0.999999。

表1

通过实验结果我们可以看出本申请的图像分类效果明显优于传统经典的标签传播算法，具有更高的适用性和鲁棒性。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统类实施例而言，由于其与方法实施例基本相似，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

以上对本申请所提供的一种基于深度标签预测的诱导式图像分类方法及系统进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (3)

1.一种基于深度标签预测的诱导式图像分类方法，其特征在于，利用描述学习理论进行半监督标签传播的诱导式分类，该方法包括：

将预先获取的人脸数据集中的人脸数据按预设比例分为训练集和测试集，对所述训练集进行训练预处理，包括：根据所述训练集中所有训练样本的K近邻使用LLE-重构权，构建相似近邻图，根据所述相似近邻图求得对称化、归一化的权重矩阵，初始化类别标签矩阵Y；

构建直推式深度标签预测模型，迭代得到所述训练集的“浅”软标签矩阵F、深度嵌入矩阵P和深度投影矩阵A，利用所述“浅”软标签矩阵F和深度嵌入矩阵P得到所述训练集的深度预测标签，利用所述深度投影矩阵A对所述深度预测标签进行描述学习；所述直推式深度标签预测模型具体如下：

其中，l+u为所述训练样本的总数量，l为所述训练样本的有标签数据的数量，u为所述训练样本中无标签数据的数量，x_i为第i个所述训练样本，W_i,j表示x_i的近邻x_j对x_i的协同重构权重，ψ_i为第一对角矩阵中的第i个对角元素，μ_i为第二对角矩阵中的第i个对角元素，V_ii为第三对角矩阵中的第i个对角元素，||P||_2,1为所述深度嵌入矩阵P的l2,1范数，e是一个元素均为1的列向量，N(x_i)为x_i的K近邻集；

对所述测试集中的测试样本进行诱导式标签预测，包括：利用学习得到的深度投影矩阵A对所述测试集中无标签样本数据进行投影，得到所述测试集的深度标签矩阵，根据所述深度标签矩阵中各行的最大值确定所述测试样本对应的标签类别，得到分类结果。

2.如权利要求1所述的方法，其特征在于，所述根据训练集中所有训练样本的K近邻使用LLE-重构权，构建相似近邻图，根据所述相似近邻图求得对称化、归一化的权重矩阵，包括：

对所述训练集中所有训练样本进行K最近邻搜索，找出每个样本的K个最近邻样本；

采用LLE-重构权的构造方法，计算、衡量顶点之间的相似性，构造相似近邻图的相似度量矩阵；

对所述相似度量矩阵进行对称化、归一化处理，得到所述权重矩阵。

3.一种基于深度标签预测的诱导式图像分类系统，其特征在于，包括：

训练预处理模块，用于将预先获取的人脸数据集中的人脸数据按预设比例分为训练集和测试集，对所述训练集进行训练预处理，包括：根据所述训练集中所有训练样本的K近邻使用LLE-重构权，构建相似近邻图，根据所述相似近邻图求得对称化、归一化的权重矩阵，初始化类别标签矩阵Y；

训练模块，用于构建直推式深度标签预测模型，迭代得到所述训练集的“浅”软标签矩阵F、深度嵌入矩阵P和深度投影矩阵A，利用所述“浅”软标签矩阵F和深度嵌入矩阵P得到所述训练集的深度预测标签，利用所述深度投影矩阵A对所述深度预测标签进行描述学习；所述直推式深度标签预测模型具体如下：

其中，l+u为所述训练样本的总数量，l为所述训练样本的有标签数据的数量，u为所述训练样本中无标签数据的数量，x_i为第i个所述训练样本，W_i,j表示x_i的近邻x_j对x_i的协同重构权重，ψ_i为第一对角矩阵中的第i个对角元素，μ_i为第二对角矩阵中的第i个对角元素，V_ii为第三对角矩阵中的第i个对角元素，||P||_2,1为所述深度嵌入矩阵P的l2,1范数，e是一个元素均为1的列向量，N(x_i)为x_i的K近邻集；

测试模块，用于对所述测试集中的测试样本进行诱导式标签预测，包括：利用学习得到的深度投影矩阵A对所述测试集中无标签样本数据进行投影，得到所述测试集的深度标签矩阵，根据所述深度标签矩阵确定所述测试样本对应的标签类别，以完成诱导式半监督图像分类过程。