CN111259938A - 基于流形学习和梯度提升模型的图片偏多标签分类方法 - Google Patents

Abstract

本发明公开了一种基于流形学习和梯度提升模型的图片偏多标签分类方法。从训练数据集构建一个加权图，通过求解以上第一最小化模型获得非负权重矩阵，根据加权图建立第二最小化模型并求解获得重构标签矩阵，根据重构标签矩阵将训练数据集换构造并训练二值相关模型，预测得标签矩阵；对图片的特征向量矩阵建立回归器最小化求解，用迭代预测结果矩阵增强特征向量矩阵，结合负梯度矩阵构造数据集并训练学习获得弱回归器，求和所有弱回归器，得最终回归器，对预待测图片处理判断。本发明能够充分地利用图片偏多标签数据之间的相关性来提升图片的多标签分类预测性能，可实现偏标签数据的消歧，提高了准确度和鲁棒性，其性能优于现有的图片偏多标签方法。

Description

基于流形学习和梯度提升模型的图片偏多标签分类方法

技术领域

本发明涉及标签分类中的偏多标签问题，尤其是涉及了一种基于流形学习和梯度提升的两阶段偏多标签学习方法。

背景技术

在图片多标签分类问题中，一个图片能够同时关联多个标签。传统图片多标签分类问题中的一个常见假设是训练数据集中的每个图片都被精确标记，即是有监督的。不幸的是，在许多真实的图片多标签分类问题中，无噪声的标签是很难获得的。相比之下，获取一组候选标签是非常容易的。这类问题被定义为图片的偏多标签学习问题(PartialMulti-Label Learning,PML)。

PML的基本假设是图片的正确标签被隐藏在了候选标签集中，并且它对学习器是不可见的。最具直觉性的PML方法是将所有候选标签视为有效标签。然后，PML问题可以通过任何现成的多标签学习算法来解决，例如：二值相关算法(Binary Relevance,BR)，分类器链，CPLST等等。但是，这样的策略忽略了候选标签集中的噪声标签，这可能导致标签相关性提取不充分，反过来又影响了预测性能。

为了解决这个问题，研究者提出了一些PML方法。其中一些方法注重消歧性质，通过为每个候选标签分配置信度值来估计它是正确标签的可能性，例如PML-lc和PML-fp，其中置信度得分是通过最小化置信度加权排名损失来计算的。但是，当假阳性标签的比例很高时，由于其选择性优化策略，算法容易出错。PARTICLE方法利用特征空间中的最近邻居，通过迭代式的标签传播技术来识别具有高标签置信度的可信标签。接下来，它应用点对标签排序技术来学习得到多标签预测器。但是，它只能够提取二阶标签相关性，因此在复杂数据集性能较差。fPML是另一种流行的PML方法，专注于探索标签相关性。fPML遵循经典的标签投影方法模式，只能处理标签空间高度稀疏的数据集。现有的PML方法都专注于候选标签集消歧或标签相关性提取中的其中一个方面，因此这些方法的预测性能有限。

发明内容

针对现有技术的不足，本发明的目的在于一种提供基于流形学习和梯度提升算法的偏多标签算法，针对图片处理，解决了图片中多个实物物体的同时分类识别问题。

本发明所采用的技术方案如下：

第一阶段，首先进行标签消歧，包括步骤1和步骤2：

步骤1：

首先从预先给定的训练数据集

中构建一个加权图

其中，V代表图片特征向量的集合，V＝{x_i|1≤i≤n}，x_i表示第i个图片的特征向量，i表示图片的序数，n表示训练数据集

中图片的总数；E代表每两个图片之间的连接关系的集合，E＝{(x_i,x_j)|i≠j,x_j∈kNN(x_i)}，kNN(x_i)表示到第i个图片的特征向量x_i距离最近的前k个图片的特征向量的集合，(x_i,x_j)表示第j个图片和第i个图片具有连接关系；W为非负权重矩阵，W＝[w_ij]_n×n，其中

w_ij表示第j个图片对第i个图片的权重；

本发明所述的距离为欧式距离。

对每个图片的特征向量x_i，被其他图片的特征向量线性重建Σ_j≠iw_ijx_j，获得线性重建误差：

其中，β是正则化项的权衡参数，||·||₂表示二范数；

利用约束最小二乘规划方法来最小化线性重建误差ε(W)建立以下第一最小化模型：

其中，w_j是W的第j列向量，G^j表示w_j对应的n行n列的格莱姆矩阵，其中G^j的第a行第b列元素为(x_j-x_a)′(x_j-x_b)，本发明使用v′表示某向量v的转置；

通过有效集方法求解以上第一最小化模型获得非负权重矩阵W，从而将局部拓扑结构构建在加权图

中，用来消除偏标签数据的歧义。

步骤2：根据加权图

建立以下第二最小化模型，并求解获得重构标签矩阵，作为置信度矩阵：

其中，U是重构标签矩阵，U＝[u₁,u₂,…,u_n]＝[u_di]_l×n，d表示标签的序数，l表示标签的总数，u₁,u₂,...,u_n分别表示重构标签矩阵的第1列、第2列、…、第n列，u_di表示重构标签矩阵的第d行第i列的元素，y_d表示第d个标签，Y_i表示第i个图片中多个实物物体对应的标签集合，δ₁和δ₂分别表示下限阈值和上限阈值；

通过有效集方法求解以上第二最小化模型获得重构标签矩阵U；

上述是将特征向量的流形转换至数值化的标签，得到标签数值化的置信度矩阵。以上公式中的两个约束能够有效保留原始标签信息。若u_di大于0，则第i个图片中有第d个标签对应的实物物体存在，若u_di小于0，则第i个图片中第d个标签对应的实物物体不存在。并且，u_di的绝对值反映了第i个图片中第d个标签对应的实物物体存在或不存在的可能性大小。

如图2中所示，使用绝对值较小的下限阈值δ₁，正确标签可以获得相对较高的正面置信度，而噪声标签通常会获得较低甚至负的置信度。此外，设置绝对值较大的上限阈值δ₂可以使得无关标签的负置信度较高。

通过上述处理具有三大优点，能消除图片对应标签中的歧义，降低噪声：

1.所有优化求解都是求解标准二次规划问题，可以有效求解。

2.将具有逻辑值的标签扩展到具有实数值的标签，这有助于丰富原始标签的语义信息；

3.标签以不平等的方式处理，以防止正确标签被噪声标签淹没。

第二阶段，用梯度提升模型来拟合图片的特征向量和得到的重构标签矩阵，包括步骤3和步骤4：

步骤3：首先根据重构标签矩阵U将训练数据集

转换构造为消除歧义后对应的重构数据集

再由重构数据集

中训练一个二值相关模型(BR，Binary Relevance)f₀；

然后用训练好的二值相关模型f₀对于图片的特征向量矩阵X进行预测处理得到一个标签矩阵f₀(X)，其中，X是特征向量矩阵；

步骤4：

针对特征向量矩阵X建立一个回归器F，由回归器F构建以下损失函数并进行最小化求解：

其中，

是Frobenius范数，Ω(F)表示回归器F的正则项，能够控制回归器F的复杂度，F(X)表示回归器F的预测结果矩阵，

为了找到最优解，采用聚合模型作为回归器F，将一组弱回归器添加到二值相关模型形成回归器F；在回归器F的第t次迭代，计算在F(X)＝F_t-1(X)处，损失函数

对F(X)的负梯度矩阵R^t：

其中，F_t-1(X)表示回归器F中第t-1次迭代的预测结果矩阵，

分别表示第t-1次迭代的预测结果矩阵F_t-1(X)的第1列、第2列、…、第n列，

分别表示第t次迭代下负梯度矩阵R^t的第1列、第2列、…、第n列；

接着利用回归器F的第t-1次迭代的预测结果矩阵进一步增强特征向量矩阵X，同时结合负梯度矩阵R^t构造以下第t次迭代的数据集

其中，

表示第t次迭代第i个图片增强后的特征向量；

然后利用数据集

进行训练学习获得一个弱回归器f_t，通过求和所有的弱回归器，获得最终鲁棒的回归器F：

其中，T是迭代的轮次，Ω′(f_t)表示控制第t次迭代的弱回归器f_t复杂度的正则化项，λ和γ分别是学习率和正则化项超参数，Ω(F)表示控制回归器F复杂度的正则化项；

由此，通过一个梯度提升模型提高学习到二值相关模型的准确度。在每次迭代提升中，原来的特征向量空间由前一次迭代得到的标签增强，以便利用标签的相关性。

步骤5：

对于一个预待测图片的特征向量x^*，输入到步骤4获得的回归器F中输出预测获得实数值的标签向量u*，根据标签向量u*判断：若标签向量u*中的第d个元素大于0，则图片中有第d个标签对应的实物物体存在；若标签向量u*中的第d个元素小于等于0，则图片中有第d个标签对应的实物物体不存在；

由此提取数值化输出的正负符号来获得逻辑标签，表征出图片标签数据的分类。

所述步骤1中的图片的特征向量是通过图片输入神经网络模型VGGNet后提取获得。

所述步骤3中的二值相关模型采用回归模型，例如分类回归树(Classificationand Regression Tree,CART)、支持向量回归器(SVR)等等。

首先从图片数据集

构建一个加权图

不同样本图片对应获得的特征向量相近，则不同样本图片中实物物体相类似，这些不同样本图片具有相一致的标签；在特征向量的空间中相近的样本图片具有相近的标签，特征和标签共享一个局部拓扑结构，使用每个样本图片和其欧式距离近邻的图片之间的重构关系，在加权图

中重构局部拓扑结构。然后根据加权图

中的拓扑结构信息，将特征向量的流形转换至数值化的标签，得到标签数值化的置信度矩阵，从而消除偏标签数据的歧义。重构数据集中学习一个二值相关模型和梯度提升模型，获得一个鲁棒的回归模型。

本发明结合了偏标签学习(Partial Label Learning,PLL)中的问题变换和多标签学习(Multi-Label Learning,MLL)中的特征增强，首先通过探索特征和标签空间的拓扑结构来消除候选标签集的歧义，然后学习一个梯度提升回归器，以利用学习到的标签信息。

本发明具有的有益效果是：

本发明提出了一种新颖方法，结合了问题变换和特征增强处理，具有有两个主要优点：1)学习的弱回归器可以帮助提高简单二值相关模型的泛化能力；2)增强过程是粗略到精细的预测方式，因此随着迭代的进行，可以有效地利用标签相关性。大量实验证明本发明提出的方法的预测性能优于当前最先进的图片偏标签学习PLL算法，可以有效地处理偏多标签学习PML图片处理。

本发明能够充分地利用图片标签数据之间地相关性来提升图片预测性能。与目前的偏多标签算法相比，本发明一方面可以实现标签数据的消歧，另一方面也充分提取了标签之间的相关性提高了准确度和鲁棒性，其性能优于当前最先进的偏多标签算法。

附图说明

图1是本发明实施步骤流程图。

图2是一个带有4个负标签，3个噪声标签(红色)和3个正标签的置信度分布实例。

具体实施方式

现结合具体实施和示例对本发明的技术方案作进一步说明。

如图1，本发明具体实施例及其实施过程如下：

第一阶段，首先进行标签消歧，包括步骤1和步骤2：

步骤1：

首先从预先给定的训练数据集

中构建一个加权图

其中，V代表图片特征向量的集合，V＝{x_i|1≤i≤n}，x_i表示第i个图片的特征向量，i表示图片的序数，n表示训练数据集

中图片的总数；E代表每两个图片之间的连接关系的集合，E＝{(x_i,x_j)|i≠j,x_j∈kNN(x_i)}，kNN(x_i)表示到第i个图片的特征向量x_i欧式距离最近的前k个图片的特征向量的集合，(x_i,x_j)表示第j个图片和第i个图片具有连接关系；W为非负权重矩阵，W＝[w_ij]_n×n，其中

w_ij表示第j个图片对第i个图片的权重；

对每个图片的特征向量x_i，被其他图片的特征向量线性重建∑_j≠iw_ijx_j，获得线性重建误差；利用约束最小二乘规划方法来最小化线性重建误差ε(W)建立第一最小化模型，并通过有效集方法求解以上第一最小化模型获得非负权重矩阵W。

步骤2：根据加权图

建立以下第二最小化模型，并求解获得重构标签矩阵，作为置信度矩阵：

其中，U是重构标签矩阵，U＝[u₁,u₂,…,u_n]＝[u_di]_l×n，d表示标签的序数，l表示标签的总数，u₁,u₂,...,u_n分别表示重构标签矩阵的第1列、第2列、…、第n列，u_di表示重构标签矩阵的第d行第i列的元素，y_d表示第d个标签，Y_i表示第i个图片中多个实物物体对应的标签集合，δ₁和δ₂分别表示下限阈值和上限阈值；

通过有效集方法求解以上第二最小化模型获得重构标签矩阵U；

第二阶段，用梯度提升模型来拟合图片的特征向量和得到的重构标签矩阵，包括步骤3和步骤4：

步骤3：首先根据重构标签矩阵U将训练数据集

转换构造为重构数据集

再由重构数据集

中训练一个二值相关模型(BR，BinaryRelevance)f₀；二值相关模型将多标签回归问题分解成多个单标签回归问题，然后训练多个单标签回归器，训练后的单标签回归器构成了二值相关模型；然后用训练好的二值相关模型f₀对于图片的特征向量矩阵X进行预测处理得到一个标签矩阵f₀(X)，其中，X是特征向量矩阵。

步骤4：针对特征向量矩阵X建立一个回归器F，由回归器F构建损失函数并进行最小化求解。具体实施再采用聚合模型作为回归器F，将一组弱回归器添加到二值相关模型形成回归器F；在回归器F的第t次迭代，计算在F(X)＝F_t-1(X)处，损失函数

对F(X)的负梯度矩阵R^t。

接着利用回归器F的第t-1次迭代的预测结果矩阵进一步增强特征向量矩阵X，并结合负梯度矩阵R^t构造第t次迭代的数据集

然后利用数据集

进行训练学习获得一个弱回归器f_t。经过共计T次迭代后，求和所有的弱回归器，获得最终鲁棒的回归器F。

具体实施中可选择CART(分类回归树)作为弱学习器，正则化项就是树的深度、叶子节点数等指标。由于CART是非线性模型，因此它可以探索复杂的、非线性的标签相关性。

步骤5：对于一个预待测图片的特征向量x^*，输入到步骤4获得的回归器F中输出预测获得实数值的标签向量u*，根据标签向量u*判断：若标签向量u*中的第d个元素大于0，则图片中有第d个标签对应的实物物体存在；若标签向量u*中的第d个元素小于等于0，则图片中有第d个标签对应的实物物体不存在；

由此提取数值化输出的正负符号来获得逻辑标签，表征出图片中是否存在标签的对应的物体。

Claims (3)

1.一种基于流形学习和梯度提升模型的图片偏多标签分类方法，其特征在于：方法包括：

第一阶段，包括步骤1和步骤2：

步骤1：

首先从训练数据集

中构建一个加权图

其中，V代表图片特征向量的集合，V＝{x_i|1≤i≤n}，x_i表示第i个图片的特征向量，i表示图片的序数，n表示训练数据集

中图片的总数；E代表每两个图片之间的连接关系的集合，E＝{(x_i,x_j)|i≠j,x_j∈kNN(x_i)}，kNN(x_i)表示到第i个图片的特征向量x_i距离最近的前k个图片的特征向量的集合，(x_i,x_j)表示第j个图片和第i个图片具有连接关系；W为非负权重矩阵，W＝[w_ij]_n×n，其中

w_ij表示第j个图片对第i个图片的权重；

对每个图片的特征向量x_i，被其他图片的特征向量线性重建∑_j≠iw_ijx_j，获得线性重建误差：

其中，β是正则化项的权衡参数，||·||₂表示二范数；

利用约束最小二乘规划方法来最小化线性重建误差ε(W)建立以下第一最小化模型：

其中，w_j是W的第j列向量，G^j表示w_j对应的n行n列的格莱姆矩阵，其中G^j的第a行第b列元素为(x_j-x_a)′(x_j-x_b)，本发明使用v′表示某向量v的转置；

通过求解以上第一最小化模型获得非负权重矩阵W。

步骤2：根据加权图

建立以下第二最小化模型，并求解获得重构标签矩阵作为置信度矩阵，再求解以上第二最小化模型获得重构标签矩阵U：

其中，U是重构标签矩阵，U＝[u₁,u₂,…,u_n]＝[u_di]_l×n，d表示标签的序数，l表示标签的总数，u₁,u₂,...,u_n分别表示重构标签矩阵的第1列、第2列、…、第n列，u_di表示重构标签矩阵的第d行第i列的元素，y_d表示第d个标签，Y_i表示第i个图片中多个实物物体对应的标签集合，δ₁和δ₂分别表示下限阈值和上限阈值；

第二阶段，包括步骤3和步骤4：

步骤3：首先根据重构标签矩阵U将训练数据集

转换构造为重构数据集

再由重构数据集

中训练一个二值相关模型f₀；

然后用训练好的二值相关模型f₀对于图片的特征向量矩阵X进行预测处理得到一个标签矩阵f₀(X)，其中，X是特征向量矩阵；

步骤4：

针对特征向量矩阵X建立一个回归器F，由回归器F构建以下损失函数并进行最小化求解：

其中，

是Frobenius范数，Ω(F)表示回归器F的正则项，能够控制回归器F的复杂度，F(X)表示回归器F的预测结果矩阵，

为了找到最优解，采用聚合模型作为回归器F，将一组弱回归器添加到二值相关模型形成回归器F；在回归器F的第t次迭代，计算在F(X)＝F_t-1(X)处，损失函数

对F(X)的负梯度矩阵R^t：

其中，F_t-1(X)表示回归器F中第t-1次迭代的预测结果矩阵，

分别表示第t-1次迭代的预测结果矩阵F_t-1(X)的第1列、第2列、…、第n列，

分别表示第t次迭代下负梯度矩阵R^t的第1列、第2列、…、第n列；

接着利用回归器F的第t-1次迭代的预测结果矩阵进一步增强特征向量矩阵X，同时结合负梯度矩阵R^t构造以下第t次迭代的数据集

其中，

表示第t次迭代第i个图片增强后的特征向量；

然后利用数据集

进行训练学习获得一个弱回归器f_t，通过求和所有的弱回归器，获得最终鲁棒的回归器F：

其中，T是迭代的轮次，Ω′(f_t)表示控制第t次迭代的弱回归器f_t复杂度的正则化项，λ和γ分别是学习率和正则化项超参数，Ω(F)表示控制回归器F复杂度的正则化项；

步骤5：

对于一个预待测图片的特征向量x^*，输入到步骤4获得的回归器F中输出预测获得实数值的标签向量u*，根据标签向量u*判断：若标签向量u*中的第d个元素大于0，则图片中有第d个标签对应的实物物体存在；若标签向量u*中的第d个元素小于等于0，则图片中有第d个标签对应的实物物体不存在。

2.根据权利要求1所述的一种基于流形学习和梯度提升模型的图片偏多标签分类方法，其特征在于：所述步骤1中的图片的特征向量是通过图片输入神经网络模型VGGNet后提取获得。

3.根据权利要求1所述的一种基于流形学习和梯度提升模型的图片偏多标签分类方法，其特征在于：所述步骤3中的二值相关模型采用回归模型。

Images