CN102945372B - 基于多标签约束支持向量机的分类方法 - Google Patents

Abstract

本发明实施例公开了一种基于多标签约束支持向量机的分类方法，包括以下步骤：首先，在多标签空间中定义一种新型的距离度量方法，用来衡量在特定的分类目标下多标签空间中点与点之间的距离；然后，在特定的分类目标下对多标签空间中的每个点定义一个邻域，某点的邻域包含在新型的距离度量方法下离中心点最近的几个点，并提出了多标签邻域相似度约束；最后，结合多标签邻域相似度约束和传统的支持向量机约束，提出一种新的多标签约束支持向量机分类器进行多标签分类训练。本发明用于通过多标签约束利用多标签空间中包含的信息来提高鉴别型分类器在多标签分类中的分类精度，降低噪声标签对分类的影响。

Description

基于多标签约束支持向量机的分类方法

技术领域

本发明属于多标签技术领域，特别地涉及一种基于多标签约束支持向量机的分类方法。

背景技术

随着信息时代的到来，多媒体数据已经实现了爆炸性的增长。标签，作为多媒体的内容形式之一，能帮助解决数据挖掘方面很多重要的现实应用，特别是在跨媒体领域，体现出非常重要的作用。例如，利用合适的标签作为图像注释的一部分，可以开发出强大的图像标注和图像检索技术；利用合适的标签作为电影评论的一部分，可以开发出有效的电影推荐系统；利用合适的标签作为网页标记的一部分，可以开发出更有效率的搜索引擎。

标签的种类是多种多样的，由于数据量日新月异爆炸性的增长，仅仅依靠数据处理人员对所有的数据手工加标签是不现实的。在这种前提下，社会标签就应运而生了。社会标签，又称合作标签，社会分类法，是一种让普通大众用户能将在线的数字资源和自己提供的标签做关联的方法，是由用户产生的、对网络内容进行组织和共享的自下而上的组织分类体系。在这里，普通民众都可以通过在线环境在相应的系统中为自己感兴趣的数字资源添加自己觉得合适的标签。正是基于这种特点，社会标签的结果往往是不准确的，包含有很多噪声，因为每一位参与社会标签的普通用户都不能排除自己的主观性，粗心大意，甚至是缺乏耐心去提供一个完美的标签。

为了更好的利用社会标签为进一步的数据处理分析服务，必须尽可能的提高标签分类的准确度，降低噪声对标签分类的影响。同时，由于标签的种类是多种多样的，因此，多标签抗噪分类器应运而生，并且有着非常广阔的应用前景和非常重要的实用价值。传统的鉴别型分类器应用到多标签分类问题中时，一般将多标签问题转化为一对多(One Vs All)的分类模式，即把多标签分类问题转化为多个二分类问题。传统的鉴别型分类器在这个转化过程中并没有用到多标签空间中所包含的信息。而实际上，数据被标上的标签越多，标签空间中包含的信息也就越多，这些信息可以被利用起来。当判断数据点是否应该标上某个标签时，该数据点已有的其他标签会对判断起到一定的帮助作用。例如，当一幅包含动物的图像已有的标签为天空，云，草地，树木的时候，它更可能被标上的标签是鸟而不是鱼；而当一幅包含动物的图像已有的标签为水，水草，大海，珊瑚的时候，它更有可能被标上的标签是鱼而不是鸟。多标签空间中包含的信息在某种程度上可以帮助我们更好的进行分类，降低噪声对分类的影响。

发明内容

为解决上述问题，本发明的目的在于提供一种基于多标签约束支持向量机的分类方法，用于通过多标签约束利用多标签空间中包含的信息来提高鉴别型分类器在多标签分类中的分类精度，降低噪声标签对分类的影响。

为实现上述目的，本发明的技术方案为：

一种基于多标签约束支持向量机的分类方法，包括以下步骤：

首先，在多标签空间中定义一种新型的距离度量方法，用来衡量在特定的分类目标下多标签空间中点与点之间的距离，所述新型的距离度量方法为：将多标签训练集表示为多标签训练集中的每个点都被标上了多种多样的标签，整个多标签训练集的标签字典组成了S维的多标签空间多标签训练集中的每个点在视角中的特征向量表示为x_i，在标签字典中的标签向量表示为d_i＝(d_i，1，d_i，2，...，d_i，S)′，其中d_i，r∈{0，1}，1≤r≤S表示字典中的第r个标签T_r是否在I_i中出现，同时用y_i，r表示I_i的分类标签，y_i，r＝2·d_i，r-1。在多标签一对多(One Vs All)的分类模式中，当一个标签T_r被作为分类目标时，标签字典中其余的标签就会组成一个S-1维的标签特征空间用t_i，r表示I_i在空间中的特征向量，t_i，r＝(d_i，1，...，d_i，r-1，d_i，r+1，...，d_i，S)′，

定义 当给定d_i，k＝0or1时，d_i，r＝0or1的条件概率如下所示：

$P_{10}\stackrel{\mathrm{\Δ}}{=}P(d_{i,r}=1|d_{i,k}=0)=1-P_{00}$

$P_{01}\stackrel{\mathrm{\Δ}}{=}P(d_{i,r}=0|d_{i,k}=1)=1-P_{11}$

将每一个标签T_r的关联度向量标记为g_r，

g_r＝(g_r，1，...，g_r，r-1，g_r，r+1，...，g_r，S)′；

向量的每一个元素表示标签T_r与其他标签的关联度；

关联度元素g_r，k(k∈{1，...，r-1，r+1，...，S})的定义如下式所示：g_r，k＝P₀₀·P₁₁+P₁₀·P₀₁，将样本点在空间中的特征向量与每一个标签T_r关联度向量结合起来，得到多标签空间中一种新型的距离度量方法的定义如下式所示：dis_r(I_i，I_j)＝||(t_i，r-t_j，r)⊙g_r||_p，其中⊙表示向量之间的阿达马(Hadamard)乘积；

然后，在特定的分类目标下对多标签空间中的每个点定义一个邻域，某点的邻域包含在新型的距离度量方法下离中心点最近的几个点，并提出了多标签邻域相似度约束。所述的邻域以及多标签邻域相似度约束的建立方法为：I_i在空间中用这种新型距离度量方法定义的邻域，不包括I_i自己，表示为I_i和其邻域中数据点的分类结果相似度高，和非邻域数据点的分类结果相似度低，邻域的大小u表示I_i在空间中的最邻近的邻居点的个数，所述多标签约束支持向量机通过添加多标签空间邻域相似度约束来最小化每一个点和其在多标签空间中最邻近的邻居点的分类结果之间的差异，该约束如下所示：

且|w^Tx_i-w^Tx_j|≤η_ij，η_ij≥0

其中w是多标签约束支持向量机分类器的系数；

最后，结合多标签邻域相似度约束和传统的支持向量机约束，提出一种新的多标签约束支持向量机分类器进行多标签分类训练，所述新的多标签约束支持向量机分类器的建立方法为：结合上述多标签约束条件和传统的支持向量机约束条件，整合到多标签约束支持向量机的优化式中，优化式如下所示：

$\underset{w}{\min }=\frac{1}{2}{\left|\right|w\left|\right|}^2+C\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j\∈N_i^r}{\mathrm{\Σ}}\frac{C^{*}}{e^{{\mathrm{dis}}_r}(I_i,I_j)}\·{\mathrm{\η}}_{\mathrm{ij}}$

$s.t.{\∀}_{i=1}^n:$ $y_{i,r}(w^T{x}_i+\hat{b})\≥1-{\mathrm{\ξ}}_i,$ ξ_i≥0

且|w^Tx_i-w^Tx_j|≤η_ij，η_ij≥0

其中分别是多标签约束支持向量机分类器的系数和偏置，C和C^*是常数，且C^*＜C，ξ_i是松弛变量。

与现有技术相比，本发明具有以下有益效果：

(1)创新性的提出在多标签一对多(One Vs All)的分类模式中充分利用多标签空间中的信息，以降低噪声对分类训练过程的影响，提高多标签分类鉴别型分类器的分类准确度。

(2)在多标签空间中定义一种新型的距离度量方法，用来衡量在特定的分类目标下多标签空间中点与点之间的距离。该距离度量方法充分考虑到了标签与标签之间的相互关系和依存程度。并通过该距离度量定义了多标签空间中的邻域，并提出了多标签邻域相似度约束。

(3)发明了多标签约束支持向量机(Support Vector Machine with Multi-labelConstraints，SVM-MC)，能通过多标签邻域相似度约束把多标签空间中每个点的邻域信息应用到分类训练过程中，提高分类准确度。

附图说明

图1为本发明实施例的基于多标签约束支持向量机的分类方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

参考图1，所示为本发明实施例的基于多标签约束支持向量机的分类方法流程图，其包括以下步骤：

S01，在多标签空间中定义一种新型的距离度量方法，用来衡量在特定的分类目标下多标签空间中点与点之间的距离；

S02，在特定的分类目标下对多标签空间中的每个点定义一个邻域，某点的邻域包含在新型的距离度量方法下离中心点最近的几个点，并提出了多标签邻域相似度约束；

S03，结合多标签邻域相似度约束和传统的支持向量机约束，提出一种新的多标签约束支持向量机分类器进行多标签分类训练。

本发明实施例提出的一种多标签约束支持向量机(SVM with Multi-labelConstraints，SVM-MC)。将多标签训练集表示为训练集中的每个点都被标上了多种多样的标签，整个训练集的标签字典组成了S维的多标签空间当任何一个标签T_r(1≤r≤S)作为二分类的目标时，其余的标签就会组成一个S-1维的标签特征空间训练集中的每个点在视角中的特征向量表示为x_i，在标签字典中的标签向量表示为d_i＝(d_i，1，d_i，2，...，d_i，S)′，其中d_i，r∈{0，1}，1≤r≤S表示字典中的第r个标签T_r是否在I_i中出现。对于每一个标签T_r和每一个点I_i＝(x_i，d_i)，用y_i，r表示I_i的分类标签，y_i，r＝2·d_i，r-1。

本发明实施例在多标签空间中定义的一种新型的距离度量方法，用来衡量在特定的分类目标下多标签空间中点与点之间的距离。在多标签一对多(One VsAll)的分类模式中，当一个标签Tr被作为分类目标时，标签字典中其余的标签就会组成一个S-1维的标签特征空间在空间中距离越近的点的分类相似度也越高。用t_i，r表示I_i在空间中的特征向量，t_i，r＝(d_i，1，...，d_i，r-1，d_i，r+1，...，d_i，S)′。然而，用公式||t_i，r-t_j，r||_p直接来度量I_i和I_j在中的距离在大多数情况下是不合理的，因为这种方法假设标签之间是相互独立的，而忽略了标签之间可能存在的相互关系。在现实情况中，标签之间存在着各种各样的关系，有些标签经常一起出现，有些标签却绝不同时出现。

通过评价对于I_i和I_j在中的距离的影响来讨论标签T_r和T_k(k∈{1，...，r-1，r+1，...，S})之间的关系。当|d_i，k-d_j，k|＝0时，|d_i，k-d_j，k|对于I_i和I_j在中的距离的影响也为0；当|d_i，k-d_j，k|＝1时，|d_i，k-d_j，k|对于I_i和I_j在中的距离的影响取决于标签T_r和T_k之间的关联度。|d_i，k-d_j，k|＝1和|d_i，r-d_j，r|的取值之间的关系如下式所述：

I_j∈I： $|d_{i,k}-d_{j,k}|=1\⇒|d_{i,r}-d_{j,r}|=1,$

当 ${\∀I}_i\∈I:$ $d_{i,k}=0\⇒d_{i,r}=0,$ 且 $d_{i,k}=1\⇒d_{i,r}=1$

或 ${\∀I}_i\∈I:$ $d_{i,k}=0\⇒d_{i,r}=1,$ 且 $d_{i,k}=1\⇒d_{i,r}=0$ 时

I_j∈I： $|d_{i,k}-d_{j,k}|=1\⇒|d_{i,r}-d_{j,r}|=0,$

当 ${\∀I}_i\∈I:$ $d_{i,k}=0\⇒d_{i,r}=0,$ 且 $d_{i,k}=1\⇒d_{i,r}=0$

或 ${\∀I}_i\∈I:$ $d_{i,k}=0\⇒d_{i,r}=1,$ 且 $d_{i,k}=1\⇒d_{i,r}=1$ 时(1)

定义 公式(1)描述了标签T_r和T_k之间的四种特殊关系。在实际中，当标签T_r在和中分布均匀的时候，T_k对于T_r来说不是一个具有区别性的标签；当标签T_r在和中分布不均匀的时候，T_k对于T_r来说是一个具有区别性的标签。当给定d_i，k＝0or1时，d_i，r＝0or1的条件概率如下所示：

$P_{10}\stackrel{\mathrm{\Δ}}{=}P(d_{i,r}=1|d_{i,k}=0)=1-P_{00}$

$P_{01}\stackrel{\mathrm{\Δ}}{=}P(d_{i,r}=0|d_{i,k}=1)=1-P_{11}---\left(2\right)$

从公式(1)(2)可以看出，当P₀₀·P₁₁或者P₁₀·P₀₁的值越大时，|d_i，k-d_j，k|＝1推出|d_i，r-d_j，r|＝1的概率也越大，|d_i，k-d_j，k|对于I_i和I_j在中的距离的影响也越大。当P₀₀·P₀₁或者P₁₀·P₁₁的值较大时，|d_i，k-d_j，k|＝1推出|d_i，r-d_j，r|＝0的概率也越大，|d_i，k-d_j，k|对于I_i和I_j在中的距离的影响也越小。

P₀₀·P₁₁+P₁₀·P₀₁+P₀₀·P₀₁+P₁₀·P₁₁＝1。将每一个标签T_r的关联度向量标记为g_r，g_r＝(g_r，1，...，g_r，r-1，g_r，r+1，...，g_r，S)′。向量的每一个元素表示标签T_r与其他标签的关联度。用下式来定义关联度元素g_r，k(k∈{1，...，r-1，r+1，...，S})：g_r，k＝P₀₀·P₁₁+P₁₀·P₀₁。

将样本点在空间中的特征向量与每一个标签T_r关联度向量结合起来，定义了多标签空间中一种新型的距离度量方法，如下式所示：dis_r(I_i，I_j)＝||(t_i，r-t_j，r)⊙g_r||_p。⊙表示向量之间的阿达马(Hadamard)乘积，I_i在空间中用这种新型距离度量方法定义的邻域(不包括I_i自己)表示为I_i和其邻域中数据点的分类结果相似度高，和非邻域数据点的分类结果相似度低。邻域的大小u表示I_i在空间中的最邻近的邻居点的个数， $N_i^T\stackrel{\mathrm{\Δ}}{=}\left\{j\right|I_j\∈N_r\left(I_i\right)\}.$

为了利用多标签空间中包含的信息，本发明实施例的一种新的多标签约束支持向量机(SVM-MC)，该向量机通过添加多标签空间邻域相似度约束，来最小化每一个点和其在多标签空间中最邻近的邻居点的分类结果之间的差异，该约束如下所示：

且|w^Tx_i-w^Tx_j|≤η_ij，η_ij≥0

其中w是多标签约束支持向量机分类器的系数。结合上述多标签约束条件和传统的支持向量机(SVM)约束条件，本发明实施例提出的多标签约束支持向量机SVM-MC，其优化式如下所示：

$\underset{w}{\min }=\frac{1}{2}{\left|\right|w\left|\right|}^2+C\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j\∈N_i^r}{\mathrm{\Σ}}\frac{C^{*}}{e^{{\mathrm{dis}}_r}(I_i,I_j)}\·{\mathrm{\η}}_{\mathrm{ij}}$

$s.t.{\∀}_{i=1}^n:$ $y_{i,r}(w^T{x}_i+\hat{b})\≥1-{\mathrm{\ξ}}_i,$ ξ_i≥0

且|w^Tx_i-w^Tx_j|≤η_ij，η_ij≥0

其中分别是多标签约束支持向量机分类器的系数和偏置，C和C^*是常数，且C^*＜C，ξ_i是松弛变量。通过拉格朗日乘数法，可以得到该问题的对偶问题：

$\max -\frac{1}{2}\underset{i,k=1}{\overset{n}{\mathrm{\Σ}}}\left\{\right[{\mathrm{\λ}}_i{y}_{i,r}{x}_i-\underset{j\∈N_i^r}{\mathrm{\Σ}}({\mathrm{\β}}_{\mathrm{ij}}^{+}-{\mathrm{\β}}_{\mathrm{ij}}^{-})(x_i-x_j)]$

$\·[{\mathrm{\λ}}_k{y}_{k,r}{x}_k-\underset{h\∈N_k^r}{\mathrm{\Σ}}({\mathrm{\β}}_{\mathrm{kh}}^{+}-{\mathrm{\β}}_{\mathrm{kh}}^{-})(x_k-x_h)]\}+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\λ}}_i$

$s.t.\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\λ}}_i{y}_{i,r}=0;$ 0≤λ_i≤C；

且 $\∀j\∈N_i^r:$ ${\mathrm{\β}}_{\mathrm{ij}}^{+/-}\≥0;$ ${\mathrm{\β}}_{\mathrm{ij}}^{+}+{\mathrm{\β}}_{\mathrm{ij}}^{-}\≤\frac{C^{*}}{e^{{\mathrm{dis}}_r(I_i,I_j)}}$

其中λ_i，和都是拉格朗日乘子。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于多标签约束支持向量机的分类方法，其特征在于，包括以下步骤：

首先，在多标签空间中定义一种新型的距离度量方法，用来衡量在特定的分类目标下多标签空间中点与点之间的距离，所述新型的距离度量方法为：将多标签训练集表示为多标签训练集中的每个点都被标上了多种多样的标签，整个多标签训练集的标签字典组成了S维的多标签空间多标签训练集中的每个点的特征向量表示为x_i，在标签字典中的标签向量表示为d_i＝(d_i，1，d_i，2，...，d_i，S)′，其中d_i，r∈{0，1}，l≤r≤S表示字典中的第r个标签T_r是否在I_i中出现，同时用y_i，r表示I_i的分类标签，y_i，r＝2·d_i，r-1，在多标签一对多OneVs All的分类模式中，当一个标签T_r被作为分类目标时，标签字典中其余的标签就会组成一个S-1维的标签特征空间用t_i，r表示I_i在空间中的特征向量，t_i，r＝(d_i，1，...，d_i，r-1，d_i，r+1，...，d_i，s)′，

定义当给定d_i，k＝0 or 1时，其中，k∈{1，...，r-1，r+1，...，S}，d_i，r＝0 or 1的条件概率如下所示：

$P_{01}\stackrel{\mathrm{\Δ}}{=}P(d_{i,r}=0|d_{i,k}=1)=1-P_{11}$

将每一个标签T_r的关联度向量标记为g_r，

g_r＝(g_r，1，...，g_r，r-1，g_r，r+1，...，g_r，S)′；

向量的每一个元素表示标签T_r与其他标签的关联度；

关联度元素g_r，k(k∈{1，...，r-1，r+1，...，S})的定义如下式所示：g_r，k＝P₀₀·P₁₁+P₁₀·P₀₁，将样本点在空间中的特征向量与每一个标签T_r关联度向量结合起来，得到多标签空间中一种新型的距离度量方法的定义如下式所示：dis_r(I_i，I_j)＝||(t_i，r-t_j，r)⊙g_r||_p，其中⊙表示向量之间的阿达马Hadamard乘积；

然后，在特定的分类目标下对多标签空间中的每个点定义一个邻域，某点的邻域包含在新型的距离度量方法下离中心点最近的几个点，并提出了多标签邻域相似度约束，所述的邻域以及多标签邻域相似度约束的建立方法为：I_i在空间中用这种新型距离度量方法定义的邻域，不包括I_i自己，表示为I_i和其邻域中数据点的分类结果相似度高，和非邻域数据点的分类结果相似度低，邻域的大小u表示I_i在空间中的最邻近的邻居点的个数，所述多标签约束支持向量机通过添加多标签空间邻域相似度约束来最小化每一个点和其在多标签空间中最邻近的邻居点的分类结果之间的差异，该约束如下所示：

且

其中w是多标签约束支持向量机分类器的系数；

最后，结合多标签邻域相似度约束和传统的支持向量机约束，提出一种新的多标签约束支持向量机分类器进行多标签分类训练，所述新的多标签约束支持向量机分类器的建立方法为：结合上述多标签约束条件和传统的支持向量机约束条件，整合到多标签约束支持向量机的优化式中，优化式如下所示：

且

其中分别是多标签约束支持向量机分类器的系数和偏置，C和C^*是常数，且C^*＜C，ξ_i是松弛变量，“s.t.”表示“受约束”“使得......满足”，表示“对于任意的i，i∈{1，2，...，n}”。