CN102982344B - 基于同时融合多视角特征及多标签信息的支持向量机分类方法 - Google Patents

Abstract

本发明实施例公开了一种基于同时融合多视角特征及多标签信息的支持向量机分类方法，包括以下步骤：输入多视角特征训练数据以及每个数据所对应的多标签信息，建立同时融合多视角特征及多标签信息的支持向量机分类器的数学模型，设定各个项的对应权重因子的值；训练和学习分类器的各个参数，运用循环迭代算法更新目标优化式的各个参数变量，直到两次迭代的整体目标函数值之差的绝对值小于预设的阈值时停止，并且采用更新计算某个参数时，固定其他参数值的策略；用训练得到的分类器，对实际数据进行多标签分类或预测。本发明用于提供一种技术在支持向量机分类的同时，学习得到新的数据空间里的一个统一的数据表达形式，提高了分类器的准确率。

Description

基于同时融合多视角特征及多标签信息的支持向量机分类方法

技术领域

本发明属于标签技术领域，特别地涉及一种基于同时融合多视角特征及多标签信息的支持向量机分类方法。

背景技术

随着信息时代的到来，各种数据以几何级数爆发增长。尤其是在互联网领域，海量跨媒体数据已是人们关注和研究的热点。例如，图像数据结合文本标签数据的内容理解和提取在互联网信息搜索和数据挖掘应用方面起到了至关重要的作用。而其中一个关键就是如何准确地对具有多种特征的图像进行内容分类。这些特征可以通过各种特征提取技术得到，比如图像sift特征提取技术、HUE图像颜色特征提取技术、Gabor图像纹理提取技术。而在文本分析和内容分类问题中，一篇体育新闻的文章中往往附有比赛图片、视频、声音等信息，同时这篇文章也可能被翻译成了其他语言的文字。如何有效地提取和利用这些来自多种信息视角的特征，并且提高数据的分类准确率，成了当今计算机数据挖掘领域亟待解决的课题。

另一方面，在实际的数据挖掘分类问题中，很多情况下数据对象在拥有通过不同途径得到的多视角特征信息的同时，往往会有多个类属标签与之关联。这些标签反映了目标对象的对应属性，是人们对这些数据内容的概括或属性的分类。例如，在多标签图像数据的分类问题中，一幅图拥有类属标签“山”、“湖水”、“船”。而一篇谈论苹果公司产品的文章，可以具有“科技”、“经济”、“数码产品”等分类标签。

现有的分类技术，都只关注了数据的多标签分类问题或是数据的多视角信息特征分类的问题，而忽视了如何将多视角信息特征和多标签信息有效融合起来提高分类问题的准确率。在传统的多标签分类技术中，通常是把多标签问题转化为一对多OneVsAll(OVA)的分类模式，即把多标签分类问题分解为多个二分类问题。但在这一多标签问题的分解过程中，没有考虑到多标签空间中的数据关联信息。例如，一个已有内容标签“山”、“湖泊”、“船”的图片，它的内容中有“人”的概率远远大于有“建筑楼”的概率。传统的多标签分类器既没有很好地利用这方面的信息，也没考虑到利用数据多视角特征空间的关联信息和冗余信息。同样，在现有的多视角信息特征分类技术中，往往只注意多视角特征在特定标签上的分类一致性，而都忽视了多标签信息对于多视角特征的鉴别选择作用。例如，“苹果”标签在分类“红苹果”、“绿苹果”和“红旗”图片的时候，会鉴别地选择形状特征，而颜色特征在根据“苹果”这个概念进行图片分类时会产生干扰和影响。而且现有的多视角信息特征分类器直接将多种途径得到的数据特征作为分类器的输入，带入了很多噪声干扰和冗余信息，使得分类结果受到很大影响。

鉴于现有的多标签分类器和多视角特征分类器各自存在的缺点和不足，本发明提出的鉴别型支持向量机分类方法能够同时融合多视角特征及多标签信息，把分类过程和特征融合过程结合起来提高分类准确度，有效解决了实际数据挖掘应用中多视角特征、多标签数据的智能分类和内容识别问题。

发明内容

为解决上述问题，本发明的目的在于提供一种基于同时融合多视角特征及多标签信息的支持向量机，用于提供一种技术在支持向量机分类的同时，学习得到新的数据空间里的一个统一的数据表达形式。数据的这种新的表达形式能够有效地消除多种特征表达间的冗余，加强相互间的关联辅助信息。由于在学习过程中引入了多标签信息的正则项调节因子，新的数据表达鉴别地选择了多视角特征，从而进一步提高了分类器的准确率。

为实现上述目的，本发明的技术方案为：

一种基于同时融合多视角特征及多标签信息的支持向量机分类方法，包括以下步骤S10至S30：

S10，输入多视角特征训练数据以及每个数据所对应的多标签信息，建立同时融合多视角特征及多标签信息的支持向量机MVMLSVM分类器的数学模型，设定各个项的对应权重因子的值，其具体包括S101至S103，

S101，输入给定的多视角特征数据以及每个数据的多标签信息， i∈{1，2，…，n}，v∈{1，2，…，V}，l∈{1，2，…，L}，其中L是标签的种数，d_v是第v个视角特征的维度，表示数据在第l种标签上的类属关系，值为+1表示数据属于第l种标签，-1表示不属于，采用矩阵形式来表达数据和数据所附有的标签信息，分别用X^v，v∈{1，2，…，V}和来表示，其中， 的每一列属于L维的标签空间即 而的每一行的转置后的列向量表示各个数据在第l种标签上的类属关系，用Y^l表示，

S102，在对标签集合中的每一个标签训练一个相应的二分类分类器时，把具有选中的这个标签的数据作为正例样本，没有此标签的样本都作为负例样本，对于标签集中的第l种标签，要训练得到它对应的多视角多标签信息融合的分类器，方法如下：首先将原始数据的多视角特征通过一致性统筹函数进行特征融合，并且引入训练数据的多标签信息作为正则项因子进行调节优化，其中是学习得到的数据在V个视角特征上的一致性表达，d_g是每个数据新的维度，是V个视角特征各自变换到G的投影映射，然后将针对第l种标签学习得到的数据一致性表达形式G作为相应支持向量机的输入，训练分类器，整个过程通过以下整合的目标函数优化求解得到各个参数：

${\min }_{G,\left\{P^v\right\},\mathrm{\β}}\mathrm{\γ}\underset{v=1}{\overset{V}{\mathrm{\Σ}}}{\left|\right|G-P^v{X}^v\left|\right|}^2+\mathrm{\λ}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\β}}_i{\mathrm{\β}}_{j}k(g_i,g_j)$

$-\mathrm{\η}\frac{1}{{(n-1)}^2}\underset{v=1}{\overset{V}{\mathrm{\Σ}}}\mathrm{tr}\left(H{\left(P^v{X}^v\right)}^T\left(P^v{X}^v\right)H{Y}^{T}Y\right)$

$+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}L(y_i,\underset{j=1}{\overset{n}{\mathrm{\Σ}}}k(g_j,g_i){\mathrm{\β}}_j)$

S103，设定对应项的权重因子，γ，λ，η根据实际应用情况设定，预设50，100，50作为默认值；

S20，训练和学习分类器的各个参数，运用循环迭代算法更新目标优化式的各个参数变量，直到两次迭代的整体目标函数值之差的绝对值小于预设的阈值时停止，并且采用更新计算某个参数时，固定其他参数值的策略，其中，在一次循环迭代里，又分为以下三个步骤：

S201，更新计算每个视角特征对应的投影映射P^v(v＝1，2，…，V)的每一列；

$\begin{array}{cc}{p}_k^v=\frac{u_k-P^v{n}_k}{N_{\mathrm{kk}}}+p_k^v& k=\mathrm{1,2},\·\·\·,d_v\end{array}$

其中，N_kk是矩阵的第k行第k列个元素，其中n_k是N的第k列，u_k是矩阵U＝G(X^v)^T的第k列，

S202，计算支持向量机分类器的分类系数β；

β＝(λI_n+I⁰K)^-1I⁰Y^l

其中 $I^0=\left[\begin{array}{cc}{I}_{\mathrm{sv}}& 0\\ 0& 0\end{array}\right],$

S203，更新计算各个视角特征映射变换后的数据一致性表达形式G的每一列；

$\begin{array}{cc}{g}_k^{t+1}=g_k^t-D{\left(g_k^t\right)}^{-1}{\▿}_{g_k^t}& k=\mathrm{1,2},\·\·\·,n\end{array}$

其中是对角矩阵，定义如下：

$D_{\mathrm{ad}}\left(g_k^t\right)={\mathrm{\δ}}_{\mathrm{ad}}((2(\mathrm{\γV}+\mathrm{\λ}{\mathrm{\β}}_k^2)+2({(q_k-y_k)}^2+{\mathrm{\β}}_k^2)[k\∈n_{\mathrm{sv}}\left]\right)g_k^t$

$+{2\left(\mathrm{G\β}\right){\left(\mathrm{G\β}\right)}^T{g}_k^t[k\∈n_{\mathrm{sv}}]+2{\mathrm{\β}}_k^2{G}_{\mathrm{sv}}{G_{\mathrm{sv}}}^T{g}_k^t)}_a/{\left(g_k^t\right)}_a$

$q_i=k_i^T\mathrm{\β}=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{g}_j^T{g}_i{\mathrm{\β}}_j,$ $G_{\mathrm{sv}}{G_{\mathrm{sv}}}^T=\underset{i=1}{\overset{n_{\mathrm{sv}}}{\mathrm{\Σ}}}{g}_i{g}_i^T$

定义为：

${\▿}_{g_k^t}=\mathrm{\γ}\underset{v=1}{\overset{V}{\mathrm{\Σ}}}(2g_k-2P^v{X}_k^v)+\mathrm{\λ}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}2{\mathrm{\β}}_k{\mathrm{\β}}_j{g}_j$

$+2\left(\left(\underset{j=1}{\overset{n}{\mathrm{\Σ}}}(q_k-y_k){\mathrm{\β}}_j{g}_j\right)\right[k\∈n_{\mathrm{sv}}]+{\mathrm{\β}}_k\underset{i=1}{\overset{n_{\mathrm{sv}}}{\mathrm{\Σ}}}(q_i-y_i)g_i)$

整个迭代过程直到两次迭代的整体目标函数值之差的绝对值小于10^-5或最大迭代次数超过100停止，最后得到的每个多视角特征的投影映射矩阵P^v(v＝1，2，…，V)，数据的一致性表达形式G，以及支持向量机的分类系数β就是训练阶段所要得到的基于同时融合多视角特征多标签信息支持向量机分类器MVMLSVM的参数；

S30，用训练得到的分类器，对实际数据进行多标签分类或预测，具体包括如下步骤S301至S302，

S301，将待分类的数据的每一视角的特征通过对应的投影映射矩阵变换得到新的数据表达得到每个视角变换后的结果后，通过将新的数据空间里的每个视角变换后的结果整合起来得到统一的表达形式G_test，

S302，用训练阶段学习得到的参数G计算K_test＝G^TG_test，以及用训练阶段得到的支持向量机的分类系数β计算根据所得结果的正负性，判断待分类数据是否属于分类器对应的标签类，正的值，表示需要判断的待分类数据属于分类器所对应的标签类；负的值，表示需要判断的待分类数据不属于分类器所对应的标签类。

与现有技术相比，本发明具有以下有益效果：

(1)本发明的分类器创新性地将多视角特征信息融合，在多标签信息正则因子的调节下，学习得到数据新的表达形式。由于多标签信息对多视角特征的鉴别选择作用，特征融合的过程，减少了特征间的噪声和冗余，保留和增强了特征间的一致性关联以及数据特征与标签信息间的关联度，从而提高了鉴别型分类器的分类准确度。

(2)本发明创新性地设计，在挖掘数据潜在的有用结构的同时，将数据新的统一表达形式作为输入，训练支持向量机分类器。由于将分类器的目标函数和多特征学习的目标函数结合统一起来，作为多视角特征、多标签信息融合分类器的最终优化目标，分类器在训练阶段，能同时学到了数据新的统一表达、各个视角特征的映射变换、以及支持向量机的分类系数。并且，由于目标优化式中分类器的目标函数的结合引入，分类器学到的新的数据表达形式，更好地挖掘了原始数据的鉴别结构，最终提高了分类性能。

(3)本发明提出了同时融合多视角特征多标签信息支持向量机(Multi-ViewMulti-LabelSupportVectorMachine，MVMLSVM)，并且创新性地提出了一种有效地迭代更新方法来计算分类器中的各个参数。

附图说明

图1为本发明实施例的基于同时融合多视角特征及多标签信息的支持向量机分类方法的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

参考图1，所示为本发明实施例的基于同时融合多视角特征及多标签信息的支持向量机分类方法的流程图，其包括以下步骤：

S10，输入多视角特征训练数据以及每个数据所对应的多标签信息，建立MVMLSVM分类器的数学模型，设定各个项的对应权重因子的值。

进一步的，S10包括S101至S103：

S101，输入给定的多视角特征数据以及每个数据的多标签信息， i∈{1，2，…，n}，v∈{1，2，…，V}，l∈{1，2，…，L}，v∈{1，2，…，V}，l∈{1，2，…，L}。其中L是标签的种数，d_v是第v个视角特征的维度，表示数据在第l种标签上的类属关系，值为+1表示数据属于第l种标签，-1表示不属于。为了便于表达，采用矩阵形式来表达数据和数据所附有的标签信息，分别用X^v，v∈{1，2，…，V}和来表示。其中， 的每一列属于L维的标签空间即 而的每一行的转置后的列向量表示各个数据在第l种标签上的类属关系，用Y^l表示，

S102，本发明在对标签集合中的每一个标签训练一个相应的二分类分类器时，把具有选中的这个标签的数据作为正例样本，没有此标签的样本都作为负例样本。例如选择了标签集中的第l种标签，现在要训练得到它对应的多视角多标签信息融合的分类器。

首先将原始数据的多视角特征通过一致性统筹函数进行特征融合，并且引入训练数据的多标签信息作为正则项因子进行调节优化。其中是学习得到的数据在V个视角特征上的一致性表达，d_g是每个数据新的维度。是V个视角特征各自变换到G的投影映射。然后将针对第l种标签学习得到的数据一致性表达形式G作为相应支持向量机的输入，训练分类器。整个过程通过以下整合的目标函数优化求解得到各个参数：

${\min }_{G,\left\{P^v\right\},\mathrm{\β}}\mathrm{\γ}\underset{v=1}{\overset{V}{\mathrm{\Σ}}}{\left|\right|G-P^v{X}^v\left|\right|}^2+\mathrm{\λ}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\β}}_i{\mathrm{\β}}_{j}k(g_i,g_j)$

$-\mathrm{\η}\frac{1}{{(n-1)}^2}\underset{v=1}{\overset{V}{\mathrm{\Σ}}}\mathrm{tr}\left(H{\left(P^v{X}^v\right)}^T\left(P^v{X}^v\right)H{Y}^{T}Y\right)$

$+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}L(y_i,\underset{j=1}{\overset{n}{\mathrm{\Σ}}}k(g_j,g_i){\mathrm{\β}}_j)$

S103，设定对应项的权重因子，γ，λ，η根据实际应用情况设定，预设值为50，100，50作为默认值。

S20，训练和学习分类器的各个参数：运用循环迭代算法更新目标优化式的各个参数变量，直到两次迭代的整体目标函数值之差的绝对值小于预设的阈值时停止。并且采用更新计算某个参数时，固定其他参数值的策略。其中，在一次循环迭代里，又分为以下三个步骤S201-S205：

S201，更新计算每个视角特征对应的投影映射P^v(v＝1，2，…，V)的每一列；

$\begin{array}{cc}{p}_k^v=\frac{u_k-P^v{n}_k}{N_{\mathrm{kk}}}+p_k^v& k=\mathrm{1,2},\·\·\·,d_v\end{array}$

其中，N_kk是矩阵(其中)的第k行第k列个元素，n_k是N的第k列，u_k是矩阵U＝G(X^v)^T的第k列。

S202，计算支持向量机分类器的分类系数β；

β＝(λI_n+I⁰K)^-1I⁰Y^l

其中 $I^0=\left[\begin{array}{cc}{I}_{\mathrm{sv}}& 0\\ 0& 0\end{array}\right].$

S205，更新计算各个视角特征映射变换后的数据一致性表达形式G的每一列；

$\begin{array}{cc}{g}_k^{t+1}=g_k^t-D{\left(g_k^t\right)}^{-1}{\▿}_{g_k^t}& k=\mathrm{1,2},\·\·\·,n\end{array}$

其中是对角矩阵，定义如下：

$D_{\mathrm{ad}}\left(g_k^t\right)={\mathrm{\δ}}_{\mathrm{ad}}((2(\mathrm{\γV}+\mathrm{\λ}{\mathrm{\β}}_k^2)+2({(q_k-y_k)}^2+{\mathrm{\β}}_k^2)[k\∈n_{\mathrm{sv}}\left]\right)g_k^t$

$+{2\left(\mathrm{G\β}\right){\left(\mathrm{G\β}\right)}^T{g}_k^t[k\∈n_{\mathrm{sv}}]+2{\mathrm{\β}}_k^2{G}_{\mathrm{sv}}{G_{\mathrm{sv}}}^T{g}_k^t)}_a/{\left(g_k^t\right)}_a$

$q_i=k_i^T\mathrm{\β}=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{g}_j^T{g}_i{\mathrm{\β}}_j,$ $G_{\mathrm{sv}}{G_{\mathrm{sv}}}^T=\underset{i=1}{\overset{n_{\mathrm{sv}}}{\mathrm{\Σ}}}{g}_i{g}_i^T$

定义为：

${\▿}_{g_k^t}=\mathrm{\γ}\underset{v=1}{\overset{V}{\mathrm{\Σ}}}(2g_k-2P^v{x}_k^v)+\mathrm{\λ}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}2{\mathrm{\β}}_k{\mathrm{\β}}_j{g}_j$

$+2\left(\left(\underset{j=1}{\overset{n}{\mathrm{\Σ}}}(q_k-y_k){\mathrm{\β}}_j{g}_j\right)\right[k\∈n_{\mathrm{sv}}]+{\mathrm{\β}}_k\underset{i=1}{\overset{n_{\mathrm{sv}}}{\mathrm{\Σ}}}(q_i-y_i)g_i)$

整个迭代过程直到两次迭代的整体目标函数值之差的绝对值小于10^-5或最大迭代次数超过100停止。

最后得到的每个多视角特征的投影映射矩阵P^v(v＝1，2，…，V)，数据的一致性表达形式G，以及支持向量机的分类系数β就是训练阶段所要得到的基于同时融合多视角特征多标签信息支持向量机分类器(MVMLSVM)的参数。

S30，用训练得到的分类器，对实际数据进行多标签分类或预测，

S301，将待分类的数据的每一视角的特征通过对应的投影映射矩阵变换得到新的数据表达得到每个视角变换后的结果后，通过将新的数据空间里的每个视角变换后的结果整合起来得到统一的表达形式G_test，

S302，用训练阶段学习得到的参数G计算K_test＝G^TG_test，以及用训练阶段得到的支持向量机的分类系数β计算根据所得结果的正负性，判断待分类数据是否属于分类器对应的标签类，正的值，表示需要判断的待分类数据属于分类器所对应的标签类；负的值，表示需要判断的待分类数据不属于分类器所对应的标签类。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于同时融合多视角特征及多标签信息的支持向量机分类方法，其特征在于，包括以下步骤S10至S30：

S10，输入多视角特征训练数据以及每个数据所对应的多标签信息，建立同时融合多视角特征及多标签信息的支持向量机MVMLSVM分类器的数学模型，设定各个项的对应权重因子的值，其具体包括S101至S103，

S101，输入给定的多视角特征数据以及每个数据的多标签信息， $\{(x_1^v,y_1^l),...,(x_n^v,y_n^l)\},x_i^v\∈R^{d_v\×1},y_i^l\∈\{-1,+1\},i\∈\{1,2,...,n\},v\∈\{1,2,...,V\},l\∈\{1,2,...,L\},$ 其中L是标签的种数，d_v是第v个视角特征的维度，表示数据在第l种标签上的类属关系，值为+1表示数据属于第l种标签，-1表示不属于，采用矩阵形式来表达数据和数据所附有的标签信息，分别用X^v，v∈{1,2,…,V}和来表示，其中，的每一列属于L维的标签空间Y，即Y＝{-1,+1}^L，而的每一行的转置后的列向量表示各个数据在第l种标签上的类属关系，用Y^l表示，

S102，在对标签集合中的每一个标签训练一个相应的二分类分类器时，把具有选中的这个标签的数据作为正例样本，没有此标签的样本都作为负例样本，对于标签集中的第l种标签，要训练得到它对应的多视角多标签信息融合的分类器，方法如下：首先将原始数据的多视角特征通过一致性统筹函数进行特征融合，并且引入训练数据的多标签信息作为正则项因子进行调节优化，其中，是学习得到的数据在V个视角特征上的一致性表达，d_g是每个数据新的维度，是V个视角特征各自变换到G的投影映射然后将针对第l种标签学习得到的数据一致性表达形式G作为相应支持向量机的输入，训练分类器，整个过程通过以下整合的目标函数优化求解得到各个参数：

$\begin{array}{c}{\min }_{G,\left\{P^v\right\},\mathrm{\β}}\mathrm{\γ}\underset{v=1}{\overset{V}{\Σ}}{||G-P^v{X}^v||}^2+\mathrm{\λ}\underset{i=1}{\overset{n}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{\mathrm{\β}}_i{\mathrm{\β}}_{j}k(g_i,g_j)\\ -\mathrm{\η}\frac{1}{{(n-1)}^2}\underset{v=1}{\overset{V}{\Σ}}tr\left(H{\left(P^v{X}^v\right)}^T\right(P^v{X}^v\left){\mathrm{HY}}^{T}Y\right)\\ +\underset{i=1}{\overset{n}{\Σ}}L(y_i,\underset{j=1}{\overset{n}{\Σ}}k\left(g_j,g_i\right){\mathrm{\β}}_j)\end{array}$ S103，设定对应项的权重因子，γ，λ，η根据实际应用情况设定，预设50，100，50作为默认值；

S20，训练和学习分类器的各个参数，运用循环迭代算法更新目标优化式的各个参数变量，直到两次迭代的整体目标函数值之差的绝对值小于预设的阈值时停止，并且采用更新计算某个参数时，固定其他参数值的策略，其中，在一次循环迭代里，又分为以下三个步骤：

S201，更新计算每个视角特征对应的投影映射P^v(v＝1，2，…，V)的每一列；

$p_k^v=\frac{u_k-P^v{n}_k}{N_{kk}}+p_k^v,k=1,2,...,d_v$

其中，N_kk是矩阵的第k行第k列个元素，其中n_k是N的第k列，u_k是矩阵U＝G(X^v)^T的第k列，

S202，计算支持向量机分类器的分类系数β；

β＝(λI_n+I⁰K)^-1I⁰Y^l

其中 $I^0=\left[\begin{array}{cc}{I}_{sv}& 0\\ 0& 0\end{array}\right],$

S203，更新计算各个视角特征映射变换后的数据一致性表达形式G的每一列；

$g_k^{t+1}=g_k^t-D{\left(g_k^t\right)}^{-1}{\▿}_{g_k^t},k=1,2,...,n$

其中是对角矩阵，定义如下：

$\begin{array}{c}{D}_{ab}\left(g_k^t\right)={\mathrm{\δ}}_{ab}\left(\right(2\left(\mathrm{\γ}V+{\mathrm{\λ\β}}_k^2\right)+2\left({\left(q_k-y_k\right)}^2+{\mathrm{\β}}_k^2\right)\[k\∈n_{sv}\])g_k^t\\ +2\left(G\mathrm{\β}\right){\left(G\mathrm{\β}\right)}^T{g}_k^t\[k\∈n_{sv}\]+2{\mathrm{\β}}_k^2{G}_{sv}{G_{sv}}^T{g}_k^t{)}_a/{\left(g_k^t\right)}_a\end{array}$

$q_i=k_i^T\mathrm{\β}=\underset{j=1}{\overset{n}{\Σ}}{g}_j^T{g}_i{\mathrm{\β}}_j,$ $G_{sv}{G_{sv}}^T=\underset{i=1}{\overset{n_{sv}}{\Σ}}{g}_i{g}_i^T$

定义为：

$\begin{array}{c}{\▿}_{g_k^t}=\mathrm{\γ}\underset{v=1}{\overset{V}{\Σ}}(2g_k-2P^v{x}_k^v)+\mathrm{\λ}\underset{j=1}{\overset{n}{\Σ}}2{\mathrm{\β}}_k{\mathrm{\β}}_j{g}_j\\ +2\left(\right(\underset{j=1}{\overset{n}{\Σ}}\left(q_k-y_k\right){\mathrm{\β}}_j{g}_j)\[k\∈n_{sv}\]+{\mathrm{\β}}_k\underset{i=1}{\overset{n_{sv}}{\Σ}}\left(q_i-y_i\right)g_i)\end{array}$

整个迭代过程直到两次迭代的整体目标函数值之差的绝对值小于10^-5或最大迭代次数超过100停止，最后得到的每个多视角特征的投影映射矩阵P^v(v＝1,2,…,V)，数据的一致性表达形式G，以及支持向量机的分类系数β就是训练阶段所要得到的基于同时融合多视角特征多标签信息支持向量机分类器MVMLSVM的参数；

S30，用训练得到的分类器，对实际数据进行多标签分类或预测，具体包括如下步骤S301至S302，

S301，将待分类的数据的每一视角的特征通过对应的投影映射矩阵变换得到新的数据表达得到每个视角变换后的结果后，通过将新的数据空间里的每个视角变换后的结果整合起来得到统一的表达形式G_test，

S302，用训练阶段学习得到的参数G计算K_test＝G^TG_test，以及用训练阶段得到的支持向量机的分类系数β计算根据所得结果的正负性，判断待分类数据是否属于分类器对应的标签类，正的值，表示需要判断的待分类数据属于分类器所对应的标签类；负的值，表示需要判断的待分类数据不属于分类器所对应的标签类。