CN105975978A - 一种结合标记相关性的半监督多标记特征选择及分类方法 - Google Patents

Abstract

本发明公开了一种结合标记相关性的半监督多标记特征选择及分类方法；属于多标记学习领域。该方法包含如下步骤：多标记分类；多标记特征选择；标记相关性的挖掘与利用。本发明通过构建标记协方差矩阵自动学习了成对且对称的标记相关性,并有效利用了未知标记数据的信息以帮助标记协方差的估计，从而将标记相关性的自动学习与利用，多标记特征选择和多标记分类统一在同一个模型框架中，有效提高了半监督多标记特征选择及分类算法的效果；此外，结合标记相关性的半监督多标记特征选择及分类方法能够在一定时间内快速收敛，因此具有较高的使用价值。

Description

一种结合标记相关性的半监督多标记特征选择及分类方法

技术领域

本发明属于多标记学习领域，特别涉及一种结合标记相关性的半监督多标记特征选择及分类方法。

背景技术

在机器学习研究中，监督学习(Supervised Learning)是一种最常见且最重要的学习框架。在传统的监督学习框架中，我们所面对的主要问题为单标记学习问题，即每个学习对象有且仅有一个类别标记，标记之间是相互独立、互斥的。单标记学习的主要任务是通过学习已知的训练样本，来预测未知样本所属的类别标记。然而对于很多实际应用中的对象来说，单独的一个标记无法对这些复杂对象进行准确的描述，因为学习对象同时与多个类别标记相关，且标记之间是交叉、有关联的。例如，在文本分类中，一则新闻报道中可能同时与“胜利日”，“阅兵”和“天安门广场”等多个类别标记相关；在图像分类中，一幅关于海滨的图像可能同时与“沙滩”、“海水”、“人群”、“蓝天”和“白云”等多个语义概念标记有关；在视频自动标注中，一段视频可能同时具有“魔术”、“舞蹈”、“杂技”等多个类别标记；在生物信息学中，一段基因序列可能同时具有“新陈代谢”、“转录”和“蛋白质合成”等多种功能标记；在音乐分类中，一段音乐可能同时包含“寂寞的”和“悲伤的”等情感标记。然而，在快速渗透到各个领域的同时，多标记学习也面临着多种挑战，其中之一便是“维数灾难”，与传统的单标记学习一样，多标记数据中也存在着大量冗余特征、不相关特征，从而导致了分类器性能的降低。

大多数的多标记学习研究工作都是在监督学习的框架下开展的，即最重要的基本假设是所有样本所对应的标记集都是给定的。然而在实际应用中，随着社交网络的快速发展，样本数据的数量也在急剧增长，因而获取样本的多个标记往往需要很大的人力和时间开销，很多数据集中多数样本是未经人工标记的。因此，对非监督多标记学习问题的研究同样具有十分重要的意义。众所周知，如何有效利用标记之间的相关性是多标记学习研究工作中的一个重要内容。目前，大多数对标记相关性进行利用的多标记学习算法均假设标记相关性是事先获得的，也有一些学习算法利用标记之间的层次关系来给出标记相关性。但是，这些事先获得的信息并不能对标记相关性进行准确定义，因此，有学者提出通过学习来自动发现和利用标记之间的相关性。

然而，现有的一些用于半监督的多标记学习方法大多是针对多标记分类问题的研究工作，能够同时考虑半监督多标记特征选择及分类的研究工作却少之又少，也没有有效地挖掘并利用标记之间的相关性。

发明内容

本发明为了解决半监督学习框架下多标记特征选择及分类问题，提出了一种结合标记相关性的多标记特征选择及分类方法，从而有效利用标记之间的相关性来提高多标记特征选择并且辅助多标记分类效果。

本发明公开了一种结合标记相关性的半监督多标记特征选择及分类方法，包含如下步骤：

步骤1，半监督多标记数据分类：利用最小二乘回归作为损失函数对多标记数据进行分类；

步骤2，半监督多标记特征选择：采用L₂,₁范数作为正则化项对半监督多标记学习问题进行稀疏化特征选择；

步骤3，标记相关性的挖掘与利用：通过构建标记协方差矩阵自动学习了成对且对称的标记相关性，利用未知标记数据的信息帮助标记协方差矩阵的估计；

步骤4，模型预测：综合步骤1至3，将多标记特征选择和多标记分类统一到同一模型框架中学习预测。

所述步骤3具体包括以下步骤：

①定义协方差矩阵Ω用于表示成对标记之间的相关性，加入标记相关性后基本模型可表示为：

$\underset{W,F,\mathrm{\Ω},b,F_l=Y_l}{min}\underset{i=1}{\overset{n}{\Σ}}{s}_i{||W^T{x}_i+b-f_i||}_2^2+\mathrm{\μ}{||W||}_{2,1}+\frac{{\mathrm{\λ}}_1}{2}tr\left({\mathrm{W\Ω}}^{-1}{W}^T\right)$

s.t. 0≤f_i≤1

Ω＞0

tr(Ω)＝1

式中前两项分别为最小二乘损失项和辅助特征选择的正则化项，第三项用于度量基于权重矩阵W和协方差矩阵Ω的所有标记之间的相关性并惩罚权重矩阵W的复杂度；其中x_i∈R^d表示d维样本数据，R为实数集,Yl为已知标记空间；标记矩阵为对于所有已知标记样本F_l＝Y_l；F_l为已知标记的训练样本的预测标记矩阵，F_u为未知标记的训练样本的预测标记矩阵；b为偏移向量，μ和λ₁均为正则化项参数，s_i表示事先定义的训练数据的置信度分数，f_i为第i个样本的函数值；

②为了更好地利用未标记的数据来帮助协方差矩阵Ω的估计，加入未知标记信息项：

$\underset{W,F,\mathrm{\Ω},b,F_l=Y_l}{min}\underset{i=1}{\overset{n}{\Σ}}{s}_i{||W^T{x}_i+b-f_i||}_2^2+\mathrm{\μ}{||W||}_{2,1}+\frac{{\mathrm{\λ}}_1}{2}tr\left({\mathrm{W\Ω}}^{-1}{W}^T\right)+\frac{{\mathrm{\λ}}_2}{2}tr\left({\mathrm{F\Ω}}^{-1}{F}^T\right)$

s.t. 0≤f_i≤1

Ω＞0

tr(Ω)＝1

其中，λ₂为正则化项参数。

③定义对角矩阵S来为置信度分数矩阵，对角矩阵S中，S_ii＝s_i；将目标函数转化为如下形式，其中1为全1列向量，X＝[x₁,x₂,…,x_n]∈R^n×d表示由n个样本构成的样本空间：

$\begin{array}{c}\underset{W,F,\mathrm{\Ω},b,F_l=Y_l}{min}Tr\left(\right(X^{T}W+1b^T-F\left)S\right(X^{T}W+1b^T-F\left)\right)+\mathrm{\μ}{||W||}_{2,1}\\ +\frac{{\mathrm{\λ}}_1}{2}tr\left({\mathrm{W\Ω}}^{-1}{W}^T\right)+\frac{{\mathrm{\λ}}_2}{2}tr\left({\mathrm{F\Ω}}^{-1}{F}^T\right)\end{array}$

④固定权重矩阵W和协方差矩阵Ω，根据下式求解偏移向量b：

$b=\frac{1}{m}{F}^{T}S1-\frac{1}{m}{W}^{T}XS1$

其中，m＝1^TS1；

⑤求出偏移向量b的解后代入步骤③的公式并转换可得：

$\begin{array}{c}\underset{W,F,\mathrm{\Ω},b,F_l=Y_l}{min}Tr\left({\left({\mathrm{HX}}^{T}W-HF\right)}^{T}S\right({\mathrm{HX}}^{T}W-HF\left)\right)+\mathrm{\μ}{||W||}_{2,1}\\ +\frac{{\mathrm{\λ}}_1}{2}tr\left({\mathrm{W\Ω}}^{-1}{W}^T\right)+\frac{{\mathrm{\λ}}_2}{2}tr\left({\mathrm{F\Ω}}^{-1}{F}^T\right)\end{array}$

其中，I为单位矩阵；

⑥求解权重矩阵W可得：

XHSHX^TW+μDW+λ₁WΩ^-1＝XHSHF

其中，D为随机初始化权重矩阵W的对角矩阵，定义为：

可以得到：

(XHSHX^T+μD)W+Wλ₁Ω^-1＝XHSHF

令A＝XHSHX^T+μD，B＝λ₁Ω^-1，C＝XHSHF，则上式变换为AW+WB＝C的形式对权重矩阵W进行求解；

⑦固定权重矩阵W和偏移向量b，求解协方差矩阵Ω；此时，目标函数可看作如下形式：

$\underset{\mathrm{\Ω}}{min}{\mathrm{\λ}}_{1}tr\left({\mathrm{W\Ω}}^{-1}{W}^T\right)+{\mathrm{\λ}}_{2}tr\left({\mathrm{F\Ω}}^{-1}{F}^T\right)$

s.t. Ω＞0

tr(Ω)＝1

⑧已知：

$\begin{array}{c}tr\left({\mathrm{\Ω}}^{-1}A\right)=tr\left({\mathrm{\Ω}}^{-1}A\right)tr\left(\mathrm{\Ω}\right)\\ =tr\left(\right({\mathrm{\Ω}}^{-\frac{1}{2}}{A}^{\frac{1}{2}}\left)\right(A^{\frac{1}{2}}{\mathrm{\Ω}}^{-\frac{1}{2}}\left)\right)tr\left({\mathrm{\Ω}}^{\frac{1}{2}}{\mathrm{\Ω}}^{\frac{1}{2}}\right)\\ \≥{\left(tr\right({\mathrm{\Ω}}^{-\frac{1}{2}}{A}^{\frac{1}{2}}{\mathrm{\Ω}}^{\frac{1}{2}}\left)\right)}^2={\left(tr\right(A^{\frac{1}{2}}\left)\right)}^2\end{array}$

令A＝λ₁W^TW+λ₂F^TF，则可求得协方差矩阵Ω为：

$\mathrm{\Ω}=\frac{{({\mathrm{\λ}}_1{W}^{T}W+{\mathrm{\λ}}_2{F}^{T}F)}^{\frac{1}{2}}}{tr\left({\left({\mathrm{\λ}}_1{W}^{T}W+{\mathrm{\λ}}_2{F}^{T}F\right)}^{\frac{1}{2}}\right)}$

⑨每次迭代过程中由计算出预测标记矩阵F的结果并加以调整。

本发明是专门针对标记相关性的挖掘与利用提出的半监督多标记特征选择及分类的方法。通过构建标记协方差矩阵自动学习了成对且对称的标记相关性,并有效利用了未知标记数据的信息以帮助标记协方差的估计，从而将标记相关性的自动学习与利用，多标记特征选择和多标记分类统一在同一个模型框架中，有效提高了半监督多标记特征选择及分类算法的效果。与现有技术相比，本发明具有以下特征：

首先，本发明有自动学习了成对且对称的标记相关性，提高了半监督多标记特征选择及分类器的性能；

然后，本发明有效利用了未标记数据的信息，有效帮助了标记相关性的学习；

再者，本发明能够在有效时间内快速收敛，更接近实际应用环境，具有更高的使用价值。

附图说明

图1为本发明整体流程图。

图2为本发明多标记特征选择及分类的模型求解步骤流程图。

具体实施方式

以下结合附图说明本发明的具体实施方式。

如图1所示，本发明公开了一种用于结合标记相关性的半监督多标记特征选择及分类方法，需要说明的是，本发明的核心步骤是在半监督多标记特征选择及分类中利用标记相关性，具体实施方式的描述主要侧重于步骤3，步骤1以及步骤2未提及的内容可采用现有技术实现。

1.多标记特征选择及分类：

半监督学习中，大量的冗余特征和无关特征也时刻影响着分类器的学习效果，已有的半监督特征选择算法大多针对于单标记学习问题而设计，在多标记学习中，半监督特征选择问题同样值得深入研究。

①选择简便有效的最小二乘回归为损失函数，并以L_2,1范数作为正则化项对半监督多标记学习问题进行稀疏化特征选择，则目标函数表示为：

$\underset{W,F,\mathrm{\Ω},b,F_l=Y_l}{min}\underset{i=1}{\overset{n}{\Σ}}{s}_i{||W^T{x}_i+b-f_i||}_2^2+\mathrm{\μ}{||W||}_{2,1}$

s.t. 0≤f_i≤1

其中，x_i∈R^d表示d维样本数据，Y_l为已知标记空间，μ为正则化项参数，s_i表示事先定义的训练数据的置信度分数，W为权重矩阵，f_i为第i个样本的函数值。在半监督学习中，已知标记数据所提供的信息比未知标记数据更加准确，则已知标记数据相对的置信度分数高于未知标记数据的分数；

②求解过程中，通过定义对角矩阵S(S_ii＝s_i)来表示置信度分数矩阵，将目标函数转化为如下形式，其中1为全1列向量：

$\underset{W,F,\mathrm{\Ω},b,F_l=Y_l}{min}Tr\left(\right(X^{T}W+1b^T-F\left)S\right(X^{T}W+1b^T-F\left)\right)+\mathrm{\μ}{||W||}_{2,1};$

其中，为标记矩阵，对于所有已知标记样本Fl＝Yl。Fl为已知标记的训练样本的预测标记矩阵，F_u为未知标记的训练样本的预测标记矩阵。

③采用交替迭代的方法求解权重矩阵W和偏移向量b，并根据下式对每次迭代中由计算出的结果进行调整。

$F_{ij}=\left\{\begin{array}{ccc}0,& if& {\tilde{F}}_{ij}\≤0\\ {\tilde{F}}_{ij},& if& 0\≤{\tilde{F}}_{ij}\≤1\\ 1,& if& {\tilde{F}}_{ij}\≤1\end{array}\right.$

2.标记相关性的挖掘与利用：

①设置概率模型其中表示以为均值，以为行协方差，为列协方差的矩阵正态分布。W＝[w1,…,wL]为权重矩阵，0_d×L表示d×L的零矩阵，行协方差矩阵I_d用于刻画特征之间的关系，列协方差矩阵Ω则用于刻画标记之间的关系，当Ω∝I_L时，该模型则可退化为L个独立的二类SVM模型；

②概率模型可进一步得到

③基于此，模型框架可表示为：

$\underset{W,b,\mathrm{\Ω}>0}{\min }\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}\underset{l=1}{\overset{L}{\Σ}}{\mathrm{\ξ}}_{il}+\frac{1}{2n}tr\left({\mathrm{W\Ω}}^{-1}{W}^T\right)+\frac{d}{2n}\ln \left|\mathrm{\Ω}\right|$

s.t. y_il(w_l ^Tx_i+b_l)≥1-ξ_il

ξ_il≥0,i＝1,...,n；l＝1,...L

其中，第一项为损失项，第二项用于度量基于权重矩阵W和协方差矩阵Ω的所有标记之间的相关性并惩罚权重矩阵W的复杂度，第三项则为协方差矩阵Ω的复杂度的惩罚项。b＝[b₁,...,b_L]为偏差向量，tr(·)表示矩阵的迹，半正定协方差矩阵Ω用于度量标记之间的相关性；

④由于ln|Ω|≤tr(Ω)-L，可进一步表示为：

$\underset{W,b,\mathrm{\Ω}>0}{\min }\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}\underset{l=1}{\overset{L}{\Σ}}{\mathrm{\ξ}}_{il}+\frac{1}{2n}tr\left({\mathrm{W\Ω}}^{-1}{W}^T\right)+\frac{d}{2n}tr\left(\mathrm{\Ω}\right)$

s.t. y_il(w_l ^Tx_i+b_l)≥1-ξ_il

ξ_il≥0,i＝1,...,n；l＝1,...L

⑤进一步化简后可等价优化为：

$\underset{W,b,\mathrm{\Ω}>0}{\min }\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}\underset{l=1}{\overset{L}{\Σ}}{\mathrm{\ξ}}_{il}+\mathrm{\λ}tr\left({\mathrm{W\Ω}}^{-1}{W}^T\right)$

s.t. y_il(w_l ^Tx_i+b_l)≥1-ξ_il

ξ_il≥0,i＝1,...,n；l＝1,...L

Ω＞0

tr(Ω)＝1

其中，λ为正则化参数，最后的约束项则用于控制协方差矩阵Ω的复杂度。

3.模型求解及预测：

本发明通过利用标记相关性以提高半监督多标记特征选择及分类效果，且能够在有效时间内快速收敛，有实用价值。本发明的模型求解及预测过程如下：

①定义协方差矩阵Ω用于表示成对标记之间的相关性。加入标记相关性后基本模型可表示为：

$\underset{W,F,\mathrm{\Ω},b,F_l=Y_l}{min}\underset{i=1}{\overset{n}{\Σ}}{s}_i{||W^T{x}_i+b-f_i||}_2^2+\mathrm{\μ}{||W||}_{2,1}+\frac{{\mathrm{\λ}}_1}{2}tr\left({\mathrm{W\Ω}}^{-1}{W}^T\right)$

s.t. 0≤f_i≤1

Ω＞0

tr(Ω)＝1

其中前两项分别为最小二乘损失项和辅助特征选择的正则化项，第三项用于度量基于权重矩阵W和协方差矩阵Ω的所有标记之间的相关性并惩罚权重矩阵W的复杂度；

②为了更好地利用未标记的数据来帮助协方差矩阵Ω的估计，加入未知标记信息项：

$\underset{W,F,\mathrm{\Ω},b,F_l=Y_l}{min}\underset{i=1}{\overset{n}{\Σ}}{s}_i{||W^T{x}_i+b-f_i||}_2^2+\mathrm{\μ}{||W||}_{2,1}+\frac{{\mathrm{\λ}}_1}{2}tr\left({\mathrm{W\Ω}}^{-1}{W}^T\right)+\frac{{\mathrm{\λ}}_2}{2}tr\left({\mathrm{F\Ω}}^{-1}{F}^T\right)$

s.t. 0≤f_i≤1

Ω＞0

tr(Ω)＝1

③定义对角矩阵S(S_ii＝s_i)来为置信度分数矩阵，将目标函数转化为如下形式，其中1为全1列向量：

$\begin{array}{c}\underset{W,F,\mathrm{\Ω},b,F_l=Y_l}{min}Tr\left(\right(X^{T}W+1b^T-F\left)S\right(X^{T}W+1b^T-F\left)\right)+\mathrm{\μ}{||W||}_{2,1}\\ +\frac{{\mathrm{\λ}}_1}{2}tr\left({\mathrm{W\Ω}}^{-1}{W}^T\right)+\frac{{\mathrm{\λ}}_2}{2}tr\left({\mathrm{F\Ω}}^{-1}{F}^T\right)\end{array}$

④固定权重矩阵W和协方差矩阵Ω，求解偏移向量b：

$b=\frac{1}{m}{F}^{T}S1-\frac{1}{m}{W}^{T}XS1$

其中，m＝1^TS1；

⑤求出偏移向量b的解后代入并转换可得：

$\begin{array}{c}\underset{W,F,\mathrm{\Ω},b,F_l=Y_l}{min}Tr\left({\left({\mathrm{HX}}^{T}W-HF\right)}^{T}S\right({\mathrm{HX}}^{T}W-HF\left)\right)+\mathrm{\μ}{||W||}_{2,1}\\ +\frac{{\mathrm{\λ}}_1}{2}tr\left({\mathrm{W\Ω}}^{-1}{W}^T\right)+\frac{{\mathrm{\λ}}_2}{2}tr\left({\mathrm{F\Ω}}^{-1}{F}^T\right)\end{array}$

其中，I为单位矩阵；

⑥求解权重矩阵W可得：

XHSHX^TW+μDW+λ₁WΩ^-1＝XHSHF

其中，D为随机初始化权重矩阵W的对角矩阵，定义为：

可以得到：

(XHSHX^T+μD)W+Wλ₁Ω^-1＝XHSHF

令A＝XHSHX^T+μD，B＝λ₁Ω^-1，C＝XHSHF，则上式变换为AW+WB＝C的形式对权重矩阵W进行求解；

⑦固定权重矩阵W和偏移向量b，求解协方差矩阵Ω。此时，目标函数可看作如下形式：

$\underset{\mathrm{\Ω}}{min}{\mathrm{\λ}}_{1}tr\left({\mathrm{W\Ω}}^{-1}{W}^T\right)+{\mathrm{\λ}}_{2}tr\left({\mathrm{F\Ω}}^{-1}{F}^T\right)$

s.t. Ω＞0

tr(Ω)＝1

⑧已知：

$\begin{array}{c}tr\left({\mathrm{\Ω}}^{-1}A\right)=tr\left({\mathrm{\Ω}}^{-1}A\right)tr\left(\mathrm{\Ω}\right)\\ =tr\left(\right({\mathrm{\Ω}}^{-\frac{1}{2}}{A}^{\frac{1}{2}}\left)\right(A^{\frac{1}{2}}{\mathrm{\Ω}}^{-\frac{1}{2}}\left)\right)tr\left({\mathrm{\Ω}}^{\frac{1}{2}}{\mathrm{\Ω}}^{\frac{1}{2}}\right)\\ \≥{\left(tr\right({\mathrm{\Ω}}^{-\frac{1}{2}}{A}^{\frac{1}{2}}{\mathrm{\Ω}}^{\frac{1}{2}}\left)\right)}^2={\left(tr\right(A^{\frac{1}{2}}\left)\right)}^2\end{array}$

令A＝λ₁W^TW+λ₂F^TF，则可求得协方差矩阵Ω为：

$\mathrm{\Ω}=\frac{{({\mathrm{\λ}}_1{W}^{T}W+{\mathrm{\λ}}_2{F}^{T}F)}^{\frac{1}{2}}}{tr\left({\left({\mathrm{\λ}}_1{W}^{T}W+{\mathrm{\λ}}_2{F}^{T}F\right)}^{\frac{1}{2}}\right)}$

⑨每次迭代过程中由计算出预测标记矩阵F的结果并加以调整。

Claims (2)

1.一种结合标记相关性的半监督多标记特征选择及分类方法，其特征在于，包含如下步骤：

步骤1，半监督多标记数据分类：利用最小二乘回归作为损失函数对多标记数据进行分类；

步骤2，半监督多标记特征选择：采用L2,1范数作为正则化项对半监督多标记学习问题进行稀疏化特征选择；

步骤3，标记相关性的挖掘与利用：通过构建标记协方差矩阵自动学习了成对且对称的标记相关性，利用未知标记数据的信息帮助标记协方差矩阵的估计；

步骤4，模型预测：综合步骤1至3，将多标记特征选择和多标记分类统一到同一模型框架中学习预测。

2.如权利要求1所述的一种结合标记相关性的半监督多标记特征选择及分类方法，其特征在于，所述步骤3具体包括以下步骤：

①定义协方差矩阵Ω用于表示成对标记之间的相关性，加入标记相关性后基本模型可表示为：

$\underset{W,F,\mathrm{\Ω},b,F_l=Y_l}{\min }\underset{i=1}{\overset{n}{\Σ}}{s}_i\left|\right|W^T{x}_i+b-f_i|{|}_2^2+\mathrm{\μ}|\left|W\right|{|}_{2,1}+\frac{{\mathrm{\λ}}_1}{2}tr\left({\mathrm{W\Ω}}^{-1}{W}^T\right)$

s.t. 0≤f_i≤1

Ω＞0

tr(Ω)＝1

式中前两项分别为最小二乘损失项和辅助特征选择的正则化项，第三项用于度量基于权重矩阵W和协方差矩阵Ω的所有标记之间的相关性并惩罚权重矩阵W的复杂度；其中x_i∈R^d表示d维样本数据，R为实数集,Y_l为已知标记空间；标记矩阵为对于所有已知标记样本F_l＝Y_l；F_l为已知标记的训练样本的预测标记矩阵，F_u为未知标记的训练样本的预测标记矩阵；b为偏移向量，μ和λ₁均为正则化项参数，s_i表示事先定义的训练数据的置信度分数，f_i为第i个样本的函数值；

②为了更好地利用未标记的数据来帮助协方差矩阵Ω的估计，加入未知标记信息项：

$\underset{W,F,\mathrm{\Ω},b,F_l=Y_l}{\min }\underset{i=1}{\overset{n}{\Σ}}{s}_i\left|\right|W^T{x}_i+b-f_i|{|}_2^2+\mathrm{\μ}|\left|W\right|{|}_{2,1}+\frac{{\mathrm{\λ}}_1}{2}tr\left({\mathrm{W\Ω}}^{-1}{W}^T\right)+\frac{{\mathrm{\λ}}_2}{2}tr\left({\mathrm{F\Ω}}^{-1}{F}^T\right)$

s.t. 0≤f_i≤1

Ω＞0

tr(Ω)＝1

其中，λ₂为正则化项参数。

③定义对角矩阵S来为置信度分数矩阵，对角矩阵S中，S_ii＝s_i；将目标函数转化为如下形式，其中1为全1列向量，X＝[x₁,x₂,…,x_n]∈R^n×d表示由n个样本构成的样本空间：

$\begin{array}{c}\underset{W,F,\mathrm{\Ω},b,F_l=Y_l}{\min }Tr\left(\right(X^{T}W+1b^T-F\left)S\right(X^{T}W+1b^T-F\left)\right)+\mathrm{\μ}\left|\right|W|{|}_{2,1}\\ +\frac{{\mathrm{\λ}}_1}{2}tr\left({\mathrm{W\Ω}}^{-1}{W}^T\right)+\frac{{\mathrm{\λ}}_2}{2}tr\left({\mathrm{F\Ω}}^{-1}{F}^T\right)\end{array}$

④固定权重矩阵W和协方差矩阵Ω，根据下式求解偏移向量b：

$b=\frac{1}{m}{F}^{T}S1-\frac{1}{m}{W}^{T}XS1$

其中，m＝1^TS1；

⑤求出偏移向量b的解后代入步骤③的公式并转换可得：

$\begin{array}{c}\underset{W,F,\mathrm{\Ω},b,F_l=Y_l}{\min }Tr\left({\left({\mathrm{HX}}^{T}W-HF\right)}^{T}S\right({\mathrm{HX}}^{T}W-HF\left)\right)+\mathrm{\μ}\left|\right|W|{|}_{2,1}\\ +\frac{{\mathrm{\λ}}_1}{2}tr\left({\mathrm{W\Ω}}^{-1}{W}^T\right)+\frac{{\mathrm{\λ}}_2}{2}tr\left({\mathrm{F\Ω}}^{-1}{F}^T\right)\end{array}$

其中，I为单位矩阵；

⑥求解权重矩阵W可得：

XHSHX^TW+μDW+λ₁WΩ^-1＝XHSHF

其中，D为随机初始化权重矩阵W的对角矩阵，定义为：

可以得到：

(XHSHX^T+μD)W+Wλ₁Ω^-1＝XHSHF

令A＝XHSHX^T+μD，B＝λ₁Ω^-1，C＝XHSHF，则上式变换为AW+WB＝C的形式对权重矩阵W进行求解；

⑦固定权重矩阵W和偏移向量b，求解协方差矩阵Ω；此时，目标函数可看作如下形式：

$\underset{\mathrm{\Ω}}{min}{\mathrm{\λ}}_{1}tr\left({\mathrm{W\Ω}}^{-1}{W}^T\right)+{\mathrm{\λ}}_{2}tr\left({\mathrm{F\Ω}}^{-1}{F}^T\right)$

s.t. Ω＞0

tr(Ω)＝1

⑧已知：

$\begin{array}{c}tr\left({\mathrm{\Ω}}^{-1}A\right)=tr\left({\mathrm{\Ω}}^{-1}A\right)tr\left(\mathrm{\Ω}\right)\\ =tr\left(\right({\mathrm{\Ω}}^{-\frac{1}{2}}{A}^{\frac{1}{2}}\left)\right(A^{\frac{1}{2}}{\mathrm{\Ω}}^{-\frac{1}{2}}\left)\right)tr\left({\mathrm{\Ω}}^{\frac{1}{2}}{\mathrm{\Ω}}^{\frac{1}{2}}\right)\\ \≥{\left(tr\right({\mathrm{\Ω}}^{-\frac{1}{2}}{A}^{\frac{1}{2}}{\mathrm{\Ω}}^{\frac{1}{2}}\left)\right)}^2={\left(tr\right(A^{\frac{1}{2}}\left)\right)}^2\end{array}$

令A＝λ₁W^TW+λ₂F^TF，则可求得协方差矩阵Ω为：

$\mathrm{\Ω}=\frac{{({\mathrm{\λ}}_1{W}^{T}W+{\mathrm{\λ}}_2{F}^{T}F)}^{\frac{1}{2}}}{tr\left({\left({\mathrm{\λ}}_1{W}^{T}W+{\mathrm{\λ}}_2{F}^{T}F\right)}^{\frac{1}{2}}\right)}$

⑨每次迭代过程中由计算出预测标记矩阵F的结果并加以调整。