CN109522956B - 一种低秩判别特征子空间学习方法 - Google Patents

Abstract

一种低秩判别特征子空间学习方法属于图像分类领域；解决了忽略对隐藏在样本中的低维子空间结构信息的技术问题；包括定义判别特征学习式的目标函数；采用类标签作为一种监督信息，目标函数重新拟定；将目标函数中的特征子空间施加正交约束；将一个图像数据集分成测试集和训练集；通过训练集，求解出目标函数值最小化时各个变量的值；目标函数求解后得到一个特征子空间；通过所述特征子空间投影测试集，得到数据集里所有类别图像的所有特征，最终通过分类器得到所述数据集的识别率；本发明用低秩表示系数作为约束来构造用于特征学习的判别项，其能够将子空间结构相似性约束引入到适用于图像识别和分类任务的判别特征学习模型中，促进模型自适应性和鲁棒性。

Description

一种低秩判别特征子空间学习方法

技术领域

本发明属于图像分类领域，尤其涉及一种低秩判别特征子空间学习方法。

背景技术

特征子空间学习在模式识别中起着重要作用，并且已经做出许多努力来产生更具判别性的学习模型。近年来，提出了许多基于表示模型的判别特征学习方法，不仅引起了人们的广泛关注，而且在实际工作中也取得了成功的应用。然而，这些方法构建的判别模型仅仅依赖于训练样本的类别标签，忽略了对隐藏在其中的基本子空间结构信息的考虑。

发明内容

本发明克服了上述现有技术的不足，提供一种低秩判别特征子空间学习方法，使用低秩约束来构造用于特征学习的判别性表示项，将非负低秩表示系数作为衡量子空间结构相似性的约束引入到用于分类的学习模型中，促进模型自适应性和鲁棒性；此外，通过将特征子空间学习模型和低秩表示模型放入统一的框架中，可以在迭代期间彼此促进以获得整体最优；还包含基于类别标签信息的线性回归项以增强投影的特征，并且使相同类别的样本靠近同一聚类中心，不同类别的聚类中心相互远离，采用迭代数值方案来解决目标函数并保证收敛。

本发明的技术方案：

一种低秩判别特征子空间学习方法，包括下列步骤：

步骤a、将一个图像数据集分成测试集和训练集；

步骤b、定义判别特征子空间学习模型的目标函数，目标函数中第一项对矩阵进行低秩约束，第二项为判别正则化项，将低秩表示系数作为正则化参数来约束两个样本投影后的距离，矩阵中的元素被视为对两个样本的低维结构相似性的测量，对矩阵中的每个元素引入非负约束；

步骤c、采用类别标签作为一种监督信息，目标函数重新拟定；

步骤d、将目标函数中的特征子空间施加正交约束；

步骤e、通过训练集，求解出目标函数值最小化时各个变量的值；

步骤f、目标函数求解后得到一个特征子空间；

步骤g、通过所述特征子空间投影测试集，得到数据集里所有类别图像的所有特征，最终通过分类器将得到所述数据集的识别率。

进一步地，所述目标函数如下：

s.t.X＝XZ+E,Z_ij≥0

其中，X＝[X₁,X₂,...,X_m]表示训练集，X_i(i＝1,2,...,m)表示X的每一列，m表示训练样本的总数，Z表示矩阵，P表示特征子空间，E表示误差矩阵，λ是平衡三项的一个参数。

进一步地，所述目标函数重新拟定，如下：

s.t.X＝XZ+E,Z_ij≥0

其中，Y＝[Y₁,Y₂,...,Y_m]是由类别标签决定的矩阵，Y_i＝[-1,-1,...,1,...,-1]^T∈R^C表示Y的第i列，如果第i个示例属于第c类，第c个元素为1，其余的为-1。

进一步地，所述将目标函数中的特征子空间施加正交约束，如下：

s.t.X＝XZ+E,Z_ij≥0,P^TP＝I。

进一步地，将目标函数引入两个辅助变量W和M求解最小化问题，所述目标函数表示为：

s.t.X＝XZ+E,Z＝W,Z＝M,M_ij≥0,P^TP＝I。

进一步地，所述目标函数值最小化时各个变量的值的求解方法包括以下：

步骤e1、通过增广拉格朗日乘子法，确定目标函数问题中的拉格朗日函数；

步骤e2、将拉格朗日函数进行化简和最小化转换；

步骤e3、利用交替方向乘子算法，在其他变量不变的条件下针对每个变量迭代地求解最小化；固定其他变量，删除与P无关的函数项，将投影子空间的目标函数式重写为基于图的化简公式；

步骤e4、利用目标函数的导数，进行求解；

步骤e5、固定其他变量，删除与W无关的函数项，得到变量W的目标函数式，通过奇异值收缩算子求解；

步骤e6、固定其他变量，删除与Z无关的函数项，得到变量Z的目标函数式，进行强制目标函数式导数为零的求解，得到封闭形式；

步骤e7、固定其他变量，删除与M无关的函数项，得到变量M的目标函数式，并重写；

步骤e8、固定其他变量，删除与E无关的函数项，得到变量E的目标函数式，将矩阵E进行更新；

步骤e9、逐项更新拉格朗日乘子和参数。

本发明相对于现有技术具有以下有益效果：

本发明提供了一种低秩判别特征子空间学习方法，用于图像分类，使用低秩约束来构造用于特征学习的判别性表示项，将非负低秩表示系数作为衡量子空间结构相似性的约束引入到用于分类的学习模型中，促进模型自适应性和鲁棒性；此外，通过将特征子空间学习模型和低秩表示模型放入统一的框架中，可以在迭代期间彼此促进以获得整体最优；还包含基于类别标签信息的线性回归项以增强投影的特征，并且使相同类别的样本靠近同一聚类中心，不同类别的聚类中心相互远离，采用迭代数值方案来解决目标函数并保证收敛；本发明与其他方法相比，识别率更高，性能更加稳健。

具体优势如下：

1.本发明采用了一个新的特征子空间学习模型，将低秩表示和特征学习结合到一个统一的框架中；新模型中，低秩表示系数被用作子空间相似性度量来指导特征学习；此外，基于类标签的线性回归被结合到所提出的模型中作为另一种监督信息以扩大类内边界，这可以使提取的特征更适用于分类任务。

2.本发明提出的目标函数对低秩表示系数引入了非负约束，使系数用作判别正则化的惩罚参数。

3.本发明利用增广拉格朗日乘数(ALM)方法和乘法器的替代方向法(ADMM)提供了一种迭代方案，通过该方案有效地解决了目标函数，并保证了收敛性。

附图说明

图1是本发明目标函数的第一项效应图；

图2是本发明目标函数的第二项效应图；

图3是本发明四个公开数据集中部分样本的示例对比图；

图4是本发明中测试集受噪声干扰条件下部分样本的示例对比图；

图5是本发明在Extended YaleB测试集上的不同脉冲噪声干扰水平下的识别结果图；

图6是本发明在COIL20测试集上不同脉冲噪声干扰水平下的分类结果图；

图7是本发明在COIL20测试集上分类结果与参数λ的关系曲线图；

图8是本发明在Extended YaleB测试集上目标函数值随迭代步骤的收敛曲线图；

图9是本发明在COIL20测试集上目标函数值随迭代步骤的收敛曲线图。

具体实施方式

以下将结合附图对本发明进行详细说明。

一种低秩判别特征子空间学习方法，包括下列步骤：

步骤a、将一个图像数据集分成测试集和训练集；

步骤b、定义判别特征子空间学习模型的目标函数，

其中，X＝[X₁,X₂,...,X_m]表示训练集，X_i(i＝1,2,...,m)表示X的每一列，m表示训练样本的总数，Z表示矩阵，P表示特征子空间，E表示误差矩阵，λ是平衡三项的一个参数，X_j也表示X的每一列，Z_ij表示矩阵Z中的每个元素，P^T表示矩阵P的转置；目标函数中第一项对矩阵进行低秩约束，第二项为判别正则化项，将低秩表示系数作为正则化参数来约束两个样本投影后的距离，矩阵中的元素被视为对两个样本的低维结构相似性的测量同时，为了使该系数能够用做正则化约束参数，对矩阵Z中的每个元素还引入非负约束；通过判别的正则化约束，样本的结构相似性信息不仅可以保留在特征子空间中，还可以用于指导特征子空间学习。对于第二项，P和Z将联合学习，这将在迭代期间促进性能更加稳健。

步骤c、采用类别标签作为一种监督信息，目标函数重新拟定，如下：

其中，Y＝[Y₁,Y₂,...,Y_m]是由类别标签决定的矩阵，Y_i＝[-1,-1,...,1,...,-1]^T∈R^C表示Y的第i列，如果第i个示例属于第c类，第c个元素为1，其余的为-1其中。

公式(2)前两项可以看作是优化学习特征子空间的两种判别约束。如图1所示，对于第二项，特征学习是用低维子空间结构信息作为指导的，这将使特征子空间的类内散度矩阵最小和类间散度矩阵最大。此外，为了进一步扩大不同类别样本的距离，类别标签可用于提供聚类中心，如图2所示，这有助于本发明方法在分类问题上实现更好的判别和适应性。

步骤d、将目标函数中的特征子空间施加正交约束，如下：

s.t.X＝XZ+E,Z_ij≥0,P^TP＝I (3)

其中，I是单位阵，P表示特征子空间，更具判别性和适应分类任务；

构建如公式(3)目标函数，包含两个监督项，如下：

监督项1：

该监督项是从结构的角度对模型进行监督，对系数表示矩阵Z进行了低秩约束，低秩表示模型||Z||_*+λE||_2,1可以更容易表现训练样本本身流型结构的相似性。因此，将低秩表示应用到该模型中，系数表示矩阵可以度量训练集在特征子空间中样本的距离的相似性。在训练样本映射到特征子空间中时，X_i和X_j相似性越大，Z_ij越小，反之X_i和X_j相似性越小，Z_ij越大。

监督项2：

该监督项是从标签的角度对模型进行监督，将训练样本的类别标签信息嵌入到模型框架中，使模型学习到的特征子空间更具适应性，在已经使相同类别的样本紧凑的同时，保证不同类别的聚类中心相互远离。

当样本来自同一低维子空间时，其对应的低秩表示系数较大，而对于不同低维子空间中的样本，其对应的低秩表示系数则较小。此外，两个样本越接近，Z_ij越大，反之越小。因此，与传统设计的判别式不同，本实施方式的判别特征学习正则化可以利用来自潜在低维空间的一些结构监督信息很好地优化类内收紧和类间发散。

具体地，将目标函数引入两个辅助变量W和M求解最小化问题，所述目标函数表示为：

s.t.X＝XZ+E,Z＝W,Z＝M,M_ij≥0,P^TP＝I (4)；

步骤e、通过训练集，求解出目标函数值最小化时各个变量的值，如下：

步骤e1、通过增广拉格朗日乘子法ALM(AugmentedLagrangeMethod)，确定目标函数问题中的拉格朗日函数，如下：

其中<·>表示内部项的运算，Y_i(i＝1,2,3)是拉格朗日乘子，

表示公式(5)的拉格朗日函数；μ为ALM引入的参数；P^T为矩阵P的转置，M_ij表示矩阵M中每个元素；

步骤e2、将拉格朗日函数进行化简和最小化转换，如下：

s.t.M_ij≥0,P^TP＝I (7)；

步骤e3、利用交替方向乘子算法ADMM(Alternating Direftion Method ofMultipliers)，针对每个变量迭代地求解最小化，固定其他变量，删除与P无关的函数项，如下：

s.t.P^TP＝I (8)；

将投影子空间的目标函数式重写为基于图的化简公式，如下：

s.t.P^TP＝I (9)

其中L＝D-M表示图拉普拉斯矩阵，D通过

呈现对角矩阵；L为一个矩阵，Tr表示矩阵的迹；

步骤e4、由于含有正交约束，最小化问题不能被视为简单的二次问题。先求出目标函数导数，在进行求解，如下：

其中，

表示为删除与P无关函数项后，只含P的目标函数式。

表示对目标函数式中的P进行求导。X^T表示矩阵X的转置，Y^T表示矩阵Y的转置；设P^(t)表示第t次迭代后投影子空间矩阵P的表达式，令

则P^(t+1)可用下式计算：

式中τ^(k+1)为迭代步进量，满足τ^(t+1)＝τ^(t)+0.05，R^(t)表示第t次迭代后矩阵R的表达式；

步骤f5、固定其他变量，删除与W无关的函数项，得到变量W的目标函数式，如下：

该问题是经典的秩最小化问题，通过奇异值收缩算子求解；Z^k，

表示第k次迭代后的矩阵Z和Y2；

步骤e6、固定其他变量，删除与Z无关的函数项，得到变量Z的目标函数式，如下：

其中，E^k，

M^k表示第k次迭代后的矩阵E，Y1，Y2，Y3，M式；W^k+1表示第k+1次迭代后的矩阵W；

进行强制目标函数式导数为零的求解，得到封闭形式，如下：

其中，Z^k+1表示第k+1次迭代后的矩阵Z；X^T表示矩阵X的转置；

步骤e7、固定其他变量，删除与M无关的函数项，得到变量M的目标函数式，并重写，如下：

s.t.M_ij≥0 (15)

其中S通过

表示为一个矩阵，而且，由于S和M这两者都是非负的，最小化可以转换为

s.t.M_ij≥0 (16)

S^k+1表示第k+1次迭代后的矩阵S；

上式中问题可以看作是非负加权范数最小化问题，其解决方案如下：

设

Q_ij为矩阵的第i行且第j列的元素，则式(16)可转化为对矩阵中的各元素进行如下的逐元素求解模型：

式中|·|表示绝对值运算，

表示矩阵S中的每一项在第k+1次迭代后的值，由于M_ij≥0，上式中目标函数的导数为0可得M_ij的闭式解，

步骤e8、固定其他变量，删除与E无关的函数项，得到变量E的目标函数式，将矩阵E进行更新，如下：

上式中的最小化通过公式(19)解决，通过设置

更新E^k+1的第i列计算为

步骤e9、逐项更新拉格朗日乘子和参数，公式如下：

μ＝min(μ_max,ρμ) (21)

Y₁、Y₂、Y₃为拉格朗日乘子，ρ和μ为ALM引入的参数，μ_max表示为参数μ允许范围内的最大值。

步骤f、目标函数求解后得到所有变量的值，其中P为求解后得到特征子空间；

步骤g、通过所述特征子空间投影测试集，得到数据集里所有类别图像的所有特征，最终通过分类器得到所述数据集的识别率。

通过本实施方式学习到特征子空间，之后将每个训练样本投影到特征子空间上得到该训练样本的特征来提取该训练样本所属类别的特征，随后根据投影特征进行图片识别和分类。

进一步说明，假设将训练集中某一张狗的图像投影到特征子空间P上，可以得到该张图片的n个特征，进而将得到狗类图像的所有特征，通过这些特征可以判断某一张图像是否为狗的图像。

具体实施方式结果

本实施方式采用四个已公开的数据集，数据集包括两个人脸数据集，一个物体数据集和一个手写数字数据集。数据集的细节描述如下：

本实施方式的一个面部数据集采用ExtendedYaleB，包括3814个2414正面图像，每个人具有约64个具有不同光照条件的图像。部分实例图像如图3中第一幅图所示。所述面部数据集使用测试图像的大小被裁剪为32×32。随机选择每个人的32个图像作为训练集，而其余的图像用作测试集。

本实施方式的另一个面部数据集采用AR，包括120个人的3120个灰度图像。对于所述面部数据集中的每个人，均包括正面视图的26个图像，所述图像采用不同的表达方式，例如光照条件和遮挡。部分实例图像如图3中第二幅图所示。所述面部数据集中的面部图像均被裁剪，调整为55×40，每个人的一半用作训练，其余的用作测试。

本实施方式的对象数据集采用COIL20，包括20个对象的1440个图像，每个对象具有从连续角度以5度的间隔获得的72个图像，部分图像如图3中第三幅所示。本实施方式中，对象数据集中的所有图像均被调整为32×32，并进行了规范化。每个对象的10个图像用于训练，其余用于测试。

本实施方式中的手写数字数据集采用HandwrittendatasetUSPS，包括9298个手写数字图像，其中10个类从0到9，部分实例图像如图3中第四幅图所示。所述手写数字数据集中所有图像大小均为16×16，对于每个数字，随机选择10个图像对训练集进行分组，其余图像用于测试。

将本实施方式与几种现有的特征子空间学习方法进行了比较，分别包括PCA，LDA，NPE，LSDA，LatentLRR，ProCRC，DLRDSR和SFE-ALR。在不失一般性的情况下，使用两种分类器SRC和KNN来分别测试比较方法。SRC用于AR和USPS数据集，KNN用于ExtendedYaleB和COIL20。对于SRC，训练实例用作字典中的原子，识别或分类结果由最小的特定于类的回归误差决定。对于KNN，分类结果由特征子空间中的前K个近邻决定，并且在实施方式中K被设置为1。每个数据集均实施五次，求得的平均识别结果作为各对比方法的识别率，如下表所示。

Methods	ExtendedYaleB+KNN	AR+SRC	COIL20+KNN	USPS+SRC
					PCA	72.57％	81.24％	89.51％	76.10％
LDA	89.09％	93.93％	89.38％	59.12％
					NPE	86.01％	81.47％	85.51％	60.70％
LSDA	92.94％	81.54％	84.23％	76.14％
					LatentLRR	88.76％	95.14％	90.08％	78.91％
ProCRC	93.61％	93.92％	84.60％	77.35％
					DLRDSR	93.56％	90.37％	88.87％	77.43％
SFE-ALR	92.15％	95.43％	87.12％	77.97％
					Ours	95.29％	96.92％	92.03％	79.75％

通过上表中数据对比，本实施方式(Ours)在所有测试数据集上均显示出比其他对比方法更高的识别率。而且，使用KNN和SRC分类器都可以得到良好的实施结果，这表明模型在分类任务上具有稳定的性能。原因是使用低秩模型很好地挖掘了样本在低维子空间中的结构，并且其系数被有效地用作不同样本相似性测量以约束所学习到的投影子空间。而且，通过将低秩表示和特征学习放入统一框架中，这两个变量可以在迭代求解过程中相互促进，从而得到更好的解决方案。

为了测试本实施方法的稳健性，在两个选定的数据集上添加了不同级别的随机脉冲噪声，测试数据集选用Extended YaleB和COIL20，并在图5和图6中分别显示它们的识别和分类结果。原始测试图像中加入了不同百分比的脉冲噪声，在图4中给出了加入噪声后的图像示例。含噪样本分类实施中，参数的设置与无噪声干扰数据集实验中的设置相同。从分类结果可以看出，与传统的特征学习方法相比，本实施方式在噪声条件下显示出优势。这是因为低秩模型可以帮助消除噪声成分并探索原始无噪声干扰时数据中存在的更重要的结构信息。同时，从实施中得到的不同数据集的分类结果可以看出，本实施方式优于其他传统基于低秩表示的特征学习方法。当训练样本受到噪声干扰时，本实施方式的识别和分类结果相比其他方法性能得到了明显的提升，体现了一定的鲁棒性。

关于目标函数求解的算法，将参数设置为μ＝0.6,ρ＝1.1。对于公式(6)中的参数λ，选择COIL20作为测试数据集来研究对λ的变化值对分类结果的影响。原始数据及其含噪数据随λ的分类准确率曲线如图7所示。从结果可以看出，分类性能对λ的取值并不敏感，可以在宽泛的λ范围内获得几乎一致的分类结果，这一点说明了本实施方式对于参数选取的稳定性。

为了验证本实施方式的收敛性，绘制了目标函数值关于迭代步骤的收敛曲线，如图8、图9所示。收敛性验证选择Extended YaleB和COIL20作为测试数据集，实验参数设置与无噪声干扰数据实验中参数的设置保持一致。可以观察到，本实施方式可以很好地随迭代步骤的增加达到收敛。

本实施方式提出了一种低秩判别特征子空间学习方法，用于图像特征提取以及识别和分类任务。建立了一个基于低秩表示和类别标签两种监督的判别特征子空间学习模型，并对该模型设计了一种基于交替方向乘子法的数值求解方法来保证算法的收敛性。在四个不同的公开测试数据集上的实验结果表明了本实施方式的优越性。此外，当训练样本受噪声干扰时，本实施方式的实验结果比其他对比方法具有明显提升，性能更稳健。

Claims (4)

1.一种低秩判别特征子空间学习方法，其特征在于，包括下列步骤：

步骤a、将一个图像数据集分成测试集和训练集；

步骤b、定义判别特征子空间学习模型的目标函数，目标函数中第一项对矩阵进行低秩约束，第二项为判别正则化项，将低秩表示系数作为正则化参数来约束两个样本投影后的距离，矩阵中的元素被视为对两个样本的低维结构相似性的测量，对矩阵中的每个元素引入非负约束；

所述目标函数如下：

s.t.X＝XZ+E,Z_ij≥0

其中，X＝[X₁,X₂,...,X_m]表示训练集，X_i表示X的每一列，i＝ 1,2,...,m ， m表示训练样本的总数，Z表示矩阵，P表示特征子空间，E表示误差矩阵，λ是平衡三项的一个参数；

步骤c、采用类别标签作为一种监督信息，目标函数重新拟定；

所述目标函数重新拟定，如下：

s.t.X＝XZ+E,Z_ij≥0

其中，Y＝[Y₁,Y₂,...,Y_m]是由类别标签决定的矩阵，Y_i＝[-1,-1,...,1,...,-1]^T∈R^C表示Y的第i列，如果第i个示例属于第c类，第c个元素为1，其余的为-1；

步骤d、将目标函数中的特征子空间施加正交约束；

步骤e、通过训练集，求解出目标函数值最小化时各个变量的值；

步骤f、目标函数求解后得到一个特征子空间；

步骤g、通过所述特征子空间投影测试集，得到数据集里所有类别图像的所有特征，最终通过分类器将得到所述数据集的识别率；

通过学习到特征子空间，之后将每个训练样本投影到特征子空间上得到该训练样本的特征来提取该训练样本所属类别的特征，随后根据投影特征进行图片识别和分类；

采用四个已公开的数据集，数据集包括两个人脸数据集，一个物体数据集和一个手写数字数据集，数据集的细节描述如下：

一个面部数据集采用ExtendedYaleB，包括3814个2414正面图像，每个人具有64个具有不同光照条件的图像，所述面部数据集使用测试图像的大小被裁剪为32×32，随机选择每个人的32个图像作为训练集，而其余的图像用作测试集；

另一个面部数据集采用AR，包括120个人的3120个灰度图像；对于所述面部数据集中的每个人，均包括正面视图的26个图像，所述图像采用不同的表达方式，包括光照条件和遮挡；所述面部数据集中的面部图像均被裁剪，调整为55×40，每个人的一半用作训练，其余的用作测试；

对象数据集采用COIL20，包括20个对象的1440个图像，每个对象具有从连续角度以5度的间隔获得的72个图像，对象数据集中的所有图像均被调整为32×32，并进行了规范化；每个对象的10个图像用于训练，其余用于测试；

手写数字数据集采用HandwrittendatasetUSPS，包括9298个手写数字图像，其中10个类从0到9，所述手写数字数据集中所有图像大小均为16×16，对于每个数字，随机选择10个图像对训练集进行分组，其余图像用于测试；

将本方法与几种现有的特征子空间学习方法进行了比较，分别包括PCA，LDA，NPE，LSDA，LatentLRR，ProCRC，DLRDSR和SFE-ALR，使用两种分类器SRC和KNN来分别测试比较方法：SRC用于AR和USPS数据集，KNN用于ExtendedYaleB和COIL20，对于SRC，训练实例用作字典中的原子，识别或分类结果由最小的特定于类的回归误差决定；对于KNN，分类结果由特征子空间中的前K个近邻决定，K被设置为1；每个数据集均实施五次，求得的平均识别结果作为各对比方法的识别率；

所述的一种低秩判别特征子空间学习方法，用于图像特征提取以及识别和分类任务。

2.根据权利要求1所述一种低秩判别特征子空间学习方法，其特征在于，所述将目标函数中的特征子空间施加正交约束，如下：

s.t.X＝XZ+E,Z_ij≥0,P^TP＝I。

3.根据权利要求2所述一种低秩判别特征子空间学习方法，其特征在于，将目标函数引入两个辅助变量W和M求解最小化问题，所述目标函数表示为：

s.t.X＝XZ+E,Z＝W,Z＝M,M_ij≥0,P^TP＝I。

4.根据权利要求3所述一种低秩判别特征子空间学习方法，其特征在于，所述目标函数值最小化时各个变量的值的求解方法包括以下：

步骤e1、通过增广拉格朗日乘子法，确定目标函数问题中的拉格朗日函数；

步骤e2、将拉格朗日函数进行化简和最小化转换；

步骤e3、利用交替方向乘子算法，在其他变量不变的条件下针对每个变量迭代地求解最小化；固定其他变量，删除与P无关的函数项，将投影子空间的目标函数式重写为基于图的化简公式；

步骤e4、利用目标函数的导数，进行求解；

步骤e5、固定其他变量，删除与W无关的函数项，得到变量W的目标函数式，通过奇异值收缩算子求解；

步骤e6、固定其他变量，删除与Z无关的函数项，得到变量Z的目标函数式，进行强制目标函数式导数为零的求解，得到封闭形式；

步骤e7、固定其他变量，删除与M无关的函数项，得到变量M的目标函数式，并重写；

步骤e8、固定其他变量，删除与E无关的函数项，得到变量E的目标函数式，将矩阵E进行更新；

步骤e9、逐项更新拉格朗日乘子和参数。

Images