CN106971197A - 基于差异性与一致性约束的多视数据的子空间聚类方法 - Google Patents

Abstract

本发明公开一种基于差异性与一致性约束的多视数据的子空间聚类方法,包括以下步骤：步骤1、多视数据子空间聚类的差异性约束；步骤2、多视数据子空间聚类的一致性约束；步骤3、多视数据的子空间聚类模型与求解。采用本发明的技术方案，充分利用多视数据的信息，提高图像的聚类性能。

Description

基于差异性与一致性约束的多视数据的子空间聚类方法

技术领域

本发明属于图像分类领域，尤其涉及一种基于差异性与一致性约束的多视数据的子空间聚类方法。

背景技术

随着科学技术的发展，数据的获取途径越来越多，大量的文本、图像、视频以及音频数据充斥着人们生活的各个方面，对大规模数据的分析与处理在科学研究领域占据着越来越重要的地位。数据内容越来越复杂导致数据维度增加，而且许多数据可以通过不同的视角观测或者多种特征描述，例如视频监控可以从不同的角度捕获同一地点的信息，图像可以通过不同的特征描述(如灰度值特征、纹理特征、空间关系特征等)。事实上，这些数据可以看作同一对象通过不同的方式或者在不同的空间中所观测到的信号，我们称其为多视数据，因此多视数据之间的信息存在一定的差异性和一致性。

作为数据挖掘中的关键技术之一，聚类分析已经被广泛探讨和研究。数据聚类分析是根据一定标准将一个待聚类数据集中的对象分割为若干类或簇，使得同一类的数据尽可能相似而不同类的数据尽可能不同。对于数据的聚类问题，子空间聚类方法基于高维数据通常分布在一系列低维子空间上的假设，从不同的子空间角度考察各个数据的类别划分，并为每个划分的类别寻找相对应的子空间，获得子空的数目、维数和各个子空间的基，从而构建原始数据的特征子空间实现聚类。子空间聚类的核心是设计能够揭示数据真实子空间结构的表示模型，使得到的表示系数及其构造的相似矩阵有助于精确的子空间聚类。

现有的子空间聚类算法，例如基于光滑表示的子空间聚类方法(SmoothRepresentation Clustering,SMR),基于数据表示系数及其相似矩阵同时学习的鲁棒子空间分割方法(Robust Subspace Segmentation by Simultaneously Learning DataRepresentations and Their Affinity Matrix,RSS)，在许多领域已经取得非常显著的成果，然而这些方法通常专注于单视数据的聚类，直接用于多视数据往往会丢失许多重要的多视信息，如多视数据的冗余和差异信息。对于多视数据的聚类，通常要结合数据间的结构对数据的表示系数进行约束，例如基于差异性诱导的多视子空间聚类方法(Diversity-induced Multi-view Subspace Clustering，DiMSC)对数据的表示系数进行了差异性约束，而多视子空间聚类(Multi-View Subspace Clustering，MVSC)中则利用聚类指示矩阵对数据的表示系数进行了一致性的约束。然而，现有的多视数据聚类方法通常只考虑了多视数据信息间差异性或者一致性一个方面的约束，没有充分利用多视数据的冗余和差异信息。因此，深入分析多视数据的结构和不同视数据间的关系，研究有效的多视数据聚类方法，具有重要的研究意义和应用价值。

发明内容

针对现有多视数据聚类方法中，通常只考虑多视数据间信息的差异性或者一致性某个方面的约束，本发明提出一种基于差异性和一致性共同约束的多视数据的子空间聚类方法，记为Multi-View Subspace Clustering

with Consistency and Diversity Constraints(CD-MVSC)。与现有方法不同，在CD-MVSC中，我们将差异性约束和一致性约束结合起来统一到一个优化框架中，并且通过一个潜在矩阵变量的迭代实现聚类相似度矩阵的构建。本发明的主要目是充分利用多视数据的信息，提高图像的聚类性能。

为实现上述目的，本发明采用如下的技术方案：

一种基于差异性与一致性约束的多视数据的子空间聚类方法包括以下步骤：

步骤1、多视数据子空间聚类的差异性约束

利用希尔伯特施密特独立性准则(Hilbert-Schmidt Independence Criterion，HSIC)作为多视数据子空间聚类的差异性约束,通过HSIC度量两个视图系数矩阵Z^v和Z^w的关联性，得到各个视图的差异信息，将多视数据子空间聚类的差异性度量记为如下：

IC(Z^v，Z^w)＝tr(K^vHK^wH)

其中，ω表示图像集的第ω个视图或特征,v表示图像集的第v个视图或特征,K^v，K^w是对应Z^v和Z^w的核矩阵，H＝I-(1/n)ee^T，I为单位矩阵，e是元素值全是1的列向量。

步骤2、多视数据子空间聚类的一致性约束

通过图像集在不同系数矩阵中的距离度量构建一个潜在的相似矩阵反映图像集中两个图像属于同一类的概率大小，相似矩阵A中的元素应该满足如下公式：

其中，

经过整理后可以得到多视数据子空间聚类的一致性约束如下：

其中，表示拉普拉斯矩阵，表示一个对角矩阵，其对角元素为元素a_ij反映了第i个图像与第j个图像属于同一类别的可能性度量，所述度量是根据所有视图中的结果得出的，从而可以实现对多视数据的一致性约束；

步骤3、多视数据的子空间聚类模型与求解

基于上述差异性与一致性约束，得到差异性与一致性共同约束的多视数据子空间聚类方法模型CD-MVSC如下：

对CD-MVSC模型的求解之前，先对差异性约束项Σ_w≠vHSIC(Z^v，Z^w)进行简化处理，采用內积核K^v＝Z^vTZ^v作为核空间映射，那么差异性约束项可以做如下变换：

式中

所以CD-MVSC经过整理之后可以得到：

采用交替迭代的方法对式(10)进行求解，通过辅助变量S分离模型中重构误差项与其他约束项，并加入新的约束S＝Z可以得到式(10)的增广拉格朗日方程如下：

其中，F^v表示拉格朗日乘子，γ表示惩罚参数，

通过对CD-MVSC模型的求解，可以得到多视数据每个视角的系数矩阵Z^v，而且还能得到一个表示数据间关联的相似矩阵A，相似矩阵A经过谱聚类方法可以得到图像集的标签信息，完成对图像集的聚类。

作为优选，步骤3中，具体的交替迭代过程如下：

(a)当变量S^v和A固定时，通过下式求解变量Z^v：

因为式子中每个Z^v是相互独立的，所以令式(12)对Z^v的偏导方程为零可以得到，

Z^v＝(X^vTX^v+γI)^-1(X^vTX^v+F^v+γS^v)

(b)当变量Z^v和A固定时，通过下式求解变量S^v：

同理，令式(13)对S^v的偏导方程为零可以得到，

(c)当变量Z^v和S^v固定时，通过下式求解变量A：

式(14)可以经过整理后可以得到：

其中，我们可以通过式(16)对A逐行求解，

其中，是元素为d_ij(j＝1，2，...，n)的向量，通过式(16)我们可以得到，

其中，运算(x)₊＝max{x，0}，N∈{1，...，n}表示数据的最近邻的数目，表示d_i中前N个元素的和，得到每一行a_i之后，通过即可以得到最终解；

(d)更新拉格朗日乘子F^v：

F^v＝F^v _old+γ(S^v-Z^v) (17)

通过以上(a)～(d)四个步骤，经过若干次迭代或者满足式(18)时，就可以得到式(11)的解，

其中，f^(t)表示第t次迭代中式(8)的值。

附图说明

图1为本发明的多视数据的子空间聚类方法的流程图；

图2Extended YaleB数据库示例图；

图3Yale数据库示例图；

图4Orl数据库示例图。

具体实施方式

如图1所示，本发明提供了一种基于差异性和一致性约束的多视数据的子空间聚类方法。我们在多视数据的子空间聚类模型中同时加入差异性和一致性的约束，并通过一个潜在矩阵变量的迭代实现聚类相似度矩阵的构建。

我们用矩阵表示给定的图像集(如人脸图像、手写体数字图像)，其中矩阵的每一列x_i表示图像集中的一张图像按行(或列)拉成的向量。那么图像集的多视形式就可以用矩阵表示，其中v表示图像集的第v个视图或特征(如灰度值、LBP特征、Gabor特征等)。基于图像的每个视图的聚类过程如下：首先，图像集通过线性自表示得到图像每个视图的自表示系数矩阵即通过求解公式(1)中的优化问题得到：

其中表示图像集合的重构误差，Φ(Z^v)表示对系数矩阵的约束方程,通过对Z^v的约束来反映图像集不同视图之间的结构特性。接下来，在得到的所有m个系数矩阵的基础上通过得到图像集的相似矩阵，矩阵A中的元素表示图像集中图像之间的关联度。最后，由相似矩阵A经过谱聚类得到图像的标签信息。在此一般过程的基础上，下面分别构造多视数据聚类的差异性和一致性约束，然后提出一种基于差异性和一致性共同约束的多视数据的子空间聚类方法，包括以下步骤，如图1所示，

步骤1、多视数据子空间聚类的差异性约束

为了描述多视数据之间信息的差异性，我们利用希尔伯特施密特独立性准则(Hilbert-Schmidt Independence Criterion，HSIC)作为多视数据子空间聚类的差异性约束。HSIC是一种基于核的独立性度量方法，该方法的原理是在再生核希尔伯特空间上定义Hilbert-Schmidt互协方差算子，进而推导出适合度量独立性的统计量来决定独立性的大小，下面对HSIC原理做简要介绍。

假设和是可分的度量空间，令是空间通过核函数生成的再生核希尔伯特空间，其中到的映射函数记为同理，是空间的再生核希尔伯特空间，核函数记为l，映射函数记为那么两变量x，y的互协方差就可以定义为如下公式：

其中 表示张量积。假设p_xy是上的联合分布，Г和Λ分别是和的Borel集。那么希尔伯特施密特独立性准则定义为互协方差的希尔伯特施密特范数(HS-norm)的平方，公式如下：

在观察得到数据的基础上，可以给出HSIC的经验估计值为：

式中H＝I-(1/n)ee^T，I为单位矩阵，e是元素值全是1的列向量，K，L分别是核k和l关于Z观测值的Gram矩阵，即k_ij＝k(x_i，x_j)和l_ij＝l(y_i，y_j)。

HSIC的经验估计值在理论上具有收敛速度快以及计算简单等优点，而且DiMSC方法中证明，HSIC可以度量两个视图系数矩阵Z^v和Z^w的关联性，提出各个视图的差异信息。本发明通过HSIC减小视图系数矩阵Z^v和Z^w的关联性，即最小化方程(n-1)^-2tr(K^vHK^wH)，其中K^v，K^w是对应Z^v和Z^w的核矩阵。为了计算方便，我们忽略(n-1)^-2，并且将多视数据子空间聚类方法的差异性度量记为如下：

HSIC(Z^v，Z^w)＝tr(K^vHK^wH) (5)

步骤2、多视数据子空间聚类的一致性约束

我们通过图像集在不同系数矩阵中的距离度量构建一个潜在的相似矩阵A＝[a₁，a₂，...，a_n]，反映图像集中两个图像属于同一类的概率大小。根据RSS方法的结论，如果图像x_i和x_j在系数矩阵中的距离度量越小，那么可以认为x_i与x_j来自于相同子空间的可能性就越大，即两图像属于同一类别的可能性就越大。将该结论应用于多视数据，如果图像x_i和x_j在不同视图的系数矩阵Z^v中的距离度量值都小，那么两图像属于同一类别的可能性就越大。因此，相似矩阵A中的元素应该满足如下公式：

其中经过整理后可以得到多视数据子空间聚类的一致性约束如下：

式中表示拉普拉斯矩阵，表示一个对角矩阵，其对角元素为公式中元素a_ij反映了第i个图像与第j个图像属于同一类别的可能性度量，这种度量是根据所有视图中的结果得出的，从而可以实现对多视数据的一致性约束。

步骤3、多视数据的子空间聚类模型与求解

基于上述差异性与一致性约束，我们提出差异性与一致性共同约束的多视数据子空间聚类方法模型CD-MVSC如下：

对CD-MVSC模型的求解之前，先对差异性约束项∑_w≠vHSIC(Z^v，Z^w)进行简化处理。我们采用內积核K^v＝Z^vTZ^v作为核空间映射，那么差异性约束项可以做如下变换：

式中

所以CD-MVSC经过整理之后可以得到：

我们采用交替迭代的方法对式(10)进行求解，我们通过辅助变量S分离模型中重构误差项与其他约束项，并加入新的约束S＝Z可以得到式(10)的增广拉格朗日方程如下：

式子中F^v表示拉格朗日乘子，γ表示惩罚参数。具体的交替迭代过程如下：

(a)当变量S^v和A固定时，通过下式求解变量Z^v：

因为式子中每个Z^v是相互独立的，所以令式(12)对Z^v的偏导方程为零可以得到，

Z^v＝(X^vTX^v+γI)^-1(X^vTX^v+F^v+γS^v)

(b)当变量Z^v和A固定时，通过下式求解变量S^v：

同理，令式(13)对S^v的偏导方程为零可以得到，

(c)当变量Z^v和S^v固定时，通过下式求解变量A：

式(14)可以经过整理后可以得到：

式中我们可以通过式(16)对A逐行求解，

其中是元素为d_ij(j＝1，2，...，n)的向量。通过式(16)我们可以得到，

式中运算(x)₊＝max{x，0}，N∈{1，...，n}表示数据的最近邻的数目，表示d_i中前N个元素的和。得到每一行a_i之后，通过即可以得到最终解。

(d)更新拉格朗日乘子F^v：

F^v＝F^v _old+γ(S^v-Z^v) (17)

通过以上(a)～(d)四个步骤，经过若干次迭代或者满足式(18)时，就可以得到式(11)的解。

其中f^(t)表示第t次迭代中式(8)的值。

通过对CD-MVSC模型的求解，我们不仅可以得到多视数据每个视角的系数矩阵Z^v，而且还能得到一个表示数据间关联的相似矩阵A。相似矩阵A经过谱聚类方法可以得到图像集的标签信息，完成对图像集的聚类。

本发明提出了一种基于差异性与一致性约束的多视数据子空间聚类方法，为了证明模型对于多视数据聚类的有效性，我们在四个数据库上做了相应的实验，三个人脸数据库和手写体数据库。涉及到的对比算法有：RSS算法(对实验中多视数据的每一个视角通过RSS方法聚类，命名为“Feature”-RSS，例如LBP-RSS),RSS-Add(对多视数据中每个视角的相似矩阵进行求和后聚类),Co-regularization(Co-regularized Multi-view SpectralClustering),Co-training(A Co-training Approach for Multi-view SpectralClustering),RMSC(RobustMulti-view Spectral Clustering via Low-rank and SparseDecomposition)，DiMSC和C-MVSC(CD-MVSC模型中设置λ₁＝0，即只考虑多视数据信息的一致性)。

1实验中我们应用了以下四个数据库：

◆Extended YaleB数据库的一个子集：Extended YaleB数据库包含38个人，每人64幅不同光照条件下的人脸图像。实验中我们选择前10个人的图像作为本次实验的一个数据集,如图2所示。

◆Yale数据库：该数据库包含15个人，每个人11幅人脸图像。这些图像是在不同光照条件、表情和姿态得到的，如图3所示。

◆ORL数据库：包含40人共400张面部图像,部分志，愿者的图像包括了姿态,表情和面部饰物的变化,如图4所示。

◆UCI多特征数据库的一个子集：UCI Multiple Features Data Set包含0-9十个数字的手写体图像，每类图像包含200张，这些数字通过不同的特征储存。本次实验选取每一类的前50个样本作为实验数据，共10类，500个样本数据。

对于三个人脸数据库，所有图像是灰色图像且大小为32×32，我们提取三种不同的图像特征构成多视数据，分别是灰度值特征、LBP特征和Gabor特征。UCI多特征数据库，形态特征(mor)、2×3窗口的平均像素值(pix)和傅里叶系数特征(fou)作为多视数据。为了显示本发明中CD-MVSC模型的有效性，我们使用了聚类正确率(ACC)和归一化互信息(NMI)作为聚类的评价标准，具体结果如表1-表3所示。

表1 Yale、Extended YaleB和Orl数据库聚类正确率

表2 Yale、Extended YaleB和Orl数据库聚类归一化互信息

表3 UCI数据库聚类正确率和归一化互信息

Claims (2)

1.一种基于差异性与一致性约束的多视数据的子空间聚类方法,其特征在于，包括以下步骤：

步骤1、多视数据子空间聚类的差异性约束

利用希尔伯特施密特独立性准则(Hilbert-Schmidt Independence Criterion，HSIC)作为多视数据子空间聚类的差异性约束,通过HSIC度量两个视图系数矩阵Z^v和Z^w的关联性，得到各个视图的差异信息，将多视数据子空间聚类的差异性度量记为如下：

HSIC(Z^v，Z^w)＝tr(K^vHK^wH)

其中，ω表示图像集的第ω个视图或特征,v表示图像集的第v个视图或特征,K^v，K^w是对应Z^v和Z^w的核矩阵，H＝I-(1/n)ee^T，I为单位矩阵，e是元素值全是1的列向量。

步骤2、多视数据子空间聚类的一致性约束

通过图像集在不同系数矩阵中的距离度量构建一个潜在的相似矩阵反映图像集中两个图像属于同一类的概率大小，相似矩阵A中的元素应该满足如下公式：

$\begin{array}{cc}\underset{a_{ij}}{\min }& \underset{v=1}{\overset{m}{\Σ}}\underset{i=1}{\overset{n}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}\left|\right|z_i^v-z_j^v|{|}_2^2{a}_{ij}+\mathrm{\λ}\underset{i=1}{\overset{n}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{a_{ij}}^2\end{array}$

其中，a_ij≥0，

经过整理后可以得到多视数据子空间聚类的一致性约束如下：

$\underset{A}{\min }\underset{v=1}{\overset{m}{\Σ}}tr\left(Z^v{L}_A{Z}^{vT}\right)+\mathrm{\λ}\left|\right|A|{|}_F^2$

$\begin{array}{cc}s.t.& a_i^{T}1=1,a_{ij}\≥0\end{array}$

其中，表示拉普拉斯矩阵，表示一个对角矩阵，其对角元素为元素a_ij反映了第i个图像与第j个图像属于同一类别的可能性度量，所述度量是根据所有视图中的结果得出的，从而可以实现对多视数据的一致性约束；

步骤3、多视数据的子空间聚类模型与求解

基于上述差异性与一致性约束，得到差异性与一致性共同约束的多视数据子空间聚类方法模型CD-MVSC如下：

$\begin{array}{c}\underset{A,Z^v}{\min }\underset{v}{\Σ}\left|\right|X^v-X^v{Z}^v|{|}_F^2+{\mathrm{\λ}}_1\underset{w\≠v}{\Σ}HSIC(Z^v,Z^w)\\ +{\mathrm{\λ}}_2\underset{v}{\Σ}tr\left(Z^v{L}_A{Z}^{vT}\right)+{\mathrm{\λ}}_3\left|\right|A|{|}_F^2\end{array}$

$\begin{array}{cc}s.t.& a_i^{T}1=1,a_{ij}\≥0\end{array}$

对CD-MVSC模型的求解之前，先对差异性约束项∑_w≠v HSIC(Z^v，Z^w)进行简化处理，采用內积核K^v＝Z^vTZ^v作为核空间映射，那么差异性约束项可以做如下变换：

$\begin{array}{c}\underset{w\≠v}{\Σ}HSIC(Z^v,Z^w)=\underset{v=1}{\overset{m}{\Σ}}\underset{w\≠v}{\overset{m}{\underset{w=1}{\Σ}}}tr\left(K^v{\mathrm{HK}}^{w}H\right)\\ =\underset{v=1}{\overset{m}{\Σ}}\underset{w\≠v}{\overset{m}{\underset{w=1}{\Σ}}}tr\left(Z^v{\mathrm{HK}}^w{\mathrm{HZ}}^{vT}\right)=\underset{v=1}{\overset{m}{\Σ}}tr\left(Z^v\tilde{K}{Z}^{vT}\right),\end{array}$

式中

$\tilde{K}=\underset{w\≠v}{\overset{m}{\underset{w=1}{\Σ}}}{\mathrm{HK}}^{w}H$

所以CD-MVSC经过整理之后可以得到：

$\begin{array}{c}\underset{A,Z^v}{\min }\underset{v}{\Σ}\left|\right|X^v-X^v{Z}^v|{|}_F^2+{\mathrm{\λ}}_1\underset{v}{\Σ}tr\left(Z^v\tilde{K}{Z}^{vT}\right)\\ +{\mathrm{\λ}}_2\underset{v}{\Σ}tr\left(Z^v{L}_A{Z}^{vT}\right)+{\mathrm{\λ}}_3\left|\right|A|{|}_F^2\\ \begin{array}{cc}s.t.& a_i^{T}1=1,a_{ij}\≥0\end{array}\end{array}---\left(10\right)$

采用交替迭代的方法对式(10)进行求解，通过辅助变量S分离模型中重构误差项与其他约束项，并加入新的约束S＝Z可以得到式(10)的增广拉格朗日方程如下：

$\begin{array}{c}\underset{Z^v,S^v,A}{\min }\underset{v}{\&Sigma;}\left(\frac{1}{2}\right||X^v-X^v{Z}^v|{|}_F^2+{\mathrm{\&lambda;}}_{1}tr\left(S^v\tilde{K}{S}^{vT}\right)\\ +{\mathrm{\&lambda;}}_{2}tr\left(S^v{L}_A{S}^{vT}\right)+<F^v,S^v-Z^v>\\ +\frac{\mathrm{\&gamma;}}{2}\left|\right|S^v-Z^v\left|{|}_F^2\right)+{\mathrm{\&lambda;}}_3\left|\right|A|{|}_F^2\end{array}$

$\begin{array}{cc}s.t.& a_i^{T}1=1,a_{ij}\&GreaterEqual;0\end{array}$

其中，F^v表示拉格朗日乘子，γ表示惩罚参数，

通过对CD-MVSC模型的求解，可以得到多视数据每个视角的系数矩阵Z^v，而且还能得到一个表示图像集中样本关联的相似矩阵A，相似矩阵A经过谱聚类方法可以得到图像集的标签信息，完成对图像集的聚类。

2.如权利要求1所述的基于差异性与一致性约束的多视数据的子空间聚类方法,其特征在于，步骤3中，具体的交替迭代过程如下：

(a)当变量S^v和A固定时，通过下式求解变量Z^v：

$\underset{Z^v}{\min }\frac{1}{2}\left|\right|X^v-X^v{Z}^v|{|}_F^2+<F^v,S^v-Z^v>+\frac{\mathrm{\&gamma;}}{2}||S^v-Z^v|{|}_F^2---\left(12\right)$

因为式子中每个Z^v是相互独立的，所以令式(12)对Z^v的偏导方程为零可以得到，

Z^v＝(X^vTX^v+γI)^-1(X^vTX^v+F^v+γS^v)

(b)当变量Z^v和A固定时，通过下式求解变量S^v：

$\begin{array}{c}\underset{S^v}{\min }{\mathrm{\&lambda;}}_{1}tr\left(S^v\tilde{K}{S}^{vT}\right)+{\mathrm{\&lambda;}}_{2}tr\left(S^v{L}_A{S}^{vT}\right)\\ +<F^v,S^v-Z^v>+\frac{\mathrm{\&gamma;}}{2}\left|\right|S^v-Z^v|{|}_F^2\end{array}---\left(13\right)$

同理，令式(13)对S^v的偏导方程为零可以得到，

$S^v=({\mathrm{\&gamma;Z}}^v-F^v){(2{\mathrm{\&lambda;}}_1\tilde{K}+2{\mathrm{\&lambda;}}_2{L}_A+\mathrm{\&gamma;}I)}^{-1}$

(c)当变量Z^v和S^v固定时，通过下式求解变量A：

$\begin{array}{c}\underset{A}{\min }\underset{v}{\&Sigma;}{\mathrm{\&lambda;}}_{2}tr\left(S^v{L}_A{S}^{vT}\right)+{\mathrm{\&lambda;}}_3\left|\right|A|{|}_F^2\\ \begin{array}{cc}s.t.& a_i^{T}1=1,a_{ij}\&GreaterEqual;0\end{array}\end{array}---\left(14\right)$

式(14)可以经过整理后可以得到：

$\begin{array}{c}\underset{v}{\&Sigma;}{\mathrm{\&lambda;}}_{2}tr\left(S^v{L}_A{S}^{vT}\right)+{\mathrm{\&lambda;}}_3\left|\right|A|{|}_F^2\\ ={\mathrm{\&lambda;}}_2\&lsqb;tr\left(S^1{L}_A{S}^{1^T}\right)+\mathrm{...}+tr\left(S^v{L}_A{S}^{vT}\right)\&rsqb;+{\mathrm{\&lambda;}}_3\left|\right|A|{|}_F^2\\ =\underset{i,j=1}{\overset{n}{\&Sigma;}}(\frac{{\mathrm{\&lambda;}}_2}{2}{d}_{ij}{a}_{ij}+{\mathrm{\&lambda;}}_3{a}_{ij}^2)\\ \begin{array}{cc}s.t.& a_i^{T}1=1,a_{ij}\&GreaterEqual;0\end{array}\end{array}---\left(15\right)$

其中，我们可以通过式(16)对A逐行求解，

$\underset{a_i^{T}1=1,a_{ij}\&GreaterEqual;0}{\min }\left|\right|a_i+\frac{{\mathrm{\&lambda;}}_2}{4{\mathrm{\&lambda;}}_3}{d}_i|{|}^2---\left(16\right)$

其中，是元素为d_ij(j＝1，2，...，n)的向量，通过式(16)我们可以得到，

$a_i={(\frac{1+{\mathrm{\&Sigma;}}_{j=1}^N{\tilde{d}}_{ij}}{N}1-d_i)}_{+}$

其中，运算(x)₊＝max{x，0}，N∈{1，...，n}表示图像集中样本的最近邻的数目，表示d_i中前N个元素的和，得到每一行a_i之后，通过即可以得到最终解；

(d)更新拉格朗日乘子F^v：

F^v＝F^v _old+γ(S^v-Z^v) (17)

通过以上(a)～(d)四个步骤，经过若干次迭代或者满足式(18)时，就可以得到式(11)的解，

$\frac{|f^{(t+1)}-f^{\left(t\right)}|}{f^{\left(t\right)}}<{10}^{-3}---\left(18\right)$

其中，f^(t)表示第t次迭代中式(8)的值。