CN106021170A - 采用半监督低秩表示模型的图构建方法 - Google Patents

Abstract

本发明公开了一种采用半监督低秩表示模型的图构建方法，包括：将样本的已知标签信息转化为低秩表示模型中的一个约束条件；将图构建问题转化为带约束条件的线性凸优化问题，并求解出最优系统矩阵；利用该最优系统矩阵并结合节点之间的链接关系，采用随机游走过程将有向图转换为无向图，以保留节点的方向信息并实现权重矩阵的对称化。该方法可以更好地捕获数据的全局结构，还可以提高基于图的半监督算法的性能。

Description

采用半监督低秩表示模型的图构建方法

技术领域

本发明涉及模式识别和机器学习技术领域，尤其涉及一种采用半监督低秩表示模型的图构建方法。

背景技术

在机器学习领域，高质量的数据往往有助于提高模型的性能。但是，高质量的数据往往是通过人工标注来获取的，代价比较高，数量非常有限。随着信息技术的高速发展，收集大量未标记的样本已相当容易。但是，这些未标注样本噪声很大，非常不利于模型的学习。半监督学习方法可以综合利用少量已标记数据和大量未标记数据来学习高性能的模型，受到了极大关注，在许多领域(如信息检索、图像分类等)都有重要应用。

图构建方法的关键是捕获数据流形空间的几何结构，包括局部结构和全局结构。传统方法主要利用样本点之间的相似性来构建图，只能捕获数据的局部结构，对数据的噪声非常敏感，性能非常不稳定。目前的一些方法(比如稀疏编码图、低秩表示图等)则可以较好地捕获了图像的全局结构，对数据噪声也比较鲁棒，取得了较好性能。虽然在半监督学习输入条件下，部分样本提供标签信息可以利用。但是，几乎所有的图构建算法都没有考虑利用样本标签信息来帮助构建图。

发明内容

本发明的目的是提供一种采用半监督低秩表示模型的图构建方法，可以更好地捕获数据的全局结构，还可以提高基于图的半监督算法的性能。

本发明的目的是通过以下技术方案实现的：

一种采用半监督低秩表示模型的图构建方法，包括：

将样本的已知标签信息转化为低秩表示模型中的一个约束条件；

将图构建问题转化为带约束条件的线性凸优化问题，并求解出最优系统矩阵；

利用该最优系统矩阵并结合节点之间的链接关系，采用随机游走过程将有向图转换为无向图，以保留节点的方向信息并实现权重矩阵的对称化。

进一步的，将图构建问题转化为带约束条件的线性凸优化问题之前还包括将给定数据矩阵进行规范化处理的过程，其包括：

给定数据矩阵其中每一列代表一个采样数据，长度为d，共n个采样数据；

对每一采样数据x_i用欧式量度来进行规范化，规范化公式如下：

$\widehat{x_i}=x_i/{||x_i||}_2,i=\[1,n\];$

将得到的每个新的采样数据作为一列，得到新的数据矩阵

进一步的，所述将样本的已知标签信息转化为低秩表示模型中的一个约束条件包括：

通过已知的标签信息，给定约束条件中的邻接矩阵如果在已知标签信息中，数据点i和数据点j属于不同的类别，则将矩阵中的和设为0，表示点i和点j之间没有连接。

进一步的，所述将图构建问题转化为带约束条件的线性凸优化问题，其表达式为：

$\begin{array}{c}(Z^{*},E^{*})=\arg \underset{Z,E}{\min }{||Z||}_{*}+\mathrm{\λ}{||E||}_{2,1}\\ s.t\hat{X}=\hat{X}Z+E\\ Z^{T}1=1\\ Z_{ij}=0,(i,j)\∈\stackrel{\‾}{\mathrm{\Ω}}\end{array};$

其中，Z与Z^*分别为系数矩阵与最优系统矩阵，E与E^*分别为数据中的噪声矩阵与最优噪声矩阵；||Z||_*代表矩阵Z中奇异值的和；||E||_2,1代表矩阵E的l_2,1范数，用来模拟数据中的噪声，平衡参数λ用来平衡系统矩阵与噪声矩阵的影响，Z_ij表示系数矩阵Z的第i行和第j列元素。

进一步的，通过自适应惩罚参数线性交替方向算法来解决线性凸优化问题，获得最优系统矩阵，求解过程如下：

1)将线性凸优化问题改写为标准的线性凸优化问题：

$\begin{array}{c}\underset{Z,E}{\min }{||Z||}_{*}+\mathrm{\λ}{||E||}_{2,1}\\ s.t.A\left(Z\right)+B\left(E\right)=c\end{array};$

其中，vec(·)表示将矩阵的所有列加起来成为一个向量的向量化算符，用来提取系数矩阵Z中在矩阵中的记录；

2)更新系统矩阵Z：

$Z_{k+1}={\mathrm{argmin}}_Z{||Z||}_{*}+\frac{{\mathrm{\β}}_k{\mathrm{\η}}_A}{2}{||Z-{\tilde{Z}}_k||}_F^2;$

其中，k表示迭代次数，y为拉格朗日乘子，β_k＞0，为惩罚参数，η_A是松弛参数，满足η_A＞||A||₂，||A||₂＝max_Z≠0||A(Z)||_F/||Z||_F；A^*为A的伴随矩阵；

上式有一个由奇异值阈值所确定的闭解：

$Z_{k+1}={\tilde{U}}_{k}max({\widetilde{\Σ}}_k-{\left({\mathrm{\β}}_k{\mathrm{\η}}_A\right)}^{-1}I,0){\tilde{V}}_k^T;$

其中，为的奇异值分解，I是单位矩阵；

3)更新噪声矩阵E：

$E_{k+1}={\mathrm{argmin}}_E\mathrm{\λ}{||E||}_{2,1}+\frac{{\mathrm{\β}}_k{\mathrm{\η}}_B}{2}{||E-{\tilde{E}}_k||}_F^2;$

其中，η_B＞0是一个满足η_B＞||B||₂的松弛参数，||B||₂＝max_E≠0||B(E)||_F/||E||_F，B^*为B的伴随矩阵；

上式有一个闭解：

$e_{k+1,i}=max(1-\mathrm{\λ}/({\mathrm{\β}}_k{\mathrm{\η}}_B{||{\tilde{e}}_{k,i}||}_2),0){\tilde{e}}_{k,i};$

其中，e_k+1,i与分别为E_k+1与的第列；

4)更新拉格朗日乘子y：

y_k+1＝y_k+β_k[A(Z_k＋1)+B(E_k+1)-c]；

5)更新惩罚参数β：

β_k+1＝min(β_max,ρβ_k)；

其中，β_max为预设的惩罚参数最大值；

其中，ρ₀为不小于1的常数，0＜ε₂≤1；

6)判断是否满足迭代停止条件，满足则迭代停止；否则，k＝k+1，转至步骤2)；迭代停止条件如下：

$\frac{{||A\left(Z_{k+1}\right)+B\left(E_{k+1}\right)-c||}_F}{{||c||}_2}<{\mathrm{\&epsiv;}}_1;$

$\frac{{\mathrm{\&beta;}}_{k}maxmax(\sqrt{{\mathrm{\&eta;}}_A}{||Z_{k+1}-Z_k||}_F,\sqrt{{\mathrm{\&eta;}}_B}{||E_{k+1}-E_k||}_F)}{{||c||}_2}\&le;{\mathrm{\&epsiv;}}_2.$

进一步的，所述利用该最优系统矩阵并结合节点之间的链接关系，采用随机游走过程将有向图转换为无向图，以保留节点的方向信息并实现权重矩阵的对称化包括：

利用随机游走过程来估计数据之间的相似性，从而将有向图转化为无向图，随机游走过程包括如下四种情况：

1)若两个节点i和j都被节点p连接到自身，则顶点之间的相似性表达式如下：

$W_{ij}^{\left(c\right)}={\&Sigma;}_p{Z}_{pi}^{*}{Z}_{pj}^{*}={\left(Z^{*T}{Z}^{*}\right)}_{ij};$

2)若两个节点i和j都连接到节点p，则顶点之间的相似性表达式如下：

$W_{ij}^{\left(r\right)}={\&Sigma;}_p{Z}_{ip}^{*}{Z}_{jp}^{*}={\left(Z^{*}{Z}^{*T}\right)}_{ij};$

3)若节点i、节点p、节点j依次连接，则顶点之间的相似性表达式如下：

$W_{i\&RightArrow;j}^{\left(p\right)}={\&Sigma;}_p{Z}_{ip}^{*}{Z}_{pj}^{*}={\left(Z^{*}{Z}^{*}\right)}_{ij};$

4)若节点j、节点p、节点i依次连接，则顶点之间的相似性表达式如下：

$W_{j\&RightArrow;i}^{\left(p\right)}={\&Sigma;}_p{Z}_{pi}^{*}{Z}_{jp}^{*}={\left(Z^{*T}{Z}^{*T}\right)}_{ij}.$

由上述本发明提供的技术方案可以看出，将标签信息结合进低秩表示模型中来构建图，可以更好地捕获数据的全局结构，对局部的噪声和错误很有效。同时，在保留链接方向信息的基础上将有向图转换为无向图，避免了直接简单对称造成图方向信息和数据结构的丢失，提高了基于图的半监督算法的性能。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种采用半监督低秩表示模型的图构建方法的流程图；

图2为本发明实施例提供的矩阵的块对角形式示意图；

图3为本发明实施例提供的采用自适应惩罚参数线性交替方向算法求解线性凸优化问题的流程图；

图4为本发明实施例提供的二阶随机游走过程四种可能情况的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

图1为本发明实施例提供的一种采用半监督低秩表示模型的图构建方法的流程图。如图1所示，其主要包括如下步骤：

步骤11、将样本的已知标签信息转化为低秩表示模型中的一个约束条件。

本步骤具体为：通过已知的标签信息，给定约束条件中的邻接矩阵如果在已知标签信息中，数据点i和数据点j属于不同的类别，则将矩阵中的和设为0，表示点i和点j之间没有连接。可以用来限制已标记点中不同类之间的系数为0。这样做避免了用不同类别的点的集合来表示一个点，保证得到的最优解矩阵中已标记点间的块对角形式，如图2所示为矩阵的块对角形式。其中区域颜色越白表示数值越大，黑色区域表示数值0。

步骤12、将图构建问题转化为带约束条件的线性凸优化问题，并求解出最优系统矩阵。

执行本步骤之前，还需要将给定数据矩阵进行规范化处理，该规范化处理过程与前述步骤11的执行顺序不做限定。

规范化处理如下：

给定数据矩阵其中每一列代表一个采样数据，长度为d，共n个采样数据；

对每一采样数据x_i用欧式量度来进行规范化，规范化公式如下：

$\widehat{x_i}=x_i/{||x_i||}_2,i=\&lsqb;1,n\&rsqb;;$

将得到的每个新的采样数据作为一列，得到新的数据矩阵

将图构建问题转化为带约束条件的线性凸优化问题，其表达式为：

$\begin{array}{c}(Z^{*},E^{*})=\arg \underset{Z,E}{\min }{||Z||}_{*}+\mathrm{\&lambda;}{||E||}_{2,1}\\ s.t\hat{X}=\hat{X}Z+E\\ Z^{T}1=1\\ Z_{ij}=0,(i,j)\&Element;\stackrel{\&OverBar;}{\mathrm{\&Omega;}}\end{array};$

其中，Z与Z^*分别为系数矩阵与最优系统矩阵，E与E^*分别为数据中的噪声矩阵与最优噪声矩阵；||Z||_*代表矩阵Z中奇异值的和；||E||_2,1代表矩阵E的l_2,1范数，用来模拟数据中的噪声，平衡参数λ用来平衡系统矩阵与噪声矩阵的影响；Z_ij表示系数矩阵Z的第i行和第j列元素，对应于第j个样本的低秩表示系数中的第i个分量，描述了第i个样本被用来表示第j个样本时的重要性。需要注意的是，正常情况下，Z_ij不等于Z_ji。如果第i个样本和第j个样本不属于同一类，那么他们之间的重要性就必须为0，因为我们希望用同一类样本来表示，不同类样本之间不产生关联。

上述线性凸优化问题，有很多方法可以求解。本发明实施例采用自适应惩罚参数线性交替方向算法进行求解，该算法的优点是：避免引入辅助变量，减少了运算量，同时自适应更新惩罚参数加快了收敛速度。

求解过程如图3所示，首先，给定数据矩阵平衡参数λ，还有限定条件中的邻接矩阵对自适应惩罚参数线性交替方向算法进行初始化，设置参数大小，示例性的：

0＜ε₁＜＜1,0＜ε₂≤1,β_max,ρ₀∈[1,1.5],η_B＝1,Z₀＝0,E₀＝0,y₀＝0,β₀∈(0,1),k＝0；然后将线性凸优化问题改写为标准的线性凸优化问题：

$\begin{array}{c}\underset{Z,E}{\min }{||Z||}_{*}+\mathrm{\&lambda;}{||E||}_{2,1}\\ s.t.A\left(Z\right)+B\left(E\right)=c\end{array};$

其中，vec(·)表示将矩阵的所有列加起来成为一个向量的向量化算符，用来提取系数矩阵Z中在矩阵中的记录；

再进行如下迭代过程：

1、更新系统矩阵Z：

$Z_{k+1}={\mathrm{argmin}}_Z{||Z||}_{*}+\frac{{\mathrm{\&beta;}}_k{\mathrm{\&eta;}}_A}{2}{||Z-{\tilde{Z}}_k||}_F^2;$

其中，k表示迭代次数，y为拉格朗日乘子，β_k＞0，为惩罚参数，η_A是松弛参数，满足η_A＞||A||₂，||A||₂＝max_Z≠0||A(Z)||_F/||Z||_F；A^*为A的伴随矩阵；

可以看到，并且此处的ω₁,ω₂,ω₃的长度分别是dn,n,(其中的d表示数据维度)；另外，mtx(·)是把dn×1的向量变为d×n的矩阵的算子，是的伴随算符，是通过把矩阵中的记录插入矩阵的相应位置而使的向量变成n×n矩阵，矩阵剩余的项是0。换句话来说，mtx（·)和可以被看做vec（·)和的相反操作。

最终，上式有一个由奇异值阈值所确定的闭解：

$Z_{k+1}={\tilde{U}}_{k}max({\widetilde{\&Sigma;}}_k-{\left({\mathrm{\&beta;}}_k{\mathrm{\&eta;}}_A\right)}^{-1}I,0){\tilde{V}}_k^T;$

其中，为的奇异值分解，I是单位矩阵，即对角线为1，其它元素为0的矩阵；

2、更新噪声矩阵E：

$E_{k+1}={\mathrm{argmin}}_E\mathrm{\&lambda;}{||E||}_{2,1}+\frac{{\mathrm{\&beta;}}_k{\mathrm{\&eta;}}_B}{2}{||E-{\tilde{E}}_k||}_F^2;$

其中，η_B＞0是一个满足η_B＞||B||₂的松弛参数，||B||₂＝max_E≠0||B(E)||_F/||E||_F，B^*为B的伴随矩阵；同样的||B||₂≤1以及B^*(ω)＝mtx(ω₁)，ω₁是包含了ω前dn项的子向量。

上式有一个闭解：

$e_{k+1,i}=max(1-\mathrm{\&lambda;}/({\mathrm{\&beta;}}_k{\mathrm{\&eta;}}_B{||{\tilde{e}}_{k,i}||}_2),0){\tilde{e}}_{k,i};$

其中，e_k+1,i与分别为E_k+1与的第列；

3、更新拉格朗日乘子y：

$y_{k+1}=y_k+{\mathrm{\&beta;}}_k\&lsqb;A\left(Z_{k+1}\right)+B\left(E_{k+1}\right)-c\&rsqb;;$

4、更新惩罚参数β：

β_k+1＝min(β_max,ρβ_k)

其中，ρ₀为不小于1的常数，0＜ε₂≤1；

5、判断是否满足迭代停止条件，满足则迭代停止；否则，k＝k+1，转至步骤1；迭代停止条件如下：

$\frac{{||A\left(Z_{k+1}\right)+B\left(E_{k+1}\right)-c||}_F}{{||c||}_2}<{\mathrm{\&epsiv;}}_1;$

$\frac{{\mathrm{\&beta;}}_{k}maxmax(\sqrt{{\mathrm{\&eta;}}_A}{||Z_{k+1}-Z_k||}_F,\sqrt{{\mathrm{\&eta;}}_B}{||E_{k+1}-E_k||}_F)}{{||c||}_2}\&le;{\mathrm{\&epsiv;}}_2.$

步骤13、利用该最优系统矩阵并结合节点之间的链接关系，采用随机游走过程将有向图转换为无向图，以保留节点的方向信息并实现权重矩阵的对称化。

通过前述步骤可以获得最优系统矩阵Z^*，根据最优系统矩阵Z^*进行对称化变成无向图，对称化公式如下：

W＝Z^*TZ^*+Z^*Z^*T+Z^*Z^*+Z^*TZ^*T；

从而得到最终的权重矩阵W。

优选的，本发明实施例中考虑随机游走过程，用随机游走过程来估计两个数据之间的相似性。如果两个数据之间有很大的相似性，它们必然有很大的可能属于同一类别。

随机游走过程如图4所示，主要包括如下四种情况：

1)如图4a所示，若两个节点i和j都被节点p连接到自身，则顶点之间的相似性表达式如下：

$W_{ij}^{\left(c\right)}={\&Sigma;}_p{Z}_{pi}^{*}{Z}_{pj}^{*}={\left(Z^{*T}{Z}^{*}\right)}_{ij};$

2)如图4b所示，若两个节点i和j都连接到节点p，则顶点之间的相似性表达式如下：

$W_{ij}^{\left(r\right)}={\&Sigma;}_p{Z}_{ip}^{*}{Z}_{jp}^{*}={\left(Z^{*}{Z}^{*T}\right)}_{ij};$

3)如图4c所示，若节点i、节点p、节点j依次连接，则顶点之间的相似性表达式如下：

$W_{i\&RightArrow;j}^{\left(p\right)}={\&Sigma;}_p{Z}_{ip}^{*}{Z}_{pj}^{*}={\left(Z^{*}{Z}^{*}\right)}_{ij};$

4)如图4d所示，若节点j、节点p、节点i依次连接，则顶点之间的相似性表达式如下：

$W_{j\&RightArrow;i}^{\left(p\right)}={\&Sigma;}_p{Z}_{pi}^{*}{Z}_{jp}^{*}={\left(Z^{*T}{Z}^{*T}\right)}_{ij}.$

本发明实施例中，在保留方向信息的基础上将有向图转换为无向图，避免了直接简单对称造成图方向信息和数据结构的丢失。此外，上述为二阶随机游走过程，还可以基于不同的应用场合和目的，来采用不同阶数的随机游走过程。采用的随机游走过程阶数越多，越能精确的恢复出图的结构。

本发明实施例上述方案中，将标签信息结合进低秩表示方法中构建图，保证了表示图的矩阵的块对角形式，捕获了数据的全局几何结构，对局部的噪声和错误很有效，同时做到了自适应。并且，本发明在保留方向信息的基础上将有向图转换为无向图，避免了直接简单对称造成图方向信息和数据结构的丢失，从而提高了基于图的半监督算法的性能。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种采用半监督低秩表示模型的图构建方法，其特征在于，包括：

将样本的已知标签信息转化为低秩表示模型中的一个约束条件；

将图构建问题转化为带约束条件的线性凸优化问题，并求解出最优系统矩阵；

利用该最优系统矩阵并结合节点之间的链接关系，采用随机游走过程将有向图转换为无向图，以保留节点的方向信息并实现权重矩阵的对称化。

2.根据权利要求1所述的方法，其特征在于，将图构建问题转化为带约束条件的线性凸优化问题之前还包括将给定数据矩阵进行规范化处理的过程，其包括：

给定数据矩阵其中每一列代表一个采样数据，长度为d，共n个采样数据；

对每一采样数据x_i用欧式量度来进行规范化，规范化公式如下：

${\hat{x}}_i=x_i/\left|\right|x_i|{|}_2,i=\&lsqb;1,n\&rsqb;;$

将得到的每个新的采样数据作为一列，得到新的数据矩阵

3.根据权利要求2所述的方法，其特征在于，所述将样本的已知标签信息转化为低秩表示模型中的一个约束条件包括：

通过已知的标签信息，给定约束条件中的邻接矩阵如果在已知标签信息中，数据点i和数据点j属于不同的类别，则将矩阵中的和设为0，表示点i和点j之间没有连接。

4.根据权利要求3所述的方法，其特征在于，所述将图构建问题转化为带约束条件的线性凸优化问题，其表达式为：

$\begin{array}{c}\left(Z^{*},E^{*}\right)=\arg \underset{Z,E}{\min }\left|\right|Z|{|}_{*}+\mathrm{\&lambda;}|\left|E\right|{|}_{2,1}\\ s,t\hat{X}=\hat{X}Z+E\\ Z^{T}1=1\\ Z_{ij}=0,\left(i,j\right)\&Element;\stackrel{\&OverBar;}{\mathrm{\&Omega;}}\end{array};$

其中，Z与Z^*分别为系数矩阵与最优系统矩阵，E与E^*分别为数据中的噪声矩阵与最优噪声矩阵；||Z||_*代表矩阵Z中奇异值的和；||E||_2,1代表矩阵E的l_2,1范数，用来模拟数据中的噪声，平衡参数λ用来平衡系统矩阵与噪声矩阵的影响，Z_ij表示系数矩阵Z的第i行和第j列元素。

5.根据权利要求4所述的方法，其特征在于，通过自适应惩罚参数线性交替方向算法来解决线性凸优化问题，获得最优系统矩阵，求解过程如下：

1)将线性凸优化问题改写为标准的线性凸优化问题：

$\begin{array}{c}\underset{Z,E}{min}\left|\right|Z|{|}_{*}+\mathrm{\&lambda;}|\left|E\right|{|}_{2,1}\\ s.t.A\left(Z\right)+B\left(E\right)=c\end{array};$

其中，vec(·)表示将矩阵的所有列加起来成为一个向量的向量化算符，用来提取系数矩阵Z中在矩阵中的记录；

2)更新系统矩阵Z：

$Z_{k+1}={\mathrm{argmin}}_Z\left|\right|Z|{|}_{*}+\frac{{\mathrm{\&beta;}}_k{\mathrm{\&eta;}}_A}{2}||Z-{\tilde{Z}}_k|{|}_F^2;$

其中，k表示迭代次数，y为拉格朗日乘子，β_k＞0，为惩罚参数，η_A是松弛参数，满足η_A＞||A||₂，||A||₂＝max_Z≠0||A(Z)||_F/||Z||_F；A^*为A的伴随矩阵；

上式有一个由奇异值阈值所确定的闭解：

$Z_{k+1}={\tilde{U}}_{k}max({\widetilde{\mathrm{\&Sigma;}}}_k-{\left({\mathrm{\&beta;}}_k{\mathrm{\&eta;}}_A\right)}^{-1}I,0){\tilde{V}}_k^T;$

其中，为的奇异值分解，I是单位矩阵；

3)更新噪声矩阵E：

$E_{k+1}={\mathrm{argmin}}_E\mathrm{\&lambda;}\left|\right|E|{|}_{2,1}+\frac{{\mathrm{\&beta;}}_k{\mathrm{\&eta;}}_B}{2}||E-{\tilde{E}}_k|{|}_F^2;$

其中，η_B＞0是一个满足η_B＞||B||₂的松弛参数，||B||₂＝max_E≠0||B(E)||_F/||E||_F，B^*为B的伴随矩阵；

上式有一个闭解：

$e_{k+1,i}=max(1-\mathrm{\&lambda;}/({\mathrm{\&beta;}}_k{\mathrm{\&eta;}}_B\left|\right|{\tilde{e}}_{k,i}|{|}_2),0){\tilde{e}}_{k,i};$

其中，e_k+1,i与分别为E_k+1与的第列；

4)更新拉格朗日乘子y：

y_k+1＝y_k+β_k[A(Z_k+1)+B(E_k+1)-c]；

5)更新惩罚参数β：

β_k+1＝min(β_max,ρβ_k)；

其中，β_max为预设的惩罚参数最大值；

其中，ρ₀为不小于1的常数，0＜ε₂≤1；

6)判断是否满足迭代停止条件，满足则迭代停止；否则，k＝k+1，转至步骤2)；迭代停止条件如下：

$\frac{\left|\right|A\left(Z_{k+1}\right)+B\left(E_{k+1}\right)-c|{|}_F}{\left|\right|c|{|}_2}<{\mathrm{\&epsiv;}}_1;$

$\frac{{\mathrm{\&beta;}}_{k}maxmax\left(\sqrt{{\mathrm{\&eta;}}_A}\right||Z_{k+1}-Z_k|{|}_F,\sqrt{{\mathrm{\&eta;}}_B}\left|\right|E_{k+1}-E_k\left|{|}_F\right)}{\left|\right|c|{|}_2}\&le;{\mathrm{\&epsiv;}}_2.$

6.根据权利要求1所述的方法，其特征在于，所述利用该最优系统矩阵并结合节点之间的链接关系，采用随机游走过程将有向图转换为无向图，以保留节点的方向信息并实现权重矩阵的对称化包括：

利用随机游走过程来估计数据之间的相似性，从而将有向图转化为无向图，随机游走过程包括如下四种情况：

1)若两个节点i和j都被节点p连接到自身，则顶点之间的相似性表达式如下：

$W_{ij}^{\left(c\right)}={\mathrm{\&Sigma;}}_p{Z}_{pi}^{*}{Z}_{pj}^{*}={\left(Z^{*T}{Z}^{*}\right)}_{ij};$

2)若两个节点i和j都连接到节点p，则顶点之间的相似性表达式如下：

$W_{ij}^{\left(r\right)}={\mathrm{\&Sigma;}}_p{Z}_{ip}^{*}{Z}_{jp}^{*}={\left(Z^{*}{Z}^{*T}\right)}_{ij};$

3)若节点i、节点p、节点j依次连接，则顶点之间的相似性表达式如下：

$W_{i\&RightArrow;j}^{\left(p\right)}={\mathrm{\&Sigma;}}_p{Z}_{ip}^{*}{Z}_{pj}^{*}={\left(Z^{*}{Z}^{*}\right)}_{ij};$

4)若节点j、节点p、节点i依次连接，则顶点之间的相似性表达式如下：

$W_{j\&RightArrow;i}^{\left(p\right)}={\mathrm{\&Sigma;}}_p{Z}_{pi}^{*}{Z}_{jp}^{*}={\left(Z^{*T}{Z}^{*T}\right)}_{ij}.$