CN103020017A - 一种流行正则和鉴别信息最大化的非负矩阵分解方法 - Google Patents

Abstract

本发明公开了一种流行正则和鉴别信息最大化的非负矩阵分解方法，包括计算数据集X=[x₁,Λ,x_N]的p近邻权矩阵W；然后根据A）步骤中所得的p近邻权矩阵W，计算拉普拉斯矩阵L＝D-W，所述D为对角矩阵且计算M矩阵；通过迭代规则计算基向量矩阵和编码向量矩阵四个主要步骤。本发明方法的优势在于：在进行非负矩阵分解时，本发明利用流行正则项保持数据潜在流行结构的同时，最大化基向量中的类间重要鉴别信息，从而使得分解后得到的编码向量更具数据表示能力。

Description

一种流行正则和鉴别信息最大化的非负矩阵分解方法

【技术领域】

本发明涉及数据表示，具体涉及流行正则和鉴别信息最大化的非负矩阵分解方法。 

【背景技术】

非负矩阵分解（NMF）是一种常用的矩阵分解方法，它是将矩阵分解为两个非负矩阵的乘积形式，非负矩阵分解因为只能进行纯加性的组合运算，所以常被解释成是一种基于部分的数据表示方法，这与常用的奇异值分解、主成份分析和独立成份分析完全不同。目前，非负矩阵分解在计算视觉、模式识别和文本挖掘等方面获得了巨大应用，特别是在人脸识别、文本表示方面。 

许多学者对非负矩阵分解方法进行了深入研究，提出了多种改进的非负矩阵分解方法，如半非负矩阵分解（Semi-NMF）、凸非负矩阵分解（Convex-NMF）和图正则的非负矩阵分解（GNMF）等。图正则的非负矩阵分解方法将数据矩阵分解为基向量和对应编码向量乘积，认为编码向量是数据集在基向量下的一种数据表示，进而引入一正则项使得编码向量保持数据潜在的流行结构，最终获得了较好的效果。 

实际上，基向量中包含了类间的重要信息，这对分类和聚类等机器学习任务起着重要的作用，但这些信息如何在非负矩阵分解中获得利用却是未知，此外，基向量中的类间信息引入到图正则的非负矩阵分解方法，对其将是一种有益的补充，这些都需要人们去研究。 

【发明内容】

本发明的目的是在非负矩阵分解时利用基向量中的类间重要信息，同时保持数据潜在的流行结构，提供一种流行正则和鉴别信息最大化的非负矩阵分解方法，使得本发明所获得的编码向量具有更好的数据表示能力。 

为实现上述目的，本发明提出了一种流行正则和鉴别信息最大化的非负矩阵分解方法，包含如下步骤： 

A）：首先计算数据集X＝[x₁,Λ,x_N]的p近邻权矩阵W，计算方法为： 

或 

其中，

N(x_i)和N(x_j)分别是x_i和x_j的p个近邻子集，σ为常量； 

B）：然后根据A）步骤中所得的p近邻权矩阵W，计算拉普拉斯矩阵 L＝D-W，所述D为对角矩阵且

C）：计算M矩阵 

$M={(I-\frac{1}{K}E)}^T(I-\frac{1}{K}E)=I-\frac{1}{K}E,---\left(3\right)$

其中，K为类别数，E为K阶全1阵，I为K阶单位阵； 

D）：通过迭代规则计算基向量矩阵

和编码向量矩阵 

$u_{\mathrm{ik}}\←u_{\mathrm{ik}}\frac{{(\mathrm{XV}+{\mathrm{\λ}}_{2}U)}_{\mathrm{ik}}}{{({\mathrm{UV}}^{T}V+\frac{{\mathrm{\λ}}_2}{K}\mathrm{UE})}_{\mathrm{ik}}}---\left(4\right)$

$v_{\mathrm{jk}}\←v_{\mathrm{jk}}\frac{{{(X}^{T}U+{\mathrm{\λ}}_1\mathrm{WV})}_{\mathrm{jk}}}{{({\mathrm{VU}}^{T}U+{\mathrm{\λ}}_1\mathrm{DV})}_{\mathrm{jk}}}---\left(5\right)$

其中，λ₁和λ₂是两个控制参数。 

作为优选，所述C）步骤中计算M矩阵的步骤包括： 

1）首先设定基向量矩阵

中各个列向量u_k在某种程度上代表了各类中心； 

2）然后将类间信息表示为： 

$R_2\left(U\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\left|\right|u_i-\frac{1}{K}\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{u}_j\left|\right|}^2$

$=\mathrm{Tr}\left(U{(I-\frac{1}{K}E)}^T(I-\frac{1}{K}E)U^T\right),---\left(6\right)$

$=\mathrm{Tr}\left({\mathrm{UMU}}^T\right)$

其中，K为类别数，E为K阶全1阵，I为K阶单位阵，Tr表示矩阵的基，M矩阵如下： 

$M={(I-\frac{1}{K}E)}^T(I-\frac{1}{K}E)=I-\frac{1}{K}E---\left(7\right)$

作为优选，所述D）步骤中基向量矩阵和编码向量矩阵 

的迭代公式计算求解步骤包括： 

1）利用编码向量矩阵

的第j行向量构造一列向量，记为z_j=[v_jk,Λ,v_jK]^T，则z_j是x_i在基U下的一种表示，因此可通过最小式8来保持数据的流行结构， 

$R_1\left(V\right)=\frac{1}{2}\underset{i,j=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|z_i-z_j\left|\right|}^2{W}_{\mathrm{ij}}$

$=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{z}_i^T{z}_i{D}_{\mathrm{ii}}-\underset{i,j=1}{\overset{N}{\mathrm{\Σ}}}{z}_i^T{z}_j{W}_{\mathrm{ij}}---\left(8\right)$

$=\mathrm{Tr}\left(V^T\mathrm{DV}\right)-\mathrm{Tr}\left(V^T\mathrm{WV}\right)$

$=\mathrm{Tr}\left(V^T\mathrm{LV}\right)$

2）利用式8和式6构造本发明流行正则和鉴别信息最大化的非负矩阵分解方法的目标函数，如下： 

O₄(U,V)=‖X-UV^T‖²+λ₁R₁(V)-λ₂R₂(U) 

=Tr((X-UV^T)(X-UV^T)^T)+λ₁R₁(V)-λ₂R₂(U)（9） 

=Tr(XX^T)-2Tr(XVU^T)+Tr(UV^TVU^T) 

+λ₁Tr(V^TLV)-λ₂Tr(UMU^T) 

其中，λ₁和λ₂是两个控制参数。 

3）由于U和V非负，故定义U和V的拉格朗日乘子Θ=[θ_ik]和Φ=[φ_jk]，得到拉格朗日函数，如下： 

L(U,V)＝O₄(U,V)+Tr(ΘU^T)+Tr(ΦV^T) 

=Tr(XX^T)-2Tr(XVU^T)+Tr(UV^TVU^T)+λ₁Tr(V^TLV)(10) 

-λ₂Tr(UMU^T)+Tr(ΘU^T)+Tr(ΦV^T) 

4）利用式10，此时L(U,V)对应取极值的必要条件表示为 

$\frac{\∂L(U,V)}{\∂U}=-2\mathrm{XV}+2U{V}^{T}V-2{\mathrm{\λ}}_2\mathrm{UM}+\mathrm{\Θ}=0---\left(11\right)$

$\frac{\∂L(U,V)}{\∂V}=-2X^{T}U+2V{U}^{T}U+2{\mathrm{\λ}}_1\mathrm{LV}+\mathrm{\Φ}=0---\left(12\right)$

5）根据Karush-Kuhn-Tucker(KKT)条件，有θ_iku_ik=0和φ_jkv_jk=0,由式11和式12可得 

-(XV)_iku_ik+(UV^TV)_iku_ik-λ₂(UM)_iku_ik=0(13) 

-(X^TU)_jkv_jk+(VU^TU)_jkv_jk+λ₁(LV)_jkv_jk＝0(14) 

由式13和式14得到基向量矩阵和编码向量矩阵的迭代规则。 

作为优选，所述D）步骤中λ₁=100，λ₂=500。 

本发明的优点是：本发明在进行非负矩阵分解时利用流行正则项保持数据潜在流行结构，同时最大化基向量中的类间重要鉴别信息，从而使得分解后得 到的编码向量更具数据表示能力。 

本发明的特征及优点将通过实施例结合附图进行详细说明。 

【附图说明】

图1是本发明一种流行正则和鉴别信息最大化的非负矩阵分解方法的应用示意图。 

【具体实施方式】

实施例一 

在真实的PIE人脸图像数据集数据集上，利用本发明进行数据矩阵分解获得相应的编码向量，然后再进行聚类任务。参阅图1：本发明一种流行正则和鉴别信息最大化的非负矩阵分解方法，包括如下步骤： 

A）：首先计算数据集X=[x₁,Λ,x_N]的p近邻权矩阵W，计算方法为： 

或 

其中，

N(x_i)和N(x_j)分别是x_i和x_j的p个近邻子集，σ为常量； 

B）：然后根据A）步骤中所得的p近邻权矩阵W，计算拉普拉斯矩阵L=D-W，所述D为对角矩阵且

C）：计算M矩阵 

$M={(I-\frac{1}{K}E)}^T(I-\frac{1}{K}E)=I-\frac{1}{K}E,---\left(3\right)$

其中，K为类别数，E为K阶全1阵，I为K阶单位阵； 

D）：通过迭代规则计算基向量矩阵和编码向量矩阵

$u_{\mathrm{ik}}\←u_{\mathrm{ik}}\frac{{(\mathrm{XV}+{\mathrm{\λ}}_{2}U)}_{\mathrm{ik}}}{{({\mathrm{UV}}^{T}V+\frac{{\mathrm{\λ}}_2}{K}\mathrm{UE})}_{\mathrm{ik}}}---\left(4\right)$

$v_{\mathrm{jk}}\←v_{\mathrm{jk}}\frac{{{(X}^{T}U+{\mathrm{\λ}}_1\mathrm{WV})}_{\mathrm{jk}}}{{({\mathrm{VU}}^{T}U+{\mathrm{\λ}}_1\mathrm{DV})}_{\mathrm{jk}}}---\left(5\right)$

其中，λ₁为100，λ₂为500； 

E）最后完成后续任务。 

参阅表1，MMNMF对应本发明方法，由于本发明最大化基向量中的类间鉴别信息，使得非负矩阵分解得到的编码向量更具表示能力，结果K-Means聚类方法在编码向量上获得好的聚类性能。 

表1 

实施例二 

在真实的COIL20手写数字图像数据集数据集上，利用本发明进行数据矩阵分解获得相应的编码向量，然后再进行聚类任务。参阅图1：本发明一种流行正则和鉴别信息最大化的非负矩阵分解方法，包括如下步骤： 

A）：首先计算数据集X=[x₁,Λ,x_N]的p近邻权矩阵W，计算方法为： 

或 

其中，

N(x_i)和N(x_j)分别是x_i和x_j的p个近邻子集，σ为常量； 

B）：然后根据A）步骤中所得的p近邻权矩阵W，计算拉普拉斯矩阵L=D-W，所述D为对角矩阵且

C）：计算M矩阵 

$M={(I-\frac{1}{K}E)}^T(I-\frac{1}{K}E)=I-\frac{1}{K}E,---\left(3\right)$

其中，K为类别数，E为K阶全1阵，I为K阶单位阵； 

D）：通过迭代规则计算基向量矩阵

和编码向量矩阵

$u_{\mathrm{ik}}\←u_{\mathrm{ik}}\frac{{(\mathrm{XV}+{\mathrm{\λ}}_{2}U)}_{\mathrm{ik}}}{{({\mathrm{UV}}^{T}V+\frac{{\mathrm{\λ}}_2}{K}\mathrm{UE})}_{\mathrm{ik}}}---\left(4\right)$

$v_{\mathrm{jk}}\←v_{\mathrm{jk}}\frac{{{(X}^{T}U+{\mathrm{\λ}}_1\mathrm{WV})}_{\mathrm{jk}}}{{({\mathrm{VU}}^{T}U+{\mathrm{\λ}}_1\mathrm{DV})}_{\mathrm{jk}}}---\left(5\right)$

其中，λ₁为100，λ₂为500； 

E）最后完成后续任务。 

参阅表2，MMNMF对应本发明方法，由于本发明最大化基向量中的类间鉴别信息，使得非负矩阵分解得到的编码向量更具表示能力，结果K-Means聚类方法在编码向量上获得好的聚类性能。 

表2 

实施例三 

在真实的TDT2文本数据集数据集上，利用本发明进行数据矩阵分解获得相应的编码向量，然后再进行聚类任务。参阅图1：本发明一种流行正则和鉴别信息最大化的非负矩阵分解方法，包括如下步骤： 

A）：首先计算数据集X=[x₁,Λ,x_N]的p近邻权矩阵W，计算方法为： 

或 

其中，

N(x_i)和N(x_j)分别是x_i和x_j的p个近邻子集，σ为常量； 

B）：然后根据A）步骤中所得的p近邻权矩阵W，计算拉普拉斯矩阵L=D-W，所述D为对角矩阵且

C）：计算M矩阵 

$M={(I-\frac{1}{K}E)}^T(I-\frac{1}{K}E)=I-\frac{1}{K}E,---\left(3\right)$

其中，K为类别数，E为K阶全1阵，I为K阶单位阵； 

D）：通过迭代规则计算基向量矩阵

和编码向量矩阵

$u_{\mathrm{ik}}\←u_{\mathrm{ik}}\frac{{(\mathrm{XV}+{\mathrm{\λ}}_{2}U)}_{\mathrm{ik}}}{{({\mathrm{UV}}^{T}V+\frac{{\mathrm{\λ}}_2}{K}\mathrm{UE})}_{\mathrm{ik}}}---\left(4\right)$

$v_{\mathrm{jk}}\←v_{\mathrm{jk}}\frac{{{(X}^{T}U+{\mathrm{\λ}}_1\mathrm{WV})}_{\mathrm{jk}}}{{({\mathrm{VU}}^{T}U+{\mathrm{\λ}}_1\mathrm{DV})}_{\mathrm{jk}}}---\left(5\right)$

其中，λ₁为100，λ₂为500； 

E）最后完成后续任务。 

参阅表3，MMNMF对应本发明方法，由于本发明最大化基向量中的类间鉴别信息，使得非负矩阵分解得到的编码向量更具表示能力，结果K-Means聚类方法在编码向量上获得好的聚类性能。 

表3 

上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。 

Claims (4)

1.一种流行正则和鉴别信息最大化的非负矩阵分解方法，其特征在于：包含如下步骤： 

A）：首先计算数据集X=[x₁,Λ,x_N]的p近邻权矩阵W，计算方法为： 

或 

其中，N(x_i)和N(x_j)分别是x_i和x_j的p个近邻子集，σ为常量； 

B）：然后根据A）步骤中所得的p近邻权矩阵W，计算拉普拉斯矩阵L=D-W，所述D为对角矩阵且

C）：计算M矩阵 

其中，K为类别数，E为K阶全1阵，I为K阶单位阵； 

D）：通过迭代规则计算基向量矩阵

和编码向量矩阵

其中，λ₁和λ₂是两个控制参数。 

2.如权利要求1所述的一种流行正则和鉴别信息最大化的非负矩阵分解方法，其特征在于：所述C）步骤中计算M矩阵的步骤包括： 

1）首先设定基向量矩阵

中各个列向量u_k在某种程度上代表了各类中心； 

2）然后将类间信息表示为： 

其中，K为类别数，E为K阶全1阵，I为K阶单位阵，Tr表示矩阵的基，M矩阵如下： 

。

3.如权利要求1所述的一种流行正则和鉴别信息最大化的非负矩阵分解方法，其特征在于：所述D）步骤中基向量矩阵

和编码向量矩阵 

的迭代公式计算求解步骤包括： 

1）利用编码向量矩阵

的第j行向量构造一列向量，记为z_j=[v_jk,Λ,v_jk]^T，则z_j是x_i在基U下的一种表示，因此可通过最小式8来保持数据的流行结构， 

2）利用式8和式6构造本发明流行正则和鉴别信息最大化的非负矩阵分解方法的目标函数，如下： 

O₄(U,V)=‖X-UV^T2+λ₁R₁(V)-λ₂R₂(U) 

＝Tr((X-UV^T)(X-UV^T)^T)+λ₁R₁(V)-λ₂R₂(U)（9） 

=Tr(XX^T)-2Tr(XVU^T)+Tr(UV^TVU^T) 

+λ₁Tr(V^TLV)-λ₂Tr(UMU^T) 

其中，λ₁和λ₂是两个控制参数。 

3）由于U和V非负，故定义U和V的拉格朗日乘子Θ=[θ_ik]和Φ=[φ_jk]，得到拉格朗日函数，如下： 

L(U,V)=O₄(U,V)+Tr(ΘU^T)+Tr(ΦV^T) 

=Tr(XX^T)-2Tr(XVU^T)+Tr(UV^TVU^T)+λ₁Tr(V^TLV)(10) 

-λ₂Tr(UMU^T)+Tr(ΘU^T)+Tr(ΦV^T) 

4）利用式10，此时L(U,V)对应取极值的必要条件表示为 

5）根据Karush-Kuhn-Tucker(KKT)条件，有θ_iku_ik=0和φ_jkv_jk=0,由式11和式12可得 

-(XV)_iku_ik+(UV^TV)_iku_ik-λ₂(UM)_iku_ik=0(13) 

-(X^TU)_jkv_jk+(VU^TU)_jkv_jk+λ₁(LV)_jkv_jk=0(14) 

由式13和式14得到基向量矩阵和编码向量矩阵的迭代规则。 

4.如权利要求1所述的一种流行正则和鉴别信息最大化的非负矩阵分解方法，其特征在于：所述D）步骤中λ₁=100，λ₂=500。 

Images