CN108415883B - 基于子空间聚类的凸非负矩阵分解方法 - Google Patents

基于子空间聚类的凸非负矩阵分解方法 Download PDF

Info

Publication number
CN108415883B
CN108415883B CN201810150321.8A CN201810150321A CN108415883B CN 108415883 B CN108415883 B CN 108415883B CN 201810150321 A CN201810150321 A CN 201810150321A CN 108415883 B CN108415883 B CN 108415883B
Authority
CN
China
Prior art keywords
matrix
self
clustering
expression
negative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810150321.8A
Other languages
English (en)
Other versions
CN108415883A (zh
Inventor
李学龙
崔国盛
董永生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XiAn Institute of Optics and Precision Mechanics of CAS
Original Assignee
XiAn Institute of Optics and Precision Mechanics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XiAn Institute of Optics and Precision Mechanics of CAS filed Critical XiAn Institute of Optics and Precision Mechanics of CAS
Priority to CN201810150321.8A priority Critical patent/CN108415883B/zh
Publication of CN108415883A publication Critical patent/CN108415883A/zh
Application granted granted Critical
Publication of CN108415883B publication Critical patent/CN108415883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于子空间聚类的凸非负矩阵分解方法，其实现步骤是：(1)将原始数据库中图像拉成向量构成原始数据矩阵；(2)对原始数据矩阵进行基于谱聚类的凸非负矩阵分解，利用两种优化方法进行求解，得到基矩阵和编码矩阵；(3)对编码矩阵进行k‑means聚类算法的聚类测试，统计实验结果，计算聚类精度和归一化互信息两个度量准则。本发明与现有方法相比，发掘并利用了数据内部的子空间结构信息，同时对算法施加的局部子空间约束增强了算法的鲁棒性，提高了图像聚类效果；可广泛应用于数据挖掘，数据分析领域。

Description

基于子空间聚类的凸非负矩阵分解方法
技术领域
本发明属于信息处理技术领域，特别涉及一种非负低维数据处理方法，可用于数据挖掘、数据分析等领域。
背景技术
非负矩阵分解作为一种特征提取技术，自Lee和Seung的开创性工作“Learningthe Parts of Objects by Non-Negative Matrix Factorization,Nature,vol.401,no.6755,pp.788-791,1999”以来，非负矩阵分解算法在计算机视觉和模式识别领域正在变得越来越流行。在他们的工作中指出，对于因子矩阵的非负约束可以自动学习出数据基于部分的表示，这种表示方法与大脑的感知机制紧密相关。除了这一发现以外，其工作的另一个贡献是提出了一种简单但是很有效的求解算法。得益于其工作的上述优点，围绕着原始非负矩阵分解算法以及其变体的研究自其工作以来得到繁荣发展。
数据隐含结构信息常被用于辅助非负矩阵分解方法取得更好的性能。基于图的非负矩阵分解方法通常通过构建拉普拉斯图来俘获数据内部隐含的结构信息。基于图的非负矩阵分解方法可以根据是否利用标签信息而分为基于图的有监督非负矩阵分解方法和基于图的无监督非负矩阵分解方法。
基于图的无监督非负矩阵分解方法利用样本间的相似性来构建拉普拉斯图。D.Cai等人在文献“Non-negative Matrix Factorization on Manifold,IEEETransaction Pattern Analysis Machine Intelligence,vol.33,no.8,pp.1548-1560,2011”中提出了基于图正则的非负矩阵分解算法，通过最小化图正则项来保持数据内部的几何分布结构。Q.Gu等人在文献“Neighborhood Preserving Nonnegative MatrixFactorization,Proc.20th British Machine Vision Conference,pp.1-10,2009”中提出近邻保持非负矩阵分解算法，利用局部近邻样本的重构系数来构建相似度矩阵而不是像D.Cai的方法利用样本间的热核相似度量来构建相似度矩阵。
基于图的有监督非负矩阵分解方法利用标签信息来构建拉普拉斯图。N.Guan等人在文献“Manifold Regularized Discriminative Nonnegative Matrix Factorizationwith Fast Gradient Descent,IEEE Transactions on Image Processing,vol.20,no.7,pp.2030-2048,2011”提出流形正则判别非负矩阵分解算法，通过构建本征图和惩罚图来编码数据的判别信息，本征图用于编码同类样本中的局部数据分布结构，惩罚图被用来描述类间差异性。X.Long等人在文献“Graph Regularized Discriminative NonnegativeMatrix Factorization for Face Recognition,Multimedia Tools and Applications,vol.72,no.3,pp.2679-2699,2014”中提出图正则判别非负矩阵分解算法，该方法用编码矩阵和一个随机矩阵的乘积近似标签指示矩阵，并且利用标签信息构建拉普拉斯图。
无论是在无监督还是有监督非负矩阵分解方法中，基于相似度矩阵的拉普拉斯图都可以用于发掘数据内部隐含的结构信息，利用该信息可以改善非负矩阵分解算法的性能。通常有两种方式构建相似度图，一种是基于样本间距离度量的相似度图构建方法，一种是基于重构系数的相似度图构建方法。前一种图构建方法通常需要计算样本间的欧氏距离，不能描述数据内部的子空间结构信息。后一种方法可以通过利用子空间重构系数构建相似度矩阵来俘获数据内部子空间结构信息。子空间重构系数可以通过子空间聚类方法获取，然而，子空间聚类方法的优化过程通常独立于非负矩阵分解的优化过程，目前尚未见子空间聚类和非负矩阵分解的协同优化框架。
发明内容
本发明提出一种基于子空间聚类的凸非负矩阵分解方法，提高了凸非负矩阵分解性能。
本发明的解决方案如下：
基于子空间聚类的凸非负矩阵分解方法，包括以下步骤：
首先，将图像样本集中的图像拉成向量构成原始数据矩阵X；
然后，将原始数据矩阵X在子空间聚类指导的凸非负矩阵分解框架下进行分解，图正则项使子空间聚类重构误差项与凸非负矩阵分解重构误差项相关联，迭代求解得到编码矩阵V(即所需的特征聚类)，作为原始数据矩阵X的降维表示，即完成凸非负矩阵分解。
进一步的，求解得到编码矩阵V的过程如下：
记原始数据矩阵X中每个样本的维数为m，样本个数为n；初始化n×l的矩阵G0、l×n的编码矩阵V0为非负随机矩阵，l＝ns×nc为所学得的低维非负子空间的维数，nc为数据库总的类个数，ns为每个聚类的中心个数；
用基于热核度量的相似度矩阵初始化拉普拉斯矩阵L和自表达矩阵Z；具体是：利用K近邻算法构建初始近邻图，计算初始拉普拉斯矩阵L0，其中，L0＝D0-W0，W0表示对称的权重矩阵，D0是对角矩阵，对角元素是W0的列和或者行和；初始自表达矩阵Z0＝W0；
迭代求解编码矩阵V、矩阵G、自表达矩阵Z，更新拉普拉斯矩阵L、对角矩阵D以及权重矩阵W，直至收敛。
进一步的，具体以下有两种优化求解的方式。
第一种优化求解的特点是，对于迭代运算的编码矩阵V和自表达矩阵Z：
(1)最小化编码矩阵V的如下正则项：
tr(VeVT)；
其中
Figure BDA0001579739440000031
为元素全部为1的矩阵，I为单位矩阵；
(2)对自表达矩阵Z施加最小化Z矩阵的F范数平方的约束项：
Figure BDA0001579739440000032
最终得到如下最小化问题：
Figure BDA0001579739440000033
其中，α为图正则参数,β是编码矩阵行相关约束项的控制参数，γ是Z矩阵的F范数平方约束项的控制参数；
相应的，按照下式迭代求解自表达矩阵Z，每一次迭代运算保留自表达矩阵Zt的每一列前s个最大的元素得到
Figure BDA0001579739440000034
令
Figure BDA0001579739440000035
s是局部子空间约束的阈值参数；
Figure BDA0001579739440000036
第二种优化求解的特点是，对于迭代运算的编码矩阵V和自表达矩阵Z：
(1)最小化编码矩阵V的如下正则项：
tr(VeVT)；
其中
Figure BDA0001579739440000037
为元素全部为1的矩阵，I为单位矩阵；
(2)对自表达矩阵Z施加对角元素为0的约束项：
diag(Z)＝0；
最终得到如下最小化问题：
Figure BDA0001579739440000041
其中，α为图正则参数,β是编码矩阵行相关约束项的控制参数；
相应的，迭代求解自表达矩阵Z时，用投影梯度下降算法求解如下最小化问题，迭代求解Z矩阵的每一列，求解过程中约束Z每一列只能有s个大于零的非零元素：
Figure BDA0001579739440000042
其中X-i＝{x1,x2,...,xi-1,xi+1,...,xn}，yi表示迭代运算的自表达矩阵Zt第i列向量去除第i个元素后的列向量，qi表示Pt第i行向量去除第i个元素后的行向量，α为图正则参数,β是编码矩阵行相关约束项的控制参数；用求得的{y1,y2,...,yn}组织成矩阵Zt+1，Zt+1的对角元素填充为0，t＝t+1。
为了评估非负矩阵分解性能，完成凸非负矩阵分解后，可将编码矩阵V作为新的样本集进行聚类测试，统计实验结果，计算聚类精度(AC)和归一化互信息(NMI)。
具体可采用k-means聚类算法进行聚类测试：
Figure BDA0001579739440000043
式中：n是样本集中样本个数；单位冲激函数δ(a,b)＝1，当a＝b；当a≠b其值为0；gndi是事先已知的样本标签；map(li)是重标记函数，用于将获得的聚类标签映射到样本集提供的标签上；
Figure BDA0001579739440000044
其中，p(ci)和p(c'j)分别表示从原始数据矩阵X中随机选取的样本x属于类C和C'的概率，p(ci,c'j)表示样本x同时属于类C和C'的概率；
Figure BDA0001579739440000045
其中，H(C)和H(C')分别表示类C和C'的熵，NMI度量这两个类别的相似性。
本发明通过将子空间聚类和凸非负矩阵分解融合于统一框架，使得两者可以在这一框架下协同优化，子空间聚类发掘的数据子空间结构信息使凸非负矩阵分解性能得到改善，取得更好的低维数据表示。最后，对学到的低维数据表示用k-means算法聚类，通过聚类结果的好坏判断得到的低维数据表示的优劣。
与现有方法相比，本发明发掘并利用了数据内部的子空间结构信息，同时对算法施加的局部子空间约束增强了算法的鲁棒性，提高了图像聚类效果，证明了本发明的有效性；可广泛应用于数据挖掘，数据分析领域。
附图说明
图1为实施例一的流程示意图；
图2为实施例二的流程示意图。
具体实施方式
本发明及其效果验证过程主要包括以下步骤：
(1)首先将样本集中的图像拉成向量构成原始数据矩阵X；然后将X在子空间聚类指导的凸非负矩阵分解框架下进行分解，图正则项使子空间聚类重构误差项与凸非负矩阵分解重构误差项相关联，通过这种方式子空间聚类发掘的数据内部子空间结构信息得以传递给凸非负矩阵分解，从而改善后者的性能，最终得到编码矩阵V；
(2)以编码矩阵V作为原始数据矩阵X的降维表示，将其作为新的数据集进行k-means聚类；
(3)统计实验结果，计算聚类结果的度量准则，即聚类精度(AC)和归一化互信息(NMI)这两项指标：
Figure BDA0001579739440000051
其中，n是样本集中样本个数，gndi是事先已知的样本标签，单位冲激函数δ(a,b)＝1，当a＝b；当a≠b其值为0。map(li)是重标记函数，可以将算法获得的聚类标签映射到样本集提供的标签上。
Figure BDA0001579739440000052
其中，p(ci)和p(c'j)分别表示随机选取的样本x属于类C和C'的概率，p(ci,c'j)表示样本x同时属于类C和C'的概率。
Figure BDA0001579739440000053
其中，H(C)和H(C')分别表示类C和C'的熵；NMI度量这两个类别的相似性。
以下结合附图，对本发明作进一步的详细描述。
实施例一(参照图1)
步骤1，将原始数据矩阵在所提出的基于子空间聚类的凸非负矩阵分解框架下分解。
(1a)将图像样本集中的每幅图像拉成一个向量，共同构成m×n的原始数据矩阵X，m为每个样本的维数，n为样本个数；
(1b)初始化n×l的矩阵G0、l×n的编码矩阵V0为非负随机矩阵，l＝ns×nc为所学得的低维非负子空间的维数，nc为数据库总的类个数，ns为每个聚类的中心个数，一般设置ns＝10，迭代次数t＝0。
(1c)利用K近邻算法构建初始近邻图，近邻个数K设置为5，计算初始图拉普拉斯矩阵L0，其中，L0＝D0-W0，W0表示对称的权重矩阵，D0是对角矩阵，对角元素是W0的列和(或者行和，因为W0是对称矩阵)；初始化非负自表达矩阵Z0＝W0；
(1d)为了抑制编码矩阵V行相关性，最小化编码矩阵V的如下正则项：
tr(VeVT)，
其中
Figure BDA0001579739440000061
为元素全部为1的矩阵，I为单位矩阵；
(1e)为了避免求解非负子空间表达矩阵(自表达矩阵)Z的时候得到无效解，对Z施加最小化Z矩阵的F范数平方的约束项：
Figure BDA0001579739440000062
最终得到如下最小化问题：
Figure BDA0001579739440000063
其中，α为图正则参数,β是编码矩阵行相关约束项的控制参数，γ是Z矩阵的F范数平方约束项的控制参数；
(1f)迭代求解矩阵G、编码矩阵V和自表达矩阵Z，固定两个矩阵求剩下的矩阵，具体操作如下：
固定Zt、Gt，更新Vt+1：
Figure BDA0001579739440000064
固定Zt、Vt+1，更新Gt+1：
Figure BDA0001579739440000065
计算
Figure BDA0001579739440000066
固定Gt、Vt+1更新Zt+1：
Figure BDA0001579739440000071
(1g)为了提高算法对噪声的鲁棒性，保留Zt矩阵每一列前s个最大的元素得到
Figure BDA0001579739440000072
令
Figure BDA0001579739440000073
更新拉普拉斯矩阵Lt＝Dt-Wt，
Figure BDA0001579739440000074
s是为了使得学习到的子空间结构信息更鲁棒而设定的阈值处理操作的参数，属于局部子空间约束，使交叉子空间内的表达系数之间干扰可以被抑制；
(1h)迭代执行(1f)(1g)直到目标式收敛。
步骤2，聚类测试。
将编码矩阵V作为原数据矩阵X的低维表示，用k-means聚类算法对新的样本聚类(编码矩阵V每一列是原数据矩阵X每一列的一个低维表示)；
步骤3，计算聚类结果评判指标聚类精度AC和归一化互信息NMI。
Figure BDA0001579739440000075
其中，n是样本集中样本个数，gndi是事先已知的样本标签，单位冲激函数δ(a,b)＝1，当a＝b；当a≠b其值为0。map(li)是重标记函数，可以将算法获得的聚类标签映射到样本集提供的标签上(聚类结果用该映射函数重新映射，与数据库提供的标签进行比对，从而计算得到AC和NMI)。
Figure BDA0001579739440000076
其中，p(ci)和p(c'j)分别表示随机选取的样本x属于类C和C'的概率，p(ci,c'j)表示样本x同时属于类C和C'的概率。
Figure BDA0001579739440000077
其中，H(C)和H(C')分别表示类C和C'的熵。NMI度量这两个类别的相似性。步骤1重复10次，分别进行10次聚类，并记录10次聚类结果的均值，最终得到的10个均值再取均值。
实施例二(参照图2)
步骤1，将原始数据矩阵在所提出的基于子空间聚类的凸非负矩阵分解框架下分解。
(1a)将图像样本集中的每幅图像拉成一个向量，共同构成m×n的原始数据矩阵X，m为每个样本的维数，n为样本个数；
(1b)初始化n×l的矩阵G0、l×n的编码矩阵V0为非负随机矩阵，l＝ns×nc为所学得的低维非负子空间的维数，nc为数据库总的类个数，ns为每个聚类的中心个数，一般设置ns＝10，迭代次数t＝0。
(1c)利用K近邻算法构建初始近邻图，近邻个数K设置为5，计算初始图拉普拉斯矩阵L0，其中，L0＝D0-W0，W0表示对称的权重矩阵，D0是对角矩阵，对角元素是W0的列和(或者行和，因为W0是对称矩阵)；初始化非负自表达矩阵Z0＝W0；
(1d)为了抑制编码矩阵V行相关性，最小化编码矩阵的如下正则项：
tr(VeVT)，
其中
Figure BDA0001579739440000081
为元素全部为1的矩阵，I为单位矩阵；
(1e)为了避免求解非负子空间表达矩阵Z的时候得到无效解，对Z施加对角元素为0的约束项：
diag(Z)＝0；
最终得到如下最小化问题：
Figure BDA0001579739440000082
其中，α为图正则参数,β是编码矩阵行相关约束项的控制参数；
(1f)迭代求解矩阵G、编码矩阵V和自表达矩阵Z，固定两个矩阵求剩下的矩阵，具体操作如下：
固定Zt、Gt，更新Vt+1：
Figure BDA0001579739440000083
固定Zt、Vt+1，更新Gt+1：
Figure BDA0001579739440000084
计算
Figure BDA0001579739440000091
固定Gt、Vt+1更新Zt+1，用投影梯度下降算法求解如下最小化问题，迭代求解Z每一列，求解过程中约束Z每一列只能有s个大于零的非零元素：
Figure BDA0001579739440000092
其中X-i＝{x1,x2,...,xi-1,xi+1,...,xn}，yi表示自表达矩阵Zt第i列向量去除第i个元素后的列向量，qi表示Pt第i行向量去除第i个元素后的行向量，α为图正则参数,β是编码矩阵行相关约束项的控制参数；用求得的{y1,y2,...,yn}组织成矩阵Zt+1，Zt+1的对角元素填充为0，t＝t+1。
(1g)更新拉普拉斯矩阵Lt＝Dt-Wt，
Figure BDA0001579739440000093
(1h)迭代执行(1f)(1g)直到目标式收敛。
步骤2，聚类测试。
将编码矩阵V作为原数据矩阵X的低维表示，用k-means聚类算法对新的样本聚类(编码矩阵V每一列是原数据矩阵X每一列的一个低维表示)；
步骤3，计算聚类结果评判指标聚类精度AC和归一化互信息NMI。
Figure BDA0001579739440000094
其中，n是样本集中样本个数，gndi是事先已知的样本标签，单位冲激函数δ(a,b)＝1，当a＝b；当a≠b其值为0。map(li)是重标记函数，可以将算法获得的聚类标签映射到样本集提供的标签上。
Figure BDA0001579739440000095
其中，p(ci)和p(c'j)分别表示随机选取的样本x属于类C和C'的概率，p(ci,c'j)表示样本x同时属于类C和C'的概率。
Figure BDA0001579739440000096
其中，H(C)和H(C')分别表示类C和C'的熵。NMI度量这两个类别的相似性。步骤1重复10次，分别进行10次聚类，并记录10次聚类结果的均值，最终得到的10个均值再取均值。
本发明的效果可以通过以下实验做进一步的说明。
1.仿真条件
本发明是在中央处理器为Intel(R)Xeon(R)CPU E5-2697v2@2.70GHz、内存500G、Ubuntu 14.04.5LTS操作系统上，运行MATLAB软件进行的仿真。
实验中使用的图像数据库为UMIST人脸数据库和ORL人脸图像数据库。UMIST包含从20个人搜集的575张灰度图像，每张图像大小为28×23，图像中每个人的头像姿态都从正面到侧面均匀变化；ORL人脸数据库包括40个人的面部灰度图像，每个人有10个图像样本，共400张图像，每张图像是大小是32×32，每个人的图像样本具有不同的光照变化、表情变化以及面部细节。
2.仿真内容
首先，在UMIST数据库和ORL数据库上，完成本发明算法(基于子空间聚类的凸非负矩阵分解)的实验。为了证明算法的有效性，我们选取了6个对比方法NMF、
Figure BDA0001579739440000101
Figure BDA0001579739440000103
、Capped NMF、GNMF、k-means、PCA进行比较。其中NMF是在文献“D.D.LeeandH.S.Seung,Learning the Parts of Objects by Nonnegative Matrix Factorization,Nature,vol.401,no.6755,pp.788–791,1999”中提出的。
Figure BDA0001579739440000102
在文献“D.Kong,C.Ding,and H.Huang,Robust Nonnegative Matrix Factorization Using L21-norm,in:Proceedings of the 20th ACM International Conference on Information andKnowledge Management,pp.673–682,2011”有详细介绍。
Figure BDA0001579739440000104
在文献“Z.Li,J.Tang,and X.He,Robust Structured Nonnegative Matrix Factorization for ImageRepresentation,IEEE Transactions on Neural Networks and Learning Systems,vol.PP,no.99,pp.1–14,2017”中有详细介绍。Capped NMF在文献“H.Gao,F.Nie,W.Cai,andH.Huang,Robust Capped Norm Nonnegative Matrix Factorization:Capped Norm NMF,in:Proceedings of the 24th ACM International on Conference on Information andKnowledge Management,pp.871–880,2015”中有详细介绍。GNMF在“D.Cai,X.He,J.Han,andT.S.Huang,Graph regularized nonnegative matrix factorization for datarepresentation,IEEE Transactions on Pattern Analysis and MachineIntelligence,vol.33,no.8,pp.1548–1560,2011”中有详细介绍。PCA是被广泛应用的数据降维算法。K-means是广泛应用的聚类算法。
用k-means算法对NMF、
Figure BDA0001579739440000105
Capped NMF、PCA、GNMF以及我们提出的算法学习出的低维数据表示进行聚类，同时用k-means对非降维数据X进行聚类。每种算法运行10次并每运行一次进行10次聚类实验，并统计聚类结果的平均值。结果如表1所示。
对于本发明的实施例一和实施例二，设置参数α＝100、β＝0.01、s＝4，对于方法1的参数γ＝1000。
实验测试结果如表1所示。
表1UMIST和ORL数据库上的聚类结果
Figure BDA0001579739440000111
从表1可见，本发明的聚类效果比PCA、NMF、
Figure BDA0001579739440000112
Capped NMF和GNMF六种数据降维方法都要好，同时比不经降维直接用k-means聚类的效果好。因此本发明比其他方法更有效。

Claims (3)

1.基于子空间聚类的凸非负矩阵分解方法，其特征在于，包括以下步骤：
首先，将图像样本集中的图像拉成向量构成原始数据矩阵X；
然后，将原始数据矩阵X在子空间聚类指导的凸非负矩阵分解框架下进行分解，图正则项使子空间聚类重构误差项与凸非负矩阵分解重构误差项相关联，迭代求解得到编码矩阵V，作为原始数据矩阵X的降维表示，即完成凸非负矩阵分解；
求解得到编码矩阵V的过程如下：
记原始数据矩阵X中每个样本的维数为m，样本个数为n；初始化n×l的矩阵G0、l×n的编码矩阵V0为非负随机矩阵，l＝ns×nc为所学得的低维非负子空间的维数，nc为数据库总的类个数，ns为每个聚类的中心个数；
用基于热核度量的相似度矩阵初始化拉普拉斯矩阵L和自表达矩阵Z，具体是：利用K近邻算法构建初始近邻图，计算初始拉普拉斯矩阵L0，其中，L0＝D0-W0，W0表示对称的权重矩阵，D0是对角矩阵，对角元素是W0的列和或者行和；初始自表达矩阵Z0＝W0；
迭代求解编码矩阵V、矩阵G、自表达矩阵Z，更新拉普拉斯矩阵L、对角矩阵D以及权重矩阵W，直至收敛；其中包括对自表达矩阵Z施加约束项，建立最小化公式进行计算；所述最小化公式中包含：
基于拉普拉斯图正则凸非负矩阵分解的目标式：
Figure FDA0002343675800000011
以及用于学习子空间聚类中关于数据集X本身的自表达系数矩阵Z的表达式：
Figure FDA0002343675800000012
式中，α为图正则参数,β是编码矩阵行相关约束项的控制参数，
Figure FDA0002343675800000013
Figure FDA0002343675800000014
为元素全部为1的矩阵，I为单位矩阵。
2.根据权利要求1所述的基于子空间聚类的凸非负矩阵分解方法，其特征在于，对于迭代运算的编码矩阵V和自表达矩阵Z：
(1)最小化编码矩阵V的如下正则项：
tr(VeVT)；
其中
Figure FDA0002343675800000021
Figure FDA0002343675800000022
为元素全部为1的矩阵，I为单位矩阵；
(2)对自表达矩阵Z施加最小化Z矩阵的F范数平方的约束项：
Figure FDA0002343675800000023
最终得到如下最小化问题：
Figure FDA0002343675800000024
其中，α为图正则参数,β是编码矩阵行相关约束项的控制参数，γ是Z矩阵的F范数平方约束项的控制参数；
相应的，按照下式迭代求解自表达矩阵Z，每一次迭代运算保留自表达矩阵Zt的每一列前s个最大的元素得到
Figure FDA0002343675800000025
令
Figure FDA0002343675800000026
s是局部子空间约束的阈值参数；
Figure FDA0002343675800000027
3.根据权利要求1所述的基于子空间聚类的凸非负矩阵分解方法，其特征在于，对于迭代运算的编码矩阵V和自表达矩阵Z：
(1)最小化编码矩阵V的如下正则项：
tr(VeVT)；
其中
Figure FDA0002343675800000028
Figure FDA0002343675800000029
为元素全部为1的矩阵，I为单位矩阵；
(2)对自表达矩阵Z施加对角元素为0的约束项：
diag(Z)＝0；
最终得到如下最小化问题：
Figure FDA00023436758000000210
其中，α为图正则参数,β是编码矩阵行相关约束项的控制参数；
相应的，迭代求解自表达矩阵Z时，用投影梯度下降算法求解如下最小化问题，迭代求解自表达矩阵Z的每一列，求解过程中约束Z每一列只能有s个大于零的非零元素：
Figure FDA00023436758000000211
其中X-i＝{x1,x2,...,xi-1,xi+1,...,xn}，yi表示迭代运算的自表达矩阵Zt第i列向量去除第i个元素后的列向量，qi表示Pt第i行向量去除第i个元素后的行向量，α为图正则参数,β是编码矩阵行相关约束项的控制参数；用求得的{y1,y2,...,yn}组织成矩阵Zt+1，Zt+1的对角元素填充为0，t＝t+1。
CN201810150321.8A 2018-02-13 2018-02-13 基于子空间聚类的凸非负矩阵分解方法 Active CN108415883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810150321.8A CN108415883B (zh) 2018-02-13 2018-02-13 基于子空间聚类的凸非负矩阵分解方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810150321.8A CN108415883B (zh) 2018-02-13 2018-02-13 基于子空间聚类的凸非负矩阵分解方法

Publications (2)

Publication Number Publication Date
CN108415883A CN108415883A (zh) 2018-08-17
CN108415883B true CN108415883B (zh) 2020-06-16

Family

ID=63128702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810150321.8A Active CN108415883B (zh) 2018-02-13 2018-02-13 基于子空间聚类的凸非负矩阵分解方法

Country Status (1)

Country Link
CN (1) CN108415883B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109459768A (zh) * 2018-09-03 2019-03-12 广东工业大学 一种基于北斗卫星信号强度权重优化模型的快速选星方法
CN109543723B (zh) * 2018-11-05 2022-09-30 南京理工大学 一种鲁棒的图像聚类方法
CN109784191B (zh) * 2018-12-20 2021-01-01 华南理工大学 一种基于商图像的多任务人脸光照编辑方法
CN109918616B (zh) * 2019-01-23 2020-01-31 中国人民解放军32801部队 一种基于语义索引精度增强的可视媒体处理方法
CN110569879B (zh) * 2019-08-09 2024-03-15 平安科技（深圳）有限公司 舌头图像提取方法、装置及计算机可读存储介质
CN111783032B (zh) * 2020-06-30 2023-07-04 北京百度网讯科技有限公司 目标时空观测数据的获得方法、装置、设备及存储介质
CN113807393B (zh) * 2021-08-10 2024-04-26 北京工业大学 基于多属性非负矩阵分解的聚类方法
CN113705674B (zh) * 2021-08-27 2024-04-05 西安交通大学 一种非负矩阵分解聚类方法、装置及可读存储介质
CN115995011B (zh) * 2022-12-07 2023-07-07 湖南工商大学 基于图正则化的非线性正交非负矩阵分解图像聚类方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020017A (zh) * 2012-12-05 2013-04-03 湖州师范学院 一种流行正则和鉴别信息最大化的非负矩阵分解方法
US8805653B2 (en) * 2010-08-11 2014-08-12 Seiko Epson Corporation Supervised nonnegative matrix factorization
CN105930308A (zh) * 2016-04-14 2016-09-07 中国科学院西安光学精密机械研究所 基于低秩恢复的非负矩阵分解方法
CN106296425A (zh) * 2016-08-03 2017-01-04 哈尔滨工业大学深圳研究生院 基于带权重联合非负矩阵分解的属性图聚类方法及系统
CN107341510A (zh) * 2017-07-05 2017-11-10 西安电子科技大学 基于稀疏正交的双图非负矩阵分解的图像聚类方法
CN107609596A (zh) * 2017-09-22 2018-01-19 江苏理工学院 无参数自动加权多图正则化非负矩阵分解及图像聚类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8805653B2 (en) * 2010-08-11 2014-08-12 Seiko Epson Corporation Supervised nonnegative matrix factorization
CN103020017A (zh) * 2012-12-05 2013-04-03 湖州师范学院 一种流行正则和鉴别信息最大化的非负矩阵分解方法
CN105930308A (zh) * 2016-04-14 2016-09-07 中国科学院西安光学精密机械研究所 基于低秩恢复的非负矩阵分解方法
CN106296425A (zh) * 2016-08-03 2017-01-04 哈尔滨工业大学深圳研究生院 基于带权重联合非负矩阵分解的属性图聚类方法及系统
CN107341510A (zh) * 2017-07-05 2017-11-10 西安电子科技大学 基于稀疏正交的双图非负矩阵分解的图像聚类方法
CN107609596A (zh) * 2017-09-22 2018-01-19 江苏理工学院 无参数自动加权多图正则化非负矩阵分解及图像聚类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《convex and semi-nonnegative matrix factorization》;Chris Ding;《IEEE Transactions on Pattern Analysis and Machine Intelligence 》;20100101;第32卷(第1期);全文 *
《gene express data clustering based on graph regularized subspace segmentation》;Xiaoyun Chen;《Neurocomputing》;20141102;第142卷;全文 *
《半监督凸非负矩阵分解》;张永清;《辽宁师范大学学报（自然科学版）》;20161231;第39卷(第4期);全文 *
《非负矩阵分解及其改进方法》;刘志扬;《华侨大学学报（自然科学版）》;20161130;第37卷(第6期);全文 *

Also Published As

Publication number Publication date
CN108415883A (zh) 2018-08-17

Similar Documents

Publication Publication Date Title
CN108415883B (zh) 基于子空间聚类的凸非负矩阵分解方法
Zhu et al. Low-rank sparse subspace for spectral clustering
CN106777318B (zh) 基于协同训练的矩阵分解跨模态哈希检索方法
Tao et al. Latent complete row space recovery for multi-view subspace clustering
Patel et al. Latent space sparse subspace clustering
CN109977994B (zh) 一种基于多示例主动学习的代表性图像选取方法
Shrivastava et al. Learning discriminative dictionaries with partially labeled data
CN105678260B (zh) 一种基于稀疏保持距离度量的人脸识别方法
CN109657611B (zh) 一种用于人脸识别的自适应图正则化非负矩阵分解方法
CN112070058A (zh) 人脸面部复合情感表情识别方法及系统
Haro et al. Translated poisson mixture model for stratification learning
Liu et al. Supervised learning via unsupervised sparse autoencoder
CN110717519A (zh) 训练、特征提取、分类方法、设备及存储介质
CN109063555B (zh) 基于低秩分解和稀疏表示残差对比的多姿态人脸识别方法
Xu et al. Discriminative analysis for symmetric positive definite matrices on lie groups
Zhang et al. Structured Sparsity Optimization With Non-Convex Surrogates of $\ell _ {2, 0} $ ℓ 2, 0-Norm: A Unified Algorithmic Framework
Nie et al. Implicit weight learning for multi-view clustering
CN114863151B (zh) 一种基于模糊理论的图像降维聚类方法
Pei et al. Centerless clustering
CN109657693B (zh) 一种基于相关熵和迁移学习的分类方法
CN112257600B (zh) 一种人脸识别方法及系统
Wei et al. Spectral clustering steered low-rank representation for subspace segmentation
CN109902720B (zh) 基于子空间分解进行深度特征估计的图像分类识别方法
CN111898653A (zh) 基于鲁棒l1,2范数约束的有监督降维方法
CN108121965B (zh) 基于鲁棒联合稀疏特征提取的图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant