CN108776812A - 基于非负矩阵分解和多样-一致性的多视图聚类方法 - Google Patents

基于非负矩阵分解和多样-一致性的多视图聚类方法 Download PDF

Info

Publication number
CN108776812A
CN108776812A CN201810549602.0A CN201810549602A CN108776812A CN 108776812 A CN108776812 A CN 108776812A CN 201810549602 A CN201810549602 A CN 201810549602A CN 108776812 A CN108776812 A CN 108776812A
Authority
CN
China
Prior art keywords
matrix
multiple view
consistency
negative
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810549602.0A
Other languages
English (en)
Inventor
王秀美
张天真
高新波
张越美
郭丁宁
李洁
邓成
田春娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810549602.0A priority Critical patent/CN108776812A/zh
Publication of CN108776812A publication Critical patent/CN108776812A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种基于非负矩阵分解和多样‑一致性的多视图聚类方法,用于解决现有多视图聚类方法中存在的聚类精度和归一化交互信息较低的技术问题,实现步骤为:获取原始图像集的归一化非负多视图数据;构建多视图数据对应的基矩阵、系数矩阵和类标指示矩阵;构建基于非负矩阵分解和多样‑一致性多视图聚类的目标函数;获取基矩阵、系数矩阵和拉普拉斯矩阵的迭代更新表达式;获取类标指示矩阵的最优值;对类标指示矩阵的最优值进行K‑均值聚类,得到多视图数据对应的聚类簇。本发明利用表示多样性和类标一致性,学习多视图数据中的互补和公共信息,有效提高了多视图聚类的性能,可应用于生物信息分析和金融投资分析等领域。

Description

基于非负矩阵分解和多样-一致性的多视图聚类方法
技术领域
本发明属于计算机视觉和模式识别技术领域,涉及一种多视图聚类方法,具体涉及一种基于非负矩阵分解和多样-一致性的多视图聚类方法,可应用于生物信息分析、金融投资分析和商务应用等领域。
背景技术
近年来,互联网信息技术的发展,使得数据成为当今社会中重要的组成部分。随着多媒体技术的发展,数据呈现爆炸式增长,海量成为当今数据的一个显著特征。此外,随着信息采集技术的迅速发展,人们可以从不同数据源中获取大量数据,这些异质数据在不同角度描述同一目标的不同特征,将每个数据源的数据看作一个视图的数据,由此可得多视图数据。多视图数据中包含比单视图数据更加详细全面的信息,通常包含公共和互补信息。因此,多视图学习成为当今数据时代的一个研究方向。综上,如何从海量的多视图数据中提取出有用的信息成为现代数据处理的主要任务。数据挖掘是数据预处理中最常用的基本方法,聚类是数据挖掘领域中常用的基本分析方法之一。如今,针对单视图数据的传统聚类方法已取得较好的效果,但若将传统聚类方法直接应用到多视图数据中进行聚类,不能有效利用多视图数据中的公共和互补信息,因而影响了多视图数据的聚类效果。因此,如何利用多视图数据中包含的丰富信息提高聚类性能,成为现阶段聚类领域中的关键问题,如何设计快速有效的多视图聚类方法,成为大数据时代亟待解决的问题。
聚类是机器学习和数据挖掘领域的基本方法,其目的在于利用数据中的潜在数据结构,将数据集划分为若干个聚类簇,使得同一簇中的数据点之间的相似性较高,不同簇间的数据点间的相似性较低。传统的单视图聚类方法可分为基于原型、基于层次、基于密度、基于网格、基于图和基于模型等聚类方法。多视图聚类方法的关键在于如何融合多视图数据,充分利用多视图数据中的有用信息提高多视图数据的聚类性能。一种朴素的多视图聚类方法是将多视图数据进行拼接得到一个新的单视图数据,再通过传统的单视图聚类方法得到聚类结果。此类方法只是原则上组合了不同视图的数据,忽略了不同视图数据中包含的公共和互补信息,从而影响了多视图数据的聚类效果。另一种多视图聚类方法是学习多视图数据的一个公共子空间,并在此公共子空间中进行多视图数据的聚类分析,由此得到多视图数据的聚类结果。这类算法通常可以学习到多视图数据中的公共信息,因此可以得到较好的聚类结果。
非负矩阵分解(Nonnegative Matrix Factorization,NMF)将数据矩阵分解为两个低秩矩阵的乘积,实现了数据的降维,一般情况下,分解后的基矩阵和系数矩阵是非负且稀疏的,该方法具有较好的可解释性和明确的物理意义,因此,非负矩阵分解成为数据表示中有力的基本方法,被广泛应用于单视图数据聚类和多视图数据聚类领域中。现有基于非负矩阵分解的多视图聚类方法虽然取得了较好的聚类结果,但是此类方法在对多视图数据进行聚类时,忽略了多视图数据中包含的互补信息,使得聚类精度和归一化交互信息较低,影响了多视图数据的聚类效果。
例如Linlin Zong,Xianchao Zhang,Long Zhao,Hong Yu和Qianli Zhao等人,在2017年的Neural Networks期刊中,发表了名为“Multi-view clustering via multi-manifold regularized non-negative matrix factorization”的文章,提出基于多流形正则的非负矩阵分解的多视图聚类方法,该方法分别利用非负矩阵分解、基于质心的协同正则化和流形正则化方法对多视图数据进行建模,保持多视图数据所在的特征空间中的局部几何结构信息,同时寻找多视图数据共享的一致性表示矩阵,对一致性表示矩阵进行K-均值聚类,得到多视图数据的聚类结果。但该方法只利用了多视图数据中包含的公共信息,忽略了多视图数据中的互补信息,使得聚类精度和归一化交互信息较低,影响了多视图数据的聚类性能。
发明内容
本发明的目的在于针对上述已有技术存在的不足,提出了一种基于非负矩阵分解和多样-一致性的多视图聚类方法,用于解决现有技术中存在的聚类精度和归一化交互信息较低的技术问题。
本发明的技术思路是:获取原始图像集的归一化非负多视图数据,构建多视图数据对应的基矩阵、系数矩阵和类标指示矩阵,并利用非负矩阵分解的重构误差项、表示多样性约束项、类标一致性约束项和相似性保持项,构建基于非负矩阵分解和多样-一致性多视图聚类的目标函数,通过拉格朗日乘子法,获取基矩阵、系数矩阵和拉普拉斯矩阵的迭代更新表达式,并得到类标指示矩阵的最优值,对类标指示矩阵的最优值进行K-均值聚类,得到多视图数据对应的聚类簇。实现步骤如下:
(1)获取原始图像集的非负多视图数据
提取原始图像集中每幅图像的多种图像特征,得到原始图像集的非负多视图数据其中,m表示第m个视图,且m=1,2,…,nv,nv表示视图的数目;
(2)对非负多视图数据进行归一化:
对非负多视图数据中的每个视图数据进行归一化,得到归一化后的多视图数据
(3)构建多视图数据对应的基矩阵和系数矩阵
对多视图数据中的每个视图数据进行谱聚类,得到对应的基矩阵和系数矩阵
(4)构建多视图数据对应的类标指示矩阵F:
构建多视图数据对应的拉普拉斯矩阵并对中所有拉普拉斯矩阵的和进行奇异值分解,得到多视图数据对应的类标指示矩阵F;
(5)构建基于非负矩阵分解和多样-一致性的多视图聚类的目标函数:
(5a)利用多视图数据基矩阵和系数矩阵构造非负矩阵分解的重构误差项;
(5b)利用希尔伯特-施密特独立准则,通过系数矩阵构造表示多样性约束项;
(5c)利用流形正则化方法,通过系数矩阵和拉普拉斯矩阵构造相似性保持项;
(5d)利用谱聚类方法,通过拉普拉斯矩阵和类标指示矩阵F,构造类标一致性约束项;
(5e)获取基于非负矩阵分解和多样-一致性的多视图聚类的目标函数:
设置表示多样性约束项的权重为λ1,相似性保持项的权重为λ2,类标一致性约束项的权重为λ3,并对非负矩阵分解的重构误差项、表示多样性约束项、相似性保持项和类标一致性约束项进行加权相加,得到基于非负矩阵分解和多样-一致性的多视图聚类的目标函数,其中,λ1、λ2和λ3的取值范围为[0,1];
(6)获取基矩阵系数矩阵和拉普拉斯矩阵的迭代更新表达式:
(6a)构建基于非负矩阵分解和多样-一致性的多视图聚类的目标函数对应的拉格朗日函数
(6b)利用拉格朗日函数对基矩阵系数矩阵和拉普拉斯矩阵分别进行交替迭代,得到的迭代更新表达式E1的迭代更新表达式E2的迭代更新表达式E3
(7)获取类标指示矩阵F的最优值F*
(7a)设定目标函数差值的阈值和最大迭代次数;
(7b)定义E1的一次迭代更新、E2的一次迭代更新和E3的一次迭代更新,为对的一次迭代;
(7c)对进行多次迭代,并计算每次迭代后基于非负矩阵分解和多样-一致性的多视图聚类的目标函数的值,直到迭代次数达到最大迭代次数或者两次迭代后的目标函数的差值小于设定的阈值,停止迭代,得到更新后的基矩阵系数矩阵和拉普拉斯矩阵
(7d)计算类标指示矩阵F的最优值F*
(7d1)计算拉普拉斯矩阵中所有拉普拉斯矩阵的和M:
(7d2)对M进行奇异值分解,对分解得到的多个特征值按照从小到大的顺序排列,并计算前C个特征值中每个特征值对应的特征向量,得到C个特征向量,其中,C为聚类簇的个数,且C≥1;
(7d3)将C个特征向量对应的C个特征值按照从小到大的顺序排列,得到特征矩阵,并将该特征矩阵作为类标指示矩阵F的最优值F*
(8)对类标指示矩阵F的最优值F*进行K-均值聚类,得到多视图数据对应的聚类簇。
本发明与现有技术相比,具有以下优点:
本发明利用希尔伯特-施密特独立准则,构造多视图数据的表示多样性约束项,利用谱聚类方法,构造多视图数据的类标一致性约束项,并通过非负矩阵分解的重构误差项、表示多样性约束项、类标一致性约束项和相似性保持项,构建基于非负矩阵分解和多样-一致性的多视图聚类的目标函数,该目标函数充分利用了多视图数据中包含的公共和互补信息,与现有技术相比,有效地提高了多视图聚类的精度和归一化交互信息。
附图说明
图1为本发明的实现流程图;
图2为本发明与现有技术在UCI手写体数据集下的聚类精度的曲线对比图;
图3为本发明与现有技术在UCI手写体数据集下的聚类归一化交互信息的曲线对比图;
图4为本发明与现有技术在Extend YaleB数据集下的聚类精度的曲线对比图;
图5为本发明与现有技术在Extend YaleB数据集下的聚类归一化交互信息的曲线对比图。
具体实施方式
下面结合附图和具体实施例,对本发明作进一步详细描述。
参照图1,基于非负矩阵分解和多样-一致性的多视图聚类方法,包括如下步骤:
步骤1获取原始图像集的非负多视图数据
提取原始图像集中每幅图像的多种图像特征,得到原始图像集的非负多视图数据其中,m表示第m个视图,且m=1,2,…,nv,nv表示视图的数目。
步骤2对非负多视图数据进行归一化:
对非负多视图数据中的每个视图数据进行归一化,得到归一化后的多视图数据
步骤3构建多视图数据对应的基矩阵和系数矩阵
对多视图数据中的每个视图数据进行谱聚类,得到对应的基矩阵和系数矩阵
步骤4构建多视图数据对应的类标指示矩阵F:
(4a)计算多视图数据中每个视图数据每两个样本数据点间的欧氏距离:
将多视图数据中每个视图数据的行作为样本数据点,计算每个视图数据中每两个样本数据点间的欧氏距离;
(4b)构建多视图数据的k近邻图:
中每个视图数据的样本数据点xi对应的多个欧氏距离值按照从小到大的顺序排列,并将前k个欧氏距离值对应的除xi之外的样本数据点作为xi的k近邻点,每个视图数据的所有样本数据点的近邻关系构成k近邻图,得到多视图数据的k近邻图,其中,i=1,2,…,N,N表示原始图像的数目,k表示近邻点的数目,k的取值过小,意味着只有与样本数据点较近的样本数据点才会对聚类结果起作用,容易发生过拟合;k的取值过大,与样本数据点较远的样本数据点也会对聚类结果起作用,可能导致聚类结果发生错误,我们取k=10;
(4c)构建多视图数据的相似性矩阵
根据k近邻图,判断数据点xi是否为数据点xj的k近邻点,若是,令相似性矩阵中对应的矩阵元素Wij否则,令其对应矩阵元素Wij为0,其中,i=1,2,…,N,j=1,2,…,N,N表示原始图像的数目;
(4d)计算多视图数据对应的拉普拉斯矩阵
对相似性矩阵按行进行求和,得到多视图数据的度矩阵并通过相似性矩阵和度矩阵利用计算公式计算多视图数据对应的拉普拉斯矩阵
(4e)对中所有拉普拉斯矩阵的和进行奇异值分解,得到多视图数据对应的类标指示矩阵F。
步骤5构建基于非负矩阵分解和多样-一致性的多视图聚类的目标函数:
(5a)利用多视图数据基矩阵和系数矩阵构造非负矩阵分解的重构误差项,其表达式为其中,(V(m))T表示矩阵V(m)的转置矩阵,||·||F表示矩阵的Frobenius范数,表示矩阵Frobenius范数的平方;
(5b)利用希尔伯特-施密特独立准则,通过系数矩阵构造表示多样性约束项,其表达式为:其中,V(m)表示第m个视图对应的系数矩阵,V(w)表示第w个视图对应的系数矩阵,并且N表示原始图像的数目,表示分别定义在非负系数矩阵V(m)和V(w)上的核矩阵,tr(·)表示矩阵的迹,该约束项可以捕捉多种特征表示的多样性,学习多视图数据中的互补信息;
(5c)利用流形正则化方法,通过系数矩阵和拉普拉斯矩阵构造相似性保持项,其表达式为:使得在原始数据空间中相似的数据点,在进行非负矩阵分解之后得到的低维表示仍然具有相似性,从而保持特征空间中的局部几何结构信息;
(5d)利用谱聚类方法,通过拉普拉斯矩阵和类标指示矩阵F,构造类标一致性约束项,其表达式为:使得在不同特征表示下的样本得到相同的聚类结果;
(5e)获取基于非负矩阵分解和多样-一致性的多视图聚类的目标函数:
设置表示多样性约束项的权重为λ1,相似性保持项的权重为λ2,类标一致性约束项的权重为λ3,并对非负矩阵分解的重构误差项、表示多样性约束项、相似性保持项和类标一致性约束项进行加权相加,得到基于非负矩阵分解和多样-一致性的多视图聚类的目标函数,其表达式为:
s.t.U(m)≥0,V(m)≥0,m=1,…,nv,FTF=I
其中,λ1、λ2和λ3的取值范围为[0,1]。
步骤6获取基矩阵系数矩阵和拉普拉斯矩阵的迭代更新表达式:
(6a)构建基于非负矩阵分解和多样-一致性的多视图聚类的目标函数对应的拉格朗日函数其表达式为:
其中,ξ、η和为拉格朗日乘子;
(6b)利用拉格朗日函数对基矩阵系数矩阵和拉普拉斯矩阵分别进行交替迭代,得到的迭代更新表达式E1的迭代更新表达式E2的迭代更新表达式E3,其表达式分别为:
其中,i=1,2,…,M,t=1,2,…,d,j=1,2,…,N,M为原始图像的像素个数,d为利用非负矩阵分解进行降维时的维度,
步骤7获取类标指示矩阵F的最优值F*
(7a)设定目标函数差值的阈值和最大迭代次数;
(7b)定义E1的一次迭代更新、E2的一次迭代更新和E3的一次迭代更新,为对的一次迭代;
(7c)对进行多次迭代,并计算每次迭代后基于非负矩阵分解和多样-一致性的多视图聚类的目标函数的值,直到迭代次数达到最大迭代次数或者两次迭代后的目标函数的差值小于设定的阈值,停止迭代,得到更新后的基矩阵系数矩阵和拉普拉斯矩阵
(7d)计算类标指示矩阵F的最优值F*
(7d1)计算拉普拉斯矩阵中所有拉普拉斯矩阵的和M:
(7d2)对M进行奇异值分解,对分解得到的多个特征值按照从小到大的顺序排列,并计算前C个特征值中每个特征值对应的特征向量,得到C个特征向量,其中C为聚类簇的个数,且C≥1,实际应用中,C的取值过小,会使得聚类精度低,影响聚类效果,C的取值过大,容易造成过拟合,使得算法的泛化能力差;
(7d3)将C个特征向量对应的C个特征值按照从小到大的顺序排列,得到特征矩阵,并将该特征矩阵作为类标指示矩阵F的最优值F*
步骤8对类标指示矩阵F的最优值F*进行K-均值聚类:
(8a)将类标指示矩阵F的最优值F*的每行数据作为样本数据点,并从F*中随机选取C个样本数据点,并将每个样本数据点作为一个聚类中心,得到C个聚类中心,其中C≥1;
(8b)计算每个样本数据点与每个聚类中心的距离,并将每个样本数据点分配到与其距离最小的聚类中心所属的类别中,得到C个聚类簇;
(8c)计算每个聚类簇中所有样本数据点的均值,并将每个聚类簇对应的均值作为该簇的聚类中心,实现对每个聚类簇聚类中心的更新;
(8d)重复执行步骤(8b)~(8c),直到所有聚类中心不再发生变化时停止,得到多视图数据对应的聚类簇。
以下结合仿真实验,对本发明的技术效果作进一步说明。
1.仿真条件和内容:
本发明的仿真实验中计算机配置环境为Intel(R)Core(i7-3770)3.40GHZ中央处理器、内存16G、WINDOWS 7操作系统,计算机仿真软件采用MATLAB R2015b软件。本发明在公开的多视图数据集UCI手写体数据集和Extend YaleB数据集上进行仿真。实验中的参数设置为:λ1=0.1,λ2=0.2,λ3=0.5,C=10,k=10。
仿真1:使用本发明与现有基于多流形正则的非负矩阵分解的多视图聚类方法在UCI手写体数据集中进行多视图聚类得到的聚类精度,其结果如图2所示。
仿真2:使用本发明与现有基于多流形正则的非负矩阵分解的多视图聚类方法在UCI手写体数据集中进行多视图聚类得到的聚类归一化交互信息,其结果如图3所示。
仿真3:使用本发明与现有基于多流形正则的非负矩阵分解的多视图聚类方法在Extend YaleB数据集中进行多视图聚类得到的聚类精度,其结果如图4所示。
仿真4:使用本发明与现有基于多流形正则的非负矩阵分解的多视图聚类方法在Extend YaleB数据集中进行多视图聚类得到的聚类归一化交互信息,其结果如图5所示。
2.仿真结果分析:
参照图2和图4,图2和图4为取不同的降维维度时的聚类精度曲线图,横坐标轴表示降维的维数,纵坐标轴表示聚类精度,用正方形标注的曲线表示本发明,用五角形标注的曲线表示基于多流形正则的非负矩阵分解的多视图聚类方法。
参照图3和图5,图3和图5为取不同的降维维度时的聚类归一化交互信息的曲线图,横坐标轴表示降维的维数,纵坐标轴表示聚类归一化交互信息,用正方形标注的曲线表示本发明,用五角形标注的曲线表示基于多流形正则的非负矩阵分解的多视图聚类方法。
从图2~图5的仿真结果图中可见,在不同的降维维度下,对多视图数据进行聚类时,本发明的聚类精度和归一化交互信息的值明显高于现有技术的聚类精度和归一化交互信息的值。这是因为在进行多视图聚类时,与现有多视图聚类技术相比,本发明利用非负矩阵分解的重构误差项、表示多样性约束项、类标一致性约束项和相似性保持项,构建基于非负矩阵分解和多样-一致性的多视图聚类的目标函数,该目标函数充分利用了多视图数据中的互补和公共信息,与现有技术相比,有效地提高了多视图聚类的精度和归一化交互信息。

Claims (10)

1.一种基于非负矩阵分解和多样-一致性的多视图聚类方法,其特征在于,包括如下步骤:
(1)获取原始图像集的非负多视图数据
提取原始图像集中每幅图像的多种图像特征,得到原始图像集的非负多视图数据其中,m表示第m个视图,且m=1,2,…,nv,nv表示视图的数目;
(2)对非负多视图数据进行归一化:
对非负多视图数据中的每个视图数据进行归一化,得到归一化后的多视图数据
(3)构建多视图数据对应的基矩阵和系数矩阵
对多视图数据中的每个视图数据进行谱聚类,得到对应的基矩阵和系数矩阵
(4)构建多视图数据对应的类标指示矩阵F:
构建多视图数据对应的拉普拉斯矩阵并对中所有拉普拉斯矩阵的和进行奇异值分解,得到多视图数据对应的类标指示矩阵F;
(5)构建基于非负矩阵分解和多样-一致性的多视图聚类的目标函数:
(5a)利用多视图数据基矩阵和系数矩阵构造非负矩阵分解的重构误差项;
(5b)利用希尔伯特-施密特独立准则,通过系数矩阵构造表示多样性约束项;
(5c)利用流形正则化方法,通过系数矩阵和拉普拉斯矩阵构造相似性保持项;
(5d)利用谱聚类方法,通过拉普拉斯矩阵和类标指示矩阵F,构造类标一致性约束项;
(5e)获取基于非负矩阵分解和多样-一致性的多视图聚类的目标函数:
设置表示多样性约束项的权重为λ1,相似性保持项的权重为λ2,类标一致性约束项的权重为λ3,并对非负矩阵分解的重构误差项、表示多样性约束项、相似性保持项和类标一致性约束项进行加权相加,得到基于非负矩阵分解和多样-一致性的多视图聚类的目标函数,其中,λ1、λ2和λ3的取值范围为[0,1];
(6)获取基矩阵系数矩阵和拉普拉斯矩阵的迭代更新表达式:
(6a)构建基于非负矩阵分解和多样-一致性的多视图聚类的目标函数对应的拉格朗日函数
(6b)利用拉格朗日函数对基矩阵系数矩阵和拉普拉斯矩阵分别进行交替迭代,得到的迭代更新表达式E1的迭代更新表达式E2的迭代更新表达式E3
(7)获取类标指示矩阵F的最优值F*
(7a)设定目标函数差值的阈值和最大迭代次数;
(7b)定义E1的一次迭代更新、E2的一次迭代更新和E3的一次迭代更新,为对的一次迭代;
(7c)对进行多次迭代,并计算每次迭代后基于非负矩阵分解和多样-一致性的多视图聚类的目标函数的值,直到迭代次数达到最大迭代次数或者两次迭代后的目标函数的差值小于设定的阈值,停止迭代,得到更新后的基矩阵系数矩阵和拉普拉斯矩阵
(7d)计算类标指示矩阵F的最优值F*
(7d1)计算拉普拉斯矩阵中所有拉普拉斯矩阵的和M:
(7d2)对M进行奇异值分解,对分解得到的多个特征值按照从小到大的顺序排列,并计算前C个特征值中每个特征值对应的特征向量,得到C个特征向量,其中,C为聚类簇的个数,且C≥1;
(7d3)将C个特征向量对应的C个特征值按照从小到大的顺序排列,得到特征矩阵,并将该特征矩阵作为类标指示矩阵F的最优值F*
(8)对类标指示矩阵F的最优值F*进行K-均值聚类,得到多视图数据对应的聚类簇。
2.根据权利要求1所述的基于非负矩阵分解和多样-一致性的多视图聚类方法,其特征在于,步骤(4)中所述的构建多视图数据对应的拉普拉斯矩阵实现步骤为:
(4a)计算多视图数据中每个视图数据每两个样本数据点间的欧氏距离:
将多视图数据中每个视图数据的行作为样本数据点,计算每个视图数据中每两个样本数据点间的欧氏距离;
(4b)构建多视图数据的k近邻图:
中每个视图数据的样本数据点xi对应的多个欧氏距离值按照从小到大的顺序排列,并将前k个欧氏距离值对应的除xi之外的样本数据点作为xi的k近邻点,每个视图数据的所有样本数据点的近邻关系构成k近邻图,得到多视图数据的k近邻图,其中,i=1,2,…,N,N表示原始图像的数目,k表示近邻点的数目;
(4c)构建多视图数据的相似性矩阵
根据k近邻图,判断数据点xi是否为数据点xj的k近邻点,若是,令相似性矩阵中对应的矩阵元素Wij否则,令其对应矩阵元素Wij为0,其中,i=1,2,…,N,j=1,2,…,N,N表示原始图像的数目;
(4d)计算多视图数据对应的拉普拉斯矩阵
对相似性矩阵按行进行求和,得到多视图数据的度矩阵并通过相似性矩阵和度矩阵利用计算公式计算多视图数据对应的拉普拉斯矩阵
3.根据权利要求1所述的基于非负矩阵分解和多样-一致性的多视图聚类方法,其特征在于,步骤(5a)中所述的非负矩阵分解的重构误差项,其表达式为:
其中,为多视图数据,为基矩阵,为系数矩阵,(V(m))T为矩阵VWm)的转置矩阵,||·||F为矩阵的Frobenius范数,为矩阵Frobenius范数的平方,nv为视图的数目。
4.根据权利要求1所述的基于非负矩阵分解和多样-一致性的多视图聚类方法,其特征在于,步骤(5b)中所述的表示多样性约束项,其表达式为:
其中,V(m)表示第m个视图对应的系数矩阵,V(w)表示第w个视图对应的系数矩阵,N表示原始图像的数目,表示分别定义在非负系数矩阵V(m)和V(w)上的核矩阵,tr(·)表示矩阵的迹,nv表示视图的数目。
5.根据权利要求1所述的基于非负矩阵分解和多样-一致性的多视图聚类方法,其特征在于,步骤(5c)中所述的相似性保持项,其表达式为:
其中,为系数矩阵,为拉普拉斯矩阵,(V(m))T为矩阵V(m)的转置矩阵,tr(·)为矩阵的迹,nv为视图的数目。
6.根据权利要求1所述的基于非负矩阵分解和多样-一致性的多视图聚类方法,其特征在于,步骤(5d)中所述的类标一致性约束项,其表达式为:
其中,表示拉普拉斯矩阵,F表示类标指示矩阵,FT表示矩阵F的转置矩阵,tr(·)表示矩阵的迹,nv表示视图的数目。
7.根据权利要求1所述的基于非负矩阵分解和多样-一致性的多视图聚类方法,其特征在于,步骤(5e)中所述的基于非负矩阵分解和多样-一致性的多视图聚类的目标函数,其表达式为:
s.t.U(m)≥0,V(m)≥0,m=1,…,nv,FTF=I
其中,为多视图数据,为基矩阵,为系数矩阵,为拉普拉斯矩阵,F为类标指示矩阵,为矩阵Frobenius范数的平方,tr(·)为矩阵的迹,nv为视图的数目,λ1为表示多样性约束项的权重,λ2为相似性保持项的权重,λ3为类标一致性约束项的权重,I为单位矩阵。
8.根据权利要求1所述的基于非负矩阵分解和多样-一致性的多视图聚类方法,其特征在于,步骤(6a)中所述的基于非负矩阵分解和多样-一致性的多视图聚类的目标函数对应的拉格朗日函数,其表达式为:
其中,为多视图数据,为基矩阵,为系数矩阵,为拉普拉斯矩阵,F为类标指示矩阵,为矩阵Frobenius范数的平方,tr(·)为矩阵的迹,nv为视图的数目,λ1为表示多样性约束项的权重,λ2为相似性保持项的权重,λ3为类标一致性约束项的权重,ξ、η和ζ为拉格朗日乘子,I为单位矩阵。
9.根据权利要求1所述的基于非负矩阵分解和多样-一致性的多视图聚类方法,其特征在于,步骤(6b)中所述的基矩阵的迭代更新表达式E1、系数矩阵的迭代更新表达式E2、拉普拉斯矩阵的迭代更新表达式E3,其表达式分别为:
其中,为多视图数据,为基矩阵,为系数矩阵,为拉普拉斯矩阵,F为类标指示矩阵,为矩阵Frobenius范数的平方,tr(·)为矩阵的迹,λ1为表示多样性约束项的权重,λ2为相似性保持项的权重,λ3为类标一致性约束项的权重,i=1,2,…,M,t=1,2,…,d,j=1,2,…,N,M为原始图像的像素个数,d为利用非负矩阵分解进行降维时的维度,
10.根据权利要求1所述的基于非负矩阵分解和多样-一致性的多视图聚类方法,其特征在于,步骤(8)中所述的对类标指示矩阵F的最优值F*进行K-均值聚类,实现步骤为:
(8a)将类标指示矩阵F的最优值F*的每行数据作为样本数据点,并从F*中随机选取C个样本数据点,并将每个样本数据点作为一个聚类中心,得到C个聚类中心,其中C≥1;
(8b)计算每个样本数据点与每个聚类中心的距离,并将每个样本数据点分配到与其距离最小的聚类中心所属的类别中,得到C个聚类簇;
(8c)计算每个聚类簇中所有样本数据点的均值,并将每个聚类簇对应的均值作为该簇的聚类中心,实现对每个聚类簇聚类中心的更新;
(8d)重复执行步骤(8b)~(8c),直到所有聚类中心不再发生变化时停止,得到多视图数据对应的聚类簇。
CN201810549602.0A 2018-05-31 2018-05-31 基于非负矩阵分解和多样-一致性的多视图聚类方法 Pending CN108776812A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810549602.0A CN108776812A (zh) 2018-05-31 2018-05-31 基于非负矩阵分解和多样-一致性的多视图聚类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810549602.0A CN108776812A (zh) 2018-05-31 2018-05-31 基于非负矩阵分解和多样-一致性的多视图聚类方法

Publications (1)

Publication Number Publication Date
CN108776812A true CN108776812A (zh) 2018-11-09

Family

ID=64028266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810549602.0A Pending CN108776812A (zh) 2018-05-31 2018-05-31 基于非负矩阵分解和多样-一致性的多视图聚类方法

Country Status (1)

Country Link
CN (1) CN108776812A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091475A (zh) * 2019-12-12 2020-05-01 华中科技大学 一种基于非负矩阵分解的社交网络特征提取方法
CN111191699A (zh) * 2019-12-22 2020-05-22 中国人民解放军陆军工程大学 基于非负矩阵分解和划分自适应融合的多视角聚类方法
CN111310807A (zh) * 2020-01-27 2020-06-19 哈尔滨理工大学 一种基于异质特征联合自表示的特征子空间与亲和矩阵联合学习方法
CN111368254A (zh) * 2020-03-02 2020-07-03 西安邮电大学 多流形正则化非负矩阵分解的多视角数据缺失补全方法
CN111488900A (zh) * 2019-01-29 2020-08-04 大连理工大学 一种基于非负矩阵分解的多视图相关特征学习模型
CN111814016A (zh) * 2020-07-13 2020-10-23 重庆邮电大学 一种混合粒度多视图新闻数据聚类方法
CN112148911A (zh) * 2020-08-19 2020-12-29 江苏大学 一种多视图本征低秩结构的图像聚类方法
CN112287974A (zh) * 2020-09-28 2021-01-29 北京工业大学 一种基于自适应权重的多视k多均值的图像聚类方法
CN112908420A (zh) * 2020-12-02 2021-06-04 中山大学 一种基于去噪网络正则化的多组学数据整合方法及系统
CN113139556A (zh) * 2021-04-22 2021-07-20 扬州大学 基于自适应构图的流形多视图图像聚类方法及系统
CN113313153A (zh) * 2021-05-20 2021-08-27 扬州大学 基于自适应图正则化的低秩nmf图像聚类方法与系统
CN113554082A (zh) * 2021-07-15 2021-10-26 广东工业大学 一种自加权融合局部和全局信息的多视图子空间聚类方法
CN113807393A (zh) * 2021-08-10 2021-12-17 北京工业大学 基于多属性非负矩阵分解的聚类方法
CN113947135A (zh) * 2021-09-27 2022-01-18 华东师范大学 基于缺失图重构和自适应近邻的不完整多视图聚类方法
WO2022166366A1 (zh) * 2021-02-08 2022-08-11 浙江师范大学 一种基于一致图学习的多视图聚类方法
CN116432062A (zh) * 2021-12-29 2023-07-14 西南科技大学 聚类中心一致性指导采样学习的多核聚类方法
CN116432062B (zh) * 2021-12-29 2024-05-31 西南科技大学 聚类中心一致性指导采样学习的多核聚类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130272573A1 (en) * 2011-07-15 2013-10-17 International Business Machines Corporation Multi-view object detection using appearance model transfer from similar scenes
CN104834746A (zh) * 2015-05-23 2015-08-12 华东交通大学 基于图形处理单元的异构特征时序数据演化聚类方法
CN106971197A (zh) * 2017-03-02 2017-07-21 北京工业大学 基于差异性与一致性约束的多视数据的子空间聚类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130272573A1 (en) * 2011-07-15 2013-10-17 International Business Machines Corporation Multi-view object detection using appearance model transfer from similar scenes
CN104834746A (zh) * 2015-05-23 2015-08-12 华东交通大学 基于图形处理单元的异构特征时序数据演化聚类方法
CN106971197A (zh) * 2017-03-02 2017-07-21 北京工业大学 基于差异性与一致性约束的多视数据的子空间聚类方法

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488900A (zh) * 2019-01-29 2020-08-04 大连理工大学 一种基于非负矩阵分解的多视图相关特征学习模型
CN111488900B (zh) * 2019-01-29 2023-08-04 大连理工大学 一种基于非负矩阵分解的多视图相关特征学习方法
CN111091475A (zh) * 2019-12-12 2020-05-01 华中科技大学 一种基于非负矩阵分解的社交网络特征提取方法
CN111091475B (zh) * 2019-12-12 2022-08-02 华中科技大学 一种基于非负矩阵分解的社交网络特征提取方法
CN111191699B (zh) * 2019-12-22 2022-10-21 中国人民解放军陆军工程大学 基于非负矩阵分解和划分自适应融合的多视角聚类方法
CN111191699A (zh) * 2019-12-22 2020-05-22 中国人民解放军陆军工程大学 基于非负矩阵分解和划分自适应融合的多视角聚类方法
CN111310807A (zh) * 2020-01-27 2020-06-19 哈尔滨理工大学 一种基于异质特征联合自表示的特征子空间与亲和矩阵联合学习方法
CN111310807B (zh) * 2020-01-27 2022-08-19 哈尔滨理工大学 一种基于异质特征联合自表示的特征子空间与亲和矩阵联合学习方法
CN111368254A (zh) * 2020-03-02 2020-07-03 西安邮电大学 多流形正则化非负矩阵分解的多视角数据缺失补全方法
CN111368254B (zh) * 2020-03-02 2023-04-07 西安邮电大学 多流形正则化非负矩阵分解的多视角数据缺失补全方法
CN111814016A (zh) * 2020-07-13 2020-10-23 重庆邮电大学 一种混合粒度多视图新闻数据聚类方法
CN111814016B (zh) * 2020-07-13 2022-07-12 重庆邮电大学 一种混合粒度多视图新闻数据聚类方法
CN112148911A (zh) * 2020-08-19 2020-12-29 江苏大学 一种多视图本征低秩结构的图像聚类方法
CN112148911B (zh) * 2020-08-19 2024-03-19 江苏大学 一种多视图本征低秩结构的图像聚类方法
CN112287974A (zh) * 2020-09-28 2021-01-29 北京工业大学 一种基于自适应权重的多视k多均值的图像聚类方法
CN112287974B (zh) * 2020-09-28 2024-05-28 北京工业大学 一种基于自适应权重的多视k多均值的图像聚类方法
CN112908420A (zh) * 2020-12-02 2021-06-04 中山大学 一种基于去噪网络正则化的多组学数据整合方法及系统
CN112908420B (zh) * 2020-12-02 2023-07-04 中山大学 一种基于去噪网络正则化的多组学数据整合方法及系统
WO2022166366A1 (zh) * 2021-02-08 2022-08-11 浙江师范大学 一种基于一致图学习的多视图聚类方法
CN113139556B (zh) * 2021-04-22 2023-06-23 扬州大学 基于自适应构图的流形多视图图像聚类方法及系统
CN113139556A (zh) * 2021-04-22 2021-07-20 扬州大学 基于自适应构图的流形多视图图像聚类方法及系统
CN113313153B (zh) * 2021-05-20 2023-06-23 扬州大学 基于自适应图正则化的低秩nmf图像聚类方法与系统
CN113313153A (zh) * 2021-05-20 2021-08-27 扬州大学 基于自适应图正则化的低秩nmf图像聚类方法与系统
CN113554082A (zh) * 2021-07-15 2021-10-26 广东工业大学 一种自加权融合局部和全局信息的多视图子空间聚类方法
CN113554082B (zh) * 2021-07-15 2023-11-21 广东工业大学 一种自加权融合局部和全局信息的多视图子空间聚类方法
CN113807393A (zh) * 2021-08-10 2021-12-17 北京工业大学 基于多属性非负矩阵分解的聚类方法
CN113807393B (zh) * 2021-08-10 2024-04-26 北京工业大学 基于多属性非负矩阵分解的聚类方法
CN113947135B (zh) * 2021-09-27 2022-07-08 华东师范大学 基于缺失图重构和自适应近邻的不完整多视图聚类方法
CN113947135A (zh) * 2021-09-27 2022-01-18 华东师范大学 基于缺失图重构和自适应近邻的不完整多视图聚类方法
CN116432062A (zh) * 2021-12-29 2023-07-14 西南科技大学 聚类中心一致性指导采样学习的多核聚类方法
CN116432062B (zh) * 2021-12-29 2024-05-31 西南科技大学 聚类中心一致性指导采样学习的多核聚类方法

Similar Documents

Publication Publication Date Title
CN108776812A (zh) 基于非负矩阵分解和多样-一致性的多视图聚类方法
Recanatesi et al. Dimensionality compression and expansion in deep neural networks
Liu et al. Partially shared latent factor learning with multiview data
Rathore et al. Ensemble fuzzy clustering using cumulative aggregation on random projections
CN107203787B (zh) 一种无监督正则化矩阵分解特征选择方法
Sun et al. Global-local label correlation for partial multi-label learning
Li et al. Discriminative orthogonal nonnegative matrix factorization with flexibility for data representation
CN107341510B (zh) 基于稀疏正交的双图非负矩阵分解的图像聚类方法
Jiang et al. Variational deep embedding: A generative approach to clustering
Qian et al. Double constrained NMF for partial multi-view clustering
WO2022042043A1 (zh) 机器学习模型的训练方法、装置和电子设备
CN107392107A (zh) 一种基于异构张量分解的人脸特征提取方法
CN112529638B (zh) 基于用户分类和深度学习的服务需求动态预测方法及系统
CN105549885A (zh) 滑屏操控中用户情绪的识别方法和装置
He et al. Pairwise constrained concept factorization for data representation
Wang et al. Contrastive-ACE: Domain generalization through alignment of causal mechanisms
Zhao et al. Classification and saliency detection by semi-supervised low-rank representation
Zhang et al. Learning all-in collaborative multiview binary representation for clustering
CN108388918B (zh) 具有结构保持特性的数据特征选择方法
Jin et al. Accelerating infinite ensemble of clustering by pivot features
Shi et al. FS-MGKC: Feature selection based on structural manifold learning with multi-granularity knowledge coordination
Melnykov et al. Recent developments in model-based clustering with applications
Jian et al. Semi-supervised kernel matrix learning using adaptive constraint-based seed propagation
Long et al. Robust automated graph regularized discriminative non-negative matrix factorization
Kale et al. Computer vision and information technology: advances and applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181109