CN108776812A - 基于非负矩阵分解和多样-一致性的多视图聚类方法 - Google Patents
基于非负矩阵分解和多样-一致性的多视图聚类方法 Download PDFInfo
- Publication number
- CN108776812A CN108776812A CN201810549602.0A CN201810549602A CN108776812A CN 108776812 A CN108776812 A CN 108776812A CN 201810549602 A CN201810549602 A CN 201810549602A CN 108776812 A CN108776812 A CN 108776812A
- Authority
- CN
- China
- Prior art keywords
- matrix
- view
- clustering
- negative
- diversity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 243
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000010606 normalization Methods 0.000 claims abstract description 11
- 230000014509 gene expression Effects 0.000 claims description 27
- 238000000354 decomposition reaction Methods 0.000 claims description 23
- 230000003595 spectral effect Effects 0.000 claims description 7
- 238000003064 k means clustering Methods 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 claims description 5
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 6
- 239000004568 cement Substances 0.000 abstract 1
- 230000006870 function Effects 0.000 description 19
- 238000004088 simulation Methods 0.000 description 9
- 230000000295 complement effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000007418 data mining Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出了一种基于非负矩阵分解和多样‑一致性的多视图聚类方法，用于解决现有多视图聚类方法中存在的聚类精度和归一化交互信息较低的技术问题，实现步骤为：获取原始图像集的归一化非负多视图数据；构建多视图数据对应的基矩阵、系数矩阵和类标指示矩阵；构建基于非负矩阵分解和多样‑一致性多视图聚类的目标函数；获取基矩阵、系数矩阵和拉普拉斯矩阵的迭代更新表达式；获取类标指示矩阵的最优值；对类标指示矩阵的最优值进行K‑均值聚类，得到多视图数据对应的聚类簇。本发明利用表示多样性和类标一致性，学习多视图数据中的互补和公共信息，有效提高了多视图聚类的性能，可应用于生物信息分析和金融投资分析等领域。
Description
技术领域
本发明属于计算机视觉和模式识别技术领域，涉及一种多视图聚类方法，具体涉及一种基于非负矩阵分解和多样-一致性的多视图聚类方法，可应用于生物信息分析、金融投资分析和商务应用等领域。
背景技术
近年来，互联网信息技术的发展，使得数据成为当今社会中重要的组成部分。随着多媒体技术的发展，数据呈现爆炸式增长，海量成为当今数据的一个显著特征。此外，随着信息采集技术的迅速发展，人们可以从不同数据源中获取大量数据，这些异质数据在不同角度描述同一目标的不同特征，将每个数据源的数据看作一个视图的数据，由此可得多视图数据。多视图数据中包含比单视图数据更加详细全面的信息，通常包含公共和互补信息。因此，多视图学习成为当今数据时代的一个研究方向。综上，如何从海量的多视图数据中提取出有用的信息成为现代数据处理的主要任务。数据挖掘是数据预处理中最常用的基本方法，聚类是数据挖掘领域中常用的基本分析方法之一。如今，针对单视图数据的传统聚类方法已取得较好的效果，但若将传统聚类方法直接应用到多视图数据中进行聚类，不能有效利用多视图数据中的公共和互补信息，因而影响了多视图数据的聚类效果。因此，如何利用多视图数据中包含的丰富信息提高聚类性能，成为现阶段聚类领域中的关键问题，如何设计快速有效的多视图聚类方法，成为大数据时代亟待解决的问题。
聚类是机器学习和数据挖掘领域的基本方法，其目的在于利用数据中的潜在数据结构，将数据集划分为若干个聚类簇，使得同一簇中的数据点之间的相似性较高，不同簇间的数据点间的相似性较低。传统的单视图聚类方法可分为基于原型、基于层次、基于密度、基于网格、基于图和基于模型等聚类方法。多视图聚类方法的关键在于如何融合多视图数据，充分利用多视图数据中的有用信息提高多视图数据的聚类性能。一种朴素的多视图聚类方法是将多视图数据进行拼接得到一个新的单视图数据，再通过传统的单视图聚类方法得到聚类结果。此类方法只是原则上组合了不同视图的数据，忽略了不同视图数据中包含的公共和互补信息，从而影响了多视图数据的聚类效果。另一种多视图聚类方法是学习多视图数据的一个公共子空间，并在此公共子空间中进行多视图数据的聚类分析，由此得到多视图数据的聚类结果。这类算法通常可以学习到多视图数据中的公共信息，因此可以得到较好的聚类结果。
非负矩阵分解(Nonnegative Matrix Factorization，NMF)将数据矩阵分解为两个低秩矩阵的乘积，实现了数据的降维，一般情况下，分解后的基矩阵和系数矩阵是非负且稀疏的，该方法具有较好的可解释性和明确的物理意义，因此，非负矩阵分解成为数据表示中有力的基本方法，被广泛应用于单视图数据聚类和多视图数据聚类领域中。现有基于非负矩阵分解的多视图聚类方法虽然取得了较好的聚类结果，但是此类方法在对多视图数据进行聚类时，忽略了多视图数据中包含的互补信息，使得聚类精度和归一化交互信息较低，影响了多视图数据的聚类效果。
例如Linlin Zong，Xianchao Zhang，Long Zhao，Hong Yu和Qianli Zhao等人，在2017年的Neural Networks期刊中，发表了名为“Multi-view clustering via multi-manifold regularized non-negative matrix factorization”的文章，提出基于多流形正则的非负矩阵分解的多视图聚类方法，该方法分别利用非负矩阵分解、基于质心的协同正则化和流形正则化方法对多视图数据进行建模，保持多视图数据所在的特征空间中的局部几何结构信息，同时寻找多视图数据共享的一致性表示矩阵，对一致性表示矩阵进行K-均值聚类，得到多视图数据的聚类结果。但该方法只利用了多视图数据中包含的公共信息，忽略了多视图数据中的互补信息，使得聚类精度和归一化交互信息较低，影响了多视图数据的聚类性能。
发明内容
本发明的目的在于针对上述已有技术存在的不足，提出了一种基于非负矩阵分解和多样-一致性的多视图聚类方法，用于解决现有技术中存在的聚类精度和归一化交互信息较低的技术问题。
本发明的技术思路是：获取原始图像集的归一化非负多视图数据，构建多视图数据对应的基矩阵、系数矩阵和类标指示矩阵，并利用非负矩阵分解的重构误差项、表示多样性约束项、类标一致性约束项和相似性保持项，构建基于非负矩阵分解和多样-一致性多视图聚类的目标函数，通过拉格朗日乘子法，获取基矩阵、系数矩阵和拉普拉斯矩阵的迭代更新表达式，并得到类标指示矩阵的最优值，对类标指示矩阵的最优值进行K-均值聚类，得到多视图数据对应的聚类簇。实现步骤如下：
(1)获取原始图像集的非负多视图数据
提取原始图像集中每幅图像的多种图像特征，得到原始图像集的非负多视图数据其中，m表示第m个视图，且m＝1,2,…,nv，nv表示视图的数目；
(2)对非负多视图数据进行归一化：
对非负多视图数据中的每个视图数据进行归一化，得到归一化后的多视图数据
(3)构建多视图数据对应的基矩阵和系数矩阵
对多视图数据中的每个视图数据进行谱聚类，得到对应的基矩阵和系数矩阵
(4)构建多视图数据对应的类标指示矩阵F：
构建多视图数据对应的拉普拉斯矩阵并对中所有拉普拉斯矩阵的和进行奇异值分解，得到多视图数据对应的类标指示矩阵F；
(5)构建基于非负矩阵分解和多样-一致性的多视图聚类的目标函数：
(5a)利用多视图数据基矩阵和系数矩阵构造非负矩阵分解的重构误差项；
(5b)利用希尔伯特-施密特独立准则，通过系数矩阵构造表示多样性约束项；
(5c)利用流形正则化方法，通过系数矩阵和拉普拉斯矩阵构造相似性保持项；
(5d)利用谱聚类方法，通过拉普拉斯矩阵和类标指示矩阵F，构造类标一致性约束项；
(5e)获取基于非负矩阵分解和多样-一致性的多视图聚类的目标函数：
设置表示多样性约束项的权重为λ1，相似性保持项的权重为λ2，类标一致性约束项的权重为λ3，并对非负矩阵分解的重构误差项、表示多样性约束项、相似性保持项和类标一致性约束项进行加权相加，得到基于非负矩阵分解和多样-一致性的多视图聚类的目标函数，其中，λ1、λ2和λ3的取值范围为[0,1]；
(6)获取基矩阵系数矩阵和拉普拉斯矩阵的迭代更新表达式：
(6a)构建基于非负矩阵分解和多样-一致性的多视图聚类的目标函数对应的拉格朗日函数
(6b)利用拉格朗日函数对基矩阵系数矩阵和拉普拉斯矩阵分别进行交替迭代，得到的迭代更新表达式E1、的迭代更新表达式E2和的迭代更新表达式E3；
(7)获取类标指示矩阵F的最优值F*：
(7a)设定目标函数差值的阈值和最大迭代次数；
(7b)定义E1对的一次迭代更新、E2对的一次迭代更新和E3对的一次迭代更新，为对和的一次迭代；
(7c)对和进行多次迭代，并计算每次迭代后基于非负矩阵分解和多样-一致性的多视图聚类的目标函数的值，直到迭代次数达到最大迭代次数或者两次迭代后的目标函数的差值小于设定的阈值，停止迭代，得到更新后的基矩阵系数矩阵和拉普拉斯矩阵
(7d)计算类标指示矩阵F的最优值F*：
(7d1)计算拉普拉斯矩阵中所有拉普拉斯矩阵的和M：
(7d2)对M进行奇异值分解，对分解得到的多个特征值按照从小到大的顺序排列，并计算前C个特征值中每个特征值对应的特征向量，得到C个特征向量，其中，C为聚类簇的个数，且C≥1；
(7d3)将C个特征向量对应的C个特征值按照从小到大的顺序排列，得到特征矩阵，并将该特征矩阵作为类标指示矩阵F的最优值F*；
(8)对类标指示矩阵F的最优值F*进行K-均值聚类，得到多视图数据对应的聚类簇。
本发明与现有技术相比，具有以下优点：
本发明利用希尔伯特-施密特独立准则，构造多视图数据的表示多样性约束项，利用谱聚类方法，构造多视图数据的类标一致性约束项，并通过非负矩阵分解的重构误差项、表示多样性约束项、类标一致性约束项和相似性保持项，构建基于非负矩阵分解和多样-一致性的多视图聚类的目标函数，该目标函数充分利用了多视图数据中包含的公共和互补信息，与现有技术相比，有效地提高了多视图聚类的精度和归一化交互信息。
附图说明
图1为本发明的实现流程图；
图2为本发明与现有技术在UCI手写体数据集下的聚类精度的曲线对比图；
图3为本发明与现有技术在UCI手写体数据集下的聚类归一化交互信息的曲线对比图；
图4为本发明与现有技术在Extend YaleB数据集下的聚类精度的曲线对比图；
图5为本发明与现有技术在Extend YaleB数据集下的聚类归一化交互信息的曲线对比图。
具体实施方式
下面结合附图和具体实施例，对本发明作进一步详细描述。
参照图1，基于非负矩阵分解和多样-一致性的多视图聚类方法，包括如下步骤：
步骤1获取原始图像集的非负多视图数据
提取原始图像集中每幅图像的多种图像特征，得到原始图像集的非负多视图数据其中，m表示第m个视图，且m＝1,2,…,nv，nv表示视图的数目。
步骤2对非负多视图数据进行归一化：
对非负多视图数据中的每个视图数据进行归一化，得到归一化后的多视图数据
步骤3构建多视图数据对应的基矩阵和系数矩阵
对多视图数据中的每个视图数据进行谱聚类，得到对应的基矩阵和系数矩阵
步骤4构建多视图数据对应的类标指示矩阵F：
(4a)计算多视图数据中每个视图数据每两个样本数据点间的欧氏距离：
将多视图数据中每个视图数据的行作为样本数据点，计算每个视图数据中每两个样本数据点间的欧氏距离；
(4b)构建多视图数据的k近邻图：
将中每个视图数据的样本数据点xi对应的多个欧氏距离值按照从小到大的顺序排列，并将前k个欧氏距离值对应的除xi之外的样本数据点作为xi的k近邻点，每个视图数据的所有样本数据点的近邻关系构成k近邻图，得到多视图数据的k近邻图，其中，i＝1,2,…,N，N表示原始图像的数目，k表示近邻点的数目，k的取值过小，意味着只有与样本数据点较近的样本数据点才会对聚类结果起作用，容易发生过拟合；k的取值过大，与样本数据点较远的样本数据点也会对聚类结果起作用，可能导致聚类结果发生错误，我们取k＝10；
(4c)构建多视图数据的相似性矩阵
根据k近邻图，判断数据点xi是否为数据点xj的k近邻点，若是，令相似性矩阵中对应的矩阵元素Wij为否则，令其对应矩阵元素Wij为0，其中，i＝1,2,…,N，j＝1,2,…,N，N表示原始图像的数目；
(4d)计算多视图数据对应的拉普拉斯矩阵
对相似性矩阵按行进行求和，得到多视图数据的度矩阵并通过相似性矩阵和度矩阵利用计算公式计算多视图数据对应的拉普拉斯矩阵
(4e)对中所有拉普拉斯矩阵的和进行奇异值分解，得到多视图数据对应的类标指示矩阵F。
步骤5构建基于非负矩阵分解和多样-一致性的多视图聚类的目标函数：
(5a)利用多视图数据基矩阵和系数矩阵构造非负矩阵分解的重构误差项，其表达式为其中，(V(m))T表示矩阵V(m)的转置矩阵，||·||F表示矩阵的Frobenius范数，表示矩阵Frobenius范数的平方；
(5b)利用希尔伯特-施密特独立准则，通过系数矩阵构造表示多样性约束项，其表达式为：其中，V(m)表示第m个视图对应的系数矩阵，V(w)表示第w个视图对应的系数矩阵，并且N表示原始图像的数目，和表示分别定义在非负系数矩阵V(m)和V(w)上的核矩阵，tr(·)表示矩阵的迹，该约束项可以捕捉多种特征表示的多样性，学习多视图数据中的互补信息；
(5c)利用流形正则化方法，通过系数矩阵和拉普拉斯矩阵构造相似性保持项，其表达式为：使得在原始数据空间中相似的数据点，在进行非负矩阵分解之后得到的低维表示仍然具有相似性，从而保持特征空间中的局部几何结构信息；
(5d)利用谱聚类方法，通过拉普拉斯矩阵和类标指示矩阵F，构造类标一致性约束项，其表达式为：使得在不同特征表示下的样本得到相同的聚类结果；
(5e)获取基于非负矩阵分解和多样-一致性的多视图聚类的目标函数：
设置表示多样性约束项的权重为λ1，相似性保持项的权重为λ2，类标一致性约束项的权重为λ3，并对非负矩阵分解的重构误差项、表示多样性约束项、相似性保持项和类标一致性约束项进行加权相加，得到基于非负矩阵分解和多样-一致性的多视图聚类的目标函数，其表达式为：
s.t.U(m)≥0,V(m)≥0,m＝1,…,nv,FTF＝I
其中，λ1、λ2和λ3的取值范围为[0,1]。
步骤6获取基矩阵系数矩阵和拉普拉斯矩阵的迭代更新表达式：
(6a)构建基于非负矩阵分解和多样-一致性的多视图聚类的目标函数对应的拉格朗日函数其表达式为：
其中，ξ、η和为拉格朗日乘子；
(6b)利用拉格朗日函数对基矩阵系数矩阵和拉普拉斯矩阵分别进行交替迭代，得到的迭代更新表达式E1、的迭代更新表达式E2和的迭代更新表达式E3，其表达式分别为：
其中，i＝1,2,…,M，t＝1,2,…,d，j＝1,2,…,N，M为原始图像的像素个数，d为利用非负矩阵分解进行降维时的维度，
步骤7获取类标指示矩阵F的最优值F*：
(7a)设定目标函数差值的阈值和最大迭代次数；
(7b)定义E1对的一次迭代更新、E2对的一次迭代更新和E3对的一次迭代更新，为对和的一次迭代；
(7c)对和进行多次迭代，并计算每次迭代后基于非负矩阵分解和多样-一致性的多视图聚类的目标函数的值，直到迭代次数达到最大迭代次数或者两次迭代后的目标函数的差值小于设定的阈值，停止迭代，得到更新后的基矩阵系数矩阵和拉普拉斯矩阵
(7d)计算类标指示矩阵F的最优值F*：
(7d1)计算拉普拉斯矩阵中所有拉普拉斯矩阵的和M：
(7d2)对M进行奇异值分解，对分解得到的多个特征值按照从小到大的顺序排列，并计算前C个特征值中每个特征值对应的特征向量，得到C个特征向量，其中C为聚类簇的个数，且C≥1，实际应用中，C的取值过小，会使得聚类精度低，影响聚类效果，C的取值过大，容易造成过拟合，使得算法的泛化能力差；
(7d3)将C个特征向量对应的C个特征值按照从小到大的顺序排列，得到特征矩阵，并将该特征矩阵作为类标指示矩阵F的最优值F*。
步骤8对类标指示矩阵F的最优值F*进行K-均值聚类：
(8a)将类标指示矩阵F的最优值F*的每行数据作为样本数据点，并从F*中随机选取C个样本数据点，并将每个样本数据点作为一个聚类中心，得到C个聚类中心，其中C≥1；
(8b)计算每个样本数据点与每个聚类中心的距离，并将每个样本数据点分配到与其距离最小的聚类中心所属的类别中，得到C个聚类簇；
(8c)计算每个聚类簇中所有样本数据点的均值，并将每个聚类簇对应的均值作为该簇的聚类中心，实现对每个聚类簇聚类中心的更新；
(8d)重复执行步骤(8b)～(8c)，直到所有聚类中心不再发生变化时停止，得到多视图数据对应的聚类簇。
以下结合仿真实验，对本发明的技术效果作进一步说明。
1.仿真条件和内容：
本发明的仿真实验中计算机配置环境为Intel(R)Core(i7-3770)3.40GHZ中央处理器、内存16G、WINDOWS 7操作系统，计算机仿真软件采用MATLAB R2015b软件。本发明在公开的多视图数据集UCI手写体数据集和Extend YaleB数据集上进行仿真。实验中的参数设置为：λ1＝0.1，λ2＝0.2，λ3＝0.5，C＝10，k＝10。
仿真1：使用本发明与现有基于多流形正则的非负矩阵分解的多视图聚类方法在UCI手写体数据集中进行多视图聚类得到的聚类精度，其结果如图2所示。
仿真2：使用本发明与现有基于多流形正则的非负矩阵分解的多视图聚类方法在UCI手写体数据集中进行多视图聚类得到的聚类归一化交互信息，其结果如图3所示。
仿真3：使用本发明与现有基于多流形正则的非负矩阵分解的多视图聚类方法在Extend YaleB数据集中进行多视图聚类得到的聚类精度，其结果如图4所示。
仿真4：使用本发明与现有基于多流形正则的非负矩阵分解的多视图聚类方法在Extend YaleB数据集中进行多视图聚类得到的聚类归一化交互信息，其结果如图5所示。
2.仿真结果分析：
参照图2和图4，图2和图4为取不同的降维维度时的聚类精度曲线图，横坐标轴表示降维的维数，纵坐标轴表示聚类精度，用正方形标注的曲线表示本发明，用五角形标注的曲线表示基于多流形正则的非负矩阵分解的多视图聚类方法。
参照图3和图5，图3和图5为取不同的降维维度时的聚类归一化交互信息的曲线图，横坐标轴表示降维的维数，纵坐标轴表示聚类归一化交互信息，用正方形标注的曲线表示本发明，用五角形标注的曲线表示基于多流形正则的非负矩阵分解的多视图聚类方法。
从图2～图5的仿真结果图中可见，在不同的降维维度下，对多视图数据进行聚类时，本发明的聚类精度和归一化交互信息的值明显高于现有技术的聚类精度和归一化交互信息的值。这是因为在进行多视图聚类时，与现有多视图聚类技术相比，本发明利用非负矩阵分解的重构误差项、表示多样性约束项、类标一致性约束项和相似性保持项，构建基于非负矩阵分解和多样-一致性的多视图聚类的目标函数，该目标函数充分利用了多视图数据中的互补和公共信息，与现有技术相比，有效地提高了多视图聚类的精度和归一化交互信息。
Claims (10)
1.一种基于非负矩阵分解和多样-一致性的多视图聚类方法，其特征在于，包括如下步骤：
(1)获取原始图像集的非负多视图数据
提取原始图像集中每幅图像的多种图像特征，得到原始图像集的非负多视图数据其中，m表示第m个视图，且m＝1,2,…,nv，nv表示视图的数目；
(2)对非负多视图数据进行归一化：
对非负多视图数据中的每个视图数据进行归一化，得到归一化后的多视图数据
(3)构建多视图数据对应的基矩阵和系数矩阵
对多视图数据中的每个视图数据进行谱聚类，得到对应的基矩阵和系数矩阵
(4)构建多视图数据对应的类标指示矩阵F：
构建多视图数据对应的拉普拉斯矩阵并对中所有拉普拉斯矩阵的和进行奇异值分解，得到多视图数据对应的类标指示矩阵F；
(5)构建基于非负矩阵分解和多样-一致性的多视图聚类的目标函数：
(5a)利用多视图数据基矩阵和系数矩阵构造非负矩阵分解的重构误差项；
(5b)利用希尔伯特-施密特独立准则，通过系数矩阵构造表示多样性约束项；
(5c)利用流形正则化方法，通过系数矩阵和拉普拉斯矩阵构造相似性保持项；
(5d)利用谱聚类方法，通过拉普拉斯矩阵和类标指示矩阵F，构造类标一致性约束项；
(5e)获取基于非负矩阵分解和多样-一致性的多视图聚类的目标函数：
设置表示多样性约束项的权重为λ1，相似性保持项的权重为λ2，类标一致性约束项的权重为λ3，并对非负矩阵分解的重构误差项、表示多样性约束项、相似性保持项和类标一致性约束项进行加权相加，得到基于非负矩阵分解和多样-一致性的多视图聚类的目标函数，其中，λ1、λ2和λ3的取值范围为[0,1]；
(6)获取基矩阵系数矩阵和拉普拉斯矩阵的迭代更新表达式：
(6a)构建基于非负矩阵分解和多样-一致性的多视图聚类的目标函数对应的拉格朗日函数
(6b)利用拉格朗日函数对基矩阵系数矩阵和拉普拉斯矩阵分别进行交替迭代，得到的迭代更新表达式E1、的迭代更新表达式E2和的迭代更新表达式E3；
(7)获取类标指示矩阵F的最优值F*：
(7a)设定目标函数差值的阈值和最大迭代次数；
(7b)定义E1对的一次迭代更新、E2对的一次迭代更新和E3对的一次迭代更新，为对和的一次迭代；
(7c)对和进行多次迭代，并计算每次迭代后基于非负矩阵分解和多样-一致性的多视图聚类的目标函数的值，直到迭代次数达到最大迭代次数或者两次迭代后的目标函数的差值小于设定的阈值，停止迭代，得到更新后的基矩阵系数矩阵和拉普拉斯矩阵
(7d)计算类标指示矩阵F的最优值F*：
(7d1)计算拉普拉斯矩阵中所有拉普拉斯矩阵的和M：
(7d2)对M进行奇异值分解，对分解得到的多个特征值按照从小到大的顺序排列，并计算前C个特征值中每个特征值对应的特征向量，得到C个特征向量，其中，C为聚类簇的个数，且C≥1；
(7d3)将C个特征向量对应的C个特征值按照从小到大的顺序排列，得到特征矩阵，并将该特征矩阵作为类标指示矩阵F的最优值F*；
(8)对类标指示矩阵F的最优值F*进行K-均值聚类，得到多视图数据对应的聚类簇。
2.根据权利要求1所述的基于非负矩阵分解和多样-一致性的多视图聚类方法，其特征在于，步骤(4)中所述的构建多视图数据对应的拉普拉斯矩阵实现步骤为：
(4a)计算多视图数据中每个视图数据每两个样本数据点间的欧氏距离：
将多视图数据中每个视图数据的行作为样本数据点，计算每个视图数据中每两个样本数据点间的欧氏距离；
(4b)构建多视图数据的k近邻图：
将中每个视图数据的样本数据点xi对应的多个欧氏距离值按照从小到大的顺序排列，并将前k个欧氏距离值对应的除xi之外的样本数据点作为xi的k近邻点，每个视图数据的所有样本数据点的近邻关系构成k近邻图，得到多视图数据的k近邻图，其中，i＝1,2,…,N，N表示原始图像的数目，k表示近邻点的数目；
(4c)构建多视图数据的相似性矩阵
根据k近邻图，判断数据点xi是否为数据点xj的k近邻点，若是，令相似性矩阵中对应的矩阵元素Wij为否则，令其对应矩阵元素Wij为0，其中，i＝1,2,…,N，j＝1,2,…,N，N表示原始图像的数目；
(4d)计算多视图数据对应的拉普拉斯矩阵
对相似性矩阵按行进行求和，得到多视图数据的度矩阵并通过相似性矩阵和度矩阵利用计算公式计算多视图数据对应的拉普拉斯矩阵
3.根据权利要求1所述的基于非负矩阵分解和多样-一致性的多视图聚类方法，其特征在于，步骤(5a)中所述的非负矩阵分解的重构误差项，其表达式为：
其中，为多视图数据，为基矩阵，为系数矩阵，(V(m))T为矩阵VWm)的转置矩阵，||·||F为矩阵的Frobenius范数，为矩阵Frobenius范数的平方，nv为视图的数目。
4.根据权利要求1所述的基于非负矩阵分解和多样-一致性的多视图聚类方法，其特征在于，步骤(5b)中所述的表示多样性约束项，其表达式为：
其中，V(m)表示第m个视图对应的系数矩阵，V(w)表示第w个视图对应的系数矩阵，N表示原始图像的数目，和表示分别定义在非负系数矩阵V(m)和V(w)上的核矩阵，tr(·)表示矩阵的迹，nv表示视图的数目。
5.根据权利要求1所述的基于非负矩阵分解和多样-一致性的多视图聚类方法，其特征在于，步骤(5c)中所述的相似性保持项，其表达式为：
其中，为系数矩阵，为拉普拉斯矩阵，(V(m))T为矩阵V(m)的转置矩阵，tr(·)为矩阵的迹，nv为视图的数目。
6.根据权利要求1所述的基于非负矩阵分解和多样-一致性的多视图聚类方法，其特征在于，步骤(5d)中所述的类标一致性约束项，其表达式为：
其中，表示拉普拉斯矩阵，F表示类标指示矩阵，FT表示矩阵F的转置矩阵，tr(·)表示矩阵的迹，nv表示视图的数目。
7.根据权利要求1所述的基于非负矩阵分解和多样-一致性的多视图聚类方法，其特征在于，步骤(5e)中所述的基于非负矩阵分解和多样-一致性的多视图聚类的目标函数，其表达式为：
s.t.U(m)≥0,V(m)≥0,m＝1,…,nv,FTF＝I
其中，为多视图数据，为基矩阵，为系数矩阵，为拉普拉斯矩阵，F为类标指示矩阵，为矩阵Frobenius范数的平方，tr(·)为矩阵的迹，nv为视图的数目，λ1为表示多样性约束项的权重，λ2为相似性保持项的权重，λ3为类标一致性约束项的权重，I为单位矩阵。
8.根据权利要求1所述的基于非负矩阵分解和多样-一致性的多视图聚类方法，其特征在于，步骤(6a)中所述的基于非负矩阵分解和多样-一致性的多视图聚类的目标函数对应的拉格朗日函数，其表达式为：
其中，为多视图数据，为基矩阵，为系数矩阵，为拉普拉斯矩阵，F为类标指示矩阵，为矩阵Frobenius范数的平方，tr(·)为矩阵的迹，nv为视图的数目，λ1为表示多样性约束项的权重，λ2为相似性保持项的权重，λ3为类标一致性约束项的权重，ξ、η和ζ为拉格朗日乘子，I为单位矩阵。
9.根据权利要求1所述的基于非负矩阵分解和多样-一致性的多视图聚类方法，其特征在于，步骤(6b)中所述的基矩阵的迭代更新表达式E1、系数矩阵的迭代更新表达式E2、拉普拉斯矩阵的迭代更新表达式E3，其表达式分别为：
其中，为多视图数据，为基矩阵，为系数矩阵，为拉普拉斯矩阵，F为类标指示矩阵，为矩阵Frobenius范数的平方，tr(·)为矩阵的迹，λ1为表示多样性约束项的权重，λ2为相似性保持项的权重，λ3为类标一致性约束项的权重，i＝1,2,…,M，t＝1,2,…,d，j＝1,2,…,N，M为原始图像的像素个数，d为利用非负矩阵分解进行降维时的维度，
10.根据权利要求1所述的基于非负矩阵分解和多样-一致性的多视图聚类方法，其特征在于，步骤(8)中所述的对类标指示矩阵F的最优值F*进行K-均值聚类，实现步骤为：
(8a)将类标指示矩阵F的最优值F*的每行数据作为样本数据点，并从F*中随机选取C个样本数据点，并将每个样本数据点作为一个聚类中心，得到C个聚类中心，其中C≥1；
(8b)计算每个样本数据点与每个聚类中心的距离，并将每个样本数据点分配到与其距离最小的聚类中心所属的类别中，得到C个聚类簇；
(8c)计算每个聚类簇中所有样本数据点的均值，并将每个聚类簇对应的均值作为该簇的聚类中心，实现对每个聚类簇聚类中心的更新；
(8d)重复执行步骤(8b)～(8c)，直到所有聚类中心不再发生变化时停止，得到多视图数据对应的聚类簇。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810549602.0A CN108776812A (zh) | 2018-05-31 | 2018-05-31 | 基于非负矩阵分解和多样-一致性的多视图聚类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810549602.0A CN108776812A (zh) | 2018-05-31 | 2018-05-31 | 基于非负矩阵分解和多样-一致性的多视图聚类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108776812A true CN108776812A (zh) | 2018-11-09 |
Family
ID=64028266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810549602.0A Pending CN108776812A (zh) | 2018-05-31 | 2018-05-31 | 基于非负矩阵分解和多样-一致性的多视图聚类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108776812A (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091475A (zh) * | 2019-12-12 | 2020-05-01 | 华中科技大学 | 一种基于非负矩阵分解的社交网络特征提取方法 |
| CN111191699A (zh) * | 2019-12-22 | 2020-05-22 | 中国人民解放军陆军工程大学 | 基于非负矩阵分解和划分自适应融合的多视角聚类方法 |
| CN111310807A (zh) * | 2020-01-27 | 2020-06-19 | 哈尔滨理工大学 | 一种基于异质特征联合自表示的特征子空间与亲和矩阵联合学习方法 |
| CN111368254A (zh) * | 2020-03-02 | 2020-07-03 | 西安邮电大学 | 多流形正则化非负矩阵分解的多视角数据缺失补全方法 |
| CN111488900A (zh) * | 2019-01-29 | 2020-08-04 | 大连理工大学 | 一种基于非负矩阵分解的多视图相关特征学习模型 |
| CN111814016A (zh) * | 2020-07-13 | 2020-10-23 | 重庆邮电大学 | 一种混合粒度多视图新闻数据聚类方法 |
| CN112148911A (zh) * | 2020-08-19 | 2020-12-29 | 江苏大学 | 一种多视图本征低秩结构的图像聚类方法 |
| CN112287974A (zh) * | 2020-09-28 | 2021-01-29 | 北京工业大学 | 一种基于自适应权重的多视k多均值的图像聚类方法 |
| CN112908420A (zh) * | 2020-12-02 | 2021-06-04 | 中山大学 | 一种基于去噪网络正则化的多组学数据整合方法及系统 |
| CN113139556A (zh) * | 2021-04-22 | 2021-07-20 | 扬州大学 | 基于自适应构图的流形多视图图像聚类方法及系统 |
| CN113313153A (zh) * | 2021-05-20 | 2021-08-27 | 扬州大学 | 基于自适应图正则化的低秩nmf图像聚类方法与系统 |
| CN113554082A (zh) * | 2021-07-15 | 2021-10-26 | 广东工业大学 | 一种自加权融合局部和全局信息的多视图子空间聚类方法 |
| CN113591879A (zh) * | 2021-07-22 | 2021-11-02 | 大连理工大学 | 基于自监督学习的深度多视图聚类方法、网络、装置及存储介质 |
| CN113807393A (zh) * | 2021-08-10 | 2021-12-17 | 北京工业大学 | 基于多属性非负矩阵分解的聚类方法 |
| CN113947135A (zh) * | 2021-09-27 | 2022-01-18 | 华东师范大学 | 基于缺失图重构和自适应近邻的不完整多视图聚类方法 |
| WO2022166366A1 (zh) * | 2021-02-08 | 2022-08-11 | 浙江师范大学 | 一种基于一致图学习的多视图聚类方法 |
| CN115098672A (zh) * | 2022-05-11 | 2022-09-23 | 合肥工业大学 | 基于多视图深度聚类的用户需求发现方法和系统 |
| CN115098709A (zh) * | 2022-06-24 | 2022-09-23 | 中国人民解放军国防科技大学 | 多视图数据的特征选择方法及相关设备 |
| CN116432062A (zh) * | 2021-12-29 | 2023-07-14 | 西南科技大学 | 聚类中心一致性指导采样学习的多核聚类方法 |
| CN118245651A (zh) * | 2024-05-27 | 2024-06-25 | 陕西智引科技有限公司 | 一种基于欧氏距离及图拉普拉斯矩阵强约束的自适应多视图聚类算法的5g矿井下定位方法 |
| CN118503733A (zh) * | 2024-07-18 | 2024-08-16 | 中南大学 | 基于非负矩阵分解的多视图聚类方法、系统、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130272573A1 (en) * | 2011-07-15 | 2013-10-17 | International Business Machines Corporation | Multi-view object detection using appearance model transfer from similar scenes |
| CN104834746A (zh) * | 2015-05-23 | 2015-08-12 | 华东交通大学 | 基于图形处理单元的异构特征时序数据演化聚类方法 |
| CN106971197A (zh) * | 2017-03-02 | 2017-07-21 | 北京工业大学 | 基于差异性与一致性约束的多视数据的子空间聚类方法 |
-
2018
- 2018-05-31 CN CN201810549602.0A patent/CN108776812A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130272573A1 (en) * | 2011-07-15 | 2013-10-17 | International Business Machines Corporation | Multi-view object detection using appearance model transfer from similar scenes |
| CN104834746A (zh) * | 2015-05-23 | 2015-08-12 | 华东交通大学 | 基于图形处理单元的异构特征时序数据演化聚类方法 |
| CN106971197A (zh) * | 2017-03-02 | 2017-07-21 | 北京工业大学 | 基于差异性与一致性约束的多视数据的子空间聚类方法 |
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111488900B (zh) * | 2019-01-29 | 2023-08-04 | 大连理工大学 | 一种基于非负矩阵分解的多视图相关特征学习方法 |
| CN111488900A (zh) * | 2019-01-29 | 2020-08-04 | 大连理工大学 | 一种基于非负矩阵分解的多视图相关特征学习模型 |
| CN111091475A (zh) * | 2019-12-12 | 2020-05-01 | 华中科技大学 | 一种基于非负矩阵分解的社交网络特征提取方法 |
| CN111091475B (zh) * | 2019-12-12 | 2022-08-02 | 华中科技大学 | 一种基于非负矩阵分解的社交网络特征提取方法 |
| CN111191699B (zh) * | 2019-12-22 | 2022-10-21 | 中国人民解放军陆军工程大学 | 基于非负矩阵分解和划分自适应融合的多视角聚类方法 |
| CN111191699A (zh) * | 2019-12-22 | 2020-05-22 | 中国人民解放军陆军工程大学 | 基于非负矩阵分解和划分自适应融合的多视角聚类方法 |
| CN111310807B (zh) * | 2020-01-27 | 2022-08-19 | 哈尔滨理工大学 | 一种基于异质特征联合自表示的特征子空间与亲和矩阵联合学习方法 |
| CN111310807A (zh) * | 2020-01-27 | 2020-06-19 | 哈尔滨理工大学 | 一种基于异质特征联合自表示的特征子空间与亲和矩阵联合学习方法 |
| CN111368254A (zh) * | 2020-03-02 | 2020-07-03 | 西安邮电大学 | 多流形正则化非负矩阵分解的多视角数据缺失补全方法 |
| CN111368254B (zh) * | 2020-03-02 | 2023-04-07 | 西安邮电大学 | 多流形正则化非负矩阵分解的多视角数据缺失补全方法 |
| CN111814016A (zh) * | 2020-07-13 | 2020-10-23 | 重庆邮电大学 | 一种混合粒度多视图新闻数据聚类方法 |
| CN111814016B (zh) * | 2020-07-13 | 2022-07-12 | 重庆邮电大学 | 一种混合粒度多视图新闻数据聚类方法 |
| CN112148911B (zh) * | 2020-08-19 | 2024-03-19 | 江苏大学 | 一种多视图本征低秩结构的图像聚类方法 |
| CN112148911A (zh) * | 2020-08-19 | 2020-12-29 | 江苏大学 | 一种多视图本征低秩结构的图像聚类方法 |
| CN112287974B (zh) * | 2020-09-28 | 2024-05-28 | 北京工业大学 | 一种基于自适应权重的多视k多均值的图像聚类方法 |
| CN112287974A (zh) * | 2020-09-28 | 2021-01-29 | 北京工业大学 | 一种基于自适应权重的多视k多均值的图像聚类方法 |
| CN112908420B (zh) * | 2020-12-02 | 2023-07-04 | 中山大学 | 一种基于去噪网络正则化的多组学数据整合方法及系统 |
| CN112908420A (zh) * | 2020-12-02 | 2021-06-04 | 中山大学 | 一种基于去噪网络正则化的多组学数据整合方法及系统 |
| WO2022166366A1 (zh) * | 2021-02-08 | 2022-08-11 | 浙江师范大学 | 一种基于一致图学习的多视图聚类方法 |
| CN113139556A (zh) * | 2021-04-22 | 2021-07-20 | 扬州大学 | 基于自适应构图的流形多视图图像聚类方法及系统 |
| CN113139556B (zh) * | 2021-04-22 | 2023-06-23 | 扬州大学 | 基于自适应构图的流形多视图图像聚类方法及系统 |
| CN113313153A (zh) * | 2021-05-20 | 2021-08-27 | 扬州大学 | 基于自适应图正则化的低秩nmf图像聚类方法与系统 |
| CN113313153B (zh) * | 2021-05-20 | 2023-06-23 | 扬州大学 | 基于自适应图正则化的低秩nmf图像聚类方法与系统 |
| CN113554082B (zh) * | 2021-07-15 | 2023-11-21 | 广东工业大学 | 一种自加权融合局部和全局信息的多视图子空间聚类方法 |
| CN113554082A (zh) * | 2021-07-15 | 2021-10-26 | 广东工业大学 | 一种自加权融合局部和全局信息的多视图子空间聚类方法 |
| CN113591879A (zh) * | 2021-07-22 | 2021-11-02 | 大连理工大学 | 基于自监督学习的深度多视图聚类方法、网络、装置及存储介质 |
| CN113807393A (zh) * | 2021-08-10 | 2021-12-17 | 北京工业大学 | 基于多属性非负矩阵分解的聚类方法 |
| CN113807393B (zh) * | 2021-08-10 | 2024-04-26 | 北京工业大学 | 基于多属性非负矩阵分解的聚类方法 |
| CN113947135A (zh) * | 2021-09-27 | 2022-01-18 | 华东师范大学 | 基于缺失图重构和自适应近邻的不完整多视图聚类方法 |
| CN113947135B (zh) * | 2021-09-27 | 2022-07-08 | 华东师范大学 | 基于缺失图重构和自适应近邻的不完整多视图聚类方法 |
| CN116432062A (zh) * | 2021-12-29 | 2023-07-14 | 西南科技大学 | 聚类中心一致性指导采样学习的多核聚类方法 |
| CN116432062B (zh) * | 2021-12-29 | 2024-05-31 | 西南科技大学 | 聚类中心一致性指导采样学习的多核聚类方法 |
| CN115098672B (zh) * | 2022-05-11 | 2024-08-02 | 合肥工业大学 | 基于多视图深度聚类的用户需求发现方法和系统 |
| CN115098672A (zh) * | 2022-05-11 | 2022-09-23 | 合肥工业大学 | 基于多视图深度聚类的用户需求发现方法和系统 |
| CN115098709A (zh) * | 2022-06-24 | 2022-09-23 | 中国人民解放军国防科技大学 | 多视图数据的特征选择方法及相关设备 |
| CN115098709B (zh) * | 2022-06-24 | 2024-09-03 | 中国人民解放军国防科技大学 | 多视图数据的特征选择方法及相关设备 |
| CN118245651A (zh) * | 2024-05-27 | 2024-06-25 | 陕西智引科技有限公司 | 一种基于欧氏距离及图拉普拉斯矩阵强约束的自适应多视图聚类算法的5g矿井下定位方法 |
| CN118503733A (zh) * | 2024-07-18 | 2024-08-16 | 中南大学 | 基于非负矩阵分解的多视图聚类方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108776812A (zh) | 基于非负矩阵分解和多样-一致性的多视图聚类方法 | |
| CN112116017B (zh) | 基于核保持的图像数据降维方法 | |
| CN107292341B (zh) | 基于成对协同正则化和nmf的自适应多视图聚类方法 | |
| Titsias et al. | Spike and slab variational inference for multi-task and multiple kernel learning | |
| CN109002854A (zh) | 基于隐表示和自适应的多视图子空间聚类方法 | |
| CN108415883B (zh) | 基于子空间聚类的凸非负矩阵分解方法 | |
| CN105740912B (zh) | 基于核范数正则化的低秩图像特征提取的识别方法及系统 | |
| CN109977994B (zh) | 一种基于多示例主动学习的代表性图像选取方法 | |
| CN109063757A (zh) | 基于块对角表示和视图多样性的多视图子空间聚类方法 | |
| CN109543723B (zh) | 一种鲁棒的图像聚类方法 | |
| Ding et al. | Unsupervised feature selection via adaptive hypergraph regularized latent representation learning | |
| Dehshibi et al. | Cubic norm and kernel-based bi-directional PCA: toward age-aware facial kinship verification | |
| CN110705648A (zh) | 大规模多视图数据自降维K-means算法及系统 | |
| CN105046323B (zh) | 一种正则化rbf网络多标签分类方法 | |
| CN109241813A (zh) | 用于非约束人脸识别的判别稀疏保持嵌入方法 | |
| CN115995011B (zh) | 基于图正则化的非线性正交非负矩阵分解图像聚类方法 | |
| Zhao et al. | Classification and saliency detection by semi-supervised low-rank representation | |
| CN115795333A (zh) | 一种基于低秩约束自适应图学习的不完整多视图聚类方法 | |
| CN115392350A (zh) | 一种基于共正则化谱聚类的不完整多视图聚类方法和系统 | |
| CN109447147B (zh) | 基于双图稀疏的深度矩阵分解的图像聚类方法 | |
| CN108388918B (zh) | 具有结构保持特性的数据特征选择方法 | |
| Jin et al. | Accelerating infinite ensemble of clustering by pivot features | |
| Huang et al. | Efficient optimization for linear dynamical systems with applications to clustering and sparse coding | |
| CN105740784B (zh) | 一种基于距离优化降维的手写字体识别系统 | |
| Maji et al. | Multimodal Omics Data Integration Using Max Relevance--Max Significance Criterion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181109 |