CN107292341B - 基于成对协同正则化和nmf的自适应多视图聚类方法 - Google Patents

基于成对协同正则化和nmf的自适应多视图聚类方法 Download PDF

Info

Publication number
CN107292341B
CN107292341B CN201710466702.2A CN201710466702A CN107292341B CN 107292341 B CN107292341 B CN 107292341B CN 201710466702 A CN201710466702 A CN 201710466702A CN 107292341 B CN107292341 B CN 107292341B
Authority
CN
China
Prior art keywords
matrix
view
clustering
nmf
regularization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710466702.2A
Other languages
English (en)
Other versions
CN107292341A (zh
Inventor
王秀美
张天真
高新波
王鑫鑫
李洁
邓成
田春娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Electronic Science and Technology
Original Assignee
Xian University of Electronic Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Electronic Science and Technology filed Critical Xian University of Electronic Science and Technology
Priority to CN201710466702.2A priority Critical patent/CN107292341B/zh
Publication of CN107292341A publication Critical patent/CN107292341A/zh
Application granted granted Critical
Publication of CN107292341B publication Critical patent/CN107292341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种基于成对协同正则化和NMF的自适应多视图聚类方法，用于解决现有多视图聚类方法中存在的精度低和归一化交互信息低的技术问题，实现步骤为：获取原始图像集的归一化非负多视图数据；计算多视图数据的拉普拉斯矩阵；构建成对协同正则化和NMF的自适应多视图聚类的目标函数；分别获取基矩阵、系数矩阵和权重参数的迭代更新表达式；获取更新后的基矩阵、系数矩阵和权重参数；对更新后的系数矩阵进行K‑均值聚类，得到聚类结果。本发明利用成对协同正则化方法保持视图间的相似性，并利用自适应方法自动学习视图内的相似性约束项的权重参数，有效提高了多视图聚类的性能，可应用于客户信息分析、金融分析和医学等领域。

Description

基于成对协同正则化和NMF的自适应多视图聚类方法
技术领域
本发明属于计算机视觉和模式识别技术领域，涉及一种自适应多视图聚类方法，具体涉及一种基于成对协同正则化和NMF的自适应多视图聚类方法，可应用于客户信息分析、金融分析和医学等领域。
背景技术
随着互联网、信息采集和信息检索等技术的高速发展，数据量急剧增多，信息社会已进入大数据时代。因此，如何从海量的数据中提取能够为我们所用的信息成为现代科学的当务之急。由此，数据挖掘应运而生，成为一种数据信息处理技术。聚类是数据挖掘领域中进行数据处理的重要分析工具和方法，同时也是机器学习领域中重要的研究方向。如今，单视图的数据聚类已取得较好的效果，然而，现阶段实际应用中的数据一般通过多特征或多视图进行描述，并且每个特征往往包含互补和交互信息。因此，如何利用多特征或多视图所包含的信息提高聚类性能，成为现阶段聚类的关键问题。针对多视图数据，如何设计快速有效的聚类算法，成为大数据时代亟待解决的问题。
聚类是将物理或抽象对象的集合分成由类似的对象组成的多个簇的过程。聚类算法以相似性为基础，由聚类所生成的簇是一组数据对象的集合，同一簇中的对象彼此相似，不同簇间的对象相异。聚类算法是为单视图数据设计的方法，经典的单视图聚类算法可分为基于划分、基于层次、基于密度、基于网格和基于统计学等聚类算法。多视图聚类的关键是如何融合多视图数据。多视图聚类一种朴素的做法是将不同视图的数据拼接成一个新的向量，然后基于拼接的向量，采用经典的单视图学习算法进行聚类。但这种方法只是原则上连接了不同视图的数据，而忽略了不同视图中的共享信息和特定的统计性质。另一种广泛使用的多视图聚类方法是对不同视图的数据进行融合，然后再进行聚类，得到聚类结果。这种方法可以充分挖掘不同视图的数据中包含的兼容和互补信息，因此可以得到较好的聚类结果。
NMF(Nonnegative Matrix Factorization，非负矩阵分解)将数据矩阵分解成两个低秩因子矩阵，实现了数据的低秩表示，并且分解后得到的基矩阵和系数矩阵具有较好的可解释性、明确的物理意义、占用存储空间少等优点，因此，NMF成为数据聚类的基本工具，广泛应用于单视图数据聚类和多视图数据聚类中。
例如Deng Cai，Xiaofei He和Jiawei Han等人，在2011年的IEEE TransactionsPattern Analysis and Machine Intelligence期刊的第8期，发表了名为“GraphRegularized Nonnegative Matrix Factorization for Data Representation”的文章，提出了基于图正则化NMF的数据表示方法，将图正则化合并到NMF的算法框架中，利用NMF对数据进行分解，得到对应的基矩阵和系数矩阵，并对分解得到的系数矩阵进行图正则化约束，保持数据的局部几何结构信息，取得了较好的聚类效果。该方法是为单视图数据设计的，将该方法应用到多视图聚类时，对每个视图的数据进行NMF，并对每个视图得到的系数矩阵分别进行图正则化，保持每个视图的相似性，但这种推广只考虑了视图内的相似性，忽略了视图间的相似性，并且为图正则化约束项设置了相同的权重参数，因此，使得多视图聚类的精度低和归一化交互信息低，影响了聚类性能。
又如Jialu Liu，Chi Wang，Jing Gao和Jiawei Han等人，在2013年的SIAMInternational Conference on Data Mining会议中，发表了名为“Multi-ViewClustering via Joint Nonnegative Matrix Factorization”的文章，提出了一种基于联合NMF的多视图聚类算法。该方法利用NMF对多视图数据进行分解，通过衡量每个视图的系数矩阵和所有视图共享的一致系数矩阵的差异性进行相似性保持。最后，在得到的一致系数矩阵上进行标准的K-均值聚类，得到数据的聚类结果。但该方法忽略了特征空间中的局部几何结构信息。另外，在进行相似性约束时，只考虑了每个视图系数矩阵和一致系数矩阵之间的差异性，忽略了视图间的差异性，使得多视图聚类的精度低和归一化交互信息低，影响了数据聚类的性能。
发明内容
本发明的目的在于针对上述已有技术存在的不足，提出了一种基于成对协同正则化和NMF的自适应多视图聚类方法，用于解决现有多视图聚类方法中存在的精度低和归一化交互信息低的技术问题。
本发明的技术思路是：对多视图数据进行NMF，得到基矩阵和系数矩阵；分别利用成对协同正则化和图正则化方法，构造多视图数据视图间和视图内的相似性约束项，并采用自适应的方法自动学习视图内的相似性约束项的权重参数，最后对更新得到的系数矩阵进行K-均值聚类，得到聚类结果。实现步骤如下：
(1)获取原始图像集的非负多视图数据从原始图像集中提取每幅图像的多种图像特征，得到原始图像集的非负多视图数据其中m表示第m个视图，且m＝1,2,…,nv，nv表示视图的数目；
(2)对非负多视图数据进行归一化：对非负多视图数据中的各视图数据分别进行归一化，得到归一化后的多视图数据
(3)计算多视图数据的拉普拉斯矩阵
(4)构建成对协同正则化和NMF的自适应多视图聚类的目标函数，实现步骤为：
(4a)对多视图数据进行NMF，得到基矩阵和系数矩阵
(4b)利用多视图数据基矩阵和系数矩阵构造NMF的重构误差项；
(4c)利用成对协同正则化方法，通过系数矩阵构造视图间的相似性约束项；
(4d)通过系数矩阵和拉普拉斯矩阵构造视图内的相似性约束项；
(4e)设置调节参数γ，采用自适应的方法，利用参数γ自动学习视图内的相似性约束项的自适应权重参数
(4f)获取成对协同正则化和NMF的自适应多视图聚类的目标函数：设置权衡参数λ，并将权衡参数λ作为视图间的相似性约束项的权重，将自适应权重参数作为视图内的相似性约束项的权重，对NMF的重构误差项、视图间的相似性约束项和视图内的相似性约束项进行权重相加，得到成对协同正则化和NMF的自适应多视图聚类的目标函数；
(5)初始化基矩阵系数矩阵和权重参数将基矩阵系数矩阵和权重参数中所有元素的值初始化为(0，1)之间的随机数；
(6)分别获取基矩阵系数矩阵和权重参数的迭代更新表达式：对基矩阵系数矩阵和权重参数进行交替迭代，得到基矩阵的迭代更新表达式、系数矩阵的迭代更新表达式和权重参数的迭代更新表达式；
(7)获取更新后的基矩阵系数矩阵和权重参数实现步骤为：
(7a)设定目标函数差值的阈值和最大迭代次数；
(7b)利用基矩阵系数矩阵和权重参数的迭代更新表达式，分别对对应的基矩阵系数矩阵和权重参数进行迭代更新，并在每次迭代完成时，计算目标函数的值，迭代直到两次迭代的目标函数的差值小于设定的阈值或者迭代次数达到最大迭代次数；
(7c)获得更新后的基矩阵系数矩阵和权重参数
(8)对更新后的系数矩阵进行K-均值聚类，得到聚类结果，其中K为聚类的类数，实现步骤为：
(8a)对更新后的系数矩阵取平均值，得到一致系数矩阵V*；
(8b)对一致系数矩阵V*进行K-均值聚类，得到聚类结果。
本发明与现有技术相比，具有以下优点：
本发明利用成对协同正则化方法，构造多视图数据视图间的相似性约束项，将每两个视图的系数矩阵之间的差异进行视图间的相似性保持，并采用自适应的方法，利用一个参数衡量每个视图的数据对多视图数据分布的贡献程度，自动学习视图内的相似性约束项的权重参数，有效提高了多视图聚类的精度和归一化交互信息，提升了多视图聚类的聚类性能。
附图说明
图1为本发明的实现流程图；
图2为本发明与现有的基于联合NMF的多视图聚类方法和基于图正则化NMF的多视图聚类方法，在3sources数据库下的聚类性能实验结果曲线对比图，其中，图2(a)为取不同近邻数目时的聚类精度曲线图，图2(b)为取不同近邻数目时的聚类归一化交互信息的曲线图；
图3为本发明与现有的基于联合NMF的多视图聚类方法和基于图正则化NMF的多视图聚类方法，在UCI 3views数据库下的聚类性能实验结果曲线对比图，其中，图3(a)为取不同近邻数目时的聚类精度曲线图，图3(b)为取不同近邻数目时的聚类归一化交互信息的曲线图；
图4为本发明与现有的基于联合NMF的多视图聚类方法和基于图正则化NMF的多视图聚类方法，在UCI 2views数据库下的聚类性能实验结果曲线对比图，其中，图4(a)为取不同近邻数目时的聚类精度曲线图，图4(b)为取不同近邻数目时的聚类归一化交互信息的曲线图；
图5为本发明与现有的基于联合NMF的多视图聚类方法和基于图正则化NMF的多视图聚类方法，在Wiki数据库下的聚类性能实验结果曲线对比图，其中，图5(a)为取不同近邻数目时的聚类精度曲线图，图5(b)为取不同近邻数目时的聚类归一化交互信息的曲线图。
具体实施方式
下面结合附图和具体实施例，对本发明作进一步详细描述。
参照图1，基于成对协同正则化和NMF的自适应多视图聚类方法，包括如下步骤：
步骤1)获取原始图像集的非负多视图数据从原始图像集中提取每幅图像的多种图像特征，得到原始图像集的非负多视图数据其中m表示第m个视图，且m＝1,2,…,nv，nv表示视图的数目；
步骤2)对非负多视图数据进行归一化：对非负多视图数据中的各视图数据分别进行归一化，得到归一化后的多视图数据
步骤3)计算多视图数据的拉普拉斯矩阵实现步骤为：
(3a)将多视图数据的每行作为一个样本数据点，分别计算多视图数据中各视图数据的每两个样本数据点间的欧氏距离；
(3b)对多视图数据中各视图数据的每个样本数据点，取出其前k个最小的欧氏距离值对应的数据点作为该样本数据点的k近邻点，得到多视图数据的k近邻图，其中k为近邻点的数目，k的取值范围为[10,50]，取此范围的值时，聚类性能相对稳定；
(3c)根据k近邻图构建多视图数据的关联矩阵若第p个数据点是第q个数据点的k近邻点，则令关联矩阵中对应的矩阵元素为1，否则令其对应矩阵元素为0，其中p和q分别表示第p和q个数据点，且p＝1,2,…,N，q＝1,2,…,N，N表示原始图像的数目；
(3d)对关联矩阵的行求和，得到多视图数据的度矩阵并通过关联矩阵和度矩阵计算多视图数据的拉普拉斯矩阵其计算表达式为：
步骤4)构建成对协同正则化和NMF的自适应多视图聚类的目标函数，实现步骤为：
(4a)对多视图数据进行NMF，得到基矩阵和系数矩阵
(4b)对多视图数据进行NMF后，希望多视图数据尽可能接近分解之后的基矩阵和系数矩阵的乘积，采用F范数作为重构误差项的度量，构造NMF的重构误差项，其表达式为：其中||·||F代表矩阵的F范数，表示F范数的平方；
(4c)利用成对协同正则化方法，对多视图数据每两个视图的系数矩阵进行相似性约束，也就是将每个视图的系数矩阵与余下视图的系数矩阵进行相似性约束，使得不同视图的系数矩阵尽可能相似，得到视图间的相似性约束项，其表达式为：
(4d)通过系数矩阵和拉普拉斯矩阵构造视图内的相似性约束项，其表达式为：用于保持多视图数据的局部几何结构信息，使得原始特征空间中相似的数据点的表示系数仍具有相似性，其中tr(·)代表矩阵的迹；
(4e)设置调节参数γ，采用自适应的方法，通过一个参数γ衡量每个视图的数据对多视图数据分布的贡献程度，自动学习视图内的相似性约束项的自适应权重参数使得不同视图具有不同的权重参数；
(4f)获取成对协同正则化和NMF的自适应多视图聚类的目标函数，实现步骤为：
(4f1)设置权衡参数λ；
(4f2)将权衡参数λ作为视图间的相似性约束项的权重，得到加权的视图间的相似性约束项，其表达式为：
(4f2)将采用自适应方法自动学习的自适应权重参数作为视图内的相似性约束项的权重，得到加权的视图内的相似性约束项，其表达式为：
参数γ用于自动学习视图内的相似性约束项的权重参数
(4f3)对NMF的重构误差项、视图间的相似性约束项和视图内的相似性约束项进行权重相加，得到成对协同正则化和NMF的自适应多视图聚类的目标函数，其表达式为：
步骤5)初始化基矩阵系数矩阵和权重参数将基矩阵系数矩阵和权重参数中所有元素的值初始化为(0，1)之间的随机数，初始化是为了保证能够进行基矩阵系数矩阵和权重参数的交替迭代；
步骤6)分别获取基矩阵系数矩阵和权重参数的迭代更新表达式：对基矩阵系数矩阵和权重参数进行交替迭代，得到基矩阵的迭代更新表达式、系数矩阵的迭代更新表达式和权重参数的迭代更新表达式；
步骤7)获取更新后的基矩阵系数矩阵和权重参数实现步骤为：
(7a)设定目标函数差值的阈值和最大迭代次数；
(7b)利用基矩阵系数矩阵和权重参数的迭代更新表达式，分别对对应的基矩阵系数矩阵和权重参数进行迭代更新，并在每次迭代完成时，计算目标函数的值，迭代直到两次迭代的目标函数的差值小于设定的阈值或者迭代次数达到最大迭代次数，实现步骤为：
(7b1)利用迭代更新基矩阵U(m)中的元素其中i＝1,2,…,M，t＝1,2,…,r，其中M表示原始图像的像素个数，r表示NMF的低秩表示维度；
(7b2)利用迭代更新系数矩阵V(m)中的元素其中j＝1,2,…,N，D(m)为一个对角矩阵，其对角元素为：
(7b3)利用更新权重参数αm；
(7c)获得更新后的基矩阵系数矩阵和权重参数
步骤8)对更新后的系数矩阵进行K-均值聚类，K为聚类的类数，实现步骤为：
(8a)对更新后的系数矩阵取平均值，得到一致系数矩阵V*；
(8b)对一致系数矩阵V*进行K-均值聚类，得到聚类结果，实现步骤为：
(8b1)将一致系数矩阵V*的每行作为一个样本数据点；
(8b2)随机选取一致系数矩阵V*中的K个数据点作为K个类的初始聚类中心；
(8b3)计算每个数据点到K个聚类中心的距离，按照最小距离原则将每个数据点分配到最邻近的聚类中心所属的类别；
(8b4)更新聚类中心；
(8b5)重复执行步骤(8b3)和(8b4)，直到聚类中心不再发生变化时停止，得到一致系数矩阵V*的聚类结果。
以下结合仿真实验，对本发明的技术效果作进一步说明。
1.仿真条件和内容：
仿真条件：
本发明的仿真实验中计算机配置环境为Intel(R)Core(i7-3770)3.40GHZ中央处理器、内存16G、WINDOWS 7操作系统，计算机仿真软件采用MATLAB R2015b软件。
本发明在常用的多视图数据集3sources、UCI 2views、UCI 3views和Wiki数据集上进行仿真。
实验中的参数设置为3sources数据集：λ＝1.4，γ＝2；UCI 2views数据集：λ＝0.5，γ＝2；UCI 3views数据集：λ＝0.6，γ＝9；Wiki数据集：λ＝0.1，γ＝2。
仿真内容：
本发明的方法与两种现有的多视图聚类方法进行了对比，作为对比的方法有基于联合NMF的多视图聚类方法和基于图正则化NMF的多视图聚类方法。
仿真实验中，分别画出聚类精度和归一化交互信息曲线来评估多视图聚类的性能。聚类精度为聚类后得到的类标和样本本身类标相同的个数和总样本数的比值。归一化交互信息是对交互信息进行归一化，而交互信息是对随机选取的两个样本同时属于两个类的概率和每个样本只属于某一类的概率的比值取对数，再与同时属于两个类的概率相乘得到的结果。本发明重复10次实验，取聚类精度和归一化交互信息的平均值作为聚类结果。
在仿真图中的三条曲线中，用正方形标注的曲线代表本发明的方法，用三角形标注的曲线代表基于联合NMF的多视图聚类方法，用五角形标注的曲线代表基于图正则化NMF的多视图聚类方法，每条曲线上有9个标注点，标注点的横坐标表示近邻图的近邻数，从左到右的取值分别为10、15、20、25、30、35、40、45、50，标注点的纵坐标表示对应的聚类性能指标值。
仿真1：本发明的仿真实验1是在3sources数据集实现的，分别采用本发明和现有的基于联合NMF的多视图聚类方法和基于图正则化NMF的多视图聚类方法进行实验，实验结果如图2所示。图2(a)为取不同近邻数目时的聚类精度曲线图，图2(a)中的横坐标轴表示近邻图的近邻数，纵坐标轴表示聚类精度。图2(b)为取不同近邻数目时的聚类归一化交互信息的曲线图，图2(b)中的横坐标轴表示近邻图的近邻数，纵坐标轴表示聚类归一化交互信息。
仿真2：本发明的仿真实验2是在UCI 3views数据集实现的，分别采用本发明和现有的基于联合NMF的多视图聚类方法和基于图正则化NMF的多视图聚类方法进行实验，实验结果如图3所示。图3(a)为取不同近邻数目时的聚类精度曲线图，图3(a)中的横坐标轴表示近邻图的近邻数，纵坐标轴表示聚类精度。图3(b)为取不同近邻数目时的聚类归一化交互信息的曲线图，图3(b)中的横坐标轴表示近邻图的近邻数，纵坐标轴表示聚类归一化交互信息。
仿真3：本发明的仿真实验3是在UCI 2views数据集实现的，分别采用本发明和现有的基于联合NMF的多视图聚类方法和基于图正则化NMF的多视图聚类方法进行实验，实验结果如图4所示。图4(a)为取不同近邻数目时的聚类精度曲线图，图4(a)中的横坐标轴表示近邻图的近邻数，纵坐标轴表示聚类精度。图4(b)为取不同近邻数目时的聚类归一化交互信息的曲线图，图4(b)中的横坐标轴表示近邻图的近邻数，纵坐标轴表示聚类归一化交互信息。
仿真4：本发明的仿真实验4是在Wiki数据集实现的，分别采用本发明和现有的基于联合NMF的多视图聚类方法和基于图正则化NMF的多视图聚类方法进行实验，实验结果如图5所示。图5(a)为取不同近邻数目时的聚类精度曲线图，图5(a)中的横坐标轴表示近邻图的近邻数，纵坐标轴表示聚类精度。图5(b)为取不同近邻数目时的聚类归一化交互信息的曲线图，图5(b)中的横坐标轴表示近邻图的近邻数，纵坐标轴表示聚类归一化交互信息。
2.仿真结果分析：
由图2-5的仿真结果可见，采用本发明对多视图数据进行聚类时，聚类精度和归一化交互信息的值明显高于现有的基于联合NMF的多视图聚类方法和基于图正则化NMF的多视图聚类方法，因此，与现有的多视图聚类技术相比，本发明利用成对协同正则化方法，构造多视图数据视图间的相似性约束项，并采用自适应方法，利用一个参数衡量每个视图的数据对多视图数据分布的贡献程度，自动学习视图内的相似性约束项的权重参数，有效提高了多视图聚类的精度和归一化交互信息，提升了多视图聚类的聚类性能。

Claims (9)

1.一种基于成对协同正则化和NMF的自适应多视图聚类方法，包括如下步骤：
(1)获取原始图像集的非负多视图数据从原始图像集中提取每幅图像的多种图像特征，得到原始图像集的非负多视图数据其中m表示第m个视图，且m＝1,2,…,nv，nv表示视图的数目；
(2)对非负多视图数据进行归一化：对非负多视图数据中的各视图数据分别进行归一化，得到归一化后的多视图数据
(3)计算多视图数据的拉普拉斯矩阵
(4)构建成对协同正则化和NMF的自适应多视图聚类的目标函数，实现步骤为：
(4a)对多视图数据进行NMF，得到基矩阵和系数矩阵
(4b)利用多视图数据基矩阵和系数矩阵构造NMF的重构误差项；
(4c)利用成对协同正则化方法，通过系数矩阵构造视图间的相似性约束项；
(4d)通过系数矩阵和拉普拉斯矩阵构造视图内的相似性约束项；
(4e)设置调节参数γ，采用自适应的方法，利用参数γ自动学习视图内的相似性约束项的自适应权重参数
(4f)获取成对协同正则化和NMF的自适应多视图聚类的目标函数：设置权衡参数λ，并将权衡参数λ作为视图间的相似性约束项的权重，将自适应权重参数作为视图内的相似性约束项的权重，对NMF的重构误差项、视图间的相似性约束项和视图内的相似性约束项进行权重相加，得到成对协同正则化和NMF的自适应多视图聚类的目标函数；
(5)初始化基矩阵系数矩阵和权重参数将基矩阵系数矩阵和权重参数中所有元素的值初始化为(0,1)之间的随机数；
(6)分别获取基矩阵系数矩阵和权重参数的迭代更新表达式：对基矩阵系数矩阵和权重参数进行交替迭代，得到基矩阵的迭代更新表达式、系数矩阵的迭代更新表达式和权重参数的迭代更新表达式；
(7)获取更新后的基矩阵系数矩阵和权重参数实现步骤为：
(7a)设定目标函数差值的阈值和最大迭代次数；
(7b)利用基矩阵系数矩阵和权重参数的迭代更新表达式，分别对对应的基矩阵系数矩阵和权重参数进行迭代更新，并在每次迭代完成时，计算目标函数的值，迭代直到两次迭代的目标函数的差值小于设定的阈值或者迭代次数达到最大迭代次数；
(7c)获得更新后的基矩阵系数矩阵和权重参数
(8)对更新后的系数矩阵进行K-均值聚类，得到聚类结果，其中K为聚类的类数，实现步骤为：
(8a)对更新后的系数矩阵取平均值，得到一致系数矩阵V*；
(8b)对一致系数矩阵V*进行K-均值聚类，得到聚类结果。
2.根据权利要求1所述的基于成对协同正则化和NMF的自适应多视图聚类方法，其特征在于，步骤(3)中所述的计算多视图数据的拉普拉斯矩阵实现步骤为：
(3a)将多视图数据的每行作为一个样本数据点，分别计算多视图数据中各视图数据的每两个样本数据点间的欧氏距离；
(3b)对多视图数据中各视图数据的每个样本数据点，取出其前k个最小的欧氏距离值对应的数据点作为该样本数据点的k近邻点，得到多视图数据的k近邻图，其中k为近邻点的数目；
(3c)根据k近邻图构建多视图数据的关联矩阵若第p个数据点是第q个数据点的k近邻点，则令关联矩阵中对应的矩阵元素为1，否则令其对应矩阵元素为0，其中p和q分别表示第p和q个数据点，且p＝1,2,…,N，q＝1,2,…,N，N表示原始图像的数目；
(3d)对关联矩阵的行求和，得到多视图数据的度矩阵并通过关联矩阵和度矩阵计算多视图数据的拉普拉斯矩阵
3.根据权利要求2所述的基于成对协同正则化和NMF的自适应多视图聚类方法，其特征在于，步骤(3d)中所述的计算多视图数据的拉普拉斯矩阵计算公式为：
4.根据权利要求1所述的基于成对协同正则化和NMF的自适应多视图聚类方法，其特征在于，步骤(4b)中所述的NMF重构误差项，其表达式为：
其中||·||F代表矩阵的F范数，表示F范数的平方。
5.根据权利要求1所述的基于成对协同正则化和NMF的自适应多视图聚类方法，其特征在于，步骤(4c)中所述的视图间的相似性约束项，其表达式为：
6.根据权利要求1所述的基于成对协同正则化和NMF的自适应多视图聚类方法，其特征在于，步骤(4d)中所述的视图内的相似性约束项，其表达式为：
其中tr(·)代表矩阵的迹。
7.根据权利要求1所述的基于成对协同正则化和NMF的自适应多视图聚类方法，其特征在于，步骤(4f)中所述的成对协同正则化和NMF的自适应多视图聚类的目标函数，其表达式为：
其中，tr(·)表示矩阵的迹。
8.根据权利要求1所述的基于成对协同正则化和NMF的自适应多视图聚类方法，其特征在于，步骤(7b)中所述的利用基矩阵系数矩阵和权重参数的迭代更新表达式，分别对对应的基矩阵系数矩阵和权重参数进行迭代更新，实现步骤为：
(7b1)利用迭代更新基矩阵U(m)中的元素其中i＝1,2,…,M，t＝1,2,…,r，其中M表示原始图像的像素个数，r表示NMF的低秩表示维度；
(7b2)利用迭代更新系数矩阵V(m)中的元素其中j＝1,2,…,N，N表示原始图像的数目，D(m)为一个对角矩阵，其对角元素为
(7b3)利用更新权重参数αm，其中，tr(·)表示矩阵的迹。
9.根据权利要求1所述的基于成对协同正则化和NMF的自适应多视图聚类方法，其特征在于，步骤(8b)中所述的对一致系数矩阵V*进行K-均值聚类，得到聚类结果，实现步骤为：
(8b1)将一致系数矩阵V*的每行作为一个样本数据点；
(8b2)随机选取一致系数矩阵V*中的K个数据点作为K个类的初始聚类中心；
(8b3)计算每个数据点到K个聚类中心的距离，按照最小距离原则将每个数据点分配到最邻近的聚类中心所属的类别；
(8b4)更新聚类中心；
(8b5)重复执行步骤(8b3)和(8b4)，直到聚类中心不再发生变化时停止，得到一致系数矩阵V*的聚类结果。
CN201710466702.2A 2017-06-20 2017-06-20 基于成对协同正则化和nmf的自适应多视图聚类方法 Active CN107292341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710466702.2A CN107292341B (zh) 2017-06-20 2017-06-20 基于成对协同正则化和nmf的自适应多视图聚类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710466702.2A CN107292341B (zh) 2017-06-20 2017-06-20 基于成对协同正则化和nmf的自适应多视图聚类方法

Publications (2)

Publication Number Publication Date
CN107292341A CN107292341A (zh) 2017-10-24
CN107292341B true CN107292341B (zh) 2019-12-10

Family

ID=60097338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710466702.2A Active CN107292341B (zh) 2017-06-20 2017-06-20 基于成对协同正则化和nmf的自适应多视图聚类方法

Country Status (1)

Country Link
CN (1) CN107292341B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363724B (zh) * 2018-01-04 2021-12-10 浙江大学 一种利用图像正则化及数据重建解决特征提取任务的方法
CN109063725B (zh) * 2018-06-13 2021-09-28 江苏理工学院 面向多视图聚类的多图正则化深度矩阵分解方法
CN109325515B (zh) * 2018-08-10 2021-09-28 江苏理工学院 基于局部学习正则化的深度矩阵分解方法及图像聚类方法
CN111488900B (zh) * 2019-01-29 2023-08-04 大连理工大学 一种基于非负矩阵分解的多视图相关特征学习方法
CN109993214B (zh) * 2019-03-08 2021-06-08 华南理工大学 基于拉普拉斯正则化和秩约束的多视图聚类方法
CN110175631B (zh) * 2019-04-28 2022-08-30 南京邮电大学 一种基于共同学习子空间结构和聚类指示矩阵的多视图聚类方法
CN110598740B (zh) * 2019-08-08 2022-03-01 中国地质大学（武汉） 一种基于多样性和一致性学习的谱嵌入多视图聚类方法
CN111191699B (zh) * 2019-12-22 2022-10-21 中国人民解放军陆军工程大学 基于非负矩阵分解和划分自适应融合的多视角聚类方法
CN112287974A (zh) * 2020-09-28 2021-01-29 北京工业大学 一种基于自适应权重的多视k多均值的图像聚类方法
CN113313153B (zh) * 2021-05-20 2023-06-23 扬州大学 基于自适应图正则化的低秩nmf图像聚类方法与系统
CN113947135B (zh) * 2021-09-27 2022-07-08 华东师范大学 基于缺失图重构和自适应近邻的不完整多视图聚类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400143A (zh) * 2013-07-12 2013-11-20 中国科学院自动化研究所 一种基于多视角的数据子空间聚类方法
CN104537124A (zh) * 2015-01-28 2015-04-22 苏州德沃智能系统有限公司 多视图度量学习方法
CN104794183A (zh) * 2015-04-10 2015-07-22 浙江大学 一种基于多视图多标签的图片标注方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070230774A1 (en) * 2006-03-31 2007-10-04 Sony Corporation Identifying optimal colors for calibration and color filter array design

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400143A (zh) * 2013-07-12 2013-11-20 中国科学院自动化研究所 一种基于多视角的数据子空间聚类方法
CN104537124A (zh) * 2015-01-28 2015-04-22 苏州德沃智能系统有限公司 多视图度量学习方法
CN104794183A (zh) * 2015-04-10 2015-07-22 浙江大学 一种基于多视图多标签的图片标注方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Multi-View Clustering via Multi-Manifold Regularized Nonnegative Matrix Factorization》;Xianchao Zhang，et al.;《2014 IEEE International Conference on Data Mining》;20141231;第1103-1108页 *
《一种改进的多视图聚类集成算法》;邓强，等;《计算机科学》;20170131;第44卷(第1期);第65-70页 *
《基于多流形正则化非负矩阵分解的多视图聚类》;赵龙;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315(第3期);第I138-6175页 *

Also Published As

Publication number Publication date
CN107292341A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN107292341B (zh) 基于成对协同正则化和nmf的自适应多视图聚类方法
Naldi et al. Efficiency issues of evolutionary k-means
Xu et al. ℓ0-based sparse hyperspectral unmixing using spectral information and a multi-objectives formulation
US8015125B2 (en) Multi-scale segmentation and partial matching 3D models
Greene et al. Unsupervised learning and clustering
dos Santos et al. A relevance feedback method based on genetic programming for classification of remote sensing images
Ferreira et al. Kernel fuzzy c-means with automatic variable weighting
Chakraborty et al. Simultaneous variable weighting and determining the number of clusters—A weighted Gaussian means algorithm
Sinaga et al. Entropy K-means clustering with feature reduction under unknown number of clusters
Jia et al. Approximate normalized cuts without Eigen-decomposition
Tang et al. One-step multiview subspace segmentation via joint skinny tensor learning and latent clustering
Fornarelli et al. An unsupervised multi-swarm clustering technique for image segmentation
Tsai et al. A fast particle swarm optimization for clustering
CN112735536A (zh) 一种基于子空间随机化单细胞集成聚类方法
Chen et al. LABIN: Balanced min cut for large-scale data
CN113326862A (zh) 审计大数据融合聚类与风险数据检测方法、介质、设备
Jia et al. Global and local structure preserving nonnegative subspace clustering
He et al. Robust adaptive graph regularized non-negative matrix factorization
Gavval et al. CUDA-Self-Organizing feature map based visual sentiment analysis of bank customer complaints for Analytical CRM
Wei et al. Efficient local histogram searching via bitmap indexing
Zhang et al. Chameleon algorithm based on improved natural neighbor graph generating sub-clusters
CN113516019B (zh) 高光谱图像解混方法、装置及电子设备
Ye et al. Community preserving mapping for network hyperbolic embedding
Choi et al. Convex clustering for binary data
Aparna et al. Comprehensive study and analysis of partitional data clustering techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant