CN115601578A - 基于自步学习与视图赋权的多视图聚类方法及系统 - Google Patents

基于自步学习与视图赋权的多视图聚类方法及系统 Download PDF

Info

Publication number
CN115601578A
CN115601578A CN202211188421.2A CN202211188421A CN115601578A CN 115601578 A CN115601578 A CN 115601578A CN 202211188421 A CN202211188421 A CN 202211188421A CN 115601578 A CN115601578 A CN 115601578A
Authority
CN
China
Prior art keywords
view
clustering
data
matrix
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211188421.2A
Other languages
English (en)
Inventor
任亚洲
普敬誉
黄宗漠
杨之蒙
莫日华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Electronic Information Engineering Research Institute of UESTC
Original Assignee
Guangdong Electronic Information Engineering Research Institute of UESTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Electronic Information Engineering Research Institute of UESTC filed Critical Guangdong Electronic Information Engineering Research Institute of UESTC
Priority to CN202211188421.2A priority Critical patent/CN115601578A/zh
Publication of CN115601578A publication Critical patent/CN115601578A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于自步学习与视图赋权的多视图聚类方法及系统,属于多视图数据处理技术领域。本发明方法为:对多视图数据集归一化,再将多视图数据拼接,利用kmeans算法初始化各视图聚类核及分配矩阵,并计算各视图权重,通过目标函数依次迭代更新各视图样本权值矩阵、各视图聚类核、分配矩阵,当满足迭代结束条件时,输出最终聚类核心与分配矩阵。本发明的聚类系统包括获取模块、预处理模块、构建模块、优化模块和聚类输出模块。本发明通过自步学习模型,多视图聚类对聚类数据依次学习并最终得到聚类结果;通过视图赋权,模型能够有选择性地学习不同视图的信息,从而有效提升聚类准确性。本发明可用于图像数据库、文本数据库等的检索应用。

Description

基于自步学习与视图赋权的多视图聚类方法及系统
技术领域
本发明属于多视图数据处理技术领域,具体涉及一种基于自步学习与视图赋权的多视图聚类方法及系统。
背景技术
随着信息化技术的发展,各领域中积累的数据越来越多,挖掘出数据背后隐藏的有价值的信息需要采用一定的数据挖掘手段,聚类作为数据挖掘一个重要手段,通常涉及非监督学习场景,其目的是根据对象的特征将一组对象划分为不同的组。通过这种方式,具有相似特征或属性的对象将被分组到相同的集群中。
普通的聚类,也就是对一个视图组成的数据聚类称为单视图聚类,而多视图聚类则是使用多个不同描述方式的数据进行聚类。多视图聚类被广泛应用于真实世界数据聚类,如网页聚类,自然语言聚类,图像聚类,多模式学习等。对于特定的学习问题,最小特征集是未知的,在没有先验信息的情况下,我们收集的信息越多,模型可以获得的培训结果越好。此外,随着信息收集技术的发展,人们能够从更多的角度描述对象。单视图聚类方法不适合这些问题,因为不同的特征(或视图)具有不同的属性。因此,多视图聚类方法更适合于解决这些问题。
但是无论是多视图聚类还是单视图聚类,核心问题都是都需要非凸优化函数。然而在聚类时,多视图聚类通常会陷入局部最小点,导致聚类效果很差。
当前流行的解决方案是利用不同的初始化参数进行多次聚类,得到不同结果并选最优。但多视图聚类仍然有可能陷入局部最小点,同时这种方法的计算成本太大。
自步学习(SPL)是一种新的机器学习架构,自步学习的核心理念是模仿人类认知的机制。首先,该应用自步学习的模型将通过简单,高置信度系数数据进行训练,然后使用更难,更复杂和低置信系数的数据训练模型。其中,简单数据也可以被解释为训练中有较小的损失或较大的似然值的数据,困难的数据也可以被解释为训练中有较大的损失或较小的似然值的数据。
经验证明,SPL具有避免不良局部最小值的能力,因此具有更好的通用能力。所以,SPL通常用于找到存在多个本地最小值的非凸问题的更好解。
此外,由于多视图聚类中不同视图的质量往往差别巨大,笼统地不同视图信息融合往往难以取得令人满意的结果。针对多视图聚类过程中这一问题,通过对不同视图赋予相应权重,是提升最终聚类效果的必要操作。
发明内容
本发明旨在解决多视图聚类会陷入局部最小点与易受质量较差视图影响的技术问题,以提升对目标数据集的聚类准确性。
一方面,本发明提供了一种基于自步学习与视图赋权的多视图聚类方法,所述方法包括:
步骤1,输入待聚类的数据集以及聚类任务的聚类数k,所述数据集的每个数据点均包括m个视图,其中,m大于1;
并对待聚类的数据集进行归一化处理,得到归一化后的数据集X={X1,X2,...,Xv,...,Xm},其中,Xv表示视图v的视图数据,Xv∈RDv×n,Dv表示视图v的特征维数,n表示数据集X包括的数据点数量,视图编号v=1,2,...,m;
步骤2,对各视图数据Xv进行特征拼接,对拼接后的各视图数据的数据点采用kmeans聚类处理,基于聚类结果初始化各视图的聚类核Cv和分配矩阵B={b1,b2,...,bj...,bn}∈Rk×n,其中,bj表示第j个数据点的聚类表示,bj为k维向量,每一维的取值为0或1,且满足
Figure BDA0003865541870000021
步骤3,计算各视图的权重ηv
Figure BDA0003865541870000022
步骤4,通过目标函数计算每个数据点的损失,并基于各数据点的损失更新各视图样本权值矩阵Wv
所述目标函数为:
Figure BDA0003865541870000023
其中,
Figure BDA0003865541870000024
Figure BDA0003865541870000025
表示第v个视图的第i个数据点的权重,目
Figure BDA0003865541870000026
Figure BDA0003865541870000027
表示正则化函数,λv表示自步学习超参数;
步骤5,基于当前参数,最小化目标函数,更新各视图的聚类核Cv;再基于更新后的聚类核Cv,最小化目标函数,更新分配矩阵B;
步骤6,迭代执行步骤3至5,直到满足迭代更新结束条件时,输出数据集的最终聚类结果:最近得到的聚类核Cv和分配矩阵B。
进一步的,迭代更新结束条件为:目标函数值收敛或者达到最大的迭代次数。
另一方面,本发明提供了一种基于自步学习与视图赋权的多视图聚类系统,所述系统包括:获取模块、预处理模块、构建模块、优化模块和聚类输出模块;
其中,
获取模块,用于获取聚类任务和待聚类的数据集,并将数据集发送至预处理模块,聚类任务中的聚类数k发送给构建模块,所述数据集的每个数据点均包括m个视图,其中,m大于1;
预处理模块,用于对待聚类的数据集进行归一化处理后发送至构建模块;
构建模块,对归一化后的数据集中的各视图数据Xv进行特征拼接,对拼接后的各视图数据的数据点采用kmeans聚类处理,基于聚类结果初始化各视图的聚类核Cv和分配矩阵B={b1,b2,...,bj...,bn}∈Rk×n,并根据公式
Figure BDA0003865541870000031
计算各视图的权重ηv,其中,k表示聚类数,bj表示第j个数据点的聚类表示,bj为k维向量,每一维的取值为0或1,且满足
Figure BDA0003865541870000032
构建模块将聚类核Cv、分配矩阵B和视图的权重ηv发送至优化模块;
优化模块,通过目标函数计算每个数据点的损失,并基于各数据点的损失更新各视图样本权值矩阵Wv
所述目标函数为:
Figure BDA0003865541870000033
其中,
Figure BDA0003865541870000034
Figure BDA0003865541870000035
表示第v个视图的第i个数据点的权重,且
Figure BDA0003865541870000036
Figure BDA0003865541870000037
表示正则化函数,λv表示自步学习超参数;
以及基于当前参数,最小化目标函数,更新各视图的聚类核Cv;再基于更新后的聚类核Cv,最小化目标函数,更新分配矩阵B;
迭代依次更新视图样本权值矩阵Wv、视图的聚类核Cv和分配矩阵B,直到满足迭代更新结束条件,将最近得到的聚类核Cv和分配矩阵B发送给聚类输出模块;
聚类输出模块,基于收到的聚类核Cv和分配矩阵B输出显示数据集的最终聚类结果。
本发明提供的技术方案至少带来如下有益效果:
在本发明中,通过自步学习模型,多视图聚类对聚类数据依次学习并最终得到聚类结果;通过视图赋权,模型能够有选择性地学习不同视图的信息。比起现有的聚类技术,聚类的准确性以及各方面参数都有了进一步的提升,为多视图聚类提供了一种可以广泛应用的架构。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种基于自步学习与视图赋权的多视图聚类方法的处理流程图。
图2是本发明实施例提供的一种基于自步学习与视图赋权的多视图聚类系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本发明针对现有的多视图聚类中的非凸优化,同时易受聚类结构模糊视图影响的问题,为了使聚类结果更加精确,本发明实施例提供了一种可以用于图像数据聚类的基于自步学习与视图赋权的多视图聚类方法,本发明方法充分利用了自步学习能够解决非凸优化问题的特性,同时也减少了异常值、噪声与质量较差视图对聚类结果的影响。本发明方法为处理聚类数据提供了新方法,为目前绝大多数多视图聚类提供了一种新的通用的架构以提高聚类性能,本发明可以用于数据库数据(如图像数据库、文本数据库等)的检索应用,即首先基于本发明方法对目标数据库进行聚类处理,将目标数据库聚为多个簇(聚类),并获取每个簇中心的特征信息;对输入的当前待检索信息,分别与每个类中心的特征信息进行匹配,基于最匹配的簇中心确定待检索对象的所属的簇,然后在匹配上的簇中对待检索对象进行检索处理,并输出检索结果。例如对于图像检索,首先基于本发明将目标图像数据库聚为多个簇,再提取每个簇中心的图像特征向量(例如卷积神经网络获取、描述算子等特征提取方式);对用户输入的待检索图像,首先进行图像特征向量提取,然后通过图像特征向量之间的距离进行待检索图像所属的簇的匹配处理,再在匹配上的簇中通过图像特征向量匹配到对应的检索结果并反馈给用户。
如图1所示,本发明实施例提供的一种基于自步学习与视图赋权的多视图聚类方法具体实现过程为:
步骤1、构建实验所用数据集,本实施例数据集由Handwritten numerals,数据集由2000个数据点组成,包含有10个数据类,每个类具有相同的数据量,每个数据点均包含六个视图。
步骤2、输入数据集归一化,得到归一化后的数据集X={X1,X2,...,Xm},其中,Xm表示数据集中的样本,m表示视图数量,输入聚类数目K=10,输入其他超参数。
对于数据集中的某一个视图v,假设原Xv∈RDv×n,其中Dv为视图v的特征维数,n为样本个数,本实施例中,n设置为2000。对这些矩阵进行归一化,得到更新后的数据多视图集,并将目标聚类数目k与各超参数输入。
步骤3、将多视图数据拼接,利用kmeans算法,初始化各视图聚类核Cv及分配矩阵B。
在取得归一化操作的数据集X之后,将各视图数据进行拼接,得到
Figure BDA0003865541870000051
Figure BDA0003865541870000052
Figure BDA0003865541870000053
数据使用kmeans算法,将得到的聚类中心
Figure BDA0003865541870000054
还原至各视图,从而获取各视图初始聚类核Cv与初始化分配矩阵B={b1,b2,...,bj...,bn}∈Rk×n。其中,bj表示第j个样本的聚类表示,其为k维向量,每一维的取值为0或1,且满足
Figure BDA0003865541870000055
与聚类核C不同,分配矩阵B在数据集的各个视图之间是通用的,其约束条件为bij∈{0,1},分配矩阵B的直观的表现为一个每列只有一个非0元且数值为1的k×n矩阵。另外,根据自步学习方法、视图赋权与多视图聚类的目标函数形式,得到使用于本发明的目标函数:
Figure BDA0003865541870000056
其中,ηv为第v个视图的权重,m表示视图数量,λv为第v个视图的自步学习控制参数,
Figure BDA0003865541870000057
为样本权重,即第v个视图的第i个样本的权重,视图样本权值矩阵
Figure BDA0003865541870000058
函数f()为正则化器,其具体表达式可参考后文的公式(4)。
步骤4、计算各视图权重ηv,初始化迭代时间t为0,即t也可表示为迭代次数。
由于多视图聚类中,不同视图的视图质量往往存在差异,笼统地将视图信息融合往往难以取得令人满意的结果。为此,本发明通过初始化损失信息,为不同视图赋予相应权重ηv
Figure BDA0003865541870000059
步骤5、通过目标函数计算每个样本点造成的损失,以此为依据更新各视图样本权值矩阵Wv
在得到了分配矩阵B、聚类核Cv与视图权重ηv之后,便可以计算权重矩阵W={W1,W2,...,Wm},其中任意Wv为n×n的对角矩阵,根据目标函数,计算Wv的原理式为:
Figure BDA00038655418700000510
上式中的λv代表了自步学习超参数,其值随迭代进行而不断增大,从而使更多样本加入训练。另外:
Figure BDA00038655418700000511
其中,
Figure BDA0003865541870000061
由于l2,1范数的性质,可以将原问题进行转化,改为对于任意视图中的任意样本,令
Figure BDA0003865541870000062
求取
Figure BDA0003865541870000063
将该式对于
Figure BDA0003865541870000064
进行求导并将结果置0,可以得到
Figure BDA0003865541870000065
在训练过程中,模型通过在迭代过程中不断增大λv的值,逐渐学习越来越多的样本,从而实现自步学习。在求取所有的
Figure BDA0003865541870000066
之后,便完成了对于权值矩阵Wv的更新。
步骤6、固定其他参数,最小化目标函数,更新各视图聚类核Cv
对于各视图聚类核Cv的更新,由于目标函数不同的视图上是相互独立的,因此可将问题转化为对于任意视图v求:
Figure BDA0003865541870000067
s.t.Cv≥0#(6)
其中,由于数据在1中已经进行了归一化,因此Cv必然符合约束,而满足上式条件的Cv需要通过迭代的方法获取,并需要构造辅助函数J与Z进行推导。
辅助函数J的定义为:
J(Cv)=Tr((Xv-CvB)Dv(Xv-CvB)T)#(7)
辅助函数Z的定义为:
Figure BDA0003865541870000068
-2Tr(CvTXvDvBT)
s.t.Cv′≥0#(8)
其中,Tr()表示矩阵的迹,对角矩阵
Figure BDA0003865541870000069
有:
Figure BDA00038655418700000610
在之前已经提到,该步骤是对于每个视图分别进行的,因此省略了上标v,在之后的推导中,将同样按照该规则。B为分配矩阵,W为视图的权重矩阵,由公式可知,D为一个对角矩阵,其求取过程中所用到的Xi与Gi分别代表了矩阵X与G的第i个列向量,Cv代表视图当前的聚类核。
之所以选用Z作为辅助函数,是因为其具有两个特殊的性质:
Z(Cv,Cv)=J(Cv)
Z(Cv,Cv)≤Z(Cv,Cv′)#(10)
其中第一条性质容易得证,第二条性质则可以参考以下不等式:
Figure BDA0003865541870000071
将A=I,H=C,B=BDvBT代入,便可以得证Z的第二条性质。令f(Cv(t+1))=Z(Cv(t+1),Cv(t)),其中t代表当前迭代时刻,对Cv(t+1)进行求导并将其置零,最终得到:
Figure BDA0003865541870000072
使f(Cv(t+1))取得最小值的Ct+1为:
Figure BDA0003865541870000073
其中,
Figure BDA0003865541870000074
分别表示更新前、后第v个视图v的聚类核表示,i表示聚类编号,j表示样本(数据点)编号。
由参与运算的各个矩阵的性质可知,得到的Cv(t+1)依然可以满足约束条件。
此外,若对Z(C,C′)进行二次求导,可以得到:
Figure BDA0003865541870000075
其中,δjl在j=l值为1,在其它情况下值均为0。
显然,Z(Cv(t+1),Cv(t))的黑塞矩阵是一个半正定矩阵,由此可知,Z(Cv(t+1),Cv(t))是一个凸函数,因此在式(12)中所求的
Figure BDA0003865541870000076
是全局最小值。
由此,可以得到:
J(Cv(t+1))=Z(Cv(t+1),Cv(t+1))≤Z(Cv(t+1),Cv(t))≤Z(Cv(t),Cv(t))=J(Cv(t))#(14)
因此有:
Tr(Xv-Cv(t+1)B)Dv(Xv-Cv(t+1)B)T≤Tr(Xv-Cv(t)B)Dv(Xv-Cv(t)B)T#(15)
得到式(15)后,可证明:
Figure BDA0003865541870000077
Figure BDA0003865541870000081
将式(16)的左半部分表示为LHS(left hand side),右半部分表示为RHS(righthand side),由此可得LHS-RHS:
Figure BDA0003865541870000082
其中,LHS与RHS均≤0,LHS-RHS意味着可使目标函数式(6)的值下降,以此获得最优的聚类结果,
Figure BDA0003865541870000083
表示第v个视图的第i个样本,bi表示第i个样本的聚类表示。
因此可知:
||(X-Ct+1B)diag(Wv)||2,1≤||(X-Ct+1B)diag(Wv)||2,1#(18)
由以上可知,通过式(12)提出的方法能够找到在其他条件确定情况下使目标函数值下降的Cv
步骤7、固定其他参数,最小化目标函数,更新分配矩阵B,并判断是否继续迭代。
在通过6得到更新后的聚类核C之后,需要对分配矩阵B进行更新。根据目标函数(1)的形式,分配矩阵的更新规则为:
Figure BDA0003865541870000084
由式(17)可知,在该步骤中,对于每一个样本i,其对于目标函数产生的影响是相互独立的,又由于bi为每一列只有一个分量为1其余为0的列向量。因此,对于每一个样本i,可以直接设列向量ej表示单位矩阵I∈Rk×k的第j列。之后,对于该样本,通过计算找到与之最为接近的聚类中心的编号j,之后将该样本对应的在B中的列向量更新为ej
Figure BDA0003865541870000085
bi=ej (21)
通过(20)与(21)两式,以每个样本最为接近的聚类中心作为其分配矩阵的参考,完成了对分配矩阵B的更新。同时迭代次数t加一。
在完成分配矩阵B的更新后,重新计算目标函数,若目标函数已经收敛或迭代次数t超过超参数中的迭代上限次数,则算法终止,反之返回5继续迭代。
步骤8、输出最终聚类核心Cv与分配矩阵B。
以不同类型的多视图数据集为例进一步对本发明实施例提供的基于自步学习与视图赋权的多视图聚类方法进行说明,本实施例的具体实现过程包括:
S1.输入数据集归一化,得到归一化后的数据集X={X1,X2,...,Xm}。输入聚类数目k,输入其他超参数;
S2.将多视图数据拼接,利用kmeans算法,初始化各视图聚类核Cv及分配矩阵B;
S3.计算各视图权重ηv,初始化迭代时间t(迭代次数)为0;
S4.通过目标函数计算每个样本点造成的损失,以此为依据更新各视图样本权值矩阵Wv
S5.固定其他参数,最小化目标函数,更新各视图聚类核Cv
S6.固定其他参数,最小化目标函数,更新分配矩阵B,并判断是否继续迭代;
S7.输出最终聚类核心Cv与分配矩阵B。
本实施例在四个广泛使用的数据集上评估了该方法的聚类性能,本实例使用的基准数据集见表1。将基于自步学习与视图赋权的多视图聚类方法与MVKKM,CAMVC,MSPL三种先进的多视图聚类方法进行对比,验证了该算法的有效性。
使用聚类精度(ACC)、归一化互信息(NMI)和纯度来评估聚类性能。NMI、ACC和纯度值越大,聚类性能越好,实验结果见表2
表1基准数据集信息
Figure BDA0003865541870000091
Figure BDA0003865541870000101
Handwritten numerals数据集从UCI机器学习存储库中选择的。该数据集由2000个点和手写数字的特征(0-9)组成。对于10个数据类,每个类具有相同的数据量,这些数据点由以下6个特征表示:76个特征形状的傅里叶系数(Fourier coefficients),216个轮廓关联性特征(Profile correlations),64个卡亨南-赖佛系数(Karhunen-Lovecoeffificients),2×3窗口的240像素平均,47个泽尼克矩(Zernike moments)和6个形态特征(Morphological features)。
BBCsport的数据集来自于BBCSport报道的体育新闻。BBCsport由2012年发表的5种类型的文章组成。每篇文章被分为两段,每一段代表一个视图且有超过的200个词与原文章逻辑相关。
Movies数据集是收集自IMDB,包含有617部电影且超过17个标签。数据的两种视图是3部以上电影使用的1878个关键词和1398个演员。
Reuters数据集从6个类别(C15、CCAT、E21、ECAT、GCAT和M11)中选择了1200篇文章,每篇文章都提供了200篇文章。每一份文件都是用五种不同的语言(英语、法语、德语、意大利语和西班牙语)编写的,对应于实验中的五种不同的视图。
表2
Figure BDA0003865541870000102
作为一种可能的实现,采用本发明的基于自步学习与视图赋权的多视图聚类方法的处理系统如图2所示,其功能模块包括:
获取模块,用于获取聚类任务和数据样本;
预处理模块,用于对输入数据进行归一化处理;
构建模块,将多视图数据拼接,利用kmeans算法,初始化各视图聚类核Cv及分配矩阵B;计算各视图权重ηv,初始化迭代时间t(迭代次数)为0;
优化模块,通过目标函数计算每个样本点造成的损失,以此为依据更新各视图样本权值矩阵Wv;固定其他参数,最小化目标函数,更新各视图聚类核Cv;固定其他参数,最小化目标函数,更新分配矩阵B,并判断是否继续迭代优化;
聚类输出模块,输出最终聚类核心与分配矩阵B以及最终的聚类结果。
进一步的,所述优化模块中,具体的优化方式是通过目标函数计算每个样本点造成的损失,以此为依据更新各视图样本权值矩阵Wv
在得到了分配矩阵B、聚类核Cv与视图权重ηv之后,便可以计算权重矩阵W={W1,W2,...,Wm},其中任意Wv为n×n的对角矩阵,根据目标函数,计算Wv的原理式为:
Figure BDA0003865541870000111
上式中的λv代表了自步学习超参数,其值随迭代进行而不断增大,从而使更多样本加入训练。另外:
Figure BDA0003865541870000112
其中,
Figure BDA0003865541870000113
由于l2,1范数的性质,可以将原问题进行转化,改为对于任意视图中的任意样本,令
Figure BDA0003865541870000114
求取
Figure BDA0003865541870000115
将该式对于
Figure BDA0003865541870000116
进行求导并将结果置0,可以得到
Figure BDA0003865541870000117
在训练过程中,模型通过在迭代过程中不断增大λv的值,逐渐学习越来越多的样本,从而实现自步学习。在求取所有的
Figure BDA0003865541870000118
之后,便完成了对于权值矩阵Wv的更新。
需要说明的是,上述实施例提供的装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,此处不再赘述。
本实例将自步学习整合到多视图聚类模型中,通过逐步选择从简单到复杂的训练样本来解决非凸性问题,同时利用软加权正则化器,显著降低了噪声和异常值的负面影响。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说,在不脱离本发明创造构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。

Claims (7)

1.一种基于自步学习与视图赋权的多视图聚类方法,其特征在于,包括:
步骤1,输入待聚类的数据集以及聚类任务的聚类数k,所述数据集的每个数据点均包括m个视图,其中,m大于1;
并对待聚类的数据集进行归一化处理,得到归一化后的数据集X={X1,X2,…,Xv,…,Xm},其中,Xv表示视图v的视图数据,Xv的数据维度为Dv×n,Dv表示视图v的特征维数,n表示数据集X包括的数据点数量,视图编号v=1,2,…,m;
步骤2,对各视图数据Xv进行特征拼接,对拼接后的各视图数据的数据点采用kmeans聚类处理,基于聚类结果初始化各视图的聚类核Cv和分配矩阵B={b1,b2,...,bj...,bn},其中,bj表示第j个数据点的聚类表示,bj为k维向量,每一维的取值为0或1,且满足
Figure FDA0003865541860000011
步骤3,计算各视图的权重ηv
Figure FDA0003865541860000012
步骤4,通过目标函数计算每个数据点的损失,并基于各数据点的损失更新各视图样本权值矩阵Wv
所述目标函数为:
Figure FDA0003865541860000013
其中,
Figure FDA0003865541860000014
Figure FDA0003865541860000015
表示第v个视图的第i个数据点的权重,且
Figure FDA0003865541860000016
Figure FDA0003865541860000017
表示正则化函数,λv表示自步学习超参数;
步骤5,基于当前参数,最小化目标函数,更新各视图的聚类核Cv;再基于更新后的聚类核Cv,最小化目标函数,更新分配矩阵B;
步骤6,迭代执行步骤3至5,直到满足迭代更新结束条件时,输出数据集的最终聚类结果:最近得到的聚类核Cv和分配矩阵B。
2.如权利要求1所述的方法,其特征在于,更新各视图样本权值矩阵Wv具体为:
Figure FDA0003865541860000018
其中,权重矩阵W={W1,W2,…,Wv,…,Wm}。
3.如权利要求1所述的方法,其特征在于,更新各视图的聚类核Cv具体为:在满足Cv≥0的前提下,基于
Figure FDA0003865541860000019
完成聚类核Cv的更新。
4.如权利要求1所述的方法,其特征在于,更新分配矩阵B具体为:
Figure FDA0003865541860000021
5.如权利要求1至4任一项所述的方法,其特征在于,正则化函数
Figure FDA0003865541860000022
为:
Figure FDA0003865541860000023
其中,
Figure FDA0003865541860000024
e表示自然底数。
6.如权利要求1所述的方法,其特征在于,迭代更新结束条件为:目标函数值收敛或者达到最大的迭代次数。
7.一种基于自步学习与视图赋权的多视图聚类系统,其特征在于,包括:获取模块、预处理模块、构建模块、优化模块和聚类输出模块;
获取模块,用于获取聚类任务和待聚类的数据集,并将数据集发送至预处理模块,聚类任务中的聚类数k发送给构建模块,所述数据集的每个数据点均包括m个视图,其中,m大于1;
预处理模块,用于对待聚类的数据集进行归一化处理后发送至构建模块;
构建模块,对归一化后的数据集中的各视图数据Xv进行特征拼接,对拼接后的各视图数据的数据点采用kmeans聚类处理,基于聚类结果初始化各视图的聚类核Cv和分配矩阵B={b1,b2,...,bj...,bn}∈Rk×n,并根据公式
Figure FDA0003865541860000025
计算各视图的权重ηv,其中,bj表示第j个数据点的聚类表示,bj为k维向量,每一维的取值为0或1,且满足
Figure FDA0003865541860000026
构建模块将聚类核Cv、分配矩阵B和视图的权重ηv发送至优化模块;
优化模块,通过目标函数计算每个数据点的损失,并基于各数据点的损失更新各视图样本权值矩阵Wv
所述目标函数为:
Figure FDA0003865541860000027
其中,
Figure FDA0003865541860000028
Figure FDA0003865541860000029
表示第v个视图的第i个数据点的权重,且
Figure FDA00038655418600000210
Figure FDA00038655418600000211
表示正则化函数,λv表示自步学习超参数;
以及基于当前参数,最小化目标函数,更新各视图的聚类核Cv;再基于更新后的聚类核Cv,最小化目标函数,更新分配矩阵B;
迭代依次更新视图样本权值矩阵Wv、视图的聚类核Cv和分配矩阵B,直到满足迭代更新结束条件,将最近得到的聚类核Cv和分配矩阵B发送给聚类输出模块;
聚类输出模块,基于收到的聚类核Cv和分配矩阵B输出显示数据集的最终聚类结果。
CN202211188421.2A 2022-09-27 2022-09-27 基于自步学习与视图赋权的多视图聚类方法及系统 Pending CN115601578A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211188421.2A CN115601578A (zh) 2022-09-27 2022-09-27 基于自步学习与视图赋权的多视图聚类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211188421.2A CN115601578A (zh) 2022-09-27 2022-09-27 基于自步学习与视图赋权的多视图聚类方法及系统

Publications (1)

Publication Number Publication Date
CN115601578A true CN115601578A (zh) 2023-01-13

Family

ID=84845785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211188421.2A Pending CN115601578A (zh) 2022-09-27 2022-09-27 基于自步学习与视图赋权的多视图聚类方法及系统

Country Status (1)

Country Link
CN (1) CN115601578A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310452A (zh) * 2023-02-16 2023-06-23 广东能哥知识科技有限公司 一种多视图聚类方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310452A (zh) * 2023-02-16 2023-06-23 广东能哥知识科技有限公司 一种多视图聚类方法及系统
CN116310452B (zh) * 2023-02-16 2024-03-19 广东能哥知识科技有限公司 一种多视图聚类方法及系统

Similar Documents

Publication Publication Date Title
Xie et al. Hyper-Laplacian regularized multilinear multiview self-representations for clustering and semisupervised learning
CN109359725B (zh) 卷积神经网络模型的训练方法、装置、设备及计算机可读存储介质
CN114241282A (zh) 一种基于知识蒸馏的边缘设备场景识别方法及装置
CN109948149B (zh) 一种文本分类方法及装置
CN114841257B (zh) 一种基于自监督对比约束下的小样本目标检测方法
CN109376787B (zh) 流形学习网络及基于其的计算机视觉图像集分类方法
CN109508752A (zh) 一种基于结构化锚图的快速自适应近邻聚类方法
CN108171279A (zh) 一种多视角视频自适应乘积Grassmann流形子空间聚类方法
CN112464004A (zh) 一种多视角深度生成图像聚类方法
CN111259917B (zh) 一种基于局部近邻成分分析的图像特征提取方法
CN110263855B (zh) 一种利用共基胶囊投影进行图像分类的方法
CN113378938B (zh) 一种基于边Transformer图神经网络的小样本图像分类方法及系统
CN113298009B (zh) 一种基于熵正则化的自适应近邻人脸图像聚类方法
CN114913379B (zh) 基于多任务动态对比学习的遥感图像小样本场景分类方法
Yang et al. Joint learning of unsupervised dimensionality reduction and gaussian mixture model
CN111476346A (zh) 一种基于牛顿共轭梯度法的深度学习网络架构
CN116415177A (zh) 一种基于极限学习机的分类器参数辨识方法
Upreti Convolutional neural network (cnn). a comprehensive overview
CN115601578A (zh) 基于自步学习与视图赋权的多视图聚类方法及系统
CN110288002B (zh) 一种基于稀疏正交神经网络的图像分类方法
CN113033626A (zh) 基于多任务协同学习的图像分类方法
CN112926502B (zh) 基于核化双群稀疏学习的微表情识别方法及系统
CN115170843A (zh) 基于嵌入特征提取的多视图一致性图像聚类方法及系统
Shu-Juan Fast incremental spectral clustering in titanate application via graph Fourier transform
CN114037931A (zh) 一种自适应权重的多视图判别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination