CN115601578A - 基于自步学习与视图赋权的多视图聚类方法及系统 - Google Patents
基于自步学习与视图赋权的多视图聚类方法及系统 Download PDFInfo
- Publication number
- CN115601578A CN115601578A CN202211188421.2A CN202211188421A CN115601578A CN 115601578 A CN115601578 A CN 115601578A CN 202211188421 A CN202211188421 A CN 202211188421A CN 115601578 A CN115601578 A CN 115601578A
- Authority
- CN
- China
- Prior art keywords
- view
- clustering
- data
- matrix
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims abstract description 71
- 230000006870 function Effects 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000005457 optimization Methods 0.000 claims abstract description 13
- 238000010276 construction Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000009795 derivation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007418 data mining Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 102100025230 2-amino-3-ketobutyrate coenzyme A ligase, mitochondrial Human genes 0.000 description 1
- 108010087522 Aeromonas hydrophilia lipase-acyltransferase Proteins 0.000 description 1
- 101000829958 Homo sapiens N-acetyllactosaminide beta-1,6-N-acetylglucosaminyl-transferase Proteins 0.000 description 1
- 101000798707 Homo sapiens Transmembrane protease serine 13 Proteins 0.000 description 1
- 102100023315 N-acetyllactosaminide beta-1,6-N-acetylglucosaminyl-transferase Human genes 0.000 description 1
- 102100032467 Transmembrane protease serine 13 Human genes 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于自步学习与视图赋权的多视图聚类方法及系统,属于多视图数据处理技术领域。本发明方法为:对多视图数据集归一化,再将多视图数据拼接,利用kmeans算法初始化各视图聚类核及分配矩阵,并计算各视图权重,通过目标函数依次迭代更新各视图样本权值矩阵、各视图聚类核、分配矩阵,当满足迭代结束条件时,输出最终聚类核心与分配矩阵。本发明的聚类系统包括获取模块、预处理模块、构建模块、优化模块和聚类输出模块。本发明通过自步学习模型,多视图聚类对聚类数据依次学习并最终得到聚类结果;通过视图赋权,模型能够有选择性地学习不同视图的信息,从而有效提升聚类准确性。本发明可用于图像数据库、文本数据库等的检索应用。
Description
技术领域
本发明属于多视图数据处理技术领域,具体涉及一种基于自步学习与视图赋权的多视图聚类方法及系统。
背景技术
随着信息化技术的发展,各领域中积累的数据越来越多,挖掘出数据背后隐藏的有价值的信息需要采用一定的数据挖掘手段,聚类作为数据挖掘一个重要手段,通常涉及非监督学习场景,其目的是根据对象的特征将一组对象划分为不同的组。通过这种方式,具有相似特征或属性的对象将被分组到相同的集群中。
普通的聚类,也就是对一个视图组成的数据聚类称为单视图聚类,而多视图聚类则是使用多个不同描述方式的数据进行聚类。多视图聚类被广泛应用于真实世界数据聚类,如网页聚类,自然语言聚类,图像聚类,多模式学习等。对于特定的学习问题,最小特征集是未知的,在没有先验信息的情况下,我们收集的信息越多,模型可以获得的培训结果越好。此外,随着信息收集技术的发展,人们能够从更多的角度描述对象。单视图聚类方法不适合这些问题,因为不同的特征(或视图)具有不同的属性。因此,多视图聚类方法更适合于解决这些问题。
但是无论是多视图聚类还是单视图聚类,核心问题都是都需要非凸优化函数。然而在聚类时,多视图聚类通常会陷入局部最小点,导致聚类效果很差。
当前流行的解决方案是利用不同的初始化参数进行多次聚类,得到不同结果并选最优。但多视图聚类仍然有可能陷入局部最小点,同时这种方法的计算成本太大。
自步学习(SPL)是一种新的机器学习架构,自步学习的核心理念是模仿人类认知的机制。首先,该应用自步学习的模型将通过简单,高置信度系数数据进行训练,然后使用更难,更复杂和低置信系数的数据训练模型。其中,简单数据也可以被解释为训练中有较小的损失或较大的似然值的数据,困难的数据也可以被解释为训练中有较大的损失或较小的似然值的数据。
经验证明,SPL具有避免不良局部最小值的能力,因此具有更好的通用能力。所以,SPL通常用于找到存在多个本地最小值的非凸问题的更好解。
此外,由于多视图聚类中不同视图的质量往往差别巨大,笼统地不同视图信息融合往往难以取得令人满意的结果。针对多视图聚类过程中这一问题,通过对不同视图赋予相应权重,是提升最终聚类效果的必要操作。
发明内容
本发明旨在解决多视图聚类会陷入局部最小点与易受质量较差视图影响的技术问题,以提升对目标数据集的聚类准确性。
一方面,本发明提供了一种基于自步学习与视图赋权的多视图聚类方法,所述方法包括:
步骤1,输入待聚类的数据集以及聚类任务的聚类数k,所述数据集的每个数据点均包括m个视图,其中,m大于1;
并对待聚类的数据集进行归一化处理,得到归一化后的数据集X={X1,X2,...,Xv,...,Xm},其中,Xv表示视图v的视图数据,Xv∈RDv×n,Dv表示视图v的特征维数,n表示数据集X包括的数据点数量,视图编号v=1,2,...,m;
步骤2,对各视图数据Xv进行特征拼接,对拼接后的各视图数据的数据点采用kmeans聚类处理,基于聚类结果初始化各视图的聚类核Cv和分配矩阵B={b1,b2,...,bj...,bn}∈Rk×n,其中,bj表示第j个数据点的聚类表示,bj为k维向量,每一维的取值为0或1,且满足
步骤4,通过目标函数计算每个数据点的损失,并基于各数据点的损失更新各视图样本权值矩阵Wv;
所述目标函数为:
步骤5,基于当前参数,最小化目标函数,更新各视图的聚类核Cv;再基于更新后的聚类核Cv,最小化目标函数,更新分配矩阵B;
步骤6,迭代执行步骤3至5,直到满足迭代更新结束条件时,输出数据集的最终聚类结果:最近得到的聚类核Cv和分配矩阵B。
进一步的,迭代更新结束条件为:目标函数值收敛或者达到最大的迭代次数。
另一方面,本发明提供了一种基于自步学习与视图赋权的多视图聚类系统,所述系统包括:获取模块、预处理模块、构建模块、优化模块和聚类输出模块;
其中,
获取模块,用于获取聚类任务和待聚类的数据集,并将数据集发送至预处理模块,聚类任务中的聚类数k发送给构建模块,所述数据集的每个数据点均包括m个视图,其中,m大于1;
预处理模块,用于对待聚类的数据集进行归一化处理后发送至构建模块;
构建模块,对归一化后的数据集中的各视图数据Xv进行特征拼接,对拼接后的各视图数据的数据点采用kmeans聚类处理,基于聚类结果初始化各视图的聚类核Cv和分配矩阵B={b1,b2,...,bj...,bn}∈Rk×n,并根据公式计算各视图的权重ηv,其中,k表示聚类数,bj表示第j个数据点的聚类表示,bj为k维向量,每一维的取值为0或1,且满足
构建模块将聚类核Cv、分配矩阵B和视图的权重ηv发送至优化模块;
优化模块,通过目标函数计算每个数据点的损失,并基于各数据点的损失更新各视图样本权值矩阵Wv;
所述目标函数为:
以及基于当前参数,最小化目标函数,更新各视图的聚类核Cv;再基于更新后的聚类核Cv,最小化目标函数,更新分配矩阵B;
迭代依次更新视图样本权值矩阵Wv、视图的聚类核Cv和分配矩阵B,直到满足迭代更新结束条件,将最近得到的聚类核Cv和分配矩阵B发送给聚类输出模块;
聚类输出模块,基于收到的聚类核Cv和分配矩阵B输出显示数据集的最终聚类结果。
本发明提供的技术方案至少带来如下有益效果:
在本发明中,通过自步学习模型,多视图聚类对聚类数据依次学习并最终得到聚类结果;通过视图赋权,模型能够有选择性地学习不同视图的信息。比起现有的聚类技术,聚类的准确性以及各方面参数都有了进一步的提升,为多视图聚类提供了一种可以广泛应用的架构。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种基于自步学习与视图赋权的多视图聚类方法的处理流程图。
图2是本发明实施例提供的一种基于自步学习与视图赋权的多视图聚类系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本发明针对现有的多视图聚类中的非凸优化,同时易受聚类结构模糊视图影响的问题,为了使聚类结果更加精确,本发明实施例提供了一种可以用于图像数据聚类的基于自步学习与视图赋权的多视图聚类方法,本发明方法充分利用了自步学习能够解决非凸优化问题的特性,同时也减少了异常值、噪声与质量较差视图对聚类结果的影响。本发明方法为处理聚类数据提供了新方法,为目前绝大多数多视图聚类提供了一种新的通用的架构以提高聚类性能,本发明可以用于数据库数据(如图像数据库、文本数据库等)的检索应用,即首先基于本发明方法对目标数据库进行聚类处理,将目标数据库聚为多个簇(聚类),并获取每个簇中心的特征信息;对输入的当前待检索信息,分别与每个类中心的特征信息进行匹配,基于最匹配的簇中心确定待检索对象的所属的簇,然后在匹配上的簇中对待检索对象进行检索处理,并输出检索结果。例如对于图像检索,首先基于本发明将目标图像数据库聚为多个簇,再提取每个簇中心的图像特征向量(例如卷积神经网络获取、描述算子等特征提取方式);对用户输入的待检索图像,首先进行图像特征向量提取,然后通过图像特征向量之间的距离进行待检索图像所属的簇的匹配处理,再在匹配上的簇中通过图像特征向量匹配到对应的检索结果并反馈给用户。
如图1所示,本发明实施例提供的一种基于自步学习与视图赋权的多视图聚类方法具体实现过程为:
步骤1、构建实验所用数据集,本实施例数据集由Handwritten numerals,数据集由2000个数据点组成,包含有10个数据类,每个类具有相同的数据量,每个数据点均包含六个视图。
步骤2、输入数据集归一化,得到归一化后的数据集X={X1,X2,...,Xm},其中,Xm表示数据集中的样本,m表示视图数量,输入聚类数目K=10,输入其他超参数。
对于数据集中的某一个视图v,假设原Xv∈RDv×n,其中Dv为视图v的特征维数,n为样本个数,本实施例中,n设置为2000。对这些矩阵进行归一化,得到更新后的数据多视图集,并将目标聚类数目k与各超参数输入。
步骤3、将多视图数据拼接,利用kmeans算法,初始化各视图聚类核Cv及分配矩阵B。
在取得归一化操作的数据集X之后,将各视图数据进行拼接,得到 对数据使用kmeans算法,将得到的聚类中心还原至各视图,从而获取各视图初始聚类核Cv与初始化分配矩阵B={b1,b2,...,bj...,bn}∈Rk×n。其中,bj表示第j个样本的聚类表示,其为k维向量,每一维的取值为0或1,且满足与聚类核C不同,分配矩阵B在数据集的各个视图之间是通用的,其约束条件为bij∈{0,1},分配矩阵B的直观的表现为一个每列只有一个非0元且数值为1的k×n矩阵。另外,根据自步学习方法、视图赋权与多视图聚类的目标函数形式,得到使用于本发明的目标函数:
其中,ηv为第v个视图的权重,m表示视图数量,λv为第v个视图的自步学习控制参数,为样本权重,即第v个视图的第i个样本的权重,视图样本权值矩阵函数f()为正则化器,其具体表达式可参考后文的公式(4)。
步骤4、计算各视图权重ηv,初始化迭代时间t为0,即t也可表示为迭代次数。
由于多视图聚类中,不同视图的视图质量往往存在差异,笼统地将视图信息融合往往难以取得令人满意的结果。为此,本发明通过初始化损失信息,为不同视图赋予相应权重ηv:
步骤5、通过目标函数计算每个样本点造成的损失,以此为依据更新各视图样本权值矩阵Wv。
在得到了分配矩阵B、聚类核Cv与视图权重ηv之后,便可以计算权重矩阵W={W1,W2,...,Wm},其中任意Wv为n×n的对角矩阵,根据目标函数,计算Wv的原理式为:
上式中的λv代表了自步学习超参数,其值随迭代进行而不断增大,从而使更多样本加入训练。另外:
步骤6、固定其他参数,最小化目标函数,更新各视图聚类核Cv。
对于各视图聚类核Cv的更新,由于目标函数不同的视图上是相互独立的,因此可将问题转化为对于任意视图v求:
s.t.Cv≥0#(6)
其中,由于数据在1中已经进行了归一化,因此Cv必然符合约束,而满足上式条件的Cv需要通过迭代的方法获取,并需要构造辅助函数J与Z进行推导。
辅助函数J的定义为:
J(Cv)=Tr((Xv-CvB)Dv(Xv-CvB)T)#(7)
辅助函数Z的定义为:
-2Tr(CvTXvDvBT)
s.t.Cv′≥0#(8)
在之前已经提到,该步骤是对于每个视图分别进行的,因此省略了上标v,在之后的推导中,将同样按照该规则。B为分配矩阵,W为视图的权重矩阵,由公式可知,D为一个对角矩阵,其求取过程中所用到的Xi与Gi分别代表了矩阵X与G的第i个列向量,Cv代表视图当前的聚类核。
之所以选用Z作为辅助函数,是因为其具有两个特殊的性质:
Z(Cv,Cv)=J(Cv)
Z(Cv,Cv)≤Z(Cv,Cv′)#(10)
其中第一条性质容易得证,第二条性质则可以参考以下不等式:
将A=I,H=C,B=BDvBT代入,便可以得证Z的第二条性质。令f(Cv(t+1))=Z(Cv(t+1),Cv(t)),其中t代表当前迭代时刻,对Cv(t+1)进行求导并将其置零,最终得到:
使f(Cv(t+1))取得最小值的Ct+1为:
由参与运算的各个矩阵的性质可知,得到的Cv(t+1)依然可以满足约束条件。
此外,若对Z(C,C′)进行二次求导,可以得到:
其中,δjl在j=l值为1,在其它情况下值均为0。
由此,可以得到:
J(Cv(t+1))=Z(Cv(t+1),Cv(t+1))≤Z(Cv(t+1),Cv(t))≤Z(Cv(t),Cv(t))=J(Cv(t))#(14)
因此有:
Tr(Xv-Cv(t+1)B)Dv(Xv-Cv(t+1)B)T≤Tr(Xv-Cv(t)B)Dv(Xv-Cv(t)B)T#(15)
得到式(15)后,可证明:
将式(16)的左半部分表示为LHS(left hand side),右半部分表示为RHS(righthand side),由此可得LHS-RHS:
因此可知:
||(X-Ct+1B)diag(Wv)||2,1≤||(X-Ct+1B)diag(Wv)||2,1#(18)
由以上可知,通过式(12)提出的方法能够找到在其他条件确定情况下使目标函数值下降的Cv。
步骤7、固定其他参数,最小化目标函数,更新分配矩阵B,并判断是否继续迭代。
在通过6得到更新后的聚类核C之后,需要对分配矩阵B进行更新。根据目标函数(1)的形式,分配矩阵的更新规则为:
由式(17)可知,在该步骤中,对于每一个样本i,其对于目标函数产生的影响是相互独立的,又由于bi为每一列只有一个分量为1其余为0的列向量。因此,对于每一个样本i,可以直接设列向量ej表示单位矩阵I∈Rk×k的第j列。之后,对于该样本,通过计算找到与之最为接近的聚类中心的编号j,之后将该样本对应的在B中的列向量更新为ej:
bi=ej (21)
通过(20)与(21)两式,以每个样本最为接近的聚类中心作为其分配矩阵的参考,完成了对分配矩阵B的更新。同时迭代次数t加一。
在完成分配矩阵B的更新后,重新计算目标函数,若目标函数已经收敛或迭代次数t超过超参数中的迭代上限次数,则算法终止,反之返回5继续迭代。
步骤8、输出最终聚类核心Cv与分配矩阵B。
以不同类型的多视图数据集为例进一步对本发明实施例提供的基于自步学习与视图赋权的多视图聚类方法进行说明,本实施例的具体实现过程包括:
S1.输入数据集归一化,得到归一化后的数据集X={X1,X2,...,Xm}。输入聚类数目k,输入其他超参数;
S2.将多视图数据拼接,利用kmeans算法,初始化各视图聚类核Cv及分配矩阵B;
S3.计算各视图权重ηv,初始化迭代时间t(迭代次数)为0;
S4.通过目标函数计算每个样本点造成的损失,以此为依据更新各视图样本权值矩阵Wv;
S5.固定其他参数,最小化目标函数,更新各视图聚类核Cv;
S6.固定其他参数,最小化目标函数,更新分配矩阵B,并判断是否继续迭代;
S7.输出最终聚类核心Cv与分配矩阵B。
本实施例在四个广泛使用的数据集上评估了该方法的聚类性能,本实例使用的基准数据集见表1。将基于自步学习与视图赋权的多视图聚类方法与MVKKM,CAMVC,MSPL三种先进的多视图聚类方法进行对比,验证了该算法的有效性。
使用聚类精度(ACC)、归一化互信息(NMI)和纯度来评估聚类性能。NMI、ACC和纯度值越大,聚类性能越好,实验结果见表2
表1基准数据集信息
Handwritten numerals数据集从UCI机器学习存储库中选择的。该数据集由2000个点和手写数字的特征(0-9)组成。对于10个数据类,每个类具有相同的数据量,这些数据点由以下6个特征表示:76个特征形状的傅里叶系数(Fourier coefficients),216个轮廓关联性特征(Profile correlations),64个卡亨南-赖佛系数(Karhunen-Lovecoeffificients),2×3窗口的240像素平均,47个泽尼克矩(Zernike moments)和6个形态特征(Morphological features)。
BBCsport的数据集来自于BBCSport报道的体育新闻。BBCsport由2012年发表的5种类型的文章组成。每篇文章被分为两段,每一段代表一个视图且有超过的200个词与原文章逻辑相关。
Movies数据集是收集自IMDB,包含有617部电影且超过17个标签。数据的两种视图是3部以上电影使用的1878个关键词和1398个演员。
Reuters数据集从6个类别(C15、CCAT、E21、ECAT、GCAT和M11)中选择了1200篇文章,每篇文章都提供了200篇文章。每一份文件都是用五种不同的语言(英语、法语、德语、意大利语和西班牙语)编写的,对应于实验中的五种不同的视图。
表2
作为一种可能的实现,采用本发明的基于自步学习与视图赋权的多视图聚类方法的处理系统如图2所示,其功能模块包括:
获取模块,用于获取聚类任务和数据样本;
预处理模块,用于对输入数据进行归一化处理;
构建模块,将多视图数据拼接,利用kmeans算法,初始化各视图聚类核Cv及分配矩阵B;计算各视图权重ηv,初始化迭代时间t(迭代次数)为0;
优化模块,通过目标函数计算每个样本点造成的损失,以此为依据更新各视图样本权值矩阵Wv;固定其他参数,最小化目标函数,更新各视图聚类核Cv;固定其他参数,最小化目标函数,更新分配矩阵B,并判断是否继续迭代优化;
聚类输出模块,输出最终聚类核心与分配矩阵B以及最终的聚类结果。
进一步的,所述优化模块中,具体的优化方式是通过目标函数计算每个样本点造成的损失,以此为依据更新各视图样本权值矩阵Wv。
在得到了分配矩阵B、聚类核Cv与视图权重ηv之后,便可以计算权重矩阵W={W1,W2,...,Wm},其中任意Wv为n×n的对角矩阵,根据目标函数,计算Wv的原理式为:
上式中的λv代表了自步学习超参数,其值随迭代进行而不断增大,从而使更多样本加入训练。另外:
需要说明的是,上述实施例提供的装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,此处不再赘述。
本实例将自步学习整合到多视图聚类模型中,通过逐步选择从简单到复杂的训练样本来解决非凸性问题,同时利用软加权正则化器,显著降低了噪声和异常值的负面影响。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说,在不脱离本发明创造构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
Claims (7)
1.一种基于自步学习与视图赋权的多视图聚类方法,其特征在于,包括:
步骤1,输入待聚类的数据集以及聚类任务的聚类数k,所述数据集的每个数据点均包括m个视图,其中,m大于1;
并对待聚类的数据集进行归一化处理,得到归一化后的数据集X={X1,X2,…,Xv,…,Xm},其中,Xv表示视图v的视图数据,Xv的数据维度为Dv×n,Dv表示视图v的特征维数,n表示数据集X包括的数据点数量,视图编号v=1,2,…,m;
步骤2,对各视图数据Xv进行特征拼接,对拼接后的各视图数据的数据点采用kmeans聚类处理,基于聚类结果初始化各视图的聚类核Cv和分配矩阵B={b1,b2,...,bj...,bn},其中,bj表示第j个数据点的聚类表示,bj为k维向量,每一维的取值为0或1,且满足
步骤4,通过目标函数计算每个数据点的损失,并基于各数据点的损失更新各视图样本权值矩阵Wv;
所述目标函数为:
步骤5,基于当前参数,最小化目标函数,更新各视图的聚类核Cv;再基于更新后的聚类核Cv,最小化目标函数,更新分配矩阵B;
步骤6,迭代执行步骤3至5,直到满足迭代更新结束条件时,输出数据集的最终聚类结果:最近得到的聚类核Cv和分配矩阵B。
6.如权利要求1所述的方法,其特征在于,迭代更新结束条件为:目标函数值收敛或者达到最大的迭代次数。
7.一种基于自步学习与视图赋权的多视图聚类系统,其特征在于,包括:获取模块、预处理模块、构建模块、优化模块和聚类输出模块;
获取模块,用于获取聚类任务和待聚类的数据集,并将数据集发送至预处理模块,聚类任务中的聚类数k发送给构建模块,所述数据集的每个数据点均包括m个视图,其中,m大于1;
预处理模块,用于对待聚类的数据集进行归一化处理后发送至构建模块;
构建模块,对归一化后的数据集中的各视图数据Xv进行特征拼接,对拼接后的各视图数据的数据点采用kmeans聚类处理,基于聚类结果初始化各视图的聚类核Cv和分配矩阵B={b1,b2,...,bj...,bn}∈Rk×n,并根据公式计算各视图的权重ηv,其中,bj表示第j个数据点的聚类表示,bj为k维向量,每一维的取值为0或1,且满足
构建模块将聚类核Cv、分配矩阵B和视图的权重ηv发送至优化模块;
优化模块,通过目标函数计算每个数据点的损失,并基于各数据点的损失更新各视图样本权值矩阵Wv;
所述目标函数为:
以及基于当前参数,最小化目标函数,更新各视图的聚类核Cv;再基于更新后的聚类核Cv,最小化目标函数,更新分配矩阵B;
迭代依次更新视图样本权值矩阵Wv、视图的聚类核Cv和分配矩阵B,直到满足迭代更新结束条件,将最近得到的聚类核Cv和分配矩阵B发送给聚类输出模块;
聚类输出模块,基于收到的聚类核Cv和分配矩阵B输出显示数据集的最终聚类结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211188421.2A CN115601578A (zh) | 2022-09-27 | 2022-09-27 | 基于自步学习与视图赋权的多视图聚类方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211188421.2A CN115601578A (zh) | 2022-09-27 | 2022-09-27 | 基于自步学习与视图赋权的多视图聚类方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115601578A true CN115601578A (zh) | 2023-01-13 |
Family
ID=84845785
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211188421.2A Pending CN115601578A (zh) | 2022-09-27 | 2022-09-27 | 基于自步学习与视图赋权的多视图聚类方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115601578A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116310452A (zh) * | 2023-02-16 | 2023-06-23 | 广东能哥知识科技有限公司 | 一种多视图聚类方法及系统 |
-
2022
- 2022-09-27 CN CN202211188421.2A patent/CN115601578A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116310452A (zh) * | 2023-02-16 | 2023-06-23 | 广东能哥知识科技有限公司 | 一种多视图聚类方法及系统 |
CN116310452B (zh) * | 2023-02-16 | 2024-03-19 | 广东能哥知识科技有限公司 | 一种多视图聚类方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xie et al. | Hyper-Laplacian regularized multilinear multiview self-representations for clustering and semisupervised learning | |
CN109359725B (zh) | 卷积神经网络模型的训练方法、装置、设备及计算机可读存储介质 | |
CN114241282A (zh) | 一种基于知识蒸馏的边缘设备场景识别方法及装置 | |
CN109948149B (zh) | 一种文本分类方法及装置 | |
CN114841257B (zh) | 一种基于自监督对比约束下的小样本目标检测方法 | |
CN109376787B (zh) | 流形学习网络及基于其的计算机视觉图像集分类方法 | |
CN109508752A (zh) | 一种基于结构化锚图的快速自适应近邻聚类方法 | |
CN108171279A (zh) | 一种多视角视频自适应乘积Grassmann流形子空间聚类方法 | |
CN112464004A (zh) | 一种多视角深度生成图像聚类方法 | |
CN111259917B (zh) | 一种基于局部近邻成分分析的图像特征提取方法 | |
CN110263855B (zh) | 一种利用共基胶囊投影进行图像分类的方法 | |
CN113378938B (zh) | 一种基于边Transformer图神经网络的小样本图像分类方法及系统 | |
CN113298009B (zh) | 一种基于熵正则化的自适应近邻人脸图像聚类方法 | |
CN114913379B (zh) | 基于多任务动态对比学习的遥感图像小样本场景分类方法 | |
Yang et al. | Joint learning of unsupervised dimensionality reduction and gaussian mixture model | |
CN111476346A (zh) | 一种基于牛顿共轭梯度法的深度学习网络架构 | |
CN116415177A (zh) | 一种基于极限学习机的分类器参数辨识方法 | |
Upreti | Convolutional neural network (cnn). a comprehensive overview | |
CN115601578A (zh) | 基于自步学习与视图赋权的多视图聚类方法及系统 | |
CN110288002B (zh) | 一种基于稀疏正交神经网络的图像分类方法 | |
CN113033626A (zh) | 基于多任务协同学习的图像分类方法 | |
CN112926502B (zh) | 基于核化双群稀疏学习的微表情识别方法及系统 | |
CN115170843A (zh) | 基于嵌入特征提取的多视图一致性图像聚类方法及系统 | |
Shu-Juan | Fast incremental spectral clustering in titanate application via graph Fourier transform | |
CN114037931A (zh) | 一种自适应权重的多视图判别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |