CN109508752A - 一种基于结构化锚图的快速自适应近邻聚类方法 - Google Patents

Abstract

本发明提供了一种基于结构化锚图的快速自适应近邻聚类方法。首先，从原始数据中采用K‑means算法生成代表性锚点；然后，为原始数据点和锚点构建初始相似矩阵；之后，通过结构化锚图技术迭代更新相似矩阵，自适应进行近邻分配；最后，根据最终的相似矩阵对应的图的连通分量直接得到聚类结果。本发明方法降低了大规模谱聚类任务对初始相似矩阵权重的依赖，可以通过迭代优化锚图结构快速得到高质量的聚类结果。

Description

一种基于结构化锚图的快速自适应近邻聚类方法

技术领域

本发明属机器学习和数据挖掘技术领域，具体涉及一种基于结构化锚图的快速自适应近邻聚类方法。

背景技术

随着智能设备的爆炸性增长，互联网和物联网的普及，人们的行为数据正在随时随地被收集。作为探索性数据分析中应用最广泛的技术之一，聚类这种无监督的数据学习方式正在被学术界和工业界越来越多的应用到大量无标注数据的预处理当中，其应用范围从统计学、计算机科学、生物学一直到社会科学或心理学。几乎在每一个涉及到经验数据处理的科学领域中，人们都总是试图通过在数据中识别“相似行为”的组合来获得他们对数据的直观感受。

谱聚类算法是近年来机器学习、数据挖掘中的热点领域之一，由于其可以很好的学习高维数据间的流形分布关系，同时可以很好地处理“非簇状”数据，在几年时间内，就受到了国际学术界的广泛关注，具有很好的应用前景。但谱聚类算法在运算时涉及特征分解，计算复杂度高，难以在大规模数据上进行计算和拓展，因此对高效、可拓展、适宜大规模学习问题的谱聚类算法进行研究十分有必要。

为了应对日益增加的数据量，研究人员已经在降低计算复杂度、加速谱聚类方法上做了很多工作。这些相关研究可分为三类：1)基于子采样的方法；2)基于代表点的方法；3)关于低秩矩阵近似的研究。文献“Sakai T,Imiya A.Fast spectral clustering withrandom projection and sampling[C].In International Workshop on MachineLearning and Data Mining in Pattern Recognition.Springer,Berlin,Heidelberg,2009:372–384.”采用随机投影和采样来降低数据维数。文献“Yan D,Huang L,JordanMI.Fast approximate spectral clustering[C].In Proceedings of the 15th ACMSIGKDD international conference on Knowledge discovery and datamining.ACM2009:907–916.”提出了一种失真最小化局部变换来降低数据减少对谱聚类的影响。文献“Choromanska A,Jebara T,Kim H,et al.Fast spectral clustering via themethod[C].In International Conference on Algorithmic LearningTheory.Springer,Berlin,Heidelberg,2013:367–381.”应用Nystrom方法来获得大规模矩阵的良好质量的低秩逼近。最近，有研究人员提出了基于锚的构图方法来加速这一过程，如文献“Liu W,He J,Chang SF.Large graph construction for scalable semi-supervised learning[C].In Proceedings of the 27th international conference onmachine learning(ICML-10).2010:679–686.”。它已被广泛应用于基于谱的方法中，如文献“Chen X,Cai D.Large Scale Spectral Clustering with Landmark-BasedRepresentation.[C].In AAAI.vol.52011:14.”的大规模谱聚类，文献“Li Y etal.Large-Scale Multi-View Spectral Clustering via Bipartite Graph.[C].InAAAI.2015:2750–2756.”的多视图大规模谱聚类，文献“Zhu W,Nie F,Li X.Fast SpectralClustering with efficient large graph construction[C].In Acoustics,Speech andSignal Processing(ICASSP),2017IEEE International Conference on.IEEE2017:2492–2496.”的有效大规模构图。这些算法都减小了数据结构的大小，因此计算成本在一定程度上有所降低。但是，这些算法的聚类结果似乎并不是最理想的，其原因很可能是这些算法在设计上没有有效学习数据关系。一方面，谱分析的性能受到相似矩阵质量的限制。另一方面，从谱分析获得的解矩阵仍然需要K-means将其转换得到离散划分，K-means对初始化的敏感性使聚类性能不稳定，程序的分离使联合优化变得困难，更不用说实现更好的性能了。

发明内容

为了克服现有技术的不足，本发明提供一种基于结构化锚图的快速自适应近邻聚类方法。首先，从原始数据中采用K-means算法生成代表性锚点；然后，为原始数据点和锚点构建初始相似矩阵；之后，通过结构化锚图技术迭代更新相似矩阵，自适应进行近邻分配；最后，根据最终的相似矩阵对应的图的连通分量直接得到聚类结果。本发明方法降低了大规模谱聚类任务对初始相似矩阵权重的依赖，可以通过迭代优化锚图结构快速得到高质量的聚类结果。

一种基于结构化锚图的快速自适应近邻聚类方法，其特征在于步骤如下：

步骤1：输入原始数据矩阵X＝[x₁,…,x_n]^T，采用K-means算法从n个原始数据点中生成m个代表性锚点，得到锚点矩阵U＝[u₁,…,u_m]^T，其中，xi为第i个原始数据点，为1×d维向量，i＝1,…,n，n为原始数据点的个数，u_j为第j个锚点，为1×d维向量，j＝1,…,m，m为锚点的个数。

步骤2：对于第i个原始数据点，分别按照计算得到第j个锚点与该数据点之间的距离然后，采用K近邻方法将所有从小到大排序，设排序后第j个锚点对应的顺序为当时，该锚点是该数据点的近邻点，其初始相似度为当时，该锚点不是该数据点的近邻点，其初始相似度为0，即其中，k为使用者设置参数，取值为(0,m)之间的整数；

按照上述过程，计算得到所有数据点和锚点之间的初始相似度，得到初始关系矩阵Z，并进而得到初始相似矩阵

步骤3：构建待优化的聚类问题模型如下：

其中，z_i表示矩阵Z的第i行向量，z_ij表示矩阵Z的第i行第j列的元素，即第i个数据点与第j个锚点之间的相似度。F为类指示矩阵，I为单位矩阵，为相似矩阵S对应的归一化拉普拉斯矩阵，计算方式为其中D_S为相似矩阵S的度矩阵，为对角矩阵，对角线上的第i个元素为i＝1,…,n+m，c为数据类别数，α和λ是正则化参数，取值范围均为(0，+∞)。

步骤4：采用结构化锚图方法迭代求解上述聚类问题模型，得到最终的相似矩阵S，具体为：

步骤a：固定S更新F：计算相似矩阵S的度矩阵D_S；然后，将矩阵D_S写成块对角矩阵形式其中为对角矩阵，其对角线上的第i个元素为矩阵D_S对角线上的第i个元素，i＝1,…,n，矩阵为对角矩阵，其对角线上的第j个元素为矩阵D_S对角线上的第n+j个元素，j＝1,…,m；计算矩阵对矩阵S进行奇异值分解，分别得到其前c个左奇异向量U、右奇异向量V和对应的特征值σ_k，k＝1,…,c，令

步骤b：固定F更新S：按照下式对矩阵Z的每个行向量z_i分别进行更新，i＝1,…,n，从而得到更新后的矩阵Z和相似矩阵S：

其中，所有即构成行向量f_i为矩阵F的第i行向量。

利用更新后的矩阵Z更新相似矩阵

步骤c：如果返回步骤a；否则，求解完成，此时的相似矩阵S即为最终的相似矩阵S。

步骤5：根据相似矩阵S对应的图的连通分量即可直接得到聚类结果。

本发明的有益效果是：由于在初始阶段采用K-means算法选择出了少量代表性锚点，后续只需学习原始数据和锚点间的关系即可，降低了计算复杂度；由于在求解聚类问题模型过程中，采用相似矩阵和类指示矩阵迭代更新的策略，可以获得比其他方法更为理想的近邻分配，有效学习数据关系，获得更好的聚类结果。

附图说明

图1是本发明的一种基于结构化锚图的快速自适应近邻聚类方法基本流程图

图2是本发明利用结构化锚图思想进行聚类的过程示意图

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

如图1所示，本发明提供了一种基于结构化锚图的快速自适应近邻聚类方法，其基本实现过程如下：

1、生成代表性锚点。

为了降低聚类计算所需的时间复杂度，需要在保持原有数据结构的情况下尽量减小数据规模。输入原始数据矩阵X＝[x₁,…,x_n]^T，采用K-means算法从n个原始数据点中生成m个代表性锚点，得到锚点矩阵U＝[u₁,…,u_m]^T，其中，x_i为第i个原始数据点，为1×d维向量，i＝1,…,n，n为原始数据点的个数，u_j为第j个锚点，为1×d维向量，j＝1,…,m，m为锚点的个数。

2、初始化相似矩阵。

用相似矩阵表示所要构造的二部图。设相似矩阵其中Z∈Rⁿ×m，矩阵Z第i行第j列的元素为z_ij，对应第i个原始数据点与第j个锚点之间的相似度。在欧式空间中，两个点距离之间的距离越小，相似度应该越高。基于此，待求解的目标函数可以写为：

其中第二项为正则项，α为正则化参数，取值范围为(0，+∞)，如果没有正则项，求解问题(3)时很容易出现数据点和距离最近的锚点相似度为1，和其余锚点的相似度为0的情况。在实际构图时，为了保持二部图的稀疏性，采用K近邻方法进行构图，即：将从小到大排序，设排序后第j个锚点对应的顺序为当时，该锚点是该数据点的近邻点，初始相似度为当时，该锚点不是该数据点的近邻点，其中k为使用者设置参数，取值范围为(0,m)之间的整数。

正则化参数α的闭式解可以通过对(3)式拉格朗日函数求导并根据KKT条件得到，即将其代入到(3)式中可求得故可得初始关系矩阵Z，并得到初始相似矩阵

3、确定待优化的聚类问题。

通常情况下，式(3)无法在任意α值的情况下都实现理想的近邻分配，所有的数据点和锚点会被连接在一起，成为一个大的连接分量(即成为一类)，这样就无法直接从学习到的图中获得恰好c个连接分量。谱聚类的一般做法是求相似矩阵的拉普拉斯矩阵的特征向量，通过将特征向量组成的矩阵F看作原始数据在低维空间上的映射，在F上运行离散化程序如K-means来获得最终的聚类结果。但是，K-means对初始化非常敏感，这使得聚类性能不稳定且不理想。如果可以直接学习到恰好具有c个连接分量的结构图，即让相同类别的数据点具有近邻关系，不同类别的数据点不具有近邻关系，那就可以不使用离散化步骤。

计算相似矩阵S对应的归一化拉普拉斯矩阵计算方式为：其中D_S为相似矩阵S的度矩阵，为对角矩阵，对角线上的第i个元素为i＝1,…,n+m。根据谱图理论，如果邻接矩阵S是非负的，则归一化拉普拉斯矩阵的特征值0的重数等于与S对应的图中连通分量的数目，也就是说若则学得的结构图将恰好有c个连通分量。因此，聚类问题的目标函数可写为：

虽然问题(4)准确描述了聚类的目标，但是由于(4)中的约束为离散约束难以求解，故首先通过下面的方法进行松弛得到适合的目标函数，再进行求解完成聚类。用σ_i表示的第i个最小特征值，由于是半正定的，因此可知σ_i≥0。又由秩约束可得，根据Ky Fan定理，可得：

当时，可满足约束因此，待优化的聚类问题可确定为：

其中，F为类指示矩阵，c为数据类别数，α和λ是正则化参数，取值范围为(0，+∞)。当λ足够大时，问题(6)的最优解会让优化目标中的项变得足够小。由式(5)可知，将足够接近0，所以问题(4)中的约束就可以被满足，就可以直接在求得的锚图最优解上得到类别结构，完成聚类。

问题(6)可通过在步骤4中进行的迭代更新步骤求解。

4、迭代求解聚类问题模型。

(1)固定S更新F。

当S固定时，Z也是固定的，问题(6)左侧加和项为定值，该问题等价于右侧项的最小值求解问题。又由于该问题可写为：

分别将矩阵F和D_S写为块矩阵形式：其中，矩阵为对角矩阵，其对角线上的第i个元素为为矩阵D_S对角线上的第i个元素，即d_U,ii＝d_ii，i＝1,…,n，矩阵为对角矩阵，其对角线上的第j个元素为矩阵D_S对角线上的第n+j个元素，即d_V,jj＝d_n+j,n+j，j＝1,…,m。则问题(7)可进一步写为：

问题(8)的U和V的最优解分别为矩阵的前c个左、右奇异向量形成的矩阵，即得到更新的

(2)固定F更新S。

当F固定时，问题(6)右侧项为定值，该问题等价于左侧加和项的最小值求解问题。即：

其中右侧项可变形为又因为右侧项可进一步变形为

令其中f_i为矩阵F的第i行向量，则问题(9)可写为：

计算所有即构成行向量由于矩阵Z的每一行是独立的，因此问题(10)可等价于问题(11)，按照下式求得每个z_i，即可得到更新后的矩阵Z和相似矩阵

(3)当不满足秩约束，即时，返回步骤(1)。否则，问题(6)求解完成。此时，同一类别内的数据点和锚点间均具有近邻关系，不同类别内的数据点和锚点没有近邻关系，得到最终的相似矩阵S。

5、得到聚类结果

根据相似矩阵S对应的图B(X,U,S)的连通分量即可直接得到聚类结果。

本实施例在中央处理器为Intel Core i5-4590、主频3.30GHz、内存16G的Windows10操作系统上使用MATLAB软件进行实验，数据集信息如表1所示，采用本发明方法的聚类结果如表2所示，计算时间如表3所示。可以看出，本发明方法可以在较短的时间内较好的完成大规模数据的聚类任务，且在三种聚类评价指标下都得到了高质量的结果。

表1

数据集	样本数	特征数	类别数
				Palm25	2 000	256	100
ClaveVectors	10 800	16	4
				Aloi	108 000	128	1 000

表2

数据集	准确度	归一化互信息熵	纯度
				Palm25	70.09％	88.18％	75.75％
ClaveVectors	49.70％	14.23％	61.78％
				Aloi	49.83％	78.29％	53.3％

表3

数据集	时间(秒)
		Palm25	0.27
ClaveVectors	1.10
		Aloi	89.24

Claims (1)

1.一种基于结构化锚图的快速自适应近邻聚类方法，其特征在于步骤如下：

步骤1：输入原始数据矩阵X＝[x₁,…,x_n]^T，采用K-means算法从n个原始数据点中生成m个代表性锚点，得到锚点矩阵U＝[u₁,…,u_m]^T，其中，x_i为第i个原始数据点，为1×d维向量，i＝1,…,n，n为原始数据点的个数，u_j为第j个锚点，为1×d维向量，j＝1,…,m，m为锚点的个数；

步骤2：对于第i个原始数据点，分别按照计算得到第j个锚点与该数据点之间的距离然后，采用K近邻方法将所有从小到大排序，设排序后第j个锚点对应的顺序为当时，该锚点是该数据点的近邻点，其初始相似度为当时，该锚点不是该数据点的近邻点，其初始相似度为0，即其中，k为使用者设置参数，取值为(0,m)之间的整数；

按照上述过程，计算得到所有数据点和锚点之间的初始相似度，得到初始关系矩阵Z，并进而得到初始相似矩阵

步骤3：构建待优化的聚类问题模型如下：

其中，z_i表示矩阵Z的第i行向量，z_ij表示矩阵Z的第i行第j列的元素，即第i个数据点与第j个锚点之间的相似度；F为类指示矩阵，I为单位矩阵，为相似矩阵S对应的归一化拉普拉斯矩阵，计算方式为其中D_S为相似矩阵S的度矩阵，D_S为对角矩阵，其对角线上的第i个元素为c为数据类别数，α和λ是正则化参数，取值范围均为(0，+∞)；

步骤4：采用结构化锚图方法迭代求解上述聚类问题模型，得到最终的相似矩阵S，具体为：

步骤a：固定S更新F：计算相似矩阵S的度矩阵D_S；然后，将矩阵D_S写成块对角矩阵形式其中为对角矩阵，其对角线上的第i个元素为矩阵D_S对角线上的第i个元素，i＝1,…,n，矩阵为对角矩阵，其对角线上的第j个元素为矩阵D_S对角线上的第n+j个元素，j＝1,…,m；计算矩阵对矩阵S进行奇异值分解，分别得到其前c个左奇异向量U、右奇异向量V和对应的特征值σ_k，k＝1,…,c，令

步骤b：固定F更新S：按照下式对矩阵Z的每个行向量z_i分别进行更新，i＝1,…,n，得到更新后的矩阵Z和相似矩阵S：

其中，所有即构成行向量 f_i为矩阵F的第i行向量；

利用更新后的矩阵Z更新相似矩阵

步骤c：如果返回步骤a；否则，求解完成，此时的相似矩阵S即为最终的相似矩阵S；

步骤5：根据相似矩阵S对应的图的连通分量即可直接得到聚类结果。