CN103617609A - 基于图论的k-means非线性流形聚类与代表点选取方法 - Google Patents

Abstract

本发明提供了一种基于图论的k-means非线性流形聚类和代表点选取方法，具体包括以下步骤，构建一个图模型，计算各样本点间的图距离矩阵以及无限次随机游走概率矩阵，然后在图模型上交替迭代更各类中心以及类成员直至收敛。本发明所提出的疲劳随机游走模型可以快速实现非线性的流行聚类并为每类选取一个代表点，从而克服传统k-means只在样本服从高斯分布时能够取得好效果的缺陷。本发明对图像、文本以及视频等具有低维流形分布的高维数据具有很好的聚类效果，同时能够为每类指定一个最具代表性的点，方法实现简单，易于操作。

Description

基于图论的k-means非线性流形聚类与代表点选取方法

技术领域

本发明涉及机器学习和模式识别中的样本聚类技术领域，具体地，涉及一种基于图论的k-means非线性流形聚类与代表点选取方法。

背景技术

现代科学研究表明，很多高维数据都服从流形分布，数据所分布的流形维数一般远低于数据本身的维度。例如一幅100x100的人脸图像有10000个数据维度，而在人脸识别的过程中，对于同一个人的不同人脸照片，其中起决定作用的关键因素可能只有数十个甚至数个，如五官的大小、比例，脸型以及表情等，而每个人的这些关键因素都服从一定的分布，即低维流形分布。如何充分挖掘这些内在因素从而提高识别的正确率给很多传统的聚类方法带来了很大的挑战。这也正是流形聚类所研究的内容。

在现有的流形聚类方法中，一类是线性流形的聚类方法，也称为子空间聚类。此类方法虽然对于线性流形分布的数据能够获得很好的效果，但是对于非线性流形分布的数据则很难获得满意效果，而实际用用中很多数据分布并不是线性的。因此，此类方法具有较大的局限性。另一类是非线性流形聚类方法，其中比较常用的是基于图论谱分析的谱聚类方法。但谱聚类方法只能给出数据集的分类信息，无法给出数据集的代表点，也就是数据集中那些最能代表该数据集特征的样本成员。实际应用中这些代表点也往往具有重要的作用，例如视频摘要或者文档摘要的目的就是要找出很少的最具代表性的视频帧或者文档句子，作为检索的关键索引或者作为内容的压缩，从而只需要浏览者很小部分的代表点就可以大概知道整个视频或文档的内容，即节省了浏览者的时间又节省了存储的空间。其他的非线性流形聚类方法要么需要苛刻的前提条件（例如只对解析流形有效或者要求非线性流形间具有很好的可分性），要么需要复杂的优化过程，不利于实际的大规模应用。

现有技术中，出现的上述类似技术，比如：

[1]M.Breitenbach and G.Z.Grudic,"Clustering through ranking on manifolds,"inICML,2005,pp.73-80.

[2]E.Elhamifar,G.Sapiro,and R.Vidal,"See all by looking at a few:Sparse modelingfor finding representative objects,"in Computer Vision and Pattern Recognition(CVPR),2012IEEE Conference on,2012,pp.1600-1607.

因此，随着现在各个领域实验数据的不断增多，在数据维数越来越大的情况下，亟待有一种方法能够充分地利用数据分布的低维流形特征实现很好的聚类，同时又能给出数据各样本与代表点间的关系。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于图论的k-means非线性流形聚类与代表点选取方法，具有很好的聚类效果，同时能够为每类指定一个最具代表性的点，方法实现简单，易于操作，非常适合具有低维流形分布的高维数据处理应用。

为实现上述目的，本发明提出一种基于图论的k-means非线性流形聚类与代表点选取方法。该方法首先使用要聚类的样本集构建一个图模型，然后在图模型上交替更新类别中心和更新各类成员，直至收敛，收敛后的中心既是要选取的代表点，同时与各代表点具有相同类别标号的样本点为一类，其中：

在更新类别中心时，限制类别中心为图上的节点，在每次的更新中选取某个类别中的一个成员作为聚类中心，使得它与所在类别中所有其他成员的图距离之和最小；

在更新样本所属类别时，使用本发明提出的无限次随机游走概率作为样本和中心间的相似性度量，无限次随机游走概率矩阵计算方法如下：

其中I为单位矩阵，α是小于1的正数，P＝D^-1W为随机游走转移矩阵，其中W为所构建图模型的邻接矩阵，D为对角矩阵，其对角元为对应的W行和，无限次随机游走概率矩阵中的第i行第j列元素表示样本集中第i个样本到第j个样本的无限次随机游走概率。

以下对本发明上述方法做进一步说明。

传统的k-means聚类方法在不断的迭代中有两个关键步骤：更新聚类中心和更新各类成员。针对这两个关键步骤，本发明给出了彻底性的改进。本发明的方法如下：

1.更新类别中心

对于给定的样本集合，首先计算样本两两之间的欧式距离得到一个距离矩阵，然后利用此距离矩阵采用dijkstra方法或者其他类似方法计算出样本两两之间的图距离，获得一个图距离矩阵，记为D_G。

对于第k类的聚类中心，传统的k-means是在寻找满足如下条件的一点作为聚类中心

其中C_k为第k类中所包含样本的序号集合，d_E(x_i,x_j)为样本x_i到x_j得欧式距离，c_k为第k类的中心样本，K为给定的类别数目。此方法不仅没有考虑流形分布的特点，而且聚类中心也不在数据集中，即类别中心脱离类别所分布的流形，从而很难体现样本和类中心点之间的关系。本发明采用如下方法决定聚类中心：

$c_k=\arg \underset{x_j,j\∈C_k}{\min }\frac{1}{2}\underset{i\∈C_k}{\mathrm{\Σ}}{d}_G(x_j,x_i),k=1..K$

其中C_k为第k类中所包含样本的序号集合，d_G(x_i,x_j)为样本x_i到x_j得图距离，c_k为第k类的中心样本，K为给定的类别数目。即对于每一类，选取距离该类中的某一个样本，使得它到所有其他样本的图距离之和最小。然后以此样本作为本次迭代的类中心。这样做即充分利用了样本所分布的流形信息，又保证聚类中心是样本集中的一员，即限制了聚类中心在流行上，从而提高样本中心的后续利用价值。因为对应于某一类的图距离矩阵实际上是总体图距离矩阵D_G的一个主对角子矩阵，因此上述优化问题可最终转换为如下的简单最值问题

$c_k=x_j,j=\arg \underset{i=1..\left|C_k\right|}{\min }{\left[D_G^{k}e\right]}_i,j\∈C_k$

其中

是对应于第k类的图距离矩阵，e为全1向量，C_k为第k类中所包含样本的序号集合，c_k为第k类的中心样本。

2.更新各类成员

首先构建一个kNN图模型，图的每个节点对应一个样本，每个节点只与离它最近的k个样本相连接构，图的边使用高斯函数继续加权或其他加权。传统的k-means按照欧式距离把样本归入离它最近的中心点所在的类中，这样无法充分利用数据的流形分布特征。本发明给出一种新的疲劳随机游走模型来衡量样本与中心点间的相似性。

传统的随机游走矩阵为P＝D^-1W，t步转移矩阵为P^t，其中W是图的邻接矩阵，D是对角矩阵，对角元为

假设现在有一个疲劳的随机游走者，每走一步其体力就会下降一定比例α∈(0,1)，直到体力消耗完就会停止。该游走者要从样本x_i出发前往x_j，那么它可以走任何一条连接x_i和x_j的路径。考虑所有连接x_i和x_j的路径，此随机游走者能够到达目的地的总概率为

对于所有的样本而言，两两之间的疲劳随机游走总概率矩阵为

此概率矩阵考虑了所有可能的路径，因此更能反应数据所分布的流形特征。因为矩阵P的特征值在[0,1]之间，所以该矩阵序列收敛且收敛式为

最后，对于给定的聚类中心

只需选择这些中心所对应的矩阵

的相应列并组成一个子矩阵然后可以根据如下规则确定某个样本x_i的类别

$k=\arg \underset{j=1..K}{\min }{\hat{P}}_{\mathrm{ij}}$

其中K为给定的类别数目，

为样本x_i到类中心x_j的疲劳随机游走概率。此方法只需要不断的比较矩阵行元素，找到最大的一个元素所在列即为样本所对应的类别，因此操作简单高效，而且实际应用中效果更佳。

k-means是实际中应用最为广泛的一种聚类方法，该方法有很多优势，例如操作简单，速度快，过程直观等。但是在处理流形分布的高维数据时，传统的k-means聚类方法有两个明显的缺陷，其一是它只在样本服从高斯或者类似高斯分布的情况下才能取得好的效果。而对于低维度流行分布的样本集，它无法充分利用流形特征，因此在处理高维数据时很难获得较好的效果；其二是它聚类后的聚类中心一般都不是数据集的成员，也就是聚类中心不在数据集所在的低维流形上。这样的聚类中心在很多实际中也就很难被直接利用，例如在文本和视频摘要的应用中。为此，本发明所述的一种基于图论的k-means方法，能够很好的克服这些缺陷。

与现有技术相比，本发明具有如下的有益效果：

1.本发明考虑复杂数据的流形分布特征，因此在处理高维复杂数据诸如图像、文本以及视频等已被证实服从地位流形分布时，可获得较传统方法更为满意的效果，处理的结果更贴近人对数据的认知。而图像、文本以及视频等数据在工业生产和生活中都发挥着重要作用，因此本发明在实际中具有广阔的应用前景；

2.本发明在完成聚类的同时，给出每个类最具代表性的点，这是以往同类技术所不具有的。这不仅给出了数据的结构分布描述，而且给出了数据的典型性描述。此技术在实际中具有很好的应用，例如视频内容预览（从长视频中提取最能代表整个视频内容的若干帧画面供客户预览）、文本浓缩（从一篇文章中抽取若干句最能表示文章大意的句子）等。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明方法的流程图。

图2为本发明在人脸图像聚类案例中与其他方法比较示意图。

图3为本发明在代表代选取案例中的结果。

图4为本发明在实际数据集上与SMRS方法的比较。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

实施例1：流形聚类案例

本实施例对人脸图像进行聚类，选取了四组不同的人脸照片，每组包含同一个人的24张脸部照片，每张照片在不同的角度、光照以及表情下拍摄，最后每个照片大小归一化到64×64，然后把每张图像逐列排列成一个4096维的列向量，共计96张人脸图像向量构成一个人脸数据集（以下简称数据集）。首先用所有照片构造一个kNN图（为了较全面地反映结果的可靠性，此处k取5和10两个值分别作操作一次）。具体实施过程如下：

1.构建kNN图。以数据集中的每个向量做为图的一个节点，相邻节点按如下方式定义：按照欧式距离，把每个节点和此数据集中与它最接近的k个节点想连接；

2.计算图矩阵和图距离矩阵。图的邻接矩阵W计算方法如下：如果第i个节点和第j个节点相邻，则W的第(i,j)个元素设

其中σ为高斯核函数参数，在此设为500；如果如果第i个节点和第j个节点不相邻，则W的第(i,j)个元素为0。图距离矩阵G方法如下：首先计算欧式距离矩阵E，E(i,j)＝||x_i-x_j||如果第i个节点和第j个节点相邻，否则E(i,j)＝0。然后利用矩阵E采用dsjkstra计算方法计算G。

3.计算疲劳随机游走矩阵。计算传统的随机游走矩阵为P＝D^-1W，D是对角矩阵，对角元为

计算疲劳随机游走矩阵α取值为0.99。

4.交替跌倒更新每个类中心和类成员直至收敛。

更新类中心： $c_k=x_j,j=\arg \underset{i=1..\left|C_k\right|}{\min }{\left[D_G^{k}e\right]}_i,j\∈C_k,$ 其中是对应于第k类的图距离矩阵，e为全1向量，C_k为第k类中所包含样本的序号集合，c_k为第k类的中心样本。

更新类成员：最后，对于给定的聚类中心

只需选择这些中心所对应的矩阵

的相应列并组成一个子矩阵然后可以根据如下规则确定某个样本x_i的类别

$k=\arg \underset{j=1..K}{\min }{\hat{P}}_{\mathrm{ij}}$

其中K为给定的类别数目，

为样本x_i到类中心x_j的疲劳随机游走概率。

5.收敛后C_k中即为第k类所包含的样本标号，c_k为第k类的中心样本。

聚类结果与传统的k-means方法以及基于核的k-means方法进行了比较。同时，为了体现本发明的最新性和优异性，聚类结果也与当前常用图谱聚类方法以及最新报道的流形聚类方法Clustering Through Ranking[1]进行了比较。比较的结果参考附图2。图中CKM代表传统k-means方法，KKM代表核k-means方法，GKM代表本发明的方法，NCut代表图谱方法以及CTR代表最新的流形方法。从结果可以看出，本发明的结果远远优于其他方法，尤其在k为5时，本发明方法比其他方法错误率降低近10个百分点。

实施例2：代表点选取案例

为了验证本发明在代表点选取中的性能表现，本实施例在2个人工合成数据集和4个实际的数据集上进行了测试。根据给定的代表点个数K，具体实施过程如下：

1.构建kNN图。以数据集中的每个向量做为图的一个节点，相邻节点按如下方式定义：按照欧式距离，把每个节点和此数据集中与它最接近的k个节点想连接；

2.计算图矩阵和图距离矩阵。图的邻接矩阵W计算方法如下：如果第i个节点和第j个节点相邻，则W的第(i,j)个元素设

其中σ为高斯核函数参数，因数据集而不同；如果如果第i个节点和第j个节点不相邻，则W的第(i,j)个元素为0。图距离矩阵G方法如下：首先计算欧式距离矩阵E，E(i,j)＝||x_i-x_j||如果第i个节点和第j个节点相邻，否则E(i,j)＝0。然后利用矩阵E采用dsjkstra计算方法计算G。

3.计算疲劳随机游走矩阵。计算传统的随机游走矩阵为P＝D^-1W，D是对角矩阵，对角元为

计算疲劳随机游走矩阵α取值为0.99。

4.交替跌倒更新每个类中心和类成员直至收敛。

更新类中心： $c_k=x_j,j=\arg \underset{i=1..\left|C_k\right|}{\min }{\left[D_G^{k}e\right]}_i,j\∈C_k,$ 其中

是对应于第k类的图距离矩阵，e为全1向量，C_k为第k类中所包含样本的序号集合，c_k为第k类的中心样本。

更新类成员：最后，对于给定的聚类中心

只需选择这些中心所对应的矩阵

的相应列并组成一个子矩阵

然后可以根据如下规则确定某个样本x_i的类别

$k=\arg \underset{j=1..K}{\min }{\hat{P}}_{\mathrm{ij}}$

其中K为给定的类别数目，

为样本x_i到类中心x_j的疲劳随机游走概率。

5.c_k,k＝1...K即为代表点。

同时为了便于说明本发明给出的方法与已有方法的本质区别，本实施例首先在手工生产的两个数据集上进行了测试，结果如图3。实际数据集测试的结果与最新报道的SMR[2]方法进行了比较，结果如图4。

图3中为人工数据集上与最新的SMRS方法比较结果，图中大的黑点是找到的代表点。前面两个是SMRS方法的结果，后面两个是本发明方法的结果。从图3中可以看出，最新的SMRS方法有两个不足：其一，SMRS方法只考虑数据集的外围凸包，而忽略数据集的内部结构。而实际中数据集的内部结构是数据所分布流形本质的体现，包含很重要的信息；其二，SMRS方法无法手工确定代表点的个数，这在实际应用中现的不够灵活。而本发明所给出的方法能够很好的克服SMRS的这些缺陷。

图4为本发明方法在实际数据集上与SMRS方法的比较。图中白色框出的表示不同方法所选取的代表点。第1、4列为SMRS方法的结果；第2、3、5、6列为本发明方法在给定不同代表点数目时的结果。左手边的两个测试数据集是苹果和茶杯在不同角度和方向上拍摄的照片；右手边的数据集是数字2和3的手写图片各100个。从结果可以看出，本发明方法能够选取出的个体能够很好的代表整个数据集的整体特性。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (4)

1.一种基于图论的k-means非线性流形聚类与代表点选取方法，其特征在于，首先使用要聚类的样本集构建一个图模型，然后在图模型上交替更新类别中心和更新各类成员，直至收敛，收敛后的中心既是要选取的代表点，同时与各代表点具有相同类别标号的样本点为一类；其中：

在更新类别中心时，限制类别中心为图上的节点，在每次的更新中选取某个类别中的一个成员作为聚类中心，使得它与所在类别中所有其他成员的图距离之和最小；

在更新样本所属类别时，使用无限次随机游走概率作为样本和中心间的相似性度量，无限次随机游走概率矩阵计算方法如下：

其中I为单位矩阵，α是小于1的正数，P＝D^-1W为随机游走转移矩阵，其中W为所构建图模型的邻接矩阵，D为对角矩阵，其对角元为对应的W行和，无限次随机游走概率矩阵中的第i行第j列元素表示样本集中第i个样本到第j个样本的无限次随机游走概率。

2.根据权利要求1所述的一种基于图论的k-means非线性流形聚类与代表点选取方法，其特征在于，所述更新类别中心，具体为：对于给定的样本集合，首先计算样本两两之间的欧式距离得到一个距离矩阵，然后利用此距离矩阵计算出样本两两之间的图距离，获得一个图距离矩阵，记为D_G；对于第k类的聚类中心，采用如下方法决定聚类中心：

$c_k=\arg \underset{x_j,j\∈C_k}{\min }\frac{1}{2}\underset{{i\∈C}_k}{\mathrm{\Σ}}{d}_G(x_j,x_i),k=1..K$

其中C_k为第k类中所包含样本的序号集合，d_G(x_i,x_j)为样本x_i到x_j得图距离，c_k为第k类的中心样本，K为给定的类别数目；即对于每一类，选取距离该类中的某一个样本，使得它到所有其他样本的图距离之和最小，然后以此样本作为本次迭代的类中心；因为对应于某一类的图距离矩阵实际上是总体图距离矩阵D_G的一个主对角子矩阵，因此上述优化问题可最终转换为如下的简单最值问题：

$c_k=x_j,j=\arg \underset{i=1..\left|C_k\right|}{\min }{\left[D_G^{k}e\right]}_i,j\∈C_k$

其中

是对应于第k类的图距离矩阵，e为全1向量，C_k为第k类中所包含样本的序号集合，c_k为第k类的中心样本。

3.根据权利要求1所述的一种基于图论的k-means非线性流形聚类与代表点选取方法，其特征在于，所述更新各类的成员，具体为：首先构建一个kNN图模型，图的每个节点对应一个样本，每个节点只与离它最近的k个样本相连接，图的边使用高斯函数继续加权或其他加权；传统的随机游走矩阵为P＝D^-1W，t步转移矩阵为P^t，其中W是图的邻接矩阵，D是对角矩阵，对角元为

假设现在有一个疲劳的随机游走者，每走一步其体力就会下降一定比例α∈(0,1)，直到体力消耗完就会停止，该游走者要从样本x_i出发前往x_j，那么它可以走任何一条连接x_i和x_j的路径，考虑所有连接x_i和x_j的路径，此随机游走者能够到达目的地的总概率为

对于所有的样本而言，两两之间的疲劳随机游走总概率矩阵为

因为矩阵P的特征值在[0,1]之间，所以该矩阵序列收敛且收敛式为 $\stackrel{\‾}{P}={(I-\mathrm{\αP})}^{-1};$

最后，对于给定的聚类中心

只需选择这些中心所对应的矩阵

的相应列并组成一个子矩阵

然后根据如下规则确定某个样本x_i的类别

$k=\arg \underset{j=1..K}{\min }{\hat{P}}_{\mathrm{ij}}$

其中K为给定的类别数目，为样本x_i到类中心x_j的疲劳随机游走概率；不断的比较矩阵行元素，找到最大的一个元素所在列即为样本所对应的类别。

4.根据权利要求1所述的一种基于图论的k-means非线性流形聚类与代表点选取方法，其特征在于，对于样本集中的某个样本，把该样本归入离它无限次随机游走概率最大的一个中心所在类中。

Images