CN103077253A - Hadoop框架下高维海量数据GMM聚类方法 - Google Patents

Abstract

本发明公开了一种Hadoop框架下高维海量数据GMM聚类方法，主要针对已有聚类算法的不足，将海量数据的聚类问题架构在分布式平台上，用于高维、海量数据的聚类。其实现步骤是：1、组建局域网；2、建立Hadoop平台；3、上传数据到集群；4、初始聚类；5、计算各聚类的参数和判别函数；6、判断聚类是否完成；7、重新聚类；8、计算新聚类中每一个类的均值、权重；9、计算新聚类中每一个类的方差；10、输出聚类结果。本发明利用Hadoop框架中MapReduce运算模型的特点，对聚类中的可并行部分用Map并行方法处理，计算均值和方差时采用两个Map/Reduce分别计算，可以高效、精确的聚类，有较强的可扩展性和容错性。

Description

Hadoop框架下高维海量数据GMM聚类方法

技术领域

本发明属于计算机技术领域，更进一步涉及数据挖掘领域中Hadoop框架下高维、海量数据的高斯混合模型(Gaussian Mixtures Model，GMM)聚类方法。本发明可以方便、高效的完成高维、海量数据地的聚类，克服单机模式下海量数据处理的低效，维数灾难问题。

技术背景

海量数据处理的过程中广泛采用的一种计算框架MR“Dean J，Ghemawat S.MapReduce：simplified data processing on large clusters[J].Communications of the ACM，2005，51(1)：107-113”该计算框架是由Google公司发明，近些年新兴的并行编程模式，它将并行化、容错、数据分布、负载均衡等放在一个库里，将系统对数据的所有操作都归结为两个步骤：Map(映射)阶段和Reduce(化简)阶段，使那些没有多少并行计算经验的开发人员也可以开发并行应用，对海量数据进行处理。

Clustering with Gaussian Mixtures“Andrew W.Moore Professor，School ofComputer Science Carnegie Mellon University”所提出的GMM(高斯混合聚类模型)是单一高斯概率密度函数的延伸。通过多个单高斯模型的线性组合来组成一个混合高斯模型。通过EM算法对模型的参数不断进行调整从而得到能够描述数据的聚类模型。该方法存在的不足是：在聚类过程中不能有效应对海量数据，算法效率受到时间，空间复杂度的限制。

上海海事大学申请的发明专利“一种基于在线分裂合并EM算法的高斯混合模型聚类方法”(专利申请号：201010172604.6，公开号：CN102081753A)。该专利申请公开了一种基于在线分裂合并EM算法的高斯混合模型聚类方法，该方法基于在线分裂合并的EM算法对Ueda等人和Demsper等人的算法进行改进，因此，该聚类方法继承了EM算法的完备性和收敛性特征，也继承了分裂合并算法对局部收敛性的改进，通过引入时间序列参数，提出了增量在线分裂EM训练方法，由此实现了增量式的期望最大化训练。该聚类方法能够逐样本在线更新GMM模型参数，克服了批处理数据要求的离线训练的局限性。但是，该聚类方法仍然存在不足之处是，该聚类方法并没有解决大规模数据处理中的维数灾难问题，可扩展性及伸缩性不强。

发明内容

本发明的目的在于克服上述现有技术的不足，将海量数据的聚类问题架构在分布式平台上，提出一种基于Hadoop框架的高维、海量数据聚类方法。在聚类的过程中，利用Hadoop框架中MapReduce运算模型的特点，对聚类中的可并行部分用Map并行方法处理，计算均值和方差时采用两个Map/Reduce分别计算。

为实现上述目的，本发明包括如下步骤：

(1)组建局域网

将多台计算机连接到同一局域网中，每台计算机作为一个节点，建立能够相互通信的集群；

(2)建立Hadoop平台

对集群中的每个节点配置Hadoop0.20.2文件，通过文件中属性参数dfs.namenode和dfs.datanode的设置，使集群中包含一个名字节点和多个数据节点；通过文件中属性参数mapred.jobtracker和mapred.tasktracker的设置，使集群中包含一个调度节点和多个任务节点，建立开源的Hadoop平台；

(3)上传数据到集群

使用Hadoop分布式文件命令dfs-put将待聚类数据集上传至Hadoop平台的各个节点上；

(4)初始聚类

采用KMeans聚类方法，对集群中节点上的数据进行初始粗略聚类，得到初始的聚类；

(5)计算各聚类的参数和判别函数

5a)计算初始的聚类每一个类的均值；

5b)统计初始聚类每一个类中数据的个数，用统计的数据个数除以待聚类数据集中数据的总数，得到初始聚类每一个类的权重；

5c)计算初始的聚类每一个类的方差；

5d)计算判别函数

按照下式计算高斯概率密度值：

$G=\frac{\exp (-(x-u_i){{\mathrm{\Σ}}_i}^{-1}(x-u_i)/2)}{\sqrt{{\left(2\mathrm{\π}\right)}^d\left|{\mathrm{\Σ}}_i\right|}}$

其中，G表示高斯概率密度的值，x表示待聚类数据集中的任意一个向量数据，u_i表示第i个类的均值，i表示聚类中的第i个类，∑_i表示第i个类的方差，exp表示以e为底的指数运算；

按照下式计算判别函数的值：

$L={\mathrm{\Σ}}_{x\∈D}\log \left({\mathrm{\Σ}}_{i=1}^K{p}_{i}G\left(x\right|u_i,{\mathrm{\Σ}}_i)\right)$

其中，L表示判别函数值，x表示待聚类数据集中的任意一个向量数据，D表示待聚类数据集，K表示聚类中类的个数，i表示聚类中的第i个类，p_i表示第i个类在聚类中的权重，G表示第i个类的高斯概率密度值，u_i表示第i个类的均值，∑_i表示第i个类的方差；

(6)判断聚类是否完成

判断判别函数的值是否在设定域值之内，若在阈值内，则聚类结束，执行步骤(10)，若不在阈值内，表示聚类尚未结束，执行步骤(7)；

(7)重新聚类

7a)启动第一个Map任务，扫描待聚类数据集，每次读入一条数据；

7b)对每次读入的数据，采用以下公式计算读入的数据到聚类中每个类的概率值：

$\mathrm{\γ}(x,i)=\frac{p_{i}G\left(x\right|u_i,{\mathrm{\Σ}}_i)}{{\mathrm{\Σ}}_{h=1}^K{P}_{h}G\left(x\right|u_h,{\mathrm{\Σ}}_h)}$

其中，γ(x，i)表示待聚类数据集中数据x到聚类中第i个类的概率值，p_i表示第i个聚类在待聚类数据集中的权重，G为第i个聚类的概率密度函数值，x表示待聚类数据集中的数据，u_i表示第i个聚类的均值，∑_i表示第i个聚类的方差，K表示聚类的个数，h表示聚类中的第h个类，P_h表示第h个聚类在待聚类数据集中的权重，u_h表示第h个类的均值，∑_h表示第h个聚类的方差；

7c)选取概率值中的最大值，将步骤7a)读入数据分配到最大值对应的类；

7d)判断是否读取完待聚类数据集，若未读取完，则执行步骤7a)，若读取完，则表示得到了新聚类，执行步骤(8)；

(8)计算新聚类中每一个类的均值、权重

启动第一个Reduce任务，计算第一个Map任务传入的聚类数据，按照步骤5a)的计算方法获得新聚类中每一个类的均值，按照步骤5b)的计算方法获得新聚类中每一个类的权重；

(9)计算新聚类中每一个类的方差

9a)启动第二个Map任务，第二次扫描待聚类数据集，每次读入一条数据；

9b)对每次读入的数据，采用以下公式计算Map/Reduce中间值：

D_mid＝(x-u)²

其中，D_mid表示Map/Reduce中间值，x表示步骤9a)读入的一条数据，u表示x所属类的均值；

9c)启动第二个Reduce任务，对9b)的中间值先求和，再求和的根，获得新聚类的方差；

9d)判断是否读取完待聚类数据集，若未读取完，则执行步骤9a)，若读取完，执行步骤(5)；

(10)输出聚类结果

聚类结束后，聚类中每一个类的均值、权重、方差作为聚类结果输出；

本发明与现有的技术相比具有以下优点：

第一，由于本发明在聚类过程中对聚类中的可并行部分用Map并行方法处理，克服了现有技术采用串行计算方法存在效率低的不足，使得本发明在聚类效率上提高很大。

第二，由于本发明在计算均值和方差时采用两个Map/Reduce分别计算，降低了现有技术中Map端到Reduce端数据量的传输，使得本发明解决了现有技术中数据传输的I/O瓶颈问题。

第三，由于本发明将聚类问题架构在分布式平台上，分布式平台可以随时委任、删除节点，使得本发明的可扩展性强。

附图说明

图1为本发明的流程图；

图2为不同规模的数据量情况下，使用本方法与传统方法处理的对比结果图；

图3为在相同规模数据量，不同聚类个数情况下，使用本方法与传统方法处理的对比结果图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照图1，本发明包括如下步骤：

步骤1，组建局域网

将多台计算机连接到同一局域网中，每台计算机作为一个节点，建立能够相互通信的集群。

步骤2，建立Hadoop平台

对集群中的每个节点配置Hadoop0.20.2文件，通过文件中属性参数dfs.namenode和dfs.datanode的设置，使集群中包含一个名字节点和多个数据节点；通过文件中属性参数mapred.jobtracker和mapred.tasktracker的设置，使集群中包含一个调度节点和多个任务节点，建立开源的Hadoop平台。

建立Hadoop平台具体步骤如下：首先为集群中每一个节点安装ubuntu10.04操作系统；然后为集群中每一个节点安装Hadoop0.20.2插件；为集群中每一个节点安装JDK1.6.3插件；配置集群中每个节点上的ubuntu10.04系统的etc文件，使ubuntu10.04系统关联该节点上的Hadoop0.20.2文件和该节点上的jdk文件配置每个节点上Hadoop0.20.2插件中的core-site.xml文件，hdfs-site.xml文件和mapred-site.xml文件；设置属性dfs.namenode和dfs.datanode，使集群中存在一个名字节点和多个数据节点，设置属性mapred.jobtracker和mapred.tasktracker，使集群中存在一个任务调度节点和多个任务执行节点。

步骤3，上传数据到集群

使用Hadoop分布式文件命令dfs-put将待聚类数据集上传至Hadoop平台的各个节点上。

步骤4，初始聚类

采用KMeans聚类方法，对集群中节点上的数据进行初始粗略聚类，得到初始的聚类。

初始聚类的具体步骤如下：首先把待聚类数据集聚集为c个类，c的大小根据不同的工程要求设定不同的值；采用随机函数从待聚类数据集中选取c个数据作为聚类中每个类的中心；设定迭代次数K，K的大小根据不同工程要求设定不同的值，设定已迭代次数m的初始值为0；读取数据，每次读取待聚类数据集中的一条数据；对读入数据，采用下式求其到聚类中每个类的中心的距离：

$D_i=\sqrt{{(x-c_i)}^2}$

其中，D_i表示数据x到聚类中第i个类的中心的距离，x代表读入的数据，c_i代表聚类中第i个类的中心。

将读入数据归到距离最短的中心所在的类；判断是否读取完待聚类数据集，若读取完，迭代次数m加1，否则继续读取下一条数据；利用均值方法更新该类的中心值。判断迭代次数m是否大于K，如果大于，结束迭代，否则继续读取数据。

步骤5，计算各聚类的参数和判别函数

计算初始的聚类每一个类的均值；统计初始聚类每一个类中数据的个数，用统计的数据个数除以待聚类数据集中数据的总数，得到初始聚类每一个类的权重；计算初始的聚类每一个类的方差；

首先计算高斯概率密度值，由此高斯概率密度值计算获得判别函数的值。

按照下式计算高斯概率密度值：

$G=\frac{\exp (-(x-u_i){{\mathrm{\Σ}}_i}^{-1}(x-u_i)/2)}{\sqrt{{\left(2\mathrm{\π}\right)}^d\left|{\mathrm{\Σ}}_i\right|}}$

其中，G表示高斯概率密度的值，x表示待聚类数据集中的任意一个向量数据，u_i表示第i个类的均值，i表示聚类中的第i个类，∑_i表示第i个类的方差，exp表示以e为底的指数运算；

按照下式计算判别函数的值：

$L={\mathrm{\Σ}}_{x\∈D}\log \left({\mathrm{\Σ}}_{i=1}^K{p}_{i}G\left(x\right|u_i,{\mathrm{\Σ}}_i)\right)$

其中，L表示判别函数值，x表示待聚类数据集中的任意一个向量数据，D表示待聚类数据集，K表示聚类中类的个数，i表示聚类中的第i个类，p_i表示第i个类在聚类中的权重，G表示第i个类的高斯概率密度值，u_i表示第i个类的均值，∑_i表示第i个类的方差。

步骤6，判断聚类是否完成

判断判别函数的值是否在设定域值之内，若在阈值内，则聚类结束，执行步骤10，若不在阈值内，表示聚类尚未结束，执行步骤7。

步骤7，重新聚类

7a)启动第一个Map任务，扫描待聚类数据集，每次读入一条数据；

7b)对每次读入的数据，采用以下公式计算读入的数据到聚类中每个类的概率值：

$\mathrm{\γ}(x,i)=\frac{p_{i}G\left(x\right|u_i,{\mathrm{\Σ}}_i)}{{\mathrm{\Σ}}_{h=1}^K{P}_{h}G\left(x\right|u_h,{\mathrm{\Σ}}_h)}$

其中，γ(x，i)表示待聚类数据集中数据x到聚类中第i个类的概率值，p_i表示第i个聚类在待聚类数据集中的权重，G为第i个聚类的概率密度函数值，x表示待聚类数据集中的数据，u_i表示第i个聚类的均值，Σ_i表示第i个聚类的方差，K表示聚类的个数，h表示聚类中的第h个类，P_h表示第h个聚类在待聚类数据集中的权重，u_b表示第h个类的均值，∑_h表示第h个聚类的方差；

7c)选取概率值中的最大值，将步骤7a)读入数据分配到最大值对应的类；

7d)判断是否读取完待聚类数据集，若未读取完，则执行步骤7a)，若读取完，则表示得到了新聚类，执行步骤8。

步骤8，计算新聚类中每一个类的均值、权重

启动第一个Reduce任务，计算第一个Map任务传入的聚类数据，按照步骤5a)的计算方法获得新聚类中每一个类的均值，按照步骤5b)的计算方法获得新聚类中每一个类的权重。

步骤9，计算新聚类中每一个类的方差

9a)启动第二个Map任务，第二次扫描待聚类数据集，每次读入一条数据；

9b)对每次读入的数据，采用以下公式计算Map/Reduce中间值：

D_mid＝(x-u)²

其中，D_mid表示Map/Reduce中间值，x表示步骤9a)读入的一条数据，u表示x所属类的均值；

9c)启动第二个Reduce任务，对9b)的中间值先求和，再求和的根，获得新聚类的方差；

9d)判断是否读取完待聚类数据集，若未读取完，则执行步骤9a)，若读取完，执行步骤5。

步骤10，结束，输出聚类结果

聚类结束后，聚类中每一个类的均值、权重、方差作为聚类结果输出。

结合图1对本发明的效果做进一步的说明：步骤7要计算数据集中每个向量到聚类中的每一个类的概率，因此要扫描整数据集。步骤9计算聚类中每一个类的方差，也需要扫描整个数据集。这里为了避免数据在网络中的传递，受到I/O瓶颈的影响，本发明在设计时，采用两个Map/Reduce来完成。第一个Map/Reduce完成步骤7的工作，然后直接将数据写到各个节点的本地文件系统。第二个Map/Reduce完成步骤9的工作，在各个节点通过本地文件系统读取数据进行方差计算，这样做减少了网络中数据的传输，提高了计算的效率。

本发明的效果可以通过以下仿真实验进一步说明：

1.仿真实验条件

仿真实验环境：操作系统为Windows7，CPU2.40GHz，名字节点内存为8GB，数据节点内存为4GB，编程平台为ubuntu10.04，Eclipse。

仿真实验一是对不同规模的128维向量数据，聚成三个类的实验，图2是该仿真实验结果图。

仿真实验二是对40000条128维向量数据，聚成多个类的实验，图3是该仿真实验结果图。

2.仿真实验内容和结果

仿真实验一：测试数据维数为128维向量数据，这些数据被聚成了三个类。图2中实线表示传统聚类方法仿真效果，图2中虚线表示本发明仿真效果。从图2中实线、虚线的走势中可以看出，在聚类中类个数相同情况下，数据规模从10000条到70000条的增大，传统单机聚类方法的运算效率受到系统I/O和单机计算能力的制约，低于本发明的运算效率。

仿真实验二：测试数据维数为128维向量数据，数据总个数为40000个。图3中实线表示传统聚类方法仿真效果，图3中虚线表示本发明仿真效果。从图3中实线、虚线的走势中可以看出，在同等规模数据量的情况下，聚类中类个数从1个到10个增多，本发明聚类所需时间较传统方法有了明显的降低。

Claims (3)

1.Hadoop框架下高维海量数据GMM聚类方法，包括如下步骤：

(1)组建局域网

将多台计算机连接到同一局域网中，每台计算机作为一个节点，建立能够相互通信的集群；

(2)建立Hadoop平台

对集群中的每个节点配置Hadoop0.20.2文件，通过文件中属性参数dfs.namenode和dfs.datanode的设置，使集群中包含一个名字节点和多个数据节点；通过文件中属性参数mapred.jobtracker和mapred.tasktracker的设置，使集群中包含一个调度节点和多个任务节点，建立开源的Hadoop平台；

(3)上传数据到集群

使用Hadoop分布式文件命令dfs-put将待聚类数据集上传至Hadoop平台的各个节点上；

(4)初始聚类

采用KMeans聚类方法，对集群中节点上的数据进行初始粗略聚类，得到初始的聚类；

(5)计算各聚类的参数和判别函数

5a)计算初始的聚类每一个类的均值；

5b)统计初始聚类每一个类中数据的个数，用统计的数据个数除以待聚类数据集中数据的总数，得到初始聚类每一个类的权重；

5c)计算初始的聚类每一个类的方差；

5d)计算判别函数

按照下式计算高斯概率密度值：

$G=\frac{\exp (-(x-u_i){{\mathrm{\Σ}}_i}^{-1}(x-u_i)/2)}{\sqrt{{\left(2\mathrm{\π}\right)}^d\left|{\mathrm{\Σ}}_i\right|}}$

其中，G表示高斯概率密度的值，x表示待聚类数据集中的任意一个向量数据，u_i表示第i个类的均值，i表示聚类中的第i个类，∑_i表示第i个类的方差，exp表示以e为底的指数运算；

按照下式计算判别函数的值：

$L={\mathrm{\Σ}}_{x\∈D}\log \left({\mathrm{\Σ}}_{i=1}^K{p}_{i}G\left(x\right|u_i,{\mathrm{\Σ}}_i)\right)$

其中，L表示判别函数值，x表示待聚类数据集中的任意一个向量数据，D表示待聚类数据集，K表示聚类中类的个数，i表示聚类中的第i个类，p_i表示第i个类在聚类中的权重，G表示第i个类的高斯概率密度值，u_i表示第i个类的均值，Σ_i表示第i个类的方差；

(6)判断聚类是否完成

判断判别函数的值是否在设定域值之内，若在阈值内，则聚类结束，执行步骤(10)，若不在阈值内，表示聚类尚未结束，执行步骤(7)；

(7)重新聚类

7a)启动第一个Map任务，扫描待聚类数据集，每次读入一条数据；

7b)对每次读入的数据，采用以下公式计算读入的数据到聚类中每个类的概率值：

$\mathrm{\γ}(x,i)=\frac{p_{i}G\left(x\right|u_i,{\mathrm{\Σ}}_i)}{{\mathrm{\Σ}}_{h=1}^K{P}_{h}G\left(x\right|u_h,{\mathrm{\Σ}}_h)}$

其中，γ(x，i)表示待聚类数据集中数据x到聚类中第i个类的概率值，p_i表示第i个聚类在待聚类数据集中的权重，G为第i个聚类的概率密度函数值，x表示待聚类数据集中的数据，u_i表示第i个聚类的均值，Σ_i表示第i个聚类的方差，K表示聚类的个数，h表示聚类中的第h个类，P_h表示第h个聚类在待聚类数据集中的权重，u_h表示第h个类的均值，∑_h表示第h个聚类的方差；

7c)选取概率值中的最大值，将步骤7a)读入数据分配到最大值对应的类；

7d)判断是否读取完待聚类数据集，若未读取完，则执行步骤7a)，若读取完，则表示得到了新聚类，执行步骤(8)；

(8)计算新聚类中每一个类的均值、权重

启动第一个Reduce任务，计算第一个Map任务传入的聚类数据，按照步骤5a)的计算方法获得新聚类中每一个类的均值，按照步骤5b)的计算方法获得新聚类中每一个类的权重；

(9)计算新聚类中每一个类的方差

9a)启动第二个Map任务，第二次扫描待聚类数据集，每次读入一条数据；

9b)对每次读入的数据，采用以下公式计算Map/Reduce中间值：

D_mid＝(x-u)²

其中，D_mid表示Map/Reduce中间值，x表示步骤9a)读入的一条数据，u表示x所属类的均值；

9c)启动第二个Reduce任务，对9b)的中间值先求和，再求和的根，获得新聚类的方差；

9d)判断是否读取完待聚类数据集，若未读取完，则执行步骤9a)，若读取完，执行步骤(5)；

(10)输出聚类结果

聚类结束后，聚类中每一个类的均值、权重、方差作为聚类结果输出。

2.根据权利要求1所述的Hadoop框架下高维海量数据GMM聚类方法，其特征在于，步骤(2)所述的建立Hadoop平台方法的具体步骤如下：

第一步，为集群中每一个节点安装ubuntu10.04操作系统；

第二步，为集群中每一个节点安装Hadoop0.20.2插件；

第三步，为集群中每一个节点安装JDK1.6.3插件；

第四步，配置集群中每个节点上的ubuntu10.04系统的etc文件，使ubuntu10.04系统关联该节点上的Hadoop0.20.2文件和该节点上的jdk文件；

第五步，配置每个节点上Hadoop0.20.2插件中的core-site.xml文件，hdfs-site.xml文件和mapred-site.xml文件；设置属性dfs.namenode和dfs.datanode，使集群中存在一个名字节点和多个数据节点，设置属性mapred,jobtracker和mapred.tasktracker，使集群中存在一个任务调度节点和多个任务执行节点。

3.根据权利要求1所述的Hadoop框架下高维海量数据GMM聚类方法，其特征在于，步骤(4)所述的KMeans聚类方法的具体步骤如下：

第一步，把待聚类数据集聚集为c个类，c的大小根据不同的工程要求设定不同的值；

第二步，采用随机函数从待聚类数据集中选取c个数据作为聚类中每个类的中心；

第三步，设定迭代次数K，K的大小根据不同工程要求设定不同的值，设定已迭代次数m的初始值为0；

第四步，读取数据，每次读取待聚类数据集中的一条数据；

第五步，对第四步读入数据，采用下式求其到聚类中每个类的中心的距离：

$D_i=\sqrt{{(x-c_i)}^2}$

其中，D_i表示数据x到聚类中第i个类的中心的距离，x代表第四步读入的数据，c_i代表聚类中第i个类的中心。

第六步，将数据归到距离最短的中心所在的类；

第七步，判断是否读取完待聚类数据集，若读取完，迭代次数m加1，执行第八步，否则执行第四步；

第八步，利用均值方法更新该类的中心值，判断迭代次数m是否大于K，如果大于，结束迭代，否则继续执行第四步。

Images