CN108776814A - 一种电力通信数据资源并行化聚类方法 - Google Patents

Abstract

本发明属于电力系统技术领域，更具体地，涉及一种电力通信数据资源并行化聚类方法，首先并行化计算数据集中各样本点的点密度；然后根据点密度大小和相互间的距离，选择k个初始聚类中心；最后利用k‑medoids算法在Hadoop平台上并行化进行非中心点分配和中心点更新，直到每个聚类的中心点和非中心点不再发生变化，得到最终的聚类结果。本发明结合各样本点计算的点密度大小及相互间的距离约束确定选取聚类算法的初始点，改进初始聚类中心的选取机制，使聚类迭代运算更加地有效，降低搜索范围，提高聚类效果；并行化资源分配进行优化，减少聚类时间，提高聚类精度，更好地支持对电力数据的有效分析和利用，发挥出电力通信网络相关数据的综合效益。

Description

一种电力通信数据资源并行化聚类方法

技术领域

本发明属于电力系统技术领域，更具体地，涉及一种电力通信数据资源并行化聚类方法。

背景技术

随着电力通信网络以功能为中心持续性发展，产生了大量分专业、分功能和分管理域的运维管理系统，进而导致电力运维数据“孤岛现象”的产生，严重抑制了大量分散的电力通信运维数据综合效益的发挥。如何利用分布式系统更好地处理这些数据量巨大且类型复杂的电力通信运维数据已成为研究的热点问题。聚类分析作为数据处理的一个有效手段，支持对大量无序分散数据进行整合分类从而进行更深层次的关联性分析或者数据挖掘，在电力通信网络中得到越来越广泛的应用。同时，分布式系统中并行化处理机制因其优秀的灵活性和高效性逐渐成为数据挖掘的一个重要研究方向。

聚类算法中初始点选取的优劣性会对整个聚类算法的准确性和高效性产生巨大影响，另外不同并行化算法分配资源的方案也将影响聚类算法的执行时间。分析现有专利文献中，很多聚类算法没有对初始点选取进行优化，从而对机制对聚类速度有较大影响；另有对原始数据进行简单随机抽样来完成数据的切分，在聚类数据的初始化方面执行效率不高；还有基于图生成的层次聚类方法，在MapReduce并行框架下实现并行聚类方法，但是由于电力数据属性复杂且数据量庞大，基于图的聚类方法聚类精度不理想，具有一定的局限性。因此，为发挥电力通信网络的运行情况、设备负荷状态、故障信息等相关数据的综合效益，减少聚类时间，提高聚类精度，更好地支持对电力数据的有效分析，初始点的选取机制和并行化设计策略是保证聚类分析高效、准确进行的关键技术点。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供一种电力通信数据资源并行化聚类方法。根据数据集中各样本点的点密度大小及相互间的距离约束确定选取聚类算法的初始点，改进初始聚类中心的选取机制，使聚类迭代运算更加地有效，降低搜索范围，提高聚类效果；通过并行化资源分配进行优化，减少了聚类时间并提高聚类精度，更好地支持对电力数据的有效分析和利用，发挥出电力通信网络的运行情况、设备负荷状态、故障信息等相关数据的综合效益。

为解决上述技术问题，本发明的技术方案如下：

一种电力通信数据资源并行化聚类方法，包括以下步骤：

S1：并行化计算数据集中各样本点的点密度；

S2：根据点密度大小及相互间的距离约束，选择k个初始聚类中心；

S3：利用k-medoids算法在Hadoop平台上并行化进行非中心点分配和中心点更新，直到每个聚类的中心点和非中心点不再发生变化，得到最终聚类结果。

作为优选，所述步骤S1的具体实现方法包括如下：

S11：主进程利用Map函数将数据点平均分成k份分配给计算节点，且有k个线程，k个份数据点交由k个线程处理，其中k表示聚类结果的类簇个数；

S12：并行化计算每个数据点与数据集其他点的距离；由于电力通信数据的混合属性，所以每个线程中的数据点与数据集中所有点两两之间的距离根据下式计算：

其中，数据集中的每个样本点有m_c个有序属性，m-m_c个无序属性，不失一般性，令有序属性排列在无序属性之前，Dist(x,y)表示每个线程中的数据点与数据集中所有点两两之间的MinkoVDM距离；

S13：并行化计算数据集中每个样本点的点密度；每个样本点的点密度Dens(x)根据下式计算：

Dens(x)＝|{p|Dist(x,p)≤r,p∈U}| (2)

其中，x为数据集中的某个样本点，Dens(x)表示样本点x的点密度，Dist(x,p)表示球心x与数据集中某样本点p之间的距离，r为计算样本点密度时球形域的半径，U为数据集；

r按下式求取：

r＝α×a (3)

其中α为事先给定的常数，取值在0.5～1之间，a表示为：

其中a为数据集中样本点两两之间距离的均值，n表示数据集中样本点的个数；

S14：通过Reduce函数将计算结果汇总并输出。

作为优选，所述步骤S2的具体实现方法包括如下：

S21：计算均值点密度AvgDens，均值点密度AvgDens根据下式计算：

其中AvgDens表示数据集的均值点密度；

S22：将点密度大于AvgDens的点即高密度点存入集合T中，并记录其簇中所包含的样本点，集合T根据下式计算：

T＝{x∈U|Dens(x)＞AvgDens} (6)

S23：取最大密度点作为第一个聚类中心c₁，并从T中删除，加入初始聚类中心集合C；根据下式在高密度点集合T中选取最大密度的样本点作为第一个聚类中心c₁，并从T中删除，加入初始聚类中心集合C：

c₁＝{x∈T|max(Dens(x))} (7)

S24：根据下式取距c₁至少2r距离的高密度点作为第二个聚类中心c₂，使得分别以c₁和c₂为球心，r为半径的球形域内没有共同的数据点，并将c₂从T中删除，加入初始聚类中心集合C：

c₂＝{x∈T|Dist(x,c₁)≥2r,max(Dens(x))} (8)

S25：根据下式选取c₃，并从T中删除，加入初始聚类中心集合C：

c₃＝{x∈T|Dist(x,c₁)≥2r,Dist(x,c₂)≥2r,max(Dens(x))} (9)

S26：根据下式直至找到k个初始聚类中心：

c_k＝{x∈T|Dist(x,c₁)≥2r,Dist(x,c₂)≥2r,…,Dist(x,c_k-1)≥2r,max(Dens(x))} (10)

作为优选，所述步骤S3的具体实现方法包括如下：

S31：主进程利用Map函数把非中心点分配的任务分派给若干个计算节点；

S32：根据下式并行化将每个非中心点依据距离大小指派给最近的中心点，加入该中心点所在的簇X_i：

x→{c_i∈C|min(Dist(x,c_i))}，i＝1,2,...,k (11)

S33：利用Reduce函数更新中心点使得非中心点到新中心点的代价最小；利用Reduce函数计算所有簇的代价，更新中心点使得非中心点到新中心点的代价最小：

其中，μ_i是簇X_i的均值向量按照下式计算：

S34：重复执行步骤S32和S33，直到每个聚类的中心点和非中心点不再发生变化即整个聚类的代价不再变小。

本发明针对电力通信数据的聚类处理问题，提出了一种基于MapReduce模型的并行化聚类方法，采用基于密度的聚类思想对k-medoids聚类算法初始点的选取策略进行优化，并利用Hadoop平台下的MapReduce编程框架实现了算法的并行化处理。

与现有技术相比，有益效果是：

(1)本发明提出并行化计算数据集中各样本点的点密度，并结合各样本点计算的点密度大小及相互间的距离约束确定选取聚类算法的初始点，改进初始聚类中心的选取机制，使聚类迭代运算更加地有效，降低搜索范围，提高聚类效果，使得之后的聚类迭代运算更加地有效；

(2)本发明采用基于密度的聚类思想可以很好地分离簇和环境噪声，减少噪声数据对选取初始点的影响，同时避免选择的初始点位于同一类簇中，使得初始聚类中心点的选取比较优秀，降低搜索范围，大大减少搜索指派的时间；

(3)使用Hadoop平台下的MapReduce编程框架对算法进行初始点点密度计算选取并行化、非中心点分配并行化和中心点更新并行化等方面的改进，并行化设计策略使得聚类时间大大减少，并提高了聚类精度，可以更好地支持对电力数据的有效分析和利用。

附图说明

图1是本发明一种电力通信数据资源并行化聚类方法的流程图。

图2是本发明并行化聚类方法步骤S1的流程图。

图3是本发明并行化聚类方法步骤S2的流程图。

图4是本发明并行化聚类方法步骤S3的流程图。

具体实施方式

下面结合附图，通过实例进一步说明本发明，附图仅用于示例性说明，附图仅用于示例性说明，不能理解为对本专利的限制。

如图1所示，提供一种电力通信数据资源并行化聚类方法，所述方法包括以下步骤：

S1：并行化计算数据集中各样本点的点密度；

S2：根据点密度大小及相互间的距离约束，选择k个初始聚类中心；

S3：利用k-medoids算法在Hadoop平台上并行化进行非中心点分配和中心点更新，直到每个聚类的中心点和非中心点不再发生变化，得到最终聚类结果。

如图2所示，所述步骤S1中的具体实现方法包括如下：

S11：主进程利用Map函数将数据点平均分成k份分配给计算节点，且有k个线程，k个份数据点交由k个线程处理，其中k表示聚类结果的类簇个数；

S12：并行化计算每个数据点与数据集其他点的距离；由于电力通信数据的混合属性，所以每个线程中的数据点与数据集中所有点两两之间的距离根据下式计算：

其中，数据集中的每个样本点有m_c个有序属性，m-m_c个无序属性，不失一般性，令有序属性排列在无序属性之前，Dist(x,y)表示每个线程中的数据点与数据集中所有点两两之间的MinkoVDM距离；

S13：并行化计算数据集中每个样本点的点密度；每个样本点的点密度Dens(x)根据下式计算：

Dens(x)＝|{p|Dist(x,p)≤r,p∈U}| (2)

其中，x为数据集中的某个样本点，Dens(x)表示样本点x的点密度，Dist(x,p)表示球心x与数据集中某样本点p之间的距离，r为计算样本点密度时球形域的半径，U为数据集；

r按下式求取：

r＝α×a (3)

其中α为事先给定的常数，取值在0.5～1之间，a表示为：

其中a为数据集中样本点两两之间距离的均值，n表示数据集中样本点的个数；

S14：通过Reduce函数将计算结果汇总并输出。

如图3所示，所述步骤S2的具体实现方法包括如下：

S21：计算均值点密度AvgDens，均值点密度AvgDens根据下式计算：

其中AvgDens表示数据集的均值点密度；

S22：将点密度大于AvgDens的点即高密度点存入集合T中，并记录其簇中所包含的样本点，集合T根据下式计算：

T＝{x∈U|Dens(x)＞AvgDens} (6)

S23：取最大密度点作为第一个聚类中心c₁，并从T中删除，加入初始聚类中心集合C；根据下式在高密度点集合T中选取最大密度的样本点作为第一个聚类中心c₁，并从T中删除，加入初始聚类中心集合C：

c₁＝{x∈T|max(Dens(x))} (7)

S24：根据下式取距c₁至少2r距离的高密度点作为第二个聚类中心c₂，使得分别以c₁和c₂为球心，r为半径的球形域内没有共同的数据点，并将c₂从T中删除，加入初始聚类中心集合C：

c₂＝{x∈T|Dist(x,c₁)≥2r,max(Dens(x))} (8)

S25：根据下式选取c₃，并从T中删除，加入初始聚类中心集合C：

c₃＝{x∈T|Dist(x,c₁)≥2r,Dist(x,c₂)≥2r,max(Dens(x))} (9)

S26：根据下式直至找到k个初始聚类中心：

c_k＝{x∈T|Dist(x,c₁)≥2r,Dist(x,c₂)≥2r,…,Dist(x,c_k-1)≥2r,max(Dens(x))} (10)

如图4所示，所述步骤S3的具体实现方法包括如下：

S31：主进程利用Map函数把非中心点分配的任务分派给若干个计算节点；

S32：根据下式并行化将每个非中心点依据距离大小指派给最近的中心点，加入该中心点所在的簇X_i：

x→{c_i∈C|min(Dist(x,c_i))}，i＝1,2,...,k (11)

S33：利用Reduce函数更新中心点使得非中心点到新中心点的代价最小；利用Reduce函数计算所有簇的代价，更新中心点使得非中心点到新中心点的代价最小：

其中，μ_i是簇X_i的均值向量按照下式计算：

S34：重复执行步骤S32和S33，直到每个聚类的中心点和非中心点不再发生变化即整个聚类的代价不再变小。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (4)

1.一种电力通信数据资源并行化聚类方法，其特征在于，包括以下步骤：

S1：并行化计算数据集中各样本点的点密度；

S2：根据点密度大小及相互间的距离约束，选择k个初始聚类中心；

S3：利用k-medoids算法在Hadoop平台上并行化进行非中心点分配和中心点更新，直到每个聚类的中心点和非中心点不再发生变化，得到最终聚类结果。

2.根据权利要求1所述的一种电力通信数据资源并行化聚类方法，其特征在于，所述步骤S1的具体实现方法包括如下：

S11：主进程利用Map函数将数据点平均分成k份分配给计算节点，且有k个线程，k个份数据点交由k个线程处理，其中k表示聚类结果的类簇个数；

S12：并行化计算每个数据点与数据集其他点的距离；由于电力通信数据的混合属性，所以每个线程中的数据点与数据集中所有点两两之间的距离根据下式计算：

其中，数据集中的每个样本点有m_c个有序属性，m-m_c个无序属性，不失一般性，令有序属性排列在无序属性之前，Dist(x,y)表示每个线程中的数据点与数据集中所有点两两之间的MinkoVDM距离；

S13：并行化计算数据集中每个样本点的点密度；每个样本点的点密度Dens(x)根据下式计算：

Dens(x)＝|{p|Dist(x,p)≤r,p∈U}| (2)

其中，x为数据集中的某个样本点，Dens(x)表示样本点x的点密度，Dist(x,p)表示球心x与数据集中某样本点p之间的距离，r为计算样本点密度时球形域的半径，U为数据集；

r按下式求取：

r＝α×a (3)

其中α为事先给定的常数，取值在0.5～1之间，a表示为：

其中a为数据集中样本点两两之间距离的均值，n表示数据集中样本点的个数；

S14：通过Reduce函数将计算结果汇总并输出。

3.根据权利要求1所述的一种电力通信数据资源并行化聚类方法，其特征在于，所述步骤S2的具体实现方法包括如下：

S21：计算均值点密度AvgDens，均值点密度AvgDens根据下式计算：

其中AvgDens表示数据集的均值点密度；

S22：将点密度大于AvgDens的点即高密度点存入集合T中，并记录其簇中所包含的样本点，集合T根据下式计算：

T＝{x∈U|Dens(x)＞AvgDens} (6)

S23：取最大密度点作为第一个聚类中心c₁，并从T中删除，加入初始聚类中心集合C；根据下式在高密度点集合T中选取最大密度的样本点作为第一个聚类中心c₁，并从T中删除，加入初始聚类中心集合C：

c₁＝{x∈T|max(Dens(x))} (7)

S24：根据下式取距c₁至少2r距离的高密度点作为第二个聚类中心c₂，使得分别以c₁和c₂为球心，r为半径的球形域内没有共同的数据点，并将c₂从T中删除，加入初始聚类中心集合C：

c₂＝{x∈T|Dist(x,c₁)≥2r,max(Dens(x))} (8)

S25：根据下式选取c₃，并从T中删除，加入初始聚类中心集合C：

c₃＝{x∈T|Dist(x,c₁)≥2r,Dist(x,c₂)≥2r,max(Dens(x))} (9)

S26：根据下式直至找到k个初始聚类中心：

c_k＝{x∈T|Dist(x,c₁)≥2r,Dist(x,c₂)≥2r,…,Dist(x,c_k-1)≥2r,max(Dens(x))}(10)。

4.根据权利要求1所述的一种电力通信数据资源并行化聚类方法，其特征在于，所述步骤S3的具体实现方法包括如下：

S31：主进程利用Map函数把非中心点分配的任务分派给若干个计算节点；

S32：根据下式并行化将每个非中心点依据距离大小指派给最近的中心点，加入该中心点所在的簇X_i：

x→{c_i∈C|min(Dist(x,c_i))}，i＝1,2,...,k (11)

S33：利用Reduce函数更新中心点使得非中心点到新中心点的代价最小；利用Reduce函数计算所有簇的代价，更新中心点使得非中心点到新中心点的代价最小：

其中，μ_i是簇X_i的均值向量按照下式计算：

S34：重复执行步骤S32和S33，直到每个聚类的中心点和非中心点不再发生变化即整个聚类的代价不再变小。