CN105447082A - 一种海量负荷曲线的分布式聚类方法 - Google Patents

Abstract

本发明公开了一种海量负荷曲线的分布式聚类方法，其通过将受聚类区域内所有用户划分为M个用户子集，并对应每一个用户子集设置一个局部数据中心，用各个局部数据中心分别对各自处理得到的归一化日负荷曲线进行自适应局部聚类，以减少待分析的用电数据，再对应所述受聚类区域设置一个全局数据中心，并全局数据中心对接收到的所有局部典型曲线进行全局的聚类分析，从而使得每一个局部数据中心的每一条原始日负荷曲线能够归属到相应的全局聚类。本发明能够在确保预定聚类精度的情况下，有效提高体量大、分布广的海量日负荷曲线用电数据的聚类效率、减少数据处理时间、减少对计算内存的需求、降低数据的通讯开销和存储成本。

Description

一种海量负荷曲线的分布式聚类方法

技术领域

本发明涉及一种海量负荷曲线的分布式聚类方法，属于电力行业的用电大数据处理领域。

背景技术

随着智能电表的普及，电力系统对用户的用电信息采集能力越来越强，有别于传统的每月抄表，智能电表能够对用户的用电数据进行更高频率的采集与存储。每小时甚至更细粒度的用电数据为分析用户用电行为提供了丰富的信息来源。对用户用电数据的挖掘、有效识别用户用电模式在评估需求响应潜力、提高负荷预测精度、指导电价制定等方面具有重要意义。

通过聚类分析，获取典型的负荷曲线，把纷繁复杂的负荷曲线根据各自的特点分为不同的类别是用户用电行为分析的重要一步。然而，用户用电数据一方面随时间不断更新，增长迅速，呈海量态势；另一方面，数据采集点分布在不同地区，具有极强的分散性。用电数据的体量大、分布广等特性为传统的用电曲线聚类带来了极大的挑战，需要寻求适用于海量的分布于不同地区的负荷曲线的高效聚类算法。

传统的负荷曲线聚类方法存在的不足之处至少体现在三个方面：1)传统的聚类算法需要对数据进行集中处理，提高了数据的通讯和存储成本；2)对所有的数据直接统一同时处理会极大增加计算时间；3)大规模的运算也需要开辟较大的计算机内存。

发明内容

本发明所要解决的技术问题是：提供一种海量负荷曲线的分布式聚类方法，以解决现有负荷曲线聚类方法效率低、处理时间长、耗费计算资源大、数据通讯和存储成本的问题。

解决上述技术问题，本发明所采用的技术方案如下：

一种海量负荷曲线的分布式聚类方法，包括：

步骤S1，将受聚类区域内所有用户划分为M个用户子集，并对应每一个用户子集设置一个局部数据中心，用各个局部数据中心分别采集对应用户子集中每一个用户在预设天数内的原始日负荷曲线，其中，M为大于1的正整数，每一个用户子集中至少包含一个用户，每一条原始日负荷曲线包含的负荷采集点数量均为T；

步骤S2，用所述各个局部数据中心分别对各自采集到的每一条原始日负荷曲线进行校验和归一化处理，得到归一化日负荷曲线；

步骤S3，在所有的所述局部数据中心设置相同的最小聚类数量Kmin、最大聚类数量Kmax和聚类误差指标B，并用所述各个局部数据中心分别对各自处理得到的归一化日负荷曲线进行自适应局部聚类，得到每一个局部数据中心的局部聚类和局部典型曲线，其中，任意一个所述局部数据中心进行自适应局部聚类的步骤包括：

步骤S31，对该局部数据中心处理得到的所有归一化日负荷曲线进行k取值为Kmin的k-means聚类分析，得到Kmin个聚类，并将该Kmin个聚类标记为未检验聚类；

步骤S32，对该局部数据中心的未检验聚类进行检验，判断其是否满足所述聚类误差指标B，其中，判断步骤S31得到的第j个聚类是否满足所述聚类误差指标B即判断该第j个聚类是否满足以下条件式(2)的约束：

$E_j=\underset{t=1}{\overset{T}{\Σ}}\underset{i=1}{\overset{N}{\Σ}}{(p_{ji}^t-C_j^t)}^2\≤B---\left(2\right)$

式中，j为正整数且1≤j≤Kmin，E_j表示第j聚类的总代表误差，N表示属于第j聚类的归一化日负荷曲线的数量，为第j聚类的聚类中心的第t个负荷采集点，为属于第j聚类的第i条归一化日负荷曲线的第t个负荷采集点，i为正整数且1≤i≤N，t为正整数且1≤t≤T；

步骤S33，当步骤S32中对一个未检验聚类进行检验的判断结果为是时，将满足所述聚类误差指标B的未检验聚类标记为已检验聚类；

当步骤S32中对一个未检验聚类进行检验的判断结果为否时，对该不满足所述聚类误差指标B的未检验聚类进行k取值为2的k-means聚类分析，使得该不满足所述聚类误差指标B的未检验聚类再次聚类划分为两个新的聚类并将该两个新的聚类标记为未检验聚类；

步骤S34，重复步骤S32和步骤S33，直至该局部数据中心的所有未检验聚类均已标记为已检验聚类或者该局部数据中心的包含未检验聚类和已检验聚类的聚类总数量达到最大聚类数量Kmax，并将此时该局部数据中心的所有聚类均标记为该局部数据中心的局部聚类，将局部聚类的聚类中心标记为局部典型曲线；

步骤S4，对应所述受聚类区域设置一个全局数据中心，用该全局数据中心接收所述M个局部数据中心得到的局部典型曲线；

步骤S5，在所述全局数据中心设置全局聚类数量X，用该全局数据中心对接收到的所有局部典型曲线进行k取值为X的k-means聚类分析，得到X个全局聚类；

步骤S6，根据所述局部典型曲线和全局聚类之间的聚类归属关系，用所述全局数据中心分别向所述各个局部数据中心发送相应的聚类分配指令，使得每一个所述局部数据中心能够根据接收到的聚类分配指令、所述归一化日负荷曲线和局部聚类之间聚类归属关系以及所述原始日负荷曲线与归一化日负荷曲线之间的对应关系，将该局部数据中心的每一条原始日负荷曲线归属到相应的全局聚类。

其中，所述步骤S2中，用所述各个局部数据中心分别对各自采集到的每一条原始日负荷曲线进行校验和归一化处理的具体步骤包括：删除包含有空缺值负荷采集点的原始日负荷曲线，并按以下公式(1)对每一条无空缺值负荷采集点的原始日负荷曲线进行归一化处理：

$x_t^{\′}=\frac{x_t-x_{\min }}{x_{\max }-x_{\min }}---\left(1\right)$

式中，t为正整数且1≤t≤T，x_t、x_min、x_max和x_t′分别为一条原始日负荷曲线中的第t个负荷采集点、最小负荷采集点、最大负荷采集点和该条原始日负荷曲线所对应归一化日负荷曲线的的第t个负荷采集点。

与现有技术相比，本发明具有以下有益效果：

本发明面对目前用电数据(原始日负荷曲线)采集量大、采集面广给传统聚类方法带来的挑战，通过将受聚类区域内所有用户划分为M个用户子集，并对应每一个用户子集设置一个局部数据中心，用各个局部数据中心分别对各自处理得到的归一化日负荷曲线进行自适应局部聚类，以减少待分析的用电数据，再对应所述受聚类区域设置一个全局数据中心，并全局数据中心对接收到的所有局部典型曲线进行全局的聚类分析，从而使得每一个局部数据中心的每一条原始日负荷曲线能够归属到相应的全局聚类；

由于本发明将受聚类区域内所有用户在预设天数内的海量的原始日负荷曲线通过M个局部数据中心和一个全局数据中心的计算和通信来实现它们的全局聚类，因此，本发明能够在确保预定聚类精度的情况下，有效提高体量大、分布广的海量日负荷曲线用电数据的聚类效率、减少数据处理时间、减少对计算内存的需求、降低数据的通讯开销和存储成本。

另外，在实际应用过程中，本发明能够通过设定可容忍的聚类误差指标B，灵活的对实际需求中对聚类精度和聚类通讯、计算等成本进行权衡和取舍。

而本发明获取得到的典型用电曲线还能够为后期评估需求响应潜力、提高负荷预测精度、指导电价制定等方面提供了重要的基础。

附图说明

下面结合附图和具体实施例对本发明作进一步的详细说明：

图1为本发明的分布式聚类方法的流程框图；

图2为本发明的分布式聚类方法的效果示意图；

图3为本发明中步骤S3的流程框图。

具体实施方式

如图1至图3所示，本发明的海量负荷曲线的分布式聚类方法，包括：

步骤S1，将受聚类区域内所有用户划分为M个用户子集，并对应每一个用户子集设置一个局部数据中心，用各个局部数据中心分别采集对应用户子集中每一个用户在预设天数内的原始日负荷曲线，其中，M为大于1的正整数，每一个用户子集中至少包含一个用户，每一条原始日负荷曲线包含的负荷采集点数量均为T，例如：每小时对用户进行一次负荷采集的情况下，T＝24；

其中，对受聚类区域内所有用户的用户子集划分可以按照该受聚类区域内的用户特性进行，例如：可按照用户所在地域进行划分。

步骤S2，用各个局部数据中心分别对各自采集到的每一条原始日负荷曲线进行校验和归一化处理，得到归一化日负荷曲线，具体包括：删除包含有空缺值负荷采集点的原始日负荷曲线，并按以下公式(1)对每一条无空缺值负荷采集点的原始日负荷曲线进行归一化处理，使其线性映射到[0,1]之间：

$x_t^{\′}=\frac{x_t-x_{\min }}{x_{\max }-x_{\min }}---\left(1\right)$

式中，t为正整数且1≤t≤T，xt、x_min、x_max和x_t′分别为一条原始日负荷曲线中的第t个负荷采集点、最小负荷采集点、最大负荷采集点和该条原始日负荷曲线所对应归一化日负荷曲线的的第t个负荷采集点；

步骤S3，在所有的局部数据中心设置相同的最小聚类数量Kmin、最大聚类数量Kmax和聚类误差指标B，并用各个局部数据中心分别对各自处理得到的归一化日负荷曲线进行自适应局部聚类，得到每一个局部数据中心的局部聚类和局部典型曲线，其中，聚类误差指标B为可容忍的聚类误差，其是指聚类的到的每一个聚类中所有负荷曲线到聚类中心的距离和，设定可容忍的聚类误差是用来保证得到的每一类聚类中心都具有一定的代表性，给最终的聚类带来的影响较小；任意一个局部数据中心进行自适应局部聚类的步骤包括：

步骤S31，对该局部数据中心处理得到的所有归一化日负荷曲线进行k取值为Kmin的k-means聚类分析，得到Kmin个聚类，并将该Kmin个聚类标记为未检验聚类；

步骤S32，对该局部数据中心的未检验聚类进行检验，判断其是否满足聚类误差指标B，其中，判断步骤S31得到的第j个聚类是否满足聚类误差指标B即判断该第j个聚类是否满足以下条件式(2)的约束：

$E_j=\underset{t=1}{\overset{T}{\Σ}}\underset{i=1}{\overset{N}{\Σ}}{(p_{ji}^t-C_j^t)}^2\≤B---\left(2\right)$

式中，j为正整数且1≤j≤Kmin，E_j表示第j聚类的总代表误差，N表示属于第j聚类的归一化日负荷曲线的数量，为第j聚类的聚类中心的第t个负荷采集点，为属于第j聚类的第i条归一化日负荷曲线的第t个负荷采集点，i为正整数且1≤i≤N，t为正整数且1≤t≤T；

步骤S33，当步骤S32中对一个未检验聚类进行检验的判断结果为是时，将满足聚类误差指标B的未检验聚类标记为已检验聚类；

当步骤S32中对一个未检验聚类进行检验的判断结果为否时，对该不满足聚类误差指标B的未检验聚类进行k取值为2的k-means聚类分析，使得该不满足聚类误差指标B的未检验聚类再次聚类划分为两个新的聚类并将该两个新的聚类标记为未检验聚类；

步骤S34，重复步骤S32和步骤S33，直至该局部数据中心的所有未检验聚类均已标记为已检验聚类或者该局部数据中心的包含未检验聚类和已检验聚类的聚类总数量达到最大聚类数量Kmax，并将此时该局部数据中心的所有聚类均标记为该局部数据中心的局部聚类，将局部聚类的聚类中心标记为局部典型曲线；

步骤S4，对应受聚类区域设置一个全局数据中心，用该全局数据中心接收M个局部数据中心得到的局部典型曲线；

步骤S5，在全局数据中心设置全局聚类数量X，用该全局数据中心对接收到的所有局部典型曲线进行k取值为X的k-means聚类分析，得到X个全局聚类，其中，全局聚类数量X可根据受聚类区域的实际聚类需求而定；

步骤S6，根据局部典型曲线和全局聚类之间的聚类归属关系，用全局数据中心分别向各个局部数据中心发送相应的聚类分配指令，使得每一个局部数据中心能够根据接收到的聚类分配指令、归一化日负荷曲线和局部聚类之间聚类归属关系以及原始日负荷曲线与归一化日负荷曲线之间的对应关系，将该局部数据中心的每一条原始日负荷曲线归属到相应的全局聚类。

本发明不局限于上述具体实施方式，根据上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，本发明还可以做出其它多种形式的等效修改、替换或变更，均落在本发明的保护范围之中。

Claims (2)

1.一种海量负荷曲线的分布式聚类方法，包括：

步骤S1，将受聚类区域内所有用户划分为M个用户子集，并对应每一个用户子集设置一个局部数据中心，用各个局部数据中心分别采集对应用户子集中每一个用户在预设天数内的原始日负荷曲线，其中，M为大于1的正整数，每一个用户子集中至少包含一个用户，每一条原始日负荷曲线包含的负荷采集点数量均为T；

步骤S2，用所述各个局部数据中心分别对各自采集到的每一条原始日负荷曲线进行校验和归一化处理，得到归一化日负荷曲线；

步骤S3，在所有的所述局部数据中心设置相同的最小聚类数量Kmin、最大聚类数量Kmax和聚类误差指标B，并用所述各个局部数据中心分别对各自处理得到的归一化日负荷曲线进行自适应局部聚类，得到每一个局部数据中心的局部聚类和局部典型曲线，其中，任意一个所述局部数据中心进行自适应局部聚类的步骤包括：

步骤S31，对该局部数据中心处理得到的所有归一化日负荷曲线进行k取值为Kmin的k-means聚类分析，得到Kmin个聚类，并将该Kmin个聚类标记为未检验聚类；

步骤S32，对该局部数据中心的未检验聚类进行检验，判断其是否满足所述聚类误差指标B，其中，判断步骤S31得到的第j个聚类是否满足所述聚类误差指标B即判断该第j个聚类是否满足以下条件式(2)的约束：

$E_j=\underset{t=1}{\overset{T}{\Σ}}\underset{i=1}{\overset{N}{\Σ}}{(p_{ji}^t-C_j^t)}^2\≤B---\left(2\right)$

式中，j为正整数且1≤j≤Kmin，E_j表示第j聚类的总代表误差，N表示属于第j聚类的归一化日负荷曲线的数量，为第j聚类的聚类中心的第t个负荷采集点，为属于第j聚类的第i条归一化日负荷曲线的第t个负荷采集点，i为正整数且1≤i≤N，t为正整数且1≤t≤T；

步骤S33，当步骤S32中对一个未检验聚类进行检验的判断结果为是时，将满足所述聚类误差指标B的未检验聚类标记为已检验聚类；

当步骤S32中对一个未检验聚类进行检验的判断结果为否时，对该不满足所述聚类误差指标B的未检验聚类进行k取值为2的k-means聚类分析，使得该不满足所述聚类误差指标B的未检验聚类再次聚类划分为两个新的聚类并将该两个新的聚类标记为未检验聚类；

步骤S34，重复步骤S32和步骤S33，直至该局部数据中心的所有未检验聚类均已标记为已检验聚类或者该局部数据中心的包含未检验聚类和已检验聚类的聚类总数量达到最大聚类数量Kmax，并将此时该局部数据中心的所有聚类均标记为该局部数据中心的局部聚类，将局部聚类的聚类中心标记为局部典型曲线；

步骤S4，对应所述受聚类区域设置一个全局数据中心，用该全局数据中心接收所述M个局部数据中心得到的局部典型曲线；

步骤S5，在所述全局数据中心设置全局聚类数量X，用该全局数据中心对接收到的所有局部典型曲线进行k取值为X的k-means聚类分析，得到X个全局聚类；

步骤S6，根据所述局部典型曲线和全局聚类之间的聚类归属关系，用所述全局数据中心分别向所述各个局部数据中心发送相应的聚类分配指令，使得每一个所述局部数据中心能够根据接收到的聚类分配指令、所述归一化日负荷曲线和局部聚类之间聚类归属关系以及所述原始日负荷曲线与归一化日负荷曲线之间的对应关系，将该局部数据中心的每一条原始日负荷曲线归属到相应的全局聚类。

2.根据权利要求1所述的分布式聚类方法，其特征在于：所述步骤S2中，用所述各个局部数据中心分别对各自采集到的每一条原始日负荷曲线进行校验和归一化处理的具体步骤包括：删除包含有空缺值负荷采集点的原始日负荷曲线，并按以下公式(1)对每一条无空缺值负荷采集点的原始日负荷曲线进行归一化处理：

$x_t^{\′}=\frac{x_t-x_{\min }}{x_{\max }-x_{\min }}---\left(1\right)$

式中，t为正整数且1≤t≤T，x_t、x_min、x_max和x_t′分别为一条原始日负荷曲线中的第t个负荷采集点、最小负荷采集点、最大负荷采集点和该条原始日负荷曲线所对应归一化日负荷曲线的的第t个负荷采集点。