CN110188221A - 一种基于形状距离的负荷曲线层次聚类方法 - Google Patents

Abstract

本发明公开了一种基于形状距离的负荷曲线层次聚类方法，涉及电力系统数据处理领域。现有方案计算复杂，聚类效率低下。本发明包括以下步骤：采用抽样上下界法从用户负荷曲线中抽取负荷曲线的包络，形成上下包络序列曲线；根据包络序列曲线的幅值和样本数进行包络序列曲线的横纵伸缩对齐；应用一阶导差分计算样本上下包络序列曲线的相似度和曲线距离；应用梯度下降法确定曲线聚类中心和曲线聚类；对于同类曲线，根据聚类中心还原部分负荷曲线；采用互相关系数对曲线进行层次聚类微调。本技术方案补全缺失值、抽样出聚类中心，消除了异常噪声对计算的影响，聚类准确度高，计算简单，聚类计算效率高。

Description

一种基于形状距离的负荷曲线层次聚类方法

技术领域

本发明涉及电力系统数据处理领域，尤其涉及一种基于形状距离的负荷曲线层次聚类方法。

背景技术

智能电网中用电负荷采集和挖掘是电网规划、运行调控、检修计划、用电行为、需求响应和综合能源服务等的基础，其中用电负荷聚类是大数据预处理的关键一环。针对负荷曲线的不同场景和特点，业内提出了大量研究思路和解决方案。

用电负荷曲线聚类最常用的方法就是利用K均值方法，根据负荷曲线之间的欧式距离作为聚类依据，同一聚类内样本间的欧式距离小于不同聚类间样本的欧式距离。考虑到用电负荷曲线形状聚类与幅值无关，一些方案在计算距离前对样本数据进行归一化或z-score标准化以消除负荷值对欧式距离的影响；另一方面也有方案采用弗雷歇距离代替欧式距离评估曲线相似性以屏蔽用电负荷波动的影响，采用动态时间归整距离(DynamicTime Warping)和互相关性则可剔除用户负荷相位的影响，为解决k均值需指定k值的问题，有方案采用Self-Organizing Map(SOM)，利用神经网络和梯度下降来迭代逼近获得最优聚类。但SOM需要样本数据的每个维度都有值。

考虑到用电负荷聚类时样本存在计量遗漏、异常噪声和相位偏移等问题，现有方案增加了计算复杂度，聚类效率低下，且无法利用用电负荷的日周期性、周周期性、月周期性和季节周期性，导致聚类准确性欠缺。

发明内容

本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供一种基于形状距离的负荷曲线层次聚类方法，以提高聚类准确性和效率的目的。为此，本发明采取以下技术方案。

一种基于形状距离的负荷曲线层次聚类方法，包括以下步骤：

1)采用抽样上下界法从用户负荷曲线中抽取负荷曲线的包络，形成上下包络序列曲线；

2)根据包络序列曲线的幅值和样本数进行包络序列曲线的横纵伸缩对齐；

3)应用一阶导差分计算样本上下包络序列曲线的相似度和曲线距离；

4)应用梯度下降法确定曲线聚类中心和曲线聚类；

5)对于同类曲线，根据聚类中心还原部分负荷曲线；

6)采用互相关系数对步骤4)所得曲线进行层次聚类微调。

作为优选技术手段：在步骤1)中，以每15分钟采集形成的用电负荷时间序列Y＝{y_n}；以日为单位进行分组抽样形成上下包络序列，上下包络序列曲线的表达式为：

上包络序列Y′_0k＝max({y_n})，n＝(k*96，(k+1)*96)

下包络序列Y′_1k＝min({y_n})，n＝(k*96，(k+1)*96)

式中，k为第k天，k可取{1，2，3...}。

作为优选技术手段：步骤2)包括以下步骤：

201)幅度归一化，计算式为：

202)样本对齐，根据各时间序列长度L_k与时间序列完整长度L_max的比值按如下方式对齐：

若以L_k为窗口进行滑动，计算该样本与落入窗口样本的相关系数，取相关系数最大的序列作为该样本最终停留的位置，以此位置对齐截断其他序列中多余样本；其中相关系数的计算公式为：

其中为第i个上包络序列曲线，为第I个上包络序列曲线的均值，为第i个下包络序列曲线，为第I个下包络序列曲线的均值，

若采用拉格朗日插值补全缺失的样本；具体步骤为：

。

作为优选技术手段：步骤3)包括以下步骤：

301)计算两个包络序列曲线的一阶段差分：

302)将其中一曲线序列的向右w，空缺部分以0补齐，将S_ijw最小值作为曲线的相似度，并将获得最小值用来计算

S_ijw＝argmin_w(D_0i(j+w)×D_1i(j+w))

303)将S_ijw获得最小值时的w位置上对应的序列来计算两序列距离，其距离公式为：

其中α，β分别为第I，j条序列曲线上的采样点，每次采样中t离散的遍历区间为[0，1]，和分别是上包络采样点的归一化幅值，和是下包络采样点的归一化幅值。

作为优选技术手段：步骤4)包括以下步骤：

401)计算现有第k类质心与该类中其他N条曲线的距离和

402)采用梯度下降，求令DIST_k最小的曲线样本作为质心；

作为优选技术手段：在步骤5)中，根据步骤4)生成的同类曲线，抽取曲线上幅度最大的5个点和幅度最小的5个点，还原该10个点对应的原始样本，形成新的时间序列T_ki,其中k为第k个聚类，i为第k聚类中的第i个序列。

作为优选技术手段：步骤6)包括以下步骤：

601)计算聚类k中的任意两时间序列的内积，计算式为：

602)使用方差拟合优先度对内积进行聚类以确定子聚类数量和样本，计算式为：

603)当GVF最大时，将m作为第k个聚类样本的子聚类数；并根据簇内方差尽可能小，簇间方差尽可能大，计算式为：

604)重复602)中的步骤直至聚类k中所有时间序列遍历完成，且两两序列的内积比较完成；

605)将步骤604)中属于同一层次子聚类的第i，j个曲线序列划分到同一子聚类中；至此，完成时间序列的最终聚类。

有益效果：

由于用电负荷聚类时样本存在计量遗漏、异常噪声和相位偏移的问题，本发明通过将各时间序列长度与时间序列完整长度的比值进行对齐，解决了相位偏移问题，对于遗漏和异常噪声采用的是缺失值补全以及抽样出聚类中心，消除了异常噪声对计算的影响，这样在用电负荷的曲线聚类上达到了很好的准确度。

因用户负荷值是每15分钟采集一次数据，曲线存在大量密集性，当做负荷曲线聚类时，计算用户之间相似性时需要计算大量数据，然而这些曲线的中间部分的数据的信息并不那么重要，因此通过抽取上下包络序列曲线的方式，抽取最重要的特征曲线，将数据进行降维操作，这样在计算用户之间相似性的时候就可以有效降低用户负荷曲线聚类计算复杂度，提高聚类效率。

附图说明

图1是本发明的流程图。

图2是本发明的从用户负荷曲线中抽取负荷曲线的包络图。

图3是本发明的对包络序列曲线的横纵伸缩对齐图。

图4是本发明的聚类中心还原部分负荷曲线图。

具体实施方式

以下结合说明书附图对本发明的技术方案做进一步的详细说明。

本技术方案在比较不同时间序列的数据时，考虑到不同时间段的负荷曲线不同，并在计算的时候保留这种典型的几类负荷曲线，作为分类的标准，其中考虑用电负荷的日周期性、周周期性、月周期性和季节周期性，将其作为一种分类的标准，这样在准确性上有显著的提升。

本实施例在针对智能电网的负荷数据曲线的聚类方法上采用的基于形状距离的负荷曲线层次聚类，可用于克服负荷值缺失、幅值大小和相位偏移对用电负荷聚类的影响，根据不同的聚类标准对系统日、周、月、季节等周期性变化的数据有较好的聚类效果。

本实施例首先从用户负荷曲线中抽取负荷曲线包络形成数据集，在收集大量的数据集后发现计算上下包络序列曲线的时候存在不对齐问题，这会影响计算曲线之间距离的测度。因此根据曲线的幅值和包络的样本对曲线进行横纵向的伸缩对齐，再利用一阶导差分计算上下包络序列曲线的距离以及包络的相似度，根据计算出的包络序列曲线距离按照梯度下降法确定聚类中心。对于同类曲线，为了减少计算量，根据聚类中心还原部分曲线，最后采用层次聚类的方法对聚类中心进行微调，得到精确度更高的聚类。

术语及定义：

a)时间序列：是指某个属性在一个或多个时间上的数值，并且按照时间先后顺序排列。时间序列中的过去值会对将来值产生一定的影响，这种影响的大小以及影响的方式可由时间序列中的趋势周期以及非平稳等行为刻画。

b)聚类分析：聚类分析是在预先不知道的如何划分的情况下，根据信息的相似度进行聚集的一种方法。聚类的目的是让属于同一类个体之间的差别尽可能小，而属于不同类的个体之间的差别尽可能大。因此，聚类的意义就在于将观察的内容进行比较，使得相似的个体组织在一起，尽可能达到最优的效果。

c)层次聚类：层次聚类采用自底向上的策略，开始时认为每个对象是独立的类，然后不断合并成越来越大的类，直到所有对象都在一个类中，或者满足某个终止条件。在合并过程中时找到两个最近的类，让他们合并成一个类。

d)负荷曲线：指在某一段时间内描述负荷随时间变化的曲线，反映了用户的用电行为及其特征和规律。

e)负荷预测：指根据用户之前的用电负荷曲线、分析的曲线特征、自然环境以及社会影响下的诸多因素，在满足一定精度要求的条件下，预测未来一段时间用户的负荷数据。

f)负荷周期：指负荷随着时间的变化，呈现的日、周、月、季节周期性变化，呈现出一定的负荷变化规律。

如图1所示。本发明公开一种基于形状距离的负荷曲线层次聚类方法，其包括以下步骤：

S1:采用抽样上下界法从用户负荷曲线中抽取负荷曲线的包络；

对于数据的采集，每15分钟采集一个数据，形成一个用电负荷时间序列，以日为单位进行分组抽样形成上下包络序列曲线，具体为：

上包络序列Y′_0k＝max({y_n}),n＝(k*96,(k+1)*96)

下包络序列Y′_1k＝min({y_n}),n＝(k*96,(k+1)*96)

如图2所示，显示的是属于一个簇中的6个样本的负荷曲线图，按照每天的平均负荷值作为数据，将连续620天的用户负荷数据进行显示，本实施例就是在这些样本中抽取的负荷曲线数据，对于得到的负荷曲线，采用抽样上下界法从这些用户负荷曲线中出去负荷曲线的包络。但是得到的上下包络序列曲线存在不对齐问题。

S2：根据包络序列曲线的幅值和样本数进行包络的横纵向伸缩对齐；

对于上下两个包络序列曲线的不对齐问题，通过幅度归一化和样本对齐进行解决。当数据包含不同量纲或者数据值间的差别很大的时候，需要采用归一化的方法减少在计算过程中这些因素的影响。幅度归一化就是将两条包络先的数值都线性变换到一个新的标尺上，这样减少因为上下两个包络的幅值差别过大而对计算曲线差别的影响。

具体的，包络序列曲线对齐包括步骤：

S2-1)幅度归一化：

S2-2)样本对齐，对于步骤S1完成后，根据各时间序列长度与时间序列完整长度的比值按如下方式对齐：

若以L_k为窗口进行滑动，计算该样本与落入窗口样本的相关系数，取相关系数最大的序列作为该样本最终停留的位置，以此位置对齐截断其他序列中多余样本。其中相关系数的计算公式为：

其中为第i个上包络序列曲线，为第I个上包络序列曲线的均值，为第i个下包络序列曲线，为第I个下包络序列曲线的均值，

若采用拉格朗日插值补全缺失的样本。具体计算式为：

S3：应用一阶导差分计算样本上下包络的相似度和曲线距离；

应用一阶导差分计算样本上下包络的相似度和曲线距离。

其首先计算曲线的两个包络序列的一阶导差分；计算公式为：

接着通过计算求得的差分将其中一条曲线序列向右移动w个位置，空缺的部分用0补齐，超过的部分丢弃，将最小值作为曲线的相似度，最小值计算公式为：

S_ijw＝argmin_w(D_0i(j+w)×D_1i(j+w))

获得最小值对应的序列来计算两序列间的距离，其距离计算公式为：

其中α和β分别为第i，j条序列曲线上的采样点，每次采样中的t离散的遍历区间是[0，1]，Y的两个值分别是上包络采样点的归一化赋值和下包络采样点的归一化赋值。

本实施例也对比了动态时间归整距离(Dynamic Time Warping)方法，对于处理时间序列中两个比较相似的序列可能长度并不相等，这样在计算两个时间序列间的距离的时候采用传统的欧氏距离会存在不匹配问题，难以计算，因此针对这个问题，动态时间归整距离方法通过将时间序列进行延伸和缩短，使得属于对应位置的两个序列中的点能够计算两个之间的距离，最后得到的结果可能会是一个序列中的某个时间点对应另一个序列中的多个时间点的值，如图3所示，通过这种方法可以很好的解决序列之间长度不相等的问题。然后通过计算两个序列间中时间点的最短距离作为两个时间序列的距离值，为聚类中心的选择提供了很好的参考依据。

S4：应用梯度下降法确定曲线聚类中心和曲线聚类；

应用梯度下降法确定曲线聚类中心和曲线聚类，其中梯度下降法是一个一阶最优化算法，通常也称为最速下降法。在求解过程中是沿着梯度下降的方向来求解一个函数的极小值，在这里是求解使得相似度最大以及曲线距离最小的曲线聚类中心。对于一阶导函数，选择使得该导数减小的方向移动，使得最后达到局部最小值，虽然该局部最小值不一定是全局最小值，但往往该局部最小值已经可以使得求解得到的曲线聚类中心有很好的分类效果。利用梯度下降法求得使簇内曲线距离尽可能小的聚类中心和曲线聚类。

在本步骤中，应用梯度下降法确定曲线聚类质心和聚类。成为聚类中心的曲线，与本类其他曲线的距离和最小。具体的，包括以下子体步骤：

S4-1)计算现有第k类质心与该类中其他N条曲线的距离和

S4-2)采用梯度下降，求令DIST_k最小的曲线样本作为质心。

S5：对于同类曲线，根据聚类中心还原部分负荷曲线；

在上述S1-S4步骤中，为了减少计算成本，采用少量样本和较低的计算复杂度实现了曲线抽样聚类，在步骤S5中针对步骤S4产生的同类曲线，将属于一个簇的所有曲线中抽取曲线上幅值最大的5个点和幅值最小的5个点，还原该10个点对应的原始样本，形成新的时间序列，其中k为第k个聚类，i为第k个聚类中的第i个序列。这些抽取出来的曲线作为后续进行匹配的模板曲线。

S6：采用互相关系数对步骤S4所得曲线进行层次聚类微调；

在本步骤中，根据序列间内积对步骤S4的曲线聚类结果进一步进行层次聚类微调。其具体包括以下子步骤：

S6-1)其中首先是计算在步骤S4得出的结果中的K个聚类中，计算其任意两者时间序列的内积，针对任意两个时间序列，可以将其作为两个向量，在纠结内积的时候，使用向量之间一一对应的关系进行求乘积，得到的所有结果再进行相加，最后得到两个时间序列的内积结果，计算过程为：

S6-2)再使用方差拟合优先度对内积进行聚类以确定子聚类数量和样本。方差描述的是一个随机变量的离散程度，也刻画了一个数据序列中的波动情况，方差值越小，则波动越小，稳定性也就越好。通过方差拟合优先度计算，可以确定聚类中子聚类数量和样本，计算过程为：

S6-3)当求得的GVF最大时，对应的m作为第k个聚类样本的子聚类数，在判断的时候同样遵从簇内方差尽可能小，簇间方差尽可能大原则进行划分，具体计算过程为：

S6-4)重复S6-2)中的步骤，直到两两序列内积全部计算完成，并且聚类k中的所有时间序列遍历完成，最后根据3)中的计算公式求得对应的子聚类数m值。

S6-5)将步骤S6-4)中得到的同一层的子聚类根据最近距离原则进行合并，使得属于同一层的第i，j个曲线序列被划分到同一个子聚类中，接着按照自底向上的方向将每一层的子聚类进行合并划分，最后完成时间序列的最终聚类。

S6-6)通过最后的层次聚类算法，将两两距离较近的簇进行合并后，最后得到k个簇，或者满足收敛条件。将属于同一个簇中的所有样本曲线进行计算聚类中心，通过平均值抽取方法得到最后的聚类中心曲线，作为判断依据。通过微调后，使得聚类中心的值能够更好的拟合样本曲线的形状。如图4所示，是从样本中抽取的多个上下包络序列曲线进行聚类得到的结果，最后可以看出聚类效果良好，能够模拟出样本中的曲线形状。

附图1所示的一种基于形状距离的负荷曲线层次聚类方法是本发明的具体实施例，已经体现出本发明实质性特点和进步，可根据实际的使用需要，在本发明的启示下，对其进行等同修改，均在本方案的保护范围之列。

Claims (7)

1.一种基于形状距离的负荷曲线层次聚类方法，其特征在于包括以下步骤：

1)采用抽样上下界法从用户负荷曲线中抽取负荷曲线的包络，形成上下包络曲线；

2)根据包络曲线的幅值和样本数进行包络曲线的横纵伸缩对齐；

3)应用一阶导差分计算样本上下包络曲线的相似度和曲线距离；

4)应用梯度下降法确定曲线聚类中心和曲线聚类；

5)对于同类曲线，根据聚类中心还原部分负荷曲线；

6)采用互相关系数对步骤4)所得曲线进行层次聚类微调。

2.根据权利要求1所述的一种基于形状距离的负荷曲线层次聚类方法，其特征在于：在步骤1)中，以每15分钟采集形成的用电负荷时间序列Y＝{y_n}；以日为单位进行分组抽样形成上下包络序列，上下包络序列曲线的表达式为：

上包络序列Y′_0k＝max({y_n}),n＝(k*96,(k+1)*96)

下包络序列Y′_1k＝min({y_n}),n＝(k*96,(k+1)*96)

式中，k为第k天，k可取{1,2,3...}。

3.根据权利要求2所述的一种基于形状距离的负荷曲线层次聚类方法，其特征在于：步骤2)包括以下步骤：

201)幅度归一化，计算式为：

202)样本对齐，根据各时间序列长度L_k与时间序列完整长度L_max的比值按如下方式对齐：

若以L_k为窗口进行滑动，计算该样本与落入窗口样本的相关系数，取相关系数最大的序列作为该样本最终停留的位置，以此位置对齐截断其他序列中多余样本；其中相关系数的计算公式为：

其中为第i个上包络序列，为第I个上包络序列的均值，为第i个下包络序列，为第I个下包络序列的均值，

若采用拉格朗日插值补全缺失的样本；具体步骤为：

4.根据权利要求3所述的一种基于形状距离的负荷曲线层次聚类方法，其特征在于：步骤3)包括以下步骤：

301)计算两个包络序列的一阶段差分：

302)将其中一曲线序列的向右w，空缺部分以0补齐，将S_ijw最小值作为曲线的相似度，并将获得最小值用来计算

S_ijw＝argmin_w(D_0i(j+w)×D_1i(j+w))

303)将S_ijw获得最小值时的w位置上对应的序列来计算两序列距离，其距离公式为：

其中α,β分别为第I,j条序列曲线上的采样点，每次采样中t离散的遍历区间为[0,1]，和分别是上包络采样点的归一化幅值，和是下包络采样点的归一化幅值。

5.根据权利要求4所述的一种基于形状距离的负荷曲线层次聚类方法，其特征在于：步骤4)包括以下步骤：

401)计算现有第k类质心与该类中其他N条曲线的距离和

402)采用梯度下降，求令DIST_k最小的曲线样本作为质心。

6.根据权利要求5所述的一种基于形状距离的负荷曲线层次聚类方法，其特征在于：在步骤5)中，根据步骤4)生成的同类曲线，抽取曲线上幅度最大的5个点和幅度最小的5个点，还原该10个点对应的原始样本，形成新的时间序列T_ki,其中k为第k个聚类，i为第k聚类中的第i个序列。

7.根据权利要求6所述的一种基于形状距离的负荷曲线层次聚类方法，其特征在于：步骤6)包括以下步骤：

601)计算聚类k中的任意两时间序列的内积，计算式为：

602)使用方差拟合优先度对内积进行聚类以确定子聚类数量和样本，计算式为：

603)当GVF最大时，将m作为第k个聚类样本的子聚类数；并根据簇内方差尽可能小，簇间方差尽可能大，计算式为：

604)重复602)中的步骤直至聚类k中所有时间序列遍历完成，且两两序列的内积比较完成；

605)将步骤604)中属于同一层次子聚类的第i，j个曲线序列划分到同一子聚类中；至此，完成时间序列的最终聚类。