CN106780121B - 一种基于用电负荷模式分析的用电异常识别方法 - Google Patents

Abstract

本发明公开一种基于用电负荷模式分析的用电异常识别方法，包括以下步骤：（1）用户用电负荷数据采集及预处理；（2）获取历史绝对正常的有效用电数据，具体是：对预处理后的用户用电负荷数据，在每一个待测日期之前剔除标记为异常的日期，选取若干正常天的有效数据进行训练；（3）构建用户用电负荷特征模型，根据选取的正常天的有效数据训练构造出用户最近的用电模型；（4）用训练好的用户用电负荷特征模型对测试数据进行测试，判断用户是否窃电。通过该方法分析用电负荷数据，挖掘出用户异常用电情况，以监控用户是否存在用电窃电行为。

Description

一种基于用电负荷模式分析的用电异常识别方法

技术领域

本发明涉及用户用电分析技术领域，更具体地，涉及一种基于用电负荷模式分析的用电异常识别方法，旨在通过分析用电负荷数据，挖掘出用户异常用电情况，以监控用户是否存在用电窃电行为。

背景技术

随着社会经济的发展，电力的需求量不断扩大。供电的非技术损失也成为供电领域日益热门的话题。通常非技术损失分为两个部分，即电力企业和电力用户。电力企业可以通过提高自身的管理减少甚至消除，电力用户的非技术损失由于原因多样，检测技术限制，而很难避免。仅靠业务人员的经验从统计数据中分析问题，发现问题，处理问题，不仅效率低下，而且准确性也难以保证。由于利益的驱使，用户的窃电问题已经变得越来越突出和普遍。面对窃电手段的多样性，隐秘性，科技性等特点，如何提高海量数据处理能力，提高数据分析效率，如何让数据说话，如何准确挖掘出异常用户变得尤其重要和迫切。

实际中，电力负荷数据还会由于多种随机干扰因素的影响，如计量故障，使数据存在一定的异常干扰值。异常数据发生的随机性和分布的复杂性使数据处理和挖掘变得更加困难。目前，海量电量数据的采集和对数据的实时监控日渐完善，但是如何从海量数据中提取出有用信息，特别是挖掘出异常用电信息成为一大难题。

发明内容

为了克服现有技术的不足，本发明提出一种基于用电负荷模式分析的用电异常识别方法，该方法旨在通过分析用电负荷数据，挖掘出用户异常用电情况，以监控用户是否存在用电窃电行为。

为了解决上述目的，本发明的技术方案为：

一种基于用电负荷模式分析的用电异常识别方法，包括以下步骤：

(1)用户用电负荷数据采集及预处理；

(2)获取历史绝对正常的有效用电数据，具体是：对预处理后的用户用电负荷数据，在每一个待测日期之前剔除标记为异常的日期，选取若干正常天的有效数据进行训练；

(3)构建用户用电模式参数模型，根据选取的正常天的有效数据训练构造出用户最近的用电模式；主要分为两步：

3a)对正常天的有效数据进行梯度聚类，找出用户用电模式的个数及聚类中心点；

3b)再以类中心点作为初始值对预处理后的用户用电负荷数据进行Kmeans聚类，将Kmeans聚类中的距离设为欧氏距离和梯度归一化后的曼哈顿距离的加权，得到每个用电模式的中心点centers；

(4)用训练好的用户用电模式参数模型对测试数据进行测试，判断用户是否窃电。

优选的，所述步骤(1)中，用户用电负荷数据的预处理的具体过程为：

1a)数据清洗：用于去除空缺值点和异常值点，得到有效数据；

1b)数据转化成向量：将负荷数据按天转化成24维的分时向量，每天对应一个24维的向量数据，即每小时的数据对应一维数据；

1c)数据归一化，其归一化过程为：

其中min为用户分时电量的最小值，max为用户分时电量的最大值。

优选的，所述步骤(4)用训练好的用户用电模式参数模型对测试数据进行测试，判断用户是否窃电，其判断包括判定和确认两部分：

判定：首先对待测数据进行预处理，再计算预处理后的数据到各个中心点的距离，选取距离最近的中心点作为该待测数据的用电模式；

确认：确认待测数据是否在判定的用电模式所设定的阈值半径范围，如果在阈值半径内之外则为异常，在该阈值半径内则为正常。

优选的，所述步骤(3)中梯度聚类主要分为以下几步，具体步骤如下：

a)将预处理后的数据进行Kmeans聚类，聚类个数多于用户的用电模式个数，再根据曼哈顿距离把模式相近的进行合并；

在求曼哈顿距离前先进行了梯度归一化处理，具体步骤为：先将每天的24维分时数据向量[d0,d1,d2…d23]向前相减转化成23维的向量[d1-d0,d2-d1…d23-d22]，然后对相减后的所有向量里的元素，选取M分位点作为梯度阈值gradient，M分位点即能够使小于该点的数据比例占M％，大于该点的数据比例占(100-M)％的值，其中0<M<100，为进一步减少噪声或者异常数据的影响，将梯度阈值限定在0.1～1的范围内，对梯度阈值进行如下更新：

将所得的23维向量value’_0-22进行如下转化：

将原数据转化成了只包含0，1，-1的23维向量，再计算曼哈顿距离，则使得越平行向量之间曼哈顿距离越小；

b)经过Kmeans聚类后会将所有点按照欧式距离远近聚成几个集合，各集合称为簇，计算每个簇中的点到中心点的归一化的曼哈顿距离，取N分位点作为这个簇的势力范围，当两个簇的中心点之间的归一化曼哈顿距离分别在这两个簇的势力范围之内，则说明这两个模式可以合并；若多个簇之间能够相互合并则一起合并，合并后的簇中心点为各个簇中心点的均值；

c)重复步骤b)，直到不能被合并为止，得到最后的用户用电模式。

优选的，所述步骤(2)中，选取180的正常天的有效数据进行训练，当用户用电历史绝对正常的天数小于180天的则选取全部数据作为正常的有效数据进行训练。

与现有技术相比，本发明的有益效果：对用户日用电的小时负荷模式进行分析，训练参数模型。不同于电气参数分析方法，通过用电数据找出特征，分析异常用电。该发明是基于监督的学习模型，先提取出用户严格正常的天索引，对这些天的分时电量数据训练出用户用电模式参数模型(用户的正常用电模型)。再对测试数据进行判断，在用电模型内则为正常用电模式，在用电模式之外的即为异常用电模式。可以大大提高数据分析能力与效率，克服单靠人工经验分析的不足。

附图说明

图1本发明总体流程图。

图2用电数据预处理过程。

图3获取有效的训练数据。

图4训练用户正常用电参数模型。

图5测试待测数据是否正常。

具体实施方式

下面结合附图对本发明做进一步的描述，但本发明的实施方式并不限于此。

一种用户用电窃电符合模式分析方法，方法步骤如下：

图1是本发明的系统结构总流程图。有5个部分构成，包括，采集用电负荷数据，数据预处理，获取正常有效训练数据，训练正常的用户用电参数模型和测试待测数据是否正常。

图2是数据的预处理过程，主要包括：

步骤201，获取用电负荷数据，主要由用电信息主站采集用户的用电负荷数据。

步骤202，数据清洗，实际数据中有两类数据会影响计算：第一类为数据空缺，第二类为由于计量故障而得到的特别大的值，需要过滤掉。对于第二类异常值主要是由于计量故障引起的，得到的电量值可能是很多天的累计或者小数点移位等等，导致计量的电量值可能是实际值的几十倍，甚至上百倍。对于这类异常值在数据计算前必须进行清洗，否则得到的特征值会很大，会增加异常的概率。

步骤203，将数据按天提取成24维向量，方便计算。为保证训练数据的准确性，将不足24个点的，有空缺的天滤掉。

步骤204，数据归一化，这里采用：

其中min为用户分时电量的最小值，max为用户分时电量的最大值。放大10倍便于计算，则归一化后的数据范围为[0～10]。

图3是获取正常有效训练数据，具体包括：

步骤301，获取预处理后待测日期之前的所有有效数据。

步骤302，剔除标记为异常的数据，由于是选择正常日期数据进行训练，随着时间的推移，需要将去检测出来的异常日期剔除掉。

步骤303，判断剩余数据是否大于180天，如果是，执行步骤304，否则执行步骤305。

步骤304，获取待测日期最近180天有效数据。

步骤305，获取剩余所有有效数据。

图4是训练正常的用电参数模型，具体包括：

步骤401，提取正常天的负荷数据进行训练，即步骤3中获取的训练数据。

步骤402，将训练数据进行Kmeans聚类，这里优选6类，得到初步的聚类中心点。

步骤403，判断是否有中心点可以合并，如果是，执行步骤404，否则执行步骤405。

步骤404，将可以合并的中心点取均值，得到新的中心点。再返回到步骤403，看是否可以继续合并。

步骤405，将步骤403得到的聚类中心点作为初值进行自定义的Kmeans聚类，得到最终的用电参数模型。在这里，将Kmeans聚类中的距离设为欧氏距离和梯度归一化后的曼哈顿距离的加权，这样可以很好地将相同的用电模式聚类在一起，得到每个用电模式的中心点centers。其中：

欧氏距离：

曼哈顿距离：

最终的距离：d(a,b)＝w1*odist(a,b)+w2*cdist(a0,b0)，其a0,b0分别为向量a，b进行梯度归一化的结果。

对于权重w1，w2的选取，在这里主要为了保证两个距离加权后在相同的数量范围，所以对于梯度聚类的结果，计算出每个点到各自聚类中心的平均欧氏距离d1和平均归一化曼哈顿距离d2，则：

负荷模型训练好了以后会得到以下参数：

a)用户分时电量的最大值max和最小值min。

b)用于计算曼哈顿距离的梯度阈值gradient，具体计算方法参考梯度聚类补充说明。

梯度聚类补充说明：

梯度聚类主要分为以下几步，具体步骤如下：

a)将预处理后的数据进行普通Kmeans聚类，聚类个数要多于用户的用电模式个数，太少会丢失用电模式信息，太多会增加计算量，这里优选为6类，再根据曼哈顿距离把模式相近的进行合并，可以将比较平行的数据向量合并在一起，认为他们是一个模式。在这里求曼哈顿距离的时候先进行了梯度归一化处理。具体步骤为：先将每天的24维分时数据向量[d0,d1,d2…d23]向前相减转化成23维的向量[d1-d0,d2-d1…d23-d22]，然后对相减后的所有向量里的元素，选取80分位点作为梯度阈值gradient，80分位点即能够使小于该点的数据比例占80％，大于该点的数据比例占20％的值，为进一步减少噪声或者异常数据的影响，将梯度阈值限定在0.1～1的范围内，对梯度阈值进行如下更新：

将所得的23维向量value’_0-22进行如下转化：

将原数据转化成了只包含0，1，-1的23维向量，再计算曼哈顿距离，则使得越平行向量之间曼哈顿距离越小。

b)计算每个簇中的点到中心点的归一化的曼哈顿距离，取75分位点作为这个簇的势力范围，如果两个簇的中心点之间的归一化曼哈顿距离分别在这两个簇的势力范围之内，则说明这两个模式可以合并。若多个簇之前可以相互合并则一起合并。合并后的簇中心点为各个簇中心点的均值。

c)重复步骤b)，直到不能被合并为止。得到最后的用电模式。

c)每个模式的聚类中心点centers。

d)欧式距离和曼哈顿距离的权重w1和w1。

e)每个簇的阈值半径threshold。该阈值半径为训练集中每个簇中的点到簇中心距离的最大值，象征着这个簇的势力范围。

图5是测试待测数据是否异常。具体包括：

步骤501，待测数据预处理，具体与图2中的预处理过程大致相同，由于是待测数据，不用清洗掉异常大值点。

步骤502，计算待测向量数据到每个用电模式中心点的距离，判断属于哪个用电模式。离哪个中心点近就判定它属于哪个簇。这里距离也是欧氏距离和归一化曼哈顿距离的加权和，权重即上述w1，w2。

步骤503，比较待测数据到该模式的距离和该模式的阈值半径，如果小于，则执行步骤504，否则执行505。

步骤504，属于该模式，判定正常。

步骤505，不属于该模式，判断异常。

以上所述的本发明的实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所作出的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (5)

1.一种基于用电负荷模式分析的用电异常识别方法，其特征在于，包括以下步骤：

(1)用户用电负荷数据采集及预处理；

(2)获取历史绝对正常的有效用电数据，具体是：对预处理后的用户用电负荷数据，在每一个待测日期之前剔除标记为异常的日期，选取若干正常天的有效数据进行训练；

(3)构建用户用电模式参数模型，根据选取的正常天的有效数据训练构造出用户最近的用电模式；分为两步：

3a)对正常天的有效数据进行梯度聚类，找出用户用电模式的个数及聚类中心点；

3b)再以类中心点作为初始值对预处理后的用户用电负荷数据进行Kmeans聚类，将Kmeans聚类中的距离设为欧氏距离和梯度归一化后的曼哈顿距离的加权，得到每个用电模式的中心点centers；

(4)用训练好的用户用电模式参数模型对测试数据进行测试，判断用户是否窃电。

2.根据权利要求1所述的用电异常识别方法，其特征在于，所述步骤(1)中，用户用电负荷数据的预处理的具体过程为：

1a)数据清洗：用于去除空缺值点和异常值点，得到有效数据；

1b)数据转化成向量：将负荷数据按天转化成24维的分时向量，每天对应一个24维的向量数据，即每小时的数据对应一维数据；

1c)数据归一化，其归一化过程为：

其中min为用户分时电量的最小值，max为用户分时电量的最大值，value表示24维的用户分时电量。

3.根据权利要求2所述的用电异常识别方法，其特征在于，所述步骤(4)用训练好的用户用电模式参数模型对测试数据进行测试，判断用户是否窃电，其判断包括判定和确认两部分：

判定：首先对待测数据进行预处理，再计算预处理后的数据到各个中心点的距离，选取距离最近的中心点作为该待测数据的用电模式；

确认：确认待测数据是否在判定的用电模式所设定的阈值半径范围，如果在阈值半径之外则为异常，在该阈值半径内则为正常。

4.根据权利要求1至3任一项所述的用电异常识别方法，其特征在于，所述步骤(3)中梯度聚类分为以下几步，具体步骤如下：

a)将预处理后的数据进行Kmeans聚类，聚类个数多于用户的用电模式个数，再根据曼哈顿距离把模式相近的进行合并；

在求曼哈顿距离前先进行了梯度归一化处理，具体步骤为：先将每天的24维分时数据向量[d0,d1,d2…d23]向前相减转化成23维的向量[d1-d0,d2-d1…d23-d22]，然后对相减后的所有向量里的元素，选取M分位点作为梯度阈值gradient，M分位点即能够使小于该点的数据比例占M％，大于该点的数据比例占(100-M)％的值，其中0<M<100，为进一步减少噪声或者异常数据的影响，将梯度阈值限定在0.1～1的范围内，对梯度阈值进行如下更新：

将所得的23维向量value’_0-22进行如下转化：

将原数据转化成了只包含0，1，-1的23维向量，再计算曼哈顿距离，则使得越平行向量之间曼哈顿距离越小；

b)经过Kmeans聚类后会将所有点按照欧式距离远近聚成几个集合，各集合称为簇，计算每个簇中的点到中心点的归一化的曼哈顿距离，取N分位点作为这个簇的势力范围，当两个簇的中心点之间的归一化曼哈顿距离分别在这两个簇的势力范围之内，则说明这两个模式可以合并；若多个簇之间能够相互合并则一起合并，合并后的簇中心点为各个簇中心点的均值；

c)重复步骤b)，直到不能被合并为止，得到最后的用户用电模式。

5.根据权利要求4所述的用电异常识别方法，其特征在于，所述步骤(2)中，选取180的正常天的有效数据进行训练，当用户用电历史绝对正常的天数小于180天的则选取全部数据作为正常的有效数据进行训练。

Images