CN107423746B - 基于聚类分析的电力线通信用电量数据分析方法及系统 - Google Patents

基于聚类分析的电力线通信用电量数据分析方法及系统 Download PDF

Info

Publication number
CN107423746B
CN107423746B CN201710221530.2A CN201710221530A CN107423746B CN 107423746 B CN107423746 B CN 107423746B CN 201710221530 A CN201710221530 A CN 201710221530A CN 107423746 B CN107423746 B CN 107423746B
Authority
CN
China
Prior art keywords
data
power consumption
electricity
current
power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710221530.2A
Other languages
English (en)
Other versions
CN107423746A (zh
Inventor
梁玉泉
陈炽光
张众发
孙云莲
佘国鸿
王华佑
谢文旺
徐冰涵
余军伟
王冬生
刘健
杨福国
赖群
焦力
黄祖迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Yunfu Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Wuhan University WHU
Yunfu Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU, Yunfu Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Wuhan University WHU
Priority to CN201710221530.2A priority Critical patent/CN107423746B/zh
Publication of CN107423746A publication Critical patent/CN107423746A/zh
Application granted granted Critical
Publication of CN107423746B publication Critical patent/CN107423746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • H02J13/0075
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于聚类分析的电力线通信用电量数据分析方法及系统,基于用电信息采集系统实现用电量数据分析,根据预设的采集时刻持续进行数据采集,包括进行用电数据采集过程和用电数据特征量提取与保存过程;针对当前采集时刻实时进行异常数据判别,包括进行读取当前采集时刻用电数据过程和基于K‑means聚类分析的异常数据判别过程。本发明以电力线为通信载体请求和传输用电量数据,首次提出了基于聚类有效度的用电量异常数据识别技术方案,达到提高用电信息采集系统的运行可靠性的目的。

Description

基于聚类分析的电力线通信用电量数据分析方法及系统
技术领域
本发明属于电气二次系统领域,特别的一种基于聚类分析的电力线通信用电量数据分析方法及系统。
背景技术
全国电网公司大力推广用电信息采集系统的覆盖,通过主站与现场终端之间的数据通信,实现了数据采集、费控管理、线损分析、远程抄表和负荷监控管理等功能。参见图1,用电信息采集系统包括服务器、集中器、智能电能表及电力线路,各电能表经电力线连接集中器,从集中器通过以太网连接到远程的服务器,其中可以通过网线、也可以采用路由器提供无线数据传输连接到远程的服务器。电力线载波通信(PLC)是用电信息采集系统主要采用的通信方式,其优点主要是利用现有的交流电力线路作为通信线路,省去了铺设线路的成本,并且因其覆盖范围大、运行维护简单、可扩展性好等特点,成为了计量自动化系统中数据采集的理想通信方式。从经济性以及普及性来讲,电力线通信方式是推广用电信息采集系统较好的方式。但因电力线载波通信可能受信号干扰,而造成用电信息采集系统采集数据过程出现数据缺失、数据异常等情况的发生。简单的用电信息采集系统缺乏数据识别的功能,对电网需求侧的智能化管理造成一定影响。因此,需要通过对用电量数据进行研究和数据挖掘,从而提取出异常数据,提高海量数据的质量以及电网需求侧管理的有效性,为智能营销的发展提供帮助。
对于异常数据挖掘,现有基于人为设定阈值的方法,简单但人为主观性大;基于统计的方法,存在人为因素设定误差辨识区间;基于神经网络的方法,智能寻找数据内部关系并实现数据识别,但网络中某些参数需人为设定,确定最优参数困难;基于数据变化率的方法,通过寻找历史最大变化率作为阈值,比较当前采集时刻变化率,方法简单高效,但连续异常数据无法识别;基于聚类的方法,按距离分类数据,但无法事先得知最优的聚类结果。用电量数据的识别基本方法是利用变化率识别,由历史变化率设定阈值,但存在超出历史范围的可能性。
发明内容
为增强电网需求侧的智能化管理,提高电力系统运行的安全稳定性,本发明提出了一种基于聚类分析的电力线通信用电量数据分析技术方案实现判断采集所得当前电量数据是否为异常数据,若异常则将其存入异常数据集,并上报运行维护人员以供参考。
本发明提供的一种基于聚类分析的电力线通信用电量数据分析方法,基于用电信息采集系统实现用电量数据分析,所述用电信息采集系统包括服务器、集中器、电能表及电力线路,各电能表经电力线连接集中器,从集中器通过以太网连接到远程的服务器;用电量数据分析的实现方式为,在服务器端实现如下操作,
根据预设的采集时刻持续进行数据采集,包括进行用电数据采集过程和用电数据特征量提取与保存过程;针对当前采集时刻实时进行异常数据判别,包括进行读取当前采集时刻用电数据过程和基于K-means聚类分析的异常数据判别过程;
所述用电数据采集过程,包括基于电力线载波通信的方式从服务器端对配电端的用电数据进行采集,得到用电量;
所述用电数据特征量提取与保存过程,包括提取返回的用电数据的相应用电数据特征量并量化后保存;所述用电数据特征量包括用电数据的采集地点和采集时刻相应的时间相关特征量和环境相关特征量;所述时间相关特征量包括采集时刻所在日期、星期及季节,所述环境相关特征量包括温度、降雨量及天气情况;
所述读取当前采集时刻用电数据过程,包括提取针对当前采集时刻进行数据采集的结果;
所述于K-means聚类分析的异常数据判别过程,包括以下步骤,
1)设当前采集时刻为t,读入提取所得相应的用电量P(d,t),设有历史良好数据集{Ph(dh,th)},其中历史良好数据Ph(dh,th)是历史采集日期dh中第th个采集时刻的用电量;历史良好数据集记为SN;
2)对用电量P(d,t)进行错误信息的初次判断,实现如下,
若P(d,t)<P(d,t-1),则判定当前采集时刻数据为错误数据,并存入错误数据集SW,结束对当前采集时刻的异常数据判别过程;
否则进入3);
3)进行用户外出情景识别并排除,实现如下,
若当前采集时刻的前一采集时刻的用电量P(d,t-1)不存在于历史良好数据集SN中,直接进入4);
若当前采集时刻的前一采集时刻的用电量P(d,t-1)存在于历史良好数据集SN中,计算当前采集时刻用电量差值ΔP(d,t)如下,
ΔP(d,t)=P(d,t)-P(d,t-1)
若B×ΔPtmin≤ΔP(d,t)≤A×ΔPtmax,则判定当前采集时刻t为用户外出情景,将用电量P(d,t)存入历史良好数据集SN,结束对当期时刻数据的异常数据判别过程,其中,A、B为预设倍数,ΔPtmax为典型用电差值最大值,ΔPtmin为典型用电差值最小值;否则,进入4);
4)基于用户外出情景识别排除的结果,进行K-means聚类分析识别异常数据,实现如下,
根据当前采集时刻t的用电量P(d,t)相应用电数据特征量,从历史良好数据集{Ph(dh,th)}选择距离当前采集时刻时间最近的若干组用电数据特征量相同的历史良好数据,与当前采集时刻用电量一起构成K-means聚类分析集SS,对SS集的用电量数据进行基于有效指数的K-means聚类分析,分析结果为当前用电量P(d,t)为异常数据时,则存入异常用电数据集SA,并将结果反馈运行维护人员以供参考,结束对当前采集时刻数据的判别过程;分析结果为当前用电量P(d,t)为良好数据,将P(d,t)存入历史良好数据集SN,结束对当前采集时刻数据的异常数据判别过程。
而且,所述基于电力线载波通信的方式从服务器端对配电端的用电数据进行采集,实现方式为,服务器端发送请求数据的指令至配电端集中器;指令到达集中器后以电力线载波通信的方式向各个电能表请求用电数据,电能表收到指令后通过电力线载波通信的方式将用户的用电数据返回至配电端集中器;配电端集中器将用电数据返回服务器端;
而且,根据预设的采集时刻持续进行数据采集,包括等时距设定采集时刻。
而且,典型用电差值最大值ΔPtmax和典型用电差值最小值ΔPtmin的提取方式为,
若用户在日期为dh的典型用电采集时刻T和上一时刻T-1的用电量均在历史良好数据集SN中,则日期为dh的典型用电差值ΔPt(dh,T)存在,计算如下,
ΔPt(dh,T)=Ph(dh,T)-Ph(dh,T-1)
根据当前历史良好数据集所得所有典型用电差值,将最大值记为ΔPtmax,最小值记为ΔPtmin。
而且,进行基于有效指数的K-means聚类分析时,取K=2和K=3,
若聚类结果为Val(2)<Val(3),将SS集分为2类,若其中一类别中数据个数为1,将当前采集时刻采集的用电量P(d,t)存入异常用电数据集SA集中,并将结果反馈运行维护人员以供参考,结束对当前采集时刻数据的判别过程;否则将当前采集时刻采集的用电量P(d,t)存入历史良好数据集SN,结束对当前采集时刻数据的判别过程;
否则聚类个数K=3时聚类结果更优,将SS集分为3类更优,将当前采集时刻采集的用电量P(d,t)存入历史良好数据集SN,结束对当前采集时刻数据的判别过程。
本发明相应提供一种基于聚类分析的电力线通信用电量数据分析系统,包括用电信息采集系统,所述用电信息采集系统包括服务器、集中器、电能表及电力线路,各电能表经电力线连接集中器,从集中器通过以太网连接到远程的服务器;在服务器端进行如下操作实现用电量数据分析,
根据预设的采集时刻持续进行数据采集,包括进行用电数据采集过程和用电数据特征量提取与保存过程;针对当前采集时刻实时进行异常数据判别,包括进行读取当前采集时刻用电数据过程和基于K-means聚类分析的异常数据判别过程;
所述用电数据采集过程,包括基于电力线载波通信的方式从服务器端对配电端的用电数据进行采集,得到用电量;
所述用电数据特征量提取与保存过程,包括提取返回的用电数据的相应用电数据特征量并量化后保存;所述用电数据特征量包括用电数据的采集地点和采集时刻相应的时间相关特征量和环境相关特征量;所述时间相关特征量包括采集时刻所在日期、星期及季节,所述环境相关特征量包括温度、降雨量及天气情况;
所述读取当前采集时刻用电数据过程,包括提取针对当前采集时刻进行数据采集的结果;
所述于K-means聚类分析的异常数据判别过程,包括以下步骤,
1)设当前采集时刻为t,读入提取所得相应的用电量P(d,t),设有历史良好数据集{Ph(dh,th)},其中历史良好数据Ph(dh,th)是历史采集日期dh中第th个采集时刻的用电量;历史良好数据集记为SN;
2)对用电量P(d,t)进行错误信息的初次判断,实现如下,
若P(d,t)<P(d,t-1),则判定当前采集时刻数据为错误数据,并存入错误数据集SW,结束对当前采集时刻的异常数据判别过程;
否则进入3);
3)进行用户外出情景识别并排除,实现如下,
若当前采集时刻的前一采集时刻的用电量P(d,t-1)不存在于历史良好数据集SN中,直接进入4);
若当前采集时刻的前一采集时刻的用电量P(d,t-1)存在于历史良好数据集SN中,计算当前采集时刻用电量差值ΔP(d,t)如下,
ΔP(d,t)=P(d,t)-P(d,t-1)
若B×ΔPtmin≤ΔP(d,t)≤A×ΔPtmax,则判定当前采集时刻t为用户外出情景,将用电量P(d,t)存入历史良好数据集SN,结束对当期时刻数据的异常数据判别过程,其中,A、B为预设倍数,ΔPtmax为典型用电差值最大值,ΔPtmin为典型用电差值最小值;否则,进入4);
4)基于用户外出情景识别排除的结果,进行K-means聚类分析识别异常数据,实现如下,
根据当前采集时刻t的用电量P(d,t)相应用电数据特征量,从历史良好数据集{Ph(dh,th)}选择距离当前采集时刻时间最近的若干组用电数据特征量相同的历史良好数据,与当前采集时刻用电量一起构成K-means聚类分析集SS,对SS集的用电量数据进行基于有效指数的K-means聚类分析,分析结果为当前用电量P(d,t)为异常数据时,则存入异常用电数据集SA,并将结果反馈运行维护人员以供参考,结束对当前采集时刻数据的判别过程;分析结果为当前用电量P(d,t)为良好数据,将P(d,t)存入历史良好数据集SN,结束对当前采集时刻数据的异常数据判别过程。
而且,所述基于电力线载波通信的方式从服务器端对配电端的用电数据进行采集,实现方式为,服务器端发送请求数据的指令至配电端集中器;指令到达集中器后以电力线载波通信的方式向各个电能表请求用电数据,电能表收到指令后通过电力线载波通信的方式将用户的用电数据返回至配电端集中器;配电端集中器将用电数据返回服务器端;
而且,根据预设的采集时刻持续进行数据采集,包括等时距设定采集时刻。
而且,典型用电差值最大值ΔPtmax和典型用电差值最小值ΔPtmin的提取方式为,
若用户在日期为dh的典型用电采集时刻T和上一时刻T-1的用电量均在历史良好数据集SN中,则日期为dh的典型用电差值ΔPt(dh,T)存在,计算如下,
ΔPt(dh,T)=Ph(dh,T)-Ph(dh,T-1)
根据当前历史良好数据集所得所有典型用电差值,将最大值记为ΔPtmax,最小值记为ΔPtmin。
而且,进行基于有效指数的K-means聚类分析时,取K=2和K=3,
若聚类结果为Val(2)<Val(3),将SS集分为2类,若其中一类别中数据个数为1,将当前采集时刻采集的用电量P(d,t)存入异常用电数据集SA集中,并将结果反馈运行维护人员以供参考,结束对当前采集时刻数据的判别过程;否则将当前采集时刻采集的用电量P(d,t)存入历史良好数据集SN,结束对当前采集时刻数据的判别过程;
否则聚类个数K=3时聚类结果更优,将SS集分为3类更优,将当前采集时刻采集的用电量P(d,t)存入历史良好数据集SN,结束对当前采集时刻数据的判别过程。
本发明中为解决用电信息采集系统的不足,以电力线为通信载体请求和传输用电量数据,首次提出了基于聚类有效度的用电量异常数据识别技术方案,并支持将该方案集成到现有的用电信息采集系统中,形成具有数据识别功能的用电信息采集系统。针对家庭用户外出,造成用电随机性大的情况,该识别方案根据相邻时刻间用电量的差值进行外出情景的识别,避免发生误判情况;对于异常用电量数据,利用特征量相似的历史时刻用电量数据进行K-means聚类分析,判别当前采集时刻用电量数据是否异常,进行K-means聚类分析时提出利用聚类有效指数识别出聚类情况;最终得知当前用电量数据是否为异常数据,异常则存入异常数据集,实现提高用电信息采集系统的运行可靠性,具有重要的市场价值。
附图说明
图1为现有技术的用电信息采集系统总体架构图。
图2为本发明实施例的基于聚类分析的电力线通信用电量数据分析方法原理图。
图3为本发明实施例的用电数据异常情况识别流程图。
图4为本发明实施例的K-means聚类分析原理流程图。
具体实施方式
为简单明了地表述本发明目的及技术方案,以下结合附图及实施例加以说明。此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
为增强电网需求侧的智能化管理,提高电力系统运行的安全稳定性,本发明实施例提出了一种基于聚类分析的电力线通信用电量数据分析方法,并支持将该方法集成到现有的用电信息采集系统中,形成具有数据识别功能的用电信息采集系统,用电信息采集系统总体架构图如图1所示,用电信息采集系统包括服务器、集中器、电能表及电力线路,各电能表经电力线连接集中器,从集中器通过以太网连接到远程的服务器。具体实施时可采用软件方式在服务器处实现该方法,判断采集所得当前电量数据是否为异常数据,若异常则将其存入异常数据集,并上报运行维护人员以供参考。
参见图2,本发明实施例所提供方法的基本原理包括:用电数据采集、用电数据特征量提取与保存、读取当前采集时刻用电数据、基于K-means聚类分析的异常数据判别,若用电数据异常则将其存入异常数据集,并将结果反馈运行维护人员以供参考。
为及时进行识别并持续进行历史数据采集,本发明提出根据预设的采集时刻持续进行数据采集,包括用电数据采集过程和用电数据特征量提取与保存过程;基于采集所得用电数据和相应用电数据特征量,可以针对当前采集时刻实时进行异常数据判别,包括进行读取当前采集时刻用电数据过程、基于K-means聚类分析的异常数据判别过程。
本发明进一步提出,等时距设定采集时刻,可以提取典型的用电数据。具体实施时,本领域技术人员可预设数据采集的采集时刻,优选地:每半个小时采集一次,每天00:30为第1个采集时刻、24:00为第48个采集时刻。
用电数据采集的过程是于服务器端发送指令请求数据,通过网线或无线网络数据传输媒介等方式将请求数据的指令传输至配电端集中器;指令到达集中器后以电力线载波通信的方式向各个智能电能表请求用电数据,智能电能表收到指令后通过电力线载波通信的方式将用户用电数据返回至配电端集中器;而后配电端集中器通过网线或无线网络数据传输媒介将用户用电数据返回服务器端,服务器端即可获知用电量。实施例中,某采集日期d中第t个采集时刻的用电量记为P(d,t)。当天用电量是累加值,用电量变化是递增过程,即每天第1个采集时刻可得当天00:00~00:30的用电量、第2个采集时刻可得当天00:00~01:00的用电量、…、第48个采集时刻可得当天00:00~24:00的用电量。
所述用电数据特征量提取与保存的过程是提取返回数据的采集时间、天气及降水量等特征量,并将各个数据及其特征量量化值进行保存。用电数据特征提取于服务器端完成,除步骤1所得用电量这一重要数据外,服务器端通过对用电数据采集时间和地点的分析,提取到该采集时刻所在日期、星期及季节的时间相关特征量;进而通过网络查询该地点该时刻的天气信息,得到该地点该时刻的温度、降雨量及天气情况的环境相关特征量。提取到各个特征量后,将特征量进行量化处理,而后可以保存至服务器端设置的用电数据数据库,以备后续使用。具体实施时,可以采用预设的量化规则。实施例中各个特征量的量化值如表1所示。
1特征量量化值
Figure BDA0001263932670000071
Figure BDA0001263932670000081
读取当前采集时刻用电数据的过程,是提取针对当前采集时刻进行数据采集的结果,以便进行异常数据判别。即基于用电数据采集的过程和用电数据特征量提取与保存过程,针对当前采集时刻进行用电数据采集,并提取该用电数据对应的特征量,然后将用电数据与其对应特征量一并保存后的结果,读取当前采集时刻用电数据进行后续处理。
基于K-means聚类分析的异常数据判别的过程是对读取所得当前采集时刻用电数据进行初步判断后,在历史良好数据集中查找与当前采集时刻用电数据特征量相同的一定数目(具体实施时可预设取值)用电数据,对当前采集时刻用电数据与查找到满足条件的历史良好用电数据进行K-means聚类分析,而后对用电数据K-means聚类分析的结果做出评价,判别出当前采集时刻用电数据是否存在异常,识别流程如图3所示,其具体过程如下所述。
1)首先,设当前采集时刻为t,读入在读取当前采集时刻用电数据过程中提取的该时刻采集的用电量P(d,t),用电量P可视为关于采集日期d和其对应的第t个采集时刻的函数,本发明实施例采用等时距电量采集的方式进行电量采集,优选地:每半个小时采集一次,每天00:30为第1个采集时刻、24:00为第48个采集时刻,t=1,2,3,…48。此外,为便于进行历史分析,本发明定义历史良好数据集{Ph(dh,th)},用于保存当前采集时刻前认定为良好数据的历史数据,以提供历史参照,初始的历史良好数据集可由用户根据已知数据选择,后续可由异常数据判别的过程所得结果进行更新;当历史良好数据集数目较少时,可支持通过人工判断进行历史良好数据集的扩充。历史良好数据用Ph(dh,th)表示,即历史良好电量数据Ph可视为关于历史采集日期dh和其对应的第th个采集时刻的函数。则历史良好数据Ph(dh,th)是历史采集日期dh中第th个采集时刻的用电量。实施例的历史良好数据集记为SN集。
考虑到可能出现集中器中采集失败的特殊情况,本发明进一步提出,识别异常数据前,首先将缺失数据识别。若集中器中采集失败,为避免采集点数据缺失引起相邻两次数据差值过大而影响后续数据的识别,则假设该测量点当前采集时刻的用电量和前一时刻的用电量相同,即P(d,t)=P(d,t-1)。缺失数据并非实际数据,缺失型的错误数据并不进行后续步骤,结束对当前采集时刻数据的异常数据判别过程。
2)然后,对该用电量P(d,t)进行错误信息的初次判断。由于当天用电量是累加值,用电量变化是递增过程。若P(d,t)<P(d,t-1),则判定当前采集时刻数据为错误数据,并记录错误的采集时刻,存入错误数据集,实施例的错误数据集记为SW集,结束对当前采集时刻数据的异常数据判别过程。否则进入3)。
3)而后进行用户外出情景识别。家庭用户存在外出情景,其用电量与平常用电量差别较大。本发明提出根据相邻时刻间用电量的差值,对用户外出等情景进行识别。外出情景时,用电设备以电冰箱等持续运行设备为主,相邻时刻用电量的差值具有典型性,与凌晨2:00-5:00时段电量差值相近。确定典型用电量差值(优选凌晨3:30,即第7个采集时刻与第6个采集时刻的用电量差值)后,就可以根据相邻时刻的用电量差值,从而判断用户是否为外出等情景。
若当前采集时刻的前一采集时刻电量数据P(d,t-1)存在于历史良好数据集SN中,即P(d,t-1)∈{Ph(dh,th)},则当前采集时刻用电量差值ΔP(d,t)存在,计算如式(1);若用户在日期为dh的典型用电采集时刻T和上一时刻T-1(凌晨3:30及3:00)的用电量均在历史良好数据集SN中,即Ph(dh,T)与Ph(dh,T-1)(Ph(dh,7)与Ph(dh,6))属于历史良好数据,则日期为dh的典型用电差值ΔPt(dh,T)存在,计算如式(2)。当前历史良好数据集中,会有多个日期的典型用电差值存在,根据当前历史良好数据集所得所有典型用电差值组成的集合记为{ΔPt(dh,T)},{ΔPt(dh,T)}的最大值记为ΔPtmax,最小值记为ΔPtmin。
若第t个采集时刻对应的相邻采集时刻用电量差值ΔP(d,t)小于等于典型用电差值最大值ΔPtmax的预设倍数A(本领域技术人员可预设倍数A的取值,优选为1.1倍),且大于等于典型用电差值最小值ΔPtmin的另一预设倍数B(本领域技术人员可预设倍数B的取值,优选为0.9倍),如式(3)所示,则说明该时刻用户为外出等情况,判定当前采集时刻t为用户外出情景,将数据存入历史良好数据集SN,结束对当期时刻数据的异常数据判别过程。此过程的主要目的是避免因用户外出等情况,在用电量较大时刻发生误判为偏小的异常用电量。若不满足式(3),则继续进入4)。
ΔP(d,t)=P(d,t)-P(d,t-1) (1)
ΔPt(dh,T)=Ph(dh,T)-Ph(dh,T-1) (2)
B×ΔPtmin≤ΔP(d,t)≤A×ΔPtmax (3)
若当前采集时刻的前一采集时刻电量数据P(d,t-1)不在于历史良好数据集中,可不进行此判断,直接进入4)。
优选方案中,式(2)具体为ΔPt(dh)=Ph(dh,7)-Ph(dh,6),式(3)具体为0.9ΔPtmin≤ΔP(d,t)≤1.1ΔPtmax。
4)外出等情景排除后,进行K-means聚类分析识别异常数据。实施例根据当前采集时刻用电量的特征量,选择距离当前采集时刻时间最近的30组(本领域技术人员可预设数目)特征量相同的历史良好用电数据,与当前采集时刻用电数据一起构成K-means聚类分析集,实施例中K-means聚类分析集记为SS集,对SS集的用电量数据进行基于有效指数的K-means聚类分析,其原理及具体过程如下所述。
聚类分析是依据样本间的相似度作为量度标准将其自动分为几个聚类,使聚类内部的相似度尽可能大,而聚类之间的相似度尽可能小。在聚类中,预先不知道目标数据的有关类的信息,需要以某种度量为标准将样本中数据对象划分到不同聚类之中,属于一种无监督的学习方式。
K-means聚类的相似度常用欧几里德距离表示,对于含有N个数据的P维样本的数据集合{x1,x2,…,xN},数据xn与xn′的K-means聚类形似度d(xn,xn,)计算如式(4)所示,欧几里得距离越小则表明两者间相似度越大,反之亦然。
Figure BDA0001263932670000101
式中xnp表示数据xn第p维度的数值,xn′p表示数据xn′第p维度的数值,p=1,2,…,P。
K-means聚类分析的步骤为:
a)确定聚类个数K,从N个数据对象选择K个对象作为初始聚类中心。
b)根据每个聚类对象的均值(中心对象),计算每个对象与这些中心对象的相似度,并根据相似度大小重新对相应对象进行划分,将每个聚类对象划分到其与其他中心对象相似度最大的中心对象区域。
c)重新计算每个(有变化)聚类的均值(中心对象)。
d)循环下述流程b)到c),直到每个聚类不再发生变化为止。
对于含有N个数据的P维样本的数据集合{x1,x2,…,xN},设其聚类个数为K(K≤N),类别Ck对应的聚类中心对象为Zk;(k=1,2,…,K),K-means聚类分析原理流程图如图4所示,其具体过程如下所述:
a)从N个数据对象随机选择K个对象作为初始聚类中心对象,考虑没有对数据集合{x1,x2,…,xN}中的数据进行排序,其数据顺序可视为随机排列,因此可选择初始聚类中心对象Zk=xk;(k=1,2,…,K);
b)计算每个对象与这些中心对象的相似度d(xn,Zk);(n=1,2,…,N;k=1,2,…,K);如果d(xn,Zk)=min{d(xn,Z1),d(xn,Z2),…,d(xn,ZK)};(n=1,2,…,N;k=1,2,…,K),则将xn划分到以Zk为聚类中心对象的类别Ck中,记为xn∈Ck
c)重新计算每个聚类中心对象Zk=(Zk1,Zk2,…,ZkP);(k=1,2,…,K),计算的方法如式(5),式(6)和式(7)所示。
Figure BDA0001263932670000111
Figure BDA0001263932670000112
Figure BDA0001263932670000113
式中:Zkp为聚类中心对象Zk第p维度的数值(p=1,2,…,P);T(xn,Ck)为数据类别归属函数,若T(xn,Ck)=1则表明数据xn划分到以Zk为聚类中心对象的类别Ck中,若T(xn,Ck)=0则表明数据xn没有划分到以Zk为聚类中心对象的类别Ck中;nk表示在数据集合{x1,x2,…,xN}中,划分到以Zk为聚类中心对象的类别Ck中的数据个数。
d)重复b)和c)直到聚类中心对象不再发生变化。
由此可见聚类分析关键的是确定聚类个数K,K不同聚类结果也不同。本发明进一步提出基于聚类内距离和聚类间距离的一种有效指数度量方法,可通过有效指数的比较,当K大于1时,确定最优的聚类结果,即最终的聚类个数K,其计算方法如式(8),式(9)和式(10)所示。
Figure BDA0001263932670000114
Figure BDA0001263932670000115
Figure BDA0001263932670000121
式中:K为聚类的个数;Val(K)为有效指数;Intra(K)为平均偏差距离,表示各个数据与其所在类别中心对象距离的平均值;N为数据集中的数据总个数;Inter(K)为各个类别对应中心对象与其他类别中心对象距离的最小值;Zk为类别Ck对应的聚类中心对象(k=1,2,…,K);Zk′为类别Ck′对应的聚类中心对象(k′=1,2,…,K)。
为使同一聚类内的数据相似度最大,就需让聚类内数据与聚类的中心距离最小。这个距离决定了同一聚类内数据的内聚性。同时,聚类间的距离应该尽可能大才能使不同聚类之间的数据相异度最大,即相似度最小。平均偏差距离Intra(K)的是通过计算聚类间距离的最小值,可以保证所有聚类间距离均大于这个最小值。有效指数Val(K)越小,则说明聚类个数K的聚类结果越优,Val(K)的最小值对应的K值就是最优聚类个数。
考虑到用电数据仅为良好用电数据与异常用电数据两类,K=1或K>3时没有实际意义,因此可取K=2和K=3对SS集用电数据进行有效指数计算和比较,识别数据是否异常。
若聚类结果为Val(2)<Val(3),则说明聚类个数K=2时聚类结果更优,即将SS集分为2类更优,此时若其中一类别中数据个数为1,则说明当前用电量数据为异常数据,将其存入异常用电数据集,即SA集中,并将结果反馈运行维护人员以供参考,结束对当前采集时刻数据的判别过程;否则两个类别分别的数据个数至少为2,即当前电量数据必与历史良好电量数据分为一类,表面当前电量数据为良好用电数据,将当前采集时刻采集的用电量P(d,t)存入历史良好数据集SN,结束对当前采集时刻数据的判别过程。否则说明聚类个数K=3时聚类结果更优,即将SS集分为3类更优,此时当前采集时刻电量数据逻辑上会与SS集中其他数据分到一类中,其必为良好数据,存入历史良好数据集SN,结束对当前采集时刻数据的异常数据判别过程。
结束对当前采集时刻数据的异常数据判别过程后,可以在下一采集时刻进行数据采集完成后(包括用电数据采集过程和用电数据特征量提取与保存过程),返回执行读取当前采集时刻用电数据的过程、基于K-means聚类分析的异常数据判别过程,即针对新的当前采集时刻实时进行异常数据判别。
具体实施时,以上方法可通过计算机软件技术实现自动运行。还可以将该方法集成于服务器、路由器、集中器、电能表及电力线路所构成系统中,形成具有数据识别功能的用电信息采集系统,即实现提供一种基于聚类分析的电力线通信用电量数据分析系统,达到提高用电信息采集系统的运行可靠性的目的。

Claims (10)

1.一种基于聚类分析的电力线通信用电量数据分析方法,其特征在于:基于用电信息采集系统实现用电量数据分析,所述用电信息采集系统包括服务器、集中器、电能表及电力线路,各电能表经电力线连接集中器,从集中器通过以太网连接到远程的服务器;用电量数据分析的实现方式为,在服务器端实现如下操作,
根据预设的采集时刻持续进行数据采集,包括进行用电数据采集过程和用电数据特征量提取与保存过程;针对当前采集时刻实时进行异常数据判别,包括进行读取当前采集时刻用电数据过程和基于K-means聚类分析的异常数据判别过程;
所述用电数据采集过程,包括基于电力线载波通信的方式从服务器端对配电端的用电数据进行采集,得到用电量;
所述用电数据特征量提取与保存过程,包括提取返回的用电数据的相应用电数据特征量并量化后保存;所述用电数据特征量包括用电数据的采集地点和采集时刻相应的时间相关特征量和环境相关特征量;所述时间相关特征量包括采集时刻所在日期、星期及季节,所述环境相关特征量包括温度、降雨量及天气情况;
所述读取当前采集时刻用电数据过程,包括提取针对当前采集时刻进行数据采集的结果;
所述基 于K-means聚类分析的异常数据判别过程,包括以下步骤,
1)设当前采集时刻为t,读入提取所得相应的用电量P(d,t),设有历史良好数据集{Ph(dh,th)},其中历史良好数据Ph(dh,th)是历史采集日期dh中第th个采集时刻的用电量;历史良好数据集记为SN;
2)对用电量P(d,t)进行错误信息的初次判断,实现如下,
若P(d,t)<P(d,t-1),则判定当前采集时刻数据为错误数据,并存入错误数据集SW,结束对当前采集时刻的异常数据判别过程;
否则进入3);
3)进行用户外出情景识别并排除,实现如下,
若当前采集时刻的前一采集时刻的用电量P(d,t-1)不存在于历史良好数据集SN中,直接进入4);
若当前采集时刻的前一采集时刻的用电量P(d,t-1)存在于历史良好数据集SN中,计算当前采集时刻用电量差值ΔP(d,t)如下,
ΔP(d,t)=P(d,t)-P(d,t-1)
若B×ΔPtmin≤ΔP(d,t)≤A×ΔPtmax,则判定当前采集时刻t为用户外出情景,将用电量P(d,t)存入历史良好数据集SN,结束对当期时刻数据的异常数据判别过程,其中,A、B为预设倍数,ΔPtmax为典型用电差值最大值,ΔPtmin为典型用电差值最小值;否则,进入4);
4)基于用户外出情景识别排除的结果,进行K-means聚类分析识别异常数据,实现如下,
根据当前采集时刻t的用电量P(d,t)相应用电数据特征量,从历史良好数据集{Ph(dh,th)}选择距离当前采集时刻时间最近的若干组用电数据特征量相同的历史良好数据,与当前采集时刻用电量一起构成K-means聚类分析集SS,对SS集的用电量数据进行基于有效指数的K-means聚类分析,分析结果为当前用电量P(d,t)为异常数据时,则存入异常用电数据集SA,并将结果反馈运行维护人员以供参考,结束对当前采集时刻数据的判别过程;分析结果为当前用电量P(d,t)为良好数据,将P(d,t)存入历史良好数据集SN,结束对当前采集时刻数据的异常数据判别过程。
2.根据权利要求1所述基于聚类分析的电力线通信用电量数据分析方法,其特征在于:所述基于电力线载波通信的方式从服务器端对配电端的用电数据进行采集,实现方式为,服务器端发送请求数据的指令至配电端集中器;指令到达集中器后以电力线载波通信的方式向各个电能表请求用电数据,电能表收到指令后通过电力线载波通信的方式将用户的用电数据返回至配电端集中器;配电端集中器将用电数据返回服务器端。
3.根据权利要求1所述基于聚类分析的电力线通信用电量数据分析方法,其特征在于:根据预设的采集时刻持续进行数据采集,包括等时距设定采集时刻。
4.根据权利要求1或2或3所述基于聚类分析的电力线通信用电量数据分析方法,其特征在于:典型用电差值最大值ΔPtmax和典型用电差值最小值ΔPtmin的提取方式为,
若用户在日期为dh的典型用电采集时刻T和上一时刻T-1的用电量均在历史良好数据集SN中,则日期为dh的典型用电差值ΔPt(dh,T)存在,计算如下,
ΔPt(dh,T)=Ph(dh,T)-Ph(dh,T-1)
根据当前历史良好数据集所得所有典型用电差值,将最大值记为ΔPtmax,最小值记为ΔPtmin。
5.根据权利要求1或2或3所述基于聚类分析的电力线通信用电量数据分析方法,其特征在于:进行基于有效指数的K-means聚类分析时,设K为聚类的个数,Val(K)为有效指数,取K=2和K=3,
若聚类结果为Val(2)<Val(3),将SS集分为2类,若其中一类别中数据个数为1,将当前采集时刻采集的用电量P(d,t)存入异常用电数据集SA集中,并将结果反馈运行维护人员以供参考,结束对当前采集时刻数据的判别过程;否则将当前采集时刻采集的用电量P(d,t)存入历史良好数据集SN,结束对当前采集时刻数据的判别过程;
否则聚类个数K=3时聚类结果更优,将SS集分为3类更优,将当前采集时刻采集的用电量P(d,t)存入历史良好数据集SN,结束对当前采集时刻数据的判别过程。
6.一种基于聚类分析的电力线通信用电量数据分析系统,其特征在于:包括用电信息采集系统,所述用电信息采集系统包括服务器、集中器、电能表及电力线路,各电能表经电力线连接集中器,从集中器通过以太网连接到远程的服务器;在服务器端进行如下操作实现用电量数据分析,
根据预设的采集时刻持续进行数据采集,包括进行用电数据采集过程和用电数据特征量提取与保存过程;针对当前采集时刻实时进行异常数据判别,包括进行读取当前采集时刻用电数据过程和基于K-means聚类分析的异常数据判别过程;
所述用电数据采集过程,包括基于电力线载波通信的方式从服务器端对配电端的用电数据进行采集,得到用电量;
所述用电数据特征量提取与保存过程,包括提取返回的用电数据的相应用电数据特征量并量化后保存;所述用电数据特征量包括用电数据的采集地点和采集时刻相应的时间相关特征量和环境相关特征量;所述时间相关特征量包括采集时刻所在日期、星期及季节,所述环境相关特征量包括温度、降雨量及天气情况;
所述读取当前采集时刻用电数据过程,包括提取针对当前采集时刻进行数据采集的结果;
所述基 于K-means聚类分析的异常数据判别过程,包括以下步骤,
1)设当前采集时刻为t,读入提取所得相应的用电量P(d,t),设有历史良好数据集{Ph(dh,th)},其中历史良好数据Ph(dh,th)是历史采集日期dh中第th个采集时刻的用电量;历史良好数据集记为SN;
2)对用电量P(d,t)进行错误信息的初次判断,实现如下,
若P(d,t)<P(d,t-1),则判定当前采集时刻数据为错误数据,并存入错误数据集SW,结束对当前采集时刻的异常数据判别过程;
否则进入3);
3)进行用户外出情景识别并排除,实现如下,
若当前采集时刻的前一采集时刻的用电量P(d,t-1)不存在于历史良好数据集SN中,直接进入4);
若当前采集时刻的前一采集时刻的用电量P(d,t-1)存在于历史良好数据集SN中,计算当前采集时刻用电量差值ΔP(d,t)如下,
ΔP(d,t)=P(d,t)-P(d,t-1)
若B×ΔPtmin≤ΔP(d,t)≤A×ΔPtmax,则判定当前采集时刻t为用户外出情景,将用电量P(d,t)存入历史良好数据集SN,结束对当期时刻数据的异常数据判别过程,其中,A、B为预设倍数,ΔPtmax为典型用电差值最大值,ΔPtmin为典型用电差值最小值;否则,进入4);
4)基于用户外出情景识别排除的结果,进行K-means聚类分析识别异常数据,实现如下,
根据当前采集时刻t的用电量P(d,t)相应用电数据特征量,从历史良好数据集{Ph(dh,th)}选择距离当前采集时刻时间最近的若干组用电数据特征量相同的历史良好数据,与当前采集时刻用电量一起构成K-means聚类分析集SS,对SS集的用电量数据进行基于有效指数的K-means聚类分析,分析结果为当前用电量P(d,t)为异常数据时,则存入异常用电数据集SA,并将结果反馈运行维护人员以供参考,结束对当前采集时刻数据的判别过程;分析结果为当前用电量P(d,t)为良好数据,将P(d,t)存入历史良好数据集SN,结束对当前采集时刻数据的异常数据判别过程。
7.根据权利要求6所述基于聚类分析的电力线通信用电量数据分析系统,其特征在于:所述基于电力线载波通信的方式从服务器端对配电端的用电数据进行采集,实现方式为,服务器端发送请求数据的指令至配电端集中器;指令到达集中器后以电力线载波通信的方式向各个电能表请求用电数据,电能表收到指令后通过电力线载波通信的方式将用户的用电数据返回至配电端集中器;配电端集中器将用电数据返回服务器端。
8.根据权利要求6所述基于聚类分析的电力线通信用电量数据分析系统,其特征在于:根据预设的采集时刻持续进行数据采集,包括等时距设定采集时刻。
9.根据权利要求6或7或8所述基于聚类分析的电力线通信用电量数据分析系统,其特征在于:典型用电差值最大值ΔPtmax和典型用电差值最小值ΔPtmin的提取方式为,
若用户在日期为dh的典型用电采集时刻T和上一时刻T-1的用电量均在历史良好数据集SN中,则日期为dh的典型用电差值ΔPt(dh,T)存在,计算如下,
ΔPt(dh,T)=Ph(dh,T)-Ph(dh,T-1)
根据当前历史良好数据集所得所有典型用电差值,将最大值记为ΔPtmax,最小值记为ΔPtmin。
10.根据权利要求6或7或8所述基于聚类分析的电力线通信用电量数据分析系统,其特征在于:进行基于有效指数的K-means聚类分析时,设K为聚类的个数,Val(K)为有效指数,取K=2和K=3,
若聚类结果为Val(2)<Val(3),将SS集分为2类,若其中一类别中数据个数为1,将当前采集时刻采集的用电量P(d,t)存入异常用电数据集SA集中,并将结果反馈运行维护人员以供参考,结束对当前采集时刻数据的判别过程;否则将当前采集时刻采集的用电量P(d,t)存入历史良好数据集SN,结束对当前采集时刻数据的判别过程;
否则聚类个数K=3时聚类结果更优,将SS集分为3类更优,将当前采集时刻采集的用电量P(d,t)存入历史良好数据集SN,结束对当前采集时刻数据的判别过程。
CN201710221530.2A 2017-04-06 2017-04-06 基于聚类分析的电力线通信用电量数据分析方法及系统 Active CN107423746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710221530.2A CN107423746B (zh) 2017-04-06 2017-04-06 基于聚类分析的电力线通信用电量数据分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710221530.2A CN107423746B (zh) 2017-04-06 2017-04-06 基于聚类分析的电力线通信用电量数据分析方法及系统

Publications (2)

Publication Number Publication Date
CN107423746A CN107423746A (zh) 2017-12-01
CN107423746B true CN107423746B (zh) 2020-08-04

Family

ID=60423913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710221530.2A Active CN107423746B (zh) 2017-04-06 2017-04-06 基于聚类分析的电力线通信用电量数据分析方法及系统

Country Status (1)

Country Link
CN (1) CN107423746B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537415A (zh) * 2018-03-20 2018-09-14 深圳市泰和安科技有限公司 一种在线式安全用电的配电方法、装置及系统
CN109190916A (zh) * 2018-08-09 2019-01-11 国网浙江桐庐县供电有限公司 基于大数据分析的反窃电方法
CN110119758A (zh) * 2019-04-01 2019-08-13 全球能源互联网研究院有限公司 一种用电数据异常检测及模型训练方法、装置
CN111179109A (zh) * 2019-11-29 2020-05-19 国网浙江省电力有限公司杭州供电公司 用于独居老人检测的用电数据处理方法
CN112213687B (zh) * 2020-10-10 2023-05-16 国网四川省电力公司电力科学研究院 基于伪异常点辨识的关口电能表数据异常检测方法及系统
CN113570200B (zh) * 2021-06-30 2023-10-03 国电南瑞科技股份有限公司 一种基于多维信息的电网运行状态监测方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9838083B2 (en) * 2014-07-21 2017-12-05 Energous Corporation Systems and methods for communication with remote management systems
CN103226890B (zh) * 2013-03-19 2015-11-25 上海欧忆智能网络有限公司 远程集抄智能用电系统及其集抄方法
CN106203832B (zh) * 2016-07-12 2020-03-27 亿米特(上海)数据科技有限公司 智能防窃电分析系统及分析方法
CN106447534A (zh) * 2016-09-22 2017-02-22 国网上海市电力公司 一种基于灰色关联度分析的用电模式稳定性判别方法

Also Published As

Publication number Publication date
CN107423746A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
CN107423746B (zh) 基于聚类分析的电力线通信用电量数据分析方法及系统
WO2022110557A1 (zh) 一种台区户变关系异常诊断方法及装置
CN106022592B (zh) 一种用电行为异常检测与治安风险预警方法及装置
CN109858522A (zh) 一种基于数据挖掘的管理线损异常识别方法
CN103577883A (zh) 一种网-荷智能互动方法及装置
CN109444800B (zh) 基于无线通信采集的台区识别方法
CN111176953B (zh) 一种异常检测及其模型训练方法、计算机设备和存储介质
CN109711664B (zh) 一种基于大数据的输变电设备健康评估系统
CN109491339B (zh) 一种基于大数据的变电站设备运行状态预警系统
CN116148753A (zh) 一种智能电能表运行误差监测系统
CN116307944A (zh) 基于人工智能与物联网的配电箱远程监测系统
CN115456034A (zh) 一种电动自行车充电自动识别监测方法及系统
CN114611738A (zh) 一种基于用户用电行为分析的负荷预测方法
CN117353751B (zh) 基于大数据的无人充电桩交易数据智能管理系统
CN113094448B (zh) 住宅空置状态的分析方法及分析装置、电子设备
CN110597792A (zh) 基于同期线损数据融合的多级冗余数据融合方法及装置
CN116797049B (zh) 配电网差异化节能潜力量化评估方法
CN117559443A (zh) 尖峰负荷下大工业用户集群有序用电控制方法
CN104123466A (zh) 一种基于常态模式的大数据态势分析预警方法及系统
CN115146744B (zh) 一种融合时间特征的电能表负荷实时辨识方法、识别系统
CN113344742A (zh) 基于聚类和时序分析的自动抄表成功率影响因素分析方法
CN112256766A (zh) 用于能源采集终端的用电行为分析方法
CN110659681A (zh) 基于模式识别的时序数据预测系统及方法
CN111815022A (zh) 一种基于延时坐标嵌入法的电力负荷预测方法
Li et al. Application of internet of things based on big data ecosystem in factory energy consumption analysis model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant