CN110045209A - 用电数据异常的检测方法、装置、设备及可读存储介质 - Google Patents

用电数据异常的检测方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN110045209A
CN110045209A CN201910389132.0A CN201910389132A CN110045209A CN 110045209 A CN110045209 A CN 110045209A CN 201910389132 A CN201910389132 A CN 201910389132A CN 110045209 A CN110045209 A CN 110045209A
Authority
CN
China
Prior art keywords
electricity consumption
data
consumption data
history
acquisition system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910389132.0A
Other languages
English (en)
Inventor
付佳佳
蔡毅
林斌
李溢杰
亢中苗
窦铮
李财云
唐凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Electric Power Dispatch Control Center of Guangdong Power Grid Co Ltd
Original Assignee
BEIJING YIFUTAI NETWORK TEST LABORATORY Co Ltd
Guangdong Power Grid Co Ltd
Electric Power Dispatch Control Center of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING YIFUTAI NETWORK TEST LABORATORY Co Ltd, Guangdong Power Grid Co Ltd, Electric Power Dispatch Control Center of Guangdong Power Grid Co Ltd filed Critical BEIJING YIFUTAI NETWORK TEST LABORATORY Co Ltd
Priority to CN201910389132.0A priority Critical patent/CN110045209A/zh
Publication of CN110045209A publication Critical patent/CN110045209A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种用电数据异常的检测方法,针对现今用电数据具有时间关联和高维度的特点,对用电数据异常检测模型进行了改进,在训练用电数据异常检测模型时,先基于历史用电数据,应用LSTM网络解析历史用电数据的数据关联信息以对历史用电数据进行降维处理后再训练用电数据异常检测模型,从而得到了适应用电数据时间关联特性和高维度特性的用电数据异常检测模型,应用这样的用电数据异常检测模型对输入的待检测用电数据进行检测得到检测结果,相比于传统的检测模型,大大提高了检测准确率,降低了误报率,优化了用电数据异常检测环节。本发明还提供一种用电数据异常的检测装置、设备和可读存储介质,具有上述有益效果。

Description

用电数据异常的检测方法、装置、设备及可读存储介质
技术领域
本发明涉及电网技术领域,特别是涉及一种用电数据异常的检测方法、装置、设备及可读存储介质。
背景技术
随着社会经济快速发展,电力资源在人民群众的日常生活中发挥的作用越来越重要。但是,个别用户为了减少电力资源费用的支出,通过窃电、欺诈等欺骗手段进行偷电,给电力公司造成了严重的经济损失。为解决此问题,电力公司已经采取了较多的措施进行检查和整改,并且取得了一定的效果。随着智能电网技术的快速发展,为用电数据异常分析提供了新的研究手段。在大数据电力设备采集的用户用电数据更加丰富,数据量更加庞大,存储设备和网络通道的资源更加丰富,例如,已有研究将传统数据库和MongoDB数据库相融合的电力用户数据存储体系架构,实现电力用户数据的可扩展性存储。在此背景下,基于大数据和人工智能技术的用电数据异常检测研究已成为当前的研究热点和研究趋势。根据研究采用的工具和方法不同,可以分为三类:基于统计学理论知识进行异常用电数据挖掘,基于数学建模与专家系统相结合的用电异常检测研究,基于深度学习等人工智能理论进行数据分析。
可见,用户用电数据异常检测研究已经取得了较多研究成果。但是,当前研究主要集中在解决异常用电数据检测的性能方面的问题。随着电力用户数据和用电设备的快速增长,用户用电数据的维度和数据量也快速增加,导致现有用电数据异常检测算法性能低的问题。
如何提高用电数据异常检测算法的性能以优化用电数据异常检测环节,是本领域技术人员需要解决的技术问题。
发明内容
本发明的目的是提供一种用电数据异常的检测方法、装置、设备及可读存储介质,通过提高用电数据异常检测算法的性能以优化用电数据异常检测环节。
为解决上述技术问题,本发明提供一种用电数据异常的检测方法,包括:
预先基于历史用电数据,应用LSTM网络解析所述历史用电数据的数据关联信息以对所述历史用电数据进行降维处理,并利用降维处理后的用电数据训练用电数据异常检测模型;
接收输入的待检测用电数据;
将所述待检测用电数据输入所述用电数据异常检测模型,得到检测结果;
其中,所述历史用电数据包括多条用电数据信息,各所述用电数据信息均包括用户ID、用电时间和用电量。
可选的,所述预先基于历史用电数据,应用LSTM网络解析所述历史用电数据的数据关联信息以对所述历史用电数据进行降维处理,并利用降维处理后的用电数据训练用电数据异常检测模型,具体包括:
接收所述历史用电数据;
基于所述历史用电数据,采用有放回的策略构造K个数据集合,并分别在各所述数据集合中确定训练集和测试集;
对每个所述数据集合,应用所述LSTM网络提取N个数据内在特征;
应用与所述数据集合对应的所述数据内在特征对所述数据集合进行特征匹配训练,直至匹配结果达到预设条件,得到一棵决策树,完成所有所述数据集合的特征匹配后,得到由各所述决策树组成的随机森林模型;
以所述随机森林模型作为所述用电数据异常检测模型。
可选的,在所述基于所述历史用电数据,采用有放回的策略构造K个数据集合之前,还包括:
对所述历史用电数据进行数据清洗,以去除所述历史用电数据中的重复数据、缺失数据和错误数据;
对清洗后的历史用电数据进行归一化处理,以根据归一化处理后的历史用电数据进行所述构造K个数据集合的步骤。
可选的,所述对每个所述数据集合,应用所述LSTM网络提取N个数据内在特征,具体包括:
将一个所述数据集合划分为多个数据子集;
将各所述数据子集并行输入预设层数的LSTM网络中,并将所述数据内在特征的数目设置为N。
可选的,所述应用与所述数据集合对应的所述数据内在特征对所述数据集合进行特征匹配训练,直至匹配结果达到预设条件,得到一棵决策树,具体为:
应用三层全连接层依次对各所述数据集合进行用电数据异常识别训练,直至损失函数达到预设的阈值,输出二维数据分布,以所述二维数据分布为所述决策树;
其中,所述三层全连接层包括用于对所述数据集合进行特征匹配的二层全连接的隐藏层。
可选的,所述将所述待检测用电数据输入所述用电数据异常检测模型,得到检测结果,具体包括:
将所述待检测用电数据分别输入所述用电数据异常检测模型中的各所述决策树,得到各所述决策树输出的决策树检测结果;
取各所述决策树检测结果中的众数为所述检测结果。
可选的,在所述基于所述历史用电数据,采用有放回的策略构造K个数据集合,并分别在各所述数据集合中确定训练集和测试集之前,还包括:
确定多个K值,以针对各所述K值执行所述基于所述历史用电数据,采用有放回的策略构造K个数据集合,并分别在各所述数据集合中确定训练集和测试集的步骤;
相应的,所述以所述随机森林模型作为所述用电数据异常检测模型,具体为:
测试各所述K值对应的随机森林模型的性能,确定性能最优的随机森林模型为所述用电数据异常检测模型。
为解决上述技术问题,本发明还提供一种用电数据异常的检测装置,包括:
建模单元,用于预先基于历史用电数据,应用LSTM网络解析所述历史用电数据的数据关联信息以对所述历史用电数据进行降维处理,并利用降维处理后的用电数据训练用电数据异常检测模型;
接收单元,用于接收输入的待检测用电数据;
检测单元,用于将所述待检测用电数据输入所述用电数据异常检测模型,得到检测结果。
为解决上述技术问题,本发明还提供一种用电数据异常的检测装置,包括:
存储器,用于存储指令,所述指令包括上述任意一项所述用电数据异常的检测方法的步骤;
处理器,用于执行所述指令。
为解决上述技术问题,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任意一项所述用电数据异常的检测方法的步骤。
本发明所提供的用电数据异常的检测方法,针对现今用电数据具有时间关联和高维度的特点,对用电数据异常检测模型进行了改进,在训练用电数据异常检测模型时,先基于历史用电数据,应用LSTM网络解析历史用电数据的数据关联信息以对历史用电数据进行降维处理,再利用降维处理后的用电数据训练用电数据异常检测模型,从而得到了适应用电数据时间关联特性和高维度特性的用电数据异常检测模型,应用这样的用电数据异常检测模型对输入的待检测用电数据进行检测得到检测结果,相比于传统的检测模型,大大提高了检测准确率,降低了误报率,从提高用电数据异常检测算法的性能的角度优化了用电数据异常检测环节。本发明还提供一种用电数据异常的检测装置、设备和可读存储介质,具有上述有益效果,在此不再赘述。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种用电数据异常的检测方法的流程图;
图2为本发明实施例提供的图1中步骤S101的具体实施方式的流程图;
图3为本发明实施例提供的一种LSTM网络的结构;
图4(a)为本发明实施例提供的不同K值对应的准确率示意图;
图4(b)为本发明实施例提供的不同K值对应的误报率示意图;
图5(a)为本发明实施例提供的不同算法模型对应的准确率示意图;
图5(b)为本发明实施例提供的不同算法模型对应的误报率示意图;
图6为本发明实施例提供的一种用电数据异常的检测装置的结构示意图;
图7为本发明实施例提供的一种用电数据异常的检测装置的设备示意图。
具体实施方式
本发明的核心是提供一种用电数据异常的检测方法、装置、设备及可读存储介质,通过提高用电数据异常检测算法的性能以优化用电数据异常检测环节。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种用电数据异常的检测方法的流程图。
如图1所示,本发明实施例提供的用电数据异常的检测方法包括:
S101:预先基于历史用电数据,应用LSTM网络解析历史用电数据的数据关联信息以对历史用电数据进行降维处理,并利用降维处理后的用电数据训练用电数据异常检测模型。
其中,历史用电数据包括多条用电数据信息,各用电数据信息均包括用户ID、用电时间和用电量。
用电异常状况包括用户在用电高峰期(如空调季)的某一天的用电量相较往日骤减,或在某一个工作日的用电量明显低于其他工作日的用电量等,当在某个用户的用电数据中发现这样的现象时,则可以怀疑该用户有窃电行为。在过去,应用人工统计、数据建模、专家分析、深度学习等方式,对用电数据中是否存在异常数据进行判断,但是随着电力用户数据和用电设备的快速增长,用户用电数据的维度和数据量也在快速增加,传统的用电数据异常检测方法在检测准确率和检测速度上都已不能满足需求,因此对用电数据检测方法提出了适应现今用电数据具有时间关联特性以及高维度特性的状况。
本发明实施例的改进首先在于在训练用电数据异常检测模时,首先应用LSTM网络解析历史用电数据的数据关联信息以对历史用电数据进行降维处理,并利用降维处理后的用电数据训练用电数据异常检测模型。
LSTM(Long Short-Term Memory,长短期记忆网络)是一种时间循环神经网络,适合于处理和预测时间序列中间隔和延迟相对较长的重要事件,它在算法中加入了一个判断信息有用与否的“处理器”,这个处理器作用的结构被称为cell,一个cell当中被放置了三扇门,分别叫做输入门、遗忘门和输出门。一个信息进入LSTM的网络当中,可以根据规则来判断是否有用,只有符合算法认证的信息才会留下,不符的信息则通过遗忘门被遗忘。
在大数据环境下,电力公司可以通过网管系统采集和存储的数据类型更加多样,数据保存时间更长。这对于用户用电异常数据检测提供了丰富的数据资源。通过对长时间段内数据的关联关系进行分析可知,不同用户电力数据之间存在相似性,同一用户在不同时间段内的数据也存在相关性。例如,某一个居民在未来几天的用电量与当前时间的用电量类似和相关。居民的用电数据也具有一定的周期性和规律性。例如,每个月的用电数据量与之前月份或往年同期月份具有一定的相关性。此外,用户的用电量与天气、节假日等外部环境关系也比较紧密。
从上述分析可知,在进行用电量分析时,如果能够同时对一个长时间段内的数据进行分析,将有助于通过用户用电量的关联关系,分析用户用电数据之间的时序关系,有效挖掘出用户用电的异常数据。而LSTM网络对历史用电数据进行学习后,可以解析出历史用电数据内部的关联信息,通过设置所需的特征的数量,LSTM网络可以从历史用电数据中提取关键特征(数据内在特征)。
在一个应用实例中,可以以378天(取一个大于一年的时间)为时间周期,选取了某省电力用户的用电数据进行异常数据检测。数据信息包括用户 ID(姓名或编号)、用电时间(年月日)、用电量等字段数据。可以认为这378 天的数据是一组378维的数据,即每天都是一个维度,如果直接对这种高维度数据进行学习,将得到检测速度极慢的检测模型,且很可能其检测准确率也不高。从用电特性角度分析可知,用电与温度、节假日影响较大,考虑到春、夏、秋、冬四个季节,清明节、中秋节、端午节、元旦、五一、十一、春节等七个关键节日,在应用LSTM网络实现特征提取时,可以将用电特征设置为32(取一个大于预先分析的数据内在特征数的数字)。从378维到32 维,是应用LSTM网络对历史用电数据的降维过程。
对历史用电数据进行降维处理后,可以应用神经网络学习的方式训练用电数据异常检测模型,如训练一个分类器,将用电数据分为正常数据和异常数据;或训练一个用电预测模型,将预测值与接收到的用电数据进行对比,如差异较大则认为是异常数据等。
S102:接收输入的待检测用电数据。
S103:将待检测用电数据输入用电数据异常检测模型,得到检测结果。
依据步骤S101的说明训练好用电数据异常检测模型后,即可将待检测用电数据输入该用电数据异常检测模型中进行检测。
本发明实施例提供的用电数据异常的检测方法,针对现今用电数据具有时间关联和高维度的特点,对用电数据异常检测模型进行了改进,在训练用电数据异常检测模型时,先基于历史用电数据,应用LSTM网络解析历史用电数据的数据关联信息以对历史用电数据进行降维处理,再利用降维处理后的用电数据训练用电数据异常检测模型,从而得到了适应用电数据时间关联特性和高维度特性的用电数据异常检测模型,应用这样的用电数据异常检测模型对输入的待检测用电数据进行检测得到检测结果,相比于传统的检测模型,大大提高了检测准确率,降低了误报率,从提高用电数据异常检测算法的性能的角度优化了用电数据异常检测环节。
图2为本发明实施例提供的图1中步骤S101的具体实施方式的流程图;图3为本发明实施例提供的一种LSTM网络的结构。
如图2所示,在上述实施例的基础上,在另一实施例中,步骤S101具体包括:
S201:接收历史用电数据。
以某省95389个用电用户的378天的用电数据为例,即以378天(取一个大于一年的时间)为时间周期,每个用户每天对应一条或多条用电数据。用电数据的数据信息包括用户ID(姓名或编号)、用电时间(年月日)、用电量等字段数据。
为提高数据质量,在执行下述步骤之前,优选的方案是先对历史用电数据进行数据清洗,具体包括以下步骤:
对历史用电数据进行数据清洗,以去除历史用电数据中的重复数据、缺失数据和错误数据;
对清洗后的历史用电数据进行归一化处理,以根据归一化处理后的历史用电数据进行构造K个数据集合的步骤。
其中,对于重复数据,采取删除策略进行处理;对于缺失数据和错误数据,先建立数据字段的上限值和下限值,之后从上下限区间采用随机选择的办法进行填补。消除了重复数据、缺失数据和错误数据后,对所有数据字段进行归一化处理,避免不同字段取值范围的区别导致的数据质量问题,归一化处理可依照下式进行:
其中,集合X={x1,x2,...,xn}包含n个数据的向量,mean(X)表示求解集合X 的平均值,max(X)表示集合X的最大值,min(X)表示集合X的最小值,x′i表示对xi执行归一化之后得到的数据。
S202:基于历史用电数据,采用有放回的策略构造K个数据集合,并分别在各数据集合中确定训练集和测试集。
在历史用电数据中,采用又放回的构造数据集的策略构造K个数据集合以提高数据集合的随机性。
在选取K个数据集合之后,可以将其中90%的数据作为训练集进行训练,将剩余的数据作为测试集进行测试。
由于预先已经知道历史用电数据中包含3528条异常数据,远远少于正常数据,为了防止正常数据和异常数据不均衡影响算法性能,优选的是,在构造数据集合时,对正常数据进行欠采样,如规定正常数据在一个数据集合中的占比不能超过90%,从而减小正常数据与异常数据的不均衡差距。
需要说明的是,本步骤中构造K个数据集合,可以应用使用单个数据集合的算法(ADoIL-oneD)分别训练出K个用电数据异常检测模型,从中择优选择一个用电数据异常检测模型;也可以应用使用多个数据集合的算法 (ADoIL-K,如随机森林算法)训练得到一个用电数据异常检测模型(其中包括K个决策树)。
S203:对每个数据集合,应用LSTM网络提取N个数据内在特征。
本发明实施例提供了一种用于提取数据内在特征的LSTM网络结构,如图3所示,该LSTM网络为四层结构,设有三个输入端,即是说在进行数据内在特征提取时,将一个数据集合分为三个数据子集,分别在三个输入端输入,以使这些数据在LSTM网络中进行交叉训练。
LSTM网络由多个LSTM网络模块(长短期记忆块)连接组成,每个LSTM 网络模块包括输入门、遗忘门、输出门三种门,其中,输入门用于接收用户用电数据xt和上一个时刻的输出ht-1,输入值z使用公式tanh(Wz[ht-1,xt])计算,输入门的取值i使用sigmoid(Wt[ht-1,xt])进行计算;遗忘门的取值f使用公式 sigmoid(Wf[ht-1,xt])进行计算;输出门的取值o使用公式sigmoid(Wo[ht-1,xt])进行计算。基于此,LSTM网络模块的新状态取值ct使用下述公式(2)进行计算,每个LSTM网络模块的输出值ht使用下述公式(3)进行计算:
ct=sigmoid(Wf[ht-1,xt])·ct-1+sigmoid(Wt[ht-1,xt])·tanh(Wz[ht-1,xt]) (2)
ht=sigmoid(Wo[ht-1,xt])·tanh ct (3)
需要说明的是,输入端的个数和LSTM网络的层数可以进行适应性的调整,均属于本发明实施例的保护范围。
基于上述LSTM网络,步骤S203具体可以包括:
将一个数据集合划分为多个数据子集;
将各数据子集并行输入预设层数的LSTM网络中,并将数据内在特征的数目设置为N。
如应用本发明实施例一中的应用实例,则N=32。
S204:应用与数据集合对应的数据内在特征对数据集合进行特征匹配训练,直至匹配结果达到预设条件,得到一棵决策树,完成所有数据集合的特征匹配后,得到由各决策树组成的随机森林模型。
在上文已经提到,对于构造的K个数据集合,可以应用随机森林算法训练得到一个用电数据异常检测模型,其中包括K个决策树。
在步骤S203中,一个数据集合对应一个LSTM网络进行特征提取,即对于每个数据集合,都提取出N个数据内在特征,且其排序可能不同。对于一个数据集合,经过LSTM网络提取出N个数据内在特征后,进入特征匹配模型的训练过程,训练得到一个决策树,这个决策树的节点即为数据内在特征,每个节点有子节点,末端的叶子节点可以为正常数据和异常数据。
对于K个数据集合重复上述过程,得到K个决策树,由这些决策树即可组成一个随机森林模型。
步骤S204可以通过以下方式实施:
应用三层全连接层依次对各数据集合进行用电数据异常识别训练,直至损失函数达到预设的阈值,输出二维数据分布,以该二维数据分布为决策树;
其中,三层全连接层包括用于对数据集合进行特征匹配的二层全连接的隐藏层。
对于每个数据集,采用三层全连接层进行窃电识别,直到损失函数达到阈值,输出二维的数据分布。为完成数据类型的标注,本发明利用一个由两层全连接的隐含层组成的神经网络实现用户特征数据的匹配工作。
当N=32时,该特征匹配模型中,输入数据为32维数据,为提高算法性能,本发明实施例使用均方差损失函数,对神经网络的参数进行调整。均方差损失函数可以用下式表示:
其中,yi表示特征匹配模块的分类结果,表示用户用电数据的真实分类结果,当损失值floss达到预设的阈值时,特征匹配训练结束。
S205:以该随机森林模型作为用电数据异常检测模型。
在应用随机森林模型作为用电数据异常检测模型时,随机森林中的每个决策树都将给出待检测数据是否为异常数据的判断,因此在上述步骤的基础上,步骤S103包括:
将待检测用电数据分别输入用电数据异常检测模型中的各决策树,得到各决策树输出的决策树检测结果;
取各决策树检测结果中的众数为检测结果。
需要说明的是,若预先训练的各决策树的输出形式为正常数据和异常数据,当K个决策树中输出异常数据的决策树数量超过2/K,则认为待检测用电数据为异常数据。
图4(a)为本发明实施例提供的不同K值对应的准确率示意图;图4(b) 为本发明实施例提供的不同K值对应的误报率示意图;图5(a)为本发明实施例提供的不同算法模型对应的准确率示意图;图5(b)为本发明实施例提供的不同算法模型对应的误报率示意图。
在上述实施例的基础上,在另一实施例中,为了进一步提高检测方法的性能,可以进一步探究K的取值。因此,在图2中的步骤S202之前,还包括:
确定多个K值,以针对各K值执行基于历史用电数据,采用有放回的策略构造K个数据集合,并分别在各数据集合中确定训练集和测试集的步骤;
相应的,步骤S205中以随机森林模型作为用电数据异常检测模型,具体为:
测试各K值对应的随机森林模型的性能,确定性能最优的随机森林模型为用电数据异常检测模型。
在具体实施中,评估随机森林模型的性能的指标可以包括准确率和/或误报率。
还是以取某省95389个用电用户的378天的用电数据为例,可以将K的取值设为[3,9],步长为2,对于每个K值,分别进行10次试验,最终结果取平均值。K取值为3、5、7、9时的算法性能(准确率和误报率)如图4(a) 和图4(b)所示,可见,当K=7时算法性能比较优化。
另外,将这种K取值为7的模型(ADoIL-7)与传统的机器学习算法支持向量机(ADoSVM)、使用单个数据集合算法(ADoIL-oneD)进行对比实验,算法性能(准确率和误报率)如图5(a)和图5(b)所示,可见多数据集有助于求解最佳的分类结果,提高了异常检测算法的检测性能。
上文详述了用电数据异常的检测方法对应的各个实施例,在此基础上,本发明还公开了与上述方法对应的用电数据异常的检测装置。
图6为本发明实施例提供的一种用电数据异常的检测装置的结构示意图。
如图6所示,本发明实施例提供的用电数据异常的检测装置包括:
建模单元601,用于预先基于历史用电数据,应用LSTM网络解析历史用电数据的数据关联信息以对历史用电数据进行降维处理,并利用降维处理后的用电数据训练用电数据异常检测模型;
接收单元602,用于接收输入的待检测用电数据;
检测单元603,用于将待检测用电数据输入用电数据异常检测模型,得到检测结果。
由于装置部分的实施例与方法部分的实施例相互对应,因此装置部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
图7为本发明实施例提供的一种用电数据异常的检测设备的结构示意图。如图7所示,该用电数据异常的检测设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)710 (例如,一个或一个以上处理器)和存储器720,一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中,存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对计算装置中的一系列指令操作。更进一步地,处理器710可以设置为与存储介质730通信,在用电数据异常的检测设备700上执行存储介质730中的一系列指令操作。
用电数据异常的检测设备700还可以包括一个或一个以上电源740,一个或一个以上有线或无线网络接口750,一个或一个以上输入输出接口760,和 /或,一个或一个以上操作系统731,例如Windows ServerTM,Mac OS XTM, UnixTM,LinuxTM,FreeBSDTM等等。
上述图1至图3所描述的用电数据异常的检测方法中的步骤由用电数据异常的检测设备基于该图7所示的结构实现。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的用电数据异常的检测设备及计算机可读存储介质的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法、装置、设备及可读存储介质,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括多指令用以使得一台计算机设备(可以是个人计算机,功能调用装置,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory, ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本发明所提供的一种用电数据异常的检测方法、装置、设备及可读存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行多改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种用电数据异常的检测方法,其特征在于,包括:
预先基于历史用电数据,应用LSTM网络解析所述历史用电数据的数据关联信息以对所述历史用电数据进行降维处理,并利用降维处理后的用电数据训练用电数据异常检测模型;
接收输入的待检测用电数据;
将所述待检测用电数据输入所述用电数据异常检测模型,得到检测结果;
其中,所述历史用电数据包括多条用电数据信息,各所述用电数据信息均包括用户ID、用电时间和用电量。
2.根据权利要求1所述的检测方法,其特征在于,所述预先基于历史用电数据,应用LSTM网络解析所述历史用电数据的数据关联信息以对所述历史用电数据进行降维处理,并利用降维处理后的用电数据训练用电数据异常检测模型,具体包括:
接收所述历史用电数据;
基于所述历史用电数据,采用有放回的策略构造K个数据集合,并分别在各所述数据集合中确定训练集和测试集;
对每个所述数据集合,应用所述LSTM网络提取N个数据内在特征;
应用与所述数据集合对应的所述数据内在特征对所述数据集合进行特征匹配训练,直至匹配结果达到预设条件,得到一棵决策树,完成所有所述数据集合的特征匹配后,得到由各所述决策树组成的随机森林模型;
以所述随机森林模型作为所述用电数据异常检测模型。
3.根据权利要求2所述的检测方法,其特征在于,在所述基于所述历史用电数据,采用有放回的策略构造K个数据集合之前,还包括:
对所述历史用电数据进行数据清洗,以去除所述历史用电数据中的重复数据、缺失数据和错误数据;
对清洗后的历史用电数据进行归一化处理,以根据归一化处理后的历史用电数据进行所述构造K个数据集合的步骤。
4.根据权利要求2所述的检测方法,其特征在于,所述对每个所述数据集合,应用所述LSTM网络提取N个数据内在特征,具体包括:
将一个所述数据集合划分为多个数据子集;
将各所述数据子集并行输入预设层数的LSTM网络中,并将所述数据内在特征的数目设置为N。
5.根据权利要求2所述的检测方法,其特征在于,所述应用与所述数据集合对应的所述数据内在特征对所述数据集合进行特征匹配训练,直至匹配结果达到预设条件,得到一棵决策树,具体为:
应用三层全连接层依次对各所述数据集合进行用电数据异常识别训练,直至损失函数达到预设的阈值,输出二维数据分布,以所述二维数据分布为所述决策树;
其中,所述三层全连接层包括用于对所述数据集合进行特征匹配的二层全连接的隐藏层。
6.根据权利要求2所述的检测方法,其特征在于,所述将所述待检测用电数据输入所述用电数据异常检测模型,得到检测结果,具体包括:
将所述待检测用电数据分别输入所述用电数据异常检测模型中的各所述决策树,得到各所述决策树输出的决策树检测结果;
取各所述决策树检测结果中的众数为所述检测结果。
7.根据权利要求2所述的检测方法,其特征在于,在所述基于所述历史用电数据,采用有放回的策略构造K个数据集合,并分别在各所述数据集合中确定训练集和测试集之前,还包括:
确定多个K值,以针对各所述K值执行所述基于所述历史用电数据,采用有放回的策略构造K个数据集合,并分别在各所述数据集合中确定训练集和测试集的步骤;
相应的,所述以所述随机森林模型作为所述用电数据异常检测模型,具体为:
测试各所述K值对应的随机森林模型的性能,确定性能最优的随机森林模型为所述用电数据异常检测模型。
8.一种用电数据异常的检测装置,其特征在于,包括:
建模单元,用于预先基于历史用电数据,应用LSTM网络解析所述历史用电数据的数据关联信息以对所述历史用电数据进行降维处理,并利用降维处理后的用电数据训练用电数据异常检测模型;
接收单元,用于接收输入的待检测用电数据;
检测单元,用于将所述待检测用电数据输入所述用电数据异常检测模型,得到检测结果。
9.一种用电数据异常的检测装置,其特征在于,包括:
存储器,用于存储指令,所述指令包括权利要求1至7任意一项所述用电数据异常的检测方法的步骤;
处理器,用于执行所述指令。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述用电数据异常的检测方法的步骤。
CN201910389132.0A 2019-05-10 2019-05-10 用电数据异常的检测方法、装置、设备及可读存储介质 Pending CN110045209A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910389132.0A CN110045209A (zh) 2019-05-10 2019-05-10 用电数据异常的检测方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910389132.0A CN110045209A (zh) 2019-05-10 2019-05-10 用电数据异常的检测方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN110045209A true CN110045209A (zh) 2019-07-23

Family

ID=67281425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910389132.0A Pending CN110045209A (zh) 2019-05-10 2019-05-10 用电数据异常的检测方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110045209A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110634067A (zh) * 2019-09-25 2019-12-31 上海应用技术大学 银行账户异常交易识别方法
CN111126489A (zh) * 2019-12-24 2020-05-08 广东电网有限责任公司 一种基于集成学习的输电设备状态评价方法
CN111177131A (zh) * 2019-12-18 2020-05-19 深圳供电局有限公司 用电数据检测方法、装置、计算机设备和存储介质
CN111178556A (zh) * 2019-12-25 2020-05-19 深圳供电局有限公司 电量异常检测方法、装置、计算机设备和可读存储介质
CN111260029A (zh) * 2020-01-13 2020-06-09 北京工业大学 一种面向空气质量数据的可信度分析方法
CN111582298A (zh) * 2020-03-18 2020-08-25 宁波送变电建设有限公司永耀科技分公司 一种基于人工智能的传感异常数据实时检测方法
CN111709790A (zh) * 2020-06-19 2020-09-25 广东电网有限责任公司 一种日前市场异常电价辨识方法、装置、设备和存储介质
CN112187555A (zh) * 2020-12-01 2021-01-05 北京蒙帕信创科技有限公司 一种基于机器学习的实时kpi数据异常检测方法及装置
CN112633412A (zh) * 2021-01-05 2021-04-09 南方电网深圳数字电网研究院有限公司 异常用电检测方法、设备及存储介质
CN113435915A (zh) * 2021-07-14 2021-09-24 广东电网有限责任公司 用户窃电行为检测方法、装置、设备及存储介质
CN113449795A (zh) * 2021-06-29 2021-09-28 国网北京市电力公司 用电数据处理方法、装置及电子设备
CN113538063A (zh) * 2021-07-28 2021-10-22 广东电网有限责任公司 基于决策树的电费异常数据分析方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140239639A1 (en) * 2013-02-28 2014-08-28 International Business Machines Corporation Controlling wind turbine
CN105303262A (zh) * 2015-11-12 2016-02-03 河海大学 一种基于核主成分分析和随机森林的短期负荷预测方法
CN108985632A (zh) * 2018-07-16 2018-12-11 国网上海市电力公司 一种基于孤立森林算法的用电数据异常检测模型
CN109034054A (zh) * 2018-07-24 2018-12-18 华北电力大学 基于lstm的谐波多标签分类方法
CN109241418A (zh) * 2018-08-22 2019-01-18 中国平安人寿保险股份有限公司 基于随机森林的异常用户识别方法及装置、设备、介质
CN109558395A (zh) * 2018-10-17 2019-04-02 中国光大银行股份有限公司 数据处理系统及数据挖掘方法
CN109615004A (zh) * 2018-12-07 2019-04-12 江苏瑞中数据股份有限公司 一种多源数据融合的防窃电预警方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140239639A1 (en) * 2013-02-28 2014-08-28 International Business Machines Corporation Controlling wind turbine
CN105303262A (zh) * 2015-11-12 2016-02-03 河海大学 一种基于核主成分分析和随机森林的短期负荷预测方法
CN108985632A (zh) * 2018-07-16 2018-12-11 国网上海市电力公司 一种基于孤立森林算法的用电数据异常检测模型
CN109034054A (zh) * 2018-07-24 2018-12-18 华北电力大学 基于lstm的谐波多标签分类方法
CN109241418A (zh) * 2018-08-22 2019-01-18 中国平安人寿保险股份有限公司 基于随机森林的异常用户识别方法及装置、设备、介质
CN109558395A (zh) * 2018-10-17 2019-04-02 中国光大银行股份有限公司 数据处理系统及数据挖掘方法
CN109615004A (zh) * 2018-12-07 2019-04-12 江苏瑞中数据股份有限公司 一种多源数据融合的防窃电预警方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110634067A (zh) * 2019-09-25 2019-12-31 上海应用技术大学 银行账户异常交易识别方法
CN111177131A (zh) * 2019-12-18 2020-05-19 深圳供电局有限公司 用电数据检测方法、装置、计算机设备和存储介质
CN111126489A (zh) * 2019-12-24 2020-05-08 广东电网有限责任公司 一种基于集成学习的输电设备状态评价方法
CN111178556A (zh) * 2019-12-25 2020-05-19 深圳供电局有限公司 电量异常检测方法、装置、计算机设备和可读存储介质
CN111260029A (zh) * 2020-01-13 2020-06-09 北京工业大学 一种面向空气质量数据的可信度分析方法
CN111582298A (zh) * 2020-03-18 2020-08-25 宁波送变电建设有限公司永耀科技分公司 一种基于人工智能的传感异常数据实时检测方法
CN111709790A (zh) * 2020-06-19 2020-09-25 广东电网有限责任公司 一种日前市场异常电价辨识方法、装置、设备和存储介质
CN112187555A (zh) * 2020-12-01 2021-01-05 北京蒙帕信创科技有限公司 一种基于机器学习的实时kpi数据异常检测方法及装置
CN112633412A (zh) * 2021-01-05 2021-04-09 南方电网深圳数字电网研究院有限公司 异常用电检测方法、设备及存储介质
CN112633412B (zh) * 2021-01-05 2024-05-14 南方电网数字平台科技(广东)有限公司 异常用电检测方法、设备及存储介质
CN113449795A (zh) * 2021-06-29 2021-09-28 国网北京市电力公司 用电数据处理方法、装置及电子设备
CN113435915A (zh) * 2021-07-14 2021-09-24 广东电网有限责任公司 用户窃电行为检测方法、装置、设备及存储介质
CN113435915B (zh) * 2021-07-14 2023-01-20 广东电网有限责任公司 用户窃电行为检测方法、装置、设备及存储介质
CN113538063A (zh) * 2021-07-28 2021-10-22 广东电网有限责任公司 基于决策树的电费异常数据分析方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN110045209A (zh) 用电数据异常的检测方法、装置、设备及可读存储介质
CN110097297B (zh) 一种多维度窃电态势智能感知方法、系统、设备及介质
CN112098714B (zh) 一种基于ResNet-LSTM的窃电检测方法及系统
CN111612651B (zh) 一种基于长短期记忆网络的异常电量数据检测方法
CN106777984B (zh) 一种基于密度聚类算法实现光伏阵列工作状态分析与故障诊断的方法
CN108510006A (zh) 一种基于数据挖掘的企业用电量分析与预测方法
CN109145949A (zh) 基于集成学习的非侵入式电力负荷监测与分解方法及系统
CN109740694A (zh) 一种基于非监督学习的智能电网非技术性损失检测方法
CN110458230A (zh) 一种基于多判据融合的配变用采数据异常甄别方法
CN112149873B (zh) 一种基于深度学习的低压台区线损合理区间预测方法
CN107633050A (zh) 一种基于大数据分析用电行为判定窃电概率的方法
CN105005825B (zh) 一种基于动态神经网络预测光伏功率的方法及系统
CN109784388A (zh) 窃电用户识别方法和装置
CN104280612B (zh) 一种基于单频电流传输特性的分布式谐波源辨识方法
CN110321934A (zh) 一种检测用户用电异常数据的方法及系统
CN109002926A (zh) 一种高准确性的光伏发电量预测模型及其构建方法和应用
CN111861211A (zh) 一种具有双层反窃电模型的系统
CN107249000A (zh) 一种移动用户异常行为检测方法
CN109242169A (zh) 一种面向电力大客户的短期负荷预测方法
CN105005711A (zh) 获取统计线损的方法及装置
CN106296315A (zh) 基于用户用电数据的情境感知系统
CN112257784A (zh) 一种基于梯度提升决策树的窃电检测方法
CN109633448A (zh) 识别电池健康状态的方法、装置和终端设备
CN109615273A (zh) 一种电动汽车充电设施状态评价方法与系统
Na et al. Fake data injection attack detection in AMI system using a hybrid method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210412

Address after: No.757 Dongfeng East Road, Yuexiu District, Guangzhou City, Guangdong Province 510060

Applicant after: GUANGDONG POWER GRID Co.,Ltd.

Applicant after: ELECTRICAL POWER DISPATCHING & CONTROL CENTER OF GUANGDONG POWER GRID Co.,Ltd.

Address before: 510600 No. 757 Dongfeng East Road, Guangzhou, Guangdong, Yuexiu District

Applicant before: GUANGDONG POWER GRID Co.,Ltd.

Applicant before: ELECTRICAL POWER DISPATCHING & CONTROL CENTER OF GUANGDONG POWER GRID Co.,Ltd.

Applicant before: BEIJNG YIFUTAI NETWORK TEST LAB CO.,LTD.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20190723

RJ01 Rejection of invention patent application after publication