CN111738348B - 一种电力数据异常检测方法和装置 - Google Patents

一种电力数据异常检测方法和装置 Download PDF

Info

Publication number
CN111738348B
CN111738348B CN202010603005.9A CN202010603005A CN111738348B CN 111738348 B CN111738348 B CN 111738348B CN 202010603005 A CN202010603005 A CN 202010603005A CN 111738348 B CN111738348 B CN 111738348B
Authority
CN
China
Prior art keywords
data
network model
power data
training
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010603005.9A
Other languages
English (en)
Other versions
CN111738348A (zh
Inventor
周密
钱斌
杨劲锋
肖勇
蔡梓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CSG Electric Power Research Institute
China Southern Power Grid Co Ltd
Original Assignee
CSG Electric Power Research Institute
China Southern Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CSG Electric Power Research Institute, China Southern Power Grid Co Ltd filed Critical CSG Electric Power Research Institute
Priority to CN202010603005.9A priority Critical patent/CN111738348B/zh
Publication of CN111738348A publication Critical patent/CN111738348A/zh
Application granted granted Critical
Publication of CN111738348B publication Critical patent/CN111738348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种电力数据异常检测方法和装置，用于检测电力数据异常，本发明包括：接收预置终端发送的多个历史电力数据并执行数据预处理操作，生成与多个历史电力数据一一对应的多个训练数据；采用多个训练数据训练多尺度卷积神经网络模型，确定多个训练数据的残差项，得到目标多尺度卷积神经网络模型；采用多个训练数据的残差项训练自组织映射网络模型，得到目标自组织映射网络模型；接收预置终端发送的当前电力数据，并将当前电力数据输入目标多尺度卷积神经网络模型，生成当前电力数据的残差项；输入当前电力数据的残差项到目标自组织映射网络模型，确定当前电力数据是否异常，从而提高电力数据异常检测的灵敏度和检测效率。

Description

一种电力数据异常检测方法和装置
技术领域
本发明涉及数据异常检测技术领域，尤其涉及一种电力数据异常检测方法和装置。
背景技术
随着用电信息采集系统的推广以及电力系统的越加智能化和自动化，海量的用电数据得以采集，为用电环节的大数据分析，包括电网调度及电力管理等方面，提供了坚实的时间序列数据基础。而随着用电数据量的增加，电力数据的异常检测显得愈加重要。
目前，电力数据管理最大的重点和难点是如何快速发现和及时处理存在异常的电力数据。因为可导致电力数据异常的原因很多，仅计量装置的原因就可能存在十几种，例如失压、失流、电流不平衡等，电力数据的数据量多达几十万，如果对每个数据的每类异常进行分析，分析的工作量巨大，一般直接分析表码缺数、表码逆行等较为明显的数据缺陷，或是结合运用现场的报警数据分析其计量装置存在的异常，但目前误报数据多，报警数据的准确率低，易导致误判。
为此，现有技术中的电力数据异常检测方法通常是在状态估计阶段完成后，计算测量残差并对其进一步处理，再检测处理后的测量误差是否超过设定的阈值来判断是否异常，例如加权残差rw检测法、标准残差rn检测法、残差搜索与估计辨识法等，上述方法面对小数据量时可以取得比较好的效果，但在现今电力大数据的情况下，由于计算量比较大，会出现残差淹没进而导致检测灵敏度降低，同时无法得不到最优解。
发明内容
本发明提供了一种电力数据异常检测方法和装置，解决了现有技术中由于计算量较大导致检测灵敏度较低、检测效率较低的技术问题。
本发明提供的一种电力数据异常检测方法，包括：
接收预置终端发送的多个历史电力数据；
对多个所述历史电力数据执行数据预处理操作，生成与多个所述历史电力数据一一对应的多个训练数据；
采用所述多个训练数据训练多尺度卷积神经网络模型，确定所述多个训练数据的残差项，得到目标多尺度卷积神经网络模型；
采用所述多个训练数据的残差项训练自组织映射网络模型，得到目标自组织映射网络模型；
接收所述预置终端发送的当前电力数据，并将所述当前电力数据输入所述目标多尺度卷积神经网络模型，生成当前电力数据的残差项；
输入所述当前电力数据的残差项到所述目标自组织映射网络模型，确定所述当前电力数据是否异常。
可选地，所述对多个所述历史电力数据执行数据预处理操作，生成与多个所述历史电力数据一一对应的多个训练数据的步骤，包括：
对多个所述历史电力数据执行数据归一化，生成多个归一化电力数据；
按照预设异常率对多个所述归一化电力数据进行赋值，生成与多个所述历史电力数据一一对应的多个训练数据。
可选地，所述多尺度卷积神经网络模型包括多尺度滤波器，所述采用所述多个训练数据训练多尺度卷积神经网络模型，确定所述多个训练数据的残差项，得到目标多尺度卷积神经网络模型的步骤，包括：
采用多尺度滤波器从所述多个训练数据中提取多个不同时序的训练数据；
基于所述多个不同时序的训练数据，确定预设时刻的预测电力数据；
获取预设时刻的实际电力数据；
确定所述预测电力数据与所述实际电力数据之差的绝对值为所述多个训练数据的残差项；
生成目标多尺度卷积神经网络模型。
可选地，所述采用所述多个训练数据的残差项训练自组织映射网络模型，得到目标自组织映射网络模型的步骤，包括：
输入所述多个训练数据的残差项到所述自组织映射网络模型；
通过所述自组织映射网络模型将所述多个训练数据的残差项划分为多个聚类簇；
遍历多个所述聚类簇；
若所述聚类簇仅包括一个残差项，则确定所述残差项对应的训练数据为异常训练数据；
生成目标自组织映射网络模型。
可选地，所述训练数据包括第一数量的实际异常数据和第二数量的实际正常数据，在所述接收所述预置终端发送的当前电力数据，并将所述当前电力数据输入所述目标多尺度卷积神经网络模型，生成当前电力数据的残差项的步骤之前，所述方法还包括：
确定所述异常训练数据的第三数量；
采用所述第一数量和所述第三数量，计算异常数据检测率；
比对所述实际正常数据和所述异常训练数据，确定误报数据的第四数量；
采用所述第二数量和所述第四数量，计算异常数据误报率；
若所述异常数据检测率大于第一预设阈值且所述异常数据误报率小于第二预设阈值，则确定所述目标多尺度卷积神经网络模型和所述目标自组织映射网络模型的置信度达到预设标准。
本发明还提供了一种电力数据异常检测装置，包括
历史电力数据接收模块，用于接收预置终端发送的多个历史电力数据；
数据预处理模块，用于对多个所述历史电力数据执行数据预处理操作，生成与多个所述历史电力数据一一对应的多个训练数据；
神经网络模型训练模块，用于采用所述多个训练数据训练多尺度卷积神经网络模型，确定所述多个训练数据的残差项，得到目标多尺度卷积神经网络模型；
自组织映射网络模型训练模块，用于采用所述多个训练数据的残差项训练自组织映射网络模型，得到目标自组织映射网络模型；
当前电力数据处理模块，用于接收所述预置终端发送的当前电力数据，并将所述当前电力数据输入所述目标多尺度卷积神经网络模型，生成当前电力数据的残差项；
电力数据异常判断模块，用于输入所述当前电力数据的残差项到所述目标自组织映射网络模型，确定所述当前电力数据是否异常。
可选地，所述数据预处理模块包括：
数据归一化子模块，用于对多个所述历史电力数据执行数据归一化，生成多个归一化电力数据；
赋值子模块，用于按照预设异常率对多个所述归一化电力数据进行赋值，生成与多个所述历史电力数据一一对应的多个训练数据。
可选地，所述多尺度卷积神经网络模型包括多尺度滤波器，所述神经网络模型训练模块包括：
训练数据提取子模块，用于采用多尺度滤波器从所述多个训练数据中提取多个不同时序的训练数据；
预测电力数据确定子模块，用于基于所述多个不同时序的训练数据，确定预设时刻的预测电力数据；
实际电力数据获取子模块，用于获取预设时刻的实际电力数据；
残差项确定子模块，用于确定所述预测电力数据与所述实际电力数据之差的绝对值为所述多个训练数据的残差项；
目标神经网络模块生成子模块，用于生成目标多尺度卷积神经网络模型。
可选地，所述自组织映射网络模型训练模块包括：
残差项输入子模块，用于输入所述多个训练数据的残差项到所述自组织映射网络模型；
聚类簇划分子模块，用于通过所述自组织映射网络模型将所述多个训练数据的残差项划分为多个聚类簇；
聚类簇遍历子模块，用于遍历多个所述聚类簇；
异常训练数据确定子模块，用于若所述聚类簇仅包括一个残差项，则确定所述残差项对应的训练数据为异常训练数据；
目标自组织映射网络模型生成子模块，用于生成目标自组织映射网络模型。
可选地，所述训练数据包括第一数量的实际异常数据和第二数量的实际正常数据，所述装置还包括：
第三数量确定模块，用于确定所述异常训练数据的第三数量；
异常数据检测率计算模块，用于采用所述第一数量和所述第三数量，计算异常数据检测率；
第四数量确定模块，用于比对所述实际正常数据和所述异常训练数据，确定误报数据的第四数量；
异常数据误报率计算模块，用于采用所述第二数量和所述第四数量，计算异常数据误报率；
置信度判断模块，用于若所述异常数据检测率大于第一预设阈值且所述异常数据误报率小于第二预设阈值，则确定所述目标多尺度卷积神经网络模型和所述目标自组织映射网络模型的置信度达到预设标准。
从以上技术方案可以看出，本发明具有以下优点：
在本发明实施例中，通过接收预置终端的多个历史电力数据，对其执行数据预处理操作，生成训练数据后输入到多尺度卷积神经网络模型进行模型训练过程，确定多个训练数据的残差项并得到目标多尺度卷积神经网络模型；采用上述残差项训练自组织映射网络模型，以得到目标自组织映射网络模型；再接收预置终端发送的当前电力数据，将当前电力数据输入到目标多尺度神经网络模型生成当前电力数据的残差项，将当前电力数据的残差项输入到目标自组织映射网络模型后，确定当前电力数据是否异常。从而解决现有技术中由于计算量较大导致检测灵敏度较低、检测效率较低的技术问题，提高检测灵敏度与检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例的一种电力数据异常检测方法的步骤流程图；
图2为本发明可选实施例的一种电力数据异常检测方法的步骤流程图；
图3为本发明另一可选实施例的一种电力数据异常检测方法的实际流程图；
图4为本发明实施例的一种电力数据异常检测装置的结构框图。
具体实施方式
在对神经网络的研究中，发现了多种电力异常数据检测的方法。例如通过建立逆向传播神经网络来消除估计前的干扰，进而达到辨识异常数据的目的。类似地，还有基于时间序列分析与无监督学习的大数据检测方法，通过自适应神经网络来结合历史数据和当前数据。但这些方法对网络的训练过程、样本的选择具有很强的依赖性，同时在设备受外界环境异常影响时，可能会出现异常误报的问题。除了上述基于数据挖掘的方法外，基于图论的方法也可以处理此类问题，但引入图的矩阵计算使得计算量大大提高。
因此，本发明实施例提供了一种电力数据异常检测方法和装置，用于解决现有技术中由于计算量较大导致检测灵敏度较低、检测效率较低的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例提供的一种电力数据异常检测方法的步骤流程图。
本发明提供的一种电力数据异常检测方法，包括：
步骤101，接收预置终端发送的多个历史电力数据；
步骤102，对多个所述历史电力数据执行数据预处理操作，生成与多个所述历史电力数据一一对应的多个训练数据；
在本发明实施例中，为了提高电力数据异常的检测效率，需要应用到多尺度卷积神经网络模型和自组织映射网络模型，而训练上述模型的数据来源可以为预置终端例如电力数据计算终端、电表终端等，在接收到预置终端发送的多个历史电力数据之后，由于历史电力数据可能会有多种单位或数据缺失等，且在历史电力数据中并不存在异常值，因此需要对多个历史电力数据执行数据预处理操作，从而生成与多个所述历史电力数据一一对应的多个训练数据，以供后续模型进行训练。
步骤103，采用所述多个训练数据训练多尺度卷积神经网络模型，确定所述多个训练数据的残差项，得到目标多尺度卷积神经网络模型；
在本发明的一个示例中，由于多尺度卷积神经网络具有多尺度时序和相似用户的相似行为的建模能力，能够提取数据的多尺度时间结构、相似用户间的相似性和复杂动态性。因此在获取到多个训练数据之后，将多个训练数据输入到多尺度卷积神经网络模型中，结合历史电力数据的真实值以确定多个训练数据的残差项，同时得到目标多尺度卷积神经网络模型。
步骤104，采用所述多个训练数据的残差项训练自组织映射网络模型，得到目标自组织映射网络模型；
在本发明的另一个示例中，为能够高效地对残差项进行聚类，在从多尺度卷积神经网络模型中获取到多个训练数据的残差项之后，可以将残差项输入到自组织映射网络模型中进行模型训练，从而得到目标自组织映射网络模型。
步骤105，接收所述预置终端发送的当前电力数据，并将所述当前电力数据输入所述目标多尺度卷积神经网络模型，生成当前电力数据的残差项；
在具体实现中，在获取到训练好的目标多尺度卷积神经网络模型与目标自组织映射网络模型之后，可以对预置终端的当前电力数据进行检测。此时可以接收来自预置终端发送的当前电力数据，将所述当前电力数据输入到目标多尺度卷积神经网络模型中，生成当前电力数据的残差项。
步骤106，输入所述当前电力数据的残差项到所述目标自组织映射网络模型，确定所述当前电力数据是否异常。
进一步的，在接收到当前电力数据的残差项之后，将当前电力数据的残差项输入到目标自组织映射网络模型，经目标自组织映射网络模型对当前电力数据的残差项进行划分聚类，从而确定当前电力数据是否异常。
在本发明实施例中，通过接收预置终端的多个历史电力数据，对其执行数据预处理操作，生成训练数据后输入到多尺度卷积神经网络模型进行模型训练过程，确定多个训练数据的残差项并得到目标多尺度卷积神经网络模型；采用上述残差项训练自组织映射网络模型，以得到目标自组织映射网络模型；再接收预置终端发送的当前电力数据，将当前电力数据输入到目标多尺度神经网络模型生成当前电力数据的残差项，将当前电力数据的残差项输入到目标自组织映射网络模型后，确定当前电力数据是否异常。从而解决现有技术中由于计算量较大导致检测灵敏度较低、检测效率较低的技术问题，提高检测灵敏度与检测效率。
请参阅图2，图2为本发明可选实施例提供的一种电力数据异常检测方法的步骤流程图，所述方法包括：
步骤201，接收预置终端发送的多个历史电力数据；
在本发明实施例中，步骤201与上述步骤101的具体实现过程类似，在此不再赘述。
可选地，所述历史电力数据可以为用电量数据，本发明实施例对此不作限制。
可选地，上述步骤102可以替换为以下步骤202-203：
步骤202，对多个所述历史电力数据执行数据归一化，生成多个归一化电力数据；
在本发明实施例中，由于历史电力数据可能具有不同的单位，而为了方便后续对模型进行训练，对多个历史电力数据执行数据归一化操作，从而生成多个归一化电力数据。
可选地，为方便用户使用，可以将多个归一化电力数据整理成矩阵形式，其中横轴可以表示不同的数据来源，纵轴可以表示不同的时刻。
步骤203，按照预设异常率对多个所述归一化电力数据进行赋值，生成与多个所述历史电力数据一一对应的多个训练数据。
在本发明实施例中，在得到多个归一化电力数据之后，为了保证模型训练的有效性，需要对多个归一化电力数据按照预设异常率进行进一步地赋值，使所述训练数据中带有部分异常值，进而生成与多个历史电力数据一一对应的多个训练数据。
在具体实现中，异常率可以由技术人员根据实际需要进行设定，例如5％、17％或32％等，本发明实施例对此不作限制。
步骤204，采用所述多个训练数据训练多尺度卷积神经网络模型，确定所述多个训练数据的残差项，得到目标多尺度卷积神经网络模型；
进一步地，所述多尺度卷积神经网络模型包括多尺度滤波器，所述步骤204包括以下子步骤A1-A5：
子步骤A1，采用多尺度滤波器从所述多个训练数据中提取多个不同时序的训练数据；
在本发明实施例中，所述多尺度卷积神经网络模型包括多尺度滤波器，通过使用多尺度滤波器从所述多个训练数据中提取多个不同时序的训练数据，从而依据多个不同时序的训练数据建立多尺度卷积神经网络模型。
在具体实现中，某一个尺度的滤波器会提取这个尺度范围内的信息，通过窗口滑动提取整条时序数据中子片段信息，而这个子片段的长度就是预先设定的尺度大小。多个不同尺度的滤波器就会提取时序数据中不同的时序模式。比如一个尺度提取某一天的时序数据，另一个尺度提取某一周的时序数据等，这样就可以获得不同的用电模式。
子步骤A2，基于所述多个不同时序的训练数据，确定预设时刻的预测电力数据；
在具体实现中，多尺度卷积神经网络模型对所述训练数据进行拟合学习，例如通过均方根误差MSE对所述多尺度卷积神经网络模型进行训练，以预测当前时刻得到用电量数据为例，具体训练过程可以如下D1-D3：
D1.卷积神经网络前向传播过程，对于历史数据进行拟合学习，并预测当前时刻的用电量数据：
Figure BDA0002559762850000091
Figure BDA0002559762850000092
其中
Figure BDA0002559762850000093
定义为t时刻N个用户的真实用电量值，N是用户的数量，
Figure BDA0002559762850000094
定义为t时刻N个用户的预测值，W代表了网络中待求解参数。
D2.卷积神经网络反向传播过程中，定义时刻t损失函数的计算方式：
Figure BDA0002559762850000095
其中
Figure BDA0002559762850000101
表示终端j在时刻t的真实值，/>
Figure BDA0002559762850000102
表示终端j在时刻t的预测值
D3.定义T时刻整体损失函数计算方式：
Figure BDA0002559762850000103
其中第一项是任务相关损失函数，第二项是正则化项。该模型的训练求解方法和其他的CNNs模型相同。
子步骤A3，获取预设时刻的实际电力数据；
子步骤A4，确定所述预测电力数据与所述实际电力数据之差的绝对值为所述多个训练数据的残差项；
子步骤A5，生成目标多尺度卷积神经网络模型。
在本发明的一个示例中，在获取到预设时刻的预测电力数据之后，采集预设时刻的实际电力数据并与预测电力数据相减，取其差的绝对值作为多个训练数据的残差项，至此多尺度卷积神经网络模型的训练过程完成，生成目标多尺度卷积升级网络模型。
在具体实现中，多个训练数据的残差项可以下列公式进行表示：
Figure BDA0002559762850000104
其中，
Figure BDA0002559762850000105
为终端j在时刻t所对应的残差项。
步骤205，采用所述多个训练数据的残差项训练自组织映射网络模型，得到目标自组织映射网络模型；
可选地，所述步骤205可以包括以下子步骤B1-B5：
子步骤B1，输入所述多个训练数据的残差项到所述自组织映射网络模型；
子步骤B2，通过所述自组织映射网络模型将所述多个训练数据的残差项划分为多个聚类簇；
子步骤B3，遍历多个所述聚类簇；
子步骤B4，若所述聚类簇仅包括一个残差项，则确定所述残差项对应的训练数据为异常训练数据；
子步骤B5，生成目标自组织映射网络模型。
在本发明实施例中，得到多个训练数据的残差项之后，将多个训练数据的残差项输入到自组织映射网络模型，通过自组织映射网络模型将多个训练数据的残差项划分为多个聚类簇，其中多个聚类簇可能包括有离散点(即聚类簇仅包括一个残差项)，则可以确定该离散点对应的训练数据为异常训练数据。至此完成对自组织映射网络模型得到训练过程，生成目标自组织映射网络模型，以供后续对当前电力数据进行异常数据检测过程。
步骤206，接收所述预置终端发送的当前电力数据，并将所述当前电力数据输入所述目标多尺度卷积神经网络模型，生成当前电力数据的残差项；
步骤207，输入所述当前电力数据的残差项到所述目标自组织映射网络模型，确定所述当前电力数据是否异常。
在本发明实施例中，步骤206与步骤207的过程与上述步骤105与步骤106的过程类似，在此不再赘述。
进一步地，所述训练数据包括第一数量的实际异常数据和第二数量的实际正常数据，在步骤206之前，所述方法还可以包括以下步骤S1-S5：
步骤S1，确定所述异常训练数据的第三数量；
步骤S2，采用所述第一数量和所述第三数量，计算异常数据检测率；
在本发明的另一示例中，由于训练数据可以根据预设异常率赋值所得到的。因此，其中包括了第一数量的实际异常数据和第二数量的实际正常数据，而为了验证所训练的多尺度卷积神经网络模型与自组织映射网络模型是否可靠有效，可以确定异常训练数据的第三数量(即预测值)，采用实际异常数据的第一数量和异常训练数据的第三数量，可以通过以下公式计算异常数据的检测率，进而判断是否能够检测到所有的异常数据：
Figure BDA0002559762850000111
步骤S3，比对所述实际正常数据和所述异常训练数据，确定误报数据的第四数量；
步骤S4，采用所述第二数量和所述第四数量，计算异常数据误报率；
进一步地，为准确评价所训练的多尺度卷积神经网络模型与自组织映射网络模型是否可靠有效，还需要计算异常数据的误报率，可以通过比对所述实际正常数据和所述异常训练数据，进而确定误报数据的第四数量；采用实际正常数据的第二数量与误报数据的第四数量，进而计算出异常数据误报率：
Figure BDA0002559762850000121
步骤S5，若所述异常数据检测率大于第一预设阈值且所述异常数据误报率小于第二预设阈值，则确定所述目标多尺度卷积神经网络模型和所述目标自组织映射网络模型的置信度达到预设标准。
在本发明可选实施例中，若所述异常数据检测率大于第一预设阈值且所述异常数据误报率小于第二预设阈值，则可以确定所述目标多尺度卷积神经网络模型和所述目标自组织映射网络模型的置信度达到预设标准。
其中，所述第一预设阈值和所述第二预设阈值可以由技术人员根据实际需要自行设置，本发明实施例对此不作限制。
在本发明实施例中，通过接收预置终端的多个历史电力数据，对其执行数据归一化以及异常值赋值，生成训练数据后输入到多尺度卷积神经网络模型进行模型训练过程，确定多个训练数据的残差项并得到目标多尺度卷积神经网络模型；采用上述残差项训练自组织映射网络模型，以得到目标自组织映射网络模型；再接收预置终端发送的当前电力数据，将当前电力数据输入到目标多尺度神经网络模型生成当前电力数据的残差项，将当前电力数据的残差项输入到目标自组织映射网络模型后，确定当前电力数据是否异常。从而解决现有技术中由于计算量较大导致检测灵敏度较低、检测效率较低的技术问题，提高检测灵敏度与检测效率。还可以通过计算模型的异常数据检测率和异常数据误报率，进而判断所训练的模型的置信度是否达标，若不达标则可以重新训练，能够验证模型的有效性和可靠性，进而降低数据异常检测的误报率。
参见图3，示出了本发明另一可选实施例的一种电力数据异常检测方法的实际流程图。
在本发明实施例中，可以接收预置终端发送的历史电力数据，经过属于预处理操作后，生成多个数据组别的时间序列数据，例如1-9。从中提取1、3、5、8和9组的时间序列数据输入到多尺度卷积神经网络模型中，生成预测值后与真实值作差，确定残差项并输入到自组织映射网络模型中，经自组织映射网络模型执行数据分类后，若是出现并不属于任何分类簇的数据，则判定为异常数据；若是没有则确定当前数据并无异常。
参见图4，图4提供了本发明实施例的一种电力数据异常检测装置的结构框图，所述装置包括
历史电力数据接收模块401，用于接收预置终端发送的多个历史电力数据；
数据预处理模块402，用于对多个所述历史电力数据执行数据预处理操作，生成与多个所述历史电力数据一一对应的多个训练数据；
神经网络模型训练模块403，用于采用所述多个训练数据训练多尺度卷积神经网络模型，确定所述多个训练数据的残差项，得到目标多尺度卷积神经网络模型；
自组织映射网络模型训练模块404，用于采用所述多个训练数据的残差项训练自组织映射网络模型，得到目标自组织映射网络模型；
当前电力数据处理模块405，用于接收所述预置终端发送的当前电力数据，并将所述当前电力数据输入所述目标多尺度卷积神经网络模型，生成当前电力数据的残差项；
电力数据异常判断模块406，用于输入所述当前电力数据的残差项到所述目标自组织映射网络模型，确定所述当前电力数据是否异常。
可选地，所述数据预处理模块402包括：
数据归一化子模块，用于对多个所述历史电力数据执行数据归一化，生成多个归一化电力数据；
赋值子模块，用于按照预设异常率对多个所述归一化电力数据进行赋值，生成与多个所述历史电力数据一一对应的多个训练数据。
可选地，所述多尺度卷积神经网络模型包括多尺度滤波器，所述神经网络模型训练模块403包括：
训练数据提取子模块，用于采用多尺度滤波器从所述多个训练数据中提取多个不同时序的训练数据；
预测电力数据确定子模块，用于基于所述多个不同时序的训练数据，确定预设时刻的预测电力数据；
实际电力数据获取子模块，用于获取预设时刻的实际电力数据；
残差项确定子模块，用于确定所述预测电力数据与所述实际电力数据之差的绝对值为所述多个训练数据的残差项；
目标神经网络模块生成子模块，用于生成目标多尺度卷积神经网络模型。
可选地，所述自组织映射网络模型训练模块404包括：
残差项输入子模块，用于输入所述多个训练数据的残差项到所述自组织映射网络模型；
聚类簇划分子模块，用于通过所述自组织映射网络模型将所述多个训练数据的残差项划分为多个聚类簇；
聚类簇遍历子模块，用于遍历多个所述聚类簇；
异常训练数据确定子模块，用于若所述聚类簇仅包括一个残差项，则确定所述残差项对应的训练数据为异常训练数据；
目标自组织映射网络模型生成子模块，用于生成目标自组织映射网络模型。
可选地，所述训练数据包括第一数量的实际异常数据和第二数量的实际正常数据，所述装置还包括：
第三数量确定模块，用于确定所述异常训练数据的第三数量；
异常数据检测率计算模块，用于采用所述第一数量和所述第三数量，计算异常数据检测率；
第四数量确定模块，用于比对所述实际正常数据和所述异常训练数据，确定误报数据的第四数量；
异常数据误报率计算模块，用于采用所述第二数量和所述第四数量，计算异常数据误报率；
置信度判断模块，用于若所述异常数据检测率大于第一预设阈值且所述异常数据误报率小于第二预设阈值，则确定所述目标多尺度卷积神经网络模型和所述目标自组织映射网络模型的置信度达到预设标准。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种电力数据异常检测方法，其特征在于，包括：
接收预置终端发送的多个历史电力数据；
对多个所述历史电力数据执行数据预处理操作，生成与多个所述历史电力数据一一对应的多个训练数据；
采用所述多个训练数据训练多尺度卷积神经网络模型，确定所述多个训练数据的残差项，得到目标多尺度卷积神经网络模型；
采用所述多个训练数据的残差项训练自组织映射网络模型，得到目标自组织映射网络模型；
接收所述预置终端发送的当前电力数据，并将所述当前电力数据输入所述目标多尺度卷积神经网络模型，生成当前电力数据的残差项；
输入所述当前电力数据的残差项到所述目标自组织映射网络模型，确定所述当前电力数据是否异常；
所述采用所述多个训练数据的残差项训练自组织映射网络模型，得到目标自组织映射网络模型的步骤，包括：
输入所述多个训练数据的残差项到所述自组织映射网络模型；
通过所述自组织映射网络模型将所述多个训练数据的残差项划分为多个聚类簇；
遍历多个所述聚类簇；
若所述聚类簇仅包括一个残差项，则确定所述残差项对应的训练数据为异常训练数据；
生成目标自组织映射网络模型。
2.根据权利要求1所述的方法，其特征在于，所述对多个所述历史电力数据执行数据预处理操作，生成与多个所述历史电力数据一一对应的多个训练数据的步骤，包括：
对多个所述历史电力数据执行数据归一化，生成多个归一化电力数据；
按照预设异常率对多个所述归一化电力数据进行赋值，生成与多个所述历史电力数据一一对应的多个训练数据。
3.根据权利要求1所述的方法，其特征在于，所述多尺度卷积神经网络模型包括多尺度滤波器，所述采用所述多个训练数据训练多尺度卷积神经网络模型，确定所述多个训练数据的残差项，得到目标多尺度卷积神经网络模型的步骤，包括：
采用多尺度滤波器从所述多个训练数据中提取多个不同时序的训练数据；
基于所述多个不同时序的训练数据，确定预设时刻的预测电力数据；
获取预设时刻的实际电力数据；
确定所述预测电力数据与所述实际电力数据之差的绝对值为所述多个训练数据的残差项；
生成目标多尺度卷积神经网络模型。
4.根据权利要求1所述的方法，其特征在于，所述训练数据包括第一数量的实际异常数据和第二数量的实际正常数据，在所述接收所述预置终端发送的当前电力数据，并将所述当前电力数据输入所述目标多尺度卷积神经网络模型，生成当前电力数据的残差项的步骤之前，所述方法还包括：
确定所述异常训练数据的第三数量；
采用所述第一数量和所述第三数量，计算异常数据检测率；
比对所述实际正常数据和所述异常训练数据，确定误报数据的第四数量；
采用所述第二数量和所述第四数量，计算异常数据误报率；
若所述异常数据检测率大于第一预设阈值且所述异常数据误报率小于第二预设阈值，则确定所述目标多尺度卷积神经网络模型和所述目标自组织映射网络模型的置信度达到预设标准。
5.一种电力数据异常检测装置，其特征在于，包括
历史电力数据接收模块，用于接收预置终端发送的多个历史电力数据；
数据预处理模块，用于对多个所述历史电力数据执行数据预处理操作，生成与多个所述历史电力数据一一对应的多个训练数据；
神经网络模型训练模块，用于采用所述多个训练数据训练多尺度卷积神经网络模型，确定所述多个训练数据的残差项，得到目标多尺度卷积神经网络模型；
自组织映射网络模型训练模块，用于采用所述多个训练数据的残差项训练自组织映射网络模型，得到目标自组织映射网络模型；
当前电力数据处理模块，用于接收所述预置终端发送的当前电力数据，并将所述当前电力数据输入所述目标多尺度卷积神经网络模型，生成当前电力数据的残差项；
电力数据异常判断模块，用于输入所述当前电力数据的残差项到所述目标自组织映射网络模型，确定所述当前电力数据是否异常；
所述自组织映射网络模型训练模块包括：
残差项输入子模块，用于输入所述多个训练数据的残差项到所述自组织映射网络模型；
聚类簇划分子模块，用于通过所述自组织映射网络模型将所述多个训练数据的残差项划分为多个聚类簇；
聚类簇遍历子模块，用于遍历多个所述聚类簇；
异常训练数据确定子模块，用于若所述聚类簇仅包括一个残差项，则确定所述残差项对应的训练数据为异常训练数据；
目标自组织映射网络模型生成子模块，用于生成目标自组织映射网络模型。
6.根据权利要求5所述的装置，其特征在于，所述数据预处理模块包括：
数据归一化子模块，用于对多个所述历史电力数据执行数据归一化，生成多个归一化电力数据；
赋值子模块，用于按照预设异常率对多个所述归一化电力数据进行赋值，生成与多个所述历史电力数据一一对应的多个训练数据。
7.根据权利要求5所述的装置，其特征在于，所述多尺度卷积神经网络模型包括多尺度滤波器，所述神经网络模型训练模块包括：
训练数据提取子模块，用于采用多尺度滤波器从所述多个训练数据中提取多个不同时序的训练数据；
预测电力数据确定子模块，用于基于所述多个不同时序的训练数据，确定预设时刻的预测电力数据；
实际电力数据获取子模块，用于获取预设时刻的实际电力数据；
残差项确定子模块，用于确定所述预测电力数据与所述实际电力数据之差的绝对值为所述多个训练数据的残差项；
目标神经网络模块生成子模块，用于生成目标多尺度卷积神经网络模型。
8.根据权利要求5所述的装置，其特征在于，所述训练数据包括第一数量的实际异常数据和第二数量的实际正常数据，所述装置还包括：
第三数量确定模块，用于确定所述异常训练数据的第三数量；
异常数据检测率计算模块，用于采用所述第一数量和所述第三数量，计算异常数据检测率；
第四数量确定模块，用于比对所述实际正常数据和所述异常训练数据，确定误报数据的第四数量；
异常数据误报率计算模块，用于采用所述第二数量和所述第四数量，计算异常数据误报率；
置信度判断模块，用于若所述异常数据检测率大于第一预设阈值且所述异常数据误报率小于第二预设阈值，则确定所述目标多尺度卷积神经网络模型和所述目标自组织映射网络模型的置信度达到预设标准。
CN202010603005.9A 2020-06-29 2020-06-29 一种电力数据异常检测方法和装置 Active CN111738348B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010603005.9A CN111738348B (zh) 2020-06-29 2020-06-29 一种电力数据异常检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010603005.9A CN111738348B (zh) 2020-06-29 2020-06-29 一种电力数据异常检测方法和装置

Publications (2)

Publication Number Publication Date
CN111738348A CN111738348A (zh) 2020-10-02
CN111738348B true CN111738348B (zh) 2023-07-11

Family

ID=72651613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010603005.9A Active CN111738348B (zh) 2020-06-29 2020-06-29 一种电力数据异常检测方法和装置

Country Status (1)

Country Link
CN (1) CN111738348B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112444742B (zh) * 2020-11-09 2022-05-06 国网山东省电力公司信息通信公司 一种继电保护通道监视预警系统
CN112560940A (zh) * 2020-12-14 2021-03-26 广东电网有限责任公司广州供电局 一种用电异常检测方法、装置、设备和存储介质
CN116433050B (zh) * 2023-04-26 2023-10-24 同心县京南惠方农林科技有限公司 应用于农业大数据管理系统的异常报警方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10911318B2 (en) * 2015-03-24 2021-02-02 Futurewei Technologies, Inc. Future network condition predictor for network time series data utilizing a hidden Markov model for non-anomalous data and a gaussian mixture model for anomalous data
US11392825B2 (en) * 2017-01-09 2022-07-19 Samsung Electronics Co., Ltd. Method and algorithm of recursive deep learning quantization for weight bit reduction
US11164082B2 (en) * 2017-02-28 2021-11-02 Anixa Diagnostics Corporation Methods for using artificial neural network analysis on flow cytometry data for cancer diagnosis
US11934934B2 (en) * 2017-04-17 2024-03-19 Intel Corporation Convolutional neural network optimization mechanism
US10599978B2 (en) * 2017-11-03 2020-03-24 International Business Machines Corporation Weighted cascading convolutional neural networks
CN107977710B (zh) * 2017-12-21 2020-12-25 南方电网科学研究院有限责任公司 用电异常数据检测方法和装置
KR102179203B1 (ko) * 2018-07-09 2020-11-16 주식회사 필로시스 혈당 센싱 데이터 판별 방법 및 장치
CN108596163A (zh) * 2018-07-10 2018-09-28 中国矿业大学(北京) 一种基于cnn和vlad的煤岩识别方法
CN111178491A (zh) * 2018-11-09 2020-05-19 佳能株式会社 神经网络模型的训练和应用方法、装置、系统及存储介质
CN109543901A (zh) * 2018-11-20 2019-03-29 国网辽宁省电力有限公司经济技术研究院 基于信息融合卷积神经网络模型的短期电力负荷预测方法
CN109480825B (zh) * 2018-12-13 2021-08-06 武汉中旗生物医疗电子有限公司 心电数据的处理方法及装置
CN110991700A (zh) * 2019-11-08 2020-04-10 北京博望华科科技有限公司 基于深度学习改进的天气与用电相关性预测方法及装置

Also Published As

Publication number Publication date
CN111738348A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111738348B (zh) 一种电力数据异常检测方法和装置
CN109308522B (zh) 一种基于循环神经网络的gis故障预测方法
CN112699913B (zh) 一种台区户变关系异常诊断方法及装置
CN105488539B (zh) 分类模型的生成方法及装置、系统容量的预估方法及装置
CN111796957B (zh) 基于应用日志的交易异常根因分析方法及系统
CN114386537B (zh) 基于CatBoost的锂电池故障诊断方法、装置及电子设备
CN109389325B (zh) 基于小波神经网络的变电站电子式互感器状态评估方法
CN110912737A (zh) 一种基于混合模型的动态感知性能预告警方法
CN111861023A (zh) 基于统计学的混合风电功率预测方法、装置
CN101738998A (zh) 一种基于局部判别分析的工业过程监测系统及方法
CN115795329B (zh) 一种基于大数据网格下的用电异常行为分析方法和装置
CN115617784A (zh) 一种信息化配电的数据处理系统及其处理方法
CN117156442A (zh) 基于5g网络的云数据安全保护方法及系统
CN116756505B (zh) 一种基于大数据的光伏设备智能管理系统及方法
CN113327008A (zh) 一种基于时序自动编码器的窃电检测方法、系统及介质
CN116714469A (zh) 充电桩健康监测方法、装置、终端及存储介质
CN112070180A (zh) 基于信息物理双侧数据的电网设备状态判断方法及装置
CN116956189A (zh) 一种电流异常检测系统、方法、电子设备及介质
CN117036732A (zh) 一种基于融合模型的机电设备检测系统、方法及设备
CN116680641A (zh) 一种基于机器学习算法的用户用电异常检测方法
CN116400168A (zh) 一种基于深度特征聚类的电网故障诊断方法及系统
CN113269478B (zh) 一种基于多模型的集中器异常数据提醒方法及系统
CN116249186A (zh) 无线网设备的数据处理方法、装置、存储介质及电子设备
CN114936614A (zh) 一种基于神经网络的作业风险识别方法及系统
CN114003466A (zh) 一种用于微服务应用程序的故障根因定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant