CN116226720A - 基于多维数据交叉验证的高可靠负荷异常识别修补方法 - Google Patents

基于多维数据交叉验证的高可靠负荷异常识别修补方法 Download PDF

Info

Publication number
CN116226720A
CN116226720A CN202310239658.7A CN202310239658A CN116226720A CN 116226720 A CN116226720 A CN 116226720A CN 202310239658 A CN202310239658 A CN 202310239658A CN 116226720 A CN116226720 A CN 116226720A
Authority
CN
China
Prior art keywords
load
abnormal
data
electricity consumption
abnormal load
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310239658.7A
Other languages
English (en)
Inventor
杨军
庄文德
袁昊
王武
胡如乐
张伟
代庆
张育辉
曹旭
詹卫许
李晖
张乐平
郑楷洪
李胜
曾璐琨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Power Grid Digital Grid Research Institute Co Ltd
Original Assignee
Southern Power Grid Digital Grid Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Power Grid Digital Grid Research Institute Co Ltd filed Critical Southern Power Grid Digital Grid Research Institute Co Ltd
Priority to CN202310239658.7A priority Critical patent/CN116226720A/zh
Publication of CN116226720A publication Critical patent/CN116226720A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及基于多维数据交叉验证的高可靠负荷异常识别修补方法技术领域,且公开了基于多维数据交叉验证的高可靠负荷异常识别修补方法,包括以下步骤:S1、从预先存储的数据库中,根据监测区域居民年度用电量选取目标主表以及与目标主表相关的目标附表,进行数据类型分类后,生成以居民用电量为事实表的多维度数据表,S2、将多维数据表中集中的数据分为K个数量一致的样本集,取其中一个样本集作为验证集,通过在不同负荷下对各时刻负荷值的随机分布情况,基于中心极限定理和负荷值相对于聚类中心负荷偏差的四分位差,构建异常负荷数据域,对预测结果进行对比,剔除其中误表,提高多维度数据表中异常负荷数据的准确度。

Description

基于多维数据交叉验证的高可靠负荷异常识别修补方法
技术领域
本发明涉及基于多维数据交叉验证的高可靠负荷异常识别修补方法技术领域,具体为基于多维数据交叉验证的高可靠负荷异常识别修补方法。
背景技术
随着社会经济的发展,电力的需求量不断扩大,供电的非技术损失也成为供电领域日益热门的话题,而居民用电作为其中最关键的一部分,对地区居民用电进行记录和分析,然后分析其中异常负荷数据,便于后续供电与电力设施架设,电力负荷数据还会由于多种随机干扰因素的影响,如计量故障,使数据存在一定的异常干扰值,异常数据发生的随机性和分布的复杂性使数据处理和挖掘变得更加困难,目前,海量电量数据的采集和对数据的实时监控日渐完善,但是如何从海量数据中提取出有用信息,特别是挖掘出异常用电信息成为一大难题,所以我们提出了基于多维数据交叉验证的高可靠负荷异常识别修补方法。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了基于多维数据交叉验证的高可靠负荷异常识别修补方法,具备保证了操作快捷,数据准确率高等优点,解决了上述背景技术中提到的问题。
(二)技术方案
为实现上述背景技术中提到的目的,本发明提供如下技术方案:基于多维数据交叉验证的高可靠负荷异常识别修补方法,包括以下步骤:
S1、从预先存储的数据库中,根据监测区域居民年度用电量选取目标主表以及与目标主表相关的目标附表,进行数据类型分类后,生成以居民用电量为事实表的多维度数据表;
S2、将多维数据表中集中的数据分为K个数量一致的样本集,取其中一个样本集作为验证集,其余样本集作为训练集,通过分类模型进行K轮交叉验证,获得K组验证集全部数据的预测结果;
S3、选取步骤S1中的多数据维度中的负荷异常数据,与步骤S2中获取的预测结果进行对比;
S4、在不同的负荷水平下,针对各时刻负荷值的随机分布情况,基于中心极限定理和负荷值相对于聚类中心负荷偏差的四分位差,构建异常负荷数据域;
S5、利用步骤S4中所构建的负荷异常数据域,对正常负荷时段中可能存在的异常负荷值进行识别;
S6、结合步骤S4中所形成的异常负荷数据域,利用异常负荷数据域最大上限和最小下限构建用于识别异常负荷时段中负异常负荷值的异常负荷数据域,对异常负荷时段进行负荷异常值识别。
优选的,所述步骤S1中:目标主表为近一年每月的月度平均用电量趋势,及和去年的同期月度电量进行对比分析表,目标附表为负荷异常月份标注表;负荷异常居民本月及上月的电量、去年本月的电量进行对比分析表;负荷异常居民投诉月份,每天的用电量变化及气温变化的相关性分析表;同小区居民负荷异常月份内,日电量变化及趋势分析表,对监测区域内居民年度平均负荷以及异常负荷进行横向对比,分析异常负荷发生频率,再针对月平均负荷和每日的气温变化进行对比,分析环境因素,在同一小区进行异常负荷月份中,日用电量的对比,避免非正常数据记录。
优选的,所述步骤S2中,获取K组验证集全部数据的预测结果的方式是:将K个数量一致的样本集随机分为验证集和训练集,取其中一个样本集作为验证集,其余样本集作为训练集,得到K组不同的训练组合,其中,K为正整数;计算每个训练组合中所述训练集中的阴性样本和阳性样本的比例,根据所述比例选取对应的分类模型;交叉利用每个训练组合中的训练集对所选取的分类模型进行训练;利用每轮训练后的分类模型对当前轮次的验证集进行预测,并记录预测结果,得到K组验证集全部数据的预测结果,所述预测结果为模拟异常负荷数据,通过对多维度数据的交叉验证,进而对误标数据进行检测,大量节省了标注审核的资源,并且避免了大多数数据的重复标注。
优选的,所述步骤S3中:负荷异常数据为多维度数据表中监测区域居民用电异常月份、居民用电异常时长、居民用电异常用电量,进行精准标识,便于设置上下区间。
优选的,所述步骤S4中:构建的异常负荷数据域方式为:对于第k个子数据集,在t时刻,基于置信度1-α下负荷期望值的置信区间,及负荷值相对于聚类中心负荷偏差的四分位差形成异常数据域,置信度区间由步骤S2中的预测结果正态分布区间划分,设置正态分布的异常负荷数据域,可以直观对比多维度数据表中的异常负荷数据进行对比。
优选的,所述步骤S5中,正常负荷时段以天为划分单位,记录同一天监测区域中正常负荷居民用电量,并且以同一小区为单位进行对比,与步骤S2中的预测结果进行对比,用来进行负荷异常值识别,在对同一小区不同居民的正常负荷进行对比,然后选择与其他时段的正常负荷进行对比,剔除其中不符合异常数据域的数据,避免个例导致标准误差过大。
优选的,所述步骤S6中:异常用电时段以小时为划分单位,记录同一天监测区域中异常用电居民用电量,并且以同一小区为单位进行对比,然后与上次用电异常时段的用电量进行对比,最后与步骤S2中的预测结果进行对比,用来进行负荷异常值识别,且进行二次标注生成异常负荷数据表,对多维度数据表中的异常负荷数据进行更新,剔除其中不符合异常负荷数据域的数据,减少非正常数据对异常负荷数据表的误导。
优选的,所述异常负荷数据表以小区单位,小时为时刻,记录不同小区居民异常负荷时的用电量,针对小区进行异常负荷统计,便于后期电力维护以及电力设备安装时,电力负荷判断的可靠性。
与现有技术相比,本发明提供了基于多维数据交叉验证的高可靠负荷异常识别修补方法,具备以下有益效果:
1、通过对监测区域近一年每月的月度平均负荷趋势,及和去年的同期月度负荷进行对比分析表,负荷异常月份标注表,负荷异常居民本月及上月的电量、去年本月的电量进行对比分析表,负荷异常居民投诉月份,每天的用电量变化及气温变化的相关性分析表,同小区居民负荷异常月份内,日电量变化及趋势分析表进行多维数据整合,在将整合好的多维数据表格进行交叉验证得到预测结果,提高多维度数据表中异常负荷数据的准确度;
2、通过在不同负荷下对各时刻负荷值的随机分布情况,基于中心极限定理和负荷值相对于聚类中心负荷偏差的四分位差,构建异常负荷数据域,对预测结果进行对比,剔除其中误表,提高多维度数据表中异常负荷数据的准确度;
3、将剔除误表数据的异常负荷数据整合成异常负荷数据表,其中针对小区进行异常负荷统计,便于后期电力维护以及电力设备安装时,电力负荷判断的可靠性。
具体实施方式
基于多维数据交叉验证的高可靠负荷异常识别修补方法,包括以下步骤:
S1、从预先存储的数据库中,根据监测区域居民年度用电量选取目标主表以及与目标主表相关的目标附表,进行数据类型分类后,生成以居民用电量为事实表的多维度数据表,目标主表为近一年每月的月度平均负荷趋势,及和去年的同期月度负荷进行对比分析表目标附表为负荷异常月份标注表;负荷异常居民本月及上月的电量、去年本月的电量进行对比分析表;负荷异常居民投诉月份,每天的用电量变化及气温变化的相关性分析表;同小区居民负荷异常月份内,日电量变化及趋势分析表,对监测区域内居民年度平均负荷以及异常负荷进行横向对比,分析异常负荷发生频率,再针对月平均负荷和每日的气温变化进行对比,分析环境因素,在同一小区进行异常负荷月份中,日用电量的对比,避免非正常数据记录;
S2、将多维数据表中集中的数据分为K个数量一致的样本集,取其中一个样本集作为验证集,其余样本集作为训练集,通过分类模型进行K轮交叉验证,获得K组验证集全部数据的预测结果,获取K组验证集全部数据的预测结果的方式是:将K个数量一致的样本集随机分为验证集和训练集,取其中一个样本集作为验证集,其余样本集作为训练集,得到K组不同的训练组合,其中,K为正整数;计算每个训练组合中所述训练集中的阴性样本和阳性样本的比例,根据所述比例选取对应的分类模型;交叉利用每个训练组合中的训练集对所选取的分类模型进行训练;利用每轮训练后的分类模型对当前轮次的验证集进行预测,并记录预测结果,得到K组验证集全部数据的预测结果,所述预测结果为模拟异常负荷数据,通过对多维度数据的交叉验证,进而对误标数据进行检测,大量节省了标注审核的资源,并且避免了大多数数据的重复标注;
S3、选取步骤S1中的多数据维度中的负荷异常数据,与步骤S2中获取的预测结果进行对比,负荷异常数据为多维度数据表中监测区域居民用电异常月份、居民用电异常时长、居民用电异常用电量,进行精准标识,便于设置上下区间;
S4、在不同的负荷水平下,针对各时刻负荷值的随机分布情况,基于中心极限定理和负荷值相对于聚类中心负荷偏差的四分位差,构建异常负荷数据域,构建的异常负荷数据域方式为:对于第k个子数据集,在t时刻,基于置信度1-α下负荷期望值的置信区间,及负荷值相对于聚类中心负荷偏差的四分位差形成异常数据域,置信度区间由步骤S2中的预测结果正态分布区间划分,设置正态分布的异常负荷数据域,可以直观对比多维度数据表中的异常负荷数据进行对比;
S5、利用步骤S4中所构建的负荷异常数据域,对正常负荷时段中可能存在的异常负荷值进行识别,正常负荷时段以天为划分单位,记录同一天监测区域中正常负荷居民用电量,并且以同一小区为单位进行对比,与步骤S2中的预测结果进行对比,用来进行负荷异常值识别,在对同一小区不同居民的正常负荷进行对比,然后选择与其他时段的正常负荷进行对比,剔除其中不符合异常数据域的数据,避免个例导致标准误差过大;
S6、结合步骤S4中所形成的异常负荷数据域,利用异常负荷数据域最大上限和最小下限构建用于识别异常负荷时段中负异常负荷值的异常负荷数据域,对异常负荷时段进行负荷异常值识别,异常用电时段以小时为划分单位,记录同一天监测区域中异常用电居民用电量,并且以同一小区为单位进行对比,然后与上次用电异常时段的用电量进行对比,最后与步骤S2中的预测结果进行对比,用来进行负荷异常值识别,且进行二次标注生成异常负荷数据表,对多维度数据表中的异常负荷数据进行更新,剔除其中不符合异常负荷数据域的数据,减少非正常数据对异常负荷数据表的误导,异常负荷数据表以小区单位,小时为时刻,记录不同小区居民异常负荷时的用电量,针对小区进行异常负荷统计,便于后期电力维护以及电力设备安装时,电力负荷判断的可靠性。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (8)

1.基于多维数据交叉验证的高可靠负荷异常识别修补方法,其特征在于,包括以下步骤:
S1、从预先存储的数据库中,根据监测区域居民年度用电量选取目标主表以及与目标主表相关的目标附表,进行数据类型分类后,生成以居民用电量为事实表的多维度数据表;
S2、将多维数据表中集中的数据分为K个数量一致的样本集,取其中一个样本集作为验证集,其余样本集作为训练集,通过分类模型进行K轮交叉验证,获得K组验证集全部数据的预测结果;
S3、选取步骤S1中的多数据维度中的负荷异常数据,与步骤S2中获取的预测结果进行对比;
S4、在不同的负荷水平下,针对各时刻负荷值的随机分布情况,基于中心极限定理和负荷值相对于聚类中心负荷偏差的四分位差,构建异常负荷数据域;
S5、利用步骤S4中所构建的负荷异常数据域,对正常负荷时段中可能存在的异常负荷值进行识别;
S6、结合步骤S4中所形成的异常负荷数据域,利用异常负荷数据域最大上限和最小下限构建用于识别异常负荷时段中负异常负荷值的异常负荷数据域,对异常负荷时段进行负荷异常值识别。
2.根据权利要求1所述的基于多维数据交叉验证的高可靠负荷异常识别修补方法,其特征在于,所述步骤S1中:目标主表为近一年每月的月度平均负荷趋势,及和去年的同期月度负荷进行对比分析表目标附表为负荷异常月份标注表;负荷异常居民本月及上月的电量、去年本月的电量进行对比分析表;负荷异常居民投诉月份,每天的用电量变化及气温变化的相关性分析表;同小区居民负荷异常月份内,日电量变化及趋势分析表。
3.根据权利要求2所述的基于多维数据交叉验证的高可靠负荷异常识别修补方法,其特征在于,所述步骤S2中,获取K组验证集全部数据的预测结果的方式是:将K个数量一致的样本集随机分为验证集和训练集,取其中一个样本集作为验证集,其余样本集作为训练集,得到K组不同的训练组合,其中,K为正整数;计算每个训练组合中所述训练集中的阴性样本和阳性样本的比例,根据所述比例选取对应的分类模型;交叉利用每个训练组合中的训练集对所选取的分类模型进行训练;利用每轮训练后的分类模型对当前轮次的验证集进行预测,并记录预测结果,得到K组验证集全部数据的预测结果,所述预测结果为模拟异常负荷数据。
4.根据权利要求1所述的基于多维数据交叉验证的高可靠负荷异常识别修补方法,其特征在于,所述步骤S3中:负荷异常数据为多维度数据表中监测区域居民用电异常月份、居民用电异常时长、居民用电异常用电量。
5.根据权利要求1所述的基于多维数据交叉验证的高可靠负荷异常识别修补方法,其特征在于,所述步骤S4中:构建的异常负荷数据域方式为:对于第k个子数据集,在t时刻,基于置信度1-α下负荷期望值的置信区间,及负荷值相对于聚类中心负荷偏差的四分位差形成异常数据域,置信度区间由步骤S2中的预测结果正态分布区间划分。
6.根据权利要求1所述的基于多维数据交叉验证的高可靠负荷异常识别修补方法,其特征在于,所述步骤S5中,正常负荷时段以天为划分单位,记录同一天监测区域中正常负荷居民用电量,并且以同一小区为单位进行对比,与步骤S2中的预测结果进行对比,用来进行负荷异常值识别。
7.根据权利要求1所述的基于多维数据交叉验证的高可靠负荷异常识别修补方法,其特征在于,所述步骤S6中:异常用电时段以小时为划分单位,记录同一天监测区域中异常用电居民用电量,并且以同一小区为单位进行对比,然后与上次用电异常时段的用电量进行对比,最后与步骤S2中的预测结果进行对比,用来进行负荷异常值识别,且进行二次标注生成异常负荷数据表。
8.根据权利要求7所述的基于多维数据交叉验证的高可靠负荷异常识别修补方法,其特征在于,所述异常负荷数据表以小区单位,小时为时刻,记录不同小区居民异常负荷时的用电量。
CN202310239658.7A 2023-03-14 2023-03-14 基于多维数据交叉验证的高可靠负荷异常识别修补方法 Pending CN116226720A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310239658.7A CN116226720A (zh) 2023-03-14 2023-03-14 基于多维数据交叉验证的高可靠负荷异常识别修补方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310239658.7A CN116226720A (zh) 2023-03-14 2023-03-14 基于多维数据交叉验证的高可靠负荷异常识别修补方法

Publications (1)

Publication Number Publication Date
CN116226720A true CN116226720A (zh) 2023-06-06

Family

ID=86574944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310239658.7A Pending CN116226720A (zh) 2023-03-14 2023-03-14 基于多维数据交叉验证的高可靠负荷异常识别修补方法

Country Status (1)

Country Link
CN (1) CN116226720A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628529A (zh) * 2023-07-21 2023-08-22 山东科华电力技术有限公司 一种用于用户侧智能负荷控制系统的数据异常检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628529A (zh) * 2023-07-21 2023-08-22 山东科华电力技术有限公司 一种用于用户侧智能负荷控制系统的数据异常检测方法
CN116628529B (zh) * 2023-07-21 2023-10-20 山东科华电力技术有限公司 一种用于用户侧智能负荷控制系统的数据异常检测方法

Similar Documents

Publication Publication Date Title
CN112699913B (zh) 一种台区户变关系异常诊断方法及装置
CN105677791B (zh) 用于分析风力发电机组的运行数据的方法和系统
CN111506618B (zh) 一种结合lightgbm-stacking算法的异常用电行为分析方法
CN113221931B (zh) 一种基于用电信息采集大数据分析的反窃电智能识别方法
CN106570790B (zh) 一种计及风速数据分段特性的风电场出力数据修复方法
CN116226720A (zh) 基于多维数据交叉验证的高可靠负荷异常识别修补方法
CN113570200B (zh) 一种基于多维信息的电网运行状态监测方法及系统
CN116466241B (zh) 一种单体电池热失控定位方法
CN110968703B (zh) 基于lstm端到端抽取算法的异常计量点知识库构建方法及系统
CN117035513A (zh) 一种智慧工业园区能源运行智能监测管理系统及方法
CN106408125A (zh) 一种智能低压集抄复核管控系统
CN106327359A (zh) 一种基于用电模式分析的集抄数据异常判定方法
CN112258337A (zh) 一种自我补全修正的基站能耗模型预测方法
CN117150418B (zh) 基于状态特征故障树的变压器运检周期制定方法和系统
CN115879915B (zh) 一种用于发电厂的跨平台标准化检修方法
CN104680010A (zh) 一种汽轮机组稳态运行数据筛选方法
CN116879672A (zh) 一种基于时间卷积网络的台区总表故障智能辨识方法
CN115733258A (zh) 一种基于物联网技术的全户内智能变电站系统的控制方法
CN112732773B (zh) 一种继电保护缺陷数据的唯一性校核方法及系统
CN114529072A (zh) 一种基于时间序列的区域电量预测方法
CN114529071A (zh) 一种台区用电量预测方法
CN111487488A (zh) 一种基于灰色关联分析的智能台区户变识别方法
CN104731955A (zh) 风电机组油液监测诊断标准建立及智能诊断方法及系统
CN113872200B (zh) 一种中压配网停电事件诊断识别方法、系统及存储介质
CN116662466B (zh) 通过大数据进行土地全生命周期维护系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination