CN117435870B - 一种负荷数据实时填充方法、系统、设备和介质 - Google Patents

一种负荷数据实时填充方法、系统、设备和介质 Download PDF

Info

Publication number
CN117435870B
CN117435870B CN202311769003.7A CN202311769003A CN117435870B CN 117435870 B CN117435870 B CN 117435870B CN 202311769003 A CN202311769003 A CN 202311769003A CN 117435870 B CN117435870 B CN 117435870B
Authority
CN
China
Prior art keywords
data
learning machine
extreme learning
load data
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311769003.7A
Other languages
English (en)
Other versions
CN117435870A (zh
Inventor
刘浩宇
张皓
卢静雅
程宝华
黄爱颖
何海航
何泽昊
马剑
张革
董兵
贾培刚
林怡彤
步汭恒
高嘉伟
李音璇
段笑晨
韩峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Tianjin Electric Power Co Ltd
Marketing Service Center of State Grid Tianjin Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Tianjin Electric Power Co Ltd
Marketing Service Center of State Grid Tianjin Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Tianjin Electric Power Co Ltd, Marketing Service Center of State Grid Tianjin Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202311769003.7A priority Critical patent/CN117435870B/zh
Publication of CN117435870A publication Critical patent/CN117435870A/zh
Application granted granted Critical
Publication of CN117435870B publication Critical patent/CN117435870B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种负荷数据实时填充方法、系统、设备和介质，所述方法包括以下步骤：采集用户每日的原始负荷数据；对所述原始负荷数据进行检测，得到预处理后负荷数据；构建深度极限学习机模型，基于所述预处理后负荷数据将预测输出值进行数据填充；基于数据填充结果和实时采集的实时负荷数据，实时更新深度极限学习机模型的权值。本发明可以获得用电信息采集系统的数据实时预测填充模型，进而实现系统数据校核、各类异常研判等提升至实时操作，有效支撑负荷管理等应用场景，助力能源转型和数字化转型。

Description

一种负荷数据实时填充方法、系统、设备和介质
技术领域
本发明属于数据处理技术领域，尤其涉及一种负荷数据实时填充方法、系统、设备和介质。
背景技术
数据质量是电力系统负荷预测建模的重要基础与预测性能的关键保证。在新型电力系统发展的背景下，向量测量单元、数据采集与监视控制系统、智能电表等测量装置，将会更加广泛地部署在智能电网的各个环节并不断完善。然而，由于采集的电能数据由于各种原因（天气突变、冷热交替、电磁干扰、时钟漂移）的畸变，使线损分析效率低下，电能质量监测不准。
电网数据采集监测分析系统实时汇集全网用电信息数据，使得数据驱动的电网数据问题分析与决策成为可能。但电网监测终端数量多、存储系统组成复杂、物理环境恶劣等原因都会造成采集的数据存在缺失、异常等数据问题，这些数据问题会导致错误的分析结果，影响电能质量治理决策效果。因此需要构建数据实时预测填充模块，支撑相关计算的快速实现，负荷事件设备评价等统计计算升级为实时计算。
发明内容
本发明的目的就在于为了解决上述问题而提供一种负荷数据实时填充方法、系统、设备和介质。
本发明通过以下技术方案来实现上述目的：
一种负荷数据实时填充方法，包括以下步骤：
采集用户每日的原始负荷数据；
对所述原始负荷数据进行检测，将异常值和缺失值填充空值作为待填充数据，得到含空值负荷数据集并进行预处理，得到预处理后负荷数据；
构建深度极限学习机模型，基于所述预处理后负荷数据，通过输入实时采集的实时负荷数据到所述深度极限学习机模型，将预测输出值进行数据填充；
基于数据填充结果和实时采集的实时负荷数据，实时更新深度极限学习机模型的权值。
作为本发明的进一步优化方案，采集用户每日的原始负荷数据的具体过程如下：
基于用电信息采集系统，采集用户的每日96点负荷数据，每15min采集一次负荷数据。
作为本发明的进一步优化方案，所述含空值负荷数据集包括有效负荷数据X和待填充数据Y；
；
；
其中，表示原始负荷数据集，/>表示/>天的/>组特征组成的训练集数据，其中/>为选取的数据点个数；/>表示待填充数据。
作为本发明的进一步优化方案，对所述含空值负荷数据集进行预处理，得到预处理后负荷数据的具体过程如下：
对所述含空值负荷数据集进行数据标准化处理，即采用z-score方法对所述原始负荷数据集进行变换，公式如下：
；
式中，是标准化处理后的结果，/>为输入的原始负荷数据，/>为原始负荷数据的平均值，/>是原始负荷数据的标准差。
作为本发明的进一步优化方案，构建深度极限学习机模型，基于所述预处理后负荷数据，通过输入实时采集的实时负荷数据到所述深度极限学习机模型，将预测输出值进行数据填充的具体过程如下：
根据重抽样技术从原始负荷数据集中抽取预设数量的样本；
根据抽出的样本计算出统计量h；
重复计算统计量h的操作D次，得到D个统计量h组成的第一数据集；
重复组成第一数据集的操作N次，得到N个第二数据集H：
；
根据N个所述第二数据集H，构建对应的N个深度极限学习机模型，所述深度极限学习机模型通过极限学习机-自编码器模型结构进行逐层训练：
；
；
式中：表示第/>个隐含层的输出矩阵，/>表示极限学习机-自编码器模型对第个隐含层与第/>个隐含层之间的权值矩阵，/>为隐含层的输出权值，/>为激活函数，/>为模型的平衡参数，/>为单位矩阵，/>为第/>个的数据集，K为隐含层的输出矩阵，K T是对K矩阵的转置变化；
根据每个所述深度极限学习机模型的损失函数值，选择小于损失函数均值的个深度极限学习机模型来构建预测输出值，其中，/><N，将所述预测输出值进行数据填充。
作为本发明的进一步优化方案，根据每个所述深度极限学习机模型的损失函数值，选择小于损失函数均值的个深度极限学习机模型来构建预测输出值的具体过程如下：
根据构建的N个深度极限学习机模型，计算每个深度极限学习机模型的损失函数值和所有的所述深度极限学习机模型的平均损失函数值，选择小于损失函数均值的个深度极限学习机模型来构建预测输出值，其中，/><N，公式如下：
；
式中，为预测输出值，/>为第/>个深度极限学习机模型的预测输出值。
作为本发明的进一步优化方案，基于数据填充结果和实时采集的实时负荷数据，实时更新所述深度极限学习机模型的权值的具体过程如下：
根据预设的权值迭代公式实时更新各个所述深度极限学习机模型的权值，得到改进深度极限学习机模型，所述权值迭代公式如下：
；
；
式中，为改进深度极限学习机模型填充数据后实时更新的权值，/>为改进深度极限学习机模型当前预测填充数据的权值，/>为深度极限学习机模型的学习率，/>为权值更新后的结果，/>为改进深度极限学习机模型参数，/>，即cos/>，/>为改进深度极限学习机模型的损失函数，所述损失函数由各个改进深度极限学习机模型的输出预测填充值和真实值确定；
根据基于改进深度极限学习机模型的输出结果填充数据和实时采集的实时负荷数据，实时更新各个改进深度极限学习机模型的权值，根据更新后的改进深度极限学习机模型继续基于实时采集的实时负荷数据将预测输出值进行数据填充。
一种负荷数据实时填充系统，包括：
数据采集模块，采集用户每日的原始负荷数据；
数据检测预处理模块，用于对所述原始负荷数据进行检测，将异常值和缺失值填充空值作为待填充数据，得到含空值负荷数据集并进行预处理，得到预处理后负荷数据；
数据预测填充模块，用于构建深度极限学习机模型，基于所述预处理后负荷数据，通过输入实时采集的实时负荷数据到所述深度极限学习机模型，将预测输出值进行数据填充；
模型权值实时更新模块，用于基于数据填充结果和实时采集的实时负荷数据，实时更新深度极限学习机模型的权值。
作为本发明的进一步优化方案，所述数据采集模块采集用户每日的原始负荷数据的具体过程如下：
基于用电信息采集系统，采集用户的每日96点负荷数据。
作为本发明的进一步优化方案，所述含空值负荷数据集包括有效负荷数据X和待填充数据Y：
；
；
其中，表示原始负荷数据集，/>表示/>天的/>组特征组成的训练集数据，其中/>为选取的数据点个数；/>表示待填充数据。
作为本发明的进一步优化方案，所述数据检测预处理模块对所述含空值负荷数据集进行预处理，得到预处理后负荷数据的具体过程如下：
对所述含空值负荷数据集进行数据标准化处理，即采用z-score方法对所述原始负荷数据集进行变换，公式如下：
；
式中，是标准化处理后的结果，/>为输入的原始负荷数据，/>为原始负荷数据的平均值，/>是原始负荷数据的标准差。
作为本发明的进一步优化方案，所述数据预测填充模块构建深度极限学习机模型，基于所述预处理后负荷数据，通过输入实时采集的实时负荷数据到所述深度极限学习机模型，将预测输出值进行数据填充的具体过程如下：
根据重抽样技术从原始负荷数据集中抽取预设数量的样本；
根据抽出的样本计算出统计量h；
重复计算统计量h的操作D次，得到D个统计量h组成的第一数据集；
重复组成第一数据集的操作N次，得到N个第二数据集H：
；
根据N个所述第二数据集H，构建对应的N个深度极限学习机模型，所述深度极限学习机模型通过极限学习机-自编码器模型结构进行逐层训练：
；
；
式中，表示第/>个隐含层的输出矩阵，/>表示极限学习机-自编码器模型对第个隐含层与第/>个隐含层之间的权值矩阵，/>为隐含层的输出权值，/>为激活函数，/>为模型的平衡参数，/>为单位矩阵，/>为第/>个的数据集，K为隐含层的输出矩阵，K T是对K矩阵的转置变化；
根据每个所述深度极限学习机模型的损失函数值，选择小于损失函数均值的个深度极限学习机模型来构建改进深度极限学习机模型的预测输出值，其中，/><N，将所述预测输出值进行数据填充。
作为本发明的进一步优化方案，根据每个所述深度极限学习机模型的损失函数值，选择小于损失函数均值的个深度极限学习机模型来构建预测输出值的具体过程如下：
根据构建的N个深度极限学习机模型，计算每个深度极限学习机模型的损失函数值和所有的所述深度极限学习机模型的平均损失函数值，选择小于损失函数均值的个深度极限学习机模型来构建预测输出值，其中，/><N，公式如下：
；
式中，为预测输出值，/>为第/>个深度极限学习机模型的预测输出值。
作为本发明的进一步优化方案，所述模型权值实时更新模块基于数据填充结果和实时采集的实时负荷数据，实时更新所述深度极限学习机模型的权值的具体过程如下：
根据预设的权值迭代公式实时更新各个所述深度极限学习机模型的权值，得到改进深度极限学习机模型，所述权值迭代公式如下：
；
；
式中，为改进深度极限学习机模型填充数据后实时更新的权值，/>为改进深度极限学习机模型当前预测填充数据的权值，/>为深度极限学习机模型的学习率，/>为权值更新后的结果，/>为改进深度极限学习机模型参数，/>，即cos/>，/>为改进深度极限学习机模型的损失函数，所述损失函数由各个改进深度极限学习机模型的输出预测填充值和真实值确定；
根据基于改进深度极限学习机模型的输出结果填充数据和实时采集的实时负荷数据，实时更新各个改进深度极限学习机模型的权值，根据更新后的改进深度极限学习机模型继续基于实时采集的实时负荷数据将预测输出值进行数据填充。
一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
存储器，用于储存计算机程序；
处理器，用于执行存储器所储存的程序时，实现负荷数据实时填充方法。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现负荷数据实时填充方法。
本发明的有益效果在于：
本发明可以获得新一代用电信息采集系统的数据实时预测填充模型，进而实现系统数据校核、各类异常研判等提升至实时操作，有效支撑负荷管理等应用场景，助力能源转型和数字化转型。
附图说明
图1是本发明实施例提供的负荷数据实时填充方法的流程图；
图2是本发明实施例提供的负荷数据实时填充方法的具体流程图；
图3为本发明实施例提供的改进深度极限学习机模型结构示意图；
图4是本发明实施例提供的负荷数据实时填充系统的结构示意图；
图5是本发明实施例提供的电子设备的示意图；
图6是本发明实施例提供的负荷数据实时填充方法的预测效果图；
图7是本发明实施例提供的负荷数据实时填充方法的预测误差图。
具体实施方式
下面结合附图对本申请作进一步详细描述，有必要在此指出的是，以下具体实施方式只用于对本申请进行进一步的说明，不能理解为对本申请保护范围的限制，该领域的技术人员可以根据上述申请内容对本申请作出一些非本质的改进和调整。
如图1所示，一种负荷数据实时填充方法，包括以下步骤：
S1：采集用户每日的原始负荷数据；
S2：对所述原始负荷数据进行检测，将异常值和缺失值填充空值作为待填充数据，得到含空值负荷数据集并进行预处理，得到预处理后负荷数据；
S3：构建深度极限学习机模型，基于所述预处理后负荷数据，通过输入实时采集的实时负荷数据到所述深度极限学习机模型，将预测输出值进行数据填充；
S4：基于数据填充结果和实时采集的实时负荷数据，实时更新深度极限学习机模型的权值。
如图2所示，一种负荷数据实时填充方法具体步骤，在本实施例中：
采集用户每日的原始负荷数据的具体过程如下：
基于用电信息采集系统，采集用户的每日96点负荷数据，每15min采集一次负荷数据。
所述含空值负荷数据集包括除了空值的有效负荷数据X和待填充数据Y；
；
；
其中，表示原始负荷数据集，/>表示/>天的/>组特征组成的训练集数据，其中/>为选取的数据点个数；/>表示待填充数据，即测试集。
对所述含空值负荷数据集进行预处理，得到预处理后负荷数据的具体过程如下：
对所述含空值负荷数据集进行数据标准化处理，即采用z-score方法对所述原始负荷数据集进行变换，公式如下：
；
式中，是标准化处理后的结果，/>为输入的原始负荷数据，/>为原始负荷数据的平均值，/>是原始负荷数据的标准差。
如图3所示，构建深度极限学习机模型，基于所述预处理后负荷数据，通过输入实时采集的实时负荷数据到所述深度极限学习机模型，将预测输出值进行数据填充的具体过程如下：
根据重抽样技术从原始负荷数据集中抽取预设数量的样本；
根据抽出的样本计算出统计量h；
重复计算统计量h的操作D次，得到D个统计量h组成的第一数据集；
重复组成第一数据集的操作N次，得到N个第二数据集H：
根据N个所述第二数据集H，构建对应的N个深度极限学习机模型，所述深度极限学习机模型通过极限学习机-自编码器模型结构进行逐层训练：
式中，表示第/>个隐含层的输出矩阵，/>表示极限学习机-自编码器模型对第个隐含层与第/>个隐含层之间的权值矩阵，/>为隐含层的输出权值，/>为激活函数，/>为模型的平衡参数，/>为单位矩阵，/>为第/>个的数据集，K为隐含层的输出矩阵，K T是对K矩阵的转置变化；
根据每个所述深度极限学习机模型的损失函数值，选择小于损失函数均值的（<N）个深度极限学习机模型来构建预测输出值，将所述预测输出值进行数据填充。
根据每个所述深度极限学习机模型的损失函数值，选择小于损失函数均值的个深度极限学习机模型来构建预测输出值的具体过程如下：
根据构建的N个深度极限学习机模型，计算每个深度极限学习机模型的损失函数值和所有的所述深度极限学习机模型的平均损失函数值，选择小于损失函数均值的个深度极限学习机模型来构建预测输出值，其中，/><N，公式如下：
；
式中，为预测输出值，即填充数据值，/>为第/>个深度极限学习机模型的预测输出值。
基于数据填充结果和实时采集的实时负荷数据，实时更新所述深度极限学习机模型的权值的具体过程如下：
根据预设的权值迭代公式实时更新各个所述深度极限学习机模型的权值，得到改进深度极限学习机模型，所述权值迭代公式如下：
；
；
式中，为改进深度极限学习机模型填充数据后实时更新的权值，/>为改进深度极限学习机模型当前预测填充数据的权值，/>为深度极限学习机模型的学习率，/>为权值更新后的结果，/>为改进深度极限学习机模型参数，/>，即cos/>，/>为改进深度极限学习机模型的损失函数，所述损失函数由各个改进深度极限学习机模型的输出预测填充值和真实值确定；
根据基于改进深度极限学习机模型的输出结果填充数据和实时采集的实时负荷数据，实时更新各个改进深度极限学习机模型的权值，根据更新后的改进深度极限学习机模型继续基于实时采集的实时负荷数据将预测输出值进行数据填充。
如图4所示，一种负荷数据实时填充系统，包括：
数据采集模块301，采集用户每日的原始负荷数据；
数据检测预处理模块302，用于对所述原始负荷数据进行检测，将异常值和缺失值填充空值作为待填充数据，得到含空值负荷数据集并进行预处理，得到预处理后负荷数据；
数据预测填充模块303，用于构建深度极限学习机模型，基于所述预处理后负荷数据，通过输入实时采集的实时负荷数据到所述深度极限学习机模型，将预测输出值进行数据填充；
模型权值实时更新模块304，用于基于数据填充结果和实时采集的实时负荷数据，实时更新深度极限学习机模型的权值。
所述数据采集模块采集用户每日的负荷数据的具体过程如下：
基于用电信息采集系统，采集用户的每日96点负荷数据。
所述含空值负荷数据集包括除了空值的有效负荷数据X和待填充数据Y：
；
；
其中，表示原始负荷数据集，/>表示/>天的/>组特征组成的训练集数据，其中/>为选取的数据点个数；/>表示待填充数据，即测试集。
所述数据检测预处理模块对所述含空值负荷数据集进行预处理，得到预处理后负荷数据的具体过程如下：
对所述含空值负荷数据集进行数据标准化处理，即采用z-score方法对所述原始负荷数据集进行变换，公式如下：
；
式中，是标准化处理后的结果，/>为输入的原始负荷数据，/>为原始负荷数据的平均值，/>是原始负荷数据的标准差。
所述数据预测填充模块构建深度极限学习机模型，基于所述预处理后负荷数据，通过输入实时采集的实时负荷数据到所述深度极限学习机模型，将预测输出值进行数据填充的具体过程如下：
根据重抽样技术从原始负荷数据集中抽取预设数量的样本；
根据抽出的样本计算出统计量h；
重复计算统计量h的操作D次，得到D个统计量h组成的第一数据集；
重复组成第一数据集的操作N次，得到N个第二数据集H：
根据N个所述第二数据集H，构建对应的N个深度极限学习机模型，所述深度极限学习机模型通过极限学习机-自编码器模型结构进行逐层训练：
式中，表示第/>个隐含层的输出矩阵，/>表示极限学习机-自编码器模型对第个隐含层与第/>个隐含层之间的权值矩阵，/>为隐含层的输出权值，/>为激活函数，/>为模型的平衡参数，/>为单位矩阵，/>为第/>个的数据集，K为隐含层的输出矩阵，K T是对K矩阵的转置变化；
根据每个所述深度极限学习机模型的损失函数值，选择小于损失函数均值的（<N）个深度极限学习机模型来构建预测输出值，将所述预测输出值进行数据填充。
根据每个所述深度极限学习机模型的损失函数值，选择小于损失函数均值的个深度极限学习机模型来构建改进深度极限学习机模型的预测输出值的具体过程如下：
根据构建的N个深度极限学习机模型，计算每个深度极限学习机模型的损失函数值和所有的所述深度极限学习机模型的平均损失函数值，选择小于损失函数均值的个深度极限学习机模型来构建预测输出值，其中，/><N，公式如下：
；
式中，为预测输出值，即填充数据值，/>为第/>个深度极限学习机模型的预测输出值。
作为进一步的优选方案，所述模型权值实时更新模块基于数据填充结果和实时采集的实时负荷数据，实时更新所述深度极限学习机模型的权值的具体过程如下：
根据预设的权值迭代公式实时更新各个所述深度极限学习机模型的权值，得到改进深度极限学习机模型，所述权值迭代公式如下：
；
；
式中，为改进深度极限学习机模型填充数据后实时更新的权值，/>为改进深度极限学习机模型当前预测填充数据的权值，/>为深度极限学习机模型的学习率，/>为权值更新后的结果，/>为改进深度极限学习机模型参数，/>，即cos/>，/>为改进深度极限学习机模型的损失函数，所述损失函数由各个改进深度极限学习机模型的输出预测填充值和真实值确定；
根据基于改进深度极限学习机模型的输出结果填充数据和实时采集的实时负荷数据，实时更新各个改进深度极限学习机模型的权值，根据更新后的改进深度极限学习机模型继续基于实时采集的实时负荷数据将预测输出值进行数据填充。
上述系统中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于系统实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
上述实施例中，所有模块中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。所有模块中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，所有模块中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
参见图5，本发明的实施例提供的电子设备，该实施例的电子设备4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42。所述处理器40执行所述计算机程序42时实现上述各个负荷数据实时填充的训练方法实施例中的步骤。或者，所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述电子设备4中的执行过程。
所述电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备4可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图5仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述电子设备4的内部存储单元，例如电子设备4的硬盘或内存。所述存储器41也可以是所述电子设备4的外部存储设备，例如所述电子设备4上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器41还可以既包括所述电子设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明的实施例还提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如上所述的负荷数据实时填充方法。
该计算机可读存储介质可以是上述实施例中描述的设备/装置中所包含的；也可以是单独存在，而未装配入该设备/装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的负荷数据实时填充方法。
根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
如图6所示，为基于改进深度极限学习机的负荷数据实时填充方法的实验结果，采用某电网下台区日用电量的负荷数据，数据集一共1100组负荷数据，随机将其中100组数据进行缺失，将其余1000组数据作为训练集，将预测缺失的100组数据视为待填充的数据，采用改进深度极限学习机模型的实时负荷数据预测填充方法进行填充，采用极限学习机、深度极限学习机模型作为实验的对比模型；图中可以看出，采用本发明深度极限学习机模型的预测数据最接近真实值。如图7所示，从实验结果可以看出，本发明提供的深度极限学习机模型对于负荷数据实时预测填充的效果更佳，即采用了本发明深度极限学习机模型的RMSE（Root Mean Square Error，均方根误差）和MAE（Mean Absolute Error，平均绝对误差）最小，从而验证了本发明所提出方法的准确性和有效性。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (14)

1.一种负荷数据实时填充方法，其特征在于，包括以下步骤：
采集用户每日的原始负荷数据；
对所述原始负荷数据进行检测，将异常值和缺失值填充空值作为待填充数据，得到含空值负荷数据集并进行预处理，得到预处理后负荷数据；
构建深度极限学习机模型，基于所述预处理后负荷数据，通过输入实时采集的实时负荷数据到所述深度极限学习机模型，将预测输出值进行数据填充；
基于数据填充结果和实时采集的实时负荷数据，实时更新深度极限学习机模型的权值；
将预测输出值进行数据填充的具体过程如下：
根据重抽样技术从原始负荷数据集中抽取预设数量的样本；
根据抽出的样本计算出统计量h；
重复计算统计量h的操作D次，得到D个统计量h组成的第一数据集；
重复组成第一数据集的操作N次，得到N个第二数据集H：
；
根据N个所述第二数据集H，构建对应的N个深度极限学习机模型，所述深度极限学习机模型通过极限学习机-自编码器模型结构进行逐层训练：
；
；
式中：表示第/>个隐含层的输出矩阵，/>表示极限学习机-自编码器模型对第/>个隐含层与第/>个隐含层之间的权值矩阵，/>为隐含层的输出权值，/>为激活函数，/>为模型的平衡参数，/>为单位矩阵，/>为第/>个的数据集，K为隐含层的输出矩阵，K T是对K矩阵的转置变化；
根据每个所述深度极限学习机模型的损失函数值，选择小于损失函数均值的个深度极限学习机模型来构建预测输出值，其中，/><N，将所述预测输出值进行数据填充。
2.根据权利要求1所述的一种负荷数据实时填充方法，其特征在于，采集用户每日的原始负荷数据的具体过程如下：
基于用电信息采集系统，采集用户的每日96点负荷数据，每15min采集一次负荷数据。
3.根据权利要求1所述的一种负荷数据实时填充方法，其特征在于，所述含空值负荷数据集包括有效负荷数据X和待填充数据Y：
；
；
式中：表示原始负荷数据集，/>表示/>天的/>组特征组成的训练集数据，其中/>为选取的数据点个数；/>表示待填充数据。
4.根据权利要求3所述的一种负荷数据实时填充方法，其特征在于，对所述含空值负荷数据集进行预处理，得到预处理后负荷数据的具体过程如下：
对所述含空值负荷数据集，采用z-score方法对所述原始负荷数据集进行变换，公式如下：
；
式中：是标准化处理后的结果，/>为输入的原始负荷数据，/>为原始负荷数据的平均值，/>是原始负荷数据的标准差。
5.根据权利要求4所述的一种负荷数据实时填充方法，其特征在于，根据每个所述深度极限学习机模型的损失函数值，选择小于损失函数均值的个深度极限学习机模型来构建预测输出值的具体过程如下：
根据构建的N个深度极限学习机模型，计算每个深度极限学习机模型的损失函数值和所有的所述深度极限学习机模型的平均损失函数值，选择小于损失函数均值的个深度极限学习机模型来构建预测输出值，其中，/><N，公式如下：
；
式中：为预测输出值，/>为第/>个深度极限学习机模型的预测输出值。
6.根据权利要求5所述的一种负荷数据实时填充方法，其特征在于，
根据预设的权值迭代公式实时更新各个所述深度极限学习机模型的权值，得到改进深度极限学习机模型，所述权值迭代公式如下：
；
；
式中：为改进深度极限学习机模型填充数据后实时更新的权值，/>为改进深度极限学习机模型当前预测填充数据的权值，/>为深度极限学习机模型的学习率，/>为权值更新后的结果，/>为改进深度极限学习机模型参数，/>，/>为改进深度极限学习机模型的损失函数，所述损失函数由各个改进深度极限学习机模型的输出预测填充值和真实值确定；
根据基于改进深度极限学习机模型的输出结果填充数据和实时采集的实时负荷数据，实时更新各个改进深度极限学习机模型的权值，根据更新后的改进深度极限学习机模型继续基于实时采集的实时负荷数据将预测输出值进行数据填充。
7.一种负荷数据实时填充系统，其特征在于，包括：
数据采集模块，采集用户每日的原始负荷数据；
数据检测预处理模块，用于对所述原始负荷数据进行检测，将异常值和缺失值填充空值作为待填充数据，得到含空值负荷数据集并进行预处理，得到预处理后负荷数据；
数据预测填充模块，用于构建深度极限学习机模型，基于所述预处理后负荷数据，通过输入实时采集的实时负荷数据到所述深度极限学习机模型，将预测输出值进行数据填充；
模型权值实时更新模块，用于基于数据填充结果和实时采集的实时负荷数据，实时更新深度极限学习机模型的权值；
将预测输出值进行数据填充的具体过程如下：
根据重抽样技术从原始负荷数据集中抽取预设数量的样本；
根据抽出的样本计算出统计量h；
重复计算统计量h的操作D次，得到D个统计量h组成的第一数据集；
重复组成第一数据集的操作N次，得到N个第二数据集H：
；
根据N个所述第二数据集H，构建对应的N个深度极限学习机模型，所述深度极限学习机模型通过极限学习机-自编码器模型结构进行逐层训练：
；
；
式中：表示第/>个隐含层的输出矩阵，/>表示极限学习机-自编码器模型对第/>个隐含层与第/>个隐含层之间的权值矩阵，/>为隐含层的输出权值，/>为激活函数，/>为模型的平衡参数，/>为单位矩阵，/>为第/>个的数据集，K为隐含层的输出矩阵，K T是对K矩阵的转置变化；
根据每个所述深度极限学习机模型的损失函数值，选择小于损失函数均值的个深度极限学习机模型来构建预测输出值，其中，/><N，将所述预测输出值进行数据填充。
8.根据权利要求7所述的一种负荷数据实时填充系统，其特征在于，所述数据采集模块采集用户每日的原始负荷数据的具体过程如下：
基于用电信息采集系统，采集用户的每日96点负荷数据。
9.根据权利要求7所述的一种负荷数据实时填充系统，其特征在于，所述含空值负荷数据集包括有效负荷数据X和待填充数据Y；
；
；
式中：表示原始负荷数据集，/>表示/>天的/>组特征组成的训练集数据，其中/>为选取的数据点个数；/>表示待填充数据。
10.根据权利要求9所述的一种负荷数据实时填充系统，其特征在于，所述数据检测预处理模块对所述含空值负荷数据集进行预处理，得到预处理后负荷数据的具体过程如下：
对所述含空值负荷数据集进行数据标准化处理，即采用z-score方法对所述原始负荷数据集进行变换，公式如下：
；
式中：是标准化处理后的结果，/>为输入的原始负荷数据，/>为原始负荷数据的平均值，/>是原始负荷数据的标准差。
11.根据权利要求10所述的一种负荷数据实时填充系统，其特征在于，根据每个所述深度极限学习机模型的损失函数值，选择小于损失函数均值的个深度极限学习机模型来构建预测输出值的具体过程如下：
根据构建的N个深度极限学习机模型，计算每个深度极限学习机模型的损失函数值和所有的所述深度极限学习机模型的平均损失函数值，选择小于损失函数均值的个深度极限学习机模型来构建预测输出值，其中，/><N，公式如下：
；
式中，为预测输出值，/>为第/>个深度极限学习机模型的预测输出值。
12.根据权利要求11所述的一种负荷数据实时填充系统，其特征在于，
根据预设的权值迭代公式实时更新各个所述深度极限学习机模型的权值，得到改进深度极限学习机模型，所述权值迭代公式如下：
；
；
式中：为改进深度极限学习机模型填充数据后实时更新的权值，/>为改进深度极限学习机模型当前预测填充数据的权值，/>为深度极限学习机模型的学习率，/>为权值更新后的结果，/>为改进深度极限学习机模型参数，/>，/>为改进深度极限学习机模型的损失函数，所述损失函数由各个改进深度极限学习机模型的输出预测填充值和真实值确定；
根据基于改进深度极限学习机模型的输出结果填充数据和实时采集的实时负荷数据，实时更新各个改进深度极限学习机模型的权值，根据更新后的改进深度极限学习机模型继续基于实时采集的实时负荷数据将预测输出值进行数据填充。
13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
存储器，用于储存计算机程序；
处理器，用于执行存储器所储存的程序时，实现权利要求1-6中任一项所述的负荷数据实时填充方法。
14.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6中任一项所述的负荷数据实时填充方法。
CN202311769003.7A 2023-12-21 2023-12-21 一种负荷数据实时填充方法、系统、设备和介质 Active CN117435870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311769003.7A CN117435870B (zh) 2023-12-21 2023-12-21 一种负荷数据实时填充方法、系统、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311769003.7A CN117435870B (zh) 2023-12-21 2023-12-21 一种负荷数据实时填充方法、系统、设备和介质

Publications (2)

Publication Number Publication Date
CN117435870A CN117435870A (zh) 2024-01-23
CN117435870B true CN117435870B (zh) 2024-03-29

Family

ID=89556965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311769003.7A Active CN117435870B (zh) 2023-12-21 2023-12-21 一种负荷数据实时填充方法、系统、设备和介质

Country Status (1)

Country Link
CN (1) CN117435870B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729943A (zh) * 2017-10-23 2018-02-23 辽宁大学 信息反馈极限学习机优化估值的缺失数据模糊聚类算法及其应用
CN115409292A (zh) * 2022-10-31 2022-11-29 广东电网有限责任公司佛山供电局 一种电力系统短期负荷预测方法及相关装置
CN115640755A (zh) * 2022-11-15 2023-01-24 南京航空航天大学 一种基于极限学习机的空战非完备信息数据处理方法
CN115757372A (zh) * 2022-11-01 2023-03-07 深圳市中融数字科技有限公司 一种基于gru模型的数据缺失值填充方法及系统
CN116169670A (zh) * 2023-02-27 2023-05-26 国网河南省电力公司濮阳供电公司 一种基于改进神经网络的短期非居民负荷预测方法及系统
KR102560241B1 (ko) * 2022-11-14 2023-07-28 (주)오로스테크놀로지 딥러닝 기반 오버레이 키 센터링 시스템 및 그 방법
CN116910049A (zh) * 2023-08-04 2023-10-20 中原工学院 基于mdan的电力负荷数据缺失值填充模型及其构建方法
CN117220920A (zh) * 2023-08-21 2023-12-12 武汉卓尔信息科技有限公司 基于人工智能的防火墙策略管理方法
CN117251686A (zh) * 2023-10-09 2023-12-19 浙江运达风电股份有限公司 Scada数据集缺失值填充方法、装置、设备及介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729943A (zh) * 2017-10-23 2018-02-23 辽宁大学 信息反馈极限学习机优化估值的缺失数据模糊聚类算法及其应用
CN115409292A (zh) * 2022-10-31 2022-11-29 广东电网有限责任公司佛山供电局 一种电力系统短期负荷预测方法及相关装置
CN115757372A (zh) * 2022-11-01 2023-03-07 深圳市中融数字科技有限公司 一种基于gru模型的数据缺失值填充方法及系统
KR102560241B1 (ko) * 2022-11-14 2023-07-28 (주)오로스테크놀로지 딥러닝 기반 오버레이 키 센터링 시스템 및 그 방법
CN115640755A (zh) * 2022-11-15 2023-01-24 南京航空航天大学 一种基于极限学习机的空战非完备信息数据处理方法
CN116169670A (zh) * 2023-02-27 2023-05-26 国网河南省电力公司濮阳供电公司 一种基于改进神经网络的短期非居民负荷预测方法及系统
CN116910049A (zh) * 2023-08-04 2023-10-20 中原工学院 基于mdan的电力负荷数据缺失值填充模型及其构建方法
CN117220920A (zh) * 2023-08-21 2023-12-12 武汉卓尔信息科技有限公司 基于人工智能的防火墙策略管理方法
CN117251686A (zh) * 2023-10-09 2023-12-19 浙江运达风电股份有限公司 Scada数据集缺失值填充方法、装置、设备及介质

Also Published As

Publication number Publication date
CN117435870A (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN107818344A (zh) 用户行为进行分类和预测的方法和系统
CN107506868B (zh) 一种短时电力负荷预测的方法及装置
CN106980623A (zh) 一种数据模型的确定方法及装置
CN106803799B (zh) 一种性能测试方法和装置
CN114004352B (zh) 一种仿真实现方法、神经网络编译器以及计算机可读存储介质
CN114925938B (zh) 一种基于自适应svm模型的电能表运行状态预测方法、装置
CN112906757A (zh) 模型训练方法、光功率预测方法、装置、设备及存储介质
CN116799796A (zh) 一种光伏发电功率预测方法、装置、设备及介质
CN110309947A (zh) 整车物流订单预测方法及装置、物流系统以及计算机可读介质
CN114021425A (zh) 电力系统运行数据建模与特征选择方法、装置、电子设备和存储介质
CN112801315A (zh) 电力二次设备的状态诊断方法、装置及终端
CN116739172B (zh) 一种基于爬坡识别的海上风电功率超短期预测方法及装置
CN117155771A (zh) 一种基于工业物联网的设备集群故障溯源方法及装置
CN117435870B (zh) 一种负荷数据实时填充方法、系统、设备和介质
CN114876731A (zh) 风电场低效运行风电机组排查方法、系统、设备和介质
CN115757002A (zh) 一种能耗确定方法、装置、设备及计算机可读存储介质
CN114154679B (zh) 一种基于Spark的PCFOA-KELM风功率预测方法及装置
CN115759413B (zh) 一种气象预测方法、装置、存储介质及电子设备
CN115801845B (zh) 基于边缘计算的工业互联网数据采集方法及相关设备
CN116340765B (zh) 一种窃电用户预测方法、装置、存储介质及电子设备
CN113449258B (zh) 智能电表的质量评估方法、装置、终端设备及存储介质
CN113919449B (zh) 基于精准模糊聚类算法的居民电力数据聚类方法及装置
CN116187562A (zh) 电动汽车充电容量需求预测方法及相关装置
CN116468099A (zh) 一种模型结构的优化方法及装置
CN117763504A (zh) 一种电能量数据空值处理方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant