CN111931989A - 基于深度学习神经网络的电力系统短期负荷预测方法 - Google Patents

基于深度学习神经网络的电力系统短期负荷预测方法 Download PDF

Info

Publication number
CN111931989A
CN111931989A CN202010661454.9A CN202010661454A CN111931989A CN 111931989 A CN111931989 A CN 111931989A CN 202010661454 A CN202010661454 A CN 202010661454A CN 111931989 A CN111931989 A CN 111931989A
Authority
CN
China
Prior art keywords
load
data
formula
neural network
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010661454.9A
Other languages
English (en)
Inventor
林海峰
黄建平
章坚民
章剑光
张永建
张磊
凌玲
赵峰
范玉权
邱程峰
谢颖
王冠帅
杨剑峰
汤臻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Zhejiang Electric Power Co Ltd
Hangzhou Dianzi University
Shaoxing Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
State Grid Zhejiang Electric Power Co Ltd
Hangzhou Dianzi University
Shaoxing Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Zhejiang Electric Power Co Ltd, Hangzhou Dianzi University, Shaoxing Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical State Grid Zhejiang Electric Power Co Ltd
Priority to CN202010661454.9A priority Critical patent/CN111931989A/zh
Publication of CN111931989A publication Critical patent/CN111931989A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Biophysics (AREA)
  • General Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例提出了基于深度学习神经网络的电力系统短期负荷预测方法，包括收集电力系统的历史负荷数据，对收集到的历史负荷数据进行预处理；搭建基于Attention机制的LSTM负荷预测模型；基于搭建的LSTM负荷预测模型对电力系统短期负荷进行预测。通过使用基于Attention机制的LSTM神经网络预测模型可以更好地挖掘历史负荷数据序列中的关键信息以及时间序列数据之间的特征关系，对时间序列预测问题有明显的影响。很显然，深度学习递归神经网络对电力负荷预测问题有很好的适应性。证明了提出的基于Attention机制的LSTM神经网络预测模型具有较高的预测精度和较强的稳定性。

Description

基于深度学习神经网络的电力系统短期负荷预测方法
技术领域
本申请属于电力系统短期负荷预测领域，，尤其涉及基于深度学习神经网络的电力系统短期负荷预测方法。
背景技术
随着电力系统规模和复杂性不断提高，电力系统短期负荷预测的准确与否对有效降低发电资费、实施各地区电力系统优化控制具有关键作用。与长期负荷预测相比，短期负荷预测主要用于安排发电计划，时效性最高。其负荷变动速度快，受温差、湿度等突变因素影响大，属于动态非线性时间序列。由于短期负荷的此类特征，若想达到精准预测较为困难。随着新电改的实施，售电市场竞争不断深化，对预测精度提出新的要求。因此，提供一种精确度高的电力系统短期负荷预测方法是很有必要的。
发明内容
为了解决现有技术中存在的缺点和不足，本申请提出了基于深度学习神经网络的电力系统短期负荷预测方法，借助基于Attention机制的LSTM神经网络预测模型进行负荷预测，可以更好地挖掘历史负荷数据序列中的关键信息以及时间序列数据之间的特征关系。
具体的，基于深度学习神经网络的电力系统短期负荷预测方法，包括：
收集电力系统的历史负荷数据，对收集到的历史负荷数据进行预处理；
搭建基于Attention机制的LSTM负荷预测模型；
基于搭建的LSTM负荷预测模型对电力系统短期负荷进行预测。
可选的，所述对收集到的历史负荷数据进行预处理，包括：、
判定历史负荷数据存在的缺陷类型；
如果存在缺失数据，则对历史负荷数据进行数据修补；
如果存在异常数据，则采用水平横向法对历史负荷数据进行纠正。
可选的，所述如果存在缺失数据，则对历史负荷数据进行数据修补，包括：
如果存在由于电力负荷采集系统故障或其他人为因素导致收集到实际的负荷数据为缺失数据，对于短期负荷预测，在选择其他日期的负荷作为参考时，在历史负荷数据修补日中选择一个相似日期，基于如公式一所示的当日电力负荷数据的修补计算公式和如公式二所示的基于相邻同类型日的负荷数据的修补公式进行数据修补：
l(n,t)＝ω*l(n,t-1)+(1-ω)*l(n,t+1) 公式一；
l(n,t)＝ω*l(n-1,t)+(1-ω)*l(n+1,t) 公式二；
式中，l(n,t)为第n天的t时刻的电力负荷数值，其中权值ω取0＜ω＜1。
可选的，所述如果存在异常数据，则采用水平横向法对历史负荷数据进行纠正，包括：
异常数据辨别方法：
Figure BDA0002578686480000021
Figure BDA0002578686480000022
式中：xn,i为第n天第i时刻的负荷值；
Figure BDA0002578686480000023
分别为电力负荷数据均值和方差；ε是设置的电力负荷阈值，通常取0.9～1.6；
通过公式三计算得到相对应的均值和方差后，使用3σ理论，代入公式三实现异常数据辨别；
假如电力负荷数据代入公式四出现异常，则为该电力负荷数据为正常电力负荷数据，则保存该数据；如果负荷数据满足公式四，则被判定为异常数据，下一步就是对其进行数据修正；
异常数据修正方法：
Figure BDA0002578686480000024
在公式五中：
Figure BDA0002578686480000025
为第n天第i个时刻的电力负荷修正值；xn±1,i为xn,i前后2个同类日第i个时刻的电力负荷值；
Figure BDA0002578686480000026
为xn,i前后2个相似日第i时刻的电力负荷值；最后通过公式四即可实现对异常数据进行修复和校正。
可选的，所述如果存在异常数据，则采用水平横向法对历史负荷数据进行纠正，还包括对异常数据进行归一化处理方法，具体包括：
经过公式六变换后，进行归一化处理完成修正的电力负荷数据，将数据集矩阵的各个元素取值区间在[0,1]内，设数据集为矩阵x，则
Figure BDA0002578686480000031
经过公式七进行归一化之后变为矩阵xR，即
Figure BDA0002578686480000032
其中
Figure BDA0002578686480000033
如公式八所示，
Figure BDA0002578686480000034
式中：xij是第i行第j列的电力负荷数据集矩阵元素；
Figure BDA0002578686480000035
是第i行第j列的元素，这些元素要进行归一化后才形成负荷数据集矩阵中元素；
Figure BDA0002578686480000036
分别为第i天各时刻负荷值的最大值和最小值；
Figure BDA0002578686480000037
为第i天负荷值的极差。
可选的，所述基于搭建的LSTM负荷预测模型对电力系统短期负荷进行预测，包括：
根据Query和Keyi计算两者的相似性；
对第一阶段的得分用SoftMax()函数进行归一化处理；
对Valuei进行加权求和处理。
可选的，所述根据Query和Keyi计算两者的相似性，包括：
根据Query和Keyi计算两者的相似性；有三种常用的计算方法：找到两个向量点的乘积，找到两个向量余弦的相似度，然后通过激活函数求两者的相似性，计算公式分别为：
利用公式九进行点乘积运算，
Similarity(Query,Keyi)＝Query·Keyi 公式九；
利用公式九进行余弦的相似性运算，
Figure BDA0002578686480000038
利用公式九进行激活函数计算，
Similarity(Query,Keyi)＝VT·tanh(W·Keyi+U·Query) 公式十一。
可选的，所述对第一阶段的得分用SoftMax()函数进行归一化处理，包括：
对第一阶段的得分进行SoftMax()函数进行标准归一化处理，将原始得分转换为所有元素的权重总和为1的概率分布函数，如公式十二所示：
Figure BDA0002578686480000041
可选的，所述对Valuei进行加权求和处理，包括：
对Valuei进行加权求和处理，即对计算结果ai就是Valuei对应的权重，对Valuei进行加权求和得到AttentionValue的值
Figure BDA0002578686480000042
本申请提供的技术方案带来的有益效果是：
从预测结果的基础上，基于Attention机制的LSTM神经网络预测模型可以更好地挖掘历史负荷数据序列中的关键信息以及时间序列数据之间的特征关系，对时间序列预测问题有明显的影响。很显然，深度学习递归神经网络对电力负荷预测问题有很好的适应性。证明了提出的基于Attention机制的LSTM神经网络预测模型具有较高的预测精度和较强的稳定性。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提出的基于深度学习神经网络的电力系统短期负荷预测方法的流程示意图；
图2为本申请实施例提出的Attention机制框架解释图；
图3为本申请实施例提出的Attention机制计算过程抽象图；
图4为本申请实施例提出的基于Attention机制的LSTM(长短期记忆循环神经网络)模型结构；
图5为本申请实施例提出的Attention机制的LSTM神经网络预测模型2018年8月24日一天的预测结果对比；
图6为本申请实施例提出的Attention机制的LSTM神经网络预测模型2018年8月24日-8月30日一周的预测结果对比；
图7为本申请实施例提出的RNN预测模型2018年8月24日一天的预测结果对比；
图8为本申请实施例提出的RNN预测模型2018年8月24日-8月30日一周的预测结果对比；
图9为本申请实施例提出的LSTM预测模型2018年8月24日一天的预测结果对比；
图10为本申请实施例提出的LSTM预测模型2018年8月24日-8月30日一周的预测结果对比；
图11为本申请实施例提出的基于日滚动的日负荷的均方根误差(MSE)对比；
图12为本申请实施例提出的基于日滚动的日负荷的平均绝对误差(MAE)对比；
图13为本申请实施例提出的基于日滚动的日负荷的平均相对误差(MAPE)对比；
图14为本申请实施例提出的基于日滚动的日负荷的均方根误差(RMSE)对比图；
图15为本申请实施例提出的基于日滚动的周负荷的均方根误差(MSE)对比；
图16为本申请实施例提出的基于日滚动的周负荷的平均绝对误差(MAE)对比；
图17为本申请实施例提出的基于日滚动的周负荷的平均相对误差(MAPE)对比；
图18为本申请实施例提出的基于日滚动的周负荷的均方根误差(RMSE)对比。
具体实施方式
为使本申请的结构和优点更加清楚，下面将结合附图对本申请的结构作进一步地描述。
实施例一
本申请实施例提出了基于深度学习神经网络的电力系统短期负荷预测方法，如图1所示，所述电力系统短期负荷预测方法包括：
11、收集电力系统的历史负荷数据，对收集到的历史负荷数据进行预处理；
12、搭建基于Attention机制的LSTM负荷预测模型；
13、基于搭建的LSTM负荷预测模型对电力系统短期负荷进行预测。
在实施中，本申请的原始数据用电数据。在对数据进行了预处理、初步加工分析，选择高质量的数据进行建模分析，然后搭建负荷预测模型完成预测，最后选择最合适的负荷预测模型进行试验，验证其预测精度和波动性和适用性。
具体内容包括：
步骤1.规划负荷预测流程，明确负荷预测的目的和方向，结合电力系统需求制定完整的预测计划。
步骤2.收集整理历史负荷数据，大量收集可用的负荷历史数据，但要将收集的数据缩减到最小量，保证数据是可靠和最新的
步骤3.对历史负荷数据进行预处理，电力实际的功率负荷数据往往具有一定的随机性；这种随机性的根源来自机器故障和人为错误等情况，大致可以分为两类：一类是随机噪声的干扰，通常可以将其视为高斯白噪声。二是异常数据的干扰；这些因素将导致实际数据发生变化，从而对负荷预测产生极大的干扰，总结负荷规律，并恢复实际的负荷数学模型来描述负荷的发展规律，因此有必要对原始数据进行预处理，对异常数据进行修补。简而言之，只有大量的高可靠性原始数据才能获得高度准确的预测结果。
电力负荷坏数据主要由数据采集、通信、存储等系统故障，以及各种类型的电网设备的异常，其通常分为两类。缺失数据(也叫空数据)是由于电力负荷采集系统故障或其他人为因素，收集到实际的负荷数据会缺失；需要对这些缺失的负荷数据进行修补后，电力负荷的预测模型建立才会更加准确。对于短期负荷预测，在选择其他日期的负荷作为参考时，必须在历史负荷数据修补日中选择一个相似的日期，否则修补后的数据将导致更大的错误。
步骤4.搭建负荷数据模型，搭建RNN(递归或循环神经网络)，其在自身的网络中为循环状态；由于其对历史数据和历史数据的递归处理，因此内存建模的特殊性适用于处理时间和空间序列中高度相关的信息；因此可以接受更加广泛的时间序列结构输入，在不同时间充分挖掘数据之间的特征关系；RNN(递归或循环神经网络)通常用于时间序列的预测。
为了解决RNN(递归或循环神经网络)由于时间序列太长，循环神经网络将存在梯度消失或梯度爆炸的问题，克服了RNN(递归或循环神经网络)权重梯度不能长时间通过的特征，其权重在向下传递过程中几乎不会衰减，因此很久以前的一些历史信息的影响也将持续影响在当前时刻；所以使用此功能的训练模型可以具有长期记忆功能；所以出现了由RNN(递归或循环神经网络)改善后的LSTM(长短期记忆循环神经网络)；改善后的模型是H.S和S.Jürgen于1997年提出的，解决了RNN训练过程中的长距离依赖问题。标准的LSTM(长短期记忆循环神经网络)通常使用编码器-解码器(Encode-Decode)结构[将输入序列编码为固定长度的矢量表示形式。当输入序列短时，LSTM神经网络具有良好的学习效果，但是当输入序列长时，LSTM神经网络易于引起信息丢失，并且难以学习输入序列的合理向量表示；本文采用基于Attention机制的LSTM(长短期记忆循环神经网络)模型能够很好地解决这一局限性。
步骤5.模型评估和验证，验证搭建负荷预测模型的预测精度以及预测的波动性和预测模型的适用性。
对收集到的历史负荷数据进行预处理，包括：、
判定历史负荷数据存在的缺陷类型；
如果存在缺失数据，则对历史负荷数据进行数据修补；
如果存在异常数据，则采用水平横向法对历史负荷数据进行纠正。
在实施中，所述如果存在缺失数据，则对历史负荷数据进行数据修补，包括：
如果存在由于电力负荷采集系统故障或其他人为因素导致收集到实际的负荷数据为缺失数据，对于短期负荷预测，在选择其他日期的负荷作为参考时，在历史负荷数据修补日中选择一个相似日期，基于如公式一所示的当日电力负荷数据的修补计算公式和如公式二所示的基于相邻同类型日的负荷数据的修补公式进行数据修补：
l(n,t)＝ω*l(n,t-1)+(1-ω)*l(n,t+1) 公式一；
l(n,t)＝ω*l(n-1,t)+(1-ω)*l(n+1,t) 公式二；
式中，l(n,t)为第n天的t时刻的电力负荷数值，其中权值ω取0＜ω＜1。
如果存在异常数据，则采用水平横向法对历史负荷数据进行纠正，包括：
异常数据辨别方法：
Figure BDA0002578686480000081
Figure BDA0002578686480000082
式中：xn,i为第n天第i时刻的负荷值；
Figure BDA0002578686480000083
分别为电力负荷数据均值和方差；ε是设置的电力负荷阈值，通常取0.9～1.6；
通过公式三计算得到相对应的均值和方差后，使用3σ理论，代入公式三实现异常数据辨别；
假如电力负荷数据代入公式四出现异常，则为该电力负荷数据为正常电力负荷数据，则保存该数据；如果负荷数据满足公式四，则被判定为异常数据，下一步就是对其进行数据修正；
异常数据修正方法：
Figure BDA0002578686480000084
在公式五中：
Figure BDA0002578686480000085
为第n天第i个时刻的电力负荷修正值；xn±1,i为xn,i前后2个同类日第i个时刻的电力负荷值；
Figure BDA0002578686480000086
为xn,i前后2个相似日第i时刻的电力负荷值；最后通过公式四即可实现对异常数据进行修复和校正。
如果存在异常数据，则采用水平横向法对历史负荷数据进行纠正，还包括对异常数据进行归一化处理方法，具体包括：
经过公式六变换后，进行归一化处理完成修正的电力负荷数据，将数据集矩阵的各个元素取值区间在[0,1]内，设数据集为矩阵x，则
Figure BDA0002578686480000087
经过公式七进行归一化之后变为矩阵xR，即
Figure BDA0002578686480000088
其中
Figure BDA0002578686480000091
如公式八所示，
Figure BDA0002578686480000092
式中：xij是第i行第j列的电力负荷数据集矩阵元素；
Figure BDA0002578686480000093
是第i行第j列的元素，这些元素要进行归一化后才形成负荷数据集矩阵中元素；
Figure BDA0002578686480000094
分别为第i天各时刻负荷值的最大值和最小值；
Figure BDA0002578686480000095
为第i天负荷值的极差。
Attention机制是模拟人脑注意力模型的主要思想是将更多的注意力分配给影响输出结果的输入序列的关键部分，以便更好地学习输入序列中的信息。加入该机制的主要原因是，当序列太长时，该模型难以学习合理的矢量表示。随着输入序列的输入，其序列将继续增长，时间步长模型的性能将越来越差。上下文输入信息被限制为固定长度，并且整个模型的能力也受到限制。该机制的核心操作是一系列权重参数，从序列中了解每个元素的重要性，然后根据重要性合并这些元素。Attention机制框架图如图2所示。
从图4的框架结构中可以看出，将Source输入中的元素被认为是由一系列数据对组成的，这时在输入序列中给定了一个元素Query，接着计算出Query和各个key之间的相关性，从而得出每个key对应的Value权重系数，然后将Value权重系数进行加权求和，求和得出的结果就是最后的Attention数值。所以从本质上来说，Attention机制得原理就是对Source中各个元素的Value值进一步加权求和可得，其中权重系数是由Query和各个key的相关性计算得到的，可以将其本质思想用数学式子表达出来，即公式为：
Figure BDA0002578686480000096
上式可以把Attention机制解释成，权重表示的是信息Value的重要性。
其中Attention机制的具体计算过程可以分为一下三个阶段，即第一阶段根据Query和Keyi计算两者的相似性；第二阶段对第一阶段的得分用SoftMax()函数进行归一化处理；第三阶段对Valuei进行加权求和处理。如图3所示。
具体计算过程如下：
第一阶段根据Query和Keyi计算两者的相似性；有三种常用的计算方法：找到两个向量点的乘积，找到两个向量余弦的相似度，然后通过激活函数求两者的相似性。计算公式分别为：
(1)点乘积：
Similarity(Query,Keyi)＝Query·Keyi 公式九
(2)余弦的相似性：
Figure BDA0002578686480000101
(3)利用激活函数来计算：
Similarity(Query,Keyi)＝VT·tanh(W·Keyi+U·Query) 公式十一
第二阶段对第一阶段的得分进行SoftMax()函数进行标准归一化处理，也就是将原始得分转换为所有元素的权重总和为1的概率分布函数，具体公式如下：
Figure BDA0002578686480000102
第三阶段对Valuei进行加权求和处理；即对第二阶段的计算结果ai就是Valuei对应的权重，紧接着对Valuei进行加权求和得到AttentionValue的值。
Figure BDA0002578686480000103
基于Attention机制的LSTM(长短期记忆循环神经网络)模型根据不同的特征将信息存储到多个向量C中，每个向量C将自动选择最合适的上下序列信息进行输出的y。在此基础上，本文在LSTM(长短期记忆循环神经网络)的基础上增加了Attention机制；其中，基于Attention机制的LSTM(长短期记忆循环神经网络)模型的结构示意图，如图4所示。
图4中，xT是输入序列；yT表示输出结果；a(t,T)表示学习得到的输入序列xT的特征；w(k,t)为各个特征的Attention机制注意力权重，表示第t个特征对结果yT的影响，也就是在t时刻y应该在a(t,T)上的Attention机制注意力；C是Attention机制的LSTM(长短期记忆循环神经网络)模型的记忆单元。
Attention机制的LSTM(长短期记忆循环神经网络)模型一共包含七层结构：
Input Layer(输入层)：将时间序列导入模型；
Embedding Layer(嵌入层(共两层))：每个历史负荷数据都被映射到低维空间；
LSTM Layer(长短期记忆网络结构层(共两层))：利用双向LSTM(长短期记忆循环神经网络)从Embedding Layer嵌入层来获取历史电力负荷数据的序列特征；
Attention Layer(注意力机制层)：产生各个特征的Attention机制注意力权重w(k,t)，并且每一次迭代中的时刻数据的特征都与这个权重向量w(k,t)相乘，并最终得到了一天或一周的负荷数据特性；
Output Layer(输出层)：使用负荷数据特征向量进行电力短期负荷预测，最后输出的是电力短期负荷预测模型的预测结果。
其中，Attention机制注意力权重w(k,t)的计算公式如下：
Figure BDA0002578686480000111
以及计算第t个时间内的Attention的公式为：
e(k,t)＝g(St-1,ht)＝V·tanh(W·ht+U·St-1+bk) (2)
Figure BDA0002578686480000112
St＝f(St-1,yt-1,Ct) (4)
P(yt|y1,y2,...,yt-1,x)＝g(yt-1,St,Ct) (5)
式中：w(k,t)为各个特征的Attention机制注意力权重，w(k,t)的值越大，表示第t个输出在第k个输入上分配的Attention机制注意力越多，在生成的第t个输出的时候受到第k个输入的影响也就越大。Ct为Attention机制注意力向量，x1,x2,x3,...,xT为历史电力负荷数据输入序列，St为解码器t时刻的隐藏状态，h1,h2,h3,...,hT为隐藏层的向量序列。
本论文设计的模型结构是将Attention机制作为两个LSTM(长短期记忆循环神经网络)模型的接口，首先通过LSTM(长短期记忆循环神经网络)处理输入序列，以实现高级特征学习；然后再进行合理分配Attention机制的权重来实现记忆存储单元的解决方案；最终通过LSTM(长短期记忆循环神经网络)实现了对电力短期负荷的预测。
从预测结果来看，与RNN预测模型相比，LSTM预测模型的预测相对误差波动相对稳定，不存在一段时间后预测精度下降的现象，预测性能优于RNN预测模型。但是，从平均相对误差(MAPE)为6.09％的角度来看，LSTM模型的负荷预测准确性不是很高。为了进一步提高LSTM预测模型的性能，本文增加了Attention机制，并基于Attention机制建立了LSTM神经网络预测模型，该预测模型效果较佳的一天(2018年8月24日)的预测结果如图5，预测性能评价指标如表1所示。
表1 Attention机制的LSTM神经网络预测模型2018年8月24日一天的预测性能评价指标
Figure BDA0002578686480000121
基于Attention机制的LSTM神经网络预测模型预测效果较佳的一周(2018年8月24日-8月30日)的预测结果如图6、预测性能评价指标如表2所示。
表2 Attention机制的LSTM神经网络预测模型2018年8月24日-8月30日一周的预测性能评价指标
Figure BDA0002578686480000122
为了与基于Attention机制的LSTM神经网络模型进行对比，本申请还利用了RNN(递归或循环神经网络)模型和LSTM循环神经网络
RNN(递归或循环神经网络)模型：选取基于RNN(递归或循环神经网络)预测模型效果较佳的一天(2018年8月24日)的预测结果如图7、性能评价指标如表3所示。
表3 RNN预测模型2018年8月24日一天的预测评价指标
模型类别 MSE MAE MAPE RMSE
RNN 0.176692388 0.026544631 0.088495182 0.249880771
基于RNN(递归或循环神经网络)模型预测效果较佳的一周(2018年8月24日-8月30日)的预测结果如图8、性能评价指标如表4所示。
表4 RNN预测模型2018年8月24日-8月30日一周的预测性能评价指标
模型类别 MSE MAE MAPE RMSE
RNN 0.506995445 0.03033632 0.087610011 0.716999834
LSTM(长短期记忆网络)预测模型的预测结果
从一天和一周电力短期负荷预测的结果来看，RNN预测模型的预测的相对误差是非常大的，平均预测精度不高，相对误差波动很大，分析的原因是在预测过程中梯度消失了，这就导致了预测精度的下降。为了抑制梯度的消失，在RNN预测模型的基础上，建立了LSTM预测模型。LSTM预测模型效果较佳的一天(2018年8月24日)的预测结果如图9、预测性能评价指标如表5所示。
表5 LSTM预测模型2018年8月24日一天的预测性能评价指标
模型类别 MSE MAE MAPE RMSE
LSTM 0.106050999 0.016089026 0.059750627 0.149978761
基于LSTM预测模型预测效果较佳的一周(2018年8月24日-8月30日)的预测结果如图10、预测性能评价指标如表6所示。
表6 LSTM预测模型2018年8月24日-8月30日一周的预测性能评价指标
模型类别 MSE MAE MAPE RMSE
LSTM 0.362606871 0.021206124 0.060936665 0.512803555
从预测结果来看，基于Attention机制的LSTM神经网络模型的预测结果优于LSTM神经网络模型，其中，四个评价指标，均方误差(MSE)为21.587％，平均绝对误差(MAE)达到了1.285％，平均相对误差(MAPE)为3.776％，均方根误差(RMSE)为30.529％。基于RNN(递归或循环神经网络)模型、基于LSTM(长短期记忆网络)模型、基于Attention机制的LSTM神经网络模型预测效果较佳的一天(2018年8月24日)和一周(2018年8月24日-8月30日)的预测性能评价指标对比结果如表7、表8所示。
表7三种深度学习模型2018年8月24日一天的预测评价指标结果对比
Figure BDA0002578686480000131
表8三种深度学习模型2018年8月24日-8月30日一周的预测评价指标结果对比
Figure BDA0002578686480000132
从表7中可以得出的结果是基于Attention机制的LSTM神经网络预测模型预测效果较佳的一天(2018年8月24日)的误差分别为：均方误差(MSE)为8.419％，相比于RNN(递归或循环神经网络)预测模型、LSTM(长短期记忆网络)预测模型分别提高了9.25％、2.186％；平均绝对误差(MAE)为1.196％，相比于RNN(递归或循环神经网络)预测模型、LSTM(长短期记忆网络)预测模型分别提高了1.458％、0.412％；平均相对误差(MAPE)为3.865％，相比于RNN(循环神经网络)预测模型、LSTM(长短期记忆网络)预测模型分别提高了4.984％、2.11％；均方根误差(RMSE)为11.907％，相比于RNN(递归或循环神经网络)预测模型、LSTM(长短期记忆网络)预测模型分别提高了13.081％、3.09％。
从表8中可以得出基于Attention机制的LSTM神经网络预测模型预测效果较佳的一周(2018年8月24日-8月30日)的预测模型性能指标误差分析分别为：均方误差(MSE)为21.587％，相比于RNN(递归或循环神经网络)预测模型、LSTM(长短期记忆网络)预测模型分别提高了29.112％、14.674％；平均绝对误差(MAE)为1.285％，相比于RNN(递归或循环神经网络)预测模型、LSTM(长短期记忆网络)预测模型分别提高了1.749％、0.836％；平均相对误差(MAPE)为3.777％，相比于RNN(递归或循环神经网络)预测模型、LSTM(长短期记忆网络)预测模型分别提高了4.984％、2.317％；均方根误差(RMSE)为30.529％，相比于RNN(递归或循环神经网络)预测模型、LSTM(长短期记忆网络)预测模型分别提高了41.171％、20.751％。
从预测结果的基础上，基于Attention机制的LSTM神经网络预测模型可以更好地挖掘历史负荷数据序列中的关键信息以及时间序列数据之间的特征关系，对时间序列预测问题有明显的影响。很显然，深度学习递归神经网络对电力负荷预测问题有很好的适应性。证明了提出的基于Attention机制的LSTM神经网络预测模型具有较高的预测精度和较强的稳定性。
上一部分只给出预测效果较佳的一天(2018年8月24日)和一周(2018年8月24日-8月30日)的三个基于深度学习神经网络预测模型的预测精度以及对比，不一定能够完全反映模型的真实性，为此进行了从2018年8月8日开始的逐天(训练数据逐天增加)和逐周(训练数据逐周增加)的滚动短期负荷预测；具体结果对比已在附录一中。
基于日滚动的日负荷(从2018年8月8日至8月30日总共23天)预测模型的四个性能评价指标：即，均方误差(MSE)、平均绝对误差(MAE)、平均相对误差(MAPE)、均方根误差(RMSE)的对比图，分别如图11，图12，图13，图14所示。
从图11，图12，图13，图14可以明显看出，通过相比于RNN(递归或循环神经网络)预测模型、LSTM(长短期记忆网络)预测模型的日滚动的日负荷模型性能评价的四个误差评价指标对比，Attention机制的LSTM神经网络预测模型改进最明显的误差指标是平均相对误差(MAPE)，表明该模型具有较高的预测精度和较强的稳定性。
基于日滚动的周负荷(从2018年8月8日-8月14日开始滚动，总共滚动到第17周)的预测模型的四个性能评价指标：即，均方误差(MSE)、平均绝对误差(MAE)、平均相对误差(MAPE)、均方根误差(RMSE)的对比图，分别如图15，图16，图17，图18所示。
从图15，图16，图17，图18可以明显看出，通过相比于RNN(递归或循环神经网络)预测模型、LSTM(长短期记忆网络)预测模型的日滚动的周负荷模型性能评价的四个误差评价指标对比，Attention机制的LSTM神经网络预测模型改进最明显误差指标是平均相对误差(MAPE)，表明该模型具有较高的预测精度和较强的稳定性。
上述实施例中的各个序号仅仅为了描述，不代表各部件的组装或使用过程中的先后顺序。
以上所述仅为本申请的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.基于深度学习神经网络的电力系统短期负荷预测方法，其特征在于，所述电力系统短期负荷预测方法包括：
收集电力系统的历史负荷数据，对收集到的历史负荷数据进行预处理；
搭建基于Attention机制的LSTM负荷预测模型；
基于搭建的LSTM负荷预测模型对电力系统短期负荷进行预测。
2.根据权利要求1所述的基于深度学习神经网络的电力系统短期负荷预测方法，其特征在于，所述对收集到的历史负荷数据进行预处理，包括：、
判定历史负荷数据存在的缺陷类型；
如果存在缺失数据，则对历史负荷数据进行数据修补；
如果存在异常数据，则采用水平横向法对历史负荷数据进行纠正。
3.根据权利要求2所述的基于深度学习神经网络的电力系统短期负荷预测方法，其特征在于，所述如果存在缺失数据，则对历史负荷数据进行数据修补，包括：
如果存在由于电力负荷采集系统故障或其他人为因素导致收集到实际的负荷数据为缺失数据，对于短期负荷预测，在选择其他日期的负荷作为参考时，在历史负荷数据修补日中选择一个相似日期，基于如公式一所示的当日电力负荷数据的修补计算公式和如公式二所示的基于相邻同类型日的负荷数据的修补公式进行数据修补：
l(n,t)＝ω*l(n,t-1)+(1-ω)*l(n,t+1) 公式一；
l(n,t)＝ω*l(n-1,t)+(1-ω)*l(n+1,t) 公式二；
式中，l(n,t)为第n天的t时刻的电力负荷数值，其中权值ω取0＜ω＜1。
4.根据权利要求2所述的基于深度学习神经网络的电力系统短期负荷预测方法，其特征在于，所述如果存在异常数据，则采用水平横向法对历史负荷数据进行纠正，包括：
异常数据辨别方法：
Figure FDA0002578686470000011
Figure FDA0002578686470000021
式中：xn,i为第n天第i时刻的负荷值；
Figure FDA0002578686470000029
分别为电力负荷数据均值和方差；ε是设置的电力负荷阈值，通常取0.9～1.6；
通过公式三计算得到相对应的均值和方差后，使用3σ理论，代入公式三实现异常数据辨别；
假如电力负荷数据代入公式四出现异常，则为该电力负荷数据为正常电力负荷数据，则保存该数据；如果负荷数据满足公式四，则被判定为异常数据，下一步就是对其进行数据修正；
异常数据修正方法：
Figure FDA0002578686470000023
在公式五中：
Figure FDA0002578686470000024
为第n天第i个时刻的电力负荷修正值；xn±1,i为xn,i前后2个同类日第i个时刻的电力负荷值；
Figure FDA0002578686470000025
为xn,i前后2个相似日第i时刻的电力负荷值；最后通过公式四即可实现对异常数据进行修复和校正。
5.根据权利要求2所述的基于深度学习神经网络的电力系统短期负荷预测方法，其特征在于，所述如果存在异常数据，则采用水平横向法对历史负荷数据进行纠正，还包括对异常数据进行归一化处理方法，具体包括：
经过公式六变换后，进行归一化处理完成修正的电力负荷数据，将数据集矩阵的各个元素取值区间在[0,1]内，设数据集为矩阵x，则
Figure FDA0002578686470000026
经过公式七进行归一化之后变为矩阵xR，即
Figure FDA0002578686470000027
其中
Figure FDA0002578686470000028
如公式八所示，
Figure FDA0002578686470000031
式中：xij是第i行第j列的电力负荷数据集矩阵元素；
Figure FDA0002578686470000032
是第i行第j列的元素，这些元素要进行归一化后才形成负荷数据集矩阵中元素；
Figure FDA0002578686470000033
分别为第i天各时刻负荷值的最大值和最小值；
Figure FDA0002578686470000034
为第i天负荷值的极差。
6.根据权利要求1所述的基于深度学习神经网络的电力系统短期负荷预测方法，其特征在于，所述基于搭建的LSTM负荷预测模型对电力系统短期负荷进行预测，包括：
根据Query和Keyi计算两者的相似性；
对第一阶段的得分用SoftMax()函数进行归一化处理；
对Valuei进行加权求和处理。
7.根据权利要求6所述的基于深度学习神经网络的电力系统短期负荷预测方法，其特征在于，所述根据Query和Keyi计算两者的相似性，包括：
根据Query和Keyi计算两者的相似性；有三种常用的计算方法：找到两个向量点的乘积，找到两个向量余弦的相似度，然后通过激活函数求两者的相似性，计算公式分别为：
利用公式九进行点乘积运算，
Similarity(Query,Keyi)＝Query·Keyi 公式九；
利用公式九进行余弦的相似性运算，
Figure FDA0002578686470000035
利用公式九进行激活函数计算，
Similarity(Query,Keyi)＝VT·tanh(W·Keyi+U·Query) 公式十一。
8.根据权利要求6所述的基于深度学习神经网络的电力系统短期负荷预测方法，其特征在于，所述对第一阶段的得分用SoftMax()函数进行归一化处理，包括：
对第一阶段的得分进行SoftMax()函数进行标准归一化处理，将原始得分转换为所有元素的权重总和为1的概率分布函数，如公式十二所示：
Figure FDA0002578686470000041
9.根据权利要求6所述的基于深度学习神经网络的电力系统短期负荷预测方法，其特征在于，所述对Valuei进行加权求和处理，包括：
对Valuei进行加权求和处理，即对计算结果ai就是Valuei对应的权重，对Valuei进行加权求和得到AttentionValue的值
Figure FDA0002578686470000042
CN202010661454.9A 2020-07-10 2020-07-10 基于深度学习神经网络的电力系统短期负荷预测方法 Pending CN111931989A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010661454.9A CN111931989A (zh) 2020-07-10 2020-07-10 基于深度学习神经网络的电力系统短期负荷预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010661454.9A CN111931989A (zh) 2020-07-10 2020-07-10 基于深度学习神经网络的电力系统短期负荷预测方法

Publications (1)

Publication Number Publication Date
CN111931989A true CN111931989A (zh) 2020-11-13

Family

ID=73312823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010661454.9A Pending CN111931989A (zh) 2020-07-10 2020-07-10 基于深度学习神经网络的电力系统短期负荷预测方法

Country Status (1)

Country Link
CN (1) CN111931989A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191544A (zh) * 2021-04-28 2021-07-30 河海大学 一种基于多层神经网络的短期电力负荷预测方法
CN113361195A (zh) * 2021-06-04 2021-09-07 国网浙江省电力有限公司杭州供电公司 一种基于lstm和相似日的配电网线路超短期负荷预测方法
CN113379164A (zh) * 2021-07-16 2021-09-10 国网江苏省电力有限公司苏州供电分公司 基于深度自注意力网络的负荷预测方法及系统
CN113743668A (zh) * 2021-09-07 2021-12-03 中国海洋大学 一种面向家庭用电的短期负荷预测方法
CN114881343A (zh) * 2022-05-18 2022-08-09 清华大学 基于特征选择的电力系统短期负荷预测方法及装置
CN115859815A (zh) * 2022-12-07 2023-03-28 国网江苏省电力有限公司营销服务中心 基于sa-tcn模型的短期可调节负荷预测方法及系统
CN116415734A (zh) * 2023-04-18 2023-07-11 浙江浙达能源科技有限公司 一种基于深度学习的超短期负荷预测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657781A (zh) * 2013-11-20 2015-05-27 江南大学 一种基于神经网络算法的电能消耗预测系统
CN109711620A (zh) * 2018-12-26 2019-05-03 浙江大学 一种基于gru神经网络和迁移学习的短期电力负荷预测方法
CN111275169A (zh) * 2020-01-17 2020-06-12 北京石油化工学院 一种短时期建筑热负荷预测的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657781A (zh) * 2013-11-20 2015-05-27 江南大学 一种基于神经网络算法的电能消耗预测系统
CN109711620A (zh) * 2018-12-26 2019-05-03 浙江大学 一种基于gru神经网络和迁移学习的短期电力负荷预测方法
CN111275169A (zh) * 2020-01-17 2020-06-12 北京石油化工学院 一种短时期建筑热负荷预测的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李昭昱等: "基于attention机制的LSTM神经网络超短期负荷预测方法", 《供用电》, vol. 36, no. 1, pages 17 - 21 *
盖姝: "基于改进支持向量机的短期电力负荷预测研究", 《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)，2013年第S2期》, pages 199 - 200 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191544A (zh) * 2021-04-28 2021-07-30 河海大学 一种基于多层神经网络的短期电力负荷预测方法
CN113191544B (zh) * 2021-04-28 2022-08-12 河海大学 一种基于多层神经网络的短期电力负荷预测方法
CN113361195A (zh) * 2021-06-04 2021-09-07 国网浙江省电力有限公司杭州供电公司 一种基于lstm和相似日的配电网线路超短期负荷预测方法
CN113361195B (zh) * 2021-06-04 2022-05-13 国网浙江省电力有限公司杭州供电公司 一种基于lstm和相似日的配电网线路超短期负荷预测方法
CN113379164A (zh) * 2021-07-16 2021-09-10 国网江苏省电力有限公司苏州供电分公司 基于深度自注意力网络的负荷预测方法及系统
CN113379164B (zh) * 2021-07-16 2024-03-26 国网江苏省电力有限公司苏州供电分公司 基于深度自注意力网络的负荷预测方法及系统
CN113743668A (zh) * 2021-09-07 2021-12-03 中国海洋大学 一种面向家庭用电的短期负荷预测方法
CN113743668B (zh) * 2021-09-07 2024-04-05 中国海洋大学 一种面向家庭用电的短期负荷预测方法
CN114881343A (zh) * 2022-05-18 2022-08-09 清华大学 基于特征选择的电力系统短期负荷预测方法及装置
CN114881343B (zh) * 2022-05-18 2023-11-14 清华大学 基于特征选择的电力系统短期负荷预测方法及装置
CN115859815A (zh) * 2022-12-07 2023-03-28 国网江苏省电力有限公司营销服务中心 基于sa-tcn模型的短期可调节负荷预测方法及系统
CN116415734A (zh) * 2023-04-18 2023-07-11 浙江浙达能源科技有限公司 一种基于深度学习的超短期负荷预测方法及系统

Similar Documents

Publication Publication Date Title
CN111931989A (zh) 基于深度学习神经网络的电力系统短期负荷预测方法
CN112365040B (zh) 一种基于多通道卷积神经网络和时间卷积网络的短期风电功率预测方法
CN107169628B (zh) 一种基于大数据互信息属性约简的配电网可靠性评估方法
CN112149879B (zh) 一种计及宏观波动性分类的新能源中长期电量预测方法
CN111210093B (zh) 基于大数据的日用水量预测方法
CN110210993B (zh) 基于循环神经网络模型的城市短期燃气负荷预测方法
Mohammad et al. Energy load forecasting model based on deep neural networks for smart grids
CN110212528B (zh) 一种配电网量测数据缺失重构方法
CN114676822B (zh) 一种基于深度学习的多属性融合空气质量预报方法
CN111159638A (zh) 基于近似低秩矩阵补全的配电网负荷缺失数据恢复方法
CN111861013A (zh) 一种电力负荷预测方法及装置
CN111178585A (zh) 基于多算法模型融合的故障接报量预测方法
CN105956722A (zh) 一种短期风电功率的预测方法及装置
CN114707712A (zh) 一种发电机组备件需求的预测方法
CN114091615A (zh) 一种基于生成对抗网络的电能计量数据补全方法和系统
CN115600640A (zh) 基于分解网络的电力负荷预测方法
CN113469570A (zh) 信息质量评价模型构建方法、装置、设备及存储介质
CN112435054A (zh) 基于广义最大相关熵准则的核极限学习机售电量预测方法
CN116014722A (zh) 基于季节分解和卷积网络的次日光伏发电预测方法及系统
CN110837952A (zh) 一种基于博弈论的电网新技术设备选择方法及系统
CN115358437A (zh) 基于卷积神经网络的供电负荷预测方法
CN112232570A (zh) 一种正向有功总电量预测方法、装置及可读存储介质
CN111061708A (zh) 一种基于lstm神经网络的电能量预测与修复方法
CN113919162B (zh) 基于仿真与多源实测数据融合的电压暂降风险预警方法
CN115526393A (zh) 一种基于变电工程关键影响因素筛选的造价预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination