CN112288137A - 一种计及电价和Attention机制的LSTM短期负荷预测方法及装置 - Google Patents

一种计及电价和Attention机制的LSTM短期负荷预测方法及装置 Download PDF

Info

Publication number
CN112288137A
CN112288137A CN202011075454.7A CN202011075454A CN112288137A CN 112288137 A CN112288137 A CN 112288137A CN 202011075454 A CN202011075454 A CN 202011075454A CN 112288137 A CN112288137 A CN 112288137A
Authority
CN
China
Prior art keywords
lstm
load
value
attention mechanism
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011075454.7A
Other languages
English (en)
Inventor
冯荣强
韩韬
杨勇
赵磊
吴雪琼
陈蕾
郑伟彦
黄武浩
章玮
姜健
刘宏伟
余慧华
傅靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Zhejiang Electric Power Co Ltd
NARI Nanjing Control System Co Ltd
State Grid Electric Power Research Institute
Original Assignee
State Grid Corp of China SGCC
State Grid Zhejiang Electric Power Co Ltd
NARI Nanjing Control System Co Ltd
State Grid Electric Power Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Zhejiang Electric Power Co Ltd, NARI Nanjing Control System Co Ltd, State Grid Electric Power Research Institute filed Critical State Grid Corp of China SGCC
Priority to CN202011075454.7A priority Critical patent/CN112288137A/zh
Publication of CN112288137A publication Critical patent/CN112288137A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0206—Price or cost determination based on market factors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Development Economics (AREA)
  • Mathematical Physics (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种计及电价和Attention机制的LSTM短期负荷预测方法及装置，构建LSTM输入特征向量Ui(t)，并对输入特征向量进行归一化处理，得到处理后输入特征向量Ui(t)；将处理后特征向量Ui(t)输入LSTM的隐藏层进行训练，得到训练后特征向量U'i(t)；利用Attention机制对训练后特征向量U'i(t)进行计算，得到特征权重向量hk'；将特征权重向量hk'，训练后的特征向量U'i(t)输入LSTM的全连接层，经过全连接层的训练，得到最终预测值yt。本发明提供一种科学合理，适用性强，效果佳，能够实现提高短期电力负荷精准度的预测方法。

Description

一种计及电价和Attention机制的LSTM短期负荷预测方法及 装置
技术领域
本发明涉及一种计及电价和Attention机制的LSTM短期负荷预测方法及装置，属于电力信息技术领域。
背景技术
目前，电力负荷预测在电力系统中占有非常重要的地位，是电力系统运行分析统筹规划的依据。短期负荷预测能够为电网调度提供线路转供计划，调整电网运行方式，是保证电网短期内顺利运行的有效手段之一。
随着电力市场改革的不断演变，电力市场运营模式趋向自由化，电价的实时性成为影响负荷波动的主要因素，增加了负荷预测的难度，因此实时电价下的短期负荷预测意义重大。另一方面，电网市场规模急速增长、设备种类数量不断增加，智能化水平不断提高，负荷采集数据的数据量和准确性都急速上升，为短期负荷预测提供了数据基础。所以，增加短期负荷预测准确性已成为当前亟待解决的问题。
近年来，人工智能方法在电力负荷预测领域取得了巨大进步，其中深度学习因其处理非线性映射能力的突出被经常使用。卷积神经网络、循环神经网络等都是很好的预测技术，应用面较广泛，但在使用过程中依然有如下问题：负荷预测时没有考虑时序数据的时间相关性，无时间特征；在训练过程中将输入重要数据和普通数据的特征向量平等对待，对负荷预测精度存在一定影响；忽略了电力市场环境下电价变化对负荷预测的影响程度。
发明内容
目的：为了提高负荷预测的精度，本发明在考虑实时电价因素、历史时序数据、输入特征权重的基础上提供一种科学合理，适用性强，效果佳，能够实现提高短期电力负荷精准度的预测方法。
技术方案：为解决上述技术问题，本发明采用的技术方案为：
一种计及电价和Attention机制的LSTM短期负荷预测方法，包括如下步骤：
构建LSTM输入特征向量Ui(t)，所述输入特征向量Ui(t)包括与电网相关的电价、温度、湿度、降雨、负荷的数量，并对输入特征向量进行归一化处理，得到处理后输入特征向量Ui(t)；
将处理后特征向量Ui(t)输入LSTM的隐藏层进行训练，得到训练后特征向量U'i(t)；
利用Attention机制对训练后特征向量U'i(t)进行计算，得到特征权重向量hk'；
将特征权重向量hk'，训练后的特征向量U'i(t)输入LSTM的全连接层，经过全连接层的训练，得到最终负荷预测值yt。
一种计及电价和Attention机制的LSTM短期负荷预测装置，包括如下模块：
第一模块：用于构建LSTM输入特征向量Ui(t)，所述输入特征向量Ui(t)包括与电网相关的电价、温度、湿度、降雨、负荷的数量，并对输入特征向量进行归一化处理，得到处理后输入特征向量Ui(t)；
第二模块：用于将处理后特征向量Ui(t)输入LSTM的隐藏层进行训练，得到训练后特征向量U'i(t)；
第三模块：用于利用Attention机制对训练后特征向量U'i(t)进行计算，得到特征权重向量hk'；
第四模块：用于将特征权重向量hk'，训练后的特征向量U'i(t)输入LSTM的全连接层，经过全连接层的训练，得到最终负荷预测值yt。
作为优选方案，所述输入特征向量Ui(t)的特征因子至少包括pi(t)、vi(t)、oi(t)、ci(t)、hi(t)、ri(t)、li-1(t)、li-1(t-1)、wi(t)、fi(t)其中一种，分别表示为：峰时电价、谷时电价、平时电价、预测点时刻的预测温度、预测点时刻的预测湿度、预测点时刻的降雨可能性、预测点前一天同时刻负荷值、预测点前一天前一时刻负荷值、工作日、节假日，其中，i代表天，t代表每天中的时刻。
作为优选方案，所述LSTM包括：输入门it、遗忘门ft、输出门ot，其中输入门it、遗忘门ft、输出门ot和当前神经元A的候选状态值gt计算公式如下：
ft＝σ(Wfxxt+Wfhht-1+bf)
it＝σ(Wixxt+Wihht-1+bi)
ot＝σ(Woxxt+Wohht-1+bo)
gt＝tanh(Wgxxt+Wghht-1+bg)
式中，Wfh，Wih，Woh，Wgh，Wfx，Wix，Wox，Wgx分别表示相应门与上个单元输出ht-1和当前时刻输入xt相乘得到的矩阵权重，bf，bi，bo，bg为偏置项，σ为sigmoid函数，激活函数为tanh；
新状态值St由上一时刻的状态值St-1、遗忘门ft、输入门it以及当前时刻的候选状态值gt决定，得到新状态值St后，可得到输出值ht，表示为
St＝ft·St-1+it·gt
ht＝ot·tanh(St)
式中，·表示各相乘向量中的元素按位乘积。
作为优选方案，所述LSTM的隐藏层层数设置为4。
作为优选方案，所述LSTM的第一、二、三、四隐藏层的神经元个数分别设置为512、256、128和64。
作为优选方案，所述预测点前一天同时刻负荷值、预测点前一天前一时刻负荷值与价格的互信息归一化数值大于阈值。
作为优选方案，所述阈值设置为0.5。
作为优选方案，对所述预测点前一天同时刻负荷值、预测点前一天前一时刻负荷值中异常数据进行改正，缺失数据进行填补，具体步骤如下：
1)对于某一时刻的负荷值，相较其前后时刻负荷值改变大于阈值，则认为是异常数据，采用水平处理方法进行改正，计算公式如下
如果
max[|Y(d,t)-Y(d,t-1)|,|Y(d,t)-Y(d,t+1)|]＞ε(t)
则有
Figure BDA0002715167520000031
式中，Y(d,t)、Y(d,t+1)、Y(d,t-1)分别表示第d天t时刻、t+1时刻、t-1时刻的电力负荷值，ε(t)为阈值；
2)若负荷工作日和休息日某一时刻的负荷值和相邻工作日或休息日同一时刻的负荷值相差大于阈值，则认为是异常数据，采用垂直处理方法进行改正，计算公式为
如果
|Y(d,t)-m(t)|＞r(t)
则有
Figure BDA0002715167520000041
式中，m(t)为近几天t时刻负荷的平均值，r(t)为阈值；
3)对于负荷原始数据的缺失值，采用聚类的方式，取相似度最大的三个类型日，用所求时刻负荷值对应的三个类型日对应时刻的平均值填补。
作为优选方案，所述特征权重向量hk'计算公式如下：
hk'＝H(C,st,ht)
其中：
Figure BDA0002715167520000042
Figure BDA0002715167520000043
式中，i表示LSTM隐藏层输出序列中的序号，Th表示LSTM隐藏层输出序列的长度，eti表示t时刻LSTM隐藏层输出序列中待编码的元素和其它元素之间的匹配度，H(*)表示特征权重向量函数，ht表示LSTM隐藏层输出序列，st表示与LSTM隐藏层输出序列ht相对应的Attention机制的隐藏层状态。
有益效果：本发明提供的一种计及电价和Attention机制的LSTM短期负荷预测方法及装置，利用互信息算法验证了电价的经济调节因素对负荷有一定影响，表明电力市场环境下电价波动是短期负荷预测时的重要考虑因素。顾及负荷的时序特性，结合天气、时间、电价等因素设计一种计及电价和Attention机制的LSTM短期负荷预测模型，利用Attention机制分配给隐藏层特征向量不同的权重，突出训练中关键的特征，得到最终负荷预测值，提高了预测精度。
附图说明
图1是Attention_LSTM模型图；
图2是LSTM神经元结构图；
图3是某天的负荷预测绝对百分比误差对比图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图1所示，一种计及电价和Attention机制的LSTM短期负荷预测方法，包括如下步骤：
(1)所述利用互信息来验证电力市场环境下实时波动电价与负荷预测存在一定关联，能够影响负荷预测的精度，具体步骤是：
1)互信息定义及数据筛选
互信息是一种衡量两个随机变量之间相互依赖强弱程度的准则，不仅可以度量变量数据特征之间的线性关系，也可以度量非线性关系。它由信息熵演变而来，两个变量之间的互信息越大，代表其相关性越强。两个变量X，Y的互信息I(X,Y)计算公式如下
Figure BDA0002715167520000051
式中，m、n分别代表变量X，Y中的元素个数，p(xi)表示变量X中第i个元素xi在所有元素中出现的概率，p(yi)表示变量Y中第j个的元素yi在所有元素中出现的概率，p(xi,yi)表示变量X，Y的联合分布概率。
2)选取澳大利亚新南威尔士州的2010到2014年的电力负荷数据和电价数据，分析电价与负荷的相关性。设置第i天的负荷序列表示为Li＝{li(1),li(2),...,li(t),...,li(T)}，li(t)代表当天t时刻的负荷值，T为总的采样时刻。设置第i天的电价序列表示为Ai＝{ai(1),ai(2),ai(3),...,ai(T)}，代表当天T个采样时刻的电价值。数据采样间隔设置为0.5h，T＝48。利用式(1)计算变量Li和Ai的互信息I(L,A)，p(li)表示采样负荷中出现li负荷值的天数与采样总天数的比值，p(ai)表示采样负荷中出现ai电价值的天数与采样总天数的比值，p(li,ai)表示采样负荷中出现同时出现li、ai的天数与采样总天数的比值。为了使结果便于观察，对结果进行归一化处理到[0,1]。结果显示，I(L,A)>0.6的天数为1253，占采样总天数的68.7％。I(L,A)>0.5的天数为1381天，占采样总天数的75.6％。结果说明电价可以影响负荷。选取I(L,A)>0.5的数据作为负荷预测初始数据。
(2)负荷数据在收集过程中，受各种因素影响，会出现数据丢失和数据记录错误的情况。如果在用模型进行负荷预测时使用这样的数据，必然会出现较大的误差，需要对互信息选出数据进行预处理操作。识别异常数据并进行改正，对缺失数据进行填补。处理步骤是：
1)负荷数据具有时序性，一般是连续且平滑的，对于某一时刻的负荷值，相较其前后时刻负荷值不会发生太大改变。如果改变过大，则认为是异常点。此时采用数据处理方法中的水平处理方法，计算公式如下
如果
max[|Y(d,t)-Y(d,t-1)|,|Y(d,t)-Y(d,t+1)|]＞ε(t) (2)
则有
Figure BDA0002715167520000061
式中，Y(d,t)、Y(d,t+1)、Y(d,t-1)分别表示第d天t时刻、t+1时刻、t-1时刻的电力负荷值，ε(t)为阈值。
2)电力负荷数据相对历史负荷的同一时刻具有相似性，因此工作日和休息日某一时刻的负荷值和相邻工作日或休息日同一时刻的负荷不应有太大差距，若负荷值相差较大，则认为是异常点，此时用垂直处理方法进行修正，计算公式为
如果
|Y(d,t)-m(t)|＞r(t) (4)
则有
Figure BDA0002715167520000062
式中，m(t)为近几天t时刻负荷的平均值，r(t)为阈值。
3)对于负荷原始数据的缺失值，本文采用聚类的方式，取相似度最大的三个类型日，然后所求时刻负荷值用所对应的三日对应时刻的平均值填充。
(3)构建神经网络模型LSTM输入特征向量，选取特征因子，具体包括：
在输入特征向量中，考虑电价因素，选取以下10个特征因子作为输入特征向量，用Ui(t)＝[pi(t),vi(t),oi(t),ci(t),hi(t),ri(t),li-1(t),li-1(t-1),wi(t),fi(t)]表示，t为预测点时刻，具体内容如表1所示。节假日因素在处理时进行离散化，工作日wi(t)＝0，节假日fi(t)＝1。
表1选取特征因子
Figure BDA0002715167520000071
为方便后续数据处理，对特征因子进行归一化处理，采用的是min-max归一化方法，范围在[0,1]之间，计算公式如下
Figure BDA0002715167520000072
式中，x*为归一化后的值，x为原始数据值，xmax为数据中最大的样本值，xmin为数据中最小的样本值。
(4)将归一化处理后输入特征向量从LSTM(长短期记忆神经网络)的输入层到隐藏层进行训练，得到训练后特征向量，具体步骤是：
1)LSTM模型定义
传统的循环神经网络(RNN)会出现梯度消失和梯度爆炸问题，LSTM作为一种特殊的RNN，能够很好地解决此类问题。LSTM具有良好的记忆能力，可以学习时间序列长短期依赖信息，在对负荷预测时，能从负荷历史数据中寻找规律信息。LSTM这些优势是通过对神经元增加“门”信息来实现的，其具体结构如图2所示。
LSTM的基本神经单元中较普通RNN新增了三个“门”，分别是输入门it、遗忘门ft、输出门ot。这三个门是三个系数，取值范围均在[0,1]之间。输入门主要是用来判断更新哪些属性以及新属性的内容，遗忘门是为了遗忘以前无用的状态信息，输出门决定输出什么，三个门都由上个单元输出ht-1和当前时刻输入xt共同决定。输入门it、遗忘门ft、输出门ot和神经元A当前时刻的候选状态值gt计算公式如下
ft＝σ(Wfxxt+Wfhht-1+bf) (7)
it＝σ(Wixxt+Wihht-1+bi) (8)
ot＝σ(Woxxt+Wohht-1+bo) (9)
gt＝tanh(Wgxxt+Wghht-1+bg) (10)
式中，Wfh，Wih，Woh，Wgh，Wfx，Wix，Wox，Wgx分别表示相应门与上个单元输出ht-1和当前时刻输入xt相乘得到的矩阵权重，bf，bi，bo，bg为偏置项，σ为sigmoid函数，激活函数为tanh。
新状态值St由上一时刻的状态值St-1、遗忘门ft、输入门it以及神经元A当前时刻的候选状态值gt决定，得到新状态值St后，可得到当前神经元A输出值ht，表示为
St＝ft·St-1+it·gt (11)
ht＝ot·tanh(St) (12)
式中，·表示各相乘向量中的元素按位乘积。
2)LSTM隐藏层层数确定
LSTM隐藏层的主要作用是通过不断地学习训练提取有价值的信息，遗忘丢掉无价值的信息。本质上讲，LSTM的隐藏层层数越多，非线性拟合能力越强，模型的其学习效果自然越好。但是层数多的训练需要花费大量时间，用户体验感差，因此，应选择一种用时较少而训练效果较好的方案。本模型设置LSTM为4层，具体步骤为：
选取江苏省某市的2013到2017年的电力负荷数据以及气象数据，共49万多条。其中2013至2015年的数据作为训练集，2016至2017年数据作为测试集。选用的数据特征因子如表1所示。选取平均绝对百分比误差(MAPE)指标作为本实验评估标准，MAPE数值越小代表模型训练效果越好，MAPE度量标准计算公式如下
Figure BDA0002715167520000091
式中，n为预测点总时刻个数，lact(i)表示i时刻负荷的真实值，lpred(i)表示i时刻负荷的预测值。
通过控制变量的形式来逐渐对模型进行调优处理。在模型训练轮数、训练批次大小、特征数一定的情况下，通过不断增大LSTM的隐藏层层数来测试负荷预测效果，实验结果如表2所示。从中可以看出，在LSTM隐藏层层数不断增大的过程中，yMAPE的值也不断减小，模型效果逐渐变好。但当LSTM隐藏层层数为4层时，随着层数的增加，yMAPE虽然在减小但改变微弱，效果一般。因此在训练时考虑不要浪费大量时间又能够保证推荐效果的情况下，选择4层隐藏层层数。
表2不同LSTM训练层数负荷预测结果
Figure BDA0002715167520000092
模型每层神经元A的个数是2n个，而且训练的第一层神经元个数不能太少，否则无法保证训练效果。因此第一层神经元个数设置为512，二、三、四层神经元个数分别设置为256、128和64。神经元数目依次递减的主要原因是缩小数据流的体量，尽量避免冗余数据的干扰。另外，随着数据的增加全连接层的参数会成倍增长，因此这样压缩数据的好处是全连接层接收到的参数会减少，所以进入全连接层之前适当的压缩是非常重要的。
3)将10个特征因子组成的输入特征向量Ui(t)＝[pi(t),vi(t),oi(t),ci(t),hi(t),ri(t),li-1(t),li-1(t-1),wi(t),fi(t)]作为LSTM的输入，进行4层训练，LSTM步长设置为10，得到训练后的输入特征向量U'i(t)。
(5)Attention机制赋予LSTM训练后特征向量权重的步骤是：
1)Attention机制定义
Attention机制是一种模拟人类视觉所持有的大脑信号处理机制，借鉴了人脑通过快速扫描信息获得想要关注的焦点或目标区域，后续对所获得的关注点投入更多注意力，而其他无用信息会被忽略。Attention机制的基本思想就是能够筛选有用信息，而其达到这样效果的实质是对LSTM隐藏层的输出序列，即训练后的输入特征向量U'i(t)进行计算，得到特征权重向量hk'，找到更重要的影响因素，提高了信息处理的效率与准确性。
将Attention机制引入到LSTM中，能够找到影响负荷的重要因素，忽略无关因素，以此提升LSTM负荷预测的效果。
2)计算特征权重向量
计算当前时刻t对LSTM隐藏层输出序列中元素所分配的注意力权重ati，公式如下：
Figure BDA0002715167520000101
式中，i表示LSTM隐藏层输出序列中的序号，Th表示LSTM隐藏层输出序列的长度，eti表示t时刻LSTM隐藏层输出序列中待编码的元素和其它元素之间的匹配度。
计算特征权重向量hk'，公式如下：
hk'＝H(C,st,ht) (15)
其中
Figure BDA0002715167520000111
式中，H(*)表示特征权重向量函数，ht表示LSTM隐藏层输出序列，st表示与LSTM隐藏层输出序列ht相对应的Attention机制的隐藏层状态。
(6)将特征权重向量hk'，训练后的特征向量U'i(t)输入LSTM的全连接层，经过全连接层的训练，得到最终预测值yt，即短期负荷的预测值进行输出。
为验证采用本发明提供的计及电价和Attention机制的LSTM短期负荷预测模型能够提高负荷预测的准确度，发明人分别采用本发明提供的方法和现有技术中预测精度较高的随机森林、循环神经网络(RNN)、长短期记忆神经网络算法(LSTM)进行对比，数据依旧采用步骤(4)中第2)步中提到的数据。
发明人计算了采用本发明提供的预测模型以及对比方法的平均绝对百分比误差(MAPE)，以及本发明方法和其他对比方法的预测精度(FA)的比较。其中
Figure BDA0002715167520000112
式中，n为预测点总个数，lact(i)表示i时刻负荷的真实值，lpred(i)表示i时刻负荷的预测值。
表3给出了对2017年1月到6月半年及其中随机一天连续进行短期负荷预测的平均绝对百分比误差yMAPE值和预测精度平均值yFA,avg，图3给出了某天24小时四种模型负荷预测的绝对百分比误差yMAPE值，每隔1小时计算一次。从表3中可以看出，Attention-LSTM模型在几种模型中的yMAPE和yFA,avg最小，说明其预测效果均好于其它模型。从图3可以看出，采用本发明的Attention-LSTM模型的yMAPE值除了在个别点比其他方法稍大以外，整体效果最好，远低于其他方法，预测效果最准确。以上证明了本发明提出方法的可行性与准确性。
表3模型预测结果
Figure BDA0002715167520000113
Figure BDA0002715167520000121
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种计及电价和Attention机制的LSTM短期负荷预测方法，其特征在于：包括如下步骤：
构建LSTM输入特征向量Ui(t)，所述输入特征向量Ui(t)包括与电网相关的电价、温度、湿度、降雨、负荷的数量，并对输入特征向量进行归一化处理，得到处理后输入特征向量Ui(t)；
将处理后特征向量Ui(t)输入LSTM的隐藏层进行训练，得到训练后特征向量U′i(t)；
利用Attention机制对训练后特征向量U′i(t)进行计算，得到特征权重向量hk'；
将特征权重向量hk'，训练后的特征向量U′i(t)输入LSTM的全连接层，经过全连接层的训练，得到最终负荷预测值yt。
2.根据权利要求1所述的一种计及电价和Attention机制的LSTM短期负荷预测方法，其特征在于：所述输入特征向量Ui(t)的特征因子至少包括pi(t)、vi(t)、oi(t)、ci(t)、hi(t)、ri(t)、li-1(t)、li-1(t-1)、wi(t)、fi(t)其中一种，分别表示为：峰时电价、谷时电价、平时电价、预测点时刻的预测温度、预测点时刻的预测湿度、预测点时刻的降雨可能性、预测点前一天同时刻负荷值、预测点前一天前一时刻负荷值、工作日、节假日，其中，i代表天，t代表每天中的时刻。
3.根据权利要求1所述的一种计及电价和Attention机制的LSTM短期负荷预测方法，其特征在于：所述LSTM包括：输入门it、遗忘门ft、输出门ot，其中输入门it、遗忘门ft、输出门ot和当前神经元A的候选状态值gt计算公式如下：
ft＝σ(Wfxxt+Wfhht-1+bf)
it＝σ(Wixxt+Wihht-1+bi)
ot＝σ(Woxxt+Wohht-1+bo)
gt＝tanh(Wgxxt+Wghht-1+bg)
式中，Wfh，Wih，Woh，Wgh，Wfx，Wix，Wox，Wgx分别表示相应门与上个单元输出ht-1和当前时刻输入xt相乘得到的矩阵权重，bf，bi，bo，bg为偏置项，σ为sigmoid函数，激活函数为tanh；
新状态值St由上一时刻的状态值St-1、遗忘门ft、输入门it以及当前时刻的候选状态值gt决定，得到新状态值St后，可得到输出值ht，表示为
St＝ft·St-1+it·gt
ht＝ot·tanh(St)
式中，·表示各相乘向量中的元素按位乘积。
4.根据权利要求1所述的一种计及电价和Attention机制的LSTM短期负荷预测方法，其特征在于：所述LSTM的隐藏层层数设置为4。
5.根据权利要求4所述的一种计及电价和Attention机制的LSTM短期负荷预测方法，其特征在于：所述LSTM的第一、二、三、四隐藏层的神经元个数分别设置为512、256、128和64。
6.根据权利要求2所述的一种计及电价和Attention机制的LSTM短期负荷预测方法，其特征在于：所述预测点前一天同时刻负荷值、预测点前一天前一时刻负荷值与价格的互信息归一化数值大于阈值。
7.根据权利要求6所述的一种计及电价和Attention机制的LSTM短期负荷预测方法，其特征在于：所述阈值设置为0.5。
8.根据权利要求2所述的一种计及电价和Attention机制的LSTM短期负荷预测方法，其特征在于：对所述预测点前一天同时刻负荷值、预测点前一天前一时刻负荷值中异常数据进行改正，缺失数据进行填补，具体步骤如下：
1)对于某一时刻的负荷值，相较其前后时刻负荷值改变大于阈值，则认为是异常数据，采用水平处理方法进行改正，计算公式如下
如果
max[|Y(d,t)-Y(d,t-1)|,|Y(d,t)-Y(d,t+1)|]＞ε(t)
则有
Figure FDA0002715167510000021
式中，Y(d,t)、Y(d,t+1)、Y(d,t-1)分别表示第d天t时刻、t+1时刻、t-1时刻的电力负荷值，ε(t)为阈值；
2)若负荷工作日和休息日某一时刻的负荷值和相邻工作日或休息日同一时刻的负荷值相差大于阈值，则认为是异常数据，采用垂直处理方法进行改正，计算公式为
如果
|Y(d,t)-m(t)|＞r(t)
则有
Figure FDA0002715167510000031
式中，m(t)为近几天t时刻负荷的平均值，r(t)为阈值；
3)对于负荷原始数据的缺失值，采用聚类的方式，取相似度最大的三个类型日，用所求时刻负荷值对应的三个类型日对应时刻的平均值填补。
9.根据权利要求1所述的一种计及电价和Attention机制的LSTM短期负荷预测方法，其特征在于：所述特征权重向量hk'计算公式如下：
hk'＝H(C,st,ht)
其中：
Figure FDA0002715167510000032
Figure FDA0002715167510000033
式中，i表示LSTM隐藏层输出序列中的序号，Th表示LSTM隐藏层输出序列的长度，eti表示t时刻LSTM隐藏层输出序列中待编码的元素和其它元素之间的匹配度，H(*)表示特征权重向量函数，ht表示LSTM隐藏层输出序列，st表示与LSTM隐藏层输出序列ht相对应的Attention机制的隐藏层状态。
10.一种计及电价和Attention机制的LSTM短期负荷预测装置，其特征在于：包括如下模块：
第一模块：用于构建LSTM输入特征向量Ui(t)，所述输入特征向量Ui(t)包括与电网相关的电价、温度、湿度、降雨、负荷的数量，并对输入特征向量进行归一化处理，得到处理后输入特征向量Ui(t)；
第二模块：用于将处理后特征向量Ui(t)输入LSTM的隐藏层进行训练，得到训练后特征向量U′i(t)；
第三模块：用于利用Attention机制对训练后特征向量U′i(t)进行计算，得到特征权重向量hk'；
第四模块：用于将特征权重向量hk'，训练后的特征向量U′i(t)输入LSTM的全连接层，经过全连接层的训练，得到最终负荷预测值yt。
CN202011075454.7A 2020-10-09 2020-10-09 一种计及电价和Attention机制的LSTM短期负荷预测方法及装置 Pending CN112288137A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011075454.7A CN112288137A (zh) 2020-10-09 2020-10-09 一种计及电价和Attention机制的LSTM短期负荷预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011075454.7A CN112288137A (zh) 2020-10-09 2020-10-09 一种计及电价和Attention机制的LSTM短期负荷预测方法及装置

Publications (1)

Publication Number Publication Date
CN112288137A true CN112288137A (zh) 2021-01-29

Family

ID=74422440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011075454.7A Pending CN112288137A (zh) 2020-10-09 2020-10-09 一种计及电价和Attention机制的LSTM短期负荷预测方法及装置

Country Status (1)

Country Link
CN (1) CN112288137A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627070A (zh) * 2021-05-24 2021-11-09 国网新疆电力有限公司经济技术研究院 一种短期光伏功率预测方法
CN113779879A (zh) * 2021-09-06 2021-12-10 安徽大学 一种基于LSTM-seq2seq-attention模型的中长期用电异常检测方法
CN114177747A (zh) * 2021-12-02 2022-03-15 昆岳互联环境技术(江苏)有限公司 一种基于机器学习算法的烟气脱硫二氧化硫浓度预测方法
CN114187059A (zh) * 2021-12-27 2022-03-15 广东工业大学 一种短期电价预测方法
EP4089616A4 (en) * 2021-03-29 2023-07-19 State Grid Blockchain Technology (Beijing) Co., Ltd. BLOCKCHAIN-BASED GREEN CERTIFICATE TRANSACTION SYSTEM

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王金睿: "基于电力市场的短期负荷预测研究与应用", 《中国优秀硕士学位论文全文数据库》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4089616A4 (en) * 2021-03-29 2023-07-19 State Grid Blockchain Technology (Beijing) Co., Ltd. BLOCKCHAIN-BASED GREEN CERTIFICATE TRANSACTION SYSTEM
JP7337277B2 (ja) 2021-03-29 2023-09-01 国網区▲クゥアィ▼鏈科技（北京）有限公司 ブロックチェーンに基づくグリーン証書取引システム
CN113627070A (zh) * 2021-05-24 2021-11-09 国网新疆电力有限公司经济技术研究院 一种短期光伏功率预测方法
CN113779879A (zh) * 2021-09-06 2021-12-10 安徽大学 一种基于LSTM-seq2seq-attention模型的中长期用电异常检测方法
CN114177747A (zh) * 2021-12-02 2022-03-15 昆岳互联环境技术(江苏)有限公司 一种基于机器学习算法的烟气脱硫二氧化硫浓度预测方法
CN114187059A (zh) * 2021-12-27 2022-03-15 广东工业大学 一种短期电价预测方法

Similar Documents

Publication Publication Date Title
CN111191841B (zh) 一种电力负荷预测方法、装置、计算机设备及存储介质
CN109816221B (zh) 项目风险决策方法、装置、计算机设备和存储介质
CN112288137A (zh) 一种计及电价和Attention机制的LSTM短期负荷预测方法及装置
CN110705692B (zh) 一种时空注意力网络的非线性动态工业过程产品预测方法
CN110414788B (zh) 一种基于相似日和改进lstm的电能质量预测方法
CN116757534B (zh) 一种基于神经训练网络的智能冰箱可靠性分析方法
CN111563706A (zh) 一种基于lstm网络的多变量物流货运量预测方法
CN110232203B (zh) 知识蒸馏优化rnn短期停电预测方法、存储介质及设备
CN112990556A (zh) 一种基于Prophet-LSTM模型的用户用电能耗预测方法
CN111553543B (zh) 基于TPA-Seq2Seq的电力负荷预测方法及相关组件
CN108876001B (zh) 一种基于孪生支持向量机的短期电力负荷预测方法
CN109583565A (zh) 基于注意力模型长短时记忆网络的洪水预测方法
CN111160626B (zh) 一种基于分解融合的电力负荷时间序列控制方法
CN110443417A (zh) 基于小波变换的多模型集成负荷预测方法
CN110689190A (zh) 一种电网负荷预测方法、装置及相关设备
CN113901977A (zh) 一种基于深度学习的电力用户窃电识别方法及系统
CN112418476A (zh) 一种超短期电力负荷预测方法
CN114065653A (zh) 电力负荷预测模型的构建方法与电力负荷预测方法
CN111985719A (zh) 一种基于改进的长短期记忆网络的电力负荷预测方法
CN112803398A (zh) 基于经验模态分解和深度神经网络的负荷预测方法及系统
CN114444811A (zh) 一种基于注意力机制的铝电解混频数据过热度预测方法
CN116739787B (zh) 基于人工智能的交易推荐方法及系统
CN113762591A (zh) 一种基于gru和多核svm对抗学习的短期电量预测方法及系统
CN112819256A (zh) 一种基于注意力机制的卷积时序房价预测方法
CN116562454A (zh) 一种应用于bim的长短时注意力机制网络的造价预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210129

RJ01 Rejection of invention patent application after publication