CN110222901A - 一种基于深度学习的Bi-LSTM的电负荷预测方法 - Google Patents

Abstract

本发明公开了电负荷预测技术领域的一种基于深度学习的Bi‑LSTM的电负荷预测方法，旨在解决现有技术中电负荷预测效率低，且存在过拟合现象的技术问题，对电负荷数据样本进行归一化预处理；设计多层Bi‑LSTM深度神经网络；将预处理后的电负荷数据输入神经网络模型进行训练；将预测结果反归一化处理。多层Bi‑LSTM有效地增加模型的深度，提高电负荷参数的调节自由度，对先输入的数据进行部分特征的提取，提高了神经网路模型的效率。为防止网络模型层数过多导致训练模型过拟合，模型中加入dropout，减少了过拟合现象。

Description

一种基于深度学习的Bi-LSTM的电负荷预测方法

技术领域

本发明属于电负荷预测技术领域，具体涉及一种基于深度学习的Bi-LSTM的电负荷预测方法。

背景技术

电力工业的发展制约着国民经济和社会的发展，电力系统也为各类的用户提供着不可替代的服务。预测未来电量或者是电力需求量使用情况的同时，电力预测能够减少能源的损耗，避免大马拉小车的情况，科学的电力预测对电力系统进行用电规划、运行和调度有着重大的作用。在决定新的发动机装机时，可以避免不必要的装机储能容量，决定着电网的增容和改建方案，决定电网的建设和发展，电力负荷预测能节约能源、降低成本、较少能耗，提高经济的发展。

目前LSTM应用到科技领域中，可以翻译语言、控制机器人、图像分析、语音识别、预测等，相较于RNN没有梯度爆炸或梯度消失的顾虑，而双向LSTM(Bi-LSTM)克服了远距离传输数据损失，正反向传播预测结果更具有可靠性，单向LSTM神经网络编码只能从前往后，双向LSTM模型可以更好地建立电负荷数据的依赖性，电负荷预测的输出结果考虑到前后因素，具有鲁棒性和准确性。但是现有的神经网路模型存在预测效率低且因网络模型层数过多导致训练模型过拟合现象。

发明内容

本发明的目的在于提供一种基于深度学习的Bi-LSTM的电负荷预测方法，以解决现有技术中电负荷预测效率低，且存在过拟合现象的技术问题。

为达到上述目的，本发明所采用的技术方案是：一种基于深度学习的Bi-LSTM的电负荷预测方法，包括以下步骤：对电负荷数据样本进行归一化预处理；设计多层Bi-LSTM深度神经网络；将预处理后的电负荷数据输入神经网络模型进行训练；将预测结果反归一化处理。

所述电负荷数据样本包括测试样本和训练样本。

所述归一化预处理包括通过以下公式对样本数据进行线性变换，使结果落到[0,1]区间，去除单位限制转为无量纲数据，避免数值问题：

其中，x^*表示归一化后样本数据，x表示样本数据，max表示样本数据的最大值，min表示样本数据的最小值。

所述多层Bi-LSTM深度神经网络的层数由电负荷数据样本的数据量及数据性质决定。

所述多层Bi-LSTM深度神经网络的每一层包括一个Bi-LSTM神经网络，所述多层Bi-LSTM深度神经网络每一层的输出数据作为下一层的输入数据。

所述Bi-LSTM神经网络可表示为：

s_t＝f(Ux_t+Ws_t-1) (7)

s′_t＝f(U′x_t+W′s′_t+1) (8)

o_t＝g(Vs_t+V's_t') (9)

其中，s_t表示t时刻的隐藏层状态，s′_t表示t时刻的反向隐藏层状态，s_t-1表示t-1时刻的隐藏层状态，s′_t+1表示t+1时刻的反向隐藏层状态，o_t表示t时刻的输出层的值，g、f为激活函数，x_t表示输入向量，V表示隐藏层到输出层的权重矩阵，V'表示隐藏层到输出层的反向权重矩阵，U表示输入层到隐藏层的权重矩阵，U′表示输入层到隐藏层的反向权重矩阵，W表示隐藏层之间的权重矩阵，就是隐藏层上一次的值作为这一次的输入的权重，W′表示隐藏层之间的反向权重矩阵，前向层从零时刻开始计算，得到每个时刻的输出，隐藏层状态值为s_t；后向层反向计算，得到每个时刻的输出，反向隐藏层状态值为s′_t，最终的输出结果o_t取决于正向计算结果s_t和反向计算结果s′_t加和。

所述Bi-LSTM神经网络的隐藏层增加，得到多层Bi-LSTM神经网络模型，则多层Bi-LSTM神经网络模型可以表示为：

o_t＝g(V⁽ⁱ⁾s_t ⁽ⁱ⁾+V'⁽ⁱ⁾s′_t ⁽ⁱ⁾) (10)

······

正向计算和反向计算不共享权重，其中，正向计算时，V⁽ⁱ⁾表示第i个隐藏层到输出层的权重矩阵，表示t时刻第i个隐藏层的值，表示t时刻第i-1个隐藏层的值，W⁽ⁱ⁾代表第i个隐藏层到下一隐藏层的权重矩阵，U⁽ⁱ⁾表示第i个隐藏层到输出层的权重矩阵，表示第一个隐藏层状态，U⁽¹⁾表示输入层到第一个隐藏层的权重矩阵，W⁽¹⁾表示第一个隐藏层的权重矩阵；

反向计算时，V'⁽ⁱ⁾表示第i个隐藏层到输出层的反向权重矩阵，表示t时刻第i个反向隐藏层状态，表示t时刻第i-1个反向隐藏层状态，U′⁽ⁱ⁾表示输入层到第i个隐藏层的反向权重矩阵，表示t时刻第i-1个反向隐藏层状态，W′⁽ⁱ⁾表示第i个隐藏层到下一隐藏层的反向权重矩阵，U′⁽¹⁾表示输入层到第1个隐藏层的反向权重矩阵，W′⁽¹⁾表示第一个隐藏层的反向权重矩阵，表示t时刻第一个隐藏层状态，s′_t-1表示t-1时刻隐藏层的值，i表示Bi-LSTM层数i＝0,1,2…∞。

与现有技术相比，本发明所达到的有益效果：多层Bi-LSTM有效地增加模型的深度，提高电负荷参数的调节自由度，对先输入的数据进行部分特征的提取，提高了神经网路模型的效率。为防止网络模型层数过多导致训练模型过拟合，模型中加入dropout，减少了过拟合现象。

附图说明

图1是Bi-LSTM神经网络的模型原理示意图；

图2是本发明实施例提供的一种基于深度学习的Bi-LSTM的电负荷预测方法的多层Bi-LSTM神经网络的模型原理示意图；

图3是本发明实施例提供的一种基于深度学习的Bi-LSTM的电负荷预测方法的电负荷预测流程结构图；

图中，x表示样本输入数据，o表示预测输出数据，s⁽¹⁾、s⁽²⁾···s⁽ⁱ⁾表示Bi-LSTM层数状态。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

表1是某办公楼11月份每天的用电负荷及参数：

表1

具体事例中，获取历史数据的前M个周期参数，如表1所示，历史周期参数应不小于1，参数包括且不限定于时间、温度、天气状况(晴1、多云0..5、有雨0)面积、人口数等，在本发明实施例中，周期参数以时间、高温、低温、天气状况、负荷量为例说明。

基于表1，如果要得到12月份30天的预测负荷，则需要将11月的历史负荷和相关参数作为输入，输入到多层双向LSTM神经网络模型之中，得到预测负荷，具体的，可以调节Bi-LSTM神经网络的层数，使预测负荷与12月份负荷误差达到最小，即为最优层数，同样的，对于其他时刻或时间，可以以相同的方式进行预测，分别得到每个时刻对应的预测负荷，本发明中，短期负荷预测的周期可以是一个月、一天、一个小时，没有具体的限定，视具体的情况而定。

将表1中11月份电负荷数据样本的前70％作为训练样本，其余作为测试样本。在进行电负荷预测前需要对电负荷数据进行归一化预处理，即对样本数据线性变换，使结果落到[0,1]区间，去除单位限制转为无量纲数据，便于比较。电负荷数据分为测试样本和训练样本，通过公式(1)对电负荷数据归一化预处理后，将归一化后的电负荷数据输入神经网络模型训练：

其中，x^*表示归一化后样本数据，x表示样本数据，max表示样本数据的最大值，min表示样本数据的最小值。

如图1、图2、图3所示，设计多层Bi-LSTM深度神经网络，对电负荷数据进行训练；神经网络模型包括以下部分：Bi-LSTM神经网络模型，全链接层和输出层，第一层输出作为第二层Bi-LSTM输入，第二层Bi-LSTM输出结果作为下一层输入结果。

根据基于深度学习的Bi-LSTM的电负荷预测方法的LSTM神经网络模型可以表示为：

f_t＝σ(W_f·[h_t-1，x_t]+b_f) (2)

o_t＝σ(W_o·[h_t-1，x_t]+b_o) (5)

h_t＝o_t*tanh(C_t) (6)

其中，f_t表示遗忘门的值，σ表示sigmoid函数，W_f表示遗忘门的权重矩阵，h_t-1表示t-1时刻的隐藏层状态，x_t表示t时刻的输入，b_f表示遗忘门的偏置项，为临时细胞状态，W_C表示记忆单元的权重矩阵，b_c表示记忆单元偏差值，C_t表示t时刻更新细胞状态，C_t-1表示t-1时刻细胞状态，i_t表示输入门的输出值，o_t表示输出门的值，W_o表示输出门的权重矩阵，b_o表示输出门的偏置项，h_t表示t时刻隐藏层状态，tanh表示状态门的激活函数。

Bi-LSTM神经网络模型表示为：

s_t＝f(Ux_t+Ws_t-1) (7)

s′_t＝f(U′x_t+W′s′_t+1) (8)

o_t＝g(Vs_t+V's_t') (9)

其中，s_t表示t时刻的隐藏层状态，s′_t表示t时刻的反向隐藏层状态，s_t-1表示t-1时刻的隐藏层状态，s′_t+1表示t+1时刻的反向隐藏层状态，o_t表示t时刻的输出层的值，g、f为激活函数，x_t表示输入向量，V表示隐藏层到输出层的权重矩阵，V'表示隐藏层到输出层的反向权重矩阵，U表示输入层到隐藏层的权重矩阵，U′表示输入层到隐藏层的反向权重矩阵，W表示隐藏层之间的权重矩阵，就是隐藏层上一次的值作为这一次的输入的权重，W′表示隐藏层之间的反向权重矩阵，前向层从零时刻开始计算，得到每个时刻的输出，隐藏层状态值为s_t；后向层反向计算，得到每个时刻的输出，反向隐藏层状态值为s′_t，最终的输出结果o_t取决于正向计算结果s_t和反向计算结果s′_t ′的加和。

Bi-LSTM神经网络隐藏层增加，得到多层Bi-LSTM神经网络模型，第i个隐藏层的值表示为则多层双向神经网络模型可以表示为：

······

s_t ⁽¹⁾＝f(U⁽¹⁾x_t+W⁽¹⁾s_t-1) (13)

正向计算和反向计算不共享权重，其中，正向计算时，V⁽ⁱ⁾表示第i个隐藏层到输出层的权重矩阵，表示t时刻第i个隐藏层的值，表示t时刻第i-1个隐藏层的值，W⁽ⁱ⁾代表第i个隐藏层到下一隐藏层的权重矩阵，U⁽ⁱ⁾表示第i个隐藏层到输出层的权重矩阵，表示第一个隐藏层状态，U⁽¹⁾表示输入层到第一个隐藏层的权重矩阵，W⁽¹⁾表示第一个隐藏层的权重矩阵；

反向计算时，V'⁽ⁱ⁾表示第i个隐藏层到输出层的反向权重矩阵，表示t时刻第i个反向隐藏层状态，表示t时刻第i-1个反向隐藏层状态，U′⁽ⁱ⁾表示输入层到第i个隐藏层的反向权重矩阵，表示t时刻第i-1个反向隐藏层状态，W′⁽ⁱ⁾表示第i个隐藏层到下一隐藏层的反向权重矩阵，U′⁽¹⁾表示输入层到第1个隐藏层的反向权重矩阵，W′⁽¹⁾表示第一个隐藏层的反向权重矩阵，表示t时刻第一个隐藏层状态，s_t′_-1表示t-1时刻隐藏层的值，i表示Bi-LSTM层数i＝0,1,2…∞。

电负荷预测过程：电负荷数据序列特征建模，将带有正反标签的电负荷的训练数据送到神经网络模型，经过多层双向模型预测，输出预测结果与每一层Bi-LSTM模型有关：

1)训练数据转化为特征矩阵，输入bi-lstm神经网络模型；

2)构建训练矩阵，输入一个隐藏层；

3)向量输入神经网络Bi-LSTM循环层；

4)循环层输出，应用Dropout以防止过拟合；

5)利用全连接层激活函数，计算得到神经网络模型输入所对应的类别标签；

6)计算分类结果的损失函数，利用逆向传播算法调节参数，进入第2步；

7)经过一定的迭代次数，发现准确度已收敛，可认为完成了神经网络模型的训练。

采用测试样本测试训练过的神经网络模型并预测12月份的天气数据，针对前M个历史周期的参数和神经网络模型，得到预测负荷，对预测数据进行反归一化处理，即利用公式(1)逆向运算，将无量纲的预测数据转化为样本数据。

然后根据预测负荷和历史周期的实际建筑负荷，确定所述的预测误差。例如，在11月的历史周期已知参数基础上预测12月份负荷，与12月份实际负荷相比较确定误差。预测误差可以使用下列公式计算：

其中，RMSE用来衡量观测值同真值之间的偏差，observesed_t是实际值，predicted_t是预测值，N表示预测个数。

深度学习多层Bi-LSTM模型，Bi-LSTM由两个方向相反的连接着同一个输出层的LSTM隐含层构成，输入数据是t-1和t+1的共同结果，每一个吋间节点的输入会分别传到正向和反向的LSTM单元中，它们根据各自的状态产生输出，两者的输出会一起连接到BLSTM的输出节点，共同合并成最终输出，最终的输出状态的序列中包含了时间上的上下文信息。多层LSTM有效地增加模型的深度，提高电负荷参数的调节自由度，对先输入的数据进行部分特征的提取，提高了神经网路模型的效率。为防止网络模型层数过多导致训练模型过拟合，模型中加入dropout，减少过拟合现象。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.一种基于深度学习的Bi-LSTM的电负荷预测方法，其特征是，包括以下步骤：

对电负荷数据样本进行归一化预处理；

设计多层Bi-LSTM深度神经网络；

将预处理后的电负荷数据输入神经网络模型进行训练；

将预测结果反归一化处理。

2.根据权利要求1所述的基于深度学习的Bi-LSTM的电负荷预测方法，其特征是，所述电负荷数据样本包括测试样本和训练样本。

3.根据权利要求1所述的基于深度学习的Bi-LSTM的电负荷预测方法，其特征是，所述归一化预处理包括通过以下公式对样本数据进行线性变换，使结果落到[0,1]区间，去除单位限制转为无量纲数据，避免数值问题：

其中，x^*表示归一化后样本数据，x表示样本数据，max表示样本数据的最大值，min表示样本数据的最小值。

4.根据权利要求1所述的基于深度学习的Bi-LSTM的电负荷预测方法，其特征是，所述多层Bi-LSTM深度神经网络的层数由电负荷数据样本的数据量及数据性质决定。

5.根据权利要求1所述的基于深度学习的Bi-LSTM的电负荷预测方法，其特征是，所述多层Bi-LSTM深度神经网络的每一层包括一个Bi-LSTM神经网络，所述多层Bi-LSTM深度神经网络每一层的输出数据作为下一层的输入数据。

6.根据权利要求5所述的基于深度学习的Bi-LSTM的电负荷预测方法，其特征是，所述Bi-LSTM神经网络可表示为：

s_t＝f(Ux_t+Ws_t-1) (7)

s′_t＝f(U′x_t+W′s′_t+1) (8)

o_t＝g(Vs_t+V's_t') (9)

其中，s_t表示t时刻的隐藏层状态，s′_t表示t时刻的反向隐藏层状态，s_t-1表示t-1时刻的隐藏层状态，s′_t+1表示t+1时刻的反向隐藏层状态，o_t表示t时刻的输出层的值，g、f为激活函数，x_t表示输入向量，V表示隐藏层到输出层的权重矩阵，V'表示隐藏层到输出层的反向权重矩阵，U表示输入层到隐藏层的权重矩阵，U′表示输入层到隐藏层的反向权重矩阵，W表示隐藏层之间的权重矩阵，就是隐藏层上一次的值作为这一次的输入的权重，W′表示隐藏层之间的反向权重矩阵，

前向层从零时刻开始计算，得到每个时刻的输出，隐藏层状态值为s_t；后向层反向计算，得到每个时刻的输出，反向隐藏层状态值为s′_t，最终的输出结果o_t取决于正向计算结果s_t和反向计算结果s′_t的加和。

7.根据权利要求5所述的基于深度学习的Bi-LSTM的电负荷预测方法，其特征是，所述Bi-LSTM神经网络的隐藏层增加，得到多层Bi-LSTM神经网络模型，则多层Bi-LSTM神经网络模型可以表示为：

······

s_t ⁽¹⁾＝f(U⁽¹⁾x_t+W⁽¹⁾s_t-1) (13)

正向计算和反向计算不共享权重，其中，正向计算时，V⁽ⁱ⁾表示第i个隐藏层到输出层的权重矩阵，表示t时刻第i个隐藏层的值，表示t时刻第i-1个隐藏层的值，W⁽ⁱ⁾代表第i个隐藏层到下一隐藏层的权重矩阵，U⁽ⁱ⁾表示第i个隐藏层到输出层的权重矩阵，表示第一个隐藏层状态，U⁽¹⁾表示输入层到第一个隐藏层的权重矩阵，W⁽¹⁾表示第一个隐藏层的权重矩阵；

反向计算时，V'⁽ⁱ⁾表示第i个隐藏层到输出层的反向权重矩阵，表示t时刻第i个反向隐藏层状态，表示t时刻第i-1个反向隐藏层状态，U^′(i)表示输入层到第i个隐藏层的反向权重矩阵，表示t时刻第i-1个反向隐藏层状态，W^′(i)表示第i个隐藏层到下一隐藏层的反向权重矩阵，U^′(1)表示输入层到第1个隐藏层的反向权重矩阵，W^′(1)表示第一个隐藏层的反向权重矩阵，表示t时刻第一个隐藏层状态，s′_t-1表示t-1时刻隐藏层的值，i表示Bi-LSTM层数i＝0,1,2…∞。