CN108830487A - 基于长短时神经网络的电力负荷预测方法 - Google Patents

Abstract

本发明涉及一种基于长短时神经网络的电力负荷预测方法，其包括以下步骤：S1、将预测地电网历史负荷信息、历史温度信息以及节假日信息进行统计处理，将预测地电网历史负荷信息每7天分为一组，由预测日之前6日的历史负荷信息和节假日信息以及预测日当日的温度层级信息和节假日信息共14个神经元信息作为输入，对预测日的负荷进行预测作为训练样本，14个神经元信息和所述训练样本构成训练集；S2、将所述训练集带入长短时神经网络中依次进行前向计算以及反向传播训练，使训练集误差减小到误差阈值以下，得到训练好的长短时神经网络；S3、在训练好的长短时神经网络中输入预测日所需要的神经元信息，对预测日的每一个时间点进行负荷预测。

Description

基于长短时神经网络的电力负荷预测方法

技术领域

本发明属于电力信息技术领域，涉及一种基于长短时神经网络的电力负荷预测方法。

背景技术

负荷预测是电力系统发展规划、燃料计划以及制定发电计划的基础。电力系统负荷预测对电力系统的安全、经济和可靠运行具有非常重要的作用。其中，短期负荷预测是电力系统调度管理部门制订开停机计划及在线安全分析的基础，也是电力市场中实现电能计划管理的基础。神经网络具有很强的非线性拟合能力，能综合考虑影响负荷的各类因素，诸如天气情况、日期类型等，所以神经网络方法被广泛用于电力系统负荷预测，但是如果将各种影响因素都包含在输入层的输入变量中，会造成输入变量过多，加重网络训练负担，非但不能提高预测精度，反而降低了网络预测的性能。因此既考虑影响负荷预测的各种因素，又适当地压缩输入变量，成为基于神经网络的负荷预测方法必须解决的问题。近几年来，人们利用模糊粗糙集方法得到神经网络负荷预测的输入参数，提高了预测精度，但是模糊粗糙集方法计算量较大，进行属性约简所需时间较长。

发明内容

针对现有技术的不足，本发明提供一种基于长短时神经网络的电力负荷预测方法，首先建立训练集，将训练集带入长短时神经网络中进行前向计算以及反向传播训练，使训练集误差减小到0.75以下，然后使用训练好的长短时神经网络对预测日的配电网的负荷进行预测，降低神经网络的训练负荷，提高了预测精度。

本发明是这样实现的：

一种基于长短时神经网络的电力负荷预测方法，其包括以下步骤：

S1、将预测地电网历史负荷信息、历史温度信息以及节假日信息进行统计处理，将预测地电网历史负荷信息每7天分为一组，由预测日之前6日的历史负荷信息和节假日信息以及预测日当日的温度层级信息和节假日信息共14个神经元信息作为输入，对预测日的负荷进行预测作为训练样本，14个神经元信息和所述训练样本构成训练集；

S2、将所述训练集带入长短时神经网络中依次进行前向计算以及反向传播训练，使训练集误差减小到误差阈值以下，得到训练好的长短时神经网络；

S3、在训练好的长短时神经网络中输入预测日所需要的神经元信息，对预测日的每一个时间点进行负荷预测。

优选的，步骤S1中对节假日信息进行处理的具体方法为：采用7天7个神经元表示法，周六周日用0.5表示，国家法定假日用1表示，工作日用0表示。

优选的，步骤S1中温度层级信息的具体划分方法为：将历史负荷信息与温度信息进行画图分析，得到拟合的函数曲线，并根据函数曲线表示的关系将温度分为3个层级，层级阈值分别为0.33、0.67和1；其中，1表示最大功率对应温度，第一个层级为0-0.33倍最大功率对应温度，第二层级为0.33-0.67倍最大功率对应温度，第三层级为0.67-1倍最大功率对应温度。

优选的，所述误差阈值为0.75。

优选的，步骤S2具体包括以下步骤：

S21、分别设置隐藏层状态h及单元状态c进行信息存储，用于短期信息与长期信息记录；

S22、通过遗忘门对上一个细胞单元传递过来的信息进行筛选，其筛选方法如下：

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

其中，W_f是遗忘门的权重矩阵，h_t-1是上一个细胞传来的隐藏层信息，x_t是当前单元的输入神经元信息，b_f是遗忘门的偏置项，σ是sigmoid函数，将输入的数据转化为[0,1]之间的数进行计算；

S23、采用输入门筛选新的输入信息中的有效信息，其筛选方法如下：

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

其中，W_i是输入门的权重矩阵，b_i是输入门的偏置项；

S24、获得上一单元的隐藏层与本单元的输入所构成的本单元隐藏层的暂时状态，其具体函数如下：

其中，W_c是暂态计算的权重矩阵，b_c是其偏置项；

S25、步骤S22、S23和S24获得的结果以及从之前的所有单元继承而来的长期单元信息c_t-1共同经过变换成为新的单元信息c_t，新的单元信息c_t作为对隐藏层状态和单元状态进入到下一单元中，其变换方法如下：

其中，符号o表示按元素乘；

S26、采用输出门进行输出，其具体输出方法如下：

o_t＝σ(W_o·[h_t-1,x_t]+b_o)

其中，W_o是输入门的权重矩阵，b_o是输入门的偏置项，

S27、步骤S26输出门的输出结果结合步骤S25的单元信息确定长短时神经元的最终输出ht，具体方法如下：

最终输出ht作为隐藏层状态和单元状态进入到下一单元中；

S28、误差项向上一层传播时，假设误差项是损失函数对输出值的导数，其表达式如下：

由于

net_f,t＝W_f[h_t-1,x_t]+b_f

net_i,t＝W_i[h_t-1,x_t]+b_i

net_c,t＝W_c[h_t-1,x_t]+b_c

net_o,t＝W_o[h_t-1,x_t]+b_o

则获得网络中四个加权输入所对应的误差项为：

其中，δ_x,t分别为δ_f,t、δ_i,t、δ_c,t或δ_o,t；

S29、误差项沿时间反向传递时，获得t-1时刻的误差项δ_t-1，具体方法如下：

将误差项向前传递到任意k时刻：

S210、将误差项传递到上一层时，本次长短时神经单元的输入x_t为：其中f^l-1表示第l-1层的激活函数，则全导数函数为：

S211、偏置项与权重矩阵的梯度为：

S212、根据计算出的梯度公式，将误差回传以挑战网络层的各权重矩阵与偏置项值，将误差减小到误差阈值以下。

与现有技术相比，本发明具有以下有益效果：

本发明提供一种基于长短时神经网络的电力负荷预测方法，采用能够解决长期依赖问题、记住长时间段信息的长短时神经网络，进行电力负荷预测，能够避免递归神经网络(RNN)的梯度消失问题。首先建立训练集，将训练集带入长短时神经网络中进行前向计算以及方向传播训练，使训练集误差减小到0.75以下，然后使用训练好的网络对预测日的负荷进行预测，降低神经网络的训练负荷，提高了预测精度。

附图说明

图1为本发明的流程图；

图2为负荷随温度的变化曲线；

图3为长短时神经网络的结构图；

图4为预测日每个整数时间点的预测值。

具体实施方式

以下将参考附图详细说明本发明的示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

一种基于长短时神经网络的电力负荷预测方法，其包括以下步骤：

S1、将预测地电网历史负荷信息、历史温度信息以及节假日信息进行统计处理，将预测地电网历史负荷信息每7天分为一组，由预测日之前6日的历史负荷信息和节假日信息以及预测日当日的温度层级信息和节假日信息共14个神经元信息作为输入，对预测日的负荷进行预测作为训练样本，14个神经元信息和训练样本构成训练集；

对节假日信息进行处理的具体方法为：采用7天7个神经元表示法，周六周日用0.5表示，国家法定假日用1表示，工作日用0表示，温度层级信息的具体划分方法为：将历史负荷信息与温度信息进行画图分析，得到拟合的函数曲线，并根据函数曲线表示的关系将温度分为3个层级，层级阈值分别为0.33、0.67和1；其中，1表示最大功率对应温度，第一个层级为0-0.33倍最大功率对应温度，第二层级为0.33-0.67倍最大功率对应温度，第三层级为0.67-1倍最大功率对应温度。

S2、将所述训练集带入长短时神经网络中依次进行前向计算以及反向传播训练，使训练集误差减小到误差阈值以下，得到训练好的长短时神经网络，具体步骤如下：

长短时神经网络为了对短期信息与长期信息进行记录，分别设置隐藏层状态h及单元状态c进行信息的存储，信息的筛选与合并通过遗忘门、输入门和输出门三个全连接门来实现；

S21、为了对短期信息与长期信息记录，首先分别设置隐藏层状态h及单元状态c进行信息存储；

S22、通过遗忘门对上一个细胞单元传递过来的信息进行筛选，其筛选方法如下：

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

其中，W_f是遗忘门的权重矩阵，h_t-1是上一个细胞传来的隐藏层信息，x_t是当前单元的输入神经元信息，b_f是遗忘门的偏置项，σ是sigmoid函数，将输入的数据转化为[0,1]之间的数进行计算；遗忘门的作用是确定来自上一单元的信息中，有多少将会保留下来，进行信息的筛选；

S23、采用输入门筛选新的输入信息中的有效信息，其筛选方法如下：

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

其中，W_i是输入门的权重矩阵，b_i是输入门的偏置项；

S24、获得上一单元的隐藏层与本单元的输入所构成的本单元隐藏层的暂时状态，其具体函数如下：

其中，W_c是暂态计算的权重矩阵，b_c是其偏置项。

S25、步骤S22、S23和S24获得的结果以及从之前的所有单元继承而来的长期单元信息c_t-1共同经过变换成为新的单元信息c_t，新的单元信息c_t作为对隐藏层状态和单元状态进入到下一单元中，其变换方法如下：

其中，符号o表示按元素乘；这样便把长短时神经网络关于当前的记忆和长期的记忆组合在一起，形成了新的单元中状态c_t。

S26、采用输出门进行输出，其具体输出方法如下：

o_t＝σ(W_o·[h_t-1,x_t]+b_o)

其中，W_o是输入门的权重矩阵，b_o是输入门的偏置项，

S27、步骤S26输出门的输出结果结合步骤S25的单元信息确定长短时神经元的最终输出ht，具体方法如下：

最终输出ht作为隐藏层状态和单元状态进入到下一单元中；

遗忘门的控制，使得能保存很久很久之前的信息，输入门的控制又可以避免当前无关紧要的内容进入记忆。输出门又控制了长期记忆对当前输出的影响，通过三个全连接门来实现信息的筛选与合并，提高精度。

长短时神经网络误差项的反向传播包括两个方向：一个是沿时间的反向传播，一个是将误差向上一层传播。

S28、误差项向上一层传播时，假设误差项是损失函数对输出值的导致，其表达式如下：

由于

net_f,t＝W_f[h_t-1,x_t]+b_f

net_i,t＝W_i[h_t-1,x_t]+b_i

net_c,t＝W_c[h_t-1,x_t]+b_c

net_o,t＝W_o[h_t-1,x_t]+b_o

则获得网络中四个加权输入所对应的误差项为：

其中，δ_x,t分别为δ_f,t、δ_i,t、δ_c,t或δ_o,t；

S29、误差项沿时间反向传递时，获得t-1时刻的误差项δ_t-1，具体方法如下：

将误差项向前传递到任意k时刻：

S210、将误差项传递到上一层时，本次长短时神经单元的输入x_t为：其中f^l-1表示第l-1层的激活函数，则全导数函数为：

S211、偏置项与权重矩阵的梯度为：

S212、根据计算出的梯度公式，将误差回传以挑战网络层的各权重矩阵与偏置项值，将误差减小到误差阈值以下。

S3、在训练好的长短时神经网络中输入预测日所需要的神经元信息，对预测日的每一个时间点进行负荷预测。

优选的，误差阈值为0.75。

统计某电力公司1997-1998年每30分钟的负荷数据以及每天的温度、节假日类型等数据，根据这些数据及每天的温度、节假日等数据预测1999年1月31日每天的负荷，采用本发明的方法对其进行预测。

S1、将该电力公司所在地的电网历史负荷信息、历史温度信息以及节假日信息进行统计处理；

S11、将历史负荷数据集分组，以连续7天为一组，前6天作为输入元的一部分，第7天作为标准输出。

S12、画出1998年0:30分的负荷随1998年温度的变化曲线，如图2所示，采用3阶傅里叶进行拟合，并对负荷进行分档处理，分档公式如下：

S13、统计电力公司所在地的节假日信息，使用七分类方法，以7天7个神经元作为输入，将法定节假日设定为1，周六周日设为0.5，工作日设为0。

S14、将14个神经元信息和训练样本构成的训练集进行标准化处理，所使用的标准化函数如下：同时使用sigmoid函数：作为激活函数，将数据归一化。

S2、建立初始长短时神经网络，即LSTM网络，将训练集带入初始LSTM网络中进行前向计算和反向传播训练。LSTM网络结构如图3所示。

(1)确定隐藏层节点个数，使用经验公式：其中，l为隐藏层节点个数，m是输入层节点个数，n为输出层节点个数。ɑ一般是1～10之间的常数。在本实施例中，m＝14,n＝1,取ɑ＝3，因此得到隐藏层节点数为7。

(2)初始化网络参数，在训练前，使用随机数方式为输入门、输出门和遗忘门设置其相应的偏置和权值矩阵。

首先，进行前向计算：

S21、LSTM网络为了对短期信息与长期信息记录，分别设置隐藏层状态h及单元状态c进行信息存储。而信息的筛选合并通过遗忘门、输入门、输出门三个全连接门来实现。

S22、在LSTM的前向计算中，首先通过遗忘门对上一个细胞单元传递过来的信息进行筛选，其筛选方式如下：

f_t＝σ(W_f·[h_t-1,x_t]+b_f) (1)

其中，W_f是遗忘门的权重矩阵，h_t-1是上一个细胞传来的隐藏层信息，x_t是当前单元的输入神经元信息，b_f是遗忘门的偏置项，σ是sigmoid函数，将输入的数据转化为[0,1]之间的数进行计算。

S23、第二阶段是输入门，输入门将会确定新的输入信息里有多少是有效的能被使用的信息，其选择方式如下：

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (2)

其中，W_i是输入门的权重矩阵，b_i是输入门的偏置项。

S24、计算上一单元的隐藏层与本单元的输入所构成的本单元隐藏层的暂时状态，其计算方式如下：

其中，W_c暂态计算的权重矩阵，b_c是其偏置项，tanh是tanh函数。

S25、由式(1)、式(2)和式(3)三项计算结果，再加上从之前的所有单元继承而来的长期单元信息c_t-1，共同经过计算变换形成新的单元信息c_t。其计算公式如下：

其中，符号o表示按元素乘。

S26、进行输出的计算，首先是输出门，它控制了长期记忆对当前输出的影响：

o_t＝σ(W_o·[h_t-1,x_t]+b_o) (5)

其中，W_o是输入门的权重矩阵，b_o是输入门的偏置项。

S27、LSTM的最终输出，由上式的输出门与式(4)的单元状态共同决定：

(6)式(6)、式(4)的结果将分别作为隐藏层状态和单元状态进入到下一单元中。

然后，进行反向传播

LSTM误差项的反向传播包括两个方向：一个是沿时间的反向传播，一个是将误差项向上一层传播。

S28、首先在计算向上一层传递的误差项时，我们假设误差项时损失函数对输出值的导致。其定义公式如下：

网络中四个加权输入所对应的误差项：

S29、另一方向是误差项沿时间的反向传递，即计算t-1时刻的误差项δ_t-1，其计算方法如下：

由上方前向计算的公式4、6，将误差项向前传递到任意k时刻的公式为：

S210将误差项传递到上一层时，本次LSTM单元的输入x_t为：其中f^l-1表示第l-1层的激活函数。使用全导数计算可得：

S211、计算偏置项与权重矩阵的梯度：

根据计算出的梯度公式，将误差回传以挑战网络层的各权重矩阵与偏置项值。

通过训练好的LSTM网络输入预测日所需使用的神经元信息，以对每一个时间点进行负荷预测。预测结果如图4所示，从图中可以看出，预测值与实际负荷的误差在5％以下。

最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于长短时神经网络的电力负荷预测方法，其特征在于：其包括以下步骤：

S1、将预测地电网历史负荷信息、历史温度信息以及节假日信息进行统计处理，将预测地电网历史负荷信息每7天分为一组，由预测日之前6日的历史负荷信息和节假日信息以及预测日当日的温度层级信息和节假日信息共14个神经元信息作为输入，对预测日的负荷进行预测作为训练样本，14个神经元信息和所述训练样本构成训练集；

S2、将所述训练集带入长短时神经网络中依次进行前向计算以及反向传播训练，使训练集误差减小到误差阈值以下，得到训练好的长短时神经网络；

S3、在训练好的长短时神经网络中输入预测日所需要的神经元信息，对预测日的每一个时间点进行负荷预测。

2.根据权利要求1所述的基于长短时神经网络的电力负荷预测方法，其特征在于：步骤S1中对节假日信息进行处理的具体方法为：采用7天7个神经元表示法，周六周日用0.5表示，国家法定假日用1表示，工作日用0表示。

3.根据权利要求2所述的基于长短时神经网络的电力负荷预测方法，其特征在于：步骤S1中温度层级信息的具体划分方法为：将历史负荷信息与温度信息进行画图分析，得到拟合的函数曲线，并根据函数曲线表示的关系将温度分为3个层级，层级阈值分别为0.33、0.67和1；其中，1表示最大功率对应温度，第一个层级为0-0.33倍最大功率对应温度，第二层级为0.33-0.67倍最大功率对应温度，第三层级为0.67-1倍最大功率对应温度。

4.根据权利要求1所述的基于长短时神经网络的电力负荷预测方法，其特征在于：所述误差阈值为0.75。

5.根据权利要求1所述的基于长短时神经网络的电力负荷预测方法，其特征在于：步骤S2具体包括以下步骤：

S21、分别设置隐藏层状态h及单元状态c进行信息存储，用于短期信息与长期信息记录；

S22、通过遗忘门对上一个细胞单元传递过来的信息进行筛选，其筛选方法如下：

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

其中，W_f是遗忘门的权重矩阵，h_t-1是上一个细胞传来的隐藏层信息，x_t是当前单元的输入神经元信息，b_f是遗忘门的偏置项，σ是sigmoid函数，将输入的数据转化为[0,1]之间的数进行计算；

S23、采用输入门筛选新的输入信息中的有效信息，其筛选方法如下：

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

其中，W_i是输入门的权重矩阵，b_i是输入门的偏置项；

S24、获得上一单元的隐藏层与本单元的输入所构成的本单元隐藏层的暂时状态，其具体函数如下：

其中，W_c是暂态计算的权重矩阵，b_c是其偏置项；

S25、步骤S22、S23和S24获得的结果以及从之前的所有单元继承而来的长期单元信息c_t-1共同经过变换成为新的单元信息c_t，新的单元信息c_t作为对隐藏层状态和单元状态进入到下一单元中，其变换方法如下：

其中，符号o表示按元素乘；

S26、采用输出门进行输出，其具体输出方法如下：

o_t＝σ(W_o·[h_t-1,x_t]+b_o)

其中，W_o是输入门的权重矩阵，b_o是输入门的偏置项，

S27、步骤S26输出门的输出结果结合步骤S25的单元信息确定长短时神经元的最终输出ht，具体方法如下：

最终输出ht作为隐藏层状态和单元状态进入到下一单元中；

S28、误差项向上一层传播时，假设误差项是损失函数对输出值的导数，其表达式如下：

由于

net_f,t＝W_f[h_t-1,x_t]+b_f

net_i,t＝W_i[h_t-1,x_t]+b_i

net_c,t＝W_c[h_t-1,x_t]+b_c

net_o,t＝W_o[h_t-1,x_t]+b_o

则获得网络中四个加权输入所对应的误差项为：

其中，δ_x,t分别为δ_f,t、δ_i,t、δ_c,t或δ_o,t；

S29、误差项沿时间反向传递时，获得t-1时刻的误差项δ_t-1，具体方法如下：

将误差项向前传递到任意k时刻：

S210、将误差项传递到上一层时，本次长短时神经单元的输入x_t为：其中f^l-1表示第l-1层的激活函数，则全导数函数为：

S211、偏置项与权重矩阵的梯度为：

S212、根据计算出的梯度公式，将误差回传以挑战网络层的各权重矩阵与偏置项值，将误差减小到误差阈值以下。