CN112232561B - 基于约束并行lstm分位数回归的电力负荷概率预测方法 - Google Patents

Abstract

本发明公开了基于约束并行LSTM分位数回归的电力负荷概率预测方法，包括收集多个样本日的负荷功率和影响因素数据，形成数据集；设置模型超参数；建立约束并行LSTM模型，对约束并行LSTM模型中各个分位点LSTM进行预训练，获得权重、偏置参数集；对约束并行LSTM模型进行整体训练，训练过程中对权重、偏置参数进行微调，确定约束并行LSTM模型的最佳权重、偏置参数；将验证集输入训练好的约束并行LSTM模型，根据验证误差选出模型的最佳超参数；将测试样本输入具有最佳超参数的约束并行LSTM模型，对约束并行LSTM模型输出的预测结果进行反归一化。本发明采用约束并行LSTM模型进行电力负荷的分位数回归预测，使得预测负荷概率分布更合理，避免分位数预测值之间的交叉。

Description

基于约束并行LSTM分位数回归的电力负荷概率预测方法

技术领域

本发明属于电力负荷预测领域，具体涉及一种基于约束并行LSTM分位数回归的电力负荷概率预测方法。

背景技术

短期电力负荷预测是电力系统安全、经济运行的基础，为电力系统规划和运行、能源交易、机组启停、经济调度等提供重要信息。提高负荷预测的准确率有助于提高电力设备的利用率，并最大程度地减少能源浪费。

目前，负荷概率预测方法主要包括区间估计、核密度估计和分位数回归等。前两种方法主要基于点预测误差的参数统计估计概率分布，而分位数回归可直接解释不同分位点下响应变量和因变量之间的关系，成为近年来负荷概率预测文献关注的热点。但是，分位数回归的分位数预测值存在交叉的现象而导致不合理。

负荷概率预测方法较多是结合机器学习算法和分位数回归法，构建分位数模型。然而传统的机器学习算法，往往需要利用特征工程对数据进行处理。与传统的机器学习方法相比，深度学习神经网络被证明在应对大数据集的短期负荷预测方面更加有效。尤其是长短期记忆(long short-term memory,LSTM)神经网络，如附图2所示，因为其对时间序列形式的数据具有强适应性而得到了广泛应用。

因此，研究一种基于约束并行LSTM神经网络分位数回归的短期电力负荷概率预测方法。

发明内容

本发明的技术问题是现有的电力负荷的分位数回归方法的分位数预测值存在交叉的现象而导致不合理。

本发明的目的是解决上述问题，提供一种基于约束并行LSTM分位数回归的电力负荷概率预测方法，将LSTM的鲁棒性和记忆特性与分位数回归的概率预测功能相结合，并考虑预测负荷概率分位数的固有特性，加入考虑分位数预测值之间约束关系的组合层，构建约束并行长短期记忆网络模型((constrained parallel Long-Short Term Memory，CP-LSTM)进行电力负荷的分位数回归预测，使得预测负荷概率分布更合理，避免分位数预测值之间的交叉。

本发明的技术方案是基于约束并行LSTM分位数回归的电力负荷概率预测方法，包括以下步骤，

步骤1：收集多个样本日的负荷功率和影响因素数据，形成数据集并分为训练集、验证集和测试集；

步骤2：设置模型超参数；

步骤3：建立约束并行LSTM模型，采用并行式训练方法，对约束并行LSTM模型中各个分位点下并行LSTM进行预训练，获得全局参数集{W(τi),b(τi)}_opt；

步骤4：将得到全局参数集{W(τi),b(τi)}_opt作为约束并行LSTM模型的初始参数，对约束并行LSTM模型进行整体训练，训练过程中对权重、偏置参数进行微调，确定约束并行LSTM模型的最佳权重、偏置参数；

步骤5：将验证集输入训练好的约束并行LSTM模型，根据验证误差选出模型的最佳超参数；步骤6：将测试样本输入具有最佳超参数的约束并行LSTM模型，对约束并行LSTM模型输出的预测结果进行反归一化，得到预测日中各时刻预测负荷的多个分位数预测值；

步骤7：根据步骤6得到的预测负荷的多个分位数，计算得到预测点的概率密度曲线。

优选地，步骤1还包括对数据集的各类数据进行归一化，将数据变量归一化到[-1,1]区间。

具体地，对样本日收集0时～24时相邻时间点间隔15分钟的96点负荷功率数据，选取预测前日的96点负荷功率与预测日的24时刻气温和分区降雨量组成多维特征输入变量向量，以预测日的96点负荷分位数作为输出变量向量，输入变量X_d＝[T_d,R_d]，气温T_d＝[T₁,T₂,…,T₂₄]_d，其中T_i,i∈{1,2,…,24}表示i时测取的天气温度，降雨量R_d＝[R₁,R₂,…,R_M]_d，其中R_j,j∈{1,2,…,M}表示预测地区的第j个子区域的降雨，d∈{1,2,…,D}，D为历史样本总天数，M为预测地区所包含的子区域数。

步骤2中，所述模型超参数包括神经元的数量m、样本的时窗长度l、节点数n和惩罚项参数λ₁、λ₂。

步骤4中，所述对权重、偏置参数进行微调，根据损失函数，运用梯度下降算法对权重、偏置参数进行微调整。

优选地，所述计算得到预测点的概率密度曲线采用高斯核密度估计方法。

优选地，步骤1按照8:1:1的比例，将数据集划分为训练集、验证集和测试集。

优选地，步骤6的预测结果采用计及分位数约束关系的评价指标评价分位数的交叉情况，由分位数的固有属性可知，t时刻的分位数预测值应满足

计及分位数约束关系的指标如下：

其中X_CS表示计及分位数约束关系的评价指标值；是t时刻分位点下的预测值，N为全部测试时刻数，v_t,i为约束违反程度函数，θ＝τ_i+1-τ_i为分位点之间的步长，是一个常数；当相邻分位数之间满足约束关系时，v_t,i为0，而当违背约束关系时，v_t,i为相邻分位数的正差值，反映约束违反的程度。系数项2θ/N为分位数约束误差平方的归一化系数，由此计算出的X_CS为v_t,i在整个测试集样本和全部相邻分位数上的归一化均方根。故可通过X_CS来量化反映分位数的交叉情况。

当概率预测评价指标X_QS和X_CS同时较低时，表明预测得到的分位数具有更好的性能，本发明将两者结合，组成综合评价指标X_QCS：

X_QCS＝X_QS+X_CS

相比现有技术，本发明的有益效果包括：

1)本发明采用CP-LSTM模型进行电力负荷的分位数回归预测，使得预测负荷概率分布更合理，避免分位数预测值之间的交叉；

2)采用并行式训练方法，对约束并行LSTM模型中各个分位点LSTM进行预训练，获得权重、偏置参数集作为CP-LSTM模型的初始参数，再进行整体训练，对权重、偏置参数进行微调，得到约束并行LSTM模型的最佳权重、偏置参数，使得模型预测效率更高，能获得准确的点预测结果；

3)本发明提出的计及分位数约束关系的评价指标，可用于评价分位数的交叉情况。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1为实施例的电力负荷概率预测方法的流程示意图。

图2为LSTM结构示意图。

图3为实施例的CP-LSTM模型的结构示意图。

图4为实施例的并行式训练的示意图。

图5为实施例的Q-LSTM的训练过程示意图。

图6为实施例中不同预测模型得到的测试集样本日的评价指标Xcs的对比示意图。

具体实施方式

如图1所示，基于约束并行LSTM分位数回归的电力负荷概率预测方法，包括以下步骤，步骤1：收集某实际地区2016年1月1日至2017年6月30日每间隔15分钟的负荷数据、气温数据和降雨量，形成数据集并按8:1:1的比例分为训练集、验证集和测试集，输入变量X_d＝[T_d,R_d]，包括预测日24时刻气温T_d＝[T₁,T₂,…,T₂₄]_d和M个分区的降雨量R_d＝[R₁,R₂,…,R_M]_d；考虑到数据之间的数据差别比较大，需要将不同的数据归化到[-1,1]里，经过归一化处理后的输入样本为x'_i；归一化处理前的样本数据为x_i，其最大、最小样本值分别为 x，样本数为N，具体处理公式如下：

步骤2：设置模型超参数，包括神经元数量m、样本时窗长度l、计算节点数n、惩罚参数λ₁、λ₂；实施例中，m的取值为200，时窗长度l的取值为6，λ₁的取值为1，λ₂的取值为20，总样本日为547天；

步骤3：建立约束并行LSTM模型，如图3所示，约束并行LSTM模型包括输入层、隐藏层、输出层和回归层，隐藏层包括多个分位点长短期记忆网络模型(Quantile Long-ShortTerm Memory，Q-LSTM)；采用并行式训练方法，对约束并行LSTM模型中各个分位点下并行LSTM进行预训练，将训练集分为均等的n个子集，利用对应的n个计算节点对网络进行并行训练；如图4所示，神经网络的数据并行式训练通过GPU分布式计算实现，将训练集均等分为多个子集，分配到计算系统的各个节点，每个计算节点负责处理该数据集的一个不同子集，从而减少神经网络训练总时间，每个节点训练其数据子集均会得到一套模型参数，将每个节点训练得到的参数集合，运用梯度下降公式计算新的全局权重集，进而分配给计算系统的每一个节点，其公式为：

其中为第/>次迭代训练得到的全局参数集，/>为第/>次迭代训练得到的第j个计算节点的参数梯度，n为计算节点的总个数，χ为缩放系数，类似于学习率。

如图5所示，每个节点单独训练Q-LSTM，训练过程如下：

(1)输入初始权重W_0(τi)和初始偏置b_0(τi)；

(2)计算LSTM的输入门i_t、遗忘门f_t、输出门o_t、候选存储单元新的存储状态C_t、隐藏层状态h_t的当前迭代值i_t,i、f_t,i、o_t,i、/>C_t,i、h_t,i，计算过程如下：

给定当前输入x_t，上一时刻隐含层状态h_t-1和存储状态C_t-1，详细的计算过程如下：

i_t＝σ(W_i[x_t,h_t-1]^T+b_i)

f_t＝σ(W_f[x_t,h_t-1]^T+b_f)

o_t＝σ(W_o[x_t,h_t-1]^T+b_o)

h_t＝o_t⊙tanh(C_t)

其中，W_i、W_f、W_o、W_c分别代表相应的权重矩阵，b_i、b_f、b_o、b_c分别代表相应的偏置向量；σ(·)和tanh(·)分别为Sigmoid和正切S形曲线激活函数；输出层的最终输出由隐含层状态h_t计算：

其中W_S是隐含层与输出层的连接权重矩阵，b_S表示相应的偏置向量。

(3)根据损失函数利用梯度下降法计算梯度和/>并据此计算各权重和偏置的梯度，损失函数如下：

其中W(τ_i)＝{W_f(τ_i),W_i(τ_i),W_c(τ_i),W_o(τ_i),W_S(τ_i)}b(τ_i)＝{b_f(τ_i),b_i(τ_i),b_c(τ_i),b_o(τ_i),b_S(τ_i)}分别为分位点τ_i下LSTM神经网络的全部权重参数矩阵集合和偏置向量集合；λ₁为防止模型训练过拟合的正则项惩罚参数，ρ_τ(a)为检验函数，其定义为：

定义梯度函数和/>如下：

为损失函数/>对隐藏层状态h_t的微分，/>为损失函数/>对存储状态C_t的微分。

隐含层至输出层参数的梯度为：

为隐藏层状态h_t对隐含层与输出层的连接权重矩阵W_S微分，/>为隐藏层状态h_t对偏置向量b_S微分。

根据分别计算遗忘门、输入门、候选存储单元和输出门参数的梯度；

(4)更新权重和偏置，公式如下：

其中η为学习率，W_*和b_*分别代表相应的权重矩阵和偏置向量。

重复步骤(2)～(4)，直至达到收敛条件，获得模型最优参数{W(τ_i),b(τ_i)}_opt。

步骤4：将得到的权重、偏置参数集{W(τ_i),b(τ_i)}_opt作为约束并行LSTM模型的初始参数，对约束并行LSTM模型进行整体训练，对{W(τ_i),b(τ_i)}_r进行微调，确定CP-LSTM短期负荷概率预测模型的最佳权重及偏置参数；为获得CP-LSTM模型的最佳参数，基于训练样本集，采用梯度下降法搜寻使损失函数最小的模型参数{W(τ_i),b(τ_i)}_opt；CP-LSTM模型的训练方法与Q-LSTM训练方法一致，只是在损失函数和梯度有差别，CP-LSTM模型损失函数F_loss如下：

其中λ₂为违反约束条件的惩罚参数，对应的梯度/>和/>相应变为:

向量u_i中各元素分别为：

(m＝1,...,o)遗忘门、输入门、存储单元、候选存储单元和输出门参数的梯度计算与步骤3中计算方式相同。

步骤5：将验证集输入步骤4训练好的CP-LSTM模型，根据验证误差选择最优越的超参数；实施例的547天的样本数据的10％用于验证，根据最终输出结果与真实值的误差选择最佳超参数；

步骤6：将测试样本输入具有最佳超参数的CP-LSTM模型得到输出结果，再将输出结果转化为不同的量纲，即反归一化，最终对预测数据与真实结果进行对比分析；考虑到分位数预测结果应满足分位数约束条件，在常用概率预测评价指标Quantile score(QS)的基础上，本发明提出计及分位数约束关系的评价指标Constraint score(CS)。由分位数的固有属性可知，t时刻的分位数预测值应满足据此本发明提出考虑分位数约束关系的指标如式：

其中X_CS表示计及分位数约束关系的评价指标值；是t时刻分位点下的预测值，N为测试时刻的总数，v_t,i为约束违反程度函数，θ＝τ_i+1-τ_i为分位点之间的步长，是一个常数；当相邻分位数之间满足约束关系时，v_t,i为0，而当违背约束关系时，v_t,i为相邻分位数的正差值，反映约束违反的程度。系数项2θ/N为分位数约束误差平方的归一化系数，由此计算出的X_CS为v_t,i在整个测试集样本和全部相邻分位数上的归一化均方根。故可通过X_CS来量化反映分位数的交叉情况。

当X_QS和X_CS同时较低时，表明预测得到的分位数具有更好的性能，本发明将两者结合，组成综合评价指标X_QCS：

X_QCS＝X_QS+X_CS

此外，预测区间(prediction interval,PI)的可靠性指标—PI覆盖概率偏差指数(PICP)和锐度指标—PI标准均方根宽度(PINRW)也是概率预测结果评价的要指标。

常用概率预测评价指标X_QS：

其中是分位点τ_i下的pinball losses值，y_t为t时刻电力负荷的实际值，/>是t时刻τ_i分位点下的预测值，N为测试时刻的总数。

可靠性指标X_PICP：

其中ε^α表示在置信度1-α下实际值落入预测区间的数量。

PI的实际覆盖率PICP与其标称值(PI nominal confidence,PINC)的偏差覆盖概率偏差指数X_Dev：

X_Dev ^α＝|X_PICP ^α-X_PINC ^α|

锐度指标X_PINRW：

其中X_PINRW ^α是在置信度1-α下的预测区间归一化均方根宽度，U_t ^α和L_t ^α分别是置信度1-α下第t个测试样本预测区间的上、下限，R是测试集中负荷最大值和最小值之差。

步骤7：根据步骤6得到的预测负荷的多个分位数，采用高斯核密度估计方法计算得到预测点的概率密度曲线，高斯核密度估计方法参照期刊《Energy》2018年刊登的文章“Short-term power load probability density forecasting based on Yeo-Johnsontransformation quantile regression and Gaussian kernel function”公开的高斯核密度估计方法。

实施例中，选取某实际地区2016年1月1日至2017年6月30日的15分钟级负荷数据集，通过本发明的方法，进行日前负荷概率预测。为验证CP-LSTM模型的预测性能，将它与线性分位数回归模型L-QR、带参数整流线性激活函数RCLU的分位数神经网络bQRNN、QRNN以及不加组合层的Q-LSTM进行对比。各模型概率预测结果的评价指标统计对比如表1和表2所示，表1列出了训练时长T_train、常用概率预测评价指标X_QS、考虑分位数约束关系的指标X_CS、综合评价指标X_QCS及50％、90％置信度下的锐度指标X_PINRW和违背相邻分位数约束关系样本占比f；表2列出了不同置信度下可靠性指标X_PICP和偏差指数X_Dev的对比，其中X_AD、X_MD分别为各置信度下X_Dev的均值、最大值。

结合图6和表1可知，CP-LSTM的X_CS指标在绝大多数样本日中明显低于其他几种方法，且CP-LSTM在整个测试集的综合X_CS指标仅为Q-LSTM的27.28％，而且违背约束的样本在整个测试集样本中所占的比例f相较Q-LSTM降低了16.3％，但反映预测精度的X_QS指标却并未有明显变化。可见CP-LSTM能在不降低预测精度的前提下，有效避免分位数交叉，改善预测分位数的合理性。

表1各模型评价指标对比表

表2各模型X_PICP和X_Dev对比表

本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。

Claims (6)

1.基于约束并行LSTM分位数回归的电力负荷概率预测方法，其特征在于，包括以下步骤，

步骤1：收集多个样本日的负荷功率和影响因素数据，形成数据集并分为训练集、验证集和测试集；

步骤2：设置模型超参数；

步骤3：建立约束并行LSTM模型，约束并行LSTM模型包括输入层、隐藏层、输出层和回归层，隐藏层包括多个分位点长短期记忆网络模型；采用并行式训练方法，对约束并行LSTM模型中各个分位点LSTM进行预训练，获得权重、偏置参数集；

分位点长短期记忆网络模型Q-LSTM包括输入门、遗忘门/>、输出门/>、候选存储单元/>；

选取预测前日的96点负荷功率与预测日的24时刻气温和分区降雨量组成多维特征输入变量向量，以预测日的96点负荷分位数作为输出变量向量；

并行式训练通过GPU分布式计算实现，将训练集均等分为多个子集，分配到计算系统的各个节点，每个计算节点负责处理该数据集的一个不同子集，从而减少神经网络训练总时间，将每个节点训练得到的参数集合，运用梯度下降公式计算新的全局权重集，进而分配给计算系统的每一个节点，其公式为：

其中Z _φ={W, b}^(φ)为第φ次迭代训练得到的全局参数集，△Z _φ，j为第φ次迭代训练得到的第j个计算节点的参数梯度，n为计算节点的总个数，为缩放系数；

每个节点单独训练的分位点长短期记忆网络模型Q-LSTM，训练过程为：

（1）输入初始权重W _0(τi)和初始偏置b _0(τi)；

（2）计算LSTM的输入门、遗忘门/>、输出门/>、候选存储单元/>、新的存储状态/>、隐藏层状态/>的当前迭代值/>、/>、/>、/> 、/>、/>，计算过程如下：

给定当前输入x _t，上一时刻隐含层状态h _t-1和存储状态C _t-1，详细的计算过程为：

其中，W _i、W _f、W _o、W _c分别代表相应的权重矩阵，b _i、b _f、b _o、b _c分别代表相应的偏置向量；σ(·) 和tanh(·)分别为Sigmoid 和正切S形曲线激活函数；输出层的最终输出由隐含层状态h _t计算：

其中W _S是隐含层与输出层的连接权重矩阵，b _S表示相应的偏置向量；

（3）根据损失函数利用梯度下降法计算梯度和/>，并据此计算各权重和偏置的梯度，损失函数为：

其中W(τ _i)={W _f(τ _i),W _i(τ _i),W _c(τ _i),W _o(τ _i)_, W _S(τ _i)}，b(τ _i)={b _f(τ _i),b _i(τ _i),b _c(τ _i),b _o(τ _i),b _S(τ _i)}分别为分位点下LSTM神经网络的全部权重参数矩阵集合和偏置向量集合；λ ₁为防止模型训练过拟合的正则项惩罚参数，/>为检验函数；

隐含层至输出层参数的梯度为：

为隐藏层状态/>对隐含层与输出层的连接权重矩阵W _S微分，/>为隐藏层状态/>对偏置向量b _S微分；

根据、/>分别计算遗忘门、输入门、候选存储单元和输出门参数的梯度；

（4）更新权重和偏置，公式为：

其中η为学习率，W _*和b _*分别代表相应的权重矩阵和偏置向量；

重复步骤（2）-步骤（4），直至达到收敛条件，获得模型最优参数{W(τ _i ), b(τ _i )}_opt；

步骤4：将得到的权重、偏置参数集{W(τ _i), b(τ _i)}_opt作为约束并行LSTM模型的初始参数，对约束并行LSTM模型进行整体训练，训练过程中对权重、偏置参数进行微调，确定约束并行LSTM模型的最佳权重、偏置参数；

为获得约束并行LSTM模型的最佳参数，基于训练样本集，采用梯度下降法搜寻使损失函数最小的模型参数{W(τ _i), b(τ _i)}_opt；约束并行LSTM模型的训练方法与分位点长短期记忆网络模型Q-LSTM训练方法一致，只是在损失函数和梯度有差别，约束并行LSTM模型损失函数为：

其中

；

为违反约束条件的惩罚参数；

遗忘门、输入门、存储单元、候选存储单元和输出门参数的梯度计算与步骤3中计算方式相同；

步骤5：将验证集输入训练好的约束并行LSTM模型，根据验证误差选出模型的最佳超参数；

步骤6：将测试样本输入具有最佳超参数的约束并行LSTM模型，对约束并行LSTM模型输出的预测结果进行反归一化，得到预测日中各时刻预测负荷的多个分位数预测值；

步骤7：根据步骤6得到的预测负荷的多个分位数，计算得到预测点的概率密度曲线。

2.根据权利要求1所述的基于约束并行LSTM分位数回归的电力负荷概率预测方法，其特征在于，步骤1还包括对数据集的各类数据进行归一化，将数据变量归一化到[-1,1]区间。

3.根据权利要求1所述的基于约束并行LSTM分位数回归的电力负荷概率预测方法，其特征在于，步骤2中，所述模型超参数包括神经元的数量m、样本的时窗长度l、节点数n和惩罚项参数λ ₁ 、λ ₂。

4.根据权利要求1所述的基于约束并行LSTM分位数回归的电力负荷概率预测方法，其特征在于，所述计算得到预测点的概率密度曲线采用高斯核密度估计方法。

5.根据权利要求1所述的基于约束并行LSTM分位数回归的电力负荷概率预测方法，其特征在于，步骤6的预测结果采用计及分位数约束关系的评价指标评价分位数的交叉情况，计及分位数约束关系的指标为：

其中表示计及分位数约束关系的评价指标值；/>是t时刻分位点/>下的预测值，N为测试时刻的总数，v _t,i为约束违反程度函数，θ表示分站点之间的步长；当相邻分位数之间满足约束关系时，v _t,i为0，而当违背约束关系时，v _t,i为相邻分位数的正差值，反映约束违反的程度；系数项2θ/N为分位数约束误差平方的归一化系数。

6.根据权利要求1-5任意一项所述的基于约束并行LSTM分位数回归的电力负荷概率预测方法，其特征在于，步骤1按照8:1:1的比例，将数据集划分为训练集、验证集和测试集。