CN113836823A - 一种基于负荷分解和优化双向长短期记忆网络的负荷组合预测方法 - Google Patents

Abstract

本发明提出一种基于负荷分解与优化双向长短期记忆网络的负荷组合预测方法。该方法利用变分模态分解将负荷序列分解为一组相对平稳的子序列分量，以减少不同趋势信息间的相互影响，针对各子序列分别构建基于双向长短期记忆神经网络的时序预测模型，利用贝叶斯理论对网络相关超参数进行优化并判断该序列是否使用长短期记忆网络，以提高单个模型的预测精度；最后，叠加各子序列预测结果得到负荷预测值。该方法利用变分模态分解对负荷进行平稳化分解处理后进行预测使得预测结果更加稳定，贝叶斯优化理论解决了不同时序序列对双向长短期记忆网络的适用性和初始参数设置不当导致预测结果精度不高的问题，具有精确的预测结果，可应用于电力系统短期负荷预测。

Description

一种基于负荷分解和优化双向长短期记忆网络的负荷组合预 测方法

技术领域

本发明属于电力系统规划调度技术领域，具体涉及一种基于负荷分解和优化双向长短期记忆网络的负荷组合预测方法。

背景技术

新型电力系统背景下，分布式电源的应用场景逐步扩展，在电网调度中的比重逐渐增强，且用户侧行为多样性增强，负荷曲线呈现波动性较大的特点，对负荷预测提出了新的挑战。

近年来，随着小波变换、经验模态分解、变分模态分解等数据预处理理论应用广泛性提升，针对负荷序列的非线性与非平稳性特征，运用数据预处理方法对原始序列进行分解，并对各子序列进行单独预测，叠加重构获得预测结果的组合预测方法在负荷预测中的应用逐渐广泛，有效提升了负荷预测的平稳性。且深度学习领域的长短期记忆网络模型所具有的长短期记忆能力与传统统计方法、机器学习方法相比具有更优的预测性能。在长短期记忆网络的基础上引入双向长短期记忆网络，能够有效提升历史数据的学习能力，但双向长短期记忆网络存在学习时间过长，影响预测效率的缺点，且长短期记忆网络的初始超参数设定多需要人为设定，不当的设定值将导致预测结果误差偏大，因此利用优化方法对长短期记忆网络的初始超参数进行寻优并判断是否使用双向长短期记忆网络将有利于预测精度的提高。

综上所述，提出一种基于负荷分解和优化双向长短期记忆网络的负荷组合预测方法。本发明以新型电力系统为背景，将变分模态分解与贝叶斯优化双向长短期记忆网络相结合，提出一种负荷组合预测方法。该方法利用变分模态分解对原始母线负荷序列进行平稳化处理，将其分解为一组具有不同频率的子序列分量，构建各子序列分量的长短期记忆网络神经网络预测模型，并利用贝叶斯理论对网络相关超参数进行优化并判断是否使用双向长短期记忆网络，以提高单个模型的预测精度；最后，叠加各子序列的预测结果获得母线负荷的预测值。该方法在单步预测及多步预测精度方面均有较大幅度的提升，能更好追踪母线负荷的变化趋势。利用变分模态分解对母线负荷进行降噪优化后进行预测有利于预测结果更加稳定，贝叶斯优化寻参解决了初始参数设置不当导致预测结果精度不高的问题，并具有很强的稳定性，在新型电力系统背景下的负荷预测中具有很强的利用价值，为实时交易市场的稳定运行提供支撑。

发明内容

本发明针对现有短期负荷预测模型稳定性与精确度的不足，提出了一种负荷分解和双向长短期记忆网络初始超参数进行优化的短期负荷组合预测模型。

一种基于负荷分解和优化双向长短期记忆网络的负荷组合预测方法，其特征在于，包括以下步骤：

步骤1：对电力系统中一条母线某一时段内的母线负荷数据进行采集，构成母线负荷序列，针对负荷序列的非平稳性特征，采用变分模态分解方法对母线负荷序列进行分解处理，得到各固有模态函数分量及剩余分量，分别作为母线负荷序列分解后的子序列；

步骤2：针对各子序列分量分别进行归一化处理，并按照一定比例划分训练样本与测试样本；

步骤3：针对归一化后的各子序列分量训练样本分别构建双向长短期记忆网络预测模型，并采用贝叶斯优化算法对单个模型的超参数进行寻优处理并判断是否使用双向长短期记忆网络，获得最适合分解序列的超参数组合；

步骤4：针对超参数优化后的预测模型进行训练，运用训练好的预测模型进行多步延伸预测，将每个子序列的预测结果叠加重构得到负荷多步预测值。

在上述的基于负荷分解和优化双向长短期记忆网络的负荷组合预测方法，所述步骤1中变分模态分解运算规则为：

设母线负荷序列为X(t)经过变分模态分解后的子序列为固有模态函数为u_k(t)，设δ(t)为狄利克雷函数，*为卷积符号，通过希尔伯特变换将模态函数u_k(t)转换为解析信号：

将解析信号进行频率混合，使各模态的频谱变换到基频带：

其中，ω_k为中心频率；

为了得到产生最小带宽的频率，建立分解约束条件：

为将约束性问题转变变为一个非约束性问题，运用拉格朗日乘子法，引入拉格朗日法算子λ(t)：

初始化

在ω≥0下迭代更新

直至

其中，ε为设定误差值，n为迭代次数；

信号x(t)经变分模态分解后可表示为：

式中，IMF_i(t)为固有模态分量，r_n(t)为余项，n为余项足够小的固有模态分量个数。

在上述的基于负荷分解和优化双向长短期记忆网络的负荷组合预测方法，

步骤3所述定义初始超参数为m₁，m₂，…,m_n，其中，n为迭代次数；

步骤3所述定义初始超参数个数与超参数范围，在相同的初始训练集train＝(x₁,x₂,…,x_T),选择n个初始超参数m₁，m₂，…，m_n并利用初始超参数分别计算该参数下的训练集下1个时间步预测结果，得到先验数据集D；

其中，K为协方差矩阵，m为超参数，y为响应负荷预测值；

步骤3所述对先验数据集进行样本拟合得到GP模型，并且对于拟合函数的待拟合量设定为概率分布y_n+1；

步骤3所述y_n+1为根据后验公式得到的更新值，其概率分布为：

其中，K_*为训练集协方差，K_**为新加入样本协方差；

步骤3所述协方差矩阵表达式为：

其中，X，Y分别为协方差矩阵的计算向量；

步骤3所述利用采样函数对GP模型进行采样，得到新的采样点，并让采样点尽可能接近极值点；

步骤3所述贝叶斯优化理论旨在寻求出目标预测值函数的误差最小值，即极值点；

其中，

为正态分布概率密度，φ为标准正态分布，μ为y的均值，σ为y的方差，y＝{y₁,y₂,…y_n}。

在上述的基于负荷分解和优化双向长短期记忆网络的负荷组合预测方法，步骤3中，所述长短期记忆网络运算规则为：

设共有k个时间步的输入序列，按输入时间先后分为x₁，x₂，…，x_k，取第t时间步进行分析，在长短期记忆网络模块内的门控机制由遗忘门、输入门和输出门组成，x_t为当前输入网络的输入向量，h_t为当前的隐藏层向量，其中包含所有长短期记忆网络细胞的输出，c_t为当前的细胞状态，其中包含所有长短期记忆网络细胞的状态；

运算规则如下：

1)更新遗忘门输出：

f_t＝σ(W_fx_t+U_fh_t-1+b_f)

2)更新输入门两部分输出：

i_t＝σ(W_ih_t-1+U_ix_t+b_i)

3)更新细胞状态：

4)更新输出门输出：

o_t＝σ(W_ox_t+U_oh_t-1+b_o)

5)更新当前时刻预测输出：

其中，W_f、U_f、b_f分别是遗忘门的循环权重、输入权重和阈值，W_i、U_i、b_i分别是遗忘门的循环权重、输入权重和阈值，W_c、U_c、b_c分别是细胞层的循环权重、输入权重和阈值,W_o、U_o、b_o分别是输出门的循环权重、输入权重和阈值；各门的激活函数σ(x)均为Sigmoid函数：

其值域为(0，1)，通过Sigmoid函数转换，可将输入量转换为概率数值，因此被广泛作为人工神经网络传递的激活函数；

当x_t输入网络后，会与上一时间步的隐藏层向量h_t-1同时被一个tanh神经层与3个门处理，其中，tanh函数表达式为：

其值域为(-1，1)，输出以原点为中心，收敛速度相较于Sigmoid更快，通常用作输出y_i门的激活函数；

tanh层会创建新的候选状态向量

遗忘门f_t决定要从上一时间步的细胞状态c_t-1中丢弃与保留什么信息，输入门i_t决定如何更新候选状态向量

细胞状态更新后，输出门o_t决定如何将新的状态向量c_t过滤为输出信息h_t；

时间步间的处理包括：当前时间步的c_t与h_t经过长短期记忆网络的门控机构计算后被保留下来，用于下一时间步的计算，当完成最后一步的计算后，隐藏层向量h_k将作为输出与本组序列对应的预测值(标签值)进行比较，得出损失函数的值，并依据梯度下降算法对权重和偏置参数进行优化；

选择平方和误差函数作为长短期记忆网络的损失函数，表达式为：

其中，y_i为网络输出值，

为该时刻对应的真实值；

梯度下降法迭代包括W、U、V、c_t、h_t在内的参数：

其中，

为更新过后的参数，j为更新次数，θ_j代指W、U、V、c_t、h，α为学习率，可由beiyesi1优化理论给出；

通过门控机构和完善的参数更新规则，长短期记忆网络实现了对输入信息流的选择和筛选，提高了循环神经网络对长序列的处理能力。

在上述的基于负荷分解和优化双向长短期记忆网络的负荷组合预测方法，步骤3中，所述双向长短期记忆网络运算规则为：

自后向前循环神经网络层的更新隐藏层公式为：

自前向后循环神经网络层的更新隐藏层公式为：

两层循环神经网络叠加后输入隐藏层：

其中，x_t为输入层向量，h_1,t、h_2,t分别为t时刻前传层和后传层的隐藏单元；y_t为t时刻模型输出；f(*)、g(*)为可自选激活函数，一般选择Sigmoid函数作为激活函数；W_h1,t、W_h2,t、W_h1、W_h2、U_h1、U_h2分别为对应对象的权重矩阵；b_h1、b_h2、b_y分别为对应对象的偏置项。

因此,本发明具有如下优点:本发明针对母线负荷具有毛刺多，规律不平稳，难以在有限长度的数据训练中充分挖掘规律使得预测精度提升的特点，运用变分模态分解方法将不平稳的母线负荷序列分解为多个平稳的子序列，对每个子序列利用长短期记忆网络进行预测，最后将预测结果进行叠加，都到母线负荷预测结果。

针对长短期记忆网络在不同子序列中超参数设定不当会导致预测精度不高的特点，本发明引用贝叶斯优化理论对每个子序列的超参数进行优化，有效提升了单个子序列的预测精度。

为了在有限的数据集中充分发挥长短期记忆网络的优势并充分挖掘数据特点，引用双向长短期记忆网络提升预测精度，由于并不是每个序列都适合使用双向长短期记忆网络，本发明利用贝叶斯优化理论对是否使用双向长短期记忆网络进行判断。

附图说明

图1为长短期记忆网络内部网络结构图。

图2为长短期记忆网络时序展开图。

图3为双向长短期记忆网络结构图。

图4为负荷变分模态分解图。

图5为子序列贝叶斯参数优化结果。

图6a至图6g为负荷子序列多步预测结果图。

图7为负荷子序列叠加组合预测结果图。

图8为负荷子序列预测评价结果图。

图9为负荷组合预测评价结果对比图。

图10是本发明的方法流程示意图。

具体实施方式

为了使本发明专利的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明专利进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明专利，并不用于限定本发明专利。此外，下面所描述的本发明专利各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

下面是本发明的优选实施例，并结合附图，对本发明具体应用作进一步说明。

本发明的具体实施方式为涉及一种基于变分模态分解和贝叶斯优化双向长短期记忆网络的负荷组合预测方法，具体为：

步骤一：针对负荷序列的非平稳性特征，采用变分模态分解方法进行分解处理，得到各固有模态函数分量及剩余分量；

步骤二：针对各子序列分量分别进行归一化处理，并按照相同比例划分训练样本与测试样本；

步骤三：针对各子序列分量分别构建双向长短期记忆网络预测模型，并采用贝叶斯优化算法对单个模型的超参数进行寻优处理，获得最适合分解序列的超参数组合；

步骤四：针对超参数优化后的预测模型进行训练，运用训练好的预测模型进行多步延伸预测，并叠加重构得到母线负荷多步预测值；

步骤五：与实际数据对比，通过计算误差指标来评估组合预测模型的多步预测性能。

步骤一中算例以澳大利亚母线负荷数据为数据集，共包含270个时间步(30min为一个时间步)，将数据前244个时间步作为训练序列，后36个时间步作为校验序列。

步骤一中对原始母线负荷序列进行变分模态分解，逐级分离出相应的6组IMF分量及1组剩余分量，分解结果如图4所示。

步骤二中针对所选数据集的特点，在对原始序列进行平稳化处理的基础上，需分别构建子序列分量的LSTM神经网络预测模型，并对其相关结构超参数与训练超参数进行寻优处理并判断是否使用双向长短期记忆网络。运用贝叶斯优化算法得到的超参数结果如图5所示。

步骤三中在对母线负荷各个子序列进行贝叶斯参数优化后，对长短期记忆网络进行训练，并对下一时间步进行预测，并将各子序列分量的单步预测结果融入历史监测数据，构造相应单步预测模型的新输入序列，可实现各分量的多步滚动预测，便可实现未来一段时间的滚动预测负荷值，预测结果如图6a至图6g、7所示。

步骤四中将各子序列的预测值叠加，便可得到母线负荷的多步预测结果如图8所示，并利用预测评价指标对各子序列进行误差分析，误差结果如图9所示，由训练预测结果和多步预测结果可知，占有母线负荷原始序列比重较大的IMF6在未来12个时间步的RMSE为1.3635，STD为0.8233，预测误差小，随着预测时间步的增加，在未来36个时间步的预测RMSE增加为20.2677，STD和NRMSE也相应增加，但相关性系数由0.9521提升至0.992，预测曲线形状逐渐稳定并与原曲线形状更加接近，随着时间步的增加，预测精度虽有所下降，但预测曲线逐渐保持稳定，形状与原曲线逐渐趋近，具有较好的预测稳定性。其他的子序列的预测RMSE均低于16，相关性系数均高于0.98，预测误差小且预测形状保持良好，单个稳定固有模态函数子序列的预测结果达到了良好的预期。母线负荷的分解余项由于毛刺较多且频率不稳定，所以预测相关性系数较低，但由于其幅值较小，因此其预测误差也较小，对母线负荷整体预测结果的影响相对较小。

步骤五中将各个子序列和余项的多步预测结果进行叠加，得到母线负荷的多步预测曲线如图所示，预测曲线与真实曲线贴合，具有精确的预测结果，为验证所提方法的预测性能，选用多种情况的不同模型与其进行对比分析，选择选用径向基函数作为核函数进行预测的支持向量机与长短期记忆网络进行对比，验证长短期记忆网络在时序预测中的优势，选择变分模态分解-长短期记忆网络组合预测模型与长短期记忆网络模型进行预测，验证组合预测模型的预测精确性与稳定性，变分模态分解-贝叶斯优化长短期记忆网络模型与变分模态分解-长短期记忆网络模型进行对比，将贝叶斯优化长短期记忆网络模型与长短期记忆网络进行对比，验证贝叶斯优化理论对长短期记忆网络预测精度的提升作用，对比结果图10所示。通过不同模型的对比可知，长短期记忆网络的各个时间步的预测精确性相较于支持向量机有了较大的提升；通过对母线负荷序列进行分解后预测叠加的变分模态分解-长短期记忆网络的RMSE、r等参数在长短期记忆网络模型的基础上都有了较大的提升，大大提高了预测精度与稳定性；贝叶斯优化理论的提出，使得组合预测36时间步的RMSE由23.9219降低至14.9219，NRSE由0.0088降低至0.0055，STD由20.9806降低至14.8022，长短期记忆网络经过贝叶斯优化后各项参数也有了较大的提升；考虑了长短期记忆网络的贝叶斯优化双向长短期记忆网络模型相比于不考虑长短期记忆网络模型的各项参数有所提升，图10所示的各项数据对比验证了基于变分模态分解和贝叶斯优化双向长短期记忆网络的负荷组合预测方法具有更加精确的预测结果和更加稳定的多步预测结果。

Claims (5)

1.一种基于负荷分解和优化双向长短期记忆网络的负荷组合预测方法，其特征在于，包括以下步骤：

步骤1：对电力系统中一条母线某一时段内的母线负荷数据进行采集，构成母线负荷序列，针对负荷序列的非平稳性特征，采用变分模态分解方法对母线负荷序列进行分解处理，得到各固有模态函数分量及剩余分量，分别作为母线负荷序列分解后的子序列；

步骤2：针对各子序列分量分别进行归一化处理，并按照一定比例划分训练样本与测试样本；

步骤3：针对归一化后的各子序列分量训练样本分别构建双向长短期记忆网络预测模型，并采用贝叶斯优化算法对单个模型的超参数进行寻优处理并判断是否使用双向长短期记忆网络，获得最适合分解序列的超参数组合；

步骤4：针对超参数优化后的预测模型进行训练，运用训练好的预测模型进行多步延伸预测，将每个子序列的预测结果叠加重构得到负荷多步预测值。

2.根据权利要求1所述的基于负荷分解和优化双向长短期记忆网络的负荷组合预测方法，其特征在于：所述步骤1中变分模态分解运算规则为：

设母线负荷序列为X(t)经过变分模态分解后的子序列为固有模态函数为u_k(t)，设δ(t)为狄利克雷函数，*为卷积符号，通过希尔伯特变换将模态函数u_k(t)转换为解析信号：

将解析信号进行频率混合，使各模态的频谱变换到基频带：

其中，ω_k为中心频率；

为了得到产生最小带宽的频率，建立分解约束条件：

为将约束性问题转变变为一个非约束性问题，运用拉格朗日乘子法，引入拉格朗日法算子λ(t)：

初始化

在ω≥0下迭代更新

直至

其中，ε为设定误差值，n为迭代次数；

信号x(t)经变分模态分解后可表示为：

式中，IMF_i(t)为固有模态分量，r_n(t)为余项，n为余项足够小的固有模态分量个数。

3.根据权利要求1所述的基于负荷分解和优化双向长短期记忆网络的负荷组合预测方法，其特征在于：

步骤3所述定义初始超参数为m₁，m₂，…,m_n，其中，n为迭代次数；

步骤3所述定义初始超参数个数与超参数范围，在相同的初始训练集train＝(x₁,x₂,…,x_T),选择n个初始超参数m₁，m₂，…，m_n并利用初始超参数分别计算该参数下的训练集下1个时间步预测结果，得到先验数据集D；

其中，K为协方差矩阵，m为超参数，y为响应负荷预测值；

步骤3所述对先验数据集进行样本拟合得到GP模型，并且对于拟合函数的待拟合量设定为概率分布y_n+1；

步骤3所述y_n+1为根据后验公式得到的更新值，其概率分布为：

其中，K_*为训练集协方差，K_**为新加入样本协方差；

步骤3所述协方差矩阵表达式为：

其中，X，Y分别为协方差矩阵的计算向量；

步骤3所述利用采样函数对GP模型进行采样，得到新的采样点，并让采样点尽可能接近极值点；

步骤3所述贝叶斯优化理论旨在寻求出目标预测值函数的误差最小值，即极值点；

其中，

为正态分布概率密度，φ为标准正态分布，μ为y的均值，σ为y的方差，y＝{y₁,y₂,…y_n}。

4.根据权利要求1所述的基于负荷分解和优化双向长短期记忆网络的负荷组合预测方法，其特征在于：步骤3中，所述长短期记忆网络运算规则为：

设共有k个时间步的输入序列，按输入时间先后分为x₁，x₂，…，x_k，取第t时间步进行分析，在长短期记忆网络模块内的门控机制由遗忘门、输入门和输出门组成，x_t为当前输入网络的输入向量，h_t为当前的隐藏层向量，其中包含所有长短期记忆网络细胞的输出，c_t为当前的细胞状态，其中包含所有长短期记忆网络细胞的状态；

运算规则如下：

1)更新遗忘门输出：

f_t＝σ(W_fx_t+U_fh_t-1+b_f)

2)更新输入门两部分输出：

i_t＝σ(W_ih_t-1+U_ix_t+b_i)

3)更新细胞状态：

4)更新输出门输出：

o_t＝σ(W_ox_t+U_oh_t-1+b_o)

5)更新当前时刻预测输出：

其中，W_f、U_f、b_f分别是遗忘门的循环权重、输入权重和阈值，W_i、U_i、b_i分别是遗忘门的循环权重、输入权重和阈值，W_c、U_c、b_c分别是细胞层的循环权重、输入权重和阈值,W_o、U_o、b_o分别是输出门的循环权重、输入权重和阈值；各门的激活函数σ(x)均为Sigmoid函数：

其值域为(0，1)，通过Sigmoid函数转换，可将输入量转换为概率数值，因此被广泛作为人工神经网络传递的激活函数；

当x_t输入网络后，会与上一时间步的隐藏层向量h_t-1同时被一个tanh神经层与3个门处理，其中，tanh函数表达式为：

其值域为(-1，1)，输出以原点为中心，收敛速度相较于Sigmoid更快，通常用作输出y_i门的激活函数；

tanh层会创建新的候选状态向量

遗忘门f_t决定要从上一时间步的细胞状态c_t-1中丢弃与保留什么信息，输入门i_t决定如何更新候选状态向量

细胞状态更新后，输出门o_t决定如何将新的状态向量c_t过滤为输出信息h_t；

时间步间的处理包括：当前时间步的c_t与h_t经过长短期记忆网络的门控机构计算后被保留下来，用于下一时间步的计算，当完成最后一步的计算后，隐藏层向量h_k将作为输出与本组序列对应的预测值(标签值)进行比较，得出损失函数的值，并依据梯度下降算法对权重和偏置参数进行优化；

选择平方和误差函数作为长短期记忆网络的损失函数，表达式为：

其中，y_i为网络输出值，

为该时刻对应的真实值；

梯度下降法迭代包括W、U、V、c_t、h_t在内的参数：

其中，

为更新过后的参数，j为更新次数，θ_j代指W、U、V、c_t、h，α为学习率，可由beiyesi1优化理论给出；

通过门控机构和完善的参数更新规则，长短期记忆网络实现了对输入信息流的选择和筛选，提高了循环神经网络对长序列的处理能力。

5.根据权利要求1所述的基于负荷分解和优化双向长短期记忆网络的负荷组合预测方法，其特征在于：步骤3中，所述双向长短期记忆网络运算规则为：

自后向前循环神经网络层的更新隐藏层公式为：

自前向后循环神经网络层的更新隐藏层公式为：

两层循环神经网络叠加后输入隐藏层：

其中，x_t为输入层向量，h_1,t、h_2,t分别为t时刻前传层和后传层的隐藏单元；y_t为t时刻模型输出；f(*)、g(*)为可自选激活函数，一般选择Sigmoid函数作为激活函数；W_h1,t、W_h2,t、W_h1、W_h2、U_h1、U_h2分别为对应对象的权重矩阵；b_h1、b_h2、b_y分别为对应对象的偏置项。

Images