CN113868938A

CN113868938A - 基于分位数回归的短期负荷概率密度预测方法、装置及系统

Info

Publication number: CN113868938A
Application number: CN202110973907.6A
Authority: CN
Inventors: 陶晓峰; 黄福兴; 陆洋; 杨学良; 吕朋朋; 刘涅煊; 孙萌; 熊霞; 李远航; 邓良柱; 张群星; 周洋; 黄超
Original assignee: NARI Group Corp; Nari Technology Co Ltd; State Grid Electric Power Research Institute
Current assignee: NARI Group Corp; Nari Technology Co Ltd; State Grid Electric Power Research Institute
Priority date: 2021-08-24
Filing date: 2021-08-24
Publication date: 2021-12-31

Abstract

本发明公开了一种基于分位数回归的短期负荷概率密度预测方法、装置及系统，包括获取DL‑LSTM‑A深度网络模型，所述DL‑LSTM‑A深度网络模型包括若干个双层LSTM网络元胞和注意力机制模块，各双层LSTM网络元胞的输出端分别与所述注意力机制模块相连；所述注意力机制模块将各双层LSTM网络元胞的输出进行加权求和；所述双层LSTM网络元胞包括顺次相连的两个LSTM元胞；利用训练数据训练获得DL‑LSTM‑A网络中待优化的各个参数，获得优化后的DL‑LSTM‑A深度网络模型；将获取到的电力负荷消耗的影响因素输入至优化后的DL‑LSTM‑A深度网络模型，获得分位数；采用非参数密度估计方法对分位数进行处理，获得最终的负荷概率密度函数。本发明能够提供更为精确的长期电力负荷概率密度预测。

Description

基于分位数回归的短期负荷概率密度预测方法、装置及系统

技术领域

本发明属于智能电网电力负荷预测领域，具体涉及一种基于分位数回归的短期负荷概率密度预测方法、装置及系统。

背景技术

相比于传统的电力负荷点预测过程，负荷的概率密度预测能给出分位数、预测区间或概率密度函数等特征来描述电力负荷中的不确定性，受到学界和业界的持续关注。另外从时间跨度上看，预测的范围可以从分钟、小时到天月年等。电网中不同的需求所对应的预测时间跨度也不一样。由于短期电力负荷预测能够提供精确地电力负荷预测因而受到了广泛的关注。

对于电力负荷短期概率密度预测，一般分为两步，第一步采用分位数回归分析获得电力负荷的分位数，第二步采用核密度估计获得概率密度函数。线性分位数回归利用线性函数描述电力负荷与参数间的关系，是较为基础的方法。由于电力负荷通常呈现非线性的特征，线性函数所预测的结果并不是很优越。现阶段非线性的预测方法，如基于SVM模型、基于CNN-GRU模型的方法等不能有效描述复杂时序数据的高阶特征，预测精度有待提高。因此，提高电力负荷预测精度是亟需解决的问题。

发明内容

针对上述问题，本发明提出一种基于分位数回归的短期负荷概率密度预测方法、装置及系统，能够提供更为精确的长期电力负荷概率密度预测。

为了实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

第一方面，本发明提供了一种基于分位数回归的短期负荷概率密度预测方法，包括：

获取DL-LSTM-A深度网络模型，所述DL-LSTM-A深度网络模型包括若干个双层LSTM网络元胞和注意力机制模块，各双层LSTM网络元胞的输出端分别与所述注意力机制模块相连；所述注意力机制模块将各双层LSTM网络元胞的输出进行加权求和；所述双层LSTM网络元胞包括顺次相连的两个LSTM元胞；

利用训练数据训练获得DL-LSTM-A网络中待优化的各个参数，获得优化后的 DL-LSTM-A深度网络模型；

将获取到的电力负荷消耗的影响因素输入至优化后的DL-LSTM-A深度网络模型，获得分位数；

采用非参数密度估计方法对分位数进行处理，获得最终的负荷概率密度函数，完成基于分位数回归的短期负荷概率密度预测。

可选地，所述分位数的获取方法包括：

定义电力负荷预测值Y的计算公式为：

Y＝f(h,d,ty,s,te,n,l,Y_o)

其中，h∈{1,2,…,24}为一天中的小时数，d∈{1,2,…,365}指一年中的某一天；ty是天的类型，ty＝1指工作日，ty＝0指休息日；s指季节，用{1,2,3,4}分别代表春夏秋冬四个季节，te指当前时刻的温度，用摄氏度来描述；n指当前终端所服务的用户数，Y_o是历史负荷值，f(·)为非线性的复杂函数，用来描述电力负荷与各个影响因素之间关系的函数；

定义电力负荷预测值Y的分布函数为：

F(y)＝P(Y≤y)

则满足F(y)≥τ的最小y的值为变量y的第τ分位数，第τ分位数的表示形式为：

Q(τ)＝inf(y|F(y)≥τ)。

可选地，所述注意力机制模块的输出表达式为：

其中，n+1指所提注意力机制中元胞序列的长度，β_k指在第t-(k-1)个元胞的注意力值，h_t-(k-1)指第t-(k-1)个元胞的输出值，H_t指注意力机制的输出，利用范数进行归一化，注意力值β_k可用如下公式计算：

其中，||·||₂指向量二范数，s_k用来描述元胞的重要性，再将H_t输入全连接层得到的输出值即为DL-LSTM-A网络模型的输出，也就是电力负荷的预测值。

可选地，假设经过DL-LSTM-A网络后，电力负荷预测值Y与网络参数W，V，b和输入X＝[h,d,ty,s,te,n,l,Y_o]之间的关系变为Y＝f_DL-LSTM-A(X,W,V,b)，则所述利用训练数据训练获得DL-LSTM-A网络中待优化的各个参数包括W，V，b，具体为：

设计优化目标函数为：

其中||·||_F指矩阵Frobenius范数，||·||₂指2范数，λ₁、λ₂、λ₃为三个正则化变量，函数f_loss为：

其中，τ为在分位数，N为样本数量，Y_i指输出电量样本，X_i和X′_i都指分位数τ条件下的样本，i|Y_i≥f_DL-LSTM-A(X_i′,W,V,b)表示第i个响应变量大于等于回归估计值， i|Y_i<f_DL-LSTM-A(X_i′,W,V,b)表示第i个响应变量小于回归估计值，分位数τ∈(0,1)，函数 ρ_τ(u)＝u(τ-I(u))，I(u)称为示性函数，u是自变量，

基于所述优化目标函数，结合adam优化算法进行参数优化，获得DL-LSTM-A网络中待优化的各个参数。

可选地，所述概率密度函数为：

其中，

为高斯核函数，x和x_i为自变量，σ为平滑参数，高斯函数中的参数采用交叉验证准则来获取。

可选地，各LSTM元胞包括4个门，第一个称为遗忘门，第一个门的输出f_t和输入h_t-1、 X_t以及第一层门参数W_f，b_f之间的关系为：

f_t＝sigmoid(W_f[h_t-1,X_t]+b_f)

sigmoid(·)为sigmoid函数；第二层和第三层分别称为输入层和tanh层，Tanh层引入一个新的候选值，第二层i_t和第二层输入h_t-1,X_t、第二层参数W_i、b_i间的关系，以及第三层输出

与第三层输入h_t-1、X_t和第三层网络参数W_C、b_C之间的关系分别用下式描述：

i_t＝sigmoid(W_i[h_t-1,X_t]+b_i)

tanh(·)为tanh函数，有了

f_t、i_t和上一个LSTM元胞的输出C_t-1后，LSTM元胞的两个输出C_t和h_t由下式得到：

O_t＝sigmoid(W_O[h_t-1,X_t]+b_O)_t

h_t＝O_ttanh(C_t)。

其中W_O、b_O为第四层的参数，O_t中间变量，h_t-1、X_t为输入参数。

第二方面，本发明提供了一种基于分位数回归的短期负荷概率密度预测装置，包括：

获取模块，用于获取DL-LSTM-A深度网络模型，所述DL-LSTM-A深度网络模型包括若干个双层LSTM网络元胞和注意力机制模块，各双层LSTM网络元胞的输出端分别与所述注意力机制模块相连；所述注意力机制模块将各双层LSTM网络元胞的输出进行加权求和；所述双层LSTM网络元胞包括顺次相连的两个LSTM元胞；

优化模块，用于利用训练数据训练获得DL-LSTM-A网络中待优化的各个参数，获得优化后的DL-LSTM-A深度网络模型；

执行模块，用于将获取到的电力负荷消耗的影响因素输入至优化后的DL-LSTM-A深度网络模型，获得分位数；

预测模块，用于采用非参数密度估计方法对分位数进行处理，获得最终的负荷概率密度函数，完成基于分位数回归的短期负荷概率密度预测。

第三方面，本发明提供了一种基于分位数回归的短期负荷概率密度预测系统，包括处理器和存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行根据第一方面中任一项所述方法的步骤。

与现有技术相比，本发明的有益效果：

本发明提出双层的LSTM元胞结构以更好地提取短期电力负荷预测的高阶特征，同时引入注意力(attention)机制解决长序列问题中各部分的重点问题，得出不同分位点下电力负荷预测结果。最后利用高斯核函数非参数估计方法，得到电力负荷概率密度预测。通过本发明能够提供更为精确的长期电力负荷概率密度预测。

附图说明

为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中：

图1为本发明一种实施例的DL-LSTM-A元胞结构示意图；

图2为本发明一种实施例的每一层LSTM结构示意图；

图3为本发明一种实施例的DL-LSTM-A网络模型示意图；

图4为本发明一种实施例的DL-LSTM-A分位数回归流程图；

图5为本发明一种实施例的DL-LSTM-A模型概率密度函数预测性能示意图；

图6不同模型下的中位数预测性能示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明的保护范围。

下面结合附图对本发明的应用原理作详细的描述。

实施例1

本发明实施例中提供了一种基于分位数回归的短期负荷概率密度预测方法，包括：

获取DL-LSTM-A深度网络模型，所述DL-LSTM-A深度网络模型包括若干个双层LSTM网络元胞和注意力机制模块，各双层LSTM网络元胞的输出端分别与所述注意力机制模块相连；所述注意力机制模块将各双层LSTM网络元胞的输出进行加权求和；所述双层LSTM网络元胞包括顺次相连的两个LSTM元胞，具体参见图3；

下面结合一具体实施方式对本发明实施例中的方法进行详细说明。

首先对影响电力负荷消耗的影响因素进行分析。通过对特征的分析，提取电力负荷消耗的因素主要受表I所示的因素影响。将电力负荷预测值Y建模为如下公式：

Y＝f(h,d,ty,s,te,n,l,Y_o) (1)

其中，h∈{1,2,…,24}为一天中的小时数，d∈{1,2,…,365}指一年中的某一天；ty是天的类型，ty＝1指工作日，ty＝0指休息日；s指季节，用{1,2,3,4}分别代表春夏秋冬四个季节，te指当前时刻的温度，用摄氏度来描述；n指当前终端所服务的用户数，Y_o是历史负荷值。f(·)为非线性的复杂函数，用来描述电力负荷与各个因素之间关系的函数。

表1电力负荷的特征因素

定义电力负荷预测值Y的分布函数为：

F(y)＝P(Y≤y) (2)

那么满足F(y)≥τ的最小y的值为变量y的第τ分位数，可写成如下形式

Q(τ)＝inf(y|F(y)≥τ) (3)

在实际电网中，电力负荷与其影响因素是非线性的关系，且与以往的电力负荷存在关联，因而存在记忆特性。以LSTM网络为基础，提出一种双层LSTM网络(double layerLSTM network with attention,DL-LSTM-A)的深度网络结构，并将其引入到分位数回归分析中。附图1描述了所提的DL-LSTM-A模型中的元胞结构，在每一个元胞中，将两个LSTM单元进行连接，并将前一个LSTM层的输出作为后一个LSTM层的输入，该双层的结构能够更好地提取出长序列的信息，从而提升模型的性能。另外，引进注意力机制，如图1所示，每一个元胞有一个注意力模块，该模块将输入当前的输入和当前时刻的输出通过tanh层，并经过归一化获得该时刻的注意力值，该注意力机制用于分析每一个元胞的重要程度，从而进一步提升模型的有效性。

对于DL-LSTM-attention网络元胞中每一个LSTM层由传统的LSTM元胞构成，其主要结构如图2所示。每一层LSTM中有4个门，每一个门的输入输出关系可由下面的式子表示。第一个称为遗忘门，第一个门的输出f_t和输入h_t-1、X_t以及参数W_f、b_f之间的关系可通过如下的关系式进行计算：

f_t＝σ(W_f[h_t-1,X_t]+b_f) (4)

第二层和第三层分别称为输入层和tanh层，输入层的sigmoid函数决定要更新哪些信息。Tanh层引入一个新的候选值，第二层输出和第三层输出与输入和网络参数之间的关系分别用下式描述：

i_t＝σ(W_i[h_t-1,X_t]+b_i) (5)

此时将旧状态更新为新状态，此时LSTM元胞的输出h_t由下式得到

O_t＝σ(W_O[h_t-1,X_t]+b_O)_t (8)

h_t＝O_ttanh(C_t) (9)

虽然上述LSTM网络具有记忆特性，但是其无法检测到哪个是影响电力负荷的序列的重要部分。为解决此问题，在LSTM网络中设计了一种注意力机制，以在不同时间自动利用电力负荷序列中各个部分的重要性。附图3描述了所设计的注意力机制。在DL-LSTM-A 网络的注意力机制中，网络的输出是每一个DL-LSTM-A网络元胞的加权和，其表达式如下式所示，

其中n+1指所提注意力机制中元胞序列的长度，β_k指在第t-(k-1)个元胞的注意力值。利用范数进行归一化，注意力值β_k可用如下公式计算

其中，||·||₂指向量二范数。每一个元胞的s_k用来描述元胞的重要性。在图1中，为了更好地提取负荷序列的特征，本发明将注意力值由输入相关联，因而对于每一个时刻的s_t设计为

其中，

和W^a是需要学习的参数，由式(11)和(12)可以看出，t时刻的注意力值取决于输入X_t和当前时间t及其前n个时间步的元胞输出变量h_t。注意力值也可以看作是流量选择门的激活函数。得到H_t以后经过一个全连接层后得到最后的输出。上述各公式描述了DL-LSTM-A网络中各模块的输出与输入以及参数之间的关系，根据各模块的关系将整个网络的输出(即电力负荷预测值)和输入(特征因素)以及网络参数的关系描述为：

y＝f_DL-LSTM-A(X,W,V,b) (13)

得到上述模型以后，参数还是未知的，需要根据现有的数据对参数进行训练，即训练参数(X,W,V,b)以使输出尽可能的精确。利用深度网络经典的Adam算法进行参数的优化。在训练过程中为了防止模型过拟合，设计代价函数时考虑正则化，训练各参数W,V,b的优化目标函数为：

其中||·||_F指矩阵Frobenius范数，更精确地，函数f_loss为：

其中，τ为在分位数，N为样本数量，Y_i指输出电量样本，X_i和X′_i都指分位数τ条件下的样本，i|Y_i≥f_DL-LSTM-A(X_i′,W,V,b)表示第i个响应变量大于等于回归估计值， i|Y_i<f_DL-LSTM-A(X_i′,W,V,b)表示第i个响应变量小于回归估计值，分位数τ∈(0,1)，函数 ρ_τ(u)＝u(τ-I(u))，I(u)称为示性函数，u是自变量，表示为：

对于式(18)的优化问题，可以用传统的优化方法进行求解，本发明通过传统的adam 算法进行求解，可以获得参数W,V,b。求得参数以后，便可以获得电力负荷的分位数模型。由上可知，经过DL-LSTM-A模型后可获得电力负荷分位数。此时采用非参数密度估计方法对电力负荷的分位数进行处理，可以获取最后的负荷的概率密度函数。由于高斯核函数非参数密度估计方法具有好的数学特征和广适性，本发明采用高斯核函数非参数密度估计方法获取用电负荷的概率密度函数。具体过程如下，定义概率密度函数可由高斯函数表示为

其中K(·)为高斯核函数，其表示为：

其中，σ为平滑参数，又称为带宽。那么找到各个平滑参数即可获得概率密度函数。得到平滑参数对负荷的密度函数的形状影响较大，当平滑参数带宽过小时，计算系统参数的点减少，导致高斯核函数偏差降低，方差增大，估计结果不稳定。而当带宽过大使得用于计算的点增多，方差降低，偏差可能增大，但方法本质上要求带宽趋近于0，因此，带宽的选择需要考虑到偏差－方差均。参数的选择对于负荷概率密度函数影响较大，并采用交叉验证准则来获取参数。

主要思想及逻辑思路如图4所示。

利用安徽某一个县的电力数据作为样本,里面存在多个所的电力负荷数据，并分析各个所的电力负荷数据。利用Tensorflow框架执行所提的DL-LSTM-A模型。采用Inteli7-8700 处理器和Nvidia GeForce RTX 2080Ti图形处理器。在训练模型时，批量大小为128，时间序列长度为48，即把提前48个小时的数据作为一次训练数据。为了更快地获得训练结果，首先对数据进行归一化，将X_t归一化为

将所提的DL-LSTM-A和常见的概率负荷预测算法如支持向量机分位数回归和CNN-GRU分位数回归这两种模型进行对比，所有方法中选取的分位点从0.01到0.99，为间隔0.01的99个分位点。为了更好地验证所提方案的有效性，采用平均绝对百分比误差(mean absolute percentage error，MAPE)和最大相对百分比误差(maximal relativepercentage error，MRPE)为指标进行比较，其分别计算为

安徽2021年2月和3月两个月的历史负荷数据为基础。采用的数据集经过数据预处理操作如有效性检测、缺失值插补，归一化等以保证数据质量。在该数据集中，记录了每一天每一个小时的电力负荷数据。在2月和3月两个月中，天气通常较冷。以2月1日到 3月20日的历史负荷数据为训练数据，对3月21日和3月22日的两天48小时的电力负荷做出预测。运用DS-LSTM-A模型预测得到了3月21日和3月22日48个小时的的预测结果，如附图5所示，附图5给出了四个时间点的模型所预测的概率密度函数、中位数值以及实际电力负荷值，这四个时间点分别为5、10、15、20小时。从这四个图中可以看出，实际的电力负荷值始终处于所提出的DL-LSTM-A模型的概率密度函数上面，在第5、 10、20小时时，电力负荷的实际值与DL-LSTM-A模型预测的概率密度函数最大所对应的的值较接近。在第15个小时的时候，概率密度函数最大对应的负荷值与实际值存在一定偏差，但仍处在概率密度线以上。另外，比较四个图中模型预测的中位数值和实际值可以发现，中位数与实际值相近。因此可知，上述分析可得，L-LSTM-A模型所得到的预测值与预测误差能够为电网工作人员提供较好地短期电力负荷预测方法，从而为做出电网控制策略等提供可靠的信息。

附图6比较了DL-LSTM-A、SVM以及CNN-GRU模型预测的中位数。图6显示，与 SVR以及CNN-GRU模型相比，DL-LSTM-A模型所预测出的中位数更加接近于实际电荷值，CNN-GRU比SVM模型具备更优的性能。由于DL-LSTM-A模型利用双层的LSTM结构更好地利用了电荷序列间的高阶特征。同时，引入了注意力机制判别了序列各个部分的重要性，从而能够提供比其他模型更加精确的预测结果，验证了DL-LSTM-A模型的有效性。

为了更好地描述所提模型的有效性，表II描述了DL-LSTM-A、SVM以及CNN-GRU 模型所预测的电力负荷的误差统计，包括MAPE和MRPE。由表2可知，DL-LSTM-A模型中的平均绝对误差为3.07％，其最大相对误差为4.58％，而CNN-GRU模型的平均绝对误差为4.66％，其最大相对误差为6.83％；SVM模型的平均相对误差和最大相对误差最大，分别为6.09％和9.46％。可以看出，DL-LSTM-A具有最小的相对误差，能够提供较高的预测精度，较其他模型具有更优越的预测性能。

表2不同模型预测误差统计

模型	MAPE	MRPE
			DL-LSTM-A	3.07％	4.58％
SVM	6.09％	9.46％
			CNN-GRU	4.66％	6.83％

实施例2

基于与实施例1相同的发明构思，本发明实施例中提供了一种基于分位数回归的短期负荷概率密度预测装置，包括：

实施例3

本发明实施例中提供了一种基于分位数回归的短期负荷概率密度预测系统，包括处理器和存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行根据实施例1中任一项所述方法的步骤。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims

1.一种基于分位数回归的短期负荷概率密度预测方法，其特征在于，包括：

获取DL-LSTM-A深度网络模型，所述DL-LSTM-A深度网络模型包括若干个双层LSTM网络元胞和注意力机制模块，各双层LSTM网络元胞的输出端分别与所述注意力机制模块相连；所述注意力机制模块将各双层LSTM网络元胞的输出进行加权求和；

所述双层LSTM网络元胞包括顺次相连的两个LSTM元胞；

利用训练数据训练获得DL-LSTM-A网络中待优化的各个参数，获得优化后的DL-LSTM-A深度网络模型；

2.根据权利要求1所述的一种基于分位数回归的短期负荷概率密度预测方法，其特征在于，所述分位数的获取方法包括：

定义电力负荷预测值Y的计算公式为：

Y＝f(h,d,ty,s,te,n,l,Y_o)

定义电力负荷预测值Y的分布函数为：

F(y)＝P(Y≤y)

Q(τ)＝inf(y|F(y)≥τ)。

3.根据权利要求1所述的一种基于分位数回归的短期负荷概率密度预测方法，其特征在于，所述注意力机制模块的输出表达式为：

4.根据权利要求1所述的一种基于分位数回归的短期负荷概率密度预测方法，其特征在于，假设经过DL-LSTM-A网络后，电力负荷预测值Y与网络参数W，V，b和输入X＝[h,d,ty,s,te,n,l,Y_o]之间的关系变为Y＝f_DL-LSTM-A(X,W,V,b)，则所述利用训练数据训练获得DL-LSTM-A网络中待优化的各个参数包括W，V，b，具体为：

设计优化目标函数为：

其中，τ为在分位数，N为样本数量，Y_i指输出电量样本，X_i和X′_i都指分位数τ条件下的样本，i|Y_i≥f_DL-LSTM-A(X′_i,W,V,b)表示第i个响应变量大于等于回归估计值，i|Y_i<f_DL-LSTM-A(X′_i,W,V,b)表示第i个响应变量小于回归估计值，分位数τ∈(0,1)，函数ρ_τ(u)＝u(τ-I(u))，I(u)称为示性函数，u是自变量，