CN109558975A - 一种电力负荷概率密度多种预测结果的集成方法 - Google Patents

Abstract

本发明涉及一种电力负荷概率密度多种预测结果的集成方法，属于电力系统分析技术领域。本发明通过多组不同超参数设定的三类回归模型训练得到多个概率密度或分位数概率预测模型，通过负荷的高斯分布假设和最小二乘法将分位数预测模型的输出转化为服从高斯分布的概率密度模型。采用概率密度预测集成方法，基于训练好的概率密度预测模型和结果构建概率密度预测最优集成模型，确定不同概率密度预测方法的权重，从而使得最终集成预测模型的连续等级概率损失最小。本方法最后转化成为一个二次规划问题，进而利用成熟商业软件快速搜索到全局最优集成权重，提高了概率密度性短期负荷预测精度，进而降低电力系统调度运行成本。

Description

一种电力负荷概率密度多种预测结果的集成方法

技术领域

本发明涉及一种电力负荷概率密度多种预测结果的集成方法，属于电力系统分析技术领域。

背景技术

电力负荷预测是电力系统规划的重要组成部分，也是电力系统经济运行的基础。为了辅助电力系统做出最优决策以有效地减小电力系统的规划和运行成本，高精度的负荷预测是必不可少的。近年来，随着电力系统规模的不断增加，风电、太阳能等间歇性能源的加入，持续、快速增长的分布式可再生能源使得电力系统的负荷表现出强烈的不确定性。概率性负荷预测的研究对电力系统规划与运行的重要性开始凸显。相较于传统点预测，概率性负荷预测通过给出置信区间、概率密度或是分位数的形式表征出待预测负荷的不确定性，提供了对未来负荷预测的更多关键信息。

相比于分位数预测，概率密度预测作为概率预测的另一种表现形式，还未受到足够的重视。之前的研究主要停留在通过参数化模型得到符合人主观预设的概率密度预测，或是通过分位数预测模型的结果得到半参数化的概率密度模型。直到近期，学者们开始采用高斯过程回归等方法进行非参数化的概率密度预测。

由于电力负荷预测问题本身的复杂性和不确定性，目前存在的多种电力负荷预测模型和方法均无法保证在不同的问题或数据集上表现超越其他所有方法。因此，通过综合多种预测模型构建集成预测方法被广泛地应用在电力负荷预测领域上以提升总体预测模型的泛化性能和预测精度。集成预测方法通过对不同预测模型给予合适的权重，根据确定的权重计算各预测结果的加权平均从而得到最终的总体模型预测结果。由于神经网络、随机概率树模型拥有众多的超参数，多组不同的超参数产生的多种预测模型可以提供给集成预测方法足够多的子模型。集成预测虽然目前已经广泛应用于电力负荷的点预测中，但对于概率预测的集成预测方法的研究还非常有限。在电力负荷预测领域，还没有对概率密度预测集成开展相关的研究。

与本发明相关的背景技术包括：

1)分位数回归：分位数回归主要研究自变量与因变量的条件分位数之间的关系，得到的回归模型可以通过自变量估计因变量的条件分位数。分位数回归较传统最小二乘回归而言，不仅可以度量回归变量在分布中心的影响，还可以度量在分布上尾和下尾的影响，为因变量不确定性提供更加详尽的信息。分位数回归可以描述成为一个典型的优化模型，如下式所示：

上式中，i和N分别表示模型训练样本的编号和总数；x_i和y_i分别表示第i个训练样本的自变量和因变量；q表示待回归的分位数，其取值在0到1之间；β(q)表示q分位数回归模型待估计的参数；ρ_q表示q分位数回归的损失函数，其具体表现形式为：

通过一定的优化算法可以求解相应的分位数回归模型。特别地，当分位数回归模型β(q)为线性模型时，该分位数回归为传统的线性分位数回归；当分位数回归模型β(q)为神经网络模型、随机森林、渐进梯度回归树(GBRT)等时，该分位数回归则为神经网络分位数回归、随机森林分位数回归、渐进梯度回归树分位数回归等。

2)分位数损失(Pinball Loss)函数：分位数损失函数是衡量分位数概率性负荷预测精度的一个指标，其具体计算形式如下：

上式中，y_i和分别表示在第i个负荷点的真实值和q分位数预测值。当一共需要预测N 个负荷点的Q个分位数时，可以用平均分位数损失来综合衡量预测结果的精度：

3)概率密度预测模型：概率密度预测模型着重于研究自变量与因变量的条件概率密度之间的关系，得到的模型可以通过自变量估计因变量的条件概率密度。相较于传统的点预测模型，概率密度预测模型给出了因变量在任意取值范围内的概率，提供的因变量概率概率密度分布可以用于计算更多因变量的统计数据，为因变量的不确定性提供更加详尽的信息。本发明中使用的非参数化的概率密度预测模型主要为高斯过程回归。高斯过程回归方法假定任意有限个负荷服从联合高斯分布，通过定义负荷值分布的协方差函数与均值函数，导出某一高斯分布的概率密度预测结果。

4)连续等级概率评分(Continuous Ranked Probability Score)：连续等级概率评分函数是衡量概率密度预测精度的一个指标，其计算形式如下：

上式中，F表示待衡量的累计分布函数，x表示负荷的真实值，1{·}为单位阶跃函数，仅当括号内表达式为真时函数值由0跳变至1。

5)二次规划优化求解技术：该技术能够通过计算机求解二次规划优化问题，给出模型的最优解。其一般形式为：

s.t. Ax≤b

其中x为待决策的n维列向量，Q是n×n的对称矩阵，c是n维列向量，A是m×n的约束矩阵，b是m维列向量。当Q是正定矩阵时，该问题是一个凸优化问题，可以通过拉格朗日方法、内点法、有效集法等方法简单地求出全局最优解。求解难度类似于线性规划。

发明内容

本发明的目的是提出一种电力负荷概率密度多种预测结果的集成方法，在已有的分位数、概率密度预测模型基础上，提出将分位数预测模型转化为概率密度模型的方法，并进一步集成多个概率密度预测模型，以进一步提高概率预测模型的精度。

本发明提出的电力负荷概率密度多种预测结果的集成方法，包括以下步骤：

(1)将历史电力负荷数据D＝[d₁,d₂,…d_t,…d_T]按照设定比例分为三部分，将该三部分数据分别记为：训练集D₁、验证集D₂和组合集D₃，

其中，数据集D₁的长度为T₁，数据集D₂的长度为T₂，数据集D₃的长度为T-T₁-T₂，[·]为向下取整函数；

(2)采用不同的超参数，分别训练D₁训练集的三个概率预测模型，即神经网络分位数回归模型、随机森林分位数回归模型和高斯过程回归模型，具体过程为：

(2-1)形成三个概率预测模型的自变量X_1t和因变量y_1t：

X_1t＝[W_B,w,d_t-H,d_t-2H,d_t-3H,d_t-4H,d_t-5H,d_t-6H,d_t-7H]；y_1t＝d_t；

其中，H表示一天总的采样时段数，W_B表示待预测电力负荷时的日类型，若待预测负荷时为工作日，使W_B＝0，若待预测负荷时不为工作日，使W_B＝1，w表示待预测电力负荷所在的星期数，w＝0,1,…,6分别对应周一至周日，d_t表示第t采样时段的电力负荷值；

(2-2)分别在数据集D₁上建立三个概率预测模型，即神经网络分位数回归模型 g₁(φ₁,X_t,β₁)、随机森林分位数回归模型g₂(φ₂,X_t,β₂)和高斯过程回归模型g₃(φ₃,X_t,β₃)；

其中φ₁,φ₂,φ₃为三个概率预测模型的超参数，φ₁,φ₂和φ₃分别表示在神经网络分位数回归模型的隐含层神经元数、随机森林分位数回归模型的生成节点数和高斯过程回归模型的核函数，β₁,β₂,β₃分别表示与三个概率预测模型相对应的模型参数；

(2-3)调整上述步骤(2-2)中的神经网络隐含层神经元数、随机森林生成节点数，和高斯过程回归模型的核函数，得到调整后的三个概率预测模型的超参数，用调整后的三个概率预测模型超参数训练步骤(2-2)的三个概率预测模型，重复本步骤M次，M>3，得到3M个概率预测模型；

(3)以数据集D₂作为验证集，对步骤(2)中得到的3M个概率预测模型进行验证，计算M个神经网络分位数回归模型在数据集D₂上预测的分位数损失，选取分位数损失最小的N个神经网络分位数回归模型；计算M个随机森林分位数回归模型在数据集D₂上预测的分位数损失，选取分位数损失最小的N个随机森林分位数回归模型；计算M个高斯过程回归模型在数据集D₂上预测的连续等级概率损失，选取分位数损失最小的N个高斯过程回归模型，共得到2N个分位数预测模型和N个概率密度预测模型；

(4)在数据集D₃上，通过电力负荷的高斯分布假设，利用最小二乘法，将神经网络和随机森林方法的分位数结果转化为高斯分布，得到对应的概率密度函数，从而将分位数回归模型转化为2N概率密度模型，包括以下步骤：

(4-1)将步骤(3)选取的N个神经网络分位数回归模型和N个随机森林分位数回归模型的分位数预测结果转化为高斯分布,根据该高斯分布，计算高斯分布的均值μ_t和标准差σ_t：

y_q,t＝μ_t+σ_t×p_q

其中，y_q,t为每个分位数概率预测模型的第t采样时段q分位数的预测结果，p_q为与q 分位数相对应的标准差所乘系数，p_q＝Φ^-1(q)，其中Φ^-1(·)为标准正态分布的累计分布函数的逆函数；

(4-2)采用最小二乘法，在D₃数据集上对每个分位数q的(p_q,y_q,t)点集，进行线性回归，计算得到步骤(4-1)的高斯分布均值μ_t和标准差σ_t；

(5)确定步骤(3)中的N个概率密度预测模型和步骤(4)中的2N个概率密度预测模型，共计K个概率密度预测模型的权重，从而最终得到以混合高斯分布为输出的集成负荷预测模型，过程如下：

(5-1)在训练数据集D₃上，生成概率密度训练模型的自变量X_3t和因变量y_3t：

X_3t＝[W_B,w,d_t-H,d_t-2H,d_t-3H,d_t-4H,d_t-5H,d_t-6H,d_t-7H]；y_3t＝d_t；

(5-2)利用K个概率密度预测模型，使用自变量X_3t进行预测：

其中，表示K个概率密度预测模型中第k个概率密度预测模型的第t采样时段概率预测结果的均值和标准差；

(5-3)根据步骤(5-2)的K个概率密度预测模型的高斯分布预测值和真实值，建立一个二次优化模型，分别确定K个概率密度预测模型的权重：

满足1^Tω＝1

ω≥0

上述二次优化模型中的目标函数为将子模型组合成混合高斯分布后，该混合高斯分布的连续等级概率损失，二次优化模型约束条件表示了权重之和为1，且各模型的权重非负；

上述二次优化模型中，ω为与K个概率密度预测模型相对应的权重，该权重为一个K 维列向量，Q为K×K的矩阵，矩阵Q中第i行第j列元素为：

其中Φ(·)为标准正态分布的累计分布函数；

上述二次优化模型中，c为长度为K的列向量，列向量K中的第i个元素为：

(5-4)根据步骤(5-3)优化模型确定的权重ω，建立一个如下的概率密度预测集成模型，得到一个用于电力负荷概率密度预测的混合高斯分布p(X_t)：

其中，φ_k,t为第k个概率密度预测模型在t时刻预测的概率密度预测结果，ω_k为与第 k个概率密度预测模型相对应的权重，实现电力负荷概率密度多种预测结果的集成。

本发明提出的电力负荷概率密度多种预测结果的集成方法，其优点是：

本发明在已有的分位数、概率密度预测模型基础上，提出将分位数预测模型转化为概率密度模型的方法，组合的模型包括直接概率预测模型(高斯过程回归模型)和由分位数回归模型转化的概率密度模型。首先通过多组不同超参数设定的三类回归模型训练得到多个概率密度或分位数概率预测模型，然后通过负荷的高斯分布假设和最小二乘法将分位数预测模型的输出转化为服从高斯分布的概率密度模型。在此基础上，采用提出的概率密度预测集成方法，基于训练好的概率密度预测模型和结果构建概率密度预测最优集成模型，确定不同概率密度预测方法的权重，从而使得最终集成预测模型的连续等级概率损失最小。该方法最后能够转化成为一个二次规划问题，进而利用成熟商业软件快速搜索到全局最优集成权重，进一步提高概率密度性短期负荷预测精度。

综上所述，本发明建立了一种概率密度性短期负荷预测集成方法，相比于现有方法，该方法不仅丰富了概率密度预测模型的生成方法，还能够快速给各种单一预测方法赋予一定的权重，实现多种预测结果的集成。应用本方法，能够在单一预测模型基础上进一步改善概率性负荷预测精度，更准确描述未来负荷的不确定性，进而减小电力系统运行的成本，因而具有重要的现实意义和良好的应用前景。

附图说明

图1为本发明提出的电力负荷概率密度多种预测结果集成方法的流程框图。

具体实施方式

本发明提出的电力负荷概率密度多种预测结果的集成方法，其流程框图如图1所示，包括以下步骤：

(1)将历史电力负荷数据D＝[d₁,d₂,…d_t,…d_T]按照设定比例分为三部分，一般情况下，将第一部分的比例设定比第二部分和第三部分的比例之和大，本发明的一个实施例中该比例为10:1:1将该三部分数据分别记为：训练集D₁、验证集D₂和组合集D₃，

其中，数据集D₁的长度为T₁，数据集D₂的长度为T₂，数据集D₃的长度为T-T₁-T₂，本发明的一个实施例中[·]为向下取整函数；

(2)采用不同的超参数，分别训练D₁训练集的三个概率预测模型，即神经网络分位数回归模型、随机森林分位数回归模型和高斯过程回归模型，具体过程为：

(2-1)形成三个概率预测模型的自变量X_1t和因变量y_1t：

X_1t＝[W_B,w,d_t-H,d_t-2H,d_t-3H,d_t-4H,d_t-5H,d_t-6H,d_t-7H]；y_1t＝d_t；

其中，H表示一天总的采样时段数，W_B表示待预测电力负荷时的日类型，若待预测负荷时为工作日，使W_B＝0，若待预测负荷时不为工作日，使W_B＝1，w表示待预测电力负荷所在的星期数，w＝0,1,…,6分别对应周一至周日，d_t表示第t采样时段的电力负荷值；

(2-2)分别在数据集D₁上建立三个概率预测模型，即神经网络分位数回归模型 g₁(φ₁,X_t,β₁)、随机森林分位数回归模型g₂(φ₂,X_t,β₂)和高斯过程回归模型g₃(φ₃,X_t,β₃)；

其中φ₁,φ₂,φ₃为三个概率预测模型的超参数，φ₁,φ₂和φ₃分别表示在神经网络分位数回归模型的隐含层神经元数、随机森林分位数回归模型的生成节点数和高斯过程回归模型的核函数，β₁,β₂,β₃分别表示与三个概率预测模型相对应的模型参数，本发明的一个实施例中，使用已有的Python下的Keras、XGBoost和GPflow软件包，分别建立并训练上述三种模型。

(2-3)调整上述步骤(2-2)中的神经网络隐含层神经元数、随机森林生成节点数，和高斯过程回归模型的核函数，得到调整后的三个概率预测模型的超参数，用调整后的三个概率预测模型超参数训练步骤(2-2)的三个概率预测模型，重复本步骤M次，M>3，得到3M个概率预测模型，本发明的一个实施例中，该比例为M＝5；

(3)以数据集D₂作为验证集，对步骤(2)中得到的3M个概率预测模型进行验证，计算M个神经网络分位数回归模型在数据集D₂上预测的分位数损失，选取分位数损失最小的N个神经网络分位数回归模型；计算M个随机森林分位数回归模型在数据集D₂上预测的分位数损失，选取分位数损失最小的N个随机森林分位数回归模型；计算M个高斯过程回归模型在数据集D₂上预测的连续等级概率损失(CRPS)，选取分位数损失最小的N 个高斯过程回归模型，共得到2N个分位数预测模型和N个概率密度预测模型；

(4)在数据集D₃上，通过电力负荷的高斯分布假设，利用最小二乘法，将神经网络和随机森林方法的分位数结果转化为高斯分布，得到对应的概率密度函数，从而将分位数回归模型转化为2N概率密度模型，包括以下步骤：

(4-1)将步骤(3)选取的N个神经网络分位数回归模型和N个随机森林分位数回归模型的分位数预测结果转化为高斯分布,根据该高斯分布，计算高斯分布的均值μ_t和标准差σ_t：

y_q,t＝μ_t+σ_t×p_q

其中，y_q,t为每个分位数概率预测模型的第t采样时段q分位数的预测结果，p_q为与q 分位数相对应的标准差所乘系数，p_q＝Φ^-1(q)，其中Φ^-1(·)为标准正态分布的累计分布函数的逆函数；

(4-2)采用最小二乘法，在D₃数据集上对每个分位数q的(p_q,y_q,t)点集，进行线性回归，计算得到步骤(4-1)的高斯分布均值μ_t和标准差σ_t；

(5)确定步骤(3)中的N个概率密度预测模型和步骤(4)中的2N个概率密度预测模型，共计K个概率密度预测模型的权重，从而最终得到以混合高斯分布为输出的集成负荷预测模型，过程如下：

(5-1)在训练数据集D₃上，生成概率密度训练模型的自变量X_3t和因变量y_3t：

X_3t＝[W_B,w,d_t-H,d_t-2H,d_t-3H,d_t-4H,d_t-5H,d_t-6H,d_t-7H]；y_3t＝d_t；

(5-2)利用K个概率密度预测模型，使用自变量X_3t进行预测：

其中，表示K个概率密度预测模型中第k个概率密度预测模型的第t采样时段概率预测结果的均值和标准差；

(5-3)根据步骤(5-2)的K个概率密度预测模型的高斯分布预测值和真实值，建立一个二次优化模型，分别确定K个概率密度预测模型的权重：

满足1^Tω＝1

ω≥0

上述二次优化模型中的目标函数为将子模型组合成混合高斯分布后，该混合高斯分布的连续等级概率损失(CRPS)，二次优化模型约束条件表示了权重之和为1，且各模型的权重非负；

上述二次优化模型中，ω为与K个概率密度预测模型相对应的权重，该权重为一个K 维列向量，Q为K×K的矩阵，矩阵Q中第i行第j列元素为：

其中Φ(·)为标准正态分布的累计分布函数；

上述二次优化模型中，c为长度为K的列向量，列向量K中的第i个元素为：

这是典型的二次规划模型，可以通过现成的优化工具包进行求解。

(5-4)根据步骤(5-3)优化模型确定的权重ω，建立一个如下的概率密度预测集成模型，得到一个用于电力负荷概率密度预测的混合高斯分布p(X_t)：

其中，φ_k,t为第k个概率密度预测模型在t时刻预测的概率密度预测结果，ω_k为与第 k个概率密度预测模型相对应的权重，实现电力负荷概率密度多种预测结果的集成。

Claims (1)

1.一种电力负荷概率密度多种预测结果的集成方法，其特征在于，该方法包括以下步骤：

(1)将历史电力负荷数据D＝[d₁,d₂,…d_t,…d_T]按照设定比例分为三部分，将该三部分数据分别记为：训练集D₁、验证集D₂和组合集D₃，

其中，数据集D₁的长度为T₁，数据集D₂的长度为T₂，数据集D₃的长度为T-T₁-T₂，[·]为向下取整函数；

(2)采用不同的超参数，分别训练D₁训练集的三个概率预测模型，即神经网络分位数回归模型、随机森林分位数回归模型和高斯过程回归模型，具体过程为：

(2-1)形成三个概率预测模型的自变量X_1t和因变量y_1t：

X_1t＝[W_B,w,d_t-H,d_t-2H,d_t-3H,d_t-4H,d_t-5H,d_t-6H,d_t-7H]；y_1t＝d_t；

其中，H表示一天总的采样时段数，W_B表示待预测电力负荷时的日类型，若待预测负荷时为工作日，使W_B＝0，若待预测负荷时不为工作日，使W_B＝1，w表示待预测电力负荷所在的星期数，w＝0,1,…,6分别对应周一至周日，d_t表示第t采样时段的电力负荷值；

(2-2)分别在数据集D₁上建立三个概率预测模型，即神经网络分位数回归模型g₁(φ₁,X_t,β₁)、随机森林分位数回归模型g₂(φ₂,X_t,β₂)和高斯过程回归模型g₃(φ₃,X_t,β₃)；

其中φ₁,φ₂,φ₃为三个概率预测模型的超参数，φ₁,φ₂和φ₃分别表示在神经网络分位数回归模型的隐含层神经元数、随机森林分位数回归模型的生成节点数和高斯过程回归模型的核函数，β₁,β₂,β₃分别表示与三个概率预测模型相对应的模型参数；

(2-3)调整上述步骤(2-2)中的神经网络隐含层神经元数、随机森林生成节点数，和高斯过程回归模型的核函数，得到调整后的三个概率预测模型的超参数，用调整后的三个概率预测模型超参数训练步骤(2-2)的三个概率预测模型，重复本步骤M次，M>3，得到3M个概率预测模型；

(3)以数据集D₂作为验证集，对步骤(2)中得到的3M个概率预测模型进行验证，计算M个神经网络分位数回归模型在数据集D₂上预测的分位数损失，选取分位数损失最小的N个神经网络分位数回归模型；计算M个随机森林分位数回归模型在数据集D₂上预测的分位数损失，选取分位数损失最小的N个随机森林分位数回归模型；计算M个高斯过程回归模型在数据集D₂上预测的连续等级概率损失，选取分位数损失最小的N个高斯过程回归模型，共得到2N个分位数预测模型和N个概率密度预测模型；

(4)在数据集D₃上，通过电力负荷的高斯分布假设，利用最小二乘法，将神经网络和随机森林方法的分位数结果转化为高斯分布，得到对应的概率密度函数，从而将分位数回归模型转化为2N概率密度模型，包括以下步骤：

(4-1)将步骤(3)选取的N个神经网络分位数回归模型和N个随机森林分位数回归模型的分位数预测结果转化为高斯分布,根据该高斯分布，计算高斯分布的均值μ_t和标准差σ_t：

y_q,t＝μ_t+σ_t×p_q

其中，y_q,t为每个分位数概率预测模型的第t采样时段q分位数的预测结果，p_q为与q分位数相对应的标准差所乘系数，p_q＝Φ^-1(q)，其中Φ^-1(·)为标准正态分布的累计分布函数的逆函数；

(4-2)采用最小二乘法，在D₃数据集上对每个分位数q的(p_q,y_q,t)点集，进行线性回归，计算得到步骤(4-1)的高斯分布均值μ_t和标准差σ_t；

(5)确定步骤(3)中的N个概率密度预测模型和步骤(4)中的2N个概率密度预测模型，共计K个概率密度预测模型的权重，从而最终得到以混合高斯分布为输出的集成负荷预测模型，过程如下：

(5-1)在训练数据集D₃上，生成概率密度训练模型的自变量X_3t和因变量y_3t：

X_3t＝[W_B,w,d_t-H,d_t-2H,d_t-3H,d_t-4H,d_t-5H,d_t-6H,d_t-7H]；y_3t＝d_t；

(5-2)利用K个概率密度预测模型，使用自变量X_3t进行预测：

其中，表示K个概率密度预测模型中第k个概率密度预测模型的第t采样时段概率预测结果的均值和标准差；

(5-3)根据步骤(5-2)的K个概率密度预测模型的高斯分布预测值和真实值，建立一个二次优化模型，分别确定K个概率密度预测模型的权重：

满足1^Tω＝1

ω≥0

上述二次优化模型中的目标函数为将子模型组合成混合高斯分布后，该混合高斯分布的连续等级概率损失，二次优化模型约束条件表示了权重之和为1，且各模型的权重非负；

上述二次优化模型中，ω为与K个概率密度预测模型相对应的权重，该权重为一个K维列向量，Q为K×K的矩阵，矩阵Q中第i行第j列元素为：

其中Φ(·)为标准正态分布的累计分布函数；

上述二次优化模型中，c为长度为K的列向量，列向量K中的第i个元素为：

(5-4)根据步骤(5-3)优化模型确定的权重ω，建立一个如下的概率密度预测集成模型，得到一个用于电力负荷概率密度预测的混合高斯分布p(X_t)：

其中，φ_k,t为第k个概率密度预测模型在t时刻预测的概率密度预测结果，ω_k为与第k个概率密度预测模型相对应的权重，实现电力负荷概率密度多种预测结果的集成。