CN113554466A - 一种短期用电量预测模型构建方法、预测方法和装置 - Google Patents

Abstract

本发明公开了一种短期用电量预测模型构建方法、预测方法和装置，方法包括：获取用户的历史用电量时间序列；对获取的历史用电量时间序列进行特征提取；将提取的特征数据分别输入到基于Attention机制的GRU门控循环单元模型和基于双路径结构的时间卷积网络模型进行训练；将两个模型训练得到的输出结果输入到多层感知机MLP进行整合训练，从而得到由训练好的GRU门控循环单元模型、时间卷积网络模型和MLP构成的短期用电量预测模型。本发明基于双路径结构的时间卷积和基于注意力机制的门控循环单元来构建短期用电量预测模型，解决了电力领域中针对低采集频率和非线性时变性特征明显的数据的精准短期用电预测问题。

Description

一种短期用电量预测模型构建方法、预测方法和装置

技术领域

本发明属于电力大数据技术领域、机器学习技术领域，具体涉及一种短期用电量预测模型构建方法、预测方法和装置。

背景技术

短期用电预测是指根据用电历史数据、气候、季节等多种数据进行未来一周、一天甚至一小时之内的用电情况预测。用电预测的准确性与电力调度、规划等决策行为息息相关，能够有效地提升电力调度领域的效率，对提升发电集团的经济效益和社会效益也有一定作用。随着智能电网的建设，可再生能源的电网接入率和分布式能源的渗透率持续提高，新兴负荷类型不断涌现，交直流混连情况日趋普遍，导致用电数据的时空不确定性增大，非线性和时变性特征愈发明显。传统方法已难以应对新形势下的用电量预测问题。

随着电力信息的发展和智能电表的广泛应用，电网侧累计了大量的用户用电数据，为用电量预测提供了高质量的数据集，为深度学习方法的应用提供了数据支撑。

常见的用电量预测方法包括经典的统计模型和机器学习模型两类。统计模型主要是多元线性回归、卡尔曼滤波模型和时间序列模型。机器学习模型则以支持向量机、人工神经网络和树模型为主。尽管电量预测问题研究的主要趋势逐渐从传统方法向深度学习法转变，但现有方法难以处理低采集频率和非线性时变性特征明显的数据。比如循环神经网络(Recurrent Neural Networks,RNN) 进行用电量预测低采集频率数据准确性较低；长短期记忆网络虽然使得梯度问题得到缓解，但是难以处理非线性时变性特征显著的数据等。

同时，与大部分问题中的静态数据不同。电力数据具备流式数据的特点，数据量大且实时性强，而且随着社会不断发展与进步，还具备了动态数据流的特点，即随着时间推移，数据的概率分布会发生变化，称之为概念漂移。作为短期用电预测模型，需要在模型设计时考虑到这种概念漂移现象对模型预测准确性的影响。

发明内容

针对低采集频率和非线性时变性特征的电力数据实施更为高精度的短期用电预测问题，本发明提供了一种短期用电量预测模型构建方法、预测方法和装置。本发明基于双路径结构的时间卷积和基于注意力机制的门控循环单元来构建短期用电量预测模型，解决了电力领域中针对低采集频率和非线性时变性特征明显的数据的精准短期用电预测问题，同时利用概念漂移检测和模型更新来应对电力领域数据随时间渐进式变化的问题。

本发明通过下述技术方案实现：

一种短期用电量预测模型构建方法，包括：

获取用户的历史用电量时间序列；

对获取的历史用电量时间序列进行特征提取；

将提取的特征数据分别输入到基于Attention机制的GRU门控循环单元模型和基于双路径结构的时间卷积网络模型进行训练；

将两个模型训练得到的输出结果输入到多层感知机MLP进行整合训练，从而得到由训练好的GRU门控循环单元模型、时间卷积网络模型和MLP构成的短期用电量预测模型。

优选的，本发明的特征提取过程具体为：

采用随机森林法，从用电量时间序列中提取特征数据，提取的特征数据具体包括：日用电总量、每日峰时用电量、每日平时用电量、每日谷时用电量、峰时耗电率、平时耗电率、谷时耗电率、非电类环境特征、时间类特征和历史日特征；

所述历史日特征为预测日之前的且具有周期性间隔的日期。

优选的，本发明的将提取的特征数据输入到基于Attention机制的GRU门控循环单元模型进行训练具体包括：

构建基于Attention机制的GRU门控循环单元模型，其表示为：

重置门为:

r_t＝σ(W_r×[h_t-1，x_t]+b_r)

更新门为：

z_t＝σ(W_z×[h_t-1，x_t]+b_z)

z′_t＝α_t*z_t

记忆单元：

隐藏单元：

式中W_r、W_z、

b_r、b_z分别为网络权重参数和对应偏置项；σ和tanh分别为sigmoid和tanh激活函数；x_t为当前时刻的输入；h_t为当前时刻的记忆；h_t-1为上一时刻的记忆；α_t为基于更新门的attention系数；

将特征数据输入到基于Attention机制的GRU门控循环单元模型中进行训练，训练过程中采用ADAM算法进行参数寻优，为每个参数动态调整学习率。

优选的，本发明的将提取的特征数据输入到基于双路径结构的时间卷积网络模型进行训练具体包括：

构建基于双路径结构的时间卷积网络模型；

将特征数据输入到基于双路径结构的时间卷积网络模型中进行训练，训练过程中采用ADAM算法进行参数寻优，为每个参数动态调整学习率。

优选的，本发明的将两个模型训练得到的输出结果输入到多层感知机MLP 进行整合训练具体为：

将两个模型训练得到的输出输入到多层感知机MLP进行整合，表示如下：

y＝w[y_g，y_t]+b

式中，y_g表示基于Attention机制的GRU输出序列最后时刻的输出，y_t表示基于双路径结构的TCN模型的输出，w和b分别表示MLP网络的权值和偏置，y 表示MLP的输出作为用电量预测结果；

采用优化器Adam进行参数寻优。

优选的，本发明的方法还包括：

步骤105，对训练得到的预测模型进行性能测试。

第二方面，本发明提出了一种短期用电量预测方法，包括：

步骤201，对采用权利要求1-6任一项所述方法构建的短期用电量预测模型进行概念漂移检测；

步骤202，如果确定发生了概念漂移，则对构建的短期用电预测模型进行更新；

步骤203，利用短期用电量预测模型根据当前获取的特征数据，即可预测得到未来一段时间的用电量。

优选的，本发明的概念漂移检测具体过程为：

根据错误率指标判断是否发生了概念漂移；其中，所述错误率指标为预测结果与实际值之间的差值与之前一个月差值均值的增长率；

如果该增长率大于预设警告值，且在设定周期内差值增长率没有降低，则确定发生了概念漂移，即样本的概率分布发生了变化。

第三方面，本发明提出了一种短期用电量预测模型构建装置，包括数据获取单元、特征提取单元、第一模型训练单元、第二模型训练单元、整合单元；

所述数据获取单元用于获取某地区用户的历史用电量时间序列；

所述特征提取单元用于从获取的历史用电量时间序列中提取特征数据，构成训练样本数据和测试样本数据；

所述第一模型训练单元用于采用训练样本数据对改进的基于Attention机制的GRU门控循环单元模型进行训练；

所述第二模型训练单元用于采用训练样本数据对基于双路径结构的时间卷积网络模型进行训练；

所述整合单元用于将所述第一模型训练单元的输出和第二模型训练单元的输出输入到多层感知机MLP进行整合训练，即可得到短期用电量预测模型。

第四方面，本发明提出了一种短期用电量预测装置，包括概念漂移检测单元、更新单元和预测单元；

所述概念漂移检测单元用于对上述实施例3提出的模型构建装置构建的短期用电量预测模型进行概念漂移；

所述更新单元用于在检测到发生了概念漂移时，对构建的短期用电量预测模型进行更新；

所述预测单元，采用短期用电量预测模型根据当前输入的特征数据预测得到未来的用电量。

本发明具有如下的优点和有益效果：

与现有技术相比，本发明方法整合了机器学习模型，为了提高模型对低采集频率数据和时变性显著数据的用电量预测精度，本发明基于深度学习的时间卷积网络和门控循环单元进行短期用电量预测，考虑包括电类特征、环境特征和时间特征在内的多种用电影响因素，从中筛选出模型输入特征，训练两种网络并结合多层感知机建立用电量预测的整体架构。与长短期记忆网络、一维卷积以及多层感知机等方法的预测结果进行对比分析，能够更有效解决电力领域中针对低采集频率和非线性时变性特征明显的数据的精准短期用电预测问题。同时考虑到电力领域数据的渐变式概念漂移特点，随着时间推移，电力数据的概率分布会发生渐进式改变，为了适应这种变化提出了在模型运行时对概念漂移进行检测并对模型进行更新的方法。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明的模型构建方法流程示意图。

图2为本发明的基于双路径结构的TCN架构。

图3为本发明的构建的短期用电量预测模型架构示意图。

图4为本发明的预测方法流程示意图。

图5为本发明的模型构建装置结构示意图。

图6为本发明的预测装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1

本实施例提出了一种基于时间卷积网络和门控循环单元的短期用电量预测模型构建方法、预测方法和装置，如图1所示，本实施例的方法包括：

步骤101，获取某地区用户的历史用电量时间序列。

本实施例的步骤101还对每个用户设置了对应的用电类别标签，用电类别标签具体包括01：居民用户，02：单相工商用户，03：三相工商用户。

例如，采集某地区用户的真实用电量时间序列，其中包括了418个用电用户在2015年7月14日到2016年7月14日一年间的日用电总量、日峰时耗电总量、日平时耗电总量、日谷时耗电总量数据，以及非电类数据。训练集设置为前368个用户的前10个月用电数据，其余50个用户的后2个月用电数据作为测试集。用电采集系统对每个用户设置了对应的用电类别标签，即用户类型码，分别为01居民用户、02单相工商用户和03三相工商用户。根据用户类型码，所有用户被分成三类。

步骤102，从获取的历史用电量时间序列中提取特征数据。

本实施例根据对电力系统用电量的影响因素来获取特征数据，作为后续模型训练和测试用的样本数据。本实施例采用随机森林法，从用电量时间序列中提取特征数据，提取的特征数据具体包括：

(1)日用电总量；

(2)每日峰、平、谷时用电量以及三个时段的耗电率等电类特征；

(3)每日最高温、当日天气等非电类环境特征；

(4)节假日等时间类特征；

(5)考虑到用户用电行为的周期性特征，加入历史日特征。所谓历史日特征为预测日之前的且具有周期性间隔的日期，如预测日历史前7天、预测日历史前14天、第21填和第28天(周期为7天)。

将第t天的所有用电特征用x_t表示，x_t是一个向量，包含当天的日用电总量、日峰时用电量、日平时用电量、当日最高气温、是否节假日等。用x₀，x₁，…，x_t表示第t天以及前t天的时序数据来预测第t天的用电总量y_t。对序列建模网络需满足下式：

f：X^T-＞Y^T

并实现如下函数：

y_t＝f(x₀，x₁，…，x_t)

目标是找到一个网络f，最小化实际值和预测值间的损失函数，即最小化下式：

L(y_t，f(x₀，x₁，…，x_t))

其中，L代表预测值与实际值之间的度量函数。

步骤103，将提取的特征数据(训练样本数据)分别输入到基于Attention 机制的GRU门控循环单元模型和基于双路径结构的时间卷积网络模型进行训练。

传统的GRU的更新门用于控制前一时刻的状态信息被带入到当前状态中的程度；更新门的值越大说明前一时刻的状态信息带入越多。重置门控制前一状态有多少信息被写入到当前的候选集上，重置门越小，前一状态的信息被写入的越少。而基于Attention的GRU在传统的GRU门结构的基础上，添加Attention 机制来对较为重要的特征维度赋予更高的权重，从而达到更好的预测效果。

基于Attention机制的GRU原理如下：

重置门为:

r_t＝σ(W_r×[h_t-1，x_t]+b_r)

更新门为：

z_t＝σ(W_z×[h_t-1，x_t]+b_z)

z′_t＝α_t*z_t

记忆单元：

隐藏单元：

式中W_r、W_z、W_h、b_r、b_z分别为网络权重参数和对应偏置项；σ和tanh分别为sigmoid和tanh激活函数；x_t为当前时刻的输入；h_t为当前时刻的记忆；h_t-1为上一时刻的记忆；α_t为基于更新门的attention系数。

目标损失函数采用均方误差，式中，y_i和

分别为第i天的用电量真实值和用电量预测值，

为预测时段内真实值的均值。m为测试集样本个数。

GRU模型采用ADAM算法进行参数寻优，为每个参数动态调整学习率。参数更新过程为：

本实施例对GRU模型训练时：学习率0.001；学习率衰减方式每3次迭代，学习率减半。子训练样本大小128；网络层数2；每层的神经元数128、64；迭代次数30。

时间卷积网络(Temporal Convolutional Network,TCN)的核心是空洞卷积和残差块，空洞卷积使得在限制网络深度的条件下让特征图提取更大区域的图像信息，并且可以灵活调整感受野的尺寸。限制网络深度可以减少参数在反向传播更新过程中可能遇到的梯度消失或爆炸情况的发生。利用ResNet网络中的残差块结构使得网络信息可以以跨层形式直接深层传递。此外还加入了Dropout 机制来避免网络过拟合。在此基础上，引入稠密连接机制，与残差块的残差连接结合形成双路径结构，双路径结构将多层特征进行高度结合，获得更好的预测精度。多个双路径结构的堆叠形成了图2所示的基于双路径结构的TCN架构。

目标损失函数采用均方误差，式中，y_i和

分别为第i天的用电量真实值和用电量预测值，

为预测时段内真实值的均值。m为测试集样本个数。

TCN模型采用ADAM算法进行参数寻优，为每个参数动态调整学习率。参数更新过程为：

本实施例对基于双路径结构的时间卷积网络模型进行训练时：学习率0.001；子训练样本大小为256；网络层数为1；卷积核个数20；卷积核大小4×1；空洞尺寸[1,2,4,8]；迭代次数50。

步骤104，多层感知机MLP采用ADAM优化器进行参数优化，MLP的输入为GRU模型和TCN模型的输出，MLP的输出为预测模型最终的预测结果。最终，整个模型的整体架构如图3所示。

本实施例将两个模型训练得到的输出输入到多层感知机MLP(MLP的网络层数2；神经元数64、16)进行整合，表示如下：

y＝w[y_g，y_t]+b

式中，y_g表示基于Attention机制的GRU输出序列最后时刻的输出，y_t表示基于双路径结构的TCN模型的输出，w和b分别表示MLP网络的权值和偏置。将y_g和y_t作为MLP的输入，MLP的输出y即为最终用电量预测结果，采用优化器Adam进行参数寻优，目标损失函数采用均方误差MSE：

式中，y_i和

分别为第i天的用电量真实值和用电量预测值，

为预测时段内真实值的均值。

步骤105，对训练得到的预测模型进行性能测试。测试目的是通过对预测精度的评估来评价模型的实际可用性。

本实施例采用长期记忆网络LSTM、一维卷积(1D Convolutional NeuralNetworks,Conv1D)和多层感知机MLP进行对比分析。评价指标采用了均方根误差(RootMean Squard Error，RMSE)、均方误差(Mean Squared Error，MSE)、平均绝对误差(MeanAbsolute Error，MAE)和判定系数(Coefficient Of Determination，R2)。其中RMSE、MSE和MAE值越小(接近0)表明模型预测精度越高；R²值越接近1表明预测精度越高。

式中，y_i和

分别为第i天的用电量真实值和用电量预测值，

为预测时段内真实值的均值，m为测试集样本个数。

由实际应用场景决定预测模型的允许误差范围。对于超出误差允许范围的情况，可以通过分析错误数据的具体情况来进行相应的改进，如扩增数据量、增加数据维度和调整Attention权重等方式。

本发明创新地发明了基于双路径结构的时间卷积和基于注意力机制的门控循环单元的短期用电量预测方法，该方法包括：对大数据进行预处理，包括对用三类用户的电大数据进行特征提取；结合提取出的有效数据进行时间卷积模型和门控循环单元的训练，最后将前两者模型的输出输入至MLP多层感知机进行整合，采用ADAM优化器进行参数寻优，最终得到短期用电量预测模型。

实施例2

本实施例提出了一种短期用电量预测方法，该方法采用上述实施例1提出的方法构建的预测模型实现。

具体如图4所示，本实施例的方法包括：

步骤201，对构建的短期用电量预测模型进行概念漂移检测；

步骤202，如果确定发生了概念漂移，则对构建的短期用电预测模型进行更新；

步骤203，利用短期用电量预测模型(构建的或更新后的)根据当前获取的特征数据，即可预测得到未来一段时间的用电量。

本实施例中，概念漂移检测具体过程为：

首先定义错误率指标为预测结果与实际值之间的差值与之前一个月差值均值的增长率；

然后判断是否发生了概念漂移：当检测到该增长率大于预设警告值，且在设定周期内差值增长率没有降低，则确定发生了概念漂移，即样本的概率分布发生了变化。

本实施例的更新过程具体使用具有新的概率分布的数据对网络权重进行更新，进而更新整个短期用电量预测模型。

实施例3

本实施例提出了一种短期用电量预测模型构建装置，如图5所示，该装置包括数据获取单元、特征提取单元、第一模型训练单元、第二模型训练单元、整合单元和测试单元。

其中，该数据获取单元用于获取某地区用户的历史用电量时间序列。

该特征提取单元用于从获取的历史用电量时间序列中提取特征数据，构成训练样本数据和测试样本数据。

第一模型训练单元用于采用训练样本数据对改进的基于Attention机制的 GRU门控循环单元模型进行训练。

第二模型训练单元用于采用训练样本数据对基于双路径结构的时间卷积网络模型进行训练。

整合单元用于将所述第一模型训练单元的输出和第二模型训练单元的输出输入到多层感知机MLP进行整合训练，采用ADAM优化器进行参数优化，获得最优参数，即可得到短期用电量预测模型。

测试单元采用测试样本数据对训练得到的短期用电量预测模型进行性能测试。

实施例4

本实施例提出了一种短期用电量预测装置，如图6所示，该装置包括概念漂移检测单元、更新单元和预测单元。

其中，概念漂移检测单元用于对上述实施例3提出的模型构建装置构建的短期用电量预测模型进行概念漂移；

更新单元用于在检测到发生了概念漂移时，对构建的短期用电量预测模型进行更新；

预测单元，采用构建的(更新的)短期用电量预测模型根据当前输入的特征数据预测得到未来的用电量。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种短期用电量预测模型构建方法，其特征在于，包括：

获取用户的历史用电量时间序列；

对获取的历史用电量时间序列进行特征提取；

将提取的特征数据分别输入到基于Attention机制的GRU门控循环单元模型和基于双路径结构的时间卷积网络模型进行训练；

将两个模型训练得到的输出结果输入到多层感知机MLP进行整合训练，从而得到由训练好的GRU门控循环单元模型、时间卷积网络模型和MLP构成的短期用电量预测模型。

2.根据权利要求1所述的一种短期用电量预测模型构建方法，其特征在于，所述特征提取过程具体为：

采用随机森林法，从用电量时间序列中提取特征数据，提取的特征数据具体包括：日用电总量、每日峰时用电量、每日平时用电量、每日谷时用电量、峰时耗电率、平时耗电率、谷时耗电率、非电类环境特征、时间类特征和历史日特征；

所述历史日特征为预测日之前的且具有周期性间隔的日期。

3.根据权利要求1所述的一种短期用电量预测模型构建方法，其特征在于，

将提取的特征数据输入到基于Attention机制的GRU门控循环单元模型进行训练具体包括：

构建基于Attention机制的GRU门控循环单元模型，其表示为：

重置门为：

r_t＝σ(W_r×[h_t-1，x_t]+b_r)

更新门为：

z_t＝σ(W_z×[h_t-1，x_t]+b_z)

z′_t＝α_t*z_t

记忆单元：

隐藏单元：

式中W_r、W_z、

b_r、b_z分别为网络权重参数和对应偏置项；σ和tanh分别为sigmoid和tanh激活函数；x_t为当前时刻的输入；h_t为当前时刻的记忆；h_t-1为上一时刻的记忆；α_t为基于更新门的attention系数；

将特征数据输入到基于Attention机制的GRU门控循环单元模型中进行训练，训练过程中采用ADAM算法进行参数寻优，为每个参数动态调整学习率。

4.根据权利要求1所述的一种短期用电量预测模型构建方法，其特征在于，将提取的特征数据输入到基于双路径结构的时间卷积网络模型进行训练具体包括：

构建基于双路径结构的时间卷积网络模型；

将特征数据输入到基于双路径结构的时间卷积网络模型中进行训练，训练过程中采用ADAM算法进行参数寻优，为每个参数动态调整学习率。

5.根据权利要求1所述的一种短期用电量预测模型构建方法，其特征在于，将两个模型训练得到的输出结果输入到多层感知机MLP进行整合训练具体为：

将两个模型训练得到的输出输入到多层感知机MLP进行整合，表示如下：

y＝w[y_g，y_t]+b

式中，y_g表示基于Attention机制的GRU输出序列最后时刻的输出，y_t表示基于双路径结构的TCN模型的输出，w和b分别表示MLP网络的权值和偏置，y表示MLP的输出作为用电量预测结果；

采用优化器Adam进行参数寻优。

6.根据权利要求1所述的一种短期用电量预测模型构建方法，其特征在于，还包括：

步骤105，对训练得到的预测模型进行性能测试。

7.一种短期用电量预测方法，其特征在于，包括：

步骤201，对采用权利要求1-6任一项所述方法构建的短期用电量预测模型进行概念漂移检测；

步骤202，如果确定发生了概念漂移，则对构建的短期用电预测模型进行更新；

步骤203，利用短期用电量预测模型根据当前获取的特征数据，即可预测得到未来一段时间的用电量。

8.根据权利要求7所述的一种短期用电量预测方法，其特征在于，所述概念漂移检测具体过程为：

根据错误率指标判断是否发生了概念漂移；其中，所述错误率指标为预测结果与实际值之间的差值与之前一个月差值均值的增长率；

如果该增长率大于预设警告值，且在设定周期内差值增长率没有降低，则确定发生了概念漂移，即样本的概率分布发生了变化。

9.一种短期用电量预测模型构建装置，其特征在于，包括数据获取单元、特征提取单元、第一模型训练单元、第二模型训练单元、整合单元；

所述数据获取单元用于获取某地区用户的历史用电量时间序列；

所述特征提取单元用于从获取的历史用电量时间序列中提取特征数据，构成训练样本数据和测试样本数据；

所述第一模型训练单元用于采用训练样本数据对改进的基于Attention机制的GRU门控循环单元模型进行训练；

所述第二模型训练单元用于采用训练样本数据对基于双路径结构的时间卷积网络模型进行训练；

所述整合单元用于将所述第一模型训练单元的输出和第二模型训练单元的输出输入到多层感知机MLP进行整合训练，即可得到短期用电量预测模型。

10.一种短期用电量预测装置，其特征在于，包括概念漂移检测单元、更新单元和预测单元；

所述概念漂移检测单元用于对上述实施例3提出的模型构建装置构建的短期用电量预测模型进行概念漂移；

所述更新单元用于在检测到发生了概念漂移时，对构建的短期用电量预测模型进行更新；

所述预测单元，采用短期用电量预测模型根据当前输入的特征数据预测得到未来的用电量。

Images