CN110619420A - 一种基于Attention-GRU的短期住宅负荷预测方法 - Google Patents

Abstract

本发明公开了一种基于Attention‑GRU的短期住宅负荷预测方法，包括下述步骤：数据预处理；使用深度学习模型进行负载预测的第一步是以适当的格式准备数据，并使用基于密度的噪声应用空间聚类(DBSCAN)技术，来评估日常功率分布的一致性；在次步骤中，构建训练集和测试集；本发明将人工智能在自然语言处理的两种算法结合构建出短期住宅负荷预测模型，该模型用GRU算法不仅仅克服传统智能预测算法递归神经网络的不足，也解决了RNN的决梯度爆炸和梯度消失问题；用Attention层的作用是将模型学习到的特征权重赋予下一个时间步长中的输入向量，突出关键特征对预测负荷的影响。

Description

一种基于Attention-GRU的短期住宅负荷预测方法

技术领域

本发明涉及电力负荷预测技术领域，具体涉及一种基于Attention-GRU的短期住宅负荷预测方法。

背景技术

负荷预测是电力系统规划和控制的第一阶段。准确的负荷预测对于公用事业公司来说非常重要，可以确保电网的可靠性和稳定性，以满足负荷需求。根据预测的时间范围，电力需求预测可大致分为三类，即短期电力需求预测，中期电力需求预测和长期电力需求预测。它对于有效处理日常运营，发电容量调度，采购计划和评估非常有用。住宅每日负荷预测是一种短期负荷预测。它是估算电力系统待机容量，每日负荷率以及设定峰谷电价的重要依据。此外，它对公用事业的运营和生产成本也有重大影响。因此，负荷预测算法在过去几十年中得到了广泛的研究。大多数预测模型基于相似性原理和各种优化算法，分为两类：一种是经典的预测算法，另一种是智能预测算法。

对于经典预测算法，主要优点是计算速度快，鲁棒性强，回归分析和指数平滑简单易行。然而，由于缺乏负荷曲线特征分析，其预测精度明显不足。时间序列方法可以反映负载的连续变化，但是这种方法需要原始序列的高平滑性，并且不能解决负载因子的变化。频域分量法和小波分析法可以研究频域负荷，但不考虑其他因素对负荷的影响，如社会因素、气象因素。

对于智能预测算法，它们的优势在于筛选和处理影响负载的主要因素。人工神经网络(artificial neural networks，ANN)和支持向量机(support vector machine，SVM)已经被广泛用于负荷预测。基于ANN和SVM方法，提出了主成分分析人工神经网络(principal component analysis-artificial neural networks，PCA-ANN)、最小二乘支持向量机(least squares support vector machine，LS-SVM)来提高负荷预测精度。然而，这些传统的神经网络没有考虑负荷曲线的时间序列特征，这些特征性容易陷入局部最优和过度拟合。因此，传统神经网络在短期住宅负荷预测中遇到了技术瓶颈。

2006年，Hinton教授提出了一个深度信念网络(deep belief network，DBN)，它标志着深度学习时代的到来。与传统神经网络相比，RNN引入了可以处理输入之间上下文相关性的定向循环。一些研究人员发现使用RNN无法确保出色的预测效果，原因在于RNN不适合处理数据的长期依赖性。门控循环单元(gated recurrent unit，GRU)是RNN的改进，它可以解决梯度消失和梯度爆炸的问题。与LSTM相比，门控循环单元具有更少的参数并且更容易收敛，在解决其他复杂问题方面取得了许多突破，成为数据科学界最有前途的技术之一。

另一方面，基于注意力机制(attention)的神经网络近几年在自然语言处理领域取得了很好的应用效果，如机器翻译、句法分析和自动文摘等。该机制通过为神经网络隐藏层单元分配不同概率权重，使得隐藏层能够关注更为关键的信息。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于Attention-GRU的短期住宅负荷预测方法，该方法应用基于密度的噪声应用空间聚类(density-basedspatial clustering of application with noise，DBSCAN)技术来确定数据的异常值分布情况，然后用提出的Attention-GRU预测方法对住宅进行每日负荷预测。

本发明的目的通过下述技术方案实现：

一种一种基于Attention-GRU的短期住宅负荷预测方法，其特征在于，包括下述步骤：

步骤一，数据预处理；

使用深度学习模型进行负荷预测的第一步是准备数据，并使用基于密度的噪声应用空间聚类(DBSCAN)技术，来评估日常功率分布的一致性；在次步骤中，构建训练集和测试集；

对于数据集和测试集的每个元素有两个部分，即矩阵X和矩阵Y；矩阵X是门控递归神经网络的输入，矩阵Y是门控递归神经网络的输出；矩阵X由四部分组成[E,I,D,H]：

(1)过去K个时间步长的能量消耗序列E＝{e_t-K,…,e_t-2,e_t-1}∈R^K；

(2)过去K个时间步长I∈R^K的时间日指标的增量序列；

(3)过去K个时间步长D对应的星期几指数；

(4)对应的二进制假日标记H；

由于GRU对数据规模敏感，因此根据特征的性质将四个输入向量缩放到(0,1)的范围内；对E采取数据归一化处理，而矢量I，D，H由一个热编码器编码，将具有M基数的分类特征向量中的原始元素映射到具有M个元素的向量中，其中对应的新元素是1而其余新元素都是0；这四个向量被处理过后的矩阵GRU层的输入就是这四个向量的串联矩阵；

步骤二，模型构建；

负荷预测的第二步就选择适当的深度学习模型；由于GRU的独特复位门和更新门结构，它可以使输入数据的长度可变；GRU层的作用就是选择保存重要的信息，丢弃不重要的信息；原则上该层层数越多越好，模型的非线性拟合能力越强，学习的效果越好；但是由于训练模型需要消耗大量时间，所以一般选择效果较好且用时较少的方案；神经元的数量一般是2的n次方数，而且第一层的神经元的个数不能太少，否则不能学习到规律；这样为了让数据流在进入全连接层之前压缩数据，让全连接层的参数减少；由于全连接层的参数会随着输入数据的增加而加倍递增，所以适当压缩数据是很有必要的；

Attention层的作用是将模型学习到的特征权重赋予下一个时间步长中的输入向量，突出关键特征对预测负荷的影响；最终数据经过全连接层，然后得到最终输出层为预测时刻的负荷值；

步骤三，模型训练和测试；

在构建模型之后，使用预处理的训练集来对模型进行训练，然后使用测试集来测试模型；

步骤四，结果评估；

评估步骤三的结果；

均方误差(mean squared error，MSE)用于反映估计量与被估计量之间的差异程度，将其作为本网络的目标损失函数，其计算公式为：

式中为参数的估计值，θ为参数的实际值；

平均绝对百分误差(mean absolute percentage error，MAPE)是一种常用于衡量预测准确性的指标，通过该指标对网络的负荷预测结果做出评判，其计算公式为：

式中n为样本数量，y为实际值，y^*为预测值。

本发明与现有技术相比具有以下的有益效果：

(1)相比较系统层面的电力负荷预测而言，单个住宅电力负荷预测呈现出一致的模式，所以本发明用在数据预处理阶段使用了基于密度的噪声应用空间聚类(DBSCAN)技术，来评估日常功率分布的一致性；在模型构建阶段，本发明将Attention机制与GRU算法结合构建出Attention-GRU模型，充分发挥了GRU算法和Attention机制的优点；

(2)本发明将人工智能在自然语言处理的两种算法结合构建出短期住宅负荷预测模型，该模型用GRU算法不仅仅克服传统智能预测算法递归神经网络的不足，也解决了RNN的决梯度爆炸和梯度消失问题；用Attention层的作用是将模型学习到的特征权重赋予下一个时间步长中的输入向量，突出关键特征对预测负荷的影响。

附图说明

图1为本发明Attention神经网络模型示意图；

图2为本发明基于Attention-GRU的预测框架示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1～2所示，一种基于Attention-GRU的短期住宅负荷预测方法，包括下述步骤：

步骤一，数据预处理；

使用深度学习模型进行负荷预测的第一步是以适当的格式，例如：LSTM和GRU模型期望输入三维数据，[samples，timesteps，features]准备数据，并使用基于密度的噪声应用空间聚类(DBSCAN)技术，来评估日常功率分布的一致性；在次步骤中，构建训练集和测试集；

对于数据集和测试集的每个元素有两个部分，即矩阵X和矩阵Y；矩阵X是门控递归神经网络的输入，矩阵Y是门控递归神经网络的输出；矩阵X由四部分组成[E,I,D,H]：

(1)过去K个时间步长的能量消耗序列E＝{e_t-K,…,e_t-2,e_t-1}∈R^K；

(2)过去K个时间步长I∈R^K的时间日指标的增量序列；

(3)过去K个时间步长D对应的星期几指数；

(4)对应的二进制假日标记H；

由于GRU对数据规模敏感，因此根据特征的性质将四个输入向量缩放到(0,1)的范围内；对E采取数据归一化处理，而矢量I，D，H由一个热编码器编码，将具有M基数的分类特征向量中的原始元素映射到具有M个元素的向量中，其中对应的新元素是1而其余新元素都是0；这四个向量被处理过后的矩阵GRU层的输入就是这四个向量的串联矩阵；

步骤二，模型构建；

负荷预测的第二步就选择适当的深度学习模型；由于GRU的独特复位门和更新门结构，它可以使输入数据的长度可变；GRU层的作用就是选择保存重要的信息，丢弃不重要的信息；原则上该层层数越多越好，模型的非线性拟合能力越强，学习的效果越好；但是由于训练模型需要消耗大量时间，所以一般选择效果较好且用时较少的方案；根据以往的经验来看，神经元的数量一般是2的n次方数，而且第一层的神经元的个数不能太少，否则不能学习到规律；这样为了让数据流在进入全连接层之前压缩数据，让全连接层的参数减少；由于全连接层的参数会随着输入数据的增加而加倍递增，所以适当压缩数据是很有必要的；

Attention层的作用是将模型学习到的特征权重赋予下一个时间步长中的输入向量，突出关键特征对预测负荷的影响；最终数据经过全连接层，然后得到最终输出层为预测时刻的负荷值；

步骤三，模型训练和测试；

在构建模型之后，使用预处理的训练集来对模型进行训练，然后使用测试集来测试模型；

步骤四，结果评估；

评估步骤三的结果；

均方误差(mean squared error，MSE)用于反映估计量与被估计量之间的差异程度，将其作为本网络的目标损失函数，其计算公式为：

式中为参数的估计值，θ为参数的实际值；

平均绝对百分误差(mean absolute percentage error，MAPE)是一种常用于衡量预测准确性的指标；通过该指标对网络的负荷预测结果做出评判，其计算公式为：

式中n为样本数量，y为实际值，y^*为预测值。

具体来说，本发明公开一种基于Attention-GRU的短期住宅负荷预测方法，与系统层面的电力负荷不同，单个住宅负荷缺乏明显的一致模式，为了更好地观察数据的异常值分布情况，则使用了基于密度的噪声应用空间聚类(DBSCAN)技术，来评估日常功率分布的一致性；为了克服传统智能预测算法递归神经网络的不足，主要解决RNN的梯度爆炸和梯度消失问题，本发明提出了一种基于Attention-GRU的新型预测方法，用于精确的每日负荷预测。

(1)单个客户的电力消耗更依赖潜在的人类行为，这使得单个住宅负荷缺乏明显的一致模式。在个体家庭中，居民的日常生活和生活方式以及拥有的主要设备类型可能对短期的负荷情况产生更直接的影响。为了证明上述观察的合理性，我们使用基于密度的噪声应用空间聚类(DBSCAN)，来评估日常功率分布的一致性。与其他的聚类技术相比，使用DBCSAN进行一致性分析最明显的好处就是不需要数据中的任何数量的聚类，而且还具有异常值的概念。在一组负荷数据中会存在一些噪声异常值，可以使用DBSCAN从一组日常负荷数据中识别异常值。如果数据结果具有较少的异常值，则一致性更好。

在本方案中，每日每个配置文件中都包含了48个半个小时读书，可以将其视为48维样本。DBSCAN算法需要预先设计2个重要参数：将eps设置为平均每日能耗的10％：min_samples＝2并使用欧式距离作为度量。本方案将DBCSAN应用于每个家庭的电力负荷数据集用来识别异常值。

(2)在传统的神经网络模型中，输入数据从输入层馈送，通过一个或多个隐藏层计算，最后从输出层输出。所有层都完全连接，但是每层中的每个节点都未链接。因此，传统的神经网络只能表征输入和输出之间关系。递归神经网路(RNN)与传统的前馈神经网络根本的不同之处在于，RNN是基于序列的模型。递归神经网络可以建立先前状态和当前状态之间的时间相关性。对于时间序列问题，这就意味着RNN在时刻t-1做出的决定可能会影响在时刻t做出的决定。所以用RNN的这种特性对于单个家庭的负荷预测是最理想的，因为居民固有的日常生活习惯是能源消耗的重要原因之一。

但是，当两个输入之间的步长太大时，会发生梯度消失或爆炸。这样的情况使得RNN难以训练。作为RNN的变体长短期记忆(long short-term memory，LSTM)神经网络可以有效的解决这个问题，但是由于LSTM网络结构的复杂性，使得网络训练时间可能会变得很长。在深度学习里面，通过优化LSTM的门数得到了一种新型的神经网络：门控递归神经网络(GRU)。所以选择用门控递归神经网络来训练数据既可以解决梯度消失或爆炸问题，也解决了LSTM网络训练时间久的问题。

设x_t和h_t分别表示当前时间t的门控递归单元的输入和输出，用h_t-1表示当前时间t的前一刻的状态。与其他的神经元不同，GRU有复位门和更新门这两个关键结构。它们都是一个简单的神经网络，以便使输出固定在0到1之间。神经网络的激活函数是sigmoid函数，其中h_t是有复位门处理的输出候选的值。

(3)Attention机制是一种模拟人脑注意力的模型，借鉴了人脑在某个特定时刻对事物的注意力会集中到特定的地方，而减少甚至是忽视对其他部分的注意力。所以将Attention机制引入到GRU神经网络模型中，Attention层的作用是将模型学习到的特征权重赋予下一个时间步长中的输入向量，突出关键特征对预测负荷的影响。

如图1所示，Attention-神经网络模型包括输入向量、两个神经网络层、Attention层、全连接层和输出层。

同时，动态时间扭曲(Dynamic time warping，DTW)是一种计算两个时间序列之间最优映射的方法，它利用动态规划来表示两个序列之间的相似性；为获得最相似的每个时刻的负荷；由于单个家庭有自己习惯的日常用电习惯，所以采用DTW匹配到最相似的数据集方法；最小DTW距离相似性匹配方法可以代替上述的基于密度的噪声应用空间聚类(DBSCAN)算法；LSTM神经网络也可以解决RNN在训练过程中出现的梯度消失或爆炸问题；由于其结构的复杂性由此可能导致训练时间过长，但是可以将LSTM网络作为替代方案；由于GRU网络是LSTM网络优化简化的神经网络，所以Attention-LSTM神经网络方法也可取代上述的Attention-GRU。

相比较系统层面的电力负荷预测而言，单个住宅电力负荷预测呈现出一致的模式，所以本发明用在数据预处理阶段使用了基于密度的噪声应用空间聚类(DBSCAN)技术，来评估日常功率分布的一致性；在模型构建阶段，本发明将Attention机制与GRU算法结合构建出Attention-GRU模型，充分发挥了GRU算法和Attention机制的优点；本发明将人工智能在自然语言处理的两种算法结合构建出短期住宅负荷预测模型，该模型用GRU算法不仅仅克服传统智能预测算法递归神经网络的不足，也解决了RNN的决梯度爆炸和梯度消失问题；用Attention层的作用是将模型学习到的特征权重赋予下一个时间步长中的输入向量，突出关键特征对预测负荷的影响。

上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (1)

1.一种基于Attention-GRU的短期住宅负荷预测方法，其特征在于，包括下述步骤：

步骤一，数据预处理；

使用深度学习模型进行负荷预测的第一步是准备数据，并使用基于密度的噪声应用空间聚类(DBSCAN)技术，来评估日常功率分布的一致性；在次步骤中，构建训练集和测试集；

对于数据集和测试集的每个元素有两个部分，即矩阵X和矩阵Y；矩阵X是门控递归神经网络的输入，矩阵Y是门控递归神经网络的输出；矩阵X由四部分组成[E,I,D,H]：

(1)过去K个时间步长的能量消耗序列E＝{e_t-K,…,e_t-2,e_t-1}∈R^K；

(2)过去K个时间步长I∈R^K的时间日指标的增量序列；

(3)过去K个时间步长D对应的星期几指数；

(4)对应的二进制假日标记H；

由于GRU对数据规模敏感，因此根据特征的性质将四个输入向量缩放到(0,1)的范围内；对E采取数据归一化处理，而矢量I，D，H由一个热编码器编码，将具有M基数的分类特征向量中的原始元素映射到具有M个元素的向量中，其中对应的新元素是1而其余新元素都是0；这四个向量被处理过后的矩阵GRU层的输入就是这四个向量的串联矩阵；

步骤二，模型构建；

负荷预测的第二步就选择适当的深度学习模型；由于GRU的独特复位门和更新门结构，它可以使输入数据的长度可变；GRU层的作用就是选择保存重要的信息，丢弃不重要的信息；原则上该层层数越多越好，模型的非线性拟合能力越强，学习的效果越好；但是由于训练模型需要消耗大量时间，所以一般选择效果较好且用时较少的方案；神经元的数量一般是2的n次方数，而且第一层的神经元的个数不能太少，否则不能学习到规律；这样为了让数据流在进入全连接层之前压缩数据，让全连接层的参数减少；由于全连接层的参数会随着输入数据的增加而加倍递增，所以适当压缩数据是很有必要的；

Attention层的作用是将模型学习到的特征权重赋予下一个时间步长中的输入向量，突出关键特征对预测负荷的影响；最终数据经过全连接层，然后得到最终输出层为预测时刻的负荷值；

步骤三，模型训练和测试；

在构建模型之后，使用预处理的训练集来对模型进行训练，然后使用测试集来测试模型；

步骤四，结果评估；

评估步骤三的结果；

均方误差(mean squared error，MSE)用于反映估计量与被估计量之间的差异程度，将其作为本网络的目标损失函数，其计算公式为：

式中为参数的估计值，θ为参数的实际值；

平均绝对百分误差(mean absolute percentage error，MAPE)是一种常用于衡量预测准确性的指标，通过该指标对网络的负荷预测结果做出评判，其计算公式为：

式中n为样本数量，y为实际值，y*为预测值。