CN109711620A - 一种基于gru神经网络和迁移学习的短期电力负荷预测方法 - Google Patents

Abstract

本发明公开了一种基于GRU神经网络和迁移学习的短期电力负荷预测方法，属于电力负荷预测领域。针对短期电力负荷预测问题，提出了一种基于GRU神经网络和迁移学习的短期电力负荷预测方法，利用基于GRU的循环神经网络解决了传统神经网络无法提取时间特征的问题，扩展影响负荷变化的辅助信息输入，包括日期温度天气等影响因素，并加入Dropout层和规范化层避免了过拟合问题，提高了负荷预测的准确度；通过迁移学习对历史知识进行迁移，对正常投入使用的网络进行调整，利用目标预测数据进行再训练和微调，发挥历史数据的价值，使负荷预测的精度和效率进一步提高。

Description

一种基于GRU神经网络和迁移学习的短期电力负荷预测方法

技术领域

本发明所属的技术领域为负荷预测领域，具体为一种基于门控循环单元(GatedRecurrent Unit,GRU)神经网络和迁移学习的短期电力负荷预测方法。

背景技术

电力行业是整个国家发展的重要基础性行业。随着科学和经济的快速发展，电力系统的规模不断扩大，运行条件日益复杂。电力负荷预测是电网决策和控制的前提和基础，对电力系统的安全、可靠、经济运行有着关键影响作用，是电网能量管理系统和配电管理系统的重要组成部分。高准确性的电力负荷预测不仅可以为电网制定合理建设计划提供决策依据，确定新增发电机组的需求和选址，还可以合理分配各发电厂的发电出力，安排发电机组的生产启停，制定合理的检修计划，维持供电的安全稳定，并且减少冗余的旋转储备容量，降低发电成本，增加经济效益。而且对于个体用户的负荷预测可以优化电能利用率，合理抑制负荷峰值，制定更具体的发电计划。

电力负荷预测是利用相关历史数据预测未来指定时间内的负荷值。根据预测时间长度可以分为短期负荷预测、中期负荷预测和长期负荷预测。其中本发明针对的是短期负荷预测，预测时间为一周。短期负荷预测可以帮助制定发电机组启停和水火电调度计划，而且随着可再生能源发电的不断渗透，准确的短期负荷预测是协调多种能源发电的关键工作。对于短期负荷预测，传统的方法有时间序列法、回归分析法，虽然它们需要较少的历史数据，但是其精确预测是建立在负荷时间序列具有高稳定性的基础上，而且没有综合考虑影响负荷变化的因素，因此在如今负荷变化复杂的条件下，预测准确度较低。

随着大数据技术和智能电网的日益发展，基于人工智能方法的数据驱动负荷预测成为研究的热点。目前，人工神经网络凭借着其强大的学习能力、自适应性和非线性映射能力，成为电力负荷预测的主流方法。然而由于负荷预测的对象是时间序列，所以提取时间特征的能力成为影响负荷预测精度的关键因素。循环神经网络(Recurrent neural network,RNN)是一种擅长于提取时间特征的深度学习框架。传统的神经网络只在层与层之间建立了权重连接，而RNN的隐藏层单元之间是有连接的，每个隐藏单元内是每个时刻的隐藏层激活值，而且输入也是带有时间标识的时间序列，随着序列的不断推进，后面的隐藏单元会受到前面隐藏单元的影响。但是RNN在处理长时间序列问题时会出现梯度消失问题，使得其精度下降。针对这一问题，长短期记忆(long short-term memory,LSTM)网络引入一个判断历史信息是否有用的“处理器”，这个处理器被称为Cell，包含了输入门、遗忘门和输出门。其中，遗忘门能保留有用的信息，遗忘无用的信息。而GRU神经网络是对LSTM的进一步改进版本，它将输入门和遗忘门合并成更新门，从而使得结构更简单，训练时收敛更快，精度更高。

智能电网的发展让我们对电力大数据的利用更加高效，而在训练电力负荷预测模型时，如何有效利用历史数据和已投入工作的模型，提高负荷预测的精度和效率，成为一个亟待解决的问题。而且，对于电力大数据和电力负荷预测，有时候会存在数据难以获取或者数据缺少的情况，而此时需要借助历史数据的帮助，从而获得一个理想的预测效果。迁移学习是针对这一问题的主流机器学习方法，它将从前的任务中学到的知识迁移到新的任务中，目的是在新的任务中取得更好的学习效果。然而，在基于迁移学习的负荷预测研究几乎没有。迁移学习能有效利用历史负荷数据，提高负荷预测的精度，而且在这一过程中，被迁移网络已经被预训练，在效率上也有大幅度的提升。

本发明针对短期电力负荷预测问题，提出了一种基于GRU神经网络和迁移学习的短期电力负荷预测方法。所提预测模型将历史负荷数据作为时间序列输入，将影响负荷变化的关键因素作为辅助输入，利用GRU层提取时间序列特征，并且引入Dropout层和规范化层避免过拟合问题，得到高精度的预测网络。利用迁移学习对历史知识进行迁移，提高了负荷预测的精度和效率。

发明内容

本发明的目的是针对对精度和效率要求日益增长的负荷预测问题，提出了一种基于GRU神经网络和迁移学习的短期电力负荷预测方法；利用基于GRU的循环神经网络解决了传统神经网络无法提取时间特征的问题；增加影响负荷变化的辅助信息输入，提高预测精度；并加入Dropout层和规范化层避免过拟合问题；通过迁移学习对历史知识进行迁移，发挥历史数据的价值，使负荷预测的精度和效率进一步提高。

本发明实现上述目的的技术方案是：建立基于GRU的短期电力负荷预测神经网络，通过迁移学习将历史知识迁移到目标领域，主要步骤如下：

步骤(1)：利用历史源域数据训练基于GRU的短期电力负荷预测神经网络；

步骤(2)：对正常投入使用的短期电力负荷预测神经网络进行结构和参数的迁移，得到一个初始权重和结构与原始网络一致的新预测网络；

步骤(3)：对新预测网络进行结构的调整，加入若干全连接层；

步骤(4)：固定新预测网络通过迁移得到的权重，利用目标域数据对新预测网络的新加入的全连接层进行再训练，然后取消权重的固定，对整个网络进行微调，得到最终预测网络；

步骤(5)：将待预测的数据输入步骤(4)得到的最终预测网络，输出预测结果。

进一步的，所述步骤(1)中基于GRU的短期电力负荷预测神经网络的训练步骤为：

步骤(1.1)：从电力系统中获取用户历史负荷数据；从天气预报系统和日历中获取历史天气温度数据和日期特征数据，作为辅助信息；

步骤(1.2)：对历史负荷数据进行预处理：清洗无效数据，补全缺失数据，聚类成不同的用户类型，将辅助信息进行量化处理；

步骤(1.3)：对同一用户类型下的用户历史数据进行标定：输入为用户预测日7天前当天的负荷数据、预测日的天气温度数据和日期特征数据，输出为该用户预测日的负荷数据，建立训练数据集和测试数据集；

步骤(1.4)：建立基于GRU的短期电力负荷预测神经网络，并初始化网络权重；

步骤(1.5)：将历史源域数据输入基于GRU的短期电力负荷预测神经网络进行训练，并利用测试集进行测试，得到预测模型。

进一步的，所述步骤(1.1)中，电力系统获取的用户历史负荷数据为用户有功功率量测数据，时间间隔为15min，单位为kW；历史天气温度数据包括天气类型和温度，所述天气类型包括晴天、多云、阴天、小雨、阵雨、大雨、台风、雪；温度为当天气温，单位为摄氏度；日期特征为周一到周日和法定节假日。

进一步的，所述的辅助信息还包括风级、经济收入情况、峰谷值。

进一步的，所述步骤(1.2)中，聚类分析方法采用K-means聚类。

进一步的，所述步骤(1.4)中，基于GRU的短期电力负荷预测神经网络包括输入层，隐藏层，输出层；其中输入层包括负荷序列输入和辅助信息输入，隐藏层包括GRU神经网络层、融合层、Dropout层、规范化层和全连接层；其中负荷序列输入维度为(6,16)；辅助信息输入维度为3；输出维度为96。

进一步的，所述步骤(3)中，结构的调整包括在GRU层后加入一个新全连接层a，用一个新全连接层b替换辅助输入后连接的第二个全连接层，用两个新全连接层c和d替换整个网络的最后一个全连接层。

进一步的，所述步骤(4)中，目标域数据是指将要进行负荷预测的数据，所述的微调是指降低学习率，并对整个网络的所有参数进行更新学习。

进一步的，基于GRU神经网络和迁移学习的短期电力负荷预测方法还包括预测网络的继续学习，在获得新负荷数据后，对正在投入使用的预测网络进一步修正和更新：用新全连接层替换网络最后一个全连接层，固定其他层的权重，利用新负荷数据对替换后的新全连接层进行训练，更新网络。

本发明的有益效果：提出一种针对短期电力负荷预测问题的新模型，通过GRU神经网络提取时间特征，加入天气、温度和日期等影响因素作为辅助输入，引入Dropout层和规范化层避免过拟合问题，与现有的人工智能方法相比，提高了针对用户负荷的预测精度。并且，建立迁移学习模型，进一步提高预测精度，而且减少了网络训练时间，提高了负荷预测的效率。

附图说明

图1本发明所提出的负荷预测方法所用的GRU内部结构图；

图2本发明所提出的基于GRU的负荷预测神经网络模型图；

图3本发明所提出的基于迁移学习的网络模型调整示意图。

具体实施方式

下面结合附图对本发明的实施进行详细的说明，并给出具体的操作方式以及实施步骤：

一种基于GRU神经网络和迁移学习的短期电力负荷预测方法，主要包括以下步骤：

步骤(1)：利用充足的历史源域数据训练基于GRU的短期电力负荷预测神经网络，正常投入使用的基于GRU神经网络的短期负荷预测神经网络训练步骤为：

步骤(1.1)：从电力系统中获取用户历史负荷数据，从天气预报系统和日历中获取历史天气温度数据和日期特征数据，获取其他辅助信息如风级、经济收入情况、峰谷值等，根据对负荷影响大小考虑加入。以上信息为影响短期电力负荷预测的关键因素。其中，电力系统获取的用户历史负荷数据为用户有功功率量测数据，时间间隔为15min，单位为kW。历史天气温度数据包括天气类型和温度，天气类型包括晴天、多云、阴天、小雨、阵雨、大雨、台风、雪。温度为当天气温，单位为摄氏度。日期特征为周一到周日和法定节假日。本发明所做实验主要考虑天气、温度和日期特征这三个主要影响因素。

步骤(1.2)：对历史负荷数据进行预处理，包括数据清洗补全和聚类：清洗无效数据，补全缺失数据，聚类成商业、事业单位、居民等用户类型。将辅助信息进行量化处理，依据是其对负荷的影响大小。其中补全数据时，在两端时刻都有数据时，可以利用相邻两边数据取平均值代替缺失值，若序列的开头或者结尾缺失数据，可利用上一周和下一周该时刻的数据的平均值代替缺失值。

进一步的，负荷数据聚类的方法采用K-means聚类，假设输入样本为S＝x₁,x₂,...,x_m，其中m为样本个数。具体步骤如下：

步骤(1.2.1)：在样本变化范围内，随机初始化K个聚类中心c₁,c₂,...,c_K，其中，K的设定方法为肘方法。

步骤(1.2.2)：对于i＝1,2,...,m，为每个样本找到最靠近的聚类中心，并将其标记为属于该聚类中心，最后得到K个类，记为G_k，如下式。

步骤(1.2.3)：对于k＝1,2,...,K，利用每个类别中的样本的均值去更新聚类中心。如下式。

步骤(1.2.4)：重复步骤(1.2.2)-(1.2.3)，直到聚类中心的变化值或聚类损失函数小于设定的阈值。

根据上述步骤，最终将负荷样本聚类成负荷特性相似的多个样本类别。

步骤(1.3)：对同一类型下的用户历史数据进行标定：输入为用户预测日7天前当天的负荷数据和预测日的天气温度数据和日期特征数据，输出为该用户预测日的负荷数据，建立有效训练和测试数据集。一天负荷测量点为96个，负荷输入样本维度为(6,16)，辅助输入维度为3，输出结果维度为96。

步骤(1.4)：建立基于GRU的短期电力负荷预测神经网络，并初始化网络权重。其中，GRU的内部结构图如图1所示，包括重置门和更新门。进一步的，GRU前馈网络推导公式如下：

其中i是输入向量的下标序号，I是输入向量的维度，H是隐藏单元向量的维度，u是更新门向量的下标序号，r是重置门向量的下标序号，h是t时刻隐藏单元向量的下标序号，h’是t-1时刻隐藏单元向量的下标序号，f和φ是激活函数，一般地，f是sigmoid函数，Φ是tanh函数，a是神经元加权求和值，s是神经元激活值，是t时刻的隐藏单元新信息的加权求和值，是t时刻的隐藏单元新信息的激活值。

进一步的，整个基于GRU的短期电力负荷预测神经网络如图2所示，包括输入层，隐藏层，输出层。其中输入层包括负荷序列输入和辅助信息输入，负荷序列输入维度为(6,16)，辅助信息输入维度为3，隐藏层包括GRU神经网络层、融合层、Dropout层、规范化层和全连接层。网络输出结果维度为96。图2中k是时间序列的长度。

步骤(1.5)：将训练数据集输入基于GRU的短期电力负荷预测神经网络进行训练，并利用测试集进行测试，调整模型参数，减少预测误差，得到理想的预测模型。其中，误差评价标准采用平均绝对百分比误差(MAPE,mean absolute percent error)，如下式。其中m为样本个数，j为样本下标序号，n为输出向量维度，i为输出向量下标序号，P_p为预测负荷向量，P_l为真实负荷向量。

以上为建立基于GRU的短期电力负荷预测神经网络的主要步骤。进一步的，

步骤(2)：对正常投入使用的短期负荷预测神经网络进行结构和参数的迁移，得到一个初始权重和结构与原始网络一致的新预测网络。

步骤(3)：对新预测网络进行结构的调整，加入若干全连接层，如图3所示。在GRU层后加入一个新全连接层a，用一个新全连接层b替换全连接层2，用两个新全连接层c,d替换全连接层4。

步骤(4)：固定新预测网络通过迁移得到的权重，利用目标域数据对新预测网络的新加入的四个全连接层进行再训练。然后取消权重的固定，对整个网络进行微调，即降低学习率，并对整个网络的所有参数进行更新学习，得到最终预测网络。

步骤(5)：将待预测的数据输入步骤(4)得到的最终预测网络，输出预测结果。

利用迁移学习训练目标域的负荷预测模型，在未来获得新负荷数据后，可以对正在投入使用的网络进一步修正和更新：用新全连接层替换网络最后一个全连接层，固定其他层的权重，利用新数据对替换后的新全连接层进行训练，更新网络。

本发明的仿真实验是利用南方电网真实用户负荷数据进行。实验数据时间为2012年11月到2014年12月，实验条件为Intel Core i5-6500，3.20GHz，8.00GB。实验步骤如本发明所述。实验结果如表1所示，其中BP(back propagation)神经网络的所有隐藏层为全连接层。长短期记忆网络为带有长短期记忆单元的循环神经网络，是主流的提取时间序列特征的网络。长短期记忆单元主要由输入门、遗忘门和更新门组成，三个门对先前时刻的信息的传递和新信息的输入进行权重的控制，达到提取时间序列特征的效果。而本发明所用的GRU神经网络是对LSTM的改进网络，将输入门和遗忘门合并，减少了网络参数，提高了训练效率。由表1可得，本发明的基于GRU神经网络和迁移学习的短期电力负荷预测方法对比主流人工智能负荷预测方法具有更高的精确度和效率。

表1仿真实验对比结果

Claims (9)

1.一种基于GRU神经网络和迁移学习的短期电力负荷预测方法，其特征在于：包括以下步骤：

步骤(1)：利用历史源域数据训练基于GRU的短期电力负荷预测神经网络；

步骤(2)：对正常投入使用的短期电力负荷预测神经网络进行结构和参数的迁移，得到一个初始权重和结构与原始网络一致的新预测网络；

步骤(3)：对新预测网络进行结构的调整，加入若干全连接层；

步骤(4)：固定新预测网络通过迁移得到的权重，利用目标域数据对新预测网络的新加入的全连接层进行再训练，然后取消权重的固定，对整个网络进行微调，得到最终预测网络；

步骤(5)：将待预测的数据输入步骤(4)得到的最终预测网络，输出预测结果。

2.根据权利要求1所述的一种基于GRU神经网络和迁移学习的电力短期负荷预测方法，其特征在于：所述步骤(1)中基于GRU的短期电力负荷预测神经网络的训练步骤为：

步骤(1.1)：从电力系统中获取用户历史负荷数据；从天气预报系统和日历中获取历史天气温度数据和日期特征数据，作为辅助信息；

步骤(1.2)：对历史负荷数据进行预处理：清洗无效数据，补全缺失数据，聚类成不同的用户类型，将辅助信息进行量化处理；

步骤(1.3)：对同一用户类型下的用户历史数据进行标定：输入为用户预测日7天前当天的负荷数据、预测日的天气温度数据和日期特征数据，输出为该用户预测日的负荷数据，建立训练数据集和测试数据集；

步骤(1.4)：建立基于GRU的短期电力负荷预测神经网络，并初始化网络权重；

步骤(1.5)：将历史源域数据输入基于GRU的短期电力负荷预测神经网络进行训练，并利用测试集进行测试，得到预测模型。

3.根据权利要求2所述的一种基于GRU神经网络和迁移学习的短期电力负荷预测方法，其特征在于：所述步骤(1.1)中，电力系统获取的用户历史负荷数据为用户有功功率量测数据，时间间隔为15min，单位为kW；历史天气温度数据包括天气类型和温度，所述天气类型包括晴天、多云、阴天、小雨、阵雨、大雨、台风、雪；温度为当天气温，单位为摄氏度；日期特征为周一到周日和法定节假日。

4.根据权利要求2或3所述的一种基于GRU神经网络和迁移学习的短期电力负荷预测方法，其特征在于：所述的辅助信息还包括风级、经济收入情况、峰谷值。

5.根据权利要求2所述的一种基于GRU神经网络和迁移学习的短期电力负荷预测方法，其特征在于：所述步骤(1.2)中，聚类分析方法采用K-means聚类。

6.根据权利要求2所述的一种基于GRU神经网络和迁移学习的短期电力负荷预测方法，其特征在于：所述步骤(1.4)中，基于GRU的短期电力负荷预测神经网络包括输入层，隐藏层，输出层；其中输入层包括负荷序列输入和辅助信息输入，隐藏层包括GRU神经网络层、融合层、Dropout层、规范化层和全连接层；其中负荷序列输入维度为(6,16)；辅助信息输入维度为3；输出维度为96。

7.根据权利要求1所述一种基于GRU神经网络和迁移学习的短期电力负荷预测方法，其特征在于：所述步骤(3)中，结构的调整包括在GRU层后加入一个新全连接层a，用一个新全连接层b替换辅助输入后连接的第二个全连接层，用两个新全连接层c和d替换整个网络的最后一个全连接层。

8.根据权利要求1所述一种基于GRU神经网络和迁移学习的短期电力负荷预测方法，其特征在于：所述步骤(4)中，目标域数据是指将要进行负荷预测的数据，所述的微调是指降低学习率，并对整个网络的所有参数进行更新学习。

9.根据权利要求1所述一种基于GRU神经网络和迁移学习的短期电力负荷预测方法，其特征在于：还包括预测网络的继续学习，在获得新负荷数据后，对正在投入使用的预测网络进一步修正和更新：用新全连接层替换网络最后一个全连接层，固定其他层的权重，利用新负荷数据对替换后的新全连接层进行训练，更新网络。