CN111178612A - 一种网格用户基于大数据odps引擎的lstm负荷预测方法 - Google Patents

Abstract

本发明公开了一种网格用户基于大数据ODPS引擎的LSTM负荷预测方法，包括如下步骤：步骤S1：构建数据平台，建立数据仓库ODPS以及云数据库，并在数据仓库ODPS于云数据库之间建立联通规则；步骤S2：数据导入，将营销系统、用电采集系统、配网系统的相关数据导入到数据仓库中的分析库，利用程序接口将当地的历史天气状况导入到统一数据仓库中，采用OGG实时同步相关的负荷数据；步骤S3：采用LSTM算法，建立了预先训练与微调更新结合的训练模型，该训练模型应用到负荷预测，并将负荷预测结果保存到云数据库；步骤S4：将负荷预测结果用quickBI展示出来。本发明能够对负荷数据进行有效储存和高效管理，能够快速查询和处理PB级历史负荷数据和天气数据。

Description

一种网格用户基于大数据ODPS引擎的LSTM负荷预测方法

技术领域

本发明属于电力信息化技术领域，具体涉及负荷预测技术。

背景技术

电网的建设速度的加快，规模的不断扩大，要求的不断提高，因此电网系统需要具有强大的数据分析和数据处理能力，这样才能保证电网的安全运行。但是当前电力系统对数据的分析和处理所采用的是集中式的计算平台，这样的平台在面对海量数据时，按照常规系统10000个遥测点，采样间隔5秒计算，每年产生约1TB的数据就会出现数据的储存和计算问题。传统的Hadoop云计算平台主要针对离线数据的处理，且局域网络占用量大，对于电力实时负荷预测明显不适合。

负荷预测是通过对历史数据的分析挖掘，对未来负荷进行推算、预测的过程，是电力系统领域的传统研究问题。随着电网智能化的发展，可获得的数据规模大量增加且仍呈现增长之势，如何在新背景下，有效利用负荷大数据，以提高负荷预测精度，具有重要意义。

现有技术主要存在如下问题：

(1)储存困难。用电系统每年采集的负荷数据达到TB级，负荷预测需要海量的历史负荷数据和天气等影响因素数据进行特征值学习，传统的负荷预测方法很难对这些负荷数据进行有效储存和高效管理。

(2)速度慢。传统负荷预测方法对变电站，发电站，用户负荷等大规模的负荷预测时，按一万个采集点的预测规模时，预测未来一天的负荷所花费的时间往往需要好几天。因此导致负荷预测的效率低。

(3)成本高。传统的技术需要人工维护和大量存储设备的支撑导致硬件成本和人力成本过高。

发明内容

针对现有技术所存在的不足，本发明所要解决的技术问题就是提供一种网格用户基于大数据ODPS引擎的LSTM负荷预测方法，能对各类实时负荷数据进行实时处理，实时分析，实时预测给出预测结果。

为解决上述技术问题，本发明采用如下技术方案：一种网格用户基于大数据ODPS引擎的LSTM负荷预测方法，包括如下步骤：

步骤S1：构建数据平台，建立数据仓库ODPS以及云数据库，并在数据仓库ODPS 于云数据库之间建立联通规则；

步骤S2：数据导入，将营销系统、用电采集系统、配网系统的相关数据导入到数据仓库中的分析库，利用程序接口将当地的历史天气状况导入到统一数据仓库中，采用OGG实时同步相关的负荷数据；

步骤S3：采用LSTM算法，建立了预先训练与微调更新结合的训练模型，该训练模型应用到负荷预测，并将负荷预测结果保存到云数据库，该负荷预测模型的输入特征向量由负荷值、日期类型、时间戳、最高气温和最低气温构成，输出向量为预测时刻负荷；

步骤S4：将负荷预测结果用quickBI展示出来。

优选的，确立输入输出特征向量后，建立单层LSTM模型，经测试确定网络隐含层神经元个数为12个。

优选的，通过计算负荷曲线时间序列的自相关系数以确定模型阶数。

优选的，LSTM的更新采用tensorflow包下自带的Adam优化器作为迭代优化方式。

优选的，对于预先训练和微调更新两种训练模式设置不同的迭代次数，其中首次训练时初始化网络结构，通过较大的迭代次数以得到相对精确的预测模型，此后随着日期的推移，在加载历史模型的基础上，利用最新读取的数据进行小批量迭代以微调模型参数，并保存更新后的模型参数。

本发明通过ODPS(Open Data Processing Service)海量数据处理，智能学习负荷特征值，建立一个智能化的学习模型，对未来负荷做出预测。

因此，具有如下有益效果：

1、是一种云储存，云服务的架构方案，此方法能够对负荷数据进行有效储存和高效管理，能够快速查询和处理PB级历史负荷数据和天气数据。有效的解决了负荷数据储存困难和查询速度慢的问题

2、采用预先训练与微调更新结合的训练模式该方法针对大规模的负荷预测所花的时间只有两三小时，远远超过传统方法。

3、基于云上处理和操作，有效的降低了人工维护成本。

本发明的具体技术方案及其有益效果将会在下面的具体实施方式中结合附图进行详细的说明。

附图说明

下面结合附图和具体实施方式对本发明作进一步描述：

图1为LSTM网络结构图；

图2为预先训练与微调的LSTM算法示意图；

图3为自相关系数计算结果曲线图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对现有技术所存在的不足，本发明所要解决的技术问题在于提出一种基于大数据ODPS引擎的实时负荷预测方法，通过ODPS(Open Data Processing Service)海量数据处理，智能学习负荷特征值，建立一个智能化的学习模型，对未来负荷做出预测。

第一步，构建平台资源。建立数据仓库ODPS，云数据库RDS,OSS,DataHub，以及之间的联通规则，其中，rds储存预测结果数据，oss存储模型文件，datahub 存储负荷实时增量数据。

第二步，数据导入。将营销系统，用电采集系统，配网系统等相关数据导入到数据仓库中的分析库，其种，营销系统获取的主要是用户的历史负荷数据，用电信息采集系统主要获得变电站和发电站的历史负荷数据。需要的获得的数据为有功，无功。利用程序接口将当地的历史天气状况(温度，湿度，云况) 导入到统一数据仓库中。采用OGG实时同步相关的负荷数据。

第三步，采用改进型LSTM算法，建立了预先训练与微调更新结合的训练模型，该训练模型应用到负荷预测，并将负荷预测结果保存到云数据库。

LSTM神经网络基本原理:循环神经网络(RNN)是一种基于序列的模型，它与传统前馈神经网络的根本区别在于，它能够反映历史信息对当前状态的影响。在处理时间序列问题时，t时刻隐藏层的取值不仅与输入层的变量和权重有关，还受(t-1)时刻隐藏层的值的影响，因而在负荷预测中，可以利用RNN网络反映负荷数据时间序列上的联系。

绘制基于时间线展开的RNN结构，其中x^(<t>)、y^(<t>)分别为t时刻的输入和输出，s^(<t>)为隐藏层在t时刻的状态。虽然RNN在处理时间序列中的关系上有较好的表现，但标准RNN结构存在梯度消失或梯度爆炸的问题，因而 Hochreiter和Schmidhuber针对该问题对RNN进行改进，提出了长短期记忆 (long short-term memory，LSTM)神经网络。

在标准LSTM体系结构中，有1个记忆单元状态和3个门，即更新门Γ_i、遗忘门Γ_f和输出门Γ_o，标准LSTM的体系结构如图1所示。采用x^(<1>), x^(<2>),…x^(<T>)表示LSTM网络中的典型输入序列，则其中x^(<t>)表示时间t时刻的输入特征。为了实现重要信息长时间存储，在LSTM的整个周期内设立并维护一个记忆单元c。根据前一时间的激活单元a^(<t-1>)和当前时间的输入x^(<t>)，通过3个门确定更新、维护或遗忘内部状态向量的具体元素。

LSTM的每个单元可以用式(1)表示，为：

式中：W_i、W_f、W_o分别为更新、遗忘和输出加权矩阵；b_i、b_f、b_o 分别为对更新门、遗忘门和输出门的转换进行参数化的偏差；σ为sigmoid函数；*为矩阵对应元素相乘。

参考图2所示，考虑多维因素的影响，该负荷预测程序的输入特征向量由负荷值、日期类型、时间戳、最高气温和最低气温构成，共5维数据，即

input(t)＝[Load(t),DayType(t),t,Tmax,Tmin] (2)

式中，Load为该点负荷值；DayType为日期类型，周日取1，周六取0.5，工作日取0；t为时刻值，取值范围为1到96；Tmax、Tmin分别为该日最高温度和最低温度。

模型输出向量为预测时刻负荷值，即output(t)＝Load(t+1)。确立输入输出特征向量后，建立单层LSTM模型，经测试确定网络隐含层神经元个数为12个。

为提高网络的预测效果及处理效率，需选择合理的阶数。本发明通过计算负荷曲线时间序列的自相关系数以确定模型阶数，各阶自相关系数能够反映各滞时状态间的相关关系，即可以反映序列的周期规律，时间序列x_i的k阶自相关系数c_k的计算公式为：

式中，x-为时间序列x_i的均值，n为时间序列的长度。

以日前负荷预测为例，计算历史负荷数据集的自相关系数，结果如图3所示，由图可知，负荷曲线具有显著的周期性，其周期长度与一天96点重合，且与预测日前一天的相关系数最高。选取自相关系数的峰值点作为滚动预测的阶数，故取96作为日前负荷预测的阶数。

模型的输入变量包含负荷及多种影响因素，这些输入量具有不同物理量纲，为消除不同物理量纲带来的影响，从而提升模型精度和收敛速度，需要对输入数据进行预处理。其中，对温度因素、时刻值进行归一化处理，使其限制在[0,1] 范围内，如式(4)对负荷值进行标准化后再归一化处理，如式(5)和(4)，标准化处理的目的是减小偏离较大项带来的不利影响。

式中，x_1(i)为原始数据x(i)归一化后的数据值，x_max、x_min分别为 x(i)的最大值和最小值。

式中，x_2(i)为原始数据x(i)标准化后的数据值，均值

标准差

预测效果评价指标采用平均绝对百分比误差(mean absolute percentageerror,MAPE)和均方根误差(root mean square error,RMSE)，如式(6)和(7)计算

式中，n为预测点数量，y_i、d_i分别为预测点i负荷真实值和预测值。

构建完毕LSTM负荷预测模型的各层基本结构并设置适当超参数后，读取输入数据并构造训练集，编写程序，其中，LSTM的更新准则如式(1)所示，采用 tensorflow包下自带的Adam优化器作为迭代优化方式，Adam方法作为一种自适应学习率算法，与其他自适应学习率算法相比，其收敛速度更快，学习效果更为有效，而且可以纠正其他优化技术中存在的问题，如学习率消失、收敛过慢或是高方差的参数更新导致损失函数波动较大等问题。为适应实际工程需求，加速预测速度，负荷预测模型采用预先训练与微调更新结合的训练模式，对于两种训练模式设置不同的迭代次数，其中首次训练时初始化网络结构，通过较大的迭代次数(1000-5000)以得到相对精确的预测模型，此后随着日期的推移，每次预测将引入少量的新数据，在加载历史模型的基础上，利用最新读取的数据进行小批量迭代(例如5000次)以微调模型参数，并保存更新后的模型参数。最终，调用模型对所需日期进行负荷预测。

第四步，将负荷预测结果用quickBI展示出来。

还可以进一步将数据库的预测数据导入电力调度自动化系统，根据预测数据进行自动调度，如调整发电机出力、调整负荷分布、投切电容器、电抗器等，从而确保电网持续安全稳定运行。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，熟悉该本领域的技术人员应该明白本发明包括但不限于上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。

Claims (5)

1.一种网格用户基于大数据ODPS引擎的LSTM负荷预测方法，其特征在于：包括如下步骤：

步骤S1：构建数据平台，建立数据仓库ODPS以及云数据库，并在数据仓库ODPS于云数据库之间建立联通规则；

步骤S2：数据导入，将营销系统、用电采集系统、配网系统的相关数据导入到数据仓库中的分析库，利用程序接口将当地的历史天气状况导入到统一数据仓库中，采用OGG实时同步相关的负荷数据；

步骤S3：采用LSTM算法，建立了预先训练与微调更新结合的训练模型，该训练模型应用到负荷预测，并将负荷预测结果保存到云数据库，该负荷预测模型的输入特征向量由负荷值、日期类型、时间戳、最高气温和最低气温构成，输出向量为预测时刻负荷；

步骤S4：将负荷预测结果用quickBI展示出来。

2.根据权利要求1所述的一种网格用户基于大数据ODPS引擎的LSTM负荷预测方法，其特征在于：确立输入输出特征向量后，建立单层LSTM模型，经测试确定网络隐含层神经元个数为12个。

3.根据权利要求2所述的一种网格用户基于大数据ODPS引擎的LSTM负荷预测方法，其特征在于：通过计算负荷曲线时间序列的自相关系数以确定模型阶数。

4.根据权利要求3所述的一种网格用户基于大数据ODPS引擎的LSTM负荷预测方法，其特征在于：LSTM的更新采用tensorflow包下自带的Adam优化器作为迭代优化方式。

5.根据权利要求1所述的一种网格用户基于大数据ODPS引擎的LSTM负荷预测方法，其特征在于：对于预先训练和微调更新两种训练模式设置不同的迭代次数，其中首次训练时初始化网络结构，通过较大的迭代次数以得到相对精确的预测模型，此后随着日期的推移，在加载历史模型的基础上，利用最新读取的数据进行小批量迭代以微调模型参数，并保存更新后的模型参数。

Images