背景技术
目前,电力部门是一个高度重要和复杂的部门,因此政府需要对系统进行监管和规划,以确保以最低的社会成本实现供应的可行性和安全性。然而电力能源具有瞬时性且难以储存的特点,为了使电力系统安全高效地运行,确保电力调度系统对电力负荷合理地调度,使电厂发电、供电和用户用电过程达到一种瞬时的动态平衡状态,减少了电能浪费,高精度的电力负荷预测尤为重要。
在经济腾飞的新时代,无论是经济建设还是居民生活用电,电量的需求量都翻倍地增长,电力系统环境也随之变得日益复杂,影响电力负荷预测精度的因素也多种多样,且存在着多种不确定无法量化的影响因素,如经济因素、天气因素、电荷间歇性波动因素等,都会直接或间接地影响到电力负荷预测的精度,传统的方法已经很难适应电力负荷这种多影响因素的非线性的波动关系。基于研究近年来的国内外研究现状,对近年来的短期电力负荷预测相关文献进行充分分析,发现传统的电力负荷预测的方法对现如今多影响因素的电力负荷数据存在适应能力差,预测精度低等问题。
从预测性质的角度,预测方法可分为定性和定量两种基本类型,选择合适的类型主要取决于现有的数据。在定性预测方法中,利用专家意见对未来负荷进行主观预测;然而它们不是纯粹的猜测而是开发出不需要历史数据就能获得良好预测的结构化方法,因此当历史数据不可得或稀少时这些方法是有用的。常见的这些方法包括:主观曲线拟合法、德尔菲法技术比较法、综合意见法和专家会议法。定量预测方法是基于数学和统计公式,只有在有数据时才适用,但必须满足两个条件:有关于过去的数字资料,有理由假定过去模式的某些方面将在未来继续下去。定量预测方法涉及很多方法,每一种方法都有自己的特性、准确性和成本,在为特定目的在特定学科中选择特定方法时必须考虑这些。定量方法包括:回归分析、分解方法、指数平滑法和Box-Jenkins方法(其方法包括:自回归模型Autoregressive(AR)Model、滑动平均模型Moving Average(MA)Model、自回归滑动平均模型Autoregressive Moving Average(ARMA)Model、自回归综合滑动平均模型AutoregressiveIntegrated Moving Average(ARIMA)Model、带有外源性输入的自回归滑动平均模型Autoregressive moving average with exogenous inputs(ARMAX)Model、带有外源性输入的自回归综合滑动平均模型Autoregressive Integrated Moving Average withexogenous inputs(ARIMAX)Model)。大多数定量预测问题需要在一段时间内定期收集的时间序列数据或在单一时间点收集的横断面数据。
从电力负荷预测研究方法侧重的角度分类,电力负荷预测研究方法可主要归纳为两大类,即多因素预测方法和时间序列预测方法。多因素预测方法侧重于寻找不同影响因素与预测值之间的因果关系,而时间序列预测方法更多地依赖于历史序列。对电力负荷进行预测,以避免使用多因素预测方法建立准确的预测模型可能受到复杂和非客观因素的影响,因此时间序列预测方法更为简洁快速,时间序列预测方法变得更受研究者的青睐。
从发展阶段的角度分类,预测方法可被分为传统经典预测方法和人工智能预测方法。二者都是利用现有的历史负荷数据建立合理的有效的负荷预测模型来预估未来一段时间的电力负荷值,由此可见历史电力负荷数据和预测模型是影响电力负荷预测精度的主要因素。传统的经典电力负荷预测方法是以数学理论为主的预测方法,主要包括:灰色模型、时间序列预测法、趋势外推法、回归分析法、增长曲线法、小波分析法等;人工智能的电力负荷预测方法主要以机器学习和人工智能的理论为主,其常见的代表性方法有:人工神经网络预测方法(BP神经网络、随机神经网络、循环神经网络、前馈神经网络、径向基函数神经网络)、支持向量机预测方法、模糊逻辑预测方法、遗传算法网络预测方法、模型组合预测方法以及专家系统预测方法等。
由于传统的电力负荷预测方法已经不能很好地适应现在复杂的电力负荷数据环境,故大多数研究学者偏向采取机器学习或人工智能的方法对电力负荷预测进行研究。
近年来,国内外专家学者一直致力于电力负荷预测方面的研究,在短期电力负荷预测方面提出了多种方案,其主要大多数是改进的预测方法方案。下面将对短期电力负荷预测的研究现状从国内、国外两个方面展开叙述。
(1)国内短期电力负荷预测研究现状
与国外相比,国对电力负荷预测方面的研究起步较晚,但随着经济的发展科学技术的进步且电力行业等一些专家学者等不断地研究钻研,电力行业也在快速的发展,电力负荷预测变得更加的精准、智能、精细。如图12(知网关于国内电力负荷预测的期刊论文发表趋势图),由图可已看出我国电力负荷预测方面的研究兴起于上世纪80年代,在1983到1998年之间这方面的研究论文较少,在1998年之后电力负荷预测方面研究的论文一直稳步上升,直至近几年电力预测这方面的研究一直如火如荼。
国内在短期负荷预测领域,文献《孔正民,张成刚,何吕等.多模式功能提取和融合深度神经网络短期负载预测[J].IEEE,2020,8(8):185373-185383》中阐述精确可靠的短期电力负荷预测对于智能电网的发展至关重要,深度神经网络(DNN)由于其自动功能提取能力,被广泛用于预测短期电力负荷。但是,这些可用的堆叠深度学习模型可能会丢失原始输入数据的一些时间特征或空间特征。为了获取更全面的信息,提出了基于实证模式分解(EMD)、类似日方法和DNN的集成方案,以执行短期负载预测。特别值得注意的是,电价亦是负荷变动的重要因素,这是我们建议的方案所考虑的。具体来说,主要有两个层次:一个功能提取层和一个预测层。在功能提取层中,EMD应用于将加载时间系列分解为多个组件,这些组件被排列到卷积神经网络(CNN)的二维输入矩阵中。CNN的输出向量和原始负载序列都输入到长期短期内存(LSTM)层中。因此,整个基于EMD的CNN-LSTM方法从输入数据中提取多式联运空间时空特征。同时,利用电价数据以同样的方式获取多式联运时空特征。此外,日时信息和类似日的负载将增加预测的额外功能。在预测层中,预测任务是通过基于功能提取层输出的完全连接的神经网络完成的。利用这些技术使我们提出的方案能够提取更多的潜在特征,从而显著提高准确性。与其他可用的模型相比,本发明建议的方案在图形和数字结果方面是优越的。
(2)国外短期电力负荷预测研究现状
国外很早就开始了短期电力负荷预测方面的研究,有大量的相关近年研究文献,文献《Engle R F,Mustafa C,Rice J.Modeling peak electricity demand[J],Journalof Forecasting,2010,11(3):241-251.》中Engle等人提出了几种回归模型用于预测接下来的第二天的负荷数据,该模型将假期、平均负荷、天气当作模型的输入变量。文献《ZhangWenJie,Jian Qin,Feng Mei,et al.Short-term power load forecasting usingintegrated methods based on long short-term memory[J].Science in China:Technical Sciences(English version),2020,63(4):614-624.》中为了提高模型预测精度且延长短期电力负荷预测长度和减少人工调试,提出了一种由混沌时间序列、智能优化算法、自组织映射、长短期记忆(long-short memory,LSTM)等组成的综合网络结构模型。与LSTM预测模型相比,该模型的预测精度在均方根误差(RMSE)方面提高了61.87%,在某些其他的情况下,如在40倍的预测窗口内,预测误差降低了50%。
文献《Atef S,Eltawil AB.Assessment of stacked unidirectional andbidirectional long short-term memory networks for electricity loadforecasting[J].Electric Power Systems Research,2020,187(1):106489》电力负荷预测一直是电力系统管理过程中的一个重要问题。准确的预测模型是必要的,以避免不准确的预测,可能会对系统的效率、经济和可持续性产生负面影响。在几种预测技术中,深度学习方法,特别是长短时记忆(Long Short-Term Memory,LSTM)在预测电力负荷消耗方面表现出了优越的性能。但是,在各种隐藏层结构、模型体系结构的深度和模型超参数调优的影响方面,还没有充分探讨使用这些方法的后果。现有文献提出了一种新的、准确的电力市场短期负荷预测和短期电价预测组合模型,它包括变分模式分解、混合数据建模、特征选择、广义回归神经网络和引力搜索算法。考虑了价格负荷混合数据预测模型,并将其与原价格负荷信号序列及其分解相结合。在整个模型中,候选输入变量通过明显的混合特征选择来选择。利用两个可靠的电力市场(宾夕法尼亚-新泽西-马里兰和西班牙电力市场)对所提出的预测模型进行了检验,并与不同有效的基准预测模型进行了比较,最后用Favignana岛电网的实际负荷数据来检验所提模型。结果表明,该模型的精度和稳定性均高于其他基准预测模型。
通过研究近年来的国内外研究现状,可以发现传统预测方法不能适应现在的电力系统负荷预测环境的问题。短期电力负荷预测研究文献近年来主要是研究如何通过人工智能和机器学习的方法来提升短期电力负荷预测模型的预测精度,因此,亟需一种新的、改进的短期电力负荷预测方法。
通过上述分析,现有技术存在的问题及缺陷为:
(1)传统的电力负荷预测方法对现如今多影响因素的电力负荷数据存在适应能力差,预测精度低等问题。
(2)传统的电力负荷预测方法很难适应电力负荷这种多影响因素的非线性的波动关系,不能很好地适应现在复杂的电力负荷数据环境。
(3)传统神经网络对于周期较长的时间序列数据容易出现梯度消失或梯度爆炸问题,堆叠深度学习模型会丢失原始输入数据的时间特征或空间特征。
解决以上问题及缺陷的难度为:
(1)电力领域与通常情况下深度学习所关注的技术领域相差较远,并无成熟的实现例子可以进行参考。
(2)传统的电力领域技术方法很难解决上述的问题。
解决以上问题及缺陷的意义为:
(1)可以在现实中复杂的环境因素影响下依然完成对电力负荷的预测,进而帮助电负荷控制装置控制电力。对于节电(未来电力需求可能变少)以及维护供电设施安全(未来电力需求可能巨大)有着巨大的意义。
(2)可以积累历史用电数据并给控制的预测提供参考。
(3)可以极大地扩充电力负荷控制装置的可应用领域,进一步帮助供电领域提高安全性。
发明内容
针对现有技术存在的问题,本发明提供了一种电力负荷控制装置、控制方法、终端、介质及应用,尤其涉及一种基于改进版短期电力负荷预测技术的电力负荷控制装置及控制方法。
本发明是这样实现的,一种电力负荷控制方法,所述电力负荷控制方法包括以下步骤:
步骤一,利用预处理好的数据集对LSTM模型进行训练,改进LSTM单元中的激活函数,得到改进的LSTM模型;
步骤二,在改进的LSTM模型上加入注意力机制,得到改进的AM-LSTM短期负荷预测模型;
步骤三,将改进完成后的AM-LSTM短期负荷预测模型与硬件设备电力负荷控制装置结合,实现电力负荷控制。
进一步,步骤一中,所述改进LSTM单元中的激活函数,包括:
对LSTM结构单元中的隐含层的由单一Tanh激活函数改为采用基于权重的混合激活函数组;其中,所述混合激活函数组包括Tanh函数、Sigmod函数和Relu函数组合。
进一步,步骤二中,所述改进的AM-LSTM短期负荷预测模型,包括:
(1)改进LSTM单元
激活函数的作用是使神经网络模型的线性改为非线性。将LSTM单元中的激活函数进行改进,将Tanh激活函数改进得到基于Tanh、Sigmoid、Relu的加权激活函数组。
LSTM改进后,LSTM单元当前输出值st的变换如下:
其中,Wi为权重矩阵,ct为当前时刻的单元状态,ot为输出门的输出值,st为改进的LSTM单元当前的输出值,T为矩阵转置。
(2)改进AM-LSTM模型
对改进后的LSTM模型加入注意力机制,加入注意力机制的改进的LSTM模型称为改进的AM-LSTM模型;改进的AM-LSTM模型用到序列到序列的框架,其中编码器部分和解码器部分采用的改进的LSTM单元。
初始向量a<0>=0,s<0>=0,x<1>,x<2>,……,x<t>是输入特征向量,本次训练数据集有最高温度、最低温度、平均温度、最高负荷、最平负荷、平局负荷以及日总负荷7个特征向量,故用到7个改进的LSTM单元,7个输入特征向量经过改进的LSTM单元进行编码,输出固定长度的向量a<1>,a<2>,……,a<t>,输出的固定长度向量通过注意力机制输出注意力机制的上下文C1,C2,……,Ct,输出的注意力机制上下文通过解码层,输出预测结果y<1>,y<2>,……,y<t>。
本发明的另一目的在于提供一种应用所述的电力负荷控制方法的电力负荷控制装置,所述电力负荷控制装置,包括多个负荷控制终端、基于改进AM-LSTM模型的控制器、第一存储器、计时器、触发器、比较器和电能表。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
利用预处理好的数据集对LSTM模型进行训练,改进LSTM单元中的激活函数,得到改进的LSTM模型;在改进的LSTM模型上加入注意力机制,得到改进的AM-LSTM短期负荷预测模型;将改进完成后的AM-LSTM短期负荷预测模型与硬件设备电力负荷控制装置结合,实现电力负荷控制。
本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
利用预处理好的数据集对LSTM模型进行训练,改进LSTM单元中的激活函数,得到改进的LSTM模型;在改进的LSTM模型上加入注意力机制,得到改进的AM-LSTM短期负荷预测模型;将改进完成后的AM-LSTM短期负荷预测模型与硬件设备电力负荷控制装置结合,实现电力负荷控制。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品,包括计算机可读程序,供于电子装置上执行时,提供用户输入接口以应用所述的电力负荷控制装置。
本发明的另一目的在于提供一种计算机可读存储介质,储存有指令,当所述指令在计算机上运行时,使得计算机应用所述的电力负荷控制装置。
本发明的另一目的在于提供一种信息数据处理终端,所述信息数据处理终端用于实现所述的电力负荷控制装置。
本发明的另一目的在于提供一种电力负荷控制装置在电网电力负荷预测中的应用所述的电力负荷控制装置在传统的电力负荷控制装置中的应用。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明提供的电力负荷控制方法,采用系统的实验方法,研究了深度堆叠单向(unidirectional-LSTM,Uni-LSTM)和双向(bidirectional-LSTM,Bi-LSTM)网络对电力负荷消耗预测的影响。特别是将两种堆叠配置(包括两层和三层LSTM)与两种类型的单层LSTM进行比较,说明添加堆叠层的重要性。此外,对于每个提出的配置,采用超参数优化工具,以获得最优模型。
本发明的关键点和欲保护点包括基于改进版短期电力负荷预测技术的电力负荷控制装置:(1)对于AM-LSTM模型的改进方式;(2)将深度学习模型(改进AM-LSTM模型)与传统电力负荷控制装置相结合的应用方式;(3)首次将注意力机制引入电力负荷控制领域。本发明预测准确率高,可以适应应对复杂因素,控制更加准确。
为解决现有技术的问题,本发明将目光投向机器学习,发明人发现机器学习中神经网络算法对非线性数据具有强大的学习和适应能力,并将其应用于电力负荷预测,呈现出不错的效果,因此近年来机器学习和人工智能等方法成为研究电力负荷预测领域的新宠。因此,本发明提出改进的AM(注意力机制)-LSTM(长短记忆网络)预测模型,其主要改进了LSTM输出状态门的激活数,将单一的tanh激活函数改成了基于权重分配的tanh、sigmoid、relu激活函数组,经结合实际短期电力负荷数据进行实验验证,改进后的AM-LSTM短期电力负荷预测模型预测精度更高。并将其与传统的电力负荷控制装置相结合,以此来解决电力负荷数据存在适应能力差,预测精度低等问题。
实验结果表明,本发明的深度叠加LSTM层对预测精度没有显著提高;然而,它们消耗的时间几乎是单层模型的两倍。在一层、二层和三层模型配置下,Bi-LSTM网络的均方根误差(RMSE)分别比Uni-LSTM网络高76.25%、75.49%和75.35%。此外,在整个测试周期内的预测精度比较中,优化后的Bi-LSTM模型比优化后的Uni-LSTM模型分别高出75.98%、89.1%和89.37%,优化后的Bi-LSTM模型比支持向量回归(SVR)模型在均方根误差(RMSE)、平均百分比误差(MAPE)、平均绝对误差(MAE)方面分别高出82.54%、92.59%和92.89%。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种电力负荷控制装置及控制方法,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的电力负荷控制方法包括以下步骤:
S101,利用预处理好的数据集对LSTM模型进行训练,改进LSTM单元中的激活函数,得到改进的LSTM模型;
S102,在改进的LSTM模型上加入注意力机制,得到改进的AM-LSTM短期负荷预测模型;
S103,将改进完成后的AM-LSTM短期负荷预测模型与硬件设备电力负荷控制装置结合,实现电力负荷控制。
下面结合实施例对本发明的技术方案作进一步描述。
1、发明概述
由于短期电力负荷数据属于时间序列数据,故可采取对时间敏感有记忆功能的循环神经网络RNN算法进行预测。但传统的神经网络对于周期较长的时间序列数据容易出现梯度消失或梯度爆炸的问题,故本发明对短期负荷预测的算法研究基于改进的循环神经网络即长短期记忆的神经网络LSTM(长短记忆网络)进行的。本发明预测方法的技术方案包括:
(1)利用预处理好的数据集对LSTM模型进行训练,对LSTM结构单元中的隐含层的由单一Tanh激活函数改为采用了一种基于权重的混合激活函数组(Tanh函数、Sigmod函数、Relu函数组合),经实与短期电力负荷数据预测的实验验证,改进后的LSTM模型比原LSTM模型的短期电力负荷预测精度更高,拟合度也更好。
(2)为了进一步提高预测模型的预测精度,在改进的LSTM模型上加入了注意力机制。
(3)将改进完成后的模型与硬件设备电力负荷控制装置结合。
2、技术背景
2.1电力负荷预测基本原则
负荷预测的基本原则是确保负荷预测技术的科学性的先决条件,是预测方案产生的基础。电力负荷数据需要根据足以下基本原则建立电力负荷预测模型:
(1)惯性原则。事物的发展一般都与其过去存在一定的联系,事物过去发生的行为对现在甚至对未来都会产生一定影响,任何事物的发展都存在着一定的惯性。事物的体系系统越大,所表现出来的惯性就越明显。
(2)相关原则。任何事物之间的发展与变化都不是独立的,都是与其他的事物存在着相互关联的,相互的影响,如最为明显的关联关系:因果关系。例如电力系统受到天气变化、经济状况等因素的影响,电力负荷量随之变化。电力负荷与天气、经济就存在相关性。
(3)类推原则。在一定的条件下,很多事物之间的变化上经常有相似之处,因此在预测事物未来的发展趋势时可以依据事物过去发展的变化过程进行类推,2009年到2014年的电力负荷变化曲线趋势类似,可依据2009年到2014年的电力负荷变化曲线趋势类推2015年的电力负荷变化趋势。
(4)概率推断原则。随机性是一定存在于预测量的历史行为中的,由于无法确切地量化出各种相关因素对预测对象的影响,这给预测带来了难题。因此只能对预测对象呈现的规律进行统计并分析,然而要有些对象具有不确定性结果却要对其给出较为确定的结论,这就需要用到概率推断原则,例如定量预测中的置信区间。
(5)反馈原则。预测的实质就是利用预测对象过去的信息和现在的信息对未来出现的行为做出估计,因此预测的准确度依赖于信息的搜集和处理。有价值的信息搜集越多,预测的准确性也就还会越高。然而,无论搜集到多少有用的信息,误差只能减小不能完全避免。预测误差的正负、大小表示的是预测模型的预测结果与实际结果之间的差距,因此为了减小预测的误差,可以采用预测误差所反映出来的一些信息对模型和参数进行修正,这即所谓的反馈原则。
2.2长短期记忆(Long Short-Term Memory,LSTM)
长短期记忆(Long Short-Term Memory,LSTM)是针对循环神经网络(RecurrentNeural Network,RNN)存在的问题而进行改进的一种循环网络体系结构,与RNN相比,LSTM避免了传统循环神经网络易出现梯度消失或梯度爆炸现象的问题,且能更准确地对时间序列的数据进行建模并可以学习长期依赖关系的数据信息。结构上LSTM隐藏层增加了一个状态c,是用来保存长期的状态信息,故称为单元状态(cell state)。
为了更清楚地分析了解LSTM的隐含层,将LSTM隐藏层的层级按照时间维度展开,如图3所示。
由图3可知:LSTM的隐藏层输入有3个,即当前t时刻的样本输入xt,上一时刻t-1时刻的输出st-1以及上一时刻t-1时刻的单元状态ct-1,输出有2个:当前t时刻LSTM的输出值st,当前时刻的单元状态ct。对于单元状态c的管控,是长期记忆神经网络对信息能够保持长期记忆的关键。长期记忆网络通过引入3个门结构来实现对单元状态的管控,3个门结构分别为:遗忘门(Forget Gate)、输入门(Input Gate)、输出门(Output Gate),如图4所示。
图4中,ft即为t时刻遗忘门,it即为t时刻输入门,ot即为t时刻输出门,圆圈加号表示做加法运算,圆圈乘号表示元素做智能乘法运算。门结构是通过激活函数σ即sigmoid函数(如公式(1))实现的,它类似于开关的作用。由其函数及其倒数曲线图(见图5)可知,sigmoid函数无论输入的信号范围是什么,输出的值限制在0至1之间的一个正数。
门控制的作用原理(见图6):门的左右类似与开关,门的输出为0至1之间的实数向量,用门的输出向量按元素乘以需要控制的那个向量,当输出为1时,任何向量与之相乘都不会有任何改变,这就类似于开关状态为打开状态,什么都可以通过;但当门输出为0时,任何向量与之相乘都会得到0向量,这就类似于开关状态为关闭,什么都不能通过。
从图4中的LSTM的结构单元,从左至右的计算公式:
(1)遗忘门ft是决定了上一时刻的单元状态信息ct-1有多少信息留存到当前时刻ct。其计算公式为:
ft=σ(Wf·[st-1,xt]+bf) (2)
公式(2)中,σ是sigmoid函数,Wf是遗忘门的权重矩阵,st-1是上一时刻t-1时刻单元的输出,xt在当前t时刻单元的输入,bf是遗忘门的偏置值。
(2)输入门it决定了当前t时刻网络的输入样本xt有多少信息留存到当前单元状态ct,计算公式为:
it=σ(Wi.[st-1,xt]+bi) (3)
公式(3)中,σ是sigmoid函数,Wi是输入门的权重矩阵,st-1是上一时刻t-1时刻单元的输出,xt在当前t时刻单元的输入,bi是遗忘门的偏置值。
(3)当前输入的单元状态是根据上一时刻的输出和本次时刻输入xt来进行计算的,其计算公式是:
公式(4)中,
是当前输入的单元状态,W
c是连接x
t与Tanh之间的权重矩阵,s
t-1是上一时刻t-1时刻单元的输出,x
t在当前t时刻单元的输入,b
c是门的偏置值。
(4)计算当前时刻的单元状态ct的,其计算公式为:
公式(5)中,c
t为当前时刻的单元状态,c
t-1为前一时刻的单元状态,f
t为当前时刻遗忘门的值,i
t为当前时刻输入门的值,
为当前输入的单元状态。
(5)输出门ot是控制单元状态ct有多少输出到LSTM的当前输出值st。输出门的计算公式是:
st=ot*tanh(ct) (6)
ot=σ(Wo·[st-1,xt]+bo) (7)
公式(6)至(7)中,σ是sigmoid函数,Wo是输出门的权重矩阵,st-1是上一时刻t-1时刻单元的输出,xt在当前t时刻单元的输入,bo是输出门的偏置值,[st-1,xt]表示把两个向量连接成一个更长的向量。
2.3注意力机制
注意力机制类似于人对环境的生理感知,总是最先感知到重要的信息和一些与其他信息有区别的特殊信息,而忽略掉一些无关紧要的信息。由于注意机制这一特点,近些年注意力机制被广泛应用于多个领域,如图像识别、机器翻译、语音识别等等,并且注意力机制在这些领域的应用效果都还不错,特别是在时序类型的数据上,表现出了很好的效果,这让注意力机制在各领域的应用上占据了一定的地位。注意力机制的单元模块结构如图7所示。
图7为注意力机制(Attentional Mechanism,AM)的一个子单元模块,在图中s
t-1是编码器(Encoder)部分的最后一个循环神经网络单元的隐含层的记忆状态信息,x
1,x
2,……,x
t是编码器每个循环神经单元输出是Concatenate层的输入。注意力机制的工作原理为:第一步,将输入x
t与s
t-1通过Concatenate层,其作用是将通过的矩阵拼接成新的矩阵
第二步,新的矩阵
通过Layer层,全连接于Softmax激活函数层输出注意力权重α
tj(其中t为时间,j为每个解码位置),C
t编码器在t时刻所有隐藏状态及其相应注意权的加权求和(即注意力机制的上下文输出),概括为公式(8):
其中,αtj为在t时刻第j个解码器的注意力权重,所有C2的注意力权重值总和为1,xt′是指x1,x2,……,xt。若将多个注意力机制的输出Ct输入到解码器(Decoder)中,则可得出最终的预测结果。
3、改进的AM-LSTM短期负荷预测模型
3.1改进的AM-LSTM模型
3.1.1改进的LSTM单元
激活函数的作用是使神经网络模型的线性改为非线性。若没有激活函数,则无论神经网络有多少层,输出与输入都将呈现出线性关系。即隐藏层失去了其作用,没有激活函数的每层都相当于矩阵相乘,由此可见激活函数对长短期记忆神经网络(LSTM)的影响。为了更充分地发挥隐含层的作用,更好地适应和学习非线性关系的电力负荷数据,将LSTM单元中的激活函数进行了改进,如图8中红圈中的激活函数Tanh,将Tanh激活函数改进成了基于Tanh、Sigmoid、Relu的加权激活函数组,具体展现如图9所示。
根据图7至8,其中σ为sigmoid函数,LSTM改进后,LSTM单元当前的输出值st公式由公式(9)变为公式(10),展示如下:
其中,Wi为权重矩阵,ct为当前时刻的单元状态,ot输出门的输出值,st为改进的LSTM单元当前的输出值,T为矩阵转置。
3.1.2改进的AM-LSTM模型
为了进一步提升改进后的LSTM模型的预测精度,给其加入了注意力机制,加入注意力机制的改进的LSTM模型称为改进的AM-LSTM模型。注意力机制的相关原理在第二章相关理论部分已经阐明,因此此处不再赘述。改进的AM-LSTM模型用到了序列到序列的框架,其中编码器(Encoder)部分采用的改进的LSTM单元,解码器(Decoder)部分也采用的改进的LSTM单元,具体框架图如图10所示。
图10中,初始向量a<0>=0,s<0>=0,x<1>,x<2>,……,x<t>是输入特征向量,本次训练数据集有最高温度、最低温度、平均温度、最高负荷、最平负荷、平局负荷、日总负荷7个特征向量,故用到7个改进的LSTM单元,7个输入特征向量经过改进的LSTM单元进行编码,输出固定长度的向量a<1>,a<2>,……,a<t>,输出的固定长度向量通过注意力机制(Attentional Mechanism)输出注意力机制的上下文C1,C2,…,Ct,输出的注意力机制上下文通过解码层,输出预测结果y<1>,y<2>,……,y<t>。
3.2改进的AM-LSTM短期负荷预测模型实验部分:
3.2.1、模型评估指标:
模型评估指标是用来评价模型预测误差精度大小的预测性能的评价标准尺度,本次实验采用了平均绝对误差MAE(Mean Absolute Error)、均方根误差RMSE(Root MeanSquared Error)、对称平均绝对百分比误差(Symmetric Mean Absolute PercentageError)、决定系数R2(R-Square)等来评估预测模型的预测精度。具体如下:
假设y=[y
1,y
2,y
3,…,y
n],其中n=1,2,3...7,为未来7天的真实值。
为未来7天的预测值,其中n=1,2,3...7。m是测试样本数量,则本次回归模型的评估指标的公式分别可表达为:
均方绝对误差(MAE):
均方根误差(RMSE):
对称平均绝对百分比误差(SMAPE):
决定系数(coefficient of determination,R2):
公式(14)中
表示的是真实值的第i天的平均值,其中MAE、RMSE、SMAPE的范围均为[0,+∞),当预测值等于真实值时等于0,即理想模型;误差越大则模型预测精度越低;而R-Squared的范围为[0,1],如果R-Squared=0则说明模型拟合效果特别差,如果R-Squared=1则说明模型无错误,一般来说,R-Squared的值越大,表示模型拟合效果越好,预测值与真实值越接近,模型预测精度越高。
3.2.2、问题
本次实验的电力负荷数据取自某地的电力负荷集,数据集包含了地区1和地区2从2009年1月1日至2015年1月10日的电力负荷数据以及2012年1月1日至2015年1月17日的天气因素数据。电力负荷数据是每15分钟进行一次采样,每日96次采样,电力负荷单位为MW。天气因素主要包括:日最高温度、日最低温度、日平均温度、日相对湿度以及日降雨量。本次实验选取了某地区1的数据,电力负荷数据有2208行97列,气象数据有1113行6列。
3.2.3、实施方案
在实验部分使用上述数据训练模型(未改进的AM-LSTM以及改进的AM-LSTM),并在训练完成后对未来七天的电力负荷结果进行预测,在此之后对实验记过进行对比。
3.2.4、结果
(1)改进的AM-LSTM预测结果
未改进的AM-LSTM的未来7天电力负荷预测结果的评分见表1。
表1未改进的AM-LSTM的未来7天电力负荷预测结果的评分
(2)改进的AM-LSTM预测结果
改进的AM-LSTM的未来7天电力负荷预测结果的评分见表2。
表2改进的AM-LSTM的未来7天电力负荷预测结果的评分
结论:改进的AM-LSTM模型的误差指标MAE、RMSE、SMAPE比未改进的AM_LSTM分别小0.03734、0.2002、0.0322,这说明改进的AM-LSTM模型的误差减小,预测精度提高。对比改进的AM-LSTM与未改进的AM-LSTM的R-square值,改进后的R-square值比未改进的要大0.091,说明改进的AM-LSTM模型采取的基于权值的混合激活函数组的方法,能够提升模型的预测精度。
4、基于改进版短期电力负荷预测技术的电力负荷控制装置
4.1电力负荷控制装置
电力负荷控制装置(electrical load control system)是指落实用电负荷管理的技术手段,以装置应用为目的应称为电力负荷管理装置。该装置可对分散在供电区内众多的用户的用电进行管理,适时拉合用户中部分用电设备的供电开关或为用户提供供电信息。中国执行计划用电并进行用电指标管理,要求电力负荷控制装置有给定和调整用户用电定值、越限报警和限电的功能。
4.2传统电力负荷控制装置与改进版电力负荷控制装置图对比
传统电力负荷控制装置如图11所示,改进的电力负荷控制装置如图2所示。
对比实验得出结论,改进后的AM-LSTM模型可以提升电力负荷预测的预测精度,减小误差。因此,本发明将本模型应用到传统的电力负荷控制装置。
在图11以及图2的对比中可以看到,本发明将模型与控制器相连接,使用模型的预测结果,辅助控制器对电力负荷终端进行控制,以此来提高控制器控制的精确度以及对各种复杂因素的适应能力。
本发明的关键点和欲保护点包括基于改进版短期电力负荷预测技术的电力负荷控制装置:(1)对于AM-LSTM模型的改进方式;(2)将深度学习模型(改进AM-LSTM模型)与传统电力负荷控制装置相结合的应用方式;(3)首次将注意力机制引入电力负荷控制领域。本发明预测准确率高,可以适应应对复杂因素,控制更加准确。
在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上;术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”等仅用于描述目的,而不能理解为指示或暗示相对重要性。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。