CN109829587A - 基于深度lstm网络的小区域级超短期负荷预测及可视化方法 - Google Patents
基于深度lstm网络的小区域级超短期负荷预测及可视化方法 Download PDFInfo
- Publication number
- CN109829587A CN109829587A CN201910111272.1A CN201910111272A CN109829587A CN 109829587 A CN109829587 A CN 109829587A CN 201910111272 A CN201910111272 A CN 201910111272A CN 109829587 A CN109829587 A CN 109829587A
- Authority
- CN
- China
- Prior art keywords
- network
- data
- input
- lstm
- short
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 239000013598 vector Substances 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 238000007794 visualization technique Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 48
- 230000006870 function Effects 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 12
- 210000004027 cell Anatomy 0.000 claims description 10
- 238000012800 visualization Methods 0.000 claims description 9
- 238000004451 qualitative analysis Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012512 characterization method Methods 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000012417 linear regression Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000012886 linear function Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000010801 machine learning Methods 0.000 abstract description 6
- 238000013136 deep learning model Methods 0.000 abstract description 3
- 230000006403 short-term memory Effects 0.000 abstract 2
- 238000010276 construction Methods 0.000 abstract 1
- 238000013480 data collection Methods 0.000 abstract 1
- 238000004445 quantitative analysis Methods 0.000 abstract 1
- 230000008859 change Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000000513 principal component analysis Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 230000007787 long-term memory Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出了一种基于深度长短时记忆(LSTM，Long Short‑Term Memory)网络的小区域级超短期负荷预测及可视化方法，该方法包括：步骤1：确定模型的输入输出变量；步骤2：对输入输出数据集分别进行预处理；步骤3：构造深度LSTM负荷预测模型，并采用随机搜索的方法，寻找合适的超参数直到测试集预测误差达到最小。步骤4：采用t‑SNE可视化技术对网络隐藏层向量进行可视化表征，并根据隐藏层向量形成相关系数热图进行相关性定量分析，从而反映网络对输入数据特征提取能力。该方法旨在利用深度学习模型的特征提取能力以及LSTM时序相关性学习能力，以获得与机器学习模型相比更高的预测精度。
Description
技术领域
本发明涉及大数据背景下，基于深度长短时记忆网络的小区域级超短期负荷预测方法，及其学习能力的可视化表征。
背景技术
超短期负荷(very short term load forecasting,VSTLF)预测一般指当前时刻往后一个小时内的负荷预测，主要用于日内及实时发电计划的制定。随着分布式能源增多，负荷变化的随机性给负荷预测的准确性带来更大的挑战，而在电力市场竞争环境下，超短期负荷预测的结果是实时电力市场确定清算价格的重要依据，过大的预测误差则会造成运行费用的激增。因此超短期负荷预测准确度的提升对于揭示负荷变动的不确定性以及日前预测的偏差具有十分重要的意义。
针对超短期负荷预测模型，主要可以分为统计模型以及机器学习模型两类。其中，统计模型主要包括多元线性回归模型、卡尔曼滤波器模型、以及时间序列模型。而机器学习预测方法则以人工神经网络(Artificial Neural Network，ANN)，支持向量机(supportvector regression，SVR)，以及决策树模型为代表。决策树可以看成是一个基于if-then规则和图形表示的模型，通过递归分割将数据分成不同的子集，其应用于电力负荷预测的常见算法有随机森林算法以及梯度提升算法(gradient boosting regression tree，GBRT)。基于机器学习预测方法可以较好地把握负荷与温度、电价、星期等外界因素之间的非线性关系，并可以达到一定的预测精度。
近年来，以深度学习为代表的人工智能方法在计算机视觉，机器翻译，医疗诊断等领域均取得了不错的效果。深度学习模型通过多层非线性映射，可以逐层学习到大量数据中蕴含的抽象特征，并有效地解决分类、预测、决策等问题。电力系统是一种高维非线性的复杂系统，其中包含电力流、天气流、信息流、故障流等多种数据流向。因此将电力系统中丰富的大数据资源结合深度学习算法，有望达到更准确的超短期负荷预测效果。
本发明中采用的LSTM是一种特殊的循环神经网络(recurrent neural networks，RNNs)，用于解决原始RNNs中具有的梯度消失问题。由于其具有特殊的记忆结构和门结构，可以较好地学习时序数据中含有的相关性特征，因此被广泛用于序列模型中。本发明针对应用LSTM对小区域级的超短期负荷预测进行研究。
发明内容
针对现有技术中的缺陷，本发明的目的是提出一种基于深度长短时记忆(LSTM，Long Short-Term Memory)网络的小区域级超短期负荷预测方法，对未来一小时的负荷进行预测。旨在利用深度学习模型的特征提取能力以及LSTM时序相关性学习能力，以获得与机器学习模型相比更高的预测精度。
一种基于深度LSTM的小区域级超短期负荷预测方法，该方法包括如下步骤：
步骤1：确定模型的输入输出变量。
输入输出数据集的确定是决定模型表现的关键，电力系统中的超短期负荷预测，一般采用逐点方式进行，模型的输出为待预测负荷值，预测点的间隔可以是15min，30min或1h。输入数据则是影响负荷的各种属性，在确定输入属性之前，往往需要知道负荷的大致组成及需求侧管理等信息，如是否采用峰谷分时电价等。由于待预测时刻负荷数据与前一周负荷具有很大的相关性。因此，本发明网络输入数据x是预测时刻前一个星期每一小时的负荷数据以及对应的温度和是否为节假日等信息，输出标记数据为待预测时刻实际负荷数据。输入数据x与输出标记数据构成了训练样本
步骤2：对输入输出数据集分别进行预处理，并将预处理后的数据集划分成为训练集、验证集以及测试集三个部分。
确定输入输出数据集之后，即可对其进行预处理，以适应网络的结构和激活函数的选择。本发明采取将负荷数据以及温度数据归一化在(1,2)之间对数据进行预处理，而节假日信息则以哑变量进行标注，其中0表示非节假日，1表示节假日。则输入数据集矩阵X如下：
其中，m为总训练样本数，n为输入特征个数，xij代表第i个样本输入数据的第j个特征。
对原始数据集矩阵每一列的数据进行归一化处理：
其中，为每一列数据的最小值，为每一列数据的级差。本发明将经过预处理后的实验数据按照数量的70％、15％、15％划分成训练集、验证集以及测试集。
步骤3：构造深度LSTM负荷预测模型。
该深度LSTM负荷预测模型由一个输入层、多个隐藏层和一个输出层构成，上一个隐藏层的输出作为下一个隐藏层的输入，输入层与隐藏层共同实现输入负荷数据特征的提取，最后一个隐藏层的输出为一维列向量，经线性回归即得到处理后负荷数据的预测值。
其中，深度LSTM网络由一系列LSTM单元组成。每个LSTM单元中具体的计算过程如下所述：
遗忘门：
输入门：
输出门：
记忆单元状态：
其中，σ代表激活函数，代表网络的输入数据，输入门与做点乘，决定是否更新t时间步记忆单元状态，遗忘门与c＜t-1＞做点乘，决定是否保留t-1时间步记忆单元原始状态。计算得到t时间步记忆单元状态c＜t＞后经过tanh非线性函数，与输出门做点乘得到t时间步下隐藏层a＜t＞。式中Wf,Wu,Wc,Wo以及bf,bu,bc,bo为同一层所有LSTM单元共有的参数，即为网络需要学习的部分，通过训练后确定，即为控制记忆单元是否需要被更新(输入门)、是否需要被设置为0(遗忘门)、以及是否需要在激活向量中被反映(输出门)的门结构。
门的激活函数采用非线性sigmoid函数，因此函数值可以在(0,1)区间内充分光滑。网络采用全连接(fully collected,FC)层作为负荷预测值的输出，如下式所示：
其中，a＜t＞,分别是FC层的输入和输出，Wdense是该网络最后一层的权重，b是贝叶斯参数，二者均通过网络训练得到；actv()是激活函数，由于负荷预测是一个回归问题，本发明采取线性函数作为激活函数。
步骤4：选择模型的超参数。
超参数是机器学习模型开始学习过程前人为设定的参数，合理的超参数选取对模型预测的准确度十分重要。本发明提出的深度LSTM涉及到的超参数主要有：学习速度α，深度LSTM的层数L，隐藏层神经元个数(hidden layer unit)H，子训练样本集(mini batch)个数B，输入序列长度I，以及输出序列长度O。本实施例中输入选用前一周每天24小时的数据，即序列长度I＝168，而输出选择待预测时刻负荷值，即O＝1。
本发明中其余超参数的选取则采用随机搜索的方法，其基本思想是由于不同的超参数子空间对网络收敛速度的影响程度不同，因此与网格搜索的方式不同，对不同参数而言，依据其重要程度，选择不同的搜索范围，而不是在超参数空间中均匀分布。针对本发明提出的深度LSTM网络，由于学习速度即步长直接影响网络收敛与否，而子训练样本集个数即网络更新一次梯度所依据的样本集的大小，也会影响网络收敛速度，并且，为了在网络训练后期放缓训练速度以期找到最优解，采用学习速度成指数下降的方式，即α＝α0e-kt，其中α0与k均为需要搜索的超参数，按照如前所述随机搜索进行网络超参数的寻找。
本发明重点搜索由学习速度和子训练样本集超参数构成的子空间。而深度LSTM的层数，隐藏层神经元个数(hidden layer unit)及子训练样本集个数B则依据经验，人为设定较小的范围，再利用随机搜算在该范围内实现搜索。
步骤5：迭代实现网络训练。
按照所采取的网络结构进行训练，本发明采取均方误差(Mean Squared Error,MSE)作为目标损失函数，如下式所示：
式中，子训练样本集中模型预测负荷值，y为负荷实际值。
判断在一定迭代次数以后，均方误差是否收敛，如未收敛则继续迭代至收敛，则完成网络训练。
步骤6：深度LSTM网络相关性学习可视化表征。
本发明中深度LSTM网络相关性学习可视化过程包括定性分析及定量展示两部分。其中定性分析部分包括提取隐藏层向量和高维向量投影；定量展示部分包括特征提取能力表征、热土展示。
定性分析首先需要进行隐藏层向量提取。LSTM单元隐藏层向量a＜t＞可以反映出深度LSTM网络对输入数据的高维特征提取能力，针对训练后在测试集上预测效果最优的网络，分别针对预测输入数据，在学习到的最优网络参数的基础上，提取网络第二层(即LSTM层2)
所有时间步下LSTM单元隐藏层向量a＜t＞(t＝0,....,167)。
随后实现高维向量投影。t-SNE是一种不改变样本点相对位置(即相关性信息)的非线性降维方法，与传统降维方法PCA相比，其可以将高维空间映射到可以直观表示的二维和三维空间，具有更好地可视化效果。采用t-SNE可视化技术，将原始100维的高维空间投影到2维平面上。
首先需要进行网络特征提取能力表征。为直观表示深度LSTM网络的特征提取能力，可以通过提取负荷序列中存在的时间相关性来实现。为定量描述该相关性，定义相关关系度量指标如下：
式中，＜·＞表示向量内积，a<i>为第i个时间步对应的隐藏层向量，因反映168个时间步长之间的相关关系的矩阵维数较高，为直观表示可将矩阵转换成热图(heat map)，颜色越深则表明相关性越大，可以有效提取负荷时间序列中结构性特征的能力越强。
本发明的有益效果在于：
(1)深度LSTM的网络训练可以看成是一个有监督的特征学习过程，根据一定的网络结构设计将数据投影到高维空间，实现负荷数据特征的深度挖掘。
(2)深度LSTM网络具有记忆单元，可以避免传统深度RNN具有的梯度消失问题，且通过LSTM独特的门结构进行判断，可决定输入数据各个时间步间的相关关系是否需要被存储，使得存储的数据能够反映负荷数据时间上的联系。
(3)在最后一个LSTM单元隐藏层a＜t＞中提炼为与被预测时刻负荷具有线性回归关系的多变量，使得具有强非线性特征的负荷预测问题在FC层中简化成为线性回归问题。
(4)采用t-SNE可视化技术，可以将高维空间映射到二维和三维空间，并结合热图表现形式，可以直观表示深度LSTM网络相关性学习能力。
附图说明
图1为深度LSTM超短期负荷预测流程图；
图2为深度LSTM模型结构图；
图3为深度LSTM与传统机器学习算法预测负荷对比图；
图4为第二层LSTM隐藏层可视化表征图；
图5为预测负荷第二层LSTM隐藏层相关系数热图。
具体实施方式
下面，参照附图，对本发明的实施例进行详细描述说明。
一种基于深度LSTM的小区域级超短期负荷预测方法，该方法流程图如图1所示，该方法包括如下步骤：
步骤1：确定模型的输入输出变量。
输入输出数据集的确定是决定模型表现的关键，电力系统中的超短期负荷预测，一般采用逐点方式进行，模型的输出为待预测负荷值，预测点的间隔可以是15min，30min或1h。输入数据则是影响负荷的各种属性，在确定输入属性之前，往往需要知道负荷的大致组成及需求侧管理等信息，如是否采用峰谷分时电价等。由于待预测时刻负荷数据与前一周负荷具有很大的相关性。因此，本发明网络输入数据x是预测时刻前一个星期每一小时的负荷数据以及对应的温度和是否为节假日等信息，输出标记数据为待预测时刻实际负荷数据。输入数据x与输出标记数据构成了训练样本
步骤2：对输入输出数据集分别进行预处理，并将预处理后的数据集划分成为训练集、验证集以及测试集三个部分。
确定输入输出数据集之后，即可对其进行预处理，以适应网络的结构和激活函数的选择。本发明采取将负荷数据以及温度数据归一化在(1,2)之间对数据进行预处理，而节假日信息则以哑变量进行标注，其中0表示非节假日，1表示节假日。则输入数据集矩阵X如下：
其中，m为总训练样本数，n为输入特征个数，xij代表第i个样本输入数据的第j个特征。
对原始数据集矩阵每一列的数据进行归一化处理：
其中，为每一列数据的最小值，为每一列数据的级差。本发明将经过预处理后的实验数据按照数量的70％、15％、15％划分成训练集、验证集以及测试集。
步骤3：构造深度LSTM负荷预测模型。
本发明提出的深度LSTM负荷预测模型如图2所示，由一个输入层(输入变量数据)、多个隐藏层(LSTM层1，LSTM层2，……，LSTM层k)和一个输出层(待预测时刻负荷)构成，上一个隐藏层的输出作为下一个隐藏层的输入，输入层与隐藏层共同实现输入负荷数据特征的提取，最后一个隐藏层的输出为一维列向量，经线性回归即得到处理后负荷数据的预测值。
其中，深度LSTM网络由一系列LSTM单元组成。每个LSTM单元中具体的计算过程如下所述：
遗忘门：
输入门：
输出门：
记忆单元状态：
其中，σ代表激活函数，x<t>代表网络的输入数据，输入门与做点乘，决定是否更新t时间步记忆单元状态，遗忘门与c＜t-1＞做点乘，决定是否保留t-1时间步记忆单元原始状态。计算得到t时间步记忆单元状态c＜t＞后经过tanh非线性函数，与输出门做点乘得到t时间步下隐藏层a＜t＞。式中Wf,Wu,Wc,Wo以及bf,bu,bc,bo为同一层所有LSTM单元共有的参数，即为网络需要学习的部分，通过训练后确定，即为控制记忆单元是否需要被更新(输入门)、是否需要被设置为0(遗忘门)、以及是否需要在激活向量中被反映(输出门)的门结构。
门的激活函数采用非线性sigmoid函数，因此函数值可以在(0,1)区间内充分光滑。网络采用全连接(fully collected,FC)层作为负荷预测值的输出，如下式所示：
其中，a＜t＞,分别是FC层的输入和输出，Wdense是该网络最后一层的权重，b是贝叶斯参数，二者均通过网络训练得到；actv()是激活函数，由于负荷预测是一个回归问题，本发明采取线性函数作为激活函数。
步骤4：选择模型的超参数。
超参数是机器学习模型开始学习过程前人为设定的参数，合理的超参数选取对模型预测的准确度十分重要。本发明提出的深度LSTM涉及到的超参数主要有：学习速度α，深度LSTM的层数L，隐藏层神经元个数(hidden layer unit)H，子训练样本集(mini batch)个数B，输入序列长度I，以及输出序列长度O。本实施例中输入选用前一周每天24小时的数据，即序列长度I＝168，而输出选择待预测时刻负荷值，即O＝1。
本发明中其余超参数的选取则采用随机搜索的方法，其基本思想是由于不同的超参数子空间对网络收敛速度的影响程度不同，因此与网格搜索的方式不同，对不同参数而言，依据其重要程度，选择不同的搜索范围，而不是在超参数空间中均匀分布。针对本发明提出的深度LSTM网络，由于学习速度即步长直接影响网络收敛与否，而子训练样本集个数即网络更新一次梯度所依据的样本集的大小，也会影响网络收敛速度，并且，为了在网络训练后期放缓训练速度以期找到最优解，采用学习速度成指数下降的方式，即α＝α0e-kt，其中α0与k均为需要搜索的超参数，按照如前所述随机搜索进行网络超参数的寻找，搜索取值如表1所示，以α0为例，按照近似指数变化的形式对其取值进行选取，以期覆盖尽可能大的参数空间，而t则是网络迭代次数(epoch)，根据实验，当t在2500左右时网络已基本收敛，因此取t＝2500，并记录下训练过程中验证集误差最小时的网络参数与迭代次数全部完成后的网络参数，并取在测试集上误差最小的一组作为最终的网络参数。
表1深度LSTM网络超参数选择情况
本发明重点搜索由学习速度和子训练样本集超参数构成的子空间。而深度LSTM的层数，隐藏层神经元个数(hidden layer unit)及子训练样本集个数B则依据经验，人为设定较小的范围，再利用随机搜算在该范围内实现搜索。
步骤5：迭代实现网络训练。
按照所采取的网络结构进行训练，本发明采取均方误差(Mean Squared Error,MSE)作为目标损失函数，如下式所示：
式中，子训练样本集中模型预测负荷值，y为负荷实际值。
判断在一定迭代次数以后，均方误差是否收敛，如未收敛则继续迭代至收敛，则完成网络训练。
选取在确定性负荷预测中较具有代表性的GEFCom2012比赛数据作为实验样本数据集，采用深度LSTM负荷预测方法对连续7日(2006年1月9号至2006年1月15号)负荷预测对比图，如图3所示。深度LSTM算法对负荷有较高的预测精度，当负荷变动较大时，即预测的不确定性增强，SVR和GBRT预测的误差较大，而深度LSTM算法依然可以很好地拟合出负荷的变化趋势。
步骤6：深度LSTM网络相关性学习可视化表征。
本发明中深度LSTM网络相关性学习可视化过程包括定性分析及定量展示两部分。其中定性分析部分包括提取隐藏层向量和高维向量投影；定量展示部分包括特征提取能力表征、热土展示。
定性分析首先需要进行隐藏层向量提取。LSTM单元隐藏层向量a＜t＞可以反映出深度LSTM网络对输入数据的高维特征提取能力，针对训练后在测试集上预测效果最优的网络，分别针对预测输入数据，在学习到的最优网络参数的基础上，提取网络第二层(即LSTM层2)
所有时间步下LSTM单元隐藏层向量a＜t＞(t＝0,....,167)。
随后实现高维向量投影。t-SNE是一种不改变样本点相对位置(即相关性信息)的非线性降维方法，与传统降维方法PCA相比，其可以将高维空间映射到可以直观表示的二维和三维空间，具有更好地可视化效果。采用t-SNE可视化技术，将原始100维的高维空间投影到2维平面上。可视化图中每一个点代表一个时间步，旁边标注对应的时间步长，随着时间步的推移，在二维平面中的路径呈现周期性的环形，变化的周期基本上满足24小时，则与负荷具有的以日为周期的变化规律基本相同，且一周各天中时刻相近的时间步相聚较近，如图4(b)中的69,93,117,141,165所示，即负荷水平较为相似。但是图4中前30时间步没有明显的规律性，表示深度LSTM的长时间记忆能力大致在100个时间步左右。
首先需要进行网络特征提取能力表征。为直观表示深度LSTM网络的特征提取能力，可以通过提取负荷序列中存在的时间相关性来实现。为定量描述该相关性，定义相关关系度量指标如下：
式中，＜·＞表示向量内积，a<i>为第i个时间步对应的隐藏层向量，因反映168个时间步长之间的相关关系的矩阵维数较高，为直观表示可将矩阵转换成热图(heat map)，如图5所示，颜色越深则表明相关性越大，可以有效提取负荷时间序列中结构性特征的能力越强。
以上所述仅为本发明的一种实施案例，应当指出，对于本技术领域的普通技术人员来说，在不脱离发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
Claims (16)
1.一种基于深度LSTM网络的小区域级超短期负荷预测方法，该方法包括如下步骤：
步骤1：确定模型的输入输出变量；
步骤2：对输入输出数据集分别进行预处理，并将预处理后的数据集划分成为训练集、验证集以及测试集三个部分；
步骤3：构造深度LSTM负荷预测模型；
步骤4：选择模型的超参数；
步骤5：迭代实现网络训练。
2.如权利要求1所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：
在步骤1中，输入变量x与输出变量构成训练样本其中网络输入数据x是预测时刻前一个星期每一小时的负荷数据以及对应的温度和是否为节假日等信息，输出标记数据为待预测时刻实际负荷数据。
3.如权利要求2所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：
在步骤2中，确定输入输出数据集之后，将负荷数据以及温度数据归一化在(1,2)之间对数据进行预处理，而节假日信息则以哑变量进行标注，其中0表示非节假日，1表示节假日，则输入数据集矩阵X如下：
其中，m为总训练样本数，n为输入特征个数，xij代表第i个样本输入数据的第j个特征；
对原始数据集矩阵每一列的数据进行归一化处理：
其中， 为每一列数据的最小值，为每一列数据的级差。
4.如权利要求3所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：
将经过预处理后的实验数据按照数量的70％、15％、15％划分成训练集、验证集以及测试集。
5.如权利要求1-4所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：
在步骤3中，深度LSTM负荷预测模型由一个输入层、多个隐藏层和一个输出层构成，上一个隐藏层的输出作为下一个隐藏层的输入，输入层与隐藏层共同实现输入负荷数据特征的提取，最后一个隐藏层的输出为一维列向量，经线性回归即得到处理后负荷数据的预测值。
6.如权利要求5所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：
深度LSTM网络由一系列LSTM单元组成，每个LSTM单元中具体的计算过程如下：
遗忘门：
输入门：
输出门：
记忆单元状态：
其中，σ代表激活函数，x<t>代表网络的输入数据，输入门与做点乘，决定是否更新t时间步记忆单元状态，遗忘门与c＜t-1＞做点乘，决定是否保留t-1时间步记忆单元原始状态；计算得到t时间步记忆单元状态c＜t＞后经过tanh非线性函数，与输出门做点乘得到t时间步下隐藏层a＜t＞；式中Wf,Wu,Wc,Wo以及bf,bu,bc,bo为同一层所有LSTM单元共有的参数，即为网络需要学习的部分，通过训练后确定，即为控制记忆单元是否需要被更新、是否需要被设置为0、以及是否需要在激活向量中被反映的门结构。
7.如权利要求6所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：
门的激活函数采用非线性sigmoid函数，网络采用全连接(fully collected,FC)层作为负荷预测值的输出，如下式所示：
其中，a＜t＞,分别是FC层的输入和输出，Wdense是该网络最后一层的权重，b是贝叶斯参数，二者均通过网络训练得到；actv()是激活函数，采取线性函数作为激活函数。
8.如权利要求1-7所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：
在步骤4中，深度LSTM涉及到的超参数主要有：学习速度α，深度LSTM的层数L，隐藏层神经元个数H，子训练样本集个数B，输入序列长度I，以及输出序列长度O。
9.如权利要求8所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：
其中，输入选用前一周每天24小时的数据，即输入序列长度I＝168，而输出选择待预测时刻负荷值，即输出序列长度O＝1。
10.如权利要求8所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：
其中，学习速度α根据下式公式确定：α＝α0e-kt，其中α0与k均为需要搜索的超参数，按照随机搜索进行网络超参数的寻找，t则是网络迭代次数。
11.如权利要求10所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：其中取t＝2500。
12.如权利要求8所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：
其中，深度LSTM的层数，隐藏层神经元个数H及子训练样本集个数B则依据经验，人为设定较小的范围，再利用随机搜算在该范围内实现搜索。
13.如权利要求8-12所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：
在步骤5中，按照所采取的网络结构进行训练，采取均方误差作为目标损失函数，如下式所示：
式中，子训练样本集中模型预测负荷值，y为负荷实际值；
判断在一定迭代次数以后，均方误差是否收敛，如未收敛则继续迭代至收敛，完成网络训练。
14.一种如权利要求1-13所述的基于深度LSTM网络的小区域级超短期负荷预测的可视化方法，该可视化方法包括定性分析及定量展示两部分，其中定性分析部分包括提取隐藏层向量和高维向量投影；定量展示部分包括特征提取能力表征和热图展示。
15.一种如权利要求14所述的基于深度LSTM网络的小区域级超短期负荷预测的可视化方法，其特征在于：
提取隐藏层向量包括提取网络第二层所有时间步下LSTM单元隐藏层向量a＜t＞(t＝0,....,1，
高维向量投影采用t-SNE可视化技术。
16.一种如权利要求14-15所述的基于深度LSTM网络的小区域级超短期负荷预测的可视化方法，其特征在于：
其中，特征提取表征中，定义相关关系度量指标如下：
式中，＜·＞表示向量内积，a<i>为第i个时间步对应的隐藏层向量，因反映168个时间步长之间的相关关系的矩阵维数较高，为直观表示可将矩阵转换成热图，颜色越深则表明相关性越大，可以有效提取负荷时间序列中结构性特征的能力越强。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910111272.1A CN109829587A (zh) | 2019-02-12 | 2019-02-12 | 基于深度lstm网络的小区域级超短期负荷预测及可视化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910111272.1A CN109829587A (zh) | 2019-02-12 | 2019-02-12 | 基于深度lstm网络的小区域级超短期负荷预测及可视化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109829587A true CN109829587A (zh) | 2019-05-31 |
Family
ID=66863526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910111272.1A Pending CN109829587A (zh) | 2019-02-12 | 2019-02-12 | 基于深度lstm网络的小区域级超短期负荷预测及可视化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109829587A (zh) |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309968A (zh) * | 2019-06-28 | 2019-10-08 | 万帮充电设备有限公司 | 一种基于桩群预测充电量的动态定价系统及方法 |
| CN110619107A (zh) * | 2019-08-07 | 2019-12-27 | 南昌大学 | 一种Lstm与Gcforest算法混合强化学习的配网变压器负荷预测方法 |
| CN110837934A (zh) * | 2019-11-11 | 2020-02-25 | 四川大学 | 一种基于深度学习的智能电网短期住宅负荷预测方法 |
| CN110866633A (zh) * | 2019-10-25 | 2020-03-06 | 上海电气集团股份有限公司 | 一种基于svr支持向量回归的微电网超短期负荷预测方法 |
| CN111062080A (zh) * | 2019-12-20 | 2020-04-24 | 哈尔滨工业大学 | 斜拉索索力与主梁竖向位移时空相关深度学习建模方法 |
| CN111123894A (zh) * | 2019-12-30 | 2020-05-08 | 杭州电子科技大学 | 一种基于lstm和mlp结合的化工过程故障诊断方法 |
| CN111177939A (zh) * | 2020-01-03 | 2020-05-19 | 中国铁路郑州局集团有限公司科学技术研究所 | 一种基于深度学习的列车空气制动系统制动缸压力预测方法 |
| CN111191856A (zh) * | 2020-02-17 | 2020-05-22 | 天津大学 | 计及时序动态特性和耦合特性的区域综合能源系统多能负荷预测方法 |
| CN111275163A (zh) * | 2019-12-17 | 2020-06-12 | 东南大学 | 一种短期负荷预测方法 |
| CN111401623A (zh) * | 2020-03-12 | 2020-07-10 | 重庆大学 | 一种基于bp神经网络的喷丸强化表面完整性预测方法 |
| CN111461463A (zh) * | 2020-04-30 | 2020-07-28 | 南京工程学院 | 一种基于tcn-bp的短期负荷预测方法、系统及设备 |
| CN111709492A (zh) * | 2020-07-03 | 2020-09-25 | 大连东软教育科技集团有限公司 | 高维电子医疗记录表的降维可视化方法、装置及存储介质 |
| CN111738482A (zh) * | 2020-04-20 | 2020-10-02 | 东华大学 | 一种聚酯纤维聚合过程中的工艺参数的调节方法 |
| CN111932024A (zh) * | 2020-08-21 | 2020-11-13 | 润联软件系统(深圳)有限公司 | 一种能源负荷预测方法、装置、计算机设备及存储介质 |
| CN111950794A (zh) * | 2020-08-18 | 2020-11-17 | 上海仪电（集团）有限公司中央研究院 | 园区能耗预测方法，系统、设备和存储介质 |
| CN111968755A (zh) * | 2020-08-21 | 2020-11-20 | 上海海洋大学 | 一种基于lstm深度学习网络模型的疫情预测模型 |
| CN112118596A (zh) * | 2020-09-22 | 2020-12-22 | 东南大学 | 基于路径序列回归的短程无线信号强度预测方法 |
| CN112131794A (zh) * | 2020-09-25 | 2020-12-25 | 天津大学 | 基于lstm网络的水工建筑物多效应量优化预测及可视化方法 |
| CN112232714A (zh) * | 2020-11-18 | 2021-01-15 | 中国科学院电工研究所 | 一种基于深度学习的结构参数不完备下配电网风险评估方法 |
| CN112488404A (zh) * | 2020-12-07 | 2021-03-12 | 广西电网有限责任公司电力科学研究院 | 一种配电网大规模电力负荷多线程高效预测方法及系统 |
| CN112529268A (zh) * | 2020-11-28 | 2021-03-19 | 广西大学 | 一种基于流形学习的中短期负荷预测方法及装置 |
| CN112734106A (zh) * | 2021-01-08 | 2021-04-30 | 深圳市国电科技通信有限公司 | 用于预测能源负荷的方法及装置 |
| CN113077094A (zh) * | 2021-04-13 | 2021-07-06 | 南京邮电大学 | 一种基于lstm-gcn的臭氧预测方法 |
| CN113139605A (zh) * | 2021-04-27 | 2021-07-20 | 武汉理工大学 | 基于主成分分析和lstm神经网络的电力负荷预测方法 |
| CN113222722A (zh) * | 2021-05-12 | 2021-08-06 | 江苏电力信息技术有限公司 | 一种基于门结构深度交叉网络的电力预算评估方法 |
| CN113792828A (zh) * | 2021-11-18 | 2021-12-14 | 成都数联云算科技有限公司 | 基于深度学习的电网负荷预测方法、系统、设备及介质 |
| CN115496264A (zh) * | 2022-08-26 | 2022-12-20 | 河北大学 | 一种风电机组发电功率的预测方法 |
| CN116663434A (zh) * | 2023-07-31 | 2023-08-29 | 江铃汽车股份有限公司 | 一种基于lstm深度神经网络的整车载荷分解方法 |
| CN116780524A (zh) * | 2023-06-30 | 2023-09-19 | 陕西广林汇程能源科技有限公司 | 一种基于lstm深度学习的工业企业短期负荷预测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106600050A (zh) * | 2016-12-10 | 2017-04-26 | 国网辽宁省电力有限公司锦州供电公司 | 一种基于bp神经网络的超短期负荷预测方法 |
| CN108256697A (zh) * | 2018-03-26 | 2018-07-06 | 电子科技大学 | 一种用于电力系统短期负荷的预测方法 |
| CN108416690A (zh) * | 2018-01-19 | 2018-08-17 | 中国矿业大学 | 基于深度lstm神经网络的电网负荷预测方法 |
-
2019
- 2019-02-12 CN CN201910111272.1A patent/CN109829587A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106600050A (zh) * | 2016-12-10 | 2017-04-26 | 国网辽宁省电力有限公司锦州供电公司 | 一种基于bp神经网络的超短期负荷预测方法 |
| CN108416690A (zh) * | 2018-01-19 | 2018-08-17 | 中国矿业大学 | 基于深度lstm神经网络的电网负荷预测方法 |
| CN108256697A (zh) * | 2018-03-26 | 2018-07-06 | 电子科技大学 | 一种用于电力系统短期负荷的预测方法 |
Non-Patent Citations (5)
| Title |
|---|
| 周晖: "《电力市场分析与预测》", 31 March 2011, 清华大学出版社，北京交通大学出版社 * |
| 李昭昱 等: "基于attention机制的LSTM神经网络超短期负荷预测方法", 《供用电》 * |
| 李舰，肖凯: "《数据科学中的R语言》", 31 July 2015, 西安交通大学出版社 * |
| 范兵 等: "基于高维可视化技术的负荷特性指标展示研究", 《电器与能效管理技术》 * |
| 赛尔坎•希兰兹，蒂尔克•英斯，蒙塞夫•加伯伊: "《多维粒子群优化在机器学习与模式识别中的应用》", 30 June 2017, 国防工业出版社 * |
Cited By (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309968A (zh) * | 2019-06-28 | 2019-10-08 | 万帮充电设备有限公司 | 一种基于桩群预测充电量的动态定价系统及方法 |
| CN110619107B (zh) * | 2019-08-07 | 2022-04-12 | 南昌大学 | 一种Lstm与Gcforest算法混合强化学习的配网变压器负荷预测方法 |
| CN110619107A (zh) * | 2019-08-07 | 2019-12-27 | 南昌大学 | 一种Lstm与Gcforest算法混合强化学习的配网变压器负荷预测方法 |
| CN110866633A (zh) * | 2019-10-25 | 2020-03-06 | 上海电气集团股份有限公司 | 一种基于svr支持向量回归的微电网超短期负荷预测方法 |
| CN110866633B (zh) * | 2019-10-25 | 2023-11-24 | 上海电气集团股份有限公司 | 一种基于svr支持向量回归的微电网超短期负荷预测方法 |
| CN110837934A (zh) * | 2019-11-11 | 2020-02-25 | 四川大学 | 一种基于深度学习的智能电网短期住宅负荷预测方法 |
| CN110837934B (zh) * | 2019-11-11 | 2023-04-07 | 四川大学 | 一种基于深度学习的智能电网短期住宅负荷预测方法 |
| CN111275163B (zh) * | 2019-12-17 | 2023-09-05 | 东南大学 | 一种短期负荷预测方法 |
| CN111275163A (zh) * | 2019-12-17 | 2020-06-12 | 东南大学 | 一种短期负荷预测方法 |
| CN111062080A (zh) * | 2019-12-20 | 2020-04-24 | 哈尔滨工业大学 | 斜拉索索力与主梁竖向位移时空相关深度学习建模方法 |
| CN111123894A (zh) * | 2019-12-30 | 2020-05-08 | 杭州电子科技大学 | 一种基于lstm和mlp结合的化工过程故障诊断方法 |
| CN111177939A (zh) * | 2020-01-03 | 2020-05-19 | 中国铁路郑州局集团有限公司科学技术研究所 | 一种基于深度学习的列车空气制动系统制动缸压力预测方法 |
| CN111177939B (zh) * | 2020-01-03 | 2023-04-18 | 中国铁路郑州局集团有限公司科学技术研究所 | 一种基于深度学习的列车空气制动系统制动缸压力预测方法 |
| CN111191856A (zh) * | 2020-02-17 | 2020-05-22 | 天津大学 | 计及时序动态特性和耦合特性的区域综合能源系统多能负荷预测方法 |
| CN111191856B (zh) * | 2020-02-17 | 2023-12-08 | 天津大学 | 计及时序动态特性和耦合特性的区域综合能源系统多能负荷预测方法 |
| CN111401623A (zh) * | 2020-03-12 | 2020-07-10 | 重庆大学 | 一种基于bp神经网络的喷丸强化表面完整性预测方法 |
| CN111738482A (zh) * | 2020-04-20 | 2020-10-02 | 东华大学 | 一种聚酯纤维聚合过程中的工艺参数的调节方法 |
| CN111738482B (zh) * | 2020-04-20 | 2022-04-29 | 东华大学 | 一种聚酯纤维聚合过程中的工艺参数的调节方法 |
| CN111461463A (zh) * | 2020-04-30 | 2020-07-28 | 南京工程学院 | 一种基于tcn-bp的短期负荷预测方法、系统及设备 |
| CN111461463B (zh) * | 2020-04-30 | 2023-11-24 | 南京工程学院 | 一种基于tcn-bp的短期负荷预测方法、系统及设备 |
| CN111709492A (zh) * | 2020-07-03 | 2020-09-25 | 大连东软教育科技集团有限公司 | 高维电子医疗记录表的降维可视化方法、装置及存储介质 |
| CN111950794A (zh) * | 2020-08-18 | 2020-11-17 | 上海仪电（集团）有限公司中央研究院 | 园区能耗预测方法，系统、设备和存储介质 |
| CN111932024B (zh) * | 2020-08-21 | 2022-09-20 | 华润数字科技有限公司 | 一种能源负荷预测方法、装置、计算机设备及存储介质 |
| CN111932024A (zh) * | 2020-08-21 | 2020-11-13 | 润联软件系统(深圳)有限公司 | 一种能源负荷预测方法、装置、计算机设备及存储介质 |
| CN111968755A (zh) * | 2020-08-21 | 2020-11-20 | 上海海洋大学 | 一种基于lstm深度学习网络模型的疫情预测模型 |
| CN112118596A (zh) * | 2020-09-22 | 2020-12-22 | 东南大学 | 基于路径序列回归的短程无线信号强度预测方法 |
| CN112118596B (zh) * | 2020-09-22 | 2022-12-06 | 东南大学 | 基于路径序列回归的短程无线信号强度预测方法 |
| CN112131794A (zh) * | 2020-09-25 | 2020-12-25 | 天津大学 | 基于lstm网络的水工建筑物多效应量优化预测及可视化方法 |
| CN112232714A (zh) * | 2020-11-18 | 2021-01-15 | 中国科学院电工研究所 | 一种基于深度学习的结构参数不完备下配电网风险评估方法 |
| CN112232714B (zh) * | 2020-11-18 | 2023-06-20 | 中国科学院电工研究所 | 一种基于深度学习的结构参数不完备下配电网风险评估方法 |
| CN112529268A (zh) * | 2020-11-28 | 2021-03-19 | 广西大学 | 一种基于流形学习的中短期负荷预测方法及装置 |
| CN112529268B (zh) * | 2020-11-28 | 2023-06-27 | 广西大学 | 一种基于流形学习的中短期负荷预测方法及装置 |
| CN112488404A (zh) * | 2020-12-07 | 2021-03-12 | 广西电网有限责任公司电力科学研究院 | 一种配电网大规模电力负荷多线程高效预测方法及系统 |
| CN112734106A (zh) * | 2021-01-08 | 2021-04-30 | 深圳市国电科技通信有限公司 | 用于预测能源负荷的方法及装置 |
| CN113077094B (zh) * | 2021-04-13 | 2022-08-23 | 南京邮电大学 | 一种基于lstm-gcn的臭氧预测方法 |
| CN113077094A (zh) * | 2021-04-13 | 2021-07-06 | 南京邮电大学 | 一种基于lstm-gcn的臭氧预测方法 |
| CN113139605A (zh) * | 2021-04-27 | 2021-07-20 | 武汉理工大学 | 基于主成分分析和lstm神经网络的电力负荷预测方法 |
| CN113222722A (zh) * | 2021-05-12 | 2021-08-06 | 江苏电力信息技术有限公司 | 一种基于门结构深度交叉网络的电力预算评估方法 |
| CN113222722B (zh) * | 2021-05-12 | 2024-02-02 | 江苏电力信息技术有限公司 | 一种基于门结构深度交叉网络的电力预算评估方法 |
| CN113792828A (zh) * | 2021-11-18 | 2021-12-14 | 成都数联云算科技有限公司 | 基于深度学习的电网负荷预测方法、系统、设备及介质 |
| CN115496264A (zh) * | 2022-08-26 | 2022-12-20 | 河北大学 | 一种风电机组发电功率的预测方法 |
| CN116780524A (zh) * | 2023-06-30 | 2023-09-19 | 陕西广林汇程能源科技有限公司 | 一种基于lstm深度学习的工业企业短期负荷预测方法 |
| CN116780524B (zh) * | 2023-06-30 | 2024-03-22 | 陕西广林汇程能源科技有限公司 | 一种基于lstm深度学习的工业企业短期负荷预测方法 |
| CN116663434A (zh) * | 2023-07-31 | 2023-08-29 | 江铃汽车股份有限公司 | 一种基于lstm深度神经网络的整车载荷分解方法 |
| CN116663434B (zh) * | 2023-07-31 | 2023-12-05 | 江铃汽车股份有限公司 | 一种基于lstm深度神经网络的整车载荷分解方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109829587A (zh) | 基于深度lstm网络的小区域级超短期负荷预测及可视化方法 | |
| Ma et al. | A hybrid attention-based deep learning approach for wind power prediction | |
| Tian | Short-term wind speed prediction based on LMD and improved FA optimized combined kernel function LSSVM | |
| CN113962364B (zh) | 一种基于深度学习的多因素用电负荷预测方法 | |
| Xuan et al. | Multi-model fusion short-term load forecasting based on random forest feature selection and hybrid neural network | |
| Khodayar et al. | Spatio-temporal graph deep neural network for short-term wind speed forecasting | |
| Khafaga et al. | Forecasting energy consumption using a novel hybrid dipper throated optimization and stochastic fractal search algorithm | |
| Lipu et al. | Artificial intelligence based hybrid forecasting approaches for wind power generation: Progress, challenges and prospects | |
| Alencar et al. | Hybrid approach combining SARIMA and neural networks for multi-step ahead wind speed forecasting in Brazil | |
| CN111860982A (zh) | 一种基于vmd-fcm-gru的风电场短期风电功率预测方法 | |
| Hu et al. | Research and application of a hybrid model based on Meta learning strategy for wind power deterministic and probabilistic forecasting | |
| Liu et al. | Heating load forecasting for combined heat and power plants via strand-based LSTM | |
| CN112100911B (zh) | 一种基于深度bilstm的太阳辐射预测方法 | |
| CN115688579A (zh) | 一种基于生成对抗网络的流域多点水位预测预警方法 | |
| Lin et al. | Temporal convolutional attention neural networks for time series forecasting | |
| CN111275168A (zh) | 基于卷积全连接的双向门控循环单元的空气质量预测方法 | |
| Khan et al. | Deep belief networks based feature generation and regression for predicting wind power | |
| CN110738363B (zh) | 一种光伏发电功率预测方法 | |
| CN115640901A (zh) | 一种基于混合神经网络和生成对抗的小样本负荷预测方法 | |
| CN117407704A (zh) | 可再生能源发电功率预测方法及其计算机设备、储存介质 | |
| CN117131654A (zh) | 基于预分析初猜值条件非线性最优扰动的目标观测方法 | |
| CN116613732A (zh) | 一种基于shap值选择策略的多元负荷预测方法及系统 | |
| Li et al. | Rainfall runoff prediction via a hybrid model of neighbourhood rough set with LSTM | |
| CN115600498A (zh) | 一种基于人工神经网络的风速预报订正方法 | |
| Ruciński | Neural modelling of electricity prices quoted on the Day-Ahead Market of TGE SA shaped by environmental and economic factors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190531 |