CN113139605A - 基于主成分分析和lstm神经网络的电力负荷预测方法 - Google Patents

基于主成分分析和lstm神经网络的电力负荷预测方法 Download PDF

Info

Publication number
CN113139605A
CN113139605A CN202110460352.5A CN202110460352A CN113139605A CN 113139605 A CN113139605 A CN 113139605A CN 202110460352 A CN202110460352 A CN 202110460352A CN 113139605 A CN113139605 A CN 113139605A
Authority
CN
China
Prior art keywords
value
neural network
formula
power load
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110460352.5A
Other languages
English (en)
Inventor
熊斌宇
张少凤
张华军
张清勇
李旸
苏义鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202110460352.5A priority Critical patent/CN113139605A/zh
Publication of CN113139605A publication Critical patent/CN113139605A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/003—Load forecast, e.g. methods or systems for forecasting future load demand

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Power Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了基于主成分分析和LSTM神经网络的电力负荷预测方法，所述方法包括：1)查找原始负荷数据中的异常值，判断异常点，通过平均值修正法进行处理；2)利用原始负荷数据的标准差及均值对数据进行标准化操作；3)将字符型影响因素进行量化，得到各变量在主成分分析中的特征值；4)以主成分分析后的数据作为特征值输入长短时记忆神经网络，预测输出值；5)对神经网络的输出进行反标准化操作；6)选择均方根误差作为回归模型的评价指标，衡量观测值同真值之间的偏差。本发明采用的长短时记忆神经网络具有良好的鲁棒性能和非线性处理能力，能够通过特殊的单元结构缓解梯度消失和梯度爆炸等问题，进一步提高电力负荷预测结果的精度。

Description

基于主成分分析和LSTM神经网络的电力负荷预测方法
技术领域
本发明涉及电力系统智能电网技术领域，具体地指一种基于主成分分析和LSTM神经网络的电力负荷预测方法。
技术背景
智能电网高度融合电网中的电力流、信息流和业务流，具有可靠、高效、安全、经济及友好等优点，已成为世界范围内电力系统发展的必然趋势。其中，电力负荷预测技术是智能电网中输配电工程的重要组成部分之一，是实现经济综合能源服务的必要手段。科学的电力负荷预测方法，可以作为电力公司制定电价的参考依据，可以为地区电网的日常运营和调度检修提供方案从而优化电力调度，还可以为国家在电力基础设施建设方面的布局提供指导。因此，电力负荷预测结果的准确性直接对电力系统产生重要的影响。
电力负荷数据受到许多因素的影响，不仅具有基本的周期特性，还会受到突发社会事件、天气气候、市场环境及国家政策等不确定因素的制约。影响因素的随机性加大了电力负荷预测问题的难度，对电力负荷预测方法提出了更高的要求。目前。常用的电力负荷预测方法主要分为两类：统计分析法和机器学习法。统计分析法利用数据统计学原理确定自变量与因变量之间的关系，建立相关性较高的回归方程式。这类方法的主要优点为简单、快速和直观，但是这类方法的适应能力和非线性拟合能力差，不适用于复杂情况下的电力负荷预测。与统计分析法比，机器学习法基于数学理论借助计算机进行精确预测，具有良好的适应性和鲁棒性，可以快速获得全局解。但常用的机器学习法，如支持向量回归法、反向传播神经网络、递归神经网络等，对于大数据集的可扩展性是有限的。
发明内容
本发明的目的在于克服现有技术的不足，而提出一种基于主成分分析和长短时记忆(Long Short-Term Memory，LSTM)神经网络算法的电力负荷预测方法，使原始负荷数据既能保留自身重要特征又能进一步提升处理速度。
为实现上述目的，本发明所设计的基于主成分分析和LSTM神经网络的电力负荷预测方法，其特殊之处在于，所述方法包括如下步骤：
1)查找原始负荷数据中的异常值，利用负荷点前后相近两个点的负荷值变化率作为判断异常点的标准，并通过平均值修正法进行处理；
2)利用原始负荷数据的标准差及均值对数据进行标准化操作；
3)将字符型影响因素进行量化，得到各变量在主成分分析中的特征值；
4)以主成分分析后的数据作为特征值输入长短时记忆神经网络，预测输出值；
5)对神经网络的输出进行反标准化操作；
6)选择均方根误差作为回归模型的评价指标，衡量观测值同真值之间的偏差，所得偏差大于设定值则返回步骤2)，否则流程结束。
优选地，所述步骤1)中判断异常点和修正处理的方法为：
若
Figure BDA0003042189390000021
Figure BDA0003042189390000022
则
Figure BDA0003042189390000023
式(1)—式(3)中yi为第i天电力负荷值，
Figure BDA0003042189390000024
为设定阈值，
Figure BDA0003042189390000025
为设定的阈值系数，n为全年天数，当第i天电力负荷值与前后两天电力负荷值的绝对差值超过阈值
Figure BDA0003042189390000031
时，判定第i天电力负荷值为异常值；在式(3)中，用前后两天电力负荷值的均值来修正第i天的电力负荷异常值。
优选地，所述步骤2)中标准化操作的方法为：
Figure BDA0003042189390000032
Figure BDA0003042189390000033
Figure BDA0003042189390000034
其中，i＝1,2,…,n，
Figure BDA0003042189390000035
为原始数据的均值，s为原始数据的标准差，经过Z-SCORE标准化后得到的新序列z1,z2,…,zn的均值为0、方差为1，且无量纲。
优选地，所述步骤3)的具体步骤包括：
301)将字符型影响因素进行量化处理，映射到区间以区分电力负荷的不同影响程度；
302)将标准化后的电力负荷样本数据进行主成分分析：
Figure BDA0003042189390000036
Figure BDA0003042189390000037
Figure BDA0003042189390000038
|λE-R|＝0 (10)
式(7)中，X为电力负荷数据矩阵，x为标准化后的电力负荷样本数据，n表示历史负荷数据样本数，p表示每个负荷样本数据包含的变量数；式(8)—式(9)中，矩阵X中任意两列Xi和Xj的相关系数rij组成样本相关系数矩阵R；根据特征方程式(10)得到p个特征值并使其按顺序排列为λ1≥λ2≥…λp≥0；E为单位矩阵，xi为标准化后的第i天电力负荷样本数据，xj为标准化后的第j天电力负荷样本数据；
303)计算第k个特征值对应的方差贡献率mk，k＝1,2,……,p，分析各特征值对因变量作用大小的程度，如式(11)所示：
Figure BDA0003042189390000041
304)选取前q个特征信息的主成分作为电力负荷预测模型的输入，q≤p，主成分求解如式(12)—式(14)所示：
Rαi＝λiαi (12)
α＝(α1,α2,…,αk) (13)
Figure BDA0003042189390000042
式(11)-(13)中，前q个特征值对应的特征向量组成主成分因子分析载荷矩阵α，通过式(14)求解出对应的前k个主成分数据
Figure BDA0003042189390000043
优选地，所述步骤4)中以主成分数据
Figure BDA0003042189390000044
在这n个时刻的数据xt作为输入来预测t时刻的输出yt，如式(15)—式(16)所示：
Figure BDA0003042189390000045
yt＝Xt (16)。
优选地，所述步骤5)中对神经网络的输出进行反标准化，如式(40)所示：
Figure BDA0003042189390000046
其中，
Figure BDA0003042189390000047
为原始数据的均值，s为原始数据的标准差，zi为待反标准化的预测数据，yi为反标准化后的预测真实值。
优选地，所述步骤6)中衡量观测值同真值之间的偏差，如式(41)所示：
Figure BDA0003042189390000051
其中，N为负荷数据样本数，yn为第n个样本对应的期望负荷值，
Figure BDA0003042189390000052
为第n个样本对应的预测负荷值；该损失函数即为优化算法需要优化的目标函数，L为观测值同真值之间的RMSE损失。
优选地，所述步骤4)中长短时记忆神经网络由输入层、隐藏层、输出层组成，所述长短时记忆神经网络对预测的输出值与期望输出值进行比较，若在输出层得不到期望的输出，则转向误差信号的反向传播流程；反向传播算法利用输出层节点的预测误差反向估计上一层隐藏节点的预测误差；以上两个过程交替循环进行，网络的权值和阈值在此过程中不断调整，最终使网络误差函数达到最小值，从而确定与最小误差相对应的网络参数。
优选地，所述长短时记忆神经网络隐藏层神经元包括三个门结构：遗忘门、输入门和输出门；
所述遗忘门决定细胞状态中丢弃的信息，更新公式如式(17)—式(18)所示：
ft＝σ(Wf·[ht-1,xt]+bf) (17)
Figure BDA0003042189390000053
其中xt为当前时刻网络的输入值；ht-1为上一时刻长短时记忆神经网络的输出值；Wf为遗忘门的权重矩阵；bf为遗忘门的偏置项；[ht-1,xt]为将两个向量连接成更长的向量；ft为遗忘门的输出值；σ为sigmoid函数；e为数学常数，是自然对数函数的底数；
所述输入门确定存放于细胞状态的新信息，其中细胞状态更新公式如式(19)—式(22)所示：
it＝σ(Wi·[ht-1,xt]+bi) (19)
Figure BDA0003042189390000054
Figure BDA0003042189390000055
Figure BDA0003042189390000061
其中，it为当前时刻输入门的输出；
Figure BDA0003042189390000062
为衡量对当前时刻输入的记忆状态的参数；Wi为输入门的权重矩阵；bi为输入门的偏置项；mt为当前时刻细胞单元状态；⊙表示按元素乘；Wc为单元状态的权重矩阵；bc为单元状态的偏置项；
所述输出门确定最终输出的信息，其更新公式如式(23)—式(24)所示：
ot＝σ(Wo·[ht-1,xt]+bo) (23)
ht＝ot⊙tanh(mt) (24)
其中，ht为当前时刻长短时记忆神经网络的输出；ot为当前输出门的输出值；Wo为输出门的权重矩阵；bo为输出门的偏置项；
根据t时刻长短时记忆神经网络的输出得到t时刻序列的预测输出为式(25)所示：
Figure BDA0003042189390000063
其中V和c分别为网络输出的权重矩阵和偏置。
本发明的有益效果为：
1、本发明考虑了多因素对电力负荷的影响，对原始负荷数据进行了异常点修正、数据标准化等处理，通过主成分分析法将高维度空间的点映射到低维度空间。
2、本发明采用的长短时记忆神经网络具有良好的鲁棒性能和非线性处理能力，能够通过特殊的单元结构缓解梯度消失和梯度爆炸等问题，进一步提高电力负荷预测结果的精度。
3、本发明所建模型与现有的模型相比，对数据的处理更加全面、完善，在已知原始负荷数据和影响因素的基础上，本发明采用平均值修正法对异常值进行处理以最大限度消除人为或系统故障对负荷数据的影响，并将负荷数据和量化后的影响因素进行Z-SCORE标准化；利用主成分分析法对预处理后的负荷数据进行降维，根据各变量的贡献率最终确定主成分，降维后的少数变量成分可表征原始数据的大部分特征信息。
4、本发明将主成分作为长短时记忆神经网络的输入，通过数据信息的前向传播和误差信号的反向传播两个过程不断调整网络的权值和阈值，最终使网络误差函数达到最小值，从而确定与最小误差相对应的网络参数。常用的电力负荷预测方法中，统计分析法适应能力和非线性拟合能力差，其他机器学习法如支持向量回归法、反向传播神经网络、递归神经网络等，对于大数据集的可扩展性是有限的。而在本发明中，长短时记忆神经网络隐藏层神经元具有特有的LSTM单元结构，能够有效缓解梯度消失和梯度爆炸等问题，进一步提高电力负荷预测的准确性。
附图说明
图1为2013-2016年原始负荷数据曲线图。
图2为本发明提出的一种基于主成分分析和长短时记忆神经网络的电力负荷预测方法的流程图。
图3为2013-2016年原始负荷数据与异常值处理负荷数据曲线图。
图4为2013-2016年标准化负荷数据曲线图。
图5为长短时记忆神经网络训练流程框图。
图6为原始负荷数据与电力负荷预测结果对比曲线图。
具体实施方式
下面结合附图及实施例对本发明作进一步的详细描述，但该实施例不应理解为对本发明的限制。
以下结合附图和具体实施例对本发明作进一步的详细描述。
本发明提出一种基于主成分分析和长短时记忆神经网络的电力负荷预测方法技术，包括对原始数据进行异常值修正，将原始数据标准化，通过主成分分析方法进行数据降维，建立基于长短时记忆神经网络的电力负荷预测模型，基于主成分采用模型预测的方法对短期电力负荷进行预测并将预测结果反标准化，通过均方根误差评价模型预测精度。
本具体实施例中以某市2013-2016年的历史负荷相关数据为例进行描述，某市2013-2016年原始负荷数据如图1所示。
如图2所示，本发明提出的基于主成分分析长短时记忆神经网络的电力负荷预测方法按如下步骤进行。
步骤1：根据箱型图分析法查找原始负荷数据中的异常值，利用负荷点前后相近两个点的负荷值变化率作为判断异常点的标准，并通过平均值修正法进行处理，如式(1)—式(3)所示：
若
Figure BDA00030421893900000811
Figure BDA0003042189390000081
则
Figure BDA0003042189390000082
式(1)—式(2)中yi为第i天电力负荷值，
Figure BDA0003042189390000083
为设定阈值，
Figure BDA0003042189390000084
为设定的阈值系数，
Figure BDA0003042189390000085
n为全年天数，n＝365；当第i天电力负荷值与前后两天电力负荷值的绝对差值超过阈值
Figure BDA0003042189390000086
时，判定第i天电力负荷值为异常值；在式(3)中，用前后两天电力负荷值的均值来修正第i天的电力负荷异常值。某市2013-2016年原始负荷数据与处理后负荷数据如图3所示。
步骤2：根据Z-SCORE标准化方法，利用原始负荷数据的标准差及均值对数据进行标准化操作，如式(4)—式(6)所示：
Figure BDA0003042189390000087
Figure BDA0003042189390000088
Figure BDA0003042189390000089
其中，i＝1,2,…,n，
Figure BDA00030421893900000810
为原始数据的均值，s为原始数据的标准差，经过Z-SCORE标准化后得到的新序列z1,z2,…,zn的均值为0、方差为1，且无量纲。某市2013-2016年标准化后的负荷数据如图4所示。
步骤3：原始数据资料中包含某市近4年的历史负荷相关数据，包括网供最高和最低负荷、天气类型、日最高和最低温、网供电量、节假日类型和星期类型共8组信息。
301)将字符型影响因素进行量化处理，映射到某一区间以区分负荷的不同影响程度；
302)将标准化后的电力负荷样本数据进行主成分分析：
用式(4)—式(6)对影响因素进行Z-SCORE标准化处理；各变量在主成分分析中的特征值如式(7)—(10)式表示：
Figure BDA0003042189390000091
Figure BDA0003042189390000092
Figure BDA0003042189390000093
|λE-R|＝0 (10)
式(7)中，X为电力负荷数据矩阵，x为标准化后的负荷样本数据，n表示历史负荷数据样本数，p表示每个负荷样本数据包含的变量数；式(8)—式(9)中，xi为标准化后的第i天电力负荷样本数据，xj为标准化后的第j天电力负荷样本数据；矩阵X中任意两列Xi和Xj的相关系数rij组成样本相关系数矩阵R；根据特征方程式(10)得到p个特征值并使其按顺序排列为λ1≥λ2≥…λp≥0，E为单位矩阵，特征值大小可用于衡量其对应的各个主成分在描述被评价对象上所起的作用。各变量在主成分分析中的特征值如表1所示。
表1各变量在主成分分析中的特征值
主成分 特征值
VA1 2.9843
VA2 2.0641
VA3 1.0296
VA4 0.9861
VA5 0.7354
VA6 0.1226
VA7 0.0538
VA8 0.0268
303)计算第k个特征值对应的方差贡献率mk，k＝1,2,……,p，分析各特征值对因变量作用大小的程度，如式(11)所示：
Figure BDA0003042189390000101
各变量在主成分分析中的方差贡献率如表2所示：
表2各变量在主成分分析中的方差贡献率
主成分 方差贡献率(％)
VA1 37.3093
VA2 25.7680
VA3 12.8698
VA4 12.3529
VA5 9.1922
VA6 1.5326
VA7 0.6720
VA8 0.3355
304)选取包含原始数据资料中的前4组包含了绝大部分特征信息的主成分作为电力负荷预测模型的输入，主成分求解如式(12)—式(14)所示：
Rαi＝λiαi (12)
α＝(α1,α2,…,αk) (13)
Figure BDA0003042189390000111
式(11)-(13)中，前4个特征值对应的特征向量组成主成分因子分析载荷矩阵α，通过式(14)求解出对应的前4个主成分。
步骤4：以主成分分析后的数据xt这n个时刻的数据作为输入来预测t时刻的输出yt，如式(15)—式(16)所示：
Figure BDA0003042189390000112
yt＝Xt (16)
预测模型使用总样本天数前95％的数据进行神经网络的训练，后5％的数据进行数据精度的测试。模型结构包含输入层、单隐藏层、输出层，长短时记忆神经网络的隐藏层包含128个神经元，在隐藏层后连接一个全连接层作为输出。网络迭代次数为300代，时间窗口大小设置为3，以预测最后7天的电力负荷数据。长短时记忆神经网络训练流程如图5所示。
长短时记忆神经网络隐藏层神经元主要包括三个门结构：遗忘门、输入门和输出门。遗忘门决定细胞状态中丢弃的信息，其更新公式如式(17)—式(18)所示：
ft＝σ(Wf·[ht-1,xt]+bf) (17)
Figure BDA0003042189390000113
其中xt为当前时刻网络的输入值；ht-1为上一时刻长短时记忆神经网络的输出值；Wf为遗忘门的权重矩阵；bf为遗忘门的偏置项；[ht-1,xt]为将两个向量连接成更长的向量；ft为遗忘门的输出值；σ为sigmoid函数；e为数学常数，是自然对数函数的底数。
输入门确定存放于细胞状态的新信息，其中细胞状态更新公式如式(19)—式(22)所示：
it＝σ(Wi·[ht-1,xt]+bi) (19)
Figure BDA0003042189390000121
Figure BDA0003042189390000122
Figure BDA0003042189390000123
其中，it为当前时刻输入门的输出；Wi为输入门的权重矩阵；bi为输入门的偏置项；
Figure BDA0003042189390000126
为衡量对当前时刻输入的记忆状态的参数；Wc为单元状态的权重矩阵；bc为单元状态的偏置项；mt为当前时刻细胞单元状态；⊙表示按元素乘。
输出门确定最终输出的信息，其更新公式如式(23)—式(24)所示：
ot＝σ(Wo·[ht-1,xt]+bo) (23)
ht＝ot⊙tanh(mt) (24)
其中，ht为当前时刻长短时记忆神经网络的输出；ot为当前输出门的输出值。Wo为输出门的权重矩阵；bo为输出门的偏置项。
根据t时刻长短时记忆神经网络的输出进一步可得到t时刻序列的预测输出为式(25)所示：
Figure BDA0003042189390000124
其中V和c分别为网络输出的权重矩阵和偏置。
长短时记忆神经网络隐藏层优化训练步骤如下：
步骤401：长短时记忆神经网络的训练算法是反向传播算法，通过隐藏状态ht、mt的梯度逐步向前传播，计算所有参数基于损失函数的偏导数，定义两个δ：
Figure BDA0003042189390000125
Figure BDA0003042189390000131
其中，损失函数L(t)分成两部分，一部分是时刻t位置的损失l(t)，另一部分是时刻t之后的损失L(t+1)，即：
Figure BDA0003042189390000132
步骤402：在最后的序列索引位置τ的
Figure BDA0003042189390000133
和
Figure BDA0003042189390000134
为
Figure BDA0003042189390000135
Figure BDA0003042189390000136
步骤403：由
Figure BDA0003042189390000137
和
Figure BDA0003042189390000138
反向推导
Figure BDA0003042189390000139
和
Figure BDA00030421893900001310
的梯度由本层t时刻的输出梯度误差和大于t时刻的误差两部分决定，即：
Figure BDA00030421893900001311
步骤404：计算式中
Figure BDA00030421893900001312
部分。其中，由于ht＝ot⊙tanh(mt)，ot中包含一个h的递推关系，tanh(mt)里面的mt又可以表示成：
Figure BDA00030421893900001313
tanh函数中，ft包FV含一个h的递推关系，it和
Figure BDA00030421893900001314
都包含h的递推关系，因此，最终
Figure BDA00030421893900001315
部分的计算结果由四部分组成，即：
Δm＝ot+1⊙[1-tanh2(mt+1)] (33)
Figure BDA00030421893900001316
步骤405：
Figure BDA00030421893900001317
的反向梯度误差由前一层
Figure BDA00030421893900001318
的梯度误差和本层的从ht传回来的梯度误差两部分组成，即：
Figure BDA0003042189390000141
其他参数的梯度可同样依此方法求出。
步骤406：在计算出目标函数对当前参数的梯度后，通过Adam优化算法进行负荷误差反向传播过程中对梯度的调整，其计算公式如下：
Figure BDA0003042189390000142
Figure BDA0003042189390000143
Figure BDA0003042189390000144
Figure BDA0003042189390000145
其中p、q两个超参数的经验取值分别取0.9和0.999；ct为对梯度的一阶矩估计；dt为对梯度的二阶矩估计；α为初始学习率；ηt为当前时刻的下降梯度；梯度阈值设置为1，指定初始学习率0.005，在125轮训练后通过乘以因子0.2来降低学习率。
步骤5：对神经网络的输出进行反标准化，如式(40)所示：
Figure BDA0003042189390000146
其中，
Figure BDA0003042189390000147
为原始数据的均值，s为原始数据的标准差，zi为待反标准化的预测数据，yi为反标准化后的预测真实值。反标准化后的预测结果如图5所示。
步骤6：选择均方根误差(RMSE，Root Mean Square Error)作为回归模型的评价指标，衡量观测值同真值之间的偏差，如式(41)所示：
Figure BDA0003042189390000148
其中，N为负荷数据样本数，yn为第n个样本对应的期望负荷值，
Figure BDA0003042189390000149
为第n个样本对应的预测负荷值；L为观测值同真值之间的RMSE损失。该损失函数即为优化算法需要优化的目标函数。预测结果、相对误差及其均方根误差如表3所示。
表3电力负荷预测结果及性能表
Figure BDA0003042189390000151
最后需要说明的是，以上具体实施方式仅用以说明本专利技术方案而非限制，尽管参照较佳实施例对本专利进行了详细说明，本领域的普通技术人员应当理解，可以对本专利的技术方案进行修改或者等同替换，而不脱离本专利技术方案的精神和范围，其均应涵盖在本专利的权利要求范围当中。

Claims (9)

1.一种基于主成分分析和LSTM神经网络的电力负荷预测方法，其特征在于：所述方法包括如下步骤：
1)查找原始负荷数据中的异常值，利用负荷点前后相近两个点的负荷值变化率作为判断异常点的标准，并通过平均值修正法进行处理；
2)利用原始负荷数据的标准差及均值对数据进行标准化操作；
3)将字符型影响因素进行量化，得到各变量在主成分分析中的特征值；
4)以主成分分析后的数据作为特征值输入长短时记忆神经网络，预测输出值；
5)对神经网络的输出进行反标准化操作；
6)选择均方根误差作为回归模型的评价指标，衡量观测值同真值之间的偏差，所得偏差大于设定值则返回步骤2)，否则流程结束。
2.根据权利要求1所述的基于主成分分析和LSTM神经网络的电力负荷预测方法，其特征在于：所述步骤1)中判断异常点和修正处理的方法为：
若
Figure FDA0003042189380000011
Figure FDA0003042189380000012
则
Figure FDA0003042189380000013
式(1)—式(3)中yi为第i天电力负荷值，
Figure FDA0003042189380000014
为设定阈值，
Figure FDA0003042189380000015
为设定的阈值系数，n为全年天数，当第i天电力负荷值与前后两天电力负荷值的绝对差值超过阈值
Figure FDA0003042189380000016
时，判定第i天电力负荷值为异常值；在式(3)中，用前后两天电力负荷值的均值来修正第i天的电力负荷异常值。
3.根据权利要求2所述的基于主成分分析和LSTM神经网络的电力负荷预测方法，其特征在于：所述步骤2)中标准化操作的方法为：
Figure FDA0003042189380000021
Figure FDA0003042189380000022
Figure FDA0003042189380000023
其中，i＝1,2,…,n，
Figure FDA0003042189380000024
为原始数据的均值，s为原始数据的标准差，经过Z-SCORE标准化后得到的新序列z1,z2,…,zn的均值为0、方差为1，且无量纲。
4.根据权利要求1所述的基于主成分分析和LSTM神经网络的电力负荷预测方法，其特征在于：所述步骤3)的具体步骤包括：
301)将字符型影响因素进行量化处理，映射到区间以区分电力负荷的不同影响程度；
302)将标准化后的电力负荷样本数据进行主成分分析：
Figure FDA0003042189380000025
Figure FDA0003042189380000026
Figure FDA0003042189380000027
|λE-R|＝0 (10)
式(7)中，X为电力负荷数据矩阵，x为标准化后的电力负荷样本数据，n表示历史负荷数据样本数，p表示每个负荷样本数据包含的变量数；式(8)—式(9)中，矩阵X中任意两列Xi和Xj的相关系数rij组成样本相关系数矩阵R；根据特征方程式(10)得到p个特征值并使其按顺序排列为λ1≥λ2≥…λp≥0；E为单位矩阵，xi为标准化后的第i天电力负荷样本数据，xj为标准化后的第j天电力负荷样本数据。
303)计算第k个特征值对应的方差贡献率mk，k＝1,2,……,p，分析各特征值对因变量作用大小的程度，如式(11)所示：
Figure FDA0003042189380000031
304)选取前q个特征信息的主成分作为电力负荷预测模型的输入，q≤p，主成分求解如式(12)—式(14)所示：
Rαi＝λiαi (12)
α＝(α1,α2,…,αk) (13)
Figure FDA0003042189380000032
式(11)-(13)中，前q个特征值对应的特征向量组成主成分因子分析载荷矩阵α，通过式(14)求解出对应的前k个主成分数据
Figure FDA0003042189380000033
5.根据权利要求4所述的基于主成分分析和LSTM神经网络的电力负荷预测方法，其特征在于：所述步骤4)中以主成分数据
Figure FDA0003042189380000034
在这n个时刻的数据xt作为输入来预测t时刻的输出yt，如式(15)—式(16)所示：
Figure FDA0003042189380000035
yt＝Xt (16)。
6.根据权利要求1述的基于主成分分析和LSTM神经网络的电力负荷预测方法，其特征在于：所述步骤5)中对神经网络的输出进行反标准化，如式(40)所示：
Figure FDA0003042189380000036
其中，
Figure FDA0003042189380000037
为原始数据的均值，s为原始数据的标准差，zi为待反标准化的预测数据，yi为反标准化后的预测真实值。
7.根据权利要求1所述的基于主成分分析和LSTM神经网络的电力负荷预测方法，其特征在于：所述步骤6)中衡量观测值同真值之间的偏差，如式(41)所示：
Figure FDA0003042189380000041
其中，N为负荷数据样本数，yn为第n个样本对应的期望负荷值，
Figure FDA0003042189380000042
为第n个样本对应的预测负荷值；该损失函数即为优化算法需要优化的目标函数，L为观测值同真值之间的RMSE损失。
8.根据权利要求1所述的基于主成分分析和LSTM神经网络的电力负荷预测方法，其特征在于：所述步骤4)中长短时记忆神经网络由输入层、隐藏层、输出层组成，所述长短时记忆神经网络对预测的输出值与期望输出值进行比较，若在输出层得不到期望的输出，则转向误差信号的反向传播流程；反向传播算法利用输出层节点的预测误差反向估计上一层隐藏节点的预测误差；以上两个过程交替循环进行，网络的权值和阈值在此过程中不断调整，最终使网络误差函数达到最小值，从而确定与最小误差相对应的网络参数。
9.根据权利要求8所述的基于主成分分析和LSTM神经网络的电力负荷预测方法，其特征在于：所述长短时记忆神经网络隐藏层神经元包括三个门结构：遗忘门、输入门和输出门；
所述遗忘门决定细胞状态中丢弃的信息，更新公式如式(17)—式(18)所示：
ft＝σ(Wf·[ht-1,xt]+bf) (17)
Figure FDA0003042189380000043
其中xt为当前时刻网络的输入值；ht-1为上一时刻长短时记忆神经网络的输出值；Wf为遗忘门的权重矩阵；bf为遗忘门的偏置项；[ht-1,xt]为将两个向量连接成更长的向量；ft为遗忘门的输出值；σ为sigmoid函数；e为数学常数，是自然对数函数的底数；
所述输入门确定存放于细胞状态的新信息，其中细胞状态更新公式如式(19)—式(22)所示：
it＝σ(Wi·[ht-1,xt]+bi) (19)
Figure FDA0003042189380000051
Figure FDA0003042189380000052
Figure FDA0003042189380000053
其中，it为当前时刻输入门的输出；
Figure FDA0003042189380000054
为衡量对当前时刻输入的记忆状态的参数；Wi为输入门的权重矩阵；bi为输入门的偏置项；mt为当前时刻细胞单元状态；⊙表示按元素乘；Wc为单元状态的权重矩阵；bc为单元状态的偏置项；
所述输出门确定最终输出的信息，其更新公式如式(23)—式(24)所示：
ot＝σ(Wo·[ht-1,xt]+bo) (23)
ht＝ot⊙tanh(mt) (24)
其中，ht为当前时刻长短时记忆神经网络的输出；ot为当前输出门的输出值；Wo为输出门的权重矩阵；bo为输出门的偏置项；
根据t时刻长短时记忆神经网络的输出得到t时刻序列的预测输出为式(25)所示：
Figure FDA0003042189380000055
其中V和c分别为网络输出的权重矩阵和偏置。
CN202110460352.5A 2021-04-27 2021-04-27 基于主成分分析和lstm神经网络的电力负荷预测方法 Pending CN113139605A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110460352.5A CN113139605A (zh) 2021-04-27 2021-04-27 基于主成分分析和lstm神经网络的电力负荷预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110460352.5A CN113139605A (zh) 2021-04-27 2021-04-27 基于主成分分析和lstm神经网络的电力负荷预测方法

Publications (1)

Publication Number Publication Date
CN113139605A true CN113139605A (zh) 2021-07-20

Family

ID=76812396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110460352.5A Pending CN113139605A (zh) 2021-04-27 2021-04-27 基于主成分分析和lstm神经网络的电力负荷预测方法

Country Status (1)

Country Link
CN (1) CN113139605A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779879A (zh) * 2021-09-06 2021-12-10 安徽大学 一种基于LSTM-seq2seq-attention模型的中长期用电异常检测方法
CN114841457A (zh) * 2022-05-18 2022-08-02 上海玫克生储能科技有限公司 电力负荷估计方法及系统、电子设备及存储介质
CN115759418A (zh) * 2022-11-16 2023-03-07 重庆电力交易中心有限公司 一种电力零售用户的可调容量预测方法及系统
CN117350170A (zh) * 2023-11-20 2024-01-05 华北电力大学（保定） 基于koopman深度神经网络的非线性振荡分析方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9911290B1 (en) * 2015-07-25 2018-03-06 Gary M. Zalewski Wireless coded communication (WCC) devices for tracking retail interactions with goods and association to user accounts
CN109829587A (zh) * 2019-02-12 2019-05-31 国网山东省电力公司电力科学研究院 基于深度lstm网络的小区域级超短期负荷预测及可视化方法
CN110263866A (zh) * 2019-06-24 2019-09-20 苏州智睿新能信息科技有限公司 一种基于深度学习的电力用户负荷区间预测方法
CN110490385A (zh) * 2019-08-22 2019-11-22 广东电网有限责任公司 一种综合能源系统中电负荷和热负荷的联合预测方法
CN110619420A (zh) * 2019-07-31 2019-12-27 广东工业大学 一种基于Attention-GRU的短期住宅负荷预测方法
CN111027772A (zh) * 2019-12-10 2020-04-17 长沙理工大学 基于pca-dbilstm的多因素短期负荷预测方法
CN111783953A (zh) * 2020-06-30 2020-10-16 重庆大学 一种基于优化lstm网络的24点电力负荷值7日预测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9911290B1 (en) * 2015-07-25 2018-03-06 Gary M. Zalewski Wireless coded communication (WCC) devices for tracking retail interactions with goods and association to user accounts
CN109829587A (zh) * 2019-02-12 2019-05-31 国网山东省电力公司电力科学研究院 基于深度lstm网络的小区域级超短期负荷预测及可视化方法
CN110263866A (zh) * 2019-06-24 2019-09-20 苏州智睿新能信息科技有限公司 一种基于深度学习的电力用户负荷区间预测方法
CN110619420A (zh) * 2019-07-31 2019-12-27 广东工业大学 一种基于Attention-GRU的短期住宅负荷预测方法
CN110490385A (zh) * 2019-08-22 2019-11-22 广东电网有限责任公司 一种综合能源系统中电负荷和热负荷的联合预测方法
CN111027772A (zh) * 2019-12-10 2020-04-17 长沙理工大学 基于pca-dbilstm的多因素短期负荷预测方法
CN111783953A (zh) * 2020-06-30 2020-10-16 重庆大学 一种基于优化lstm网络的24点电力负荷值7日预测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
刘建平PINARD: "LSTM模型与前向反向传播算法", 《HTTPS://WWW.CNBLOGS.COM/PINARD/P/6519110.HTML》 *
刘建平PINARD: "LSTM模型与前向反向传播算法", 《HTTPS://WWW.CNBLOGS.COM/PINARD/P/6519110.HTML》, 8 March 2017 (2017-03-08), pages 1 - 5 *
张冲冲: "基于LSTM深度网络和改进核极限学习机的短期电力负荷预测", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技II辑》, no. 01, 15 January 2020 (2020-01-15), pages 042 - 1866 *
张德丰: "《TensorFlow深度学习从入门到进阶》", 30 April 2020, 机械工业出版社, pages: 268 - 273 *
武玉伟等: "《深度学习基础与应用》", 30 November 2020, 北京理工大学出版社, pages: 147 - 148 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779879A (zh) * 2021-09-06 2021-12-10 安徽大学 一种基于LSTM-seq2seq-attention模型的中长期用电异常检测方法
CN114841457A (zh) * 2022-05-18 2022-08-02 上海玫克生储能科技有限公司 电力负荷估计方法及系统、电子设备及存储介质
CN114841457B (zh) * 2022-05-18 2022-12-30 上海玫克生储能科技有限公司 电力负荷估计方法及系统、电子设备及存储介质
CN115759418A (zh) * 2022-11-16 2023-03-07 重庆电力交易中心有限公司 一种电力零售用户的可调容量预测方法及系统
CN117350170A (zh) * 2023-11-20 2024-01-05 华北电力大学（保定） 基于koopman深度神经网络的非线性振荡分析方法
CN117350170B (zh) * 2023-11-20 2024-02-09 华北电力大学（保定） 基于koopman深度神经网络的非线性振荡分析方法

Similar Documents

Publication Publication Date Title
CN113139605A (zh) 基于主成分分析和lstm神经网络的电力负荷预测方法
CN111260136A (zh) 一种基于arima-lstm组合模型的楼宇短期负荷预测方法
CN111967688B (zh) 一种基于卡尔曼滤波器与卷积神经网络的电力负荷预测方法
CN111310968A (zh) 一种基于互信息的lstm神经网络循环水文预报方法
CN110674999A (zh) 基于改进聚类和长短期记忆深度学习的小区负荷预测方法
CN111723929A (zh) 一种基于神经网络的数值预报产品订正方法、装置和系统
CN112329990A (zh) 一种基于lstm-bp神经网络的用户用电负荷预测方法
CN113537469B (zh) 一种基于LSTM网络和Attention机制的城市需水预测方法
CN108595892A (zh) 基于时间差分模型的软测量建模方法
CN114065653A (zh) 电力负荷预测模型的构建方法与电力负荷预测方法
CN113408659A (zh) 一种基于数据挖掘的建筑能耗集成分析方法
CN116306229A (zh) 一种基于深度强化学习和迁移学习电力短期负荷预测方法
CN114330934A (zh) 一种模型参数自适应的gru新能源短期发电功率预测方法
CN116930609A (zh) 一种基于ResNet-LSTM模型的电能计量误差分析方法
CN118095570A (zh) 台区智能负荷预测方法、系统、电子设备、介质及芯片
JPH06337852A (ja) ニューラルネットワークによる時系列予測方法
CN117665975A (zh) 一种基于迁移学习和lstm的降水预测方法
CN117538783A (zh) 一种基于时域融合变换器的锂离子电池荷电状态估计方法
CN116960962A (zh) 一种跨区域数据融合的中长期区域负荷预测方法
Sineglazov et al. An algorithm for solving the problem of forecasting
CN117200223A (zh) 日前电力负荷预测方法和装置
CN116565850A (zh) 一种基于qr-blstm的风电功率超短期预测方法
CN111061708A (zh) 一种基于lstm神经网络的电能量预测与修复方法
CN115759343A (zh) 一种基于e-lstm的用户电量预测方法和装置
CN113962431B (zh) 一种两阶段特征处理的母线负荷预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210720