CN113158572A - 一种短期负荷的预测方法及装置 - Google Patents
一种短期负荷的预测方法及装置 Download PDFInfo
- Publication number
- CN113158572A CN113158572A CN202110460580.2A CN202110460580A CN113158572A CN 113158572 A CN113158572 A CN 113158572A CN 202110460580 A CN202110460580 A CN 202110460580A CN 113158572 A CN113158572 A CN 113158572A
- Authority
- CN
- China
- Prior art keywords
- short
- term
- load prediction
- load
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 239000013598 vector Substances 0.000 claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000011156 evaluation Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 230000000306 recurrent effect Effects 0.000 claims abstract description 11
- 238000012795 verification Methods 0.000 claims abstract description 9
- 230000001537 neural effect Effects 0.000 claims abstract description 6
- 238000005457 optimization Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 11
- 230000008901 benefit Effects 0.000 abstract description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 239000002918 waste heat Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/08—Probabilistic or stochastic CAD
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Educational Administration (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Computational Mathematics (AREA)
- Medical Informatics (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Analysis (AREA)
- Computer Hardware Design (AREA)
Abstract
本发明涉及一种短期负荷的预测方法及装置，所述负荷预测方法包括以下步骤：构建基于深度简化循环神经SRU网络的短期概率负荷预测模型；选取负荷影响因素构建输入特征向量和输出特征向量，并对输入特征向量和输出特征向量进行数据预处理，得到训练集、验证集和测试集，并提出评价指标；针对所述短期概率负荷预测模型的网络选取对应的超参数；利用所述短期概率负荷预测模型进行短期负荷预测，得到预测结果。与现有技术相比，本发明所提模型可并行优化，具有精度高、计算效率高、可满足实时大规模负荷预测需求等优点。
Description
技术领域
本发明涉及电力技术领域，尤其涉及一种短期负荷的预测方法及装置。
背景技术
负荷预测是电力工业的重要环节，短期负荷预测在保障电网安全稳定、经济高效运行方面具有重要支持作用，是启停机计划和调度计划安排的依据。负荷预测还是光伏、风能消纳的核心技术，特别是对于可再生能源丰富的地区，负荷预测精度低不仅会致使光伏基地/风场经济利益受损，更会影响整个电网的电能质量乃至可靠性问题，对能源管理和节能减排都具有重要意义。
短期负荷预测方法主要可归纳为统计方法和机器学习方法两大类。其中，统计方法主要包含时间序列法、回归分析法等；机器学习方法则主要包含支持向量机、决策树等。近年来，深度学习方法以其在高维非线性复杂系统的强大映射能力，被广泛应用于电力负荷预测领域，深度信念网络(deep believe network，DBN)、随机森林、长短期记忆网络(long short term memory，LSTM)等深度学习模型成为负荷预测领域的热点模型。深度学习方法可通过多层网络逐层学习到海量数据中的抽象特征，结合海量历史负荷与天气、经济等影响因素数据，能够达到更高精度的负荷预测效果，然而，大规模网络的构建与训练也对运算内存和速率带来更大挑战。因此如何优化短期负荷的预测方法，提高短期负荷预测的效率和精度，成为亟待解决的问题。
发明内容
本发明实施例提供了一种短期负荷的预测方法及装置，用于提高短期负荷预测的效率和精度。
本发明实施例提供了一种短期负荷的预测方法，包括：
构建基于深度简化循环神经SRU网络的短期概率负荷预测模型；
选取负荷影响因素构建输入特征向量和输出特征向量，并对输入特征向量和输出特征向量进行数据预处理，得到训练集、验证集和测试集，并提出评价指标；
基于贝叶斯优化算法进行超参数寻优；
利用所述短期概率负荷预测模型进行短期负荷预测，得到预测结果。
可选的，所述构建基于SRU网络的短期概率负荷预测模型，包括：
由输入特征向量、当前时刻的遗忘门状态和上一时刻的隐含状态量，确定所述短期概率负荷预测模型中当前时刻的隐含状态量；
由输入特征向量、当前时刻的输出门状态、当前时刻的隐含状态量以及上一时刻的隐含状态量，确定所述短期概率负荷预测模型中当前时刻的输出状态量。
可选的，所述短期概率负荷预测模型的计算公式表示如下：
ft＝σ(Wfxt+bf)
rt＝σ(Wrxt+br)
ht＝rt⊙tanh(ct)+(1-rt)⊙xt
式中：xt和ht分别为t时刻的输入特征向量及输出状态量，f、r分别为遗忘门和输出门，Wf、Wr和bf、br分别为对应的权重系数矩阵和偏置向量，W为输入权重矩阵，σ和tanh分别为sigmoid激活函数和双曲正切激活函数，ct为t时刻的隐含状态量。
可选的，所述选取负荷影响因素构建输入特征向量和输出特征向量，包括：
选取多维数据构建输入特征向量，所述输入特征向量对应的维度包括历史负荷、天气因素、日期类型、时刻；
所述输出特性向量为待预测日负荷预测值。
可选的，所述对输入特征向量和输出特征向量进行数据预处理，包括：
针对异常数据，采用相邻负荷数据的均值进行填充，若出现连续异常数据，则继续向两端查找直至非空值。
可选的，所述对输入特征向量进行数据预处理，包括：
对输入特征向量进行归一化处理。
可选的，所述基于贝叶斯优化算法进行超参数寻优，包括：
采用贝叶斯优化算法进行对所述短期概率负荷预测模型的超参数进行寻优处理，所述超参数包括网络层数、各层神经元个数、学习率、子训练样本集；
所述寻优过程包括：
使用高斯过程假设优化函数的先验分布；
根据模型后验分布来构造效用函数，确定下一个评价点。
本发明实施例还提供一种短期负荷的预测装置，包括：
构建单元，用于构建基于深度简化循环神经SRU网络的短期概率负荷预测模型；
数据单元，用于选取负荷影响因素构建输入特征向量和输出特征向量，并对输入特征向量和输出特征向量进行数据预处理，得到训练集、验证集和测试集，并提出评价指标；
寻优单元，用于基于贝叶斯优化算法进行超参数寻优；
预测单元，用于利用所述短期概率负荷预测模型进行短期负荷预测，得到预测结果。
本发明实施例提供了一种计算设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行本发明实施例提供的短期负荷的预测方法的步骤。
本发明实施例提供了一种存储介质所述存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行本发明实施例提供的短期负荷的预测方法的步骤。
本发明采用上述技术方案，具有如下有益效果：
1)本发明实施例中的SRU(简化循环神经网络，Simple Recurrent Unit)模型，充分发挥SRU网络的记忆特性，结合负荷的时序特性，能够达到较高的预测精度，与其余热门深度学习模型相比具有精度优势；
2)针对LSTM长短期记忆神经网络难以并行优化，导致建模、预测速率低下的问题，本发明实施例中的SRU模型通过对网络结构的适度简化，可实现并行化负荷预测，有效提高预测效率，可用于实时、快速、大规模负荷预测，利于工程应用。
本发明的具体技术方案及其有益效果将会在下面的具体实施方式中结合附图进行详细的说明。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
图1为本发明实施例中的一种短期负荷的预测方法的流程图；
图2为本发明具体实施例中的一种短期负荷的预测方法的流程图；
图3为本发明实施例中SRU的单元结构的示意图；
图4为本发明实施例中的SRU模型结构的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明技术方案的一部分实施例，而不是全部的实施例。基于本发明文件中记载的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明技术方案保护的范围。
针对现有技术中一般利用LSTM等深度学习模型对短期负荷进行预测，这类模型的构建与训练对内存和速率带来了较大的挑战。目前的优化方向一般基于降维分析、改进预测算法、提升硬件设备、分布式运算架构等。然而，降维方法的主要作用体现在高维数据的特征提取方面，降维分析与预测算法的改进都很难在预测速度上提升一个量级。本发明实施例在充分利用原有硬件的基础上，提出了一种基于简化循环神经网络(SimpleRecurrent Unit,SRU)并行优化的短期负荷预测方法，有效提高负荷预测精度、效率与实时性。
本发明实施例中的基于SRU并行优化的短期负荷预测模型，选取负荷影响因素构建输入输出特征向量，并对原始数据进行数据预处理，得到训练集、验证集和测试集；进而，对网络选取合适的超参数，使得网络性能最优化；最后，应用建立的模型进行短期负荷预测，得到预测结果。与现有技术相比，本发明实施例所提模型可并行优化，具有精度高、计算效率高、可满足实时大规模负荷预测需求等优点。
基于上述设计构思，参阅图1所示，本发明实施例提供的一种短期负荷预测方法的处理的详细流程如下：
步骤101：构建基于深度简化循环神经SRU网络的短期概率负荷预测模型。其中，短期概率负荷预测模型中当前时刻的隐含状态量由输入特征向量、当前时刻的遗忘门状态和上一时刻的隐含状态量确定，短期概率负荷预测模型中当前时刻的输出状态量由输入特征向量、当前时刻的输出门状态以及当前时刻的隐含状态量确定。
步骤102：选取负荷影响因素构建输入特征向量和输出特征向量，并对输入特征向量和输出特征向量进行数据预处理，得到训练集、验证集和测试集，并提出评价指标。
步骤103：针对所述短期概率负荷预测模型的网络选取对应的超参数。
步骤104：利用所述短期概率负荷预测模型进行短期负荷预测，得到预测结果。
本发明实施例所提供的SRU负荷预测模型，充分发挥SRU网络的记忆特性，结合负荷的时序特性，能够达到较高的预测精度，与其余热门深度学习模型相比具有精度优势。另一方面，针对LSTM长短期记忆神经网络难以并行优化，导致建模、预测速率低下的问题，本发明所提SRU模型通过对网络结构的适度简化，可实现并行化负荷预测，有效提高预测效率，可用于实时、快速、大规模负荷预测，利于工程应用。
图2示出了本发明实施例中基于SRU并行优化的短期负荷预测模型的具体实施过程。具体来说，各个步骤的具体实施方式如下所述：
基于SRU并行优化的短期负荷预测模型设计
1)SRU网络结构
SRU简化循环神经网络是循环神经网络的一种，是根据LSTM长短期记忆网络合理简化得到的。LSTM长短期记忆网络是一种改进的RNN，将记忆参数限制于[0,1]区间内，防止较远时刻的记忆对输出产生指数爆炸的影响，有效解决了RNN无法处理的梯度消亡问题，可充分利用历史信息，在时序数据分析中具有更强的适应性。LSTM基本单元的计算方法可表示为：
ft＝σ(Wfxt+Ufht-1+bf)……公式1
it＝σ(Wixt+Uiht-1+bi)……公式2
ot＝σ(Woxt+Uoht-1+bo)……公式3
ht＝ot⊙tanh(ct)……公式6
其中ht-1为t-1时刻的输出状态量，U为对应权重矩阵。式中，W是网络连接权重构成的矩阵，Wfxt,Wixt,Woxt,Wcxt是矩阵-向量乘法，其计算复杂度与矩阵大小成正比，计算消耗远远大于单元计算。可以看出，LSTM包含8个复杂的矩阵-向量乘法，其中，x为输入向量，故Wx可以合并为分块矩阵乘法，再通过并行处理进行预先计算。然而，ht-1依赖于前一时刻隐含层状态，故Uht-1无法预先计算，使得LSTM只能服从严格的顺序计算。在使用GPU(图形处理器，graphics processing unit)大规模加速神经网络训练效率的环境下，LSTM无法通过并行学习进行加速，限制了LSTM在实时、快速、大规模负荷预测方面的表现性能，不利于工程应用。
本发明实施例中不仅将SRU应用于短期负荷的预测，还对SRU的网络结构进行了改进。SRU的单元结构如图3所示，其结构与LSTM网络结构相似，并进行了适度简化。与图3中的结构相对应的，SRU单元的计算式可表示为：
ft＝σ(Wfxt+bf)……公式8
rt＝σ(Wrxt+br)……公式9
ht＝rt⊙tanh(ct)+(1-rt)⊙xt……公式11
式中：xt为t时刻的输入特征向量，ht为t时刻的输出状态量，f为遗忘门状态，r为输出门状态，W为输入权重矩阵，Wf、Wr和bf、br分别为对应的权重系数矩阵和偏置向量，σ和tanh分别为sigmoid激活函数和双曲正切激活函数，ct为t时刻的隐含状态量。
具体来说，对比SRU与LSTMD的计算公式，可以看出，SRU省去了LSTM中遗忘门、输入门、输出门、激活层中的Uht-1计算，其中ht-1为t-1时刻的输出状态量，U为对应权重矩阵。此外，SRU将输入门简化为遗忘门的表达式，即将输入门状态it用1-ft替代，其中ft为遗忘门状态。与LSTM相比，SRU当前输出状态量ht仅依赖于上一时刻隐含状态量ct-1，而与上一时刻输出状态量ht-1无关，这也简化了计算复杂性，同时保留了网络的记忆功能。
由SRU表达式可知，SRU仅包含Wxt、Wfxt、Wrxt3个复杂的矩阵乘法运算，且在输入已知的情况下，Wx可预先计算得知，并可通过GPU/CUDA并行计算大大提高计算速度。因此，本发明实施例在输入序列{x1,…,xL}的基础上，跨越整个序列长度批处理矩阵乘法，这将大大提升运算密度，充分利用硬件资源。批处理矩阵乘法可表达为：
式中，U∈RL×3d为计算所得的合并矩阵，d为隐含层神经元规模，L为序列长度。当考虑子训练样本集(mini batch)个数B时，U∈RL×B×3d构成一个张量。每层SRU网络的计算方法可描述为算法1。
2)短期负荷预测建模
2.1)输入输出特征向量选取
每个SRU单元的输入输出变量选取如表1给出。考虑天气因素影响，模型输入特征向量由历史负荷、天气因素(平均温度及相对湿度)、日期类型与时刻值构成，共5维数据。输出特征向量为待预测日负荷预测值。
表1、输入输出变量选取
2.2)数据预处理
对原始数据中可能存在某些缺失、偏离的异常值除错补缺，其中，对不超过数据量20％的空缺值和“NAN”异常值，采用相邻负荷数据的均值进行填充，若出现连续异常数据，则继续向两端查找直至非空值。
由于不同输入特征具有不同量纲，故对原始特征数据x(i)进行归一化处理，使输入均限制在[0,1]范围内，从而提升预测精度与收敛速度。归一化后的输入数据x1(i)根据以下公式计算：
式中，xmax、xmin分别为原始输入数据最大值和最小值。
2.3)预测评价指标
预测效果评价指标采用平均绝对百分比误差(mean absolute percentageerror,MAPE)和均方根误差(root mean square error,RMSE)，即
式中，n为预测点数量，yi、di分别为预测点i负荷真实值和预测值。
3)超参数寻优
为使得网络能发挥最佳预测性能，需对SRU网络选取合适的超参数，这些结构参数包括隐含层层数N、隐含层神经元个数d、子训练样本集(mini batch)个数B、学习速率l，固定的参数输入序列长度和输出序列长度均为96，训练优化算法为Adam。超参数选取的具体方法为贝叶斯优化算法。
贝叶斯优化算法通过对目标函数形状的学习不断更新目标函数y的先验分布y＝f(X)，并据此寻找超参数X使y的全局最大值提升。相较于应用广泛的网格搜索法与随机搜索法，贝叶斯优化搜索法采用高斯过程，考虑之前的参数信息，改进了网格搜索法和随机搜索法忽略之前参数信息的缺陷，减少迭代次数，不易因参数多而导致维度爆炸，它针对非凸问题时依然稳健，不易得到局部最优解。本发明通过以下两个步骤实现贝叶斯优化算法：a.使用高斯过程(Gaussian Process，GP)来假设优化函数的先验分布，其中高斯分布GP(μ,k)可用平均值函数μ(X)和正定协方差函数σ(X)；b.根据模型后验分布来构造效用函数，从而确定下一个评价点。本发明实施例假设的先验和观察{Xn,Yn}诱导了一个后验代价函数。然后使用GP上置信界a(X)作为获取函数，确定下一个评估点Xnext＝argmaxxa(X)，其中a(X)＝μ(X)-kσ(X)。
本发明实施例为SRU设置的超参数搜索范围如表2所示。迭代提前设置为2000。需要注意的是，学习率l和小批量大小B会直接影响网络的收敛性，因此本发明实施例首先对这两个参数进行贝叶斯优化。然后搜索最优隐含层数N和每个隐含层中最优神经元数d。然后根据收敛性调整迭代次数。
表2、超参数搜索范围及结果
短期负荷预测实施与结果。
为验证本发明实施例所提SRU并行优化的短期负荷预测模型的性能，进行对比实验。其中，实验数据来源于浙江某市配用电管理系统2018-06-16至2019-06-16的负荷数据，数据步长为15分钟，以及该地区气象局提供的气象数据，包括平均温度、最高温度、最低温度组成的气象数据，数据步长为24小时。本发明实施例中假设一日内气象数据保持不变，对气象数据进行周期延拓。对数据集整体将以70％:15％:15％的比例划分训练集、验证集和测试集。最终，模型输入数据为预测点前一日负荷、日期类型、时刻值及平均温度、最低温度、最高温度组成的天气因素，输入序列长度为96；输出数据为单点预测负荷，输出长度为1。
实验所用硬件平台是一个具有ECS.gn5i-c4g1.large的云计算平台，同时配备了Intel Xeon E5-2682v4 2.5GHz CPU处理器和Nvidia P100 GPU图形处理器。SRU深度递归神经网络基于TensorFlow(GPU版本)1.4.0深度学习框架实现，使用CUDA 8.0编程实现GPU并行优化。本发明实施例使用LSTM和SVR作为控制组，它们都是基于TensorFlow架构实现的。
根据3)超参数寻优中的贝叶斯优化算法对SRU网络进行结构和参数优化，首先建立验证集均方根误差与各项待搜索超参数之间的近似分布关系，进而采用梯度下降法搜索最优解，最终记录下训练过程中使得误差最小时的网络超参数，将其作为最终的超参数选取结果。本发明采取的超参数选取场景如表2所示。其中，学习速率及子训练样本集的大小将直接影响网络的收敛性，故先对这两个参数进行贝叶斯优化，根据实验，当迭代次数为5000左右时网络已基本收敛，故将迭代次数固定为5000次。此后，在学习速率和子训练样本集个数选取的最优结果上，搜索网络层数与各隐含层神经元个数。实验结果表明，随着网络层数和隐含层神经元个数的增加，验证集均方根误差呈先上升后下降的趋势，即训练存在过拟合问题。最终，超参数选取结果见表2，SRU模型结构示意图如图4。
实验比较算法的性能指标包括预测精度和程序运行时间。以6月10日至6月16日为测试区间，进行日前负荷预测实验。SRU、LSTM、SVR三种网络测试集预测误差和运行时间比较分别如表3和表4所示。
表3、测试集误差对比
表4、平均运行时间
| 训练时间(秒) | 测试时间(秒) | |
| SRU | 22.910 | 0.261 |
| LSTM | 281.923 | 1.112 |
| SVR | 13.701 | 3.289 |
结果显示，本发明实施例中建立的SRU网络应用于负荷预测时，虽然在不同预测日期内预测精度不尽相同，但其整体预测精度明显优于传统SVR，相比LSTM也精度相近。而在保持预测精度优势的同时，本发明实施例中的SRU方法能够通过并行计算实现并行化负荷预测，从而显著提升运算效率，降低运算用时。因此，本发明实施例所提SRU模型可在GPU大规模加速神经网络训练效率的环境下，通过并行学习进行加速，提高模型在实时、快速、大规模负荷预测方面的表现性能，从而利于工程应用。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种短期负荷预测方法，其特征在于，包括：
构建基于深度简化循环神经SRU网络的短期概率负荷预测模型，所述短期概率负荷预测模型中当前时刻的隐含状态量由输入特征向量、当前时刻的遗忘门状态和上一时刻的隐含状态量确定，所述短期概率负荷预测模型中当前时刻的输出状态量由输入特征向量、当前时刻的输出门状态以及当前时刻的隐含状态量确定；
选取负荷影响因素构建输入特征向量和输出特征向量，并对输入特征向量和输出特征向量进行数据预处理，得到训练集、验证集和测试集，并提出评价指标；
针对所述短期概率负荷预测模型的网络选取对应的超参数；
利用所述短期概率负荷预测模型进行短期负荷预测，得到预测结果。
2.如权利要求1所述的方法，其特征在于，所述构建基于SRU网络的短期概率负荷预测模型，包括：
基于当前时刻的输入特征向量，确定当前时刻的遗忘门状态以及当前时刻的输出门状态；
由输入特征向量、当前时刻的遗忘门状态和上一时刻的隐含状态量，确定所述短期概率负荷预测模型中当前时刻的隐含状态量；
由输入特征向量、当前时刻的输出门状态、当前时刻的隐含状态量以及上一时刻的隐含状态量，确定所述短期概率负荷预测模型中当前时刻的输出状态量。
3.如权利要求2所述的方法，其特征在于，所述短期概率负荷预测模型的计算公式表示如下：
ft＝σ(Wfxt+bf)
rt＝σ(Wrxt+br)
ht＝rt⊙tanh(ct)+(1-rt)⊙xt
式中：xt为t时刻的输入特征向量，ht为t时刻的输出状态量，f为遗忘门状态，r为输出门状态，W为输入权重矩阵，Wf、Wr和bf、br分别为对应的权重系数矩阵和偏置向量，σ和tanh分别为sigmoid激活函数和双曲正切激活函数，ct为t时刻的隐含状态量。
4.如权利要求1所述的方法，其特征在于，所述选取负荷影响因素构建输入特征向量和输出特征向量，包括：
选取多维数据构建输入特征向量，所述输入特征向量对应的维度包括历史负荷、天气因素、日期类型、时刻；
所述输出特性向量为待预测日负荷预测值。
5.如权利要求1所述的方法，其特征在于，所述对输入特征向量和输出特征向量进行数据预处理，包括：
针对异常数据，采用相邻负荷数据的均值进行填充，若出现连续异常数据，则继续向两端查找直至非空值。
6.如权利要求1所述的方法，其特征在于，所述对输入特征向量进行数据预处理，包括：
对输入特征向量进行归一化处理。
7.如权利要求1所述的方法，其特征在于，所述针对所述短期概率负荷预测模型的网络选取对应的超参数，包括：
采用贝叶斯优化算法进行对所述短期概率负荷预测模型的超参数进行寻优处理，所述超参数包括网络层数、各层神经元个数、学习率、子训练样本集；
所述寻优过程包括：
使用高斯过程假设优化函数的先验分布；
根据模型后验分布来构造效用函数，确定下一个评价点。
8.一种短期负荷的预测装置，其特征在于，包括：
构建单元，用于构建基于深度简化循环神经SRU网络的短期概率负荷预测模型；
数据单元，用于选取负荷影响因素构建输入特征向量和输出特征向量，并对输入特征向量和输出特征向量进行数据预处理，得到训练集、验证集和测试集，并提出评价指标；
寻优单元，用于基于贝叶斯优化算法进行超参数寻优；
预测单元，用于利用所述短期概率负荷预测模型进行短期负荷预测，得到预测结果。
9.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现权利要求1～7任一项所述的方法。
10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器实现权利要求1～7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110460580.2A CN113158572A (zh) | 2021-04-27 | 2021-04-27 | 一种短期负荷的预测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110460580.2A CN113158572A (zh) | 2021-04-27 | 2021-04-27 | 一种短期负荷的预测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113158572A true CN113158572A (zh) | 2021-07-23 |
Family
ID=76871549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110460580.2A Pending CN113158572A (zh) | 2021-04-27 | 2021-04-27 | 一种短期负荷的预测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113158572A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113743650A (zh) * | 2021-08-04 | 2021-12-03 | 南方电网科学研究院有限责任公司 | 电力负荷预测方法、装置、设备与存储介质 |
| CN113806615A (zh) * | 2021-11-18 | 2021-12-17 | 成都索贝数码科技股份有限公司 | 一种智能it运维系统的kpi异常预警方法 |
| CN114238297A (zh) * | 2021-12-15 | 2022-03-25 | 华北电力大学 | 一种风机运行缺失数据填补方法、装置、电子设备及介质 |
| CN114881343A (zh) * | 2022-05-18 | 2022-08-09 | 清华大学 | 基于特征选择的电力系统短期负荷预测方法及装置 |
| CN115099490A (zh) * | 2022-06-24 | 2022-09-23 | 无锡物联网创新中心有限公司 | 一种纱线质量预测方法及相关装置 |
| CN115496264A (zh) * | 2022-08-26 | 2022-12-20 | 河北大学 | 一种风电机组发电功率的预测方法 |
| CN118569456A (zh) * | 2024-08-02 | 2024-08-30 | 东方电子股份有限公司 | 基于训练简单循环单元网络模型的新能源及负荷预测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107578124A (zh) * | 2017-08-28 | 2018-01-12 | 国网山东省电力公司电力科学研究院 | 基于多层改进gru神经网络的短期电力负荷预测方法 |
| CN109992866A (zh) * | 2019-03-25 | 2019-07-09 | 新奥数能科技有限公司 | 负荷预测模型的训练方法、装置、可读介质及电子设备 |
| CN110110930A (zh) * | 2019-05-08 | 2019-08-09 | 西南交通大学 | 一种改进鲸鱼算法的循环神经网络短期电力负荷预测方法 |
| CN110212524A (zh) * | 2019-06-13 | 2019-09-06 | 云南电网有限责任公司电力科学研究院 | 一种区域电力负荷预测方法 |
-
2021
- 2021-04-27 CN CN202110460580.2A patent/CN113158572A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107578124A (zh) * | 2017-08-28 | 2018-01-12 | 国网山东省电力公司电力科学研究院 | 基于多层改进gru神经网络的短期电力负荷预测方法 |
| CN109992866A (zh) * | 2019-03-25 | 2019-07-09 | 新奥数能科技有限公司 | 负荷预测模型的训练方法、装置、可读介质及电子设备 |
| CN110110930A (zh) * | 2019-05-08 | 2019-08-09 | 西南交通大学 | 一种改进鲸鱼算法的循环神经网络短期电力负荷预测方法 |
| CN110212524A (zh) * | 2019-06-13 | 2019-09-06 | 云南电网有限责任公司电力科学研究院 | 一种区域电力负荷预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 于仁哲: "基于大数据的新型电网负荷建模及特征提取方法研究", 《工程科技Ⅱ辑》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113743650A (zh) * | 2021-08-04 | 2021-12-03 | 南方电网科学研究院有限责任公司 | 电力负荷预测方法、装置、设备与存储介质 |
| CN113806615A (zh) * | 2021-11-18 | 2021-12-17 | 成都索贝数码科技股份有限公司 | 一种智能it运维系统的kpi异常预警方法 |
| CN113806615B (zh) * | 2021-11-18 | 2022-03-04 | 成都索贝数码科技股份有限公司 | 一种智能it运维系统的kpi异常预警方法 |
| CN114238297A (zh) * | 2021-12-15 | 2022-03-25 | 华北电力大学 | 一种风机运行缺失数据填补方法、装置、电子设备及介质 |
| CN114881343A (zh) * | 2022-05-18 | 2022-08-09 | 清华大学 | 基于特征选择的电力系统短期负荷预测方法及装置 |
| CN114881343B (zh) * | 2022-05-18 | 2023-11-14 | 清华大学 | 基于特征选择的电力系统短期负荷预测方法及装置 |
| CN115099490A (zh) * | 2022-06-24 | 2022-09-23 | 无锡物联网创新中心有限公司 | 一种纱线质量预测方法及相关装置 |
| CN115496264A (zh) * | 2022-08-26 | 2022-12-20 | 河北大学 | 一种风电机组发电功率的预测方法 |
| CN118569456A (zh) * | 2024-08-02 | 2024-08-30 | 东方电子股份有限公司 | 基于训练简单循环单元网络模型的新能源及负荷预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tian | Short-term wind speed prediction based on LMD and improved FA optimized combined kernel function LSSVM | |
| CN113158572A (zh) | 一种短期负荷的预测方法及装置 | |
| Gu et al. | Forecasting and uncertainty analysis of day-ahead photovoltaic power using a novel forecasting method | |
| Tian et al. | Multi-step short-term wind speed prediction based on integrated multi-model fusion | |
| CN112529283A (zh) | 基于注意力机制的综合能源系统短期负荷预测方法 | |
| CN109615146B (zh) | 一种基于深度学习的超短时风功率预测方法 | |
| Li et al. | Multi-step ahead wind speed forecasting approach coupling maximal overlap discrete wavelet transform, improved grey wolf optimization algorithm and long short-term memory | |
| CN110751318A (zh) | 一种基于ipso-lstm的超短期电力负荷预测方法 | |
| Lin et al. | Temporal convolutional attention neural networks for time series forecasting | |
| Zhang et al. | Wind speed prediction research considering wind speed ramp and residual distribution | |
| CN112163689A (zh) | 基于深度Attention-LSTM的短期负荷分位点概率预测方法 | |
| CN108876038B (zh) | 大数据、人工智能、超算协同的材料性能预测方法 | |
| Parizad et al. | Deep learning algorithms and parallel distributed computing techniques for high-resolution load forecasting applying hyperparameter optimization | |
| CN111697560B (zh) | 一种基于lstm预测电力系统负荷的方法及系统 | |
| CN113627070A (zh) | 一种短期光伏功率预测方法 | |
| CN115995810A (zh) | 一种考虑气象波动自适应匹配的风电功率预测方法及系统 | |
| CN116169670A (zh) | 一种基于改进神经网络的短期非居民负荷预测方法及系统 | |
| CN115358437A (zh) | 基于卷积神经网络的供电负荷预测方法 | |
| CN117132132A (zh) | 基于气象数据的光伏发电功率预测方法 | |
| CN115481788A (zh) | 相变储能系统负荷预测方法及系统 | |
| Yang et al. | A parallel electrical optimized load forecasting method based on quasi-recurrent neural network | |
| Tong et al. | Attention-based temporal–spatial convolutional network for ultra-short-term load forecasting | |
| Cao et al. | Short-term forecasting and uncertainty analysis of photovoltaic power based on the FCM-WOA-BILSTM model | |
| Han et al. | Research on short-term load forecasting of power system based on IWOA-KELM | |
| Zhu et al. | A photovoltaic power forecasting method based on EEMD-Kmeans-ALO-LSTM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210723 |
|
| RJ01 | Rejection of invention patent application after publication |