CN113516316B - 基于麻雀搜索优化的Attention-GRU短期负荷预测方法 - Google Patents
基于麻雀搜索优化的Attention-GRU短期负荷预测方法 Download PDFInfo
- Publication number
- CN113516316B CN113516316B CN202110860725.8A CN202110860725A CN113516316B CN 113516316 B CN113516316 B CN 113516316B CN 202110860725 A CN202110860725 A CN 202110860725A CN 113516316 B CN113516316 B CN 113516316B
- Authority
- CN
- China
- Prior art keywords
- model
- attention
- gru
- input
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 241000287127 Passeridae Species 0.000 title claims abstract description 40
- 238000005457 optimization Methods 0.000 title claims abstract description 32
- 238000012795 verification Methods 0.000 claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 230000007246 mechanism Effects 0.000 claims abstract description 17
- 239000010410 layer Substances 0.000 claims description 47
- 238000012549 training Methods 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 8
- 244000062645 predators Species 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 6
- 239000004459 forage Substances 0.000 claims description 5
- 230000002431 foraging effect Effects 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 238000007477 logistic regression Methods 0.000 claims description 4
- 238000010845 search algorithm Methods 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000000654 additive Substances 0.000 claims description 2
- 230000000996 additive effect Effects 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 claims description 2
- 230000007812 deficiency Effects 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 claims description 2
- 238000002789 length control Methods 0.000 claims description 2
- 230000007774 longterm Effects 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000000717 retained effect Effects 0.000 claims description 2
- 239000002356 single layer Substances 0.000 claims description 2
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 claims 4
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 claims 4
- 230000009467 reduction Effects 0.000 claims 2
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 claims 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 claims 1
- 238000013277 forecasting method Methods 0.000 abstract 2
- 238000012300 Sequence Analysis Methods 0.000 abstract 1
- 238000012417 linear regression Methods 0.000 description 6
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 229910052731 fluorine Inorganic materials 0.000 description 1
- 125000001153 fluoro group Chemical group F* 0.000 description 1
- 230000019637 foraging behavior Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Software Systems (AREA)
- Tourism & Hospitality (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Business, Economics & Management (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Marketing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明基于麻雀搜索优化的Attention‑GRU短期负荷预测方法属于电力系统的技术领域，提供了一种基于麻雀搜索优化的Attention‑GRU短期负荷预测方法，该方法首先利用Attention机制对输入信息进行权重分配以突出重要信息贡献度，同时使用SSA对Attention‑GRU关键参数lr、m、bs和k进行组合优化，此模型旨在从负荷预测多步信息中突出关键信息对预测结果的贡献度，并结合最优化模型结构，达到短期负荷的精准预测；其步骤包括：步骤S1）原理分析，步骤S2）建立基于SSA‑Attention‑GRU的负荷预测模型，步骤S3）算例分析验证。
Description
技术领域
本发明基于麻雀搜索优化的Attention-GRU短期负荷预测方法属于电力系统的技术领域。
背景技术
负荷预测是指以系统负荷本身的波动变化以及负荷所在地的外界因素如气象因素等变化为依据，采用特定的方法或模型对负荷历史数据进行分析以估测电力系统需求。负荷预测数据是电力系统调度的依据，其准确性的提升对电力系统的发展有重要的推动作用。
短期负荷预测历经几十年的研究发展，主要可分为三类预测方法，一类为传统统计学方法，主要包含线性回归(linear regression，LR)、自回归(auto regression，AR)和自回归移动平均(auto regressive moving average，ARMA)等。统计学方法结构简单易于建模，但输入数据的分布特性对其模型输出有较大的影响。第二类为机器学习方法，包括灰色系统、支持向量机(support vector machine，SVM)、人工神经网络(artificial neuralnetwork，ANN)等。SVM算法可用于线性/非线性问题，泛化错误率低，能解决传统算法中高维问题，但在处理大数据量时间序列时收敛慢，精度低。ANN方法中的反向传播(BP)神经网络具有较强非线性映射能力，且能在训练过程中自动提取数据输入输出特征并调整网络权值适应，但其收敛速度慢、容易陷入局部最小化，针对时间序列数据时特征需要人工指定，破坏了时序的完整性。第三类为组合模型预测法：有通过结合优化算法对模型中存在的多个超参数进行优化；或通过结合数据预处理方法，如经验模态分解(Empirical ModeDecomposition，EMD)等对原始时序数据进行处理以提高预测准确度。
短期电力负荷数据通常是包含负荷自身波动与相关因素的复合时间序列，具有时序性与非线性，统计学方法难以针对非线性时序建模，传统机器学习方法虽然能解决这一难点，但输入信息的时序完整性难以保存。近年来，随着硬件算力的提升，深度学习得以高速发展并成为负荷预测研究热点，如深度信念网络(deep belief network，DBN)、深度神经网络(deep neural network，DNN)等的应用相比传统算法提高了预测准确度。循环神经网络(recurrent neural network，RNN)通过使用带自反馈的神经元使网络具有短期记忆，原理上能处理任意长度的时间序列，其通常使用梯度下降的算法，但当输入序列较长时会出现梯度爆炸和消失的问题。长短期记忆网络(long short-term memory，LSTM)通过引入门控机制以改善前述问题，在时间序列处理问题上得到了广泛的应用，但其网络结构略为复杂，在处理高维大量数据时收敛速度较慢。门控循环单元GRU(gated recurrent unit)在LSTM的基础上简化了门控结构，减少了可训练参数总量使得训练速度提升。然而LSTM、GRU等循环神经网络在实际运用中存在两方面的不足：一是当输入的时间序列较长时，网络易出现丢失序列信息、难以建模序列间结构信息的问题；二是模型的构建训练中存在几个关键超参数：学习率lr、隐层神经元数m、训练输入批量bs以及训练轮次k。学习率lr影响模型的收敛状态，神经元数m影响模型的拟合能力，输入批量bs影响模型的泛化性能而训练轮次k影响模型训练程度。超参数通常由人工经验进行选择，通用性差、不确定性高。
发明内容
本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种基于麻雀搜索优化的Attention-GRU短期负荷预测方法，该方法首先利用Attention机制对输入信息进行权重分配以突出重要信息贡献度，同时使用SSA对Attention-GRU关键参数(lr、m、bs、k)进行组合优化，此模型旨在从负荷预测多步信息中突出关键信息对预测结果的贡献度，并结合最优化模型结构，达到短期负荷的精准预测。
为了解决上述技术问题，本发明采用的技术方案为：基于麻雀搜索优化的Attention-GRU短期负荷预测方法，包括以下步骤：
步骤S1)原理分析；
步骤S2)建立基于SSA-Attention-GRU的负荷预测模型；
步骤S3)算例分析验证。
本发明与现有技术相比具有的有益效果是：结合当前计算机算力算法的快速发展与电力负荷预测精度提高的要求，提出了一种基于注意力机制与麻雀搜索算法门控循环单元模型实现负荷的短期预测，提出模型具有如下优势：
(1)通过前置Attention对输入信息进行权重分配，使时间戳中包含对准确结果贡献度更高的序列得到强调，结果表明引入Attention对输入信息进行权重分配后对比同权重输入信息预测准确度有提升，且前置Attention可解释性更好；
(2)使用SSA对网络超参数进行迭代优化，克服由人工经验进行选择通用性差、不确定性高的缺点；
(3)与传统的LR、SVR、MLP、LSTM和GRU预测模型相比，提出的方法在工作日、节假日、最大误差与平均误差上均取得了更佳的效果。
附图说明
下面结合附图对本发明做进一步详细的说明；
图1是本发明的方法流程示意图；
图2是注意力机制结构；
图3是多分类逻辑回归结构；
图4是GRU结构图；
图5是Attention-GRU模型结构；
图6是SSA结构；
图7是SSA-Attention-GRU模型求解过程；
图8是Attention权重优化结果；
图9是SSA-Attention-GRU拟合结果。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明中的实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明基于麻雀搜索优化的Attention-GRU短期负荷预测方法，包括以下步骤：
步骤S1)原理分析；
步骤S2)建立基于SSA-Attention-GRU的负荷预测模型；
步骤S3)算例分析验证。
所述的步骤S1)中原理分析的过程为：
步骤S101)麻雀搜索算法
SSA是一种受鸟类觅食行为启发提出的新型群智能优化算法，其原理可抽象为加入预警机制的鸟类成员发现者(Producer)和加入者(Scrounger)的互动模型，服从以下行动原则：
(1)发现者负责寻找食物，同时为所有加入者提供觅食区域和行动方向；
(2)因为随时可能遭遇捕食者，种群随机选择10％～20％比例的侦察者，当遭遇捕食者时整个种群迅速进行反捕食行为，行动行为由发现者主导；
(3)加入者利用发现者获取食物，同时一部分加入者会监控发现者能量水平状态，当发现者能量水平较高时主动争抢食物资源；
(4)当加入者本身能量水平过低时，可能会前往其他区域觅食；
(5)处于边缘位置的麻雀在意识到捕猎危机时会迅速向安全区域移动，而处于种群中心区的麻雀随机移动以靠近其它同伴；
假设种群麻雀数量为n，搜索空间维度为d维，则麻雀的位置信息可抽象为n×d的矩阵：
发现者通过式(1)来更新位置：
其中
代表迭代轮次为t时第i只麻雀在搜索空间j维的位置；itermax为算法迭代最大次数；α是间于(0,1]的随机数；Q是服从正态分布的随机数；L是大小为1×d的全1矩阵；R2为预警值，为范围[0，1]内的随机值，ST为安全值，为范围[0.5，1]内的随机值，当R2<ST时，觅食环境内无捕食者，发现者会在区域内进行广泛搜索；当R2>ST时，侦察者侦测到捕食者存在，群体迅速向安全区域移动；
加入者通过式(2)来更新位置：
其中
代表第t+1次迭代时由发现者控制的适应度最优的位置；/>
代表全局适应度最劣位置；A为1×d的矩阵，其元素为1和-1随机分配值，有A+＝AT(AAT)-1；当i>n/2时，没能获取食物而能量水平过低的第i个加入者需要前往其他区域觅食；i≤n/2时，第i个加入者将跟随发现者觅食中心行动，随机在中心位置附近觅食；
侦察者通过式(3)来更新位置：
其中
代表当前全局最优位置；β为服从均值0，方差1的正态分布随机数，用于控制步长；K是表示麻雀移动方向的步长控制参数；ε是为避免分母为0的最小常数；fi是第i个麻雀的适应度值，fg、fw分别为当前最佳与最劣适应度值，当fi>fg时，麻雀处于种群的边缘，易遭遇捕食者；当fi＝fg时，麻雀处于种群中心，随机向其他麻雀靠拢；
步骤S102)注意力机制
注意力机制通过借鉴人脑的注意力，增强对关键信息的注意程度以提高关键信息对结果的贡献，在神经网络中引入注意力机制可以提高神经网络的训练效率，经典注意力机制原理如下：设有N个输入向量[x1,x2,…xN]，为选出与特定任务相关的信息，引入查询向量q与打分函数s，具体如式(4)所示：
αn＝softmax(s(xn,q)) (4)
s(x,q)＝vTtanh(Wx+Uq) (5)
其中αn为注意力分布，表示第n个输入向量与查询向量的相关程度；softmax为多项的Logistic回归；打分函数通常使用加性模型如式(5)，其中W、U和V为可学习参数，注意力机制的结构如图2所示；
为提升模型训练效率，对经典注意力机制进行简化，去掉查询向量打分过程，使用多分类逻辑回归的思想实现输入信息的权重分配，原理如图3所示，其中c为两神经元间连接权重，模型的整体输出如式(6)：
a＝f(CX+b) (6)
其中C为权重矩阵，b为偏置向量，此处f使用softmax函数，则对第n个输入向量的分配权重计算式如下：
c、b为可学习参数向量，通过神经网络反向传播算法优化；
步骤S103)门控循环单元
LSTM网络可以捕获时间序列中的长期依赖关系，其通过引入遗忘门、输入门、输出门来动态控制对历史信息的遗忘、新信息的输入以及信息的输出，LSTM网络中的输入门和遗忘门是互补的关系，但是具有一定冗余性，为改进这一不足，GRU网络引入更新门(UpdateGate)来控制需要从历史信息中保留的信息数量，GRU结构如图4所示；
设x(t)为输入，h(t)为隐藏层输出，则GRU计算流程如下式：
r(t)＝σ(Wrx(t)+Urh(t-1)) (8)
z(t)＝σ(Wzx(t)+Uzh(t-1)) (9)
其中r(t)为重置门值，z(t)为更新门值，
为输入与上一层合并值，h(t)为隐藏层输出；σ为Sigmoid函数，f为激活函数，通常使用双曲正切函数tanh；U、W为可训练参数矩阵。
所述的步骤S2)中建立基于SSA-Attention-GRU的负荷预测模型的过程为：
步骤S201)预测模型叙述
在短期电力负荷预测中，负荷的历史序列包含了大量潜在信息，对预测未来数据起着至关重要的作用，传统机器学习方法通常是从负荷历史序列中人为选取时间特征，这种方法客观性不足，容易破坏历史序列的时序特性和潜在规律，GRU网络引入门控机制，自动从历史信息中提取时间特征，简化了人工选取这一步骤，同时也提高了预测精确度，为捕捉输入序列之间的依赖关系，提高重要信息对预测结果的贡献度，采用前置Attention建模输入信息结构，对输入信息按时间戳赋予不同权重，使包含对准确预测结果贡献度高的时间戳得以强调，短期负荷预测的输入数据是高维多序列的，模型的超参数选择对学习拟合能力起着十分重要的作用，使用人工经验进行选择，通用性差，不确定性高，为使模型形成对应输入数据的最佳超参数结构，使用SSA对模型超参数进行迭代选优；
步骤S202)预测模型结构
Attention-GRU模型如图5所示，由输入层、注意力层、GRU层、全连接层以及输出层构成，模型的描述如下：
1)输入层：将负荷历史数据与相关因素数据进行合并并作为模型的输入，设合并数据长度为N，则合并数据可表示为X＝[x1,x2,…xN]T；
2)注意力层：注意力层的输入为经过输入层的合并数据，通过训练迭代更新输入特征的权重，使重要输入信息贡献度提高，注意力层权重计算公式如式(7)，第n个序列的输出表示为：
yn＝anxn (12)
3)GRU层：GRU层接收注意力层的新输入进行学习，使用单层GRU对新输入进行学习，捕获序列内部变化规律，设GRU层的输出为h：
h＝GRU(hN-1,yN) (13)
4)全连接层：搭建全连接层以提高模型对提取特征的学习程度，激活函数使用ReLU函数，表示为：
H＝ReLU(Lh+d) (14)
其中：L、d为本层中的权重矩阵与偏置向量；
5)输出层：输出层通过全连接层进行计算输出预测结果，输出表示为：
Ypredict＝DNN(H) (15)
建立SSA结构如图6所示，其步骤如下：
Step1：设置最大迭代次数、参与搜索麻雀数目、发现者数量、侦查者数量及预警值；
Step2：根据麻雀数目与优化参数lr、m、bs和k形成搜索空间矩阵并初始化相关参数；
Step3：计算并排列适应度值，找出最优适应度个体及最劣适应度个体；
Step4：根据式(1)～(3)更新发现者、加入者、侦察者位置，比较全局最优解并更新最优适应度值；
Step5：判断终止条件(适应度值趋于稳定或迭代次数达到最大)，若满足则输出最优解，否则返回Step3；
步骤S203)损失函数
模型训练过程中使用Adam(Adaptive Moment Estimation Algorithm)对网络可训练参数进行优化。其在训练过程中通过迭代更新神经元的权重及偏差，降低损失函数输出值。模型训练过程中的损失函数使用均方误差(MSE)：
式中：n为样本个数；yi为实际值；
为模型输出值；
步骤S204)预测模型求解
基于SSA-Attention-GRU预测模型具体步骤如下：
1)将经过预处理的负荷历史数据与相关因素数据合并，输入张量形状为(input_length，timestep，input_dim)：其中第一维为参与训练的整个数据集包含数据长度；第二维为时间戳(时间步)，代表一次批量输入所包含的前置历史日数量；第三维为输入特征维度，为一个历史日中负荷历史数据时点与相关因素合并后的特征总量；
2)将训练样本集划分为训练输入与训练标签，将训练输入输入模型获取训练输出，用式(16)衡量训练输出与训练标签的损失值，再如图7SSA-Attention-GRU模型求解过程所示，根据Adam反向传播算法优化模型可学习参数向量；
3)将验证集划分为验证输入与验证标签，输入验证输入获取验证输出，SSA目标函数为验证损失最小，迭代更新模型超参数组；
将最优化结构的模型保存，输入测试数据集，获取预测时间点对应预测值。
所述的步骤S3)中算例分析验证的过程为：
步骤S301)数据预处理与输入特征选取
为验证预测模型的准确性，算例分析采用瑞士电网公开数据及相关气象数据集，选取2019年1月1日至2019年12月21日的负荷数据，一天采集24点，时间间隔为1h，预测输入特征包含历史负荷，日最高温度、最低温度、平均温度，星期日类型，节假日类型，以数字0～6对应星期一至星期日，对于节假日，以1/0分别对应是否为节假日，为提高模型训练效果，采用min-max归一化法将原始数据置于(-1,1)区间内，计算公式如下：
其中：x是原始数据；x*是归一化的数据；xmin、xmax分别为样本数据的最小值与最大值；
步骤S302)实验评价标准
结果评价标准选取平均绝对百分误差(MAPE)、根均方误差(RMSE)和拟合精度(FA)，计算式分别如下：
其中：n为预测结果数目；yi、
分别对应点的实际值与预测值，评价标准为MAPE值越小、RMSE值越小、FA值越大，则模型预测效果越好；
为科学验证步骤S2)所建立的模型的有效性，选择LR、SVR、MLP、LSTM、GRU模型与步骤S2)所得预测模型进行结果对比；
步骤S303)SSA参数优化结果
样本数据集时间为2019年1月1日至2019年12月21日，以2019年1月1日至2019年11月15日数据为训练集；以2019年11月16日至30日数据作为验证集，参数优化目标为验证集损失值最小；为测试模型泛化能力，以2019年12月三周数据集为测试集；
对SSA参数设置如下：参与搜索的麻雀数量n为20，对lr、m、bs、k四个参数进行优化，初始化形成20×4的搜索矩阵；最大迭代数Tmax为30；m、bs、k搜索范围为[1，1000]，lr搜索范围为[10-5，10-3]；将验证集上预测结果的平均绝对百分比作为麻雀适应度值；适应度值5轮迭代不变时算法中止；
最终得到优化结果记录表如表1所示；
表1 SSA-Attention-GRU参数优化结果
步骤S304)Attention权重优化结果
构建模型输入为预测日前7日的复合数据，输出为预测日24时预测值，设置GRU输入数据结构时间戳(时间步)为7，分别对应预测日前7日所包含的信息，使用Attention对时间步进行权重分配优化，对2019年12月1日(星期日)、2019年12月11日(星期三)、2019年12月21日(星期六)的权重分配优化结果列出图表如图8所示，由优化结果可知，Attention对时间步1及7的重视程度最高，对应为预测日一周前的历史日及相邻日，说明这两个时间步中包含对预测结果更为重要的信息；
步骤S305)SSA-Attention-GRU预测结果分析
对连续三周的负荷预测的评价指标如表2所示，分析可知：提出的模型相比于LR、SVR、MLP、LSTM、GRU等模型，MAPE分别降低了3.432％、2.11％、1.26％、0.738％和0.488％，RMSE指标对比分别降低了54.36％、38.34％、28.45％、18.96％和13.96％，说明提出模型相对传统预测方法具有较佳性能；
表2不同预测模型对比
根据SSA-Attention-GRU连续三周拟合结果与真实负荷值的对比绘出SSA-Attention-GRU拟合结果曲线图如图9所示，根据曲线图可知模型在工作日的拟合曲线与真实负荷曲线吻合度较高，在周末的吻合度对比工作日略有降低，进一步分析模型对不同日类型的拟合效果，以日为基础的误差分析如表3所示，提出模型对比五种传统模型工作日MAPE分别下降了3.714％、1.998％、1.357％、0.513％和0.369％；周末、假日MAPE分别下降了2.726％、2.39％、1.017％、1.301％和0.784％，预测结果无论是平均误差还是最大误差均优于其他预测方法，预测精度更高。
表3逐日预测结果MAPE
本发明结合当前计算机算力算法的快速发展与电力负荷预测精度提高的要求，提出了一种基于注意力机制与麻雀搜索算法门控循环单元模型实现负荷的短期预测，提出模型具有如下优势：
(1)通过前置Attention对输入信息进行权重分配，使时间戳中包含对准确结果贡献度更高的序列得到强调，结果表明引入Attention对输入信息进行权重分配后对比同权重输入信息预测准确度有提升，且前置Attention可解释性更好；
(2)使用SSA对网络超参数进行迭代优化，克服由人工经验进行选择通用性差、不确定性高的缺点；
(3)与传统的LR、SVR、MLP、LSTM和GRU预测模型相比，提出的方法在工作日、节假日、最大误差与平均误差上均取得了更佳的效果。
对提出方法进行纵向对比发现，节假日与工作日预测效果上存在一定差异，后续将通过分析用户行为，进一步提取负荷变化规律提升预测精确度。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (1)
1.基于麻雀搜索优化的Attention-GRU短期负荷预测方法，其特征在于：包括以下步骤：
步骤S1)原理分析；
步骤S2)建立基于SSA-Attention-GRU的负荷预测模型；
步骤S3)算例分析验证；
所述的步骤S1)中原理分析的过程为：
步骤S101)麻雀搜索算法
假设种群麻雀数量为n，搜索空间维度为d维，则麻雀的位置信息可抽象为n×d的矩阵：
发现者通过式(1)来更新位置：
其中
代表迭代轮次为t时第i只麻雀在搜索空间j维的位置；itermax为算法迭代最大次数；α是间于(0,1]的随机数；Q是服从正态分布的随机数；L是大小为1×d的全1矩阵；R2为预警值，为范围[0，1]内的随机值，ST为安全值，为范围[0.5，1]内的随机值，当R2<ST时，觅食环境内无捕食者，发现者会在区域内进行广泛搜索；当R2>ST时，侦察者侦测到捕食者存在，群体迅速向安全区域移动；
加入者通过式(2)来更新位置：
其中
代表第t+1次迭代时由发现者控制的适应度最优的位置；
代表全局适应度最劣位置；A为1×d的矩阵，其元素为1和-1随机分配值，有A+＝AT(AAT)-1；当i>n/2时，没能获取食物而能量水平过低的第i个加入者需要前往其他区域觅食；i≤n/2时，第i个加入者将跟随发现者觅食中心行动，随机在中心位置附近觅食；
侦察者通过式(3)来更新位置：
其中
代表当前全局最优位置；β为服从均值0，方差1的正态分布随机数，用于控制步长；K是表示麻雀移动方向的步长控制参数；ε是为避免分母为0的最小常数；fi是第i个麻雀的适应度值，fg、fw分别为当前最佳与最劣适应度值，当fi>fg时，麻雀处于种群的边缘，易遭遇捕食者；当fi＝fg时，麻雀处于种群中心，随机向其他麻雀靠拢；
步骤S102)注意力机制
经典注意力机制原理如下：设有N个输入向量[x1,x2,…xN]，为选出与特定任务相关的信息，引入查询向量q与打分函数s，具体如式(4)所示：
αn＝softmax(s(xn,q)) (4)
s(x,q)＝vTtanh(Wx+Uq) (5)
其中αn为注意力分布，表示第n个输入向量与查询向量的相关程度；softmax为多项的Logistic回归；打分函数使用加性模型如式(5)，其中W、U和V为可学习参数；
为提升模型训练效率，对经典注意力机制进行简化，去掉查询向量打分过程，使用多分类逻辑回归的思想实现输入信息的权重分配，模型的整体输出如式(6)：
a＝f(CX+b) (6)
其中C为权重矩阵，b为偏置向量，此处f使用softmax函数，则对第n个输入向量的分配权重计算式如下：
c、b为可学习参数向量，通过神经网络反向传播算法优化；
步骤S103)门控循环单元
LSTM网络可以捕获时间序列中的长期依赖关系，其通过引入遗忘门、输入门、输出门来动态控制对历史信息的遗忘、新信息的输入以及信息的输出，LSTM网络中的输入门和遗忘门是互补的关系，但是具有冗余性，为改进这一不足，GRU网络引入更新门来控制需要从历史信息中保留的信息数量；
设x(t)为输入，h(t)为隐藏层输出，则GRU计算流程如下式：
r(t)＝σ(Wrx(t)+Urh(t-1)) (8)
z(t)＝σ(Wzx(t)+Uzh(t-1)) (9)
其中r(t)为重置门值，z(t)为更新门值，
为输入与上一层合并值，h(t)为隐藏层输出；σ为Sigmoid函数，f为激活函数，使用双曲正切函数tanh；U、W为可训练参数矩阵；
所述的步骤S2)中建立基于SSA-Attention-GRU的负荷预测模型的过程为：
步骤S201)预测模型叙述
采用前置Attention建模输入信息结构，对输入信息按时间戳赋予不同权重，使包含对准确预测结果贡献度高的时间戳得以强调，短期负荷预测的输入数据是高维多序列的，模型的超参数选择对学习拟合能力起着十分重要的作用，使用人工经验进行选择，通用性差，不确定性高，为使模型形成对应输入数据的最佳超参数结构，使用SSA对模型超参数进行迭代选优；
步骤S202)预测模型结构
Attention-GRU模型由输入层、注意力层、GRU层、全连接层以及输出层构成：
1)输入层：将负荷历史数据与相关因素数据进行合并并作为模型的输入，设合并数据长度为N，则合并数据可表示为X＝[x1,x2,…xN]T；
2)注意力层：注意力层的输入为经过输入层的合并数据，通过训练迭代更新输入特征的权重，使重要输入信息贡献度提高，注意力层权重计算公式如式(7)，第n个序列的输出表示为：
yn＝anxn (12)
3)GRU层：GRU层接收注意力层的新输入进行学习，使用单层GRU对新输入进行学习，捕获序列内部变化规律，设GRU层的输出为h：
h＝GRU(hN-1,yN) (13)
4)全连接层：搭建全连接层以提高模型对提取特征的学习程度，激活函数使用ReLU函数，表示为：
H＝ReLU(Lh+d) (14)
其中：L、d为本层中的权重矩阵与偏置向量；
5)输出层：输出层通过全连接层进行计算输出预测结果，输出表示为：
Ypredict＝DNN(H) (15)
建立SSA结构步骤如下：
Step1：设置最大迭代次数、参与搜索麻雀数目、发现者数量、侦查者数量及预警值；
Step2：根据麻雀数目与优化参数lr、m、bs和k形成搜索空间矩阵并初始化相关参数；
Step3：计算并排列适应度值，找出最优适应度个体及最劣适应度个体；
Step4：根据式(1)～(3)更新发现者、加入者和侦察者位置，比较全局最优解并更新最优适应度值；
Step5：判断终止条件，若满足则输出最优解，否则返回Step3；
步骤S203)损失函数
模型训练过程中使用Adam对网络可训练参数进行优化，其在训练过程中通过迭代更新神经元的权重及偏差，降低损失函数输出值，模型训练过程中的损失函数使用均方误差MSE：
式中：n为样本个数；yi为实际值；
为模型输出值；
步骤S204)预测模型求解
基于SSA-Attention-GRU预测模型具体步骤如下：
1)将经过预处理的负荷历史数据与相关因素数据合并，输入张量形状为(input_length，timestep，input_dim)：其中第一维为参与训练的整个数据集包含数据长度；第二维为时间戳，代表一次批量输入所包含的前置历史日数量；第三维为输入特征维度，为一个历史日中负荷历史数据时点与相关因素合并后的特征总量；
2)将训练样本集划分为训练输入与训练标签，将训练输入输入模型获取训练输出，用式(16)衡量训练输出与训练标签的损失值，再根据Adam反向传播算法优化模型可学习参数向量；
3)将验证集划分为验证输入与验证标签，使用验证输入获取验证输出，SSA目标函数为验证损失最小，迭代更新模型超参数组；
将最优化结构的模型保存，输入测试数据集，获取预测时间点对应预测值；
所述的步骤S3)中算例分析验证的过程为：
步骤S301)数据预处理与输入特征选取
为验证预测模型的准确性，算例分析采用已公开数据及相关气象数据集，选取某地一个时间段的负荷数据，一天采集24点，时间间隔为1h，预测输入特征包含历史负荷，日最高温度、最低温度、平均温度，星期日类型，节假日类型，以数字0～6对应星期一至星期日，对于节假日，以1/0分别对应是否为节假日，为提高模型训练效果，采用min-max归一化法将原始数据置于(-1,1)区间内，计算公式如下：
其中：x是原始数据；x*是归一化的数据；xmin、xmax分别为样本数据的最小值与最大值；
步骤S302)实验评价标准
结果评价标准选取平均绝对百分误差MAPE、根均方误差RMSE和拟合精度FA，计算式分别如下：
其中：n为预测结果数目；yi、
分别对应点的实际值与预测值，评价标准为MAPE值越小、RMSE值越小和FA值越大，则模型预测效果越好；
为科学验证步骤S2)所建立的模型的有效性，选择LR、SVR、MLP、LSTM和GRU模型与步骤S2)所得预测模型进行结果对比；
步骤S303)SSA参数优化结果
样本数据集时间为步骤S301)选取的时间段，以该时间段的前88％时间段数据作为训练集；以该时间段的88-92％时间段数据作为验证集，参数优化目标为验证集损失值最小；为测试模型泛化能力，以该时间段的最后8％时间段作为测试集；
对SSA参数设置如下：参与搜索的麻雀数量n为20，对lr、m、bs、k四个参数进行优化，初始化形成20×4的搜索矩阵；最大迭代数Tmax为30；m、bs、k搜索范围为[1，1000]，lr搜索范围为[10-5，10-3]；将验证集上预测结果的平均绝对百分比作为麻雀适应度值；适应度值5轮迭代不变时算法中止；
最终得到优化结果记录表；
步骤S304)Attention权重优化结果
构建模型输入为预测日前7日的复合数据，输出为预测日24时预测值，设置GRU输入数据结构时间步为7，分别对应预测日前7日所包含的信息，使用Attention对时间步进行权重分配优化，对步骤S303)中所选取的测试集任选多天的权重分配优化结果并列出图表，由优化结果可知，Attention对时间步1及时间步7的重视程度最高，对应为预测日一周前的历史日及相邻日，说明这两个时间步中包含对预测结果更为重要的信息；
步骤S305)SSA-Attention-GRU预测结果分析
对连续三周的负荷预测的评价指标列表分析，所得分析结果能够说明提出模型SSA-Attention-GRU相对LR、SVR、MLP、LSTM和GRU预测模型具有较佳性能；
根据SSA-Attention-GRU连续三周拟合结果与真实负荷值的对比绘出SSA-Attention-GRU拟合结果曲线图，根据曲线图可知模型在工作日的拟合曲线与真实负荷曲线吻合度较高，在周末的吻合度对比工作日略有降低，进一步分析模型对不同日类型的拟合效果，以日为基础的误差分析进行列表分析，提出模型SSA-Attention-GRU对比LR、SVR、MLP、LSTM和GRU预测模型的工作日MAPE的下降百分比以及周末、假日MAPE的下降百分比，预测结果无论是平均误差还是最大误差均优于LR、SVR、MLP、LSTM和GRU预测模型，预测精度更高。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110860725.8A CN113516316B (zh) | 2021-07-29 | 2021-07-29 | 基于麻雀搜索优化的Attention-GRU短期负荷预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110860725.8A CN113516316B (zh) | 2021-07-29 | 2021-07-29 | 基于麻雀搜索优化的Attention-GRU短期负荷预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113516316A CN113516316A (zh) | 2021-10-19 |
| CN113516316B true CN113516316B (zh) | 2023-03-24 |
Family
ID=78068892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110860725.8A Active CN113516316B (zh) | 2021-07-29 | 2021-07-29 | 基于麻雀搜索优化的Attention-GRU短期负荷预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113516316B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114021847A (zh) * | 2021-11-19 | 2022-02-08 | 福州大学 | 基于isgu混合模型的短期电力负荷预测方法及系统 |
| CN114662751B (zh) * | 2022-03-19 | 2022-10-04 | 特斯联科技集团有限公司 | 基于lstm的园区多能短期负荷预测及优化方法 |
| CN116561528B (zh) * | 2023-05-08 | 2024-03-01 | 重庆市荣冠科技有限公司 | 一种旋转机械的rul预测方法 |
| CN116796890A (zh) * | 2023-05-29 | 2023-09-22 | 南方电网能源发展研究院有限责任公司 | 碳排放权代价值预测方法、装置、设备、介质和产品 |
| CN117708771B (zh) * | 2024-02-05 | 2024-04-26 | 沈阳顺义科技股份有限公司 | 一种基于itsobp的综合传动装置故障预测算法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110619420A (zh) * | 2019-07-31 | 2019-12-27 | 广东工业大学 | 一种基于Attention-GRU的短期住宅负荷预测方法 |
| CN112766078A (zh) * | 2020-12-31 | 2021-05-07 | 辽宁工程技术大学 | 基于emd-svr-mlr与注意力机制的gru-nn的电力负荷层次预测方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130208880A1 (en) * | 2011-12-22 | 2013-08-15 | Shoregroup, Inc. | Method and apparatus for evolutionary contact center business intelligence |
| US20140278730A1 (en) * | 2013-03-14 | 2014-09-18 | Memorial Healthcare System | Vendor management system and method for vendor risk profile and risk relationship generation |
| CN110633867A (zh) * | 2019-09-23 | 2019-12-31 | 国家电网有限公司 | 一种基于gru和注意力机制的超短期负荷预测模型 |
| CN110728401B (zh) * | 2019-10-10 | 2020-11-24 | 郑州轻工业学院 | 基于松鼠杂草混合算法的神经网络短期电力负荷预测方法 |
| CN111738512B (zh) * | 2020-06-22 | 2022-05-24 | 昆明理工大学 | 一种基于cnn-ipso-gru混合模型的短期电力负荷预测方法 |
| CN112465119A (zh) * | 2020-12-08 | 2021-03-09 | 武汉理工光科股份有限公司 | 一种基于深度学习的消防险情预警方法及装置 |
| CN112989693A (zh) * | 2021-03-02 | 2021-06-18 | 上海电机学院 | 一种基于ssa-gru-msar的风电功率预测方法 |
-
2021
- 2021-07-29 CN CN202110860725.8A patent/CN113516316B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110619420A (zh) * | 2019-07-31 | 2019-12-27 | 广东工业大学 | 一种基于Attention-GRU的短期住宅负荷预测方法 |
| CN112766078A (zh) * | 2020-12-31 | 2021-05-07 | 辽宁工程技术大学 | 基于emd-svr-mlr与注意力机制的gru-nn的电力负荷层次预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113516316A (zh) | 2021-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113516316B (zh) | 基于麻雀搜索优化的Attention-GRU短期负荷预测方法 | |
| Liu et al. | A review on multi-objective optimization framework in wind energy forecasting techniques and applications | |
| Li | Deep reinforcement learning | |
| Lu et al. | Review of meta-heuristic algorithms for wind power prediction: Methodologies, applications and challenges | |
| Wang et al. | Adaptive learning hybrid model for solar intensity forecasting | |
| CN109902801B (zh) | 一种基于变分推理贝叶斯神经网络的洪水集合预报方法 | |
| CN110647980A (zh) | 一种基于gru神经网络的时间序列预测方法 | |
| Chen et al. | Modeling and optimization of complex building energy systems with deep neural networks | |
| CN110751318B (zh) | 一种基于ipso-lstm的超短期电力负荷预测方法 | |
| He et al. | CLeaR: An adaptive continual learning framework for regression tasks | |
| Pranolo et al. | Robust LSTM With tuned-PSO and bifold-attention mechanism for analyzing multivariate time-series | |
| CN116596044B (zh) | 基于多源数据的发电负荷预测模型训练方法及装置 | |
| CN114547974A (zh) | 基于输入变量选择与lstm神经网络的动态软测量建模方法 | |
| CN116562514B (zh) | 基于神经网络的企业生产状况即时分析方法及系统 | |
| Zhang et al. | Prediction on the highest price of the stock based on PSO-LSTM neural network | |
| Wang et al. | Multi-step-ahead time series prediction method with stacking LSTM neural network | |
| CN112884238A (zh) | 光伏发电功率预测方法及装置 | |
| Hsu | Multi-period time series modeling with sparsity via Bayesian variational inference | |
| CN113591957B (zh) | 基于lstm和马尔科夫链的风电出力短期滚动预测与校正方法 | |
| CN111815039A (zh) | 基于天气分类的周尺度风电功率概率预测方法及系统 | |
| Pranolo et al. | Optimized Three Deep Learning Models Based-PSO Hyperparameters for Beijing PM2. 5 Prediction | |
| CN114648147A (zh) | 一种基于ipso-lstm的风电功率预测方法 | |
| CN117439053A (zh) | 一种Stacking集成模型电量预测方法、装置、存储介质 | |
| CN116402202A (zh) | 一种基于超参数优化的母线负荷预测方法及系统 | |
| CN114021847A (zh) | 基于isgu混合模型的短期电力负荷预测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |