CN113689030A - 一种基于双向注意力和二次优化的短期风功率预测方法 - Google Patents
一种基于双向注意力和二次优化的短期风功率预测方法 Download PDFInfo
- Publication number
- CN113689030A CN113689030A CN202110888260.7A CN202110888260A CN113689030A CN 113689030 A CN113689030 A CN 113689030A CN 202110888260 A CN202110888260 A CN 202110888260A CN 113689030 A CN113689030 A CN 113689030A
- Authority
- CN
- China
- Prior art keywords
- wind power
- attention
- wind
- time
- time sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000005457 optimization Methods 0.000 title claims abstract description 34
- 238000013135 deep learning Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 22
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 238000011156 evaluation Methods 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 15
- 238000000354 decomposition reaction Methods 0.000 claims description 13
- 230000008878 coupling Effects 0.000 claims description 9
- 238000010168 coupling process Methods 0.000 claims description 9
- 238000005859 coupling reaction Methods 0.000 claims description 9
- 230000003068 static effect Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 125000004122 cyclic group Chemical group 0.000 claims description 7
- 210000002364 input neuron Anatomy 0.000 claims description 7
- 210000004205 output neuron Anatomy 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 230000035945 sensitivity Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 10
- 239000002245 particle Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 102220075807 rs202025584 Human genes 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000004094 surface-active agent Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E40/00—Technologies for an efficient electrical power generation, transmission or distribution
- Y02E40/70—Smart grids as climate change mitigation technology in the energy generation sector
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Evolutionary Computation (AREA)
- Strategic Management (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- General Business, Economics & Management (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Water Supply & Treatment (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出一种基于双向注意力和二次优化的短期风功率预测方法，首先将风电功率子序列、风速子序列、风向正弦时间序列及风向余弦时间序列拼接处理形成输入张量，输入张量表征多种特征，建立双向注意力‑残差网络‑门控循环单元深度学习预测模型，并动态选择单个输入张量作为模型的训练样本进行训练，一方面确保训练样本更具有代表性，另一方面基于双向注意力‑残差网络‑门控循环单元深度学习预测模型能实现特征选择时的自适应学习，利用双向注意力机制从输入张量的时间维度和特征维度两方面考虑，提高了模型对重要信息的敏感性，最后，二次优化进一步提升了模型的泛化性能，更能提升短期风电功率预测精度。
Description
技术领域
本发明涉及短期风电功率预测的技术领域，更具体地，涉及一种基于双向注意力和二次优化的短期风功率预测方法。
背景技术
风电功率预测，是指根据风电场气象信息有关数据，利用物理模拟计算和科学统计方法，对风电场的风力风速进行短期预报，而预测出风电场的功率，从而实现电力调度部门对风电调度的要求。因此，提高风电功率预测精度，对电力系统稳定性、电能质量均显得十分重要。风电功率预测精度高低与风电功率系列输入信号的平稳程度有很大关系，信号越平稳则预测精度越高。而实际上风电功率系列输入信号属于非平稳和复杂的信号，这导致直接以原始信号为输入的单一风电功率预测模型精度普遍不高。
为降低风电功率预测难度，一种解决方案是引入模式分解方法与预测模型相结合，核心思想是将非平稳的风相关序列进行分解，得到平稳且复杂度更低的子序列，并为各子序列建立预测模型进而实现对风电功率的预测，但基于模式分解的风电功率预测模型没有事先考虑不同输入特征对预测目标的影响，一定程度上导致模型对所隐含的重要特征信息挖掘力度不足。而除此之外，特征选择技术与预测模型的混合使用也可以带来精度的提升。传统的特征选择技术与预测模型的结合一般有两种做法，第一是通过设立筛选阈值的方式，将对预测目标影响较低的特征剔除，从而减少模型的输入特征数量，如2019年8月27日，中国发明专利(公布号：CN110175639A)中公开了一种基于特征选取的短期风电功率预测方法，首先计算不同风电场风电功率间的相关性及每个区域间相关风电场的气象数据之间的相关性，以此消除相关度较低的风电场，然后以均方根误差为非线性核函数的排序标准，提取风电场的特征向量，对提取的特征向量进行滤波和矫正处理，最后利用支持向量回归对特征向量进行短期风电功率预测；第二是将各输入特征对预测目标的影响进行量化，并将量化结果作用于对应特征从而得到量化后的模型输入，基于特征选择的预测模型虽然考虑了不同输入特征对预测目标的影响，但是因为所要预测的风电功率与输入特征间存在复杂的非线性映射关系，如何选取一种能够最大程度地正确评估不同特征对预测目标的影响的特征选择方法并不容易。
发明内容
为解决短期风电功率预测时，传统特征选择的方法难以准确评估不同特征对风电功率预测目标影响的问题，本发明提出一种基于双向注意力和二次优化的短期风电功率预测方法，特征选择时能自适应学习，提高了短期风电功率预测精度。
为了达到上述技术效果，本发明的技术方案如下：
一种基于双向注意力和二次优化的短期风功率预测方法，包括以下步骤：
S1.获取m个风电功率子序列、m个风速子序列、风向正弦时间序列及风向余弦时间序列；
S2.将m个风电功率子序列、m个风速子序列、风向正弦时间序列及风向余弦时间序列拼接处理，形成m个数据集；
S3.建立m个双向注意力-残差网络-门控循环单元深度学习预测模型，分别从m个数据集中动态选择单个输入张量作为训练样本，对m个双向注意力-残差网络-门控循环单元深度学习预测模型进行训练；
S4.依次对训练好的每个双向注意力-残差网络-门控循环单元深度学习预测模型进行二次优化；
S5.利用训练好的模型进行短期风功率预测。
优选地，步骤S1所述的获取m个风电功率子序列、m个风速子序列、风向正弦时间序列及风向余弦时间序列的过程为：
S11.获取风电功率历史数据、风速历史数据及风向历史数据，对风电功率历史数据、风速历史数据及风向历史数据做预处理，得到风电功率数据时间序列、风速数据时间序列及风向数据时间序列；
S12.对风电功率数据时间序列、风速数据时间序列分别进行集合经验模式分解，得到m个风电功率子序列和m个风速子序列；
S13.将风向数据时间序列转换为风向正弦时间序列和风向余弦时间序列。
在此，对风电功率数据时间序列、风速数据时间序列分别进行集合经验模式分解，可以使得风电功率数据时间序列、风速数据时间序列复杂度降低，从而降低风电功率预测难度。
优选地，步骤S2所述的m个输入张量的形成过程为：
m个风电功率子序列中的第j个风电功率子序列、m个风速子序列中的第j个风速子序列、风向正弦时间序列、风向余弦时间序列依次拼接，形成第j个数据集；
重复m次，得到m个数据集，j＝1,2,…,m，m表示集合经验模式分解后的风电功率子序列数量或风速子序列数量。
优选地，步骤S3中m个双向注意力-残差网络-门控循环单元深度学习预测模型中的每一个均包括：双向注意力机制评估单元、残差网络及门控循环单元；
所述双向注意力机制评估单元包括并行的特征注意力评估单元和时间注意力评估单元，特征注意力评估单元和时间注意力评估单元均为两层的神经网络，特征注意力评估单元的输入神经元和输出神经元数目均为F，时间注意力评估单元的输入神经元和输出神经元的数目均为T，特征注意力评估单元的输入为T×F的输入张量，输出为特征注意力评估结果Xf_att；时间注意力评估单元的输入为T×F的输入张量的转置，输出为时间注意力评估结果Xf_att，特征注意力评估结果Xf_att和时间注意力评估结果Xf_att融合为双向注意力机制最终评估结果Xatt_out，以作为残差网络的输入；
所述残差网络包含3层卷积层，每层卷积层均设置卷积核尺寸为1×1，残差网络的输入端与最后一层卷积层的输出端之间建立跨层连接，添加扁平层将残差网络的输出排列成一维向量，作为门控循环单元的输入；
所述门控循环单元包括一个重置门和一个更新门，每一个时刻t的重置门和重置门均接收当前输入数据和t-1时刻的状态输出ht-1，获取t时刻的门控循环单元的状态输出ht，再经过门控循环单元处理后，输出预测风电功率时间子序列。
在此，利用双向注意力机制从输入张量的时间维度和特征维度两方面考虑，提高了模型对重要信息的敏感性，而残差网络-门控循环单元则作进一步的输入特征之间静态和动态耦合关系的提取，以上有机结合对提高风电功率预测精度有重要的意义。
优选地，特征注意力评估结果Xf_att和时间注意力评估结果Xf_att融合为双向注意力机制最终评估结果Xatt_out的表达式为：
其中，μ和λ均表示矩阵融合系数，相加为1。
优选地，双向注意力机制最终评估结果Xatt_out作为残差网络的输入，进行输入特征的静态耦合关系提取，得到残差网络的输出Xres_out，输入特征的静态耦合关系提取的表达式为：
Xres_out＝f(Xatt_out+F(Xatt_out,Wres,bres))
其中，F(·)表示残差网络所具象出的映射函数；f(·)表示残差网络最终输出所用的激活函数；Wres表示残差网络权重矩阵；bres表示残差网络偏置项。
优选地，步骤S3中，以T作为时间步长，m个风电功率子序列中的第j个风电功率子序列、m个风速子序列中的第j个风速子序列、风向正弦时间序列、风向余弦时间序列依次拼接，得到一个时间步长内的T×F的输入张量，其中，F为特征数，包括风电功率子序列特征、风速子序列特征、风向正弦特征及风向余弦特征，动态选择单个输入张量作为训练样本时，以T为时间步长，在第j个风电功率子序列、第j个风速子序列、风向正弦时间序列、风向余弦时间序列依次拼接构成的第j个数据集中，滑动选取下一个输入张量，形状也为T×F，使得训练样本更具有代表性。
优选地，步骤S3中对m个双向注意力-残差网络-门控循环单元深度学习预测模型进行训练的方法为梯度下降法。
优选地，步骤S4所述依次对训练好的每个双向注意力-残差网络-门控循环单元深度学习预测模型进行二次优化时，是对训练好的每个双向注意力-残差网络-门控循环单元深度学习预测模型的输出全连接层进行二次优化，二次优化的方法为纵横交叉算法，进一步提升每个双向注意力-残差网络-门控循环单元深度学习预测模型的泛化性能。
优选地，利用训练好的模型进行短期风功率预测的步骤为：
设置短期预测提前时间为ty，利用训练好的m个双向注意力-残差网络-门控循环单元深度学习预测模型进行提前时间为ty的风电功率预测，获得m个预测风电功率时间子序列；
将获得的m个预测风电功率时间子序列进行叠加，得到最终预测风电功率时间序列。
与现有技术相比，本发明技术方案的有益效果是：
本发明提出一种基于双向注意力和二次优化的短期风功率预测方法，首先将一系列风电功率子序列、风速子序列、风向正弦时间序列及风向余弦时间序列拼接处理形成输入张量，表征多种特征，然后建立双向注意力-残差网络-门控循环单元深度学习预测模型，并动态选择单个输入张量作为模型的训练样本进行训练，一方面确保训练样本更具有代表性，另一方面基于双向注意力-残差网络-门控循环单元深度学习预测模型能实现特征选择时的自适应学习，利用双向注意力机制从输入张量的时间维度和特征维度两方面考虑，提高了模型对重要信息的敏感性，残差网络-门控循环单元则作进一步的输入特征之间静态和动态耦合关系的提取，以上有机结合对提高风电功率预测精度具有重要的意义，最后，对双向注意力-残差网络-门控循环单元深度学习预测模型进行二次优化，进一步提升了双向注意力-残差网络-门控循环单元深度学习预测模型的泛化性能，更能提升短期风电功率预测精度。
附图说明
图1表示本发明实施例中提出的基于双向注意力和二次优化的短期风功率预测方法的流程示意图；
图2表示本发明实施例中提出的动态选择单个输入张量的示意图；
图3表示利用本发明提出的双向注意力和二次优化的短期风功率预测方法实现短期风功率预测的效果图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好地说明本实施例，附图某些部位会有省略、放大或缩小，并不代表实际尺寸；
对于本领域技术人员来说，附图中某些公知内容说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例
如图1所示，本实施例中，提出一种基于双向注意力和二次优化的短期风功率预测方法，具体流程示意图参见图1，所述方法包括以下步骤：
S1.获取m个风电功率子序列、m个风速子序列、风向正弦时间序列及风向余弦时间序列；
具体过程为：
S11.获取风电功率历史数据、风速历史数据及风向历史数据，对风电功率历史数据、风速历史数据及风向历史数据做预处理，得到风电功率数据时间序列、风速数据时间序列及风向数据时间序列；
在本实施例中，获取的风电功率数据、风速历史数据及风向历史数据为风电功率系列信号，设定为连续采集一个月且每次采样间隔为1h的风电功率、风速和风向数据，一天可采集72个数据点(包含风电功率、风速和风向)，以时间划分，可以得到风电功率数据时间序列、风速数据时间序列及风向数据时间序列。
S12.对风电功率数据时间序列、风速数据时间序列分别进行集合经验模式分解，得到m个风电功率子序列和m个风速子序列；
在本实施例中，风电功率数据时间序列或风速数据时间序列进行集合经验模式分解的过程为：
S121.为原始风电功率数据时间序列或风速数据时间序列x(t)添加高斯白噪声w(t)，得到新的信号X(t)；
S122.对信号X(t)执行经验模式分解得到一系列本征模态函数imf分量和一个残差分量n(t)，分解后信号X(t)表示为：
其中，l表示分解所得imf分量的数量；在该过程中，具体包括：
A.确定X(t)的所有局部极值(包括局部极大值和局部极小值)；连接所有局部最大点并用三次样条插值函数拟合形成原数据的上包络线XU1(t)；同样地，连接所有局部最小点并用三次样条插值函数拟合形成原数据的下包络线XL1(t)；
B.计算均值包络线M1(t)：
M1(t)＝[XU1(t)+XL1(t)]/2 (5)
C.用X(t)减去M1(t)得到新的序列信号H1(t)＝X(t)-M1(t)；
D.判断H1(t)是否满足高频本征模函数imf的两个条件，若满足，此时H1(t)就是一个imf分量并设C(t)＝H1(t)；若不满足，则将H1(t)作为新的输入，重新执行步骤S221至S223，直至得到满足条件的H1(t)；通常需要执行若干次迭代来获取imf分量；
E.求取差值序列r(t)＝X(t)-C(t)，并以r(t)作为新的输入，重新执行步骤S221至S224，直至找到数量为l的IMF分量。
S123.重复执行步骤S21和步骤S22共N次后，取算数平均得到最终的本征模态函数IMF分量，具体表示为：
其中，IMFi(t)为经过集合经验模式分解最终所得的第i个本征模态函数IMF分量；
S124.风电功率数据时间序列/风速数据时间序列x(t)可以表示为：
其中，Rn(t)为集合经验模式分解所余残差分量；
S13.将风向数据时间序列转换为风向正弦时间序列和风向余弦时间序列，基础风向与正、余弦之间的风向转换可以通过基础数学理论实现。
S2.将m个风电功率子序列、m个风速子序列、风向正弦时间序列及风向余弦时间序列拼接处理，形成m个数据集；
所述的m个数据集的形成过程为：
m个风电功率子序列中的第j个风电功率子序列、m个风速子序列中的第j个风速子序列、风向正弦时间序列、风向余弦时间序列依次拼接，形成第j个数据集；
重复m次，得到m个数据集，j＝1,2,…,m，m表示集合经验模式分解后的风电功率子序列数量或风速子序列数量。以T作为时间步长，m个风电功率子序列中的第j个风电功率子序列、m个风速子序列中的第j个风速子序列、风向正弦时间序列、风向余弦时间序列依次拼接，得到一个时间步长内的T×F的输入张量，其中，F为特征数，包括风电功率子序列特征、风速子序列特征、风向正弦特征及风向余弦特征。
其中，单个输入张量Xorg可表示为：
S3.建立m个双向注意力-残差网络-门控循环单元深度学习预测模型，分别从m个数据集中动态选择单个输入张量作为训练样本，对m个双向注意力-残差网络-门控循环单元深度学习预测模型进行训练；如图2所示，动态选择单个输入张量作为训练样本时，以T为时间步长，在第j个风电功率子序列、第j个风速子序列、风向正弦时间序列、风向余弦时间序列依次拼接构成的第j个数据集中，滑动选取下一个输入张量，形状也为T×F。
在本实施例中，m个双向注意力-残差网络-门控循环单元深度学习预测模型中的每一个均包括：双向注意力机制评估单元、残差网络及门控循环单元；对m个双向注意力-残差网络-门控循环单元深度学习预测模型进行训练的方法为梯度下降法。
模型具体的构建思路为：
S31.利用双向注意力机制从输入张量的特征维度和时间维度两方面进行考虑，动态地评估样本输入(即单个输入张量)中每个元素对当前时刻输出的重要性；
S32：以经过双向注意力机制评估后的输出张量作为残差网络的输入，提取各输入特征之间所隐含的静态耦合关系；
S33：以残差网络的输出作为门控循环单元的输入，作进一步地时序相关性信息的提取，并输出所预测风电功率子序列。
在本实施例中，所述双向注意力机制评估单元包括并行的特征注意力评估单元和时间注意力评估单元，特征注意力评估单元和时间注意力评估单元均为两层的神经网络，特征注意力评估单元的输入神经元和输出神经元数目均为F，时间注意力评估单元的输入神经元和输出神经元的数目均为T，特征注意力评估单元的输入为T×F的输入张量，输出为特征注意力评估结果Xf_att；时间注意力评估单元的输入为T×F的输入张量的转置，输出为时间注意力评估结果Xf_att，特征注意力评估结果Xf_att和时间注意力评估结果Xf_att融合为双向注意力机制最终评估结果Xatt_out，以作为残差网络的输入；以单个输入张量Xorg作为输入，特征注意力评估具体运算过程如下：
U(T×F)＝fa(XorgWf+bf)
其中，U是未归一化的特征权值矩阵；A为使用softmax函数对U中每一行作归一化后所得的对应归一化特征注意力分布矩阵；α是长度为F的特征注意力向量；Wf为神经网络权重矩阵；bf为偏置项；fa(·)为神经网络输出激活函数。
将得到的特征注意力向量α与Xorg作点乘运算，得到最终的特征注意力评估结果Xf_att，具体运算如下：
时间注意力评估模型的输入输出神经元数目均为T，以单个输入张量Xorg的转置结果作为输入，时间注意力评估具体运算过程如下：
V(F×T)＝fb((Xorg)TWt+bt)
其中，V是未归一化的时间权值矩阵；B为使用softmax函数对V中每一行作归一化后所得的对应归一化时间注意力分布矩阵；β是长度为T的时间注意力向量，也是时间评估结果；Wt为神经网络权重矩阵；bt为偏置项；fb(·)为神经网络输出激活函数。
将Xorg与得到的时间注意力向量β的转置作点乘运算，得到最终的时间注意力评估结果Xt_att，具体运算如下：
特征注意力评估结果Xf_att和时间注意力评估结果Xf_att融合为双向注意力机制最终评估结果Xatt_out的表达式为：
其中，μ和λ均表示矩阵融合系数，相加为1。
所述残差网络包含3层卷积层，每层卷积层均设置卷积核尺寸为1×1，残差网络的输入端与最后一层卷积层的输出端之间建立跨层连接，添加扁平层将残差网络的输出排列成一维向量，作为门控循环单元的输入；
双向注意力机制最终评估结果Xatt_out作为残差网络的输入，进行输入特征的静态耦合关系提取，得到残差网络的输出Xres_out，输入特征的静态耦合关系提取的表达式为：
Xres_out＝f(Xatt_out+F(Xatt_out,Wres,bres))
其中，F(·)表示残差网络所具象出的映射函数；f(·)表示残差网络最终输出所用的激活函数；Wres表示残差网络权重矩阵；bres表示残差网络偏置项；通过添加的扁平层将残差网络的输出Xres_out排列成一个一维的向量Y＝(y1,y2,…,yT)并将其作为门控循环单元的输入，此时T表示向量Y的长度，yT表示向量Y中的最后一个值；
所述门控循环单元包括一个重置门和一个更新门，包括2个神经网络层，每层神经元的数目分别设置为4和8；每一个时刻t的重置门和重置门均接收当前输入数据和t-1时刻的状态输出ht-1，获取t时刻的门控循环单元的状态输出ht，具体的，
重置门rt控制网络当前时刻输入与历史时刻记忆之间的融合程度：
rt＝σ(Wryyt+ht-1Wrh+br)
更新门zt决定对历史时刻记忆信息的保存程度：
zt＝σ(Wzyyt+ht-1Wzh+bz)
计算此时刻的状态输出ht：
其中，σ是Sigmoid激活函数；Wry、Wrh表示重置门的权重矩阵，Wzy、Wzh表示更新门的权重矩阵，Why表示输入yt(向量Y中的单个元素)的权重矩阵，Whh表示前一时刻的状态输出ht-1的权重矩阵，br、bz和bh为对应的偏置；ht％是对当前时刻状态的记忆；⊙是元素对应位置点乘运算。再经过门控循环单元处理后，输出预测风电功率时间子序列。
S4.依次对训练好的每个双向注意力-残差网络-门控循环单元深度学习预测模型进行二次优化；
依次对训练好的每个双向注意力-残差网络-门控循环单元深度学习预测模型进行二次优化时，是对训练好的每个双向注意力-残差网络-门控循环单元深度学习预测模型的输出全连接层进行二次优化，二次优化的方法为纵横交叉算法，具体执行步骤为：
S41：确定算法种群大小P和粒子信息维度大小D，其中，D包含所要优化输出全连接层的权重和偏置数量，具体的大小可根据如下公式确定：
D＝hfc×nout+nout
其中，hfc为最终输出层前面一层全连接层的神经元数量；nout为最终输出层全连接层神经元的数量；
S42：确定待优化输出全连接层参数的上下限以及单个粒子Z(k)的组成形式：
Z(k)＝[pk1,pk2,L,pkD],k∈[1,P]
其中，btrained为已训练好的模型偏置值；Δθ为偏置偏移量；pkD为输出全连接层的权值或偏置；wl和bl分别表示权值和偏置的上下限；
S43：确定最小优化目标函数式，具体形式如下：
其中，fobj为优化目标；sT为训练样本数量；ytrue为训练样本对应的实际测量值；ypred为根据当前算法寻优得到的输出全连接层参数计算出来的模型风电功率预测值；
S44：结合步骤S41、S42和S43，作种群初始化，得到初始种群Z＝[Z(1),Z(2),…,Z(P)]；
S45：做纵向交叉运算得到子种群Svc，并更新种群Z；
种群Z的具体更新步骤为：
S451：根据当前种群Z作纵向交叉运算，得到子种群Svc，主要包括以下子步骤：
(1)对种群Z中的每一维执行归一化，具体公式如下：
其中，Z(i,d)指种群Z中粒子Z(i)第d维的权值或阈值，pdmax指第d维的权值或偏置值的最大值，pdmin指第d维的权值或偏置值的最小值；
(2)在纵向交叉概率Pvc条件下，对种群Z中每个粒子的不同维作两两不重复交叉配对运算，共执行
次，具体运算过程如下：
其中，r为0到1之间的正态随机分布数，S* vc(i,d1)是粒子Z(i)第d1维和第d2维纵向交叉得到的结果；
(3)执行反归一化，得到最终的子种群Svc，具体运算如下：
S452：根据子种群Svc，更新种群Z，更新方式如下：
Z(i)＝Lbest←min(fobj(Z(i)),fobj(Svc(i))),i∈[1,P]
其中，Lbest指在粒子Z(i)和Svc(i)中选择根据式(23)计算出目标值最小所对应的粒子；
S46：做横向交叉运算得到子种群Shc，并更新种群Z；
种群Z的具体更新步骤为：
S461：根据种群Svc作横向交叉运算，得到子种群Shc，包括以下步骤：
(1)在横向交叉概率Phc条件下，对种群Svc中的不同粒子作两两不重复交叉配对运算，共执行
次后得到子种群Shc，具体运算过程如下：
Shc(i,d)＝r1×Svc(i,d)+(1-r1)×Svc(j,d)+c1×(Svc(i,d)-Svc(j,d))
Shc(j,d)＝r2×Svc(j,d)+(1-r2)×Svc(i,d)+c2×(Svc(j,d)-Svc(i,d))
S462：根据子种群Shc，更新种群Z，更新方式如下：
Z(i)＝Lbest←min(fobj(Z(i)),fobj(Shc(i))),i∈[1,P]
S47：根据设计的迭代次数重复执行步骤S45和S47；
S5.利用训练好的模型进行短期风功率预测。
利用训练好的模型进行短期风功率预测的步骤为：
设置短期预测提前时间为ty，利用训练好的m个双向注意力-残差网络-门控循环单元深度学习预测模型进行提前时间为ty的风电功率预测，获得m个预测风电功率时间子序列；
将获得的m个预测风电功率时间子序列进行叠加，得到最终预测风电功率时间序列。
在本实施例中，设置短期预测提前时间ty为1h，但实际实施时不限于1h，采用的风电功率系列信号为连续采集一个月且每次采样间隔为1h的风电功率、风速和风向数据，一天可采集72个数据点(包含风电功率、风速和风向)，训练样本为前600个历史风电数据，图3表示利用本发明所提的基于双向注意力和二次优化的短期风功率预测方法实现短期风功率预测的曲线效果图，横坐标表示时间，纵坐标表示风电功率，“★”表示风电功率实际值的曲线标记，“■”表示利用本发明所提的方法预测的风电功率的曲线标记，有图3可以看出，本发明提出的方法对风电功率的预测精度较高。
显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于双向注意力和二次优化的短期风功率预测方法，其特征在于，包括以下步骤：
S1.获取m个风电功率子序列、m个风速子序列、风向正弦时间序列及风向余弦时间序列；
S2.将m个风电功率子序列、m个风速子序列、风向正弦时间序列及风向余弦时间序列拼接处理，形成m个数据集；
S3.建立m个双向注意力-残差网络-门控循环单元深度学习预测模型，分别从m个数据集中动态选择单个输入张量作为训练样本，对m个双向注意力-残差网络-门控循环单元深度学习预测模型进行训练；
S4.依次对训练好的每个双向注意力-残差网络-门控循环单元深度学习预测模型进行二次优化；
S5.利用训练好的模型进行短期风功率预测。
2.根据权利要求1所述的基于双向注意力和二次优化的短期风功率预测方法，其特征在于，步骤S1所述的获取m个风电功率子序列、m个风速子序列、风向正弦时间序列及风向余弦时间序列的过程为：
S11.获取风电功率历史数据、风速历史数据及风向历史数据，对风电功率历史数据、风速历史数据及风向历史数据做预处理，得到风电功率数据时间序列、风速数据时间序列及风向数据时间序列；
S12.对风电功率数据时间序列、风速数据时间序列分别进行集合经验模式分解，得到m个风电功率子序列和m个风速子序列；
S13.将风向数据时间序列转换为风向正弦时间序列和风向余弦时间序列。
3.根据权利要求2所述的基于双向注意力和二次优化的短期风功率预测方法，其特征在于，步骤S2所述的m个数据集的形成过程为：
m个风电功率子序列中的第j个风电功率子序列、m个风速子序列中的第j个风速子序列、风向正弦时间序列、风向余弦时间序列依次拼接，形成第j个数据集；
重复m次，得到m个数据集，j＝1,2,…,m，m表示集合经验模式分解后的风电功率子序列数量或风速子序列数量。
4.根据权利要求书3所述的基于双向注意力和二次优化的短期风功率预测方法，其特征在于，步骤S3中m个双向注意力-残差网络-门控循环单元深度学习预测模型中的每一个均包括：双向注意力机制评估单元、残差网络及门控循环单元；
所述双向注意力机制评估单元包括并行的特征注意力评估单元和时间注意力评估单元，特征注意力评估单元和时间注意力评估单元均为两层的神经网络，特征注意力评估单元的输入神经元和输出神经元数目均为F，时间注意力评估单元的输入神经元和输出神经元的数目均为T，特征注意力评估单元的输入为T×F的输入张量，输出为特征注意力评估结果Xf_att；时间注意力评估单元的输入为T×F的输入张量的转置，输出为时间注意力评估结果Xf_att，特征注意力评估结果Xf_att和时间注意力评估结果Xf_att融合为双向注意力机制最终评估结果Xatt_out，以作为残差网络的输入；
所述残差网络包含3层卷积层，每层卷积层均设置卷积核尺寸为1×1，残差网络的输入端与最后一层卷积层的输出端之间建立跨层连接，添加扁平层将残差网络的输出排列成一维向量，作为门控循环单元的输入；
所述门控循环单元包括一个重置门和一个更新门，每一个时刻t的重置门和重置门均接收当前输入数据和t-1时刻的状态输出ht-1，获取t时刻的门控循环单元的状态输出ht，再经过门控循环单元处理后，输出预测风电功率时间子序列。
5.根据权利要求4所述的基于双向注意力和二次优化的短期风功率预测方法，其特征在于，特征注意力评估结果Xf_att和时间注意力评估结果Xf_att融合为双向注意力机制最终评估结果Xatt_out的表达式为：
其中，μ和λ均表示矩阵融合系数，相加为1。
6.根据权利要求5所述的基于双向注意力和二次优化的短期风功率预测方法，其特征在于，双向注意力机制最终评估结果Xatt_out作为残差网络的输入，进行输入特征的静态耦合关系提取，得到残差网络的输出Xres_out，输入特征的静态耦合关系提取的表达式为：
Xres_out＝f(Xatt_out+F(Xatt_out,Wres,bres))
其中，F(·)表示残差网络所具象出的映射函数；f(·)表示残差网络最终输出所用的激活函数；Wres表示残差网络权重矩阵；bres表示残差网络偏置项。
7.根据权利要求4所述的基于双向注意力和二次优化的短期风功率预测方法，其特征在于，步骤S3中，以T作为时间步长，m个风电功率子序列中的第j个风电功率子序列、m个风速子序列中的第j个风速子序列、风向正弦时间序列、风向余弦时间序列依次拼接，得到一个时间步长内的T×F的输入张量，其中，F为特征数，包括风电功率子序列特征、风速子序列特征、风向正弦特征及风向余弦特征，动态选择单个输入张量作为训练样本时，以T为时间步长，在第j个风电功率子序列、第j个风速子序列、风向正弦时间序列、风向余弦时间序列依次拼接构成的第j个数据集中，滑动选取下一个输入张量，形状也为T×F。
8.根据权利要求7所述的基于双向注意力和二次优化的短期风功率预测方法，其特征在于，步骤S3中对m个双向注意力-残差网络-门控循环单元深度学习预测模型进行训练的方法为梯度下降法。
9.根据权利要求1所述的基于双向注意力和二次优化的短期风功率预测方法，其特征在于，步骤S4所述依次对训练好的每个双向注意力-残差网络-门控循环单元深度学习预测模型进行二次优化时，是对训练好的每个双向注意力-残差网络-门控循环单元深度学习预测模型的输出全连接层进行二次优化，二次优化的方法为纵横交叉算法。
10.根据权利要求9所述的基于双向注意力和二次优化的短期风功率预测方法，其特征在于，利用训练好的模型进行短期风功率预测的步骤为：
设置短期预测提前时间为ty，利用训练好的m个双向注意力-残差网络-门控循环单元深度学习预测模型进行提前时间为ty的风电功率预测，获得m个预测风电功率时间子序列；
将获得的m个预测风电功率时间子序列进行叠加，得到最终预测风电功率时间序列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110888260.7A CN113689030B (zh) | 2021-08-03 | 2021-08-03 | 一种基于双向注意力和二次优化的短期风功率预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110888260.7A CN113689030B (zh) | 2021-08-03 | 2021-08-03 | 一种基于双向注意力和二次优化的短期风功率预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113689030A true CN113689030A (zh) | 2021-11-23 |
| CN113689030B CN113689030B (zh) | 2022-05-27 |
Family
ID=78578661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110888260.7A Active CN113689030B (zh) | 2021-08-03 | 2021-08-03 | 一种基于双向注意力和二次优化的短期风功率预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113689030B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114169251A (zh) * | 2021-12-27 | 2022-03-11 | 广东工业大学 | 一种超短期风电功率预测方法 |
| CN116559681A (zh) * | 2023-07-12 | 2023-08-08 | 安徽国麒科技有限公司 | 基于深度学习时序算法的退役电池容量预测方法和装置 |
| CN117893362A (zh) * | 2024-03-18 | 2024-04-16 | 广东工业大学 | 一种多时空尺度的海上风电特征筛选及增强的功率预测方法 |
| CN118013866A (zh) * | 2024-04-09 | 2024-05-10 | 西北工业大学 | 一种基于横纵注意力的中长期径流预测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109063915A (zh) * | 2018-08-10 | 2018-12-21 | 广东工业大学 | 短期风速预测方法、装置、设备、系统及存储介质 |
| CN110348632A (zh) * | 2019-07-11 | 2019-10-18 | 广东电网有限责任公司 | 一种基于奇异谱分析和深度学习的风电功率预测方法 |
| CN110390435A (zh) * | 2019-07-24 | 2019-10-29 | 广东工业大学 | 一种风电功率预测方法、装置、设备及可读存储介质 |
| US20210064689A1 (en) * | 2019-08-27 | 2021-03-04 | Nec Laboratories America, Inc. | Unsupervised multivariate time series trend detection for group behavior analysis |
| CN112784798A (zh) * | 2021-02-01 | 2021-05-11 | 东南大学 | 一种基于特征-时间注意力机制的多模态情感识别方法 |
| CN112801350A (zh) * | 2021-01-13 | 2021-05-14 | 中国电建集团华东勘测设计研究院有限公司 | 基于不确定度的深度学习超短时风电功率预测方法 |
-
2021
- 2021-08-03 CN CN202110888260.7A patent/CN113689030B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109063915A (zh) * | 2018-08-10 | 2018-12-21 | 广东工业大学 | 短期风速预测方法、装置、设备、系统及存储介质 |
| CN110348632A (zh) * | 2019-07-11 | 2019-10-18 | 广东电网有限责任公司 | 一种基于奇异谱分析和深度学习的风电功率预测方法 |
| CN110390435A (zh) * | 2019-07-24 | 2019-10-29 | 广东工业大学 | 一种风电功率预测方法、装置、设备及可读存储介质 |
| US20210064689A1 (en) * | 2019-08-27 | 2021-03-04 | Nec Laboratories America, Inc. | Unsupervised multivariate time series trend detection for group behavior analysis |
| CN112801350A (zh) * | 2021-01-13 | 2021-05-14 | 中国电建集团华东勘测设计研究院有限公司 | 基于不确定度的深度学习超短时风电功率预测方法 |
| CN112784798A (zh) * | 2021-02-01 | 2021-05-11 | 东南大学 | 一种基于特征-时间注意力机制的多模态情感识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| TONGGUANG YANG 等: "LSTM-Attention-Embedding Model-Based Day-Ahead Prediction of Photovoltaic Power Output Using Bayesian Optimization", 《IEEE ACCESS》 * |
| 殷豪 等: "基于二次模式分解和级联式深度学习的超短期风电功率预测", 《电网技术》 * |
| 谢林枫等: "基于一种新技术的风电功率短期预测", 《计算机仿真》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114169251A (zh) * | 2021-12-27 | 2022-03-11 | 广东工业大学 | 一种超短期风电功率预测方法 |
| CN116559681A (zh) * | 2023-07-12 | 2023-08-08 | 安徽国麒科技有限公司 | 基于深度学习时序算法的退役电池容量预测方法和装置 |
| CN117893362A (zh) * | 2024-03-18 | 2024-04-16 | 广东工业大学 | 一种多时空尺度的海上风电特征筛选及增强的功率预测方法 |
| CN117893362B (zh) * | 2024-03-18 | 2024-07-26 | 广东工业大学 | 一种多时空尺度的海上风电特征筛选及增强的功率预测方法 |
| CN118013866A (zh) * | 2024-04-09 | 2024-05-10 | 西北工业大学 | 一种基于横纵注意力的中长期径流预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113689030B (zh) | 2022-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113689030B (zh) | 一种基于双向注意力和二次优化的短期风功率预测方法 | |
| CN111899510B (zh) | 基于发散卷积和gat的智能交通系统流量短期预测方法及系统 | |
| CN109492822B (zh) | 空气污染物浓度时空域关联预测方法 | |
| CN110059878B (zh) | 基于cnn lstm光伏发电功率预测模型及其构建方法 | |
| CN110705743B (zh) | 一种基于长短期记忆神经网络的新能源消纳电量预测方法 | |
| CN109583565B (zh) | 基于注意力模型长短时记忆网络的洪水预测方法 | |
| CN113554466B (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
| CN110473592B (zh) | 一种多视角人类协同致死基因预测方法 | |
| CN112949828A (zh) | 一种基于图学习的图卷积神经网络交通预测方法及系统 | |
| CN110751318A (zh) | 一种基于ipso-lstm的超短期电力负荷预测方法 | |
| CN112329990A (zh) | 一种基于lstm-bp神经网络的用户用电负荷预测方法 | |
| CN112285376A (zh) | 一种基于cnn-lstm的风速预测方法 | |
| CN112766603A (zh) | 一种交通流量预测方法、系统、计算机设备及存储介质 | |
| CN115759461A (zh) | 一种面向物联网的多元时间序列预测方法及系统 | |
| CN117277279A (zh) | 一种基于粒子群优化的深度学习短期负荷预测方法 | |
| CN116227180A (zh) | 基于数据驱动的机组组合智能决策方法 | |
| CN117748495A (zh) | 一种基于残差神经网络的光伏电站短期发电功率预测方法 | |
| CN117313795A (zh) | 一种基于改进dbo-lstm的智慧楼宇能耗预测方法 | |
| CN115829115A (zh) | 一种基于pca-lstm-mtl含光伏电站的台区负荷预测方法 | |
| CN115561005A (zh) | 基于eemd分解和轻量化神经网络的化工过程故障诊断方法 | |
| CN114596726B (zh) | 基于可解释时空注意力机制的停车泊位预测方法 | |
| CN115034432A (zh) | 一种风电场风力发电机组风速预测方法 | |
| CN110991729A (zh) | 一种基于迁移学习和多头注意力机制的负荷预测方法 | |
| CN115348182B (zh) | 一种基于深度堆栈自编码器的长期频谱预测方法 | |
| CN116565876A (zh) | 一种鲁棒强化学习的配网潮流优化方法及计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |