CN116680540A - 一种基于深度学习的风电功率预测方法 - Google Patents
一种基于深度学习的风电功率预测方法 Download PDFInfo
- Publication number
- CN116680540A CN116680540A CN202310722489.2A CN202310722489A CN116680540A CN 116680540 A CN116680540 A CN 116680540A CN 202310722489 A CN202310722489 A CN 202310722489A CN 116680540 A CN116680540 A CN 116680540A
- Authority
- CN
- China
- Prior art keywords
- wind power
- training
- model
- head
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013135 deep learning Methods 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 54
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims abstract description 11
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims abstract description 9
- 238000012795 verification Methods 0.000 claims abstract description 5
- 238000012937 correction Methods 0.000 claims abstract description 3
- 230000007246 mechanism Effects 0.000 claims description 35
- 239000013598 vector Substances 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 238000010248 power generation Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 238000013178 mathematical model Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims 1
- 125000003275 alpha amino acid group Chemical group 0.000 claims 1
- 150000001875 compounds Chemical class 0.000 claims 1
- 230000002159 abnormal effect Effects 0.000 abstract description 7
- 238000002474 experimental method Methods 0.000 abstract description 7
- 230000006641 stabilisation Effects 0.000 abstract description 4
- 238000011105 stabilization Methods 0.000 abstract description 4
- 238000012423 maintenance Methods 0.000 abstract description 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000013528 artificial neural network Methods 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 12
- 238000000354 decomposition reaction Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 239000012634 fragment Substances 0.000 description 4
- 238000005065 mining Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/004—Generation forecast, e.g. methods or systems for forecasting future energy generation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Power Engineering (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于深度学习的风电功率预测方法。首先，对风电数据进行异常数据识别、修正及平稳化等预处理。其次，制作含有多个样本的数据集，每个样本含有其对应的风速、风向、温度、气压、湿度等风电参数，并划分出训练集、验证集、测试集。然后，将训练集用于Transformer模型的训练，基于BPTT的序列反向传播训练，并采用Adam优化算法提高预测精度。最后，用训练完成后模型对风电功率进行预测实验。该方法对于提高风电功率预测精度，提高电力系统的可靠性、安全性和风能利用效率，以及制定风电机组的维护计划等有十分重要的意义。
Description
技术领域
本发明涉及一种基于深度学习的风电功率预测方法
背景技术
风力发电是一种绿色、丰富、成熟的能源，已引起许多国家的重视和发展。然而，由于天气条件的不确定性，研究人员很难建立准确的风电预测模型。对于电力系统而言，保证其稳定性和消除不确定性是十分重要的，而风电的随机波动性很强，这就导致了风力发电的出力不确定，进而导致风电并网对电力系统的有功功率和频率稳定性平衡造成困难。为避免这种现象，大量风电资源被浪费，因此，迫切需要对风力发电功率进行精确的预测。风力发电预测的主要目标是提高模型的预测性能。因此，来自不同国家的研究人员试图通过以下方式优化预测模型：第一，改进模型的预测算法结构；第二，使用优化算法动态调整模型的超参数；第三，通过聚类算法对风电数据样本进行划分，并建立不同条件下的预测模型。这些改进的方法可以在一定程度上提高模型的预测性能，但效果仍然不佳。预测模型对输入数据的依赖度较高，实际工程上风电数据的完整性、一致性和时效性并不能得到保证。在风电原始数据质量不高的前提下，当前基于数据挖掘的神经网络模型仍有空间提高其挖掘历史时间序列特征的能力以优化风力发电的预测精度。针对传统神经网络模型预测精度不够理想的问题，本发明采用人工智能领域中十分先进的Transformer模型进行风电功率的预测。深度学习Transformer模型是一种基于自注意力机制的神经网络模型，它同时利用气象数据与历史风电数据，保存了信息之间的耦合关系，实现了对风电序列特征信息的深度挖掘。
发明内容
本发明主要通过一种基于深度学习Transformer模型来进行风电功率的预测，此方法在一定程度上解决了传统预测模型的预测精度不够理想的问题，Transformer模型的风电功率预测模型精确度较高，更能准确预测出风电功率，有效地避免了对风力资源造成浪费。
本发明利用深度学习Transformer模型来搭建风电功率预测模型，具体是通过以下步骤①～⑤实现的。
步骤①对于预测模型而言，风电历史数据是重要的输入量之一，其准确性和有效性对模型的预测精度起决定性的作用。因此在输入风电历史数据之前，需要先对数据进行预处理；本发明采用改进孤立森林算法和K-最邻近插补法对风电异常数据进行识别和综合修正；采用快速集合经验模态分解(FEEMD)和变分模态分解(VMD)对风电序列进行平稳化处理；最后，用深度学习Transformer模型进行风电功率的预测。
步骤②制作含有多个样本的数据集，由于风电功率主要受风速的影响，另外与其他外界环境条件包括温度、湿度、风向、气压等均有一定关系，多方面的考虑环境因素，可以对风电功率发电量的预测结果起到一定的优化作用。数据集中WS代表风速，WD代表风向，TE代表温度,HU代表湿度，PR代表气压。接着，将数据按照6:2:2的比例划分为训练集(TrainSet)、验证集(Validation Set)、测试集(Test Set)。其中，训练集用于Transformer模型的训练，确定模型的权重和偏置等参数，验证集并不参与模型的训练，只用于确定模型的超参数，比如:网络层数、网络节点数、迭代次数、学习率等，测试集用于训练完成后评价模型的性能。
步骤③把步骤②中的训练集(Train Set)用于Transformer模型的训练，序列的前向传播计算过程，就是将训练集中的风电参数序列,作为输入数据(Encoder input)，经过Transformer模型的迭代，最终输出当前网络预测的风电功率P'。Transformer是一个基于Encoder-Decoder框架的模型，传统RNN对时序具有依赖性，导致难以并行计算，而Transformer的Encoder和Decoder是完全基于Attention机制的，下一时刻的输入对上一时刻的输出并不存在依赖性。Attention机制是将一个序列当成一个整体，整体处理以便进行并行计算，减少训练时间。同时对输入信号的时序信息加以利用，输入信号首先叠加上位置编码(Positional Encoding)，对于Encoder而言，其内部主要包含多头自注意力层(Multi-Head Self-Attention)、残差模块(ResNet)和前馈网络(Feed ForwardNet)三个模块，位置编码后的信号经过Encoder的处理后，将输出的键值对向量(key-value)作为Decoder多头注意力层(Multi-Head Attention)的输入。对于Decoder
而言，将实际的风电历史功率P,作为输入数据，同样经过位置编码和多头自注意力层，并将多头自注意力层的输出作为多头注意力层的查询向量(query)，多头注意力层的输出经过残差模块(ResNet)以及前馈网络(Feed Forward Net)和线性层(Linear)得到最终网络预测的风电功率P'。
步骤④在完成步骤③后，对Transformer模型中的神经网络进行反向传播。基于BPTT的序列反向传播训练，BPTT(Back-Propagation Through Time)是随时间反向传播的算法，应用BPTT算法将Loss与损失函数的梯度一起反馈给神经网络来更新权重，实现减少后续迭代中误差的目的。在反向传播过程中,通过优化算法来求取模型的最优解，本发明采用Adam优化算法，Adam算法相比于梯度下降法和动量法，它的学习率是在迭代的过程中动态调整的而不是固定的，进而不断更新权重，使得损失函数不断逼近全局最小。
步骤⑤经过步骤③的训练集(Train Set)训练和步骤④的反向传播训练后，当此预测风电功率的Transformer模型经过300轮训练完成后，模型会选择整个训练过程中损失值最小模型的参数进行保存。在模型训练结束之后，通过测试集评价模型的预测精度。从测试集中随机取不同的100个连续的点构成实验结果片段1和实验结果片段2，并与实际风电功率进行对比。
通过以上步骤①～⑤即完成基于Transformer模型的风电功率的准确预测。
本发明的有益效果是：
风能因其绿色清洁和可持续发展的特性，近年来得到迅速发展。然而，风电的波动性与不稳定性会给电力系统的安全稳定运行造成干扰，风电规模越大，造成的影响也越严重。许多风电场会弃风来保证风电出力稳定，对风力资源造成浪费，提高风电功率预测的准确性可以有效避免这种现象。本发明采用改进孤立森林算法和K-最邻近插补法对风电异常数据进行识别和综合修正，实现了对异常数据不同影响因素关联性特征的利用，从而有效提高了风电异常数据的识别和修正的精度；采用快速集合经验模态分解(FEEMD)，分解产生较为复杂的高频本征模函数IMF1分量,将波动性最强的IMF1使用变分模态分解(VMD)进行二次分解，进一步消除风电序列的复杂度，对风电序列进行平稳化处理；并且针对传统深度学习模型BP神经网络、卷积神经网络(CNN)、长短期记忆网络(LSTM)预测精度不高的问题，提出基于自注意力机制的Transformer模型，利用风力发电厂的风电数据，结合气象数据(温度、湿度、风速、风向、气压)与历史风电功率数据，深度挖掘序列的特征信息，达到更好的预测精度。实验证明，基于Transformer的风电功率预测模型能够精确的预测出风电功率。这对提高电力系统的可靠性和安全性，提高风能利用的效率，以及制定风电机组的维护计划等有十分重要的意义。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为基于Transformer模型的风电功率预测模型的结构示意图。
图2为BP(Back Propagation，BP)神经网络，卷积神经网络(ConvolutionalNeural Networks,CNN)，长短期记忆网络(Long Short-Term Memory，LSTM)，Transformer模型这四种模型针对实验片段1预测结果的平均绝对误差(MAE)的曲线对比图。
图3为这四种模型针对两个实验片段的均方根误差(RMSE)的柱状对比图。
图4为这四种模型针对两个实验片段的皮尔森相关系数(Pearson'sCorrelationCoefficient)的对比图。
图5为这四种模型针对两个实验片段的R方(R-squared，R2)的对比图。
具体实施方式
如图1所示，本发明提供了一种基于深度学习Transformer模型的风电功率预测方法包括以下步骤：
步骤①对于预测模型而言，风电历史数据是重要的输入量之一，其准确性和有效性对模型的预测精度起决定性作用。因此在输入风电历史数据之前，需要先对数据进行预处理；为了解决风电异常数据对模型预测精确度的不利影响，本发明采用改进孤立森林算法对风电功率异常数据进行识别，再利用K-最邻近插补法对清洗后的数据进行修正，然后，为了降低风电数据的波动性和随机性对模型预测精度的影响，采用快速集合经验模态分解(FEEMD)和变分模态分解(VMD)对风电序列进行平稳化处理。最后，用深度学习Transformer模型进行风电功率的预测。
步骤②数据集的制作；
风力发电功率主要受风速影响，另外与其他外界环境条件包括温度、湿度、风向、气压等均有一定关系。多方面的考虑环境因素，可以对风电功率发电量的预测结果起到一定的优化作用。
制作含有n个样本的数据集，样本数据集的矩阵表示形式如式(1-1)所示：
在表达式(1-1)中，每一行代表一个样本的数据，WS,WD,TE,PR,HU分别代表风速、风向、温度、气压、湿度。Ts代表采样周期。接着，将数据以6:2:2的比例划分为训练集、验证集、测试集。其中，训练集用于Transformer模型的训练，确定模型的权重和偏置等参数，验证集并不参与模型的训练，只用于确定模型的超参数，比如:网络层数、网络节点数、迭代次数、学习率等。测试集用于训练完成后评价模型的性能。
步骤③把步骤②中的训练集用于Transformer模型的训练，对于Encoder而言，把训练集中的风电参数序列,作为输入数据(Encoder input)，经过Transformer模型的迭代，最终输出当前网络预测的风电功率P'。对于Decoder而言，将实际的风电历史功率P，作为输入数据，同样经过位置编码和多头自注意力层，并将多头自注意力层的输出作为多头注意力层的查询向量(query)，多头注意力层的输出经过残差模块(ResNet)以及前馈网络(FeedForwardNet)和线性层(Linear)得到最终网络预测的风电功率P'。Transformer模型是一种基于自注意力机制的神经网络模型。它的特点是不需要使用循环神经网络或卷积神经网络，而是完全依赖于注意力机制来捕捉序列中的特征信息。完全依赖于注意力机制使得Transformer模型的计算速度更快，自注意力可以捕捉全局信息，而且不受时间或空间距离的限制。Transformer模型由编码器(Encoder)和解码器(Decoder)组成，每个部分都包含多个自注意力层和前馈层。Encoder可以包含多个子层(Encoder Layer),每个EncoderLayer由多头注意力机制，前馈全连接层等组成。Decoder也可以包含多个子层(DecoderLayer)，每个Decoder Layer由带有掩码的多头自注意力机制，前馈全连接层等组成。Transformer模型的各层环节在下文中的a、b、c、d四层环节中实现。
a.位置编码
与传统的深度学习模型CNN、RNN等相比，Transformer模型并没有循环或者卷积的结构，所以对序列中的位置信息并不敏感，这对于从时序关联性较强的序列中提取特征数据是不利的。因此在输入数据进入模型之前，需要先对数据进行位置编码，使输入的序列带有位置信息，保留了序列前后的关联性。通过正弦和余弦函数求取样本序列的位置信息编码，进行序列前后的关联性编码，位置编码的计算方式如式(1-2)、(1-3)所示：
pos表示样本在序列中的位置信息，dm为设置的维度，2j和2j+1表示奇偶性。
b.Encoder多头注意力机制层
注意力机制本质上是查询向量(query)以及一组键值对向量(key-value)映射得到输出向量的过程。令经过位置编码后的输入信号为S，则S与权重矩阵Q、K、V相乘，得到查询向量、键向量和值向量的矩阵Q,K,V。对于自注意力机制而言，权重矩阵Q、K、V是一致的，可以表示为式(1-4)：
Q＝K＝V＝S*ω (1-4)
注意力机制的计算公式如式(1-5)所示：
式(1-5)中dk为键向量的维度。
多头注意力机制可以将输入序列进行多个“头”(head)的划分，每个头都可以学习到不同的注意力分布，从而更好地捕捉输入序列的信息。计算公式如式(1-6)所示：
MultiHead(Q,K,V)＝Concat(head1,...,headi)ω0 (1-6)
式(1-6)的i表示头的数量，每个头的计算过程如式(1-7)所示：
式(1-7)中，分别是Q,K,V在第i个多头注意力机制时的映射权重矩阵。ω0是权重矩阵。
c.残差连接
为了追求更好的效果，深度学习模型趋于深度化，复杂化。当神经网络层数增加到一定程度时，往往会出现网络退化的情况，训练精度不再提高，甚至下降。这种现象不是由过拟合造成的，而是由于深层神经网络难以实现恒等变换(y＝x)。为了解决这个问题，残差神经网络(ResNet)应运而生，ResNet引入了快捷连接(Shortcut connection),使得深层网络可以直接学习输入和输出之间的残差函数，极大改善了神经网络的训练，避免了网络退化。残差连接的数学模型如下式(1-8)所示：
ResNet(Q,K,V)＝relu[MHA(K,Q,V)]+MHA(K,Q,V) (1-8)
式(1-8)中MHA(Multi-Head Attention)为多头注意力模型。
d.Decoder多头注意力机制层
Decoder层中有两个多头注意力机制，第一个是带有掩码的多头自注意力机制(Masked Multi-Head Attention)，具体来说，对于输入序列中的每个位置i，多头自注意力机制会计算一个加权和，其中每个位置的权重由查询向量Q(也就是当前位置的向量)和键值对K(输入序列中所有位置的向量)的相似度计算得到。在计算相似度时，会使用掩码将当前位置之后的位置的相似度设为负无穷，从而在计算加权和时不考虑当前位置之后的位置。计算公式如式(1-9)所示：
式(1-9)中Q是查询矩阵，K是键矩阵，V是值矩阵，dk表示向量维度，Mask是掩码矩阵，用来将当前位置之后的相似度设为负无穷。
第二个是不带掩码的多头注意力机制，不同于Encoder的是，Decoder多头注意力机制层只有Q矩阵来自与本身，而K,V矩阵则来自Encoder的输出。经过多头注意力机制后，再经过一个线性层(Linear)得到当前网络预测的输出。
步骤④基于BPTT的序列反向传播训练。反向传播训练时，因为在定义Transformer过程中，序列向量所对应的三个矩阵ωQ、ωK、ωV的初值是随机的。所以，单次前向传播迭代输出的预测风电功率P',与训练集中的实际风电功率P的误差可以通过损失函数计算。本发明采用平均绝对误差(MAE)作为评价指标，计算公式如式(1-10)所示：
接着，应用BPTT算法将Loss与损失函数的梯度一起反馈给网络来更新权重，实现减少后续迭代中误差的目的。在反向传播过程中，通过优化算法来求取模型的最优解，从而不断更新权重，损失函数不断逼近全局最小。
步骤⑤采用Adam优化算法，提高风力发电的预测精度。Adam算法的学习率是在迭代的过程中动态调整的而不是固定的。Adam算法的计算流程如下所示：
第一步：初始学习率η，一阶矩和二阶矩的指数衰减速率ρ1和ρ2，一般设置为0.9和0.999。初始参数θ，初始常数δ，一般设置为10-6。初始化一阶矩和二阶矩变量s＝0，r＝0。初始化时间步t＝0。
第二步：从训练集中选取m个样本{x(1),x(2),...x(m)}，对应的功率预测目标是y(i)；其中i＝1,…,m。
第三步：计算梯度
第四步：更新有偏一阶矩估计s←ρ1·s+(1-ρ1)g，更新有偏二阶矩估计r←ρ2·r+(1-ρ2)g⊙g。
第五步：修正一阶矩的偏差修正二阶矩的偏差/>
第六步：计算更新应用更新θ←θ+Δθ。
重复上述六个步骤，直到满足设定的精度要求。
步骤⑥经过步骤③的训练集训练和步骤④的反向传播训练以及步骤⑤优化器优化后，当此预测风电功率的Transformer模型经过300轮训练完成后，模型会选择整个训练过程中损失值最小的模型参数进行保存。在模型训练结束之后，通过测试集评价模型的预测精度。从测试集中随机取不同的100个连续的点构成实验结果片段1和实验结果片段2，并与实际风电功率进行对比。
通过以上步骤①～⑥即完成基于Transformer模型的风电功率的准确预测。
图2为BP神经网络，CNN卷积神经网络，LSTM长短期记忆网络，以及Transformer模型这四种模型针对实验片段1预测结果的平均绝对误差(MAE)的曲线对比图。从图2可以得出BP神经网络和CNN模型的预测精度较差，误差在一个较大的范围内波动。LSTM模型相比BP神经网络和CNN模型的预测效果进一步提高，但仍然达不到要求。Transformer模型的误差明显小于其他模型，预测误差非常小，精度非常高。
图3为这四种模型针对两个实验片段的均方根误差(RMSE)的柱状对比图。从图3可得，4个模型的RMSE值呈现递减的趋势，Transformer模型的RMSE值明显远小于其他模型。以RMSE为评价指标，证明Transformer模型的预测精度远高于其他传统预测模型。
图4为这四种模型针对两个实验片段的皮尔森相关系数(Pearson'sCorrelationCoefficient)的对比图。从图4可得，实验片段1和实验片段2中，4个模型的皮尔森相关系数呈现递增的趋势，Transformer模型的皮尔森相关系数最大，证明Transformer模型的风电预测功率和实际风电功率线性相关最强，预测最准确。
从图5可得，实验片段1和实验片段2中，4个模型的R2与皮尔森相关系数相同，呈现递增的趋势，Transformer模型的R2最大，证明Transformer模型的风电预测功率和实际风电功率线性相关最强，预测最准确。
如上所述，针对传统预测模型预测精度不够理想的问题，本发明采用Transformer模型进行风电预测。深度学习Transformer模型是一种基于自注意力机制的神经网络模型，它同时利用气象数据与历史风电数据，保存了信息之间的耦合关系，实现了对风电序列特征信息的深度挖掘。在控制变量实验的方法下，实验片段1中，Transformer模型相比BP、CNN、LSTM模型MAE误差分别下降了92.1％，89.1％，77.6％。RMSE分别下降了93.0％，89.1％，79.8％。皮尔森相关系数分别提高了0.133，0.07，0.058。R2分别提高了0.211，0.133，0.084。实验片段2中，Transformer模型相比BP、CNN、LSTM模型MAE误差分别下降了94.0％，91.2％，82.8％。RMSE分别下降了93.5％，90.6％，81.4％。皮尔森相关系数分别提高了0.12，0.067，0.03。R2分别提高了0.17，0.105，0.056。因此证明基于Transformer模型的风电功率预测模型精确度较高，能准确预测出风电功率。
在本发明上述的实施例中，对一种基于深度学习的风电功率预测方法进行了详细说明，但需说明的是，以上所述仅为本发明的一个实施例而已，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于深度学习的风电功率预测方法，通过深度学习Transformer模型来进行风电功率的预测，通过以下方法实现：
①制作含有n个样本的数据集，样本数据集的矩阵表示形式如式(1)所示：
表达式(1)中，每一行代表一个样本的数据，WS,WD,TE,PR,HU分别代表风速、风向、温度、气压、湿度；Ts代表采样周期；接着，将数据集以6:2:2的比例划分为训练集、验证集、测试集；
②将训练集用于Transformer模型的训练：
对于Encoder而言，把训练集中的参数序列作为输入数据(Encoderinput)，经过Transformer模型的迭代，最终输出当前网络预测的风电功率P'；对于Decoder而言，将实际的历史风电功率P，作为输入数据，经过位置编码和多头自注意力层，并将多头自注意力层的输出作为多头注意力层的查询向量(query)，多头注意力层的输出经过残差模块(ResNet)以及前馈网络(FeedForwardNet)和线性层(Linear)得到最终网络预测的风电功率P'；Transformer模型的各层环节在下文中的a、b、c、d四层环节中实现；
a.位置编码
通过正弦和余弦函数求取样本序列的位置信息编码，进行序列前后的关联性编码，位置编码的计算方式如式(2)、(3)所示：
pos表示样本在序列中的位置信息，dm为设置的维度，2j和2j+1表示奇偶性；
b.Encoder多头注意力机制层
令经过位置编码后的输入信号为S，则S与权重矩阵Q、K、V相乘，得到查询向量、键向量和值向量的矩阵Q,K,V；对于自注意力机制而言，权重矩阵Q、K、V是一致的，可以表示为式(4)：
Q＝K＝V＝S*ω (4)
注意力机制的计算如公式(5)所示：
公式(5)中dk为键向量的维度；
多头注意力机制将输入序列进行多个“头”(head)的划分，如式(6)计算：
MultiHead(Q,K,V)＝Concat(head1,...,headi)ω0 (6)
式(6)的i表示头的数量，每个头的计算过程如式(7)所示：
式(7)中，Q,K,V分别是Q,K,V在第i个多头注意力机制时的映射权重矩阵。ω0是权重矩阵；
c.残差连接
残差连接的数学模型如下式(8)所示：
ResNet(Q,K,V)＝relu[MHA(K,Q,V)]+MHA(K,Q,V) (8)
公式(8)中MHA(Multi-HeadAttention)为多头注意力模型；
d.Decoder多头注意力机制层
Decoder层中有两个多头注意力机制，第一个是带有掩码的多头自注意力机制(MaskedMulti-Head Attention)，具体来说，对于输入序列中的每个位置i，多头自注意力机制会计算一个加权和，其中每个位置的权重由查询向量Q(也就是当前位置的向量)和键值对K(输入序列中所有位置的向量)的相似度计算得到。在计算相似度时，会使用掩码将当前位置之后的位置的相似度设为负无穷，从而在计算加权和时不考虑当前位置之后的位置。计算公式如式(9)所示：
式(9)中Q是查询矩阵，K是键矩阵，V是值矩阵，dk表示向量维度，Mask是掩码矩阵，用来将当前位置之后的相似度设为负无穷；
第二个是不带掩码的多头注意力机制，不同于Encoder的是，Decoder多头注意力机制层只有Q矩阵来自与本身，而K,V矩阵则来自Encoder的输出。经过多头注意力机制后，再经过一个线性层(Linear)得到当前网络预测的输出；
③基于BPTT的序列反向传播训练：
单次前向传播迭代输出的预测风电功率P'与训练集中的实际风电功率P的平均绝对误差作为评价指标，如公式(10)所示：
接着，应用BPTT算法将Loss与损失函数的梯度一起反馈给网络来更新权重，实现减少后续迭代中误差的目的；在反向传播过程中，通过优化算法来求取模型的最优解，从而不断更新权重，损失函数不断逼近全局最小；
④采用Adam优化算法，提高风力发电的预测精度，Adam算法的计算流程如下：
第一步：初始学习率η，一阶矩和二阶矩的指数衰减速率ρ1和ρ2，一般设置为0.9和0.999；初始参数θ，初始常数δ，一般设置为10-6；初始化一阶矩和二阶矩变量s＝0，r＝0；初始化时间步t＝0；
第二步：从训练集中选取m个样本{x(1),x(2),...x(m)}，对应的功率预测目标是y(i)；其中i＝1,…,m；
第三步：计算梯度
第四步：更新有偏一阶矩估计s←ρ1·s+(1-ρ1)g，更新有偏二阶矩估计r←ρ2·r+(1-ρ2)g⊙g；
第五步：修正一阶矩的偏差修正二阶矩的偏差/>
第六步：计算更新应用更新θ←θ+Δθ；
重复上述六个步骤，直到满足设定的精度要求；
⑤按照步骤②的训练集训练和步骤③的反向传播训练以及步骤④优化器优化方法，当预测风电功率的Transformer模型完成300轮训练后，模型会选择整个训练过程中损失值最小的模型参数进行保存；在模型训练结束之后，将步骤①中验证集作为Transformer模型的输入，进而由Transformer模型的输出得到所预测的风电功率；
通过以上步骤①～⑤完成风电功率的预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310722489.2A CN116680540A (zh) | 2023-06-19 | 2023-06-19 | 一种基于深度学习的风电功率预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310722489.2A CN116680540A (zh) | 2023-06-19 | 2023-06-19 | 一种基于深度学习的风电功率预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116680540A true CN116680540A (zh) | 2023-09-01 |
Family
ID=87788909
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310722489.2A Pending CN116680540A (zh) | 2023-06-19 | 2023-06-19 | 一种基于深度学习的风电功率预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116680540A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116992249A (zh) * | 2023-09-28 | 2023-11-03 | 南京信息工程大学 | 基于fmcnn-lstm的格点预报偏差订正方法 |
| CN117237005A (zh) * | 2023-11-16 | 2023-12-15 | 国网天津市电力公司经济技术研究院 | 一种考虑多维因素的绿电需求量智能预测方法和系统 |
| CN117394306A (zh) * | 2023-09-19 | 2024-01-12 | 华中科技大学 | 基于新能源并网的风电功率预测模型建立方法及其应用 |
| CN117875726A (zh) * | 2024-03-13 | 2024-04-12 | 南方科技大学 | 基于深度学习的价值链优化管控方法 |
| CN118313463A (zh) * | 2024-06-07 | 2024-07-09 | 中国科学技术大学 | 基于时空增强的预训练大语言模型的风电预测方法及系统 |
| CN118333225A (zh) * | 2024-05-06 | 2024-07-12 | 湖北工业大学 | 基于深度学习的电力负荷预测方法、装置及电子设备 |
| CN118470544A (zh) * | 2024-07-11 | 2024-08-09 | 中国电建集团贵阳勘测设计研究院有限公司 | 一种基于多维注意力机制的复杂地形条件下风场重构方法 |
| CN118568681A (zh) * | 2024-07-22 | 2024-08-30 | 齐鲁工业大学(山东省科学院) | 一种基于深度学习的制冷系统能耗预测方法及系统 |
| CN118568681B (zh) * | 2024-07-22 | 2024-10-22 | 齐鲁工业大学(山东省科学院) | 一种基于深度学习的制冷系统能耗预测方法及系统 |
-
2023
- 2023-06-19 CN CN202310722489.2A patent/CN116680540A/zh active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117394306A (zh) * | 2023-09-19 | 2024-01-12 | 华中科技大学 | 基于新能源并网的风电功率预测模型建立方法及其应用 |
| CN116992249A (zh) * | 2023-09-28 | 2023-11-03 | 南京信息工程大学 | 基于fmcnn-lstm的格点预报偏差订正方法 |
| CN116992249B (zh) * | 2023-09-28 | 2024-01-23 | 南京信息工程大学 | 基于fmcnn-lstm的格点预报偏差订正方法 |
| CN117237005A (zh) * | 2023-11-16 | 2023-12-15 | 国网天津市电力公司经济技术研究院 | 一种考虑多维因素的绿电需求量智能预测方法和系统 |
| CN117875726A (zh) * | 2024-03-13 | 2024-04-12 | 南方科技大学 | 基于深度学习的价值链优化管控方法 |
| CN118333225A (zh) * | 2024-05-06 | 2024-07-12 | 湖北工业大学 | 基于深度学习的电力负荷预测方法、装置及电子设备 |
| CN118313463A (zh) * | 2024-06-07 | 2024-07-09 | 中国科学技术大学 | 基于时空增强的预训练大语言模型的风电预测方法及系统 |
| CN118470544A (zh) * | 2024-07-11 | 2024-08-09 | 中国电建集团贵阳勘测设计研究院有限公司 | 一种基于多维注意力机制的复杂地形条件下风场重构方法 |
| CN118470544B (zh) * | 2024-07-11 | 2024-10-15 | 中国电建集团贵阳勘测设计研究院有限公司 | 一种基于多维注意力机制的复杂地形条件下风场重构方法 |
| CN118568681A (zh) * | 2024-07-22 | 2024-08-30 | 齐鲁工业大学(山东省科学院) | 一种基于深度学习的制冷系统能耗预测方法及系统 |
| CN118568681B (zh) * | 2024-07-22 | 2024-10-22 | 齐鲁工业大学(山东省科学院) | 一种基于深度学习的制冷系统能耗预测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116680540A (zh) | 一种基于深度学习的风电功率预测方法 | |
| CN110414045A (zh) | 基于vmd-gru的短期风速预测方法 | |
| CN112016736B (zh) | 基于门控卷积和注意力机制的光伏发电功率的控制方法 | |
| CN113988449B (zh) | 基于Transformer模型的风电功率预测方法 | |
| CN111523728B (zh) | 一种四阶段混合短时风向预测方法 | |
| Wang et al. | Adaptive smoothing gradient learning for spiking neural networks | |
| CN112149883A (zh) | 基于fwa-bp神经网络的光伏功率预测方法 | |
| CN112270439B (zh) | 超短期风电功率预测方法、装置、电子设备及存储介质 | |
| CN113128666A (zh) | 基于Mo-S-LSTMs模型的时间序列多步预测方法 | |
| CN114239971A (zh) | 基于Transformer注意力机制的日降水量预测方法 | |
| CN113705086A (zh) | 一种基于Elman误差修正的超短期风电功率预测方法 | |
| CN116014722A (zh) | 基于季节分解和卷积网络的次日光伏发电预测方法及系统 | |
| CN115689070A (zh) | 基于帝王蝶算法优化bp神经网络模型的能源预测方法 | |
| CN111832911A (zh) | 一种基于神经网络算法的水下作战效能评估方法 | |
| Phan et al. | Application of a new Transformer-based model and XGBoost to improve one-day-ahead solar power forecasts | |
| CN113673788A (zh) | 基于分解误差修正和深度学习的光伏发电功率预测方法 | |
| CN110674460B (zh) | 基于E-Seq2Seq技术的数据驱动型机组组合智能决策方法 | |
| Morales-Hernández et al. | Online learning of windmill time series using Long Short-term Cognitive Networks | |
| CN114186771B (zh) | 一种混合正则化随机配置网络工业过程运行指标估计方法 | |
| CN116542385A (zh) | 一种针对风、光功率预测的集成学习方法及系统 | |
| CN116663727A (zh) | 一种光伏功率预测方法及系统 | |
| CN116681154A (zh) | 一种基于emd-ao-delm的光伏功率计算方法 | |
| CN115719115A (zh) | 一种多因素风电场发电量预测方法 | |
| Zhang et al. | A Novel Combined Model Based on Hybrid Data Decomposition, MSWOA and ENN for Short-Term Wind Speed Forecasting | |
| CN115796327A (zh) | 一种基于vmd和iwoa-f-gru模型的风电功率区间预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |