CN116417992B - 基于时空注意力机制的风机功率预测模型建立方法及应用 - Google Patents
基于时空注意力机制的风机功率预测模型建立方法及应用 Download PDFInfo
- Publication number
- CN116417992B CN116417992B CN202310228882.6A CN202310228882A CN116417992B CN 116417992 B CN116417992 B CN 116417992B CN 202310228882 A CN202310228882 A CN 202310228882A CN 116417992 B CN116417992 B CN 116417992B
- Authority
- CN
- China
- Prior art keywords
- time
- sequence
- fan
- prediction model
- attention mechanism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000000605 extraction Methods 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000004931 aggregating effect Effects 0.000 claims abstract description 4
- 230000001364 causal effect Effects 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 6
- 238000010248 power generation Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000012300 Sequence Analysis Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 241000135164 Timea Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/004—Generation forecast, e.g. methods or systems for forecasting future energy generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/10—Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
- H02J2300/20—The dispersed energy generation being of renewable origin
- H02J2300/28—The renewable source being wind energy
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Power Engineering (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于时空注意力机制的风机功率预测模型建立方法及应用，属于风机功率预测领域，包括：构建待训练的风机功率预测模型并利用数据集进行训练；模型包括：依次连接的空间特征提取模块，n个时间特征提取模块以及预测模块；空间特征提取模块用于根据空间注意力机制对风电变量序列中的风电变量进行聚合，得到空间特征；时间特征提取模块用于根据时间注意力机制对输入的特征做特征提取，得到时间特征，时间注意力分数依据时序结构层面的信息和时间序列在数据特征层面的信息计算；风电变量序列、空间特征以及各时间特征还通过跳跃连接输入至预测模块进行拼接，并依据拼接所得特征预测风机输出的功率序列。本发明能够提高风机功率预测的精度。
Description
技术领域
本发明属于风机功率预测领域，更具体地，涉及基于时空注意力机制的风机功率预测模型建立方法及应用。
背景技术
由于风力发电高度依赖气象条件，风电输出具有强烈的波动性，这对电网的平稳运行带来了很大的挑战。
准确的风机功率预测是一项具有挑战性的任务，目前常用的预测方法包括基于统计模型的预测方法、机器学习方法和深度学习方法。统计模型不能处理复杂的非线性特征，并且模型性能受风力数据的波动和非平稳性的影响很大。机器学习方法，例如支持向量回归(SVR)和极限学习机(ELM)，这两种方法在非线性数据的学习能力更强的情况下取得了令人满意的性能。然而，这些方法的性能高度依赖于提取的特征的质量，并且风力发电预测需要繁琐的特征工程。最近，随着深度学习的发展，深度学习方法已广泛应用于风力发电预测，它们可以实现复杂的非线性表示，而无需重新要求任何物理模型。因此，深度学习方法被认为是风力发电预测的更有潜力的方法。
风速、风向、环境温度等环境变量，以及有功功率、无功功率、电机温度等风机变量，统称为风电变量，未来风功率与风电变量之间存在着密切的联系，因此，基于深度学习的方法往往以历史的风电变量序列作为深度学习模型的输入，然后通过深度学习模型预测未来一段时间内风机的输出功率。目前，风机功率预测中，常用的深度学习模型大多为基于RNN(recurrent neural network)的模型，或者为基于RNN的变体LSTM(Long-Short TermMemory)的模型，这些模型可以有效考虑序列数据的时间相关性，但是，大都忽略了风电变量的空间相关性。
现有的基于深度学习的空间方法，大多旨在探索不同风电场或不同风力涡轮机之间的空间相关性，却忽略了每个风力涡轮机的风电变量之间的空间相关性，然而，同一风机的不同风电变量之间存在着密切的相关性，例如，风速和风向会影响叶片的角度和扭矩，进而影响发电机转速，从而影响风力发电的有功功率。，因此，为了实现准确的风力预测，除了考虑每个变量的时间特征，还应同时考虑风力变量之间的空间相关性。
专利CN202211128064.0中公开了一种基于多层级时空图神经网络的风机异常状态检测方法，其根据功率预测结果对风机进行异常状态检测，并且提出基于空间注意力机制和时间注意力机制完成风机功率的预测，在进行功率预测时，能够同时考虑风机的传感器节点特征内部的时间尺度特征和空间特征，但是，其中的时间注意力机制借助于self-attention机制和GRU(Gate Recurrent Unit)时间序列神经网络模型实现，GRU是循环神经网络的一种，是LSTM的一个变体，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的，但是，由此实现的时间注意力机制仅聚焦于序列本身的数据层面的信息，在挖掘时间特征上仍有较大的改进空间，这一定程度上影响了风机功率预测的准确度。
总体而言，现有的风机功率预测方法的预测准确度有待进一步提高。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了基于时空注意力机制的风机功率预测模型建立方法及应用，其目的在于，有效提高风机功率预测的准确度。
为实现上述目的，按照本发明的一个方面，提供了一种基于时空注意力机制的风机功率预测模型建立方法，包括：
(S1)构建待训练的风机功率预测模型；包括：依次连接的空间特征提取模块，n个时间特征提取模块以及预测模块；空间特征提取模块，以t～t+Lx时间段内的风电变量序列为输入，用于根据空间注意力机制对风电变量序列中的风电变量进行聚合，得到空间特征；时间特征提取模块用于根据时间注意力机制对前一级模块输出的特征做进一步的特征提取，得到时间特征；风电变量序列、空间特征以及各时间特征还通过跳跃连接输入至预测模块；预测模块，用于将输入的信息在特征维度进行拼接，并依据拼接得到的特征预测对间段内风机输出的功率序列；
其中，n≥1；Lx和Ly表示预设长度；时间注意力机制中，风电变量序列中时间步i、j处的风电变量之间的时间注意力分数αij为：
αij＝sij·sigmoid(sij)+βij·sigmoid(βij)
F表示风电变量序列根据因果关系构建的时间图，sij代表时间图F中时间步i、j处节点Fi和Fj间的约束权重；表示风电变量序列的一阶差分序列的特征，βij表示特征/>中时间步i、j处节点/>和/>的相似度；
(S2)利用风电变量序列及对应的功率序列组成的数据集对待训练的风机功率预测模型进行训练，完成风机功率预测模型的建立。
进一步地，
其中，Ωi、Ωj分别表示节点Fi和Fj的邻居节点集合，Ωij代表节点Fi和Fj的共有邻居节点集合；wip表示节点Fi和Fp的初始连接权重，wjp表示Fj和Fp的初始连接权重。
进一步地，
其中，Ω* i表示节点的邻居节点集合；τij表示节点/>和/>的余弦相似度，τik表示节点/>和/>的余弦相似度，/>表示特征/>中时间步k处的节点。
进一步地，时间特征提取模块包括依次连接的时间注意力层和时间卷积层；
时间注意力层，用于计算特征的时间注意力分数，并依据时间注意力分数对特征进行加权求和；
时间卷积层，用于对时间注意力层输出的特征分别进行因果果卷积和因果膨胀卷积操作，并将操作结果拼接，得到时间特征。
进一步地，n＝3。
进一步地，空间特征提取模块为图注意力网络，且图注意力网络包括两层图注意力层。
进一步地，在利用风电变量序列及对应的功率序列组成的数据集对待训练的风机功率预测模型进行训练之前，还包括：
对数据集中的数据进行降噪处理。
进一步地，对数据集中的数据进行降噪处理时，所采用的去噪方法为离散小波滤波。
按照本发明的又一个方面，提供了一种基于时空注意力机制的风机功率预测方法，包括：
采集待预测时刻及其前Lx个时刻的风电变量数据，得到待预测序列；
将待预测序列输入至风机功率预测模型，得到当前时刻及其后Ly个时刻的风机输出功率的预测结果；
其中，风机功率预测模型由本发明提供的上述基于时空注意力机制的风机功率预测模型建立方法建立得到；Lx和Ly表示预设长度。
按照本发明的又一个方面，提供了一种计算机可读存储介质，包括存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备本发明提供的上述基于时空注意力机制的风机功率预测方法，和/或，本发明提供的上述基于时空注意力机制的风机功率预测方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明所建立的风机功率预测模型，其中的空间特征提取模块和时间特征提取模块分别基于空间注意力机制和时间注意力机制完成特征提取，二者相互配合，在考虑序列数据的时间相关性的同时，充分考虑了同一个风机的风电变量之间的空间相关性；同时，模型所实现的时间注意力机制中，用于表征特征间时间相关性的时间注意力分数的计算综合考虑了序列数据中不同节点间的约束权重，以及序列数据的一阶差分序列中不同节点间的相似度，前者反映了时序结构层面的信息，后者反映了时间序列在数据特征层面的信息，因此，本发明所实现的时间注意力机制综合考虑了时间序列在时序结构层面和数据特征层面的信息，能够更为准确地捕获风电变量的时间相关性。总的来说，本发明在准确捕获风电变量的时间相关性的同时，充分考虑了风电变量之间的空间相关性，能够有效提高风机功率预测的准确度。
(2)本发明所建立的风机功率预测模型，在其优选方案中，计算用于表征特征间时间相关性的时间注意力分数时，分别计算风电变量序列根据因果关系构建的时间图中，两个节点与公共节点的连接权重之和，以及两个节点与各自邻居节点的连接权重之和，并将二者的比值作为这两个节点的约束权重，该计算方式能够充分挖掘时序结构层面的信息，使得最终计算的时间注意力分数能够更为准确地捕获风电变量的时间相关性。
(3)本发明所建立的风机功率预测模型，在其优选方案中，计算用于表征时间相关性的时间注意力分数时，将序列数据的一阶差分序列作为计算的基础，并进一步提取特征，然后使用余弦相似度作为注意力分数进行计算，由于一阶差分能够消除随机趋势，并捕获潜在且稳定的时间特征因此，通过该方式计算的一阶差分序列特征中节点间的相似度，能够准确反映数据数据在数据特征层面的信息，使得最终计算的时间注意力分数能够更为准确地捕获风电变量的时间相关性。
(4)本发明所建立的风机功率预测模型，在其优选方案中，时间特征提取模块具体包括时间注意力层和时间卷积层，时间注意力层实现了时间注意力机制，时间卷积层则在时间注意力层输出特征的基础上，通过因果膨胀卷积扩大了时间感受野，并通过因果卷积进一步提取了短期时间细节，有效确保了序列分析中的因果性，同时大大减少了所需要的模型参数数量。
(5)本发明所建立的风机功率预测模型，在其优选方案中，模型具体包括堆叠的3个时间特征提取模块，实验表明，该结构的风机功率预测模型能够在风机功率预测准确度和模型参数数量之间取得最好的平衡。
(6)本发明所建立的风机功率预测模型，在其优选方案中，空间特征提取模块具体为图注意力网络，通过该图注意力网络能够学习到不同风电变量对于未来风机功率的影响权重，并按影响权重对输入的风电变量进行特征聚合，得到的空间特征能够准确反映风电变量之间的空间相关性，同时，构成空间特征提取模块的图注意力网络具体包括两个图注意力层，实验表明，该结构能够在空间特征提取效果和模型参数数量之间取得最好的平衡。
(7)在本发明的优选方案中，利用数据集对待训练的风机功率预测模型进行训练之前，还会对数据集进行降噪处理，风电变量时间序列存在较强的波动性和随机性，在将序列数据输入模型之前先进行降噪处理，可以在保留有效信息的前提下削减噪声，从而显著提高训练所得模型的预测精度。
附图说明
图1为本发明实施例提供的基于时空注意力机制的风机功率预测模型建立方法流程图；
图2为本发明实施例提供的图注意力网络中特征聚合的示意图；
图3为本发明实施例提供的时间特征提取模块示意图；
图4为本发明实施例提供的风电变量序列根据因果关系构建的时间图示意图；
图5为本发明实施例提供的因果卷积操作及因果膨胀卷积操作的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
为了有效提高风机功率预测的准确度，本发明提供了基于时空注意力机制的风机功率预测模型建立方法及应用，其整体思路在于：在基于时间注意力机制从风电变量时序数据中提取时序特征的同时，基于空间注意力机制提取风电变量之间的空间特征，并将所提取的时间特征和空间特征共同用于风机功率预测，以同时考虑风电变量的时间相关性以及风电变量之间的空间相关性，并对时间注意力机制作出进一步的改进，使其能够更为准确地捕获风电变量序列的时间相关性，以有效提高风机功率的预测精度。
以下为实施例。
实施例1：
一种基于时空注意力机制的风机功率预测模型建立方法，包括：
构建待训练的风机功率预测模型，用于根据t～t+Lx时间段内的风电变量序列预测时间段内风机输出的功率序列；/>Lx表示风电变量序列长度，Ly表示预测步长。
风机的功率预测问题可以看作序列到序列的回归问题，本实施例中，输入风机功率预测模型的风电变量序列可表示为模型输出的功率序列预测结果可表示为/>其中， 表示t时刻的风电变量，dx表示风电变量中所包含的变量数目，即数据集宽度，/>表示xt中的第d个变量；/>表示预测的/>时刻风机输出功率。
可选地，本实施例中所选取的风电变量具体包括风速、风向、环境温度、有功功率、无功功率和电机温度，其中，风速、风向、环境温度属于环境变量，有功功率、无功功率和电机温度属于电机变量。
如图1所示，本实施例中，风机功率预测模型包括依次连接的空间特征提取模块，n个时间特征提取模块以及预测模块；n为大于等于1的正整数。
本实施例中，空间特征提取模块为图注意力网络(GAT)，用于根据空间注意力机制对输入的风电变量进行聚合，得到空间特征。
风电变量序列中，每个变量对应的特征向量可以表示为 其中i表示第i个特征序列，即第i个风电变量。图注意力网络首先通过一个可学习的线性变换来将输入特征转换为更高层次的特征，权重矩阵/>被每个风电变量共享。其次引入注意力机制参数/>来执行共享注意力机制，通过注意力机制可以学习到其他风机变量对于未来风功率的影响。如图2所示，图注意力网络中的特征聚合，是基于不同变量之间的空间关联性实现的，图注意力网络中，任意第i个变量和任意第j个变量之间的空间关联性通过空间注意力分数αijj进行表征，空间注意力分数α′ij计算公式可以表达为
其中||代表拼接操作，Ωi表示风机变量i的所有一阶邻居集合，hk表示Ωi中的变量。不同风机变量的注意力分数通过softmax计算得到。
基于以上分析可知，本实施例中，空间特征提取模块所提取的空间特征包含了风电变量之间的相关性；作为一种优选的实施方式，为了在不导致模型参数数量显著增加的情况下，较为准确地提取空间特征，本实施例中，构成空间特征提取模块的图注意力网络具体包括两个图注意力层。应当说明的是，此处仅为优选的实施方式，不应理解为对本发明的唯一限定，在本发明其他的实施例中，也可根据实际需要对图注意力网络中图注意力层的数量进行调整。
本实施例中，时间特征提取模块用于根据时间注意力机制对前一级模块输出的特征做进一步的特征提取，得到时间特征；时间特征提取模块的具体结构如图3所示，其包括依次连接的时间注意力层和时间卷积层，其中：
时间注意力层，用于计算特征的时间注意力分数，并依据时间注意力分数对特征进行加权求和；时间注意力分数用于风电变量序列中不同时间步处的风电变量之间的相关性。
时间卷积层，用于对时间注意力层输出的特征分别进行因果果卷积和因果膨胀卷积操作，并将操作结果拼接，得到时间特征。
时间注意力层实现了时间注意力机制，为了更为准确地提取风电变量序列的时间特征，本实施例对时间注意力机制进行了改进，在其中综合考虑了时间序列在数据特征层面和时序结构层面的信息，相应地，用于表征特征对于风机未来功率的影响的时间注意力分数的计算综合考虑了序列数据中不同节点间的约束权重，以及序列数据的一阶差分序列中不同节点间的余弦相似度，前者用于反映时序结构层面的信息，后者用于反映时间序列在数据特征层面的信息。
为了实现该改进的时间注意力机制，本实施例中，提出了一种计算时间约束矩阵的公式，在结构层面，将每个风机变量序列根据时间因果顺序构建一张时间图；图4所示为一张时间图的示例，按照因果顺序，任意时刻的变量仅与其前的变量相关。基于所构建的时间图，可计算时间约束矩阵，具体如下：
其中，F表示风电变量序列根据因果关系构建的时间图；Fi、Fj分别表示时间图F中时间步i、j处的节点，sij代表节点Fi和Fj间的约束权重；Ωi、Ωj分别表示节点Fi和Fj的邻居节点集合，Ωij代表节点Fi和Fj的共有邻居节点集合；wip表示节点Fi和Fp的初始连接权重，wjp表示Fj和Fp的初始连接权重。时间图中节点之间的初始连接权重可根据实际需要设为固定值，也可根据不同节点间的距离设置不同的取值；以上计算方式中，分别计算风电变量序列根据因果关系构建的时间图中，两个节点与公共节点的连接权重之和，以及两个节点与各自邻居节点的连接权重之和，并将二者的比值作为这两个节点的约束权重，该计算方式能够充分挖掘时序结构层面的信息。
在数据层面，选择一阶差分序列，即相邻时刻的变量之差构成的序列，作为注意力分数计算的核心数据。通过因果膨胀卷积进一步提取一阶差分序列的高级特征，然后通过余弦相似度计算注意力分数，计算表达式如下：
其中，表示风电变量序列的一阶差分序列的特征，/>和/>分别表示特征/>中时间步i、j和k处的节点，Ω* i表示节点/>的邻居节点集合；τij表示节点/>和/>的余弦相似度，τik表示节点/>和/>的余弦相似度；βij表示特征/>中节点/>和/>的相似度；以节点/>和/>为例，余弦相似度的计算公式如下：
以上计算方式中，将序列数据的一阶差分序列作为计算的基础，并进一步提取特征，然后使用余弦相似度作为注意力分数进行计算，由于一阶差分能够消除随机趋势，并捕获潜在且稳定的时间特征，因此，通过该方式计算的一阶差分序列特征中节点间的相似度，能够准确反映数据数据在数据特征层面的信息。
在以上计算中，sij表征了时间序列在时序结构层面的信息，本实施例中，称之为结构分数；βij表征了时间序列在数据特征层面的信息，本实施例中，称之为差分分数；如图3所示，最终，风电变量序列中时间步i、j处的风电变量之间的相关性αij可通过如下公式计算：
αij＝sij·sigmoid(sij)+βij·sigmoid(βij)
容易理解的是，在以上计算中，LeakyReLU、sigmoi1、softmax表示相应的函数。
如图3所示，本实施例中，时间卷积层包括：第一通道、第二通道和特征拼接层；
第一通道包括因果卷积层，用于对输入的特征进行因果卷积操作；
第二通道包括因果膨胀卷积层，用于对输入的特征进行因果膨胀卷积操作；
特征拼接层，用于将两个通道输出的结果拼接，得到时间特征。
图5的上半部分所示，为因果膨胀卷积操作的示意图，图5的下半部分所示，为因果卷积操作的示意图；本实施例中，时间卷积层则在时间注意力层输出特征的基础上，通过因果膨胀卷积扩大了时间感受野，并通过因果卷积进一步提取了短期时间细节，有效确保了序列分析中的因果性，最终拼接得到的时间特征能够更为准确地反映序列数据的时间相关性。同时，时间注意力机制相关的计算量较大，本实施例在时间注意力层之后设计时间卷积层进行因果卷积和因果膨胀卷积操作，能够在保证时间特征提取效果的同时，大大减少所需要的模型参数数量。
总的来说，本实施例中，时间特征提取模块基于时间注意力机制的长短期特征提取；相比于传统基于RNN或者其变体的时间特征提取模型，注意力机制计算更加高效且可以避免梯度爆炸等问题，并且展示了更好的性能。
通过堆叠多个时间特征提取模块，能够进一步提高时间特征的提取效果，但也会导致模型参数数量增加，作为一种优选的实施方式，本实施例中，空间特征提取模块之后具体连接了3个堆叠的时间特征提取模块，即n＝3；实验表明，该结构的风机功率预测模型能够在风机功率预测准确度和模型参数数量之间取得最好的平衡。
需要说明的是，在其他实施例中，具体堆叠的时间特征提取模块的数量可根据实际需要灵活调整，也可仅采用一个时间特征提取模块。
如图1所示，风机功率预测模型中，输入的风电变量序列以及空间特征提取模块和各时间特征提取模块输出的特征还通过跳跃连接输入至预测模块；预测模块，用于将风电变量序列、空间特征以及各时间特征在特征维度进行拼接，得到预测特征，之后通过全连接层得到风机功率序列的预测结果。
在完成上述模型结构的搭建后，本实施例进一步包括：
利用风电变量序列及对应的功率序列组成的数据集对待训练的风机功率预测模型进行训练，完成风机功率预测模型的建立；
训练过程中，数据集表述为N代表数据集采样点个数，即数据集长度；
考虑到风电变量时间序列存在较强的波动性和随机性，为了进一步提高训练所得模型的预测精度，本实施例中，在将数据集中的数据输入至模型之前，还包括：
对数据集中的数据进行降噪处理，以在保留有效信息的前提下削减噪声；
本实施例中，具体选择的去噪方式是离散小波滤波(DWT)，离散小波变换公式如下
其中2j和k·2j分别是膨胀系数和平移系数。原始信号可以表示为各级细节分量和最后一级的近似分量之和
x[n]＝xm，L[n]+xm，H[n]+xm-1，H[n]+…+x1，H[n]
本实施例在对数据使用离散小波变换后，会进行阈值滤波，并反变换得到降噪后的数据；阈值滤波是针对细节分量设置一个阈值，低于该阈值的小波系数置零，高于该阈值的小波系数保留。小波的选择一般可根据正交性、消失矩和正则性等性质选择，可选地，本实施例最终选择sym16小波进行变换，变换级数对输入数据自适应变化，滤波阈值设置为0.08。
可选地，模型训练过程中，使用均方误差(MSE)来衡量模型的预测损失；模型参数在训练中不断优化，使训练损失逐渐减小，训练过程分为多次Epoch，当达到预设的Epoch次数，或预测损失为0，则训练结束。
总体而言，本实施例所建立的模型，将注意力机制引入到了特征提取模块中，能够增强表征能力：在空间特征提取模块中，通过图注意力网络(GAT)对输入变量进行特征聚合，能有效地关注对功率预测更重要的变量序列从而提高预测精度；在时间特征提取模块中，设计了基于余弦相似性度量的注意力系数矩阵，以关注对预测结果有更多贡献的数据点，并增强提取长期和短期时间相关性的能力。最后通过跳跃连接和全连接层获得最终功率预测输出。在预测过程中，同时考虑了风电变量序列的时间相关性以及风电变量之间的空间相关性，能够有效提高风机功率预测的准确度。
实施例2：
一种基于时空注意力机制的风机功率预测方法，包括：
采集待预测时刻及其前Lx个时刻的风电变量，得到待预测序列；
将待预测序列输入至风机功率预测模型，得到当前时刻及其后Ly个时刻的风机输出功率的预测结果；
其中，风机功率预测模型由上述实施例1提供的基于时空注意力机制的风机功率预测模型建立方法建立得到；
同样地，考虑到风电变量时间序列存在较强的波动性和随机性，本实施例在将待预测序列输入至风机功率预测模型之前，还包括：
对待预测序列进行降噪处理；与上述模型训练过程中的数据降噪方式相同，本实施例对于待预测序列也采用离散小波进行降噪。
由于上述实施1所建立的模型在进行风机功率预测时，能够同时考虑风电变量序列的时间相关性以及风电变量之间的空间相关性，具有较高的预测准确度，因此，本实施例可准确实现风机功率预测。
实施例3：
一种计算机可读存储介质，包括存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备上述实施例1提供的基于时空注意力机制的风机功率预测方法，和/或，上述实施例2提供的基于时空注意力机制的风机功率预测方法。
以下结合具体的预测实例对本发明所能取得的有益效果做进一步的验证分析，具体选取3种预测模式，分别为：模式一、以过去48小时数据预测未来24小时数据；模式二、以过去24小时数居预测未来12小时数据；模式三、以过去12小时数据预测未来6小时数据；三种预测模式分别对应长期预测、中期预测和短期预测。为了评估实验结果，选用了三个评价指标，分别是MAE，MSE和RMSE。MAE表示预测误差的平均幅度，MSE和RMSE则代表预测结果和真实数据之间的误差水。各项评价指标的计算表达式如下：
其中，N为样本数量，yn和分别表示风机的实际功率值和预测功率值。
采用现有的预测模型，包括RNN、GUR、LSTM、Bi-LSTM、TPA-LSTM、LstNet-Attn、Informer以及TCN作为对比，分别对上述3种预测模式进行预测，预测结果的RMSE、MAE以及MSE分别如以下表1、表2和表3所示，其中，“Ours”表示本发明所建立的模型。实验结果表明，提出的风机功率预测模型在所有实验组上均表现出了最优预测性能。
表1不同模型预测的RMSE
| 模式一 | 模式二 | 模式三 | |
| RNN | 0.358 | 0.357 | 0.318 |
| GRU | 0.358 | 0.345 | 0.312 |
| LSTM | 0.357 | 0.349 | 0.317 |
| Bi-LSTM | 0.355 | 0.340 | 0.253 |
| TPA-LSTM | 0.361 | 0.350 | 0.321 |
| LstNet-Attn | 0.333 | 0.288 | 0.225 |
| Informer | 0.440 | 0.410 | 0.389 |
| TCN | 0.322 | 0.280 | 0.222 |
| Ours | 0.320 | 0.267 | 0.205 |
表2不同模型预测的MAE
| 模式一 | 模式二 | 模式三 | |
| RNN | 0.312 | 0.319 | 0.289 |
| GRU | 0.312 | 0.307 | 0.284 |
| LSTM | 0.311 | 0.311 | 0.289 |
| Bi-LSTM | 0.309 | 0.303 | 0.225 |
| TPA-LSTM | 0.314 | 0.312 | 0.293 |
| LstNet-Attn | 0.288 | 0.254 | 0.198 |
| Informer | 0.404 | 0.379 | 0.363 |
| TCN | 0.278 | 0.246 | 0.196 |
| Ours | 0.275 | 0.233 | 0.179 |
表3不同模型预测的MSE
| 模式一 | 模式二 | 模式三 | |
| RNN | 0.162 | 0.184 | 0.147 |
| GRU | 0.161 | 0.177 | 0.149 |
| LSTM | 0.161 | 0.182 | 0.152 |
| Bi-LSTM | 0.160 | 0.174 | 0.098 |
| TPA-LSTM | 0.164 | 0.180 | 0.155 |
| LstNet-Attn | 0.150 | 0.121 | 0.083 |
| Informer | 0.213 | 0.191 | 0.195 |
| TCN | 0.138 | 0.112 | 0.080 |
| Ours | 0.136 | 0.106 | 0.070 |
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于时空注意力机制的风机功率预测模型建立方法，其特征在于，包括：
(S1)构建待训练的风机功率预测模型；包括：依次连接的空间特征提取模块，n个时间特征提取模块以及预测模块；所述空间特征提取模块，以t～t+Lx时间段内的风电变量序列为输入，用于根据空间注意力机制对风电变量序列中的风电变量进行聚合，得到空间特征；所述时间特征提取模块用于根据时间注意力机制对前一级模块输出的特征做进一步的特征提取，得到时间特征；风电变量序列、空间特征以及各时间特征还通过跳跃连接输入至所述预测模块；所述预测模块，用于将输入的信息在特征维度进行拼接，并依据拼接得到的特征预测时间段内风机输出的功率序列；
其中，n≥1；Lx和Ly表示预设长度；所述时间注意力机制中，风电变量序列中时间步i、j处的风电变量之间的时间注意力分数αij为：
αij＝sij·sigmoid(sij)+βij·sigmoid(βij)
F表示风电变量序列根据因果关系构建的时间图，sij代表时间图F中时间步i、j处节点Fi和Fj间的约束权重；表示风电变量序列的一阶差分序列的特征，βij表示特征/>中时间步i、j处节点/>和/>的相似度；
Ωi、Ωj分别表示节点Fi和Fj的邻居节点集合，Ωij代表节点Fi和Fj的共有邻居节点集合；wip表示节点Fi和Fp的初始连接权重，wjp表示Fj和Fp的初始连接权重；Ω* i表示节点的邻居节点集合；τij表示节点/>和/>的余弦相似度，τik表示节点/>和/>的余弦相似度，/>表示特征/>中时间步k处的节点；softmaxj表示在j维度上进行softmax计算；
(S2)利用风电变量序列及对应的功率序列组成的数据集对所述待训练的风机功率预测模型进行训练，完成所述风机功率预测模型的建立。
2.如权利要求1所述的基于时空注意力机制的风机功率预测模型建立方法，其特征在于，所述时间特征提取模块包括依次连接的时间注意力层和时间卷积层；
所述时间注意力层，用于计算特征的时间注意力分数，并依据所述时间注意力分数对特征进行加权求和；
所述时间卷积层，用于对所述时间注意力层输出的特征分别进行因果果卷积和因果膨胀卷积操作，并将操作结果拼接，得到时间特征。
3.如权利要求1或2所述的基于时空注意力机制的风机功率预测模型建立方法，其特征在于，n＝3。
4.如权利要求3所述的基于时空注意力机制的风机功率预测模型建立方法，其特征在于，所述空间特征提取模块为图注意力网络，且所述图注意力网络包括两层图注意力层。
5.如权利要求1或2所述的基于时空注意力机制的风机功率预测模型建立方法，其特征在于，在利用风电变量序列及对应的功率序列组成的数据集对所述待训练的风机功率预测模型进行训练之前，还包括：
对所述数据集中的数据进行降噪处理。
6.如权利要求5所述的基于时空注意力机制的风机功率预测模型建立方法，其特征在于，对所述数据集中的数据进行降噪处理时，所采用的去噪方法为离散小波滤波。
7.一种基于时空注意力机制的风机功率预测方法，其特征在于，包括：
采集待预测时刻及其前Lx个时刻的风电变量数据，得到待预测序列；
将所述待预测序列输入至风机功率预测模型，得到当前时刻及其后Ly个时刻的风机输出功率的预测结果；
其中，所述风机功率预测模型由权利要求1～6任一项所述的基于时空注意力机制的风机功率预测模型建立方法建立得到；Lx和Ly表示预设长度。
8.一种计算机可读存储介质，其特征在于，包括存储的计算机程序；所述计算机程序被处理器执行时，控制所述计算机可读存储介质所在设备执行权利要求1～6任一项所述的基于时空注意力机制的风机功率预测模型建立方法，和/或，权利要求7所述的基于时空注意力机制的风机功率预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310228882.6A CN116417992B (zh) | 2023-03-10 | 2023-03-10 | 基于时空注意力机制的风机功率预测模型建立方法及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310228882.6A CN116417992B (zh) | 2023-03-10 | 2023-03-10 | 基于时空注意力机制的风机功率预测模型建立方法及应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116417992A CN116417992A (zh) | 2023-07-11 |
| CN116417992B true CN116417992B (zh) | 2024-03-19 |
Family
ID=87050606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310228882.6A Active CN116417992B (zh) | 2023-03-10 | 2023-03-10 | 基于时空注意力机制的风机功率预测模型建立方法及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116417992B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117874500B (zh) * | 2024-03-13 | 2024-06-07 | 广东工业大学 | 一种多视角融合海上风电场机群功率预测方法 |
| CN118472943B (zh) * | 2024-07-10 | 2024-09-24 | 湖南科技大学 | 一种基于多特征融合周期增强的短期风电功率预测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257911A (zh) * | 2020-10-13 | 2021-01-22 | 杭州电子科技大学 | 基于并行时空注意力机制的tcn多元时间序列预测方法 |
| WO2021068528A1 (zh) * | 2019-10-11 | 2021-04-15 | 平安科技（深圳）有限公司 | 基于卷积神经网络的注意力权重计算方法、装置及设备 |
| CN113642254A (zh) * | 2021-09-01 | 2021-11-12 | 中国人民解放军国防科技大学 | 一种基于多尺度注意力机制的风力发电功率预测方法 |
| CN115293415A (zh) * | 2022-07-28 | 2022-11-04 | 三峡大学 | 计及时间演变和空间相关的多风电场短期功率预测方法 |
| CN115560962A (zh) * | 2022-09-16 | 2023-01-03 | 沈阳嘉越电力科技有限公司 | 一种基于多层级时空图神经网络的风机异常状态检测方法 |
| CN115577748A (zh) * | 2022-09-22 | 2023-01-06 | 嵊州市浙江工业大学创新研究院 | 一种集成挤压激励注意力机制的双通道风电预测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6384065B2 (ja) * | 2014-03-04 | 2018-09-05 | 日本電気株式会社 | 情報処理装置、学習方法、及び、プログラム |
| CN112653142B (zh) * | 2020-12-18 | 2022-09-02 | 武汉大学 | 优化深度Transformer网络的风电功率预测方法及系统 |
-
2023
- 2023-03-10 CN CN202310228882.6A patent/CN116417992B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021068528A1 (zh) * | 2019-10-11 | 2021-04-15 | 平安科技（深圳）有限公司 | 基于卷积神经网络的注意力权重计算方法、装置及设备 |
| CN112257911A (zh) * | 2020-10-13 | 2021-01-22 | 杭州电子科技大学 | 基于并行时空注意力机制的tcn多元时间序列预测方法 |
| CN113642254A (zh) * | 2021-09-01 | 2021-11-12 | 中国人民解放军国防科技大学 | 一种基于多尺度注意力机制的风力发电功率预测方法 |
| CN115293415A (zh) * | 2022-07-28 | 2022-11-04 | 三峡大学 | 计及时间演变和空间相关的多风电场短期功率预测方法 |
| CN115560962A (zh) * | 2022-09-16 | 2023-01-03 | 沈阳嘉越电力科技有限公司 | 一种基于多层级时空图神经网络的风机异常状态检测方法 |
| CN115577748A (zh) * | 2022-09-22 | 2023-01-06 | 嵊州市浙江工业大学创新研究院 | 一种集成挤压激励注意力机制的双通道风电预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116417992A (zh) | 2023-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116417992B (zh) | 基于时空注意力机制的风机功率预测模型建立方法及应用 | |
| Zhang et al. | A compound structure of ELM based on feature selection and parameter optimization using hybrid backtracking search algorithm for wind speed forecasting | |
| Afrasiabi et al. | Advanced deep learning approach for probabilistic wind speed forecasting | |
| CN114363195B (zh) | 面向时间和频谱残差卷积网络的网络流量预测预警方法 | |
| CN111340282B (zh) | 基于da-tcn的设备剩余使用寿命的估计方法及系统 | |
| CN115456287A (zh) | 一种基于长短时记忆网络的综合能源系统多元负荷预测方法 | |
| CN115694985A (zh) | 基于tmb的混合网络流量攻击预测方法 | |
| CN117592593A (zh) | 基于改进二次模态分解和WOA优化BILSTM-attention的短期电力负荷预测方法 | |
| CN116632820A (zh) | 基于序列延拓vmd与风速波动特性的风电功率预测方法 | |
| CN113780640A (zh) | 一种基于TCN-Attention的太阳能辐射预测方法 | |
| CN117872219A (zh) | 一种列车牵引变流器的开路故障诊断方法及系统 | |
| CN117290706A (zh) | 一种时空卷积融合概率稀疏注意力机制的交通流预测方法 | |
| CN115510767B (zh) | 基于深度时空网络的区域气温预测方法 | |
| CN117113054A (zh) | 一种基于图神经网络和Transformer的多元时间序列预测方法 | |
| CN116613732A (zh) | 一种基于shap值选择策略的多元负荷预测方法及系统 | |
| CN116562115A (zh) | 基于机器学习与气象相似时刻的新能源发电预测方法 | |
| CN116129212A (zh) | 基于图神经网络的电力负荷预测方法及系统 | |
| CN115936236A (zh) | 一种卷烟厂能耗预测方法、系统、设备及介质 | |
| CN115293030A (zh) | 基于深度互学习和动态特征构建的轴承剩余使用寿命预测方法 | |
| CN112183814A (zh) | 一种短期风速预测方法 | |
| CN117728380A (zh) | 基于双向长短期记忆网络的电力负荷预测方法及装置 | |
| CN114528881B (zh) | 基于多任务深度学习的断路器触头系统故障评估方法 | |
| CN118277893B (zh) | 基于非侵入式监测的多元关联发电设备能量状态识别方法 | |
| CN114638555B (zh) | 基于多层正则化极限学习机的用电行为检测方法及系统 | |
| CN115267883B (zh) | 地震响应预测模型训练及预测方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |