CN116826727B - 基于时序表征和多级注意力的超短期风电功率预测方法及预测系统 - Google Patents
基于时序表征和多级注意力的超短期风电功率预测方法及预测系统 Download PDFInfo
- Publication number
- CN116826727B CN116826727B CN202310774650.0A CN202310774650A CN116826727B CN 116826727 B CN116826727 B CN 116826727B CN 202310774650 A CN202310774650 A CN 202310774650A CN 116826727 B CN116826727 B CN 116826727B
- Authority
- CN
- China
- Prior art keywords
- wind power
- sequence
- attention
- data
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000000737 periodic effect Effects 0.000 claims abstract description 22
- 230000007246 mechanism Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000008878 coupling Effects 0.000 claims abstract description 12
- 238000010168 coupling process Methods 0.000 claims abstract description 12
- 238000005859 coupling reaction Methods 0.000 claims abstract description 12
- 238000012512 characterization method Methods 0.000 claims abstract description 10
- 230000015654 memory Effects 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000012360 testing method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010248 power generation Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000013486 operation strategy Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于时序表征和多级注意力的超短期风电功率预测方法及预测系统，采集风电功率数据和气象数据；采用时序嵌入层Time2Vec对风电功率数据进行表征，获得时间的周期性分量和非周期性分量；然后与原始风电功率数据进行拼接，并处理得到高维风电功率序列，利用自注意力进行重构；对气象数据以及重构后的序列利用交叉注意力进行重构，并对重构后序列利用时空卷积‑长短期记忆网络进行时序特征提取，利用全局注意力处理时序特征，得到预测值，实现预测。在深度学习的基础上引入自适应时序表征方法和多级注意力机制，有效提取风电功率的多尺度时间信息，并考虑气象特征对于风电功率的动态耦合影响，提高超短期风电功率预测的准确性和可靠性。
Description
技术领域
本发明涉及风电功率预测，具体是涉及一种基于时序表征和多级注意力的超短期风电功率预测方法及预测系统。
背景技术
随着“双碳”目标的提出，加快构建以新能源为主体的新型电力系统具有重要意义。风力发电被认为是推进能源转型和可持续发展的重要方式之一，然而，受气象因素影响，风电功率具有较强的波动性和随机性，这对电力系统的功率平衡、规划调度带来了较大的挑战。确定性的超短期风电功率预测结果是调度部门制定发电计划和运行策略的重要依据，因而，需要对超短期风电功率进行准确的预测，从而确保电力系统的经济调度和安全运行。
近年来，以机器学习和深度学习为主体的人工智能方法已被广泛应用于风电功率预测。支持持向量回归、随机森林等机器学习方法在小样本数据集上取得了良好的预测精度，然而，随着风电相关数据的大规模增加，以卷积神经网络、长短期记忆网络为基础的深度学习方法在风电功率预测中取得了更为优异的预测性能。而在深度学习模型中引入高效的数据处理方法如变分模态分解、奇异谱分析等能够进一步提升模型的预测表现，这些方法通过分解风电功率序列，获取时间的相关特征，从而提升预测精度。然而，上述处理方法需要人为提取风电功率序列中的时间信息，其过程往往与模型实际的预测环节相分离，增加了模型性能对数据处理的依赖性。此外，现有的风电功率预测方法通常会将历史气象特征也作为模型的输入，然而不同时刻的气象特征对风电功率的实际影响是不同的，直接将历史气象特征作为模型输入容易忽略其与风电功率之间的动态耦合关系，导致模型的预测性能下降。
发明内容
发明目的：针对以上缺点，本发明提供一种准确性和可靠性高的基于时序表征和多级注意力的超短期风电功率预测方法及预测系统。
技术方案：为解决上述问题，本发明采用一种基于时序表征和多级注意力的超短期风电功率预测方法，包括以下步骤：
(1)采集数据，采集的数据包括风电功率数据和气象数据；
(2)采用时序嵌入层Time2Vec对风电功率数据进行表征，获得风电功率数据关于时间的周期性分量和非周期性分量；
(3)将获得的周期性分量和非周期性分量与原始风电功率数据进行拼接，并处理得到高维风电功率序列，利用自注意力对高维风电功率序列进行重构；
(4)对气象数据以及重构后的风电功率序列利用交叉注意力进行重构，得到包含两者耦合关系的多维特征序列；
(5)利用时空卷积-长短期记忆网络对多维特征序列进行时序特征提取，得到时序特征；
(6)利用全局注意力处理时序特征，得到相应的超短期风电功率预测值，实现对超短期风电功率的预测。
进一步的，所述步骤(1)中采集的风电功率数据为风电场的实际风电出力数据，所述气象数据包括风速、风向、温度、气压以及湿度。
进一步的，所述步骤(2)中经Time2Vec处理后可得到其高阶特征表示tt2v(τ)，具体可描述为：
其中，tt2v(τ)[i]为tt2v(τ)的第i个分量；τ为风电功率数据的时间序列特征；对应线性分量，用于捕获时间的非周期模式；/>对应周期分量，用于捕捉时间的周期模式；ωih和/>为正弦函数的频率和相位；k为Time2Vec的维度。
进一步的，所述步骤(3)中，利用全连接层将拼接所得结果映射至d维空间，得到高维风电功率序列，然后采用位置编码将位置信息添加到高维风电功率序列中，得到带有位置信息的高维风电功率序列，并利用自注意力对带有位置信息的高维风电功率序列进行重构。
进一步的，位置编码的计算方式为：
其中，pos为序列索引，i为维度索引，sin(·)、cos(·)分别表示正、余弦函数，将映射至d维空间的高维风电功率序列与位置编码结果相加，得到带有位置信息的高维风电功率序列。
进一步的，采用多头自注意力对高维风电功率序列进行重构，多头自注意力的计算过程为：
其中，为参数矩阵，Qy、Ky、Vy为基于带有位置信息的高维风电功率序列Y∈RT变换所得到的查询矩阵、键矩阵、值矩阵，T表示输入序列的长度，Ay表示自注意力机制的输出，dk表示键矩阵的维数，m表示多头自注意力的“头数”，Oy为重构后的风电功率序列。
进一步的，交叉注意力的计算过程：
其中，X∈RT×n为根据气象数据得到的影响风电功率变化的多元气象序列，T为序列长度，n为气象变量的个数；为参数矩阵，Qxy为基于重构后的风电功率序列变换得到的查询矩阵，Kxy和Vxy为基于多元气象序列变换得到的键矩阵和值矩阵，Axy为交叉注意力机制的输出，Oxy为最终得到的多维特征序列。
进一步的，所述步骤(5)中时空卷积-长短期记忆网络包括对多维特征序列进行初步特征提取的时间卷积模块和空间卷积模块，以及进行进一步时序特征提取的LSTM网络；初步特征提取具体为：
其中，Wtem和btem为时间卷积模块对应的权重和偏置，Wspa和bspa为空间卷积模块对应的权重和偏置，*为卷积运算，Relu(·)为对应的激活函数；ltem和lspa分别为时间卷积模块和空间卷积模块的输出；
利用LSTM网络进一步进行时序特征提取，具体为：
其中，LSTM(·)表示LSTM网络；Htem∈RT×U为基于ltem的网络输出，Hspa∈RT×U为基于lspa的网络输出；T表示序列长度，U为LSTM网络的隐藏层单元数，和/>为各自在时间步t对应的隐藏层单元状态。
进一步的，所述时序特征经全局注意力去噪和门控机制融合后输入至全连接层，全局注意力对时序特征进行变换时，为不同时间步对应的隐藏层状态向量分配一个注意力权重向量，从而过滤掉每个时间步隐藏层状态中的噪声，具体过程为：
其中，为参数矩阵，H为时序特征，tanh(·)为激活函数，et,u为变换所得矩阵E中的元素，βt,u为全局注意力权重矩阵的元素，表示哈达玛积，co为最终输出；
进而，引入门控机制，融合所得时序特征：
o＝μ·cotem+(1-μ)·cospa
其中，μ为门控系数，其取值范围为[0,1]；cotem为基于Htem的去噪输出；cospa为基于Hspa的去噪输出；o为时序特征融合结果；
最后，将时序特征融合结果输入至全连接层，并得到相应的超短期风电功率预测值。
本发明还采用一种基于时序表征和多级注意力的超短期风电功率预测系统，包括：
数据采集模块，用于采集数据，采集的数据包括风电功率数据和气象数据；
数据表征模块，用于采用时序嵌入层Time2Vec对风电功率数据进行表征，获得风电功率数据关于时间的周期性分量和非周期性分量；
数据重构模块，用于将获得的周期性分量和非周期性分量与原始风电功率数据进行拼接，并处理得到高维风电功率序列，利用自注意力对高维风电功率序列进行重构；并对气象数据以及重构后的风电功率序列利用交叉注意力进行重构，得到包含两者耦合关系的多维特征序列；
时序特征提取模块，用于利用时空卷积-长短期记忆网络对多维特征序列进行时序特征提取，得到时序特征；
预测模块，用于利用全局注意力处理时序特征，得到相应的超短期风电功率预测值，实现对超短期风电功率的预测。
有益效果：本发明相对于现有技术，其显著优点是采用时序嵌入层Time2Vec对风电功率序列进行表征，将时间序列预处理过程集成到深度学习模型中，有效提取了风电功率的多尺度时间信息，提升了时间序列处理的自适应性。引入多级注意力提升了模型的预测表现，包括利用自注意力充分捕捉风电功率序列的自相关性、交叉注意力深度挖掘风电功率与气象因素之间的动态耦合关系、全局注意力有效过滤LSTM隐藏层单元状态中的噪声。构建了兼顾多维特征序列内在时空依赖关系的时序特征提取模块时空卷积-长短期记忆网络(STCNN-LSTM)，在充分考虑多维特征序列时间相关性和空间相关性的基础上，提取了更高层次的时序特征，提高了超短期风电功率预测的准确性和可靠性。本发明的预测结果可以作为调度部门制定发电计划和运行策略的重要依据，进而保障大规模风电并网时电力系统的安全稳定运行。
附图说明
图1所示为本发明预测方法的预测模型结构示意图。
图2所示为多头自注意力结构示意图。
图3所示为本发明预测方法中时空卷积-长短期记忆网络的时序特征提取过程示意图。
图4所示为本发明中不同方法的预测曲线拟合情况示意图。
具体实施方式
如图1所示，本实施例中针对风电功率数据包含的多尺度时间信息难以描述、现有方法未充分考虑气象因素对于风电功率的动态耦合影响而导致预测性能下降等问题，提出的一种基于时序表征和多级注意力的超短期风电功率预测方法，包括以下步骤：
(1)采集数据，采集的数据包括风电功率数据和气象数据；采集的风电功率数据为风电场的实际风电出力数据，所述气象数据包括风速、风向、温度、气压以及湿度。本实施例中所用数据源于江苏某容量为49.5MW的风电场，具体为2017年1月1日至2017年12月31日的风电功率和气象数据，气象因素包括风速、风向、温度、气压以及湿度，数据采样间隔为15min，共计35040个样本，划分前30000个样本作为训练集，后5040个样本作为测试集。所用滑动窗口长度为48，即将目标预测时刻之前12个小时的风电功率和气象数据作为模型输入，实验中预测步长为1，即进行提前15分钟(超短期范畴)的风电功率预测。
(2)采用时序嵌入层Time2Vec对风电功率数据进行表征，，捕捉风电功率的多尺度时间信息，获得风电功率数据关于时间的周期性分量和非周期性分量；经Time2Vec处理后可得到其高阶特征表示tt2v(τ)，具体可描述为：
其中，tt2v(τ)[i]为tt2v(τ)的第i个分量；τ为风电功率数据的时间序列特征；对应线性分量，用于捕获时间的非周期模式；/>对应周期分量，用于捕捉时间的周期模式；ωih和/>为正弦函数的频率和相位；k为Time2Vec的维度。
(3)将获得的周期性分量和非周期性分量与原始风电功率数据进行拼接，利用全连接层将拼接所得结果映射至d维空间，得到能够反映原始风电功率多尺度时间特性的高维风电功率序列，然后采用位置编码将位置信息添加到高维风电功率序列中，保留风电功率序列的时序特性，位置编码的计算方式为：
其中，pos为序列索引，i为维度索引，sin(·)、cos(·)分别表示正、余弦函数，将映射至d维空间的高维风电功率序列与位置编码结果相加，得到带有位置信息的高维风电功率序列。
利用自注意力对带有位置信息的高维风电功率序列进行重构；自注意力的计算过程为：
其中，为参数矩阵，Qy、Ky、Vy为基于带有位置信息的高维风电功率序列Y∈RT变换所得到的查询矩阵、键矩阵、值矩阵，T表示输入序列的长度，Ay表示自注意力机制的输出，dk表示键矩阵的维数，为了充分发挥自注意力的优势，以捕捉输入序列中不同时刻变量多个类别的相关关系，重构高维风电功率序列时采用多头自注意力，多头自注意力的结构示意图如图2所示，其采用多个不同的K、Q、V将输入映射到多个空间，以关联序列中的不同信息，m表示多头自注意力的“头数”，Oy为重构后的风电功率序列。
(4)对气象数据以及重构后的风电功率序列利用交叉注意力进行重构，得到包含两者耦合关系的多维特征序列；交叉注意力的查询矩阵基于经多头自注意力重构后的风电功率序列变换得到，键矩阵和查询矩阵基于原始多元气象序列变换得到，交叉注意力的计算过程：
其中，X∈RT×n为根据气象数据得到的影响风电功率变化的多元气象序列，T为序列长度，n为气象变量的个数；为参数矩阵，Qxy为基于重构后的风电功率序列变换得到的查询矩阵，Kxy和Vxy为基于多元气象序列变换得到的键矩阵和值矩阵，Axy为交叉注意力机制的输出，Oxy为最终得到的多维特征序列。该序列充分考虑了风电功率与气象因素之间的耦合关系，是对风电功率和气象因素进行有效重构后的高级特征表示。
(5)利用时空卷积-长短期记忆网络(STCNN-LSTM)对多维特征序列进行时序特征提取，得到时序特征；时空卷积-长短期记忆网络(STCNN-LSTM)充分利用了一维卷积神经网络(1D-CNN)和长短期记忆网络(LSTM)的优势，如图3所示，具体为：
首先，利用1D-CNN构建了时间卷积模块和空间卷积模块对上述多维特征序列Oxy进行初步的特征提取，其中时间卷积模块沿时间维度对多维特征序列进行卷积运算，可以有效地学习多维特征序列在时间维度上的依赖关系，空间卷积模块则沿特征维度对其进行卷积运算，其充分学习了多维特征序列之间的空间依赖关系，具体可表示为：
其中，Wtem和btem为时间卷积模块对应的权重和偏置，Wspa和bspa为空间卷积模块对应的权重和偏置，*为卷积运算，Relu(·)为对应的激活函数；下标tem和spa分别表示时间卷积模块和空间卷积模块，ltem和lspa分别对应时间卷积模块和空间卷积模块的输出；
其次，基于上述时空卷积模块所得结果，利用LSTM进一步提取其时序特征：
其中，LSTM(·)表示LSTM网络，Htem∈RT×U为基于ltem的网络输出，Hspa∈RT×U为基于lspa的网络输出；T表示序列长度，U为LSTM网络的隐藏层单元数，和/>为各自在时间步t对应的隐藏层单元状态。
(6)利用全局注意力处理时序特征，得到相应的超短期风电功率预测值，实现对超短期风电功率的预测。采用全局注意力对所得时序特征作进一步变换，兼顾时间步和隐藏层单元状态两个角度，对LSTM网络的输出分配一个注意力权重矩阵，具体为：
其中，为参数矩阵，H为时序特征，tanh(·)为激活函数，et,u为变换所得矩阵E中的元素，βt,u为全局注意力权重矩阵的元素，⊙表示哈达玛积，co为最终输出；对于Htem的输出为cotem，对于Hspa的输出为cospa；
进而，引入门控机制，融合所得时序特征：
o＝μ·cotem+(1-μ)·cospa
其中，μ为门控系数，其取值范围为[0,1]；o为时序特征融合结果；
最后，将时序特征融合结果输入至全连接层，输出超短期风电功率预测值。在深度学习技术的基础上引入自适应时序表征方法和多级注意力机制，旨在有效提取风电功率的多尺度时间信息，并考虑气象特征对于风电功率的动态耦合影响，提高超短期风电功率预测的准确性和可靠性。
为了验证所提方法性能，基于测试集对模型的实际预测效果进行评估，所选模型评估指标为均方根误差(RMSE)、绝对平均误差(MAE)、相关系数(CORR)和决定系数(CoD)，其计算公式分别为：
其中，和yi分别表示第i个样本的预测值和实际值，/>和ya分别表示预测均值和实际均值，N表示测试样本总数。
为了进一步评估本发明所提方法MASTCNN-LSTM的预测表现，设置了共计六个对比模型，分别是TCN、LSTM、Bi-LSTM、DALSTM、SATCN-LSTM和TACBiLSTM。作为深度学习领域使用最广泛的时间序列模型，TCN、LSTM和Bi-LSTM已被证明能够获得良好的风电功率预测精度；DALSTM为LSTM添加了双重注意力机制，SATCN-LSTM引入自注意力对TCN网络结构进行了改进并与LSTM相级联，TACBiLSTM则融合Time2Vec、1D-CNN、堆叠Bi-LSTM和注意力机制的优势，实现了准确的风电功率预测。表1为各模型进行提前15分钟风电功率预测时的预测精度和测试用时。
表1不同模型点预测结果
由表1可知，无论基于哪种评估指标，所提发明方法都有着最高的预测精度，相比于基础的深度学习模型(TCN、LSTM和Bi-LSTM)，所提方法的预测精度提升显著，其RMSE下降了10.04％–11.74％，MAE下降了22.88％–22.44％；相比于现有文献研究中高效的风电功率预测方法(DALSTM、SATCN-LSTM和TACBiLSTM)，所提方法仍能获得更小的预测误差，其RMSE下降了3.56％–7.16％，MAE下降了12.02％–21.68％，体现了其进行超短期风电功率预测时的优越性。此外，其在测试集上的计算用时仅为12.0秒，因而在进行实际的超短期风电功率预测时本发明方法能够快速高效地得到相应的预测结果。
为了进一步评估所提发明方法的预测表现，图4展示了不同时段各模型预测值曲线于实际风电功率曲线的拟合情况。可以看出，本发明方法的综合拟合效果最优，具体表现在，无论对于风电功率波动较大的情形(“爬坡”现象)，还是对于对于风电功率波动较小的情形(“小幅振荡”现象)，所提模型的预测曲线都与实际值曲线更为贴合。
为了进一步验证本发明方法中的重要组件对模型预测性能的实际影响，对所提方法进行了消融实验，所用实验数据和相应参数设置均与前文保持一致。待验证的组件分别为Time2Vec、多头自注意力、交叉注意力和全局注意力，具体实验时，基于所提出的发明方法，删除其中一个组件进行测试，验证该组件的有效性，实验结果如表2所示。
表2消融实验点预测结果
上表中，方法E即为本文所提出的发明方法，其集成了上述所有4个组件，方法A、B、C、D则分别删除了Time2Vec、多头自注意力、交叉注意力和全局注意力。对比方法A和E的实验结果可知，利用Time2Vec对风电功率序列进行表征学习，有利于提升模型的预测性能，其MAE降低了2.38％；对比方法B和方法E的结果可知，利用多头自注意力捕捉风电功率序列的自相关性，能够显著提升模型的预测效果，其MAE降低了13.96％；相比方法C，方法E的结果表明，引入交叉注意力能够充分挖掘风电功率与气象因素之间的耦合关系，进而提高预测精度；对比方法D和E的实验结果可知，引入全局注意力能够更精细化地过滤LSTM所得时序特征中的噪声，提升模型的预测表现。
综上，本发明方法在对风电功率相关数据进行有效重构的基础上，并用STCNN-LSTM有效提取了兼顾多元时间序列内在时空相关性的高阶时序特征，同时引入多级注意力机制，提升了模型的预测表现；本发明方法能够有效捕捉风电功率序列的多尺度时间特性，同时充分考虑气象因素对于风电功率的动态影响，提升了超短期风电功率的预测精度，具有较高的鲁棒性和可行性。本发明的预测结果可以作为调度部门制定发电计划和运行策略的重要依据，进而保障大规模风电并网时电力系统的安全稳定运行。
Claims (3)
1.一种基于时序表征和多级注意力的超短期风电功率预测方法，其特征在于，包括以下步骤：
步骤(1)采集数据，采集的数据包括风电功率数据和气象数据；
步骤(2)采用时序嵌入层Time2Vec对风电功率数据进行表征，获得风电功率数据关于时间的周期性分量和非周期性分量；
步骤(3)将获得的周期性分量和非周期性分量与原始风电功率数据进行拼接，并处理得到高维风电功率序列，利用自注意力对高维风电功率序列进行重构；
步骤(4)对气象数据以及重构后的风电功率序列利用交叉注意力进行重构，得到包含两者耦合关系的多维特征序列；
步骤(5)利用时空卷积-长短期记忆网络对多维特征序列进行时序特征提取，得到时序特征；
步骤(6)利用全局注意力处理时序特征，得到相应的超短期风电功率预测值，实现对超短期风电功率的预测；
所述步骤(2)包括经Time2Vec处理后得到风电功率数据高阶特征表示tt2v(τ)，具体描述为：
其中，tt2v(τ)[i]为tt2v(τ)的第i个分量；τ为风电功率数据的时间序列特征；对应线性分量，用于捕获时间的非周期模式；/>对应周期分量，用于捕捉时间的周期模式；ωih和/>为正弦函数的频率和相位；k为Time2Vec的维度；
所述步骤(3)包括利用全连接层将拼接所得结果映射至d维空间，得到高维风电功率序列，然后采用位置编码将位置信息添加到高维风电功率序列中，得到带有位置信息的高维风电功率序列，并利用自注意力对带有位置信息的高维风电功率序列进行重构；
位置编码的计算方式为：
其中，pos为序列索引，i为维度索引，sin(·)、cos(·)分别表示正、余弦函数，将映射至d维空间的高维风电功率序列与位置编码结果相加，得到带有位置信息的高维风电功率序列；
采用多头自注意力对带有位置信息的高维风电功率序列进行重构，多头自注意力的计算过程为：
其中，为参数矩阵，Qy、Ky、Vy为基于带有位置信息的高维风电功率序列Y∈RT变换所得到的查询矩阵、键矩阵、值矩阵，T表示输入序列的长度，Ay表示自注意力机制的输出，dk表示键矩阵的维数，m表示多头自注意力的“头数”，Oy为重构后的风电功率序列；
交叉注意力的计算过程：
其中，X∈RT×n为根据气象数据得到的影响风电功率变化的多元气象序列，T表示输入序列的长度，n为气象变量的个数；为参数矩阵，Qxy为基于重构后的风电功率序列变换得到的查询矩阵，Kxy和Vxy为基于多元气象序列变换得到的键矩阵和值矩阵，Axy为交叉注意力机制的输出，Oxy为最终得到的多维特征序列；
所述步骤(5)包括时空卷积-长短期记忆网络包括对多维特征序列进行初步特征提取的时间卷积模块和空间卷积模块，以及进行进一步时序特征提取的LSTM网络；初步特征提取具体为：
其中，Wtem和btem为时间卷积模块对应的权重和偏置，Wspa和bspa为空间卷积模块对应的权重和偏置，*为卷积运算，Relu(·)为对应的激活函数；ltem和lspa分别为时间卷积模块和空间卷积模块的输出；
利用LSTM网络进一步进行时序特征提取，具体为：
其中，LSTM(·)表示LSTM网络；Htem∈RT×U为基于ltem的网络输出，Hspa∈RT×U为基于lspa的网络输出；T表示序列长度，U为LSTM网络的隐藏层单元数，和/>为各自在时间步t对应的隐藏层单元状态；
所述时序特征经全局注意力去噪和门控机制融合后输入至全连接层，全局注意力对时序特征进行变换时，为不同时间步对应的隐藏层状态向量分配一个注意力权重向量，从而过滤掉每个时间步隐藏层状态中的噪声，具体过程为：
其中，为参数矩阵，H为时序特征，tanh(·)为激活函数，et,u为变换所得矩阵E中的元素，βt,u为全局注意力权重矩阵的元素，⊙表示哈达玛积，co为最终输出；
进而，引入门控机制，融合所得时序特征：
o＝μ·cotem+(1-μ)·cospa
其中，μ为门控系数，其取值范围为[0,1]；cotem为基于Htem的去噪输出；cospa为基于Hspa的去噪输出；o为时序特征融合结果；
最后，将时序特征融合结果输入至全连接层，并得到相应的超短期风电功率预测值。
2.根据权利要求1所述的超短期风电功率预测方法，其特征在于，所述步骤(1)中采集的风电功率数据为风电场的实际风电出力数据，所述气象数据包括风速、风向、温度、气压以及湿度。
3.一种采用权利要求1所述基于时序表征和多级注意力的超短期风电功率预测方法的超短期风电功率预测系统，其特征在于，包括：
数据采集模块，用于采集数据，采集的数据包括风电功率数据和气象数据；
数据表征模块，用于采用时序嵌入层Time2Vec对风电功率数据进行表征，获得风电功率数据关于时间的周期性分量和非周期性分量；
数据重构模块，用于将获得的周期性分量和非周期性分量与原始风电功率数据进行拼接，并处理得到高维风电功率序列，利用自注意力对高维风电功率序列进行重构；并对气象数据以及重构后的风电功率序列利用交叉注意力进行重构，得到包含两者耦合关系的多维特征序列；
时序特征提取模块，用于利用时空卷积-长短期记忆网络对多维特征序列进行时序特征提取，得到时序特征；
预测模块，用于利用全局注意力处理时序特征，得到相应的超短期风电功率预测值，实现对超短期风电功率的预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310774650.0A CN116826727B (zh) | 2023-06-28 | 2023-06-28 | 基于时序表征和多级注意力的超短期风电功率预测方法及预测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310774650.0A CN116826727B (zh) | 2023-06-28 | 2023-06-28 | 基于时序表征和多级注意力的超短期风电功率预测方法及预测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116826727A CN116826727A (zh) | 2023-09-29 |
| CN116826727B true CN116826727B (zh) | 2024-02-23 |
Family
ID=88114154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310774650.0A Active CN116826727B (zh) | 2023-06-28 | 2023-06-28 | 基于时序表征和多级注意力的超短期风电功率预测方法及预测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116826727B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115099153A (zh) * | 2022-07-04 | 2022-09-23 | 哈尔滨工业大学（深圳） | 风功率预测模型训练方法、风功率预测方法、装置及介质 |
| CN115293415A (zh) * | 2022-07-28 | 2022-11-04 | 三峡大学 | 计及时间演变和空间相关的多风电场短期功率预测方法 |
| CN115640510A (zh) * | 2022-09-15 | 2023-01-24 | 中国电力科学研究院有限公司 | 一种电力时间序列数据特征提取方法、系统、设备和介质 |
| WO2023093010A1 (zh) * | 2021-11-26 | 2023-06-01 | 中国华能集团清洁能源技术研究院有限公司 | 基于深度学习融合模型的风电功率预测方法及设备 |
-
2023
- 2023-06-28 CN CN202310774650.0A patent/CN116826727B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023093010A1 (zh) * | 2021-11-26 | 2023-06-01 | 中国华能集团清洁能源技术研究院有限公司 | 基于深度学习融合模型的风电功率预测方法及设备 |
| CN115099153A (zh) * | 2022-07-04 | 2022-09-23 | 哈尔滨工业大学（深圳） | 风功率预测模型训练方法、风功率预测方法、装置及介质 |
| CN115293415A (zh) * | 2022-07-28 | 2022-11-04 | 三峡大学 | 计及时间演变和空间相关的多风电场短期功率预测方法 |
| CN115640510A (zh) * | 2022-09-15 | 2023-01-24 | 中国电力科学研究院有限公司 | 一种电力时间序列数据特征提取方法、系统、设备和介质 |
Non-Patent Citations (2)
| Title |
|---|
| Probabilistic Residential Load Forecasting Based on Micrometeorological Data and Customer Consumption Pattern;lilin cheng 等;IEEE Transactions on Power Systems;第36卷(第04期);3762 - 3775 * |
| 基于融合长短时记忆网络的风电场超短期风速预测研究;王红刚等;可再生能源;第38卷(第01期);41-46 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116826727A (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115293415A (zh) | 计及时间演变和空间相关的多风电场短期功率预测方法 | |
| CN112417954A (zh) | 一种面向小样本数据集的轴承故障模式诊断方法及系统 | |
| CN110705525A (zh) | 一种诊断滚动轴承故障的方法及装置 | |
| CN111242377A (zh) | 一种集成深度学习和数据去噪的短期风速预测方法 | |
| CN108717579B (zh) | 一种短期风电功率区间预测方法 | |
| CN114549925A (zh) | 一种基于深度学习的海浪有效波高时间序列预测方法 | |
| CN116070799A (zh) | 一种基于注意力及深度学习的光伏发电量预测系统及方法 | |
| CN113639993A (zh) | 多模态多任务卷积神经网络的齿轮箱故障诊断方法 | |
| CN117033987A (zh) | 一种基于小波的风电场发电功率效率预测方法 | |
| CN116050621A (zh) | 一种集成提升模式的多头自注意力海上风电超短时功率预测方法 | |
| Li et al. | Temporal attention based tcn-bigru model for energy time series forecasting | |
| CN114676622A (zh) | 基于自编码器深度学习模型的短期光伏功率预测方法 | |
| CN113705887A (zh) | 一种数据驱动的光伏发电功率预测方法和系统 | |
| CN116826727B (zh) | 基于时序表征和多级注意力的超短期风电功率预测方法及预测系统 | |
| CN117852714A (zh) | 基于AFSA优化Transformer-GRU的非恒温数控车间短期温度预测方法 | |
| CN117154680A (zh) | 一种基于非平稳Transformer模型的风电功率预测方法 | |
| GB2623358A (en) | Method and system for fault diagnosis of nuclear power circulating water pump based on optimized capsule network | |
| CN113435235B (zh) | 一种基于递归融合编码器的装备状态表征提取方法 | |
| Xia et al. | Research on Solar Radiation Estimation based on Singular Spectrum Analysis-Deep Belief Network | |
| CN111932007A (zh) | 一种光伏电站的功率预测方法、装置及存储介质 | |
| CN117975174B (zh) | 一种基于改进vqgan的三维数字岩心重构方法 | |
| Chen et al. | A Multivariate Time Series Anomaly Detection Method Based on Generative Model | |
| CN117436564A (zh) | 一种水电机组轴系劣化趋势预测方法及装置 | |
| CN117200212A (zh) | 基于3d cnn-gru的风电功率短期预测方法 | |
| CN118296375A (zh) | 一种计及时空特征的风电功率超短期集成预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |