CN112653142A - 优化深度Transformer网络的风电功率预测方法及系统 - Google Patents

优化深度Transformer网络的风电功率预测方法及系统 Download PDF

Info

Publication number
CN112653142A
CN112653142A CN202011501748.1A CN202011501748A CN112653142A CN 112653142 A CN112653142 A CN 112653142A CN 202011501748 A CN202011501748 A CN 202011501748A CN 112653142 A CN112653142 A CN 112653142A
Authority
CN
China
Prior art keywords
layer
whale
wind power
encoder
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011501748.1A
Other languages
English (en)
Other versions
CN112653142B (zh
Inventor
何怡刚
汪磊
赵莹莹
向铭
李猎
何鎏璐
杜博伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202011501748.1A priority Critical patent/CN112653142B/zh
Publication of CN112653142A publication Critical patent/CN112653142A/zh
Priority to US17/496,778 priority patent/US11874640B2/en
Application granted granted Critical
Publication of CN112653142B publication Critical patent/CN112653142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/004—Generation forecast, e.g. methods or systems for forecasting future energy generation
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/381—Dispersed generators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2619—Wind turbines
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2639—Energy management, use maximum of cheap power, keep peak load low
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20—The dispersed energy generation being of renewable origin
    • H02J2300/28—The renewable source being wind energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种基于鲸群算法优化深度Transformer网络的风电功率预测方法及系统，将风电功率及其相关的影响因素的序列数据作为样本数据，将样本数据划分为训练集和测试集；根据初始化的超参数的取值建立Transformer网络模型，对训练集和测试集中的数据分别进行训练和预测，且将风电功率预测的平均绝对误差作为各鲸群的适应度值；根据鲸群个体的初始适应度值确定其局部最优位置，利用鲸群寻优更新当前最优位置，通过比较局部与全局的最优解来获得最好的预测效果；经过鲸群算法的若干次迭代后获得最优的Transformer网络中超参数组合，对风电功率进行预测。本发明结合优化算法和深度学习预测算法，大大提高了风电功率预测的精确度。

Description

优化深度Transformer网络的风电功率预测方法及系统
技术领域
本发明属于电力系统规划领域，更具体地，涉及一种基于鲸群算法优化深度Transformer网络的风电功率预测方法及系统。
背景技术
由于化石燃料的短缺，环境污染和温室效应问题变得越来越严重，可再生能源的开发和利用已逐渐引起全世界的关注。风能是一种清洁能源，具有巨大的储量和较高的发展潜力。风力发电是风能利用的主要形式之一，近年来受到研究者的越来越多的关注。当将风能大规模用于发电时，必须预测风电功率以确保电网的可靠性，稳定性和经济性。风力发电预测是风电场整合必不可少的关键环节，可以为电力系统的发电、调度和维护提供有效依据。准确的预测结果将大大降低风电并网带来的调峰压力，减少对电网的影响，从而确保电网的安全运行。因此，风电功率预测的研究具有重要的现实意义。风能的随机性和波动性特征使风力发电的输出功率不稳定，这增加了风电功率预测的研究难度。深度学习方法具有强大的数据挖掘功能，并已引起广泛关注。风能数据是长程相关性的时间序列且该序列存在多种长度的复杂依存关系。传统的循环结构的神经网络，比如：循环神经网络(Recursive Neural Network，RNN)，长短期记忆网络(Long Short-Term Memory，LSTM)和门控循环单元(Gated Recurrent Unit，GRU)在处理该复杂的时间序列时存在困难，且无法进行并行运算使得模型训练时间过长。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提出了一种优化深度Transformer网络的风电功率预测方法及系统，可以提高风电功率预测的效率和精确度。
为实现上述目的，按照本发明的一个方面，提供了一种优化深度Transformer网络的风电功率预测方法，包括：
将收集到的风电功率及其相关影响因素的序列数据作为样本数据；
对所有的样本数据进行最大最小的归一化处理，并将归一化处理后的样本数据划分为训练集和测试集；
初始化Transformer网络参数，设置待优化Transformer网络中的超参数的取值范围及搜索范围，确定鲸群的最大迭代次数和种群规模；
根据初始化的Transformer网络中超参数的取值建立Transformer网络模型，对训练集和测试集中的数据分别进行训练和预测，且将风电功率预测的平均绝对误差作为各鲸群的适应度值；
根据鲸群个体的初始适应度值确定其局部最优位置，利用鲸群寻优更新当前最优位置，通过比较局部与全局的最优解来获得最好的预测效果；
经过鲸群算法WOA的若干次迭代后获得最优的Transformer网络中超参数组合，并利用最优参数构建WOA-Transformer风电功率预测模型，以对风电功率进行预测。
在一些可选的实施方案中，所述经过鲸群算法WOA的若干次迭代后获得最优的Transformer网络中超参数组合，包括：
将Transformer中的超参数作为鲸群中的个体，并对鲸群进行初始化，利用随机数生成器自动产生Transformer中的超参数的初始解；
若随机参数p的值小于第一预设值，则判断系数向量|A|是否小于第二预设值，若系数向量|A|小于第二预设值，则选择收缩包围捕食机制，根据A＝2a·r-a,C＝2r和
Figure BDA0002843789320000021
更新个体位置，若系数向量|A|不小于第二预设值，则选择搜索捕食机制，根据
Figure BDA0002843789320000031
更新个体位置，其中，a是当前迭代次数j对应的常数，a是迭代过程中常数a构成的矩阵，M为最大迭代次数，r为随机向量且r∈[0,1]，Xrand表示当前座头鲸种群中随机位置向量，Xrand,j表示Xrand中的第j个数据；
若随机参数p的值不小于第一预设值，则选择螺旋捕食机制，根据
Figure BDA0002843789320000032
更新个体位置，其中，Xj、Xj+1和
Figure BDA0002843789320000033
分别表示鲸群的当前位置、下一个时刻的位置和最佳位置，D'表示第i个鲸的当前最佳位置与最优值的空间距离，b为对数螺旋常数，l为随机数且l∈[-1,1]；
计算鲸群中所有个体的适应度值，并更新全局最优值，经过鲸群算法WOA的若干次迭代后获得最优的Transformer网络中超参数组合。
在一些可选的实施方案中，所述Transformer网络模型包括编码器和解码器组成，编码器由输入层、位置编码层和若干个相同的编码器层堆叠而成，输入层通过全连接层将输入的数据映射成多维的向量，位置编码层将输入向量与位置编码向量逐元素相加所得的向量被馈送到各编码器层，每个编码器层均包含两个子层：一个自注意力层和一个全连接的前馈层，每个子层之后是归一化层，由编码器产生的多维向量被馈送到解码器；
解码器是由输入层、若干个相同的解码器层和一个输出层堆叠而成，输入层将解码器的输入映射成多维的向量，每个解码器层中除了含有编码器层中的两个子层之外，还插入一个编码-解码注意力层，来对编码器的输出应用自我注意力机制，输出层含有单个神经元，由输出层将最后一个解码器层的输出映射得到风电功率预测的值。
在一些可选的实施方案中，所述利用最优参数构建WOA-Transformer风电功率预测模型，以对风电功率进行预测，包括：
在利用N个时间点的数据来预测第N+1个时间点的风电功率时，需要将N个时间点的多维特征向量，其中，该多维特征向量为风电功率的相关影响因素组成的时间序列，通过编码器输入层中的全连接网络映射成时间序列，然后经过位置编码层来对时间序列的顺序信息进行编码，序列编码后进入编码器层中的自注意力层使得编码器能关注当前编码序列以外的其他编码序列的信息，并经过神经网络前馈层保留序列的信息，编码后的时间序列共经过若干个编码器层最后被馈送到解码器；
同时将N个时间点对应的风电功率时间序列通过解码器输入层映射成时间序列，进入解码器层中的编码-解码注意力层用来关注编码器和解码器中序列的相关性信息；特征向量和风电功率的时间序列经过整个Transformer网络学习后，最后通过含有一个神经元的全连接层得到解码器输出即为第N+1的时间点风电功率的预测值。
按照本发明的另一方面，提供了一种优化深度Transformer网络的风电功率预测系统，包括：
数据获取模块，用于将收集到的风电功率及其相关影响因素的序列数据作为样本数据；
数据处理模块，用于对所有的样本数据进行最大最小的归一化处理，并将归一化处理后的样本数据划分为训练集和测试集；
初始化模块，用于初始化Transformer网络参数，设置待优化Transformer网络中的超参数的取值范围及搜索范围，确定鲸群的最大迭代次数和种群规模；
最优参数获取模块，用于根据初始化的Transformer网络中超参数的取值建立Transformer网络模型，对训练集和测试集中的数据分别进行训练和预测，且将风电功率预测的平均绝对误差作为各鲸群的适应度值；根据鲸群个体的初始适应度值确定其局部最优位置，利用鲸群寻优更新当前最优位置，通过比较局部与全局的最优解来获得最好的预测效果；经过鲸群算法WOA的若干次迭代后获得最优的Transformer网络中超参数组合；
预测模块，用于利用最优参数构建WOA-Transformer风电功率预测模型，以对风电功率进行预测。
在一些可选的实施方案中，所述最优参数获取模块，用于将Transformer中的超参数作为鲸群中的个体，并对鲸群进行初始化，利用随机数生成器自动产生Transformer中的超参数的初始解；若随机参数p的值小于第一预设值，则判断系数向量|A|是否小于第二预设值，若系数向量|A|小于第二预设值，则选择收缩包围捕食机制，根据A＝2a·r-a,C＝2r和
Figure BDA0002843789320000051
更新个体位置，若系数向量|A|不小于第二预设值，则选择搜索捕食机制，根据
Figure BDA0002843789320000052
更新个体位置，其中，a是当前迭代次数j对应的常数，a是迭代过程中常数a构成的矩阵，M为最大迭代次数，r为随机向量且r∈[0,1]，Xrand表示当前座头鲸种群中随机位置向量，Xrand,j表示Xrand中的第j个数据；若随机参数p的值不小于第一预设值，则选择螺旋捕食机制，根据
Figure BDA0002843789320000053
更新个体位置，其中，Xj、Xj+1和
Figure BDA0002843789320000054
分别表示鲸群的当前位置、下一个时刻的位置和最佳位置，D'表示第i个鲸的当前最佳位置与最优值的空间距离，b为对数螺旋常数，l为随机数且l∈[-1,1]；计算鲸群中所有个体的适应度值，并更新全局最优值，经过鲸群算法WOA的若干次迭代后获得最优的Transformer网络中超参数组合。
在一些可选的实施方案中，所述Transformer网络模型包括编码器和解码器组成，其中，编码器由输入层、位置编码层和若干个相同的编码器层堆叠而成，输入层通过全连接层将输入的数据映射成多维的向量，位置编码层将输入向量与位置编码向量逐元素相加所得的向量被馈送到各编码器层，每个编码器层均包含两个子层：一个自注意力层和一个全连接的前馈层，每个子层之后是归一化层，由编码器产生的多维向量被馈送到解码器；
解码器是由输入层、若干个相同的解码器层和一个输出层堆叠而成，输入层将解码器的输入映射成多维的向量，每个解码器层中除了含有编码器层中的两个子层之外，还插入一个编码-解码注意力层，来对编码器的输出应用自我注意力机制，输出层含有单个神经元，由输出层将最后一个解码器层的输出映射得到风电功率预测的值。
在一些可选的实施方案中，所述预测模块，用于在利用N个时间点的数据来预测第N+1个时间点的风电功率时，需要将N个时间点的多维特征向量，其中，该多维特征向量为风电功率的相关影响因素组成的时间序列，通过编码器输入层中的全连接网络映射成时间序列，然后经过位置编码层来对时间序列的顺序信息进行编码，序列编码后进入编码器层中的自注意力层使得编码器能关注当前编码序列以外的其他编码序列的信息，并经过神经网络前馈层保留序列的信息，编码后的时间序列共经过若干个编码器层最后被馈送到解码器；
同时将N个时间点对应的风电功率时间序列通过解码器输入层映射成时间序列，进入解码器层中的编码-解码注意力层用来关注编码器和解码器中序列的相关性信息；特征向量和风电功率的时间序列经过整个Transformer网络学习后，最后通过含有一个神经元的全连接层得到解码器输出即为第N+1的时间点风电功率的预测值。
按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：通过本发明的深度Transformer网络可以支持并行运算从而提高模型训练效率，该网络中的自注意力(self-attention)机制可以学习存在多种长度的复杂依存关系的时间序列的有用信息。同时，为了避免该网络选择超参数的盲目性，鲸群算法(whaleoptimization algorithm，WOA)用于优化Transformer网络中超参数(学习率、epoch、batchsize和dropout)，获得最优的Transformer网络中超参数组合，并利用最优参数构建WOA-Transformer风电功率预测模型。本发明结合优化算法和深度学习预测算法，大大提高了风电功率预测的精确度。
附图说明
图1是本发明实施例提供的一种方法流程示意图；
图2是本发明实施例提供的另一种方法流程示意图；
图3是本发明实施例提供的一种利用鲸群算法优化网络中超参数的流程示意图；
图4是本发明实施例提供的一种深度Transformer风电功率预测模型结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1及图2所示是本发明实施例提供的一种基于鲸群算法优化深度Transformer网络的风电功率预测方法的流程示意图，包括以下步骤：
S1：将收集到的风电功率及其相关影响因素(包括：风向、风速、空气温度、地面气压和轮毂高度处的空气密度等数据)的序列数据作为样本数据；
其中，根据历史数据，每一个时间点的风电功率、风向、风速、空气温度、地面气压和轮毂高度处的空气密度等数据的组合作为一个样本数据。
S2：对所有的样本数据进行最大最小的归一化处理，并将归一化处理后的样本数据划分为训练集和测试集；
S3：初始化Transformer网络参数，设置待优化Transformer网络中的超参数(如学习率、epoch、batchsize和dropout)的取值范围及搜索范围，确定鲸群的最大迭代次数和种群规模；
S4：根据初始化的Transformer网络中超参数的取值建立Transformer网络模型，对训练集和测试集中的数据分别进行训练和预测，且将风电功率预测的平均绝对误差作为各鲸群的适应度值；
S5：根据鲸群个体的初始适应度值确定其局部最优位置，利用鲸群寻优更新当前最优位置，通过比较局部与全局的最优解来获得最好的预测效果；
S6：经过鲸群算法WOA的若干次迭代后获得最优的Transformer网络中超参数组合，并利用最优参数构建WOA-Transformer风电功率预测模型，以对风电功率进行预测。
在本发明实施例中的鲸群算法是模拟座头鲸觅食时出现的环绕式捕食、发泡网攻击和搜索捕食这三种行为。
(a)环绕式捕食行为的数学描述
当鲸发现猎物时，它会不断更新自身的位置来逐渐靠近猎物。空间中的最优解在搜索整个空间前是未知的，需要在当前位置的基础上不断调整自身的位置，不妨以Xj、Xj+1和
Figure BDA0002843789320000081
来分别表示鲸群的当前位置、下一个时刻的位置和最佳位置，j为当前迭代次数，则有：
Xj+1＝Xj-A·D (1)
Figure BDA0002843789320000082
其中，A和C称为系数向量，其计算过程如下：
A＝2a·r-a,C＝2r (3)
Figure BDA0002843789320000083
其中，a是当前迭代次数j对应的常数，a是迭代过程中常数a构成的矩阵，M为最大迭代次数，r为随机向量且r∈[0,1]。由式(4)可以看出a从2到0线性递减。
(b)座头鲸发泡网攻击行为的数学描述
该行为主要包括两个过程，分别为收缩包围和螺旋式位置更新。收缩包围过程主要是通过式(4)中a值的变化来实现的。当j增大时，a值会减小，显然向量A的变化范围也在缩小，向量A在区间[-a,a]上变化，而a在迭代过程中从2到0线性递减。将向量A设置为[-1,1]上随机数，座头鲸更新后的位置可以是更新前原始位置和最佳位置之间的任何位置。
螺旋式位置更新的过程中首先需要计算鲸群距离猎物多远，然后通过建立螺旋式数学模型来模拟座头鲸螺旋式游动过程：
Figure BDA0002843789320000091
其中，D'表示第i个鲸的当前最佳位置到猎物的距离，b为对数螺旋常数，l为随机数且l∈[-1,1]。
考虑到收缩包围和螺旋式位置更新两个过程会同时发生的情况，不妨假设选择这两个过程存在阈值为50％，即把两个过程同时发生的问题看成是具有一定概率的仅选择其中一个过程的问题，则有：
Figure BDA0002843789320000092
其中，p为随机数且p∈[0,1]。
(c)搜索捕食行为的数学描述
考虑鲸群更广的捕食范围，前两种行为中鲸群搜索的主要范围在[-1,1]，但是在这个区间以外也可能存在更好的捕食对象，为了能够搜索到全局的最优解，采用随机选择当前鲸鱼位置的方式，搜索捕食的过程同样可以建立在随机向量A的基础上，此时研究的范围满足|A|＞1，则有：
Figure BDA0002843789320000101
其中Xrand表示当前座头鲸种群中随机位置向量，此处座头鲸个体的选择也具有随机性，Xrand,j表示Xrand中的第j个数据。
WOA在实际使用中会随机选择环绕式捕食、发泡网攻击和搜索捕食三种行为作为搜素最优解的解决方案，在每次进行迭代更新运算时都会随机选择鲸群个体和最佳的问题解决方案。参数a由2减小到0在进行发泡网攻击和搜索捕食行为时座头鲸位置更新过程中都发挥着极其重要的作用。当|A|＞1时主要是选择座头鲸的个体，而当|A|＜1时主要是选择最优座头鲸的位置，随机参数p可以使座头鲸在作螺旋运动或者圆周运动之间切换。当鲸群算法满足迭代的终止条件时会停止迭代。
在本发明实施例中，如图3所示，为了减少人工调整Transformer模型超参数(学习率、epoch、batchsize和dropout)的工作量，采用WOA来自动寻优得到这些最优的超参数组合，从而获得最佳的Transformer模型来进行电力负荷预测的具体实现方式如下：
(1)鲸群初始化，具体过程是利用随机数生成器自动产生Transformer中的超参数的初始解；
(2)若随机参数p的值小于第一预设值，则判断系数向量|A|是否小于第二预设值，若系数向量|A|小于第二预设值，则选择收缩包围捕食机制，根据A＝2a·r-a,C＝2r和
Figure BDA0002843789320000102
更新个体位置，若系数向量|A|不小于第二预设值，则选择搜索捕食机制，根据
Figure BDA0002843789320000103
更新个体位置，其中，a是当前迭代次数j对应的常数，a是迭代过程中常数a构成的矩阵，M为最大迭代次数，r为随机向量且r∈[0,1]，Xrand表示当前座头鲸种群中随机位置向量，Xrand,j表示Xrand中的第j个数据；
(3)若随机参数p的值不小于第一预设值，则选择螺旋捕食机制，根据
Figure BDA0002843789320000111
更新个体位置，其中，Xj、Xj+1和
Figure BDA0002843789320000112
分别表示鲸群的当前位置、下一个时刻的位置和最佳位置，其中，位置表示Transformer中的超参数的具体值，D'表示第i个鲸的当前最佳位置与最优值的空间距离，b为对数螺旋常数，l为随机数且l∈[-1,1]。
(4)计算鲸群中所有个体的适应度值，并更新全局最优值，经过鲸群算法WOA的若干次迭代后获得最优的Transformer网络中超参数组合，由得到的最优超参数优化Transformer网络模型得到WOA-Transformer风电功率预测模型，以对风电功率进行预测。
在本发明实施例中，为了解决风电预测问题，在谷歌设计的用于自然语言处理的Transformer模型的基础上进行了修改来处理时间序列。修改后的模型如图4所示，主要由一个编码器和一个解码器组成。
编码器由输入层，位置编码层和四个相同的编码器层堆叠而成。输入层通过全连接层将输入的数据映射成dmodel维的向量。编码层将输入向量与位置编码向量逐元素相加，具体过程是使用具有正弦和余弦函数的位置编码对时间序列数据中的顺序信息进行编码。所得的向量被馈送到四个编码器层。每个编码器层均包含两个子层：一个自注意力层和一个全连接的前馈层(Feed Forward)。每个子层之后是归一化层(Norm)。编码器产生dmodel维的向量被馈送到解码器。
解码器是由输入层，四个相同的解码器层和一个输出层堆叠而成。输入层将解码器输入映射成dmodel维的向量。每个解码器层中除了含有编码器层中的两个子层之外，还插入一个第三子层，即编码-解码注意力层，来对编码器的输出应用自我注意力机制。最后，有一个含有单个神经元的输出层，它将最后一个解码器层的输出映射到风电功率预测的值。
使用该模型来融合相关特征向量信息并完成风电功率的预测。当利用N个时间点的数据来预测第N+1个时间点的风电功率时，需要将N个时间点的5维特征向量(风向、风速、空气温度、地面气压和轮毂高度处的空气密度)通过编码器输入层中的全连接网络映射成时间序列，然后经过位置编码层来对时间序列的顺序信息进行编码，序列编码后进入编码器层中的自注意力层使得编码器能关注当前编码序列以外的其他编码序列的信息，并经过神经网络前馈层保留序列的信息，编码后的时间序列共经过四个编码器层最后被馈送到解码器。同时将N个时间点对应的风电功率通过解码器输入层映射成时间序列，该时间序列进入解码器的过程与编码器中的序列传递过程类似，不同之处在于在解码器中不含有编码层，而是在解码层中增加了编码-解码注意力层，用来关注编码器和解码器中序列的相关性信息。特征向量和风电功率的时间序列经过整个Transformer网络学习后，最后通过含有一个神经元的全连接层得到解码器输出即为第N+1的时间点风电功率的预测值。
在本发明实施例中，选择WOA优化后得到最佳的学习率、epoch、batchsize和dropout取值来设置Transformer的超参数。利用训练集数据进行模型学习并更新内部参数，保存训练好的模型参数，则可以用测试集来进行风电功率预测。
本发明实施例的基于鲸群算法优化深度Transformer网络的风电功率预测方法，深度Transformer网络可以支持并行运算从而提高模型训练效率，该网络中的自注意力(self-attention)机制可以学习存在多种长度的复杂依存关系的时间序列的有用信息，同时利用鲸群算法来优化Transformer模型的超参数减少了人工调整参数的工作量，也提高了风电功率预测的精确度。
本申请还提供一种优化深度Transformer网络的风电功率预测系统，包括：
数据获取模块，用于将收集到的风电功率及其相关影响因素的序列数据作为样本数据；
数据处理模块，用于对所有的样本数据进行最大最小的归一化处理，并将归一化处理后的样本数据划分为训练集和测试集；
初始化模块，用于初始化Transformer网络参数，设置待优化Transformer网络中的超参数的取值范围及搜索范围，确定鲸群的最大迭代次数和种群规模；
最优参数获取模块，用于根据初始化的Transformer网络中超参数的取值建立Transformer网络模型，对训练集和测试集中的数据分别进行训练和预测，且将风电功率预测的平均绝对误差作为各鲸群的适应度值；根据鲸群个体的初始适应度值确定其局部最优位置，利用鲸群寻优更新当前最优位置，通过比较局部与全局的最优解来获得最好的预测效果；经过鲸群算法WOA的若干次迭代后获得最优的Transformer网络中超参数组合；
预测模块，用于利用最优参数构建WOA-Transformer风电功率预测模型，以对风电功率进行预测。
在一些可选的实施方案中，上述最优参数获取模块，用于将Transformer中的超参数作为鲸群中的个体，并对鲸群进行初始化，利用随机数生成器自动产生Transformer中的超参数的初始解；若随机参数p的值小于第一预设值，则判断系数向量|A|是否小于第二预设值，若系数向量|A|小于第二预设值，则选择收缩包围捕食机制，根据A＝2a·r-a,C＝2r和
Figure BDA0002843789320000131
更新个体位置，若系数向量|A|不小于第二预设值，则选择搜索捕食机制，根据
Figure BDA0002843789320000132
更新个体位置，其中，a是当前迭代次数j对应的常数，a是迭代过程中常数a构成的矩阵，M为最大迭代次数，r为随机向量且r∈[0,1]，Xrand表示当前座头鲸种群中随机位置向量，Xrand,j表示Xrand中的第j个数据；若随机参数p的值不小于第一预设值，则选择螺旋捕食机制，根据
Figure BDA0002843789320000141
更新个体位置，其中，Xj、Xj+1和
Figure BDA0002843789320000142
分别表示鲸群的当前位置、下一个时刻的位置和最佳位置，D'表示第i个鲸的当前最佳位置到猎物的距离，b为对数螺旋常数，l为随机数且l∈[-1,1]；计算鲸群中所有个体的适应度值，并更新全局最优值，经过鲸群算法WOA的若干次迭代后获得最优的Transformer网络中超参数组合。
在一些可选的实施方案中，上述Transformer网络模型包括编码器和解码器组成，其中，编码器由输入层、位置编码层和若干个相同的编码器层堆叠而成，输入层通过全连接层将输入的数据映射成多维的向量，位置编码层将输入向量与位置编码向量逐元素相加所得的向量被馈送到各编码器层，每个编码器层均包含两个子层：一个自注意力层和一个全连接的前馈层，每个子层之后是归一化层，由编码器产生的多维向量被馈送到解码器；
解码器是由输入层、若干个相同的解码器层和一个输出层堆叠而成，输入层将解码器的输入映射成多维的向量，每个解码器层中除了含有编码器层中的两个子层之外，还插入一个编码-解码注意力层，来对编码器的输出应用自我注意力机制，输出层含有单个神经元，由输出层将最后一个解码器层的输出映射得到风电功率预测的值。
在一些可选的实施方案中，上述预测模块，用于在利用N个时间点的数据来预测第N+1个时间点的风电功率时，需要将N个时间点的多维特征向量，其中，该多维特征向量为风电功率的相关影响因素组成的时间序列，通过编码器输入层中的全连接网络映射成时间序列，然后经过位置编码层来对时间序列的顺序信息进行编码，序列编码后进入编码器层中的自注意力层使得编码器能关注当前编码序列以外的其他编码序列的信息，并经过神经网络前馈层保留序列的信息，编码后的时间序列共经过若干个编码器层最后被馈送到解码器；
同时将N个时间点对应的风电功率时间序列通过解码器输入层映射成时间序列，进入解码器层中的编码-解码注意力层用来关注编码器和解码器中序列的相关性信息；特征向量和风电功率的时间序列经过整个Transformer网络学习后，最后通过含有一个神经元的全连接层得到解码器输出即为第N+1的时间点风电功率的预测值。
其中，各模块的具体实施方式可以参考上述方法实施例的描述，本发明实施例将不再复述。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现方法实施例中的优化深度Transformer网络的风电功率预测方法。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种优化深度Transformer网络的风电功率预测方法，其特征在于，包括：
将收集到的风电功率及其相关影响因素的序列数据作为样本数据；
对所有的样本数据进行最大最小的归一化处理，并将归一化处理后的样本数据划分为训练集和测试集；
初始化Transformer网络参数，设置待优化Transformer网络中的超参数的取值范围及搜索范围，确定鲸群的最大迭代次数和种群规模；
根据初始化的Transformer网络中超参数的取值建立Transformer网络模型，对训练集和测试集中的数据分别进行训练和预测，且将风电功率预测的平均绝对误差作为各鲸群的适应度值；
根据鲸群个体的初始适应度值确定其局部最优位置，利用鲸群寻优更新当前最优位置，通过比较局部与全局的最优解来获得最好的预测效果；
经过鲸群算法WOA的若干次迭代后获得最优的Transformer网络中超参数组合，并利用最优参数构建WOA-Transformer风电功率预测模型，以对风电功率进行预测。
2.根据权利要求1所述的方法，其特征在于，所述经过鲸群算法WOA的若干次迭代后获得最优的Transformer网络中超参数组合，包括：
将Transformer中的超参数作为鲸群中的个体，并对鲸群进行初始化，利用随机数生成器自动产生Transformer中的超参数的初始解；
若随机参数p的值小于第一预设值，则判断系数向量|A|是否小于第二预设值，若系数向量|A|小于第二预设值，则选择收缩包围捕食机制，根据A＝2a·r-a,C＝2r和
Figure FDA0002843789310000011
更新个体位置，若系数向量|A|不小于第二预设值，则选择搜索捕食机制，根据
Figure FDA0002843789310000012
更新个体位置，其中，a是当前迭代次数j对应的常数，a是迭代过程中常数a构成的矩阵，M为最大迭代次数，r为随机向量且r∈[0,1]，Xrand表示当前座头鲸种群中随机位置向量，Xrand,j表示Xrand中的第j个数据；
若随机参数p的值不小于第一预设值，则选择螺旋捕食机制，根据
Figure FDA0002843789310000021
更新个体位置，其中，Xj、Xj+1和Xj *分别表示鲸群的当前位置、下一个时刻的位置和最佳位置，D'表示第i个鲸的当前最佳位置与最优值的空间距离，b为对数螺旋常数，l为随机数且l∈[-1,1]；
计算鲸群中所有个体的适应度值，并更新全局最优值，经过鲸群算法WOA的若干次迭代后获得最优的Transformer网络中超参数组合。
3.根据权利要求1或2所述的方法，其特征在于，所述Transformer网络模型包括编码器和解码器组成，其中，编码器由输入层、位置编码层和若干个相同的编码器层堆叠而成，输入层通过全连接层将输入的数据映射成多维的向量，位置编码层将输入向量与位置编码向量逐元素相加所得的向量被馈送到各编码器层，每个编码器层均包含两个子层：一个自注意力层和一个全连接的前馈层，每个子层之后是归一化层，由编码器产生的多维向量被馈送到解码器；
解码器是由输入层、若干个相同的解码器层和一个输出层堆叠而成，输入层将解码器的输入映射成多维的向量，每个解码器层中除了含有编码器层中的两个子层之外，还插入一个编码-解码注意力层，来对编码器的输出应用自我注意力机制，输出层含有单个神经元，由输出层将最后一个解码器层的输出映射得到风电功率预测的值。
4.根据权利要求3所述的方法，其特征在于，所述利用最优参数构建WOA-Transformer风电功率预测模型，以对风电功率进行预测，包括：
在利用N个时间点的数据来预测第N+1个时间点的风电功率时，需要将N个时间点的多维特征向量，其中，该多维特征向量为风电功率的相关影响因素组成的时间序列，通过编码器输入层中的全连接网络映射成时间序列，然后经过位置编码层来对时间序列的顺序信息进行编码，序列编码后进入编码器层中的自注意力层使得编码器能关注当前编码序列以外的其他编码序列的信息，并经过神经网络前馈层保留序列的信息，编码后的时间序列共经过若干个编码器层最后被馈送到解码器；
同时将N个时间点对应的风电功率时间序列通过解码器输入层映射成时间序列，进入解码器层中的编码-解码注意力层用来关注编码器和解码器中序列的相关性信息；特征向量和风电功率的时间序列经过整个Transformer网络学习后，最后通过含有一个神经元的全连接层得到解码器输出即为第N+1的时间点风电功率的预测值。
5.一种优化深度Transformer网络的风电功率预测系统，其特征在于，包括：
数据获取模块，用于将收集到的风电功率及其相关影响因素的序列数据作为样本数据；
数据处理模块，用于对所有的样本数据进行最大最小的归一化处理，并将归一化处理后的样本数据划分为训练集和测试集；
初始化模块，用于初始化Transformer网络参数，设置待优化Transformer网络中的超参数的取值范围及搜索范围，确定鲸群的最大迭代次数和种群规模；
最优参数获取模块，用于根据初始化的Transformer网络中超参数的取值建立Transformer网络模型，对训练集和测试集中的数据分别进行训练和预测，且将风电功率预测的平均绝对误差作为各鲸群的适应度值；根据鲸群个体的初始适应度值确定其局部最优位置，利用鲸群寻优更新当前最优位置，通过比较局部与全局的最优解来获得最好的预测效果；经过鲸群算法WOA的若干次迭代后获得最优的Transformer网络中超参数组合；
预测模块，用于利用最优参数构建WOA-Transformer风电功率预测模型，以对风电功率进行预测。
6.根据权利要求5所述的系统，其特征在于，所述最优参数获取模块，用于将Transformer中的超参数作为鲸群中的个体，并对鲸群进行初始化，利用随机数生成器自动产生Transformer中的超参数的初始解；若随机参数p的值小于第一预设值，则判断系数向量|A|是否小于第二预设值，若系数向量|A|小于第二预设值，则选择收缩包围捕食机制，根据A＝2a·r-a,C＝2r和
Figure FDA0002843789310000041
更新个体位置，若系数向量|A|不小于第二预设值，则选择搜索捕食机制，根据
Figure FDA0002843789310000042
更新个体位置，其中，a是当前迭代次数j对应的常数，a是迭代过程中常数a构成的矩阵，M为最大迭代次数，r为随机向量且r∈[0,1]，Xrand表示当前座头鲸种群中随机位置向量，Xrand,j表示Xrand中的第j个数据；若随机参数p的值不小于第一预设值，则选择螺旋捕食机制，根据
Figure FDA0002843789310000043
更新个体位置，其中，Xj、Xj+1和Xj *分别表示鲸群的当前位置、下一个时刻的位置和最佳位置，D'表示第i个鲸的当前最佳位置与最优值的空间距离，b为对数螺旋常数，l为随机数且l∈[-1,1]；计算鲸群中所有个体的适应度值，并更新全局最优值，经过鲸群算法WOA的若干次迭代后获得最优的Transformer网络中超参数组合。
7.根据权利要求5或6所述的系统，其特征在于，所述Transformer网络模型包括编码器和解码器组成，其中，编码器由输入层、位置编码层和若干个相同的编码器层堆叠而成，输入层通过全连接层将输入的数据映射成多维的向量，位置编码层将输入向量与位置编码向量逐元素相加所得的向量被馈送到各编码器层，每个编码器层均包含两个子层：一个自注意力层和一个全连接的前馈层，每个子层之后是归一化层，由编码器产生的多维向量被馈送到解码器；
解码器是由输入层、若干个相同的解码器层和一个输出层堆叠而成，输入层将解码器的输入映射成多维的向量，每个解码器层中除了含有编码器层中的两个子层之外，还插入一个编码-解码注意力层，来对编码器的输出应用自我注意力机制，输出层含有单个神经元，由输出层将最后一个解码器层的输出映射得到风电功率预测的值。
8.根据权利要求7所述的系统，其特征在于，所述预测模块，用于在利用N个时间点的数据来预测第N+1个时间点的风电功率时，需要将N个时间点的多维特征向量，其中，该多维特征向量为风电功率的相关影响因素组成的时间序列，通过编码器输入层中的全连接网络映射成时间序列，然后经过位置编码层来对时间序列的顺序信息进行编码，序列编码后进入编码器层中的自注意力层使得编码器能关注当前编码序列以外的其他编码序列的信息，并经过神经网络前馈层保留序列的信息，编码后的时间序列共经过若干个编码器层最后被馈送到解码器；
同时将N个时间点对应的风电功率时间序列通过解码器输入层映射成时间序列，进入解码器层中的编码-解码注意力层用来关注编码器和解码器中序列的相关性信息；特征向量和风电功率的时间序列经过整个Transformer网络学习后，最后通过含有一个神经元的全连接层得到解码器输出即为第N+1的时间点风电功率的预测值。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4任一项所述方法的步骤。
CN202011501748.1A 2020-12-18 2020-12-18 优化深度Transformer网络的风电功率预测方法及系统 Active CN112653142B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011501748.1A CN112653142B (zh) 2020-12-18 2020-12-18 优化深度Transformer网络的风电功率预测方法及系统
US17/496,778 US11874640B2 (en) 2020-12-18 2021-10-08 Wind power prediction method and system for optimizing deep transformer network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011501748.1A CN112653142B (zh) 2020-12-18 2020-12-18 优化深度Transformer网络的风电功率预测方法及系统

Publications (2)

Publication Number Publication Date
CN112653142A true CN112653142A (zh) 2021-04-13
CN112653142B CN112653142B (zh) 2022-09-02

Family

ID=75355308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011501748.1A Active CN112653142B (zh) 2020-12-18 2020-12-18 优化深度Transformer网络的风电功率预测方法及系统

Country Status (2)

Country Link
US (1) US11874640B2 (zh)
CN (1) CN112653142B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343590A (zh) * 2021-07-08 2021-09-03 华北电力大学（保定） 一种基于组合模型的风速预测方法及系统
CN113376656A (zh) * 2021-06-07 2021-09-10 重庆大学 一种基于lstm预测的多机器人围捕系统
CN113379164A (zh) * 2021-07-16 2021-09-10 国网江苏省电力有限公司苏州供电分公司 基于深度自注意力网络的负荷预测方法及系统
CN113408588A (zh) * 2021-05-24 2021-09-17 上海电力大学 一种基于注意力机制的双向gru轨迹预测方法
CN113505875A (zh) * 2021-07-20 2021-10-15 珠海格力电器股份有限公司 一种故障预测方法、装置及存储介质
CN113572206A (zh) * 2021-07-26 2021-10-29 大连理工大学 一种风电出力区间预测方法
CN113642766A (zh) * 2021-07-08 2021-11-12 南方电网科学研究院有限责任公司 一种电力系统站点停电数的预测方法、装置、设备及介质
CN113971372A (zh) * 2021-11-02 2022-01-25 浙江凌镜智能有限公司 基于神经网络的风速预测方法及装置
CN113988449A (zh) * 2021-11-05 2022-01-28 国家电网有限公司西北分部 基于Transformer模型的风电功率预测方法
CN114334041A (zh) * 2021-12-31 2022-04-12 厦门大学 一种基于Transformer的电磁超材料复杂光谱高精度预测方法
CN114429078A (zh) * 2021-12-22 2022-05-03 广东工业大学 一种短期风电功率预测方法及系统
CN114442558A (zh) * 2022-01-27 2022-05-06 西南交通大学 一种基于自注意力机制的机床温度敏感点组合选取方法
CN115018038A (zh) * 2022-03-14 2022-09-06 贵州大学 一种基于麻雀优化宽度学习系统的网络接口流量预测方法
CN115099885A (zh) * 2022-03-31 2022-09-23 日日顺供应链科技股份有限公司 一种商品匹配推荐方法及系统
CN115271225A (zh) * 2022-08-05 2022-11-01 中国矿业大学(北京) 一种基于小波降噪和神经网络的风力-风功率建模方法
CN115276099A (zh) * 2022-08-26 2022-11-01 中国华能集团清洁能源技术研究院有限公司 基于人工智能技术的风电场储能系统灵活控制方法和装置
CN115828758A (zh) * 2022-12-13 2023-03-21 广东海洋大学 基于改进烟花算法优化网络的海水三维预测方法及系统
WO2023070960A1 (zh) * 2021-10-29 2023-05-04 中国华能集团清洁能源技术研究院有限公司 一种基于卷积transformer架构的风功率预测方法、系统及设备
CN116646927A (zh) * 2023-05-30 2023-08-25 淮阴工学院 一种基于分段滤波与纵横聚类的风电功率预测方法
CN117237005A (zh) * 2023-11-16 2023-12-15 国网天津市电力公司经济技术研究院 一种考虑多维因素的绿电需求量智能预测方法和系统
CN117272051A (zh) * 2023-11-21 2023-12-22 浪潮通用软件有限公司 一种基于lstm优化模型的时间序列预测方法、设备及介质

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114880956B (zh) * 2022-07-11 2022-11-04 南京高创通信科技有限公司 一种基于多芯光纤的光纤传感器优化方法
CN115993345A (zh) * 2022-08-11 2023-04-21 贵州电网有限责任公司 一种基于isfo-vmd-kelm的sf6分解组分co2浓度反演的方法
CN115081752B (zh) * 2022-08-11 2022-11-22 浙江君同智能科技有限责任公司 黑灰产众包流量预测装置及方法
CN115688982B (zh) * 2022-10-11 2024-01-30 华能江苏综合能源服务有限公司 基于wgan和鲸鱼优化算法的楼宇光伏数据补全方法
CN115587641B (zh) * 2022-11-25 2023-04-07 浙江工业大学 一种基于多生成器的环境因素引导的台风多趋势预测方法
CN116306794B (zh) * 2023-03-09 2023-10-31 河源市广师大研究院 作物需水量预测方法、装置、电子设备及存储介质
CN116417992B (zh) * 2023-03-10 2024-03-19 华中科技大学 基于时空注意力机制的风机功率预测模型建立方法及应用
CN116304846B (zh) * 2023-05-24 2023-09-12 国网江西省电力有限公司电力科学研究院 一种基于自监督学习的cvt内部绝缘异常在线评估方法
CN116738226B (zh) * 2023-05-26 2024-03-12 北京龙软科技股份有限公司 一种基于自可解释注意力网络的瓦斯涌出量预测方法
CN116885691B (zh) * 2023-05-30 2024-02-23 淮阴工学院 一种风电功率爬坡事件间接预测方法
CN116369867B (zh) * 2023-06-06 2023-11-21 泉州装备制造研究所 一种基于woa-1dcnn-lstm的足底地面反作用力预测方法及系统
CN116454772B (zh) * 2023-06-14 2023-08-25 浙江浙能迈领环境科技有限公司 用于集装箱中压配电柜的泄压装置及方法
CN116757534B (zh) * 2023-06-15 2024-03-15 中国标准化研究院 一种基于神经训练网络的智能冰箱可靠性分析方法
CN116760026B (zh) * 2023-06-29 2024-05-17 南京工程学院 计及参数不可辨识性的机组出力精准预测方法
CN117171700A (zh) * 2023-08-10 2023-12-05 辽宁石油化工大学 一种基于深度学习的钻井溢流预测组合模型及模型适时静默更新与迁移学习方法
CN116881676B (zh) * 2023-09-08 2023-11-21 昆明理工大学 一种露天坑涌水量的预测方法
CN116911467A (zh) * 2023-09-12 2023-10-20 浙江华云电力工程设计咨询有限公司 一种可再生能源出力的预测方法、装置及存储介质
CN117394306A (zh) * 2023-09-19 2024-01-12 华中科技大学 基于新能源并网的风电功率预测模型建立方法及其应用
CN116955966B (zh) * 2023-09-20 2023-12-19 山东科技大学 一种矿井顶板富水性等级的判别方法
CN117057258B (zh) * 2023-10-12 2023-12-12 西安热工研究院有限公司 基于权重分配相关系数的黑启动过电压预测方法及系统
CN117096875B (zh) * 2023-10-19 2024-03-12 国网江西省电力有限公司经济技术研究院 一种基于Spatio-Temporal Transformer模型的短期负荷预测方法及系统
CN117114056B (zh) * 2023-10-25 2024-01-09 城云科技（中国）有限公司 一种电力负荷预测模型及其构建方法、装置及应用
CN117155403B (zh) * 2023-10-31 2023-12-29 广东鑫钻节能科技股份有限公司 一种数字能源空压站的数据编码方法
CN117195090B (zh) * 2023-11-08 2024-03-08 南昌工程学院 一种低压配电台区窃电检测方法及系统
CN117408164B (zh) * 2023-12-13 2024-03-22 西安热工研究院有限公司 储能辅助黑启动的风速智能预测方法及系统
CN117454124B (zh) * 2023-12-26 2024-03-29 山东大学 一种基于深度学习的船舶运动预测方法及系统
CN117787746B (zh) * 2023-12-28 2024-05-28 辽宁科技大学 一种基于iceemdan-idbo-bilstm的建筑能耗预测方法
CN117494071B (zh) * 2023-12-29 2024-04-16 深圳市科沃电气技术有限公司 基于电机转速监测的寿命预测方法及相关装置
CN117494591B (zh) * 2024-01-03 2024-03-22 南京灿能电力自动化股份有限公司 一种风电电能质量评估方法及装置
CN117668671B (zh) * 2024-02-01 2024-04-30 成都工业学院 一种基于机器学习的教育资源治理方法
CN117744895A (zh) * 2024-02-20 2024-03-22 山东华科信息技术有限公司 一种热力负荷预测方法、装置、设备及存储介质
CN117784623B (zh) * 2024-02-28 2024-05-14 航天宏图信息技术股份有限公司 带负载约束车辆路径的多策略协同智能优化方法及装置
CN117893362A (zh) * 2024-03-18 2024-04-16 广东工业大学 一种多时空尺度的海上风电特征筛选及增强的功率预测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170091615A1 (en) * 2015-09-28 2017-03-30 Siemens Aktiengesellschaft System and method for predicting power plant operational parameters utilizing artificial neural network deep learning methodologies
CN110110930A (zh) * 2019-05-08 2019-08-09 西南交通大学 一种改进鲸鱼算法的循环神经网络短期电力负荷预测方法
CN110516831A (zh) * 2019-06-18 2019-11-29 国网（北京）节能设计研究院有限公司 一种基于mwoa算法优化svm的短期负荷预测方法
CN111080032A (zh) * 2019-12-30 2020-04-28 成都数之联科技有限公司 一种基于Transformer结构的负荷预测方法
CN111160620A (zh) * 2019-12-06 2020-05-15 江苏方天电力技术有限公司 一种基于端到端记忆网络的短期风电功率预测方法
CN111404203A (zh) * 2020-04-10 2020-07-10 湘电风能有限公司 一种基于鲸鱼群算法的风电场有功功率调度方法
CN111626764A (zh) * 2020-04-09 2020-09-04 中南大学 基于Transformer+LSTM神经网络模型的商品销量预测方法及装置
CN111968629A (zh) * 2020-07-08 2020-11-20 重庆邮电大学 一种结合Transformer和CNN-DFSMN-CTC的中文语音识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170091615A1 (en) * 2015-09-28 2017-03-30 Siemens Aktiengesellschaft System and method for predicting power plant operational parameters utilizing artificial neural network deep learning methodologies
CN110110930A (zh) * 2019-05-08 2019-08-09 西南交通大学 一种改进鲸鱼算法的循环神经网络短期电力负荷预测方法
CN110516831A (zh) * 2019-06-18 2019-11-29 国网（北京）节能设计研究院有限公司 一种基于mwoa算法优化svm的短期负荷预测方法
CN111160620A (zh) * 2019-12-06 2020-05-15 江苏方天电力技术有限公司 一种基于端到端记忆网络的短期风电功率预测方法
CN111080032A (zh) * 2019-12-30 2020-04-28 成都数之联科技有限公司 一种基于Transformer结构的负荷预测方法
CN111626764A (zh) * 2020-04-09 2020-09-04 中南大学 基于Transformer+LSTM神经网络模型的商品销量预测方法及装置
CN111404203A (zh) * 2020-04-10 2020-07-10 湘电风能有限公司 一种基于鲸鱼群算法的风电场有功功率调度方法
CN111968629A (zh) * 2020-07-08 2020-11-20 重庆邮电大学 一种结合Transformer和CNN-DFSMN-CTC的中文语音识别方法

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408588A (zh) * 2021-05-24 2021-09-17 上海电力大学 一种基于注意力机制的双向gru轨迹预测方法
CN113408588B (zh) * 2021-05-24 2023-02-14 上海电力大学 一种基于注意力机制的双向gru轨迹预测方法
CN113376656A (zh) * 2021-06-07 2021-09-10 重庆大学 一种基于lstm预测的多机器人围捕系统
CN113642766A (zh) * 2021-07-08 2021-11-12 南方电网科学研究院有限责任公司 一种电力系统站点停电数的预测方法、装置、设备及介质
CN113343590A (zh) * 2021-07-08 2021-09-03 华北电力大学（保定） 一种基于组合模型的风速预测方法及系统
CN113343590B (zh) * 2021-07-08 2022-03-22 华北电力大学（保定） 一种基于组合模型的风速预测方法及系统
CN113642766B (zh) * 2021-07-08 2024-01-30 南方电网科学研究院有限责任公司 一种电力系统站点停电数的预测方法、装置、设备及介质
CN113379164B (zh) * 2021-07-16 2024-03-26 国网江苏省电力有限公司苏州供电分公司 基于深度自注意力网络的负荷预测方法及系统
CN113379164A (zh) * 2021-07-16 2021-09-10 国网江苏省电力有限公司苏州供电分公司 基于深度自注意力网络的负荷预测方法及系统
CN113505875A (zh) * 2021-07-20 2021-10-15 珠海格力电器股份有限公司 一种故障预测方法、装置及存储介质
CN113572206A (zh) * 2021-07-26 2021-10-29 大连理工大学 一种风电出力区间预测方法
CN113572206B (zh) * 2021-07-26 2022-06-14 大连理工大学 一种风电出力区间预测方法
WO2023070960A1 (zh) * 2021-10-29 2023-05-04 中国华能集团清洁能源技术研究院有限公司 一种基于卷积transformer架构的风功率预测方法、系统及设备
CN113971372A (zh) * 2021-11-02 2022-01-25 浙江凌镜智能有限公司 基于神经网络的风速预测方法及装置
CN113988449B (zh) * 2021-11-05 2024-04-12 国家电网有限公司西北分部 基于Transformer模型的风电功率预测方法
CN113988449A (zh) * 2021-11-05 2022-01-28 国家电网有限公司西北分部 基于Transformer模型的风电功率预测方法
CN114429078B (zh) * 2021-12-22 2022-10-18 广东工业大学 一种短期风电功率预测方法及系统
CN114429078A (zh) * 2021-12-22 2022-05-03 广东工业大学 一种短期风电功率预测方法及系统
CN114334041A (zh) * 2021-12-31 2022-04-12 厦门大学 一种基于Transformer的电磁超材料复杂光谱高精度预测方法
CN114442558A (zh) * 2022-01-27 2022-05-06 西南交通大学 一种基于自注意力机制的机床温度敏感点组合选取方法
CN115018038A (zh) * 2022-03-14 2022-09-06 贵州大学 一种基于麻雀优化宽度学习系统的网络接口流量预测方法
CN115018038B (zh) * 2022-03-14 2024-03-05 贵州大学 一种基于麻雀优化宽度学习系统的网络接口流量预测方法
CN115099885A (zh) * 2022-03-31 2022-09-23 日日顺供应链科技股份有限公司 一种商品匹配推荐方法及系统
CN115271225A (zh) * 2022-08-05 2022-11-01 中国矿业大学(北京) 一种基于小波降噪和神经网络的风力-风功率建模方法
CN115276099A (zh) * 2022-08-26 2022-11-01 中国华能集团清洁能源技术研究院有限公司 基于人工智能技术的风电场储能系统灵活控制方法和装置
CN115828758B (zh) * 2022-12-13 2023-08-25 广东海洋大学 基于改进烟花算法优化网络的海水三维预测方法及系统
CN115828758A (zh) * 2022-12-13 2023-03-21 广东海洋大学 基于改进烟花算法优化网络的海水三维预测方法及系统
CN116646927A (zh) * 2023-05-30 2023-08-25 淮阴工学院 一种基于分段滤波与纵横聚类的风电功率预测方法
CN117237005A (zh) * 2023-11-16 2023-12-15 国网天津市电力公司经济技术研究院 一种考虑多维因素的绿电需求量智能预测方法和系统
CN117272051A (zh) * 2023-11-21 2023-12-22 浪潮通用软件有限公司 一种基于lstm优化模型的时间序列预测方法、设备及介质
CN117272051B (zh) * 2023-11-21 2024-03-08 浪潮通用软件有限公司 一种基于lstm优化模型的时间序列预测方法、设备及介质

Also Published As

Publication number Publication date
CN112653142B (zh) 2022-09-02
US20220197233A1 (en) 2022-06-23
US11874640B2 (en) 2024-01-16

Similar Documents

Publication Publication Date Title
CN112653142B (zh) 优化深度Transformer网络的风电功率预测方法及系统
CN113326969B (zh) 基于改进的鲸鱼优化算法及elm的短期风速预测方法及系统
CN115688579B (zh) 一种基于生成对抗网络的流域多点水位预测预警方法
CN117117859B (zh) 基于神经网络的光伏发电功率预测方法及系统
Syama et al. A hybrid extreme learning machine model with Lévy flight chaotic whale optimization algorithm for wind speed forecasting
Li et al. Deep spatio-temporal wind power forecasting
Ma et al. An estimating combination method for interval forecasting of electrical load time series
CN112732864A (zh) 一种基于稠密伪查询向量表示的文档检索方法
CN115640901A (zh) 一种基于混合神经网络和生成对抗的小样本负荷预测方法
CN116345555A (zh) 一种基于cnn-isca-lstm模型的短期光伏发电功率预测方法
CN114780879A (zh) 一种用于知识超图的可解释性链接预测方法
CN112183721B (zh) 一种基于自适应差分进化的组合水文预测模型的构建方法
CN116681154A (zh) 一种基于emd-ao-delm的光伏功率计算方法
CN113449466B (zh) 基于pca和混沌gwo优化relm的太阳辐射预测方法及系统
CN116451859A (zh) 一种基于贝叶斯优化的生成对抗网络股票预测方法
CN115470889A (zh) 基于强化学习的片上网络自主最优映射探索系统及方法
CN115828726A (zh) 基于机器学习的太阳能跨季节储热供热系统优化控制方法
CN114372418A (zh) 一种风电功率时空态势描述模型建立方法
Zhang et al. A Novel Combined Model Based on Hybrid Data Decomposition, MSWOA and ENN for Short-term Wind Speed Forecasting
Li et al. Fast scenario reduction for power systems by deep learning
Liu et al. Wind Power Prediction Model Based on WOA-BiLSTM-Attention
Lin et al. A novel ultra-short-term wind power prediction model jointly driven by multiple algorithm optimization and adaptive selection
CN116303839B (zh) 用于地球空间数据的索引计算方法
Song et al. A Short-term Electricity Load Forecasting Method Based on WOA-BiLSTM-Attention
CN114936296B (zh) 超大规模知识图谱存储的索引方法、系统及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant