CN115081590A - 基于复数值加速算法的短期风速预测方法 - Google Patents

基于复数值加速算法的短期风速预测方法 Download PDF

Info

Publication number
CN115081590A
CN115081590A CN202210648269.5A CN202210648269A CN115081590A CN 115081590 A CN115081590 A CN 115081590A CN 202210648269 A CN202210648269 A CN 202210648269A CN 115081590 A CN115081590 A CN 115081590A
Authority
CN
China
Prior art keywords
complex
valued
neural network
wind speed
forward neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210648269.5A
Other languages
English (en)
Inventor
黄鹤
王志东
曹洪龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202210648269.5A priority Critical patent/CN115081590A/zh
Priority to PCT/CN2022/101006 priority patent/WO2023236260A1/zh
Publication of CN115081590A publication Critical patent/CN115081590A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Optimization (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于复数值加速算法的短期风速预测方法，包括获取包括风速和风向的样本数据，预处理样本数据得到数据集，将数据集分为训练集和测试集；构建并初始化包括误差阈值e0和自适应窗长N的复数值前向神经网络模型；使用复数值加速LM算法训练初始化后的复数值前向神经网络，得到训练好的复数值前向神经网络；将测试集输入训练好的复数值神经网络得到预测结果。本发明通过引入误差阈值和自适应窗长，使用复数值加速LM算法训练复数值前向神经网络，有效的降低了训练的前中后期的计算成本，加速了训练速度，在保证短期风速预测结果的基础上有效降低了计算复杂度。

Description

基于复数值加速算法的短期风速预测方法
技术领域
本发明涉及人工智能技术领域，尤其是指一种基于复数值加速算法的短期风速预测方法。
背景技术
风的建模和预测被认为是风力涡轮机(WTs)高效运行以及风力发电厂(WFs)能源优化分配的先决条件。由于风速和风向的不断波动，WT产生的功率很难预测。各种现场测量表明，与风速相比，风的方向对WT功率输出的影响较小，因为每个涡轮机在运行时通常是面向风的。然而，风向对输出功率的影响在风速较温和时较为突出，因为他们通常来自于更多的方向。虽然风速和方向被证明同时影响涡轮机功率，但在实际应用中通常只考虑了速度分量，因此在风动力学和风力预测中都存在误差。这就表明了将风信号表达成风速和风向等因素定义的矢量场的必要性，并且事实表明引入复数来处理这类风速风向数据不仅是有利的而且是很自然的。
目前，许多实数值人工神经网络的方法被用于风速预测并取得了良好的效果，近年来许多实数值的算法被推广到复数域中，这些算法在处理复数依赖性较强的问题上表现突出。风速预测方法主要有基于天气预报数据的物理模型预测法和基于历史数据预测风速的统计方法这两种方法。物理模型以数值天气预报模型(numerical weather prediction,NWP)为代表，采用实时气象条件进行预测，但由于数值气象模型的复杂性和气象预报更新频率较低，不适用于短期风速预测。由于短期风速数据的随机性和波动性，风速序列数据的自相关性与非平稳性使得单一统计方法模型无法准确学习变化规律，从而造成预测精度不高、预测值明显滞后于真实值等问题，这样即使模型指标效果很好也无法使用。
基于历史数据预测风速的统计方法通过学习历史风速数据的规律构建数据间的非线性映射关系，进而实现时序预测，其中常见的方法有人工神经网络(ArtificialNeural Network，ANN)、支持向量机(support vector machines,SVM)和卡尔曼滤波、极限学习机(Extreme Learning Machine，ELM)等。
人工神经网络作为一种简单有效的建模方法以及优异的非线性映射和逼近能力，近年来被广泛地用于风速预测及与之相关的应用中。但是，在利用一阶算法对风速预测模型进行训练时，利用的是梯度信息来最小化损失函数，目前应用较为广泛的是梯度下降法(Gradient Descent，GD)，该方法通过反向传播来计算网络各层梯度，并引入步长作为最终的权重变化量。但是一阶优化算法收敛速度慢，容易陷入局部最优，导致在训练网络时，损失函数值无法进一步下降，从而导致风速预测难以达到预期的性能。
为了解决一阶优化算法的这个缺点，二阶算法被用来训练人工神经网络，比如牛顿法、Levenberg-Marquardt算法(LM)等，这些二阶算法使用二阶导数信息来更新参数。但是，这些常用的二阶优化算法通常在反向传播时需要计算Hessian矩阵，导致算法整体的复杂度非常高，这也限制了其在各种场景下的应用。实际上，Hessian矩阵可以有雅可比矩阵近似计算得到，被称之为拟Hessian矩阵。有两种方式可以通过雅可比矩阵计算得到Hessian,首先第一个矩阵的行乘第二个矩阵的列，那么可以得到一个个标量；其次，当第一个矩阵的列乘以第二个矩阵的行时，结果是拟Hessian矩阵的一部分。因此，采用第二种方法可以让拟Hessian矩阵的构建过程更快地开始，而无需存储所有模式和所有输出的整个雅可比矩阵，使得在内存中的需求减少。但是，这两种方式所需要的乘法和加法的数量完全相同，只是执行的顺序不同，没有能减少需要计算的数目，仍然存在计算复杂度过高，以及梯度消失的问题。为了避免梯度消失，现有技术会引入自然梯度、扰动梯度、权值压缩等方法。但是对于复杂度过高的问题，常常会通过改变运算顺序或者矩阵分解的方法来减少在内存中的计算存储，仍不能从根本上解决计算复杂度过高的问题。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中的不足，提供一种基于复数值加速算法的短期风速预测方法，可以加快训练速度并降低训练损失，得到有效的风速预测结果。
为解决上述技术问题，本发明提供了一种基于复数值加速算法的短期风速预测方法，包括以下步骤：
S1：获取包括风速和风向的样本数据，预处理样本数据得到数据集，将数据集分为训练集和测试集；
S2：构建并初始化包括误差阈值e0和自适应窗长N的复数值前向神经网络模型；
S3：使用复数值加速LM算法训练初始化后的复数值前向神经网络，得到训练好的复数值前向神经网络；
S4：将测试集输入训练好的复数值神经网络得到预测结果。
作为优选的，所述预处理样本数据得到数据集，具体为：
每隔时间T对样本数据进行平均得到原始数据集，将原始数据集的第p个、第p+1个到第p+i-1个数据作为复数值前向神经网络第p个样本的输入，第p+i个数据作为训练数值前向神经网络时的期望输出，得到复数值前向神经网络的第p个样本的输入Z＝[zp,zp+1,...,zp+i-1]T，p∈[1,...,P]，P为复数值前向神经网络的输入样本个数。
作为优选的，所述复数值前向神经网络的结构为：
复数值前向神经网络的输入神经元的个数为L，隐层神经元的个数为M，输出神经元的个数为O，l∈[1,...,L]，m∈[1,...,M]，o∈[1,...,O]；由神经元之间的连接权值、神经元的偏置构成的参数向量θ＝[θ1,θ2,...,θs,...,θS]，其中S是所有可调参数的个数，s∈[1,...,S]；
复数值神经网络的第m个隐层神经元的输出
Figure BDA0003686814490000041
其中g是复数值的激活函数，
Figure BDA0003686814490000042
是输入权重，
Figure BDA0003686814490000043
表示输入权重
Figure BDA0003686814490000044
是长度为L+1的复数值向量，wm0是第m个隐层神经元的偏置，wm1,...,wmL是第m个隐层神经元与输入神经元的连接权重；
根据
Figure BDA0003686814490000045
得到复数值神经网络的隐层输出矩阵
Figure BDA0003686814490000046
作为优选的，所述复数值前向神经网络的输出Y为：
Figure BDA0003686814490000047
其中，g是复数值的激活函数，
Figure BDA0003686814490000048
是第p个样本对应的隐层输出向量，其中
Figure BDA0003686814490000049
是第p个样本在第m个隐层的输出值；
Figure BDA00036868144900000410
是第o个输出神经元对应的权值向量，其中vo0表示第o个输出神经元对应的神经元偏置，vom表示第m个隐层神经元与第o个输出神经元的连接权值。
作为优选的，所述复数值前向神经网络的目标函数E为：
Figure BDA0003686814490000051
其中，e＝[e1,e2,...,eo,...,eO]为误差向量，eo＝[y1o-d1o,...,ypo-dpo,...,yPo-dPo]T，dpo表示第p个样本在第o个输出神经元对应的期望输出，ypo表示第p个样本在第o个输出神经元对应的实际输出；epo表示第p个样本在第o个输出神经元对应的误差值，()H表示矩阵或向量的共轭转置，()*表示矩阵或向量的共轭。
作为优选的，所述复数值前向神经网络的复数Hessian矩阵H为：
Figure BDA0003686814490000052
其中，
Figure BDA0003686814490000053
Figure BDA0003686814490000054
作为优选的，所述复数值加速LM算法的拟Hessian矩阵Q为GHG，GHG的权值
Figure BDA0003686814490000055
的更新公式为：
Figure BDA0003686814490000061
其中，μ是组合系数，
Figure BDA0003686814490000062
是复合雅可比矩阵，其中算雅可比矩阵
Figure BDA0003686814490000063
作为优选的，使用复数值加速LM算法训练初始化后的复数值前向神经网络，得到训练好的复数值前向神经网络，具体为：
S3-1：在每次迭代构建GHG之前，对误差向量e进行降序排序生成长度为S的序列elist，计算雅可比矩阵Jθ和
Figure BDA0003686814490000064
S3-2：当|epo|＞e0并且epo∈elist时，计算GHG的子矩阵qpo和梯度向量梯度项gpo，将qpo叠加到GHG，将gpo叠加到
Figure BDA0003686814490000065
其中||表示复数值误差的模值；
S3-3：判断是否满足
Figure BDA0003686814490000066
时，其中E(t)指第t次迭代时的目标函数E，其中E(t-1)指第t-1次迭代时的目标函数E，β是预设的衰减阈值；若满足，则对自适应窗长N进行缩减处理；若不满足，则对自适应窗长N进行扩大处理；
S3-4：判断N是否满足在区间[pro×P×O,P×O]内，其中pro表示自适应窗长N的下界系数；若满足，则使用复数值LM算法更新复数值前向神经网络的所有参数；若不满足，当N＞P×O时将N设置为P×O，当N＜pro×P×O时将N设置为pro×P×O，使用复数值LM算法更新复数值前向神经网络的所有参数；
S3-5：判断是否满足迭代结束条件，若满足，则停止训练，得到训练好的复数值前向神经网络；若不满足，执行S3-1。
作为优选的，所述GHG的子矩阵
Figure BDA0003686814490000071
所述梯度向量梯度项
Figure BDA0003686814490000072
其中Jθ,po＝[Jθ,po1,Jθ,po2,...,Jθ,pos,...,Jθ,poS]，
Figure BDA0003686814490000073
Figure BDA0003686814490000074
作为优选的，所述对自适应窗长N进行缩减处理，具体为：令N＝N/ch，其中ch是缩减系数；
所述对自适应窗长N进行扩大处理，具体为：令N＝N×ch。
本发明的上述技术方案相比现有技术具有以下优点：
本发明通过引入误差阈值和自适应窗长，使用复数值加速LM算法训练复数值前向神经网络，有效的降低了训练的前中后期的计算成本，加速了训练速度，在保证短期风速预测结果的基础上有效降低了计算复杂度。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
图1是本发明的系统框图；
图2是本发明中训练复数值前向神经网络的流程图；
图3是本发明实施例中使用本发明预测风速风向的结果与实际风速风向在极坐标的对比图；
图4是本发明实施例中使用CGD、CLM和本发明的训练结果与实际风速的对比图；
图5是图4中风速幅度在0.55～0.8、时间片在350～650的局部放大图；
图6是本发明实施例中使用CGD、CLM和本发明的训练结果与实际风向的对比图；
图7是图6中风向相位在-2～-0.6、时间片在200～360的局部放大图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
参照图1所示，本发明公开了一种基于复数值加速算法的短期风速预测方法，包括以下步骤：
S1：获取包括风速和风向的样本数据，预处理样本数据得到数据集，将数据集分为训练集和测试集。具体为：每隔时间T对样本数据进行平均得到原始数据集，将原始数据集的第p个、第p+1个到第p+i-1个数据作为复数值前向神经网络第p个样本的输入，第p+i个数据作为训练数值前向神经网络时的期望输出，得到复数值前向神经网络的第p个样本的输入Z＝[zp,zp+1,...,zp+i-1]T，p∈[1,...,P]，P为复数值前向神经网络的输入样本个数。i为常数，本实施例中i取值为3，期望输出为风速和风向构成的复数。Z＝[zp,zp+1,...,zp+i-1]T，p∈[1,...,P]即为预处理样本数据后得到的数据集，将处理后的数据集分为训练集和测试集。
复数值前向神经网络的输入为风速和风向表示的一个复数序列。本实施例中使用的是美国Iowa运输部采集的华盛顿的现实世界的风速数据。数据为2010年2月1日至2010年2月8日每分钟的风速数据以及风向数据。原始数据准备好之后，对数据每隔1小时进行取均值处理得到样本集。在此次实验中将连续的三个样本(即第p，p+1，p+2个样本)作为复数值前向神经网络的输入，下一个样本(即第p+3个样本)值作为训练的期望输出，最终选取9000个风速样本，。将数据按照风速和风向表示为复数值，并用7000个样本作为训练集，p＝1,2,...6997，2000个样本作为测试集。
S2：构建并初始化包括误差阈值e0和自适应窗长N的复数值前向神经网络，初始化的参数有神经元之间的连接权值、神经元的偏置、误差阈值e0和自适应窗长N。
根据风速预测问题，复数值前向神经网络的输入神经元的个数为L，隐层神经元的个数为M，输出神经元的个数为O，l∈[1,...,L]，m∈[1,...,M]，o∈[1,...,O]；由神经元之间的连接权值、神经元的偏置构成的参数向量θ＝[θ1,θ2,...,θs,...,θS]，其中S是所有可调参数的个数，s∈[1,...,S]；复数值神经网络的第m个隐层神经元的输出
Figure BDA0003686814490000091
其中g是复数值的激活函数，
Figure BDA0003686814490000092
是输入权重，
Figure BDA0003686814490000093
表示输入权重
Figure BDA0003686814490000094
是长度为L+1的复数值向量，wm0是第m个隐层神经元的偏置，wm1,...,wmL是第m个隐层神经元与输入神经元的连接权重；根据
Figure BDA0003686814490000095
得到复数值神经网络的隐层输出矩阵
Figure BDA0003686814490000096
本实施例中初始化的复数值神经网络为一个3-6-1的三层复数值前向神经网络，隐层以及输出层采用splitTanh激活函数。
根据Φ得到复数值前向神经网络的输出Y为：
Figure BDA0003686814490000101
其中，g是复数值的激活函数，
Figure BDA0003686814490000102
是第p个样本对应的隐层输出向量，其中
Figure BDA0003686814490000103
是第p个样本在第m个隐层的输出值；
Figure BDA0003686814490000104
是第o个输出神经元对应的权值向量，其中vo0表示第o个输出神经元对应的神经元偏置，vom表示第m个隐层神经元与第o个输出神经元的连接权值。
构建复数值前向神经网络的目标函数E为：
Figure BDA0003686814490000105
其中，e＝[e1,e2,...,eo,...,eO]为误差向量，eo＝[y1o-d1o,...,ypo-dpo,...,yPo-dPo]T，dpo表示第p个样本在第o个输出神经元对应的期望输出，ypo表示第p个样本在第o个输出神经元对应的实际输出；epo表示第p个样本在第o个输出神经元对应的误差值，()H表示矩阵或向量的共轭转置，()*表示矩阵或向量的共轭。构建复数值前向神经网络的复数Hessian矩阵H为：
Figure BDA0003686814490000106
其中，
Figure BDA0003686814490000111
Figure BDA0003686814490000112
其中，Hθθ中的元素
Figure BDA0003686814490000113
Figure BDA0003686814490000114
中的元素
Figure BDA0003686814490000115
Figure BDA0003686814490000116
中的元素
Figure BDA0003686814490000117
Figure BDA0003686814490000118
中的元素
Figure BDA0003686814490000119
S3：使用复数值加速LM算法训练已初始化的复数值前向神经网络，训练集为[zp,zp+1,...,zp+i-1]T，本实施例中训练集为[zp,zp+1,zp+2]T，通过引入误差阈值e0和自适应窗长N的限制，可以加速复数值加速LM算法的拟Hessian矩阵的构建，从而实现加速训练以及逃避局部最小的目的。得到训练好的复数值前向神经网络。
所述复数值加速LM算法的拟Hessian矩阵Q近似为GHG，GHG的权值
Figure BDA00036868144900001110
的更新公式为：
Figure BDA00036868144900001111
其中，
Figure BDA00036868144900001112
是一个复合雅可比矩阵；I是单位矩阵；μ是一个组合系数，μ可以避免拟Hessian矩阵非正定的情况，本实施例中组合系数初始值μ＝0.01，μmax＝1e10，μmin＝1e-20。μmax是复数值加速LM算法在更新权值参数时μ的上，μmin是复数值加速LM算法在更新权值参数时μ的下界；当μ大于μmax时，将μ置为初始值，当μ小于μmin时将μ置为μmin。Jθ和
Figure BDA0003686814490000121
分别是对应的雅可比矩阵，具体为：
Figure BDA0003686814490000122
在误差信息反向传播时，如果误差信息等于或者接近0时，梯度值也将接近0，此时的神经网络无法学习新的知识。因此引入误差过滤机制(即误差阈值e0)可以有效的减少构建所需子矩阵的数量，降低运算复杂度。但是在训练至后期时，部分误差不会再下降，此时误差过滤机制也不再会再对网络产生影响，因此继续引入另外的自适应窗长N的限制，在训练的中后期有效的减少了子矩阵所需数量，在加速训练的同时，可以有效的规避局部极小点。
如图2所示，使用复数值加速LM算法训练初始化后的复数值前向神经网络，训练目标值为zp+i，本实施例中训练目标值为zp+3，得到训练好的复数值前向神经网络，具体训练流程为：
S3-1：引入误差阈值e0和自适应窗长N，在每次迭代构建GHG之前，对误差向量e进行降序排序生成长度为S的序列elist，计算雅可比矩阵Jθ和
Figure BDA0003686814490000131
S3-2：当且仅当|epo|＞e0并且epo∈elist时，计算GHG的子矩阵qpo和梯度向量梯度项gpo，将qpo叠加到GHG，将gpo叠加到
Figure BDA0003686814490000132
其中||表示复数值误差的模值。在训练前期引入误差阈值e0，在前期误差普遍较大的情况下，优先考虑反向传播误差较大的样本对于权值的贡献，从而提升训练速度，本实施例中误差阈值e0＝0.005。
所述GHG的子矩阵
Figure BDA0003686814490000133
所述梯度向量梯度项
Figure BDA0003686814490000134
其中Jθ，po＝[Jθ，po1，Jθ，po2，...，Jθ，pos，...，Jθ，poS]，
Figure BDA0003686814490000136
定义
Figure BDA0003686814490000137
此时
Figure BDA0003686814490000138
定义
Figure BDA0003686814490000139
此时
Figure BDA00036868144900001310
根据以上分析，转换后的拟Hessian矩阵的子矩阵是相互独立的，可以自由选择叠加。并且所有的子矩阵qpo都是对称的，利用这个特性，只需要计算这些子矩阵的上(或下)三角元素即可，降低了计算量。
S3-3：判断是否满足
Figure BDA00036868144900001311
时，其中E(t)指第t次迭代时的目标函数E，其中E(t-1)指第t-1次迭代时的目标函数E，β是预设的衰减阈值，本实施例中β＝0.01；若满足，则对自适应窗长N进行缩减处理；若不满足，则对自适应窗长N进行扩大处理。所述对自适应窗长N进行缩减处理，具体为：令N＝N/ch，其中ch是缩减系数，本实施例中ch＝1.1。所述对自适应窗长N进行扩大处理，具体为：令N＝N×ch。
对自适应窗长N的缩减由损失函数E(t)的变化量决定，当变化量较小时，说明此时网络训练并不需要原本数量的误差量，因此缩减自适应窗长，采用更少的误差来构建拟Hessian矩阵Q。根据训练损失的变化量自适应的减少需要考虑的误差个数，从而提升训练速度。
S3-4：判断N是否满足在区间[pro×P×O,P×O]内，其中pro表示自适应窗长N的下界系数，本实施例中pro＝0.6；若满足，则使用复数值LM算法更新复数值前向神经网络的所有参数；若不满足，判断N是否超出区间：当N＞P×O时将N设置为P×O，当N＜pro×P×O时将N设置为pro×P×O，使用复数值LM算法更新复数值前向神经网络的所有参数。一旦N大于上界，将会出现数组索引越界，当N小于下界时，由于用到的子矩阵个数过少，会影响最终效果，因此使用N更新区间。
S3-5：判断是否满足迭代结束条件，本实施例中迭代结束条件为所述目标函数E的计算次数达到预设的最大评估次数，或者前后两次迭代中目标函数E的变化量小于预先设定的期望损失。若满足，则停止训练，得到训练好的复数值前向神经网络，即训练好的风速预测模型；若不满足，执行S3-1。
S4：将测试集
Figure BDA0003686814490000141
本实施例中测试集为
Figure BDA0003686814490000142
输入训练好的复数值神经网络得到预测结果
Figure BDA0003686814490000143
本实施例中预测结果为
Figure BDA0003686814490000144
由于一般的复数值LM算法每次迭代过程中都需要计算一次雅可比矩阵去计算拟Hessian矩阵，这个过程中需要大量的存储以及计算消耗；同时随着迭代次数的增加，并不是每次各个误差都会对权重的更新产生影响。因此，本发明中提出了使用复数值的误差筛选以及有限存储的方法用于LM算法来训练复数值神经网络。因为Hessian矩阵可以视为是由雅可比矩阵得到，所以通过引入误差阈值对误差进行过滤保证了网络能够尽可能地反馈有效的误差信息，同时引入自适应窗长，利用有限个梯度向量去构建近似Hessian矩阵，这限制了近似海塞矩阵地构建规模，从而使得训练的初、中、后期所需要计算的Hessian矩阵的子矩阵的数目减少，加快了复数值二阶算法的训练速度并降低训练损失。并且，使用本发明中训练好的复数值前向神经网络进行风速预测，能达到满意的预测效果。
本发明的有益效果：
1、在传统LM算法中引入误差阈值，在训练前期误差普遍较大的情况下优先考虑反向传播误差较大的样本对于权值的贡献，有效减少训练误差。
2、在计算近似海塞矩阵的时候，只需保存复合雅可比矩阵的一个行向量，就可以计算出对应的子近似海塞矩阵；同时，将子近似海塞矩阵叠加得到近似海塞矩阵，因为矩阵是对称的，可以减少一半计算量。减少了需要叠加的子矩阵以及梯度向量的数量，从而减少训练过程中复合雅可比子矩阵的计算数量，减少了训练时间。
3、通过在训练过程中加入自适应窗长，可以根据训练损失的变化量自适应的减少需要考虑的误差个数，从而提升训练速度。
4、在传统LM算法中引入误差阈值和自适应窗长，将改进后的复数值加速LM算法应用到风速的预测中，在加速训练的基础上可以得到更低的训练误差，让风速预测结果更逼近实际数据。
为了进一步说明本发明的有益效果，本实施例中将本发明(Accelerate Complex-valued Levenberg-Marquardt，ACLM)训练和预测风速的结果与CGD方法(Complex-valuedGradient Descent)、CLM方法(Complex-valued Levenberg-Marquardt)进行对比。其中，由于CGD作为一阶算法收敛速度较慢，所以迭代次数设置为200次，CLM算法与本发明ACLM的迭代次数都设置为20次，得到的训练结果如表1所示：
CGD CLM ACLM
平均子矩阵个数 \ 7000 4825.9
平均训练误差 0.0128 0.0031 0.0022
训练时间 1.7422s 6.3492s 2.7751s
表1CGD、CLM与本发明的训练结果对比表
从表1中可以看出本发明不仅减少了子矩阵的计算个数、加快了训练过程，而且最终的训练误差也有所降低。
图3是使用本发明预测风速风向的结果与实际风速风向在极坐标的对比图，图3中‘*’表示实际的风速风向分布，‘+’表示本发明预测的风速风向分布，从图3可以看出，本发明的预测数据基本贴近实际的风速数据。
图4是本发明实施例中使用CGD、CLM和本发明的训练结果与实际风速的对比图，图5是图4中风速幅度在0.55～0.8、时间片在350～650的局部放大图；图6是本发明实施例中使用CGD、CLM和本发明的训练结果与实际风向的对比图，图7是图6中风向相位在-2～-0.6、时间片在200～360的局部放大图。从图4～6可以看出，二阶算法相较于一阶节算法的预测准确率有所提高、与实际风速数据更加贴近；同时，结合表1可以看出本发明可以在准确率不低于CLM表现的情况下，有效减低计算复杂度。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于复数值加速算法的短期风速预测方法，其特征在于，包括以下步骤：
S1：获取包括风速和风向的样本数据，预处理样本数据得到数据集，将数据集分为训练集和测试集；
S2：构建并初始化包括误差阈值e0和自适应窗长N的复数值前向神经网络模型；
S3：使用复数值加速LM算法训练初始化后的复数值前向神经网络，得到训练好的复数值前向神经网络；
S4：将测试集输入训练好的复数值神经网络得到预测结果。
2.根据权利要求1所述的基于复数值加速算法的短期风速预测方法，其特征在于：所述预处理样本数据得到数据集，具体为：
每隔时间T对所述样本数据进行平均得到原始数据集，将原始数据集的第p个、第p+1个到第p+i-1个数据作为复数值前向神经网络第p个样本的输入，第p+i个数据作为训练数值前向神经网络时的期望输出，得到复数值前向神经网络的第p个样本的输入Z＝[zp,zp+1,...,zp+i-1]T，p∈[1,...,P]，P为复数值前向神经网络的输入样本个数。
3.根据权利要求2所述的基于复数值加速算法的短期风速预测方法，其特征在于：所述复数值前向神经网络的结构为：
复数值前向神经网络的输入神经元的个数为L，隐层神经元的个数为M，输出神经元的个数为O，l∈[1,...,L]，m∈[1,...,M]，o∈[1,...,O]；由神经元之间的连接权值、神经元的偏置构成的参数向量θ＝[θ1,θ2,...,θs,...,θS]，其中S是所有可调参数的个数，s∈[1,...,S]；
复数值神经网络的第m个隐层神经元的输出
Figure FDA0003686814480000021
其中g是复数值的激活函数，
Figure FDA0003686814480000022
是输入权重，
Figure FDA0003686814480000023
表示输入权重
Figure FDA00036868144800000212
是长度为L+1的复数值向量，wm0是第m个隐层神经元的偏置，wm1,...,wmL是第m个隐层神经元与输入神经元的连接权重；
根据
Figure FDA0003686814480000025
得到复数值神经网络的隐层输出矩阵
Figure FDA0003686814480000026
4.根据权利要求3所述的基于复数值加速算法的短期风速预测方法，其特征在于：所述复数值前向神经网络的输出Y为：
Figure FDA0003686814480000027
其中，g是复数值的激活函数，
Figure FDA0003686814480000028
是第p个样本对应的隐层输出向量，其中
Figure FDA0003686814480000029
是第p个样本在第m个隐层的输出值；
Figure FDA00036868144800000210
是第o个输出神经元对应的权值向量，其中vo0表示第o个输出神经元对应的神经元偏置，vom表示第m个隐层神经元与第o个输出神经元的连接权值。
5.根据权利要求3所述的基于复数值加速算法的短期风速预测方法，其特征在于：所述复数值前向神经网络的目标函数E为：
Figure FDA00036868144800000211
其中，e＝[e1,e2,...,eo,...,eO]为误差向量，eo＝[y1o-d1o,...,ypo-dpo,...,yPo-dPo]T，dpo表示第p个样本在第o个输出神经元对应的期望输出，ypo表示第p个样本在第o个输出神经元对应的实际输出；epo表示第p个样本在第o个输出神经元对应的误差值，( )H表示矩阵或向量的共轭转置，( )*表示矩阵或向量的共轭。
6.根据权利要求5所述的基于复数值加速算法的短期风速预测方法，其特征在于：所述复数值前向神经网络的复数Hessian矩阵H为：
Figure FDA0003686814480000031
其中，
Figure FDA0003686814480000032
Figure FDA0003686814480000033
7.根据权利要求5所述的基于复数值加速算法的短期风速预测方法，其特征在于：所述复数值加速LM算法的拟Hessian矩阵Q为GHG，GHG的权值
Figure FDA0003686814480000034
的更新公式为：
Figure FDA0003686814480000035
其中，μ是组合系数，
Figure FDA0003686814480000036
是复合雅可比矩阵，其中算雅可比矩阵
Figure FDA0003686814480000041
8.根据权利要求7所述的基于复数值加速算法的短期风速预测方法，其特征在于：使用复数值加速LM算法训练初始化后的复数值前向神经网络，得到训练好的复数值前向神经网络，具体为：
S3-1：在每次迭代构建GHG之前，对误差向量e进行降序排序生成长度为S的序列elist，计算雅可比矩阵Jθ和
Figure FDA0003686814480000044
S3-2：当|epo|＞e0并且epo∈elist时，计算GHG的子矩阵qpo和梯度向量梯度项gpo，将qpo叠加到GHG，将gpo叠加到
Figure FDA0003686814480000042
其中| |表示复数值误差的模值；
S3-3：判断是否满足
Figure FDA0003686814480000043
时，其中E(t)指第t次迭代时的目标函数E，其中E(t-1)指第t-1次迭代时的目标函数E，β是预设的衰减阈值；若满足，则对自适应窗长N进行缩减处理；若不满足，则对自适应窗长N进行扩大处理；
S3-4：判断N是否满足在区间[pro×P×O,P×O]内，其中pro表示自适应窗长N的下界系数；若满足，则使用复数值LM算法更新复数值前向神经网络的所有参数；若不满足，当N＞P×O时将N设置为P×O，当N＜pro×P×O时将N设置为pro×P×O，使用复数值LM算法更新复数值前向神经网络的所有参数；
S3-5：判断是否满足迭代结束条件，若满足，则停止训练，得到训练好的复数值前向神经网络；若不满足，执行S3-1。
9.根据权利要求8所述的基于复数值加速算法的短期风速预测方法，其特征在于：所述GHG的子矩阵
Figure FDA0003686814480000051
所述梯度向量梯度项
Figure FDA0003686814480000052
其中Jθ,po＝[Jθ,po1,Jθ,po2,...,Jθ,pos,...,Jθ,poS]，
Figure FDA0003686814480000053
Figure FDA0003686814480000055
Figure FDA0003686814480000054
10.根据权利要求8所述的基于复数值加速算法的短期风速预测方法，其特征在于：
所述对自适应窗长N进行缩减处理，具体为：令N＝N/ch，其中ch是缩减系数；
所述对自适应窗长N进行扩大处理，具体为：令N＝N×ch。
CN202210648269.5A 2022-06-09 2022-06-09 基于复数值加速算法的短期风速预测方法 Pending CN115081590A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210648269.5A CN115081590A (zh) 2022-06-09 2022-06-09 基于复数值加速算法的短期风速预测方法
PCT/CN2022/101006 WO2023236260A1 (zh) 2022-06-09 2022-06-24 基于复数值加速算法的短期风速预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210648269.5A CN115081590A (zh) 2022-06-09 2022-06-09 基于复数值加速算法的短期风速预测方法

Publications (1)

Publication Number Publication Date
CN115081590A true CN115081590A (zh) 2022-09-20

Family

ID=83251028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210648269.5A Pending CN115081590A (zh) 2022-06-09 2022-06-09 基于复数值加速算法的短期风速预测方法

Country Status (2)

Country Link
CN (1) CN115081590A (zh)
WO (1) WO2023236260A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117476125B (zh) * 2023-12-27 2024-04-05 豆黄金食品有限公司 一种基于数据分析的腐竹余液回收数据处理系统
CN117637063B (zh) * 2024-01-10 2024-05-31 广东工业大学 一种水质测量方法、装置、设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102102626B (zh) * 2011-01-30 2012-08-29 华北电力大学 风电场短期功率预测方法
US20200063710A1 (en) * 2018-08-23 2020-02-27 BluWave Inc. System and methods for hyper short-term wind power prediction using real-time wind parameter measurements
CN112613657B (zh) * 2020-12-22 2022-06-10 国网江苏省电力有限公司苏州供电分公司 风电场短期风速预测方法
CN113158582A (zh) * 2021-05-24 2021-07-23 苏州大学 基于复数值前向神经网络的风速预测方法

Also Published As

Publication number Publication date
WO2023236260A1 (zh) 2023-12-14

Similar Documents

Publication Publication Date Title
CN115081590A (zh) 基于复数值加速算法的短期风速预测方法
Saini et al. Artificial neural network based peak load forecasting using Levenberg–Marquardt and quasi-Newton methods
Thirumalaiah et al. River stage forecasting using artificial neural networks
Cintra et al. Data assimilation by artificial neural networks for an atmospheric general circulation model
CN112116162B (zh) 基于ceemdan-qfoa-lstm的输电线覆冰厚度预测方法
Yao et al. Prediction and identification of discrete-time dynamic nonlinear systems based on adaptive echo state network
Hoffmann et al. Free-form surfaces for scattered data by neural networks
Lun et al. The modified sufficient conditions for echo state property and parameter optimization of leaky integrator echo state network
CN109599866B (zh) 一种预测辅助的电力系统状态估计方法
Hung et al. Modified PSO Algorithm on Recurrent Fuzzy Neural Network for System Identification.
CN108983177A (zh) 一种参数最优的雷达海杂波预报系统及方法
CN115344927A (zh) 基于工程历史数据的高拱坝施工仿真参数动态更新方法
CN115879369A (zh) 一种基于优化LightGBM算法的磨煤机故障预警方法
CN113537614A (zh) 电网工程造价预测模型的构建方法、系统、设备及介质
Cintra et al. Global data assimilation using artificial neural networks in SPEEDY model
Lavaei et al. Dynamic analysis of structures using neural networks
CN109146007B (zh) 一种基于动态深度置信网络的固体废弃物智能处理方法
Zhang et al. Learning efficient sparse structures in speech recognition
CN108983183A (zh) 一种自适应的雷达海杂波预报系统
Bal et al. JMASM 55: MATLAB Algorithms and Source Codes of'cbnet'Function for Univariate Time Series Modeling with Neural Networks (MATLAB)
CN111291898A (zh) 一种多任务稀疏贝叶斯极限学习机回归方法
Han et al. A study on the prediction of mechanical properties of titanium alloy based on adaptive fuzzy-neural network
JP2004205233A (ja) 異種現象による短期予測システム
Hsiao et al. Study on the current velocity prediction by Artificial Neural Network at the entrance of Hualien Port of Taiwan
Zhu et al. The impact of data normalization on tropical cyclone track forecast in South China sea

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination