CN113158582A - 基于复数值前向神经网络的风速预测方法 - Google Patents

基于复数值前向神经网络的风速预测方法 Download PDF

Info

Publication number
CN113158582A
CN113158582A CN202110565347.0A CN202110565347A CN113158582A CN 113158582 A CN113158582 A CN 113158582A CN 202110565347 A CN202110565347 A CN 202110565347A CN 113158582 A CN113158582 A CN 113158582A
Authority
CN
China
Prior art keywords
complex
neural network
forward neural
training
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110565347.0A
Other languages
English (en)
Inventor
黄鹤
董忠蓥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202110565347.0A priority Critical patent/CN113158582A/zh
Publication of CN113158582A publication Critical patent/CN113158582A/zh
Priority to US17/789,038 priority patent/US20230316069A1/en
Priority to PCT/CN2021/116621 priority patent/WO2022247049A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/04—Constraint-based CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/08—Fluids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Feedback Control In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于复数值前向神经网络的风速预测方法，包括：获取用于风速预测的训练集和预测集，构建复数值前向神经网络并初始化参数向量；在复数值前向神经网络训练的目标函数中引入GroupLasso正则化项，并将训练转化为约束优化问题的求解，采用训练集和定制复数值投影拟牛顿算法训练复数值前向神经网络，直到满足预设的条件结束训练，得到训练好的复数值前向神经网络，将预测集输入训练好的复数值前向神经网络得到风速预测结果。本发明通过引入GroupLasso正则化项和使用定制复数值投影拟牛顿算法训练复数值前向神经网络实现网络结构和参数的优化，使网络结构紧凑、泛化性能强，同时提高风速预测的准确性。

Description

基于复数值前向神经网络的风速预测方法
技术领域
本发明涉及风速预测技术领域，具体涉及一种基于复数值前向神经网络的风速预测方法。
背景技术
相比于石油等一些传统的不可再生能源，风能作为一种绿色、环保的可再生能源吸引了越来越多人的关注，发展风能已经成为当前的一种趋势。但是，由于风速具有随机性和间歇性等特点，风速的不稳定性会对电网系统的安全性和稳定性构成威胁。因此，精确预测风速在风能开发中扮演着至关重要的角色。
目前，风速预测方法主要有基于天气预报数据的物理模型预测法和基于历史数据的风速预测法两种方法。然而，由于数值气象信息的缺乏，基于天气预报数据进行风速预测的物理模型和预测方法使用相对较少，因此更多的是利用历史数据预测风速的动态变化。基于历史数据预测风速的动态变化在风电场中得到了广泛的应用，其中常见的方法有通过人工神经网络、支持向量机和卡尔曼滤波等来预测风速的动态变化。
人工神经网络作为一种简单有效的建模方法具有优异的非线性映射和逼近能力，近年来被广泛地用于风速预测及与之相关的应用中。但是，在利用人工神经网络模型进行风速预测时，经常会出现由于网络结构设计不合理导致在风速预测中难以达到预期性能的情况。因此，对于人工神经网络方法而言，选择一个合适的网络结构就是一个急需解决的问题，其中最为简单的方法就是通过人工不断试错直至确定一个较为合适的结构，但是该方法既费时又费力。同时，为了获得合适的网络权值和偏置等参数，梯度下降法被广泛用于前向神经网络的训练过程中，但是梯度下降法容易出现陷入局部极小值、收敛速度缓慢等问题。因此，如何设计合适的训练方法寻找合适的网络结构和参数也值得进一步研究。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中的不足，提出一种可以同时实现网络结构和参数优化的基于复数值前向神经网络的风速预测方法。
为解决上述技术问题，本发明提供了一种基于复数值前向神经网络的风速预测方法，包括以下步骤：
步骤1：获取用于风速预测的数据并整理成数据集，将数据集分为训练集和预测集；
步骤2：构建复数值前向神经网络，初始化复数值前向神经网络中的参数向量ψ，参数向量ψ由包括神经元之间的连接权值、神经元的偏置和激活函数的增益系数的可调参数构成；
步骤3：引入GroupLasso正则化项构建复数值前向神经网络训练时的目标函数，将复数值前向神经网络的训练转化为约束优化问题的求解；
采用训练集和定制复数值投影拟牛顿算法训练复数值前向神经网络，直到满足预设的迭代结束条件停止训练；
步骤4：得到训练好的复数值前向神经网络，将预测集输入训练好的复数值前向神经网络得到风速预测结果。
进一步地，所述步骤2中构建复数值前向神经网络，构建的复数值前向神经网络包括P个输入神经元、N个隐层神经元和Q个输出神经元，复数值前向神经网络中的所述参数向量ψ为列向量，所有可调参数按顺序排列为参数向量ψ：
Figure BDA0003080494920000031
其中，wp表示第p个输入神经元和隐层神经元之间的连接权值组成的复向量，b1是所有隐层神经元的偏置构成的复向量，σ1表示隐层神经元激活函数的增益系数构成的复向量，vn表示第n个隐层神经元和输出层神经元之间的连接权值组成的复向量，b2是所有输出层神经元的偏置构成的复向量，σ2表示输出层神经元激活函数的增益系数构成的复向量，上标T表示转置；上标R表示对应复向量的实部构成的向量，上标I表示对应复向量的虚部构成的向量，
Figure BDA0003080494920000032
所述复数值前向神经网络的隐层输出向量hj＝fC(Wzj+b1)，输出层的输出向量oj＝fC(Vhj+b2)；其中fC(·)表示激活函数，W＝[w1,w2,...,wP]为输入层和隐层神经元之间的权值矩阵，zj是复数值前向神经网络的第j个输入样本；V＝[v1,v2,...,vN]为隐层和输出层神经元之间的权值矩阵。
进一步地，所述步骤3的具体过程为：
步骤3.1：在传统的均方误差函数E'中引入GroupLasso正则化项RGL得到复数值前向神经网络训练时的目标函数E；
步骤3.2：引入一组人工变量ρa将无约束优化问题
Figure BDA0003080494920000033
转化成约束优化问题
Figure BDA0003080494920000041
s.t.||ψa||≤ρa,a＝1,2,...,A；
定义ρ＝[ρ1,ρ2,...,ρA]T为由引入的变量ρa所构成的实向量，此时训练中需要优化的参数向量为
Figure BDA00030804949200000416
步骤3.3：使用
Figure BDA0003080494920000042
和
Figure BDA0003080494920000043
矩阵计算近似海塞矩阵Η(m)并得到近似带约束条件的二次优化问题；其中τ为常数，表示保留最近τ次的参数变化量s(i)和梯度变化量r(i)；
Figure BDA00030804949200000417
表示第i+1次迭代时的参数向量值，
Figure BDA0003080494920000046
表示第i次迭代时的参数向量值，
Figure BDA0003080494920000047
表示目标函数E在
Figure BDA0003080494920000048
处的梯度，
Figure BDA0003080494920000049
表示目标函数E在
Figure BDA00030804949200000410
处的梯度，S表示由从第m-τ到m-1次迭代时参数变化量s(i)组成的矩阵，R表示由从第m-τ到m-1次迭代时梯度变化量r(i)组成的矩阵，m表示第m次迭代；
步骤3.4：通过谱投影梯度算法求解近似带约束条件的二次优化问题，得到近似带约束条件的二次优化问题的解
Figure BDA00030804949200000411
步骤3.5：利用近似带约束条件的二次优化问题的解
Figure BDA00030804949200000412
计算原约束优化问题
Figure BDA00030804949200000413
s.t.||ψa||≤ρa,a＝1,2,...,A在第m迭代时可行下降方向d(m)，并使用Armijo线性搜索确定合适的学习步长η(m)；
步骤3.6：利用d(m)和η(m)更新
Figure BDA00030804949200000414
并更新矩阵S和R；
步骤3.7：重复步骤3.3～步骤3.6，直到满足预设的迭代结束条件停止复数值前向神经网络的训练。
进一步地，所述步骤3.1中的GroupLasso正则化项
Figure BDA00030804949200000415
复数值前向神经网络训练时的目标函数E为：
Figure BDA0003080494920000051
其中
Figure BDA0003080494920000052
为传统的均方误差函数，J是训练样本的总数，oj表示第j个训练样本的实际输出，yj表示第j个训练样本的期望输出，上标H表示共轭转置；λ为正则化系数，a＝1,2,...,A，A＝P+N+2表示可能被惩罚的神经元总个数，即输入神经元个数P、隐层神经元个数N以及偏置节点个数的总和；|·|表示向量的维数，||·||为欧几里得范数，ψa表示复数值前向神经网络中第a个神经元与下一层所有神经元之间的连接权值所构成的向量。
进一步地，所述步骤3.3的具体过程为：
步骤3.3.1：近似海塞矩阵Η(m)的计算公式为：
H(m)＝σ(m)I-NM-1NT，
其中
Figure BDA0003080494920000053
N＝[σ(m)S R]，
Figure BDA0003080494920000056
L为由元素
Figure BDA0003080494920000054
组成的矩阵，I为单位矩阵，D＝diag[(s(m-τ))T(r(m-τ))，...，(s(m-1))T(r(m-1))]为对角矩阵；
步骤3.3.2：利用近似海塞矩阵Η(m)得到第m次迭代时的近似带约束条件的二次优化问题：
Figure BDA0003080494920000055
s.t.||ψa||≤ρa,a＝1,2,...,A
进一步地，所述步骤3.4的具体过程为：
步骤3.4.1：利用式
Figure BDA0003080494920000061
计算
Figure BDA00030804949200000616
并根据式
Figure BDA0003080494920000062
计算得到
Figure BDA0003080494920000063
其中
Figure BDA00030804949200000617
表示近似带约束条件的二次优化问题的目标函数在
Figure BDA0003080494920000065
处的梯度，t表示采用谱投影梯度算法优化近似带约束条件的二次优化问题的迭代次数；
步骤3.4.2：利用投影算子
Figure BDA0003080494920000066
对
Figure BDA0003080494920000067
中每一组神经元的参数进行修正使其满足约束条件||ψa||≤ρa,a＝1,2,...,A，计算得到
Figure BDA0003080494920000068
步骤3.4.3：根据式
Figure BDA0003080494920000069
得到第t次迭代时求解近似带约束条件的二次优化问题的搜索方向
Figure BDA00030804949200000610
步骤3.4.4：对搜索方向
Figure BDA00030804949200000611
采用非单调线性搜索计算得到学习步长
Figure BDA00030804949200000612
Figure BDA00030804949200000613
l3∈(0,1)；
步骤3.4.5：根据式
Figure BDA00030804949200000614
更新参数，并判断近似带约束条件的二次优化问题中目标函数的评估次数是否大于预先设置的常数Te；
若否，则返回执行步骤3.4.1；若是，则算法停止，得到近似带约束条件的二次优化问题的解
Figure BDA00030804949200000615
进一步地，所述步骤3.5中可行下降方向d(m)的计算方法为：
在定制复数值投影拟牛顿算法的第m次迭代时，首先利用谱投影梯度算法计算带约束条件的二次优化问题的解
Figure BDA0003080494920000071
然后根据式
Figure BDA0003080494920000072
得到原约束优化问题
Figure BDA0003080494920000073
s.t||ψa||≤ρa,a＝1,2,...,A在第m次迭代时的可行下降方向d(m)。
进一步地，所述步骤3.5中使用Armijo线性搜索确定合适的学习步长η(m)，具体为：
在定制复数值投影拟牛顿算法的第m次迭代时使用Armijo线性搜索确定合适的学习步长η(m)：
Figure BDA0003080494920000074
其中l4∈(0,1)，d(m)表示原约束优化问题
Figure BDA0003080494920000075
s.t||ψa||≤ρa,a＝1,2,...,A在第m次迭代的可行下降方向，
Figure BDA0003080494920000076
表示目标函数E在
Figure BDA0003080494920000077
处的梯度。
进一步地，所述步骤3.6中利用d(m)和η(m)更新
Figure BDA0003080494920000078
并更新矩阵S和R，具体过程为：
根据公式
Figure BDA0003080494920000079
更新复数值前向神经网络训练中需要优化的参数向量
Figure BDA00030804949200000710
计算
Figure BDA00030804949200000711
并将s(m)和r(m)信息存储到S和R矩阵中，抛弃S和R矩阵中第m-τ次的s(m-τ)和r(m-τ)，实现矩阵S和R的更新。
进一步地，所述步骤3中预设的迭代结束条件，具体为：
复数值前向神经网络训练时的目标函数的评估次数达到预设的最大评估次数或者连续两次迭代中复数值前向神经网络训练时的目标函数值的变化量小于预设的阈值或者
Figure BDA0003080494920000081
中可调参数的最大变化量小于预设的阈值。
本发明的上述技术方案相比现有技术具有以下优点：
(1)本发明的训练过程中，通过在传统的均方误差函数中引入Group Lasso正则化项得到复数值前向神经网络训练时的目标函数，使得在训练过程中可以有效删除冗余的输入神经元和隐层神经元，实现网络结构和参数向量的优化。
(2)采用定制复数值投影拟牛顿算法训练复数值前向神经网络，将激活函数的增益系数作为可调参数一并优化，克服了由于激活函数陷入饱和区域对训练过程造成的不良影响。同时，复数值前向神经网络中冗余神经元的权值会被直接置零，无需预先设置阈值，冗余神经元可以直接删除，并且对模型的最终输出无任何影响，即可以同时实现网络结构和参数向量的优化。
(3)通过引入GroupLasso正则化项和使用定制复数值投影拟牛顿算法训练复数值前向神经网络，同时实现网络结构和参数的优化，从而使复数值前向神经网络的结构紧凑、增强网络模型的泛化性能，并且使得复数值前向神经网络在预测风速时的误差更小、提高预测准确性。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
图1是本发明的流程图。
图2是本发明中采用定制复数值投影拟牛顿算法训练复数值前向神经网络的示意图。
图3是本发明中定制复数值投影拟牛顿算法训练方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
在本发明的描述中，需要理解的是，术语“包括”意图在于覆盖不排他的包含，例如包含了一系列步骤或单元的过程、方法、系统、产品或设备，没有限定于已列出的步骤或单元而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
参照图1流程图所示，本发明一种基于复数值前向神经网络的风速预测方法的实施例，包括以下步骤：
步骤1：获取用于风速预测的数据并整理成数据集，将数据集分为训练集和预测集；数据集z＝[z1,z2,…,zP]T，P表示输入的维数，包括风速平均值、风向平均值、标准差、气压、温度和湿度六组参数。数据集为采集到的历史数据，本实施例中P取值为六，z＝[z1,z2,…,zP]T中的各维数据分别对应风速平均值、风向平均值、标准差、气压、温度和湿度。
步骤2：构建复数值前向神经网络模型，复数值前向神经网络中的参数向量ψ由包括神经元之间的连接权值、神经元的偏置和激活函数的增益系数的可调参数构成。所述复数值前向神经网络模型包括P个输入神经元(输入神经元的个数P与数据集的维数P保持一致)、N个隐层神经元和Q个输出神经元，复数值前向神经网络中的所述参数向量ψ为列向量，所有可调参数按顺序排列为参数向量ψ：
Figure BDA0003080494920000091
其中，wp表示第p个输入神经元和隐层神经元之间的连接权值组成的复向量，b1是所有隐层神经元的偏置构成的复向量，σ1表示隐层神经元激活函数的增益系数构成的复向量，vn表示第n个隐层神经元和输出层神经元之间的连接权值组成的复向量，b2是所有输出层神经元的偏置构成的复向量，σ2表示输出层神经元激活函数的增益系数构成的复向量，上标T表示转置；上标R表示对应复向量的实部构成的向量，上标I表示对应复向量的虚部构成的向量，
Figure BDA0003080494920000101
将激活函数的增益系数作为可调参数一并优化，避免了隐层神经元激活函数陷入饱和区域，克服了由于激活函数陷入饱和区域对训练过程造成的不良影响。
当输入为第j个训练样本时，所述复数值前向神经网络的隐层的输出向量为hj＝fC(Wzj+b1)，输出层的输出向量为oj＝fC(Vhj+b2)；其中fC(·)表示激活函数，W＝[w1,w2,...,wP]为输入层和隐层神经元之间的权值矩阵，zj是复数值前向神经网络的第j个输入样本；V＝[v1,v2,...,vN]为隐层和输出层神经元之间的权值矩阵。
初始化复数值前向神经网络模型中由神经元之间的连接权值、神经元的偏置和激活函数的增益系数构成的参数向量ψ。
步骤3：引入Group Lasso正则化项构建复数值前向神经网络训练的目标函数，并将复数值前向神经网络模型的训练转化为约束优化问题的求解；采用训练集和定制复数值投影拟牛顿算法进行迭代训练，删除冗余的输入神经元和隐层神经元，达到同时实现网络结构和参数向量优化的目的。
如图2-3所示，步骤3的具体过程为：
步骤3.1：在传统的均方误差函数E′中引入Group Lasso正则化项RGL得到训练时的目标函数E；
GroupLasso正则化项
Figure BDA0003080494920000102
复数值前向神经网络训练时的目标函数E为：
Figure BDA0003080494920000111
其中
Figure BDA0003080494920000112
为传统的均方误差函数，J是训练样本的总数，oj表示第j个训练样本的实际输出，yj表示第j个训练样本的期望输出，上标H表示共轭转置；λ为正则化系数，a＝1,2,...,A，A＝P+N+2表示可能被惩罚的神经元总个数，即输入神经元个数P、隐层神经元个数N以及偏置节点个数的总和；|·|表示向量的维数，||·||为欧几里得范数，ψa表示复数值前向神经网络中第a个神经元与下一层所有神经元之间的连接权值所构成的向量。
在复传统的均方误差函数中引入GroupLasso正则化项得到复数值前向神经网络训练时的目标函数，使得在训练过程中可以有效删除冗余的输入神经元和隐层神经元，实现网络结构和参数向量的优化，增强模型的泛化性能。
步骤3.2：将无约束优化问题转化成约束优化问题，即引入一组人工变量ρa将无约束优化问题
Figure BDA0003080494920000113
转化成约束优化问题：
Figure BDA0003080494920000114
定义ρ＝[ρ1,ρ2,...,ρA]T为由引入的变量ρa所构成的实向量，训练中需要优化的参数向量为
Figure BDA0003080494920000115
步骤3.3：使用训练集和定制复数值投影拟牛顿算法迭代训练复数值前向神经网络，使用
Figure BDA0003080494920000116
和
Figure BDA0003080494920000117
矩阵计算近似海塞矩阵Η(m)并得到近似带约束条件的二次优化问题；其中τ为常数，表示保留最近τ次的参数变化量s(i)和梯度变化量r(i)；
Figure BDA0003080494920000118
表示第i+1次迭代时的参数向量值，
Figure BDA0003080494920000121
表示第i次迭代时的参数向量值，
Figure BDA0003080494920000122
表示目标函数E在
Figure BDA0003080494920000123
处的梯度，
Figure BDA0003080494920000124
表示目标函数E在
Figure BDA0003080494920000125
处的梯度，S表示由从第m-τ到m-1次迭代时参数变化量s(i)组成的矩阵，R表示由从第m-τ到m-1次迭代时梯度变化量r(i)组成的矩阵，m表示第m次迭代；
步骤3.3.1：近似海塞矩阵Η(m)的计算公式为：
H(m)＝σ(m)I-NM-1NT，其中
Figure BDA0003080494920000126
I为单位矩阵，N＝[σ(m)S R]，
Figure BDA00030804949200001211
L为由元素
Figure BDA00030804949200001212
组成的矩阵，D＝diag[(s(m-τ))T(r(m-τ))，...，(s(m-1))T(r(m-1))]为对角矩阵；
步骤3.3.2：利用近似海塞矩阵Η(m)得到第m次迭代时的近似带约束条件的二次优化问题：
Figure BDA0003080494920000127
s.t||ψa||≤ρa,a＝1,2,...,A
步骤3.4：通过谱投影梯度算法求解近似带约束条件的二次优化问题，得到近似带约束条件的二次优化问题的解
Figure BDA0003080494920000128
根据谱投影梯度算法求解近似带约束条件的二次优化问题得到一个解
Figure BDA0003080494920000129
其中谱投影梯度算法的主要特点是采用了谱步长作为初始步长，并采用非单调线性搜索确定学习步长
Figure BDA00030804949200001210
谱步长的具体形式如下：
Figure BDA0003080494920000131
其中
Figure BDA00030804949200001314
表示近似带约束条件的二次优化问题的目标函数Q在
Figure BDA0003080494920000133
处的梯度，t表示采用谱投影梯度算法优化近似带约束条件的二次优化问题时的迭代次数，即谱投影梯度算法的第t次迭代。
在第t次迭代时，首先采用负梯度方向计算近似带约束条件的二次优化问题的目标函数Q的初始解
Figure BDA0003080494920000134
然而，此时计算得到的
Figure BDA0003080494920000135
并不一定满足约束条件||ψa||≤ρa,a＝1,2,...,A。因此，采用投影算子
Figure BDA0003080494920000136
对每一组神经元的参数进行修正以满足约束条件。例如，对于第一个输入神经元的权值向量ψ1＝ri(w1)及参数ρ1，如果||ψ1||≤ρ1，则该神经元的权值参数不需要修正，即为上式的第一种情形；如果||ψ1||＞ρ1且||ψ1||+ρ1＞0，则采用投影算子修正为
Figure BDA0003080494920000137
从而满足约束条件；如果||ψ1||＞ρ1且||ψ1||+ρ1≤0，则采用投影算子将该神经元的参数修正为(0,0)，即上式的第三种情形。此时，采用
Figure BDA0003080494920000138
得到求解近似带约束条件的二次优化问题的可行下降方向
Figure BDA0003080494920000139
其中
Figure BDA00030804949200001310
为对
Figure BDA00030804949200001311
中每组神经元参数按照上述投影操作后得到的解。
接着，采用非单调线性搜索去确定步长
Figure BDA00030804949200001312
具体形式如下：
Figure BDA00030804949200001313
其中l3∈(0,1)，k通常取值为10，
Figure BDA0003080494920000141
表示第t次迭代时近似带约束条件的二次优化问题的搜索方向。不断迭代，直到达到投影梯度算法的停止条件为止，得到带约束条件的二次优化问题的解
Figure BDA0003080494920000142
为了更加直观地说明谱投影梯度算法，谱投影梯度算法的具体流程总结如下：
步骤3.4.1：采用式
Figure BDA0003080494920000143
计算
Figure BDA0003080494920000144
并根据式
Figure BDA0003080494920000145
计算得到
Figure BDA0003080494920000146
其中
Figure BDA00030804949200001414
表示近似带约束条件的二次优化问题的目标函数在
Figure BDA0003080494920000148
处的梯度，t表示采用谱投影梯度算法优化近似带约束条件的二次优化问题的迭代次数；
步骤3.4.2：利用投影算子
Figure BDA0003080494920000149
对
Figure BDA00030804949200001410
中每一组神经元的参数进行修正使其满足约束条件||ψa||≤ρa,a＝1,2,...,A，计算得到
Figure BDA00030804949200001411
通过使用投影算子将复数值前向神经网络中冗余神经元的权值直接置零，无需预先设置阈值即可直接删除冗余神经元，并且对模型的最终输出无任何影响，同时实现网络结构和参数向量的优化的选择，从而使复数值前向神经网络的结构紧凑。
步骤3.4.3：根据式
Figure BDA00030804949200001412
得到第t次迭代时求解近似带约束条件的二次优化问题的搜索方向
Figure BDA00030804949200001413
步骤3.4.4：对搜索方向
Figure BDA0003080494920000151
采用非单调线性搜索计算得到学习步长
Figure BDA0003080494920000152
Figure BDA0003080494920000153
l3∈(0,1)；
步骤3.4.5：根据式
Figure BDA0003080494920000154
更新参数，并判断近似带约束条件的二次优化问题中目标函数的评估次数是否大于预先设置的常数Te，本实施例中Te取值为10；
若否，则返回执行步骤3.4.1；若是，则算法停止，得到近似带约束条件的二次优化问题的解
Figure BDA0003080494920000155
步骤3.5：利用近似带约束条件的二次优化问题的解
Figure BDA0003080494920000156
计算原约束优化问题
Figure BDA0003080494920000157
s.t.||ψa||≤ρa,a＝1,2,...,A在第m迭代时可行下降方向d(m)，并使用Armijo线性搜索确定合适的学习步长η(m)；
步骤3.5.1：在定制复数值投影拟牛顿算法的第m次迭代时，首先利用谱投影梯度算法计算带约束条件的二次优化问题的解
Figure BDA0003080494920000158
然后根据式
Figure BDA0003080494920000159
得到原约束优化问题
Figure BDA00030804949200001510
s.t||ψa||≤ρa,a＝1,2,...,A在第m次迭代的可行下降方向d(m)；
步骤3.5.2：在定制复数值投影拟牛顿算法的第m次迭代时使用Armijo线性搜索确定合适的学习步长η(m)：
Figure BDA00030804949200001511
其中l4∈(0,1)，d(m)表示原约束优化问题
Figure BDA00030804949200001512
s.t||ψa||≤ρa,a＝1,2,...,A在第m次迭代的可行下降方向，
Figure BDA00030804949200001513
表示目标函数E在
Figure BDA00030804949200001514
处的梯度。
步骤3.6：利用d(m)和η(m)更新
Figure BDA0003080494920000161
并更新矩阵S和R。
根据公式
Figure BDA0003080494920000162
更新复数值前向神经网络训练中需要优化的参数向量
Figure BDA0003080494920000163
计算
Figure BDA0003080494920000164
并将s(m)和r(m)信息存储到S和R矩阵中，抛弃S和R矩阵中第m-τ次的s(m-τ)和r(m-τ)信息，实现矩阵S和R的更新，本实施例中τ取值为10。
步骤3.7：重复步骤3.3～步骤3.6的定制复数值投影拟牛顿算法进行迭代训练，直到满足预设的迭代结束条件停止复数值前向神经网络的训练，完成对
Figure BDA0003080494920000166
的迭代训练。预设的迭代结束条件具体为：复数值前向神经网络训练时的目标函数的评估次数达到预设的最大评估次数或者连续两次迭代中复数值前向神经网络训练时的目标函数值的变化量小于预设的阈值或者
Figure BDA0003080494920000165
中可调参数的最大变化量小于预设的阈值(即进入停滞状态)。如果满足迭代结束条件则停止训练，并将训练好的复数值前向神经网络用于风速预测，如果不满足迭代结束条件则转到步骤3.3继续训练复数值前向神经网络。
步骤4：得到训练好的复数值前向神经网络，将预测集输入训练好的复数值前向神经网络得到风速预测结果。期望输出为风速和风向构成的复数y。
为了进一步说明本发明的有益效果，本实施例中选取2000个样本用于训练含20个隐层神经元的复数值前向神经网络，并用另外100个样本测试复数值前向神经网络的性能。将本发明(SC_PQN)与分裂式梯度下降训练方法(SCBPG)、全复数梯度下降训练方法(FCBPG)进行比较，训练和测试的结果如表1所示：
SCBPG FCBPG SC_PQN
平均训练误差 0.0663 0.0904 0.0656
平均测试误差 0.1246 0.1605 0.0840
删除的隐层神经元个数 0 0 14
删除的输入神经元个数 0 0 2
表1 SC_PQN、SCBPG、FCBPG训练和测试的结果比较表
从表1可以看出本发明使用定制复数值投影拟牛顿算法时，平均训练误差和平均测试误差都最小，取得了最好的训练和预测效果。并且，相比于其它训练方法，本发明都有删除的隐层神经元个数和删除的输入神经元的个数，删除了这些冗余神经元可以优化网络结构，得到一个结构更加紧凑的复数值前向神经网络模型，增强模型的泛化性能。
本发明的上述技术方案相比现有技术具有以下优点：本发明所述的基于复数值前向神经网络的风速预测方法(1)在训练过程中，通过在传统的均方误差函数中引入GroupLasso正则化项得到复数值前向神经网络训练时的目标函数，使得在训练过程中可以有效删除冗余的输入神经元和隐层神经元，实现网络结构和参数向量的优化。(2)采用定制复数值投影拟牛顿算法训练复数值前向神经网络，将激活函数的增益系数作为可调参数一并优化，克服了由于激活函数陷入饱和区域对训练过程造成的不良影响。同时，复数值前向神经网络中冗余神经元的权值会被直接置零，无需预先设置阈值，冗余神经元可以直接删除，并且对模型的最终输出无任何影响，即可以同时实现网络结构和参数向量的优化。(3)通过引入GroupLasso正则化项和使用定制复数值投影拟牛顿算法训练复数值前向神经网络，同时实现网络结构和参数的优化，从而使复数值前向神经网络的结构紧凑、增强网络模型的泛化性能，并且使得复数值前向神经网络在预测风速时的误差更小、提高预测准确性。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于复数值前向神经网络的风速预测方法，其特征在于：包括以下步骤：
步骤1：获取用于风速预测的数据并整理成数据集，将数据集分为训练集和预测集；
步骤2：构建复数值前向神经网络，初始化复数值前向神经网络中的参数向量ψ，参数向量ψ由包括神经元之间的连接权值、神经元的偏置和激活函数的增益系数的可调参数构成；
步骤3：引入Group Lasso正则化项构建复数值前向神经网络训练时的目标函数，将复数值前向神经网络的训练转化为约束优化问题的求解；
采用训练集和定制复数值投影拟牛顿算法训练复数值前向神经网络，直到满足预设的迭代结束条件停止训练；
步骤4：得到训练好的复数值前向神经网络，将预测集输入训练好的复数值前向神经网络得到风速预测结果。
2.根据权利要求1所述的基于复数值前向神经网络的风速预测方法，其特征在于：所述步骤2中构建复数值前向神经网络，构建的复数值前向神经网络包括P个输入神经元、N个隐层神经元和Q个输出神经元，复数值前向神经网络中的所述参数向量ψ为列向量，所有可调参数按顺序排列为参数向量ψ：
Figure FDA0003080494910000011
其中，wp表示第p个输入神经元和隐层神经元之间的连接权值组成的复向量，b1是所有隐层神经元的偏置构成的复向量，σ1表示隐层神经元激活函数的增益系数构成的复向量，vn表示第n个隐层神经元和输出层神经元之间的连接权值组成的复向量，b2是所有输出层神经元的偏置构成的复向量，σ2表示输出层神经元激活函数的增益系数构成的复向量，上标T表示转置；上标R表示对应复向量的实部构成的向量，上标I表示对应复向量的虚部构成的向量，
Figure FDA0003080494910000021
所述复数值前向神经网络的隐层输出向量hj＝fC(Wzj+b1)，输出层的输出向量oj＝fC(Vhj+b2)；其中fC(·)表示激活函数，W＝[w1,w2,...,wP]为输入层和隐层神经元之间的权值矩阵，zj是复数值前向神经网络的第j个输入样本；V＝[v1,v2,...,vN]为隐层和输出层神经元之间的权值矩阵。
3.根据权利要求1所述的基于复数值前向神经网络的风速预测方法，其特征在于：所述步骤3的具体过程为：
步骤3.1：在传统的均方误差函数E'中引入Group Lasso正则化项RGL得到复数值前向神经网络训练时的目标函数E；
步骤3.2：引入一组人工变量ρa将无约束优化问题
Figure FDA0003080494910000022
转化成约束优化问题
Figure FDA0003080494910000023
s.t.||ψa||≤ρa,a＝1,2,...,A；
定义ρ＝[ρ1,ρ2,...,ρA]T为由引入的变量ρa所构成的实向量，此时训练中需要优化的参数向量为
Figure FDA0003080494910000024
步骤3.3：使用
Figure FDA0003080494910000025
和
Figure FDA0003080494910000026
矩阵计算近似海塞矩阵Η(m)并得到近似带约束条件的二次优化问题；其中τ为常数，表示保留最近τ次的参数变化量s(i)和梯度变化量r(i)；
Figure FDA0003080494910000031
Figure FDA0003080494910000032
表示第i+1次迭代时的参数向量值，
Figure FDA0003080494910000033
表示第i次迭代时的参数向量值，
Figure FDA0003080494910000034
表示目标函数E在
Figure FDA0003080494910000035
处的梯度，
Figure FDA0003080494910000036
表示目标函数E在
Figure FDA0003080494910000037
处的梯度，S表示由从第m-τ到m-1次迭代时参数变化量s(i)组成的矩阵，R表示由从第m-τ到m-1次迭代时梯度变化量r(i)组成的矩阵，m表示第m次迭代；
步骤3.4：通过谱投影梯度算法求解近似带约束条件的二次优化问题，得到近似带约束条件的二次优化问题的解
Figure FDA0003080494910000038
步骤3.5：利用近似带约束条件的二次优化问题的解
Figure FDA0003080494910000039
计算原约束优化问题
Figure FDA00030804949100000310
s.t.||ψa||≤ρa,a＝1,2,...,A在第m迭代时可行下降方向d(m)，并使用Armijo线性搜索确定合适的学习步长η(m)；
步骤3.6：利用d(m)和η(m)更新
Figure FDA00030804949100000314
并更新矩阵S和R；
步骤3.7：重复步骤3.3～步骤3.6，直到满足预设的迭代结束条件停止复数值前向神经网络的训练。
4.根据权利要求3所述的基于复数值前向神经网络的风速预测方法，其特征在于：所述步骤3.1中的Group Lasso正则化项
Figure FDA00030804949100000311
复数值前向神经网络训练时的目标函数E为：
Figure FDA00030804949100000312
其中
Figure FDA00030804949100000313
为传统的均方误差函数，J是训练样本的总数，oj表示第j个训练样本的实际输出，yj表示第j个训练样本的期望输出，上标H表示共轭转置；λ为正则化系数，a＝1,2,...,A，A＝P+N+2表示可能被惩罚的神经元总个数，即输入神经元个数P、隐层神经元个数N以及偏置节点个数的总和；|·|表示向量的维数，||·||为欧几里得范数，ψa表示复数值前向神经网络中第a个神经元与下一层所有神经元之间的连接权值所构成的向量。
5.根据权利要求3所述的基于复数值前向神经网络的风速预测方法，其特征在于：所述步骤3.3的具体过程为：
步骤3.3.1：近似海塞矩阵Η(m)的计算公式为：
H(m)＝σ(m)I-NM-1NT，
其中
Figure FDA0003080494910000041
N＝[σ(m)S R]，
Figure FDA0003080494910000042
L为由元素
Figure FDA0003080494910000043
组成的矩阵，I为单位矩阵，D＝diag[(s(m-τ))T(r(m-τ))，...，(s(m-1))T(r(m-1))]为对角矩阵；
步骤3.3.2：利用近似海塞矩阵Η(m)得到第m次迭代时的近似带约束条件的二次优化问题：
Figure FDA0003080494910000044
6.根据权利要求3所述的基于复数值前向神经网络的风速预测方法，其特征在于：所述步骤3.4的具体过程为：
步骤3.4.1：利用式
Figure FDA0003080494910000045
计算
Figure FDA0003080494910000046
并根据式
Figure FDA0003080494910000047
计算得到
Figure FDA0003080494910000051
其中
Figure FDA0003080494910000052
Figure FDA0003080494910000053
表示近似带约束条件的二次优化问题的目标函数在
Figure FDA0003080494910000054
处的梯度，t表示采用谱投影梯度算法优化近似带约束条件的二次优化问题的迭代次数；
步骤3.4.2：利用投影算子
Figure FDA0003080494910000055
对
Figure FDA0003080494910000056
中每一组神经元的参数进行修正使其满足约束条件||ψa||≤ρa,a＝1,2,...,A，计算得到
Figure FDA0003080494910000057
步骤3.4.3：根据式
Figure FDA0003080494910000058
得到第t次迭代时求解近似带约束条件的二次优化问题的搜索方向
Figure FDA0003080494910000059
步骤3.4.4：对搜索方向
Figure FDA00030804949100000510
采用非单调线性搜索计算得到学习步长
Figure FDA00030804949100000511
Figure FDA00030804949100000512
步骤3.4.5：根据式
Figure FDA00030804949100000513
更新参数，并判断近似带约束条件的二次优化问题中目标函数的评估次数是否大于预先设置的常数Te；
若否，则返回执行步骤3.4.1；若是，则算法停止，得到近似带约束条件的二次优化问题的解
Figure FDA00030804949100000514
7.根据权利要求3所述的基于复数值前向神经网络的风速预测方法，其特征在于：所述步骤3.5中可行下降方向d(m)的计算方法为：
在定制复数值投影拟牛顿算法的第m次迭代时，首先利用谱投影梯度算法计算带约束条件的二次优化问题的解
Figure FDA00030804949100000515
然后根据式
Figure FDA00030804949100000516
得到原约束优化问题
Figure FDA0003080494910000061
s.t||ψa||≤ρa,a＝1,2,...,A在第m次迭代时的可行下降方向d(m)。
8.根据权利要求3所述的基于复数值前向神经网络的风速预测方法，其特征在于：所述步骤3.5中使用Armijo线性搜索确定合适的学习步长η(m)，具体为：
在定制复数值投影拟牛顿算法的第m次迭代时使用Armijo线性搜索确定合适的学习步长η(m)：
Figure FDA0003080494910000062
其中l4∈(0,1)，d(m)表示原约束优化问题
Figure FDA0003080494910000063
s.t||ψa||≤ρa,a＝1,2,...,A在第m次迭代的可行下降方向，
Figure FDA0003080494910000064
表示目标函数E在
Figure FDA0003080494910000065
处的梯度。
9.根据权利要求3所述的基于复数值前向神经网络的风速预测方法，其特征在于：所述步骤3.6中利用d(m)和η(m)更新
Figure FDA0003080494910000066
并更新矩阵S和R，具体过程为：
根据公式
Figure FDA0003080494910000067
更新复数值前向神经网络训练中需要优化的参数向量
Figure FDA0003080494910000068
计算
Figure FDA0003080494910000069
并将s(m)和r(m)信息存储到S和R矩阵中，抛弃S和R矩阵中第m-τ次的s(m-τ)和r(m-τ)，实现矩阵S和R的更新。
10.根据权利要求1-9任一项所述的基于复数值前向神经网络的风速预测方法，其特征在于：所述步骤3中预设的迭代结束条件，具体为：
复数值前向神经网络训练时的目标函数的评估次数达到预设的最大评估次数或者连续两次迭代中复数值前向神经网络训练时的目标函数值的变化量小于预设的阈值或者
Figure FDA0003080494910000071
中可调参数的最大变化量小于预设的阈值。
CN202110565347.0A 2021-05-24 2021-05-24 基于复数值前向神经网络的风速预测方法 Pending CN113158582A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110565347.0A CN113158582A (zh) 2021-05-24 2021-05-24 基于复数值前向神经网络的风速预测方法
US17/789,038 US20230316069A1 (en) 2021-05-24 2021-09-06 Wind speed prediction method based on forward complex-valued neural network
PCT/CN2021/116621 WO2022247049A1 (zh) 2021-05-24 2021-09-06 基于复数值前向神经网络的风速预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110565347.0A CN113158582A (zh) 2021-05-24 2021-05-24 基于复数值前向神经网络的风速预测方法

Publications (1)

Publication Number Publication Date
CN113158582A true CN113158582A (zh) 2021-07-23

Family

ID=76877094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110565347.0A Pending CN113158582A (zh) 2021-05-24 2021-05-24 基于复数值前向神经网络的风速预测方法

Country Status (3)

Country Link
US (1) US20230316069A1 (zh)
CN (1) CN113158582A (zh)
WO (1) WO2022247049A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705724A (zh) * 2021-09-13 2021-11-26 苏州大学 基于自适应l-bfgs算法的深度神经网络的批量学习方法
WO2022247049A1 (zh) * 2021-05-24 2022-12-01 苏州大学 基于复数值前向神经网络的风速预测方法
WO2023216383A1 (zh) * 2022-05-13 2023-11-16 苏州大学 基于复值神经网络的复值时序信号预测方法
WO2023236260A1 (zh) * 2022-06-09 2023-12-14 苏州大学 基于复数值加速算法的短期风速预测方法
CN117933499A (zh) * 2024-03-22 2024-04-26 中国铁建电气化局集团有限公司 高速铁路接触网的入侵风险预测方法、装置和存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116211458B (zh) * 2022-12-12 2023-10-03 高峰医疗器械(无锡)有限公司 种植体规划方法、装置、设备及存储介质
CN117371299B (zh) * 2023-12-08 2024-02-27 安徽大学 一种托卡马克新经典环向粘滞力矩的机器学习方法
CN117408164B (zh) * 2023-12-13 2024-03-22 西安热工研究院有限公司 储能辅助黑启动的风速智能预测方法及系统
CN117454233B (zh) * 2023-12-22 2024-03-22 厦门锋联信息技术有限公司 基于定位识别的安全生产管理方法及系统
CN117454124B (zh) * 2023-12-26 2024-03-29 山东大学 一种基于深度学习的船舶运动预测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875002A (zh) * 2017-02-20 2017-06-20 中国石油大学(华东) 基于梯度下降法与广义逆的复值神经网络训练方法
US20200160113A1 (en) * 2018-11-19 2020-05-21 Google Llc Training image-to-image translation neural networks
CN111950711A (zh) * 2020-08-14 2020-11-17 苏州大学 复值前向神经网络的二阶混合构建方法及系统
CN112598106A (zh) * 2020-12-17 2021-04-02 苏州大学 基于复数值前向神经网络的复信道均衡器设计方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243259A (zh) * 2015-09-02 2016-01-13 上海大学 基于极限学习机的脉动风速快速预测方法
CN106295794A (zh) * 2016-07-27 2017-01-04 中国石油大学(华东) 基于光滑Group Lasso惩罚项的分数阶的神经网络建模方法
CN111160520A (zh) * 2019-12-06 2020-05-15 南京理工大学 一种基于遗传算法优化的bp神经网络风速预测方法
CN113158582A (zh) * 2021-05-24 2021-07-23 苏州大学 基于复数值前向神经网络的风速预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875002A (zh) * 2017-02-20 2017-06-20 中国石油大学(华东) 基于梯度下降法与广义逆的复值神经网络训练方法
US20200160113A1 (en) * 2018-11-19 2020-05-21 Google Llc Training image-to-image translation neural networks
CN111950711A (zh) * 2020-08-14 2020-11-17 苏州大学 复值前向神经网络的二阶混合构建方法及系统
CN112598106A (zh) * 2020-12-17 2021-04-02 苏州大学 基于复数值前向神经网络的复信道均衡器设计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张欣等: "基于迟滞神经网络的风速时间序列预测", 《天津工业大学学报》 *
张雨浓等: "改造前向神经网络结构以求网络权值直接确定――Jacobi正交基神经网络实例", 《自动化与信息工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022247049A1 (zh) * 2021-05-24 2022-12-01 苏州大学 基于复数值前向神经网络的风速预测方法
CN113705724A (zh) * 2021-09-13 2021-11-26 苏州大学 基于自适应l-bfgs算法的深度神经网络的批量学习方法
WO2023216383A1 (zh) * 2022-05-13 2023-11-16 苏州大学 基于复值神经网络的复值时序信号预测方法
WO2023236260A1 (zh) * 2022-06-09 2023-12-14 苏州大学 基于复数值加速算法的短期风速预测方法
CN117933499A (zh) * 2024-03-22 2024-04-26 中国铁建电气化局集团有限公司 高速铁路接触网的入侵风险预测方法、装置和存储介质

Also Published As

Publication number Publication date
US20230316069A1 (en) 2023-10-05
WO2022247049A1 (zh) 2022-12-01

Similar Documents

Publication Publication Date Title
CN113158582A (zh) 基于复数值前向神经网络的风速预测方法
CN110909926A (zh) 基于tcn-lstm的太阳能光伏发电预测方法
CN111860982A (zh) 一种基于vmd-fcm-gru的风电场短期风电功率预测方法
CN111563706A (zh) 一种基于lstm网络的多变量物流货运量预测方法
CN113705877B (zh) 基于深度学习模型的实时月径流预报方法
CN111178616B (zh) 基于负相关学习和正则化极限学习机集成的风速预测方法
CN111144644B (zh) 基于变分异方差高斯过程回归的短期风速预测方法
CN107609667B (zh) 基于Box_cox变换和UFCNN的供热负荷预测方法及系统
CN112288164A (zh) 一种计及空间相关性和修正数值天气预报的风功率组合预测方法
CN114462718A (zh) 基于时间滑动窗口的cnn-gru风电功率预测方法
CN112508299A (zh) 一种电力负荷预测方法、装置、终端设备及存储介质
CN110738363B (zh) 一种光伏发电功率预测方法
CN111382581B (zh) 一种机器翻译中的一次剪枝压缩方法
CN112378619A (zh) 具有ReMD-OSELM的FER-FSE在风洞试验冲压阶段总压实时建模中的应用
CN114357870A (zh) 基于局部加权偏最小二乘的计量设备运行性能预测分析方法
CN114692507A (zh) 基于堆叠泊松自编码器网络的计数数据软测量建模方法
CN111192158A (zh) 一种基于深度学习的变电站日负荷曲线相似度匹配方法
Li et al. Filter pruning via probabilistic model-based optimization for accelerating deep convolutional neural networks
CN110276478B (zh) 基于分段蚁群算法优化svm的短期风电功率预测方法
CN113128666A (zh) 基于Mo-S-LSTMs模型的时间序列多步预测方法
CN115392594B (zh) 一种基于神经网络和特征筛选的用电负荷模型训练方法
CN113052373A (zh) 一种基于改进elm模型的月径流变化趋势预测方法
CN117131654A (zh) 基于预分析初猜值条件非线性最优扰动的目标观测方法
CN116047753B (zh) 光学系统正交优化模型的构建及优化方法
CN116341720A (zh) 基于动态图卷积和transformer的多风机风速风向预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210723