CN111222677A - 一种基于长短期记忆时间神经网络的风速预测方法及系统 - Google Patents

一种基于长短期记忆时间神经网络的风速预测方法及系统 Download PDF

Info

Publication number
CN111222677A
CN111222677A CN201911007963.3A CN201911007963A CN111222677A CN 111222677 A CN111222677 A CN 111222677A CN 201911007963 A CN201911007963 A CN 201911007963A CN 111222677 A CN111222677 A CN 111222677A
Authority
CN
China
Prior art keywords
wind speed
neural network
long
term memory
short term
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911007963.3A
Other languages
English (en)
Inventor
陈棋
肖威
孙勇
林勇刚
马灵芝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Huaneng Group Technology Innovation Center Co Ltd
Zhejiang Windey Co Ltd
Huaneng Renewables Corp Ltd
Original Assignee
Zhejiang University ZJU
Huaneng Group Technology Innovation Center Co Ltd
Zhejiang Windey Co Ltd
Huaneng Renewables Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Huaneng Group Technology Innovation Center Co Ltd, Zhejiang Windey Co Ltd, Huaneng Renewables Corp Ltd filed Critical Zhejiang University ZJU
Priority to CN201911007963.3A priority Critical patent/CN111222677A/zh
Publication of CN111222677A publication Critical patent/CN111222677A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及风电场风速预测领域,公开了一种基于长短期记忆时间神经网络的风速预测方法及系统,包括:A)采集已有的历史风速数据和实测的风速数据;B)分析不良数据,进行数据预处理,获得风速样本,构建风速样本数据库;C)将风速样本数据库分为训练样本数据库、验证样本数据库和检测样本数据库;D)构建长短期记忆神经网络模型;E)利用已训练好的长短期记忆神经网络模型对风速进行预测,获得风速预测值。本发明在完全利用历史数据的情况下,通过建立长短期记忆时间神经网络模型,并且对长短期记忆神经网络模型进行参数优化,实现对风能的预测,预测精度高。

Description

一种基于长短期记忆时间神经网络的风速预测方法及系统
技术领域
本发明涉及风电场风速预测领域,尤其是涉及一种基于长短期记忆时间神经网络的风速预测方法及系统。
背景技术
风能受自然因素的影响较为复杂,风速是风机变桨控制和转矩控制的重要参数,风电功率在很大程度上受风电场风速大小的变换,风速的随机性会对风电并网产生很大的影响,从而破环电网的稳定性,因此对风电场的风速进行预测将大大提高风能的利用率和稳定性能。
目前许多国内外学者对风电场风速的预测问题进行了研究,也提出了多种方法,比如卡尔曼滤波法、小波分析法、BP神经网络和支持向量机等。其中卡尔曼滤波法和小波分析法在处理非线性系统预测问题的时候难度较大;BP神经网络和支持向量机其模型结构复杂,实际应用中步骤繁琐,在处理长序列数据的时候,容易出现梯度消失的问题,导致预测精度大大降低。
例如,一种在中国专利文献上公开的“一种风速预测方法、装置及设备”,其公告号CN108985520A,该发明利用小波算法对风速数据序列进行分解和重构,并利用预先训练得到的布谷鸟算法优化的神经网络分别对各个子序列进行预测,得到多个子预测结果,最后根据各个子预测结果确定最终预测结果。该发明采用了小波算法,需要对数据的特征进行详细的分析和处理,才能实现对风速的预测,其稳定性和预测精度受人为因素影响严重。因此,本发明提出了一种基于长短期记忆时间循环神经网络的风速预测方法,长短期记忆时间循环神经网络模型结构内存在很多门控结构,不同的门控结构可以使模型更好的选择和分析数据内部特征,从而解决了在处理长序列数据问题的时候出现的梯度消失问题,通过这些特征对搭建好的模型进行训练、调参和验证,提高了模型的预测精度。
发明内容
本发明是为了解决传统预测模型预测误差大以及无法有效利用历史信息的问题,提供一种基于长短期记忆时间神经网络的风速预测方法及系统。本发明在完全利用历史数据的情况下,通过建立长短期记忆时间神经网络模型,并且对长短期记忆神经网络模型进行参数优化,实现对风能的准确预测。
为了实现上述目的,本发明采用以下技术方案:
一种基于长短期记忆时间神经网络的风速预测方法,包括:
A)采集已有的历史风速数据和实测的风速数据;
B)分析不良数据,进行数据预处理,获得风速样本,构建风速样本数据库;
C)将风速样本数据库分为训练样本数据库、验证样本数据库和检测样本数据库;
D)构建长短期记忆神经网络模型,利用训练样本数据库对长短期记忆神经网络模型进行训练,调整长短期记忆神经网络模型的参数,获得已训练好的长短期记忆神经网络模型,利用验证样本数据库对长短期记忆神经网络模型进行验证;
E)利用已训练好的长短期记忆神经网络模型对风速进行预测,获得风速预测值,将预测值保存到检测样本数据库中,形成新的检测样本数据库。
长短期记忆神经网络(Long-Short Term Memory)是一种深度学习算法,是循环神经网络(Recurrent Neutral Network)中的一种,能够有效解决长期依赖问题。长短期记忆神经网络模型通过在普通多层前馈(Back Propagation)神经网络基础上,增加了隐藏层各单元间的横向联系,通过权重矩阵,将上一个时间序列的神经单元的值传递至当前的神经单元,从而使神经网络具备了记忆功能,另外,在隐藏层各神经单元中增加记忆单元,从而使时间序列上的记忆信息可控,每次在隐藏层各单元间传递时通过几个可控门(遗忘门、输入门、输出门),可以控制之前信息和当前信息的记忆和遗忘程度,从而使网络具备了长期记忆功能。不同于传统的前馈神经网络,通过构建长短期记忆神经网络模型,该长短期记忆神经网络模型的隐藏层能够实现跨越时间点的自连隐藏层,即隐藏层的输出不但可以传输到输出层,也可以传输给下一时间点的隐藏层,该网络可以长期地保存有用信息,根据历史信息推出未来信息。
进一步地,步骤B)中不良数据包括误差较大的风速数据和不完整数据,数据预处理包括:
B1)删除误差较大的风速数据,获得与不良数据相邻的前后两个数据的均值,用均值补全不良数据,获得按照时间顺序进行排列的风速数据序列;
B2)设置截断长度为t,对风速数据序列进行随机截断处理;
B3)获得随机截断处理后n个风速数据序列片段,将n个风速数据序列片段作为风速样本,将风速样本放入风速样本数据库中。
用位于数据序列集中相邻数据的平均值来对不良数据进行填补。采集到的通常是海量数据,先把采集到的不适合用来做训练模型的数据进行预处理,从而转化为适合用来训练的数据,进行数据预处理可减少计算量,获得数据预处理的风速样本数据。
进一步地,步骤D中构建长短期记忆神经网络模型,包括:
D1)参数初始化,其中参数包括:神经元个数、网络层数、一次性输入给神经网络模型的样本数batch_size、训练次数epoch、步长time_steps以及遗忘门、输入门和输出门的各项权重和偏置项;
D2)把每个风速数据序列片段的前t-1个风速数据作为第t时刻长短期记忆神经网络模型的输入,将长短期记忆神经网络模型的输入记为Yt-1
D3)设置遗忘门:
ft=σ(Wf*Yt-1+bf)其中σ为sigmoid函数,记为
Figure BDA0002243320360000031
Wf为遗忘门权重,bf为遗忘门偏置项;
D4)设置输入门:it=σ(Wi*Yt-1+bi),
Figure BDA0002243320360000032
其中tanh为tanh函数,
Figure BDA0002243320360000033
为中间记忆元件,Wi为输入门权重,bi为输入门偏置项,Wc为中间记忆元件权重,bm为中间记忆元件偏置项;
D5)设置记忆元件:
Figure BDA0002243320360000034
其中H(t-1)为上一次记忆元件的输出值,it为中间记忆元件权重;
D6)设置输出门,获得长短期记忆神经网络模型的输出值y(t):
ot=σ(Wo*Yt-1+bo)
y(t)=ot*tanh(H(t)),其中Wo为输出门权重,bo为输出门偏置项,通过sigmoid函数确定需要输出的信息ot,再将输出的信息ot通过tanh函数进行处理;
D7)判断是否达到训练次数,如果未达到,重复C2),如果达到,利用验证样本数据库对长短期记忆神经网络模型进行验证,进行误差分析。
长短期记忆神经网络的每个神经元都含有遗忘门、输入门和输出门三个门层,门是一种可以让信息选择性通过的方法,通过门结构可以让长短期记忆神经网络拥有去除和保留信息的能力。数据在长短期记忆神经网络的神经元中会首先决定需要丢弃多少信息。当数据通过其内部设置的遗忘门时,会通过sigmoid激活函数,决定需要“遗忘”的比例,并将此时刻的信息给记忆元件H(t-1)。
进一步地,利用Adam算法调整长短期记忆神经网络模型的参数,包括:
D11)获取长短期记忆神经网络模型的参数为w1,w2,...,wh,计算t时刻关于参数w1的梯度:
Figure BDA0002243320360000035
s表示训练数据集的大小,y*(t)为预测输出的真实值,ft(w1(t-1),y(t),y*(t)为长短期记忆神经网络模型的损失函数,w1(t-1)表示t-1时刻的参数w1
D22)更新梯度的一阶矩估计:mt=β1·mt-1-(1-β1)·gt
D33)更新梯度的二阶矩估计:
Figure BDA0002243320360000041
D44)修正一阶矩估计:
Figure BDA0002243320360000042
D55)修正二阶矩估计:
Figure BDA0002243320360000043
D66)更新待优化参数:
Figure BDA0002243320360000044
其中,β1为一阶矩估计修正量,β2为二阶矩估计修正量,α为修正系数,ε为修正常数,依次重复步骤D11)至D66),获得t时刻h个长短期记忆神经网络模型参数的最优解。
神经网络在训练的过程中,需要不停地更新权重,传统的随机梯度下降方法通过保持单一的学习率来更新所有权重,学习率在训练过程中不会发生改变。而Adam算法即适应性动量估计算法(Adaptive moment estimation)通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率,从而通过训练数据迭代地更新权重。Adam算法广泛应用于深度学习的应用中,该算法占用资源相对较少而且收敛速度比较快,能够大幅度提高长短期记忆神经网络模型的速度和效果。
步骤D1)中损失函数为MSE均方误差损失函数。
进一步地,步骤D中的长短期记忆神经网络模型包括输入层、隐藏层、舍弃层、输出层和激活函数,输入层与隐藏层相连,隐藏层的个数为2,第1个隐藏层有64个神经元,第2个隐藏层32个神经元,第2个隐藏层与输出层之间有一层舍弃层,舍弃层的舍弃率为50%,输出层为1个神经元,激活函数为linear激活函数。
对长短期记忆神经网络模型进行调参,调节模型隐藏层中神经元的数目和舍弃层的舍弃率,将舍弃层的舍弃率设置为50%,提高模型的泛化能力。
进一步地,步骤C7)中的误差分析采用平均绝对百分误差MAPE,
Figure BDA0002243320360000045
其中N表示样本个数,y表示真实值,y'表示预测值。
通过误差分析能够对模型进行综合评价,误差分析还可以采用方差和相对误差来进行分析。
一种基于长短期记忆时间神经网络的风速预测系统,包括数据单元和模型单元,
数据单元包括数据采集子单元和数据处理子单元;
数据采集子单元,用于对历史风速数据和实测的风速数据进行采集;
数据处理子单元,用于剔除掉错误和误差较大的风速数据,并利用其相邻的前后均值进行补全,并将经过处理后的风速数据进行重组合并,构建风速样本数据库;
模型单元包括模型构建子单元、模型学习子单元和模型预测子单元;
模型构建子单元,用于搭建长短期记忆时间神经网络模型,长短期记忆时间神经网络模型包括输入层、隐藏层、舍弃层、输出层以及相应的激活函数;
模型学习子单元,用于对神经网络模型进行训练、调参和验证;
模型预测子单元,用于利用已学习好的神经网络模型对检测样本数据进行风速预测。
因此,本发明具有如下有益效果:通过建立长短期记忆神经网络模型,对长短期记忆神经网络模型进行训练、调参和验证,避免了在处理长序列数据问题的时候出现的梯度消失问题。相比已有使用混合模型和组合算法对风速进行预测,本发明模型结构简单,不需要繁琐的处理步骤,操作方便,具有更高的实际应用价值。相比已有许多使用传统神经网络进行风速预测,本发明预测的风速不仅准确性高,而且预测稳定性高。
附图说明
图1为本发明实施例一的基于长短期记忆时间神经网络的风速预测方法流程框图。
图2为本发明实施例一的长短期记忆神经网络架构示意图。
图3为本发明实施例一的单个神经元内部结构示意图。
图4为本发明实施例一的学习曲线示意图。
图5为本发明实施一的系统结构示意图。
具体实施方式
下面结合附图与具体实施方式对本发明做进一步的描述。
实施例一,一种基于长短期记忆时间神经网络的风速预测方法,如图1所示,包括:
A)采集已有的历史风速数据和实测的风速数据,使用安装在风电机组上的雷达测风仪,每隔固定的时间会采集一次风速;
B)分析不良数据,进行数据预处理,获得风速样本,构建风速样本数据库,包括:
步骤B)中不良数据包括误差较大的风速数据和不完整数据,数据预处理包括:
B1)删除误差较大的风速数据,为了保证风速数据的连续性和一致性,获得与不良数据相邻的前后两个数据的均值,用均值补全不良数据,获得按照时间顺序进行排列的风速数据序列;
B2)设置截断长度为15秒,对风速数据序列进行随机截断处理;
B3)采用前15秒的风速作为训练值,下一秒的风速作为预测值,获得随机截断处理后n个风速数据序列片段,将n个风速数据序列片段作为风速样本,将风速样本放入风速样本数据库中。
对风速数据进行重组合并,采用了按照采集时间的先后顺序进行排序组合的方法,严格控制整个风速数据的时序性,保证数据的变化与整个风速变化过程相一致。
将风速样本数据库分为训练样本数据库、验证样本数据库和检测样本数据库;
将风速样本依然按照时间的先后顺序进行排序,然后在风速样本数据库中选取排好序的前70%风速样本作为训练样本,接着的20%风速样本作为验证样本,后来的10%风速样本作为预测样本。
D)构建长短期记忆神经网络模型,长短期记忆神经网络架构示意图如图2所示,长短期记忆神经网络模型包括输入层、隐藏层、舍弃层、输出层和激活函数,输入层与隐藏层相连,隐藏层的个数为2,第1个隐藏层有64个神经元,第2个隐藏层32个神经元,第2个隐藏层与输出层之间有一层舍弃层,舍弃层的舍弃率为50%,输出层为1个神经元,激活函数为linear激活函数,模型训练包括步骤:
D1)参数初始化,其中参数包括:一次性输入给神经网络模型的样本数batch_size、训练次数epoch、步长time_steps以及遗忘门、输入门和输出门的各项权重和偏置项;
D2)把每个风速数据序列片段的前t-1个风速数据作为第t时刻长短期记忆神经网络模型的输入,将长短期记忆神经网络模型的输入记为Yt-1
D3)设置遗忘门:
ft=σ(Wf*Yt-1+bf)其中σ为sigmoid函数,记为
Figure BDA0002243320360000061
Wf为遗忘门权重,bf为遗忘门偏置项;
D4)设置输入门:it=σ(Wi*Yt-1+bi),
Figure BDA0002243320360000062
其中tanh为tanh函数,
Figure BDA0002243320360000063
为中间记忆元件,Wi为输入门权重,bi为输入门偏置项,Wc为中间记忆元件权重,bm为中间记忆元件偏置项;
D5)设置记忆元件:
Figure BDA0002243320360000064
其中H(t-1)为上一次记忆元件的输出值,it为中间记忆元件权重;
D6)设置输出门,获得长短期记忆神经网络模型的输出值y(t):
ot=σ(Wo*Yt-1+bo)
y(t)=ot*tanh(H(t)),其中,Wo为输出门权重,bo为输出门偏置项,通过sigmoid函数确定需要输出的信息ot,再将输出的信息ot通过tanh函数进行处理;
D7)判断是否达到训练次数,如果未达到,重复C2),如果达到,利用验证样本数据库对长短期记忆神经网络模型进行验证,采用平均绝对百分误差进行误差分析。
长短期记忆神经网络模型内部的舍弃层用来断开前后隐藏层神经元之间的连接,从而避免模型发生过拟合,其舍弃率为50%,相当于断掉了前后隐藏层50%神经元之间的连接。长短期记忆神经网络模型单个神经元内部结构示意图如图3所示,每个神经元内部结构具体包括遗忘门、输入门和输出门,其中遗忘门负责以一定的概率控制是否遗忘上一层神经元传来的信息H(t-1),其中字符σ为激活函数sigmoid,其数学运算为f(x)=1/(1+e-x);输出门负责处理当前序列位置的输入,输入门由两部分组成,第一部分使用了sigmoid激活函数,第二部分使用tanh激活函数,其数学运算为(ex-e-x)/(ex+e-x);其中输出门负责处理当前神经元的输出,输出门也有两部分组成,第一部分使用了sigmoid激活函数,第二部分使用tanh激活函数。
利用训练样本数据库对长短期记忆神经网络模型进行训练,调整长短期记忆神经网络模型的参数,获得已训练好的长短期记忆神经网络模型,利用验证样本数据库对长短期记忆神经网络模型进行验证。利用Adam算法调整长短期记忆神经网络模型的参数,包括:
D11)获取长短期记忆神经网络模型的参数为w1,w2,...,wh,计算t时刻关于参数w1的梯度:
Figure BDA0002243320360000071
s表示训练数据集的大小,y*(t)为预测输出的真实值,ft(w1(t-1),y(t),y*(t)为长短期记忆神经网络模型的损失函数,损失函数为MSE均方误差损失函数,w1(t-1)表示t-1时刻的参数w1
D22)更新梯度的一阶矩估计:mt=β1·mt-1-(1-β1)·gt
D33)更新梯度的二阶矩估计:
Figure BDA0002243320360000072
D44)修正一阶矩估计:
Figure BDA0002243320360000073
D55)修正二阶矩估计:
Figure BDA0002243320360000074
D66)更新待优化参数:
Figure BDA0002243320360000081
其中,β1为一阶矩估计修正量,β2为二阶矩估计修正量,α为修正系数,ε为修正常数,依次重复步骤D11)至D66),获得t时刻h个长短期记忆神经网络模型参数的最优解。
如图4所示,为本发明实施例一长短期记忆时间神经网络模型的学习曲线示意图,可以看出,随着训练的进行,损失函数逐渐收敛到很小值,模型达到了接近100%的预测精度。
利用已训练好的长短期记忆神经网络模型对风速进行预测,获得风速预测值,将预测值保存到检测样本数据库中,形成新的检测样本数据库。
一种基于长短期记忆时间神经网络的风速预测系统,如图5所示,包括数据单元和模型单元,数据单元包括数据采集子单元和数据处理子单元;
数据采集子单元,用于对历史风速数据和实测的风速数据进行采集;
数据处理子单元,用于剔除掉错误和误差较大的风速数据,并利用其相邻的前后均值进行补全,并将经过处理后的风速数据进行重组合并,构建风速样本数据库;
模型单元包括模型构建子单元、模型学习子单元和模型预测子单元;
模型构建子单元,用于搭建长短期记忆时间神经网络模型,长短期记忆时间神经网络模型包括输入层、隐藏层、舍弃层、输出层以及相应的激活函数;
模型学习子单元,用于对神经网络模型进行训练、调参和验证;
模型预测子单元,用于利用已学习好的神经网络模型对检测样本数据进行风速预测。
本发明通过在完全利用历史数据的情况下建立长短期记忆时间神经网络模型,对长短期记忆时间神经网络模型进行训练、调参和验证,并且对长短期记忆神经网络模型进行参数优化,实现对风能的预测,预测精度高。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明保护范围以内。

Claims (8)

1.一种基于长短期记忆时间神经网络的风速预测方法,其特征是,包括步骤:
A)采集已有的历史风速数据和实测的风速数据;
B)分析不良数据,进行数据预处理,获得风速样本,构建风速样本数据库;
C)将风速样本数据库分为训练样本数据库、验证样本数据库和检测样本数据库;
D)构建长短期记忆神经网络模型,利用训练样本数据库对长短期记忆神经网络模型进行训练,调整长短期记忆神经网络模型的参数,获得已训练好的长短期记忆神经网络模型,利用验证样本数据库对长短期记忆神经网络模型进行验证;
E)利用已训练好的长短期记忆神经网络模型对风速进行预测,获得风速预测值,将预测值保存到检测样本数据库中,形成新的检测样本数据库。
2.根据权利要求1所述的一种基于长短期记忆时间神经网络的风速预测方法,其特征是,步骤B)中不良数据包括误差较大的风速数据和不完整数据,数据预处理包括:
B1)删除误差较大的风速数据,获得与不良数据相邻的前后两个数据的均值,用所述均值补全不良数据,获得按照时间顺序进行排列的风速数据序列;
B2)设置截断长度为t,对风速数据序列进行随机截断处理;
B3)获得随机截断处理后n个风速数据序列片段,将n个风速数据序列片段作为风速样本,将风速样本放入风速样本数据库中。
3.根据权利要求1或2所述的一种基于长短期记忆时间神经网络的风速预测方法,其特征是,步骤D中构建长短期记忆神经网络模型,包括:
D1)参数初始化,其中参数包括:神经元个数、网络层数、一次性输入给神经网络模型的样本数batch_size、训练次数epoch、步长time_steps以及遗忘门、输入门和输出门的各项权重和偏置项;
D2)把每个风速数据序列片段的前t-1个风速数据作为第t时刻长短期记忆神经网络模型的输入,将长短期记忆神经网络模型的输入记为Yt-1
D3)设置遗忘门:
ft=σ(Wf*Yt-1+bf)其中σ为sigmoid函数,记为
Figure FDA0002243320350000011
Wf为遗忘门权重,bf为遗忘门偏置项;
D4)设置输入门:it=σ(Wi*Yt-1+bi),
Figure FDA0002243320350000012
其中tanh为tanh函数,
Figure FDA0002243320350000021
Figure FDA0002243320350000022
为中间记忆元件,Wi为输入门权重,bi为输入门偏置项,Wc为中间记忆元件权重,bm为中间记忆元件偏置项;
D5)设置记忆元件:
Figure FDA0002243320350000023
其中H(t-1)为上一次记忆元件的输出值,it为中间记忆元件权重;
D6)设置输出门,获得长短期记忆神经网络模型的输出值y(t):
ot=σ(Wo*Yt-1+bo)
y(t)=ot*tanh(H(t)),其中Wo为输出门权重,bo为输出门偏置项,通过sigmoid函数确定需要输出的信息ot,再将输出的信息ot通过tanh函数进行处理;
D7)判断是否达到训练次数,如果未达到,重复C2),如果达到,利用验证样本数据库对长短期记忆神经网络模型进行验证,进行误差分析。
4.根据权利要求1或3所述的一种基于长短期记忆时间神经网络的风速预测方法,其特征是,利用Adam算法调整长短期记忆神经网络模型的参数,包括:
D11)获取长短期记忆神经网络模型的参数为w1,w2,...,wh,计算t时刻关于参数w1的梯度:
Figure FDA0002243320350000024
s表示训练数据集的大小,y*(t)为预测输出的真实值,ft(w1(t-1),y(t),y*(t)为长短期记忆神经网络模型的损失函数,w1(t-1)表示t-1时刻的参数w1
D22)更新梯度的一阶矩估计:mt=β1·mt-1-(1-β1)·gt
D33)更新梯度的二阶矩估计:
Figure FDA0002243320350000025
D44)修正一阶矩估计:
Figure FDA0002243320350000026
D55)修正二阶矩估计:
Figure FDA0002243320350000027
D66)更新待优化参数:
Figure FDA0002243320350000028
其中,β1为一阶矩估计修正量,β2为二阶矩估计修正量,α为修正系数,ε为修正常数,依次重复步骤D11)至D66),获得t时刻h个长短期记忆神经网络模型参数的最优解。
5.根据权利要求4所述的一种基于长短期记忆时间神经网络的风速预测方法,其特征是,步骤D1)中损失函数为MSE均方误差损失函数。
6.根据权利要求3所述的一种基于长短期记忆时间神经网络的风速预测方法,其特征是,步骤D中所述的长短期记忆神经网络模型包括输入层、隐藏层、舍弃层、输出层和激活函数,输入层与隐藏层相连,隐藏层的个数为2,第1个隐藏层有64个神经元,第2个隐藏层32个神经元,第2个隐藏层与输出层之间有一层舍弃层,舍弃层的舍弃率为50%,输出层为1个神经元,所述激活函数为linear激活函数。
7.根据权利要求3所述的一种基于长短期记忆时间循环神经网络的风速预测方法,其特征是,步骤D7)中的误差分析采用平均绝对百分误差MAPE,
Figure FDA0002243320350000031
其中N表示样本个数,y表示真实值,y'表示预测值。
8.一种基于长短期记忆时间神经网络的风速预测系统,适用于如权利要求1至7所述的任一项一种基于长短期记忆时间神经网络的风速预测方法,其特征是,
包括数据单元和模型单元,所述数据单元包括数据采集子单元和数据处理子单元;
所述数据采集子单元,用于对历史风速数据和实测的风速数据进行采集;
所述数据处理子单元,用于剔除掉错误和误差较大的风速数据,并利用其相邻的前后均值进行补全,并将经过处理后的风速数据进行重组合并,构建风速样本数据库;
所述模型单元包括模型构建子单元、模型学习子单元和模型预测子单元;
所述模型构建子单元,用于搭建长短期记忆时间神经网络模型,所述长短期记忆时间神经网络模型包括输入层、隐藏层、舍弃层、输出层以及相应的激活函数;
所述模型学习子单元,用于对神经网络模型进行训练、调参和验证;
所述模型预测子单元,用于利用已学习好的神经网络模型对检测样本数据进行风速预测。
CN201911007963.3A 2019-10-22 2019-10-22 一种基于长短期记忆时间神经网络的风速预测方法及系统 Pending CN111222677A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911007963.3A CN111222677A (zh) 2019-10-22 2019-10-22 一种基于长短期记忆时间神经网络的风速预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911007963.3A CN111222677A (zh) 2019-10-22 2019-10-22 一种基于长短期记忆时间神经网络的风速预测方法及系统

Publications (1)

Publication Number Publication Date
CN111222677A true CN111222677A (zh) 2020-06-02

Family

ID=70827528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911007963.3A Pending CN111222677A (zh) 2019-10-22 2019-10-22 一种基于长短期记忆时间神经网络的风速预测方法及系统

Country Status (1)

Country Link
CN (1) CN111222677A (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111781244A (zh) * 2020-07-15 2020-10-16 中国科学院自动化研究所 基于长短期记忆网络的红外热成像式涂层检测方法
CN111811016A (zh) * 2020-07-20 2020-10-23 瑞纳智能设备股份有限公司 一种供暖机组单元间水力平衡调节方法及系统
CN111815561A (zh) * 2020-06-09 2020-10-23 中海石油(中国)有限公司 一种基于深度时空特征的管道缺陷及管道组件的检测方法
CN112036658A (zh) * 2020-09-09 2020-12-04 华东交通大学 一种基于随差遗忘长短期记忆的风电功率实时预测方法
CN112085541A (zh) * 2020-09-27 2020-12-15 中国建设银行股份有限公司 基于浏览消费时序数据的用户需求分析方法及装置
CN112149335A (zh) * 2020-10-28 2020-12-29 浙江大学 基于机器学习的多层电弧增材制造过程热历史预测方法
CN112232597A (zh) * 2020-11-10 2021-01-15 国网浙江省电力有限公司杭州供电公司 一种基于多变量长短期记忆网络远程检测的安全预测方法
CN112241811A (zh) * 2020-10-20 2021-01-19 浙江大学 “互联网+”环境下定制产品的分层混合性能预测方法
CN112307672A (zh) * 2020-10-29 2021-02-02 上海电机学院 基于布谷鸟算法优化的bp神经网络短期风功率预测方法
CN112525438A (zh) * 2020-10-15 2021-03-19 国网浙江省电力有限公司杭州供电公司 一种sf6密度继电器的漏气监测方法及系统
CN112528558A (zh) * 2020-12-04 2021-03-19 湘潭大学 基于长短期记忆神经网络的井下气体浓度预测方法及装置
CN112598171A (zh) * 2020-12-21 2021-04-02 国网雄安金融科技集团有限公司 一种电力大数据下的企业电费预测方法及系统
CN112801407A (zh) * 2021-02-24 2021-05-14 中国人民解放军国防科技大学 一种基于长短期记忆网络的蒸发波导高度预测方法
CN112818033A (zh) * 2021-01-28 2021-05-18 河北工业大学 基于神经网络的袋式除尘器破袋智能检测方法
CN112927013A (zh) * 2021-02-24 2021-06-08 国网电子商务有限公司 一种资产价值预测模型构建方法、资产价值预测方法
CN112926774A (zh) * 2021-02-23 2021-06-08 中国石油大学(华东) 基于长短时记忆神经网络的地热产能预测方法及系统
CN113027684A (zh) * 2021-03-24 2021-06-25 明阳智慧能源集团股份公司 一种改善风力发电机组净空状态的智能控制系统
CN113099474A (zh) * 2021-04-08 2021-07-09 湖南国科轩宇信息科技有限公司 卫星互联网用户终端短期业务量需求预测方法及装置
CN113191091A (zh) * 2021-06-03 2021-07-30 上海交通大学 基于混合深度学习机制的风速预测方法及系统、设备
CN113435124A (zh) * 2021-06-29 2021-09-24 北京工业大学 一种基于长短时记忆和径向基函数神经网络的水质时空关联预测方法
CN113642307A (zh) * 2021-08-12 2021-11-12 卡斯柯信号有限公司 基于Python的轨道交通车载安全参数自动化验证方法和系统
CN113761813A (zh) * 2021-09-09 2021-12-07 重庆大学 基于流体力学与气象数据的输电线路动态容量预测方法
CN114237049A (zh) * 2021-12-14 2022-03-25 西安建筑科技大学 一种基于lstm的智能建筑系统预测控制参数整定方法
CN114267422A (zh) * 2021-12-24 2022-04-01 中国电建集团中南勘测设计研究院有限公司 地表水质参数预测方法、系统、计算机设备及存储介质
CN114444799A (zh) * 2022-01-27 2022-05-06 东南大学 一种基于多层神经网络的沥青路面弯沉盆预测方法
CN114740361A (zh) * 2022-04-12 2022-07-12 湖南大学 基于长短期记忆神经网络模型的燃料电池电压预测方法
CN114818486A (zh) * 2022-04-19 2022-07-29 中国海洋大学 一种基于长短期记忆模型的海底边界层波动预测方法
CN114894619A (zh) * 2022-05-10 2022-08-12 中南大学 基于长短期记忆网络的钢管混凝土柱轴压荷载-应变曲线预测方法
CN115577297A (zh) * 2022-10-21 2023-01-06 武汉理工大学 一种可视化海域风场模拟与预测系统及其方法
CN116700206A (zh) * 2023-05-24 2023-09-05 浙江大学 基于多模态神经网络的工业控制系统异常检测方法及装置
CN116861793A (zh) * 2023-07-14 2023-10-10 哈尔滨理工大学 一种鹈鹕算法优化长短期记忆网络主轴热误差建模方法
CN116976227A (zh) * 2023-09-22 2023-10-31 河海大学 一种基于lstm机器学习的风暴增水预报方法及系统
CN117076893A (zh) * 2023-10-16 2023-11-17 中国海洋大学 一种基于长短期记忆神经网络的声速分布预报方法
CN117192063A (zh) * 2023-11-06 2023-12-08 山东大学 基于耦合卡尔曼滤波数据同化的水质预测方法及系统
CN117493982A (zh) * 2024-01-03 2024-02-02 江苏上达半导体有限公司 一种基于机器学习的半导体电阻值预测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239859A (zh) * 2017-06-05 2017-10-10 国网山东省电力公司电力科学研究院 基于串联长短期记忆循环神经网络的供热负荷预测方法
CN108615097A (zh) * 2018-05-10 2018-10-02 广东工业大学 一种风速预测方法、系统、设备及计算机可读存储介质
CN110007371A (zh) * 2019-04-11 2019-07-12 成都四方伟业软件股份有限公司 风速预测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239859A (zh) * 2017-06-05 2017-10-10 国网山东省电力公司电力科学研究院 基于串联长短期记忆循环神经网络的供热负荷预测方法
CN108615097A (zh) * 2018-05-10 2018-10-02 广东工业大学 一种风速预测方法、系统、设备及计算机可读存储介质
CN110007371A (zh) * 2019-04-11 2019-07-12 成都四方伟业软件股份有限公司 风速预测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李冰: "基于LSTM 的短期风速预测研究" *
魏昱洲: "基于LSTM 长短期记忆网络的超短期风速预测" *

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815561A (zh) * 2020-06-09 2020-10-23 中海石油(中国)有限公司 一种基于深度时空特征的管道缺陷及管道组件的检测方法
CN111815561B (zh) * 2020-06-09 2024-04-16 中海石油(中国)有限公司 一种基于深度时空特征的管道缺陷及管道组件的检测方法
CN111781244A (zh) * 2020-07-15 2020-10-16 中国科学院自动化研究所 基于长短期记忆网络的红外热成像式涂层检测方法
CN111781244B (zh) * 2020-07-15 2021-10-26 中国科学院自动化研究所 基于长短期记忆网络的红外热成像式涂层检测方法
CN111811016A (zh) * 2020-07-20 2020-10-23 瑞纳智能设备股份有限公司 一种供暖机组单元间水力平衡调节方法及系统
CN111811016B (zh) * 2020-07-20 2021-10-29 瑞纳智能设备股份有限公司 一种供暖机组单元间水力平衡调节方法及系统
CN112036658A (zh) * 2020-09-09 2020-12-04 华东交通大学 一种基于随差遗忘长短期记忆的风电功率实时预测方法
CN112036658B (zh) * 2020-09-09 2022-06-14 华东交通大学 一种基于随差遗忘长短期记忆的风电功率实时预测方法
CN112085541A (zh) * 2020-09-27 2020-12-15 中国建设银行股份有限公司 基于浏览消费时序数据的用户需求分析方法及装置
CN112525438A (zh) * 2020-10-15 2021-03-19 国网浙江省电力有限公司杭州供电公司 一种sf6密度继电器的漏气监测方法及系统
CN112241811A (zh) * 2020-10-20 2021-01-19 浙江大学 “互联网+”环境下定制产品的分层混合性能预测方法
CN112241811B (zh) * 2020-10-20 2024-04-16 浙江大学 “互联网+”环境下定制产品的分层混合性能预测方法
CN112149335A (zh) * 2020-10-28 2020-12-29 浙江大学 基于机器学习的多层电弧增材制造过程热历史预测方法
CN112149335B (zh) * 2020-10-28 2022-07-19 浙江大学 基于机器学习的多层电弧增材制造过程热历史预测方法
CN112307672A (zh) * 2020-10-29 2021-02-02 上海电机学院 基于布谷鸟算法优化的bp神经网络短期风功率预测方法
CN112232597A (zh) * 2020-11-10 2021-01-15 国网浙江省电力有限公司杭州供电公司 一种基于多变量长短期记忆网络远程检测的安全预测方法
CN112528558A (zh) * 2020-12-04 2021-03-19 湘潭大学 基于长短期记忆神经网络的井下气体浓度预测方法及装置
CN112598171A (zh) * 2020-12-21 2021-04-02 国网雄安金融科技集团有限公司 一种电力大数据下的企业电费预测方法及系统
CN112818033A (zh) * 2021-01-28 2021-05-18 河北工业大学 基于神经网络的袋式除尘器破袋智能检测方法
CN112926774A (zh) * 2021-02-23 2021-06-08 中国石油大学(华东) 基于长短时记忆神经网络的地热产能预测方法及系统
CN112927013B (zh) * 2021-02-24 2023-11-10 国网数字科技控股有限公司 一种资产价值预测模型构建方法、资产价值预测方法
CN112927013A (zh) * 2021-02-24 2021-06-08 国网电子商务有限公司 一种资产价值预测模型构建方法、资产价值预测方法
CN112801407A (zh) * 2021-02-24 2021-05-14 中国人民解放军国防科技大学 一种基于长短期记忆网络的蒸发波导高度预测方法
CN113027684A (zh) * 2021-03-24 2021-06-25 明阳智慧能源集团股份公司 一种改善风力发电机组净空状态的智能控制系统
CN113027684B (zh) * 2021-03-24 2022-05-03 明阳智慧能源集团股份公司 一种改善风力发电机组净空状态的智能控制系统
CN113099474A (zh) * 2021-04-08 2021-07-09 湖南国科轩宇信息科技有限公司 卫星互联网用户终端短期业务量需求预测方法及装置
CN113191091A (zh) * 2021-06-03 2021-07-30 上海交通大学 基于混合深度学习机制的风速预测方法及系统、设备
CN113435124A (zh) * 2021-06-29 2021-09-24 北京工业大学 一种基于长短时记忆和径向基函数神经网络的水质时空关联预测方法
CN113642307A (zh) * 2021-08-12 2021-11-12 卡斯柯信号有限公司 基于Python的轨道交通车载安全参数自动化验证方法和系统
CN113761813A (zh) * 2021-09-09 2021-12-07 重庆大学 基于流体力学与气象数据的输电线路动态容量预测方法
CN113761813B (zh) * 2021-09-09 2022-05-10 重庆大学 基于流体力学与气象数据的输电线路动态容量预测方法
CN114237049A (zh) * 2021-12-14 2022-03-25 西安建筑科技大学 一种基于lstm的智能建筑系统预测控制参数整定方法
CN114267422A (zh) * 2021-12-24 2022-04-01 中国电建集团中南勘测设计研究院有限公司 地表水质参数预测方法、系统、计算机设备及存储介质
CN114267422B (zh) * 2021-12-24 2023-01-31 中国电建集团中南勘测设计研究院有限公司 地表水质参数预测方法、系统、计算机设备及存储介质
CN114444799A (zh) * 2022-01-27 2022-05-06 东南大学 一种基于多层神经网络的沥青路面弯沉盆预测方法
CN114740361B (zh) * 2022-04-12 2024-06-07 湖南大学 基于长短期记忆神经网络模型的燃料电池电压预测方法
CN114740361A (zh) * 2022-04-12 2022-07-12 湖南大学 基于长短期记忆神经网络模型的燃料电池电压预测方法
CN114818486A (zh) * 2022-04-19 2022-07-29 中国海洋大学 一种基于长短期记忆模型的海底边界层波动预测方法
CN114894619A (zh) * 2022-05-10 2022-08-12 中南大学 基于长短期记忆网络的钢管混凝土柱轴压荷载-应变曲线预测方法
CN114894619B (zh) * 2022-05-10 2024-04-05 中南大学 基于长短期记忆网络的钢管混凝土柱轴压荷载-应变曲线预测方法
CN115577297A (zh) * 2022-10-21 2023-01-06 武汉理工大学 一种可视化海域风场模拟与预测系统及其方法
CN116700206A (zh) * 2023-05-24 2023-09-05 浙江大学 基于多模态神经网络的工业控制系统异常检测方法及装置
CN116700206B (zh) * 2023-05-24 2023-12-05 浙江大学 基于多模态神经网络的工业控制系统异常检测方法及装置
CN116861793B (zh) * 2023-07-14 2024-01-26 哈尔滨理工大学 一种鹈鹕算法优化长短期记忆网络主轴热误差建模方法
CN116861793A (zh) * 2023-07-14 2023-10-10 哈尔滨理工大学 一种鹈鹕算法优化长短期记忆网络主轴热误差建模方法
CN116976227B (zh) * 2023-09-22 2023-12-08 河海大学 一种基于lstm机器学习的风暴增水预报方法及系统
CN116976227A (zh) * 2023-09-22 2023-10-31 河海大学 一种基于lstm机器学习的风暴增水预报方法及系统
CN117076893B (zh) * 2023-10-16 2024-01-09 中国海洋大学 一种基于长短期记忆神经网络的声速分布预报方法
CN117076893A (zh) * 2023-10-16 2023-11-17 中国海洋大学 一种基于长短期记忆神经网络的声速分布预报方法
CN117192063B (zh) * 2023-11-06 2024-03-15 山东大学 基于耦合卡尔曼滤波数据同化的水质预测方法及系统
CN117192063A (zh) * 2023-11-06 2023-12-08 山东大学 基于耦合卡尔曼滤波数据同化的水质预测方法及系统
CN117493982A (zh) * 2024-01-03 2024-02-02 江苏上达半导体有限公司 一种基于机器学习的半导体电阻值预测方法及系统
CN117493982B (zh) * 2024-01-03 2024-03-22 江苏上达半导体有限公司 一种基于机器学习的半导体电阻值预测方法及系统

Similar Documents

Publication Publication Date Title
CN111222677A (zh) 一种基于长短期记忆时间神经网络的风速预测方法及系统
CN109117951B (zh) 基于bp神经网络的概率潮流在线计算方法
CN110705743B (zh) 一种基于长短期记忆神经网络的新能源消纳电量预测方法
CN106022521B (zh) 基于Hadoop架构的分布式BP神经网络的短期负荷预测方法
CN108764540B (zh) 基于并行lstm串联dnn的供水管网压力预测方法
CN110751318B (zh) 一种基于ipso-lstm的超短期电力负荷预测方法
CN110414045A (zh) 基于vmd-gru的短期风速预测方法
CN113361777B (zh) 基于vmd分解和ihho优化lstm的径流预测方法及系统
CN108764568B (zh) 一种基于lstm网络的数据预测模型调优方法及装置
Mestav et al. State estimation for unobservable distribution systems via deep neural networks
CN110059867B (zh) 一种swlstm结合gpr的风速预测方法
CN111260124A (zh) 一种基于注意力机制深度学习的混沌时间序列预测方法
CN111667098A (zh) 一种基于多模型组合优化的风力电站输出功率预测方法
CN109598381B (zh) 一种基于状态频率记忆神经网络的短时交通流预测方法
CN112257847A (zh) 一种基于CNN和LSTM预测地磁Kp指数的方法
CN112541615A (zh) 基于卷积神经网络的水位预测方法
CN112766603A (zh) 一种交通流量预测方法、系统、计算机设备及存储介质
CN112163671A (zh) 一种新能源场景生成方法及系统
CN116702831A (zh) 一种考虑数据大量丢失的混合短期风电功率预测方法
CN115329930A (zh) 一种基于混合深度学习模型的洪水过程概率预报方法
CN116706903B (zh) 光伏发电量预测方法、装置、设备及介质
CN113537539B (zh) 一种基于注意力机制的多时间步供热用气量预测模型
CN112348656A (zh) 一种基于ba-wnn的个人贷款信用评分方法
CN116663709A (zh) 一种基于强化解码器的电力负荷多步预测方法和装置
CN111476402A (zh) 耦合气象信息与emd技术的风电发电能力预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination