CN110059867A - 一种swlstm结合gpr的风速预测方法 - Google Patents

一种swlstm结合gpr的风速预测方法 Download PDF

Info

Publication number
CN110059867A
CN110059867A CN201910238384.3A CN201910238384A CN110059867A CN 110059867 A CN110059867 A CN 110059867A CN 201910238384 A CN201910238384 A CN 201910238384A CN 110059867 A CN110059867 A CN 110059867A
Authority
CN
China
Prior art keywords
wind speed
swlstm
group
forecasting
gpr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910238384.3A
Other languages
English (en)
Other versions
CN110059867B (zh
Inventor
覃晖
张振东
王超
曾小凡
刘永琦
银星黎
李�杰
卢健涛
成良歌
裴少乾
朱龙军
刘冠君
汤凌云
田锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
China Institute of Water Resources and Hydropower Research
Original Assignee
Huazhong University of Science and Technology
China Institute of Water Resources and Hydropower Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology, China Institute of Water Resources and Hydropower Research filed Critical Huazhong University of Science and Technology
Priority to CN201910238384.3A priority Critical patent/CN110059867B/zh
Publication of CN110059867A publication Critical patent/CN110059867A/zh
Application granted granted Critical
Publication of CN110059867B publication Critical patent/CN110059867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Human Resources & Organizations (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种共享权重长短期记忆网络(SWLSTM)结合高斯过程回归(GPR)的风速预测方法，该方法主要包括：采用共享权重来简化标准长短期记忆网络(LSTM)的结构；利用结合了mini‑batch机制的Adam优化算法来训练SWLSTM，得到具有高准确率的风速点预测结果；将SWLSTM得到的点预测结果作为GPR的输入，二次预测得到风速概率预测结果；选定置信度，通过高斯分布得到相应置信度下的风速区间预测结果。本发明的预测方法通过共享权重缩减了LSTM的训练时间，结合GPR使得SWLSTM有能力进行概率预测和区间预测。SWLSTM‑GPR可得到高精度的风速点预测结果，合适的风速区间预测结果和可靠的风速概率预测分布，对风电的规划和应用具有重要意义。

Description

一种SWLSTM结合GPR的风速预测方法
技术领域
本发明涉及风速预测技术领域，更具体地，涉及一种共享权重长短期记忆网络(Shared Weight Long-Short Term Memory，SWLSTM)结合高斯过程回归(GaussianProcess Regression，GPR)的风速预测方法。
背景技术
风能是一种清洁、经济的可再生能源。风速是风力发电量最具影响力的因素。高精度并且可靠的风速预测在风电的规划、调度运行和决策管理等各个方面发挥重要作用，对风能资源的合理利用具有重大意义。然而，风的形成过程受气压、地理位置和地球自转等因素的影响，导致风速呈现出高度的非线性，波动性和不确定性特征。这些特征使得风速预测变得困难，传统机器学习方法预测风速精度有限。深度学习方法长短期记忆网络(Long-Short Term Memory，LSTM)在解决像风速这样的时间序列预测问题时具有很高的点预测精度，但其需要优化的变量太多，同时又无法进行区间预测和概率预测。因此，如何大幅度减少LSTM需要优化的变量并使得LSTM有能力进行区间预测和概率预测是是亟需解决的理论和实际工程问题。
发明内容
针对现有技术的缺陷，本发明的目的在于解决现有基于LSTM的风速预测方法无法减少需要优化的变量，且不能进行风速区间预测和概率预测的技术问题。
为实现上述目的，一方面，本发明提供一种共享权重长短期记忆网络SWLSTM结合高斯过程回归GPR的风速预测方法，包括以下步骤：
确定待预测风速对应的预测因子；
将待预测风速对应的预测因子输入到训练好的共享权重长短期记忆网络SWLSTM，得到待预测风速的点预测结果；SWLSTM用于根据前一段时间的预测因子预测未来时刻的风速，由长短期记忆网络LSTM中的输入门、输出门和遗忘门基于共享门设置，共享一套权重得到；
将待预测风速的点预测结果输入到训练好的高斯过程回归GPR模型，得到待预测风速的点预测结果对应的概率分布函数，并基于所述概率分布函数确定待预测风速各个风速点对应的风速预测区间。
可选地，所述SWLSTM通过如下步骤训练得到：
基于历史数据，构建一次训练集和验证集，所述历史数据包括过去时段的预测因子和实际风速，前一段时间的预测因子可用来预测未来时刻的风速，所述一次训练集包括第一组预测因子和其对应的第一组实际风速，所述验证集包括第二组预测因子和其对应的第二组实际风速；
基于一次训练集训练共享权重长短期记忆网络SWLSTM，所述第一组预测因子作为SWLSTM的输入，SWLSTM基于第一组预测因子进行风速预测，并基于第一组实际风速调整优化SWLSTM，得到训练好的SWLSTM。
可选地，所述GPR通过如下步骤训练得到：
将第一组预测因子和第二组预测因子分别输入到训练好的SWLSTM，得到第一组风速点预测结果和第二组风速点预测结果，将第一组实际风速和第一组风速点预测结果组合成二次训练集；
将二次训练集和第二组风速点预测结果输入到高斯过程回归GPR中训练得到第二组风速点预测结果对应的概率分布函数，所述概率分布函数服高斯分布；
基于所述概率分布函数的均值、方差以及预设的置信度，确定各个风速点在预设置信度下的风速预测区间；
当根据第二组风速预测结果的概率分布函数和第二组实际风速确定预测结果可靠时，输出验证集对应的风速预测结果，所述风速预测结果包括：第二组风速点预测结果、各个风速点在预设置信度下的风速预测区间以及第二组风速点预测结果对应的概率分布函数；
当训练好的SWLSTM和GPR能够输出验证集对应的风速预测结果时，则所述训练好的SWLSTM和GRR可用于进行实际风速预测。
可选地，采用结合mini-batch机制的Adam优化算法在一次训练集上训练SWLSTM。
可选地，在SWLSTM中输入门、输出门和遗忘门基于共享门st设置，分别为1-st,st,st，它们共享一套权重[wh,wx,b]；wh表示与前一时刻隐藏层输出对应的权重，wx表示与当前时刻输入对应的权重，b表示权重的偏置项，所述SWLSTM的实现涉及信息的前向传播；
第t个时段信息前向传播包括：计算共享门和信息状态、更新细胞状态、计算隐藏层的输出、计算点预测值四个步骤。
具体地，第t个时段信息前向传播的步骤和计算公式为：
计算共享门和信息状态：
nett＝wh·ht-1+wx·xt+b
st＝σ(nett)＝σ(wh·ht-1+wx·xt+b)
at＝tanh(nett)＝tanh(wh·ht-1+wx·xt+b)
更新细胞状态：
Ct＝st*Ct-1+(1-st)*at
计算隐藏层的输出：
ht＝st*tanh(Ct)
计算点预测值：
yt＝σ(zt)＝σ(wy·ht+by)
其中，[wh,wx,b]和[wy,by]为两组需要优化的权重变量，wy表示输出层权重，by表示输出层权重偏置，xt为当前时段的特征输入，st为当前时段的共享门，at为当前时段的信息状态，yt为当前时段的点预测值；Ct为当前时段的细胞状态，Ct-1为前一时段的细胞状态；ht为当前时段隐藏层的输出，ht-1为前一时段隐藏层的输出；nett和zt均为中间变量；tanh和σ分别是tanh和sigmoid激活函数，符号·和*分别代表矩阵乘法和矩阵元素间乘法。
可选地，所述SWLSTM的实现还涉及误差的反向传播；
第t个时段误差反向传播包括：确定需要优化的目标、计算输出层的误差、计算隐藏层的误差、采用Adam优化算法，更新共享权重[wh,wx,b]、输出层权重以及输出层权重偏置。
具体地，第t个时段误差反向传播的步骤和计算公式为：
定义平方误差函数作为需要优化的目标：
计算输出层的误差：
计算隐藏层的误差：
采用Adam优化算法，用[δwh,δwx,δb]和[δwy,δby]来更新[wh,wx,b]和[wy,by]；其中，Et为误差函数，yt和Yt分别为风速预测值和风速实际值，T表示t时刻所在训练批次的最后一个时段。
可选地，将二次训练集和第二组风速点预测结果输入到GPR中训练得到第二组风速点预测结果对应的概率分布函数，具体包括：
将二次训练集和第二组风速点预测结果为输入到GPR中训练并得到第二组风速点预测结果对应概率分布函数，其中第i个样本风速预测概率分布函数 表示风速概率分布函数变量，为风速概率分布函数的均值，为风速概率分布函数的方差。
具体通过如下公式求得：将第一组风速点预测结果设为X，第一组实际风速设为Y，第二组风速点预测结果设为x*，风速概率分布函数变量设为y，则第一组实际风速Y的先验分布为：
第一组实际风速Y及风速概率分布函数变量y的联合先验分布为：
则风速概率分布函数变量y的后验分布为：
其中，K为核函数，和为概率分布函数的均值和方差；In为n阶单位矩阵；为噪声方差；N表示高斯分布，K为的简化，为K(X,x*)的简化，K*为K(x*,X)的简化，K**为K(x*,x*)的简化。
可选地，预设置信度为α，置信度α对应的比例系数为r，根据概率分布函数和比例系数计算风速预测上下限，第i个样本在置信度α下的风速预测区间上限和下限分别为和
可选地，根据风速概率分布函数和第二组实际风速计算概率积分变换值PIT，如果PIT值服从均匀分布，则预测结果是可靠的。
另一方面，本发明提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一方面所述的风速预测方法。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
本发明提供了一种共享权重长短期记忆网络SWLSTM结合高斯过程回归GPR的风速预测方法，通过共享输入门、输出门和遗忘门权重减少了需要优化的变量，同时保留了LSTM三个门的功能。这意味着SWLSTM缩减了LSTM的训练时间同时还具有LSTM点预测精度高的特性。将GPR结合到SWLSTM得到了可靠的区间预测结果和概率预测结果，这是LSTM无法得到的预测不确定性信息。由此可见，SWLSTM-GPR能够充分模拟具有非线性，波动性和不确定性特征的风速过程。
本发明可以减少长短期记忆网络训练的变量数目，并能够获取高精度风速点预测结果、合适的风速预测区间和可靠的风速概率分布函数。
附图说明
图1为本发明提供的共享权重长短期记忆网络结合高斯过程回归风速预测方法整体流程图；
图2为本发明提供的SWLSTM-GPR实施过程图；
图3为本发明提供的共享权重长短期记忆网络结构图；
图4(a)为采用本发明提供的风速预测方法对内蒙古进行风速点预测的结果图；
图4(b)为采用本发明提供的风速预测方法对内蒙古进行风速区间预测的结果图；
图4(c)为采用本发明提供的风速预测方法对内蒙古进行风速可靠性检验的结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
长短期记忆网络LSTM是一种特殊的循环神经网络(Recurrent Neural Networks，RNN)，它在RNN的隐藏层中加入了输入门，输出门和遗忘门，以解决RNN在解决时间序列预测问题时暴露出的长期依赖问题。输入门、输出门和遗忘门的权重都是独立的，因此在隐藏层中需要分别进行训练，这消耗了LSTM的大部分训练时间。因此，如何大幅度减少LSTM需要优化的变量同时不减少LSTM的点预测精度是目前需要解决的问题。本发明的思路是将输入门、输出门和遗忘门的权重共享，这样既减少了需要优化的变量又保留了三个门的功能。
高斯过程回归假设每个样本都服从高斯分布，通过这些样本间的联合概率分布函数求出需要预测样本的概率分布函数。高斯过程回归能获得可靠的区间预测和概率预测结果，因此如何将高斯过程回归和共享权重长短期记忆网络结合使得LSTM有能力进行区间预测和概率预测也是目前需要解决的问题。
本发明的思路是首先完整训练出SWLSTM，得到一次预测结果，并用一次预测结果输入到GPR得到二次预测结果，这样既保留了SWLSTM的预测精度又获取到了区间预测和概率预测结果。
本发明要解决的技术问题是提供一种基于共享权重长短期记忆网络结合高斯过程回归的风速预测方法，可以减少长短期记忆网络训练的变量数目，并能够获取高精度风速点预测结果、合适的风速预测区间和可靠的风速概率分布函数。
图1所示为本发明基于共享权重长短期记忆网络结合高斯过程回归(SWLSTM-GPR)风速预测方法总体流程图，图2所示为SWLSTM-GPR实施过程图。具体包括以下步骤：
(1)构建由预测因子xTa和风速YTa组成的一次训练集D1 Ta＝[xTa,YTa]和只由预测因子xTe组成的验证集D1 Te＝[xTe,YTe]，对数据进行归一化处理。
(2)设置SWLSTM-GPR的参数，包括输入层节点数ni，隐藏层节点数nh，输出层节点数no，固定学习率η，批大小T，训练轮数Ep和置信度α；根据参数初始化共享权重[wh,wx,b]。
具体地，在训练的过程中，将训练集分为多个批，批大小指的是批的长度，批的长度与对每个批进行训练的时间长度是一致的，可以理解为：T表示批大小，同时，T还表示t时刻所在训练批次的最后一个时段。
(3)采用结合mini-batch机制的Adam优化算法在一次训练集DTa上训练SWLSTM。SWLSTM的实现涉及到信息的前向传播和误差的反向传播，图3所示为SWLSTM的网络结构图。
第t个时段信息前向传播的步骤和计算公式为：
a.计算共享门和信息状态
nett＝wh·ht-1+wx·xt+b
st＝σ(nett)＝σ(wh·ht-1+wx·xt+b)
at＝tanh(nett)＝tanh(wh·ht-1+wx·xt+b)
b.更新细胞状态
Ct＝st*Ct-1+(1-st)*at
c.计算隐藏层的输出
ht＝st*tanh(Ct)
d.计算点预测值
yt＝σ(zt)＝σ(wy·ht+by)
其中，[wh,wx,b]和[wy,by]为两组需要优化的权重变量，xt,st,at,yt分别为当前时段的特征输入，共享门，信息状态和点预测值；Ct-1和Ct分别为前一时段和当前时段的细胞状态；ht-1和ht分别为前一时段和当前时段隐藏层的输出；nett和zt均为中间变量；tanh和σ分别是tanh和sigmoid激活函数；符号·和*分别代表矩阵乘法和矩阵元素间乘法。
LSTM中的输入门、输出门和遗忘门在SWLSTM中分别为1-st,st,st，基于共享门st设置，它们共享一套权重[wh,wx,b]。由此可见SWLSTM在隐藏层中需要优化的变量缩减为LSTM的三分之一。
第t个时段误差反向传播的步骤和计算公式为：
a.定义最常见的平方误差函数作为需要优化的目标
b.计算输出层的误差
c.计算隐藏层的误差
d.采用Adam优化算法，用[δwh,δwx,δb]和[δwy,δby]来更新[wh,wx,b]和[wy,by]；为了通用性，将5组权重用符号W表示，权重的梯度用δW表示，Adam更新权重的通用公式为：
mti＝β1·mti-1+(1-β1)·δWti
vti＝β2·vti-1+(1-β2)·(δWti)2
其中Et为误差函数，yt和Yt分别为预测值和观测值，其中观测值即为实际风速值。β1,β2和ε为Adam参数，分别默认取0.9，0.999和10-8。ti是权重W的当前更新次数，和时段t进行区分。其余变量和前面提到的变量含义一致，还有前面未提到的变量均为中间变量，无需知道具体含义。
按照上面的公式先前向传播计算预测值，再反向传播更新权重，称为一次更新。一共迭代Ep轮，每轮将训练集D1 Ta取T大小的批进行训练，每批完成一次更新。本发明对训练集进行一个批次一个批次训练，即为mini-batch机制，批次和batch对应。
(4)将一次训练集和验证集的预测因子xTa和xTe分别输入到训练好的SWLSTM中，得到对应的风速点预测结果和将和YTa组合成二次训练集
(5)将二次训练集和输入到GPR中训练并得到最终风速概率预测结果，即验证集中第i个样本风速预测概率分布函数
需要说明的是，对于二次训练集而言，预测因子为本领域技术人员可以理解的是，为简化说明，可以设GPR二次训练集预测因子和观测值YTa分别为X和Y，设为x*，设为y。；
则观测值Y的先验分布为：
则观测值Y及风速概率分布函数变量y的联合先验分布为：
则预测值y的后验分布为：
其中K为核函数，和为概率分布的均值和方差；In为n阶单位矩阵；为噪声方差；N表示高斯分布。其中，*和**仅表示符号，用于区分不同的参数K。
(6)查询置信度α对应的比例系数r，例如α＝95％对应的r＝1.96；根据概率分布函数和比例系数计算区间上下限，验证集中第i个样本在置信度α下的风速预测区间上下限为和
(7)根据风速概率分布函数和验证集风速YTe计算概率积分变换值(PIT)，验证集的PIT值是否服从均匀分布，如果服从均匀分布，则预测结果是可靠的。
(8)输出风速点预测结果区间预测结果[upi,downi]和概率预测结果
本发明以内蒙古某站点风速时间序列为对象，数据采用2016年3月20日至2016年3月27日共一周的风速数据。数据时间步长为15分钟，共673个时段，划分前538个时段为训练集，后135个时段为验证集。以前两个时段的风速为预测因子，按照图1所示的共享权重长短期记忆网络结合高斯过程风速预测方法进行预测。以下结合相关预测数据对本发明提供的风速预测方法进行分析：
表1点预测指标对比表
图4(a)为采用本发明提供的风速预测方法对内蒙古进行风速点预测的结果图；表1是本发明提供不同种类的风速预测方法的点预测指标对比表，在点预测中，SWLSTM-GPR分别和长短期记忆网络LSTM、门限结构网络(gated recurrent unit，GRU)、高斯过程回归(Gaussian Process Regression，GPR)、支持向量回归(support vector regression，SVR)和分位数回归(Quantile Regression，QR)对比；SWLSTM-GPR、LSTM和GRU为深度学习模型，由于随机数的影响每次运行的结果不一样，所以这三个模型运行20次，以平均值作为最终结果。在点预测中，评价指标采用均方根误差(Root Mean Square Error，RMSE)，平均绝对误差(Mean Absolute Error，MAE)和训练时间(TT)，这些指标都是越小越好。
从表1中可以看出，SWLSTM-GPR的RMSE和MAE指标平均值分别是0.674m/s和0.5m/s；LSTM的指标平均值分别是0.686m/s和0.510m/s；GRU的指标平均值分别是0.714m/s和0.547m/s；GPR的指标平均值分别是0.822m/s和0.641m/s；SVR的指标平均值分别是0.946m/s和0.754m/s；QR的指标平均值分别是1.082m/s和0.807m/s。从指标上看，SWLSTM-GPR、LSTM和GRU三个深度学习方法的精度远远高于GPR、SVR和QR三个传统机器学习方法。并且SWLSTM-GPR的指标平均值在6个对比模型中是最小的，说明本发明提出的方法得到的点预测结果精度最高。同时，SWLSTM-GPR的平均训练时间为17.7s，而LSTM和GRU的训练时间分别是29.4s和20.4s，说明本发明提出的方法大大缩短了训练时间。
表2区间预测指标对比表
图4(b)为采用本发明提供的风速预测方法对内蒙古进行风速区间预测的结果图；表2是本发明提供不同种类的风速预测方法的区间预测指标对比表。在区间预测中，SWLSTM-GPR分别和GPR和QR对比。在区间预测中，评价指标采用覆盖率(CP)，区间平均宽度(MWP)和MWP/CP(MC)。理想的预测区间应该具有较大的覆盖率和较小的区间平均宽度，则MC越小，预测的区间越合适。从表2中可以看出，SWLSTM-GPR的平均覆盖率为0.92，是三个对比模型中最大的；QR的平均宽度为0.634，是三个对比模型中最小的，但是它的覆盖率只有0.75，说明QR的预测结果过于保守。从综合指标MC上看，SWLSTM-GPR，GPR和QR的MC值分别为0.818，0.861和0.847。本发明方法的MC值是最小的，所以预测的区间最合适。
表3概率预测指标对比表
表3是本发明提供不同种类的风速预测方法的概率预测指标对比表。在概率预测中，SWLSTM-GPR和GPR对比。在概率预测中，评价指标采用连续分级概率评分(CRPS)，其可以评价概率分布函数的综合性能，值越小越好。从表3中可以看出，SWLSTM-GPR的CRPS值为0.021，而GPR的GRPS值为0.027，说明SWLSTM-GPR得到的概率分布函数的综合性能比GPR的强。
图4(c)为采用本发明提供的风速预测方法对内蒙古进行风速可靠性检验的结果图。采用图4(c)的预测结果可用来检验SWLSTM-GPR获取的预测结果是否可靠，从图中可以看出，SWLSTM-GPR的PIT值均匀地分布在[0,1]之间，所有点都位于柯尔莫戈洛夫Kolmogorov5％置信带内，且都很接近对角线，说明SWLSTM-GPR的PIT值服从均匀分布，进而说明SWLSTM-GPR获取的预测结果是可靠的。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种共享权重长短期记忆网络SWLSTM结合高斯过程回归GPR的风速预测方法，其特征在于，包括以下步骤：
确定待预测风速对应的预测因子；
将待预测风速对应的预测因子输入到训练好的共享权重长短期记忆网络SWLSTM，得到待预测风速的点预测结果；SWLSTM用于根据前一段时间的预测因子预测未来时刻的风速，由长短期记忆网络LSTM中的输入门、输出门和遗忘门基于共享门设置，共享一套权重得到；
将待预测风速的点预测结果输入到训练好的高斯过程回归GPR模型，得到待预测风速的点预测结果对应的概率分布函数，并基于所述概率分布函数确定待预测风速各个风速点对应的风速预测区间。
2.根据权利要求1所述的风速预测方法，其特征在于，所述SWLSTM通过如下步骤训练得到：
基于历史数据，构建一次训练集和验证集，所述历史数据包括过去时段的预测因子和实际风速，前一段时间的预测因子可用来预测未来时刻的风速，所述一次训练集包括第一组预测因子和其对应的第一组实际风速，所述验证集包括第二组预测因子和其对应的第二组实际风速；
基于一次训练集训练共享权重长短期记忆网络SWLSTM，所述第一组预测因子作为SWLSTM的输入，SWLSTM基于第一组预测因子进行风速预测，并基于第一组实际风速调整优化SWLSTM，得到训练好的SWLSTM。
3.根据权利要求2所述的风速预测方法，其特征在于，所述GPR通过如下步骤训练得到：
将第一组预测因子和第二组预测因子分别输入到训练好的SWLSTM，得到第一组风速点预测结果和第二组风速点预测结果，将第一组实际风速和第一组风速点预测结果组合成二次训练集；
将二次训练集和第二组风速点预测结果输入到高斯过程回归GPR中训练得到第二组风速点预测结果对应的概率分布函数，所述概率分布函数服高斯分布；
基于所述概率分布函数的均值、方差以及预设的置信度，确定各个风速点在预设置信度下的风速预测区间；
当根据第二组风速预测结果的概率分布函数和第二组实际风速确定预测结果可靠时，输出验证集对应的风速预测结果，所述风速预测结果包括：第二组风速点预测结果、各个风速点在预设置信度下的风速预测区间以及第二组风速点预测结果对应的概率分布函数；
当训练好的SWLSTM和GPR能够输出验证集对应的风速预测结果时，则所述训练好的SWLSTM和GRR可用于进行实际风速预测。
4.根据权利要求1至3任一项所述的风速预测方法，其特征在于，采用结合mini-batch机制的Adam优化算法在一次训练集上训练SWLSTM。
5.根据权利要求4所述的风速预测方法，其特征在于，在SWLSTM中输入门、输出门和遗忘门基于共享门st设置，分别为1-st,st,st，它们共享一套权重[wh,wx,b]；wh表示与前一时刻隐藏层输出对应的权重，wx表示与当前时刻输入对应的权重，b表示权重的偏置项，所述SWLSTM的实现涉及信息的前向传播；
第t个时段信息前向传播包括：计算共享门和信息状态、更新细胞状态、计算隐藏层的输出、计算点预测值四个步骤。
6.根据权利要求5所述的风速预测方法，其特征在于，所述SWLSTM的实现还涉及误差的反向传播；
第t个时段误差反向传播包括：确定需要优化的目标、计算输出层的误差、计算隐藏层的误差、采用Adam优化算法，更新共享权重[wh,wx,b]、输出层权重以及输出层权重偏置。
7.根据权利要求3所述的风速预测方法，其特征在于，将二次训练集和第二组风速点预测结果输入到GPR中训练得到第二组风速点预测结果对应的概率分布函数，具体包括：
将二次训练集和第二组风速点预测结果为输入到GPR中训练并得到第二组风速点预测结果对应概率分布函数，其中第i个样本风速预测概率分布函数 表示风速概率分布函数变量，为风速概率分布函数的均值，为风速概率分布函数的方差。
8.根据权利要求7所述的风速预测方法，其特征在于，预设置信度为α，置信度α对应的比例系数为r，根据概率分布函数和比例系数计算风速预测上下限，第i个样本在置信度α下的风速预测区间上限和下限分别为和
9.根据权利要求7所述的风速预测方法，其特征在于，根据风速概率分布函数和第二组实际风速计算概率积分变换值PIT，如果PIT值服从均匀分布，则预测结果是可靠的。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的风速预测方法。
CN201910238384.3A 2019-03-27 2019-03-27 一种swlstm结合gpr的风速预测方法 Active CN110059867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910238384.3A CN110059867B (zh) 2019-03-27 2019-03-27 一种swlstm结合gpr的风速预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910238384.3A CN110059867B (zh) 2019-03-27 2019-03-27 一种swlstm结合gpr的风速预测方法

Publications (2)

Publication Number Publication Date
CN110059867A true CN110059867A (zh) 2019-07-26
CN110059867B CN110059867B (zh) 2021-01-19

Family

ID=67317427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910238384.3A Active CN110059867B (zh) 2019-03-27 2019-03-27 一种swlstm结合gpr的风速预测方法

Country Status (1)

Country Link
CN (1) CN110059867B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110457906A (zh) * 2019-08-15 2019-11-15 国家电网公司华东分部 一种网络安全事件智能告警方法
CN111275253A (zh) * 2020-01-15 2020-06-12 中国地质大学（武汉） 融合深度学习和误差校正的径流概率性预测方法及系统
CN112132360A (zh) * 2020-09-29 2020-12-25 中交建冀交高速公路投资发展有限公司 基于lstm和gmm的风速短时置信区间的预测方法及系统
CN112651534A (zh) * 2019-10-10 2021-04-13 顺丰科技有限公司 一种预测资源供应链需求量的方法、装置及存储介质
CN112684701A (zh) * 2020-12-01 2021-04-20 哈尔滨工程大学 一种基于长短时记忆网络和高斯过程回归的船舶运动预报方法
CN113068211A (zh) * 2021-04-21 2021-07-02 东南大学 一种基于深度学习和高斯过程回归预测无线接入点吞吐量方法
CN113191091A (zh) * 2021-06-03 2021-07-30 上海交通大学 基于混合深度学习机制的风速预测方法及系统、设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120046917A1 (en) * 2010-08-23 2012-02-23 Hsin-Fa Fang Wind energy forecasting method with extreme wind speed prediction function
CN106960252A (zh) * 2017-03-08 2017-07-18 深圳市景程信息科技有限公司 基于长短时记忆神经网络的电力负荷预测方法
CN109272139A (zh) * 2018-07-24 2019-01-25 东华大学 一种基于非线性集成深度学习的短期风速预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120046917A1 (en) * 2010-08-23 2012-02-23 Hsin-Fa Fang Wind energy forecasting method with extreme wind speed prediction function
CN106960252A (zh) * 2017-03-08 2017-07-18 深圳市景程信息科技有限公司 基于长短时记忆神经网络的电力负荷预测方法
CN109272139A (zh) * 2018-07-24 2019-01-25 东华大学 一种基于非线性集成深度学习的短期风速预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHAOLONG SUN等: "A new dynamic integrated approach for wind speed forecasting", 《APPLIED ENERGY》 *
孙斌等: "基于高斯过程回归的短期风速预测", 《中国电机工程学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110457906A (zh) * 2019-08-15 2019-11-15 国家电网公司华东分部 一种网络安全事件智能告警方法
CN112651534A (zh) * 2019-10-10 2021-04-13 顺丰科技有限公司 一种预测资源供应链需求量的方法、装置及存储介质
CN111275253A (zh) * 2020-01-15 2020-06-12 中国地质大学（武汉） 融合深度学习和误差校正的径流概率性预测方法及系统
CN111275253B (zh) * 2020-01-15 2022-09-20 中国地质大学（武汉） 融合深度学习和误差校正的径流概率性预测方法及系统
CN112132360A (zh) * 2020-09-29 2020-12-25 中交建冀交高速公路投资发展有限公司 基于lstm和gmm的风速短时置信区间的预测方法及系统
CN112684701A (zh) * 2020-12-01 2021-04-20 哈尔滨工程大学 一种基于长短时记忆网络和高斯过程回归的船舶运动预报方法
US20210117796A1 (en) * 2020-12-01 2021-04-22 Harbin Engineering University Ship Motion Prediction Method Based on Long Short-Term Memory Network and Gaussian Process Regression
CN113068211A (zh) * 2021-04-21 2021-07-02 东南大学 一种基于深度学习和高斯过程回归预测无线接入点吞吐量方法
CN113191091A (zh) * 2021-06-03 2021-07-30 上海交通大学 基于混合深度学习机制的风速预测方法及系统、设备
CN113191091B (zh) * 2021-06-03 2022-12-09 上海交通大学 基于混合深度学习机制的风速预测方法及系统、设备

Also Published As

Publication number Publication date
CN110059867B (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN110059867A (zh) 一种swlstm结合gpr的风速预测方法
Liang et al. A novel wind speed prediction strategy based on Bi-LSTM, MOOFADA and transfer learning for centralized control centers
CN109685252B (zh) 基于循环神经网络和多任务学习模型的建筑能耗预测方法
Wei et al. Wind speed forecasting system based on gated recurrent units and convolutional spiking neural networks
CN108549929B (zh) 一种基于深层卷积神经网络的光伏功率预测方法
CN111667098B (zh) 一种基于多模型组合优化的风力电站输出功率预测方法
CN107622329A (zh) 基于多时间尺度长短时记忆神经网络的电力负荷预测方法
CN108022001A (zh) 基于pca和分位数回归森林的短期负荷概率密度预测方法
CN109829587A (zh) 基于深度lstm网络的小区域级超短期负荷预测及可视化方法
CN108596327B (zh) 一种基于深度学习的地震速度谱人工智能拾取方法
CN113283588B (zh) 一种基于深度学习的近岸单点海浪浪高预报方法
CN111767517B (zh) 一种应用于洪水预测的BiGRU多步预测方法、系统及存储介质
Zhu et al. Coke price prediction approach based on dense GRU and opposition-based learning salp swarm algorithm
CN110568442A (zh) 一种基于对抗外推神经网络的雷达回波外推方法
CN110456355B (zh) 一种基于长短时记忆和生成对抗网络的雷达回波外推方法
CN109255726A (zh) 一种混合智能技术的超短期风功率预测方法
CN112100911A (zh) 一种基于深度bisltm的太阳辐射预测方法
Wang et al. An approach of recursive timing deep belief network for algal bloom forecasting
CN109858665A (zh) 基于特征筛选与anfis-pso的光伏短期功率预测方法
CN112381282A (zh) 基于宽度学习系统的光伏发电功率预测方法
CN111008790A (zh) 一种水电站群发电调度规则提取方法
CN115907122A (zh) 区域电动汽车充电负荷预测方法
Sun et al. Interval forecasting for wind speed using a combination model based on multiobjective artificial hummingbird algorithm
CN117291069A (zh) 一种基于改进de与注意力机制的lstm污水水质预测方法
CN115115111A (zh) 一种基于lstm的中长期径流预报智能方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant