CN111178616A - 基于负相关学习和正则化极限学习机集成的风速预测方法 - Google Patents

Abstract

本发明涉及风速预测技术领域，公开了一种基于负相关学习和正则化极限学习机集成的风速预测方法，首先利用最优变分模态分解‑样本熵将原始风速时间序列分解为具有若干个具有不同复杂程度的子序列，然后采用基于负相关学习和正则化极限学习机的集成模型对各子序列进行建模，最后对各子序列的预测结果进行叠加，得到最终的风速预测结果。与现有技术相比，本发明集成模型采用正则化极限学习机作为基模型，具有更快的收敛速度和更强的稳定性能，能够更好的捕捉风速时间序列的非线性特征；负相关学习作为一种神经网络集成技术，能够增强各正则化极限学习机基模型之间的差异度，有效地提高了单个正则化极限学习机模型的可预测性。

Description

基于负相关学习和正则化极限学习机集成的风速预测方法

技术领域

本发明涉及风速预测技术领域，特别涉及一种基于负相关学习和正则化极限学习机集成的风速预测方法。

背景技术

为了提高风速预测精度，目前国内外主要的风速预测方法包括物理模型，统计模型和机器学习模型三类。其中物理建模方法通常利用气象或物理数据，如温度、风速、湿度和压力来构建数学模型，这类方法建模过程复杂且需要昂贵的计算成本。统计模型主要包括自回归(AR)、移动平均(MA)、自回归移动平均(ARMA)和自回归综合移动平均(ARIMA)模型等，统计模型的基本思想是构造一个可以逼近任意给定随机时间序列的回归模型，并用其预测未来风速值，统计模型的建模过程比物理模型简单很多，但统计模型通常要求数据是平稳的并且服从正态分布，不足以处理非线性和非平稳性强的风速时间序列。

随着机器学习在科学研究和工程实际中的广泛应用，人工神经网络、支持向量机和极限学习机等机器学习方法成为目前风速预测领域的研究热点。机器学习方法能够对强非线性和非平稳性的风速时间序列，但由于单一机器学习方法是弱学习算法，存在过拟合，泛化性能不强，且易陷入局部最优的缺点。基于此，集成学习算法如Bagging，Boosting和随机森林等被广泛应用风速预测领域。但是，上述集成学习方法都集中在减少集成学习框架中单个模型的学习误差上，模型个体输出的差异度难以控制，进而影响预测精度。

发明内容

发明目的：针对现有技术中存在的问题，本发明提出了一种结合最优变分模态分解(OVMD)，样本熵(SE)和负相关正则化极限学习机集成的风速预测方法，具有更快的收敛速度和更强的稳定性能，能够更好的捕捉风速时间序列的非线性特征，风速预测精度高。

技术方案：本发明提供了一种基于负相关学习和正则化极限学习机集成的风速预测方法，包括如下步骤：

步骤一：收集风电场历史实测风速数据，根据历史实测风速数据建立风速时间序列，采用最优变分模态分解-样本熵分解方法将原始风速时间序列分解为若干个具有不同复杂程度的子序列；

步骤二：将步骤一所得的每一子序列归一化至[0,1]区间，计算子序列的偏自相关函数值，选择95％置信水平下显著的滞后时间序列建立输入矩阵，目标变量为输出向量，并将全部样本数据的前70％作为训练样本，剩余30％作为检验样本；

步骤三：利用步骤二中的训练集，对每一子序列，建立基于负相关学习和正则化极限学习机集成的预测模型，获得最优模型参数；

步骤四：将步骤三所得的最优模型参数以及步骤二中检验样本输入基于负相关学习和正则化极限学习机集成的预测模型，得到检验阶段的预测值并反归一化，将所有子序列的预测结果进行求和，得到最终风速预测值；

步骤五：计算均方根误差RMSE，平均绝对误差MAE，相关系数R和平均绝对百分误差MAPE，评价所提出的风速预测方法的性能。

进一步地，所述步骤一中采用最优变分模态分解-样本熵分解方法将原始风速时间序列分解为若干个具有不同复杂程度的子序列包括如下步骤：

步骤2.1：采用最优变分模态分解最优变分模态分解将原始风速时间序列分解为具若干个变分模态和一个残差分量的集合；

步骤2.2：计算每个变分模态和残差分量的样本熵；

步骤2.3：将样本熵近似的子序列进行聚合形成新的子序列。

进一步地，建立所述步骤三中基于负相关学习和正则化极限学习机集成的预测模型主要步骤为：

步骤3.1：给定一组正则化极限学习机基模型和K个训练样本{(x_k,y_k)},k＝1,2,...,K，计算第i个正则化极限学习机基模型第k个训练样本的输出f_i(x_k)，然后计算集成模型第k个训练样本的输出f_ens(x_k)；

步骤3.2：采用正则化极限学习机基模型的输出f_i(x_k)和集成模型的输出f_ens(x_k)来定义基模型去相关惩罚函数p_i；

步骤3.3：添加去相关惩罚项p_i到误差函数，计算集成模型第i个基模型的去相关误差e_i(x_k)；

步骤3.4：采用正则化极限学习机算法和步骤3.3)中提到的去相关误差来训练各正则化极限学习机基模型，得到集成模型隐含层输出权矩阵w_ens。

进一步地，所述步骤三中模型参数包括正则化极限学习机基模型个数、隐含层节点个数和正则化参数以及负相关学习惩罚因子，采用网格搜索法对模型参数进行筛选获得最优模型参数。

进一步地，所述步骤五中的4个指标的计算公式如下：

式中，v_f(i)和v_o(i)为第为第i个样本的预测值和实测值；

和

分别表示检验样本的平均预测值和平均实测值；N表示检验样本集的大小。

有益效果：

1)本发明采用最优变分模态分解-样本熵方法对风速时间序列进行预处理，将非平稳风速时间序列分解为若干个规律性更强的子序列，分别对规律性更强的子序列建立预测模型后，对预测结果进行叠加得到最终风速预测值，为高精度的风速预测奠定了基础。

2)本发明所提集成模型采用正则化极限学习机作为基模型，与常规神经网络模型相比，正则化极限学习机具有更快的收敛速度和更强的稳定性能，能够更好的捕捉风速时间序列的非线性特征。

3)集成学习机能够通过对多个弱学习机的预测结果进行集成，提高预测模型的泛化性能，本发明所提负相关学习作为一种神经网络集成技术，能够增强各正则化极限学习机基模型之间的差异度，有效地提高了单个正则化极限学习机模型的可预测性。

附图说明

图1为本发明提供的基于负相关学习和正则化极限学习机集成的风速预测模型流程图；

图2为本发明实施例中样本数据集一的预测值与实测值对比图；

图3为本发明实施例中样本数据集二的预测值与实测值对比图；

图4为本发明实施例中样本数据集三的预测值与实测值对比图。

具体实施方式

下面结合附图对本发明进行详细的介绍。

本发明以国家数据浮标中心(NDBC)站点41009在2018年4月1-7日，7月11-17日，10月13-19日每10min记录一次的风速实测数据为实施例，进行实例仿真，以验证本发明的效果，共计三个样本数据集，每个样本数据集分别取自不同季节的一周数据，包含1008个样本数据点。图1为本发明提供的基于负相关学习机核正则化极限学习机集成的风速预测模型流程图，实施步骤如下：

步骤一：选取国家数据浮标中心(NDBC)站点41009在2018年4月1-7日，7月11-17日，10月13-19日每10min记录一次风速实测数据为作为样本数据，根据历史实测风速数据建立风速时间序列，采用OVMD-SE分解方法将原始风速时间序列分解为若干个具有不同复杂程度的子序列，包括以下步骤：

步骤1.1：采用最优变分模态分解OVMD将原始风速时间序列分解为具若干个变分模态和一个残差分量的集合。

步骤1.2：计算每个变分模态和残差分量的样本熵SE。

步骤1.3：将样本熵近似的子序列进行聚合形成新的子序列。

步骤二：对步骤一所得的每一子序列，将其归一化至[0,1]区间，计算子序列的偏自相关函数值，选择95％置信水平下显著的滞后时间序列建立输入矩阵，目标变量为输出向量，并将全部样本数据的前70％作为训练样本，剩余30％作为检验样本。

步骤三：利用步骤二中的训练集，对每一子序列，建立基于负相关学习和正则化极限学习机集成的预测模型，得到最优模型参数，采用负相关学习理论提高各正则化极限学习机基模型之间的差异度。

正则化极限学习机算法原理如下：

给定K个训练样本{(x_k,y_k)},k＝1,2,...,K，其中X＝[x₁,x₂,...,x_K]^T表示输入向量，x_k＝[x_k1,x_k2,...,x_kM]∈R^M表示第k个输入训练样本，M表示输入向量的维数；Y＝[y₁,y₂,...,y_K]^T表示输出向量，y_k＝[y_k1,y_k2,...,y_kN]∈R^N表示第k个输出训练样本，N表示输出向量的维数。第k个训练样本的第J个隐含层神经元的输出可以表示为

其中J表示隐含层神经元的个数，G(·)表示激活函数，β_j和a_j分别表示输入层和隐含层结点之间的权值和偏置。正则化极限学习机模型第k个训练样本的输出

可以计算如下：

式中，w_j,j＝1,2,...,J表示第j个隐含层节点和输出节点之间的权重。

隐含层到输出层的核映射矩阵可以表示如下：

正则化极限学习机模型输出的矩阵形式可以表示如下：

式中，w＝[w₁,w₂,...,w_J]^T。

随机生成隐含层权重β和偏置a后，正则化极限学习机模型的目标是找到最合适的w，使得模型输出

和目标输出Y之间的误差最小。通过对下式(4)所表示的优化问题进行求解可以获得与输出层相关联的权重：

式(4)的解可根据正则化最小二乘法求解得到(u≠0)：

w＝(D^TD+uI)^-1D^TY (5)

式(5)中，I表示单位矩阵；u表示正则化系数。

第k个训练样本的输出

可以表示为：

基于负相关学习和正则化极限学习机集成的预测模型的原理如下：

1)给定一组正则化极限学习机基模型和K个训练样本{(x_k,y_k)},k＝1,2,...,K，计算第i个正则化极限学习机基模型第k个训练样本的输出f_i(x_k)，然后计算集成模型第k个训练样本的输出f_ens(x_k)。

2)采用正则化极限学习机基模型的输出f_i(x_k)和集成模型的输出f_ens(x_k)来定义基模型去相关惩罚函数p_i。

3)添加去相关惩罚项p_i到误差函数，计算集成模型第i个基模型的去相关误差e_i(x_k)。

4)采用正则化极限学习机算法和步骤3.3)中提到的去相关误差来训练各正则化极限学习机基模型，得到集成模型隐含层输出权矩阵w_ens。

式中，左侧第一项(1/2)(f_i(x_k)-y_k)²表示第i个基模型的原始误差函数；第二项(f_i(x_k)-f_ens(x_k))²表示相关惩罚项；λ表示惩罚系数。

由上述正则化极限学习机模型的原理可知，第i个正则化极限学习机基模型的第k个训练输出如下：

式中，w_ij表示第i个基模型中第J个隐含层节点与输出节点之间的权重；

表示第i个基模型中第J个隐藏节点的输出；J表示隐藏节点的个数。在每个基模型中，权值β_ij和偏置a_ij是随机分配的。需要调整隐含层输出权值w_ij使得

即：

式(11)经一系列简化运算后可转换为式(12)：

式(12)中，M表示集成模型中基模型的个数，J表示正则化极限学习机模型的隐含层节点个数；c₁和c₂为两个常数，分别表示为c₁＝1-2λ(M-1)²/M²和c₂＝2λ(M-1)/M²；φ(i,j,l,n)表示第i个基模型第j个隐含层神经元与第l个基模型的第n个隐含层神经元之间的相关性，φ(i,j)表示第i个基模型第j个隐藏神经元与目标输出之间的相关性。φ(i,j,l,n)和φ(i,j)可表示为：

式(13)可简化为矩阵形式，如下所示：

D_corrW_ens＝T_h (14)

式(14)中，D_corr表示隐藏层相关矩阵；W_ens表示集成模型的隐含层输出权值矩阵；T_h表示集成模型的隐含层目标矩阵。D_corr可以表示为：

或者，

式中，s,t＝1,...,M×J；i＝[s/J]；j＝((s-1)modJ)+1；n＝[t/J]；l＝((t-1)modL)+1。W_ens和T_h可以表示为：

集成模型的隐含层输出权矩阵可以通过正则化最小二乘法求解得到：

w_ens＝(D_corr ^TD_corr+uI)^-1 D_corr ^TT_h (18)

式中，I表示单位矩阵，u表示正则化系数。

为了获得最优模型参数，本发明采用网格搜索法对模型参数进行筛选，模型参数包括正则化极限学习机基模型个数、隐含层节点个数和正则化参数以及负相关学习惩罚因子。

步骤四：将步骤三所得的最优模型参数以及检验样本输入不进行数据预处理的预测模型(NCL-RELM)模型，得到检验阶段的预测值并反归一化，将所有子序列的预测结果进行求和，得到最终风速预测值。

步骤五：采用均方根误差(RMSE)，平均绝对误差(MAE)，相关系数(R)和平均绝对百分误差(MAPE)。这4个指标的计算公式如下：

式中，v_f(i)和v_o(i)为第为第i个样本的预测值和实测值；

和

分别表示检验样本的平均预测值和平均实测值；N表示检验样本集的大小。

采用本发明所提风速预测模型(OS-NCL-RELM)对实际风场风速时间序列进行预测，为了验证本发明的有效性，将其与正则化极限学习机模型(RELM)和不进行数据预处理的预测模型(NCL-RELM)进行对比，检验期的预测结果的误差指标统计值如表1～3所示，检验期预测值和实测值对比图如图2～4所示。由表可知，OVMD-SE分解方法和负相关集成学习能够有效提高单一正则化极限学习机模型的预测精度，证明了本发明所提技术的优势性。

表1 样本数据集一的预测结果误差统计

。

表2 样本数据集二的预测结果误差统计

。

表3 样本数据集三的预测结果误差统计

。

上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于负相关学习和正则化极限学习机集成的风速预测方法，其特征在于，包括如下步骤：

步骤一：收集风电场历史实测风速数据，根据历史实测风速数据建立风速时间序列，采用最优变分模态分解-样本熵分解方法将原始风速时间序列分解为若干个具有不同复杂程度的子序列；

步骤二：将步骤一所得的每一子序列归一化至[0,1]区间，计算子序列的偏自相关函数值，选择95％置信水平下显著的滞后时间序列建立输入矩阵，目标变量为输出向量，并将全部样本数据的前70％作为训练样本，剩余30％作为检验样本；

步骤三：利用步骤二中的训练集，对每一子序列，建立基于负相关学习和正则化极限学习机集成的预测模型，获得最优模型参数；

步骤四：将步骤三所得的最优模型参数以及步骤二中检验样本输入基于负相关学习和正则化极限学习机集成的预测模型，得到检验阶段的预测值并反归一化，将所有子序列的预测结果进行求和，得到最终风速预测值；

步骤五：计算均方根误差RMSE，平均绝对误差MAE，相关系数R和平均绝对百分误差MAPE，评价所提出的风速预测方法的性能。

2.根据权利要求1所述的基于负相关学习和正则化极限学习机集成的风速预测方法，其特征在于，所述步骤一中采用最优变分模态分解-样本熵分解方法将原始风速时间序列分解为若干个具有不同复杂程度的子序列包括如下步骤：

步骤2.1：采用最优变分模态分解最优变分模态分解将原始风速时间序列分解为具若干个变分模态和一个残差分量的集合；

步骤2.2：计算每个变分模态和残差分量的样本熵；

步骤2.3：将样本熵近似的子序列进行聚合形成新的子序列。

3.根据权利要求1所述的基于负相关学习和正则化极限学习机集成的风速预测方法，其特征在于，建立所述步骤三中基于负相关学习和正则化极限学习机集成的预测模型主要步骤为：

步骤3.1：给定一组正则化极限学习机基模型和K个训练样本{(x_k,y_k)},k＝1,2,...,K，计算第i个正则化极限学习机基模型第k个训练样本的输出f_i(x_k)，然后计算集成模型第k个训练样本的输出f_ens(x_k)；

步骤3.2：采用正则化极限学习机基模型的输出f_i(x_k)和集成模型的输出f_ens(x_k)来定义基模型去相关惩罚函数p_i；

步骤3.3：添加去相关惩罚项p_i到误差函数，计算集成模型第i个基模型的去相关误差e_i(x_k)；

步骤3.4：采用正则化极限学习机算法和步骤3.3)中提到的去相关误差来训练各正则化极限学习机基模型，得到集成模型隐含层输出权矩阵w_ens。

4.根据权利要求1所述的基于负相关学习和正则化极限学习机集成的风速预测方法，其特征在于，所述步骤三中模型参数包括正则化极限学习机基模型个数、隐含层节点个数和正则化参数以及负相关学习惩罚因子，采用网格搜索法对模型参数进行筛选获得最优模型参数。

5.根据权利要求1所述的基于负相关学习和正则化极限学习机集成的风速预测方法，其特征在于，所述步骤五中的4个指标的计算公式如下：

式中，v_f(i)和v_o(i)为第为第i个样本的预测值和实测值；

和

分别表示检验样本的平均预测值和平均实测值；N表示检验样本集的大小。

Images