CN107145937A - 基于弹性scad罚函数的回声状态网络时间序列预测方法 - Google Patents

Abstract

本发明涉及一种基于弹性SCAD罚函数的回声状态网络时间序列预测方法，结合 SCAD 罚函数和范数建立稀疏模型，该模型具有无偏估计、良好处理共线性和过拟合问题能力，从而提高模型的预测精度；针对该方法中的非凸函数优化问题，也给出基于局部二次近似的求解方法以及基于粒子群算法的超参数估计方法。

Description

基于弹性SCAD罚函数的回声状态网络时间序列预测方法

技术领域

本发明涉及信息技术领域，具体地说是一种基于弹性SCAD罚函数的回声状态网络时间序列预测方法。

背景技术

回声状态神经网络是一种新型的递归神经网络学习方法。其通过引入一个随机生成、且保持不变的，称作为储备池的内部网络，来取代经典神经网络中的中间隐含层。当外部输入的时间序列进入回声状态网络时，便在内部建立起复杂多样的非线性映射关系，起到存储历史信息的作用，最后再通过一个简单的输出连接矩阵得到网络输出。

整个回声状态网络的储备池内部连接权值是固定不变的，调整仅仅针对输出连接矩阵进行， 克服了一般递归神经网络收敛速度慢、容易陷入局部最优和梯度消退等问题，克服了递归神经网络内在梯度和记忆渐消问题，同时也极大降低了训练阶段的计算量，达到估计精度和计算复杂度的折中。

回声状态网络通过储备池的规模来保证系统的动态性，但在储备池规模设置的过大，训练数据存在野点情况下，极有可能导致输出矩阵共线性和过拟合问题；反之如果储备池规模设置的过小，就可能导致其对真实系统的估计精度不足。

为了保证回声状态网络的动态性，在无法事先确知真实系统的复杂程度情况下，通常都设置较大的储蓄池规模，然后通过正则化方法对输出连接矩阵做出约束，建立稀疏解，克服可能存在的共线性和过拟合问题。

目前常用的正则化方法包括岭回归（L ₂ 范数）、L ₁ 范数、弹性网等，但是岭回归对于变量没有选择性，L ₁ 范数对于相关向量无效，并且这些方法对输出连接矩阵中的大权值系数施加更大的惩罚，对于这些大权值系数属于有偏估计。

发明内容

针对上述现有的回声状态网络中共线性和过拟合等问题，本发明提供一种基于弹性SCAD罚函数的回声状态网络时间序列预测方法。

为解决上述技术问题，本发明采用的技术方案为：

一种基于弹性SCAD罚函数的回声状态网络时间序列预测方法，包括以下步骤：

步骤一：对原始数据进行预处理，包括去除异常数据及消除数据的趋势性；

步骤二：建立回声状态网络模型

将时间序列训练数据送入回声状态网络中，储蓄池回声状态向量x(t)和输出向量y(t)模型如下:

（1）

（2）

式中W _in 、W _x 和W _back 分别为输入矩阵、储备池连接矩阵和后向反馈矩阵，它们是已知的；W _out 为储备池输出连接矩阵，是回声状态网络中唯一需要训练求解的；t时刻的储备池内部状态向量x(t)由当前输入u _in (t)、上一时刻状态向量x(t-1)以及后向反馈向量y(t)共同激发产生；输出连接矩阵使用最小二乘法求解得到:

（3）

其中 是 的伪拟；

步骤三：弹性SCAD罚函数

为了应对回声状态网络输出矩阵多重共线性和过拟合问题，采用弹性SCAD罚函数估计权值，其具体模型如下:

（4）

式中第二项和第三项分别是SCAD罚函数和L ₂ 范数罚函数，其组成弹性SCAD罚函数，其中SCAD罚函数模型如下：

（5）

其中可调超参数，参数向量表示为w，对w _j 的一阶导数表示为:

（6）

式（5）中SCAD罚函数在原点近似奇异值，能够产生稀疏解；对于置为常数，从而满足对的近似无偏估计；式（6）中SCAD罚函数导数在 上连续可导，但在原点处不可导；

步骤四：基于弹性SCAD罚函数的局部二次近似求解

SCAD罚函数在原点处不可微，不能直接用凸函数优化方法进行迭代；使用局部二次近似来近似分解SCAD罚函数，从而能求解该模型的近似解；设初始值已知，对 SCAD部分的局部二次近似模型如下:

（7）

式中是 的临近点，采用式（3）普通最小二乘得到， 的一阶导数表示为:

（8）

得到SCAD罚函数的近似表达后，对式（4）执行重复岭回归解得到:

（9）

其中：

（10）

实际中，采用最小二乘估计，只要一步迭代就能找到值；

步骤五：粒子群优化回声状态网络

基于弹性SCAD的回声状态网络包含较多的超参数，网格搜索法难以确定最优的超参数值，采用粒子群算法进行超参数优化；假设粒子用速度矢量v和位置矢量p进行描述，在时间步中，粒子通过更新速度矢量v _i 来搜寻全局最优位置矢量p _i ，同时每个粒子根据适应度和速度决定它自身的飞行方向，逐步移到较优区域，最终搜索到全局最优位置矢量，模型如下：

（11）

（12）

式中v _i (t)和p _i (t)分别为第i个粒子t时刻的速度分量和位置矢量；lb _i (t)为第i粒子t时刻的最优位置分量；gb(t)为t时刻整个粒子群的最优位置分量；w为惯性权重，c ₁ 和c ₂ 为加速常数；rand ₁ 和rand ₂ 是介于0和1之间的随机数；

步骤六：下一时刻时间序列预测

通过下式获取所述预测数据：

（13）

其中，为第时刻输入值，为第时刻预测数据，为估计的输出权值矩阵。

所述弹性SCAD罚函数用于变量选择，克服储备池网络输出的共线性和过拟合问题，并用粒子群算法进行超参数估计，其具体步骤如下：

1）采集时间序列，并对数据进行预处理；

2）初始化储备池超参数、输入连接矩阵w _in 、储备池连接矩阵w _x 和反馈矩阵w _back 和测试误差阈值；

3）确定输入矩阵大小 N和稀疏度SD值，设定回声状态网络中输入单元尺度IS、输入单元位移ISH、教师信号尺度 TS、教师信号位移 TSH及弹性SCAD罚函数中g,l ₁ ,l ₂ 超参数范围；设置粒子群算法中的超参数，包括最大迭代次数M、测试误差阈值err，粒子群大小Npop、惯性权重w、c ₁ 和c ₂ 加速常数；

4）确定搜索空间，在搜索空间中随机初始化粒子群算法中各粒子的速度矢量v和位置矢量p；

5）输入训练样本(X,Y)，根据式（3）估计初始输出连接矩阵；

6）使用式（9）计算最终的储备池输出连接矩阵估计；

7）采用均方根误差函数评价各粒子的适应度；

8）根据式（11）和式（12）更新各粒子的速度矢量V和位置矢量P；

9）判断迭代是否达到最大迭代次数或设定测试误差阈值err；若是，停止程序，输出最后的gb作为最优超参数选择，否则重复执行步骤4）-步骤6），直到满足设定条件为止；

10）使用式（13）对下一个时刻值进行预测。

本发明的有益效果：

本发明提供的基于弹性SCAD罚函数的回声状态网络时间序列预测方法，结合 SCAD 罚函数和L ₂ 范数建立稀疏模型，该模型具有无偏估计、良好处理共线性和过拟合问题能力，从而提高模型的预测精度；针对该方法中的非凸函数优化问题，也给出基于局部二次近似的求解方法以及基于粒子群算法的超参数估计方法。

附图说明

图1为本发明的整体实现流程图；

图2为弹性SCAD罚函数的回声状态网络示意图；

图3为Lorenz时间序列的一步预测结果。

具体实施方式

下面结合具体实施方式对本发明做进一步的阐述。

本发明技术的整体实现流程如附图1所示，具体步骤如下：

步骤1）：数据采集和预处理

采集时间序列，包括输入数据X和输出时间序列Y；数据采集后，对其进行预处理，包括消除数据趋势性和去除异常数据；将预处理后的数据按时间点划分为训练数据集和预测数据集，其中远离当前时间点的数据划分为训练数据集，当前时间点前的一段时间内的数据划分为预测数据集。

步骤2）：初始化储备池超参数、输入连接矩阵w _in 和储备池连接矩阵w _x 和反馈矩阵w _back 和测试误差阈值；

步骤3）：粒子群算法中的超参数初始化

本发明采用粒子群算法进行超参数优化，需要估计的超参数包括ESN和SCAD罚函数中的超参数，其中ESN中的超参数包括IS（Input Scaling）、输入单元位移ISH(Input Shift)、教师信号尺度 TS(Teacher Scaling)、教师信号位移 TSH(Teacher Shift)以及弹性SCAD罚函数中的g,l ₁ ,l ₂ 等7个超参数；

步骤4）：确定搜索空间，在搜索空间中随机初始化粒子群算法中各粒子的速度矢量v和位置矢量p。

步骤5）：将时间序列训练数据(X,Y)送入回声状态网络中，储蓄池回声状态向量x(t)和输出向量y(t)模型如下:

(14)

(15)

其中W _in 、W _x 和W _back 分别为输入矩阵、储备池连接矩阵和后向反馈矩阵，它们是已知的；W _out 为储备池输出连接矩阵，是回声状态网络中唯一需要训练求解的；t时刻的储备池内部状态向量x(t)由当前输入u _in (t)、上一时刻状态向量x(t-1)共同激发产生；

估计初始输出连接矩阵由最小二乘法求解得到:

（16）

步骤6）：执行岭回归解估计非零元素的输出连接矩阵:

（17）

步骤7）：利用均方根误差（NRMSE）函数计算各粒子的适应度：

（18）

步骤8）：更新每个粒子的速度矢量v和位置矢量p：

（19）

（20）

式中v _i (t)和p _i (t)分别为第i个粒子t时刻的速度分量和位置矢量；lb _i (t)为第i粒子t时刻的最优位置分量；gb(t)为t时刻整个粒子群的最优位置分量；w为惯性权重，c ₁ 和c ₂ 为加速常数；rand ₁ 和rand ₂ 是介于0和1之间的随机数；

步骤9）：判断迭代是否达到最大迭代次数或设定测试误差阈值；若是，停止程序，输出最后的gb作为弹性SCAD回声状态网络的最优超参数选择，否则重复执行步骤4）-步骤6），直到满足设定条件为止；

步骤10）：使用估计输出矩阵 对下一个时刻值进行预测：

（21）

其中，为第时刻输入值，为第时刻预测输出值。

Claims (2)

1.一种基于弹性SCAD罚函数的回声状态网络时间序列预测方法，其特征在于，包括以下步骤：

步骤一：对原始数据进行预处理，包括去除异常数据及消除数据的趋势性；

步骤二：建立回声状态网络模型

将时间序列训练数据送入回声状态网络中，储蓄池回声状态向量x(t)和输出向量y(t)模型如下:

（1）

（2）

式中w _in 、w _x 和w _back 分别为输入矩阵、储备池连接矩阵和后向反馈矩阵，它们是已知的；w _out 为储备池输出连接矩阵，是回声状态网络中唯一需要训练求解的；t时刻的储备池内部状态向量x(t)由当前输入u _in (t)、上一时刻状态向量x(t-1)以及后向反馈向量y(t)共同激发产生；输出连接矩阵使用最小二乘法求解得到:

（3）

其中 是 的伪拟；

步骤三：弹性SCAD罚函数

为了应对回声状态网络输出矩阵多重共线性和过拟合问题，采用弹性SCAD罚函数估计权值，其具体模型如下:

（4）

式中第二项和第三项分别是SCAD罚函数和L ₂ 范数罚函数，其组成弹性SCAD罚函数，其中SCAD罚函数模型如下：

（5）

其中可调超参数，参数向量表示为w，对w _j 的一阶导数表示为:

（6）

式（5）中SCAD罚函数在原点近似奇异值，能够产生稀疏解；对于置为常数，从而满足对的近似无偏估计；式（6）中SCAD罚函数导数在 上连续可导，但在原点处不可导；

步骤四：基于弹性SCAD罚函数的局部二次近似求解

SCAD罚函数在原点处不可微，不能直接用凸函数优化方法进行迭代；使用局部二次近似来近似分解SCAD罚函数，从而能求解该模型的近似解；设初始值已知，对 SCAD部分的局部二次近似模型如下:

（7）

式中是 的临近点，采用式（3）普通最小二乘得到， 的一阶导数表示为:

（8）

得到SCAD罚函数的近似表达后，对式（4）执行重复岭回归解得到:

（9）

其中：

（10）

实际中，采用最小二乘估计，只要一步迭代就能找到值；

步骤五：粒子群优化回声状态网络

基于弹性SCAD的回声状态网络包含较多的超参数，网格搜索法难以确定最优的超参数值，采用粒子群算法进行超参数优化；假设粒子用速度矢量v和位置矢量p进行描述，在时间步中，粒子通过更新速度矢量v _i 来搜寻全局最优位置矢量p _i ，同时每个粒子根据适应度和速度决定它自身的飞行方向，逐步移到较优区域，最终搜索到全局最优位置矢量，模型如下：

（11）

（12）

式中v _i (t)和p _i (t)分别为第i个粒子t时刻的速度分量和位置矢量；lb _i (t)为第i粒子t时刻的最优位置分量；gb(t)为t时刻整个粒子群的最优位置分量；w为惯性权重，c ₁ 和c ₂ 为加速常数；；rand ₁ 和rand ₂ 是介于0和1之间的随机数；

步骤六：下一时刻时间序列预测

通过下式获取所述预测数据：

（13）

其中，为第时刻输入值，为第时刻预测数据，为估计的输出权值矩阵。

2.如权利要求1所述的基于弹性SCAD罚函数的回声状态网络时间序列预测方法，其特征在于：所述弹性SCAD罚函数用于变量选择，克服储备池网络输出的共线性和过拟合问题，并用粒子群算法进行超参数估计，其具体步骤如下：

1）采集时间序列，并对数据进行预处理；

2）初始化储备池超参数、输入连接矩阵w _in 、储备池连接矩阵w _x 和反馈矩阵w _back 和测试误差阈值；

3）确定输入矩阵大小 N和稀疏度SD值，设定回声状态网络中输入单元尺度IS、输入单元位移ISH、教师信号尺度 TS、教师信号位移 TSH及弹性SCAD罚函数中g,l ₁ ,l ₂ 超参数范围；设置粒子群算法中的超参数，包括最大迭代次数M、测试误差阈值err，粒子群大小Npop、惯性权重w、c ₁ 和c ₂ 加速常数；

4）确定搜索空间，在搜索空间中随机初始化粒子群算法中各粒子的速度矢量v和位置矢量p；

5）输入训练样本(X,Y)，根据式（3）估计初始输出连接矩阵；

6）使用式（9）计算最终的储备池输出连接矩阵估计；

7）采用均方根误差函数评价各粒子的适应度；

8）根据式（11）和式（12）更新各粒子的速度矢量v和位置矢量p；

9）判断迭代是否达到最大迭代次数或设定测试误差阈值err；若是，停止程序，输出最后的gb作为最优超参数选择，否则重复执行步骤4）-步骤6），直到满足设定条件为止；

10）使用式（13）对下一个时刻值进行预测。