CN104850891A - 一种时间序列预测的智能优化递归神经网络方法 - Google Patents

Abstract

一种时间序列预测的智能优化递归神经网络方法，涉及时间序列预测分析。基于RPNN结合模拟退火粒子群优化算法的时间序列预测模型，以混沌和相空间重构为理论基础，实现非线性时间序列预测。步骤包括由饱和关联维法计算时间序列吸引子维度，并选取嵌入维数和时间延迟，进行相空间重构。RPNN网络的结构由嵌入维数唯一确定，网络训练采用SAPSO混合优化算法。SAPSO算法结合了PSO算法的快速收敛特性和SA算法的全局搜索特性，在保留了收敛速度的同时，扩大了寻优搜索范围，保证了不陷入局部极值；主要用于非线性时间序列的预测。

Description

一种时间序列预测的智能优化递归神经网络方法

技术领域

本发明涉及时间序列预测分析，尤其是涉及一种时间序列预测的智能优化递归神经网络方法。

背景技术

时间序列的分析与预测在诸多领域具有重要的应用价值。而早期用于时间序列预测分析的大多是线性模型，这些模型在理论与方法上具有一定的局限性。多数系统均具有复杂的非线性特征，引入非线性研究范式对时间序列进行分析和预测，通过非线性迭代、学习模型，近似描述混沌动力系统，是非线性时间序列预测理论发展的必然结果。

混沌是时间序列非线性特征之一。混沌预测理论认为：一方面，混沌所具有的确定性特征使得很多看起来随机的表象实际上是可以预测的；另一方面，混沌现象所固有的对初始条件的极度敏感性，又在根本上限制了其长期预测效果。因而，混沌动力系统在短期内的演化趋势是可预测的，但长期预测不太现实。人工神经网络具备超强的自组织与自适应能力，以及对信息具有较好的容错率与联想记忆性，使其在预测混沌时间序列方面具有得天独厚的优势，包括时延(Time-delay)神经网络、递归(Recurrent)神经网络等多种网络在内的模型，被应用于混沌时间序列的预测研究中。以递归预测器神经网络(RPNN)是专门针对混沌时间序列预测而设计的一种动态神经网络，是特殊的多重分支时间延迟神经网络。RPNN具有时间延迟多重分支，模拟了非线性动态系统的时序特性，具备存储功能和联想记忆能力。

发明内容

本发明的目的在于克服现有非线性时间序列预测技术上的不足，提供基于递归预测器神经网络(Recurrent Predictor Neural Network,RPNN)结合模拟退火-粒子群优化算法(SimulatedAnnealing combined with Particle Swarm Optimization,SAPSO)，以混沌和相空间重构为理论基础，实现非线性时间序列短期预测，提高预测精度的一种时间序列预测的智能优化递归神经网络方法。

本发明包括以下步骤：

(1)由饱和关联维(G-P)法计算时间序列吸引子维度D，并选取嵌入维数m>＝2D+1；再根据预测步长的需要，选取相应的时间延迟τ，进行相空间重构；

(2)由嵌入维数m唯一确定RPNN网络的结构，其节点数和m一致，设RPNN有n个节点，网络输入为 $\stackrel{\→}{X}\left(t\right)={(x\left(t\right),x(t-\mathrm{\τ}),...,x(t-(n-1)\mathrm{\τ}))}^T,$ 则网络的输出为：

$y_j\left(t\right)={\mathrm{\σ}}_j(x_j\left(t\right)+b_j\left(t\right)+\underset{i=1}{\overset{j}{\mathrm{\Σ}}}\underset{p=1}{\overset{P_{\mathrm{ij}}}{\mathrm{\Σ}}}{y}_i(t-D_{\mathrm{ij}}\left(p\right))\×{\mathrm{\ω}}_{\mathrm{ij}}^p\left(t\right)),t\∈T---\left(1\right)$

其中，y_j(t)表示t时刻节点j的输出，x_j(t)为t时刻节点j的外部输入，b_j(t)为节点j的阈值，P_ij表示节点i到节点j的分支数，D_ij(p)是节点i到j的第p条分支延迟时间，为节点i到j的第p条分支权值在t时刻的值，σ_j(·)是节点j的激活函数，决定了神经元j的输出。

RPNN网络训练采用SAPSO混合优化算法，具体步骤如下：

1)随机初始化粒子群(当前位置，历史最优位置)，初始化退火温度T₀、降温系数C；

2)计算每个粒子的适应度值f_itness(k)；

3)对每个粒子进行评价，将当前适应度值与其历史最优位置对应的适应度值相比较，决定是否更新个体历史最优位置P_best(k)；

4)对每个粒子进行评价，将其适应度值与群体最优位置对应的适应度值进行比较，决定是否更新群体最优位置G_best(k)；

5)更新粒子当前速度和当前位置，粒子完成进化；

6)在温度T_k下重复以下步骤，直到达到温度T_k下的平衡：

④在群体历史最优位置G_best(k)的邻域中随机产生做微小摄动G_best(k)→G'_best(k)，

⑤计算G_best(k)的适应度值与G'_best(k)适应度值的差值Δf_itness，

⑥依概率min{1,exp(-Δf/T_k)}＞random[0,1]接受新解G'_best(k)，其中random[0,1]是[0,1]区间内的随机数；

7)以降温系数C(C∈(0,1))缓慢退火，T_k+1＝CT_k。更新粒子群历史最优位置G_best(k)，k→k+1；

8)若满足算法停止的条件(达到最大迭代次数或既定的适应度值)，则整个算法结束；否则重复步骤2)～7)。

本发明是一种基于人工神经网络和智能优化算法，并结合混沌和相空间重构理论的一种非线性时间序列短期预测方法。

本发明的突出优点如下：

(1)以递归预测器神经网络(RPNN)为核心的预测模型。RPNN是专门针对混沌时间序列预测而设计的一种动态神经网络，是特殊的多重分支时间延迟神经网络。RPNN具有时间延迟多重分支，模拟了非线性动态系统的时序特性，具备存储功能和联想记忆能力。

(2)RPNN的训练采用SAPSO混合智能优化算法，摆脱了原BPTT算法对于激活函数高阶可导的限制，扩展了RPNN的多样性。SAPSO算法结合了PSO算法的快速收敛特性和SA算法的全局搜索特性，在保留了收敛速度的同时，保证了不陷入局部极值。

附图说明

图1为SAPSO算法流程图。

图2为RPNN结构示意图。

图3为RPNN网络训练效果。

图4为69天上证综指收盘价预测效果。

图5为69天上证综指收盘价预测相对误差。

具体实施方式

下面结合附图和实施例(上证综指序列的预测)对本发明做进一步说明。

由饱和关联维(G-P)法计算上证综指时间序列吸引子维度D，并选取嵌入维数m>＝2D+1；再根据预测步长的需要，选取相应的时间延迟τ，进行相空间重构。

RPNN网络的结构由嵌入维数m唯一确定，其节点数和m一致，设RPNN有n个节点，网络输入为 $\stackrel{\→}{X}\left(t\right)={(x\left(t\right),x(t-\mathrm{\τ}),...,x(t-(n-1)\mathrm{\τ}))}^T,$ 则网络的输出为：

$y_j\left(t\right)={\mathrm{\σ}}_j(x_j\left(t\right)+b_j\left(t\right)+\underset{i=1}{\overset{j}{\mathrm{\Σ}}}\underset{p=1}{\overset{P_{\mathrm{ij}}}{\mathrm{\Σ}}}{y}_i(t-D_{\mathrm{ij}}\left(p\right))\×{\mathrm{\ω}}_{\mathrm{ij}}^p\left(t\right)),t\∈T---\left(1\right)$

其中，y_j(t)表示t时刻节点j的输出，x_j(t)为t时刻节点j的外部输入，b_j(t)为节点j的阈值，P_ij表示节点i到节点j的分支数，D_ij(p)是节点i到j的第p条分支延迟时间，为节点i到j的第p条分支权值在t时刻的值。σ_j(·)是节点j的激活函数，决定了神经元j的输出。神经元j的激活函数选择双曲正切函数：

其中A为幅值，为斜率。

适应度函数选为：

$E_S=\frac{1}{2}\underset{t=1}{\overset{S}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{(h_j\left(t\right)-{\hat{h}}_j\left(t\right))}^2---\left(3\right)$

其中，S为样本总数，M为输出维数，h_j(t)为网络第j个节点的输出，为网络第j个节点的期望输出。

设定种群粒子数量为60个；训练最大迭代次数为2000次；选取嵌入维数m＝4，时间延迟τ＝1；RPNN网络结构如图2所示。

RPNN网络训练采用SAPSO混合优化算法。SAPSO具体算法流程如1所示。

本实施例以上证综指收盘价为研究对象，数据来源于同花顺股票行情软件。

数据区间为2011年1月4日至2015年4月17日，共1039个数据。

将前970个数据(2011年1月4日至2014年12月31日)作为多重分支时间延迟递归预测器神经网络RPNN的训练样本，并用SA-PSO混合优化算法训练网络；

如图3所示，将训练好的RPNN进行仿真(此时RPNN已获得最优网络参数，代表着混沌吸引子在重构相空间中的非线性映射F)，对比仿真值与样本的拟合情况，检验网络的泛化能力；

如图4所示，用训练好的RPNN进行预测。后69个数据作为预测样本(2015年1月4日至2015年4月17日)，采用单步动态方式进行预测，定性判断网络的预测性能；

对比预测值与样本，计算相关精度指标，定量化评价RPNN的预测性能。

为了定量化分析RPNN-SAPSO混沌时间序列预测模型的预测效果，采用预测相对误差指标ε来评价；

$\mathrm{\ϵ}=\left|\frac{y_i-{\hat{y}}_i}{{\hat{y}}_i}\right|\×100\%---\left(4\right)$

其中y_i和分别是预测值和期望值。预测相对误差指标越接近于0％，表明预测效果越好；预测无误差时等于0％。

本发明提出基于RPNN(递归预测器神经网络)结合模拟退火粒子群优化算法的时间序列预测模型，以混沌和相空间重构为理论基础，实现非线性时间序列预测。步骤包括由饱和关联维法计算时间序列吸引子维度，并选取嵌入维数和时间延迟，进行相空间重构。RPNN网络的结构由嵌入维数唯一确定，网络训练采用SAPSO混合优化算法。SAPSO算法结合了PSO算法的快速收敛特性和SA算法的全局搜索特性，在保留了收敛速度的同时，扩大了寻优搜索范围，保证了不陷入局部极值。本发明主要用于非线性时间序列的预测。

Claims (2)

1.一种时间序列预测的智能优化递归神经网络方法，其特征在于包括以下步骤：

(1)由饱和关联维(G-P)法计算时间序列吸引子维度D，并选取嵌入维数m>＝2D+1；再根据预测步长的需要，选取相应的时间延迟τ，进行相空间重构；

(2)由嵌入维数m唯一确定RPNN网络的结构，其节点数和m一致，设RPNN有n个节点，网络输入为 $\stackrel{\→}{X}\left(t\right)={(x\left(t\right),x(t-\mathrm{\τ}),\·\·\·,x(t-(n-1)\mathrm{\τ}))}^T,$ 则网络的输出为：

$y_j\left(t\right)={\mathrm{\σ}}_j(x_j\left(t\right)+b_j\left(t\right)+\underset{i=1}{\overset{j}{\mathrm{\Σ}}}\underset{p=1}{\overset{P_{\mathrm{ij}}}{\mathrm{\Σ}}}{y}_i(t-D_{\mathrm{ij}}\left(p\right))\×{\mathrm{\ω}}_{\mathrm{ij}}^p\left(t\right)),t\∈T---\left(1\right)$

其中，y_j(t)表示t时刻节点j的输出，x_j(t)为t时刻节点j的外部输入，b_j(t)为节点j的阈值，P_ij表示节点i到节点j的分支数，D_ij(p)是节点i到j的第p条分支延迟时间，为节点i到j的第p条分支权值在t时刻的值，σ_j(·)是节点j的激活函数，决定了神经元j的输出。

2.如权利要求1所述一种时间序列预测的智能优化递归神经网络方法，其特征在于在步骤(2)中，所述RPNN网络的训练采用SAPSO混合优化算法，具体步骤如下：

1)随机初始化粒子群(当前位置，历史最优位置)，初始化退火温度T₀、降温系数C；

2)计算每个粒子的适应度值f_itness(k)；

3)对每个粒子进行评价，将当前适应度值与其历史最优位置对应的适应度值相比较，决定是否更新个体历史最优位置P_best(k)；

4)对每个粒子进行评价，将其适应度值与群体最优位置对应的适应度值进行比较，决定是否更新群体最优位置G_best(k)；

5)更新粒子当前速度和当前位置，粒子完成进化；

6)在温度T_k下重复以下步骤，直到达到温度T_k下的平衡：

①在群体历史最优位置G_best(k)的邻域中随机产生做微小摄动G_best(k)→G'_best(k)，

②计算G_best(k)的适应度值与G'_best(k)适应度值的差值Δf_itness，

③依概率min{1,exp(-Δf/T_k)}＞random[0,1]接受新解G'_best(k)，其中random[0,1]是[0,1]区间内的随机数；

7)以降温系数C(C∈(0,1))缓慢退火，T_k+1＝CT_k，更新粒子群历史最优位置G_best(k)，k→k+1；

8)若满足算法停止的条件，即达到最大迭代次数或既定的适应度值，则整个算法结束；否则重复步骤2)～7)。