CN110516792A - 基于小波分解和浅层神经网络的非平稳时间序列预测方法 - Google Patents

Abstract

本发明公开了基于小波分解和浅层神经网络的时间序列预测方法，解决了非平稳时间序列预测效率低的问题。实现步骤是：获取训练集和测试集；构建时间序列预测模型；对时间序列预测模型进行训练；对子时间序列进行预测；获取一维非平稳时间序列预测结果。本发明所构建的时间序列预测模型，由浅层神经网络并列排布组成，浅层神经网络的网络结构简单，网络参数少，训练和预测的效率高，提高了一维非平稳时间序列预测的预测效率。

Description

基于小波分解和浅层神经网络的非平稳时间序列预测方法

技术领域

本发明属于数据处理技术领域，涉及一种一维非平稳时间序列预测方法，具体涉及一种基于小波分解和浅层神经网络的一维非平稳时间序列预测方法，可用于非平稳时间序列的预测。

背景技术

时间序列指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列，根据时间序列的特性，时间序列可分为平稳时间序列和非平稳时间序列，平稳时间序列是指时间序列的均值没有系统的变化，方差没有系统的变化，且不存在周期性变化的时间序列，不是平稳时间序列的时间序列则为非平稳时间序列。实际生活中的大多数时间序列都是非平稳时间序列，如股票指数时间序列，道路交通流量时间序列，地区年降雨量时间序列。这些数据中蕴藏了丰富的信息，如股票发展状态，交通流量走势，降雨量变化规律。挖掘其中隐含的规律，对时间序列的未来发展趋势作科学预测，是十分有益的。以股票时间序列为例，对时间序列进行预测可以指导股民分析现有股票时间序列的未来走势，对股民的投资有重要的参考价值。非平稳时间序列预测根据时间序列的维度可分为多维非平稳时间序列预测和一维非平稳时间序列预测，多维非平稳时间序列预测方法包括基于自适应降噪和集成LSTM的预测方法和基于神经网络和支撑向量机的预测方法，一维非平稳时间序列预测方法主要分为两类，基于平稳时间序列预测方法改进的非平稳时间序列预测和基于神经网络的非平稳时间序列预测方法。

基于平稳时间序列预测方法改进的非平稳时间序列预测方法，首先将非平稳时间序列平稳化，然后构造平稳时间序列的预测方法进行预测，最后将预测结果去平稳化，然而平稳化过程会损失非平稳时间序列本身的特征信息，使得时间序列的预测精度较差；基于神经网络的非平稳时间序列预测方法利用神经网络较好的拟合能力，对非平稳时间时间序列建立神经网络模型并预测，提高了非平稳时间序列的预测精度。例如申请公布号为CN107102969A，名称为“一种时间序列数据的预测方法和系统”的专利申请，公开了一种基于小波分解，LSTM和ARMA的时间序列预测方法。该方法对由t-1个时刻的数据组成的序列进行小波分解，得到n个子序列；对n个子序列分别进行平稳性检测；其中，对于非平稳序列，利用t-1时刻的数据建立深度学习LSTM模型，并分别预测t时刻的值，然后求和得到非平稳部分预测；同理，对于平稳子序列，则分别建立ARMA模型然后预测t时刻的值，并求和得到平稳部分的预测；最后将非平稳部分和平稳部分在t时刻的预测值求和，得到最终预测值。该方法存在的不足之处是：采用深度学习LSTM模型建模非平稳子序列时，尽管得到较好的预测精度，但模型的结构十分复杂，训练模型十分耗费时间，因而模型的预测效率较低。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于小波分解和浅层神经网络的一维时间序列预测方法，在保证预测精度的基础上提高预测效率。

本发明的技术思路是：将复杂的非平稳时间序列的状态值标准化至-1到1区间，然后将标准化后的时间序列通过小波分解得到多维特征单一的子时间序列，然后构建训练集和测试集数据，接着使用子时间序列的训练样本训练浅层神经网络，在测试集上使用时间序列预测模型进行预测，得到各个子时间序列的预测结果，将这些子时间序列的预测结果通过小波重构和去标准化得到最终的时间序列预测结果。

根据上述技术思路，实现本发明目的采取的技术方案包括如下步骤：

(1)获取训练集D_Tr和测试集D_Te：

(1a)对一维非平稳时间序列L进行归一化，得到标准一维非平稳时间序列其中，L＝[L(1),L(2),…,L(j),…,L(n)]，L(j)为L在时刻j的状态值，为在时刻j的状态值，j＝1,2,…,n，n≥100；

(1b)对标准一维非平稳时间序列进行小波分解，得到N维子时间序列其中，为第i维子时间序列， 为第i维子时间序列在时刻j的状态值，i＝1,2,…,N，{N|N∈Z∩N∈[2,6]}；

(1c)构建数据集D，D＝{D₁,D₂,…,D_i,…,D_N}，其中第i个数据子集D_i的第j-k个样本为d_i,j-k，X_j-k为从N维子时间序列所选取的N个特征向量所组成的状态值向量，X_j-k＝(x_1,j-k，x_2,j-k，…，x_i,j-k，…，x_N,j-k)，x_i,j-k为从中选取时刻j以前的k个历史时刻子时间序列状态值组成特征向量， 为从中选取时刻j的子时间序列状态值，j＝k+1,k+2,…,n，{k|k∈Z∩k∈[1,6]}；

(1d)将D中的每个数据集D_i的前70％的数据组成训练集D_Tr，将其余的数据组成测试集D_Te，D_Tr＝{D_1,train,D_2,train,…,D_i,train,…,D_N,train}，D_Te＝{D_1,test,D_2,test,…,D_i,test,…,D_N,test}，D_i,train为第i组训练集，D_i,test为第i组测试集；

(2)构建时间序列预测模型S：

构建由N个并列排布的浅层神经网络组成的时间序列预测模型S，S＝{S₁,S₂,…,S_i,…S_N}，第i个浅层神经网络S_i包括依次层叠的输入层、M个隐藏层、输出层，其中，输入层的节点数为k×N，隐藏层的节点数为P，输出层的节点数为1，输入层和隐藏层中节点的激活函数为tanh函数，输出层中节点无激活函数，{M|M∈Z∩M∈[1,3]}，{P|P∈Z∩P∈[1,6]}；

(3)对时间序列预测模型S进行训练：

将D_Tr中第i组训练集D_i,train作为时间序列预测模型S中的第i个浅层神经网络S_i的输入，并采用Adam训练算法对S_i进行K次迭代监督训练，得到训练好的时间序列预测网络模型S′，S′＝{S′₁,S′₂,…,S′_i,…S′_N}，K≥1000；

(4)对N维子时间序列进行预测：

将D_Te中第i组测试集D_i,test作为S′中第i个训练好的时间序列预测网络S′_i的输入，对N维子时间序列进行预测，得到预测的N维子时间序列

(5)获取一维非平稳时间序列预测结果L′：

(5a)对N维子时间序列进行小波重构，得到预测的标准一维非平稳时间序列 其中，为预测的第i维子时间序列在时刻j的状态值，为在时刻j的状态值；

(5b)对预测的标准一维非平稳时间序列进行去归一化，得到预测的一维非平稳时间序列L′＝[L′(1),L′(2),…,L′(j),…,L′(n)]，其中为在时刻j的状态值，L′(j)为L′在时刻j的状态值。

本发明与现有技术相比，具有如下优点：

1.本发明所构建的时间序列预测模型，由浅层神经网络并列排布组成，浅层神经网络的网络结构简单，网络参数少，训练和预测的效率较高，与现有技术使用的深度长短期记忆网络LSTM相比，提高了一维非平稳时间序列预测的预测效率。

2.本发明在获取训练集和测试集时，对时间序列采用了小波分解得到了多个子时间序列，从每个子时间序列中选择特征向量组成状态值向量，然后使用状态值向量构建单个浅层神经网络的数据集，相比现有技术中仅使用单个子时间序列的特征值组成状态值向量，继而构建单个LSTM的数据集，对子时间序列中的特征向量的利用更加充分，因而与现有技术使用的深度长短期记忆网络LSTM相比虽然模型的结构简单，但却能保证非平稳时间序列的预测精度。

附图说明

图1为本发明的实现流程图；

图2为本发明的时间序列结果仿真图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步的详细描述。

参照图1，本发明包括如下步骤：

步骤1)获取训练集D_Tr和测试集D_Te：

(1a)本实施例使用的一维非平稳时间序列L为公布在雅虎金融网站上的从2016年1月1日至2017年1月1日共计251个状态值构成的股票指数时间序列，L＝[L(1),L(2),…,L(j),…,L(251)]。为了消除股票指数中的奇异时间序列状态值造成后续浅层神经网络在训练时无法收敛的问题，对L进行归一化，得到 L(j)为L在时刻j的状态值，为在时刻j的状态值，j＝1,2,…,251，。在时刻j的状态值L(j)的归一化公式为：

其中，为L(j)归一化后获取的标准一维非平稳时间序列在时刻j的状态值，和分别为所有状态值中的最大值和最小值，在本实施例中取1和-1，L(j)为L在时刻j的状态值，L_max和L_min分别为L所有状态值中的最大值和最小值。

(1b)对标准一维非平稳时间序列进行小波分解，得到N维子时间序列其中，为第i维子时间序列， 为第i维子时间序列在时刻j的状态值，i＝1,2,…,N，N的值通过网格搜索得到，在本实施例中N取3。小波分解是一种时频变换方法，通过小波分解得到的子时间序列包含的频谱信息简单，子时间序列的特征明显，在将小波分解后得到的子序列上进行预测能够有效提升时间序列的预测精度。在本发明中我们采用Harr小波分解方法，第i维子时间序列在时刻j的状态值的小波分解计算公式为：

其中，c_i(j)为残差系数：

其中，为标准一维非平稳时间序列在时刻j的状态值。

(1c)构建数据集D，D＝{D₁,D₂,…,D_i,…,D₃}，其中第i个数据子集D_i的第j-k个样本为d_i,j-k，X_j-k为从3维子时间序列所选取的3个特征向量所组成的状态值向量，X_j-k＝(x_1,j-k，x_2,j-k，…，x_i,j-k，…，x_3,j-k)，x_i,j-k为从中选取时刻j以前的k个历史时刻子时间序列状态值组成特征向量，k的值通过网格搜索得到，在本实施例中k取5， 为从中选取时刻j的子时间序列状态值，j＝6,7,…,251；

其中，数据集D_i的样本组成如下所示，

第1个样本d_i,1：

第2个样本d_i,2：

……

第246个样本d_i,246：

(1d)将D中的每个数据集D_i的前70％的数据组成训练集D_Tr，将其余的数据组成测试集D_Te，数据集D_i的训练集数据划分比例取常用的比例70％，D_Tr＝{D_1,train,D_2,train,…,D_i,train,…,D_3,train}，D_Te＝{D_1,test,D_2,test,…,D_i,test,…,D_3,test}，D_i,train为第i组训练集，包含172个样本，D_i,test为第i组测试集，包含74个样本；

步骤2)构建时间序列预测模型S：

构建由3个并列排布的浅层神经网络组成的时间序列预测模型S，S＝{S₁,S₂,…,S_i,…S₃}，第i个浅层神经网络S_i包括依次层叠的输入层、M个隐藏层、输出层，M通过网格搜索方法得到，在本实施例中M取2。其中，输入层的节点数为15，隐藏层的节点数为P，P通过网格搜索方法得到，在本实施例中P取2，输出层的节点数为1，输入层和隐藏层中节点的激活函数为tanh函数，输出层中节点无激活函数。浅层神经网络的结构十分简单，参数少，使得基于小波分解和浅层神经网络的非平稳时间序列预测方法提高了现有非平稳时间序列预测技术的预测效率。

步骤3)对时间序列预测模型S进行训练：

将D_Tr中第i组训练集D_i,train作为时间序列预测模型S中的第i个浅层神经网络S_i的输入，并采用Adam训练算法对S_i进行K次迭代监督训练，得到训练好的时间序列预测网络模型S′，S′＝{S′₁,S′₂′,…,S′_i,…S′₃}，K在本实施例中取1000。Adam训练算法是一种一阶优化算法，其具有所需内存小，计算高效，适用于非平稳性目标函数的优化，且对学习率不敏感，因而在本实施例中我们采用Adam算法优化浅层神经网络，。

步骤4)对3维子时间序列进行预测：

将D_Te中第i组测试集D_i,test作为S′中第i个训练好的时间序列预测网络S′_i的输入，对3维子时间序列进行预测，得到预测的3维子时间序列

步骤5)获取一维非平稳时间序列预测结果L′：

(5a)对3维子时间序列进行小波重构，得到预测的标准一维非平稳时间序列 其中，为预测的第i维子时间序列在时刻j的状态值，为在时刻j的状态值，预测的标准一维非平稳时间序列在时刻j的状态值的重构公式为：

其中，为第i维子时间序列在时刻j的状态值。

(5b)对预测的标准一维非平稳时间序列进行去归一化，得到预测的一维非平稳时间序列L′＝[L′(1),L′(2),…,L′(j),…,L′(251)]，其中为在时刻j的状态值，L′(j)为L′在时刻j的状态值，预测的标准一维非平稳时间序列在时刻j的状态值的去归一化公式为：

其中，L′(j)为L′在时刻j的状态值，L′_max和L′_min分别为L′所有状态值中的最大值和最小值，为在时刻j的状态值。

然后根据预测的标准一维非平稳时间序列L′和L计算时间序列预测准确性的评价指标RMSE，其计算公式如下所示：

以下结合仿真实验，对本发明的技术效果做进一步的说明：

1.仿真实验条件：

本发明的仿真实验的硬件平台为：处理器为Intel(R)Core(TM)i5200-U CPU@2.20GHz，内存为8.00GB，固态硬盘为500GB。

本发明的仿真实验的软件平台为：Windows 10操作系统和Anaconda3(64-bit)中的spyder。

本发明的仿真实验使用公布在雅虎金融网站上的从2016年1月1日至2017年1月1日共计251个状态值构成的股票指数时间序列，数据来源为“https://finance.yahoo.com/quote/％5EGSPC/history？p＝％5EGSPC”。

2.仿真内容及其结果分析：

基于小波分解和浅层神经网络的非平稳时间序列预测方法准确性的评价指标RMSE为12.375，与现有技术的预测精度相当；重要的是，基于小波分解和浅层神经网络的非平稳时间序列预测方法在给定网络结构后，训练和预测时间序列的时间为9.072s，时间序列预测效率相比现有技术有较大提升，预测的标准一维非平稳时间序列L′和标准一维非平稳时间序列L的结果仿真图参照图2。

以上仿真实验表明：本发明利用小波分解将一维非平稳时间序列分解为多个特征简单的子时间序列，提取子时间序列的特征向量，利用浅层神经网络分别建模多个子时间序列，之后对经模型预测得到子时间序列进行小波重构，得到预测的一维非平稳时间序列的状态值。试验表明，本发明能够精准的预测非平稳时间序列。此外，基于小波分解和浅层神经网络的非平稳时间序列预测方法由于采用浅层神经网络，相比现有技术参数较少，所需的时间成本较低，很适合实际的非平稳时间序列预测场景的应用和部署。本发明解决了现有预测效率低的缺点，是一种非常实用的一维非平稳时间序列预测方法。

Claims (5)

1.一种基于小波分解和浅层神经网络的非平稳时间序列预测方法，其特征在于，包括如下步骤：

(1)获取训练集D_Tr和测试集D_Te：

(1a)对一维非平稳时间序列L进行归一化，得到标准一维非平稳时间序列其中，L＝[L(1),L(2),…,L(j),…,L(n)]，L(j)为L在时刻j的状态值，为在时刻j的状态值，j＝1,2,…,n，n≥100；

(1b)对标准一维非平稳时间序列进行小波分解，得到N维子时间序列其中，为第i维子时间序列， 为第i维子时间序列在时刻j的状态值，i＝1,2,…,N，{N|N∈Z∩N∈[2,6]}；

(1c)构建数据集D，D＝{D₁,D₂,…,D_i,…,D_N}，其中第i个数据子集D_i的第j-k个样本为d_i,j-k，X_j-k为从N维子时间序列所选取的N个特征向量所组成的状态值向量，X_j-k＝(x_1,j-k，x_2,j-k，…，x_i,j-k，…，x_N,j-k)，x_i,j-k为从中选取时刻j以前的k个历史时刻子时间序列状态值组成特征向量， 为从中选取时刻j的子时间序列状态值，j＝k+1,k+2,…,n，{k|k∈Z∩k∈[1,6]}；

(1d)将D中的每个子数据集D_i的前70％的数据组成训练集D_Tr，将其余的数据组成测试集D_Te，D_Tr＝{D_1,train,D_2,train,…,D_i,train,…,D_N,train}，D_Te＝{D_1,test,D_2,test,…,D_i,test,…,D_N,test}，D_i,train为第i组训练集，D_i,test为第i组测试集；

(2)构建时间序列预测模型S：

构建由N个并列排布的浅层神经网络组成的时间序列预测模型S，S＝{S₁,S₂,…,S_i,…S_N}，第i个浅层神经网络S_i包括依次层叠的输入层、M个隐藏层、输出层，其中，输入层的节点数为k×N，隐藏层的节点数为P，输出层的节点数为1，输入层和隐藏层中节点的激活函数为tanh函数，输出层中节点无激活函数，{M|M∈Z∩M∈[1,3]}，{P|P∈Z∩P∈[1,6]}；

(3)对时间序列预测模型S进行训练：

将D_Tr中第i组训练集D_i,train作为时间序列预测模型S中的第i个浅层神经网络S_i的输入，并采用Adam训练算法对S_i进行K次迭代监督训练，得到训练好的时间序列预测网络模型S′，S′＝{S′₁,S′₂,…,S′_i,…S′_N}，K≥1000；

(4)对N维子时间序列进行预测：

将D_Te中第i组测试集D_i,test作为S′中第i个训练好的时间序列预测网络S_i′的输入，对N维子时间序列进行预测，得到预测的N维子时间序列

(5)获取一维非平稳时间序列预测结果L′：

(5a)对N维子时间序列进行小波重构，得到预测的标准一维非平稳时间序列 其中，为预测的第i维子时间序列在时刻j的状态值，为在时刻j的状态值；

(5b)对预测的标准一维非平稳时间序列进行去归一化，得到预测的一维非平稳时间序列L′＝[L′(1),L′(2),…,L′(j),…,L′(n)]，其中为在时刻j的状态值，L′(j)为L′在时刻j的状态值。

2.根据权利要求1所述的基于小波分解和浅层神经网络的非平稳时间序列预测方法，其特征在于，步骤(1a)中所述的对一维非平稳时间序列L进行归一化，其中在时刻j的状态值L(j)的归一化公式为：

其中，为L(j)归一化后获取的标准一维非平稳时间序列在时刻j的状态值，和分别为所有状态值中的最大值和最小值，L(j)为L在时刻j的状态值，L_max和L_min分别为L所有状态值中的最大值和最小值。

3.根据权利要求1所述的基于小波分解和浅层神经网络的非平稳时间序列预测方法，其特征在于，步骤(1b)中所述的对标准一维非平稳时间序列进行小波分解，其中第i维子时间序列在时刻j的状态值的小波分解计算公式为：

其中，c_i(j)为残差系数：

其中，为标准一维非平稳时间序列在时刻j的状态值。

4.根据权利要求1所述的基于小波分解和浅层神经网络的非平稳时间序列预测方法，其特征在于，步骤(5a)中所述的对N维子时间序列进行小波重构，其中预测的标准一维非平稳时间序列在时刻j的状态值的重构公式为：

其中，为第i维子时间序列在时刻j的状态值。

5.根据权利要求1所述的基于小波分解和浅层神经网络的非平稳时间序列预测方法，其特征在于，步骤(5b)中所述的对预测的标准一维非平稳时间序列进行去归一化，其中预测的标准一维非平稳时间序列在时刻j的状态值的去归一化公式为：

其中，L′(j)为L′在时刻j的状态值，L′_max和L′_min分别为L′所有状态值中的最大值和最小值，为在时刻j的状态值，和分别为所有状态值中的最大值和最小值。