CN110348625A - 基于小世界无标度网络的非线性时间序列预测方法 - Google Patents

Abstract

本发明涉及基于小世界无标度网络的非线性时间序列预测方法，基于小世界无标度网络替代随机网络得到小世界无标度回声状态网络SSESN，采用减聚类优化算法，对随机分布神经元进行聚类，自适应获取最优分簇方案，提高SSESN储备池网络的分簇性能；根据神经元的聚类情况，通过簇内连接和簇间连接构建小世界无标度网络连接模型，提取各个节点连接信息，计算储备池内部连接矩阵，根据生成的SSESN储备池网络和输入/输出训练样本集构建基于小世界无标度网络的非线性时间序列预测模型，提高非线性时间序列预测模型的预测精度。

Description

基于小世界无标度网络的非线性时间序列预测方法

技术领域

本发明涉及一种非线性时间序列预测方法，尤其是一种基于小世界无标度网络的非线性时间序列预测方法。

背景技术

时间序列预测在气象、工业、经济等领域有着广泛应用，然而现实世界中多数时间序列数据呈现出较强的非线性特征，利用非线性预测模型对非线性时间序列进行预测逐渐成为了国内外研究的热点。常用的回声状态网络预测方法(ESN)，其采用储备池计算，通过一个大规模稀疏连接的随机型储备池来保证模型对非线性数据的映射能力，学习方法高效且容易。

然而传统ESN采用随机网络作为储备池，其随机性使得模型出现训练无目的性、适应性差、可调整的网络参数少等问题。并且，具有相同节点个数和谱半径的储备池也会因为具体结构不同而表现出巨大差别，因此，为了满足非线性时间序列准确有效的预测需求，需要对ESN的储备池网络结构进行分析与改进。有鉴于此，本案由此而生。

发明内容

本发明的目的是提高非线性时间序列预测模型的预测精度，为解决上述技术问题，本发明采用的技术方案是：

基于小世界无标度网络的非线性时间序列预测方法，采用小世界无标度网络生成小世界无标度回声状态网络SSESN，SSESN网络中采用减聚类优化算法对随机分布神经元进行聚类，自适应获取最优分簇方案，并根据神经元的聚类情况，通过簇内连接和簇间连接构建小世界无标度网络连接模型；提取各个节点连接信息，准备输入数据和输出监督，输入层输入样本数据并获得SSESN网络内部连接矩阵，收集内部状态变量并判断是否收集完毕，收集完毕后生成内部状态矩阵，计算输出连接矩阵并对其监督，完成构建基于小世界无标度网络的非线性时间序列预测模型。

进一步优化，所述最优分簇方案采用如下方法：

Step1：设定簇首数目k＝2；

Step2：设定减聚类初始参数组合Γ＝[r_a,θ]；r_a为聚类中心有效邻域半径，θ为密度阈值；

Step3：计算神经元节点密度函数，确定第一个簇首位置；神经元节点i密度函数f_i ¹表示如下：

其中，f_i ¹为神经元节点i密度函数，M_i＝(x_i,y_i)，M_j＝(x_j,y_j)为随机分布神经元节点的两个二维空间坐标，选定最大的密度值对应的神经元作为储备池的第一个簇首；

Step4：去除前z(z＝1,2,3.....)个簇首影响，计算神经元密度函数：

其中，f_i ^z+1为第z+1个簇首对应的神经元i的密度函数，f_i ^z为第z个簇首对应的神经元i的密度函数，为前z个簇首中最大密度值的神经元i的密度函数，为前z个簇首中最大密度值的神经元i的坐标，选取r_b＝1.5r_a；选定更新后的最大密度值对应的神经元作为储备池的第z+1个簇首；

Step5：判断是否成立，若成立，则进行Step6，否则进行Step4；

Step6：减聚类结束，网络形成了g个簇首；

Step7：判断簇首数目g是否等于设定簇首数k，若等于k，则进行Step8，否则进行Step3；

Step8：不同的参数组合下得到不同分簇方案，针对每种分簇方案分别计算最大簇内距离方差，选取最大簇内距离方差最小的候选方案作为k个簇首数目下的最优分簇方案；

Step9：采用下列公式计算簇内距离方差分布密度；

其中，f(v_i)为簇内距离方差分布密度，N为样本点数，k为设定簇首数，v_max为所有簇首数目下最大的最大簇内距离方差，v_min为所有簇首数目下最小的最大簇内距离方差，Q_i为各簇包含神经元；

Step10：计算簇内距离方差似然估计函数；

其中，l为簇内距离方差似然估计函数；

Step11：计算AIC值：

Step12：判断AIC值是否为最小值，若为最小值，则确定当前k为最优簇首数目以及所选最优分簇方案；否则k＝k+1，进行Step2。

进一步优化，所述小世界无标度网络连接模型的构建方法如下：

(1)：选择一个簇；

(2)：将簇内神经元分为骨干神经元和局部神经元，分别计算每个局部神经元到骨干神经元的距离，根据距离由近到远将局部神经元分为：M_i(i＝1,2,3.....)，取i＝1；

(3)：进行无标度连接，选择M_i，以离骨干神经元的距离为半径、M_i为圆心画圆，将进行过无标度连接且在圆以内的神经元命名为候选邻居神经元，并统计候选邻居神经元总个数Q，设定局部神经元的最大连接数N_max；

(4)：若N_max≥Q，则新的局部神经元全部连接到所有候选邻居神经元；若N_max≤Q，则新的局部神经元按以下概率连接到所有候选邻居神经元：

其中，P表示新的局部神经元j∈(1,Q)连接到每个候选邻居神经元j的概率，d_j表示当前候选邻居神经元j的已连接数，C表示新的局部神经元的候选邻居集合；若N_max≤Q，根据概率P选择从所有候选邻居中选择N_max个与之进行连接，连接为1，不连接为0；

(5)：判断簇内局部神经元是否已全部加入，若全部加入，则进行(6)，否则i＝i+1进行(3)；

(6)：完成该簇簇内连接；

(7)：判断所有簇是否已全部完成簇内连接，若已完成，则进行(8)，否则进行(1)；

(8)：将每个骨干神经元进行全连接，完成簇间连接。

进一步优化，所述基于小世界无标度网络的非线性时间序列预测模型的具体构建方法如下：

A1：准备输入数据和输出监督，输入层输入样本数据且获得SSESN网络内部连接矩阵；

A2：根据状态更新公式收集内部状态变量；

SSESN网络的状态更新公式为：

x(t)＝f(W_inu(t)+W_xx(t-1)) (8)

其中,u(t)、x(t)分别表示SSESN网络t时刻的输入变量、状态变量；激活函数f取双曲正切tanh函数；W_in、W_x分别为输入连接矩阵、SSESN网络内部连接矩阵，其中W_in和W_x在网络训练前随机产生，在训练过程中不再改变；

A3：判断内部状态变量是否收集完毕，若收集完毕，则进行A4，否则进行A2；

A4：生成内部状态矩阵X；

A5：根据最小二乘计算输出连接矩阵，并对其进行监督；输出方程为：

y(t)＝x^T(t)W_out (9)

其中，x(t)、y(t)分别表示SSESN网络t时刻的状态变量、输出变量，W_out表示输出连接矩阵，通过线性回归计算得到。

本发明的有益效果是：

本发明采用小世界无标度网络代替随机网络作为时间预测模型的储备池，弥补了由传统ESN的随机性带来的一系列缺陷。在生成SSESN储备池网络时，对于随机分布的神经元节点，采用减聚类优化算法，自适应获取最优分簇方案，提高了SSESN储备池网络的分簇性能。根据神经元的聚类情况，通过簇内连接和簇间连接构建小世界无标度网络连接模型，并提取各个节点连接信息，计算SSESN储备池内部连接矩阵，提高非线性时间序列预测模型的预测精度。

附图说明

图1是本发明基于小世界无标度网络的非线性时间序列预测模型框架示意图；

图2是本发明基于小世界无标度网络的非线性时间序列预测方法实现框图；

图3是本发明实施例中最优分簇方案流程图；

图4是本发明实施例中小世界无标度网络连接模型构建流程图；

图5是本发明基于小世界无标度网络的非线性时间序列预测模型构建流程图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，本实施例以下公式中给出的相同字母参数定义前后保持一致。

本实施例公开一种基于小世界无标度网络的非线性时间序列预测方法，该方法如图1所示，整个框架分为三层：左侧为输入层，右侧为输出层，中间为储备池网络。本发明采用小世界无标度网络代替传统ESN随机网络作为时间预测模型的储备池，因此图1中的储备池网络为SSESN储备池网络。

为了提高非线性时间序列预测模型的准确性，本实施例中的基于小世界无标度网络的非线性时间序列预测方法，如图2所示，先采用小世界无标度网络生成小世界无标度回声状态网络SSESN，SSESN网络中采用减聚类优化算法对随机分布神经元进行聚类，自适应获取最优分簇方案，并根据神经元的聚类情况，通过簇内连接和簇间连接构建小世界无标度网络连接模型；提取各个节点连接信息，准备输入数据和输出监督，输入层输入样本数据并获得SSESN网络内部连接矩阵，收集内部状态变量并判断是否收集完毕，收集完毕后生成内部状态矩阵，计算输出连接矩阵并对其监督，完成构建基于小世界无标度网络的非线性时间序列预测模型。

其中，上述提及的对SSESN网络中随机分布的神经元减聚类优化以及最优分簇方案具体方法如下(如图3所示)：

Step1：设定簇首数目k＝2；

Step2：设定减聚类初始参数组合Γ＝[r_a,θ]；r_a为聚类中心有效邻域半径，θ为密度阈值；

Step3：计算神经元节点密度函数，确定第一个簇首位置；神经元节点i密度函数f_i ¹表示如下：

其中，f_i ¹为神经元节点i密度函数，M_i＝(x_i,y_i)，M_j＝(x_j,y_j)为随机分布神经元节点的两个二维空间坐标，选定最大的密度值对应的神经元作为储备池的第一个簇首；

Step4：去除前z(z＝1,2,3.....)个簇首影响，计算神经元密度函数：

其中，f_i ^z+1为第z+1个簇首对应的神经元i的密度函数，f_i ^z为第z个簇首对应的神经元i的密度函数，为前z个簇首中最大密度值的神经元i的密度函数，为前z个簇首中最大密度值的神经元i的坐标，选取r_b＝1.5r_a；选定更新后的最大密度值对应的神经元作为储备池的第z+1个簇首；

Step5：判断是否成立，若成立，则进行Step6，否则进行Step4；

Step6：减聚类结束，网络形成了g个簇首；

Step7：判断簇首数目g是否等于设定簇首数k，若等于k，则进行Step8，否则进行Step3；

Step8：不同的参数组合下得到不同分簇方案，针对每种分簇方案分别计算最大簇内距离方差，选取最大簇内距离方差最小的候选方案作为k个簇首数目下的最优分簇方案；

Step9：采用下列公式计算簇内距离方差分布密度；

其中，f(v_i)为簇内距离方差分布密度，N为样本点数，k为设定簇首数，v_max为所有簇首数目下最大的最大簇内距离方差，v_min为所有簇首数目下最小的最大簇内距离方差，Q_i为各簇包含神经元；

Step10：计算簇内距离方差似然估计函数；

其中，l为簇内距离方差似然估计函数；

Step11：计算AIC值：

Step12：判断AIC值是否为最小值，若为最小值，则确定当前k为最优簇首数目以及所选最优分簇方案；否则k＝k+1，进行Step2。

当按照上述方法获得最优分簇方案后，需要根据一定规则构建小世界无标度网络连接模型，提取各个节点连接信息，计算储备池内部连接矩阵，分为簇内连接和簇间连接两部分进行构建，具体步骤如下所示(参见图4)：

(1)：选择一个簇；

(2)：将簇内神经元分为骨干神经元(簇头)和局部神经元(一般节点)，分别计算每个局部神经元到骨干神经元的距离，根据距离由近到远将局部神经元分为：M_i(i＝1,2,3.....)，取i＝1；

(3)：进行无标度连接，选择M_i，以离骨干神经元的距离为半径、M_i为圆心画圆，将进行过无标度连接且在圆以内的神经元命名为候选邻居神经元，并统计候选邻居神经元总个数Q，设定局部神经元的最大连接数N_max；

(4)：若N_max≥Q，则新的局部神经元全部连接到所有候选邻居神经元；若N_max≤Q，则新的局部神经元按以下概率连接到所有候选邻居神经元：

其中，P表示新的局部神经元j∈(1,Q)连接到每个候选邻居神经元j的概率，d_j表示当前候选邻居神经元j的已连接数，C表示新的局部神经元的候选邻居集合；若N_max≤Q，根据概率P选择从所有候选邻居中选择N_max个与之进行连接，连接为1，不连接为0；

(5)：判断簇内局部神经元是否已全部加入，若全部加入，则进行(6)，否则i＝i+1进行(3)；

(6)：完成该簇簇内连接；

(7)：判断所有簇是否已全部完成簇内连接，若已完成，则进行(8)，否则进行(1)；

(8)：将每个骨干神经元进行全连接，完成簇间连接。

最后，如图5所示，根据上述方法生成的SSESN储备池网络以及输入/输出训练样本集构建基于小世界无标度网络的非线性时间序列预测模型，其具体步骤如下：

A1：准备输入数据和输出监督，输入层输入样本数据且获得SSESN网络内部连接矩阵；

A2：根据状态更新公式收集内部状态变量；

SSESN网络的状态更新公式为：

x(t)＝f(W_inu(t)+W_xx(t-1)) (8)

其中,u(t)、x(t)分别表示SSESN网络t时刻的输入变量、状态变量；激活函数f取双曲正切tanh函数；W_in、W_x分别为输入连接矩阵、SSESN网络内部连接矩阵，其中W_in和W_x在网络训练前随机产生，在训练过程中不再改变；

A3：判断内部状态变量是否收集完毕，若收集完毕，则进行A4，否则进行A2；

A4：生成内部状态矩阵X；

A5：根据最小二乘计算输出连接矩阵，并对其进行监督；输出方程为：

y(t)＝x^T(t)W_out (9)

其中，x(t)、y(t)分别表示SSESN网络t时刻的状态变量、输出变量，W_out表示输出连接矩阵，通过线性回归计算得到。

综上所述，本发明采用基于小世界无标度网络代替随机网络作为时间预测模型的储备池，弥补了由传统ESN的随机性带来的一系列缺陷，提高了非线性时间序列预测模型的预测精度。在生成SSESN储备池网络时，对于随机分布的神经元节点，采用减聚类优化算法，自适应获取最优分簇方案，提高了储备池网络的分簇性能；根据神经元的聚类情况，通过簇内连接和簇间连接构建小世界无标度网络连接模型，提取各个节点连接信息，计算储备池内部连接矩阵，从而提高非线性时间序列预测模型的预测精度。其中，通过减聚类优化算法，以最大簇内距离方差作为评价指标，获得不同簇首数目下的最优分簇方案；引入AIC准则作为评判标准，计算最优的簇首数目，此算法在非线性时间序列预测中具有较高的应用价值。

以上实施例仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围中。

Claims (4)

1.基于小世界无标度网络的非线性时间序列预测方法，其特征在于：采用小世界无标度网络生成小世界无标度回声状态网络SSESN，SSESN网络中采用减聚类优化算法对随机分布神经元进行聚类，自适应获取最优分簇方案，并根据神经元的聚类情况，通过簇内连接和簇间连接构建小世界无标度网络连接模型；提取各个节点连接信息，准备输入数据和输出监督，输入层输入样本数据并获得SSESN网络内部连接矩阵，收集内部状态变量并判断是否收集完毕，收集完毕后生成内部状态矩阵，计算输出连接矩阵并对其监督，完成构建基于小世界无标度网络的非线性时间序列预测模型。

2.根据权利要求1所述的基于小世界无标度网络的非线性时间序列预测方法，其特征在于：所述最优分簇方案采用如下方法：

2.1：设定簇首数目k＝2；

2.2：设定减聚类初始参数组合Γ＝[r_a,θ]；r_a为聚类中心有效邻域半径，θ为密度阈值；

2.3：计算神经元节点密度函数，确定第一个簇首位置；神经元节点i密度函数f_i ¹表示如下：

其中，f_i ¹为神经元节点i密度函数，M_i＝(x_i,y_i)，M_j＝(x_j,y_j)为随机分布神经元节点的两个二维空间坐标，选定最大的密度值对应的神经元作为储备池的第一个簇首；

2.4：去除前z(z＝1,2,3.....)个簇首影响，计算神经元密度函数：

其中，f_i ^z+1为第z+1个簇首对应的神经元i的密度函数，f_i ^z为第z个簇首对应的神经元i的密度函数，为前z个簇首中最大密度值的神经元i的密度函数，为前z个簇首中最大密度值的神经元i的坐标，选取r_b＝1.5r_a；选定更新后的最大密度值对应的神经元作为储备池的第z+1个簇首；

2.5：判断是否成立，若成立，则进行2.6，否则进行2.4；

2.6：减聚类结束，网络形成了g个簇首；

2.7：判断簇首数目g是否等于设定簇首数k，若等于k，则进行2.8，否则进行2.3；

2.8：不同的参数组合下得到不同分簇方案，针对每种分簇方案分别计算最大簇内距离方差，选取最大簇内距离方差最小的候选方案作为k个簇首数目下的最优分簇方案；

2.9：采用下列公式计算簇内距离方差分布密度；

其中，f(v_i)为簇内距离方差分布密度，N为样本点数，k为设定簇首数，v_max为所有簇首数目下最大的最大簇内距离方差，v_min为所有簇首数目下最小的最大簇内距离方差，Q_i为各簇包含神经元；

2.10：计算簇内距离方差似然估计函数；

其中，l为簇内距离方差似然估计函数；

2.11：计算AIC值：

2.12：判断AIC值是否为最小值，若为最小值，则确定当前k为最优簇首数目以及所选最优分簇方案；否则k＝k+1，进行2.2。

3.根据权利要求1所述的基于小世界无标度网络的非线性时间序列预测方法，其特征在于：所述小世界无标度网络连接模型的构建方法如下：

3.1：选择一个簇；

3.2：将簇内神经元分为骨干神经元和局部神经元，分别计算每个局部神经元到骨干神经元的距离，根据距离由近到远将局部神经元分为：M_i(i＝1,2,3.....)，取i＝1；

3.3：进行无标度连接，选择M_i，以离骨干神经元的距离为半径、M_i为圆心画圆，将进行过无标度连接且在圆以内的神经元命名为候选邻居神经元，并统计候选邻居神经元总个数Q，设定局部神经元的最大连接数N_max；

3.4：若N_max≥Q，则新的局部神经元全部连接到所有候选邻居神经元；若N_max≤Q，则新的局部神经元按以下概率连接到所有候选邻居神经元：

其中，P表示新的局部神经元j∈(1,Q)连接到每个候选邻居神经元j的概率，d_j表示当前候选邻居神经元j的已连接数，C表示新的局部神经元的候选邻居集合；若N_max≤Q，根据概率P选择从所有候选邻居中选择N_max个与之进行连接，连接为1，不连接为0；

3.5：判断簇内局部神经元是否已全部加入，若全部加入，则进行3.6，否则i＝i+1进行3.3；

3.6：完成该簇簇内连接；

3.7：判断所有簇是否已全部完成簇内连接，若已完成，则进行3.8，否则进行3.1；

3.8：将每个骨干神经元进行全连接，完成簇间连接。

4.根据权利要求1所述的基于小世界无标度网络的非线性时间序列预测方法，其特征在于：所述基于小世界无标度网络的非线性时间序列预测模型的具体构建方法如下：

4.1：准备输入数据和输出监督，输入层输入样本数据且获得SSESN网络内部连接矩阵；

4.2：根据状态更新公式收集内部状态变量；

SSESN网络的状态更新公式为：

x(t)＝f(W_inu(t)+W_xx(t-1)) (8)

其中,u(t)、x(t)分别表示SSESN网络t时刻的输入变量、状态变量；激活函数f取双曲正切tanh函数；W_in、W_x分别为输入连接矩阵、SSESN网络内部连接矩阵，其中W_in和W_x在网络训练前随机产生，在训练过程中不再改变；

4.3：判断内部状态变量是否收集完毕，若收集完毕，则进行4.4，否则进行4.2；

4.4：生成内部状态矩阵X；

4.5：根据最小二乘计算输出连接矩阵，并对其进行监督；输出方程为：

y(t)＝x^T(t)W_out (9)

其中，x(t)、y(t)分别表示SSESN网络t时刻的状态变量、输出变量，W_out表示输出连接矩阵，通过线性回归计算得到。