CN109598329A - 一种基于进化混沌边缘的卷积储备池优化方法 - Google Patents

Abstract

本发明涉及一种基于进化混沌边缘的卷积储备池优化方法，用于提升储备池的计算能力，包括以下步骤：1)将待处理的时间序列Y及其相关输入变量X划分为训练数据集和预测数据集；2)随机初始化输入连接矩阵、储备池第l阶延迟连接矩阵，并设定最大迭代次数和测试误差阈值；3)对超参数进行初始化；4)设定参数搜索空间；5)将训练数据集输入卷积回声状态网络，训练得到输入连接估计矩阵；6)将基于记忆策略和Lèvy随机游走的粒子群优化‑重力搜索算法的超参数作为粒子位置，进行混沌边缘储备池优化，从而获取卷积储备池的最优超参数。与现有技术相比，本发明具有模拟时间依赖性、稳定地混沌边缘、预测分类性能高等优点。

Description

一种基于进化混沌边缘的卷积储备池优化方法

技术领域

本发明涉及信息技术领域，尤其是涉及一种基于进化混沌边缘的卷积储备池优化方法。

背景技术

时间序列在金融、通信、气象、电力、控制、医学信号处理等领域广泛存在，开展基于时间序列的分析预测具有重要实际工程价值。目前处理时间序列的主要方法是递归神经网络，但由于递归神经网络存在梯度消退和计算复杂度问题，限制其实际应用。

储备池计算，最初分别作为回声状态网络和液体状态机形式出现，在过去几年中已经发展成为两个独立的子领域，并引起了相当多的关注。它试图建立一个运行在“混沌边缘”的动态储备池，当处于稳定和不稳定的临界状态时，其具有极强的计算能力。

当前的储备池是随机产生的，并不保证任何短期时间依赖性或计算能力，因此仍需要正则化来克服储备池的过拟合问题。

控制储备池运行在“混乱边缘”非常困难，因为它是一种游离的状态，既不是稳定状态也不是分叉状态。最近研究还表明，混沌边缘参数变化比较敏感。从生物进化的角度来看，变异进化会导致生态系统的复杂性，并会造成系统处于混沌或混乱边缘，因此生物变异进化是混沌边缘的一种主要实证，也说明混沌(边缘)是一种变化的状态而不是静止的状态，因此自动原胞机最早用于储备池优化，但是使用的规则不是足够复杂，不满足混沌边缘对复杂性的要求。

生物优化算法是一种常用的参数估计方法，但现有方法采用当前最佳适应度更新所有粒子位置信息，对于混沌边缘的复杂参数优化极易存在局部最小点。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于进化混沌边缘的卷积储备池优化方法。

本发明的目的可以通过以下技术方案来实现：

一种基于进化混沌边缘的卷积储备池优化方法，用于提升储备池的计算能力，包括以下步骤：

1)将待处理的时间序列Y及其相关输入变量X划分为训练数据集和预测数据集；

2)随机初始化输入连接矩阵W_in、储备池第l阶延迟连接矩阵(W_x)^l，l＝1,...,L， L为延迟阶数，并设定最大迭代次数和测试误差阈值；

3)对基于记忆策略和Lèvy随机游走的粒子群优化-重力搜索算法的超参数进行初始化；

4)设定卷积回声状态网络参数搜索空间；

5)将训练数据集输入卷积回声状态网络，对于批处理，采用Toeplitz矩阵简化回声状态网络状态向量，并进行训练得到输入连接估计矩阵

6)将基于记忆策略和Lèvy随机游走的粒子群优化-重力搜索算法的超参数作为粒子位置，进行混沌边缘储备池优化，从而获取卷积储备池的最优超参数。

所述的步骤3)中，基于记忆策略和Lèvy随机游走的粒子群优化-重力搜索算法的超参数包括PSO超参数、GSA超参数和Lèvy随机游走的超参数，所述的PSO 超参数包括种群大小M、最大迭代次数maxiter、惯性权重w、局部加速常数c₁和全局加速常数c₂，所述的GSA超参数包括引力常数初始值G₀和降序系数α，所述的Lèvy随机游走的超参数包括位置参数β和加速常数γ。

所述的步骤4)中，卷积回声状态网络参数搜索空间包括储备池大小P、延迟阶数L、稀疏度SD、输入尺度IS、输入单元位移ISH、教师信号尺度TS和教师信号位移TSH，并在搜索空间随机初始化所有粒子的位置矢量p及速度矢量v。

所述的步骤5)中，回声状态网络中卷积储备池的模型表达为：

y(n)＝W_outx(n)

其中，x(n)为n时刻的状态向量，表示卷积操作，y(n)为输出向量，W_in为输入连接矩阵，W_out为输出连接矩阵，u_in(n+1)为训练数据集的输入序列，f表示激活函数。

所述的步骤6)具体包括以下步骤：

61)将基于记忆策略和Lèvy随机游走的粒子群优化-重力搜索算法的超参数作为粒子，采用均方根误差函数计算所有粒子的适应度，并存储在记忆库中；

62)当迭代次数iter＜maxiter时，若记忆长度内的所有拟合函数变化均小于设定阈值，则调整为更大的速度策略系数S，否则，保持局部速度策略系数不变；

63)更新所有粒子的重力、重力常数、合力以及加速度，并根据适应度函数变化选择局部速度更新策略；

64)更新粒子的速度和位置向量，判断迭代次数是否达到最大迭代次数或满足设定的测试误差阈值，若是，则输出gb作为卷积储备池的最优超参数，若否，则重复执行步骤61)-64)，直到满足设定条件为止。

所述的步骤61)中，适应度NRMSE的计算式为：

其中，和分别为预测时间序列和实际时间序列的平均值，N为序列长度。

所述的步骤64)中，更新粒子的速度和位置向量的具体计算式为：

v_i(n)＝wv_i(n-1)+S*c₁rand₁ac_i(n-1)+c₂rand₂(gb-p_i(n-1))

p_i(n)＝Levy(p_i(n-1),β,γ)+v_i(n)

式中v_i(n)和p_i(n)分别是粒子i在n时刻的速度和位置矢量，gb为n时刻整个粒子群的最优位置矢量，w为惯性权重，c₁和c₂分别为局部和全局加速常数，ac_i为粒子i的加速度，rand₁和rand₂为介于0和1之间的随机数，S为依据适应度函数变化选择的速度策略系数，Levy(·)为Lèvy分布的概率密度函数。

与现有技术相比，本发明具有以下优点：

本发明采用卷积结构，更好地模拟时间序列中的时间依赖性，采用基于记忆策略和Lèvy随机游走克服常规粒子群优化-重力搜索算法中的局部最小问题，使得储备池能稳定地靠近混沌边缘，由于混沌边缘具有指数的表达能力，使得储备池具有超强的预测或分类性能，另外，本发明与复杂网络中的混沌边缘理论相一致，也为储备池的表达能力分析提供理论和技术支持。

附图说明

图1为本发明基于进化混沌边缘的卷积储备池优化示意图。

图2为本发明的方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

如图1、2和表1、2所示，本发明提供一种基于进化混沌边缘的卷积储备池优化方法，包括以下步骤：

一、建立回声状态网络模型

大多数接收信号来自异步，是原时间序列的延迟版本叠加。另一方面，卷积是一种描述如何叠加历史序列以生成相应输出的方法，因此储备池中的状态变量可以表示为卷积结构：

其中h_l,l＝1,...,L是l阶延迟的衰退系数，L是衰退阶数。

对于外部输入，采用时空卷积来描述其对储备池的影响，它不仅包括输入变量之间的相互约束，而且还包含时间序列自身的时间依赖性。给定维度为k₁×k₂的内核函数W_in，输入序列u_in在i,j,i＝1,...,k₁,j＝1,...,k₂时刻的输出表示为：

在线计算模式下，基于外部输入和状态变量的卷积形式，卷积回声状态网络表示如下:

y(n)＝W_outx(n)(4)

式中表示卷积操作，W_in是外部输入矩阵，(W_x)^l，l＝1,...,L是第l阶延迟状态连接矩阵，W_out是储备池输出连接矩阵。

在批量处理中，假设计算有限长度序列和的卷积，其非零元素可以表示为Toeplitz矩阵W_x和状态向量x的乘积：

h_l,l＝1,...,L是第l阶延迟系数。

此时储备池状态变量表示为：

二、储备池混沌边缘动态域控制

平衡点在相变理论中起着重要作用，并且出现在各种系统中。无论是具体的物质还是抽象变量，当系统接近其平衡点，其开始在微观水平上调整。当系统存在较大的局部活跃性时，表示新的平衡点出现，系统在平衡点具有极强的计算能力。

系统的动态性通过李雅普诺夫函数来判断。外部输入在状态更新中逐渐消失，卷积储备层的动态性主要取决于状态变量更新，表示如下：

根据链式求导，式(7)的雅可比矩阵可表示为：

动态性依赖于最大的李雅普诺夫函数λ，可由式(8)中的雅可比矩阵计算：

其中σ_p(n)，p＝1,...,P是n时刻J(x)的第p个特征值，P是储备池大小。

为了确定新的平衡点是否稳定，在平衡点处进行局部近似。对于一般激活函数，如sigmoid和tanh函数，0是一个恒定平衡点并且满足f(0)＝0，在0线性化式得到：

式(10)的第一部分J(0)是原点的雅可比矩阵，第二部分是L阶齐次微分方程，相应的拉普拉斯算子s表示为：

对于离散系统，当谱半径小于1时，系统处于稳定状态；当谱半径大于1时，系统处于混沌状态；当谱半径在1附近，尤其是略小于1时，系统处于局部活跃状态，具有极强的计算能力，因此控制谱半径略小于1以提升系统的计算能力。递归神经网络的输出激活函数，一般取在[-1,1]或[0,1]之间，因此谱半径小于1恒成立，系统恒稳定。另一方面，为了尽可能地使系统在混沌边缘，应选取输出在-1 或1附近的非线性函数作为激活函数，如阶跃函数，或者更小的尺度参数作为激活函数。从线性稳定性的条件来说，要求状态转换矩阵的特征值接近于无穷，这对于实际随机产生的状态矩阵来说过于苛刻，缺乏可执行性，因此只考虑设计输出在-1 或1附近的非线性函数作为激活函数。

特别地，考虑批处理的卷积动态性。前面内容已表明此时延迟状态连接矩阵简化为Toeplitz矩阵。根据对角矩阵的特征，Toeplitz矩阵的特征值仅取决于最大信道系数。由于历史值的衰减特性，系数通常小于1，因此Toeplitz矩阵的特征值通常小于1，特征函数通常小于1，这表明卷积结构的动态性比普通结构的动态性更强。

三、基于记忆策略和Lèvy随机游走的粒子群优化-引力搜索算法的参数估计

虽然动态域控制理论上可以使得系统接近混沌边缘，但由于混沌边缘自身的模糊性，还需要生物优化算法使其进一步靠近混沌边缘，并进行混沌边缘的参数估计。为了克服常规生物优化算法，如粒子群-引力搜索算法存在的局部最小点问题，本发明利用记忆策略来记录适应度函数变化，表示如下：

其中Sa(n)是n时刻的记忆状态；δ(n)和δ(n-1)分别是n和n-1时刻的适应度函数；δ_min是适应度函数变化阈值。

设置停止条件和记忆长度，在迭代停止前，如果记忆长度内任一适应度函数变化超过设定阈值(Sa＝1)，保持粒子局部速度不变；反之，如果所有适应度函数变化都小于阈值(Sa＝0)，重新调整粒子局部速度，帮助粒子跳出局部最小点。

为进一步加快粒子群-引力搜索算法的全球搜索能力，采用Lèvy随机游走来更新粒子位置。相比于随机跳跃，Lèvy过程的优点主要在于使用如下Lèvy分布的概率密度函数(PDF)：

式中p是位置信息，β表示位置参数，γ是加速度常量控制分布尺度。

根据上述分析，基于记忆策略和Lèvy随机游走的粒子群优化-引力搜索算法表示如下：

v_i(n)＝wv_i(n-1)+S*c₁rand₁ac_i(n-1)+c₂rand₂(gb-p_i(n-1)) (14)

p_i(n)＝Levy(p_i(n-1),β,γ)+v_i(n) (15)

式中v_i(n)和p_i(n)分别是粒子i在n时刻的速度和位置矢量；gb为n时刻整个粒子群的最优位置矢量，w为惯性权重；c₁和c₂分别是局部和全局加速常数，ac_i是粒子i的加速度；rand₁和rand₂是介于0和1之间的随机数；S是根据拟合函数变化采取的速度调整策略。

表1基于记忆策略的Keep-change策略

	历史状态	当前状态	策略
				1	0	0	改变
2	0	1	保持
				3	1	0	保持
4	1	1	保持

表2基于进化混沌边缘的卷积回声状态网络参数设定

实施例：

步骤1：采集待处理时间序列，包括待预测时间序列Y和其相关输入变量X。将序列X和Y划分为训练和预测数据集，其中远离当前时间点的序列划分为训练数据集，靠近当前时间点的序列划分为预测数据集。

步骤2：随机初始化输入连接矩阵W_in、储备池连接矩阵(W_x)^l，l＝1,....,L，设定最大迭代次数和测试误差阈值。

步骤3：基于记忆策略和Lèvy随机游走的粒子群优化-重力搜索算法的超参数初始化。本发明的初始化包括PSO、GSA和Lèvy随机游走，其中PSO超参数包含种群大小M，最大迭代次数maxiter，惯性权重w，局部加速常数c₁和全局加速常数c₂；GSA超参数包括引力常数初始值G₀和降序系数α；Lèvy随机游走的超参数包括位置参数β和加速常数γ。

步骤4：设定卷积回声状态网络参数搜索空间，包括储备池大小P、延迟阶数L、稀疏度SD、输入尺度IS、输入单元位移ISH、教师信号尺度TS和教师信号位移TSH，然后在搜索空间随机初始化所有粒子的位置矢量_p及速度矢量v。

步骤5：将训练时间序列(x,y)送入回声状态网络中，在在线计算模式下，状态向量x(n)和输出向量y(n)模型如下:

y(n)＝W_outx(n) (17)

式中表示卷积操作，u_in(n)和W_in分别是外部输入序列和输入连接矩阵， (W_x)^l，l＝1,...,L是第l阶延迟状态连接矩阵，W_out是储备池输出连接矩阵，f表示激活函数。

在批处理情况下，假设计算有限长度序列和的卷积，其非零元素可以表示为Toeplitz矩阵W_x和状态向量x的乘积，回声状态网络状态向量表示为：

其中h_l,l＝1,...,L是第l阶延迟系数。

输出连接矩阵估计由最小二乘法求解得到:

步骤6：利用均方根误差(NRMSE)函数计算所有粒子的适应度，并将其存储在记忆库中。

其中和分别是预测序列和实际时间序列的平均值。

步骤7：在迭代次数iter＜maxiter时，如果记忆长度内的所有拟合函数变化都小于阈值，调整为更大的速度策略S；反之，保持局部速度策略不变，并且粒子i在n 时刻的最优位置lb_i为lb_i＝p。

步骤8：分别使用式(21)、(22)和(23)更新所有粒子的重力、重力常数和合力，然后根据式(24)更新粒子i的加速度：

G(n)＝G₀×exp(-α×iter/maxiter) (22)

步骤9：根据记忆适应度函数变化选择局部速度更新策略。

步骤10：根据式(25)和(26)分别更新粒子i的速度和位置向量。

v_i(n)＝wv_i(n-1)+S*c₁rand₁ac_i(n-1)+c₂rand₂(gb-p_i(n-1)) (25)

p_i(n)＝Levy(p_i(n-1),β,γ)+v_i(n) (26)

式中v_i(n)和p_i(n)分别是粒子i在n时刻的速度和位置矢量；gb为n时刻整个粒子群的最优位置矢量，w为惯性权重；c₁和c₂分别是局部和全局加速常数，ac_i是粒子i的加速度；rand₁和rand₂是介于0和1之间的随机数；S是依据适应度函数变化采取的速度调整策略。

步骤11：判断迭代是否达到最大迭代次数或满足设定测试误差阈值；若是，停止程序，输出gb为卷积储备池的最优超参数选择，否则重复执行步骤6-步骤10，直到满足设定条件为止。

Claims (7)

1.一种基于进化混沌边缘的卷积储备池优化方法，用于提升储备池的计算能力，其特征在于，包括以下步骤：

1)将待处理的时间序列Y及其相关输入变量x划分为训练数据集和预测数据集；

2)随机初始化输入连接矩阵W_in、储备池第l阶延迟连接矩阵(W_x)^l，l＝1,...,L，L为延迟阶数，并设定最大迭代次数和测试误差阈值；

3)对基于记忆策略和Lèvy随机游走的粒子群优化-重力搜索算法的超参数进行初始化；

4)设定卷积回声状态网络参数搜索空间；

5)将训练数据集输入卷积回声状态网络，对于批处理，采用Toeplitz矩阵简化回声状态网络状态向量，并进行训练得到输入连接估计矩阵

6)将基于记忆策略和Lèvy随机游走的粒子群优化-重力搜索算法的超参数作为粒子位置，进行混沌边缘储备池优化，从而获取卷积储备池的最优超参数。

2.根据权利要求1所述的一种基于进化混沌边缘的卷积储备池优化方法，其特征在于，所述的步骤3)中，基于记忆策略和Lèvy随机游走的粒子群优化-重力搜索算法的超参数包括PSO超参数、GSA超参数和Lèvy随机游走的超参数，所述的PSO超参数包括种群大小M、最大迭代次数maxiter、惯性权重ω、局部加速常数c₁和全局加速常数c₂，所述的GSA超参数包括引力常数初始值G₀和降序系数α，所述的Lèvy随机游走的超参数包括位置参数β和加速常数γ。

3.根据权利要求1所述的一种基于进化混沌边缘的卷积储备池优化方法，其特征在于，所述的步骤4)中，卷积回声状态网络参数搜索空间包括储备池大小P、延迟阶数L、稀疏度SD、输入尺度IS、输入单元位移ISH、教师信号尺度TS和教师信号位移TSH，并在搜索空间随机初始化所有粒子的位置矢量p及速度矢量v。

4.根据权利要求1所述的一种基于进化混沌边缘的卷积储备池优化方法，其特征在于，所述的步骤5)中，回声状态网络中卷积储备池的模型表达为：

y(n)＝W_outx(n)

其中，x(n)为n时刻的状态向量，表示卷积操作，y(n)为输出向量，W_in为输入连接矩阵，W_out为输出连接矩阵，u_in(n+1)为训练数据集的输入序列，f表示激活函数。

5.根据权利要求4所述的一种基于进化混沌边缘的卷积储备池优化方法，其特征在于，所述的步骤6)具体包括以下步骤：

61)将基于记忆策略和Lèvy随机游走的粒子群优化-重力搜索算法的超参数作为粒子，采用均方根误差函数计算所有粒子的适应度，并存储在记忆库中；

62)当迭代次数iter<maxiter时，若记忆长度内的所有拟合函数变化均小于设定阈值，则调整为更大的速度策略系数S，否则，保持局部速度策略系数不变；

63)更新所有粒子的重力、重力常数、合力以及加速度，并根据适应度函数变化选择局部速度更新策略；

64)更新粒子的速度和位置向量，判断迭代次数是否达到最大迭代次数或满足设定的测试误差阈值，若是，则输出gb作为卷积储备池的最优超参数，若否，则重复执行步骤61)-64)，直到满足设定条件为止。

6.根据权利要求5所述的一种基于进化混沌边缘的卷积储备池优化方法，其特征在于，所述的步骤61)中，适应度NRMSE的计算式为：

其中，和分别为预测时间序列和实际时间序列的平均值，N为序列长度。

7.根据权利要求5所述的一种基于进化混沌边缘的卷积储备池优化方法，其特征在于，所述的步骤64)中，更新粒子的速度和位置向量的具体计算式为：

v_i(n)＝wv_i(n-1)+S*c₁rand₁ac_i(n-1)+c₂rand₂(gb-p_i(n-1))

p_i(n)＝Levy(p_i(n-1),β,γ)+v_i(n)

式中v_i(n)和p_i(n)分别是粒子i在n时刻的速度和位置矢量，gb为n时刻整个粒子群的最优位置矢量，w为惯性权重，c₁和c₂分别为局部和全局加速常数，ac_i为粒子i的加速度，rand₁和rand₂为介于0和1之间的随机数，S为依据适应度函数变化选择的速度策略系数，Levy(·)为Lèvy分布的概率密度函数。