CN111222706A - 一种基于粒子群优化与自编码器的混沌时间序列预测方法 - Google Patents
一种基于粒子群优化与自编码器的混沌时间序列预测方法 Download PDFInfo
- Publication number
- CN111222706A CN111222706A CN202010029477.8A CN202010029477A CN111222706A CN 111222706 A CN111222706 A CN 111222706A CN 202010029477 A CN202010029477 A CN 202010029477A CN 111222706 A CN111222706 A CN 111222706A
- Authority
- CN
- China
- Prior art keywords
- data
- particle
- particles
- dimension
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002245 particle Substances 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005457 optimization Methods 0.000 title claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 53
- 230000000739 chaotic effect Effects 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 32
- 238000013528 artificial neural network Methods 0.000 claims description 22
- 230000035772 mutation Effects 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 16
- 238000012804 iterative process Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 238000009827 uniform distribution Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 8
- 238000003915 air pollution Methods 0.000 description 6
- 239000013618 particulate matter Substances 0.000 description 4
- 230000002028 premature Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 239000000809 air pollutant Substances 0.000 description 2
- 231100001243 air pollutant Toxicity 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000748 cardiovascular system Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 244000144992 flock Species 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0418—Architecture, e.g. interconnection topology using chaos or fractal principles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Tourism & Hospitality (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- General Business, Economics & Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Physiology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种基于粒子群优化与自编码器的混沌时间序列预测方法，属于复杂系统的混沌时间序列建模分析领域。该预测方法针对传统的简单模型在混沌时间序列预测时存在的不足，结合堆栈自编码网络可以进行多次无监督特征提取和智能优化算法不要求严格数学条件的特点，改进了传统模型直接预测采集到的数据的方式。本发明首先应用混沌和相空间重构理论，将原始数据映射到高维空间，揭示出混动系统中蕴藏的演化信息，然后利用堆栈自编码网络进行特征提取，最后进行预测。并应用粒子群优化算法优化预测模型的输出权值，使得模型具有更好的泛化性能，最终有效提高混沌时间序列模型的预测精度。
Description
技术领域
本发明属于复杂系统的混沌时间序列建模分析领域，特别是涉及一种基于粒子群优化与自编码器的混沌时间序列预测方法。
背景技术
时间序列是由分析动态系统的研究人员按照一定的规则间隔t采样得到的一些有序观测数据x(t)。时间序列预测是依据过去的信息建立适当的模型，并对未来一定时期的趋势进行定量预测。混沌是指确定性动力学系统因对初值敏感而表现出的长期不可预测的、类似随机性的运动。混沌时间序列是一类具有混沌特性的时间序列，混沌时间序列对初始条件敏感，运动轨道仅限于有限区域，且轨道不重复，短期可预测，长期不可预测。现实世界的时间序列大多具有混沌特征。分析时间序列的规律并用它来预测它们未来的行为是非常有用的，如气象预报、灾害预警、金融趋势分析和交通流预测。传统的时间序列建模方法，如自回归综合移动平均模型、支持向量回归、回声状态网络等，已经在科学界和工业界得到了广泛的应用。
传统的预测模型虽然取得了显著的效果，但同时仍然存在一些问题，特别是如何训练模型的权值。梯度下降法是训练神经网络权值的常用方法。然而，基于梯度的方法需要满足严格的数学条件，在高维空间中很容易陷入鞍点区域。因此，研究人员也在寻找其他的训练模式。近年来，一些专家将智能优化算法应用到时间序列预测的建模过程中。这些算法原理简单、操作简捷、易于并行化，引起了不同背景研究者的广泛关注。
智能优化算法是一种启发式技术。受社会群体活动或自然现象的启发，人类发明了大量的智能优化算法来解决复杂的优化问题，包括遗传算法、差分进化算法和粒子群优化算法(Particle Swarm Optimization，简称PSO)。智能优化算法不要求目标函数具有特殊的数学性质，如凸性、可微性等，因而被广泛应用于建模优化中。结合优化算法和机器学习模型对连接权值进行训练，取得了一定的效果。PSO算法已经研究了几十年，最早由Russell Eberhart和James Kennedy于1995年提出，最初用于模拟鸟群的运动。PSO算法由于其结构简单、实现简单、灵活性强等特点，在解决各种优化问题中得到了广泛的应用和关注。
随着数据采集技术和数据科学的发展，研究人员对动态系统的复杂性也有了很大的提高。例如，气象系统受降雨、温度、湿度、风速、日照强度等多种因素的影响，具有大量的随机相关成分和高度非线性特征。混沌时间序列的复杂特征明显增加了建立合适的模型和分析数据的难度。空气污染物序列是一种典型的混沌时间序列。随着城市化和工业化的快速发展，交通规模和能源需求不断扩大。大量污染物，越来越多地释放到大气中，这导致严重的空气污染问题。近年来，空气污染逐渐从单一城市蔓延到邻近地区，呈现出明显的区域特征,以PM2.5为代表的大气复合污染在中国中东部地区日益严重。PM2.5是指大气中直径小于或等于2.5微米的颗粒物，常被称为可入肺颗粒物。空气中的这些悬浮颗粒会损害人体的呼吸系统和心血管系统，可能进一步导致其他疾病。对于大气污染尤其是颗粒物PM2.5的准确预报，能让人们及时采取预防措施，保护身体健康。同时也能告诫人类大气污染日益严峻，应及时采取环境保护措施，控制空气污染和促进人类社会可持续发展。有效预测PM2.5浓度等空气污染物对于有效治理空气污染、节能减排等具有重要的意义。
本发明由国家自然基金项目(61773087)资助。
发明内容
本发明的目的在于克服传统时间序列预测模型的不足，提供基于堆栈自编码神经网络(Stacked Autoencoder Neural Network，简称SAE)结合改进粒子群优化算法(Modified Particle Swarm Optimization，简称MPSO)的混沌时间序列预测模型，可实混沌时间序列预测，提高预测精度的一种基于MPSO算法与SAE的混沌时间序列预测方法。
本发明解决上述问题的技术方案如下：
一种基于粒子群优化与自编码器的混沌时间序列预测方法，包括以下步骤：
步骤1：加载混沌时间序列原始数据集xi(t)，i＝1,2,…,d，t＝1,2,…,n，数据维数为d，样本数为n。
步骤2：选定嵌入维数m＝(m1,m2,…,md)和延迟时间τ＝(τ1,τ2,…,τd)为相空间重构参数，其中，m1,m2,…,md分别表示原始时间序列第1维，第2维，…，第d维数据的嵌入维数，τ1,τ2,…,τd分别表示第1维，第2维，…，第d维数据的延迟时间。
步骤3：利用相空间重构理论进行数据预处理。用时间延迟的方法构造高维相空间矢量X(t)＝[x1(t),x1(t+τ),…,x1(p),…,xd(t),xd(t+τ),…,xd(q)]，
表示重构后的数据，
表示重构后数据维数，x1(p),p＝t+(m1-1)τ1表示将原始数据第1维序列中的第p个样本重构为数据X中第p维序列的第t个样本，xd(q),q＝t+(md-1)τd表示将原始数据第d维序列中的第q个样本重构为数据X中第di维序列的第t个样本。
步骤4：将重构后的时间序列X划分为训练数据和测试数据，其中数据的前75％作为训练数据，总计ts组训练数据，数据的后25％作为测试数据，总计ss组测试数据。训练数据用来训练整个模型，测试数据用来验证训练好的模型。
步骤5：预设SAE模型的参数，选取的网络由2层自动编码器堆叠形成，输入参数包括权重衰减参数、稀疏惩罚项的权重、隐藏单元平均激活率等。
步骤6：将训练数据作为堆栈自编码神经网络SAE的输入数据进行特征提取。首先将训练数据作为第一层自编码器的输入进行第一次特征提取，再将第一层自编码器的输出特征li(t),i＝1,…,s作为第二层自编码器的输入进行第二次特征提取，得到输出特征zi(t),i＝1,…,k，其中s和k分别表示第一层和第二层自编码器的输出特征维数；
步骤7：提高预测模型的泛化性能，克服过拟合问题，采用前馈神经网络作为整个模型的输出，即两次特征提取后的输出特征zi(t)作为前馈神经网络的输入，利用改进粒子群优化算法MPSO优化前馈神经网络的输出权值。
所述的前馈神经网络输入权值和隐含层偏置随机产生。隐含层输出矩阵G的计算方法如下：
其中z(t)表示第二层自动编码器的输出特征，αi,(i＝1,…,r)表示前馈神经网络的第i个隐含层节点与输入层节点之间的连接权值，bi,(i＝1,…,r)表示第i个隐含层节点的偏置，r表示隐含层中的节点个数，ts为数据个数，g(·)表示激活函数；
步骤8：采用改进的MPSO算法迭代更新粒子信息，计算新的输出权值，通过不断迭代寻找使MPSO算法的目标函数最小的输出权值。所述的目标函数设置为损失函数的L2范数与输出权值的L1范数的加权和：
其中W表示网络的输出权值，在PSO算法中表示粒子；T表示期望输出向量，|| ||2表示L2范数，|| ||1表示L1范数，λ是正则项系数；
具体步骤如下：
8.1：初始化改进的粒子群优化算法，设置其参数：种群规模为NP，最大迭代次数为MaxIt，搜索空间维数即为W的维数r；
8.2：利用Logistic混沌映射进行粒子位置初始化：
pi＝μpi(1-pi),i＝0,1,2,… (3)
其中μ是控制参数，取μ＝4。当0≤p0≤1时，系统处于混沌状态。给定任意初始值p0∈[0,1]，就可以迭代出一个确定的序列。
使用Logistic混沌映射生成一组序列，然后选择序列中的连续NP个点作为粒子的初始位置；
8.3：通过计算目标函数值评估所有的粒子；
8.4：选择所有粒子中目标函数值最小粒子的位置信息为当前的种群历史最优位置ygbset；
8.5：设定当前所有粒子的位置信息为当前的个体历史最优位置
8.6：在迭代过程中，惯性权重ω、学习因子c1和c2按如下方式自适应计算：
ω＝ωmax-(ωmax-ωmin)*(t/MaxIt) (4)
c1＝(c12-c11)*(t/tMaxIt)+c11 (5)
c2＝(c22-c21)*(t/tMaxIt)+c21 (6)
其中t表示当前迭代次数，ωmax和ωmin分别为ω的最大值和最小值。通常，c11和c22设置为2.5，c12和c21设置为0.5。在迭代过程中ω值不断减小，从而提高了算法的局部搜索性能。该方法在c1减小而c2增大的情况下，可以得到比原始PSO更好的性能；
8.7：基于速度和位置更新公式更新粒子信息：
yi(t)＝yi(t-1)+vi(t) (8)
其中，惯性权重ω并可用于控制算法的探索和收敛能力，学习因子c1和c2是反映粒子间信息交换的学习因子，r1和r2为区间[0,1]上服从均匀分布的随机数；
8.8：应用突变策略。随着迭代次数的增加，变异概率随着迭代次数的增加而增大，防止粒子陷入局部最优或过早收敛，粒子的正常收敛在早期不会受到影响，在后期可以防止种群陷入局部最优。一旦触发变异策略，粒子的信息被复制，新粒子的位置将会重置。如果新粒子的目标值小于突变前的粒子的目标值，新粒子将取代突变前的粒子。否则，仍将使用以前的粒子；
8.9：将所有的粒子的速度信息和位置信息限制在给定的范围内；如果速度值超出给定区间，则将速度调整为该区间内的随机数。如果位置超出给定区间，立即将速度方向；
8.10：再次通过计算目标函数值评估所有的粒子；
8.11：更新粒子的个体历史最优位置
和种群历史最优位置ygbset；
选择粒子目前的位置信息和
选择具有更小目标函数值的位置为该粒子新的个体历史最优位置
将当前的ygbset与种群中的每一个粒子位置信息带入目标函数中，若ygbset的目标函数值更小，则ygbset仍保持原值；若当前参与比较的粒子位置的目标函数值更小，则更新ygbset为该粒子的目标函数值，并用更新后的ygbset进行后续的比较，直到当代种群中所有粒子均进行一次比较；
8.12：当达到最大迭代次数MaxIt时，优化过程完成。此时的历史最优位置向量ygbset即为预测模型的输出权值，此时便完成整个预测模型的训练，得到MPSO-SAE模型；
步骤9：利用测试数据对训练好的模型进行验证，便可进行混沌时间序列预测，得到模型的输出值
下面对MPSO算法的主要改进进行详细介绍：
(1)在原始PSO算法中，粒子的初始位置是随机产生的，这种方法很难保证初始粒子在决策空间中的均匀分布，而且初始和迭代的随机性会导致迭代过程中出现早熟现象。由于混沌序列的随机性和遍历性，Logistic序列可以初始化每个粒子的位置向量。通过迭代，基于当前群体历史最优位置ygbset创建Logistic序列，然后使用序列中的一个解随机替换当前总体中一个粒子的位置。该策略在PSO算法中加入混沌映射，可以在迭代过程中产生多个局部最优解的邻域点，从而增强快速寻找全局最优解的能力，防止算法陷入局部最优；
(2)突变策略最早是在遗传算法中提出的，常用于亲子进化中。原始PSO算法在迭代开始时收敛迅速。在迭代过程中，收敛速度变得更慢，更稳定。也可以在PSO算法的迭代过程中加入突变策略，因此我们设计了一种PSO算法的变异策略。随着迭代次数的增加，粒子容易陷入局部最优或过早收敛，因此变异概率随着迭代次数的增加而增大。因此，粒子的正常收敛在早期不会受到影响，在后期可以防止种群陷入局部最优。一旦触发变异策略，粒子的信息被复制，新粒子的位置被重置。比较粒子，如果新粒子能达到更好的值，新粒子将取代突变前的粒子。否则，仍将使用以前的粒子。在PSO算法中引入变异算子，可以提高搜索能力，避免早熟收敛，避免陷入局部最优；
(3)速度调整策略。粒子的速度被限制在一定的范围内。当粒子速度超过预设的间隔时，该速度将被间隔中的随机数替换。此操作可以避免粒子在搜索过程中飞得太快，跳过最优解。速度控制粒子的移动方向和步幅，然后这些粒子被引导到有效区域。如果粒子的目标函数值在连续n代迭代中没有变化，则在给定间隔内重置粒子的速度。采用重置策略避免早熟收敛。
使用以上方法做不仅可以改善PSO算法，也能促使改进后的算法更好的训练预测模型权值向量，从而很好地预测混沌时间序列。
本发明的有益效果如下：
(1)本发明的MPSO优化算法在训练网络权值时比最小二乘法训练权值的方法，泛化性能好，适定性、鲁棒性更强，预测精度更高。尤其针对具有实际意义的时间序列时，效果提升更加明显。
(2)本发明首先应用混沌和相空间重构理论，将原始时间序列重构到高维空间，揭示动态系统的演化信息，其次通过SAE进行多次特征提取，进行数据降维，然后通过MPSO算法对前馈神经网络进行训练、最后确定网络的动态最优输出权值，使模型整体的仿真预测值与实际值达到最小误差精度。本发明解决了基于最小二乘法的训练方法不适定、泛化性能差的问题，所建立的MPSO-SAE预测方法泛化性能更好，更适应实际时间序列尤其空气污染时间序列的预测建模，编程计算简洁、高效、预测精度高，在混沌时间序列预测中有着广泛的应用。
附图说明
图1是混沌时间序列预测过程流程图。
图2是MPSO-SAE模型结构示意图。
图3是北京地区每小时AQI时间序列的单步预测曲线图。图3(a)为AQI时间序列曲线与预测曲线的对比图，图3(b)为预测曲线与真实曲线的绝对误差。
具体实施方式
以下实施例将结合附图对本发明作进一步的说明。
一种基于粒子群优化与自编码器的混沌时间序列预测方法，该方法基于MPSO算法和SAE实现，预测过程流程见图1。方法主要包括相空间重构、利用堆栈自编码进行特征提取以及利用PSO算法训练预测模型的输出权值。参见图2，本发明的具体实施步骤如下：
步骤1：加载混沌时间序列原始数据集xi(t)，t＝1,2,…,43800，i＝1,2,…,5，原始数据集中包括n＝43800组样本，每组样本有d＝5维数据变量；
步骤2：选定嵌入维数m＝(m1,m2,…,md)＝(40,40,40,40,40)和延迟时间τ＝(τ1,τ2,…,τd)＝(1,1,1,1,1)为相空间重构参数，m1＝m2＝…＝md＝40分别表示时间序列第1维，第2维，…，第d维数据的嵌入维数，τ1＝τ2＝…＝τd＝1分别表示第1维，第2维，…，第d维数据的延迟时间。x1(p),p＝t+(m1-1)τ1表示将原始数据第1维序列中的第p个样本重构为第p维序列中的第t个样本，xd(q),q＝t+(md-1)τd表示将原始数据第d维序列中的第q个样本重构为第di维序列中的第t个样本；
步骤3：利用相空间重构理论进行数据预处理。用时间延迟的方法构造高维相空间矢量X(t)＝[x1(t),x1(t+τ1),…,x1(p),…,xd(t),xd(t+τd),…,xd(q)]，
表示重构后的数据，重构后数据包含
维变量，x1(p),p＝t+(m1-1)τ1＝t+39表示将原始数据第1维序列中的第p个样本重构为数据X中第p维序列的第t个样本，xd(q),q＝t+(md-1)τd＝t+39表示将原始数据第5维序列中的第q个样本重构为数据X中第di＝200维序列的第t个样本；
步骤4：将重构后的时间序列X划分为训练数据和测试数据，其中数据的前75％作为训练数据，总计32850组训练数据，数据的后25％作为测试数据，总计10950组测试数据。训练数据用来训练整个模型，测试数据用来验证训练好的模型；
步骤5：预设SAE模型的参数，选取的网络由2层自编码器堆叠形成，输入参数包括权重衰减参数为3×10-3，稀疏惩罚项的权重为3，隐藏单元平均激活率为0.05，等；
步骤6：将训练数据作为堆栈自编码神经网络SAE的输入数据进行特征提取。首先将训练数据作为第一层自编码器的输入进行第一次特征提取，再将第一层自编码器的输出特征li(t),i＝1,…,s，作为第二层自编码器的输入进行第二次特征提取，得到输出特征zi(t),i＝1,…,k；其中第一层和第二层自编码器的输出特征维数分别为s＝100和k＝10；
步骤7：提高预测模型的泛化性能，克服过拟合问题，采用前馈神经网络作为整个模型的输出，即两次特征提取后的输出特征zi(t),i＝1,…,k作为前馈神经网络的输入，利用改进粒子群优化算法MPSO优化前馈神经网络的输出权值；
所述的前馈神经网络输入权值和隐含层偏置随机产生。隐含层输出矩阵G的计算方法如下：
其中z(t)表示第二层自动编码器的输出特征，αi,(i＝1,…,r)表示前馈神经网络的第i个隐含层节点与输入层节点之间的连接权值，bi,(i＝1,…,r)表示第i个隐含层节点的偏置，隐含层中的节点个数为r＝100，数据个数ts＝32850，激活函数为sigmoid函数
步骤8：采用改进的MPSO算法迭代更新粒子信息，计算新的输出权值，通过不断迭代寻找使MPSO算法的目标函数最小的输出权值。所述的目标函数设置为损失函数的L2范数与输出权值的L1范数的加权和：
其中W是网络的输出权值，在PSO算法中表示粒子；T表示期望输出向量，||||2表示L2范数，||||1表示L1范数，正则项系数λ＝5×10-5；
具体步骤如下：
8.1：初始化初始化改进的粒子群优化算法，设置其参数：种群规模为40，最大迭代次数为100，搜索空间维数即为W的维数为100；
8.2：利用Logistic混沌映射进行粒子位置初始化：
pi＝μpi(1-pi),i＝0,1,2,… (11)
其中μ是控制参数，取μ＝4。当0≤p0≤1时，系统处于混沌状态。给定任意初始值p0∈[0,1]，就可以迭代出一个确定的序列。
使用Logistic混沌映射生成一组序列，然后选择序列中的连续40个点作为粒子的初始位置；
8.3：通过计算目标函数值评估所有的粒子；
8.4：选择所有粒子中目标函数值最小粒子的位置信息为当前的种群历史最优位置ygbset；
8.5：设定当前所有粒子的位置信息为当前的个体历史最优位置ypbseti；
8.6：在迭代过程中，惯性权重ω、学习因子c1和c2按如下方式自适应计算：
ω＝ωmax-(ωmax-ωmin)*(t/MaxIt) (12)
c1＝(c12-c11)*(t/tMaxIt)+c11 (13)
c2＝(c22-c21)*(t/tMaxIt)+c21 (14)
其中t表示当前迭代次数，ωmax和ωmin分别为ω的最大值和最小值。通常，c11和c22设置为2.5，c12和c21设置为0.5。在迭代过程中ω值不断减小，从而提高了算法的局部搜索性能。该方法在c1减小而c2增大的情况下，可以得到比原始PSO更好的性能；
8.7：基于速度和位置更新公式更新粒子信息：
yi(t)＝yi(t-1)+vi(t) (16)
其中，惯性权重ω并可用于控制算法的探索和收敛能力，学习因子c1和c2是反映粒子间信息交换的学习因子，r1和r2为区间[0,1]上服从均匀分布的随机数；
8.8：应用突变策略。随着迭代次数的增加，变异概率随着迭代次数的增加而增大，防止粒子陷入局部最优或过早收敛，粒子的正常收敛在早期不会受到影响，在后期可以防止种群陷入局部最优。一旦触发变异策略，粒子的信息被复制，新粒子的位置将会重置。如果新粒子的目标值小于突变前的粒子的目标值，新粒子将取代突变前的粒子。否则，仍将使用以前的粒子；
8.9：将所有的粒子的速度信息和位置信息限制在给定的范围内；如果速度值超出给定区间，则将速度调整为该区间内的随机数。如果位置超出给定区间，立即将速度方向；
8.10：再次通过计算目标函数值评估所有的粒子；
8.11：更新粒子的个体历史最优位置
和种群历史最优位置ygbset；
选择粒子目前的位置信息和
选择具有更小目标函数值的位置为该粒子新的个体历史最优位置
将当前的ygbset与种群中的每一个粒子位置信息带入目标函数中，若ygbset的目标函数值更小，则ygbset仍保持原值；若当前参与比较的粒子位置的目标函数值更小，则更新ygbset为该粒子的目标函数值，并用更新后的ygbset进行后续的比较，直到当代种群中所有粒子均进行一次比较；
8.12：当达到最大迭代次数MaxIt时，优化过程完成。此时的历史最优位置向量ygbset即为预测模型的输出权值，此时便完成整个预测模型的训练，得到MPSO-SAE模型；
步骤9：利用10950组测试数据对训练好的模型进行验证，便可进行混沌时间序列预测，得到模型输出值
以下给出具体实施例：
以北京地区空气质量指数(Air Quality Index,简称AQI)时间序列为研究对象，数据来源于UCI机器学习数据库。
数据区间为2010年1月1日0:00至2014年12月31日23:59，共43800组样本，每组样本包括5维变量，分别为每小时采集的PM2.5浓度、露点温度、气温、气压和累积风速。
将前75％的数据(32850组样本，2010年1月1日0:00至2013年9月1日17:59)作为该方法的训练样本，并用MPSO算法优化前馈神经网络输出权值。
如图3所示，将训练好的MPSO-SAE进行仿真(此时前馈神经网络已获得最优输出权值)，比较仿真值与样本的拟合情况，检验本方法的泛化能力。如图3(a)所示，可知本方法取得了较好的预测效果，预测值与真实值几乎重合。
用训练好的MPSO-SAE模型进行预测，后25％数据作为测试样本(2016年932850组样本，2013年9月1日18:00至2014年12月31日23:59)，进行单步预测。
对比预测值与样本，计算相关精度指标，定量化评价MPSO-SAE模型的预测性能。
为了定量化分析MPSO-SAE模型预测北京地区AQI时间序列的预测效果，采用以下4种指标来评价：
其中o，
和
分别是观测值、预测值和观测值的期望，p表示样本总数，cov(·)表示协方差，D(·)表示方差，O为观测值序列，
为预测值序列。
预测北京地区AQI时间序列样本对应的效果如表1所示。
表1北京地区AQI混沌时间序列单步预测效果对比
| MODEL | RMSE | NRMSE | SMAPE | CR |
| PSO-SAE | 10.7854 | 8.452e-2 | 0.8807 | 0.8012 |
| CCPSO-SAE | 5.4584 | 9.651e-3 | 7.540e-2 | 0.9154 |
| SLPSO-SAE | 4.9541 | 5.920e-3 | 5.962e-2 | 0.9221 |
| CSO-SAE | 5.0028 | 7.459e-3 | 6.523e-2 | 0.9121 |
| GD2-SAE | 4.8651 | 5.854e-3 | 5.668e-2 | 0.9208 |
| SAE-FNN | 6.8405 | 2.466e-2 | 9.052e-2 | 0.8925 |
| FNN | 8.5122 | 4.254e-2 | 0.3651 | 0.8579 |
| MPSO-SAE | 4.6124 | 5.466e-3 | 5.335e-2 | 0.9378 |
可以看到：我们所提出的MPSO-SAE方法在4中评估指标上都取得了最好的效果，这意味着MPSO-SAE融合模型非常适合AQI序列的建模和预测。
最后应该说明：本说明书虽然通过具体的实施方式详细描述了本发明的具体结构，但是本领域的技术人员应该清楚，本发明并不局限于上述实施例的描述范围，在本专利的实质范围内，进行的各种修改和替换，都应属于本专利的保护范围。
Claims (3)
1.一种基于粒子群优化与自编码器的混沌时间序列预测方法，其特征在于，包括以下步骤：
步骤1：加载混沌时间序列原始数据集xi(t)，i＝1,2,…,d，t＝1,2,…,n，数据维数为d，样本数为n；
步骤2：选定嵌入维数m＝(m1,m2,…,md)和延迟时间τ＝(τ1,τ2,…,τd)为相空间重构参数，其中，m1,m2,…,md分别表示原始时间序列第1维，第2维，…，第d维数据的嵌入维数，τ1,τ2,…,τd分别表示第1维，第2维，…，第d维数据的延迟时间；
步骤3：利用相空间重构理论进行数据预处理；用时间延迟的方法构造高维相空间矢量X(t)＝[x1(t),x1(t+τ),…,x1(p),…,xd(t),xd(t+τ),…,xd(q)]，其中，
表示重构后的数据，
表示重构后数据维数；x1(p),p＝t+(m1-1)τ1表示将原始数据第1维序列中的第p个样本重构为数据X中第p维序列的第t个样本；xd(q),q＝t+(md-1)τd表示将原始数据第d维序列中的第q个样本重构为数据X中第di维序列的第t个样本；
步骤4：将重构后的时间序列X划分为训练数据和测试数据，其总计ts组训练数据，ss组测试数据；训练数据用来训练整个模型，测试数据用来验证训练好的模型；
步骤5：预设SAE模型的参数，选取的网络由2层自动编码器堆叠形成，输入参数包括权重衰减参数、稀疏惩罚项的权重、隐藏单元平均激活率；
步骤6：将训练数据作为堆栈自编码神经网络SAE的输入数据进行特征提取；首先将训练数据作为第一层自编码器的输入进行第一次特征提取，再将第一层自编码器的输出特征li(t),i＝1,…,s作为第二层自编码器的输入进行第二次特征提取，得到输出特征zi(t),i＝1,…,k，其中s和k分别表示第一层和第二层自编码器的输出特征维数；
步骤7：采用前馈神经网络作为整个模型的输出，即两次特征提取后的输出特征zi(t)作为前馈神经网络的输入，利用改进粒子群优化算法MPSO优化前馈神经网络的输出权值；
所述的前馈神经网络输入权值和隐含层偏置随机产生；隐含层输出矩阵G的计算方法如下：
其中z(t)表示第二层自动编码器的输出特征，αi,(i＝1,…,r)表示前馈神经网络的第i个隐含层节点与输入层节点之间的连接权值，bi,(i＝1,…,r)表示第i个隐含层节点的偏置，r表示隐含层中的节点个数，ts为数据个数，g(·)表示激活函数；
步骤8：采用改进的MPSO算法迭代更新粒子信息，计算新的输出权值，通过不断迭代寻找使MPSO算法的目标函数最小的输出权值；所述的目标函数设置为损失函数的L2范数与输出权值的L1范数的加权和：
其中W表示网络的输出权值，在PSO算法中表示粒子；T表示期望输出向量，|| ||2表示L2范数，|| ||1表示L1范数，λ是正则项系数；
具体步骤如下：
8.1：初始化改进的粒子群优化算法，设置其参数：种群规模为NP，最大迭代次数为MaxIt，搜索空间维数即为W的维数r；
8.2：利用Logistic混沌映射进行粒子位置初始化：
pi＝μpi(1-pi),i＝0,1,2,… (3)
其中μ是控制参数，当0≤p0≤1时，系统处于混沌状态；给定任意初始值p0∈[0,1]，就可以迭代出一个确定的序列；
使用Logistic混沌映射生成一组序列，然后选择序列中的连续NP个点作为粒子的初始位置；
8.3：通过计算目标函数值评估所有的粒子；
8.4：选择所有粒子中目标函数值最小粒子的位置信息为当前的种群历史最优位置ygbset；
8.5：设定当前所有粒子的位置信息为当前的个体历史最优位置
8.6：在迭代过程中，惯性权重ω、学习因子c1和c2按如下方式自适应计算：
ω＝ωmax-(ωmax-ωmin)*(t/MaxIt) (4)
c1＝(c12-c11)*(t/tMaxIt)+c11 (5)
c2＝(c22-c21)*(t/tMaxIt)+c21 (6)
其中t表示当前迭代次数，ωmax和ωmin分别为ω的最大值和最小值；
8.7：基于速度和位置更新公式更新粒子信息：
yi(t)＝yi(t-1)+vi(t) (8)
其中，惯性权重ω可用于控制算法的探索和收敛能力，学习因子c1和c2是反映粒子间信息交换的学习因子，r1和r2为区间[0,1]上服从均匀分布的随机数；
8.8：应用突变策略；随着迭代次数的增加，变异概率随着迭代次数的增加而增大；一旦触发变异策略，粒子的信息被复制，新粒子的位置将会重置；如果新粒子的目标值小于突变前的粒子的目标值，新粒子将取代突变前的粒子；否则，仍将使用以前的粒子；
8.9：将所有的粒子的速度信息和位置信息限制在给定的范围内；如果速度值超出给定区间，则将速度调整为该区间内的随机数；如果位置超出给定区间，立即将速度方向；
8.10：再次通过计算目标函数值评估所有的粒子；
8.11：更新粒子的个体历史最优位置
和种群历史最优位置ygbset；
选择粒子目前的位置信息和
选择具有更小目标函数值的位置为该粒子新的个体历史最优位置
将当前的ygbset与种群中的每一个粒子位置信息带入目标函数中，若ygbset的目标函数值更小，则ygbset仍保持原值；若当前参与比较的粒子位置的目标函数值更小，则更新ygbset为该粒子的目标函数值，并用更新后的ygbset进行后续的比较，直到当代种群中所有粒子均进行一次比较；
8.12：当达到最大迭代次数MaxIt时，优化过程完成；此时的历史最优位置向量ygbset即为预测模型的输出权值，此时便完成整个预测模型的训练，得到MPSO-SAE模型；
步骤9：利用测试数据对训练好的模型进行验证，进行混沌时间序列预测，得到模型的输出值
2.根据权利要求1所述的一种基于粒子群优化与自编码器的混沌时间序列预测方法，其特征在于，所述步骤4中，将数据的前75％作为训练数据，数据的后25％作为测试数据。
3.根据权利要求1所述的一种基于粒子群优化与自编码器的混沌时间序列预测方法，其特征在于，步骤8.6所述的c11和c22设置为2.5，c12和c21设置为0.5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010029477.8A CN111222706A (zh) | 2020-01-13 | 2020-01-13 | 一种基于粒子群优化与自编码器的混沌时间序列预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010029477.8A CN111222706A (zh) | 2020-01-13 | 2020-01-13 | 一种基于粒子群优化与自编码器的混沌时间序列预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111222706A true CN111222706A (zh) | 2020-06-02 |
Family
ID=70829430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010029477.8A Pending CN111222706A (zh) | 2020-01-13 | 2020-01-13 | 一种基于粒子群优化与自编码器的混沌时间序列预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111222706A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112528556A (zh) * | 2020-11-30 | 2021-03-19 | 广东工业大学 | 一种基于集成模型辅助社会学习粒子群算法的微机电系统设计优化方法 |
| CN113743582A (zh) * | 2021-08-06 | 2021-12-03 | 北京邮电大学 | 基于栈混洗的新型通道混洗方法和装置 |
| CN114202065A (zh) * | 2022-02-17 | 2022-03-18 | 之江实验室 | 一种基于增量式演化lstm的流数据预测方法及装置 |
| CN114363262A (zh) * | 2022-01-05 | 2022-04-15 | 西安交通大学 | 一种空天地一体化网络下的混沌动态拥塞预测系统及方法 |
| CN114463994A (zh) * | 2021-12-01 | 2022-05-10 | 哈尔滨理工大学 | 基于混沌与强化学习的交通流预测的并行方法 |
| CN116956440A (zh) * | 2023-08-24 | 2023-10-27 | 中国长江电力股份有限公司 | 一种复杂环境下混凝土性态监测点优化布置方法 |
-
2020
- 2020-01-13 CN CN202010029477.8A patent/CN111222706A/zh active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112528556A (zh) * | 2020-11-30 | 2021-03-19 | 广东工业大学 | 一种基于集成模型辅助社会学习粒子群算法的微机电系统设计优化方法 |
| CN112528556B (zh) * | 2020-11-30 | 2023-01-20 | 广东工业大学 | 一种基于集成模型辅助社会学习粒子群算法的微机电系统设计优化方法 |
| CN113743582A (zh) * | 2021-08-06 | 2021-12-03 | 北京邮电大学 | 基于栈混洗的新型通道混洗方法和装置 |
| CN113743582B (zh) * | 2021-08-06 | 2023-11-17 | 北京邮电大学 | 基于栈混洗的新型通道混洗方法和装置 |
| CN114463994A (zh) * | 2021-12-01 | 2022-05-10 | 哈尔滨理工大学 | 基于混沌与强化学习的交通流预测的并行方法 |
| CN114463994B (zh) * | 2021-12-01 | 2024-05-28 | 哈尔滨理工大学 | 基于混沌与强化学习的交通流预测的并行方法 |
| CN114363262A (zh) * | 2022-01-05 | 2022-04-15 | 西安交通大学 | 一种空天地一体化网络下的混沌动态拥塞预测系统及方法 |
| CN114363262B (zh) * | 2022-01-05 | 2023-08-22 | 西安交通大学 | 一种空天地一体化网络下的混沌动态拥塞预测系统及方法 |
| CN114202065A (zh) * | 2022-02-17 | 2022-03-18 | 之江实验室 | 一种基于增量式演化lstm的流数据预测方法及装置 |
| CN114202065B (zh) * | 2022-02-17 | 2022-06-24 | 之江实验室 | 一种基于增量式演化lstm的流数据预测方法及装置 |
| CN116956440A (zh) * | 2023-08-24 | 2023-10-27 | 中国长江电力股份有限公司 | 一种复杂环境下混凝土性态监测点优化布置方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111222706A (zh) | 一种基于粒子群优化与自编码器的混沌时间序列预测方法 | |
| CN110782093B (zh) | 融合ssae深度特征学习和lstm的pm2.5小时浓度预测方法及系统 | |
| CN114626512B (zh) | 一种基于有向图神经网络的高温灾害预报方法 | |
| CN109146162B (zh) | 一种基于集成循环神经网络的概率风速预测方法 | |
| CN109143408B (zh) | 基于mlp的动态区域联合短时降水预报方法 | |
| CN114742278A (zh) | 一种基于改进lstm的建筑能耗预测方法及系统 | |
| CN113554466A (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
| Zhaoyu et al. | The application of the PSO based BP network in short-term load forecasting | |
| CN111860787A (zh) | 一种含有缺失数据的耦合有向图结构流量数据的短期预测方法及装置 | |
| CN109615147A (zh) | 一种未来72小时大气污染预报预警方法 | |
| CN116526473A (zh) | 基于粒子群优化lstm的电热负荷预测方法 | |
| CN115860286A (zh) | 一种基于时序门机制的空气质量预测方法及系统 | |
| CN109146196B (zh) | 一种居民社区时用水量预测方法 | |
| Gaballa et al. | Prediction of hourly solar radiation using temperature and humidity for real-time building energy simulation | |
| Wu et al. | Short-term electric load forecasting model based on PSO-BP | |
| Hamdan et al. | Prediction of Hourly Solar Radiation in Amman-Jordan by Using Artificial Neural Networks | |
| Kowalski et al. | The comparison of linear models for PM10 and PM2. 5 forecasting | |
| CN111435471A (zh) | 一种基于lstm的供热用气量预测模型 | |
| CN115392387A (zh) | 一种低压分布式光伏发电出力预测方法 | |
| CN115907079A (zh) | 一种基于注意力时空图卷积网络的空域交通流量预测方法 | |
| Koscak et al. | Prediction of temperature daily profile by stochastic update of backpropagation through time algorithm | |
| Jiahui et al. | Short-term load forecasting based on GA-PSO optimized extreme learning machine | |
| Ding et al. | The forecasting model of flight delay based on DMT-GMT model | |
| Ban et al. | Combined forecasting model of urban water consumption based on adaptive filtering and BP neural network | |
| CN113705932B (zh) | 一种短期负荷预测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200602 |
|
| RJ01 | Rejection of invention patent application after publication |