CN113807443A - 一种基于注意力机制的混沌时间序列嵌入维数的确定方法 - Google Patents

一种基于注意力机制的混沌时间序列嵌入维数的确定方法 Download PDF

Info

Publication number
CN113807443A
CN113807443A CN202111098660.4A CN202111098660A CN113807443A CN 113807443 A CN113807443 A CN 113807443A CN 202111098660 A CN202111098660 A CN 202111098660A CN 113807443 A CN113807443 A CN 113807443A
Authority
CN
China
Prior art keywords
dimension
value
input
output
embedding dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111098660.4A
Other languages
English (en)
Other versions
CN113807443B (zh
Inventor
鲁晓倩
田军
廖强
徐政五
甘露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202111098660.4A priority Critical patent/CN113807443B/zh
Publication of CN113807443A publication Critical patent/CN113807443A/zh
Application granted granted Critical
Publication of CN113807443B publication Critical patent/CN113807443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Complex Calculations (AREA)

Abstract

本发明属于混沌时间序列嵌入维数的确定技术，具体涉及一种基于注意力机制的混沌时间序列嵌入维数的确定方法。包括以下步骤：自相关法确定延迟时间τ并初始化最小嵌入维数m，利用延迟时间和嵌入维数重构数据集，将数据集导入基于多层感知机的注意力机制网络进行训练，输出每个维度的权重大小，判断是否符合维度的注意力权重值从低维度到高维度依次递增，若是则令m加1继续重构数据集再次导入网络训练并输出维度注意力权重值，直到维度注意力权重值不符合递增情况时输出最大嵌入维数，此时最大嵌入维数为使得维度注意力权重分布递增的最大嵌入维数。

Description

一种基于注意力机制的混沌时间序列嵌入维数的确定方法
技术领域
本发明涉及混沌时间序列嵌入维数的确定技术，具体涉及一种基于注意力机制的混沌时间序列嵌入维数的确定方法。
背景技术
混沌时间序列存在于天气气象、农业、金融、雷达信号、太阳黑子等等活动中，对这些领域的时间序列进行预测具有非常重大的意义。通过时间序列对混沌进行研究的工作开始于Packard等人提出的相空间重构理论，重构基础就是相空间嵌入维数和延迟时间的确定，因此对于嵌入维数和延迟时间的选择具有非常重要的意义。
原始的嵌入维数的确定方法有虚假最近邻法(False Nearest Neighbors，FNN)、奇异值分解法(Singular Value Decomposition，SVD)等。对于FNN，在几何形态上，混沌时间序列是高维相空间混沌运动轨迹在时间序列上的一维投影，在高维状态中不相邻的两个点投影到一维会发生轨迹扭曲从而相邻，此即为虚假相邻点，对于嵌入维数的不断由小增大，虚假相邻点也将逐步消失从而使混沌运动的轨迹得到恢复。对于实际的混沌时间序列，从最小嵌入维度开始计算虚假邻点的比例直到达到某一阈值即认为此时混沌轨迹已得到有效的重构，此时的嵌入维度即为混沌时间序列的嵌入维数。对于SVD，则是计算混沌时间序列的嵌入空间进行奇异值分解中的最大奇异值。
发明内容
本发明的目的在于解决在传统嵌入维数求解上复杂求解的弊端，利用注意力机制可以简易的通过注意力权重的合理分布确定混沌时间序列的嵌入维数，提供一种基于注意力机制的混沌时间序列嵌入维数的确定方法，以步骤较为简化，计算简便的方式求解出合理的混沌时间序列的嵌入维数。
本发明是一种基于注意力机制的混沌时间序列嵌入维数的确定方法，如图1所示，包括以下步骤：
S1、对于待确定嵌入维数的混沌时间序列x(t),t＝1,2,…n，n为混沌时间序列长度，设定输入嵌入维数初始值m和延迟时间τ，构建输入数据集和输出标签，输入数据为前m个不同时刻的混沌序列值作为输入，下一时刻混沌序列值作为输出标签：
Figure BDA0003269909780000021
其中Data为输入数据集结构，每一行即为一次输入，取对应行数的输出label的数值为输出标签值，其中M＝n-(m-1)τ为相点数；
所述延迟时间τ的获取方法为：对于待输入的混沌时间序列，获取其自相关函数关于t的图像后，在自相关函数的值为初值的1-1/e时，对应的横坐标t即为重构混沌序列相空间的延迟τ；e为自然对数函数的底数，约为2.7183；
S2、构建基于多层感知机的注意力机制网络，如图2所示：
网络的输入为Data中的每一行，对输入层权重初始化后，输入数据乘以输入权重后再通过激活函数softmax进行概率归一化输出，具体激活过程为：
Figure BDA0003269909780000022
上式中，xi、xj表示输入序列x中的第i、j个元素，xi对应的softmax值为经过感知机后激活得到的Si，经过激活函数的处理后对每个输入维度输出概率值，随后将概率值与输入值进行合并乘积，具体的输出格式如下：
[x1,x2,…,xn][α1,α2,…,αn]＝[x1α1,x2α2,…,xnαn]
其中αi代表第i个维度的值xi的输出概率值；
将得到的输出[x1α1,x2α2,…,xnαn]作为新的输入进入一个全连接层，此时输出维度是1，得到输出值yi，将输出值与标签值
Figure BDA0003269909780000023
对比计算出损失函数MSE，使用Adam优化进行梯度下降的训练迭代，MSE公式如下：
Figure BDA0003269909780000024
通过输入数据集经过设定的训练次数训练后，得到训练好的网络模型；
S3、将输入数据通过训练好的网络模型后得到每行输入数据的不同维度的注意力权重值，对相同维度不同行的权重进行平均后输出，获得对应权重大小；
S4、设置混沌序列的m初始值为2，每次递增1进行步骤S1-S3，若到达m＝n+1的时候权重不再保持从第0维度到最后维度的依次递增状态，则获得的n为最大嵌入维度。
本发明的有益效果为，相对假近邻法、C-C法等传统方法能更简单快速的确定混沌时间序列的嵌入维度，并且构成相空间的每个维度相对标签值是属于有贡献的维度，而传统意义的维度却没有这个意义。
附图说明
图1为本发明的流程示意图；
图2为本发明的模型训练示意图；
图3为仿真示意图，其中(a)为Duffing混沌序列最大嵌入维数注意力权重分布图，(b)为Lorenz混沌序列最大嵌入维数注意力权重分布图，(c)为Mackey-Glass混沌序列最大嵌入维数注意力权重分布图；
具体实施方式
下面将结合附图和实施例，对本发明的技术方案进行进一步说明。
实施例：选择Lorenz混沌序列进行嵌入维数的确定。
S1、首先利用自相关方法确定Lorenz序列的延迟时间为10，初始化嵌入维数T＝2，
S2、利用延迟时间和T重构相空间。
S3、将S2重构好的数据集代入注意力机制网络中进行训练后得出每一维度的注意力权重值。
S4判断是否符合从第0维度到最高维度是递增的情况。如果是，则令T加1。重返S2。如果不是则输出T值为最佳嵌入维数。
本发明基于多层感知机的注意力机制网络对混沌时间序列的当前嵌入维数进行注意力求取，若注意力权重大小符合维度从低到高依次递增，则当前由延迟时间和嵌入维数确定的相空间合理，依次将嵌入维度增大代入网络中求取注意力权重直到不符合递增规律即达到比最大嵌入维数多1的值。本发明避开了复杂的关联维数计算和奇异值分解，利用注意力权重可以较为简洁明了的判断嵌入维数。通过如图3所示的仿真对比，可看出本发明的方法是有效且实用的。

Claims (1)

1.一种基于注意力机制的混沌时间序列嵌入维数的确定方法，其特征在于，包括以下步骤：
S1、对于待确定嵌入维数的混沌时间序列x(t)，t＝1，2，...n，设定输入嵌入维数初始值m和延迟时间τ，构建输入数据集和输出标签，输入数据为前m个不同时刻的混沌序列值作为输入，下一时刻混沌序列值作为输出标签：
Figure FDA0003269909770000011
其中Data为输入数据集结构，每一行即为一次输入，取对应行数的输出label的数值为输出标签值，其中M＝n-(m-1)τ为相点数；
所述延迟时间τ的获取方法为：对于待输入的混沌时间序列，获取其自相关函数关于t的图像后，在自相关函数的值为初值的1-1/e时，对应的横坐标t即为重构混沌序列相空间的延迟τ；
S2、构建基于多层感知机的注意力机制网络；
网络的输入为Data中的每一行，对输入层权重初始化后，输入数据乘以输入权重后再通过激活函数softmax进行概率归一化输出，具体激活过程为：
Figure FDA0003269909770000012
上式中，xi、xj表示输入序列x中的第i、j个元素，xi对应的soffmax值为经过感知机后激活得到的Si，经过激活函数的处理后对每个输入维度输出概率值，随后将概率值与输入值进行合并乘积，具体的输出格式如下：
[x1，x2，...，xn][α1，α2，...，αn]＝[x1α1，x2α2，…，xnαn]
其中αi代表第i个维度的值xi的输出概率值；
将得到的输出[x1α1，x2α2，...，xnαn]作为新的输入进入一个全连接层，此时输出维度是1，得到输出值yi，将输出值与标签值
Figure FDA0003269909770000013
对比计算出损失函数MSE，使用Adam优化进行梯度下降的训练迭代，MSE公式如下：
Figure FDA0003269909770000014
通过输入数据集经过设定的训练次数训练后，得到训练好的网络模型；
S3、将输入数据通过训练好的网络模型后得到每行输入数据的不同维度的注意力权重值，对相同维度不同行的权重进行平均后输出，获得对应权重大小；
S4、设置混沌序列的m初始值为2，每次递增1进行步骤S1-S3，若到达m＝n+1的时候权重不再保持从第0维度到最后维度的依次递增状态，则获得的n为最大嵌入维度。
CN202111098660.4A 2021-09-18 2021-09-18 一种基于注意力机制的混沌时间序列嵌入维数的确定方法 Active CN113807443B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111098660.4A CN113807443B (zh) 2021-09-18 2021-09-18 一种基于注意力机制的混沌时间序列嵌入维数的确定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111098660.4A CN113807443B (zh) 2021-09-18 2021-09-18 一种基于注意力机制的混沌时间序列嵌入维数的确定方法

Publications (2)

Publication Number Publication Date
CN113807443A true CN113807443A (zh) 2021-12-17
CN113807443B CN113807443B (zh) 2023-04-25

Family

ID=78939752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111098660.4A Active CN113807443B (zh) 2021-09-18 2021-09-18 一种基于注意力机制的混沌时间序列嵌入维数的确定方法

Country Status (1)

Country Link
CN (1) CN113807443B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5841946A (en) * 1993-11-26 1998-11-24 Hitachi, Ltd. Chaotic character evaluating apparatus and method of the same and processing apparatus of resulting the chaotic character evaluation
CN109802430A (zh) * 2018-12-29 2019-05-24 上海电力学院 一种基于LSTM-Attention网络的风电电网控制方法
CN111260124A (zh) * 2020-01-11 2020-06-09 大连理工大学 一种基于注意力机制深度学习的混沌时间序列预测方法
CN113762471A (zh) * 2021-08-24 2021-12-07 浙江中辰城市应急服务管理有限公司 一种基于注意力机制与贝叶斯优化的相空间重构参数估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5841946A (en) * 1993-11-26 1998-11-24 Hitachi, Ltd. Chaotic character evaluating apparatus and method of the same and processing apparatus of resulting the chaotic character evaluation
CN109802430A (zh) * 2018-12-29 2019-05-24 上海电力学院 一种基于LSTM-Attention网络的风电电网控制方法
CN111260124A (zh) * 2020-01-11 2020-06-09 大连理工大学 一种基于注意力机制深度学习的混沌时间序列预测方法
CN113762471A (zh) * 2021-08-24 2021-12-07 浙江中辰城市应急服务管理有限公司 一种基于注意力机制与贝叶斯优化的相空间重构参数估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHENGWU XU 等: "Time–frequency analysis of terahertz radar signal for vital signs sensing based on radar sensor" *
吴双双: "基于深度神经网络的时间序列预测技术研究" *

Also Published As

Publication number Publication date
CN113807443B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN114038200B (zh) 基于注意力机制的时空同步图卷积网络交通流量预测方法
CN114299723B (zh) 一种交通流量预测方法
CN112949828A (zh) 一种基于图学习的图卷积神经网络交通预测方法及系统
CN112650933B (zh) 一种基于高阶聚合的图卷积融合多头注意力机制的会话推荐方法
CN114283320A (zh) 基于全卷积的无分支结构目标检测方法
CN116910463A (zh) 一种空气污染监测数据缺失值填补方法
CN112149645A (zh) 基于生成对抗学习和图神经网络的人体姿势关键点识别方法
CN115358485A (zh) 一种基于图自注意力机制与霍克斯过程的交通流预测方法
CN116415990A (zh) 一种基于云计算的自助数据分析方法、系统及存储介质
CN113657582B (zh) 一种基于时空数据的时空图神经网络瓦斯浓度预测方法
Jing et al. Missing wind speed data reconstruction with improved context encoder network
Son et al. Partial convolutional LSTM for spatiotemporal prediction of incomplete data
CN114006411A (zh) 一种基于lstm-cnn联合模型的风电功率预测方法和系统
CN113821724A (zh) 一种基于时间间隔增强的图神经网络推荐方法
CN116306780B (zh) 一种动态图链接生成方法
CN113807443A (zh) 一种基于注意力机制的混沌时间序列嵌入维数的确定方法
CN117392686A (zh) 一种基于改进的动态图神经网络的不实信息检测方法
CN116258504A (zh) 银行客户关系管理系统及其方法
KR20190134308A (ko) 합성곱 신경망을 활용한 데이터 확장방법 및 장치
CN115345207A (zh) 一种自适应的多气象要素预测方法
CN114510872A (zh) 基于自注意力机制dlstm的云服务器老化预测方法
CN114117229A (zh) 一种基于有向和无向结构信息的图神经网络的项目推荐方法
Wang et al. Missing load situation reconstruction based on generative adversarial networks
Silva Generalized autoregressive neural network models
CN113010774A (zh) 一种基于动态深度注意力模型的点击率预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant