CN114118373A - 基于回声状态网络的多维时间序列缺失补全方法 - Google Patents

基于回声状态网络的多维时间序列缺失补全方法 Download PDF

Info

Publication number
CN114118373A
CN114118373A CN202111412506.XA CN202111412506A CN114118373A CN 114118373 A CN114118373 A CN 114118373A CN 202111412506 A CN202111412506 A CN 202111412506A CN 114118373 A CN114118373 A CN 114118373A
Authority
CN
China
Prior art keywords
missing
reserve pool
time
moment
echo state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111412506.XA
Other languages
English (en)
Inventor
黄昉菀
郑伟楠
李莉
於志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202111412506.XA priority Critical patent/CN114118373A/zh
Publication of CN114118373A publication Critical patent/CN114118373A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

本发明涉及一种基于回声状态网络的多维时间序列缺失补全方法，包括：步骤S1：构建回声状态网络模型；步骤S2:按照时间顺序，向回声状态网络模型的输入层提供每个时刻的外生变量，向输出层提供对应时刻的多维时间序列的观测值，若缺失的观测值尚未预补，则利用基于方向的最近邻策略进行暂时性预补;步骤S3:分别构建具有双向反馈的前向或双向回声状态网络，并更新所有时刻的内部状态；步骤S4:根据无需预补时刻的输入、内部状态和真实输出训练出网络的输出权重；步骤S5:根据需要预补时刻的输入、内部状态和步骤S4得到的输出权重计算输出估计值，并用于对预补值进行更新；步骤S6:重复步骤S3‑S5，用最后的预补值填补原始序列的缺失值。本发明考虑更加全面的数据相关性来提升多维时间序列的补全精度。

Description

基于回声状态网络的多维时间序列缺失补全方法
技术领域
本发明涉及数据补全领域，具体涉及一种基于回声状态网络的多维时间序列缺失补全方法。
背景技术
随着物联网的不断普及，数十亿来自环境、建筑和智能设备的嵌入式传感器产生了大量的时间序列数据，为人类生活中的各种应用提供了强大的支持。然而，各种意外事故不可避免地会导致数据丢失，从而影响下游应用的决策能力。因此，对缺失值进行估计以提高数据质量往往是各种应用在数据预处理阶段中非常重要的一环。
缺失数据估计指的是使用统计或机器学习技术在缺失位置填充估计值的过程。根据考虑的数据相关性的不同，常用的方法大致可分为以下四类：插值法、归算法、基于矩阵的填充和基于深度学习的方法。第一类方法称为插值法，它利用时间序列中观测值之间的时间相关性来估计缺失值，最常见的有线性插值、三次样条插值、模糊插值和谱方法等。插值法的缺点是没有充分考虑影响时间序列的外生变量的跨域相关性。第二类方法称为归算法，它考虑了外生变量与观测值之间的相关性，并通过拟合两者的关系来生成估计值。常用的方法包括：基于距离的归算(K近邻或模糊聚类)，基于决策的归算(回归树或随机森林)，非线性归算(人工神经网络或支持向量机回归)，期望最大化归算和多重归算等。考虑到许多应用场景中的数据往往同时具有时间和跨域相关性，上述两种方法都存在丢失一些重要信息的风险。第三类方法是基于矩阵的填充，如低秩矩阵补全，矩阵分解等。此类方法把外生变量和观测值随时间变化的过程存储为一个矩阵再进行缺失值的填充。虽然此类方法可以充分利用矩阵中已有数据之间的相关性，但它需要满足一些很强的假设(如低秩性，时间平衡性，空间稳定性等)，而且它将时序数据视为静态数据，忽略了数据的时间成分。第四类方法则是基于目前流行的深度学习技术。其中擅长捕捉时序依赖关系的循环神经网络(Recurrent Neural Network，RNN)尤为受到关注。但是，目前在缺失数据补全领域所采用的RNN架构都是基于门控机制的，如长短期记忆网络(Long Short Term Memory，LSTM)和门控循环单元(Gated Recurrent Unit，GRU)。门的引入虽然可以缓解随时间反向传播(BackPropagation through Time,BPTT)的权重更新算法造成的梯度消失问题，但对训练数据量和计算成本都有很高的要求。这显然不适合具有大量缺失数据或实时性要求较高的应用。
发明内容
有鉴于此，本发明的目的在于提供一种基于回声状态网络的多维时间序列缺失补全方法，基于全面的数据相关性来提升多维时间序列的补全精度。
为实现上述目的，本发明采用如下技术方案：
一种基于回声状态网络的多维时间序列缺失补全方法，包括以下步骤：
步骤S1：构建一个包含输入层、隐藏层和输出层的回声状态网络模型，并初始化；
步骤S2:按照时间顺序，向回声状态网络模型的输入层提供每个时刻的外生变量，向输出层提供对应时刻的多维时间序列的观测值，若缺失的观测值尚未预补，则利用基于方向的最近邻策略进行暂时性预补；
步骤S3:根据使用的储备池个数的不同，分构建具有双向反馈的前向或双向回声状态网络，并利用不同的内部状态更新公式计算所有时刻的内部状态；
步骤S4:根据无需预补时刻的输入、内部状态和真实输出训练出网络的输出权重；
步骤S5:根据需要预补时刻的输入、内部状态和步骤S4得到的输出权重计算输出估计值，并用于对预补值进行更新；
步骤S6:重复步骤S3-S5直至,满足预设要求，迭代结束，用最后的预补值填补原始序列的缺失值。
进一步的，所述初始化，具体为：随机初始化网络的输入权重、反馈权重和循环权重，其中循环权重要求是稀疏的。
进一步的，所述步骤S1具体为：
步骤S11：构建一个包含输入层、隐藏层和输出层的回声状态网络，输入层神经元的个数ni与影响时间序列的外生变量的个数相同，隐藏层包含前向储备池，反向储备池和融合储备池，它们的神经元个数均为nr，输出层神经元的个数no与多维时间序列的维度相同；
步骤S12：利用[-1,1]的均匀分布随机生成输入层到前向储备池、反向储备池的输入全连接权重
Figure BDA0003374692410000041
和
Figure BDA0003374692410000042
前一时刻和后一时刻的输出层分别到当前时刻的前向储备池的反馈全连接权重
Figure BDA0003374692410000043
和
Figure BDA0003374692410000044
后一时刻的输出层到当前时刻的反向储备池的反馈全连接权重
Figure BDA0003374692410000045
前一时刻到当前时刻的前向储备池的循环稀疏连接权重
Figure BDA0003374692410000046
其非零元素的个数由稀疏率
Figure BDA0003374692410000047
决定；后一时刻到当前时刻的反向储备池的循环稀疏连接权重
Figure BDA0003374692410000048
其非零元素的个数由稀疏率
Figure BDA0003374692410000049
决定；
步骤S13：将权重矩阵Wi1，Wi2，Wf1，Wf2和Wf3按照各自的缩放因子si1，si2，sf1，sf2和sf3进行缩放。将Wr1和Wr2按照各自的谱半径因子ρr1和ρr2根据公式(1)-(2)进行调整，其中λmax(Wr1)和λmax(Wr2)指的是Wr1和Wr2的最大特征值
Figure BDA00033746924100000410
Figure BDA00033746924100000411
进一步的，所述利用基于方向的最近邻策略进行暂时性预补，具体为：
步骤S21：已知原始时间序列Y＝{y1，...，yt，...，yl}，l为时间序列的长度，其中
Figure BDA00033746924100000412
根据Y中的缺失情况，定义一个多维时间序列M＝{m1，…，mt，...，ml}，其中
Figure BDA0003374692410000051
若时刻t的第j维的观测值
Figure BDA0003374692410000052
是缺失的，则
Figure BDA0003374692410000053
若
Figure BDA0003374692410000054
是未缺失的，则
Figure BDA0003374692410000055
步骤S22：在计算内部状态
Figure BDA0003374692410000056
之前，已知外生变置
Figure BDA0003374692410000057
Figure BDA0003374692410000058
但输出时间序列中yt-1或
Figure BDA0003374692410000059
中某些维度的观测值出现缺失，利用基于方向的最近邻策略进行初始预补。
进一步的，所述基于方向的最近邻策略，具体为：
若
Figure BDA00033746924100000510
缺失，应该采用第j个观测值在历史时刻中最后一个未缺失的观测值对其进行预补，如公式(3)所示；若
Figure BDA00033746924100000511
缺失，应该采用第j个观测值在后续时刻中最新一个未缺失的观测值进行预补，如公式(3)所示：
Figure BDA00033746924100000512
Figure BDA00033746924100000513
其中，
Figure BDA00033746924100000514
表示时刻t之前第j个观测值的最后一个未丢失时刻，
Figure BDA00033746924100000515
表示时刻t之后第j个观测值的第一个未丢失时刻。
进一步的，所述具有双向反馈的前向回声状态网络，具体为：只需要用到隐藏层的前向储备池，无需使用反向储备池，具有双向反馈的前向回声状态网络的状态更新方程如公式(5)所示：
Figure BDA0003374692410000061
其中，
Figure BDA0003374692410000062
表示t时刻前向储备池的内部状态；f(.)为神经元的激活函数，通常是双曲正切函数tanh；[.；.]表示两个向量的上下联接；
将每个时刻的内部状态ht，外生变量xt，输出观测值yt进行向量的上下拼接，得到扩展状态
Figure BDA0003374692410000063
然后将所有时刻的zt按列存储成矩阵
Figure BDA0003374692410000064
进一步的，所述具有双向反馈的双向回声状态网络，具体为：需要用到隐藏层的前向储备池，反向储备池和融合储备池。该模型的状态更新方程如公式(6)-(8)所示：
Figure BDA0003374692410000065
Figure BDA0003374692410000066
Figure BDA0003374692410000067
其中，
Figure BDA0003374692410000068
表示t时刻反向储备池的内部状态；α∈[0，1]用于控制前向状态和反向状态之间的相对重要性。
将每个时刻的内部状态ht，外生变量xt，输出观测值yt进行向量的上下拼接，得到扩展状态
Figure BDA0003374692410000069
然后将所有时刻的zt按列存储成矩阵
Figure BDA00033746924100000610
进一步的，所述步骤S4具体为：
步骤S41：对于j∈{1，2，...，no}，从j＝1开始，重复执行步骤S42-S44，直至j＝no；
步骤S42：对于t∈{1，2，...，l}，将矩阵H中所有
Figure BDA0003374692410000071
对应时刻的行取出，得到矩阵
Figure BDA0003374692410000072
为时间序列的第j维中未缺失的观测个数；
步骤S43：取出
Figure BDA0003374692410000073
中对应时间序列的第j维观测值的列，得到向量
Figure BDA0003374692410000074
将剩余的部分命名为
Figure BDA0003374692410000075
步骤S44：利用岭回归法求解公式(9)的优化函数，得到
Figure BDA0003374692410000076
Figure BDA0003374692410000077
Figure BDA0003374692410000078
进一步的，所述步骤S5具体为：
步骤S51：对于j∈{1，2，...，no}，从j＝1开始，重复执行步骤S52-S55，直至j＝no；
步骤S52：对于t∈{1，2，...，l}，将矩阵H中所有
Figure BDA0003374692410000079
对应时刻的行取出，得到矩阵
Figure BDA00033746924100000710
步骤S53：取出
Figure BDA00033746924100000711
中对应时间序列的第j维观测值的列，得到向量
Figure BDA00033746924100000712
将剩余的部分命名为
Figure BDA00033746924100000713
步骤S54：利用步骤S44得到的
Figure BDA00033746924100000714
根据公式(10)更新
Figure BDA00033746924100000715
Figure BDA00033746924100000716
步骤S55、将
Figure BDA0003374692410000081
中的值按顺序填充到时间序列的第j维观测值的缺失位置。
本发明与现有技术相比具有以下有益效果：
本发明能够在有效降低模型训练复杂度的同时，实现对缺失数据的最佳填充。
附图说明
图1是本发明一实施例中具有双向反馈的前向回声状态网络；
图2是本发明一实施例中具有双向反馈的双向回声状态网络。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1和图2，本发明提供一种基于回声状态网络的多维时间序列缺失补全方法，包括以下步骤：
步骤S1:构建一个包含输入层、隐藏层和输出层的回声状态网络模型，其中隐藏层包含前向储备池，反向储备池和融合储备池。随机初始化网络的输入权重、反馈权重和循环权重，其中循环权重要求是稀疏的；
步骤S2:按照时间顺序，向回声状态网络模型的输入层提供每个时刻的外生变量，向输出层提供对应时刻的多维时间序列的观测值，若缺失的观测值尚未预补，则利用基于方向的最近邻策略进行暂时性预补；
步骤S3：根据使用的储备池个数的不同，分构建具有双向反馈的前向或双向回声状态网络，并利用不同的内部状态更新公式计算所有时刻的内部状态；
步骤S4：根据无需预补时刻的输入、内部状态和真实输出训练出网络的输出权重；
步骤S5：根据需要预补时刻的输入、内部状态和步骤S4得到的输出权重计算输出估计值，并用于对预补值进行更新；
步骤S6：重复步骤S3-S5直至，满足预设要求，迭代结束，用最后的预补值填补原始序列的缺失值。
在本实施例中，回声状态网络的构建过程如下：
步骤S11：构建一个包含输入层、隐藏层和输出层的回声状态网络，输入层神经元的个数ni与影响时间序列的外生变量的个数相同，隐藏层包含前向储备池，反向储备池和融合储备池，它们的神经元个数均为nr，输出层神经元的个数no与多维时间序列的维度相同；
步骤S12：利用[-1，1]的均匀分布随机生成输入层到前向储备池、反向储备池的输入全连接权重
Figure BDA0003374692410000091
和
Figure BDA0003374692410000092
前一时刻和后一时刻的输出层分别到当前时刻的前向储备池的反馈全连接权重
Figure BDA0003374692410000093
和
Figure BDA0003374692410000094
后一时刻的输出层到当前时刻的反向储备池的反馈全连接权重
Figure BDA0003374692410000095
前一时刻到当前时刻的前向储备池的循环稀疏连接权重
Figure BDA0003374692410000096
其非零元素的个数由稀疏率
Figure BDA0003374692410000097
决定；后一时刻到当前时刻的反向储备池的循环稀疏连接权重
Figure BDA0003374692410000098
其非零元素的个数由稀疏率
Figure BDA0003374692410000099
决定；
步骤S13：将权重矩阵Wi1，Wi2，Wf1，Wf2和Wf3按照各自的缩放因子si1，si2，sf1，sf2和sf3进行缩放。将Wr1和Wr2按照各自的谱半径因子ρr1和ρr2根据公式(1)-(2)进行调整，其中λmax(Wr1)和λmax(Wr2)指的是Wr1和Wr2的最大特征值
Figure BDA0003374692410000101
Figure BDA0003374692410000102
在本实施例中，利用基于方向的最近邻策略进行暂时性预补，具体为：
步骤S21：已知原始时间序列Y＝{y1，...，yt，...，yl}，l为时间序列的长度，其中
Figure BDA0003374692410000103
根据Y中的缺失情况，定义一个多维时间序列M＝{m1，...，mt，...，ml}，其中
Figure BDA0003374692410000104
若时刻t的第j维的观测值
Figure BDA0003374692410000105
是缺失的，则
Figure BDA0003374692410000106
若
Figure BDA0003374692410000107
是未缺失的，则
Figure BDA0003374692410000108
步骤S22：在计算内部状态
Figure BDA0003374692410000109
之前，已知外生变量
Figure BDA00033746924100001010
Figure BDA00033746924100001011
但输出时间序列中yt-1或
Figure BDA00033746924100001012
中某些维度的观测值出现缺失，利用基于方向的最近邻策略进行初始预补。
在本实施例中，基于方向的最近邻策略，具体为：
若
Figure BDA00033746924100001013
缺失，应该采用第j个观测值在历史时刻中最后一个未缺失的观测值对其进行预补，如公式(3)所示；若
Figure BDA00033746924100001014
缺失，应该采用第j个观测值在后续时刻中最新一个未缺失的观测值进行预补，如公式(3)所示：
Figure BDA0003374692410000111
Figure BDA0003374692410000112
其中，
Figure BDA0003374692410000113
表示时刻t之前第j个观测值的最后一个未丢失时刻，
Figure BDA0003374692410000114
表示时刻t之后第j个观测值的第一个未丢失时刻。
在本发明一实施例中，步骤S3中，两种不同的网络模型的内部状态的具体计算方法如下：
1)具有双向反馈的前向回声状态网络(ESN with Bidirectional Feedback，ESN-BF)
步骤S31、该模型只需要用到隐藏层的前向储备池，无需使用反向储备池，具有双向反馈的前向回声状态网络的状态更新方程如公式(5)所示：
Figure BDA0003374692410000115
其中，
Figure BDA0003374692410000116
表示t时刻前向储备池的内部状态；f(.)为神经元的激活函数，通常是双曲正切函数tanh；[.；.]表示两个向量的上下联接；
步骤S32、将每个时刻的内部状态ht，外生变量xt，输出观测值yt进行向量的上下拼接，得到扩展状态
Figure BDA0003374692410000117
然后将所有时刻的zt按列存储成矩阵
Figure BDA0003374692410000118
2)具有双向反馈的双向回声状态网络(Bidirectional ESN with BidirectionalFeedback，BESN-BF)
步骤S31：该模型需要用到隐藏层的前向储备池，反向储备池和融合储备池。该模型的状态更新方程如公式(6)-(8)所示：
Figure BDA0003374692410000121
Figure BDA0003374692410000122
Figure BDA0003374692410000123
其中，
Figure BDA0003374692410000124
表示t时刻反向储备池的内部状态；α∈[0，1]用于控制前向状态和反向状态之间的相对重要性。
步骤S32、将每个时刻的内部状态ht，外生变量xt，输出观测值yt进行向量的上下拼接，得到扩展状态
Figure BDA0003374692410000125
然后将所有时刻的zt按列存储成矩阵
Figure BDA0003374692410000126
在本实施例中，步骤S4具体为：
步骤S41：对于j∈{1，2，...，no}，从j＝1开始，重复执行步骤S42-S44，直至j＝no；
步骤S42：对于t∈{1，2，...，l}，将矩阵H中所有
Figure BDA0003374692410000127
对应时刻的行取出，得到矩阵
Figure BDA0003374692410000128
为时间序列的第j维中未缺失的观测个数；
步骤S43：取出
Figure BDA0003374692410000129
中对应时间序列的第j维观测值的列，得到向量
Figure BDA00033746924100001210
将剩余的部分命名为
Figure BDA00033746924100001211
步骤S44：利用岭回归法求解公式(9)的优化函数，得到
Figure BDA00033746924100001212
Figure BDA00033746924100001213
Figure BDA0003374692410000131
在本实施例中，步骤S5具体为：
步骤S51：对于j∈{1，2，...，no}，从j＝1开始，重复执行步骤S52-S55，直至j＝no；
步骤S52：对于t∈{1，2，...，l}，将矩阵H中所有
Figure BDA0003374692410000132
对应时刻的行取出，得到矩阵
Figure BDA0003374692410000133
步骤S53：取出
Figure BDA0003374692410000134
中对应时间序列的第j维观测值的列，得到向量
Figure BDA0003374692410000135
将剩余的部分命名为
Figure BDA0003374692410000136
步骤S54：利用步骤S44得到的
Figure BDA0003374692410000137
根据公式(10)更新
Figure BDA0003374692410000138
Figure BDA0003374692410000139
步骤S55、将
Figure BDA00033746924100001310
中的值按顺序填充到时间序列的第j维观测值的缺失位置。
在本实施例中，步骤S6，还进一步计算补全性能指标，具体实现方法如下：
步骤S601、根据公式(11)-(13)计算标准均方根误差(Normalized Root MeanSquare Error，NRMSE)：
Figure BDA00033746924100001311
Figure BDA00033746924100001312
Figure BDA00033746924100001313
其中，
Figure BDA0003374692410000141
和
Figure BDA0003374692410000142
分别表示时间序列的第j维观测值在时刻t的估计值和真实值；
步骤S602、根据公式(14)计算确定系数R2：
Figure BDA0003374692410000143
步骤S603、记录模型的运行时间。
步骤S6054、评价模型的性能，其中NRMSE和运行时间均是越小越好；而R2是对估计的回归方程拟合优度的度量，其值越大越好。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (9)

1.一种基于回声状态网络的多维时间序列缺失补全方法，其特征在于，包括以下步骤：
步骤S1：构建一个包含输入层、隐藏层和输出层的回声状态网络模型，并初始化；
步骤S2：按照时间顺序，向回声状态网络模型的输入层提供每个时刻的外生变量，向输出层提供对应时刻的多维时间序列的观测值，若缺失的观测值尚未预补，则利用基于方向的最近邻策略进行暂时性预补；
步骤S3：根据使用的储备池个数的不同，分别构建具有双向反馈的前向或双向回声状态网络，并利用不同的内部状态更新公式计算所有时刻的内部状态；
步骤S4：根据无需预补时刻的输入、内部状态和真实输出训练出网络的输出权重；
步骤S5：根据需要预补时刻的输入、内部状态和步骤S4得到的输出权重计算输出估计值，并用于对预补值进行更新；
步骤S6：重复步骤S3-S5直至，满足预设要求，迭代结束，用最后的预补值填补原始序列的缺失值。
2.根据权利要求1所述的基于回声状态网络的多维时间序列缺失补全方法，其特征在于，所述初始化，具体为：随机初始化网络的输入权重、反馈权重和循环权重，其中循环权重要求是稀疏的。
3.根据权利要求1所述的基于回声状态网络的多维时间序列缺失补全方法，其特征在于，所述步骤S1具体为：
步骤S11：构建一个包含输入层、隐藏层和输出层的回声状态网络，输入层神经元的个数ni与影响时间序列的外生变量的个数相同，隐藏层包含前向储备池，反向储备池和融合储备池，它们的神经元个数均为nr，输出层神经元的个数no与多维时间序列的维度相同；
步骤S12：利用[-1，1]的均匀分布随机生成输入层到前向储备池、反向储备池的输入全连接权重
Figure FDA0003374692400000021
和
Figure FDA0003374692400000022
前一时刻和后一时刻的输出层分别到当前时刻的前向储备池的反馈全连接权重
Figure FDA0003374692400000023
和
Figure FDA0003374692400000024
后一时刻的输出层到当前时刻的反向储备池的反馈全连接权重
Figure FDA0003374692400000025
前一时刻到当前时刻的前向储备池的循环稀疏连接权重
Figure FDA0003374692400000026
其非零元素的个数由稀疏率
Figure FDA0003374692400000027
决定；后一时刻到当前时刻的反向储备池的循环稀疏连接权重
Figure FDA0003374692400000028
其非零元素的个数由稀疏率
Figure FDA0003374692400000029
决定；
步骤S13：将权重矩阵Wi1，Wi2，Wf1，Wf2和Wf3按照各自的缩放因子si1，si2，sf1，sf2和sf3进行缩放。将Wr1和Wr2按照各自的谱半径因子ρr1和ρr2根据公式(1)-(2)进行调整，其中λmax(Wr1)和λmax(Wr2)指的是Wr1和Wr2的最大特征值
Figure FDA00033746924000000210
Figure FDA0003374692400000031
4.根据权利要求1所述的基于回声状态网络的多维时间序列缺失补全方法，其特征在于，所述利用基于方向的最近邻策略进行暂时性预补，具体为：
步骤S21：已知原始时间序列Y＝{y1，...，yt，...，yl}，l为时间序列的长度，其中
Figure FDA0003374692400000032
根据Y中的缺失情况，定义一个多维时间序列M＝{m1，...，mt，...，ml}，其中
Figure FDA0003374692400000033
若时刻t的第j维的观测值
Figure FDA0003374692400000034
是缺失的，则
Figure FDA0003374692400000035
若
Figure FDA0003374692400000036
是未缺失的，则
Figure FDA0003374692400000037
步骤S22：在计算内部状态
Figure FDA0003374692400000038
之前，已知外生变量
Figure FDA0003374692400000039
Figure FDA00033746924000000310
但输出时间序列中yt-1或
Figure FDA00033746924000000311
中某些维度的观测值出现缺失，利用基于方向的最近邻策略进行初始预补。
5.根据权利要求4所述的基于回声状态网络的多维时间序列缺失补全方法，其特征在于，所述基于方向的最近邻策略，具体为：
若
Figure FDA00033746924000000312
缺失，应该采用第j个观测值在历史时刻中最后一个未缺失的观测值对其进行预补，如公式(3)所示；若
Figure FDA00033746924000000313
缺失，应该采用第j个观测值在后续时刻中最新一个未缺失的观测值进行预补，如公式(3)所示：
Figure FDA00033746924000000314
Figure FDA0003374692400000041
其中，
Figure FDA0003374692400000042
表示时刻t之前第j个观测值的最后一个未丢失时刻，
Figure FDA0003374692400000043
表示时刻t之后第j个观测值的第一个未丢失时刻。
6.根据权利要求1所述的基于回声状态网络的多维时间序列缺失补全方法，其特征在于，所述具有双向反馈的前向回声状态网络，具体为：只需要用到隐藏层的前向储备池，无需使用反向储备池，具有双向反馈的前向回声状态网络的状态更新方程如公式(5)所示：
Figure FDA0003374692400000044
其中，
Figure FDA0003374692400000045
表示t时刻前向储备池的内部状态；f(.)为神经元的激活函数，通常是双曲正切函数tanh；[.；.]表示两个向量的上下联接；
将每个时刻的内部状态ht，外生变量xt，输出观测值yt进行向量的上下拼接，得到扩展状态
Figure FDA0003374692400000046
然后将所有时刻的zt按列存储成矩阵
Figure FDA0003374692400000047
7.根据权利要求1所述的基于回声状态网络的多维时间序列缺失补全方法，其特征在于，所述具有双向反馈的双向回声状态网络，具体为：需要用到隐藏层的前向储备池，反向储备池和融合储备池，该模型的状态更新方程如公式(6)-(8)所示：
Figure FDA0003374692400000048
Figure FDA0003374692400000051
Figure FDA0003374692400000052
其中，
Figure FDA0003374692400000053
表示t时刻反向储备池的内部状态；α∈[0，1]用于控制前向状态和反向状态之间的相对重要性；
将每个时刻的内部状态ht，外生变量xt，输出观测值yt进行向量的上下拼接，得到扩展状态
Figure FDA0003374692400000054
然后将所有时刻的zt按列存储成矩阵
Figure FDA0003374692400000055
8.根据权利要求1所述的基于回声状态网络的多维时间序列缺失补全方法，其特征在于，所述步骤S4具体为：
步骤S41：对于j∈{1，2，...，no}，从j＝1开始，重复执行步骤S42-S44，直至j＝no；
步骤S42：对于t∈{1，2，...，l}，将矩阵H中所有
Figure FDA0003374692400000056
对应时刻的行取出，得到矩阵
Figure FDA0003374692400000057
Figure FDA0003374692400000058
为时间序列的第j维中未缺失的观测个数；
步骤S43：取出
Figure FDA0003374692400000059
中对应时间序列的第j维观测值的列，得到向量
Figure FDA00033746924000000510
将剩余的部分命名为
Figure FDA00033746924000000511
步骤S44：利用岭回归法求解公式(9)的优化函数，得到
Figure FDA00033746924000000512
Figure FDA00033746924000000513
Figure FDA00033746924000000514
9.根据权利要求8所述的基于回声状态网络的多维时间序列缺失补全方法，其特征在于，所述步骤S5具体为：
步骤S51：对于j∈{1，2，...，no}，从j＝1开始，重复执行步骤S52-S55，直至j＝no；
步骤S52：对于t∈{1，2，...，l}，将矩阵H中所有
Figure FDA0003374692400000061
对应时刻的行取出，得到矩阵
Figure FDA0003374692400000062
步骤S53：取出
Figure FDA0003374692400000063
中对应时间序列的第j维观测值的列，得到向量
Figure FDA0003374692400000064
将剩余的部分命名为
Figure FDA0003374692400000065
步骤S54：利用步骤S44得到的
Figure FDA0003374692400000066
根据公式(10)更新
Figure FDA0003374692400000067
Figure FDA0003374692400000068
步骤S55、将
Figure FDA0003374692400000069
中的值按顺序填充到时间序列的第j维观测值的缺失位置。
CN202111412506.XA 2021-11-25 2021-11-25 基于回声状态网络的多维时间序列缺失补全方法 Pending CN114118373A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111412506.XA CN114118373A (zh) 2021-11-25 2021-11-25 基于回声状态网络的多维时间序列缺失补全方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111412506.XA CN114118373A (zh) 2021-11-25 2021-11-25 基于回声状态网络的多维时间序列缺失补全方法

Publications (1)

Publication Number Publication Date
CN114118373A true CN114118373A (zh) 2022-03-01

Family

ID=80372878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111412506.XA Pending CN114118373A (zh) 2021-11-25 2021-11-25 基于回声状态网络的多维时间序列缺失补全方法

Country Status (1)

Country Link
CN (1) CN114118373A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090558A (zh) * 2018-01-03 2018-05-29 华南理工大学 一种基于长短期记忆网络的时间序列缺失值自动填补方法
CN110309979A (zh) * 2019-07-09 2019-10-08 南方电网科学研究院有限责任公司 基于回声状态网络的电力负荷预测方法、装置及设备
CN111832623A (zh) * 2020-06-12 2020-10-27 东南大学 一种基于相空间重构的回声状态网络时间序列预测算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090558A (zh) * 2018-01-03 2018-05-29 华南理工大学 一种基于长短期记忆网络的时间序列缺失值自动填补方法
CN110309979A (zh) * 2019-07-09 2019-10-08 南方电网科学研究院有限责任公司 基于回声状态网络的电力负荷预测方法、装置及设备
CN111832623A (zh) * 2020-06-12 2020-10-27 东南大学 一种基于相空间重构的回声状态网络时间序列预测算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李莉;於志勇;黄昉菀;: "基于压缩感知的回声状态神经网络在时间序列预测中的应用", 软件导刊, no. 04, 15 April 2020 (2020-04-15) *

Similar Documents

Publication Publication Date Title
CN110223517B (zh) 基于时空相关性的短时交通流量预测方法
Stokbro et al. Exploiting neurons with localized receptive fields to learn chaos
CN109002917A (zh) 基于lstm神经网络的粮食总产量多维时间序列预测方法
CN106815782A (zh) 一种基于神经网络统计学模型的房地产估值方法及系统
CN108876044B (zh) 一种基于知识增强神经网络的线上内容流行度预测方法
CN109635245A (zh) 一种鲁棒宽度学习系统
CN112949828A (zh) 一种基于图学习的图卷积神经网络交通预测方法及系统
CN111260124A (zh) 一种基于注意力机制深度学习的混沌时间序列预测方法
CN110110794B (zh) 基于特征函数滤波的神经网络参数更新的图像分类方法
CN109800517B (zh) 一种改进的磁流变阻尼器逆向建模方法
CN110018675A (zh) 基于lwdnn-arx模型的非线性系统建模方法
CN112766603A (zh) 一种交通流量预测方法、系统、计算机设备及存储介质
CN113052373A (zh) 一种基于改进elm模型的月径流变化趋势预测方法
CN113935489A (zh) 基于量子神经网络的变分量子模型tfq-vqa及其两级优化方法
CN114694379B (zh) 一种基于自适应动态图卷积的交通流预测方法及系统
CN114330119B (zh) 一种基于深度学习的抽蓄机组调节系统辨识方法
CN112578089A (zh) 一种基于改进tcn的空气污染物浓度预测方法
JP4220169B2 (ja) 実車の塗膜厚予測方法、実車の塗膜厚予測システムおよび記録媒体
CN109540089B (zh) 一种基于贝叶斯-克里金模型的桥面高程拟合方法
CN109886405A (zh) 一种抑制噪声的基于人工神经网络结构优化方法
CN114118373A (zh) 基于回声状态网络的多维时间序列缺失补全方法
CN116881683A (zh) 一种基于ga-am-gru的流程工业能耗预测方法
CN111353525A (zh) 一种不均衡不完整数据集的建模及缺失值填补方法
KR20190129422A (ko) 뉴럴 네트워크를 이용한 변분 추론 방법 및 장치
CN112686323B (zh) 一种基于卷积的极限学习机的图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination