CN109670580A - 一种基于时间序列的数据修复方法 - Google Patents
一种基于时间序列的数据修复方法 Download PDFInfo
- Publication number
- CN109670580A CN109670580A CN201811568073.5A CN201811568073A CN109670580A CN 109670580 A CN109670580 A CN 109670580A CN 201811568073 A CN201811568073 A CN 201811568073A CN 109670580 A CN109670580 A CN 109670580A
- Authority
- CN
- China
- Prior art keywords
- layer
- output
- neural network
- elman neural
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000011084 recovery Methods 0.000 title claims abstract description 4
- 238000013528 artificial neural network Methods 0.000 claims abstract description 94
- 238000012549 training Methods 0.000 claims abstract description 64
- 230000008569 process Effects 0.000 claims abstract description 54
- 238000013461 design Methods 0.000 claims abstract description 15
- 210000002569 neuron Anatomy 0.000 claims description 46
- 239000013598 vector Substances 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 39
- 239000011159 matrix material Substances 0.000 claims description 30
- 230000008439 repair process Effects 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 15
- 230000007547 defect Effects 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 238000012938 design process Methods 0.000 claims description 6
- 238000012886 linear function Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Feedback Control In General (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种基于时间序列的数据修复方法，包括以下步骤：步骤1：正向Elman神经网络预测模型训练，所述正向Elman神经网络预测模型训练包括模型初步结构设计和网络训练；步骤2：反向Elman神经网络推演模型训练，所述反向Elman神经网络预测模型训练包括模型初步结构设计和网络训练；步骤3：数据修复模型设计，过程如下：3.1确定网络参数；3.2数据修复模型设计。结合正向Elman神经网络预测值及反向Elman神经网络推演值，以其各自准确度作为参考权重，从而得出数据修复值，理论上具有较高可信度；以自适应梯度控制法计算网络各层阈值及相互之间权重，具有较快收敛速度，可提高计算效率。
Description
技术领域
本发明属于时间序列分析领域，尤其涉及一种基于时间序列的数据修复方法。
背景技术
物联网技术的蓬勃发展的数据时代，我们的周围随时随地产生着比以往更多的数据信息。时间序列，指被研究对象按时间先后顺序产生的不同响应排列而成的一组数据。从最初上世纪九十年代，Agrawal等人通过对数据库中的序列进行离散傅里叶变换，找出了一种面向时间序列相似性查询的索引技术，逐步扩充为如今的数据变换、序列分割、聚类与分类，数据可视化、模式挖掘以及规则探索和预测等诸多研究方向。时间序列数据在股市，金融债券，数据挖掘，生物医学，甚至人机交互等领域都广泛存在。时间序列数据分析是目前最具有研究意义的问题之一。
目前国内外在时序数据上做得较多的工作是利用时序数据进行预测。通过对目标自身时间序列的分析，建立体现其动态依存关系的数学模型，研究其变化趋势，从而探知某现象随时间的变化规律，推测所分析变量未来发展走向。同时也提高工作的主动性和预见性，避免盲目性。
然而数据增长速度越来越快，数据结构越来越复杂，人们需要迫切从这些繁琐的、海量的但同时可能是残缺的数据中发现对自己有价值的信息。在实际工作中，由于时序数据获取对外界的依赖性，传感器的损坏，系统的故障，甚至人为的失误，都可能使得获得的数据存在异常值或缺失、损坏。因此造成对数据质量的降低会对后续数据分析产生十分重要的影响。所以对时序数据异常数据的修复是一个十分关键的技术问题，具有较强实际应用性。
现有对时序数据的修复方法主要是利用整个时序数据的平均值，中值等去修复，或者通过构建算法模型预测异常值的数据。前者往往精度不高，只适用于幅值变化较小数据；后者通常复杂度较高，只适用于小范围数据修复且效率低。
发明内容
为了克服现有数据修复方法的修复精度较低、修复效率较低的不足，本发明提供一种修复精度较高、修复效率较高的基于时间序列的数据修复方法，
本发明解决其技术问题所采用的技术方案是：
一种基于时间序列的数据修复方法，包括以下步骤：
步骤1：正向Elman神经网络预测模型训练，所述正向Elman神经网络预测模型训练包括模型初步结构设计和网络训练，过程如下：
步骤1.1：正向Elman神经网络预测模型初步结构设计，所述正向Elman神：经网络预测模型包括输入层、隐含层、承接层及输出层，设计过程如下：
1.1.1输入层
输入层包含若干传输节点，起传输信号的作用，同时对输入的原始正向Elman神经网络预测模型训练样本时间序列数据进行数据预处理，剔除超出所设阈值范围[umin，umax]的异常值，由其附近均值代替：
其中，u(r)为原始数列中第r项数据，u(r-1)为原始数列中第r-1项数据，u(r+1)为该原始数列中第r+1项数据；umax为所设定阈值范围内最大值，umin为所设定阈值范围内最小值，u(n)为处理后的一组时间序列即正向Elman神经网络输入层的输出向量；
1.1.2隐含层
隐含层包含若干隐含层神经元，同时接收来自输入层节点的输入信号以及承接层节点的反馈输入，采用logsig激活函数，函数公式如下:
其中，σ为隐含层输入，包括输入层输出值、承接层的反馈输入值及偏置项，在此模型中σ＝w1u(n-1)+w3l(n)+bh；
隐含层表达式为：
h(n)＝f(w1u(n-1)+w3l(n)+bh) (3)
其中，n为迭代时间步，bh为隐含层阈值矩阵，u(n-1)为输入层第n-1项迭代过程输出值，l(n)为承接层反馈输入，w1代表输入层到隐含层连接权值矩阵，w3代表承接层到隐含层连接权值矩阵；h(n)为隐含层输入σ经由logsig激活函数f(·)得到的隐含层输出向量；
1.1.3承接层
承接层为延时算子，每个承接层神经元有且仅有一个隐含层神经元与之对应，分别记忆和存储该隐含层神经元t-1时刻的输出值，并将它们延迟反馈给隐含层神经元；因此，网络在t时刻的输出状态不仅与当前t时刻输入信号有关，还与t-1时刻的网络状态有关，具有适应系统动态改变的特性；
承接层表达式为：
l(n)＝α·l(n-1)+h(n-1) (4)
其中，l(n)为承接层第n项迭代过程输出向量也作为隐含层第n项迭代的反馈输入，l(n-1)为承接层第n-1项迭代过程输出向量，h(n-1)为隐含层第n-1项迭代过程输出向量，α为自连接反馈增益因子，0≤α≤1；
1.1.4输出层
输出层神经元接收来自隐含层神经元的输入，起到线性加权的作用，采用线性函数g(·)作为输出层的激活函数，输出层表达式为：
y(n)＝g(w2h(n)+by) (5)
其中，by为输出层阈值矩阵，w2代表隐含层到输出层连接权值矩阵，y(n)为输出层输入经由线性激活函数g(·)得到的输出层输出向量；
步骤1.2：正向Elman神经网络预测模型网络训练，所述正向Elman神经网络以自适应反向传播算法进行最佳连接权值与阈值的选取，以获得状态最优的Elman神经网络模型，训练过程如下：
1.2.1定义误差函数
若所述Elman神经网络训练过程的第k步的实际输出为y(k)，期望输出为则定义网络的误差函数为：
1.2.2自适应梯度控制
所述自适应反向传播算法包括在传统反向传播算法(Back-Propagation，BP算法)基础上自适应地改变BP学习中的学习率η，以控制学习过程中梯度下降速度，达到改善传统BP算法收敛速度慢的缺点，自适应学习率设计为：
其中，▽E(k-i)代表前i次迭代的误差函数梯度值；
步骤2：反向Elman神经网络推演模型训练，所述反向Elman神经网络预测模型训练包括模型初步结构设计和网络训练，训练过程如下：
步骤2.1：反向Elman神经网络推演模型初步结构设计，所述反向Elman神经网络推演模型包括输入层、隐含层、承接层及输出层，设计过程如下：
2.1.1输入层
输入层同样起传输信号的作用，同时也对输入的原始反向Elman神经网络推演模型训练样本时间序列数据进行数据预处理，剔除超出所设阈值范围[umin，umax]的异常值，由其附近均值代替；
其中，u(t)为原始数列中第t项数据，u(t-1)为原始数列中第t-1项数据，u(t+1)为该原始数列中第t+1项数据；umax为所设定阈值范围内最大值，umin为所设定阈值范围内最小值，u(m)为处理后的一组时间序列即反向Elman神经网络输入层的输出向量；
2.1.2隐含层
隐含层包含若干隐含层神经元，接收来自输入层节点的输入信号，隐含层表达式为：
其中，m为迭代时间步，g-(·)代表线性函数的逆，bh为隐含层阈值矩阵，h(m)为隐含层第m项迭代过程的输出向量，u(m)为输入层的输出向量，即隐含层的输入向量，w1代表输入层到隐含层连接权值矩阵；
2.1.3承接层
反向Elman神经网络推演模型中承接层起记忆和存储该隐含层神经元t+1时刻的输出值的作用，同时反馈给输出层神经元。每个承接层神经元有且仅有一个输出层神经元与之对应，承接层表达式为：
l(m)＝α·l(m+1)+h(m+1) (10)
其中，l(m)为承接层第m项迭代过程的输出向量，l(m+1)为承接层第m+1项迭代过程的输出向量，h(m+1)为隐含层第m+1项迭代过程的输出向量，α为自连接反馈增益因子，0≤α≤1；
2.1.4输出层
输出层神经元接收来自隐含层神经元的输入，同时接收来自承接层的反馈信号，输出层表达式为：
其中，l(m)为承接层第m项迭代过程的输出向量即承接层对输出层的反馈输入，by为输出层阈值矩阵，w2代表隐含层到输出层连接权值矩阵，w3代表承接层到输出层连接权值矩阵，y(m)为各输入项经由f(·)函数求逆与w2的比值，即输出层输出向量，f(·)为logsig激活函数，与公式(2)表达式相同；
步骤2.2：反向Elman神经网络推演模型网络训练，所述反向Elman神经网络以自适应反向传播算法进行最佳连接权值与阈值的选取，以获得状态最优的反向Elman神经网络推演模型，训练过程如下：
2.2.1定义误差函数
若所述Elman神经网络训练过程的第k步的实际输出为y(k)，期望输出为则定义网络的误差函数为：
2.2.2自适应梯度控制
所述自适应反向传播算法包括在传统反向传播算法(Back-Propagation，BP算法)基础上自适应地改变BP学习中的学习率η，以控制学习过程中梯度下降速度，达到改善传统BP算法收敛速度慢的缺点，自适应学习率设计为：
其中，▽E(k-i)代表前i次迭代的误差函数梯度值，
步骤3：数据修复模型设计，过程如下：
3.1确定网络参数
正向Elman神经网络预测模型以序列u(n)的任意子序列作为训练样本，反向Elman神经网络推演模型以序列u(m)的任意子序列作为训练样本，当误差满足要求，或训练达到设定次数，结束正向Elman神经网络预测模型网络及反向Elman神经网络推演模型训练。确定所述正向Elman神经网络及反向Elman神经网络各层的连接权重与阈值；
3.2数据修复模型设计
向正向Elman神经网络预测模型输入测试样本数据，得到其输出结果y(n)；同样由反向Elman神经网络推演模型获得y(m)；
当预测值y(n)与推演值y(m)所表示的为该序列中同一真实值y(i)经过所述基于时序数据的数据修复算法得到的数值；
y(i)＝γ1y(n)+γ2y(m) (1,4)
γ1，γ2为权重，分别由正向Elman神经网络及反向Elman神经网络各自训练的准确度决定。
本发明的有益效果表现在：本方法结合正向Elman神经网络预测值及反向Elman神经网络推演值，以其各自准确度作为参考权重，从而得出数据修复值，理论上具有较高可信度；以自适应梯度控制法计算网络各层阈值及相互之间权重，具有较快收敛速度，可提高计算效率。
附图说明
图1是基于时间序列的数据修复算法示意图。
图2是Elman神经网络结构示意图。
图3是反向Elman神经网络模型示意图。
图4是基于时间序列的数据修复算法训练流程图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图4，一种基于时间序列的数据修复方法，包括以下步骤：
步骤1：正向Elman神经网络预测模型训练，所述正向Elman神经网络预测模型训练包括模型初步结构设计和网络训练，训练过程如下：
步骤1.1：正向Elman神经网络预测模型初步结构设计，参照图2，所述正向Elman神经网络预测模型包括输入层、隐含层、承接层及输出层，设计过程如下：
1.1.1输入层
输入层包含若干传输节点，起传输信号的作用，同时对输入的原始正向Elman神经网络预测模型训练样本时间序列数据进行数据预处理，剔除超出所设阈值范围[umin，umax]的异常值，由其附近均值代替。
其中，u(r)为原始数列中第r项数据，u(r-1)为原始数列中第r-1项数据，u(r+1)为该原始数列中第r+1项数据；umax为所设定阈值范围内最大值，umin为所设定阈值范围内最小值，u(n)为处理后的一组时间序列即正向Elman神经网络输入层的输出向量；
1.1.2隐含层
隐含层包含若干隐含层神经元，同时接收来自输入层节点的输入信号以及承接层节点的反馈输入，采用logsig激活函数，函数公式如下:
其中，σ为隐含层输入，包括输入层输出值、承接层的反馈输入值及偏置项，在此模型中σ＝w1u(n-1)+w3l(n)+bh；
隐含层表达式为：
h(n)＝f(w1u(n-1)+w3l(n)+bh) (3)
其中，n为迭代时间步，bh为隐含层阈值矩阵，u(n-1)为输入层第n-1项迭代过程输出值，l(n)为承接层反馈输入，w1代表输入层到隐含层连接权值矩阵，w3代表承接层到隐含层连接权值矩阵；h(n)为隐含层输入σ经由logsig激活函数f(·)得到的隐含层输出向量；
1.1.3承接层
承接层为延时算子，每个承接层神经元有且仅有一个隐含层神经元与之对应，分别记忆和存储该隐含层神经元t-1时刻的输出值，并将它们延迟反馈给隐含层神经元。因此，网络在t时刻的输出状态不仅与当前t时刻输入信号有关，还与t-1时刻的网络状态有关，具有适应系统动态改变的特性；
承接层表达式为：
l(n)＝α·l(n-1)+h(n-1) (4)
其中，l(n)为承接层第n项迭代过程输出向量也作为隐含层第n项迭代的反馈输入，l(n-1)为承接层第n-1项迭代过程输出向量，h(n-1)为隐含层第n-1项迭代过程输出向量，α为自连接反馈增益因子，0≤α≤1；
1.1.4输出层
输出层神经元接收来自隐含层神经元的输入，起到线性加权的作用。我们采用线性函数g(·)作为输出层的激活函数，输出层表达式为：
y(n)＝g(w2h(n)+by) (5)
其中，by为输出层阈值矩阵，w2代表隐含层到输出层连接权值矩阵，y(n)为输出层输入经由线性激活函数g(·)得到的输出层输出向量；
步骤1.2：正向Elman神经网络预测模型网络训练，所述正向Elman神经网络以自适应反向传播算法进行最佳连接权值与阈值的选取，以获得状态最优的Elman神经网络模型，训练过程如下：
1.2.1定义误差函数
若所述Elman神经网络训练过程的第k步的实际输出为y(k)，期望输出为则定义网络的误差函数为：
1.2.2自适应梯度控制
所述自适应反向传播算法包括在传统反向传播算法(Back-Propagation，BP算法)基础上自适应地改变BP学习中的学习率η，以控制学习过程中梯度下降速度，达到改善传统BP算法收敛速度慢的缺点，自适应学习率设计为：
其中，▽E(k-i)代表前i次迭代的误差函数梯度值；
步骤2：反向Elman神经网络推演模型训练，参照图3，所述反向Elman神经网络预测模型训练包括模型初步结构设计和网络训练，训练过程如下：
步骤2.1：反向Elman神经网络推演模型初步结构设计，所述反向Elman神经网络推演模型包括输入层、隐含层、承接层及输出层，设计过程如下：
2.1.1输入层
输入层同样起传输信号的作用，同时也对输入的原始反向Elman神经网络推演模型训练样本时间序列数据进行数据预处理，剔除超出所设阈值范围[umin，umax]的异常值，由其附近均值代替。
其中，u(t)为原始数列中第t项数据，u(t-1)为原始数列中第t-1项数据，u(t+1)为该原始数列中第t+1项数据；umax为所设定阈值范围内最大值，umin为所设定阈值范围内最小值，u(m)为处理后的一组时间序列即反向Elman神经网络输入层的输出向量；
2.1.2隐含层
隐含层包含若干隐含层神经元，接收来自输入层节点的输入信号。进一步，隐含层表达式为：
其中，m为迭代时间步，g-(·)代表线性函数的逆，bh为隐含层阈值矩阵，h(m)为隐含层第m项迭代过程的输出向量，u(m)为输入层的输出向量，即隐含层的输入向量，w1代表输入层到隐含层连接权值矩阵；
2.1.3承接层
反向Elman神经网络推演模型中承接层起记忆和存储该隐含层神经元t+1时刻的输出值的作用，同时反馈给输出层神经元，每个承接层神经元有且仅有一个输出层神经元与之对应，承接层表达式为：
l(m)＝α·l(m+1)+h(m+1) (10)
其中，l(m)为承接层第m项迭代过程的输出向量，l(m+1)为承接层第m+1项迭代过程的输出向量，h(m+1)为隐含层第m+1项迭代过程的输出向量，α为自连接反馈增益因子，0≤α≤1；
2.1.4输出层
输出层神经元接收来自隐含层神经元的输入，同时接收来自承接层的反馈信号，输出层表达式为：
其中，l(m)为承接层第m项迭代过程的输出向量即承接层对输出层的反馈输入，by为输出层阈值矩阵，w2代表隐含层到输出层连接权值矩阵，w3代表承接层到输出层连接权值矩阵，y(m)为各输入项经由f(·)函数求逆与w2的比值，即输出层输出向量，f(·)为logsig激活函数，与公式(2)表达式相同；
步骤2.2：反向Elman神经网络推演模型网络训练，所述反向Elman神经网络以自适应反向传播算法进行最佳连接权值与阈值的选取，以获得状态最优的反向Elman神经网络推演模型，训练过程如下：
2.2.1定义误差函数
若所述Elman神经网络训练过程的第k步的实际输出为y(k)，期望输出为则定义网络的误差函数为：
2.2.2自适应梯度控制
所述自适应反向传播算法包括在传统反向传播算法(Back-Propagation，BP算法)基础上自适应地改变BP学习中的学习率η，以控制学习过程中梯度下降速度，达到改善传统BP算法收敛速度慢的缺点，自适应学习率设计为：
其中，▽E(k-i)代表前i次迭代的误差函数梯度值；
参照图4，步骤3：数据修复模型设计，过程如下：
3.1确定网络参数
正向Elman神经网络预测模型以序列u(n)的任意子序列作为训练样本，反向Elman神经网络推演模型以序列u(m)的任意子序列作为训练样本。当误差满足要求，或训练达到设定次数，结束正向Elman神经网络预测模型网络及反向Elman神经网络推演模型训练。确定所述正向Elman神经网络及反向Elman神经网络各层的连接权重与阈值；
3.2数据修复模型设计
向正向Elman神经网络预测模型输入测试样本数据，得到其输出结果y(n)；同样由反向Elman神经网络推演模型获得y(m)；
当预测值y(n)与推演值y(m)所表示的为该序列中同一真实值y(i)经过所述基于时序数据的数据修复算法得到的数值；
y(i)＝γ1y(n)+γ2y(m) (14)
γ1，γ2为权重，分别由正向Elman神经网络及反向Elman神经网络各自训练的准确度决定。
Claims (1)
1.一种基于时间序列的数据修复方法，其特征在于，所述方法包括以下步骤：
步骤1：正向Elman神经网络预测模型训练，所述正向Elman神经网络预测模型训练包括模型初步结构设计和网络训练，过程如下：
步骤1.1：正向Elman神经网络预测模型初步结构设计，所述正向Elman神：经网络预测模型包括输入层、隐含层、承接层及输出层，设计过程如下：
1.1.1输入层
输入层包含若干传输节点，起传输信号的作用，同时对输入的原始正向Elman神经网络预测模型训练样本时间序列数据进行数据预处理，剔除超出所设阈值范围[umin，umax]的异常值，由其附近均值代替：
其中，u(r)为原始数列中第r项数据，u(r-1)为原始数列中第r-1项数据，u(r+1)为该原始数列中第r+1项数据；umax为所设定阈值范围内最大值，umin为所设定阈值范围内最小值，u(n)为处理后的一组时间序列即正向Elman神经网络输入层的输出向量；
1.1.2隐含层
隐含层包含若干隐含层神经元，同时接收来自输入层节点的输入信号以及承接层节点的反馈输入，采用logsig激活函数，函数公式如下:
其中，σ为隐含层输入，包括输入层的输出值、承接层的反馈输入值及偏置项，在此模型中σ＝w1u(n-1)+w3l(n)+bh；
隐含层表达式为：
h(n)＝f(w1u(n-1)+w3l(n)+bh) (3)
其中，n为迭代时间步，bh为隐含层阈值矩阵，u(n-1)为输入层第n-1项迭代过程输出值，l(n)为承接层反馈输入，w1代表输入层到隐含层连接权值矩阵，w3代表承接层到隐含层连接权值矩阵；h(n)为隐含层输入σ经由logsig激活函数f(·)得到的隐含层输出向量；
1.1.3承接层
承接层为延时算子，每个承接层神经元有且仅有一个隐含层神经元与之对应，分别记忆和存储该隐含层神经元t-1时刻的输出值，并将它们延迟反馈给隐含层神经元；因此，网络在t时刻的输出状态不仅与当前t时刻输入信号有关，还与t-1时刻的网络状态有关，具有适应系统动态改变的特性；
承接层表达式为：
l(n)＝α·l(n-1)+h(n-1) (4)
其中，l(n)为承接层第n项迭代过程输出向量也作为隐含层第n项迭代的反馈输入，l(n-1)为承接层第n-1项迭代过程输出向量，h(n-1)为隐含层第n-1项迭代过程输出向量，α为自连接反馈增益因子，0≤α≤1；
1.1.4输出层
输出层神经元接收来自隐含层神经元的输入，起到线性加权的作用，采用线性函数g(·)作为输出层的激活函数，输出层表达式为：
y(n)＝g(w2h(n)+by) (5)
其中，by为输出层阈值矩阵，w2代表隐含层到输出层连接权值矩阵，y(n)为输出层输入经由线性激活函数g(·)得到的输出层输出向量；
步骤1.2：正向Elman神经网络预测模型网络训练，所述正向Elman神经网络以自适应反向传播算法进行最佳连接权值与阈值的选取，以获得状态最优的Elman神经网络模型，训练过程如下：
1.2.1定义误差函数
若所述Elman神经网络训练过程的第k步的实际输出为y(k)，期望输出为则定义网络的误差函数为：
1.2.2自适应梯度控制
所述自适应反向传播算法包括在传统反向传播算法基础上自适应地改变BP学习中的学习率η，以控制学习过程中梯度下降速度，达到改善传统BP算法收敛速度慢的缺点，自适应学习率设计为：
其中，代表前i次迭代的误差函数梯度值；
步骤2：反向Elman神经网络推演模型训练，所述反向Elman神经网络预测模型训练包括模型初步结构设计和网络训练，训练过程如下：
步骤2.1：反向Elman神经网络推演模型初步结构设计，所述反向Elman神经网络推演模型包括输入层、隐含层、承接层及输出层，设计过程如下：
2.1.1输入层
输入层同样起传输信号的作用，同时也对输入的原始反向Elman神经网络推演模型训练样本时间序列数据进行数据预处理，剔除超出所设阈值范围[umin，umax]的异常值，由其附近均值代替；
其中，u(t)为原始数列中第t项数据，u(t-1)为原始数列中第t-1项数据，u(t+1)为该原始数列中第t+1项数据；umax为所设定阈值范围内最大值，umin为所设定阈值范围内最小值，u(m)为处理后的一组时间序列即反向Elman神经网络输入层的输出向量；
2.1.2隐含层
隐含层包含若干隐含层神经元，接收来自输入层节点的输入信号，隐含层表达式为：
其中，m为迭代时间步，g-(·)代表线性函数的逆，bh为隐含层阈值矩阵，h(m)为隐含层第m项迭代过程的输出向量，u(m)为输入层的输出向量，即隐含层的输入向量，w1代表输入层到隐含层连接权值矩阵；
2.1.3承接层
反向Elman神经网络推演模型中承接层起记忆和存储该隐含层神经元t+1时刻的输出值的作用，同时反馈给输出层神经元，每个承接层神经元有且仅有一个输出层神经元与之对应，承接层表达式为：
l(m)＝α·l(m+1)+h(m+1) (10)
其中，l(m)为承接层第m项迭代过程的输出向量，l(m+1)为承接层第m+1项迭代过程的输出向量，h(m+1)为隐含层第m+1项迭代过程的输出向量，α为自连接反馈增益因子，0≤α≤1；
2.1.4输出层
输出层神经元接收来自隐含层神经元的输入，同时接收来自承接层的反馈信号，输出层表达式为：
其中，l(m)为承接层第m项迭代过程的输出向量即承接层对输出层的反馈输入，by为输出层阈值矩阵，w2代表隐含层到输出层连接权值矩阵，w3代表承接层到输出层连接权值矩阵，y(m)为各输入项经由f(·)函数求逆与w2的比值，即输出层输出向量，f(·)为logsig激活函数，与公式(2)表达式相同；
步骤2.2：反向Elman神经网络推演模型网络训练，所述反向Elman神经网络以自适应反向传播算法进行最佳连接权值与阈值的选取，以获得状态最优的反向Elman神经网络推演模型，训练过程如下：
2.2.1定义误差函数
若所述Elman神经网络训练过程的第k步的实际输出为y(k)，期望输出为则定义网络的误差函数为：
2.2.2自适应梯度控制
所述自适应反向传播算法包括在传统反向传播算法基础上自适应地改变BP学习中的学习率η，以控制学习过程中梯度下降速度，达到改善传统BP算法收敛速度慢的缺点，自适应学习率设计为：
其中，代表前i次迭代的误差函数梯度值，
步骤3：数据修复模型设计，过程如下：
3.1确定网络参数
正向Elman神经网络预测模型以序列u(n)的任意子序列作为训练样本，反向Elman神经网络推演模型以序列u(m)的任意子序列作为训练样本；当误差满足要求，或训练达到设定次数，结束正向Elman神经网络预测模型网络及反向Elman神经网络推演模型训练，确定所述正向Elman神经网络及反向Elman神经网络各层的连接权重与阈值；
3.2数据修复模型设计
向正向Elman神经网络预测模型输入测试样本数据，得到其输出结果y(n)；同样由反向Elman神经网络推演模型获得y(m)；
当预测值y(n)与推演值y(m)所表示的为该序列中同一真实值y(i)经过所述基于时序数据的数据修复算法得到的数值；
y(i)＝γ1y(n)+γ2y(m) (14)
γ1，γ2为权重，分别由正向Elman神经网络及反向Elman神经网络各自训练的准确度决定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811568073.5A CN109670580A (zh) | 2018-12-21 | 2018-12-21 | 一种基于时间序列的数据修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811568073.5A CN109670580A (zh) | 2018-12-21 | 2018-12-21 | 一种基于时间序列的数据修复方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109670580A true CN109670580A (zh) | 2019-04-23 |
Family
ID=66145693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811568073.5A Pending CN109670580A (zh) | 2018-12-21 | 2018-12-21 | 一种基于时间序列的数据修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109670580A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163389A (zh) * | 2019-05-27 | 2019-08-23 | 上海电气泰雷兹交通自动化系统有限公司 | 运用于预见性维护管理中的神经元网络方法 |
| CN110186570A (zh) * | 2019-05-16 | 2019-08-30 | 西安理工大学 | 一种增材制造激光3d打印温度梯度检测方法 |
| CN110259590A (zh) * | 2019-06-28 | 2019-09-20 | 重庆邮电大学 | 复杂工况下hcci发动机燃烧正时控制系统 |
| CN110274609A (zh) * | 2019-06-10 | 2019-09-24 | 浙江工业大学 | 一种基于行程时间预测的实时路径规划方法 |
| CN110427669A (zh) * | 2019-07-20 | 2019-11-08 | 中国船舶重工集团公司第七二四研究所 | 一种相控阵扫描辐射波束的神经网络模型计算方法 |
| CN110456335A (zh) * | 2019-08-09 | 2019-11-15 | 河海大学 | 一种基于神经网络的mimo雷达目标定位方法及系统 |
| CN110490128A (zh) * | 2019-08-16 | 2019-11-22 | 南京邮电大学 | 一种基于加密神经网络的手写识别方法 |
| CN110826703A (zh) * | 2019-06-06 | 2020-02-21 | 西安交通大学 | 一种基于协作式时变双向循环神经网络的通信系统信号序列检测方法 |
| CN111273212A (zh) * | 2020-02-24 | 2020-06-12 | 国网湖南省电力有限公司 | 数据驱动的电量传感器误差在线评测闭环改进方法、系统及介质 |
| CN111475496A (zh) * | 2020-03-26 | 2020-07-31 | 深圳先进技术研究院 | 基于多条件约束的时间序列数据生成方法、装置及介质 |
| CN112396159A (zh) * | 2020-10-22 | 2021-02-23 | 沈阳建筑大学 | 一种用于混凝土布料的螺旋输送量的预报方法 |
| WO2021189362A1 (zh) * | 2020-03-26 | 2021-09-30 | 深圳先进技术研究院 | 基于多条件约束的时间序列数据生成方法、装置及介质 |
| CN113569469A (zh) * | 2021-07-14 | 2021-10-29 | 扬州大学 | 一种用于设计高性能闪耀光栅结构的预测网络的构建方法 |
| CN113780543A (zh) * | 2021-09-08 | 2021-12-10 | 福州大学 | 一种神经网络pid闭环控制的fpga实现方法 |
| CN114201915A (zh) * | 2021-11-30 | 2022-03-18 | 汉谷云智(武汉)科技有限公司 | 一种基于时延神经网络及支持向量机的脱硫效率预测方法 |
| CN115688544A (zh) * | 2022-06-20 | 2023-02-03 | 河海大学 | 一种基于mlp神经网络的微波衰减降雪场层析重构方法 |
| CN117725979A (zh) * | 2023-09-27 | 2024-03-19 | 行吟信息科技（上海）有限公司 | 模型训练方法及装置、电子设备及计算机可读存储介质 |
-
2018
- 2018-12-21 CN CN201811568073.5A patent/CN109670580A/zh active Pending
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110186570A (zh) * | 2019-05-16 | 2019-08-30 | 西安理工大学 | 一种增材制造激光3d打印温度梯度检测方法 |
| CN110186570B (zh) * | 2019-05-16 | 2021-01-15 | 西安理工大学 | 一种增材制造激光3d打印温度梯度检测方法 |
| CN110163389A (zh) * | 2019-05-27 | 2019-08-23 | 上海电气泰雷兹交通自动化系统有限公司 | 运用于预见性维护管理中的神经元网络方法 |
| CN110826703A (zh) * | 2019-06-06 | 2020-02-21 | 西安交通大学 | 一种基于协作式时变双向循环神经网络的通信系统信号序列检测方法 |
| CN110826703B (zh) * | 2019-06-06 | 2022-06-07 | 西安交通大学 | 一种基于协作式时变双向循环神经网络通信信号检测方法 |
| CN110274609A (zh) * | 2019-06-10 | 2019-09-24 | 浙江工业大学 | 一种基于行程时间预测的实时路径规划方法 |
| CN110259590B (zh) * | 2019-06-28 | 2021-11-09 | 重庆邮电大学 | 复杂工况下hcci发动机燃烧正时控制系统 |
| CN110259590A (zh) * | 2019-06-28 | 2019-09-20 | 重庆邮电大学 | 复杂工况下hcci发动机燃烧正时控制系统 |
| CN110427669A (zh) * | 2019-07-20 | 2019-11-08 | 中国船舶重工集团公司第七二四研究所 | 一种相控阵扫描辐射波束的神经网络模型计算方法 |
| CN110456335A (zh) * | 2019-08-09 | 2019-11-15 | 河海大学 | 一种基于神经网络的mimo雷达目标定位方法及系统 |
| CN110490128B (zh) * | 2019-08-16 | 2022-09-06 | 南京邮电大学 | 一种基于加密神经网络的手写识别方法 |
| CN110490128A (zh) * | 2019-08-16 | 2019-11-22 | 南京邮电大学 | 一种基于加密神经网络的手写识别方法 |
| CN111273212A (zh) * | 2020-02-24 | 2020-06-12 | 国网湖南省电力有限公司 | 数据驱动的电量传感器误差在线评测闭环改进方法、系统及介质 |
| CN111273212B (zh) * | 2020-02-24 | 2022-03-11 | 国网湖南省电力有限公司 | 数据驱动的电量传感器误差在线评测闭环改进方法、系统及介质 |
| CN111475496A (zh) * | 2020-03-26 | 2020-07-31 | 深圳先进技术研究院 | 基于多条件约束的时间序列数据生成方法、装置及介质 |
| US11797372B2 (en) | 2020-03-26 | 2023-10-24 | Shenzhen Institutes Of Advanced Technology | Method and apparatus for generating time series data based on multi-condition constraints, and medium |
| WO2021189362A1 (zh) * | 2020-03-26 | 2021-09-30 | 深圳先进技术研究院 | 基于多条件约束的时间序列数据生成方法、装置及介质 |
| GB2606792A (en) * | 2020-03-26 | 2022-11-23 | Shenzhen Inst Adv Tech | Time series data generation method and device based on multi-condition constraints, and medium |
| CN112396159A (zh) * | 2020-10-22 | 2021-02-23 | 沈阳建筑大学 | 一种用于混凝土布料的螺旋输送量的预报方法 |
| CN113569469A (zh) * | 2021-07-14 | 2021-10-29 | 扬州大学 | 一种用于设计高性能闪耀光栅结构的预测网络的构建方法 |
| CN113569469B (zh) * | 2021-07-14 | 2023-10-03 | 扬州大学 | 一种用于设计高性能闪耀光栅结构的预测网络的构建方法 |
| CN113780543A (zh) * | 2021-09-08 | 2021-12-10 | 福州大学 | 一种神经网络pid闭环控制的fpga实现方法 |
| CN113780543B (zh) * | 2021-09-08 | 2024-02-02 | 福州大学 | 一种神经网络pid闭环控制的fpga实现方法 |
| CN114201915A (zh) * | 2021-11-30 | 2022-03-18 | 汉谷云智(武汉)科技有限公司 | 一种基于时延神经网络及支持向量机的脱硫效率预测方法 |
| CN114201915B (zh) * | 2021-11-30 | 2024-08-09 | 汉谷云智(武汉)科技有限公司 | 一种基于时延神经网络及支持向量机的脱硫效率预测方法 |
| CN115688544B (zh) * | 2022-06-20 | 2023-05-12 | 河海大学 | 一种基于mlp神经网络的微波衰减降雪场层析重构方法 |
| CN115688544A (zh) * | 2022-06-20 | 2023-02-03 | 河海大学 | 一种基于mlp神经网络的微波衰减降雪场层析重构方法 |
| CN117725979A (zh) * | 2023-09-27 | 2024-03-19 | 行吟信息科技（上海）有限公司 | 模型训练方法及装置、电子设备及计算机可读存储介质 |
| CN117725979B (zh) * | 2023-09-27 | 2024-09-20 | 行吟信息科技（上海）有限公司 | 模型训练方法及装置、电子设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109670580A (zh) | 一种基于时间序列的数据修复方法 | |
| CN110033021B (zh) | 一种基于一维多路卷积神经网络的故障分类方法 | |
| CN111583263B (zh) | 一种基于联合动态图卷积的点云分割方法 | |
| CN108596327B (zh) | 一种基于深度学习的地震速度谱人工智能拾取方法 | |
| CN109993280A (zh) | 一种基于深度学习的水下声源定位方法 | |
| CN111695611B (zh) | 一种蜂群优化核极限学习和稀疏表示机械故障识别方法 | |
| CN115828754A (zh) | 基于多尺度时空融合网络模型的刀具磨损状态监测方法 | |
| CN108875933A (zh) | 一种无监督稀疏参数学习的超限学习机分类方法及系统 | |
| CN111985825A (zh) | 一种用于滚磨机定向仪的晶面质量评估方法 | |
| CN107894710B (zh) | 一种裂解反应炉温度的主成分分析建模方法 | |
| CN112014790A (zh) | 基于因子分析的近场源定位方法 | |
| CN111882057A (zh) | 一种面向时空序列数据建模的多阶段深度学习方法及应用 | |
| CN116646929A (zh) | 一种基于pso-cnn-bilstm的短期风电功率预测方法 | |
| CN115828085A (zh) | 联合迁移学习和监督学习的电磁谱辐射源智能识别方法 | |
| Mustika et al. | Comparison of keras optimizers for earthquake signal classification based on deep neural networks | |
| CN113221758B (zh) | 一种基于gru-nin模型的水声目标识别方法 | |
| CN118296452A (zh) | 一种基于Transformer模型优化的工业设备故障诊断方法 | |
| CN105426962A (zh) | 一种不完全递归支集动态神经网络构建及训练方法 | |
| CN110633741B (zh) | 一种基于改进脉冲神经网络的时间序列分类方法 | |
| CN115357862B (zh) | 一种狭长空间中的定位方法 | |
| CN114596567A (zh) | 一种基于动态前馈神经网络结构和成长率函数的手写数字识别方法 | |
| CN107844834A (zh) | 一种基于混合模型的非线性系统建模方法 | |
| CN108932550B (zh) | 一种基于模糊密集稀疏密集算法进行图像分类的方法 | |
| CN115719040B (zh) | 一种青霉素发酵过程关键变量软测量方法及系统 | |
| Ashok et al. | An improving recognition accuracy of underwater acoustic targets based on gated recurrent unit (GRU) neural network method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190423 |
|
| RJ01 | Rejection of invention patent application after publication |