CN108090558B - 一种基于长短期记忆网络的时间序列缺失值自动填补方法 - Google Patents

Abstract

本发明公开了一种基于长短期记忆网络的时间序列缺失值自动填补方法，包括以下步骤：获取没有缺失值的原数据集，并进行预处理；按照给定的缺失率随机删除某些值构成含有不同缺失率的缺失数据集；根据深度残差网络与图结构依赖的思想，引入基于图依赖的残差连接到LSTM模型，形成RSU，同时将LSTM模型的每一时刻的隐藏状态和RSU的历史状态信息进行融合与传递；训练构建的新模型，在网络训练前向传播过程中根据数据是否缺失利用RSU的值进行填补。RSU整合了先前的残差和隐藏的状态信息，使得构建的模型能够关联足够多的关于缺失数据历史信息，同时实现了对含缺失值的时序数据可端到端含缺失值训练的过程。

Description

一种基于长短期记忆网络的时间序列缺失值自动填补方法

技术领域

本发明涉及时间序列缺失值自动填补的技术领域，特别是涉及一种基于长短期记忆网络可端到端学习含缺失值数据的时间序列缺失值自动填补方法。

背景技术

时间序列是实际应用中最常见的数据形式之一，包括气象，健康和医疗，动作捕捉，金融市场和城市交通管制等。然而，这些实际的时间序列数据不可避免地由于传感器故障而包含缺失值。一般处理缺失值的方法有零填补，均值填补，多项式拟合方法或者EM算法等等对缺失值进行填补。

然而与静态数据填补相比，时间序列填补是一项非常具有挑战性的任务。因为缺失值与其先前的值往往存在非线性和动态的相关性，利用传统的数据填补方法很可能会造成很大的误差。如果数据缺失比例较大，传统方法更难对于在该种情况下的非线性和动态的相关性进行有效的时序建模。

在现有的研究中，Anava等人使用自回归模型来处理在线时间序列的缺失值，他们假设缺失值可以表示为其以前的非缺失值和缺失值的递归自回归形式。类似地，Dhillon等人提出的时序正则化矩阵分解(Temporal Regularized Matrix Factorization,TRMF)模型使用自回归来模拟相应的潜在变量之间的时间依赖性，他们将这种自回归的结构概括为一个图，用于在不同阶段建立缺失值和其先前的非缺失值的依赖关系，但是这依赖于人的先验知识，需要手工设计图的结构。除了上述基于图的方法之外，长短期记忆网络(LongShort-Term Memory,LSTM)也可以用于建立时间的转态转换关系，然而传统的LSTM模型无法处理含有缺失值的时间序列数据，从而不能进行端到端的网络训练。

因此，亟待提出一种面向时间序列缺失值自动填补的可端到端学习的神经网络模型，并期待获得优于传统填补方法的实验效果。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于长短期记忆网络的时间序列缺失值自动填补方法。

本发明的目的可以通过采取如下技术方案达到：

一种基于长短期记忆网络的时间序列缺失值自动填补方法，所述的时间序列缺失值填补方法包括下列步骤：

S1、获取时间序列数据集，对数据进行预处理；

S2、对预处理后的数据按照给定的缺失率随机删除某些值构成含有不同缺失率的数据集；

S3、将基于图依赖的残差连接引入到LSTM模型，形成RSU，同时将LSTM模型的每一时刻的隐藏状态和RSU的历史状态信息进行融合；

S4、训练步骤S3中构建的LSTM模型，在网络训练的前向传播过程中，如果下一个时刻输入值已知，则训练输出的RSU值乘以一个权值矩阵去近似下一时刻输入值；如果下一个时刻输入值缺失，将当前的RSU值乘以相同的权值矩阵去填补该缺失值；在网络训练的反向传播过程中，如果当前时刻的目标值缺失，该时刻的损失不加入到网络总的损失函数中去；

S5、基于训练后的LSTM模型对含缺失值的时序数据进行填补形成完整数据集。

进一步地，所述的时间序列缺失值填补方法还包括有效性检验步骤，过程如下：

计算原真实数据集和填补后数据之间的均方根误差RMSE，并且和传统的数据填补方法进行结果的比较，以此检验LSTM模型的有效性。

进一步地，所述的步骤S3中RSU的计算方式与LSTM模型的隐藏状态和RSU的历史状态信息进行融合过程如下：

其中，g和f是恒等映射函数，h_t定义为t时刻LSTM模型单元输出的隐藏值，r_t定义为t时刻残差和单元RSU的值，f(h_t+g(W_rr_t-1))定义为t时刻LSTM模型的隐藏状态和RSU的历史状态信息进行融合的过程，

是参数矩阵，

是引入基于图依赖的残差连接。

进一步地，所述的步骤S4中的训练过程如下：

S401、网络训练前向传播过程分为两种情况：近似过程和填补过程，如果下一个时刻输入值x_t已知，则训练残差和单元RSU输出的值r_t-1乘以一个权值矩阵W_imp得到的z_t-1近似下一个时刻输入值x_t；如果下一个输入值x_t是缺失值，则用z_t-1填补x_t，其中z_t-1定义如下公式：

z_t-1＝W_impr_t-1

并且根据当前的输入是否为缺失值，用一个统一的形式u_t来表示当前的输入值：

其中，

和

分别表示逐元素的乘法和加法，I{x_t}表示指示函数，返回一个n维二进制向量表示当前输入值x_t的缺失属性情况，因此，如果x_t已知，则x_t正常作为网络的输入值；如果x_t是缺失值，则将z_t-1作为网络的输入值；

S402、根据上述的定义，LSTM模型的前向传播过程隐藏状态h_t的更新公式为：

i_t＝σ(W_i[h_t-1,u_t]+b_i)

f_t＝σ(W_f[h_t-1,u_t]+b_f)

o_t＝σ(W_o[h_t-1,u_t]+b_o)

其中，W_i,W_f,W_o,W_c,b_i,b_f,b_o,b_c代表可学习参数，i_t,f_t,o_t,

c_t分别代表在t时刻输入门、遗忘门、输出门、当前新知识与当前记忆的数值，σ(·)和tanh(·)分别代表sigmoid和双曲函数；

S403、在网络训练的反向传播过程中，定义时刻t损失函数的计算方式如下：

其中I{x_t}表示指示函数,t＝2,3,…,T，该函数表示如果当前时刻的目标值缺失，则不计算该时刻的损失，从而使得反向传播过程得以正常进行；

S404、如果定义上标k表示时间序列集合的第k个样本，k＝1,2,3,…,T，则整体训练损失函数计算方式如下：

其中d^(k)表示第k个样本值,

的第二项表示任务相关的损失函数，最后一项的

表示正则项；

S405、根据上述定义的损失函数，利用BPTT算法来最小化损失函数，以达到最优化网络参数。

进一步地，所述的均方根误差RMSE的计算方式为

其中，n代表缺失值的数量，

和

分别代表第i个缺失值相对应的真实值和填补值。

本发明相对于现有技术具有如下的优点及效果：

1、本发明以可端到端含缺失值的网络训练方式处理含有缺失值的时间序列，真正实现了含缺失值的网络训练方式。

2、本发明中引入了基于图的残差连接直接考虑了缺失值和其之前的缺失值的关联性，避免了手工设计图依赖结构。

附图说明

图1是本发明中面向时间序列缺失值自动填补的可端到端学习的长短期记忆网络模型的具体流程图；

图2是本发明中面向时间序列缺失值自动填补的可端到端学习的长短期记忆网络模型的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1所示，本实施例公开了一种基于长短期记忆网络的时间序列缺失值自动填补方法包括以下步骤：

步骤S1、获取时间序列训练数据集，对数据进行预处理。数据集分别采用人工合成的数据集和现实世界真实的数据集来对模型进行检测。人工合成的数据集采用的是Sanitycheck数据集，这是由五阶自回归方程合成的时间序列，自回归方程如下：

其中，φ₀和自回归系数{φ_i}(i∈1,…5)分别设置为{0,0.6,-0.5,0.4,-0.4,0.3}，{ε_t}是噪声并且服从正态分布N(0,0.03²)。{x_i}(i∈1,2,…5)初始化为1,2,3,4,5，该时间序列数据集长度为496。真实的数据集采用的是从1956年至1970年阿苏萨(Azuza)每月的臭氧浓度，并对其进行均值归一化处理，该真实数据集共有180条记录。

步骤S2、对步骤S1中的数据按照给定的缺失率随机删除某些值构成含有不同缺失率的数据集。缺失率定义为缺失数据个数占原数据总数的比例，本实施例缺失率设定为从10％提高到30％，其中增幅为5％。

步骤S3、将基于图依赖的残差连接引入到长短期记忆网络(Long Short-TermMemory,LSTM)模型，形成残差和单元(Residual Sum Unit,RSU)，同时将LSTM模型的每一时刻的隐藏状态和RSU的历史状态信息进行融合。

残差和单元RSU的定义与融合过程如下：

其中，g和f是恒等映射函数，h_t定义为t时刻LSTM模型单元输出的隐藏值，r_t定义为t时刻残差和单元RSU的值，f(h_t+g(W_rr_t-1))定义为t时刻LSTM模型的隐藏状态和RSU的历史状态信息进行融合的过程，W_r∈R^m×m是参数矩阵。W_rr_t-1∈R^m是引入基于图依赖的残差连接。

步骤S4、训练步骤S3中构建的模型，在网络训练的前向传播过程中，如果下一个时刻输入值已知，则训练输出的RSU值乘以一个权值矩阵去近似下一时刻输入值；如果下一个时刻输入值缺失，将当前的RSU值乘以相同的权值矩阵去填补该缺失值。在网络训练的反向传播过程中，如果当前时刻的目标值缺失，该时刻的损失不加入到网络总的损失函数中去。具体的训练过如下：

S401、网络训练前向传播过程分为两种情况：近似过程和填补过程。如图2所示，虚线圆代表残差和单元，实线圆代表已知输入值，M代表缺失值，黑色实心圆的代表任务相关的输出。黑色虚线表示的是近似过程，黑色实线表示的是填补过程。如果下一个时刻输入值x_t已知，则训练残差和单元RSU输出的值乘以一个权值矩阵W_imp得到的z_t-1近似下一个时刻输入值x_t，旨在利用序列中不缺失的值来指导网络进行有效学习；如果下一个输入值x_t是缺失值，则用z_t-1填补x_t。其中z_t-1的定义如下公式：

z_t-1＝W_impr_t-1

并且根据当前的输入是否为缺失值，我们可以用一个统一的形式u_t来表示当前的输入值：

其中，

和

分别表示逐元素的乘法和加法，I{x_t}表示指示函数，返回一个n维二进制向量表示当前输入值x_t的缺失属性情况。因此，如果x_t已知，则x_t正常作为网络的输入值；如果x_t是缺失值，则将z_t-1作为网络的输入值。

S402、根据上述的定义，LSTM模型的前向传播过程隐藏状态的更新公式为：

i_t＝σ(W_i[h_t-1,u_t]+b_i)

f_t＝σ(W_f[h_t-1,u_t]+b_f)

o_t＝σ(W_o[h_t-1,u_t]+b_o)

S403、在网络训练的反向传播过程中，由于如果当前时刻的目标值缺失，则该时刻的损失是不可定义的。因此，定义时刻t损失函数的计算方式如下：

其中I{x_t}表示指示函数,t＝2,3,…,T。该函数表示了如果当前时刻的目标值缺失，我们不计算该时刻的损失，从而使得反向传播过程得以正常进行。

S404、如果定义上标k表示时间序列集合的第k个样本(k＝1,2,3,…,T)，则整体训练损失函数计算方式如下：

其中d^(k)表示第k个样本值,

的第二项表示任务相关的损失函数，例如在一个预测任务中,

的具体形式为平方损失。最后一项的

表示正则项，该模型的训练求解方法和其他的递归神经网络(Recurrent Neural Network,RNN)模型相同。

S405、根据上述定义的损失函数，利用时间反向传播(Backpropagation ThroughTime,BPTT)算法来最小化损失函数，以达到最优化网络参数。

步骤S5、基于训练后的LSTM模型对含缺失值的时序数据进行填补形成完整数据集。

步骤S6、根据步骤S5对于含缺失值的时序数据进行填补完成后的完整数据集，计算原真实数据集和填补后数据之间的均方根误差，并且和传统的数据填补方法进行结果的比较，以此检验模型的有效性。其中均方根误差RMSE计算方式如下：

其中n代表缺失值的数量，

和

分别代表第i个缺失值相对应的真实值和填补值。

采用相同的数据集，将本发明的实验结果和分别采用传统的多项式拟合填补，EM填补得到实验结果相比较。所得结果如下表1：

表1.实验结果表

表中的数据代表均方根误差RMSE的值，由表中可知，无论是合成的数据集还是现实的数据集，在不同的数据缺失率下，本发明的填补误差都是最小的。综上所述，本发明提出的方法能够有效的对时间序列中的缺失值进行填补。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种基于长短期记忆网络的时间序列缺失值自动填补方法，其特征在于，应用于含缺失值的气象、交通流在内的时空数据的填补，所述的时间序列缺失值填补方法包括下列步骤：

S1、获取气象数据或交通流的时间序列数据集，对数据进行预处理；

S2、对预处理后的数据按照给定的缺失率随机删除某些值构成含有不同缺失率的数据集；

S3、将基于图依赖的残差连接引入到LSTM模型，形成残差和单元，以下残差和单元简称RSU，同时将LSTM模型的每一时刻的隐藏状态和RSU的历史状态信息进行融合，融合过程如下：

其中，g和f是恒等映射函数，h_t定义为t时刻LSTM模型单元输出的隐藏值，r_t定义为t时刻残差和单元RSU的值，f(h_t+g(W_rr_t-1))定义为t时刻LSTM模型的隐藏状态和RSU的历史状态信息进行融合的过程，

是参数矩阵，

是引入基于图依赖的残差连接；

S4、训练步骤S3中构建的LSTM模型，在网络训练的前向传播过程中，如果下一个时刻输入值已知，则训练输出的RSU值乘以一个权值矩阵去近似下一时刻输入值；如果下一个时刻输入值缺失，将当前的RSU值乘以相同的权值矩阵去填补该缺失值；在网络训练的反向传播过程中，如果当前时刻的目标值缺失，该时刻的损失不加入到网络总的损失函数中去；

S5、基于训练后的LSTM模型对含缺失值的交通流量时序数据进行填补形成完整数据集。

2.根据权利要求1所述的一种基于长短期记忆网络的时间序列缺失值自动填补方法，其特征在于，所述的时间序列缺失值填补方法还包括有效性检验步骤，过程如下：

计算原真实数据集和填补后数据之间的均方根误差RMSE，并且和传统的数据填补方法进行结果的比较，以此检验LSTM模型的有效性。

3.根据权利要求1所述的一种基于长短期记忆网络的时间序列缺失值自动填补方法，其特征在于，所述的步骤S4中的训练过程如下：

S401、网络训练前向传播过程分为两种情况：近似过程和填补过程，如果下一个时刻输入值x_t已知，则训练残差和单元RSU输出的值r_t-1乘以一个权值矩阵W_imp得到的z_t-1近似下一个时刻输入值x_t；如果下一个输入值x_t是缺失值，则用z_t-1填补x_t，其中z_t-1定义如下公式：

z_t-1＝W_impr_t-1

并且根据当前的输入是否为缺失值，用一个统一的形式u_t来表示当前的输入值：

其中，

和

分别表示逐元素的乘法和加法，I{x_t}表示指示函数，返回一个n维二进制向量表示当前输入值x_t的缺失属性情况，因此，如果x_t已知，则x_t正常作为网络的输入值；如果x_t是缺失值，则将z_t-1作为网络的输入值；

S402、根据上述的定义，LSTM模型的前向传播过程隐藏状态h_t的更新公式为：

i_t＝σ(W_i[h_t-1,u_t]+b_i)

f_t＝σ(W_f[h_t-1,u_t]+b_f)

o_t＝σ(W_o[h_t-1,u_t]+b_o)

其中，W_i,W_f,W_o,W_c,b_i,b_f,b_o,b_c代表可学习参数，i_t,f_t,o_t,

c_t分别代表在t时刻输入门、遗忘门、输出门、当前新知识与当前记忆的数值，σ(·)和tanh(·)分别代表sigmoid和双曲函数；

S403、在网络训练的反向传播过程中，定义时刻t损失函数的计算方式如下：

其中I{x_t}表示指示函数,t＝2,3,...,T，该函数表示如果当前时刻的目标值缺失，则不计算该时刻的损失，从而使得反向传播过程得以正常进行；

S404、如果定义上标k表示时间序列集合的第k个样本，k＝1,2,3,...,T，则整体训练损失函数计算方式如下：

其中d^(k)表示第k个样本值,

的第二项表示任务相关的损失函数，

的最后一项的表示正则项；

S405、根据上述定义的损失函数，利用BPTT算法来最小化损失函数，以达到最优化网络参数。

4.根据权利要求2所述的一种基于长短期记忆网络的时间序列缺失值自动填补方法，其特征在于，所述的均方根误差RMSE的计算方式为

其中，n代表缺失值的数量，

和

分别代表第i个缺失值相对应的真实值和填补值。

Images