CN108182259A

CN108182259A - 一种基于深度长短期记忆神经网络对多变量时间序列分类的方法

Info

Publication number: CN108182259A
Application number: CN201810004117.5A
Authority: CN
Inventors: 马千里; 秦州
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2018-01-03
Filing date: 2018-01-03
Publication date: 2018-06-19
Anticipated expiration: 2038-01-03
Also published as: CN108182259B

Abstract

本发明公开了一种基于深度长短期记忆神经网络对多变量时间序列分类的方法，该方法通过选择长短期记忆神经元结构作为递归神经网络的隐层神经元结构，对长短期记忆神经元进行堆叠，设计出一种深层的递归神经网络分类框架，以达到提高多变量时间序列数据分类准确率的目的。通过实验对比发现，本发明比已有的分类模型准确度更高，并且在多个领域的时间序列数据集分类任务上具有普适性。

Description

一种基于深度长短期记忆神经网络对多变量时间序列分类的方法

技术领域

本发明涉及时间序列的数据挖掘技术领域，具体涉及一种基于深度长短期记忆神经网络对多变量时间序列分类的方法。

背景技术

多变量时间序列数据是时序数据的一种重要类型，被用于包括医疗、金融、工业制造、语音、视频等多个领域，对于多变量时间序列的分类是时序数据挖掘中的一类基本问题。相比于传统的分类模型，多变量时序分类模型主要有两个关键点，建模多变量之间的相关性以及建模数据当中的时序性。

现阶段对多变量时间序列数据分类的方法可以归纳为四类，其一是使用滑动时间窗口重构样本空间，在样本中引入时序特性，再将重构后的样本输入到分类器中分类，其缺点是时间窗口的长度需要人为指定，不同的时间窗口会对分类准确度造成较大影响；其二是使用动态时间规整算法，计算样本之间的距离，再将这些距离输入到近邻分类器中进行分类，其缺点是动态时间规整算法默认样本的各个变量之间的重要性相同，这与实际不符；其三是提取时间序列样本的子序列，用子序列代替原序列进行分类，其缺点是提取子序列可能造成原有序列的部分信息丢失；最后一种方法是使用递归神经网络，但是隐层使用简单激活结构的递归神经网络被证明不能对时序数据的长期时序依赖建模。

长短期记忆神经元(Long Short Term Memory,LSTM)结构是递归神经网络隐层的一种结构，因其结构特点规避了递归神经网络梯度弥散和梯度激增的问题，目前在机器翻译、图像和视频标注、问答系统、语音识别、手写体识别等多个问题上效果显著。但是上述问题对应的输入输出类型均为序列型，例如机器翻译中，输入样本为源语言序列，输出结果为目标语言序列。然而，在时间序列分类问题中，输出结果为类别标签。他们的核心区别在于是否在每一个时间步(帧)都必须存在必要的结果输出，显然，对于时间序列分类问题，仅需要在最后一个时间步，即当所有时间步上的样本全部输入到模型中之后，产生对应该样本的类别判定标签即可。

对于多变量时间序列分类任务，有的样本特征数目庞大，有的样本时间长度非常长，还有的样本所属类别数目很多，不能简单得套用单变量时序分类算法。而单层LSTM模型面对以上种种问题时分类准确率并不高。而多层感知机的层状架构启示研究人员叠加LSTM层，形成一个空间和时间上扩展的模型，以构成更加复杂的隐藏层状态提高模型分类能力。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于深度长短期记忆神经网络对多变量时间序列分类的方法，利用长短期记忆神经元结构作为递归神经网络的隐层神经元结构，设计出一种深层的递归神经网络分类框架，以达到提高多变量时间序列数据分类准确率的目的。

本发明的目的可以通过采取如下技术方案达到：

一种基于深度长短期记忆神经网络对多变量时间序列分类的方法，其特征在于，所述的方法包括以下步骤：

S1、对样本的每个变量进行归一化，若数据集中各样本长度相同，跳转到步骤S2，否则对数据集中的样本通过尾部填充标记值的方法进行长度一致化；

S2、计算分类所需LSTM的层数；

S3、根据计算得到的LSTM层数，构建深度长短期记忆神经网络分类模型，将i-1层输出向量作为i层的输入向量；

S4、将最上层LSTM层的输出输入到Softmax分类器中，将最后一个时间步的输出结果作为深度长短期记忆神经网络分类模型对于样本的类别判定；

S5、根据深度长短期记忆神经网络分类模型对训练集样本的输出类别和实际类别采用梯度下降算法更新模型权重，对深度长短期记忆神经网络分类模型权重进行调整；

S6、将待预测的样本输入调整好权重的深度长短期记忆神经网络分类模型中，最后一个时间步的输出作为该样本的预测标签。

进一步地，所述的深度长短期记忆神经网络分类模型使用的是包括输入门、输出门、遗忘门和状态单元的长短期记忆神经元模块，其输出结果的计算公式如下：

其中，x_t为所述第t时刻的时间序列，W为权重矩阵(包括输入权重矩阵W_ix，遗忘权重矩阵W_fx，输出、遗忘、输出细胞单元权重矩阵W_ic，W_fc，W_oc，细胞单元权重矩阵W_cx，输出权重矩阵W_ox)，b为偏置向量(包括输入、遗忘、细胞单元、输出偏置，下标分别为i,f,c,o)，i_t,f_t,o_t,c_t分别为时刻t的输入门，遗忘门，输出门和状态，C_t-1和C_t表示第t-1时刻和第t时刻的细胞单元状态，y_t表示t时刻深层LSTM的输出向量；“·”表示矩阵乘法，“⊙”表示逐数乘法；所述σ函数计算公式为：tanh函数计算公式为：

进一步地，所述的步骤S1中，假设填充后的样本为y,长度为n_max，填充前的样本为x,长度为l_max，样本尾部填充标记值的公式为：

进一步地，所述的步骤S2中，假设样本个数为n,变量个数为L₀,第i个LSTM层的输出神经元个数为L_i，LSTM层数m的设定准则为：

在满足上式的情况下m应尽量大。

进一步地，所述的步骤S3中，每层的输出神经元个数应保持一致。

进一步地，所述的步骤S5中，采用RMSProp算法更新网络权重。

进一步地，所述的步骤S6中，仅将最后一时间步深度LSTM模型的输出输入Softmax分类器作为深度长短期记忆神经网络分类模型最终的预测结果。

本发明相对于现有技术具有如下的优点及效果：

1、提出了用于多变量时间序列数据分类的深度长短期记忆神经网络模型，该模型在时序数据分类任务中具有精度高，普适性强的特点。

2、该模型可以对时间序列样本的时序性进行建模，也能辨别各个变量之间的相对重要性。

附图说明

图1是本发明提出的深层LSTM分类模型结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

如附图1所示，图1是本发明提出的深层LSTM分类模型结构示意图，图1以3层LSTM为例展示了该模型的结构。

一种基于长短期记忆神经元的适用于分类任务的深度递归神经网络分类模型，使用LSTM作为递归神经网络隐层，并通过叠加LSTM层形成庞大的隐层状态空间，并将最后一LSTM层的输出结果输入Softmax分类器进行分类。

所述的一种基于长短期记忆神经元递归神经网络分类模型，使用的是包括输入门，输出门，遗忘门和状态单元的长短期记忆神经元模块，不包含peephole连接。使用的长短期记忆递归神经网路，输出结果的计算公式如下：

该方法具体包括以下步骤：

S1、若数据集中各样本长度相同，跳转到步骤S2，否则对数据集中的样本通过尾部填充标记值的方法进行长度一致化。

S2、计算分类所需LSTM的层数。

S3、根据步骤S2计算得到的LSTM层数，构建深度长短期记忆神经网络分类模型(深度LSTM分类模型)，i-1层输出向量作为i层的输入向量。

S4、将步骤S3最上层LSTM层的输出输入到Softmax分类器中，最后一个时间步的输出结果作为深度长短期记忆神经网络分类模型对于样本的类别判定。

S5、根据步骤S4中深度长短期记忆神经网络分类模型对训练集样本的输出类别和实际类别采用梯度下降算法更新模型权重，对深度长短期记忆神经网络分类模型权重进行调整。

S6、将待预测的样本输入步骤S5调整好权重的深度长短期记忆神经网络分类模型中，最后一个时间步的输出作为该样本的预测标签。

在所述步骤S1中，假设填充后的样本为y,长度为n_max，填充前的样本为x,长度为l_max，样本尾部填充标记值的公式为：

在所述步骤S2中，假设样本个数为n,变量个数为L₀,第i个LSTM层的输出神经元个数为L_i，LSTM层数m的设定准则为：

在满足上式的情况下m应尽量大。

在所述步骤S3中，每层的输出神经元个数应尽量保持一致。

在所述步骤S5中，采用RMSProp算法更新网络权重。

在所述步骤S6中，仅将最后一时间步深度LSTM模型的输出输入Softmax分类器作为模型最终的预测结果。

实施例二

本实施例针对多变量时间序列分类问题，利用LSTM这种递归神经网络的隐层结果，构建一种深度的递归神经网络模型，最后使用Softmax分类器处理递归神经网络输出结果，则可以对多变量时序数据进行分类。

本发明对于医学、机械、手写识别、语言识别等各个领域的时间序列数据集具有普适性，现以语音识别数据集Australian language为例，该数据集来源于UCI机器学习数据库[K.Bache and M.Lichman,“UCI machine learning repository,”2013.https://archive.ics.uci.edu/ml/datasets.html.],Australian language数据集共有样本2565个样本，每个样本的变量个数为22，样本长度在[45,136]之间，属于95个类别之一。为了避免过拟合，实施例采用10折交叉验证的方式对分类准确率进行验证。

该方法具体步骤如下：

T1、对长度小于136的样本采用头部填0的方法填充样本长度以保证每个样本的长度均是136。对样本的每个变量进行归一化。

T2、按照各类别样本数比例加权将样本抽取10％的样本作为测试样本，其他样本作为训练样本。

T3、设定各LSTM输出层神经元个数保持相同为32，计算可得该深度结构含有3个LSTM层。

T4、将最上层LSTM的输出接入到Softmax分类器，模型构建完毕。

T5、将训练集样本按照时间步顺序逐个输入到深度LSTM模型中，利用最后一个时间步Softmax的输出和真实的样本标签使用梯度下降算法调节模型参数。

T6、将测试集样本按照时间步顺序逐个输入到调节好参数的深度LSTM模型中，最后一个时间步的输出和真实的样本标签比对，计算误差率。

T7、采用10折交叉验证的方式重复步骤5，步骤6，记录每次分类所得准确率，计算平均准确率作为模型最终的准确率，所得结果如下表1：

表1.实验结果和对比

表格1中还引入了该算法和其他算法在分类准确率上的对比，其中C_ade算法出自论文[L.Wang,Z.Wang,and S.Liu,“An effective multivariate time seriesclassification approach using echo state network and adaptive differentialevolution algorithm,”Expert Syst.Appl.,vol.43,pp.237–249,2016.]，DDDTW算法和DTW算法的结果出自论文[M.Tomasz Górecki,“Multivariate time seriesclassification with parametric derivative dynamic time warping,”ExpertSyst.Appl.,vol.42,no.5,pp.2305–2312,2015.]。

从结果可以看出，本实施例提出一种有效的对多变量时间序列数据分类的深度LSTM结构，通过叠加LSTM隐层，形成庞大的递归神经网络隐层单元，已达到提升递归神经网络分类能力的目的。该分类模型具有较高的准确率和普适性。

综上所述，本发明针对多变量时序数据分类问题，在LSTM的基础上，提出了一种通过叠加LSTM层达到一种深度的递归神经网络以增强模型分类能力的方法。该发明提出了用于多变量时间序列数据分类的深度长短期记忆神经网络模型，该模型在时序数据分类任务中具有精度高，普适性强的特点。该模型可以对时间序列样本的时序性进行建模，也能辨别各个变量之间的相对重要性。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于深度长短期记忆神经网络对多变量时间序列分类的方法，其特征在于，所述的方法包括以下步骤：

S2、计算分类所需LSTM的层数；

2.根据权利要求1所述的一种基于深度长短期记忆神经网络对多变量时间序列分类的方法，其特征在于，所述的深度长短期记忆神经网络分类模型使用的是包括输入门、输出门、遗忘门和状态单元的长短期记忆神经元模块，其输出结果的计算公式如下：

3.根据权利要求1所述的一种基于深度长短期记忆神经网络对多变量时间序列分类的方法，其特征在于，所述的步骤S1中，假设填充后的样本为y,长度为n_max，填充前的样本为x,长度为l_max，样本尾部填充标记值的公式为：

4.根据权利要求1所述的一种基于深度长短期记忆神经网络对多变量时间序列分类的方法，其特征在于，所述的步骤S2中，假设样本个数为n,变量个数为L₀,第i个LSTM层的输出神经元个数为L_i，LSTM层数m的设定准则为：

在满足上式的情况下m应尽量大。

5.根据权利要求1所述的一种基于深度长短期记忆神经网络对多变量时间序列分类的方法，其特征在于，所述的步骤S3中，每层的输出神经元个数应保持一致。

6.根据权利要求1所述的一种基于深度长短期记忆神经网络对多变量时间序列分类的方法，其特征在于，所述的步骤S5中，采用RMSProp算法更新网络权重。

7.根据权利要求1所述的一种基于深度长短期记忆神经网络对多变量时间序列分类的方法，其特征在于，所述的步骤S6中，仅将最后一时间步深度LSTM模型的输出输入Softmax分类器作为深度长短期记忆神经网络分类模型最终的预测结果。