CN110119760A - 一种基于层次化多尺度循环神经网络的序列分类方法 - Google Patents

Abstract

本发明公开了一种基于层次化多尺度循环神经网络的序列分类方法，包括以下步骤：输入一段序列，将其划分为多个等长的子序列；按照子序列顺序构建多个金字塔结构，每个金字塔接收一段子序列作为输入，产生位于塔底的隐藏状态和位于各层级的层次化聚合状态，每个金字塔塔顶的聚合状态作为下一个子金字塔塔底的输入；将所有金字塔塔顶的聚合状态通过跳跃连接迭代地聚合得到该层的输出；利用低层所有金字塔产生的不同尺度的层次化聚合状态序列作为高层的输入来构造多层的循环神经网络，产生每一层的输出；聚合每一层的输出得到多尺度融合特征；最后基于该特征采用一个Softmax层对序列做分类。本发明在序列分类上达到了较高的准确率。

Description

一种基于层次化多尺度循环神经网络的序列分类方法

技术领域

本发明涉及深度学习中序列分类技术领域，具体涉及一种基于层次化多尺度循环神经网络的序列分类方法。

背景技术

在深度学习领域中，循环神经网络(Recurrent Neural Network，RNN)常用于对序列数据建模，其可以利用循环反馈连接捕获序列数据中的时间依赖性。在许多应用中取得了良好的性能，如时间序列分类，文本分类和语音识别等。

RNN通常使用通过时间反向传播(Back Propagation Trough Time，BPTT)方法进行训练，然而在实践中，RNN很难通过BPTT训练并且对于长序列会出现梯度消失或者梯度爆炸的问题，很难捕获序列数据的长期依赖。通过简单的梯度裁剪可以缓解梯度爆炸，但是RNN的梯度消失仍然是目前研究者关注的一个问题。

在现有的研究中，一些著名的工作，例如LSTM(Long Short-Term Memory)或者GRU(Gated Recurrent Unit)引入门控机制来缓解这个问题，通过门控单元来控制需要保留或者遗忘的信息，这些信息实现相对复杂的反馈结构以允许梯度更有效地在时间上反向传播。此外，一些工作使用与多个先前隐藏状态的直接连接来代替门控机制，允许梯度在BPTT中更平滑地流回历史时间步骤。通过将过去多个时间步骤的历史信息与不同的权重进行聚合，这些模型提供了比常规RNN更好的存储机制，并且被更有效地训练以捕获长期依赖性。

但是，在序列数据中天然的存在多尺度信息，所以捕获多尺度依赖对于序列建模非常重要。然而，常规的单层RNN难以建模序列数据的多尺度结构。处理多尺度序列数据的自然策略是设计分层结构模型。因此，提出了许多不同类型的层次化RNN，其中每一层都关注不同尺度的时序依赖。不幸的是，分层RNN总是具有多层结构，其比单层RNN更难训练并且更容易导致梯度消失。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于层次化多尺度循环神经网络的序列分类方法，可以极大地缓解梯度消失问题，并有助于同时捕获序列数据中的长期依赖和多尺度依赖。

本发明的目的可以通过采取如下技术方案达到：

一种基于层次化多尺度循环神经网络的序列分类方法，所述的序列分类方法包括下列步骤：

S1、输入一段序列，将其划分为多个等长的子序列；

S2、按照子序列顺序构建多个金字塔结构，每个金字塔接收一段子序列作为输入，产生两种类型的状态，分别是位于金字塔塔底(最低级)的RNN的隐藏层状态和位于金字塔不同层级的层次化聚合状态。层次化聚合状态是通过在多个时间步分层聚合多个隐藏层状态所获得，是来自多个先前隐藏层状态的历史信息聚合，其中一些层次化聚合状态会被输入到后续的隐藏层状态中。而每个金字塔的塔顶(最高级)作为整个子序列的历史信息的摘要，会被输入到其下一个金字塔的塔底，保证信息流的不间断；

S3、通过步骤S2构建完所有金字塔后，将所有金字塔塔顶的聚合状态通过跳跃连接迭代地聚合得到该层的输出；

S4、位于低层金字塔内不同层级的层次化聚合状态形成了不同尺度的聚合状态序列，这些聚合状态序列是原始输入序列的粗粒度抽象表示，并且比原始的隐藏状态序列更短。利用低层所有金字塔内某一层级的层次化聚合状态序列作为更高层的输入序列构造多层的循环神经网络，并通过步骤S2和步骤S3得到每一层的输出；

S5、将每一层的输出聚合得到原始序列的多尺度融合特征；

S6、基于步骤S5得到的多尺度融合特征，采用Softmax层作为分类器，使用交差熵函数作为损失函数，使用通过时间反向传播算法和梯度优化方法ADAM训练本基于层次化多尺度循环神经网络模型；

S7、输入待分类序列到该训练完毕的基于层次化多尺度循环神经网络模型，实现序列分类。

进一步地，所述的步骤S2中的金字塔的结构和状态聚合过程如下：

S21、假设第n个金字塔的输入子序列为Xⁿ，金字塔的聚合粒度为G，则金字塔的级数J为：J＝log_GL；

S22、假设第n个金字塔的第0级为RNN的隐藏层状态为hⁿ，第j级层次化聚合状态为计算隐藏层状态hⁿ，过程如下：

其中为第n个金字塔的第l个隐藏层状态，为第n个金字塔第j级的第i个层次化聚合状态，和是可训练的参数，D_h是状态的维度大小，D_x是输入的维度大小，f为tanh激活函数，其中j是同时满足G^j≤(l-1)和G^j|(l-1)的最大正整数，这里的“|”是整除符号，而i是根据j来确定的，其中计算过程如下：i＝(l-1)/G^j

其中1<j≤J，1≤i≤L_j,L_j为金字塔第j级层次化聚合状态的个数，而L_j通过下面公式确定：

而第n个金字塔第j级的第i个层次化聚合状态通过聚合多个先前的状态来确定，计算过程如下：

其中θ为状态聚合函数，将先前G个隐藏层状态或者第j-1级的G个层次化聚合状态聚合起来；

S23、计算状态聚合函数θ，过程如下：

给定M个需要聚合，维度为D_h的状态将M个状态拼接起来组成一个矩阵即E＝[e₁,…,e_m,…,e_M]，

对E应用两层非线性映射得到一个权重矩阵计算过程如下：

S＝f₂(W₂f₁(W₁E^T))^T

其中f₁和f₂是非线性激活函数，分别为Relu激活函数和Sigmoid激活函数，和是可训练的参数，将E和S点乘得到一个权重矩阵即

S24、将每一行的M个元素相加，然后经过一个tanh激活函数得到最终的聚合状态过程如下：

其中为的第d个元素，为第d行第m列元素，f为激活函数。

进一步地，所述的激活函数f为tanh函数。

进一步地，所述的步骤S2中的金字塔的结构和状态聚合过程如下：

所述的步骤S3中将所有金字塔塔顶的层次化聚合状态通过跳跃连接迭代地聚合得到该层的输出过程如下：

其中，θ为状态聚合函数，o_n为第n个迭代聚合状态，将o_N-1作为每一层的最终输出。

进一步地，所述的步骤S4中利用低层所有金字塔内某一层级的层次化聚合状态序列作为更高层的输入来构造多层的循环神经网络的过程如下：

根据金字塔的结构，对于每一层的所有金字塔，收集位于同一层级的所有层次化聚合状态序列公式如下：

其中，1≤j≤J，是第n个金字塔第j级的第1个到第L_j个层次化聚合状态。

由于的长度为L_j*N＝T/G^j＜＜T,所以随着层数越高每层的输入序列的长度变得越短，极大地缓解了梯度消失的问题。

进一步地，所述的步骤S5中将每一层的输出聚合得到原始序列的多尺度融合特征过程如下：

假设RNN的层数是K，将RNN每一层的输出通过状态聚合函数θ聚合后得到一个多尺度融合特征公式如下：

其中，N_k为RNN第k层金字塔的个数，为RNN第k层的输出，k＝1,2，…,K。

本发明相对于现有技术具有如下的优点及效果：

1、本发明提出了一种新颖的可以同时捕获长期依赖和多尺度依赖的层次化多尺度循环神经网络通用方法，用于序列分类问题，可以取得比常规的RNN更好的效果。

2、与常规的RNN的直接连接相比，本发明提出的金字塔结构提供更多的梯度反向传播路径，并且从每个时间步的输入到最终输出的距离缩短到金字塔的级数加上金字塔的个数，比常规的RNN反馈路径要短很多。因此，本方法可以极大地缓解梯度消失问题，并有助于捕获序列数据中的长期依赖。

3、利用所有金字塔提供的具有不同尺度信息的的聚合状态序列作为更高层的输入序列来构造多层的RNN，不仅可以更明确地捕获多尺度依赖，而且更容易训练。

附图说明

图1是本发明中公开的基于层次化多尺度循环神经网络的序列分类方法的具体流程图；

图2是本发明中公开的基于层次化多尺度循环神经网络的序列分类方法的结构图，该时间金字塔循环神经网络模型的结构图中，模型的层数K为3，输入序列长度T为16，聚合粒度G为2。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1和图2所示，本实施例以序列化的MNIST手写体识别数据集为具体实例，MNIST数据集包含10个类别，其中训练集大小为55000，验证集大小为5000，测试集大小为10000。将每张28*28大小的图片转化为784*1的序列，输入给模型进行训练，将在验证集上得到最优结果的模型在测试集上测试。

如图1所示，该基于层次化多尺度循环神经网络的序列分类方法包括以下步骤：

步骤S1：输入长度为784，维度为1的序列化的MNIST序列X，将序列X划分为16个等长的子序列，则每个子序列的长度L为：

所以序列X也可以表示为：

X＝[X¹,…,Xⁿ,…,X¹⁶]

其中Xⁿ为第n个子序列,每个子序列表示为：

Xⁿ＝[x_48*n+1,x_48*n+2,…,x_49*n]。

步骤S2：按照子序列顺序构建多个金字塔结构。每个金字塔接收一段子序列作为输入，产生两种类型的状态，分别是位于金字塔塔底的隐藏层状态和位于金字塔不同层级的层次化聚合状态，假设所有状态的维度为D^h＝100。

S2.1：假设第n个金字塔的输入子序列为Xⁿ，令RNN的第一层金字塔的聚合粒度为G＝7，则第一层每个金字塔的级数J为：

J＝log₇49＝2

S2.2：令第n个金字塔的第0级为RNN的隐藏层状态hⁿ，第j级(0<1≤2)为层次化聚合状态则隐藏层状态的计算过程如下：

其中为第n个金字塔的第l个隐藏层状态；为第n个金字塔第j级的第i个层次化聚合状态；和是可训练的参数。其中j是同时满足7^j≤(l-1)和7^j|(l-1)的最大正整数。而i是根据j来确定的，其中计算过程如下：

i＝(l-1)/7^j

其中1<j≤2，1≤i≤L_j,L_j为金字塔第j级层次化聚合状态的个数，而L_j可以通过下面公式确定：

而第n个金字塔第j级的第i个层次化聚合状态通过聚合多个先前的状态来确定，计算过程如下：

其中θ为状态聚合函数，将先前7个隐藏层状态或者第j-1级的7个层次化聚合状态聚合起来。

S2.3：状态聚合函数θ的计算过程如下：

假设给定M＝7个需要聚合，维度为100的状态将M个状态拼接起来组成一个矩阵即如下

E＝[e₁,…,e_m,…,e₇]

对E应用两层非线性映射得到一个权重矩阵计算过程如下：

S＝f₂(W₂f₁(W₁E^T))^T

其中f₁和f₂是非线性激活函数，分别为Relu激活函数和Sigmoid激活函数；和是可训练的参数。

将E和S点乘得到一个权重矩阵即

最后，将每一行的7个元素相加，然后经过一个tanh激活函数得到最终的聚合状态过程如下：

其中为的第d个元素；为第d行第m列元素；f为tanh激活函数。

步骤S3：通过步骤S2构建完16个金字塔后，所有金字塔的塔顶通过跳跃连接迭代地聚合得到该层的输出，公式如下：

其中θ为状态聚合函数；o_n为第n个迭代聚合状态。我们将o₁₅作为RNN的第一层输出。

步骤S4：根据金字塔的结构，对于RNN第一层可以获得不同尺度的聚合隐藏状态序列和我们将作为第二层的输入，由于的长度为所以第二层的输入序列的长度变短，有效地缓解了梯度消失。

步骤S5：假设RNN的层数是2，其中第二层的参数金字塔个数N＝7、聚合粒度G＝4。应用步骤S2和S3得到第二层的输出将第一层和第二层的输出经过状态聚合函数θ后得到一个多尺度融合特征公式如下：

步骤S6：基于步骤S5得到的多尺度融合特征采用Softmax层作为分类器，使用交差熵函数作为损失函数，使用通过时间反向传播算法和梯度优化方法ADAM训练本模型。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于层次化多尺度循环神经网络的序列分类方法，其特征在于，所述的序列分类方法包括下列步骤：

S1、输入一段序列，将其划分为多个等长的子序列；

S2、按照子序列顺序构建多个金字塔结构，每个金字塔接收一段子序列作为输入，产生两种类型的状态，分别是位于金字塔塔底的RNN的隐藏层状态和位于金字塔不同层级的层次化聚合状态，其中，所述的层次化聚合状态是通过在多个时间步分层聚合多个隐藏层状态所获得，其中一些层次化聚合状态会被输入到后续的隐藏层状态中，而每个金字塔的塔顶作为整个子序列的历史信息的摘要，会被输入到其下一个金字塔的塔底；

S3、将所有金字塔塔顶的聚合状态通过跳跃连接迭代地聚合得到该层的输出；

S4、通过位于低层金字塔内不同层级的层次化聚合状态形成不同尺度的聚合状态序列，利用低层所有金字塔内某一层级的层次化聚合状态序列作为更高层的输入序列构造多层的循环神经网络，并通过重复步骤S2和步骤S3得到每一层的输出；

S5、将每一层的输出聚合得到原始序列的多尺度融合特征；

S6、采用Softmax层作为分类器，使用交差熵函数作为损失函数，使用通过时间反向传播算法和梯度优化方法ADAM训练本基于层次化多尺度循环神经网络模型；

S7、输入待分类序列到该训练完毕的基于层次化多尺度循环神经网络模型，实现序列分类。

2.根据权利要求1所述的一种基于层次化多尺度循环神经网络的序列分类方法，其特征在于，所述的步骤S2中的金字塔的结构和状态聚合过程如下：

S21、假设第n个金字塔的输入子序列为Xⁿ，金字塔的聚合粒度为G，则金字塔的级数J为：J＝log_GL；

S22、假设第n个金字塔的第0级为RNN的隐藏层状态为hⁿ，第j级层次化聚合状态为计算隐藏层状态hⁿ，过程如下：

其中为第n个金字塔的第l个隐藏层状态，为第n个金字塔第j级的第i个层次化聚合状态，和是可训练的参数，D_h是状态的维度大小，D_x是输入的维度大小，f为tanh激活函数，其中j是同时满足G^j≤(l-1)和G^j|(l-1)的最大正整数，而i是根据j来确定的，其中计算过程如下：i＝(l-1)/G^j

其中1<j≤J，1≤i≤L_j,L_j为金字塔第j级层次化聚合状态的个数，而L_j通过下面公式确定：

而第n个金字塔第j级的第i个层次化聚合状态通过聚合多个先前的状态来确定，计算过程如下：

其中θ为状态聚合函数，将先前G个隐藏层状态或者第j-1级的G个层次化聚合状态聚合起来；

S23、计算状态聚合函数θ，过程如下：

给定M个需要聚合，维度为D_h的状态将M个状态拼接起来组成一个矩阵即E＝[e₁,…,e_m,…,e_M]

对E应用两层非线性映射得到一个权重矩阵计算过程如下：

S＝f₂(W₂f₁(W₁E^T))^T

其中f₁和f₂是非线性激活函数，分别为Relu激活函数和Sigmoid激活函数，和是可训练的参数，将E和S点乘得到一个权重矩阵即

S24、将每一行的M个元素相加，然后经过一个tanh激活函数得到最终的聚合状态过程如下：

其中为的第d个元素，为第d行第m列元素，f为激活函数。

3.根据权利要求2所述的一种基于层次化多尺度循环神经网络的序列分类方法，其特征在于，所述的激活函数f为tanh函数。

4.根据权利要求1所述的一种基于层次化多尺度循环神经网络的序列分类方法，其特征在于，所述的步骤S3中将所有金字塔塔顶的层次化聚合状态通过跳跃连接迭代地聚合得到该层的输出过程如下：

其中，θ为状态聚合函数，o_n为第n个迭代聚合状态，将o_N-1作为每一层的最终输出。

5.根据权利要求1所述的一种基于层次化多尺度循环神经网络的序列分类方法，其特征在于，所述的步骤S4中利用低层所有金字塔内某一层级的层次化聚合状态序列作为更高层的输入来构造多层的循环神经网络的过程如下：

对于每一层的所有金字塔，收集位于同一层级的所有层次化聚合状态序列公式如下：

其中，1≤j≤J，是第n个金字塔第j级的第1个到第L_j个层次化聚合状态。

6.根据权利要求1所述的一种基于层次化多尺度循环神经网络的序列分类方法，其特征在于，所述的步骤S5中将每一层的输出聚合得到原始序列的多尺度融合特征过程如下：

假设RNN的层数是K，将RNN每一层的输出通过状态聚合函数θ聚合后得到一个多尺度融合特征公式如下：

其中，N_k为RNN第k层金字塔的个数，为RNN第k层的输出，k＝1,2，…,K。