CN109919188A - 基于稀疏局部注意力机制和卷积回声状态网络的时序分类方法 - Google Patents

Abstract

本发明公开了一种基于稀疏局部注意力机制和卷积回声状态网络的时序分类方法，步骤如下：获取时间序列原数据集，并进行预处理；按照给定的参数生成储备池，将预处理后的数据输入储备池中获得回声状态；对回声状态进行稀疏局部注意力关注，每个时刻的回声状态关注当前时刻之前大小为S的时间窗口中的K个回声状态，S和K作为超参数；将完成稀疏局部注意力关注的回声状态输入单层多尺度卷积神经网络中获得分类结果。在回声状态上应用稀疏局部注意力机制能有效地捕捉局部信息，同时避免全局注意力机制计算量大的问题。在回声状态上应用卷积操作能提取出具有判别性的多尺度特征。

Description

基于稀疏局部注意力机制和卷积回声状态网络的时序分类 方法

技术领域

本发明涉及时间序列分类技术领域，具体涉及一种基于稀疏局部注意力机制和卷积回声状态网络的时序分类方法。

背景技术

时间序列是指将同一指标的数值按其发生的时间先后顺序排列而成的数列，是实际应用中最常见的数据形式之一，包括金融，信号处理，气象，医疗和动作捕捉等。时间序列分类是从时间序列数据中提取出最优识别特征并检测其模式的任务。近年来，时间序列分类已经引起了机器学习和数据挖掘领域的极大兴趣，并在许多应用中得到了研究。

回声状态网络(ESN)作为一种新型的循环神经网络出现，能够有效处理时间序列的时间依赖性，具有较高的非线性映射能力和短期记忆能力，并且成功应用在时序预测任务上。近年来有工作将ESN用于时序分类，比如M.D.Skowronski等人提出了一种用于语音识别的预测型回声状态网络分类器，L.Wang等人提出了一种回声状态网络和自适应微分进化算法的组合方法(Conceptor-ADE)。然而,这些基于回声状态网络的方法包括在每个时刻预测类别标签的实数值(而不是离散标签)，并通过结合每个时刻的输出预测值得到最终的分类结果；或者对每个类训练不同的预测模型，在测试阶段，把在一条测试样本上取得最好预测结果的预测模型对应的标签赋予这条测试样本。这些方法并没有将时间信号映射到每个离散的类标签，因此，它们本质上仍然还是预测模型，而不是分类器。

FunctionESN和ConvESN等模型将ESN成功运用于时序分类，取得比较好的结果。然而，由于ESN的短期记忆以及回声状态产生是由上一个时刻指导的，这限制了ESN时序依赖建模的能力。

近年来注意力模型被广泛应用在自然语言处理，图像识别及语音识别等各种不同类型的学习任务中。将稀疏局部注意力机制应用到回声状态网络中，可以使得每一时刻的回声状态关注到较前时刻的重要信息。这有利于每一时刻的回声状态能从大量信息中有选择地筛选出少量重要信息并聚焦到这些重要信息上，忽略大多不重要的信息，并且，卷积操作能够有效地从回声状态中提取出识别特征。基于此，目前亟待提出了一种基于稀疏局部注意力机制和卷积回声状态网络的时序分类方法。相比于现有的研究方法，该方法可以获得较优的实验结果。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于稀疏局部注意力机制和卷积回声状态网络的时序分类方法。

本发明的目的可以通过采取如下技术方案达到：

一种基于稀疏局部注意力机制和卷积回声状态网络的时序分类方法，包括以下步骤：

S1、获取时间序列原数据集，并进行预处理，然后将预处理的数据划分为训练集和测试集；

S2、按照给定的储备池大小、谱半径、输入尺度因子和储备池稀疏程度生成储备池；

S3、将步骤S1得到的训练数据输入到储备池中获得回声状态；

S4、对回声状态进行稀疏局部注意力关注，每个时刻的回声状态关注当前时刻之前一个大小为S的时间窗口中的K个回声状态，其中，S和K作为超参数；

S5、将完成稀疏局部注意力关注的回声状态输入到单层多尺度卷积神经网络中，对卷积后的特征进行全局最大池化，并输入全连接网络和softmax激活函数获得分类结果，从而构建稀疏局部注意力卷积回声状态网络模型；

S6、通过梯度反向传播算法训练步骤S5得到的稀疏局部注意力卷积回声状态网络模型；

S7、将步骤S1得到的测试数据输入到储备池中获得回声状态，并对回声状态按照步骤S4进行稀疏局部注意力关注，然后输入到步骤S6训练好的稀疏局部注意力卷积回声状态网络模型，得到分类结果。

进一步地，步骤S2中所述的储备池是回声状态网络用于处理输入数据的随机稀疏连接的大规模循环神经网络隐藏层。储备池可以看作是对输入的非线性高维扩展，可以将输入扩展到高维空间获得丰富的表示。同时，储备池作为存储器，提供时间上下文。储备池可以定义为三元组(Wⁱⁿ,W^res,σ)，输入连接矩阵Wⁱⁿ和循环连接矩阵W^res根据给定的超参数随机生成，泄漏率σ作为一个超参数决定储备池的更新速度。

Wⁱⁿ是一个随机生成的连接矩阵，输入尺度因子IS用于Wⁱⁿ的初始化，Wⁱⁿ中的元素服从[-IS,IS]的均匀分布。SR是循环连接矩阵W^res的谱半径，W^res由以下公式给出：

W是一个根据储备稀疏程度随机生成的稀疏矩阵，λ_max(W)是W的最大特征值。

进一步地，步骤S3中预处理后的数据为一个D维的时间序列u＝(u(1),u(2),…,u(T))^T，其中u(t)∈R^D,t∈1,…,T，T为时间序列长度。将u输入到储备池中获得的回声状态可以表示为：

其中F_res表示储备池更新操作；x(t)∈R^N,t∈1,…,T表示回声状态矩阵X的第t行，x_j表示的X第j列，j∈1,…,N，N为储备池大小。

进一步地，步骤S4对步骤S3中获得的回声状态表示做稀疏局部注意力关注。将稀疏局部注意力机制应用在回声状态上，有利于每一时刻的回声状态能从大量上下文信息中有选择地筛选出少量重要信息并聚焦到这些重要信息上，忽略大多不重要的信息。具体做法如下：

S4.1、给定一个窗口大小S，以及要关注的时刻数量K，S和K作为超参数。每个时刻的回声状态计算与之前S个时刻的回声状态的相似度，以第t个时刻为例，计算过程可以表示为：

其中，c_i,j表示第i个时刻的回声状态和第j个时刻的回声状态的余弦相似度。

S4.2、根据上述的步骤，获得了每个时刻的回声状态与之前S个时刻的回声状态的相似度，将得到的相似度c从大到小排序得到原始注意力权重w₁,w₂,…,w_S，然后将前K个相似度减去第K+1个相似度作为稀疏注意力权重，并使用softmax函数将其归一化，公式表示如下：

α₁,α₂,...,α_K＝softmax(w₁-w_K+1,w₂-w_K+1,…,w_K-w_K+1)

其中w_t,t∈1,…,S表示原始注意力权重，α_t,t∈1,…,K表示归一化后的稀疏注意力权重。

S4.3、对回声状态的每个时刻，通过将所得到的稀疏局部注意力权重和对应的回声状态计算加权和，获得经过稀疏局部注意力编码的表示。

进一步地，步骤S5使用卷积对步骤S4中获得的状态表示进行解码，提取状态表示中不同尺度的特征。然后使用全局最大池化在全局信息上选取最显著的局部特征，具体做法如下：

S5.1、使用X^att表示经过稀疏局部注意力的回声状态表示，x^att(t)表示第t个时刻的状态表示，那么可以用以下公式描述长度为L的状态表示：

其中表示连接操作，z_1:L∈R^L×N，N是储备池大小，使用z_t:t+k-1表示从第t个时刻到第t+k-1个时刻的时间长度为k的状态表示，给定X^att∈R^T×N和长度为k、步长为1的滑窗，则获得的卷积窗口可以表示为z_1:k,z_2:k+1,…,z_T-k+1:T，使用ω_k,j∈R^k×N表示第j个尺度为k的卷积核，那么在每个卷积窗口上的卷积结果表示为：

d_k,j＝(d_k,j,1,d_k,j,2,…,d_k,j,T-k+1)^T

其中d_k,j,m,m∈1,2,…,T-k+1由以下公式给出：

d_k,j,m＝f(ω_k,j*z_m:m+k-1+b)

其中f表示非线性激活函数，*表示点积操作，b表示偏置。

S5.2、在池化层使用全局最大池化操作。使用卷积核ω_k,j得到的特征d_k,j经池化后得到的结果表示为：g_k,j＝max{d_k,j}，max{}为取最大值操作。

S5.3、最大池化得到的特征输入全连接网络，然后将全连接网络输出的结果输入softmax激活函数，得到类别标签的条件分布。所述的softmax激活函数的表示式如下：

其中p_i,i∈1,…,C表示输出类别为i的概率，exp()表示以自然对数为底的指数函数，C表示类别个数，o_k,k∈1,…,C表示全连接网络输出的结果。

进一步地，步骤S6对模型的训练所使用的损失函数如下：

根据损失函数计算得到的损失，用梯度反向传播算法对稀疏局部注意力卷积回声状态网络模型进行训练。

本发明相对于现有技术具有如下的优点及效果：

由于ESN的回声状态产生是直接由上一个时刻指导的，这限制了ESN时序依赖建模的能力。针对ESN时序依赖建模的缺陷，引入稀疏局部注意力机制，使得每一时刻的回声状态能够关注到较前时刻的重要上下文信息。每个时刻的回声状态在一个窗口内选择关注部分时刻的回声状态，这有利于每一时刻的回声状态能从大量信息中有选择地筛选出少量重要信息并聚焦到这些重要信息上，忽略大多不重要的信息。相比于现有的研究方法，该方法可以获得较优的实验结果。

附图说明

图1是本发明中公开的基于稀疏局部注意力机制和卷积回声状态网络的时序分类方法的流程步骤图；

图2是本发明中公开的基于稀疏局部注意力机制和卷积回声状态网络的时序分类方法的网络结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1所示，本实施例中公开的基于稀疏局部注意力机制和卷积回声状态网络的时序分类方法包括以下步骤：

步骤S1、获取时间序列原数据集，并进行预处理，然后将预处理的数据划分为训练集和测试集。数据使用UCR单变量时间序列分类数据集。

步骤S2、按照给定的储备池大小、谱半径、输入尺度因子和储备池稀疏程度生成储备池。本次实验单变量时序分类数据集储备池大小，谱半径，输入尺度因子和储备池稀疏程度分别设置为32、0.9、0.1、0.7。

步骤S3、将步骤S1中预处理后的训练数据输入到储备池中获得回声状态。预处理后的数据为一个1维的时间序列u＝(u(1),u(2),…,u(T))^T，其中u(t)∈R,t∈1,…,T，T为时间序列长度。将u输入到储备池中获得的回声状态可以表示为：

其中，F_res表示储备池更新操作，x(t)∈R^N,t∈1,…,T表示回声状态矩阵X的第t行，x_j表示矩阵X的第j列，j∈1,…,N，N为储备池大小。

步骤S4、对回声状态进行稀疏局部注意力关注，每个时刻的回声状态关注当前时刻之前一个大小为S的时间窗口中的K个回声状态，S和K作为超参数。稀疏局部注意力关注如图2所示，其中虚线框表示时间窗口大小S，K设置为3，t₈时刻经计算稀疏注意力权重后，选择关注t₅,t₇,t₈三个时刻。

步骤S5、将完成稀疏局部注意力关注的回声状态输入到单层多尺度卷积神经网络中，对卷积后的特征进行全局最大池，然后输入全连接网络和softmax激活函数，得到类别标签的条件分布。本次实验采取两个尺度的卷积核，卷积核高度设置为0.1T和0.2T，宽度设置为N，其中T为时间序列长度，N为储备池大小。

步骤S6、对模型的训练所使用的损失函数如下：

根据损失函数计算得到的损失，用梯度反向传播算法对稀疏局部注意力卷积回声状态网络模型进行训练。

步骤S7、将步骤S1得到的预处理后的测试数据输入到储备池中获得回声状态，并对回声状态按照步骤S4进行稀疏局部注意力关注，然后输入到步骤S6训练好的稀疏局部注意力卷积回声状态网络模型，得到分类结果。计算分类结果的准确率，并且和现有的方法进行结果的比较，以此检验模型的有效性。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于稀疏局部注意力机制和卷积回声状态网络的时序分类方法，其特征在于，所述的时序分类方法包括以下步骤：

S1、获取时间序列原数据集，并进行预处理，然后将预处理的数据划分为训练集和测试集；

S2、按照给定的储备池大小、谱半径、输入尺度因子和储备池稀疏程度生成储备池；

S3、将步骤S1得到的训练数据输入到储备池中获得回声状态；

S4、对回声状态进行稀疏局部注意力关注，每个时刻的回声状态关注当前时刻之前一个大小为S的时间窗口中的K个回声状态，其中，S和K作为超参数；

S5、将完成稀疏局部注意力关注的回声状态输入到单层多尺度卷积神经网络中，对卷积后的特征进行全局最大池化，并输入全连接网络和softmax激活函数获得分类结果，从而构建稀疏局部注意力卷积回声状态网络模型；

S6、通过梯度反向传播算法训练步骤S5得到的稀疏局部注意力卷积回声状态网络模型；

S7、将步骤S1得到的测试数据输入到储备池中获得回声状态，并对回声状态按照步骤S4进行稀疏局部注意力关注，然后输入到步骤S6训练好的稀疏局部注意力卷积回声状态网络模型，得到分类结果。

2.根据权利要求1所述的基于稀疏局部注意力机制和卷积回声状态网络的时序分类方法，其特征在于，所述的步骤S2中的储备池生成过程如下：

将储备池定义为三元组(Wⁱⁿ，W^res，σ)，输入连接矩阵Wⁱⁿ和循环连接矩阵W^res根据给定的超参数随机生成，泄漏率σ作为一个超参数决定储备池的更新速度；

输入连接矩阵Wⁱⁿ是一个随机生成的连接矩阵，输入尺度因子IS用于输入连接矩阵Wⁱⁿ的初始化，输入连接矩阵Wⁱⁿ中的元素服从[-IS，IS]的均匀分布，SR是循环连接矩阵W^res的谱半径，循环连接矩阵W^res由以下公式给出：

W是一个根据储备稀疏程度随机生成的稀疏矩阵，λ_max(W)是W的最大特征值。

3.根据权利要求1所述的基于稀疏局部注意力机制和卷积回声状态网络的时序分类方法，其特征在于，所述的步骤S3过程如下：

预处理后的数据为一个D维的时间序列u＝(u(1)，u(2)，...，u(T))^T，其中u(t)∈R^D，t∈1，...，T，T为时间序列长度；

将时间序列u输入到储备池中获得的回声状态表示为：

其中，F_res表示储备池更新操作，x(t)∈R^N，t∈1，...，T表示回声状态矩阵X的第t行，x_j表示矩阵X的第j列，j∈1，...，N，N为储备池大小。

4.根据权利要求1所述的基于稀疏局部注意力机制和卷积回声状态网络的时序分类方法，其特征在于，所述的步骤S4中对回声状态进行稀疏局部注意力关注的过程如下：

S4.1、给定一个窗口大小S，以及要关注的时刻数量K，计算每个时刻的回声状态与之前S个时刻的回声状态的相似度，以第t个时刻为例，计算过程表示为：

其中，c_i，j表示第i个时刻的回声状态和第j个时刻的回声状态的余弦相似度；

S4.2、将得到的相似度c从大到小排序得到原始注意力权重w₁，w₂，...，w_S，然后将前K个相似度减去第K+1个相似度作为稀疏注意力权重，并使用softmax函数将其归一化，公式表示如下：

α₁，α₂，...，α_K＝softmax(w₁-w_K+1，w₂-w_K+1，...，w_K-w_K+1)

其中，w_t，t∈1，...，S表示原始注意力权重，α_t，t∈1，...，K表示归一化后的稀疏注意力权重；

S4.3、对回声状态的每个时刻，通过将所得到的稀疏局部注意力权重和对应的回声状态计算加权和，获得经过稀疏局部注意力编码的表示。

5.根据权利要求1所述的基于稀疏局部注意力机制和卷积回声状态网络的时序分类方法，其特征在于，所述的步骤S5过程如下：

S5.1、使用X^att表示经过稀疏局部注意力的回声状态表示，x^att(t)表示第t个时刻的状态表示，用以下公式描述长度为L的状态表示：

其中表示连接操作，z_1：L∈R^L×N，N是储备池大小，使用z_t：t+k-1表示从第t个时刻到第t+k-1个时刻的时间长度为k的状态表示，给定X^att∈R^T×N和长度为k、步长为1的滑窗，则获得的卷积窗口可以表示为z_1：k，z_2：k+1，...，z_T-k+1：T，使用ω_k，j∈R^k×N表示第j个尺度为k的卷积核，那么卷积核ω_k，j在每个卷积窗口上的卷积结果表示为：

d_k，j＝(d_k，j，1，d_k，j，2，...，d_{k，j，T-k+1})^T

其中d_k，j，m，m∈1，2，...，T-k+1由以下公式给出：

d_k，j，m＝f(ω_k，j*z_m：m+k-1+b)

其中f表示非线性激活函数，*表示点积操作，b表示偏置；

S5.2、在池化层使用全局最大池化操作。使用卷积核ω_k，j得到的特征d_k，j经池化后得到的结果表示为：g_k，j＝max{d_k，j}，max{}为取最大值操作。

S5.3、将最大池化得到的特征输入全连接网络，然后将全连接网络输出的结果输入softmax激活函数，得到类别标签的条件分布。所述的softmax激活函数的表示式如下：

其中p_i，i∈1，...，C表示输出类别为i的概率，exp()表示以自然对数为底的指数函数，C表示类别个数，o_k，k∈1，...，C表示全连接网络输出的结果。

6.根据权利要求1所述的基于稀疏局部注意力机制和卷积回声状态网络的时序分类方法，其特征在于，所述的步骤S6对模型的训练所使用的损失函数如下：

根据损失函数计算得到的损失，用梯度反向传播算法对稀疏局部注意力卷积回声状态网络模型进行训练。