CN111008224B - 一种基于深度多任务表示学习的时间序列分类和检索方法 - Google Patents

Abstract

本发明公开了一种基于深度多任务表示学习的时间序列分类和检索方法，包括：(1)对给定的时间序列数据集进行归一化处理；(2)将归一化处理后的时间序列输入多级小波分解网络中，通过n级分解，得到多尺度子序列集合；(3)将多尺度子序列集合输入到残差网络中，经对每一条子序列进行特征提取和融合后，输出共享表示；(4)针对时间序列分类任务，将共享表示输入至分类网络中，经特征提取后，输出分类表示，再将分类表示输入至分类器中，经分类输出时间序列分类结果；(5)针对时间序列检索任务，将共享表示输入至检索网络中，经特征提取后，输出检索表示，对于检索表示，通过构建基于树或基于哈希的索引来实现检索任务。

Description

一种基于深度多任务表示学习的时间序列分类和检索方法

技术领域

本发明涉及时间序列表示学习领域，具体涉及一种基于深度多任务表示学习的时间序列分类和检索方法。

背景技术

时间序列广泛存在于医疗、电力和金融等领域。时间序列的分类和检索是非常重要的基础任务，其可以通过计算时间序列之间的相似度来实现。动态时间规整(DTW)距离被广泛认为是时间序列的最佳相似性度量。它使用动态规划算法确定最佳对齐方式，能考虑时间上的偏移、缩放和变形等。但DTW距离存在两方面的局限性。首先，动态规划算法的时间复杂度是时间序列长度的二次方，使得分类和检索的规模无法适应大型数据集。其次，DTW距离是伪度量，因为其不满足三角不等式。当与基于核函数的分类器或传统索引优化技术结合使用时，无法得到最优解。

时间序列的深度表示学习旨在学习映射函数将原始时间序列转换为特征表示。当得到特征表示后，分类和检索任务变得简单明了。对于分类任务，可使用现有的k-NN分类器或基于内核的分类器；对于检索任务，可以通过利用传统的基于树或基于哈希的索引来实现。

现有的深度表示学习方法可分为两类：无监督深度表示学习和有监督深度表示学习。无监督深度表示学习中的目标函数基于数据重建误差或近似特定的相似性度量。有监督深度表示学习能够利用训练数据标签信息提取有用的语义信息，从而将这些语义信息嵌入到学习的表示中。

然而，现有方法通常集中于单任务学习。这些方法无法捕获隐藏在不同任务之间的特有信息，而这些信息可用于提高每个任务的性能。多任务学习(MTL)共同优化多个任务并利用多个任务之间的相关性，以提高每个任务的性能。深度多任务学习架构中通过共享底层网络来得到共享表示。上层网络是每个任务特有的，用于得到每个任务特定的表示。

发明内容

本发明的目的是提供一种基于深度多任务表示学习的时间序列分类和检索方法，该方法将时间序列的分类和检索任务当作一对紧密相连的任务，可通过深度多任务学习发现两个任务间的共性和差异，同时提高分类和检索的准确率。

为实现上述发明目的，本发明提供的技术方案为：

一种基于深度多任务表示学习的时间序列分类和检索方法，所述方法包括以下步骤：

(1)对给定的时间序列数据集进行归一化处理；

(2)将归一化处理后的时间序列输入多级小波分解网络中，每一级分解得到一条子序列，通过n级分解，得到多尺度子序列集合；

(3)将多尺度子序列集合输入到残差网络中，经对每一条子序列进行特征提取和融合后，输出共享表示；

(4)针对时间序列分类任务，将共享表示输入至分类网络中，经特征提取后，输出分类表示，再将分类表示输入至分类器中，经分类输出时间序列分类结果；

(5)针对时间序列检索任务，将共享表示输入至检索网络中，经特征提取后，输出检索表示，对于检索表示，通过利用基于树或基于哈希的索引来实现检索任务；

所述多级小波分解网络、残差网络、分类网络以及检索网络经训练得到。

本发明利用深度多任务学习来联合学习用于分类和检索的表示，同时引入小波分解网络、残差网络等深度学习方法。与现有的方法相比，其优点在于：

1)将时间序列的分类和检索任务当作一对紧密相连的任务，通过深度多任务学习发现两个任务间的共性和差异，同时提高分类和检索的准确率；

2)引入小波分解网络和残差网络提取隐藏在时间序列中的多尺度特征，基于深度学习的特征提取能够避免人工定义特征造成的信息丢失。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明实施例提供的基于深度多任务表示学习的时间序列分类和检索方法中模型的训练过程流程示意图

图2是本发明实施例提供的基于深度多任务表示学习的时间序列分类和检索方法中模型的训练过程框图；

图3是本发明实施例提供的小波分解过程的示意图；

图4是本发明实施例提供的残差网络的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

实施例提供的于深度多任务表示学习的时间序列分类和检索方法，包括时间序列分类模型和时间序列检索模型的构建和时间序列分类模型和时间序列检索模型的应用两个阶段，下面针对每阶段进行详细说明。

时间序列分类模型和时间序列检索模型的构建阶段

该阶段主要包括训练集的构建、网络模型的构建、损失函数的构建以及网络模型的训练以获得能够进行时间序列分类的时间序列分类模型和时间序列检索的时间序列检索模型。

S101，训练集的构建

S1011，对给定的时间序列数据集进行归一化处理，并计算出任意两条时间序列之间的DTW距离，得到训练数据集；

对时间序列中所有值进行min-max归一化处理，使处理后每一个数值都归一化到[-1，1]的范围内，转换公式如下：

其中x为原始时间序列中的数值，X_min为时间序列中的最小值，X_max为时间序列中的最大值，x′为归一化之后的数值。

对于任意两条时间序列C＝{C₁,C₂,…,C_n}和Q＝{Q₁,Q₂,…,Q_n}，计算其DTW距离：

其中First(C)＝C₁，First(Q)＝Q₁，Rest(C)＝{C₂,C₃,…,C_n}，Rest(Q)＝{Q₂,Q₃,…,Q_n}，D_base(·)表示两个点之间的距离，在本发明中使用欧式距离。

S1012，将训练数据集按照固定的批量大小进行分批，批次总数为N。

根据经验人为设定的批量大小M对训练数据集进行分批，批次总数为N。具体计算方式如下：

其中，N_Samples为训练数据集中样本总数。

S102，网络模型的构建

网络模型包括多级小波分解网络、残差网络、分类网络、检索网络。

(a)多级小波分解网络的输入为样本时间序列x，对输入的样本时间序列x进行n级分解，每一级分解得到一条子序列，得到多尺度子序列集合其中x⁰表示原始的时间序列，xⁱ表示第i(0<i≤n)级分解得到的子序列。

给定一条样本时间序列x，小波分解利用一个高通滤波器 和一个低通滤波器/>(K为滤波器的长度)将x分解，分别得到一个高频子序列和一个低频子序列，再将低频子序列送入下一级分解，同样得到一个高频子序列和一个低频子序列。每一次分解得到的子序列长度是输入序列长度的一半。通过逐级分解，可以得到多个不同尺度的子序列。小尺度子序列可以保留数据中细粒度的细节信息，大尺度子序列可以捕捉缓慢变化的趋势信息。

上述小波分解的过程通过神经网络实现，如图3所示，即序列数据和滤波器做卷积操作，通过如下函数实现：

aⁱ⁺¹＝σ(Wⁱ(l)xⁱ(l)+bⁱ(l)) (4)

dⁱ⁺¹＝σ(Wⁱ(h)xⁱ(l)+bⁱ(h)) (5)

其中，xⁱ(l)为第i级分解得到的低频子序列，bⁱ(l)和bⁱ(h)是第i级的偏差向量，σ(·)是激活函数，Wⁱ(l)和Wⁱ(h)是滤波矩阵，填充滤波器对应的值。对aⁱ⁺¹和dⁱ⁺¹通过一个平均池化层，即可得到第i+1级分解的结果，计算公式如下：

其中，和/>分别表示aⁱ⁺¹、dⁱ⁺¹、xⁱ⁺¹(l)和xⁱ⁺¹(h)中第j个元素。

通过n级分解，最终得到多尺度子序列集合其中x⁰表示原始的时间序列，xⁱ表示第i(0<i≤n)级分解得到的子序列，即为：

(b)残差网络主要用于对每一条子序列进行特征提取，其输入为多尺度子序列集合中的每一条子序列，经过对每一条子序列进行特征提取后，将获得的所有特征表示进行融合，得到分类和检索任务的共享表示v_s。

对于子序列集合中的每一条子序列，分别送入结构相同的残差网络中，残差网络包括三个卷积块，如图4所示，每一个卷积块包括三种操作：卷积、批正则化和ReLU激活。可用如下公式表示：

s＝BN(y) (9)

h＝ReLU(s) (10)

其中x为任意的输入，表示卷积操作，BN(·)表示批正则化，ReLU(·)为激活函数。每一个卷积块需要将上述三种操作执行三次，其中卷积操作都使用1-D卷积核，其大小分别为{8，5，3}。将上述卷积块堆叠构成残差网络，对于任意一个子序列xⁱ，残差网络的计算公式如下：

其中卷积核的数量k_i＝{64,128,128}。最终得到多尺度表示将这些表示融合，得到分类和检索任务的共享表示v_s：

(c)分类网络主要用于提取用于分类的分类表示，其输入为共享表示，对共享表示进行特征提取后，输出分类表示。

分类网络可以为至少一层全连接层(举例可以为一层全连接层)构成的网络，即将共享表示v_s输入分类网络后，对共享表示v_s进行至少一次全连接操作后，输出分类表示v_c：

其中W为全连接层中权重矩阵，b为偏置参数。

(d)检索网络主要用于提取用于检索的检索表示，其输入为共享表示，对共享表示进行特征提取后，输出检索表示。

检索网络可以为至少二层全连接层(举例可以为二层全连接层)构成的网络，即将共享表示v_s输入检索网络后，对共享表示v_s进行至少二次全连接操作后，输出分类表示v_r：

其中W₁和W₂为两层全连接层中的权重矩阵，b₁和b₂为两层全连接层中的偏置参数。

S103，损失函数的构建

训练多级小波分解网络、残差网络、分类网络以及检索网络的损失函数为基于三元组的损失/>基于二元组的损失/>和正则化损失/>之和，其中：

基于三元组的损失表示分类任务的损失，是根据批中所有样本得到用于分类的表示，使具有相同类别标签的样本表示尽可能接近，具有不同类别标签的样本表示尽可能远，从而得到基于三元组的损失/>

根据批中所有样本构建三元组集合TriSet，TriSet中任意三元组(X_i,X_i+,X_i-)描述如下：X_i为锚点，X_i+为正样本(和X_i的类别标签相同)，X_i-为负样本(和X_i的类别标签不相同)。对于TriSet中所有的三元组尽可能满足：具有相同类别标签的样本表示尽可能接近，具有不同类别标签的样本表示尽可能远，得到基于三元组的损失

其中，和/>分别表示样本X_i、X_i+和X_i-对应的用于分类的表示，α是边界值。在本发明中，D[·]是欧式距离函数。

基于二元组的损失表示检索任务的损失，是根据批中所有样本得到用于检索的表示，使得任意两个表示之间的欧式距离尽可能接近其原始数据之间的DTW距离，从而得到基于二元组的损失/>

根据批中任意两个样本(X_i,X_i*)构建一个二元组，从而构成二元组集合PairSet，对于PairSet中所有的二元组尽可能满足：任意两个表示之间的欧式距离尽可能接近其原始数据之间的DTW距离，得到基于二元组的损失

其中，和/>分别表示样本X_i和X_i*对应的用于检索的表示，DTW(X_i,X_i*)表示X_i和X_i*之间的DTW距离，ρ为人工定义的参数。

正则化损失即约束分类和检索特有网络中的参数，从而得到正则化损失/>

本发明中利用2范数作为正则化损失即约束分类和检索特有网络中的参数：

其中w_c表示分类网络中的参数，w_r表示检索网络中的参数。

将基于三元组的损失基于二元组的损失/>和正则化损失/>相加，得到整体损失/>

S104，网络模型的训练

抽取训练集中的每个批次的训练样本对构建的模型进行训练，即根据批中所有样本的损失对整个模型中的网络参数进行调整，即将两个分类任务和检索任务联合训练，得到具有较强泛化能力的表示。

当达到指定迭代次数后，参数调优结束后，将多级小波分解网络、残差网络、分类网络依次连接后，将分类网络的输出送入到分类器，以获得时间序列分类模型，用于对时间序列的分类；

将将多级小波分解网络、残差网络、检索网络依次连接后，将检索网络的输出用于构建基于树或基于哈希的索引，以获得时间序列检索模型，来实现检索任务。

时间序列分类模型和时间序列检索模型的应用阶段

时间序列分类模型的主要应用过程为：

S201，对给定的时间序列数据集进行归一化处理；

S202，将归一化处理后的时间序列输入多级小波分解网络中，每一级分解得到一条子序列，通过n级分解，得到多尺度子序列集合；

S203，将多尺度子序列集合输入到残差网络中，经对每一条子序列进行特征提取和融合后，输出共享表示；

S204，将共享表示输入至分类网络中，经特征提取后，输出分类表示；

S205，将分类表示输入至分类器中，经分类输出时间序列分类结果。

时间序列检索模型的主要应用过程为：

S301，对给定的时间序列数据集进行归一化处理；

S302，将归一化处理后的时间序列输入多级小波分解网络中，每一级分解得到一条子序列，通过n级分解，得到多尺度子序列集合；

S303，将多尺度子序列集合输入到残差网络中，经对每一条子序列进行特征提取和融合后，输出共享表示；

S304，将共享表示输入至检索网络中，经特征提取后，输出检索表示；

S305，对于检索表示，通过构建基于树或基于哈希的索引来实现检索任务。

上述基于深度多任务表示学习的时间序列分类和检索方法将时间序列的分类和检索任务当作一对紧密相连的任务，可通过深度多任务学习发现两个任务间的共性和差异，同时提高分类和检索的准确率。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于深度多任务表示学习的时间序列分类和检索方法，所述时间序列分类和检索方法应用于金融领域，其特征在于，所述方法包括以下步骤：

(1)对给定的属于金融领域的时间序列数据集进行归一化处理；其中，属于金融领域的时间序列数据是指金融领域中同一统计指标的数值按其发生的时间先后顺序排列而成的数列数据；

(2)将归一化处理后的时间序列数据输入多级小波分解网络中，每一级分解得到一条子序列，通过n级分解，得到多尺度子序列集合；具体地，小波分解的过程通过神经网络实现，即序列数据和滤波器做卷积操作，通过如下函数实现：

aⁱ⁺¹＝σ(Wⁱ(l)xⁱ(l)+bⁱ(l))

dⁱ⁺¹＝σ(Wⁱ(h)xⁱ(l)+bⁱ(h))

其中，xⁱ(l)为第i级分解得到的低频子序列，bⁱ(l)和bⁱ(h)是第i级的偏差向量，σ(·)是激活函数，Wⁱ(l)和Wⁱ(h)是滤波矩阵，填充滤波器对应的值；对aⁱ⁺¹和dⁱ⁺¹通过一个平均池化层，即可得到第i+1级分解的结果，计算公式如下：

其中，和/>分别表示aⁱ⁺¹、dⁱ⁺¹、xⁱ⁺¹(l)和xⁱ⁺¹(h)中第j个元素；

通过n级分解，最终得到多尺度子序列集合其中x⁰表示原始的时间序列，xⁱ表示第i(0<i≤n)级分解得到的子序列，即为：

(3)将多尺度子序列集合输入到残差网络中，经对每一条子序列进行特征提取和融合后，输出共享表示，包括：对于子序列集合中的每一条子序列，分别送入结构相同的残差网络中，残差网络包括三个卷积块，每一个卷积块包括三种操作：卷积、批正则化和ReLU激活，可用如下公式表示：

s＝BN(y)

h＝ReLU(s)

其中x为任意的输入，表示卷积操作，BN(·)表示批正则化，ReLU(·)为激活函数；每一个卷积块需要将上述三种操作执行三次，其中卷积操作都使用1-D卷积核，其大小分别为{8，5，3}；将上述卷积块堆叠构成残差网络，对于任意一个子序列xⁱ，残差网络的计算公式如下：

其中卷积核的数量k_i＝{64,128,128}，最终得到多尺度表示将这些表示融合，得到分类和检索任务的共享表示v_s：

(4)针对时间序列分类任务，将共享表示输入至分类网络中，经特征提取后，输出分类表示，再将分类表示输入至分类器中，经分类输出时间序列分类结果；

(5)针对时间序列检索任务，将共享表示输入至检索网络中，经特征提取后，输出检索表示，对于检索表示，通过利用基于树或基于哈希的索引来实现检索任务；

所述多级小波分解网络、残差网络、分类网络以及检索网络经训练得到。

2.如权利要求1所述的基于深度多任务表示学习的时间序列分类和检索方法，其特征在于，步骤(4)中，分类网络可以为至少一层全连接层构成的网络，即将共享表示v_s输入分类网络后，对共享表示v_s进行至少一次全连接操作后，输出分类表示v_c：

其中W为全连接层中权重矩阵，b为偏置参数。

3.如权利要求1所述的基于深度多任务表示学习的时间序列分类和检索方法，其特征在于，步骤(5)中，检索网络为至少二层全连接层构成的网络，即将共享表示v_s输入检索网络后，对共享表示v_s进行至少二次全连接操作后，输出分类表示v_r：

其中W₁和W₂为两层全连接层中的权重矩阵，b₁和b₂为两层全连接层中的偏置参数。

4.如权利要求1所述的基于深度多任务表示学习的时间序列分类和检索方法，其特征在于，训练多级小波分解网络、残差网络、分类网络以及检索网络的损失函数为基于三元组的损失/>基于二元组的损失/>和正则化损失/>之和，其中：

基于三元组的损失表示分类任务的损失，根据批中所有样本构建三元组集合TriSet，TriSet中任意三元组(X_i，X_i+，X_i-)描述如下：X_i为锚点，X_i+为正样本，X_i-为负样本，对于TriSet中所有的三元组尽可能满足：具有相同类别标签的样本表示尽可能接近，具有不同类别标签的样本表示尽可能远，得到基于三元组的损失/>

其中，和/>分别表示样本X_i、X_i+和X_i-对应的用于分类的表示，α是边界值，D[·]是欧式距离函数；

基于二元组的损失表示检索任务的损失，根据批中任意两个样本(X_i，X_i*)构建一个二元组，从而构成二元组集合PairSet，对于PairSet中所有的二元组尽可能满足：任意两个表示之间的欧式距离尽可能接近其原始数据之间的DTW距离，得到基于二元组的损失/>

其中，和/>分别表示样本X_i和X_i*对应的用于检索的表示，DTW(X_i，X_i*)表示X_i和X_i*之间的DTW距离，ρ为人工定义的参数，

正则化损失即约束分类和检索特有网络中的参数，利用2范数作为正则化损失即约束分类和检索特有网络中的参数：

将基于三元组的损失基于二元组的损失/>和正则化损失/>相加，得到整体损失/>