CN114219021A - 基于卷积自注意力机制的航迹时间序列分类算法 - Google Patents

Abstract

本发明公开了一种基于卷积自注意力机制的航迹时间序列分类算法，包括：对飞机航迹进行特征提取，得到航迹特征矩阵；将航迹特征矩阵作为自注意力结构的输入，自注意力结构包括普通自注意力模块和卷积自注意力模块，普通自注意力模块关注单独航迹点与全局航迹点的依赖关系，卷积自注意力模块计算航迹片段之间的依赖关系，输出有效航迹特征矩阵；卷积结构在有效航迹特征矩阵的垂直方向做卷积，得到航迹时间序列的分类结果。本发明基于航迹特征提取、自注意力结构和卷积模块，充分挖掘这种多维时间序列数据中各维度的相关性和航迹时间序列的复杂动态模式，实现航迹准确的分类。

Description

基于卷积自注意力机制的航迹时间序列分类算法

技术领域

本发明涉及数据处理技术领域，更具体的说是涉及基于卷积自注意力机制的航迹时间序列分类算法。

背景技术

专注于时间序列分类任务的方法通常可分为三大类：

第一类基于特征分类的算法从时间序列中提取特征向量，然后应用传统方法或神经网络模型进行分类。传统方法代表为支持向量机(SVM)和K-Nearest邻近(KNN)；神经网络模型能够强力拟合非线性映射并提取复杂的时间特征进行分类。

第二类基于距离分类的方法旨在设计距离函数，以测量一对时间序列的相似性。只要获得合理的距离度量，我们就可以应用常规算法进一步进行分类。

第三类基于模型分类的方法假定属于每个类别的所有时间序列都是由潜在模型生成的。在训练阶段，学习潜在模型的相应参数，并根据可能性对测试样本进行分类。

而上述现有时间序列分类方法的不足主要包括：

(1)基于特征分类的方法典型代表是支持向量机(SVM)和K-Nearest邻近算法。支持向量机(SVM)在大规模样本训练和多分类问题上存在困难，K-Nearest邻近算法存在效率低下、多维数据处理效果较差的问题，使用神经网络模型的方法并未在航迹时间序列上广泛地应用。

(2)基于距离分类的方法目的是设计距离函数，DTW是一种典型的基于距离的算法，适用于具有不同长度的时间序列。还有针对TSC构建时间序列分类器的半监督技术。但是基于序列距离的分类方式不适用于包含多种类型信息的航迹时间序列数据。

(3)基于模型分类的方法，隐马尔可夫模型(HMM)被广泛用于语音识别，该模型缺陷是不能关注当前状态与上下文、全局的联系。朴素贝叶斯序列分类器是另一种典型的基于模型的方法，该方法遵循与特征无关的假设，但该模型不能学习特征间的相互作用。

针对上述不足，如何提供一种航迹时间序列分类算法，使其能完成对飞机航迹数据这种多维时间序列数据的分类，能够充分利用多维数据之间复杂的数据关系，同时飞机航迹是具有连贯的关系，分类方法应具有连贯上下，统观全局的能力，学习的特征之间应该可以相互作用，最重要的是具有较高的分类准确率，以上是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于卷积自注意力机制的航迹时间序列分类算法，以卷积自注意力机制为核心的网络模型，并根据航迹时间序列数据的特点改进卷积自注意力机制，充分挖掘这种多维时间序列数据中各维度的相关性和航迹时间序列的复杂动态模式，实现航迹准确的分类。

为了实现上述目的，本发明采用如下技术方案：

基于卷积自注意力机制的航迹时间序列分类算法，包括：

对飞机航迹进行特征提取，得到航迹特征矩阵；

将所述航迹特征矩阵作为自注意力结构的输入，所述自注意力结构包括普通自注意力模块和卷积自注意力模块，所述普通自注意力模块关注单独航迹点与全局航迹点的依赖关系，所述卷积自注意力模块计算航迹片段之间的依赖关系，输出有效航迹特征矩阵；

卷积结构在所述有效航迹特征矩阵的垂直方向做卷积，得到航迹时间序列的分类结果。

优选的，对飞机航迹进行特征提取具体包括：

将飞机航迹数据的维度信息分为三类：时间位置信息、航向速度信息和补充性信息；

对所述时间位置信息进行坐标网格化处理，对所述航向速度信息进行标准化处理，对所述补充性信息建立相应字典，并利用Embedding对特征进行放大；

将三类维度信息独立特征提取后进行融合，得到所述航迹特征矩阵。

优选的，三类维度信息进行特征提取分别如公式(1)、(2)、(3)所示，融合过程如公式(4)所示：

τ₁＝E₁(X^a) (1)

τ₂＝E₂(X^b) (2)

τ₃＝E₃(X^c) (3)

e＝φ([τ₁*C₁，τ₂*C₂，τ₃*C₃]) (4)

其中，τ_i，i∈1，2，3代表对航迹时间序列X三类维度信息的表示学习结果，E_i，i∈1，2，3为对不同类别的维度进行表示学习操作，X^a，X^b，X^c为航迹时间序列X三种类别的维度信息，φ为三种类别的表示学习结果融合函数，C_i，i∈1，2，3为不同类别的表示学习结果在融合函数φ中的权重参数，在模型训练过程中权重参数C_i是被不断优化的，e∈R^L×H为经过融合后得到的航迹嵌入，其中L为航迹点数量，H为嵌入后维度，R表示数据的维度空间。

优选的，所述卷积自注意力模块包括多头卷积自注意力机制模块和前馈网络；

所述多头卷积自注意力机制模块和所述前馈网络均进行残差和归一化操作，具体计算公式为：

sub_layer_output＝LayerNorm(x+SubLayer(x)) (5)

其中，x为子层输入，SubLayer为该子层操作，LayerNorm为归一化操作。

优选的，所述多头卷积自注意力机制模块包括卷积层、线性层、缩放点积注意力层、合并层和全连接层；

所述卷积层具体计算公式为：

Q’＝Con(Q)+bias’_q (6)

K’＝Con(K)+bias’_k (7)

V’＝Con(V)+bias’_v (8)

其中，Q'、K'、V'为卷积后特征矩阵，Q、K、V为3个普通自注意力模块分别输出的航迹特征矩阵；Con函数表示对Q、K、V进行的卷积操作，bias'_q,bias'_k,bias'_v为Q'、K'、V'为独有的误差向量；

将所述Q'、K'、V'分别输入至不同的线性层进行线性变换；

所述缩放点积注意力层将Q'和K'进行相似度计算得到权重，并基于softmax函数对权重进行归一化，将归一化后的权重和相应的键值进行加权求和得到自注意力向量；具体计算公式为：

其中，d_k为向量Q′的维度，以

进行缩放起到分散注意力的作用，T表示转置；

所述合并层对缩放点积注意力层的输出结果进行合并，具体计算公式为：

MultiHead(Q,K,V)＝Concat(head₁,…,head_h)W^o (10)

其中，W^o表示线性变换，h表示自注意力头的数量，

表示将三个输入划分为输入的八分之一再进行线性变换；

所述全连接层进行维度变换，使输出维度与输入至所述卷积层的维度一致。

优选的，所述前馈网络包括线性变换和激活函数，通过线性变换对输入向量的维度进行扩维，激活函数具体计算公式为：

其中，x表示输入，GELU(x)表示对特征矩阵进行高斯线性激活。

优选的，所述卷积结构依次包括第二卷积层、池化层、第二全连接层和第二softmax函数；

所述第二卷积层对有效航迹特征矩阵在垂直方向做卷积，并依次经过所述池化层、所述第二全连接层和所述第二softmax函数输出分类结果。

优选的，所述时间位置信息包括时间、经纬度和高度；所述航向速度信息包括航向和速度；所述补充性信息包括航班号、呼号、出发地和目的地。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于卷积自注意力机制的航迹时间序列分类算法，飞机的航迹数据作为一种多维的时间序列数据，每个点具有时间、经度、维度、高度、飞行速度、航向、呼号、航班号等多维信息，该算法充分挖掘这种多维时间序列数据中各维度的相关性和航迹时间序列的复杂动态模式，实现航迹准确的分类，准确分类飞机航机数据对于合理规划航线、识别假冒身份的飞机等有着重要的现实意义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为航迹时间序列分类算法框架图。

图2附图为航迹特征提取过程图。

图3附图为航迹示意图。

图4附图为自注意力结构的具体结构图。

图5附图为自注意力结构中卷积层示意图。

图6附图为卷积结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于卷积自注意力机制的航迹时间序列分类算法，如图1所示，包括：

(1)对飞机航迹进行特征提取后得到航迹特征矩阵；

(2)生成的航迹特征矩阵作为自注意力结构的输入。在自注意力结构中，普通自注意力模块负责关注单独航迹点与全局轨迹点的依赖关系，卷积自注意力模块负责关注航迹片段之间的依赖关系，从而进行航迹特征的有效提取；

(3)卷积结构对自注意力结构的处理结果进行进一步的特征提取得到航迹时间序列的分类结果。

在本实施例中，航迹时间序列数据由于具有多维度的信息，为了更好地对其进行表示学习，将航迹数据的不同维度信息按照其特点分为不同类型的组，独立地进行特征提取后融合得到航迹特征矩阵。航迹的表示学习过程图如图2所示，本发明将航迹数据的维度信息分为三种类别：

(1)时间、经纬度、高度这类对航迹最为重要的飞机时间位置信息。对于此类维度信息，本发明采取坐标网格化的方式得到特征矩阵；

(2)航向速度等信息。对于此类维度信息，本发明对航向、速度进行标准化处理得到特征矩阵；

(3)航班号、呼号、出发地、目的地等其他补充性信息。对于此类维度信息，本发明采用类似自然语言处理的方式对航班号、呼号、出发地、目的地建立相应字典，然后Embedding生成其特征矩阵。

三种类别的独立特征提取如公式(1)、(2)、(3)所示，对于其结果的融合如公式(4)所示：

τ₁＝E₁(X^a) (1)

τ₂＝E₂(X^b) (2)

τ₃＝E₃(X^c) (3)

e＝φ([τ₁*C₁，τ₂*C₂，τ₃*C₃]) (4)

其中，τ_i，i∈1，2，3代表对航迹时间序列X三种类别维度信息的表示学习结果，E_i，i∈1，2，3为对不同类别的维度进行表示学习操作，X^a，X^b，X^c为序列X三种类别的维度信息，φ为三种类别的表示学习结果融合函数，C_i，i∈1，2，3为不同类别的表示学习结果在融合函数φ中的权重参数，在模型训练过程中权重参数C_i是被不断优化的，e∈R^L×H为经过融合后得到的航迹嵌入，其中L为航迹点数量，H为嵌入后维度。经过航迹特征提取，得到一个较优的表示序列X的航迹特征矩阵，作为自注意力结构的输入。

在本实施例中，航迹时间序列示意图如图3所示，黄色点代表航迹点，每个航迹点存储着多维信息；绿色线条表示由航迹点组成的飞机航迹；红色虚线内代表航迹片段，航迹片段由几个航迹点组成。研究发现，航迹片段蕴含着比航迹点更为丰富的航迹特征信息，从片段中可以得到能够提取飞机更全面的飞行状态，例如飞行的加速度、角速度等。因此航迹片段可以有效提高飞机的特征提取能力，因此不能只使用现有的自注意力网络来学习航迹点与全局序列之间的依赖关系，更需要关注航迹片段与全局的深层联系，为此本发明设计了由普通自注意力模块和卷积自注意力模块构成的自注意力结构。

自注意力结构如图1中所示，本发明将航迹特征矩阵和transformer中的位置嵌入融合作为该结构的输入向量，该结构由3个普通自注意力模块和3个卷积自注意力模块串联构成，3个普通自注意力模块和3个卷积自注意力模块依次串联。

普通自注意力模块的架构沿用了现有的transforme模型的Encoder Layer层，用以挖掘单独航迹点与整条序列的关系，该模块的内容不再赘述。

卷积自注意力模块结构如图4所示，该卷积自注意力模块拥有两个子层(sub-layer)，分别是多头卷积自注意力机制(multi-head convolution self-attentionmechanism)和前馈网络(feed-forward network),每个子层都进行了残差(residualconnection)和归一化操作(layer normalization),归一化和残差连接是帮助模型更快更准确地训练的机制。每层的表示如公式(5)所示：

sub_layer_output＝LayerNorm(x+SubLayer(x)) (5)

其中x为子层输入，SubLayer为该子层操作，LayerNorm为归一化操作。

具体的，卷积自注意力机制如图4所示，包括卷积层、线性层、缩放点积注意力层、合并层和全连接层，在3个普通自注意力模块中，Q、K、V为3个普通自注意力模块的输出，Q、K、V航迹特征矩阵乘以矩阵W_Q、W_k、W_v得到。其中W_Q、W_k、W_v是不同的权值矩阵，它们对航迹特征矩阵进行不同的线性变换，将其映射到不同子空间。

卷积自注意力机制中卷积层如图5所示，卷积前特征矩阵即Q、K、V，卷积后特征矩阵设为Q'、K'、V',左边红色方框为卷积前的向量，右边红色方框为卷积后的向量，本发明采用的卷积核的高度为3，宽度为1，因此卷积前后特征向量的宽度未发生变化。通过卷积及线性变换后将多个点组成的航迹片段的信息存储到了低维的向量空间，其维度H等同于单个航迹点的特征向量。对航迹片段进行卷积使得注意力机制可以学习轨迹片段与全局航迹时间序列的依赖关系。Q'、K'、V'的生成方式如公式(6)、(7)、(8)所示：

Q’＝Con(Q)+bias’_q (6)

K’＝Con(K)+bias’_k (7)

V’＝Con(V)+bias’_v (8)

其中Con函数表示对Q、K、V进行的卷积操作，它们共用相同的卷积权值来减少参数的使用，bias'_q,bias'_k,bias'_v为Q'、K'、V'为独有的误差向量。

如图4中缩放点积自注意力层主要为自注意力操作，该操作可以被描述为一个查询(Q')到一系列(K'-V')对的映射。自注意力操作主要分为三步，第一步是将线性变换后的Q'和K'进行相似度计算得到权重，本发明采用点积的方式得到权重；第二步一般是使用softmax函数对这些权重进行归一化；最后将权重和相应的键值value进行加权求和得到最后的自注意力向量，自注意运算的公式如下：

其中d_k为向量Q′的维度，以

进行缩放起到分散注意力的作用，使得模型有更好的泛化能力。卷积注意力机制具有多头结构，是因为几个注意力层以相同输入进行不同线性变换并进行堆叠，而这种堆叠有助于模型捕获输入的各个维度信息，提高模型特征提取能力，图4中A表示注意力头的数量，在本发明中A取值为8。合并层便是对多个注意力头的结果进行合并，公式如(10)、(11)所示：

MultiHead(Q,K,V)＝Concat(head₁,…,head_h)W^o (10)

其中，concat函数为图4中合并层，将每个注意力头的生成结果合并。图4中的线性层进行线性变换，concat后结果使用全连接层进行维度变换，使输出维度与输入维度一致，从而保证卷积自注意力模块可以串联复用。

图4中的前馈网络层包含线性变换和激活函数。在前馈网络中，通过线性变换对输入向量的维度H进行扩维，本发明采用了2H的维度。在激活函数的选择上，采用了Bert模型的GELU激活函数，公式如(12)所示：

本实施例中，卷积结构如图6中所示，该结构对自注意力结构的输出结果进行卷积池化，使模型一步提取航迹特征，从而达到更好的分类效果。

将自注意力结构输得到出的特征矩阵类比成一幅图像，与传统卷积方法不同的是由于航迹特征中相邻航迹点的关联性较高，因此本发明只在特征矩阵的垂直方向做卷积。卷积核的宽度固定为输入向量的维度H，卷积核的高度是超参数，经过试验选取(3,5,7)这三种不同高度的组合进行特征的抽取，通过不同高度的卷积核对特征矩阵不同尺度的特征提取，将抽取结果连接起来作为分类函数的输入，最终通过第二全连接层和第二softmax函数得到具体的分类类别。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.基于卷积自注意力机制的航迹时间序列分类算法，其特征在于，包括：

对飞机航迹进行特征提取，得到航迹特征矩阵；

将所述航迹特征矩阵作为自注意力结构的输入，所述自注意力结构包括普通自注意力模块和卷积自注意力模块，所述普通自注意力模块关注单独航迹点与全局航迹点的依赖关系，所述卷积自注意力模块计算航迹片段之间的依赖关系，输出有效航迹特征矩阵；

卷积结构在所述有效航迹特征矩阵的垂直方向做卷积，得到航迹时间序列的分类结果。

2.根据权利要求1所述的基于卷积自注意力机制的航迹时间序列分类算法，其特征在于，对飞机航迹进行特征提取具体包括：

将飞机航迹数据的维度信息分为三类：时间位置信息、航向速度信息和补充性信息；

对所述时间位置信息进行坐标网格化处理，对所述航向速度信息进行标准化处理，对所述补充性信息建立相应字典，并利用Embedding对特征进行放大；

将三类维度信息独立特征提取后进行融合，得到所述航迹特征矩阵。

3.根据权利要求2所述的基于卷积自注意力机制的航迹时间序列分类算法，其特征在于，三类维度信息进行特征提取分别如公式(1)、(2)、(3)所示，融合过程如公式(4)所示：

τ₁＝E₁(X^a) (1)

τ₂＝E₂(X^b) (2)

τ₃＝E₃(X^c) (3)

e＝φ([τ₁*C₁，τ₂*C₂，τ₃*C₃]) (4)

其中，τ_i，i∈1，2，3代表对航迹时间序列X三类维度信息的表示学习结果，E_i，i∈1，2，3为对不同类别的维度进行表示学习操作，X^a，X^b，X^c为航迹时间序列X三种类别的维度信息，φ为三种类别的表示学习结果融合函数，C_i，i∈1，2，3为不同类别的表示学习结果在融合函数φ中的权重参数，在模型训练过程中权重参数C_i是被不断优化的，e∈R^L×H为经过融合后得到的航迹嵌入，其中L为航迹点数量，H为嵌入后维度，R表示数据的维度空间。

4.根据权利要求3所述的基于卷积自注意力机制的航迹时间序列分类算法，其特征在于，所述卷积自注意力模块包括多头卷积自注意力机制模块和前馈网络；

所述多头卷积自注意力机制模块和所述前馈网络均进行残差和归一化操作，具体计算公式为：

sub_layer_output＝LayerNorm(x+SubLayer(x)) (5)

其中，x为子层输入，SubLayer为该子层操作，LayerNorm为归一化操作。

5.根据权利要求4所述的基于卷积自注意力机制的航迹时间序列分类算法，其特征在于，所述多头卷积自注意力机制模块包括卷积层、线性层、缩放点积注意力层、合并层和全连接层；

所述卷积层具体计算公式为：

Q′＝Con(Q)+bias′_q (6)

K′＝Con(K)+bias′_k (7)

V′＝Con(V)+bias′_v (8)

其中，Q'、K'、V'为卷积后特征矩阵，Q、K、V为3个普通自注意力模块分别输出的航迹特征矩阵；Con函数表示对Q、K、V进行的卷积操作，bias'_q,bias'_k,bias'_v为Q'、K'、V'为独有的误差向量；

将所述Q'、K'、V'分别输入至不同的线性层进行线性变换；

所述缩放点积注意力层将Q'和K'进行相似度计算得到权重，并基于softmax函数对权重进行归一化，将归一化后的权重和相应的键值进行加权求和得到自注意力向量；具体计算公式为：

其中，d_k为向量Q′的维度，以

进行缩放起到分散注意力的作用，T表示转置；

所述合并层对缩放点积注意力层的输出结果进行合并，具体计算公式为：

MultiHead(Q,K,V)＝Concat(head₁,…,head_h)W^o (10)

其中，Wo表示线性变换，h表示自注意力头的数量，

表示将三个输入划分为输入的八分之一再进行线性变换；

所述全连接层进行维度变换，使输出维度与输入至所述卷积层的维度一致。

6.根据权利要求4所述的基于卷积自注意力机制的航迹时间序列分类算法，其特征在于，所述前馈网络包括线性变换和激活函数，通过线性变换对输入向量的维度进行扩维，激活函数具体计算公式为：

其中，x表示输入，GELU(x)表示对特征矩阵进行高斯线性激活。

7.根据权利要求1所述的基于卷积自注意力机制的航迹时间序列分类算法，其特征在于，所述卷积结构依次包括第二卷积层、池化层、第二全连接层和第二softmax函数；

所述第二卷积层对有效航迹特征矩阵在垂直方向做卷积，并依次经过所述池化层、所述第二全连接层和所述第二softmax函数输出分类结果。

8.根据权利要求2所述的基于卷积自注意力机制的航迹时间序列分类算法，其特征在于，所述时间位置信息包括时间、经纬度和高度；所述航向速度信息包括航向和速度；所述补充性信息包括航班号、呼号、出发地和目的地。

Images