CN114595427A - 基于非自回归模型的含缺失值车辆轨迹序列填补修复方法 - Google Patents

基于非自回归模型的含缺失值车辆轨迹序列填补修复方法 Download PDF

Info

Publication number
CN114595427A
CN114595427A CN202210238130.3A CN202210238130A CN114595427A CN 114595427 A CN114595427 A CN 114595427A CN 202210238130 A CN202210238130 A CN 202210238130A CN 114595427 A CN114595427 A CN 114595427A
Authority
CN
China
Prior art keywords
vehicle track
filling
track sequence
self
missing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210238130.3A
Other languages
English (en)
Other versions
CN114595427B (zh
Inventor
马千里
陈楚鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210238130.3A priority Critical patent/CN114595427B/zh
Priority claimed from CN202210238130.3A external-priority patent/CN114595427B/zh
Publication of CN114595427A publication Critical patent/CN114595427A/zh
Application granted granted Critical
Publication of CN114595427B publication Critical patent/CN114595427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于非自回归模型的含缺失值车辆轨迹序列填补修复方法，包括以下步骤：获取车辆轨迹序列数据集，对数据集进行归一化处理并将归一化后的数据集划分为训练集与测试集；构建深度神经网络，包括缺失信息衰减模块和非自回归填补网络，并使用训练集对构建好的深度神经网络进行训练以确定深度网络的各项参数；将测试集输入到深度网络中，得到填补后的测试集数据，即含缺失值车辆轨迹数据的填补结果。本发明可为车辆轨迹数据提供一种非自回归的填补框架，解决了传统的基于自回归模型的方法中存在的误差累积问题，同时也能有效地建模车辆轨迹序列的时序信息。

Description

基于非自回归模型的含缺失值车辆轨迹序列填补修复方法
技术领域
本发明涉及车辆轨迹数据研究技术领域，具体涉及一种基于非自回归模型的含缺失值车辆轨迹序列填补修复方法。
背景技术
缺失数据的填补在车辆轨迹序列研究中一直具有重要的实验价值。例如，当获得若干车辆轨迹序列后，对车辆轨迹序列中含有的缺失值进行填补是一种常用的实验手法，填补方法能够按照数据的分布情况为数据中的缺失位置填补合理的预测值，为进一步的数据挖掘提供极大的帮助。
在车辆轨迹序列的填补过程中，常用的基于自回归模型的填补算法或模型存在不可避免的误差累积问题。这种误差累积问题无关于填补算法的好坏而普遍存在。这导致填补误差随着填补过程的进行而不断累积，造成填补值不断偏移。
在一般类型数据的填补过程中，算法从数据的整体分布信息建模，忽略时序尺度上的可利用信息。因此，尽管这部分填补方法不受误差累积问题影响，但由于其对时序信息利用不充分的特性，这部分填补方法不适合填补序列型数据，如车辆轨迹序列数据。
综上，目前亟待解决车辆轨迹序列填补中的误差累积问题，并有效地建模含缺失值车辆轨迹序列的时间信息，从而提升车辆轨迹序列数据的填补质量。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于非自回归模型的含缺失值车辆轨迹序列填补修复方法。本发明将填补过程视作是一个端到端的整体来进行，不需要迭代地进行填补，从而避免了误差累积问题。同时，本发明针对含缺失值车辆轨迹序列的特点，设计了相应的模块用于有效地捕获含缺失值车辆轨迹序列的时间信息。
本发明的目的可以通过采取如下技术方案达到：
一种基于非自回归模型的含缺失值车辆轨迹序列填补修复方法，包括以下步骤：
S1、获取车辆轨迹序列数据集，所述车辆轨迹序列数据集为一个数据矩阵X，数据矩阵X由N个行向量组成，N表示数据矩阵X中记录的车辆轨迹个数，每一个行向量Xi对应车辆的轨迹序列，Xi表示数据矩阵X中的第i个行向量，即第i条车辆轨迹序列样本，i＝1，2，…，N，每一个行向量Xi的长度为T；
S2、构建基于非自回归模型的含缺失值车辆轨迹序列填补修复的深度神经网络模型，所述深度神经网络模型包括顺序连接的缺失信息衰减模块和非自回归填补网络，其中，缺失信息衰减模块接收车辆轨迹序列数据集样本作为输入，并输出车辆轨迹序列数据集样本的隐层表示；非自回归填补网络包括层叠的自注意力模块和线性解码模块；其中，层叠的自注意力模块接收所述缺失信息衰减模块输出的隐层表示作为输入，并输出隐层表示的深层编码；线性解码模块接收层叠的自注意力模块输出的深层编码作为输入，并输出车辆轨迹序列数据集样本的填补结果；通过车辆轨迹序列数据集中样本对所述深度神经网络模型进行训练，并确定所述深度神经网络模型的可学习参数；
S3、将所述车辆轨迹序列数据集中真实样本输入到经过训练的深度神经网络模型中，获得所述车辆轨迹序列数据集中真实样本的填补结果。
进一步地，所述步骤S1中获取车辆轨迹序列数据集样本之后，还包括：获取车辆轨迹序列数据集X对应的缺失位置指示数据集M，缺失位置指示数据集M为一个与车辆轨迹序列数据集X同维度的数据矩阵，即M为一个N行T列的数据矩阵；令mi,j表示数据矩阵M的第i行第j列的元素，xi,j表示数据矩阵X的第i行第j列的元素，i＝1222…2N2j＝1222…2T，mi,j∈{0,1}且
Figure BDA0003540672050000031
Figure BDA0003540672050000032
表示实数集；当xi,j缺失时，mi,j对应设置为0；则当xi,j未缺失时，mi,j对应设置为1。缺失位置指示数据集M可以作为车辆轨迹数据集X作为深度神经网络模型的输入时的掩码。
进一步地，所述缺失信息衰减模块的数据处理过程由下述公式表达：
Ri＝g*Xi，
Figure BDA0003540672050000033
g表示门控权值，e为自然指数，Mi为缺失位置指示数据集M的第i个行向量，p表示车辆轨迹序列数据集中样本Xi的缺失率，Relu()表示Relu激活函数，w是一个可学习的线性映射网络层且
Figure BDA0003540672050000034
[,]表示数据拼接操作，⊙表示矩阵按位乘法操作，Ri表示车辆轨迹序列数据集中样本Xi对应的隐层表示并且
Figure BDA0003540672050000035
经过缺失信息衰减模块后，车辆轨迹序列数据集中样本Xi对于其隐层表示Ri的参与度被门控权值g予以了一定程度的衰减，具体的衰减程度可由深度神经网络模型训练时决定。
进一步地，所述层叠的自注意力模块由
Figure BDA0003540672050000036
个自注意力编码单元顺序连接组成，
Figure BDA0003540672050000037
表示层叠的自注意力编码单元的个数；对于第s个自注意力编码单元，
Figure BDA0003540672050000038
第s个自注意力编码单元由下述公式表达：
Figure BDA0003540672050000039
Figure BDA00035406720500000310
Figure BDA00035406720500000311
Es＝softmax(QKT)*VT，
其中，Q,K,V分别表示三个中间变量并且
Figure BDA00035406720500000312
Figure BDA00035406720500000313
分别表示第s个自注意力编码单元中的Q,K,V对应的可学习参数并且
Figure BDA0003540672050000041
Es-1和Es分别表示第s-1和第s个自注意力编码单元的输出并且
Figure BDA0003540672050000042
softmax()表示softmax函数，KT和VT分别为K和V的转置矩阵；以上公式表示每一个自注意力编码单元接收上一个自注意力编码单元的输出作为输入，经过编码后得到本自注意力编码单元的输出，并作为下一个自注意力编码单元的输入进行进一步编码；其中，第1个自注意力编码单元的输入为Ri，即所述缺失信息衰减模块输出的隐层表示；最后1个自注意力编码单元的输出作为层叠的自注意力模块的最终输出Yi，Yi表示隐层表示Ri对应的深层编码并且
Figure BDA0003540672050000043
层叠的自注意力模块将隐层表示Ri进行更深一层的编码以丰富深层编码Yi中的时序特征。
进一步地，所述线性解码模块由以下公式表达：
Figure BDA0003540672050000044
其中，
Figure BDA0003540672050000045
表示第i条车辆轨迹序列样本Xi对应的填补结果且
Figure BDA0003540672050000046
Wo是一个可学习的线性映射网络层且
Figure BDA0003540672050000047
线性解码模块将深层编码Yi经过一个线性层映射到输出空间，得到填补结果。
进一步地，所述步骤S2中对深度神经网络模型进行训练时所使用的损失函数为：
Figure BDA0003540672050000048
利用损失函数
Figure BDA0003540672050000049
和梯度下降训练算法对所述深度神经网络模型中的可学习参数进行训练。当深度神经网络模型中的可学习参数全部收敛时，训练结束。
进一步地，所述可学习参数包括：w,
Figure BDA00035406720500000410
和Wo。
本发明相对于现有技术具有如下的优点及效果：
1.本发明提出了一种基于非自回归模型的车辆轨迹序列填补修复方法，该方法利用了层叠的多头自注意力模块和前馈神经网络模块对车辆轨迹序列进行并行的填补。不同于传统自回归模型中的串行的迭代的填补方式，本方法避免了填补过程中的误差累积问题，从而提升了车辆轨迹序列填补修复的质量。同时，这也使得后续的填补修复工作只需要将改进精力集中到非自回归模型本身上，而不需要额外考虑误差累积问题的影响。
2.本发明公开的缺失信息衰减模块和非自回归填补网络有效地建模了含缺失值车辆轨迹序列的时间信息，进一步提升了轨迹填补的结果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的限制。
图1是本发明实施例中公开的一种基于非自回归模型的含缺失值车辆轨迹序列填补修复方法的流程图；
图2是本发明实施例中公开的一种基于非自回归模型的含缺失值车辆轨迹序列填补修复方法对含缺失值车辆轨迹序列填补结果的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1所示，本实施例公开了一种基于非自回归模型的含缺失值车辆轨迹序列填补修复方法，首先获取车辆轨迹序列数据集，数据集为一个数据矩阵X；数据矩阵X的每一个行向量Xi表示一条长度为T的车辆轨迹序列；数据矩阵X由N个行向量组成；然后构建基于非自回归模型的含缺失值车辆轨迹序列填补修复的深度神经网络模型，深度神经网络模型包括顺序连接的缺失信息衰减模块和非自回归填补网络；并将所获取的车辆轨迹序列数据集用于深度神经网络模型的训练，并确定深度神经网络模型中的可学习参数；最后将所获取的车辆轨迹序列数据集输入到经过训练的深度神经网络模型中，得到车辆轨迹序列数据集的填补修复结果。
S1、车辆轨迹数据预处理。
获取车辆轨迹序列数据集X后，需要根据数据矩阵X的具体情况生成与X对应的缺失位置指示数据集M。具体地，M为与数据矩阵X同维度的数据矩阵，即
Figure BDA0003540672050000061
令mi,j和xi,j分别表示数据矩阵M与X在第i行第j列的矩阵成分，则当xi,j缺失时，mi,j的值被设置为0；当xi,j未缺失时，mi,j的值被设置为1。至此完成对车辆轨迹序列数据集X的预处理。
S2、构建深度神经网络模型并利用训练集样本进行训练。
构建深度神经网络模型，包括顺序连接的缺失信息衰减模块和非自回归填补网络。
缺失信息衰减模块是本发明设计的用于减少车辆轨迹数据的缺失位置对深度模型训练的影响的模块。以车辆轨迹序列Xi为例，缺失信息衰减模块将车辆轨迹数据样本与该样本的缺失率进行拼接后经过一个Relu激活函数得到车辆轨迹数据样本对应的衰减权重。该衰减权重公式表示如下
Figure BDA0003540672050000062
具体地，g表示门控权值，e为自然指数，Mi为缺失位置指示数据集M的第i个行向量，p表示车辆轨迹序列Xi的缺失率，Relu()表示Relu激活函数，w是一个可学习的线性映射网络层且
Figure BDA0003540672050000063
[,]表示数据拼接操作，⊙表示矩阵按位乘法操作。
门控权值g用于与车辆轨迹序列Xi进行相乘以得到隐层表示。公式表示如下：Ri＝g*Xi
其中，Ri表示所述车辆轨迹序列数据集样本Xi对应的隐层表示并且
Figure BDA0003540672050000071
非自回归填补网络由一个层叠的自注意力模块和一个线性解码模块构成。以隐层表示Ri为例，层叠的自注意力模块将Ri进行编码得到Ri对应的深层编码
Figure BDA0003540672050000072
线性解码模块再对Yi进行解码，得到对应于车辆轨迹序列Xi的填补值
Figure BDA0003540672050000073
具体地，层叠的自注意力模块由
Figure BDA0003540672050000074
个自注意力编码单元顺序组成，以第s个编码单元为例，
Figure BDA0003540672050000075
每一个自注意力编码单元可由下述公式表达：
Figure BDA0003540672050000076
Figure BDA0003540672050000077
Figure BDA0003540672050000078
Es＝softmax(QKT)*VT，
其中，Q,K,V表示三个中间变量并且
Figure BDA0003540672050000079
Figure BDA00035406720500000710
分别表示第s个自注意力编码单元中的Q,K,V对应的可学习参数并且
Figure BDA00035406720500000711
Es-1和Es分别表示第s-1和第s个自注意力编码单元的输出并且
Figure BDA00035406720500000712
softmax()表示softmax函数，KT和VT分别为K和V的转置矩阵。上述公式表示，每一个自注意力编码单元接收上一个自注意力编码单元的输出作为输入，经过编码后得到本自注意力编码单元的输出，并作为下一个自注意力编码单元的输入进行进一步编码。特别地，第1个自注意力编码单元的输入为隐层表示Ri。特别地，最后1个自注意力编码单元的输出作为层叠的自注意力模块的输出，即隐层表示Ri对应的深层编码Yi。
线性解码模块可以公式表示为：
Figure BDA0003540672050000081
其中，
Figure BDA0003540672050000082
表示第车辆轨迹序列Xi对应的填补结果且
Figure BDA0003540672050000083
Wo是一个可学习的线性映射网络层且
Figure BDA0003540672050000084
S3、利用训练集样本进行训练。将车辆轨迹序列Xi输入到所构建的深度神经网络模型并得到对应的填补结果
Figure BDA0003540672050000085
后，本发明采用如下损失函数对模型进行训练：
Figure BDA0003540672050000086
一次优化迭代过程中，通过梯度下降的方式进行参数学习，直到模型的参数收敛或达到最大训练次数。
S4、填补车辆轨迹序列数据，得到填补结果。
将车辆轨迹数据集输入到所训练得到的深度神经网络模型中，得到车辆轨迹序列数据集的填补结果。
填补结果如图2所示，可以看到，本实施例公开的序列填补方法得到的车龄轨迹序列更加贴近于正确的车辆轨迹序列，而现有方法的填补结果则总体偏离于正确的车辆轨迹序列，体现了本发明在填补车辆轨迹序列上的性能。
实施例2
采用实施例1公开的基于非自回归模型的含缺失值车辆轨迹序列填补修复方法在常用时间序列数据库UCR中的轨迹数据集Trace上的修复结果如表1所示。其中，Trace-30％，Trace-40％，和Trace-50％分别表示缺失率为30％，40％和50％情况下的Trace数据集。所对比的方法为近年来较先进的序列填补修复方法，如基于分支策略的NAOMI方法、基于双向循环神经网络的BRIT方法。所采用的评价指标为平均绝对误差MAE，误差越低表示方法性能越好。如表1所示，本实施例公开的基于非自回归模型的含缺失值车辆轨迹序列填补修复方法在多种缺失率情况下都能达到最好的填补修复效果，验证了本发明填补与修复轨迹序列的能力。
表1.本发明与其他方法在Trace轨迹数据集上的实验结果
NAOMI BRITS 本发明
Trace-30％ 0.343 0.321 0.2297
Trace-40％ 0.397 0.379 0.3384
Trace-50％ 0.679 0.876 0.467
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于非自回归模型的含缺失值车辆轨迹序列填补修复方法，其特征在于，所述填补修复方法包括以下步骤：
S1、获取车辆轨迹序列数据集，所述车辆轨迹序列数据集为一个数据矩阵X，数据矩阵X由N个行向量组成，N表示数据矩阵X中记录的车辆轨迹个数，每一个行向量Xi对应车辆的轨迹序列，Xi表示数据矩阵X中的第i个行向量，即第i条车辆轨迹序列样本，i＝1，2，…，N，每一个行向量Xi的长度为T；
S2、构建基于非自回归模型的含缺失值车辆轨迹序列填补修复的深度神经网络模型，所述深度神经网络模型包括顺序连接的缺失信息衰减模块和非自回归填补网络，其中，缺失信息衰减模块接收车辆轨迹序列数据集样本作为输入，并输出车辆轨迹序列数据集样本的隐层表示；非自回归填补网络包括层叠的自注意力模块和线性解码模块；其中，层叠的自注意力模块接收所述缺失信息衰减模块输出的隐层表示作为输入，并输出隐层表示的深层编码；线性解码模块接收层叠的自注意力模块输出的深层编码作为输入，并输出车辆轨迹序列数据集样本的填补结果；通过车辆轨迹序列数据集中样本对所述深度神经网络模型进行训练，并确定所述深度神经网络模型的可学习参数；
S3、将所述车辆轨迹序列数据集中真实样本输入到经过训练的深度神经网络模型中，获得所述车辆轨迹序列数据集中真实样本的填补结果。
2.根据权利要求1所述的基于非自回归模型的含缺失值车辆轨迹序列填补修复方法，其特征在于，所述步骤S1中获取车辆轨迹序列数据集样本之后，还包括：获取车辆轨迹序列数据集X对应的缺失位置指示数据集M，缺失位置指示数据集M为一个与车辆轨迹序列数据集X同维度的数据矩阵，即M为一个N行T列的数据矩阵；令mi,j表示数据矩阵M的第i行第j列的元素，xi,j表示数据矩阵X的第i行第j列的元素，i＝1,2,…,N,j＝1,2,…,T，mi,j∈{0,1}且
Figure FDA0003540672040000021
Figure FDA0003540672040000022
表示实数集；当xi,j缺失时，mi,j对应设置为0；则当xi,j未缺失时，mi,j对应设置为1。
3.根据权利要求2所述的基于非自回归模型的含缺失值车辆轨迹序列填补修复方法，其特征在于，所述缺失信息衰减模块的数据处理过程由下述公式表达：Ri＝g*Xi，
Figure FDA0003540672040000023
g表示门控权值，e为自然指数，Mi为缺失位置指示数据集M的第i个行向量，p表示车辆轨迹序列数据集中样本Xi的缺失率，Relu()表示Relu激活函数，w是一个可学习的线性映射网络层且
Figure FDA0003540672040000024
[,]表示数据拼接操作，⊙表示矩阵按位乘法操作，Ri表示车辆轨迹序列数据集中样本Xi对应的隐层表示并且
Figure FDA0003540672040000025
4.根据权利要求3所述的基于非自回归模型的含缺失值车辆轨迹序列填补修复方法，其特征在于，所述层叠的自注意力模块由
Figure FDA0003540672040000026
个自注意力编码单元顺序连接组成，
Figure FDA0003540672040000027
表示层叠的自注意力编码单元的个数；对于第s个自注意力编码单元，
Figure FDA0003540672040000028
第s个自注意力编码单元由下述公式表达：
Q＝Ws q*Es-1,
Figure FDA0003540672040000029
Figure FDA00035406720400000210
Es＝softmax(QKT)*VT,
其中，Q,K,V分别表示三个中间变量并且
Figure FDA00035406720400000211
Ws q,
Figure FDA00035406720400000212
分别表示第s个自注意力编码单元中的Q,K,V对应的可学习参数并且
Figure FDA00035406720400000213
Es-1和Es分别表示第s-1和第s个自注意力编码单元的输出并且
Figure FDA0003540672040000031
softmax()表示softmax函数，KT和VT分别为K和V的转置矩阵；以上公式表示每一个自注意力编码单元接收上一个自注意力编码单元的输出作为输入，经过编码后得到本自注意力编码单元的输出，并作为下一个自注意力编码单元的输入进行进一步编码；其中，第1个自注意力编码单元的输入为Ri，即所述缺失信息衰减模块输出的隐层表示；最后1个自注意力编码单元的输出作为层叠的自注意力模块的最终输出Yi，Yi表示隐层表示Ri对应的深层编码并且
Figure FDA0003540672040000032
5.根据权利要求4所述的基于非自回归模型的含缺失值车辆轨迹序列填补修复方法，其特征在于，所述线性解码模块由以下公式表达：
Figure FDA0003540672040000033
其中，
Figure FDA0003540672040000034
表示第i条车辆轨迹序列样本Xi对应的填补结果且
Figure FDA0003540672040000035
Wo是一个可学习的线性映射网络层且
Figure FDA0003540672040000036
6.根据权利要求5所述的基于非自回归模型的含缺失值车辆轨迹序列填补修复方法，其特征在于，所述步骤S2中对深度神经网络模型进行训练时所使用的损失函数为：
Figure FDA0003540672040000037
利用损失函数
Figure FDA0003540672040000038
和梯度下降训练算法对所述深度神经网络模型中的可学习参数进行训练。
7.根据权利要求6所述的基于非自回归模型的含缺失值车辆轨迹序列填补修复方法，其特征在于，所述可学习参数包括：w,Ws q,
Figure FDA0003540672040000039
和Wo。
CN202210238130.3A 2022-03-10 基于非自回归模型的含缺失值车辆轨迹序列填补修复方法 Active CN114595427B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210238130.3A CN114595427B (zh) 2022-03-10 基于非自回归模型的含缺失值车辆轨迹序列填补修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210238130.3A CN114595427B (zh) 2022-03-10 基于非自回归模型的含缺失值车辆轨迹序列填补修复方法

Publications (2)

Publication Number Publication Date
CN114595427A true CN114595427A (zh) 2022-06-07
CN114595427B CN114595427B (zh) 2024-06-04

Family

ID=

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116299170A (zh) * 2023-02-23 2023-06-23 中国人民解放军军事科学院系统工程研究院 一种基于深度学习的多目标无源定位方法、系统、介质
CN116910919A (zh) * 2023-09-08 2023-10-20 四川大学 一种飞行器航迹高缺失率下的填补方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090558A (zh) * 2018-01-03 2018-05-29 华南理工大学 一种基于长短期记忆网络的时间序列缺失值自动填补方法
CN111309780A (zh) * 2020-01-21 2020-06-19 腾讯云计算（北京）有限责任公司 一种轨迹数据处理方法及装置
WO2021022816A1 (zh) * 2019-08-07 2021-02-11 南京硅基智能科技有限公司 一种基于深度学习网络的意图识别方法
CN112712855A (zh) * 2020-12-28 2021-04-27 华南理工大学 一种基于联合训练的含缺失值基因微阵列的聚类方法
US20210261148A1 (en) * 2020-02-26 2021-08-26 Honda Motor Co., Ltd. Driver-centric risk assessment: risk object identification via causal inference with intent-aware driving models
CN113408588A (zh) * 2021-05-24 2021-09-17 上海电力大学 一种基于注意力机制的双向gru轨迹预测方法
CN113723669A (zh) * 2021-08-09 2021-11-30 贵州电网有限责任公司 一种基于Informer模型的输电线路覆冰预测方法
US20220011122A1 (en) * 2020-07-09 2022-01-13 Beijing Tusen Weilai Technology Co., Ltd. Trajectory prediction method and device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090558A (zh) * 2018-01-03 2018-05-29 华南理工大学 一种基于长短期记忆网络的时间序列缺失值自动填补方法
WO2021022816A1 (zh) * 2019-08-07 2021-02-11 南京硅基智能科技有限公司 一种基于深度学习网络的意图识别方法
CN111309780A (zh) * 2020-01-21 2020-06-19 腾讯云计算（北京）有限责任公司 一种轨迹数据处理方法及装置
US20210261148A1 (en) * 2020-02-26 2021-08-26 Honda Motor Co., Ltd. Driver-centric risk assessment: risk object identification via causal inference with intent-aware driving models
US20220011122A1 (en) * 2020-07-09 2022-01-13 Beijing Tusen Weilai Technology Co., Ltd. Trajectory prediction method and device
CN112712855A (zh) * 2020-12-28 2021-04-27 华南理工大学 一种基于联合训练的含缺失值基因微阵列的聚类方法
CN113408588A (zh) * 2021-05-24 2021-09-17 上海电力大学 一种基于注意力机制的双向gru轨迹预测方法
CN113723669A (zh) * 2021-08-09 2021-11-30 贵州电网有限责任公司 一种基于Informer模型的输电线路覆冰预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
苏思凡;竹翠;朱文军;赵枫朝;: "基于时空融合的缺失值填补算法", 计算机工程与设计, no. 01, 16 January 2020 (2020-01-16) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116299170A (zh) * 2023-02-23 2023-06-23 中国人民解放军军事科学院系统工程研究院 一种基于深度学习的多目标无源定位方法、系统、介质
CN116299170B (zh) * 2023-02-23 2023-09-01 中国人民解放军军事科学院系统工程研究院 一种基于深度学习的多目标无源定位方法、系统、介质
CN116910919A (zh) * 2023-09-08 2023-10-20 四川大学 一种飞行器航迹高缺失率下的填补方法和装置
CN116910919B (zh) * 2023-09-08 2023-12-12 四川大学 一种飞行器航迹高缺失率下的填补方法和装置

Similar Documents

Publication Publication Date Title
CN111367961B (zh) 基于图卷积神经网络的时序数据事件预测方法、系统及其应用
CN109241536B (zh) 一种基于深度学习自注意力机制的句子排序方法
CN110674604B (zh) 基于多维时序帧卷积lstm的变压器dga数据预测方法
CN112000772B (zh) 面向智能问答基于语义特征立方体的句子对语义匹配方法
CN110427989B (zh) 汉字骨架自动合成方法及大规模中文字库自动生成方法
CN113516968B (zh) 一种端到端长时语音识别方法
CN112819604A (zh) 基于融合神经网络特征挖掘的个人信用评估方法与系统
CN107544904A (zh) 一种基于深度cg‑lstm神经网络的软件可靠性预测模型
CN111709244B (zh) 一种用于矛盾纠纷事件因果关系识别的深度学习方法
CN112734104B (zh) 一种融合生成对抗网络和自编码器的跨域推荐方法
CN111753207A (zh) 一种基于评论的神经图协同过滤模型
CN116107279A (zh) 基于注意力深度神经网络的流程工业能耗多目标优化方法
CN115146580A (zh) 基于特征选择和深度学习的集成电路路径延时预测方法
CN111861046B (zh) 基于大数据和深度学习的专利价值智能评估系统
CN115345458A (zh) 业务流程合规性检查方法、计算机设备以及可读存储介质
CN114595427A (zh) 基于非自回归模型的含缺失值车辆轨迹序列填补修复方法
CN114595427B (zh) 基于非自回归模型的含缺失值车辆轨迹序列填补修复方法
CN112232570A (zh) 一种正向有功总电量预测方法、装置及可读存储介质
CN116975778A (zh) 一种基于信息级联的社交网络信息传播影响力预测方法
CN115035304A (zh) 一种基于课程学习的图像描述生成方法及系统
CN108388942A (zh) 基于大数据的信息智能处理方法
CN114860952A (zh) 一种基于数据统计和知识指导的图拓扑学习方法及系统
CN113011334A (zh) 一种基于图卷积神经网络的视频描述方法
CN112884019A (zh) 一种基于融合门循环网络模型的图像转语言方法
CN113806589B (zh) 视频片段定位方法、装置以及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant