CN110147892B - 基于变分轨迹上下文感知的人类移动模式推测模型、训练方法及推测方法 - Google Patents

基于变分轨迹上下文感知的人类移动模式推测模型、训练方法及推测方法 Download PDF

Info

Publication number
CN110147892B
CN110147892B CN201910443857.3A CN201910443857A CN110147892B CN 110147892 B CN110147892 B CN 110147892B CN 201910443857 A CN201910443857 A CN 201910443857A CN 110147892 B CN110147892 B CN 110147892B
Authority
CN
China
Prior art keywords
track
previous
trajectory
vector
variation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910443857.3A
Other languages
English (en)
Other versions
CN110147892A (zh
Inventor
钟婷
周帆
岳晓丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Publication of CN110147892A publication Critical patent/CN110147892A/zh
Application granted granted Critical
Publication of CN110147892B publication Critical patent/CN110147892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于变分轨迹上下文感知的人类移动模式推测模型、训练方法及推测方法，本发明首先通过循环轨迹编码器和变分轨迹编码器分别获取轨迹语义向量和变分隐变量，再基于变分注意力机制获取轨迹的注意力向量，并将其与变分隐变量进行级联，从而重建解码器的输入数据，最后依据解码器输出语义向量恢复先前轨迹和生成预测轨迹。本发明通过编码器‑解码器的框架解决了轨迹上下文学习的问题，并完成了人类移动模式推测的两个子任务——轨迹恢复和轨迹预测，不仅可以估计概率密度并优化数据可能性的下限，还能够捕获人类移动性的顺序和时间特征，有效地解决了根据轨迹上下文感知进行轨迹推测的问题，为人类移动模式的推测带来效果上的提高。

Description

基于变分轨迹上下文感知的人类移动模式推测模型、训练方 法及推测方法
技术领域
本发明属于机器学习中的深度学习领域，涉及一种基于变分轨迹上下文感知的人类移动模式推测技术，主要利用深度学习对基于地理位置信息的社交网络(Location-Based Social Networks，LBSN)进行大规模轨迹数据的深度挖掘，在轨迹级别进行移动性语义学习来实现端到端的预测，从而提升人类移动模式预测效果。
背景技术
在过去的十年中，人们对基于位置服务的社交网络挖掘人类移动模式的兴趣迅速增长。大量LBSN数据的可用性促进了用户行为和移动模式的研究，例如兴趣点(Point ofInterest，POI)推荐，旅行计划，以及各种隐私保护问题等。
现有的研究大多侧重于在位置或POI级别的序列进行建模，使用较为传统的马尔可夫链，矩阵分解(MF)等方法。以POI推荐为例，使用的方法包括RankGeoFM、DeepMove等。RankGeoFM方法是一种基于排名的MF模型，结合邻近POI的地理影响生成隐式用户位置反馈矩阵，用于解决用户对POI的偏好排名。DeepMove方法是近来提出的一种通过注意力机制学习用户周期模式以预测下一个位置的方法。这些方法均在细粒度的POI级别上运行，并且只是对轨迹数据不同的特征进行组合，例如周期性、各种时间序列度量的相似性等，而并没有着眼于轨迹上下文语义的学习，也没有在轨迹级别获得更佳的推测效果。另外，传统的机器学习方法不适用于较大的数据集，例如Geolife，因此传统的方法无法对这类数据集进行研究，这无疑大大削减了模型的泛化性。
发明内容
本发明的目的旨在解决在现有的语义轨迹挖掘中尚未正式定义的轨迹上下文学习(Trajectory Context Learning,TCL)问题，从而提出了一种根据轨迹的语义维度进行轨迹上下文推测的方法，并使用提出的方法解决人类移动模式预测的问题。由于该方法捕获了更高水平的语义信息，并通过学习轨迹级别的长期短期依赖性，提供了对人类移动模式更全面的解读，从而更加适用于实际应用。
经研究发现，探索和利用与移动相关的抽象主题的轨迹上下文，可以更全面地理解模式的动态。由于轨迹上下文感知学习侧重于在轨迹水平上理解和编码轨迹的语义信息，因此轨迹上下文语义的学习能够更加有效地实现轨迹预测。作为更高水平的移动性语义学习，基于变分轨迹上下文感知进行的编码可以更全面地理解人类移动模式，并且为诸如POI或旅行推荐的下游应用提供额外的益处。
基于上述发明思路，本发明将轨迹推荐当作序列到序列(Seq2Seq)的问题进行处理。对此，本发明采用编码器-解码器(Encoder-Decoder)框架来学习轨迹上下文并进行轨迹推荐，其达到的预测效果要优于传统的机器学习算法。
本发明提供的基于变分轨迹上下文感知的人类移动模式推测模型，其包括：
数据预处理模块，用于获得当前轨迹各轨迹点的嵌入向量；
循环轨迹编码器，用于对输入的当前轨迹嵌入向量进行编码，得到当前轨迹语义向量；
变分轨迹编码器，用于对输入的当前轨迹嵌入向量进行学习，得到变分隐变量；
变分注意力层，用于基于变分注意力机制，依据当前轨迹语义向量获取当前轨的注意力向量，并将注意力向量和变分隐变量进行级联，以此最大化变分下限，从而重建输入数据；
解码器，用于对重建的输入数据进行解码，得到人类移动模式推测轨迹。
上述基于变分轨迹上下文感知的人类移动模式推测模型，既可以实现当前轨迹之前的轨迹恢复，也可以实现当前轨迹之后的轨迹预测，因此人类移动模式推测包括当前轨迹的上一条轨迹恢复和下一条轨迹预测。相应的注意力向量包括上一条轨迹的注意力向量和下一条轨迹的注意力向量；重建输入数据包括上一条轨迹的重建输入数据和下一条轨迹的重建输入数据。
上述基于变分轨迹上下文感知的人类移动模式推测模型，数据预处理模块首先对原始的轨迹数据集进行预处理，得到相关用户的轨迹数据，再将每个用户的每条轨迹转化为token(输入序列口令)表示的整数序列表，并将其向量化，得到每个轨迹点的嵌入向量。对于当前轨迹
Figure GDA0003009115820000021
Figure GDA0003009115820000022
表示第v个轨迹点，N表示轨迹点总数。
上述基于变分轨迹上下文感知的人类移动模式推测模型，循环轨迹编码器用于将输入的当前轨迹嵌入向量编码成当前轨迹的语义向量，该语义向量中包括循环轨迹编码器的隐藏状态。循环轨迹编码器可以采用LSTM、Bi-LSTM或GRU等网络模型。循环编码器的隐藏状态为
Figure GDA0003009115820000031
最后的隐藏状态
Figure GDA0003009115820000032
代表整条轨迹Ti，并由此来更新该循环轨迹网络。为了防止过拟合的发生，本发明在编码器的每一层神经网络增加了Dropout机制。
上述基于变分轨迹上下文感知的人类移动模式推测模型，变分轨迹编码器将输入的当前轨迹嵌入向量编码成满足高斯分布的变分隐变量，用于重建解码器的输入数据。这里的变分轨迹编码器参考变分自编码器(Variational Auto-Encoder，VAE)，其生成模型采用LSTM。
上述基于变分轨迹上下文感知的人类移动模式推测模型，变分注意力层通过加权输入求和方法计算得到当前轨迹的注意力向量，该注意力向量可以反映输入序列中不同元素对当前输出的权重影响(当前的输入的权重越大，说明当前的输出越依赖于当前的输入)。然后将注意力向量和变分隐变量进行级联以重建解码器的输入数据，由于两者同时用于感知和学习轨迹的上下文，从而能够捕获更高水平的语义信息。
上述基于变分轨迹上下文感知的人类移动模式推测模型，解码器用于对重建的输入数据进行解码，并根据解码器输出的语义向量生成一个token序列作为人类移动模式推测轨迹。针对上一条轨迹恢复和下一条轨迹预测分别设置一组解码器，每组解码器均由第一级解码器和第二级解码器构成，第一级解码器用于获得上一条轨迹和下一条轨迹的条件概率，并依据上一条轨迹和下一条轨迹的条件概率得到两者的对数概率，第二级解码器以第一级解码器的输出作为输入，用于细化恢复的上一条轨迹和预测的下一条轨迹。第一级解码器和第二级解码器均可以采用LSTM、Bi-LSTM或GRU等网络模型。
本发明进一步提供了上述基于变分轨迹上下文感知的人类移动模式推测模型的训练方法，通过最大化每个轨迹点输出的概率以获得局部最优解，以使该模型具有较好的泛化性。
本发明提供的基于变分轨迹上下文感知的人类移动模式推测模型的训练方法，包括以下步骤：
S1通过数据预处理模块获得训练集中轨迹各轨迹点的嵌入向量；
S2通过循环轨迹编码器对输入的轨迹嵌入向量进行编码，得到轨迹语义向量；
S3通过变分轨迹编码器对输入的轨迹嵌入向量进行学习，得到轨迹的变分隐变量；
S4基于变分注意力机制，依据轨迹语义向量，通过变分注意力层获取轨迹的注意力向量，将注意力向量和变分隐变量进行级联，以此重建输入数据；
S5，通过解码器对重建的输入数据进行解码，得到恢复的上一条轨迹或/和预测的下一条轨迹及相应的输出概率；
S6，重复步骤S1-S5，最小化变分隐变量的后验分布与真实分布之间的KL散度，并最大化恢复的上一条轨迹或/和预测的下一条轨迹的输出概率，即得到人类移动模式推测模型。
上述步骤S1中，训练集中的轨迹数据由收集的基于研究对象的地理位置信息的轨迹序列数据构成，例如用户的POIs。
上述步骤S4包括以下分步骤：
S41，基于变分注意力机制，按照以下公式计算得到轨迹中不同轨迹点对循环轨迹编码器当前对应输出值的概率分布γtv：
Figure GDA0003009115820000041
式中，
Figure GDA0003009115820000042
表示用于生成上一条或下一条轨迹的第一级解码器的第t个隐藏状态，
Figure GDA0003009115820000043
是循环轨迹编码器的第v个隐藏状态，W为该条轨迹需要学习的参数矩阵，WT即为W的转置。
S42，通过加权输入求和计算得到注意力向量
Figure GDA0003009115820000044
Figure GDA0003009115820000045
S43，将注意力向量c(由
Figure GDA0003009115820000051
简写为c)和变分隐变量z进行级联，以重建第一级解码器的输入数据；其中，对于给定的Ti，其对数概率计算如下：
Figure GDA0003009115820000052
上式是基于c和z均满足条件独立性得出的。式中，
Figure GDA0003009115820000053
表示变分下限，
Figure GDA0003009115820000054
表示log p(Ti|·)对后验分布q(·|Ti)的期望，
Figure GDA0003009115820000055
表示潜在后验分布q(·|Ti)和真实分布p(·)之间的KL散度，ρ、ψ为求解过程中的变量，取值范围均为[0,1]。
上述步骤S5包括以下分步骤：
S51，将与上一条轨迹相关的重建输入数据及与下一条轨迹相关的重建输入数据分别输入到对应第一级解码器中，得到上一条轨迹的输出序列
Figure GDA0003009115820000056
和下一条轨迹的输出序列
Figure GDA0003009115820000057
的概率，Q和M分别代表上一条轨迹和下一条轨迹的轨迹点数，
Figure GDA0003009115820000058
Figure GDA0003009115820000059
其中
Figure GDA00030091158200000510
表示上一条轨迹或下一条轨迹的前t-1个轨迹点，
Figure GDA00030091158200000511
和
Figure GDA00030091158200000512
分别表示上一条轨迹和下一条轨迹的第t个轨迹点的条件概率；
Figure GDA00030091158200000513
Figure GDA00030091158200000514
表示第一级解码器的输出门，
Figure GDA00030091158200000515
表示上一条轨迹或下一条轨迹第(t-1)个轨迹点的嵌入向量，
Figure GDA00030091158200000516
表示第一级解码器的第(t-1)个隐藏状态；
S52，按照以下公式得到上一条轨迹和下一条轨迹的对数概率：
Figure GDA00030091158200000517
S53，第二级解码器与第一级解码器结构相同，并将注意力向量
Figure GDA00030091158200000518
替换为上下文向量
Figure GDA00030091158200000519
式中的
Figure GDA00030091158200000520
其中
Figure GDA00030091158200000521
表示第二级解码器的第u个隐藏状态，
Figure GDA00030091158200000522
表示第一级解码器的第t个隐藏状态；然后重复步骤S51-S52，得到细化后的上一条轨迹和下一条轨迹。
步骤S6中，最大化的概率分布包括上一条轨迹和下一条轨迹的输出序列概率及上一条轨迹和下一条轨迹的对数概率。
由于分别针对上一条轨迹和下一条轨迹的解码器关注的是输入轨迹中与注意力向量相关的不同轨迹点，这里通过最大化上一条轨迹和下一条轨迹的对数概率，在模型训练的每个周期内关注所有的轨迹点，这将有助于轨迹语义的深层挖掘，从而提高推断效果。
本发明基于上述基于变分轨迹上下文感知的人类移动模式推测模型，进一步提供了一种人类移动模式推测方法。将待处理的轨迹作为当前轨迹输入到训练好的人类移动模式推测模型，以满足轨迹长度要求且概率最高的轨迹作为人类移动模式推测轨迹。进一步的，本发明在推测过程中，采用束搜索的方法得到候选轨迹序列，以候选轨迹序列中满足轨迹长度要求且概率最高的轨迹作为恢复的上一条轨迹或/和预测的下一条轨迹。
对于一个给定具有N个轨迹点的轨迹
Figure GDA0003009115820000061
通过轨迹上下文学习尝试分别构建上一条轨迹
Figure GDA0003009115820000062
和下一条轨迹
Figure GDA0003009115820000063
该方法采用两个编码器获取轨迹语义向量，然后通过两级编码器对该上下文向量进行解码，进一步通过束搜索(Beam Search)获取最终的轨迹推荐结果，使得轨迹推荐效果得到进一步提高。在推测过程中，本发明采用束搜索的方法，设定集束宽B，在每个时间步长中，将所有可能的轨迹点(针对待处理轨迹所对应的用户，根据其以往轨迹序列，得到的其所有可能的轨迹点)添加到前一时间步长推测的已有波束(包括B条恢复轨迹波束和B条预测轨迹波束)，然后根据对数概率公式
Figure GDA0003009115820000064
得到相应的对数概率，从而决定丢弃除B条最可能的波束之外的波束(包括B条最可能的恢复轨迹波束和B条最可能的预测轨迹波束)。重复这个过程直到以轨迹终点口令标记的位置或达到预设的最大轨迹长度，将与轨迹终点标记结束的轨迹片段作为候选轨迹序列(即完整假设集)，最终从候选轨迹序列中选择序列概率最高的序列作为预测序列输出，得到恢复的上一条轨迹和预测的下一条轨迹。
综上所述，本发明在编码器-解码器的框架中，引入了变分轨迹编码器和变分注意力层(Variational Attention Layer)，变分轨迹编码器用于重建解码器的输入数据，变分注意力层可以得到输入序列中不同元素对当前输出的权重影响(当前的输入的权重越大，说明当前的输出越依赖于当前的输入)，两者同时用于感知和学习轨迹的上下文，从而能够捕获更高水平的语义信息，提高预测效果。因此对于海量数据而言，本发明提供的方法捕获了更高水平的语义信息，即使没有包含调参等步骤，其在轨迹级别进行预测达到的效果也已然优于传统的机器学习算法。
与现有技术相比，本发明提供的基于变分轨迹上下文感知的人类移动模式推测模型和推测方法具有以下有益效果：
1、本发明首次提出了一种关于轨迹上下文学习的模型，并依据该模型提供了一种编码轨迹语义和推断轨迹上下文的人类移动模式推测方法，将LBSN应用中的TCL问题作为分析人类移动模式的新型学习范例，并为理解用户签到行为提供了崭新的视角。
2、本发明首先通过循环轨迹编码器和变分轨迹编码器分别获取轨迹语义向量和变分隐变量，再基于变分注意力机制获取轨迹的注意力向量，并将其与变分隐变量进行级联，从而重建解码器的输入数据，最后依据解码器输出语义向量恢复先前轨迹和生成预测轨迹，同时解决了轨迹预测和重建问题，且在几个公共LBSN数据集上进行了评估，证明本发明在解决两个子问题方面达到了最先进的性能，且具有较高的预测效率。
3、本发明将注意力向量和变分隐变量进行级联，将两者同时应用于感知和学习轨迹级别的上下文，这种新颖的变分架构不仅能够估计概率密度并优化数据可能性的下限，还能够捕获人类移动性的顺序和时间特征，从而能够捕获更高水平的语义信息，提高预测效果。
4、本发明基于变分轨迹上下文语义进行人类移动模式推测的方法，相比于传统Seq2Seq模型，由于引入了变分注意力机制(即将注意力向量和变分隐变量进行级联)，使得该方法不止依赖于一个固定长度的语义向量，可以有更具针对性的轨迹推测结果。
5、本发明使用了两级解码器，能够更好地保存了语义向量压缩过程中的信息，从而捕获更高水平的语义，显著提高了轨迹推测的准确率。
附图说明
图1为本发明基于变分轨迹上下文感知的人类移动模式推测模型基本框架图。
图2为不同轨迹预测方法在五个Flickr数据集上的性能展示图，其中(a)对应F1评价指标，(b)对应pairs-F1评价指标。
术语解释：
POI是Point-of-Interest的缩写，表示“兴趣点”，在基于位置的社会网络中，一个POI就是用户签到的一个地点。
Encoder-Decoder是一个端到端的算法框架，其主要处理序列到序列的相关问题。Encoder和Decoder部分可以是任意的文字，语音，图像，视频数据，模型可以采用CNN、RNN、LSTM、GRU、Bi-LSTM等。
Attention机制主要用于解决序列化模型总是将输入编码成一个固定长度的向量而损失较多信息以及每个时刻的输出在解码过程中所用上下文向量相同导致解码不准确的问题。注意力模型的基本思想是保留输入句中每个单词的向量，并在每个解码步骤中引用这些向量。
具体实施方式
下面结合附图对本发明给出进一步解释。
实施例
本实施例提供了一种基于变分轨迹上下文感知的人类移动模式推测模型，如图1所示，包括数据预处理模块、循环轨迹编码器、变分轨迹编码器、变分注意力层和解码器。数据预处理模块，用于获得当前轨迹各轨迹点的嵌入向量。循环轨迹编码器，用于对输入的当前轨迹嵌入向量进行编码，得到当前轨迹语义向量。变分轨迹编码器，用于对输入的当前轨迹嵌入向量进行学习，得到满足高斯分布的当前轨迹的变分隐变量。变分注意力层，用于基于变分注意力机制，依据当前轨迹语义向量获取当前轨迹的注意力向量，然后将注意力向量和变分隐变量进行级联，从而用于重建解码器的输入数据，以此得到人类移动模式推测轨迹。解码器由第一级解码器(Dec1)和第二级解码器(Dec2)构成。本实施例中，循环轨迹编码器(Recurrent Trajectory Encoder)采用的是Bi-LSTM(Bi-directional Long Short-Term Memory，双向长短期记忆网络)；变分轨迹编码器参考变分自编码器，其生成模型采用的是LSTM(长短期记忆网络)；第一级解码器和第二级解码器也均采用的是LSTM。为了防止过拟合的发生，编码器的每一层神经网络增加了Dropout机制。
上述基于变分轨迹上下文感知的人类移动模式推测模型，既可以实现当前轨迹之前的轨迹恢复，也可以实现当前轨迹之后的轨迹预测，因此人类移动模式推测包括当前轨迹的上一条轨迹恢复和下一条轨迹预测。相应的注意力向量包括上一条轨迹的注意力向量和下一条轨迹的注意力向量；重建输入数据包括上一条轨迹的重建输入数据和下一条轨迹的重建输入数据。针对上一条轨迹恢复和下一条轨迹预测，该模型分别设置一组解码器，第一级解码器(Dec1)用于获得上一条轨迹和下一条轨迹的条件概率，并依据上一条轨迹和下一条轨迹的条件概率得到两者的对数概率，第二级解码器(Dec2)以第一级解码器的输出作为输入，用于细化恢复的上一条轨迹和预测的下一条轨迹。
上述基于变分轨迹上下文感知的人类移动模式推测模型的训练过程包括以下步骤：
S1通过数据预处理模块获得训练集中轨迹各轨迹点的嵌入向量。
本实施例以由若干POIs构成的轨迹为例，收集足够多的用户及相关用户的POIs数据。数据预处理模块首先对原始的轨迹数据集进行预处理，得到相关用户的轨迹数据，再将每个用户的每条轨迹转化为token(输入序列口令)表示的整数序列表，相关用户的轨迹数据便构成了训练集，数据预处理模块再将待输入循环轨迹编码器的轨迹各轨迹点向量化，得到每个POI的嵌入向量。对于当前轨迹
Figure GDA0003009115820000091
Figure GDA0003009115820000092
表示第v个POI，N表示POIs总数。
以该轨迹作为当前轨迹，对于当前轨迹
Figure GDA0003009115820000093
(
Figure GDA0003009115820000094
表示第v个POI，N表示POIs总数)，通过轨迹上下文学习尝试分别构建上一条轨迹
Figure GDA0003009115820000095
和下一条轨迹
Figure GDA0003009115820000096
Q和M分别是上一条轨迹和下一条轨迹的POIs数。
数据预处理模块将当前轨迹Ti进行向量化得到的第v个POI
Figure GDA0003009115820000097
的嵌入向量为
Figure GDA0003009115820000098
Figure GDA0003009115820000099
其中d是低维空间中的POI嵌入维数。
S2通过循环轨迹编码器对输入的轨迹嵌入向量进行编码，得到轨迹语义向量。
将当前轨迹Ti的嵌入向量输入循环轨迹编码器中，采用Bi-LSTM进行编码，获得包含循环轨迹编码器隐藏状态的语义向量，循环轨迹编码器的隐藏状态表示为
Figure GDA0003009115820000101
其中最后的隐藏状态
Figure GDA0003009115820000102
代表整条轨迹Ti，并由此来更新该LSTM网络。
每一个
Figure GDA0003009115820000103
都与签到时间
Figure GDA0003009115820000104
和地理位置
Figure GDA0003009115820000105
相关联。计算相邻签到之间的时间间隔和距离为
Figure GDA0003009115820000106
和
Figure GDA0003009115820000107
v∈[1,N]，然后添加一个时间门
Figure GDA0003009115820000108
和地理门
Figure GDA0003009115820000109
并将候选门
Figure GDA00030091158200001010
修改为：
Figure GDA00030091158200001011
式中，
Figure GDA00030091158200001012
表示
Figure GDA00030091158200001013
的嵌入向量，
Figure GDA00030091158200001014
表示时间间隔和当前等级时间的串联，
Figure GDA00030091158200001015
分别表示原始LSTM的输入门、遗忘门和输出门，W、W′、Wg、Wt、U、U′表示不同门的参数矩阵，bg、bt表示不同门对应的偏置(bias)。通过时间门和地理门能够捕获用户的时空轨迹偏好，用于控制先前隐藏状态
Figure GDA00030091158200001016
的影响。
对于一些复杂的场景，上下文的相关信息与当前预测位置之间的间隔相当大，RNNs会随着间隔增大而丧失学习长远信息的能力，而LSTM的隐藏状态
Figure GDA00030091158200001017
包含了来自和当前轨迹序列中该轨迹点之前轨迹点和后续轨迹点的信息，相邻点在时间和空间上具有更多的相似性，因此通过这种约束性，能够实现轨迹上下文的学习效率，提高预测效果。此外，循环轨迹编码器的编码过程是一个监督学习的过程。
S3通过变分轨迹编码器对输入的轨迹嵌入向量进行学习，得到轨迹的变分隐变量。
使用变分轨迹编码器将输入的当前轨迹嵌入向量编码成满足高斯分布的变分隐变量z，然后在生成模型下用于重建原始轨迹。对于给定的当前轨迹Ti，其似然函数表示为：
Figure GDA0003009115820000111
其中，
Figure GDA0003009115820000112
表示log pθ(Ti|z)对后验分布qφ(z|Ti)的期望。
Figure GDA0003009115820000113
是学习的潜在后验分布q(z|Ti)和前验p(z)之间的KL散度，其中θ和φ都是用于单独的神经网络(如多层感知器)联合训练的，为简洁起见，将在后续公式中省略参数φ和θ。
由于模型训练的目的之一是最小化所提出的后验分布q(z|Ti)和真实分布p(z|Ti)之间的KL偏差——可以使得变分下限(ELBO)
Figure GDA0003009115820000114
最大化。
S4基于变分注意力机制，依据轨迹语义向量，通过变分注意力层获取轨迹的注意力向量，并将注意力向量和变分隐变量进行级联，通过最大化变分下限来重建输入数据。该步骤目的在于引入基于循环轨迹编码器隐藏状态的变分注意力机制得到轨迹中不同兴趣点对当前输出的权重，通过最大化变分下限来联合变分隐变量重建输入数据。该步骤包括以下分步骤：
S41，基于变分注意力机制，按照以下公式计算得到轨迹中不同轨迹点对循环轨迹编码器当前对应输出值的概率分布γtv：
Figure GDA0003009115820000115
式中，
Figure GDA0003009115820000116
表示用于生成上一条或下一条轨迹的第一级解码器的第t个隐藏状态，
Figure GDA0003009115820000117
是循环轨迹编码器的第v个隐藏状态，W为该条轨迹需要学习的参数矩阵，WT即为W的转置。
S42，通过加权输入求和计算得到注意力向量
Figure GDA0003009115820000118
Figure GDA0003009115820000119
S43，将注意力向量c(由
Figure GDA0003009115820000121
简写为c)和变分隐变量z进行级联，以重建第一级解码器的输入数据；其中，对于给定的Ti，其对数概率计算如下：
Figure GDA0003009115820000122
上式是基于c和z均满足条件独立性得出的。式中，
Figure GDA0003009115820000123
表示变分下限，
Figure GDA0003009115820000124
表示log p(Ti|·)对后验分布q(·|Ti)的期望，
Figure GDA0003009115820000125
表示潜在后验分布q(·|Ti)和真实分布p(·)之间的KL散度，ρ、ψ为求解过程中的变量，取值范围均为[0,1]。
S5，通过解码器对重建的输入数据进行解码，得到恢复的上一条轨迹和预测的下一条轨迹及相应的输出概率。该步骤的目的是通过解码器解码获得轨迹语义向量。为了解码，本实施例分别采用由两个LSTM构成的解码器进行训练用以恢复先前的轨迹Ti-1和预测下一个轨迹Ti+1。该步骤S5包括以下分步骤：
S51，将与上一条轨迹相关的重建输入数据及与下一条轨迹相关的重建输入数据分别输入到对应第一级解码器中，得到上一条轨迹的输出序列
Figure GDA0003009115820000126
和下一条轨迹的输出序列
Figure GDA0003009115820000127
的概率，Q和M分别代表上一条轨迹和下一条轨迹的POIs总数。
以预测下一条轨迹为例，经研究发现，第一级解码器Dec1预测下一条轨迹的第t个POI
Figure GDA0003009115820000128
需要满足以下条件：(1)给定所有的先前预测POIs
Figure GDA0003009115820000129
(2)注意力向量c，(3)变分隐变量z。并设定轨迹序列
Figure GDA00030091158200001210
的概率可以分解为若干条件概率之和，即：
Figure GDA00030091158200001211
其中
Figure GDA00030091158200001212
表示下一条轨迹的前t-1个POIs。由此可见，条件概率
Figure GDA00030091158200001213
依赖于上下文向量c、z和所有的先前预测POIs
Figure GDA00030091158200001214
因此条件概率可以建模为：
Figure GDA00030091158200001215
表示第一级解码器的输出门，
Figure GDA00030091158200001216
表示下一条轨迹第(t-1)个POI的嵌入向量，
Figure GDA00030091158200001217
是第一解码器Dec1的隐藏状态。
待恢复的轨迹也与此类似，轨迹序列Ti-1的概率
Figure GDA0003009115820000131
Figure GDA0003009115820000132
其中
Figure GDA0003009115820000133
表示下一条轨迹的前t-1个轨迹点，
Figure GDA0003009115820000134
表示上一条轨迹的第t个轨迹点的条件概率；
Figure GDA0003009115820000135
表示第一级解码器的输出门，
Figure GDA0003009115820000136
表示上一条轨迹第(t-1)个POI的嵌入向量，
Figure GDA0003009115820000137
表示第一级解码器Dec1的第(t-1)个隐藏状态。
S52，按照以下公式得到上一条轨迹和下一条轨迹的对数概率：
Figure GDA0003009115820000138
S53，第二级解码器与第一级解码器结构相同，并将注意力向量
Figure GDA0003009115820000139
替换为上下文向量
Figure GDA00030091158200001310
式中的
Figure GDA00030091158200001311
其中
Figure GDA00030091158200001312
表示第二级解码器的第u个隐藏状态，
Figure GDA00030091158200001313
表示第一级解码器的第t个隐藏状态，
Figure GDA00030091158200001314
和
Figure GDA00030091158200001315
的获取方式可以参照循环编码器隐藏状态的计算方法，具体见公式组(1)；然后重复步骤S51-S52，得到细化后的上一条轨迹和下一条轨迹。
第二级解码器Dec2在每个时间步长利用第一级解码器Dec1生成的所有POI的信息，除了先前的隐藏状态和之前已经生成的POI之外，Dec2还同时利用了上下文向量
Figure GDA00030091158200001316
来“打磨”所要生成的轨迹。上下文向量
Figure GDA00030091158200001317
是由第一级解码器Dec1的隐藏状态加权和计算而得的。也就是说，在每一个时间步长t，Dec2都更新上下文向量为
Figure GDA00030091158200001318
值得注意的是，在此处采用第二级解码器的原因如下：不论是前一条恢复的轨迹还是后一条预测的轨迹都可能在一定程度上遭遇“myopic”posterior(近视后验)的问题，也就是在时间t之前生成的POI没有被告知序列中的整个之后的序列内容，并不具有前瞻性。这样一来，在时间t之前生成的POI就没有考虑到后面的序列内容对其的影响。故此将第二层解码器添加到第一层解码器以细化最终的预测轨迹。
S6，重复步骤S1-S5，最小化变分隐变量的后验分布与真实分布之间的KL散度，并最大化恢复的上一条轨迹或/和预测的下一条轨迹的输出概率，即得到人类移动模式推测模型。
本实施例通过最大化变分下限来实现最小化变分隐变量的后验分布与真实分布之间的KL散度，这样能够使变分隐变量保存语义向量压缩过程中的信息。
最大化的概率分布包括第一级解码器Dec1/第二级解码器Dec2的输出序列
Figure GDA0003009115820000141
和
Figure GDA0003009115820000142
的概率及上一条轨迹和下一条轨迹的对数概率。由于分别针对上一条轨迹和下一条轨迹的解码器关注的是输入轨迹中与注意力向量相关的不同轨迹点，这里通过最大化上一条轨迹和下一条轨迹的对数概率，在模型训练的每个周期内关注所有的轨迹点，这将有助于捕获更深层的轨迹语义信息，从而提高推测效果。
为了使变分隐变量的后验分布与真实分布之间的KL散度最小化，并使第一级解码器Dec1/第二级解码器Dec2的输出序列的概率及上一条轨迹和下一条轨迹的对数概率最大化，达到较好的迭代效果，本实施例在模型训练过程中采用序列损失函数(sequence_loss)。当损失值过大时，调整模型的学习率等参数，重复步骤S1-S5，当损失值趋于稳定后，模型训练结束。
本实施例基于上述基于变分轨迹上下文感知的人类移动模式推测模型，进一步提供了一种人类移动模式推测方法。本实施例中，以训练集中用户使用到的所有POIs作为其所有可能POIs。将用户待处理轨迹(POIs序列)作为当前轨迹输入到训练好的人类移动模式推测模型，按照上述步骤S1-S5进行操作，以满足轨迹长度要求且概率最高的轨迹作为人类移动模式推测轨迹。本实施例为了快速从所有可能POIs中找到满足要求的POIs并生成一个token序列，在推测过程中，采用束搜索的方法选取若干候选轨迹序列，以满足轨迹长度要求且概率最高的候选轨迹序列作为恢复的上一条轨迹和预测的下一条轨迹。
假设用户所有可能兴趣点数量为D。上一条轨迹和下一条轨迹的搜索过程同步进行，对于第(t′-1)个时间步长，分别得到了B条恢复轨迹波束和B条预测轨迹波束，每条波束中含有(t′-1)个已经预测的POIs。
对于第t′个时间步长，再将D可能POIs分别添加到B条恢复轨迹波束和B条预测轨迹波束，分别产生B×D条恢复轨迹波束和预测轨迹波束。将B×D条恢复轨迹波束中任一条与B×D条预测轨迹波束配对组合，并根据对数概率公式
Figure GDA0003009115820000151
计算得到相应的对数概率，将相应对数概率从大到小排列，取前B个组合，并以前B个组合中的恢复轨迹波束和预测轨迹波束作为第t′个时间步长得到的B条恢复轨迹波束和B条预测轨迹波束。
重复这个过程直到以轨迹终点口令标记的位置或达到预设的最大轨迹长度。在此操作之后，将与轨迹终点标记结束的轨迹片段作为完整假设集(即候选序列)，最终从候选序列中选择序列概率最高的序列作为预测序列输出。
应用例
本应用例采用上述实施例提供的基于变分轨迹上下文感知的人类移动模式推测模型来用于解决两个子任务——轨迹恢复和轨迹预测。
本应用例以表1所示的真实世界的轨迹数据集，如Flickr(可以从https://sites.google.com/site/limkwanhui/获取该数据集)为例进行试验。
表1：基于变分轨迹上下文感知进行人类移动模式推测训练集的相关信息
Figure GDA0003009115820000152
首先，将Flickr数据集中的用户数据按照轨迹序列ID生成轨迹，每一条轨迹都具有时序(按照用户的签到时间先后顺序排列)，对于得到的每个轨迹数据集，随机选取其中的90％作为训练集，剩余部分为测试集。
利用训练集中的数据，按照实施例所给出的模型训练过程S1-S6对人类移动模式推测模型进行训练。训练完成后，按照实施例所给出的基于变分轨迹上下文感知的人类移动模式推测方法操作，使用训练好的模型，在测试集上采用束搜索，最终得到该方法对于人类移动模式推测结果(本实施例中设定上一条轨迹和下一条轨迹的最大轨迹长度均为50，集束宽B＝1)，并分别用F1和pairs-F1两个标准来进行评估。
基于变分轨迹上下文感知的人类移动模式推测方法的效果见表2-5中的CATHI。同时表2-表5中还给出了采用训练集对传统轨迹预测模型(包括Random、POIPopu、POIRank、Markov、MRank、MPath、MPRank等)进行训练，再将测试集数据输入训练好的传统轨迹预测模型进行轨迹恢复和轨迹预测，所得到的测试效果见表2-5所示。
表2：对Flickr数据集进行轨迹恢复的F1得分
Figure GDA0003009115820000161
表3：对Flickr数据集进行轨迹恢复的pairs-F1得分
Figure GDA0003009115820000162
表4：对Flickr数据集进行轨迹预测的F1得分
Figure GDA0003009115820000163
Figure GDA0003009115820000171
表5：对Flickr数据集进行轨迹预测的pairs-F1得分
Figure GDA0003009115820000172
注：±左边和右边的数值分表表示平均值和标准偏差。
Random：一种原始的方法选择具有所需长度的轨迹随机构建。
POIPopu：该方法每次选择最受欢迎的和未访问的POI进行推荐。
POIRank：POIRank首先对具有rankSVM的POI进行排序，然后根据分数排名将它们连接起来推荐轨迹。
Markov和MRank：Markov考虑POI-POI的转移概率，并通过最大化转移可能性来进行个性化行程推荐。而Markov-Rank是一种学习POI排名和马尔可夫过渡的方法。
MPath和MPRank：MarkovPath(MPath)和MarkovPath-Rank(MPRank)是在Markov和MRank方法的基础上，通过使用整数线性程序找到最佳路径来消除Markov和MRank中子轨迹的方法。
ST-RNN：是一种基于RNN的方法，其结合空间和时间特征来预测下一个位置。在进行对比实验过程中，我们对ST-RNN方法进行扩展，通过预测(或重建)POI序列来得到个性化行程推荐的结果。
DeepMove：该方法在最近才被提出，是一种预测下一个位置的方法。其通过注意力机制学习用户周期模式，同时采用循环神经网络学习轨迹顺序模式。
CARA:此新方法解决的是POI推荐问题，在GRU架构下，联合学习与签到信息相关的用户动态偏好和上下文信息进行建模。
值得注意的是，最后三种对比方法(ST-RNN，DeepMove和CARA)并不针对于序列学习。在对比实验中，扩展这三种方法以迭代地预测(或恢复)POI序列来推断轨迹序列——例如，在预测POI
Figure GDA0003009115820000181
之后，将
Figure GDA0003009115820000182
结合到LSTM中以预测
Figure GDA0003009115820000183
等等。
从表2至表5可以看出，使用了本发明基于变分轨迹上下文感知的人类移动模式推测方法的预测效果要全面优于单纯使用传统机器学习方法和深度学习方法的预测效果。
接下来考虑本应用例采用的人类移动模式推测模型中每个组成部分的影响，为此，重新构建了四个模型：CATHI 1-4，CATHI对应本应用例采用的人类移动模式推测模型。CATHI-1模型使用基本的seq2seq模型，编码器采用用于轨迹上下文学习的Bi-LSTM循环轨迹编码器，CATHI-2模型将传统注意力机制纳入到CATHI-1模型，CATHI-3模型进一步将变分轨迹编码器结合到CATHI-2应用的模型，CATHI-4模型将注意力向量和变分隐变量进行级联应用到CATHI-3应用的模型，CATHI对应在CATHI-4增加第二个解码器后得到的模型(对应于本应用例采用的人类移动模式推测模型)。采用训练集中数据对CATHI 1-4模型进行训练，然后再将测试集数据输入训练好的传统轨迹预测模型进行轨迹预测，所得到的测试效果见图2所示。从子任务之一——轨迹预测任务中，可以看到CATHI的每个组成部分都有助于轨迹上下文学习。在各种组成中，确定性注意力是最有影响力的。另外，本方法的变分注意机制在所有比较中都很有效，这证明了变分轨迹编码器可用于增强seq2seq模型，但应将注意力向量视为变量。
由此可知，本发明可以有效地解决根据轨迹上下文感知进行轨迹推测的问题，为人类移动模式的推测带来效果上的提高。该模型将注意力向量和变分轨迹隐变量进行级联，从而同时应用于感知和学习轨迹级别的上下文，捕获了人类移动模式中的顺序和时间特征，有效地解决了根据轨迹上下文感知进行轨迹推测的问题，为人类移动模式的推测带来效果上的提高。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (7)

1.一种基于变分轨迹上下文感知的人类移动模式推测模型，其特征在于人类移动模式推测包括当前轨迹的上一条轨迹恢复和下一条轨迹预测；所述人类移动模式推测模型包括：
数据预处理模块，用于获得当前轨迹各轨迹点的嵌入向量；
循环轨迹编码器，用于对输入的当前轨迹嵌入向量进行编码，得到当前轨迹语义向量；
变分轨迹编码器，用于对输入的当前轨迹嵌入向量进行学习，得到变分隐变量；
变分注意力层，用于基于变分注意力机制，依据当前轨迹语义向量获取当前轨迹的注意力向量，并将注意力向量和变分隐变量进行级联，两者联合来重建解码器的输入数据；注意力向量包括上一条轨迹的注意力向量和下一条轨迹的注意力向量；重建输入数据包括上一条轨迹的重建输入数据和下一条轨迹的重建输入数据；
解码器，用于对重建的输入数据进行解码，得到人类移动模式推测轨迹；针对上一条轨迹恢复和下一条轨迹预测分别设置一组解码器，每组解码器均由第一级解码器和第二级解码器构成，第一级解码器用于获得上一条轨迹和下一条轨迹的条件概率，并依据上一条轨迹和下一条轨迹的条件概率得到两者的对数概率，第二级解码器以第一级解码器的输出作为输入，用于细化恢复的上一条轨迹和预测的下一条轨迹；
上一条轨迹和下一条轨迹的对数概率如下式所示：
Figure FDA0003009115810000011
式中，
Figure FDA0003009115810000012
和
Figure FDA0003009115810000013
分别表示上一条轨迹和下一条轨迹的第t个轨迹点的条件概率；
Figure FDA0003009115810000014
Figure FDA0003009115810000015
表示用于轨迹恢复的一组解码器中第一级解码器的输出门；
Figure FDA0003009115810000016
Figure FDA0003009115810000017
表示用于轨迹预测的一组解码器中第一级解码器的输出门；
Figure FDA0003009115810000018
和
Figure FDA0003009115810000019
分别表示上一条轨迹和下一条轨迹的注意力向量；z表示变分隐变量；
Figure FDA00030091158100000110
和
Figure FDA00030091158100000111
分别表示对应第一级解码器的第(t-1)个隐藏状态。
2.权利要求1求所述基于变分轨迹上下文感知的人类移动模式推测模型的训练方法，其特征在于包括以下步骤：
S1通过数据预处理模块获得训练集中轨迹各轨迹点的嵌入向量；
S2通过循环轨迹编码器对输入的轨迹嵌入向量进行编码，得到轨迹语义向量；
S3通过变分轨迹编码器对输入的轨迹嵌入向量进行学习，得到轨迹的变分隐变量；
S4基于变分注意力机制，依据轨迹语义向量，通过变分注意力层获取轨迹的注意力向量，将注意力向量和变分隐变量进行级联，以此联合二者来重建输入数据；
S5，通过解码器对重建的输入数据进行解码，得到恢复的上一条轨迹或/和预测的下一条轨迹及相应的输出概率；
S6，重复步骤S1-S5，最小化变分隐变量的后验分布与真实分布之间的KL散度，并最大化恢复的上一条轨迹或/和预测的下一条轨迹的输出概率，即得到人类移动模式推测模型。
3.根据权利要求2所述基于变分轨迹上下文感知的人类移动模式推测模型的训练方法，其特征在于步骤S4包括以下分步骤：
S41，基于变分注意力机制，按照以下公式计算得到轨迹中不同轨迹点对循环轨迹编码器当前对应输出值的概率分布γtv：
Figure FDA0003009115810000021
式中，
Figure FDA0003009115810000022
表示用于生成上一条或下一条轨迹的第一级解码器的第t个隐藏状态，
Figure FDA0003009115810000023
是循环轨迹编码器的第v个隐藏状态，W为该条轨迹需要学习的参数矩阵，WT即为W的转置；
S42，通过加权输入求和计算得到注意力向量
Figure FDA0003009115810000024
Figure FDA0003009115810000025
S43，将注意力向量c和变分隐变量z进行级联，以重建第一级解码器的输入数据；其中，对于给定的Ti，其对数概率计算如下：
Figure FDA0003009115810000026
上式是基于c和z均满足条件独立性得出的；式中，
Figure FDA0003009115810000027
表示变分下限，
Figure FDA0003009115810000028
表示logp(Ti|·)对后验分布q(·|Ti)的期望，
Figure FDA0003009115810000029
表示潜在后验分布q(·|Ti)和真实分布p(·)之间的KL散度，ρ、ψ为求解过程中的变量，取值范围均为[0,1]。
4.根据权利要求3所述基于变分轨迹上下文感知的人类移动模式推测模型的训练方法，其特征在于步骤S5包括以下分步骤：
S51，将与上一条轨迹相关的重建输入数据及与下一条轨迹相关的重建输入数据分别输入到对应第一级解码器中，得到上一条轨迹的输出序列
Figure FDA0003009115810000031
的和下一条轨迹的输出序列
Figure FDA0003009115810000032
的概率，Q和M分别代表上一条轨迹和下一条轨迹的轨迹点数，
Figure FDA0003009115810000033
Figure FDA0003009115810000034
其中
Figure FDA0003009115810000035
表示上一条轨迹或下一条轨迹的前t-1个轨迹点，
Figure FDA0003009115810000036
和
Figure FDA0003009115810000037
分别表示上一条轨迹和下一条轨迹的第t个轨迹点的条件概率；
Figure FDA0003009115810000038
Figure FDA0003009115810000039
表示第一级解码器的输出门，
Figure FDA00030091158100000310
表示上一条轨迹或下一条轨迹第(t-1)个轨迹点的嵌入向量，
Figure FDA00030091158100000311
表示第一级解码器的第(t-1)个隐藏状态；
S52，按照以下公式得到上一条轨迹和下一条轨迹的对数概率：
Figure FDA00030091158100000312
S53，第二级解码器与第一级解码器结构相同，并将注意力向量
Figure FDA00030091158100000313
替换为上下文向量
Figure FDA00030091158100000314
Figure FDA00030091158100000315
式中的
Figure FDA00030091158100000316
其中
Figure FDA00030091158100000317
表示第二级解码器的第u个隐藏状态，
Figure FDA00030091158100000318
表示第一级解码器的第t个隐藏状态；然后重复步骤S51-S52，得到细化后的上一条轨迹和下一条轨迹。
5.根据权利要求4所述基于变分轨迹上下文感知的人类移动模式推测模型的训练方法，其特征在于步骤S6中，最大化的概率分布包括上一条轨迹和下一条轨迹的输出序列概率及上一条轨迹和下一条轨迹的对数概率。
6.一种基于变分轨迹上下文感知的人类移动模式推测方法，其特征在于将待处理的轨迹作为当前轨迹输入到权利要求1所述人类移动模式推测模型，以满足轨迹长度要求且概率最高的轨迹作为恢复的上一条轨迹和预测的下一条轨迹。
7.根据权利要求6所述基于变分轨迹上下文感知的人类移动模式推测方法，其特征在于在推测过程中，采用束搜索的方法得到若干候选轨迹序列，以候选轨迹序列中满足轨迹长度要求且概率最高的轨迹作为恢复的上一条轨迹和预测的下一条轨迹。
CN201910443857.3A 2019-02-20 2019-05-27 基于变分轨迹上下文感知的人类移动模式推测模型、训练方法及推测方法 Active CN110147892B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910135721 2019-02-20
CN2019101357216 2019-02-20

Publications (2)

Publication Number Publication Date
CN110147892A CN110147892A (zh) 2019-08-20
CN110147892B true CN110147892B (zh) 2021-05-25

Family

ID=67593206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910443857.3A Active CN110147892B (zh) 2019-02-20 2019-05-27 基于变分轨迹上下文感知的人类移动模式推测模型、训练方法及推测方法

Country Status (1)

Country Link
CN (1) CN110147892B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021051224A1 (en) * 2019-09-16 2021-03-25 Intel Corporation Stochastic trajectory prediction using social graph networks
CN110737952A (zh) * 2019-09-17 2020-01-31 太原理工大学 一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法
CN110826698A (zh) * 2019-11-04 2020-02-21 电子科技大学 一种通过上下文相关的图嵌入表示人群移动模式的方法
CN110928993B (zh) * 2019-11-26 2023-06-30 重庆邮电大学 基于深度循环神经网络的用户位置预测方法及系统
CN111310583B (zh) * 2020-01-19 2023-02-10 中国科学院重庆绿色智能技术研究院 一种基于改进的长短期记忆网络的车辆异常行为识别方法
CN111552881B (zh) * 2020-05-09 2024-01-30 苏州市职业大学 基于分层变分注意力的序列推荐方法
CN112231582B (zh) * 2020-11-10 2023-11-21 南京大学 一种基于变分自编码数据融合的网站推荐方法和设备
CN112634328B (zh) * 2020-12-24 2022-11-08 电子科技大学长三角研究院(衢州) 基于自定中心星状图和注意力机制预测行人轨迹的方法
CN112650949B (zh) * 2020-12-31 2023-12-29 东北大学 基于多源特征融合协同过滤的区域poi需求识别方法
CN112784163B (zh) * 2021-01-29 2023-08-11 东北财经大学 基于RS24的个性化POIs推荐方法
CN112949628B (zh) * 2021-02-07 2023-04-18 中国科学院计算技术研究所 一种基于嵌入-混合的轨迹数据增强及轨迹识别方法
CN112817943B (zh) * 2021-02-26 2023-05-30 上海海事大学 一种基于航位推测法的多阈值船舶轨迹简化方法
CN113111581B (zh) * 2021-04-09 2022-03-11 重庆邮电大学 结合时空因素和基于图神经网络的lstm轨迹预测方法
CN113269114B (zh) * 2021-06-04 2024-02-02 北京易航远智科技有限公司 一种基于多隐变量预测器及关键点的行人轨迹预测方法
CN113642709B (zh) * 2021-08-16 2023-11-10 扬州大学 一种基于自编码器的数据重建方法
CN114328791B (zh) * 2021-12-30 2023-01-06 重庆大学 一种基于深度学习的地图匹配算法
CN114880586A (zh) * 2022-06-07 2022-08-09 电子科技大学 一种通过移动性上下文感知基于对抗的社交圈推理方法
CN116484953B (zh) * 2023-06-21 2023-09-12 南方科技大学 一种出行目的推断方法及终端

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7027655B2 (en) * 2001-03-29 2006-04-11 Electronics For Imaging, Inc. Digital image compression with spatially varying quality levels determined by identifying areas of interest
US20090312985A1 (en) * 2008-06-12 2009-12-17 Eliazar Austin I D Multiple hypothesis tracking
CN108564129B (zh) * 2018-04-24 2020-09-08 电子科技大学 一种基于生成对抗网络的轨迹数据分类方法
CN108984524A (zh) * 2018-07-05 2018-12-11 北京理工大学 一种基于变分神经网络主题模型的标题生成方法
CN109086869B (zh) * 2018-07-16 2021-08-10 北京理工大学 一种基于注意力机制的人体动作预测方法

Also Published As

Publication number Publication date
CN110147892A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN110147892B (zh) 基于变分轨迹上下文感知的人类移动模式推测模型、训练方法及推测方法
Zhu et al. Causal discovery with reinforcement learning
US11537898B2 (en) Generative structure-property inverse computational co-design of materials
CN110619430B (zh) 一种用于交通预测的时空注意力机制方法
Faez et al. Deep graph generators: A survey
CN110826698A (zh) 一种通过上下文相关的图嵌入表示人群移动模式的方法
CN111461455B (zh) 一种基于关联周期注意力机制的行为预测方法
Mohamed et al. HAR-GCNN: Deep graph CNNs for human activity recognition from highly unlabeled mobile sensor data
Hanna et al. On distributed quantization for classification
CN110990678B (zh) 基于增强型循环神经网络的轨迹相似性计算方法
CN115186147B (zh) 对话内容的生成方法及装置、存储介质、终端
CN114038516B (zh) 一种基于变分自编码器的分子生成与优化方法
Xu et al. Human motion prediction via pattern completion in latent representation space
CN113688204B (zh) 一种利用相似场景及混合注意力的多人会话情感预测方法
Sun et al. Tcsa-net: a temporal-context-based self-attention network for next location prediction
CN116611442A (zh) 一种基于深度语义提取的兴趣点推荐方法
Christoforidis et al. Recommending points of interest in LBSNs using deep learning techniques
CN113761395A (zh) 轨迹生成模型训练方法、轨迹生成方法及装置
CN115618124A (zh) 双向社会影响学习的传播流行度预测方法
Fan et al. Adaptive correlated Monte Carlo for contextual categorical sequence generation
CN112182162A (zh) 一种基于记忆神经网络的个性化对话方法和系统
CN114328791B (zh) 一种基于深度学习的地图匹配算法
Potapov et al. Differences between Kolmogorov complexity and Solomonoff probability: consequences for AGI
Zhang et al. Next point-of-interest recommendation for cold-start users with spatial-temporal meta-learning
Nguyen Automatic Text Generation Using Supervised Pre-training and Reinforcement Learning Based Adaptation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant