CN112966193A

CN112966193A - 出行意图推断方法、模型训练方法、相关装置及电子设备

Info

Publication number: CN112966193A
Application number: CN202110247359.9A
Authority: CN
Inventors: 路新江; 辛浩然; 窦德景
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2021-03-05
Filing date: 2021-03-05
Publication date: 2021-06-15
Anticipated expiration: 2041-03-05
Also published as: CN112966193B

Abstract

本申请公开了出行意图推断方法、模型训练方法、相关装置及电子设备，涉及深度学习技术领域。具体实现方案为：在确定目标对象关联第一空间位置的情况下，获取所述目标对象在第二空间位置的信息点的历史位置序列，所述第一空间位置为相对于所述第二空间位置的异地空间位置；基于神经网络主题模型生成异地空间位置的K个出行意图的第一权重分布，K为正整数；基于所述历史位置序列和第一权重分布，确定所述目标对象在所述第一空间位置的K个出行意图的第二权重分布。根据本申请的技术，解决了异地出行意图的推断问题，实现了异地出行时的意图推断。

Description

出行意图推断方法、模型训练方法、相关装置及电子设备

技术领域

本申请涉及人工智能技术领域，尤其涉及深度学习技术领域，具体涉及一种出行意图推断方法、模型训练方法、相关装置及电子设备。

背景技术

异地出行行为是一种典型的冷启动预测问题，即用户的历史偏好更多的是基于其在本地的签到行为，而对于在异地的倾向或者偏好，无法直接从本地到访历史信息中挖掘知识并应用于异地出行的目的地，因此，如何有效推断异地出行意图，对于有效预测其在目的地的到访行为就变得尤为重要。

目前，针对异地出行预测或推荐问题，通常是由用户输入到访异地的目的地和出行意图，再基于用户输入的信息进行异地出行的预测或推荐。

发明内容

本公开提供了一种出行意图推断方法、模型训练方法、相关装置及电子设备。

根据本公开的第一方面，提供了一种出行意图推断方法，包括：

在确定目标对象关联第一空间位置的情况下，获取所述目标对象在第二空间位置的信息点的历史位置序列，所述第一空间位置为相对于所述第二空间位置的异地空间位置；

基于神经网络主题模型生成异地空间位置的K个出行意图的第一权重分布，K为正整数；

基于所述历史位置序列和第一权重分布，确定所述目标对象在所述第一空间位置的K个出行意图的第二权重分布。

根据本公开的第二方面，提供了一种模型训练方法，包括：

获取训练对象在异地空间位置的信息点的位置序列；

基于所述位置序列，采用神经网络主题模型利用隐变量的预设权重分布，确定所述位置序列对应的向量信息；并基于所述向量信息，确定所述隐变量的第三权重分布，所述隐变量为表征所述训练对象在所述异地空间位置的K个出行意图的变量，K为正整数；

确定所述预设权重分布与所述第三权重分布的损失信息；

基于所述损失信息更新所述神经网络主题模型的参数，以得到用于生成异地空间位置的K个出行意图的第一权重分布的神经网络主题模型。

根据本公开的第三方面，提供了一种出行意图推断装置，包括：

第一获取模块，用于在确定目标对象关联第一空间位置的情况下，获取所述目标对象在第二空间位置的信息点的历史位置序列，所述第一空间位置为相对于所述第二空间位置的异地空间位置；

生成模块，用于基于神经网络主题模型生成异地空间位置的K个出行意图的第一权重分布，K为正整数；

第一确定模块，用于基于所述历史位置序列和第一权重分布，确定所述目标对象在所述第一空间位置的K个出行意图的第二权重分布。

根据本公开的第四方面，提供了一种模型训练装置，包括：

第二获取模块，用于获取训练对象在异地空间位置的信息点的位置序列；

第二确定模块，用于基于所述位置序列，采用神经网络主题模型利用隐变量的预设权重分布，确定所述位置序列对应的向量信息；并基于所述向量信息，确定所述隐变量的第三权重分布，所述隐变量为表征所述训练对象在所述异地空间位置的K个出行意图的变量，K为正整数；

第三确定模块，用于确定所述预设权重分布与所述第三权重分布的损失信息；

更新模块，用于基于所述损失信息更新所述神经网络主题模型的参数，以得到用于生成异地空间位置的K个出行意图的第一权重分布的神经网络主题模型。

根据本公开的第五方面，提供了一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面中的任一项方法，或者执行第二方面中的任一项方法。

根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行第一方面中的任一项方法，或者执行第二方面中的任一项方法。

根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面中的任一项方法，或者实现第二方面中的任一项方法。

根据本申请的技术解决了异地出行意图的推断问题，实现了异地出行时的意图推断。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请第一实施例的出行意图推断方法的流程示意图；

图2是根据本申请第二实施例的模型训练方法的流程示意图；

图3是本申请实施例中用于实现出行意图推断方法的框架示意图；

图4是应用账号签到的信息点对应的向量的可视化示意图；

图5是各应用账号的个性化出行意图在通用出行意图上的权重分别进行可视化示意图；

图6是根据本申请第三实施例的出行意图推断装置的结构示意图；

图7是根据本申请第四实施例的模型训练装置的结构示意图；

图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

第一实施例

如图1所示，本申请提供一种出行意图推断方法，包括如下步骤：

步骤S101：在确定目标对象关联第一空间位置的情况下，获取所述目标对象在第二空间位置的信息点的历史位置序列，所述第一空间位置为相对于所述第二空间位置的异地空间位置。

本实施例中，出行意图推断方法涉及人工智能技术，具体涉及深度学习技术领域，其可以广泛应用于异地出行的预测或推荐场景中。该方法可以由本申请实施例的出行意图推断装置执行。而出行意图推断装置可以配置在任意电子设备中，以执行本申请实施例的出行意图推断方法，该电子设备可以服务器，也可以为终端，这里不做具体限定。

所述目标对象可以为应用过程中的应用账号，该应用账号在应用过程中可以关联一个空间位置，且该应用账号关联的空间位置基于出行意图推断装置所处的空间位置确定。

空间位置指的是具有一定几何空间的位置，该空间位置的几何空间可大可小，比如，可以为一个国家，一个市级行政区域，或者一个县级行政区域等。

所述目标对象可以关联一个默认的空间位置即第二空间位置，该第二空间位置可以称之为所述目标对象关联的居住空间位置即出行意图推断装置长期所在的空间位置。所述第二空间位置可以由用户设置得到，也可以监测得到。

在出行意图推断装置所处的环境即所在的空间位置发生变化时，所述目标对象关联的空间位置会发生变化，此时，所述目标对象可以关联第一空间位置，所述第一空间位置可以为相对于所述第二空间位置的异地空间位置。

比如，所述目标对象关联的第二空间位置为北京，当用户移动且出行意图推断装置所在的空间位置发生变化时，变化至第一空间位置为上海，则可以确定出行意图推断装置处于异地。

确定目标对象关联第一空间位置的方式可以有多种，比如，可以进行定位监测目标对象关联的空间位置，根据监测到的空间位置确定所述目标对象是否处于异地空间位置，又比如，可以在接收到用户处于异地空间位置的确定操作的情况下，确定所述目标对象处于异地空间位置。

出行意图推断装置在确定目标对象关联第一空间位置的情况下，可以获取所述目标对象在第二空间位置的信息点(也可以称之为兴趣点)的历史位置序列。其中，所述历史位置序列可以为所述目标对象关联的本地签到行为对应的位置所构成的序列，该历史位置序列可以为按照签到时间的先后顺序，将所述目标对象关联的本地历史签到行为对应的位置进行排序的序列。

比如，目标对象关联的第二空间位置即本地为h，目标对象关联的第一空间位置即异地为o，在确定目标对象处于异地o的情况下，获取所述目标对象在本地的全体兴趣点的集合以及这些兴趣点的历史位置序列，记为

比如，历史位置序列为[景点A，景点B，艺术馆，购物中心A]。

步骤S102：基于神经网络主题模型生成异地空间位置的K个出行意图的第一权重分布。

其中，K为正整数。

该步骤中，出行意图可以为异地出行意图，表征所述目标对象对应的用户在异地的目的，比如旅游、出差、探亲、就医等。本申请实施例的目的即在于推断目标对象在这些异地出行意图的概率分布，以用于预测或推荐场景中。

推断过程中，在确定目标对象在异地的情况下，可以触发已经训练好的神经网络主题模型(Neural Topic Model，NTM)，将所述目标对象的异地出行意图作为隐变量，输出所述隐变量的K个隐式主题的概率分布，这K个隐式主题的概率分布即为所述目标对象在异地空间位置的K个异地出行意图的第一权重分布。

其中，所述K个异地出行意图的类型和数量可以预先设定，比如，可以设定4个异地出行意图，其类型分别为旅游、出差、探亲和就医。相应的，可以设定包括4个隐式主题的隐变量。

所述第一权重分布为应用中各对象通用的异地出行意图的表征。比如，各对象通用的异地出行意图为旅游占比60％，出差占比30％，探亲占比5％，而就医占比5％。

所述神经网络主题模型在使用之前通常需要预先训练，所述神经网络主题模型在训练过程中用于将对象在异地的位置序列中位置当作一个词袋，且将所述目标对象的异地出行意图作为隐变量，来进行词袋的隐式主题关联，从而确定异地空间位置的K个异地出行意图的第一权重分布，该第一权重分布即为可以准确表征对象通用的异地出行意图的表征，具体训练过程将在以下实施例中进行详细说明。

步骤S103：基于所述历史位置序列和第一权重分布，确定所述目标对象在所述第一空间位置的K个出行意图的第二权重分布。

该步骤中，所述第二权重分布可以为在通用的异地出行意图的表征的基础上，针对所述目标对象的个性化的异地出行意图的表征，其充分考虑了所述目标对象的本地签到偏好。

比如，各对象通用的异地出行意图为旅游占比60％，出差占比30％，探亲占比5％，而就医占比5％，而目标对象在本地签到的位置通常为旅游景点的位置，则可以确定所述目标对象本地签到偏好为旅游景点，相应可以提高旅游占比，如第二权重分布中旅游占比为80％，而其他类型的异地出行意图的占比相应降低。

可以基于所述历史位置序列，来确定所述目标对象在本地的签到偏好，基于所述目标对象在本地的签到偏好，确定所述目标对象关于所述K个出行意图的权重信息。

将所述权重信息与所述第一权重分布进行加权和，得到所述目标对象在所述第一空间位置的K个出行意图的第二权重分布。

本实施例中，通过在确定目标对象关联第一空间位置的情况下，获取所述目标对象在第二空间位置的信息点的历史位置序列；基于神经网络主题模型生成异地空间位置的K个出行意图的第一权重分布；并基于所述历史位置序列和第一权重分布，确定所述目标对象在所述第一空间位置的K个出行意图的第二权重分布，如此，可以实现异地出行时的意图推断。

并且，在异地出行意图的推断过程中，对数据质量的依赖程度不高，且利用最先进的深度学习方法可以表征深层次信息，使得学习到的通用出行意图更具有泛化性，在不需要额外的文本信息做监督的前提下，使得该方法能更好地保护用户隐私。

可选的，所述步骤S103具体包括：

基于所述历史位置序列，按照所述目标对象在所述第二空间位置的信息点的时间顺序生成有向图，所述有向图的节点为所述历史位置序列中所述目标对象在所述第二空间位置的信息点的位置；

将所述有向图输入至图神经网络进行向量表征操作，得到所述有向图中每个节点的向量；

基于所述有向图中节点的向量和所述第一权重分布，确定所述目标对象在所述第一空间位置的K个出行意图的第二权重分布。

本实施方式中，所述目标对象在本地签到行为可以作为个性化的偏好知识进行挖掘，在挖掘过程中，可以采用图神经网络对所述历史位置序列中位置进行向量表征操作，生成所述历史位置序列对应的向量信息。

具体的，可以基于所述历史位置序列，按照所述目标对象在本地的信息点的时间顺序生成有向图，所述有向图的节点为所述历史位置序列中所述目标对象在本地的信息点的位置。

比如，历史位置序列记为

基于该历史位置序列可以构建有向图，有向图用

表示，

其中，

表示节点集合，代表本地的签到记录，

表示边集合，相邻两次签到形成一条有向边：

如基于历史位置序列构建的有向图可以表示为

表明目标对象在本地具有签到行为的兴趣点，按照签到时间的先后顺序分别为兴趣点1、兴趣点2、兴趣点1、兴趣点3、兴趣点4。

将构建的有向图中所有节点均赋予一个d维嵌入向量，并将这些嵌入向量作为图神经网络如门控图神经网络的输入，得到所述有向图中每个节点的向量，通过节点的向量即可以表征出历史位置序列中该节点对应的位置信息。其中，d可以为正整数，且通常d的数值越大，其表征的信息越准确。

之后，可以利用注意力机制将所述有向图中节点的向量和所述第一权重分布进行聚合，即将所述目标对象在本地的签到偏好与表征异地出行意图的信息进行聚合，以得到所述目标对象在异地的K个出行意图的第二权重分布。

本实施方式中，通过基于历史位置序列构建有向图，并将有向图输入至图神经网络进行历史位置序列中位置的向量表征，以得到所述目标对象在本地的签到偏好，之后将所述目标对象在本地的签到偏好与通用的异地出行意图的表征信息进行聚合，从而可以得到所述目标对象在异地的个性化出行意图的表征。

可选的，所述基于所述有向图中节点的向量和所述第一权重分布，确定所述目标对象在所述第一空间位置的K个出行意图的第二权重分布，包括：

基于所述有向图中节点的向量，采用注意力机制确定所述历史位置序列对应的向量信息；

基于所述历史位置序列对应的向量信息和所述第一权重分布，采用注意力机制确定所述目标对象关于所述K个出行意图的权重信息，并基于所述权重信息和所述第一权重分布，确定所述目标对象在所述第一空间位置的K个出行意图的第二权重分布。

本实施方式中，可以利用注意力机制，对所述目标对象的本地签到行为进行聚合，得到所述历史位置序列对应的向量信息，该向量信息即为所述目标对象的本地偏好表征信息，用u^h表示，其中，

之后，采用注意力机制将通用的异地出行意图的表征信息即第一权重分布与本地偏好表征信息进行结合，得到所述目标对象在异地的K个出行意图的表征信息即所述第二权重分布。

具体的，通用的异地出行意图的表征信息用T＝(t₁,t₂,...,t_K)^T，其中，

每个分量为一个出行意图的表征，采用注意力机制确定所述目标对象关于所述K个出行意图的权重信息，用下式(1)表示：

其中，β_i为所述目标对象关于第i个出行意图的权重，

为训练参数。

将所述权重信息和所述第一权重分布进行加权和，得到所述目标对象在所述第一空间位置的K个出行意图的第二权重分布，用下式(2)表示：

其中，u^(int)即为所述目标对象在异地的K个出行意图的表征信息，表征的是所述目标对象在异地的K个出行意图的第二权重分布。

本实施方式中，通过基于所述目标对象在本地签到的历史位置序列，采用注意力机制确定所述目标对象在本地的签到偏好，并采用注意力机制将所述目标对象在本地的签到偏好表征信息与通用的异地出行意图的表征信息进行结合，从而可以得到所述目标对象在异地的K个出行意图的个性化表征信息。

第二实施例

如图2所示，本申请提供一种模型训练方法200，包括：

步骤S201：获取训练对象在异地空间位置的信息点的位置序列；

步骤S202：基于所述位置序列，采用神经网络主题模型利用隐变量的预设权重分布，确定所述位置序列对应的向量信息；并基于所述向量信息，确定所述隐变量的第三权重分布，所述隐变量为表征所述训练对象在所述异地空间位置的K个出行意图的变量，K为正整数；

步骤S203：确定所述预设权重分布与所述第三权重分布的损失信息；

步骤S204：基于所述损失信息更新所述神经网络主题模型的参数，以得到用于生成异地空间位置的K个出行意图的第一权重分布的神经网络主题模型。

本实施例主要描述的是实现出行意图推断方法中模型的训练过程，为了实现出行意图推断方法，其需要训练多个模型，包括神经网络主题模型和图神经网络。

在训练过程中，可以首先获取训练样本数据，其中，训练样本数据包括训练对象在异地空间位置的信息点的位置序列，训练对象指的是应用过程中的一至多个应用账号，而训练对象在异地空间位置的信息点的位置序列用于对神经网络主题模型进行训练。

所述位置序列可以按照训练对象在异地签到的时间先后顺序，对签到的信息点的位置进行排列的序列，因此，可以获取各个训练对象在异地签到的信息点的位置，按照时间先后顺序排序后即可得到训练对象在异地空间位置的信息点的位置序列。

训练样本数据中还可以包括所述训练对象在本地签到的信息点的位置序列，基于所述训练对象在本地签到的信息点的位置序列用于对图神经网络进行训练。

之后，可以基于训练样本数据进行模型训练。具体的，参见图3，图3是本申请实施例中用于实现出行意图推断方法的框架示意图，如图3所示，该框架中包括神经网络主题模型和图神经网络，该图神经网络可以为门控图神经网络。

如图3所示，在训练过程中，首先，可以将每个训练对象在异地签到的位置序列以词袋的向量形式进行表示，并嵌入至神经网络主题模型。即，已知训练对象u的居住地为h，异地出行目的地为o，在异地的全体信息点集合记为ν^o，集合ν^o的大小记为|ν^o|，进而根据训练对象u在异地o的签到的信息点的位置序列，可以生成一个长度为|ν^o|的向量，该向量中的元素表示训练对象对应用户到访了在异地o的哪些信息点，以及到访这些信息点的次数(当次数为零，则表示用户没有到访相应的信息点)，将该向量记为

可以假设用户的异地签到行为都由一个隐式的主题分布

来生成，其中，K表示隐式主题的个数。Θ可以看成是训练对象内在的异地出行意图的抽象表达，

针对Θ中的第i个隐式主题，可以采用一个d维的嵌入向量进行表征，记为

其中，t_i即为第i个出行意图的表征。

可以对每一异地信息点的位置都采用一个额外的d维嵌入向量来表征，那么，对于信息点集合ν^o，可以得到一个异地信息点集合中每个信息点的位置的向量所构成的向量信息，该向量信息即为一个表征矩阵，可以用

表示。同时，该表征矩阵可以看作是信息点集合在d维隐空间上的一个分布，因此，第i个通用出行意图在异地信息点集合上的分布可以由下式(3)给出：

Φ_i＝softmax(Et_i) (3)

其中，

这样，即可以得到所有出行意图关于异地信息点集合的分布，可以记为Φ＝(Φ₁,Φ₂,...,Φ_K)^T。

另假设，出行意图分布Θ可以由高斯回归结构(Gaussian SoftmaxConstruction)生成，则前述向量

的生成过程可以通过如下步骤进行：

a)通过标准高斯分布(Gaussian Distribution)生成一个隐变量z，该隐变量的预设概率分布即预设权重分布为

b)利用全连接层F_Θ生成出行意图分布Θ，用Θ＝softmax(F_Θ(z))表示；

c)生成所述位置序列对应的向量信息

中的第i信息点的向量ν_i，用ν_i～Φ^TΘ表示。

由于隐变量z服从高斯分布，即

因此，在确定所述位置序列对应的向量信息

的情况下，可以基于所述向量信息确定所述隐变量z的第三权重分布，即隐变量的后验分布，用

表示。其中，μ和σ²是先验参数，由观测的向量信息来确定，用下式(4)和(5)确定：

其中，F_u和F_δ是两个多层感知机(Multi-layer Perceptrons，MLP)，F_enc是编码器层，并以词袋形式化的异地签到信息点的位置序列作为输入。

根据变分推断，需要最大化变分下界，因此，通用出行意图推断的损失函数定义用下式(6)表示：

其中，

为KL散度，

表示训练对象的集合。

基于上述损失函数所确定的损失信息，可以更新所述神经网络主题模型的参数，在损失信息达到最小或达到收敛的情况下，该神经网络主题模型训练完成，训练完成的神经网络主题模型既可以用于生成异地空间位置的K个出行意图的第一权重分布。

本实施例中，通过将训练对象的异地签到行为进行抽象，形式化为词袋，并利用神经主题网络模型，在不借助任何文本信息的前提下，通过端到端的学习方式，可以得到数据驱动的通用出行意图表征。

进一步的，如图3所示，可以基于所述训练对象在本地签到的信息点的位置序列，对门控图神经网络进行训练，其训练过程与上述门控图神经网络在进行出行意图推断的使用过程类似，仅不同的是可以设定一个优化目标，并基于设定的优化目标更新门控图神经网络的参数，使得门控图神经网络对本地签到的信息点的位置序列中位置的向量表征能力得到提高。

可选的，所述基于所述位置序列，采用神经网络主题模型利用隐变量的预设权重分布，确定所述位置序列对应的向量信息，包括：

将所述位置序列中每个位置作为词袋输入至神经网络主题模型进行主题关联，以利用隐变量的预设权重分布，确定所述位置序列对应的向量信息；

所述神经网络主题模型用于：基于隐变量的预设权重分布确定所述隐变量的K个隐式主题的向量信息，所述隐变量为表征所述K个出行意图的变量，一个隐式主题对应一种出行意图；基于所述K个隐式主题的向量信息和所述位置序列对应的初始向量信息，确定所述位置序列对应的向量信息，所述K个隐式主题的向量信息用于表征所述K个出行意图的权重分布。

本实施方式中，可以将每个训练对象在异地签到的位置序列以词袋的向量形式进行表示，并嵌入至神经网络主题模型进行主题关联，即确定异地签到的信息点的位置序列中位置属于哪个隐式主题，其目的是确定通用的异地出行意图的分布。在进行主题关联过程中，可以利用隐变量的预设权重分布，确定所述位置序列对应的向量信息，即通过向量形式来表征训练对象在异地签到的位置序列。

具体的，可以基于隐变量的预设权重分布，利用全连接层F_Θ生成出行意图分布Θ，针对每个隐式主题，可以嵌入一个d维向量进行表征，得到所述隐变量的K个隐式主题的向量信息，为T＝(t₁,t₂，…,t_K)^T。之后，基于所述K个隐式主题的向量信息和所述位置序列对应的初始向量信息，确定所述位置序列对应的向量信息，用上式(3)表示。其中，E可以表示所述位置序列对应的初始向量信息，即基于所述位置序列嵌入神经网络主题模型的初始向量信息。

本实施方式中，通过基于隐变量的预设权重分布确定所述隐变量的K个隐式主题的向量信息，基于所述K个隐式主题的向量信息和所述位置序列对应的初始向量信息，确定所述位置序列对应的向量信息。如此，可以实现对位置序列中位置进行向量表征。

可选的，所述基于所述K个隐式主题的向量信息和所述位置序列对应的初始向量信息，确定所述位置序列对应的向量信息，包括：

基于所述K个隐式主题的向量信息和所述位置序列对应的初始向量信息，确定所述训练对象在所述异地空间位置的信息点针对所述K个出行意图中每个出行意图的第四权重分布；

基于所述第四权重分布和所述K个隐式主题的向量信息，确定所述位置序列对应的向量信息。

本实施方式中，可以基于所述K个隐式主题的向量信息和所述位置序列对应的初始向量信息，采用上式(3)确定所述训练对象在所述异地空间位置的信息点针对所述K个出行意图中每个出行意图中每个出行意图的第四权重分布，即所有出行意图关于异地信息点集合的分布。

在更新神经网络主题模型的参数之后，所述位置序列对应的向量信息和所述K个隐式主题的向量信息即第四权重分布也相应更新，可以基于更新的所述位置序列对应的向量信息和所述K个隐式主题的向量信息，基于上式(3)更新所有出行意图关于异地信息点集合的分布，使得所述位置序列的向量表征越来越准确，具体表现在功能相近的信息点(即类别信息在语义上接近)，其向量的表征也比较相似。

可选的，所述基于所述向量信息，确定所述隐变量的第三权重分布，包括：

基于所述向量信息，确定用于表征所述隐变量的权重分布的先验参数；

基于所述先验参数，确定所述隐变量的第三权重分布。

本实施方式中，所述隐变量的权重分布通常为正态分布，可以采用上式(4)和(5)，基于所述向量信息，确定用于表征所述隐变量的权重分布的先验参数，该先验参数可以为正态分布的均值和方差，基于该均值和方差，即可以确定所述隐变量的第三权重分布。

本实施方式中，通过观测到的所述位置序列对应的向量信息，确定用于表征所述隐变量的权重分布的先验参数，基于所述先验参数，即可以确定所述隐变量的第三权重分布。如此，可以将所述第三权重分布与所述隐变量的预设权重分布进行比较，确定之间的损失，以更新神经网络主题模型的参数。

进一步的，训练完成神经网络主题模型之后，可以在测试集上随机选择三个应用账号的异地签到记录进行验证，如表1所示。

表1应用账号的异地签到记录表

应用账号	异地签到记录
		u<sub>1</sub>	景点A，景点B，艺术馆、购物中心A
u<sub>2</sub>	购物中心B，展览馆，生活广场，购物中心C，酒店A
		u<sub>3</sub>	公司，酒店B，酒店C

将这三个应用账号的异地签到记录的位置序列输入至神经网络主题模型，可以得到通用出行意图在信息点集合上的分布(即Φ)，抽取被应用账号u₁，u₂和u₃签到的信息点对应的向量，并将其可视化出来，如图4所示。

此外，可以根据上式(1)和(2)，将应用账号u₁，u₂和u₃的个性化出行意图在通用出行意图上的权重分别进行可视化，如图5所示。

结合表1、图4和图5，可以发现，功能相近的信息点(即类别信息在语义上接近)，其向量的可视化也比较相似；而且，签到的信息点相近的应用账号(如u₁和u₂)其权重分布也比较相似。如此，该神经网络主题模型可以对对象的异地出行意图进行有效推断。

第三实施例

如图6所示，本申请提供一种出行意图推断装置600，包括：

第一获取模块601，用于在确定目标对象关联第一空间位置的情况下，获取所述目标对象在第二空间位置的信息点的历史位置序列，所述第一空间位置为相对于所述第二空间位置的异地空间位置；

生成模块602，用于基于神经网络主题模型生成异地空间位置的K个出行意图的第一权重分布，K为正整数；

第一确定模块603，用于基于所述历史位置序列和第一权重分布，确定所述目标对象在所述第一空间位置的K个出行意图的第二权重分布。

可选的，其中，所述第一确定模块603包括：

生成单元，用于基于所述历史位置序列，按照所述目标对象在所述第二空间位置的信息点的时间顺序生成有向图，所述有向图的节点为所述历史位置序列中所述目标对象在所述第二空间位置的信息点的位置；

表征操作单元，用于将所述有向图输入至图神经网络进行向量表征操作，得到所述有向图中每个节点的向量；

第一确定单元，用于基于所述有向图中节点的向量和所述第一权重分布，确定所述目标对象在所述第一空间位置的K个出行意图的第二权重分布。

可选的，其中，所述第一确定单元，具体用于基于所述有向图中节点的向量，采用注意力机制确定所述历史位置序列对应的向量信息；基于所述历史位置序列对应的向量信息和所述第一权重分布，采用注意力机制确定所述目标对象关于所述K个出行意图的权重信息，并基于所述权重信息和所述第一权重分布，确定所述目标对象在所述第一空间位置的K个出行意图的第二权重分布。

本申请提供的出行意图推断装置600能够实现上述出行意图推断方法实施例实现的各个过程，且能够达到相同的有益效果，为避免重复，这里不再赘述。

第四实施例

可选的，如图7所示，本申请提供一种模型训练装置700，包括：

第二获取模块701，用于获取训练对象在异地空间位置的信息点的位置序列；

第二确定模块702，用于基于所述位置序列，采用神经网络主题模型利用隐变量的预设权重分布，确定所述位置序列对应的向量信息；并基于所述向量信息，确定所述隐变量的第三权重分布，所述隐变量为表征所述训练对象在所述异地空间位置的K个出行意图的变量，K为正整数；

第三确定模块703，用于确定所述预设权重分布与所述第三权重分布的损失信息；

更新模块704，用于基于所述损失信息更新所述神经网络主题模型的参数，以得到用于生成异地空间位置的K个出行意图的第一权重分布的神经网络主题模型。

可选的，其中，所述第二确定模块702包括：

第二确定单元，用于将所述位置序列中每个位置作为词袋输入至神经网络主题模型进行主题关联，以利用隐变量的预设权重分布，确定所述位置序列对应的向量信息；

可选的，其中，所述第二确定单元，具体用于基于所述K个隐式主题的向量信息和所述位置序列对应的初始向量信息，确定所述训练对象在所述异地空间位置的信息点针对所述K个出行意图中每个出行意图的第四权重分布；基于所述第四权重分布和所述K个隐式主题的向量信息，确定所述位置序列对应的向量信息。

可选的，其中，所述第二确定模块702还包括：

第三确定单元，用于基于所述向量信息，确定用于表征所述隐变量的权重分布的先验参数；

第四确定单元，用于基于所述先验参数，确定所述隐变量的第三权重分布。

本申请提供的模型训练装置700能够实现上述模型训练方法实施例实现的各个过程，且能够达到相同的有益效果，为避免重复，这里不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM803中，还可以存储设备800操作所需的各种程序和数据。计算单元801、ROM802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调整解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如出行意图推断方法或模型训练方法。例如，在一些实施例中，出行意图推断方法或模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM803并由计算单元801执行时，可以执行上文描述的出行意图推断方法或模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方法(例如，借助于固件)而被配置为执行出行意图推断方法或模型训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编辑语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims

1.一种出行意图推断方法，包括：

2.根据权利要求1所述的方法，其中，所述基于所述历史位置序列和第一权重分布，确定所述目标对象在所述第一空间位置的K个出行意图的第二权重分布，包括：

3.根据权利要求2所述的方法，其中，所述基于所述有向图中节点的向量和所述第一权重分布，确定所述目标对象在所述第一空间位置的K个出行意图的第二权重分布，包括：

4.一种模型训练方法，包括：

获取训练对象在异地空间位置的信息点的位置序列；

确定所述预设权重分布与所述第三权重分布的损失信息；

5.根据权利要求4所述的方法，其中，所述基于所述位置序列，采用神经网络主题模型利用隐变量的预设权重分布，确定所述位置序列对应的向量信息，包括：

6.根据权利要求5所述的方法，其中，所述基于所述K个隐式主题的向量信息和所述位置序列对应的初始向量信息，确定所述位置序列对应的向量信息，包括：

7.根据权利要求4所述的方法，其中，所述基于所述向量信息，确定所述隐变量的第三权重分布，包括：

基于所述先验参数，确定所述隐变量的第三权重分布。

8.一种出行意图推断装置，包括：

9.根据权利要求8所述的装置，其中，所述第一确定模块包括：

10.根据权利要求9所述的装置，其中，所述第一确定单元，具体用于基于所述有向图中节点的向量，采用注意力机制确定所述历史位置序列对应的向量信息；基于所述历史位置序列对应的向量信息和所述第一权重分布，采用注意力机制确定所述目标对象关于所述K个出行意图的权重信息，并基于所述权重信息和所述第一权重分布，确定所述目标对象在所述第一空间位置的K个出行意图的第二权重分布。

11.一种模型训练装置，包括：

12.根据权利要求11所述的装置，其中，所述第二确定模块包括：

13.根据权利要求12所述的装置，其中，所述第二确定单元，具体用于基于所述K个隐式主题的向量信息和所述位置序列对应的初始向量信息，确定所述训练对象在所述异地空间位置的信息点针对所述K个出行意图中每个出行意图的第四权重分布；基于所述第四权重分布和所述K个隐式主题的向量信息，确定所述位置序列对应的向量信息。

14.根据权利要求11所述的装置，其中，所述第二确定模块还包括：

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法，或者执行权利要求4-7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-3中任一项所述的方法，或者执行权利要求4-7中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-3中任一项所述的方法，或者实现根据权利要求4-7中任一项所述的方法。