CN114116692B - 一种基于mask和双向模型的缺失POI轨迹补全方法 - Google Patents

Abstract

本发明涉及一种基于mask和双向模型的缺失POI轨迹补全方法，包括如下步骤：选取公开数据集确认兴趣点POI的地点和时间标签；按时间对兴趣点进行排序，得到用户轨迹序列；采用MASK机制随机覆盖用户轨迹中若干个兴趣点得到不完整轨迹序列S_m；对S_m进行所需要求处理，得到相关向量L^u、P和将这三种向量矩阵进行想相加得到地点集嵌入矩阵In；构建双向网络模型，并通过损失函数训练该双向网络模型，最终得到训练好的双向网络模型。使用本方法可以更加有效的学习用户行为序列的表示，并且能够很准确的补全序列中缺失的POIs。

Description

一种基于mask和双向模型的缺失POI轨迹补全方法

技术领域

本发明涉及POI轨迹补全领域，特别涉及一种基于mask和双向模型的缺失POI轨迹补全 方法。

背景技术

随着信息技术的快速发展，人类的移动行为更容易被数字化并与朋友们进行分享。特别 是随着基于位置的社交网络(LBSNs)的快速发展，例如Yelp、Gowalla和Foursquare。兴趣 点(Point-of-Interest，POI)研究已经引起学术界和工业界的广泛关注。然而，用户并不是对 所有访问过的地点都进行签到，因此LBSNs收集的用户轨迹数据中存在缺失的POIs。实际 上，用户提供的签入POI通常是不完整的，不完整的POI轨迹将对后续任务产生负面影响， 如POI推荐和下一个POI预测；因此，需要对用户轨迹序列中缺失的POI进行了补全。

现有的研究主要集中在下一个POI预测或POI推荐，POI推荐是分析用户所有的历史签 入数据并挖掘其内在联系，预测用户下一个签入地点(也可称为签入点)来完成推荐；而缺 失POI的补全是学习用户的历史签入数据，并对其中缺失的POIs进行补全，这需要双向学习 用户POI轨迹序列。然而，发现和整合用户的行为序列关系来完成序列中缺失的POIs是一项 挑战，这是源于轨迹序列的不完整性，所以学习用户序列中缺失位置的前后信息并建立POIs 之间的联系是非常困难的。

目前的研究主要是针对GPS轨迹的补全，但关于POI序列补全的研究非常少。研究者们 对POI的研究重点放在了POI推荐、下一个POI预测等问题。由于深度学习在POI研究领域 的显著成果，RNN等深度学习技术逐渐替代了简单形式的Collaborative Filtering(CF)。在POI 序列补全问题中，需要同时学习到缺失位置POI的前序和后续的轨迹信息。目前的方法例如 上述的这些方法都是不能解决该问题的。

发明内容

针对现有技术存在的上述问题，本发明要解决的技术问题是：学习用户行为POIs轨迹序 列的特征表示，结合缺失POIs的前后信息补全序列中缺失的POIs不够准确。

为解决上述技术问题，本发明采用如下技术方案：一种基于mask和双向模型的缺失POI 轨迹补全方法，其特征在于：包括如下步骤：

S100：选用公开签入点数据集，该签入点数据集包括用户签入点的地点标签和时间标签， 其中用户签入点即用户的兴趣点POI；

S200：设该公开签入点数据集中的用户集记为U＝{u₁,u₂,…,u_|u|}，地点集记为 L＝{l₁,l₂,…,l_|l|}，用户轨迹序列记为其中/>按时间标签依 次排序；

S300：利用MASK机制随机覆盖用户轨迹序列S中的m个用户兴趣点，得到用户不完整的 轨迹序列其中被覆盖的用户POI为/>

S310：将S_m通过python中的networkx包生成POI结构图G_u，使用Deepwalk将POI结构图 G_u转化成图结构特征向量其中，/>

S320：通过Pytorch框架中的nn.embedding方法将S_m初始化成特征向量，生成地点嵌入 矩阵L^u和位置嵌入矩阵P，其中，L^u∈R^n×d，P∈R^n×d；其中，L^u和P均为n×d的矩阵；

S330：将图结构特征向量地点嵌入矩阵L^u和位置嵌入矩阵P进行加法运算，得到维度 相同的地点集嵌入矩阵In，具体表达式如下：

S400：构建双向网络模型计算缺失的POI地点预测值O(l)，具体表达式如下：

O(l)＝softmax(GELU(BW_o+b_o)In^T+b) (2)

其中W_o是可学习的投影矩阵，B是经过b层叠加后的多头注意力机制模块的残差连接输 出，b_o和b是偏置项，In是地点集的嵌入矩阵，softmax函数是分类函数；

S500：通过交叉熵损失函数计算双向网络模型的损失，交叉熵损失函数定义为：

Loss＝-∑_l(p(l)log O(l)) (3)

其中，p(l)表示POI的真实标签值，O(l)表示POI的预测值；

S600：预设最大迭代次数，将签入点数据集中所有数据作为输入，使用交叉熵损失函数 训练双向网络模型，当训练达到最大迭代次数时停止训练，得到训练好的双向网络模型，否 则返回S400；

S700：将任意一个用户的不完整POI轨迹序列输入训练好的双向网络模型中，输出为用 户不完整POI轨迹序列中缺失的POI地点预测值。

作为优选，所述S400构建双向网络模型计算缺失的POI地点预测值O(l)的具体步骤如下：

双向网络模型采用神经网络的BERT网络模型；

S410：将地点集嵌入矩阵In作为输入，计算双向网络模型的多头注意力机制，双向网络 模型包含若干个多头注意力机制，具体表达式如下：

H(In)＝Concat(head₁,head₂,…head_i)W (4)

其中，Q，K，V分别表示多头注意力机制分配给每个POI的权重，W是可学习的参数，Concat 是全连接，head_i是第i个自注意力，分别表示第i个自注意力的三个权重矩阵；

S420：对双向网络模型进行全连接，具体表达式如下：

FFN(H)＝GELU(HW₁+b₁)W₂+b₂ (7)

其中，W₁,W₂,b₁,b₂表示双向网络模型可学习的参数，GELU表示高斯误差线性单元；

S430：将双向网络模型中包含的若干个多头注意力机制进行残差连接得到输出B，具体表 达式如下：

B＝Block(H)＝LN(A+Drop(FFN(A))) (8)

A＝LN(H+Drop(H)) (9)

其中，LN表示层归一化，Drop表示Dropout，A表示一个多头注意力机制模块；

S440：利用B得到缺失的POI预测值O(l)。

此处选用该模型的主要作用是：BERT模型网络模型是一种表示学习，即通过深层模型来 学习每个POI更好的表示。BERT利用Transformer-Encoder的并行性成功构造了双向模型， 能够充分挖掘用户POI序列中缺失位置的前后信息。这是因为在对用户行为序列建模时，双 向模型比单向模型更合适，在双向模型中的所有POI都可以利用其左侧和右侧的上下文信息。

相对于现有技术，本发明至少具有如下优点：

1.本发明提出并解决了用户轨迹序列中缺失POIs的问题，并对缺失的POI进行了补全。 本发明解决缺失POI与序列中缺失位置前后信息之间的关联，提出了一种基于mask的缺失 POI轨迹补全的双向模型(MPTM)。

2.增加了POI的图特征作为信息源。本发明为了加强用户POI轨迹序列中POI之间的 关系，为每位用户建立图结构来学习POI的图特征，并挖掘用户隐藏的行为习惯；将POI的 图特征与POI地点信息结合起来挖掘轨迹序列中缺失POI与已知POI之间的关系和用户行为 序列的特征，这样可以更好的寻找缺失POI的信息特征。

附图说明

图1为双向网络模型结构图。

图2为实验中用户的散点图。

图3为实验中用户的密度图。

图4为本发明模型训练过程中的损失函数收敛图。

图5为在NYC数据集上与基准模型的数据对比。

图6为在TKY数据集上与基准模型的数据对比。

具体实施方式

下面对本发明作进一步详细说明。

随着基于位置的社交网络(LBSNs)的发展，用户可以随时在社交网络上查看兴趣点 (POIs)；然而，用户并不是对所有访问过的地点都进行签到，因此通过LBSNs生成的POI轨 迹序列是不完整的。不完整的POI轨迹将对后续任务产生负面影响，例如POI推荐和下一个 POI预测等；因此，面临此时的问题就需要对用户轨迹序列中缺失的POI进行补全。由于POI 轨迹序列是不完整的，如何利用缺失的POI的前序和后序的轨迹就是急需解决的主要问题。 因此，本发明提出了一种掩盖的POI轨迹模型(MPTM)，该模型利用BERT的双向性来完成用 户行为序列中缺失的POIs，通过掩盖缺失的POIs，MPTM能够充分挖掘缺失POIs和已知POIs 之间的关系并预测出缺失的POIs；同时，为了加强用户轨迹序列中POIs之间的关系，本发 明还为每位用户不完整的POI轨迹序列构建了图结构来探索用户的隐藏行为习惯。此外，本 发明方法还设计实验来探讨缺失POI数量的连续性与模型预测能力之间的关系。最终的实验 结果表明，本发明设计的MPTM模型在补全用户行为序列中缺失的POI方面优于当前最先进的 模型。

参见图1-6，一种基于mask和双向模型的缺失POI轨迹补全方法，包括如下步骤：

S100：选用公开签入点数据集，该签入点数据集包括用户签入点的地点标签和时间标签， 其中用户签入点即用户的兴趣点POI；

S200：设该公开签入点数据集中的用户集记为U＝{u₁,u₂,…,u_|u|}，地点集记为 L＝{l₁,l₂,…,l_|l|}，用户轨迹序列记为其中/>按时间标签依 次排序；

S300：利用MASK机制随机覆盖用户轨迹序列S中的m个用户兴趣点，得到用户不完整的 轨迹序列其中被覆盖的用户POI为/>MASK机 制为现有技术；

S310：将S_m通过python中的networkx包生成POI结构图G_u，使用Deepwalk将POI结构图G_u转化成图结构特征向量其中，/>Python和Deepwalk均为现有技术，将S_m通过 python中的networkx包生成对应的POI顶点和有连接关系的边，构建出复杂结构图G_u。

S320：通过Pytorch框架中的nn.embedding方法将S_m初始化成特征向量，生成地点嵌 入矩阵L^u和位置嵌入矩阵P，其中，L^u∈R^n×d，P∈R^n×d；其中，L^u和P均为n×d的矩阵；Pytorch为现有技术，将POI地点表通过Pytorch框架中的nn.embedding方法随机编码成256个维度的特征向量，因此由所有的POI得到地点嵌入矩阵L^u，位置嵌入矩阵P同理随机生成相 同维度的可学习的嵌入矩阵。

S330：将图结构特征向量地点嵌入矩阵L^u和位置嵌入矩阵P进行加法运算，得到维度 相同的地点集嵌入矩阵In，具体表达式如下：

S400：构建双向网络模型计算缺失的POI地点预测值O(l)，具体表达式如下：

O(l)＝softmax(GELU(BW_o+b_o)In^T+b) (2)

其中W_o是可学习的投影矩阵，B是经过b层叠加后的多头注意力机制模块的残差连接输 出，b_o和b是偏置项，In是地点集的嵌入矩阵，softmax函数是分类函数；

进一步的，所述S400构建双向网络模型计算缺失的POI地点预测值O(l)的具体步骤如下：

双向网络模型采用神经网络的BERT网络模型；该BERT网络模型是在Transformer-Encoder上成功改造的双向模型。

S410：将地点集嵌入矩阵In作为输入，计算双向网络模型的多头注意力机制，双向网络 模型包含若干个多头注意力机制，具体表达式如下：

H(In)＝Concat(head₁,head₂,…head_i)W (3)

其中，Q，K，V分别表示多头注意力机制分配给每个POI的权重，W是可学习的参数，Concat 是全连接，head_i是第i个自注意力，分别表示第i个自注意力的三个权重矩阵； 在这里注意力函数通过Q(Query)，K(Key)和V(Value)三个矩阵分配给每个POI权重，根据 权重来计算已知的POI与缺失的POI的相关程度。

S420：对双向网络模型进行全连接，具体表达式如下：

FFN(H)＝GELU(HW₁+b₁)W₂+b₂ (6)

其中，W₁,W₂,b₁,b₂表示双向网络模型可学习的参数，GELU表示高斯误差线性单元；这里使用位置全连接前馈网络可以有效提高双向网络模型的非线性能力。

S430：将双向网络模型中包含的若干个多头注意力机制进行残差连接得到输出B，具体 表达式如下：

B＝Block(H)＝LN(A+Drop(FFN(A))) (7)

A＝LN(H+Drop(H)) (8)

其中，LN表示层归一化，Drop表示Dropout，A表示一个多头注意力机制模块；这里所 述的层归一化是用于对跨特征即零均值和单位方差的输入进行标准化处理。这样有助于稳定 神经网络并加速其训练。Dropout可以减少神经元之间复杂的协同适应关系，从而避免过度 拟合现象。

S440：利用B得到缺失的POI预测值O(l)。

S500：通过交叉熵损失函数计算双向网络模型的损失，交叉熵损失函数定义为：

Loss＝-∑_l(p(l)log O(l))(9)

其中，p(l)表示POI的真实标签值，O(l)表示POI的预测值；

S600：预设最大迭代次数，将签入点数据集中所有数据作为输入，使用交叉熵损失函数 训练双向网络模型，当训练达到最大迭代次数时停止训练，得到训练好的双向网络模型，否 则返回S400；

S700：将任意一个用户的不完整POI轨迹序列输入训练好的双向网络模型中，输出为用 户不完整POI轨迹序列中缺失的POI地点预测值。

实验数据

本发明通过两个真实世界的LBSN数据集来评估这里提出的模型，该数据来自Foursquare， 分别是NYC和TKY。这两种数据集已被之前的POI研究广泛使用。该数据集包含在纽约和东 京收集的约10个月的签入数据，时间是2012年4月12日至2013年2月16日。删除签入次 数少于10次的用户和访问次数少于5次的位置。表1是这两个数据集的统计数据。

表1.NYC和TKY的数据统计

Datasets	users	locations	Check-ins
				NYC	1083	38333	227,428
TKY	2293	61858	573,703

除此之外，本发明还分析了用户序列长度的分布和密度，如图2和图3所示。在图2中， 散点图表示了用户行为序列的长度集中在500以内。在图3中，密度图表示了用户行为序列 的长度集中在140左右。通过分析这两张图，我们可以确定签入POI的用户数的集中分布趋 势。因此，将用户的最大序列长度设置为140。受SASRec启发，如果序列长度大于140，就 考虑用户最近的140个行为。如果序列长度小于140，则依次向左侧添加零向量，直到长度 为140。将每个用户的前50％序列作为训练集和验证集，最后50％作为测试集。

对比实验

为了确定本发明所提出的方法的有效性，本发明将其与以下模型进行比较：

Pop：这是一个仅推荐流行POI的基本模型。

BPR：它使用贝叶斯分析得到的最大后验概率对POI进行排序和推荐。

GCMC：从链路预测的角度出发，提出了一种图自动编码框架来解决推荐系统中的评级预 测问题。

SASRec：使用从左到右的Transformer语言模型来捕获用户的序列行为，并实现序列推 荐。

评价指标

为了评估本文所提出的方法的性能，本发明使用了精确度和召回率。在截止点K处的精 度表示为Pre@K，在截止点k处的召回，表示为Recall@K。其中K是结果中预测的POI个数。 这些是POI研究领域中经常使用的一般指标。Pre@K是原始的POI与K个预测POI的比率。Rec@K是预测的POI与真实值的比率。用户集为U，将被掩盖掉的POI设置为真实值是预测的结果值。其中，Pre@K和Rec@K的定义如下：

参数设置

在本发明所使用的方法中，使用了4个注意力机制和2层多头注意力机制来处理签入的 序列。用Adam优化器来训练本发明提出的模型，其中学习率是0.001，损失率是0.1。batch size是16，每个签入地点的特征维度是256。对比实验的参数值都是默认值。在训练过程中， 模型的损失随epoch的变化趋势如图4所示。损失值随epoch的值增加呈振荡下降。这是因 为设置的batch size比较小，每个batch训练出来的误差差异大。在epoch达到80时，模 型的损失逐渐收敛。因此，NYC和TKY两个数据集的训练次数设置为100。

在训练过程中，用户行为序列被随机mask去学习POIs间的关系。在测试过程中，为了 探讨序列中缺失的POIs的连续性和非连续性对模型预测能力的影响，在用户行为序列中固定 位置进行mask。在连续性和非连续性两种条件下进行多次实验。被实验的条件如表2所示：

表2.被mask的POI数量设置

连续mask的POIs数量	被mask的POIs总数量
		0	7
3	6
		5	10
7	7

对比实验

将对比模型的参数设置为默认值。在缺失的POI数量是连续7个的情况下，将本发明方 法在NYC和TKY两种数据集上与baselines进行比较。对于baselines，取数据集序列中第 一个POI到缺失POI的这一段轨迹。换句话说，baseline只是利用了缺失POI前半段的信息。 这是因为baselines的方法都是单向模型，只能从前往后进行预测。这样也可以比较出本发 明模型利用缺失POI前序和后序信息的效果。比较结果如图5和图6所示。

在两种数据集上本发明的模型MPTM在recall和precision上都优于其他方法。Pop仅 仅只是根据POI的流行度进行预测而没有考虑用户的行为习惯，因此在recall和precision 上比其他方法低很多。GCMC是通过用户和POI的交互构建用户与POI的二部图，但没有考虑 用户的行为序列，因此在recall和precision上的值比较低。这也说明单独构建图特征进行 预测效果不大，进一步证明了本发明方法将图特征和用户行为序列结合的有效性。BPR在NYC 和TKY上的recall值较低，但在precision的值时接近SASRec和MPTM。这是因为BPR与一 般的排序模型不同，它对每位用户都重建了一个偏序关系进行个性化推荐来预测。SASRec和 MPTM都使用了transformer中multi-head attention并考虑了用户行为序列和POI之间的 潜在关系。但本发明提出的模型MPTM使用的是双向结构并考虑了缺失POI位置的前序和后序 特征。

比较连续mask的POIs数量

实验结果如表所示，数量是指连续被mask POIs的个数。表3是在数据集NYC上进行实 验，表4是在数据集TKY上进行实验。两个数据集在所有条件下评价指标为recall时数值高， 然而在precision时数值低。这说明模型在候选集中召回了很多正相关的POIs，但正确命中 的数量不多。4种条件下NYC和TKY的recall的数值差距不大。这说明被masked的POI的连续性因素在模型召回相关正样本时没有太大影响。然而4种条件下NYC和TKY的precision的数值有差距，在0.2到0.7的范围内波动。这说明被masked的POI的连续性因素在模型准确预测缺失的POI时有影响。

表3.在NYC数据集上的实验

表4.在TKY数据集上的实验

在数据集NYC和TKY中，当被masked的个数连续为5时，recall和precision的值较高。这说明当用户缺失的POI数量是连续的5个时，模型预测能力高。当缺失的POI连续的 数量过少，过多时都会对模型的预测能力有影响。特别是当k＝5时，precision的值最高。 这是因为这种条件下，被masked的POI总数为10。说明被mask的POIs数量也是模型预测 能力的影响因素。

实验总结

根据场景分析，本发明提出POI在轨迹序列中缺失的问题。不完整的用户POI轨迹序列 对后续任务，例如POI推荐,地点预测和人类移动有负面影响。为了克服难以结合缺失POI 在时间上的前序和后序信息，我们提出基于transform编码器的双向模型MPTM。它与图结构 特征结合来挖掘轨迹序列中缺失POI与已知POI之间的关系和用户行为序列的特征。结果表 明，本发明提出的MPTM在性能指标召回率和准确率方面优于最先进的方法。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施 例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进 行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利 要求范围当中。

Claims (2)

1.一种基于mask和双向模型的缺失POI轨迹补全方法，其特征在于：包括如下步骤：

S100：选用公开签入点数据集，该签入点数据集包括用户签入点的地点标签和时间标签，其中用户签入点即用户的兴趣点POI；

S200：设该公开签入点数据集中的用户集记为U＝{u₁,u₂,…,u_|u|}，地点集记为L＝{l₁,l₂,…,l_|l|}，用户轨迹序列记为其中/>按时间标签依次排序；

S300：利用MASK机制随机覆盖用户轨迹序列S中的m个用户兴趣点，得到用户不完整的轨迹序列其中被覆盖的用户POI为/>

S310：将S_m通过python中的networkx包生成POI结构图G_u，使用Deepwalk将POI结构图G_u转化成图结构特征向量其中，/>

S320：通过Pytorch框架中的nn.embedding方法将S_m初始化成特征向量，生成地点嵌入矩阵L^u和位置嵌入矩阵P，其中，L^u∈R^n×d，P∈R^n×d；其中，L^u和P均为n×d的矩阵；

S330：将图结构特征向量地点嵌入矩阵L^u和位置嵌入矩阵P进行加法运算，得到维度相同的地点集嵌入矩阵In，具体表达式如下：

S400：构建双向网络模型计算缺失的POI地点预测值O(l)，具体表达式如下：

O(l)＝softmax(GELU(BW_o+b_o)In^T+b) (2)

其中W_o是可学习的投影矩阵，B是经过b层叠加后的多头注意力机制模块的残差连接输出，b_o和b是偏置项，In是地点集的嵌入矩阵，softmax函数是分类函数；

S500：通过交叉熵损失函数计算双向网络模型的损失，交叉熵损失函数定义为：

Loss＝-∑_l(p(l)log O(l)) (3)

其中，p(l)表示POI的真实标签值，O(l)表示POI的预测值；

S600：预设最大迭代次数，将签入点数据集中所有数据作为输入，使用交叉熵损失函数训练双向网络模型，当训练达到最大迭代次数时停止训练，得到训练好的双向网络模型，否则返回S400；

S700：将任意一个用户的不完整POI轨迹序列输入训练好的双向网络模型中，输出为用户不完整POI轨迹序列中缺失的POI地点预测值。

2.如权利要求1所述的一种基于mask和双向模型的缺失POI轨迹补全方法，其特征在于：所述S400构建双向网络模型计算缺失的POI地点预测值O(l)的具体步骤如下：

双向网络模型采用神经网络的BERT网络模型；

S410：将地点集嵌入矩阵In作为输入，计算双向网络模型的多头注意力机制，双向网络模型包含若干个多头注意力机制，具体表达式如下：

H(In)＝Concat(head₁,head₂,…head_i)W (4)

其中，Q，K，V分别表示多头注意力机制分配给每个POI的权重，W是可学习的参数，Concat是全连接，head_i是第i个自注意力，分别表示第i个自注意力的三个权重矩阵；

S420：对双向网络模型进行全连接，具体表达式如下：

FFN(H)＝GELU(HW₁+b₁)W₂+b₂ (7)

其中，W₁,W₂,b₁,b₂表示双向网络模型可学习的参数，GELU表示高斯误差线性单元；

S430：将双向网络模型中包含的若干个多头注意力机制进行残差连接得到输出B，具体表达式如下：

B＝Block(H)＝LN(A+Drop(FFN(A))) (8)

A＝LN(H+Drop(H)) (9)

其中，LN表示层归一化，Drop表示Dropout，A表示一个多头注意力机制模块；S440：利用B得到缺失的POI预测值O(l)。