CN115952355A - 基于时空幂律注意力的下一兴趣点推荐系统 - Google Patents

基于时空幂律注意力的下一兴趣点推荐系统 Download PDF

Info

Publication number
CN115952355A
CN115952355A CN202211674562.5A CN202211674562A CN115952355A CN 115952355 A CN115952355 A CN 115952355A CN 202211674562 A CN202211674562 A CN 202211674562A CN 115952355 A CN115952355 A CN 115952355A
Authority
CN
China
Prior art keywords
interest
user
check
point
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211674562.5A
Other languages
English (en)
Inventor
衡勇
周帆
郭峰
李启
汤润泽
礼欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Beijing Institute of Electronic System Engineering
Original Assignee
Beijing Institute of Technology BIT
Beijing Institute of Electronic System Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT, Beijing Institute of Electronic System Engineering filed Critical Beijing Institute of Technology BIT
Priority to CN202211674562.5A priority Critical patent/CN115952355A/zh
Publication of CN115952355A publication Critical patent/CN115952355A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于时空幂律注意力的下一兴趣点推荐系统，涉及推荐系统领域，本发明包括：短期偏好模块：利用循环神经网络，捕获用户签到序列的短期偏好ht；长期偏好模块，计算时间间隔幂律分布、地理距离幂律分布及时空幂律注意力，结合所述短期偏好ht计算用户的长期偏好
Figure DDA0003981915870000011
下一兴趣点推荐模块：结合所述短期偏好ht、所述长期偏好
Figure DDA0003981915870000012
及用户表示pu，通过神经网络预测下一兴趣点
Figure DDA0003981915870000013
并推荐。有益效果是：所述系统利用各次签到之间的时间间隔和地理距离的幂律衰减性质提出时空幂律注意力建模用户的长期偏好，在建模中考虑非连续签到之间的时空关系，提高了下一兴趣点推荐的效果。

Description

基于时空幂律注意力的下一兴趣点推荐系统
技术领域
本发明涉及推荐系统领域，尤其涉及一种基于时空幂律注意力的下一兴趣点推荐系统。
背景技术
近年来，随着移动互联网与全球定位系统技术的快速发展及智能手机的普遍应用，基于位置的社交网络(Locationbased Social Networks，LBSNs)日益壮大。LBSNs平台提供签到功能，人们可以通过对地点进行签到与朋友分享自己的实时位置，并发表与地点相关的评论进行互动。这也逐渐成为一种流行的社交方式。通常在用户附近就存在上万个地点，如何从海量地点中获取用户感兴趣的地点，即兴趣点，成为LBSNs关注的问题。兴趣点推荐是LBSNs的核心功能之一，旨在利用用户的历史签到记录及多模态信息为用户从海量地点中个性化地推荐适合的兴趣点。
作为兴趣点推荐领域中最核心的问题之一，下一兴趣点推荐在人们的生活中发挥着至关重要的作用。下一兴趣点推荐主要通过挖掘用户的历史签到记录以及时间与空间等信息来捕获用户的转移规律，预见其接下来要访问的兴趣点。下一兴趣点推荐可以广泛应用于各个领域，如智能交通、城市规划、广告定向投放、智慧旅游等。通过预测人们下一个要访问的兴趣点，政府可以设计更合理的交通规划和调度策略，以缓解交通堵塞和处理人群聚集；滴滴等打车、拼车平台也强烈地依赖于准确的下一兴趣点预测，以更好地估计用户的出行计划，并据此调度资源来满足用户需求；外卖配送、高德等导航软件也需要准确的下一兴趣点预测技术来估算预计到达时间，帮助外卖骑手或用户有效地规避拥堵路段、提前规划出行；商家信息以及优惠券可以准确地发放给可能到访的目标用户，实现定向广告投放，提升用户体验，提高商家广告宣传的针对性，节省广告运营成本。下一兴趣点推荐具有广泛的应用前景，因而引起了工业界和学术界的研究热潮。
由于用户的签到记录可以被视为序列，下一兴趣点推荐本质上可以看作序列预测问题，而循环神经网络RNN及其变体LSTM、GRU(以下统称RNNs)等已被成功用于语言建模等序列相关任务，因此也常被用在下一兴趣点推荐任务以捕获签到序列中的序列模式。为了在RNNs中考虑时空因素，将相邻两次签到之间的时间间隔与地理距离作为RNNs的额外输入。但由于非连续签到之间的时空效应对于下一兴趣点的预测也是有帮助的，仅将连续两次签到之间的时间间隔和地理距离作为RNNs的输入过度简化了人类移动的时间和空间规律，不能完全捕获高阶的时空规律。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于时空幂律注意力的下一兴趣点推荐系统，用于在下一兴趣点推荐任务中捕获非连续签到之间的时空效应，来捕获人类移动的高阶时空规律，提高下一兴趣点推荐的效果。
为实现上述目的，本发明提供了一种基于时空幂律注意力的下一兴趣点推荐系统，包括：
短期偏好模块：利用循环神经网络，捕获用户签到序列的短期偏好ht；
长期偏好模块，计算时间间隔幂律分布、地理距离幂律分布及时空幂律注意力，结合所述短期偏好ht计算用户的长期偏好
Figure BDA0003981915850000021
下一兴趣点推荐模块：结合所述短期偏好ht、所述长期偏好
Figure BDA0003981915850000022
及用户表示pu，通过神经网络预测下一兴趣点
Figure BDA0003981915850000023
并推荐。
作为优选，所述长期偏好模块，包括：
使用时间间隔的幂律分布
Figure BDA0003981915850000024
作为第i次和第t次签到之间关于时间的相关程度，以建模时间因素对下一兴趣点推荐的影响：
Figure BDA0003981915850000025
其中，ΔTit表示第i次和第t次签到兴趣点之间的时间间隔，a1和λ1是幂律分布的参数；
利用距离的幂律衰减
Figure BDA0003981915850000026
根据地理距离来衡量第i次签到和第t次签到之间的权重：
Figure BDA0003981915850000027
其中，ΔDit表示第i次和第t次签到兴趣点之间的地理距离，a2和λ2是幂律分布的参数；
计算时空幂律注意力，利用时空幂律注意力决定历次签到状态对当前状态影响程度的大小，从而建模用户的长期偏好，根据所述
Figure BDA0003981915850000028
和
Figure BDA0003981915850000029
计算得到权重系数αit，并结合短期偏好计算长期偏好
Figure BDA00039819158500000210
Figure BDA00039819158500000211
Figure BDA00039819158500000212
其中，hi∈Rd表示第i次签到的隐状态，R代表实数域，d为嵌入式表示的维度大小，长期偏好
Figure BDA00039819158500000213
表示为0～t次签到隐状态的加权，权重系数αit反映hi与ht的相关程度。
作为优选，所述用户表示pu，根据用户访问过的兴趣点的表示及其访问频率表征为：
Figure BDA0003981915850000031
其中，B(u)为用户u访问过的兴趣点集合，xj为第j个兴趣点的向量化表示，nj表示用户u在第j个兴趣点的签到次数；
作为优选，所述下一兴趣点推荐模块通过下式所示神经网络预测下一兴趣点
Figure BDA0003981915850000032
Figure BDA0003981915850000033
其中，Wp为神经网络参数，γ1为超参数，用于控制用户表示的占比。
作为优选，所述下一兴趣点推荐系统还包括缓解数据稀疏模块：捕获所述用户签到序列中的短期偏好ht和长期偏好
Figure BDA0003981915850000034
后，利用兴趣点多层次类别信息，设计基于兴趣点多层次类别预测的辅助任务，缓解数据稀疏问题。
作为优选，所述神经网络模型训练时，设置模型的损失函数
Figure BDA0003981915850000035
包含两部分，分别是主任务兴趣点预测的交叉熵损失以及所述辅助任务的多层次类别预测的交叉熵损失。
作为优选，所述下一兴趣点推荐系统还包括预处理模块：将用户签到序列的数据进行预处理。
作为优选，所述将用户签到序列的数据进行预处理包括：过滤不活跃用户和/或不活跃兴趣点。
技术效果
1、本发明针对基于地理位置信息的社交网络中的下一兴趣点推荐问题，利用用户各次签到之间的时间间隔和地理距离的幂律衰减性质提出时空幂律注意力来建模用户的长期偏好，在用户的长期偏好建模中考虑非连续签到之间的时空关系，提高了下一兴趣点推荐的效果；
2、本发明进一步从设计兴趣点多层次类别预测的辅助任务角度出发，利用多层次的类别信息，缓解了数据稀疏问题，进一步挖掘用户的出行意图，提升推荐效果。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明实施例中下一兴趣点推荐系统的结构图；
图2是本发明实施例中单个用户连续签到活动示意图；
图3是本发明实施例中PowerUP模型结构图
图4为本发明实施例中非连续签到地理距离示例图；
图5为双对数坐标下各数据集时间间隔与签到频率的关系图；
图6为多层次兴趣点类别示例图；
图7.a为验证NYC中序列长度对powerUP模型影响的实验结果图；
图7.b为验证TKY中序列长度对powerUP模型影响的实验结果图；
图8.a为验证NYC中向量维度对各模型的影响实验结果图；
图8.b为验证TKY中向量维度对PowerUP模型的影响实验结果图；
图9为验证超参数λ1和λ2对实验结果的影响；
图10.a为LSTPM模型兴趣点表示可视化图；
图10.b为TiSASRec模型兴趣点表示可视化图；
图10.c为PowerUP模型兴趣点表示可视化图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
本发明实施例中，变量及其数学表示式有如下定义：用U＝{u1,u2,…u|U|}来定义签到数据中的用户集合，用户总数为|U|；用L＝{ll,l2,…l|L|}来定义签到数据中的地点集合，地点总数为|L|；用pi＝(loni,lati)表示兴趣点li的地理坐标，即经纬度。此外，将第i次和第j次签到的时间间隔记为ΔTij＝|ti-tj|，地理距离记为ΔDij＝Haversine(pI,pj)，其中Haversine公式如下：
Figure BDA0003981915850000041
其中，R1表示地球半径，为6371km。
本发明的一个优选实施例构建的下一兴趣点推荐系统，用于在下一兴趣点推荐任务中捕获非连续签到之间的时空效应，来捕获人类移动的高阶时空规律，提高下一兴趣点推荐的效果，在本发明的另一个优选实施例中，为了缓解数据稀疏问题，本发明利用兴趣点多层次类别信息，设计基于兴趣点多层次类别预测的辅助任务，从而进一步挖掘用户的出行意图。
本发明的一个优选实施例中，构建的PowerUP模型根据用户的各次签到之间的时间间隔和地理距离数据，首先捕获用户签到序列短期偏好。在建模长期偏好时，需要获取对当前状态有用的历史状态，利用非局部网络的思想，将长期偏好表示成历次签到隐状态加权的形式，每个历史隐状态的权重系数反映了其与当前状态的相关程度，由于时间间隔小、地理距离短的签到之间存在较强的关联，所以权重系数需要结合时间和空间因素。从时间角度出发，使用时间间隔的幂律分布作为两次签到之间的相关程度；从空间角度出发，利用距离的幂律衰减来衡量历史签到与当前签到之间的权重。综合时间和空间因素，使用时空幂律注意力来决定历次签到状态对当前状态影响程度大小，来建模用户的长期偏好。最后，使用交叉熵损失函数来衡量模型的预测性能并进行模型训练。
图2为本发明实施例中数据集中单个用户签到活动示意图。其中P1,P2,P3,…,Pi为兴趣点序列；Δt1,Δt2,…,Δti-1为相邻两个签到记录之间的时间间隔；
Δd1,Δd2,…,Δdi-1为相邻两个兴趣点之间的地理距离。原始数据为用户的签到记录，包含用户编号，兴趣地点编号，兴趣地点种类，兴趣地点经纬度等信息，将原始数据集根据用户编号进行分组，并按签到时间先后顺序进行排序，生成每个用户的签到序列数据。本发明仅考虑使用用户最近的N次签到数据来建模学习数据的时空信息表示，并对下一兴趣地点进行预测，对每个用户，将其第[2,N]次签到作为测试集，利用其[2,N-1]次签到作为输入序列来预测第N次的签到兴趣点。图3为本发明一个优选实施例的PowerUP模型结构示意图。
图4为本发明实施例的非连续签到地理距离示例，如图4所示，第t-1次签到的兴趣点pt-1与t+1次签到的兴趣点pt+1的距离比第t次签到的地点pt距离兴趣点pt+1近，而根据城市中相同功能的兴趣点常呈现聚集状态的这一特性，得知过去的签到兴趣点与当前兴趣点距离越近，其对下一兴趣点的预测就越有帮助，这表明pt-1对于预测pt+1更有利。同样这也适用于时间规律，当两次非连续签到之间的时间间隔比较接近一天(或其他周期，如周、月)时，其对于下一兴趣点的预测也是有帮助的。所以非连续签到之间的时空规律对下一兴趣点的预测有着重要作用。
如图1所示，在本发明的一个优选实施例中，所述下一兴趣点推荐系统包括：短期偏好模块、长期偏好模块及下一兴趣点推荐模块。
首先短期偏好模块利用循环神经网络捕获用户签到序列的短期偏好ht，接着长期偏好模块在建模长期偏好时，本发明实施例利用非局部操作来学习用户的长期偏好
Figure BDA0003981915850000053
利用非局部网络的思想，将输入信号的每个位置表示成所有位置的加权的形式，来对非局部的长期依赖进行建模：
Figure BDA0003981915850000051
其中，长期偏好
Figure BDA0003981915850000052
表示为历次签到隐状态的加权，每个历史隐状态hi的权重系数αit反映其与当前状态的相关程度，而通常时间间隔小、地理距离短的签到之间存在较强的关联，即签到之间的时间间隔与地理距离就反映了其之间的相关程度。因此αit需要结合时空因素。
图5展示了Foursuqre-NYC和Foursuqre-TKY两个数据集中连续访问之间的时间间隔与访问频率在双对数坐标系下的关系，可以看出在双对数坐标系下两个数据集的时间间隔与访问频率均呈现斜率为负的线性关系，由此可推断时间间隔与访问频率符合幂律分布。
实施例中，使用时间间隔的幂律分布
Figure BDA0003981915850000061
作为两次签到之间的相关程度，以建模时间因素对下一兴趣点推荐的影响：
Figure BDA0003981915850000062
其中，ΔTit表示第i次和第t次签到兴趣点之间的时间间隔，a1和λ1是幂律分布的参数。
Figure BDA0003981915850000063
作为第i次和第t次签到之间关于时间的相关程度。
从空间角度分析，由于相同功能的兴趣点常呈现聚集状态，比如城市中的居民区、商业区等功能区。用户越接近这样的区域，其行为可被预测的程度就越高，即此历史状态对当前状态的影响就越大。地理学第一定律也指出“任何事物都有联系，距离越近，相关性越大”，且多项研究表明出人类的移动距离与签到频率存在无标度的性质，即幂律分布能更好地刻画这种距离衰减现象。
在长期偏好建模时，PowerUP模型利用距离的幂律衰减
Figure BDA0003981915850000064
来衡量历史签到与当前签到之间的权重：
Figure BDA0003981915850000065
其中，ΔDit表示第i次和第t次签到兴趣点之间的地理距离，a2和λ2是幂律分布的参数，
Figure BDA0003981915850000066
可以根据地理距离衡量历史状态hi对当前状态ht的重要性。
本发明实施例中，PowerUP提出时空幂律注意力来决定历次签到状态对当前状态影响程度的大小，从而建模用户的长期偏好，PowerUP使用softmax函数结合时间和空间幂律分布，得到建模用户长期偏好的权重系数αit，并根据时空幂律注意力机制对用户长期偏好
Figure BDA0003981915850000067
进行建模。根据所述时间间隔的幂律分布
Figure BDA0003981915850000068
和所述距离的幂律衰减
Figure BDA0003981915850000069
计算得到αit，并结合短期偏好计算长期偏好
Figure BDA00039819158500000610
Figure BDA00039819158500000611
Figure BDA00039819158500000612
其中，hi∈Rd表示第i次签到的隐状态，R代表实数域，d为嵌入式表示的维度大小，长期偏好
Figure BDA00039819158500000613
表示为0～t次签到隐状态的加权，权重系数αit反映hi与ht的相关程度。
下一兴趣点推荐模块结合所述短期偏好ht、所述长期偏好
Figure BDA00039819158500000614
及所述用户表示pu，通过下式所示神经网络预测下一兴趣点
Figure BDA00039819158500000615
并推荐：
Figure BDA00039819158500000616
其中，Wp为神经网络参数，γ1为超参数，用于控制用户表示的占比。
在本发明的一个优选实施例中，与“人如其食”的思想一致，一个人经常去的地点能反映其性格与生活状态等。PowerUP没有为用户的表示提供额外的参数，而是利用用户访问过的兴趣点的表示及其访问频率来表征用户，得到对用户的表示pu：
Figure BDA0003981915850000071
其中，B(u)为用户u访问过的兴趣点集合，xj为第j个签到兴趣点lj的向量化表示，nj表示用户u在第j个兴趣点lj的签到次数。
针对基于地理位置信息的社交网络中的下一兴趣点推荐问题，本发明实施例利用用户各次签到之间的时间间隔和地理距离的幂律衰减性质提出时空幂律注意力来建模用户的长期偏好，在用户的长期偏好建模中考虑非连续签到之间的时空关系，提高了下一兴趣点推荐的效果。
在本发明的另一个优选实施例中，由于GRU在多个任务中取得了与LSTM相近的性能且具有更少的参数、更容易收敛，因此本发明通过神经网络实现，使用GRU作为基本的循环单元，来捕获签到序列中的短期偏好ht。
GRU基本更新公式为：
rt＝σ1(Wr·[ht-1,xt])
zt＝σ1(Wz·[ht-1,xt])
Figure BDA0003981915850000072
Figure BDA0003981915850000073
其中，xt∈Rd表示第t次签到的兴趣点的嵌入式表示，d为嵌入式表示维度大小，rt表示重置门，用于控制第t-1次签到隐状态有多少信息被保留到第t次签到候选隐状态，zt表示更新门，用于控制对第t-1次签到隐状态的选择性遗忘，[,]表示两个向量拼接，·表示矩阵相乘，*表示对位元素相乘，σ1表示sigmoid激活函数，tanh表示双曲正切函数，Wr、Wz和Wh为GRU需要学习的参数。
Figure BDA0003981915850000074
表示第t次签到的候选隐状态，通过使用重置门控rt重置之前的数据得到rt⊙ht-1，然后与xt进行拼接，再通过一个tanh激活函数得到。ht∈Rd表示第t次签到的隐状态，即短期偏好，通过遗忘ht-1中某些信息，并加入当前候选隐状态
Figure BDA0003981915850000075
的某些信息得到。
GRU合并了LSTM中的细胞状态与隐藏状态，并将LSTM的遗忘门和输入门替换为一个更新门zt，用于控制对前一时刻隐藏状态的选择性遗忘。重置门rt用于控制前一时刻的隐状态有多少信息被保留到候选隐状态
Figure BDA0003981915850000076
中。
在本发明的另一个优选实施例中，在捕获序列中的短期偏好和长期偏好后，解决下一兴趣点推荐中数据稀疏问题。图6为多层次兴趣点类别示例图，Foursquare数据集中提供了兴趣点的类别信息，并且该类别信息呈粒度由细到粗的层级结构。Foursquare数据集中每个兴趣点的类别信息最多有四层。如图6所示，兴趣点“4bbe6fd54e7bd13a76029b7f”所属的类别粒度由细到粗地依次属于“College Arts Building”、“College andUniversity”、“Education”和“Community and Government”类别的层次越高则粒度越粗，所包含的语义信息越抽象；因此，呈现层次结构的类别信息能够进一步反映用户的真实移动意图，合理地利用多层次的类别信息可以为下一兴趣点推荐提供丰富的语义信息从而缓解数据稀疏问题。
在本发明的另一个优选实施例中，利用兴趣点多层次的类别信息，从设计辅助任务角度设计缓解数据稀疏的方法。PowerUP将辅助任务设计为兴趣点的多层次类别预测，设计多层次类别预测层公式为：
Figure BDA0003981915850000081
其中，σ2表示sotfplus激活函数，k表示类别的层次，Wk和bk分别表示第k层的权重矩阵和偏置。
Figure BDA0003981915850000082
为第k层的输出，dk为第k层所包含的类别数。使用交叉熵计算各层次类别的预测损失：
Figure BDA0003981915850000083
其中，N表示每名用户签到轨迹的最大长度，取每名用户的[1,N-1]次签到作为训练集，T表示转置运算，
Figure BDA0003981915850000084
表示第k层的类别标签，通过最小化多层次兴趣点类别预测的损失，模型学习到的兴趣点的表示包含更丰富的语义信息，同时属于同一类别的兴趣点的表示也比较相近。
通过最小化多层次兴趣点类别预测的损失，模型学习到的兴趣点的表示包含更丰富的语义信息，同时属于同一类别的兴趣点的表示也比较相近。因此，被签到次数较少的兴趣点可以通过多层次兴趣点类别预测的辅助任务学习到较好的表示，从而提高下一兴趣点推荐的效果。
在本发明的另一个优选实施例中，所述神经网络模型训练时，设置PowerUP模型的损失函数
Figure BDA0003981915850000088
所述损失函数
Figure BDA0003981915850000089
包含两部分，分别是主任务兴趣点预测的交叉熵损失以及辅助任务的多层次类别预测的交叉熵损失：
Figure BDA0003981915850000085
其中，
Figure BDA0003981915850000086
表示主任务的交叉熵损失，
Figure BDA0003981915850000087
表示辅助任务的交叉熵损失，yt为用户在第t次签到的标签，Wp为要学习的参数。γ1和γ2为超参数，分别用于控制用户表示的占比和权衡兴趣点预测的主任务与辅助任务损失函数的比重，通过设计超参数控制主任务与辅助任务损失函数的比重，上式中的
Figure BDA0003981915850000094
为一个用户的损失，在模型训练过程中，将一个批次中的用户损失取平均作为最终的损失函数。
在本发明的另一个优选实施例中，所述的基于时空幂律注意力的下一兴趣点推荐系统还包括预处理模块：将用户签到序列的数据进行预处理。经预处理模块处理后的数据进入短期偏好模块、长期偏好模块进行相应的短期偏好和长期偏好建模。
作为优选，所述预处理模块包括过滤不活跃用户或不活跃兴趣点。在另外一些实施例中，也可以同时过滤不活跃用户和不活跃兴趣点。
下面对本发明实施例基于时空幂律注意力的下一兴趣点推荐系统的性能进行评价，使用top K的召回率Recall@K和平均倒数排名(Mean Reciprocal Rank，MRR)两个评价指标来评估方法的性能。
召回率指的是模型预测出的正样本占所有正样本的比率。在下一兴趣点推荐中指的是，将模型对各兴趣点的预测值降序排列后，标签在top K的比率。Recall@K的计算方式为：
Figure BDA0003981915850000091
其中，K∈{1,5,10,20}，
Figure BDA0003981915850000092
与Slabel分别表示模型推荐给用户的topK个兴趣点和用户实际访问的兴趣点，即标签。显然，在下一兴趣点推荐任务中，用户下一时间步访问的兴趣点只有一个，即|Slabel|＝1。
(1)MRR是指正样本在所有样本中排名的倒数的平均值，反映了模型整体的排序能力。计算方式为：
Figure BDA0003981915850000093
其中，ranku表示用户u的标签在模型推荐列表中的排名。当标签在推荐列表中排名越高，MRR值越高，模型效果越好。
本发明的实施例中，数据集选取两个广泛使用的现实世界数据集Foursquare-NYC和Foursquare-TKY，对数据集进行预处理，为了减少不活跃用户和冷门地点的影响，删除了签到次数少于5次的用户，以及被签到少于5次的兴趣点。实验中对于每位用户仅使用其最近的N次访问，将数据集分为训练集与测试集，其中每名用户的[1,N-1]次签到作为训练集，第[2,N]次签到作为测试集。表1展示了预处理之后数据集中用户、兴趣点以及签到的统计信息。
表1数据集统计信息
Figure BDA0003981915850000101
本发明实施例主要利用时空注意力来进行下一兴趣点的推荐，本实验部分主要有三个实验：(1)本发明模型的下一兴趣点推荐性能的对比实验；(2)设计消融实验，验证本发明模型各个模块的作用；(3)设计实验验证模型的鲁棒性和可解释性。
在下一兴趣点推荐性能对比实验中，将本发明实施例所实现的PowerUP模型分别与以下模型进行对比：
(1)TMCA模型采用基于LSTM的编码器-解码器结构，提出两种注意力机制自适应地选择相关的历史签到和上下文因素。
(2)DeepMove模型提出使用注意力机制从历史签到中获得相关信息以建模长期用户偏好，使用RNN建模短期偏好。
(3)LSTPM模型利用当前轨迹与历史轨迹的时间和空间相关性建模长期偏好，在建模短期偏好时利用geo-dilated RNN捕获非连续签到之间的地理联系。
(4)STAN模型基于Transformer的下一兴趣点推荐模型，考虑非连续签到之间的时间间隔与地理距离，利用线性插值法学习不同时间间隔与地理距离的表示。
(5)TiSASRec模型基于Transformer的序列推荐模型，对不同用户的时间间隔进行个性化处理得到相对时间间隔，在计算self-attention时考虑不同时间间隔的影响。
对于NYC和TKY两个数据集，兴趣点以及用户的表示的维度均设为100，输入序列的最大长度为100，使用Adam优化器进行优化，学习率为0.001，γ1为0.2、γ2设为0.1，α1和α2设为1，λ1和λ2设为0.001。实验结果如表2、表3所示，表格中加黑的数据为最高的实验结果。
表2NYC数据集上的推荐性能对比实验
Figure BDA0003981915850000102
Figure BDA0003981915850000111
表3TKY数据集上的推荐性能对比实验
Figure BDA0003981915850000112
在Foursquare-NYC和Foursquare-TKY两个数据集上，本发明实施例采用的模型PowerUP在Recall@K和MRR五个评价指标中均显著高于除基于Transformer的TiSASRec之外的其他模型。在Foursquare-NYC数据集中，PowerUP模型的Recall@1、Recall@5和MRR评价指标相较对比模型中的最优结果分别提升了4.35％、1.6％和4.13％；在Foursquare-TKY数据集中，PowerUP模型的Recall@1、Recall@5、Recall@10和MRR评价指标相较对比模型中的最优结果分别提升了3.31％、3.14％、0.89％和3.4％。由于MRR指的是模型的整体排序结果并且Recall@K中的K越小时(如Recall@1和Recall@5)的结果高低更能说明模型预测的准确与否，而PowerUP模型在两个数据集中的MRR、Recall@1和Recall@5均显著高于所有对比模型，这说明PowerUP通过利用时空幂律注意力建模用户长短期偏好以及基于兴趣点多层次类别预测的辅助任务，有助于提升下一兴趣点推荐的效果。
为了研究PowerUP模型中各模块的有效性，本发明设置了模型的变种来进行消融实验，包含以下模型变种：
(1)PowerUP-prod：PowerUP模型的一种变体，探索时间间隔与地理距离之间的关系。即非连续签到之间的时间间隔与地理距离的幂律衰减由相加改为相乘，即
Figure BDA0003981915850000113
(2)w/o time-interval：PowerUP模型的一种变体，即去除非连续签到之间时间间隔的幂律注意力所带来的影响。
(3)w/o dis-interval：PowerUP模型的一种变体，即去除非连续签到之间地理距离的幂律注意力所带来的影响。
(4)w/o pla：PowerUP模型的一种变体，即去除时空幂律注意力对GRU多个时间步的隐状态进行聚合得到的长期偏好
Figure BDA0003981915850000121
(5)w/o usr：PowerUP模型的一种变体，即去掉基于频率的用户个性化表示pu。
(6)w/o
Figure BDA0003981915850000122
PowerUP模型的一种变体，即去除对最高层类别的预测。
(7)w/o
Figure BDA0003981915850000123
PowerUP模型的一种变体，即去除对最高层和次高层类别的预测。
(8)w/o
Figure BDA0003981915850000124
PowerUP模型的一种变体，即仅对兴趣点的类别进行预测。
(9)w/o
Figure BDA0003981915850000125
PowerUP模型的一种变体，即移除了基于多层次的兴趣点类别预测的辅助任务。
得到消融实验结果如表4、表5所示。
表4NYC数据集上的消融实验结果
Figure BDA0003981915850000126
Figure BDA0003981915850000131
表5TKY数据集上的消融实验结果
Figure BDA0003981915850000132
从表4、表5可以看出，在NYC和TKY两个数据集中，PowerUP模型的各个模块对下一兴趣点推荐的性能的提升均有贡献。其中，基于时空幂律注意力的长期偏好对下一兴趣点推荐任务的影响最大，去除基于时空幂律注意力的长期偏好后，即w/o pla，NYC数据集中Recall@1和MRR分别下降了6.06％和9％，TKY数据集中则分别下降了3.52％和4.93％。即使在不使用基于多层次兴趣点类别预测的辅助任务时，即w/o
Figure BDA0003981915850000133
PowerUP模型在两个数据集中的各项评价指标仍高于除TiSASRec外的其他对比算法，并在Recall@1和MRR指标上高于TiSASRec。这反映了非相邻签到之间时间间隔与地理距离以及长期偏好对于下一兴趣点推荐的影响。此外，基于多层次兴趣点类别预测的辅助任务对于实验结果的提升仅次于基于时空幂律注意力的长期偏好，说明通过辅助任务对兴趣点各层次的类别进行预测，可以使模型进一步感知用户的真实出行意图并缓解数据稀疏问题，从而提高模型的推荐准确率。另外，本文观察到在NYC数据集中对时间和空间幂律分布进行相加的实验效果更好，而对于TKY数据集时间和空间幂律分布相乘(PowerUP-prod)在大多数指标上的实验效果高于相加(PowerUP)，这可能是由于不同数据集包含的是不同城市的签到记录，而由于不同城市的城市布局不同导致人们的出行规律不同。
本发明的一些实施例对不同序列长度、向量维度情况下的PowerUP及各模型的性能进行比较，验证系统的鲁棒性。
(1)序列长度对实验的影响
图7.a和图7.b展示了在Foursqure-NYC和FoursquareTKY两个数据集上，PowerUP模型，在序列长度分别为20、40、60、80和100时的实验结果。可以看到，模型性能不会随着序列长度的下降出现剧烈的变化，且在NYC和TKY两个数据集中随着序列长度的增长性能也都在稳定地提升，表明PowerUP对于序列长度比较鲁棒。
(2)向量维度对实验的影响
图8.a直观地反映了NYC中各模型的MRR指标随向量维度的变化趋势。可以看到PowerUP模型在向量维度为40、60和80时的MRR均高于其他模型。图8.b展示了TKY数据集中PowerUP的性能随向量维度变化的趋势。上述两图可证明PowerUP在不同向量维度下均可以保持较高的性能，因此PowerUP对于维度比较鲁棒。
(3)超参数对实验的影响
图9展示了不同的λ1和λ2情况下的实验结果。虽然随着参数的改变PowerUP的性能略有波动，但波动幅度不大。PowerUP在不同超参数下可以保持较高的性能，因此PowerUP对于超参数比较鲁棒。
最后，为了定性地评估PowerUP模型的可解释性，利用t-SNE将NYC数据集中LSTPM模型、TiSASRec模型和PowerUP模型学到的兴趣点的嵌入式表示在三维空间进行可视化，如图9所示。图中的节点为兴趣点降维后的结果，不同的颜色表示不同类别(这里使用的是最高层次的类别)。从图10.a、10.b、10.c中可以看出，对于PowerUP模型学到的兴趣点表示，相同类别的兴趣点距离较近且呈一定程度的聚集状态，不同类别之间具有较为明显的界限。因此说明PowerUP学习的兴趣点表示包含较强的语义信息，具有良好的可解释性。
综上所述，本发明所提出的时空幂律注意力的下一兴趣点推荐系统在推荐性能上优于其他对比实验，从而证明了本发明实施例的有效性，能够更好地应用到下一兴趣点的推荐任务中，此外，通过消融实验验证了本发明实施例提出的时空幂律注意力和通过辅助任务对兴趣点各层次的类别进行预测方法的有效性。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求所确定的保护范围内。

Claims (8)

1.一种基于时空幂律注意力的下一兴趣点推荐系统，其特征在于，包括：
短期偏好模块：利用循环神经网络，捕获用户签到序列的短期偏好ht；
长期偏好模块：计算时间间隔幂律分布、地理距离幂律分布及时空幂律注意力，结合所述短期偏好ht计算用户的长期偏好
Figure FDA0003981915840000011
下一兴趣点推荐模块：结合所述短期偏好ht、所述长期偏好
Figure FDA0003981915840000012
受用户表示pu，通过神经网络预测下一兴趣点
Figure FDA0003981915840000013
并推荐。
2.如权利要求1所述的基于时空幂律注意力的下一兴趣点推荐系统，其特征在于，所述长期偏好模块，包括：
使用时间间隔的幂律分布
Figure FDA0003981915840000014
作为第i次和第t次签到之间关于时间的相关程度，以建模时间因素对下一兴趣点推荐的影响：
Figure FDA0003981915840000015
其中，ΔTit表示第i次和第t次签到兴趣点之间的时间间隔，a1和λ1是幂律分布的参数；
利用距离的幂律衰减
Figure FDA0003981915840000016
根据地理距离来衡量第i次签到和第t次签到之间的权重：
Figure FDA0003981915840000017
其中，ΔDit表示第i次和第t次签到兴趣点之间的地理距离，a2和λ2是幂律分布的参数；
计算时空幂律注意力，利用时空幂律注意力决定历次签到状态对当前状态影响程度的大小，从而建模用户的长期偏好，根据所述
Figure FDA0003981915840000018
和
Figure FDA0003981915840000019
计算得到权重系数αit，并结合短期偏好计算长期偏好
Figure FDA00039819158400000110
Figure FDA00039819158400000111
Figure FDA00039819158400000112
其中，hi∈Rd表示第i次签到的隐状态，R代表实数域，d为嵌入式表示的维度大小，长期偏好
Figure FDA00039819158400000113
表示为0～t次签到隐状态的加权，权重系数αit反映hi与ht的相关程度。
3.如权利要求1所述的基于时空幂律注意力的下一兴趣点推荐系统，其特征在于，所述用户表示pu，根据用户访问过的兴趣点的表示及其访问频率表征为：
Figure FDA00039819158400000114
其中，B(u)为用户u访问过的兴趣点集合，xj为第j个兴趣点的向量化表示，nj表示用户u在第j个兴趣点的签到次数。
4.如权利要求1～3任一项所述的基于时空幂律注意力的下一兴趣点推荐系统，其特征在于，所述下一兴趣点预测模块通过下式所示神经网络预测下一兴趣点
Figure FDA0003981915840000021
Figure FDA0003981915840000022
其中，Wp为神经网络参数，γ1为超参数，用于控制用户表示的占比。
5.如权利要求1所述的基于时空幂律注意力的下一兴趣点推荐系统，其特征在于，还包括缓解数据稀疏模块：捕获所述用户签到序列中的短期偏好ht和长期偏好
Figure FDA0003981915840000023
后，利用兴趣点多层次类别信息，设计基于兴趣点多层次类别预测的辅助任务，缓解数据稀疏问题。
6.如权利要求5所述的基于时空幂律注意力的下一兴趣点推荐系统，其特征在于，所述神经网络模型训练时，设置模型的损失函数
Figure FDA0003981915840000024
包含两部分，分别是主任务兴趣点预测的交叉熵损失以及所述辅助任务的多层次类别预测的交叉熵损失。
7.如权利要求1所述的基于时空幂律注意力的下一兴趣点推荐系统，其特征在于，还包括预处理模块：将用户签到序列的数据进行预处理。
8.如权利要求7所述的基于时空幂律注意力的下一兴趣点推荐系统，其特征在于，所述将用户签到序列的数据进行预处理包括：过滤不活跃用户和/或不活跃兴趣点。
CN202211674562.5A 2022-12-05 2022-12-05 基于时空幂律注意力的下一兴趣点推荐系统 Pending CN115952355A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211674562.5A CN115952355A (zh) 2022-12-05 2022-12-05 基于时空幂律注意力的下一兴趣点推荐系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211674562.5A CN115952355A (zh) 2022-12-05 2022-12-05 基于时空幂律注意力的下一兴趣点推荐系统

Publications (1)

Publication Number Publication Date
CN115952355A true CN115952355A (zh) 2023-04-11

Family

ID=87290751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211674562.5A Pending CN115952355A (zh) 2022-12-05 2022-12-05 基于时空幂律注意力的下一兴趣点推荐系统

Country Status (1)

Country Link
CN (1) CN115952355A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117763492A (zh) * 2023-12-04 2024-03-26 淮阴工学院 基于时序空间特征和偏好波动的网络安全工具智能推荐方法及装置
CN117828193A (zh) * 2024-03-04 2024-04-05 山东省计算中心（国家超级计算济南中心） 基于多兴趣半联合学习兴趣推荐方法、系统、设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117763492A (zh) * 2023-12-04 2024-03-26 淮阴工学院 基于时序空间特征和偏好波动的网络安全工具智能推荐方法及装置
CN117828193A (zh) * 2024-03-04 2024-04-05 山东省计算中心（国家超级计算济南中心） 基于多兴趣半联合学习兴趣推荐方法、系统、设备及介质
CN117828193B (zh) * 2024-03-04 2024-05-17 山东省计算中心（国家超级计算济南中心） 基于多兴趣半联合学习兴趣推荐方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
Chen et al. Understanding ridesplitting behavior of on-demand ride services: An ensemble learning approach
Liu et al. An attention‐based category‐aware GRU model for the next POI recommendation
Li et al. A hierarchical temporal attention-based LSTM encoder-decoder model for individual mobility prediction
Lee et al. A computerized feature selection method using genetic algorithms to forecast freeway accident duration times
Niu et al. An online-traffic-prediction based route finding mechanism for smart city
CN111091196B (zh) 客流数据确定方法、装置、计算机设备和存储介质
CN109062962B (zh) 一种融合天气信息的门控循环神经网络兴趣点推荐方法
CN115952355A (zh) 基于时空幂律注意力的下一兴趣点推荐系统
CN106910199A (zh) 面向城市空间信息采集的车联网众包方法
US20200075168A1 (en) Methods and systems for detecting environment features in images, predicting location-based health metrics based on environment features, and improving health outcomes and costs
Ahmed et al. Knowledge graph based trajectory outlier detection in sustainable smart cities
Zhou et al. Improving human mobility identification with trajectory augmentation
Rosés et al. Agent-Based Simulation of Offender Mobility: Integrating Activity Nodes from Location-Based Social Networks.
Liu et al. Modeling the interaction coupling of multi-view spatiotemporal contexts for destination prediction
Solomon et al. Analyzing movement predictability using human attributes and behavioral patterns
Diana et al. A multimodal perspective in the study of car sharing switching intentions
Zheng et al. Modeling taxi driver search behavior under uncertainty
Xue et al. Forecasting hourly attraction tourist volume with search engine and social media data for decision support
Zhu et al. Modelling ride-sourcing matching and pickup processes based on additive Gaussian Process Models
Quan et al. An optimized task assignment framework based on crowdsourcing knowledge graph and prediction
Liao et al. A bi-direction LSTM attention fusion model for the missing POI identification
Faial et al. A methodology for taxi demand prediction using stream learning
Rodríguez-Rueda et al. Origin–Destination matrix estimation and prediction from socioeconomic variables using automatic feature selection procedure-based machine learning model
CN116150511A (zh) 一种基于时空上下文和类别偏好的下一个位置推荐方法
Liao et al. Location prediction through activity purpose: integrating temporal and sequential models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination