CN110399565A - 基于时空周期注意力机制的递归神经网络兴趣点推荐方法 - Google Patents

Abstract

本发明涉及一种基于时空周期注意力机制的递归神经网络连续兴趣地点推荐方法，属于推荐系统领域；根据每个用户的签到数据，构造兴趣地点序列和时间属性序列，并使用TD‑LSTM处理兴趣地点序列和时间属性序列，得到二者的中间表示，再针对每个候选兴趣地点分别计算时间、空间、周期注意力分布，并使用这三种注意力分布加权兴趣地点序列和时间属性序列的中间表示得到其特有表示，再综合用户偏好和候选兴趣地点的属性预测用户对候选兴趣地点的喜好评分并进行推荐。对比现有技术，本发明使用更多的历史签到记录来预测下一步的兴趣地点，并使用注意力机制发现历史签到中的关键信息，通过提高关键信息对结果的影响提高推荐性能，进而提供准确高效的推荐服务。

Description

基于时空周期注意力机制的递归神经网络兴趣点推荐方法

技术领域

本发明涉及一种连续兴趣点推荐方法，具体涉及一种基于时间、空间、周期注意力和递归神经网络的连续兴趣点推荐方法，属于推荐系统技术领域。

背景技术

随着智能手机的流行，越来越多的用户开始在智能手机上使用社交网络应用，由于智能手机的便携性和GPS定位的准确性，使得在社交网络中分享实时位置成为新的玩法。由此，基于地理位置信息的社交网络(Location-Based Social Network，LBSN)应运而生，LBSN用户可以随时进行签到(Check-in)，将自己的动态和所在的位置通过LBSN分享给好友。LBSN中用户分享的地点被称为兴趣地点(Point of Interest，POI)，除了具有经纬度信息外，还有地名、类别、社交功能等其他信息。兴趣地点推荐是LBSN中特有的推荐功能，一般利用用户的签到历史和当前位置信息，预测用户接下来会去的兴趣地点。

兴趣地点推荐可以给用户提供便利、辅助用户决策。当用户去一个不熟悉的地方旅游时，不知道当地有什么景点、餐馆适合自己，往往会花费大量时间在查找相关信息上，这时候可以给用户推荐合适的兴趣地点，减少搜索、查询上浪费的时间，提高用户的游玩体验。对于商家来说，传统的广告宣传方法费时费力，效果也没有保证，主要原因是传统的广告宣传没有针对性，大量费用浪费在向非目标用户的宣传上。而在社交网络中投放广告，通过利用LBSN中的兴趣地点推荐功能，过滤掉大量非目标用户，将商家信息推送给目标用户。从而避免盲目的大规模的广告宣传，以较小的广告投入来获得较大的潜在客流，从而节省运营成本。对于社交网络来说，活跃用户是维持社交网络繁荣的关键。优秀的推荐系统能够提升用户体验，增加用户的使用时长，培养用户的使用习惯，提高用户粘性。此外，通过与商家的合作，精确的推荐进行转化也能带来不错的收入。因此LBSN中的兴趣地点推荐会形成对用户、商家以及社交网络三方都有利的三赢局面，值得工业界和学术界进行深入的研究。

本发明的连续兴趣点推荐旨在预测用户接下来要访问的兴趣点，当前的研究工作通过使用深度学习技术融合社交网络中的签到、好友、文本、图像等数据，通过融合多模态数据进行兴趣地点推荐。目前，存在很多工作研究了使用多个连续的签到记录来挖掘更多用户签到相关的偏好。如使用递归神经网络来处理用户签到序列数据，利用递归神经网络的输出作为用户签到序列数据的表示，再将序列表示输入神经网络中，用于预测用户下一步签到的兴趣地点。此外兴趣地点推荐任务中，用户在不同的时间会有不同的行为模式，具有不同的签到规律，一些方法通过将一天24小时划分为5个时间段，分别学习每个时间段内的兴趣地点签到规律。时间间隔和距离也是影响用户签到的重要因素，时间间隔越长，连续的两个签到之间的关联性越小，距离越远，用户签到的可能性也越低，因此大多数模型使用时间衰减因子和距离衰减因子来建模时间间隔、距离对用户签到的影响。

用户的历史签到记录都会影响下一步签到的兴趣地点，由于用户具有多种行为模式，每个历史签到记录的影响程度不同，需要提高相关的历史签到记录对下一步签到兴趣地点的影响，同时降低无关历史签到记录对下一步签到兴趣地点的影响。

发明内容

本发明的目的在于提供一种基于时空周期注意力机制的递归神经网络连续兴趣地点推荐方法，该方法通过使用更多的用户签到记录来挖掘用户的签到特性，并使用时间、空间注意力机制发现时间属性序列和兴趣地点序列中的关键记录。同时使用周期注意力机制建模兴趣地点重复签到的弱周期特性，用于预测用户签到历史中的兴趣地点再次签到的可能，此外再综合用户偏好和兴趣地点特性来预测用户对每个候选兴趣地点的评分，用于用户下一步签到兴趣地点推荐。

本发明的思想是根据每个用户的签到历史序列数据，生成时间属性序列和兴趣地点序列，并计算每个候选兴趣地点与时间属性序列、兴趣地点序列的关联，再使用Softmax函数将关联转换为相应的时间、空间注意力分布，并与时间属性序列和兴趣地点序列的中间表示进行加权求和，得到时间属性序列和兴趣地点序列关于候选兴趣地点的特有表示；接下来使用傅里叶变换构建兴趣地点签到的弱周期特性，得到签到历史中的兴趣地点再次签到的未归一化概率，通过Softmax函数转化为周期注意力分布，与兴趣地点序列中间表示加权得到兴趣地点序列关于周期特性的特有表示；最后综合用户偏好、兴趣地点特性以及上述三种注意力加权下的三种特有表示，计算候选兴趣地点的评分，并将推荐问题看成多分类问题，使用交叉熵损失函数来衡量多分类模型预测性能，并根据交叉熵损失来优化多分类模型。

本发明的目的是通过以下技术方案实现的：

为了介绍本发明，先介绍需要使用的变量及其数学表示：使用U＝{u₁,u₂,…,u_m}来表示社交网络中的用户集合，使用Q＝{q₁,q₂,…,q_n}来表示兴趣地点集合，使用<lat_j,lon_j>表示兴趣地点q_j的经纬度，用户u到t_i时刻的签到历史序列数据为其中t₁,t₂,…,t_i表示用户u签到的具体时间，由于用户在不同的时间会有不同的行为模式，为了更好的研究用户签到的时间模式，需要将签到时间分解为月份M、每月的第几周W、每周的第几天D，以及每天的不同时间段T，这四种时间子属性构成时间属性S＝<M,W,D,T>。

一种基于时空周期注意力机制的递归神经网络连续兴趣地点推荐方法，包括以下步骤：

步骤一、构造兴趣地点序列，将每个用户u的签到记录按时间排序，取出最近K个签到记录中的兴趣地点，构成一个长度为K的序列数据——兴趣地点序列：

作为预测下一步签到兴趣地点的历史兴趣地点信息；其中，表示用户u在t_i时刻所在的兴趣地点；

步骤二、构造时间属性序列，将每个用户u的签到记录按时间排序，取出最近K个签到记录中的时间属性，构成一个长度为K的序列数据——时间属性序列：

作为预测下一步签到兴趣地点的历史时间属性信息；其中，表示用户u在t_i时刻的时间属性；

步骤三、用户、兴趣地点、时间属性的向量化表示：

将用户集合U中的每个用户、兴趣地点集合Q中的每个兴趣地点以及四种时间子属性的每个取值都使用一个向量来表示，成为其对应的嵌入(Embedding)向量，同一种Embedding向量构成Embedding矩阵，其中用户的Embedding矩阵为E_U∈R^m×d，m表示用户的数量，兴趣地点的Embedding矩阵为E_Q∈R^n×d，n表示兴趣地点的数量，月份M的Embedding矩阵每月第几周W的Embedding矩阵为每周第几天D的Embedding矩阵为以及时间段属性T的Embedding矩阵为其中用户和兴趣地点的Embedding向量的维度为d维，而时间属性的4个子属性的Embedding向量维度为维。这些Embedding矩阵是模型的一部分参数。

步骤四、使用长短期记忆网络处理兴趣地点序列、时间属性序列

利用第三步中分配的Embedding向量，将兴趣地点序列中的每个兴趣地点转换为该兴趣地点对应的Embedding向量，得到兴趣地点序列的向量表示同时，使用类似的方法，将时间属性序列的每个时间属性转换为该时间属性对应的Embedding向量，得到时间属性序列的向量表示

将兴趣地点序列、时间属性序列的向量表示分别输入时间衰减的长短期记忆网络(Time Decaying Long Short Term Memory，TD-LSTM)，得到兴趣地点序列和时间属性序列的中间表示：

其中TD-LSTM的维度为d维，Δt为连续的两个签到的时间间隔，用来降低很久前的签到对后续签到的影响。TD-LSTM的输出为该时刻及之前历史的综合表示，如综合了到共i个兴趣地点信息。

步骤五、计算空间注意力机制

预测下一步签到的兴趣地点需要计算每个候选兴趣地点q在下一步签到的可能，兴趣地点序列中不同兴趣地点与候选兴趣地点q的关联性也不同，计算兴趣地点序列与候选兴趣地点q的关联分，

其中，表示矩阵的第i行序列，E_Q[q]表示候选兴趣地点q的Embedding向量，W_Q∈R^d×d表示如何与E_Q[q]产生关联，并使用Softmax函数将关联分转换为空间注意力分布，

再利用空间注意力分布对兴趣地点序列的中间表示进行加权，

得到兴趣地点序列关于候选兴趣地点q的特有表示x_q。

步骤六、计算时间注意力机制

时间注意力机制用于发现时间属性序列中的关键数据，首先计算时间属性序列与候选兴趣地点q的关联分，

其中，表示矩阵的第i行序列，W_S∈R^d×d表示如何与E_Q[q]产生关联，并使用Softmax函数将关联分转换为时间注意力分布，

再利用时间注意力分布对时间属性序列的中间表示进行加权，

得到时间属性序列关于候选兴趣地点q的特有表示y_q。

步骤七、计算周期注意力机制

周期注意力机制用于建模兴趣地点序列中每个兴趣地点在下个时刻再次签到的可能。首先计算时间偏移序列τ，

τ＝<t_i+1-t_i-K+1,t_i+1-t_i-K+2,…,t_i+1-t_i>

然后使用傅里叶变换计算兴趣地点序列中每个兴趣地点在下个时刻再次签到的未归一化概率c_k，

其中μ₀为傅里叶变换的直流分量，μ_s，μ_c为正、余弦波的振幅，L表示离散傅里叶变换的交流分量项数，τ_k为时间偏移序列τ的第k项，表示下个签到时刻t_i+1与签到历史序列中第k个签到的时间差t_i+1-t_i-K+k；再使用Softmax函数将概率归一化，得到周期注意力分布，

最后使用周期注意力分布对兴趣地点序列的中间表示进行加权，

得到兴趣地点序列关于弱周期性的特有表示z。

步骤八、计算候选兴趣地点的评分

利用步骤六、七、八中计算的时间、空间、周期注意力加权特有表示x_q，y_q，z以及用户的Embedding向量u＝E_U[u]，候选兴趣地点的Embedding向量q＝E_Q[q]，计算候选兴趣地点q作为下一步签到兴趣地点的评分：

步骤九、损失函数与模型训练

计算每个候选兴趣地点作为下一步签到兴趣地点的评分并使用Softmax函数将评分转化为下一步签到兴趣地点的概率分布：

再使用多分类交叉熵作为损失函数，得到模型训练的目标函数：

其中case∈D表示训练集合D中的训练样本，为真实数据集中的兴趣地点分布。通过计算损失函数J关于模型参数Θ的梯度并使用随机梯度下降算法训练模型。

步骤十、利用步骤九中训练好的模型，计算所有候选兴趣地点作为下一步签到兴趣地点的评分并将评分从大到小排序，将评分最高的前N个兴趣地点返回作为模型的推荐结果。

有益效果：

本发明针对基于地理位置信息的社交网络中的连续兴趣地点推荐问题，利用用户签到记录序列数据，提出一种新的连续兴趣地点推荐方法，通过时间、空间注意力机制，发现时间属性序列、兴趣地点序列中的关键记录，并提高其权重来增加对结果的影响。周期注意力用于建模兴趣地点重复签到的规律。再综合用户偏好和兴趣地点特性，进行下一步兴趣地点推荐。

附图说明

图1为四种时间子属性生成示意图；

图2为本发明模型示意图；

图3为本发明实施例中单个用户连续签到活动示意图；

图4为训练样本生成示意图；

图5是本发明实施例中本模型与其他模型的对比实验结果；(a)为纽约市；(b)为东京市；

图6是本发明实施例中注意力机制有效性验证实验结果；(a)为纽约市；(b)为东京市；

图7为本发明实施例一种基于时空周期注意力机制的递归神经网络连续兴趣点推荐方法流程示意图。

具体实施方式

下面结合附图与实施例对本发明进行详细介绍。

图3为数据集中单个用户签到活动示意图。其中主要有连续签到的兴趣地点序列P₁,P₂,P₃,…,P_i，相邻两个签到记录之间的时间间隔Δt₁,Δt₂,…,Δt_i-1，以及相应的距离Δd₁,Δd₂,…,Δd_i-1。本发明使用用户最近签到的K个记录数据来建模用户签到的时间、空间、周期签到特性，并综合考虑这三种特性预测用户下一步签到的兴趣地点，图2为模型的结构示意图，具体实施过程如图7所示。

原始数据为用户的签到记录，包含用户编号，兴趣地点编号，兴趣地点种类，兴趣地点经纬度等信息。由于数据是系统生成的日志文件，按照签到时间顺序排序。因此需要对其进行处理，得到符合本发明需要的数据格式。具体步骤如下：

一、将原始数据集根据用户编号分组并按签到时间先后顺序排序，生成每个用户连续签到序列数据。对每个用户的连续签到序列逐个提取K+1个连续签到记录，其中前K个记录为历史签到数据，最后一个记录为真实的下一步签到兴趣地点。具体过程如图4所示。

二、从步骤一中生成的长度为K+1的签到记录中提取兴趣地点的编号构造兴趣地点序列根据每个记录的签到时间戳，转换为UTC时间格式，如图1所示，提取时间子属性M,W,D,T，并构造时间属性序列同时，计算第K+1个记录与前K个记录的时间偏移τ。

三、利用Embedding矩阵将兴趣地点序列和时间属性序列进行向量化表示。

(1)兴趣地点序列的向量化，将兴趣地点序列中每个兴趣地点编号替换为相应的兴趣地点的Embedding向量，从而得到兴趣地点序列的向量表示即：

(2)时间属性序列的向量化，将时间属性的四个子属性分别替换为向量的Embedding向量，再将这四个Embedding向量拼接起来，得到长度为d的时间属性的Embedding向量。将中每个时间属性都按这个方法进行替换，得到时间属性序列的向量表示即：

四、使用TD-LSTM分别对兴趣地点序列的向量表示和时间属性序列的向量表示进行处理，得到相应的中间表示和

其中Δt为长度为K的序列，其构成为：

Δt＝<0,t_i-K+2-t_i-K+1,…,t_i-t_i-1>＝<0,Δt_i-K+1,…,Δt_i-1>

TD-LSTM中，时间间隔Δt主要作用在LSTM内部记忆更新过程中。传统LSTM的记忆更新过程为：

其中C_t-1为t-1时刻的记忆信息，f_t为遗忘门的输出，f_t·C_t-1表示如何保留以往的记忆。为t时刻新增的记忆信息，i_t为输入门的输出，表示如何加入新的记忆到LSTM中。

在TD-LSTM中，记忆更新过程中加入连续签到间的时间间隔Δt的影响，具体为：

其中σ(-wΔt+b)表示随时间衰减的系数，w≥0表示衰减速度，b为偏置，影响Δt趋近于0时的衰减系数，为sigmoid函数。当两个签到的时间间隔很长时，时间衰减项σ(-wΔt+b)趋近于0，这时TD-LSTM将会遗忘之前时刻的记忆信息，只保留当前时刻的新增记忆信息。

五、利用兴趣地点序列的中间表示和时间属性序列的中间表示以及候选兴趣地点q的向量表示E_Q[q]，计算时间注意力分布和空间注意力分布，再分别计算兴趣地点序列关于候选兴趣地点q的特有表示x_q，时间属性序列关于候选兴趣地点q的特有表示y_q。

六、利用兴趣地点序列的中间表示以及下个签到与历史签到的时间偏移，使用傅里叶变换计算周期注意力分布，再计算兴趣地点序列关于弱周期性的特有表示z。

七、使用步骤五、六中计算的三种注意力加权表示x_q、y_q、z，以及用户和候选兴趣地点的向量表示u、q，综合计算用户对候选兴趣地点的喜好评分并使用分类交叉熵损失构建目标函数J，计算目标函数关于模型参数Θ的梯度使用梯度下降算法来更新参数：

其中Θ表示模型的参数，主要有{E_Q,E_U,E_M,E_W,E_D,E_T,μ₀,W_Q,W_S,μ_s,μ_c,w,b}以及TD-LSTM内部的参数，并使用标准正态分布N(0,1)随机初始化模型参数，其中w使用随机值的绝对值初始化，α为学习率，用于控制学习的速度。

八、利用学习到的模型，计算给定兴趣地点序列和时间属性序列的条件下用户对所有兴趣地点的喜好评分并对喜好评分进行排序，并将排在前N位的兴趣点推荐给用户。

评价指标

下面对本发明连续兴趣地点推荐性能进行评价。通过定义准确率和平均准确率均值来评估连续兴趣地点推荐的性能：

(1)准确率P@N，连续兴趣地点推荐任务与传统推荐任务不同，传统推荐任务中，对一个目标用户存在多个相关的物品，而连续兴趣地点推荐任务是预测用户下一步签到的兴趣地点，因此每次推荐时，相关的兴趣地点只有一个。因此传统推荐系统的准确率指标不适合评价连续兴趣地点推荐，本发明使用命中率来计算推荐的准确率，即：

其中M为测试样本数量，y_i为第i个样本的真实结果，R为推荐结果列表，R_i,1:N为推荐结果的前N个，I(·)为指示函数，其定义为：

因此，P@N表示每次推荐N个兴趣地点的平均推荐命中率。

(2)平均准确率均值MAP@N，平均准确率均值评价指标不仅关注推荐是否命中，还关注命中的兴趣地点在推荐列表中的位置，位置越靠前，MAP@N值越高，其定义为：

其中T_i为样本i的真实签到兴趣地点集合，MAP@N计算真实签到兴趣地点排在1到N位的情况，并计算平均准确率均值。

数据集：

从基于地理位置信息的社交网络FourSquare数据集中选择两个大型数据集(TKY和NYC)，记录了纽约和东京的用户从2012年4月到2013年2月的签到数据，数据集的统计信息见表5.5。TKY和NYC数据集中用户的平均签到次数很高，几乎都属于核心用户。为了减少冷门地点的影响，我们去除签到次数小于5次的地点。得到经过处理的数据集后，按照每个用户的签到时间轴切分训练集和测试集，其中前70％为训练集，后30％为测试集。数据集的统计信息如表1所示。

表1数据集统计信息

数据集	用户	地点	签到	签到/用户	签到/地点
						东京(TKY)	2293	61858	573703	250.19	9.27
纽约(NYC)	1083	38333	227428	209.98	5.93

实验结果：

本发明主要利用时间、空间、周期注意力来进行下一步签到兴趣地点推荐，因此本实验部分主要有两个实验，(1)本发明模型的下一步兴趣地点推荐性能对比实验。(2)本发明提出的三种注意力机制有效性实验。

在下一步兴趣地点推荐性能对比实验中，我们将本发明(STCARNN)与以下算法进行对比：

(1)NEXT模型将用户、当前兴趣地点以及候选兴趣地点的Embedding向量输入神经网络，计算相应的评分，同时加入用户和兴趣地点的辅助数据以及时间间隔信息来提高模型性能，并使用DeepWalk算法来预训练用户和兴趣地点的向量。

(2)ST-RNN模型利用RNN模型来处理用户的历史签到记录，并根据不同的时间间隔和距离来学习不同的RNN参数，将RNN的输出作为用户历史签到记录的表示，并结合用户和候选兴趣地点信息来预测评分。

(3)FPMC-LR模型通过分解三阶张量兴趣地点转移概率张量，来预测下一个兴趣地点，并使用当前兴趣地点和候选兴趣地点的距离来过滤不合理的候选兴趣地点。

我们利用训练集优化模型参数，并将最优模型用于测试集，实验结果如表2、表3所示。

表2 TKY数据集上的推荐性能对比实验

评价指标	ST-RNN	FPMC-LR	NEXT	STCARNN
					P@1	0.1160	0.0628	0.0829	0.1489
P@5	0.1535	0.1308	0.2075	0.3111
					P@10	0.1836	0.1548	0.2654	0.3537
P@20	0.2067	0.2054	0.3178	0.3826
					MAP@20	0.0849	0.0942	0.1396	0.2187

表3 NYC数据集上的推荐性能对比实验

评价指标	ST-RNN	FPMC-LR	NEXT	STCARNN
					P@1	0.0918	0.1151	0.0589	0.0988
P@5	0.1568	0.1478	0.1576	0.2265
					P@10	0.1855	0.1723	0.2104	0.2790
P@20	0.2124	0.1919	0.2635	0.3219
					MAP@20	0.1206	0.0814	0.1049	0.1557

由表2、表3以及图5.a、图5.b可知，本发明的STCARNN模型的性能优于其他三个模型，说明本发明提出的使用序列数据和时间、空间、周期注意力的模型能够完成兴趣地点推荐的任务，且具有不错性能。此外，深度模型的性能几乎都比FPMC-LR好，原因在于深度模型能够利用更多的历史数据以及辅助信息，且深度模型能够更好的发掘数据中隐藏的特征。

在注意力机制有效性实验中，我们依次从本发明(STCARNN)模型中移除时间、空间、周期注意力机制，得到三种变体，并与本发明模型进行对比：

(1)TCARNN模型是在STCARNN模型的基础上移除空间注意力项，使用用户、时间注意力项、周期注意力项以及候选兴趣地点属性来预测下一个签到兴趣地点。

(2)SCARNN模型是在STCARNN模型的基础上移除时间注意力项，使用用户、空间注意力项、周期注意力项以及候选兴趣地点属性来预测下一个签到兴趣地点。

(3)STARNN模型是在STCARNN模型的基础上移除周期注意力项，使用用户、空间注意力项、时间注意力项以及候选兴趣地点属性来预测下一个签到兴趣地点。

我们利用训练集优化模型参数，并将最优模型用于测试集，实验结果如表4、表5所示。

表4 TKY数据集上的注意力机制有效性实验

评价指标	TCARNN	SCARNN	STARNN	STCARNN
					P@1	0.1296	0.1195	0.1280	0.1489
P@5	0.2454	0.2138	0.2220	0.3111
					P@10	0.2704	0.2372	0.2434	0.3537
P@20	0.2908	0.2567	0.2643	0.3826
					MAP@20	0.1863	0.1588	0.1697	0.2187

表5 NYC数据集上的注意力机制有效性实验

由表4、表5以及图6.a、图6.b可知，STCARNN模型的性能始终优于其变体，说明去掉时间、空间、周期注意力模块都会降低模型的性能，从而证明时间、空间、周期注意力模块都对模型性能有一定的贡献。而且时间注意力在TKY和NYC数据集上的贡献差别很大，说明注意力模块的贡献与具体的数据集有关。

综上所述，本发明所提出的基于时空周期注意力机制的递归神经网络连续兴趣地点推荐模型在推荐性能上优于其他对比实验，从而证明了本发明的有效性，能够应用到连续兴趣点推荐任务并提供有效的兴趣点推荐。此外，通过注意力机制有效性实验验证了本发明提出的时间、空间、周期注意力机制的有效性。

为了说明本发明的内容及实施方法，本说明书给出了一个具体实施例。在实施例中引入细节的目的不是限制权利要求书的范围，而是帮助理解本发明所述方法。本领域的技术人员应理解：在不脱离本发明及其所附权利要求的精神和范围内，对最佳实施例步骤的各种修改、变化或替换都是可能的。因此，本发明不应局限于最佳实施例及附图所公开的内容。

Claims (1)

1.一种基于时空周期注意力机制的递归神经网络连续兴趣地点推荐方法，其特征在于：包括以下步骤：

步骤一、构造兴趣地点序列，将每个用户u的签到记录按时间排序，取出最近K个签到记录中的兴趣地点，构成一个长度为K的序列数据——兴趣地点序列：

作为预测下一步签到兴趣地点的历史兴趣地点信息；其中，表示用户u在t_i时刻所在的兴趣地点；

步骤二、构造时间属性序列，将每个用户u的签到记录按时间排序，取出最近K个签到记录中的时间属性，构成一个长度为K的序列数据——时间属性序列：

作为预测下一步签到兴趣地点的历史时间属性信息；其中，表示用户u在t_i时刻的时间属性；

步骤三、用户、兴趣地点、时间属性的向量化表示

将用户集合U中的每个用户、兴趣地点集合Q中的每个兴趣地点以及四种时间子属性：月M、周W、天D、时间段T的每个取值都使用一个向量来表示，成为其对应的嵌入(Embedding)向量，同类Embedding向量构成Embedding矩阵，其中用户的Embedding矩阵为E_U∈R^m×d，m表示用户的数量，兴趣地点的Embedding矩阵为E_Q∈R^n×d，n表示兴趣地点的数量，月份M的Embedding矩阵每月第几周W的Embedding矩阵为每周第几天D的Embedding矩阵为以及时间段属性T的Embedding矩阵为 其中用户和兴趣地点的Embedding向量的维度为d维，而时间属性的4个子属性的Embedding向量维度为维；

步骤四、使用长短期记忆网络处理兴趣地点序列、时间属性序列

利用第三步中分配的Embedding向量，将兴趣地点序列中的每个兴趣地点转换为该兴趣地点对应的Embedding向量，得到兴趣地点序列的向量表示同时，使用类似的方法，将时间属性序列的每个时间属性转换为该时间属性对应的Embedding向量，得到时间属性序列的向量表示

将兴趣地点序列、时间属性序列的向量表示分别输入时间衰减的长短期记忆网络(Time Decaying Long Short Term Memory，TD-LSTM)，得到兴趣地点序列和时间属性序列的中间表示：

其中TD-LSTM的维度为d维，Δt为连续的两个签到的时间间隔，用来降低很久前的签到对后续签到的影响；TD-LSTM的输出为该时刻及之前历史的综合表示；

步骤五、计算空间注意力机制

预测下一步签到的兴趣地点需要计算每个候选兴趣地点q在下一步签到的可能，兴趣地点序列中不同兴趣地点与候选兴趣地点q的关联性也不同，通过下式计算兴趣地点序列与候选兴趣地点q的关联分：

其中，表示矩阵的第i行序列，E_Q[q]表示候选兴趣地点q的Embedding向量，W_Q∈R^d×d表示如何与E_Q[q]产生关联，并使用Softmax函数将关联分转换为空间注意力分布：

再利用空间注意力分布对兴趣地点序列的中间表示进行加权：

得到兴趣地点序列关于候选兴趣地点q的特有表示xq；

步骤六、计算时间注意力机制

时间注意力机制用于发现时间属性序列中的关键数据，首先计算时间属性序列与候选兴趣地点q的关联分：

其中，表示矩阵的第i行序列，W_S∈R^d×d表示如何与E_Q[q]产生关联，并使用Softmax函数将关联分转换为时间注意力分布：

再利用时间注意力分布对时间属性序列的中间表示进行加权：

得到时间属性序列关于候选兴趣地点q的特有表示y_q；

步骤七、计算周期注意力机制

周期注意力用户建模兴趣地点序列中每个兴趣地点在下个时刻再次签到的可能；首先计算时间偏移序列T，

τ＝<t_i+1-t_i-K+1，t_i+1-t_i-K+2，…，t_i+1-t_i>

然后使用傅里叶变换计算兴趣地点序列中每个兴趣地点在下个时刻再次签到的未归一化概率c_k，

其中μ₀为傅里叶变换的直流分量，μ_s，μ_c为正、余弦波的振幅，L表示离散傅里叶变换的交流分量项数，τ_k为时间偏移序列τ的第k项，表示下个签到时刻t_i+1与签到历史序列中第k个签到的时间差t_i+1-t_i-K+k；再使用Softmax函数将概率归一化，得到周期注意力分布：

最后使用周期注意力分布对兴趣地点序列的中间表示进行加权：

得到兴趣地点序列关于弱周期性的特有表示z；

步骤八、计算候选兴趣地点的评分

利用步骤六、七、八中计算的时间、空间、周期注意力加权特有表示x_q，y_q，z以及用户的Embedding向量u＝E_U[u]，候选兴趣地点的Embedding向量q＝E_Q[q]，计算候选兴趣地点q作为下一步签到兴趣地点的评分：

步骤九、损失函数与模型训练

计算每个候选兴趣地点作为下一步签到兴趣地点的评分并使用Softmax函数将评分转化为下一步签到兴趣地点的概率分布：

再使用多分类交叉熵作为损失函数，得到模型训练的目标函数：

其中case∈D表示训练集合D中的训练样本，为真实数据集中的兴趣地点分布；通过计算损失函数J关于模型参数Θ的梯度并使用随机梯度下降算法训练模型；

步骤十、利用步骤九中训练好的模型，计算所有候选兴趣地点作为下一步签到兴趣地点的评分并将评分从大到小排序，将评分最高的前N个兴趣地点返回作为模型的推荐结果。