CN114780866A - 一种基于时空上下文兴趣学习模型的个性化智能推荐方法 - Google Patents

Abstract

一种基于时空上下文兴趣学习模型的个性化智能推荐方法，使用图神经网络建模用户历史签到行为序列，通过创新图消息传播与聚合的拉普拉斯范数，融合兴趣点之间的交互关联性及空间关联性来获取兴趣点的高阶特征表示。同时编码日模式创新性的获取到了用户的长期兴趣，并使用长短期记忆网络捕获用户短期行为模式作为短期兴趣，通过层间注意力获取长短期兴趣。在此基础上进行候选兴趣点的概率计算作为推荐依据。通过图卷积的方式提高了兴趣点的特征提取效果，充分利用时空上下文挖掘用户的兴趣，以此进行推荐提高准确率，解决用户的出行需求。

Description

一种基于时空上下文兴趣学习模型的个性化智能推荐方法

技术领域

本发明涉及兴趣预测的个性化推荐技术领域，具体涉及一种基于时空上下文兴趣学习模型的个性化智能推荐方法。

背景技术

随着基于位置社交网络的兴起，人们习惯在出行时“打卡”访问的地点分享生活的点滴，通过技术问题为用户推荐下一个“打卡”目的地成为了用户的重大需求之一。兴趣学习推荐算法能够很好的解决用户出行需求，它促进了用户和地点之间的关系建模，帮助用户更快速便捷的寻找自己感兴趣的地点。尽管现有的推荐方法对用户的长期和短期兴趣进行了研究，但是其未能很好的捕捉用户长期兴趣周期性的深层表示，同时其无法有效的利用位置给我们带来的天然空间特征及地点之间的高阶相互影响程度进行精准的个性化推荐。

发明内容

本发明为了克服以上技术的不足，提供了一种充分利用时空上下文挖掘用户的兴趣，以此进行推荐提高准确率，解决用户的出行需求的方法。

本发明克服其技术问题所采用的技术方案是：

一种基于时空上下文兴趣学习模型的个性化智能推荐方法，包括如下步骤：

a)从包含用户与兴趣点的交互记录、交互时间和兴趣点的经纬度的数据集中读取兴趣点集P，

p_i为第i个兴趣点， i∈{1,2,...,n^p}，n^p为兴趣点集P的长度，根据交互时间提取用户的第b天的签到序列C^b，1≤b≤t，t为要预测的当天，

为第b天的第z个签到点，

为第b天的签到序列C^b的长度，用户的全部签到序列为H，H＝{C¹,C²,...,C^b,...,C^t}；

b)将兴趣点p_i初始化得到原始特征向量

所有兴趣点的原始特征向量为E⁽⁰⁾，

建立兴趣点之间的临接矩阵

为实数空间，临接矩阵R中的元素r_i,j为第i个兴趣点p_i与第 j个兴趣点p_j间的关联次数，j∈{1,2,...,n^p}；

c)根据临接矩阵R计算出兴趣点的度矩阵

度矩阵D中的元素d_i,i为第i个兴趣点p_i的度；

d)将用户的全部签到序列H根据签到的先后顺序建模成为兴趣点-兴趣点图，计算得到兴趣点空间关联矩阵

e)通过图卷积的消息传播机制聚合兴趣点-兴趣点图中每一个节点和二阶邻居节点的特征向量E⁽²⁾，

为经过2步消息传播后的特征向量；

f)循环兴趣点集P，如果兴趣点集P中存在星期k交互过的兴趣点，则将该兴趣点置为1，如果兴趣点集P中不存在星期k交互过的兴趣点，则将该兴趣点置为0，得到星期k的模式掩码mask_k，k∈{1,2,...,7}，通过公式

计算得到星期k的嵌入向量

⊙为按元素相乘，将嵌入向量

输入平均池化和多层感知机网络中，得到星期k的用户签到行为的日模式l_k，用户签到行为的日模式为L，L＝{l₁,l₂,...,l_k,...,l₇}；

g)使用Bahdanau注意力聚合用户签到行为的日模式L，得到用户长期兴趣LT；

h)使用LSTM训练用户要预测当天t的签到序列C^t，得到输出的隐藏状态ST作为短期兴趣；

i)通过公式T＝[W_LLT,W_SST]计算得到用户兴趣向量T，W_L与W_S为注意力权重；

j)将特征向量

与用户兴趣向量T拼接并输入到多层感知机中，输出得到第i 个候选兴趣点在预测当天t被签到的概率值prob_i，i∈{1,2,...,n^p}，完成基于时空上下文兴趣学习模型的建立；

k)利用二元交叉损失函数迭代N次，得到训练后的基于时空上下文兴趣学习模型；

l)通过训练后的基于时空上下文兴趣学习模型输出所有候选兴趣点在预测当天t被签到的概率值，将概率值最大的前10个候选兴趣点推荐给用户。

优选的，步骤a)中数据集为Foursquare数据集。

优选的，步骤b)中兴趣点p_i初始化为64维的原始特征向量e_i。

进一步的，步骤d)中兴趣点-兴趣点图的节点为兴趣点，该图的边连接相互关联的兴趣点。

进一步的，步骤d)中计算得到兴趣点空间关联矩阵

的方法为：

d-1)通过公式

计算得到第i个兴趣点 p_i和第j个兴趣点p_j之间的欧式距离

式中lon_i为第i个兴趣点p_i的经度，lat_i为第i个兴趣点p_i的纬度，式中lon_j为第j个兴趣点p_j的经度，lat_j为第j个兴趣点p_j的纬度；

d-2)通过公式

计算得到归一化后的空间权重m_i,j，式中softmax(·)为softmax激活函数，m_i,j∈M，m_i,j为空间关联矩阵M中第i行第j列的元素。

进一步的，步骤e)中步骤e)中通过公式 E⁽²⁾＝σ((K+I)E⁽¹⁾W₁ ⁽²⁾+KE⁽¹⁾W₂ ⁽²⁾)计算得到经过2步消息传播后的特征E(²)，式中σ为激活函数，K为兴趣点-兴趣点图拉普拉斯范数矩阵融合空间特征的变体值，

T为转置，I为单位矩阵，W₁ ⁽²⁾与W₂ ⁽²⁾均为权重矩阵，E⁽¹⁾为原始特征E⁽⁰⁾经过1 步消息传播后的特征，E⁽¹⁾＝σ((K+I)E⁽⁰⁾W₁ ⁽¹⁾+KE⁽⁰⁾W₂ ⁽¹⁾)，

为原始特征向量

经过1步消息传播后的特征向量，W₁ ⁽¹⁾与W₂ ⁽¹⁾均为权重矩阵。

进一步的，步骤g)中通过公式

计算得到用户长期兴趣LT，a_k为星期k的注意力分数，

α_k为a_k归一化后的注意力权重，v_a为权重矩阵，V₁为权重矩阵，V₂为权重矩阵。

优选的，步骤h)中隐藏状态ST的维度为64维。

优选的，步骤k)中N的取值为500。

进一步的，步骤k)中通过公式

计算得到二元交叉熵损失loss，第i个兴趣点p_i为正样本时，y_i置为1，第i个兴趣点p_i为负样本时，y_i置为0。

本发明的有益效果是：使用图神经网络建模用户历史签到行为序列，通过创新图消息传播与聚合的拉普拉斯范数，融合兴趣点之间的交互关联性及空间关联性来获取兴趣点的高阶特征表示。同时编码日模式创新性的获取到了用户的长期兴趣，并使用长短期记忆网络捕获用户短期行为模式作为短期兴趣，通过层间注意力获取长短期兴趣。在此基础上进行候选兴趣点的概率计算作为推荐依据。通过图卷积的方式提高了兴趣点的特征提取效果，并通过日模式编码、注意力机制、长短期记忆网络深度学习了用户的行为模式。本方法科学有效的捕获了用户的周期性时间特征信息影响和兴趣点之间的空间特征影响，充分利用时空上下文挖掘用户的兴趣，以此进行推荐提高准确率，解决用户的出行需求。

附图说明

图1为本发明的方法流程图；

图2为本发明的嵌入层特征提取流程图。

具体实施方式

下面结合附图1、附图2对本发明做进一步说明。

一种基于时空上下文兴趣学习模型的个性化智能推荐方法，包括如下步骤：

a)从包含用户与兴趣点的交互记录、交互时间和兴趣点的经纬度的数据集中读取兴趣点集P，

p_i为第i个兴趣点， i∈{1,2,...,n^p}，n^p为兴趣点集P的长度，根据交互时间提取用户的第b天的签到序列C^b，1≤b≤t，t为要预测的当天，

为第b天的第z个签到点，

为第b天的签到序列C^b的长度，用户的全部签到序列为H，H＝{C¹,C²,...,C^b,...,C^t}。每一个签到点c^b∈C^b都是一个兴趣点p∈P且可能重复。

b)将兴趣点p_i初始化得到原始特征向量

所有兴趣点的原始特征向量为 E⁽⁰⁾，

建立兴趣点之间的临接矩阵

为实数空间，临接矩阵R中的元素r_i,j为第i个兴趣点p_i与第 j个兴趣点p_j间的关联次数，j∈{1,2,...,n^p}。

c)根据临接矩阵R计算出兴趣点的度矩阵

度矩阵D是一个对角矩阵，其中的元素d_i,i为第i个兴趣点p_i的度(与p_i相互关联的兴趣点的数量)。

d)将用户的全部签到序列H根据签到的先后顺序建模成为兴趣点-兴趣点图，计算得到兴趣点空间关联矩阵

e)通过图卷积的消息传播机制聚合兴趣点-兴趣点图中每一个节点和二阶邻居节点的特征向量E⁽²⁾，

为经过2步消息传播后的特征向量，至此得到兴趣点带有高阶空间特征的潜在特征向量。

f)循环兴趣点集P，如果兴趣点集P中存在星期k交互过的兴趣点，则将该兴趣点置为1，如果兴趣点集P中不存在星期k交互过的兴趣点，则将该兴趣点置为0，得到星期k的模式掩码mask_k，k∈{1,2,...,7}，通过公式

计算得到星期k的嵌入向量

⊙为按元素相乘，将嵌入向量

输入平均池化和多层感知机网络中，得到星期k的用户签到行为的日模式l_k，用户签到行为的日模式为L，L＝{l₁,l₂,...,l_k,...,l₇}。

g)使用Bahdanau注意力聚合用户签到行为的日模式L，得到用户长期兴趣LT。

h)使用LSTM训练用户要预测当天t的签到序列C^t，得到输出的隐藏状态ST作为短期兴趣。

i)通过公式T＝[W_LLT,W_SST]计算得到用户兴趣向量T，W_L与W_S为注意力权重。此时兴趣点高阶空间信息的潜在特征向量、长期兴趣和短期兴趣都为64维。

j)将特征向量

与用户兴趣向量T拼接并输入到多层感知机中，输出得到第i 个候选兴趣点在预测当天t被签到的概率值prob_i，i∈{1,2,...,n^p}，完成基于时空上下文兴趣学习模型的建立。

k)利用二元交叉损失函数迭代N次，得到训练后的基于时空上下文兴趣学习模型。

l)通过训练后的基于时空上下文兴趣学习模型输出所有候选兴趣点在预测当天t被签到的概率值，将概率值最大的前10个候选兴趣点推荐给用户。

使用图神经网络建模用户历史签到行为序列，通过创新图消息传播与聚合的拉普拉斯范数，融合兴趣点之间的交互关联性及空间关联性来获取兴趣点的高阶特征表示。同时编码日模式创新性的获取到了用户的长期兴趣，并使用长短期记忆网络捕获用户短期行为模式作为短期兴趣，通过层间注意力获取长短期兴趣。在此基础上进行候选兴趣点的概率计算作为推荐依据。该方法通过图卷积的方式提高了兴趣点的特征提取效果，并通过日模式编码、注意力机制、长短期记忆网络深度学习了用户的行为模式。相较其他方法，本方法科学有效的捕获了用户的周期性时间特征信息影响和兴趣点之间的空间特征影响，充分利用时空上下文挖掘用户的兴趣，以此进行推荐提高准确率，解决用户的出行需求。

实施例1：

步骤a)中数据集为Foursquare数据集。

实施例2：

步骤b)中兴趣点p_i初始化为64维的原始特征向量e_i。

实施例3：

步骤d)中兴趣点-兴趣点图的节点为兴趣点，该图的边连接相互关联的兴趣点。

实施例4：

步骤d)中计算得到兴趣点空间关联矩阵

的方法为：

d-1)通过公式

计算得到第i个兴趣点 p_i和第j个兴趣点p_j之间的欧式距离

式中lon_i为第i个兴趣点p_i的经度，lat_i为第i个兴趣点p_i的纬度，式中lon_j为第j个兴趣点p_j的经度，lat_j为第j个兴趣点p_j的纬度；

d-2)通过公式

计算得到归一化后的空间权重m_i,j，式中softmax(·)为softmax激活函数，m_i,j∈M，m_i,j为空间关联矩阵M中第i行第j列的元素。

实施例5：

步骤e)中步骤e)中通过公式E⁽²⁾＝σ((K+I)E⁽¹⁾W₁ ⁽²⁾+KE⁽¹⁾W₂ ⁽²⁾)计算得到经过2步消息传播后的特征E(²)，式中σ为激活函数，K为兴趣点-兴趣点图拉普拉斯范数矩阵融合空间特征的变体值，

T为转置，I为单位矩阵，W₁ ⁽²⁾与W₂ ⁽²⁾均为权重矩阵，E(¹)为原始特征E(⁰)经过1步消息传播后的特征，

为原始特征向量

经过1步消息传播后的特征向量，W₁ ⁽¹⁾与W₂ ⁽¹⁾均为权重矩阵。

实施例6：

步骤g)中通过公式

计算得到用户长期兴趣LT，a_k为星期k的注意力分数，

α_k为a_k归一化后的注意力权重，v_a为权重矩阵，V₁为权重矩阵，V₂为权重矩阵。

实施例7：

步骤h)中隐藏状态ST的维度为64维。

实施例8：

步骤k)中N的取值为500。

实施例9：

步骤k)中通过公式

计算得到二元交叉熵损失loss，第i个兴趣点p_i为正样本时，y_i置为1，第i个兴趣点p_i为负样本时，y_i置为0。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于时空上下文兴趣学习模型的个性化智能推荐方法，其特征在于，包括如下步骤：

a)从包含用户与兴趣点的交互记录、交互时间和兴趣点的经纬度的数据集中读取兴趣点集P，

p_i为第i个兴趣点，i∈{1,2,...,n^p}，n^p为兴趣点集P的长度，根据交互时间提取用户的第b天的签到序列C^b，1≤b≤t，t为要预测的当天，

为第b天的第z个签到点，

为第b天的签到序列C^b的长度，用户的全部签到序列为H，H＝{C¹,C²,...,C^b,...,C^t}；

b)将兴趣点p_i初始化得到原始特征向量

所有兴趣点的原始特征为E⁽⁰⁾，

建立兴趣点之间的临接矩阵

为实数空间，临接矩阵R中的元素r_i,j为第i个兴趣点p_i与第j个兴趣点p_j间的关联次数，j∈{1,2,...,n^p}；

c)根据临接矩阵R计算出兴趣点的度矩阵

度矩阵D中的元素d_i,i为第i个兴趣点p_i的度；

d)将用户的全部签到序列H根据签到的先后顺序建模成为兴趣点-兴趣点图，计算得到兴趣点空间关联矩阵

e)通过图卷积的消息传播机制聚合兴趣点-兴趣点图中每一个节点和二阶邻居节点的特征E⁽²⁾，

为原始特征向量

经过2步消息传播后的特征向量；

f)循环兴趣点集P，如果兴趣点集P中存在星期k交互过的兴趣点，则将该兴趣点置为1，如果兴趣点集P中不存在星期k交互过的兴趣点，则将该兴趣点置为0，得到星期k的模式掩码mask_k，k∈{1,2,...,7}，通过公式

计算得到星期k的嵌入向量

⊙为按元素相乘，将嵌入向量

输入平均池化和多层感知机网络中，得到星期k的用户签到行为的日模式l_k，用户签到行为的日模式为L，L＝{l₁,l₂,...,l_k,...,l₇}；

g)使用Bahdanau注意力聚合用户签到行为的日模式L，得到用户长期兴趣LT；

h)使用LSTM训练用户要预测当天t的签到序列C^t，得到输出的隐藏状态ST作为短期兴趣；

i)通过公式T＝[W_LLT,W_SST]计算得到用户兴趣向量T，W_L与W_S为注意力权重；

j)将特征向量

与用户兴趣向量T拼接并输入到多层感知机中，输出得到第i个候选兴趣点在预测当天t被签到的概率值prob_i，i∈{1,2,...,n^p}，完成基于时空上下文兴趣学习模型的建立；

k)利用二元交叉损失函数迭代N次，得到训练后的基于时空上下文兴趣学习模型；

l)通过训练后的基于时空上下文兴趣学习模型输出所有候选兴趣点在预测当天t被签到的概率值，将概率值最大的前10个候选兴趣点推荐给用户。

2.根据权利要求1所述的基于时空上下文兴趣学习模型的个性化智能推荐方法，其特征在于：步骤a)中数据集为Foursquare数据集。

3.根据权利要求1所述的基于时空上下文兴趣学习模型的个性化智能推荐方法，其特征在于：步骤b)中兴趣点p_i初始化为64维的原始特征向量e_i。

4.根据权利要求1所述的基于时空上下文兴趣学习模型的个性化智能推荐方法，其特征在于：步骤d)中兴趣点-兴趣点图的节点为兴趣点，该图的边连接相互关联的兴趣点。

5.根据权利要求1所述的基于时空上下文兴趣学习模型的个性化智能推荐方法，其特征在于，步骤d)中计算得到兴趣点空间关联矩阵

的方法为：

d-1)通过公式

计算得到第i个兴趣点p_i和第j个兴趣点p_j之间的欧式距离

式中lon_i为第i个兴趣点p_i的经度，lat_i为第i个兴趣点p_i的纬度，式中lon_j为第j个兴趣点p_j的经度，lat_j为第j个兴趣点p_j的纬度；

d-2)通过公式

计算得到归一化后的空间权重m_i,j，式中softmax(·)为softmax激活函数，m_i,j∈M，m_i,j为空间关联矩阵M中第i行第j列的元素。

6.根据权利要求1所述的基于时空上下文兴趣学习模型的个性化智能推荐方法，其特征在于：步骤e)中通过公式

计算得到经过2步消息传播后的特征E⁽²⁾，式中σ为激活函数，K为兴趣点-兴趣点图拉普拉斯范数矩阵融合空间特征的变体值，

T为转置，I为单位矩阵，W₁ ⁽²⁾与

均为权重矩阵，E⁽¹⁾为原始特征E⁽⁰⁾经过1步消息传播后的特征，

为原始特征向量

经过1步消息传播后的特征向量，W₁ ⁽¹⁾与

均为权重矩阵。

7.根据权利要求6所述的基于时空上下文兴趣学习模型的个性化智能推荐方法，其特征在于：步骤g)中通过公式

计算得到用户长期兴趣LT，a_k为星期k的注意力分数，

α_k为a_k归一化后的注意力权重，v_a为权重矩阵，V₁为权重矩阵，V₂为权重矩阵。

8.根据权利要求1所述的基于时空上下文兴趣学习模型的个性化智能推荐方法，其特征在于：步骤h)中隐藏状态ST的维度为64维。

9.根据权利要求1所述的基于时空上下文兴趣学习模型的个性化智能推荐方法，其特征在于：步骤k)中N的取值为500。

10.根据权利要求1所述的基于时空上下文兴趣学习模型的个性化智能推荐方法，其特征在于：步骤k)中通过公式

计算得到二元交叉熵损失loss，第i个兴趣点p_i为正样本时，y_i置为1，第i个兴趣点p_i为负样本时，y_i置为0。

Images