CN111538916A - 一种基于神经网络和地理影响的兴趣点推荐方法 - Google Patents

Abstract

本发明涉及基于神经网络和地理影响的兴趣点推荐方法，具体的：获取用户的历史签到数据；分别以双通道的神经网络的形式，对用户向量和位置向量进行降维，使得用户和位置处于同一维度的向量空间；将降维后的用户向量和位置向量传入联合神经网络，同时结合它们内积的结果，得到联合神经网络的预测输出；基于均方损失函数，采用梯度下降算法，对所有神经网络层进行训练并不断更新未知参数；基于全体签到数据中的每相邻两点之间的地理距离，采用幂律分布来模拟用户访问下一个位置的距离可能性，并根据距离可能性的大小进行排序，生成推荐列表输出。本发明方法运用深度学习技术，充分挖掘用户对兴趣点的潜在偏好和移动模式，且极大地缩短计算时间，节约计算成本。

Description

一种基于神经网络和地理影响的兴趣点推荐方法

技术领域

本发明涉及兴趣点推荐方法，尤其涉及一种基于神经网络和地理影响的兴趣点推荐方法。

背景技术

随着人工智能的技术革新，链接虚拟网络和现实世界的基于位置的社交网站开始崛起，他们通过提供丰富的移动服务来满足用户的需求。兴趣点推荐，作为其中一项极为重要的服务，鼓励用户以签到的形式分享自己的位置，然后为用户推荐符合其偏好的新位置，极大地丰富了用户的户外活动。用户的签到数据精确地描述用户的移动行为模式，为我们挖掘更优质的移动服务提供了机会。

以往的兴趣点推荐研究大多使用传统的机器学习来解决问题，例如矩阵分解。然而，在现实世界中，用户往往只会访问少数一些位置，这使得有效地挖掘用户的个人偏好变得十分困难。另外，用户和兴趣点之间的关系通常是很复杂的且存在隐藏的关联属性。

发明内容

针对现有技术存在的上述问题，本发明的要解决的技术问题是：针对传统的兴趣点推荐不能深层次地挖掘用户潜在偏好。

为解决上述技术问题，本发明采用如下技术方案：一种基于神经网络和地理影响的兴趣点推荐方法，包括如下步骤：

S101：获取用户的历史签到数据，每条签到数据由用户ID、位置ID、时间戳、位置经纬度构成；

S102：分别以双通道的神经网络的形式，对用户向量u_i和位置向量l_j进行降维，最终使得用户和位置处于同一维度的向量空间；

S103：将降维后的用户向量x_i和位置向量y_j传入联合神经网络计算z_ij同时结合它们内积的结果，得到联合神经网络的预测输出Union_ij，该值为用户对位置的潜在偏好；

所述联合神经网络通式如公式(2.3)：

所述联合神经网络一共具有M层，第一层为输入层，x和y分别为输入向量，w_k和b_k分别是第k层的权重系数和偏置系数，k＝2，3，...M；

S104：基于均方损失函数，采用梯度下降算法，对所有的神经网络层进行训练并不断更新未知参数；

S105：基于全体签到数据中的每相邻两点之间的地理距离，采用幂律分布来模拟用户访问下一个位置的距离可能性Pro(l_j|L_u)，并根据Pro(l_j|L_u)的大小进行排序，产生长度为K的推荐列表，以此生成推荐列表Rec_u输出。

作为改进，还包括S106：将地理距离的影响融合到用户对位置的偏好预测中，计算用户访问位置的最终分数

根据

的大小进行排序，产生长度为K的推荐列表，以此生成推荐列表Rec′_u输出。

作为改进，所述S102对用户向量u_i和位置向量l_j进行降维的方法为：

基于神经网络通用公式(1.1)和通用公式(1.2)搭建具有N层的降维神经网络：

Lay₁＝u_i or l_j (1.1)

Lay_k＝f(w_kLay_k-1+b_k)，k＝2,3，...N (1.2)

其中，Lay_k是第k层神经网络，w_k是第k层的权重系数，b_k是第k层的偏置系数；

该降维神经网络的激活函数f采用的是sigmoid函数

经过降维后，用户向量和位置向量分别是

和

U和L作为标识符来区分面向用户的降维网络和面向位置的降维网络，

和

指的是用户降维网络中第t层的权重系数和偏置系数，t＝2,3，...N，

和

指的是位置降维网络中第t层的权重系数和偏置系数t＝2,3，...N。

作为改进，所述S103包含如下步骤：

1)将两个降维向量降维后的用户向量x_i和降维后的位置向量y_j进行拼接，即

然后基于神经网络通用公式Lay_k＝f(w_kLay_k-1+b_k)，k＝2,3，...M传入具有M层的联合神经网络；

其中，Lay_k是第k层神经网络，w_k是第k层的权重系数，b_k是第k层的偏置系数；

所述联合神经网络的激活函数f采用的是sigmoid函数；

该联合神经网络得到的联合值z_ij如公式(2.1)：

其中，Z代表的是联合神经网络的标识符，

和

分别为是联合神经网络中第t层的权重系数和偏置系数，t＝2,3，...M；

2)将联合值与内积值基于公式(2.2)求平均得到最终输出Union_ij；

作为改进，所述S104包含如下步骤：

所述均方损失函数如公式(3.1)：

其中，R^-是随机负采样的结果，B是训练过程中设置的样本数量，R_ij为用户i在位置j上的真实访问值。

作为改进，所述S105包含如下步骤：

a)定义距离的幂律分别概率为公式(4.1)：

Pro(l_j|l_p)＝a×(dis(l_j，l_p))^b (4.1)；

其中，l_j和l_p为用户真实的签到数据集中相邻的两个签到位置，a和b分别为幂律分布的参数；

为求解未知参数，将其转化为线性模型参见公式(4.2)：

logPro＝log a+blog dis(l_j，l_p) (4.2)；

公式(4.2)可转化表示为公式(4.3)：

δ(C，ω)＝a′+blogω (4.3)；

其中，ω是参数集合，a′是log a，C代表dis(l_j，l_p)；

b)基于目标函数(4.4)采用梯度下降的方式对参数进行更新，D是使用的真实数据集，t(C)是根据D导出的真实距离概率的Log值，t(C)＝Pro(l_j|L_u)：

其中，

控制正则项的权重。

作为改进，所述S106将地理距离的影响融合到用户对位置的偏好预测中的方法为：

基于公式(5.1)将地理影响融入到神经网络的结果中去，以计算最终的预测值；

其中，α是权重系数，α∈[0,1]。

相对于现有技术，本发明至少具有如下优点：

本发明构建了两个不同的降维神经网络层分别对用户向量和位置向量进行降维，一定程度上缓解了因维度过大而带来的数据稀疏，且提取出了用户和位置的关键特征。将降维后的用户向量和位置向量分别以拼接和求内积的方式传入联合神经网络层以求用户对位置的预测分数，该过程深层次地挖掘了用户和兴趣点的潜在关系。对地理距离进行概率模拟并将距离影响加入到联合神经网络层的预测结果中去，以求进一步增强预测的准确性。

附图说明

图1为本发明方法的流程简图。

图2为本发明的整体框架。

图3为参数α对结果的影响(基于F1指标)，图3a表示在火奴鲁鲁数据集上的F1指标趋势图，图3b表示在亚特兰大数据集上的F1指标趋势图，每一个图都是基于推荐数量为5、10和15进行的实验。

图4为实验效果对比(基于准确率和召回率)，图4a和图4b分别表示在火奴鲁鲁数据集上的精确率和召回率，而图4c和图4d分别表示在亚特兰大数据集上的精确率和召回率，每一个图都是基于推荐数量为5、10和15进行的实验。

具体实施方式

下面对本发明作进一步详细说明。

用户和兴趣点之间的关系通常是很复杂的且存在隐藏的关联属性，深度学习，作为挖掘事物潜在关联的强大技术，可以有效地解决这一难题。运用深度学习技术，可以充分地挖掘用户对兴趣点的潜在偏好和移动模式，且可以极大地缩短计算时间，节约计算成本。不同于其他类型的推荐，对于兴趣点推荐而言，一个重要的特征就是地理距离。例如，用户往往倾向于访问距离当前位置较近的新位置。

本发明聚焦于如何通过深度学习技术来深层次地挖掘用户对兴趣点的偏好，以及地理距离对用户偏好的影响。因此，本发明搭建了一个基于神经网络的兴趣点推荐综合模型，并在此之上加入地理距离的影响以进一步增强推荐。为了方便起见，本发明也将兴趣点称作位置。

参见图1和图2，一种基于神经网络和地理影响的兴趣点推荐方法，其特征在于，包括如下步骤：

S101：获取用户的历史签到数据，每条签到数据由用户ID、位置ID、时间戳、位置经纬度构成；

S102：分别以双通道的神经网络的形式，对用户向量u_i和位置向量l_i进行降维，最终使得用户和位置处于同一维度的向量空间；

作为改进，所述S102对用户向量u_i和位置向量l_j进行降维的方法为：

基于神经网络通用公式(1.1)和通用公式(1.2)搭建具有N层的降维神经网络：

Lay₁＝u_i or l_j (1.1)

Lay_k＝f(w_kLay_k-1+b_k)，k＝2，3，...N (1.2)

其中，Lay_k是第k层神经网络，w_k是第k层的权重系数，b_k是第k层的偏置系数；公式(1.1)和通用公式(1.2)是通用的模型表达公式，后面使用才带了具体的参数。

该降维神经网络的激活函数f采用的是sigmoid函数

经过降维后，用户向量和位置向量分别是

和

U和L作为标识符来区分面向用户的降维网络和面向位置的降维网络。

和

指的是用户降维网络中第t层的权重系数和偏置系数t＝2，3，...N，

和

指的是位置降维网络中第t层的权重系数和偏置系数t＝2，3，...N。

S103：将降维后的用户向量x_i和位置向量y_j传入联合神经网络计算z_ij，同时结合它们内积的结果，得到联合神经网络的预测输出Union_ij，该值为用户对位置的潜在偏好；

所述联合神经网络通式如公式(2.3)：

所述联合神经网络一共具有M层，第一层为输入层，x和y分别为输入向量，

指的是将x和y进行拼接，w_k和b_k分别是第k层的权重系数和偏置系数，k＝2，3，...M。f指的是sigmoid函数。作为改进，所述S103包含如下步骤：

1)将两个降维向量降维后的用户向量x_i和降维后的位置向量y_j进行拼接，即

然后基于神经网络通用公式Lay_k＝f(w_kLay_k-1+b_k)，k＝2，3，...M传入具有M层的联合神经网络；

其中，Lay_k是第k层神经网络，w_k是第k层的权重系数，b_k是第k层的偏置系数；

所述联合神经网络的激活函数f采用的是sigmoid函数；

该联合神经网络得到的联合值z_ij如公式(2.1)：

其中，Z代表的是联合神经网络的标识符，

和

分别为是联合神经网络中第t层的权重系数和偏置系数，t＝2，3，...M；

2)将联合值与内积值基于公式(2.2)求平均得到最终输出Union_ij；

S104：基于均方损失函数，采用梯度下降算法，对所有的神经网络层进行训练并不断更新未知参数；

作为改进，所述S104包含如下步骤：

由于本发明对用户位置矩阵采用的是0-1形式，因此均方损失适合本发明的神经网络模型。

所述均方损失函数如公式(3.1)：

其中，R^-是随机负采样的结果(即用户未曾去过的位置)，按照常规取法，数量可设置为7，R⁺是已经存在的正例(即用户已经访问过的位置)。B是训练过程中设置的样本数量，可设置为512。R_ij为用户i在位置j上的真实访问值，如果访问过则为1，没有访问过则为0。有了上述损失函数，采用小批量梯度下降算法，就可以不断地更新本发明的神经网络模型。

S105：基于全体签到数据中的每相邻两点之间的地理距离，采用幂律分布来模拟用户访问下一个位置的距离可能性Pro(l_j|L_u)，并根据Pro(l_j|L_u)的大小进行排序，产生长度为K的推荐列表，以此生成推荐列表Rec_u输出。

作为改进，所述S105包含如下步骤：

a)定义距离的幂律分别概率为公式(4.1)

Pro(l_j|l_p)＝a×(dis(l_j，l_p))^b (4.1)；

其中，l_j和l_p为用户真实的签到数据集中相邻的两个签到位置，a和b分别为幂律分布的参数；

为求解未知参数，将其转化为线性模型参见公式(4.2)：

logPro＝log a+b log dis(l_j，l_p) (4.2)；

公式(4.2)可转化表示为公式(4.3)：

δ(C，ω)＝a′+blogω (4.3)；

其中，ω是参数集合，a′是log a，C代表dis(l_j，l_p)；

b)基于目标函数(4.4)采用梯度下降的方式对参数进行更新，D是使用的真实数据集，t(C)是根据D导出的真实距离概率的Log值，t(C)＝Pro(l_j|L_u)：

其中，

控制正则项的权重，可设置为1。

为了进一步增强预测的准确性，还可以加入地理距离的影响，具体地基于神经网络和地理影响的兴趣点推荐方法，还包括S106：将地理距离的影响融合到用户对位置的偏好预测中，计算用户访问位置的最终分数

根据

的大小进行排序，产生长度为K的推荐列表，以此生成推荐列表Rec′_u输出。

作为改进，所述S106将地理距离的影响融合到用户对位置的偏好预测中的方法为：

基于公式(5.1)将地理影响融入到神经网络的结果中去，以计算最终的预测值；

其中，α是权重系数，α∈[0，1]。

本发明该方法的工作原理是：

在本发明中，一条实时的位置签到是指用户访问某个位置的记录，其由用户ID、时间戳、位置信息构成。位置信息指的是位置的经纬度。本发明的兴趣点推荐是指根据用户的历史位置访问记录u^L，从基于神经网络和地理影响的角度出发，为其推荐符合其偏好的位置，从而产生一个推荐列表rec^u。

本发明构建了两个不同的降维神经网络层分别对用户向量和位置向量进行降维，一定程度上缓解了因维度过大而带来的数据稀疏，且提取出了用户和位置的关键特征。将降维后的用户向量和位置向量分别以拼接和求内积的方式传入联合神经网络层以求用户对位置的预测分数，该过程深层次地挖掘了用户和兴趣点的潜在关系。对地理距离进行概率模拟并将距离影响加入到联合神经网络层的预测结果中去，以求进一步增强预测的准确性。

对比试验：

本发明的数据集是从基于位置的社交网站Foursquare搜集的，包括两个城市，一个是火奴鲁鲁，一个是亚特兰大。火奴鲁鲁包含768个用户，4716个位置，共计33884条签到记录，平均签到数目为44。亚特兰大包含3238个用户，4853个位置，共计43987条签到记录，平均签到数目为13。由此可看出，亚特兰大的数据集相比于火奴鲁鲁，较为稀疏。

对于每一个用户而言，我们随机选取他的签到位置的80％训练数据，剩下的20％的为测试数据。另外，为了实验的有效性，和大多数论文一样，我们删除了签到数目少于6的用户以及被少于6个用户签到的地点。

评价指标为精确率Precision@K、召回率Recall@K、和F1-score@K。

精确率基于公式(1)计算；

召回率基于公式(2)计算：

F1值基于公式(3)：

F1-score@K＝2(Pre×Re)/(Pre+Re) (3)；

其中，Rec_u是为用户u生成的推荐列表，U是用户集合，Test_u是指用户u的测试数据(真实的感兴趣的目标位置)，Pre和Re分别是精确率Precision@K和召回率Recall@K的缩写，K是指推荐位置的数量。

为了说明本发明提出的深度学习框架的有效性，我们选择了以下热门的推荐算法：

POP：向用户推荐热门的兴趣点。

NMF：经典的非负矩阵分解技术。

BPR：贝叶斯个性化排序，其基于兴趣点配对的思想。

DMF：一种全新的面向推荐系统的深度学习矩阵分解。

DPR：本文提出的不含地理距离的深度学习推荐框架。

本发明提出的基于神经网络和地理影响的兴趣点推荐方法称作DPR-Geo。

从图3a和图3b可以看出：

在本发明的推荐模型中，需要确定的参数有α，其决定了神经网络的结果与地理距离的影响之间的混合比例。在火奴鲁鲁数据集上，基本在α＝0.4时达到模型的最优效果。在亚特兰大数据集上，基本在α＝0.6达到模型的最优效果。火奴鲁鲁数据集相比亚特兰大数据集，受地理距离的影响程度相对较小，这是由于火奴鲁鲁这个城市占地面积较小，无需过度根据距离规划旅游行程。而两个数据集在α＝1.0时(即不考虑地理因素)，三条曲线收敛到相近的范围，这说明在本发明中，基于联合神经网络的地点推荐对于推荐个数并不是很敏感。

简而言之，地理因素能够改进神经网络的推荐结果，但应适当地引入其影响。

从图4a，图4b可以看出，对于火奴鲁鲁数据集而言：

无论是精确率还是召回率，本发明DPR-Geo模型优于所有的对比算法。

在精确率这一方面，NMF和DMF均优于POP和BPR，这体现了矩阵分解仍然具有一定的优越性，可以完成对未知项的填充。然而，矩阵分解仅从数学的角度进行问题分析，不能很好地挖掘深层次的用户偏好。因此，DPR-Geo和DPR克服了该困难，从联合神经网络的角度捕捉用户和位置的潜在关联，分析用户和位置的匹配程度。而在召回率方面，DMF不及BPR，NMF不及POP，导致这一现象的原因是召回率实质上可以看作是命中的概率，而火奴鲁鲁这个城市正好是以旅游闻名，故以热度推荐或兴趣点配对推荐更能命中用户的喜好。DPR的精确率和召回率均差于DPR-Geo，充分说明了DPR-Geo在DPR的基础上引入地理距离的影响更能贴近现实生活，进而取得了更好的推荐效果。

从图4a，图4b可以看出，对于亚特兰大数据集而言：

无论是精确率还是召回率，本发明DPR-Geo同样优于所有的对比算法。

在精确率方面，DMF不如BPR，甚至当推荐个数增加时(如k＝15)，不如传统的矩阵分解NMF。这是由于亚特兰大数据集相比火奴鲁鲁数据集更加稀疏。稀疏性不仅极大地削弱了神经网络的特征提取能力，同时也增加了计算的时间开销。因此，DMF无法捕捉更多的有用的用户信息，导致推荐失效。以热度推荐的POP算法垫底，说明该城市以热度来推荐并不能取得好的效果，侧面反映亚特兰大并非以旅游闻名。在召回率方面，BPR表现较为出色，仅次于DPR模型，这说明了BPR依旧保持其传统的性能优势。本发明DPR-Geo融入了地理距离对用户的影响，因此使得DPR有了突破，取得了更好的性能，即用户是否会访问某个位置一定程度上取决于该位置到用户的距离。由于数据的稀疏，DMF的召回率略微好于NMF和POP，没有体现明显的优势。

总之，本发明DPR-Geo模型在火奴鲁鲁数据集和亚特兰大数据集上均优于其他的对比算法。其不仅利用深度学习来捕捉用户对兴趣点的偏好，同时还考虑了地理距离的影响，因此取得了出色的推荐效果。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于神经网络和地理影响的兴趣点推荐方法，其特征在于，包括如下步骤：

S101：获取用户的历史签到数据，每条签到数据由用户ID、位置ID、时间戳、位置经纬度构成；

S102：分别以双通道的神经网络的形式，对用户向量u_i和位置向量l_j进行降维，最终使得用户和位置处于同一维度的向量空间；

S103：将降维后的用户向量x_i和位置向量y_j传入联合神经网络计算z_ij同时结合它们内积的结果，得到联合神经网络的预测输出Union_ij，该值为用户对位置的潜在偏好；

所述联合神经网络通式如公式(2.3)：

所述联合神经网络一共具有M层，第一层为输入层，x和y分别为输入向量，w_k和b_k分别是第k层的权重系数和偏置系数，k＝2,3,…M；

S104：基于均方损失函数，采用梯度下降算法，对所有的神经网络层进行训练并不断更新未知参数；

S105：基于全体签到数据中的每相邻两点之间的地理距离，采用幂律分布来模拟用户访问下一个位置的距离可能性Pro(l_j|L_u)，并根据Pro(l_j|L_i)的大小进行排序，产生长度为K的推荐列表，以此生成推荐列表Rec_u输出。

2.如权利要求1所述的基于神经网络和地理影响的兴趣点推荐方法，其特征在于，还包括S106：将地理距离的影响融合到用户对位置的偏好预测中，计算用户访问位置的最终分数

根据

的大小进行排序，产生长度为K的推荐列表，以此生成推荐列表Rec′_u输出。

3.如权利要求1或2所述的基于神经网络和地理影响的兴趣点推荐方法，其特征在于，所述S102对用户向量u_i和位置向量l_j进行降维的方法为：

基于神经网络通用公式(1.1)和通用公式(1.2)搭建具有N层的降维神经网络：

Lay₁＝u_i or l_j (1.1)

Lay_k＝f(w_kLay_k-1+b_k),k＝2,3,…N (1.2)

其中，Lay_k是第k层神经网络，w_k是第k层的权重系数，b_k是第k层的偏置系数；

该降维神经网络的激活函数f采用的是sigmoid函数

经过降维后，用户向量和位置向量分别是

和

U和L作为标识符来区分面向用户的降维网络和面向位置的降维网络，

和

指的是用户降维网络中第t层的权重系数和偏置系数，t＝2,3,…N，

和

指的是位置降维网络中第t层的权重系数和偏置系数t＝2,3,…N。

4.如权利要求3所述的基于神经网络和地理影响的兴趣点推荐方法，其特征在于，所述S103包含如下步骤：

1)将两个降维向量降维后的用户向量x_i和降维后的位置向量y_j进行拼接，即

然后基于神经网络通用公式Lay_k＝f(w_kLay_k-1+b_k),k＝2,3,…M传入具有M层的联合神经网络；

其中，Lay_k是第k层神经网络，w_k是第k层的权重系数，b_k是第k层的偏置系数；

所述联合神经网络的激活函数f采用的是sigmoid函数；

该联合神经网络得到的联合值z_ij如公式(2.1):

其中，Z代表的是联合神经网络的标识符，

和

分别为是联合神经网络中第t层的权重系数和偏置系数，t＝2,3,…M；

2)将联合值与内积值基于公式(2.2)求平均得到最终输出Union_ij；

5.如权利要求4所述的基于神经网络和地理影响的兴趣点推荐方法，其特征在于，所述S104包含如下步骤：

所述均方损失函数如公式(3.1)：

其中，R^-是随机负采样的结果，B是训练过程中设置的样本数量，R_ij为用户i在位置j上的真实访问值。

6.如权利要求5所述的基于神经网络和地理影响的兴趣点推荐方法，其特征在于，所述S105包含如下步骤：

a)定义距离的幂律分别概率为公式(4.1)：

Pro(l_j|l_p)＝a×(dis(l_j,l_p))^b (4.1)；

其中，l_j和l_p为用户真实的签到数据集中相邻的两个签到位置，a和b分别为幂律分布的参数；

为求解未知参数，将其转化为线性模型参见公式(4.2)：

logPro＝loga+blogdis(l_j,l_p) (4.2)；

公式(4.2)可转化表示为公式(4.3)：

δ(C,ω)＝a′+blogω (4.3)；

其中，ω是参数集合，a′是loga，C代表dis(l_j,l_p)；

b)基于目标函数(4.4)采用梯度下降的方式对参数进行更新，D是使用的真实数据集，t(C)是根据D导出的真实距离概率的Log值，t(C)＝Pro(l_j|L_u)：

其中，

控制正则项的权重。

7.如权利要求6所述的基于神经网络和地理影响的兴趣点推荐方法，其特征在于，所述S106将地理距离的影响融合到用户对位置的偏好预测中的方法为：

基于公式(5.1)将地理影响融入到神经网络的结果中去，以计算最终的预测值；

其中，α是权重系数，α∈[0,1]。

Images