CN109241454A - 一种将社交网络和图像内容融合的兴趣点推荐方法 - Google Patents

Abstract

本发明提出一种将社交网络和图像内容融合的兴趣点推荐方法，在已有社交推荐模型的基础上，提出了新的融合社交网络和图像内容的矩阵分解模型，能够充分利用用户评价信息中的图片信息，缓解数据的稀疏性，来提高兴趣点推荐的准确度。另外，本发明利用率兴趣点评价的文本信息，地理信息，以及兴趣点的标签分类信息，更好地解决了兴趣点推荐的冷启动和准确度问题，向用户推荐其最想去的兴趣点，提升用户的体验度。

Description

一种将社交网络和图像内容融合的兴趣点推荐方法

技术领域

本发明涉及信息推荐领域，更具体地，涉及一种将社交网络和图像内容融合的兴趣点推荐方法。

背景技术

随着Web 2.0的快速发展，无线通信与位置采集技术促生了很多基于位置的社交网络(LBSNs)，例如。Yelp、Foursquare、FacebookPlaces等。用户能够以“签到”的形式发布他们的地理标签和物理位置，并对已访问的兴趣点(例如，商场、餐厅、博物馆、娱乐场所、酒店等)与朋友分享他们的体验与经验。在日常生活中，人们通常喜欢探索居住的城市与邻近的地方，根据自己的个人兴趣选择与自己偏好相关的兴趣点。由于兴趣点与用户偏好的数据中包含大量有价值的信息可以用于兴趣点推荐中。同时，在大量的兴趣点中如何有效地帮用户做出满意的决策是一个困难的问题，通常被认为“选择麻痹”。为了解决这个问题，兴趣点推荐任务将帮助用户过滤掉不感兴趣的位置并减少决策时间。在现实世界的Yelp数据中，用户可以在签到地点上传图片信息。图片信息不仅折射出用户的偏好，更对地理位置提供了更多的可解释性。例如，一个用户经常发布建筑类照片，说明他更喜欢去一些有地标的地点；然而另外一个用户可能经常发布关于食物的照片，说明她更喜欢去一些餐馆或是饭店，当然，可以根据用户发布的照片内容，进行食物类别的区分，不同用户可能喜欢不同的食物。

目前兴趣点推荐面临的主要问题在两个方面，一个是兴趣点推荐的数据稀疏性问题(data sparsity)，另外一个是冷启动问题(cold-start)。同时，面临多源的异构数据，如文本类数据，地理位置，用户历史喜好数据，点评数据，社交关系网络数据；如图片数据，用户上传的兴趣图片数据等。如何合理的将数据融入到现有的兴趣点推荐系统中，提高推荐效果，是非常重要的。

目前相关领域主要采用两种类型的技术，基于内容的方法(Content-basedMethods)，基于协同过滤的方法(Collaborative FilteringbasedMethods)。

基于内容的推荐方法是最早使用的推荐方法，根据用户过去喜欢的兴趣点，为用户推荐和他过去喜欢的兴趣点类似的兴趣点。而关键技术就是在这个兴趣点相似性的度量上。但是这种技术抽取内容特征比较复杂；无法挖掘出用户的潜在兴趣，由于是推荐与历史喜好相关的兴趣点，其他类型兴趣点不会进行挖掘；无法为新用户产生推荐，新用户没有兴趣点喜好数据，也就无法对他形成推荐。

基于协同过滤的方法包括基于用户的协同过滤方法，其核心思想是使用统计技术寻找与目标用户有相同喜好的邻居，然后根据邻居的喜好产生目标用户的兴趣点喜好；基于项目的协同过滤方法，其核心思想是根据用户对兴趣点的评价，发现兴趣点与兴趣点之间的相似度，然后根据用户的历史偏好信息将类似的兴趣点推荐给该用户；基于矩阵分解的协同过滤方法，该方法将用户对兴趣点的评分信息以矩阵形式表示，通过对矩阵的分解操作挖掘低维特征空间，并将用户与兴趣点在该低维空间上进行重表示，进而以用户物品向量间的内积来刻画用户兴趣点之间的关联性。然而评分矩阵存在数据高度稀疏与分布不均匀等特点,这些特点进一步导致了协同过滤方法推荐性能低、冷启动、长尾等问题。

此外，研究人员通过对基于矩阵分解的协同过滤方法，引入社交信息，来解决兴趣点推荐的冷启动问题，提出融合社交信息的兴趣点推荐方法，以及融合地理位置、时间效应等方法。但是，这些方法都是基于文本类型的数据信息，忽略了图像内容这样的隐含信息丰富的多媒体信息。没有将文本数据和图像数据同时融入到矩阵分解模型中。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供一种将社交网络和图像内容融合的兴趣点推荐方法，更好地解决兴趣点推荐的冷启动和准确度问题，为每个用户适合准确地推荐兴趣点。

为解决上述技术问题，本发明的技术方案如下：

一种将社交网络和图像内容融合的兴趣点推荐方法，包括以下步骤：

步骤1，构造用户-兴趣点评分矩阵R_ij，通过融合距离和标签因素，构造出新的用户-兴趣点评分矩阵；

步骤2，实现VGG16卷积神经网络，修改最后的soft层，将图片处理为1000维度的向量，并根据兴趣点构造图像内容矩阵；

步骤3，根据数据集中的社交信任关系，构建用户社交矩阵；

步骤4，在用户-兴趣点评分矩阵、图像内容矩阵、用户社交矩阵中，假设真实观测值与实际值之间的差值符合高斯分布，从而根据后验概率分布推导出SVPOI模型，并推导出最终的损失函数：

其中,

R_ij表示用户i对于兴趣点j的评分信息，

C_ik表示用户i对于好友k的社交关系信息，

G_jl表示兴趣点j对于图像l的图像内容信息，

U_i表示用户i的隐含特征信息，

V_j表示兴趣点j的隐含特征信息，

Z_k表示用户i的好友k的隐含社交关系信息，

P_l表示兴趣点j的图像l的隐含图像内容信息，

分别表示对应特征矩阵的二范式，

α_u、α_v、α_r分别表示系数；

步骤5，根据步骤4中的函数对用户特征矩阵U_i求偏导，对物品特征矩阵V_j求偏导，对社交特征矩阵Z_k求偏导，对图像特征矩阵P_l求偏导，

步骤6，利用梯度下降法求以上特征矩阵，求得特征矩阵U_i和V_j；

步骤7，根据步骤6求得的特征矩阵，预测用户对兴趣点的评分，并根据评分高低形成推荐列表。

在步骤1中，通过对兴趣点评分信息的统计观察，发现用户中心地区的点集最为密集；说明兴趣点的评分受到距离因素的影响；同时，发现不同的兴趣点有不同的标签；属于不同的category；说明兴趣点同时受到标签因素的影响；特别的，对距离因素和标签因素做了一些处理，在SVPOI模型中，将用户评分分数记为而真正的用户-兴趣点评分信息为其中，定义距离因素为Γ₁＝a*d^b，标签因素为

细节方面：

(1)对每个用户计算其签到兴趣点所有经纬度的均值，作为该用户兴趣点的中心点，并逐次计算每个签到点到该点的距离d；a和b是系数，且(b<0)；

(2)计算标签时，由于每个兴趣点对应多个标签，所以，将标签数据集进行了“展平”处理，计算该用户在某一兴趣点标签在其所有兴趣点标签的比例。

在步骤2中，通过构造VGG16卷积神经网络，修改最后的soft层，实现图像的高维度特征抽取，最后构成一个1000维度的向量；网络利用了ImageNet实现了图像权重的初始化训练；

部分细节处理：

(1)图片库中去除了包含人脸噪声的图片；

(2)由于每个兴趣点对应多个图片，所以，对每个兴趣点对应的图像向量进行了取均值的操作；

(3)最后，形成了一个图像信息矩阵。

在步骤3中，根据SoRec推荐算法中用户社交矩阵的构建方式，实现其用户社交矩阵的构建。

在步骤6中，根据推荐模型的评价指标RMSE、MAE，进行模型的实验对比和参数调优；其中，

两个指标的值越低，说明模型的推荐效果越好；从而选取最好的模型参数，进行特征矩阵U_i和V_j的求解。

与现有技术相比，本发明技术方案的有益效果是：本发明提出一种将社交网络和图像内容融合的兴趣点推荐方法，在已有社交推荐模型的基础上，提出了新的融合社交网络和图像内容的矩阵分解模型，能够充分利用用户评价信息中的图片信息，缓解数据的稀疏性，来提高兴趣点推荐的准确度。另外，本发明利用率兴趣点评价的文本信息，地理信息，以及兴趣点的标签分类信息，更好地解决了兴趣点推荐的冷启动和准确度问题，向用户推荐其最想去的兴趣点，提升用户的体验度。

附图说明

图1为本发明所提出的兴趣点推荐方法的流程图。

图2为社交网络和图像内容融合的矩阵概率矩阵分解模型图。

图3为热力图。

图4为兴趣点标签分类图。

图5为在SVPOI模型示意图。

图6为图像权重的初始化训练示意图。

图7为取均值的部分数据示意图。

图8为取均值的部分数据示意图。

图9为本发明相比于已有算法的实验比较效果图。

具体实施方式

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1-2所示，一种将社交网络和图像内容融合的兴趣点推荐方法，包括以下步骤：

步骤1，构造用户-兴趣点评分矩阵R_ij，通过融合距离和标签因素，构造出新的用户-兴趣点评分矩阵；本发明中，过滤掉少于10次签到的用户，且选取每个兴趣点应该至少被用户访问10次，用户应该至少访问5个不同的兴趣点。对于图片数据，本发明过滤掉包含人像等的图片。

步骤2，实现VGG16卷积神经网络，修改最后的soft层，将图片处理为1000维度的向量，并根据兴趣点构造图像内容矩阵；利用VGG16模型处理图像变成1000维的向量时，由于每个兴趣点对应多张图片，即处理后，每个兴趣点对应多个1000维的向量，本发明对每个兴趣点对应的矩阵进行取均值操作，最后，每个兴趣点对应一个1000维度的向量。

步骤3，构建社交矩阵根据社交好友信息中的用户id，利用SoRec算法中的社交矩阵构建方法，即进行社交矩阵的构建。其中，d⁺(v_i)表示社交网络中节点v_i的出度，而d^-(v_k)表示社交网络中节点v_k的入度，c_ik表示原来的社交网络信息。

步骤4，在用户-兴趣点评分矩阵、图像内容矩阵、用户社交矩阵中，假设真实观测值与实际值之间的差值符合高斯分布，从而根据后验概率分布推导出SVPOI模型，并推导出最终的损失函数：

其中,

R_ij表示用户i对于兴趣点j的评分信息，

C_ik表示用户i对于好友k的社交关系信息，

G_jl表示兴趣点j对于图像l的图像内容信息，

U_i表示用户i的隐含特征信息，

V_j表示兴趣点j的隐含特征信息，

Z_k表示用户i的好友k的隐含社交关系信息，

P_l表示兴趣点j的图像l的隐含图像内容信息，

分别表示对应特征矩阵的二范式，

α_u、α_v、α_r分别表示系数。

构建用户兴趣点评分矩阵时，对于距离因素，处理如下：

a.首先，对每个用户所有签到的兴趣点的经纬度进行取均值的操作，这样，每个用户就能得到所签到兴趣点的一个相对“中心点”；

b.将该用户签到的兴趣点的经纬度与上述得到的“中心点”的经纬度进行距离d的计算；

c.利用公式计算距离因素Γ₁＝a*d^b。

对于标签因素：

a.首先在数据集中统计每个用户签到的兴趣点的标签类别集合，构成标签集合计算

b.在数据集中统计该物品所属的类别集合最后计算

c.最后计算

步骤5，根据步骤4中的函数对用户特征矩阵U_i求偏导，对物品特征矩阵V_j求偏导，对社交特征矩阵Z_k求偏导，对图像特征矩阵P_l求偏导，

步骤6，利用梯度下降法求以上特征矩阵，求得特征矩阵U_i和V_j；

步骤7，根据步骤6求得的特征矩阵，预测用户对兴趣点的评分，并根据评分高低形成推荐列表。

在步骤1中，通过对兴趣点评分信息的统计观察，如图3热力图显示，发现用户中心地区的点集最为密集；说明兴趣点的评分受到距离因素的影响；同时，发现不同的兴趣点有不同的标签；属于不同的category，如图4所示；说明兴趣点同时受到标签因素的影响；特别的，对距离因素和标签因素做了一些处理，如图5所示，在SVPOI模型中，将用户评分分数记为而真正的用户-兴趣点评分信息为其中，定义距离因素为Γ₁＝a*d^b，标签因素为

细节方面：

(1)对每个用户计算其签到兴趣点所有经纬度的均值，作为该用户兴趣点的中心点，并逐次计算每个签到点到该点的距离d；a和b是系数，且(b<0)；

(2)计算标签时，由于每个兴趣点对应多个标签，所以，将标签数据集进行了“展平”处理，计算该用户在某一兴趣点标签在其所有兴趣点标签的比例。

在步骤2中，通过构造VGG16卷积神经网络，修改最后的soft层，实现图像的高维度特征抽取，最后构成一个1000维度的向量；网络利用了ImageNet实现了图像权重的初始化训练；如图6所示。

部分细节处理：

(1)图片库中去除了包含人脸噪声的图片；

(2)由于每个兴趣点对应多个图片，所以，对每个兴趣点对应的图像向量进行了取均值的操作；取均值的部分数据如下图7-8所示。

(3)最后，形成了一个图像信息矩阵。

在步骤3中，根据SoRec推荐算法中用户社交矩阵的构建方式，实现其用户社交矩阵的构建。

在步骤6中，根据推荐模型的评价指标RMSE、MAE，进行模型的实验对比和参数调优；其中，

两个指标的值越低，说明模型的推荐效果越好；从而选取最好的模型参数，进行特征矩阵U_i和V_j的求解。

如图9所示，通过对Yelp部分真实数据的实验，本发明提出的SVPOI模型比之前经典算法有极大的提高。

Claims (5)

1.一种将社交网络和图像内容融合的兴趣点推荐方法，其特征在于，包括以下步骤：

步骤1，构造用户-兴趣点评分矩阵R_ij，通过融合距离和标签因素，构造出新的用户-兴趣点评分矩阵；

步骤2，实现VGG16卷积神经网络，修改最后的soft层，将图片处理为1000维度的向量，并根据兴趣点构造图像内容矩阵；

步骤3，根据数据集中的社交信任关系，构建用户社交矩阵；

步骤4，在用户-兴趣点评分矩阵、图像内容矩阵、用户社交矩阵中，假设真实观测值与实际值之间的差值符合高斯分布，从而根据后验概率分布推导出SVPOI模型，并推导出最终的损失函数：

其中,

R_ij表示用户i对于兴趣点j的评分信息，

C_ik表示用户i对于好友k的社交关系信息，

G_jl表示兴趣点j对于图像l的图像内容信息，

U_i表示用户i的隐含特征信息，

V_j表示兴趣点j的隐含特征信息，

Z_k表示用户i的好友k的隐含社交关系信息，

P_l表示兴趣点j的图像l的隐含图像内容信息，

分别表示对应特征矩阵的二范式，

α_u、α_v、α_r分别表示系数；

步骤5，根据步骤4中的函数对用户特征矩阵U_i求偏导，对物品特征矩阵V_j求偏导，对社交特征矩阵Z_k求偏导，对图像特征矩阵P_l求偏导，

步骤6，利用梯度下降法求以上特征矩阵，求得特征矩阵U_i和V_j；

步骤7，根据步骤6求得的特征矩阵，预测用户对兴趣点的评分，并根据评分高低形成推荐列表。

2.根据权利要求1所述的将社交网络和图像内容融合的兴趣点推荐方法，其特征在于，在步骤1中，通过对兴趣点评分信息的统计观察，发现用户中心地区的点集最为密集；说明兴趣点的评分受到距离因素的影响；同时，发现不同的兴趣点有不同的标签；属于不同的category；说明兴趣点同时受到标签因素的影响；特别的，对距离因素和标签因素做了一些处理，在SVPOI模型中，将用户评分分数记为而真正的用户-兴趣点评分信息为其中，定义距离因素为Γ₁＝a*d^b，标签因素为

细节方面：

(1)对每个用户计算其签到兴趣点所有经纬度的均值，作为该用户兴趣点的中心点，并逐次计算每个签到点到该点的距离d；a和b是系数，且(b<0)；

(2)计算标签时，由于每个兴趣点对应多个标签，所以，将标签数据集进行了“展平”处理，计算该用户在某一兴趣点标签在其所有兴趣点标签的比例。

3.根据权利要求1所述的将社交网络和图像内容融合的兴趣点推荐方法，其特征在于，在步骤2中，通过构造VGG16卷积神经网络，修改最后的soft层，实现图像的高维度特征抽取，最后构成一个1000维度的向量；网络利用了ImageNet实现了图像权重的初始化训练；部分细节处理：

(1)图片库中去除了包含人脸噪声的图片；

(2)由于每个兴趣点对应多个图片，所以，对每个兴趣点对应的图像向量进行了取均值的操作；

(3)最后，形成了一个图像信息矩阵。

4.根据权利要求1所述的将社交网络和图像内容融合的兴趣点推荐方法，其特征在于，在步骤3中，根据SoRec推荐算法中用户社交矩阵的构建方式，实现其用户社交矩阵的构建。

5.根据权利要求1所述的将社交网络和图像内容融合的兴趣点推荐方法，其特征在于，在步骤6中，根据推荐模型的评价指标RMSE、MAE，进行模型的实验对比和参数调优；其中，

两个指标的值越低，说明模型的推荐效果越好；从而选取最好的模型参数，进行特征矩阵U_i和V_j的求解。