CN105550211A

CN105550211A - 一种融合社交网络和项目内容的协同推荐系统

Info

Publication number: CN105550211A
Application number: CN201510881712.3A
Authority: CN
Inventors: 武浩; 何敏; 徐涛; 赵婧; 聂仁灿; 余江; 金鑫
Original assignee: Yunnan University YNU
Current assignee: Yunnan University YNU
Priority date: 2015-12-03
Filing date: 2015-12-03
Publication date: 2016-05-04

Abstract

本发明公开了一种融合社交网络和项目内容的协同推荐系统，首先对项目内容进行处理，即将每个项目的内容表示成文本向量，并设定隐含主题的数目，利用LDA(Latent？Dirichlet？Allocation)主题模型生成项目主题的分布和主题-词的分布；然后建立用户对项目的评分预测模型，并基于用户历史评分记录数据、用户之间的社交网络数据、项目主题分布，构建参数学习方法，求解隐含参数U和V；最后就可以根据预测模型对所有的项目进行评分预测，按照评分降序排列项目，形成推荐列表。本发明有效地整合了评分数据、社交网络、项目内容多种信息源，通过机器学习算法寻找最优的表征用户兴趣的隐含变量，基于用户和项目隐含变量实施个性化推荐，提高了推荐的精准度。

Description

一种融合社交网络和项目内容的协同推荐系统

技术领域

本发明属于个性化推荐技术领域，特别是涉及一种融合社交网络和项目内容的协同推荐系统。

背景介绍

推荐系统是从海量信息中提取过滤出用户最喜欢或者与用户最相关的项目(比如照片，视频，音乐，文章，新闻，评论，标签等等)从而缓解信息超载所带来的问题，使得用户更容易找到相关的项目。推荐系统通常是采用个性化技术或者集体智能来找到用户感兴趣的内容。众多信息推荐算法，比如基于邻居关系的协同过滤、矩阵因式分解、基于网络方法等，都已被用来自动预测用户的兴趣。

社会媒体和推荐系统能够相辅相成，彼此受益。一方面，社会媒体引进了大量日益增长的信息以及元信息，比如标签，评分，评论以及用户之间的关系，来增强推荐效果；另一方面，推荐技术能够更好的结合社交网络的新老用户，从而使得社交媒体应用更加的成功。因此，将推荐系统技术和社交网络相结合，利用社交媒体的海量信息去提高推荐模型效果已经成为诸多科研工作者的研究热点。此外，项目的内容信息也能够用来解决以往的数据稀疏问题，提高推荐系统的预测能力。

现在大部分的推荐系统的研究都会利用到推荐项目内容或者社交网络信息，但是将两者相结合的方法却很少。

发明内容

为了解决上述问题，本发明提出一种结合用户社交网络信息和项目内容信息的协同推荐方法，基于分解评分矩阵的策略来进行评分预测，提出在矩阵分解过程中，将项目的内容信息和用户的社交网络信息作为额外的信息源，来构建评分矩阵的分解方法，提出用户隐含向量和项目隐含向量的学习方法，利用学习的最优隐变量进行评分预测和实施推荐，该方法具体包括：

步骤1，将每个项目的内容表示成文本向量形式，设定隐含主题的数目K，利用LDA主题模型生成项目-主题的分布θ和主题-词的分布φ；

步骤2，利用用户历史评分记录数据构成的评分矩阵R，建立预测模型R＝U^TV，其中用户i对项目j的预测模型

r_{i j} = u_{i}^{T} v_{j} = u_{i}^{T} ({&Element;}_{j} + θ_{j});

步骤3，利用评分矩阵R，用户之间的社交网络数据，项目-主题的分布θ，构建参数学习方法，求解拟合评分矩阵R的最优参数U和V；

步骤4，对于用户i，使用步骤3所得参数对所有未知的项目进行评分预测，按照评分降序排列候选项目，形成推荐列表。

进一步地，步骤1中，将每个项目内容表示成文本向量，LDA主题模型的一般生成过程如下：

对于项目集合中的任意项目j，

S1.1:主题发生概率θ_j～Dirichlet(α)；

S1.2:对于每个词w_jn，

a)主题分布z_jn～Mult(θ)；

b)词

w_{j n} ~ M u l t (φ_{z_{j n}})

进一步地，步骤2中，建立用户对项目的预测模型，用户i对项目j的评分预测值可表示为两个隐含向量的内积

r_{i j} = u_{i}^{T} v_{j} = u_{i}^{T} ({&Element;}_{j} + θ_{j}) .

进一步地，步骤3中，参数学习方法的构建如下：

S3.1:假设u_i、∈_j、r_ij服从正态分布，则对于每个用户i，其隐含变量对于每个项目j，项目隐含偏移量对于每个用户-项目对(i，j)，评分其中c_ij反映了r_ij的置信度

c_{i j} = \{\begin{matrix} a, & i f r_{i j} = 1, \\ b, & i f r_{i j} = 0, \end{matrix} - - - (1)

其中a和b为调节参数，并且有a>>b>0，缺省设置为a＝1,b＝0.01。建立一种基于EM原理的参数学习方法，来求解参数u_i，∈_j。求解最优的参数，等价于最大化下列目标优化函数：

S3.2:由于在社交网络中，用户经常会被周围朋友所影响。在做出某项选择的时候，用户会征求信任朋友的意见，使得朋友之间兴趣会趋向一致。因此，本专利提出了一种基于用户的社交网络的正规化项来描述此种情况：

- \frac{λ_{r}}{2} Σ_{i = 1}^{I} Σ_{l &Element; {F_{i}}^{+}} S_{i l} {(u_{i} - u_{l})}^{T} (u_{i} - u_{l}) - - - (3)

其中λ_r为权重调节参数，S_il为用户i和用户l之间的信任度评分规范化项，并且有，

sim(i，l)表示用户i和用户l之间的相似度，表示用户i所信任的用户数量，表示信任用户l的用户数量。

S3.3:将上述提出的正规化项(3)与S3.1中提出的求解参数u_i，∈_j的方法相结合，则可得到融合社交网络和项目内容的新的目标优化函数：

对求解关于u_i和v_j的梯度值，令梯度值等于零，从而得到u_i和v_j的更新解析式，

v_{j} &LeftArrow; {[λ_{v} I_{K} + Σ_{i = 1}^{I} c_{i j} u_{i}^{T} u_{i}^{T}]}^{- 1} [Σ_{i = 1}^{I} c_{i j} r_{i j} u_{i} + λ_{v} θ_{j}] - - - (7)

其中C_i为c_ij对角元素的对角矩阵，

S3.4:通过循环方法，迭代更新隐含参数，使目标函数最大化，确定优化的隐含参数。

进一步地，于步骤4中，对于用户i，使用步骤3所得结果，基于对所有未知的项目进行评分预测，按照评分降序排列项目，形成推荐列表，从而进行项目推荐。

本发明提出的一种结合用户社交网络和项目内容的协同推荐系统，有效地整合了评分数据、社交网络、项目内容多种信息源，通过机器学习算法寻找最优的表征用户兴趣的隐含变量，基于用户和项目变量实施个性化推荐，能够更好地优化用户和项目的隐含变量，提高了预测的可靠性以及推荐系统的精准性。

附图说明

图1为本发明一种融合社交网络和项目内容的协同推荐系统步骤流程图；

图2为本发明更新预测模型流程图。

具体实施方式

图1为本发明一种融合社交网络和项目内容的的协同推荐系统的步骤流程图。如图1所示，本发明一种融合社交网络和项目内容的协同推荐系统，包括以下步骤：

步骤2，利用用户历史评分记录数据构成的评分矩阵R，建立预测模型R＝U^TV，其中用户用户i对项目j的预测模型

r_{i j} = u_{i}^{T} v_{j} = u_{i}^{T} ({&Element;}_{j} + θ_{j});

；

进一步地，于步骤1中，将每个项目内容表示成文本向量，LDA主题模型的一般生成过程如下：

对于项目集合中的任意项目j，

S1.1:主题发生概率θ_j～Dirichlet(α)；

S1.2:对于每个词w_jn，

a)主题分布z_jn～Mult(θ)；

b)词

w_{j n} ~ M u l t (φ_{z_{j n}})

进一步地，于步骤2中，建立用户对项目的预测模型，用户i对项目j的评分预测值可表示为两个隐含向量的内积

进一步地，于步骤3中，参数学习方法的构建如下：

S3.1:假设u_i、∈_j、r_ij服从正态分布，则对于每个用户i，其隐含变量对于每个项目j，项目隐含偏移量对于每个用户-项目对(i，j)，评分

r_{i j} ~ N (u_{i}^{T} v_{j}, c_{i j}^{- 1}),

其中c_ij反映了r_ij的置信度

c_{i j} = \{\begin{matrix} a, & i f r_{i j} = 1, \\ b, & i f r_{i j} = 0, \end{matrix} - - - (1)

其中a和b为调节参数，并且有a>>b>0，缺省设置为a＝1,b＝0.01。基于上述分析，给定可观测数据R、S和θ，以及预设参数λ_u、λ_v，未知参数U,V的条件概率分布可表示为：

\begin{matrix} P (U, V | R, S, θ, λ_{u}, λ_{v}) = P (U | λ_{u}) P (V | θ, λ_{v}) P (R | U, V) \\ = Π_{i = 1}^{I} N (u_{i} | 0, λ_{u}^{- 1} I_{k}) Π_{j = 1}^{J} N (v_{j} | θ_{j}, λ_{v}^{- 1} I_{k}) Π_{i = 1}^{I} Π_{j = 1}^{J} N (r_{i j} | u_{i}^{T} v_{j}, c_{i j}^{- 1}) \end{matrix}

为了寻找U,V的最大后验估计(MaximumaPosteriori)，建立一种基于期望最大化原理(ExpectationMaximization)的参数学习方法，来求解参数u_i、∈_j。求解最优的参数，等价于最大化下列目标优化函数：

- \frac{λ_{r}}{2} Σ_{i = 1}^{l} Σ_{l &Element; {F_{i}}^{+}} S_{i l} {(u_{i} - u_{l})}^{T} (u_{i} - u_{l}) - - - (3)

公式(5)中的函数可以通过梯度上升的方法来优化，对分别求解关于u_i和v_j的梯度值，令梯度值等于零，从而得到u_i和v_j的更新解析式。u_i的更新式的推导过程如下：

令

\frac{\partial L}{\partial u_{i}} = 0,

则有

同理，v_j更新式的推导过程如下：

\frac{\partial L}{\partial v_{j}} = - λ_{v} (v_{j} - θ_{j}) + Σ_{i = 1}^{I} c_{i j} (r_{i j} - u_{i}^{T} v_{j}) u_{i}

令

\frac{\partial L}{\partial v_{j}} = 0,

则有

v_{j} &LeftArrow; {[λ_{v} I_{K} + Σ_{i = 1}^{I} c_{i j} u_{i}^{T} u_{i}^{T}]}^{- 1} [Σ_{i = 1}^{I} c_{i j} r_{i j} u_{i} + λ_{v} θ_{j}] - - - (7)

其中C_i为c_ij对角元素的对角矩阵，

S3.4:通过循环方法确定优化的隐含参数，循环更新如图2所示，具体过程如下：

a)输入α，β，λ_u，λ_v，λ_r，a，b，R，S，K，maxIter，threshold；

b)给定α，β和K，利用LDA模型初始化θ和φ，利用公式3初始化矩阵S，根据评分矩阵R得到矩阵C；

c)如果iter<maxIter，则重复步骤d)至步骤h)；

d)令L_old←L；

e)对于任意u_i∈U，如果有则利用公式(6)来更新u_i，反之，则用u_i←(VC_iV^T+λ_uI_K)^-1VC_iR_i来更新u_i；

f)对于任意v_j∈V，利用公式(7)来更新v_j；

g)利用公式(5)计算L；

h)如果|L-L_old|/L_old＜threshold，则学习过程收敛，执行步骤i)；反之，计数器iter加1，跳转步骤c)继续执行；

i)输出U，V；

表1符号说明

符号	说明
		θ＝{θ_j\|j＝1：J}	项目-主题的分布，θ_j是第j个项目的主题分布向量
φ＝{φ_k\|k＝1：K}	主题-词的分布，φ_k是第k个主题的词分布向量
		U＝{u_i\|i＝1：I}	用户-因子矩阵，u_i是第i个用户的隐含特征5 -->
V＝{v_j\|j＝1：J}	项目-因子矩阵，v_j是第j个项目的隐含特征
		∈_j＝v_j-θ_j	向量v_j与向量θ_j的偏移量
R＝{r_ij\|i＝1：I，j＝1：J}	用户-项目评分矩阵，元素值为0和1
		S＝{S_il\|i，l＝1：I}	用户相似度矩阵，S_il表示用户i对用户l的信任度

Dirichlet(.)	狄利克雷分布
		Mult(.)	多项式分布
N(.)	高斯分布或正态分布

实验：

1、数据集

本发明中使用从著名的社交媒体平台Lastfm收集来的真实数据来验证推荐性能，具体数据来源于http://grouplens.org/datasets/hetrec-2011/。本发明中的数据集包括用户的社交网络信息，项目标签信息以及用户评分信息。在本发明中，用歌手来作为项目推荐的对象，表2中给出的是Lastfm数据集的统计信息。

表2Lastfm数据集的统计信息

数据集	统计信息
		用户	1,892
项目	12,523
		标签	9,749
用户-项目关系	71,063
		用户-用户关系	25,434
用户-项目-标签关系	186,479

为了进行测试，将用户-项目-标签关系对应的记录，以时间戳的先后顺序划分为两个部分，时间戳以前的80％记录作为训练数据，时间戳以后的20％记录作为测试数据。在测试数据中，冷启动用户(即之前未在训练数据中出现的用户)被剔除掉，由此保留482个用户作为推荐目标。

2、评价标准

本发明使用准确度(precision)和召回率(recall)等作为评判标准。与大多数推荐系统类似，将备选项目按评分排序，并推荐前M个项目。对于每个用户，定义PM以及RM为：

P M = \frac{| {r e l e v a n t i t e m s} \cap {t o p - M i t e m s} |}{M}

R M = \frac{| {r e l e v a n t i t e m s} \cap {t o p - M i t e m s} |}{| {r e l e v a n t i t e m s} |}

3、比较方法与实验结果

本发明使用下列方法与本专利方法进行比较：

1、CTR模型，由Wang&Blei在论文“Collaborativetopicmodelingforrecommendingscientificarticles”中提出，该方法结合了矩阵分解和项目内容。

2、CTR-SMF模型，是CTR模型的扩展版，由Purushotham等人在“Collaborativetopicregressionwithsocialmatrixfactorizationforrecommendationsystems”中提出，该方法结合了评分矩阵、社交网络和项目内容。

对于Lastfm数据集，本方法设置λ_u＝0.01，λ_v＝100，λ_r＝10，CTR和CTR-SMF使用原始文献中的默认参数，隐含主题数K均为200，将评价标准通过482个测试用例平均，得到如下实验结果：

表3实验结果对比

方法	P20	P50	P100	R20	R50	R100
							CTR	0.04782	0.03436	0.02548	0.12833	0.19577	0.26945
CTR-SMF	0.04824	0.03427	0.02595	0.13003	0.19750	0.27444
							本方法	0.04917	0.03577	0.02649	0.13618	0.21914	0.29369

由表3中可以清楚地看出，本专利的方法在不同的M取值情况下，准确度和召回率明显优于其他两种方法。可以证明，本发明提出的一种结合用户社交网络和项目内容的协同推荐系统，能够更好地优化用户和项目的隐含变量，提高了预测的可靠性以及推荐系统的精准性。

上述实施例仅例示说明本发明的原理，而非用于限制本发明。应当理解，在不脱离本发明精神和范围的前提下，本领域的普通技术人员可根据本发明的构思作出诸多修改和变化。因此本发明的权利保护范围，应当如权利要求书所列。

Claims

1.一种融合社交网络和项目内容的协同推荐系统，其特征在于包含以下步骤：

2.根据权利要求1所述的一种融合社交网络和项目内容的协同推荐系统，其特征在于：所述步骤1中，将每个项目内容表示成文本向量，LDA主题模型建立一般过程如下：

对于项目集合中的任意项目j，

S1.1:主题发生概率θ_j～Dirichlet(α)；

S1.2:对于每个词w_jn，

a)生成主题分布z_jn～Nult(θ)；

b)生成词

3.根据权利要求1所述的一种融合社交网络和项目内容的协同推荐系统，其特征在于：所述步骤2中，建立用户对项目的预测模型，用户i对项目j的评分预测值可表示为两个隐含向量的内积

4.根据权利要求1所述的一种融合社交网络和协作主题模型的协同推荐系统，其特征在于：所述步骤3中，参数学习方法的构建如下：

其中a和b为调节参数，并且有a>>b>0，缺省设置为a＝1,b＝0.01。建立一种基于期望最大化原理的参数学习方法，来求解参数u_i，∈_j。求解最优的参数，等价于最大化下列目标优化函数：

S3.2:由于在社交网络中，用户经常会被周围朋友所影响。在作出某项选择的时候，用户会征求信任朋友的意见，使得朋友之间兴趣会趋向一致。因此，本专利提出了一种基于用户的社交网络的正规化项来描述此种情况：

其中C_i为c_ij对角元素的对角矩阵，

5.根据权利要求1所述的一种融合社交网络和项目内容的协同推荐系统，其特征在于：所述步骤4中，对于用户i，使用步骤3所得结果，基于对所有未知的项目进行评分预测，按照评分降序排列项目，形成推荐列表，从而进行项目推荐。