CN103390032B - 基于关系型协同话题回归的推荐系统及方法 - Google Patents

Abstract

本发明公开了一种基于关系型协同话题回归的推荐系统及其方法，该系统至少包括：RCTR模型建立模组，将用户‑物品评价信息、物品内容信息与物品间的关系结构整合到一个层级贝叶斯模型以建立RCTR模型；参数学习模组，利用最大后验估计对RCTR模型中的参数进行学习，最终获得参数用户隐向量、物品隐向量、物品关系向量和物品话题比例的全后验概率；预测值计算模组，使用用户隐向量、物品话题比例和物品隐偏移的点估计利用一预测值计算公式来计算评价的预测值，本发明通过无缝地将用户‑物品评价信息、物品内容信息与物品间的关系结构整合到一个层级贝叶斯模型，以将物品之间的社交网络集合到推荐过程中，从而提高了推荐的准确度。

Description

基于关系型协同话题回归的推荐系统及方法

技术领域

本发明关于一种推荐系统及方法，特别是涉及一种基于关系型协同话题回归的推荐系统及方法。

背景技术

推荐系统在对信息的有效利用和搜索中扮演着十分重要的角色。比如亚马逊利用推荐系统来为它的客户做产品推荐，而Netflix(在线影片租赁提供商)也利用推荐系统做电影、剧集的推荐。目前，推荐系统主要包括基于内容的方法和基于协调过滤(CF)的方法。

基于内容的方法利用用户或者产品的概要信息做推荐，基于协同过滤的方法利用用户过去的活动或者偏好(如用户对物品的评分)来做预测，而没有使用任何用户或者产品的概要信息。由于隐私保护的问题，一般来说收集用户的概要信息远远比收集用户的过去活动与偏好信息难，因此基于协同过滤的方法在近年来要比基于内容的方法受欢迎得多。

在大多数传统的基于协同过滤的方法中，只有包含用户对物品的评价信息的评价矩阵(rating matrix)被用于训练和预测。一般来说，评价矩阵是十分稀疏的，这意味着大多数用户只评价了极少的物品。由于这个稀疏性的问题，传统的只用到评价矩阵的协同过滤的效果会大打折扣。具体地讲，协同过滤假设对物品有相似评价的用户往往会喜欢相似的物品。因此，如果一个用户只是评价了一两个物品，那么要预测他的喜好则变得十分困难。不幸的是，在实际中，大多数的用户只对一小部分的物品有评价，再者，目前只有极少数评价的新用户提供精确的推荐要比老用户重要的多，因为新用户是否会继续来这个网站或者继续使用这个服务很大程度上取决于系统推荐的准确度。然而对于老用户来说，可以认为他们已经对系统的服务足够满意了(他们为系统提供的信息已经足以让系统做出精确的推荐)。如果能够提高对新用户的推荐准确度，那么就会有更多的新客户会变成老客户，这会使得系统积累更多的训练数据从而为全体用户做出更好的推荐。可以说，在极其稀疏的数据设定下提高推荐准确度是使得推荐系统进入良性循环的关键。

为了缓解基于协同过滤的模型的稀疏性问题，目前，许多研究者提出将附加信息整合进模型的训练和预测的过程中。其中一些方法利用物品的内容来加强协同过滤的训练。在这些方法中协同话题回归(CTR)是最近一个将用户-物品评价矩阵(user-itemrating matrix)与物品的内容信息(文章的文本)联合建模的模型，CTR的概率图模型如图1所示。协同话题回归无缝地讲话题模型与协同过滤结合起来，不仅提高了预测的准确度，而且大大增强了模型的可解释性。对于未被评价的(新的)物品，CTR可以只使用内容信息而进行矩阵外预测(out-of-matrix prediction or cold-start prediction)，还有一些其他的方法使用用户之间的社交网络关系来提高预测性能。

然而，在很多真实应用中，除了评价矩阵和物品的内容信息，还可能存在物品之间的关系(或者叫社交网络)，这些对提高推荐准确度会很有帮助。比如，如果想在CiteULike(个人学术资料库)中为用户推荐学术论文(的引用)，学术论文之间的引用关系是十分有用的。CTR未考虑物品之间的关系。因此，实有必要提出一种技术手段，以将物品之间的社交网络集合到推荐过程中以提高推荐的准确度。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于关系型协同话题回归的推荐系统及方法，其通过拓展CTR，无缝地将用户-物品评价信息、物品内容信息与物品间的关系(网络)结构整合到一个层级贝叶斯模型，以将物品之间的社交网络集合到推荐过程中，从而提高了推荐的准确度。

为达上述及其它目的，本发明提出一种基于关系型协同话题回归的推荐系统，至少包括：

RCTR模型建立模组，将用户-物品评价信息、物品内容信息与物品间的关系结构整合到一个以物品间关系为已观察变量的层级贝叶斯模型以建立RCTR模型；

参数学习模组，利用最大后验估计对该RCTR模型建立模组建立的RCTR模型中的参数进行学习，最终获得参数用户隐向量u_i、物品隐向量v_j、物品关系向量s_j和物品话题比例θ_j的全后验概率；

预测值计算模组，使用用户隐向量u_i,物品话题比例θ_j和物品隐偏移∈_j的最大后验点估计利用一预测值计算公式来计算评价的预测值。

进一步地，RCTR模型建立模组建立RCTR模型过程如下：

(1)取得每个用户i的隐向量

(2)对于每一个物品j，

a.取得话题比例θ_j～Dirichlet(α)。

b.取得物品隐偏移令物品隐向量v_j＝∈_j+θ_j，

c.取得物品关系偏移令物品关系向量s_j＝τ_j+v_j，

d.对于文档(物品)w_j的每一个词w_jn，

i.取得话题分配(topic assignment)z_jn～Mult(θ)，

ii.取得词

(3)取得参数

(4)对于每一个物品对(j,j')，取得二进制链接量l_j，j′|s_j，s_j′～ψ(.|s_j，s_j′，η⁺)；

(5)对于每一个用户-物品对，取得评价量

在上面的产生过程中，链接概率函数其中l_i，j′为一个二进制值，σ(.)表示sigmoid函数，υ为一个标量，表示偏移量，η⁺＝＜η，υ＞中<.>表示将一个标量加到向量的尾部，运算符表示对于向量的每个元素的逐个相乘。

进一步地，该最大后验估计等价于最大化给定代表物品关系的超参数λ_u，λ_v，λ_r，λ_e和ρ时，U，V，s_1：J，θ_1：J和评价矩阵是完全对数似然的。

进一步地，该参数学习模组通过配置参数求解如下目标函数以获得相关参数的全后验概率：

进一步地，该预测值计算公式为：

E[r_ij|D]≈E[u_i|D]^T(E[θ_j|D]+E[∈_j|D]，

其中D为已观察数据，E(·)表示取期望的运算，对于矩阵内预测，对于矩阵外预测

为达到上述及其他目的，本发明还提供一种基于关系型协同话题回归的推荐方法，包括如下步骤：

步骤一，将用户-物品评价信息、物品内容信息与物品间的关系结构整合到一个以物品间关系为已观察变量的层级贝叶斯模型以建立RCTR模型；

步骤二，利用最大后验估计对该RCTR模型建立模组建立的RCTR模型中的参数进行学习，最终获得参数用户隐向量u_i、物品隐向量v_j、物品关系向量s_j和物品话题比例θ_j的全后验概率；

步骤三，使用用户隐向量u_i,物品话题比例θ_j和物品隐偏移∈_j的最大后验点估计利用一预测值计算公式来计算评价的预测值。

进一步地，步骤一还包括如下步骤：

(1)取得每个用户i的隐向量

(2)对于每一个物品j，

a.取得话题比例θ_j～Dirichlet(α)。

b.取得物品隐偏移令物品隐向量v_j＝∈_j+θ_j，

c.取得物品关系偏移令物品关系向量s_j＝τ_j+v_j，

d.对于文档(物品)w_j的每一个词w_jn，

i.取得话题分配(topic assignment)z_jn～Mult(θ)，

ii.取得词

(3)取得参数

(4)对于每一个物品对(j,j')，取得二进制链接量l_j，j′|s_j，s_j′～ψ(.|s_j，s_j′，η⁺)；

(5)对于每一个用户-物品对，取得评价量

在上面的产生过程中，链接概率函数其中l_j，j′为一个二进制值，σ(.)表示sigmoid函数，υ为一个标量，表示偏移量，η⁺＝＜η，υ＞中<.>表示将一个标量加到向量的尾部，运算符表示对于向量的每个元素的逐个相乘。

进一步地，于步骤二中，该最大后验估计等价于最大化给定代表物品关系的超参数λ_u，λ_v，λ_r，λ_e和ρ时，U，V，s_1：J，θ_1：J和评价矩阵是完全对数似然的。

进一步地，于步骤二中，通过配置参数求解如下目标函数以获得相关参数的全后验概率：

进一步地，于步骤三中，该预测值计算公式为：

E[r_ij|D]≈E[u_i|D]^T(E[θ_j|D]+E[∈_j|D]，

其中D为已观察数据，E(·)表示取期望的运算，对于矩阵内预测，对于矩阵外预测

与现有技术相比，本发明一种基于关系型协同话题回归的推荐系统及方法通过无缝地将用户-物品评价信息、物品内容信息与物品间社交网络整合进新型的层级贝叶斯模型(RCTR)，很好地利用附加的信息以缓解传统的CF方法与CTR面临的稀疏问题。本发明在真实数据集上进行的实验表明，本发明能够达到比最先进方法更高的预测准确度，却只需要更低的时间复杂度。同时，本发明还能够提供可解释的训练结果，更有利于推荐系统进行推荐。

附图说明

图1为现有技术中CTR的概率型模型示意图；

图2为本发明一种基于关系型协同话题回归的推荐系统的系统架构示意图；

图3为本发明较佳实施里中RCTR的概率图模型示意图；

图4为退化的RCTR的概率图模型示意图；

图5为ρ取不同值时各个链接概率函数的比较示意图；

图6为本发明一种基于关系型协同话题回归的推荐方法的步骤流程图；

图7与图8分别是数据集citeulike-a与citeulike-t上当P为1、2、5、8、10时RCTR、CTR与CF的recall@300示意图；

图9与图10分别为数据集citeulike-a与citeulike-t上当P固定为1、M＝50，100，150，200，250，300时RCTR、CTR与CF的召回率示意图；

图11与图12分别为数据集citeulike-a与citeulike-t上面向物品的i-recall@300示意图；

图13与图14分别为数据集citeulike-a与citeulike-t上RCTR、CTR与CF的面向物品的召回率示意图；

图15为数据集citeulike-t上M取值50到300之间时参数ρ对RCTR的影响示意图；

图16为数据集是citeulike-t参数λ_e对RCTR的影响示意图；

图17为数据集是citeulike-t参数λ_r对RCTR的影响示意图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图2为本发明一种基于关系型协同话题回归的推荐系统的系统架构示意图。如图2所示，本发明一种基于关系型协同话题回归(RCTR)的推荐系统，至少包括：RCTR模型建立模组20、参数学习模组21以及预测值计算模组22。

其中，RCTR模型建立模组20通过将用户-物品评价信息、物品内容信息与物品间的关系结构整合到一个层级贝叶斯模型以建立RCTR模型。图3为本发明较佳实施里中RCTR的概率图模型示意图。如图3所示，RCTR模型的建立过程如下：

(1)取得每个用户i的隐向量：

(2)对于每一个物品j，

a.取得话题比例θ_j～Dirichlet(α)。

b.取得物品隐偏移令物品隐向量v_j＝∈_j+θ_j。

c.取得物品关系偏移令物品关系向量s_j＝τ_j+v_j。

d.对于文档(物品)w_j的每一个词w_jn，

i.取得话题分配(topic assignment)z_jn～Mult(θ)。

ii.取得词

(3)取得参数

(4)对于每一个物品对(j,j')，取得二进制链接量l_j，j′|s_j，s_j′～ψ(.|s_j，s_j′，η⁺)。

(5)对于每一个用户-物品对，取得评价量

在上面的产生过程中，链接概率函数定义如下：

其中l_j，j′是一个二进制值(只能取0或1)，σ(.)表示sigmoid函数，υ是一个标量，表示偏移量，η⁺＝<η，υ>中<.>表示将一个标量加到向量的尾部，运算符表示对于向量的每个元素的逐个相乘。注意，如果ρ＝1，链接概率函数则退化成关系型话题模型(RTM)中提到的链接概率函数之一。

注意上述RCTR模型的建立过程中的步骤(2)c、(3)、(4)即是RCTR与CTR的区别。步骤(2)c中的物品关系偏移τ_j是RCTR的关键性质之一。与物品隐偏移相似，τ_j使得s_j与v_j足够接近，但是必要时又能够拉开距离。物品隐向量v_j表示用户们心目中物品j的话题，而物品关系向量s_j表示从物品j的社交网络看它的话题是什么。λ_r越大，v_j与s_j就有越大的概率彼此接近。当λ_r趋向正无穷时，RCTR就退化成如图4的模型。后面的实验表明RCTR的准确度要明显好于退化的模型，从而说明了物品关系偏移τ_j的重要性。

参数学习模组21利用最大后验(MAP)估计对RCTR模型建立模组10建立的RCTR模型中的参数进行学习，最终获得u_i,v_j,s_j和θ_j的全后验概率。在本发明，MAP估计等价于以使在最大化给定代表物品关系的超参数λ_u、λ_v、λ_r、λ_e和ρ时，U，V，s_1：J，θ_1：J和评价矩阵是完全对数似然(log-likelihood)的：

这里省略了一个常数，话题模型中的超参数α被设为1。这个目标函数可以用交替上升法(coordinate ascent)优化。因为L并不是对所有变量联合凸的，在本发明较佳实施例中，采用了交替算法来学习参数。更具体地，每一次我们固定其他参数，只对某一个参数进行优化。

取目标函数关于u _i 和υ_j的梯度然后将之设为0，可以得到下面的更新公式：

u_i←(VC_iV^T+λ_uI_K)^-1VC_iR_i，

υ_j←(UC_iU^T+λ_υI_K+λ_rI_K)^-1(UC_jR_j+λ_υθ_j+λ_rs_j)，

其中C_i是一个对角矩阵，元素{c_ij|j＝1，...，J}，而R_i＝{r_ij|j＝1，2，…，J}是一个包含用户i所有评分的列向量。注意c_ij如前面公式的定义所定义，是一个反映确信度的超参数，由a和b控制。

对于s_j与η⁺，由于无法直接计算L关于它们的梯度，这里使用了梯度上升(gradientascent)的方法来更新变量。L关于s_j梯度是：

其中

对于θ_j，先根据CTR中，令q(z_jn＝k)＝ψ_jnk。然后再分离出关于θ_j的项后使用Jensen不等式，

$\begin{array}{c}L\left({\mathrm{\&theta;}}_j\right)\&GreaterEqual;-\frac{{\mathrm{\&lambda;}}_v}{2}{(v_j-{\mathrm{\&theta;}}_j)}^T(v_j-{\mathrm{\&theta;}}_j)\\ +\underset{n}{\&Sigma;}\underset{k}{\&Sigma;}{\mathrm{\&phi;}}_{jnk}({\mathrm{log\&theta;}}_{jk}{\mathrm{\&beta;}}_{k,w_{jn}}-{\mathrm{log\&phi;}}_{jnk})\\ =L({\mathrm{\&theta;}}_j,{\mathrm{\&phi;}}_j).\end{array}.$

这里显然L(θ_j，j)是L(θ_j)的一个紧下界，可以使用投影梯度(projection gradient)来优化θ_j。φ_jnk的最优值为

${\mathrm{\&phi;}}_{jnk}\&Proportional;{\mathrm{\&theta;}}_{jk}{\mathrm{\&beta;}}_{k,w_{jn}}\mathrm{..}$

对于参数β的学习，采用如下公式：

${\mathrm{\&beta;}}_{kw}\&Proportional;\underset{j}{\&Sigma;}\underset{n}{\&Sigma;}{\mathrm{\&phi;}}_{jnk}1\&lsqb;w_{jn}=w\&rsqb;\mathrm{..}$

预测值计算模组22使用u_i,θ_j和∈_j的点估计利用一预测值计算公式来计算评价的预测值。令D为已观察数据(observed data)，本发明使用u_i,θ_j和∈_j的点估计来计算评价的预测值，预测值计算公式为：

E[r_ij|D]≈E[u_i|D]^T(E[θ_j|D]+E[∈_j|D])，

其中E(·)表示取期望的运算。

对于矩阵内预测：

$r_{ij}^{*}\&ap;{\left(u_j^{*}\right)}^T({\mathrm{\&theta;}}_j^{*}+{\&Element;}_j^{*})={\left(u_i^{*}\right)}^T{v}_j^{*}\mathrm{..}$

对于矩阵外预测

$r_{ij}^{*}\&ap;{\left(u_i^{*}\right)}^T{\mathrm{\&theta;}}_j^{*}\mathrm{..}$

根据RCTR学习过程中的更新规则，可以知道每次迭代中，更新η的时间复杂度为O(KQ)，其中K是隐变量空间的维数，$Q$是社交网络中链接的个数。更新物品关系矩阵S＝{s_j|j＝1，2，…，J}的花费也是O(KQ)。更新其他变量的时间复杂度与CTR中的相同。对于U，时间复杂度是O(IK³+IJK²)，对于V时间复杂度是O(JK³+IJK²)，其中I为用户的个数，J为物品的个数。在每次迭代中，RCTR相对CTR多了O(KQ)的时间复杂度。由于一般来说，物品间的社交网络是十分稀疏的，这意味着Q可以当成是J的常数倍，相对于CTR，RCTR模型多出的时间开销非常小。

除了物品关系偏移，另一个RCTR的关键性质是链接概率函数族的使用。RTM中发现不同的链接概率函数能够有不同的预测性能。于是在本发明中使用单个参数ρ来控制链接概率函数的选择。由于ρ是一个非负实数，链接概率函数族实际上包含着无数个候选的链接概率函数。相对于RTM一文中的两个链接概率函数，这里提出的链接概率函数族能够大大地增强RCTR建模的能力，从而使得它有更高的预测准确度。从优化的角度，ρ可以被当成是一个控制链接与其他观察量的权衡的超参数。ρ取不同值时链接概率函数的差别如图5所示。曲线显示的是l_j，j′＝1的概率关于s_j和s_j′的内积的函数。s_j′被固定为1，v被调整到使得所有函数的起始点相同，从图中可以看出，本发明提出链接概率函数族足够灵活，能够对各种情况进行建模。

图6为本发明一种基于关系型协同话题回归的推荐方法的步骤流程图。如图6所示，本发明一种基于关系型协同话题回归的推荐方法，包括如下步骤：

步骤601，将用户-物品评价信息、物品内容信息与物品间的关系结构整合到一个层级贝叶斯模型以建立RCTR模型。这里RCTR模型的建立过程如下：

(1)取得每个用户i的隐向量：

(2)对于每一个物品j，

a.取得话题比例θ_j～Dirichlet(α)。

b.取得物品隐偏移令物品隐向量v_j＝∈_j+θ_j。

c.取得物品关系偏移令物品关系向量s_j＝τ_j+v_j。

d.对于文档(物品)w_j的每一个词w_jn，

i.取得话题分配(topic assignment)z_jn～Mult(θ)。

ii.取得词

(3)取得参数

(4)对于每一个物品对(j,j')，取得二进制链接量l_j，j′|s_j，s_j′～ψ(.|s_j，s_j′，η⁺)。

(5)对于每一个用户-物品对，取得评价量

在上面的产生过程中，链接概率函数定义如下：

其中l_j，j′是一个二进制值(只能取0或1)，σ(.)表示sigmoid函数，υ是一个标量，表示偏移量，η⁺＝<η，>υ中<.>表示将一个标量加到向量的尾部，运算符表示对于向量的每个元素的逐个相乘。注意，如果ρ＝1，链接概率函数则退化成关系型话题模型(RTM)中提到的链接概率函数之一。

步骤602，利用最大后验(MAP)估计对RCTR模型建立模组10建立的RCTR模型中的参数进行学习，最终获得u_i,v_j,s_j和θ_j的全后验概率。在本发明，MAP估计等价于以使在最大化给定代表物品关系的超参数λ_u、λ_v、λ_r、λ_e和ρ时，U，V，s_1：J，θ_1：J和评价矩阵是完全对数似然(log-likelihood)的：

这里省略了一个常数，话题模型中的超参数α被设为1。这个目标函数可以用交替上升法(coordinate ascent)优化。因为L并不是对所有变量联合凸的，在本发明较佳实施例中，采用了交替算法来学习参数。更具体地，每一次我们固定其他参数，只对某一个参数进行优化。

取目标函数关于u _i 和υ_j的梯度然后将之设为0，可以得到下面的更新公式：

u_i←(VC_iV^T+λ_uI_K)^-1VC_iR_i，

υ_j←(UC_iU^T+λ_υI_K+λ_rI_K)^-1(UG_jR_j+λ_υθ_j+λrs_j)，

其中C_i是一个对角矩阵，元素{c_ij|j＝1，...，J}，而R_i＝{r_ij|j＝1，2，…，J}是一个包含用户i所有评分的列向量。注意c_ij如前面公式的定义所定义，是一个反映确信度的超参数，由a和b控制。

对于s_j与η⁺，由于无法直接计算L关于它们的梯度，这里使用了梯度上升(gradientascent)的方法来更新变量。L关于s_j梯度是：

其中

对于θ_j，先根据CTR中，令q(z_jn＝k)＝ψ_jnk。然后再分离出关于θ_j的项后使用Jensen不等式，

$\begin{array}{c}L\left({\mathrm{\&theta;}}_j\right)\&GreaterEqual;-\frac{{\mathrm{\&lambda;}}_v}{2}{(v_j-{\mathrm{\&theta;}}_j)}^T(v_j-{\mathrm{\&theta;}}_j)\\ +\underset{n}{\&Sigma;}\underset{k}{\&Sigma;}{\mathrm{\&phi;}}_{jnk}({\mathrm{log\&theta;}}_{jk}{\mathrm{\&beta;}}_{k,w_{jn}}-{\mathrm{log\&phi;}}_{jnk})\\ =L({\mathrm{\&theta;}}_j,{\mathrm{\&phi;}}_j).\end{array}.$

这里显然L(θ_j，j)是L(θ_j)的一个紧下界，可以使用投影梯度(projection gradient)来优化θ_j。φ_jnk的最优值为

${\mathrm{\&phi;}}_{jnk}\&Proportional;{\mathrm{\&theta;}}_{jk}{\mathrm{\&beta;}}_{k,w_{jn}}\mathrm{..}$

对于参数β的学习，采用如下公式：

${\mathrm{\&beta;}}_{kw}\&Proportional;\underset{j}{\&Sigma;}\underset{n}{\&Sigma;}{\mathrm{\&phi;}}_{jnk}1\&lsqb;w_{jn}=w\&rsqb;\mathrm{..}$

步骤603，使用u_i(用户i的隐向量)，θ_j(物品j的话题比例)和∈_j(物品j的物品隐偏移)的点估计利用一预测值计算公式来计算评价的预测值。令D为已观察数据(observeddata)，本发明使用u_i，θ_j和∈_j的点估计来计算评价的预测值，预测值计算公式为：

E[r_ij|D]≈E[u_i|D]^T(E[θ_j|D]+E[∈_j|D]，

其中E(·)表示取期望的运算。

对于矩阵内预测：

$r_{ij}^{*}\&ap;{\left(u_j^{*}\right)}^T({\mathrm{\&theta;}}_j^{*}+{\&Element;}_j^{*})={\left(u_i^{*}\right)}^T{v}_j^{*}\mathrm{..}$

对于矩阵外预测

$r_{ij}^{*}\&ap;{\left(u_i^{*}\right)}^T{\mathrm{\&theta;}}_j^{*}\mathrm{..}$

以下将通过几组实验以比较本发明与其他最先进的基线在两个数据集上的预测性能。

1、数据集

本发明使用了两个数据集来进行实验。两个数据集都是来自于CiteULike(个人学术资料库)，然而它们是用不同的方法搜集的，规模大小与稀疏度的大小都不同。第一个数据集citeulike-a来自CTR。注意原来的数据集不包含物品之间的社交网络。直接从CiteULike与Google Scholar收集网络信息。第二个数据集citeulike-t是独立于第一个数据集收集的。先手动选择了$273$个种子标签，然后收集所有带这些标签的文章。同时，还在Google Scholar上爬取了这些文章之间的引用关系。注意最终所有文章的标签数是远远大于273的。先去掉评价物品少于$3$的用户以得到一个更大、更稀疏的数据集。两个数据集的描述详见表～\ref{table:datades}。可以看出我们收集的数据集citeulike-t中的用户数与物品数都远大于citeulike-a。而且，用户-物品的评价矩阵中，citeulike-a与citeulike-t中非空元素(等于1-稀疏度)所占的比例分别是0.0022和0.0007。这意味着第二个数据集要远远比第一个稀疏。

citeulike-a的文本信息是用与CTR相同的过程预处理的。与之相同，本发明使用标题与摘要作为citeulike-t的文本信息。在去除了停词之后，根据tf-idf值选取了20000个词作为词典。

除了论文中的引用关系，我们发现文章的标签信息量也比较大。所以，这里同时使用了引用关系与标签来建立单个物品间的社交网络。对于每个数据集，先构造一个阈值为4的标签图，具体地说，即是如果两篇文章有大于等于4个共同标签，那么在标签图中它们之间就存在着一条边。然后对标签图与引用图施加OR运算，得到最终的社交网络。在最终网络中链接的总个数见表1的最后一行。

表1数据集描述

	citeulike-a	citeulike-t
			#users	5551	7947
#items	16980	25975
			#tags	19107	52946
#citations	44709	32565
			#user-item pairs	204987	134860
sparsity	99.78％	99.93％
			#relations	549447	438722

2、评价标准

对每个数据集，为每个用户随机选取P个评价的物品以构造训练集，使用其他的数据用于测试集，正如前文所说，为新用户提供更准确的推荐的意义要比为老用户的大得多。因此本发明更感兴趣的是，在极其稀疏的设定下，推荐算法的性能如何。实验中$P$取值1到10，$P$越小，表示训练集越稀疏。注意到当P＝1时，只有2.7％的非空的评价矩阵元素被放入数据集citeulike-a。对于citeulike-t同样的数字是5.8％。

对于每个P重复评测5遍，每遍中的训练数据都是重新随机选取的，最终报告的是平均的性能。

如CTR和CTR-SMF中提到的，使用召回率(recall)作为推荐效果的评价标准，因为评价(评分)为零可能是因为用户不喜欢某一个物品，也可能是因为用户不知道这个物品的存在，这意味着精确率(precision)不是一个合适的标准。正如大多数推荐系统所做的，将一个用户对各个物品评分的预测值排序后，为用户推荐前M个物品(文章)。对于每个用户recall@M定义为

最后展示的结果是所有用户的平均召回率。

上面的公式计算的是面向用户的召回率，相似的，也可以为目标物品推荐用户。在这样的设定下，面向物品的召回率定义如下：

3、基线与实验设置

本发明使用CTR与基于矩阵分解的CF作为基线。在用一个验证数据集(validationset)找到CTR和CF最优的超参数λ_u和λ_υ后，固定λ_u和λ_υ为CTR的最优值，然后调其他的超参数。

使用grid search，可以发现当λ_υ＝100、λ_u＝0.01、a＝1、b＝0.01、K＝200时CF与CTR达到了很好的预测性能。这里的a与b控制着确定度参数c_ij。对于RCTR，令参数λ_υ＝100、λ_u＝0.01、a＝1、b＝0.01、K＝200然后改变其他参数(包括控制链接概率函数的参数ρ)以研究链接概率函数的选择如何影响预测性能并研究模型对于参数λ_r与λ_e的敏感度。

4、性能

本发明使用两个不同的推荐设置：面向用户的推荐与面向物品的推荐。

4.1面向用户的推荐

面向用户的推荐试图为目标用户推荐物品。这里比较了RCTR与CF、CTR以观察RCTR的性能可以超过基线多少。图7与图8分别是数据集citeulike-a与citeulike-t上当P为1、2、5、8、10时的recall@300(注意由于所有设置下的标准差就很小(在[3.53×10^-5，6.59×10^-3]的范围内)。图7为RCTR、CTR与CF的面向用户的recall@300。P取值在1到10之间。使用的数据集是citeulike-a。随机基线是1.77％。图8为RCTR、CTR与CF的面向用户的recall@300。P取值在1到10之间。使用的数据集是citeulike-t。随机基线是1.15\％。为了避免混乱，本发明中的图不会单独报告标准差)。对于数据集citeulike-a本发明的模型RCTR一致地取得比CTR更好的预测性能，超过CTR1.4％～5.0％。对于数据集citeulike-t，两者之间的差别在2.8％～8.5％。CF在P很小是表现很差，当$P$变大时CF的性能逐渐变好。recall@300的随机基线在两个数据集上分别是(即不用任何算法，进行随机的推荐)1.77％与1.15％。正如图中所示，虽然CF比随机基线好，但是CF由于稀疏问题性能比较差。而CTR由于使用了物品内容信息，能够取得比CF好的性能，我们的RCTR通过将物品社交网络整合进模型，是的推荐性能有进一步的明显提高。

考虑到划分训练集与测试集的方法，CTR与RCTR在本发明中被设置为当有未评价物品时自动进行矩阵外预测。例如，当使用citeulike-t、P＝1时，接近69％的物品是未被评价的，这意味着大部分的预测(推荐)都是矩阵外预测。

图9与图10是当P固定为1、M＝50，100，150，200，250，300时RCTR、CTR与CF的召回率。图9为RCTR、CTR与CF的面向用户的召回率，M取值50到300之间。使用的数据集为citeulike-a，P固定为1，相似的现象在P取其它值时也可以观察到。图8为RCTR、CTR与CF的面向用户的召回率，M取值50到300之间，使用的数据集为citeulike-t，P固定为1，相似的现象在P取其它值时也可以观察到。对于RCTR，λ_r＝1、λ_e＝1000、ρ＝100。在这里RCTR又一次一致而且明显地超过CTR与CF。相似的现象在$P$为其他值是也可以发现，在此不予赘述。

4.2面向物品的推荐

面向物品的推荐试图为目标物品推荐合适的用户。比如对于科学文献，这个可以被应用于推荐coauthor与reviewer。这里图11、图12、图13与图14揭示了面向物品推荐的性能。

与面向用户的推荐的结果相似，可见，本发明的性能一致地明显地高于CTR与CF。

图11为RCTR、CTR与CF的面向物品的i-recall@300。P取值于1到10之间，使用的数据集是citeulike-a。随机基线的是5.40％。

图12为RCTR、CTR与CF的面向物品的i-recall@300。P取值于1到10之间，使用的数据集是citeulike-t。随机基线的是3.78％。

图13为RCTR、CTR与CF的面向物品的召回率。M取值50到300之间。使用的数据集为citeulike-a。P固定为1。相似的现象在P取其它值时也可以观察到。

图14为RCTR、CTR与CF的面向物品的召回率。M取值50到300之间。使用的数据集为citeulike-t。P固定为1。相似的现象在P取其它值时也可以观察到。

5、参数敏感度

图15说明了链接概率函数的选择如何影响预测性能。令λ_r＝1、λ_e＝1000、P＝1，令ρ＝1，10，100，1000，10000分别计算recall@M。当ρ＝1时，链接概率函数等价于RTM提出的函数之一。可以看出，在五个选择中，ρ＝100对应着最优的链接概率函数。当ρ太小时，RCTR的性能与CTR十分接近。注意RTM中提出的链接概率函数在5个中预测性能是最差的，这也从一个角度说明了选择最优的链接概率函数的重要性。而RCTR提供了一个足够灵活可调的链接概率函数族。

为了研究本发明之RCTR对参数λ_r与λ_e的敏感度，这里进行了两组实验，使用的是P＝1的训练数据。首先令λ_r＝1并研究预测性能如何随着λ_e变化。图16即是数据集citeulike-t上的recall@300。可以发现对于λ_e的变化RCTR的性能基本保持稳定。如果令λ_e＝1000然后研究λ_r如何影响预测性能。图17即是对应的recall@300，使用的数据集同样是citeulike-t。可以发现RCTR的预测性能对于λ_r较敏感。对于固定的ρ，召回率先随着λ_r的增大而上升，之后在接近λ_r＝1的地方开始下降。预测性能在λ_r太大是一直保持着较低的水平。更大的λ_r意味着物品关系向量s_j会更加接近物品隐向量υ_j。当λ_r＝0时RCTR退化为CTR，当λ_r＝∞，RCTR退化成图4的模型。一个有趣的性质是，最好的性能总是在λ_r＝1附近达到，无论其他的参数如何改变。因此，在实验中将λ_r固定为1。

6计算时间

表2与表3中是CTR与RCTR的平均训练时间(与标准差)，单位为秒。虽然在RCTR中有更多的信息输入，每次迭代需要更多的时间，它的总时间复杂度依然要远低于CTR。主要的原因是要达到令人满意的预测性能，RCTR所需的迭代次数要比CTR的少。

表2数据集citeulike-a的训练时间(秒)

P	1	2	5	8	10
						CTR	3387±582	5336±434	11136±1124	16750±529	18931±264
RCTR	2655±295	3009±246	2832±336	2891±323	2655±295

表3数据集citeulike-t的训练时间(秒)

P	1	2	5	8	10
						CTR	16250±1114	15251±1010	24442±379	28638±706	28971±706
RCTR	5285±657	5140±594	7095±412	6806±472	7095±412

7、可解释性

本发明之RCTR的学习结果有很好的解释性。更具体地说，用户的隐向量可以被解释为从数据中学习到的一些话题。为了更加深入地了解RCTR，这里展示了两个实例用户的概要信息，其中有对应用户的前三个匹配话题及被RCTR与CTR分别推荐的文章列表。

在这个实例中，在极其稀疏的条件P＝1下训练RCTR与CTR后，为用户推荐文章。注意在训练数据中，每个用户是评价了1篇文章，这使得准确的推荐十分具有挑战性。正如表4与表5所示，用户I是一个研究神经科学的研究者，这个可以从RCTR返回的第一个与CTR返回的第三个话题看出。对于用户I，RCTR与CTR在前10篇文章中的精确率(precision)分别为80％与30％。相似地，可以发现用户II是一个研究RNA的生物学家。RCTR与CTR的精确率分别为90％与40％。

仔细观察训练数据可以知道，用户I只评价了一篇名为“Neural Correlations，Population Coding and Computation”的文章。在全部8篇RCTR推荐正确的文章中，有6篇是与已评价文章“Neural Correlations，Population Coding and Computation”有直接的链接，这意味着RCTR成功地将社交网络信息整合到模型中并大大提高了预测性能。相似地，在训练集中用户II评价的文章是“ACombined Computational-Experimental ApproachPredicts Human MicroRNATargets”。在RCTR全部9篇正确推荐的文章中，有4篇是直接与它有链接的。更具体地，有3篇是在标签图与引用图都连向“A CombinedComputational-Experimental Approach Predicts Human MicroRNA Targets”的，有1篇是只在标签图中与它相连。

表4学习出来的隐结构的可解释性(1)

表5学习出来的隐结构的可解释性(2)

综上所述，本发明一种基于关系型协同话题回归的推荐系统及方法通过无缝地将用户-物品评价信息、物品内容信息与物品间社交网络整合进新型的层级贝叶斯模型(RCTR)，很好地利用附加的信息以缓解传统的CF方法与CTR面临的稀疏问题。本发明在真实数据集上进行的实验表明，本发明能够达到比最先进方法更高的预测准确度，却只需要更低的时间复杂度。同时，本发明还能够提供可解释的训练结果，更有利于推荐系统进行推荐。

与现有技术相比，本发明具有如下优点：

(1)本发明通过拓展CTR，建立RCTR模型无缝地将用户-物品评价信息、物品内容信息与物品间的关系(网络)结构整合到一个层级贝叶斯模型中。

(2)即使一个新用户只评价了一两个物品，本发明之RCTR仍然能够有效利用物品网络的信息来缓解协同过滤中的数据稀疏问题，从而明显地提高了推荐的准确度。

(3)在本发明之RCTR中，提出了一族链接概率函数以对物品之间的关系建模，这个从离散链接概率函数到一族连续的链接概率函数的拓展大大增强了RCTR的建模能力和预测能力。

(4)与CTR相比，本发明之RCTR需要更少的迭代次数即能达到令人满意的预测准确度。这使得RCTR的总学习时间复杂度要远低于CTR，即使RCTR的每次迭代时间要长于CTR。

(5)本发明之RCTR能够学习出一个具有相当高解释性的隐结构，这大大增强了推荐系统的用户体验。

(6)在真实数据上的实验表明，本发明之RCTR能够达到比最新模型更高的准确度。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (6)

1.一种基于关系型协同话题回归的推荐系统，至少包括：

RCTR模型建立模组，将用户-物品评价信息、物品内容信息与物品间的关系结构整合到一个以物品间关系为已观察变量的层级贝叶斯模型以建立RCTR模型；

参数学习模组，利用最大后验估计对该RCTR模型建立模组建立的RCTR模型中的参数进行学习，最终获得参数用户隐向量u_i、物品隐向量v_j、物品关系向量s_j和物品话题比例θ_j的全后验概率；

预测值计算模组，使用用户隐向量u_i,物品话题比例θ_j和物品隐偏移ε_j的最大后验点估计利用一预测值计算公式来计算评价的预测值；

其中，RCTR模型建立模组建立RCTR模型过程如下：

(1)取得每个用户i的隐向量

(2)对于每一个物品j，

a.取得话题比例θ_j～Dirichlet(α)，

b.取得物品隐偏移令物品隐向量v_j＝ε_j+θ_j，

c.取得物品关系偏移令物品关系向量s_j＝τ_j+v_j，

d.对于物品w_j的每一个词w_jn，

i.取得话题分配z_jn～Mult(θ)，

ii.取得词w_jn～Mult(β_zjn)，

(3)取得参数

(4)对于每一个物品对(j,j')，取得二进制链接量I_j,j′∣s_j,s_j′～Ψ(.∣s_j,s_j′,η⁺)；

(5)对于每一个用户-物品对，取得评价量

在上面的产生过程中，链接概率函数Ψ(I_j,j′＝1∣s_j,s_j′,η⁺)＝[σ(η^T(s_jοs_j′)+v)]^ρ，其中l_j,j′为一个二进制值，σ(.)表示sigmoid函数，v为一个标量，表示偏移量，η⁺＝<η,v>中<.>表示将一个标量加到向量的尾部，运算符ο表示对于向量的每个元素的逐个相乘；

该预测值计算公式为：

E[r_ij|D]≈E[u_i|D]^T(E[θ_j|D]+E[∈_j|D])，

其中D为已观察数据，E(·)表示取期望的运算，对于矩阵内预测，

对于矩阵外预测，

2.如权利要求1所述的一种基于关系型协同话题回归的推荐系统，其特征在于：该最大后验估计等价于最大化给定代表物品关系的超参数λ_u，λ_v，λ_r，λ_e和ρ时，U，V，s_1:J，θ_1:J和评价矩阵是完全对数似然的。

3.如权利要求2所述的一种基于关系型协同话题回归的推荐系统，其特征在于，该参数学习模组通过配置参数求解如下目标函数以获得相关参数的全后验概率：

4.一种基于关系型协同话题回归的推荐方法，包括如下步骤：

步骤一，将用户-物品评价信息、物品内容信息与物品间的关系结构整合到一个以物品间关系为已观察变量的层级贝叶斯模型以建立RCTR模型；

步骤二，利用最大后验估计对该RCTR模型建立模组建立的RCTR模型中的参数进行学习，最终获得参数用户隐向量u_i、物品隐向量v_j、物品关系向量s_j和物品话题比例θ_j的全后验概率；

步骤三，使用用户隐向量u_i,物品话题比例θ_j和物品隐偏移∈_j的最大后验点估计利用一预测值计算公式来计算评价的预测值；其中，步骤一还包括如下步骤：

(1)取得每个用户i的隐向量

(2)对于每一个物品j，

a.取得话题比例θ_j～Dirichlet(α)，

b.取得物品隐偏移令物品隐向量v_j＝∈_j+θ_j，

c.取得物品关系偏移令物品关系向量s_j＝τ_j+v_j，

d.对于物品w_j的每一个词w_jn，

i.取得话题分配z_jn～Mult(θ)，

ii.取得词

(3)取得参数

(4)对于每一个物品对(j,j')，取得二进制链接量l_j，j′|s_j，s_j′～ψ(.|s_j，s_j′，η⁺)；

(5)对于每一个用户-物品对，取得评价量

在上面的产生过程中，链接概率函数ψ(l_j，j′＝1|s_j，s_j′，η⁺)＝[σ(η^T(s_jοs_j′)+v)]^ρ，其中l_j,j′为一个二进制值，σ(.)表示sigmoid函数，υ为一个标量，表示偏移量，η⁺＝<η，υ>中<.>表示将一个标量加到向量的尾部，运算符ο表示对于向量的每个元素的逐个相乘；

步骤三中，该预测值计算公式为：

E[r_ij|D]≈E[u_i|D]^T(E[θ_j|D]+E[∈_j|D])，

其中D为已观察数据，E(·)表示取期望的运算，对于矩阵内预测，对于矩阵外预测，

5.如权利要求4所述的一种基于关系型协同话题回归的推荐方法，其特征在于：于步骤二中，该最大后验估计等价于最大化给定代表物品关系的超参数λ_u，λ_v，λ_r，λ_e和ρ时，U，V，s_1:J，θ_1:J和评价矩阵是完全对数似然的。

6.如权利要求5所述的一种基于关系型协同话题回归的推荐方法，其特征在于，于步骤二中，通过配置参数求解如下目标函数以获得相关参数的全后验概率：