CN103617259A - 一种基于有社会关系和项目内容的贝叶斯概率矩阵分解推荐方法 - Google Patents

Abstract

本发明公开了一种基于有社会关系和项目内容的贝叶斯概率矩阵分解推荐方法，包括：使用PMF方法对观察评价矩阵进行隐含矩阵分析，得到隐含用户特征矩阵和隐含项目特征矩阵；使用BPMFSR或者BPMFSRIC方法对隐含用户特征矩阵和隐含项目特征矩阵进行吉布斯采样，得到采样后的隐含用户特征矩阵和隐含项目特征矩阵；根据所述采样后的隐含用户特征矩阵和隐含项目特征矩阵计算预测评价矩阵，基于所述预测评价矩阵进行推荐。本发明方法计算高效并能运用于有大规模数据集的基于信任或基于内容的推荐系统；具有更快的收敛速度，比其它矩阵分解方法得到更准确的推荐结果；相比其它方法更好的缓解了数据稀疏问题和冷启动问题。

Description

一种基于有社会关系和项目内容的贝叶斯概率矩阵分解推荐方法

技术领域

本发明属于推荐系统技术领域，更具体地，涉及一种基于有社会关系和项目内容的贝叶斯概率矩阵分解推荐方法。

背景技术

在过去十年里，推荐系统已成为重要的研究领域。典型的推荐系统尝试通过收集用户对其它用户或者项目的评价信息来预测该用户的兴趣。推荐方法通常被划分为协同过滤的方法和基于内容的方法。协同过滤的方法尝试为一个特定用户预测一个项目的评价，而这种预测是建立在其它相似的用户对该项目的评价基础之上的。协同过滤的基本思想是假设相似的用户有相似的品味。协同过滤方法被广泛应用在大型商业系统，例如亚马逊（Amazon）和奈飞（Netflix）。

矩阵分解是最近几年最流行的协同过滤方法之一。学者们提出了一些通过矩阵分解来做推荐的方法，如变分贝叶斯矩阵分解，概率矩阵分解，贝叶斯概率矩阵分解，一般概率矩阵分解等。但是这些方法都面临数据稀疏和冷启动问题。下面，介绍几个与本发明接近的对比文献。

一、一种融合项目相关性的基于PMF的协同过滤推荐系统（申请号201110059844，公开号102129463A）。该系统对用户－项目评分数据的概率矩阵因式分解是基于已知的用户－项目评分数据，利用PMF对用户－项目评分矩阵进行隐含向量分析，再使用构造出的隐含向量进行推荐。

二、基于评分的协同过滤推荐方法及系统（申请号201110382078，公开号102495864A）。该系统利用用户历史评分数据的统计特征计算各个用户之间的相似程度，通过与当前用户相似程度较高的其它用户来计算当前用户未评价过的项目，实现了在用户和项目数量庞大的协同过滤推荐系统中用户评分数据极端稀疏情况下，解决了难以找到用户间共同评分项而导致无法计算相似性或相似性不准确的问题，能够实现准确且快速的项目推荐。

然而，现有的推荐系统都不能很好的缓解数据稀疏或冷启动问题。

发明内容

针对现有技术的以上缺陷和改进需求，本发明提供了一种融入社会关系和项目内容的贝叶斯概率矩阵分解方法，其目的在于缓解推荐系统中所经常面临的数据稀疏和冷启动问题，得到更好的推荐结果，由此解决推荐系统都不能很好解决的数据稀疏或冷启动问题，准确快速的进行推荐。

为实现上述目的，本发明提供了一种基于有社会关系和项目内容的贝叶斯概率矩阵分解推荐方法，包括以下步骤：

（1）、使用概率矩阵分解（PMF，Probabilistic Matrix Factorization）方法对观察评价矩阵进行隐含矩阵分析，得到隐含用户特征矩阵和隐含项目特征矩阵；

（2）、使用有社会关系的贝叶斯概率矩阵分解（BPMFSR，BayesianProbabilistic Matrix Factorization with Social Relations）或者有社会关系和项目内容的贝叶斯概率矩阵分解（BPMFSRIC，BayesianProbabilistic Matrix Factorization with Social Relations and ItemContents）对隐含用户特征矩阵和隐含项目特征矩阵进行吉布斯采样，得到采样后的隐含用户特征矩阵和隐含项目特征矩阵；

（3）、根据所述采样后的隐含用户特征矩阵和隐含项目特征矩阵计算预测评价矩阵，基于所述预测评价矩阵进行推荐。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，由于在贝叶斯概率矩阵分解（Bayesian Probabilistic Matrix Factorization，BPMF）的基础上融入了社会关系和项目内容，能够取得下列更准确更快速的项目推荐的有益效果：

（1）计算高效并能运用于有大规模数据集的基于信任或基于内容的推荐系统；

（2）具有更快的收敛速度，比其它矩阵分解方法得到更准确的推荐结果；

（3）相比其它方法而言更好的缓解了数据稀疏问题和冷启动问题。

附图说明

图1为本发明有社会关系的贝叶斯概率矩阵分解（BPMFSR）方法的图形模型；

图2为本发明有社会关系和项目内容的贝叶斯概率矩阵分解（BPMFSRIC）的图形模型；

图3为对BPMFSR进行吉布斯采样的流程图；

图4为对BPMFSRIC进行吉布斯采样的流程图；

图5为本发明推荐方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

数据稀疏问题：在众多的推荐系统中，用户评价过的项目数量往往很有限，这直接导致了用户-项目观察评价矩阵的稀疏性。在现有的大型电子商务系统中，用户评价过的项目数量一般不会超过系统项目总数的1%，这样必然导致观察评价矩阵的极度稀疏，从而使用户(或项目)之间的相似性计算误差很大；其它用户过少的评价(或被评价)会导致覆盖率降低的问题，即算法无法为用户推荐足够多的项目或者有的项目无法推荐给任何用户，这些问题都直接关系到推荐系统的性能。

冷启动问题：在推荐系统中，如果系统初期收集的数据为空或者很少，达不到系统需求，导致系统很难为用户或者项目做出推荐的问题。由于协同过滤推荐根据用户对项目的评分数据产生推荐的，因此，当一个新项目或新用户刚加入系统的时候，由于没有任何与他们相关的评分信息，系统很难为该新用户推荐项目，也很难将该新项目推荐给用户。

本发明的具体实施方式是：

步骤（1）、使用概率矩阵分解（PMF，Probabilistic MatrixFactorization）对观察评价矩阵进行隐含矩阵分析，得到隐含用户特征矩阵和隐含项目特征矩阵：

假设系统有M个用户和N个项目。矩阵R表示观察评价矩阵，R_ij表示用户i给项目j的评价。U∈R^M×D和V∈R^N×D分别表示隐含用户特征矩阵和隐含项目特征矩阵，其中行向量U_i和V_j分别表示用户和项目的隐含特征向量。常数D是用户特征向量和项目特征向量的维度大小并远小于M和N。假设观察评价矩阵R的条件概率如下：

$p\left(R\right|U,V,{\mathrm{\σ}}^2)=\underset{i=1}{\overset{M}{\mathrm{\Π}}}\underset{j=1}{\overset{N}{\mathrm{\Π}}}{\left[N\left(R_{\mathrm{ij}}\right|U_i{V}_j^T,{\mathrm{\σ}}^2)\right]}^{I_{\mathrm{ij}}}---\left(1\right)$

其中N(x|μ,σ²)是均值μ，方差σ²的高斯分布的概率密度函数。I是M×N的指示矩阵，I_ij在用户i评价了项目j时等于1，其它时候为0。隐含用户特征矩阵U和隐含项目特征矩阵V的先验分布为：

$p\left(U\right|{\mathrm{\σ}}_U^2)=\underset{i=1}{\overset{M}{\mathrm{\Π}}}N\left(U_i\right|0,{\mathrm{\σ}}_U^2)---\left(2\right)$

$p\left(V\right|{\mathrm{\σ}}_V^2)=\underset{j=1}{\overset{N}{\mathrm{\Π}}}N\left(V_j\right|0,{\mathrm{\σ}}_V^2)---\left(3\right)$

U和V的后验分布的对数表达式为：

$\begin{array}{c}\ln p(U,V|R,{\mathrm{\σ}}^2,{\mathrm{\σ}}_V^2,{\mathrm{\σ}}_U^2)=-\frac{1}{2{\mathrm{\σ}}^2}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{I}_{\mathrm{ij}}{(R_{\mathrm{ij}}-U_i{V}_j^T)}^2-\frac{1}{2{\mathrm{\σ}}_U^2}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{U}_i{U}_i^T-\frac{1}{2{\mathrm{\σ}}_V^2}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{V}_j{V}_j^T\\ -\frac{1}{2}(\left(\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{I}_{\mathrm{ij}}\right)\ln {\mathrm{\σ}}^2+\mathrm{MD}\ln {\mathrm{\σ}}_U^2+\mathrm{ND}\ln {\mathrm{\σ}}_V^2)+C\end{array}---\left(4\right)$

其中C是一个不依赖于参数的常量。最大化式（4）相当于最小化有二次规整项的平方误差和，即最小化下述目标函数：

$E=\frac{1}{2}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{I}_{\mathrm{ij}}{(R_{\mathrm{ij}}-U_i{V}_j^T)}^2+\frac{{\mathrm{\λ}}_U}{2}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\left|\right|U_i\left|\right|}_{\mathrm{Fro}}^2+\frac{{\mathrm{\λ}}_V}{2}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|V_j\left|\right|}_{\mathrm{Fro}}^2$

其中 ${\mathrm{\λ}}_U={\mathrm{\σ}}^2/{\mathrm{\σ}}_U^2,{\mathrm{\λ}}_V={\mathrm{\σ}}^2/{\mathrm{\σ}}_V^2,$

表示Frobenius范式。

通过梯度下降法求式（5）的局部极小值，得到U和V。

步骤（1-1）随机生成U、V。

步骤（1-2）计算

其中，学习率γ＞0足够小,其具体值可根据经验确定，

是一个矩阵，其第（i,j）个元素是对U_i求偏导

是一个矩阵，其第（i,j）个元素是

对V_j求偏导 $\frac{\∂E}{{\∂V}_j}=-\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{I}_{\mathrm{ij}}(R_{\mathrm{ij}}-U_i{V}_j^T)U_i+{\mathrm{\λ}}_V{V}_j.$

步骤（1-3）如果式（5）计算的E(U)、E(V)变化小于设定的阈值，那么停止，否则令U＝U'，V＝V'，返回步骤（1-2）。

使目标函数达到局部极小值的U'和V'就是所求隐含用户特征矩阵和隐含项目特征矩阵。

步骤（2）使用有社会关系的贝叶斯概率矩阵分解（BPMFSR，BayesianProbabilistic Matrix Factorization with Social Relations）或者有社会关系和项目内容的贝叶斯概率矩阵分解（BPMFSRIC，BayesianProbabilistic Matrix Factorization with Social Relations and ItemContents）对隐含用户特征矩阵和隐含项目特征矩阵进行吉布斯采样，得到采样后的隐含用户特征矩阵和隐含项目特征矩阵：

没有融入社会关系之前，U_i的后验分布为：

$\begin{array}{c}p\left(U_i\right|R,V,{\mathrm{\Θ}}_U,\mathrm{\α})=N\left(U_i\right|{\mathrm{\μ}}_i^{*},{\left({\mathrm{\Λ}}_i^{*}\right)}^{-1})\\ ~\underset{j=1}{\overset{N}{\mathrm{\Π}}}{\left[N\left(R_{\mathrm{ij}}\right|U_i^T{V}_j,{\mathrm{\α}}^{-1})\right]}^{I_{\mathrm{ij}}}p\left(U_i\right|{\mathrm{\μ}}_U,{\mathrm{\Λ}}_U)\end{array}---\left(6\right)$

其中 ${\mathrm{\Λ}}_i^{*}={\mathrm{\Λ}}_U+\mathrm{\α}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\left(V_j^T{V}_j\right)}^{I_{\mathrm{ij}}},$ ${\mathrm{\μ}}_i^{*}={\left({\mathrm{\Λ}}_i^{*}\right)}^{-1}(\mathrm{\α}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\left(V_j{R}_{\mathrm{ij}}\right)}^{I_{\mathrm{ij}}}+{\mathrm{\μ}}_U{\mathrm{\Λ}}_U).$

用户超参数先验分布为：

$p({\mathrm{\μ}}_U,{\mathrm{\Λ}}_U|U,{\mathrm{\Θ}}_0)=N\left({\mathrm{\μ}}_U\right|{\mathrm{\μ}}_0^{*},{\left({\mathrm{\β}}_0^{*}{\mathrm{\Λ}}_U\right)}^{-1})W\left({\mathrm{\Λ}}_U\right|W_0^{*},v_0^{*})---\left(7\right)$

其中W(w|W₀,v₀)是自由度为v₀，尺度参数为W₀的威夏特分布的概率密度函数，W₀是一个D×D的矩阵。Θ₀＝{μ₀,v₀,W₀}。

${\mathrm{\β}}_0^{*}={\mathrm{\β}}_0+M,$ $v_0^{*}=v_0+M,$ $W_0^{*}={(W_0^{-1}+M\stackrel{\‾}{S}+\frac{{\mathrm{\β}}_{0}M}{{\mathrm{\β}}_0+M}{({\mathrm{\μ}}_0-\stackrel{\‾}{U})}^T({\mathrm{\μ}}_0-\stackrel{\‾}{U}))}^{-1},$ $\stackrel{\‾}{U}=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{U}_i,$ $\stackrel{\‾}{S}=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{(U_i-\stackrel{\‾}{U})}^T(U_i-\stackrel{\‾}{U}).$

融入社会关系之后，有社会关系的贝叶斯概率矩阵分解（BPMFSR，Bayesian Probabilistic Matrix Factorization with Social Relations）方法的隐含用户特征矩阵U和隐含项目特征矩阵V的先验分布为：

$p\left(U\right)=\underset{i=1}{\overset{M}{\mathrm{\Π}}}N\left(U_i\right|{\mathrm{\μ}}_{U,i},{\mathrm{\Λ}}_{U,i}^{-1})---\left(8\right)$

$p\left(V\right|{\mathrm{\μ}}_V,{\mathrm{\Λ}}_V)=\underset{j=1}{\overset{N}{\mathrm{\Π}}}N\left(V_j\right|{\mathrm{\μ}}_V,{\mathrm{\Λ}}_V^{-1})---\left(9\right)$

其中Θ_U,i＝{μ_U,i,Λ_U,i}为用户特征向量U_i的超参数，Θ_V＝{μ_V,Λ_V}为项目特征向量V_j的超参数，它们都服从高斯威夏特(Gaussian-Wishart)分布。其中用户超参数和项目超参数的先验分布为：

$\begin{array}{c}p\left({\mathrm{\Θ}}_{U,i}\right|U,{\mathrm{\Θ}}_0)=p\left({\mathrm{\Θ}}_{U,i}\right|U_{F,i},{\mathrm{\Θ}}_0)=p({\mathrm{\μ}}_{U,i},{\mathrm{\Λ}}_{U,i}|U_{F,i},{\mathrm{\Θ}}_0)\\ =N\left({\mathrm{\μ}}_{U,i}\right|{\mathrm{\μ}}_{U,i}^{*},{\left({\mathrm{\β}}_{U,i}^{*}{\mathrm{\Λ}}_{U,i}\right)}^{-1})W\left({\mathrm{\Λ}}_{U,i}\right|W_{U,i}^{*},v_{U,i}^{*})\end{array}---\left(10\right)$

p(Θ_V|Θ₀)＝p(μ_V|Λ_V)p(Λ_V)＝N(μ_V|μ₀,(β₀Λ_V)^-1)W(Λ_V|W₀,v₀)   （11）

${\mathrm{\μ}}_{U,i}^{*}=\frac{{\mathrm{\β}}_0{\mathrm{\μ}}_0+M_i{\stackrel{\‾}{U}}_{\left(i\right)}}{{\mathrm{\β}}_0+M_i},$ ${\mathrm{\β}}_{U,i}^{*}={\mathrm{\β}}_0+M_i,$ $v_{U,i}^{*}=v_0+M_i,$ $W_{U,i}^{*}={(W_0^{-1}+M_i{\stackrel{\‾}{S}}_{U,i}+\frac{{\mathrm{\β}}_0{M}_i}{{\mathrm{\β}}_0+M_i}{({\mathrm{\μ}}_0-{\stackrel{\‾}{U}}_{\left(i\right)})}^T({\mathrm{\μ}}_0-{\stackrel{\‾}{U}}_{\left(i\right)}))}^{-1},$ ${\stackrel{\‾}{U}}_{\left(i\right)}=\frac{1}{M_i}\underset{j\∈F_i}{\mathrm{\Σ}}{U}_j,$ ${\stackrel{\‾}{S}}_{U,i}=\frac{1}{M_i}\underset{j\∈F_i}{\mathrm{\Σ}}{(U_j-{\stackrel{\‾}{U}}_{\left(i\right)})}^T(U_j-{\stackrel{\‾}{U}}_{\left(i\right)}),$ M_i＝|F_i|，其中U_F,i是由用户i及其朋友的特征向量组成的矩阵。F_i是用户i的朋友集，|·|表示一个集合的大小。

U_i的后验分布为：

$\begin{array}{c}p\left(U_i\right|R,V,{\mathrm{\Θ}}_{U,i},\mathrm{\α})=N\left(U_i\right|{\mathrm{\μ}}_{U,i}^{*},{\left({\mathrm{\Λ}}_{U,i}^{*}\right)}^{-1})\\ ~\underset{j=1}{\overset{N}{\mathrm{\Π}}}{\left[N\left(R_{\mathrm{ij}}\right|U_i^T{V}_j,{\mathrm{\α}}^{-1})\right]}^{I_{\mathrm{ij}}}p\left(U_i\right|{\mathrm{\μ}}_{U,i},{\mathrm{\Λ}}_{U,i})\end{array}---\left(12\right)$

其中 ${\mathrm{\Λ}}_{U,i}^{*}={\mathrm{\Λ}}_{U,i}+\mathrm{\α}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\left(V_j^T{V}_j\right)}^{I_{\mathrm{ij}}},$ ${\mathrm{\μ}}_{U,i}^{*}={\left({\mathrm{\Λ}}_i^{*}\right)}^{-1}(\mathrm{\α}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\left(V_j{R}_{\mathrm{ij}}\right)}^{I_{\mathrm{ij}}}+{\mathrm{\μ}}_{U,i}{\mathrm{\Λ}}_{U,i}).$

公式（8）到公式（12）描述的是有社会关系的贝叶斯概率矩阵分解（BPMFSR），其图形模型如图1所示。在这个模型中，根据每个用户自己的超参数Θ_U,i生成用户特征向量U_i。此步骤采用吉布斯采样算法来采样隐含用户特征向量和隐含项目特征向量，其步骤顺序如下：

步骤（2-1-1）将步骤（1）中根据PMF得到的隐含用户特征矩阵和隐含项目特征矩阵作为初始U，V,令t=1。

步骤（2-1-2）根据公式（7）采样超参数 ${\mathrm{\Θ}}_U^{\left(t\right)}~p\left({\mathrm{\Θ}}_U\right|U^{\left(t\right)},{\mathrm{\Θ}}_0),$ ${\mathrm{\Θ}}_V^{\left(t\right)}~p\left({\mathrm{\Θ}}_V\right|V^{\left(t\right)},{\mathrm{\Θ}}_0).$

步骤（2-1-3）如果用户i的朋友个数很少，例如比D少，那么采样该用户的隐含特征向量如果用户i的朋友个数比D多，那么根据公式（10），依据用户i(i=1～M)的朋友的隐含特征向量来采样超参数

然后采样隐含用户特征向量 $U_i^{(t+1)}~p\left(U_i\right|R,V^{\left(t\right)},{\mathrm{\Θ}}_{U,i}^{\left(t\right)}).$

步骤（2-1-4）采样隐含项目特征向量（j=1～N），t=t+1。返回步骤（2-1-2）直至t的值大于T。

其吉布斯采样算法的流程图如图3所示。

有社会关系和项目内容的贝叶斯概率矩阵分解（BPMFSRIC，BayesianProbabilistic Matrix Factorization with Social Relations and ItemContents）在有社会关系的贝叶斯概率矩阵分解（BPMFSR）的基础上融入项目内容，修改隐含项目特征矩阵V，修改后的先验分布为：

$p\left(V\right)=\underset{j=1}{\overset{N}{\mathrm{\Π}}}N\left(V_j\right|{\mathrm{\μ}}_{V,j},{\mathrm{\Λ}}_{V,j}^{-1})---\left(13\right)$

其中Θ_V,j＝{μ_V,j,Λ_V,j}为隐含项目特征向量V_j的超参数。V_j的后验分布为：

$\begin{array}{c}p\left(V_i\right|R,U,{\mathrm{\Θ}}_{V,j},\mathrm{\α})=N\left(V_j\right|{\mathrm{\μ}}_{V,j}^{*},{\left({\mathrm{\Λ}}_{V,j}^{*}\right)}^{-1})\\ ~\underset{i=1}{\overset{M}{\mathrm{\Π}}}{\left[N\left(R_{\mathrm{ij}}\right|U_i^T{V}_j,{\mathrm{\α}}^{-1})\right]}^{I_{\mathrm{ij}}}p\left(V_i\right|{\mathrm{\μ}}_{V,j},{\mathrm{\Λ}}_{V,j})\end{array}---\left(14\right)$

其 ${\mathrm{\Λ}}_{V,j}^{*}={\mathrm{\Λ}}_{V,j}+\mathrm{\α}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\left(U_j^T{U}_j\right)}^{I_{\mathrm{ij}}},$ ${\mathrm{\μ}}_{V,j}^{*}={\left({\mathrm{\Λ}}_{V,j}^{*}\right)}^{-1}(\mathrm{\α}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\left(U_i{R}_{\mathrm{ij}}\right)}^{I_{\mathrm{ij}}}+{\mathrm{\μ}}_{V,j}{\mathrm{\Λ}}_{V,j}).$

C_j表示所有关联项目j的项目集。项目超参数条件分布为：

$\begin{array}{c}p\left({\mathrm{\Θ}}_{V,j}\right|V,{\mathrm{\Θ}}_0)=p\left({\mathrm{\Θ}}_{V,j}\right|U_{C,j},{\mathrm{\Θ}}_0)=p({\mathrm{\μ}}_{V,j},{\mathrm{\Λ}}_{V,j}|U_{C,j},{\mathrm{\Θ}}_0)\\ =N\left({\mathrm{\μ}}_{V,j}\right|{\mathrm{\μ}}_{V,j}^{*},{\left({\mathrm{\β}}_{V,j}^{*}{\mathrm{\Λ}}_{V,j}\right)}^{-1})W\left({\mathrm{\Λ}}_{V,j}\right|W_{V,j}^{*},v_{V,j}^{*})\end{array}---\left(15\right)$ ${\mathrm{\μ}}_{V,j}^{*}=\frac{{\mathrm{\β}}_0{\mathrm{\μ}}_0+N_j{\stackrel{\‾}{V}}_{\left(j\right)}}{{\mathrm{\β}}_0+N_j},$ ${\mathrm{\β}}_{V,j}^{*}={\mathrm{\β}}_0+N_j,$ $v_{V,j}^{*}=v_0+N_j,$ $W_{V,j}^{*}={(W_0^{-1}+N_j{\stackrel{\‾}{S}}_{V,j}+\frac{{\mathrm{\β}}_0{N}_j}{{\mathrm{\β}}_0+N_j}{({\mathrm{\μ}}_0-{\stackrel{\‾}{V}}_{\left(j\right)})}^T({\mathrm{\μ}}_0-{\stackrel{\‾}{V}}_{\left(j\right)}))}^{-1},$ ${\stackrel{\‾}{V}}_{\left(j\right)}=\frac{1}{N_j}\underset{k\∈C_j}{\mathrm{\Σ}}{V}_k,$ ${\stackrel{\‾}{S}}_{V,j}=\frac{1}{N_j}\underset{k\∈C_j}{\mathrm{\Σ}}{(V_k-{\stackrel{\‾}{V}}_{\left(j\right)})}^T(V_k-{\stackrel{\‾}{V}}_{\left(j\right)}),$ N_j＝|C_j|，其中V_C,j是由C_j中项目的特征值向量组成的矩阵。

公式（8）到公式（15）描述的是有社会关系和项目内容的贝叶斯概率矩阵分解（BPMFSRIC），图形模型如图2所示。在此模型中，和用户超参数一样，为每一个项目生成超参数。此步骤采用吉布斯采样算法来采样隐含用户特征向量和隐含项目特征向量，其步骤顺序如下：

步骤（2-2-1）将步骤（1）中根据PMF得到的隐含用户特征矩阵和隐含项目特征矩阵作为初始U，V,令t=1。

步骤（2-2-2）根据公式（7）采样超参数 ${\mathrm{\Θ}}_U^{\left(t\right)}~p\left({\mathrm{\Θ}}_U\right|U^{\left(t\right)},{\mathrm{\Θ}}_0),$ ${\mathrm{\Θ}}_V^{\left(t\right)}~p\left({\mathrm{\Θ}}_V\right|V^{\left(t\right)},{\mathrm{\Θ}}_0).$

步骤（2-2-3）如果用户i的朋友个数比D少，那么采样该用户的隐含特征向量

如果用户i的朋友个数比D多，那么根据公式（10），依据用户i(i=1…M)的朋友的隐含特征向量来采样超参数 ${\mathrm{\Θ}}_{U,i}^{\left(t\right)}~p\left({\mathrm{\Θ}}_{U,i}\right|U^{\left(t\right)},{\mathrm{\Θ}}_0),$ 然后采样隐含用户特征向量 $U_i^{(t+1)}~p\left(U_i\right|{R,V}^{\left(t\right)},{\mathrm{\Θ}}_{U,i}^{\left(t\right)}).$

步骤（2-2-4）如果与项目j关联的项目个数比D少，那么采样该隐含项目的特征向量

如果与项目j关联的项目的个数比D多，那么根据公式（15），依据与项目j（j=1…N）相关联的隐含项目特征向量来采样超参数

然后采样隐含项目特征向量

t=t+1。返回步骤（2-2-2）直至t的值大于T。

其吉布斯采样算法的流程图如图4所示。吉布斯采样后得到采样后的隐含用户特征矩阵U和隐含项目特征矩阵V。

步骤（3）计算预测评价矩阵，基于此矩阵进行推荐。

由步骤（2）得到的采样后的隐含用户特征矩阵和隐含项目特征矩阵可以求出预测评价矩阵然后可以基于此预测评价矩阵进行系统推荐。

整体推荐系统流程图如图5所示。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于有社会关系和项目内容的贝叶斯概率矩阵分解推荐方法，其特征在于，包括以下步骤：

（1）、使用概率矩阵分解（PMF，Probabilistic Matrix Factorization）方法对观察评价矩阵进行隐含矩阵分析，得到隐含用户特征矩阵和隐含项目特征矩阵；

（2）、使用有社会关系的贝叶斯概率矩阵分解（BPMFSR，BayesianProbabilistic Matrix Factorization with Social Relations）或者有社会关系和项目内容的贝叶斯概率矩阵分解（BPMFSRIC，BayesianProbabilistic Matrix Factorization with Social Relations and ItemContents）对隐含用户特征矩阵和隐含项目特征矩阵进行吉布斯采样，得到采样后的隐含用户特征矩阵和隐含项目特征矩阵；

（3）、根据所述采样后的隐含用户特征矩阵和隐含项目特征矩阵计算预测评价矩阵，基于所述预测评价矩阵进行推荐。

2.如权利要求1所述的方法，其特征在于，所述步骤（1）具体包括：

（1-1）、随机生成U、V,U∈R^M×D和V∈R^N×D分别表示隐含用户特征矩阵和隐含项目特征矩阵，其中，R表示观察评价矩阵，R_ij表示用户i对项目j的评价，行向量U_i和V_j分别表示隐含用户特征向量和隐含项目特征向量，M和N分别表示用户和项目的数量，常数D是隐含用户特征向量和隐含项目特征向量的维度并远小于M和N；

观察评价矩阵R的条件概率分布为：

$p\left(R\right|U,V,{\mathrm{\σ}}^2)=\underset{i=1}{\overset{M}{\mathrm{\Π}}}\underset{j=1}{\overset{N}{\mathrm{\Π}}}{\left[N\left(R_{\mathrm{ij}}\right|U_i{V}_j^T,{\mathrm{\σ}}^2)\right]}^{I_{\mathrm{ij}}},$

其中

是均值为

方差为σ²的高斯分布的概率密度函数，I是M×N的矩阵，I_ij在用户i评价了项目j时等于1，其它时候为0；

隐含用户特征矩阵U和和隐含项目特征矩阵V的先验分布分别为：

$p\left(U\right|{\mathrm{\σ}}_U^2)=\underset{i=1}{\overset{M}{\mathrm{\Π}}}N\left(U_i\right|0,{\mathrm{\σ}}_U^2),$

$p\left(V\right|{\mathrm{\σ}}_V^2)=\underset{j=1}{\overset{N}{\mathrm{\Π}}}N\left(V_j\right|0,{\mathrm{\σ}}_V^2);$

其中，是均值为0，方差为

的高斯分布的概率密度函数，

是均值为0，方差为

的高斯分布的概率密度函数；

（1-2）、计算 $U^{\′}=U-\mathrm{\γ}\frac{\∂E}{\∂U},V^{\′}=V-\mathrm{\γ}\frac{\∂E}{\∂V},$ 其中：

γ为学习率，γ足够小且γ＞0，其具体值根据经验确定；

是一个矩阵，其第（i,j）个元素是

对U_i求偏导

$\frac{\∂E}{{\∂U}_i}=-\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{I}_{\mathrm{ij}}(R_{\mathrm{ij}}-U_i{V}_j^T)V_j^T+{\mathrm{\λ}}_U{U}_i,$

是一个矩阵，其第（i,j）个元素是

对V_j求偏导

$\frac{\∂E}{{\∂V}_j}=-\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{I}_{\mathrm{ij}}(R_{\mathrm{ij}}-U_i{V}_j^T)U_i+{\mathrm{\λ}}_V{V}_j;$

${\mathrm{\λ}}_U={\mathrm{\σ}}^2/{\mathrm{\σ}}_U^2,{\mathrm{\λ}}_V={\mathrm{\σ}}^2/{\mathrm{\σ}}_V^2;$

（1-3）、根据公式 $E=\frac{1}{2}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{I}_{\mathrm{ij}}{(R_{\mathrm{ij}}-U_i{V}_j^T)}^2+\frac{{\mathrm{\λ}}_U}{2}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\left|\right|U_i\left|\right|}_{\mathrm{Fro}}^2+\frac{{\mathrm{\λ}}_V}{2}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|V_j\left|\right|}_{\mathrm{Fro}}^2$ 计算E(U)、E(V)的值，当E(U)、E(V)的变化小于设定的阈值时，停止计算，否则令U＝U'，V＝V'，返回步骤（1-2），其中

表示Frobenius范式；

（1-4）、当停止计算时，得到的矩阵U'和V'分别为求得的隐含用户特征矩阵和隐含项目特征矩阵。

3.根据权利要求2所述的方法，其特征在于，所述步骤（2）中使用BPMFSR对隐含用户特征矩阵和隐含项目特征矩阵进行吉布斯采样，具体包括：

（2-1-1）、将步骤（1）中得到的隐含用户特征矩阵和隐含项目特征矩阵作为初始U，V,令t=1；

（2-1-2）、根据公式 $p({\mathrm{\μ}}_U,{\mathrm{\Λ}}_U|U,{\mathrm{\Θ}}_0)=N\left({\mathrm{\μ}}_U\right|{\mathrm{\μ}}_0^{*},{\left({\mathrm{\β}}_0^{*}{\mathrm{\Λ}}_U\right)}^{-1})W\left({\mathrm{\Λ}}_U\right|W_0^{*},v_0^{*})$ 采样超参数 ${\mathrm{\Θ}}_U^{\left(t\right)}~p\left({\mathrm{\Θ}}_U\right|U^{\left(t\right)},{\mathrm{\Θ}}_0),{\mathrm{\Θ}}_V^{\left(t\right)}~p\left({\mathrm{\Θ}}_V\right|V^{\left(t\right)},{\mathrm{\Θ}}_0),$ 其中：

W(w|W₀,v₀)是自由度为v₀，尺度参数为W₀的威夏特分布的概率密度函数，W₀是一个D×D的矩阵，

Θ₀＝{μ₀,v₀,W₀}，

${\mathrm{\μ}}_0^{*}=\frac{{\mathrm{\β}}_0{\mathrm{\μ}}_0+M\stackrel{\‾}{U}}{{\mathrm{\β}}_0+M},$

${\mathrm{\β}}_0^{*}={\mathrm{\β}}_0+M,$

$v_0^{*}=v_0+M,$

$W_0^{*}={(W_0^{-1}+M\stackrel{\‾}{S}+\frac{{\mathrm{\β}}_{0}M}{{\mathrm{\β}}_0+M}{({\mathrm{\μ}}_0-\stackrel{\‾}{U})}^T({\mathrm{\μ}}_0-\stackrel{\‾}{U}))}^{-1},$

$\stackrel{\‾}{U}=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{U}_i,$

$\stackrel{\‾}{S}=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{(U_i-\stackrel{\‾}{U})}^T(U_i-\stackrel{\‾}{U});$

（2-1-3）、如果用户i的朋友个数比D少，那么采样该用户的隐含特征向量如果用户i的朋友个数比D多，那么根据用户i的朋友的隐含特征向量来采样超参数

其中i=1～M，

$\begin{array}{c}p\left({\mathrm{\Θ}}_{U,i}\right|U,{\mathrm{\Θ}}_0)=p\left({\mathrm{\Θ}}_{U,i}\right|U_{F,i},{\mathrm{\Θ}}_0)=p({\mathrm{\μ}}_{U,i},{\mathrm{\Λ}}_{U,i}|U_{F,i},{\mathrm{\Θ}}_0)\\ =N\left({\mathrm{\μ}}_{U,i}\right|{\mathrm{\μ}}_{U,i}^{*},{\left({\mathrm{\β}}_{U,i}^{*}{\mathrm{\Λ}}_{U,i}\right)}^{-1})W\left({\mathrm{\Λ}}_{U,i}\right|W_{U,i}^{*},v_{U,i}^{*})\end{array},$

其中：

${\mathrm{\μ}}_{U,i}^{*}=\frac{{\mathrm{\β}}_0{\mathrm{\μ}}_0+M_i{\stackrel{\‾}{U}}_{\left(i\right)}}{{\mathrm{\β}}_0+M_i},$

${\mathrm{\β}}_{U,i}^{*}={\mathrm{\β}}_0+M_i,$

$v_{U,i}^{*}=v_0+M_i,$

$W_{U,i}^{*}={(W_0^{-1}+M_i{\stackrel{\‾}{S}}_{U,i}+\frac{{\mathrm{\β}}_0{M}_i}{{\mathrm{\β}}_0+M_i}{({\mathrm{\μ}}_0-{\stackrel{\‾}{U}}_{\left(i\right)})}^T({\mathrm{\μ}}_0-{\stackrel{\‾}{U}}_{\left(i\right)}))}^{-1},$

${\stackrel{\‾}{U}}_{\left(i\right)}=\frac{1}{M_i}\underset{j\∈F_i}{\mathrm{\Σ}}{U}_j,$

${\stackrel{\‾}{S}}_{U,i}=\frac{1}{M_i}\underset{j\∈F_i}{\mathrm{\Σ}}{(U_j-{\stackrel{\‾}{U}}_{\left(i\right)})}^T(U_j-{\stackrel{\‾}{U}}_{\left(i\right)}),$

M_i＝|F_i|，

这里U_F,i是由用户i及其朋友的隐含特征向量组成的矩阵，F_i是用户i及其朋友组成的集合，|·|表示集合的大小；

然后采样用户隐含特征向量

（2-1-4）、采样隐含项目特征向量t=t+1，j=1～N，返回步骤（2-1-2）直至t的值大于T，其中T为采样循环次数。

4.根据权利要求2所述的方法，其特征在于，所述步骤（2）中使用BPMFSRIC对隐含用户特征矩阵和隐含项目特征矩阵进行吉布斯采样具体包括：

（2-2-1）、将步骤（1）中得到的隐含用户特征矩阵和隐含项目特征矩阵作为初始U，V,令t=1；

（2-2-2）根据公式 $p({\mathrm{\μ}}_U,{\mathrm{\Λ}}_U|U,{\mathrm{\Θ}}_0)=N\left({\mathrm{\μ}}_U\right|{\mathrm{\μ}}_0^{*},{\left({\mathrm{\β}}_0^{*}{\mathrm{\Λ}}_U\right)}^{-1})W\left({\mathrm{\Λ}}_U\right|W_0^{*},v_0^{*})$ 采样超参数 ${\mathrm{\Θ}}_U^{\left(t\right)}~p\left({\mathrm{\Θ}}_U\right|U^{\left(t\right)},{\mathrm{\Θ}}_0),{\mathrm{\Θ}}_V^{\left(t\right)}~p\left({\mathrm{\Θ}}_V\right|V^{\left(t\right)},{\mathrm{\Θ}}_0),$ 其中：

W(w|W₀,v₀)是自由度为v₀，尺度参数为W₀的威夏特分布的概率密度函数，W₀是一个D×D的矩阵，

Θ₀＝{μ₀,v₀,W₀}，

${\mathrm{\μ}}_0^{*}=\frac{{\mathrm{\β}}_0{\mathrm{\μ}}_0+M\stackrel{\‾}{U}}{{\mathrm{\β}}_0+M},$

${\mathrm{\β}}_0^{*}={\mathrm{\β}}_0+M,$

$v_0^{*}=v_0+M,$

$W_0^{*}={(W_0^{-1}+M\stackrel{\‾}{S}+\frac{{\mathrm{\β}}_{0}M}{{\mathrm{\β}}_0+M}{({\mathrm{\μ}}_0-\stackrel{\‾}{U})}^T({\mathrm{\μ}}_0-\stackrel{\‾}{U}))}^{-1},$

$\stackrel{\‾}{U}=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{U}_i,$

$\stackrel{\‾}{S}=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{(U_i-\stackrel{\‾}{U})}^T(U_i-\stackrel{\‾}{U});$

（2-2-3）、如果用户i的朋友个数比D少，那么采样该用户的隐含特征向量

如果用户i的朋友个数比D多，那么根据用户i的朋友的隐含特征向量来采样超参数

其中i=1～M，

$\begin{array}{c}p\left({\mathrm{\Θ}}_{U,i}\right|U,{\mathrm{\Θ}}_0)=p\left({\mathrm{\Θ}}_{U,i}\right|U_{F,i},{\mathrm{\Θ}}_0)=p({\mathrm{\μ}}_{U,i},{\mathrm{\Λ}}_{U,i}|U_{F,i},{\mathrm{\Θ}}_0)\\ =N\left({\mathrm{\μ}}_{U,i}\right|{\mathrm{\μ}}_{U,i}^{*},{\left({\mathrm{\β}}_{U,i}^{*}{\mathrm{\Λ}}_{U,i}\right)}^{-1})W\left({\mathrm{\Λ}}_{U,i}\right|W_{U,i}^{*},v_{U,i}^{*})\end{array},$

其中：

${\mathrm{\μ}}_{U,i}^{*}=\frac{{\mathrm{\β}}_0{\mathrm{\μ}}_0+M_i{\stackrel{\‾}{U}}_{\left(i\right)}}{{\mathrm{\β}}_0+M_i},$

${\mathrm{\β}}_{U,i}^{*}={\mathrm{\β}}_0+M_i,$

$v_{U,i}^{*}=v_0+M_i,$

$W_{U,i}^{*}={(W_0^{-1}+M_i{\stackrel{\‾}{S}}_{U,i}+\frac{{\mathrm{\β}}_0{M}_i}{{\mathrm{\β}}_0+M_i}{({\mathrm{\μ}}_0-{\stackrel{\‾}{U}}_{\left(i\right)})}^T({\mathrm{\μ}}_0-{\stackrel{\‾}{U}}_{\left(i\right)}))}^{-1},$

${\stackrel{\‾}{U}}_{\left(i\right)}=\frac{1}{M_i}\underset{j\∈F_i}{\mathrm{\Σ}}{U}_j,$

${\stackrel{\‾}{S}}_{U,i}=\frac{1}{M_i}\underset{j\∈F_i}{\mathrm{\Σ}}{(U_j-{\stackrel{\‾}{U}}_{\left(i\right)})}^T(U_j-{\stackrel{\‾}{U}}_{\left(i\right)}),$

M_i＝|F_i|，

这里U_F,i是由用户i及其朋友的隐含特征向量组成的矩阵，F_i是用户i及其朋友组成的集合，|·|表示集合的大小；

然后采样隐含用户特征向量

（2-2-4）、如果与项目j关联的项目个数比D少，那么采样该隐含项目特征向量

如果与项目j关联的项目个数比D多，那么根据项目j关联的隐含项目特征向量来采样超参数

其中j=1～N，

$\begin{array}{c}p\left({\mathrm{\Θ}}_{V,j}\right|V,{\mathrm{\Θ}}_0)=p\left({\mathrm{\Θ}}_{V,j}\right|V_{C,j},{\mathrm{\Θ}}_0)=p({\mathrm{\μ}}_{V,j},{\mathrm{\Λ}}_{V,j}|V_{C,j},{\mathrm{\Θ}}_0)\\ =N\left({\mathrm{\μ}}_{V,j}\right|{\mathrm{\μ}}_{V,j}^{*},{\left({\mathrm{\β}}_{V,j}^{*}{\mathrm{\Λ}}_{V,j}\right)}^{-1})W\left({\mathrm{\Λ}}_{V,j}\right|W_{V,j}^{*},v_{V,j}^{*})\end{array}$

其中：

${\mathrm{\μ}}_{V,j}^{*}=\frac{{\mathrm{\β}}_0{\mathrm{\μ}}_0+N_j{\stackrel{\‾}{V}}_{\left(j\right)}}{{\mathrm{\β}}_0+N_j},$

${\mathrm{\β}}_{V,j}^{*}={\mathrm{\β}}_0+N_j,$

$v_{V,j}^{*}=v_0+N_j,$

$W_{V,j}^{*}={(W_0^{-1}+N_j{\stackrel{\‾}{S}}_{V,j}+\frac{{\mathrm{\β}}_0{N}_j}{{\mathrm{\β}}_0+N_j}{({\mathrm{\μ}}_0-{\stackrel{\‾}{V}}_{\left(j\right)})}^T({\mathrm{\μ}}_0-{\stackrel{\‾}{V}}_{\left(j\right)}))}^{-1},$

${\stackrel{\‾}{V}}_{\left(j\right)}=\frac{1}{N_j}\underset{k\∈C_j}{\mathrm{\Σ}}{V}_k,$

${\stackrel{\‾}{S}}_{V,j}=\frac{1}{N_j}\underset{k\∈C_j}{\mathrm{\Σ}}{(V_k-{\stackrel{\‾}{V}}_{\left(j\right)})}^T(V_k-{\stackrel{\‾}{V}}_{\left(j\right)}),$

N_j＝|C_j|,

这里V_C,j是由C_j中项目的隐含特征向量组成的矩阵，C_j是与项目j相关联的项目集合；

然后采样隐含项目特征向量

t=t+1，返回步骤（2-2-2）直至t的值大于T，其中T为采样循环次数。

5.根据权利要求3或4所述的方法，其特征在于，由步骤（2）中得到的采样后的隐含用户特征矩阵和隐含项目特征矩阵求出预测评价矩阵

然后基于此预测评价矩阵进行系统推荐。

Images