CN102129463A - 一种融合项目相关性的基于pmf的协同过滤推荐系统 - Google Patents

Abstract

本发明公开了一种融合项目相关性的基于PMF的协同过滤推荐系统，系统包括对用户-项目评分数据的概率矩阵因式分解隐向量分析、融入社会标签因素的使用PMF对社会标签网络分析和基于两种数据源的隐向量融合三个部分。对用户-项目评分数据的概率矩阵因式分解是基于已知的用户-项目评分数据，利用PMF对用户-项目评分矩阵进行隐向量分析，再使用构造出的隐向量进行推荐。PMF对社会标签网络分析是沿用之前提出的社会标签网络模型从社会标签数据中抽取社会标签数据中项间的关系，并使用PMF方法对社会标签网络模型进行隐向量分析，最后通过在基于不同数据源的隐向量模型上共享隐向量空间的方式，将社会标签数据信息和用户-项目评分数据信息进行融合，从而达到提高推荐精度的目的。

Description

一种融合项目相关性的基于PMF的协同过滤推荐系统

技术领域

本发明涉及一种融合了协同标签项目相关性的基于PMF(ProbabilisticMatrix Factorization，概率矩阵因式分解)的协同过滤推荐系统，适用于推荐结果的优化，属于数据挖掘的技术领域。

背景技术

社会标签网络的提出，使协同过滤推荐系统有了除用户-项目评分数据矩阵以外的另一个推荐参考标准。现有的基于评分相似度的K近邻模型和FR(F指社会标签网络过滤，R指推荐偏差移除)方法都对协同过滤推荐系统进行了优化。

基于隐向量模型的协同过滤算法，与基于评分相似度的K近邻模型相比，其存贮和计算复杂度相对较低，并能较好地对已知的用户-项目评分数据中的潜在关系进行诠释；同时具备较高的推荐精度。但是，现有的基于隐向量模型的协同过滤算法，其推荐结果往往只基于已知的用户-项目评分数据产生；通过上一章的研究，我们可以看到，在基于评分相似度的K近邻模型中，融入社会标签数据的信息，将会有效地提高推荐结果的质量；类似地，我们同样可以通过融入社会标签数据信息的方式，来提高基于隐向量模型的协同过滤算法的推荐精度。

发明内容

本发明要解决的技术问题：克服现有技术的不足，提供一种融合了协同标签项目相关性的基于PMF的协同过滤推荐系统，着重于讨论从社会化标签数据中挖掘项目间的联系，并将其与用户-项目评分数据中相结合，以达到提高推荐质量的目的。

本发明的技术解决方案：一种融合了协同标签项目相关性的基于PMF的协同过滤推荐系统，包括对用户-项目评分数据的概率矩阵因式分解隐向量分析、融入社会标签因素的使用PMF对社会标签网络分析和基于不同数据源的隐向量融合三个部分。对用户-项目评分数据的概率矩阵因式分解是基于已知的用户-项目评分数据，利用PMF对用户-项目评分矩阵进行隐向量分析，再使用构造出的隐向量进行推荐。PMF对社会标签网络分析是沿用之前提出的社会标签网络模型从社会标签数据中抽取社会标签数据中项间的关系，并使用PMF方法对社会标签网络模型进行隐向量分析，最后通过在基于不同数据源的隐向量模型上共享隐向量空间的方式，将社会标签数据信息和用户-项目评分数据信息进行融合。

下面对本发明的技术方案做详细的说明：一种融合了协同标签项目相关性的基于PMF的协同过滤推荐系统，具体如下：

(一)使用PMF对用户-项目评分矩阵进行隐向量分析

系统首先在给定的包含|I|个项目的社会标签数据上建立的社会标签网络模型，使用邻接矩阵F∈R^|I|×|I|表示，其中元素f_i，j表示项目i和j之间的社会标签相关度。

(二)融入社会标签因素的使用PMF对社会标签网络分析

系统使用PMF对邻接矩阵F进行因式分解，得到每个项目在社会标签数据中的特征信息。令Y、Q均为|I|×f的矩阵，各自代表f维的项目隐特征矩阵，其中Y是前置项目隐特征矩阵，Q是后置项目隐特征矩阵，并使用y_i·q_j对F中的元素f_i，j进行逼近，得到F中的已知值关于Y和Q的条件分布。

(三)基于两种数据源的隐向量融合

通过在基于不同数据源的隐向量模型上共享隐向量空间的方式，将社会标签数据信息和用户-项目评分数据信息进行融合，进而构造同时依赖于社会标签网络信息和用户-项目特征信息的累积损失函数，更好地通过已知数据预测出未知数据的评分信息，从而达到提高推荐精度的目的。

关键技术是PMF，即概率矩阵因式分解，是一种使用高斯函数对隐向量进行拟和，再使用似然构造全局损失函数，从而实现对指定矩阵进行隐向量分析的因式分解技术。所述(一)中使用PMF对用户-项目评分矩阵进行隐向量分析时，令P、Q分别为|U|×f和|I|×f的矩阵，代表f维的用户隐特征矩阵和项目隐特征矩阵；令r_u，j∈R代表用户u对项目j的评分；代入具备高斯观测噪声的线性似然模型，则使用用户隐特征矩阵和项目隐特征矩阵对用户-项目评分矩阵R进行逼近时，可以得到用户-项目评分矩阵R关于用户隐特征和项目隐特征的条件分布。基于PMF的隐向量模型(以下简称PMF模型)由Salakhutdinov等提出，其基本思想是基于已知的用户-项目评分数据T，利用PMF对用户-项目评分矩阵R进行隐向量分析，再使用构造出的隐向量进行推荐。

本发明的优点及功效在于：(1)采用社会标签网络模型从社会标签数据中抽取社会标签数据中项目的关系；(2)使用PMF方法对社会标签网络模型进行隐向量分析，通过在基于不同数据源的隐向量模型上共享隐向量空间的方式，将社会标签数据信息和用户-项目评分数据信息进行融合分析；(3)能够充分挖掘用户-项目之间的关系，提高了协同过滤推荐系统推荐的精度。

附图说明

图1是使用PMF对用户-项目评分矩阵进行分解的模型图示

图2是使用PMF对社会标签网络进行分解的模型图示

图3是基于两种不同数据源的隐向量模型融合后的模型图示

具体实施方式

1.使用PMF对用户-项目评分矩阵进行隐向量分析

使用PMF对用户-项目评分矩阵进行隐向量分析时，令P、Q分别为|U|×f和|I|×f的矩阵，代表f维的用户隐特征矩阵和项目隐特征矩阵；令r_u，j∈R代表用户u对项目j的评分；代入具备高斯观测噪声的线性似然模型，则使用用户隐特征矩阵和项目隐特征矩阵对用户-项目评分矩阵R进行逼近时，可以得到用户-项目评分矩阵R关于用户隐特征和项目隐特征的条件分布，如下所示：

$p\left(R\right|P,Q,{\mathrm{\σ}}_R^2)=\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Π}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Π}}}{\left[N\left(r_{\mathrm{uj}}\right|p_u\·q_j,{\mathrm{\σ}}_R^2)\right]}^{I_{u,j}^R}.---\left(1\right)$

其中N(x|μ，σ²)是以μ为均值，σ²为方差的高斯概率密度函数，

为指示矩阵，如果已知用户u对项目j的评分即r_u，j∈T，则

反之，则

同时，可以使用均值为零的多维高斯概率分布对用户隐特征矩阵P和项目隐特征矩阵Q进行建模，如此，则P、Q的先验分布如下式所示：

$p\left(P\right|{\mathrm{\σ}}_P^2)=\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Π}}}\left[N\left(p_u\right|0,{\mathrm{\σ}}_P^{2}I)\right]$

$\left(2\right)$

$p\left(Q\right|{\mathrm{\σ}}_Q^2)=\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\left[N\left(q_j\right|0,{\mathrm{\σ}}_Q^{2}I)\right]$

结合式(1)和(2)，通过贝叶斯公式，可以推导出已知的用户-项目评分关于P、Q的后验概率

与已知的用户-项目评分关于P、Q的条件分布以及P、Q的先验分布成正比，即：

$p(P,Q|R,{\mathrm{\σ}}_R^2,{\mathrm{\σ}}_P^2,{\mathrm{\σ}}_Q^2)\∝p\left(R\right|P,Q,{\mathrm{\σ}}_R^2)p\left(P\right|{\mathrm{\σ}}_P^2)p\left(Q\right|{\mathrm{\σ}}_Q^2)$

$=\underset{u=1}{\overset{\left|u\right|}{\mathrm{\Π}}}\underset{j=1}{\overset{\left|j\right|}{\mathrm{\Π}}}{\left[N\left(r_{u,j}\right|p_u\·q_j),{\mathrm{\σ}}_R^2)\right]}^{I_{u,j}^R}\×\underset{u=1}{\overset{m}{\mathrm{\Π}}}\left[N\left(p_u\right|0,{\mathrm{\σ}}_P^{2}I)\right]\×\underset{j=1}{\overset{n}{\mathrm{\Π}}}[N\left(q_j\right|0,{\mathrm{\σ}}_Q^2---\left(3\right)$

对

求对数，可以得到：

$\ln p(P,Q|R,{\mathrm{\σ}}_R^2,{\mathrm{\σ}}_P^2,{\mathrm{\σ}}_Q^2)\∝\ln p\left(R\right|P,Q,{\mathrm{\σ}}_R^2)p\left(P\right|{\mathrm{\σ}}_P^2)p\left(Q\right|{\mathrm{\σ}}_Q^2)$

$=-\frac{1}{{2\mathrm{\σ}}_R^2}\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Σ}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{u,j}^R{(r_{u,j}-p_u\·q_j)}^2-\frac{1}{{2\mathrm{\σ}}_P^2}\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Σ}}}\left|\right|p_u\left|\right|-\frac{1}{{2\mathrm{\σ}}_Q^2}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}\left|\right|q_j\left|\right|---\left(4\right)$

$-\frac{1}{2}(\ln {\mathrm{\σ}}_R^2\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{I}_{u,j}^R+|U|\·f\·\ln {\mathrm{\σ}}_P^2+|I|\·f\·{\ln \mathrm{\σ}}_Q^2)+C$

其中C是与未知参数无关的常量。由上式(2)可以看出，最大化已知的用户-项目评分关于P、Q的后验概率等同于最小化如下所示的累积误差函数，即

$\underset{P,Q}{\mathrm{SE}}=\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Σ}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{u,j}^R{(r_{u,j}-p_u\·q_j)}^2+{\mathrm{\λ}}_P\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Σ}}}\left|\right|p_u\left|\right|+{\mathrm{\λ}}_Q\underset{q=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}\left|\right|q_j\left|\right|---\left(5\right)$

其中

为了避免评分预测值超出既定范围，可以使用Logistic函数对p_u、q_j的乘积进行规范化，将评分预测值限制在区间(0，1)内，如下所示：

$g(p_u\·q_j)=\frac{1}{1-\exp (-p_u\·q_j)}---\left(6\right)$

同时需要对已知的用户-项目评分进行相应的规范化，最简单的方式是最大值-最小值规范化，即

$r_{u,j}^{\′}=\frac{r_{u,j}-r_{\min }}{r_{\max }-r_{\min }}---\left(7\right)$

使用式(7)可将已知的用户-项目评分映射到区间[0，1]之中。如此，则之前的累积误差函数转化为：

${\underset{P,Q}{\mathrm{SE}}}^{\′}=\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Σ}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{u,j}^R{(r_{u,j}^{\′}-g(p_u\·q_j))}^2+{\mathrm{\λ}}_P\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Σ}}}\left|\right|p_u\left|\right|+{\mathrm{\λ}}_Q\underset{q=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}\left|\right|q_j\left|\right|---\left(8\right)$

但是，使用式(6)的损失函数对用户隐特征矩阵和项目隐特征矩阵求解，会受到数据稀疏性的影响：所有具备少量评分的用户，其特征向量都将会趋近于先验均值，导致对这部分用户的未知评分预测均趋近于所有用户在对应项目上的平均评分。

为了解决这个问题，可以进一步对用户隐特征向量进行分解，并对对用户的评分行为进行建模。此时，对于用户u，其特征向量p_u可表示为：

$p_u=c_u+\underset{l=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{u,l}^R\·h_l/\underset{l=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{u,l}^R---\left(9\right)$

其中，c_u为用户u的特征向量相对于先验均值的偏移量，h₁表示任一用户评价了项目l后的偏好效应向量，而I^R则为前文中提到的用户-项目评分指示矩阵。如此，则通过加权平均的方式，抑制了用户评分数量的多寡对用户隐特征向量训练结果的决定性作用；同时又通过引入偏好效应向量，将用户对不同项目进行评价的效应区分开来。此时，描述已知的用户-项目评分数据关于用户隐特征矩阵P和项目隐特征Q的条件分布的模型图示如图1所示

。

2.融入社会标签因素的使用PMF对社会标签网络分析

与P、Q类似，可使用均值为零的高斯向量C、H进行建模，如此，则C、H的先验分布如下所示：

$p\left(C\right|{\mathrm{\σ}}_C^2)=\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Π}}}\left[N\left(c_u\right|0,{\mathrm{\σ}}_C^{2}I)\right]$

$\left(10\right)$

$p\left(H\right|{\mathrm{\σ}}_H^2)=\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\left[N\left(h_j\right|0,{\mathrm{\σ}}_H^{2}I)\right]$

将式(1)、(4)、(7)、(8)合并得到：

$p(C,H,Q|R,{\mathrm{\σ}}_R^2,{\mathrm{\σ}}_C^2,{\mathrm{\σ}}_H^2,{\mathrm{\σ}}_Q^2)\∝p\left(R\right|C,H,Q,{\mathrm{\σ}}_R^2)p\left(C\right|{\mathrm{\σ}}_C^2)p\left(H\right|{\mathrm{\σ}}_H^2)P\left(Q\right|$

$=\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Π}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Π}}}{\left[N\left(r_{\mathrm{uj}}^{\′}\right|g\left({(c_u+\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{I}_{\mathrm{ul}}^R\·h_l/\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{I}_{\mathrm{ul}}^R)}^T{q}_j\right),{\mathrm{\σ}}_R^2)\right]}^{I_{u,j}^R}\×\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Π}}}[N\left(c_i\right|0,{\mathrm{\σ}}_C^2---\left(11\right)$

$\×\underset{l=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\left[N\left(h_i\right|0,{\mathrm{\σ}}_H^{2}I)\right]\×\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\left[N\left(q_i\right|0,{\mathrm{\σ}}_Q^{2}I)\right].$

对

求对数，结合式(9)可以得到：

$\ln p(C,H,Q|R,{\mathrm{\σ}}_R^2,{\mathrm{\σ}}_C^2,{\mathrm{\σ}}_H^2,{\mathrm{\σ}}_Q^2)$

$=-\frac{1}{{2\mathrm{\σ}}_R^2}\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Σ}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{u,j}^R{(r_{u,j}^{\′}-g\left({(c_u+\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{I}_{\mathrm{ul}}^R\·h_l/\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{I}_{\mathrm{ul}}^R)}^T{q}_j\right))}^2$

$-\frac{1}{{2\mathrm{\σ}}_C^2}\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Σ}}}{\left|\right|c_u\left|\right|}^2-\frac{1}{{2\mathrm{\σ}}_H^2}\underset{l=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{\left|\right|h_l\left|\right|}^2-\frac{1}{{2\mathrm{\σ}}_Q^2}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}\left|\right|q_j\left|\right|---\left(12\right)$

$-\frac{1}{2}(\ln {\mathrm{\σ}}_R^2\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{I}_{u,j}^R+|U|\·f\·{\ln \mathrm{\σ}}_C^2+|I|\·f\·{\ln \mathrm{\σ}}_H^2+|I|\·f\·{\ln \mathrm{\σ}}_Q^2)+C$

其中C是与未知参数无关的常量。如此，则式(6)累积误差函数转化为：

$\underset{C,H,Q}{\mathrm{SE}}=\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Σ}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{u,j}^R{(r_{u,j}^{\′}-g({(c_u+\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{I}_{\mathrm{ul}}^R\·h_l/\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{I}_{\mathrm{ul}}^R)}^T{q}_j)}^2$

$\left(13\right)$

$+{\mathrm{\λ}}_C\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Σ}}}\left|\right|c_u\left|\right|+{\mathrm{\λ}}_H\underset{l=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}\left|\right|h_l\left|\right|+{\mathrm{\λ}}_Q\underset{q=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}\left|\right|q_j\left|\right|$

结合已知的用户-项目评分数据，使用随机梯度下降法对式(9)累积误差函数进行求解，就可以在已知的用户-项目评分数据的基础上求解用户隐特征矩阵和项目隐特征矩阵。

在给定的包含|I|个项目的社会标签数据上建立的社会标签网络模型可以使用邻接矩阵F∈R^|I|×|I|表示，其中元素f_i，j表示项目i和j之间的社会标签相关度。如果我们使用PMF对邻接矩阵F进行因式分解，就可以得到每个项目在社会标签数据中的特征信息。令Y、Q均为|I|×f的矩阵，各自代表f维的项目隐特征矩阵，其中Y是前置项目隐特征矩阵，Q是后置项目隐特征矩阵，并使用y_i·q_j对F中的元素f_i，j进行逼近，则F中的已知值关于Y和Q的条件分布如下所示：

$p\left(F\right|Y,Q,{\mathrm{\σ}}_F^2)=\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Π}}}{\left[N\left(f_{i,j}\right|g\left(y_i^T{q}_j\right),{\mathrm{\σ}}_F^2)\right]}^{I_{i,j}^F}---\left(14\right)$

其中N(x|μ，σ²)是高斯分布密度函数，I^F∈R^|I|×|I|为指示矩阵，如果已知项目i、j间的社会标签相关度不为零，则

反之，则

进一步地，可以使用均值为零的高斯向量对前置项目隐特征矩阵Y和后置项目隐特征矩阵Q进行建模，如此，则Y、Q的先验分布如下式所示：

$p\left(Y\right|{\mathrm{\σ}}_Y^2)=\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\left[N\left(y_i\right|0,{\mathrm{\σ}}_Y^{2}I)\right]$

$\left(15\right)$

$p\left(Q\right|{\mathrm{\σ}}_Q^2)=\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\left[N\left(q_j\right|0,{\mathrm{\σ}}_Q^{2}I)\right]$

结合(14)、(15)两式，通过贝叶斯公式，可以推导出已知项目社会标签网络相关度关于Y、Q的后验概率

与已知项目社会标签网络相关度关于Y、Q的条件分布以及Y、Q的先验分布成正比，即

$p(Y,Q|F,{\mathrm{\σ}}_F^2,{\mathrm{\σ}}_Y^2,{\mathrm{\σ}}_Q^2)\∝p\left(F\right|Y,Q,{\mathrm{\σ}}_F^2)P\left(Y\right|{\mathrm{\σ}}_Y^2)P\left(Q\right|{\mathrm{\σ}}_Q^2)$

$=\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Π}}}{\left[N\left(f_{i,j}\right|y_i\·q_j,{\mathrm{\σ}}_R^2)\right]}^{I_{i,j}^F}\×\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\left[N\left(y_i\right|0,{\mathrm{\σ}}_C^{2}I)\right]\×\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Π}}}[N\left(q_j\right|0,{\mathrm{\σ}}_Q^{2}I)---\left(16\right)$

对

求对数，结合式(14)可以得到：

$\ln p(Y,Q|F,{\mathrm{\σ}}_F^2,{\mathrm{\σ}}_Y^2,{\mathrm{\σ}}_Q^2)$

$=-\frac{1}{{2\mathrm{\σ}}_F^2}\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{i,j}^F{(f_{i,j}-y_i\·q_j)}^2-\frac{1}{{2\mathrm{\σ}}_Y^2}\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}\left|\right|y_i\left|\right|-\frac{1}{{2\mathrm{\σ}}_Q^2}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}\left|\right|q_j\left|\right|---\left(17\right)$

$-\frac{1}{2}(\ln {\mathrm{\σ}}_F^2\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{i,j}^F+|I|\·f\·\ln {\mathrm{\σ}}_Y^2+|I|\·f\·{\ln \mathrm{\σ}}_Q^2)+C$

其中C是与未知参数无关的常量。由式(15)可以看出，最大化已知项目社会标签网络相关度关于Y、Q的后验概率等同于最小化如下所示的累积误差函数，即

$\underset{Y,Q}{\mathrm{SE}}=\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{i,j}^F{(f_{i,j}-y_i\·q_j)}^2+{\mathrm{\λ}}_Y\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}\left|\right|y_i\left|\right|+{\mathrm{\λ}}_Q\underset{q=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}\left|\right|q_j\left|\right|---\left(18\right)$

其中

同时可以使用Logistic函数对y_i、q_j的内积进行规范化，将其限制在区间(0，1)内，如下所示：

$g(y_i\·q_j)=\frac{1}{1-\exp (-y_i\·q_j)}---\left(19\right)$

并同时已知项目社会标签网络相关度最大值-最小值规范化，即

$f_{i,j}^{\′}=\frac{f_{i,j}-f_{\min }}{f_{\max }-f_{\min }}---\left(20\right)$

使用式(20)可将已知项目社会标签网络相关度映射到区间[0，1]内，如此则式(18)所示的累积误差函数转化为：

${\underset{Y,Q}{\mathrm{SE}}}^{\′}=\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{i,j}^F{(f_{i,j}^{\′}-g(y_i\·q_j))}^2+{\mathrm{\λ}}_Y\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}\left|\right|y_i\left|\right|+{\mathrm{\λ}}_Q\underset{q=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}\left|\right|q_j\left|\right|---\left(21\right)$

进一步地，为了避免数据稀疏性的影响，可以对前置项目隐特征矩阵Y进行分解，对于项目i，其前置特征向量y_i可表示为：

$y_i=b_i+\underset{k=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{i,k}^F{e}_k/\underset{k=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{\mathrm{ik}}^F.---\left(22\right)$

其中，b_i为项目i的特征向量相对于先验均值的偏移量，e_k表示与项目k具备社会标签相关度的效应向量，而I^F为指示矩阵。此时，描述已知项目社会标签网络相关度关于Y、Q的条件分布的模型图示如图2所示。

我们可以使用均值为零的高斯向量对B、E进行建模，如此，则B、E的先验分布如下所示：

$p\left(E\right|{\mathrm{\σ}}_E^2)=\underset{k=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\left[N\left(e_k\right|0,{\mathrm{\σ}}_E^{2}I)\right]$

$\left(23\right)$

$p\left(B\right|{\mathrm{\σ}}_B^2)=\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\left[N\left(e_i\right|0,{\mathrm{\σ}}_B^{2}I)\right]$

将式(11)、(12)与(13)合并得到：

$p(B,E,Q|F,{\mathrm{\σ}}_F^2,{\mathrm{\σ}}_B^2,{\mathrm{\σ}}_E^2,{\mathrm{\σ}}_Q^2)\∝p\left(F\right|B,E,Q,{\mathrm{\σ}}_F^2)p\left(B\right|{\mathrm{\σ}}_B^2)p\left(E\right|{\mathrm{\σ}}_E^2)P\left(Q\right|{\mathrm{\σ}}_Q^2$

$=\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Π}}}{\left[N\left(f_{i,j}^{\′}\right|g\left({(b_i+\underset{k=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{i,k}^F\·e_k/\underset{k=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{i,k}^F)}^T{q}_j\right),{\mathrm{\σ}}_F^2)\right]}^{I_{i,j}^F}\×\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Π}}}[N\left(b_i\right|0,\mathrm{\σ}---\left(24\right)$

$\×\underset{k=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\left[N\left(e_k\right|0,{\mathrm{\σ}}_E^{2}I)\right]\×\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\left[N\left(q_j\right|0,{\mathrm{\σ}}_Q^{2}I)\right]$

3.基于两种数据源的隐向量融合

已知的用户-项目评分信息可以使用隐特征矩阵C、H、Q进行分解，而在上节中，我们使用隐特征矩阵B、E、Q对已知项目社会标签相关度进行建模。完成上述两步隐特征分解后，我们可以通过在这两个基于不同数据源的隐特征模型间共享项目隐特征空间Q的方式，实现两个隐特征模型的融合。融合后的模型图示如图3所示：

结合式(9)和(22)我们可以得出已知的用户-项目评分和已知项目社会标签相关度关于隐特征矩阵C、H、B、E、Q的条件分布如下式所示：

$p(C,H,B,E,Q|R,F,{\mathrm{\σ}}_R^2,{\mathrm{\σ}}_F^2,{\mathrm{\σ}}_C^2,{\mathrm{\σ}}_H^2,{\mathrm{\σ}}_B^2,{\mathrm{\σ}}_E^2,{\mathrm{\σ}}_Q^2)$

$\∝p\left(R\right|C,H,Q,{\mathrm{\σ}}_R^2)p\left(F\right|B,E,Q,{\mathrm{\σ}}_F^2)p\left(C\right|{\mathrm{\σ}}_C^2)p\left(H\right|{\mathrm{\σ}}_H^2)p\left(B\right|{\mathrm{\σ}}_B^2)p\left(E\right|{\mathrm{\σ}}_E^2)P\left(Q\right|$

$=\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Π}}}{\left[N\left(f_{i,j}^{\′}\right|g\left({(b_i+\underset{k=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{i,k}^F\·e_k/\underset{k=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{i,k}^F)}^T{q}_j\right),{\mathrm{\σ}}_F^2)\right]}^{I_{i,j}^F}$

$\×\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Π}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Π}}}{\left[N\left(r_{\mathrm{uj}}^{\′}\right|g\left({(c_u+\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{I}_{\mathrm{ul}}^R\·h_l/\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{I}_{\mathrm{ul}}^R)}^T{q}_j\right),{\mathrm{\σ}}_R^2)\right]}^{I_{u,j}^R}---\left(25\right)$

$\×\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Π}}}\left[N\left(c_i\right|0,{\mathrm{\σ}}_C^{2}I)\right]\×\underset{l=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\left[N\left(h_i\right|0,{\mathrm{\σ}}_H^{2}I)\right]\×\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\left[N\left(b_i\right|0,{\mathrm{\σ}}_B^{2}I)\right]$

$\×\underset{k=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\left[N\left(e_k\right|0,{\mathrm{\σ}}_E^{2}I)\right]\×\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\left[N\left(q_j\right|0,{\mathrm{\σ}}_Q^{2}I)\right]$

对

求对数，结合式(23)可以得到：

$\ln p(C,H,B,E,Q|R,F,{\mathrm{\σ}}_R^2,{\mathrm{\σ}}_F^2,{\mathrm{\σ}}_C^2,{\mathrm{\σ}}_H^2,{\mathrm{\σ}}_B^2,{\mathrm{\σ}}_E^2,{\mathrm{\σ}}_Q^2)$

$=-\frac{1}{{2\mathrm{\σ}}_R^2}\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Σ}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{u,j}^R{(r_{u,j}^{\′}-g\left({(c_u+\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{I}_{u,l}^R\·h_l/\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{I}_{u,l}^R)}^T{q}_j\right))}^2$

$-\frac{1}{{2\mathrm{\σ}}_F^2}\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{i,j}^F{(f_{i,j}^{\′}-g\left({(b_i+\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{I}_{i,k}^F{e}_k/\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{I}_{i,k}^F)}^T{q}_j\right))}^2$

$\left(26\right)$

$-\frac{1}{{2\mathrm{\σ}}_C^2}\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Σ}}}{\left|\right|c_u\left|\right|}^2-\frac{1}{{2\mathrm{\σ}}_H^2}\underset{l=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{\left|\right|h_l\left|\right|}^2--\frac{1}{{2\mathrm{\σ}}_B^2}\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{\left|\right|b_i\left|\right|}^2-\frac{1}{{2\mathrm{\σ}}_E^2}\underset{k=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{\left|\right|e_k\left|\right|}^2\frac{1}{{2\mathrm{\σ}}_Q^2}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{\left|\right|q_j\left|\right|}^2$

$-\frac{1}{2}(\ln {\mathrm{\σ}}_R^2\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Σ}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{uj}^R+{\ln \mathrm{\σ}}_F^2\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{\mathrm{ij}}^F+|U|d{\ln \mathrm{\σ}}_C^2+|I|d{\ln \mathrm{\σ}}_H^2+|I|d{\ln \mathrm{\σ}}_B^2$

$+\left|I\right|d\ln {\mathrm{\σ}}_E^2+\left|I\right|d\ln {\mathrm{\σ}}_Q^2)+C.$

其中C是与参数无关的常量。令

则最大化式(24)等同于最小化下式所示的累积误差函数：

$\underset{C,H,B,E,Q}{\mathrm{SE}}=\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Σ}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{u,j}^R{(r_{u,j}-{\hat{r}}_{u,j})}^2+{\mathrm{\λ}}_F\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{i,j}^F{(f_{i,j}-{\hat{f}}_{i,j})}^2+{\mathrm{\λ}}_C\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Σ}}}{\left|\right|c_u\left|\right|}^2$

$\left(27\right)$

$+{\mathrm{\λ}}_H\underset{l=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{\left|\right|h_l\left|\right|}^2+{\mathrm{\λ}}_B\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{\left|\right|b_i\left|\right|}^2+{\mathrm{\λ}}_E\underset{k=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{\left|\right|e_k\left|\right|}^2+{\mathrm{\λ}}_Q\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{\left|\right|q_j\left|\right|}^2$

其中

一般而言，可将全部隐特征向量的先验方差统一，即设λ_C＝λ_H＝λ_B＝λ_E＝λ_Q＝λ；而λ_F则是用于控制用户-项目评分数据信息和社会标签网络信息对训练结果影响度的均衡因子，如果λ_F＝0，则训练结果只收用户-项目评分数据影响；λ_F＞0时，则训练结果同时受到用户-项目评分数据和社会标签网络信息的影响。在已知的用户-项目评分数据和项目社会标签相关度数据上，对式(25)进行随机梯度下降求解，就可以求出隐特征矩阵C、H、B、E、Q相对于已知数据的局部最优值。

Claims (2)

1.一种融合了协同标签项目相关性的基于PMF的协同过滤推荐系统，其特征在于：具体如下：

(一)使用PMF对用户-项目评分矩阵进行隐向量分析

系统首先在给定的包含|I|个项目的社会标签数据上建立的社会标签网络模型，使用邻接矩阵F∈R^|I|×|I|表示，其中元素f_i，j表示项目i和j之间的社会标签相关度；

使用PMF对用户-项目评分矩阵进行隐向量分析时，令P、Q分别为|U|×f和|I|×f的矩阵，代表f维的用户隐特征矩阵和项目隐特征矩阵；令r_u，j∈R代表用户u对项目j的评分；代入具备高斯观测噪声的线性似然模型，则使用用户隐特征矩阵和项目隐特征矩阵对用户-项目评分矩阵R进行逼近时，可以得到用户-项目评分矩阵R关于用户隐特征和项目隐特征的条件分布，如下所示：

$p\left(R\right|P,Q,{\mathrm{\σ}}_R^2)=\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Π}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Π}}}{\left[N\left(r_{\mathrm{uj}}\right|p_u\·q_j,{\mathrm{\σ}}_R^2)\right]}^{I_{u,j}^R}.$

其中N(x|μ，σ²)是以μ为均值，σ²为方差的高斯概率密度函数，I^R∈R^|U|×|I|为指示矩阵，如果已知用户u对项目j的评分即r_u，j∈T，则

反之，则

对于用户u，其特征向量p_u可表示为：

$p_u=c_u+\underset{l=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{u,l}^R\·h_l/\underset{l=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{u,l}^R$

其中，c_u为用户u的特征向量相对于先验均值的偏移量，h₁表示任一用户评价了项目l后的偏好效应向量，而I^R则为用户-项目评分指示矩阵；

(二)融入社会标签因素的使用PMF对社会标签网络分析

系统使用PMF对邻接矩阵F进行因式分解，得到每个项目在社会标签数据中的特征信息；令Y、Q均为|I|×f的矩阵，各自代表f维的项目隐特征矩阵，其中Y是前置项目隐特征矩阵，Q是后置项目隐特征矩阵，并使用y_i·q_j对F中的元素f_i，j进行逼近，得到F中的已知值关于Y和Q的条件分布；

$p\left(F\right|Y,Q,{\mathrm{\σ}}_F^2)=\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Π}}}{\left[N\left(f_{i,j}\right|g\left(y_i^T{q}_j\right),{\mathrm{\σ}}_F^2)\right]}^{I_{i,j}^F}$

其中N(x|μ，σ²)是高斯分布密度函数，

为指示矩阵，如果已知项目i、j间的社会标签相关度不为零，则反之，则

避免数据稀疏性的影响，可以对前置项目隐特征矩阵Y进行分解，对于项目i，其前置特征向量yi可表示为：

$y_i=b_i+\underset{k=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{i,k}^F{e}_k/\underset{k=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{\mathrm{ik}}^F.$

其中，b_i为项目i的特征向量相对于先验均值的偏移量，e_k表示与项目k具备社会标签相关度的效应向量，而I^F为指示矩阵；

(三)基于两种数据源的隐向量融合

通过在基于不同数据源的隐向量模型上共享隐向量空间的方式，将社会标签数据信息和用户-项目评分数据信息进行融合。

2.根据权利要求1所述的一种融合了协同标签项目相关性的基于PMF的协同过滤推荐系统，其特征在于：所述的(一)中使用PMF对用户-项目评分矩阵进行隐向量分析时，令P、Q分别为|U|×f和|I|×f的矩阵，代表f维的用户隐特征矩阵和项目隐特征矩阵；令r_u，j∈R代表用户u对项目j的评分；代入具备高斯观测噪声的线性似然模型，则使用用户隐特征矩阵和项目隐特征矩阵对用户-项目评分矩阵R进行逼近时，可以得到用户-项目评分矩阵R关于用户隐特征和项目隐特征的条件分布；

得出已知的用户-项目评分和已知项目社会标签相关度关于隐特征矩阵C、H、B、E、Q的条件分布如下式所示：

$p(C,H,B,E,Q|R,F,{\mathrm{\σ}}_R^2,{\mathrm{\σ}}_F^2,{\mathrm{\σ}}_C^2,{\mathrm{\σ}}_H^2,{\mathrm{\σ}}_B^2,{\mathrm{\σ}}_E^2,{\mathrm{\σ}}_Q^2)$

$\∝p\left(R\right|C,H,Q,{\mathrm{\σ}}_R^2)p\left(F\right|B,E,Q,{\mathrm{\σ}}_F^2)p\left(C\right|{\mathrm{\σ}}_C^2)p\left(H\right|{\mathrm{\σ}}_H^2)p\left(B\right|{\mathrm{\σ}}_B^2)p\left(E\right|{\mathrm{\σ}}_E^2)P\left(Q\right|{\mathrm{\σ}}_Q^2)$

$=\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Π}}}{\left[N\left(f_{i,j}^{\′}\right|g\left({(b_i+\underset{k=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{i,k}^F\·e_k/\underset{k=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{i,k}^F)}^T{q}_j\right),{\mathrm{\σ}}_F^2)\right]}^{I_{i,j}^F}$

$\×\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Π}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Π}}}{\left[N\left(r_{\mathrm{uj}}^{\′}\right|g\left({(c_u+\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{I}_{\mathrm{ul}}^R\·h_l/\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{I}_{\mathrm{ul}}^R)}^T{q}_j\right),{\mathrm{\σ}}_R^2)\right]}^{I_{u,j}^R}$

$\×\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Π}}}\left[N\left(c_i\right|0,{\mathrm{\σ}}_C^{2}I)\right]\×\underset{l=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\left[N\left(h_i\right|0,{\mathrm{\σ}}_H^{2}I)\right]\×\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\left[N\left(b_i\right|0,{\mathrm{\σ}}_B^{2}I)\right]$

$\×\underset{k=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\left[N\left(e_k\right|0,{\mathrm{\σ}}_E^{2}I)\right]\×\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Π}}}\left[N\left(q_j\right|0,{\mathrm{\σ}}_Q^{2}I)\right]$

累积误差函数：

$\underset{C,H,B,E,Q}{\mathrm{SE}}=\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Σ}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{u,j}^R{(r_{u,j}-{\hat{r}}_{u,j})}^2+{\mathrm{\λ}}_F\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{I}_{i,j}^F{(f_{i,j}-{\hat{f}}_{i,j})}^2+{\mathrm{\λ}}_C\underset{u=1}{\overset{\left|U\right|}{\mathrm{\Σ}}}{\left|\right|c_u\left|\right|}^2$

$+{\mathrm{\λ}}_H\underset{l=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{\left|\right|h_l\left|\right|}^2+{\mathrm{\λ}}_B\underset{i=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{\left|\right|b_i\left|\right|}^2+{\mathrm{\λ}}_E\underset{k=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{\left|\right|e_k\left|\right|}^2+{\mathrm{\λ}}_Q\underset{j=1}{\overset{\left|I\right|}{\mathrm{\Σ}}}{\left|\right|q_j\left|\right|}^2$

其中 ${\mathrm{\λ}}_F={\mathrm{\σ}}_R^2/{\mathrm{\σ}}_F^2,$ ${\mathrm{\λ}}_C={\mathrm{\σ}}_R^2/{\mathrm{\σ}}_C^2,$ ${\mathrm{\λ}}_H={\mathrm{\σ}}_R^2/{\mathrm{\σ}}_H^2,$ ${\mathrm{\λ}}_B={\mathrm{\σ}}_R^2/{\mathrm{\σ}}_B^2,$ ${\mathrm{\λ}}_E={\mathrm{\σ}}_R^2/{\mathrm{\σ}}_Q^2.$

Images