CN104166732A - 一种基于全局评分信息的项目协同过滤推荐方法 - Google Patents

Abstract

本发明公开了一种基于全局评分信息的项目协同过滤推荐方法，其特征是按如下步骤进行：步骤一、用二维表表示项目的评分数据；步骤二、基于全局评分信息获得用户第j个未评分项与其他所有项目的相关度所构成的相关度集合；步骤三、重复步骤二获得用户所有未评分项的相似度集合；步骤四、将相似度集合中的相似度大小进行降序排列获得最近邻居项目集；步骤五、获得用户对第j个未评分项的预测评分和所有未评分项的预测评分构成的预测评分集合；步骤六、将预测评分集合中的预测评分进行降序排列，获得未评分项排序集合，并选取前N项作为推荐结果推荐给用户。本发明能在数据稀疏情况下充分利用用户所有的评分信息，从而提高预测准确度。

Description

一种基于全局评分信息的项目协同过滤推荐方法

技术领域

本发明属于个性化推荐领域，具体涉及针对基于项目的协同过滤推荐方法。

背景技术

在Web2.0时代，推荐系统作为解决“信息过载”问题的重要工具，在电子商务领域获得了广泛应用：如Amazon网站利用基于项目的协同过滤推荐方法向顾客推荐与兴趣项目类似的项目。推荐系统中常见的推荐方法分为协同过滤推荐方法、基于内容的推荐方法和混合推荐方法，协同过滤推荐方法因为其不依赖于项目的具体属性受到学术界和工业界的广泛关注，协同过滤推荐方法的基本思想是有着相似兴趣的用户给出的推荐往往是最好的。常见的协同过滤推荐方法有基于用户的协同过滤推荐方法和基于项目的协同过滤推荐方法。

基于项目的协同过滤推荐方法步骤包括：计算项目之间的相关性、基于项目之间的相关性找到项目的最近邻居集合、基于用户对项目的最近邻居集合的评分计算用户对项目的评分。在计算项目之间的相关性时，现有方法首先隔绝出对两个项目都有过评分行为的用户，基于这些用户对两个项目的评分信息计算项目的相关性。然而在实际的推荐系统应用中，用户对项目的评分行为非常少，在评分信息已经极度稀疏情况下再去人为隔绝掉一部分评分信息影响了项目相关性的精度。在数据稀疏情况下如何更有效地利用现有信息计算项目之间的相关性成为个性化推荐领域中研究的热点。

发明内容

本发明为克服现有技术存在的不足之处，提出一种基于全局评分信息的项目协同过滤推荐方法，能在数据稀疏情况下充分利用用户所有的评分信息，从而提高预测准确度。

为了达到上述目的，本发明所采用的技术方案为：

本发明一种基于全局评分信息的项目协同过滤推荐方法的特点是按如下步骤进行：

步骤一、用二维表T＝{U,I,f}表示项目的评分数据；

所述二维表T中，U＝{1,…,u,…|U|}表示用户集合，u表示任意用户，1≤u≤|U|；

I＝{1,...,i,...,|I|}表示项目集合，i表示任意第i个项目，1≤i≤|I|； $f=\left[\begin{array}{cccc}{r}_{\mathrm{1,1}},& r_{\mathrm{1,2}}& ,...,& r_{1,\left|I\right|}\\ r_{\mathrm{2,1}},& r_{\mathrm{2,2}}& ,...,& r_{2,\left|I\right|}\\ .& .& & .\\ .& .& r_{u,i}& .\\ .& .& & .\\ r_{\left|U\right|,1},& r_{\left|U\right|,2}& ,...,& r_{\left|U\right|,\left|I\right|}\end{array}\right]$ 表示用户集合U中的所有用户对项目集合I中所有项目的评分；r_u,i表示任意用户u对任意项目i的评分；令为用户u的未评分集合， 表示用户u的第j个未评分项，|J|表示用户u的未评分项的总个数，令所述用户未评分项集合中的任意项

步骤二、基于全局评分信息利用式(1)获得用户u的第j个未评分项与所述项目集合I中的任意项目i的相关度sim(i,j)；从而获得第j个未评分项与所述项目集合I中的所有项目的相关度所构成的第j个未评分项的相关度集合；

$\mathrm{sim}(i,j)=\frac{\underset{u\∈U_i\∩U_j}{\mathrm{\Σ}}(r_{u,i}-{\stackrel{\‾}{r}}_i^{\mathrm{inter}})(r_{u,j}-{\stackrel{\‾}{r}}_j^{\mathrm{inter}})}{\sqrt{\underset{u\∈U_i\∪U_j}{\mathrm{\Σ}}{(r_{u,i}-{\stackrel{\‾}{r}}_i^{\mathrm{union}})}^2}\sqrt{\underset{u\∈U_i\∪U_j}{\mathrm{\Σ}}{(r_{u,j}-{\stackrel{\‾}{r}}_j^{\mathrm{union}})}^2}}---\left(1\right)$

式(1)中，U_i表示评价过第i个项目i的所有用户的集合；U_j表示评价过第j个项目j的所有用户的集合，1≤j≤|I|且i≠j；表示评价过第i个项目i和第j个项目j的所有用户对第i个项目i的评分均值；表示评价过第i个项目i和第j个项目j的所有用户对第j个项目j的评分均值；表示评价过项目i或项目j的所有用户对第i个项目i的评分均值；表示评价过项目i或项目j的所有用户对第j个项目j的评分均值；

步骤三、重复步骤二获得用户u的未评分集合中所有未评分项的相似度集合；

步骤四、将所述用户u的第j个未评分项的相似度集合中的相似度大小进行降序排列，获得第j个未评分项的最近邻居项目集合N_j，从而获得所述用户u的未评分项集合中所有未评分项的最近邻居项目集合所构成的最近邻居项目集N^u＝{N₁,N₂,…,N_j,…N_|J|}；

步骤五、利用式(2)获得用户u对第j个未评分项的预测评分r_u,j，从而获得用户u对所述未评分集合中所有未评分项的预测评分所构成的预测评分集合

$r_{u,j}=\stackrel{\‾}{r_j}+\frac{\underset{\mathrm{\η}\∈N_j}{\mathrm{\Σ}}\mathrm{sim}(j,\mathrm{\η})(r_{u,\mathrm{\η}}-\stackrel{\‾}{r_{\mathrm{\η}}})}{\left|\underset{\mathrm{\η}\∈N_j}{\mathrm{\Σ}}\mathrm{sim}(j,\mathrm{\η})\right|},\mathrm{\η}\∈N_j---\left(2\right)$

式(2)中，表示评价过第j个项目的所有用户对第j个项目的评分均值；r_u,η表示用户u对项目η的评分；

步骤六、将所述预测评分集合中的预测评分进行降序排列，获得未评分项排序集合，并选取所述未评分项排序集合的前N项作为推荐结果推荐给用户u。

与已有技术相比，本发明的有益效果体现在：

本发明在计算项目的相关性时考虑了与两个项目有关的全部评分，保留了项目所有的评分信息，与传统项目相关性计算方法相比在数据集极度稀疏时可以得到更精确的项目相关性，找到更精确的项目最近邻居集合，提高推荐精度，具体的：

1、本发明通过一种非参数方法惩罚共同评分行为较少的两个项目的相关性，与传统项目相关性计算方法相比，弥补了现有方法中需要实验调整参数的不足，避免了认为设定参数的过程，在应用时更为简单。

2、本发明在对项目进行评分预测时考虑了项目本身的流行度，与传统评分预测方法相比，避免了项目本身的评分差异对于预测评分的影响，明显提升预测结果的准确性，提高了推荐精度。

3、本发明可用于服装和手机等实体产品、电影和音乐等数字产品、旅游线路和度假安排等服务产品的个性化推荐系统，可以在电脑和手机的网页和App等平台进行使用，应用领域和平台广泛。

附图说明

图1为本发明在MovieLens100K评分数据集上的MAE值随未评分项取值的变化图；

图2为本发明在Yahoo！Music R3评分数据集上的MAE值随未评分项取值的变化图；

图3为本发明在MovieLens100K数据集上的MAE值随最近邻项目个数的变化图；

图4为本发明在MovieLens100K数据集上的RMSE值随最近邻项目个数的变化图；

图5为本发明在Yahoo！Music R3数据集上的MAE值随最近邻项目个数的变化图；

图6为本发明在Yahoo！Music R3数据集上的RMSE值随最近邻项目个数的变化图；

图7为本发明在MovieLens100K数据集上的MAE值与预测评分标准化取值的变化图。

具体实施方式

本发明利用二维表表示用户对项目的评分数据，基于全局评分信息计算目标用户u的第j个未评分项与其他所有项目的相关度所构成的相关度集合，在此基础上获得第j个未评分项的最近邻居项目集，最后根据目标用户u对最近邻居项目集合中项目的评分获得用户u对第j个未评分项的预测评分和所有未评分项的预测评分构成的预测评分集合。最后，在标准数据集上对本发明所提方法与其它基础算法进行比较。本发明实施例的方法包括以下步骤：

步骤一、用二维表T＝{U,I,f}表示项目的评分数据；

如表1，U＝{1,…,u,…|U|}表示用户集合，u表示任意用户，1≤u≤|U|；I＝{1,...,i,...|I|}表示项目集合，i表示任意第i个项目，1≤i≤|I|； $f=\left[\begin{array}{cccc}{r}_{\mathrm{1,1}},& r_{\mathrm{1,2}}& ,...,& r_{1,\left|I\right|}\\ r_{\mathrm{2,1}},& r_{\mathrm{2,2}}& ,...,& r_{2,\left|I\right|}\\ .& .& & .\\ .& .& r_{u,i}& .\\ .& .& & .\\ r_{\left|U\right|,1},& r_{\left|U\right|,2}& ,...,& r_{\left|U\right|,\left|I\right|}\end{array}\right]$ 表示用户集合U中的所有用户对项目集合I中所有项目的评分；r_u,i表示任意用户u对任意项目i的评分；令为用户u的未评分集合， 表示用户u的第j个未评分项，|J|表示用户u的未评分项的总个数，令用户未评分项集合中的任意项

表1

步骤二、基于全局评分信息利用式(1)获得用户u的第j个未评分项与项目集合I中的任意项目i的相关度sim(i,j)；从而获得第j个未评分项与项目集合I中的所有项目的相关度所构成的第j个未评分项的相关度集合；

$\mathrm{sim}(i,j)=\frac{\underset{u\∈U_i\∩U_j}{\mathrm{\Σ}}(r_{u,i}-{\stackrel{\‾}{r}}_i^{\mathrm{inter}})(r_{u,j}-{\stackrel{\‾}{r}}_j^{\mathrm{inter}})}{\sqrt{\underset{u\∈U_i\∪U_j}{\mathrm{\Σ}}{(r_{u,i}-{\stackrel{\‾}{r}}_i^{\mathrm{union}})}^2}\sqrt{\underset{u\∈U_i\∪U_j}{\mathrm{\Σ}}{(r_{u,j}-{\stackrel{\‾}{r}}_j^{\mathrm{union}})}^2}}---\left(1\right)$

式(1)中，U_i表示评价过项目i的所有用户的集合；U_j表示评价过项目j的所有用户的集合，1≤j≤|I|且i≠j；表示评价过项目i和项目j的所有用户对项目i的评分均值；表示评价过项目i和项目j的所有用户对项目j的评分均值；表示评价过项目i或项目j的所有用户对项目i的评分均值；表示评价过项目i或项目j的所有用户对项目j的评分均值；并有：

${\stackrel{\‾}{r}}_i^{\mathrm{inter}}=\frac{\underset{u\∈U_i\∩U_j}{\mathrm{\Σ}}{r}_{u,i}}{|U_i\∩U_j|}---\left(3\right)$

${\stackrel{\‾}{r}}_i^{\mathrm{union}}=\frac{\underset{u\∈U_i\∪U_j}{\mathrm{\Σ}}{r}_{u,i}}{|U_i\∪U_j|}---\left(4\right)$

式(3)和(4)中，|U_i∩U_j|表示评价过项目i和项目j的用户个数；|U_i∪U_j|表示评价过项目i或项目j的用户个数；|U_i|表示评价过项目i的用户个数；

本发明使用MovieLens 100K、Yahoo！Music R3作为标准数据集验证基于全局评分信息的项目协同过滤推荐方法的有效性。MovieLens数据集是明尼苏达大学的GroupLens实验室研究人员收集的用户对电影的评分数据集，它包含100K，1M和10M三个版本的数据集。本发明选择的是大小为100K的数据集，它包含943位用户对1682部电影的100,000条评分记录，其中每个用户至少有20条评分记录，系统包含1～5这5个评分等级。Yahoo！Music数据集是Yahoo！Music研究人员收集的用户对音乐的评分数据集，它包含R1，R2，R3和R4四个版本。本发明选择的是R3数据集，它包含15,400为用户对1000首音乐的约300,000条评分记录，其中每个用户至少有10条评分记录，系统包含1～5这5个评分等级。本发明的实验采用五折交叉法(five-fold cross validation)将数据集分为训练集和测试集，训练集用于评分预测，测试集用户测量算法效果。

与传统项目相关性度量方法相比，本发明提出的项目关性度量方法在计算项目相关性时考虑了项目的所有评分信息，可以得到更精确的项目相关性，找到更精确的项目最近邻居集合，提高推荐精度。为了验证本发明提出的相关性度量方法的有效性，本发明设计了4组实验，在MovieLens数据集和Yahoo！Music数据集上对本发明所提方法与Sarwar的基础相关性度量方法，Herlocker的相关性加权度量方法，Breese的默认值填充相关性度量方法的平均绝对误差和均方根误差进行了比较。实验结果如图3、图4、图5和图6所示，图中每条折线表示不同的相关性度量方法，纵坐标表示实验预测误差(平均绝对误差或均方根误差)，横坐标表示最近邻居项目集合中项目个数。由图中曲线我们可以看出，对于所提两种数据集，在任意项目个数下，本发明提出的相关性度量方法均优于其它相关性度量方法。对于只评价过项目i和项目j之一的用户，本发明在MovieLens数据集和Yahoo！Music数据集上验证了用户对未评分项目的评分的最优取值，候选的取值为数据集上的所有评分等级0～5。实验结果如图1和图2所示，图中每条折线表示未评分项对应取值时的算法效果，纵坐标表示实验预测误差(平均绝对误差或均方根误差)，横坐标表示最近邻居项目集合中项目个数。由图中曲线我们可以看出，对于所提两种数据集，未评分项取值不同，算法效果变化不大，但总体而言当未评分项取值为3时，算法效果最优。

本发明采用广泛使用的平均绝对误差(MAE)和均方根误差(RMSE)作为本实施例的评价指标。MAE和RMSE的值越小，算法的效果越好。设实际用户评分集合为{p₁,...,p_l,...,p_n}，对应预测值集合表示为{q₁,...,q_l,...,q_n}，则平均绝对误差定义为式(5)：

$\mathrm{MAE}=\frac{{\mathrm{\Σ}}_{l=1}^n|q_l-p_l|}{n}---\left(5\right)$

均方根误差定义为式(6)：

$\mathrm{RMSE}=\sqrt{\frac{{\mathrm{\Σ}}_{l=1}^n{(q_l-p_l)}^2}{n}}---\left(6\right)$

步骤三、重复步骤二获得用户u的未评分集合中所有未评分项的相似度集合；

步骤四、将用户u的第j个未评分项的相似度集合中的相似度大小进行降序排列，并取前k个项目获得第j个未评分项的最近邻居项目集合N_j，从而获得用户u的未评分项集合中所有未评分项的最近邻居项目集合所构成的最近邻居项目集N^u＝{N₁,N₂,…,N_j,…N_|J|}；k的选择是影响本发明所提基于全局评分信息的项目协同过滤推荐方法效果的关键因素，为了验证最近邻居项目集合中项目个数对本发明方法预测精度的影响，本发明设计了4组实验，在MovieLens数据集和Yahoo！Music数据集上对本发明所提方法与Sarwar的基础相关性度量方法，Herlocker的相关性加权度量方法，Breese的默认值填充相关性度量方法的平均绝对误差和均方根误差进行了比较。实验结果如图3、图4、图5和图6所示，图中纵坐标表示实验预测误差(平均绝对误差或均方根误差)，横坐标表示最近邻居项目集合中项目个数。当最近邻居项目集合中项目个数k较小时，较为相关的项目未能为预测评分做出贡献，预测概率不够精确；当最近邻居项目集合中项目个数k较大时，较多不太相关的项目也被纳入预测评分，亦会降低算法预测的准确性。由图中曲线我们可以看出，对于本实验所采用MovieLens和Yahoo！Music数据集而言，最近邻居项目集合中的项目个数k选择在[10，20]之间时可以取得较好的预测效果；对于其他数据集，最佳最近邻居项目个数的确定依赖于具体的数据情况。

步骤五、利用式(2)获得用户u对第j个未评分项的预测评分r_u,j，从而获得用户u对未评分集合中所有未评分项的预测评分所构成的预测评分集合

$r_{u,j}=\stackrel{\‾}{r_j}+\frac{\underset{\mathrm{\η}\∈N_j}{\mathrm{\Σ}}\mathrm{sim}(j,\mathrm{\η})(r_{u,\mathrm{\η}}-\stackrel{\‾}{r_{\mathrm{\η}}})}{\left|\underset{\mathrm{\η}\∈N_j}{\mathrm{\Σ}}\mathrm{sim}(j,\mathrm{\η})\right|}---\left(2\right)$

式(2)中，表示评价过第j个项目的所有用户对第j个项目的评分均值；r_u,η表示用户u对项目η的评分；η∈N_j。与传统基于项目的协同过滤方法相比，本发明在对未评分项进行评分预测时利用项目本身的评分均值进行标准化，充分考虑了项目本身的流行性，提升预测效果。为验证所提项目评分均值标准化方法的有效性，本发明将所提方法与未采用标准化步骤的方法的效果进行比较。实验结果如图7所示，图中折线表示不同方法的效果，纵坐标表示平均绝对误差，横坐标表示最近邻居项目集合中项目个数。由图中曲线我们可以看出，利用项目评分均值进行标准化的方法的效果明显优于未进行评分标准化的方法。

步骤六、将预测评分集合中的预测评分进行降序排列，获得未评分项排序集合，并选取未评分项排序集合的前N项作为推荐结果推荐给用户u。

Claims (1)

1.一种基于全局评分信息的项目协同过滤推荐方法，其特征是按如下步骤进行：

步骤一、用二维表T＝{U,I,f}表示项目的评分数据；

所述二维表T中，U＝{1,…,u,…|U|}表示用户集合，u表示任意用户，1≤u≤|U|；

I＝{1,...,i,...,|I|}表示项目集合，i表示任意第i个项目，1≤i≤|I|； $f=\left[\begin{array}{cccc}{r}_{\mathrm{1,1}},& r_{\mathrm{1,2}}& ,...,& r_{1,\left|I\right|}\\ r_{\mathrm{2,1}},& r_{\mathrm{2,2}}& ,...,& r_{2,\left|I\right|}\\ .& .& & .\\ .& .& r_{u,i}& .\\ .& .& & .\\ r_{\left|U\right|,1},& r_{\left|U\right|,2}& ,...,& r_{\left|U\right|,\left|I\right|}\end{array}\right]$ 表示用户集合U中的所有用户对项目集合I中所有项目的评分；r_u,i表示任意用户u对任意项目i的评分；令为用户u的未评分集合， 表示用户u的第j个未评分项，|J|表示用户u的未评分项的总个数，令所述用户未评分项集合中的任意项

步骤二、基于全局评分信息利用式(1)获得用户u的第j个未评分项与所述项目集合I中的任意项目i的相关度sim(i,j)；从而获得第j个未评分项与所述项目集合I中的所有项目的相关度所构成的第j个未评分项的相关度集合；

$\mathrm{sim}(i,j)=\frac{\underset{u\∈U_i\∩U_j}{\mathrm{\Σ}}(r_{u,i}-{\stackrel{\‾}{r}}_i^{\mathrm{inter}})(r_{u,j}-{\stackrel{\‾}{r}}_j^{\mathrm{inter}})}{\sqrt{\underset{u\∈U_i\∪U_j}{\mathrm{\Σ}}{(r_{u,i}-{\stackrel{\‾}{r}}_i^{\mathrm{union}})}^2}\sqrt{\underset{u\∈U_i\∪U_j}{\mathrm{\Σ}}{(r_{u,j}-{\stackrel{\‾}{r}}_j^{\mathrm{union}})}^2}}---\left(1\right)$

式(1)中，U_i表示评价过第i个项目i的所有用户的集合；U_j表示评价过第j个项目j的所有用户的集合，1≤j≤|I|且i≠j；表示评价过第i个项目i和第j个项目j的所有用户对第i个项目i的评分均值；表示评价过第i个项目i和第j个项目j的所有用户对第j个项目j的评分均值；表示评价过项目i或项目j的所有用户对第i个项目i的评分均值；表示评价过项目i或项目j的所有用户对第j个项目j的评分均值；

步骤三、重复步骤二获得用户u的未评分集合中所有未评分项的相似度集合；

步骤四、将所述用户u的第j个未评分项的相似度集合中的相似度大小进行降序排列，获得第j个未评分项的最近邻居项目集合N_j，从而获得所述用户u的未评分项集合中所有未评分项的最近邻居项目集合所构成的最近邻居项目集N^u＝{N₁,N₂,…,N_j,…N_|J|}；

步骤五、利用式(2)获得用户u对第j个未评分项的预测评分r_u,j，从而获得用户u对所述未评分集合中所有未评分项的预测评分所构成的预测评分集合

$r_{u,j}=\stackrel{\‾}{r_j}+\frac{\underset{\mathrm{\η}\∈N_j}{\mathrm{\Σ}}\mathrm{sim}(j,\mathrm{\η})(r_{u,\mathrm{\η}}-\stackrel{\‾}{r_{\mathrm{\η}}})}{\left|\underset{\mathrm{\η}\∈N_j}{\mathrm{\Σ}}\mathrm{sim}(j,\mathrm{\η})\right|},\mathrm{\η}\∈N_j---\left(2\right)$

式(2)中，表示评价过第j个项目的所有用户对第j个项目的评分均值；r_u,η表示用户u对项目η的评分；

步骤六、将所述预测评分集合中的预测评分进行降序排列，获得未评分项排序集合，并选取所述未评分项排序集合的前N项作为推荐结果推荐给用户u。