CN103309967A - 基于相似性传递的协同过滤方法及系统 - Google Patents

Abstract

本发明涉及推荐技术领域，特别涉及基于相似性传递的协同过滤方法及系统。本发明所采用的方法：遍历所有用户的历史行为数据，获得描述所有用户对物品过往喜好的关系向量；应用关系向量设定阈值，计算各个用户间的相似性；利用相似性传递计算原则计算前述矩阵中相似性值为零的目标用户与其他用户间相似性；根据与目标用户相似程度最高的其他用户对目标用户未选择物品的喜好程度得到当前用户对未选择物品的喜好程度的估计值；对每个用户的预测结果进行筛选，产生对每个用户的推荐物品。本发明的系统包括以下模块：数据关系向量模块；阈值判定模块；相似性传递计算模块；喜好程度估值模块；预测筛选模块。

Description

基于相似性传递的协同过滤方法及系统

技术领域

本发明涉及网络推荐技术领域，特别涉及基于相似性传递的协同过滤方法。

背景技术

信息技术和互联网的发展将人们从信息匮乏的时代带入了信息过载的时代。在这个时代，信息的消费者难以从大量信息中找到自己真正感兴趣的内容，而信息的生产者同样很难让自己生产的信息脱颖而出匹配到合适的用户。作为21世纪非常有潜力的信息过滤技术之一，推荐系统能够较好的解决这一矛盾。它通过分析用户的历史行为，建立用户的兴趣模型，最终将用户和信息联系起来，一方面帮助用户发现对自身有价值的信息，另一方面让信息展现在对它感兴趣的用户面前，从而实现信息消费者和信息生产者的双赢。

目前，推荐系统已被广泛应用到众多领域并取得成功，如Amazon的图书推荐系统、Pandora的音乐推荐系统、Facebook的好友推荐系统、Netflix的电影推荐系统等等。协同过滤系统是最早被提出并且得到广泛应用的推荐系统，其易部署和可解释等优点受到了学术界和工业界的青睐。协同过滤，顾名思义，就是用户间可以相互协作，通过与系统的交互，从大量的信息中过滤出自己真正感兴趣的内容。根据协同过滤的定义，协同过滤算法的核心思想是用户会对与自己兴趣爱好相似的用户喜欢过的物品感兴趣，因此协同过滤算法需要计算用户间的兴趣相似度，为每个用户生成兴趣爱好相似的邻居，从而把邻居用户喜欢的物品推荐给目标用户。在用户和物品数目的不断增加，系统规模越来越庞大的情况下，用户历史行为数据的极端稀疏导致主流的相似性度量方法如余弦夹角、皮尔逊相关系数等无法精确度量用户间兴趣相似度，从而得不到期望的推荐结果。

发明内容

（一）要解决的技术问题

本发明的目的在于提供一种基于相似性传递的协同过滤方法，用于解决传统相似性准确度和辨识度不高，推荐成功率不理想的问题。

（二）技术方案

本发明技术方案包含以下步骤：

应用数据关系向量模块，遍历所有用户的历史行为数据，获得描述所有用户对物品过往喜好的关系向量；

应用阈值判定模块，使用得到的关系向量，并设定阈值，根据阈值临界原则计算各个用户间的相似性并得到大小为用户数×用户数的初始相似性矩阵；

应用相似性传递计算模块，根据初始相似性矩阵中不为零的相似性值，利用相似性传递计算方法计算前述矩阵中相似性值为零的目标用户与其他用户间相似性，最终得到更密集的相似性矩阵；

应用喜好程度估值模块，根据与目标用户相似程度最高的其他用户对目标用户未选择物品的喜好程度得到当前用户对未选择物品的喜好程度的估计值；

应用预测筛选模块，对每个用户的预测结果进行筛选，产生对每个用户的推荐物品。

优选的，所有用户对物品过往喜好的关系向量为用户对物品的购买、浏览、点击、下载、预定、收藏数据的关系向量。

优选的，根据阈值临界原则计算各个用户间的相似性的方法为：用户与用户之间共同喜欢的物品数目小于该阈值，不直接计算他们之间的相似性；用户与用户之间共同喜欢的物品数目大于或等于该阈值，直接利用用户喜好向量间夹角余弦计算他们之间的相似性。

优选的，阈值为6。

优选的，相似性传递的计算方法为：两用户之间共同喜欢的物品数目小于设定阈值，但这两用户同时与其他一些用户之间共同喜欢的物品数目大于或等于设定阈值，那么这两用户是可以直接和其他一些用户-桥梁用户计算相似性。

优选的，估计值的估值方法为，对目标用户未选择的物品，在已建立的相似性矩阵中选取与目标用户相似度大的用户群，在该用户群中挑选出选择过的物品组成该用户群的集合，将该用户群与目标用户间的相似程度作为目标用户对该物品的喜好程度的估计值的方法。

优选的，目标用户相似度大的用户群中的用户个数对预测精度和响应速度有影响。

优选的，对预测精度和响应速度影响为：选取的用户个数多，计算慢但准确度高；选取的用户个数少，计算快但准确性低。

（三）有益效果

本发明选择合适的阈值，可以有效地避免不准确的用户间相似性度量，同时又能得到足够密集的初始相似性矩阵保证相似性传递计算过程的有效性。当用户间共同选择过的物品数目小于阈值时，可以利用阈值较大的用户间准确的相似性值通过相似性传递计算得到这部分用户间相似性，从而有效地避免了不准确的相似性度量，同时生成更密集的相似性矩阵，提高了相似性的辨识度。以“MovieLens100K”作为数据集，实验结果表明该方案的推荐精度比传统协同过滤方法提高10%左右。此外，本发明方法所能推荐出的低流行度物品低于传统方法，同时能够推荐出更多的物品即推荐覆盖率高。

附图说明

图1是本发明的一种实施方式的基于相似性传递的协同过滤方法的流程图；

图2是本发明的一种基于相似性传递的协同过滤方法的相似性计算的流程图；

图3是本发明所的一种在推荐物品数为10时，和传统协同过滤方法在推荐准确率，推荐召回率以及推荐物品覆盖率指标的对比图；

图4是本发明所的一种在推荐物品数为20时，和传统协同过滤方法在推荐准确率，推荐召回率以及推荐物品覆盖率指标的对比图；

图5是本发明所的一种和传统协同过滤方法的物品流行度指标随所述推荐物品数量变化的比较结果的图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式做进一步描述。以下实施例仅用于说明本发明，但不用来限制本发明的范围。

图1是本发明的一种实施方式的基于相似性传递的协同过滤方法的流程图；图2是本发明的一种基于相似性传递的协同过滤方法的相似性计算的流程图；图3是本发明所的一种在推荐物品数为10时，和传统协同过滤方法在推荐准确率，推荐召回率以及推荐物品覆盖率指标的对比图；图4是本发明所的一种在推荐物品数为20时，和传统协同过滤方法在推荐准确率，推荐召回率以及推荐物品覆盖率指标的对比图；图5是本发明所的一种和传统协同过滤方法的物品流行度指标随所述推荐物品数量变化的比较结果的图。

具体实现方法，如图1所示，主要包括两个方面，第一个方面是采用余弦相似性方法计算共同选择物品数目大于阈值的用户间相似度，然后利用相似性传递计算无法直接进行相似性度量的用户间相似性值，从而得到更密集的相似性矩阵，即相似性矩阵建立阶段，如图2所示。第二个方面就是从相似性矩阵中选择与目标用户间相似度最大的k个用户，加权该k个用户对特定物品的喜好程度得到目标用户对该物品的喜好程度的估计值，最后根据用户对未选择物品的喜好程度估计值对物品进行排序并产生推荐，即预测和推荐生成阶段。

首先是相似性矩阵建立阶段，步骤如下：

1、对任一用户u，遍历所有物品，如果用户u喜欢某物品i则

否则

得到用户u对物品的过往喜好关系向量

，其中向量的维度即为物品数。

2、计算用户间的相似性，如果用户间共同喜欢的物品数大于设定阈值l即

则将两用户喜好向量间的夹角余弦值作为彼此之间的相似程度，具体计算如公式（1）所示，否则sim^l(u,v)=0。显然，两向量间夹角越小，余弦值越大，表明用户越相似。

${\mathrm{sim}}^l(u,v)=\cos (\stackrel{\→}{u},\stackrel{\→}{v})=\frac{\stackrel{\→}{u}\·\stackrel{\→}{v}}{\left|\right|\stackrel{\→}{u}\left|\right|*\left|\right|\stackrel{\→}{v}\left|\right|}---\left(1\right)$

其中，sim^l(u,v)表示用户u和用户v之间的相似程度，通过计算各用户之间的相似性，我们得到一个大小为用户数×用户数的初始相似性矩阵。

3、在第2步得到的部分用户间相似性值的基础上，利用相似性传递计算初始相似性矩阵中值为零的用户间相似性，最终得到更密集的相似性矩阵。如果sim^l(u,v)≠0，则sim(u,v)=sim^l(u,v)，否则最终用户u和用户v之间的相似性计算如公式（2）所示。

$\mathrm{sim}(u,v)=\frac{1}{\left|U(u,v)\right|}\underset{w\∈U(u,v)}{\mathrm{\Σ}}({\mathrm{sim}}^l(u,w)\×\frac{{\mathrm{sim}}^{l(w,v)}}{\underset{z\∈U\left(w\right)}{\mathrm{\Σ}}{\mathrm{sim}}^l(w,z)})---\left(2\right)$

其中U(u,v)表示同时与用户u和用户v之间的初始相似程度不为零的用户集合，|U(u,v)|表示同时与用户u和用户v之间的初始相似程度不为零的用户数目，若数目为零，则sim(u,v)=0，U(w)表示与用户w之间的初始相似程度不为零的用户集合。

然后是用户对未选择物品的喜好程度估计和物品推荐生成阶段，骤说明如下：

1、对于用户u的未选择物品i，我们先从前一阶段建立的相似性矩阵中找出与用户u相似程度最大的前k个用户。其中，不同的k值会影响预测精度和响应速度，k值越小，计算速度快但准确度低，相反，k值越大，计算速度慢但准确度高。

2、从前述k个用户中挑选出选择过物品i的用户组成集合U^k(i)，将这些用户与目标用户u间的相似程度之和作为用户u对物品i的喜好程度估计值，如公式（3）所示。

$P_{u,i}=\underset{{v\∈U}^k\left(i\right)}{\mathrm{\Σ}}\mathrm{sim}(u,v)---\left(3\right)$

其中P_u,i表示用户u对未选择物品i的喜好程度估计值。

3、重复步骤1和2，最终得到用户u对所有未选择物品的喜好程度估计值。

4、利用第3步得到的喜好程度估计值对用户u的所有未选择物品进行排序，挑选出前N个喜好程度估计值最高的物品推荐给该用户。

实施例1

是本发明一种实例中以“MovieLens100K”作为数据集，推荐物品数N为10时，如图3所示，和传统协同过滤方法在推荐准确率，推荐召回率以及推荐物品覆盖率指标的对比。在所选数据集中，随机选择80%作为训练集，剩下20%作为测试集。数据集中已经包含了数据的评分，选取训练集和测试集中评分值大于“2”表示喜欢，用“1”代替，否则用“0”代替。分别采用本发明提出的方法和传统协同过滤方法的推荐准确率,推荐召回率以及推荐物品覆盖率指标比较结果，其中所述k个其他用户取942，即选取系统中其他所有用户，所述设定阈值l取6。本方案提供的方法对比传统方法：在推荐准确率上比传统方法提高了约6.7%，采用本发明方法的推荐准确率达到了24%；在召回率上比传统方法提高了约7.7%，采用本发明方法的召回率达到了14%；在物品覆盖率上比传统方法提高了约100%，采用本发明方法的物品覆盖率达到了10%。

实施例2

是本发明一种实例中以“MovieLens100K”作为数据集，推荐物品数N为20时，如图4所示，和传统协同过滤方法在推荐准确率，推荐召回率以及推荐物品覆盖率指标的对比。在所选数据集中，随机选择80%作为训练集，剩下20%作为测试集。数据集中已经包含了数据的评分，选取训练集和测试集中评分值大于“2”表示喜欢，用“1”代替，否则用“0”代替。分别采用本发明提出的方法和传统协同过滤方法的推荐准确率,推荐召回率以及推荐物品覆盖率指标比较结果，其中所述k个其他用户取942，即选取系统中其他所有用户，所述设定阈值l取6。本方案提供的方法对比传统方法：在推荐准确率上比传统方法提高了约5.6%，采用本发明方法的推荐准确率达到了19%；在召回率上比传统方法提高了约5%，采用本发明方法的召回率达到了21%；在物品覆盖率上比传统方法提高了约87%，采用本发明方法的物品覆盖率达到了14%。

实施例3

是本发明一种实例中以“MovieLens100K”作为数据集，推荐物品数从10至100时，如图5所示，和传统方法在把低流行度物品推荐给用户能力的对比。在实际推荐中，低流行度的物品难以被推荐给客户，可以推荐低流行度的物品是发展的方向。在所选数据集中，随机选择80%作为训练集，剩下20%作为测试集，训练集和测试集中评分值大于“2”表示喜欢，用“1”代替，否则用“0”代替。分别采用本发明提出的方法和传统协同过滤方法的物品流行度指标随所述N个推荐物品数量变化的比较结果，其中所述k个其他用户取942，即选取系统中其他所有用户，所述设定阈值l取6。采用本方法在推荐物品数从10至100时，可以把流行度为5.0至4.65的物品推荐给客户，比传统方法可推荐的物品的流行度降到了约4%。采用传统方法在推荐推荐物品数从10至100时，只可以推荐流行度为5.1至4.8的物品。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的保护范畴。

Claims (9)

1.一种基于相似性传递的协同过滤方法，其特征在于，该方法包含以下步骤：

1）遍历所有用户的历史行为数据，获得描述所有用户对物品过往喜好的关系向量；

2）应用关系向量，并设定阈值，根据阈值临界原则计算各个用户间的相似性并得到大小为用户数×用户数的初始相似性矩阵；

3）根据初始相似性矩阵中不为零的相似性值，利用相似性传递计算方法计算前述矩阵中相似性值为零的目标用户与其他用户间相似性，最终得到更密集的相似性矩阵；

4）根据与目标用户相似程度最高的其他用户对目标用户未选择物品的喜好程度得到当前用户对未选择物品的喜好程度的估计值；

5）对每个用户的预测结果进行筛选，产生对每个用户的推荐物品。

2.根据权利要求1所述基于相似性传递的协同过滤方法，其特征在于，所述步骤1）中所有用户对物品过往喜好的关系向量为用户对物品的购买、浏览、点击、下载、预定、收藏数据的关系向量。

3.根据权利要求1所述基于相似性传递的协同过滤方法，其特征在于，所述步骤2）中根据阈值临界原则计算各个用户间的相似性的方法为：用户与用户之间共同喜欢的物品数目小于该阈值，不直接计算他们之间的相似性；用户与用户之间共同喜欢的物品数目大于或等于该阈值，直接利用用户喜好向量间夹角余弦计算他们之间的相似性。

4.根据权利要求3所述基于相似性传递的协同过滤方法，其特征在于所述阈值为6。

5.根据权利要求1所述基于相似性传递的协同过滤方法，其特征在于，所述步骤3）中相似性传递的计算方法为：两用户之间共同喜欢的物品数目小于设定阈值，但这两用户同时与其他一些用户之间共同喜欢的物品数目大于或等于设定阈值，那么这两用户是可以直接和其他一些用户-桥梁用户计算相似性。

6.根据权利要求1所述基于相似性传递的协同过滤方法，其特征在于，所述步骤4）中得到估计值的方法为对目标用户未选择的物品，在已建立的相似性矩阵中选取与目标用户相似度大的用户群，在该用户群中挑选出选择过的物品组成该用户群的集合，将该用户群与目标用户间的相似程度作为目标用户对该物品的喜好程度的估计值的方法。

7.根据权利要求6所述基于相似性传递的协同过滤方法，其特征在于，所述的目标用户相似度大的用户群中的用户个数对预测精度和响应速度有影响。

8.根据权利要求7所述基于相似性传递的协同过滤方法，其特征在于，所述的影响为：选取的用户个数多，计算慢但准确度高；选取的用户个数少，计算快但准确性低。

9.一种基于相似性传递的协同过滤系统，其特征在于，该系统包含以下模块：

数据关系向量模块，用于遍历所有用户的历史行为数据，获得描述所有用户对物品过往喜好的关系向量；

阈值判定模块，用于应用关系向量，并设定阈值，根据阈值临界原则计算各个用户间的相似性并得到大小为用户数×用户数的初始相似性矩阵；

相似性传递计算模块，用于根据初始相似性矩阵中不为零的相似性值，利用相似性传递计算方法计算前述矩阵中相似性值为零的目标用户与其他用户间相似性，最终得到更密集的相似性矩阵；

喜好程度估值模块，用于根据与目标用户相似程度最高的其他用户对目标用户未选择物品的喜好程度得到当前用户对未选择物品的喜好程度的估计值；

预测筛选模块，用于对每个用户的预测结果进行筛选，产生对每个用户的推荐物品。

Images