CN105095476A - 基于Jaccard均衡距离的协同过滤推荐方法 - Google Patents

Abstract

本发明公了一种基于Jaccard均衡距离的协同过滤推荐方法，主要解决现有方法中推荐准确度不高，推荐准确度易受邻居集大小影响的问题。其技术方案是：(1)从推荐系统中获取用户-项目评分，并计算用户的相似度矩阵X；(2)根据用户-项目评分，确定最近邻居查询个数nu；(3)根据相似度矩阵X，确定目标用户的邻居集；(4)由邻居集计算出目标用户对所有未评分项的预测评分值；(5)将计算出的预测评分降序排列，推荐前N个项目给用户，5≤N≤20。本发明能够提供准确度更高的推荐结果，且当邻居集大小发生变化时，可以提供稳定的推荐结果，可用于个性化推荐系统。

Description

基于Jaccard均衡距离的协同过滤推荐方法

技术领域

本发明属于数据处理技术领域，具体是一种协同过滤推荐方法，可用于个性化推荐系统。

背景技术

随着互联网和信息技术的快速发展和普及，人们对信息的依赖程度与日俱增。信息技术的大量使用提高了信息的产生、处理和传播效率。互联网作为信息时代的基础平台，承载了大量的信息资源。面对海量的信息资源，用户无法有效筛选出对自己有用的信息，这就造成了信息过载问题。为了解决信息过载问题，推荐系统应运而生。与传统的信息过滤技术搜索引擎相比，推荐系统不需要用户提供搜索关键词，而是通过分析用户历史行为记录发现用户的潜在爱好，从而产生推荐。因此，推荐系统满足了用户个性化需要。

协同过滤推荐算法是推荐系统的主流算法，这种算法的基本思想是：根据所有用户对物品或者信息的偏好，发现与当前用户口味和偏好相似的“邻居”用户群，再根据邻居的偏好对该用户进行预测。协同过滤算法主要分为：基于内存的算法和基于模型的算法。基于内存的协同过滤算法可分为基于用户的协同过滤算法和基于项目的协同过滤算法。

基于用户的协同过滤算法的基本思想是预先根据所有用户的历史偏好数据计算用户之间的相似性，然后把与目标用户相似的用户喜欢的物品推荐给目标用户；基于项目的协同过滤的基本思想是：预先根据所有用户的历史偏好数据计算物品之间的相似性，然后把与目标用户喜欢的物品相类似的物品推荐给目标用户。这两种算法的关键在相似度的计算，不同的相似度计算方法会对目标用户产生不同的邻居集，进而影响推荐结果。

BreeseJ，HeckermanD等人在文献Empiricalanalysisofpredictivealgorithmsforcollaborativefiltering中研究了用余弦相似度计算用户相似度的方法，该方法仅考虑了两用户公共评分项目构成的向量之间的夹角大小，两向量之间的夹角越小，表明两用户相似度越高，但是该方法忽视以下三个问题：不同用户有不同的评分偏好对相似度的影响，如有的用户喜欢给出比较高的评分，而有的用户则偏好给出比较低的评分；公共评分项相对数量对相似度的影响，即两用户公共评分项目数量占两用户总评分项目多少对相似度的影响；用户评分向量长度对相似度的影响。该方法存在推荐准确度偏低、邻居集大小对推荐精度影响较大的问题。

LCandillier，FMeyer等人在文献Designingspecificweightedsimilaritymeasurestoimprovecollaborativefilteringsystems中研究了将Jaccard相关系数与皮尔逊相关系数相结合来计算用户间相似度的方法，该方法改进了原先算法中忽略公共项目占两用户评价项目比重的问题和不同用户有不同评分偏好的问题，但仍然没有考虑到两用户公共评分项目构成的向量长度对相似度影响的问题，因此该方法虽然提高了推荐准确度，但仍然没有解决邻居集大小对推荐准确度影响大的问题，即邻居集大小选取的不合适会降低推荐准确度。

发明内容

本发明的目的在于提出一种基于Jaccard均衡距离的协同过滤推荐方法，以解决现有协同过滤推荐算法受邻居集大小影响较大，导致推荐准确度不高的问题。

为实现上述目的，本发明的技术方案包括如下步骤：

(1)根据推荐系统提供的用户-项目评分记录构造大小为m×n的用户-项目评分矩阵R，其中m为用户数量，n为项目数量，将用户项目评分矩阵R中的90％作为训练集合T，10％做为测试集C；

(2)依据训练集T中的评分数据，用Jaccard均衡距离方法计算用户的相似度得到一个m×m的相似度矩阵该相似度矩阵第i行中的数据元素表示用户i和其他所有用户的相似度，元素X(i,j)表示用户i与用户j的相似度；

(3)确定最近邻居查询个数nu；

(4)确定目标用户U，待评分项目I_c；

(5)用(2)中得出的相似度矩阵X和最近邻居查询个数nu，确定目标用户U的邻居集S(U)；

(6)计算用户U对项目I_c的预测评分值r_i,c；

(7)循环步骤(4)-(6)对测试集中的所有用户的评分都进行预测；

(8)对测试集中的每个用户，将其预测评分值从大到小排列，选择前N个项目作为推荐项目，其中5≤N≤20。本发明与现有技术相比存在以下优点：

第一，本发明采用Jaccard均衡距离相似度测量方法，考虑到用户评分向量的长度对用户相似度的影响，使用户之间的相似度计算更为准确，从而提高了推荐准确度。

第二，本发明相较于采用余弦相似度、皮尔逊相关系数等相似度度量准侧的协同过滤算法，对邻居查询数目即邻居集的大小的要求更低，较小的邻居查询数目同样可以得到较高的推荐准确度，而且当改变邻居查询数目时，推荐准确度变化不大。

附图说明

图1是本发明的实现流程图；

图2是本发明用与现有两种相似度测量协同过滤算法的推荐准确度比较示意图。

具体实施方式

下面结合图1对本发明的实施例和效果作进一步详细描述。

步骤一，读入用户-评分记录，整理得到用户-项目评分矩阵R、训练集T和测试集C。

用户-评分记录格式记录了不同用户对不同项目的评分情况，如表1所示：

表1本发明所用数据集的部分用户-项目评分记录

用户ID	项目ID	评分值
			1	1193	5
1	661	3
			1	1197	3
2	2692	4
			2	648	4
2	1193	5
			3	653	3
3	1197	5
			3	2355	5
4	1210	3
			4	2692	5

其整理过程如下：

(1a)统计用户-评分记录中的用户数目m和项目数目n，构造一个m×n的用户-项目评分矩阵R，如表2所示，表2中每行表示一个用户对所有项目的评分，其中“0”表示该用户未对该项目评过分：

表2本发明中构造的部分用户-项目评分矩阵R

(1b)随机选取用户项目评分矩阵R中的90％作为训练集合T，余下的10％作为测试集C，删除训练集T中评分项目小于20的用户和没有被任何用户评分的项目。

步骤二，根据训练集T，用Jaccard均衡距离方法计算用户之间的相似度矩阵X。

用户的相似度矩阵X为一个m×m的矩阵，该相似度矩阵第i行中的数据元素表示用户i和其他所有用户的相似度，元素X(i,j)表示用户i与用户j的相似度，计算如下：

(2a)确定两个不相同的用户i和用户j；

(2b)确定用户i的评分项目集合I_i，用户j的评分项目集合I_j，求两用户的公共评分项目集合，即：I_i,j＝I_i∩I_j；

(2c)根据公式 $X(i,j)=\left\{\begin{array}{c}\frac{\left|I_{i,j}\right|}{|I_i\∪I_j|}\·\frac{\sqrt{m{(V_{max}-V_{min})}^2}}{\sqrt{{\mathrm{\Σ}}_{s\∈I_{i,j}}{(r_{i,s}-r_{j,s})}^2}},if\∃s\∈I_{i,j},r_{i,s}\≠r_{j,s}\\ \frac{\left|I_{i,j}\right|}{|I_i\∪I_j|}\·\frac{\sqrt{m{(V_{\max }-V_{min})}^2}}{0.9+\sqrt{{\mathrm{\Σ}}_{s\∈I_{i,j}}{(r_{i,s}-r_{j,s})}^2}},if\∃s\∈I_{i,j},r_{i,s}=r_{j,s}\end{array}\right.,$ 计算用户i和用户j之间的相似度，其中：

X(i,j)为第i个用户与第j个用户之间的相似度，r_i,s,r_j,s分别为第i个用户和第j个用户对项目s的评分；

V_max与V_min分别为第i个用户的项目评分与第j个用户的项目评分所构成的多维向量空间中的最大空间向量和最小空间向量，最大空间向量表示为：

V_max＝{v_max,1,v_max,2,...,v_max,p,...,v_max,l},1≤p≤l,l＝|I_i,j|

其中，v_max,p＝max{r_u,v|1≤u≤m,1≤v≤n}，

最小空间向量表示为：

V_min＝{v_min,1,v_min,2,...,v_min,p,...,v_min,l},1≤p≤l,？l＝|I_i,j|

其中v_min,p＝min{r_u,v|1≤u≤m,1≤v≤n}，式中的表示该的多维空间的最大空间距离；

(2d)用户i不变，改变用户j，重复步骤(2b)-(2c)，计算出用户i和其他所有用户之间的相似度；

(2e)改变用户i，重复步骤(2b)-(2d)，计算出所有用户之间的相似度。

步骤三，根据用户-评分记录中的用户数目，确定最近邻居查询个数nu，该nu不超过用户-评分记录中用户数目M的5％。

步骤四，根据测试集中包含的用户和项目，随机选取测试集中的用户U作为目标用户，选取项目I_c作为待评分项目。

步骤五，根据步骤二中得出的相似度，确定目标用户U的邻居集S(U)。

在相似度矩阵X中找出所有与目标用户U有关的相似度，将这些相似度按降序排列，并找出这些相似度对应的用户中对待评分项目I_c有过评分的用户组成用户集q(U)，并将用户集q(U)中的用户数目|q(U)|与最近邻居查询个数nu进行比较：

如果|q(U)|≥nu，取q(U)前nu个用户组成邻居集合S(U)；

如果0＜|q(U)|＜nu，则邻居集合S(U)为q(U)；

如果|q(U)|＝0，邻居集合S(U)为空集。

步骤六，计算目标用户U对待评分项目I_c的预测评分值r_i,c。

现有的计算预测评分值r_i,c的方法有以下三种：

$r_{i,c}=\frac{1}{\left|S\left(U\right)\right|}\underset{j\&Element;S\left(U\right)}{\&Sigma;}{r}_{j,c}---<1>$

$r_{i,c}=\frac{{\mathrm{\&Sigma;}}_{j\&Element;S\left(U\right)}X(i,j)\&times;r_{j,c}}{{\mathrm{\&Sigma;}}_{j\&Element;S\left(U\right)}\left|X(i,j)\right|}---<2>$

$r_{i,c}=\stackrel{\&OverBar;}{r_i}+\frac{{\&Sigma;}_{j\&Element;S\left(U\right)}X\left(i,j\right)\&times;\left(r_{j,c}-\stackrel{\&OverBar;}{r_i}\right)}{{\&Sigma;}_{j\&Element;S\left(U\right)}\left|X\left(i,j\right)\right|}---<3>$

其中：r_i,c为目标用户U对待评分项目I_c的预测评分，为目标用户U对所有评分项的平均评分，r_j,c为邻居集S(U)中目标用户U的邻居用户对待评分项目I_c的评分。

本发明中采用公式<3>所述的方法。由于项目评分值存在固定的取值区间，对预测评分r_i,c做如下处理：

如果r_i,c＜v_min，则令r_i,c＝v_min；

如果r_i,c＞v_max，则令r_i,c＝v_max。

步骤七，循环步骤四-步骤六，对测试集中的所有用户的评分都进行预测。

步骤八，对测试集中的每个用户，将其预测评分值从大到小排列，选择前N个项目作为推荐项目，其中5≤N≤20。

本发明的效果可以通过以下仿真进一步说明：

1.仿真条件

本发明在MovieLens_100K数据集上进行实验仿真。MovieLens_100K数据集是明尼苏达大学GroupLens研究小组通过MoviLens网站收集的公共推荐系统性能评测数据之一，包含943名用户对1682个项目的100K条的评分信息。所有用户对项目的评分都分布在区间[1,5]内，有1、2、3、4、5，5种评分值，评分值越高，代表用户对相应项目的兴趣越强。通过实验仿真，说明本发明方法的有效性。仿真实验在主频2.5GHZ的PentiumDual_CoreCPUE5200、内存2GB的硬件环境和MATLABR2009a的软件环境下进行的。

2.评价指标

本发明中采用统计精度度量方法中的平均绝对偏差MAE对推荐结果进行度量，平均绝对偏差MAE越小，表明预测精度越高。设预测的用户评分集合表示为{r′₁,r′₂,...,r′_n}，相应的实际用户评分集合为{r₁,r₂,...,r_n}，平均绝对偏差MAE为：

$MAE=\frac{{\mathrm{\&Sigma;}}_{i=1}^n|r_i^{\&prime;}-r_i|}{n}.$

3.仿真内容

按照上述仿真条件和评价指标，用本发明方法与现有以Cos为相似度测量的协同过滤推荐方法、以及JacPCC为相似度测量的协同过滤推荐方法进行比较，结果如图2所示。

图2中的横坐标为最近邻居查询个数nu，纵坐标为评价指标MAE，从图2可以看出，无论最近邻居查询个数nu取何值，本发明明显优于其他两种协同过滤推荐方法：

第一，当最近邻居查询个数nu取最小值5时，本发明推荐结果的MAE值比以Cos为相似度测量的协同过滤推荐方法的MAE值小了0.10，比以JacPCC为相似度测量的协同过滤推荐方法的MAE值小了0.01，并且无论最近邻居查询个数nu如何变化，本发明推荐结果的MAE值始终小于其他两种方法；

第二，当最近邻居查询个数nu从5变化到50的过程中，本发明中推荐结果的MAE值变化幅度为仅为0.04，以Cos为相似度测量的协同过滤方法的推荐结果的MAE值变化幅度为0.06，以JacPCC为相似度测量的协同过滤方法的推荐结果的MAE变化幅度为0.07，可以看出当最近邻居查询个数nu发生变化时，本发明的推荐结果最稳定。

综上，相较于现有的方法，本发明能够提供准确度更高的推荐结果，并且当最近邻居查询个数nu发生变化时，本发明可以提供稳定的推荐结果。

Claims (4)

1.基于Jaccard均衡距离的协同过滤推荐方法，包括如下步骤：

(1)根据推荐系统提供的用户-项目评分记录构造大小为m×n的用户-项目评分矩阵R，其中m为用户数量，n为项目数量，将用户项目评分矩阵R中的90％作为训练集合T，10％做为测试集C；

(2)依据训练集T中的评分数据，用Jaccard均衡距离方法计算用户的相似度得到一个m×m的相似度矩阵该相似度矩阵第i行中的数据元素表示用户i和其他所有用户的相似度，元素X(i,j)表示用户i与用户j的相似度；

(3)确定最近邻居查询个数nu；

(4)确定目标用户U，待评分项目I_c；

(5)用(2)中得出的相似度矩阵X和最近邻居查询个数nu，确定目标用户U的邻居集S(U)；

(6)计算用户U对项目I_c的预测评分值r_i,c；

(7)循环步骤(4)-(6)对测试集中的所有用户的评分都进行预测；

(8)对测试集中的每个用户，将其预测评分值从大到小排列，选择前N个项目作为推荐项目，其中5≤N≤20。

2.根据权利要求1所述的基于Jaccard均衡距离的协同过滤推荐方法，其特征在于，所述步骤(2)中用Jaccard均衡距离方法计算两用户之间的相似度，其计算公式如下：

$X(i,j)=\left\{\begin{array}{c}\frac{\left|I_{i,j}\right|}{|I_i\&cup;I_j|}\&CenterDot;\frac{\sqrt{m{(V_{max}-V_{min})}^2}}{\sqrt{{\mathrm{\&Sigma;}}_{s\&Element;I_{i,j}}{(r_{i,s}-r_{j,s})}^2}},if\&Exists;s\&Element;I_{i,j},r_{i,s}\&NotEqual;r_{j,s}\\ \frac{\left|I_{i,j}\right|}{|I_i\&cup;I_j|}\&CenterDot;\frac{\sqrt{m{(V_{\max }-V_{min})}^2}}{0.9+\sqrt{{\mathrm{\&Sigma;}}_{s\&Element;I_{i,j}}{(r_{i,s}-r_{j,s})}^2}},if\&Exists;s\&Element;I_{i,j},r_{i,s}=r_{j,s}\end{array}\right.,$

其中，X(i,j)为第i个用户与第j个用户之间的相似度；I_i为第i个用户评过分的项目所组成的集合，|I_i|表示集合I_i中元素的个数，I_j为第j个用户评过分的项目所组成的集合，|I_j|表示集合I_j中元素的个数，I_i,j为第i个用户与第j个用户共同评价过的项目组成的集合，I_i,j＝I_i∩I_j，|I_i,j|表示集合I_i,j中元素的个数；r_i,s,r_j,s分别为第i个用户和第j个用户对项目s的评分。

V_max与V_min分别为第i个用户的项目评分与第j个用户的项目评分所构成的多维向量空间中的最大空间向量和最小空间向量，最大空间向量表示为：

V_max＝{v_max,1,v_max,2,...,v_max,p,...,v_max,l},1≤p≤l,l＝|I_i,j|

其中，v_max,p＝max{r_u,v|1≤u≤m,1≤v≤n}，

最小空间向量表示为：

V_min＝{v_min,1,v_min,2,...,v_min,p,...,v_min,l},1≤p≤l,？l＝|I_i,j|

其中v_min,p＝min{r_u,v|1≤u≤m,1≤v≤n}，式中的表示该的多维空间的最大空间距离。

3.根据权利要求1所述的基于Jaccard均衡距离的协同过滤推荐方法，其特征在于，所述步骤(5)中确定用户U的邻居集S(U)，是将所有用户按相似度降序排列，将排列后的用户集与对目标项目I_c有过评分的用户集合求交集构成用户集q(U)；再由用户集|q(U)|中用户的个数，确定邻居集S(U)：

如果|q(U)|≥nu，取q(U)前nu个用户组成邻居集合S(U)；

如果0＜|q(U)|＜nu，则邻居集合S(U)为q(U)；

如果|q(U)|＝0，邻居集合S(U)为空集。

4.根据权利要求1所述的基于Jaccard均衡距离的协同过滤推荐方法，其特征在于，所述步骤(6)中计算预测评分值r_i,c，采用以下三种的任意一种：

$r_{i,c}=\frac{1}{\left|S\left(U\right)\right|}\underset{j\&Element;S\left(U\right)}{\&Sigma;}{r}_{j,c}---<1>$

$r_{i,c}=\frac{{\mathrm{\&Sigma;}}_{j\&Element;S\left(U\right)}X(i,j)\&times;r_{j,c}}{{\mathrm{\&Sigma;}}_{j\&Element;S\left(U\right)}\left|X(i,j)\right|}---<2>$

$r_{i,c}=\stackrel{\&OverBar;}{r_i}+\frac{{\mathrm{\&Sigma;}}_{j\&Element;S\left(U\right)}X(i,j)\&times;(r_{j,c}-\stackrel{\&OverBar;}{r_i})}{{\mathrm{\&Sigma;}}_{j\&Element;S\left(U\right)}\left|X(i,j)\right|}---<3>$

其中：r_i,c为目标用户U对待评分项目I_c的预测评分，为目标用户U对所有评分项的平均评分，r_j,c为邻居集S(U)中目标用户U的邻居用户对待评分项目I_c的评分。