CN106991173A - 基于用户偏好的协同过滤推荐方法 - Google Patents

Abstract

本发明公开了一种基于用户偏好的协同过滤推荐方法，包括下述步骤：依据阈值p将用户分为偏好高评用户和偏好低评用户；利用NHSM相似性度量方法计算任意二位用户之间的相似度，获得用户间的相似矩阵；设目标用户U_a，其同偏好用户群体为s，不同偏好群体为d，计算目标用户U_a与其他用户U_b的相似度；计算用户间新的相似矩阵Newsim：预测目标用户在未评分项目上的评分。本发明相比现有技术具有以下优点：构建一种基于用户偏好的协同过滤推荐模型，减少了预测结果的偶然性。实验结果表明，与其他推荐方法相比，本发明的推荐方法能够更加精确地度量用户间的相似度，提高推荐质量。

Description

基于用户偏好的协同过滤推荐方法

技术领域

本发明涉及互联网个性化推荐领域，尤其涉及一种基于用户偏好的协同过滤推荐方法。

背景技术

Internet技术的快速发展增加了web信息的容量，如何为用户提供有价值的信息成为电子商务必须面对的问题。推荐系统通过学习用户的行为，了解和掌握用户的偏好，从而可以更有针对性地向用户推荐他们可能感兴趣的内容。协同过滤是推荐系统中的一种流行技术，它能有效地解决信息过载问题，帮助用户迅速找到有价值的信息，过滤无用信息。其基本思想是：依据用户的购买记录、评分记录、浏览记录以及标注等，推荐给用户所需要的信息或者预测用户对项目的兴趣偏好，以实现推荐结果的个性化。

基于用户的协同过滤推荐算法利用用户间的相似爱好推荐用户目标，其结果可解释性强。但数据的极端稀疏影响用户近邻的准确选择。针对此问题，文献：B.Jeong,J.Lee,H.Cho.User credit-based collaborative filtering[J].Expert Systems withApplications,2009,36(6):7309-7312(B.Jeong，J.Lee，H.Cho，基于用户信用的协同过滤[J]，专家系统及其应用，2009,36(6):7309-7312)利用用户-项目评分矩阵设计了利用用户的信用等级代替用户之间相似度的计算，利用用户间不同的级别能更好地寻找目标用户的近邻；文献：F.J.Huete,J.M.Fernandez-Luna,M.Campos Luis,et al.Using pasting-prediction accuracy in recommender systems[J].Information Sciences,2012,199(15)78-92(在推荐系统中利用粘贴预测精度[J]，信息科学，2012，199(15)78 92)。依据用户过去评分的相关性，有效地利用用户的评分习惯，提高了推荐质量；文献：林耀进,胡学钢,李慧宗.基于用户群体影响的协同过滤推荐算法[J].情报学报,2013,32(3):299-3055利用用户个体之间的相似性和用户所处群体之间的相似性，准确寻找目标用户的近邻；文献:李鹏,于晓洋,孙渤禹.基于用户群组行为分析的视频推荐方法研究[J].电子与信息学报,2014,36(6):1485-1491通过RFM模型分析用户行划分群组，然后基于相似向量比对用户的相似度，提高推荐效率和准确性；文献:冷亚军,梁昌勇,丁勇,陆青,等.协同过滤中一种有效的最近邻选择方法[J].模式识别与人工智能,2013,26(10):68-974提出一种有效的针对稀疏评分的最近邻选择方法：两阶段最近邻选择算法。

在基于用户的协同过滤推荐模型中，评分矩阵R(m,n)包含m个用户的集合user＝{U₁,U₂,...,U_m}和n个项目的集合Item＝{I₁,I₂,...,I_n}，如表1所示。其中，矩阵的行表示用户，列表示项目，R_i,j表示用户U_i(1≤i≤m)对项目I_j(1≤j≤n)的评分。

表1用户-项目评分矩阵

为获取目标用户的相似邻居，需计算用户间的相似度，传统的相似性度量方法主要有以下二种：

(1)相关相似性(Pearson Correlation Coefficient，PCC),通过Pearson相关系数度量用户之间的相似度，即

(2)余弦相似性(Cosine，COS)，通过向量间的余弦夹角度量用户之间的相似度，即

式(1)和(2)中，U_a和U_b表示用户集合中任意二位用户，sim(U_a,U_b)表示用户之间的相似度。其中，c(a,b)表示用户U_a和U_b共同评分项的集合，R_a,k表示用户U_a对项目I_k的评分，表示用户U_a对已评分项的平均评分。

通过式(1)或(2)，可得到用户之间的相似度矩阵。进一步利用用户之间相似度大小，为目标用户寻找k个最相似的邻居用户。最后，通过式(3)对目标用户的未评分项进行预测。

式(3)中，P_t,i为目标用户U_t对未评分项I_i的评分，k为目标用户U_t近邻的个数，R_x,i为用户U_x对项目I_i的评分，为目标用户U_t的平均评分。

传统的相似性度量算法(PCC和COS)过分依赖用户间的共同评分项，未从全局考虑用户的评分倾向性。为更好地度量用户之间的相似性，现有一种引入NHSM相似性度量方法，该方法主要体现三方面信息：用户之间评分差异(PSS)，用户之间共同评分项(Jaccard')及所有用户潜在评分倾向性(URP)。新启发式相似性度量方法定义如式(4)所示。

sim(U_a,U_b)^NHSM＝sim(U_a,U_b)^PSS×sim(U_a,U_b)^Jaccard′×sim(U_a,U_b)^URP (4)

式中，U_a和U_b表示用户集合中任意二位用户，sim(U_a,U_b)^PSS定义如式(5)所示：

式(5)中，

proximity(R_a,k,R_b,k)＝1-1/(1+exp(-|R_a,k-R_b,k|)) (6)

significance(R_a.k,R_b,k)＝1/(1+exp(-|R_a,k-R_med|·|R_b,k-R_med|)) (7)

singularity(R_a,k,R_b,k)＝1-1/(1+exp(-|(R_a,k-R_b,k)/2-μ_k|) (8)

式(6-8)中，μ_k为项目k的平均评分，R_a,k为用户U_a对项目I_k的评分，R_med为评分集合的中位数。

其次，利用改进的Jaccard系数来反映共同评分项带来的影响，定义如(9)所示。

式中，|I_a|为用户U_a已评分项的个数，|I_a∩I_b|为用户U_a和U_b的共同评分项个数。

最后，用户潜在的评分倾向性用式(10)度量。

式中，μ_a和μ_b分别为用户U_a和U_b的平均评分；σ_a和σ_b分别表示用户U_a和U_b的均方差。

基于用户的协同过滤推荐算法是利用用户之间的相互作用，通过寻找最相似的k邻居来辅助目标用户预测未评分项。但用户在评分时存在偏好行为，存在用户打分偏低或偏高的情况，相似兴趣的用户也存在评分不同，会导致计算用户之间的相似性出现偏差，这影响推荐的质量。

发明内容

本发明所要解决的技术问题在于提供了一种进一步提升推荐质量的基于用户偏好的协同过滤推荐方法。

本发明通过以下技术手段解决上述技术问题的：一种基于用户偏好的协同过滤推荐方法，包括下述步骤：

步骤1：输入用户-项目评分矩阵，取所有用户评分的平均评分，设定为阈值p，依据该阈值p将用户分为偏好高评用户和偏好低评用户；

步骤2：利用NHSM相似性度量方法计算任意二位用户之间的相似度，获得用户间的相似矩阵sim；

步骤3：设目标用户U_a，其同偏好用户群体为s，不同偏好群体为d，计算目标用户U_a与其他用户U_b的相似度：

如Maxsim(U_a,U_b)_s＞Maxsim(U_a,U_b)_d则：

如Maxsim(U_a,U_b)_s≤Maxsim(U_a,U_b)_d则：

式(12)和(13)中，Sim(U_a,U_b)为用户U_a和U_b的相似度，其中，U_a表示目标用户，U_b表示其他用户，Maxsim(U_a,U_b)_s为U_a与s中相似度最大的值,Maxsim(U_a,U_b)_d为U_a与d中相似度最大的值，为s中与U_a前k近邻的相似度之和，Minsim(U_a,U_b)_s为U_a与s中相似度最小的值，用于保证目标用户U_a至少找到一个近似邻居；

步骤4：利用式(14)得到用户间新的相似矩阵Newsim：

步骤5：根据式(15)预测目标用户U_t在项目I_i上的评分P_t,i：

式(15)中，P_t,i为目标用户U_t对项目I_i的评分。其中，υ表示目标用户的近邻集合，x_K表示目标用户U_t的第K个近邻，近邻个数K由大间隔自动确定，为目标用户的平均评分。

优选的，所述步骤1中，阈值p根据评分矩阵确定，如式(11)所示：

式中，为所有用户对项目的评分值之和，|I|表示所有用户对项目有评分值的个数。

优选的，所述步骤2中的相似度计算方法如下：

sim(U_a,U_b)^NHSM＝sim(U_a,U_b)^PSS×sim(U_a,U_b)^Jaccard′×sim(U_a,U_b)^URP (4)

式中，U_a和U_b表示用户集合中任意二位用户，sim(U_a,U_b)^PSS定义如式(5)所示：

式(5)中，

proximity(R_a,k,R_b,k)＝1-1/(1+exp(-|R_a,k-R_b,k|)) (6)

significance(R_a.k,R_b,k)＝1/(1+exp(-|R_a,k-R_med|·|R_b,k-R_med|)) (7)

singularity(R_a,k,R_b,k)＝1-1/(1+exp(-|(R_a,k-R_b,k)/2-μ_k|) (8)

式(6-8)中，μ_k为项目k的平均评分，R_a,k为用户U_a对项目I_k的评分，R_med为评分集合的中位数。

其次，利用改进的Jaccard系数来反映共同评分项带来的影响，定义如(9)所示。

式中，|I_a|为用户U_a已评分项的个数，|I_a∩I_b|为用户U_a和U_b的共同评分项个数。

最后，用户潜在的评分倾向性用式(10)度量。

式中，μ_a和μ_b分别为用户U_a和U_b的平均评分；σ_a和σ_b分别表示用户U_a和U_b的均方差。

本发明相比现有技术具有以下优点：构建一种基于用户偏好的协同过滤推荐模型，减少了预测结果的偶然性。实验结果表明，与其他推荐方法相比，本发明的推荐方法能够更加精确地度量用户间的相似度，提高推荐质量。

附图说明

图1是本发明基于用户偏好的协同过滤推荐方法的流程图。

图2是本发明实施例中Movielens数据集中用户评分分布情况。

图3为在Movielens数据集上，随近邻数k的变化，MAE的变化情况。

图4为在Movielens数据集上，随近邻数k的变化，Coverage的变化情况。

图5为在Jester-data-2数据集，随近邻数k的变化，MAE的变化情况。

图6为在Jester-data-2数据集，随近邻数k的变化，Coverage的变化情况。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

参阅图1所示，本发明基于用户偏好的协同过滤推荐方法包括下述步骤：

步骤1：输入用户-项目评分矩阵，取所有用户评分的平均评分，设定为阈值p，依据该阈值p将用户分为偏好高评用户和偏好低评用户；

步骤2：利用NHSM相似性度量方法计算任意二位用户之间的相似度，获得用户间的相似矩阵sim；

步骤3：设目标用户U_a，其同偏好(偏好高评或低评)用户群体为s，不同偏好(偏好低评或高评)群体为d，计算目标用户U_a与其他用户U_b的相似度：

如Maxsim(U_a,U_b)_s＞Maxsim(U_a,U_b)_d则：

如Maxsim(U_a,U_b)_s≤Maxsim(U_a,U_b)_d则：

式(12)和(13)中，Sim(U_a,U_b)为用户U_a和U_b的相似度，其中，U_a表示目标用户，U_b表示其他用户，Maxsim(U_a,U_b)_s为U_a与s中相似度最大的值,Maxsim(U_a,U_b)_d为U_a与d中相似度最大的值，为s中与U_a前k近邻的相似度之和，Minsim(U_a,U_b)_s为U_a与s中相似度最小的值，用于保证目标用户U_a至少找到一个近似邻居；

基于大间隔寻找近邻的主要思想是：通过设计一种新的相似性度量公式，使用户空间中与目标用户相同偏好的近邻属于同一类别，不同偏好的用户与目标用户尽量区分开。这体现了用户潜在的偏好行为，缩小有相同偏好用户之间的距离，增大不同偏好用户之间的距离。相比其他许多改进的协同过滤推荐算法，该算法也能自动确定近邻个数，提高推荐效率；

步骤4：利用式(14)得到用户间新的相似矩阵Newsim：

步骤5：根据式(15)预测目标用户U_t在项目I_i上的评分P_t,i：

式(15)中，P_t,i为目标用户U_t对项目I_i的评分。其中，υ表示目标用户的近邻集合，x_K表示目标用户U_t的第K个近邻，近邻个数K由大间隔自动确定，为目标用户的平均评分。

所述步骤1中，设定不同偏好用户群体用户数量平衡，根据用户对项目的评分值，设定阈值p将用户划分为高评用户(偏好打高分的用户)和低评用户(偏好打低分的用户)。其中，阈值p根据评分矩阵确定，如式(11)所示：

式中，为所有用户对项目的评分值之和，|I|表示所有用户对项目有评分值的个数。

表格2为给定用户对项目的实际评分矩阵。其中，矩阵的行表示用户，列表示项目。评分为5分制。

表2用户-项目实际评分矩阵

根据式(11)，可计算出阈值p＝3.06。将每个用户的平均评分和阈值p比较，用户U₁、U₃和U₅被划为高评用户，其它3用户归类为低评用户。

本文以Movielens数据集(来自http://movielens.umn.edu)为例，对阈值p在[34]之间的用户数进行统计，如图2所示。图2为用户评分分布情况。其中，横坐标表示阈值p，纵坐标表示平均评分大于阈值p的用户占所有用户的比例。如p取值3，平均评分大于阈值p的用户占所有用户百分比高于90％。

所述步骤2中的相似度计算方法如下：

sim(U_a,U_b)^NHSM＝sim(U_a,U_b)^PSS×sim(U_a,U_b)^Jaccard′×sim(U_a,U_b)^URP (4)

式中，U_a和U_b表示用户集合中任意二位用户，sim(U_a,U_b)^PSS定义如式(5)所示：

式(5)中，

proximity(R_a,k,R_b,k)＝1-1/(1+exp(-|R_a,k-R_b,k|)) (6)

significance(R_a.k,R_b,k)＝1/(1+exp(-|R_a,k-R_med|·|R_b,k-R_med|)) (7)

singularity(R_a,k,R_b,k)＝1-1/(1+exp(-|(R_a,k-R_b,k)/2-μ_k|) (8)

式(6-8)中，μ_k为项目k的平均评分，R_a,k为用户U_a对项目I_k的评分，R_med为评分集合的中位数。

其次，利用改进的Jaccard系数来反映共同评分项带来的影响，定义如(9)所示。

式中，|I_a|为用户U_a已评分项的个数，|I_a∩I_b|为用户U_a和U_b的共同评分项个数。

最后，用户潜在的评分倾向性用式(10)度量。

式中，μ_a和μ_b分别为用户U_a和U_b的平均评分；σ_a和σ_b分别表示用户U_a和U_b的均方差。

实验结果及分析

1、数据集

本文采用公开的Movielens和Jester-data-2数据集(http://www.ieor.berkeley.edu/～goldberg/jester-data)验证本文所提算法。Movielens数据集包含943个用户在1682个电影上的评分，其中每个用户至少对20部电影有评分记录；Jester-data-2数据集包含1582个用户在100个笑话上的评分，其中每个用户至少对1个笑话有评分记录，数据集的详细信息如表3所示。为保证实验结果的无偏性，数据集分成训练集和测试集，训练集占整个数据集的80％，其余20％数据作为测试集。整个过程采用五折交叉验证方法，测试集之间是互斥的，并且有效地覆盖了整个数据集。

表3数据描述

2、度量指标

本文评价推荐质量的度量指标包括MAE(mean absolute error)和覆盖率(Coverage)。MAE是一种常见的度量指标，通过计算预测的用户评分和实际用户评分之间的偏差来度量预测的准确性，MAE值越小，推荐质量越好。覆盖率(Coverage)用来衡量一个算法能够预测的项目占所有项目的百分比，Coverage值越大，推荐质量越好。

设有n个项目，用户的实际评分集合为r＝{r₁,r₂,...,r_n}，预测的用户评分集合为p＝(p₁,p₂,...,p_n)，s表示p集合中有评分的个数，则度量指标MAE和覆盖率(Coverage)分别表示为：Coverage＝s/n。

3、实验结果分析

本文所提算法与基于Pearson相关系数的协同过滤算法(PCC-CF)、基于Cosine相似性的协同过滤算法(COS-CF)和基于NHSM相似性的协同过滤推荐算法(NHSM-CF)在算法性能上进行比较。

图3和图4分别为在Movielens数据集上，随近邻数k的变化，MAE和Coverage的变化情况，其中近邻数k在10～100之间变动，从图中可看出基于NHSM相似性的协同过滤推荐算法(NHSM-CF)的MAE值比COS-CF和PCC-CF都要小，Coverage值相对要大；在Jester-data-2数据集上MAE和Coverage的变化情况如图5和图6所示，NHSM-CF的MAE值跟COS-CF和PCC-CF相比要小，Coverage值要大。可以得出，NHSM-CF的推荐质量相优于COS-CF和PCC-CF。

从图3～图6可得知，无论近邻数k如何变化，Large margin-NHSM-CF的MAE和Coverage都能够取相对稳定的值。这是由于在利用大间隔确定目标用户与其他用户的相似度时，k的取值对推荐结果的影响较小。从图3和图4可以看出，在Movielens数据集上Largemargin-NHSM-CF的MAE值都比NHSM-CF小，Coverage值跟NHSM-CF相比要大。同样，在Jester-data-2数据集中，MAE和Coverage的变化情况与Movielens数据集呈现相同的规律。因此，本文所提算法(Large margin-NHSM-CF)优于NHSM-CF算法，进一步提高了协同过滤系统的推荐质量，验证了基于用户偏好的协同过滤推荐算法的有效性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于用户偏好的协同过滤推荐方法，其特征在于，包括下述步骤：

步骤1：输入用户-项目评分矩阵，取所有用户评分的平均评分，设定为阈值p，依据该阈值p将用户分为偏好高评用户和偏好低评用户；

步骤2：利用NHSM相似性度量方法计算任意二位用户之间的相似度，获得用户间的相似矩阵sim；

步骤3：设目标用户U_a，其同偏好用户群体为s，不同偏好群体为d，计算目标用户U_a与其他用户U_b的相似度：

如Maxsim(U_a,U_b)_s＞Maxsim(U_a,U_b)_d则：

$Sim(U_a,U_b)=\frac{1}{2}|Maxsim{(U_a,U_b)}_s-Maxsim{(U_a,U_b)}_d|+Minsim{(U_a,U_b)}_s---\left(12\right)$

如Maxsim(U_a,U_b)_s≤Maxsim(U_a,U_b)_d则：

$Sim(U_a,U_b)=\frac{1}{2}|\underset{k\∈s}{\mathrm{\Σ}}sim(U_a,U_b)-\underset{k\∈d}{\mathrm{\Σ}}sim(U_a,U_b)|+Minsim{(U_a,U_b)}_s---\left(13\right)$

式(12)和(13)中，Sim(U_a,U_b)为用户U_a和U_b的相似度，其中，U_a表示目标用户，U_b表示其他用户，Maxsim(U_a,U_b)_s为U_a与s中相似度最大的值,Maxsim(U_a,U_b)_d为U_a与d中相似度最大的值，为s中与U_a前k近邻的相似度之和，Minsim(U_a,U_b)_s为U_a与s中相似度最小的值，用于保证目标用户U_a至少找到一个近似邻居；

步骤4：利用式(14)得到用户间新的相似矩阵Newsim：

$Newsim(U_a,U_b)=\left\{\begin{array}{cc}sim(U_a,U_b),& sim(U_a,U_b)<S(U_a,U_b)\\ 0,& otherwise\end{array}\right.---\left(14\right);$

步骤5：根据式(15)预测目标用户U_t在项目I_i上的评分P_t,i：

$P_{t,i}=\stackrel{\&OverBar;}{R_t}+\frac{\underset{x_K\&Element;\mathrm{\&upsi;}}{\mathrm{\&Sigma;}}Newsim(U_t,U_{x_K})\&times;(R_{x_K,i}-\stackrel{\&OverBar;}{R_{x_K}})}{\underset{x_K\&Element;\mathrm{\&upsi;}}{\mathrm{\&Sigma;}}\left|Newsim(U_t,U_{x_K})\right|}---\left(15\right)$

式(15)中，P_t,i为目标用户U_t对项目I_i的评分。其中，υ表示目标用户的近邻集合，x_K表示目标用户U_t的第K个近邻，近邻个数K由大间隔自动确定，为目标用户的平均评分。

2.根据权利要求1所述的一种基于用户偏好的协同过滤推荐方法，其特征在于，所述步骤1中，阈值p根据评分矩阵确定，如式(11)所示：

$p=\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{R}_{i,j}/\left|I\right|---\left(11\right)$

式中，为所有用户对项目的评分值之和，|I|表示所有用户对项目有评分值的个数。

3.根据权利要求1所述的一种基于用户偏好的协同过滤推荐方法，其特征在于，所述步骤2中的相似度计算方法如下：

sim(U_a,U_b)^NHSM＝sim(U_a,U_b)^PSS×sim(U_a,U_b)^Jaccard′×sim(U_a,U_b)^URP (4)

式中，U_a和U_b表示用户集合中任意二位用户，sim(U_a,U_b)^PSS定义如式(5)所示：

$\begin{array}{c}sim{(U_a,U_b)}^{PSS}=\\ \underset{k\&Element;c(a,b)}{\mathrm{\&Sigma;}}proximity\left(R_{a,k}{R}_{b,k}\right)\&times;significance(R_{a,k},R_{b,k})\&times;\sin gularity(R_{a,k},R_{b,k})\end{array}---\left(5\right)$

式(5)中，

proximity(R_a,k,R_b,k)＝1-1/(1+exp(-|R_a,k-R_b,k|)) (6)

significance(R_a.k,R_b,k)＝1/(1+exp(-|R_a,k-R_med|·|R_b,k-R_med|)) (7)

singularity(R_a,k,R_b,k)＝1-1/(1+exp(-|(R_a,k-R_b,k)/2-μ_k|) (8)

式(6-8)中，μ_k为项目k的平均评分，R_a,k为用户U_a对项目I_k的评分，R_med为评分集合的中位数。

其次，利用改进的Jaccard系数来反映共同评分项带来的影响，定义如(9)所示。

$sim{(U_a,U_b)}^{{\mathrm{Jaccard}}^{\&prime;}}=\frac{|I_a\&cap;I_b|}{\left|I_a\right|\&times;\left|I_b\right|}---\left(9\right)$

式中，|I_a|为用户U_a已评分项的个数，|I_a∩I_b|为用户U_a和U_b的共同评分项个数。

最后，用户潜在的评分倾向性用式(10)度量。

$sim{(U_a,U_b)}^{URP}=1-\frac{1}{1+\exp (-|{\mathrm{\&mu;}}_a-{\mathrm{\&mu;}}_b|\&CenterDot;|{\mathrm{\&sigma;}}_a-{\mathrm{\&sigma;}}_b\left|\right)}---\left(10\right)$

式中，μ_a和μ_b分别为用户U_a和U_b的平均评分；σ_a和σ_b分别表示用户U_a和U_b的均方差。