CN108874916A - 一种层叠组合协同过滤推荐方法 - Google Patents

Abstract

本发明公开了一种层叠组合协同过滤推荐方法，具体按照以下步骤实施：步骤1，构建用户‑项目评分矩阵；步骤2，计算用户之间的相似性，步骤3，查找目标用户的最近邻居，步骤4，对目标用户a进行预测评分，步骤5，填充步骤1中建立的原始用户‑项目评分矩阵R，步骤6，计算项目之间的相似性，步骤7，查找目标项目的最近邻居，步骤8，对目标用户a进行预测评分，步骤9，产生推荐物品列表。解决协同过滤推荐算法在应用中所遇到的数据稀疏性问题,进而有效提高了推荐质量。

Description

一种层叠组合协同过滤推荐方法

技术领域

本发明属于数据挖掘技术领域，具体涉及一种层叠组合协同过滤推荐方法。

背景技术

随着网络资源的不断丰富和网络信息量的不断膨胀，对用户而言，面对如此丰富和复杂的信息资源，要从中挑选出真正喜欢的东西十分困难。近年来兴起的个性化推荐系统成为解决这一问题的主要方法，该方法在新闻网站、音乐网站和电子商务网站得到广泛运用。推荐系统就是分析并收集用户的历史行为信息，根据相关推荐算法对目标用户产生推荐。推荐系统中运用最广泛的是协同过滤推荐算法。它的基本思想是首先为目标用户寻找相似的邻居用户，然后把邻居用户感兴趣的项目推荐给目标用户。协同过滤推荐系统在信息服务系统中得到广泛应用，它需要利用用户的评分数据来计算用户或项目之间的相似性，如果没有足够的评分数据，协同过滤算法就没有较好的推荐精度。但是由于用户和商品的数量巨大，用户的精力又很有限，因此大多数用户只对很少一部分的项目进行评分，一般不会超过项目总数的1％，造成用户-项目评分矩阵的数据密度严重不足。另外，当新用户刚进入系统时，就会发生“新用户”问题，因为他没有对任何物品进行过评分，故无法找到与其具有相似兴趣爱好的最近邻用户,必须等待一段时间才有用户查看并进行评价，因此难以找到合适的方法为用户推荐。同样地，当新的物品刚进入系统时，就会发生“新物品”问题，因为没有任何用户对其进行过评价，故无法找到与其相似的物品，新物品无法得到推荐。因此，“数据稀疏性”问题是目前推荐系统都面临的一个巨大的困难和挑战，它也是造成协同过滤推荐系统质量下降的一个首要问题。尽管学者们针对协同过滤推荐系统面临的数据稀疏性问题做了许多研究，但是仍然存在不足，而且单一的协同过滤推荐算法往往只考虑到某一方面的相似性，不能使推荐系统的推荐精度得到综合提高。

发明内容

本发明的目的是提供一种层叠组合协同过滤推荐方法，解决协同过滤推荐算法在应用中所遇到的数据稀疏性问题,进而有效提高了推荐质量。

本发明所采用的技术方案是，一种层叠组合协同过滤推荐方法，具体按照以下步骤实施：

步骤1，构建用户-项目评分矩阵，

步骤2，计算用户之间的相似性，

步骤3，查找目标用户的最近邻居，

步骤4，对目标用户a进行预测评分，

步骤5，填充步骤1中建立的原始用户-项目评分矩阵R，

步骤6，计算项目之间的相似性，

步骤7，查找目标项目的最近邻居，

步骤8，对目标用户a进行预测评分，

步骤9，产生推荐物品列表。

本发明的特点还在于，

所述的步骤1具体为，

步骤1.1，获取用户喜好数据，用户喜好数据是以(UserID、ItemID、Preference)为元组的数据集，用户喜好数据包括用户的编号、项目的编号、用户对项目的兴趣偏好值，

步骤1.2，对通过预处理将无用数据过滤、数据类型转换和数据格式统一，按照推荐要求处理数据，将其转化为一个维度为m×n的初始用户评分数据矩阵R，

其中，m表示矩阵R中用户的数量，n表示项目的数量，R_ij(1≤i≤m，1≤j≤n)表示用户i对项目j的喜好值。如果用户i没有对项目j进行评分，则R_ij＝0。

所述的步骤2具体为，

设集合U＝{u₁,u₂,u₃,…u_m}表示矩阵R中的所有用户，待推荐的目标用户a不在集合U中，。

步骤2.1，从集合U中取出其中一个用户u_i，查找出目标用户a与用户u_i有共同评分的项目的集合；

步骤2.2，按照公式(2)计算方法计算出目标用户a与用户u_i的兴趣相似性sim(a,u_i)；最后重复前两步骤，直到集合U中所有用户完成与目标用户a的相似度计算。目标用户a与用户u_i的兴趣相似性sim(a,u_i)计算公式如下：

其中，sim(a,u_i)表示目标用户a与用户u_i的兴趣相似性，分别表示用户a和用户u对相同已评分项目的评分平均值；R_a,i和R_u,i分别表示用户a和用户u对相同项目的评分值。sim(a,u_i)∈[0,1]相似性公式的计算值越大说明用户之间或者项目之间越相似。

所述的步骤3具体为，对步骤2中计算所得到目标用户a与用户u_i的相似度按照从大到小的顺序进行排序，依次取出其中的k个相似度，即，sim(a,u₁),sim(a,u₂),…sim(a,u_k)；

则它们之间的相似性大小关系为：

sim(a,u₁)≥sim(a,u₂)≥…sim(a,u_k) (3)

所以，与这k个相似度分别对应的用户u₁，u₂，…，u_k构成了目标用户a的最近邻居用户集合U_nearest，即：

U_nearest＝{u₁,u₂,...,u_k} (4)。

所述的步骤4具体为，

设没有被用户a评价过的项目用目标项目集合表示I_target，即：

I_target＝{t₁,t₂,...t_j} (5)

对于目标物品集合I_target中的每一个项目t_j，根据步骤(3)中得到目标用户a最近邻居用户集合U_nearest中的用户对其的兴趣偏好值和最近邻居在其他项目上的兴趣偏好值的平均值，计算出目标用户a对目标项目t_j的预测评分。

其中，表示用户a对项目t_j的预测评分，表示用户a对所有项目评分的平均值，sim(a,u_i)表示用户a与u_i之间的相似性，集合U_nearst是步骤(3)中最近邻居集合。

所述的步骤5具体为，将步骤4中得到的目标用户a对没有评价过的物品集合I_target中物品t_j的评分添加到原始的评分矩阵中的相对应位置。

所述的步骤6具体按照以下步骤实施：

假定集合I＝{c₁,c₂,...,c_k}表示矩阵R中的所有项目，但是目标项目t不在集合I中，

步骤6.1，从集合中取出其中一个项目c_j，查找出既对目标项目t又对项目c_j感兴趣的用户的集合；将用户-项目评分矩阵进行转置，

步骤6.2，利用公式(7)计算出目标项目t与项目c_j之间的相似度sim(c_j,t)；

项目之间相似性计算公式如下：

其中，sim(c_j,t)表示项目c_j和项目t的相似度；表示项目c_j的平均被评分值；和R_u,t表示用户u对项目c_j和t的评分值。

步骤6.3，重复步骤6.1和步骤6.2两个步骤，直到集合I中的所有项目完成与目标项目t的相似度计算。

所述的步骤7具体按照以下步骤实施：

对步骤6中计算所得到的目标项目t的相似度进行排序，依次取出其中的k个元素，设它们之间的相似性大小关系为：

sim(c₁,t)≥sim(c₂,t)≥...≥sim(c_k,t) (8)

与这k个相似度分别对应的项目i₁,i₂,...,i_k构成了目标项目t的最近邻项目集合：

I_nearest＝{c₁,c₂,...,c_k} (9)。

所述的步骤8中具体的评分步骤为：

对于目标项目集合I_target中的每一个项目t_j，根据目标用户a对步骤6中的最近邻项目集合I_nearest中的项目的兴趣偏好值和其他用户在最近邻项目上的兴趣偏好值的平均值，计算出目标用户a对目标项目集合I_target中的每一个项目t_j预测评分，记为

预测评分计算公式：

所述的步骤9具体为，将步骤(8)中计算得到的预测评分值pa_,t1，pa_,t2，按照从大到小的顺序依次进行排序，设排序的结果为：

选取前N个最高的预测评分，与这N个最高的预测评分值分别对应的目标项目是t₁,t2,…,t_N,即组成了为目标用户a推荐的项目集合：

I_recommend＝{t₁,t₂,...,t_N} (12)。

本发明的有益效果是，充分结合了两种经典推荐算法的优势，先通过基于用户的协同过滤算法预测评分填充原始评分矩阵，降低了数据稀疏性，使最近邻居选取更准确，然后在填充后的评分矩阵上，采用基于项目的协同过滤推荐算法为用户产生推荐，这不仅解决了数据稀疏性问题，而且既考虑了用户之间的相似性，又考虑了项目之间的相似性，进而有效提高了推荐质量。

附图说明

图1为本发明中组合协同过滤推荐算法流程；

图2为本发明中组合算法与传统协同过滤算法MAE的对比；

图3为本发明中组合算法与传统的协同过滤算法查全率的对比。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

一种层叠组合协同过滤推荐方法，如图1所示，具体按照以下步骤实施：

步骤1，构建用户-项目评分矩阵；

步骤1.1，获取用户喜好数据，用户喜好数据是以(UserID、ItemID、Preference)为元组的数据集。通常情况下用户喜好数据包括用户的编号、项目的编号、用户对项目的兴趣偏好值，

步骤1.2，对通过预处理将无用数据过滤、数据类型转换和数据格式统一，按照推荐要求处理数据，将其转化为一个维度为m×n的初始用户评分数据矩阵R，

其中，m表示矩阵R中用户的数量，n表示项目的数量，R_ij(1≤i≤m，1≤j≤n)表示用户i对项目j的喜好值。如果用户i没有对项目j进行评分，则R_ij＝0。

在矩阵R中，数字为0的位置表示用户未对项目评分，非零数字表示已经评分，矩阵的稀疏性是由于过多未评分数据元素造成的。

步骤2，计算用户之间的相似性，设集合U＝{u₁,u₂,u₃,…u_m}表示矩阵R中的所有用户，待推荐的目标用户a不在集合U中。

步骤2.1，从集合U中取出其中一个用户u_i，查找出目标用户a与用户u_i有共同评分的项目的集合；

步骤2.2，按照公式(2)计算方法计算出目标用户a与用户u_i的兴趣相似性sim(a,u_i)；最后重复前两步骤，直到集合U中所有用户完成与目标用户a的相似度计算。目标用户a与用户u_i的兴趣相似性sim(a,u_i)计算公式如下：

其中，sim(a,u_i)表示目标用户a与用户u_i的兴趣相似性，分别表示用户a和用户u对相同已评分项目的评分平均值；R_a,i和R_u,i分别表示用户a和用户u对相同项目的评分值。sim(a,u_i)∈[0,1]相似性公式的计算值越大说明用户之间或者项目之间越相似。

步骤3，查找目标用户的最近邻居，寻找最近邻居是协同过滤算法的核心部分，一般情况下最近邻居个数越多，推荐质量越高，预测评分与实际评分之间的误差越小。

对步骤2中计算所得到目标用户a与用户u_i的相似度按照从大到小的顺序进行排序，依次取出其中的k个相似度，即，sim(a,u₁),sim(a,u₂),…sim(a,u_k)；

则它们之间的相似性大小关系为：

sim(a,u₁)≥sim(a,u₂)≥…sim(a,u_k) (3)

所以，与这k个相似度分别对应的用户u₁，u₂，...，u_k构成了目标用户a的最近邻居用户集合U_nearest，即：

U_nearest＝{u₁,u₂,...,u_k} (4)。

步骤4，对目标用户a进行预测评分，对于目标用户a已经评价过的物品，没有必要对其做出预测。只有没有被目标用户评价过的项目，才需要对其预测评分。设没有被用户a评价过的项目用目标项目集合表示I_target，即：

I_target＝{t₁,t₂,...t_j} (5)

对于目标物品集合I_target中的每一个项目t_j，根据步骤(3)中得到目标用户a最近邻居用户集合U_nearest中的用户对其的兴趣偏好值和最近邻居在其他项目上的兴趣偏好值的平均值，计算出目标用户a对目标项目t_j的预测评分。

其中，P_a,tj表示用户a对项目t_j的预测评分，表示用户a对所有项目评分的平均值，sim(a,u_i)表示用户a与u_i之间的相似性，集合U_nearst是步骤(3)中最近邻居集合。

步骤5，填充步骤1中建立的原始用户-项目评分矩阵R，

填充前数据稀疏度：可见原始评分矩阵的数据稀疏性比较严重。将步骤4中得到的目标用户a对没有评价过的物品集合I_target中物品t_j的评分添加到原始的评分矩阵中的相对应位置，填充后数据稀疏度为79.1％，有效评分数据增多。

步骤6，计算项目之间的相似性，假定集合I＝{c₁,c₂,...,c_k}表示矩阵R中的所有项目，但是目标项目t不在集合I中。

步骤6.1，从集合中取出其中一个项目c_j，查找出既对目标项目t又对项目c_j感兴趣的用户的集合；将用户-项目评分矩阵进行转置，。

步骤6.2，利用公式(7)计算出目标项目t与项目c_j之间的相似度sim(c_j,t)；

项目之间相似性计算公式如下：

其中，sim(c_j,t)表示项目c_j和项目t的相似度；表示项目c_j的平均被评分值；和R_u,t表示用户u对项目c_j和t的评分值。

步骤6.3，重复步骤6.1和步骤6.2两个步骤，直到集合I中的所有项目完成与目标项目t的相似度计算。

步骤7，查找目标项目的最近邻居，

对步骤6中计算所得到的目标项目t的相似度进行排序，依次取出其中的k个元素，设它们之间的相似性大小关系为：

sim(c₁,t)≥sim(c₂,t)≥...≥sim(c_k,t) (8)

与这k个相似度分别对应的项目i₁,i₂,...,i_k构成了目标项目t的最近邻项目集合：

I_nearest＝{c₁,c₂,...,c_k} (9)

步骤8，对目标用户a进行预测评分，具体的评分步骤为：

对于目标项目集合I_target中的每一个项目t_j，根据目标用户a对步骤6中的最近邻项目集合I_nearest中的项目的兴趣偏好值和其他用户在最近邻项目上的兴趣偏好值的平均值，计算出目标用户a对目标项目集合I_target中的每一个项目t_j预测评分，记为

预测评分计算公式：

步骤9，产生推荐物品列表，将步骤(8)中计算得到的预测评分值p_a,t1，p_a,_t2，按照从大到小的顺序依次进行排序，设排序的结果为：

选取前N个最高的预测评分，与这N个最高的预测评分值分别对应的目标项目是t₁,t₂,…,t_N,即组成了为目标用户a推荐的项目集合：

I_recommend＝{t₁,t₂,...,t_N} (12)

在本技术领域内，为了衡量推荐系统的高效性能，推荐系统的评测标准一般采用平均绝对误差以及查全率和查准率。

平均绝对误差MAE表示预测结果的精度，通过计算预测兴趣值与真实兴趣值之间的平均误差得到，平均绝对误差值越小，预测准确度越高。

其中，P_u,i表示用户u对项目i兴趣偏好值的预测，R_u,i表示用户u对项目i兴趣偏好的真实值。N表示系统中用户u对项目i评分的个数。

查全率和查准率，表示推荐列表中用户喜欢的产品与系统中用户喜欢的所有产品的比率，查全率越高表示系统可以将越多的物品推荐给用户。Mahout为每个用户都取一个阈值，阈值计算公式是：用户阈值＝用户的平均偏好值+标准方差，如果推荐结果中，用户推荐商品的预测评分高于用户阈值，则说明是好的推荐。

其中，N_rs表示推荐列表中用户喜欢的产品，N_r表示所有被推荐产品。

利用本发明的方法，对用户-项目评分矩阵进行填充后，与原算法相比，本文组合推荐算法得到的MAE值较小，如图2所示，也就是说进行矩阵填充后的推荐效果较好。这是因为用户-项目评分矩阵经过填充后，有效评分数据增多，数据稀疏性降低，用户之间和项目之间共同评分的数据增多。

本发明的组合推荐算法和传统的协同过滤推荐算法相比的查全率的对比如图3所示，从图3可以看出，本文的组合推荐算法和传统的协同过滤推荐算法相比，查准率和查全率有显著的提高。可见，对用户-项目评分矩阵进行填充后，数据稀疏性降低，用户之间共同评分的项目也增多，从而使得计算最近邻更加准确。当推荐商品个数为120时，此时文本算法推荐效果最佳，可以获得满足用户需要的推荐结果。

Claims (10)

1.一种层叠组合协同过滤推荐方法，其特征在于，具体按照以下步骤实施：

步骤1，构建用户-项目评分矩阵；

步骤2，计算用户之间的相似性，

步骤3，查找目标用户的最近邻居，

步骤4，对目标用户a进行预测评分，

步骤5，填充步骤1中建立的原始用户-项目评分矩阵R，

步骤6，计算项目之间的相似性，

步骤7，查找目标项目的最近邻居，

步骤8，对目标用户a进行预测评分，

步骤9，产生推荐物品列表。

2.根据权利要求1所述的层叠组合协同过滤推荐方法，其特征在于，所述的步骤1具体为，

步骤1.1，获取用户喜好数据，用户喜好数据是以UserID、ItemID、Preference为元组的数据集；用户喜好数据包括用户的编号、项目的编号、用户对项目的兴趣偏好值，

步骤1.2，对通过预处理将无用数据过滤、数据类型转换和数据格式统一，按照推荐要求处理数据，将其转化为一个维度为m×n的初始用户评分数据矩阵R，

其中，m表示矩阵R中用户的数量，n表示项目的数量，R_ij(1≤i≤m，1≤j≤n)表示用户i对项目j的喜好值，如果用户i没有对项目j进行评分，则R_ij＝0。

3.根据权利要求1所述的层叠组合协同过滤推荐方法，其特征在于，所述的步骤2具体为，

设集合U＝{u₁,u₂,u₃,…u_m}表示矩阵R中的所有用户，待推荐的目标用户a不在集合U中，

步骤2.1，从集合U中取出其中一个用户u_i，查找出目标用户a与用户u_i有共同评分的项目的集合；

步骤2.2，按照公式(2)计算方法计算出目标用户a与用户u_i的兴趣相似性sim(a,u_i)；最后重复前两步骤，直到集合U中所有用户完成与目标用户a的相似度计算，目标用户a与用户u_i的兴趣相似性sim(a,u_i)计算公式如下：

其中，sim(a,u_i)表示目标用户a与用户u_i的兴趣相似性，分别表示用户a和用户u对相同已评分项目的评分平均值；R_a,i和R_u,i分别表示用户a和用户u对相同项目的评分值，sim(a,u_i)∈[0,1]相似性公式的计算值越大说明用户之间或者项目之间越相似。

4.根据权利要求1所述的层叠组合协同过滤推荐方法，其特征在于，所述的步骤3具体为，对步骤2中计算所得到目标用户a与用户u_i的相似度按照从大到小的顺序进行排序，依次取出其中的k个相似度，即，sim(a,u₁),sim(a,u₂),...sim(a,u_k)；

则它们之间的相似性大小关系为：

sim(a,u₁)≥sim(a,u₂)≥...sim(a,u_k) (3)

所以，与这k个相似度分别对应的用户u₁，u₂，…，u_k构成了目标用户a的最近邻居用户集合U_nearest，即：

U_nearest＝{u₁,u₂,…,u_k} (4)。

5.根据权利要求1所述的层叠组合协同过滤推荐方法，其特征在于，所述的步骤4具体为，

设没有被用户a评价过的项目用目标项目集合表示I_target，即：

I_target＝{t₁,t₂,…t_j} (5)

对于目标物品集合I_target中的每一个项目t_j，根据步骤(3)中得到目标用户a最近邻居用户集合U_nearest中的用户对其的兴趣偏好值和最近邻居在其他项目上的兴趣偏好值的平均值，计算出目标用户a对目标项目t_j的预测评分，

其中，表示用户a对项目t_j的预测评分，表示用户a对所有项目评分的平均值，sim(a,u_i)表示用户a与u_i之间的相似性，集合U_nearst是步骤(3)中最近邻居集合。

6.根据权利要求1所述的层叠组合协同过滤推荐方法，其特征在于，所述的步骤5具体为，将步骤4中得到的目标用户a对没有评价过的物品集合I_target中物品t_j的评分添加到原始的评分矩阵中的相对应位置。

7.根据权利要求1所述的层叠组合协同过滤推荐方法，其特征在于，所述的步骤6具体按照以下步骤实施：

假定集合I＝{c₁,c₂,…,c_k}表示矩阵R中的所有项目，但是目标项目t不在集合I中，

步骤6.1，从集合中取出其中一个项目c_j，查找出既对目标项目t又对项目c_j感兴趣的用户的集合；将用户-项目评分矩阵进行转置，

步骤6.2，利用公式(7)计算出目标项目t与项目c_j之间的相似度sim(c_j,t)；

项目之间相似性计算公式如下：

其中，sim(c_j,t)表示项目c_j和项目t的相似度；表示项目c_j的平均被评分值；和R_u,t表示用户u对项目c_j和t的评分值，

步骤6.3，重复步骤6.1和步骤6.2两个步骤，直到集合I中的所有项目完成与目标项目t的相似度计算。

8.根据权利要求1所述的层叠组合协同过滤推荐方法，其特征在于，所述的步骤7具体按照以下步骤实施：

对步骤6中计算所得到的目标项目t的相似度进行排序，依次取出其中的k个元素，设它们之间的相似性大小关系为：

sim(c₁,t)≥sim(c₂,t)≥…≥sim(c_k,t) (8)

与这k个相似度分别对应的项目i₁,i₂,…,i_k构成了目标项目t的最近邻项目集合：

I_nearest＝{c₁,c₂,…,c_k} (9)。

9.根据权利要求1所述的层叠组合协同过滤推荐方法，其特征在于，所述的步骤8中具体的评分步骤为：

对于目标项目集合I_target中的每一个项目t_j，根据目标用户a对步骤6中的最近邻项目集合I_nearest中的项目的兴趣偏好值和其他用户在最近邻项目上的兴趣偏好值的平均值，计算出目标用户a对目标项目集合I_target中的每一个项目t_j预测评分，记为

预测评分计算公式：

10.根据权利要求6所述的基于多特征信息融合技术的绝缘子识别检测方法，其特征在于，所述的步骤9具体为，将步骤(8)中计算得到的预测评分值按照从大到小的顺序依次进行排序，设排序的结果为：

选取前N个最高的预测评分，与这N个最高的预测评分值分别对应的目标项目是t₁,t₂,…,t_N,即组成了为目标用户a推荐的项目集合：

I_recommend＝{t₁,t₂,…,t_N} (12)。