CN103412948B - 基于聚类的协同过滤的商品推荐方法及系统 - Google Patents

Abstract

本发明属于数据挖掘技术领域，特别涉及一种基于聚类的协同过滤的商品推荐方法及系统，利用购物网站的API接口获取用户对商品的评分信息和商品的类型标签信息；根据用户的购买商品类型，对用户进行聚类；根据聚类的结果，并通过评分估值公式为用户‑商品评分矩阵中缺省评分赋予评分估值；计算矩阵中商品之间的相似度，对目标用户未购买商品进行预测评分，并为目标用户推荐预测评分最高的前N件商品，本发明相比现有技术具有如下优点：解决了数据稀疏性的问题，减少了不同用户的评分尺度不一致的问题，提高了缺省赋值的准确性，使得同一类中的用户的评分相似性最高，提高了缺省赋值的准确性。

Description

基于聚类的协同过滤的商品推荐方法及系统

技术领域

本发明属于数据挖掘技术领域，特别涉及一种基于聚类的协同过滤的商品推荐方法及系统。

背景技术

随着电子商务网站的快速发展，推荐系统已经被广泛研究和应用。推荐系统通过提取分析用户的资料、行为、评分等信息，获得用户的喜好，来帮助电商找到特定的用户为其推荐可能购买的产品，增加商品的销售量。

目前被广泛研究的推荐系统有的是采用基于内容的推荐算法、协同过滤推荐算法等。基于内容的推荐算法是通过用户购买过的产品的特征，为用户推荐与其相似的产品。这种算法的优点是可以处理冷启动问题，处理新加入的产品，并且这种算法不会受到打分稀疏性的问题，因为它不依赖于用户对产品的评分。但是它的缺点是无法处理像图形、视频和音乐这种难以分析提取内容特征的商品。与之相反，协同过滤算法则是利用用户-产品评分矩阵，计算用户或产品之间的相似度，利用相似度较高的邻居对其他产品进行评分预测，并根据预测评分的高低为目标用户进行推荐。但是每一个用户购买的产品数量通常不到产品总数的1％，所以造成用户-产品评分矩阵非常稀疏，从而使得推荐结果不佳。Sarwar等(Sarwar B,Karypis G,Konstan J,et al.Item-based collaborative filtering rec-ommendation algorithms.Proc 10th Int’1WWW Conf,Hong Kong,2001,1-5)通过计算商品之间的相似度，预测目标用户对未购买商品的可能打分，为目标用户推荐商品。Mooney等(Mooney RJ,Bennett PN,Roy L.Book recommending using text categorization withextracted information.Proc Recommender Systems Papers from 1998Workshop,Technical Report WS-98-08,1998)提出了基于文本分类的图书推荐系统。

通用的协同过滤方法由于存在稀疏性问题，导致推荐结果不准确，而普通的基于内容的推荐算法则对于视频、音乐等商品的内容特征提取困难。

发明内容

本发明的目的在于避免上述现有技术中的不足之处而提供了一种基于聚类的协同过滤的商品推荐方法及系统，本发明采取了如下技术方案：

基于聚类的协同过滤的商品推荐方法，包含以下步骤：

步骤1)利用购物网站的API接口获取用户对商品的评分信息和商品的类型标签信息；

步骤2)根据用户的购买商品类型，对用户进行聚类；

步骤3)根据聚类的结果，并通过评分估值公式为用户-商品评分矩阵中缺省评分赋予评分估值；

步骤4)计算矩阵中商品之间的相似度，对目标用户未购买商品进行预测评分，并为目标用户推荐预测评分最高的前N件商品。

所述步骤2)具体包括：

步骤2.1)用户c对商品s的评分表示为R_c,s，用户对商品类型i的评分公式为，

其中，分子表示，用户c已购买的商品中属于类型i的商品的评分的求和，分子|s|表示用户c已购买的商品中属于类型i的商品总数,1≤t_c,i≤5；

步骤2.2)根据用户对商品类型的评分，构建出一个用户-类型评分矩阵；

步骤2.3)采用K-means算法，首先选取k＝10～15个用户作为初始的聚类中心，用户c的类型评分向量表示为U_c＝{t₁,t₂,t₃,...,t_k},t_i表示用户c对类型i的评分，称为一个用户节点，计算每个用户节点与聚类中心的欧式距离，并根据最小的距离对行向量的类别进行划分，重新计算每个聚类的均值，作为聚类的中心，利用新的聚类中心，重读上述过程，迭代多次之后，直到聚类中心不再发生变化为止，最终将所有的用户节点划分为k个类。

所述步骤3)具体包括：

步骤3.1)根据步骤a获取的用户对已购买商品的评分信息，建立一个用户-商品评分矩阵；

步骤3.2)计算每个用户的平均打分值

步骤3.3)设定矩阵的系数度α，α表示为表明的是矩阵的稀疏程度，根据α的值，我们对用户-商品矩阵以概率P＝1-α的概率填充评分矩阵中的空值；

步骤3.4)对评分矩阵中的空缺值进行缺省赋值，得到稀疏度为α的密度化的评分矩阵。用户C对商品S的估计评分公式为其中集合U＝{购买过商品S并且与用户C属于同一个分类的所有用户}，表示属于集合U的用户对商品S的打分，表示集合U中的用户的平均打分。

所述步骤4)还具体包括：

步骤4.1)根据评分矩阵，计算任意两个商品之间的相似性，利用修正的余弦值作为相似性计算公式，如下所示，

其中集合U＝{既买过商品i又买过商品j的所有用户}，R_u,i表示用户u对商品i的评分，表示用户u的平均评分；

步骤4.2)为每个商品选出相似性最高的k件商品；

步骤4.3)对目标用户u的未购买商品i进行预测评分。评分公式如下所示，其中N＝{与商品i最相似的并且目标用户u购买过的前N件商品}，sim_i,N表示商品i与商品N的相似度，R_u,N表示用户u对商品N的评分；

步骤4.4)将预测评分最高前N个商品推荐给目标用户。

基于聚类的协同过滤的商品推荐系统，包含以下结构：

获取信息模块，利用购物网站的API接口获取用户对商品的评分信息和商品的类型标签信息；

聚类模块，根据用户的购买商品类型，对用户进行聚类；

估值模块，根据聚类的结果，并通过评分估值公式为用户-商品评分矩阵中缺省评分赋予评分估值；

评分推荐模块，计算矩阵中商品之间的相似度，对目标用户未购买商品进行预测评分，并为目标用户推荐预测评分最高的前N件商品。

聚类模块还进一步包含：

用户c对商品s的评分表示为R_c,s，用户对商品类型i的评分公式为，

其中，分子表示，用户c已购买的商品中属于类型i的商品的评分的求和，分子|s|表示用户c已购买的商品中属于类型i的商品总数,1≤t_c,i≤5；

根据用户对商品类型的评分，构建出一个用户-类型评分矩阵；

采用K-means算法，首先选取k＝10～15个用户作为初始的聚类中心，用户c的类型评分向量表示为U_c＝{t₁,t₂,t₃,...,t_k},t_i表示用户c对类型i的评分，称为一个用户节点，计算每个用户节点与聚类中心的欧式距离，并根据最小的距离对行向量的类别进行划分，重新计算每个聚类的均值，作为聚类的中心，利用新的聚类中心，重复上述过程，迭代多次之后，直到聚类中心不再发生变化为止，最终将所有的用户节点划分为k个类。

估值模块还进一步包含：

根据已获取的用户对已购买商品的评分信息，建立一个用户-商品评分矩阵；

计算每个用户的平均打分值

设定矩阵的系数度α，α表示为表明的是矩阵的稀疏程度，根据α的值，我们对用户-商品矩阵以概率P＝1-α的概率填充评分矩阵中的空值。

对评分矩阵中的空缺值进行缺省赋值，得到稀疏度为α的密度化的评分矩阵。用户C对商品S的估计评分公式为其中集合U＝{购买过商品S并且与用户C属于同一个分类的所有用户}，表示属于集合U的用户对商品S的打分，表示集合U中的用户的平均打分。

评分推荐模块还进一步包含：

根据评分矩阵，计算任意两个商品之间的相似性，利用修正的余弦值作为相似性计算公式，如下所示，

其中集合U＝{既买过商品i又买过商品j的所有用户}，R_u,i表示用户u对商品i的评分，表示用户u的平均评分；

为每个商品选出相似性最高的k件商品；

对目标用户u的未购买商品i进行预测评分。评分公式如下所示，其中N＝{与商品i最相似的并且目标用户u购买过的前N件商品}，sim_i,N表示商品i与商品N的相似度，R_u,N表示用户u对商品N的评分；

将预测评分最高前N件商品推荐给目标用户。

本发明相比现有技术具有如下优点：

(1)使用缺省赋值的方法解决了数据稀疏性的问题。

(2)使用偏好平均代替平均分的方法来为矩阵的缺省值赋值，减少了不同用户的评分尺度不一致的问题，提高了缺省赋值的准确性。

(3)利用聚类算法将喜好相似的用户聚到同一类中，这样可以使得同一类中的用户的评分相似性最高，缺省赋值在同一类中进行，提高了缺省赋值的准确性。

附图说明

图1为本推荐方法流程图；

图2为本推荐系统模块结构图；

图3为本推荐系统在不同稀疏度下与普通的推荐系统的推荐准确性比较；

图4为平均绝对误差随矩阵密度的变化曲线；

图5为平均绝对误差随聚类个数k的变化曲线。

具体实施方式

当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例：如图1所示，我们使用movielens的评分数据，Movielens是一个电影网站，用户在看完网站上的电影之后可以对其进行评分，分值为1-5分，分值越高表明用户越喜欢该电影。我们共获取了其中943位用户的数据。这些用户对1682件共18种类型的电影产品进行了100000次的评分。为了验证我们的推荐结果的准确性，我们取出20％的评分数据作为测试集。我们的实验结果度量方法采用MAE平均绝对误差来衡量，公式如下所示这里，N表示预测评分的总数，P_i表示第i个预测评分，R_i表示对应的测试集中第i个电影的实际评分。MAE越小，表明我们的预测结果越准确。实验中，我们首先研究了矩阵稀疏度对系统推荐性能的影响。稀疏度按照10％递减，分别进行测试。我们又通过改变聚类的k值研究了聚类算法的k值对预测准确性的影响。

如图2所示，在计算完相似性之后，对每件商品与其他商品之间的相似性进行排序，选出前N个相似性最高的商品作为他们的近邻。从图中可以看出，我们的协同过滤算法比普通的协同过滤的算法的推荐准确度要高。并且的那个稀疏度为90％时，推荐算法的推荐性能最好。平均绝对误差随邻居个数的增加而减少，并且当邻居个数为30时，平均绝对误差最小，推荐效果最好。

如图3所示，当矩阵密度在(0,7％)之间时，平均绝对误差随矩阵密度的增高而急剧降低，当矩阵密度在(7％，40％)之间时，平均绝对误差随矩阵密度的增高而增高。当矩阵密度在(5％-15％)之间时，平均绝对误差处在最低的水平(小于0.755)。

如图4所示，当k＝30时，平均绝对误差最低，推荐效果最好。

下表是K-means聚类结果示意图，其中用户1、345、143为同一类，他们的相似度比较高。用户i,j,m为另外一类。

表1用户聚类结果示意图

以上对本发明所提供的一种基于横向摩擦的单表面纳米发电机及其制备方法进行了详细介绍，以上参照附图对本申请的示例性的实施方案进行了描述。本领域技术人员应该理解，上述实施方案仅仅是为了说明的目的而所举的示例，而不是用来进行限制，凡在本申请的教导和权利要求保护范围下所作的任何修改、等同替换等，均应包含在本申请要求保护的范围内。

Claims (4)

1.基于聚类的协同过滤的商品推荐方法，其特征在于包含以下步骤:

步骤1)利用购物网站的API接口获取用户对商品的评分信息和商品的类型标签信息；

步骤2)根据用户的购买商品类型，对用户进行聚类；

步骤3)根据聚类的结果，并通过评分估值公式为用户-商品评分矩阵中缺省评分赋予评分估值；

步骤4)计算矩阵中商品之间的相似度，对目标用户未购买商品进行预测评分，并为目标用户推荐预测评分最高的前N件商品；

所述步骤2)具体包括：

步骤2.1)用户c对商品s的评分表示为R_c,s，用户对商品类型i的评分公式为，

<mrow> <msub> <mi>t</mi> <mrow> <mi>c</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>s</mi> <mo>&amp;Element;</mo> <mi>i</mi> </mrow> </munder> <msub> <mi>R</mi> <mrow> <mi>c</mi> <mo>,</mo> <mi>s</mi> </mrow> </msub> </mrow> <mrow> <mo>|</mo> <mi>s</mi> <mo>|</mo> </mrow> </mfrac> </mrow>

其中，分子表示，用户c已购买的商品中属于类型i的商品的评分的求和，分母|s|表示用户c已购买的商品中属于类型i的商品总数,1≤t_c,i≤5；

步骤2.2)根据用户对商品类型的评分，构建出一个用户-类型评分矩阵；

步骤2.3)采用K-means算法，首先选取k＝10～15个用户作为初始的聚类中心，用户c的类型评分向量表示为U_c＝{t₁,t₂,t₃,...,t_k},t_i表示用户c对类型i的评分，称为一个用户节点，计算每个用户节点与聚类中心的欧式距离，并根据最小的距离对行向量的类别进行划分，重新计算每个聚类的均值，作为聚类的中心，利用新的聚类中心，重复上述过程，迭代多次之后，直到聚类中心不再发生变化为止，最终将所有的用户节点划分为k个类；

所述步骤3)具体包括：

步骤3.1)根据步骤1)获取的用户对已购买商品的评分信息，建立一个用户-商品评分矩阵；

步骤3.2)计算每个用户的平均打分值

步骤3.3)设定矩阵的系数度α，α表示为表明的是矩阵的稀疏程度，根据α的值，我们对用户-商品矩阵以概率P＝1-α的概率填充评分矩阵中的空值；

步骤3.4)对评分矩阵中的空缺值进行缺省赋值，得到稀疏度为α的密度化的评分矩阵；用户C对商品S的估计评分公式为其中集合U＝{购买过商品S并且与用户C属于同一个分类的所有用户}，表示属于集合U的用户对商品S的打分， 表示集合U中的用户的平均打分。

2.根据权利要求1所述的基于聚类的协同过滤的商品推荐方法，其特征在于所述步骤4)还具体包括：

步骤4.1)根据评分矩阵，计算任意两个商品之间的相似性，利用修正的余弦值作为相似性计算公式，如下所示，

<mrow> <mi>s</mi> <mi>i</mi> <mi>m</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mo>&amp;Sigma;</mo> <mrow> <mi>u</mi> <mo>&amp;Element;</mo> <mi>U</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>R</mi> <mrow> <mi>u</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mover> <mi>R</mi> <mo>&amp;OverBar;</mo> </mover> <mi>u</mi> </msub> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <msub> <mi>R</mi> <mrow> <mi>u</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mover> <mi>R</mi> <mo>&amp;OverBar;</mo> </mover> <mi>u</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <msqrt> <mrow> <msub> <mo>&amp;Sigma;</mo> <mrow> <mi>u</mi> <mo>&amp;Element;</mo> <mi>U</mi> </mrow> </msub> <msup> <mrow> <mo>(</mo> <msub> <mi>R</mi> <mrow> <mi>u</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mover> <mi>R</mi> <mo>&amp;OverBar;</mo> </mover> <mi>u</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <msqrt> <mrow> <msub> <mo>&amp;Sigma;</mo> <mrow> <mi>u</mi> <mo>&amp;Element;</mo> <mi>U</mi> </mrow> </msub> <msup> <mrow> <mo>(</mo> <msub> <mi>R</mi> <mrow> <mi>u</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mover> <mi>R</mi> <mo>&amp;OverBar;</mo> </mover> <mi>u</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow> </mfrac> </mrow>

其中集合U＝{既买过商品i又买过商品j的所有用户}，R_u,i表示用户u对商品i的评分，表示用户u的平均评分；

步骤4.2)为每个商品选出相似性最高的k件商品；

步骤4.3)对目标用户u的未购买商品i进行预测评分，评分公式如下所示，其中N＝{与商品i最相似的并且目标用户u购买过的前N件商品}，sim_i,N表示商品i与商品N的相似度，R_u,N表示用户u对商品N的评分；

步骤4.4)将预测评分最高前N个商品推荐给目标用户。

3.一种基于聚类的协同过滤的商品推荐系统，其特征在于包含：

获取信息模块，利用购物网站的API接口获取用户对商品的评分信息和商品的类型标签信息；

聚类模块，根据用户的购买商品类型，对用户进行聚类；

估值模块，根据聚类的结果，并通过评分估值公式为用户-商品评分矩阵中缺省评分赋予评分估值；

评分推荐模块，计算矩阵中商品之间的相似度，对目标用户未购买商品进行预测评分，并为目标用户推荐预测评分最高的前N件商品；

聚类模块还进一步包含：

用户c对商品s的评分表示为R_c,s，用户对商品类型i的评分公式为，

<mrow> <msub> <mi>t</mi> <mrow> <mi>c</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>s</mi> <mo>&amp;Element;</mo> <mi>i</mi> </mrow> </munder> <msub> <mi>R</mi> <mrow> <mi>c</mi> <mo>,</mo> <mi>s</mi> </mrow> </msub> </mrow> <mrow> <mo>|</mo> <mi>s</mi> <mo>|</mo> </mrow> </mfrac> </mrow>

其中，分子表示，用户c已购买的商品中属于类型i的商品的评分的求和，分母|s|表示用户c已购买的商品中属于类型i的商品总数,1≤t_c,i≤5；

根据用户对商品类型的评分，构建出一个用户-类型评分矩阵；

采用K-means算法，首先选取k＝10～15个用户作为初始的聚类中心，用户c的类型评分向量表示为U_c＝{t₁,t₂,t₃,...,t_k},t_i表示用户c对类型i的评分，称为一个用户节点，计算每个用户节点与聚类中心的欧式距离，并根据最小的距离对行向量的类别进行划分，重新计算每个聚类的均值，作为聚类的中心，利用新的聚类中心，重复上述过程，迭代多次之后，直到聚类中心不再发生变化为止，最终将所有的用户节点划分为k个类；

估值模块还进一步包含：

根据已获取的用户对已购买商品的评分信息，建立一个用户-商品评分矩阵；

计算每个用户的平均打分值

设定矩阵的系数度α，α表示为表明的是矩阵的稀疏程度，根据α的值，我们对用户-商品矩阵以概率P＝1-α的概率填充评分矩阵中的空值；

对评分矩阵中的空缺值进行缺省赋值，得到稀疏度为α的密度化的评分矩阵，用户C对商品S的估计评分公式为其中集合U＝{购买过商品S并且与用户C属于同一个分类的所有用户}，表示属于集合U的用户对商品S的打分， 表示集合U中的用户的平均打分。

4.根据权利要求3所述的基于聚类的协同过滤的商品推荐系统，其特征在于评分推荐模块还进一步包含：

根据评分矩阵，计算任意两个商品之间的相似性，利用修正的余弦值作为相似性计算公式，如下所示，

<mrow> <mi>s</mi> <mi>i</mi> <mi>m</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mo>&amp;Sigma;</mo> <mrow> <mi>u</mi> <mo>&amp;Element;</mo> <mi>U</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>R</mi> <mrow> <mi>u</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mover> <mi>R</mi> <mo>&amp;OverBar;</mo> </mover> <mi>u</mi> </msub> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <msub> <mi>R</mi> <mrow> <mi>u</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mover> <mi>R</mi> <mo>&amp;OverBar;</mo> </mover> <mi>u</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <msqrt> <mrow> <msub> <mo>&amp;Sigma;</mo> <mrow> <mi>u</mi> <mo>&amp;Element;</mo> <mi>U</mi> </mrow> </msub> <msup> <mrow> <mo>(</mo> <msub> <mi>R</mi> <mrow> <mi>u</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mover> <mi>R</mi> <mo>&amp;OverBar;</mo> </mover> <mi>u</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <msqrt> <mrow> <msub> <mo>&amp;Sigma;</mo> <mrow> <mi>u</mi> <mo>&amp;Element;</mo> <mi>U</mi> </mrow> </msub> <msup> <mrow> <mo>(</mo> <msub> <mi>R</mi> <mrow> <mi>u</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mover> <mi>R</mi> <mo>&amp;OverBar;</mo> </mover> <mi>u</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow> </mfrac> </mrow>

其中集合U＝{既买过商品i又买过商品j的所有用户}，R_u,i表示用户u对商品i的评分，表示用户u的平均评分；

为每个商品选出相似性最高的k件商品；

对目标用户u的未购买商品i进行预测评分，评分公式如下所示，其中N＝{与商品i最相似的并且目标用户u购买过的前N件商品}，sim_i,N表示商品i与商品N的相似度，R_u,N表示用户u对商品N的评分；

将预测评分最高前N件商品推荐给目标用户。