CN110727876B - 一种用于智能零售系统的个性推荐算法 - Google Patents

Abstract

本发明公开了一种用于智能零售系统的个性推荐算法，能够用于预测目标用户兴趣偏好并为其推荐合适产品，包括：生成用户‑项目评分矩阵；通过改进的Pearson相似度计算公式得到用户相似性，得到用户的K最近邻；计算用户的预测评分；根据评分为用户推荐合适的商品。本发明通过对User‑based协同过滤算法中用户相似度的改进，提高对目标用户兴趣爱好预测的准确性和可靠性。

Description

一种用于智能零售系统的个性推荐算法

技术领域

本发明涉及智能零售技术领域，特别是一种用于智能零售系统的个性推荐算法。

背景技术

售货机销售的商品种类琳琅满目，而消费者生活节奏加快，消费时间碎片化，对“个性化”追求度高，因此如何在丰富的商品种类中为消费者推荐其可能感兴趣的商品，节约消费的时间是当前亟待解决的问题。另一方面，对于商家来说，及时了解消费者的兴趣偏好，把握消费者心理，对于制定适当的营销策略，提高利润来说尤为重要。智能零售系统能够结合自动售货机的实际需求，实现对用户的个性推荐以及后台的推荐管理功能。

现有的智能零售系统一般采用协同过滤算法。协同过滤的概念一开始是由Goldberg等人提出，通过分析其他用户对目标用户产生的影响来进行对目标用户的推荐。该算法最原始的思想是在对目标用户推荐时参考与其爱好、品味一致的好友用户的意见，当用户需要对不熟悉的商品进行购买时，通常求助身边与自己爱好一致的知己朋友，根据他们的建议来最终确定消费对象。

现有的协同过滤算法在计算用户之间的相似度时，由于算法的局限性，有很大可能出现两个用户之间的共同评分项目很少但由于评分较高因此却排在前面的情况，即过度评估了两个用户之间的相似程度，这样直接导致了预测的不准确性。

发明内容

本发明的目的在于提供一种用于智能零售系统的个性推荐算法。

实现本发明目的的技术解决方案为：一种用于智能零售系统的个性推荐算法，包括以下步骤：

生成用户-项目评分矩阵；

通过改进的Pearson相似度计算公式得到用户相似性，得到用户的K最近邻；

计算用户的预测评分；

根据评分为用户推荐合适的商品。

进一步的，生成用户-项目评分矩阵的具体方法为：

假设U＝{u₁,u₂,...,u_i,...,u_m}是m个元素的集合，用来表示推荐系统中的全体用户，I＝{i₁,i₂,...,i_j,...,i_n}是n个元素的集合，用来表示系统中的全体项目，矩阵中的每一个元素R_ij表示用户u_i对项目i_j的评分，将用户-项目评分矩阵R记为：

在矩阵中，如果用户未对项目进行评分，则元素R_ij记为0；定义I_u是用户u对系统中全体项目的评分列表，在公式(1)中对应矩阵R的行向量；定义U_i是项目i收到系统中全体用户的评分列表，在公式(2)中对应矩阵R的列向量。

进一步的，计算用户相似度的方法为：

Pearson相关系数用来描述向量之间的线性相关程度，其取值范围为[-1,1]；；用Pearson相关系数计算用户u与用户v之间的相似度：

其中，R_ui和R_vi分别表示用户u和用户v对项目i的评分，

和

分别表示用户u和用户v对所有已评分项目的平均评分，I_uv表示用户u和用户v共同评过分的项目集合；

引入修正因子α，将修正因子α与用户共同评分项目个数进行比较，而得到不同的公式计算相似度，修正后的基于Pearson相似性的计算公式为：

其中，I_u∩I_v为用户评分交集，|I_u∩I_v|为共同评分项目的个数，α为大于零的自然数；

通过变形，将式(3)改写为：

当|I_u∩I_v|大于等于修正因子α，即用户共同评分项目个数大于等于阈值α时，不对相似度进行修正；当|I_u∩I_v|小于修正因子α，即用户共同评分项目的个数小于阈值α时，修正Pearson相似度。

进一步的，寻找最近邻居的具体方法为：

将第上一步算出的sim'(u,v)按照从大到小降序排列，寻找用户u近邻列表{u₁,u₂,...u_n}，其中sim'(u,u₁)≥sim'(u,u₂)≥...≥sim'(u,u_n)，然后从用户u的邻居列表中选择最近邻。

从用户u的邻居列表中选择最近邻的方法为：采用固定值法，设置固定值k，列表的前k个用户作为用户u的k最近邻，记为KNN(u)。

与现有技术相比，本发明的显著优点为：(1)本发明通过引入修正因子对算法进行改进来避免出现两个用户之间的共同评分项目很少但由于评分较高因此却排在前面的情况，提高了协同过滤算法的准确性和可靠性；(2)本发明提出了优化的用户-项目混合协同过滤算法进行数据分析和挖掘的思想，通过分析消费者历史行为记录，预测兴趣偏好并对其产生推荐；(3)本发明将运用在自动售货机行业，作为自动售货机推荐系统在丰富的商品种类中为消费者推荐其可能感兴趣的商品，节约消费者的时间。

附图说明

图1为基于用户的协同过滤算法的流程图。

图2为本发明改进后的协同过滤算法具体流程图。

图3为五折交叉验证数据划分示意图。

图4为参数α对MAE的影响图。

图5为改进Pearson相似度的user-based算法不同k时MAE结果图。

图6为User-based协同过滤中各相似度计算公式下MAE均值图。

具体实施方式

协同过滤算法是一种能够为目标用户推荐喜爱商品的算法。协同过滤算法的原理是基于人与人之间在喜好、品味上会有某种程度的相似，并且在较长时间段中，人们的喜好不会产生突然的变化。每位用户都能找到和自身兴趣喜好相似的其他用户好友，并共同组成一个用户组别，在这个用户组别内可以通过分析用户好友的爱好品味来对该目标用户可能喜欢的商品进行预测。

基于用户的协同过滤算法步骤如下：

(1)构造用户-项目评分矩阵

假设U＝{u₁,u₂,...,u_i,...,u_m}是m个元素的集合，用来表示推荐系统中的全体用户，I＝{i₁,i₂,...,i_j,...,i_n}是n个元素的集合，用来表示系统中的全体项目，矩阵中的每一个元素R_ij表示用户u_i对项目i_j的评分，可以把用户-项目评分矩阵R记为：

在矩阵中，如果用户未对项目进行评分，则元素R_ij记为0。

此外，定义I_u是用户u对系统中全体项目的评分列表，在公式(1)中对应矩阵R的行向量；定义U_i是项目i收到系统中全体用户的评分列表，在公式(1)中对应矩阵R的列向量。

R_ij的表现方式可以根据具体情况而选择。可以用0-1的布尔值来表示R_ij，0和1分别表示用户没有对该项目产生行为和已经对该项目产生行为，这里的行为包括消费者的浏览、收藏、购买、评价等操作；也可以用实数值来表示R_ij的大小，例如在基于协同过滤算法的推荐系统广泛使用的MoiveLens数据集中，用1-5的分值来分别说明用户对某电影的喜爱程度，R_ij的值越大表示用户对该电影越喜爱。

(2)计算用户相似度

用户间的相似度可以通过相似性计算公式得到。对应步骤(1)中的评分矩阵R，相似性是在行间进行的，即对行向量之间的相似性进行计算。本发明采用的相似度计算公式是皮尔逊相关系数。

Pearson相关系数用来描述向量之间的线性相关程度，其取值范围为[-1,1]。其中值越接近于-1，说明向量之间的负相关性越高，用户之间有相反的兴趣偏好；其中值越接近于1，说明向量之间的正相关性越高，用户之间有更相似的兴趣偏好；若值为零，说明向量之间没有相关性，用户之间相似度为零。用Pearson相关系数计算用户u与用户v之间的相似度：

其中，R_ui和R_vi分别表示用户u和用户v对项目i的评分，

和

分别表示用户u和用户v对所有已评分项目的平均评分，I_uv表示用户u和用户v共同评过分的项目集合。

(3)寻找最近邻居

将第二步算出的sim(u,v)按照从大到小降序排列，寻找用户u近邻列表{u₁,u₂,...u_n}，其中sim(u,u₁)≥sim(u,u₂)≥...≥sim(u,u_n)，然后从用户u的邻居列表中选择最近邻。本发明采用固定值法：设置固定值k，列表的前k个用户作为用户u的k最近邻，记为KNN(u)。

(4)评分预测

选取了KNN(u)后，根据KNN(u)的评价记录，可以计算用户u对其未评过分的项目i(即

)的评分P_ui。采用公式(3)进行预测：

基于用户评分均值的加权平均值法，考虑用户评分尺度，可以把评分公式修正如下：

其中，KNN(u)表示用户u的k最近邻，R_vi表示u的最近邻v对项目i的评分。

结合上述步骤(1)～(4)，基于用户的协同过滤算法的流程如图1所示。

其中由式(3)可以看到，在计算用户之间的相似度时，分子和分母只考虑两个用户评分向量的交集，很可能出现两个用户之间的共同评分项目很少但由于评分较高因此却排在前面的情况，即过度评估了两个用户之间的相似程度，这样会导致预测的不准确性，本发明则对其进行修正。

本发明引入修正因子α可以有效地解决以上问题，修正后的基于Pearson相似性的计算公式为：

其中，I_u∩I_v为用户评分交集，|I_u∩I_v|为共同评分项目的个数。α为大于零的自然数，其值通过训练得到。

通过变形，将式(4)改写为：

从上式可以看出，当|I_u∩I_v|大于等于修正因子α，即用户共同评分项目个数大于等于阈值α时，不对相似度进行修正；反之，当|I_u∩I_v|小于修正因子α，即用户共同评分项目的个数小于阈值α时，修正Pearson相似度，防止在用户之间造成相似度的过度估计。

结合以上内容，本发明改进后的基于用户的协同过滤算法具体流程图如图2所示，具体包括：根据用户历史评分记录对用户偏好进行建模，生成用户—项目评分矩阵；通过改进后的Pearson相似度计算公式对系统中全体用户之间进行相似度计算，对相似度大小进行从大到小排序，选择前k个用户作为目标用户的最近邻居；根据最近邻居的历史评分，预测目标用户对项目的评分，并将评分较高的项目组成推荐列表。

本发明在计算用户相似度这一步骤中做出改进。引入修正因子α，将修正因子α与用户共同评分项目个数进行比较，而得到不同的公式计算相似度。

通过对Pearson相似度计算公式改进，改进后的公式与原公式相比较，改进后的Pearson相似度计算公式避免了原公式在计算用户之间的相似度时，分子和分母只考虑两个用户评分向量的交集，很可能出现两个用户之间的共同评分项目很少但由于评分较高因此却排在前面的情况，即过度评估了两个用户之间的相似程度，从而导致预测的不准确性这一缺点。

本发明中引用到的修正因子α主要通过以下实验验证得到。

本发明试验中的测试数据采用的是协同过滤算法研究中常用的MovieLens100k数据集。该数据集中涵盖了943名使用者对1682部电影产生的约100000条打分信息。打分采取5分制，1～5中的整数表示用户对电影的评分，分数越高，用户对电影越喜欢。经过统计与分析，该数据集中每位用户至少对20部电影做出了评分。应用本数据集进行实验分析及效果验证的最大优点是，MovieLens数据集自带脚本，可以将原始数据划分为五组不同的测试集、训练集。

一、实验方案设计

以平均绝对误差(MAE)作为评估算法质量的指标，具体计算公式如下：

其中p_i为预测出的评分,q_i为用户实际评分，N代表测试集大小，MAE越小，推荐算法的质量越高。

为了验证本发明优化Pearson相似度的计算公式是可行的，并且有利于提高推荐的准确度，本发明设计如下的实验方案：

①分析修正参数α对Pearson相似度计算公式的影响，并选取最为合适的α值；

②数据集上分别在应用余弦相似度、Pearson相似度及其改进计算公式运行基于用户的协同过滤算法，并比较不同相似度计算条件下的MAE值；

在对实验数据集进行纵向处理时，可以使用多重交叉验证方法。将多重交叉验证基本思路概括为：用特定的方式对原始数据集进行处理，分别建立训练集、测试集，在训练集上运行优化目标算法，最后用测试集去检验目标算法，进而说明算法的有效性。

本发明中实验采取五重交叉验证方法，即一共在MovieLens数据集上进行五次实验，最后计算实验结果的平均值并以此作为最终的算法运行结果。

首先将MovieLens 100k数据集平均分为如图3中所示的A、B、C、D、E五份，再按4：1的比例划分出五种不同的情况：将80％的样本量，即数据集中的四份作为训练集，用于推荐模型的训练；剩余20％的样本量，即数据集中的一份作为测试集，用于验证推荐算法的质量。由于MovieLens数据集总数量为100k，因此在分割数据时，训练集和测试集记录分别为80000条和20000条。

由此可以看出，使用五重交叉验证技术在完整的MovieLens数据集上共进行了五轮实验且在实验过程中，数据互相不重复，对原始的100k条数据信息进行了充分利用。

二、实验结果及分析

(1)具体实验结果

①分析修正因子α对Pearson相似度计算公式的影响，从中选取合适的α值；

为了提高基于用户的协同过滤算法进行推荐时的准确度，采用修正因子α对传统的Pearson相似度计算公式进行修正。为了降低近邻数目k对推荐结果造成的影响，在算法实现时将近邻数目k取值为100。下表1记录了参数α对MAE均值的影响，结果图如下表1所示。

表1参数α对MAE的影响表

从图4可以看出，当阈值α等于55时，推荐的效果最佳。

②在α值一定的情况下，改变邻居数目k，判断最近邻居数目的变化对推荐效果的影响；

根据实验①，这里改进Pearson相似性计算公式里的阈值α取值为55，近邻居数目以10为间隔，从10开始递增到120结束。实验结果如表2，图5所示。

表2改进Pearson相似度的user-based算法不同k取值下MAE结果表

③分别应用余弦相似度、Pearson相似度及其改进计算公式，计算不同邻居数目下的MAE平均值，对三种情况进行对比分析；

同样的，最近邻居数目k以10为间隔，从10开始递增到120结束。实验结果如表3，图6所示：

表3 User-based协同过滤中各相似度计算公式下MAE均值表

(2)实验分析

通过对图5中单条曲线、图6中不同相似度计算方法下的MAE均值结果曲线进行观察分析，得到以下结论：

首先，就图5中的实验曲线进行分析，在改进Pearson相似度计算公式的用户协同过滤算法中，随着目标用户最近邻居数的增加，MAE均值呈现下降趋势。从下降幅度上看，当最近邻居数目不超过60时，下降速度快且下降幅度也很大；而当邻居数目继续增加时，曲线的下降速度减慢，且降幅变小，直到邻居数目超过90，曲线基本已经趋于平缓，此时MAE的值随着邻居数目增长的变化不再明显；

其次，对图6中的三条曲线进行对比，考察不同相似度计算公式下用户协同过滤算法的性能。改进Pearson相似度计算公式所对应的曲线整体处于两种传统相似性计算公式所对应曲线的下方，说明使用Pearson改进公式时的MAE均值更小，验证了与两种传统公式相比，使用改进Pearson相似度计算公式下的用户协同过滤算法进行预测，结果最佳，即改进公式是可行有效的。

此外，通过对图6中的曲线进行对比，可以看出在传统的两种相似度计算公式中，Pearson相似度计算公式效果更佳一些。

最后，能看出在相同的相似度计算公式下，MAE值随邻居数目改变而发生变化的幅度以及曲线的波动情况也有所不同，主要原因是来自于数据的自身属性，如数据的稀疏性、用户兴趣行为差异、商品项目差异等因素，不同的数据源得到具有不同变化细节的曲线是非常正常的。

Claims (3)

1.一种用于智能零售系统的个性推荐算法，其特征在于，包括以下步骤：

生成用户-项目评分矩阵；

通过改进的Pearson相似度计算公式确定用户相似性，得到用户的K最近邻；

计算用户的预测评分；

根据评分为用户推荐合适的商品；

生成用户-项目评分矩阵的具体方法为：

假设U＝{u₁,u₂,...,u_i,...,u_m}是m个元素的集合，用来表示推荐系统中的全体用户，I＝{i₁,i₂,...,i_j,...,i_n}是n个元素的集合，用来表示系统中的全体项目，矩阵中的每一个元素R_ij表示用户u_i对项目i_j的评分，将用户-项目评分矩阵R记为：

在矩阵中，如果用户未对项目进行评分，则元素R_ij记为0；定义I_u是用户u对系统中全体项目的评分列表，在公式(1)中对应矩阵R的行向量；定义U_i是项目i收到系统中全体用户的评分列表，在公式(1)中对应矩阵R的列向量；

计算用户相似度的方法为：

Pearson相关系数用来描述向量之间的线性相关程度，其取值范围为[-1,1]；用Pearson相关系数计算用户u与用户v之间的相似度：

其中，R_ui和R_vi分别表示用户u和用户v对项目i的评分，

和

分别表示用户u和用户v对所有已评分项目的平均评分，I_uv表示用户u和用户v共同评过分的项目集合；

引入修正因子α，将修正因子α与用户共同评分项目个数进行比较，而得到不同的公式计算相似度，修正后的基于Pearson相似性的计算公式为：

其中，I_u∩I_v为用户评分交集，|I_u∩I_v|为共同评分项目的个数；

通过变形，将式(3)改写为：

当|I_u∩I_v|大于等于修正因子α，即用户共同评分项目个数大于等于阈值α时，不对相似度进行修正；当|I_u∩I_v|小于修正因子α，即用户共同评分项目的个数小于阈值α时，修正Pearson相似度。

2.根据权利要求1所述的用于智能零售系统的个性推荐算法，其特征在于，寻找最近邻居，具体为：

将第上一步算出的sim′(u,v)按照从大到小降序排列，寻找用户u近邻列表{u₁,u₂,...u_n}，其中sim′(u,u₁)≥sim′(u,u₂)≥...≥sim′(u,u_n)，然后从用户u的邻居列表中选择最近邻。

3.根据权利要求2所述的用于智能零售系统的个性推荐算法，其特征在于，从用户u的邻居列表中选择最近邻的方法为：采用固定值法，设置固定值k，列表的前k个用户作为用户u的k最近邻，记为KNN(u)。

Images