CN106548255A - 一种基于海量用户行为的商品推荐方法 - Google Patents

Abstract

本发明公开了一种基于海量用户行为的商品推荐方法，其实现过程为：首先进行信息采集，获取用户行为信息；然后进入用户聚类阶段，将获取的用户行为信息聚类后分成不同的组；对聚类后的用户行为信息进行相似度计算；根据取得的相似度值，进行商品推荐。该基于海量用户行为的商品推荐方法与现有技术相比，有效地减小计算规模从而降低计算难度，同时也提高了推荐的效果，同时由于分析用户行为，可以在新用户没有发生购买商品的情况下找出相似用户，解决了冷启动问题，实用性强。

Description

一种基于海量用户行为的商品推荐方法

技术领域

本发明涉及计算机应用技术领域，具体地说是一种实用性强、基于海量用户行为的商品推荐方法。

背景技术

协同过滤算法作为一种重要的推荐算法，在电子商务领域有着广泛的应用。协同过滤算法分为基于用户和基于商品的两种算法，与传统的基于分析内容和分析用户的推荐算法不用，基于用户协同过滤算法分析不同用户与目标用户的相似性，推荐相似用户喜欢的物品，在这些物品中寻找相关商品进行推荐。目标就是把用户-商品评分矩阵R分解成相似用户因子矩阵和用户-物品矩阵乘的形式，即R＝UV，进而分解成为两个低维的矩阵对未知商品做出推荐。

基于用户的协同过滤推荐算法原理如下：

1.找到与目标用户相似的k个用户，即计算U。由于U中较小的值对R的影响不大，因而值计算U中最大的前k个值，可以有效的减小计算量。对于相似度的计算可以采用欧几里得距离、pearson相关系数、Jaccard距离等。

2.对于找到的k个相似用户找出其喜欢的商品，即计算V。预测目标用户对这些用户的评分，即计算R＝UV。

3.去除用户已经消费过的商品。

4.对剩余物品进行排序，返回前N个物品进行推荐。

基于用户的协同过滤算法在实践中取得巨大的应用价值。但当用户规模急剧增加时，则会出现计算速度和推荐效果问题，具体表现如下：

1.数据稀疏性问题，对于海量的用户，大部分用户之间的相似度很低，不相似的用户之间相似度趋近于零，因此在用户相似度矩阵中存在着大量的稀疏数据。对于海量用户，由于矩阵规模极大，因此矩阵的计算复杂，使得应用性降低。

2.需要处理新用户问题，存在冷启动问题。由于传统的基于用户的协同过滤推荐算法在计算用户的相似度时采用用户对商品的喜爱程度，对于新用户由于没有历史消费数据，因而无法做到推荐。

基于此，本发明提供一种基于海量用户行为的商品推荐方法，来解决上述弊端：通过对海量用户分析其行为，并且对各种行为进行量化处理，对用户采用k-means方法进行聚类可以有效的区分不同类型的用户。由于聚类后，相同类中用户行为相似，因而对商品的爱好也具有相似性，在同类中进行基于用户的协同过滤推荐算法可以有效地减小计算规模从而降低计算难度，同时也提高了推荐的效果，同时由于分析用户行为，可以在新用户没有发生购买商品的情况下找出相似用户，解决了冷启动问题。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强、基于海量用户行为的商品推荐方法。

一种基于海量用户行为的商品推荐方法，其实现过程为：

一、首先进行信息采集，获取用户行为信息；

二、然后进入用户聚类阶段，将获取的用户行为信息聚类后分成不同的组；

三、对聚类后的用户行为信息进行相似度计算；

四、根据取得的相似度值，进行商品推荐。

步骤一的信息采集过程，是通过用户兴趣调查问卷和网站取得用户行为信息，具体步骤为：

兴趣调查问卷是指通过设置感兴趣的问题进行调查，该问题包括性别、年龄、教育背景、工作类型、工作经验；

网站取得的用户信息包括用户浏览下载收藏商品行为、用户浏览网页习惯包括打字速度、网页翻页速度、上网时长和频率、地理信息变动信息，且这些信息采用用户浏览器上的JavaScript程序记录并分析过滤上传。

所述用户聚类阶段的实现过程为：首先对于采集的用户行为信息进行量化，然后对量化的数据进行加权后通过k-means进行聚类分成不同的组。

对信息进行量化的过程为：对于包括性别的二分类问题采用0,1数据标注，多分类问题采用0-1编码转换为二分类问题，量化的内容包括地理位置、教育背景、上网频率、上网时长、打字速度的用于区分用户的行为。

对量化的数据加权分类的过程为：对于已经量化的数据[k₁,k₂...k_n]，设置特征参数[λ₁,λ₂...λ_n]，对于得到的加权后的数据[λ₁k₁,λ₂k₂...λ_nk_n]采用k-means进行聚类分成不同的组，对于缺失数据采用平均值补齐。

相似度计算的具体过程为：对于目标用户，根据聚类中后同组中的所有用户，计算每个用户对商品的评分；用户之间的相似距离采用以下公式：计算相互距离，其中x，y分别为不同的用户，x_i、y_i分别为其喜爱的商品集合中第i个特征的评分。

商品推荐的具体过程为：

对于目标用户w，计算聚类后目标用户所属的类，即聚类分成的含有目标用户的组，在类内寻找与目标用户w相似距离最近的k₁个相似用户，对于每个相似用户，通过选取该用户的网站操作记录选取前k₂个喜欢的商品；

对于k₁*k₂个商品，目标用户w对商品i的喜欢程度为其中，S(w,k)为目标用户w与相似用户k之间的相似距离，P(k,i)为目标用户k对商品i喜爱评分；

选取评分最高的k₃个商品进行推荐。

当商品进行推荐后，还包括反馈调整的阶段，该阶段采用交叉熵的方式搜索当前最优参数，即根据各个参数重要程度进行初始化，根据当前最优参数组合，采取多组带有噪声的新的参数组合进行推荐，根据推荐效果，对效果最好的M组参数进行平均作为新的参数。

获取新的参数的具体过程为：

对当前用户，分成n组用户进行推荐，参数为θ_i～N(λ,diag(σ))，即对于当前最优的参数λ加上均值为0，方差为σ高斯噪声；

初始化特征参数λ∈Rⁿ,特征函数λ的方差σ∈Rⁿ；

对当前反馈的数据取前P％的推荐结果m组作为最优集，最优集的选取采用召回率和准确率平均的方式作为最终评价标准：正确率＝成功推荐的商品数/推荐商品总数，召回率＝成功推荐的商品数/样本总数；

对最优集内参数重新拟合参数λ,σ；即

得到最优的特征参数λ。

本发明的一种基于海量用户行为的商品推荐方法，具有以下优点：

本发明提供的一种基于海量用户行为的商品推荐方法，提出了收集用户行为记录，并提取能够有效刻画用户与用户之间行为相似度的行为，从更多更全的方面刻画用户特征，对不同行为采用权值调整，使得更加准确的度量用户之间相似程度成为可能，对大量的用户行为采用浏览器脚本方式预处理，使得计算负担大大减轻；预先分析用户主动提供的信息和分析用户网页浏览行为，使得用户在不购买或浏览商品下计算出相似用户，解决了冷启动问题；采用聚类的方式缩小了相似用户搜索范围，解决了大规模矩阵稀疏性问题，加快了计算速度，同时也使得推荐效果更准确；对于参数采用交叉熵的方式进行搜索，通过基于当前最优参数的贪婪算法，寻找次优参数不断的进行优化，使得结果不断改进。采用异步的在线计算方式。有效的解决了数据不同步带来的计算困难，实用性强，适用范围广泛，易于推广。

附图说明

附图1是本发明的实现示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步说明。

本发明提出了基于海量用户行为的商品推荐方法。在众多推荐算法中，基于用户的协同过滤推荐算法由于具有需要很少的领域知识、模型通用性较好和工程上实现简单的特点，在实践中有着巨大应用。但这种算法在应用于海量用户时，由于数据稀疏性问题，使得计算复杂程度大大加大，同时，由于算法本身存在对新用户推荐效果不佳的特点，使得这种算法在实践应用中效果不理想、实施难度加大。

为解决上述问题，本发明提出了分析海量用户的行为，根据用户的商品购买、收藏、浏览行为和其他的用户特点，分析用户与用户之间的相似性，对用户进行聚类。在同类用户中进一步结合用户行为进行协同过滤推荐，并根据推荐结果动态的调整参数。实践表明，本方法相对于原始的基于用户的协同过滤推荐算法在计算速度、推荐效果上都取得了较大进步。

如附图1所示，本发明的一种基于海量用户行为的商品推荐方法，包括信息采集部分、用户聚类阶段、用户相似度计算阶段、商品推荐阶段和反馈调整阶段。其具体实现过程为：

1、信息采集阶段。分为用户兴趣调查问卷部分和网站取得用户行为信息部分。

兴趣调查问卷部分设置感兴趣的问题进行调查。例如性别、年龄、教育背景、工作类型、工作经验等。

网站取得用户信息部分包括用户浏览下载收藏商品行为，用户浏览网页习惯包括打字速度，网页翻页速度、上网时长和频率、地理信息变动等。对这些信息一部分采用用户浏览器上的JavaScript程序记录并分析过滤上传需要信息。

2、用户聚类阶段：对于采集的到信息进行量化，对于性别二分类问题等采用0,1数据标注，多分类问题采用0-1编码转换为二分类问题，量化的内容包括地理位置、教育背景、上网频率、上网时长、打字速度等能够有效区分用户的行为。对于已经量化的数据[k₁,k₂...k_n]，设置合理的特征参数[λ₁,λ₂...λ_n]，对于得到的加权后的数据[λ₁k₁,λ₂k₂...λ_nk_n]采用k-means进行聚类分成不同的组。对于缺失数据采用平均值补齐。

3、在聚类后的用户中计算相似度。对于目标用户，根据聚类中后同组中的所有用户，计算每个用户对商品的评分；用户之间的相似距离采用以下公式：计算相互距离，其中x，y分别为不同的用户，x_i、y_i分别为其喜爱的商品集合中第i个特征的评分。

4.商品推荐阶段：对于目标用户w，计算聚类后目标用户所属的类，在类内寻找与目标用户w相似距离最近的k₁个相似用户，对于每个相似用户，通过选取该用户的网站操作记录选取前k₂个喜欢的商品。对于这k₁*k₂个商品(有重复)，目标用户w对商品i的喜欢程度为其中，S(w,k)为目标用户w与相似用户k之间的相似距离，P(k,i)为目标用户k对商品i喜爱评分。选取评分最高的k₃个商品进行推荐。

5.反馈调整阶段。采用交叉熵方法搜索当前最优参数，首先根据各个参数重要程度进行初始化，每次调整，根据当前最优参数组合，采取多组带有噪声的新的参数组合进行推荐，根据推荐效果，对效果最好的M组参数进行平均作为新的参数。由于不同用户组推荐结果反馈时间不同，采用异步方式对当前反馈的数据进行处理。采用在线计算的方式，有效的提高了计算速度。

算法如下：

初始化特征参数λ∈Rⁿ,特征函数λ的方差σ∈Rⁿ；

对当前用户，分成n组用户进行推荐，参数为θ_i～N(λ,diag(σ))，即对于当前最优的参数λ加上均值为0，方差为σ高斯噪声；

对于当前反馈的数据取前P％的推荐结果m组作为最优集。最优集的选取采用召回率和准确率平均的方式作为最终评价标准。正确率＝成功推荐的商品数/推荐商品总数，召回率＝成功推荐的商品数/样本总数；

对最优集内参数重新拟合参数λ,σ即

返回最优的特征参数λ。

包括了基于用户行为的用户聚类和基于用户行为的相似度量。

基于用户行为的用户聚类，其特征在于考虑用户的不同行为并提出有效的量化方法。采用k-means进行聚类，在后续的推荐中采用类内寻找相似用户，极大的减少了计算的工作量。

所述的量化方法，对所有的用户行为量化处理，不同的行为线性加权。并根据推荐效果动态的调整，采用异步交叉熵计算调整参数，使训练速度更快，使得结果随着用户量的增加和时间积累不断改进效果。

基于用户行为的特征，对于海量用户采用用户浏览器脚本程序记录并分析相关数据，将计算后的数据上传服务器，减小服务器计算负荷。其行为包括用户购买商品记录和网页浏览记录以及背景调查记录，在用户不购买商品条件下发现相似用户进行推荐，解决了冷启动问题。

上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种基于海量用户行为的商品推荐方法的权利要求书的且任何所述技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。

Claims (9)

1.一种基于海量用户行为的商品推荐方法，其特征在于，其实现过程为：

一、首先进行信息采集，获取用户行为信息；

二、然后进入用户聚类阶段，将获取的用户行为信息聚类后分成不同的组；

三、对聚类后的用户行为信息进行相似度计算；

四、根据取得的相似度值，进行商品推荐。

2.根据权利要求1所述的一种基于海量用户行为的商品推荐方法，其特征在于，步骤一的信息采集过程，是通过用户兴趣调查问卷和网站取得用户行为信息，具体步骤为：

兴趣调查问卷是指通过设置感兴趣的问题进行调查，该问题包括性别、年龄、教育背景、工作类型、工作经验；

网站取得的用户信息包括用户浏览下载收藏商品行为、用户浏览网页习惯包括打字速度、网页翻页速度、上网时长和频率、地理信息变动信息，且这些信息采用用户浏览器上的JavaScript程序记录并分析过滤上传。

3.根据权利要求1所述的一种基于海量用户行为的商品推荐方法，其特征在于，所述用户聚类阶段的实现过程为：首先对于采集的用户行为信息进行量化，然后对量化的数据进行加权后通过k-means进行聚类分成不同的组。

4.根据权利要求3所述的一种基于海量用户行为的商品推荐方法，其特征在于，对信息进行量化的过程为：对于包括性别的二分类问题采用0,1数据标注，多分类问题采用0-1编码转换为二分类问题，量化的内容包括地理位置、教育背景、上网频率、上网时长、打字速度的用于区分用户的行为。

5.根据权利要求3所述的一种基于海量用户行为的商品推荐方法，其特征在于，对量化的数据加权分类的过程为：对于已经量化的数据[k₁,k₂...k_n]，设置特征参数[λ₁,λ₂...λ_n]，对于得到的加权后的数据[λ₁k₁,λ₂k₂...λ_nk_n]采用k-means进行聚类分成不同的组，对于缺失数据采用平均值补齐。

6.根据权利要求1所述的一种基于海量用户行为的商品推荐方法，其特征在于，相似度计算的具体过程为：对于目标用户，根据聚类中后同组中的所有用户，计算每个用户对商品的评分；用户之间的相似距离采用以下公式：计算相互距离，其中x，y分别为不同的用户，x_i、y_i分别为其喜爱的商品集合中第i个特征的评分。

7.根据权利要求1所述的一种基于海量用户行为的商品推荐方法，其特征在于，商品推荐的具体过程为：

对于目标用户w，计算聚类后目标用户所属的类，即聚类分成的含有目标用户的组，在类内寻找与目标用户w相似距离最近的k₁个相似用户，对于每个相似用户，通过选取该用户的网站操作记录选取前k₂个喜欢的商品；

对于k₁*k₂个商品，目标用户w对商品i的喜欢程度为)其中，S(w,k)为目标用户w与相似用户k之间的相似距离，P(k,i)为目标用户k对商品i喜爱评分；

选取评分最高的k₃个商品进行推荐。

8.根据权利要求1所述的一种基于海量用户行为的商品推荐方法，其特征在于，当商品进行推荐后，还包括反馈调整的阶段，该阶段采用交叉熵的方式搜索当前最优参数，即根据各个参数重要程度进行初始化，根据当前最优参数组合，采取多组带有噪声的新的参数组合进行推荐，根据推荐效果，对效果最好的M组参数进行平均作为新的参数。

9.根据权利要求8所述的一种基于海量用户行为的商品推荐方法，其特征在于，获取新的参数的具体过程为：

对当前用户，分成n组用户进行推荐，参数为θ_i～N(λ,diag(σ))，即对于当前最优的参数λ加上均值为0，方差为σ高斯噪声；

初始化特征参数λ∈Rⁿ,特征函数λ的方差σ∈Rⁿ；

对当前反馈的数据取前P％的推荐结果m组作为最优集，最优集的选取采用召回率和准确率平均的方式作为最终评价标准：正确率＝成功推荐的商品数/推荐商品总数，召回率＝成功推荐的商品数/样本总数；

对最优集内参数重新拟合参数λ,σ；即

得到最优的特征参数λ。