CN107025311A - 一种基于k近邻的贝叶斯个性化推荐方法及装置 - Google Patents

Abstract

本发明公开了一种基于K近邻的贝叶斯个性化推荐方法，包括：1)通过用户的行为数据寻找用户的K近邻；2)根据观测到的用户正反馈项目以及由该用户的k近邻用户组成的用户群的正反馈项目，对项目集合进行划分；3)确定用户对项目的对级别偏好关系；4)最大化所有用户在项目集合上的概率得到目标函数；用户对项目的预测采用矩阵分解模型实现；采用随机梯度下降法对目标函数中的参数进行求解。本发明还公开了一种基于K近邻的贝叶斯个性化推荐装置。本发明考虑了用户之间的相互影响，并通过该影响对项目集合进行划分，减少了未观测项目的个数，有效地缓解了推荐过程中数据不平衡和数据稀疏性带来的负面影响。

Description

一种基于K近邻的贝叶斯个性化推荐方法及装置

技术领域

本发明属于推荐系统领域，在贝叶斯个性化推荐方法的基础上，考虑了用户之间的相互影响，采用对级别学习排序方法，实现个性化推荐。本发明主要应用在基于隐式数据的推荐场景中，尤其在数据稀疏和数据不平衡的推荐场景中，本发明能够明显缓解数据稀疏和数据不平衡给推荐结果带来的负面影响，有效地进行个性化推荐。

背景技术

基于用户的协同过滤推荐技术：

基于用户的协同过滤推荐技术认为一个用户会喜欢和他有相似兴趣爱好的用户喜欢的商品，因此该方法最重要的步骤是计算用户之间的相似度，生成用户-用户相似度模型，依据用户的相似用户在未评分项目上的评分来进行推荐。

矩阵分解技术：

矩阵分解技术根据用户-项目评分矩阵将用户和项目表示为隐空间中的向量，用户在某维度上的数值表示用户在该维度上的感兴趣程度，项目在某维度上的数值表示项目属于该维度的程度。用户对项目的评分预测通过用户的隐向量和项目的隐向量的內积实现。

贝叶斯个性化排序技术：

贝叶斯个性化排序算法的主要思想是通过最大化后验概率以获得用户的个性化最优序列。该算法是一种对级别的学习排序算法，通过用户对项目的评分构建每个用户的项目序对关系集合，并在该集合上定义目标函数，通过对该目标函数进行学习获得模型参数。传统的贝叶斯个性化排序算法假设各个用户之间是相互的独立的，忽略了用户之间相互影响。

发明内容

推荐技术的目标是为用户进行个性化的推荐，帮助用户在大量的数据中快速获取自己感兴趣的信息。推荐技术主要依靠对用户历史行为数据的整理和分析(包括历史浏览网页、评分数据等)，为用户推荐用户可能感兴趣的潜在信息，该技术不需要用户提供明确的信息数据的表述，就能缓解信息过载问题。

本发明解决其技术问题所采用的技术方案是：首先根据用户之间的相似度寻找和用户最为相近的k个邻居用户。其次根据用户的观测项目和由相似的邻居用户组成的用户群的观测项目对整个项目集合进行划分。然后采用对级别的学习排序方法，将用户对项目的偏好表示成项目对之间的偏好序，通过最大化所有用户在整体项目集合上项目对偏好排序的概率即可得到目标函数。最后采用随机梯度下降法对目标函数中的参数进行求解，由求解得到的模型进行预测产生最终的推荐结果。

本发明出发点是在贝叶斯个性化排序技术的基础上考虑用户之间的相互影响，以解决贝叶斯个性化排序技术的假设中存在的问题。具体地说，基于K近邻的贝叶斯个性化推荐技术不仅考虑了用户相互作用对未观测数据的影响，同时，通过加入惩罚因子考虑用户之间相互作用对已观测数据的影响。该技术主要包含三个子过程，分别为寻找K近邻、根据当前用户和邻居用的历史行为对项目集进行划分和采用基于对级别的学习排序方法来训练模型。

本发明的技术方案为：

1)对于每个用户，计算用户之间的相似度，选择与当前用户最为相似的k个用户构成K近邻用户群；

2)根据用户的观测项目和K近邻用户群的观测项目对整个项目集进行划分；

3)采用对级别的学习排序方法，将用户对项目的偏好表示成项目对之间的偏好序，通过最大化所有用户在整体项目集合上项目对偏好排序的概率即可得到目标函数。最后采用随机梯度下降法对目标函数中的参数进行求解。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，步骤1)中选择与用户最为相似的k个用户构成K近邻用户群，具体过程为：

在用户行为数据上，根据用户对项目的反馈行为，对于每个用户，计算该用户与其他用户的余弦相似度，相似度计算方式为：

其中P_u和P_w分别代表观测的用户u和w的正反馈项目集；按照相似度从大到小排序，选择相似度最大的k个邻居用户组成该用户的K近邻用户群。

进一步，上述步骤2)中对项目集合进行划分，具体过程为：

(1)对于当前用户，从用户-用户邻居模型中获取该用户的K近邻用户群；

(2)从观测数据中，获取该用户的已观测正反馈项目集合(P_u)；

(3)从观测数据中，获取该用户未观测而其K近邻用户群(N)已观测到正反馈项目的集合(C_u)，

(4)剩余的、用户和其K近邻均未观测到有正反馈的项目集合(L_u)，L_u＝I-P_u-C_u。

进一步，步骤3)中得到目标函数并求解，具体过程为：

(1)根据用户对项目的偏好假设，将项目集合表示成项目序对；

(2)对于一个用户，计算当前模型的预测项目对排序符合该用户偏好的概率；

(3)由于用户之间的行为的影响已经在K近邻用户群中体现。因此，所有用户在项目集合上的排序符合假设的概率可以近似地等于单个用户的预测项目排序符合假设的概率的乘积。该乘积越大，意味着预测项目排序越符合假设的用户对项目的偏好，故目标函数为最大化所有用户在整体项目集合上项目对偏好排序的概率。

(4)采用随机梯度下降法对目标函数中的参数进行求解。目标函数中用户对项目的预测评分由带偏置项的矩阵分解算法求得。具体过程为通过每一次迭代，对模型中的参数求导，对参数进行更新。

(5)由用户隐因子矩阵和项目隐因子矩阵相乘即可得到推荐结果。

进一步，上述步骤(1)中用户对项目的偏好假设，具体为：

用户对自己已观测到有正反馈的项目(P_u)的偏好大于对其K近邻已观测到有正反馈的项目(C_u)的偏好，用户对其K近邻已观测到有正反馈的项目(C_u)的偏好大于对用户和其K近邻均未观测到有正反馈的项目(L_u)的偏好，即：

进一步，上述步骤(2)中计算当前模型的预测项目对排序符合该用户u的偏好的概率，具体为：

其中，和是模型预测评分，P(.)为概率函数。

进一步，上述步骤(3)目标函数，具体为：

其中，概率函数P(.)近似地等于sigmoid函数对于项目i∈P_u,t∈C_u，虽然项目i是已观测项目，项目t是未观测项目，用户对项目i的偏好高于对项目t的偏好，即但是考虑到项目t是该用户的K近邻用户群(N)已观测项目，因此用户对项目i和t的偏好程度需要考虑群支持度的影响。对于用户u，若其K近邻用户群中存在很多邻居对项目t有正反馈，且这些邻居与用户的相似度越大，那么群支持度n_ut越大，表示用户u越有可能对项目t感兴趣，即用户u对项目t的偏好越接近于对正反馈项目i的偏好，换句话说，用户对项目i和t的偏好程度相差会越小，对项目t和j的偏好程度相差会越大，因此概率函数则目标函数为：

其中，U是用户集合，λ_θ是正则化参数，θ是模型参数，函数n_ut是用户u的K近邻用户群对项目t的群支持度，计算如下：

式中sim(u,w)表示用户u和w之间的相似度，N为用户的K近邻用户群,C_u表示用户u的优先候选项目集合，P_w表示用户w的正反馈项目集合，δ(·)为指示函数，当存在项目t∈C_u且t∈P_w时，否则

进一步，上述步骤(4)采用随机梯度下降法对目标函数求解，具体为：

目标函数中用户对项目的预测评分由带偏置项的矩阵分解算法求得。令W:|U|×d表示用户隐因子矩阵，V:|I|×d表示项目隐因子矩阵，b:1×|I|表示项目偏置项，则

令对目标函数中的参数求梯度如下：

该公式中，模型参数Θ可取W_uf,V_if,V_tf,V_jf,b_i,b_t,b_j。因此对模型中用户相关参数求梯度如下：

对模型中项目相关参数求梯度如下：

对每个参数按如下方式进行更新：

此外，为解决传统贝叶斯个性化排序技术中由于用户之间相互独立这个假设中存在的问题，本发明提出了一种基于K近邻的贝叶斯个性化推荐装置。

一种基于K近邻的贝叶斯个性化推荐装置，包括：

用户-用户K近邻生成模块，用于寻找与每个用户最为相似的k个邻居用户；

项目集合划分模块，用于根据用户之间的相互影响将整个项目集合划分成三个两两不相交的子集。

构造目标函数及推荐模块，用于实现用户的个性化推荐，该模块获取目标函数，并采用随机梯度下降法对目标函数中的参数进行求解。

本方法的有益效果是：

该方法在贝叶斯个性化排序方法的基础上考虑了用户之间的相互影响，并通过用户之间的影响对整个项目集合进行划分，将邻居用户喜欢的项目集合看作是当前用户的优先候选项目集合，以减少了未观测项目的个数，进而缓解样本分布不平衡问题和数据稀疏问题。

选取了推荐技术常用的6个公开数据集，分别为MovieLens100K、MovieLens1M、Netflix5K5K、RCdata、Lastfm2K和Delicious2K，其中包含两个记录用户辅助信息的数据集，以及两个常用于基于社交信息推荐的数据集。对于MovieLens100K、MovieLens1M和Netflix5K5K这三个电影评分数据集，我们选取评分高于3的数据作为观测到的正反馈数据。对于RCdata，我们取评分为2的数据作为观测的正反馈数据。对每个数据集我们随机选取80％作为训练集，20％作为测试集，并在训练集上为每个用户随机选择一条用户-项目观测数据组成校验集。将此过程重复5次，在每次划分出来的训练集和测试集上会得到一个实验结果，我们的最终实验结果是取这5次实验结果的平均值。下面结合测试实例进行分析。

实验数据集信息如表1所示。

表1实验数据集信息

该方法与对比算法在公开数据集上的实验结果如表2所示。

表2不同推荐算法在公开数据集上的实验结果

实验结果显示，KNNBPR在所有数据集上的实验结果均优于对比方法，尤其是在稀疏程度很高的数据集上，KNNBPR的实验结果明显优于BPR、GBPR和SBPR，进一步地证明了基于K近邻的贝叶斯个性化推荐方法能够缓解数据不平衡和数据稀疏性带来的负面影响，在很稀疏的数据集上也能具有很好的推荐性能。

附图说明

下面结合附图和实施例对本方法进一步说明。

图1是一种基于K近邻的贝叶斯个性化推荐方法的流程图。

图2是一种基于K近邻的贝叶斯个性化推荐装置的示意图。

具体实施方式

以下结合附图对本发明的原理和性质进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种基于K近邻的贝叶斯个性化推荐方法，该方法主要可以分为初始化过程和训练过程，在初始化过程中，主要包含读取训练集、构造用户-用户K近邻两个步骤，其中构造用户-用户K近邻的详细过程为：首先读取训练集，包括三个过程:构造用户-用户K近邻过程、项目集合划分过程、获取目标函数及目标函数求解过程，以下步骤：

构造用户-用户K近邻过程如下：

1)从训练数据的用户集合中依次选取用户，寻找该用户的K近邻，直至所有用户的K近邻确定；

2)对当前用户，依次计算该用户与除该用户以外的其他剩余用户的余弦相似度；

3)将计算得到的余弦相似度从大到小进行排序；

4)选取相似度最大的k个用户作为邻居用户。

在训练过程，主要是通过迭代，在每一次迭代随机选取一个用户，根据该用户和其K近邻用户群对项目集合进行划分，根据用户对项目的偏好关系构造目标函数，求解目标函数以实现推荐。具体地说，项目集合划分的详细步骤如下：

1)随机选择系统中的一个用户；

2)从用户-用户邻居模型中获取该用户的k个邻居；

3)从观测数据中获取该用户的观测项目；

4)从观测数据中获取该用户未观测而由其k个邻居组成的用户群已观测的项目；

5)在整个项目集合中，获取用户和其用户群均未观测的项目。

目标函数具体求解过程如下：

1)根据用户对项目的偏好关系，采用对级别的学习排序方法，将项目表示成偏好序对；

2)对于每个用户，计算模型预测的项目对排序符合假设的项目偏好排序的概率，最大化所有用户的由模型预测的项目对排序符合假设的概率作为目标函数，如下：

其中，U是用户集合，λ_θ是正则化参数，θ是模型参数，和是模型预测评分，函数n_ut是群支持度。

3)目标函数中，预测评分值使用矩阵分解模型表示，对目标函数的求解采用随机梯度下降法：

其中，模型参数Θ可取W_uf,V_if,V_tf,V_jf,b_i,b_t,b_j，因此，根据上述公式求出每个参数的梯度，采用如下公式对参数进行更新：

此外，本发明提供一种基于K近邻的贝叶斯个性化推荐装置，如图2所示，包括三个模块:用户-用户K近邻生成模块101、项目集合划分模块102和目标函数求解及推荐模块103，其中：

用户-用户K近邻生成模块101，用于寻找与每个用户最为相似的k个邻居用户，构造用户-用户K近邻模型。

项目集合划分模块102，于根据用户之间的相互影响将整个项目集合划分成三个两两不相交的子集。

目标函数求解及推荐模块103，用于实现用户的个性化推荐，该模块通过最大化所有用户在项目集合上的项目偏好序对排序的概率得到目标函数，并采用随机梯度下降法对目标函数中的参数进行求解。根据求解得到的模型进行预测，以产生推荐。

采用了上述基于K近邻的贝叶斯个性化推荐方法及装置之后，在推荐过程中，考虑了用户之间的相互影响，并且根据用户之间的相互影响对项目集合进行划分，减少了未观测项目的个数，有效地缓解了推荐过程中的数据不平衡问题和数据稀疏性问题。因此，和贝叶斯个性化推荐方法相比，该方法考虑了用户之间的相互影响，能够更有效地为用户进行个性化推荐。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (5)

1.一种基于K近邻的贝叶斯个性化推荐方法，其特征在于，所述方法包括：

通过K近邻构造当前用户的优先候选项目集合；

根据当前用户的正反馈项目集合和优先候选项目集合确定用户对项目的对级别偏好关系；

通过最大化所有用户在整体项目集合上的对级别偏好排序的概率得到目标函数；

对于目标函数，采用随机梯度下降法求解参数。

2.根据权利要求1所述的方法，其特征在于，所述通过K近邻构造当前用户的优先候选项目集合，包括：

根据用户行为数据计算用户之间的相似度，并选择最为相似的k个用户作为K近邻，用户之间相似度计算如下：

其中P_u和P_w分别代表观测的用户u和w的正反馈项目集合(如有购买、点击等行为的项目集合)；

根据当前用户u的观测数据和其K近邻组成的用户群(N)的观测数据对整个项目集合进行划分；

所述优先候选项目集合(C_u)为当前用户u未观测到有正反馈但是其K近邻用户群(N)已观测到正反馈的项目构成的集合。

3.根据权利要求2所述的方法，其特征在于，所述对整个项目集合进行划分，包括：

对于当前用户u，将整个项目集合(I)划分成三个两两不相交的子集：

用户已观测有正反馈的项目集合(P_u)；

用户未观测到有正反馈但其邻居已观测到正反馈的项目集合(C_u)，

剩余的、用户和其邻居均未观测到有正反馈的项目集合(L_u)，L_u＝I-P_u-C_u。

4.根据权利要求1所述的方法，其特征在于，所述根据当前用户的正反馈项目集合和优先候选项目集合确定用户对项目的对级别偏好关系，包括：

用户u对自己正反馈集合(P_u)中项目的偏好大于对其优先候选项目集合(C_u)中项目的偏好，即：

(u,i)＞(u,t),i∈P_u,t∈C_u；

用户u对其优先候选项目集合(C_u)中项目的偏好大于对剩余项目集合(L_u)中项目的偏好，即：

(u,t)＞(u,j),t∈C_u,j∈L_u.

5.根据权利要求1所述的方法，其特征在于，所述目标函数，包括：

最大化所有用户在整体项目集合上项目对偏好排序的概率：

其中，U是用户集合，λ_θ是正则化参数，θ是模型参数，和是模型预测评分，函数n_ut是用户u的K近邻用户群对项目t的群支持度，计算如下：

式中sim(u,w)表示用户u和w之间的相似度，N为用户的K近邻用户群,C_u表示用户u的优先候选项目集合，P_w表示用户w的正反馈项目集合，δ(·)为指示函数，当存在项目t∈C_u且t∈P_w时，否则