CN106202377B

CN106202377B - 一种基于随机梯度下降的在线协同排序方法

Info

Publication number: CN106202377B
Application number: CN201610534947.XA
Authority: CN
Inventors: 林通; 吕晋
Original assignee: Peking University
Current assignee: Peking University
Priority date: 2016-07-08
Filing date: 2016-07-08
Publication date: 2019-09-13
Anticipated expiration: 2036-07-08
Also published as: CN106202377A

Abstract

本发明公布了一种在线协同排序方法，通过协同排序的方法建立目标函数，并使用随机梯度下降方法求解；通过建立在线协同排序的推荐系统进行增量训练，实时更新推荐列表，实现边训练边推荐；包括：取数据集S，将S随机分为一大一小两份；利用小比例的数据集的评分数据建立用户‑产品的评分矩阵X；分解为UV^T模型；使用在线协同排序方法SGDRank和小比例的数据集对矩阵U和矩阵V进行离线更新，得到UV^T模型；大比例数据作为在线样本加入到矩阵X中；对矩阵U、V进行在线训练，更新UV^T模型，得到训练后的X矩阵，由此实现对数据的在线协同排序。本发明方法能够有效提升排序推荐效率。

Description

一种基于随机梯度下降的在线协同排序方法

技术领域

本发明属于模式识别领域，具体涉及一种基于随机梯度下降的在线协同排序方法(本发明简称为SGDRank)。

背景技术

协同过滤技术是推荐系统的核心算法，它根据用户之间的相似度和产品之间的相似度来挖掘用户的潜在兴趣。在以往的研究中，协同过滤模型往往是通过预测用户对产品的评分来进行推荐。近年来很多研究者直接优化产品的推荐列表，把推荐问题转化为了排序问题，并取得了不错的效果。

协同排序使用排序学习的方法来解决协同过滤的问题，根据用户对于产品的偏好关系来训练推荐模型并为用户直接推荐产品列表。现有的协同排序算法有以下几点不足：

(一)在样本很少的情况下，现有协同排序算法无法进行有效的推荐；

(二)当新来一个样本时，现有协同排序算法无法进行在线训练和实时更新推荐结果；

(三)现有算法的训练时间往往较长，并且推荐效果有待提高。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于随机梯度下降的在线协同排序方法(本发明简称为SGDRank)，缩短训练时长，使得推荐系统达到更好的推荐效果，可实现边训练边推荐，有效提升推荐效率。

本发明的原理是：一方面使用协同排序的方法建立目标函数，并使用随机梯度下降方法求解；通过对比实验，本发明SGDRank算法在推荐效果提高的基础上，缩短训练时长，同时在样本数量较少的时候能够达到不错的推荐效果。另一方面建立在线协同排序的推荐系统，针对于实际中不断增加的样本数据，能够进行增量训练，实时更新推荐列表，做到了边训练边推荐。本发明在MovieLens数据集和Netflix数据集上进行了大量的实验，并同其他算法进行了对比实验，实验结果证明，本发明的算法确实能够有效提升推荐效率。

本发明的技术方案是：

一种基于随机梯度下降的在线协同排序方法(简称为SGDRank)，通过协同排序的方法建立目标函数，并使用随机梯度下降方法求解；建立在线协同排序的推荐系统，进行增量训练，实时更新推荐列表，实现边训练边推荐；包括以下步骤：

步骤1：选取数据集S，数据集S包含用户数据、产品数据以及用户对应产品的评分数据，将S随机分为两份，比例一大一小，即分别为一大份和一小份，取数据集中小比例的数据作为真实环境中的初始离线训练数据集，这对应于实际场景中的推荐系统很难获得到很多数据，只有一小部分数据可以用作初始训练；

步骤2：利用步骤1中的小比例的数据集的评分数据建立用户-产品的评分矩阵X，X_ij表示用户i对于产品j的评分，在矩阵中，我们把每一行的所有评分三元组(u，v，d)进行两两组合，其中d表示用户u对产品v的评分，组合成为训练数据三元组(u，v₁，v₂)，训练数据三元组表示用户u相对于产品v₂，更喜欢产品v₁；

步骤3：假设一共有m个用户和n个产品，我们将评分矩阵X分解为下面的形式：

X＝UV^T (式14)

其中，X为m×n的矩阵；U为m×r的矩阵；V为n×r的矩阵，其中r表示用户和产品的隐特征向量的维度；

步骤4：对于所有的训练数据三元组(u_i，v_j，v_k)，使用SGDRank算法和步骤1中小比例的数据集对矩阵U和矩阵V进行离线更新，得到UV^T模型；

其中离线更新的公式为式15～式17：

步骤5：将步骤1中的离线数据集中的剩余样本数据作为在线样本(u，v，d)数据集，每当到来一个在线样本(u，v，d)时，将该样本加入到矩阵X中，并且判断该矩阵中是否含有用户u的评分，若无用户u，则不进行矩阵更新，若矩阵X中含有用户u的评分，则我们把u的所有评分三元组(u，v，d)进行两两组合，组合成为所有可能的训练数据三元组(u，v₁，v₂)作为在线训练数据；

步骤6：使用SGDRank算法和上述的离线数据集中的剩余样本数据对矩阵U和矩阵V进行在线训练，并且更新UV^T模型，从而得到训练后的X矩阵，进而获取X矩阵的每一行用户的产品推荐。

上述SGDRank算法计算过程详见具体实施方式中的式1～式13，具体包括如下步骤：

41)将用户的数量表示为d₁，将产品的数量表示为d₂，定义一个三元组的集合当(i,j,k)∈Ω时，表示用户i对于物品j和产品k的偏好关系；

42)将用户的偏好关系值Y_ijk用{Y_ijk∈{1,-1}:(i,j,k)∈Ω}来表示，当用户i对产品j的喜好大于对产品k的喜好时，Y_ijk＝1，相反地，当用户i对产品j的喜好小于对产品k的喜好时，Y_ijk＝-1；用Ω_i＝{(j，k):(i，j，k)∈Ω}来表示用户i对于物品喜好的集合；

43)根据评分数据建立用户-产品的评分矩阵X，X_ij表示用户i对于产品j的评分，对于矩阵X进行基于偏好的变换，在初始的评分矩阵X中，矩阵值X_ij的绝对值表示用户i对产品j的评分，对评分矩阵进行重新定义；重新定义为：当X_ij>X_ik时，表示用户i对于产品j的喜好要大于用户i对于产品k的喜好，反之，当X_ij>X_ik时，表示用户i对于产品j的喜好要小于用户i对于产品k的喜好；

44)矩阵X更新完毕后，对于X的每一行选取出未被用户u评分的所有产品，然后进行排序，排序的结果就是对该行用户的推荐物品的顺序。

在线训练的更新公式同步骤4中的离线更新公式。在本发明实施例中，我们对于训练数据采样的方式进行更新，并采取推荐结果前10名的归一化的贴现累计收益(Normalized Discounted Cumulative Gain@10，以下均简称NDCG@10)作为评价指标，在NDCG@10的指标中，我们对于每一个用户采样N个评分，在Precision@k的指标中，我们对于每一个用户采样C个配对)。

与现有技术相比，本发明的有益效果是：

本发明提供一种基于随机梯度下降的在线协同排序方法SGDRank，一方面使用协同排序的方法建立目标函数，并使用随机梯度下降方法求解；通过对比实验，本发明SGDRank算法在推荐效果提高的基础上，缩短训练时长，同时在样本数量较少的时候能够达到不错的推荐效果；另一方面建立在线协同排序的推荐系统，针对于实际中不断增加的样本数据，能够进行增量训练，实时更新推荐列表，做到了边训练边推荐。本发明具有以下优点：

(一)本发明在协同排序原有模型的基础上，提出了分解子问题并使用随机梯度下降的更新方法，不仅提升了推荐模型的准确度，同时缩短了训练时间；

(二)本发明能够处理在线数据流，实现了实时更新推荐模型的功能。

本发明在MovieLens数据集和Netflix数据集上进行了大量的实验，并同其他算法进行了对比实验，实验结果证明，本发明的算法确实能够有效提升推荐效率。

附图说明

图1是本发明提供的基于随机梯度下降的在线协同排序方法的流程框图。

图2是本发明实施例中评价指标error在MovieLens-1m数据集上的曲线图；

图中的三条曲线表示在参数N(详见具体实施方式中的步骤6)的不同设置下，随着训练数据的增加评价指标error的性能表现。

图3是评价指标error在MovieLens-10m数据集上的曲线图，图中的三条曲线表示在参数N(详见具体实施方式中的步骤6)的不同设置下，随着训练数据的增加评价指标error的性能表现；

图4是评价指标error在Netflix数据集上的曲线图，图中的三条曲线表示在参数N(详见具体实施方式中的步骤6)的不同设置下，随着训练数据的增加评价指标error的性能表现；

图5是评价指标NDCG@10在MovieLens-1m数据集上的曲线图；

图中的三条曲线表示在参数N(详见具体实施方式中的步骤6)的不同设置下，随着训练数据的增加评价指标NDCG@10的性能表现。

图6是评价指标NDCG@10在MovieLens-10m数据集上的曲线图；

图7是评价指标NDCG@10在Netflix数据集上的曲线图；

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种基于随机梯度下降的在线协同排序方法(本发明简称为SGDRank)，一方面使用协同排序的方法建立目标函数，并使用随机梯度下降方法求解；通过对比实验，本发明SGDRank算法在推荐效果提高的基础上，缩短训练时长，同时在样本数量较少的时候能够达到不错的推荐效果；另一方面建立在线协同排序的推荐系统，针对于实际中不断增加的样本数据，能够进行增量训练，实时更新推荐列表，做到了边训练边推荐。本发明在MovieLens数据集和Netflix数据集上进行了大量的实验，并同其他算法进行了对比实验，实验结果证明，本发明的算法确实能够有效提升推荐效率。

对于基于配对排序学习的方法来说，由于训练数据是一对偏好关系，故我们可以对矩阵分解模型进行如下定义。

我们将用户的数量表示为d₁，将产品的数量表示为d₂，然后我们定义一个三元组的集合如果(i，j，k)∈Ω，则可以表示用户i对于物品j和产品k的偏好关系。接下来，用户的偏好关系值Y_ijk可以用{Y_ijk∈{1,-1}:(i，j，k)∈Ω}来表示，当用户i对产品j的喜好大于对产品k的喜好时，Y_ijk＝1，相反地，当用户i对产品j的喜好小于对产品k的喜好时，Y_ijk＝-1。我们用Ω_i＝{(j,k):(i,j,k)∈Ω}来表示用户i对于物品喜好的集合。

完成上述设置之后，我们根据评分数据建立用户-产品的评分矩阵X，X_ij表示用户i对于产品j的评分，对于矩阵X我们进行基于偏好的变换，在初始的评分矩阵X中，矩阵值X_ij的绝对值表示用户i对产品j的评分，我们对评分矩阵进行重新定义。当X_ij>X_ik时，表示用户i对于产品j的喜好要大于用户i对于产品k的喜好，反之，当X_ij>X_ik时，表示用户i对于产品j的喜好要小于用户i对于产品k的喜好。在这样的情况下，矩阵X_ij的绝对值并不重要，我们关心的是矩阵值之间的相对大小，当我们把矩阵X更新完毕后，对于X的每一行我们选取出未被用户u评分的所有产品，然后进行排序，排序的结果就是对该行用户的推荐物品的顺序。

假设矩阵X是低秩的或者接近于低秩，在实际的推荐系统中，一个用户只对某些产品进行评分(除了那些购物狂)，一个产品只是接受了某些用户的评分(除了那些爆款产品)，根据上一小节的统计数据显示，X一般情况下是低秩的。基于上述设置，我们可以将经验风险最小化描述为式1：

式1中，用户-产品的评分矩阵X，X_ij表示用户i对于产品j的评分；用户的偏好关系值Y_ijk用{Y_ijk∈{1,-1}:(i,j,k)∈Ω}来表示；X_ik表示用户i对于产品k的喜好(评分)；损失函数以选取铰链损失平方为例：

为了避免过拟合现象的产生，我们向损失函数中加入正则项，由此可以得到基于配对级排序学习方法的协同过滤算法的损失函数表达式，如式2所示：

其中λ表示正则项的权重参数，我们使用随机梯度下降方法求解单个损失函数，由于我们设置的损失函数是非凸的，直接优化非常困难，所以我们首先将原问题分解。对于求解U和V矩阵来说，我们可以分解为求解U矩阵子问题和求解V矩阵子问题，求解U矩阵的子问题可以定义为式3：

为了求解U矩阵子问题，我们首先固定V矩阵不变，U矩阵子问题可以被分解为n个u_i的独立子问题，即将求解矩阵的子问题转化为求解一维向量的子问题。对于每一个U矩阵的一维向量子问题可以描述为式4：

其中，

通常来说，每一个子问题的维度都是r，对于每一个用户i来说，样本的容量大小为Ω。接下来我们以铰链损失平方函数为例，使用随机梯度下降的方法来求解U矩阵的一维向量子问题：

根据随机梯度下降的更新公式可以得到式5：

其中，η表示学习速率，以铰链损失函数的平方为例，求解w_u，包括如下过程：

令f(u)＝l(Y_ijk·u^T(v_j-v_k))＝max{0,(1-u^T(v_j-v_k))²}，

(1)当u_t(v_j-v_k)＜1时，

(2)当u_t(v_j-v_k)≥1时，

w_u＝0

所以得到u的更新公式为：

以上是求解U矩阵子问题的过程；

下面求解V矩阵子问题。V矩阵子问题可以描述为式7：

由于V矩阵子问题含有两个向量v_j和v_k，故首先固定v_k，更新v_j，求解v_j问题可以分解为式8:

根据随机梯度下降的更新公式可以得到式9：

其中，以铰链损失函数的平方为例，通过以下过程求解

令g(v_j)＝l(Y_ijk·u^T（v_j－v_k))＝max{0,(1-u^T(v_j-v_k))²}

(1)当u_t(v_j-v_k)＜1时，

(2)当u_t(v_j-v_k)≥1时，

所以得到v_j的更新公式为式10：

然后固定v_j，更新v_k，对于v_k来说，求解v_k问题可以分解为式11：

根据随机梯度下降的更新公式可以得到式12：

其中，以铰链损失函数的平方为例，求解

令g（v_k)＝l(Y_ijk·u^T(v_j－v_k))＝max{0,(1-u^T(v_j-v_k))²}

(1)当u_t(v_j-v_k)＜1时，

(2)当u_t(v_j-v_k)≥1时，

所以得到v_k的更新公式为式13：

图1所示是本发明提供的基于随机梯度下降的在线协同排序方法的流程，本发明实施方式如下：

步骤1：选取数据集S，将数据集随机分为两份，本实施例以1:9的比例，取数据集中10％的的数据作为真实环境中的初始离线训练集，这对应于实际场景中的推荐系统很难获得到很多数据，只有一小部分数据可以用作初始训练；

步骤2：利用步骤一中的10％的数据集的评分数据建立用户-产品的评分矩阵X，X_ij表示用户i对于产品j的评分，在矩阵中，我们把每一行的所有评分三元组(u，v，d)进行两两组合，其中d表示用户u对产品v的评分，组合成为训练数据三元组(u，v₁，v₂)，训练数据三元组表示用户u相对于产品v₂，更喜欢产品v₁；

X＝UV^T (式14)

步骤4：对于所有的训练数据三元组(ui，vj，vk)，使用SGDRank算法和步骤1中的10％的数据集对矩阵U和矩阵V进行离线更新，得到UV^T模型；其中离线更新的公式为：

步骤5：对于步骤1中的离线数据集中的剩余样本数据作为在线样本，每当到来一个在线样本(u，v，d)时，将该样本加入到矩阵X中，并且判断该矩阵中是否含有用户u的评分，若无用户u，则不进行矩阵更新，若矩阵X中含有用户u的评分，则我们把u的所有评分三元组(u，v，d)进行两两组合，组合成为所有可能的训练数据三元组(u，v₁，v₂)作为在线训练数据；

步骤6：使用SGDRank算法和上述步骤1中的90％的在线训练数据对矩阵U和矩阵V进行在线训练，并且更新UV^T模型；对于新到来的训练数据三元组(u_i，v_j，v_k)，其中u_i表示第i个用户，v_j表示第j个产品，v_k表示第k个产品，在线训练的更新公式同步骤4中的离线更新公式。(注意：在真实的实验中，我们对于训练数据采样的方式进行更新，在NDCG@10的指标中，我们对于每一个用户采样N个评分，在Precision@k的指标中，我们对于每一个用户采样C个配对)。

表1给出了上述步骤4的离线更新实验结果，评测指标我们选取了训练时间(training time)、配对错误率(error)、NDCG@10：

表1离线更新实验指标为训练时间、配对错误率和NDCG@10的评测结果

表2给出了，上述步骤6的在线更新实验结果，评测指标我们选取了配对错误率(error)和NDCG@10：

表2在线更新实验指标为配对错误率和NDCG@10的评测结果

表3给出了，本发明的SGDRank算法与其他算法在Precision@K评测指标实验结果比较：

表3本发明的SGDRank算法与其他算法在Precision@K评测指标实验结果比较

表4给出了本发明的SGDRank算法与其他算法在NDCG@10评测指标实验结果比较：

表4本发明的SGDRank算法与其他算法在NDCG@10评测指标实验结果比较

表5给出了本发明的SGDRank算法与其他算法在Pairs error评测指标实验结果比较:

表5本发明的SGDRank算法与其他算法在Pairs error评测指标实验结果比较

表6给出了本发明的SGDRank算法与其他算法在Training time(second)评测指标实验结果比较:

表6本发明的SGDRank算法与其他算法在Training time(second)评测指标实验结果比较

上述表格中出现的其他算法，其中，Yun等在NIPS 2014记载了RobiRank；Park等在ICML 2015记载了AltSVM；Lee等在WWW 2014记载了LCR；Weimer等在NIPS 2007记载了CofiRank。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims

1.一种在线协同排序方法，通过协同排序的方法建立目标函数，并使用随机梯度下降方法求解；通过建立在线协同排序的推荐系统进行增量训练，实时更新推荐列表，实现边训练边推荐，由此实现在线协同排序；包括以下步骤：

步骤1：选取数据集S，数据集S包含用户数据、产品数据和用户对应产品的评分数据；将S随机分为比例一大一小的两份；

步骤2：利用步骤1中的小比例的数据集的评分数据建立用户-产品的评分矩阵X，评分矩阵X中的X_ij表示用户i对于产品j的评分；将矩阵中的每一行的所有评分三元组(u，v，d)进行两两组合，其中d表示用户u对产品v的评分，组合成为训练数据三元组(u，v₁，v₂)，训练数据三元组表示用户u相对于产品v₂，更喜欢产品v₁；

步骤3：设定一共有m个用户和n个产品，将评分矩阵X分解为式14的形式：

X＝UV^T (式14)

所述将评分矩阵X分解具体包括如下步骤：

设定矩阵X是低秩的或者接近于低秩，将经验风险最小化描述为式1：

式1中，用户-产品的评分矩阵X，X_ij表示用户i对于产品j的评分；用户的偏好关系值Y_ijk用{Y_ijk∈{1,-1}:(i,j,k)∈Ω}来表示；X_ik表示用户i对于产品k的喜好(评分)；损失函数l以选取铰链损失平方为例：l(x)＝max(0,1-x)²；

向损失函数中加入正则项，得到基于配对级排序学习方法的协同过滤算法的损失函数表达式，如式2所示：

其中，λ表示正则项的权重参数；

使用随机梯度下降方法求解单个损失函数，将原问题分解为求解U矩阵子问题和求解V矩阵子问题；

将求解U矩阵的子问题定义为式3：

再将求解矩阵的子问题转化为求解一维向量的子问题，对于每一个U矩阵的一维向量子问题描述为式4：

其中，l(x)＝max(0,1-x)²；

将V矩阵子问题描述为式7：

通过分别求解U矩阵子问题和V矩阵子问题求解所述评分矩阵X矩阵；

所述求解U矩阵子问题具体包括如下过程：

设定每一个子问题的维度都是r，对于每一个用户i来说，样本的容量大小为Ω；利用铰链损失平方函数，使用随机梯度下降的方法来求解U矩阵的一维向量子问题：

根据随机梯度下降的更新公式可以得到式5：

令f(u)＝l(Y_ijk·u^T(v_j-v_k))＝max{0,(1-u^T(v_j-v_k))²}，

(1)当u_t(v_j-v_k)<1时，

(2)当u_t(v_j-v_k)≥1时，

w_u＝0

所以得到u的更新公式为：

以上过程完成求解U矩阵子问题；

所述求解V矩阵子问题具体包括如下过程：

V矩阵子问题含有两个向量v_j和v_k，首先固定v_k，更新v_j，求解v_j问题分解为式8:

根据随机梯度下降的更新公式得到式9：

其中，利用铰链损失函数的平方通过以下过程求解

令g(v_j)＝l(Y_ijk·u^T(v_j-v_k))＝max{0,(1-u^T(v_j-v_k))²}

(1)当u_t(v_j-v_k)<1时，

(2)当u_t(v_j-v_k)≥1时，

所以得到v_j的更新公式为式10：

然后固定v_j，更新v_k，对于v_k来说，将求解v_k问题分解为式11：

根据随机梯度下降的更新公式得到式12：

其中，利用铰链损失函数的平方求解如下：

令g(v_k)＝l(Y_ijk·u^T(v_j-v_k))＝max{0，(1-u^T(v_j-v_k))²}

(1)当u_t(v_j-v_k)<1时，

(2)当u_t(v_j-v_k)≥1时，

得到v_k的更新公式为式13：

以上过程完成求解V矩阵子问题；

步骤4：对于所有的训练数据三元组(u_i，v_j，v_k)，使用在线协同排序方法SGDRank和步骤1中小比例的数据集对矩阵U和矩阵V进行离线更新，得到UV^T模型；

所述在线协同排序方法SGDRank具体包括如下步骤：

41)将用户的数量表示为d₁，将产品的数量表示为d₂，定义一个三元组的集合当(i,j,k)∈Ω时，表示用户i对于产品j和产品k的偏好关系；

42)将用户的偏好关系值Y_ijk用{Y_ijk∈{1,-1}:(i,j,k)∈Ω}来表示，当用户i对产品j的喜好大于对产品k的喜好时，Y_ijk＝1，相反地，当用户i对产品j的喜好小于对产品k的喜好时，Y_ijk＝-1；用Ω_i＝{(j,k):(i,j,k)∈Ω}来表示用户i对于产品喜好的集合；

44)对于评分矩阵X的每一行，选取出未被用户u评分的所有产品，然后进行排序，排序的结果作为对该行用户的推荐产品的顺序；

所述对矩阵U和矩阵V进行离线更新，具体利用式15～式17：

其中，(u_i，v_j，v_k)为所有的训练数据三元组；U为m×r的矩阵；V为n×r的矩阵，其中r表示用户和产品的隐特征向量的维度；

步骤5：将步骤1中的离线数据集中的剩余样本数据作为在线样本(u，v，d)数据集，每当到来一个在线样本(u，v，d)时，将该样本加入到矩阵X中，判断获得该矩阵中是否含有用户u的评分；当矩阵X中含有用户u的评分时，把u的所有评分三元组(u，v，d)进行两两组合成为所有可能的训练数据三元组(u，v₁，v₂)，作为在线训练数据；

步骤6：使用在线协同排序方法SGDRank和步骤5所述离线数据集中的剩余样本数据对矩阵U和矩阵V进行在线训练，并且更新UV^T模型，从而得到训练后的X矩阵，进而获取X矩阵的每一行用户的产品推荐，由此实现对数据的在线协同排序。

2.如权利要求1所述在线协同排序方法，其特征是，所述一大一小的比例为1：9。

3.如权利要求1所述在线协同排序方法，其特征是，具体取数据集中小比例的数据作为真实环境中的初始离线训练数据集。