CN114140171A - 一种应用于推荐系统的鲁棒无偏的负采样方法 - Google Patents

Abstract

本发明公开了一种应用于推荐系统的鲁棒无偏的负采样方法，涉及电子商务领域，通过确定需要优化的损失函数优化推荐系统；计算用户对所有物品的打分，根据打分对正样本和负样本进行分簇，利用历史的评分矩阵来指导训练数据生成采样概率；使用采样后的样本进行训练，对预估值纠偏；使用本发明的鲁棒无偏的负采样方法结合推荐系统，对用户的喜好进行建模；根据模型的打分，均匀的采样hard和easy的正样本和负样本，由于使用采样的样本来训练模型，因此模型输出是有偏的，因此对损失函数作了修改，使采样方法具有无偏性。

Description

一种应用于推荐系统的鲁棒无偏的负采样方法

技术领域

本发明涉及电子商务领域，尤其涉及一种应用于推荐系统的鲁棒无偏的负采样方法。

背景技术

推荐系统的目的在于根据用户的兴趣爱好向用户进行个性化推荐，以提升用户在网上购物，新闻阅读，影音娱乐等场景下的体验；在推荐场景中，推荐模型主要依赖用户的历史反馈信息来建模用户的兴趣；一般来说，在模型训练过程中，需要同时提供正例(用户喜欢的商品)和负例(用户不喜欢的商品)给模型，然后基于损失函数来学习用户和商品的表示，最终完成模型的训练；但在实际推荐场景中，考虑到数据收集的难度，绝大部分的数据都是用户的隐式反馈信息，例如点击过的商品记录、看过的视频记录等；对于隐式反馈来说，数据没有明确的标签，一般假设用户交互过的商品都是正例，用户未交互过的商品作为负例；如何从只有正样本的数据中发掘出信息量更高的负例，成为目前该领域的主要研究方向；信息量更高的负例将显著提升模型的性能，加速模型的收敛；

目前，负采样算法首先随机选择一对用户和用户交互过的样本，然后根据当前用户来选择对应的负样本；负采样策略可以分为以下两种方法：静态的采样方法，BPR提出均匀随机负采样策略，即在用户未交互的商品中随机选一个作为负样本；动态的采样方法，DNS提出根据当前模型动态采样，即选择当前模型下预估打分较高的样本；IRGAN利用GAN中的生成器选择负例，将负例混入正例中来迷惑判别器，从而优化选择负样本的过程；这两种方法能选出梯度较大的样本，从而加速模型的收敛过程，提高模型的性能；但是这两种方法聚焦于梯度较大的样本，从而忽略了某些样本，只在局部的样本上训练，从而导致模型性能提升有限；

静态的采样方法预先设定了固定的样本分布，并从中采负样本，所以这个分布是独立于模型的状态的，不能随着模型的更新改变采样策略，容易产生低质量的样本，即该模型已能很好区分当前的正样本和负样本，从而该样本会产生较小的梯度，模型参数几乎不更新，导致模型收敛较慢；

动态的采样方法会偏好于选择hard的样本，即选择模型打分比较高的负样本，即产生更大的梯度，使模型参数更新更加快速；但是只聚焦于hard的样本，从而容易出现模式崩塌问题，导致模型难以训练；并且忽略了其他样本，只在部分样本上进行训练，导致模型性能降低。

发明内容

针对现有技术的不足，本发明提出了一种应用于推荐系统的鲁棒无偏的负采样方法，根据模型的打分，均匀的采样hard和easy的正样本和负样本，由于使用采样的样本来训练模型，因此模型输出是有偏的，因此对损失函数作了修改，使采样方法具有无偏性；

为解决所述技术问题，本发明所采取的技术方案是具体方法如下：

本发明提出了一种应用于推荐系统的鲁棒无偏的负采样方法，包括以下步骤：

S1：确定需要优化的损失函数；

S2：计算用户对所有物品的打分，根据打分对正样本和负样本进行分簇，利用历史的评分矩阵来指导训练数据生成采样概率；

S3：使用采样后的样本进行训练，对预估值纠偏；

S4：使用纠偏后的模型结合推荐系统，根据用户需求建模；

所述S1的具体过程为：推荐系统中的隐式反馈数据如公式(1)所示：

O＝{(u,i)|u∈U,i∈I} (1)

其中，(u,i)表示用户u和物品i的交互记录，U和I分别代表了用户和物品的集合，用户u对应的负样本定义如公式(2)所示：

使用BPR损失函数优化推荐系统，从隐式反馈数据中学习用户对物品的喜好，BPR损失函数如公式(3)所示：

其中，Θ表示网络参数，L(Θ)表示损失函数，σ(·)表示sigmoid函数，

和

是用户u对正样本i和负样本j对应的预测评分；

训练样本集D如公式(4)所示：

所述S2的具体过程分为以下步骤：

S2.1：计算用户对所有物品的打分；

使用当前的推荐系统参数预估每个用户对应的每个物品的打分，从而得到一个评分矩阵R如公式(5)所示：

R＝{R_ui|u∈U,i∈I} (5)

其中R_ui表示用户u对物品i的评分；

S2.2：对正样本进行分簇并计算采样概率；

对于正样本，从评分矩阵中取出所有正样本的评分如公式(6)所示：

R⁺＝{R_ui|(u,i)∈O} (6)

对评分进行排序，计算每簇的间隔：

其中

为评分最大，

为评分最小，簇数为m；根据间隔将其划分为m簇，记为G⁺；则第1簇

为评分最低的簇，第

簇为评分最高的簇；将评分排序相邻的正样本划分为同一簇，同一簇的样本富含的信息量最近；

通过均匀采样随机抽取一个簇，并在这个簇中随机抽取一个正样本，因此这个样本被抽取的概率如公式(8)所示：

其中

表示当前被抽取的第k簇的样本个数；

S2.3：对负样本进行分簇并计算采样概率；

对上述正样本中的每个样本对(u,i)，从评分矩阵中取出当前用户u对所有物品的评分，如公式(9)所示：

R_u＝{R_uj|j∈I} (9)

其中，R_uj表示用户u对物品j的评分，对评分进行排序，计算每簇的间隔，根据评分间隔将其划分为n簇，记为G^-，同理，第1簇

为当前用户u对所有物品评分中评分最小的物品簇；通过均匀采样随机抽取一个簇，并在这个簇中随机的抽一个负样本j，从而形成了一条训练样本(u,i,j),其中u表示当前用户,物品i表示正样本，物品j表示负样本；因此每个负样本被抽取到的概率如公式(10)所示：

其中，

表示当前被抽取的第k簇的样本个数；

S2.4：构造训练batch；

根据S2.2和S2.3生成的正样本和负样本的采样概率，得到一条训练样本(u,i,j)和其对应的采样概率如公式(11)所示：

P_uij＝P⁺*P^- (11)

通过循环b次采样过程，可得到b条训练样本，这些训练样本构成本次训练所需要的batch数据；

所述S3的具体过程如下：

由于使用了采样后的样本进行训练，模型的预估并非真实的后验，因此需要对模型的预估值进行纠偏，经过推导得到纠偏之后的损失函数为：

其中s表示一条训练样本(u,i,j)，π_s,1表示相对于物品j，物品i更受用户u喜欢时，训练样本(u,i,j)被采样的概率，π_s,0＝1-π_s,1表示相对于物品i，物品j更受用户u喜欢时，训练样本(u,i,j)被采样的概率；通过使用上述损失函数，可以完成对预估进行纠偏，使推荐系统学到真实的样本分布；

所述推荐系统的性能通过计算排序指标HitRate验证，具体过程如下:

初始化系统参数，通过标准正态分布来初始化模型的参数；在每个epoch，首先根据S2计算评分矩阵，并根据评分矩阵计算正样本的采样概率和负样本的采样概率；在当前epoch中，用S2生成的采样概率来完成训练样本的采样，当前epoch会包含

个batch训练，其中|D|表示训练集的大小；在当前batch训练中，根据S2生成的采样概率P⁺和P^-分别采出正样本和负样本，循环b次采样过程共采出b条训练样本，构成batch数据；使用纠偏后的损失函数对batch数据进行训练，不断重复采样和训练过程，直至损失函数不再下降，完成训练并保存当前的系统参数；使用留一法对数据集进行划分，即最后一天的用户物品交互记录作为测试集，其他的数据作为训练集，根据训练完成的推荐系统，对测试集上的数据进行预测，并计算排序指标HitRate，简写为HR：

N表示该指标只关注前N个物品，{predictTopN}表示推荐系统预测用户u喜欢的前N个物品，{click}表示测试集中用户u真实交互的物品；通过该指标验证推荐系统的性能。

有益技术效果

1、本发明发现在一个epoch中，用户对物品的偏好排序相近，可以使用评分矩阵来计算本轮epoch的样本分布，而且相对于传统负采样方法，本发明包含正样本采样和负样本采样，加速了模型收敛速度；对于采样过程，本发明通过对簇进行均匀采样，从而可以选出稳定的batch，即该batch由打分高和打分低的样本均匀构成；因此在稳定梯度的情况下，加快了模型的收敛速度；

2、由于对采出的样本进行训练，因此训练的模型是有偏的，本发明还对采样过程进行了纠偏，保证了模型学习的是真实的样本分布。

附图说明

图1为本发明实施例提供的一种应用于推荐系统的鲁棒无偏的负采样方法流程图；

图2为本发明实施例提供的样本分簇流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细说明；

本发明提出了一种应用于推荐系统的鲁棒无偏的负采样方法，如图1所示，包含以下步骤：

S1：确定需要优化的损失函数：

使用BPR损失函数来优化推荐模型，从而学习用户的偏好；在本实施例中，假设存在3个用户和6个物品，并且包含交互数据6条，包含{(u₁,i₁),(u₂,i₂),(u₂,i₃),(u₃,i₄),(u₃,i₅),(u₃,i₆)}，其中(u₁,i₁)代表用户1喜欢物品1；

S2：计算用户对所有物品的打分，根据打分对正样本和负样本进行分簇，利用历史的评分矩阵来指导训练数据生成采样概率；

对BPR损失函数进行求导，可以得到BPR损失函数对应的梯度：

其中

即负样本的评分减去正样本的评分；因此，正样本的评分越低，负样本的评分越高，可以产生更大的梯度，也说明当前的正样本和负样本包含更丰富的信息，可以加速模型的收敛；而且从实验中观察到，相邻epoch间用户对物品的偏好排序相近，因此可以利用历史的评分矩阵来指导采样；

S2.1：计算用户对所有物品的打分；

在每个epoch训练前，使用当前的推荐模型参数预估用户对应的所有物品的打分，从而得到一个评分矩阵R＝{R_ui|u∈U,i∈I}，即为3*6的一个评分矩阵；用这个评分矩阵来计算当前epoch中的样本的采样概率；

S2.2：对正样本进行分簇并计算采样概率；

如图2所示，从评分矩阵中取出所有正样本的评分R⁺＝{(u₁,i₁,0),(u₂,i₂,3),(u₂,i₃,3.5),(u₃,i₄,4.5),(u₃,i₅,5),(u₃,i₆,6)}，其中(u₁,i₁,0)表示在当推荐模型中用户1对物品1的打分为0；对上述的R⁺进行排序，并且设定簇数m＝3，则可以计算每簇的间隔(6-0)/3＝2，将所有的正样本分为3簇，第一簇包含打分0到2的样本，第二簇包含打分2到4的样本，第三簇包含打分4到6的样本，即

通过均匀采样随机抽取一个簇，如第1簇

并在这个簇中随机抽取一个元素，即样本(u₁,i₁)，该样本对应的采样概率为

将评分相近的正样本划分为同一簇，则同一簇的样本富含的信息量相近；再通过对簇进行均匀采样，提高了低分正样本的被采样的概率(从

提高到了

)，加强了推荐模型对于上述低分样本的学习，从而提高模型的排序性能，而且同时会考虑到高打分样本，从而保证了模型的稳定性；

S2.3：对负样本进行分簇并计算采样概率；

如图2所示，对应上述正样本(u₁,i₁)，从评分矩阵中取出当前用户u₁对所有物品的评分

其中(u₁,i₁,0表示在当推荐模型中用户1对物品1的打分为0；对上述的R_u进行排序，并且设定簇数n＝3，则可以计算每簇的间隔(0-(-6))/3＝2，将所有的样本分为3簇，即

通过均匀采样随机抽取一个簇，如第3簇

但是第三簇只有正样本，因此需要重新抽取一簇，如第1簇

并在这个簇中随机抽取一个元素，即样本i₃，该样本对应的采样概率为

则可以构成一条训练样本(u₁,i₁,i₃)，其中i₁是正样本，i₃是负样本；按照簇进行均匀采样，可以降低打分低的负样本对应的采样概率(从

降低到了

)，提高打分高的负样本对应的采样概率，达到了可以均匀的采出hard和easy的负样本，从而稳定了训练过程中的梯度，使模型稳定逐步收敛；

S2.4：构造训练batch数据；

如图2所示，根据S2.2和S2.3计算出的采样概率，循环采样b＝3次，构成本次训练所需要的batch数据B＝{(u₁,i₁,i₃),(u₂,i₃,i₄),(u₂,i₃,i₅)}；其中一条数据如(u₁,i₁,i₃)和该条数据对应的采样概率为

在S3中，根据采样概率对模型进行纠偏；

S3：对采样进行纠偏；

训练样本(u,i,j)用s表示，y_s表示label，用户对正样本和负样本的打分差

如公式(2)所示：

其中，Θ表示模型参数；

正样本打分大于负样本打分的概率如公式(3)所示：

其中x_s表示(u,i,j)对应的特征，对于采样的样本，δ_s表示是否采样样本s，p(δ_s＝1|y_s＝1,x_s)表示相对于物品j，物品i更受用户u喜欢时，训练样本(u,i,j)被采样的概率，将其简写为π_s,1，如公式(4)所示：

π_s,1＝p(δ_s＝1|y_s＝1,x_s)＝P_uij (4)

π_s,0表示相对于物品i，物品j更受用户u喜欢时，训练样本(u,i,j)被采样的概率，如公式(5)所示：

π_s,0＝p(δ_s＝1|y_s＝0,x_s)＝1-π_i,1 (5)

使用采样后的样本训练的模型如公式(6)所示：

其中，

表示采样样本训练所得的模型对应的正样本和负样本的打分差，得出：

可得

可得进行纠偏之后的损失函数为：

通过使用上述损失函数，可以完成对预估进行纠偏，使推荐系统学到真实的样本分布；

对于一条训练数据(u₁,i₁,i₃)，其中

代入公式(8)，然后进行梯度下降，更新模型参数；

S4：使用纠偏后的模型结合推荐系统，根据用户需求建模；

在本实施例中，使用本发明的鲁棒无偏的负采样方法结合FM模型根据用户需求建模；通过标准正态分布来初始化模型的参数；在每个epoch，首先根据S2计算评分矩阵，并根据评分矩阵计算正样本的采样概率P⁺和负样本的采样概率P^-；在当前epoch中会包含

个batch训练；在当前batch训练中，使用S2生成的采样概率P⁺和P^-来完成采正样本和负样本，循环b＝3次共采出3个训练样本，构成训练batch数据B，如B＝{(u₁,i₁,i₃),(u₂,i₃,i₄),(u₂,i₃,i₅)}；使用纠偏后的损失函数对batch数据B进行训练，不断重复采样和训练过程，直至损失函数不再下降，完成训练并保存当前的系统参数；根据训练完成的FM模型，对测试集上的数据进行预测，并计算排序指标HR，验证推荐系统的性能；

本发明提供的方法相较于对比方法，推荐性能得到了极大的提高；例如，在用户听歌序列的数据集LastFm上(1000个用户、20301首音乐，214574条听歌记录)上采用本发明提供的采样方法结合FM模型进行采样实验；实验结果表明，该采样方法在推荐任务上的效果远高于其他对比方法(随机采样和动态采样等)，在HR@5的评价指标上，本方法比最佳对比方法(IRGAN方法)具有4.2％的性能提升，相较于随机采样，评价指标的性能可以提升13％；此外，本发明提供的采样方法，可以加速模型的收敛速度，相较于随机采样方法，收敛速度提高了8倍以上，可以极大的加速训练过程并且产生更好的排序性能。

Claims (9)

1.一种应用于推荐系统的鲁棒无偏的负采样方法，其特征在于：分为以下步骤：

S1：确定需要优化的损失函数优化推荐系统；

S2：计算用户对所有物品的打分，根据打分对正样本和负样本进行分簇，利用历史的评分矩阵来指导训练数据生成采样概率；

S3：使用采样后的样本进行训练，对预估值纠偏；

S4：使用纠偏后的模型结合推荐系统，对用户的喜好进行建模。

2.如权利要求1所述的应用于推荐系统的鲁棒无偏的负采样方法，其特征在于：所述S1的具体过程为：推荐系统中的隐式反馈数据如公式(1)所示：

O＝{(u,i)|u∈U,i∈I} (1)

其中，(u,i)表示用户u和物品i的交互记录，U和I分别代表了用户和物品的集合，用户u对应的负样本定义如公式(2)所示：

使用BPR损失函数优化推荐系统，从隐式反馈数据中学习用户对物品的喜好，BPR损失函数如公式(3)所示：

其中，Θ表示网络参数，L(Θ)表示损失函数，σ(·)表示sigmoid函数，

和

是用户u对正样本i和负样本j对应的预测评分；

训练样本集D如公式(4)所示：

3.如权利要求1所述的应用于推荐系统的鲁棒无偏的负采样方法，其特征在于：所述S2的具体过程分为以下步骤：

S2.1：计算用户对所有物品的打分；

S2.2：对正样本进行分簇并计算采样概率；

S2.3：对负样本进行分簇并计算采样概率；

S2.4：构造训练batch。

4.如权利要求3所述的应用于推荐系统的鲁棒无偏的负采样方法，其特征在于：所述S2.1的具体过程为：使用当前的推荐系统参数预估每个用户对应的每个物品的打分，从而得到一个评分矩阵R如公式(5)所示：

R＝{R_ui|u∈U,i∈I} (5)

其中R_ui表示用户u对物品i的评分。

5.如权利要求3所述的应用于推荐系统的鲁棒无偏的负采样方法，其特征在于：所述S2.2的具体过程为：对正样本进行分簇并计算采样概率；

对于正样本，从评分矩阵中取出所有正样本的评分如公式(6)所示：

R⁺＝{R_ui|(u,i)∈O} (6)

对评分进行排序，计算每簇的间隔：

其中

为评分最大，

为评分最小，簇数为m；根据间隔将其划分为m簇，记为G⁺；则第1簇

为评分最低的簇，第

簇为评分最高的簇；将评分排序相邻的正样本划分为同一簇，同一簇的样本富含的信息量最近；

通过均匀采样随机抽取一个簇，并在这个簇中随机抽取一个正样本，因此这个样本被抽取的概率如公式(8)所示：

其中

表示当前被抽取的第k簇的样本个数。

6.如权利要求3所述的应用于推荐系统的鲁棒无偏的负采样方法，其特征在于：所述S2.3的具体过程为：对上述正样本中的每个样本对(u,i)，从评分矩阵中取出当前用户u对所有物品的评分，如公式(9)所示：

R_u＝{R_uj|j∈I} (9)

其中，R_uj表示用户u对物品j的评分，对评分进行排序，计算每簇的间隔，根据评分间隔将其划分为n簇，记为G^-，同理，第1簇

为当前用户u对所有物品评分中评分最小的物品簇；通过均匀采样随机抽取一个簇，并在这个簇中随机的抽一个负样本j，从而形成了一条训练样本(u,i,j),其中u表示当前用户,物品i表示正样本，物品j表示负样本；因此每个负样本被抽取到的概率如公式(10)所示：

其中，

表示当前被抽取的第k簇的样本个数。

7.如权利要求3所述的应用于推荐系统的鲁棒无偏的负采样方法，其特征在于：所述S2.4的具体过程为：根据S2.2和S2.3生成的正样本和负样本的采样概率，得到一条训练样本(u,i,j)和其对应的采样概率如公式(11)所示：

P_uij＝P⁺*P^- (11)

通过循环b次采样过程，可得到b条训练样本，这些训练样本构成本次训练所需要的batch数据。

8.如权利要求1所述的应用于推荐系统的鲁棒无偏的负采样方法，其特征在于：所述S3的具体过程如下：

由于使用了采样后的样本进行训练，模型的预估并非真实的后验，因此需要对模型的预估值进行纠偏，经过推导得到纠偏之后的损失函数为：

其中s表示一条训练样本(u,i,j)，π_s,1表示相对于物品j，物品i更受用户u喜欢时，训练样本(u,i,j)被采样的概率，π_s,0＝1-π_s,1表示相对于物品i，物品j更受用户u喜欢时，训练样本(u,i,j)被采样的概率；通过使用上述损失函数，可以完成对预估进行纠偏，使推荐系统学到真实的样本分布。

9.如权利要求1所述的应用于推荐系统的鲁棒无偏的负采样方法，其特征在于：所述推荐系统的性能通过计算排序指标HitRate验证，具体过程如下:

初始化系统参数，通过标准正态分布来初始化模型的参数；在每个epoch，首先根据S2计算评分矩阵，并根据评分矩阵计算正样本的采样概率和负样本的采样概率；在当前epoch中，用S2生成的采样概率来完成训练样本的采样，当前epoch会包含

个batch训练，其中|D|表示训练集的大小；在当前batch训练中，根据S2生成的采样概率P⁺和P^-分别采出正样本和负样本，循环b次采样过程共采出b条训练样本，构成batch数据；使用纠偏后的损失函数对batch数据进行训练，不断重复采样和训练过程，直至损失函数不再下降，完成训练并保存当前的系统参数；使用留一法对数据集进行划分，即最后一天的用户物品交互记录作为测试集，其他的数据作为训练集，根据训练完成的推荐系统，对测试集上的数据进行预测，并计算排序指标HitRate，简写为HR：

其中，N表示该指标只关注前N个物品，{predictTopN}表示推荐系统预测用户u喜欢的前N个物品，{click}表示测试集中用户u真实交互的物品；通过该指标验证推荐系统的性能。

Images