CN111104601A - 一种对抗式多反馈层级成对个性化排名方法 - Google Patents

Abstract

本发明公开了一种对抗式多反馈层级成对个性化排名方法，利用最基本，最有效的推荐模型矩阵分解，首先，通过用户的历史行为来构建用户项目评分矩阵，然后，矩阵分解模型将用户项目评分矩阵分解为用户和项目因素，利用贝叶斯个性化排名完成对抗式多层级反馈成对个性化排名算法。本发明通过计算评分均值将评分项目分为正项目和负项目，通过修改权重将未评分项反馈加入到隐式反馈中，然后根据评分结果选择反馈来表示正/负反馈类型。一种对抗式多反馈成对个性化排名方法证明了使用正确抽样方法的多层级反馈文档对排序法在精度上优于贝叶斯个性化排名。为了减少噪声污染，我们通过极小极大博弈增加对抗扰动训练MPR损失函数。

Description

一种对抗式多反馈层级成对个性化排名方法

技术领域

本发明属于信息技术领域，尤其涉及一种对抗式多反馈层级成对个性化排名方法。

背景技术

推荐系统主要针对信息过载问题，通过对用户的历史行为信息进行分析，从而推荐用户所感兴趣的个性化项目。这种历史行为信息可以通过显式反馈(如评分、评级)来预估项目的评分，也可以通过隐式反馈(如浏览、点击、点赞、收藏)来预估每个用户对项目的相对偏好。在早期大部分协同过滤算法中，一般仅使用用户评分等显式反馈信息对用户进行预测推荐，而隐式反馈信息通常表现为二值形式，一般“0”被用来表示用户对此物品未发生过标记行为，“1”则表示用户对此物品发生过标记行为。基于显式反馈的推荐算法与基于隐式反馈的推荐算法之间的不同是前者关注如何给用户推荐商品，后者关注如何在用户有可能喜欢的物品集合中对物品排序，而且隐式反馈的收集相比显式反馈要容易得多，一般网站的后台服务器会记录用户在网站上的行为，并保存在日志文件中。通过分析这些日志文件，可以得到很多用户对于商品的隐式反馈信息。在基于隐式反馈的推荐算法中，算法不再纠结于对于用户喜欢的物品的评分进行准确预测，而是把物品之间的顺序关系作为优化的目标。如何将现有的以评分为基础的显式反馈转化为隐式反馈，是当前研究的热点之一。

显式反馈转化为隐式反馈属于学习排序问题。一般可分为三种方法：(1)单文档方法(Pointwise)、(2)文档对方法(Pairwise)和(3)文档列表方法(Listwise)。单文档方法将隐式反馈作为绝对偏好评分，并最小化单文档的平方损失来近似绝对评分。单文档处理对象是单一文档，将文档转化为特征向量后，最终将排序问题转化为机器学习中常规的分类或回归问题。文档对方法中，通过使用查询返回的整个文档集合作为训练集的实例来训练损失函数。文档对方法是目前比较流行的方法，在输入信息的完整性和时间复杂度上都优于另外两种方法,它主要将排序问题归结为二元分类问题。贝叶斯个性化排名(BPR)是采用文档对偏好假设的最流行方法之一，它假设用户评分项目是正反馈，未评分项目归类为负反馈，相对于负反馈项目来说用户更喜欢正反馈。

目前，很多研究基于文档对方法的BPR算法进行改进，这些文档对模型都继承了BPR中的假设，即用户更喜欢观测到的项目，而不是未观测到的项目，然而这些方法并没有充分利用未观测到项目的信息。为了解决这一局限性，我们提出了一种新的文档对排序方法，即多层级反馈文档对排序法(MPR)，首先在将显式反馈转化为隐式反馈过程中，将隐式反馈分为三类：高于评分均值项的正反馈类型、低于评分均值项的负反馈类型和通过修改权重得到的未评分项目类型。然后根据概率分布进一步挑选具体的用户-项目队来代表相应类别的正/负/未评分项。实验表明，通过使用多文档对排名来进一步挖掘项目之间的联系，我们的MPR可以放宽以往工作中传统文档对偏好假设的严格限制。

然而，对于用户无论是显式还是隐式反馈，都存在误操作或者恶意操作的可能而造成信息污染导致推荐结果出现偏差的情况。我们提出一种对抗式多反馈层级成对个性化排名方法(AT-MPR)，该方法对MPR的目标函数通过极小极大博弈的方式进行扰动，并进一步深层次分析用户反馈信息的差异，重点研究了当存在噪音污染情况，如何提高MPR模型的鲁棒性。

发明内容

综上所述，本发明提出的一种对抗式多层级反馈成对个性化排名方法，包括如下步骤：

矩阵分解一直是最基本，最有效的推荐模型。

(1)首先，通过用户的历史行为来构建用户项目评分矩阵，然后，矩阵分解模型将用户项目评分矩阵分解为用户和项目因素。它的定义如公式(1)所示：

其中

是预测用户项目等级，p_u∈U,q_i∈I.U和I分别是用户集和项目集，P和Q分别代表用户和项目形成的矩阵，即P＝{p_u}∈U,Q＝{q_i}∈I；

(2)贝叶斯个性化排名

贝叶斯个性化排名的主要思想是将隐式反馈作为相对偏好，而不是绝对喜欢或不喜欢，如果观察到用户-项目(u,i)而不是(u,j)，就假定用户u相比于项目j更偏好于项目i，写为(u,i)＞(u,j)；因此，BPR算法的目标是搜索最佳的模型参数集以最大程度地提高这种可能性。BPR的损失函数定义如公式(2)所示：

其中D是三元组(u,i,j)的集合，即D＝{(u,i,j)|i∈I⁺∧j∈I\I⁺}，I⁺表示与用户u相关的项，σ(·)为sigmoid函数，λ_θ为防止过度拟合的正则化参数，||·||是L2范数，构造损失函数后，通过SGD更新参数并优化模型，以使第i项的得分高于j；

(3)对抗式多层级反馈成对个性化排名算法

通过计算评分平均值将不同的评分分为正反馈和负反馈，并通过修改权重将未评分项添加到隐式反馈中，大于均值的是正反馈，小于均值的是负反馈，必须先选择正反馈，然后再选择负反馈或未评分反馈，负反馈或未评分项目是通过概率分布来选取，如果选择了负反馈，则从相应级别中随机选择项目代表该类反馈，如果选择了未评分项目，则采用类似于正反馈的方法进行选择，根据概率分布的方式从正反馈中选择一个反馈水平；从确定的反馈中随机选择一个用户项目对，然后，需要确保所选出的用户不是之前选出的，选出的物品也没有被之前的用户评过分，最终得到未评分项目j，对于隐式反馈，可以将不同的偏好映射到不同的评分级别，L₁….L_n.让

代表具有三种反馈类型集，在

中，L_i的偏好强度高于L_i+1,记为L_i＞L_i+1。Luo是未观察到的反馈级别，因此，对于每个用户的正反馈水平L_i，负反馈水平L_j和未观察到反馈等级L，L_i＞L_uo，L_uo＞L_j；

在贝叶斯个性化排名中，对元组(u,i,j)进行随机采样，即从与用户u相关的项目中随机选择项目i，从与用户u不相关的项目中随机选择项目j，并且不考虑不同的反馈水平的重要性，在多层级反馈文档对排序法对元组(u,i,j)进行采样时，要考虑不同的反馈水平表示的不同类型的重要性。P(u,i,L)代表正反馈项目的采样如公式(3)所示：

P(u,i,L)＝P(u,i|L)P(L) (3)

其中P(u,i|L)是均匀分布，P(L)是非均匀概率分布，它可以在反馈水平的项目数太小时，通过调节权重因子来避免过拟合现象；此时，将具有不同反馈级别的项目和权重因子一起考虑如公式(4)所示：

其中ω_Li是具有三种类型的水平L的权重，

在选择负项目j之前，需要明确的一点是：使用用户评分的平均值作为分界点，高于平均值的是正反馈，低于平均值是负反馈，然后，当选择负项目j时，将首先确定负项目j所属的反馈类型N是属于负反馈还是属于未评分项反馈，由P(N|u,L)选择如公式(5)所示：

其中0≤β≤1是控制未评分项目的比率的参数，当β＝1时，负项目j和BPR的采样方法相同，负项目j将会从未评分项目中随机选取，确定负项目j所属的反馈水平后，选择负项目j概率公式如公式(6)所示：

当负项目j属于未评分反馈时，该项的选择与正项目i的选择相似，具体采用公式(7)所示：

P(j,u',L'|u)＝P(u',i'|L,u)P(L') (7)

其中u'≠u，项目i'不在用户u的评分项目中，L'和L以相同的方式采样。从L'采样(u',i')之后，有必要确保u'≠u，i'不在用户u的评分项目中，如果满足条件，则让j＝i；因为只是改变了采样数据的方式，对其基本损失函数没有本质的改变，如公式(8)所示：

将对抗性噪声Δadv定义为模型参数扰动，以最大化[9]启发的AT-MPR函数如公式(9)所示：

其中ε≥0控制噪音的量级，θ代表当前模型参数，

该模型多层级反馈文档对排序法所构建的结构不是那么健壮，并且容易受到一些干扰。

当数据稀疏且存在用户噪声行为导致数据噪声污染时，对推荐效果影响很大，因此，基于MPR，提出了一种基于个性化排名的新对抗模型，即对抗式多层级反馈成对个性化排名算法，形式上，我们定义AT-MPR损失函数如公式(10)所示：

L_AT-MPR(D|θ)＝L_MPR(D|θ)+λL_MPR(D|θ+△_adv) (10)

当变量Δ使损失函数最大化θ使损失函数最小时，AT-MPR训练过程可以表示为最大最小化问题，如公式(11)所示：

其中θ是为了损失函数最小号的优化参数。噪音Δ是最大化过程，其目的是确定当前模型的最坏扰动情况，这两个过程交替进行直到最终收敛；

采用的对抗式多反馈成对个性化排名算法如下：

输入：训练集S,对抗噪音ε,正则化λ,L₂正则化λ_θ,学习率η1,学习率η2,反馈因子β；

输出：模型参数θ；

初始化参数ε,β,λ,η1,η2；

(1)训练

(2)while Stopping criteria is not met do:

(3)the tuple(u,i,j)←公式(3),公式(5),公式(6)

(4)//更新模型参数θ

(5)

(6)//对抗训练

(7)△adv←公式(9)

(8)

(10)end

(11)returnθ。

有益效果

(1)一种对抗式多层级反馈成对个性化排名方法，通过计算评分均值将评分项目分为正项目和负项目，通过修改权重将未评分项反馈加入到隐式反馈中，然后根据评分结果选择反馈来表示正/负反馈类型。

(2)一种对抗式多反馈成对个性化排名方法证明了使用正确抽样方法的MPR在精度上优于BPR。为了减少噪声污染，我们通过极小极大博弈增加对抗扰动训练MPR损失函数。

具体实施方式

下面结合实施例，对本发明做进一步详细的说明。

实施例1

一种对抗式多反馈层级成对个性化排名方法，包括如下步骤:

(1)将用户对项目的评分分为6个不同的层级{L1,L2,L3,L4,L5,L6}，其中L1,L2,L3,L4,L5分别代表用户对项目评分，其范围为1-5，L6为未评分反馈。

(2)贝叶斯个性化排名将用户已评分的项目视为正项目，将未评分的项目视为负项目。在L1-L5中，根据评分均值将用户的评分划分为两种反馈类型：大于等于评分均值为正反馈L⁺；小于评分均值为负反馈L^-；以及用户未评分反馈L_uo，假设项目独立同分步并且正反馈大于未评分反馈，未评分反馈大于负反馈，即L⁺＞L_uo，L_uo＞L^-。在多反馈文档对排序法中，负项目从负反馈L^-或用户未评分反馈L_uo中抽取。

在正项目中，根据用户评分的流行度通过概率分布的方式决定项目所在的水平层级，然后随机选出一个用户物品对(u，i)来代表正反馈L⁺，即将项目i当作正项目，从而形成用户-项目对(u,i)。

当正项目确定后，我们需要判断负项目来自小于均值的负反馈L^-还是用户未评分反馈L_uo；

a、如果来自于负反馈L^-，则在用户u的该类反馈项目中随机选择一个项目j，组成(u,i,j)。

b、如果来自于用户未评分反馈L_uo，项目j’的选择与正项目i的选择相似，但要确保选出的j’与用户u没有交互行为，从而得到(u,i,j’)。

实施例2：

一种对抗式多反馈层级成对个性化排名方法，包括如下步骤:

现有评分为1的(u-i)对30组，评分为2的(u,i)对20组，评分为3的(u,i)对30组，以此评分为4的有10组，评分为5的有10组。先计算出每个用户对物品的评分均值，比如一个用户所评价过的物品评分为{1，2，2，3，4，5}，那么对于该用户来说评分均值为3，相应地评分为4和5就属于正反馈类型，以此对于其他用户也是同样处理。把所有用户的正反馈类型加在一起，可以得到正反馈各个层级的个数，假设评分为3的个数有9个，评分为4的有20个，评分为5的有20个。在选取正项目时，我们会先选出一个正反馈层级来代表正反馈，这个选取依据概率的方式：评分为3的正反馈层级的概率为

以此类推评分为4的概率为0.5，评分为5的概率为0.2。

在依据概率选出一个层级后，假设为3接下来就要在评分为3的(u-i)中随机挑选一个(这里会确保评分3对于选出的用户来说属于正反馈)选出的(u-i)将作为用户u0和正项目。然后选取负项目，在选取负项目时，我们需要得出负项目所属的反馈类型，是属于负反馈或未评分反馈，这里的负反馈的来源跟正反馈的计算方式一样。负反馈和未评分反馈两者的比例我们用参数β来调节。如果负项目来自负反馈(那么代表负反馈的层级N也会直接得到)，那么负项目将会从用户u0评分为N的项目中随机抽取。如果负项目来自与未评分反馈，那么负项目的选取方式跟正项目类似，还需要保证选出的项目不在u0评价过的项目中。

假设这里参数β取值为0.3，在负反馈中，评分层级为2的有10人，评分为1的有50人，那么此时负反馈评分为1的概率为

约等于0.64，未评分反馈-1概率为0.3，评分为2的概率约为0.06。那么这时如果依据概率选中1或者2，那么负项目将会从用户u0评分为1或者2的项目中随机抽取一个作为负项目，如果选中-1，则负项目的选取方式跟正项目相似，不过需要保证这里的项目跟u0没有交互行为。

以上实施例仅仅是对本发明的举例说明，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (1)

1.一种对抗式多层级反馈成对个性化排名方法，包括如下步骤：

(1)首先，通过用户的历史行为来构建用户项目评分矩阵，然后，矩阵分解模型将用户项目评分矩阵分解为用户和项目因素。它的定义如公式(1)所示：

其中

是预测用户项目等级，p_u∈U,q_i∈I.U和I分别是用户集和项目集，P和Q分别代表用户和项目形成的矩阵，即P＝{p_u}∈U,Q＝{q_i}∈I；

(2)贝叶斯个性化排名

贝叶斯个性化排名的主要思想是将隐式反馈作为相对偏好，而不是绝对喜欢或不喜欢，如果观察到用户-项目(u,i)而不是(u,j)，就假定用户u相比于项目j更偏好于项目i，写为(u,i)＞(u,j)；因此，BPR算法的目标是搜索最佳的模型参数集以最大程度地提高这种可能性。BPR的损失函数定义如公式(2)所示：

其中D是三元组(u,i,j)的集合，即D＝{(u,i,j)|i∈I⁺∧j∈I\I⁺}，I⁺表示与用户u相关的项，σ(·)为sigmoid函数，λ_θ为防止过度拟合的正则化参数，||·||是L2范数，构造损失函数后，通过SGD更新参数并优化模型，以使第i项的得分高于j；

(3)对抗式多层级反馈成对个性化排名算法

通过计算评分平均值将不同的评分分为正反馈和负反馈，并通过修改权重将未评分项添加到隐式反馈中，大于均值的是正反馈，小于均值的是负反馈，必须先选择正反馈，然后再选择负反馈或未评分反馈，负反馈或未评分项目是通过概率分布来选取，如果选择了负反馈，则从相应级别中随机选择项目代表该类反馈，如果选择了未评分项目，则采用类似于正反馈的方法进行选择，根据概率分布的方式从正反馈中选择一个反馈水平；从确定的反馈中随机选择一个用户项目对，然后，需要确保所选出的用户不是之前选出的，选出的物品也没有被之前的用户评过分，最终得到未评分项目j，对于隐式反馈，可以将不同的偏好映射到不同的评分级别，L₁….L_n.让

代表具有三种反馈类型集，在

中，L_i的偏好强度高于L_i+1,记为L_i＞L_i+1。Luo是未观察到的反馈级别，因此，对于每个用户的正反馈水平L_i，负反馈水平L_j和未观察到反馈等级L，L_i＞L_uo，L_uo＞L_j；

在贝叶斯个性化排名中，对元组(u,i,j)进行随机采样，即从与用户u相关的项目中随机选择项目i，从与用户u不相关的项目中随机选择项目j，并且不考虑不同的反馈水平的重要性，在多层级反馈文档对排序法对元组(u,i,j)进行采样时，要考虑不同的反馈水平表示的不同类型的重要性。P(u,i,L)代表正反馈项目的采样如公式(3)所示：

P(u,i,L)＝P(u,i|L)P(L) (3)

其中P(u,i|L)是均匀分布，P(L)是非均匀概率分布，它可以在反馈水平的项目数太小时，通过调节权重因子来避免过拟合现象；此时，将具有不同反馈级别的项目和权重因子一起考虑如公式(4)所示：

其中ω_Li是具有三种类型的水平L的权重，

在选择负项目j之前，需要明确的一点是：使用用户评分的平均值作为分界点，高于平均值的是正反馈，低于平均值是负反馈，然后，当选择负项目j时，将首先确定负项目j所属的反馈类型N是属于负反馈还是属于未评分项反馈，由P(N|u,L)选择如公式(5)所示：

其中0≤β≤1是控制未评分项目的比率的参数，当β＝1时，负项目j和BPR的采样方法相同，负项目j将会从未评分项目中随机选取，确定负项目j所属的反馈水平后，选择负项目j概率公式如公式(6)所示：

当负项目j属于未评分反馈时，该项的选择与正项目i的选择相似，具体采用公式(7)所示：

P(j,u',L'|u)＝P(u',i'|L,u)P(L') (7)

其中u'≠u，项目i'不在用户u的评分项目中，L'和L以相同的方式采样。从L'采样(u',i')之后，有必要确保u'≠u，i'不在用户u的评分项目中，如果满足条件，则让j＝i；因为只是改变了采样数据的方式，对其基本损失函数没有本质的改变，如公式(8)所示：

将对抗性噪声Δadv定义为模型参数扰动，以最大化[9]启发的AT-MPR函数如公式(9)所示：

其中

其中ε≥0控制噪音的量级，θ代表当前模型参数，

该模型多层级反馈文档对排序法所构建的结构不是那么健壮，并且容易受到一些干扰。当数据稀疏且存在用户噪声行为导致数据噪声污染时，对推荐效果影响很大，因此，基于MPR，提出了一种基于个性化排名的新对抗模型，即对抗式多层级反馈成对个性化排名算法，形式上，我们定义AT-MPR损失函数如公式(10)所示：

L_AT-MPR(D|θ)＝L_MPR(D|θ)+λL_MPR(D|θ+△_adv) (10)

当变量Δ使损失函数最大化θ使损失函数最小时，AT-MPR训练过程可以表示为最大最小化问题，如公式(11)所示：

其中θ是为了损失函数最小号的优化参数。噪音Δ是最大化过程，其目的是确定当前模型的最坏扰动情况，这两个过程交替进行直到最终收敛；

采用的对抗式多反馈成对个性化排名算法如下：

输入：训练集S,对抗噪音ε,正则化λ,L₂正则化λ_θ,学习率η₁,学习率η₂,反馈因子β；

输出：模型参数θ；

(1)初始化参数ε,β,λ,η₁,η₂；

(2)训练

(3)while Stopping criteria is not met do:

(4)the tuple(u,i,j)←公式(3),公式(5),公式(6)(5)//更新模型参数θ

(6)

(7)//对抗训练

(8)△adv←公式(9)

(9)

(10)end

(11)returnθ。