CN112765458B - 基于度量分解和标签自适应分配权重的混合推荐方法 - Google Patents

Abstract

本发明提供了基于度量分解和标签自适应分配权重的混合推荐方法，针对特定的用户及选定物品，利用预先构建的基于度量分解的模型得到该用户对该选定物品的第一预测评分；利用预先构建的基于标签的模型得到该用户对该选定物品的第二预测评分；将第一预测评分和第二预测评分进行加权求和确定该用户对该特定物品的最终预测评分；根据各用户对各物品的最终预测评分为用户推荐物品。本发明充分结合了欧式距离对个体数值特征的绝对差异的敏感性以及余弦相似度对方向和比例的敏感性，引入了物品的标签信息并有效加以利用，使得评分预测结果更加全面且准确。

Description

基于度量分解和标签自适应分配权重的混合推荐方法

技术领域

本发明属于机器学习领域，针对动漫评分预测场景涉及一种基于度量分解和标签自适应分配权重的混合推荐方法。

背景技术

推荐系统已在现代生活中得到越来越广泛的应用，并且它们发挥了越来越重要的作用。例如，电影，书籍，新闻和电子商务中都离不开推荐系统的存在。在过去的几十年中，大量信息的涌入使用户在面对海量数据时无所适从。如何准确地向用户推荐有用的信息并满足用户的相应兴趣和需求是非常重要的。手机的飞速发展使得当代网民更倾向于在手机上阅读新闻报道。因此，迫切需要从大量的信息中准确推荐符合用户兴趣的信息。推荐系统是可以预测用户对产品和信息的偏好或排序的模型，这是用户从互联网上大量信息中找到适合自己的信息和产品的重要渠道。

常见的推荐方法有基于内容的推荐方法、协同过滤推荐方法和混合推荐方法等。基于矩阵分解的推荐方法是比较流行且有效的一种推荐方法,它可以将难以处理的高维稀疏矩阵降维成低维特征矩阵，且训练数据量越大，精度越高，但是这种方法也存在其局限性。论文《Collaborative Filtering via Euclidean Embedding》首次提出了对于矩阵分解中的特征向量，使用其欧氏距离代替内积作为预测评分，以解决矩阵分解不满足三角不等式的问题。这一改进使得用户和物品的特征向量的可视化结果符合人类直觉，但是仍然存在着因为数据单一、难以利用其它特征和无法实现物品冷启动，而导致的预测结果不够合理和准确的问题。

发明内容

本发明为解决现有的推荐方法存在的预测结果不够合理和准确的问题，提出基于度量分解和标签自适应分配权重的混合推荐方法。

本发明采用以下技术方案，提供基于度量分解和标签自适应分配权重的混合推荐方法，包括：针对特定用户及各选定物品，利用预先构建的基于度量分解的模型得到所述特定用户对各选定物品的第一预测评分；利用预先构建的基于标签的模型得到所述特定用户对各选定物品的第二预测评分；分别将所述特定用户对同样的选定物品的第一预测评分和第二预测评分进行加权求和确定所述特定用户对各选定物品的最终预测评分；根据所述特定用户对各选定物品的最终预测评分为用户推荐物品。进一步地，所述的基于度量分解的模型训练方法包括如下步骤:构建用户物品评分矩阵S和物品标签特征向量，其中用户物品评分矩阵S的行索引是用户的标识号，列索引是物品的标识号，将用户物品评分矩阵S转化为距离矩阵D，方法如下：

D(u,i)＝Maximum-S(u,i)

其中D(u,i)表示用户u对物品i的评分值与最大评分的距离，Maximum为数据集中允许出现的最大评分，S(u,i)表示用户u对物品i的评分值；

利用正态分布随机初始化一个(m+n)×k的矩阵，k表示隐向量维度；该矩阵的每一行代表一个用户的隐向量，表示为p_u，或代表物品i的隐向量，表示为q_i；

利用正态分布随机初始化一个(m+n)×1的矩阵，其中m表示用户个数，n表示物品个数，用来保存与迭代b_u和b_i；b_u为基于度量分解的模型的用户偏差，b_i为基于度量分解的模型的物品偏差；

构造损失函数，表达式如下：

其中p_u表示用户u的隐向量，

表示原始用户和物品间的欧式距离的平方，μ为全局偏差，q_i表示物品i的隐向量，

表示

三元组格式的训练数据集，c_ui表示置信度系数，λ表示正则化系数，

为训练集中用户u对物品i的评分。

指在训练时，以设定的概率p随机丢弃

部分维度的分量；

基于三元组结构的数据

使用梯度下降方法来减小损失函数，优化相关参数，在每一次的对损失函数求导，计算梯度，更新参数后，按比例缩放得到更新的(m+n)×k的特征矩阵中每一行的特征向量使得它们的2范数等于超参数l，k表示隐向量维度；至此，基于度量分解的模型训练完成

再进一步地，c_ui的计算方法如下：

其中β为超参数，用来调节评分偏离Maximum/2的程度给损失函数带来的影响。

进一步地基于标签的模型的训练方法如下：

利用正态分布随机初始化一个m×L的用户标签特征矩阵，每一行代表用户u的基于标签的模型特征向量p′_u，利用物品标签信息生成物品标签向量q′_i。

利用正态分布随机初始化一个(m+n)×1的矩阵，其中m表示用户个数，n表示物品个数，用来保存与迭代b′_u和b′_i。b′_u为基于标签的模型的用户偏差，b′_i为基于标签的模型的物品偏差。

使p′_u与q′_i做内积再加上偏差项得到基于标签的预测评分，表达式如下：

r_ui＝p′_uq′_i+b′_u+b′_i+μ′

其中b′_u表示基于标签的模型的用户偏差，b′_i表示基于标签的模型的物品偏差，μ′为基于标签的模型的全局偏差；

构造基于标签的推荐算法的损失函数：

λ表示正则化系数，

表示

三元组格式的训练数据集，生成的评分矩阵S得到大量三元组结构的数据

使用梯度下降方法来减小损失函数，优化相关参数，至此，基于标签的模型训练完成。

进一步地将第一预测评分和第二预测评分进行加权求和确定该用户对该特定物品的最终预测评分的表达式如下：

R＝(1-α)R₁+αR₂

其中R₁表示第一预测评分，R₂表示第二预测评分，α表示分配的权重系数。

进一步地分配的权重系数α的设定方法如下：

对训练集中的每一个三元组

对应的L维的物品标签向量q′_i，计算其对应的标签重要性与评分重要性，表达式如下：

其中t表示L维的物品标签向量q′_i中大于0的维度数，TI表示L维的物品标签向量q′_i中大于0的维度数占总维数的比例，U_i表示给当前物品i评价过的用户数量，U表示用户总数，RI表示给当前item评价过的用户数占总用户数的比例。根据TI和RI确定分配的权重系数α。

可选的，所述梯度下降具体采用小批量随机梯度下降方法。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如以上技术方案任意一种可能实施方式所提供的方法的步骤。

本发明所取得的有益技术效果：

1、本发明充分结合了欧式距离对个体数值特征的绝对差异的敏感性以及余弦相似度对方向和比例的敏感性，引入了物品的标签信息并有效加以利用，使得评分预测结果更加全面且准确。

2、本发明谨慎评估了用户评分稀疏度和标签稀疏度对预测结果带来的影响，根据样本本身的特定情况自适应地分配预测评分的主要项和修正项的权重，使得预测结果更加合理且准确。

3、本发明对于物品标签信息的引入与利用有效地解决了物品的冷启动问题，生成的用户标签特征向量也增强了推荐结果的可解释性。

附图说明

图1是本方法具体实施例提供的方法的具体流程图。

具体实施方式

以下结合说明书附图和具体实施例对本发明做进一步地说明。

实施例一、基于度量分解和标签自适应分配权重的混合推荐方法本实施例针对动漫评分预测场景，针对特定用户及各选定物品，利用预先构建的基于度量分解的模型得到所述特定用户对各选定物品的第一预测评分；利用预先构建的基于标签的模型得到所述特定用户对各选定物品的第二预测评分；分别将所述特定用户对同样的选定物品的第一预测评分和第二预测评分进行加权求和确定所述特定用户对各选定物品的最终预测评分；根据所述特定用户对各选定物品的最终预测评分为用户推荐物品。训练步骤如图1所示，包括以下步骤：

训练步骤1，采集来自欧美权威动漫评价网站myanimelist.net的用户物品信息数据(用户id，动漫id，评分)，构建用户物品评分矩阵S和物品标签特征向量。其中用户物品评分矩阵S的行索引是用户的id，列索引是物品的id，特定的行列索引定位的矩阵中的值即该用户对该物品的评分值；其中物品标签特征向量q′_i从物品的标签信息中计算得到，可选地采用以下方法确定：设所有物品的标签信息中一共出现过L种不同的标签，对每一个物品按照其拥有的标签平均分配权重，最终会针对每个物品生成一个维度为L的标签特征向量，其中大部分维度下的值为0，值不为0的几个维度对应物品标签信息中拥有的几个标签，且总和为1。

训练步骤2，将评分矩阵S(相似度矩阵)转化为距离矩阵D：

D(u,i)＝Maximum-S(u,i)

其中，Maximum为数据集中允许出现的最大评分。

训练步骤3，设数据集中一共有m个用户，n个物品，其特征维度k为超参数。利用正态分布随机初始化一个(m+n)×k的矩阵，该矩阵的每一行代表一个用户(物品)的隐向量p_u(q_i)。利用正态分布随机初始化一个(m+n)×1的矩阵，代表下一步骤中将要提到的基于度量分解模型的用户偏差b_u和物品偏差b_i。接下来需要构造一个损失函数，通过梯度下降法，不断优化上述矩阵。

训练步骤4，构造损失函数之前，需要先定义用户和物品间的距离：

即在原本的欧式距离的基础上加入用户偏差b_u，物品偏差b_i以及全局偏差μ，其中全局偏差μ由对距离矩阵D直接求平均值得到，用户偏差b_u和物品偏差b_i则通过梯度下降法训练得到。

训练步骤5，构造损失函数：

其中c_ui＝1+β|y_ui-Maximum/2|，是置信度系数，给予偏离平均值较大的评分更高的权重。其中β为超参数，用来调节评分偏离Maximum/2的程度给损失函数带来的影响。其中dropout指在训练时，以p的概率随机丢弃

部分维度的分量，以达到减弱维度相关性的目的，在测试时则不需要这一操作。最后的平方项为正则化项。

训练步骤6，根据上述生成的距离矩阵D得到大量三元组结构的数据

代入数据，使用mini-batch SGD来减小损失函数，优化相关参数。在每一次的对损失函数求导，计算梯度，更新参数后，需要额外增加一个梯度裁剪的操作，即按比例缩放刚刚得到更新的(m+n)×k的特征矩阵中每一行的特征向量使得它们的2范数等于超参数l。至此，基于度量分解的模型训练完成，在测试步骤中会得到第一预测评分R₁(主要项)。

训练步骤7，利用正态分布随机初始化一个m×L的用户标签特征矩阵，每一行代表用户u的基于标签的模型的特征向量p′_u，利用物品标签信息生成物品标签向量q′_i。

利用正态分布随机初始化一个(m+n)×1的矩阵，其中m表示用户个数，n表示物品个数，用来保存与迭代b′_u和b′_i。b′_u为基于标签的模型的用户偏差，b′_i为基于标签的模型的物品偏差。

使p′_u与q′_i做内积再加上上述步骤提到的偏差项得到基于标签的预测评分：

r_ui＝p′_uq′_i+b′_u+b′_i+μ′

b′_u表示基于标签的模型的用户偏差，b′_i表示基于标签的模型的物品偏差，μ′为基于标签的模型的全局偏差；

训练步骤8，构造基于标签的推荐算法的损失函数：

训练步骤9，根据上述生成的评分矩阵S得到大量三元组结构的数据

代入数据，使用mini-batch SGD来减小损失函数，优化相关参数。至此，基于标签的模型训练完成。在测试步骤中会得到第二预测评分R₂(修正项)。

在测试步骤中会以通过权重系数α加权后的总评分作为最终预测结果R：

R＝(1-α)R₁+αR₂

实施例二、在实施例一的基础上，为了使分配权重系统效果更好，本实施例采用以下方法设定分配权重系数α，包括：

训练步骤10，对训练集中的每一个三元组

对应的L维的物品标签向量q′_i，计算其对应的标签重要性(Tag Importance)与评分重要性(Rating Importance)：

其中t表示L维的物品标签向量q′_i中大于0的维度数，TI表示L维的物品标签向量q′_i中大于0的维度数占总维数的比例，U_i表示给当前物品i评价过的用户数量，U表示用户总数，RI表示给当前item评价过的用户数占总用户数的比例。

训练步骤11，调整超参数：

权重系数—α，隐向量维度—k，梯度裁剪clip value—l，dropout概率—p。

经过多次验证，按照如下方法分配权重系数α效果相对较好：

若TI≥RI，α＝0.4；若TI＜RI，α＝0.1。

测试步骤1，将(u,i)代入基于度量分解的模型得到第一预测评分R₁(主要项)。

R₁＝Maximum-y_ui

测试步骤2，将(u,i)代入基于标签的模型得到第二预测评分R₂(修正项)。

R₂＝p′_uq′_i+b′_u+b′_i+μ′

测试步骤3，将第一预测评分和第二预测评分按照上述规则进行加权得到最终预测评分R。

R＝(1-α)R₁+αR₂

以下表1为多种推荐算法在Anime Recommendations Database上的RMSE和MAE对比，以user id划分三个子集多次验证得到的结果。

从表1中可以看出，本方法在以user id划分的任意子集里，相较于其他方法均有相似幅度的RMSE和MAE的稳定提升，其推荐效果明显优于其他方法，同时也很好地缓解了item的冷启动。

表1对比结果

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (9)

1.基于度量分解和标签自适应分配权重的混合推荐方法，其特征在于，包括：针对特定用户及各选定物品，利用预先构建的基于度量分解的模型得到所述特定用户对各选定物品的第一预测评分；利用预先构建的基于标签的模型得到所述特定用户对各选定物品的第二预测评分；分别将所述特定用户对同样的选定物品的第一预测评分和第二预测评分进行加权求和确定所述特定用户对各选定物品的最终预测评分；根据所述特定用户对各选定物品的最终预测评分为用户推荐物品；

所述的基于度量分解的模型的训练方法包括如下步骤：

构建用户物品评分矩阵S，其中用户物品评分矩阵S的行索引是用户的标识号，列索引是物品的标识号，

将用户物品评分矩阵S转化为距离矩阵D，方法如下：

D(u，i)＝Maximum-S(u，i)

其中D(u，i)表示用户u对物品i的评分值与最大评分的距离，Maximum为数据集中允许出现的最大评分，S(u，i)表示用户u对物品i的评分值；利用正态分布随机初始化一个(m+n)×k的矩阵，k表示隐向量维度；该矩阵保存每个用户的隐向量，表示为p_u，以及每个物品的隐向量，表示为q_i；利用正态分布随机初始化一个(m+n)×1的矩阵，其中m表示用户个数，n表示物品个数，用来保存与迭代b_u和b_i，b_u为基于度量分解的模型的用户偏差，b_i为基于度量分解的模型的物品偏差；

构造损失函数；

基于三元组结构的数据

使用梯度下降方法来减小损失函数，优化相关参数，在每一次的对损失函数求导，计算梯度，更新参数后，按比例缩放得到更新的(m+n)×k的特征矩阵中每一行的特征向量使得它们的2范数等于超参数l；至此，基于度量分解的模型训练完成；

基于标签的模型的训练方法如下：

利用正态分布随机初始化一个m×L的用户标签特征矩阵，每一行代表用户u的基于标签的模型的特征向量p′_u；

根据物品的标签信息确定物品标签特征向量q′_i；

利用正态分布随机初始化一个(m+n)×1的矩阵，其中m表示用户个数，n表示物品个数，用来保存与迭代b′_u和b′_i；b′_u为基于标签的模型的用户偏差，b′_i为基于标签的模型的物品偏差；

使p′_u与q′_i做内积再加上偏差项得到基于标签的预测评分r_ui，表达式如下：r_ui＝p′_uq′_i+b′_u+b′_i+μ′，

其中b′_u表示基于标签的模型用户偏差，b′_i表示基于标签的模型物品偏差，μ′为基于标签的模型全局偏差；

生成的评分矩阵S得到选定个数的三元组结构的数据

使用梯度下降方法来减小损失函数，优化相关参数，至此，基于标签的模型训练完成。

2.根据权利要求1所述的基于度量分解和标签自适应分配权重的混合推荐方法，其特征在于，

基于度量分解的模型的训练过程中构造的损失函数，表达式如下：

其中

表示原始用户和物品间的欧式距离的平方，μ为基于度量分解的模型的全局偏差；

表示

三元组格式的训练数据集，c_ui表示置信度系数，λ表示正则化系数；

为训练集中用户u对物品i的评分；

指在训练时，以设定的概率p随机丢弃

部分维度的分量。

3.根据权利要求2所述的基于度量分解和标签自适应分配权重的混合推荐方法，其特征在于，置信度系数c_ui的计算方法如下：

其中β为超参数，用来调节评分偏离Maximum/2的程度给损失函数带来的影响。

4.根据权利要求1所述的基于度量分解和标签自适应分配权重的混合推荐方法，其特征在于，

基于标签的模型的训练过程中构建的损失函数表示为：

其中λ表示正则化系数，

表示

三元组格式的训练数据集。

5.根据权利要求1所述的基于度量分解和标签自适应分配权重的混合推荐方法，其特征在于，根据物品的标签信息确定物品标签特征向量q′_i的方法包括：设所有物品的标签信息中一共出现过L种不同的标签，对每一个物品按照其拥有的标签平均分配权重，最终会针对每个物品生成一个维度为L的标签特征向量，其中特定维度下的标签特征值为0，标签特征值不为0的维度对应物品标签信息中拥有的标签，且各维度的标签特征总和为1。

6.根据权利要求1所述的基于度量分解和标签自适应分配权重的混合推荐方法，其特征在于，将第一预测评分和第二预测评分进行加权求和确定该用户对该特定物品的最终预测评分的表达式如下：

R＝(1-α)R₁+αR₂

其中R₁表示第一预测评分，R₂表示第二预测评分，α表示分配的权重系数。

7.根据权利要求1所述的基于度量分解和标签自适应分配权重的混合推荐方法，其特征在于，分配的权重系数α的设定方法如下：

对训练集中的每一个三元组

对应的L维的物品标签向量q′_i，计算其对应的标签重要性与评分重要性，表达式如下：

其中t表示L维的物品标签向量q′_i中大于0的维度数，TI表示L维的物品标签向量q′_i中大于0的维度数占总维数的比例，U_i表示给当前物品i评价过的用户数量，U表示用户总数，RI表示给当前item评价过的用户数占总用户数的比例；根据TI和RI确定分配的权重系数α。

8.根据权利要求1所述的基于度量分解和标签自适应分配权重的混合推荐方法，其特征在于，所述梯度下降具体采用小批量随机梯度下降方法。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～8任意一项权利要求所述方法的步骤。

Images