CN104991913B - 基于增强回归树的推荐方法及系统 - Google Patents

Abstract

一种基于增强回归树的推荐方法，其包括如下步骤：S1、从在线服务商处获取用户对物品的评分记录，其中评分记录为评分矩阵R，在评分矩阵R中的每一个元素r_i,j表示用户i对物品j的评分；在用户i没有对物品j评分时，指示矩阵I中的元素I_i,j＝0，在用户i对物品j做出评分时，I_i,j＝1；S2、学习用户的偏好模型{brt_i}及物品特征矩阵V；S3、根据学习用户的偏好模型{brt_i}及物品特征矩阵V的学习结果生成通过增强回归树表达的物品推荐列表。本发明还提供一种基于增强回归树的推荐系统。

Description

基于增强回归树的推荐方法及系统

技术领域

本发明涉及服务信息推送技术领域，特别涉及一种基于增强回归树的推荐方法及系统。

背景技术

当前，网络服务商为用户提供了诸如新闻、商品、图片、视频、音频、文档等(以下统一简称为物品)的在线服务。为了更好的为用户提供服务，服务商会记录用户的历史行为，例如记录用户购买(使用)过哪些物品、对物品的评价等。用户对物品的评分是分析用户偏好的重要信息。用户对物品的评分一般为1～k的整数，1表示最不喜欢，k表示最喜欢。1～k之间的评分表示的喜欢程度依次递增。由于每一个用户消费的物品数量有限，如何根据有限的评分数据挖掘用户偏好，进而据此为用户提供推荐是推荐领域面临的重要问题。所谓推荐即是预测用户可能喜欢的物品、按照可能的喜欢程度排序，并把这个物品列表推荐给用户。

在基于评分的推荐系统中，用户的偏好通常表示为一种线性函数。然而，由于用户与用户之间的差异非常大，简单的线性函数难以准确的表示各种用户偏好，特别是用户表现出来的条件偏好，难以用线性函数表示。所谓条件偏好指的是用户在不同条件下表现出来的不同偏好。例如，天气寒冷时喜欢热的饮料，而在夏天则偏爱冷饮。研究表明，条件偏好是一种非线性的关系。传统的推荐方法忽略了用户偏好的条件性，造成了一定程度的推荐错误。

发明内容

为了解决现有的商品或者服务推荐方法忽略了用户偏好的条件性，容易造成推荐错误的缺陷，本发明提供一种基于增强回归树的推荐方法及系统。

一种基于增强回归树的推荐方法，其包括如下步骤：

S1、从在线服务商处获取用户对物品的评分记录，其中评分记录为评分矩阵R，在评分矩阵R中的每一个元素r_i,j表示用户i对物品j的评分；在用户i没有对物品j评分时，指示矩阵I中的元素I_i,j＝0，在用户i对物品j作出评分时，I_i,j＝1；

S2、根据评分记录学习用户的偏好模型{brt_i}及物品特征矩阵V；

S3、根据学习用户的偏好模型{brt_i}及物品特征矩阵V的学习结果生成通过增强回归树表达的物品推荐列表。

一种基于增强回归树的推荐系统，其包括如下单元：

信息收集模块，用于从在线服务商处获取用户对物品的评分记录，其中评分记录为评分矩阵R，在评分矩阵R中的每一个元素r_i,j表示用户i对物品j的评分；在用户i没有对物品j评分时，指示矩阵I中的元素I_i,j＝0，在用户i对物品j做出评分时，I_i,j＝1；

学习模块，用于根据评分记录学习用户的偏好模型{brt_i}及物品特征矩阵V；

列表生成模块，用于根据学习用户的偏好模型{brt_i}及物品特征矩阵V的学习结果生成通过增强回归树表达的物品推荐列表。

本发明提供的基于增强回归树的推荐方法及系统，通过用增强回归树(BoostedRegression Trees)来表示用户的偏好，可以准确地表示用户的复杂偏好，从而得到更令人满意的推荐结果。

附图说明

图1是本发明实施的基于增强回归树的推荐方法流程图；

图2是本发明实施的基于增强回归树的推荐系统的结构框图；

图3是图2中学习模块的结构框图。

具体实施方式

如图1所示，一种基于增强回归树的推荐方法，其包括如下步骤：

S1、从在线服务商处获取用户对物品的评分记录，其中评分记录为评分矩阵R，在评分矩阵R中的每一个元素r_i,j表示用户i对物品j的评分；在用户i没有对物品j评分时，指示矩阵I中的元素I_i,j＝0，在用户i对物品j做出评分时，I_i,j＝1。评分可以表示为1～k的整数，1表示最不喜欢，k为正整数，表示最喜欢。1～k之间的评分表示的喜欢程度依次递增。

S2、根据评分记录学习用户的偏好模型{brt_i}及物品特征矩阵V。

S3、根据学习用户的偏好模型{brt_i}及物品特征矩阵V的学习结果生成通过增强回归树表达的物品推荐列表。增强回归树(Boosted Regression Trees)。

可选地，所述步骤S2包括如下子步骤：

S21、随机生成物品特征矩阵V中的每一个元素；对用户i，计算该用户所有评分的均值，作为初始的回归树T_i,0加入用户i的偏好模型brt_i中；

S22、检查收敛条件，当迭代次数达到预设次数或目标函数的值不再减小时跳转到步骤S23，否则跳转到步骤S3；

目标函数为如下：

其中，为预测的用户评分，||·||_F为F-范数，λ_V为正规化项的权重；

S23、采用gradient boost算法为每一个用户i训练一个回归树T_i,k；针对用户i的每一个评分r_i,j计算：采用作为训练样本，训练回归树T_i,k；将T_i,k以gradient boost算法的学习率η加入到brt_i中，其中brt_i←brt_i+ηT_i,k；

gradient boost算法为梯度提升算法。

S24、更新每一个物品j的物品特征向量。

可选地，所述步骤S23中：

gradient boost算法的学习率η的值为0.01。η用于表示用户偏好模型学习过程的收敛速度

可选地，所述步骤S22中：

正规化项的权重λ_V＝0.001。

可选地，所述步骤S24包括如下子步骤：

S241、判断是否收敛：收敛条件为目标函数的值不再减小；如果满足收敛条件则结束更新物品j的物品特征向量v_j，否则执行步骤S242。

S242、计算并更新物品j的物品特征向量v_j中每一维的最优值：第d维的元素v_j,d，计算最优值的方法如下：

从所有评价了物品j的用户的偏好模型{brt_i}中找到所有关于第d维变量的分支点，并按照从小到大排序，记为(s₁,s₂,...)；候选值为相邻两个分支点的均值，记为C＝{(s_i+s_i+1)/2,i＝1,2,...}，最优值就是C中使目标函数值最小的一个，即

S243、重复执行步骤S241以及步骤S242，直至更新完所有物品特征向量，并返回步骤S22。

可选地，所述步骤S3包括：

对每一个用户i，计算该用户对所有没有评分的物品j的评分预测值，计算方法为：

对按照从大到小排序，得到对用户i推荐列表。

是用户i对物品j评分的估计值，v_j是1×D的行向量，表示了物品j的特征。brt_i是表示用户i的偏好的增强回归树模型。可选地，D的取值为不大于50的正整数。

可选地，表示用户i的偏好的增强回归树brt_i是多个回归树的加权和：

其中，T_i,k是brt_i中的第k个回归树，a_i,k是第k个回归树的权重，K是brt_i中回归树的总数。可选地，K的取值为不大于50的正整数。

研究表明，增强回归树模型能够完整的表示非线性的条件偏好，比线性函数或者多项式函数有更强的表达能力。将增强回归树模型用于推荐系统能准确表示用户偏好，得到更令人满意的推荐结果。

本发明提供的推荐方法在真实数据集Epinions和MovieLen上进行了验证。Epinions和MovieLen是业内常用的检验推荐结果性能的数据集。以NDCG(NormalizedDiscounted Cumulative Gain)和ERR(Expected Reciprocal Rank)为检验标准，本发明提供的方法取得了更好的结果。其中，在MovieLen上推荐结果的NDCG指标和ERR指标比其它方法(如概率矩阵分解(PMF)、贝叶斯个性化排序(BPR))提高了12％。在Epinions上推荐结果的NDCG指标和ERR指标比其它方法提高了8％。

如图2所示，本发明实施例还提供一种基于增强回归树的推荐系统，其包括如下模块：

信息收集模块10，用于从在线服务商处获取用户对物品的评分记录，其中评分记录为评分矩阵R，在评分矩阵R中的每一个元素r_i,j表示用户i对物品j的评分；在用户i没有对物品j评分时，指示矩阵I中的元素I_i,j＝0，在用户i对物品j作出评分时，I_i,j＝1。

学习模块20，用于根据评分记录学习用户的偏好模型{brt_i}及物品特征矩阵V。

列表生成模块30，用于根据学习用户的偏好模型{brt_i}及物品特征矩阵V的学习结果生成通过增强回归树表达的物品推荐列表。

可选地，如图3所示，所述学习模块20包括如下单元：

初始化单元21，用于随机生成物品特征矩阵V中的每一个元素；对用户i，计算该用户所有评分的均值，作为初始的回归树T_i,0加入用户i的偏好模型brt_i中。

判断单元22，用于检查收敛条件，当迭代次数达到预设次数或目标函数的值不再减小时启动训练单元23的功能，否则启动列表生成模块30的功能。

目标函数为如下：

其中，为预测的用户评分，||·||_F为F-范数，λ_V为正规化项的权重；

训练单元23，用于为每一个用户i训练一个回归树T_i,k；针对用户i的每一个评分r_i,j计算：采用作为训练样本，训练回归树T_i,k；将T_i,k以gradient boost算法的学习率η加入到brt_i中，其中brt_i←brt_i+ηT_i,k；

更新单元24，用于更新每一个物品j的物品特征向量。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。

可以理解的是，对于本领域的普通技术人员来说，可以根据本发明的技术构思做出其它各种相应的改变与变形，而所有这些改变与变形都应属于本发明权利要求的保护范围。

Claims (6)

1.一种基于增强回归树的推荐方法，其特征在于，其包括如下步骤：

S1、从在线服务商处获取用户对物品的评分记录，其中评分记录为评分矩阵R，在评分矩阵R中的每一个元素r_i,j表示用户i对物品j的评分；在用户i没有对物品j评分时，指示矩阵I中的元素I_i,j＝0，在用户i对物品j做出评分时，I_i,j＝1；

S2、根据评分记录学习用户的偏好模型{brt_i}及物品特征矩阵V；

S21、随机生成物品特征矩阵V中的每一个元素；对用户i，计算该用户所有评分的均值，作为初始的回归树T_i,0加入用户i的偏好模型brt_i中；

S22、检查收敛条件，当迭代次数达到预设次数或目标函数的值不再减小时跳转到步骤S23，否则跳转到步骤S3；

目标函数为如下：

其中，为预测的用户评分，||V||_F表示物品特征矩阵V的F-范数，λ_V为正规化项的权重；

S23、采用Gradient boost算法为每一个用户i训练一个回归树T_i,k，所述T_i,k是brt_i中的第k个回归树，brt_i是用户i的偏好的增强回归树模型；针对用户i的每一个评分r_i,j计算：

其中，表示用户i对物品j的评分的真实值r_i,j与预测值brt_i(v_j)之间的差异,v_j是物品j的特征向量，它是一个1×D的行向量，所述D为正整数；

brt_i(v_j)是用户i对物品j的评分的预测值，即brt_i是表示用户i的偏好的增强回归树模型，它是多个回归树的加权和：

其中，a_i,k是第k个回归树的权重，K是brt_i中回归树的总数；

采用作为训练样本，训练回归树T_i,k；将T_i,k以Gradient boost算法的学习率η加入到brt_i中，其中

brt_i←brt_i+ηT_i,k；

Gradient boost算法为梯度提升算法；

S24、更新每一个物品j的物品特征向量；

S3、根据学习用户的偏好模型{brt_i}及物品特征矩阵V的学习结果生成通过增强回归树表达的物品推荐列表。

2.如权利要求1 所述的基于增强回归树的推荐方法，其特征在于，所述步骤S23中：

Gradient boost算法的学习率η的值为0.01。

3.如权利要求2所述的基于增强回归树的推荐方法，其特征在于，所述步骤S22中：

正规化项的权重λ_V＝0.001。

4.如权利要求2所述的基于增强回归树的推荐方法，其特征在于，所述步骤S24包括如下子步骤：

S241、判断是否收敛：收敛条件为目标函数的值不再减小；如果满足收敛条件则结束更新物品j的物品特征向量v_j，否则执行步骤S242；

S242、计算并更新物品j的物品特征向量v_j中每一维的最优值：第d维的元素v_j,d，计算最优值的方法如下：

从所有评价了物品j的用户的偏好模型{brt_i}中找到所有关于第d维变量的分支点，并按照从小到大排序，记为(s₁,s₂,...)；候选值为相邻两个分支点的均值，记为C＝{(s_i+s_i+1)/2,i＝1,2,...}，最优值就是C中使目标函数值最小的一个，即

其中，||v_j||₂表示物品特征向量v_j的2-范数；

S243、重复执行步骤S241以及步骤S242，直至更新完所有物品特征向量，并返回步骤S22。

5.如权利要求1所述的基于增强回归树的推荐方法，其特征在于，所述步骤S3包括：

对每一个用户i，计算该用户对所有没有评分的物品j的评分预测值，计算方法为：

对按照从大到小排序，得到对用户i推荐列表。

6.一种基于增强回归树的推荐系统，其特征在于，其包括如下模块：

信息收集模块，用于从在线服务商处获取用户对物品的评分记录，其中评分记录为评分矩阵R，在评分矩阵R中的每一个元素r_i,j表示用户i对物品j的评分；在用户i没有对物品j评分时，指示矩阵I中的元素I_i,j＝0，在用户i对物品j做出评分时，I_i,j＝1；

学习模块，用于根据评分记录学习用户的偏好模型{brt_i}及物品特征矩阵V；

初始化单元，用于随机生成物品特征矩阵V中的每一个元素；对用户i，计算该用户所有评分的均值，作为初始的回归树T_i,0加入用户i的偏好模型brt_i中；

判断单元，用于检查收敛条件，当迭代次数达到预设次数且目标函数的值不再减小时启动训练单元的功能，否则启动列表生成模块的功能；

目标函数为如下：

其中，为预测的用户评分，||V||_F表示物品特征矩阵V的F-范数，λ_V为正规化项的权重；

训练单元，用于为每一个用户i训练一个回归树T_i,k；针对用户i的每一个评分r_i,j计算：采用作为训练样本，训练回归树T_i,k；将T_i,k以Gradient Boost算法的学习率η加入到brt_i中，其中brt_i←brt_i+ηT_i,k；

更新单元，用于更新每一个物品j的物品特征向量；

列表生成模块，用于根据学习用户的偏好模型{brt_i}及物品特征矩阵V的学习结果生成通过增强回归树表达的物品推荐列表。