CN102129462B - 一种通过聚合对协同过滤推荐系统进行优化的方法 - Google Patents

Abstract

本发明公开了一种通过聚合对协同过滤推荐系统进行优化的方法，该方法通过构造同类聚合模型的方式来提高协同过滤推荐算法的推荐精度，主要采用分化训练数据集和随机注入两种方式分化构成聚合的基本推荐模型，分化训练数据集包括基于AdaBoost(AdaptiveBoosting，自适应增强法)算法和FSAM(Forward Stepwise AdditiveModeling，逐步逼近法)算法构造聚合推荐模型，随机注入包括基于随机化初始值和随机化训练序列构造聚合推荐模型，其推荐精度均优于单个基于RMF(Regularized Matrix Factorization)的隐向量模型的推荐精度。将AdaBoost、FSAM、随机化初始值和随机化训练序列四种方法加以组合，构造出叠加聚合推荐模型，其推荐精度明显优于单个基于RMF的隐向量模型和基于单一方法构造的聚合推荐模型的推荐精度。

Description

一种通过聚合对协同过滤推荐系统进行优化的方法

技术领域

本发明涉及一种基于聚合学习的优化方法，具体涉及一种通过聚合对协同过滤推荐系统进行优化的方法，适用于协同过滤推荐系统的优化，属于个性化推荐研究的技术领域。

背景技术

个性化推荐系统多数使用协同过滤方法而提供推荐信息，用户在协同过滤推荐问题中，用户对于项目的兴趣被量化为用户对项目的评分，并以一个用户-项目评分矩阵R表示。基于邻居关系的协同过滤推荐模型，虽然具备简单直观，实现难度低，推荐结果易于解释等优点，但其也存在计算复杂度和存储复杂度高、对用户-项目评分数据的解释性差等缺陷。因此，研究者们一直在努力尝试设计出具备更好性能的协同过滤推荐模型，其中的佼佼者就是隐向量模型。

在个性化推荐研究领域，将不同的推荐模型加以组合，以获得比单个推荐模型更好的推荐性能，也是常用的方法。由于隐向量模型相较于近邻关系模型，具备推荐精度高、训练和存贮复杂度低等特点，故而针对构造以隐向量模型作为基本模型的聚合推荐模型的研究十分活跃，其中较具备代表性的聚合推荐模型包括Wu等提出的基于RMF、MMMF(Max Margin Matrix Factorization，最大边缘矩阵因式分解)和NMF(Non-negative Matrix Factorization，非负矩阵因式分解)的隐向量模型构成的聚合推荐模型，Salakhudinov等提出的基于不同RMF变种的隐向量模型构成的聚合推荐模型、Paterek提出的基于不同RMF变种的隐向量模型构成的聚合推荐模型，以及Bell等人提出的由18个最为精确的协同过滤推荐模型组合而成的聚合推荐模型。但是上述模型均为异类聚合模型，异类聚合模型虽然模型间分化程度较大，由于其往往基于大量不同的基本模型构成，具备很高的实现难度；同时，不同类的模型组合未必能获得有效的聚合模型，如何选择适宜组合的推荐模型，也是十分困难的问题，其过程需要大量的实验验证，且主观性过强。故而，本专利提出的方法是针对构造由隐向量模型作为基本模型的同类聚合推荐模型进行，目前针对此问题的国内外研究尚比较缺乏。

发明内容

本发明要解决的技术问题：

克服现有技术的局限性，提供一种基于聚合学习对协同过滤推荐系统进行优化的方法。该方法采用四种聚合推荐模型的构造方法进行叠加，使推荐精度的提高程度十分明显。

本发明的技术解决方案：

本发明是一种通过聚合对协同过滤推荐系统进行优化的方法，是将AdaBoost(Adaptive Boosting，自适应增强法)算法、FSAM(Forward StepwiseAdditive Modeling，逐步逼近法)、随机化初始值和随机化训练序列四种方法加以组合，构造出叠加聚合推荐模型。具体如下：

步骤一，选取基于规范化矩阵因式分解的隐向量模型作为基本推荐模型；

步骤二，构造基于随机化训练序列的聚合推荐模型

${\hat{r}}_{u,i}=\frac{{\mathrm{\Σ}}_{n=1}^N({\mathrm{\μ}}^n+b_u^n+b_i^n+p_u^n\·q_i^n)}{N};$

步骤三，以上述步骤二的基于随机化训练序列的聚合推荐模型为基本模型，为不同模型赋予不同的随机化初始值，从而构造基于随机化初始值的聚合推荐模型；

步骤四，计算上述步骤三的基于随机化初始值的聚合推荐模型在原始训练数据集上的错误率，生成相应采样数据集，从而构造基于AdaBoost算法的聚合推荐模型

步骤五，以上述步骤四的基于AdaBoost算法的聚合推荐模型作为基本模型，通过逐步逼近原则，采用相应的损失函数

构造基于FSAM的聚合推荐模型

其中，所述步骤二的构造基于随机化训练序列的聚合模型的过程如下：

输入：原始训练数据集T

构成聚合的基本模型数量N

基于RMF的隐向量模型，作为基本推荐模型

输出：聚合推荐模型

(1)初始化：将当前训练轮数n设为1；

(2)随机化T中训练实例的排序顺序，构造副本Tⁿ；

(3)以Tⁿ为训练数据构造第n个基本推荐模型；

(4)n＝n+1；若n＜N重复步骤(2)和(3)。

其中，所述步骤三构造基于随机化初始值的聚合推荐模型的过程如下：

输入：原始训练数据集T

构成聚合的基本模型数量N

基于RMF的隐向量模型，作为基本推荐模型

输出：聚合推荐模型

(1)初始化：将当前训练轮数n设为1；

(2)随机生成第n个基本推荐模型各参数的初始值，并以T为训练数据构造第n个基本推荐模型；

(3)n＝n+1；若n＜N重复步骤(2)。

其中，所述步骤四构造基于AdaBoost的聚合推荐模型的过程如下：

输入：原始训练数据集T

构成聚合的基本模型数量N

基于RMF的隐向量模型，作为基本推荐模型

用以判定训练实例是否被错误处理的阈值

输出：聚合推荐模型

(1)初始化：将当前训练轮数n设为1，Tⁿ设为T；

(2)以Tⁿ为训练数据构造第n个基本推荐模型；

(3)以原始训练数据集为验证数据集，计算第n个基本推荐模型在每个训练样本上的ARE，并计算错误处理的样本数errCountⁿ，据此得出第n个基本推荐模型的错误率εⁿ；

(4)构造第n+1轮迭代中的采样数据集Tⁿ⁺¹，以下式确定各训练实例在中存在Tⁿ⁺¹的拷贝数量，

(5)n＝n+1；若n＜N重复步骤(3)、(4)。

其中，所述步骤五的构造基于FSAM的聚合推荐模型的过程如下：

输入：原始训练数据集T

构成聚合的基本模型数量N

基于RMF的隐向量模型，作为基本推荐模型

输出：聚合推荐模型

(1)初始化：将当前训练轮数n设为1，Tⁿ设为T；

(2)以Tⁿ为训练数据，

${\mathrm{SE}}^m=\underset{(u,i)\∈T}{\mathrm{\Σ}}({(r_{u,i}^m-{\mathrm{\μ}}^m-b_u^m-b_i^m-p_u^m\·q_i^m)}^2$

$+\mathrm{\λ}({\left(b_u^m\right)}^2+{\left(b_i^m\right)}^2+{\left|\right|p_u^m\left|\right|}^2+{\left|\right|q_i^m\left|\right|}^2))$

以上式最小化式所示的累积代价函数为目标，构造第n个基本推荐模型；

$\left(3\right),r_{u,i}^{m+1}=r_{u,i}-{\hat{r}}_{u,i}^m=r_{u,i}-{\mathrm{\Σ}}_{n=1}^N({\mathrm{\μ}}^n+b_u^n+b_i^n+p_u^n\·q_i^n)$

按照上式，构造第n+1轮迭代中的训练数据集Tⁿ⁺¹；

n＝n+1；若n＜N重复步骤(2)、(3)。

本发明与现有技术相比的优点在于：

在个性化推荐研究领域，将不同的推荐模型加以组合，是比较常用的方法，但目前所使用的模型均为异类聚合模型。而本专利中使用的是同类聚合模型，使用AdaBoost、FSAM、随机化初始值和随机化训练序列叠加构造聚合推荐模型，在每一层次上的聚合均能使推荐精度通过验证均有一定程度上的上升。

在实验验证中，使用MovieLens 1M数据集(以下简称ML1M数据集)，该数据集包含了6040名用户对3900个项目超过100万条的评分信息，其用户-项目评分矩阵稠密度分别为4.25％。所有的用户评分都分布在区间[0，5]内，评分值越高，代表用户对相应项目的兴趣越强。使用RMSE(Root-mean-squareError，均方根误差)作为推荐系统预测精度的评价指标。在训练单个RMF推荐模型，以及聚合推荐模型的基本推荐模型时，用户特征向量和项目特征向量的初始值均按照均匀分布从区间[-0.02，0.02]中随机选取；用户观测偏差和项目观测偏差的初始值均按照均匀分布从区间[-0.2，0.2]中随机选取。规泛化因数λ和学习速率η分别按照交叉验证结果，被置为0.005和0.008。当隐向量空间维数f＝20时，五种模型的推荐精度所验证的结果如下表所示，当空间维数f值上升时，五种模型的推荐精度所验证的结果如图2所示，结果分别是使用AdaBoost、FSAM、随机化初始值和随机化训练序列叠加构造聚合推荐模型均比基于单个RMF的隐模型的推荐精度高。如下表1所示。

推荐模型	RSME
		基于单个RMF的隐模型	0.8588
基于AdaBoost的聚合推荐模型	0.8522
		基于FSAM的聚合推荐模型	0.8547
基于随机化初始值的聚合推荐模型	0.8500
		基于随机化训练序列的聚合推荐模型	0.8521

表1

四种模型通过叠加聚合后，当隐向量空间维数f＝20时，叠加聚合推荐模型和基于单个RMF的隐向量模型的RMSE对比情况如图3所示，在叠加聚合推荐模型每一层次上的聚合均使推荐精度有一定程度的上升。当空间维数f∈[20，500]，随着f值的上升，叠加聚合推荐模型所能取得的最低RMSE值如图4所示，始终比基于单个RMF的隐向量模型有更高的推荐精度，且推荐精度有十分明显的提高。

附图说明

图1是叠加聚合推荐模型结构图；

图2是随着f值上升各推荐模型的RMSE值比较图；

图3是叠加聚合推荐模型在每个层次上RMSE的下降趋势；

图4是随着f值上升叠加聚合推荐模型所能取得的最低RMSE值。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

一种通过聚合对协同过滤推荐系统进行优化的方法，由五个层次构成，第0层次中，选取基于规范化矩阵因式分解的隐向量模型作为基本推荐模型；第一个层次中，我们构造基于随机化训练序列的聚合推荐模型，并通过为不同的基于随机化训练序列的聚合模型赋予不同的随机化初始值，将其作为第二个层次中基于随机化初始值的聚合推荐模型的基本模型；当构造好第二个层次中的聚合模型后，我们可以通过计算其在原始训练数据集上的错误率，并生成相应的采样数据集，从而构造第三个层次中基于AdaBoost算法的聚合推荐模型；最后，我们可以通过逐步逼近的方式，以第三个层次中的聚合推荐模型作为基本模型，构造第四个层次中的基于FSAM的聚合推荐模型。

如图1所示，叠加聚合模型所包括的五个层次实施方式如下：

(一)第0层，基本推荐模型。选取基于规范化矩阵因式分解的隐向量模型作为基本推荐模型，现有研究表明，使用该推荐模型的推荐系统往往具备很高的推荐精度，故而该推荐模型能够满足对构成聚合的基本模型的精度要求。

(二)第1层，基于随机化训练序列的聚合模型。其模型构造过程是，首先将原始训练数据实例的排序进行随机化，经过n此迭代后得到第n个自举副本，作为第n个基本推荐模型。

(三)第2层，基于随机化初始值的聚合推荐模型。其模型构造过程是，首先随机生成第n个基本推荐模型的各参数初始值，然后以原始训练数据集构造第n个基本推荐模型。

(四)第3层，基于AdaBoost的聚合推荐模型。其模型构造过程是，首先，在第n轮迭代结束后，我们以如下方式计算基本推荐模型的错误率：

其中errCountⁿ表示第n轮迭代中训练得出的基本推荐模型，以原始数据集作为测试数据集时，其错误处理的训练样本数量。

计算出errCountⁿ后，则训练实例r_u1在第n+1轮迭代的采样数据集中存在的拷贝数量由下式决定：

其中

和

分别表示训练实例r_u，1在第n轮和第n+1轮迭代中的采样数据集中存在的拷贝数量。ARE_u，i表示基本模型对于训练实例r_u，i的误差绝对值，其计算方式为：

的值大于预先定义的阈值

时，则认为训练实例r_u，1被推荐模型错误处理，阈值

一般可以定义为推荐模型在训练数据集上的相对误差绝对值的均值。

(五)第4层，基于FSAM的聚合推荐模型。其模型构造过程是，假设整个聚合模型由N个基本模型构成，则对于未知评分r_u，i，聚合模型的预测结果为：

其中，构造每一个基本模型的训练数据集，是原始数据集中的数据和当前已构造完成的所有基本模型的预测值之和的差值，如下所示：m为当前已构造完成的基本模型数量。

每个基本推荐模型的构造都遵循逐步逼近(Forward Stepwise)原则，以累积代价函数为目标构成第n个基本推荐模型，其相应的损失函数如下所示：

${\mathrm{SE}}^m={\mathrm{\Σ}}_{(u,i)\∈T}({(r_{u,i}^m-{\mathrm{\μ}}^m-b_u^m-b_i^m-p_u^m\·q_i^m)}^2+\mathrm{\λ}({\left(b_u^m\right)}^2+{\left(b_i^m\right)}^2+$

$//\mathrm{pum}//2+//\mathrm{qim}//2).$

Claims (1)

1.一种通过聚合对协同过滤推荐系统进行优化的方法，其特征在于：是将AdaBoost、FSAM、随机化初始值和随机化训练序列四种方法加以组合，构造出叠加聚合推荐模型，具体如下：

步骤一，选取基于规范化矩阵因式分解的隐向量模型作为基本推荐模型；

步骤二，构造基于随机化训练序列的聚合推荐模型 ${\hat{r}}_{u,i}=\frac{{\mathrm{\Σ}}_{n=1}^N({\mathrm{\μ}}^n+b_u^n+b_i^n+p_u^n\·q_i^n)}{N};$

步骤三，以上述步骤二的基于随机化训练序列的聚合推荐模型为基本模型，为不同模型赋予不同的随机化初始值，从而构造基于随机化初始值的聚合推荐模型；

步骤四，计算上述步骤三的基于随机化初始值的聚合推荐模型在原始训练数据集上的错误率，生成相应采样数据集，从而构造基于AdaBoost算法的聚合推荐模型 ${\hat{r}}_{u,i}=\frac{{\mathrm{\Σ}}_{n=1}^N\log \frac{1}{{\mathrm{\ϵ}}^n}({\mathrm{\μ}}^n+b_u^n+b_i^n+p_u^n\·q_i^n)}{{\mathrm{\Σ}}_{n=1}^N\left(\log \frac{1}{{\mathrm{\ϵ}}^n}\right)};$

步骤五，以上述步骤四的基于AdaBoost算法的聚合推荐模型作为基本模型，通过逐步逼近原则，采用相应的损失函数 ${\mathrm{SE}}^m={\mathrm{\Σ}}_{(u,i)\∈T}((r_{u,i}^m-{\mathrm{\μ}}^m-b_u^m-b_i^m-$ $\mathrm{pum}\·\mathrm{qim}2+\mathrm{\λbum}2+\mathrm{bim}2+//\mathrm{pum}//2+//\mathrm{qim}//2),$ 构造基于FSAM的聚合推荐模型 ${\hat{r}}_{u,i}={\mathrm{\Σ}}_{n=1}^N=({\mathrm{\μ}}^n+b_u^n+b_i^n+p_u^n\·q_i^n);$

其中，所述步骤二的构造基于随机化训练序列的聚合模型的过程如下：

输入：原始训练数据集T、构成聚合的基本模型数量N及基于RMF的隐向量模型，作为基本推荐模型；

执行步骤：

（2.1）初始化：将当前训练轮数n设为1；

（2.2）随机化T中训练实例的排序顺序，构造副本Tⁿ；

（2.3）以Tⁿ为训练数据构造第n个基本推荐模型；

（2.4）n=n+1；若n<N重复步骤（2.2）和(2.3)；

得到输出：聚合推荐模型 ${\hat{r}}_{u,i}=\frac{{\mathrm{\&Sigma;}}_{n=1}^N({\mathrm{\&mu;}}^n+b_u^n+b_i^n+p_u^n\&CenterDot;q_i^n)}{N};$

其中，所述步骤三构造基于随机化初始值的聚合推荐模型的过程如下：

输入：原始训练数据集T、构成聚合的基本模型数量N及基于RMF的隐向量模型，作为基本推荐模型；

执行步骤：

（3.1）初始化：将当前训练轮数n设为1；

（3.2）随机生成第n个基本推荐模型各参数的初始值，并以T为训练数据构造第n个基本推荐模型；

（3.3）n=n+1；若n<N重复步骤（3.2）；

得到输出：聚合推荐模型 ${\hat{r}}_{u,i}=\frac{{\mathrm{\&Sigma;}}_{n=1}^N({\mathrm{\&mu;}}^n+b_u^n+b_i^n+p_u^n\&CenterDot;q_i^n)}{N};$

其中，所述步骤四构造基于AdaBoost的聚合推荐模型的过程如下：

输入：原始训练数据集T、构成聚合的基本模型数量N、基于RMF的隐向量模型，作为基本推荐模型及用以判定训练实例是否被错误处理的阈值

执行步骤：

（4.1）初始化：将当前训练轮数n设为1，Tⁿ设为T；

（4.2）以Tⁿ为训练数据构造第n个基本推荐模型；

（4.3）以原始训练数据集为验证数据集，计算第n个基本推荐模型在每

个训练样本上的ARE，并计算错误处理的样本数errCountⁿ,据此得出第n

个基本推荐模型的错误率εⁿ；

（4.4）构造第n+1轮迭代中的采样数据集Tⁿ⁺¹,以下式确定各训练实例存在于Tⁿ⁺¹中的拷贝数量，

（4.5）n=n+1；若n<N重复步骤（4.3）、（4.4）；

得到输出：聚合推荐模型 ${\hat{r}}_{u,i}=\frac{{\mathrm{\&Sigma;}}_{n=1}^N\log \frac{1}{g^n}({\mathrm{\&mu;}}^n+b_u^n+b_i^n+p_u^n\&CenterDot;q_i^n)}{{\mathrm{\&Sigma;}}_{n=1}^N\left(\log \frac{1}{g^n}\right)};$

其中，所述步骤五的构造基于FSAM的聚合推荐模型的过程如下：

输入：原始训练数据集T、构成聚合的基本模型数量N及基于RMF的隐向量模型，作为基本推荐模型；

执行步骤：

（5.1）初始化：将当前训练轮数n设为1，Tⁿ设为T；

（5.2）以Tⁿ为训练数据，

$\begin{array}{c}{\mathrm{SE}}^m=\underset{(u,i)\&Element;T}{\mathrm{\&Sigma;}}{((r_{u,i}^m-{\mathrm{\&mu;}}^m-b_u^m-b_i^m-p_u^m\&CenterDot;q_i^m)}^2\\ +\mathrm{\&lambda;}({\left(b_u^m\right)}^2+{\left(b_i^m\right)}^2+{\left|\right|p_u^m\left|\right|}^2+{\left|\right|q_i^m\left|\right|}^2\left)\right)\end{array}$

以上式最小化式所示的累积代价函数为目标，构造第n个基本推荐模型；

（5.3） $r_{u,i}^{m+1}=r_{u,i}-{\hat{r}}_{u,i}^m=r_{u,i}-{\mathrm{\&Sigma;}}_{n=1}^N({\mathrm{\&mu;}}^n+{b_u^n+b}_i^n+p_u^n\&CenterDot;q_i^n)$

按照上式，构造第n+1轮迭代中的训练数据集Tⁿ⁺¹；

n=n+1；若n<N重复步骤（5.2）、（5.3）；

得到输出：聚合推荐模型 ${\hat{r}}_{u,i}={\mathrm{\&Sigma;}}_{n=1}^N=({\mathrm{\&mu;}}^n+b_u^n+b_i^n+p_u^n\&CenterDot;q_i^n).$

Images