CN102982107A - 一种融合用户、项目和上下文属性信息的推荐系统优化方法 - Google Patents

Abstract

本发明公开了一种融合用户、项目和上下文属性信息的推荐系统优化方法，该方法通过在矩阵分解模型中融合用户、项目和上下文的属性信息，在个性化推荐系统中提高推荐精度。其特点是考虑用户、项目和上下文属性信息对总体评分、用户兴趣及项目得分的不同影响，应用于原矩阵分解模型的计算。该方法由于同时考虑了用户、项目和上下文属性对评分的影响，其推荐精度明显高于仅采用了用户项目二维评分矩阵信息的矩阵分解模型。

Description

一种融合用户、项目和上下文属性信息的推荐系统优化方法

技术领域

本发明涉及一种融合用户、项目和上下文属性信息的推荐系统优化方法，具体涉及一种考虑用户、项目和上下文属性信息对总体评分、用户评分和项目得分的影响，并融入矩阵分解模型，从而对推荐系统的推荐精度进行提高的方法，适用于协同过滤推荐系统，属于推荐系统研究的技术领域。

背景技术

推荐系统的目的是充分挖掘用户的兴趣、帮助用户发现自己感兴趣的东西。近二十年来，推荐系统得到了广泛研究，并成功应用于各种互联网商用系统。但是如何为用户生成更加准确的推荐，一直是推荐系统领域研究的热点之一。

协同过滤算法是推荐系统中应用最为广泛的算法，其中的矩阵分解模型具有优异的预测精度。传统的矩阵分解模型SVD仅使用用户-项目二维评分矩阵数据，存在数据源单一的缺陷。因此，很多研究者就如何在矩阵分解模型中引入其他数据信息来提高模型质量展开了研究。其中代表性的包括Yehuda Koren和Robert Bell提出的引入了隐反馈数据以及时间上下文的矩阵分解模型，Alexandros Karatzoglou等提出的引入上下文信息的N-维张量分解模型，Steffen Rendle等提出的融合上下文信息的因式分解机模型，等等。

在现有的基于矩阵分解模型的改进方法中，用户、项目属性信息没有得到充分利用，而且很少有方法将用户、项目和上下文属性信息同时结合起来应用于矩阵分解模型来提高推荐精度。对此，本发明提出一种融合用户、项目和上下文属性信息的协同过滤推荐方法，考虑用户、项目和上下文属性信息对总体评分、用户评分和项目得分的影响，并融入矩阵分解模型，从而对推荐系统的推荐精度进行提高。

发明内容

本发明要解决的技术问题为：克服现有技术的局限性，提供一种融合用户、项目和上下文属性信息的协同过滤推荐方法，该方法在矩阵分解模型中同时融入用户、项目和上下文属性信息来修正预测评分的偏差，提高个性化推荐系统的推荐精度。

本发明解决上述技术问题采用的技术方案：一种融合用户、项目和上下文属性信息的推荐系统优化方法，在矩阵分解模型中同时融入用户、项目和上下文属性信息来修正预测评分的偏差，提高个性化推荐系统的推荐精度；具体实现过程如下：

首先，对于每个用户u，通过属性向量转换规则，将用户属性信息转换为用户属性向量v_u，并引入用户属性信息对总体评分的影响向量b^UA和对项目i得分的影响向量

最后得到考虑用户属性信息后用户u对项目i的评分偏差修正项

其公式为

其中，sum()表示计算向量各个元素之和的函数；对于每个项目i，通过属性向量转换规则，将项目属性信息转换为项目属性向量v_i，并引入项目属性信息对总体评分的影响向量b^IA和对用户u评分的影响向量

最后得到考虑项目属性信息后用户u对项目i的评分偏差修正项

其公式为

对于每条评分关联的上下文c，通过属性向量转换规则，将上下文属性信息转换为上下文属性向量v_c，并引入上下文属性信息对总体评分的影响向量b^CA、对用户u评分的影响向量和对项目i得分的影响向量最后得到考虑上下文属性信息后用户u对项目i的评分偏差修正项

其公式为 $b_{\mathrm{ui}}^{\mathrm{CA}}=\frac{v_c\·{(b^{\mathrm{CA}}+b_u^{\mathrm{CA}}+b_i^{\mathrm{CA}})}^T}{\mathrm{sum}\left(v_c\right)};$

然后，同时考虑用户、项目和上下文属性信息而引入的用户u对项目i的评分偏差修正项，融入矩阵分解模型，得到用户u对项目i的预测评分模型：

${\hat{r}}_{u,i}=\mathrm{\μ}+b_u+b_i+p_u\·{q_i}^T+\frac{v_u\·{(b^{\mathrm{UA}}+b_i^{\mathrm{UA}})}^T}{\mathrm{sum}\left(v_u\right)}+\frac{v_i\·{(b^{\mathrm{IA}}+b_u^{\mathrm{IA}})}^T}{\mathrm{sum}\left(v_i\right)}+\frac{v_c\·{(b^{\mathrm{CA}}+b_u^{\mathrm{CA}}+b_i^{\mathrm{CA}})}^T}{\mathrm{sum}\left(v_c\right)}$

其中，μ+b_u+b_i+p_u·q_i ^T是矩阵分解模型的评分预测公式，μ为全局平均分，b_u为用户u的评分偏差项，b_i为项目i的得分偏差项，p_u是用户u的隐特征向量，q_i是项目i的隐特征向量，b_u、b_i、p_u、q_i、b^UA、

b^IA、

b^CA、

均为模型参数；

最后，使用随机梯度下降法最小化损失函数：

$J=\frac{1}{2}\underset{(u,i)\∈K}{\mathrm{\Σ}}{(\mathrm{\μ}+b_u+b_i+p_u\·{q_i}^T+\frac{v_u{(b^{\mathrm{UA}}+b_i^{\mathrm{UA}})}^T}{\mathrm{sum}\left(v_u\right)}+\frac{v_i{(b^{\mathrm{IA}}+b_u^{\mathrm{IA}})}^T}{\mathrm{sum}\left(v_i\right)}+\frac{v_c\·{(b^{\mathrm{CA}}+b_u^{\mathrm{CA}}+b_i^{\mathrm{CA}})}^T}{\mathrm{sum}\left(v_c\right)}-r_{u,i})}^2$

$+\frac{{\mathrm{\λ}}_1}{2}({b_u}^2+{b_i}^2)+\frac{{\mathrm{\λ}}_2}{2}({\left|\right|p_u\left|\right|}^2+{\left|\right|q_i\left|\right|}^2)+\frac{{\mathrm{\λ}}_3}{2}({\left|\right|b^{\mathrm{UA}}\left|\right|}^2+{\left|\right|b^{\mathrm{IA}}\left|\right|}^2+{\left|\right|b^{\mathrm{CA}}\left|\right|}^2)$

$+\frac{{\mathrm{\λ}}_4}{2}({\left|\right|b_i^{\mathrm{UA}}\left|\right|}^2+{\left|\right|b_u^{\mathrm{IA}}\left|\right|}^2)+\frac{{\mathrm{\λ}}_5}{2}({\left|\right|b_u^{\mathrm{CA}}\left|\right|}^2+{\left|\right|b_u^{\mathrm{CA}}\left|\right|}^2)$

进行迭代计算，得到模型参数的最佳值。

本发明与现有技术相比的优点在于：

（1）、在推荐系统的研究领域中，传统的基于矩阵分解的协同过滤方法只利用了用户-项目二维评分矩阵数据，而没有利用其他信息来充分挖掘用户兴趣。本专利在矩阵分解模型中融入了用户、项目和上下文的属性信息，提高了矩阵分解模型的推荐精度。

（2）、从实验结果中可以看出，引入用户、项目和上下文属性信息确实能够提高模型的评分预测精度，并且同时引入多类属性信息比引入单类属性信息对预测精度的提升作用更大。

附图说明

图1是融合用户、项目和上下文属性信息的推荐模型框架图。

图2是随着f值上升各个模型的RMSE值。

具体实施方式

下面结合附图和具体实施例进一步说明本发明。

一种融合用户、项目和上下文属性信息的推荐系统优化方法，在矩阵分解模型中同时融入用户、项目和上下文属性信息来修正预测评分的偏差，提高个性化推荐系统的推荐精度。

所述的矩阵分解模型，考虑用户和项目之间潜在的关系，并引入全局平均分μ、用户u的评分偏差项b_u和项目i的得分偏差项b_i，得到用户u对项目i的预测评分：

${\hat{r}}_{u,i}=\mathrm{\μ}+b_u+b_i+p_u\·{q_i}^T$

其中，p_u是用户u的隐特征向量，q_i是项目i的隐特征向量，两个特征向量的维度均为f。

所述的融入用户、项目和上下文属性信息的矩阵分解模型，考虑了用户的属性信息对总体评分和项目得分的影响，在矩阵分解模型中融入用户属性信息。

所述的融入用户、项目和上下文属性信息的矩阵分解模型，考虑了项目的属性信息对总体评分和用户评分的影响，在矩阵分解模型中融入项目属性信息。

所述的融入用户、项目和上下文属性信息的矩阵分解模型，考虑了上下文的属性信息对总体评分、用户评分和项目得分的影响，在矩阵分解模型中融入上下文属性信息。

分为两个阶段，第一个阶段是预处理阶段，主要是对数据集的处理。包括如下步骤：

步骤A1）、对于每个用户u，通过属性向量转换规则，将用户属性信息转换为用户属性向量v_u；

对于每个用户u，通过属性向量转换规则，将用户属性信息转换为用户属性向量v_u，并引入用户属性信息对总体评分的影响向量b^UA和对项目i得分的影响向量最后得到考虑用户属性信息后用户u对项目i的评分偏差修正项

其公式为：

$b_{\mathrm{ui}}^{\mathrm{UA}}=\frac{v_u\·{(b^{\mathrm{UA}}+b_i^{\mathrm{UA}})}^T}{\mathrm{sum}\left(v_u\right)}$

其中，sum()表示计算向量各个元素之和的函数。

步骤A2）、对于每个项目i，通过属性向量转换规则，将项目属性信息转换为项目属性向量v_i；

对于每个项目i，通过属性向量转换规则，将项目属性信息转换为项目属性向量v_i，并引入项目属性信息对总体评分的影响向量b^IA和对用户u评分的影响向量

最后得到考虑项目属性信息后用户u对项目i的评分偏差修正项

其公式为：

$b_{\mathrm{ui}}^{\mathrm{IA}}=\frac{v_i\·{(b^{\mathrm{IA}}+b_u^{\mathrm{IA}})}^T}{\mathrm{sum}\left(v_i\right)}$

步骤A3）、对于每条评分关联的上下文c，通过属性向量转换规则，将上下文属性信息转换为上下文属性向量v_c。

对于每条评分关联的上下文c，通过属性向量转换规则，将上下文属性信息转换为上下文属性向量v_c，并引入上下文属性信息对总体评分的影响向量b^CA、对用户u评分的影响向量

和对项目i得分的影响向量

最后得到考虑上下文属性信息后用户u对项目i的评分偏差修正项

其公式为：

$b_{\mathrm{ui}}^{\mathrm{CA}}=\frac{v_c\·{(b^{\mathrm{CA}}+b_u^{\mathrm{CA}}+b_i^{\mathrm{CA}})}^T}{\mathrm{sum}\left(v_c\right)}$

上述的属性向量转换规则，对于一条由若干个属性组成的属性信息(a₁,a₂...,a_n)，每个属性a_i分为三种情况处理：1)、如果a_i属于可数有限集合A，则a_i转换后的向量维度为|A|，其中与a_i对应的维度元素值为1，其他元素值为0；2)、如果a_i是可数有限集合A的某个子集，则a_i转换后的向量维度为|A|，其中与a_i所包含的元素对应的所有维度元素值为1，其他元素值为0；3)、如果a_i是一个实数，且a_i∈[c,d]，平均值为

则a_i转换后的向量维度为1，其值为

最终的属性向量由转换后的向量依次连接得到。

第二个阶段是学习阶段，主要是构造模型参数并求出最佳的模型参数值用于预测评分。包括如下步骤：

步骤B1）、构造模型参数并初始化；

同时考虑用户、项目和上下文属性信息而引入的用户u对项目i的评分偏差修正项，融入矩阵分解模型，得到用户u对项目i的预测评分模型：

${\hat{r}}_{u,i}=\mathrm{\μ}+b_u+b_i+p_u\·{q_i}^T+\frac{v_u\·{(b^{\mathrm{UA}}+b_i^{\mathrm{UA}})}^T}{\mathrm{sum}\left(v_u\right)}+\frac{v_i\·{(b^{\mathrm{IA}}+b_u^{\mathrm{IA}})}^T}{\mathrm{sum}\left(v_i\right)}+\frac{v_c\·{(b^{\mathrm{CA}}+b_u^{\mathrm{CA}}+b_i^{\mathrm{CA}})}^T}{\mathrm{sum}\left(v_c\right)}$

其中，b_u、b_i、p_u、q_i、b^UA、

b^IA、

b^CA、

为模型参数；

然后给各个模型参数赋初值，其中b_u、b_i赋值为0，b^UA、

b^IA、

b^CA、

赋值为零向量，p_u、q_i赋值为元素值属于区间[0,0.01]的随机向量；

步骤B2）、使用随机梯度下降法最小化损失函数，得到模型参数的最佳值。

损失函数的公式为：

$J=\frac{1}{2}\underset{(u,i)\∈K}{\mathrm{\Σ}}{(\mathrm{\μ}+b_u+b_i+p_u\·{q_i}^T+\frac{v_u{(b^{\mathrm{UA}}+b_i^{\mathrm{UA}})}^T}{\mathrm{sum}\left(v_u\right)}+\frac{v_i{(b^{\mathrm{IA}}+b_u^{\mathrm{IA}})}^T}{\mathrm{sum}\left(v_i\right)}+\frac{v_c\·{(b^{\mathrm{CA}}+b_u^{\mathrm{CA}}+b_i^{\mathrm{CA}})}^T}{\mathrm{sum}\left(v_c\right)}-r_{u,i})}^2$

$+\frac{{\mathrm{\λ}}_1}{2}({b_u}^2+{b_i}^2)+\frac{{\mathrm{\λ}}_2}{2}({\left|\right|p_u\left|\right|}^2+{\left|\right|q_i\left|\right|}^2)+\frac{{\mathrm{\λ}}_3}{2}({\left|\right|b^{\mathrm{UA}}\left|\right|}^2+{\left|\right|b^{\mathrm{IA}}\left|\right|}^2+{\left|\right|b^{\mathrm{CA}}\left|\right|}^2)$

$+\frac{{\mathrm{\λ}}_4}{2}({\left|\right|b_i^{\mathrm{UA}}\left|\right|}^2+{\left|\right|b_u^{\mathrm{IA}}\left|\right|}^2)+\frac{{\mathrm{\λ}}_5}{2}({\left|\right|b_u^{\mathrm{CA}}\left|\right|}^2+{\left|\right|b_u^{\mathrm{CA}}\left|\right|}^2)$

其中，K为训练数据集的用户-项目评分对的集合，r_u，i为实际评分，公式右边除第一项之外的项均为正则项，用于防止过拟合；

使用随机梯度下降法需要进行若干次迭代计算；每次迭代时，遍历一次训练数据集；每获得一个评分条目，计算每个模型参数θ相对损失函数J的梯度然后更新模型参数，更新公式为

其中α为学习速率，是事先设置的常数。当达到要求的预测精度时，迭代停止，从而得到模型参数的最佳值。

在推荐系统的研究领域中，传统的基于矩阵分解的协同过滤方法只利用了用户-项目二维评分矩阵数据，而没有利用其他信息来充分挖掘用户兴趣。本发明在矩阵分解模型中融入了用户、项目和上下文属性信息，提高了矩阵分解模型的推荐精度。

实验验证在MovieLens1M数据集上进行。该数据集有三个文件，其中，评分文件包含了6040个用户对将近3900部电影的1000209条评分和时间戳，用户信息文件包含了6040个用户的性别、年龄、职业、邮政编码属性，电影信息文件包含了将近3900部电影的标题(包含上映年份)、类别属性。选取用户的性别、年龄、职业属性和电影的上映年份、类别属性，并将时间戳分解为年份、月份、上午/下午、星期属性，按照属性向量转换规则分别构造了用户、项目和上下文的属性向量。使用均方根误差RMSE(Root Mean Square Error)作为推荐系统预测精度的评价指标，RMSE代表了推荐模型在数据集上的平均预测误差，RMSE越低，则表示推荐模型的预测精度越高。为了研究用户、项目、上下文属性对预测评分的不同作用，分别实现了SVD模型、引入用户属性的SVD模型(UA_SVD)、引入项目属性的SVD模型(IA_SVD)、引入用户和项目属性的SVD模型(UIA_SVD)。通过交叉验证，选取正则化参数λ₁＝0.02，λ₂＝0.01，λ₃＝2，λ₄＝0.0095，λ₅＝0.07，学习速率α＝0.005。

随机选取数据集的80%作为训练数据集，剩下的20%作为测试数据集，计算各个模型在测试数据集上的RMSE值。图2记录了随特征维数f取值上升时各个模型的RMSE值的变化情况，表1列出了各个模型在f＝60时的RMSE值，并比较了新模型相对SVD模型RMSE的降低值。表2将SVD模型和UICA_SVD模型随f值上升的RMSE进行对比。

表1 f＝60时，各个模型的RMSE对比

表2f值上升时，UICA_SVD和SVD模型的RMSE对比

从实验结果中可以看出，引入用户、项目和上下文属性信息确实能够提高模型的评分预测精度，并且同时引入多类属性信息比引入单类属性信息对预测精度的提升作用更大。

Claims (1)

1.一种融合用户、项目和上下文属性信息的推荐系统优化方法，其特征在于：在矩阵分解模型中同时融入用户、项目和上下文属性信息来修正预测评分的偏差，提高个性化推荐系统的推荐精度；具体实现过程如下：

首先，对于每个用户u，通过属性向量转换规则，将用户属性信息转换为用户属性向量v_u，并引入用户属性信息对总体评分的影响向量b^UA和对项目i得分的影响向量最后得到考虑用户属性信息后用户u对项目i的评分偏差修正项

其公式为

其中，sum()表示计算向量各个元素之和的函数；对于每个项目i，通过属性向量转换规则，将项目属性信息转换为项目属性向量v_i，并引入项目属性信息对总体评分的影响向量b^IA和对用户u评分的影响向量

最后得到考虑项目属性信息后用户u对项目i的评分偏差修正项

其公式为

对于每条评分关联的上下文c，通过属性向量转换规则，将上下文属性信息转换为上下文属性向量v_c，并引入上下文属性信息对总体评分的影响向量b^CA、对用户u评分的影响向量

和对项目i得分的影响向量

最后得到考虑上下文属性信息后用户u对项目i的评分偏差修正项

其公式为 $b_{\mathrm{ui}}^{\mathrm{CA}}=\frac{v_c\·{(b^{\mathrm{CA}}+b_u^{\mathrm{CA}}+b_i^{\mathrm{CA}})}^T}{\mathrm{sum}\left(v_c\right)};$

然后，同时考虑用户、项目和上下文属性信息而引入的用户u对项目i的评分偏差修正项，融入矩阵分解模型，得到用户u对项目i的预测评分模型：

${\hat{r}}_{u,i}=\mathrm{\μ}+b_u+b_i+p_u\·{q_i}^T+\frac{v_u\·{(b^{\mathrm{UA}}+b_i^{\mathrm{UA}})}^T}{\mathrm{sum}\left(v_u\right)}+\frac{v_i\·{(b^{\mathrm{IA}}+b_u^{\mathrm{IA}})}^T}{\mathrm{sum}\left(v_i\right)}+\frac{v_c\·{(b^{\mathrm{CA}}+b_u^{\mathrm{CA}}+b_i^{\mathrm{CA}})}^T}{\mathrm{sum}\left(v_c\right)}$

其中，μ+b_u+b_i+p_u·q_i ^T是矩阵分解模型的评分预测公式，μ为全局平均分，b_u为用户u的评分偏差项，b_i为项目i的得分偏差项，p_u是用户u的隐特征向量，q_i是项目i的隐特征向量，b_u、b_i、p_u、q_i、b^UA、

b^IA、

b^CA、

均为模型参数；

最后，使用随机梯度下降法最小化损失函数：

$J=\frac{1}{2}\underset{(u,i)\∈K}{\mathrm{\Σ}}{(\mathrm{\μ}+b_u+b_i+p_u\·{q_i}^T+\frac{v_u{(b^{\mathrm{UA}}+b_i^{\mathrm{UA}})}^T}{\mathrm{sum}\left(v_u\right)}+\frac{v_i{(b^{\mathrm{IA}}+b_u^{\mathrm{IA}})}^T}{\mathrm{sum}\left(v_i\right)}+\frac{v_c\·{(b^{\mathrm{CA}}+b_u^{\mathrm{CA}}+b_i^{\mathrm{CA}})}^T}{\mathrm{sum}\left(v_c\right)}-r_{u,i})}^2$

$+\frac{{\mathrm{\λ}}_1}{2}({b_u}^2+{b_i}^2)+\frac{{\mathrm{\λ}}_2}{2}({\left|\right|p_u\left|\right|}^2+{\left|\right|q_i\left|\right|}^2)+\frac{{\mathrm{\λ}}_3}{2}({\left|\right|b^{\mathrm{UA}}\left|\right|}^2+{\left|\right|b^{\mathrm{IA}}\left|\right|}^2+{\left|\right|b^{\mathrm{CA}}\left|\right|}^2)$

$+\frac{{\mathrm{\λ}}_4}{2}({\left|\right|b_i^{\mathrm{UA}}\left|\right|}^2+{\left|\right|b_u^{\mathrm{IA}}\left|\right|}^2)+\frac{{\mathrm{\λ}}_5}{2}({\left|\right|b_u^{\mathrm{CA}}\left|\right|}^2+{\left|\right|b_u^{\mathrm{CA}}\left|\right|}^2)$

进行迭代计算，得到模型参数的最佳值。

Images