CN108763515B

CN108763515B - 一种基于概率矩阵分解的时间敏感个性化推荐方法

Info

Publication number: CN108763515B
Application number: CN201810543516.9A
Authority: CN
Inventors: 肖迎元; 王高伟; 郑文广
Original assignee: Tianjin University of Technology
Current assignee: Tianjin University of Technology
Priority date: 2018-05-31
Filing date: 2018-05-31
Publication date: 2021-12-17
Anticipated expiration: 2038-05-31
Also published as: CN108763515A

Abstract

一种基于概率矩阵分解的时间敏感个性化推荐方法，属于情境感知个性化推荐领域。利用用户对电影的评分信息和情境信息以及电影类别构建用户‑情境评分矩阵：即根据原始的用户‑电影评分矩阵和额外的情境信息以及电影类别信息构建一个用户‑情境评分矩阵，然后进行矩阵分解，获取蕴含情境信息的用户特征向量，然后求两两用户之间的余弦相似度，选取相似度较高的一定量用户作为邻居用户，将邻居用户的影响融合到概率矩阵分解中进行评分预测，从而按照评分预测的高低做出个性化推荐。本发明适用于电影推荐、电子商务网站商品、数字图书馆图书的推荐，互联网广告投放等需要个性化推荐的领域。

Description

一种基于概率矩阵分解的时间敏感个性化推荐方法

技术领域

本发明属于情境感知个性化推荐领域。提出了一种基于概率矩阵分解的时间敏感个性化推荐方法。

背景技术

一类应用，个性化推荐系统在很多领域得到广泛应用，比如电子商务网站、数字图书馆、旅游服务、互联网广告投放等等。随着大数据时代的到来，网络上信息呈现出了爆炸式的增长，信息过载的问题也不可避免地随之而来。当用户打算找到他们感兴趣的物品时，就会遇到大量的麻烦，所以如何帮助用户获取他们感兴趣的物品，使得一些不为人知冷门的但是对用户极具价值的物品能够从大量的数据中被挖掘出来就成为一个关键研究领域，推荐系统是目前为止解决信息过载最有效的方法之一。而个性化推荐系统根据用户的历史信息对其建立偏好模型，并从海量信息中挖掘出用户可能感兴趣的信息，自动为用户推荐和其有相似兴趣偏好的用户喜欢的物品。

大多数传统的推荐系统应用协同过滤(CF)方法，它是目前最为成功的个性化推荐方法。基于邻居的方法和矩阵分解技术是两个主要的协同过滤技术。协同过滤利用一个稀疏的用户-物品评分矩阵借助用户的历史信息推断出目标用户对一个特定物品的偏好程度，根据偏好程度的大小向用户做出精准的个性化推荐。但是这同时也忽略了一些事实，即特定情境下用户的行为偏好可能不同，比如特定时间和地点下用户对同一个物品可能展现出截然不同的兴趣度，即在不同的情境下用户对同一物品的偏好程度可能不同。在传统的推荐方法中情境信息对用户偏好的影响没有被推荐系统设计者考虑到。事实上，用户所处的情境对用户的选择具有很大的影响，比如在11:30到12:30这个时间段向用户推荐饮食比推荐一部刚刚上映的电影更加合适。恰恰相反，在过了晚上19:30后向用户推荐电影比推荐饮食更加合理。又比如说很少会有用户乐意在冬季买T恤。特别地，时间作为一个重要的情境因素在影响用户的偏好方面扮演着主要的角色。

传统的协同过滤方法只利用了稀疏的用户-物品评分矩阵来预测用户的偏好，但是却忽略了情境因素对用户偏好的影响。事实上，在特定情境下用户和系统进行交互以及所处的情境对用户的选择具有很大的影响。

发明内容

本发明的目的是解决现有推荐系统在做出推荐时对情境信息的忽略以及电影类别利用不足的问题，提出了一种充分利用情境信息和电影类别做出更加准确推荐的基于概率矩阵分解的时间敏感个性化推荐方法。

本发明提供的基于概率矩阵分解的时间敏感个性化推荐方法，方法包括：

1)利用用户对电影的评分信息和情境信息以及电影类别信息构建用户-情境评分矩阵：即根据原始的用户-电影评分矩阵和额外的情境信息以及电影类别信息构建一个用户-情境评分矩阵，代表该情境下用户的评分倾向。由于情境信息的限制，本方法在电影推荐时只考虑了时间和电影类别两个因素。构建用户情境评分矩阵具体包括如下步骤：

①将原始的同一个用户观看的电影按照类别进行拆分，拆分后各个用户对应的评分保持不变；

②将同一个用户的观看电影的时间和拆分后的类别进行组合，统计相同的时间-类别组合，按照各个组合出现的频率作为评分放缩的权重；

③根据评分缩放结果计算用户在特定的情境(时间-类别)下的评分，表示该情境下用户的倾向评分；

2)对用户-情境矩阵进行分解：应用矩阵分解技术，通过多次迭代计算，以最小化根均方误差(RMSE)为准则，最大程度的拟合用户-情境矩阵的评分，从而得到包含情境信息的用户特征向量，为下一步求情境依赖相似度做准备。

3)将分解后的包含情境信息的用户特征向量两两之间求相似度，我们称该相似度为情境依赖相似度：该用户特征向量不同于传统的用户-物品分解后得到的特征向量，该特征向量蕴含隐式的情境信息，包含了更为丰富的用户倾向偏好信息。然后利用余弦相似度计算两两用户之间的情境依赖相似度，由于该特征向量蕴含更加丰富的情境信息，所以求得的相似度更加可信；

4)选取一定量的情境依赖相似度高的用户作为邻居用户并融合该相似度到原始的用户-电影评分矩阵中：在选取了最相似的若干个最相似的邻居用户后，用邻居用户特征向量的加权平均表示目标用户的特征向量。

——上述方法1)中的构建用户-情境评分矩阵方法如下：

1)将原始的同一个用户观看的电影按照类别进行拆分：比如用户u_i在周六观看了属于动作、犯罪、冒险类型的电影蝙蝠侠，并且对该电影评分为5，然后按照类别拆分成(星期六,动作片，5)，(星期六,犯罪片，5)和(星期六,冒险片，5) 三项，拆分后每一个类别对应的评分保持不变；

2)将同一个用户观看电影的时间和拆分后的类别进行组合，统计相同的时间-类别组合，按照各个组合出现的频率作为评分放缩的权重；还是以上表为例，情境(星期六，动作片),(星期六，冒险片)，(星期六，犯罪片)，(星期六，惊悚片)，(星期六，科幻片)对于同一个用户u_i来说出现频率分别为1,3,1,1,2。该频率即可作为评分放缩的权重；

3)根据评分缩放原则计算用户在特定的情境(时间-类别)下的评分倾向；对于电影蝙蝠侠而言(星期六，动作片)，(星期六，冒险片)，(星期六，犯罪片) 三种情境出现的频率分别为1，3，1，将该频率作为评分放缩的权重，重新计算得到的评分分别是2.27,6.82,2.27，由此可见出现频率多的情境最终获得的评分更大。将放缩后的同一情境的评分按照出现频率再次求取评分值，作为该用户在该特定情境下的评分倾向。

——其中推荐系统使用的术语和数学符号定义如下：

1)假设我们有m个物品，n个用户，我们使用

表示用户集合，

表示物品集合。让u_i表示集合

中的一个用户p_j表示集合

中的一个物品。用户集合

物品集合

用户物品评分矩阵表示为R，R是一个|U|×|P|维的矩阵，R中的条目R_ij代表用户u_i对物品p_j的评分。 R_ij是一个实数，评分通常是1-5之间的一个整数。

和

是隐含的用户和物品特征矩阵。用列向量U_i和P_j分别表示具体的用户和物品隐含特征向量。我们用T＝{星期一，星期二，星期三，星期四，星期五，星期六，星期日} 表示时间集合，C＝{动作片，冒险片，动画片，儿童片，喜剧片，犯罪片，纪录片，戏剧，幻想片，黑色电影，恐怖片，音乐片，推理片，爱情片，科幻片，惊悚片，战争片，西部片}表示电影类别的集合，使用H＝{h₁,h₂,…,h_g}＝T×C， g＝7×18＝126.H是T和C的笛卡尔积，比如，h_j＝<t,c>代表一种情境，其中，t∈T，c∈C。那么我们就合理的构造了一个用户-情境关系矩阵Q＝{q_ij}_n×g。

2)用TSPR表示本发明所提出的时间敏感个性化推荐方法。PMF表示传统的概率矩阵分解模型，RMSE表示根均方误差，MAE表示平均绝对误差。

本发明的优点和积极效果：本发明提供的基于概率矩阵分解的时间敏感个性化推荐方法，在传统的用户-物品评分矩阵之外又引入时间信息和电影类别信息构建一个崭新的用户-情境评分矩阵。在此基础上，我们通过改进已有的概率矩阵分解模型(PMF)，提出了一个新奇的时间敏感个性化推荐方法简称TSPR。该方法的提出是基于以下设想：在不同的时间段，用户对同一个物品通常倾向于展现出不同的偏好。所以我们将具有周期规律的时间信息以及电影类别信息融合到概率矩阵分解模型中，有效地缓解了数据的稀疏性问题以及传统的协同过滤对情境信息的忽略以及电影类别信息利用不足的问题。本发明与现有技术相比，具有以下优点：

(1)以一种崭新的方式对时间情境和电影类别进行处理，充分发掘用户周期性规律所蕴含的用户偏好信息，极大地提高了推荐的准确度；

(2)通过对时间情境信息和电影类别信息的处理以及构建的用户-情境评分矩阵，极大地缓解了数据的稀疏性问题；

(3)通过<时间，类别>情境出现的频率对评分进行合理的缩放，使得对评分的利用更加合理。显著地提高了个性化推荐系统推荐的精度。

附图说明

图1为本发明方法的流程图。

具体实施方式

实施例1

本发明提供的基于概率矩阵分解的时间敏感个性化推荐方法，在传统的用户-物品评分矩阵之外又引入时间情境去构建一个崭新的用户-情境评分矩阵。参见附图1，本发明具体的构建过程如下：

步骤一：

1)将原始的一个用户观看的电影按照类别进行拆分：实际上，一部电影可能涉及到多个电影类别，也就是说，一部电影通常被归类为多个类别的组合，比如电影蝙蝠侠同时属于动作、犯罪、冒险类型。表1是用户u_i的来自于电影数据集MovieLens的评分数据，表示了用户u_i在周中的某一天对一特定电影的评分。我们首先将表1中的每一个电影类别组合拆分成对应的单个类别，在此过程中用户对单个电影类别的评分保持不变，将表1拆分后结果如表2所示。

表1.第i个用户(u_i)对组合类电影的评分

表2.第i个用户(u_i)对基本类别的评分

2)如表3所示，将同一个用户的观看电影的时间和分割后的单个的电影类别进行组合，忽略电影的名称并且统计相同的<时间，类型>，组合的频率，按照各个组合出现的频率作为评分放缩的权重；<时间，类型>，组合的频率表示了用户u_i在特定时间(按周中某一天)对电影类别的偏好程度。对于表3，我们使用f₁,，f₂和f₃分别表示情境组合<星期六，动作片>，<星期六，冒险片> 和<星期六，犯罪片>的频率。f_s表示f₁,，f₂和f₃三者之和，f_s＝f₁,+f₂+f₃。

表3.频率表

用户	<时间,类型>	频率
			第i个用户(u<sub>i</sub>)	<星期六，动作片>	1
第i个用户(u<sub>i</sub>)	<星期六,冒险片>	3
			第i个用户(u<sub>i</sub>)	<星期六,犯罪片>	1
第i个用户(u<sub>i</sub>)	<星期六,惊悚片>	1
			第i个用户(u<sub>i</sub>)	<星期六,科幻片>	2

3)根据评分缩放原则计算用户在特定的情境(时间-类别)下的评分倾向；对于电影蝙蝠侠而言，<星期六，动作片>，<星期六，冒险片>，<星期六，犯罪片>三种情境出现的频率分别为1，3，1，将该频率作为评分放缩的权重。现在我们推算一下单个电影类别对电影整体类别组合评分的贡献。比如，用户u_i在周六观看了电影蝙蝠侠并对其评分为5。而电影蝙蝠侠的类别属于动作、冒险、犯罪类别的组合。我们假设情境<星期六，动作片>,<星期六，冒险片>，<星期六，犯罪片>对于用户u_i对该电影的评分贡献分别为x,y和z.考虑到每一个情境频率的重要性，我们定义f₁/f_s,f₂/f_s和f₃/f_s分别作为x,y和z的权重，然后得到下面的方程；

从表3中，我们能够得到f₁＝1,f₂＝3,f₃＝1，所以

如下表4所示，通过解方程，我们能够得到 x＝2.27,y＝6.82,z＝2.27。同理，对于电影异星觉醒和星际穿越分别可以得到表5 和表6。

表4.第i个用户(u_i)对电影蝙蝠侠在特定<时间,类型>组合上的评分

表5.第i个用户(u_i)对电影异星觉醒在特定<时间,类型>组合上的评分

表6.第i个用户(u_i)对电影星际穿越在特定<时间,类型>组合上的评分

4)最后，将放缩后的同一情境的评分值按照出现频率再次求取平均值，作为该用户在该特定情境下的评分倾向，比如对于情境<星期六，冒险片>而言，最终用户u_i对情境<星期六，冒险片>的评分为三项的平均(6.82+5.14+5.77) /3＝5.91，对情境<星期六，科幻片>的评分为两项的平均(3.43+3.85)/2＝3.64。由此方法计算出所有用户对情境的评分倾向。则最终构造的用户u_i的用户-情境评分关系如表7所示；

表7.第i个用户(u_i)对所有<时间,类型>组合的最终评分

用户	<时间,类型>	评分
			第i个用户(u<sub>i</sub>)	<星期六，动作片>	2.27
第i个用户(u<sub>i</sub>)	<星期六，冒险片>	5.91
			第i个用户(u<sub>i</sub>)	<星期六，犯罪片>	2.27
第i个用户(u<sub>i</sub>)	<星期六,惊悚片>	1.71
			第i个用户(u<sub>i</sub>)	<星期六，科幻片>	3.64

5)最终的用户-情境评分关系就表示如下，u₁，u₂…就代表用户，h₁，h₂…代表时间和电影类别的组合，q_ng就代表用户u_n在情境h_g下倾向给出的评分，该评分可能反映出用户的一贯的行为偏好以及评分倾向。

表8.用户-情境评分矩阵

	h<sub>1</sub>	h<sub>2</sub>	…	h<sub>g</sub>
					u<sub>1</sub>	q<sub>11</sub>	q<sub>12</sub>	…	q<sub>1g</sub>
u<sub>2</sub>	q<sub>21</sub>	q<sub>22</sub>	…	q<sub>2g</sub>
					…	…	…	…	…
u<sub>n</sub>	q<sub>n1</sub>	q<sub>n2</sub>	…	q<sub>ng</sub>

步骤二：

在构建完成用户-情境矩阵后，就需要对其进行矩阵分解，从最小化根均方误差的角度来最大限度的拟合该矩阵的评分值，从而获取蕴含情境信息的用户特征向量。具体的矩阵分解过程如下：

首先我们假设我们的用户情境矩阵为

是两个低秩矩阵的W和Z的乘积，可以表示为

这里

和

都是d维的隐含用户和情境特征矩阵，则对于矩阵

中的具体的某一个评分的预测值就可以表示为

这里

和

分别是隐式的用户和情境因子特征向量。然后矩阵分解的误差函数就可以表示为

其中I_ij代表指示函数，如果用户u_i在特定的情境h_j下有评分行为，则为1，否则等于0。我们使用随机梯度下降的优化方法来完成矩阵分解，根据随机梯度下降方法，W_i和Z_j同步进行更新计算，通过迭代一定的次数，以最小化损失函数E为目标，从而完成矩阵分解，获取蕴含情境信息的用户特征向量。

用户-情境评分矩阵的矩阵分解算法的具体执行过程描述如下：

上述算法的中文描述：

在上面的算法描述中，我们首先输入一系列实验数据和设置的参数，包括用户-情境评分矩阵Q，正则化参数λ以及学习的速率η^s，而后利用随机梯度下降(SGD)算法，以最小化损失函数为目标，进行一定次数的迭代更新，直到损失函数达到一个较小的值。当迭代结束时，我们就获得了蕴含情境信息的用户特征向量。然后对所有用户两两之间求情境依赖相似度，该相似度不同于以往相似度的求法，它是蕴含了用户情境信息的相似度。而情境信息更能够详实地反映用户的倾向，所以求得的情境依赖相似度可信度更大，利用价值更高。步骤三：

在获取了用户的情境依赖相似度后，我们将此相似度融入进概率矩阵分解中。根据协同过滤的思想，用户u_i的特征向量可以视作它的所有邻居用户(相似度较大的用户)的加权平均。公式化邻居用户的影响，可以表示为下面的公式：

这里N_i代表用户的邻居集合，S_ij表示从之前的算法中得出的用户u_i和u_j的情境依赖相似度，本发明的模型在已有的观测评分值上的条件概率和基本的概率矩阵分解模型基本一致。在下面的公式中包含两部分——零均值高斯先验分布和用户隐含特征向量的条件概率，前者防止过拟合，后者代表和该用户志趣相投用户的所施加的影响。

时间敏感个性化推荐(TSPR)模型化隐含用户和物品在已有的观测评分上的联合概率分布，然后将该分布转化为后验分布的对数形式，从而方便接下来的优化过程。在两个隐含特征上的最大化对数后验分布等价于最小化下面的平方和损失函数:

在上面的公式中，目标函数L(R,S,U,P)的局部最小值能够从梯度下降算法中得到

这里

都表示正则化参数，防止模型的过拟合问题的出现。我们可以通过在用户和物品特征向量U_i和P_j上利用随机梯度下降的方法找到目标函数L(R,S,U,P)的局部最小值:

这里，η表示学习速率,U_i表示用户特征向量，P_j是物品特征向量。在完成用户-物品评分矩阵分解后，我们就获得了最终的每一个用户和每一个物品的特征向量，通过这些特征向量，我们可以获取用户对于任何一个的物品的预测评分，从而根据预测评分的大小，从高到低排序后，向用户推荐那些预测评分高的电影，达到个性化推荐的目的。

具体性能比较：

我们将TSPR与其它传统的推荐方法在根均方误差(RMSE)和平均绝对误差 (MAE)方面进行了比较，并测试了参数信息对系统性能的影响。性能测试的主要参数设置如下表所示。这些传统的方法包括概率矩阵分解(PMF)模型，奇异值分解(SVD)模型，一种改进版奇异值分解的模型SVD++。除此之外，我们还将本发明提出的时间敏感个性化推荐(TSPR)模型和两种截至目前为止在情境上利用上较为突出的两种算法也进行了对比，实验结果证明，我们提出的时间敏感个性化推荐方法在推荐性能上要优于目前为止类似的最先进的方法。

表9.实验参数

参数	取值(单位)	意义
			η	0.02	代表随机梯度下降时的学习速率
λ<sub>S</sub>	0.01	正则化参数
			maxepoch	100	可以设置的迭代次数
f	20	可以设置的维度数(隐因子数)

本发明使用了MovieLens-1m数据集，该数据集包含6040个用户对3706部电影总计1000209个评分，用户-电影评分矩阵的数据稀疏度约为4.5％。实验中，我们使用10折交叉验证，将数据集平均分成十份，九份作为训练集，一份作为测试集。

Claims

1.一种基于概率矩阵分解的时间敏感个性化推荐方法，方法包括：

1）利用用户对电影的评分信息和情境信息以及电影类别信息构建用户-情境评分矩阵；

2）对用户-情境矩阵进行分解：应用矩阵分解技术，通过多次迭代计算，以最小化根均方误差为准则，最大程度的拟合用户-情境矩阵的评分，从而得到包含情境信息的用户特征向量，为下一步求情境依赖相似度做准备；

3）将分解后的包含情境信息的用户特征向量两两之间求相似度，该特征向量蕴含隐式的情境信息，包含了更为丰富的用户倾向偏好信息，然后利用余弦相似度计算两两用户之间的情境依赖相似度；

4）选取一定量的情境依赖相似度高的用户作为邻居用户并融合该相似度到原始的用户-电影评分矩阵中，在选取了最相似的若干个最相似的邻居用户后，用邻居用户特征向量的加权平均表示目标用户的特征向量；

情境信息包括时间和电影类别两个因素；

根据原始的用户-电影评分矩阵和额外的情境信息以及电影类别信息构建一个用户-情境评分矩阵，代表该情境下用户的评分倾向，构建用户情境评分矩阵具体包括如下步骤：

① 将原始的同一个用户观看的电影按照类别进行拆分，拆分后各个用户对应的评分保持不变；

② 将同一个用户的观看电影的时间和拆分后的类别进行组合，统计相同的时间-类别组合，按照各个组合出现的频率作为评分放缩的权重；

③根据评分缩放结果计算用户在特定的情境下的评分，表示该情境下用户的倾向评分。

2.根据权利要求1所述的基于概率矩阵分解的时间敏感个性化推荐方法，其特征是：方法1）中的构建用户-情境评分矩阵方法如下：

1）将原始的同一个用户观看的电影按照类别进行拆分并评分，拆分后每一个类别对应的评分保持不变；

2）将同一个用户观看电影的时间和拆分后的类别进行组合，统计相同的时间-类别组合，按照各个组合出现的频率作为评分放缩的权重作为评分放缩的权重；

3）根据评分缩放原则计算用户在特定的情境下的评分倾向重新计算得到评分，将放缩后的同一情境的评分按照出现频率再次求取评分值，作为该用户在该特定情境下的评分倾向。