CN108664658A - 一种考虑用户偏好动态变化的协同过滤视频推荐方法 - Google Patents

Abstract

本发明公开了一种考虑用户偏好随时间动态变化的协同过滤推荐方法，该方法包括数据预处理、模型训练和排序，其中，数据预处理主要对原始数据处理生成模型训练所要的格式化的学习样本集；训练模型主要根据生成的样本对用户特征和视频特征进行学习，主要由三块组成：参数矩阵、BPR模型和SimRank模型。当系统准备向用户推荐视频时，推荐引擎首先将后台记录的<用户，视频>对以及相应的元数据读入预处理模块；然后训练模块首先初始化所要学习的特征参数，根据数据预处理模块输入的对应的学习样本分别进行BPR学习和SimRank学习；最后根据训练好的用户特征和视频特征对视频进行排序并推荐。本发明在不增加时间复杂度的条件下动态建模用户的偏好，提升推荐的精准性。

Description

一种考虑用户偏好动态变化的协同过滤视频推荐方法

技术领域

本发明属于个性化内容推荐领域，具体涉及一种考虑用户偏好随时间动态变化的协同过滤视频推荐方法。

背景技术

得益于各类视频门户网站(比如优酷)和自媒体平台(比如YouTube)的涌现，近年来视频流呈现出爆发式的增长。对于用户来说，由于有限的时间和兴趣，要从大量的视频库中搜索自己喜欢的视频需要花费大量的精力。同时，这也给视频提供商带来了巨大的挑战，只有推荐的视频符合用户的偏好才能吸引更多的用户。

解决上述矛盾的关键是推荐系统如何精确并及时地建模用户的偏好。协同过滤作为一种内容无关的推荐技术已经被广泛应用于各类推荐系统。相比于其它推荐技术，协同过滤具有很多优势。首先，协同过滤是领域(或内容)无关的，系统只需要记录各个用户以及所发生过交互(比如点击事件)的视频的记录即可，系统无需知道用户的年龄、视频的类型等信息。其次，协同过滤推荐可以节约大量的人力物力用于用户画像的搜集。基于隐反馈的推荐由于其应用广泛近年来得到大量的关注，相比于显反馈(用户给出显式评分)，隐反馈只需要知道用户是否点击过该视频即可。现有的基于隐反馈的协同过滤推荐的模型参数都是以矩阵分解作为基础，其上层目标函数整体上可以分为两类：回归和排序。回归模型通过模拟显反馈场景，将用户观看过的视频的评分看成1，未观看过的视频的评分当成0，然后应用矩阵分解来近似模拟的评分矩阵。排序模型针对每个用户将视频分成两类：已观看过的标记为正例，未观看过的标记反例，从而两类视频之间形成偏序，通过优化底层模型参数使得对于所有用户这种偏序尽可能成立。

虽然上述方法能够实现向用户推荐兴趣视频，然而用户的偏好会随时间而变化，如果模型静态建模用户偏好，可能造成推荐误差。现有模型很少有考虑用户偏好随时间动态变化这一特征。

发明内容

发明目的：针对现有技术的不足，本发明提出一种考虑用户偏好时间动态变化的协同过滤视频推荐方法，在不增加时间复杂度的条件下动态建模用户的偏好，提升推荐的精准性。

技术方案：为了实现上述发明目的，本发明的技术方案实现如下：一种基于用户偏好时间动态变化的协同过滤视频推荐方法，利用贝叶斯个性化排序(BPR)模型和相似度排序(SimRank)模型构建集成模型LocSim，再通过样本来训练LocSim模型，最终使用训练后的模型来完成视频的推荐。具体地，所述方法包括以下步骤：

S1、将用户和视频的特征向量形成特征矩阵。

将用户和视频映射到相同的特征空间，每个用户和视频用相同大小的特征向量表示，分别表示为p和q。m个用户的特征向量p组成用户特征矩阵，U＝(p₁,…,p_m)，n个视频特征向量q组成视频特征矩阵，V＝(q₁,…,q_n)。

S2、生成BPR模型学习样本并构建BPR学习模型优化目标函数。

对于每个用户，将所有视频集合记为I，划分成两部分，用户u已观看过的视频的集合I_u；用户u未观看过的视频集合I\I_u。然后通过用户以及两个集合三者之间的笛卡儿积生成BPR模型所需的学习样本集S_u＝u×I_u×(I\I_u)。

构建BPR模型的优化目标函数如下所示：

其中，λ₁代表模型的参数正则化水平，θ表示模型参数，D_S表示BPR模型所有学习样本的集合，即D_s＝∪_u∈US_u，|D_S|表示样本的规模，R(u,i)表示用户u的特征向量p_u与视频i的特征向量q_i之间的内积函数，其结果表示用户u对于视频i的偏好值，R(u,j)含义类似，σ函数表示sigmoid函数，其表达式如下：

σ(x)＝1/1+e^-x

其中x表示实数。

S3、生成SimRank模型学习样本，并构建SimRank学习模型。

对于每个用户，根据会话时间的大小，记为session，将视频集分成两部分，此用户在当前会话期间观看的视频为I_u,session；所有不在此会话期间的视频集合为I\I_u,session。把每个集合内所有视频组合成不重复的视频对集合I_pair＝{<i,j〉|i,j∈I_u,session&i≠j}。最后通过用户以及两个视频对集合间的笛卡儿积生成SimRank模型所需的学习样本R_u＝u×I_pair×(I\I_u,session)。

构建SimRank模型的优化目标函数如下所示：

其中θ代表模型参数，与BPR模型共享，σ代表sigmoid函数，与BPR模型中相同，T_S为SimRank模型的学习样本集，|即T_S＝∪_u∈UR_u，|T_S|代表样本的规模，λ₂表示模型参数的正则化水平，Sim函数用来计算视频间的相似度，其计算公式如下：

Sim(u,i,j)＝q_iΛq_j

其中Λ表示将用户u特征向量p_u写成对角矩阵形式。σ函数将视频之间的相似度之差映射到概率空间。

S4、集成BPR模型与SimRank模型，形成LocSim模型。

BPR模型是对用户全局偏好的建模，SimRank模型强调了用户当前偏好重要性。集成BPR模型与SimRank模型，构建集成模型LocSim优化目标函数如下：

min LocSim(θ)＝αmin BPR(θ)+(1-α)min SimRank(θ)

其中θ为模型参数，α为平衡因子，用来平衡用户全局偏好和当前局部偏好间的重要性。

S5、使用随机梯度下降算法训练LocSim模型。

对BPR模型和SimRank模型分别施加不同的正则化水平和参数学习速率来等效的替代平衡因子α。在BPR模型的目标函数min BPR(θ)中，令学习率lrate＝l₁；在SimRank模型的目标函数min SimRank(θ)中，令学习率lrate＝l₂。

通过随机梯度下降训练BPR模型，更新公式如下所示：

通过随机梯度下降训练SimRank模型，更新公式如下：

S6、利用训练好的模型进行视频排序推荐。

通过前面已经学习的模型参数对视频进行排序，通过用户特征向量与视频特征向量之间的内积获得偏好值，其求法与BPR模型中相同，即根据R(u,i)求得，然后根据用户对各个视频的偏好对所有视频进行排序。

有益效果：本发明提出一种基于用户偏好时间动态变化的协同过滤视频推荐方法，适用于隐反馈场景下的视频流个性化推荐。其工作特点与现有的基于隐反馈的协同过滤的区别在于，用户偏好随时间变化这一特征在该系统中得到体现，同时该系统的求解(训练)复杂度与现有的模型保持在一个数量级。本发明构建的模型既从整体上刻画了用户的偏好，又局部强调了用户当前的偏好，从而推荐精度获得提升；并且采用两阶段训练方法，可以根据需要动态改变用户全局偏好和局部偏好的重要性，使得系统的推荐能力得到增强，用户体验得到提升。

附图说明

图1是根据本发明实施例的隐反馈数据形式；

图2是根据本发明实施例的推荐方法流程图；

图3是根据本发明实施例的模型结构图；

图4是根据本发明实施例的模型训练图；

图5是根据本发明实施例的集成模型第一阶段参数训练完成效果图；

图6是根据本发明实施例的集成模型第二阶段参数训练完成效果图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

本发明公开了一种考虑用户偏好随时间动态变化的协同过滤推荐方法，在一个实施例中，该方法包括数据预处理、模型训练和排序三个阶段，。当系统准备向用户推荐视频时，推荐引擎首先将后台记录的<用户，视频>对以及相应的元数据读入预处理模块，数据预处理部分主要对原始数据处理生成模型训练所要的格式化的学习样本集。模型训练主要根据生成的样本对用户特征和视频特征进行学习，训练模块首先初始化所要学习的特征参数，根据数据预处理模块输入的对应的学习样本分别进行BPR学习和SimRank学习。最后排序阶段根据训练好的用户特征和视频特征对视频进行排序并推荐。

图1描述了系统应用场景，在该场景下系统只能获取隐反馈数据：用户观看视频与否，包括用户观看视频时的时间信息。图1所示的表格中元素为‘1’的表示用户和视频存在交互，系统后台以三元组的形式保存这些数据：<用户，视频，时间戳>。系统推荐任务等价于对表格中空白值做出预测。

图2描述了部署推荐系统中数据流动框架：

个性化推荐模块：系统将推荐的视频目录推送到用户端；

入库记录模块：搜集客户端的反馈，对用户的观看信息以三元组<用户，视频，时间戳>的形式入库；

用户视频交互矩阵模块：将入库记录处理成矩阵表示；

系统过滤模块：根据用户视频交互矩阵建模用户偏好；

模型参数模块：存储系统预测所需的信息；

视频排序模块：根据模型参数对视频进行偏好预测并进行降序排序。

图3描述了推荐引擎的建模框架，主要包括三个部分：数据预处理模块、参数训练模块和排序模块。

数据预处理模块分为两个部分：

(1)BPR模型学习样本生成模块：对于每个用户，将所有视频集合，记为I，划分成两部分，用户u已观看过的视频的集合I_u；用户u未观看过的视频集合I\I_u。然后通过用户以及两个集合三者之间的笛卡儿积生成BPR模型所需的学习样本集S_u＝u×I_u×(I\I_u)。

SimRank模型学习样本生成模块：对于每个用户，根据会话时间的大小，记为session，将视频集分成两部分，此用户在当前会话期间观看的视频，I_u,session；所有不在此会话期间的视频集合I\I_u,session。把每个集合内所有视频组合成不重复的视频对集合I_pair＝{<i,j〉|i,j∈I_u,session&i≠j}。最后通过用户以及两个视频对集合间的笛卡儿积生成SimRank模型所需的学习样本R_u＝u×I_pair×(I\I_u,session)。

参数训练模块负责完成以下功能：

(1)参数初始化：将用户和视频映射到相同的特征空间，每个用户和视频用相同大小的特征向量表示，分别表示为p和q。m个用户的特征向量p组成用户特征矩阵，U＝(p₁,…,p_m)，n个视频特征向量q组成视频特征矩阵，V＝(q₁,…,q_n)。

(2)BPR学习模型：构建优化目标函数如下所示：

其中，θ表示模型参数，D_S表示BPR模型所有学习样本的集合，即D_S＝∪_u∈US_u，|D_S|表示样本的规模，R(u,i)表示用户u的特征向量p_u与视频i的特征向量q_i之间的内积函数，其结果表示用户u对于视频i的偏好值，R(u,j)含义类似，σ函数表示sigmoid函数，其表达式如下：

σ(x)＝1/1+e^-x

其中x表示实数。σ函数可以将函数值映射到概率空间中。

(3)SimRank学习模型：构建优化目标函数如下所示：

其中θ代表模型参数，与BPR模型共享，σ代表sigmoid函数，与BPR模型中相同，T_S为SimRank模型的学习样本集，|即T_S＝∪_u∈UR_u，|T_S|代表样本的规模，λ₂表示模型参数的正则化水平，Sim函数用来计算视频间的相似度，其计算公式如下：

Sim(u,i,j)＝q_iΛq_j

其中Λ表示将用户u特征向量p_u写成对角矩阵形式。σ函数将视频之间的相似度之差映射到概率空间。

(4)集成模型LocSim：集成BPR模型与SimRank模型，构建优化目标函数如下：

min LocSim(θ)＝αmin BPR(θ)+(1-α)min SimRank(θ)

其中θ为模型参数，α为平衡因子，用来平衡用户全局偏好和当前局部偏好间的重要性。

图4描述了集成模型LocSim的两阶段训练过程：

BPR学习样本集：生产BPR模型学习所需的样本；

SimRank学习样本集：生成SimRank模型学习所需的样本；

模型参数θ：以均值为0，方差为σ的正太分布来初始化；

BPR模型学习：在BPR模型的目标函数min BPR(θ)中，令学习率lrate＝l₁，根据BPR学习样本通过随机梯度下降训练BPR模型，更新公式如下所示：

参数模型θ′：存储BPR模型学完的参数；

SimRank模型学习：在SimRank模型的目标函数min SimRank(θ)中，令学习率lrate＝l₂，根据SimRank学习样本集，通过随机梯度下降训练SimRank模型，更新公式如下：

图5描述了第一阶段BPR训练完成时模型参数θ′的效果图，其中q₁，q₂，q₃是用户u在当前会话中观看过的视频特征向量。通过用户特征向量和视频向量的内积计算偏好值，如果存在和用户u非常接近的用户u’，相比于视频1和2，系统优先推荐视频4。

图6描述了第二阶段SimRank训练完成时模型参数θ的效果图。通过这一阶段训练，视频之间的排序发生了变化，系统优先推荐与当前会话中相似的视频推荐给用户。

视频排序推荐模块：通过前面已经学习的模型参数对视频进行排序，通过用户特征向量与视频特征向量之间的内积获得偏好值，R(u,i)＝p_uq_i，根据用户对各个视频的偏好对所有视频进行排序。

在实际实施时，需要根据实际情况调整会话变量session的大小。

以上描述了本发明的系统实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。

Claims (8)

1.一种考虑用户偏好动态变化的协同过滤视频推荐方法，其特征在于，所述方法包括以下步骤：

S1、将用户和视频的特征向量形成特征矩阵；

S2、生成BPR模型学习样本，并构建BPR学习模型优化目标函数；

S3、生成SimRank模型学习样本，并构建SimRank学习模型优化目标函数；

S4、利用BPR模型与SimRank模型目标函数构建集成模型LocSim；

S5、使用随机梯度下降算法训练集成模型；

S6、利用训练好的集成模型进行视频排序推荐。

2.根据权利要求1所述的考虑用户偏好动态变化的协同过滤视频推荐方法，其特征在于，所述步骤S1包括：将用户和视频映射到相同的特征空间，每个用户和视频用相同大小的特征向量表示，所有用户的特征向量组成用户特征矩阵U，所有视频特征向量组成视频特征矩阵V。

3.根据权利要求1所述的考虑用户偏好动态变化的协同过滤视频推荐方法，其特征在于，所述步骤S2包括：

生成BPR模型学习样本：对于每个用户，将视频划分成两部分，此用户已观看过的视频的集合和未观看过的视频集合，然后通过用户以及两个集合三者之间的笛卡儿积生成BPR模型所需的学习样本集；

构建BPR模型优化目标函数：

其中，λ₁代表模型的参数正则化水平，θ表示模型参数，D_S表示BPR模型所有学习样本的集合，|D_S|表示样本的规模，R(u,i)表示用户u的特征向量与视频i的特征向量之间的内积函数，其结果表示用户u对于视频i的偏好值，R(u,j)含义类似，σ函数表示sigmoid函数。

4.根据权利要求3所述的考虑用户偏好动态变化的协同过滤视频推荐方法，其特征在于，所述步骤S3包括：

生成SimRank模型学习样本：对于每个用户，根据会话时间的大小将视频集分成两部分，此用户在当前会话期间观看的视频和所有不在此会话期间的视频集合，然后把每个集合内所有视频组合成不重复的视频对集合，最后通过用户以及两个视频对集合间的笛卡儿积生成SimRank模型所需的学习样本集；

构建SimRank模型优化目标函数：

其中θ代表模型参数，σ代表sigmoid函数，T_S为SimRank模型的学习样本集，|T_S|代表样本的规模，λ₂表示模型参数的正则化水平，Sim函数用来计算视频间的相似度，其计算公式如下：

Sim(u,i,j)＝q_iΛq_j

其中Λ表示将用户u特征向量写成对角矩阵形式。

5.根据权利要求4所述的考虑用户偏好动态变化的协同过滤视频推荐方法，其特征在于，所述步骤S4包括：集成BPR模型与SimRank模型，构建集成模型优化目标函数如下：

min LocSim(θ)＝αmin BPR(θ)+(1-α)min SimRank(θ)

其中θ为模型参数，α为平衡因子，用来平衡用户全局偏好和当前局部偏好间的重要性。

6.根据权利要求4所述的考虑用户偏好动态变化的协同过滤视频推荐方法，其特征在于，所述步骤S5中训练集成模型分成两阶段：

第一阶段训练BPR模型：建模用户全局偏好；

第二阶段训练SimRank模型：强调用户当前偏好重要性。

7.根据权利要求6所述的考虑用户偏好动态变化的协同过滤视频推荐方法，其特征在于，所述步骤S5中，通过对BPR模型和SimRank模型分别施加不同的正则化水平和参数学习速率来等效替代平衡因子α，在BPR模型的目标函数min BPR(θ)中，令学习率lrate＝l₁；在SimRank模型的目标函数min SimRank(θ)中，令学习率lrate＝l₂；

通过随机梯度下降训练BPR模型，更新公式如下所示：

通过随机梯度下降训练SimRank模型，更新公式如下：

8.根据权利要求2所述的考虑用户偏好动态变化的协同过滤视频推荐方法，其特征在于，所述步骤S6包括：根据学习的模型参数对视频进行排序，通过用户特征向量与视频特征向量之间的内积获得偏好值，根据用户对各个视频的偏好值对所有视频进行排序。