CN110008377A - 一种利用用户属性进行电影推荐的方法 - Google Patents

Abstract

本发明公开了一种利用用户属性进行电影推荐的方法，属于数据推荐领域，目的是为了解决传统的推荐模型方法不合理的利用辅助信息，导致推荐结果不精准甚至出现较大偏差的问题。传统的推荐系统模型对于用户的一些属性信息不加甄别，无视属性对于对应物品的适应性，从而存在较大的不合理性，本方法通过对传统推荐系统工作流程中的属性利用环节加入注意力机制，从而有效地控制和决定在进行电影推荐时候，哪些用户信息被保留，哪些被摒弃，使得整个推荐过程更加合理有效。同时，本方法结合了深度学习的大规模参数学习，使得模型的适用性和鲁棒性更强。

Description

一种利用用户属性进行电影推荐的方法

技术领域

本发明涉及数据推荐领域，尤其是对于电影的预测评分及推荐，具体涉及一种利用用户属性进行电影推荐的方法。

背景技术

在大数据的时代背景下，只有充分利用好数据，才能在商业竞争中占得先机。电影推荐系统也是如此，只有让系统充分学习大量用户的历史观影数据，从影片库中挑选出用户可能会喜欢的电影，进行精准推荐，才能更有效地推广电影的发行。然而多数电影推荐系统面临这样一个冷启动问题：对于新的用户，观影历史数据很少甚至没有，很难对其进行推荐。基于上述问题，一些方法开始建模用户的属性特征，例如年龄、性别、职业这些在系统注册的时候，便会录入系统的项目。

现今基于协同过滤的个性化推荐系统大多数基于这样一个思想：将用户和待推荐的项目映射到一个低维度的特征空间中，用这两个特征向量之间的距离来表示特定用户对于特性项目的喜好程度，对于冷启动的用户，则在原始特征的基础上，简单的加上属性特征。Y.Koren提出的SVD++模型是处理冷启动问题的模型代表。最近，Xiangnan He等人又提出了NCF模型，将SVD++模型用神经网络进行扩展。这些方法都考虑到了用户属性的建模问题，旨在解决新用户的推荐问题，然而它们或多或少存在着不合理性。

上述对于用户属性建模的模型都存在这样一个问题：不论对于目标用户进行哪种电影的推荐，系统在建模用户模型的时候，相同属性在特征空间中的比重一致。这显然是不合理的。考虑一个实际问题：对于动作电影的推荐，系统应该更关注用户的性别，而对于浪漫爱情电影，则应该关注用户的年龄，而不应该对于所有的电影，都一律使用一样的属性特征，这会造成很大的预测偏差。

发明内容

本发明的目的是针对现有技术的不足，提供了一种利用用户属性进行电影推荐的方法，在传统的协同过滤矩阵分解推荐算法的基础上，引入了深度学习领域表现良好的注意力机制，精准把控系统模型对于每个属性的关注度参数，使得推荐模型对于不同电影，合理分配相应的注意力，从而能够更合理地运用用户提供的有效属性信息，使得推荐结果更加合理精准。

本发明的目的可以通过如下技术方案实现：

一种利用用户属性进行电影推荐的方法，所述方法在传统推荐模型的基础上，引入注意力机制，在历史数据的建模学习中，额外学习用户属性注意力参数，包括以下步骤：

S1、特征映射学习：首先从大量的现有用户对电影评级数据中学习特征映射关系其中i和u分别表示电影和用户的uuid，a表示用户的属性集，同时，学习和记录对用户属性的注意力矩阵λ；

S2、用户/电影原始特征映射：对于具体的用户，根据学习到的映射关系参数，将其投影到K维度低维的特征空间中；同样，对于待推荐影片或影片库，根据其uuid获得它们在特征空间中具体的特征值，这些特征，包括之后提到的属性特征，都是特征空间中的一个向量；

S3、池化属性特征融合：对于原始的用户特征，利用其属性集对其进行修正；

S4、预测评分：将影片库的所有电影特征以及修正过后的用户特征输入到模型中，获得最后的评分列表，即模型对当前用户关于影片库中所有该用户未观看的影片的一个评分预测；

S5、Top K推荐：排序评分列表，取Top K评分影片推荐给用户。

进一步地，步骤S1中的模型使用形式为(u，i，rating)格式的大量现有电影评分数据进行参数学习，u、i、rating分别表示用户的uuid、电影的uuid以及相应的评分数据；为了学习三种映射关系模型使用参数矩阵的形式来保存用户、电影、属性在特征空间中的向量，分别记为U、I、A，则模型的输出用如下的公式来描述：

其中L表示在池化融合用户u的原始特征p_u＝U_u和属性注意力λ处理过的属性集a_u＝A_u后，系统使用L层神经网路中的全连接层，将用户电影融合特征映射到预测分数；σ₁、…、σ_L-1、σ_L分别表示神经网络激活函数；表示池化操作；I_i表示第i部电影的特征向量；⊙表示向量点积；λ表示训练得到的注意力参数；b₁表示第一个神经网络前馈层的偏置；传统的使用用户属性信息的推荐系统将λ固定作为一个归一化参数，导致系统无法正确分辨哪些属性信息真的有用，而哪些对分数的判定影响不大。因此本方法提出了一个自适应的λ的信息利用方法，并使用模型自学习注意力参数λ。

进一步地，使用模型自学习注意力参数λ，即模型根据目标电影特征q_i和靶用户的每个属性的特征a_j，j∈|A_u|来求解注意力参数，具体过程如下：

对于每个用户属性特征向量a_j，j∈|A_u|，A_u表示用户u的属性特征集合；连接q_i和a_j，获得连接后的向量V_j＝[a_j，q_i]；

使用神经网络的一个全连接层以及tanh激活函数将连接后的向量映射到K维的特征空间中，即表示第一个网络前馈层的权重参数，b₁表示第一个网络前馈层的偏置；

使用softmax激活函数获取每个属性分配的注意力参数，即：

其中表示注意力参数输出层的网络权重，b₂表示注意力参数输出层的网络偏置；

在学习阶段，模型的优化目标如下：

式(3)是一个带正则项的均方误差代价函数，||·||_F是矩阵的弗罗贝尼乌斯范数，||·||₂是L-2范数，n表示样本数据集中样本个数，y_i表示样本数据集中样本i的标签，即一个真实评分数据，表示模型的预测评分数据，δ₁、δ₂、δ₃、δ₄、δ₅表示正则化参数，W表示模型所有网络层的权重参数，正则项的作用是使得参数更加稀疏平滑，有利于学习过程的过拟合抑制。

进一步地，在步骤S1中，已经获得了所有在库电影的在库用户在特征空间中的特征矩阵U、I，以及对应用户属性的特征矩阵A，这时候只需要通过用户/电影的uuid，查表即能够得到它们在特征空间中对应的特征值。

进一步地，步骤S3中，例如用户有年龄、性别、工作等属性。假设用户原始特征为p_u，属性集合为I_u，特征集合为则最终修正后的用户特征向量为 其中是池化方法；传统的池化方法，只是简单的将属性特征向量加到用户的原始向量中，即这种方法没有考虑到属性与属性之间的交互，以及，如果不同用户的属性个数不同，这种方法也不能做到归一化处理。因此，此处使用的是逐点池化方法，可以有效地处理上述问题。具体公式如下：

其中⊙是逐点乘法运算，令公式(5)展示了该方法能够在线性时间内完成一次运算：

假设特征空间的维度为K，则式子(5)的时间复杂度为O(K|I_u|)。

本发明与现有技术相比，具有如下优点和有益效果：

l、本发明提供的一种利用用户属性进行电影推荐的方法，通过注意力机制的引入，使得模型在属性关注度分配的任务上表现良好。

2、本发明提供的一种利用用户属性进行电影推荐的方法，通过逐点池化的引入，使得模型对于不同用户的不同数量的属性，能够更好地归一化处理。

3、本发明提供的一种利用用户属性进行电影推荐的方法，通过多层神经网络全连接层的引入，使得整个推荐系统模型的鲁棒性更强，更容易对大量的数据进行建模。

附图说明

图1为本发明实施例中电影推荐系统的工作流程示意图。

图2为本发明实施例中电影推荐模型的训练流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例：

本实施例提供了一种利用用户属性进行电影推荐的方法，具体应用场景为一个电影网站的电影推荐系统，注册网站需要用户填写年龄、性别、职业等信息，网站要求对于用户在其网站上的影片进行评分。即是一个对于带有年龄、性别、职业属性的用户进行电影推荐的一个应用。

本实施例中描述的电影推荐系统的工作流程如图1所示，其主要分为两个部分：

模型学习。模型由现有历史电影评分数据学习参数，获得用户列表中的用户、影片库中的影片以及用户的属性集到特征空间中的映射关系，同时获得基于特定电影，特定属性的模型关注度。

聚合推荐。其中又分为几种类型的推荐：a)用户列表中的用户对于未观看过的影片列表中的影片的电影推荐；b)未在用户列表中的新用户的电影推荐。

下面将具体描述这两部分的内容。

一、模型学习：

电影推荐系统正式上线运行之前，需要进行原始数据训练分析，获得模型必要的参数。由于网站要求用户对其影片库中电影进行评分，网站容易收集到大量的历史电影评分，同时，由于网站注册期间需要用户填写年龄、性别和职业信息，网站能将数据组织成表1所示的形式：

用户ID	电影ID	用户年龄	用户性别	用户职业
					0001	0001	18	男	学生
0002	0002	30	女	医生
					...	...	...	...	...

表1

为了组织数据，方便其映射到特征空间，需要将上表1的每个字段进行独热编码。对于用户ID和电影ID来说，由于本身就容易编号，则直接用其ID作为编码即可，对于用户的年龄，进行年龄的分级，比如分成如下几个级别：18岁以下、18-24岁，25-34岁等等，根据用户落在的年龄区间对其进行编码；至于用户性别和用户职业，由于这两个属性容易列表化，则也很容易进行编码。

组织好数据后获得上表1每个字段的条目数，假定用户数为N_u。假设特征空间的维数为K，则模型特征映射事实上即一个查表操作，表的大小为N_u×K，用户的ID对应于表的索引。同理，用户的属性、电影的特征也是这样的操作。而这三张表，就是图2所展示的训练模型需要从大量的历史评分数据中学习的参数，记为U、I、A其中：

模型还包括注意力机制参数的学习，如图2所示，注意力参数λ由特定用户的属性集在特征空间中的特征以及电影特征决定。该参数决定对于特定的电影，系统应该给予特定的用户属性多少的注意力。

综上所述，由图2构建的整个系统，需要从网站的历史观影评分数据中学习如下参数：

θ＝{U，I，A，λ，W，b}

其中W、b是神经网络全连接层的参数。

二、聚合推荐：

在阶段一训练数据获得参数集θ后，阶段二就可以进行聚合推荐。

假定电影网站对用户u进行影片推荐。已知：电影网站的影片库为M，影片库中影片数目n(M)＝|M|；电影网站用户库为N，用户数目为n(N)＝|N|；

系统模型聚合推荐流程如下：

1)对于影片库中的每一步影片i，i∈|M|，获取其特征，即在特征表I中查到其特征向量，获得影片库待推荐影片向量集合

2)对于靶用户，则要分两种情况讨论：若其为老用户，即已经在网站的用户表中，则可以正常查询用户表U来获得原始用户向量；若为冷启动新用户，则由于其注册时候提交了年龄、性别和职业信息，可以用这些信息的聚合作为其特征，具体如下：

其中即式(5)所展示的本发明所使用的逐点池化操作。λ为本发明使用的注意力机制，根据用户提交的属性信息以及相应的影片，所计算出来的注意力大小，用以控制不同属性对于最终用户特征计算的参与度。

3)上述两个步骤分别获得了影片库中所有影片的特征和靶用户的特征，接下来这一步的就是评分预测和排序。模型在获得这两个特征后，在此基础上使用了L层神经网络全连接层来获得输出，假设全部的L层的参数为对每一层，做：

其中，x是每一层的输出，σ_l是第l层的激活函数，W_l和b_l分别是第l层权重和偏置。则最终的用户评分即为：

4)Top K推荐。在步骤3)中，已经可以获得靶用户对于影片库中所有影片的评分预测，系统可以根据这个评分列表进行简单的倒序排序，取评分最高的前K部影片作为Top K影片推荐给用户。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (5)

1.一种利用用户属性进行电影推荐的方法，其特征在于，所述方法包括以下步骤：

S1、特征映射学习：首先从大量的现有用户对电影评级数据中学习特征映射关系其中i和u分别表示电影和用户的uuid，a表示用户的属性集，同时，学习和记录对用户属性的注意力矩阵λ；

S2、用户/电影原始特征映射：对于具体的用户，根据学习到的映射关系参数，将其投影到K维度低维的特征空间中；同样，对于待推荐影片或影片库，根据其uuid获得它们在特征空间中具体的特征值，这些特征，包括之后提到的属性特征，都是特征空间中的一个向量；

S3、池化属性特征融合：对于原始的用户特征，利用其属性集对其进行修正；

S4、预测评分：将影片库的所有电影特征以及修正过后的用户特征输入到模型中，获得最后的评分列表，即模型对当前用户关于影片库中所有该用户未观看的影片的一个评分预测；

S5、Top K推荐：排序评分列表，取Top K评分影片推荐给用户。

2.根据权利要求1所述的一种利用用户属性进行电影推荐的方法，其特征在于：步骤S1中的模型使用形式为(u,i,rating)格式的大量现有电影评分数据进行参数学习，u、i、rating分别表示用户的uuid、电影的uuid以及相应的评分数据；为了学习三种映射关系模型使用参数矩阵的形式来保存用户、电影、属性在特征空间中的向量，分别记为U、I、A，则模型的输出用如下的公式来描述：

其中L表示在池化融合用户u的原始特征p_u＝U_u和属性注意力λ处理过的属性集a_u＝A_u后，系统使用L层神经网路中的全连接层，将用户电影融合特征映射到预测分数；σ₁、…、σ_L-1、σ_L分别表示神经网络激活函数；表示池化操作；I_i表示第i部电影的特征向量；⊙表示向量点积λ表示训练得到的注意力参数；b₁表示第一个神经网络前馈层的偏置；并使用模型自学习注意力参数λ。

3.根据权利要求2所述的一种利用用户属性进行电影推荐的方法，其特征在于，使用模型自学习注意力参数λ，即模型根据目标电影特征q_i和靶用户的每个属性的特征a_j,j∈|A_u|来求解注意力参数，具体过程如下：

对于每个用户属性特征向量a_j,j∈|A_u|，A_u表示用户u的属性特征集合；连接q_i和a_j，获得连接后的向量V_j＝[a_j,q_i]；

使用神经网络的一个全连接层以及tanh激活函数将连接后的向量映射到K维的特征空间中，即 表示第一个网络前馈层的权重参数，b₁表示第一个网络前馈层的偏置；

使用softmax激活函数获取每个属性分配的注意力参数，即：

其中表示注意力参数输出层的网络权重，b₂表示注意力参数输出层的网络偏置；

在学习阶段，模型的优化目标如下：

式(3)是一个带正则项的均方误差代价函数，‖·‖_F是矩阵的弗罗贝尼乌斯范数，‖·‖₂是L-2范数，n表示样本数据集样本个数，y_i表示样本数据集中样本i的标签，即一个真实评分数据，表示模型的预测评分数据，δ₁、δ₂、δ₃、δ₄、δ₅表示正则化参数，W表示模型所有网络层的权重参数，正则项的作用是使得参数更加稀疏平滑，有利于学习过程的过拟合抑制。

4.根据权利要求2所述的一种利用用户属性进行电影推荐的方法，其特征在于：在步骤S1中，已经获得了所有在库电影的在库用户在特征空间中的特征矩阵U、I，以及对应用户属性的特征矩阵A，这时候只需要通过用户/电影的uuid，查表即能够得到它们在特征空间中对应的特征值。

5.根据权利要求1所述的一种利用用户属性进行电影推荐的方法，其特征在于：步骤S3中，假设用户原始特征为p_u,属性集合为I_u,特征集合为则最终修正后的用户特征向量为其中是池化方法；此处使用的是逐点池化方法，具体公式如下：

其中⊙是逐点乘法运算，令公式(5)展示了该方法能够在线性时间内完成一次运算：

假设特征空间的维度为K，则式子(5)的时间复杂度为O(K|I_u|)。