CN111382350A - 融合用户点击行为和用户兴趣偏好的多任务电视节目推荐方法 - Google Patents

Abstract

本发明公开了一种融合用户点击行为和用户兴趣偏好的多任务电视节目推荐方法，在电视节目推荐中融合用户点击和用户兴趣偏好的多任务学习来提升电视节目推荐效果，该方法包括：基于注意力网络融合神经网络因式分解算法从用户的历史点击节目数据中，建立用户对电视节目的点击模型；基于注意力网络融合神经网络因子分解机算法从用户兴趣偏好数据中，建立用户对节目的兴趣偏好进行模型；最后在推荐的时候综合考虑用户的点击行为和用户的偏好行为，从而能够让推荐的电视节目更加符合用户的需求，提高用户的满意度。

Description

融合用户点击行为和用户兴趣偏好的多任务电视节目推荐 方法

技术领域

本发明涉及多任务电视节目推荐方领域，具体涉及一种融合用户点击行为和用户兴趣偏好的多任务电视节目推荐方法。

背景技术

随着互联网和信息技术的发展，为了解决信息过载的问题，推荐系统的研究和发展就成为了热点，并且在工业界和学术界都取得了很多的成果。由于电视用户的需求也越来越高，单任务的推荐系统经常只是考虑到用户的点击行为，并没有考虑用户点击后是否喜欢这个电视节目，而用户的兴趣偏好在推荐的过程中又尤为重要，因此原来只考虑用户点击行为的推荐系统已经不太能够满足用户的个性化推荐需求。再者，随着神经网络和深度学习技术的发展，把相关技术运用到推荐系统中，能够使得推荐系统的预测和推荐效能大幅度提升。因此本发明就是在神经网络和深度学习的技术上，提出了电视节目的多任务的推荐模型，同时考虑用户点击行为和用户的兴趣偏好，提高电视节目推荐系统的性能，使推荐的节目更加符合用户的需求。

发明内容

针对单任务电视节目推荐系统的缺点，本发明提出了一种融合用户点击行为和用户兴趣偏好的多任务电视节目推荐方法。

本发明在电视节目推荐算法中融入了用户点击行为和用户兴趣偏好的多任务推荐方法。可以在隐式数据中获取用户的兴趣偏好信息，并把这种偏好信息融入推荐系统当中，能够让推荐的节目更加符合用户的需求。

一种融合用户点击行为和用户兴趣偏好的多任务电视节目推荐方法，包括以下步骤：

S101：获取用户的电视节目点击行为序列和用户的兴趣偏好；

S102：对用户的电视节目点击行为序列中的每一特征和用户的兴趣偏好中的每一特征进行哑变量编码，并构建多任务模型的共享嵌入层，将编码后的特征信息进行降维，获取用户的电视节目点击行为序列的特征向量和用户的兴趣偏好的特征向量；

S103：根据步骤S102获得的用户的电视节目点击行为序列的特征向量，利用注意力网络(Attention Network)和融合深度神经网络的因式分解模型进行建模，构建目标函数L₁，预测用户对节目的点击率，获得用户对节目的点击率；

S104：根据步骤S102获得的用户的兴趣偏好的特征向量，利用注意力网络和融合神经网络的因子分解机模型进行建模，构建目标函数L₂，预测用户对节目的偏好程度，获得用户对节目的偏好程度；

S105：采用目标函数L₁对步骤S103获得的用户对节目的点击率迭代以及采用目标函数L₂对节目的偏好程度迭代，使其和最小，得到最佳的用户对节目的点击率和最佳的用户对节目的偏好程度；

S106：根据步骤S105获得的最佳的用户对节目的点击率和根据步骤S105获得的最佳的用户对节目的偏好程度，加权融合计算用户对每个节目的兴趣程度，进而对节目表里的所有未观看过的节目根据用户的兴趣程度进行从大到小排序，并把兴趣程度最高的多个节目推荐给目标用户。

步骤S101中，用户的电视节目点击行为序列中每条行为记录包括用户ID、电视节目ID、用户观看时长、电视节目时长、用户的年龄、用户的性别、用户的付费信息、用户的活跃度、用户的开机时长、用户的家庭情况、节目的类型；

用户的兴趣偏好中每条行为记录包括用户ID、电视节目ID、用户观看时长、电视节目时长、用户的年龄、用户的性别、用户的付费信息、用户的活跃度、用户的开机时长、用户的家庭情况、节目的类型；

用户的电视节目点击行为序列和用户的兴趣偏好从机顶盒的用户行为日志获取。

用户的兴趣偏好是根据用户对此节目的观看时长以及节目的总体时长的比例作为用户对这个节目的兴趣偏好，分为5个评分等级，比例处于[0-0.2]为等级1，比例处于(0.2-0.4]为等级2，比例处于(0.4-0.6]为等级3，比例处于(0.6-0.8]为等级4，比例处于(0.8-1]为等级5。

步骤S102中，共享嵌入层包括节目特征、用户行为画像特征、用户特征三个特征向量信息，多任务模型中的两个子任务都采用共享嵌入层的特征向量信息。

步骤S103中，目标函数L₁的构建具体包括：

用户点击行为预测采用注意力网络和融合深度神经网络的因式分解算法，对用户的电视节目点击行为序列的特征向量作交互叠加，叠加向量Z₁＝[u_i，m_j]，u_i表示第i个用户的特征向量，m_j表示第j个电视节目的特征向量，叠加向量Z₁作为神经网络的输入层，预测网络框架的计算方法为：

其中，g_A表示注意力网络的输出，g表示softmax函数，W_A表示注意力网络的权重系数，b_A表示注意力网络中的偏置系数，h_out表示融合注意力网络后的输出，W_CA表示隐藏层和注意力网络叠加后神经网络的权重系数，b_CA表示隐藏层和注意力网络叠加后神经网络的偏置系数，f为隐藏层的激活函数Relu或者隐藏层的激活函数Tanh，W_L表示隐藏层第L层的权重系数，b_L为隐藏层第L层的偏置系数，W₁表示隐藏层第1层的权重系数，b₁为隐藏层第1层的偏置系数，

表示神经网络层和注意力网络层向量的叠加，

为用户点击行为预测值，σ为神经网络输出层的激活函数sigmoid，目的是为了把预测值

限制在区间[0,1]之内；

根据预测值

得到目标函数L₁：

其中，y_ij-click表示用户点击行为真实值。

步骤S104中，用户偏好预测方法具体包括：

(a)：提取用户的兴趣偏好的特征向量中的用户和节目的特征向量，记为v_i，表示第i个特征的特征向量；

(b)：构建用户兴趣偏好的预测值的函数，如式(6)-(9)所示，根据式(6)-(9)得到用户兴趣偏好的预测值；

其中，h₁表示一阶特征项的输出，表示用户的兴趣偏好的特征个数，w_i为第i个特征权重，x_i为用户的兴趣偏好的第i个特征值，h₂表示特征二阶特征交互项的输出，v_i表示第i个特征的特征向量，v_j表示第j个特征的特征向量，x_j表示用户的兴趣偏好的第j个特征值，g_B表示注意力网络的输出，g表示softmax函数，W_B表示注意力网络的权重系数，b_B表示注意力网络中的偏置系数，[h₁，h₂]表示向量的叠加操作，w₀是一阶偏置权重，W_L表示隐藏层第L层的权重系数，b_L为隐藏层第L层的偏置系数，W₁表示隐藏层第1层的权重系数，b₁为隐藏层第1层的偏置系数，

表示用户兴趣偏好的预测值；

(c)：根据用户兴趣偏好的预测值和步骤S101获取的用户的兴趣偏好，构建目标函数L₂，计算方法为：

其中，M为用户与节目的交互数，m表示用户对节目的第m次交互，

表示第i个用户对第j个电视节目的兴趣偏好的预测值，y_ij-score表示第i个用户对第j个电视节目的兴趣偏好的真实值，y_ij-score从用户的兴趣偏好中获取。

步骤S105中，采用多任务目标函数计算使其和最小，

多任务目标函数为：

其中，n表示任务的数量，L_total为多任务目标函数(最小化多任务目标函数的值)，L_i表示第i个任务的目标函数。

步骤S106中，加权融合计算用户对每个节目的兴趣程度，具体包括：

通过对最佳的用户对节目的点击率和最佳的用户对节目的偏好程度进行加权求和，预测用户对未观看的节目的兴趣程度，按公式(12)进行计算：

其中，

表示第i个用户对第j个电视节目的总兴趣分值，α表示用户点击行为的权重系数，

表示第i个用户对第j个电视节目的点击预测值，

表示第i个用户对第j个电视节目的偏好程度预测值。

与现有技术相比，本发明具有如下优点：

本发明创建了一种融合用户点击行为和兴趣偏好的多任务电视节目推荐方法，能够有效的解决单任务目标预测容易过拟合的问题；在用户点击行为中融入了用户、节目信息以及用户的兴趣偏好，再者根据用户、节目信息中不同的特征对推荐结果的影响不同，加入了注意力网络给不同的特征分配不同的权重，从而提升推荐系统的鲁棒性和推荐的多样性。

本发明在电视节目推荐中融合用户点击和用户兴趣偏好的多任务学习来提升电视节目推荐效果，基于注意力网络和融合神经网络因式分解算法从用户的历史点击节目数据中，建立用户对电视节目的点击模型；基于注意网络和融合神经网络因子分解机算法从用户兴趣偏好数据中，建立用户对节目的兴趣偏好进行模型；最后在推荐的时候综合考虑用户的点击行为和用户的偏好行为，从而能够让推荐的电视节目更加符合用户的需求，提高用户的满意度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为融合用户点击行为和用户兴趣偏好的多任务电视节目推荐方法的架构示意图；

图2为本发明电视节目推荐系统具体算法示意图。

具体实施方式

为了更具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。

一种融合用户点击行为和兴趣偏好的多任务电视节目推荐方法，并通过python计算机语言进行实现，包括以下步骤：

步骤1：数据预处理

用户的兴趣偏好提取方法是根据用户对此节目的观看时长以及节目的总体时长的比例作为用户对这个节目的兴趣偏好，分为5个评分等级,比例处于[0-0.2]为等级1，比例处于(0.2-0.4]为等级2，比例处于(0.4-0.6]为等级3，比例处于(0.6-0.8]为等级4，比例处于(0.8-1]为等级5；本实验利用python的numpy和pandas包将数据读入，对节目和用户信息的各个特征转换成编码形式，并根据上述预处理方法，生成带有用户兴趣偏好的数据。

步骤2：构建共享嵌入层

对节目和用户的不同的特征信息进行编号，假设有m个特征，那么初始化权重矩阵的大小则是m*K，其中K为权重向量的维度，每个特征都有一个K为的初始向量；使用tensorflow中的embedding_lookup函数对数据中每一个特征进行初始化，并生成每一个特征的特征向量，作为模型的输入。

步骤3：针对S103中任务1用户点击行为的预测具体处理过程包括：

3.1、记用户集合U＝{u₁，u₂，…，u_i，…，u_n}，(i＝1，2，…，n)，节目集合M＝{m₁，m₂，…，m_j，…，m_m}，(j＝1，2，…，m),其中n是不同用户的数量，m是不同节目的数量，u_i表示第i个用户的特征向量，m_j表示第j个节目的特征向量，特征向量已通过共享嵌入层得到。

3.2、采用注意力网络和融合神经网络的因式分解算法预测用户点击行为，对用户和节目的隐含向量作交互叠加，叠加向量Z₁＝[u_i，m_j]，根据图2任务1所示，首先构建注意力网络层，可由下式推导：

而后融合因式分解的神经网络层，预测框架的计算方法为:

其中：W为各个神经网络层的权重系数，b为各个神经网络层的偏置系数。

根据预测值和真实值，使用交叉熵方式得到目标函数L₁。

步骤4：针对S104中任务2用户偏好预测的具体处理过程包括：

4.1、通过共享嵌入层提取用户和节目特征域的特征向量，记为v_i,表示第i个特征的特征向量。

4.2、采用注意力网络和融合神经网络的因子分解机算法预测用户对所观看过节目的兴趣偏好，根据图2任务2所示，首先构建其兴趣偏好的注意力网络，其推导公式如下所示：

其中，

表示一阶特征项的输出，

表示二阶特征交互项的输出。而后融合因子分解机神经网络层，预测用户兴趣偏好，预测框架为：

其中，w_i为特征权重，x_i为特征值，W_L，b_L分别表示神经网络第L层的权重系数和偏置系数，n表示特征的数量，v_i，v_j分别表示第i个特征和第j特征的隐含特征向量。

根据用户兴趣偏好预测值和真实值，使用MAE方式得到目标函数L₂。

步骤5：用户总兴趣分值预测

5.1、构建多任务推荐系统的总目标函数L_total＝L₁+L₂，通过Adam优化算法最小化L_total目标函数的值，得到网络各个层的权重系数和偏置系数，并根据得到的权重系数预测用户对为观看节目的点击行为和用户的兴趣偏好。

5.2、通过对用户点击行为和用户兴趣偏好进行加权求和，预测用户对未观看的节目的兴趣程度，可有以下公式进行计算：

其中，

表示第i个用户对第j个电视节目的总兴趣分值，α表示用户点击行为的权重系数。并对单个用户所有为观看节目的总兴趣分值使用sorted函数进行从大到小排序，把排名最高的若干个节目推荐个用户。

本发明提出的多任务模型和单任务模型的结果比较:

	用户点击行为预测	用户兴趣偏好预测
			多任务模型	AUC(任务1)	RMSE(任务2)
加入注意力网络	0.6574	0.1442
			未加注意力网络	0.6131	0.1499
单任务模型	RMSE(任务1)	AUC(任务2)
			融合神经网络MF	0.5982	/
融合神经网络FM	/	0.1552

本发明提出的多任务模型相比于单任务模型在相应的任务模块上效果有明显提升；在多任务模型中，加入了注意力网络后的模型每个子任务中的效果相较于未加入时有所提升。

以上实施例的说明只是用于帮助理解本发明的方法及核心思想，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围；另外如果或仅对数据相关属性(如位置等)的表示或描述等，做出修改，或其他对本方法的实质性内容做出的非原理性的修改，这些修改并不影响本发明的实质，仍然在本发明的保护范围内。

Claims (8)

1.一种融合用户点击行为和用户兴趣偏好的多任务电视节目推荐方法，其特征在于，包括以下步骤：

S101：获取用户的电视节目点击行为序列和用户的兴趣偏好；

S102：对用户的电视节目点击行为序列中的每一特征和用户的兴趣偏好中的每一特征进行哑变量编码，并构建多任务模型的共享嵌入层，将编码后的特征信息进行降维，获取用户的电视节目点击行为序列的特征向量和用户的兴趣偏好的特征向量；

S103：根据步骤S102获得的用户的电视节目点击行为序列的特征向量，利用注意力网络和融合深度神经网络的因式分解模型进行建模，构建目标函数L₁，预测用户对节目的点击率，获得用户对节目的点击率；

S104：根据步骤S102获得的用户的兴趣偏好的特征向量，利用注意力网络和融合神经网络的因子分解机模型进行建模，构建目标函数L₂，预测用户对节目的偏好程度，获得用户对节目的偏好程度；

S105：采用目标函数L₁对步骤S103获得的用户对节目的点击率迭代以及采用目标函数L₂对节目的偏好程度迭代，使其和最小，得到最佳的用户对节目的点击率和最佳的用户对节目的偏好程度；

S106：根据步骤S105获得的最佳的用户对节目的点击率和根据步骤S105获得的最佳的用户对节目的偏好程度，加权融合计算用户对每个节目的兴趣程度，进而对节目表里的所有未观看过的节目根据用户的兴趣程度进行从大到小排序，并把兴趣程度最高的多个节目推荐给目标用户。

2.根据权利要求1所述的融合用户点击行为和用户兴趣偏好的多任务电视节目推荐方法，其特征在于，步骤S101中，用户的电视节目点击行为序列中每条行为记录包括用户ID、电视节目ID、用户观看时长、电视节目时长、用户的年龄、用户的性别、用户的付费信息、用户的活跃度、用户的开机时长、用户的家庭情况、节目的类型。

3.根据权利要求1所述的融合用户点击行为和用户兴趣偏好的多任务电视节目推荐方法，其特征在于，步骤S101中，用户的兴趣偏好中每条行为记录包括用户ID、电视节目ID、用户观看时长、电视节目时长、用户的年龄、用户的性别、用户的付费信息、用户的活跃度、用户的开机时长、用户的家庭情况、节目的类型。

4.根据权利要求1所述的融合用户点击行为和用户兴趣偏好的多任务电视节目推荐方法，其特征在于，步骤S102中，共享嵌入层包括节目特征、用户行为画像特征、用户特征三个特征向量信息，多任务模型中的两个子任务都采用共享嵌入层的特征向量信息。

5.根据权利要求1所述的融合用户点击行为和用户兴趣偏好的多任务电视节目推荐方法，其特征在于，步骤S103中，目标函数L₁的构建具体包括：

用户点击行为预测采用注意力网络和融合深度神经网络的因式分解算法，对用户的电视节目点击行为序列的特征向量作交互叠加，叠加向量Z₁＝[u_i，m_j]，u_i表示第i个用户的特征向量，m_j表示第j个电视节目的特征向量，叠加向量Z₁作为神经网络的输入层，预测网络框架的计算方法为：

其中，g_A表示注意力网络的输出，g表示softmax函数，W_A表示注意力网络的权重系数，b_A表示注意力网络中的偏置系数，h_out表示融合注意力网络后的输出，W_CA表示隐藏层和注意力网络叠加后神经网络的权重系数，b_CA表示隐藏层和注意力网络叠加后神经网络的偏置系数，f为隐藏层的激活函数Relu或者隐藏层的激活函数Tanh，W_L表示隐藏层第L层的权重系数，b_L为隐藏层第L层的偏置系数，W₁表示隐藏层第1层的权重系数，b₁为隐藏层第1层的偏置系数，

表示神经网络层和注意力网络层向量的叠加，

为用户点击行为预测值，σ为神经网络输出层的激活函数sigmoid，目的是为了把预测值

限制在区间[0，1]；

根据预测值

得到目标函数L₁：

其中，y_ij-click表示第i个用户对第j个电视节目点击行为的真实值。

6.根据权利要求1所述的融合用户点击行为和用户兴趣偏好的多任务电视节目推荐方法，其特征在于，步骤S104中，根据步骤S102获得的用户的兴趣偏好的特征向量，采用注意力网络和融合神经网络的因子分解机模型进行建模，构建目标函数L₂，具体包括：

(a)：提取用户的兴趣偏好的特征向量中的用户和节目的特征向量，记为v_i，表示第i个特征的特征向量；

(b)：构建用户兴趣偏好的预测值的函数，如式(6)-(9)所示，根据式(6)-(9)得到用户兴趣偏好的预测值；

其中，h₁表示一阶特征项的输出，n表示用户的兴趣偏好的特征个数，w_i为第i个特征权重，x_i为用户的兴趣偏好的第i个特征值，h₂表示特征二阶特征交互项的输出，v_i表示第i个特征的特征向量，v_j表示第j个特征的特征向量，x_j表示用户的兴趣偏好的第j个特征值，g_B表示注意力网络的输出，g表示softmax函数，W_B表示注意力网络的权重系数，b_B表示注意力网络中的偏置系数，[h₁，h₂]表示向量的叠加操作，W_L表示隐藏层第L层的权重系数，b_L为隐藏层第L层的偏置系数，W₁表示隐藏层第1层的权重系数，b₁为隐藏层第1层的偏置系数，

表示用户兴趣偏好的预测值；

(c)：根据用户兴趣偏好的预测值和步骤S101获取的用户的兴趣偏好，构建目标函数L₂，计算方法为：

其中，M为用户与节目的交互数，m表示用户对节目的第m次交互，

表示第i个用户对第j个电视节目的兴趣偏好的预测值，y_ij-score表示第i个用户对第j个电视节目的兴趣偏好的真实值，y_ij-sacore从用户的兴趣偏好中获取。

7.根据权利要求1所述的融合用户点击行为和用户兴趣偏好的多任务电视节目推荐方法，其特征在于，步骤S105中，采用多任务目标函数计算使其和最小，多任务目标函数为：

其中，n表示任务的数量，L_total为多任务目标函数，L_i表示第i个任务的目标函数。

8.根据权利要求1所述的融合用户点击行为和用户兴趣偏好的多任务电视节目推荐方法，其特征在于，步骤S106中，加权融合计算用户对每个节目的兴趣程度，具体包括：

通过对最佳的用户对节目的点击率和最佳的用户对节目的偏好程度进行加权求和，预测用户对未观看的节目的兴趣程度，按公式(12)进行计算：

其中，

表示第i个用户对第j个电视节目的总兴趣分值，α表示用户点击行为的权重系数，

表示第i个用户对第j个电视节目的点击预测值，

表示第i个用户对第j个电视节目的偏好程度预测值。

Images