CN112307257A - 一种基于多信息节点图网络的短视频点击率预测方法 - Google Patents

Abstract

本发明公开了一种基于多信息节点图网络的短视频点击率预测方法。该方法考虑序列中短视频的相同模态和不同模态之间的信息转换，提升短视频单一模态特征表征的准确性，进而提升预测的准确性。本方法主要由四个部分组成：第一部分根据所有用户历史的序列信息，构建短视频的多信息节点图网络；第二部分把当前序列的短视频输入网络，采用多信息节点图网络更新短视频不同模态特征表征；第三部分根据短视频多模态特征，采用长短期记忆网络生成用户在不同模态下的兴趣表征；第四部分融合不同模态下的兴趣表征生成用户兴趣表征，并预测用户对目标短视频的点击率。

Description

一种基于多信息节点图网络的短视频点击率预测方法

技术领域

本发明属于互联网服务技术领域，具体涉及一种基于多信息节点图网络的短视频点击率预测方法。

背景技术

短视频是一种新型的且时间较短的视频。短视频的拍摄不需要使用专业设备，也不需要专业技巧。用户直接通过手机就可以很方便地进行拍摄和上传到短视频平台，因此短视频平台的短视频数量增长得非常快。这使得对有效短视频推荐系统的需求非常迫切，有效的短视频推荐系统可以提升用户体验和用户黏性，从而给平台带来巨大的商业价值。

近些年，很多研究者提出了基于视频的个性化推荐方法。这些方法可以分为三类：协同过滤、基于内容的推荐和混合推荐方法。但是相比于视频，短视频有着不同的特点：时长较短且用户在一段时间内的交互序列较长。因此，短视频推荐是一个更具有挑战性的任务，并且有研究者提出了一些方法。例如，Li等人将图网络和LSTM结构融合一起，进而更好地模拟用户的偏好；Chen等人利用分层的注意力机制去计算物品和类目这两种级别的重要性，得到更准确的预测结果。

尽管这些方法取得不错的结果，但是忽视了短视频的相同模态和不同模态之间的信息转换。以前的方法在表达短视频之间的转移关系时，只考虑到短视频和短视频之间的转移关系，没有细粒度地考虑到短视频模态之间的转移关系。而短视频模态之间的转移关系又可分为相同模态之间的转移关系和不同模态之间的转移关系。本方法根据所有用户历史的序列信息，构建多信息节点图网络。在多信息节点图网络中，采用不同的参数去学习短视频相同模态和不同模态之间的信息转换，提升短视频单一模态特征表征的准确性，进而提升对目标短视频的点击率预测的准确性。

发明内容

基于上述，本发明提供了一种基于多信息节点图网络的短视频点击率预测方法。它考虑序列中短视频的相同模态和不同模态之间的信息转换，提升短视频单一模态特征表征的准确性，进而提升预测的准确性。

一种基于多信息节点图网络的短视频点击率预测方法，包括如下步骤：

根据所有用户历史交互序列，构建短视频的多信息节点图网络。为了捕捉短视频和模态短视频模态之间的转移关系，我们从所有用户序列中构建物品图网络T。给定一个用户交互序列X＝[x₁,…,x_n]，任一短视频x_j为图网络T的节点，(x_j-1,x_j)为图网络T的边，(x_j-1,x_j)表示一个用户点击短视频x_j-1后点击短视频x_j。图的边数值属性为边(x_j-1,x_j)出现的次数。为了降低在线计算复杂度，本发明采用离线文件存储每个节点在图网络T中的邻居节点。为了更准确地生成短视频的模态表征，本方法既考虑短视频在图网络T的邻居节点的相同模态的对当前短视频的影响，又考虑不同模态对当前短视频的影响。所以图网络的节点其实包含了多种信息，即多种模态。因此从图节点的信息更新方式来看，我们也可以把该图网络T称之为多信息节点图网络。

把用户序列中的短视频输入多信息节点图网络，更新短视频的所有模态特征表征。对于一个用户的点击行为序列X＝[x₁,…,x_n],其中短视频x_j由

和

两种模态构成，

是短视频的封面图特征向量，

是短视频的文本特征向量，d是模态特征向量

的长度。把短视频封面图特征

和文本特征

同时输入图网络，生成多模态特征表征

其中p∈{a,b}。模态特征表征

和

在多信息节点图网络中的更新公式分别为：

其中，W^a→a、W^b→a、W^b→b、W^a→b是图参数，分别代表模态a对模态a的影响参数、模态b对模态a的影响参数、模态b对模态b的影响参数和模态a对模态b的影响参数。b是偏置参数，k代表在图网络T中的搜索深度，k的最大深度由搜索深度参数L控制。σ为sigmoid函数，max代表元素级别的max操作，可以有效捕捉邻居的各个方面属性。B(j)为短视频图网络T中短视频x_j的邻居集合，按照图T边由大到小排序采样(sampling)获得。W^a和W^b是转化矩阵参数，CONCAT表示向量连接操作。

和

代表第j个短视频的模态a和模态b在k层的向量表征，第j个短视频的模态a和模态b的

和

分别被初始化为

和

短视频的多模态特征表征

即是不同模态特征在短视频图网络中更新深度L之后的

根据短视频多模态特征

生成用户在不同模态下的兴趣表征v^p,p∈{a,b}。本方法采用了长短期记忆网络结构，可以有效地捕捉到用户短视频序列的序列性。

和

更新方法相同且参数不共享，为了描述方便，以下公式略去p∈{a,b}，令：

i_j＝σ(W_iu_j+U_ih_j-1+b_i)

f_j＝σ(W_fu_j+U_fh_j-1+b_f)

o_j＝σ(W_ou_j+U_oh_j-1+b_o)

c_j＝i_jtanh(W_cu_j+U_ch_j-1+b_c)+f_jc_j-1

h_j＝o_jc_j

其中，模态a和模态b的长短期记忆网络的最后一层的隐藏状态h_j的输出就是用户在模态a和模态b下的兴趣表征v^a和v^b。u_j是当前层的节点输入，W_i、U_i、W_f、U_f、W_o和U_o分别是控制输入门i_j、遗忘门f_j和输出门o_j的参数。σ为sigmoid函数。所有这些参数和输入：隐层状态h_t-1、当前输入x_t以及节点x_g的的空间信息g_g共同参与计算，来输出结果h_j。

融合不同模态下的兴趣表征v^p,p∈{a,b}，生成用户兴趣表征v。

其中，v^a和v^b分别为用户在模态a和模态b下的兴趣表征，

为向量拼接操作，W是线性转化矩阵。

根据用户兴趣表征，预测用户对目标短视频的点击率：

其中，v代表用户的兴趣向量，x_new为目标短视频,

为目标短视频模态a的向量表征，

为目标短视频模态b的向量表征。W_new为转换矩阵，

为向量拼接操作，σ为sigmoid函数。

根据模型特性，设计损失函数。通过用户对目标短视频的点击率预测值

计算预测值

和真实值y之间的误差，进而使用误差来更新模型参数。我们采用交叉熵损失函数来指导模型参数的更新过程：

其中，y∈{0,1}是真实值，代表用户是否点击了目标短视频。σ是sigmoid函数。我们采用Adam优化器更新模型参数。

为了验证本发明在短视频点击率预测中的技术效果，我们采用公开的短视频数据做实验，从指标AUC、P@50、R@50和F@50上来看，效果较最新的点击率预测方法有了显著的提升。本发明的有益技术效果如下：

(1)本发明通过所有用户历史交互序列，构建关于短视频的多信息节点图网络，对短视频的单一模态信息进行了更准确的表征。

(2)本发明考虑序列中短视频的相同模态和不同模态之间的信息转换，提升短视频单一模态特征表征的准确性，进而提升预测的准确性。

(3)本发明分别从短视频的不同模态信息抽取用户的兴趣，然后再融合用户在多模态空间下抽取出的用户兴趣，预测用户对目标短视频的点击率。

附图说明

图1为本发明方法的流程示意图；

图2为本发明方法的模型框架图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方案对本发明的技术方案进行详细说明。

短视频点击率预测任务是建立一个模型去预测用户点击短视频的概率。用户历史序列表示为

其中x_j代表第j个短视频，l是序列的长度。因此，短视频点击率预测问题可以表示成：输入用户点击序列

以及目标短视频x_new，来预测用户对目标短视频x_new的点击率。

为此，本发明提出了一种基于多信息节点图网络的短视频点击率预测方法。它考虑序列中短视频的相同模态和不同模态之间的信息转换，提升短视频单一模态特征表征的准确性。然后从不同模态信息中分别抽取用户的兴趣，融合得到用户的多兴趣表征，进而预测用户对目标短视频的点击率。本方法主要由四个部分组成，如图2所示。第一部分根据所有用户历史的序列信息，构建短视频的多信息节点图网络；第二部分把当前序列的短视频输入多信息节点图网络，更新短视频不同模态特征表征；第三部分根据短视频多模态特征，采用长短期记忆网络生成用户在不同模态下的兴趣表征；第四部分融合不同模态下的兴趣表征生成用户兴趣表征，并预测用户对目标短视频的点击率。

如图1所示，按照本发明的一个实施例，本方法包括如下步骤：

S100，根据所有用户历史交互序列，构建短视频的多信息节点图网络。为了捕捉短视频模态和短视频模态之间的转移关系，我们从所有用户序列中构建物品图网络T。给定一个用户交互序列X＝[x₁,…,x_n]，任一短视频x_j为图网络T的节点，(x_j-1,x_j)为图网络T的边，(x_j-1,x_j)表示一个用户点击短视频x_j-1后点击短视频x_j。图的边数值属性为边(x_j-1,x_j)出现的次数。为了降低在线计算复杂度，本发明采用离线文件存储每个节点在图网络T中的邻居节点。为了更准确地生成短视频的模态表征，本方法既考虑短视频在图网络T的邻居节点的相同模态的对当前短视频的影响，又考虑不同模态对当前短视频的影响。所以图网络的节点其实包含了多种信息，即多种模态。因此从图节点的信息更新方式来看，我们也可以把该图网络T称之为多信息节点图网络。

S200，把用户序列中的短视频输入多信息节点图网络，更新短视频的所有模态特征表征。对于一个用户的点击行为序列X＝[x₁,…,x_*],其中短视频

由

和

两种模态构成，

是短视频的封面图特征向量，

是短视频的文本特征向量，d是模态特征向量

的长度。把短视频封面图特征

和文本特征

同时输入图网络，生成多模态特征表征

其中p∈{a,b}。模态特征表征

和

在多信息节点图网络中的更新公式分别为：

其中，W^a→a、W^b→a、W^b→b、W^a→b是图参数，分别代表模态a对模态a的影响参数、模态b对模态a的影响参数、模态b对模态b的影响参数和模态a对模态b的影响参数。b是偏置参数，k代表在图网络T中的搜索深度，k的最大深度由搜索深度参数L控制，本方法设置搜索深度参数L＝2。σ为sigmoid函数，max代表元素级别的max操作，可以有效捕捉邻居的各个方面属性。B(j)为短视频图网络T中短视频x_j的邻居集合，按照图T边由大到小排序采样(sampling)获得。W^a和W^b是转化矩阵参数，CONCAT表示向量连接操作。

和

代表第j个短视频的模态a和模态b在k层的向量表征，第j个短视频的模态a和模态b的

和

分别被初始化为

和

短视频的多模态特征表征

即是不同模态特征在短视频图网络中更新深度L之后的

S300，根据短视频多模态特征

生成用户在不同模态下的兴趣表征v^p,p∈{a,b}。本方法采用了长短期记忆网络结构，可以有效地捕捉到用户短视频序列的序列性。

和

更新方法相同且参数不共享，为了描述方便，以下公式略去p∈{a,b}，令：

i_j＝σ(W_iu_j+U_ih_j-1+b_i)

f_j＝σ(W_fu_j+U_fh_j-1+b_f)

o_j＝σ(W_ou_j+U_oh_j-1+b_o)

c_j＝i_jtanh(W_cu_j+U_ch_j-1+b_c)+f_jc_j-1

h_j＝o_jc_j

其中，模态a和模态b的长短期记忆网络的最后一层的隐藏状态h_j的输出就是用户在模态a和模态b下的兴趣表征v^a和v^b。u_j是当前层的节点输入，W_i、U_i、W_f、U_f、W_o和U_o分别是控制输入门i_j、遗忘门f_j和输出门o_j的参数。σ为sigmoid函数。所有这些参数和输入：隐层状态h_t-1、当前输入x_t以及节点x_t的的空间信息g_g共同参与计算，来输出结果h_j。

S400，融合不同模态下的兴趣表征v^p，p∈{a,b}，生成用户兴趣表征v。

其中，v^a和v^b分别为用户在模态a和模态b下的兴趣表征，

为向量拼接操作，W是线性转化矩阵。

S500，根据用户兴趣表征，预测用户对目标短视频的点击率：

其中，v代表用户的兴趣向量，x_new为目标短视频,

为目标短视频模态a的向量表征，

为目标短视频模态b的向量表征。W_new为转换矩阵，

为向量拼接操作，σ为sigmoid函数。

S600，根据模型特性，设计损失函数。通过用户对目标短视频的点击率预测值

计算预测值

和真实值y之间的误差，进而使用误差来更新模型参数。我们采用交叉熵损失函数来指导模型参数的更新过程：

其中，y∈{0,1}是真实值，代表用户是否点击了目标短视频。σ是sigmoid函数。我们采用Adam优化器更新模型参数。

上述对实施例的描述是为方便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (3)

1.一种基于多信息节点图网络的短视频点击率预测方法，其特征在于：

根据所有用户历史交互序列，构建短视频的多信息节点图网络；

把用户序列中的短视频输入多信息节点图网络，更新短视频的所有模态特征表征；对于一个用户的点击行为序列X＝[x₁,…,x_n],其中短视频x_j由

和

两种模态构成，

是短视频的封面图特征向量，

是短视频的文本特征向量，d是模态特征向量

的长度；把短视频封面图特征

和文本特征

同时输入图网络，生成多模态特征表征

其中p∈{a,b}；模态特征表征

和

在多信息节点图网络中的更新公式分别为：

其中，W^a→a、W^b→a、W^b→b、W^a→b是图参数，分别代表模态a对模态a的影响参数、模态b对模态a的影响参数、模态b对模态b的影响参数和模态a对模态b的影响参数；b是偏置参数，k代表在图网络T中的搜索深度，k的最大深度由搜索深度参数L控制；σ为sigmoid函数，max代表元素级别的max操作，可以有效捕捉邻居的各个方面属性；B(j)为短视频图网络T中短视频x_j的邻居集合，按照图T边由大到小排序采样(sampling)获得；W^a和W^b是转化矩阵参数，CONCAT表示向量连接操作；

和

代表第j个短视频的模态a和模态b在k层的向量表征，第j个短视频的模态a和模态b的

和

分别被初始化为

和

短视频的多模态特征表征

即是不同模态特征在短视频图网络中更新深度L之后的

根据短视频多模态特征

生成用户在不同模态下的兴趣表征v^p,p∈{a,b}；本方法采用了长短期记忆网络结构，可以有效地捕捉到用户短视频序列的序列性；

融合不同模态下的兴趣表征v^p,p∈{a,b}，生成用户兴趣表征v；

其中，v^a和v^b分别为用户在模态a和模态b下的兴趣表征，

为向量拼接操作，W是线性转化矩阵；

根据用户兴趣表征，预测用户对目标短视频的点击率：

其中，v代表用户的兴趣向量，x_new为目标短视频,

为目标短视频模态a的向量表征，

为目标短视频模态b的向量表征；W_new为转换矩阵，

为向量拼接操作，σ为sigmoid函数；

根据模型特性，设计损失函数；通过用户对目标短视频的点击率预测值

计算预测值

和真实值y之间的误差，进而使用误差来更新模型参数；本方法采用交叉熵损失函数来指导模型参数的更新过程：

其中，y∈{0,1}是真实值，代表用户是否点击了目标短视频；σ是sigmoid函数；最后采用Adam优化器更新模型参数。

2.根据权利要求1所述的一种基于多信息节点图网络的短视频点击率预测方法，其特征在于：所述短视频的多信息节点图网络构造方法为：

为了捕捉短视频模态和短视频模态之间的转移关系，本方法从所有用户序列中构建物品图网络T；给定一个用户交互序列X＝[x₁，…，x_n]，任一短视频x_j为图网络T的节点，(x_j-1，x_j)为图网络T的边，(x_j-1，x_j)表示一个用户点击短视频x_j-1后点击短视频x_j；图的边数值属性为边(x_j-1，x_j)出现的次数；图网络的节点包含了多种信息，因此从图节点的信息更新方式来看，该图网络T可以称之为多信息节点图网络T。

3.根据权利要求1所述的一种基于多信息节点图网络的短视频点击率预测方法，其特征在于：所述长短期记忆网络结构具体为：

i_j＝σ(W_iu_j+U_ih_j-1+b_i)

f_j＝σ(W_fu_j+U_fh_j-1+b_f)

o_j＝σ(W_ou_j+U_oh_j-1+b_o)

c_j＝i_jtanh(W_cu_j+U_ch_j-1+b_c)+f_jc_j-1

h_j＝o_jc_j

其中，

和

更新方法相同且参数不共享，为了描述方便，公式略去p∈{a，b}；模态a和模态b的长短期记忆网络的最后一层的隐藏状态h_j的输出就是用户在模态a和模态b下的兴趣表征v^a和v^b；u_j是当前层的节点输入，W_i、U_i、W_f、U_f、W_o和U_o分别是控制输入门i_j、遗忘门f_j和输出门o_j的参数；σ为sigmoid函数；所有这些参数和输入：隐层状态h_t-1、当前输入x_t以及节点x_t的的空间信息g_t共同参与计算，来输出结果h_j。

Images