CN110837578A - 一种基于图卷积网络的视频片段推荐方法 - Google Patents

Abstract

本发明公开了一种基于图卷积网络的视频片段推荐方法，包括：1.构造用户对视频片段的评分矩阵；2.对用户集和视频片段集处理，得到用户嵌入矩阵和视频片段嵌入矩阵；3.根据用户的评分矩阵，构造基于内容属性的二部图；4.将构造好的二部图输入到图卷积网络中，不断更新用户嵌入矩阵；5.利用图卷积网络计算用户对片段的偏好预测值，从而对用户进行片段推荐。本发明能对用户进行更精准的推荐，尤其是对历史数据稀少的用户群体，从而更好的解决到冷启动物品问题。

Description

一种基于图卷积网络的视频片段推荐方法

技术领域

本发明涉及视频推荐领域，具体地说是一种基于图卷积网络的视频片段推荐方法。

技术背景

随着网络视频的流行，视频数量近年来开始爆发式地增长。面对大量的视频，如何有效的剪辑并向每个用户展示最有趣的片段，从而对用户进行更精准的视频推荐，已经成为了很迫切的需要。

关于视频提取片段的技术，比较流行的做法是基于内容的视觉特征，对视频提取最有代表性的片段，从而让用户能更好的预览视频内容。为了更好地融合用户群体的兴趣偏好信息，比如2016年Gygliet等人提出利用神经网络模型学习网上流行的GIF动图特征，从而实现对视频自动提取最有趣的代表性片段，达到了不错的效果。

但这些模型仅考虑了大众的整体流行偏好，没有考虑如何针对每个用户进行个性化的片段推荐。近年来一些模型提出利用用户的个人资料和视频片段的标注记录，来捕捉用户的个性化信息，从而实现个性化推荐，但用户数据的极度稀疏性限制了它们的推荐性能。2016年He和McAuley等人提出一种混合模型，将视频的内容特征和用户的行为数据结合起来进行推荐，有效地缓解了用户数据稀疏的问题，从而更好的对用户进行个性化的视频片段推荐。

尽管现有的多数模型，将协同过滤信息和静态的内容表征模型结合起来进行更精准的视频个性化推荐，但当一些新的视频加入系统时，缺少相关的协同信息，还是限制了模型的推荐性能。因此，如何在兼顾用户数据稀疏的问题时，还能更好的解决冷启动新物品问题，越来越引起人们的重视。

发明内容

本发明为解决现有技术的不足之处，提出一种基于图卷积网络的视频片段推荐方法，以期能对用户进行更精准的推荐，尤其是对历史数据稀少的用户群体，从而更好的解决到冷启动物品问题。

本发明为解决技术问题采用如下技术方案：

本发明一种基于图卷积网络的视频片段推荐方法的特点是按如下步骤进行：

步骤1、构造用户对视频片段的评分矩阵R：

令U表示用户集，且U＝{u₁,...,u_a,...,u_b,...,u_M}，其中，u_a表示第a个用户，u_b表示第b个用户，M表示用户总数，1≤a,b≤M；获取视频片段集S，且S＝{s₁,...,s_i,...,s_j,...,s_N}，s_i表示第i个视频片段，s_j表示第j个视频片段，N表示片段总数，1≤i,j≤N；令r_ai表示第a个用户u_a对第i个片段s_i的评分值，若r_ai＝1，则表示第a个用户u_a对第i个视频片段s_i产生正反馈互动，若r_ai＝0，则表示第a个用户u_a对第i个视频片段s_i产生负反馈互动，从而构造所有用户对所有视频片段的评分矩阵R＝{r_ai}_M×N；

步骤2、对用户集U和视频片段集S进行处理，得到用户的自由嵌入矩阵X和视频片段的特征嵌入矩阵Y：

步骤2.1、构造针对所有用户的自由嵌入矩阵X∈R^D×M，其中，D表示隐因子的维度，令所述自由嵌入矩阵X中第a列向量x_a表示第a个用户u_a对应的静态自由嵌入向量；

步骤2.2、对每个视频片段提取视觉特征，得到最终的特征嵌入矩阵Y：

利用视频特征提取模型中第一层全连接层输出特征矩阵F，从而根据式(1)得到降维后的第i行特征嵌入向量y_i：

y_i＝E·f_i (1)

式(1)中，E表示线形降维嵌入矩阵，f_i表示特征矩阵F中与第i个视频片段s_i对应的特征向量；

步骤3、根据评分矩阵R，构造基于内容属性的二部图G＝<U∪S,R>，其中，用户集U和视频片段集S是二部图G中的结点集，评分矩阵R是二部图中G的边集；

步骤4、将所述二部图G输入到K个传播层的图卷积网络中，并不断更新用户的自由嵌入矩阵X：

步骤4.1、定义当前传播层个数为k，并初始化k＝0，将第k个传播层中第a个用户u_a对应的结点表示向量

初始化为x_a；将第k个传播层中第i个视频片段s_i对应的结点表示向量

初始化为y_i；

步骤4.2、利用式(2)和式(3)分别得到第k+1个传播层中第a个用户u_a对应的结点表示向量

和第i个视频片段s_i对应的结点表示向量

式(2)和式(3)中，R_a表示第a个用户u_a产生过互动的所有视频片段集合；S_i表示与第i个视频片段s_i产生过互动的所有用户集合；W^k+1∈R^D×D是所述二部图G在第k+1个传播层的转换矩阵，δ(·)是激活函数；

表示第k个传播层中第j个视频片段s_j对应的结点表示向量；

表示第k个传播层中第个b用户u_b对应的结点表示向量；

步骤4.3、将k+1赋值给k后，判断k＞K是否成立，若成立，则执行步骤4.4；否则，返回步骤4.2；

步骤4.4、利用式(4)得到第a个用户u_a对应的静态自由嵌入向量x_a，从而得到自由嵌入矩阵X：

步骤5、利用图卷积网络计算用户对视频片段的偏好预测值，从而对用户进行视频片段推荐：

步骤5.1、利用式(5)计算第a个用户u_a对第i个视频片段s_i的预测偏好值

式(5)中，

代表第a个用户u_a对应的静态自由嵌入向量x_a的转置向量；

步骤5.2、选取贝叶斯个性化排序的框架，建立如式(6)所示的损失函数L(θ)：

式(6)中，σ(·)表示sigmoid函数，λ是正则化参数，||·||²表示二范数，

第a个用户u_a对第j个视频片段s_j的预测偏好值，D_a表示第a个用户u_a对第i个视频片段s_i产生的正反馈互动，而对第j个视频片段s_j产生的负反馈互动所构成数据对的集合；

步骤5.3、通过随机梯度下降法对所述损失函数L(θ)进行优化求解，使得L(θ)达到最小，从而得到最优预测评分矩阵，并根据所最优预测评分矩阵对用户进行视频片段推荐。

与已有技术相比，本发明有益效果体现在：

1、本发明结合了现有的视觉特征提取模型进行更精准的个性化推荐，实现能个性化的针对每个用户，提取视频中其最可能感兴趣的片段进行推荐；并提出了用二部图的建模方式，进行多层的图卷积操作，克服了现有的冷启动物品和用户信息稀疏性的问题，实现了更好的向用户个性化的视频高光推荐；

2、本发明利用所述的用户和视频片段表示，构造了user-item二部图，将每个用户视作二部图中与多个视频片段相连的结点，通过图卷积的操作方式聚集更多邻居信息，在每次迭代传播中更新用户结点的信息表示，捕捉到用户和物品之间的高阶关系，从而避免了用户个人资料过少造成的数据稀疏问题。

3、本发明通过融合现有先进的视频相关视觉特征提取模型，在初始化片段结点信息时，可以基于内容特征对新出现的视频片段进行结点的特征表示，从而很好地解决了在测试阶段出现新的冷启动视频片段问题；

4、本发明设计的融合内容特征的提取模型，构造用户物品二部图并进行图卷积操作，通过多次迭代传播聚集融合邻居结点信息的方式更新结点表示，克服了冷启动物品和用户以实现更精准推荐的算法，不仅适用于视频片段的推荐场景，也对任何基于内容的推荐任务(比如小说文本片段推荐)都适用。

附图说明

图1为本发明基于图卷积网络的视频片段推荐算法的流程图。

具体实施方式

参见图1，本实施例中，一种基于图卷积网络的视频片段推荐方法是按如下步骤进行：

步骤1、构造用户对视频片段的评分矩阵R：

令U表示用户集，且U＝{u₁,...,u_a,...,u_b,...,u_M}，其中，u_a表示第a个用户，u_b表示第b个用户，M表示用户总数，1≤a,b≤M；获取视频片段集S，且S＝{s₁,...,s_i,...,s_j,...,s_N}，s_i表示第i个视频片段，s_j表示第j个视频片段，N表示片段总数，1≤i,j≤N；令r_ai表示第a个用户u_a对第i个片段s_i的评分值，若r_ai＝1，则表示第a个用户u_a对第i个视频片段s_i产生正反馈互动，若r_ai＝0，则表示第a个用户u_a对第i个视频片段s_i产生负反馈互动，从而构造所有用户对所有视频片段的评分矩阵R＝{r_ai}_M×N；

步骤2、对用户集U和视频片段集S进行处理，得到用户的自由嵌入矩阵X和视频片段的特征嵌入矩阵Y：

步骤2.1、由于缺少用户的个人信息资料和相关数据，选择用自由嵌入的方式，即矩阵按照指定分布类型随机初始化来构造用户表示矩阵X∈R^D×M，其中，D表示隐因子的维度，令自由嵌入矩阵X中第a列向量x_a表示第a个用户u_a对应的静态自由嵌入向量；

步骤2.2、对每个视频片段提取视觉特征，得到最终的特征嵌入矩阵Y：

利用视频特征提取模型(本实施例中选取C3D模型)中第一层全连接层输出特征矩阵F∈R^4096×M，从而根据式(1)得到降维后的第i行特征嵌入向量y_i：

y_i＝E·f_i (1)

式(1)中，E∈R^D×4096表示线形降维嵌入矩阵，该降维矩阵也视为本发明模型的可学习参数，在初始化时可根据指定分布类型随机初始化，f_i表示特征矩阵F中与第i个视频片段s_i对应的特征向量；

步骤3、根据评分矩阵R，构造基于内容属性的二部图G＝<U∪S,R>，其中，用户集U和视频片段集S是二部图G中的结点集，评分矩阵R是二部图中G的边集；

步骤4、将二部图G输入到K个传播层的图卷积网络中，并不断更新用户的自由嵌入矩阵X：

步骤4.1、定义当前传播层个数为k，并初始化k＝0，将第k个传播层中第a个用户u_a对应的结点表示向量

初始化为x_a；将第k个传播层中第i个视频片段s_i对应的结点表示向量

初始化为y_i；

步骤4.2、利用式(2)和式(3)分别得到第k+1个传播层中第a个用户u_a对应的结点表示向量

和第i个视频片段s_i对应的结点表示向量

式(2)和式(3)中，R_a表示第a个用户u_a产生过互动的所有视频片段集合；S_i表示与第i个视频片段s_i产生过互动的所有用户集合；W^k+1∈R^D×D是二部图G在第k+1个传播层的转换矩阵，δ(·)是激活函数；

表示第k个传播层中第j个视频片段s_j对应的结点表示向量；

表示第k个传播层中第个b用户u_b对应的结点表示向量；

步骤4.3、将k+1赋值给k后，判断k＞K是否成立，若成立，则执行步骤4.4；否则，返回步骤4.2；

步骤4.4、利用式(4)得到第a个用户u_a对应的静态自由嵌入向量x_a，从而得到自由嵌入矩阵X：

步骤5、利用图卷积网络计算用户对视频片段的偏好预测值，从而对用户进行视频片段推荐：

步骤5.1、利用式(5)计算第a个用户u_a对第i个视频片段s_i的预测偏好值

式(5)中，

代表第a个用户u_a对应的静态自由嵌入向量x_a的转置向量；

步骤5.2、选取贝叶斯个性化排序的框架，建立如式(6)所示的损失函数L(θ)：

式(6)中，σ(·)表示sigmoid函数，λ是正则化参数，||·||²表示二范数，

第a个用户u_a对第j个视频片段s_j的预测偏好值，D_a表示第a个用户u_a对第i个视频片段s_i产生的正反馈互动，而对第j个视频片段s_j产生的负反馈互动所构成数据对的集合；由于用户产生互动的每个片段都隶属于一个对应视频，视频中其他未产生互动行为的片段，都视作负反馈。在实际训练中构造数据对时，根据实际需要为每个正反馈片段随机挑选固定数量的负反馈片段即可。

步骤5.3、通过随机梯度下降法对损失函数L(θ)进行优化求解，使得L(θ)达到最小，从而得到最优预测评分矩阵，并根据所最优预测评分矩阵对用户进行视频片段推荐。

实施例：

为了验证本发明方法的有效性，本发明从视频片段分享平台Gifs.com中抓取了大量的视频片段作为数据集，每个片段由一个四元组组成<u,v,t_s,t_e>，其中u表示用户id，v表示片段的出处视频id，t_s表示片段的开始时间点，t_e表示结束时间点。原数据集包括14000个用户，119938个视频，以及225015个片段标注。本实验将所有片段处理成固定时长5s，并设置一个阈值θ，当用户的实际交互片段与数据集中的重叠度超过θ时，即认为用户对该片段产生了正反馈。在数据切割后，确保每个片段固定5s时长，得到了最终数据集D。

本发明采用五种指标，包括MAP(Mean Average Precision)，NMSD(NormalizedMeaningful Summary Duration)，HR(Hit Ratio)，NDCG(Normalized DiscountedCumulative Gain)，Recall，作为评价标准。选取了5种方法来和本发明提出的方法在不同的数据稀疏性下，进行效果的对比，分别是Video2GIF，SVD-D，PHD-GIFs，DropoutNet，CDL。

具体地，根据实验结果可得出结果如表2，表3a、表3b和表3c所示，其中，表2为本发明方法在所有5种评价指标下，与选用的5种对比方法在数据集D上得到的实验结果对比表；(标注↑的指标代表数值越大越好，标注↓的指标表示数值越小越好)；表3a、表3b和表3c为本发明方法在选用不同Top-N排序时，分别根据3种排序评价指标HR、NDCG和Recall，与选用的5种对比方法在数据集D上得到的实验结果对比表。

Models	MAP↑	NMSD↓	HR@5↑	NDCG@5↑	Recall@5↑
						Video2GIF	0.2075	0.4288	0.1993	0.1651	0.1798
SVM-D	0.2185	0.4180	0.2191	0.1772	0.1991
						PHD-GIFs	0.2170	0.4419	0.2228	0.1781	0.2028
DropoutNet	0.2604	0.3886	0.2569	0.2162	0.2353
						CDL	0.2706	0.3806	0.2729	0.2304	0.2540
VGCN	0.2961	0.3526	0.2925	0.2516	0.2734

表2

表3a

表3b

表3c

实验结果显示在数据集上本发明提出的方法在不同的评价标准上，均比选用的5种方法效果更好，从而证明了本发明提出方法的可行性。

综上所述，本方法不仅能够结合视觉特征提取模型，有效的解决冷启动物品问题，还通过构建用户-物品二部图，很好的克服了用户的数据稀疏问题，捕捉到用户对物品之间高层次的偏好关系，实现更精准的视频片段推荐。本发明不仅适用于视频片段推荐，也适用于任何基于内容的推荐模型，从而更好的解决冷启动物品问题。

Claims (1)

1.一种基于图卷积网络的视频片段推荐方法，其特征是按如下步骤进行：

步骤1、构造用户对视频片段的评分矩阵R：

令U表示用户集，且U＝{u₁,...,u_a,...,u_b,...,u_M}，其中，u_a表示第a个用户，u_b表示第b个用户，M表示用户总数，1≤a,b≤M；获取视频片段集S，且S＝{s₁,...,s_i,...,s_j,...,s_N}，s_i表示第i个视频片段，s_j表示第j个视频片段，N表示片段总数，1≤i,j≤N；令r_ai表示第a个用户u_a对第i个片段s_i的评分值，若r_ai＝1，则表示第a个用户u_a对第i个视频片段s_i产生正反馈互动，若r_ai＝0，则表示第a个用户u_a对第i个视频片段s_i产生负反馈互动，从而构造所有用户对所有视频片段的评分矩阵R＝{r_ai}_M×N；

步骤2、对用户集U和视频片段集S进行处理，得到用户的自由嵌入矩阵X和视频片段的特征嵌入矩阵Y：

步骤2.1、构造针对所有用户的自由嵌入矩阵X∈R^D×M，其中，D表示隐因子的维度，令所述自由嵌入矩阵X中第a列向量x_a表示第a个用户u_a对应的静态自由嵌入向量；

步骤2.2、对每个视频片段提取视觉特征，得到最终的特征嵌入矩阵Y：

利用视频特征提取模型中第一层全连接层输出特征矩阵F，从而根据式(1)得到降维后的第i行特征嵌入向量y_i：

y_i＝E·f_i (1)

式(1)中，E表示线形降维嵌入矩阵，f_i表示特征矩阵F中与第i个视频片段s_i对应的特征向量；

步骤3、根据评分矩阵R，构造基于内容属性的二部图G＝<U∪S,R>，其中，用户集U和视频片段集S是二部图G中的结点集，评分矩阵R是二部图中G的边集；

步骤4、将所述二部图G输入到K个传播层的图卷积网络中，并不断更新用户的自由嵌入矩阵X：

步骤4.1、定义当前传播层个数为k，并初始化k＝0，将第k个传播层中第a个用户u_a对应的结点表示向量初始化为x_a；将第k个传播层中第i个视频片段s_i对应的结点表示向量

初始化为y_i；

步骤4.2、利用式(2)和式(3)分别得到第k+1个传播层中第a个用户u_a对应的结点表示向量

和第i个视频片段s_i对应的结点表示向量

式(2)和式(3)中，R_a表示第a个用户u_a产生过互动的所有视频片段集合；S_i表示与第i个视频片段s_i产生过互动的所有用户集合；W^k+1∈R^D×D是所述二部图G在第k+1个传播层的转换矩阵，δ(·)是激活函数；表示第k个传播层中第j个视频片段s_j对应的结点表示向量；

表示第k个传播层中第个b用户u_b对应的结点表示向量；

步骤4.3、将k+1赋值给k后，判断k＞K是否成立，若成立，则执行步骤4.4；否则，返回步骤4.2；

步骤4.4、利用式(4)得到第a个用户u_a对应的静态自由嵌入向量x_a，从而得到自由嵌入矩阵X：

步骤5、利用图卷积网络计算用户对视频片段的偏好预测值，从而对用户进行视频片段推荐：

步骤5.1、利用式(5)计算第a个用户u_a对第i个视频片段s_i的预测偏好值

式(5)中，

代表第a个用户u_a对应的静态自由嵌入向量x_a的转置向量；

步骤5.2、选取贝叶斯个性化排序的框架，建立如式(6)所示的损失函数L(θ)：

式(6)中，σ(·)表示sigmoid函数，λ是正则化参数，||·||²表示二范数，

第a个用户u_a对第j个视频片段s_j的预测偏好值，D_a表示第a个用户u_a对第i个视频片段s_i产生的正反馈互动，而对第j个视频片段s_j产生的负反馈互动所构成数据对的集合；

步骤5.3、通过随机梯度下降法对所述损失函数L(θ)进行优化求解，使得L(θ)达到最小，从而得到最优预测评分矩阵，并根据所最优预测评分矩阵对用户进行视频片段推荐。

Images