CN104834686B - 一种基于混合语义矩阵的视频推荐方法 - Google Patents

Abstract

本发明涉及一种基于混合语义矩阵的视频推荐方法，其步骤包括：1)对视频描述信息进行分词，根据词频提取关键词作为视频描述标签；2)通过Word2vec工具对包含所述视频描述标签在内的各视频标签进行向量化；3)采用熵化法得到各视频标签的权重，并构建具有权重的混合语义矩阵，通过所述混合语义矩阵表示视频与其标签之间的对应关系；4)根据所述混合语义矩阵，将视频的相似性计算转化为向量的相似度计算，实现对用户的个性化视频推荐。本发明在继承内容过滤推荐算法简单、高效的特点的同时，实现了智能特征提取和标签量化、权重分配，避免了这个过程中的专家参与，提高了视频推荐的准确率。

Description

一种基于混合语义矩阵的视频推荐方法

技术领域

本发明属于视频检索技术、视频推荐技术领域，具体涉及一种基于混合语义矩阵的视频推荐方法。

背景技术

随着互联网日益快速的发展，充斥在各个网站上的内容急剧增加，用户在获得丰富信息的同时也被大量无关信息所淹没，为了应对这个难题，出现了以搜索引擎为代表的信息检索技术，可以按照资源相关度排序给出搜索结果。然而对视频服务来说，只提供搜索服务显然不能很好地满足用户需求，因为在多数情况下，用户不会确切知道自己想要观看视频的名字，甚至没有特别强烈的想要继续浏览视频网站的意愿，因此视频推荐系统应运而生，它根据用户的喜好，个性化地为用户推荐他可能喜欢的视频内容，提升用户体验的同时也增加了视频网站的浏览量。

一般认为推荐系统的方法可以按照数据和模型两个维度进行分类。从使用的数据上来看，推荐系统可以分为协同过滤系统、内容过滤系统和社会化过滤系统等；从使用的模型来看可分为基于邻域的模型、矩阵分解模型和图模型等。其中最常用的还是协同过滤系统和内容过滤系统。

协同过滤(Collaborative Filtering)主要通过用户的历史行为分析出用户的兴趣并给用户做出推荐。它的基本假设就是用户会喜欢跟自己之前喜欢视频比较类似的视频；或者用户会喜欢跟自己有相同兴趣的用户喜欢的视频。因此在给这个用户做推荐的时候，需要先找到与其有相似兴趣的用户或者找到某个无评分项目的相似项目，并根据相似性进行推荐。协同过滤准确度比较高。

内容过滤(Content Filtering)的基本思想是给用户推荐和他们之前喜欢的视频在内容上相似的其他视频。该方法的基本策略是：首先根据历史数据，将所有项目和目标用户都用一套兴趣模板来表示，再根据该用户过去的喜好记录，得到该用户的兴趣模板，进而计算所有影片和该用户兴趣模板的相似度，选择相似度高的影片进行推荐。该方法的关键在于抽取出关键词，然后确定这些关键词的权重，从而得到视频的向量模型。虽然现在已经出现类似Jinni的专家标注系统，可以为视频标注标签统一的参考标准，但是由于专家标注的工作量非常大又没有公认的收益，因此专家标注在实际中并没有大规模使用。内容过滤方法虽然存在抽取关键词、分配标签权重的问题，但是比照协同过滤方法，该方法没有冷启动项目的问题；同时，该方法完全不需要目标用户以外其他用户的兴趣特征，从而大大减少了算法的处理代价，简单、高效。

协同过滤所存在的缺陷是：该方法必须维护一个庞大的用户-项目矩阵，需要很大的计算量，且该方法不能冷启动，也就是对于新加入的视频或者用户都不能做出推荐。内容过滤所存在的缺陷是：由于该方法中的特征抽取和特征权重分配环节多是依靠专家经验，不十分准确，所以影响了该方法的准确率。

发明内容

本发明针对上述问题，提出一种基于混合语义矩阵的视频推荐方法，在内容过滤推荐方法的基础上作出改进，利用Word2vec将视频标签向量化，并利用熵化方法得到标签权重，进而得到用户个性化语义矩阵进行视频推荐，能够有效提高视频推荐的准确率。

本发明采用的技术方案如下：

一种基于混合语义矩阵的视频推荐方法，其步骤包括：

1)对视频描述信息进行分词，根据词频提取关键词作为视频描述标签；

2)通过Word2vec工具对包含所述视频描述标签在内的各视频标签进行向量化；

3)采用熵化法得到各视频标签的权重，并构建具有权重的混合语义矩阵，通过所述混合语义矩阵表示视频与其标签之间的对应关系；

4)根据所述混合语义矩阵，将视频的相似性计算转化为向量的相似度计算，实现对用户的个性化视频推荐。

进一步地，步骤1)对视频描述信息进行分词后，按照词频排序提取描述词汇中的Top5作为视频描述信息的关键词。

进一步地，步骤2)所述视频标签，除所述视频描述标签外，还包括下列中的一种或多种：演员、导演、年代、地区、类型。

进一步地，步骤3)所述混合语义矩阵的行代表不同视频对象，列代表不同视频标签，行与列的交叉点代表该视频标签表示该视频对象的准确程度。

进一步地，步骤4)根据所述混合语义矩阵，使用内容过滤方法对用户进行个性化视频推荐。

本发明的关键点是：a)通过采用深度学习工具Word2vec对视频标签进行提取和向量化；b)通过使用熵化法的方式来进行混合语义矩阵计算；c)构建具有权重的混合语义矩阵。本发明在继承内容过滤推荐算法简单、高效的特点的同时，也实现了智能特征提取和标签量化、权重分配，避免了这个过程中的专家参与，提高了视频推荐的准确率。

附图说明

图1是基于混合语义矩阵的视频推荐方法的流程图。

图2是语义网络示例图。

图3是语义网络转化示例图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步说明。

图1是本发明方法的流程图，该方法首先对视频描述信息进行分词，并根据词频提取其中top5作为视频描述标签，加上视频的演员、导演等标签项，组成视频描述向量。进而通过word2vec算法对文字化的视频特征向量进行量化，从而在不依赖主观专家知识的情况下将视频特征向量量化，再针对个性化推荐目标用户，利用其用户评分记录，使用熵化法训练得到每个描述标签的权值，进而形成用户个性化语义矩阵，使用内容过滤方法对该用户进行个性化视频推荐。

1.基于word2vec的视频标签提取

在内容过滤视频推荐系统中，最基础的就是抽取出特征，以及如何通过这些特征计算视频之间的相似度。本发明中，首先利用分词技术将视频的描述信息转化为一系列词汇，再根据词频排序，提取视频描述信息中的关键词Top5，以这些关键词和演员、导演、年代等视频信息作为视频的特征向量，用来描述一个视频。为了便于计算视频之间的相似性，本发明利用word2vec技术将特征向量中的词汇量化，从而将视频之间的相似性转化为向量之间相似性的计算。

1)视频标签提取

本发明中，先将视频的描述信息进行分词，并剔除其中的虚词(包括助词、副词等)，再按照词频排序，提取描述词汇中的Top5作为视频描述信息的关键词(也可以选取其它数量的关键词)。比如一个视频的信息如下表1所示；

表1视频信息示例表

经过分词、筛选以及词频排序后，得到的视频标签为如下表2所示：

表2视频标签示例表

得到上述视频特征向量，通过Word2vec工具，将上述每个视频特征向量的分项向量化，这样，一个视频就可以用一个特征向量矩阵来表示。

2)基于Word2vec的视频标签向量化

Word2vec是由Google发布的神经网络工具包，主要采用的模型有CBOW(ContiuousBag-of-Words)和Skip-Gram两种。可以将输入中的文本词汇转化为一系列词向量，这个工具集已经开始应用在自然语言处理的许多应用中。一种典型的Word2vec算法实现是用训练文本数据构建词汇库，再通过学习得到词汇的向量表示。比如，用户输入词汇为“法国”，经过与词汇库中的词语比较，该词与“西班牙”、“意大利”、“比利时”最接近，因此就依据词汇库中“西班牙”、“意大利”、“比利时”的向量学习得到“法国”这个词对应的向量。

针对表2的视频描述向量，可以得到视频特征向量矩阵如下所示：

表3视频特征向量矩阵示例

2.基于熵化法的混合语义矩阵计算

在以往的视频推荐算法中，需要对比每个视频特征向量的相似性，来得到两个视频的相似性，进而获得推荐结果。然而这种方法默认是将所有标签对推荐结果的贡献程度等同化，但从客观事实来看，显然不同标签对于视频推荐的权重都是不同的，比如有的人比较喜欢钟汉良，而对于谁是导演不太在乎；而有的人喜欢金庸的古装武侠片，对演员不太在乎。有些推荐算法会根据专家经验给标签赋予不同权值(比如演员权值为0.4，导演权值为0.3，年代权值为0.2，描述权值为0.1)，但是这种赋权值的方法带有很强的主观性，而且每个视频用户的口味不同，对不同标签的重视程度也不同，这些因素都大大影响了最终推荐的准确性。为了在区分标签重要程度的同时，最小化人的主观因素对推荐结果的影响，本发明采用熵化法得到标签的权值。

1)熵化法

熵化法是一种客观赋权方法，该方法计算指标的信息熵，根据指标的相对变化程度对系统整体的影响来决定该指标的权重，相对变化程度大的指标具有较大权重。本发明利用熵化法为标签赋权值。

(1)首先，根据用户历史评价得到用户喜好向量，真实的用户喜好向量都是稀疏的，比如，用户A可能喜欢彭于晏作为演员的电影，用户B可能喜欢姜文作为导演的电影，所以用户喜好向量组成的矩阵如下形式：

表4用户喜好向量示例表

演员	导演	年代	地区	关键词	类别
						彭于晏		现代
	姜文
						大卫			美国		电影

(2)上述用户喜好矩阵中，每一行代表一个用户的喜好，每一列代表一个视频标签维度。为了计算标签的权值，首先统计各个标签t在各个喜好向量中出现的词频f(t,ci)，其中ci表示每个用户，并计算每个类别ci的词频总数f(ci)＝sum(f(t,ci))，由此就可以得到每个标签的熵值。比如上表中，f(演员，用户1)＝1；f(演员，用户2)＝0；f(演员，用户3)＝1；f(用户1)＝2。同理可以得到其他词频统计。

(3)根据上述词频数统计，就可以计算各个标签在训练数据集中的熵值：

其中p(t,c_i)＝f(t,c_i)/f(c_i)，n为标签的总数目；

比如Entropy(演员)＝p(演员，用户1)log(p(演员，用户1))+p(演员，用户2)log(p(演员，用户2))+p(演员，用户3)log(p(演员，用户3))

(4)根据各个标签的熵值，就可以采用逻辑斯蒂方程计算各个特征的分类贡献度：

其中threshold是归一化阈值，本发明中取该值为1。

2)语义网络

语义网络通过一系列关键词与对象建立相互映射关系，来表示对象的语义，其中表示对象语义内容的准确程度用连线权重来衡量，权重越大，该关键词越能清晰表示该对象。本发明中，我们借用语义网络的思想，构建混合语义矩阵，从而完成视频推荐过程。图2是语义网络示例图，其中ω₁₁～ω_NM表示关键词1～N和图像1～M之间的连线权重。

3)混合语义矩阵

上述语义网络可以很好地表述视频与其标签之间的对应关系，但是图结构不利于计算和存储，为了使得语义信息便于计算，我们将语义网络被改造为语义矩阵，矩阵的行代表不同对象，列代表不同标签，行与列的交叉点代表该标签表示该对象的准确程度。

如果将所有标签都列出来，势必会导致语义矩阵规模庞大，不利于计算，因此，我们将标签按照分类进行合并，并将每个类定义一个基准标签，其他标签相对于该标签的权值则被加到连线权重中表示。比如，图3中左图所示的语义网络单元结构。如果标签1和标签2同属于演员类别，标签1经过Word2vec量化后的向量为[0.34,0.2,0.15,0.8,0.28]，标签2经过Word2vec量化后得到的向量为[0.1,0.53,0.14,0.5,0.27]，规定演员类别的基准向量为[1,1,1,1,1]，那么就可以将标签1和标签2合并为0.2*[0.34,0.2,0.15,0.8,0.28]+0.5*[0.1,0.53,0.14,0.5,0.27]，也就是变为如右图所示的语义单元结构。因此最终语义网络可以表示为如表5所示的形式，其中每一列都有一个权值，是上述根据熵化法得到的每个特征的权值。

表5混合语义网络示例表

影片

演员(0.3)

导演(0.3)

年代(0.2)

地区(0.2)

关键词(0.1)

类别(0.3)

影片1

Vector

Vector

Vector

Vector

Vector

Vector

影片2

Vector

Vector

Vector

Vector

Vector

Vector

影片3

Vector

Vector

Vector

Vector

Vector

Vector

3.基于混合语义矩阵的视频推荐

根据上述混合语义矩阵，可以很容易将视频的相似性计算转化为向量的相似度计算。本发明参考内容过滤推荐方法，首先如表5所示，根据用户评价历史得到用户喜好向量，将用户喜好向量经过word2vec技术转化为量化表示，比如表5中的第一个用户喜好向量为[彭于晏，无，现代，无，无，无]，经过word2vec转化，该用户的喜好向量可能为[[0.4,0.13,0.75,0.12,0.15],[0.1,0.1,0.1,0.1,0.1],[0.34,0.745,0.23,0.65.0.213],[0.1,0.1,0.1,0.1,0.1],[0.1,0.1,0.1,0.1,0.1],[0.1,0.1,0.1,0.1,0.1]]。通过该向量和混合语义矩阵中的每一行进行加权内积，则可以得到该影片和用户喜好的相关程度，进而用相关程度排序就可以进行视频推荐。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (5)

1.一种基于混合语义矩阵的视频推荐方法，其步骤包括：

1)对视频描述信息进行分词，根据词频提取关键词作为视频描述标签；

2)通过Word2vec工具对包含所述视频描述标签在内的各视频标签进行向量化；

3)针对个性化推荐目标用户，利用其用户评分记录，采用熵化法得到各视频标签的权重，并利用语义网络构建具有权重的混合语义矩阵，通过所述混合语义矩阵表示视频与其标签之间的对应关系；所述混合语义矩阵的行代表不同视频对象，列代表不同视频标签，行与列的交叉点代表该视频标签表示该视频对象的准确程度；所述语义网络将视频标签按照分类进行合并，并将每个类定义一个基准标签，其他视频标签相对于该基准标签的权值则被加到连线权重中表示；

4)根据所述混合语义矩阵，将视频的相似性计算转化为向量的相似度计算，实现对用户的个性化视频推荐；

所述步骤4)根据用户评价历史得到用户喜好向量，将用户喜好向量经过word2vec技术转化为量化表示，通过该向量和混合语义矩阵中的每一行进行加权内积，得到视频和用户喜好的相关程度，进而利用相关程度排序进行视频推荐。

2.如权利要求1所述的方法，其特征在于：步骤1)对视频描述信息进行分词后，按照词频排序提取描述词汇中的Top5作为视频描述信息的关键词。

3.如权利要求1所述的方法，其特征在于：步骤2)所述视频标签，除所述视频描述标签外，还包括下列中的一种或多种：演员、导演、年代、地区、类型。

4.如权利要求1所述的方法，其特征在于：步骤3)采用熵化法得到各视频标签的权重的方法是：

a)根据用户历史评价得到用户喜好向量，进而得到用户喜好矩阵，所述用户喜好矩阵中每一行代表一个用户的喜好，每一列代表一个视频标签维度；

b)统计各个标签t在各个喜好向量中出现的词频f(t,ci)，其中ci表示用户，并计算每个用户ci的词频总数f(ci)＝sum(f(t,ci))，由此得到每个标签的熵值；

c)根据步骤b)统计的词频数，计算各个标签在训练数据集中的熵值：

其中p(t,c_i)＝f(t,c_i)/f(c_i)，n为标签的总数目；

d)根据各个标签的熵值，采用逻辑斯蒂方程计算各个特征的分类贡献度：

其中threshold是归一化阈值。

5.如权利要求1所述的方法，其特征在于：步骤4)根据所述混合语义矩阵，使用内容过滤方法对用户进行个性化视频推荐。