CN109635157B - 模型生成方法、视频搜索方法、装置、终端及存储介质 - Google Patents

Abstract

本发明实施例提供了一种模型生成方法、视频搜索方法、装置、终端及计算机可读存储介质，所述视频搜索方法包括：接收用户输入的视频搜索请求；标注所述视频搜索请求中的标签和标签类型；将所述标签和标签类型输入到视频语义标签独立性模型，筛选出语义独立的标签；对所述语义独立的标签进行视频搜索，得到与所述语义独立的标签相匹配的视频，以作为视频搜索结果。本发明实施例中，将提取视频搜索请求中的标签和标签类型输入到视频语义标签独立性模型中，筛选出语义独立的标签，并对语义独立的标签进行视频搜索，从而提高了视频搜索的准确率。

Description

模型生成方法、视频搜索方法、装置、终端及存储介质

技术领域

本发明涉及网络技术领域，特别是涉及一种模型生成方法、视频搜索方法、装置、终端及计算机可读存储介质。

背景技术

随着视频网络的普及和发展，涌现出很多视频网站，方便用户在视频网站上搜索视频进行观看，极大的丰富了用户的生活。

目前，用户通常采用标签来搜索视频，即将用户输入的视频搜索请求解析成多个独立的语义标签，与视频标签相匹配，将匹配上所有标签的视频作为结果返回给用户。然而，部分语义标签存在相关关系，例如，用户输入搜索“歌手2018”的视频请求，系统基于标签配置文件解析为两个独立的视频标签，“歌手”，“2018”，再分别检索对应视频标签的索引字段，从而导致召回了大量不相关的视频结果。再比如用户输入搜索“北京机场”的视频请求，由于命中了“北京”，“机场”，同样也召回了大量不相关的视频结果。由此可知，现有的搜索方式中，由于视频标签的误搜索，导致搜索到的视频结果的和用户要搜索的视频主题相关性和准确率比较低，从而减低了用户体验。

因此，如何降低视频标签的误搜索率，提高视频搜索的准确率是目前有待解决的技术问题。

发明内容

本发明实施例所要解决的技术问题是提供一种模型生成方法、视频搜索方法，以解决现有技术中由于视频标签的误搜索，导致视频搜索的准确率降低的技术问题。

相应的，本发明实施例还提供了一种模型生成装置、视频搜索装置、终端及计算机可读存储介质，用以保证上述方法的实现及应用。

为了解决上述问题，本发明是通过如下技术方案实现的：

第一方面提供一种模型生成方法，所述方法包括：

确定语义标签库中每个标签对应的标签类型；

根据所述标签类型对训练样本进行分词及标注；

根据分词结果及标注结果，获取视频查询请求中对应的标签序列及标签类型序列；

根据所述标签序列与标签类型序列，确定标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度和标签类型相似度；

基于视频查询请求的点击日志，计算所述标签序列点击率及标签类型序列点击率；

根据所述标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度、标签类型相似度、标签序列点击率以及标签类型序列点击率进行训练，得到视频语义标签独立性模型。

第二方面提供一种视频搜索方法，所述方法包括：

接收用户输入的视频搜索请求；

标注所述视频搜索请求中的标签和标签类型；

将所述标签和标签类型输入到视频语义标签独立性模型，筛选出语义独立的标签；

根据所述语义独立的标签进行视频搜索，得到与所述语义独立的标签相匹配的视频，以作为视频搜索结果。

第三方面提供一种模型生成装置，所述装置包括：

标签类型确定模块，用于确定语义标签库中每个标签对应的标签类型；

第一标记模块，用于根据所述标签类型对训练样本进行分词及标注；

序列获取模块，用于根据分词结果及标注结果，获取视频查询请求中对应的标签序列及标签类型序列；

相似度确定模块，用于根据所述标签序列与标签类型序列，确定标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度和标签类型相似度；

点击率计算模块，用于基于视频查询请求的点击日志，计算所述标签序列点击率及标签类型序列点击率；

模型训练模块，用于根据所述标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度、标签类型相似度、标签序列点击率以及标签类型序列点击率进行训练，得到视频语义标签独立性模型。

第四方面提供一种视频搜索装置，所述装置包括：

接收模块，用于接收用户输入的视频搜索请求；

标注模块，用于标注所述视频搜索请求中标签和标签类型；

筛选模块，用于将所述标签和标签类型输入到视频语义标签独立性模型，筛选出语义独立的标签；

搜索模块，用于根据所述语义独立的标签进行视频搜索，得到与所述语义独立的标签相匹配的视频，以作为视频搜索结果。

第五方面提供一种终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述视频语义标签独立性模型的构建方法中的步骤，或者如上述的视频搜索方法的步骤。

第六方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述视频语义标签独立性模型的构建方法中的步骤，或者如上述的视频搜索方法中的步骤。

与现有技术相比，本发明实施例包括以下优点：

本发明实施例中，在接收到用户输入的视频搜索请求时，先标注所述视频搜索请求中的标签和标签类型，将所述标签和标签类型输入到视频语义标签独立性模型中，筛选出语义独立的标签，并对语义独立的标签进行视频搜索，获取与所述语义独立的标签相匹配的视频。本发明实施例按照筛选出的语义独立的标签进行搜索，降低了因误搜索标签而召回了不相关的视频搜索结果，从而提高了视频搜索的准确率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

图1是本发明实施例提供的一种视频搜索方法的流程图；

图2是本发明实施例提供的一种构建视频语义标签独立性模型的流程图；

图3是本发明实施例提供的一种视频搜索装置的结构示意图；

图4是本发明实施例提供的一种视频搜索装置的另一结构示意图；

图5是本发明实施例提供的一种搜索模块的结构示意图；

图6是本发明实施例提供的一种构建模块的结构示意图；

图7是本发明实施例提供的一种模块生成装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

请参阅图1，为本发明实施例提供的一种视频搜索方法的流程图，具体可以包括如下步骤：

步骤101：接收用户输入的视频搜索请求；

该步骤中，后端服务器接收到用户通过客户端或浏览器发送的视频查询请求，其中，用户输入的视频查询请求，可以是用户根据其想要搜索的视频而输入的与该视频内容相关的，且符合预置输入规则的文字或语音等，比如，视频内容中的某一关键词，视频名称，视频来源国家，视频的上映时间等中的一种或多种组合，其中，预置输入规则可以根据不同的视频网站要求而设定不同的输入规则，在此，本发明实施例不做限制。

步骤102：标注所述视频搜索请求中的标签和标签类型；

该步骤中，对所述视频搜索请求进行分词和词性标注，得到词性标注后的序列，标注所述序列中的标签和标签类型。

其中，该步骤中的标签是用来反映视频本身的特点，标签类型是基于视频产品应用场景来定义的，并从多个维度表明标签所反映视频本身归属的分类，比如：“戏剧”、“古装”“言情”、“美国”等。标签所包含的标签相关信息可以是依据视频内容从多个维度设置的关键词，如从视频名称这一维度设置的关键词“芸汐传”，或者从视频上映年代这一维度设置的关键词“2018”，或者视频导演这一维度设置的关键词“冯小刚”等等。

其中，该步骤中，标注视频搜索请求中的标签和标签类型的方式如下：

(1)基于已有方法(比如条件随机场，隐马尔可夫模型等)对视频搜索请求的文本进行分词及词性标注，得到标注后的序列。

(2)基于分词及词性标注后的序列，标注该序列中可能的标签及标签类型；也就是给序列中的词进行标注标签及标签类型。

如表1所示，为本发明实施例提供的标签类型及对应标签的列表的一种示例，但在实际应用中并不限于此。

表1

标签类型	标签
		游戏解说GAME_COMMENTATOR	天骐、小本、小白
人物关系REL	儿子、妻子、女儿、女友
		年份YEAR	2018、去年、
主题topIC	言情、青春、武侠
		国家REGION	新加坡、美国、日本
版本VERSION	OVA版、剧场版
		演职关系V_ACT	导演、主演
专辑名ALBUM	老九门
		人物PERSON	周迅

其中，基于分词及词性标注后的序列，标注该序列中可能的标签及标签类型，具体包括：

1)获取序列中的标签及标签类型：

第一种方式为：对于词项序列中的部分词项，可以由词性映射得到对应的标签类型，如：“芸汐传鞠婧祎”，分词及词性标注结果为:“芸汐传/nz_album鞠婧祎/nr”，芸汐传的词性nz_album，表示视频专辑名，可以根据其映射到标签类型ALBUM，鞠婧祎的词性nr，表示人名，可以根据其映射到标签类型PERSON，该例子中有两个标签，“芸汐传”,“鞠婧祎”，标签类型的序列为：“ALBUMPERSON”。该方式中，具体的映射方式需要按照用户设定的规则来映射，比如规则1为：词性nr->标签PERSON，规则2为：词性nz_album->标签ALBUM等。

第二种方式：基于预先构建的标签库，可以根据词项序列中的部分词或短语映射到对应的标签，如：“查找2018年奥斯卡最佳电影”，分词及词性标注结果为“查找/v2018/m年/q奥斯卡/nz最佳/z电影/n”，则基于标签库，可根据“2018年”映射到标签类型YEAR,“奥斯卡最佳电影”映射到标签类型FESTIVAL,标签类型的序列为：“YEAR FESTIVAL”。这种方式中，具体的映射方法是基于标签字典，比如，标签字典中存在<2018年，YEAR>的标签映射对，则将标签字典中的映射值YEAR取出作为标签类型。

可选地，在映射时，可能会基于同义词词典对标签进行规范化，如：“今年“->”2018年”，“奥斯卡最佳电影“->”奥斯卡最佳影片”等。

2)对标签类型进行消消歧，如：“导演”一词对应的标签类型可能有多个：“V_ACTOR”,“VIDEO_PROPERTY”,”成龙导演的电影”中的“导演”应对应的标签类型为“V_ACTOR”,”星际迷航导演”中的“导演”对应的标签类型为”VIDEO_PROPERTY“；则基于该词的前后上下文特征进行消歧，具体实施方法，可以使用基于规则的方法或基于统计方法，本发明实施例中使用基于规则的方法，根据上下文窗口中的词性进行消歧，例如，“导演”前一词词性为人名，则标签类型为V_ACTOR,前一词词性为视频名，则标签类型为VIDEO_PROPERTY。当然，在实际应用中，本发明实施例使用的具体消歧方法，并不限于此，还可以根据需要进行其他消歧方法，本发明实施例不做限制。

步骤103：将标签结果和标签类型结果输入到视频语义标签独立性模型，筛选出语义独立的标签；

该步骤中，基于视频语义标签独立性模型及标签类型计算所述标签是否为语义独立的标签，如果是，则执行步骤104；否则，将所述标签标记为普通词，按照普通词对应的索引字段进行视频搜索。

其中，本发明实施例中语义独立的标签，它代表一个独立的、完整的相关内容块，可独立于页面其它内容使用。语义独立是相对语境及应用场景定义的，设标签为A，将该标签与当前语境的其它标签B1,……,Bn两两组合，若标签A和Bi组合后，表示的语义完整，结合紧密且不可再分，例如：标签A为“月嫂”，标签B为“先生”，AB组合后为“月嫂先生”，在视频搜索应用场景中，《月嫂先生》为一部剧名，则AB组合后语义不可再分，此时可定义AB语义相关；又例如：标签A为“北京”，标签B为“机场”，AB组合后表示完整的地名，语义不可再分。此时可定义标签AB语义相关。若标签A与当前语境下的所有其它标签两两组合后，不存在与之语义相关的标签，则可定义A在当前语境下语义独立。比如，“美食“科幻”为当前输入中的两个标签，这两个标签在当前的语境下语义独立。

视频语义标签独立性模型，是预先按照标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度、标签类型相似度、标签序列点击率及标签类型序列点击率进行训练得到的，其具体的训练过程，在后面实施例中进行描述。

基于标签序列及标签类型序列，以及预先训练好的标签分布式表示模型、标签类型分布式表示模型、标签语言模型、标签类型语言模型，可以计算出标签向量，标签类型向量，两两标签共现概率及两两标签类型共现概率，两两标签相似度，两两标签类型相似度；以及基于视频查询请求的点击日志，计算所述标签序列点击率及标签类型序列点击率，将这8类特征依次作为视频语义标签独立性模型的输入，来判定当前标签是否独立，即判断当前标签是语义独立的标签，还是语义非独立的标签。

其中，标签分布式表示模型，标签类型分布式表示模型，标签语言模型，标签类型语言模型是预先训练好的，具体的训练过程为：

利用应用场景的语料库训练生成面向场景的标签语言模型、标签类型语言模块、标签分布式表示模型以及标签类型分布式表示模型；

基于标签序列及标签类型序列训练所述标签语言模型、标签类型语言模块、标签分布式表示模型以及标签类型分布式表示模型分别得到对应的标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度和标签类型相似度。

其中，基于标签序列及标签类型序列分别训练所述标签语言模型、标签类型语言模块，得到对应的标签共现概率、标签类型共现概率；

基于标签序列及标签类型序列分别训练对应的标签分布式表示模型和标签类型分布式表示模型，得到对应的标签向量、标签类型向量、标签相似度和标签类型相似度。

可选的，对于通过视频语义标签独立性模型筛选出语义非独立的标签，将该标签改写为普通词，然后，可以基于普通词对应的索引字段来搜索。其中，普通词即为query中非标签的词，此处改为普通词，就是去除词的标签，例如：词：“北京”在query“北京机场”中为非语义独立的标签，则将去除“北京”的标签。

步骤104：根据所述语义独立的标签进行视频搜索，得到与所述语义独立的标签相匹配的视频。

该步骤中，一种搜索方式包括：

1)确定quer对应的主题频道；

该步骤中，先获取预先训练的标签主题模型LDA(Latent DirichletAllocation)；然后，基于预先训练的标签主题模型LDA计算query对应的主题频道，即P(query|频道1)……P(query|频道n)。其中，LDA是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。

预测时，对当前query中的每个标签，随机赋予一个主题频道编号，然后重新扫描query，基于吉布斯采样方法，更新主题频道编号，重复直到吉布斯收敛，然后统计query中各个标签的主题，得到该query的主题概率分布。例如：P(query|美食频道)＝0.6，P(query|纪录片频道)＝0.2，则确认该query对应的搜索频道为美食频道和记录片频道。

2)按照所述主题频道对应的索引字段进行视频搜索，得到与所述语义独立的标签相匹配的视频。

例如：筛选出语义独立的标签为“足球中国日本”，计算出query对应主题频道为“体育”频道，对应的索引字段取值为channel＝24,则查询语句可表示为：tag＝“足球”andtag＝“中国”and tag＝“日本”and channel＝“24”,查找结构化索引，返回对应的结果即可。

本发明实施例中，在接收到用户输入的视频搜索请求时，先标注所述视频搜索请求中的标签和标签类型，将所述标签和标签类型输入到视频语义标签独立性模型中，筛选出语义独立的标签，并对语义独立的标签进行视频搜索，获取与所述语义独立的标签相匹配的视频。本发明实施例按照筛选出的语义独立的标签进行搜索，降低了因误搜索标签而召回了不相关的视频搜索结果，从而提高了视频搜索的准确率。

可选的，在另一实施例中，该实施例在上述实施例的基础上，所述如果筛选出语义独立的标签有多个，所述方法还包括：

1)对每个语义独立的标签分别进行视频搜索；

其中，对每个标签的搜索方法与上述相同，具体详见上述，在此不再赘述。

2)组合搜索到的所有视频，并将所有视频作为视频搜索结果。

本发明实施例中，是通过构建结构化查询语句，将所有语义独立标签关联起来，查找结构化索引进行搜索的。如，标签为A，B，C，则结构化查询语句为select*from indexwhere tag＝A and tag＝B and tag＝C。

可选的，在另一实施例中，该实施例在上述实施例的基础上，所述方法还可以包括：构建视频语义标签独立性模型。其中，一种视频语义标签独立性模型的构建过程如图2所示，图2为本发明实施例提供的一种构建视频语义标签独立性模型的流程图，具体包括：

步骤201：确定语义标签库中每个标签对应的标签类型；

该步骤中，先构建视频对应的语义标签库，然后，标记所述语义标签库中的每个标签对应的标签类型。

其中，可以基于知识图谱、网络爬取、人工编辑等方式，构建视频对应的语义标签库。

而标记所述语义标签库中的每个标签对应的标签类型，可以基于知识图谱为标签库的每个标签标记对应的标签类型。如，“天骐”对应的标签类型为游戏解说等。

步骤202：根据所述标签类型对训练样本进行分词及标注；

该步骤中，在分词和标注之前，先搜索用户日志文本和视频元数据文本，将搜索到用户的日志文本和视频元数据文本作为构建标签及标签类型分布式表示模型、标签及标签类型语言模型、标签-频道主题模型、视频语义标签独立性模型的训练样本。

然后，按照所述标签类型对所述训练样本进行分词及标注；该步骤中的分词及标注方法与上述的分词及标注方法一样，具体详见上述，在此不再重复阐述。

步骤203：根据分词结果及标注结果，获取视频查询请求中对应的标签序列及标签类型序列；

该步骤中，获取query对应的标签序列及标签类型序列详见上述，在此不再赘述。

步骤204：根据所述标签序列与标签类型序列，确定标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度和标签类型相似度；

具体的，该步骤可以利用应用场景的语料库训练生成面向场景的标签语言模型、标签类型语言模块、标签分布式表示模型以及标签类型分布式表示模型；然后，根据所述标签序列及标签类型序列训练所述标签语言模型、标签类型语言模块、标签分布式表示模型以及标签类型分布式表示模型分别得到对应的标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度和标签类型相似度。

该步骤中，基于标签序列及标签类型序列分别训练标签语言模型和标签类型语言模块，得到对应的标签共现概率和标签类型共现概率；

基于标签序列及标签类型序列分别训练标签分布式表示模型和标签类型分布式表示模型，得到对应的标签向量和标签类型向量、标签相似度和标签类型相似度。其中，标签相似度和标签类型相似度可以采用计算两个标签向量的夹角余弦值来计算。

其中，本发明实施例中的语言模型包括：标签语言模型及标签类型语言模型。

语言模型通常用于估计语言的概率分布，具体训练方法包括基于N-Gram的语言模型，神经网络语言模型如Recurrent Neural Network Language Model的训练等。

其中，对于N-Gram的语言模型，训练时参数估计可以采用最大似然估计的方法，模型训练结束后，即可得到标签共现概率及标签类型共现概率。

神经网络语言模型是基于双向神经网络语言模型实现的，双向神经网络语言模型由前向神经网络语言模型和后向神经网络语言模型构成，前向神经网络语言模型基于前文的词估计概率

后向神经网络语言模型是基于后文中的标签估计标签共现概率

双向神经网络语言模型是两者的结合体，学习目标是最大化两者的似然函数：

其中，标签共现概率，就是多个标签共同出现的几率，几率越高，多个标签之间的关系就越密切。

同理：标签类型共现概率，就是多个标签类型共同出现的几率，几率越高，则多个标签类型之间的关系就越密切。

其中，基于标签序列及标签类型序列训练分布式表示模型，得到标签向量和标签类型向量，以及标签相似度和标签类型相似度。

本发明实施例中，常用的分布式表示模型可以包括单词到向量(word2vec，Wordto vectors)模型,单词表示的全局向量(glove，Global vectorsforwordrepresentation)模型,语言嵌入模型(elmo，Embeddings from Language Models)等。

在一实施例中，如果采用word2vec模型，则将每个标签及标签类型表示为低维的稠密向量。在另一实施例中，如果采用elmo模型，则能够充分利用已经训练好的双向神经网络语言模型的内部表示参数计算标签及标签类型的表示，具体计算公式如下：

其中,w为标签，s为softmax(w)，Rk和h为上文中的双向神经网络语言模型的参数，r为缩放因子。

其中

计算得到标签向量及标签类型向量后，具体地，对某一个标签或标签类型。标签相似度、标签类型相似度，具体计算方法可以采用计算两个向量的夹角余弦值等。

其中，本发明实施例中的LDA主题模型，通常基于视频元数据语料库训练LDA主题模型，目标是估计每一个样本(即每个元数据对应的标签序列)的主题分布，及每一个主题中标签的分布。具体训练方法可以采用吉布斯采样方法。训练流程如下：

A.根据元数据的频道类别数确定主题数。

B.对应每个元数据样本的每个标签，随机生成对应主题频道编号。

C.对每个标签，基于吉布斯采样更新主题频道编号，并更新语料库中该标签编号。

D.重复C直至吉布斯采样收敛。

E.统计语料库中每个样本每个标签的主题，得到样本主题频道分布，统计语料库中每个主题下的标签分布，得到主题频道与标签分布。

步骤205：基于视频查询请求的点击日志，计算标签序列点击率及标签类型序列点击率；

其中，点击日志汇总可以包括n个标签的视频搜索(query)请求，其中，n>1。

步骤206：根据所述标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度、标签类型相似度、标签序列点击率以及标签类型序列点击率，训练视频语义标签独立性模型。

其中，训练二元分类模型，具体可采用支持向量机(SVM，Support VectorMachine)，SVM是常见的一种判别方法。在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析。

模型的训练目标是确定分类超平面，使得离超平面最近的样本点距离最大。训练算法可以采用SMO等。模型训练时，将上述抽取的每个样本对应的概率、向量、相似度及点击率作为样本特征，归一化后拼接为特征向量，例如，该特征向量的第1-100维对应的是归一化的标签向量，第101对应的是归一化点击率，作为SVM模型的输入，训练即可得到对应的视频语义标签独立性模型。

相应的，本发明实施例还提供一种模型生成方法，所述方法包括：

确定语义标签库中每个标签对应的标签类型；

根据所述标签类型对训练样本进行分词及标注；

根据分词结果及标注结果，获取视频查询请求中对应的标签序列及标签类型序列；

根据所述标签序列与标签类型序列确定标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度和标签类型相似度；

基于视频查询请求的点击日志，计算所述标签序列点击率及标签类型序列点击率；

根据所述标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度、标签类型相似度、标签序列点击率以及标签类型序列点击率，训练视频语义标签独立性模型。

该方法具体的实现过程详见上述图2实施例的具体实现过程，在此不再赘述。

可选的，在另一实施例中，该实施例在上述实施例的基础上，所述确定语义标签库中每个标签对应的标签类型，包括：

构建视频对应的语义标签库；

标记所述语义标签库中的每个标签对应的标签类型；

所述根据所述标签序列及标签类型序列确定标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度和标签类型相似度包括：

利用应用场景的语料库训练生成面向场景的标签语言模型、标签类型语言模块、标签分布式表示模型以及标签类型分布式表示模型；

根据所述标签序列及标签类型序列训练所述标签语言模型、标签类型语言模块、标签分布式表示模型以及标签类型分布式表示模型分别得到对应的标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度和标签类型相似度。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

请参阅图3，为本发明实施例提供的一种视频搜索装置的结构示意图，具体可以包括如下模块：接收模块31，标注模块32，筛选模块33和搜索模块34，其中，

接收模块31，用于接收用户输入的视频搜索请求；

标注模块32，用于标注所述视频搜索请求中所搜索视频的标签和标签类型；

筛选模块33，用于将所述标签和标签类型输入到视频语义标签独立性模型，筛选出语义独立的标签；

搜索模块34，用于根据所述筛选模块筛选出的语义独立的标签进行视频搜索，得到与所述语义独立的标签相匹配的视频，以作为视频搜索结果。

可选的，在另一实施例中，该实施例在上述实施例的基础上，所述标注模块包括：第一标注模块和第二标注模块(图中未示)，其中，

第一标注模块，用于对所述视频搜索请求进行分词和词性标注，得到词性标注后的序列；

第二标注模块，用于标注所述序列中的标签及标签类型。

可选的，在另一实施例中，该实施例在上述实施例的基础上，所述装置还可以包括：计算模块41和标记模块42，其结构示意图如图4所示，其中，

计算模块41，用于在所述筛选模块33筛选出语音独立的标签之前，基于视频语义标签独立性模型及标签类型计算所述标签是否为语义独立的标签；

所述搜索模块34，还用于在所述计算模块41计算所述标签为语义独立的标签时，对所述语义独立的标签进行视频搜索，得到与所述语义独立的标签相匹配的视频；

所述标记模块42，用于将所述计算模块41计算所述标签为语义非独立的标签，标记为普通词。

可选的，在另一实施例中，该实施例在上述实施例的基础上，所述搜索模块34包括：频道确定模块51和视频搜索模块52，其结构示意图如图5所示，其中，

频道确定模块51，用于确定所述语义独立的标签对应的主题频道；

视频搜索模块52，用于按照所述主题频道对应的索引字段进行视频搜索，得到与所述语义独立的标签相匹配的视频。

可选的，在另一实施例中，该实施例在上述实施例的基础上，所述频道确定模块，具体用于基于预先训练的标签主题模型，计算视频搜索请求对应的主题频道。

可选的，在另一实施例中，该实施例在上述实施例的基础上，所述装置还可以包括：组合模块(图中未示)，其中，

组合模块，用于在所述筛选模块筛选出语义独立的标签有多个时，将获取到的与每个语义独立的标签相匹配的视频进行组合，得到视频搜索结果。

可选的，在另一实施例中，该实施例在上述实施例的基础上，所述装置还可以包括：构建模块(图中未示)，其中，

构建模块，用于构建视频语义标签独立性模型。

可选的，在另一实施例中，该实施例在上述实施例的基础上，所述构建模块包括：标签类型确定模块61，序列标记模块62，序列获取模块63，相似度确定模块64，点击率计算模块65和模型训练模块66，其结构示意图如图6所示，其中，

标签类型确定模块61，用于确定语义标签库中每个标签对应的标签类型；

序列标记模块62，用于根据所述标签类型对训练样本进行分词及标注；

序列获取模块63，用于所述分词结果及标注结果，获取视频查询请求中对应的标签序列及标签类型序列；

相似度确定模块64，用于根据所述标签序列与标签类型序列，确定标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度和标签类型相似度；

点击率计算模块65，用于基于视频查询请求的点击日志，计算所述标签序列点击率及标签类型序列点击率；

模型训练模块66，用于根据所述标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度、标签类型相似度、标签序列点击率以及标签类型序列点击率进行训练，得到视频语义标签独立性模型。

可选的，在另一实施例中，该实施例在上述实施例的基础上，所述标签类型确定模块包括：语义构建模块和类型标记模块(图中未示)，其中，

语义构建模块，用于构建视频对应的语义标签库；

类型标记模块，用于标记所述语义标签库中的每个标签对应的标签类型。

可选的，在另一实施例中，该实施例在上述实施例的基础上，所述相似度确定模块包括：生成模块和相似度确定子模块(图中未示)，其中，

生成模块，用于利用应用场景的语料库训练生成面向场景的标签语言模型、标签类型语言模块、标签分布式表示模型以及标签类型分布式表示模型；

相似度确定子模块，用于根据所述标签序列及标签类型序列训练所述标签语言模型、标签类型语言模块、标签分布式表示模型以及标签类型分布式表示模型分别得到对应的标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度和标签类型相似度。

可选的，本发明实施例还提供一种模型生成装置，所述装置包括：标签类型确定模块71，第一标记模块72，序列获取模块73，相似度确定模块74，点击率计算模块75和模型训练模块76，其结构示意图如图7所示，其中，

所述标签类型确定模块71，用于确定语义标签库中每个标签对应的标签类型；

所述第一标记模块72，用于根据所述标签类型对训练样本进行分词及标注；

所述序列获取模块73，用于根据分词结果及标注结果，获取视频查询请求中对应的标签序列及标签类型序列；

所述相似度确定模块74，用于根据所述标签序列与标签类型序列确定标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度和标签类型相似度；

所述点击率计算模块75，用于基于视频查询请求的点击日志，计算所述标签序列点击率及标签类型序列点击率；

所述模型训练模块76，用于根据所述标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度、标签类型相似度、标签序列点击率以及标签类型序列点击率进行训练，得到视频语义标签独立性模型。

可选的，在另一实施例中，该实施例在上述实施例的基础上，所述标签类型确定模块包括：语义构建模块和第二标记模块，其中，

所述语义构建模块，用于构建视频对应的语义标签库；

所述第二标记模块，用于标记所述语义标签库中的每个标签对应的标签类型。

可选的，在另一实施例中，该实施例在上述实施例的基础上，所述相似度确定模块包括：生成模块和相似度确定子模块，其中，

生成模块，用于利用应用场景的语料库训练生成面向场景的标签语言模型、标签类型语言模块、标签分布式表示模型以及标签类型分布式表示模型；

相似度确定子模块，用于根据所述标签序列及标签类型序列训练所述标签语言模型、标签类型语言模块、标签分布式表示模型以及标签类型分布式表示模型分别得到对应的标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度和标签类型相似度。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明实施例中，在接收到用户输入的视频搜索请求时，先标注所述视频搜索请求中的标签和标签类型，将所述标签和标签类型输入到视频语义标签独立性模型中，筛选出语义独立的标签，并对语义独立的标签进行视频搜索，获取与所述语义独立的标签相匹配的视频。本发明实施例按照筛选出的语义独立的标签进行搜索，降低了因误搜索标签而召回了不相关的视频搜索结果，从而提高了视频搜索的准确率。

可选的，本发明实施例还提供一种终端，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述模型生成方法或视频搜索方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

可选的，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述模型生成方法或视频搜索方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(RandomAccess Memory，简称RAM)、磁碟或者光盘等。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所述权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种模型生成方法、视频搜索方法、装置、终端及计算机可读存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (18)

1.一种模型生成方法，其特征在于，包括：

确定语义标签库中每个标签对应的标签类型；

根据所述标签类型对训练样本进行分词及标注；

根据分词结果及标注结果，获取视频查询请求中对应的标签序列及标签类型序列；

根据所述标签序列与标签类型序列，确定标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度和标签类型相似度；

基于视频查询请求的点击日志，计算所述标签序列点击率及标签类型序列点击率；

根据所述标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度、标签类型相似度、标签序列点击率以及标签类型序列点击率进行训练，得到视频语义标签独立性模型；

所述视频语义标签独立性模型用于从视频查询请求中筛选出语义独立的标签。

2.根据权利要求1所述的方法，其特征在于，

所述确定语义标签库中每个标签对应的标签类型，包括：

构建视频对应的语义标签库；

标记所述语义标签库中的每个标签对应的标签类型；

所述根据所述标签序列及标签类型序列确定标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度和标签类型相似度包括：

利用应用场景的语料库训练生成面向场景的标签语言模型、标签类型语言模块、标签分布式表示模型以及标签类型分布式表示模型；

根据所述标签序列及标签类型序列训练所述标签语言模型、标签类型语言模型、标签分布式表示模型以及标签类型分布式表示模型分别得到对应的标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度和标签类型相似度。

3.一种视频搜索方法，其特征在于，包括：

接收用户输入的视频搜索请求；

标注所述视频搜索请求中的标签和标签类型；

将所述标签和标签类型输入到视频语义标签独立性模型，筛选出语义独立的标签；其中，所述视频语义标签独立性模型为利用权利要求1或2所述的方法生成的；

根据所述语义独立的标签进行视频搜索，得到与所述语义独立的标签相匹配的视频，以作为视频搜索结果。

4.根据权利要求3所述的方法，其特征在于，所述标注所述视频搜索请求中的标签和标签类型，包括：

对所述视频搜索请求进行分词和词性标注，得到词性标注后的序列；

标注所述序列中的标签及标签类型。

5.根据权利要求3所述的方法，其特征在于，所述将所述标签和标签类型输入到视频语义标签独立性模型，筛选出语义独立的标签之前，所述方法还包括：

基于视频语义标签独立性模型及标签类型计算所述标签是否为语义独立的标签，如果是，则执行对所述语义独立的标签进行视频搜索，得到与所述语义独立的标签相匹配的视频的步骤。

6.根据权利要求3所述的方法，其特征在于，所述根据所述语义独立的标签进行视频搜索，得到与所述语义独立的标签相匹配的视频，以作为视频搜索结果，具体包括：

确定所述语义独立的标签对应的主题频道；

按照所述主题频道对应的索引字段进行视频搜索，得到与所述语义独立的标签相匹配的视频，以作为视频搜索结果。

7.根据权利要求6所述的方法，其特征在于，所述确定视频搜索请求对应的主题频道，包括：

基于预先训练的标签主题模型，计算所述视频搜索请求对应的主题频道。

8.根据权利要求3所述的方法，其特征在于，如果筛选出语义独立的标签有多个，所述方法还包括：

将获取到的与每个语义独立的标签相匹配的视频进行组合，得到视频搜索结果。

9.一种模型生成装置，其特征在于，包括：

标签类型确定模块，用于确定语义标签库中每个标签对应的标签类型；

第一标记模块，用于根据所述标签类型对训练样本进行分词及标注；

序列获取模块，用于根据分词结果及标注结果，获取视频查询请求中对应的标签序列及标签类型序列；

相似度确定模块，用于根据所述标签序列与标签类型序列，确定标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度和标签类型相似度；

点击率计算模块，用于基于视频查询请求的点击日志，计算所述标签序列点击率及标签类型序列点击率；

模型训练模块，用于根据所述标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度、标签类型相似度、标签序列点击率以及标签类型序列点击率进行训练，得到视频语义标签独立性模型；

所述视频语义标签独立性模型用于从视频查询请求中筛选出语义独立的标签。

10.根据权利要求9所述的装置，其特征在于，

所述标签类型确定模块包括：

语义构建模块，用于构建视频对应的语义标签库；

第二标记模块，用于标记所述语义标签库中的每个标签对应的标签类型；

所述相似度确定模块包括：

生成模块，用于利用应用场景的语料库训练生成面向场景的标签语言模型、标签类型语言模块、标签分布式表示模型以及标签类型分布式表示模型；

相似度确定子模块，用于根据所述标签序列及标签类型序列训练所述标签语言模型、标签类型语言模块、标签分布式表示模型以及标签类型分布式表示模型分别得到对应的标签共现概率、标签类型共现概率、标签向量、标签类型向量、标签相似度和标签类型相似度。

11.一种视频搜索装置，其特征在于，包括：

接收模块，用于接收用户输入的视频搜索请求；

标注模块，用于标注所述视频搜索请求中标签和标签类型；

筛选模块，用于将所述标签和标签类型输入到视频语义标签独立性模型，筛选出语义独立的标签；其中，所述视频语义标签独立性模型为利用权利要求9或10所述的装置生成的；

搜索模块，用于根据所述语义独立的标签进行视频搜索，得到与所述语义独立的标签相匹配的视频，以作为视频搜索结果。

12.根据权利要求11所述的装置，其特征在于，所述标注模块包括：

第一标注模块，用于对所述视频搜索请求进行分词和词性标注，得到词性标注后的序列；

第二标注模块，用于标注所述序列中的标签及标签类型。

13.根据权利要求11所述的装置，其特征在于，所述装置还包括：

计算模块，用于在所述筛选模块筛选出语音独立的标签之前，基于视频语义标签独立性模型及标签类型计算所述标签是否为语义独立的标签；

所述搜索模块，还用于在所述计算模块计算所述标签为语义独立的标签时，对所述语义独立的标签进行视频搜索，得到与所述语义独立的标签相匹配的视频；

标记模块，用于将所述计算模块计算所述标签为语义非独立的标签，标记为普通词。

14.根据权利要求11所述的装置，其特征在于，所述搜索模块包括：

频道确定模块，用于确定所述语义独立的标签对应的主题频道；

视频搜索模块，用于按照所述主题频道对应的索引字段进行视频搜索，得到与所述语义独立的标签相匹配的视频。

15.根据权利要求14所述的装置，其特征在于，

所述频道确定模块，具体用于基于预先训练的标签主题模型计算视频搜索请求对应的主题频道。

16.根据权利要求11所述的装置，其特征在于，还包括：

组合模块，用于在所述筛选模块筛选出语义独立的标签有多个时，将获取到的与每个语义独立的标签相匹配的视频进行组合，得到视频搜索结果。

17.一种终端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1或2所述视频语义标签独立性模型的构建方法中的步骤，或者如权利要求3至8中任一项所述的视频搜索方法的步骤。

18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1或2所述视频语义标签独立性模型的构建方法中的步骤，或者如权利要求3至8中任一项所述的视频搜索方法中的步骤。

Images