CN110598049A - 用于检索视频的方法、装置、电子设备和计算机可读介质 - Google Patents

用于检索视频的方法、装置、电子设备和计算机可读介质 Download PDF

Info

Publication number
CN110598049A
CN110598049A CN201910916807.2A CN201910916807A CN110598049A CN 110598049 A CN110598049 A CN 110598049A CN 201910916807 A CN201910916807 A CN 201910916807A CN 110598049 A CN110598049 A CN 110598049A
Authority
CN
China
Prior art keywords
video
related information
videos
text
retrieving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910916807.2A
Other languages
English (en)
Inventor
李伟健
王长虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201910916807.2A priority Critical patent/CN110598049A/zh
Publication of CN110598049A publication Critical patent/CN110598049A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例公开了用于检索视频的方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括:获取目标视频的视频相关信息,其中,该视频相关信息包括以下至少一项:与该目标视频相关联的文本的文本向量,该目标视频的视频特征;根据该视频相关信息,从视频库中检索出至少一个视频。该实施方式实现了富于针对性的视频的获取。

Description

用于检索视频的方法、装置、电子设备和计算机可读介质
技术领域
本公开的实施例涉及计算机技术领域,具体涉及用于检索视频的方法、装置、电子设备和计算机可读介质。
背景技术
随着互联网技术的飞速发展,人们越来越依赖通过互联网获得各种信息,例如视频。对于各种视频类应用而言,它们需要将合适的视频推荐给用户。由此,需要进行视频的检索。
发明内容
本发明内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了用于检索视频的方法、装置、电子设备和计算机可读介质。
第一方面,本公开的一些实施例提供了一种用于检索视频的方法,该方法包括:获取目标视频的视频相关信息,其中,上述视频相关信息包括以下至少一项:与上述目标视频相关联的文本的文本向量,上述目标视频的视频特征;根据上述视频相关信息,从视频库中检索出至少一个视频。
第二方面,本公开的一些实施例提供了一种用于检索视频的装置,装置包括:获取单元,被配置成获取目标视频的视频相关信息,其中,上述视频相关信息包括以下至少一项:与上述目标视频相关联的文本的文本向量,上述目标视频的视频特征;检索单元,被配置成根据上述视频相关信息,从视频库中检索出至少一个视频。
第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一的方法。
第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现如第一方面中任一的方法。
本公开的上述各个实施例中的一个实施例具有如下有益效果:通过基于获取到的目标视频的视频相关信息,去视频库中检索视频,从而有效利用了视频的信息,实现了富于针对性的视频的获取。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1是根据本公开的一些实施例的用于检索视频的方法的一个应用场景的示意图;
图2是根据本公开的用于检索视频的方法的一些实施例的流程图;
图3根据本公开的一些实施例的视频相关信息的获取步骤的示例性流程图;
图4是根据本公开的用于检索视频的方法的又一些实施例的流程图;
图5是根据本公开的用于检索视频的方法的另一些实施例的流程图;
图6是根据本公开的用于检索视频的装置的一些实施例的结构示意图;
图7是适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1是根据本公开的一些实施例的用于检索视频的方法的一个应用场景的示意图。
在图1的应用场景中,用户可以首先选取一个视频,例如一段“美食视频”。之后,电子设备101(图中示出为服务器)可以对上述“美食视频”102进行分析,获取“美食视频”的视频相关信息103。上述视频相关信息可以包括但不限于以下至少一项:与上述“美食视频”相关联的文本(例如“美食视频”的标题)的文本向量104;上述视频的视频特征105。然后,根据获取到的上述视频相关信息,执行步骤106在视频库中检索与上述视频相关信息对应的视频。最后,得到至少一条视频作为检索结果107。
需要说明的是,上述电子设备101可以是硬件,也可以是软件。当电子设备为硬件时,可以实现成多个服务器或终端设备组成的分布式集群,也可以实现成单个服务器或单个终端设备。当电子设备体现为软件时,可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
继续参考图2,示出了根据本公开的用于检索视频的方法的一些实施例的流程200。该用于检索视频的方法,包括以下步骤:
步骤201,获取目标视频的视频相关信息。
在一些实施例中,用于检索视频的方法的执行主体(例如图1所示的电子设备101)可以通过有线连接方式或者无线连接方式,获取目标视频的视频相关信息。其中,上述视频相关信息包括以下至少一项:与上述目标视频相关联的文本的文本向量,上述目标视频的视频特征。
目标视频是符合一定条件的视频。作为示例,目标视频可以是用户观看量比较大的视频,也可以是点击率比较高的或者转发量较多的视频,也可以是后台运营的工作人员手动选定的视频。目标视频相关联的文本可以包括但不限于以下至少一项:上述目标视频的话题,上述目标视频的标题,还从上述目标视频中提取出来的文本。
在一些实施例中,为了得到上述文本的文本向量,可以先将上述文本进行分词操作,获取每个词的词向量。再根据各个词向量得到上述文本的文本向量。在这里,分词操作可以是将连续的字序列(例如,一段文本)切分成一个个单独的字或者词。例如,将文本“苹果树种植”进行切分,变成“苹果树”和“种植”两个词。将切分好的词进行向量映射,每个词都可以得到对应的向量。例如,“苹果树”的向量可以是“0”,“种植”的向量可以是“1”。
然后,可以根据得到的各个词向量,生成述文本的文本向量。例如,可以将上述至少一个词向量输入池化层,得到上述文本的文本向量。特征提取层包括池化(pooling)层,池化层通常位于卷积神经网络(Convolutional Neural Networks,CNN)中,一般在卷积神经网络的卷积层(conv)之后使用。使用pooling技术(池化技术),可以将卷积层后得到的小邻域内的特征点整合得到新的特征。
在一些实施例的一些可选实施方式中,还可以进一步参考图3,其示出了根据本公开的一些实施例的视频相关信息的获取步骤的示例性流程300。如图3所示,步骤201还可以如下进行。
步骤301,获取与目标视频相关联的文本。
与目标视频相关联的文本通常是上述目标视频的话题或者是标题,也可以是从上述目标视频中提取出来的文本。例如,视频中包括语音陈述“水稻的种植方法”,那么提取出来的文本就可以是“水稻的种植方法”。
步骤302,对上述文本进行分词处理,得到至少一个词语。
可以用各种方式(例如使用分词器)对获取到的文本进行分词处理,得到至少一个词语。在这里,词语可以是一个单独的字,也可以是一个至少包括两个字的词语。分词器就是把一个文档切分成词语。作为示例,可以使用各种常见的中文分词器,或者英文分词器。
步骤303,对上述至少一个词语中的每个词语进行词嵌入,得到上述词语的词向量。
词嵌入(Word Embedding)通常是指将自然语言表示的单词转换为计算机能够理解的向量或矩阵形式的技术。以上述例子为例,“苹果树”的词向量可以是“[1,0,0,0,0,0,0,0,0,0]”,“种植”的词向量可以是“[0,1,0,0,0,0,0,0,0,0]”。
步骤304,基于所得到的至少一个词向量,生成上述文本的文本向量作为上述视频相关信息。
在这里,可以将所得到的至少一个词向量中的各个词向量按照每个词向量对应的词在文本中出现的顺序,组合成一个向量矩阵。由此,可以把这个向量矩阵作为上述文本的文本向量。以上述例子为例,根据得到的上述两个词向量,可以得到上述文本的文本向量。文本“苹果树种植”的文本向量如下所示:
步骤202,根据上述视频相关信息,从视频库中检索出至少一个视频。
在一些实施例中,可以基于步骤201中得到的视频相关信息,从预先建立的视频库中检索视频。
作为示例,视频库可以如下构建。
首先,选取视频。
上述视频是工作人员手动从线上获取的浏览量(观看量)达到一定程度的视频。
其次,对于选取的视频,可以抽取视频的文本的特征以及它的视频特征。
作为示例,和同一个话题相关的不同视频通常有一定的相似性。通常,相同话题,相同类型的视频的视频特征有一定相似性的。
最后,关联保存视频,视频的文本向量和视频的视频特征。
由此,构建的视频库中包括视频,视频的文本向量和视频的视频特征。
本公开的一些实施例公开了一种用于检索视频的方法,实现了通过视频的文本向量或通过视频的视频特征或者是通过视频的文本向量和视频的视频特征对视频进行富于针对性的视频的获取,从而提高了视频的获取的准确性和速度。
继续参考图4,示出了根据本公开的用于检索视频的方法的又一些实施例的流程400。该用于检索视频的方法,包括以下步骤:
步骤401,将上述目标视频输入预先训练的推荐模型,得到上述目标视频的视频特征作为上述视频相关信息。
在一些实施例中,用于检索视频的方法的执行主体(例如图1所示的电子设备101)可以将目标视频输入至预先训练的推荐模型,从而得到与上述目标视频对应的视频特征。在这里,视频特征可以是与目标视频类型信息和/或内容信息对应的标识。
在一些实施例中,用于训练的初始推荐模型可以是卷积神经网络,其可以包括特征提取层和分类层。通常,特征提取层可以包括卷积层、池化层等,用于生成视频的特征数据。这里,特征数据可以用于表征诸如视频中的图像的颜色、形状或者是根据视频中的语音提取出来的文本内容等特征。分类层包括全连接层,全连接用于根据特征提取层输出的特征数据生成一个特征向量(例如2048维的向量)。
在一些实施例的一些可选实施方式中,推荐模型可以通过如下步骤训练得到:获取训练样本集合,训练样本包括样本视频和与样本视频对应的样本视频特征;将上述训练样本集合中的训练样本的样本视频作为输入,将与输入的样本视频对应的样本视频特征作为期望输出,训练得到上述推荐模型。
作为一种示例,电子设备可以基于对大量记录有视频和视频特征进行统计而生成存储有多个记录有视频与视频特征的对应关系的对应关系表,并将该对应关系表作为推荐模型。这样,电子设备可以将目标视频与该对应关系表中的多个记录信息依次进行比较,若该对应关系表中的一个信息与目标视频相同或相似,则将该对应关系表中的该信息所对应的视频特征作为目标视频对应的视频特征。
步骤402,根据上述视频相关信息,从视频库中检索出至少一个视频。
在一些实施例中,可以基于步骤401中得到的视频相关信息,从预先建立的视频库中检索视频。作为示例,视频库的构建通常和步骤202中的构建步骤类似。视频库中包括视频,视频的文本向量和视频的视频特征。
本公开的一些实施例公开了一种用于检索视频的方法,实现了通过视频特征对视频进行富于针对性的视频的获取,从而提高了视频的获取速度。
继续参考图5,示出了根据本公开的用于检索视频的方法的另一些实施例的流程500。该用于检索视频的方法,包括以下步骤:
步骤501,获取目标视频的视频相关信息,视频相关信息包括:与所述目标视频相关联的文本的文本向量,所述目标视频的视频特征。
在这里,根据步骤201可以得到目标视频的文本的文本向量。根据步骤401可以得到目标视频的视频特征。将目标视频的文本的文本向量和上述目标视频的视频特征作为目标视频的视频相关信息。
步骤502,根据上述视频相关信息,从视频库中检索出至少一个视频。
在一些实施例中,可以首先确定上述视频相关信息包括上述文本向量和上述视频特征。之后,根据上述文本向量,从上述视频库中检索出第一数目个视频。然后,根据上述视频特征,从上述视频库中检索出第二数目个视频。最后,检索到出的至少一个视频包括第一数目个视频和第二数目个视频。作为示例,根据文本向量去视频库中检索到的视频加上根据推荐向量去视频库中检索到的视频,除去两部分视频中相同的视频,其它的就是检索到的至少一个视频。例如,根据文本向量去视频库中检索到的视频20条,根据推荐向量去视频库中检索到的视频20条,这两种视频中没有相同的视频,那么检索到的视频就一共有40条。
在一些实施例的一些可选实施方式中,可以首先确定上述视频相关信息包括上述文本向量和上述视频特征。之后,根据上述文本向量,从上述视频库中检索出第三数目个视频。然后,对于上述第三数目个视频中的每个视频,确定上述视频特征与上述视频的视频特征的相似度。最后,从上述第三数目个视频中选择视频得到上述至少一个视频。第三数目个视频可以是视频库中所有和上述文本向量相关的视频。作为示例,我们可以先根据目标视频的文本向量,在视频库中检索出100条视频,再根据目标视频的视频特征在已经检索出的100条视频中检索,根据所确定的相似度,检索出相似度大于或等于预先确定的相似度的视频。确定的相似度可以是预先人为设定的。
在一些实施例的一些可选实施方式中,可以首先确定上述视频相关信息包括上述文本向量和上述视频特征。之后,根据上述视频特征,从上述视频库中检索出第四数目个视频。然后,对于上述第四数目个视频中的每个视频,确定上述文本向量与上述视频相关联的文本的文本向量的相似度。最后,根据所确定的相似度,从上述第四数目个视频选择视频得到上述至少一个视频。第四数目个视频可以是视频库中所有和上述视频特征相关的视频。作为示例,我们首先可以根据目标视频的视频特征,从视频库中检索出所有相似视频,在根据目标视频的文本特征在已经检索出来的视频中检索,根据所确定的相似度,检索出相似度大于或等于预先确定的相似度的视频。确定的相似度可以是预先人为设定的。
本公开的实施例公开了一种用于检索视频的方法,实现了通过视频的文本的文本向量和视频的视频特征进行双重检索,从而实现了富于针对性的视频的获取,提高了视频获取的准确性。
进一步参考图6,作为对上述各图上述方法的实现,本公开提供了一种用于检索视频的装置的一些实施例,这些装置实施例与图2上述的那些方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图6所示,一些实施例的用于检索视频的装置600包括:获取单元601和检索单元602。其中,获取单元601,被配置成用于获取目标视频的视频相关信息,其中,上述视频相关信息包括以下至少一项:与上述目标视频相关联的文本的文本向量,上述目标视频的视频特征。检索单元602,被配置成根据上述视频相关信息,从视频库中检索出至少一个视频。
在一些实施例中,用于检索视频的装置600的获取单元601包括:获取模块,被配置成获取与目标视频相关联的文本。分词模块,被配置成对上述文本进行分词处理,得到至少一个词语。生成词向量模块,被配置成对上述至少一个词语中的每个词语进行词嵌入,得到上述词语的词向量。生成文本向量模块,被配置成基于所得到的至少一个词向量,生成上述文本的文本向量作为上述视频相关信息。
在一些实施例中,用于检索视频的装置600的获取单元601包括:将上述目标视频输入预先训练的推荐模型,得到上述目标视频的视频特征作为上述视频相关信息。
在一些实施例中,用于检索视频的装置600的检索单元602包括:第一数目视频模块,被配置成响应于上述视频相关信息包括上述文本向量和上述视频特征,根据上述文本向量,从上述视频库中检索出第一数目个视频。第二数目视频模块,被配置成根据上述视频特征,从上述视频库中检索出第二数目个视频,其中,上述至少一个视频包括上述第一数目个视频和上述第二数目个视频。
在一些实施例中,用于检索视频的装置600的检索单元602包括:第三数目视频模块,被配置成响应于上述视频相关信息包括上述文本向量和上述视频特征,根据上述文本向量,从上述视频库中检索出第三数目个视频。确定模块,被配置成对于上述第三数目个视频中的每个视频,确定上述视频特征与上述视频的视频特征的相似度。选择模块,被配置成根据所确定的相似度,从上述第三数目个视频选择视频得到上述至少一个视频。
在一些实施例中,用于检索视频的装置600的检索单元602包括:第四数目视频模块,被配置成响应于上述视频相关信息包括上述文本向量和上述视频特征,根据上述视频特征,从上述视频库中检索出第四数目个视频。确定模块,被配置成对于上述第四数目个视频中的每个视频,确定上述文本向量与上述视频相关联的文本的文本向量的相似度;选择模块,被配置成根据所确定的相似度,从上述第四数目个视频选择视频得到上述至少一个视频。
在一些实施例中,用于检索视频的装置600的获取单元601中的推荐模型包括:获取模块,被配置成获取训练样本集合,训练样本包括样本视频和与样本视频对应的样本视频特征。得到模块,被配置成将上述训练样本集合中的训练样本的样本视频作为输入,将与输入的样本视频对应的样本视频特征作为期望输出,训练得到上述推荐模型。
下面参考图7,其示出了适于用来实现本公开的一些实施例的电子设备(例如图1中的终端设备)700的结构示意图。本公开的一些实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的终端设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图7所示,电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
通常,以下装置可以连接至I/O接口705:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707;包括例如存储卡等的存储装置708;以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图7中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置709从网络上被下载和安装,或者从存储装置708被安装,或者从ROM 702被安装。在该计算机程序被处理装置701执行时,执行本公开的一些实施例的方法中限定的上述功能。
需要说明的是,本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取目标视频的视频相关信息,其中,上述视频相关信息包括以下至少一项:与上述目标视频相关联的文本的文本向量,上述目标视频的视频特征;根据上述视频相关信息,从视频库中检索出至少一个视频。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元和检索单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取目标视频的视频相关信息的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
根据本公开的一个或多个实施例,提供了一种用于检索视频的方法,包括:获取目标视频的视频相关信息,其中,上述视频相关信息包括以下至少一项:与上述目标视频相关联的文本的文本向量,上述目标视频的视频特征;根据上述视频相关信息,从视频库中检索出至少一个视频。
根据本公开的一个或多个实施例,获取目标视频的视频相关信息,包括:获取与目标视频相关联的文本;对上述文本进行分词处理,得到至少一个词语;对上述至少一个词语中的每个词语进行词嵌入,得到上述词语的词向量;
根据本公开的一个或多个实施例,获取目标视频的视频相关信息,包括:将上述目标视频输入预先训练的推荐模型,得到上述目标视频的视频特征作为上述视频相关信息。
根据本公开的一个或多个实施例,根据上述视频相关信息,从视频库中检索出至少一个视频,包括:响应于上述视频相关信息包括上述文本向量和上述视频特征,根据上述文本向量,从上述视频库中检索出第一数目个视频;根据上述视频特征,从上述视频库中检索出第二数目个视频,其中,上述至少一个视频包括上述第一数目个视频和上述第二数目个视频。
根据本公开的一个或多个实施例,该方法还包括:根据上述视频相关信息,从视频库中检索出至少一个视频,包括:响应于上述视频相关信息包括上述文本向量和上述视频特征,根据上述文本向量,从上述视频库中检索出第三数目个视频;对于上述第三数目个视频中的每个视频,确定上述视频特征与上述视频的视频特征的相似度;根据所确定的相似度,从上述第三数目个视频选择视频得到上述至少一个视频。
根据本公开的一个或多个实施例,根据上述视频相关信息,从视频库中检索出至少一个视频,包括:响应于上述视频相关信息包括上述文本向量和上述视频特征,根据上述视频特征,从上述视频库中检索出第四数目个视频;对于上述第四数目个视频中的每个视频,确定上述文本向量与上述视频相关联的文本的文本向量的相似度;根据所确定的相似度,从上述第四数目个视频选择视频得到上述至少一个视频。
根据本公开的一个或多个实施例,推荐模型通过如下步骤训练得到:获取训练样本集合,训练样本包括样本视频和与样本视频对应的样本视频特征;将上述训练样本集合中的训练样本的样本视频作为输入,将与输入的样本视频对应的样本视频特征作为期望输出,训练得到上述推荐模型。
根据本公开的一个或多个实施例,该装置包括:获取单元,被配置成获取目标视频的视频相关信息,其中,上述视频相关信息包括以下至少一项:与上述目标视频相关联的文本的文本向量,上述目标视频的视频特征;检索单元,被配置成根据上述视频相关信息,从视频库中检索出至少一个视频。
根据本公开的一个或多个实施例,提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上述任一实施例描述的方法。
根据本公开的一个或多个实施例,提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现如上述任一实施例描述的方法。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种用于检索视频的方法,包括:
获取目标视频的视频相关信息,其中,所述视频相关信息包括以下至少一项:与所述目标视频相关联的文本的文本向量,所述目标视频的视频特征;
根据所述视频相关信息,从视频库中检索出至少一个视频。
2.根据权利要求1所述的方法,其中,所述获取目标视频的视频相关信息,包括:
获取与目标视频相关联的文本;
对所述文本进行分词处理,得到至少一个词语;
对所述至少一个词语中的每个词语进行词嵌入,得到所述词语的词向量;
基于所得到的至少一个词向量,生成所述文本的文本向量作为所述视频相关信息。
3.根据权利要求1所述的方法,其中,所述获取目标视频的视频相关信息,包括:
将所述目标视频输入预先训练的推荐模型,得到所述目标视频的视频特征作为所述视频相关信息。
4.根据权利要求1-3之一所述的方法,其中,所述根据所述视频相关信息,从视频库中检索出至少一个视频,包括:
响应于所述视频相关信息包括所述文本向量和所述视频特征,根据所述文本向量,从所述视频库中检索出第一数目个视频;
根据所述视频特征,从所述视频库中检索出第二数目个视频,其中,所述至少一个视频包括所述第一数目个视频和所述第二数目个视频。
5.根据权利要求1-3之一所述的方法,其中,所述根据所述视频相关信息,从视频库中检索出至少一个视频,包括:
响应于所述视频相关信息包括所述文本向量和所述视频特征,根据所述文本向量,从所述视频库中检索出第三数目个视频;
对于所述第三数目个视频中的每个视频,确定所述视频特征与所述视频的视频特征的相似度;
根据所确定的相似度,从所述第三数目个视频选择视频得到所述至少一个视频。
6.根据权利要求1-3之一所述的方法,其中,所述根据所述视频相关信息,从视频库中检索出至少一个视频,包括:
响应于所述视频相关信息包括所述文本向量和所述视频特征,根据所述视频特征,从所述视频库中检索出第四数目个视频;
对于所述第四数目个视频中的每个视频,确定所述文本向量与所述视频相关联的文本的文本向量的相似度;
根据所确定的相似度,从所述第四数目个视频选择视频得到所述至少一个视频。
7.根据权利要求3所述的方法,其中,所述推荐模型通过如下步骤训练得到:
获取训练样本集合,训练样本包括样本视频和与样本视频对应的样本视频特征;
将所述训练样本集合中的训练样本的样本视频作为输入,将与输入的样本视频对应的样本视频特征作为期望输出,训练得到所述推荐模型。
8.一种用于检索视频的装置,包括:
获取单元,被配置成获取目标视频的视频相关信息,其中,所述视频相关信息包括以下至少一项:与所述目标视频相关联的文本的文本向量,所述目标视频的视频特征;
检索单元,被配置成根据所述视频相关信息,从视频库中检索出至少一个视频。
9.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN201910916807.2A 2019-09-26 2019-09-26 用于检索视频的方法、装置、电子设备和计算机可读介质 Pending CN110598049A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910916807.2A CN110598049A (zh) 2019-09-26 2019-09-26 用于检索视频的方法、装置、电子设备和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910916807.2A CN110598049A (zh) 2019-09-26 2019-09-26 用于检索视频的方法、装置、电子设备和计算机可读介质

Publications (1)

Publication Number Publication Date
CN110598049A true CN110598049A (zh) 2019-12-20

Family

ID=68863617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910916807.2A Pending CN110598049A (zh) 2019-09-26 2019-09-26 用于检索视频的方法、装置、电子设备和计算机可读介质

Country Status (1)

Country Link
CN (1) CN110598049A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590881A (zh) * 2021-08-09 2021-11-02 北京达佳互联信息技术有限公司 视频片段检索方法、视频片段检索模型的训练方法及装置
WO2023083341A1 (en) * 2021-11-12 2023-05-19 Huawei Technologies Co., Ltd. Systems and methods for video retrieval and grounding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559196A (zh) * 2013-09-23 2014-02-05 浙江大学 一种基于多核典型相关分析的视频检索方法
CN106126619A (zh) * 2016-06-20 2016-11-16 中山大学 一种基于视频内容的视频检索方法及系统
CN107066621A (zh) * 2017-05-11 2017-08-18 腾讯科技(深圳)有限公司 一种相似视频的检索方法、装置和存储介质
CN108228915A (zh) * 2018-03-29 2018-06-29 华南理工大学 一种基于深度学习的视频检索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559196A (zh) * 2013-09-23 2014-02-05 浙江大学 一种基于多核典型相关分析的视频检索方法
CN106126619A (zh) * 2016-06-20 2016-11-16 中山大学 一种基于视频内容的视频检索方法及系统
CN107066621A (zh) * 2017-05-11 2017-08-18 腾讯科技(深圳)有限公司 一种相似视频的检索方法、装置和存储介质
CN108228915A (zh) * 2018-03-29 2018-06-29 华南理工大学 一种基于深度学习的视频检索方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590881A (zh) * 2021-08-09 2021-11-02 北京达佳互联信息技术有限公司 视频片段检索方法、视频片段检索模型的训练方法及装置
CN113590881B (zh) * 2021-08-09 2024-03-19 北京达佳互联信息技术有限公司 视频片段检索方法、视频片段检索模型的训练方法及装置
WO2023083341A1 (en) * 2021-11-12 2023-05-19 Huawei Technologies Co., Ltd. Systems and methods for video retrieval and grounding
US11698926B2 (en) 2021-11-12 2023-07-11 Huawei Technologies Co., Ltd. Systems and methods for video retrieval and grounding

Similar Documents

Publication Publication Date Title
CN109919244B (zh) 用于生成场景识别模型的方法和装置
CN112364860B (zh) 字符识别模型的训练方法、装置和电子设备
US11758088B2 (en) Method and apparatus for aligning paragraph and video
CN111414543B (zh) 用于生成评论信息序列的方法、装置、电子设备和介质
CN110990598B (zh) 资源检索方法、装置、电子设备及计算机可读存储介质
CN109816023B (zh) 用于生成图片标签模型的方法和装置
CN112883968A (zh) 图像字符识别方法、装置、介质及电子设备
CN109934142B (zh) 用于生成视频的特征向量的方法和装置
CN113449070A (zh) 多模态数据检索方法、装置、介质及电子设备
CN111897950A (zh) 用于生成信息的方法和装置
CN112182255A (zh) 用于存储媒体文件和用于检索媒体文件的方法和装置
CN110634050B (zh) 一种鉴别房源类型的方法、装置、电子设备及存储介质
CN113204691A (zh) 一种信息展示方法、装置、设备及介质
CN112949430A (zh) 视频处理方法和装置、存储介质和电子设备
CN112766284A (zh) 图像识别方法和装置、存储介质和电子设备
US20230367972A1 (en) Method and apparatus for processing model data, electronic device, and computer readable medium
CN110598049A (zh) 用于检索视频的方法、装置、电子设备和计算机可读介质
CN109816670B (zh) 用于生成图像分割模型的方法和装置
CN112214695A (zh) 信息处理方法、装置和电子设备
WO2022121859A1 (zh) 口语信息处理方法、装置和电子设备
CN115292487A (zh) 基于朴素贝叶斯的文本分类方法、装置、设备和介质
CN114625876A (zh) 作者特征模型的生成方法、作者信息处理方法和装置
CN113420723A (zh) 获取视频热点的方法、装置、可读介质和电子设备
CN114239501A (zh) 合同生成方法、装置、设备及介质
CN110688529A (zh) 用于检索视频的方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191220