CN102867042A - 多媒体文件搜索方法及装置 - Google Patents

Abstract

本发明公开了多媒体文件搜索方法及装置，其中，所述方法包括：获取多媒体文件的文本辅助信息文件，所述文本辅助信息文件中保存有多媒体文件的文本内容以及对应的时间点信息；基于所述文本辅助信息文件中的文本内容为所述多媒体文件建立索引；当接收到搜索关键词时，获取包含有所述搜索关键词的第一目标文本辅助信息文件，并确定出所述搜索关键词在所述第一目标文本辅助信息文件中所在位置处的时间值；根据所述第一目标文本辅助信息文件确定对应的第一目标多媒体文件，并返回所述第一目标多媒体文件中对应时间值处的相关信息。通过本发明，能够实现对多媒体文件的全文搜索。

Description

多媒体文件搜索方法及装置

技术领域

本发明涉及搜索技术领域，特别是涉及多媒体文件搜索方法及装置。

背景技术

随着因特网的普及，大量的信息迅速累积并被广泛使用。因此，时空距离不再是人们存取与使用信息的最大障碍，取而代之的问题是缺乏有效率的方式在浩瀚的因特网中寻找想要的信息。

信息检索技术因为能够提供使用者便捷的方式存取和使用想要的信息，因此近些年来格外受到重视。直到现在为止，大部分信息检索的研究都是以文字性的查询指令去检索文字形式的信息为主，也就是做文字与文件间的比对。但是，目前，传统文字形式之外的影音多媒体信息如广播、电视节目、视频等，大量地出现在因特网上，显然已成为文字信息之外非常重要的信息来源。但是，在绝大部分情况下，语音是这些多媒体信息最主要的组成部分，因此，起初对于多媒体文件的检索一般仅限于文件名的检索。例如，以某多媒体文件的文件名作为查询词进行搜索时，一般可以返回完整的多媒体文件，或者相关的评论信息等等。

然而在实际应用中，人们有时候仅需要查看某多媒体文件中的某个片段，此时，在现有技术下，一般只能先找到该多媒体文件，然后凭记忆确定出想要看的片段的大概位置，再在视频中一段一段的查找，直到听到对应的对白或者看到对应的字幕，才能确定找到了目标片段。整个查找过程非常繁琐，并且用户经过一段时间的查找之后也不一定能找到想要的片段，浪费了时间。

发明内容

本发明提供了多媒体文件搜索方法及装置，能够实现对多媒体文件的全文搜索。

本发明提供了如下方案：

一种多媒体文件搜索方法，包括：

获取多媒体文件的文本辅助信息文件，所述文本辅助信息文件中保存有多媒体文件的文本内容以及对应的时间点信息；

基于所述文本辅助信息文件中的文本内容为所述多媒体文件建立索引；

当接收到搜索关键词时，获取包含有所述搜索关键词的第一目标文本辅助信息文件，并确定出所述搜索关键词在所述第一目标文本辅助信息文件中所在位置处的时间值；

根据所述第一目标文本辅助信息文件确定对应的第一目标多媒体文件，并返回所述第一目标多媒体文件中对应时间值处的相关信息。

可选地，所述返回所述第一目标多媒体文件中对应时间值处的相关信息包括：

返回所述第一目标多媒体文件及其属性值、目标文本辅助信息文件中包含所述搜索关键词的文本内容及其对应的时间值。

可选地，所述返回所述第一目标多媒体文件中对应时间值处的相关信息包括：

返回所述第一目标多媒体文件中对应时间值处预置时间段内的文件片段。

可选地，所述多媒体文件包括视频文件，所述返回所述第一目标多媒体文件中对应时间值处的相关信息包括：

返回所述第一目标多媒体文件中对应时间值处的视频截图。

可选地，还包括：

当接收到搜索关键词时，通过查询预置的语义相关词语数据库，获取与所述搜索关键词语义相关的相关关键词；

获取包含有所述相关关键词的第二目标文本辅助信息文件，并确定出所述相关关键词在所述第二目标文本辅助信息文件中所在位置处的时间值；

根据所述第二目标文本辅助信息文件确定对应的第二目标多媒体文件，并返回所述第二目标多媒体文件中对应时间值处的相关信息。

可选地，所述获取多媒体文件的文本辅助信息文件包括：

从预置的文本辅助信息文件资源库中，为各个多媒体文件选择匹配的文本辅助信息文件。

一种多媒体文件搜索装置，包括：

文本辅助信息文件获取单元，用于获取多媒体文件的文本辅助信息文件，所述文本辅助信息文件中保存有多媒体文件的文本内容以及对应的时间点信息；

索引建立单元，用于基于所述文本辅助信息文件中的文本内容为所述多媒体文件建立索引；

第一搜索单元，用于当接收到搜索关键词时，获取包含有所述搜索关键词的第一目标文本辅助信息文件，并确定出所述搜索关键词在所述第一目标文本辅助信息文件中所在位置处的时间值；

第一信息返回单元，用于根据所述第一目标文本辅助信息文件确定对应的第一目标多媒体文件，并返回所述第一目标多媒体文件中对应时间值处的相关信息。

可选地，所述第一信息返回单元包括：

文本信息返回子单元，用于返回所述第一目标多媒体文件及其属性值、目标文本辅助信息文件中包含所述关键词的文本内容及其对应的时间值。

可选地，所述第一信息返回单元包括：

文件片段返回子单元，用于返回所述第一目标多媒体文件中对应时间值处预置时间段内的文件片段。

可选地，所述多媒体文件包括视频文件，所述第一信息返回单元包括：

视频截图返回子单元，用于返回所述第一目标多媒体文件中对应时间值处的视频截图。

可选地，还包括：

关键词扩展单元，用于当接收查询关键词时，通过查询预置的语义相关词语数据库，获取与所述关键词语义相关的相关关键词；

第二搜索单元，用于获取包含有所述相关关键词的第二目标文本辅助信息文件，并确定出所述相关关键词在所述第二目标文本辅助信息文件中所在位置处的时间值；

第二信息返回单元，用于根据所述第二目标文本辅助信息文件确定对应的第二目标多媒体文件，并返回所述第二目标多媒体文件中对应时间值处的相关信息。

可选地，所述文本辅助信息文件获取单元具体用于：

从预置的文本辅助信息文件资源库中，为各个多媒体文件选择匹配的文本辅助信息文件。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

通过本发明，可以通过将多媒体文件与其文本辅助信息文件进行绑定，从而可以通过搜索关键词在文本辅助信息文件中的时间点，准确找到其在多媒体文件中的时间点，进而就可以将多媒体文件中对应时间点上的相关信息返回给用户，从而可以实现对多媒体文件的全文搜索，使得用户可以准确地找到某片段，或者某个画面、某句台词等等，极大地方便了用户的应用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的方法的流程图；

图2是本发明实施例提供的方法中一界面示意图；

图3是本发明实施例提供的方法中另一界面示意图；

图4是本发明实施例提供的装置的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，本发明实施例提供的多媒体文件搜索方法可以包括以下步骤：

S101：获取多媒体文件的文本辅助信息文件，所述文本辅助信息文件中保存有多媒体文件的文本内容以及对应的时间点信息；

在本发明实施例中，多媒体文件可以包括视频文件（即既有声音又有图像的文件，例如RMVB等格式的电影、电视剧文件等）、音频文件（即只有声音没有图像的文件，例如MP3等格式的歌曲文件等），其中，关于视频文件，文本辅助信息文件可以是指SRT等格式的字幕文件，这些字幕文件作为视频资源的精确补充，通常包含了台词出现的特定时间和台词的中英文文本信息，还可能包括场景解释、人物解释等；关于音频文件，文本辅助信息文件可以是指LRC等格式的歌词文件等等。这些文件一般都是由专业人员制作的，具有较高的准确性，因此，在本发明实施例中，可以以这些文本辅助信息文件为基础对多媒体文件进行搜索。

具体实现时，一般会存在一些专门提供文本辅助信息文件的数据库、网站等，因此，为了给多媒体文件匹配文本辅助信息文件，在本发明实施例中，首先通过下载等方式获取到文本辅助信息文件资源库，这种资源库中保存了大量的文本辅助信息文件，每个文件具有自己的文件名。同时，还可以获取到全量的多媒体文件库。一般情况下，为了能够正确加载到多媒体文件中使用，这些文本辅助信息文件的文件名，与对应的多媒体文件的文件名都是相同的，因此，可以根据文件名匹配的方式，为各个多媒体文件匹配文本辅助信息文件。当然，可能也不排除某视频文件的文件名与其字幕文件的文件名不完全相同的情况，或者不能一一对应的情况（例如出现同名的影片等），此时，还可以利用资源库中的一些属性信息进行进一步地匹配。例如，如果字幕文件的文件名在资源库中名称唯一，且与某电影的名称相对应，则将此字幕文件和唯一名称的电影绑定。如果字幕文件的文件名在的电影资源库中存在同名，则通过字幕时长等属性信息与电影资源库中的同名影片一一比对，若存在匹配则绑定。总之，上述属性信息可以包括电影、电视剧等的名称、年代、导演、演员、时长、地区等信息，在实现本发明过程中这些信息可以作为辅助，将大批量的字幕文件与大批量的电影、电视剧等文件快速的一一匹配起来。

S102：基于所述文本辅助信息文件中的文本内容为所述多媒体文件建立索引；

在为多媒体文件匹配了文本辅助信息文件之后，就可以将文本辅助信息中的文本内容进行分词等处理，从而建立起对多媒体文件的索引。具体的建立索引的过程可以参见已有技术中的方法，这里不再赘述。

S103：当接收到搜索关键词时，获取包含有所述搜索关键词的第一目标文本辅助信息文件，并确定出所述搜索关键词在所述第一目标文本辅助信息文件中所在位置处的时间值；

在根据文本辅助信息文件为多媒体文件建立起索引之后，就可以实现对多媒体文件的全文检索，例如，搜索其中的某个片段等等。具体在检索时，用户可以输入检索关键词，在接收到关键词之后，就可以首先在文本辅助信息文件中进行检索，找到包含关键词的文本辅助信息文件，并确定出关键词在该文件中出现的位置，该位置可以用时间点来表示。

S104：根据所述第一目标文本辅助信息文件确定对应的第一目标多媒体文件，并返回所述第一目标多媒体文件中对应时间值处的相关信息。

在找到了关键词位于某文本辅助信息文件的某时间点处之后，就可以找到与该文本辅助信息文件绑定的多媒体文件，然后从该多媒体文件对应时间点处取出相关的信息，如，触发搜索词的字幕、搜素结果出现的时间、搜索结果时间所在视频的图片或者视频片段等，然后根据这些返回结果进行特定展现和操作。

例如，某字幕文件的文件内容如下：

Dialogue:Marked=0,0:02:49.54,0:02:51.66,紧急通知

Dialogue:Marked=0,0:02:50.04,0:02:51.66,发现外太空活动轨迹

Dialogue:Marked=0,0:02:50.54,0:02:51.66,侦测月球发生撞击

Dialogue:Marked=0,0:02:51.04,0:02:51.66,于格林威治时间22:50接触地外智慧

假设搜索关键词为“月球”，则通过文本搜索，发现“侦测月球发生撞击”中包含“月球”，于是就可以返回这段对白对应的开始和结束时间：Marked=0,0:02:50.54,0:02:51.66，通过该时间点去与该字幕文件绑定的影片中进行截图、或者视频截断，然后返回搜索结果。

当然，在具体实现时，也可以是在选中某多媒体文件，或者播放某多媒体文件的过程中，搜索其中的某个片段。例如，在传统播放器看《动物世界》的时候，输入关键词“狮子”，则可以找到与该多媒体文件绑定的字幕文件，在字幕文件中找到该关键词出现的时间点，如果多个时间点上都出现了该关键词，则可以得到一系列结果，然后将这一系列时间点在进度条上显示，还可以同时显示各个时间点的截图等等，从而完成快速定位或其他操作。

总之，在返回搜索结果时，可以有多种实现方式。例如，其中一种方式可以是返回匹配的多媒体文件及其属性值、包含搜索关键词的文本内容及其对应的时间值等等，这些信息可以以文本的方式显示给用户，如图2所示，当用户输入关键词“外星战舰”时，得到与之匹配的是“我恨我的坏女儿”这部电影，“外星战舰”分别出现在电影的第30分39秒处，以及第32分40秒处，其中，第一处的台词包括“罗拉，快看海上有艘外星战舰”，第二处的台词是“这外星战舰多少钱啊，我也想买一个”，因此，就可以将这些信息以文本的形式展现给用户，同时，可以展现关于该影片的属性信息，包括主要演员、导演、地区、类型等等。

或者，在另一种方式下，还可以返回匹配的多媒体文件中对应时间值处预置时间段内的文件片段，例如，匹配时间点前后30秒，等等。如图3所示，仍以搜索“外星战舰”为例，由于发现电影的第30分39秒处出现了该关键词，于是可以从电影中截取该时间点前后30秒作为一个视频片段，将该片段返回给用户，同时可以提供播放等控制按钮，用户可以选择播放该片段。

此外，当多媒体文件为视频文件，则还可以返回匹配的多媒体文件中对应时间值处的视频截图，也即可以从视频文件对应的时间处提取静态图，呈现在搜索结果中。

总之在本发明实施例中，通过将多媒体文件与其文本辅助信息文件进行绑定，从而可以通过搜索关键词在文本辅助信息文件中的时间点，准确找到其在多媒体文件中的时间点，进而就可以将多媒体文件中对应时间点上的相关信息返回给用户，从而可以实现对多媒体文件的全文搜索，使得用户可以准确地找到某片段，或者某个画面、某句台词等等，极大地方便了用户的应用。

另外，在实际应用中，有些用户在输入关键词时可能并不是十分准确，例如，本来是想搜索“外星战舰”，但用户却记成了“外形战船”，此时，用“外形战船”进行搜索时，可能就无法准确找到对应的电影，以及对应的片段。另外，有些情况下，用户可能是想搜索某一类影片，而不是特定的某一个，如果仅仅是以当前输入的关键词进行搜索，可能会使得搜索结果显得不够丰富。因此，本发明实施例在前述搜索技术的基础之上，还可以实现对搜索关键词的扩展，以便提供一种有效的容错机制，同时，还可以丰富搜索结果。具体实现时，可以预置一语义相关词语数据库，这样，在用户输入某关键词时，可以通过查找该数据库找出与该关键词相关的其他词语，这样，在以该关键词进行搜索的同时，还可以用其他的相关关键词进行搜索，得到的搜索结果都可以提供给用户。当然，如果根据用户实际输入的关键词能够得到相关的搜索结果，则可以优先展现这些搜索结果。例如，用户输入关键词“僵尸”，则通过相关扩展可以得到扩展词汇“丧尸、生化病毒”等，基于这些词搜索全库的文本辅助信息文件，并返回符合要求的多媒体文件。

与本发明实施例提供的多媒体文件搜索方法相对应，本发明实施例还提供了一种多媒体文件搜索装置，参见图4，该装置可以包括：

文本辅助信息文件获取单元401，用于获取多媒体文件的文本辅助信息文件，所述文本辅助信息文件中保存有多媒体文件的文本内容以及对应的时间点信息；

索引建立单元402，用于基于所述文本辅助信息文件中的文本内容为所述多媒体文件建立索引；

第一搜索单元403，用于当接收到搜索关键词时，获取包含有所述搜索关键词的第一目标文本辅助信息文件，并确定出所述搜索关键词在所述第一目标文本辅助信息文件中所在位置处的时间值；

第一信息返回单元404，用于根据所述第一目标文本辅助信息文件确定对应的第一目标多媒体文件，并返回所述第一目标多媒体文件中对应时间值处的相关信息。

具体实现时，搜索结果的展现方式可以有多种，例如，在其中一种方式下，所述第一信息返回单元404可以包括：

文本信息返回子单元，用于返回所述第一目标多媒体文件及其属性值、目标文本辅助信息文件中包含所述关键词的文本内容及其对应的时间值。

或者，在另一种实现方式下，所述第一信息返回单元404可以包括：

文件片段返回子单元，用于返回所述第一目标多媒体文件中对应时间值处预置时间段内的文件片段。

此外，当所述多媒体文件包为视频文件时，所述第一信息返回单元404可以包括：

视频截图返回子单元，用于返回所述第一目标多媒体文件中对应时间值处的视频截图。

为了提供一种有效的容错机制，或者为用户提供更为丰富的搜索结果，该装置还可以包括：

关键词扩展单元，用于当接收查询关键词时，通过查询预置的语义相关词语数据库，获取与所述关键词语义相关的相关关键词；

第二搜索单元，用于获取包含有所述相关关键词的第二目标文本辅助信息文件，并确定出所述相关关键词在所述第二目标文本辅助信息文件中所在位置处的时间值；

第二信息返回单元，用于根据所述第二目标文本辅助信息文件确定对应的第二目标多媒体文件，并返回所述第二目标多媒体文件中对应时间值处的相关信息。

在实际应用中，所述文本辅助信息文件获取单元401具体可以用于：

从预置的文本辅助信息文件资源库中，为各个多媒体文件选择匹配的文本辅助信息文件。

总之在本发明实施例提供的上述装置中，通过将多媒体文件与其文本辅助信息文件进行绑定，从而可以通过搜索关键词在文本辅助信息文件中的时间点，准确找到其在多媒体文件中的时间点，进而就可以将多媒体文件中对应时间点上的相关信息返回给用户，从而可以实现对多媒体文件的全文搜索，使得用户可以准确地找到某片段，或者某个画面、某句台词等等，极大地方便了用户的应用。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本发明所提供的多媒体文件搜索方法及装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种多媒体文件搜索方法，包括：

获取多媒体文件的文本辅助信息文件，所述文本辅助信息文件中保存有多媒体文件的文本内容以及对应的时间点信息；

基于所述文本辅助信息文件中的文本内容为所述多媒体文件建立索引；

当接收到搜索关键词时，获取包含有所述搜索关键词的第一目标文本辅助信息文件，并确定出所述搜索关键词在所述第一目标文本辅助信息文件中所在位置处的时间值；

根据所述第一目标文本辅助信息文件确定对应的第一目标多媒体文件，并返回所述第一目标多媒体文件中对应时间值处的相关信息。

2.根据权利要求1所述的方法，所述返回所述第一目标多媒体文件中对应时间值处的相关信息包括：

返回所述第一目标多媒体文件及其属性值、目标文本辅助信息文件中包含所述搜索关键词的文本内容及其对应的时间值。

3.根据权利要求1所述的方法，所述返回所述第一目标多媒体文件中对应时间值处的相关信息包括：

返回所述第一目标多媒体文件中对应时间值处预置时间段内的文件片段。

4.根据权利要求1所述的方法，所述多媒体文件包括视频文件，所述返回所述第一目标多媒体文件中对应时间值处的相关信息包括：

返回所述第一目标多媒体文件中对应时间值处的视频截图。

5.根据权利要求1所述的方法，还包括：

当接收到搜索关键词时，通过查询预置的语义相关词语数据库，获取与所述搜索关键词语义相关的相关关键词；

获取包含有所述相关关键词的第二目标文本辅助信息文件，并确定出所述相关关键词在所述第二目标文本辅助信息文件中所在位置处的时间值；

根据所述第二目标文本辅助信息文件确定对应的第二目标多媒体文件，并返回所述第二目标多媒体文件中对应时间值处的相关信息。

6.根据权利要求1至5任一项所述的方法，所述获取多媒体文件的文本辅助信息文件包括：

从预置的文本辅助信息文件资源库中，为各个多媒体文件选择匹配的文本辅助信息文件。

7.一种多媒体文件搜索装置，包括：

文本辅助信息文件获取单元，用于获取多媒体文件的文本辅助信息文件，所述文本辅助信息文件中保存有多媒体文件的文本内容以及对应的时间点信息；

索引建立单元，用于基于所述文本辅助信息文件中的文本内容为所述多媒体文件建立索引；

第一搜索单元，用于当接收到搜索关键词时，获取包含有所述搜索关键词的第一目标文本辅助信息文件，并确定出所述搜索关键词在所述第一目标文本辅助信息文件中所在位置处的时间值；

第一信息返回单元，用于根据所述第一目标文本辅助信息文件确定对应的第一目标多媒体文件，并返回所述第一目标多媒体文件中对应时间值处的相关信息。

8.根据权利要求7所述的装置，所述第一信息返回单元包括：

文本信息返回子单元，用于返回所述第一目标多媒体文件及其属性值、目标文本辅助信息文件中包含所述关键词的文本内容及其对应的时间值。

9.根据权利要求7所述的装置，所述第一信息返回单元包括：

文件片段返回子单元，用于返回所述第一目标多媒体文件中对应时间值处预置时间段内的文件片段。

10.根据权利要求7所述的装置，所述多媒体文件包括视频文件，所述第一信息返回单元包括：

视频截图返回子单元，用于返回所述第一目标多媒体文件中对应时间值处的视频截图。

11.根据权利要求7所述的装置，还包括：

关键词扩展单元，用于当接收查询关键词时，通过查询预置的语义相关词语数据库，获取与所述关键词语义相关的相关关键词；

第二搜索单元，用于获取包含有所述相关关键词的第二目标文本辅助信息文件，并确定出所述相关关键词在所述第二目标文本辅助信息文件中所在位置处的时间值；

第二信息返回单元，用于根据所述第二目标文本辅助信息文件确定对应的第二目标多媒体文件，并返回所述第二目标多媒体文件中对应时间值处的相关信息。

12.根据权利要求7至11任一项所述的装置，所述文本辅助信息文件获取单元具体用于：

从预置的文本辅助信息文件资源库中，为各个多媒体文件选择匹配的文本辅助信息文件。

Images