CN104915433A - 一种影视视频检索方法 - Google Patents

Abstract

一种影视视频检索方法，涉及一种利用台本与字幕检索视频片段的方法，具有视频检测提取、对白信息提取标记、台本镜头搜索关键字获取、对话信息对白信息匹配、视频镜头与台本镜头匹配、视频镜头搜索关键字获取等步骤。与现有技术相比，本发明的有益效果是：通过视频的对白信息和完成台本的对话信息让视频镜头与台本镜头相对应，在检索时只要检索到台本镜头就能关联到视频镜头，既可以直接通过文字检索出视频片段，解决了以往视频片段无法直接检索，需要通过观看视频寻找相应视频片段的问题。

Description

一种影视视频检索方法

技术领域

 一种影视视频检索方法，尤其是一种利用完成台本与字幕检索视频片段的方法。

背景技术

电影视频是高度综合了时间艺术和空间艺术的功能和特征，通过不断运动变化的画面表现运动发展的人和事物，因而电影具有再现客观时间和反映事件的一门艺术。电影内容非常丰富多样，包括各个国家、民族的礼仪习俗、宗教信仰、人文精神和自然的衍进、特定时代的文化风貌、各个国家、地区的各个时期发生的重大历史事件等。通过看电影可以开阔人们的视野、增长人们的见识，了解社会，了解历史等，因此电影视频是人们获取信息资源的重要来源。电影除了可以给人们提供大量的信息资源外，还可以娱乐人们的生活，特别随着现代科学技术的越来越发达，人们的生活节奏愈来愈快，压力越来越大，人们越来越倾向于简单、方便、快捷的方法来放松、调节自己的心情和丰富人们的娱乐生活，而通过看电影来放松人们的心情和丰富人们的娱乐生活是目前比较方便、有效和快捷的方法之一。

为了贴近民生、提升更高的商业价值，目前电影产业界以及各大影视网站都在陆续加大对电影视频投入的力度，致使电影视频数量以及其快速的速度在增长。但是目前对电影视频处理技术的发展并没有像电影视频数量增长发展的这么快，导致目前对电影视频的管理和应用带来许多问题，其中比较突出的问题是对电影视频的检索。人们往往喜欢在海量的电影视频库中检索感兴趣的视频片段，但是由于目前技术的限制，让计算机在海量的电影视频库中自动的检索到用户感兴趣的视频片段还无法完成，目前用户只能依靠快进、快退等手工方法进行检索，非常费时耗力，检索到的结果也不一定很理想。

发明内容

    本发明针对现有技术中的不足，提供了一种影视视频检索方法，通过视频的对白信息和完成台本的对话信息让视频镜头与台本镜头相对应，在检索时只要检索到台本镜头就能关联到视频镜头，既可以直接通过文字检索出视频片段，解决了以往视频片段无法直接检索，需要通过观看视频寻找相应视频片段的问题。

本发明通过以下技术方案实现：一种影视视频检索方法，包括视频语义数据库、完整视频以及与完整视频相对应的完成台本，包含以下几个步骤：

步骤A）：对所述完整视频进行镜头边界检测，提取所有视频镜头，按视频播放时间顺序对所述视频镜头进行时间位置标记；

步骤B）：提取所述完整视频中的对白信息，按视频播放时间顺序对每句所述对白信息进行时间位置标记，使得每句所述对白信息根据时间位置标记与相应的所述的视频镜头关联；

步骤C）：提取完成台本中的所有台本镜头，根据所述视频语义数据库对所述台本镜头进行语义分析并赋予所述台本镜头若干个搜索关键字，然后让所述台本镜头中的对话信息与所述对白信息进行匹配，如果所述台本镜头的所述对话信息与若干句所述对白信息相同，则此所述台本镜头与此若干句所述对白信息相关联的所述视频镜头对应并将此所述台本镜头的搜索关键字赋予此所述视频镜头；

步骤D）：在检索时进行关键词判断，提取任一所述搜索关键字与搜索词相同或相近的视频镜头。

上述技术方案中，优选的，在步骤B中提取所述完整视频中所述对白信息的方法包括语音识别方法、图形识别法和文本识别法。

上述技术方案中，优选的，所述的语音识别方法为在所述完整视频播放中识别所述完整视频播放的声音信息并对所述声音信息进行文本转换和记录。

上述技术方案中，优选的，所述的图形识别方法为在所述完整视频播放中识别所述完整视频播放时每一帧的字幕并对所述图片字幕信息进行文本转换和记录。

上述技术方案中，优选的，所述的文本识别法为直接提取字幕文本中的对白信息。

上述技术方案中，优选的，所述的步骤C）中，所述的台本镜头中任一连续三句所述的对话信息与任一连续三句所述的对白信息相同，则此所述台本镜头与此所述对白信息相关联的所述视频镜头对应；如果所述的台本镜头中所述的对话信息不超过三句，则所述的台本镜头中全部的所述对话信息与任一连续或不连续的所述对白信息相同，则此所述台本镜头与此所述对白信息的对应所述视频镜头相对应。

上述技术方案中，优选的，所述的台本镜头对应一个所述的视频镜头或对应若干个连续的所述的视频镜头。

完成台本是视频领域所特有的，包含了视频中丰富的语义信息，可以为视频提供充分的语义资源，例如视频中的场景、人物、对象和动作等语义信息在台本中都明确给出，由于完成台本是文本格式，在现有技术中可以非常方便的检索出台本的任何内容。完成台本内的台本镜头都与视频镜头相对应，但是在视频预处理的过程中，由于目前技术的限制，预处理中的视频镜头边界检测达不到百分之百的准确率，错误的镜头边界检测或漏掉的镜头边界检测都会导致视频镜头和台本镜头不相对应。同时视频片段一般包括多个镜头，而在台本中往往是用一个镜头来记录的，在该情况下也将导致视频镜头和台本镜头不一致。而且如果视频在传播过程中被损坏，比如视频中的部分视频段被删除或者修改，或者在视频中增加了一段视频段，也将导致电影中的每个镜头和完成台本中的每个镜头不相互对应。所以为了能够准确、有效的依据台本中记录的内容来搜索视频片段，本发明通过视频和台本共有的对白信息（对话信息）作为中间纽带关联视频镜头和台本镜头。（本申请中对话信息等同于对白信息，为区分所在文件的不同故在完成台本中称对话信息，在视频中称对白信息。）

完成台本中记录的信息包含了视频中的所有内容，其中也包含了视频中的对白信息，对白信息可以帮助我们解决台本镜头和视频镜头的关联问题，所以本发明把对话信息从完成台本中分离出来。对话信息的特点是用双引号引起来的，只要把完成台本中用双引号引起来的内容单独分离出来，即可实现从完成台本中分离出对话信息。视频本身就带有对白信息， 视频本身的对白信息有时内嵌的视频文件中，有时是外链的文本文件，这些文本文件还包含了相应对白信息的时间位置。首先对电影视频中的对白信息进行提取，主要提取视频中每句对白信息的内容和对白信息在视频中位置的分布，即确定每句对白信息所对应的视频的镜头。目前对于视频中对白信息提取的方法可以有三种方式:1用语音识别方法进行提取，2图形格式的对白字幕用视频中字幕识别的方法进行提取，3文本格式的电影对白信息。该三种方法都可以有效的实现视频中对白内容和对白在视频中位置分布的提取。提取出对话信息和对白信息后比对对话信息和对白信息就能让台本镜头和视频镜头相关联。由于不同镜头中经常会出现重复的对白信息（对话信息），为了保证台本镜头和视频镜头关联的准确性，通常需要连续的对话信息和连续的对白信息相同才能认定台本镜头和视频镜头的关联，同时对话信息可能出于一个台本镜头内而匹配的对白信息出于几个连续的视频镜头内，则此时一个台本镜头可以对应几个连续的视频镜头。台本镜头与视频镜头对应后，台本镜头根据视频语义数据库获得的搜索关键字就可以赋予到视频镜头，让视频镜头也具有搜索关键字，在进行检索时，对视频镜头的检索就可以利用关键字进行直接语义检索，这样极大的减少了视频片段检索的难度。

本发明的检索技术具有广泛的应用前景，无论对视频处理技术和大众传媒技术的发展，还是对影视制作、生活娱乐等都有一定的促进和发展作用。本发明可以应用于：1)用户视频片段检索。对于普通的观众用户，可以基于语义概念层次上直接对电影视频进行检索，能够在海量的电影视频中快速、有效地检索和浏览感兴趣的电影片段，诸如用户用语义概念检索含有“某两人看日出” 的视频片段或者检索具有“武打动作”的视频片段等。 2) 影视制作。在电影的制作过程中，一部电影不可能从头至尾都是通过实地拍摄获得，有很多镜头虽然可以通过实地拍摄来获得，但拍摄成本太高，不实际也没必要，因为这些镜头可以借助大量的资料镜头、景物镜头来补充情节、深化主题、渲染情绪等。资料镜头、景物镜头在电影制作中起着非常重要的作用，但在海量的视频镜头中检索所需要的资料镜头和景物镜头是比较困难的，这时通过本方法来检索，就可以快速，准确地检索到所需要的资料镜头或景物镜头了，可以有效的提高电影剪辑的效率。另外，在电影剪辑中，对于每一部电影拍摄都难以保证万无一失，不出任何差错或漏洞，这时需要或多或少地借用一些不是这个环境、不是这个情节、甚至不是这部电影所拍摄的镜头来解决缺镜问题[，这种情况也被称作借用镜头。借用镜头在多数影视的创作中都会遇到，但如何找到恰到好处的借用镜头在电影制作中是非常重要的。同样，通过本方法来进行检索，可有效的检索所需要的借用镜头，提高了电影的制作质量，弥补拍摄的失误，从而大大减少制作成本、时间、人力和物力。3) 电影评论。电影评论的目的是从多方面对影片进行评价，这些方面主要包括总体体现、艺术表现、导演水平、摄影水平、演员水平、特技效果等。这一类要求对影片进行更细致、更局部的查询。通过本方法的检索，可以使电影评论者根据自己的需要快速、准确地找到自己需要的视频片段或者视频的局部信息，对电影进行评价。例如，电影评论者通过语义概念检索“某演员哭泣”的镜头来评价该演员的演技情况，或通过语义概念检索电影中的变形的镜头来评价影片的特技效果等等。4) 电影管理。影片管理员可以直接通过语义概念来检索某影片的信息，通过所检索到的信息对影片做一些统计数字等，所以本方法也大大的方便了影片管理员的工作。

与现有技术相比，本发明的有益效果是：通过视频的对白信息和完成台本的对话信息让视频镜头与台本镜头相对应，在检索时只要检索到台本镜头就能关联到视频镜头，既可以直接通过文字检索出视频片段，解决了以往视频片段无法直接检索，需要通过观看视频寻找相应视频片段的问题。

具体实施方式

下面结合具体实施方式，对本发明作进一步描述。

首先建立视频语义数据库，然后对完整视频都进行镜头边界检测，提取所有视频镜头，并把视频镜头按播放顺序进行存储。然后提取完整视频中的对白信息，对白信息提取可以通过语音识别方法、图形识别法和文本识别法提取。通常而言使用文本识别法，利用完整视频外带的文本字幕文件获得对白信息及对白信息的时间位置标记，然后通过时间位置标记使对白信息和视频镜头关联。再然后提取完成台本中的所有台本镜头，通过视频语义数据库分析台本镜头并赋予台本镜头若干关键字。提取台本镜头中的对话信息，让台本镜头中的对话信息与对白信息进行匹配，匹配时只要台本镜头中任一连续三句对话信息与任一连续三句对白信息相同，则此台本镜头与此对白信息相关联的视频镜头对应；连续三句对白信息可以都在同一视频镜头内，这样做因为实际中一个台本镜头会被分成若干个视频镜头，而这些视频镜头组合在一起才能形成一个完整的语义，比如“武打”，在一个台本镜头中具有一整套的武打动作，而在台本镜头中又把这些武打动作分成了7个视频镜头，实际上一个台本镜头要对应7个视频镜头，这7个视频镜头组合在一起才能成为一个完整的台本镜头。不仅如此在进行镜头边界检测时有可能出错，把一个完整的视频镜头分成了若干个连续的视频镜头，本发明的这种匹配方式保证了台本镜头可以完整对应相应的视频镜头。如果台本镜头中对话信息不超过三句，则台本镜头中全部的对话信息与任一连续或不连续的对白信息相同，则此台本镜头与此对白信息的对应视频镜头相对应。这样设置，因为对白信息（对话信息）中具有大量重复的对白（对话），如果只是单一句对白信息（对话信息）进行匹配容易让台本镜头对应到许多错误的视频镜头，采用连续三句对话信息（对白信息）匹配可以剔除大多数错误对应。但是如果台本镜头中的对话信息越少则对应的精度越差，很容易关联到错误的视频镜头。当台本镜头具有相对应的视频镜头或视频片段后，把台本镜头具有的搜索关键字赋予到相应的视频镜头或视频片段上。

使用时，只需要输入关键字进行语义查询就能找到相关联的视频片段。比如搜寻“日出”，直接让搜索词“日出”与视频镜头或视频片段具有的搜索关键字进行语义比对，可以直接得出相关视频镜头或视频片段。

Claims (7)

1. 一种影视视频检索方法，包括视频语义数据库、完整视频以及与完整视频相对应的完成台本，其特征为包含以下几个步骤：步骤A）：对所述完整视频进行镜头边界检测，提取所有视频镜头，按视频播放时间顺序对所述视频镜头进行时间位置标记；步骤B）：提取所述完整视频中的对白信息，按视频播放时间顺序对每句所述对白信息进行时间位置标记，使得每句所述对白信息根据时间位置标记与相应的所述的视频镜头关联；步骤C）：提取完成台本中的所有台本镜头，根据所述视频语义数据库对所述台本镜头进行语义分析并赋予所述台本镜头若干个搜索关键字，然后让所述台本镜头中的对话信息与所述对白信息进行匹配，如果所述台本镜头的所述对话信息与若干句所述对白信息相同，则此所述台本镜头与此若干句所述对白信息相关联的所述视频镜头对应并将此所述台本镜头的搜索关键字赋予此所述视频镜头；步骤D）：在检索时进行关键词判断，提取任一所述搜索关键字与搜索词相同或相近的视频镜头。

2.根据权利要求1所述的一种影视视频检索方法，其特征为，在步骤B中提取所述完整视频中所述对白信息的方法包括语音识别方法、图形识别法和文本识别法。

3.根据权利要求2所述的一种影视视频检索方法，其特征为，所述的语音识别方法为在所述完整视频播放中识别所述完整视频播放的声音信息并对所述声音信息进行文本转换和记录。

4.根据权利要求2所述的一种影视视频检索方法，其特征为，所述的图形识别方法为在所述完整视频播放中识别所述完整视频播放时每一帧的字幕并对所述图片字幕信息进行文本转换和记录。

5.根据权利要求2所述的一种影视视频检索方法，其特征为，所述的文本识别法为直接提取字幕文本中的对白信息。

6.根据权利要求1所述的一种影视视频检索方法，其特征为，所述的步骤C）中，所述的台本镜头中任一连续三句所述的对话信息与任一连续三句所述的对白信息相同，则此所述台本镜头与此所述对白信息相关联的所述视频镜头对应；如果所述的台本镜头中所述的对话信息不超过三句，则所述的台本镜头中全部的所述对话信息与任一连续或不连续的所述对白信息相同，则此所述台本镜头与此所述对白信息的对应所述视频镜头相对应。

7.根据权利要求6所述的一种影视视频检索方法，其特征为，所述的台本镜头对应一个所述的视频镜头或对应若干个连续的所述的视频镜头。