CN103731609B - 一种视频播放方法及系统 - Google Patents

Abstract

本发明提供了一种视频播放方法及系统，其中视频播放方法包括：获取目标视频一个以上的采样帧，并提取各采样帧的特征；将提取的各个特征分别与预设映射库中参考帧的特征进行比对，并在比对成功时，获取匹配特征对应的字幕文件，以及，利用所述匹配特征对应的字幕文件对目标视频进行播放，其中所述映射库包括：各参考帧的特征，以及，各参考帧的特征对应的字幕文件，其中各参考帧的特征对应的字幕文件由各参考帧所属的库视频录制得到。通过上述方式，本发明能够保证视频播放时，字幕文件的内容与目标视频的内容相一致。

Description

一种视频播放方法及系统

【技术领域】

本发明涉及视频播放技术，特别涉及一种视频播放方法及系统。

【背景技术】

视频中的字幕能够帮助用户更好地观看视频。目前，在视频中显示字幕的方式有两种，一种是视频文件本身就内置有字幕，直接播放这种内置字幕的视频文件就会显示出相应的字幕，另一种是制作与视频文件对应的分离式字幕文件，当播放视频文件时，加载分离式字幕文件，就可以显示出相应的字幕。

分离式字幕文件更有利于用户观看视频，因为针对相同的视频，可由不同的字幕人员制作字幕文件，用户可以根据自己的需要选择适合自己的字幕文件进行观看。例如同样内容的英文视频，由不同翻译人员译制生成不同版本的字幕文件，用户可以选择翻译质量较高的字幕文件加载到英文视频中观看。但是在采用分离式字幕文件播放视频的这种方式中，由于目标视频内容与字幕相分离，因此在对目标视频进行播放前，需要先获取与目标视频对应的字幕文件。现有的视频播放方法中，先将目标视频名称作为查询关键词，从字幕网站或字幕数据库中获取到与目标视频名称相匹配的字幕文件作为目标视频对应的字幕文件，然后加载获取到的字幕文件到目标视频进行播放。采用上述现有技术播放视频，当多个内容不同的视频同名时，很可能出现播放的视频内容与字幕内容不一致的现象。也就是说，现有技术对视频进行播放时，存在字幕不准确的问题。

【发明内容】

本发明所要解决的技术问题是提供一种视频播放方法及系统，以解决现有视频播放中存在的字幕不准确的问题。

本发明为解决技术问题而采用的技术方案是提供一种视频播放方法，包括：获取目标视频一个以上的采样帧，并提取各采样帧的特征；将提取的各个特征分别与预设映射库中参考帧的特征进行比对，并在比对成功时，获取匹配特征对应的字幕文件，以及，利用所述匹配特征对应的字幕文件对目标视频进行播放，其中所述映射库包括：各参考帧的特征，以及，各参考帧的特征对应的字幕文件，其中各参考帧的特征对应的字幕文件由各参考帧所属的库视频录制得到。

根据本发明之一优选实施例，获取目标视频一个以上的采样帧的步骤包括：根据所述映射库的类型确定采样时段，其中所述映射库的类型由所述映射库中特征代表的参考帧的类型确定；在所述采样时段内以平均时间间隔选取目标视频中不超过设定数目的采样帧，其中所述设定数目为大于1的整数。

根据本发明之一优选实施例，根据所述映射库的类型确定采样时段的步骤包括：当所述映射库为片头类型时，确定所述目标视频的开始时段为采样时段；或者，当所述映射库为片尾类型时，确定所述目标视频的结束时段为采样时段。

根据本发明之一优选实施例，所述映射库进一步包括：各参考帧的特征对应的播放时刻，其中各参考帧的特征对应的播放时刻是各参考帧在所属的库视频中的播放时刻。

根据本发明之一优选实施例，利用所述匹配特征对应的字幕文件对目标视频进行播放的步骤包括：确定所述匹配特征代表的采样帧在目标视频中的播放时刻t1，以及，确定所述匹配特征代表的参考帧在所属的库视频中的播放时刻t2；利用所述t1与所述t2之间的差值，将所述匹配特征对应的字幕文件与目标视频进行对齐；播放对齐的字幕文件和目标视频。

根据本发明之一优选实施例，所述方法进一步包括：在比对失败时，获取与目标视频名称相匹配的字幕文件并利用所述名称相匹配的字幕文件对目标视频进行播放。

本发明还提供了一种视频播放系统，包括：采样单元，获取目标视频一个以上的采样帧；特征提取单元，用于提取各采样帧的特征；比对单元，用于将提取的各个特征分别与预设映射库中参考帧的特征进行比对，其中所述映射库包括：各参考帧的特征，以及，各参考帧的特征对应的字幕文件，其中各参考帧的特征对应的字幕文件由各参考帧所属的库视频录制得到；第一获取单元，用于在所述比对单元比对成功时，获取匹配特征对应的字幕文件；第一播放单元，用于利用所述匹配特征对应的字幕文件对目标视频进行播放。

根据本发明之一优选实施例，所述采样单元包括：时段选取单元，用于根据所述映射库的类型确定采样时段，其中所述映射库的类型由所述映射库中特征代表的参考帧的类型确定；帧选取单元，用于在所述采样时段内以平均时间间隔选取目标视频中不超过设定数目的采样帧，其中所述设定数目为大于1的整数。

根据本发明之一优选实施例，所述时段选取单元确定采样时段的方式包括：当所述映射库为片头类型时，确定所述目标视频的开始时段为采样时段；或者，当所述映射库为片尾类型时，确定所述目标视频的结束时段为采样时段。

根据本发明之一优选实施例，所述映射库进一步包括：各参考帧的特征对应的播放时刻，其中各参考帧的特征对应的播放时刻是各参考帧在所属的库视频中的播放时刻。

根据本发明之一优选实施例，所述第一播放单元包括：时间提取单元，用于确定所述匹配特征代表的采样帧在目标视频中的播放时刻t1，以及，确定所述匹配特征代表的参考帧在所属的库视频中的播放时刻t2；对齐单元，用于利用所述t1与所述t2之间的差值，将所述匹配特征对应的字幕文件与目标视频进行对齐；同步播放单元，用于播放对齐的字幕文件和目标视频。

根据本发明之一优选实施例，所述系统进一步包括：第二获取单元，用于在所述比对单元比对失败时，获取与目标视频名称相匹配的字幕文件；第二播放单元，用于利用所述名称相匹配的字幕文件对目标视频进行播放。

由以上技术方案可以看出，在本发明中，由于映射库中的字幕文件是通过参考帧所属的库视频录制得到的，因此参考帧的特征代表了字幕文件的内容，而目标视频的采样帧的特征代表了目标视频的内容。对目标视频的采样帧和映射库中的参考帧进行基于特征的比对，实际上实现了目标视频的内容与字幕文件的内容之间的比对，与现有技术中目标视频名称与字幕文件名称之间的比对不同，本发明能够保证视频播放时，字幕文件的内容与目标视频的内容是一致的，从而解决视频播放中存在的字幕不准确的问题。

【附图说明】

图1为本发明中视频播放方法的实施例一的流程示意图；

图2为本发明中映射库中数据关系的示意图；

图3为本发明中映射库的一个实施例的示意图；

图4a为本发明中映射库的另一个实施例的示意图；

图4b为本发明中映射库的另一个实施例的示意图；

图5为本发明中字幕文件的示意图；

图6为本发明中视频播放系统的实施例一的结构示意框图；

图7为本发明中采样单元的一个优选实施例的结构示意框图；

图8为本发明中视频播放系统的实施例二的结构示意框图；

图9为本发明中视频播放系统的实施例三的结构示意框图。

【具体实施方式】

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

请参考图1，图1为本发明中视频播放方法的实施例一的流程示意图。如图1所示，该实施例包括：

步骤S101：获取目标视频一个以上的采样帧，并提取各采样帧的特征。

步骤S102：将提取的各个特征分别与预设映射库中参考帧的特征进行比对，并在比对成功时，获取匹配特征对应的字幕文件，以及，利用匹配特征对应的字幕文件对目标视频进行播放。

下面先对上述实施例中的映射库进行介绍。

本实施例中的映射库是一个预先获得的数据库，该映射库中存有多个特征，每个特征至少对应一个字幕文件。其中，每个特征代表一个参考帧，即每个特征是从一个参考帧中提取得到，而每个参考帧属于一个已知的库视频，字幕文件是利用对应特征代表的参考帧所属的库视频录制得到的。

在本发明中，图像帧的特征均指的是仅对内容敏感的特征，即无论是映射库中参考帧的特征，还是步骤S101中提取的采样帧的特征，均是仅对内容敏感的特征。也就是说，内容相同的两个帧（如表示同一场景的画面），即使在分辨率、清晰度上有差别，也可以通过本发明中的特征进行匹配。本发明不限定特征的具体类型，例如可以提取图像帧的感知图像哈希作为对应特征。

请参考图2，图2为本发明中映射库中数据关系的示意图。图2所示的映射库中，特征1对应了字幕文件1a和1b，这是因为在建立映射库时，针对相同的库视频1，录制了两个不同版本的字幕文件，其均可对应特征1。当然，一个特征也可以只与一个字幕文件相对应。

在图2所示的映射库中，特征与字幕文件分开存储，并建立关联关系，除此之外，映射库中的特征也可以保存在对应的字幕文件中。请参考图3，图3为本发明中映射库的一个实施例的示意图。如图3所示，映射库包括了各个字幕文件，其中每个字幕文件中记录了对应的用于代表参考帧的特征。

上述映射库可分为不同类型，其中映射库的类型可由其中特征代表的参考帧的类型确定。例如各特征代表的参考帧是片头类型，即各参考帧在所属库视频的片头位置（如影片第一个镜头为参考帧），则映射库就是片头类型，或者，各特征代表的参考帧是片尾类型，即各参考帧在所属库视频的片尾位置（如影片最后一个镜头为参考帧），则映射库就是片尾类型。应该理解，映射库中各特征代表的参考帧的类型应该是相同的。

本发明不限定映射库的获取方式，既可以预先建立一个映射库作为本发明中的映射库，也可以预先从第三方处直接获取一个已有的映射库作为本发明中的映射库，只要映射库中的数据符合上述说明即可。

在对本实施例中的映射库进行介绍之后，下面将对本实施例中的各个步骤进行具体介绍。

目标视频即是本发明中待播放的视频。作为一种实施方式，步骤S101可以从目标视频的开始播放时刻起，以设定的间隔时长不断对目标视频进行采样，直到目标视频的结束播放时刻为止，得到目标视频所有的采样帧。例如对一个总体播放时长很短的目标视频以上述方式获取采样帧。

但是作为优选的，步骤S101具体包括：

步骤S1011：根据上述映射库的类型确定采样时段；

步骤S1012：在上述采样时段内以平均时间间隔选取目标视频中不超过设定数目的采样帧，其中设定数目为大于1的整数。

具体地，步骤S1011包括：当映射库为片头类型时，确定目标视频的开始时段为采样时段，或者，当映射库为片尾类型时，确定目标视频的结束时段为采样时段。开始时段指的是从目标视频开始播放时刻起不超过设定阈值的一段时长，例如将目标视频开始播放后的10秒时长作为采样时段。结束时段指的是到目标视频结束播放时刻为止向前不超过设定阈值的一段时长，例如将目标视频结束播放前的10秒时长作为采样时段。

假设步骤S1011确定的采样时段是目标视频开始播放后的10秒时长，且步骤S1012中设定数目为100，则由平均时间间隔可知，步骤S1012中每隔100微秒从目标视频中选取一个采样帧。

步骤S102将步骤S101提取的各个特征分别与映射库中的特征进行比对，如果比对成功，则说明目标视频的一个采样帧的特征与映射库中参考帧的特征相匹配，通过映射库中特征与字幕文件之间的对应关系，就可以获取到匹配特征对应的字幕文件，本实施例中直接加载该字幕文件到目标视频播放即可。

需要说明的是，本发明中的映射库既可以是本地的映射库，也可以是远程的映射库，与之对应的，本实施例中的步骤S102，既可以在本地执行，也可以远程执行，另外，步骤S101中提取采样帧的特征也可以远程执行。

本实施例中，如果在步骤S102中，提取的各特征与映射库中的特征比对均失败，则可进一步向用户返回无匹配字幕的提示信息。此外，作为一种优选的实施方式，本实施例在步骤102中确定比对失败后进一步包括：

步骤S103：获取与目标视频名称相匹配的字幕文件并利用该字幕文件对目标视频进行播放。

步骤S103既可以在本地获取与目标视频名称相匹配的字幕文件，如在某个默认的字幕文件夹下查找，也可以远程获取，如利用字幕文件搜索引擎查找，本实施例不再赘述。通过步骤S103，本发明能够使视频和字幕之间基于内容的匹配与基于名称的匹配相结合，兼容了现有技术的视频播放方法。

由于本发明的实施例一，能够基于视频内容匹配对应的字幕文件，因此能够提高视频播放时字幕的准确性。

下面对本发明的视频播放方法的实施例二进行介绍。作为实施例二，映射库在实施例一的基础上进一步包括各参考帧的特征对应的播放时刻。各参考帧的特征对应的播放时刻指的是各参考帧在所属的库视频中的播放时刻。例如一个库视频播放第2秒的图像帧被提取出来作为参考帧，则该参考帧的特征对应的播放时刻就是2。

请参考图4a和4b，图4a和图4b为本发明中映射库的另两个实施例的示意图。图4a相比图2，映射库中的对应关系中多了特征与播放时刻之间的对应关系，而图4b相比图3，在字幕文件中进一步保存了特征代表的参考帧的播放时刻。

在本实施例中，步骤S101与实施例一的实施方式相同，但由于映射库中记录了特征代表的参考帧的播放时刻，因此，在本实施例中，步骤S102中利用匹配特征对应的字幕文件对目标视频进行播放的方式，具体地包括了以下步骤：

步骤S1021：确定匹配特征代表的采样帧在目标视频中的播放时刻t1，以及，确定匹配特征代表的参考帧在所属的库视频中的播放时刻t2。

步骤S1022：利用t1和t2之间的差值，将匹配特征对应的字幕文件与目标视频进行对齐。

步骤S1023：播放对齐后的字幕文件和目标视频。

步骤S101对目标视频进行采样时，每个采样帧均对应一个采样时刻，该时刻就是采样帧在目标视频中的播放时刻，因此当步骤S102确定了匹配特征后，匹配特征代表的采样帧的播放时刻t1也就确定了。而播放时刻t2，通过查询映射库中与匹配特征对应的播放时刻即可得知。

例如t1为3，t2为5，说明内容相同的图像帧，其在目标视频中的第3秒出现，在录制字幕文件的库视频中的第5秒出现，由于字幕文件是按照库视频录制的，如果直接加载该字幕文件到目标视频中播放，就会出现各行字幕与画面不同步的情况。因此步骤S1022中会将匹配特征对应的字幕文件与目标视频进行对齐。

请参考图5，图5为本发明中字幕文件的示意图。如图5所示，字幕文件中包含了各行字幕，以及该行字幕对应的时间戳。对待播放的目标视频而言，其t1时刻的图像帧与录制字幕文件的库视频的t2时刻的图像帧内容相同，因此，利用t1与t2的差值就可以将匹配特征对应的字幕文件与目标视频对齐。具体地，可以根据t1与t2的差值调整匹配特征对应的字幕文件中各行字幕的时间戳，如将各行字幕的时间戳加（t1-t2）的值作为各行字幕加载到目标视频中实际播放时的时间戳。

本实施例与实施例一类似地，在步骤S102中特征比对失败时，既可以向用户返回提示信息，也可以进一步获取与目标视频名称相匹配的字幕文件，并加载该字幕文件到目标视频进行播放。

通过实施例二，本发明不仅可以在视频播放时显示内容准确的字幕，更可以实现字幕与图像的同步播放。如内容均是《叶问》的电影，视频1的开头包含了广告，而视频2没有广告，如果库视频是视频2，而目标视频是视频1，则根据本发明的实施例二可知，尽管播放的字幕文件是根据库视频录制的，但播放目标视频时，由库视频得到的字幕文件与目标视频之间也能够实现同步播放，而不会出现字幕与画面不匹配的现象。

请参考图6，图6为本发明中视频播放系统的实施例一的结构示意框图。如图6所示，本实施例包括：采样单元201、特征提取单元202、比对单元203、第一获取单元204及第一播放单元205。

其中，采样单元201，用于获取目标视频一个以上的采样帧。特征提取单元202，用于提取各采样帧的特征。比对单元203，用于将提取的各个特征分别与预设映射库中参考帧的特征进行比对。第一获取单元204，用于在比对单元203比对成功时，获取匹配特征对应的字幕文件。第一播放单元205，用于利用匹配特征对应的字幕文件对目标视频进行播放。

在本实施例中，映射库中包括：各参考帧的特征，以及，各参考帧的特征对应的字幕文件，其中各参考帧的特征对应的字幕文件由各参考帧所属的库视频录制得到。

请参考图7，图7为本发明中采样单元的一个优选实施例的结构示意框图。如图7所示，该实施例包括：时段选取单元2011和帧选取单元2012。其中时段选取单元2011，用于根据映射库的类型确定采样时段。帧选取单元2012，用于在采样时段内以平均时间间隔选取目标视频中不超过设定数目的采样帧，其中设定数目为大于1的整数。

映射库的类型由映射库中特征代表的参考帧的类型确定。例如各特征代表的参考帧是片头类型，即各参考帧在所属库视频的片头位置（如影片第一个镜头为参考帧），则映射库就是片头类型，或者，各特征代表的参考帧是片尾类型，即各参考帧在所属库视频的片尾位置（如影片最后一个镜头为参考帧），则映射库就是片尾类型。应该理解，映射库中各特征代表的参考帧的类型应该是相同的。

本实施例中，在比对单元203比对成功时，第一获取单元204根据映射库中匹配特征与字幕文件之间的对应关系就可以从映射库中获取到匹配特征对应的字幕文件了，第一播放单元205将匹配特征对应的字幕文件加载到目标视频进行播放即可。

本实施例中，所有单元可以均位于本地客户端，此时映射库也是本地的映射库，此外，本实施例中，特征提取单元202、比对单元203、第一获取单元204及映射库也可以均位于远程服务器，或者，比对单元203、第一获取204及映射库均位于远程服务器。

请参考图8，图8为本发明中视频播放系统的实施例二的结构示意框图。如图8所示，本实施例与图6所示的实施例相比，映射库中进一步包括了各参考帧的特征对应的播放时刻，其中各参考帧的特征对应的播放时刻是各参考帧在所属的库视频中的播放时刻。

在该实施例中，第一播放单元205具体包括：时间提取单元2051、对齐单元2052及同步播放单元2053。其中时间提取单元2051，用于确定匹配特征代表的采样帧在目标视频中的播放时刻t1，以及，确定匹配特征代表的参考帧在所属的库视频中的播放时刻t2。对齐单元2052，用于利用t1与t2之间的差值，将匹配特征对应的字幕文件与目标视频进行对齐。同步播放单元2053，用于播放对齐的字幕文件和目标视频。

具体地，对齐单元2052将匹配特征对应的字幕文件与目标视频进行对齐的方式包括：根据t1与t2的差值调整匹配特征对应的字幕文件中各行字幕的时间戳。

在本实施例中，时间提取单元2051和对齐单元2052既可位于本地客户端，也可位于远程服务器。

请参考图9，图9为本发明中视频播放系统的实施例三的结构示意框图。如图9所示，本实施例与实施例一相比，系统进一步包括：第二获取单元206和第二播放单元207。其中第二获取单元206，用于在比对单元203比对失败时，获取与目标视频名称相匹配的字幕文件。第二播放单元207，用于利用第二获取单元206获得的字幕文件对目标视频进行播放。

其中第二获取单元206既可位于本地客户端，也可以位于远程服务器。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种视频播放方法，包括：

获取目标视频一个以上的采样帧，并提取各采样帧的特征；

将提取的各个特征分别与预设映射库中参考帧的特征进行比对，并在比对成功时，获取匹配特征对应的字幕文件，以及，利用所述匹配特征对应的字幕文件对目标视频进行播放，其中所述映射库包括：各参考帧的特征，以及，各参考帧的特征对应的字幕文件，其中各参考帧的特征对应的字幕文件由各参考帧所属的库视频录制得到。

2.根据权利要求1所述的方法，其特征在于，所述获取目标视频一个以上的采样帧包括：

根据所述映射库的类型确定采样时段，其中所述映射库的类型由所述映射库中特征代表的参考帧的类型确定；

在所述采样时段内以平均时间间隔选取目标视频中不超过设定数目的采样帧，其中所述设定数目为大于1的整数。

3.根据权利要求2所述的方法，其特征在于，根据所述映射库的类型确定采样时段的步骤包括：

当所述映射库为片头类型时，确定所述目标视频的开始时段为采样时段；或者，当所述映射库为片尾类型时，确定所述目标视频的结束时段为采样时段。

4.根据权利要求1所述的方法，其特征在于，所述映射库进一步包括：

各参考帧的特征对应的播放时刻，其中各参考帧的特征对应的播放时刻是各参考帧在所属的库视频中的播放时刻。

5.根据权利要求4所述的方法，其特征在于，利用所述匹配特征对应的字幕文件对目标视频进行播放的步骤包括：

确定所述匹配特征代表的采样帧在目标视频中的播放时刻t1，以及，确定所述匹配特征代表的参考帧在所属的库视频中的播放时刻t2；

利用所述t1与所述t2之间的差值，将所述匹配特征对应的字幕文件与目标视频进行对齐；

播放对齐的字幕文件和目标视频。

6.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

在比对失败时，获取与目标视频名称相匹配的字幕文件并利用所述名称相匹配的字幕文件对目标视频进行播放。

7.一种视频播放系统，包括：

采样单元，获取目标视频一个以上的采样帧；

特征提取单元，用于提取各采样帧的特征；

比对单元，用于将提取的各个特征分别与预设映射库中参考帧的特征进行比对，其中所述映射库包括：各参考帧的特征，以及，各参考帧的特征对应的字幕文件，其中各参考帧的特征对应的字幕文件由各参考帧所属的库视频录制得到；

第一获取单元，用于在所述比对单元比对成功时，获取匹配特征对应的字幕文件；

第一播放单元，用于利用所述匹配特征对应的字幕文件对目标视频进行播放。

8.根据权利要求7所述的系统，其特征在于，所述采样单元包括：

时段选取单元，用于根据所述映射库的类型确定采样时段，其中所述映射库的类型由所述映射库中特征代表的参考帧的类型确定；

帧选取单元，用于在所述采样时段内以平均时间间隔选取目标视频中不超过设定数目的采样帧，其中所述设定数目为大于1的整数。

9.根据权利要求8所述的系统，其特征在于，所述时段选取单元确定采样时段的方式包括：

当所述映射库为片头类型时，确定所述目标视频的开始时段为采样时段；或者，当所述映射库为片尾类型时，确定所述目标视频的结束时段为采样时段。

10.根据权利要求7所述的系统，其特征在于，所述映射库进一步包括：

各参考帧的特征对应的播放时刻，其中各参考帧的特征对应的播放时刻是各参考帧在所属的库视频中的播放时刻。

11.根据权利要求10所述的系统，其特征在于，所述第一播放单元包括：

时间提取单元，用于确定所述匹配特征代表的采样帧在目标视频中的播放时刻t1，以及，确定所述匹配特征代表的参考帧在所属的库视频中的播放时刻t2；

对齐单元，用于利用所述t1与所述t2之间的差值，将所述匹配特征对应的字幕文件与目标视频进行对齐；

同步播放单元，用于播放对齐的字幕文件和目标视频。

12.根据权利要求7所述的系统，其特征在于，所述系统进一步包括：

第二获取单元，用于在所述比对单元比对失败时，获取与目标视频名称相匹配的字幕文件；

第二播放单元，用于利用所述名称相匹配的字幕文件对目标视频进行播放。