CN103647909A - 字幕调节方法及装置 - Google Patents

Abstract

本发明公开了一种字幕调节方法及装置。该方法包括：获取音视频文件的音频信息和外挂字幕文件，对音频信息中的对白进行解析，生成对白时间表，对外挂字幕文件的内容进行解析，生成字幕时间表；将对白时间表和字幕时间表进行匹配，根据匹配结果确定音频信息与字幕文件之间的字幕时间差，并根据字幕时间差对字幕文件进行调节，输出调节后的字幕文件。借助于本发明的技术方案，使字幕能够自动适应电影的播放时间，当外挂字幕与视频对白不一致时，能自动调整，无需用户手动操作，提高了用户的使用体验。

Description

字幕调节方法及装置

技术领域

本发明涉及计算机领域，特别是涉及一种字幕调节方法及装置。

背景技术

目前，高清电影通常配有外挂字幕，不同网站发布的同一部电影可能由于片头被改动了导致字幕与电影播放时间不一致。在现有技术中，当发现字幕与电影播放时间不一致时，需要用户进行人为判断，并通过系统提供的接口手动对字幕进行向前或者向后调整。上述调整字幕的方法需要用户人为操作，调整不是十分方便，用户使用体验不高。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的字幕调节方法及装置。

本发明提供一种字幕调节方法，包括：获取音视频文件的音频信息和外挂字幕文件，对音频信息中的对白进行解析，生成对白时间表，对外挂字幕文件的内容进行解析，生成字幕时间表；将对白时间表和字幕时间表进行匹配，根据匹配结果确定音频信息与字幕文件之间的字幕时间差，并根据字幕时间差对字幕文件进行调节，输出调节后的字幕文件。

优选地，获取音视频文件的音频信息，对音频信息中的对白进行解析，生成对白时间表具体包括：获取当前音视频文件播放时间点之前的一定时间段内的音频信息，利用人声特性过滤分析得到音频信息中的预定句的连续对白；确定连续对白中每句对白的时间信息，并根据时间信息生成对白时间表，其中，对白时间表包括：每句对白的对白开始时间、对白结束时间、对白持续时间长度、以及与前一句对白的间隔时间。

优选地，获取音视频文件的外挂字幕文件，对外挂字幕文件的内容进行解析，生成字幕时间表具体包括：获取音视频文件的外挂字幕文件，从外挂字幕文件中提取所有对白的时间信息，并根据时间信息生成字幕时间表，其中，字幕时间表包括：每句对白的对白开始时间、对白结束时间、对白持续时间长度、以及与前一句对白的间隔时间。

优选地，将对白时间表和字幕时间表进行匹配，根据匹配结果确定音频信息与字幕文件之间的字幕时间差具体包括：获取对白时间表中每个对白所对应的对白持续时间长度和与前一句对白的间隔时间；将对白时间表中记录的所有对白作为一组对白，并以一组对白中每个对白所对应的对白持续时间长度和与前一句对白的间隔时间为参数，将一组对白作为一个整体与字幕时间表进行匹配，获取匹配结果，并从匹配结果中确定最佳匹配项；从最佳匹配项中分别提取对白开始时间和字幕开始时间，并根据对白开始时间和字幕开始时间的差值确定字幕时间差。

优选地，将对白时间表中记录的所有对白作为一组对白，并以一组对白中每个对白所对应的对白持续时间长度和与前一句对白的间隔时间为参数，将一组对白作为一个整体与字幕时间表进行匹配，获取匹配结果，并从匹配结果中确定最佳匹配项具体包括：第n个匹配结果为：A_n=F（P_{时间长度n}，Q_{时间长度1}）+F（P_{时间间隔n}，Q_{时间间隔1}）+F（P_{时间长度n＋1}，Q_{时间长度2}）+F（P_{时间间隔n＋1}，Q_{时间间隔2}）+......+F（P_{时间长度n＋ｍ－1}，Q_{时间长度ｍ}）+F（P_{时间间隔n＋ｍ－1}，Q_{时间间隔ｍ}）；最佳匹配项为：A_best=MAX（A₁，A₂，......，A_ｎ，......，A_Ｎ－Ｍ），或者，A_best=MIN（A₁，A₂，......，A_ｎ，......，A_Ｎ－Ｍ）；其中，P为字幕时间表，P_{时间长度n}和P_{时间间隔n}为字幕时间表第n项的对白持续时间长度和与前一句对白的间隔时间，1≤n≤N，N为字幕时间表中的对白总句数，Q为对白时间表，Q_{时间长度ｍ}和Q_{时间间隔ｍ}为对白时间表上第m项的对白持续时间长度和与前一句对白的间隔时间，1≤m≤M，M为对白时间表中的对白句数，F为所使用的匹配函数。

优选地，将一组对白作为一个整体与字幕时间表进行匹配之前，上述方法进一步包括：设置偏差值，将字幕时间表中的对白持续时间长度加上偏差值，并将字幕时间表中的与前一句对白的间隔时间减去偏差值。

优选地，根据字幕时间差对字幕文件进行调节，输出调节后的字幕文件具体包括：在确定字幕时间差大于预先设置的阈值后，将字幕文件中的最佳匹配项后面的对白开始时间和对白结束时间都加上字幕时间差，得到调节后的字幕文件并输出。

本发明还提供了一种字幕调节装置，包括：音频解析模块，用于获取音视频文件的音频信息对音频信息中的对白进行解析，生成对白时间表；字幕文件解析模块，用于获取音视频文件的外挂字幕文件，对外挂字幕文件的内容进行解析，生成字幕时间表；时间匹配模块，用于将对白时间表和字幕时间表进行匹配，根据匹配结果确定音频信息与字幕文件之间的字幕时间差；字幕校准模块，用于根据字幕时间差对字幕文件进行调节，输出调节后的字幕文件。

优选地，音频解析模块具体用于：获取当前音视频文件播放时间点之前的一定时间段内的音频信息，利用人声特性过滤分析得到音频信息中的预定句的连续对白；确定连续对白中每句对白的时间信息，并根据时间信息生成对白时间表，其中，对白时间表包括：每句对白的对白开始时间、对白结束时间、对白持续时间长度、以及与前一句对白的间隔时间。

优选地，字幕文件解析模块具体用于：获取音视频文件的外挂字幕文件，从外挂字幕文件中提取所有对白的时间信息，并根据时间信息生成字幕时间表，其中，字幕时间表包括：每句对白的对白开始时间、对白结束时间、对白持续时间长度、以及与前一句对白的间隔时间。

优选地，时间匹配模块具体用于：获取对白时间表中每个对白所对应的对白持续时间长度和与前一句对白的间隔时间；将对白时间表中记录的所有对白作为一组对白，并以一组对白中每个对白所对应的对白持续时间长度和与前一句对白的间隔时间为参数，将一组对白作为一个整体与字幕时间表进行匹配，获取匹配结果，并从匹配结果中确定最佳匹配项；从最佳匹配项中分别提取对白开始时间和字幕开始时间，并根据对白开始时间和字幕开始时间的差值确定字幕时间差。

优选地，第n个匹配结果为：A_n=F（P_{时间长度n}，Q_{时间长度1}）+F（P_{时间间隔n}，Q_{时间间隔1}）+F（P_{时间长度n＋1}，Q_{时间长度2}）+F（P_{时间间隔n＋1}，Q_{时间间隔2}）+......+F（P_{时间长度n＋ｍ－1}，Q_{时间长度ｍ}）+F（P_{时间间隔n＋ｍ－1}，Q_{时间间隔ｍ}）；最佳匹配项为：A_best=MAX（A₁，A₂，......，A_ｎ，......，A_Ｎ－Ｍ），或者，A_best=MIN（A₁，A₂，......，A_ｎ，......，A_Ｎ－Ｍ）；其中，P为字幕时间表，P_{时间长度n}和P_{时间间隔n}为字幕时间表第n项的对白持续时间长度和与前一句对白的间隔时间，1≤n≤N，N为字幕时间表中的对白总句数，Q为对白时间表，Q_时间长度ｍ_和Q_{时间间隔ｍ}为对白时间表上第m项的对白持续时间长度和与前一句对白的间隔时间，1≤m≤M，M为对白时间表中的对白句数，F为所使用的匹配函数。

优选地，时间匹配模块进一步用于：设置偏差值，将字幕时间表中的对白持续时间长度加上偏差值，并将字幕时间表中的与前一句对白的间隔时间减去偏差值。

优选地，字幕校准模块具体用于：在确定字幕时间差大于预先设置的阈值后，将字幕文件中的最佳匹配项后面的对白开始时间和对白结束时间都加上字幕时间差，得到调节后的字幕文件并输出。

本发明有益效果如下：

通过将对白时间表和字幕时间表进行匹配，根据匹配结果对字幕文件进行调节，解决了现有技术中需要用户人为操作，调整不是十分方便，用户使用体验不高的问题，使字幕能够自动适应电影的播放时间，当外挂字幕与视频对白不一致时，能自动调整，无需用户手动操作，提高了用户的使用体验。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例的字幕调节方法的流程图；

图2是本发明实施例的音频解析模块输入输出的示意图；

图3是本发明实施例的音频解析模块对电影音频进行解析的示意图；

图4是本发明实施例的字幕解析模块输入输出的示意图；

图5是本发明实施例的对白时间匹配模块输入输出的示意图；

图6是本发明实施例的字幕校准模块输入输出的示意图；

图7是本发明实施例的字幕调节方法的详细处理的流程图；

图8是本发明实施例的字幕调节装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

方法实施例

根据本发明的实施例，提供了一种字幕调节方法，图1是本发明实施例的字幕调节方法的流程图，如图1所示，根据本发明实施例的字幕调节方法包括如下处理：

步骤101，获取音视频文件的音频信息和外挂字幕文件，对音频信息中的对白进行解析，生成对白时间表，对外挂字幕文件的内容进行解析，生成字幕时间表；

在步骤101中，获取音视频文件的音频信息，对音频信息中的对白进行解析，生成对白时间表具体包括：获取当前音视频文件播放时间点之前的一定时间段内的音频信息，利用人声特性过滤分析得到音频信息中的预定句的连续对白；确定连续对白中每句对白的时间信息，并根据时间信息生成对白时间表，其中，对白时间表包括：每句对白的对白开始时间、对白结束时间、对白持续时间长度、以及与前一句对白的间隔时间。

在步骤101中，获取音视频文件的外挂字幕文件，对外挂字幕文件的内容进行解析，生成字幕时间表具体包括：获取音视频文件的外挂字幕文件，从外挂字幕文件中提取所有对白的时间信息，并根据时间信息生成字幕时间表，其中，字幕时间表包括：每句对白的对白开始时间、对白结束时间、对白持续时间长度、以及与前一句对白的间隔时间。

步骤102，将对白时间表和字幕时间表进行匹配，根据匹配结果确定音频信息与字幕文件之间的字幕时间差，并根据字幕时间差对字幕文件进行调节，输出调节后的字幕文件。

在步骤102中，将对白时间表和字幕时间表进行匹配，根据匹配结果确定音频信息与字幕文件之间的字幕时间差具体包括：

获取对白时间表中每个对白所对应的对白持续时间长度和与前一句对白的间隔时间；将对白时间表中记录的所有对白作为一组对白，并以一组对白中每个对白所对应的对白持续时间长度和与前一句对白的间隔时间为参数，将一组对白作为一个整体与字幕时间表进行匹配，获取匹配结果，并从匹配结果中确定最佳匹配项；从最佳匹配项中分别提取对白开始时间和字幕开始时间，并根据对白开始时间和字幕开始时间的差值确定字幕时间差。

例如，第n个匹配结果为：A_n=F（P_{时间长度n}，Q_{时间长度1}）+F（P_{时间间隔n}，Q_{时 间间隔1}）+F（P_{时间长度n＋1}，Q_{时间长度2}）+F（P_{时间间隔n＋1}，Q_{时间间隔2}）+......+F（P_{时间长度n＋ｍ－1}，Q_{时间长度ｍ}）+F（P_{时间间隔n＋ｍ－1}，Q_{时间间隔ｍ}）；最佳匹配项为：A_best=MAX（A₁，A₂，......，A_ｎ，......，A_Ｎ－Ｍ），或者，A_best=MIN（A₁，A₂，......，A_ｎ，......，A_Ｎ－Ｍ）；其中，P为字幕时间表，P_{时间长度n}和P_{时间间隔n}为字幕时间表第n项的对白持续时间长度和与前一句对白的间隔时间，1≤n≤N，N为字幕时间表中的对白总句数，Q为对白时间表，Q_{时间长度ｍ}和Q_{时间间隔ｍ}为对白时间表上第m项的对白持续时间长度和与前一句对白的间隔时间，1≤m≤M，M为对白时间表中的对白句数，F为所使用的匹配函数。

优选地，将一组对白作为一个整体与字幕时间表进行匹配之前，可以设置一个偏差值，将字幕时间表中的对白持续时间长度加上偏差值，并将字幕时间表中的与前一句对白的间隔时间减去偏差值。

在步骤102中，根据字幕时间差对字幕文件进行调节，输出调节后的字幕文件具体包括：在确定字幕时间差大于预先设置的阈值后，将字幕文件中的最佳匹配项后面的对白开始时间和对白结束时间都加上字幕时间差，得到调节后的字幕文件并输出。

以下结合附图，以电影为例，对本发明实施例的上述技术方案进行详细说明。

根据本发明实施例的字幕调节方法可以通过以下四个模块完成上述处理：音频解析模块、字幕文件解析模块、时间匹配模块、字幕校准模块。

图2是本发明实施例的音频解析模块输入输出的示意图，如图2所示，该模块的输入为电影音频，输出为对白时间表。图3是本发明实施例的音频解析模块对电影音频进行解析的示意图，如图3所示，音频解析模块在电影播放过程中获取电影音频输出，利用人声特性过滤分析得到其中的对白部分，量化后确定对白中每句话的时间点，并通过这些时间点生成对白时间表。对白时间表以每句对白作为列表中的一项，每项包含下面几个内容，第n句对白的开始时间、结束时间、时间长度、与前一句对白的间隔时间。其中，对白时间表中第一句对白的间隔时间取值为0（该电影音频的第一句对白的时间间隔也可以取值为0）。优选地，该对白时间表只需包含用于匹配的3至5句对白的内容。取多少句连续对白可以根据实际情况需要，取的对白越多，后面的匹配越准确。

图4是本发明实施例的字幕解析模块输入输出的示意图，如图4所示，字幕解析模块的输入为字幕文件，输出为字幕时间表。其中，字幕文件可以包括主流的后缀为srt、ass、krc、ksc、ssa、stxt、vst等格式，字幕文件包含的基本内容为每句话的开始时间、结束时间和字幕内容。通过解析字幕文件的内容可以提取第m句对白的开始时间、结束时间、时间长度、与前一句对白的间隔时间，生成与对白时间表类似的字幕时间表。同样，第一句对白的间隔时间取值为0。该字幕时间表包含了所有对白的时间点。

图5是本发明实施例的时间匹配模块输入输出的示意图，如图5所示，时间匹配模块的输入对白时间表和字幕时间表，通过匹配后输出为字幕时间误差。对白时间表只包含当前视频播放时间点的前M句对白的时间数据，而字幕时间表包含了视频全部对白的时间数据，即对白时间表为字幕时间表的子集。这两个表为有序表，根据表项的开始时间进行排列。

因此，对白时间匹配可以通过以对白时间表为模板，取每个表项的对白句时间长度和间隔时间为特征，在字幕时间表上滑动求其与各个点的匹配程度。匹配可以使用平方差匹配法、归一化平方差匹配法、相关匹配法、归一化相关匹配法、相关系数匹配法、归一化相关系数匹配法（前面两种方法为越小的值表示越匹配，后四种方法值越大越匹配）等模板匹配方法。匹配程度结果为一个数列，求取该数列的最佳匹配项（根据匹配方法不同取最小值或者最大值）。

假设P为字幕时间表，P_{时间长度n}和P_{时间间隔n}为字幕时间表第n项的对白持续时间长度和与前一句对白的间隔时间，1≤n≤N，N为字幕时间表中的对白总句数，Q为对白时间表，Q_{时间长度ｍ}和Q_{时间间隔ｍ}为对白时间表上第m项的对白持续时间长度和与前一句对白的间隔时间，1≤m≤M，M为对白时间表中的对白句数，经验值可取5，F为所使用的匹配函数。则有第n个匹配结果为：A_n=F（P_{时间长度n}，Q_{时间长度1}）+F（P_{时间间隔n}，Q_{时间间隔1}）+F（P_{时间长度n＋1}，Q_{时间长度2}）+F（P_{时间间隔n＋1}，Q_{时间间隔2}）+......+F（P_{时间长度n＋ｍ－1}，Q_{时间长度ｍ}）+F（P_{时间间隔 n＋ｍ－1}，Q_{时间间隔ｍ}）；最佳匹配项：A_best=MAX（A₁，A₂，......，A_ｎ，......，A_Ｎ－Ｍ），或者，A_best=MIN（A₁，A₂，......，A_ｎ，......，A_Ｎ－Ｍ）。

另外，考虑到实际情况中，字幕的出现时间一般会比对白所用的时间要长，同时也会导致间隔时间变短。因此可以设定一个1至3秒的偏差值，匹配的时候所有的字幕时间表的时间长度都加上这个偏差值，间隔时间都减去这个偏差值，然后再去求匹配。

从最佳匹配结果中分别提取对白时间的开始时间和字幕时间的开始时间，求差可得字幕时间差=字幕表项的开始时间-对白表项的开始时间。

图6是本发明实施例的字幕校准模块输入输出的示意图，如图6所示，字幕校准模块根据字幕时间差对字幕文件进行修正，输出修正后的字幕文件。当误差时间大于设定的阈值后，将最佳匹配时间点后面的对白开始时间和结束时间都加上误差时间，即可以得到修正后的字幕文件。

图7是本发明实施例的字幕调节方法的详细处理的流程图，如图7所示，具体包括如下处理：

步骤701，启动字幕自动调节功能后，首先判断当前播放视频是否在使用外挂字幕，如果是则对外挂字幕文件进行解析，按照字幕时间解析模块的方法生成字幕时间列表，同时进入音频解析模块；

步骤702，获取视频对白中的5句对白，按照对白时间解析模块的方法生成对白时间表；

步骤703，根据字幕时间表和对白时间表的匹配结果得到字幕时间误差；

步骤704，根据字幕时间差对原字幕文件进行修正，得到修正后的字幕文件；

步骤705，等待若干时间后再进行下一次检测，进入步骤702。

综上所述，借助于本发明实施例的技术方案，通过将对白时间表和字幕时间表进行匹配，根据匹配结果对字幕文件进行调节，解决了现有技术中需要用户人为操作，调整不是十分方便，用户使用体验不高的问题，使字幕能够自动适应电影的播放时间，当外挂字幕与视频对白不一致时，能自动调整，无需用户手动操作，提高了用户的使用体验。

装置实施例

根据本发明的实施例，提供了一种字幕调节装置，图8是本发明实施例的字幕调节装置的结构示意图，如图8所示，根据本发明实施例的字幕调节装置包括：音频解析模块80、字幕文件解析模块82、时间匹配模块84、字幕校准模块86，以下对本发明实施例的各个模块进行详细的说明。

音频解析模块80，用于获取音视频文件的音频信息对音频信息中的对白进行解析，生成对白时间表；

音频解析模块80具体用于：获取当前音视频文件播放时间点之前的一定时间段内的音频信息，利用人声特性过滤分析得到音频信息中的预定句的连续对白；确定连续对白中每句对白的时间信息，并根据时间信息生成对白时间表，其中，对白时间表包括：每句对白的对白开始时间、对白结束时间、对白持续时间长度、以及与前一句对白的间隔时间。

字幕文件解析模块82，用于获取音视频文件的外挂字幕文件，对外挂字幕文件的内容进行解析，生成字幕时间表；

字幕文件解析模块82具体用于：获取音视频文件的外挂字幕文件，从外挂字幕文件中提取所有对白的时间信息，并根据时间信息生成字幕时间表，其中，字幕时间表包括：每句对白的对白开始时间、对白结束时间、对白持续时间长度、以及与前一句对白的间隔时间。

时间匹配模块84，用于将对白时间表和字幕时间表进行匹配，根据匹配结果确定音频信息与字幕文件之间的字幕时间差；

时间匹配模块84具体用于：获取对白时间表中每个对白所对应的对白持续时间长度和与前一句对白的间隔时间；将对白时间表中记录的所有对白作为一组对白，并以一组对白中每个对白所对应的对白持续时间长度和与前一句对白的间隔时间为参数，将一组对白作为一个整体与字幕时间表进行匹配，获取匹配结果，并从匹配结果中确定最佳匹配项；从最佳匹配项中分别提取对白开始时间和字幕开始时间，并根据对白开始时间和字幕开始时间的差值确定字幕时间差。

优选地，第n个匹配结果为：A_n=F（P_{时间长度n}，Q_{时间长度1}）+F（P_{时间间隔n}，Q_{时间间隔1}）+F（P_{时间长度n＋1}，Q_{时间长度2}）+F（P_{时间间隔n＋1}，Q_{时间间隔2}）+......+F（P_{时间长度n＋ｍ－1}，Q_{时间长度ｍ}）+F（P_{时间间隔n＋ｍ－1}，Q_{时间间隔ｍ}）；最佳匹配项为：A_best=MAX（A₁，A₂，......，A_ｎ，......，A_Ｎ－Ｍ），或者，A_best=MIN（A₁，A₂，......，A_ｎ，......，A_Ｎ－Ｍ）；其中，P为字幕时间表，P_{时间长度n}和P_{时间间隔n}为字幕时间表第n项的对白持续时间长度和与前一句对白的间隔时间，1≤n≤N，N为字幕时间表中的对白总句数，Q为对白时间表，Q_{时间长度ｍ}和Q_{时间间隔ｍ}为对白时间表上第m项的对白持续时间长度和与前一句对白的间隔时间，1≤m≤M，M为对白时间表中的对白句数，F为所使用的匹配函数。

时间匹配模块84进一步用于：设置偏差值，将字幕时间表中的对白持续时间长度加上偏差值，并将字幕时间表中的与前一句对白的间隔时间减去偏差值。

字幕校准模块86，用于根据字幕时间差对字幕文件进行调节，输出调节后的字幕文件。

字幕校准模块86具体用于：在确定字幕时间差大于预先设置的阈值后，将字幕文件中的最佳匹配项后面的对白开始时间和对白结束时间都加上字幕时间差，得到调节后的字幕文件并输出。

综上所述，借助于本发明实施例的技术方案，通过将对白时间表和字幕时间表进行匹配，根据匹配结果对字幕文件进行调节，解决了现有技术中需要用户人为操作，调整不是十分方便，用户使用体验不高的问题，使字幕能够自动适应电影的播放时间，当外挂字幕与视频对白不一致时，能自动调整，无需用户手动操作，提高了用户的使用体验。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种字幕调节方法，其特征在于，包括：

获取音视频文件的音频信息和外挂字幕文件，对所述音频信息中的对白进行解析，生成对白时间表，对所述外挂字幕文件的内容进行解析，生成字幕时间表；

将所述对白时间表和所述字幕时间表进行匹配，根据匹配结果确定所述音频信息与所述字幕文件之间的字幕时间差，并根据所述字幕时间差对所述字幕文件进行调节，输出调节后的字幕文件。

2.如权利要求1所述的方法，其特征在于，获取音视频文件的音频信息，对所述音频信息中的对白进行解析，生成对白时间表具体包括：

获取当前音视频文件播放时间点之前的一定时间段内的所述音频信息，利用人声特性过滤分析得到所述音频信息中的预定句的连续对白；

确定所述连续对白中每句对白的时间信息，并根据所述时间信息生成所述对白时间表，其中，所述对白时间表包括：每句对白的对白开始时间、对白结束时间、对白持续时间长度、以及与前一句对白的间隔时间。

3.如权利要求1所述的方法，其特征在于，获取音视频文件的外挂字幕文件，对所述外挂字幕文件的内容进行解析，生成字幕时间表具体包括：

获取音视频文件的外挂字幕文件，从所述外挂字幕文件中提取所有对白的时间信息，并根据所述时间信息生成所述字幕时间表，其中，所述字幕时间表包括：每句对白的对白开始时间、对白结束时间、对白持续时间长度、以及与前一句对白的间隔时间。

4.如权利要求1所述的方法，其特征在于，将所述对白时间表和所述字幕时间表进行匹配，根据匹配结果确定所述音频信息与所述字幕文件之间的字幕时间差具体包括：

获取所述对白时间表中每个对白所对应的对白持续时间长度和与前一句对白的间隔时间；

将所述对白时间表中记录的所有对白作为一组对白，并以所述一组对白中每个对白所对应的对白持续时间长度和与前一句对白的间隔时间为参数，将所述一组对白作为一个整体与所述字幕时间表进行匹配，获取匹配结果，并从所述匹配结果中确定最佳匹配项；

从所述最佳匹配项中分别提取对白开始时间和字幕开始时间，并根据所述对白开始时间和字幕开始时间的差值确定所述字幕时间差。

5.如权利要求4所述的方法，其特征在于，将所述对白时间表中记录的所有对白作为一组对白，并以所述一组对白中每个对白所对应的对白持续时间长度和与前一句对白的间隔时间为参数，将所述一组对白作为一个整体与所述字幕时间表进行匹配，获取匹配结果，并从所述匹配结果中确定最佳匹配项具体包括：

第n个匹配结果为：A_n=F（P_{时间长度n}，Q_{时间长度1}）+F（P_{时间间隔n}，Q_{时间间隔1}）+F（P_{时间长度n＋1}，Q_{时间长度2}）+F（P_{时间间隔n＋1}，Q_{时间间隔2}）+......+F（P_{时间长 度n＋ｍ－1}，Q_{时间长度ｍ}）+F（P_{时间间隔n＋ｍ－1}，Q_{时间间隔ｍ}）；

所述最佳匹配项为：A_best=MAX（A₁，A₂，......，A_ｎ，......，A_Ｎ－Ｍ），或者，A_best=MIN（A₁，A₂，......，A_ｎ，......，A_Ｎ－Ｍ）；

其中，P为所述字幕时间表，P_{时间长度n}和P_{时间间隔n}为所述字幕时间表第n项的对白持续时间长度和与前一句对白的间隔时间，1≤n≤N，N为所述字幕时间表中的对白总句数，Q为所述对白时间表，Q_{时间长度ｍ}和Q_{时间间隔ｍ}为所述对白时间表上第m项的对白持续时间长度和与前一句对白的间隔时间，1≤m≤M，M为所述对白时间表中的对白句数，F为所使用的匹配函数。

6.如权利要求4所述的方法，其特征在于，将所述一组对白作为一个整体与所述字幕时间表进行匹配之前，所述方法进一步包括：

设置偏差值，将所述字幕时间表中的对白持续时间长度加上所述偏差值，并将所述字幕时间表中的与前一句对白的间隔时间减去所述偏差值。

7.如权利要求4所述的方法，其特征在于，根据所述字幕时间差对所述字幕文件进行调节，输出调节后的字幕文件具体包括：

在确定所述字幕时间差大于预先设置的阈值后，将所述字幕文件中的所述最佳匹配项后面的对白开始时间和对白结束时间都加上所述字幕时间差，得到调节后的字幕文件并输出。

8.一种字幕调节装置，其特征在于，包括：

音频解析模块，用于获取音视频文件的音频信息对所述音频信息中的对白进行解析，生成对白时间表；

字幕文件解析模块，用于获取音视频文件的外挂字幕文件，对所述外挂字幕文件的内容进行解析，生成字幕时间表；

时间匹配模块，用于将所述对白时间表和所述字幕时间表进行匹配，根据匹配结果确定所述音频信息与所述字幕文件之间的字幕时间差；

字幕校准模块，用于根据所述字幕时间差对所述字幕文件进行调节，输出调节后的字幕文件。

9.如权利要求8所述的装置，其特征在于，所述音频解析模块具体用于：

获取当前音视频文件播放时间点之前的一定时间段内的所述音频信息，利用人声特性过滤分析得到所述音频信息中的预定句的连续对白；

确定所述连续对白中每句对白的时间信息，并根据所述时间信息生成所述对白时间表，其中，所述对白时间表包括：每句对白的对白开始时间、对白结束时间、对白持续时间长度、以及与前一句对白的间隔时间。

10.如权利要求8所述的装置，其特征在于，所述字幕文件解析模块具体用于：

获取音视频文件的外挂字幕文件，从所述外挂字幕文件中提取所有对白的时间信息，并根据所述时间信息生成所述字幕时间表，其中，所述字幕时间表包括：每句对白的对白开始时间、对白结束时间、对白持续时间长度、以及与前一句对白的间隔时间。

11.如权利要求8所述的装置，其特征在于，所述时间匹配模块具体用于：

获取所述对白时间表中每个对白所对应的对白持续时间长度和与前一句对白的间隔时间；

将所述对白时间表中记录的所有对白作为一组对白，并以所述一组对白中每个对白所对应的对白持续时间长度和与前一句对白的间隔时间为参数，将所述一组对白作为一个整体与所述字幕时间表进行匹配，获取匹配结果，并从所述匹配结果中确定最佳匹配项；

从所述最佳匹配项中分别提取对白开始时间和字幕开始时间，并根据所述对白开始时间和字幕开始时间的差值确定所述字幕时间差。

12.如权利要求11所述的装置，其特征在于，第n个匹配结果为：A_n=F（P_{时间长度n}，Q_{时间长度1}）+F（P_{时间间隔n}，Q_{时间间隔1}）+F（P_{时间长度n＋1}，Q_{时间长度2}）+F（P_{时间间隔n＋1}，Q_{时间间隔2}）+......+F（P_{时间长度n＋ｍ－1}，Q_{时间长度ｍ}）+F（P_{时间间隔 n＋ｍ－1}，Q_{时间间隔ｍ}）；

所述最佳匹配项为：A_best=MAX（A₁，A₂，......，A_ｎ，......，A_Ｎ－Ｍ），或者，A_best=MIN（A₁，A₂，......，A_ｎ，......，A_Ｎ－Ｍ）；

其中，P为所述字幕时间表，P_{时间长度n}和P_{时间间隔n}为所述字幕时间表第n项的对白持续时间长度和与前一句对白的间隔时间，1≤n≤N，N为所述字幕时间表中的对白总句数，Q为所述对白时间表，Q_{时间长度ｍ}和Q_{时间间隔ｍ}为所述对白时间表上第m项的对白持续时间长度和与前一句对白的间隔时间，1≤m≤M，M为所述对白时间表中的对白句数，F为所使用的匹配函数。

13.如权利要求11所述的装置，其特征在于，所述时间匹配模块进一步用于：

设置偏差值，将所述字幕时间表中的对白持续时间长度加上所述偏差值，并将所述字幕时间表中的与前一句对白的间隔时间减去所述偏差值。

14.如权利要求11所述的装置，其特征在于，所述字幕校准模块具体用于：在确定所述字幕时间差大于预先设置的阈值后，将所述字幕文件中的所述最佳匹配项后面的对白开始时间和对白结束时间都加上所述字幕时间差，得到调节后的字幕文件并输出。

Images