CN104599693B - 台词同步字幕的制作方法 - Google Patents

Abstract

本发明涉及自然语言处理技术领域，公开了一种台词同步字幕的制作方法，包括步骤：I、截取台词的音频信息，通过自动语音识别产生初始字幕文件，所述初始字幕文件包括若干字幕段，以及字幕段的开始和结束时间；Ⅱ、将台词剧本与所述初始字幕文件进行对照，建立台词剧本中每句台词与初始字幕文件中字幕段的对应关系；Ⅲ、用台词剧本中的台词句生成新的字幕段，并在所述新字幕段上添加该字幕段的开始和结束时间，生成中间字幕文件。本发明能自动确定绝大部分台词字幕段的开始和结束时间，减少了人力资源代价，台词字母的准确度高，极大提高了视频字幕制作的效率。

Description

台词同步字幕的制作方法

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种台词同步字幕的制作方法。

背景技术

台词同步字幕的制作过程中，主要存在两种情况：一是只有音视频文件，没有既定的台词剧本，需要通过人工听记音视频中的人物对话或背景台词得到台词剧本；二是有音视频文件和台词剧本。在这两种情况下，都需要在制作同步字幕。制作同步字幕的关键环节是为台词剧本中的每句台词字幕播放确定准确的开始和结束时间。目前，确定字幕播放的开始和结束时间需要通过人工逐一标记的方式，处理效率低，特别是浪费时间和人力资源。因此，希望能够设计一种自动的方法和环境，产生比较准确的字幕文件，以尽可能的减少人工干预和审校的工作量。

发明内容

本发明所要解决的技术问题是提供一种台词同步字幕的制作方法，快速地生成台词同步字幕文件，克服现有技术的效率低缺陷。

为解决上述技术问题，本发明提供一种台词同步字幕的制作方法，包括如下步骤：

Ⅰ、截取台词的音频信息，通过自动语音识别产生初始字幕文件，所述初始字幕文件包括若干字幕段，以及字幕段的开始和结束时间；所述字幕段对应一句台词音频，所述字幕段的开始和结束时间即为对应台词句音频的起始和结束时间；

Ⅱ、将台词剧本与所述初始字幕文件进行对照，建立台词剧本中每句台词与初始字幕文件中字幕段的对应关系；

Ⅲ、根据台词剧本中的台词句与初始字幕文件中字幕段的对应关系，用台词剧本中的台词句生成新的字幕段，并在所述新字幕段上添加该字幕段的开始和结束时间，生成中间字幕文件。

更进一步的，对中间字幕文件中不准确或没有的对应关系的台词，进行标记。以便后续有针对性的进行人工处理和审校，得到最终字幕文件。

更优化的方案是，在所述步骤ⅰ之前，包括以下步骤：

将台词剧本中的词进行规范化表示，规则包括如下：

对数字用发音词替换原词；

对复数词增加原词作为候选；

具有形态的词增加原词作为候选；

具有连接关系的词增加各种合并或分离词作为候选；

得到规范化台词剧本。

用规范化台词剧本替代步骤ⅰ中的台词剧本与所述初始字幕文件进行对照。

对于大多数音视频来说，语音识别的结果错误率相对而言比较高，因此很难有相同的句子出现。句子之间的对应关系，主要根据两个句子中包含的相同词和连续相同词来确定。所述将台词剧本与所述初始字幕文件进行对照，建立台词剧本中每句台词与初始字幕文件中字幕段的对应关系；包括以下步骤：

ⅰ、逐句读取台词剧本中的台词句，在所述初始字幕文件中查找与该台词句包含词汇相同的相同词，每个所述相同词标记有字幕段的序号；建立每个台词句与所述相同词及其字幕段序号的映射表；

ⅱ、根据连续相同词的数量大小进行第一次排序；得到具有先后顺序的相同词与台词句的对应关系表；

ⅲ、设置所述相同词与台词句的初始的对应关系集合为空，即：Q，从对应关系表的第一个对应关系开始，取第一个对应关系放入对应关系集合中，然后，循环进行下列操作：

①顺序取一个对应关系，判断该对应关系是否与对应关系集合中的已有的确认对应关系冲突，判断方法为：

对应关系(a)与已有的确认对应关系冲突，是指、满足如下条件：

或者，

其中表示台词剧本的台词句序号，表示初始字幕文件的字幕段序号；

②如果不存在冲突，则确认该对应关系，将该对应关系加入对应关系集合中；并在所述对应关系表中删除包含该台词句序号的其它对应关系；

③如果存在冲突，则直接删除该对应关系。

更优化的，在步骤ⅱ中，如果连续相同部分单词数量相同，则按长度进行二次排序。

所述根据用台词剧本中的台词句与初始字幕文件中字幕段的对应关系，用台词剧本中的台词句生成新的字幕段，并在所述新字幕段上添加该字幕段的开始和结束时间，生成中间字幕文件，包括以下步骤：

根据得到的对应关系集合，检查台词剧本中的相邻序号的台词句是否对应到同一个初始字幕段序号，如果相同，则将该相邻序号的台词句合并，然后将该初始字幕段的起止时间设置合并后的字幕段的起止时间；否则，直接取该初始字幕段序号的开始和结束时间作为新字幕段的开始和结束时间；

对每个设置开始和结束时间的新字幕段进行序号设置，得到中间字幕文件。

本发明能自动确定绝大部分台词字幕段的开始和结束时间，减少了人力资源代价，台词字母的准确度高，极大提高了视频字幕制作的效率。

附图说明

下面结合附图和具体实施方式对本发明的技术方案作进一步具体说明。

图1为本发明的技术流程及结构示意图。

具体实施方式

结合图1所示，本发明提供一种台词同步字幕的制作方法，包括如下步骤：

Ⅰ、截取台词的音频信息，通过自动语音识别产生初始字幕文件，所述初始字幕文件包括若干字幕段，以及字幕段的开始和结束时间；所述字幕段对应一句台词音频，所述字幕段的开始和结束时间即为对应台词句音频的起止时间；

Ⅱ、将台词剧本与所述初始字幕文件进行对照，建立台词剧本中每句台词与初始字幕文件中字幕段的对应关系；

Ⅲ、根据用台词剧本中的台词句与初始字幕文件中字幕段的对应关系，用台词剧本中的台词句生成新的字幕段，并在所述新字幕段上添加该字幕段的开始和结束时间，生成中间字幕文件。

为充分说明本发明，下面结合英语字幕为例，进一步详细描述本发明的技术方案。

通过语音识别产生的初始字幕文件如表格1所示。第一列为序号，第二列为时间轴，表明开始时间和结束时间，第三列为语音识别得到的文本内容。

表格1初始字幕文件示例

台词剧本内容如表格2所示。

将初始字幕文件和台词剧本进行融合处理。融合处理的具体实现方法和步骤主要有：

1.将台词剧本中的词进行规范化表示，特别是对数字、复数、形态和连接等形式，并提供可能的候选词；一般规则如下：

表格1规范化规则

将台词剧本示例进行规范化表示后，得到的结果如表格3所示。其中第一列为序号，形式包含括号，第二列中一行为原始台词剧本，其下一行为规范化处理并添加候选词后的结果。原始台词剧本后是涉及到的处理形式标记，分别用①、②、③、④表示对应的数字、复数、形态和连接的规范化处理。

表格2台词剧本规范化处理

2.将台词剧本中的每个句子，对应到初始字幕文件中的字幕段；

句子之间的对应关系，主要根据句子中包含的相同词确定。对于大多数视频来说，语音识别的结果错误率相对而言比较高，因此很难有相同的句子出现。通过相同词和连续相同词来确定这种对应关系。逐句处理台词剧本中的句子和初始字幕文件中文本使用的相同词，可得到如表格5所示结果，其中“/”表示这些词是分离的，并非连续相同词。

表格3句子对应关系及相同数据

根据连续相同部分单词多少进行第一次排序；如果连续相同部分单词数量相同，则按长度进行二次排序。可得如表格6所示结果：

表格4台词剧本与初始字幕文件句子中相同信息排序

设置初始的对应关系集合为空，即：

循环步骤[1]、[2]、[3]进行下列操作：

[1]顺序取一个对应关系，判断该对应关系是否会与集合Q中的已有的确认对应关系冲突。

对应关系(a)与已有的确认对应关系冲突，是指满足如下条件：

或者

其中表示台词剧本序号，表示初始字幕文件序号。

[2]如果不存在冲突，则确认该对应关系，并将其加入集合中。

对于相同信息排序中的第一个对应关系，确认该对应关系后，结果如表格7所示。

表格5确认对应关系和对应关系集合

对于该确认的对应关系“2people from other times(2)”，其中包含台词句序号(2)。如果在对应关系表剩余的对应关系中还存在包含台词句序号(2)的对应关系，则删除这些对应关系。不过，由于对应关系表剩余的对应关系中没有包含台词句序号(2)的对应关系，所以没有这一步操作。

表格6确认对应关系和对应关系集合

确认表格8中的对应关系时，需要在对应关系表剩余的对应关系中删除包含台词句序号(1)的对应关系，如表格9所示。表格9中带有横线标识的对应关系表示被删除的对应关系。下面其它表格中有同样带有横线标识的对应关系也表示同样的含义。

表格7删除的对应关系和对应关系集合

[3]如果存在冲突，则直接删除该对应关系。

该循环过程逐步操作的数据如表格10到表格28所示，直接演示，循环相同操作不再赘述。

表格8逐步操作数据

表格9逐步操作数据

表格10逐步操作数据

表格11逐步操作数据

表格12逐步操作数据

表格13逐步操作数据

表格14逐步操作数据

表格15逐步操作数据

表格16逐步操作数据

直接删除对应关系8what is(15)，因为根据公式(2)评估，其与

集合中已存在的(13)-这个对应关系冲突。

表格17逐步操作数据

表格18逐步操作数据

表格19逐步操作数据

表格20逐步操作数据

表格21逐步操作数据

表格22逐步操作数据

直接删除对应关系12level(11)，因为其与(12)-这个对应关系冲突。

表格23逐步操作数据

直接删除对应关系6what(15)，因为根据公式(2)，其与集合中已存在的(8)这个对应关系冲突。

表格24逐步操作数据

表格25逐步操作数据

直接删除对应关系7six(11)，因为根据公式(2)，其与集合中已存在的(9)这个对应关系冲突。

表格26逐步操作数据

3.找到确定的对应句子，检查相邻的台词剧本中的句子是否对应到相同的初始字幕句子，如果相同，标记为合并，然后一起设置初始字幕句子时间；否则，直接取初始字幕句子的开始和结束时间作为台词剧本中句子的开始和结束时间。无法找到对应关系的设置检查标记。对每个设置开始和结束时间的进行序号设置，得到中间字幕文件。

通过这些处理后，得到的中间字幕文件以及相关标记如表格29所示。

表格27中间字幕文件以及相关标记

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种台词同步字幕的制作方法，其特征在于，包括如下步骤：

Ⅰ、截取台词的音频信息，通过自动语音识别产生初始字幕文件，所述初始字幕文件包括若干字幕段，以及字幕段的开始和结束时间；所述字幕段对应一句台词音频，所述字幕段的开始和结束时间即为对应台词句音频的起始和结束时间；

Ⅱ、将台词剧本与所述初始字幕文件进行对照，建立台词剧本中每句台词与初始字幕文件中字幕段的对应关系；

Ⅲ、根据台词剧本中的台词句与初始字幕文件中字幕段的对应关系，用台词剧本中的台词句生成新的字幕段，并在所述新字幕段上添加该字幕段的开始和结束时间，生成中间字幕文件；

所述将台词剧本与所述初始字幕文件进行对照，建立台词剧本中每句台词与初始字幕文件中字幕段的对应关系，包括以下步骤：

ⅰ、逐句读取台词剧本中的台词句，在所述初始字幕文件中查找与该台词句包含词汇相同的相同词，每个所述相同词标记有字幕段的序号；建立每个台词句与所述相同词及其字幕段序号的映射表；

ⅱ、根据连续相同词的数量大小进行第一次排序，得到具有先后顺序的相同词与台词句的对应关系表；

ⅲ、设置所述相同词与台词句的初始的对应关系集合Q为空，即：从对应关系表的第一个对应关系开始，取第一个对应关系放入对应关系集合Q中，然后，循环进行下列操作：

①顺序取一个对应关系，判断该对应关系是否与对应关系集合Q中的已有的确认对应关系冲突，判断方法为：

对应关系(a)-b与已有的确认对应关系冲突，是指(a)、b满足如下条件：

或者，

其中(a)表示台词剧本的台词句序号，b表示初始字幕文件的字幕段序号；

②如果不存在冲突，则确认该对应关系，将该对应关系加入对应关系集合Q中；并在所述对应关系表中删除包含该台词句序号的其它对应关系；

③如果存在冲突，则直接删除该对应关系。

2.根据权利要求1所述的台词同步字幕的制作方法，其特征在于，在所述步骤ⅰ之前，包括以下步骤：

将台词剧本中的词汇进行规范化表示，规则包括如下：

对数字用发音词替换原词；

对复数词增加原词作为候选；

具有形态的词增加原词作为候选；

具有连接关系的词增加各种合并或分离词作为候选；

得到规范化台词剧本；

用规范化台词剧本替代步骤ⅰ中的台词剧本。

3.根据权利要求1所述的台词同步字幕的制作方法，其特征在于，在步骤ⅱ中，如果连续相同部分单词数量相同，则按长度进行二次排序。

4.根据权利要求1所述的台词同步字幕的制作方法，其特征在于，所述生成中间字幕文件，包括以下步骤：

根据得到的对应关系集合Q，检查台词剧本中的相邻序号的台词句是否对应到同一个初始字幕段序号，如果相同，则将该相邻序号的台词句合并，然后将该初始字幕段的起止时间设置合并后的字幕段的起止时间；否则，直接取该初始字幕段序号的开始和结束时间作为新字幕段的开始和结束时间；

对每个设置开始和结束时间的新字幕段进行序号设置，得到中间字幕文件。

5.根据权利要求1至4之一所述的台词同步字幕的制作方法，其特征在于，所述对中间字幕文件中不准确或没有的对应关系的台词，进行标记；经后续有针对性的人工处理和审校，得到最终字幕文件。