CN105828101A - 生成字幕文件的方法及装置 - Google Patents
生成字幕文件的方法及装置 Download PDFInfo
- Publication number
- CN105828101A CN105828101A CN201610186623.1A CN201610186623A CN105828101A CN 105828101 A CN105828101 A CN 105828101A CN 201610186623 A CN201610186623 A CN 201610186623A CN 105828101 A CN105828101 A CN 105828101A
- Authority
- CN
- China
- Prior art keywords
- track
- consonant rail
- text
- consonant
- rail
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
Abstract
本公开是关于一种生成字幕文件的方法及装置，属于语音识别技术领域。方法包括：通过获取视频中的音轨；根据该音轨对应在各个时刻的音量将该音轨分割成多个子音轨；对该多个子音轨中的音频进行语音识别，获得该多个子音轨中的音频对应原始语种的第一文本；将该第一文本翻译为目标语种对应的第二文本；根据该第二文本以及该多个子音轨各自对应的播放时间段生成该音轨对应的字幕文件，无需人工听译，而是通过终端或者服务器等装置自动完成读取视频中音轨、语音识别音轨、将语音识别后得到的文本翻译成字幕文件中所需的文本等步骤，达到自动快速将非母语视频中的音轨翻译成母语字幕，简化字幕制作的人工翻译步骤，缩短字幕制作周期的效果。
Description
技术领域
本公开涉及语音识别技术领域，特别涉及一种生成字幕文件的方法及装置。
背景技术
随着观看非母语视频行为的增多，为了能够看懂该视频的内容，用户希望非母语视频中能够增加对应的母语字幕。
相关技术中，影视工作者对非母语视频进行预处理。在该处理过程中，影视工作者将该视频中语言语音人工翻译成用户看得懂的母语文字，之后根据该母语文字制作字幕文件，在播放视频时，同时运行字幕文件，以在视频画面中显示母语字幕。然而，影视工作者数量的有限，难以保证为互联网中的每一个非母语视频及时制作字幕文件。
发明内容
本公开实施例提供了一种生成字幕文件的方法及装置，技术方案如下：
根据本公开实施例的第一方面，提供了一种生成字幕文件的方法，该方法用于终端或服务器中，包括：
获取视频中的音轨；
根据所述音轨对应在各个时刻的音量将所述音轨分割成多个子音轨，所述多个子音轨对应各自的播放时间段；
对所述多个子音轨中的音频进行语音识别，获得所述多个子音轨中的音频对应原始语种的第一文本，所述原始语种是所述音频中的语音的语种；
将所述第一文本翻译为目标语种对应的第二文本；
根据所述第二文本以及所述多个子音轨各自对应的播放时间段生成所述音轨对应的字幕文件。
可选地，所述根据所述音轨对应在各个时刻的音量将所述音轨分割成多个子音轨，包括：
在所述音轨对应的播放时间段内，每隔单位时间确定一个采样时间点；
获取所述音轨在所述采样时间点处的音量值；
检测所述音量值是否小于预设的音量阈值；
若所述音量值小于所述音量阈值，则将所述采样时间点确定为分割点；
根据确定的所述分割点将所述音轨分割成所述多个子音轨。
可选地，所述获取视频中的音轨，包括：
获取所述视频中预设时间长度的所述音轨。
可选地，所述根据所述音轨对应在各个时刻的音量将所述音轨分割成多个子音轨，还包括：
当所述音轨的结束时间点处的音量值不小于所述音量阈值时，将所述多个子音轨中的最后一个音轨丢弃；
将所述最后一个音轨的起始时间点确定为下一次获取音轨的起始时间点。
可选地，所述根据所述音轨对应在各个时刻的音量将所述音轨分割成多个子音轨，还包括：
当所述音轨的结束时间点处的音量值不小于所述音量阈值时，从所述多个子音轨的结束时间点开始每隔所述单位时间确定一个采样时间点；
每当新确定一个采样时间点后，判断所述视频的音轨在所述新确定的采样时间点处的音量值是否小于所述音量阈值；
若判断结果为所述视频的音轨在所述新确定的采样时间点处的音量值小于所述音量阈值，则将新确定的所述采样时间点确定为所述多个子音轨中的最后一个子音轨的结束时间点，并将新确定的所述采样时间点确定为下一次获取音轨的起始时间点。
可选地，所述对所述多个子音轨中的音频进行语音识别，获得所述多个子音轨中的音频对应原始语种的第一文本，包括：
对于所述多个子音轨中的每一个子音轨，依次调用预先设置的若干个音频识别单元对所述子音轨中的音频进行语音识别，每个所述音频识别单元对应一种语种；
判断当前调用的音频识别单元是否成功输出对所述子音轨中的音频进行语音识别的识别结果；
若判断结果为所述当前调用的音频识别单元成功输出所述识别结果，则将所述识别结果获取为所述子音轨中的音频对应原始语种的第一文本。
可选地，所述对所述多个子音轨中的音频进行语音识别，获得所述多个子音轨中的音频对应原始语种的第一文本，还包括：
若判断结果为所述当前调用的音频识别单元未成功输出所述识别结果，则判断所述若干个音频识别单元中是否存在未被调用过的音频识别单元；
若判断结果为所述若干个音频识别单元中存在未被调用过的音频识别单元，则继续调用下一个音频识别单元对所述子音轨中的音频进行语音识别；
若判断结果为所述若干个音频识别单元中不存在未被调用过的音频识别单元，则确定所述子音轨中的音频对应的第一文本为空。
可选地，所述根据所述第二文本以及所述多个子音轨各自对应的播放时间段生成所述音轨对应的字幕文件，包括：
生成用于在播放所述视频时，在所述多个子音轨各自对应的播放时间段内展示所述多个子音轨各自对应的第二文本的字幕文件
根据本公开实施例的第二方面，提供了一种生成字幕文件的装置，该装置应用于终端或服务器中，包括：
音轨获取模块，用于获取视频中的音轨；
音轨分割模块，用于根据所述音轨对应在各个时刻的音量将所述音轨分割成多个子音轨，所述多个子音轨对应各自的播放时间段；
音频识别模块，用于对所述多个子音轨中的音频进行语音识别，获得所述多个子音轨中的音频对应原始语种的第一文本，所述原始语种是所述音频中的语音的语种；
文本翻译模块，用于将所述第一文本翻译为目标语种对应的第二文本；
字幕生成模块，用于根据所述第二文本以及所述多个子音轨各自对应的播放时间段生成所述音轨对应的字幕文件。
可选地，所述音轨分割模块，包括：
第一确定子模块，用于在所述音轨对应的播放时间段内，每隔单位时间确定一个采样时间点；
音量值获取子模块，用于获取所述音轨在所述采样时间点处的音量值；
检测子模块，用于检测所述音量值是否小于预设的音量阈值；
第二确定子模块，用于若所述音量值小于所述音量阈值，则将所述采样时间点确定为分割点；
分割子模块，用于根据确定的所述分割点将所述音轨分割成所述多个子音轨。
可选地，所述音轨获取模块，用于获取所述视频中预设时间长度的所述音轨。
可选地，所述音轨分割模块，还包括：
丢弃子模块，用于当所述音轨的结束时间点处的音量值不小于所述音量阈值时，将所述多个子音轨中的最后一个音轨丢弃；
第三确定子模块，用于将所述最后一个音轨的起始时间点确定为下一次获取音轨的起始时间点。
可选地，所述音轨分割模块，还包括：
第四确定子模块，用于当所述音轨的结束时间点处的音量值不小于所述音量阈值时，从所述多个子音轨的结束时间点开始每隔所述单位时间确定一个采样时间点；
判断子模块，用于每当新确定一个采样时间点后，判断所述视频的音轨在所述新确定的采样时间点处的音量值是否小于所述音量阈值；
第五确定子模块，用于若判断结果为所述视频的音轨在所述新确定的采样时间点处的音量值小于所述音量阈值，则将新确定的所述采样时间点确定为所述多个子音轨中的最后一个子音轨的结束时间点；
第六确定子模块，用于将新确定的所述采样时间点确定为下一次获取音轨的起始时间点。
可选地，所述音频识别模块，包括：
调用子模块，用于对于所述多个子音轨中的每一个子音轨，依次调用预先设置的若干个音频识别单元对所述子音轨中的音频进行语音识别，每个所述音频识别单元对应一种语种；
第一判断子模块，用于判断当前调用的音频识别单元是否成功输出对所述子音轨中的音频进行语音识别的识别结果；
文本获取子模块，用于若判断结果为所述当前调用的音频识别单元成功输出所述识别结果，则将所述识别结果获取为所述子音轨中的音频对应原始语种的第一文本。
可选地，所述音频识别模块，还包括：
第二判断子模块，用于若判断结果为所述当前调用的音频识别单元未成功输出所述识别结果，则判断所述若干个音频识别单元中是否存在未被调用过的音频识别单元；
所述调用子模块，还用于若判断结果为所述若干个音频识别单元中存在未被调用过的音频识别单元，则继续调用下一个音频识别单元对所述子音轨中的音频进行语音识别；
空文本确认子模块，用于若判断结果为所述若干个音频识别单元中不存在未被调用过的音频识别单元，则确定所述子音轨中的音频对应的第一文本为空。
可选地，所述字幕生成模块，用于生成用于在播放所述视频时，在所述多个子音轨各自对应的播放时间段内展示所述多个子音轨各自对应的第二文本的字幕文件。
根据本公开实施例的第三方面，提供了一种生成字幕文件的装置，该装置应用于终端或服务器中，包括：
处理器；
用于存储所述处理器的可执行指令的存储器；
其中，所述处理器被配置为：
获取视频中的音轨；
根据所述音轨对应在各个时刻的音量将所述音轨分割成多个子音轨，所述多个子音轨对应各自的播放时间段；
对所述多个子音轨中的音频进行语音识别，获得所述多个子音轨中的音频对应原始语种的第一文本，所述原始语种是所述音频中的语音的语种；
将所述第一文本翻译为目标语种对应的第二文本；
根据所述第二文本以及所述多个子音轨各自对应的播放时间段生成所述音轨对应的字幕文件。
本公开实施例提供的技术方案可以包括以下有益效果：
本公开通过获取视频中的音轨；根据该音轨对应在各个时刻的音量将该音轨分割成多个子音轨；对该多个子音轨中的音频进行语音识别，获得该多个子音轨中的音频对应原始语种的第一文本；将该第一文本翻译为目标语种对应的第二文本；根据该第二文本以及该多个子音轨各自对应的播放时间段生成该音轨对应的字幕文件，无需人工听译，而是通过终端或者服务器等装置自动完成读取视频中音轨、语音识别音轨、将语音识别后得到的文本翻译成字幕文件中所需的文本等步骤，达到自动快速将非母语视频中的音轨翻译成母语字幕，简化字幕制作的人工翻译步骤，缩短字幕制作周期的效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种生成字幕文件的方法的流程图；
图2是根据一示例性实施例示出的一种生成字幕文件的方法的流程图；
图3A是根据另一示例性实施例示出的一种生成字幕文件的方法的流程图；
图3B是根据图3A示出的一种生成字幕文件的方法的流程图；
图3C是根据图3A示出的一种生成字幕文件的方法的流程图；
图4是根据一示例性实施例示出的一种生成字幕文件的装置的框图；
图5是根据一示例性实施例示出的一种生成字幕文件的装置的框图；
图6是根据一示例性实施例示出的一种装置的框图；
图7是根据一示例性实施例示出的另一种装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含所指示的技术特征的数量。由此，限定的“第一”、“第二”的特征可以明示或隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
图1是根据一示例性实施例示出的一种生成字幕文件的方法的流程图，该生成字幕文件的方法可以包括如下几个步骤。
在步骤101中，获取视频中的音轨。
在步骤102中，根据该音轨对应在各个时刻的音量将该音轨分割成多个子音轨，该多个子音轨对应各自的播放时间段。
在步骤103中，对该多个子音轨中的音频进行语音识别，获得该多个子音轨中的音频对应原始语种的第一文本，原始语种是音频中的语音的语种。
在步骤104中，将该第一文本翻译为目标语种对应的第二文本。
在步骤105中，根据该第二文本以及该多个子音轨各自对应的播放时间段生成该音轨对应的字幕文件。
可选地，步骤101至步骤105可全部由播放该视频的终端完成；也可以是，步骤101、102和105由播放该视频的终端完成，同时步骤103和步骤104由服务器或云端服务器集群等能够与该终端通信并执行步骤103和104的外部电子设备；或者步骤101至步骤105可全部由服务器或云端服务器集群等能够与该终端通信的外部电子设备完成。
综上所述，根据本示例性实施例提供的生成字幕文件的方法，通过获取视频中的音轨；根据该音轨对应在各个时刻的音量将该音轨分割成多个子音轨；对该多个子音轨中的音频进行语音识别，获得该多个子音轨中的音频对应原始语种的第一文本；将该第一文本翻译为目标语种对应的第二文本；根据该第二文本以及该多个子音轨各自对应的播放时间段生成该音轨对应的字幕文件，无需人工听译，而是通过终端或者服务器等装置自动完成读取视频中音轨、语音识别音轨、将语音识别后得到的文本翻译成字幕文件中所需的文本等步骤，解决了相关技术中因互联网海量的非母语视频的存在以及影视工作者数量的有限，难以保证为互联网中的每一个非母语视频及时制作字幕文件的问题；达到了自动快速将非母语视频中的音轨翻译成母语字幕，简化字幕制作的人工翻译步骤，缩短字幕制作周期的效果。
图2是根据一示例性实施例示出的一种生成字幕文件的方法的流程图，该生成字幕文件的方法可以包括如下几个步骤。
在步骤201中，获取视频中的音轨。
本步骤中，获取视频中的音轨由终端或者外部电子设备自动完成，该步骤201可以是设备在预先设置好的指令或指令集的指示下，读取视频文件并从该视频文件中提取音轨。
本步骤不限定获取音轨的长度和次数。例如，完整的视频文件长度为四十五分钟，本步骤可以一次获取全长四十五分钟的音轨；也可以分九次，每次获取五分钟的音轨；还可以按照预设的获取规则，每次获取其中一段预设时间长度对应的音轨，直至获取完成视频中全部的音轨。
在步骤202中，在该音轨对应的播放时间段内，每隔单位时间确定一个采样时间点。
采样时间点设置的数量取决于该音轨的长度，以及预设的单位时间长度。例如该音轨长度为五分钟且单位时间长度为一百毫秒，则从该音轨的开始时刻起，每隔一百毫秒设置一个采样时间点，这些点的时间点分别为：0.1s、0.2s、0.3s…299.9s，共2999个采样时间点。其中，开始时间点0s和结束时间点300s不充当采样时间点。
在步骤203中，获取该音轨在该采样时间点处的音量值。
获取该音轨后的设备将继续获取该音轨在采样时间点处的音量值，基于步骤202所举的例子，获取的采样时间点处的音量值有2999个。步骤203中的一个该采样时间点处的音量值可以是该采样时间点的即时音量值，也可以是该采样时间点前后预定时间段内的音量平均值。
若是采样时间点前后预定时间段内的音量平均值，例如相邻的采样时间点之间间隔一百毫秒，则采样时间点前后预定时间段可设为五十毫秒，即比如一个采样时间点为2.7s,则取2.65s-2.75s时间段内音量平均值作为该音轨在采样时间点处的音量值。
或者，将采样时间点之前或之后的一百毫秒的时间段内音量平均值作为该音轨在采样时间点处的音量值，例如一个采样时间点为2.7s,可以取2.6s-2.7s时间段内音量平均值作为该音轨在采样时间点处的音量值，也可以取2.7s-2.8s时间段内音量平均值作为该音轨在采样时间点处的音量值。
步骤203中获取音轨在采样时间点处的音量值的方法，对与同一音轨来说是一致的。
在步骤204中，检测该音量值是否小于预设的音量阈值。
预设的音量阈值可以按照能够将背景噪声过滤的标准来进行设定，例如根据统计数据得知80％的背景噪声的音量值均小于一个音量阈值，那么就可将该音量阈值设为本公开中的音量阈值。需要特别指出的是，上述统计数据及80％的背景噪声均为本公开的一种可能实现的方式中示例性的数据，不对本公开技术特征构成限定。
可选地，该音量阈值也可以根据该音轨的类型而做出相应的调整。例如在步骤204执行之前，在预先获取了该音轨所属视频的类型是动作电影时，可按照动作电影对应的音量阈值进行检测；在预先获取该音轨所属视频的类型为故事电影时，可按照故事电影对应的音量阈值进行检测，在本例中可设置动作电影对应的音量阈值大于故事电影对应的音量阈值。
在步骤205中，若该音量值小于该音量阈值，则将该采样时间点确定为分割点。
在步骤206中，根据确定的该分割点将该音轨分割成该多个子音轨。
每个子音轨的起点和终点对应的是一对相邻的分割点，子音轨与原音轨在时间长度上有长短之分，被分割后的多个子音轨拼接起来仍为原来的音轨。
在步骤207中，对于该多个子音轨中的每一个子音轨，依次调用预先设置的若干个音频识别单元对该子音轨中的音频进行语音识别，每个该音频识别单元对应一种语种。
以一个子音轨为例，在该子音轨调用预先设置的若干个音频识别单元时，该预先设置的若干个音频识别单元是一组能够识别出该子音轨中音频的语种、并能将该子音轨中的音频翻译成对应的文字的功能单元。
其中，调用预先设置的若干个音频识别单元可以通过调用音频识别API(ApplicationProgrammingInterface,应用程序编程接口)，将该子音轨发送至相应的语音识别程序中，每个API对应能识别一个语种的应用程序。例如，一个英文语音识别API对应能够识别英语音频，并能将英语音频翻译成对应的英语文字的应用程序。
在步骤208中，判断当前调用的音频识别单元是否成功输出对该子音轨中的音频进行语音识别的识别结果，若是，进入步骤209，否则，进入步骤210。
在步骤209中，将该识别结果获取为该子音轨中的音频对应原始语种的第一文本，该原始语种是音频中的语音的语种。
基于步骤207所举的例子，一个音频识别单元能识别相应的音频，比如英文语音识别API在子音轨中的音频是英语时，将成功输出对该子音轨中的音频进行语音识别的识别结果，即原始语种是英文，第一文本是调用英文语音识别API后输出的英文识别结果。
在步骤210中，判断该若干个音频识别单元中是否存在未被调用过的音频识别单元，若是，返回步骤207，否则，进入步骤211。
基于步骤207所举的例子，若该子音轨中的音频不是英语，即判断结果为该当前调用的音频识别单元未成功输出该识别结果，则判断该若干个音频识别单元中是否存在未被调用过的音频识别单元。此时，除了英文语音识别API，将判断还有无别的音频识别单元未被调用过。
若判断结果为该若干个音频识别单元中存在未被调用过的音频识别单元，则继续调用下一个音频识别单元对该子音轨中的音频进行语音识别。
当存在该若干个音频识别单元中存在未被调用过的音频识别单元，则继续调用下一个音频识别单元。这里的下一个指的是按照预先设置好的顺序，排在该英文语音识别API后边的音频识别单元。比如，预先设置好的顺序是英文语音识别API、日文语音识别API、俄文语音识别API、韩文语音识别API和法文语音识别API，那么下一个调用的音频识别单元为日文语音识别API。
需要特别指出的是，本公开实施例中的音频识别单元和预先设置好的顺序仅为举例说明本公开能够实现的其中一种场景，并不对本公开音频识别单元和预先设置好的顺序形成限定。
在步骤211中，确定该子音轨中的音频对应的第一文本为空。
基于步骤210所举的例子，在判断结果为该若干个音频识别单元中不存在未被调用过的音频识别单元，即若干个音频识别单元中均被调用过，则确定该子音轨中的音频对应的第一文本为空。该子音轨的语音识别结果的没有原始语种信息，同时第一文本也为空。
在步骤212中，将该第一文本翻译为目标语种对应的第二文本。
多个子音轨中，第一文本内容不为空的子音轨同时还包括了原始语种信息，根据该原始语种信息使用对应的翻译程序，将该第一文本内容翻译成第二文本。
例如，原始语种信息为英语的第一文本，将使用英文文字翻译成中文文字的翻译程序将英文文字翻译成中文。
在步骤213中，生成用于在播放该视频时，在该多个子音轨各自对应的播放时间段内展示该多个子音轨各自对应的第二文本的字幕文件。
该字幕文件的作用是在该多个子音轨各自对应的时间段内，展示该多个子音轨各自对应的第二文本的字幕文件。例如，原始的视频中包含法语、日语、英语和韩语等语言，经过本公开翻译的该多个子音轨均对应包含有中文字幕。在播放视频时，对于每个子音轨，在该子音轨对应的播放时间段内，持续展示有该子音轨的第二文本组成的字幕。
综上所述，本示例性实施例提供的生成字幕文件的方法，通过获取视频中的音轨；根据该音轨对应在各个时刻的音量将该音轨分割成多个子音轨；对该多个子音轨中的音频进行语音识别，获得该多个子音轨中的音频对应原始语种的第一文本；将该第一文本翻译为目标语种对应的第二文本；根据该第二文本以及该多个子音轨各自对应的播放时间段生成该音轨对应的字幕文件，无需人工听译，而是通过终端或者服务器等装置自动完成读取视频中音轨、语音识别音轨、将语音识别后得到的文本翻译成字幕文件中所需的文本等步骤，解决了相关技术中因互联网海量的非母语视频的存在以及影视工作者数量的有限，难以保证为互联网中的每一个非母语视频及时制作字幕文件的问题；达到了自动快速将非母语视频中的音轨翻译成母语字幕的效果，尤其适合为在线观看的非母语视频添加母语字幕。
请参考图3A，图3A是根据另一示例性实施例示出的一种生成字幕文件的方法的流程图，该生成字幕文件的方法可以包括如下几个步骤。
在步骤301中，获取视频中预设时间长度的音轨。
获取视频中的音轨的执行方法可参照步骤201。除此之外，步骤301中预设时间指一段在实时本公开方案前就预先设定好的时间长度。以预设时间是五分钟为例，则执行步骤301时，将获取时长为五分钟的音轨。
在步骤302中，在该音轨对应的播放时间段内，每隔单位时间确定一个采样时间点。
在步骤303中，获取该音轨在该采样时间点处的音量值。
在步骤304中，检测该音量值是否小于预设的音量阈值。
在步骤305中，若该音量值小于该音量阈值，则将该采样时间点确定为分割点。
在步骤306中，根据确定的该分割点将该音轨分割成该多个子音轨。
步骤302-步骤306的内容执行方法和相关名词解释可对应参照步骤202-步骤206的内容。
在步骤306执行完毕之后，可执行步骤307和步骤308，或者执行步骤309至步骤311。在步骤308或者步骤311执行完毕之后，接着执行步骤312及其后续步骤。
请参考图3B，图3B是根据图3A示出的一种生成字幕文件的方法的流程图，该生成字幕文件的方法可以包括步骤307和步骤308。
在步骤307中，当该音轨的结束时间点处的音量值不小于该音量阈值时，将该多个子音轨中的最后子一个音轨丢弃。
以该音轨的预设时间是五分钟为例，当结束时间点5min处的音量值不小于该音量阈值时，将该长度为五分钟的音轨中多个子音轨中的最后一个子音轨丢弃。
在步骤308中，将该最后子一个音轨的起始时间点确定为下一次获取音轨的起始时间点。
基于步骤307所举的例子，假设最后一个子音轨的的开始时间点是4min52s，在时间点5min时，该子音轨的音量值不小于预设音量阈值，则将时间点4min52s确定为下一次获取音轨的起始时间点，比如每次均获取五分钟长度的音轨，则下一次获取五分钟长度音轨的起始时间点为4min52s。
请参考图3C，图3C是根据图3A示出的一种生成字幕文件的方法的流程图，该生成字幕文件的方法可以包括步骤309、步骤310和步骤311。
在步骤309中，当该音轨的结束时间点处的音量值不小于该音量阈值时，从该多个子音轨的结束时间点开始每隔该单位时间确定一个采样时间点。
此处单位时间可以是一个预设的时间段，比如一百毫秒。若该单位时间为一百毫秒，则每隔一百毫秒确定一个采样时间点。
在步骤310中，每当新确定一个采样时间点后，判断该视频的音轨在该新确定的采样时间点处的音量值是否小于该音量阈值，若是，进入步骤311，否则，返回步骤309。
基于步骤309所举的例子，每当新确定一个采样时间点后，立即判断该视频的音轨在该新确定的采样时间点处的音量值是否小于该音量阈值。如果该视频的音轨在该新确定的采样时间点处的音量值小于该音量阈值，则进入步骤311，否则，返回步骤309，继续确定下一个采样时间点。
在步骤311中，将新确定的该采样时间点确定为该多个子音轨中的最后一个子音轨的结束时间点，并将新确定的该采样时间点确定为下一次获取音轨的起始时间点。
基于步骤310所举的例子，若判断结果为该视频的音轨在该新确定的采样时间点处的音量值小于该音量阈值，则将新确定的该采样时间点确定为该多个子音轨中的最后一个子音轨的结束时间点，例如新确定的采样时间点为5min0.1s，若该采样时间点的音量值小于该音量阈值，则将5min0.1s确定为该多个子音轨中的最后一个子音轨的结束时间点。
在步骤312中，对于该多个子音轨中的每一个子音轨，依次调用预先设置的若干个音频识别单元对该子音轨中的音频进行语音识别，每个该音频识别单元对应一种语种。
在步骤313中，判断当前调用的音频识别单元是否成功输出对该子音轨中的音频进行语音识别的识别结果，若是，进入步骤314，否则，进入步骤315。
在步骤314中，将该识别结果获取为该子音轨中的音频对应原始语种的第一文本，该原始语种是音频中的语音的语种。
在步骤315中，判断该若干个音频识别单元中是否存在未被调用过的音频识别单元，若是，返回步骤312，否则，进入步骤316。
在步骤316中，确定该子音轨中的音频对应的第一文本为空。
在步骤317中，将该第一文本翻译为目标语种对应的第二文本。
在步骤318中，生成用于在播放该视频时，在该多个子音轨各自对应的播放时间段内展示该多个子音轨各自对应的第二文本的字幕文件。
步骤312至步骤318的内容执行方法和相关名词解释可对应参照步骤207-步骤213的内容。
综上所述，本示例性实施例提供的生成字幕文件的方法，通过获取视频中的音轨；根据该音轨对应在各个时刻的音量将该音轨分割成多个子音轨；对该多个子音轨中的音频进行语音识别，获得该多个子音轨中的音频对应原始语种的第一文本；将该第一文本翻译为目标语种对应的第二文本；根据该第二文本以及该多个子音轨各自对应的播放时间段生成该音轨对应的字幕文件，解决了相关技术中因互联网海量的非母语视频的存在以及影视工作者数量的有限，难以保证为互联网中的每一个非母语视频及时制作字幕文件的问题；达到了自动快速将非母语视频中的音轨翻译成母语字幕的效果，尤其适合为在线观看的非母语视频添加母语字幕。
另外，由于将一段预设时间长度的音轨分割成多个子音轨的过程中，判断该分割后的多个子音轨中最后一个子音轨在音轨结束时间点上是否小于音量阈值，从而将最后一个子音轨丢弃或者新确定音量小于音量阈值的采样时间点，并将该采样时间点作为最后一个子音轨的结束时间点。所以达到了保证每个子音轨中的音频信息的完整性，避免了按照预设时间长度截取音轨造成截取的某段音轨中出现一句不完整的语言的情况，使得生成的字幕文件更加完整。
图4是根据一示例性实施例示出的一种生成字幕文件的装置的框图。该生成字幕文件的装置可以通过硬件电路或者软件与硬件的结合，执行如图1、图2、图3A、图3B或图3C任一所示实施例中由控制设备所执行的全部或部分步骤。请参考图4，该装置可以包括：音轨获取模块401、音轨分割模块402、音频识别模块403、文本翻译模块404和字幕生成模块405。
音轨获取模块401，被配置为获取视频中的音轨。
音轨分割模块402，被配置为根据该音轨对应在各个时刻的音量将该音轨分割成多个子音轨，该多个子音轨对应各自的播放时间段。
音频识别模块403，被配置为对该多个子音轨中的音频进行语音识别，获得该多个子音轨中的音频对应原始语种的第一文本，该原始语种是该音频中的语音的语种。
文本翻译模块404，被配置为根据该多个子音轨中的音频的原始语种，将该第一文本翻译为目标语种对应的第二文本。
字幕生成模块405，被配置为根据该第二文本以及该多个子音轨各自对应的播放时间段生成该音轨对应的字幕文件。
综上所述，根据本示例性实施例提供的生成字幕文件的装置，通过获取视频中的音轨；根据该音轨对应在各个时刻的音量将该音轨分割成多个子音轨，该多个子音轨对应各自的播放时间段；对该多个子音轨中的音频进行语音识别，获得该多个子音轨中的音频的原始语种以及该多个子音轨中的音频对应的第一文本；根据该多个子音轨中的音频的原始语种，将该第一文本翻译为目标语种对应的第二文本；根据该第二文本以及该多个子音轨各自对应的播放时间段生成该音轨对应的字幕文件，解决了相关技术中因互联网海量的非母语视频的存在以及影视工作者数量的有限，难以保证为互联网中的每一个非母语视频及时制作字幕文件的问题；达到了自动快速将非母语视频中的音轨翻译成母语字幕的效果，尤其适合为在线观看的非母语视频添加母语字幕。
图5是根据一示例性实施例示出的一种生成字幕文件的装置的框图。该生成字幕文件的装置可以通过硬件电路或者软件与硬件的结合，执行如图1、图2、图3A、图3B或图3C任一所示实施例中由控制设备所执行的的全部或部分步骤。请参考图5，该装置可以包括：音轨获取模块501、音轨分割模块502、音频识别模块503、文本翻译模块504和字幕生成模块505。
音轨获取模块501，被配置为获取视频中的音轨。
音轨分割模块502，被配置为根据该音轨对应在各个时刻的音量将该音轨分割成多个子音轨，该多个子音轨对应各自的播放时间段。
音频识别模块503，被配置为对该多个子音轨中的音频进行语音识别，获得该多个子音轨中的音频对应原始语种的第一文本，该原始语种是该音频中的语音的语种。
文本翻译模块504，被配置为根据该多个子音轨中的音频的原始语种，将该第一文本翻译为目标语种对应的第二文本。
字幕生成模块505，被配置为根据该第二文本以及该多个子音轨各自对应的播放时间段生成该音轨对应的字幕文件。
可选地，音轨分割模块502包括：第一确定子模块502a、音量值获取子模块502b、检测子模块502c、第二确定子模块502d和分割子模块502e。
第一确定子模块502a，被配置为在该音轨对应的播放时间段内，每隔单位时间确定一个采样时间点。
音量值获取子模块502b，被配置为获取该音轨在该采样时间点处的音量值。
检测子模块502c，被配置为检测该音量值是否小于预设的音量阈值。
第二确定子模块502d，被配置为若该音量值小于该音量阈值，则将该采样时间点确定为分割点。
分割子模块502e，被配置为根据确定的该分割点将该音轨分割成该多个子音轨。
可选地，音轨获取模块501，被配置为获取该视频中预设时间长度的该音轨。
可选地，音轨分割模块502还包括：丢弃子模块502f和第三确定子模块502g。
丢弃子模块502f，被配置为当该音轨的结束时间点处的音量值不小于该音量阈值时，将该多个子音轨中的最后一个音轨丢弃；
第三确定子模块502g，被配置为将该最后一个音轨的起始时间点确定为下一次获取音轨的起始时间点。
可选地，音轨分割模块502还包括：第四确定子模块502h、判断子模块502i和第五确定子模块502j。
第四确定子模块502h，被配置为当该音轨的结束时间点处的音量值不小于该音量阈值时，从该多个子音轨的结束时间点开始每隔该单位时间确定一个采样时间点。
判断子模块502i，被配置为每当新确定一个采样时间点后，判断该视频的音轨在该新确定的采样时间点处的音量值是否小于该音量阈值。
第五确定子模块502j，被配置为若判断结果为该视频的音轨在该新确定的采样时间点处的音量值小于该音量阈值，则将新确定的该采样时间点确定为该多个子音轨中的最后一个子音轨的结束时间点；
第六确定子模块502k，被配置为将新确定的该采样时间点确定为下一次获取音轨的起始时间点。
可选地，音频识别模块503包括：调用子模块503a、第一判断子模块503b和文本获取子模块503c。
调用子模块503a，被配置为对于该多个子音轨中的每一个子音轨，依次调用预先设置的若干个音频识别单元对该子音轨中的音频进行语音识别，每个该音频识别单元对应一种语种。
第一判断子模块503b，被配置为判断当前调用的音频识别单元是否成功输出对该子音轨中的音频进行语音识别的识别结果。
文本获取子模块503c，被配置为若判断结果为该当前调用的音频识别单元成功输出该识别结果，则将该识别结果获取为该子音轨中的音频对应原始语种的第一文本。
可选地，音频识别模块503还包括：第二判断子模块503d和空文本确认子模块503e。
第二判断子模块503d，被配置为若判断结果为该当前调用的音频识别单元未成功输出该识别结果，则判断该若干个音频识别单元中是否存在未被调用过的音频识别单元；
调用子模块503a，还被配置为若判断结果为该若干个音频识别单元中存在未被调用过的音频识别单元，则继续调用下一个音频识别单元对该子音轨中的音频进行语音识别；
空文本确认子模块503e，被配置为若判断结果为该若干个音频识别单元中不存在未被调用过的音频识别单元，则确定该子音轨中的音频对应的第一文本为空。
可选地，字幕生成模块505还被配置为生成用于在播放该视频时，在该多个子音轨各自对应的播放时间段内展示该多个子音轨各自对应的第二文本的字幕文件。
综上所述，本示例性实施例提供的生成字幕文件的装置，通过获取视频中的音轨；根据该音轨对应在各个时刻的音量将该音轨分割成多个子音轨；对该多个子音轨中的音频进行语音识别，获得该多个子音轨中的音频对应原始语种的第一文本；将该第一文本翻译为目标语种对应的第二文本；根据该第二文本以及该多个子音轨各自对应的播放时间段生成该音轨对应的字幕文件，解决了相关技术中因互联网海量的非母语视频的存在以及影视工作者数量的有限，难以保证为互联网中的每一个非母语视频及时制作字幕文件的问题；达到了自动快速将非母语视频中的音轨翻译成母语字幕的效果，尤其适合为在线观看的非母语视频添加母语字幕。
另外，由于将一段预设时间长度的音轨分割成多个子音轨的过程中，判断该分割后的多个子音轨中最后一个子音轨在音轨结束时间点上是否小于音量阈值，从而将最后一个子音轨丢弃或者新确定音量小于音量阈值的采样时间点，并将该采样时间点作为最后一个子音轨的结束时间点。所以达到了保证每个子音轨中的音频信息的完整性，避免了按照预设时间长度截取音轨造成截取的某段音轨中出现一句不完整的语言的情况，使得生成的字幕文件更加完整。
本公开一示例性实施例还提供了一种生成字幕文件的装置，能够实现本公开实施例提供的生成字幕文件的方法。该装置包括：处理器，以及用于存储处理器的可执行指令的存储器。
其中，处理器被配置为：
获取视频中的音轨；
根据该音轨对应在各个时刻的音量将该音轨分割成多个子音轨，该多个子音轨对应各自的播放时间段；
对该多个子音轨中的音频进行语音识别，获得该多个子音轨中的音频的原始语种以及该多个子音轨中的音频对应原始语种的第一文本，该原始语种是音频中的语音的语种；
根据该多个子音轨中的音频的原始语种，将该第一文本翻译为目标语种对应的第二文本；
根据该第二文本以及该多个子音轨各自对应的播放时间段生成该音轨对应的字幕文件。
可选地，在该根据该音轨对应在各个时刻的音量将该音轨分割成多个子音轨时，被配置为：
在该音轨对应的播放时间段内，每隔单位时间确定一个采样时间点；
获取该音轨在该采样时间点处的音量值；
检测该音量值是否小于预设的音量阈值；
若该音量值小于该音量阈值，则将该采样时间点确定为分割点；
根据确定的该分割点将该音轨分割成该多个子音轨。
可选地，该获取视频中的音轨，包括：
获取该视频中预设时间长度的该音轨。
可选地，在该根据该音轨对应在各个时刻的音量将该音轨分割成多个子音轨时，还被配置为：
当该音轨的结束时间点处的音量值不小于该音量阈值时，将该多个子音轨中的最后一个音轨丢弃；
将该最后一个音轨的起始时间点确定为下一次获取音轨的起始时间点。
可选地，在该根据该音轨对应在各个时刻的音量将该音轨分割成多个子音轨时，还被配置为：
当该音轨的结束时间点处的音量值不小于该音量阈值时，从该多个子音轨的结束时间点开始每隔该单位时间确定一个采样时间点；
每当新确定一个采样时间点后，判断该视频的音轨在该新确定的采样时间点处的音量值是否小于该音量阈值；
若判断结果为该视频的音轨在该新确定的采样时间点处的音量值小于该音量阈值，则将新确定的该采样时间点确定为该多个子音轨中的最后一个子音轨的结束时间点，并将新确定的该采样时间点确定为下一次获取音轨的起始时间点。
可选地，在该对该多个子音轨中的音频进行语音识别，获得该多个子音轨中的音频对应原始语种的第一文本时，被配置为：
对于该多个子音轨中的每一个子音轨，依次调用预先设置的若干个音频识别单元对该子音轨中的音频进行语音识别，每个该音频识别单元对应一种语种；
判断当前调用的音频识别单元是否成功输出对该子音轨中的音频进行语音识别的识别结果；
若判断结果为该当前调用的音频识别单元成功输出该识别结果，则将该识别结果获取为该子音轨中的音频对应原始语种的第一文本。
可选地，在该对该多个子音轨中的音频进行语音识别，获得该多个子音轨中的音频对应原始语种的第一文本时，还被配置为：
若判断结果为该当前调用的音频识别单元未成功输出该识别结果，则判断该若干个音频识别单元中是否存在未被调用过的音频识别单元；
若判断结果为该若干个音频识别单元中存在未被调用过的音频识别单元，则继续调用下一个音频识别单元对该子音轨中的音频进行语音识别；
若判断结果为该若干个音频识别单元中不存在未被调用过的音频识别单元，则确定该子音轨中的音频对应的第一文本为空。
可选地，在该根据该第二文本以及该多个子音轨各自对应的播放时间段生成该音轨对应的字幕文件时，还被配置为：
生成用于在播放该视频时，在该多个子音轨各自对应的播放时间段内展示该多个子音轨各自对应的第二文本的字幕文件。
图6是根据一示例性实施例示出的一种装置600的框图。例如，装置600可以是智能手机、可穿戴设备、智能电视和车载终端等电子设备。
参照图6，装置600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。
处理组件602通常控制装置600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在装置600的操作。这些数据的示例包括用于在装置600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件606为装置600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为装置600生成、管理和分配电力相关联的组件。
多媒体组件608包括在装置600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当装置600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当装置600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件66还包括一个扬声器，用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器，用于为装置600提供各个方面的状态评估。例如，传感器组件614可以检测到装置600的打开/关闭状态，组件的相对定位，例如组件为装置600的显示器和小键盘，传感器组件614还可以检测装置600或装置600一个组件的位置改变，用户与装置600接触的存在或不存在，装置600方位或加速/减速和装置600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件616被配置为便于装置600和其他设备之间有线或无线方式的通信。装置600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由装置600的处理器620执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当存储介质中的指令由装置600的处理器执行时，使得装置600能够执行上述由终端执行的生成字幕文件的方法。
图7是根据一示例性实施例示出的另一种装置700的框图。例如，装置700可以被提供为一服务器。参照图7，装置700包括处理组件722，其进一步包括一个或多个处理器，以及由存储器732所代表的存储器资源，用于存储可由处理部件722执行的指令，例如应用程序。存储器732中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件722被配置为执行指令，以执行上述由外部电子设备执行的生成字幕文件的方法。
装置700还可以包括一个电源组件726被配置为执行装置700的电源管理，一个有线或无线网络接口750被配置为将装置700连接到网络，和一个输入输出(I/O)接口758。装置700可以操作基于存储在存储器732的操作系统，例如WindowsServerTM，MacOSXTM，UnixTM,LinuxTM，FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (17)
1.一种生成字幕文件的方法，其特征在于，所述方法包括：
获取视频中的音轨；
根据所述音轨对应在各个时刻的音量将所述音轨分割成多个子音轨，所述多个子音轨对应各自的播放时间段；
对所述多个子音轨中的音频进行语音识别，获得所述多个子音轨中的音频对应原始语种的第一文本，所述原始语种是所述音频中的语音的语种；
将所述第一文本翻译为目标语种对应的第二文本；
根据所述第二文本以及所述多个子音轨各自对应的播放时间段生成所述音轨对应的字幕文件。
2.根据权利要求1所述的方法，其特征在于，所述根据所述音轨对应在各个时刻的音量将所述音轨分割成多个子音轨，包括：
在所述音轨对应的播放时间段内，每隔单位时间确定一个采样时间点；
获取所述音轨在所述采样时间点处的音量值；
检测所述音量值是否小于预设的音量阈值；
若所述音量值小于所述音量阈值，则将所述采样时间点确定为分割点；
根据确定的所述分割点将所述音轨分割成所述多个子音轨。
3.根据权利要求2所述的方法，其特征在于，所述获取视频中的音轨，包括：
获取所述视频中预设时间长度的所述音轨。
4.根据权利要求3所述的方法，其特征在于，所述根据所述音轨对应在各个时刻的音量将所述音轨分割成多个子音轨，还包括：
当所述音轨的结束时间点处的音量值不小于所述音量阈值时，将所述多个子音轨中的最后一个子音轨丢弃；
将所述最后一个子音轨的起始时间点确定为下一次获取音轨的起始时间点。
5.根据权利要求3所述的方法，其特征在于，所述根据所述音轨对应在各个时刻的音量将所述音轨分割成多个子音轨，还包括：
当所述音轨的结束时间点处的音量值不小于所述音量阈值时，从所述多个子音轨的结束时间点开始每隔所述单位时间确定一个采样时间点；
每当新确定一个采样时间点后，判断所述视频的音轨在所述新确定的采样时间点处的音量值是否小于所述音量阈值；
若判断结果为所述视频的音轨在所述新确定的采样时间点处的音量值小于所述音量阈值，则将新确定的所述采样时间点确定为所述多个子音轨中的最后一个子音轨的结束时间点，并将新确定的所述采样时间点确定为下一次获取音轨的起始时间点。
6.根据权利要求1所述的方法，其特征在于，所述对所述多个子音轨中的音频进行语音识别，获得所述多个子音轨中的音频对应原始语种的第一文本，包括：
对于所述多个子音轨中的每一个子音轨，依次调用预先设置的若干个音频识别单元对所述子音轨中的音频进行语音识别，每个所述音频识别单元对应一种语种；
判断当前调用的音频识别单元是否成功输出对所述子音轨中的音频进行语音识别的识别结果；
若判断结果为所述当前调用的音频识别单元成功输出所述识别结果，则将所述识别结果获取为所述子音轨中的音频对应原始语种的第一文本。
7.根据权利要求6所述的方法，其特征在于，所述对所述多个子音轨中的音频进行语音识别，获得所述多个子音轨中的音频对应原始语种的第一文本，还包括：
若判断结果为所述当前调用的音频识别单元未成功输出所述识别结果，则判断所述若干个音频识别单元中是否存在未被调用过的音频识别单元；
若判断结果为所述若干个音频识别单元中存在未被调用过的音频识别单元，则继续调用下一个音频识别单元对所述子音轨中的音频进行语音识别；
若判断结果为所述若干个音频识别单元中不存在未被调用过的音频识别单元，则确定所述子音轨中的音频对应的第一文本为空。
8.根据权利要求1所述的方法，其特征在于，所述根据所述第二文本以及所述多个子音轨各自对应的播放时间段生成所述音轨对应的字幕文件，包括：
生成用于在播放所述视频时，在所述多个子音轨各自对应的播放时间段内展示所述多个子音轨各自对应的第二文本的字幕文件。
9.一种生成字幕文件的装置，其特征在于，所述装置包括：
音轨获取模块，用于获取视频中的音轨；
音轨分割模块，用于根据所述音轨对应在各个时刻的音量将所述音轨分割成多个子音轨，所述多个子音轨对应各自的播放时间段；
音频识别模块，用于对所述多个子音轨中的音频进行语音识别，获得所述多个子音轨中的音频对应原始语种的第一文本，所述原始语种是所述音频中的语音的语种；
文本翻译模块，用于将所述第一文本翻译为目标语种对应的第二文本；
字幕生成模块，用于根据所述第二文本以及所述多个子音轨各自对应的播放时间段生成所述音轨对应的字幕文件。
10.根据权利要求9所述的装置，其特征在于，所述音轨分割模块，包括：
第一确定子模块，用于在所述音轨对应的播放时间段内，每隔单位时间确定一个采样时间点；
音量值获取子模块，用于获取所述音轨在所述采样时间点处的音量值；
检测子模块，用于检测所述音量值是否小于预设的音量阈值；
第二确定子模块，用于若所述音量值小于所述音量阈值，则将所述采样时间点确定为分割点；
分割子模块，用于根据确定的所述分割点将所述音轨分割成所述多个子音轨。
11.根据权利要求10所述的装置，其特征在于，所述音轨获取模块，用于获取所述视频中预设时间长度的所述音轨。
12.根据权利要求11所述的装置，其特征在于，所述音轨分割模块，还包括：
丢弃子模块，用于当所述音轨的结束时间点处的音量值不小于所述音量阈值时，将所述多个子音轨中的最后一个音轨丢弃；
第三确定子模块，用于将所述最后一个音轨的起始时间点确定为下一次获取音轨的起始时间点。
13.根据权利要求11所述的装置，其特征在于，所述音轨分割模块，还包括：
第四确定子模块，用于当所述音轨的结束时间点处的音量值不小于所述音量阈值时，从所述多个子音轨的结束时间点开始每隔所述单位时间确定一个采样时间点；
判断子模块，用于每当新确定一个采样时间点后，判断所述视频的音轨在所述新确定的采样时间点处的音量值是否小于所述音量阈值；
第五确定子模块，用于若判断结果为所述视频的音轨在所述新确定的采样时间点处的音量值小于所述音量阈值，则将新确定的所述采样时间点确定为所述多个子音轨中的最后一个子音轨的结束时间点；
第六确定子模块，用于将新确定的所述采样时间点确定为下一次获取音轨的起始时间点。
14.根据权利要求9所述的装置，其特征在于，所述音频识别模块，包括：
调用子模块，用于对于所述多个子音轨中的每一个子音轨，依次调用预先设置的若干个音频识别单元对所述子音轨中的音频进行语音识别，每个所述音频识别单元对应一种语种；
第一判断子模块，用于判断当前调用的音频识别单元是否成功输出对所述子音轨中的音频进行语音识别的识别结果；
文本获取子模块，用于若判断结果为所述当前调用的音频识别单元成功输出所述识别结果，则将所述识别结果获取为所述子音轨中的音频对应原始语种的第一文本。
15.根据权利要求14所述的装置，其特征在于，所述音频识别模块，还包括：
第二判断子模块，用于若判断结果为所述当前调用的音频识别单元未成功输出所述识别结果，则判断所述若干个音频识别单元中是否存在未被调用过的音频识别单元；
所述调用子模块，还用于若判断结果为所述若干个音频识别单元中存在未被调用过的音频识别单元，则继续调用下一个音频识别单元对所述子音轨中的音频进行语音识别；
空文本确认子模块，用于若判断结果为所述若干个音频识别单元中不存在未被调用过的音频识别单元，则确定所述子音轨中的音频对应的第一文本为空。
16.根据权利要求9所述的装置，其特征在于，所述字幕生成模块，用于生成用于在播放所述视频时，在所述多个子音轨各自对应的播放时间段内展示所述多个子音轨各自对应的第二文本的字幕文件。
17.一种生成字幕文件的装置，其特征在于，所述装置包括：
处理器；
用于存储所述处理器的可执行指令的存储器；
其中，所述处理器被配置为：
获取视频中的音轨；
根据所述音轨对应在各个时刻的音量将所述音轨分割成多个子音轨，所述多个子音轨对应各自的播放时间段；
对所述多个子音轨中的音频进行语音识别，获得所述多个子音轨中的音频对应原始语种的第一文本，所述原始语种是所述音频中的语音的语种；
将所述第一文本翻译为目标语种对应的第二文本；
根据所述第二文本以及所述多个子音轨各自对应的播放时间段生成所述音轨对应的字幕文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610186623.1A CN105828101B (zh) | 2016-03-29 | 2016-03-29 | 生成字幕文件的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610186623.1A CN105828101B (zh) | 2016-03-29 | 2016-03-29 | 生成字幕文件的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105828101A true CN105828101A (zh) | 2016-08-03 |
| CN105828101B CN105828101B (zh) | 2019-03-08 |
Family
ID=56523709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610186623.1A Active CN105828101B (zh) | 2016-03-29 | 2016-03-29 | 生成字幕文件的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105828101B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106340291A (zh) * | 2016-09-27 | 2017-01-18 | 广东小天才科技有限公司 | 一种双语字幕制作方法及系统 |
| CN106851401A (zh) * | 2017-03-20 | 2017-06-13 | 惠州Tcl移动通信有限公司 | 一种自动添加字幕的方法及系统 |
| CN107396177A (zh) * | 2017-08-28 | 2017-11-24 | 北京小米移动软件有限公司 | 视频播放方法、装置及存储介质 |
| CN107644016A (zh) * | 2017-10-19 | 2018-01-30 | 维沃移动通信有限公司 | 一种多媒体字幕翻译方法、多媒体字幕查找方法及装置 |
| CN108289244A (zh) * | 2017-12-28 | 2018-07-17 | 努比亚技术有限公司 | 视频字幕处理方法、移动终端及计算机可读存储介质 |
| CN108401192A (zh) * | 2018-04-25 | 2018-08-14 | 腾讯科技（深圳）有限公司 | 视频流处理方法、装置、计算机设备及存储介质 |
| CN109119063A (zh) * | 2018-08-31 | 2019-01-01 | 腾讯科技（深圳）有限公司 | 视频配音生成方法、装置、设备及存储介质 |
| CN110769265A (zh) * | 2019-10-08 | 2020-02-07 | 深圳创维－Rgb电子有限公司 | 一种同声字幕翻译方法、智能电视及存储介质 |
| CN112672099A (zh) * | 2020-12-31 | 2021-04-16 | 深圳市潮流网络技术有限公司 | 字幕数据生成和呈现方法、装置、计算设备、存储介质 |
| CN112735445A (zh) * | 2020-12-25 | 2021-04-30 | 广州朗国电子科技有限公司 | 自适应选择音轨的方法、装置及存储介质 |
| CN112738563A (zh) * | 2020-12-28 | 2021-04-30 | 深圳万兴软件有限公司 | 自动添加字幕片段的方法、装置及计算机设备 |
| US11212587B1 (en) | 2020-11-05 | 2021-12-28 | Red Hat, Inc. | Subtitle-based rewind for video display |
| WO2021259221A1 (zh) * | 2020-06-23 | 2021-12-30 | 北京字节跳动网络技术有限公司 | 视频翻译方法和装置、存储介质和电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009016910A (ja) * | 2007-06-29 | 2009-01-22 | Toshiba Corp | 映像再生装置及び映像再生方法 |
| CN102903361A (zh) * | 2012-10-15 | 2013-01-30 | Itp创新科技有限公司 | 一种通话即时翻译系统和方法 |
| CN103226947A (zh) * | 2013-03-27 | 2013-07-31 | 广东欧珀移动通信有限公司 | 一种基于移动终端的音频处理方法及装置 |
| CN103491429A (zh) * | 2013-09-04 | 2014-01-01 | 张家港保税区润桐电子技术研发有限公司 | 一种音频处理方法和音频处理设备 |
| CN103561217A (zh) * | 2013-10-14 | 2014-02-05 | 深圳创维数字技术股份有限公司 | 一种生成字幕的方法及终端 |
| CN104252861A (zh) * | 2014-09-11 | 2014-12-31 | 百度在线网络技术（北京）有限公司 | 视频语音转换方法、装置和服务器 |
-
2016
- 2016-03-29 CN CN201610186623.1A patent/CN105828101B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009016910A (ja) * | 2007-06-29 | 2009-01-22 | Toshiba Corp | 映像再生装置及び映像再生方法 |
| CN102903361A (zh) * | 2012-10-15 | 2013-01-30 | Itp创新科技有限公司 | 一种通话即时翻译系统和方法 |
| CN103226947A (zh) * | 2013-03-27 | 2013-07-31 | 广东欧珀移动通信有限公司 | 一种基于移动终端的音频处理方法及装置 |
| CN103491429A (zh) * | 2013-09-04 | 2014-01-01 | 张家港保税区润桐电子技术研发有限公司 | 一种音频处理方法和音频处理设备 |
| CN103561217A (zh) * | 2013-10-14 | 2014-02-05 | 深圳创维数字技术股份有限公司 | 一种生成字幕的方法及终端 |
| CN104252861A (zh) * | 2014-09-11 | 2014-12-31 | 百度在线网络技术（北京）有限公司 | 视频语音转换方法、装置和服务器 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106340291A (zh) * | 2016-09-27 | 2017-01-18 | 广东小天才科技有限公司 | 一种双语字幕制作方法及系统 |
| CN106851401A (zh) * | 2017-03-20 | 2017-06-13 | 惠州Tcl移动通信有限公司 | 一种自动添加字幕的方法及系统 |
| CN107396177A (zh) * | 2017-08-28 | 2017-11-24 | 北京小米移动软件有限公司 | 视频播放方法、装置及存储介质 |
| CN107644016A (zh) * | 2017-10-19 | 2018-01-30 | 维沃移动通信有限公司 | 一种多媒体字幕翻译方法、多媒体字幕查找方法及装置 |
| CN108289244B (zh) * | 2017-12-28 | 2021-05-25 | 努比亚技术有限公司 | 视频字幕处理方法、移动终端及计算机可读存储介质 |
| CN108289244A (zh) * | 2017-12-28 | 2018-07-17 | 努比亚技术有限公司 | 视频字幕处理方法、移动终端及计算机可读存储介质 |
| US11463779B2 (en) | 2018-04-25 | 2022-10-04 | Tencent Technology (Shenzhen) Company Limited | Video stream processing method and apparatus, computer device, and storage medium |
| CN108401192B (zh) * | 2018-04-25 | 2022-02-22 | 腾讯科技（深圳）有限公司 | 视频流处理方法、装置、计算机设备及存储介质 |
| CN108401192A (zh) * | 2018-04-25 | 2018-08-14 | 腾讯科技（深圳）有限公司 | 视频流处理方法、装置、计算机设备及存储介质 |
| CN109119063A (zh) * | 2018-08-31 | 2019-01-01 | 腾讯科技（深圳）有限公司 | 视频配音生成方法、装置、设备及存储介质 |
| CN109119063B (zh) * | 2018-08-31 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 视频配音生成方法、装置、设备及存储介质 |
| CN110769265A (zh) * | 2019-10-08 | 2020-02-07 | 深圳创维－Rgb电子有限公司 | 一种同声字幕翻译方法、智能电视及存储介质 |
| WO2021259221A1 (zh) * | 2020-06-23 | 2021-12-30 | 北京字节跳动网络技术有限公司 | 视频翻译方法和装置、存储介质和电子设备 |
| US11763103B2 (en) | 2020-06-23 | 2023-09-19 | Beijing Bytedance Network Technology Co., Ltd. | Video translation method and apparatus, storage medium, and electronic device |
| US11212587B1 (en) | 2020-11-05 | 2021-12-28 | Red Hat, Inc. | Subtitle-based rewind for video display |
| CN112735445A (zh) * | 2020-12-25 | 2021-04-30 | 广州朗国电子科技有限公司 | 自适应选择音轨的方法、装置及存储介质 |
| CN112738563A (zh) * | 2020-12-28 | 2021-04-30 | 深圳万兴软件有限公司 | 自动添加字幕片段的方法、装置及计算机设备 |
| CN112672099A (zh) * | 2020-12-31 | 2021-04-16 | 深圳市潮流网络技术有限公司 | 字幕数据生成和呈现方法、装置、计算设备、存储介质 |
| CN112672099B (zh) * | 2020-12-31 | 2023-11-17 | 深圳市潮流网络技术有限公司 | 字幕数据生成和呈现方法、装置、计算设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105828101B (zh) | 2019-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105828101A (zh) | 生成字幕文件的方法及装置 | |
| EP3817395A1 (en) | Video recording method and apparatus, device, and readable storage medium | |
| CN112653902B (zh) | 说话人识别方法、装置及电子设备 | |
| CN105389296A (zh) | 信息分割方法及装置 | |
| CN104184870A (zh) | 通话记录标记方法、装置及电子设备 | |
| CN105302315A (zh) | 图片处理方法及装置 | |
| CN106791535B (zh) | 视频录制方法及装置 | |
| CN110996121A (zh) | 信息处理方法及装置、电子设备和存储介质 | |
| CN109413478B (zh) | 视频编辑方法、装置、电子设备及存储介质 | |
| CN107945806B (zh) | 基于声音特征的用户识别方法及装置 | |
| CN108924644B (zh) | 视频片段提取方法及装置 | |
| CN104284240A (zh) | 视频浏览方法及装置 | |
| CN104754267A (zh) | 视频片段标注方法、装置及终端 | |
| CN105242942A (zh) | 应用控制方法和装置 | |
| CN105355195A (zh) | 音频识别方法及装置 | |
| CN108924619A (zh) | 字幕的显示方法及装置 | |
| CN105306752A (zh) | 生成事件提醒的方法及装置 | |
| CN104461348A (zh) | 信息选取方法及装置 | |
| CN106254939B (zh) | 信息提示方法及装置 | |
| CN105550235A (zh) | 信息获取方法及装置 | |
| CN104281703A (zh) | 统一资源定位符url间相似度计算的方法及装置 | |
| CN104991910A (zh) | 相册创建方法及装置 | |
| CN110719530A (zh) | 一种视频播放方法、装置、电子设备及存储介质 | |
| CN105451056A (zh) | 音视频同步方法及装置 | |
| CN112532931A (zh) | 一种视频处理方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |