CN106816151B - 一种字幕对准方法及装置 - Google Patents

一种字幕对准方法及装置 Download PDF

Info

Publication number
CN106816151B
CN106816151B CN201611179471.9A CN201611179471A CN106816151B CN 106816151 B CN106816151 B CN 106816151B CN 201611179471 A CN201611179471 A CN 201611179471A CN 106816151 B CN106816151 B CN 106816151B
Authority
CN
China
Prior art keywords
subtitle
voice
time axis
audio
caption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611179471.9A
Other languages
English (en)
Other versions
CN106816151A (zh
Inventor
曹建中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN201611179471.9A priority Critical patent/CN106816151B/zh
Publication of CN106816151A publication Critical patent/CN106816151A/zh
Application granted granted Critical
Publication of CN106816151B publication Critical patent/CN106816151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Studio Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明适用计算机技术领域，提供了一种字幕对准方法及装置，所述方法包括：获取音视频数据和初始字幕数据，对音视频数据进行语音识别，确定音色对应的语音区间，根据语音区间生成带时间轴的第一字幕，并对音视频数据进行语音转换得到转换文本信息，依据初始字幕数据和/或转换文本信息对带时间轴的第一字幕进行校准，依据校准结果生成带时间轴的第二字幕。通过本发明实施例，对音视频数据，可字幕自动对位生成时间轴，并根据语音识别进行再次校准，可对不同音色的语音进行校准，适用于至少一种音色的语音的字幕校准，适用于至少一重字幕的校准，还可对字幕校准进行自修正，大大提高了字幕校准的精准度和适用范围。

Description

一种字幕对准方法及装置
技术领域
本发明属于计算机技术领域，尤其涉及一种字幕对准方法及装置。
背景技术
多媒体中使用的媒体包括文字、图片、音频(包含音乐、语音旁白、特殊音效)、视频(动画和影片等)，在多媒体制作过程中，可在如图片、音频、视频等播放界面添加字幕，使得在多媒体播放时显示字幕。传统方式使用手拍字幕，通过手动方式确定字幕在时间轴上的起止位置，时间轴上标识句的起止位置，如100句则需要手动输入200次，效率低下，无法适应高精度要求的字幕显示。现有技术中使用软件确定字幕在时间轴上起止位置，但是以句切分，且在出现有多人语音时，无法进一步精确对准字幕，出现将多人语音按噪音处理的现象，字幕校准的精准度低。
发明内容
本发明的目的在于提供一种字幕校准方法及装置，旨在解决由于现有技术中使用软件校准以句切分，无法进一步精确对准字幕，导致字幕校准精度低的问题。
一方面，本发明提供了一种字幕校准方法，所述方法包括下述步骤：
获取音视频数据和初始字幕数据；
对所述音视频数据进行语音识别，确定音色对应的语音区间，根据所述语音区间生成带时间轴的第一字幕，并对所述音视频数据进行语音转换得到转换文本信息；
依据所述初始字幕数据和/或所述转换文本信息对所述带时间轴的第一字幕进行校准，依据所述校准结果生成带时间轴的第二字幕。
另一方面，本发明提供了一种字幕校准装置，所述装置包括：
获取模块，用于获取音视频数据和初始字幕数据；
识别模块，用于对所述获取模块获取的音视频数据进行语音识别，确定音色对应的语音区间，根据所述语音区间生成带时间轴的第一字幕，并对所述音视频数据进行语音转换得到转换文本信息；
校准模块，用于依据所述获取模块获取的初始字幕数据和/或所述识别模块得到的转换文本信息对所述带时间轴的第一字幕进行校准，依据所述校准结果生成带时间轴的第二字幕。
在本发明实施例中，可获取音视频数据和初始字幕数据，对音视频数据进行语音识别，确定音色对应的语音区间，根据语音区间生成带时间轴的第一字幕，并对音视频数据进行语音转换得到转换文本信息，依据初始字幕数据和/或转换文本信息对带时间轴的第一字幕进行校准，依据校准结果生成带时间轴的第二字幕。通过本发明实施例，对音视频数据，可字幕自动对位生成时间轴，并根据语音识别进行再次校准，可对不同音色的语音进行校准，大大提高了字幕校准的精准度。
附图说明
图1是本发明实施例一提供的字幕对准方法的实现流程图；
图2是本发明实施例二提供的字幕对准方法的实现流程图；
图3是本发明实施例三提供的字幕对准方法的实现流程图；
图4是本发明实施例四提供的字幕对准方法的示意图；
图5是本发明实施例五提供的字幕对准装置的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例中的字幕校准方法可应用于计算机领域中的多媒体字幕制作，在多媒体制作过程中，如可在图片、音频、视频的播放界面添加字幕，使得在多媒体播放时显示字幕。本发明实施例实现对音视频数据，字幕自动对位生成时间轴，并根据语音识别进行再次校准，可对不同音色的语音进行校准，大大提高了字幕校准的精准度。本发明实施例中的装置可运行于计算机终端设备中，如用于制作字幕的电脑、服务器等，本发明实施例中的字幕校准例如电子书制作中的字幕校准、视频制作中的字幕校准、电子教辅制作中的字幕校准等，还可以包括语音制作中的字幕校准等，具体不受本发明实施例的限制。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的字幕校准方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
S101，获取音视频数据和初始字幕数据。
作为一种可选的实施方式，获取音视频数据和该音视频数据对应的初始字幕数据，其中，音视频数据可以包括音频数据，视频数据，初始字幕数据可以为原始的字幕底稿，包含字幕文字，进一步的，可包含文字和标点等。
S102，对音视频数据进行语音识别，确定音色对应的语音区间，根据语音区间生成带时间轴的第一字幕，并对音视频数据进行语音转换得到转换文本信息。
作为一种可选的实施方式，对音视频数据进行语音识别，确定音色对应的语音区间。具体实现中可计算音视频数据的能量和过零率，由计算结果确定所述语音区间；其中，语音区间包括有声区间和无声区间。进一步的，短时过零率为单位时间内过零发生的次数，设为Zn，为避免虚假的过零，提高过零率计算的鲁棒性，引入门限|T|，则Zn为：
Figure BDA0001184810100000041
短时能量：
Figure BDA0001184810100000042
获取到预设的能量阈值和过零率阈值，其中，能量阈值包括最低能量阈值和最高能量阈值，计算音视频数据的短时能量和短时过零率，并判断计算结果是否大于最低能量阈值或大于过零率阈值，若是，则确认是语音信号的起始点，若计算结果大于最高能量阈值，则确认为正常的语音信号，若该语音信号持续一段时间，则确认落入有声区间。
进一步的，还可识别音色，进而确定不同音色的语音区间。具体实现中，识别音视频数据中包含的音色标识以及音色标识对应的语音区间，生成音色标识对应的字幕，带时间轴的第一字幕包括音色标识对应的字幕。
进一步可选的，对包含多重字幕的情况，通过本发明实施例中对音色进行识别，可将不同音色对应不同字幕，生成多个带时间轴的字幕。
进一步实现中，可根据语音区间生成带时间轴的第一字幕，并对音视频数据进行语音转换得到转换文本信息。确定不同音色对应的语音区间后，由语音区间生成带时间轴的第一字幕。进一步的，对音视频数据进行语音转换，与语音库中的文本进行匹配，将音视频数据中的语音转换为文本信息。
S103，依据初始字幕数据和/或转换文本信息对带时间轴的第一字幕进行校准，依据校准结果生成带时间轴的第二字幕。
作为一种可选的实施方式，依据初始字幕数据和/或转换文本信息对带时间轴的第一字幕进行校准，依据校准结果生成带时间轴的第二字幕。具体实现中，包括：
将初始字幕数据与带时间轴的第一字幕进行语音区间的校准；和/或
将初始字幕数据与转换文本信息比对，依据比对结果与带时间轴的第一字幕进行字与字的校准。
具体实现中，可实现对音色的语音区间的校准，还可实现对语音区间的字与字的校准，还可实现音色的语音区间以及语音区间的字与字的校准，具体不受本发明实施例的限制。
进一步的，将初始字幕数据与步骤S102中得到的带时间轴的第一字幕进行比较，主要是语音区间的校准。具体实现中，播放带时间轴的第一字幕，对第一字幕进行复读，依据复读的语音波形进行第一字幕与初始字幕数据的校对。
更进一步的，还可以将初始字幕数据与转换文本信息进行比对，依据比对结果对带时间轴的第一字幕进行字与字的校准，具体实现中，可先模糊匹配语音区间的字数、关键字、相近字、相似词等，在匹配出现不一致时再次对该语音区间的进行语音识别，然后再一次进行字与字的匹配和校准。进一步，可预设模糊搜索范围，设为局部搜索，如可设为在当前一句话的前后某个停顿或时间值。
在匹配准确率低于预设准确率时，则对再次进行语音识别和校准，直到满足预设准确率时，输出带时间轴的第二字幕，最为该音视频数据的最终匹配字幕。其中，预设准确率如可设为90％、95％等。
进一步可选的，在步骤S103之后，本发明实施例提供的字幕校准方法还可以包括步骤：
在接收到对带时间轴的第二字幕的修改反馈信息时，标识修改反馈对应的语音区间，并进行自修正。
具体实现中，生成的带时间轴的第二字幕在使用过程中，在检测到不准确的字幕校准时，可点击该不准确之处，并触发修改反馈，系统接收到对带时间轴的第二字幕的修改反馈信息后，标识该修改反馈对应的语音区间，并进行自修正，具体的，再次对该区间的语音进行语音识别，进行字与字的校准，修正后更新带时间轴的第二字幕。使得本发明实施例的字幕校准方法具备自学习功能。
本发明实施例提供一种字幕校准方法，可获取音视频数据和初始字幕数据，对音视频数据进行语音识别，确定音色对应的语音区间，根据语音区间生成带时间轴的第一字幕，并对音视频数据进行语音转换得到转换文本信息，依据初始字幕数据和/或转换文本信息对带时间轴的第一字幕进行校准，依据校准结果生成带时间轴的第二字幕。通过本发明实施例，对音视频数据，字幕自动对位生成时间轴，并根据语音识别进行再次校准，可对不同音色的语音进行校准，适用于至少一种音色的语音的字幕校准，适用于至少一重字幕的校准，还可对字幕校准进行自修正，大大提高了字幕校准的精准度和适用范围。
实施例二：
图2示出了本发明实施例二提供的字幕校准方法的实现流程图，为根据音色进行语音区间的校准的流程示意图，包括步骤S201～S205，详述如下：
S201，输入音视频数据和初始字幕数据。
作为一种可选的实施方式，输入音视频数据和该音视频数据对应的初始字幕数据，其中，音视频数据可以包括音频数据，视频数据，初始字幕数据可以为原始的字幕底稿，包含字幕文字，进一步的，可包含文字和标点等。
S202，计算音视频数据的能量和过零率，由计算结果确定语音区间。
作为一种可选的实施方式，可计算音视频数据的能量和过零率，由计算结果确定所述语音区间；其中，语音区间包括有声区间和无声区间。获取到预设的能量阈值和过零率阈值，其中，能量阈值包括最低能量阈值和最高能量阈值，计算音视频数据的短时能量和短时过零率，并判断计算结果是否大于最低能量阈值或大于过零率阈值，若是，则确认是语音信号的起始点，若计算结果大于最高能量阈值，则确认为正常的语音信号，若该语音信号持续一段时间，则确认落入有声区间。
S203，识别音视频数据中包含的音色标识以及音色标识对应的语音区间，生成音色标识对应的字幕。
作为一种可选的实施方式，对音视频数据进行语音识别，识别不同的音色，并对不同音色进行标识，进而识别音视频数据中包含的音色标识，并识别该音色标识对应的语音区间，生成该音色标识对应的字幕，生成的字幕带时间轴。
S204，将初始字幕数据与音色标识对应的字幕进行语音区间的校准，依据校准结果生成带时间轴的第二字幕。
作为一种可选的实施方式，将初始字幕数据与步骤S203中生成的音色标识对应的字幕进行比较，主要是语音区间的校准。具体实现中，播放带时间轴的音色标识对应的字幕，对字幕进行复读，依据复读的语音波形进行字幕与初始字幕数据的校对。进一步的，对应包含多个音色标识的字幕，则初始字幕数据中对应多个字幕，在进行校准时，依据语音区间每个音色出现的先后顺序匹配音色标识对应初始字幕数据中具体的字幕。进一步的，依据校准结果生成带时间轴的第二字幕，第二字幕为已进行音色标识和语音区间校准的带时间轴的字幕。
S205，对音视频数据进行语音转换得到转换文本信息，依据转换文本信息对带时间轴的第二字幕校准，依据校准结果更新第二字幕的时间轴。
作为一种可选的实施方式，在步骤S204中已生成完成音色标识对应的语音区间的校准的第二字幕，本步骤中，继续对第二字幕进行校准，具体的，对音视频数据进行语音转换得到转换文本信息，可先模糊匹配语音区间的字数、关键字、相近字、相似词等，在匹配出现不一致时再次对该语音区间的进行语音识别，然后再一次进行字与字的匹配和校准。进一步，可预设模糊搜索范围，设为局部搜索，如可设为在当前一句话的前后某个停顿或时间值。
在匹配准确率低于预设准确率时，则对再次进行语音识别和校准，直到满足预设准确率时，依据校准结果更新带时间轴的第二字幕，得到该音视频数据的最终匹配字幕。其中，预设准确率如可设为90％、95％等。
本发明实施例提供一种字幕校准方法，输入音视频数据和初始字幕数据，计算音视频数据的能量和过零率，由计算结果确定语音区间，识别音视频数据中包含的音色标识以及音色标识对应的语音区间，生成音色标识对应的字幕，将初始字幕数据与音色标识对应的字幕进行语音区间的校准，依据校准结果生成带时间轴的第二字幕，对音视频数据进行语音转换得到转换文本信息，依据转换文本信息对带时间轴的第二字幕校准，依据校准结果更新第二字幕的时间轴。通过本发明实施例，对音视频数据，可字幕自动对位生成时间轴，并根据语音识别进行再次校准，可对不同音色的语音进行校准，适用于至少一种音色的语音的字幕校准，适用于至少一重字幕的校准，还可对字幕校准结果再次进行语音识别模糊匹配，进一步进行自修正，大大提高了字幕校准的精准度和适用范围。
实施例三：
图3示出了本发明实施例三提供的字幕校准方法的实现流程图，为根据语音识别对音视频的字幕进行字与字的校准的流程示意图，包括步骤S301～S304，详述如下：
S301，输入音视频数据和初始字幕数据。
作为一种可选的实施方式，输入音视频数据和该音视频数据对应的初始字幕数据，其中，音视频数据可以包括音频数据，视频数据，初始字幕数据可以为原始的字幕底稿，包含字幕文字，进一步的，可包含文字和标点等。
S302，计算音视频数据的能量和过零率，由计算结果确定语音区间。
作为一种可选的实施方式，可计算音视频数据的能量和过零率，由计算结果确定语音区间；其中，语音区间包括有声区间和无声区间。获取到预设的能量阈值和过零率阈值，其中，能量阈值包括最低能量阈值和最高能量阈值，计算音视频数据的短时能量和短时过零率，并判断计算结果是否大于最低能量阈值或大于过零率阈值，若是，则确认是语音信号的起始点，若计算结果大于最高能量阈值，则确认为正常的语音信号，若该语音信号持续一段时间，则确认落入有声区间。
S303，确定音色对应的语音区间，根据语音区间生成带时间轴的第一字幕，并对音视频数据进行语音转换得到转换文本信息。
作为一种可选的实施方式，对音视频数据进行语音识别，识别不同的音色，并对不同音色进行标识，进而识别音视频数据中包含的音色标识，并识别该音色标识对应的语音区间，生成该音色标识对应的字幕，确定音色对应的语音区间，根据语音区间生成带时间轴的第一字幕。
进一步实现中，可对音视频数据进行语音转换得到转换文本信息。对音视频数据进行语音转换，与语音库中的文本进行匹配，将音视频数据中的语音转换为文本信息，得到该音视频数据对应的转换文本信息。
S304，将初始字幕数据与转换文本信息比对，依据比对结果与带时间轴的第一字幕进行字与字的校准，依据校准结果生成带时间轴的第二字幕。
作为一种可选的实施方式，可将初始字幕数据与转换文本信息进行比对，依据比对结果对带时间轴的第一字幕进行字与字的校准，具体实现中，可先模糊匹配语音区间的字数、关键字、相近字、相似词等，再匹配出现不一致时再次对该语音区间的进行语音识别，然后再一次进行字与字的匹配和校准。进一步，可预设模糊搜索范围，设为局部搜索，如可设为在当前一句话的前后某个停顿或时间值。
在匹配准确率低于预设准确率时，则对再次进行语音识别和校准，直到满足预设准确率时，输出带时间轴的第二字幕，最为该音视频数据的最终匹配字幕。其中，预设准确率如可设为90％、95％等。
本发明实施例提供一种字幕校准方法，输入音视频数据和初始字幕数据，计算音视频数据的能量和过零率，由计算结果确定语音区间，确定音色对应的语音区间，根据语音区间生成带时间轴的第一字幕，并对音视频数据进行语音转换得到转换文本信息，将初始字幕数据与转换文本信息比对，依据比对结果与带时间轴的第一字幕进行字与字的校准，依据校准结果生成带时间轴的第二字幕。通过本发明实施例，对音视频数据，可字幕自动对位生成时间轴，可对不同音色的语音进行校准，并根据语音识别进行再次校准，实现字与字的校准，大大提高了字幕校准的精准度和适用范围。
实施例四：
图4示出了本发明实施例四提供的字幕校准方法的示意流程图，包括步骤S401～S410，如下：
S401，导入音视频文件。
S402，导入字幕文稿。
S403，对音视频文件进行语音识别。
S404，判断是否使用字幕文稿断句模式。
S405，解析语音间隔长度。
S406，生成带时间轴的字幕文件。
S407，根据文档断句生成带时间轴的字幕文件。
S408，将字幕文件与字幕文稿进行内容比对合并。
S409，再次校准。
S410，生成最终字幕。
具体实现中，可导入音视频文件和字幕文稿，并对音视频文件进行语音识别。判断是否使用文稿断句模式，若判断结果为是，则根据文档断句生成带时间轴的字幕文件，具体的，即依据语音识别解析到语音区间以及根据文稿断句生成带时间轴的字幕文件，具体语音识别实现方式参见实施例一，在此不重复。若判断结果为否，则解析语音间隔长度，生成带时间轴的字幕文件，即识别音色对应的语音区间，并生成音色对应的带时间轴的第一字幕。进一步的，将两种方式得到的字幕文稿进行比对合并，再进行校准，此时校准可人工进行，或再次语音识别进行自修正，或根据意见反馈进行自修正，进而生成最终字幕，最终字幕带时间轴。具体实施细节可参见实施例一，在此不重复。
本发明实施例提供一种字幕校准方法，可根据是否使用字幕文稿断句模式进行字幕校准，同时可结合使用字幕文稿和不使用字幕文稿两种情况生成的字幕文件进行比对合并，并再次进行校准，最后输出带时间轴的最终字幕，可大大提高字幕校准的准确率。
实施例五：
图5示出了本发明实施例五提供的字幕校准装置的结构图，为了便于说明，仅示出了与本发明实施例相关的部分，其中，本发明实施例提供的装置可包括：获取模块51，识别模块52以及校准模块53。
获取模块51，用于获取音视频数据和初始字幕数据。
作为一种可选的实施方式，获取模块51获取音视频数据和该音视频数据对应的初始字幕数据，其中，音视频数据可以包括音频数据，视频数据，初始字幕数据可以为原始的字幕底稿，包含字幕文字，进一步的，可包含文字和标点等。
识别模块52，用于对获取模块51获取的音视频数据进行语音识别，确定音色对应的语音区间，根据语音区间生成带时间轴的第一字幕，并对音视频数据进行语音转换得到转换文本信息。
作为一种可选的实施方式，对音视频数据进行语音识别，确定音色对应的语音区间。进一步可选的，识别模块52还可以包括：区间计算单元521。
区间计算单元521，用于计算音视频数据的能量和过零率，由计算结果确定语音区间；其中，语音区间包括有声区间和无声区间。
进一步的，短时过零率为单位时间内过零发生的次数，为避免虚假的过零，提高过零率计算的鲁棒性，引入门限。区间计算单元521获取到预设的能量阈值和过零率阈值，其中，能量阈值包括最低能量阈值和最高能量阈值，区间计算单元521计算音视频数据的短时能量和短时过零率，并判断计算结果是否大于最低能量阈值或大于过零率阈值，若是，则确认是语音信号的起始点，若计算结果大于最高能量阈值，则确认为正常的语音信号，若该语音信号持续一段时间，则确认落入有声区间。
进一步可选的，识别模块52还可以包括：音色识别单元522。
音色识别单元522，用于识别音视频数据中包含的音色标识以及音色标识对应的语音区间，生成音色标识对应的字幕，带时间轴的第一字幕包括音色标识对应的字幕。
具体实现中，音色识别单元522可识别音色，进而确定不同音色的语音区间。具体的，识别音视频数据中包含的音色标识以及音色标识对应的语音区间，生成音色标识对应的字幕，带时间轴的第一字幕包括音色标识对应的字幕。
对包含多重字幕的情况，通过本发明实施例中对音色进行识别，可将不同音色对应不同字幕，生成多个带时间轴的字幕。
进一步实现中，识别模块52可根据语音区间生成带时间轴的第一字幕，并对音视频数据进行语音转换得到转换文本信息。确定不同音色对应的语音区间后，由语音区间生成带时间轴的第一字幕。进一步的，对音视频数据进行语音转换，与语音库中的文本进行匹配，将音视频数据中的语音转换为文本信息。
校准模块53，用于依据获取模块51获取的初始字幕数据和/或识别模块52得到的转换文本信息对带时间轴的第一字幕进行校准，依据校准结果生成带时间轴的第二字幕。
作为一种可选的实施方式，校准模块53可以包括：区间校准单元531和/或字字校准单元532；
区间校准单元531，用于将初始字幕数据与带时间轴的第一字幕进行语音区间的校准；
字字校准单元532，用于将初始字幕数据与转换文本信息比对，比对结果与带时间轴的第一字幕进行字与字的校准。
具体实现中，校准模块53可实现对音色的语音区间的校准，还可实现对语音区间的字与字的校准，还可实现音色的语音区间以及语音区间的字与字的校准，具体不受本发明实施例的限制。
进一步的，区间校准单元531将初始字幕数据与带时间轴的第一字幕进行比较，主要是语音区间的校准。具体实现中，播放带时间轴的第一字幕，对第一字幕进行复读，依据复读的语音波形进行第一字幕与初始字幕数据的校对。
更进一步的，字字校准单元532将初始字幕数据与转换文本信息进行比对，依据比对结果对带时间轴的第一字幕进行字与字的校准，具体实现中，可先模糊匹配语音区间的字数、关键字、相近字、相似词等，在匹配出现不一致时再次对该语音区间的进行语音识别，然后再一次进行字与字的匹配和校准。进一步，可预设模糊搜索范围，设为局部搜索，如可设为在当前一句话的前后某个停顿或时间值。
在匹配准确率低于预设准确率时，则对再次进行语音识别和校准，直到满足预设准确率时，输出带时间轴的第二字幕，得到该音视频数据的最终匹配字幕。其中，预设准确率如可设为90％、95％等。
进一步可选的，本发明实施例提供的字幕校准装置还可以包括：自修正模块54。
自修正模块54，用于在接收到对带时间轴的第二字幕的修改反馈信息时，标识修改反馈对应的语音区间，并进行自修正。
具体实现中，生成的带时间轴的第二字幕在使用过程中，在检测到不准确的字幕校准时，可选中字幕中的不准确之处，并触发修改反馈，系统接收到对带时间轴的第二字幕的修改反馈信息后，标识该修改反馈对应的语音区间，并进行自修正，具体的，再次对该区间的语音进行语音识别，进行字与字的校准，修正后更新带时间轴的第二字幕。使得本发明实施例的字幕校准方法具备自学习功能。
本发明实施例提供一种字幕校准装置，获取模块可获取音视频数据和初始字幕数据，识别模块可对音视频数据进行语音识别，确定音色对应的语音区间，根据语音区间生成带时间轴的第一字幕，并对音视频数据进行语音转换得到转换文本信息，校准模块可依据初始字幕数据和/或转换文本信息对带时间轴的第一字幕进行校准，依据校准结果生成带时间轴的第二字幕。通过本发明实施例，对音视频数据，字幕自动对位生成时间轴，并根据语音识别进行再次校准，可对不同音色的语音进行校准，适用于至少一种音色的语音的字幕校准，适用于至少一重字幕的校准，还可对字幕校准进行自修正，大大提高了字幕校准的精准度和适用范围。
本发明实施例还公开了一种终端设备，用于运行图5所示的装置，该装置的结构和功能可参见图5所示实施例的相关描述，在此不再赘述。在终端设备本端进行初始字幕数据、音视频数据的输入、音视频数据的处理和存储、字幕校准的处理。需要说明的是，本实施例提供的终端设备与图1～图4所示的字幕校准方法相对应，为基于图1～图4所示的字幕校准方法的执行主体。本发明实施例中终端设备具体如用于制作字幕的电脑、服务器等。
在本发明实施例中，字幕校准装置的各模块、单元可由相应的硬件或软件单元实现，可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种字幕校准方法，其特征在于，所述方法包括下述步骤：
获取音视频数据和初始字幕数据；
对所述音视频数据进行语音识别，确定音色对应的语音区间，根据所述语音区间生成带时间轴的第一字幕，并对所述音视频数据进行语音转换得到转换文本信息，其中，所述转换文本信息为将所述音视频数据语音转换后与语音库中文本进行匹配得到的文本信息；
依据所述初始字幕数据和/或所述转换文本信息对所述带时间轴的第一字幕进行校准，依据所述校准结果生成带时间轴的第二字幕；
其中，对所述音视频数据进行语音识别，确定音色对应的语音区间，根据所述语音区间生成带时间轴的第一字幕的步骤，包括：
识别所述音视频数据中包含的音色标识以及所述音色标识对应的语音区间，生成所述音色标识对应的字幕，所述带时间轴的第一字幕包括所述音色标识对应的字幕。
2.如权利要求1所述的方法，其特征在于，所述依据所述初始字幕数据和/或转换文本信息对所述带时间轴的第一字幕进行校准，依据所述校准结果生成带时间轴的第二字幕，包括：
将所述初始字幕数据与所述带时间轴的第一字幕进行语音区间的校准；和/或
将所述初始字幕数据与所述转换文本信息比对，依据所述比对结果与所述带时间轴的第一字幕进行字与字的校准。
3.如权利要求1所述的方法，其特征在于，所述对所述音视频数据进行语音识别，确定音色对应的语音区间，生成带时间轴的第一字幕，并对所述音视频数据进行语音转换得到转换文本信息，包括：
计算所述音视频数据的能量和过零率，由所述计算结果确定所述语音区间；所述语音区间包括有声区间和无声区间。
4.如权利要求1所述的方法，其特征在于，所述依据所述初始字幕数据和/或所述转换文本信息对所述带时间轴的第一字幕进行校准，依据所述校准结果生成带时间轴的第二字幕之后，所述方法还包括：
在接收到对所述带时间轴的第二字幕的修改反馈信息时，标识修改反馈对应的语音区间，并进行自修正。
5.一种字幕校准装置，其特征在于，所述装置包括：
获取模块，用于获取音视频数据和初始字幕数据；
识别模块，用于对所述获取模块获取的音视频数据进行语音识别，确定音色对应的语音区间，根据所述语音区间生成带时间轴的第一字幕，并对所述音视频数据进行语音转换得到转换文本信息，其中，所述转换文本信息为将所述音视频数据语音转换后与语音库中文本进行匹配得到的文本信息；
校准模块，用于依据所述获取模块获取的初始字幕数据和/或所述识别模块得到的转换文本信息对所述带时间轴的第一字幕进行校准，依据所述校准结果生成带时间轴的第二字幕；
其中，所述识别模块包括：
音色识别单元，用于识别所述音视频数据中包含的音色标识以及所述音色标识对应的语音区间，生成所述音色标识对应的字幕，所述带时间轴的第一字幕包括所述音色标识对应的字幕。
6.如权利要求5所述的装置，其特征在于，所述校准模块包括：区间校准单元和/或字字校准单元；
所述区间校准单元，用于将所述初始字幕数据与所述带时间轴的第一字幕进行语音区间的校准；
所述字字校准单元，用于将所述初始字幕数据与所述转换文本信息比对，依据所述比对结果与所述带时间轴的第一字幕进行字与字的校准。
7.如权利要求5所述的装置，其特征在于，所述识别模块包括：
区间计算单元，用于计算所述音视频数据的能量和过零率，由所述计算结果确定所述语音区间；所述语音区间包括有声区间和无声区间。
8.如权利要求5所述的装置，其特征在于，所述装置还包括：
自修正模块，用于在接收到对所述带时间轴的第二字幕的修改反馈信息时，标识修改反馈对应的语音区间，并进行自修正。
CN201611179471.9A 2016-12-19 2016-12-19 一种字幕对准方法及装置 Active CN106816151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611179471.9A CN106816151B (zh) 2016-12-19 2016-12-19 一种字幕对准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611179471.9A CN106816151B (zh) 2016-12-19 2016-12-19 一种字幕对准方法及装置

Publications (2)

Publication Number Publication Date
CN106816151A CN106816151A (zh) 2017-06-09
CN106816151B true CN106816151B (zh) 2020-07-28

Family

ID=59110609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611179471.9A Active CN106816151B (zh) 2016-12-19 2016-12-19 一种字幕对准方法及装置

Country Status (1)

Country Link
CN (1) CN106816151B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107770598B (zh) * 2017-10-12 2020-06-30 维沃移动通信有限公司 一种同步播放的检测方法、移动终端
CN109963092B (zh) * 2017-12-26 2021-12-17 深圳市优必选科技有限公司 一种字幕的处理方法、装置及终端
CN108337559A (zh) * 2018-02-06 2018-07-27 杭州政信金服互联网科技有限公司 一种直播文字展示方法及系统
CN108597497B (zh) * 2018-04-03 2020-09-08 中译语通科技股份有限公司 一种字幕语音精准同步系统及方法、信息数据处理终端
CN108959163B (zh) * 2018-06-28 2020-01-21 掌阅科技股份有限公司 有声电子书的字幕显示方法、电子设备及计算机存储介质
CN110557668B (zh) * 2019-09-06 2022-05-03 常熟理工学院 基于小波蚁群的声音和字幕精确对准系统
CN112752047A (zh) * 2019-10-30 2021-05-04 北京小米移动软件有限公司 视频录制方法、装置、设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH038073A (ja) * 1989-04-18 1991-01-16 Pfu Ltd 縮小添字への網かけ印刷を行う文書処理装置
CN101359473A (zh) * 2007-07-30 2009-02-04 国际商业机器公司 自动进行语音转换的方法和装置
CN103165131A (zh) * 2011-12-17 2013-06-19 富泰华工业（深圳）有限公司 语音处理系统及语音处理方法
CN105007557A (zh) * 2014-04-16 2015-10-28 上海柏润工贸有限公司 一种具有语音识别和字幕显示功能的智能助听器
CN105245917A (zh) * 2015-09-28 2016-01-13 徐信 一种多媒体语音字幕生成的系统和方法
CN105704538A (zh) * 2016-03-17 2016-06-22 广东小天才科技有限公司 一种音视频字幕生成方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101808202B (zh) * 2009-02-18 2013-09-04 联想(北京)有限公司 实现影音文件中声音与字幕同步的方法、设备和计算机

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH038073A (ja) * 1989-04-18 1991-01-16 Pfu Ltd 縮小添字への網かけ印刷を行う文書処理装置
CN101359473A (zh) * 2007-07-30 2009-02-04 国际商业机器公司 自动进行语音转换的方法和装置
CN103165131A (zh) * 2011-12-17 2013-06-19 富泰华工业（深圳）有限公司 语音处理系统及语音处理方法
CN105007557A (zh) * 2014-04-16 2015-10-28 上海柏润工贸有限公司 一种具有语音识别和字幕显示功能的智能助听器
CN105245917A (zh) * 2015-09-28 2016-01-13 徐信 一种多媒体语音字幕生成的系统和方法
CN105704538A (zh) * 2016-03-17 2016-06-22 广东小天才科技有限公司 一种音视频字幕生成方法及系统

Also Published As

Publication number Publication date
CN106816151A (zh) 2017-06-09

Similar Documents

Publication Publication Date Title
CN106816151B (zh) 一种字幕对准方法及装置
CN111968649B (zh) 一种字幕纠正方法、字幕显示方法、装置、设备及介质
CN112115706B (zh) 文本处理方法、装置、电子设备及介质
CN107767869B (zh) 用于提供语音服务的方法和装置
US7676373B2 (en) Displaying text of speech in synchronization with the speech
US9311913B2 (en) Accuracy of text-to-speech synthesis
CN106485984B (zh) 一种钢琴的智能教学方法和装置
JP6541673B2 (ja) モバイル機器におけるリアルタイム音声評価システム及び方法
CN109800407A (zh) 意图识别方法、装置、计算机设备和存储介质
CN108305618B (zh) 语音获取及搜索方法、智能笔、搜索终端及存储介质
US11810471B2 (en) Computer implemented method and apparatus for recognition of speech patterns and feedback
CN103578471A (zh) 语音辨识方法及其电子装置
US8000964B2 (en) Method of constructing model of recognizing english pronunciation variation
CN109976702A (zh) 一种语音识别方法、装置及终端
CN110600002B (zh) 语音合成方法、装置及电子设备
US9940326B2 (en) System and method for speech to speech translation using cores of a natural liquid architecture system
CN107181986A (zh) 视频与字幕的匹配方法和装置
US20110161084A1 (en) Apparatus, method and system for generating threshold for utterance verification
CN113658594A (zh) 歌词识别方法、装置、设备、存储介质及产品
CN102970618A (zh) 基于音节识别的视频点播方法
CN114333759A (zh) 模型训练方法、语音合成方法、设备和计算机程序产品
KR101493006B1 (ko) 멀티미디어 콘텐츠 편집장치 및 그 방법
CN111681676B (zh) 视频物体识别构建音频方法、系统、装置及可读存储介质
JP2007257134A (ja) 音声検索装置、音声検索方法および音声検索プログラム
CN112786020A (zh) 一种歌词时间戳生成方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant