CN112735429B - 确定歌词时间戳信息的方法和声学模型的训练方法 - Google Patents
确定歌词时间戳信息的方法和声学模型的训练方法 Download PDFInfo
- Publication number
- CN112735429B CN112735429B CN202011577400.0A CN202011577400A CN112735429B CN 112735429 B CN112735429 B CN 112735429B CN 202011577400 A CN202011577400 A CN 202011577400A CN 112735429 B CN112735429 B CN 112735429B
- Authority
- CN
- China
- Prior art keywords
- audio
- target
- phoneme
- word
- lyric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012545 processing Methods 0.000 claims description 63
- 230000009467 reduction Effects 0.000 claims description 38
- 230000015654 memory Effects 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001672694 Citrus reticulata Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
- G10L2015/025—Phonemes, fenemes or fenones being the recognition units
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
- G10L2015/0631—Creating reference templates; Clustering
- G10L2015/0633—Creating reference templates; Clustering using lexical or orthographic knowledge sources
Abstract
本申请公开了一种确定歌词时间戳信息的方法和声学模型的训练方法，属于互联网技术领域。方法包括：提取目标歌曲的目标干声音频，并获取目标歌曲对应的目标歌词文本；确定目标歌词文本中每个字对应的音素组成的音素集合；将目标干声音频以及音素集合中的各音素输入到预先训练的声学模型，得到目标干声音频对应的音素序列；基于目标歌词文本中每个字在音素序列中对应的音素，确定目标歌词文本中每个字在目标干声音频中对应的起始演唱时间点和结束演唱时间点；基于目标歌词文本中每个字在目标干声音频中对应的起始演唱时间点和结束演唱时间点，确定目标歌词文本对应的歌词时间戳信息。采用本申请能够提高得到歌曲对应的歌词时间戳信息的效率。
Description
技术领域
本申请涉及互联网技术领域，特别涉及一种确定歌词时间戳信息的方法和声学模型的训练方法。
背景技术
随着互联网技术的发展，用户通过网络下载或播放歌曲早已十分常见。例如可以通过各种音乐播放应用程序播放歌曲，并且在音乐播放应用程序中播放歌曲时，歌曲播放界面中还可以显示对应当前歌曲播放进度的歌词。
在相关技术中，一般每个歌曲都会对应有一个歌词文件，在歌词文件中可以包括歌词文本和对应的歌词时间戳信息，歌词时间戳信息即各句歌词以及每句歌词中的各个字在歌曲中对应的播放起始时间点和播放结束时间点。在音乐播放应用程序中播放歌曲时，音乐播放应用程序可以根据歌词文件在歌曲播放界面中显示与当前歌曲的播放进度对应的歌词。
在实现本申请的过程中，发明人发现相关技术至少存在以下问题：
在相关技术中歌词文件中的歌词时间戳信息是通过人工标注得到的，但是音乐播放应用程序对应的音乐库中每天都会新增大量的歌曲，如果仅通过人工标注的方法得到各个歌曲对应的歌词时间戳信息，会使得到各个歌曲对应的歌词时间戳信息的效率较低。
发明内容
本申请实施例提供了一种确定歌词时间戳信息的方法和声学模型的训练方法，能够提高得到歌曲的歌词时间戳信息。所述技术方案如下：
第一方面，提供了一种确定歌词时间戳信息的方法，所述方法包括：
提取目标歌曲的目标干声音频，并获取所述目标歌曲对应的目标歌词文本；
确定所述目标歌词文本中每个字对应的音素组成的音素集合；
将所述目标干声音频以及所述音素集合中的各音素输入到预先训练的声学模型，得到所述目标干声音频对应的音素序列，其中，所述音素序列是所述目标干声音频对应的多个音素按照发声时间的顺序排列组成的，所述音素序列中包括的各音素为所述音素集合中的音素；
确定所述目标歌词文本中每个字在所述音素序列中对应的音素，基于所述目标歌词文本中每个字在所述音素序列中对应的音素，确定所述目标歌词文本中每个字在所述目标干声音频中对应的起始演唱时间点和结束演唱时间点；
基于所述目标歌词文本中每个字在所述目标干声音频中对应的起始演唱时间点和结束演唱时间点，确定所述目标歌词文本对应的歌词时间戳信息。
可选的，所述获取所述目标歌曲对应的目标歌词文本，包括：
获取所述目标歌曲对应的初始歌词文本；
对所述初始歌词文本进行非歌词信息滤除处理，得到目标歌词文本。
可选的，
所述将所述目标干声音频以及所述音素集合中的各音素输入到预先训练的声学模型，得到所述目标干声音频对应的音素序列，包括：
提取所述目标干声音频的音频特征；
将所述目标干声音频的音频特征以及所述音素集合中的各音素输入到所述预先训练的声学模型中，得到所述目标干声音频中每个音频帧对应的音素；
基于所述目标干声音频中每个音频帧对应的音素，确定所述目标干声音频对应的音素序列。
可选的，所述提取所述目标干声音频的音频特征，包括：
提取所述目标干声音频中每个音频帧的MFCC特征；
对于任一音频帧，将所述任一音频帧对应的MFCC特征与所述任一帧音频相邻的两个音频帧对应的MFCC特征进行拼接降维处理，得到每个音频帧对应的拼接降维处理后的音频特征；
将所述每个音频帧对应的拼接降维处理后的音频特征输入到预先训练的语音自适应模型，得到每个音频帧对应的自适应音频特征，将所述每个音频帧对应的自适应音频特征确定为所述目标干声音频的音频特征。
可选的，所述确定所述目标歌词文本中每个字在所述音素序列中对应的音素，包括：
基于动态规划算法对所述目标歌词文本中每个字对应的音素以及所述音素序列中对应的音素进行匹配，得到所述目标歌词文本中每个字在所述音素序列中对应的音素。
可选的，所述确定所述目标歌词文本中每个字在所述音素序列中对应的音素，包括：
将所述音素序列输入到预先设置的语言模型中，得到所述音素序列对应的识别文本；
将所述识别文本中每个字在所述音素序列中对应的音素确定为所述目标歌词文本中每个字在所述音素序列中对应的音素。
可选的，所述基于所述目标歌词文本中每个字在所述音素序列中对应的音素，确定所述目标歌词文本中每个字在所述目标干声音频中对应的起始演唱时间点和结束演唱时间点，包括：
确定所述目标歌词文本每个字在所述音素序列中对应的音素在所述目标干声音频中对应的音频帧；
基于所述目标歌词文本每个字在所述目标干声音频中对应的音频帧，确定所述目标歌词文本每个字在所述目标干声音频中对应的起始演唱时间点和结束演唱时间点。
第二方面，提供了一种声学模型的训练方法，所述方法包括：
获取样本歌曲的样本干声音频以及所述样本歌曲对应的样本歌词文本；
确定所述样本歌词文本中每个字对应的音素；
提取所述样本干声音频的音频特征，将所述音频特征以及所述样本歌词文本中每个字对应的音素作为第一训练样本，基于所述第一训练样本对所述声学模型进行单音素训练，得到第一声学模型；
基于所述第一训练样本对所述第一声学模型进行三音素训练，得到训练完成的声学模型。
可选的，所述基于所述第一训练样本对所述第一声学模型进行三音素训练，得到训练完成的声学模型，包括：
基于所述第一训练样本对所述第一声学模型进行三音素训练，得到第二声学模型；
提取所述样本干声音频中的每个音频帧的音频特征，对于所述样本干声音频中的任一音频帧，将所述任一音频帧对应的音频特征与所述任一帧音频相邻的两个音频帧对应的音频特征进行拼接降维处理，得到每个音频帧对应的拼接降维处理后的音频特征；
将所述每个音频帧对应的拼接降维处理后的音频特征以及所述样本歌词文本中每个字对应的音素作为第二训练样本，基于所述第二训练样本对所述第二声学模型再次进行三音素训练，得到训练完成的声学模型。
第三方面、提供了一种确定歌词时间戳信息的装置，所述装置包括：
获取模块，用于提取目标歌曲的目标干声音频，并获取所述目标歌曲对应的目标歌词文本；
确定模块，用于确定所述目标歌词文本中每个字对应的音素组成的音素集合；
处理模块，用于将所述目标干声音频以及所述音素集合中的各音素输入到预先训练的声学模型，得到所述目标干声音频对应的音素序列，其中，所述音素序列是所述目标干声音频对应的多个音素按照发声时间的顺序排列组成的，所述音素序列中包括的各音素为所述音素集合中的音素；
所述确定模块，用于确定所述目标歌词文本中每个字在所述音素序列中对应的音素，基于所述目标歌词文本中每个字在所述音素序列中对应的音素，确定所述目标歌词文本中每个字在所述目标干声音频中对应的起始演唱时间点和结束演唱时间点；基于所述目标歌词文本中每个字在所述目标干声音频中对应的起始演唱时间点和结束演唱时间点，确定所述目标歌词文本对应的歌词时间戳信息。
可选的，所述获取模块，用于：
获取所述目标歌曲对应的初始歌词文本；
对所述初始歌词文本进行非歌词信息滤除处理，得到目标歌词文本。
可选的，所述处理模块，用于：
提取所述目标干声音频的音频特征；
将所述目标干声音频的音频特征以及所述音素集合中的各音素输入到所述预先训练的声学模型中，得到所述目标干声音频中每个音频帧对应的音素；
基于所述目标干声音频中每个音频帧对应的音素，确定所述目标干声音频对应的音素序列。
可选的，所述处理模块，用于：
提取所述目标干声音频中每个音频帧的MFCC特征；
对于任一音频帧，将所述任一音频帧对应的MFCC特征与所述任一帧音频相邻的两个音频帧对应的MFCC特征进行拼接降维处理，得到每个音频帧对应的拼接降维处理后的音频特征；
将所述每个音频帧对应的拼接降维处理后的音频特征输入到预先训练的语音自适应模型，得到每个音频帧对应的自适应音频特征，将所述每个音频帧对应的自适应音频特征确定为所述目标干声音频的音频特征。
可选的，所述确定模块，用于：
基于动态规划算法对所述目标歌词文本中每个字对应的音素以及所述音素序列中对应的音素进行匹配，得到所述目标歌词文本中每个字在所述音素序列中对应的音素。
可选的，所述确定模块，用于：
将所述音素序列输入到预先设置的语言模型中，得到所述音素序列对应的识别文本；
将所述识别文本中每个字在所述音素序列中对应的音素确定为所述目标歌词文本中每个字在所述音素序列中对应的音素。
可选的，所述确定模块，用于：
确定所述目标歌词文本每个字在所述音素序列中对应的音素在所述目标干声音频中对应的音频帧；
基于所述目标歌词文本每个字在所述目标干声音频中对应的音频帧，确定所述目标歌词文本每个字在所述目标干声音频中对应的起始演唱时间点和结束演唱时间点。
第四方面，提供了一种声学模型的训练装置，所述装置包括：
获取模块，用于获取样本歌曲的样本干声音频以及所述样本歌曲对应的样本歌词文本；
确定模块，用于确定所述样本歌词文本中每个字对应的音素；
训练模块，用于提取所述样本干声音频的音频特征，将所述音频特征以及所述样本歌词文本中每个字对应的音素作为第一训练样本，基于所述第一训练样本对所述声学模型进行单音素训练，得到第一声学模型；基于所述第一训练样本对所述第一声学模型进行三音素训练，得到训练完成的声学模型。
可选的，所述训练模块，用于：
基于所述第一训练样本对所述第一声学模型进行三音素训练，得到第二声学模型；
提取所述样本干声音频中的每个音频帧的音频特征，对于所述样本干声音频中的任一音频帧，将所述任一音频帧对应的音频特征与所述任一帧音频相邻的两个音频帧对应的音频特征进行拼接降维处理，得到每个音频帧对应的拼接降维处理后的音频特征；
将所述每个音频帧对应的拼接降维处理后的音频特征以及所述样本歌词文本中每个字对应的音素作为第二训练样本，基于所述第二训练样本对所述第二声学模型再次进行三音素训练，得到训练完成的声学模型。
第五方面、提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如第一方面所述的确定歌词时间戳信息的方法以及第二方面所述的声学模型的训练方法所执行的操作。
第六方面、提供了一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如第一方面所述的确定歌词时间戳信息的方法以及第二方面所述的声学模型的训练方法所执行的操作。
本申请实施例提供的技术方案带来的有益效果是：
通过将目标歌词文本中每个字对应的音素和目标干声音频输入到预先训练的声学模型中，得到目标干声音频对应的音素序列，这样可以通过确定目标歌词文本中每个字在音素序列中对应的音素，以确定每个字在对应的目标干声音频中对应的开始时间点和结束时间点，从而得到对应的歌词时间戳信息。可见采用本申请不需要人工确定歌词中每个字在歌曲中的开始时间点和结束时间点，能够提高得到歌词时间戳信息的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的确定歌词时间戳信息的方法流程图；
图2是本申请实施例提供的确定歌词时间戳信息的方法示意图；
图3是本申请实施例提供的确定歌词时间戳信息的方法示意图；
图4是本申请实施例提供的训练声学模型的方法流程图；
图5是本申请实施例提供的确定歌词时间戳信息的装置结构示意图；
图6是本申请实施例提供的训练声学模型的装置结构示意图；
图7是本申请实施例提供的终端结构示意图；
图8是本申请实施例提供的服务器结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请提供的确定歌词时间戳信息方法可以由终端或服务器进行实现。终端可以运行有用于播放音频的音频播放应用程序，终端可以具备显示屏、扬声器、耳机插孔等等部件，终端具有通信功能，可以接入互联网，终端可以是手机、平板电脑、智能穿戴设备、台式计算机、笔记本电脑等。服务器可以是上述应用程序的后台服务器，服务器可以与终端建立通信。该服务器可以是一个单独的服务器也可以是一个服务器组，如果是单独的服务器，该服务器可以负责下述方案中的所有处理，如果是服务器组，服务器组中的不同服务器分别可以负责下述方案中的不同处理，具体的处理分配情况可以由技术人员根据实际需求任意设置，此处不再赘述。
用户可以通过音频播放应用程序播放歌曲下载歌曲，音频播放应用程序在下载歌曲对应的音频文件时还可以下载歌曲对应的歌词文件(如QRC歌词)。音频播放应用程序在播放歌曲时，可以根据歌曲当前的播放进度，以及歌词文件中包括的歌词时间戳信息，在歌曲播放页面中显示与当前歌曲播放进度对应的歌词。本申请实施例提供的确定歌词时间戳信息方法，可以根据歌曲对应的干声音频对应的音素序列以及歌曲对应的歌词文本，确定歌曲对应的歌词时间戳信息。
音素是根据语言的自然属性划分出来的最小语音单位，一个发音动作形成一个音素。例如，“啊”、“波”、“得”的发音，每个发音可对应一个音素。音素有多种表示方式，例如普通话的发音对应的音素可以通过拼音表示，如“普通话”这三个字的发音对应的音素可以分别通过“p、u、t、o、ng、h、u、a”表示。对于英文的发音对应的音素可以通过音标表示，如/i：/、/I/、/e/、等。
音素状态是通过将每个音素进行划分，得到的更细致的语音单位，一般一个音素可对应三个音素状态，即可以通过将音素发音的起始音、持续音和结束音确定为音素对应的三个音素状态。
发音字典中可以记录字(单词)与音素之间的映射关系，即每个字(单词)对应的音素。发音字典可以分为中文发音字典、英文发音字典等。在中文发音字典中可以记录每个汉字与拼音的映射关系，在英文发音字典中可以记录每个英文单词与音标的映射关系。其中，拼音和音标都是音素的表示方式。
图1是本申请实施例提供的一种确定歌词时间戳信息的方法流程图。参见图1，该实施例包括：
步骤101、提取目标歌曲的目标干声音频，并获取目标歌曲对应的目标歌词文本。
在实施中，可以获取待确定歌词时间戳信息的目标歌曲对应的歌曲音频，然后可以对获取的歌曲音频进行干声提取，得到目标干声音频。例如通过spleeter模型提取歌曲音频中的干声，在目标干声音频中包括目标歌曲对应的人声演唱音频，不包括歌曲的伴奏音频。其中，提取得到的目标干声音频的时长与歌曲音频的时长相同。目标歌词文本可以为目标歌曲对应的歌词文本。另外，需要说明的是本申请实施例可以由终端实现或服务器实现，如果本申请实施例由终端实现，目标歌曲的歌曲音频和目标歌词文本可以预先存储在终端，或由终端预先从对应的服务器中获取。如果本申请实施例由服务器实现，则目标歌曲的歌曲音频和目标歌词文本可以从音频播放应用程序对应的音频数据库中获取。
可选的，由于一般歌曲的歌词文本中除了歌曲的演唱音频对应的各句歌词之外，还包括一些非歌词信息，目标歌词文本可以是对目标歌曲的歌词文本(即初始歌词文本)进行非歌词信息滤除处理之后得到的。即获取目标歌曲对应的初始歌词文本后，可以对初始歌词文本进行非歌词信息滤除处理，得到目标歌词文本。
在实施中，一般在目标歌曲对应的初始歌词文本中会包括一些非歌词信息，例如目标歌曲对应歌名以及对应的歌手、作曲、作词等信息。这些非歌词信息都不属于目标歌曲的歌词，且非歌词信息一般出现在歌词文本的开始部分。所以在获取到目标歌曲对应的初始歌词文本之后，可以对初始歌词文本进行非歌词信息滤除处理。非歌词信息滤除处理可以由技术人员根据非歌词信息的信息特征，设置对应的滤除规则，例如可以通过检测关键字、关键符号等，对初始歌词文本进行非歌词信息滤除处理，将初始歌词文本中非歌词信息删除，只保留目标歌曲的歌词对应的文本。例如可以对“《》”进行检测，删除“《》”以及“《》”中包括的文本；删除包括“作曲”、“演唱者”、“作词”等关键字的句子。
步骤102、确定目标歌词文本中每个字对应的音素组成的音素集合。
在实施中，在得到目标歌词文本后技术人员可以根据预先构建的发音字典，确定目标歌词文本中每个字对应的音素，然后将歌词文本中所有字对应的音素组成音素集合。进一步的还可以根据每个字在歌词中的顺序，对音素集合中的各个音素进行排序，得到目标歌词文本对应的音素序列。
另外，技术人员可以预先设置每个音素与音素状态的对应关系，在得到目标歌词文本中每个字对应的音素后，还可以根据预先设定的每个音素与音素状态的对应关系，确定目标歌词文本中每个字对应的音素状态。即音素集合可以为音素状态集合，在音素状态集合中包括目标歌词文本中各个字对应的音素状态。即在本步骤中目标歌词文本对应的音素序列可以为目标歌词文本对应的音素状态序列，音素状态序列中的各个音素状态的顺序是根据目标歌词文本中各个字的顺序进行排列的。
其中，预先构建的发音字典可以包括中文发音字典和英文发音字典，中文发音字典中的汉字可以通过曲库中所有中文歌曲对应的歌词中出现的汉字进行构造，即可以获取曲库中所有中文歌曲对应的歌词文本，然后对所有的歌词文本中的汉字进行去重处理得到中文发音字典中的汉字，然后再根据每个汉字对应的音素构造中文发音字典。同理，对于英文发音字典可以通过获取曲库中所有英文歌曲对应的歌词文本，然后对所有的歌词文本中的英文单词进行去重处理得到发音字典中的英文单词，然后再通过G2P(Grapheme-to-Phoneme，字素到音素)模型将英文单词映射到音素，构造英文发音字典。对于中文歌曲可以根据中文发音字典确定歌词文本中每个字对应的音素，对于英文歌曲可以根据英文发音字典确定歌词文本中每个单词对应的音素。
步骤103、将目标干声音频以及音素集合中的各音素输入到预先训练的声学模型，得到目标干声音频对应的音素序列。
其中，音素序列是目标干声音频对应的多个音素按照发声时间的顺序排列组成的，音素序列中包括的各音素为音素集合中的音素。
在实施中，可以通过预先训练的声学模型(下文可简称为声学模型)识别目标干声音频中每帧对应的音素。如图2所示，声学模型的输入数据除了目标干声音频之外，还可以包括音素集合中的目标歌词文本中各个字对应的每个音素，或者还可以是音素集合中的音素根据目标歌词文本中的每个字的顺序确定的音素序列。在声学模型中可以根据每个字对应的音素，确定目标干声音频中每一音频帧对应的各个音素的概率值。然后根据维特比解码确定目标干声音频中对应的最大概率的音素序列。另外，如果输入到声学模型的数据为目标歌词文本对应的音素序列，则声学模型输出的目标干声音频中每一音频帧对应的各个音素状态的概率值，然后可以根据维特比解码确定目标干声音频中对应的最大概率的音素状态序列，然后根据音素状态序列和预先设定的音素与音素状态的对应关系，确定音素状态序列对应的音素状态。
可选的，输入到声学模型的输入数据还可以是目标干声音频对应的音频特征，也就是可以通过提取目标干声音频的音频特征，将目标干声音频的音频特征以及音素集合中的各音素输入到预先训练的声学模型中，得到目标干声音频中每个音频帧对应的音素，基于目标干声音频中每个音频帧对应的音素，确定目标干声音频对应的音素序列。
其中，提取目标干声音频的音频特征的处理可以如下：提取目标干声音频中每个音频帧的MFCC特征；对于任一音频帧，将任一音频帧对应的MFCC特征与任一帧音频相邻的两个音频帧对应的MFCC特征进行拼接降维处理，得到每个音频帧对应的拼接降维处理后的音频特征；将每个音频帧对应的拼接降维处理后的音频特征输入到预先训练的语音自适应模型，得到每个音频帧对应的自适应音频特征，将每个音频帧对应的自适应音频特征确定为目标干声音频的音频特征。语音自适应模型可以由技术人员预先训练，其训练过程为现有技术，此处不再详细赘述。语音自适应模型可以消除音频特征中说话人由于说话人的语速、音调等对对应的特征，即可以消除说话人对音频特征的影响。
在实施中，可以对目标干声音频进行特征提取，得到目标干声音频的音频特征，然后可以将目标干声音频的音频特征以及音素集合中的音素根据目标歌词文本中的每个字的顺序确定的音素序列输入到预先训练的声学模型中，得到目标干声音频中每个音频帧对应的音素，然后根据目标干声音频中每个音频帧对应的音素，按照确定目标干声音频中各个音频帧的顺序组成对应的音素序列。
其中，目标干声音频的音频特征可以是MFCC特征，在提取目标干声音频的音频特征时，可以对目标干声音频进行分帧处理，例如可以将20ms为一帧，得到目标干声音频对应的多个音频帧。然后可以对每个音频帧进行傅里叶变换，得到每个帧对应的频域数据，然后再对频域数据进行梅尔滤波，得到log梅尔谱并进行DCT变换，得到MFCC特征。其中MFCC特征为39维，在得到MFCC特征之后，还可对MFCC特征进行归一化处理。这样就可以得到目标干声音频的每个音频帧对应的MFCC特征。为了考虑前后音频帧之间的联系，还可以将相邻的音频帧对应的特征进行拼接，对于目标干声音频的任一音频帧，可以将该音频帧对应的MFCC特征与前一个音频帧以及后一个音频帧对应的MFCC特征进行拼接。由于每个MFCC特征为39维，则对于拼接之后的MFCC特征可通过LDA算法进行降维处理，这样拼接之后的MFCC特征可以保留3个音频帧对应的特征，且对应的维度仍然为39维。在得到每个音频帧对应的拼接降维处理后的MFCC特征后，可以将拼接降维处理后的MFCC特征输入到预先训练的语音自适应模型，得到每个音频帧对应的自适应音频特征。这样将目标干声音频中每个音频帧对应的自适应音频特征作为目标干声音频的音频特征，还可以消除说话人对目标干声音频的音频特征影响。
其中，在本申请实施例中声学模型可以是GMM-HMM模型，对应的训练过程先不在此进行详细描述。
步骤104、确定每个字在音素序列中对应的音素，基于目标歌词文本中每个字在音素序列中对应的音素，确定目标歌词文本中每个字在目标干声音频中对应的起始演唱时间点和结束演唱时间点。
在实施中，在得到目标干声音频的对应的音素序列之后，可以确定目标歌词文本中每个字在音素序列对应的音素，其中可以包括以下两种方式：
方式一，基于动态规划算法对目标歌词文本中每个字对应的音素以及音素序列中对应的音素进行匹配，得到目标歌词文本中每个字在音素序列中对应的音素。
在实施中，在得到目标干声音频对应的音素序列之后，可以根据动态规划算法，例如DTW(Dynamic Time Warping，动态时间规划)，对目标干声音频对应的音素序列中的中的各个音素，与目标歌词文本中每个字对应的音素进行匹配，得到目标歌词文本中每个字对应的音素与目标干声音频中对应的音素序列的各个音素的对应关系，从而根据目标歌词文本对应的音素与目标干声音频对应的音素的对应关系，确定目标歌词文本中每个字对应的音素序列中对应的音素。如图3所示，目标歌词文本为“我和你心连心”，目标歌词文本中每个字对应的音素为“wohenixinlianxin”，然后可以通过确定目标歌词文本中每个字对应的音素与目标干声音频的音素序列中的各个音素的对应关系，以确定目标歌词文本中每个字在目标干声音频中对应的音频帧。
方式二，将音素序列输入到预先设置的语言模型中，得到音素序列对应的识别文本；将识别文本中每个字在音素序列中对应的音素确定为目标歌词文本中每个字在音素序列中对应的音素。
其中，预先设置的语言模型为统计模型，例如n-gram模型。技术人员可以预先获取曲库中所有歌曲对应的歌词文本，然后统计获取的歌词文本中各个字(单词)出现的次数，从而确定各个字可能出现的概率。对应n-gram模型，还可以确定n个字同时出现的概率。例如对于3-gram模型，可以通过任意3个字同时出现的概率，这样可以考虑多个字之间的关系，能够使语言模型识别出来的句子是比较符合正常逻辑的句子。另外在统计获取的歌词文本中各个字(单词)出现的次数之前，可以去除各个歌词文本中与歌词部分无关的信息，例如歌手信息、伴奏信息、出版信息等。
在得到目标干声音频的对应的音素序列之后，可以通过预先设置的语言模型对目标干声音频的对应的音素序列中的每个音素进行识别，得到目标干声音频的对应的识别文本。由于识别文本是根据目标干声音频进行识别的，所以识别文本即为根据目标干声音频识别到的歌词文本。这样识别到的歌词文本的每个字在音素序列中对应的每个音素即为目标歌词文本中每个字在音素序列中对应的音素。
在得到目标歌词文本中每个字在音素序列中对应的音素之后，可以将根据目标歌词文本中每个字在音素序列中对应的音素，确定目标歌词文本中每个字在目标干声音频中对应的起始演唱时间点和结束演唱时间点，相应的处理如下：
确定目标歌词文本每个字在音素序列中对应的音素在目标干声音频中对应的音频帧；基于目标歌词文本每个字在目标干声音频中对应的音频帧，确定目标歌词文本每个字在目标干声音频中对应的起始演唱时间点和结束演唱时间点。
在实施中，目标干声音频对应的音素序列中的每个音素都可以唯一的对应一个音频帧。也就是说，可以根据目标歌词文本每个字在音素序列中对应的音素，确定目标歌词文本每个字在目标干声音频中对应的音频帧。在得到目标歌词文本每个字在目标干声音频中对应的音频帧后，可以根据每个字在目标干声音频中对应的音频帧在目标干声音频中的位置确定目标歌词文本每个字在目标干声音频中对应的起始演唱时间点和结束演唱时间点。
步骤105、基于目标歌词文本中每个字在目标干声音频中对应的起始演唱时间点和结束演唱时间点，确定目标歌词文本对应的歌词时间戳信息。
在实施中，在得到目标歌词文本中每个字在目标干声音频中对应的音频帧后，可以根据每个音频帧在目标干声音频中的位置，确定目标歌词文本中每个字的在对应的歌曲音频中的开始时间点和结束时间点。另外还可以根据目标歌词文本中每句歌词中第一个字的开始时间点与最后一个字的结束时间点确定每句歌词的开始时间点和结束时间点。然后可以根据目标歌词文本中每个字的开始时间点与结束时间点或每句歌词的开始时间点和结束时间点组成目标歌曲对应的歌词时间戳信息。
本申请实施例通过将目标歌词文本中每个字对应的音素和目标干声音频输入到预先训练的声学模型中，得到目标干声音频对应的音素序列，这样可以通过确定目标歌词文本中每个字在音素序列中对应的音素，以确定每个字在对应的目标干声音频中对应的开始时间点和结束时间点，从而得到对应的歌词时间戳信息。可见采用本申请不需要人工确定歌词中每个字在歌曲中的开始时间点和结束时间点，能够提高得到歌词时间戳信息的效率。
图4是本申请实施例提供的一种训练声学模型的方法流程图。参见图4，该实施例包括：
步骤401、获取样本歌曲的样本干声音频以及样本歌曲对应的样本歌词文本。
其中，样本歌曲可以是任一首歌曲，样本干声音频可以是任一歌曲经过干声提取得到的音频。样本歌词文本即为样本歌曲对应的歌词文本。
步骤402、确定样本歌词文本中每个字对应的音素。
在实施中，在得到样本歌词文本后，可以根据预先构建发音字典确定样本歌词文本中每个字对应的音素，或者还可以根据预先设定的每个音素与音素状态的对应关系，确定样本歌词文本中每个字对应的音素状态。其中需要说明的是，在本步骤得到的每个字对应的音素，也可以是每个字对应的音素状态。即在本申请实施例中音素可以替换为音素状态，在后续的处理中，对音素的处理也可以是对音素状态的处理。
步骤403、提取样本干声音频的音频特征，将音频特征以及样本歌词文本中每个字对应的音素作为第一训练样本，基于第一训练样本对声学模型进行单音素训练，得到第一声学模型。
在实施中，在得到样本干声音频后，可以提取样本干声音频每个音频帧对应的MFCC特征。在得到样本干声音频中每个音频帧对应的MFCC特征以及样本歌词中每个字的对应的音素之后，可以将样本干声音频中每个音频帧对应的MFCC特征以及样本歌词中每个字的对应的音素输入到GMM-HMM模型中，并通过EM算法对GMM-HMM模型进行单音素训练，得到单音素GMM-HMM模型，即第一声学模型。其中，单音素训练为一种训练声学模型的方法，属于现有技术，此处不再做详细说明。
步骤404、基于第一训练样本对第一声学模型进行三音素训练，得到训练完成的声学模型。
在实施中，在得到单音素GMM-HMM模型之后，还可以将样本干声音频中每个音频帧对应的MFCC特征以及样本歌词中每个字的对应的音素输入到单音素GMM-HMM模型中，然后决策树对单音素GMM-HMM模型中进行三音素训练，得到三音素GMM-HMM模型。三音素GMM-HMM模型即可作为训练完成的GMM-HMM模型进行使用。其中，三音素训练为一种训练声学模型的方法，属于现有技术，此处不再做详细说明。
可选的，为了考虑前后音频帧之间的联系，在得到三音素GMM-HMM模型之后，还可以在三音素GMM-HMM模型的基础上进行再次训练，相应的处理如下：
基于第一训练样本对第一声学模型进行三音素训练，得到第二声学模型；提取样本干声音频中的每个音频帧的音频特征，对于样本干声音频中的任一音频帧，将任一音频帧对应的音频特征与任一帧音频相邻的两个音频帧对应的音频特征进行拼接降维处理，得到每个音频帧对应的拼接降维处理后的音频特征；将每个音频帧对应的拼接降维处理后的音频特征以及样本歌词文本中每个字对应的音素作为第二训练样本，基于第二训练样本对第二声学模型再次进行三音素训练，得到训练完成的声学模型。
在实施中，为了考虑前后音频帧之间的联系，在得到三音素GMM-HMM模型之后，还可以在三音素GMM-HMM模型的基础上进行再次训练。可以将样本干声音频中每个音频帧对应的MFCC特征以及样本歌词中每个字的对应的音素输入到单音素GMM-HMM模型中，然后决策树对单音素GMM-HMM模型中进行三音素训练，得到首次完成训练的三音素GMM-HMM模型，即得到第二声学模型。
然后对于训练样本，可以将相邻的音频帧对应的特征进行拼接，然后通过拼接之后的音频特征对第二声学模型进行再次训练，以提高GMM-HMM模型的准确度。在得到音频帧对应MFCC特征之后，对于任一音频帧，可以将该音频帧对应的MFCC特征与前一个音频帧以及后一个音频帧对应的MFCC特征进行拼接。由于每个MFCC特征为39维，则对于拼接之后的MFCC特征可通过LDA算法进行降维处理，这样拼接之后的MFCC特征可以保留3个音频帧对应的特征，且对应的维度仍然为39维。在得到每个音频帧对应的拼接降维处理后的MFCC特征后，可以将拼接降维处理后的MFCC特征输入到预先训练的语音自适应模型，得到每个音频帧对应的自适应音频特征。然后可以根据样本干声音频中每个音频帧对应的自适应音频特征以及样本干声音频的歌词的每个字的对应的音素，对训练后的三音素GMM-HMM模型进行再次训练，得到训练完成的GMM-HMM模型。
本申请实施例，通过将对声学模型进行单音素训练和三音素训练，并通过拼接降维处理后的MFCC特征对三音素训练后的声学模型再次进行三音素训练，能够提高声学模型对音素识别的准确率，以确保在应用声学模型得到目标歌曲对应的歌词时间戳信息的准确性。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
图5是本申请实施例提供了一种确定歌词时间戳信息的装置，该装置可以是上述实施例中的服务器或终端，该装置包括：
获取模块510，用于提取目标歌曲的目标干声音频，并获取所述目标歌曲对应的目标歌词文本；
确定模块520，用于确定所述目标歌词文本中每个字对应的音素组成的音素集合；
处理模块530，用于将所述目标干声音频以及所述音素集合中的各音素输入到预先训练的声学模型，得到所述目标干声音频对应的音素序列，其中，所述音素序列是所述目标干声音频对应的多个音素按照发声时间的顺序排列组成的，所述音素序列中包括的各音素为所述音素集合中的音素；
所述确定模块520，用于确定所述目标歌词文本中每个字在所述音素序列中对应的音素，基于所述目标歌词文本中每个字在所述音素序列中对应的音素，确定所述目标歌词文本中每个字在所述目标干声音频中对应的起始演唱时间点和结束演唱时间点；基于所述目标歌词文本中每个字在所述目标干声音频中对应的起始演唱时间点和结束演唱时间点，确定所述目标歌词文本对应的歌词时间戳信息。
可选的，所述获取模块510，用于：
获取所述目标歌曲对应的初始歌词文本；
对所述初始歌词文本进行非歌词信息滤除处理，得到目标歌词文本。
可选的，所述处理模块530，用于：
提取所述目标干声音频的音频特征；
将所述目标干声音频的音频特征以及所述音素集合中的各音素输入到所述预先训练的声学模型中，得到所述目标干声音频中每个音频帧对应的音素；
基于所述目标干声音频中每个音频帧对应的音素，确定所述目标干声音频对应的音素序列。
可选的，所述处理模块530，用于：
提取所述目标干声音频中每个音频帧的MFCC特征；
对于任一音频帧，将所述任一音频帧对应的MFCC特征与所述任一帧音频相邻的两个音频帧对应的MFCC特征进行拼接降维处理，得到每个音频帧对应的拼接降维处理后的音频特征；
将所述每个音频帧对应的拼接降维处理后的音频特征输入到预先训练的语音自适应模型，得到每个音频帧对应的自适应音频特征，将所述每个音频帧对应的自适应音频特征确定为所述目标干声音频的音频特征。
可选的，所述确定模块520，用于：
基于动态规划算法对所述目标歌词文本中每个字对应的音素以及所述音素序列中对应的音素进行匹配，得到所述目标歌词文本中每个字在所述音素序列中对应的音素。
可选的，所述确定模块520，用于：
将所述音素序列输入到预先设置的语言模型中，得到所述音素序列对应的识别文本；
将所述识别文本中每个字在所述音素序列中对应的音素确定为所述目标歌词文本中每个字在所述音素序列中对应的音素。
可选的，所述确定模块520，用于：
确定所述目标歌词文本每个字在所述音素序列中对应的音素在所述目标干声音频中对应的音频帧；
基于所述目标歌词文本每个字在所述目标干声音频中对应的音频帧，确定所述目标歌词文本每个字在所述目标干声音频中对应的起始演唱时间点和结束演唱时间点。
图6是本申请实施例提供了一种声学模型的训练装置，该装置可以是上述实施例中的服务器或终端，该装置包括：
获取模块610，用于获取样本歌曲的样本干声音频以及所述样本歌曲对应的样本歌词文本；
确定模块620，用于确定所述样本歌词文本中每个字对应的音素；
训练模块630，用于提取所述样本干声音频的音频特征，将所述音频特征以及所述样本歌词文本中每个字对应的音素作为第一训练样本，基于所述第一训练样本对所述声学模型进行单音素训练，得到第一声学模型；基于所述第一训练样本对所述第一声学模型进行三音素训练，得到训练完成的声学模型。
可选的，所述训练模块630，用于：
基于所述第一训练样本对所述第一声学模型进行三音素训练，得到第二声学模型；
提取所述样本干声音频中的每个音频帧的音频特征，对于所述样本干声音频中的任一音频帧，将所述任一音频帧对应的音频特征与所述任一帧音频相邻的两个音频帧对应的音频特征进行拼接降维处理，得到每个音频帧对应的拼接降维处理后的音频特征；
将所述每个音频帧对应的拼接降维处理后的音频特征以及所述样本歌词文本中每个字对应的音素状态作为第二训练样本，基于所述第二训练样本对所述第二声学模型再次进行三音素训练，得到训练完成的声学模型。
图7示出了本申请一个示例性实施例提供的电子设备700的结构框图。该电子设备700可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving PictureExperts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，电子设备700包括有：处理器701和存储器702。
处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本申请中方法实施例提供的确定歌词时间戳信息的方法。
在一些实施例中，电子设备700还可选包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：射频电路704、显示屏705、摄像头组件706、音频电路707、定位组件708和电源709中的至少一种。
外围设备接口703可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路704用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路704包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路704还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏705用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时，显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时，显示屏705还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏705可以为一个，设置在电子设备700的前面板；在另一些实施例中，显示屏705可以为至少两个，分别设置在电子设备700的不同表面或呈折叠设计；在另一些实施例中，显示屏705可以是柔性显示屏，设置在电子设备700的弯曲表面上或折叠面上。甚至，显示屏705还可以设置成非矩形的不规则图形，也即异形屏。显示屏705可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件706用于采集图像或视频。可选地，摄像头组件706包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器701进行处理，或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路707还可以包括耳机插孔。
定位组件708用于定位电子设备700的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件708可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源709用于为电子设备700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，电子设备700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于：加速度传感器711、陀螺仪传感器712、压力传感器33、指纹传感器714、光学传感器715以及接近传感器716。
加速度传感器711可以检测以电子设备700建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号，控制显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器712可以检测电子设备700的机体方向及转动角度，陀螺仪传感器712可以与加速度传感器711协同采集用户对电子设备700的3D动作。处理器701根据陀螺仪传感器712采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器713可以设置在电子设备700的侧边框和/或显示屏705的下层。当压力传感器713设置在电子设备700的侧边框时，可以检测用户对电子设备700的握持信号，由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在显示屏705的下层时，由处理器701根据用户对显示屏705的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器714用于采集用户的指纹，由处理器701根据指纹传感器714采集到的指纹识别用户的身份，或者，由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器701授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置在电子设备700的正面、背面或侧面。当电子设备700上设置有物理按键或厂商Logo时，指纹传感器714可以与物理按键或厂商Logo集成在一起。
光学传感器715用于采集环境光强度。在一个实施例中，处理器701可以根据光学传感器715采集的环境光强度，控制显示屏705的显示亮度。具体地，当环境光强度较高时，调高显示屏705的显示亮度；当环境光强度较低时，调低显示屏705的显示亮度。在另一个实施例中，处理器701还可以根据光学传感器715采集的环境光强度，动态调整摄像头组件706的拍摄参数。
接近传感器716，也称距离传感器，通常设置在电子设备700的前面板。接近传感器716用于采集用户与电子设备700的正面之间的距离。在一个实施例中，当接近传感器716检测到用户与电子设备700的正面之间的距离逐渐变小时，由处理器701控制显示屏705从亮屏状态切换为息屏状态；当接近传感器716检测到用户与电子设备700的正面之间的距离逐渐变大时，由处理器701控制显示屏705从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图7中示出的结构并不构成对电子设备700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图8是本申请实施例提供的一种服务器的结构示意图，该服务器800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)801和一个或一个以上的存储器802，其中，所述存储器802中存储有至少一条指令，所述至少一条指令由所述处理器801加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述实施例中确定歌词时间戳信息的方法。该计算机可读存储介质可以是非暂态的。例如，所述计算机可读存储介质可以是ROM(Read-OnlyMemory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种确定歌词时间戳信息的方法，其特征在于，所述方法包括：
提取目标歌曲的目标干声音频，并获取所述目标歌曲对应的目标歌词文本；
确定所述目标歌词文本中每个字对应的音素组成的音素集合；
将所述目标干声音频以及所述音素集合中的各音素输入到预先训练的声学模型，得到所述目标干声音频对应的音素序列，其中，所述音素序列是所述目标干声音频对应的多个音素按照发声时间的顺序排列组成的，所述音素序列中包括的各音素为所述音素集合中的音素；
确定所述目标歌词文本中每个字在所述音素序列中对应的音素，基于所述目标歌词文本中每个字在所述音素序列中对应的音素，确定所述目标歌词文本中每个字在所述目标干声音频中对应的起始演唱时间点和结束演唱时间点；
基于所述目标歌词文本中每个字在所述目标干声音频中对应的起始演唱时间点和结束演唱时间点，确定所述目标歌词文本对应的歌词时间戳信息。
2.根据权利要求1所述的方法，其特征在于，所述获取所述目标歌曲对应的目标歌词文本，包括：
获取所述目标歌曲对应的初始歌词文本；
对所述初始歌词文本进行非歌词信息滤除处理，得到目标歌词文本。
3.根据权利要求1所述的方法，其特征在于，所述将所述目标干声音频以及所述音素集合中的各音素输入到预先训练的声学模型，得到所述目标干声音频对应的音素序列，包括：
提取所述目标干声音频的音频特征；
将所述目标干声音频的音频特征以及所述音素集合中的各音素输入到所述预先训练的声学模型中，得到所述目标干声音频中每个音频帧对应的音素；
基于所述目标干声音频中每个音频帧对应的音素，确定所述目标干声音频对应的音素序列。
4.根据权利要求3所述的方法，其特征在于，所述提取所述目标干声音频的音频特征，包括：
提取所述目标干声音频中每个音频帧的MFCC特征；
对于任一音频帧，将所述任一音频帧对应的MFCC特征与所述任一音频帧相邻的两个音频帧对应的MFCC特征进行拼接降维处理，得到每个音频帧对应的拼接降维处理后的音频特征；
将所述每个音频帧对应的拼接降维处理后的音频特征输入到预先训练的语音自适应模型，得到每个音频帧对应的自适应音频特征，将所述每个音频帧对应的自适应音频特征确定为所述目标干声音频的音频特征。
5.根据权利要求1所述的方法，其特征在于，所述确定所述目标歌词文本中每个字在所述音素序列中对应的音素，包括：
基于动态规划算法对所述目标歌词文本中每个字对应的音素以及所述音素序列中对应的音素进行匹配，得到所述目标歌词文本中每个字在所述音素序列中对应的音素。
6.根据权利要求1所述的方法，其特征在于，所述确定所述目标歌词文本中每个字在所述音素序列中对应的音素，包括：
将所述音素序列输入到预先设置的语言模型中，得到所述音素序列对应的识别文本；
将所述识别文本中每个字在所述音素序列中对应的音素确定为所述目标歌词文本中每个字在所述音素序列中对应的音素。
7.根据权利要求1所述的方法，其特征在于，所述基于所述目标歌词文本中每个字在所述音素序列中对应的音素，确定所述目标歌词文本中每个字在所述目标干声音频中对应的起始演唱时间点和结束演唱时间点，包括：
确定所述目标歌词文本每个字在所述音素序列中对应的音素在所述目标干声音频中对应的音频帧；
基于所述目标歌词文本每个字在所述目标干声音频中对应的音频帧，确定所述目标歌词文本每个字在所述目标干声音频中对应的起始演唱时间点和结束演唱时间点。
8.一种声学模型的训练方法，其特征在于，所述方法包括：
获取样本歌曲的样本干声音频以及所述样本歌曲对应的样本歌词文本；
确定所述样本歌词文本中每个字对应的音素；
提取所述样本干声音频的音频特征，将所述音频特征以及所述样本歌词文本中每个字对应的音素作为第一训练样本，基于所述第一训练样本对所述声学模型进行单音素训练，得到第一声学模型；
基于所述第一训练样本对所述第一声学模型进行三音素训练，得到第二声学模型；
提取所述样本干声音频中的每个音频帧的音频特征，对于所述样本干声音频中的任一音频帧，将所述任一音频帧对应的音频特征与所述任一音频帧相邻的两个音频帧对应的音频特征进行拼接降维处理，得到每个音频帧对应的拼接降维处理后的音频特征；
将所述每个音频帧对应的拼接降维处理后的音频特征以及所述样本歌词文本中每个字对应的音素作为第二训练样本，基于所述第二训练样本对所述第二声学模型再次进行三音素训练，得到训练完成的声学模型。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1-7任一项所述的确定歌词时间戳信息的方法以及权利要求8所述的声学模型的训练方法所执行的操作。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1-7任一项所述的确定歌词时间戳信息的方法以及权利要求8所述的声学模型的训练方法所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011577400.0A CN112735429B (zh) | 2020-12-28 | 2020-12-28 | 确定歌词时间戳信息的方法和声学模型的训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011577400.0A CN112735429B (zh) | 2020-12-28 | 2020-12-28 | 确定歌词时间戳信息的方法和声学模型的训练方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112735429A CN112735429A (zh) | 2021-04-30 |
| CN112735429B true CN112735429B (zh) | 2023-11-14 |
Family
ID=75606305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011577400.0A Active CN112735429B (zh) | 2020-12-28 | 2020-12-28 | 确定歌词时间戳信息的方法和声学模型的训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112735429B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113393830B (zh) * | 2021-06-11 | 2022-10-11 | 腾讯音乐娱乐科技（深圳）有限公司 | 混合声学模型训练及歌词时间戳生成方法、设备、介质 |
| CN113536029B (zh) * | 2021-08-05 | 2023-09-05 | 广州酷狗计算机科技有限公司 | 一种对齐音频和文本的方法、装置、电子设备及存储介质 |
| CN114446268B (zh) * | 2022-01-28 | 2023-04-28 | 北京百度网讯科技有限公司 | 一种音频数据处理方法、装置、电子设备、介质和程序产品 |
| CN116343726B (zh) * | 2023-05-29 | 2023-08-08 | 成都小唱科技有限公司 | 一种点唱机音频切换方法、装置、计算机设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008134606A (ja) * | 2006-10-24 | 2008-06-12 | Kyoto Univ | 音楽音響信号と歌詞の時間的対応付けを自動で行うシステム及び方法 |
| CN105788589A (zh) * | 2016-05-04 | 2016-07-20 | 腾讯科技（深圳）有限公司 | 一种音频数据的处理方法及装置 |
| CN107452361A (zh) * | 2017-08-08 | 2017-12-08 | 腾讯音乐娱乐（深圳）有限公司 | 歌曲分句方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8005666B2 (en) * | 2006-10-24 | 2011-08-23 | National Institute Of Advanced Industrial Science And Technology | Automatic system for temporal alignment of music audio signal with lyrics |
| JP5046211B2 (ja) * | 2008-02-05 | 2012-10-10 | 独立行政法人産業技術総合研究所 | 音楽音響信号と歌詞の時間的対応付けを自動で行うシステム及び方法 |
-
2020
- 2020-12-28 CN CN202011577400.0A patent/CN112735429B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008134606A (ja) * | 2006-10-24 | 2008-06-12 | Kyoto Univ | 音楽音響信号と歌詞の時間的対応付けを自動で行うシステム及び方法 |
| CN105788589A (zh) * | 2016-05-04 | 2016-07-20 | 腾讯科技（深圳）有限公司 | 一种音频数据的处理方法及装置 |
| CN107452361A (zh) * | 2017-08-08 | 2017-12-08 | 腾讯音乐娱乐（深圳）有限公司 | 歌曲分句方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 理解数字音乐――音乐信息检索技术综述;李伟;李子晋;高永伟;;复旦学报(自然科学版)(03);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112735429A (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110379430B (zh) | 基于语音的动画显示方法、装置、计算机设备及存储介质 | |
| CN112735429B (zh) | 确定歌词时间戳信息的方法和声学模型的训练方法 | |
| CN110322760B (zh) | 语音数据生成方法、装置、终端及存储介质 | |
| CN110556127B (zh) | 语音识别结果的检测方法、装置、设备及介质 | |
| CN108829751B (zh) | 生成歌词、显示歌词的方法、装置、电子设备及存储介质 | |
| CN110933330A (zh) | 视频配音方法、装置、计算机设备及计算机可读存储介质 | |
| CN111524501B (zh) | 语音播放方法、装置、计算机设备及计算机可读存储介质 | |
| CN111564152B (zh) | 语音转换方法、装置、电子设备及存储介质 | |
| CN110992927B (zh) | 音频生成方法、装置、计算机可读存储介质及计算设备 | |
| CN112116904B (zh) | 语音转换方法、装置、设备及存储介质 | |
| CN111105788B (zh) | 敏感词分数检测方法、装置、电子设备及存储介质 | |
| CN111081277B (zh) | 音频测评的方法、装置、设备及存储介质 | |
| CN110867194B (zh) | 音频的评分方法、装置、设备及存储介质 | |
| CN108763441B (zh) | 生成歌词、显示歌词的方法、装置、电子设备及存储介质 | |
| CN112289302B (zh) | 音频数据的合成方法、装置、计算机设备及可读存储介质 | |
| CN111428079B (zh) | 文本内容处理方法、装置、计算机设备及存储介质 | |
| CN112786025B (zh) | 确定歌词时间戳信息的方法和声学模型的训练方法 | |
| CN110337030B (zh) | 视频播放方法、装置、终端和计算机可读存储介质 | |
| CN108763521B (zh) | 存储歌词注音的方法和装置 | |
| CN111125424B (zh) | 提取歌曲核心歌词的方法、装置、设备及存储介质 | |
| CN114360494A (zh) | 韵律标注方法、装置、计算机设备及存储介质 | |
| CN113220590A (zh) | 语音交互应用的自动化测试方法、装置、设备及介质 | |
| CN113724739A (zh) | 检索音频和训练声学模型的方法、终端及存储介质 | |
| CN111028823A (zh) | 音频生成方法、装置、计算机可读存储介质及计算设备 | |
| CN111212323A (zh) | 音视频合成的方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |