CN112185343B - 一种合成歌声音频的方法以及装置 - Google Patents
一种合成歌声音频的方法以及装置 Download PDFInfo
- Publication number
- CN112185343B CN112185343B CN202011013513.8A CN202011013513A CN112185343B CN 112185343 B CN112185343 B CN 112185343B CN 202011013513 A CN202011013513 A CN 202011013513A CN 112185343 B CN112185343 B CN 112185343B
- Authority
- CN
- China
- Prior art keywords
- target
- singing voice
- acoustic parameters
- value text
- acoustic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 43
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 23
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 23
- 230000007704 transition Effects 0.000 claims description 37
- 238000012545 processing Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
- G10L13/047—Architecture of speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
本公开是关于一种合成歌声音频的方法以及装置,属于音频处理领域。所述方法包括:获取预存的平均歌声模型;获取目标歌声数据的目标特征值文本以及目标声学参数;根据所述目标特征值文本以及所述目标声学参数,确定所述目标发音人的特征值文本与声学参数的特征对应表;基于所述目标特征值文本以及所述目标声学参数,对所述平均歌声模型进行训练,得到目标歌声模型;当接收到待合成曲谱时,提取所述待合成曲谱的特征值文本,基于所述待合成曲谱的特征值文本、所述目标歌声模型以及所述特征对应表,得到所述待合成曲谱对应的目标歌声音频。采用本公开,可以提高歌声合成的效率。
Description
技术领域
本公开涉及音频处理领域,尤其涉及一种合成歌声音频的方法以及装置。
背景技术
随着音频技术的发展,歌声合成技术也随着越见成熟。歌声合成的目的是让计算机像人类一样唱歌,是一种计算机与音乐艺术的交叉学科问题。目前,基于合成的质量以及多样性考虑,传统的歌声合成的方式通常是采用样本对歌声合成模型进行训练,歌声合成模型可以是HMM(Hidden Markov Model,隐含马尔柯夫模型)等,使用歌声合成模型前,需要对歌声合成模型进行训练,为了达到歌声合成模型的准确率,需要准备大量的样本对初始模型进行训练,训练的过程计算量巨大,耗时较长,导致训练效率较低,进而使得歌声合成的效率较低。
发明内容
本公开提供一种合成歌声音频的方法以及装置,可以解决歌声合成效率低的问题。
根据本公开实施例的第一方面,提供一种合成歌声音频的方法,包括:
获取预存的平均歌声模型;
获取目标歌声数据的目标特征值文本以及目标声学参数;
根据所述目标特征值文本以及所述目标声学参数,确定所述目标发音人的特征值文本与声学参数的特征对应表;
基于所述目标特征值文本以及所述目标声学参数,对所述平均歌声模型进行训练,得到目标歌声模型;
当接收到待合成曲谱时,提取所述待合成曲谱的特征值文本,基于所述待合成曲谱的特征值文本、所述目标歌声模型以及所述特征对应表,得到所述待合成曲谱对应的目标歌声音频。
可选地,所述获取预存的平均歌声模型,包括:
获取多个样本发音人的样本歌声数据;
提取所述样本歌声数据的样本特征值文本以及样本声学参数;
基于所述样本特征值文本以及所述样本声学参数,对初始歌声模型进行训练,得到平均歌声模型。
可选地,所述根据所述目标特征值文本以及所述目标声学参数,确定所述目标发音人的特征值文本与声学参数的特征对应表,包括:
截取所述目标歌声数据的每个子音以及每个母音对应的声学参数,将每个子音以及每个母音对应的声学参数的对应关系确定为所述目标发音人的特征值文本与声学参数的特征对应表。
可选地,所述基于所述目标特征值文本以及所述目标声学参数,对所述平均歌声模型进行训练,得到目标歌声模型,包括:
将所述目标特征值文本输入所述平均歌声模型,得到输出的预测声学参数;
基于所述预测声学参数与所述目标声学参数的对比,对所述平均歌声模型内的模型参数进行调整,直到所述预测声学参数与所述目标声学参数的误差值小于或等于预设误差值为止,将最后一次调整后的模型参数确定为目标歌声模型的模型参数,得到目标歌声模型。
可选地,所述待合成曲谱的特征值文本包括子音音符对应的特征值文本、母音音符对应的特征值文本以及过渡音符对应的特征值文本,
所述基于所述待合成曲谱的特征值文本、所述目标歌声模型以及所述特征对应表,得到所述待合成曲谱对应的目标歌声音频,包括:
将所述子音音符对应的特征值文本以及过渡音符对应的特征值文本输入所诉目标歌声模型中,得到子音音符对应的声学参数以及过渡音符对应的声学参数;
在所述特征对应表中,将所述母音音符对应的特征值文本对应的声学参数,确定为母音音符对应的声学参数;
将所述子音音符对应的声学参数、过渡音符对应的声学参数以及母音音符对应的声学参数进行混合处理,得到待合成曲谱对应的声学参数;
将所述待合成曲谱对应的声学参数合成为待合成曲谱对应的目标歌声音频。
根据本公开实施例的第二方面,提供一种合成歌声音频的装置,包括:
获取单元,用于获取预存的平均歌声模型;
获取单元,用于获取目标歌声数据的目标特征值文本以及目标声学参数;
确定单元,用于根据所述目标特征值文本以及所述目标声学参数,确定所述目标发音人的特征值文本与声学参数的特征对应表;
训练单元,用于基于所述目标特征值文本以及所述目标声学参数,对所述平均歌声模型进行训练,得到目标歌声模型;
合成单元,用于当接收到待合成曲谱时,提取所述待合成曲谱的特征值文本,基于所述待合成曲谱的特征值文本、所述目标歌声模型以及所述特征对应表,得到所述待合成曲谱对应的目标歌声音频。
可选地,所述获取单元,用于:
获取多个样本发音人的样本歌声数据;
提取所述样本歌声数据的样本特征值文本以及样本声学参数;
基于所述样本特征值文本以及所述样本声学参数,对初始歌声模型进行训练,得到平均歌声模型。
可选地,所述确定单元,用于:
截取所述目标歌声数据的每个子音以及每个母音对应的声学参数,将每个子音以及每个母音对应的声学参数的对应关系确定为所述目标发音人的特征值文本与声学参数的特征对应表。
可选地,所述训练单元,用于:
将所述目标特征值文本输入所述平均歌声模型,得到输出的预测声学参数;
基于所述预测声学参数与所述目标声学参数的对比,对所述平均歌声模型内的模型参数进行调整,直到所述预测声学参数与所述目标声学参数的误差值小于或等于预设误差值为止,将最后一次调整后的模型参数确定为目标歌声模型的模型参数,得到目标歌声模型。
可选地,所述合成单元,用于:
所述待合成曲谱的特征值文本包括子音音符对应的特征值文本、母音音符对应的特征值文本以及过渡音符对应的特征值文本;
将所述子音音符对应的特征值文本以及过渡音符对应的特征值文本输入所诉目标歌声模型中,得到子音音符对应的声学参数以及过渡音符对应的声学参数;
在所述特征对应表中,将所述母音音符对应的特征值文本对应的声学参数,确定为母音音符对应的声学参数;
将所述子音音符对应的声学参数、过渡音符对应的声学参数以及母音音符对应的声学参数进行混合处理,得到待合成曲谱对应的声学参数;
将所述待合成曲谱对应的声学参数合成为待合成曲谱对应的目标歌声音频。
本发明至少存在下述有益效果:
使用样本特征值文本以及样本声学参数训练得到平均歌声模型,在用户输入一段曲谱后,电子设备先将其转化为特征值文本,然后将子音音符对应的特征值文本以及过渡音符对应的特征值文本输入到平均歌声模型中,得到子音音符以及过渡音符对应的声学参数,根据母音音符对应的特征值文本,在目标发音人的特征值文本与声学参数的特征对应表中,获取每个母音音符对应的声学参数。将上述两种声学参数进行混合,得到最终的声学参数。最后将声学参数放入合成器,得到最终歌声音频。根据上述步骤论述的方法训练歌声模型,仅需要采用传统训练方法中样本的10%左右的样本,即可训练得到音质更好、自然度更高、更贴近目标发音人的歌声模型,减少了模型的训练量,提高了模型训练的效率,进而提高了合成歌声音频的效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种合成歌声音频的方法流程图。
图2是根据一示例性实施例示出的一种合成歌声音频的方法流程图。
图3是根据一示例性实施例示出的一种合成歌声音频的方法过程示意图。
图4是根据一示例性实施例示出的一种合成歌声音频的方法过程示意图。
图5是根据一示例性实施例示出的一种合成歌声音频的装置框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种合成歌声音频的方法的流程图,如图1所示,该方法用于电子设备中,该电子设备可以是终端或者服务器,包括以下步骤。
步骤101、获取预存的平均歌声模型;
步骤102、获取目标歌声数据的目标特征值文本以及目标声学参数;
步骤103、根据所述目标特征值文本以及所述目标声学参数,确定所述目标发音人的特征值文本与声学参数的特征对应表;
步骤104、基于所述目标特征值文本以及所述目标声学参数,对所述平均歌声模型进行训练,得到目标歌声模型;
步骤105、当接收到待合成曲谱时,提取所述待合成曲谱的特征值文本,基于所述待合成曲谱的特征值文本、所述目标歌声模型以及所述特征对应表,得到所述待合成曲谱对应的目标歌声音频。
可选地,所述获取预存的平均歌声模型,包括:
获取多个样本发音人的样本歌声数据;
提取所述样本歌声数据的样本特征值文本以及样本声学参数;
基于所述样本特征值文本以及所述样本声学参数,对初始歌声模型进行训练,得到平均歌声模型。
可选地,所述根据所述目标特征值文本以及所述目标声学参数,确定所述目标发音人的特征值文本与声学参数的特征对应表,包括:
截取所述目标歌声数据的每个子音以及每个母音对应的声学参数,将每个子音以及每个母音对应的声学参数的对应关系确定为所述目标发音人的特征值文本与声学参数的特征对应表。
可选地,所述基于所述目标特征值文本以及所述目标声学参数,对所述平均歌声模型进行训练,得到目标歌声模型,包括:
将所述目标特征值文本输入所述平均歌声模型,得到输出的预测声学参数;
基于所述预测声学参数与所述目标声学参数的对比,对所述平均歌声模型内的模型参数进行调整,直到所述预测声学参数与所述目标声学参数的误差值小于或等于预设误差值为止,将最后一次调整后的模型参数确定为目标歌声模型的模型参数,得到目标歌声模型。
可选地,所述待合成曲谱的特征值文本包括子音音符对应的特征值文本、母音音符对应的特征值文本以及过渡音符对应的特征值文本,
所述基于所述待合成曲谱的特征值文本、所述目标歌声模型以及所述特征对应表,得到所述待合成曲谱对应的目标歌声音频,包括:
将所述子音音符对应的特征值文本以及过渡音符对应的特征值文本输入所诉目标歌声模型中,得到子音音符对应的声学参数以及过渡音符对应的声学参数;
在所述特征对应表中,将所述母音音符对应的特征值文本对应的声学参数,确定为母音音符对应的声学参数;
将所述子音音符对应的声学参数、过渡音符对应的声学参数以及母音音符对应的声学参数进行混合处理,得到待合成曲谱对应的声学参数;
将所述待合成曲谱对应的声学参数合成为待合成曲谱对应的目标歌声音频。
本实施例将结合具体的实施方式,对合成歌声音频的方法进行介绍。该方法可以由电子设备实现,该电子设备可以是终端,也可以是服务器。电子设备至少包括合成器。如图2所示的合成歌声音频的方法的流程图,该方法的处理流程可以包括如下的步骤:
步骤201、获取多个样本发音人的样本歌声数据。
需要说明的是,样本发音人的数量不需要太多,通常5-10个即可,每个样本发音人准备多个样本歌声数据,通常每个样本发音人准备80-120个样本歌声数据即可,这样,无需搜集大量的样本发音人的样本歌声数据即可对模型进行训练。样本歌声数据可以是完整的歌曲,也可以是歌曲片段,对此不做限定。
步骤202、提取样本歌声数据的样本特征值文本以及样本声学参数。
其中,样本特征值文本包括但不限于样本歌声数据中每个子音(也可称为声母)的发音内容(也可称为音素)、起始时间、结束时间、音高、音长以及是否为句子的起始,以及每个母音(也可称为韵母)的发音内容(也可称为音素)、起始时间、结束时间、音高、音长以及是否为句子的起始等特征。样本声学参数可以包括但不限于每个子音以及每个母音的频谱、非周期索引以及基频等。提取样本歌声数据的样本特征值文本以及样本声学参数可以采用现有技术中的提取算法,本发明对此不做限定。
样本特征值文本与样本声学参数是一一对应的,每个子音的样本特征值文本对应着该子音的样本声学参数,每个母音的样本特征值文本对应着该母音的样本声学参数。
步骤203、基于样本特征值文本以及样本声学参数,对初始歌声模型进行训练,得到平均歌声模型。
一种可行的实施方式中,初始歌声模型为模型参数均为预设值的模型,该模型可以是目前常用的用于合成歌声的神经网络模型,如HMM(Hidden Markov Model,隐含马尔柯夫模型)、CNN(Convolutional Neural Networks,卷积神经网络)模型等,本发明对此不做限定。需要通过样本训练调整该模型中的模型参数以得到平均歌声模型,训练时,将样本特征值文本输入到初始歌声模型中,初始歌声模型输出预测声学参数,将样本特征值文本对应的样本声学参数与预测声学参数进行对比,计算样本声学参数与预测声学参数之间的误差值,当误差值大于预设误差值时,调整初始歌声模型的参数,使得预测声学参数靠近样本声学参数,当误差值小于或等于预设误差值时,即初始歌声模型收敛时,确定当前模型训练完成,将最后一次调整后得到的模型参数作为平均歌声模型的参数。平均歌声模型根据多个发音人的数据训练得到,仅符合多数发音人基本的发音方式,不能够与目标发音人的发音方式很贴切。
步骤204、获取目标歌声数据的目标特征值文本以及目标声学参数。
一种可行的实施方式中,预先准备目标发音人的歌声数据,通常准备目标发音人的15-30个歌曲即可,准备的歌曲中最好尽可能包含更多音高和音长的目标语言的音素。
步骤205、根据目标特征值文本以及目标声学参数,确定目标发音人的特征值文本与声学参数的特征对应表。
一种可行的实施方式中,截取目标歌声数据的每个子音以及每个母音对应的声学参数,将每个子音以及每个母音对应的声学参数的对应关系确定为目标发音人的特征值文本与声学参数的特征对应表。
步骤206、基于目标特征值文本以及目标声学参数,对平均歌声模型进行训练,得到目标歌声模型。
一种可行的实施方式中,为了在平均歌声模型的基础上,可以得到更接近目标发音人的发音方式,还需要使用目标发音人的目标特征值文本以及目标声学参数对平均歌声模型进行训练,训练的步骤可以包括下述步骤2061-2062:
2061、将目标特征值文本输入平均歌声模型,得到输出的预测声学参数。
2062、基于预测声学参数与目标声学参数的对比,对平均歌声模型内的模型参数进行调整,直到预测声学参数与目标声学参数的误差值小于或等于预设误差值为止,将最后一次调整后的模型参数确定为目标歌声模型的模型参数,得到目标歌声模型。
步骤207、当接收到待合成曲谱时,提取待合成曲谱的特征值文本。
步骤208、基于待合成曲谱的特征值文本、目标歌声模型以及特征对应表,得到待合成曲谱对应的目标歌声音频。
一种可行的实施方式中,该步骤可以包括步骤2081-2084:
步骤2081、将子音音符对应的特征值文本以及过渡音符对应的特征值文本输入所诉目标歌声模型中,得到子音音符对应的声学参数以及过渡音符对应的声学参数。
步骤2082、在特征对应表中,将母音音符对应的特征值文本对应的声学参数,确定为母音音符对应的声学参数。
一种可行的实施方式中,在歌声合成的过程中,每个歌词的发音都有曲谱指定的音高和音长两个属性,所以每个歌词的发音要比语音合成技术中的说话发音更长,对音高的要求更精确,仅靠少量的追加数据,对一些超出平均模型音域或音长范围的发音,很难得到好的合成效果,因此,可以将最终合成的目标歌声音频中的每一个音符,如图3所示,分为5个部分:
①子音起始部分,与前一个母音的过渡发音部分
②子音的发音主体
③子音与母音的过渡发音部分
④母音的发音主体
⑤母音结束部分,与后一个子音的过渡发音部分
其中,①③⑤为过渡发音,可以统称为过渡音符,其特点是发音时长短,但直接决定了歌声的连贯自然度,所以这部分可以采用得到的目标歌声模型进行合成。
④是母音音符(也可称为韵母音符)的发音,是每个歌词的发音主体,一段歌声中的绝大部分时间都是④的发音,所以其合成质量直接决定了最终的歌声合成质量。这里使用目标发音人的相似发音部分进行替换,如图4所示。
②是子音音符(也可称为声母音符)的发音,其时长基本不会出现特别长的情况,这里可以直接采用得到的目标歌声模型进行合成,也可以采用使用目标发音人的相似发音部分进行替换,两种方法均可,本发明选择采用目标歌声模型进行合成的方法进行说明。
步骤2083、将子音音符对应的声学参数、过渡音符对应的声学参数以及母音音符对应的声学参数进行混合处理,得到待合成曲谱对应的声学参数。
一种可行的实施方式中,通过上述步骤得到子音音符对应的声学参数、过渡音符对应的声学参数以及母音音符对应的声学参数后,将子音音符对应的声学参数、过渡音符对应的声学参数以及母音音符对应的声学参数进行混合处理,得到待合成曲谱对应的声学参数。
步骤2084、将待合成曲谱对应的声学参数合成为待合成曲谱对应的目标歌声音频。
一种可行的实施方式中,将待合成曲谱对应的声学参数放入合成器中,即可通过合成器合成待合成曲谱对应的目标歌声音频。
这样,使用样本特征值文本以及样本声学参数训练得到平均歌声模型,在用户输入一段曲谱后,电子设备先将其转化为特征值文本,然后将子音音符对应的特征值文本以及过渡音符对应的特征值文本输入到平均歌声模型中,得到子音音符以及过渡音符对应的声学参数,根据母音音符对应的特征值文本,在目标发音人的特征值文本与声学参数的特征对应表中,获取每个母音音符对应的声学参数。将上述两种声学参数进行混合,得到最终的声学参数。最后将声学参数放入合成器,得到最终歌声音频。根据上述步骤论述的方法训练歌声模型,仅需要采用传统训练方法中样本的10%左右的样本,即可训练得到音质更好、自然度更高、更贴近目标发音人的歌声模型,减少了模型的训练量,提高了模型训练的效率,进而提高了合成歌声音频的效率。
图5是根据一示例性实施例示出的一种合成歌声音频的装置框图。参照图5,该装置包括获取单元510,确定单元520、训练单元530和合成单元540。
获取单元510,用于获取预存的平均歌声模型;
获取单元510,用于获取目标歌声数据的目标特征值文本以及目标声学参数;
确定单元520,用于根据所述目标特征值文本以及所述目标声学参数,确定所述目标发音人的特征值文本与声学参数的特征对应表;
训练单元530,用于基于所述目标特征值文本以及所述目标声学参数,对所述平均歌声模型进行训练,得到目标歌声模型;
合成单元540,用于当接收到待合成曲谱时,提取所述待合成曲谱的特征值文本,基于所述待合成曲谱的特征值文本、所述目标歌声模型以及所述特征对应表,得到所述待合成曲谱对应的目标歌声音频。
可选地,所述获取单元510,用于:
获取多个样本发音人的样本歌声数据;
提取所述样本歌声数据的样本特征值文本以及样本声学参数;
基于所述样本特征值文本以及所述样本声学参数,对初始歌声模型进行训练,得到平均歌声模型。
可选地,所述确定单元520,用于:
截取所述目标歌声数据的每个子音以及每个母音对应的声学参数,将每个子音以及每个母音对应的声学参数的对应关系确定为所述目标发音人的特征值文本与声学参数的特征对应表。
可选地,所述训练单元530,用于:
将所述目标特征值文本输入所述平均歌声模型,得到输出的预测声学参数;
基于所述预测声学参数与所述目标声学参数的对比,对所述平均歌声模型内的模型参数进行调整,直到所述预测声学参数与所述目标声学参数的误差值小于或等于预设误差值为止,将最后一次调整后的模型参数确定为目标歌声模型的模型参数,得到目标歌声模型。
可选地,所述合成单元540,用于:
所述待合成曲谱的特征值文本包括子音音符对应的特征值文本、母音音符对应的特征值文本以及过渡音符对应的特征值文本;
将所述子音音符对应的特征值文本以及过渡音符对应的特征值文本输入所诉目标歌声模型中,得到子音音符对应的声学参数以及过渡音符对应的声学参数;
在所述特征对应表中,将所述母音音符对应的特征值文本对应的声学参数,确定为母音音符对应的声学参数;
将所述子音音符对应的声学参数、过渡音符对应的声学参数以及母音音符对应的声学参数进行混合处理,得到待合成曲谱对应的声学参数;
将所述待合成曲谱对应的声学参数合成为待合成曲谱对应的目标歌声音频。
这样,使用样本特征值文本以及样本声学参数训练得到平均歌声模型,在用户输入一段曲谱后,电子设备先将其转化为特征值文本,然后将子音音符对应的特征值文本以及过渡音符对应的特征值文本输入到平均歌声模型中,得到子音音符以及过渡音符对应的声学参数,根据母音音符对应的特征值文本,在目标发音人的特征值文本与声学参数的特征对应表中,获取每个母音音符对应的声学参数。将上述两种声学参数进行混合,得到最终的声学参数。最后将声学参数放入合成器,得到最终歌声音频。根据上述步骤论述的方法训练歌声模型,仅需要采用传统训练方法中样本的10%左右的样本,即可训练得到音质更好、自然度更高、更贴近目标发音人的歌声模型,减少了模型的训练量,提高了模型训练的效率,进而提高了合成歌声音频的效率。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种合成歌声音频的方法,其特征在于,所述方法包括:
获取预存的平均歌声模型;
获取目标歌声数据的目标特征值文本以及目标声学参数;
根据所述目标特征值文本以及所述目标声学参数,确定所述目标发音人的特征值文本与声学参数的特征对应表;
基于所述目标特征值文本以及所述目标声学参数,对所述平均歌声模型进行训练,得到目标歌声模型;
当接收到待合成曲谱时,提取所述待合成曲谱的特征值文本,基于所述待合成曲谱的特征值文本、所述目标歌声模型以及所述特征对应表,得到所述待合成曲谱对应的目标歌声音频。
2.根据权利要求1所述的合成歌声音频的方法,其特征在于,所述获取预存的平均歌声模型,包括:
获取多个样本发音人的样本歌声数据;
提取所述样本歌声数据的样本特征值文本以及样本声学参数;
基于所述样本特征值文本以及所述样本声学参数,对初始歌声模型进行训练,得到平均歌声模型。
3.根据权利要求1所述的合成歌声音频的方法,其特征在于,所述根据所述目标特征值文本以及所述目标声学参数,确定所述目标发音人的特征值文本与声学参数的特征对应表,包括:
截取所述目标歌声数据的每个子音以及每个母音对应的声学参数,将每个子音以及每个母音对应的声学参数的对应关系确定为所述目标发音人的特征值文本与声学参数的特征对应表。
4.根据权利要求1所述的合成歌声音频的方法,其特征在于,所述基于所述目标特征值文本以及所述目标声学参数,对所述平均歌声模型进行训练,得到目标歌声模型,包括:
将所述目标特征值文本输入所述平均歌声模型,得到输出的预测声学参数;
基于所述预测声学参数与所述目标声学参数的对比,对所述平均歌声模型内的模型参数进行调整,直到所述预测声学参数与所述目标声学参数的误差值小于或等于预设误差值为止,将最后一次调整后的模型参数确定为目标歌声模型的模型参数,得到目标歌声模型。
5.根据权利要求1所述的合成歌声音频的方法,其特征在于,所述待合成曲谱的特征值文本包括子音音符对应的特征值文本、母音音符对应的特征值文本以及过渡音符对应的特征值文本,
所述基于所述待合成曲谱的特征值文本、所述目标歌声模型以及所述特征对应表,得到所述待合成曲谱对应的目标歌声音频,包括:
将所述子音音符对应的特征值文本以及过渡音符对应的特征值文本输入所诉目标歌声模型中,得到子音音符对应的声学参数以及过渡音符对应的声学参数;
在所述特征对应表中,将所述母音音符对应的特征值文本对应的声学参数,确定为母音音符对应的声学参数;
将所述子音音符对应的声学参数、过渡音符对应的声学参数以及母音音符对应的声学参数进行混合处理,得到待合成曲谱对应的声学参数;
将所述待合成曲谱对应的声学参数合成为待合成曲谱对应的目标歌声音频。
6.一种合成歌声音频的装置,其特征在于,包括:
获取单元,用于获取预存的平均歌声模型;
获取单元,用于获取目标歌声数据的目标特征值文本以及目标声学参数;
确定单元,用于根据所述目标特征值文本以及所述目标声学参数,确定所述目标发音人的特征值文本与声学参数的特征对应表;
训练单元,用于基于所述目标特征值文本以及所述目标声学参数,对所述平均歌声模型进行训练,得到目标歌声模型;
合成单元,用于当接收到待合成曲谱时,提取所述待合成曲谱的特征值文本,基于所述待合成曲谱的特征值文本、所述目标歌声模型以及所述特征对应表,得到所述待合成曲谱对应的目标歌声音频。
7.根据权利要求6所述的合成歌声音频的装置,其特征在于,所述获取单元,用于:
获取多个样本发音人的样本歌声数据;
提取所述样本歌声数据的样本特征值文本以及样本声学参数;
基于所述样本特征值文本以及所述样本声学参数,对初始歌声模型进行训练,得到平均歌声模型。
8.根据权利要求6所述的合成歌声音频的装置,其特征在于,所述确定单元,用于:
截取所述目标歌声数据的每个子音以及每个母音对应的声学参数,将每个子音以及每个母音对应的声学参数的对应关系确定为所述目标发音人的特征值文本与声学参数的特征对应表。
9.根据权利要求6所述的合成歌声音频的装置,其特征在于,所述训练单元,用于:
将所述目标特征值文本输入所述平均歌声模型,得到输出的预测声学参数;
基于所述预测声学参数与所述目标声学参数的对比,对所述平均歌声模型内的模型参数进行调整,直到所述预测声学参数与所述目标声学参数的误差值小于或等于预设误差值为止,将最后一次调整后的模型参数确定为目标歌声模型的模型参数,得到目标歌声模型。
10.根据权利要求6所述的合成歌声音频的装置,其特征在于,所述合成单元,用于:
所述待合成曲谱的特征值文本包括子音音符对应的特征值文本、母音音符对应的特征值文本以及过渡音符对应的特征值文本;
将所述子音音符对应的特征值文本以及过渡音符对应的特征值文本输入所诉目标歌声模型中,得到子音音符对应的声学参数以及过渡音符对应的声学参数;
在所述特征对应表中,将所述母音音符对应的特征值文本对应的声学参数,确定为母音音符对应的声学参数;
将所述子音音符对应的声学参数、过渡音符对应的声学参数以及母音音符对应的声学参数进行混合处理,得到待合成曲谱对应的声学参数;
将所述待合成曲谱对应的声学参数合成为待合成曲谱对应的目标歌声音频。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011013513.8A CN112185343B (zh) | 2020-09-24 | 2020-09-24 | 一种合成歌声音频的方法以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011013513.8A CN112185343B (zh) | 2020-09-24 | 2020-09-24 | 一种合成歌声音频的方法以及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112185343A CN112185343A (zh) | 2021-01-05 |
CN112185343B true CN112185343B (zh) | 2022-07-22 |
Family
ID=73956925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011013513.8A Active CN112185343B (zh) | 2020-09-24 | 2020-09-24 | 一种合成歌声音频的方法以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112185343B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113257222B (zh) * | 2021-04-13 | 2024-06-11 | 腾讯音乐娱乐科技(深圳)有限公司 | 合成歌曲音频的方法、终端及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101308652A (zh) * | 2008-07-17 | 2008-11-19 | 安徽科大讯飞信息科技股份有限公司 | 一种个性化歌唱语音的合成方法 |
WO2018200267A1 (en) * | 2017-04-26 | 2018-11-01 | Microsoft Technology Licensing, Llc | Automatic song generation |
CN110364140A (zh) * | 2019-06-11 | 2019-10-22 | 平安科技(深圳)有限公司 | 歌声合成模型的训练方法、装置、计算机设备以及存储介质 |
CN110738980A (zh) * | 2019-09-16 | 2020-01-31 | 平安科技(深圳)有限公司 | 歌声合成模型的训练方法、系统及歌声合成方法 |
CN111354332A (zh) * | 2018-12-05 | 2020-06-30 | 北京嘀嘀无限科技发展有限公司 | 一种歌声合成方法及装置 |
CN112669815A (zh) * | 2020-12-17 | 2021-04-16 | 广州华多网络科技有限公司 | 歌曲定制生成方法及其相应的装置、设备、介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7977562B2 (en) * | 2008-06-20 | 2011-07-12 | Microsoft Corporation | Synthesized singing voice waveform generator |
-
2020
- 2020-09-24 CN CN202011013513.8A patent/CN112185343B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101308652A (zh) * | 2008-07-17 | 2008-11-19 | 安徽科大讯飞信息科技股份有限公司 | 一种个性化歌唱语音的合成方法 |
WO2018200267A1 (en) * | 2017-04-26 | 2018-11-01 | Microsoft Technology Licensing, Llc | Automatic song generation |
CN111354332A (zh) * | 2018-12-05 | 2020-06-30 | 北京嘀嘀无限科技发展有限公司 | 一种歌声合成方法及装置 |
CN110364140A (zh) * | 2019-06-11 | 2019-10-22 | 平安科技(深圳)有限公司 | 歌声合成模型的训练方法、装置、计算机设备以及存储介质 |
CN110738980A (zh) * | 2019-09-16 | 2020-01-31 | 平安科技(深圳)有限公司 | 歌声合成模型的训练方法、系统及歌声合成方法 |
CN112669815A (zh) * | 2020-12-17 | 2021-04-16 | 广州华多网络科技有限公司 | 歌曲定制生成方法及其相应的装置、设备、介质 |
Non-Patent Citations (4)
Title |
---|
"Singing voice synthesis based on deep neural network";Nishimura M;《INTERSPEECH 2016》;20160912;全文 * |
"基于Transinger前端模型的端到端歌声合成方法";刘旭东;《中国优秀硕士学位论文全文数据库(哲学与人文科学辑)》;20210215;全文 * |
"基于统计模型的汉语歌声合成研究";李贤;《中国博士学位论文全文数据库(信息科技辑)》;20160315;全文 * |
"歌声合成技术与应用探究";杨心祎;《中国优秀硕士学位论文全文数据库(哲学与人文科学辑)》;20160515;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112185343A (zh) | 2021-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10789290B2 (en) | Audio data processing method and apparatus, and computer storage medium | |
CN104272382B (zh) | 基于模板的个性化歌唱合成的方法和系统 | |
CN109767778B (zh) | 一种融合Bi-LSTM和WaveNet的语音转换方法 | |
Nakano et al. | VocaListener: A singing-to-singing synthesis system based on iterative parameter estimation | |
US20090234652A1 (en) | Voice synthesis device | |
CN1815552B (zh) | 基于线谱频率及其阶间差分参数的频谱建模与语音增强方法 | |
CN108053814B (zh) | 一种模拟用户歌声的语音合成系统及方法 | |
CN101894552A (zh) | 基于语谱切分的唱歌评测系统 | |
CN116018638A (zh) | 使用话音转换和语音识别模型的合成数据增强 | |
Liu et al. | Non-parallel voice conversion with autoregressive conversion model and duration adjustment | |
JP2019008120A (ja) | 声質変換システム、声質変換方法、及び声質変換プログラム | |
CN112185343B (zh) | 一种合成歌声音频的方法以及装置 | |
Lu et al. | Automatic stress exaggeration by prosody modification to assist language learners perceive sentence stress | |
Aso et al. | Speakbysinging: Converting singing voices to speaking voices while retaining voice timbre | |
Castelli | Generation of F0 contours for Vietnamese speech synthesis | |
JP4684770B2 (ja) | 韻律生成装置及び音声合成装置 | |
CN113724684A (zh) | 一种空中交通管制指令的语音合成方法及系统 | |
Li et al. | A lyrics to singing voice synthesis system with variable timbre | |
CN112750420B (zh) | 一种歌声合成方法、装置及设备 | |
JP4387822B2 (ja) | 韻律正規化システム | |
CN112992118B (zh) | 一种少语料的语音模型训练及合成方法 | |
JP6191094B2 (ja) | 音声素片切出装置 | |
CN117854478B (zh) | 基于可控文本的语音合成方法、装置和系统 | |
CN115273776B (zh) | 端到端歌声合成方法、计算机设备及存储介质 | |
Naziraliev et al. | ANALYSIS OF SPEECH SIGNALS FOR AUTOMATIC RECOGNITION |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |