CN104766602A - 歌唱合成系统中基频合成参数生成方法及系统 - Google Patents

歌唱合成系统中基频合成参数生成方法及系统 Download PDF

Info

Publication number
CN104766602A
CN104766602A CN201410005732.XA CN201410005732A CN104766602A CN 104766602 A CN104766602 A CN 104766602A CN 201410005732 A CN201410005732 A CN 201410005732A CN 104766602 A CN104766602 A CN 104766602A
Authority
CN
China
Prior art keywords
fundamental frequency
parameters
frequency synthetic
synthesis unit
basic synthesis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410005732.XA
Other languages
English (en)
Other versions
CN104766602B (zh
Inventor
孙见青
王影
江源
凌震华
胡国平
胡郁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN201410005732.XA priority Critical patent/CN104766602B/zh
Publication of CN104766602A publication Critical patent/CN104766602A/zh
Application granted granted Critical
Publication of CN104766602B publication Critical patent/CN104766602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Electrophonic Musical Instruments (AREA)

Abstract

本发明公开了一种歌唱合成系统中基频合成参数生成方法及系统,该方法包括:获取待合成简谱;确定所述简谱的各基本合成单元;根据简谱标注获取各基本合成单元的基频合成参数,并将其作为第一融合参数;根据简谱标注确定对应所述各基本合成单元的基频合成模型,得到基频合成模型序列;利用所述第一融合参数和所述基频合成模型序列进行融合优化,获得所述基本合成单元的基频合成参数。利用本发明,可以使合成语音在保留较高相似度和表现力的前提下,避免有明显的走调现象。

Description

歌唱合成系统中基频合成参数生成方法及系统
技术领域
本发明涉及语音合成技术领域,具体涉及一种歌唱合成系统中基频合成参数生成方法及系统。
背景技术
近年来,歌唱合成系统得到了广泛的研究和应用,其中基于隐马尔可夫模型(Hidden Markov Model,HMM)的参数合成系统以及基于波形拼接合成系统达到了实用标准。相比于基于波形拼接合成系统,基于HMM的参数合成方法对训练数据量要求较少且系统规模较小,因而具有较好的实用价值。
基于参数合成的歌唱合成系统首先分别确定各基本合成单元(如音节,音素等)的时长参数序列、基频参数序列以及频谱参数序列,随后再根据合成参数序列利用参数合成器得到连续歌唱信号。时长参数、基频参数以及频谱参数的准确性都将直接影响到歌唱合成效果。而对于歌唱语音,反映了韵律特征和情感表现的基频合成参数对最终合成效果有非常大的影响,显然如何改善歌唱合成中基频合成参数的生成是歌唱合成系统中很重要的一个问题。
传统歌唱合成系统中基频参数的生成主要采用以下两种方式:
(1)基于简谱标注的基频参数生成
具体地,系统根据简谱音高标注确定各基本合成单元对应的标准音高,并根据音高基频转换公式直接生成基频参数。
(2)基于基频合成模型的参数生成
具体地,系统预先录制大量歌唱语音训练数据并根据对应歌词标注信息(也包括简谱中的音高和时值等信息)训练得到各基本合成单元的基频合成模型,随后在接收到歌唱合成请求时,系统首先根据简谱的歌词文本信息获取各基本语音单元对应的基频模型,进而生成相应的基频参数。
基于简谱标注的基频参数生成方法,由于简谱的标注音高并不一定满足发音人的实际基频分布特性,从而导致根据标准音高获取的基频参数与发音人本身的发音特性不一致,最后合成语音不能反映发音人的特性,相似度很低、且合成语音略显呆板。而基于基频合成模型的参数生成通过对真实数据的统计模拟得到符合发音人音色特点的基频模型,然而由于建模本身带来的损失、以及基频模型选择的不完全准确性,该方法很难保证最终合成效果的稳定性,有可能会出现明显的走调现象。
发明内容
本发明提供一种歌唱合成系统中基频合成参数生成方法及系统,以使合成语音在保留较高相似度和表现力的前提下,避免有明显的走调现象。
为此,本发明提供如下技术方案:
一种歌唱合成系统中基频合成参数生成方法,包括:
获取待合成简谱;
确定所述简谱的各基本合成单元;
根据简谱标注获取各基本合成单元的基频合成参数,并将其作为第一融合参数;
根据简谱标注确定对应所述各基本合成单元的基频合成模型,得到基频合成模型序列;
利用所述第一融合参数和所述基频合成模型序列进行融合优化,获得所述基本合成单元的基频合成参数。
优选地,所述根据简谱标注获取各基本合成单元的基频合成参数包括:
利用简谱标注中的基调及音高信息,计算各基本合成单元的基频合成参数。
优选地,所述方法还包括:
基于最小误差原则对根据简谱标注获取的各基本合成单元的基频合成参数进行优化。
优选地,所述根据简谱标注确定对应所述各基本合成单元的基频合成模型,得到基频合成模型序列包括:
根据所述简谱标注获取各基本合成单元的上下文属性;
根据所述上下文属性在预先训练得到的各基本合成单元的基频合成模型决策树中分别确定对应所述基本合成单元的基频合成模型;
拼接所述各基本合成单元的基频合成模型得到基频合成模型序列。
优选地,所述利用所述第一融合参数和所述基频合成模型序列进行融合优化,获得所述基本合成单元的基频合成参数包括:
获取所述基频合成模型序列的似然度总和函数;
使所述似然度总和最大化,得到各基本合成单元的基频合成参数,并将其作为第二融合参数;
对所述基本合成单元的第一融合参数和第二融合参数进行加权平均,获得所述基本合成单元的基频合成参数。
优选地,所述利用所述第一融合参数和所述基频合成模型序列进行融合优化,获得所述基本合成单元的基频合成参数包括:
获取所述基频合成模型序列的似然度总和函数;
根据所述第一融合参数确定约束条件;
使所述似然度总和在所述约束条件下最大化,得到各基本合成单元的基频合成参数。
一种歌唱合成系统中基频合成参数生成系统,包括:
简谱获取模块,用于获取待合成简谱;
确定模块,用于确定所述简谱的各基本合成单元;
第一融合参数获取模块,用于根据简谱标注获取各基本合成单元的基频合成参数,并将其作为第一融合参数;
模型序列确定模块,用于根据简谱标注确定对应所述各基本合成单元的基频合成模型,得到基频合成模型序列;
融合模块,用于利用所述第一融合参数和所述基频合成模型序列进行融合优化,获得所述基本合成单元的基频合成参数。
优选地,所述第一融合参数获取模块,具体用于利用简谱标注中的基调及音高信息,计算各基本合成单元的基频合成参数。
优选地,所述系统还包括:
优化模块,用于基于最小误差原则对根据简谱标注获取的各基本合成单元的基频合成参数进行优化。
优选地,所述模型序列确定模块包括:
上下文属性获取单元,用于根据所述简谱标注获取各基本合成单元的上下文属性;
基频合成模型获取单元,用于根据所述上下文属性在预先训练得到的各基本合成单元的基频合成模型决策树中分别确定对应所述基本合成单元的基频合成模型;
模型序列确定单元,用于拼接所述各基本合成单元的基频合成模型得到基频合成模型序列。
优选地,所述融合模块包括:
计算单元,用于获取所述基频合成模型序列的似然度总和函数;
第二融合参数获取单元,用于使所述似然度总和最大化,得到各基本合成单元的基频合成参数,并将其作为第二融合参数;
加权单元,用于对所述基本合成单元的第一融合参数和第二融合参数进行加权平均,获得所述基本合成单元的基频合成参数。
优选地,所述融合模块包括:
计算单元,用于获取所述基频合成模型序列的似然度总和函数;
约束条件确定单元,用于根据所述第一融合参数确定约束条件;
优化单元,用于使所述似然度总和在所述约束条件下最大化,得到各基本合成单元的基频合成参数。
本发明实施例提供的歌唱合成系统中基频合成参数生成方法及系统与现有技术相比的优点在于:现有技术是直接使用从简谱中得到的基频、或直接根据模型生成基频,对于使用从简谱中得到的基频,对任何发音人均使用这个基频参数,对于很多音色有特性的用户,其基频的分布对其音色有很重要的影响,比如在一个词的末尾基频有明显下降,如果完全使用简谱中描述的基频、或对其范围进行调整后再使用,则合成语音与目标发音人的音色相似度将大大降低,但如果直接使用合成模型生成的基频,则会由于生成基频不准确而导致出现较明显的走调现象。而利用本发明实施例的方法及系统,可以使合成语音在保留较高相似度和表现力的前提下,不会有明显的走调现象,在相似度、表现力和合成效果之间做出了很好的折中,从而可以使合成语音在保留较高相似度和表现力的前提下,避免有明显的走调现象。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1是本发明实施例歌唱合成系统中基频合成参数生成方法的流程图;
图2是本发明实施例中合成单元的各状态对应的合成参数模型示意图;
图3是本发明实施例歌唱合成系统中基频合成参数生成系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例的方案,下面结合附图和实施方式对本发明实施例作进一步的详细说明。
语音基频的分布对音色有很重要的影响,比如在一个词的末尾基频有明显下降,如果完全使用简谱中描述的基频、或对其范围进行调整后再使用,则合成语音与目标发音人的音色相似度将大大降低,但如果直接使用合成模型生成的基频,则会由于生成基频不准确而导致出现较明显的走调现象。
为此,本发明实施例提供一种歌唱合成系统中基频合成参数生成方法及系统,预先采集歌唱数据训练得到歌唱合成的基频合成参数模型。在对待合成简谱合成时,首先根据基频合成参数模型生成基频合成参数参考值,然后根据简谱中描述的音高获得基频合成参数理论值,最后结合基频合成参数参考值和理论值对基频参数进行优化。从而可以使合成语音在保留较高相似度和表现力的前提下,不会有明显的走调现象。
如图1所示,是本发明实施例歌唱合成系统中基频合成参数生成方法的流程图,包括以下步骤:
步骤101,获取待合成简谱。
步骤102,确定所述简谱的各基本合成单元。
具体地,可以对待合成简谱进行信息分析,得到音素序列、以及所述音素序列对应的韵律词和韵律短语等信息,将所述音素序列中的各音素作为基本合成单元。
步骤103,根据简谱标注获取各基本合成单元的基频合成参数,并将其作为第一融合参数。
具体地,可以利用简谱标注中的基调及音高信息,计算各基本合成单元的基频合成参数,计算公式如下:
F0_rule=440*2(p-69)/12    ①
其中,F0_rule为目标基频值,440表示中央C上A音符发出的频率(单位为HZ),p为当前简谱中描述的音高与中央C上A音符的距离,单位为半音(在钢琴上相邻的两个键所拥有的音程)。
进一步地,考虑到由于不同人的音域存在差异,不同人在演唱同样的歌曲时,基调的选择可能并不一致,而上面计算得到的基频合成参数F0_rule是直接根据简谱计算得到的,与原演唱者的基频范围可能不一致,会使得合成出来的声音听起来奇怪、影响听感。为此,在本发明实施例中,还可以基于最小误差原则对根据简谱标注获取的各基本合成单元的基频合成参数F0_rule进行优化。
一种具体的优化过程如下:
遍历-15~+15(单位为半音)基调,结合之前生成的F0_rule,得到新的基频F0_newbt
F0_newbt=F0_rule*2bt/12    ②
其中,bt的范围为-15~+15。
计算不同bt值下F0_newbt与生成基频F0_gen的误差:
RMSE bt = Σ i = 1 N ( F 0 _ new bt , i - F 0 _ gen i )
其中,N表示语音总帧数。
选择具有最小误差的F0_newbt作为优化目标基频,记为F0_tmp。
步骤104,根据简谱标注确定对应所述各基本合成单元的基频合成模型,得到基频合成模型序列。
所述基频合成模型可以预先采用传统的合成参数模型训练方法,具体地,预先录制大量歌唱语音训练数据并根据对应歌词标注信息(也包括简谱中的音高和时值等信息)训练得到各基本合成单元的基频合成模型及对应的决策树,其具体实现如下:
(1)采集训练数据,获取歌唱风格语音,并进行相应标注。
所述标注信息包括音素序列、音段切分、韵律词、韵律短语、以及音乐相关音高和时值信息等。
(2)提取所述语音对应的基频参数。
(3)训练基频合成模型,即使用歌唱风格语音对应的基频参数和相应的标注信息训练歌唱风格基频合成模型,以及相应的决策树。
模型训练时采用二叉树节点分裂的方式获取二叉决策树。
具体地,首先设置仅包含根节点的二叉决策树并设置根节点为新的考察节点。随后依次挑选预设问题集中所有问题对当前考察节点的数据进行分裂尝试,并选择具有最大样本分裂度的问题为优选问题。接着根据分裂后样本聚集度和/或分裂后子节点中样本数据规模判断是否分裂。若分裂后样本聚集度下降幅度小于设定的阈值或子节点中样本数据量小于设定的门限,则设置当前考察节点为叶节点不再分裂;否则按照最优问题对其分裂,并获取子节点和对应的样本数据。所述样本聚集度即样本分散程度。一般来说分散度越大则说明该节点分裂的可能性越大,否则分裂的可能性越小。在本发明实施例中,可以考虑采用样本方差来衡量节点聚集度,即计算节点包含的所有样本数据距离该类中心的距离(或距离平方)的平均值。
通过上述方法获得二叉决策树,并确定各叶节点对应的训练数据。
然后利用各叶节点的训练数据,即所述基频参数训练得到各叶节点所对应的基频合成模型。
在采用基于HMM模型的参数合成模型时,可以对HMM模型的各状态分别建模,图2展示了合成单元的各状态(2,3,4,5,6状态)分别对应的合成参数模型。
根据简谱标注确定所述各基本合成单元的基频合成模型,得到基频合成模型序列的具体过程如下:
(1)根据简谱标注获取各基本合成单元的上下文属性,所述上下文属性可以是音素序列、韵律词、韵律短语、以及音乐相关音高和时值信息等。
(2)根据所述上下文属性在预先训练得到的各基本合成单元的基频合成模型决策树中分别确定对应所述基本合成单元的基频合成模型。
具体可以根据所述二叉决策树从根节点开始根据所述上下文属性逐层向下推论至叶子节点,获取叶子节点对应的基频合成模型。
(3)按照先后顺序拼接各基本合成单元的基频合成模型得到基频合成模型序列。
步骤105,利用所述第一融合参数和所述基频合成模型序列进行融合优化,获得所述基本合成单元的基频合成参数。
在实际应用中,可以有多种不同的融合优化方式,下面举例进行详细说明。
第一种融合优化方式:
在该融合优化方式中,首先利用所述基频合成模型序列得到基于基频合成模型的各基本合成单元的基频合成参数,并将其作为第二融合参数,然后对各基本合成单元的第一融合参数和第二融合参数进行加权平均,获得所述基本合成单元的基频合成参数。具体过程如下:
(1)获取所述基频合成模型序列的似然度总和函数。
基频合成模型序列的似然度总和的计算如下:
log P ( WC | Q , λ ) = - 1 2 C T W T U - 1 WC + C T W T U - 1 M + const
其中,M和U分别为基频合成模型的均值和协方差矩阵,C为基频合成参数,W为计算动态参数的窗函数矩阵。Q表示基频参数模型中的状态分配,λ表示基频合成模型。
(2)使似然度总和最大化,得到各基本合成单元的基频合成参数。
对应各基本合成单元的基频合成参数为:
C=(WTU-1W)-1WTU-1M    ⑤
(3)对所述基本合成单元的第一融合参数和第二融合参数进行加权平均,获得所述基本合成单元的基频合成参数。
对于很多音色有特性的用户,其基频的分布对其音色有很重要的影响,比如在一个词的末尾基频有明显下降,如果完全使用简谱中描述的基频,或对其范围进行调整后再使用,则合成语音略显呆板、并且与目标发音人的音色相似度将大大降低,但如果直接使用合成模型生成的基频,则会存在明显的走调现象。
为此,本发明实施例将简谱中描述的基频与目标发音人歌唱风格合成模型生成的基频进行融合,兼容两者优势。
基本合成单元的基频合成参数为:
F0_usei=w*F0_tmpi+(1-w)*F0_geni    ⑥
其中,w为叠加权重,F0_tmpi和F0_geni分别是对应基本合成单元i的第一融合参数和第二融合参数。
在实际应用中,w可以取(0,1)之间的正数,具体数值可由系统预先在调试集上训练得到,比如,可以设置w=0.7。
第二种融合优化方式:
在该融合优化方式中,直接利用上述第一融合参数对所述基频合成模型序列进行融合优化,得到各基本合成单元的基频合成参数。具体过程如下:
(1)获取基频合成模型序列的似然度总和函数。
具体计算公式可参照上述公式④,在此不再详细描述。
(2)根据第一融合参数确定约束条件,具体如下所示:
min{(C-Y)T(C-Y)ug -1}=min{CTCug -1+CTYug -1+YTCug -1+const}⑦
其中,Y为上面所述的第一融合参数F0_tmp,ug为自然基频参数的全局方差。
该约束条件反映了生成的基频参数C和根据简谱标注获取的各基本合成单元的基频合成参数F0_tmp之间的差异,是生成的基频参数C的函数。
(3)使所述似然度总和在所述约束条件下最大化,得到各基本合成单元的基频合成参数。
具体地,可以设定目标函数为频谱模型似然度总和与所述约束条件的加权和,如下所示:
arg max log P(WC|Q,λ)-α(C-Y)T(C-Y)ug -1    ⑧
计算目标函数的函数值,并对参数C进行优化,使目标函数最大化,从而得到基本合成单元的基频合成参数C如下:
C=(WTU-1W+2αIug -1)-1(WTU-1M+2αYug -1)    ⑨
其中,α是预设的阈值矢量,用于调整优化的基频参数的倾向度。一般来说,α的值越大,则优化的基频参数特征越接近于根据简谱标注获取的基频合成参数。在具体应用中,可以选择权重α为[10,100]间的数值。
通过该加权目标函数的优化生成的基频合成参数具有如下特征:在整体分布上满足简谱标注,而在细节上又符合发音人的发音特性,在保证合成效果的前提下,具有较强的表现力。
本发明实施例提供的歌唱合成系统中基频合成参数生成方法,可以使合成语音在保留较高相似度和表现力的前提下,不会有明显的走调现象,在相似度、表现力和合成效果之间做出了很好的折中,从而可以使合成语音在保留较高相似度和表现力的前提下,避免有明显的走调现象。
所述基频合成参数优化方案可以同等地适用于频谱、时长等其他歌唱合成参数。
相应地,本发明实施例还提供一种歌唱合成系统中基频合成参数生成系统,如图3所示,是该系统的一种结构示意图。
在该实施例中,所述系统包括:
简谱获取模块301,用于获取待合成简谱。
确定模块302,用于确定所述简谱的各基本合成单元。具体地,可以对待合成简谱进行信息分析,得到音素序列、以及所述音素序列对应的韵律词和韵律短语等信息,将所述音素序列中的各音素作为基本合成单元。
第一融合参数获取模块303,用于根据简谱标注获取各基本合成单元的基频合成参数,并将其作为第一融合参数。
模型序列确定模块304,用于根据简谱标注确定对应所述各基本合成单元的基频合成模型,得到基频合成模型序列。
融合模块305,用于利用所述第一融合参数和所述基频合成模型序列进行融合优化,获得所述基本合成单元的基频合成参数。
上述第一融合参数获取模块303具体可以利用简谱标注中的基调及音高信息,计算各基本合成单元的基频合成参数,具体计算公式可参照前面公式①。
进一步地,考虑到由于不同人的音域存在差异,不同人在演唱同样的歌曲时,基调的选择可能并不一致,而上面公式①计算得到的基频合成参数F0_rule是直接根据简谱计算得到的,与原演唱者的基频范围可能不一致,会使得合成出来的声音听起来奇怪、影响听感。为此,在本发明实施例的系统中,还可以进一步设置优化模块(未图示),用于基于最小误差原则对根据简谱标注获取的各基本合成单元的基频合成参数F0_rule进行优化,具体优化过程参照前面本发明实施例的方法中的描述,在此不再赘述。
上述基频合成模型可以预先采用传统的合成参数模型训练方法,具体地,预先录制大量歌唱语音训练数据并根据对应歌词标注信息(也包括简谱中的音高和时值等信息)训练得到各基本合成单元的基频合成模型。
相应地,所述模型序列确定模块304的一种实现方式可以包括:
上下文属性获取单元,用于根据所述简谱标注获取各基本合成单元的上下文属性;
基频合成模型获取单元,用于根据所述上下文属性在预先训练得到的各基本合成单元的基频合成模型决策树中分别确定对应所述基本合成单元的基频合成模型;
模型序列确定单元,用于拼接所述各基本合成单元的基频合成模型得到基频合成模型序列。
其中,所述上下文属性获取单元具体可以根据各基本合成单元的音高和时值,确定所述基本合成单元的上下文属性。
在实际应用中,融合模块305可以采用多种不同的融合优化方式获得所述基本合成单元的基频合成参数。
比如,在融合模块305的一种具体实现方式中,可以首先利用所述基频合成模型序列得到基于基频合成模型的各基本合成单元的基频合成参数,并将其作为第二融合参数,然后对各基本合成单元的第一融合参数和第二融合参数进行加权平均,获得所述基本合成单元的基频合成参数。相应地,融合模块305的一种具体实现结构包括:
计算单元,用于获取所述基频合成模型序列的似然度总和函数;
第二融合参数获取单元,用于使所述似然度总和最大化,得到各基本合成单元的基频合成参数,并将其作为第二融合参数;
加权单元,用于对所述基本合成单元的第一融合参数和第二融合参数进行加权平均,获得所述基本合成单元的基频合成参数。
再比如,在融合模块305的另一种具体实现方式中,可以直接利用上述第一融合参数对所述基频合成模型序列进行融合优化,得到各基本合成单元的基频合成参数。相应地,融合模块305的另一种具体实现结构包括:
计算单元,用于获取所述基频合成模型序列的似然度总和函数;
约束条件确定单元,用于根据所述第一融合参数确定约束条件;
优化单元,用于使所述似然度总和在所述约束条件下最大化,得到各基本合成单元的基频合成参数。
上述各单元的具体计算过程可参照前面本发明方法实施例中的相关描述,在此不再赘述。
本发明实施例提供的歌唱合成系统中基频合成参数生成系统,可以使合成语音在保留较高相似度和表现力的前提下,不会有明显的走调现象,在相似度、表现力和合成效果之间做出了很好的折中,从而可以使合成语音在保留较高相似度和表现力的前提下,避免有明显的走调现象。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上对本发明实施例进行了详细介绍,本文中应用了具体实施方式对本发明进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及设备;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种歌唱合成系统中基频合成参数生成方法,其特征在于,包括:
获取待合成简谱;
确定所述简谱的各基本合成单元;
根据简谱标注获取各基本合成单元的基频合成参数,并将其作为第一融合参数;
根据简谱标注确定对应所述各基本合成单元的基频合成模型,得到基频合成模型序列;
利用所述第一融合参数和所述基频合成模型序列进行融合优化,获得所述基本合成单元的基频合成参数。
2.根据权利要求1所述的方法,其特征在于,所述根据简谱标注获取各基本合成单元的基频合成参数包括:
利用简谱标注中的基调及音高信息,计算各基本合成单元的基频合成参数。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
基于最小误差原则对根据简谱标注获取的各基本合成单元的基频合成参数进行优化。
4.根据权利要求1所述的方法,其特征在于,所述根据简谱标注确定对应所述各基本合成单元的基频合成模型,得到基频合成模型序列包括:
根据所述简谱标注获取各基本合成单元的上下文属性;
根据所述上下文属性在预先训练得到的各基本合成单元的基频合成模型决策树中分别确定对应所述基本合成单元的基频合成模型;
拼接所述各基本合成单元的基频合成模型得到基频合成模型序列。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述利用所述第一融合参数和所述基频合成模型序列进行融合优化,获得所述基本合成单元的基频合成参数包括:
获取所述基频合成模型序列的似然度总和函数;
使所述似然度总和最大化,得到各基本合成单元的基频合成参数,并将其作为第二融合参数;
对所述基本合成单元的第一融合参数和第二融合参数进行加权平均,获得所述基本合成单元的基频合成参数。
6.根据权利要求1至4任一项所述的方法,其特征在于,所述利用所述第一融合参数和所述基频合成模型序列进行融合优化,获得所述基本合成单元的基频合成参数包括:
获取所述基频合成模型序列的似然度总和函数;
根据所述第一融合参数确定约束条件;
使所述似然度总和在所述约束条件下最大化,得到各基本合成单元的基频合成参数。
7.一种歌唱合成系统中基频合成参数生成系统,其特征在于,包括:
简谱获取模块,用于获取待合成简谱;
确定模块,用于确定所述简谱的各基本合成单元;
第一融合参数获取模块,用于根据简谱标注获取各基本合成单元的基频合成参数,并将其作为第一融合参数;
模型序列确定模块,用于根据简谱标注确定对应所述各基本合成单元的基频合成模型,得到基频合成模型序列;
融合模块,用于利用所述第一融合参数和所述基频合成模型序列进行融合优化,获得所述基本合成单元的基频合成参数。
8.根据权利要求7所述的系统,其特征在于,
所述第一融合参数获取模块,具体用于利用简谱标注中的基调及音高信息,计算各基本合成单元的基频合成参数。
9.根据权利要求8所述的系统,其特征在于,所述系统还包括:
优化模块,用于基于最小误差原则对根据简谱标注获取的各基本合成单元的基频合成参数进行优化。
10.根据权利要求7所述的系统,其特征在于,所述模型序列确定模块包括:
上下文属性获取单元,用于根据所述简谱标注获取各基本合成单元的上下文属性;
基频合成模型获取单元,用于根据所述上下文属性在预先训练得到的各基本合成单元的基频合成模型决策树中分别确定对应所述基本合成单元的基频合成模型;
模型序列确定单元,用于拼接所述各基本合成单元的基频合成模型得到基频合成模型序列。
11.根据权利要求7至10任一项所述的系统,其特征在于,所述融合模块包括:
计算单元,用于获取所述基频合成模型序列的似然度总和函数;
第二融合参数获取单元,用于使所述似然度总和最大化,得到各基本合成单元的基频合成参数,并将其作为第二融合参数;
加权单元,用于对所述基本合成单元的第一融合参数和第二融合参数进行加权平均,获得所述基本合成单元的基频合成参数。
12.根据权利要求7至10任一项所述的系统,其特征在于,所述融合模块包括:
计算单元,用于获取所述基频合成模型序列的似然度总和函数;
约束条件确定单元,用于根据所述第一融合参数确定约束条件;
优化单元,用于使所述似然度总和在所述约束条件下最大化,得到各基本合成单元的基频合成参数。
CN201410005732.XA 2014-01-06 2014-01-06 歌唱合成系统中基频合成参数生成方法及系统 Active CN104766602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410005732.XA CN104766602B (zh) 2014-01-06 2014-01-06 歌唱合成系统中基频合成参数生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410005732.XA CN104766602B (zh) 2014-01-06 2014-01-06 歌唱合成系统中基频合成参数生成方法及系统

Publications (2)

Publication Number Publication Date
CN104766602A true CN104766602A (zh) 2015-07-08
CN104766602B CN104766602B (zh) 2019-01-18

Family

ID=53648386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410005732.XA Active CN104766602B (zh) 2014-01-06 2014-01-06 歌唱合成系统中基频合成参数生成方法及系统

Country Status (1)

Country Link
CN (1) CN104766602B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112542155A (zh) * 2020-11-27 2021-03-23 北京百度网讯科技有限公司 歌曲合成方法及模型训练方法、装置、设备与存储介质
CN112802446A (zh) * 2019-11-14 2021-05-14 腾讯科技(深圳)有限公司 音频合成方法及装置、电子设备和计算机可读存储介质
WO2021169491A1 (zh) * 2020-02-27 2021-09-02 平安科技(深圳)有限公司 一种歌声合成方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1835074A (zh) * 2006-04-07 2006-09-20 安徽中科大讯飞信息科技有限公司 一种结合高层描述信息和模型自适应的说话人转换方法
CN1835075A (zh) * 2006-04-07 2006-09-20 安徽中科大讯飞信息科技有限公司 一种结合自然样本挑选与声学参数建模的语音合成方法
WO2008001500A1 (fr) * 2006-06-30 2008-01-03 Nec Corporation Système de génération de contenus audio, système d'échange d'informations, programme, procédé de génération de contenus audio et procédé d'échange d'informations
CN103065619A (zh) * 2012-12-26 2013-04-24 安徽科大讯飞信息科技股份有限公司 一种语音合成方法和语音合成系统
CN103456295A (zh) * 2013-08-05 2013-12-18 安徽科大讯飞信息科技股份有限公司 歌唱合成中基频参数生成方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1835074A (zh) * 2006-04-07 2006-09-20 安徽中科大讯飞信息科技有限公司 一种结合高层描述信息和模型自适应的说话人转换方法
CN1835075A (zh) * 2006-04-07 2006-09-20 安徽中科大讯飞信息科技有限公司 一种结合自然样本挑选与声学参数建模的语音合成方法
WO2008001500A1 (fr) * 2006-06-30 2008-01-03 Nec Corporation Système de génération de contenus audio, système d'échange d'informations, programme, procédé de génération de contenus audio et procédé d'échange d'informations
CN103065619A (zh) * 2012-12-26 2013-04-24 安徽科大讯飞信息科技股份有限公司 一种语音合成方法和语音合成系统
CN103456295A (zh) * 2013-08-05 2013-12-18 安徽科大讯飞信息科技股份有限公司 歌唱合成中基频参数生成方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHENG-CHENG WANG ET AL.: "《Multi-Layer F0 Modeling for HMM-Based Speech Synthsis》", 《CHINESE SPOKEN LANGUAGE PROCESSING,2008,6TH INTERNATIONAL SYMPOSIUM》 *
LONG QIN ET AL.: "《Minumum generation error linear regression based model adaptation for HMM-based speech synthesis》", 《TCASSP 2008》 *
YI_JIAN WU ET AL.: "《Minimum Generation Error Training for Hmm-Based Speech Synthesis》", 《ICASSP 2006》 *
凌震华: "《基于统计声学建模的语音合成技术研究》", 《中国博士学位论文全文数据库 信息科技辑》 *
胡郁等: "《基于声学统计建模的语言合成技术研究》", 《中文信息学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802446A (zh) * 2019-11-14 2021-05-14 腾讯科技(深圳)有限公司 音频合成方法及装置、电子设备和计算机可读存储介质
CN112802446B (zh) * 2019-11-14 2024-05-07 腾讯科技(深圳)有限公司 音频合成方法及装置、电子设备和计算机可读存储介质
WO2021169491A1 (zh) * 2020-02-27 2021-09-02 平安科技(深圳)有限公司 一种歌声合成方法、装置、计算机设备及存储介质
CN112542155A (zh) * 2020-11-27 2021-03-23 北京百度网讯科技有限公司 歌曲合成方法及模型训练方法、装置、设备与存储介质
CN112542155B (zh) * 2020-11-27 2021-09-21 北京百度网讯科技有限公司 歌曲合成方法及模型训练方法、装置、设备与存储介质

Also Published As

Publication number Publication date
CN104766602B (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
CN104766603A (zh) 构建个性化歌唱风格频谱合成模型的方法及装置
CN102664016B (zh) 唱歌评测方法及系统
CN101308652B (zh) 一种个性化歌唱语音的合成方法
JP5293460B2 (ja) 歌唱合成用データベース生成装置、およびピッチカーブ生成装置
CN103456295B (zh) 歌唱合成中基频参数生成方法及系统
CN101004910A (zh) 处理语音的装置和方法
Dong Application of artificial intelligence software based on semantic web technology in english learning and teaching
CN103915093B (zh) 一种实现语音歌唱化的方法和装置
JP2018533076A (ja) 音楽言語のコンピュータ支援教育のシステムおよび方法
CN109326280B (zh) 一种歌唱合成方法及装置、电子设备
CN106649644A (zh) 一种歌词文件生成方法及装置
KR101325722B1 (ko) 사용자 입력 노래에 대응한 악보 생성 장치와 그 방법
CN105023574B (zh) 一种实现合成语音增强的方法及系统
CN106971743A (zh) 用户演唱数据处理方法和装置
CN109036376A (zh) 一种闽南语语音合成方法
CN101968958B (zh) 一种音频数据的比较方法和装置
CN104766602A (zh) 歌唱合成系统中基频合成参数生成方法及系统
Lee et al. Generalized F0 modelling with absolute and relative pitch features for singing voice synthesis
Mehrabi et al. Vocal imitation of synthesised sounds varying in pitch, loudness and spectral centroid
CN109165836B (zh) 一种演唱评分中歌词发音的处理及测评方法及系统
JP2013164609A (ja) 歌唱合成用データベース生成装置、およびピッチカーブ生成装置
Molina et al. Automatic scoring of singing voice based on melodic similarity measures
CN109979422A (zh) 基频处理方法、装置、设备及计算机可读存储介质
Lee et al. Singing Voice Synthesis: Singer-Dependent Vibrato Modeling and Coherent Processing of Spectral Envelope.
Li et al. Siamese residual neural network for musical shape evaluation in piano performance assessment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Wangjiang Road high tech Development Zone Hefei city Anhui province 230088 No. 666

Applicant after: Iflytek Co., Ltd.

Address before: Wangjiang Road high tech Development Zone Hefei city Anhui province 230088 No. 666

Applicant before: Anhui USTC iFLYTEK Co., Ltd.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant