CN102592590A - 一种可任意调节的语音自然变声方法及装置 - Google Patents
一种可任意调节的语音自然变声方法及装置 Download PDFInfo
- Publication number
- CN102592590A CN102592590A CN2012100393181A CN201210039318A CN102592590A CN 102592590 A CN102592590 A CN 102592590A CN 2012100393181 A CN2012100393181 A CN 2012100393181A CN 201210039318 A CN201210039318 A CN 201210039318A CN 102592590 A CN102592590 A CN 102592590A
- Authority
- CN
- China
- Prior art keywords
- voice
- signal
- input
- formula
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本发明公开一种可任意调节的语音自然变声方法及装置,所述方法将语音信号在声道中进行建模,随后求出发音的系统模型,即声道的模型,之后再改变声道的模型,最后在新的声道模型中还原出语音信号,这个新输出的语音信号即为变声后的信号。装置包括电源模块、输入输出模块、控制模块和处理模块,控制模块将参数送至处理模块并控制系统运行的起止。由输入输出模块输入声音信号,并转化为数字信号,送入处理模块中,处理模块根据输入的参数对信号进行处理,形成变声信号后送入输入输出模块,再转化为模拟信号,并由音箱输出。本发明使变声后的信号可以有很自然的声音效果,且可任意调节。本发明中装置简单,容易实现,且设备成本低廉,使用方便。
Description
技术领域
本发明涉及语音信号处理技术,具体涉及一种将语音信号在声道中进行建模,再改变声道的模型,获得变声信号的方法及装置。
背景技术
利用信号处理的方法改变语音信号的音调和音色,实现语音变声,甚至男女声的互相变换,既是语音信号处理的重要理论研究内容,同时也具有很强的应用价值。男女声频率的范围存在很大差异,男声频率范围大约在80-7000HZ,而女声的频率范围大约在150-11000HZ,比男声高了几乎一倍。如果要实现男女声的互相变换,那么就一定要改变语音信号的频率,使之提高或降低一个水平,这样就可以达到变声的目的。目前已有不少的方法应用于语音变声,最常用的大概是基于以下两种思想,以将男声变为女声为例,第一种方法是将语音信号在时域进行处理,通过缩短时域长度来提高信号的频率,使之变为女声,再通过插值使新信号与原信号保持一致(CN03137014.4);第二种方法是在频域进行处理,主要就是对频谱搬移,即将语音信号先进行插值或抽检,再对其作傅里叶变换,在频域上使其频谱整体向高频率范围移动一段距离,最后再将其变换回时域,通过这种方法也可以达到使语音信号频率提高的效果,最终实现变声的目的(CN200410062337.1)。
由此可以看到,目前的语音变声方法都是将信号在频域或时域进行直接处理,使之频率改变,从而达到变声的效果。但是这些方法都没从发音系统角度出发设计,使得变声后语音的谐波关系保持的不佳,造成了语音的不自然。此外,现有的方法只能在几种特定的声音模式之间进行切换,无法做到根据要求快速地随意进行变声。
本发明从声音的产生过程出发,提出了一种在系统域进行变换来实现变声的方法,这一方法可以有效解决上述方法中的不足,在实现语音变声的同时,保证了声音的质量。
发明内容
本发明的目的在于克服现有变声方法存在的声音不自然、有机器味、不能随意变成任何人声音等不足,提供一种可任意调节的语音自然变声方法及装置,具体技术方案如下。
一种可任意调节的语音自然变声方法,包括如下步骤:
步骤一、建立通过声道后的语音信号的声道模型:声带振动产生一个激励,通过口腔后形成一个语音信号G[n],使G[n]通过一个声道,输出一个信号y[n],该信号的声道模型为:
公式1中,系数ai即为声道模型的参数,G[n]表示为:
步骤二、求出声道的系统传递函数:对语音信号G[n]进行Z变换,对上式两边同时进行Z变换,得到如下结果:
将公式3作变换,将等号左边写为输出与输入函数的比值形式,即得到下式
公式4即为该声道系统函数H(z)
步骤三、求出声道的系统函数的极点:根据上面的表达式,求H(z)的极点即为求下面方程的根,
令
步骤四、根据输入的变声参数,对原声道系统的极点进行移位,在极点移位后,仍保持各次谐波的关系,故而在进行极点移位时,针对不同的极点要附加不同的移动距离,移位的过程如下,首先利用数字信号处理的估算方法算出基波的频率ω0,之后按照如下的方法将极点进行移位:
(公式8)
从而得到新声道的系统函数
步骤六、将激励即语音信号G[n]输入新声道,得到新的语音信号模型,即为变声后的语音信号,最终得到变声后的语音信号为:
上述可任意调节的语音自然变声方法中,步骤一根据数字信号处理的估计算法提取出该声道模型中的各项系数ai,通过目前已知的y[n]和ai得到系统的输入信号G[n]。所述数字信号处理的估计算法包括杜宾算法。
上述可任意调节的语音自然变声方法中,步骤四利用自相关法估算出基波的频率ω0。
本发明还提供实现所述语音自然变声方法的装置,其包括电源模块、输入输出模块、控制模块和处理模块,其中,所述控制模块与处理模块及输入输出模块相连接,负责向处理模块输入变声参数及控制整个装置开始及结束工作;所述输入输出模块与处理模块相连接,其功能为向处理模块输入激励信号及输出变声后声音信号,并在输入输出前进行数字/模拟信号的互相转化;处理模块根据输入的变声参数,对输入信号进行变声,变声后的信号送入输入输出模块。
上述装置还可包括接口模块,接口模块与处理模块和电源模块相连。如果输出信号需要在某些系统中进行使用,则由接口模块完成传送。
上述装置中,所述输入输出模块包括麦克风、音箱及A/D转换器和D/A转换器,麦克风的输出端通过A/D转换器与处理模块的输入端连接,音箱的输入端通过D/A转换器与处理模块的输出端连接。由操作者输入参数至控制模块,控制模块将参数送至处理模块并控制系统运行的起止。由输入输出模块的麦克风输入声音信号,并转化为数字信号,送入处理模块中,处理模块根据输入的参数对信号进行处理,形成变声信号后送入输入输出模块,再转化为模拟信号,并由音箱输出。
本发明的优点有:
1.变声自然。由于本发明是从声音的产生过程出发,在系统域进行变换,没有进行插值或者抽值,故而可以完整地保留原语音信号的信息,使变声后的信号可以有很自然的声音效果。
2.可任意调节。本发明中,基频移位距离Δ及附加倍数λ都是可根据要求进行输入的参数,故而声音的音调及音量可以很方便地通过改变参数进行自由调节。
3.装置简单,容易实现,且设备成本低廉。
4.可适用范围广,使用方便,即插即用。本发明可以用在多种需变声的情况及系统中。
附图说明
图1为具体实施方式中装置的结构框图。
图2为本发明方法的原理框图。
图3为实施方式中可任意调节的语音自然变声方法的流程示意图。
图4为实施方式中声道输出频域图。
图5为实施方式中声道输出极点图。
图6为实施方式中极点移位后声道频域图。
图7为实施方式中移位后极点图。
具体实施方式
下文结合附图对本发明的具体实施方式(装置具体构成以及本发明装置的工作步骤)作进一步的说明,但本发明的实施不限于此。
本实施方式中的装置如图1所示,分为电源模块,输入输出模块,接口模块,控制模块和处理模块几个部分。其中,控制模块与处理模块及输入输出模块相连接,主要负责向处理模块输入外部参数及控制装置开始及结束工作。输入输出模块与处理模块相连接,其功能为向处理模块输入激励信号及输出变声后声音信号,另外在输入输出前进行数字/模拟信号的互相转化。处理模块为本装置核心部分,具体由一数字信号处理芯片构成,负责本装置的主要功能,即根据输入的参数,对输入信号进行变声。
装置主要的工作流程如下:
由操作者输入参数至控制模块,控制模块将参数送至处理模块并控制系统运行的起止。由输入输出模块的麦克风输入声音信号,并转化为数字信号,送入处理模块中,处理模块根据输入的参数对信号进行处理,形成变声信号后送入输入输出模块,再转化为模拟信号,并由音箱输出。如果输出信号需要在某些系统中进行使用,则由接口模块完成传送。
本实施方式的变声方法如附图3所示,是将语音信号在声道中进行建模,随后求出发音的系统模型,即声道的模型,之后再改变声道的模型,最后在新的声道模型中还原出语音信号,这个新输出的语音信号即为变声后的信号。
变声方法的步骤分为为以下几点,下面分别对每一步骤进行详细说明。
步骤一,建立通过声道后的语音信号的声道模型。
如图2所示,语音信号如人的声音,其发声原理为声带振动产生一个激励,通过口腔后形成一个声音信号G[n]。现在使G[n]通过一个声道,就会输出一个信号y[n],该信号的声道模型为:
公式1中,系数ai即为声道模型的参数。下面可以通过一些信号处理的方法检测出这个信号y[n]。同时,还可以根据一些数字信号处理的估计算法(如杜宾算法等)提取出该声道模型中的各项系数ai。这样,通过目前已知的y[n]和ai就可以得到系统的输入信号G[n]。G[n]可表示为:
步骤二,求出发音系统的传递函数。
对语音信号G[n]进行Z变换。对上式两边同时进行Z变换,可以得到如下结果:
将上式稍作变换,将等号左边写为输出与输入函数的比值形式,即可得到下式
公式4即为该声道的系统函数H(z)
第三,求出原发音系统H(z)的极点。根据上面的表达式,可以看到,求H(z)的极点即为求下面方程的根。
令
注意到,这组点是信号频谱图包络的极大值点,每个共振峰均为信号的某谐波次点,这些峰值点对应的频率为基频频率的某整数倍数。
步骤四,根据输入的变声参数,对原发音系统的极点进行移位。目前现有的频域移位的方法,其缺点即在于未能保证各谐波对应频率移位后仍保持谐波关系,故而造成声音的不自然。在极点移位后,必须仍保持各次谐波的关系才能达到良好的变声效果。故而在进行极点移位时,针对不同的极点要附加不同的移动距离。移位的过程如下,首先利用数字信号处理的方法(如自相关法)估算出基波的频率ω0。之后按照如下的方法将极点进行移位:
(公式8)
即为系统的新极点,N为正整数。如图6所示。其中,Δ为输入的语音变声参数,λ为音量调节参数。这样,在移位的过程中既调整了语音频率,又调整了音量大小,使声道能更加灵活和适应信号变声的需求。这组新极点对应于移位后的共振峰,如图7所示。
从而可以得到新声道的系统函数
步骤六,将激励G[n]输入新声道,得到新的语音信号模型,即为变声后的语音信号。最终得到变声后的语音信号为:
通过上述步骤,本发明实现了通过改变声道实现变声,克服了现有方法的缺点。
作为实例,本实施方式中的接口模块可以是USB接口。输入输出模块包括麦克风、音箱及A/D、D/A转换器。处理模块中的数字处理器可以用DSP芯片或者ARM等实现(如:TI公司TMS320C2812的DSP芯片)。
该实例装置的变声方法的主要步骤如下:
步骤一:输入操作参数,由控制模块接受操作模块信息,并把操作信息交给处理模块,操作参数信息包括语音变声参数Δ,音量调节参数λ以及数模转换器采样频率。现例如输入参数谐波次数N=5,Δ=10%,λ=0.8,则输入男声激励信号经过处理模块后,即可输出为新的女声语音信号 从而实现了男女声的变换。
步骤二:由麦克风接受声音激励信号,并将信号传给处理模块中的A/D转换器采样,变为数字信号,输入数字处理器中。采样频率由步骤一输入。
步骤三:数字处理器中的处理步骤可参照图2,具体如下:
1.检测信号,得到一帧语音y[n]:
2.提取声道参数ai,这时,可利用如下的算法:
首先,求出模型的自相关函数:
根据Yule-Walker方程,可把自相关函数表示如下:
在上式中,取m=1,2...N,利用自相关函数的一个性质Rx(m)=Rx(-m),可得,
Rx(1)=a1Rx(0)+a2Rx(1)+...+aNRx(N-1)
Rx(2)=a1Rx(1)+a2Rx(0)+...+aNRx(N-2)
...
Rx(N)=a1Rx(N-1)+a2Rx(N-2)+...+aNRx(0)
取m=0,1,2...N,将上式写为矩阵形式,可得
解此方程,就可以提取出ai
3.通过目前已知的y[n]和ai得到系统的输入信号G[n]。将G[n]进行Z变换,求出H(z)的极点。
4,估计出信号基频ω0,进行极点移位,得到新的极点
步骤四:将变声后的声音信号经D/A转换器变为模拟信号后,通过输如输出模块的音箱输出,完成整个变声过程。之后再循环回第一步,处理下一帧语音信号。
Claims (9)
1.一种可任意调节的语音自然变声方法,其特征在于包括如下步骤:
步骤一、建立通过声道后的语音信号的声道模型:声带振动产生一个激励,通过口腔后形成一个语音信号G[n],使G[n]通过一个声道,输出一个信号y[n],该信号的声道模型为:
公式1中,系数ai即为声道模型的参数,G[n]表示为:
步骤二、求出声道的系统传递函数:对语音信号G[n]进行Z变换,对上式两边同时进行Z变换,得到如下结果:
将公式3作变换,将等号左边写为输出与输入函数的比值形式,即得到下式
公式4即为该声道系统函数H(z)
步骤三、求出声道的系统函数的极点:根据上面的表达式,求H(z)的极点即为求下面方程的根,
令
解该方程,可以得到一组复数根即为系统函数H(z)的极点;
步骤四、根据输入的变声参数,对原声道系统的极点进行移位,在极点移位后,仍保持各次谐波的关系,故而在进行极点移位时,针对不同的极点要附加不同的移动距离,移位的过程如下,首先利用数字信号处理的估算方法算出基波的频率ω0,之后按照如下的方法将极点进行移位:
(公式8)
从而得到新声道的系统函数
步骤六、将激励即语音信号G[n]输入新声道,得到新的语音信号模型,即为变声后的语音信号,最终得到变声后的语音信号为:
2.根据权利要求1所述的可任意调节的语音自然变声方法,其特征在于步骤一中根据数字信号处理的估计算法提取出该声道模型中的各项系数ai,通过目前已知的y[n]和ai得到系统的输入信号G[n]。
3.根据权利要求1所述的可任意调节的语音自然变声方法,其特征在于所述数字信号处理的估计算法包括杜宾算法。
4.根据权利要求1所述的可任意调节的语音自然变声方法,其特征在于步骤四中利用自相关法估算出基波的频率ω0。
5.一种实现权利要求1所述语音自然变声方法的装置,其特征在于包括电源模块、输入输出模块、控制模块和处理模块,其中,所述控制模块与处理模块及输入输出模块相连接,负责向处理模块输入变声参数及控制整个装置开始及结束工作;所述输入输出模块与处理模块相连接,其功能为向处理模块输入激励信号及输出变声后声音信号,并在输入输出前进行数字/模拟信号的互相转化;处理模块根据输入的变声参数,对输入信号进行变声,变声后的信号送入输入输出模块。
6.根据权利要求5所述的装置,其特征在于,其特征在于所述处理模块包括数字信号处理芯片。
7.根据权利要求5所述的装置,其特征在于还包括接口模块,接口模块与处理模块和电源模块相连。
8.根据权利要求7所述的装置,其特征在于所述接口模块USB接口。
9.根据权利要求5所述的装置,其特征在于,所述输入输出模块包括麦克风、音箱及A/D转换器和D/A转换器,麦克风的输出端通过A/D转换器与处理模块的输入端连接,音箱的输入端通过D/A转换器与处理模块的输出端连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210039318.1A CN102592590B (zh) | 2012-02-21 | 2012-02-21 | 一种可任意调节的语音自然变声方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210039318.1A CN102592590B (zh) | 2012-02-21 | 2012-02-21 | 一种可任意调节的语音自然变声方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102592590A true CN102592590A (zh) | 2012-07-18 |
CN102592590B CN102592590B (zh) | 2014-07-02 |
Family
ID=46481132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210039318.1A Expired - Fee Related CN102592590B (zh) | 2012-02-21 | 2012-02-21 | 一种可任意调节的语音自然变声方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102592590B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103489443A (zh) * | 2013-09-17 | 2014-01-01 | 湖南大学 | 一种声音模仿方法及装置 |
CN104575487A (zh) * | 2014-12-11 | 2015-04-29 | 百度在线网络技术(北京)有限公司 | 一种语音信号的处理方法及装置 |
CN105654941A (zh) * | 2016-01-20 | 2016-06-08 | 华南理工大学 | 一种基于指向目标人变声比例参数的语音变声方法及装置 |
CN108436910A (zh) * | 2018-03-14 | 2018-08-24 | 安徽果力智能科技有限公司 | 一种遥控的可移动机器人通信系统及方法 |
CN109147809A (zh) * | 2018-09-20 | 2019-01-04 | 广州酷狗计算机科技有限公司 | 音频信号处理方法、装置、终端及存储介质 |
CN109616131A (zh) * | 2018-11-12 | 2019-04-12 | 南京南大电子智慧型服务机器人研究院有限公司 | 一种数字实时语音变音方法 |
CN110288975A (zh) * | 2019-05-17 | 2019-09-27 | 北京达佳互联信息技术有限公司 | 语音风格迁移方法、装置、电子设备及存储介质 |
WO2020134851A1 (zh) * | 2018-12-28 | 2020-07-02 | 广州市百果园信息技术有限公司 | 语音信号变换方法、装置、设备和存储介质 |
CN113241082A (zh) * | 2021-04-22 | 2021-08-10 | 杭州朗和科技有限公司 | 变声方法、装置、设备和介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1719514A (zh) * | 2004-07-06 | 2006-01-11 | 中国科学院自动化研究所 | 基于语音分析与合成的高品质实时变声方法 |
WO2008142836A1 (ja) * | 2007-05-14 | 2008-11-27 | Panasonic Corporation | 声質変換装置および声質変換方法 |
CN102184731A (zh) * | 2011-05-12 | 2011-09-14 | 北京航空航天大学 | 一种韵律类和音质类参数相结合的情感语音转换方法 |
-
2012
- 2012-02-21 CN CN201210039318.1A patent/CN102592590B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1719514A (zh) * | 2004-07-06 | 2006-01-11 | 中国科学院自动化研究所 | 基于语音分析与合成的高品质实时变声方法 |
WO2008142836A1 (ja) * | 2007-05-14 | 2008-11-27 | Panasonic Corporation | 声質変換装置および声質変換方法 |
CN102184731A (zh) * | 2011-05-12 | 2011-09-14 | 北京航空航天大学 | 一种韵律类和音质类参数相结合的情感语音转换方法 |
Non-Patent Citations (1)
Title |
---|
HISAO KUWABARA ET AL: "Acoustic parameters of voice individuality and voice-quality control by analysis-synthesis method", 《SPEECH COMMUNICATION》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103489443A (zh) * | 2013-09-17 | 2014-01-01 | 湖南大学 | 一种声音模仿方法及装置 |
CN104575487A (zh) * | 2014-12-11 | 2015-04-29 | 百度在线网络技术(北京)有限公司 | 一种语音信号的处理方法及装置 |
CN105654941A (zh) * | 2016-01-20 | 2016-06-08 | 华南理工大学 | 一种基于指向目标人变声比例参数的语音变声方法及装置 |
CN108436910A (zh) * | 2018-03-14 | 2018-08-24 | 安徽果力智能科技有限公司 | 一种遥控的可移动机器人通信系统及方法 |
CN109147809A (zh) * | 2018-09-20 | 2019-01-04 | 广州酷狗计算机科技有限公司 | 音频信号处理方法、装置、终端及存储介质 |
CN109616131A (zh) * | 2018-11-12 | 2019-04-12 | 南京南大电子智慧型服务机器人研究院有限公司 | 一种数字实时语音变音方法 |
CN109616131B (zh) * | 2018-11-12 | 2023-07-07 | 南京南大电子智慧型服务机器人研究院有限公司 | 一种数字实时语音变音方法 |
WO2020134851A1 (zh) * | 2018-12-28 | 2020-07-02 | 广州市百果园信息技术有限公司 | 语音信号变换方法、装置、设备和存储介质 |
CN110288975A (zh) * | 2019-05-17 | 2019-09-27 | 北京达佳互联信息技术有限公司 | 语音风格迁移方法、装置、电子设备及存储介质 |
CN113241082A (zh) * | 2021-04-22 | 2021-08-10 | 杭州朗和科技有限公司 | 变声方法、装置、设备和介质 |
CN113241082B (zh) * | 2021-04-22 | 2024-02-20 | 杭州网易智企科技有限公司 | 变声方法、装置、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN102592590B (zh) | 2014-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102592590B (zh) | 一种可任意调节的语音自然变声方法及装置 | |
CN203038659U (zh) | 一种可任意调节的语音自然变声装置 | |
CN101527141B (zh) | 基于径向基神经网络的耳语音转换为正常语音的方法 | |
CN104392718B (zh) | 一种基于声学模型阵列的鲁棒语音识别方法 | |
CN108461079A (zh) | 一种面向音色转换的歌声合成方法 | |
CN102201240B (zh) | 基于逆滤波的谐波噪声激励模型声码器 | |
CN101426169B (zh) | 一种快速检测发声体声响应参数的时域跟踪滤波器及系统 | |
CN103258539B (zh) | 一种语音信号特性的变换方法和装置 | |
CN103531205A (zh) | 基于深层神经网络特征映射的非对称语音转换方法 | |
CN106653056A (zh) | 基于lstm循环神经网络的基频提取模型及训练方法 | |
CN104123933A (zh) | 基于自适应非平行训练的语音转换方法 | |
CN113823275A (zh) | 一种用于电网调度的语音识别方法及系统 | |
CN106255027A (zh) | 一种非线性音频系统的音质可听化评估方法及系统 | |
CN103345920B (zh) | 基于Mel-KSVD稀疏表示的自适应内插加权谱模型的语音转换及重构方法 | |
DE50311552D1 (de) | Vorrichtung und verfahren zum erzeugen einer komplexen spektraldarstellung eines zeitdiskreten signals | |
CN102592589A (zh) | 一种动态归一化数字特征的语音评分方法与装置 | |
CN103258543A (zh) | 一种人工语音带宽扩展的方法 | |
CN101727905A (zh) | 一种得到具有精细时频结构的声纹图的方法 | |
CN103559893B (zh) | 一种水下目标gammachirp倒谱系数听觉特征提取方法 | |
CN103892939B (zh) | 提高汉语声调识别率的人工耳蜗言语处理器和方法 | |
Titze | Simulation of vocal loudness regulation with lung pressure, vocal fold adduction, and source-airway interaction | |
CN105654941A (zh) | 一种基于指向目标人变声比例参数的语音变声方法及装置 | |
CN103557925A (zh) | 水下目标gammatone离散小波系数听觉特征提取方法 | |
Kızrak et al. | Classification of classic Turkish music makams | |
CN104658547A (zh) | 一种人工语音带宽扩展的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140702 Termination date: 20210221 |
|
CF01 | Termination of patent right due to non-payment of annual fee |