CN114283825A - 一种语音处理方法、装置、电子设备及存储介质 - Google Patents
一种语音处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114283825A CN114283825A CN202111599046.6A CN202111599046A CN114283825A CN 114283825 A CN114283825 A CN 114283825A CN 202111599046 A CN202111599046 A CN 202111599046A CN 114283825 A CN114283825 A CN 114283825A
- Authority
- CN
- China
- Prior art keywords
- feature
- mel
- features
- speech
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000006243 chemical reaction Methods 0.000 claims abstract description 114
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims description 68
- 238000005070 sampling Methods 0.000 claims description 48
- 230000009466 transformation Effects 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 24
- 238000001228 spectrum Methods 0.000 claims description 23
- 230000002123 temporal effect Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000000306 recurrent effect Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 239000000919 ceramic Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Abstract
本公开关于一种语音处理方法、装置、电子设备及存储介质。该语音处理方法包括：获取原始对象的第一语音；确定第一语音的梅尔频率倒谱系数及第一语音的基频特征；基于所述梅尔频率倒谱系数、所述基频特征以及目标对象对应的音色特征，确定所述目标对象的声学特征；基于目标对象的声学特征生成目标对象的第二语音。由于包含了内容特征的梅尔频率倒谱系数中滤除了原始对象的大部分音色特征，因而本公开以梅尔频率倒谱系数作为声学特征转换模型的输入，可以降低对内容特征和音色特征的解耦压力。
Description
技术领域
本公开涉及深度学习技术领域，尤其涉及一种语音处理方法、装置、电子设备及存储介质。
背景技术
语音转换是指在保留内容特征不变的情况下，将一句话的音色从原始对象的音色转为目标对象的音色。语音转换技术在歌唱变声、电影配音、短视频变声、虚拟人等方面发挥着重要作用。
目前，一般将梅尔频谱作为输入特征提供给语音转换模型以实现语音转换。然而，梅尔频谱中除了包含被转换的语音中的内容特征之外，还包含该语音中表征发声者音色的大量音色特征，因而需要在语音转换中对音色特征和内容特征进行解耦处理。比如，为了保证解耦效果，通常需要在语音转换模型中增加对抗网络。
发明内容
本公开实施例提出一种语音处理方法、装置、电子设备及存储介质，从而降低解耦压力。
根据本公开实施例的一方面，提供了一种语音处理方法，包括：
获取原始对象的第一语音；
确定所述第一语音的梅尔频率倒谱系数及所述第一语音的基频特征；
基于所述梅尔频率倒谱系数、所述基频特征以及目标对象对应的音色特征，确定所述目标对象的声学特征；
基于所述目标对象的声学特征生成所述目标对象的第二语音。
在一种可能实施方式中，所述基于所述梅尔频率倒谱系数、所述基频特征以及目标对象对应的音色特征，确定所述目标对象的声学特征，包括：
利用声学特征转换模型基于所述基频特征以及所述音色特征，对所述梅尔频率倒谱系数进行声学特征转换，得到所述目标对象的声学特征。
在一种可能实施方式中，所述利用声学特征转换模型基于所述基频特征以及所述音色特征，对所述梅尔频率倒谱系数进行声学特征转换，得到所述目标对象的声学特征，包括：
将所述梅尔频率倒谱系数输入到所述声学特征转换模型的第一编码器，以促使所述第一编码器对所述梅尔频率倒谱系数包含的所述第一语音的内容特征编码，其中，所述第一编码器以时间下采样方式输出编码结果；
将所述基频特征以及所述音色特征输入到所述声学特征转换模型的解码器，以促使所述解码器对所述编码结果进行时间上采样处理后，基于所述基频特征和所述音色特征对所述编码结果进行解码，得到所述目标对象的声学特征。
在一种可能实施方式中，进一步包括：
将所述第一语音输入到所述声学特征转换模型的基频提取器；
其中所述基频特征是所述基频提取器从所述第一语音中提取的。
在一种可能实施方式中，进一步包括：
将所述目标对象的发声者信息输入到所述声学特征转换模型的第二编码器；其中所述音色特征是所述第二编码器针对所述发声者信息编码确定的。
在一种可能实施方式中，所述第二编码器被配置为基于查找表方式编码得到所述音色特征。
在一种可能实施方式中，还包括：
将样本对象的样本语音的梅尔频率倒谱系数输入到所述声学特征转换模型的第一编码器进行编码，得到所述样本语音的第一内容特征；
将样本语音的基频特征、样本对象对应的音色特征和所述第一内容特征输入到所述声学特征转换模型的解码器进行解码，得到所述样本对象的训练声学特征；
基于所述样本语音的梅尔频谱与所述训练声学特征，确定重建损失；
基于所述重建损失对所述声学特征转换模型进行训练。
在一种可能实施方式中，还包括：
将所述训练声学特征输入到所述声学特征转换模型的离散余弦变换滤波器进行离散余弦变换，得到所述样本对象的重构梅尔频率倒谱系数；
将所述样本对象的重构梅尔频率倒谱系数输入到所述第一编码器进行编码，得到所述样本语音的第二内容特征；
基于所述第一内容特征与所述第二内容特征，确定内容损失；
其中所述基于所述重建损失对所述声学特征转换模型进行训练包括：
基于所述重建损失和所述内容损失对所述声学特征转换模型进行训练。
在一种可能实施方式中，基于所述重建损失和所述内容损失对所述声学特征转换模型进行训练包括：
根据所述重建损失和所述内容损失，确定整体损失；
基于所述整体损失对所述声学特征转换模型进行训练。
根据本公开实施例的另一方面，提供了一种语音处理装置，包括：
获取模块，被配置为获取原始对象的第一语音；
确定模块，被配置为确定所述第一语音的梅尔频率倒谱系数及所述第一语音的基频特征；
转换模块，被配置为基于所述梅尔频率倒谱系数、所述基频特征以及目标对象对应的音色特征，确定所述目标对象的声学特征；
生成模块，被配置为基于所述目标对象的声学特征生成所述目标对象的第二语音。
在一种可能实施方式中，所述转换模块被配置为：
利用声学特征转换模型基于所述基频特征以及所述音色特征，对所述梅尔频率倒谱系数进行声学特征转换，得到所述目标对象的声学特征。
在一种可能实施方式中，所述转换模块被配置为：
将所述梅尔频率倒谱系数输入到所述声学特征转换模型的第一编码器，以促使所述第一编码器对所述梅尔频率倒谱系数包含的所述第一语音的内容特征编码，其中，所述第一编码器以时间下采样方式输出的编码结果；
将所述基频特征以及所述音色特征输入到所述声学特征转换模型的解码器，以促使所述解码器对所述编码结果进行时间上采样处理后，基于所述基频特征和所述音色特征对所述编码结果进行解码，得到所述目标对象的声学特征。
在一种可能实施方式中，所述转换模块被配置为将所述第一语音输入到所述声学特征转换模型的基频提取器；其中所述基频特征是所述基频提取器从所述第一语音中提取的。
在一种可能实施方式中，所述转换模块被配置为将所述目标对象的发声者信息输入到所述声学特征转换模型的第二编码器；其中所述音色特征是所述第二编码器针对所述发声者信息编码确定的。
在一种可能实施方式中，还包括训练模块，被配置为：
将样本对象的样本语音的梅尔频率倒谱系数输入到所述声学特征转换模型的第一编码器进行编码，得到所述样本语音的第一内容特征；
将样本语音的基频特征、样本对象对应的音色特征和所述第一内容特征输入到所述声学特征转换模型的解码器进行解码，得到所述样本对象的训练声学特征；
基于所述样本语音的梅尔频谱与所述训练声学特征，确定重建损失；
基于所述重建损失对所述声学特征转换模型进行训练。
在一种可能实施方式中，所述训练模块进一步被配置为：
将所述训练声学特征输入到所述声学特征转换模型的离散余弦变换滤波器进行离散余弦变换，得到所述样本对象的重构梅尔频率倒谱系数；
将所述样本对象的重构梅尔频率倒谱系数输入到所述第一编码器进行编码，得到所述样本语音的第二内容特征；
基于所述第一内容特征与所述第二内容特征，确定内容损失；
其中所述训练模块被配置为：基于所述重建损失和所述内容损失对所述声学特征转换模型进行训练。
在一种可能实施方式中，所述训练模块被配置为：
根据所述重建损失和所述内容损失，确定整体损失；
基于所述整体损失对所述声学特征转换模型进行训练。
根据本公开实施例的另一方面，提供了一种电子设备，该电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述任一实施方式所述的语音处理方法。
根据本公开实施例的另一方面，提供了一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时实现上述任一实施方式所述的语音处理方法。
根据本公开实施例的另一方面，提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一实施方式所述的语音处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开的实施例使用梅尔频率倒谱系数实现语音转换，由于包含了内容特征的梅尔频率倒谱系数中滤除了原始对象的大部分音色特征，因而以梅尔频率倒谱系数作为声学特征转换模型的输入声学特征，有利于语音转换中音色特征和内容特征的解耦处理，从而可以降低语音转换的解耦压力，进而可以省略在模型中设置的对抗网络。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的语音处理方法的流程图；
图2是根据一示例性实施例示出的声学特征转换模型的框架示意图；
图3是根据一示例性实施例示出的用于语音处理的声学特征转换模型的模型训练方法的流程图；
图4是根据一示例性实施例示出的声学特征转换模型的训练原理图；
图5是根据一示例性实施例示出的语音处理装置的结构图；
图6是根据一示例性实施例示出的一种电子设备的结构图；
图7是根据一示例性实施例示出的一种语音处理装置的结构图；
图8是根据一示例性实施例示出的另一种语音处理装置的结构图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
以下，对本公开实施例涉及的术语进行解释说明。
标记信息为能够唯一表示发声者(比如说话人或唱歌人，等等)的身份的信息，并且，标记信息用于索引其对应的发声者的音色特征。在语音转换过程中，发声者可以是指产生被执行转换的语音的原始对象；或者，发声者也可以是指被执行转换的语音的目标对象，该目标对象表示原始对象的原始语音中的音色特征要被转换成哪个对象的音色特征。在模型训练过程中，发声者可以是指样本对象，该样本对象表示样本语音中的音色特征需要被转换成哪个对象的音色特征。标记信息具体可采用向量标记的形式，每个目标对象或样本对象对应一个标记向量。在一些示例中，标记信息也可以称为发声者信息。
梅尔频谱是在语音的频谱图加上梅尔滤波函数得到的梅尔刻度(Mel Scale)下的频谱，其中，梅尔频谱中包含发声者的音色特征和内容特征，发声者的音色特征表征发声者的音色，内容特征表征语音中包含的语义信息。
梅尔频率倒谱是通过对梅尔频谱取对数、然后进行离散余弦变换(DiscreteCosine Transform，DCT)得到的，并且，梅尔频率倒谱的频带均匀分布于梅尔刻度(MelScale)。梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients，MFCC)是用于建立梅尔频率倒谱的一组系数，其中，梅尔频率倒谱系数具有比梅尔频谱更低的维度，并且，梅尔频率倒谱系数包含梅尔频谱中的内容特征、并且滤除了该梅尔频谱中的大部分音色特征。
在一些示例中，语音转换可以用于歌唱变声(Singing voice conversion，SVC)，歌唱变声是为了在保留歌曲中的内容特征和曲调特征的情况下，将表征原始对象的音色的音色特征转换为表征目标对象的音色的音色特征，原始对象可以是歌曲的原唱者，而目标对象可以是用户。
其中，对于语音转换用于歌唱变声的情况，曲调特征至少可以体现歌曲的音高信息，内容特征包含的语义信息可以指歌词。
若以梅尔频谱特征作为语音转换的模型输入，则，需要对音色特征和内容特征的解耦付出较高的代价，才能将梅尔频谱中的原始对象的音色特征被替换为目标对象的音色特征、并且保持梅尔频谱中的内容特征不变。
针对上述问题，本公开的实施例选用梅尔频率倒谱系数作为声学特征转换模型的输入声学特征，根据源-滤波模型假设，语音是声门震动通过滤波器后的冲击响应结果，而低维的梅尔频率倒频谱系数可以在一定程度上过滤掉与发声者的音色特征强相关的声门激励。
因此，被执行转换的语音中的内容特征可以包含在低维度的梅尔频率倒频谱系数中，并且，被执行转换的语音中的原始对象的音色特征在梅尔频率倒谱系数中被大部分滤除，由此可以降低语音转换的解耦压力。
并且，在本公开的实施例中，利用独立于从语音获取到的基频特征来表征曲调特征。
图1是根据一示例性实施例示出的语音处理方法的流程图。请参见图1，该语音处理方法可以包括：
步骤101，获取原始对象的第一语音。
步骤102，确定第一语音的梅尔频率倒谱系数及第一语音的基频特征。
在一些示例中，第一语音的梅尔频率倒谱系数中可以包含第一语音中的内容特征，并且，第一语音的基频特征可以表征第一语音的曲调特征。
步骤103，基于所述梅尔频率倒谱系数、所述基频特征以及目标对象对应的音色特征，确定所述目标对象的声学特征。
通常情况下，原始对象与目标对象不同。
在一些实例中，步骤103中基于梅尔频率倒谱系数、基频特征以及目标对象对应的音色特征，确定目标对象的声学特征，包括：利用声学特征转换模型基于基频特征以及目标对象对应的音色特征，对梅尔频率倒谱系数进行声学特征转换，得到目标对象的声学特征。
在一些示例中，步骤103得到的目标对象的声学特征，可以是声学特征转换模型输出的梅尔频谱特征。其中，声学特征转换模型输出的梅尔频谱特征中可以包含目标对象的音色特征，并且，声学特征转换模型输出的梅尔频谱特征中还可以包含第一语音的基频特征以及第一语音中的内容特征。
步骤104，基于目标对象的声学特征生成目标对象的第二语音。其中第一语音与第二语音的内容特征相同。
基于上述流程，本公开实施例中的语音转换处理方法可以使用梅尔频率倒谱系数实现语音转换，由于包含了内容特征的梅尔频率倒谱系数中滤除了大部分的发声者音色特征，因而以梅尔频率倒谱系数作为声学特征转换模型的输入声学特征，有利于语音转换中发声者音色特征和内容特征的解耦处理，从而可以降低语音转换的解耦压力，进而可以省略在模型中设置的对抗网络。
图2是根据一示例性实施例示出的声学特征转换模型的框架示意图。请参见图2，如图1所示流程使用的声学特征转换模型可以包括第一编码器201、第二编码器202、基频提取器203和解码器204，从图2中可以清楚地看出，该声学特征转换模型中省略了对抗网络。并且，该声学特征转换模型的解码器204的输出还可以与声码器205连接。
第一编码器201可以被称为内容特征编码器，用于响应于针对第一语音的语音转换请求，对第一语音的梅尔频率倒谱系数中与发声者音色特征无关、且与基频特征无关的内容特征进行编码。
第二编码器202可以被称为发声者编码器，用于响应于针对第一语音的语音转换请求，对目标对象的发声者信息进行编码。例如，第二编码器202可以通过查找表(look-uptable)的方式，根据目标对象的发声者信息查询得到该目标对象的发声者音色特征，并且，对目标对象的发声者信息的编码结果可以包含查找得到的该目标对象的音色特征。
基频提取器203用于响应于针对第一语音的语音转换请求，从第一语音中提取基频信息。
解码器204用于以第一编码器201编码后的第一语音的内容特征、第二编码器202编码得到的目标对象的音色特征、以及基频提取器203提取的第一语音的基频特征，解码得到包含及第一语音的内容特征、目标对象的音色特征、以及第一语音的基频特征的梅尔频谱特征。
也就是说，如图1所示流程中的步骤102确定第一语音的基频特征可以是利用基频提取器203获得的。并且，如图1所示步骤103可以获取声学特征转换模型的解码器203输出的梅尔频谱特征，得到目标对象的声学特征。
基于如图2所示的包含第一编码器201和解码器204的声学特征转换模型，如图1所示流程中的步骤103可以认为包括：
将第一语音的梅尔频率倒谱系数输入到第一编码器201，以促使第一编码器201对第一语音的梅尔频率倒谱系数包含的第一语音的内容特征进行编码；
将第一语音的基频特征、以及根据目标对象的标记信息索引到的目标对象的音色特征输入到声学特征转换模型的解码器204，以促使解码器204基于第一语音的基频特征、以及目标对象的音色特征对第一编码器201编码后的内容特征进行解码，得到目标对象的声学特征。
声码器205，用于基于目标对象的声学特征生成目标对象的第二语音，即，如图1所示流程中的步骤104可以利用声码器来得到第二语音。
从原始对象的第一语音的获取、利用如图2所示的声学特征转换模型从原始对象的第一音频的梅尔频率倒谱系数到目标对象的声学特征(例如梅尔频谱特征)的转换过程、以及基于目标对象的声学特征得到第二语音的过程，可以认为是语音的重建过程。
在一些示例中，低维度的梅尔频率倒谱系数中可能仍残留有第一语音中的、少量的发声者音色特征、并且第一语音的基频特征中包含有少量的绝对音高信息，对于此类可能的情况，第一编码器201可以采用时间下采样，以助于过滤掉输入的梅尔频率倒谱系数中包含的、少量的发声者音色特征和少量绝对音高信息，并且，通过合理的配置时间下采样的采样率，可以确保第一语音中的内容特征不丢失。
在一般情况下，内容特征可以看作是发音因素的音节单元，因此，内容特征的音节单元的音节长度会远小于第一语音的持续时长(即帧数)，从而，可以认为第一语音与内容特征之间存在一对多的映射关系。基于这样的假设，若第一编码器201对其输出的编码后内容特征进行采样率为r的时间下采样，则，对于第一语音的N帧语音帧，第一编码器201可以输出
帧的语音帧。其中，采样率r被设定为确保
帧的语音帧可以包含内容特征的所有音节单元的特征信息的值，并且，发声者的音色特征由于时间下采样的打断而被丢弃。
若第一编码器201以时间下采样方式输出的编码结果，则，解码器204可以对第一编码器201输出的编码结果进行时间上采样后再执行基于基频特征和音色特征的解码。即，解码器204可以对第一编码器201时间下采样后的
帧的内容特征执行时间上采样，得到N帧语音帧的内容特征，并且，解码器204基于第二编码器202编码得到的目标对象的音色特征、以及基频提取器203提取的第一语音的基频特征，对时间上采样后的N帧语音帧的内容特征进行解码，得到目标对象的声学特征。
从图2中可以看出，第一编码器201可以具体包括编码模块211和时间下采样模块212，并且，解码器204可以包括解码模块242和时间上采样模块241。
在一些示例中，如图1所示流程中的步骤103将第一语音的梅尔频率倒谱系数输入到第一编码器201进行编码，得到第一语音的内容特征，可以包括：
第一编码器201的时间下采样模块212获取编码模块211输出的N个语音帧中包含的第一语音的内容特征，并且，第一编码器201的时间下采样模块212从获取到的N个语音帧的内容特征中去除(N-M)个语音帧的内容特征，得到M个语音帧包含第一语音的内容特征，M小于N，例如，M≈N/r。例如，第一编码器201的时间下采样模块212可以从N个语音帧的内容特征中去除连续时间段内的(N-M)个语音帧的内容特征；
第一编码器201的时间下采样模块212将时间下采样后的M个语音帧的内容特征输入到解码器204的时间上采样模块241执行时间上采样。
在一些示例中，如图1所示流程中的步骤103将第一语音的基频特征、以及根据目标对象的标记信息索引到的目标对象的音色特征输入到声学特征转换模型的解码器204，以促使解码器204对第一编码器201编码后的内容特征进行解码，得到目标对象的声学特征，可以包括：
解码器204的时间上采样模块241在M个语音帧的内容特征中增加(N-M)个语音帧的内容特征，得到包含N个语音帧的内容特征。例如，将M个语音帧中的每一个语音帧的内容特征，连续复制到M个语音帧的预设连续时间段处；并且，解码器204可以基于输入的第一语音的基频特征、以及目标对象的音色特征，对第一编码器201编码后经时间上采样的内容特征进行解码。
从图2中还可以看出，包含第一编码器201和解码器204的声学特征转换模型可以为神经网络模型，在此情况下：
第一编码器201的编码模块211可以顺序包含从输入到时间下采样模块212逐层部署的卷积神经网络层、实例归一化(Instance Normalization)层、激活函数层、循环神经网络(Recurrent Neural Network,RNN)层，其中，该编码模块211的激活函数层可以选用线性整流函数(Rectified Linear Unit，ReLU)，并且，该编码模块211的循环神经网络层可以选用双向记忆网络(Bi-Long Short-Term Memory，BLSTM)；
解码器204的解码模块242可以包含从时间上采样模块241到输出逐层部署的循环神经网络层、卷积神经网络层、批量初始化(Batch Normalization)层、激活函数层、循环神经网络层、以及线性化处理层，其中，该解码模块242的激活函数层也可以选用线性整流函数，并且，该解码模块242的循环神经网络层可以选用长短期记忆网络(Long Short-TermMemory，LSTM)。
在一些示例中，声学特征转换模型可以被训练为具有内容特征的一致性保持能力，若如此，基于目标对象生成的目标对象的第二语音包含的内容特征可以与第一语音的内容特征相同，从而，可以摆脱对语音识别系统的依赖，以无监督的方式实现内容特征和发声者音色特征的解耦。
图3是根据一示例性实施例示出的用于语音处理的声学特征转换模型的模型训练方法的流程图。如图3所示的模型训练方法意图使如图1所示的语音处理方法所使用的声学特征转换模型，被训练为具有内容特征的一致性保持能力，并且，该模型训练方法可以认为是语音处理方法在如图1所示流程之前被进一步执行的步骤。请参见图3，该模型训练方法可以包括：
步骤301，获取样本对象的样本语音。
步骤302，确定样本语音的梅尔频率倒谱系数及样本语音的基频特征。
步骤303，将样本语音的梅尔频率倒谱系数、样本语音的基频特征和该样本目标对象的标记信息输入到声学特征转换模型进行声学特征转换，得到该样本对象的训练声学特征。
在一些示例中，训练声学特征可以是梅尔频谱特征。
在一些示例中，步骤303可以具体包括：
将样本对象的样本语音的梅尔频率倒谱系数输入到编码器进行编码，得到样本语音的第一内容特征，其中，本步骤中的编码器，可以是图2中示出的可被称为内容特征编码器的第一编码器201；
将样本语音的基频特征、以及根据样本对象的标记信息索引到的样本对象的发声者信息输入到声学特征转换模型的解码器，以促使该解码器基于样本语音的基频特征、以及样本对象的发声者信息，对第一内容特征输入到声学特征转换模型的解码器进行解码，得到样本对象的训练声学特征。
步骤304，基于样本语音的梅尔频谱特征与训练声学特征，确定重建损失。
步骤305，基于重建损失对声学特征转换模型进行训练。
如图3所示的上述流程可以是循环执行的流程，并且，该流程的循环执行可以直至重建损失收敛达到预设的期望值而停止。由于重建损失可以衡量模型输出的重建声学特征(即训练声学特征)和输入语音的真实声学特征(即样本语音的梅尔普特征)之间的区别，因此，重建损失的收敛可以表示声学特征转换模型被训练为具有内容特征的一致性保持能力。
除了重建损失以外，本公开的实施例还可以进一步引入内容损失作为另外一个衡量指标。内容损失用于衡量输入语音的内容特征经第一编码器201编码后的结果与重建特征经第一编码器201编码后的结果之间的差异。相比于关注声学特征级别损失的重建损失，该内容损失更关注于比声学特征级别更具体的内容特征的损失程度。
若进一步引入内容损失，则，在一些示例中，还可以在步骤303得到样本语音的第一内容特征之后进一步包括：
基于训练声学特征生成样本对象的梅尔频率倒谱系数，将该梅尔频率倒谱系数输入到编码器进行编码，得到样本语音的第二内容特征，在一些示例中，若训练声学特征为梅尔频谱特征，则，可以通过对训练声学特征执行DCT处理得到训练结果的梅尔频率倒谱系数；基于第一内容特征与第二内容特征，确定内容损失。
在此情况下，步骤405可以基于重建损失和内容损失，对声学特征转换模型进行训练。
图4是根据一示例性实施例示出的声学特征转换模型的训练原理图。在图4中，示出了基于重建损失和内容损失对声学特征转换模型进行训练的过程。并且，基于重建损失和内容损失对声学特征转换模型进行训练的过程，可以包括：
基于重建损失和内容损失确定整体损失；
基于整体损失对声学特征转换模型进行训练。
例如，整体损失Ltotal可以表示为如下的表达式：
Ltotal＝Lrecon+λLconsist；其中，Lrecon为重建损失，Lconsist为内容损失，λ为预设权重，例如，λ的取值可以在[0，1]的区间内。
并且，基于重建损失和内容损失对声学特征转换模型进行训练的过程，可以被循环执行至整体损失Ltotal收敛达到预设的期望值而停止。
若采用第一编码器201对第一语音的梅尔频率倒谱系数的编码结果时间下采样、解码器204对时间下采样后的编码结果时间上采样后得到目标对象的声学特征，则，在训练过程中，第一编码器201对样本语音的梅尔频率倒谱系数的编码结果同样采用时间下采样，并且，解码器204同样对时间下采样后的编码结果时间上采样的方式。
在此情况下，如图3所示流程中的步骤302可以包括：将样本对象的样本语音的梅尔频率倒谱系数输入到编码模块211进行编码，得到初始的第一内容特征；将初始的第一内容特征输入到时间下采样模块212执行时间下采样，得到时间下采样后的第一内容特征。
并且，如图3所示流程中的步骤303可以包括：将时间下采样后的第一内容特征输入到时间上采样模块241执行时间上采样，得到时间上采样后的第一内容特征；将时间上采样后的第一内容特征输入到解码模块242进行解码，得到样本对象的训练声学特征。
在一些示例中，如图3所示流程中的步骤302将初始的第一内容特征输入到时间下采样模块212执行时间下采样，得到时间下采样后的第一内容特征，可以具体包括：从包含N个语音帧、初始的第一内容特征中去除(N-M)个语音帧，得到包含M个语音帧、时间下采样后的第一内容特征。例如，从包含N个语音帧、初始的第一内容特征中去除(N-M)个语音帧包括：从初始的第一内容特征中去除对应于预定的连续时间段的语音帧。
在一些示例中，如图3所示流程中的步骤303将时间下采样后的第一内容特征输入到时间上采样模块241执行时间上采样，得到时间上采样后的第一内容特征，可以具体包括：在包含M个语音帧、时间下采样后的第一内容特征中增加(N-M)个语音帧，得到包含N个语音帧、时间上采样后的第一内容特征；其中M小于N。例如，在包含M个语音帧、时间下采样后的第一内容特征中增加(N-M)个语音帧包括：将M个语音帧中的每一个语音帧，分别复制到对应于该每一个语音帧的各自连续时间段处。
图5是根据一示例性实施例示出的语音转换处理装置的结构图。如图5所示，本公开实施例还提供了一种语音处理装置，包括：
获取模块501，被配置为获取原始对象的第一语音；
确定模块502，被配置为确定第一语音的梅尔频率倒谱系数及第一语音的基频特征；
转换模块503，被配置为基于所述梅尔频率倒谱系数、所述基频特征以及目标对象的音色特征，确定所述目标对象的声学特征；
生成模块504，被配置为基于目标对象的声学特征生成目标对象的第二语音。
基于上述结构，本公开实施例中的语音转换装置可以使用梅尔频率倒谱系数实现语音转换，由于包含了内容特征的梅尔频率倒谱系数中滤除了大部分发声者的音色特征，因而以梅尔频率倒谱系数作为声学特征转换模型的输入声学特征，有利于语音转换中发声者的音色特征和内容特征的解耦处理，从而可以降低语音转换的解耦压力，进而可以省略在模型中设置的对抗网络。
在一些示例中，上述语音转换装置可以使用深度学习中的声学特征转换模型实现声学特征转换。在此情况下，转换模块503可以被配置为：利用声学特征转换模型基于所述基频特征以及所述音色特征，对所述梅尔频率倒谱系数进行声学特征转换，得到目标对象的声学特征。
在一些示例中，上述语音转换装置使用的声学特征转换模型可以具有如图2所示的形态。在此情况下，转换模块503可以被配置为：将第一语音的梅尔频率倒谱系数输入到第一编码器201，以促使第一编码器201对第一语音的梅尔频率倒谱系数包含的第一语音的内容特征进行编码，其中，第一编码器201以时间下采样方式将编码后的内容特征作为编码结果输出；将第一语音的基频特征、以及根据目标对象的标记信息索引到的目标对象的音色特征输入到声学特征转换模型的解码器204，以促使解码器204对编码结果(即第一编码器201以时间下采样方式输出的编码后的内容特征)进行时间上采样处理后，基于第一语音的基频特征、以及目标对象的音色特征对第一编码器201编码后的内容特征进行解码，得到目标对象的声学特征。
基于第一编码器201对输出的时间下采样、以及解码器204对输入的时间上采样，可以在确保内容特征不丢失的情况下，滤掉输入的梅尔频率倒谱系数中包含的少量发声者音色特征和少量绝对音高信息。
在一些示例中，转换模块503被配置为：将第一语音输入到所述声学特征转换模型的基频提取器；其中所述基频特征是所述基频提取器从所述第一语音中提取的。
在一些示例中，转换模块503被配置为：将所述目标对象的发声者信息输入到所述声学特征转换模型的第二编码器；其中所述音色特征是所述第二编码器针对所述发声者信息编码确定的。
在一些示例中，声学特征转换模型被期望训练为具有内容特征的一致性保持能力，若如此，如图5所示的语音转换处理装置还可以进一步包括训练模块，被配置为：将样本对象的样本语音的梅尔频率倒谱系数、样本语音的基频特征和该样本对象的音色特征输入到声学特征转换模型进行声学特征转换，得到该样本对象的训练声学特征；基于样本语音的梅尔频谱与训练声学特征，确定重建损失；基于重建损失对声学特征转换模型进行训练。
在一些示例中，为了得到该样本对象的训练声学特征，训练模块可以被具体配置为：将样本对象的样本语音的梅尔频率倒谱系数输入到声学特征转换模型的第一编码器进行编码，得到样本语音的第一内容特征；将样本语音的基频特征、样本对象的音色特征和第一内容特征输入到声学特征转换模型的解码器进行解码，得到样本对象的训练声学特征。
除了重建损失以外，还可以引入内容损失作为另外一个衡量指标，则，训练模块进一步被配置为：基于训练声学特征生成样本对象的重构梅尔频率倒谱系数；将样本对象的重构梅尔频率倒谱系数输入到第一编码器进行编码，得到样本语音的第二内容特征；基于第一内容特征与第二内容特征，确定内容损失；其中训练模块被配置为按照如下方式基于重建损失对声学特征转换模型进行训练：基于重建损失和内容损失对声学特征转换模型进行训练。
在一种可能实施方式中，训练模块被配置为：根据所述重建损失和所述内容损失，确定整体损失；基于所述整体损失对所述声学特征转换模型进行训练。
在一种可能实施方式中，训练模块被配置为：将所述重建损失和所述内容损失的总和，确定为所述整体损失。
在一种可能实施方式中，训练模块被配置为：利用DCT滤波器，将所述训练声学特征转换得到所述样本对象的重构梅尔频率倒谱系数。
在一种可能实施方式中，训练模块被配置为按照如下方式基于重建损失和内容损失对声学特征转换模型进行训练：基于Ltotal＝Lrecon+λLconsist确定整体损失Ltotal，其中Lrecon为重建损失，Lconsist为内容损失；λ为预设权重，例如，λ的取值可以在[0，1]的区间内；基于整体损失Ltotal对声学特征转换模型进行训练。
无论是基于重建损失对声学特征转换模型进行训练，还是基于重建损失和内容损失对声学特征转换模型进行训练，上述语音转换处理装置基于目标对象生成的目标对象的第二语音包含的内容特征都可以与第一语音的内容特征相同，从而，可以摆脱对语音识别系统的依赖，以无监督的方式实现内容特征和发声者音色特征的解耦。
在一些示例中，若第一编码器201对输出的时间下采样、以及解码器204对输入的时间上采样，则，在训练过程中，从第一编码器201得到的第一内容特征是通过时间下采样的方式输出的，并且，第一内容特征被输出到解码器204后是被解码器204以时间上采样方式处理后才执行解码的。
本申请实施例还提供了一种电子设备。图6是根据一示例性实施例示出的一种电子设备的结构图。如图6所示，该电子设备600可以包括：处理器601；用于存储处理器601可执行指令的存储器602；其中，处理器601被配置为：执行存储器602上所存放的可执行指令时，实现本公开实施例所提供的一种语音转换处理方法，并且，该语音转换处理方法中还可以进一步包括前述的模型训练方法的步骤。
可以理解的是，该电子设备600可以是服务器或是终端设备，在具体应用中，该终端设备可以为移动电话、计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
图7是根据一示例性实施例示出的一种语音转换处理装置的结构图。例如，装置700可以是：智能手机、平板电脑、动态影像专家压缩标准音频层面3播放器(MovingPicture Experts Group Audio Layer III，MP3)、动态影像专家压缩标准音频层面4(Moving Picture Experts Group Audio Layer IV，MP4)播放器、笔记本电脑或台式电脑。装置700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，装置700包括有：处理器701和存储器702。
处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(Central ProcessingUnit，CPU)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以在集成有图像处理器(Graphics Processing Unit，GPU)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括人工智能(Artificial Intelligence，AI)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。
在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本公开中各个实施例提供的语音转换处理方法，并且，该语音转换处理方法中还可以进一步包括前述的模型训练方法的步骤。在一些实施例中，装置700还可选包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：射频电路704、触摸显示屏705、摄像头组件706、音频电路707、定位组件708和电源709中的至少一种。
外围设备接口703可被用于将输入/输出(Input/Output，I/O)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路704用于接收和发射射频(Radio Frequency，RF)信号，也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路704包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或无线保真(Wireless Fidelity，WiFi)网络。在一些实施例中，射频电路704还可以包括近距离无线通信(Near Field Communication，NFC)有关的电路，本公开对此不加以限定。
显示屏705用于显示用户界面(User Interface，UI)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时，显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时，显示屏705还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏705可以为一个，设置装置700的前面板；在另一些实施例中，显示屏705可以为至少两个，分别设置在装置700的不同表面或呈折叠设计；在再一些实施例中，显示屏705可以是柔性显示屏，设置在装置700的弯曲表面上或折叠面上。甚至，显示屏705还可以设置成非矩形的不规则图形，也即异形屏。显示屏705可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等材质制备。
摄像头组件706用于采集图像或视频。可选地，摄像头组件706包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及虚拟现实(Virtual Reality，VR)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器701进行处理，或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在装置700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路707还可以包括耳机插孔。
定位组件708用于定位装置700的当前地理位置，以实现导航或基于位置的服务(Location Based Service，LBS)。定位组件708可以是基于美国的全球定位系统(GlobalPositioning System，GPS)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源709用于为装置700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以支持快充技术。
在一些实施例中，装置700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于：加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。
加速度传感器711可以检测以装置700建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号，控制触摸显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器712可以检测装置700的机体方向及转动角度，陀螺仪传感器712可以与加速度传感器711协同采集用户对装置700的3D动作。处理器701根据陀螺仪传感器712采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器713可以设置在装置700的侧边框和/或触摸显示屏705的下层。当压力传感器713设置在装置700的侧边框时，可以检测用户对装置700的握持信号，由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在触摸显示屏705的下层时，由处理器701根据用户对触摸显示屏705的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器714用于采集用户的指纹，由处理器701根据指纹传感器714采集到的指纹识别用户的身份，或者，由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器701授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置装置700的正面、背面或侧面。当装置700上设置有物理按键或厂商Logo时，指纹传感器714可以与物理按键或厂商Logo集成在一起。
光学传感器715用于采集环境光强度。在一个实施例中，处理器701可以根据光学传感器715采集的环境光强度，控制触摸显示屏705的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏705的显示亮度；当环境光强度较低时，调低触摸显示屏705的显示亮度。在另一个实施例中，处理器701还可以根据光学传感器715采集的环境光强度，动态调整摄像头组件706的拍摄参数。
接近传感器716，也称距离传感器，通常设置在装置700的前面板。接近传感器716用于采集用户与装置700的正面之间的距离。在一个实施例中，当接近传感器716检测到用户与装置700的正面之间的距离逐渐变小时，由处理器701控制触摸显示屏705从亮屏状态切换为息屏状态；当接近传感器716检测到用户与装置700的正面之间的距离逐渐变大时，由处理器701控制触摸显示屏705从息屏状态切换为亮屏状态。
本领域技术人员可以理解，上述的结构并不构成对装置700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图8是根据一示例性实施例示出的另一种语音转换处理装置的结构图。例如，装置800可以被提供为一服务器。参照图8，装置800包括处理组件801，其进一步包括一个或多个处理器，以及由存储器802所代表的存储器资源，用于存储可由处理组件801的执行的指令，例如应用程序。存储器802中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件801被配置为执行指令，以执行上述的语音转换处理方法，并且，该语音转换处理方法中还可以进一步包括前述的模型训练方法的步骤。
装置800还可以包括一个电源组件803被配置为执行装置801的电源管理，一个有线或无线网络接口804被配置为将装置800连接到网络，和一个输入输出接口805。装置800可以操作基于存储在存储器802的操作系统，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD或类似。
另外，本申请实施例还提供了一种非临时性计算机可读存储介质，当存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本申请实施例所提供的一种语音转换处理方法的步骤，并且还可以执行该语音转换处理方法中可能进一步包括前述的模型训练方法的步骤。计算机可读存储介质可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本发明保护的范围。在本发明公开的实施方式中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
另外，本申请实施例还提供了一种计算机程序产品，当计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行上述的语音转换处理方法的步骤，并且还可以执行该语音转换处理方法中可能进一步包括前述的模型训练方法的步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (10)
1.一种语音处理方法，其特征在于，包括：
获取原始对象的第一语音；
确定所述第一语音的梅尔频率倒谱系数及所述第一语音的基频特征；
基于所述梅尔频率倒谱系数、所述基频特征以及目标对象对应的音色特征，确定所述目标对象的声学特征；
基于所述目标对象的声学特征生成所述目标对象的第二语音。
2.根据权利要求1所述的语音处理方法，其特征在于，所述基于所述梅尔频率倒谱系数、所述基频特征以及目标对象对应的音色特征，确定所述目标对象的声学特征，包括：
利用声学特征转换模型基于所述基频特征以及所述音色特征，对所述梅尔频率倒谱系数进行声学特征转换，得到所述目标对象的声学特征。
3.根据权利要求2所述的语音处理方法，其特征在于，所述利用声学特征转换模型基于所述基频特征以及所述音色特征，对所述梅尔频率倒谱系数进行声学特征转换，得到所述目标对象的声学特征，包括：
将所述梅尔频率倒谱系数输入到所述声学特征转换模型的第一编码器，以促使所述第一编码器对所述梅尔频率倒谱系数包含的所述第一语音的内容特征编码，其中，所述第一编码器以时间下采样方式输出编码结果；
将所述基频特征以及所述音色特征输入到所述声学特征转换模型的解码器，以促使所述解码器对所述编码结果进行时间上采样处理后，基于所述基频特征和所述音色特征对所述编码结果进行解码，得到所述目标对象的声学特征。
4.根据权利要求3所述的语音处理方法，其特征在于，进一步包括：
将所述第一语音输入到所述声学特征转换模型的基频提取器；
其中，所述基频特征是所述基频提取器从所述第一语音中提取的。
5.根据权利要求3所述的语音处理方法，其特征在于，进一步包括：
将所述目标对象的发声者信息输入到所述声学特征转换模型的第二编码器；其中，所述音色特征是所述第二编码器针对所述发声者信息编码确定的。
6.根据权利要求5所述的语音处理方法，其特征在于，所述第二编码器被配置为基于查找表方式编码得到所述音色特征。
7.根据权利要求3所述的语音处理方法，其特征在于，还包括：
将样本对象的样本语音的梅尔频率倒谱系数输入到所述声学特征转换模型的第一编码器进行编码，得到所述样本语音的第一内容特征；
将样本语音的基频特征、样本对象对应的音色特征和所述第一内容特征输入到所述声学特征转换模型的解码器进行解码，得到所述样本对象的训练声学特征；
基于所述样本语音的梅尔频谱与所述训练声学特征，确定重建损失；
基于所述重建损失对所述声学特征转换模型进行训练。
8.一种语音处理装置，其特征在于，包括：
获取模块，被配置为获取原始对象的第一语音；
确定模块，被配置为确定所述第一语音的梅尔频率倒谱系数及所述第一语音的基频特征；
转换模块，被配置为基于所述梅尔频率倒谱系数、所述基频特征以及目标对象对应的音色特征，确定所述目标对象的声学特征；
生成模块，被配置为基于所述目标对象的声学特征生成所述目标对象的第二语音。
9.一种电子设备，其特征在于，该电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现权利要求1-7任一项所述的语音处理方法。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时实现权利要求1-7任一项所述的语音处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111599046.6A CN114283825A (zh) | 2021-12-24 | 2021-12-24 | 一种语音处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111599046.6A CN114283825A (zh) | 2021-12-24 | 2021-12-24 | 一种语音处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114283825A true CN114283825A (zh) | 2022-04-05 |
Family
ID=80875012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111599046.6A Pending CN114283825A (zh) | 2021-12-24 | 2021-12-24 | 一种语音处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114283825A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115132204A (zh) * | 2022-06-10 | 2022-09-30 | 腾讯科技（深圳）有限公司 | 一种语音处理方法、设备、存储介质及计算机程序产品 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107705802A (zh) * | 2017-09-11 | 2018-02-16 | 厦门美图之家科技有限公司 | 语音转换方法、装置、电子设备及可读存储介质 |
| CN109817197A (zh) * | 2019-03-04 | 2019-05-28 | 天翼爱音乐文化科技有限公司 | 歌声生成方法、装置、计算机设备和存储介质 |
| CN111696520A (zh) * | 2020-05-26 | 2020-09-22 | 深圳壹账通智能科技有限公司 | 智能配音方法、装置、介质及电子设备 |
| CN112216293A (zh) * | 2020-08-28 | 2021-01-12 | 北京捷通华声科技股份有限公司 | 一种音色转换方法和装置 |
| CN112466314A (zh) * | 2020-11-27 | 2021-03-09 | 平安科技（深圳）有限公司 | 情感语音数据转换方法、装置、计算机设备及存储介质 |
| CN112634920A (zh) * | 2020-12-18 | 2021-04-09 | 平安科技（深圳）有限公司 | 基于域分离的语音转换模型的训练方法及装置 |
| US20210193160A1 (en) * | 2019-12-24 | 2021-06-24 | Ubtech Robotics Corp Ltd. | Method and apparatus for voice conversion and storage medium |
-
2021
- 2021-12-24 CN CN202111599046.6A patent/CN114283825A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107705802A (zh) * | 2017-09-11 | 2018-02-16 | 厦门美图之家科技有限公司 | 语音转换方法、装置、电子设备及可读存储介质 |
| CN109817197A (zh) * | 2019-03-04 | 2019-05-28 | 天翼爱音乐文化科技有限公司 | 歌声生成方法、装置、计算机设备和存储介质 |
| US20210193160A1 (en) * | 2019-12-24 | 2021-06-24 | Ubtech Robotics Corp Ltd. | Method and apparatus for voice conversion and storage medium |
| CN111696520A (zh) * | 2020-05-26 | 2020-09-22 | 深圳壹账通智能科技有限公司 | 智能配音方法、装置、介质及电子设备 |
| CN112216293A (zh) * | 2020-08-28 | 2021-01-12 | 北京捷通华声科技股份有限公司 | 一种音色转换方法和装置 |
| CN112466314A (zh) * | 2020-11-27 | 2021-03-09 | 平安科技（深圳）有限公司 | 情感语音数据转换方法、装置、计算机设备及存储介质 |
| CN112634920A (zh) * | 2020-12-18 | 2021-04-09 | 平安科技（深圳）有限公司 | 基于域分离的语音转换模型的训练方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115132204A (zh) * | 2022-06-10 | 2022-09-30 | 腾讯科技（深圳）有限公司 | 一种语音处理方法、设备、存储介质及计算机程序产品 |
| CN115132204B (zh) * | 2022-06-10 | 2024-03-22 | 腾讯科技（深圳）有限公司 | 一种语音处理方法、设备、存储介质及计算机程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110933330A (zh) | 视频配音方法、装置、计算机设备及计算机可读存储介质 | |
| CN109994127B (zh) | 音频检测方法、装置、电子设备及存储介质 | |
| CN111564152B (zh) | 语音转换方法、装置、电子设备及存储介质 | |
| CN110688082B (zh) | 确定音量的调节比例信息的方法、装置、设备及存储介质 | |
| CN110956971B (zh) | 音频处理方法、装置、终端及存储介质 | |
| CN109003621B (zh) | 一种音频处理方法、装置及存储介质 | |
| CN111524501A (zh) | 语音播放方法、装置、计算机设备及计算机可读存储介质 | |
| CN110992927B (zh) | 音频生成方法、装置、计算机可读存储介质及计算设备 | |
| CN112907725A (zh) | 图像生成、图像处理模型的训练、图像处理方法和装置 | |
| CN109065068B (zh) | 音频处理方法、装置及存储介质 | |
| CN111445901A (zh) | 音频数据获取方法、装置、电子设备及存储介质 | |
| CN109243479B (zh) | 音频信号处理方法、装置、电子设备及存储介质 | |
| CN111048109A (zh) | 声学特征的确定方法、装置、计算机设备及存储介质 | |
| CN112261491B (zh) | 视频时序标注方法、装置、电子设备及存储介质 | |
| CN109192223B (zh) | 音频对齐的方法和装置 | |
| CN111081277B (zh) | 音频测评的方法、装置、设备及存储介质 | |
| CN111223475B (zh) | 语音数据生成方法、装置、电子设备及存储介质 | |
| CN112735429A (zh) | 确定歌词时间戳信息的方法和声学模型的训练方法 | |
| CN111105788A (zh) | 敏感词分数检测方法、装置、电子设备及存储介质 | |
| CN116208704A (zh) | 一种声音处理方法及其装置 | |
| CN112667844A (zh) | 检索音频的方法、装置、设备和存储介质 | |
| CN110600034B (zh) | 歌声生成方法、装置、设备及存储介质 | |
| CN109961802B (zh) | 音质比较方法、装置、电子设备及存储介质 | |
| CN111368136A (zh) | 歌曲识别方法、装置、电子设备及存储介质 | |
| CN113362836B (zh) | 训练声码器方法、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |