CN112382271A - 语音处理方法、装置、电子设备和存储介质 - Google Patents
语音处理方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112382271A CN112382271A CN202011379883.3A CN202011379883A CN112382271A CN 112382271 A CN112382271 A CN 112382271A CN 202011379883 A CN202011379883 A CN 202011379883A CN 112382271 A CN112382271 A CN 112382271A
- Authority
- CN
- China
- Prior art keywords
- voice
- features
- speech
- waveform
- generator model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 35
- 238000006243 chemical reaction Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000001228 spectrum Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 18
- 239000011159 matrix material Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 238000010606 normalization Methods 0.000 description 8
- 230000003595 spectral effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000037433 frameshift Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
- G10L13/10—Prosody rules derived from text; Stress or intonation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
Abstract
本申请公开了一种语音处理方法、装置、电子设备和存储介质，涉及语音技术、深度学习及自然语言处理等人工智能领域。具体实现方案为：获取语音样本，提取语音样本的声学特征和音色特征；提取声学特征中的内容特征；将内容特征和音色特征输入至初始的生成器模型，获得针对语音样本的预测语音波形；根据预测语音波形和语音样本的真实语音波形，训练初始生成器模型，获取模型参数，并根据模型参数形成新的生成器模型；获取源语音的声学特征和目标音色特征，将源语音的声学特征和目标音色特征输入至生成器模型，得到转换后的语音波形。本申请可以实现直接在声码器上即可进行语音转换，提高了语音转换效率。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及语音技术、深度学习及自然语言处理等人工智能领域，具体涉及一种语音处理方法、装置、电子设备和存储介质。
背景技术
随着计算机技术的发展以及语音处理技术的突破，语音在生活中发挥了重要的作用，如车载系统中的语音助手，安防系统中的声纹识别等，为人们的生活提供了极大的便利。而个性化语音生成是如今语音应用的热点。语音转换是个性化语音生成的一种重要技术。其中，语音转换是语音生成的一个重要子方向，其任务是在保证内容不变、仅改变音色的情况下，将一个人的语音转换成其他人的语音。对比语音合成技术，语音转换更容易通过保留源语音中的个性化内容，如韵律、情感，提供表现力更为丰富的语音。目前，在语音转换领域己经有着不少的研究，受到学术界和工业界的广泛关注。
发明内容
本申请提供了一种语音处理方法、装置、电子设备以及存储介质。
根据本申请的第一方面，提供了一种语音处理方法，包括：
获取语音样本，提取所述语音样本的声学特征和音色特征；
提取所述声学特征中的内容特征；
将所述内容特征和所述音色特征输入至初始的生成器模型，获得针对所述语音样本的预测语音波形；
根据所述预测语音波形和所述语音样本的真实语音波形，训练所述初始生成器模型，获取模型参数，并根据所述模型参数形成新的生成器模型；
获取源语音的声学特征和目标音色特征，将所述源语音的声学特征之中的内容特征和所述目标音色特征输入至所述生成器模型，得到转换后的语音波形。
根据本申请的第二方面，提供了一种语音处理装置，包括：
第一获取模块，用于获取语音样本；
第一提取模块，用于提取所述语音样本的声学特征和音色特征；
第二提取模块，用于提取所述声学特征中的内容特征；
第二获取模块，用于将所述内容特征和所述音色特征输入至初始的生成器模型，获得针对所述语音样本的预测语音波形；
训练模块，用于根据所述预测语音波形和所述语音样本的真实语音波形，训练所述初始生成器模型，获取模型参数，并根据所述模型参数形成新的生成器模型；
语音转换模块，用于获取源语音的声学特征和目标音色特征，将所述源语音的声学特征之中的内容特征和所述目标音色特征输入至所述生成器模型，得到转换后的语音波形。
根据本申请的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述第一方面所述的语音处理方法。
根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述第一方面所述的语音处理方法。
根据本申请的第五方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现前述第一方面所述的语音处理方法。
根据本申请的技术方案，通过提取语音样本之中声学特征中的内容信息，将语音样本中的音色信息作为模型的全局信息拼接到每帧内容信息上，进而通过学习内容信息和音色信息的联合来重建语音波形，达到联合建模的目的，实现了可以对语音转换系统进行联合建模，由此通过对语音转换声码器建模过程进行改进，使其声码器具有语音转换功能，从而可以实现直接在声码器上即可进行语音转换，提高了语音转换效率。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请实施例提供的一种语音处理方法的流程图；
图2是根据本申请实施例提供的另一种语音处理方法的流程图；
图3是根据本申请实施例的基于MelGan的语音转换声码器的训练过程的示意图；
图4是根据本申请实施例的时序上下采样的流程示意图；
图5是根据本申请实施例的对拼接得到的语音特征序列不断进行上采样的过程示意图；
图6是根据本申请实施例的基于MelGan的语音转换声码器的预测过程的示意图；
图7是根据本申请实施例提供的一种语音处理装置的结构框图；
图8是根据本申请实施例的用以实现语音处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，语音转换的目的是将源说话人的语音转为目标说话人的音色，并保持语音的表达内容不变。相关技术中，通常是采用高斯混合模型、频率弯折、深度神经网络、基于单元选择的方法、基于GAN(Generative Adversarial Networks，生成式对抗网络)的语音转换、基于音素概率图的非平行语料语音转换、基于自重构信息解耦来实现语音转换。其中，大多数模型均是在声学特征之间进行源和目标声码器的转换，然后通过一个通用声码器来合成转换后的语音。
但是，相关技术中的语音转换方法较为耗时，尤其是当转换模型和声码器模型都需要很大的计算量时，系统串联的整体计算量较大；并且，转换的特征通过声码器合成语音过程中的损失并没有考虑到模型的整体优化中，这可能会导致转换语音的相似度，音质不够理想。
为此，本申请实施例提供了一种语音处理方法、装置、电子设备和存储介质。本申请实施例通过提取语音样本的声学特征和音色特征，并提取声学特征中的内容特征，将音色信息作为生成器模型的全局信息，训练生成器模型学习内容特征和音色特征的联合来重建语音波形，达到联合建模的目的，使得训练得到的生成器模型具有语音转换的功能，进而基于该生成器模型直接将源说话人的语音转换成目标说话人的音色，并保持语音的表达内容不变。由此可见，本申请训练得到的生成器模型具有预测速度快，模型体积小，语音转换效果更佳等优点。
图1是根据本申请实施例提供的一种语音处理方法的流程图。需要说明的是，本申请实施例的语音处理方法可应用于本申请实施例的语音处理装置，该语音处理装置可被配置于电子设备上。如图1所示，该语音处理方法可以包括如下步骤。
在步骤101中，获取语音样本，提取语音样本的声学特征和音色特征。
可选地，获取大量的语音样本，针对每个语音样本，分别从语音样本中提取声学特征和音色特征。
在一些实施例中，声学特征可包括但不限于梅尔频谱、梅尔倒谱、STFT(Shorttime fourier transform，短时傅里叶变换)特征等中的一种或多种。作为一种示例，该声学特征可为梅尔频谱特征。
在步骤102中，提取声学特征中的内容特征。
可选地，从声学特征中提取内容特征。例如，可去除声学特征中的音色特征，以提取内容特征。例如，可通过采用时序上下采样、或归一化算法Instance Normalization(英文简称：IN)等方法去除声学特征中的音色特性，以提取出该声学特征中的内容特征。
在步骤103中，将内容特征和音色特征输入至初始的生成器模型，获得针对语音样本的预测语音波形。
可选地，将声学特征中的内容特征和语音样本的音色特征，输入至初始的生成器模型，通过生成器模型将音色特征作为全局信息拼接到每帧内容特征上，并通过拼接得到的语音特征序列进行波形生成处理，得到针对语音样本的预测语音波形。在一些实施例中，该生成器模型可为基于生成对抗网络MelGan的语音转换声码器中的生成器。该MelGan可为用于条件波形合成的生成对抗网络，其中，该MelGan模型的输入可为梅尔频谱特征。
在步骤104中，根据预测语音波形和语音样本的真实语音波形，训练初始生成器模型，获取模型参数，并根据模型参数形成新的生成器模型。
在一些实施例中，可按照预设算法，根据预测语音波形和真实语音波形生成损失值，并根据损失值和预设的目标函数训练初始生成器模型。
其中，在本申请一些实施例中，上述预设算法可为损失函数，通过损失函数用来评价模型的预测语音波形和真实语音波形不一样的程度。
其中，上述目标函数可为目标损失值。可选地，按照预设算法计算预测语音波形和语音样本的真实语音波形之间的损失值，判断该损失值和目标函数是否存在一定条件，比如损失值是否小于或等于目标损失值，若是，则表示模型已训练完成，获取训练好的模型的模型参数，根据该模型参数形成新的生成器模型。若该损失值大于目标损失值，则表示模型需要继续训练，此时，可调整该模型的参数，并将内容特征和音色特征输入值该调整参数后的模型中进行语音波形的预测，并通过将预测语音波形与真实语音波形进行对比，并回传损失值，直至损失值小于或等于目标损失值，表示此时模型已训练完成，获取训练好的模型的模型参数，根据该模型参数形成新的生成器模型。
在步骤105中，获取源语音的声学特征和目标音色特征，将源语音的声学特征之中的内容特征和目标音色特征输入至生成器模型，得到转换后的语音波形。
在一些实施例中，响应于接收到的源语音，提取该源语音中的声学特征，并提取该声学特征的内容特征。获取目标音色特征，并将源语音的声学特征之中的内容特征和目标音色特征输入至已完成训练的生成器模型中进行语音波形的预测。其中，通过生成器模型将该内容特征作为局部信息，目标音色特征作为全局信息，将目标音色特征拼接至每帧的内容特征上，得到语音特征序列，并通过生成器模型对该语音特征序列进行波形生成处理，得到转换后的语音波形。
需要说明的是，在本申请一些实施例中，上述目标音色特征可以是预先设定的，或者，还可以是从用户提供的目标语音中提取到的。例如，电子设备可提供至少一个预先设定的音色特征，可以获取用户可从至少一个预先设定的音色特征中选取的一个作为目标音色特征。又如，电子设备可提供语音接收接口，通过该接口可获取到用户输入的语音，并从该语音中提取音色特征，将提取到的音色特征作为该目标音色特征。由此，通过用户选择的目标音色特征，将源语音转换成具有该目标音色的语音，提供了个性化语音转换功能。
本申请实施例的语音处理方法，通过获取语音样本，提取语音样本的声学特征和音色特征，并提取声学特征中的内容特征；将内容特征和音色特征输入至初始的生成器模型，获得针对语音样本的预测语音波形，并根据预测语音波形和语音样本的真实语音波形，训练初始生成器模型，获取模型参数，并根据模型参数形成新的生成器模型；获取源语音的声学特征和目标音色特征，将源语音的声学特征和目标音色特征输入至生成器模型，得到转换后的语音波形。由此，本申请实施例通过提取声学特征中的内容信息，将语音中的音色信息作为模型的全局信息拼接到每帧内容信息上，进而通过学习内容信息和音色信息的联合来重建语音波形，达到联合建模的目的，实现了可以对语音转换系统进行联合建模，由此通过对语音转换声码器建模过程进行改进，使其声码器具有语音转换功能，从而可以实现直接在声码器上即可进行语音转换，提高了语音转换效率。
需要说明的是，在一些实施例中，生成器模型可为基于MelGan的语音转换声码器中的生成器。其中，该基于MelGan的语音转换声码器的网络结构可包括条件变换网络、生成器和鉴别器等。下面将结合图2至图6详细介绍基于MelGan的语音转换声码器的训练过程和预测过程。
图2是根据本申请实施例提供的另一种语音处理方法的流程图。在本申请实施例中，以生成器模型为基于MelGan的语音转换声码器中的生成器，声学特征为梅尔频谱为例。如图2所示，该语音处理方法可以包括如下步骤。
在步骤201中，获取语音样本，提取语音样本的梅尔频谱特征和音色特征。
例如，如图3所示，在获得语音样本时，可提取语音样本的梅尔频谱特征和音色特征。其中，如图3所示的源梅尔频谱特征可理解为语音样本的梅尔频谱特征，源音色特征可为语音样本的音色特征。
在步骤202中，提取梅尔频谱特征中的内容特征。
例如，如图3所示，可将语音样本的梅尔频谱特征输入至条件变换网络。通过该条件变换网络提取采用时序上下采样、或归一化算法Instance Normalization等方法去除梅尔频谱特征中的音色特性，以提取出该梅尔频谱特征中的内容特征。下面将分别给出采用时序上下采样、归一化算法Instance Normalization方法来提取梅尔频谱特征中的内容特征的示例：
作为一种可能实现方式的示例，条件变换网络可包括下采样网络和上采样网络。可基于下采样网络对声学特征进行N倍下采样，得到下采样后的特征序列；其中，所述N为大于或等于2的正整数；基于上采样网络对下采样后的特征序列进行N倍上采样，将经过上采样后得到的特征序列确定为所述内容特征。
例如，如图4所示，为时序上下采样的流程示意图。在本示例中，以2倍下采样和2倍上采样为例，假设语音样本的梅尔频谱特征为一个下采样前的特征序列，特征维度为D，特征序列的长度为T，这个特征序列可以视作一个T*D的矩阵。下采样过程：将下采样前的特征序列输入到下采样网络中，下采样网络可以通过池化操作pooling，卷积stride(步长)等方式对特征进行下采样。在本示例中，假设进行了2倍下采样，下采样后得到T/2*D的一个矩阵。上采样过程：将下采样后的特征序列通过上采样网络进行上采样，上采样网络包含线性插值上采样、pixel-shuffle等方法可以对特征序列进行上采样。在本示例中，假设进行了2倍上采样，下采样后得到T*D的一个矩阵。因为在上下采样的过程中，有对信息的压缩和还原，因此会损失一部分信息，一般对这部分损失的信息认为是音色信息，从而可以通过时序上下采样可以去除梅尔频谱特征中的音色特征，保留内容特征，从而实现从梅尔频谱特征提取内容特征的目的。
作为另一种可能实现方式的示例，通过条件变换网络采用归一化算法InstanceNormalization去除梅尔频谱特征中的音色特性，以提取出该梅尔频谱特征中的内容特征。其中，该条件变换网络在训练时对网络的每一层卷积输出进行归一化，所述条件变换网络用于消除全局信息。在本示例中，归一化算法Instance Normalization指的是在训练时对网络的每一层卷积输出进行归一化，因为音色信息往往认为是全局信息，归一化后会使全局信息丢失，因而会去掉音色信息，从而，可以通过归一化算法IN算法可以去除梅尔频谱特征中的音色特征，保留内容特征，从而实现从梅尔频谱特征提取内容特征的目的。
在步骤203中，将内容特征和音色特征输入至初始的生成器模型，获得针对语音样本的预测语音波形。
在一些实施例中，将梅尔频谱特征中的内容特征和语音样本的音色特征，输入至初始的生成器模型，通过生成器模型将音色特征作为全局信息拼接到每帧内容特征上，并通过拼接得到的语音特征序列进行波形生成处理，得到针对语音样本的预测语音波形。
需要说明的是，在语音特征序列中，每一帧语音特征代表的语音内容都不一样，每一帧语音都有局部信息；在一条语音特征序列中，音色信息是恒定不变的，每一帧的音色信息都是一样的，全局信息通常指的是音色信息。举例而言，如图3所示，可将梅尔频谱特征中的内容特征和语音样本的音色特征输入至生成器模型中。在如图3所示的生成器模型中，将内容特征作为局部信息，音色特征作为全局信息拼接到每一帧内容特征上，并通过拼接到得到的语音特征序列进行波形生成处理，得到预测语音波形。
例如，假设有一语音序列为200*80矩阵，提取内容特征为200*256矩阵，提取音色特征为1*256大小的矩阵。将内容特征作为局部信息，音色特征作为全局信息拼接到每一帧内容特征上的过程可如下：将音色特征复制200帧，变成200*256矩阵；内容特征矩阵200*256特征前后拼接音色特征矩阵200*256，得到200*512大小的特征矩阵，该200*512大小的特征矩阵可为上述的语音特征序列。
在一些实施例中，可通过对拼接得到的语音特征序列不断进行上采样，使序列长度逐渐达到语音的波形点长度，从而预测出语音波形。可以理解，由于MelGan可直接通过梅尔频谱等特征预测语音波形信息，属于短序列预测长序列的情况。比如：有一段1s的语音采样率为16Khz，以10ms为帧移，可以提取100帧梅尔频谱特征，而语音的波形点则有16000个，因此要用梅尔频谱预测语音波形点需要进行上采样，这里最终要进行160倍上采样。例如，如图5所示，对拼接得到的语音特征序列不断进行上采样的过程可如下：假设图5中当前的特征序列，有T帧，特征的维度为D,则构成矩阵大小为T*D；上采样通过反卷积来实现，假设进行2倍上采样，得到上采样后构成的矩阵大小为2T*D。由此，在如图3所示的生成器模型中，可通过该上采样方式不断对拼接得到的语音特征序列进行上采样，使序列长度逐渐达到语音的波形点长度，从而得到针对语音样本的预测语音波形。
步骤204中，根据预测语音波形和语音样本的真实语音波形，训练初始生成器模型，获取模型参数，并根据模型参数形成新的生成器模型。
例如，如图3所示，将预测语音波形和语音样本的真实语音波形输入到鉴别器上。鉴别器可按照预设算法，根据预测语音波形和真实语音波形生成损失值，并根据损失值和预设的目标函数训练初始生成器模型。也就是说，鉴别器可对预测得到的语音波形与真实语音波形进行对比，将误差回传给生成器，以便根据该误差调整模型参数，进而对模型继续训练。
其中，在本申请一些实施例中，上述预设算法可为损失函数，通过损失函数用来评价模型的预测语音波形和真实语音波形不一样的程度。
其中，上述目标函数可为目标损失值。可选地，按照预设算法计算预测语音波形和语音样本的真实语音波形之间的损失值，判断该损失值和目标函数是否存在一定条件，比如损失值是否小于或等于目标损失值，若是，则表示模型已训练完成，获取训练好的模型的模型参数，根据该模型参数形成新的生成器模型。若该损失值大于目标损失值，则表示模型需要继续训练，此时，可调整该模型的参数，并将内容特征和音色特征输入至该调整参数后的模型中进行语音波形的预测，并通过将预测语音波形与真实语音波形进行对比，并回传损失值，直至损失值小于或等于目标损失值，表示此时模型已训练完成，获取训练好的模型的模型参数，根据该模型参数形成新的生成器模型。
在步骤205中，获取源语音的梅尔频谱特征和目标音色特征，将源语音的梅尔频谱特征之中的内容特征和目标音色特征输入至生成器模型，得到转换后的语音波形。
例如，如图6所示，为基于MelGan的语音转换声码器的预测过程。在预测过程中，可将源语音的梅尔频谱特征和目标音色特征输入到基于MelGan的语音转换声码器中。通过声码器中的条件变换网络提取该梅尔频谱特征的内容特征，并将内容特征和目标音色特征作为生成器的输入。生成器将音色特征作为全局信息拼接到每帧内容特征上，并通过不断对拼接得到的语音特征序列进行上采样，使序列长度逐渐达到语音的波形点长度。将生成器输出的语音波形作为转换后的语音波形，即实现将源语音从源音色转换成目标音色的语音转换。
综上，本申请实施例设计了一种基于MelGan的语音转换声码器。MelGan是一种神经网络声码器，具有预测速度快，模型体积小，效果较好，多人性能优良等优点。现有技术中的MelGan并不具有语音转换的功能，本申请实施例将MelGan加上了一个条件变换网络来提取声学特征中的内容信息，另外可以利用声纹系统或者音色编码器提取音色向量作为音色信息，音色信息将作为MelGan的全局信息。MelGan通过学习内容信息和音色信息的联合来重建语音波形，达到联合建模的目的。实现了可以对语音转换系统进行联合建模，由此通过对语音转换声码器建模过程进行改进，使其声码器具有语音转换功能，从而可以实现直接在声码器上即可进行语音转换，提高了语音转换效率。
图7是根据本申请实施例提供的一种语音处理装置的结构框图。如图7所示，该语音处理装置700可以包括：第一获取模块701、第一提取模块702、第二提取模块703、第二获取模块704、训练模块705和语音转换模块706。
具体地，第一获取模块701用于获取语音样本。
第一提取模块702用于提取语音样本的声学特征和音色特征。
第二提取模块703用于提取声学特征中的内容特征。在一些实施例中，第二提取模块703基于下采样网络对所述声学特征进行N倍下采样，得到下采样后的特征序列；其中，所述N为大于或等于2的正整数；基于上采样网络对所述下采样后的特征序列进行N倍上采样，将经过上采样后得到的特征序列确定为所述内容特征。
在其他实施例中，第二提取模块703基于预设的条件变换网络，提取所述声学特征中的内容特征；其中，所述条件变换网络在训练时对网络的每一层卷积输出进行归一化，所述条件变换网络用于消除全局信息。
第二获取模块704用于将内容特征和音色特征输入至初始的生成器模型，获得针对语音样本的预测语音波形。在一些实施例中，第二获取模块704将所述内容特征和所述音色特征输入至初始的生成器模型；通过所述生成器模型将所述内容特征作为局部信息，所述音色特征作为全局信息，将所述音色特征拼接至每帧的内容特征上，得到针对所述语音样本的语音特征序列；通过所述生成器模型对所述语音特征序列进行波形生成处理，得到针对所述语音样本的预测语音波形。其中，生成器模型为基于MelGan的神经网络模型。
训练模块705用于根据预测语音波形和语音样本的真实语音波形，训练初始生成器模型，获取模型参数，并根据模型参数形成新的生成器模型。在一些实施例中，训练模块705按照预设算法，根据所述预测语音波形和所述真实语音波形生成损失值；根据所述损失值和预设的目标函数训练所述初始生成器模型。
语音转换模块706用于获取源语音的声学特征和目标音色特征，将源语音的声学特征之中的内容特征和目标音色特征输入至生成器模型，得到转换后的语音波形。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请实施例的语音处理装置，通过提取语音样本之中声学特征中的内容信息，将语音样本中的音色信息作为模型的全局信息拼接到每帧内容信息上，进而通过学习内容信息和音色信息的联合来重建语音波形，达到联合建模的目的，实现了可以对语音转换系统进行联合建模，由此通过对语音转换声码器建模过程进行改进，使其声码器具有语音转换功能，从而可以实现直接在声码器上即可进行语音转换，提高了语音转换效率。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图8所示，是根据本申请实施例的用以实现语音处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的语音处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的语音处理方法。
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的语音处理方法对应的程序指令/模块(例如，附图7所示的第一获取模块701、第一提取模块702、第二提取模块703、第二获取模块704、训练模块705和语音转换模块706)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的语音处理方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据用以实现语音处理方法的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至用以实现语音处理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
用以实现语音处理方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息，以及产生与用以实现语音处理方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (15)
1.一种语音处理方法，包括：
获取语音样本，提取所述语音样本的声学特征和音色特征；
提取所述声学特征中的内容特征；
将所述内容特征和所述音色特征输入至初始的生成器模型，获得针对所述语音样本的预测语音波形；
根据所述预测语音波形和所述语音样本的真实语音波形，训练所述初始生成器模型，获取模型参数，并根据所述模型参数形成新的生成器模型；
获取源语音的声学特征和目标音色特征，将所述源语音的声学特征之中的内容特征和所述目标音色特征输入至所述生成器模型，得到转换后的语音波形。
2.根据权利要求1所述的语音处理方法，其中，所述提取所述声学特征中的内容特征，包括：
基于下采样网络对所述声学特征进行N倍下采样，得到下采样后的特征序列；其中，所述N为大于或等于2的正整数；
基于上采样网络对所述下采样后的特征序列进行N倍上采样，将经过上采样后得到的特征序列确定为所述内容特征。
3.根据权利要求1所述的语音处理方法，其中，所述提取所述声学特征中的内容特征，包括：
基于预设的条件变换网络，提取所述声学特征中的内容特征；其中，所述条件变换网络在训练时对网络的每一层卷积输出进行归一化，所述条件变换网络用于消除全局信息。
4.根据权利要求1所述的语音处理方法，其中，所述将所述内容特征和所述音色特征输入至初始的生成器模型，获得针对所述语音样本的预测语音波形，包括：
将所述内容特征和所述音色特征输入至初始的生成器模型；
通过所述生成器模型将所述内容特征作为局部信息，所述音色特征作为全局信息，将所述音色特征拼接至每帧的内容特征上，得到针对所述语音样本的语音特征序列；
通过所述生成器模型对所述语音特征序列进行波形生成处理，得到针对所述语音样本的预测语音波形。
5.根据权利要求1所述的语音处理方法，其中，所述根据所述预测语音波形和所述语音样本的真实语音波形，训练所述初始生成器模型，包括：
按照预设算法，根据所述预测语音波形和所述真实语音波形生成损失值；
根据所述损失值和预设的目标函数训练所述初始生成器模型。
6.根据权利要求1至5中任一项所述的语音处理方法，其中，所述生成器模型为基于生成对抗网络MelGan的神经网络模型。
7.一种语音处理装置，包括：
第一获取模块，用于获取语音样本；
第一提取模块，用于提取所述语音样本的声学特征和音色特征；
第二提取模块，用于提取所述声学特征中的内容特征；
第二获取模块，用于将所述内容特征和所述音色特征输入至初始的生成器模型，获得针对所述语音样本的预测语音波形；
训练模块，用于根据所述预测语音波形和所述语音样本的真实语音波形，训练所述初始生成器模型，获取模型参数，并根据所述模型参数形成新的生成器模型；
语音转换模块，用于获取源语音的声学特征和目标音色特征，将所述源语音的声学特征之中的内容特征和所述目标音色特征输入至所述生成器模型，得到转换后的语音波形。
8.根据权利要求7所述的语音处理装置，其中，所述第二提取模块具体用于：
基于下采样网络对所述声学特征进行N倍下采样，得到下采样后的特征序列；其中，所述N为大于或等于2的正整数；
基于上采样网络对所述下采样后的特征序列进行N倍上采样，将经过上采样后得到的特征序列确定为所述内容特征。
9.根据权利要求7所述的语音处理装置，其中，所述第二提取模块具体用于：
基于预设的条件变换网络，提取所述声学特征中的内容特征；其中，所述条件变换网络在训练时对网络的每一层卷积输出进行归一化，所述条件变换网络用于消除全局信息。
10.根据权利要求7所述的语音处理装置，其中，所述第二获取模块具体用于：
将所述内容特征和所述音色特征输入至初始的生成器模型；
通过所述生成器模型将所述内容特征作为局部信息，所述音色特征作为全局信息，将所述音色特征拼接至每帧的内容特征上，得到针对所述语音样本的语音特征序列；
通过所述生成器模型对所述语音特征序列进行波形生成处理，得到针对所述语音样本的预测语音波形。
11.根据权利要求7所述的语音处理装置，其中，所述训练模块具体用于：
按照预设算法，根据所述预测语音波形和所述真实语音波形生成损失值；
根据所述损失值和预设的目标函数训练所述初始生成器模型。
12.根据权利要求7至11中任一项所述的语音处理装置，其中，所述生成器模型为基于生成对抗网络MelGan的神经网络模型。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6中任一项所述的语音处理方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1至6中任一项所述的语音处理方法。
15.一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的语音处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011379883.3A CN112382271B (zh) | 2020-11-30 | 2020-11-30 | 语音处理方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011379883.3A CN112382271B (zh) | 2020-11-30 | 2020-11-30 | 语音处理方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112382271A true CN112382271A (zh) | 2021-02-19 |
| CN112382271B CN112382271B (zh) | 2024-03-26 |
Family
ID=74590070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011379883.3A Active CN112382271B (zh) | 2020-11-30 | 2020-11-30 | 语音处理方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112382271B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113077783A (zh) * | 2021-03-26 | 2021-07-06 | 联想(北京)有限公司 | 小语种语音语料扩增方法、装置及电子设备和存储介质 |
| CN113096673A (zh) * | 2021-03-30 | 2021-07-09 | 山东省计算中心（国家超级计算济南中心） | 基于生成对抗网络的语音处理方法及系统 |
| CN113178201A (zh) * | 2021-04-30 | 2021-07-27 | 平安科技（深圳）有限公司 | 基于无监督的语音转换方法、装置、设备及介质 |
| CN113327573A (zh) * | 2021-05-28 | 2021-08-31 | 平安科技（深圳）有限公司 | 语音合成方法、装置、设备及存储介质 |
| CN113555026A (zh) * | 2021-07-23 | 2021-10-26 | 平安科技（深圳）有限公司 | 语音转换方法、装置、电子设备及介质 |
| CN113689868A (zh) * | 2021-08-18 | 2021-11-23 | 北京百度网讯科技有限公司 | 一种语音转换模型的训练方法、装置、电子设备及介质 |
| CN113793598A (zh) * | 2021-09-15 | 2021-12-14 | 北京百度网讯科技有限公司 | 语音处理模型的训练方法和数据增强方法、装置及设备 |
| CN113920979A (zh) * | 2021-11-11 | 2022-01-11 | 腾讯科技（深圳）有限公司 | 语音数据的获取方法、装置、设备及计算机可读存储介质 |
| CN114299910A (zh) * | 2021-09-06 | 2022-04-08 | 腾讯科技（深圳）有限公司 | 语音合成模型的训练方法、使用方法、装置、设备及介质 |
| CN114333865A (zh) * | 2021-12-22 | 2022-04-12 | 广州市百果园网络科技有限公司 | 一种模型训练以及音色转换方法、装置、设备及介质 |
| CN114360490A (zh) * | 2022-01-26 | 2022-04-15 | 腾讯科技（深圳）有限公司 | 语音合成方法、装置、计算机设备和存储介质 |
| CN115064177A (zh) * | 2022-06-14 | 2022-09-16 | 中国第一汽车股份有限公司 | 基于声纹编码器的语音转换方法、装置、设备及介质 |
| WO2023236054A1 (zh) * | 2022-06-07 | 2023-12-14 | 北京小米移动软件有限公司 | 一种生成音频的方法、装置及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6336092B1 (en) * | 1997-04-28 | 2002-01-01 | Ivl Technologies Ltd | Targeted vocal transformation |
| CN108777140A (zh) * | 2018-04-27 | 2018-11-09 | 南京邮电大学 | 一种非平行语料训练下基于vae的语音转换方法 |
| CN109377978A (zh) * | 2018-11-12 | 2019-02-22 | 南京邮电大学 | 非平行文本条件下基于i向量的多对多说话人转换方法 |
| CN110288975A (zh) * | 2019-05-17 | 2019-09-27 | 北京达佳互联信息技术有限公司 | 语音风格迁移方法、装置、电子设备及存储介质 |
| CN110634476A (zh) * | 2019-10-09 | 2019-12-31 | 深圳大学 | 一种快速搭建鲁棒性声学模型的方法及系统 |
| CN111201565A (zh) * | 2017-05-24 | 2020-05-26 | 调节股份有限公司 | 用于声对声转换的系统和方法 |
| CN111316352A (zh) * | 2019-12-24 | 2020-06-19 | 深圳市优必选科技股份有限公司 | 语音合成方法、装置、计算机设备和存储介质 |
| CN111462728A (zh) * | 2020-03-31 | 2020-07-28 | 北京字节跳动网络技术有限公司 | 用于生成语音的方法、装置、电子设备和计算机可读介质 |
| CN111627418A (zh) * | 2020-05-27 | 2020-09-04 | 携程计算机技术（上海）有限公司 | 语音合成模型的训练方法、合成方法、系统、设备和介质 |
| CN111667814A (zh) * | 2020-05-26 | 2020-09-15 | 北京声智科技有限公司 | 一种多语种的语音合成方法及装置 |
| US20200365166A1 (en) * | 2019-05-14 | 2020-11-19 | International Business Machines Corporation | High-quality non-parallel many-to-many voice conversion |
-
2020
- 2020-11-30 CN CN202011379883.3A patent/CN112382271B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6336092B1 (en) * | 1997-04-28 | 2002-01-01 | Ivl Technologies Ltd | Targeted vocal transformation |
| CN111201565A (zh) * | 2017-05-24 | 2020-05-26 | 调节股份有限公司 | 用于声对声转换的系统和方法 |
| CN108777140A (zh) * | 2018-04-27 | 2018-11-09 | 南京邮电大学 | 一种非平行语料训练下基于vae的语音转换方法 |
| CN109377978A (zh) * | 2018-11-12 | 2019-02-22 | 南京邮电大学 | 非平行文本条件下基于i向量的多对多说话人转换方法 |
| US20200365166A1 (en) * | 2019-05-14 | 2020-11-19 | International Business Machines Corporation | High-quality non-parallel many-to-many voice conversion |
| CN110288975A (zh) * | 2019-05-17 | 2019-09-27 | 北京达佳互联信息技术有限公司 | 语音风格迁移方法、装置、电子设备及存储介质 |
| CN110634476A (zh) * | 2019-10-09 | 2019-12-31 | 深圳大学 | 一种快速搭建鲁棒性声学模型的方法及系统 |
| CN111316352A (zh) * | 2019-12-24 | 2020-06-19 | 深圳市优必选科技股份有限公司 | 语音合成方法、装置、计算机设备和存储介质 |
| CN111462728A (zh) * | 2020-03-31 | 2020-07-28 | 北京字节跳动网络技术有限公司 | 用于生成语音的方法、装置、电子设备和计算机可读介质 |
| CN111667814A (zh) * | 2020-05-26 | 2020-09-15 | 北京声智科技有限公司 | 一种多语种的语音合成方法及装置 |
| CN111627418A (zh) * | 2020-05-27 | 2020-09-04 | 携程计算机技术（上海）有限公司 | 语音合成模型的训练方法、合成方法、系统、设备和介质 |
Non-Patent Citations (1)
| Title |
|---|
| 王杰;李德玉;王素格;: "面向非平衡文本情感分类的TSF特征选择方法", 计算机科学, no. 10 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113077783A (zh) * | 2021-03-26 | 2021-07-06 | 联想(北京)有限公司 | 小语种语音语料扩增方法、装置及电子设备和存储介质 |
| CN113096673B (zh) * | 2021-03-30 | 2022-09-30 | 山东省计算中心（国家超级计算济南中心） | 基于生成对抗网络的语音处理方法及系统 |
| CN113096673A (zh) * | 2021-03-30 | 2021-07-09 | 山东省计算中心（国家超级计算济南中心） | 基于生成对抗网络的语音处理方法及系统 |
| CN113178201A (zh) * | 2021-04-30 | 2021-07-27 | 平安科技（深圳）有限公司 | 基于无监督的语音转换方法、装置、设备及介质 |
| CN113327573A (zh) * | 2021-05-28 | 2021-08-31 | 平安科技（深圳）有限公司 | 语音合成方法、装置、设备及存储介质 |
| CN113555026A (zh) * | 2021-07-23 | 2021-10-26 | 平安科技（深圳）有限公司 | 语音转换方法、装置、电子设备及介质 |
| CN113555026B (zh) * | 2021-07-23 | 2024-04-19 | 平安科技（深圳）有限公司 | 语音转换方法、装置、电子设备及介质 |
| CN113689868A (zh) * | 2021-08-18 | 2021-11-23 | 北京百度网讯科技有限公司 | 一种语音转换模型的训练方法、装置、电子设备及介质 |
| CN114299910A (zh) * | 2021-09-06 | 2022-04-08 | 腾讯科技（深圳）有限公司 | 语音合成模型的训练方法、使用方法、装置、设备及介质 |
| CN114299910B (zh) * | 2021-09-06 | 2024-03-22 | 腾讯科技（深圳）有限公司 | 语音合成模型的训练方法、使用方法、装置、设备及介质 |
| CN113793598B (zh) * | 2021-09-15 | 2023-10-27 | 北京百度网讯科技有限公司 | 语音处理模型的训练方法和数据增强方法、装置及设备 |
| CN113793598A (zh) * | 2021-09-15 | 2021-12-14 | 北京百度网讯科技有限公司 | 语音处理模型的训练方法和数据增强方法、装置及设备 |
| CN113920979B (zh) * | 2021-11-11 | 2023-06-02 | 腾讯科技（深圳）有限公司 | 语音数据的获取方法、装置、设备及计算机可读存储介质 |
| CN113920979A (zh) * | 2021-11-11 | 2022-01-11 | 腾讯科技（深圳）有限公司 | 语音数据的获取方法、装置、设备及计算机可读存储介质 |
| WO2023116660A3 (zh) * | 2021-12-22 | 2023-08-17 | 广州市百果园网络科技有限公司 | 一种模型训练以及音色转换方法、装置、设备及介质 |
| CN114333865A (zh) * | 2021-12-22 | 2022-04-12 | 广州市百果园网络科技有限公司 | 一种模型训练以及音色转换方法、装置、设备及介质 |
| CN114360490A (zh) * | 2022-01-26 | 2022-04-15 | 腾讯科技（深圳）有限公司 | 语音合成方法、装置、计算机设备和存储介质 |
| WO2023236054A1 (zh) * | 2022-06-07 | 2023-12-14 | 北京小米移动软件有限公司 | 一种生成音频的方法、装置及存储介质 |
| CN115064177A (zh) * | 2022-06-14 | 2022-09-16 | 中国第一汽车股份有限公司 | 基于声纹编码器的语音转换方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112382271B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112382271B (zh) | 语音处理方法、装置、电子设备和存储介质 | |
| JP7213913B2 (ja) | ニューラルネットワークを使用したオーディオの生成 | |
| CN107945786B (zh) | 语音合成方法和装置 | |
| JP7106680B2 (ja) | ニューラルネットワークを使用したターゲット話者の声でのテキストからの音声合成 | |
| CN112466275B (zh) | 语音转换及相应的模型训练方法、装置、设备及存储介质 | |
| US11355097B2 (en) | Sample-efficient adaptive text-to-speech | |
| CN112509552B (zh) | 语音合成方法、装置、电子设备和存储介质 | |
| CN112599141B (zh) | 神经网络声码器训练方法、装置、电子设备及存储介质 | |
| US20220328041A1 (en) | Training neural networks to predict acoustic sequences using observed prosody info | |
| CN112365875B (zh) | 语音合成方法、装置、声码器和电子设备 | |
| CN114895817B (zh) | 交互信息处理方法、网络模型的训练方法及装置 | |
| JP2022046731A (ja) | 音声生成方法、装置、電子機器及び記憶媒体 | |
| JP7408788B2 (ja) | 過去の入力に選択的に注意を向けるための注意ベースのニューラルネットワークの拡張 | |
| CN112365879A (zh) | 语音合成方法、装置、电子设备和存储介质 | |
| CN111753761A (zh) | 模型生成方法、装置、电子设备及存储介质 | |
| CN114495977B (zh) | 语音翻译和模型训练方法、装置、电子设备以及存储介质 | |
| WO2024055752A1 (zh) | 语音合成模型的训练方法、语音合成方法和相关装置 | |
| CN112289305A (zh) | 韵律预测方法、装置、设备以及存储介质 | |
| JP7412483B2 (ja) | 音声処理方法、装置、電子機器及び記憶媒体 | |
| CN114360559B (zh) | 语音合成方法、装置、电子设备和存储介质 | |
| CN114882151A (zh) | 虚拟形象视频的生成方法及装置、设备、介质和产品 | |
| CN114898734B (zh) | 基于语音合成模型的预训练方法、装置和电子设备 | |
| US11915702B1 (en) | Automated systems and methods that generate affect-annotated timelines | |
| US20240038213A1 (en) | Generating method, generating device, and generating program | |
| CN117746906A (zh) | 一种音乐文件识别方法及装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |