CN114495956A - 语音处理方法、装置、设备及存储介质 - Google Patents

语音处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114495956A
CN114495956A CN202210118558.4A CN202210118558A CN114495956A CN 114495956 A CN114495956 A CN 114495956A CN 202210118558 A CN202210118558 A CN 202210118558A CN 114495956 A CN114495956 A CN 114495956A
Authority
CN
China
Prior art keywords
style
audio
network
attribute information
loss value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210118558.4A
Other languages
English (en)
Inventor
赵情恩
梁芸铭
张银辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210118558.4A priority Critical patent/CN114495956A/zh
Publication of CN114495956A publication Critical patent/CN114495956A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013—Adapting to target pitch
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013—Adapting to target pitch
    • G10L2021/0135—Voice conversion or morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本公开提供了语音处理方法、装置、设备及存储介质，数据处理领域，尤其涉及人工智能、深度学习、语音处理技术领域。具体实现方案为：获取待处理文本的音素序列和参考风格音频的风格属性信息，风格属性信息包含说话人特征和韵律特征；利用风格属性信息，得到音素序列对应的音频特征；根据音素序列对应的音频特征，得到待处理文本对应的目标风格音频。根据本公开的技术，将参考风格音频的说话人的风格特性拆解成说话人特性和韵律风格两部分，屏蔽了信道和内容的影响，减弱了二者之间的相互影响，以使目标风格音频的风格属性信息与参考风格音频的风格属性信息高度一致，从而提高了音频的合成质量。

Description

语音处理方法、装置、设备及存储介质
技术领域
本公开涉及数据处理领域，尤其涉及人工智能、深度学习、语音处理技术领域，具体涉及语音处理方法、装置、设备及存储介质。
背景技术
相关技术中，语音风格的迁移方案通常包括内容方面的特征提取、说话人特性的提取、音频声谱特征的预测，最后将声谱通过现有的声码器转换为音频即可。由于在说话人特性的提取过程中，没有将说话人的说话风格特性进行剥离，例如抑扬顿挫、短时停顿、重音等，从而在一定程度上影响了语音风格的迁移效果。
发明内容
本公开提供了语音处理方法、装置、设备及存储介质。
根据本公开的一方面，提供了一种语音处理方法，包括：
获取待处理文本的音素序列和参考风格音频的风格属性信息，风格属性信息包含说话人特征和韵律特征；
利用风格属性信息，得到音素序列对应的音频特征；
根据音素序列对应的音频特征，得到待处理文本对应的目标风格音频。
根据本公开的另一方面，提供了一种模型训练方法，包括：
获取初始风格编码网络和初始声谱生成网络，初始声谱生成网络包括文本编码模块和声谱编码模块；以及，获取参考风格音频样本和对应的文本标注样本；
将参考风格音频样本输入初始风格编码网络，得到预测风格属性信息，预测风格属性信息包含说话人特征和韵律特征；
将文本标注样本和预测风格属性信息输入初始声谱生成网络，得到预测音频特征；
利用预测音频特征和参考风格音频样本的差异，对初始风格编码网络和初始声谱生成网络的参数进行调整，得到符合预设条件的目标风格编码网络和目标声谱生成网络。
根据本公开的另一方面，提供了一种语音处理装置，包括：
获取模块，用于获取待处理文本的音素序列和参考风格音频的风格属性信息，风格属性信息包含说话人特征和韵律特征；
音频特征生成模块，用于利用风格属性信息，得到音素序列对应的音频特征；
目标风格音频生成模块，用于根据音素序列对应的音频特征，得到待处理文本对应的目标风格音频。
根据本公开的另一方面，提供了一种模型训练装置，包括：
网络获取模块，用于获取初始风格编码网络和初始声谱生成网络，初始声谱生成网络包括文本编码模块和声谱编码模块；
样本获取模块，用于获取参考风格音频样本和对应的文本标注样本；
预测风格属性信息生成模块，用于将参考风格音频样本输入初始风格编码网络，得到预测风格属性信息，预测风格属性信息包含说话人特征和韵律特征；
预测音频特征生成模块，用于将文本标注样本和预测风格属性信息输入初始声谱生成网络，得到预测音频特征；
参数调整模块，用于利用预测音频特征和参考风格音频样本的差异，对初始风格编码网络和初始声谱生成网络的参数进行调整，得到符合预设条件的目标风格编码网络和目标声谱生成网络。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。
根据本公开的技术，通过获取参考风格音频的风格属性信息，且风格属性信息包括说话人特征和韵律特征，然后利用风格属性信息将待处理文本的音素序列转化为对应的音频特征，以得到的目标风格音频。由此，在获取参考风格音频的风格属性信息时，可以将参考风格音频的说话人的风格特性拆解成说话人特性和韵律风格两部分，屏蔽了信道和内容的影响，减弱了二者之间的相互影响，以使目标风格音频的风格属性信息与参考风格音频的风格属性信息高度一致，从而提高了音频的合成质量。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1示出根据本公开实施例的语音处理方法的流程图；
图2示出根据本公开实施例的语音处理方法的获取说话人特征的具体流程图；
图3示出根据本公开实施例的语音处理方法的获取韵律特征的具体流程图；
图4示出根据本公开实施例的语音处理方法的得到音频特征的具体流程图；
图5示出根据本公开实施例的语音处理方法的进行编码处理的具体流程图；
图6示出根据本公开实施例的语音处理方法的进行声谱处理的具体流程图；
图7示出用于执行本公开实施例的语音处理方法的语音处理系统的示意图；
图8示出语音处理系统的风格编码模块的示意图；
图9示出语音处理系统的风格规整层的示意图；
图10示出语音处理系统的属性变量适配器的示意图；
图11示出根据本公开实施例的模型训练方法的流程图；
图12示出根据本公开实施例的模型训练方法的具体流程图；
图13示出根据本公开实施例的模型训练方法的对初始风格编码网络和初始声谱生成网络进行训练的具体流程图；
图14示出根据本公开实施例的模型训练方法的对基础风格编码网络进行训练的具体流程图；
图15示出根据本公开实施例的语音处理装置的示意图；
图16示出根据本公开实施例的模型训练装置的示意图；
图17是用来实现本公开实施例的语音处理方法和/或模型训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中消除了对公知功能和结构的描述。
下面参照图1至图10描述根据本公开实施例的语音处理方法。
如图1所示，根据本公开实施例的语音处理方法包括以下步骤：
S101：获取待处理文本的音素序列和参考风格音频的风格属性信息，风格属性信息包含说话人特征和韵律特征；
S102：利用风格属性信息，得到音素序列对应的音频特征；
S103：根据音素序列对应的音频特征，得到待处理文本对应的目标风格音频。
本公开实施例的方法可以用于语音风格迁移的应用场景。具体而言，本公开实施例的方法针对任意的待处理文本序列，根据给定的参照风格音频，生成具有参照风格音频的说话人风格属性的目标风格音频。换而言之，可以将给定的源音频的说话人特性和说话风格，迁移到目标风格音频中。
本公开实施例的方法的具体应用场景十分广泛，例如可以应用于变声系统、语音聊天、在线游戏中隐藏说话人的真实身份，来模仿他人说话以达到娱乐的效果等。
可以理解的是，音素是根据语音的自然属性划分出来的最小语音单位，依据音节里的发音动作来分析，一个发音动作单独构成一个音素。也就是说，音素是构成音节的最小单位或最小的语音片段，是从音质的角度划分出来的最小的线性语音单位。以汉语文本为例，音素分为元音与辅音两大类。例如，汉语音节啊(ā)只有一个音素，爱(ài)有两个音素，代(dài)有三个音素等。
示例性地，在步骤S101中，可以根据待处理文本对应的国际音标的音标符号，得到音素序列。例如，针对语种为英语的待处理文本，可以按照国际音标中的英语国际音标的规则获取对应的音素序列。
说话人特征具体包括说话人向量和说话人相关系数矩阵，韵律特征具体包括韵律向量和韵律性格系数矩阵。
其中，风格属性信息中所包含的说话人特征，可以用来表征参照风格音频的说话人的音色等特性。风格属性信息中所包含的韵律特征，可以用来表征参照风格音频的说话人讲话时的抑扬顿挫、短时停顿、重读音节等特性。
在一个具体示例中，可以将参考风格音频输入预先训练的风格编码网络，得到说话人特征和韵律特征。
具体地，风格编码网络包括说话人分支和韵律分支。其中，说话人分支可以根据输入的参考风格音频的分类标签向量，输出说话人向量以及说话人相关系数矩阵，以得到说话人特征；韵律分支可以根据输入的参考风格音频的梅尔谱特征输出韵律向量和韵律性格系数矩阵，以得到韵律特征。
示例性地，在步骤S102中，音素序列对应的音频特征具体可以为音频梅尔谱特征。
在一个示例中，可以将待处理文本的音素序列输入预先训练的声谱生成网络。声谱生成网络包括文本编码模块和声谱解码模块，文本编码模块的输出作为声谱解码模块的输入。具体地，文本编码模块用于根据输入的音素序列输出高维语义特征，然后将高维语义特征输入声谱解码模块，声谱解码模块根据输入的高维语义特征输出音素序列对应的音频特征。
示例性地，在步骤S103中，基于上一步得到的音素序列对应的音频梅尔谱特征，将音频梅尔谱特征转化为音频，即得到待处理文本的目标风格音频。可以理解的是，目标风格音频的风格属性信息与参考风格音频的风格属性信息一致，即目标风格音频的说话人特性以及韵律风格与参考风格音频的说话人特性以及韵律风格一致。
根据本公开实施例的方法，通过获取参考风格音频的风格属性信息，且风格属性信息包括说话人特征和韵律特征，然后利用风格属性信息将待处理文本的音素序列转化为对应的音频特征，以得到的目标风格音频。由此，在获取参考风格音频的风格属性信息时，可以将参考风格音频的说话人的风格特性拆解成说话人特性和韵律风格两部分，屏蔽了信道和内容的影响，减弱了二者之间的相互影响，以使目标风格音频的风格属性信息与参考风格音频的风格属性信息高度一致，从而提高了音频的合成质量。
如图2所示，在一种实施方式中，步骤S101包括：
S201：获取参考风格音频的分类标签向量；
S202：根据分类标签向量，利用预设的查找表确定参考风格音频的说话人特征向量；
S203：根据说话人特征向量，生成参考风格音频的说话人特征。
示例性地，在步骤S201中，可以利用PyTorch(一种开源的Python机器学习库)或者Tensorflow(一种基于数据流编程的符号数学系统)两个深度学习框架来生成one-hot向量(独热编码)，得到分类标签向量。
其中，分类标签向量可以为由多个数字“0”和一个数字“1”组成，用于表征参考风格音频所对应的说话人身份(Speaker ID)。
示例性地，在步骤S202中，预设的查找表为一个随机初始化的矩阵(SpeakerLook-Up-Table，Speaker LUT)，该矩阵的列数与分类标签向量的长度相同，通过将分类标签向量与该矩阵相乘，得到说话人特征向量(Speaker Vector)。例如，分类标签向量的长度可以为128，随机初始化的矩阵的规格可以为400*128，通过将分类标签向量与随机初始化矩阵相乘，得到400维的说话人特征向量。
示例性地，在步骤S203中，可以将说话人特征向量输入预先设置的说话人适配器(Speaker Conditional-Layer-Normalization Adaptor，SpeakerCLN Adaptor)，得到说话人相关系数矩阵。
至此，步骤S202中得到的说话人特征向量和步骤S203中得到的相关系数矩阵，作为参考风格音频的说话人特征。
在一个示例中，如图8所示，可以利用风格编码网络得到参考风格音频的风格属性信息。其中，风格编码网络包括说话人分支网络，说话人分支网络包括查找表和说话人适配器，查找表的输出作为说话人适配器的输入，用于分别得到说话人特征向量和说话人相关系数矩阵。
具体地，根据输入说话人分支网络的参考风格音频的分类标签向量，利用查找表得到说话人特征向量，然后将说话人特征向量输入说话人适配器，得到说话人相关系数矩阵。由此，得到包括说话人特征向量和说话人相关系数矩阵的说话人特征。
根据上述实施方式，通过利用查找表得到说话人特征向量可以根据不同说话人的参考风格音频，得到相应的说话人特征，并且在训练过程中，对于新增加的说话人的参考风格音频，通过对查找表进行调整，例如对随机初始化矩阵增加一列，并对分类标签向量的长度加一，可以进一步获取新增加的说话人的参考风格音频的说话人特征。并且，通过利用说话人适配器得到说话人相关系数矩阵，在对待处理文本的音素序列进行文本编码以及声谱解码的过程中可以融入说话人相关系数矩阵，以使最终得到的目标风格音频包含说话人特征。
如图3所示，在一种实施方式中，步骤S101包括：
S301：获取参考风格音频的梅尔谱特征(Mel-spectrogram)；
S302：根据梅尔谱特征，利用韵律编码器确定参考风格音频的韵律向量；
S303：根据韵律向量，生成参考风格音频的韵律特征。
在步骤S301中，可以利用本领域技术人员已经知悉的和未来可知悉的各种方式进行获取，本公开实施例对此不作具体限制。
例如，可以提取参考风格音频的每帧子音频的梅尔谱特征，其中，每帧子音频的时长为25ms、帧移为10ms，梅尔谱特征的维度可以取60。
示例性地，在步骤S302中，韵律编码器可以由卷积处理层(Conv1D)、多注意力机制层(Multi-Head-Attention)以及平均池化(Average-Pooling)组成。例如，可以由两个卷积处理层、两个多注意力机制层以及一个平均池化层组成。
示例性地，在步骤S303中，可以将韵律向量输入韵律适配器(PosodyConditional-Layer-Normalization Adaptor，Posody CLN Adaptor)，得到韵律性格系数矩阵。
至此，步骤S302中得到的韵律向量和步骤S303中得到的韵律性格系数矩阵，作为参考风格音频的韵律特征。
在一个示例中，如图8所示，可以利用风格编码网络得到参考风格音频的风格属性信息。其中，风格编码网络包括韵律分支网络，韵律分支网络包括韵律编码器和韵律适配器，韵律编码器的输出作为韵律适配器的输入。
具体地，根据输入韵律分支网络的参考风格音频的每帧子音频的梅尔谱特征，利用韵律编码器得到韵律向量。然后将韵律向量输入韵律适配器，得到韵律性格系数矩阵。由此，得到包括韵律向量和韵律性格系数矩阵的韵律特征。
根据上述实施方式，通过利用韵律编码器得到韵律向量，以及利用韵律适配器得到韵律性格系数矩阵，在对待处理文本的音素序列进行文本编码以及声谱解码的过程中可以融入韵律性格系数矩阵，以使最终得到的目标风格音频包含韵律特征。此外，通过分别获取参考风格音频的说话人特征和韵律特征，例如通过风格编码网络的说话人分支网络和韵律分支网络分别获取说话人特征和韵律特征，从而将参考风格音频的说话人的风格特性拆解成说话人特性和韵律特性两部分，屏蔽了信道和内容的影响，为保证后续生成的目标风格音频的风格属性信息与参考风格音频的风格属性信息的一致性，创设了有利条件。
如图4所示，在一种实施方式中，步骤S102包括：
S401：利用风格属性信息对音素序列进行文本编码处理，得到音素序列的高维语义特征；以及，
S402：利用风格属性信息对音素序列的高维语义特征进行声谱解码处理，得到音素序列对应的音频特征。
示例性地，根据待处理文本的音素序列和参考风格音频的风格属性信息，可以利用预先训练的声谱生成网络，得到目标风格音频。
具体地，声谱生成网络包括文本编码模块和声谱解码模块，文本编码模块的输出作为声谱解码模块的输入。其中，文本编码模块用于根据输入的待处理文本的音素序列和风格属性信息，得到音素序列的高维语义特征；声谱解码模块用于根据输入的高维语义特征和风格属性信息，得到目标风格音频的音频特征。
在一个示例中，如图7和图9所示，文本编码模块和声谱解码模块均设有风格适配规整层(Style-Adaptive Layer Normalization，SALN)，风格适配规整层设于文本编码模块以及声谱解码模块的隐含层的输出侧。风格适配规整层包括说话人条件规范化单元(Speaker Conditional-Layer-Normalization，Speaker CLN)和韵律条件规范化单元(Prosody Conditional-Layer-Normalization Adaptor，Prosody CLN Adaptor)，条件规范化单元的输入为说话人相关系数矩阵和上一个网络层的输出，条件规范化单元经过层规整运算，得到第一输出结果；韵律规范化单元的输入为韵律性格系数矩阵和上一个网络层的输出，韵律规范化单元经过层规整运算，得到第二输出结果。然后对第一输出结果和第二输出结果求和，得到风格适配规整后的融合结果。风格适配规整层的具体计算公式如下：
Figure BDA0003497557680000091
其中，LN用于表征层规整(layer normalization)运算，Hin用于表征前一网络层的输出，γs和βs用于表征说话人相关系数矩阵，γp和βp用于表征韵律性格系数矩阵。
根据上述实施方式，通过利用风格属性信息中拆解得到的说话人特征和韵律特征，消除了信道与内容的影响，通过在文本编码和声谱解码的处理过程中利用风格归整层进行融合处理，一方面将获取到的说话人相关系数和韵律性格系数矩阵在生成目标风格音频的过程中进行调控，另一方面将常规音频的产生(正确的得出各个文本的发音)与风格属性信息两者进行独立处理，能够更好的分别进行建模，例如对风格编码网络和声谱生成网络分别进行建模。
如图5所示，在一种实施方式中，步骤S401包括：
S501：对待处理文本的音素序列进行位置编码处理，得到包含位置编码信息的第一音素序列；
S502：利用风格属性信息，对第一音素序列依次进行多注意力机制的高维映射处理和卷积处理，得到音素序列的高维语义特征。
示例性地，步骤S501和步骤S502可以通过声谱生成网络的文本编码模块执行。
在一个示例中，如图7所示，文本编码模块由卷积预处理层(Conv Prenet)、位置编码层(Position Encoding)、多注意力机制层、风格适配规整层以及卷积处理层组成。多注意力机制层、风格适配规整层以及卷积处理层可以为顺次设置的4组，在其中的任一组中，多注意力机制层的输出侧连接一个风格适配规整层，该风格适配规整层的输出侧与卷积处理层的输入侧连接，卷积处理层的输出侧连接另一个风格适配归整层。
具体地，卷积预处理层用于对输入文本编码模块的音素序列进行卷积预处理，得到预处理后的音素序列；预处理后的音素序列输入位置编码层，位置编码层对预处理后的音素序列进行位置编码处理后，得到包含位置编码信息的第一音素序列；第一音素序列输入多注意力机制层，经过多注意力机制层的高维映射处理，得到第一特征；第一特征输入风格适配规整层，风格适配规整层将说话人相关系数矩阵、韵律性格系数矩阵与第一高维语义特征进行层规整运算后，得到第二特征；第二特征输入卷积处理层后，经过卷积处理层的卷积处理，得到第三特征；第三特征输入风格适配规整层，风格适配规整层将说话人相关系数矩阵、韵律性格系数矩阵与第三特征进行层规整运算后，得到高维语义特征。
通过上述实施方式，可以将音素序列通过神经网络映射到高维空间，并将音素序列本身代表的内容信息、上下文的关联信息以及语义信息表征出来，并且在风格属性信息的调控作用下，赋予音素序列中不同的音素相应的风格特性，例如在哪个音素的发音上停顿、在哪个音素的发音上重读等。
如图6所示，在一种实施方式中，步骤S402包括：
S601：根据说话人特征中包含的发音时长属性、发音音高属性和发音能量属性，对高维语义特征进行特征融合处理，得到第一高维语义特征；
S602：对第一高维语义特征进行位置编码处理，得到第二高维语义特征；
S603：利用风格属性信息，对第二高维语义特征依次进行多注意力机制的高维映射处理和卷积处理，得到第三高维语义特征；
S604：对第三高维语义特征进行全连接运算处理，得到音素序列对应的音频特征。
示例性地，上述步骤可以通过声谱生成网络的声谱解码模块执行。
在一个示例中，如图7所示，声谱解码模块由属性变量适配器(VarianceAdaptor)、位置编码层、多注意力机制层、风格适配规整层、卷积处理层、全连接层(FullConnection Layer)组成。其中，多注意力机制层、风格适配规整层、卷积处理层可以为顺次设置的4组，在其中的任一组中，多注意力机制层的输出侧连接一个风格适配规整层，该风格适配规整层的输出侧与卷积处理层的输入侧连接，卷积处理层的输出侧连接另一个风格适配归整层。
具体地，属性变量适配器根据说话人特征中包含的发音时长属性、发音音高属性和发音能量属性，对高维语义特征进行特征融合处理，得到第一高维语义特征。将第一高维语义特征输入位置编码层，通过位置编码层对第一高维语义特征进行位置编码处理，得到包含位置编码信息的第二高维语义特征。通过多注意力机制层对第二高维语义特征进行多注意力机制的高维映射处理，然后通过风格适配规整层基于说话人相关系数矩阵、韵律性格系数矩阵进行层规整运算，再通过卷积处理层进行卷积处理，以及通过风格适配规整层基于说话人相关系数矩阵、韵律性格系数矩阵再次进行层规整运算，得到第三高维语义特征。最后，通过全连接层对第三高维语义特征进行全连接运算处理，得到音频梅尔谱特征，即音素序列对应的音频特征。
通过上述实施方式，可以将经过文本编码处理得到的高维语义特征，通过声谱解码处理转化为相应的音频特征，且在声谱解码处理过程中，利用风格属性信息不断对各个阶段的特征进行调控，以使最终得到的音频特征的风格属性信息与参考风格音频的风格属性信息一致。此外，通过将说话人特征中包含的发音时长属性、发音音高属性和发音能量属性与高维语义特征进行特征融合处理，进一步提高了音频特征的质量，以使音频特征对应的目标风格音频逼近真人发出的声音。
下面参照图7至10以一个具体示例描述根据本公开实施例的语音处理方法。
如图7所示，用于执行本公开实施例的语音处理方法的语音处理系统包括风格编码网络和声谱生成网络，声谱生成网络包括文本编码模块和声谱解码模块。
首先，获取参考风格音频的分类标签向量(Speaker ID)和每帧子音频的梅尔谱特征(Mel-spectrogram)。然后将参考风格音频的分类标签向量和每帧子音频的梅尔谱特征输入风格编码网络(Style Encoder)，输出风格属性信息。其中，风格属性信息包括说话人相关系数矩阵和韵律性格系数矩阵，作为文本编码模块和声谱解码模块的风格规整层的风格归整参数(SALN parameters)。
如图8所示，风格编码网络包括说话人分支网络和韵律分支网络。说话人分支网络包括查找表(Speaker LUT)和说话人适配器(Speaker CLNAdaptor)，查找表的输出作为说话人适配器的输入，用于分别得到说话人特征向量(Speaker vector)和说话人相关系数矩阵。韵律分支网络包括韵律编码器和韵律适配器，韵律编码器的输出作为韵律适配器的输入，用于分别得到韵律向量(Prosody vector)和韵律性格系数矩阵。
具体地，根据输入说话人分支网络的参考风格音频的分类标签向量(SpeakerID)，利用查找表得到说话人特征向量，然后将说话人特征向量输入说话人适配器，得到说话人相关系数矩阵。由此，得到包括说话人特征向量和说话人相关系数矩阵的说话人特征。
根据输入韵律分支网络的参考风格音频的每帧子音频的梅尔谱特征(Mel-spectrogram)，利用韵律编码器得到韵律向量。然后将韵律向量输入韵律适配器，得到韵律性格系数矩阵。由此，得到包括韵律向量和韵律性格系数矩阵的韵律特征。
其次，继续参照图7，将待处理文本的音素序列(Phoneme Sequence)输入文本编码模块(Text Encoder)，得到高维语义特征；然后将高维语义特征输入声谱解码模块(MelDecoder)，得到音频特征(Mel spectrogram)。
其中，文本编码模块和声谱解码模块均设有风格适配规整层(SALN)，风格适配规整层设于文本编码模块以及声谱解码模块的隐含层的输出侧。
如图9所示，风格适配规整层包括说话人条件规范化单元(Speaker Conditional-Layer-Normalization，Speaker CLN)和韵律条件规范化单元(Prosody Conditional-Layer-Normalization Adaptor，Prosody CLN Adaptor)，条件规范化单元的输入为说话人相关系数矩阵和上一个网络层的输出，条件规范化单元经过层规整运算，得到第一输出结果；韵律规范化单元的输入为韵律性格系数矩阵和上一个网络层的输出，韵律规范化单元经过层规整运算，得到第二输出结果。然后对第一输出结果和第二输出结果求和，得到风格适配规整后的融合结果。风格适配规整层的具体计算公式如下：
Figure BDA0003497557680000131
其中，LN用于表征层规整(layer normalization)运算，Hin用于表征前一网络层的输出，γs和βs用于表征说话人相关系数矩阵，γp和βp用于表征韵律性格系数矩阵。
继续参照图7所示，文本编码模块由卷积预处理层(Conv Prenet)、位置编码层(Position Encoding)、多注意力机制层(Multi-Head Attention)、风格适配规整层(SALN)以及卷积处理层(Conv 1D)组成。多注意力机制层、风格适配规整层以及卷积处理层可以为顺次设置的4组，在其中的任一组中，多注意力机制层的输出侧连接一个风格适配规整层，该风格适配规整层的输出侧与卷积处理层的输入侧连接，卷积处理层的输出侧连接另一个风格适配归整层。
具体地，卷积预处理层用于对输入文本编码模块的音素序列进行卷积预处理，得到预处理后的音素序列；预处理后的音素序列输入位置编码层，位置编码层对预处理后的音素序列进行位置编码处理后，得到包含位置编码信息的第一音素序列；第一音素序列输入多注意力机制层，经过多注意力机制层的高维映射处理，得到第一特征；第一特征输入风格适配规整层，风格适配规整层将说话人相关系数矩阵、韵律性格系数矩阵与第一高维语义特征进行层规整运算后，得到第二特征；第二特征输入卷积处理层后，经过卷积处理层的卷积处理，得到第三特征；第三特征输入风格适配规整层，风格适配规整层将说话人相关系数矩阵、韵律性格系数矩阵与第三特征进行层规整运算后，得到高维语义特征。
继续参照图7所示，声谱解码模块由属性变量适配器(Variance Adaptor)、位置编码层(Positional Encoding)、多注意力机制层(Multi-Head Attention)、风格适配规整层(SALN)、卷积处理层(Conv 1D)、全连接层(Full Connection Layer)和后处理网络层(Postnet)组成。其中，多注意力机制层、风格适配规整层、卷积处理层可以为顺次设置的4组，在其中的任一组中，多注意力机制层的输出侧连接一个风格适配规整层，该风格适配规整层的输出侧与卷积处理层的输入侧连接，卷积处理层的输出侧连接另一个风格适配归整层。
具体地，属性变量适配器根据说话人特征中包含的发音时长属性、发音音高属性和发音能量属性，对高维语义特征进行特征融合处理，得到第一高维语义特征。
如图10所示，属性变量适配器包括发音时长预测器(Duration Predictor)、发音音高预测器(Pitch Predictor)以及发音能量预测器(Energy Predictor)。属性变量适配器的架构依次包括卷积处理层(Conv 1D)和线性整流层(ReLU)、规整层(LN)和随机丢弃层(Dropout)、卷积处理层(Conv 1D)和线性整流层(ReLU)、规整层(LN)和随机丢弃层(Dropout)以及线性处理层(Linear Layer)。
继续参照图7所示，将第一高维语义特征输入位置编码层，通过位置编码层对第一高维语义特征进行位置编码处理，得到包含位置编码信息的第二高维语义特征。通过多注意力机制层对第二高维语义特征进行多注意力机制的高维映射处理，然后通过风格适配规整层基于说话人相关系数矩阵、韵律性格系数矩阵进行层规整运算，再通过卷积处理层进行卷积处理，以及通过风格适配规整层基于说话人相关系数矩阵、韵律性格系数矩阵再次进行层规整运算，得到第三高维语义特征。最后，通过全连接层对第三高维语义特征进行全连接运算处理、以及后处理网络层的相应处理，得到音频梅尔谱特征，即音素序列对应的音频特征。
根据本公开实施例的另一方面，还提供了一种模型训练方法。
图11示出根据本公开实施例的模型训练方法的流程图。如图11所示，该模型训练方法包括：
S1101：获取初始风格编码网络和初始声谱生成网络，初始声谱生成网络包括文本编码模块和声谱编码模块；以及，获取参考风格音频样本和对应的文本标注样本；
S1102：将参考风格音频样本输入初始风格编码网络，得到预测风格属性信息，预测风格属性信息包含说话人特征和韵律特征；
S1103：将文本标注样本和预测风格属性信息输入初始声谱生成网络，得到预测音频特征；
S1104：利用预测音频特征和参考风格音频样本的差异，对初始风格编码网络和初始声谱生成网络的参数进行调整，得到符合预设条件的目标风格编码网络和目标声谱生成网络。
示例性地，参考风格音频样本和对应的文本标注样本，可以通过开源数据Aishell1～3、VCTK等获取。
具体地，从开源数据库中选取N个说话人，每个说话人对应M条不同风格的参考风格音频样本，每个参考风格音频样本带有相应的文本标注样本。对参考风格音频样本进行分帧处理，每帧子音频时长25ms、帧移10ms，然后对每帧子音频提取梅尔谱特征。
然后，将参考风格音频样本的分类标签向量以及每帧子音频的梅尔谱特征输入到初始风格编码网络，得到预测风格属性信息。其中，预测风格属性信息包括说话人向量和韵律向量、以及说话人相关系数矩阵和韵律性格系数矩阵。接着将标注文本样本对应的音素序列输入到初始声谱生成网络，再结合预测风格属性信息，得到预测音频特征。
针对每个参考风格音频样本，根据说话人向量和韵律向量之间的正交损失值、韵律性格系数矩阵对应的分类结果的交叉熵损失值以及预测音频特征与参考风格音频样本的真实音频特征之间的损失值，根据随机梯度下降准则反向传播误差并更新风格编码网络、文本编码模块以及声谱解码模块的参数，最终得到目标风格编码网络和目标声谱生成网络。
根据本公开实施例的方法，可以训练得到目标风格编码网络和目标声谱生成网络，利用目标风格编码网络获取参考风格音频的风格属性信息时，可以将参考风格音频的说话人的风格特性拆解成说话人特性和韵律风格两部分，屏蔽了信道和内容的影响，减弱了二者之间的相互影响，以使目标风格音频的风格属性信息与参考风格音频的风格属性信息高度一致，从而提高了目标声谱生成网络输出的音频特征的合成质量。
如图12所示，在一种实施方式中，该方法还包括：
S1201：利用第一参考风格音频样本和第一文本标注样本，对初始风格编码网络和初始声谱生成网络进行训练，得到符合第一预设条件的基础风格编码网络和待选声谱生成网络；
S1202：利用第二参考风格音频样本和第二文本标注样本，对基础风格编码网络进行训练，得到符合第二预设条件的待选风格编码网络；
S1203：对待选风格编码网络和待选声谱生成网络进行测试，得到符合第三预设条件的目标风格编码网络和目标声谱生成网络。
示例性地，在步骤S1201的训练过程中，利用第一参考风格音频样本和第一文本标注样本，对初始风格编码网络和初始声谱生成网络进行多轮的迭代训练，直至得到符合预设收敛条件的基础风格编码网络和待选声谱生成网络即可，以完成模型的训练阶段。
示例性地，在步骤S1203中，获取参考风格音频样本，如果该参考风格音频样本对应的说话人属于预先获取的C个参考风格音频样本的范围之内(即知道对应的说话人身份)，那么对该参考风格音频样本分帧提取特征，并输入到待选风格编码网络以及待选声谱生成网络，判断最终输出的预测音频特征与参考风格音频样本的音频特征是否一致。如果该参考风格音频样本对应的说话人不属于C个参考风格音频样本的范围之内(即不知道对应的说话人身份)，则将待选风格编码网络的说话人矩阵新增一列，采用该说话人身份对应的少量参考风格音频样本，对待选风格编码网络重新再训练，并更新待选风格编码网络的参数即可，直至得到符合预设条件的目标风格编码网络以及目标声谱生成网络。
通过上述实施方式，在测试阶段，即使参考风格音频样本是目标集合之外的说话人，通过对待选风格编码网络进行略微调整，例如将说话人矩阵里面增加一列，并进行快速训练即可，由此，大大节省了测试时间成本，增强了对新增加的说话人的参考风格音频的快速泛化能力。
在一种实施方式中，如图13所示，步骤S1201包括：
S1301：将第一参考风格音频样本输入初始风格编码网络，得到第一预测风格属性信息；以及，将第一文本标注样本输入初始声谱生成网络，得到第一预测目标风格音频；
S1302：根据第一预测风格属性信息确定第一损失值，以及根据第一预测目标风格音频和第一参考风格音频样本之间的差异确定第二损失值；
S1303：利用第一损失值和第二损失值，对初始风格编码网络和初始声谱生成网络的参数进行调整。
示例性地，第一损失值可以根据第一预测风格属性信息中的说话人向量和韵律向量计算得到，和/或根据韵律向量的说话人身份分类结果和真实的说话人身份之间的差异计算得到。第二损失值可以通过对一预测目标风格音频的音频特征和第一参考风格音频样本的音频特征通过MSE(最小均方误差)计算得到。
通过上述实施方式，在训练阶段，可以结合初始风格编码网络的输出值以及初始声谱生成网络的输出值的损失，同时对初始风格编码网络和初始声谱生成网络的参数进行调整，以提高训练效率，并提高初始风格编码网络和初始声谱生成网络之间的关联性。
在一种实施方式中，风格属性信息包括说话人向量和韵律向量；初始风格编码网络包括查找模块和韵律编码器，查找模块用于根据第一参考风格音频样本的分类标签向量输出说话人向量，韵律编码器用于根据第一参考风格音频样本的梅尔谱特征输出韵律向量。
步骤S1302具体包括以下步骤：
利用分类器对韵律向量进行分类处理，得到分类结果；利用交叉熵函数对分类结果进行计算处理，得到交叉熵损失值；
根据说话人向量和韵律向量，得到正交损失值；
根据交叉熵损失值和正交损失值，得到第一损失值。
示例性地，如图8所示，在初始风格编码网络的训练阶段，可以在韵律编码器的输出侧增设梯度反向层(Gradient Reversal Layer)和说话人分类器(SpeakerClassifier)。其中，说话人分类器用于根据韵律编码器输出的韵律向量预测对应的说话人身份，输出韵律向量对应的说话人身份。基于说话人分类器输出的预测分类结果和韵律向量对应的说话人身份，利用交叉熵损失函数进行计算，得到二者之间的交叉熵损失值。由此，可以根据交叉熵损失值利用梯度反向规则对韵律编码器的参数进行调整。同时，根据说话人向量和韵律向量之间的正交损失值，对说话人查找表和韵律编码器的参数同时进行更新，进一步提高二者分别输出的说话人向量和韵律向量之间的差异性。
通过上述实施方式，可以降低初始风格编码网络输出的说话人特征和韵律特征之间的相关性，尽可能的让二者相互包含的信息减少，通过领域对抗(Domain Adversarial)的思想，在韵律向量的基础上，添加梯度反向层以及说话人分类器，不断地使韵律编码器输出的韵律向量尽可能不携带说话人信息；另外，添加了正交约束，即使韵律向量与说话人向量二者正交(Orthogonal Constraint)，进一步降低二者之间的相关性。
在一种实施方式中，步骤S1303包括：
根据第一损失值和第二损失值，计算综合损失值；
根据综合损失值，利用随机梯度下降准则反向传播误差并对初始风格编码网络和声谱生成网络的参数进行调整。
示例性地，综合损失值的计算公式如下：
Figure BDA0003497557680000181
其中，||·||1用于表征求一阶范数，α1和α2用于分别表征损失的权重，是经验值，可以分别取0.01和0.02。
通过上述实施方式，一方面可以利用初始风格编码网络输出的说话人相关系数矩阵、韵律性格系数矩阵对初始声谱生成网络输出的音频特征进行调控，另一方面将常规音频的产生(正确的拼出各个文本的发音)与风格属性信息两者剥离开来，能更好的对各自(即风格编码网络和声谱生成网络)进行建模。
在一种实施方式中，如图14所示，步骤S1202包括：
S1401：将第二参考风格音频样本输入基础风格编码网络，得到第二预测风格属性信息；以及，将第二文本标注样本输入待选声谱生成网络，得到第二预测目标风格音频；
S1402：根据第二预测风格属性信息确定第一损失值，以及根据第二预测目标风格音频和第二参考风格音频样本之间的差异确定第二损失值；
S1403：利用第一损失值和第二损失值，对基础风格编码网络的参数进行调整。
示例性地，在微调阶段，可以基于元学习(meta-learning)的机制，即采用少量的第一参考风格音频样本和第一文本标注样本去调整基础风格编码网络的参数，取得与该少量样本特性相似的样本上良好的泛化效果。
在一个示例中，将待选声谱生成网络的文本编码模块和声谱解码模块的参数固定，然后利用第一参考风格音频样本和第一文本标注样本的基础上，对基础风格编码网络的参数进行调整。
具体地，选取目标说话人C个，每个目标说话人对应D个参考风格音频样本。对每个参考风格音频样本分帧提取特征，并输入到基础风格编码网络以及待选声谱生成网络，然后根据声谱特征重建误差、对抗损失以及正交约束，反向更新基础风格编码网络的参数，经过多轮迭代训练，直至得到符合预设收敛条件的待选风格编码网络。
通过上述实施方式，在微调阶段，可以基于元学习机制，在少样本场景下实现对基本风格编码网络的微调，从而降低了微调过程的样本获取成本、提高了微调效率。
在一个具体示例中，本公开实施例的模型训练方法具体包括如下步骤：
(1)训练阶段：通过开源数据Aishell1～3，VCTK等，选取N个说话人，每人M条不同风格的音频，每个音频带有相应的文本标注，对音频进行分帧，每帧25ms，帧移10ms，提取梅尔谱特征，将说话人id以及梅尔谱输入到风格编码器，一方面得到说话人向量和韵律向量，另一方面得到相应说话人系数和韵律系数，接着将文本对应的发音单元输入到文本编码器，再结合风格系数，重建声谱特征。
分别计算对抗损失、正交约束以及重建声谱的损失，综合上述损失，根据随机梯度下降准则反向传播误差并更新参数，包括风格编码模块，文本编码模块，声谱解码模块，对每条音频重复上述步骤，提取特征，输入到网络，计算损失，反向更新网络，迭代多轮至网络收敛即可，这样得到一个基础模型。
(2)微调阶段：选取目标说话人C个，每人D条，每条音频分帧提取特征，然后计算声谱特征重建误差，对抗损失，正交约束，然后反向更新风格编码模块，同时固定文本编码模块，声谱解码模块，这样反复迭代多轮至收敛即可，得到在目标说话人集合上具有良好风格迁移效果的模型
(3)测试阶段：获取待迁移的目标音频，如果说话人在微调的数据量里面，那么不用调整网络，直接分帧提取声谱特征，输入到网络合成目标风格和文本的音频；如果不在集合里面，那么需要在说话人矩阵新增一列，采用该人的少量样本重新再训练更新风格编码模块即可，然后再使用该模型进行迁移合成。
根据本公开实施例的模型训练方法，提供了一种少样本场景下语音风格迁移合成的训练方案，将风格特性拆解成说话人和韵律特性两部分，屏蔽了信道和内容的影响。其次，在设计网络的时候，考虑到快速适配新说话人的情况，因此采用了风格属性参数层(SALN)去调控音频生成模块，将文本的发音与风格剥离开，分别进行建模，优势是：一方面对目标说话人数据集合，训练比较友好，不需要在更新文本编码，声谱解码模块，只需要更新风格韵律编码模块即可，即使测试应用的时候，出现了目标集合之外的人，我们也可以很方便的在说话人矩阵里面增加一列，重新快速训练即可，这样大大节省了时间成本，增强了对未见说话人的快速泛化能力。此外，在训练的过程为了更好的去除说话人和韵律的相关性，我们添加了对抗训练和正交约束，将两者解耦开来，减弱了相互影响，提高了音频的合成质量；
根据本公开实施例的另一方面，还提供了一种语音处理装置。
如图15所示，该语音处理装置包括：
获取模块1501，用于获取待处理文本的音素序列和参考风格音频的风格属性信息，风格属性信息包含说话人特征和韵律特征；
音频特征生成模块1502，用于利用风格属性信息，得到音素序列对应的音频特征；
目标风格音频生成模块1503，用于根据音素序列对应的音频特征，得到待处理文本对应的目标风格音频。
在一种实施方式中，获取模块1501包括：
向量获取子模块，用于获取参考风格音频的分类标签向量；
特征向量确定子模块，用于根据分类标签向量，利用预设的查找表确定参考风格音频的说话人特征向量；
说话人特征生成子模块，用于根据说话人特征向量，生成参考风格音频的说话人特征。
在一种实施方式中，获取模块1501包括：
梅尔谱特征获取子模块，用于获取参考风格音频的梅尔谱特征；
韵律向量获取子模块，用于根据梅尔谱特征，利用韵律编码器确定参考风格音频的韵律向量；
韵律特征生成子模块，用于根据韵律向量，生成参考风格音频的韵律特征。
在一种实施方式中，音频特征生成模块1502包括：
编码处理子模块，用于利用风格属性信息对音素序列进行文本编码处理，得到音素序列的高维语义特征；以及，
声谱解码子模块，用于利用风格属性信息对音素序列的高维语义特征进行声谱解码处理，得到音素序列对应的音频特征。
在一种实施方式中，编码处理子模块包括：
位置编码处理单元，用于对待处理文本的音素序列进行位置编码处理，得到包含位置编码信息的第一音素序列；
高维语义特征生成单元，用于利用风格属性信息，对第一音素序列依次进行多注意力机制的高维映射处理和卷积处理，得到音素序列的高维语义特征。
在一种实施方式中，声谱解码子模块包括：
特征融合处理单元，用于根据说话人特征中包含的发音时长属性、发音音高属性和发音能量属性，对高维语义特征进行特征融合处理，得到第一高维语义特征；
位置编码处理单元，用于对第一高维语义特征进行位置编码处理，得到第二高维语义特征；
第三高维语义特征生成单元，用于利用风格属性信息，对第二高维语义特征依次进行多注意力机制的高维映射处理和卷积处理，得到第三高维语义特征；
全连接单元，用于对第三高维语义特征进行全连接运算处理，得到音素序列对应的音频特征。
根据本公开实施例的另一方面，还提供了一种模型训练装置。
如图16所示，该模型训练装置包括：
网络获取模块1601，用于获取初始风格编码网络和初始声谱生成网络，初始声谱生成网络包括文本编码模块和声谱编码模块；
样本获取模块1602，用于获取参考风格音频样本和对应的文本标注样本；
预测风格属性信息生成模块1603，用于将参考风格音频样本输入初始风格编码网络，得到预测风格属性信息，预测风格属性信息包含说话人特征和韵律特征；
预测音频特征生成模块1604，用于将文本标注样本和预测风格属性信息输入初始声谱生成网络，得到预测音频特征；
参数调整模块1605，用于利用预测音频特征和参考风格音频样本的差异，对初始风格编码网络和初始声谱生成网络的参数进行调整，得到符合预设条件的目标风格编码网络和目标声谱生成网络。
在一种实施方式中，该装置还包括：
训练模块，用于利用第一参考风格音频样本和第一文本标注样本，对初始风格编码网络和初始声谱生成网络进行训练，得到符合第一预设条件的基础风格编码网络和待选声谱生成网络；
微调模块，用于利用第二参考风格音频样本和第二文本标注样本，对基础风格编码网络进行训练，得到符合第二预设条件的待选风格编码网络；
测试模块，用于对待选风格编码网络和待选声谱生成网络进行测试，得到符合第三预设条件的目标风格编码网络和目标声谱生成网络。
在一种实施方式中，训练模块包括：
第一预测风格属性信息生成子模块，用于将第一参考风格音频样本输入初始风格编码网络，得到第一预测风格属性信息；以及，将第一文本标注样本输入初始声谱生成网络，得到第一预测目标风格音频；
第一损失确定子模块，用于根据第一预测风格属性信息确定第一损失值，以及根据第一预测目标风格音频和第一参考风格音频样本之间的差异确定第二损失值；
第一参数调整子模块，用于利用第一损失值和第二损失值，对初始风格编码网络和初始声谱生成网络的参数进行调整。
在一种实施方式中，风格属性信息包括说话人向量和韵律向量；初始风格编码网络包括查找模块和韵律编码器，查找模块用于根据第一参考风格音频样本的分类标签向量输出说话人向量，韵律编码器用于根据第一参考风格音频样本的梅尔谱特征输出韵律向量；
第一损失确定子模块包括：
交叉熵损失值计算单元，用于利用分类器对韵律向量进行分类处理，得到分类结果；以及，利用交叉熵函数对分类结果进行计算处理，得到交叉熵损失值；
正交损失值计算单元，用于根据说话人向量和韵律向量，得到正交损失值；
第一损失值计算单元，用于根据交叉熵损失值和正交损失值，得到第一损失值。
在一种实施方式中，第一参数调整子模块包括：
综合损失值计算单元，用于根据第一损失值和第二损失值，计算综合损失值；
参数调整单元，用于根据综合损失值，利用随机梯度下降准则反向传播误差并对初始风格编码网络和声谱生成网络的参数进行调整。
在一种实施方式中，微调模块包括：
第二预测风格属性信息生成子模块，用于将第二参考风格音频样本输入基础风格编码网络，得到第二预测风格属性信息；
第二预测目标风格音频生成子模块，用于将第二文本标注样本输入待选声谱生成网络，得到第二预测目标风格音频；
第二损失确定子模块，用于根据第二预测风格属性信息确定第一损失值，以及根据第二预测目标风格音频和第二参考风格音频样本之间的差异确定第二损失值；
第二参数调整子模块，用于利用第一损失值和第二损失值，对基础风格编码网络的参数进行调整。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图17示出了可以用来实施本公开的实施例的示例电子设备1700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图17所示，设备1700包括计算单元1701，其可以根据存储在只读存储器(ROM)1702中的计算机程序或者从存储单元1708加载到随机访问存储器(RAM)1703中的计算机程序，来执行各种适当的动作和处理。在RAM 1703中，还可存储设备1700操作所需的各种程序和数据。计算单元1701、ROM 1702以及RAM 1703通过总线1704彼此相连。输入/输出(I/O)接口1705也连接至总线1704。
设备1700中的多个部件连接至I/O接口1705，包括：输入单元1706，例如键盘、鼠标等；输出单元1707，例如各种类型的显示器、扬声器等；存储单元1708，例如磁盘、光盘等；以及通信单元1709，例如网卡、调制解调器、无线通信收发机等。通信单元1709允许设备1700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1701执行上文所描述的各个方法和处理，例如方法XXX。例如，在一些实施例中，方法XXX可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1702和/或通信单元1709而被载入和/或安装到设备1700上。当计算机程序加载到RAM 1703并由计算单元1701执行时，可以执行上文描述的方法XXX的一个或多个步骤。备选地，在其他实施例中，计算单元1701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法XXX。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他音素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (27)

1.一种语音处理方法，包括：
获取待处理文本的音素序列和参考风格音频的风格属性信息，所述风格属性信息包含说话人特征和韵律特征；
利用所述风格属性信息，得到所述音素序列对应的音频特征；
根据所述音素序列对应的音频特征，得到所述待处理文本对应的目标风格音频。
2.根据权利要求1所述的方法，其中，获取所述风格属性信息中的说话人特征，包括：
获取所述参考风格音频的分类标签向量；
根据所述分类标签向量，利用预设的查找表确定所述参考风格音频的说话人特征向量；
根据所述说话人特征向量，生成所述参考风格音频的说话人特征。
3.根据权利要求1所述的方法，其中，获取所述风格属性信息中的韵律特征，包括：
获取所述参考风格音频的梅尔谱特征；
根据所述梅尔谱特征，利用韵律编码器确定所述参考风格音频的韵律向量；
根据所述韵律向量，生成所述参考风格音频的韵律特征。
4.根据权利要求1所述的方法，其中，利用所述风格属性信息，得到所述音素序列对应的音频特征，包括：
利用所述风格属性信息对所述音素序列进行文本编码处理，得到所述音素序列的高维语义特征；以及，
利用所述风格属性信息对所述音素序列的高维语义特征进行声谱解码处理，得到所述音素序列对应的音频特征。
5.根据权利要求4所述的方法，其中，利用所述风格属性信息对所述音素序列进行文本编码处理，得到所述音素序列的高维语义特征，包括：
对待处理文本的音素序列进行位置编码处理，得到包含位置编码信息的第一音素序列；
利用所述风格属性信息，对所述第一音素序列依次进行多注意力机制的高维映射处理和卷积处理，得到所述音素序列的高维语义特征。
6.根据权利要求4所述的方法，其中，利用所述风格属性信息对所述音素序列的高维语义特征进行声谱解码处理，得到所述音素序列对应的音频特征，包括：
根据所述说话人特征中包含的发音时长属性、发音音高属性和发音能量属性，对所述高维语义特征进行特征融合处理，得到第一高维语义特征；
对所述第一高维语义特征进行位置编码处理，得到第二高维语义特征；
利用所述风格属性信息，对所述第二高维语义特征依次进行多注意力机制的高维映射处理和卷积处理，得到第三高维语义特征；
对所述第三高维语义特征进行全连接运算处理，得到所述音素序列对应的音频特征。
7.一种模型训练方法，包括：
获取初始风格编码网络和初始声谱生成网络，所述初始声谱生成网络包括文本编码模块和声谱编码模块；以及，获取参考风格音频样本和对应的文本标注样本；
将所述参考风格音频样本输入所述初始风格编码网络，得到预测风格属性信息，所述预测风格属性信息包含说话人特征和韵律特征；
将所述文本标注样本和所述预测风格属性信息输入所述初始声谱生成网络，得到预测音频特征；
利用所述预测音频特征和所述参考风格音频样本的差异，对所述初始风格编码网络和所述初始声谱生成网络的参数进行调整，得到符合预设条件的目标风格编码网络和目标声谱生成网络。
8.根据权利要求7所述的方法，还包括：
利用第一参考风格音频样本和第一文本标注样本，对所述初始风格编码网络和所述初始声谱生成网络进行训练，得到符合第一预设条件的基础风格编码网络和待选声谱生成网络；
利用第二参考风格音频样本和第二文本标注样本，对所述基础风格编码网络进行训练，得到符合第二预设条件的待选风格编码网络；
对所述待选风格编码网络和所述待选声谱生成网络进行测试，得到符合第三预设条件的目标风格编码网络和目标声谱生成网络。
9.根据权利要求8所述的方法，其中，利用第一参考风格音频样本和第一文本标注样本，对所述初始风格编码网络和所述初始声谱生成网络进行训练，包括：
将所述第一参考风格音频样本输入所述初始风格编码网络，得到第一预测风格属性信息；以及，将所述第一文本标注样本输入所述初始声谱生成网络，得到第一预测目标风格音频；
根据所述第一预测风格属性信息确定第一损失值，以及根据所述第一预测目标风格音频和所述第一参考风格音频样本之间的差异确定第二损失值；
利用所述第一损失值和所述第二损失值，对所述初始风格编码网络和所述初始声谱生成网络的参数进行调整。
10.根据权利要求9所述的方法，其中，所述风格属性信息包括说话人向量和韵律向量；所述初始风格编码网络包括查找模块和韵律编码器，所述查找模块用于根据所述第一参考风格音频样本的分类标签向量输出说话人向量，所述韵律编码器用于根据所述第一参考风格音频样本的梅尔谱特征输出韵律向量；
根据所述风格属性信息确定第一损失值，包括：
利用分类器对所述韵律向量进行分类处理，得到分类结果；以及，利用交叉熵函数对所述分类结果进行计算处理，得到交叉熵损失值；
根据所述说话人向量和韵律向量，得到正交损失值；
根据所述交叉熵损失值和所述正交损失值，得到第一损失值。
11.根据权利要求9所述的方法，其中，利用所述第一损失值和所述第二损失值，对所述初始风格编码网络和声谱生成网络的参数进行调整，包括：
根据所述第一损失值和所述第二损失值，计算综合损失值；
根据所述综合损失值，利用随机梯度下降准则反向传播误差并对所述初始风格编码网络和声谱生成网络的参数进行调整。
12.根据权利要求8所述的方法，其中，利用第二参考风格音频样本和第二文本标注样本，对所述基础风格编码网络进行训练，包括：
将所述第二参考风格音频样本输入所述基础风格编码网络，得到第二预测风格属性信息；以及，将所述第二文本标注样本输入所述待选声谱生成网络，得到第二预测目标风格音频；
根据所述第二预测风格属性信息确定第一损失值，以及根据所述第二预测目标风格音频和所述第二参考风格音频样本之间的差异确定第二损失值；
利用所述第一损失值和所述第二损失值，对所述基础风格编码网络的参数进行调整。
13.一种语音处理装置，包括：
获取模块，用于获取待处理文本的音素序列和参考风格音频的风格属性信息，所述风格属性信息包含说话人特征和韵律特征；
音频特征生成模块，用于利用所述风格属性信息，得到所述音素序列对应的音频特征；
目标风格音频生成模块，用于根据所述音素序列对应的音频特征，得到所述待处理文本对应的目标风格音频。
14.根据权利要求13所述的装置，其中，所述获取模块包括：
向量获取子模块，用于获取所述参考风格音频的分类标签向量；
特征向量确定子模块，用于根据所述分类标签向量，利用预设的查找表确定所述参考风格音频的说话人特征向量；
说话人特征生成子模块，用于根据所述说话人特征向量，生成所述参考风格音频的说话人特征。
15.根据权利要求13所述的装置，其中，所述获取模块包括：
梅尔谱特征获取子模块，用于获取所述参考风格音频的梅尔谱特征；
韵律向量获取子模块，用于根据所述梅尔谱特征，利用韵律编码器确定所述参考风格音频的韵律向量；
韵律特征生成子模块，用于根据所述韵律向量，生成所述参考风格音频的韵律特征。
16.根据权利要求13所述的装置，其中，所述音频特征生成模块包括：
编码处理子模块，用于利用所述风格属性信息对所述音素序列进行文本编码处理，得到所述音素序列的高维语义特征；以及，
声谱解码子模块，用于利用所述风格属性信息对所述音素序列的高维语义特征进行声谱解码处理，得到所述音素序列对应的音频特征。
17.根据权利要求16所述的装置，其中，所述编码处理子模块包括：
位置编码处理单元，用于对待处理文本的音素序列进行位置编码处理，得到包含位置编码信息的第一音素序列；
高维语义特征生成单元，用于利用所述风格属性信息，对所述第一音素序列依次进行多注意力机制的高维映射处理和卷积处理，得到所述音素序列的高维语义特征。
18.根据权利要求16所述的装置，其中，所述声谱解码子模块包括：
特征融合处理单元，用于根据所述说话人特征中包含的发音时长属性、发音音高属性和发音能量属性，对所述高维语义特征进行特征融合处理，得到第一高维语义特征；
位置编码处理单元，用于对所述第一高维语义特征进行位置编码处理，得到第二高维语义特征；
第三高维语义特征生成单元，用于利用所述风格属性信息，对所述第二高维语义特征依次进行多注意力机制的高维映射处理和卷积处理，得到第三高维语义特征；
全连接单元，用于对所述第三高维语义特征进行全连接运算处理，得到所述音素序列对应的音频特征。
19.一种模型训练装置，包括：
网络获取模块，用于获取初始风格编码网络和初始声谱生成网络，所述初始声谱生成网络包括文本编码模块和声谱编码模块；
样本获取模块，用于获取参考风格音频样本和对应的文本标注样本；
预测风格属性信息生成模块，用于将所述参考风格音频样本输入所述初始风格编码网络，得到预测风格属性信息，所述预测风格属性信息包含说话人特征和韵律特征；
预测音频特征生成模块，用于将所述文本标注样本和所述预测风格属性信息输入所述初始声谱生成网络，得到预测音频特征；
参数调整模块，用于利用所述预测音频特征和所述参考风格音频样本的差异，对所述初始风格编码网络和所述初始声谱生成网络的参数进行调整，得到符合预设条件的目标风格编码网络和目标声谱生成网络。
20.根据权利要求19所述的装置，还包括：
训练模块，用于利用第一参考风格音频样本和第一文本标注样本，对所述初始风格编码网络和所述初始声谱生成网络进行训练，得到符合第一预设条件的基础风格编码网络和待选声谱生成网络；
微调模块，用于利用第二参考风格音频样本和第二文本标注样本，对所述基础风格编码网络进行训练，得到符合第二预设条件的待选风格编码网络；
测试模块，用于对所述待选风格编码网络和所述待选声谱生成网络进行测试，得到符合第三预设条件的目标风格编码网络和目标声谱生成网络。
21.根据权利要求20所述的装置，其中，所述训练模块包括：
第一预测风格属性信息生成子模块，用于将所述第一参考风格音频样本输入所述初始风格编码网络，得到第一预测风格属性信息；以及，将所述第一文本标注样本输入所述初始声谱生成网络，得到第一预测目标风格音频；
第一损失确定子模块，用于根据所述第一预测风格属性信息确定第一损失值，以及根据所述第一预测目标风格音频和所述第一参考风格音频样本之间的差异确定第二损失值；
第一参数调整子模块，用于利用所述第一损失值和所述第二损失值，对所述初始风格编码网络和所述初始声谱生成网络的参数进行调整。
22.根据权利要求21所述的装置，其中，所述风格属性信息包括说话人向量和韵律向量；所述初始风格编码网络包括查找模块和韵律编码器，所述查找模块用于根据所述第一参考风格音频样本的分类标签向量输出说话人向量，所述韵律编码器用于根据所述第一参考风格音频样本的梅尔谱特征输出韵律向量；
所述第一损失确定子模块包括：
交叉熵损失值计算单元，用于利用分类器对所述韵律向量进行分类处理，得到分类结果；以及，利用交叉熵函数对所述分类结果进行计算处理，得到交叉熵损失值；
正交损失值计算单元，用于根据所述说话人向量和韵律向量，得到正交损失值；
第一损失值计算单元，用于根据所述交叉熵损失值和所述正交损失值，得到第一损失值。
23.根据权利要求21所述的装置，其中，所述第一参数调整子模块包括：
综合损失值计算单元，用于根据所述第一损失值和所述第二损失值，计算综合损失值；
参数调整单元，用于根据所述综合损失值，利用随机梯度下降准则反向传播误差并对所述初始风格编码网络和声谱生成网络的参数进行调整。
24.根据权利要求20所述的装置，其中，所述微调模块包括：
第二预测风格属性信息生成子模块，用于将所述第二参考风格音频样本输入所述基础风格编码网络，得到第二预测风格属性信息；
第二预测目标风格音频生成子模块，用于将所述第二文本标注样本输入所述待选声谱生成网络，得到第二预测目标风格音频；
第二损失确定子模块，用于根据所述第二预测风格属性信息确定第一损失值，以及根据所述第二预测目标风格音频和所述第二参考风格音频样本之间的差异确定第二损失值；
第二参数调整子模块，用于利用所述第一损失值和所述第二损失值，对所述基础风格编码网络的参数进行调整。
25.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至12中任一项所述的方法。
26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至12中任一项所述的方法。
27.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至12中任一项所述的方法。
CN202210118558.4A 2022-02-08 2022-02-08 语音处理方法、装置、设备及存储介质 Pending CN114495956A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210118558.4A CN114495956A (zh) 2022-02-08 2022-02-08 语音处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210118558.4A CN114495956A (zh) 2022-02-08 2022-02-08 语音处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114495956A true CN114495956A (zh) 2022-05-13

Family

ID=81478005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210118558.4A Pending CN114495956A (zh) 2022-02-08 2022-02-08 语音处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114495956A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578995A (zh) * 2022-12-07 2023-01-06 北京邮电大学 面向语音对话场景的语音合成方法、系统及存储介质
CN117476027A (zh) * 2023-12-28 2024-01-30 南京硅基智能科技有限公司 语音转换方法及装置、存储介质、电子装置
CN117854478A (zh) * 2024-03-05 2024-04-09 北京建筑大学 基于可控文本的语音合成方法、装置和系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578995A (zh) * 2022-12-07 2023-01-06 北京邮电大学 面向语音对话场景的语音合成方法、系统及存储介质
CN115578995B (zh) * 2022-12-07 2023-03-24 北京邮电大学 面向语音对话场景的语音合成方法、系统及存储介质
CN117476027A (zh) * 2023-12-28 2024-01-30 南京硅基智能科技有限公司 语音转换方法及装置、存储介质、电子装置
CN117476027B (zh) * 2023-12-28 2024-04-23 南京硅基智能科技有限公司 语音转换方法及装置、存储介质、电子装置
CN117854478A (zh) * 2024-03-05 2024-04-09 北京建筑大学 基于可控文本的语音合成方法、装置和系统
CN117854478B (zh) * 2024-03-05 2024-05-03 北京建筑大学 基于可控文本的语音合成方法、装置和系统

Similar Documents

Publication Publication Date Title
US11361751B2 (en) Speech synthesis method and device
CN114495956A (zh) 语音处理方法、装置、设备及存储介质
US11842728B2 (en) Training neural networks to predict acoustic sequences using observed prosody info
KR20220064940A (ko) 음성 생성 방법, 장치, 전자기기 및 저장매체
US20230178067A1 (en) Method of training speech synthesis model and method of synthesizing speech
US20230127787A1 (en) Method and apparatus for converting voice timbre, method and apparatus for training model, device and medium
JP7164098B2 (ja) 音声を認識する方法及び装置
WO2023142454A1 (zh) 语音翻译和模型训练方法、装置、电子设备以及存储介质
KR102611024B1 (ko) 음성 합성 방법, 장치, 기기 및 컴퓨터 기록 매체
CN113963679A (zh) 一种语音风格迁移方法、装置、电子设备及存储介质
KR20240024960A (ko) 견고한 다이렉트 스피치-투-스피치 번역
JP2024512605A (ja) 柔軟なストリーミングおよび非ストリーミング自動音声認識のための混合モデルアテンション
CN113744713A (zh) 一种语音合成方法及语音合成模型的训练方法
CN113160820A (zh) 语音识别的方法、语音识别模型的训练方法、装置及设备
US20230005466A1 (en) Speech synthesis method, and electronic device
CN115357710A (zh) 表格描述文本生成模型的训练方法、装置及电子设备
CN114783409A (zh) 语音合成模型的训练方法、语音合成方法及装置
CN114783428A (zh) 语音翻译、模型训练方法、装置、设备及存储介质
CN114464163A (zh) 语音合成模型的训练方法、装置、设备、存储介质和产品
CN114420087B (zh) 声学特征的确定方法、装置、设备、介质及产品
JP7318161B2 (ja) 音声処理方法、装置、機器、及びコンピュータ記憶媒体
CN114282552B (zh) 非自回归翻译模型的训练方法及其装置
CN113689867B (zh) 一种语音转换模型的训练方法、装置、电子设备及介质
CN114360558B (zh) 语音转换方法、语音转换模型的生成方法及其装置
EP4156174A2 (en) Voice generating method and apparatus, electronic device and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination