CN111292720A - 语音合成方法、装置、计算机可读介质及电子设备 - Google Patents

语音合成方法、装置、计算机可读介质及电子设备 Download PDF

Info

Publication number
CN111292720A
CN111292720A CN202010082948.1A CN202010082948A CN111292720A CN 111292720 A CN111292720 A CN 111292720A CN 202010082948 A CN202010082948 A CN 202010082948A CN 111292720 A CN111292720 A CN 111292720A
Authority
CN
China
Prior art keywords
text
language
voice
sample
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010082948.1A
Other languages
English (en)
Other versions
CN111292720B (zh
Inventor
殷翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202010082948.1A priority Critical patent/CN111292720B/zh
Publication of CN111292720A publication Critical patent/CN111292720A/zh
Application granted granted Critical
Publication of CN111292720B publication Critical patent/CN111292720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G10L13/047—Architecture of speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/086—Detection of language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/10—Prosody rules derived from text; Stress or intonation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Machine Translation (AREA)

Abstract

本公开涉及一种语音合成方法、装置、计算机可读介质及电子设备。该方法包括：获取多语种文本的语音特征信息和所述多语种文本中各语种的语言特征向量，其中，所述语音特征信息包括音素、声调、分词及韵律边界；根据所述语音特征信息和所述语言特征向量进行语音合成，获得与所述多语种文本对应的第一音频信息。由此，提高了第一音频数据的准确性和可理解性，便于用户快速理解第一音频数据对应的文本内容。另外，由于语音合成时能够在自然的韵律边界处进行停顿，因此可以提升第一音频信息的自然度和流畅性。此外，上述语音合成方法不但可以实现不同语种的流畅转换，而且支持各语种文本的语音合成，而并不限定特定语种，即其具有广泛的适用性。

Description

语音合成方法、装置、计算机可读介质及电子设备
技术领域
本公开涉及语音合成技术领域，具体地，涉及一种语音合成方法、装置、计算机可读介质及电子设备。
背景技术
现今，阅读器中通过语音合成(又称文语转换(Text to Speech,TTS)，它能将文字信息实时转化为语音朗读出来，相当于给机器装上了人工嘴巴)技术对文本进行朗读的功能越来越多。现阶段，文本朗读系统在对文本进行朗读时，每个字通常采用相同的朗读时长，并在文本中的标点符号处进行稍长时间停顿。这样，该文本朗读系统只能够将文本内容依次朗读出来，并不能够根据文本内容进行停顿。这样，用户根据朗读出的语音，难以理解相应的文本内容。尤其是在文本为多语种文本时，由于需要跨语种混读，常常存语种转换不够顺畅的问题，这无疑又增大了用户根据朗读出的语音理解文本内容的难度。
发明内容
提供该部分内容以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该部分内容并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
第一方面，本公开提供一种语音合成方法，包括：
获取多语种文本的语音特征信息和所述多语种文本中各语种的语言特征向量，其中，所述语音特征信息包括音素、声调、分词及韵律边界，所述语言特征向量包括相应文本中属于当前语种的各音素的语种标志；
根据所述语音特征信息和所述语言特征向量进行语音合成，获得与所述多语种文本对应的第一音频信息。
第二方面，提供一种语音合成装置，包括：
获取模块，用于获取多语种文本的语音特征信息和所述多语种文本中各语种的语言特征向量，其中，所述语音特征信息包括音素、声调、分词及韵律边界，所述语言特征向量包括相应文本中属于当前语种的各音素的语种标志；
语音合成模块，用于根据所述语音特征信息和所述语言特征向量进行语音合成，获得与所述多语种文本对应的第一音频信息。
第三方面，提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面提供的所述方法的步骤。
第四方面，提供一种电子设备，包括：
存储装置，其上存储有一个或多个计算机程序；
一个或多个处理装置，用于执行所述存储装置中的所述一个或多个计算机程序，以实现本公开第一方面提供的所述方法的步骤。
在上述技术方案中，通过提取多语种文本的音素、声调、分词和韵律边界这些语音特征信息，并基于语音特征信息和多语种文本中各语种的语言特征向量对多语种文本进行语音合成，从而可以更加关注多语种文本的文本内容。这样，可以使得语音合成得到的第一音频信息能够根据多语种文本的文本内容以及分词进行停顿，提高了第一音频数据的准确性和可理解性，便于用户快速理解第一音频数据对应的文本内容。另外，由于语音合成时能够在自然的韵律边界处进行停顿，因此可以提升第一音频信息的自然度和流畅性。此外，上述语音合成方法不但可以实现不同语种的流畅转换，而且支持各语种文本的语音合成，而并不限定特定语种，即其具有广泛的适用性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
图1是根据一示例性实施例示出的一种语音合成方法的流程图；
图2是根据另一示例性实施例示出的一种语音合成方法的流程图；
图3是根据一示例性实施例示出的一种预设语音合成模型的结构示意图；
图4是根据一示例性实施例示出的一种预设的多人语音合成模型的结构示意图；
图5是根据一示例性实施例示出的一种语音合成装置的框图；
图6是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
在步骤101中，获取多语种文本的语音特征信息和多语种文本中各语种的语言特征向量。
在本公开中，上述多语种文本可以包含两种语种，甚至是更多种语种，并且，其包含的语种可以为中文、英文、日文、韩文、俄文等中的多者，其中，对于该多语种文本所包含的具体语种不作具体限定。
语音特征信息可以包括音素、声调、分词以及韵律边界。语言特征向量(即，语言隐藏表征)可以包括相应文本中属于当前语种的各音素的语种标志，其中，可以将随机初始化的语言字典矩阵(language table)中、与当前语种对应的一行(即行向量)作为相应音素的语言特征向量。并且，可以通过文本语种识别模块(例如，基于N-Gram的文本语种识别模块、基于深度神经网络的文本语种识别模块等)对多语种文本中各音素进行中文、英文、日文等语种的识别。
其中，音素是根据语音的自然属性划分出来的最小语音单位，依据音节里的发音动作来分析，一个动作构成一个音素；音素分为元音与辅音两大类。示例地，对于中文来说，音素包括声母(声母,是使用在韵母前面的辅音,跟韵母一齐构成的一个完整的音节)和韵母(即元音)。对于英文来说，音素包括元音和辅音。
声调是指声音的高低升降的变化。示例地，中文中有四个声调：阴平、阳平、上声和去声，英文包括重读、次重读和轻读，日文包括重读和轻读。
韵律边界用于指示在阅读文本时应该在哪些地方进行停顿。示例地，韵律边界分为“#1”、“#2”、“#3”和“#4”四个停顿等级，其停顿程度依次增大。其中，英文和日文没有明显的韵律层级，因此该处置为空。
在本公开中，可以通过前端模型来获取多语种文本的语音特征信息。其中，该前端模型可以包括文本正则化(TextNormalization，TN)模型、字素到音素(Grapheme-to-Phoneme，G2P)模型、分词模型以及韵律模型。其中，可以通过TN模型将多语种文本中的数字、符号、缩写等转换成语言文字，通过G2P模型获取多语种文本的音素，通过分词模型对多语种文本进行分词，通过韵律模型获取多语种的韵律边界以及声调。
示例地，G2P模型可以采用循环神经网络(Recurrent Neural Network，RNN)和长短期记忆网络(Long Short-Term Memory，LSTM)来实现从字素到音素的转化。
分词模型可以为n-gram模型、隐马尔可夫模型、朴素贝叶斯分类模型等。
韵律模型为预训练语言模型BERT(Bidirectional Encoder Representationfrom Transformers)、双向LSTM-CRF(ConditionalRandomField，条件随机场)模型等。
在步骤102中，根据语音特征信息和多语种文本中各语种的语言特征向量进行语音合成，获得与多语种文本对应的第一音频信息。
在本公开中，可以将语音特征信息和多语种文本中各语种的语言特征向量输入至现有语音合成模型(例如，Tacotron模型、Deepvoice 3模型、Tacotron2模型、Wavenet模型等)中，得到与多语种文本对应的梅尔频谱特征信息；然后通过声码器(例如，Wavenet声码器、Griffin-Lim声码器)对该梅尔频谱特征信息进行语音合成，以获得第一音频信息。
在上述技术方案中，通过提取多语种文本的音素、声调、分词和韵律边界这些语音特征信息，并基于语音特征信息和多语种文本中各语种的语言特征向量对多语种文本进行语音合成，从而可以更加关注多语种文本的文本内容。这样，可以使得语音合成得到的第一音频信息能够根据多语种文本的文本内容以及分词进行停顿，提高了第一音频数据的准确性和可理解性，便于用户快速理解第一音频数据对应的文本内容。另外，由于语音合成时能够在自然的韵律边界处进行停顿，因此可以提升第一音频信息的自然度和流畅性。此外，上述语音合成方法不但可以实现不同语种的流畅转换，而且支持各语种文本的语音合成，而并不限定特定语种，即其具有广泛的适用性。
图2是根据另一示例性实施例示出的一种语音合成方法的流程图。如图2所示，上述方法还可以包括以下步骤103。
在步骤103中，获取目标朗读者的韵律表征。
在本公开中，上述目标朗读者可以为默认的朗读者，也可以是用户设定的朗读值。上述韵律表征可以用于指示音调和音量变化。并且，可以通过以下方式来获取目标朗读者的韵律表征：首先，获取目标朗读者朗读的任一第二音频信息对应的第一梅尔频谱特征信息；之后，将该第一梅尔频谱特征信息输入至预设的变分自编码(Variational Auto-Encoder，VAE)模型中，得到目标朗读者的韵律表征。其中，上述VAE模型是基于不同朗读者朗读的音频中的梅尔频谱特征信息作为训练样本进行训练的。
在获取到目标朗读者的韵律表征后，可以根据上述语音特征信息、多语种文本中各语种的语言特征向量以及该韵律表征，获得与多语种文本对应的第一音频信息。这样，用户可以通过朗读系统指定朗读者来朗读多语种文本，提升了使用体验。
具体来说，可以通过以下方式来获取第一音频信息：首先，将语音特征信息、多语种文本中各语种的语言特征向量以及韵律表征输入至与目标朗读者对应的预设语音合成模型中，得到与多语种文本对应的第二梅尔频谱特征信息；然后，通过声码器对第二梅尔频谱特征信息进行合成，以获得第一音频信息。
朗读系统中可以预设有多个朗读者，其中，每一朗读者均对应有一预设语音合成模型，以用于根据多语种文本合成具有该朗读者韵律特征的音频信息。其中，预设语音合成模型可以为基于编码-解码框架所建立的带有注意力机制(attention)的序列到序列(Sequence-to-sequence，Seq2seq)的模型，即该模型的输入为一个序列，输出也为一个序列。具体来说，如图3所示，该模型可以包括第一编码网络、第一注意力网络(图3中以GMMattention网络示例，即基于高斯混合模型(GaussianMixtureModel，GMM)的注意力网络)以及第一解码网络。第一编码网络可以用于根据多语种文本的语音特征信息，获取多语种文本对应的第一表示序列，第一注意力网络可以用于根据第一表示序列，生成定长的第一语义表征；第一解码网络可以用于根据该第一语义表征、目标朗读者的韵律表征以及多语种文本中各语种的语言特征向量，获得多语种文本对应的第二梅尔频谱特征信息(其中，该第二梅尔频谱特征信息为一序列)。
具体来说，第一编码网络可以包括嵌入层(即Embedding层)、预处理网络(Pre-net)子模型和CBHG(Convolution Bank+Highway network+bidirectional GatedRecurrent Unit，即，卷积层+高速网络+双向递归神经网络，也就是说，CBHG由卷积层、高速网络以及双向递归神经网络组成)子模型。首先，通过嵌入层将语音特征信息转换为词向量，然后将该词向量输入至Pre-net子模型，以对词向量进行非线性变换，从而提升预设语音合成模型的收敛和泛化能力，最后，通过CBHG子模型根据非线性变换后的词向量，获得相应的第一表示序列。
其中，利用CBHG子模型可以通过以下方式获得相应的表示序列：首先，非线性变换后的词向量输入卷积层后，进行如下处理：先经过K个卷积层，第K个卷积核通道为k，这些卷积核可以对当前以及上下文信息有效建模；卷积输出被堆叠一起，沿着时间轴最大池化以增加当前信息不变性；然后输入到几个固定宽度的卷积滤波器处理最大池化输出；最后，通过残差连接将卷积滤波器的输出与上述非线性变换后的词向量组合，生成卷积输出。然后，将卷积输出输入到多层的高速网络中，用以提取更高级别的特征，即生成高级特征表示；最后，将高级特征表示输入至双向递归神经网络中，用于提取上下文特征，得到语音特征信息的第一表示序列。
其中，上述CBHG子模型的卷积层可以为一维卷积层、二维卷积层等。优选地，CBHG子模型的卷积层为二维卷积层，这样，可以增加时间维度的相关性，从而增加长时序列变化的表征，进而提升第一音频信息的准确性。
上述CBHG子模型的双向递归神经网络可以为门控递归单元(Gated RecurrentUnit，GRU)神经网络或基于zoneout的LSTM。优选地，CBHG子模型的双向递归神经网络为基于zoneout的LSTM，这样，使得时序建模更好，从而提升第一音频信息的准确性。
另外，上述CBHG子模型的残差连接可以跨越三个卷积层重复一次，也可以为每隔两个卷积层重复一次。优选地，该残差连接每隔两个卷积层重复一次，由此，可以提升语音合成效果的稳定性，避免出现漏元辅音、重复元辅音或者无法停止的现象。
此外，上述第一注意力网络可以为位置敏感注意力(Locative SensitiveAttention)，也可以为GMM attention(如图3中所示)。优选地，该第一注意力网络可以为基于高斯混合模型GMM attention，这样，可以进一步提升语音合成效果的稳定性，避免出现漏元辅音、重复元辅音或者无法停止的现象。
如图3所示，上述第一解码网络可以包括预处理网络Pre-net子模型、Attention-RNN、Decoder-RNN以及后处理网络(post-processing-net，postnet)。其中，该Pre-net的结构与第一编码网络中的Pre-net的结构相同，用于对输入的先前帧(Initial frame)做一些非线性变换。Attention-RNN的结构为一层单向的、基于zoneout的LSTM，它将第一解码网络的Pre-net的输出(即非线性变换后的先前帧)作为输入，经过LSTM单元后输出到Decoder-RNN中。Decode-RNN为两层单向的、基于zoneout的LSTM，它的输入为定长的第一语义表征、目标朗读者的韵律表征以及多语种文本中各语种的语言特征向量，经过LSTM单元输出预测梅尔频谱和停止符(Stop token)，之后，将其输出值送入postnet。postnet可以为5层卷积网络，它可以用于对Decode-RNN的预测梅尔频谱进行残差预测，再将该残差与原始输入postnet的向量(即，预测梅尔频谱)相加以得到多语种文本对应的第二梅尔频谱特征信息。
在通过预设语音合成模型得到多语种文本对应的第二梅尔频谱特征信息后，可以将该第二梅尔频谱特征信息输入到声码器中，以进行语音合成，从而得到多语种文本对应的第一音频信息。
另外，上述目标朗读者对应的预设语音合成模型可以通过以下方式来构建：
(1)对多个第一样本文本中的每一第一文本样本，获取该第一文本样本的语音特征信息和该第一文本样本的语种的语言特征向量，其中，第一文本样本为单一语种样本。(2)将第一文本样本的语音特征信息、目标朗读者的韵律表征以及该第一文本样本的语种的语言特征向量，输入到初始语音合成模型中，得到与该第一文本样本对应的第三梅尔频谱特征信息。具体来说，可以将该第一文本样本的语音特征信息输入到初始第一编码网络中，得到该第一文本样本对应的表示序列；将该第一文本样本对应的表示序列输入到初始第一注意力网络中，以生成定长的语义表征；然后将该语义特征、目标朗读者的韵律表征以及该第一文本样本的语种的语言特征向量输入到初始第一编码网络中，得到与该第一文本样本对应的第三梅尔频谱特征信息。(3)通过声码器对每一第三梅尔频谱特征信息进行合成，以获得多个第三音频信息。(4)根据多个第三音频信息和第一标记数据的比对结果，对初始语音合成模型进行训练，得到目标朗读者对应的预设语音合成模型，其中，第一标记数据为与目标朗读者朗读各第一文本样本对应第四音频信息。
另外，在通过模型训练得到目标朗读者对应的预设语音合成模型后，可以将该预设语音合成模型作为生成式对抗网络WGAN的生成器，将各第三梅尔频谱特征信息和第一标记数据(即，与目标朗读者朗读各第一文本样本对应第四音频信息)对应的第四梅尔频谱特征信息输入到WGAN的判别器中进行对抗训练。这样，可以提升目标朗读者对应的预设语音合成模型预测的梅尔频谱特征信息与真实梅尔频谱特征信息的相似度，从而提升该模型进行语音合成的准确性。
其中，可以通过与上述根据梅尔频谱特征信息获取音频信息的相反的方式来获取第四音频信息对应的第四梅尔频谱特征信息。并且，上述判别器可以为多个堆叠的卷积神经网络。
此外，为了保证目标朗读者在不能说其他语种语言时，上述预设语音合成模型也能合成出该目标朗读者说出其他语种语言的能力，在将该第一文本样本的语音特征信息、目标朗读者的韵律表征以及第一文本样本的语种的语言特征向量，输入到初始语音合成模型中之前，可以通过预设的多人语音合成模型初始化上述初始语音合成模型，得到初始化后的语音合成模型。其中，上述多人语音合成模型是可以基于多个第二样本文本以及各第二样本文本对应的、具备说出该第二样本文本中各语种的朗读者朗读的第五音频信息进行训练得到的。这样，上述预设语音合成模型可以基于初始化后的语音合成模型进行训练。即，将第一文本样本的语音特征信息、目标朗读者的韵律表征以及该第一文本样本的语种的语言特征向量，输入到初始后的语音合成模型中，得到与该第一文本样本对应的第三梅尔频谱特征信息。
另外，上述预设的多人语音合成模型通过以下方式来构建：
(1)针对多个第二样本文本中的每一第二文本样本，获取该第二文本样本的语音特征信息和该第二文本样本中各语种的语言特征向量。(2)将该第二文本样本的语音特征信息、该第二文本样本对应的朗读者的韵律表征和预设音色特征、以及该第二文本样本中各语种的语言特征向量，输入到初始多人语音合成模型中，得到与该第二文本样本对应的第五梅尔频谱特征信息。其中，上述预设音色特征(即朗读者隐藏表征)可以从相应朗读者的随机初始化的朗读者矩阵(speaker table)中选取，并用one-hot向量表示。(3)通过声码器对每一第五梅尔频谱特征信息进行合成，以获得多个第六音频信息。(4)根据多个第六音频信息和第二标记数据的比对结果，对初始多人语音合成模型进行训练，得到预设的多人语音合成模型，其中，第二标记数据为各第二样本文本对应的、具备说出该第二样本文本中各语种的朗读者朗读的第五音频信息。
其中，上述初始多人语音合成模型的结构可以与上述预设语音合成模型的结构类似，如图4所示，该初始多人语音合成模型包括第二编码网络、第二注意力网络以及第二解码网络，其中，第二编码网络用于根据第二文本样本的语音特征信息，获取该第二文本样本对应的第二表示序列，第二注意力网络用于根据第二表示序列，生成定长的第二语义表征；第二解码网络用于根据第二语义表征、该第二文本样本对应的朗读者的韵律表征和预设音色特征、以及该第二文本样本中各语种的语言特征向量，获得第五梅尔频谱特征信息。
可选地，上述初始多人语音合成模型还可以包括说话人识别器(speakerclassifier)，与第二编码网络连接，用于对第二表示序列进行音色分离。其中，该初始多人语音合成模型的损失值包括该说话人识别器的损失值，从而可以该模型在编码阶段剥离出音色相关部分，只保留文本相关，这样，可以避免在混读时出现顿挫感或者音色不一致的问题。
另外，在通过模型训练得到预设的多人语音合成模型后，可以将该预设的多人语音合成模型作为生成式对抗网络WGAN的生成器，将各第五梅尔频谱特征信息和上述第二标记数据(各第二样本文本对应的、具备说出该第二样本文本中各语种的朗读者朗读的第五音频信息)对应的第六梅尔频谱特征信息输入到WGAN的判别器中进行对抗训练。这样，可以提升预设的多人语音合成模型测梅尔频谱特征信息与真实梅尔频谱特征信息的相似度，从而进一步提升基于该预设的多人语音合成模型进行模型训练得到的目标朗读者对应的预设语音合成模型进行语音合成的准确性。
其中，可以通过与上述根据梅尔频谱特征信息获取音频信息的相反的方式来获取第五音频信息对应的第六梅尔频谱特征信息。
此外，上述语音特征信息中的音素可以为IPA(International PhoneticAlphabet，国际音标)音素，这样可以提升多语种混读的流畅性。并且，在利用IPA音色进行模型(包括，预设语音合成模型和预设的多人语音合成模型)训练时，由于输入到编码网络(第一编码网络或第二编码网络)中的音素采用统一表示，因此可以学习到不同语种在发类似读音时的相关性，即便相应语种的数据量相对较少，也能快速学习出相应的发音。
图5是根据一示例性实施例示出的一种语音合成装置的框图。参照图5，该装置500可以包括获取模块501，用于获取多语种文本的语音特征信息和所述多语种文本中各语种的语言特征向量，其中，所述语音特征信息包括音素、声调、分词及韵律边界，所述语言特征向量包括相应文本中属于当前语种的各音素的语种标志；语音合成模块502，用于根据所述语音特征信息和所述语言特征向量进行语音合成，获得与所述多语种文本对应的第一音频信息。
可选地，所述装置500还包括：韵律表征获取模块，用于获取目标朗读者的韵律表征，其中，所述韵律表征用于指示音调和音量变化；所述语音合成模块502用于根据所述语音特征信息、所述语言特征向量以及所述韵律表征进行语音合成，获得与所述多语种文本对应的第一音频信息。
可选地，所述韵律表征获取模块包括：第一梅尔频谱特征信息获取子模块，用于获取所述目标朗读者朗读的任一第二音频信息对应的第一梅尔频谱特征信息；韵律表征获取子模块，用于将所述第一梅尔频谱特征信息输入至预设的变分自编码模型，得到所述目标朗读者的韵律表征。
可选地，所述语音合成模块502包括：第二梅尔频谱特征信息获取子模块，用于将所述语音特征信息、所述语言特征向量以及所述韵律表征输入至与所述目标朗读者对应的预设语音合成模型中，得到与所述多语种文本对应的第二梅尔频谱特征信息；语音合成子模块，用于通过声码器对所述第二梅尔频谱特征信息进行合成，以获得所述第一音频信息。
可选地，所述预设语音合成模型包括第一编码网络、第一注意力网络以及第一解码网络，其中，所述第一编码网络用于根据所述语音特征信息，获取所述多语种文本对应的第一表示序列，所述第一注意力网络用于根据所述第一表示序列，生成定长的第一语义表征；所述第一解码网络用于根据所述第一语义表征、所述语言特征向量以及所述韵律表征，获得所述第二梅尔频谱特征信息。
可选地，与所述目标朗读者对应的所述预设语音合成模型可以通过第一模型构建装置来构建。该装置包括：第一文本样本信息获取模块，用于针对多个第一样本文本中的每一第一文本样本，获取该第一文本样本的语音特征信息和该第一文本样本的语种的语言特征向量，其中，所述第一文本样本为单一语种样本；第三梅尔频谱特征信息获取模块，用于将该第一文本样本的语音特征信息、所述目标朗读者的韵律表征以及该第一文本样本的语种的语言特征向量，输入到初始语音合成模型中，得到与该第一文本样本对应的第三梅尔频谱特征信息；第三音频信息获取模块，用于通过所述声码器对每一所述第三梅尔频谱特征信息进行合成，以获得多个第三音频信息；第一模型训练模块，用于根据多个所述第三音频信息和第一标记数据的比对结果，对所述初始语音合成模型进行训练，得到所述目标朗读者对应的所述预设语音合成模型，其中，所述第一标记数据为与所述目标朗读者朗读各所述第一文本样本对应第四音频信息。
可选地，所述第一模型构建装置还包括：第一对抗训练模块，用于将所述预设语音合成模型作为生成式对抗网络WGAN的生成器，将各所述第三梅尔频谱特征信息和所述第一标记数据对应的第四梅尔频谱特征信息输入到所述WGAN的判别器中进行对抗训练。
可选地，所述装置还包括：初始化模块，用于在所述第一模型训练模块，将该第一文本样本的语音特征信息、所述目标朗读者的韵律表征以及该第一文本样本的语种的语言特征向量，输入到初始语音合成模型中之前，通过预设的多人语音合成模型初始化所述初始语音合成模型，得到初始化后的语音合成模型，其中，所述多人语音合成模型是基于多个第二样本文本以及各所述第二样本文本对应的、具备说出该第二样本文本中各语种的朗读者朗读的第五音频信息进行训练得到的，所述第二样本文本为多语种文本；所述第一模型训练模块，用于将该第一文本样本的语音特征信息、所述目标朗读者的韵律表征以及该第一文本样本的语种的语言特征向量，输入到所述初始后的语音合成模型中，得到与该第一文本样本对应的第三梅尔频谱特征信息。
可选地，所述预设的多人语音合成模型可以通过第二模型构建装置来构建。该装置包括：第二样本文本信息获取模块，用于针对所述多个第二样本文本中的每一第二文本样本，获取该第二文本样本的语音特征信息和该第二文本样本中各语种的语言特征向量；第五梅尔频谱特征信息获取模块，用于将该第二文本样本的语音特征信息、该第二文本样本对应的朗读者的韵律表征和预设音色特征、以及该第二文本样本中各语种的语言特征向量，输入到初始多人语音合成模型中，得到与该第二文本样本对应的第五梅尔频谱特征信息；第六音频信息获取模块，用于通过所述声码器对每一所述第五梅尔频谱特征信息进行合成，以获得多个第六音频信息；第二模型训练模块，用于根据多个所述第六音频信息和第二标记数据的比对结果，对所述初始多人语音合成模型进行训练，得到所述预设的多人语音合成模型，其中，所述第二标记数据为所述第五音频信息。
可选地，所述初始多人语音合成模型包括第二编码网络、第二注意力网络以及第二解码网络，其中，所述第二编码网络用于根据所述第二文本样本的语音特征信息，获取所述该第二文本样本对应的第二表示序列，所述第二注意力网络用于根据所述第二表示序列，生成定长的第二语义表征；所述第二解码网络用于根据所述第二语义表征、该第二文本样本对应的朗读者的韵律表征和预设音色特征、以及该第二文本样本中各语种的语言特征向量，获得所述第五梅尔频谱特征信息。
可选地，所述初始多人语音合成模型还包括说话人识别器，与所述第二编码网络连接，用于对所述第二表示序列进行音色分离，其中，所述初始多人语音合成模型的损失值包括所述说话人识别器的损失值。
可选地，所述第二模型构建装置还包括：第二对抗训练模块，用于将所述预设的多人语音合成模型作为生成式对抗网络WGAN的生成器，将各所述第五梅尔频谱特征信息和所述第二标记数据对应的第六梅尔频谱特征信息输入到所述WGAN的判别器中进行对抗训练。
另外，需要说明的是，上述第一模型构建装置或第二模型构建装置可以独立于上述语音合成装置500，也可以集成在该语音合成装置500内，在本公开中不作具体限定。
可选地，所述音素为IPA音素。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开提供的上述语音合成方法的步骤。
下面参考图6，其示出了适于用来实现本公开实施例的电子设备(例如图1中的终端设备或服务器)600的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperTextTransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取多语种文本的语音特征信息和所述多语种文本中各语种的语言特征向量，其中，所述语音特征信息包括音素、声调、分词及韵律边界，所述语言特征向量包括相应文本中属于当前语种的各音素的语种标志；根据所述语音特征信息和所述语言特征向量进行语音合成，获得与所述多语种文本对应的第一音频信息。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“获取多语种文本的语音特征信息和所述多语种文本中各语种的语言特征向量的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，示例1提供了一种语音合成方法，包括：获取多语种文本的语音特征信息和所述多语种文本中各语种的语言特征向量，其中，所述语音特征信息包括音素、声调、分词及韵律边界；根据所述语音特征信息和所述语言特征向量进行语音合成，获得与所述多语种文本对应的第一音频信息。
根据本公开的一个或多个实施例，示例2提供了示例1的方法，所述方法还包括：获取目标朗读者的韵律表征，其中，所述韵律表征用于指示音调和音量变化；所述根据所述语音特征信息和所述语言特征向量进行语音合成，获得与所述多语种文本对应的第一音频信息，包括：根据所述语音特征信息、所述语言特征向量以及所述韵律表征进行语音合成，获得与所述多语种文本对应的第一音频信息。
根据本公开的一个或多个实施例，示例3提供了示例2的方法，所述获取目标朗读者的韵律表征，包括：获取所述目标朗读者朗读的任一第二音频信息对应的第一梅尔频谱特征信息；将所述第一梅尔频谱特征信息输入至预设的变分自编码模型，得到所述目标朗读者的韵律表征。
根据本公开的一个或多个实施例，示例4提供了示例2的方法，所述根据所述语音特征信息、所述语言特征向量以及所述韵律表征进行语音合成，获得与所述多语种文本对应的第一音频信息，包括：将所述语音特征信息、所述语言特征向量以及所述韵律表征输入至与所述目标朗读者对应的预设语音合成模型中，得到与所述多语种文本对应的第二梅尔频谱特征信息；通过声码器对所述第二梅尔频谱特征信息进行合成，以获得所述第一音频信息。
根据本公开的一个或多个实施例，示例5提供了示例4的方法，所述预设语音合成模型包括第一编码网络、第一注意力网络以及第一解码网络，其中，所述第一编码网络用于根据所述语音特征信息，获取所述多语种文本对应的第一表示序列，所述第一注意力网络用于根据所述第一表示序列，生成定长的第一语义表征；所述第一解码网络用于根据所述第一语义表征、所述语言特征向量以及所述韵律表征，获得所述第二梅尔频谱特征信息。
根据本公开的一个或多个实施例，示例6提供了示例4的方法，与所述目标朗读者对应的所述预设语音合成模型通过以下方式来构建：针对多个第一样本文本中的每一第一文本样本，获取该第一文本样本的语音特征信息和该第一文本样本的语种的语言特征向量，其中，所述第一文本样本为单一语种样本；将该第一文本样本的语音特征信息、所述目标朗读者的韵律表征以及该第一文本样本的语种的语言特征向量，输入到初始语音合成模型中，得到与该第一文本样本对应的第三梅尔频谱特征信息；通过所述声码器对每一所述第三梅尔频谱特征信息进行合成，以获得多个第三音频信息；根据多个所述第三音频信息和第一标记数据的比对结果，对所述初始语音合成模型进行训练，得到所述目标朗读者对应的所述预设语音合成模型，其中，所述第一标记数据为与所述目标朗读者朗读各所述第一文本样本对应第四音频信息。
根据本公开的一个或多个实施例，示例7提供了示例6的方法，所述方法还包括：将所述预设语音合成模型作为生成式对抗网络WGAN的生成器，将各所述第三梅尔频谱特征信息和所述第一标记数据对应的第四梅尔频谱特征信息输入到所述WGAN的判别器中进行对抗训练。
根据本公开的一个或多个实施例，示例8提供了示例6的方法，在所述将该第一文本样本的语音特征信息、所述目标朗读者的韵律表征以及该第一文本样本的语种的语言特征向量，输入到初始语音合成模型中的步骤之前，所述方法还包括：通过预设的多人语音合成模型初始化所述初始语音合成模型，得到初始化后的语音合成模型，其中，所述多人语音合成模型是基于多个第二样本文本以及各所述第二样本文本对应的、具备说出该第二样本文本中各语种的朗读者朗读的第五音频信息进行训练得到的，所述第二样本文本为多语种文本；所述将该第一文本样本的语音特征信息、所述目标朗读者的韵律表征以及该第一文本样本的语种的语言特征向量，输入到初始语音合成模型中，得到与该第一文本样本对应的第三梅尔频谱特征信息，包括：将该第一文本样本的语音特征信息、所述目标朗读者的韵律表征以及该第一文本样本的语种的语言特征向量，输入到所述初始后的语音合成模型中，得到与该第一文本样本对应的第三梅尔频谱特征信息。
根据本公开的一个或多个实施例，示例9提供了示例8的方法，所述预设的多人语音合成模型通过以下方式来构建：针对所述多个第二样本文本中的每一第二文本样本，获取该第二文本样本的语音特征信息和该第二文本样本中各语种的语言特征向量；将该第二文本样本的语音特征信息、该第二文本样本对应的朗读者的韵律表征和预设音色特征、以及该第二文本样本中各语种的语言特征向量，输入到初始多人语音合成模型中，得到与该第二文本样本对应的第五梅尔频谱特征信息；通过所述声码器对每一所述第五梅尔频谱特征信息进行合成，以获得多个第六音频信息；根据多个所述第六音频信息和第二标记数据的比对结果，对所述初始多人语音合成模型进行训练，得到所述预设的多人语音合成模型，其中，所述第二标记数据为所述第五音频信息。
根据本公开的一个或多个实施例，示例10提供了示例9的方法，所述初始多人语音合成模型包括第二编码网络、第二注意力网络以及第二解码网络，其中，所述第二编码网络用于根据所述第二文本样本的语音特征信息，获取所述该第二文本样本对应的第二表示序列，所述第二注意力网络用于根据所述第二表示序列，生成定长的第二语义表征；所述第二解码网络用于根据所述第二语义表征、该第二文本样本对应的朗读者的韵律表征和预设音色特征、以及该第二文本样本中各语种的语言特征向量，获得所述第五梅尔频谱特征信息。
根据本公开的一个或多个实施例，示例11提供了示例10的方法，所述初始多人语音合成模型还包括说话人识别器，与所述第二编码网络连接，用于对所述第二表示序列进行音色分离，其中，所述初始多人语音合成模型的损失值包括所述说话人识别器的损失值。
根据本公开的一个或多个实施例，示例12提供了示例9-11中任一项所述的方法，所述方法还包括：将所述预设的多人语音合成模型作为生成式对抗网络WGAN的生成器，将各所述第五梅尔频谱特征信息和所述第二标记数据对应的第六梅尔频谱特征信息输入到所述WGAN的判别器中进行对抗训练。
根据本公开的一个或多个实施例，示例13提供了示例1-11中任一项所述的方法，所述音素为IPA音素。
根据本公开的一个或多个实施例，示例14提供了一种语音合成装置，包括：获取模块，用于获取多语种文本的语音特征信息和所述多语种文本中各语种的语言特征向量，其中，所述语音特征信息包括音素、声调、分词及韵律边界，所述语言特征向量包括相应文本中属于当前语种的各音素的语种标志；语音合成模块，用于根据所述语音特征信息和所述语言特征向量进行语音合成，获得与所述多语种文本对应的第一音频信息。
根据本公开的一个或多个实施例，示例15提供了示例14的装置，所述装置还包括：韵律表征获取模块，用于获取目标朗读者的韵律表征，其中，所述韵律表征用于指示音调和音量变化；所述语音合成模块用于根据所述语音特征信息、所述语言特征向量以及所述韵律表征进行语音合成，获得与所述多语种文本对应的第一音频信息。
根据本公开的一个或多个实施例，示例16提供了示例15的装置，所述韵律表征获取模块包括：第一梅尔频谱特征信息获取子模块，用于获取所述目标朗读者朗读的任一第二音频信息对应的第一梅尔频谱特征信息；韵律表征获取子模块，用于将所述第一梅尔频谱特征信息输入至预设的变分自编码模型，得到所述目标朗读者的韵律表征。
根据本公开的一个或多个实施例，示例17提供了示例15的装置，所述语音合成模块包括：第二梅尔频谱特征信息获取子模块，用于将所述语音特征信息、所述语言特征向量以及所述韵律表征输入至与所述目标朗读者对应的预设语音合成模型中，得到与所述多语种文本对应的第二梅尔频谱特征信息；语音合成子模块，用于通过声码器对所述第二梅尔频谱特征信息进行合成，以获得所述第一音频信息。
根据本公开的一个或多个实施例，示例18提供了示例17的装置，所述预设语音合成模型包括第一编码网络、第一注意力网络以及第一解码网络，其中，所述第一编码网络用于根据所述语音特征信息，获取所述多语种文本对应的第一表示序列，所述第一注意力网络用于根据所述第一表示序列，生成定长的第一语义表征；所述第一解码网络用于根据所述第一语义表征、所述语言特征向量以及所述韵律表征，获得所述第二梅尔频谱特征信息。
根据本公开的一个或多个实施例，示例19提供了示例17的装置，与所述目标朗读者对应的所述预设语音合成模型可以通过第一模型构建装置来构建。该装置包括：第一文本样本信息获取模块，用于针对多个第一样本文本中的每一第一文本样本，获取该第一文本样本的语音特征信息和该第一文本样本的语种的语言特征向量，其中，所述第一文本样本为单一语种样本；第三梅尔频谱特征信息获取模块，用于将该第一文本样本的语音特征信息、所述目标朗读者的韵律表征以及该第一文本样本的语种的语言特征向量，输入到初始语音合成模型中，得到与该第一文本样本对应的第三梅尔频谱特征信息；第三音频信息获取模块，用于通过所述声码器对每一所述第三梅尔频谱特征信息进行合成，以获得多个第三音频信息；第一模型训练模块，用于根据多个所述第三音频信息和第一标记数据的比对结果，对所述初始语音合成模型进行训练，得到所述目标朗读者对应的所述预设语音合成模型，其中，所述第一标记数据为与所述目标朗读者朗读各所述第一文本样本对应第四音频信息。
根据本公开的一个或多个实施例，示例20提供了示例19的装置，所述第一模型构建装置还包括：第一对抗训练模块，用于将所述预设语音合成模型作为生成式对抗网络WGAN的生成器，将各所述第三梅尔频谱特征信息和所述第一标记数据对应的第四梅尔频谱特征信息输入到所述WGAN的判别器中进行对抗训练。
根据本公开的一个或多个实施例，示例21提供了示例19的装置，所述装置还包括：初始化模块，用于在所述第一模型训练模块，将该第一文本样本的语音特征信息、所述目标朗读者的韵律表征以及该第一文本样本的语种的语言特征向量，输入到初始语音合成模型中之前，通过预设的多人语音合成模型初始化所述初始语音合成模型，得到初始化后的语音合成模型，其中，所述多人语音合成模型是基于多个第二样本文本以及各所述第二样本文本对应的、具备说出该第二样本文本中各语种的朗读者朗读的第五音频信息进行训练得到的，所述第二样本文本为多语种文本；所述第一模型训练模块，用于将该第一文本样本的语音特征信息、所述目标朗读者的韵律表征以及该第一文本样本的语种的语言特征向量，输入到所述初始后的语音合成模型中，得到与该第一文本样本对应的第三梅尔频谱特征信息。
根据本公开的一个或多个实施例，示例22提供了示例21的装置，所述预设的多人语音合成模型可以通过第二模型构建装置来构建。该装置包括：第二样本文本信息获取模块，用于针对所述多个第二样本文本中的每一第二文本样本，获取该第二文本样本的语音特征信息和该第二文本样本中各语种的语言特征向量；第五梅尔频谱特征信息获取模块，用于将该第二文本样本的语音特征信息、该第二文本样本对应的朗读者的韵律表征和预设音色特征、以及该第二文本样本中各语种的语言特征向量，输入到初始多人语音合成模型中，得到与该第二文本样本对应的第五梅尔频谱特征信息；第六音频信息获取模块，用于通过所述声码器对每一所述第五梅尔频谱特征信息进行合成，以获得多个第六音频信息；第二模型训练模块，用于根据多个所述第六音频信息和第二标记数据的比对结果，对所述初始多人语音合成模型进行训练，得到所述预设的多人语音合成模型，其中，所述第二标记数据为所述第五音频信息。
根据本公开的一个或多个实施例，示例23提供了示例22的装置，所述初始多人语音合成模型包括第二编码网络、第二注意力网络以及第二解码网络，其中，所述第二编码网络用于根据所述第二文本样本的语音特征信息，获取所述该第二文本样本对应的第二表示序列，所述第二注意力网络用于根据所述第二表示序列，生成定长的第二语义表征；所述第二解码网络用于根据所述第二语义表征、该第二文本样本对应的朗读者的韵律表征和预设音色特征、以及该第二文本样本中各语种的语言特征向量，获得所述第五梅尔频谱特征信息。
根据本公开的一个或多个实施例，示例24提供了示例23的装置，所述初始多人语音合成模型还包括说话人识别器，与所述第二编码网络连接，用于对所述第二表示序列进行音色分离，其中，所述初始多人语音合成模型的损失值包括所述说话人识别器的损失值。
根据本公开的一个或多个实施例，示例25提供了示例22-24中任一项所述的装置，所述初始多人语音合成模型还包括说话人识别器，与所述第二编码网络连接，用于对所述第二表示序列进行音色分离，其中，所述初始多人语音合成模型的损失值包括所述说话人识别器的损失值。
根据本公开的一个或多个实施例，示例26提供了示例14-24中任一项所述的装置，所述音素为IPA音素。
根据本公开的一个或多个实施例，示例27提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现示例1-13中任一项所述方法的步骤。
根据本公开的一个或多个实施例，示例28提供了一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现示例1-13中任一项所述方法的步骤。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims (16)

1.一种语音合成方法，其特征在于，包括：
获取多语种文本的语音特征信息和所述多语种文本中各语种的语言特征向量，其中，所述语音特征信息包括音素、声调、分词及韵律边界，所述语言特征向量包括相应文本中属于当前语种的各音素的语种标志；
根据所述语音特征信息和所述语言特征向量进行语音合成，获得与所述多语种文本对应的第一音频信息。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取目标朗读者的韵律表征，其中，所述韵律表征用于指示音调和音量变化；
所述根据所述语音特征信息和所述语言特征向量进行语音合成，获得与所述多语种文本对应的第一音频信息，包括：
根据所述语音特征信息、所述语言特征向量以及所述韵律表征进行语音合成，获得与所述多语种文本对应的第一音频信息。
3.根据权利要求2所述的方法，其特征在于，所述获取目标朗读者的韵律表征，包括：
获取所述目标朗读者朗读的任一第二音频信息对应的第一梅尔频谱特征信息；
将所述第一梅尔频谱特征信息输入至预设的变分自编码模型，得到所述目标朗读者的韵律表征。
4.根据权利要求2所述的方法，其特征在于，所述根据所述语音特征信息、所述语言特征向量以及所述韵律表征进行语音合成，获得与所述多语种文本对应的第一音频信息，包括：
将所述语音特征信息、所述语言特征向量以及所述韵律表征输入至与所述目标朗读者对应的预设语音合成模型中，得到与所述多语种文本对应的第二梅尔频谱特征信息；
通过声码器对所述第二梅尔频谱特征信息进行合成，以获得所述第一音频信息。
5.根据权利要求4所述的方法，其特征在于，所述预设语音合成模型包括第一编码网络、第一注意力网络以及第一解码网络，其中，所述第一编码网络用于根据所述语音特征信息，获取所述多语种文本对应的第一表示序列，所述第一注意力网络用于根据所述第一表示序列，生成定长的第一语义表征；所述第一解码网络用于根据所述第一语义表征、所述语言特征向量以及所述韵律表征，获得所述第二梅尔频谱特征信息。
6.根据权利要求4所述的方法，其特征在于，与所述目标朗读者对应的所述预设语音合成模型通过以下方式来构建：
针对多个第一样本文本中的每一第一文本样本，获取该第一文本样本的语音特征信息和该第一文本样本的语种的语言特征向量，其中，所述第一文本样本为单一语种样本；
将该第一文本样本的语音特征信息、所述目标朗读者的韵律表征以及该第一文本样本的语种的语言特征向量，输入到初始语音合成模型中，得到与该第一文本样本对应的第三梅尔频谱特征信息；
通过所述声码器对每一所述第三梅尔频谱特征信息进行合成，以获得多个第三音频信息；
根据多个所述第三音频信息和第一标记数据的比对结果，对所述初始语音合成模型进行训练，得到所述目标朗读者对应的所述预设语音合成模型，其中，所述第一标记数据为与所述目标朗读者朗读各所述第一文本样本对应第四音频信息。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
将所述预设语音合成模型作为生成式对抗网络WGAN的生成器，将各所述第三梅尔频谱特征信息和所述第一标记数据对应的第四梅尔频谱特征信息输入到所述WGAN的判别器中进行对抗训练。
8.根据权利要求6所述的方法，其特征在于，在所述将该第一文本样本的语音特征信息、所述目标朗读者的韵律表征以及该第一文本样本的语种的语言特征向量，输入到初始语音合成模型中的步骤之前，所述方法还包括：
通过预设的多人语音合成模型初始化所述初始语音合成模型，得到初始化后的语音合成模型，其中，所述多人语音合成模型是基于多个第二样本文本以及各所述第二样本文本对应的、具备说出该第二样本文本中各语种的朗读者朗读的第五音频信息进行训练得到的，所述第二样本文本为多语种文本；
所述将该第一文本样本的语音特征信息、所述目标朗读者的韵律表征以及该第一文本样本的语种的语言特征向量，输入到初始语音合成模型中，得到与该第一文本样本对应的第三梅尔频谱特征信息，包括：
将该第一文本样本的语音特征信息、所述目标朗读者的韵律表征以及该第一文本样本的语种的语言特征向量，输入到所述初始后的语音合成模型中，得到与该第一文本样本对应的第三梅尔频谱特征信息。
9.根据权利要求8所述的方法，其特征在于，所述预设的多人语音合成模型通过以下方式来构建：
针对所述多个第二样本文本中的每一第二文本样本，获取该第二文本样本的语音特征信息和该第二文本样本中各语种的语言特征向量；
将该第二文本样本的语音特征信息、该第二文本样本对应的朗读者的韵律表征和预设音色特征、以及该第二文本样本中各语种的语言特征向量，输入到初始多人语音合成模型中，得到与该第二文本样本对应的第五梅尔频谱特征信息；
通过所述声码器对每一所述第五梅尔频谱特征信息进行合成，以获得多个第六音频信息；
根据多个所述第六音频信息和第二标记数据的比对结果，对所述初始多人语音合成模型进行训练，得到所述预设的多人语音合成模型，其中，所述第二标记数据为所述第五音频信息。
10.根据权利要求9所述的方法，其特征在于，所述初始多人语音合成模型包括第二编码网络、第二注意力网络以及第二解码网络，其中，所述第二编码网络用于根据所述第二文本样本的语音特征信息，获取所述该第二文本样本对应的第二表示序列，所述第二注意力网络用于根据所述第二表示序列，生成定长的第二语义表征；所述第二解码网络用于根据所述第二语义表征、该第二文本样本对应的朗读者的韵律表征和预设音色特征、以及该第二文本样本中各语种的语言特征向量，获得所述第五梅尔频谱特征信息。
11.根据权利要求10所述的方法，其特征在于，所述初始多人语音合成模型还包括说话人识别器，与所述第二编码网络连接，用于对所述第二表示序列进行音色分离，其中，所述初始多人语音合成模型的损失值包括所述说话人识别器的损失值。
12.根据权利要求9-11中任一项所述的方法，其特征在于，所述方法还包括：
将所述预设的多人语音合成模型作为生成式对抗网络WGAN的生成器，将各所述第五梅尔频谱特征信息和所述第二标记数据对应的第六梅尔频谱特征信息输入到所述WGAN的判别器中进行对抗训练。
13.根据权利要求1-11中任一项所述的方法，其特征在于，所述音素为IPA音素。
14.一种语音合成装置，其特征在于，包括：
获取模块，用于获取多语种文本的语音特征信息和所述多语种文本中各语种的语言特征向量，其中，所述语音特征信息包括音素、声调、分词及韵律边界，所述语言特征向量包括相应文本中属于当前语种的各音素的语种标志；
语音合成模块，用于根据所述语音特征信息和所述语言特征向量进行语音合成，获得与所述多语种文本对应的第一音频信息。
15.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-13中任一项所述方法的步骤。
16.一种电子设备，其特征在于，包括：
存储装置，其上存储有一个或多个计算机程序；
一个或多个处理装置，用于执行所述存储装置中的所述一个或多个计算机程序，以实现权利要求1-13中任一项所述方法的步骤。
CN202010082948.1A 2020-02-07 2020-02-07 语音合成方法、装置、计算机可读介质及电子设备 Active CN111292720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010082948.1A CN111292720B (zh) 2020-02-07 2020-02-07 语音合成方法、装置、计算机可读介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010082948.1A CN111292720B (zh) 2020-02-07 2020-02-07 语音合成方法、装置、计算机可读介质及电子设备

Publications (2)

Publication Number Publication Date
CN111292720A true CN111292720A (zh) 2020-06-16
CN111292720B CN111292720B (zh) 2024-01-23

Family

ID=71023478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010082948.1A Active CN111292720B (zh) 2020-02-07 2020-02-07 语音合成方法、装置、计算机可读介质及电子设备

Country Status (1)

Country Link
CN (1) CN111292720B (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111564152A (zh) * 2020-07-16 2020-08-21 北京声智科技有限公司 语音转换方法、装置、电子设备及存储介质
CN111816148A (zh) * 2020-06-24 2020-10-23 厦门大学 一种基于生成对抗网络的虚拟人声视唱方法和系统
CN111899720A (zh) * 2020-07-30 2020-11-06 北京字节跳动网络技术有限公司 用于生成音频的方法、装置、设备和介质
CN111916095A (zh) * 2020-08-04 2020-11-10 北京字节跳动网络技术有限公司 语音增强方法、装置、存储介质及电子设备
CN111933110A (zh) * 2020-08-12 2020-11-13 北京字节跳动网络技术有限公司 视频生成方法、生成模型训练方法、装置、介质及设备
CN112116903A (zh) * 2020-08-17 2020-12-22 北京大米科技有限公司 语音合成模型的生成方法、装置、存储介质及电子设备
CN112151005A (zh) * 2020-09-28 2020-12-29 四川长虹电器股份有限公司 一种中英文混合的语音合成方法及装置
CN112257407A (zh) * 2020-10-20 2021-01-22 网易（杭州）网络有限公司 音频中的文本对齐方法、装置、电子设备及可读存储介质
CN112270917A (zh) * 2020-10-20 2021-01-26 网易（杭州）网络有限公司 一种语音合成方法、装置、电子设备及可读存储介质
CN112289305A (zh) * 2020-11-23 2021-01-29 北京有竹居网络技术有限公司 韵律预测方法、装置、设备以及存储介质
CN112382267A (zh) * 2020-11-13 2021-02-19 北京有竹居网络技术有限公司 用于转换口音的方法、装置、设备以及存储介质
CN112509552A (zh) * 2020-11-27 2021-03-16 北京百度网讯科技有限公司 语音合成方法、装置、电子设备和存储介质
CN112530401A (zh) * 2020-11-30 2021-03-19 清华珠三角研究院 一种语音合成方法、系统及装置
CN112581933A (zh) * 2020-11-18 2021-03-30 北京百度网讯科技有限公司 语音合成模型获取方法、装置、电子设备及存储介质
CN112599113A (zh) * 2020-12-30 2021-04-02 北京大米科技有限公司 方言语音合成方法、装置、电子设备和可读存储介质
CN112652294A (zh) * 2020-12-25 2021-04-13 深圳追一科技有限公司 语音合成方法、装置、计算机设备和存储介质
CN112669810A (zh) * 2020-12-16 2021-04-16 平安科技（深圳）有限公司 语音合成的效果评估方法、装置、计算机设备及存储介质
CN112667865A (zh) * 2020-12-29 2021-04-16 西安掌上盛唐网络信息有限公司 中英混合语音合成技术在汉语言教学中的应用的方法及系统
CN112669841A (zh) * 2020-12-18 2021-04-16 平安科技（深圳）有限公司 多语种语音的生成模型的训练方法、装置及计算机设备
CN112712789A (zh) * 2020-12-21 2021-04-27 深圳市优必选科技股份有限公司 跨语言音频转换方法、装置、计算机设备和存储介质
CN112712812A (zh) * 2020-12-24 2021-04-27 腾讯音乐娱乐科技（深圳）有限公司 音频信号生成方法、装置、设备以及存储介质
CN112750419A (zh) * 2020-12-31 2021-05-04 科大讯飞股份有限公司 一种语音合成方法、装置、电子设备和存储介质
CN112863484A (zh) * 2021-01-25 2021-05-28 中国科学技术大学 韵律短语边界预测模型训练方法和韵律短语边界预测方法
CN112863483A (zh) * 2021-01-05 2021-05-28 杭州一知智能科技有限公司 支持多说话人风格、语言切换且韵律可控的语音合成装置
CN112927674A (zh) * 2021-01-20 2021-06-08 北京有竹居网络技术有限公司 语音风格的迁移方法、装置、可读介质和电子设备
CN113096634A (zh) * 2021-03-30 2021-07-09 平安科技（深圳）有限公司 语音合成方法、装置、服务器及存储介质
CN113327575A (zh) * 2021-05-31 2021-08-31 广州虎牙科技有限公司 一种语音合成方法、装置、计算机设备和存储介质
CN113327579A (zh) * 2021-08-03 2021-08-31 北京世纪好未来教育科技有限公司 语音合成方法、装置、存储介质和电子设备
CN113409764A (zh) * 2021-06-11 2021-09-17 北京搜狗科技发展有限公司 一种语音合成方法、装置和用于语音合成的装置
CN113409759A (zh) * 2021-07-07 2021-09-17 浙江工业大学 一种端到端实时语音合成方法
CN113409765A (zh) * 2021-06-11 2021-09-17 北京搜狗科技发展有限公司 一种语音合成方法、装置和用于语音合成的装置
CN113421547A (zh) * 2021-06-03 2021-09-21 华为技术有限公司 一种语音处理方法及相关设备
CN115116431A (zh) * 2022-08-29 2022-09-27 深圳市星范儿文化科技有限公司 基于智能朗读亭的音频生成方法、装置、设备及存储介质
CN115273810A (zh) * 2022-07-04 2022-11-01 成都理工大学 基于深度学习的多模态图像语音解读方法和系统
CN115294955A (zh) * 2021-04-19 2022-11-04 北京猎户星空科技有限公司 一种模型训练和语音合成方法、装置、设备及介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1540625A (zh) * 2003-03-24 2004-10-27 微软公司 多语种文本-语音系统的前端结构
CN1731510A (zh) * 2004-08-05 2006-02-08 摩托罗拉公司 混合语言文语转换
CN1801321A (zh) * 2005-01-06 2006-07-12 台达电子工业股份有限公司 文字转语音的系统与方法
CN1870130A (zh) * 2005-05-24 2006-11-29 株式会社东芝 音调模式生成方法及其装置
CN1879147A (zh) * 2003-12-16 2006-12-13 洛昆多股份公司 文本到语音转换方法和系统、及其计算机程序产品
CN1979636A (zh) * 2005-12-07 2007-06-13 凌阳科技股份有限公司 一种音标到语音的转换方法
CN101308652A (zh) * 2008-07-17 2008-11-19 安徽科大讯飞信息科技股份有限公司 一种个性化歌唱语音的合成方法
CN101504643A (zh) * 2008-02-07 2009-08-12 株式会社日立制作所 声音处理系统、声音处理程序以及声音处理方法
JP4533255B2 (ja) * 2005-06-27 2010-09-01 日本電信電話株式会社 音声合成装置、音声合成方法、音声合成プログラムおよびその記録媒体
CN105989833A (zh) * 2015-02-28 2016-10-05 讯飞智元信息科技有限公司 多语种混语文本字音转换方法及系统
CN106128450A (zh) * 2016-08-31 2016-11-16 西北师范大学 一种汉藏双语跨语言语音转换的方法及其系统
CN107481713A (zh) * 2017-07-17 2017-12-15 清华大学 一种混合语言语音合成方法及装置
CN108962217A (zh) * 2018-07-28 2018-12-07 华为技术有限公司 语音合成方法及相关设备
CN110033755A (zh) * 2019-04-23 2019-07-19 平安科技（深圳）有限公司 语音合成方法、装置、计算机设备及存储介质
CN110534089A (zh) * 2019-07-10 2019-12-03 西安交通大学 一种基于音素和韵律结构的中文语音合成方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1540625A (zh) * 2003-03-24 2004-10-27 微软公司 多语种文本-语音系统的前端结构
CN1879147A (zh) * 2003-12-16 2006-12-13 洛昆多股份公司 文本到语音转换方法和系统、及其计算机程序产品
CN1731510A (zh) * 2004-08-05 2006-02-08 摩托罗拉公司 混合语言文语转换
CN1801321A (zh) * 2005-01-06 2006-07-12 台达电子工业股份有限公司 文字转语音的系统与方法
CN1870130A (zh) * 2005-05-24 2006-11-29 株式会社东芝 音调模式生成方法及其装置
JP2006330200A (ja) * 2005-05-24 2006-12-07 Toshiba Corp ピッチパターン生成方法及びその装置
JP4533255B2 (ja) * 2005-06-27 2010-09-01 日本電信電話株式会社 音声合成装置、音声合成方法、音声合成プログラムおよびその記録媒体
CN1979636A (zh) * 2005-12-07 2007-06-13 凌阳科技股份有限公司 一种音标到语音的转换方法
CN101504643A (zh) * 2008-02-07 2009-08-12 株式会社日立制作所 声音处理系统、声音处理程序以及声音处理方法
CN101308652A (zh) * 2008-07-17 2008-11-19 安徽科大讯飞信息科技股份有限公司 一种个性化歌唱语音的合成方法
CN105989833A (zh) * 2015-02-28 2016-10-05 讯飞智元信息科技有限公司 多语种混语文本字音转换方法及系统
CN106128450A (zh) * 2016-08-31 2016-11-16 西北师范大学 一种汉藏双语跨语言语音转换的方法及其系统
CN107481713A (zh) * 2017-07-17 2017-12-15 清华大学 一种混合语言语音合成方法及装置
CN108962217A (zh) * 2018-07-28 2018-12-07 华为技术有限公司 语音合成方法及相关设备
CN110033755A (zh) * 2019-04-23 2019-07-19 平安科技（深圳）有限公司 语音合成方法、装置、计算机设备及存储介质
CN110534089A (zh) * 2019-07-10 2019-12-03 西安交通大学 一种基于音素和韵律结构的中文语音合成方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
杨鸿武等: "基于句法特征的汉语韵律边界预测", 《西北师范大学学报（自然科学版）》 *
杨鸿武等: "基于句法特征的汉语韵律边界预测", 《西北师范大学学报（自然科学版）》, 31 January 2013 (2013-01-31), pages 41 - 45 *
邱泽宇: "基于WaveNet的端到端语音合成方法", 《计算机应用》 *
邱泽宇: "基于WaveNet的端到端语音合成方法", 《计算机应用》, 10 May 2019 (2019-05-10), pages 1 - 3 *

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111816148A (zh) * 2020-06-24 2020-10-23 厦门大学 一种基于生成对抗网络的虚拟人声视唱方法和系统
CN111564152A (zh) * 2020-07-16 2020-08-21 北京声智科技有限公司 语音转换方法、装置、电子设备及存储介质
CN111899720B (zh) * 2020-07-30 2024-03-15 北京字节跳动网络技术有限公司 用于生成音频的方法、装置、设备和介质
CN111899720A (zh) * 2020-07-30 2020-11-06 北京字节跳动网络技术有限公司 用于生成音频的方法、装置、设备和介质
CN111916095A (zh) * 2020-08-04 2020-11-10 北京字节跳动网络技术有限公司 语音增强方法、装置、存储介质及电子设备
CN111933110A (zh) * 2020-08-12 2020-11-13 北京字节跳动网络技术有限公司 视频生成方法、生成模型训练方法、装置、介质及设备
CN112116903A (zh) * 2020-08-17 2020-12-22 北京大米科技有限公司 语音合成模型的生成方法、装置、存储介质及电子设备
CN112151005A (zh) * 2020-09-28 2020-12-29 四川长虹电器股份有限公司 一种中英文混合的语音合成方法及装置
CN112151005B (zh) * 2020-09-28 2022-08-19 四川长虹电器股份有限公司 一种中英文混合的语音合成方法及装置
CN112270917A (zh) * 2020-10-20 2021-01-26 网易（杭州）网络有限公司 一种语音合成方法、装置、电子设备及可读存储介质
CN112257407B (zh) * 2020-10-20 2024-05-14 网易（杭州）网络有限公司 音频中的文本对齐方法、装置、电子设备及可读存储介质
CN112270917B (zh) * 2020-10-20 2024-06-04 网易（杭州）网络有限公司 一种语音合成方法、装置、电子设备及可读存储介质
CN112257407A (zh) * 2020-10-20 2021-01-22 网易（杭州）网络有限公司 音频中的文本对齐方法、装置、电子设备及可读存储介质
CN112382267A (zh) * 2020-11-13 2021-02-19 北京有竹居网络技术有限公司 用于转换口音的方法、装置、设备以及存储介质
CN112581933A (zh) * 2020-11-18 2021-03-30 北京百度网讯科技有限公司 语音合成模型获取方法、装置、电子设备及存储介质
CN112581933B (zh) * 2020-11-18 2022-05-03 北京百度网讯科技有限公司 语音合成模型获取方法、装置、电子设备及存储介质
CN112289305A (zh) * 2020-11-23 2021-01-29 北京有竹居网络技术有限公司 韵律预测方法、装置、设备以及存储介质
CN112509552B (zh) * 2020-11-27 2023-09-26 北京百度网讯科技有限公司 语音合成方法、装置、电子设备和存储介质
CN112509552A (zh) * 2020-11-27 2021-03-16 北京百度网讯科技有限公司 语音合成方法、装置、电子设备和存储介质
CN112530401A (zh) * 2020-11-30 2021-03-19 清华珠三角研究院 一种语音合成方法、系统及装置
CN112530401B (zh) * 2020-11-30 2024-05-03 清华珠三角研究院 一种语音合成方法、系统及装置
CN112669810A (zh) * 2020-12-16 2021-04-16 平安科技（深圳）有限公司 语音合成的效果评估方法、装置、计算机设备及存储介质
CN112669810B (zh) * 2020-12-16 2023-08-01 平安科技（深圳）有限公司 语音合成的效果评估方法、装置、计算机设备及存储介质
CN112669841A (zh) * 2020-12-18 2021-04-16 平安科技（深圳）有限公司 多语种语音的生成模型的训练方法、装置及计算机设备
CN112669841B (zh) * 2020-12-18 2024-07-02 平安科技（深圳）有限公司 多语种语音的生成模型的训练方法、装置及计算机设备
CN112712789A (zh) * 2020-12-21 2021-04-27 深圳市优必选科技股份有限公司 跨语言音频转换方法、装置、计算机设备和存储介质
CN112712789B (zh) * 2020-12-21 2024-05-03 深圳市优必选科技股份有限公司 跨语言音频转换方法、装置、计算机设备和存储介质
CN112712812A (zh) * 2020-12-24 2021-04-27 腾讯音乐娱乐科技（深圳）有限公司 音频信号生成方法、装置、设备以及存储介质
CN112712812B (zh) * 2020-12-24 2024-04-26 腾讯音乐娱乐科技（深圳）有限公司 音频信号生成方法、装置、设备以及存储介质
CN112652294B (zh) * 2020-12-25 2023-10-24 深圳追一科技有限公司 语音合成方法、装置、计算机设备和存储介质
CN112652294A (zh) * 2020-12-25 2021-04-13 深圳追一科技有限公司 语音合成方法、装置、计算机设备和存储介质
CN112667865A (zh) * 2020-12-29 2021-04-16 西安掌上盛唐网络信息有限公司 中英混合语音合成技术在汉语言教学中的应用的方法及系统
CN112599113B (zh) * 2020-12-30 2024-01-30 北京大米科技有限公司 方言语音合成方法、装置、电子设备和可读存储介质
CN112599113A (zh) * 2020-12-30 2021-04-02 北京大米科技有限公司 方言语音合成方法、装置、电子设备和可读存储介质
CN112750419B (zh) * 2020-12-31 2024-02-13 科大讯飞股份有限公司 一种语音合成方法、装置、电子设备和存储介质
CN112750419A (zh) * 2020-12-31 2021-05-04 科大讯飞股份有限公司 一种语音合成方法、装置、电子设备和存储介质
CN112863483A (zh) * 2021-01-05 2021-05-28 杭州一知智能科技有限公司 支持多说话人风格、语言切换且韵律可控的语音合成装置
CN112927674A (zh) * 2021-01-20 2021-06-08 北京有竹居网络技术有限公司 语音风格的迁移方法、装置、可读介质和电子设备
WO2022156413A1 (zh) * 2021-01-20 2022-07-28 北京有竹居网络技术有限公司 语音风格的迁移方法、装置、可读介质和电子设备
CN112927674B (zh) * 2021-01-20 2024-03-12 北京有竹居网络技术有限公司 语音风格的迁移方法、装置、可读介质和电子设备
CN112863484A (zh) * 2021-01-25 2021-05-28 中国科学技术大学 韵律短语边界预测模型训练方法和韵律短语边界预测方法
CN112863484B (zh) * 2021-01-25 2024-04-09 中国科学技术大学 韵律短语边界预测模型训练方法和韵律短语边界预测方法
CN113096634A (zh) * 2021-03-30 2021-07-09 平安科技（深圳）有限公司 语音合成方法、装置、服务器及存储介质
CN113096634B (zh) * 2021-03-30 2024-03-01 平安科技（深圳）有限公司 语音合成方法、装置、服务器及存储介质
CN115294955A (zh) * 2021-04-19 2022-11-04 北京猎户星空科技有限公司 一种模型训练和语音合成方法、装置、设备及介质
CN113327575B (zh) * 2021-05-31 2024-03-01 广州虎牙科技有限公司 一种语音合成方法、装置、计算机设备和存储介质
CN113327575A (zh) * 2021-05-31 2021-08-31 广州虎牙科技有限公司 一种语音合成方法、装置、计算机设备和存储介质
CN113421547A (zh) * 2021-06-03 2021-09-21 华为技术有限公司 一种语音处理方法及相关设备
CN113409764B (zh) * 2021-06-11 2024-04-26 北京搜狗科技发展有限公司 一种语音合成方法、装置和用于语音合成的装置
CN113409765B (zh) * 2021-06-11 2024-04-26 北京搜狗科技发展有限公司 一种语音合成方法、装置和用于语音合成的装置
CN113409765A (zh) * 2021-06-11 2021-09-17 北京搜狗科技发展有限公司 一种语音合成方法、装置和用于语音合成的装置
CN113409764A (zh) * 2021-06-11 2021-09-17 北京搜狗科技发展有限公司 一种语音合成方法、装置和用于语音合成的装置
CN113409759A (zh) * 2021-07-07 2021-09-17 浙江工业大学 一种端到端实时语音合成方法
CN113327579A (zh) * 2021-08-03 2021-08-31 北京世纪好未来教育科技有限公司 语音合成方法、装置、存储介质和电子设备
CN115273810A (zh) * 2022-07-04 2022-11-01 成都理工大学 基于深度学习的多模态图像语音解读方法和系统
CN115116431B (zh) * 2022-08-29 2022-11-18 深圳市星范儿文化科技有限公司 基于智能朗读亭的音频生成方法、装置、设备及存储介质
CN115116431A (zh) * 2022-08-29 2022-09-27 深圳市星范儿文化科技有限公司 基于智能朗读亭的音频生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111292720B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN111292720B (zh) 语音合成方法、装置、计算机可读介质及电子设备
CN111583900B (zh) 歌曲合成方法、装置、可读介质及电子设备
CN111899719B (zh) 用于生成音频的方法、装置、设备和介质
CN112786011B (zh) 语音合成方法、合成模型训练方法、装置、介质及设备
CN112786006B (zh) 语音合成方法、合成模型训练方法、装置、介质及设备
CN111292719A (zh) 语音合成方法、装置、计算机可读介质及电子设备
CN111369967B (zh) 基于虚拟人物的语音合成方法、装置、介质及设备
CN112309366B (zh) 语音合成方法、装置、存储介质及电子设备
CN111369971B (zh) 语音合成方法、装置、存储介质和电子设备
CN108899009B (zh) 一种基于音素的中文语音合成系统
CN112786007A (zh) 语音合成方法、装置、可读介质及电子设备
CN112365878B (zh) 语音合成方法、装置、设备及计算机可读存储介质
CN112331176B (zh) 语音合成方法、装置、存储介质及电子设备
CN111489735B (zh) 语音识别模型训练方法及装置
CN112309367B (zh) 语音合成方法、装置、存储介质及电子设备
CN112927674B (zh) 语音风格的迁移方法、装置、可读介质和电子设备
CN112397051B (zh) 语音识别方法、装置及终端设备
CN111028824A (zh) 一种用于闽南语的合成方法及其装置
CN113327580A (zh) 语音合成方法、装置、可读介质及电子设备
CN114495902A (zh) 语音合成方法、装置、计算机可读介质及电子设备
CN114255740A (zh) 语音识别方法、装置、计算机设备和存储介质
CN112489634A (zh) 语言的声学模型训练方法、装置、电子设备及计算机介质
CN113380222A (zh) 语音合成方法、装置、电子设备及存储介质
CN113450758B (zh) 语音合成方法、装置、设备及介质
CN114255738A (zh) 语音合成方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant