CN111161702A - 个性化语音合成方法、装置、电子设备、存储介质 - Google Patents

个性化语音合成方法、装置、电子设备、存储介质 Download PDF

Info

Publication number
CN111161702A
CN111161702A CN201911340068.3A CN201911340068A CN111161702A CN 111161702 A CN111161702 A CN 111161702A CN 201911340068 A CN201911340068 A CN 201911340068A CN 111161702 A CN111161702 A CN 111161702A
Authority
CN
China
Prior art keywords
sequence
module
target
converting
mel cepstrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911340068.3A
Other languages
English (en)
Other versions
CN111161702B (zh
Inventor
张坚
张坤雷
陈学文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aiways Automobile Shanghai Co Ltd
Original Assignee
Aiways Automobile Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aiways Automobile Shanghai Co Ltd filed Critical Aiways Automobile Shanghai Co Ltd
Priority to CN201911340068.3A priority Critical patent/CN111161702B/zh
Publication of CN111161702A publication Critical patent/CN111161702A/zh
Application granted granted Critical
Publication of CN111161702B publication Critical patent/CN111161702B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/173—Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/12—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供一种个性化语音合成方法、装置、电子设备、存储介质，个性化语音合成方法，包括：步骤S110：将输入的中文文本转换成完全编码的特征序列；步骤S120：将完全编码的特征序列转换为固定长度的语境向量；步骤S130：将固定长度的语境向量转换为基准梅尔倒谱序列，所述基准梅尔倒谱序列为基准发音人的梅尔倒谱序列；步骤S140：将所述基准梅尔倒谱序列转换为目标梅尔倒谱序列，所述目标梅尔倒谱序列为目标发音人的梅尔倒谱序列；步骤S150：将所述目标梅尔倒谱序列转换为目标发音人的语音信号。本发明实现从文本至音频的端到端的直接个性化语音合成功能。

Description

个性化语音合成方法、装置、电子设备、存储介质
技术领域
本发明涉及语音文本处理领域，尤其涉及一种个性化语音合成方法、装置、电子设备、存储介质。
背景技术
语音合成是通过机械的、电子的方法产生人造语音的技术，又叫文语转换技术，即Text to Speech，简称TTS。它是将计算机自己产生的、或外部输入的文字信息转变为可以听得懂的、流利的语音音频的技术。现有的语音合成技术包括基于HMM等方法，通常只能合成具有通用音色的语音音频，无法便利地合成具有指定音色的语音音频。如果要合成具有指定发音人音色的语音音频，即实现个性化语音合成功能，那么需要收集大量的具有指定音色的发音人的音频样本文件，所需收集的音频样本文件往往大于1个小时。整个流程繁琐，极大地降低了用户体验的满意度。
如果采用语音转换技术，可以将具有基准音色的语音音频转换为具有指定音色的语音音频文件。但是，这种技术需要准备好具有基准音色的语音音频文件，在此基础上提取音频文件的基音频率、非周期性等特征，并将其转换为具有目标发音人音色的基音频率及非周期性等特征，然后通过语音合成器来生成最终的语音音频文件。系统较为复杂，实时性较差，且无法实现从文本至音频的端到端的直接个性化语音合成功能。
发明内容
本发明为了克服上述相关技术存在的缺陷，提供一种个性化语音合成方法、装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
根据本发明的一个方面，提供一种个性化语音合成方法，包括：
步骤S110：将输入的中文文本转换成完全编码的特征序列；
步骤S120：将完全编码的特征序列转换为固定长度的语境向量；
步骤S130：将固定长度的语境向量转换为基准梅尔倒谱序列，所述基准梅尔倒谱序列为基准发音人的梅尔倒谱序列；
步骤S140：将所述基准梅尔倒谱序列转换为目标梅尔倒谱序列，所述目标梅尔倒谱序列为目标发音人的梅尔倒谱序列；
步骤S150：将所述目标梅尔倒谱序列转换为目标发音人的语音信号。
在本发明的一些实施例中，所述步骤S110由一编码器执行，所述编码器包括：
文本转拼音模块，用于将输入的中文文本转换为拼音序列；
字符嵌入模块，用于将所述拼音序列转换为特征向量；
编码卷积模块及双向长短时记忆模块，用于将所述特征向量转换为完全编码的特征序列。
在本发明的一些实施例中，所述编码卷积模块自输入至输出依次包括三层第一卷积层，每个第一卷积层包括256个卷积核，每个卷积核包括一个第一修正线性单元，每个卷积核的大小为5*1；
所述双向长短时记忆模块的每个方向包括128个长短时记忆单元。
在本发明的一些实施例中，所述步骤S120将完全编码的特征序列通过32个长度为31的一维卷积核，以将所述特征序列映射至固定长度的语境向量。
在本发明的一些实施例中，所述步骤S130由一解码器执行，所述解码器包括解码器长短时记忆模块、预网络模块、线性投影模块及后网络模块，其中，所述预网络模块的输出和所述语境向量串联输入所述解码器长短时记忆模块，所述解码器长短时记忆模块的输出输入所述线性投影模块以实现语音信号频谱的重构，所述线性投影模块的输出输入所述后网络模块，所述后网络模块的输出及所述线性投影模块的输出经由归一化处理以获得所述基准梅尔倒谱序列。
在本发明的一些实施例中，所述解码器长短时记忆模块包括两个长短时记忆单元层，每个长短时记忆单元层包括512个长短时记忆单元；
所述预网络模块包括两层全连接层，每层全连接层128个输出节点及128个第二线性修正单元；
所述后网络模块包括五层第二卷积层组成，每层第二卷积层包含256个5*1的卷积核。
在本发明的一些实施例中，所述步骤S140通过GMM模型将所述基准梅尔倒谱序列转换为目标梅尔倒谱序列，所述GMM模型通过基准发音人的基准语音样本及目标发言人的目标语音样本进行训练。
在本发明的一些实施例中，所述基准发音人的基准语音样本及目标发言人的目标语音样本经由动态时间规整算法对齐后，采用最大期望算法对对齐后的所述基准语音样本的梅尔倒谱序列及目标发言人的目标语音样本的梅尔倒谱序列进行混合高斯建模。
根据本发明的又一方面，还提供一种个性化语音合成装置，包括：
编码器模块，用于将输入的中文文本转换成完全编码的特征序列；
位置敏感注意力模块，用于将完全编码的特征序列转换为固定长度的语境向量；
解码器模块，用于将固定长度的语境向量转换为基准梅尔倒谱序列，所述基准梅尔倒谱序列为基准发音人的梅尔倒谱序列；
语音特征向量转换模块，用于将所述基准梅尔倒谱序列转换为目标梅尔倒谱序列，所述目标梅尔倒谱序列为目标发音人的梅尔倒谱序列；
声码器模块，用于将所述目标梅尔倒谱序列转换为目标发音人的语音信号。
根据本发明的又一方面，还提供一种电子设备，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。
根据本发明的又一方面，还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。
相比现有技术，本发明的优势在于：
1)引入基于注意力机制的特征预测网络，用来将文本文件转换为对应的基准音频的准梅尔倒谱序列，避免了从音频文件中提取基音频率等特征的过程，减小了个性化语音合成的耗时。
2)采用梅尔倒谱序列的转换模块，用于将基准梅尔倒谱序列转换为具有目标音色所对应的目标梅尔倒谱序列，使得语音合成系统中能生成具备目标音色的音频文件。避免采用指定发音人的音频样本来直接训练语音合成模型，极大地降低了个性化语音合成模型训练所需的语音样本的数量。
3)采用音频波形生成模块，将目标发音人对应的梅尔倒谱序列转换为线性频谱序列，然后采用Griffin-Lim算法来产生语音音频信号对应的时域波形文件，从而实现了最终个性化音频文件的生成。
4)可接受任意文本的输入，并输出具有指定发音人音色的语音音频文件，避免了从基准音频文件中提取语音音色的过程，从而实现了任意文本的个性化语音合成，并具有很快的响应速度。
附图说明
通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。
图1示出了根据本发明实施例的个性化语音合成方法的流程图。
图2示出了根据本发明具体实施例的个性化语音合成方法的示意图。
图3示出了根据本发明实施例的个性化语音合成装置的示意图。
图4示出本发明示例性实施例中一种计算机可读存储介质示意图。
图5示出本发明示例性实施例中一种电子设备示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此，实际执行的顺序有可能根据实际情况改变。
图1出了根据本发明实施例的个性化语音合成方法的流程图。所述个性化语音合成方法包括如下步骤：
步骤S110：将输入的中文文本转换成完全编码的特征序列；
步骤S120：将完全编码的特征序列转换为固定长度的语境向量；
步骤S130：将固定长度的语境向量转换为基准梅尔倒谱序列，所述基准梅尔倒谱序列为基准发音人的梅尔倒谱序列；
步骤S140：将所述基准梅尔倒谱序列转换为目标梅尔倒谱序列，所述目标梅尔倒谱序列为目标发音人的梅尔倒谱序列；
步骤S150：将所述目标梅尔倒谱序列转换为目标发音人的语音信号。
在本发明的一些实施例中，所述步骤S150之后还包括：根据所述时域波形文件生成对应于待合成文本的基于目标发音人的音频文件，保存为设定格式。设定格式例如为wav或MP3格式。
具体而言，梅尔频率倒谱(Mel-Frequency Cepstrum)是基于声音频率的非线性梅尔刻度(mel scale)的对数能量频谱的线性变换。
在本发明的示例性实施方式的个性化语音合成方法中，一方面，引入基于注意力机制的特征预测网络，用来将文本文件转换为对应的基准音频的准梅尔倒谱序列，避免了从音频文件中提取基音频率等特征的过程，减小了个性化语音合成的耗时；另一方面，采用梅尔倒谱序列的转换模块，用于将基准梅尔倒谱序列转换为具有目标音色所对应的目标梅尔倒谱序列，使得语音合成系统中能生成具备目标音色的音频文件，避免采用指定发音人的音频样本来直接训练语音合成模型，极大地降低了个性化语音合成模型训练所需的语音样本的数量；再一方面，采用音频波形生成模块，将目标发音人对应的梅尔倒谱序列转换为线性频谱序列，然后采用Griffin-Lim算法来产生语音音频信号对应的时域波形文件，从而实现了最终个性化音频文件的生成；又一方面，可接受任意文本的输入，并输出具有指定发音人音色的语音音频文件，避免了从基准音频文件中提取语音音色的过程，从而实现了任意文本的个性化语音合成，并具有很快的响应速度。
下面结合图2描述根据本发明具体实施例的个性化语音合成方法。
首先，将输入的中文文本输入一编码器模块，以转换成完全编码的特征序列。然后，将完全编码的特征序列输入一位置敏感注意力模块转换为固定长度的语境向量。位置敏感注意力模块将固定长度的语境向量通过一解码器模块转换为基准梅尔倒谱序列，所述基准梅尔倒谱序列为基准发音人的梅尔倒谱序列。所述解码器模块将所述基准梅尔倒谱序列通过语音特征向量转换模块转换为目标梅尔倒谱序列，所述目标梅尔倒谱序列为目标发音人的梅尔倒谱序列。语音特征向量转换模块将目标发音人的梅尔倒谱序列通过声码器模块转换为目标发音人的语音信号。
具体而言，所述编码器包括文本转拼音模块、字符嵌入模块、编码卷积模块及双向长短时记忆模块。文本转拼音模块用于将输入的中文文本转换为拼音序列。字符嵌入模块用于将所述拼音序列转换为特征向量。文本转拼音模块将拼音转换为256维的嵌入式特征向量。接收到文本对应的拼音后，将所有可能的拼音都按照字符排序的顺序构造对应的字典。根据每个拼音在词典中的排序的位置进行独热编码，每个拼音的独热编码可视为这个拼音的原始特征。然后采用word2vec等算法将每个拼音的原始特征转换为词向量的嵌入式特征。编码卷积模块及双向长短时记忆模块用于将所述特征向量转换为完全编码的特征序列。其中，所述编码卷积模块自输入至输出依次包括三层第一卷积层，每个第一卷积层包括256个卷积核，每个卷积核包括一个第一修正线性单元，每个卷积核的大小为5*1。所述双向长短时记忆模块的每个方向包括128个长短时记忆单元。所述编码卷积模块用以对上下文中存在的长时依赖进行建模。所述编码卷积模块的输出输入双向长短时记忆模块。所述双向长短时记忆模块是一种时间循环神经网络，是为了解决一般的RNN(循环神经网络)存在的长期依赖问题而专门设计出来的。
位置敏感注意力模块的作用是将完全编码的序列变为固定长度的语境向量；这种算法可以减少解码过程中潜在的子序列重复或遗漏，从而提高成功的概率。这个模块包含32个长度为31的一维卷积核。把输入序列和位置特征投影到128维的固定长度的语境向量。
解码器模块的作用是将固定长度的语境向量解码转换为基准发音人的梅尔倒谱特征向量；解码器模块主要包含后网络模块、线性投影模块、解码器长短时记忆模块、预网络模块等功能模块。解码器长短时记忆模块包括两层长短时记忆单元，每层包含512个长短时记忆单元。预网络的输出和将固定长度的语境向量串联起来输入解码器长短时记忆模块。预网络模块包括两层全连接层组成，每层全连接层128个输出节点，对应地，也包含128个线性修正单元。线性投影模块接收解码器长短时记忆模块输出的信号，并将其转换为语音信号对应的频谱，从而实现语音信号频谱的重构。后网络模块包括五层卷积层组成，每层卷积层包含256个5*1的卷积核组成，后网络模块可以后接批量归一化成，每个批量归一化层都用256个tanh激活函数。后网络模块预测残差，用以改善频谱重构的效果。
语音特征向量转换模块用于将梅尔倒谱特征向量转换为目标发音人的梅尔倒谱特征向量。
声码器模块将目标发音人的梅尔倒谱特征向量转化为目标发音人的语音信号。声码器模块的功能包括将梅尔倒谱特征向量转换为线性频谱特征向量，并生成语音信号。声码器中从线性频谱转换为语音的算法采用Griffin lim算法或waveRNN网络来实现。
训练样本中的梅尔倒谱是由短时傅立叶变换转换得到。在本发明中，使用一个包含160个滤波器的梅尔滤波器组，并通过动态范围压缩(DRC,Dynamic Range Compression)中的对数映射算法，将语音信号的短时傅立叶变换转化为梅尔倒谱。这部分的网络由编码器模块、位置敏感注意力模块、解码器模块三部分组成。编码器的作用是将特征序列转化为隐藏的特征表现，位置敏感注意力模块(即Attention模块)的作用是要将充分编码的序列变为固定长度的语境向量，解码器模块通过这种特征表现来预测频谱图。
在本发明的一些实施例中，所述步骤S140通过GMM模型将所述基准梅尔倒谱序列转换为目标梅尔倒谱序列，所述GMM模型通过基准发音人的基准语音样本及目标发言人的目标语音样本进行训练。且基准发音人的基准语音样本及目标发言人的目标语音样本为平行语料，即基准发音人和目标发音人之间使用同样的语料，语音要动态时间一一对齐，如果存在若干处没有对齐，转换系统将无法识别，从而导致求出的模型的参数间存在错误的映射关系。在训练GMM模型时，需要先采用动态时间规整(DTW)算法，将基准语音样本和目标语音样本进行对齐。由于语音信号具有随机性，很难保证语音样本的完全对齐，造成这种随机性的因素很多，包括发音习惯、环境、心情等。这会导致发声长短不一，使得在端点检测时将某个语音的拖音或者呼吸音误认为一个新的因素，造成了特征参数的错误变化，继而影响到整个转换模型的训练，最终降低转换的精度。一个正确的发音主要包含音素及音素之间的顺序。其中音素的长短和音素本身的情况由说话人决定。对于长短不一的音素，首先要对该音素的语音信号进行适当的伸长或缩短，使所有的音素的发声长度一致。这个调节的过程称为时间规整。
在将基准发音人和目标发音人的语料进行对齐之后，采用最大期望EM算法对联合梅尔倒谱序列进行混合高斯建模(GMM)。用K均值算法确定初始值，再根据EM算法确定最佳的参数。对梅尔倒谱转换进行建模的具体如下式所示：
Figure BDA0002332018900000081
其中，x和y是发起人语音和目标人语音的梅尔倒谱序列特征向量的时间序列，f(·)是映射函数。x和y定义为：
Figure BDA0002332018900000082
Figure BDA0002332018900000083
考虑动态特征的向量如下：
Figure BDA0002332018900000084
Figure BDA0002332018900000085
其中，
Figure BDA0002332018900000086
其中：Δxt＝xt-xt-1，Δyt＝yt-yt-1
被转换的特征向量由下式确定：
Figure BDA0002332018900000087
其中：λ(Z)是GMM的参数集，包含权值、均值向量和协方差矩阵。上角标Z表示这个GMM的参数集是针对联合向量Z对应的。
定义用于转换的似然函数如下：
Figure BDA0002332018900000091
其中t是时间序列编号，m是高斯模型编号；其它项定义如下：
Figure BDA0002332018900000092
Figure BDA0002332018900000093
其中，wm表示第m个权值系数；
Figure BDA0002332018900000096
表示μ和∑的标准正态分布。
Figure BDA0002332018900000094
Figure BDA0002332018900000095
μ是高斯混合模型的均值向量，∑是高斯混合模型的方差矩阵。
采用最大似然估计方法对上述高斯混合模型进行训练，则获得用于将基准发音人梅尔倒谱特征向量转换为目标发音人的梅尔倒谱特征向量的转换模型。从而实现了将基准发音人的梅尔倒谱序列转换为目标发音人的梅尔倒谱序列的目标。
在本发明的一些实施例中，步骤S150接受GMM语音转换流程输出的目标发音人语音对应的梅尔倒谱序列，并将梅尔倒谱序列转换为线性频谱，接着利用Griffin lim算法，求出线性频谱对应的近似相位，从而生成目标人发音语音对应的音频信号。然后将此音频信号保存为wav或mp3格式的音频文件进行输出。
本发明实施例提供的一种基于带注意力机制的神经网络的个性化语音合成方法，经实施验证只需录制50句，即5分钟左右的目标人的语音音频文件，就可以满足训练个性化语音模型的需求，并最终生成一个可以满足个性化语音合成需求的模型。相对于已有的个性化语音合成方式，本发明提出的方法显著降低了个性化语音合成模型训练所需的语音音频文件的长度，且可以快速合成任意文本的具有指定音色的语音音频文件，达到高效、快速、自然合成语音音频的目的。
以上仅仅是示意性地描述本发明的多个实现方式，上述各实现方式可以单独或组合实现，本发明并非以此为限制。
图3示出了根据本发明实施例的个性化语音合成装置的模块图。个性化语音合成装置200包括编码器模块210、位置敏感注意力模块220、解码器模块230、语音特征向量转换模块240及声码器模块250。
编码器模块210用于将输入的中文文本转换成完全编码的特征序列；
位置敏感注意力模块220用于将完全编码的特征序列转换为固定长度的语境向量；
解码器模块230用于将固定长度的语境向量转换为基准梅尔倒谱序列，所述基准梅尔倒谱序列为基准发音人的梅尔倒谱序列；
语音特征向量转换模块240用于将所述基准梅尔倒谱序列转换为目标梅尔倒谱序列，所述目标梅尔倒谱序列为目标发音人的梅尔倒谱序列；
声码器模块250用于将所述目标梅尔倒谱序列转换为目标发音人的语音信号。
在本发明的示例性实施方式的个性化语音合成装置中，一方面，引入基于注意力机制的特征预测网络，用来将文本文件转换为对应的基准音频的准梅尔倒谱序列，避免了从音频文件中提取基音频率等特征的过程，减小了个性化语音合成的耗时；另一方面，采用梅尔倒谱序列的转换模块，用于将基准梅尔倒谱序列转换为具有目标音色所对应的目标梅尔倒谱序列，使得语音合成系统中能生成具备目标音色的音频文件，避免采用指定发音人的音频样本来直接训练语音合成模型，极大地降低了个性化语音合成模型训练所需的语音样本的数量；再一方面，采用音频波形生成模块，将目标发音人对应的梅尔倒谱序列转换为线性频谱序列，然后采用Griffin-Lim算法来产生语音音频信号对应的时域波形文件，从而实现了最终个性化音频文件的生成；又一方面，可接受任意文本的输入，并输出具有指定发音人音色的语音音频文件，避免了从基准音频文件中提取语音音色的过程，从而实现了任意文本的个性化语音合成，并具有很快的响应速度。
图3仅仅是示意性的示出本发明提供的个性化语音合成装置200，在不违背本发明构思的前提下，模块的拆分、合并、增加都在本发明的保护范围之内。本发明提供的个性化语音合成装置200可以由软件、硬件、固件、插件及他们之间的任意组合来实现，本发明并非以此为限。
在本发明的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被例如处理器执行时可以实现上述任意一个实施例中所述个性化语音合成方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述个性化语音合成方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图4示，描述了根据本发明的实施方式的用于实现上述方法的程序产品700，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在租户计算设备上执行、部分地在租户设备上执行、作为一个独立的软件包执行、部分在租户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到租户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本发明的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述个性化语音合成方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图5描述根据本发明的这种实施方式的电子设备500。图5示的电子设备500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5示，电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于：至少一个处理单元510、至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530、显示单元540等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元510执行，使得所述处理单元510执行本说明书上述个性化语音合成方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元510可以执行如图1所示的步骤。
所述存储单元520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)5201和/或高速缓存存储单元5202，还可以进一步包括只读存储单元(ROM)5203。
所述存储单元520还可以包括具有一组(至少一个)程序模块5205的程序/实用工具5204，这样的程序模块5205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备500也可以与一个或多个外部设备600(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得租户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行。并且，电子设备500还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器560可以通过总线530与电子设备500的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明实施方式的上述个性化语音合成方法。
相比现有技术，本发明的优势在于：
1)引入基于注意力机制的特征预测网络，用来将文本文件转换为对应的基准音频的准梅尔倒谱序列，避免了从音频文件中提取基音频率等特征的过程，减小了个性化语音合成的耗时。
2)采用梅尔倒谱序列的转换模块，用于将基准梅尔倒谱序列转换为具有目标音色所对应的目标梅尔倒谱序列，使得语音合成系统中能生成具备目标音色的音频文件。避免采用指定发音人的音频样本来直接训练语音合成模型，极大地降低了个性化语音合成模型训练所需的语音样本的数量。
3)采用音频波形生成模块，将目标发音人对应的梅尔倒谱序列转换为线性频谱序列，然后采用Griffin-Lim算法来产生语音音频信号对应的时域波形文件，从而实现了最终个性化音频文件的生成。
4)可接受任意文本的输入，并输出具有指定发音人音色的语音音频文件，避免了从基准音频文件中提取语音音色的过程，从而实现了任意文本的个性化语音合成，并具有很快的响应速度。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由所附的权利要求指出。

Claims (11)

1.一种个性化语音合成方法，其特征在于，包括：
步骤S110：将输入的中文文本转换成完全编码的特征序列；
步骤S120：将完全编码的特征序列转换为固定长度的语境向量；
步骤S130：将固定长度的语境向量转换为基准梅尔倒谱序列，所述基准梅尔倒谱序列为基准发音人的梅尔倒谱序列；
步骤S140：将所述基准梅尔倒谱序列转换为目标梅尔倒谱序列，所述目标梅尔倒谱序列为目标发音人的梅尔倒谱序列；
步骤S150：将所述目标梅尔倒谱序列转换为目标发音人的语音信号。
2.如权利要求1所述的个性化语音合成方法，其特征在于，所述步骤S110由一编码器执行，所述编码器包括：
文本转拼音模块，用于将输入的中文文本转换为拼音序列；
字符嵌入模块，用于将所述拼音序列转换为特征向量；
编码卷积模块及双向长短时记忆模块，用于将所述特征向量转换为完全编码的特征序列。
3.如权利要求2所述的个性化语音合成方法，其特征在于，所述编码卷积模块自输入至输出依次包括三层第一卷积层，每个第一卷积层包括256个卷积核，每个卷积核包括一个第一修正线性单元，每个卷积核的大小为5*1；
所述双向长短时记忆模块的每个方向包括128个长短时记忆单元。
4.如权利要求1所述的个性化语音合成方法，其特征在于，所述步骤S120将完全编码的特征序列通过32个长度为31的一维卷积核，以将所述特征序列映射至固定长度的语境向量。
5.如权利要求1所述的个性化语音合成方法，其特征在于，所述步骤S130由一解码器执行，所述解码器包括解码器长短时记忆模块、预网络模块、线性投影模块及后网络模块，其中，所述预网络模块的输出和所述语境向量串联输入所述解码器长短时记忆模块，所述解码器长短时记忆模块的输出输入所述线性投影模块以实现语音信号频谱的重构，所述线性投影模块的输出输入所述后网络模块，所述后网络模块的输出及所述线性投影模块的输出经由归一化处理以获得所述基准梅尔倒谱序列。
6.如权利要求5所述的个性化语音合成方法，其特征在于，
所述解码器长短时记忆模块包括两个长短时记忆单元层，每个长短时记忆单元层包括512个长短时记忆单元；
所述预网络模块包括两层全连接层，每层全连接层128个输出节点及128个第二线性修正单元；
所述后网络模块包括五层第二卷积层组成，每层第二卷积层包含256个5*1的卷积核。
7.如权利要求1所述的个性化语音合成方法，其特征在于，所述步骤S140通过GMM模型将所述基准梅尔倒谱序列转换为目标梅尔倒谱序列，所述GMM模型通过基准发音人的基准语音样本及目标发言人的目标语音样本进行训练。
8.如权利要求7所述的个性化语音合成方法，其特征在于，所述基准发音人的基准语音样本及目标发言人的目标语音样本经由动态时间规整算法对齐后，采用最大期望算法对对齐后的所述基准语音样本的梅尔倒谱序列及目标发言人的目标语音样本的梅尔倒谱序列进行混合高斯建模。
9.一种个性化语音合成装置，其特征在于，包括：
编码器模块，用于将输入的中文文本转换成完全编码的特征序列；
位置敏感注意力模块，用于将完全编码的特征序列转换为固定长度的语境向量；
解码器模块，用于将固定长度的语境向量转换为基准梅尔倒谱序列，所述基准梅尔倒谱序列为基准发音人的梅尔倒谱序列；
语音特征向量转换模块，用于将所述基准梅尔倒谱序列转换为目标梅尔倒谱序列，所述目标梅尔倒谱序列为目标发音人的梅尔倒谱序列；
声码器模块，用于将所述目标梅尔倒谱序列转换为目标发音人的语音信号。
10.一种电子设备，其特征在于，所述电子设备包括：
处理器；
存储器，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如权利要求1至8任一项所述的个性化语音合成方法。
11.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至8任一项所述的个性化语音合成方法。
CN201911340068.3A 2019-12-23 2019-12-23 个性化语音合成方法、装置、电子设备、存储介质 Active CN111161702B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911340068.3A CN111161702B (zh) 2019-12-23 2019-12-23 个性化语音合成方法、装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911340068.3A CN111161702B (zh) 2019-12-23 2019-12-23 个性化语音合成方法、装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN111161702A true CN111161702A (zh) 2020-05-15
CN111161702B CN111161702B (zh) 2022-08-26

Family

ID=70557922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911340068.3A Active CN111161702B (zh) 2019-12-23 2019-12-23 个性化语音合成方法、装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN111161702B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667812A (zh) * 2020-05-29 2020-09-15 北京声智科技有限公司 一种语音合成方法、装置、设备及存储介质
CN111739509A (zh) * 2020-06-16 2020-10-02 掌阅科技股份有限公司 电子书音频生成方法、电子设备及存储介质
CN111899720A (zh) * 2020-07-30 2020-11-06 北京字节跳动网络技术有限公司 用于生成音频的方法、装置、设备和介质
CN112002305A (zh) * 2020-07-29 2020-11-27 北京大米科技有限公司 语音合成方法、装置、存储介质及电子设备
CN112530400A (zh) * 2020-11-30 2021-03-19 清华珠三角研究院 基于深度学习的文本生成语音的方法、系统、装置及介质
CN112634865A (zh) * 2020-12-23 2021-04-09 爱驰汽车有限公司 语音合成方法、装置、计算机设备和存储介质
CN112767918A (zh) * 2020-12-30 2021-05-07 中国人民解放军战略支援部队信息工程大学 俄汉语音翻译方法、俄汉语音翻译装置及存储介质
CN113436608A (zh) * 2021-06-25 2021-09-24 平安科技（深圳）有限公司 双流语音转换方法、装置、设备及存储介质
WO2022095743A1 (zh) * 2020-11-03 2022-05-12 北京有竹居网络技术有限公司 语音合成方法、装置、存储介质及电子设备
WO2022121176A1 (zh) * 2020-12-11 2022-06-16 平安科技（深圳）有限公司 语音合成方法、装置、电子设备及可读存储介质
WO2022121157A1 (zh) * 2020-12-10 2022-06-16 平安科技（深圳）有限公司 语音合成方法、装置、电子设备及存储介质
WO2022141870A1 (zh) * 2020-12-31 2022-07-07 平安科技（深圳）有限公司 基于人工智能的语音合成方法、装置、计算机设备和介质
CN115223537A (zh) * 2022-09-20 2022-10-21 四川大学 一种面向空管培训场景的语音合成方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101359473A (zh) * 2007-07-30 2009-02-04 国际商业机器公司 自动进行语音转换的方法和装置
CN108847249A (zh) * 2018-05-30 2018-11-20 苏州思必驰信息科技有限公司 声音转换优化方法和系统
US20180336880A1 (en) * 2017-05-19 2018-11-22 Baidu Usa Llc Systems and methods for multi-speaker neural text-to-speech
CN109036375A (zh) * 2018-07-25 2018-12-18 腾讯科技（深圳）有限公司 语音合成方法、模型训练方法、装置和计算机设备
US10186252B1 (en) * 2015-08-13 2019-01-22 Oben, Inc. Text to speech synthesis using deep neural network with constant unit length spectrogram
CN109979429A (zh) * 2019-05-29 2019-07-05 南京硅基智能科技有限公司 一种tts的方法及系统
CN110070852A (zh) * 2019-04-26 2019-07-30 平安科技（深圳）有限公司 合成中文语音的方法、装置、设备及存储介质
CN110136690A (zh) * 2019-05-22 2019-08-16 平安科技（深圳）有限公司 语音合成方法、装置及计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101359473A (zh) * 2007-07-30 2009-02-04 国际商业机器公司 自动进行语音转换的方法和装置
US10186252B1 (en) * 2015-08-13 2019-01-22 Oben, Inc. Text to speech synthesis using deep neural network with constant unit length spectrogram
US20180336880A1 (en) * 2017-05-19 2018-11-22 Baidu Usa Llc Systems and methods for multi-speaker neural text-to-speech
CN108847249A (zh) * 2018-05-30 2018-11-20 苏州思必驰信息科技有限公司 声音转换优化方法和系统
CN109036375A (zh) * 2018-07-25 2018-12-18 腾讯科技（深圳）有限公司 语音合成方法、模型训练方法、装置和计算机设备
CN110070852A (zh) * 2019-04-26 2019-07-30 平安科技（深圳）有限公司 合成中文语音的方法、装置、设备及存储介质
CN110136690A (zh) * 2019-05-22 2019-08-16 平安科技（深圳）有限公司 语音合成方法、装置及计算机可读存储介质
CN109979429A (zh) * 2019-05-29 2019-07-05 南京硅基智能科技有限公司 一种tts的方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王国梁 等: "一种基于Tacotron2的端到端中文语音合成方案", 《华东师范大学学报（自然科学版）》 *
裔隽 等: "《Python机器学习实战》", 31 January 2018, 科学技术文献出版社 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667812A (zh) * 2020-05-29 2020-09-15 北京声智科技有限公司 一种语音合成方法、装置、设备及存储介质
CN111667812B (zh) * 2020-05-29 2023-07-18 北京声智科技有限公司 一种语音合成方法、装置、设备及存储介质
CN111739509B (zh) * 2020-06-16 2022-03-22 掌阅科技股份有限公司 电子书音频生成方法、电子设备及存储介质
CN111739509A (zh) * 2020-06-16 2020-10-02 掌阅科技股份有限公司 电子书音频生成方法、电子设备及存储介质
CN112002305A (zh) * 2020-07-29 2020-11-27 北京大米科技有限公司 语音合成方法、装置、存储介质及电子设备
CN111899720A (zh) * 2020-07-30 2020-11-06 北京字节跳动网络技术有限公司 用于生成音频的方法、装置、设备和介质
CN111899720B (zh) * 2020-07-30 2024-03-15 北京字节跳动网络技术有限公司 用于生成音频的方法、装置、设备和介质
WO2022095743A1 (zh) * 2020-11-03 2022-05-12 北京有竹居网络技术有限公司 语音合成方法、装置、存储介质及电子设备
CN112530400A (zh) * 2020-11-30 2021-03-19 清华珠三角研究院 基于深度学习的文本生成语音的方法、系统、装置及介质
WO2022121157A1 (zh) * 2020-12-10 2022-06-16 平安科技（深圳）有限公司 语音合成方法、装置、电子设备及存储介质
WO2022121176A1 (zh) * 2020-12-11 2022-06-16 平安科技（深圳）有限公司 语音合成方法、装置、电子设备及可读存储介质
CN112634865A (zh) * 2020-12-23 2021-04-09 爱驰汽车有限公司 语音合成方法、装置、计算机设备和存储介质
CN112767918A (zh) * 2020-12-30 2021-05-07 中国人民解放军战略支援部队信息工程大学 俄汉语音翻译方法、俄汉语音翻译装置及存储介质
CN112767918B (zh) * 2020-12-30 2023-12-01 中国人民解放军战略支援部队信息工程大学 俄汉语音翻译方法、俄汉语音翻译装置及存储介质
WO2022141870A1 (zh) * 2020-12-31 2022-07-07 平安科技（深圳）有限公司 基于人工智能的语音合成方法、装置、计算机设备和介质
CN113436608A (zh) * 2021-06-25 2021-09-24 平安科技（深圳）有限公司 双流语音转换方法、装置、设备及存储介质
CN113436608B (zh) * 2021-06-25 2023-11-28 平安科技（深圳）有限公司 双流语音转换方法、装置、设备及存储介质
CN115223537A (zh) * 2022-09-20 2022-10-21 四川大学 一种面向空管培训场景的语音合成方法及装置
CN115223537B (zh) * 2022-09-20 2022-12-02 四川大学 一种面向空管培训场景的语音合成方法及装置

Also Published As

Publication number Publication date
CN111161702B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN111161702B (zh) 个性化语音合成方法、装置、电子设备、存储介质
Van Den Oord et al. Wavenet: A generative model for raw audio
Oord et al. Wavenet: A generative model for raw audio
US11538455B2 (en) Speech style transfer
Tokuda et al. Speech synthesis based on hidden Markov models
US8682670B2 (en) Statistical enhancement of speech output from a statistical text-to-speech synthesis system
US20180114522A1 (en) Sequence to sequence transformations for speech synthesis via recurrent neural networks
US5937384A (en) Method and system for speech recognition using continuous density hidden Markov models
CN107967916B (zh) 确定语音关系
TW504663B (en) Spelling speech recognition apparatus and method for mobile communication
CN110706690A (zh) 语音识别方法及其装置
CN111179905A (zh) 一种快速配音生成方法及装置
CN113450765B (zh) 语音合成方法、装置、设备及存储介质
Mitra et al. Recognizing articulatory gestures from speech for robust speech recognition
KR102137523B1 (ko) 텍스트-음성 변환 방법 및 시스템
CN114678032B (zh) 一种训练方法、语音转换方法及装置和电子设备
CN110930975A (zh) 用于输出信息的方法和装置
CN114242093A (zh) 语音音色转换方法、装置、计算机设备和存储介质
CN112634865A (zh) 语音合成方法、装置、计算机设备和存储介质
CN116994553A (zh) 语音合成模型的训练方法、语音合成方法、装置及设备
CN113327578B (zh) 一种声学模型训练方法、装置、终端设备及存储介质
KR102198598B1 (ko) 합성 음성 신호 생성 방법, 뉴럴 보코더 및 뉴럴 보코더의 훈련 방법
Tan Neural text-to-speech synthesis
CN113345454A (zh) 语音转换模型的训练、应用方法、装置、设备及存储介质
US20170352344A1 (en) Latent-segmentation intonation model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PP01 Preservation of patent right

Effective date of registration: 20230131

Granted publication date: 20220826

PP01 Preservation of patent right
PD01 Discharge of preservation of patent

Date of cancellation: 20240108

Granted publication date: 20220826

PD01 Discharge of preservation of patent
PP01 Preservation of patent right

Effective date of registration: 20240227

Granted publication date: 20220826

PP01 Preservation of patent right