CN109036371A - 用于语音合成的音频数据生成方法及系统 - Google Patents
用于语音合成的音频数据生成方法及系统 Download PDFInfo
- Publication number
- CN109036371A CN109036371A CN201810796789.4A CN201810796789A CN109036371A CN 109036371 A CN109036371 A CN 109036371A CN 201810796789 A CN201810796789 A CN 201810796789A CN 109036371 A CN109036371 A CN 109036371A
- Authority
- CN
- China
- Prior art keywords
- data
- feature data
- text
- fused
- text feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 38
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 claims abstract description 32
- 238000006243 chemical reaction Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000001133 acceleration Effects 0.000 claims abstract description 7
- 238000009877 rendering Methods 0.000 claims abstract description 7
- 238000005070 sampling Methods 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 238000003475 lamination Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000003058 natural language processing Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000000306 recurrent effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 241000638935 Senecio crassissimus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000714 time series forecasting Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L2013/021—Overlap-add techniques
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本发明提供的用于语音合成的音频数据生成方法，其包含以下步骤：对文本数据中的文本特征进行提取，得到文本特征数据；通过神经网络结构对文本特征数据进行加速转化处理，将文本特征数据转化为声学特征数据；根据声学特征数据进行声音合成或选择拼接，得到音频数据。本发明，由于采用了特殊的反卷积结构，在不包含任何auto‑regressive结构，且使用极少的参数的前提下也能达到很好的语音合成效果，能够通过神经网络结构在保证声学特征预测精度的同时，减少计算延迟，减少计算资源需求，提高并发量，提升语音合成的速度，为改善人机交互体验做出贡献。
Description
技术领域
本发明涉及人工智能领域，具体地说，涉及一种用于语音合成的音频数据生成方法及系统。
背景技术
对于基于语音的实时人机交互系统，为了达到最优的人机交互体验，从用户结束语音发音，到机器开始发出语音回复的时间称为“应答时间”。为了达到最优的人机交互体验，这三步骤的总时间应该在600ms左右。绝大多数语音人机交互系统，其信息处理过程需要依次经过ASR-NLP-TTS三个步骤。然而目前大量高自然度的TTS接口的延迟在150ms以上，严重压缩了其他两个步骤(ASR，NLP)的处理时间，并因此限制了其他两个步骤中的信息处理的复杂程度和精度，为了改善人机交互体验，需要提升TTS即语音合成的速度。
因此，本发明提供了一种基用于语音合成的音频数据生成方法及系统。
发明内容
为解决上述问题，本发明提供了一种用于语音合成的音频数据生成方法，所述方法包含以下步骤：
对文本数据中的文本特征进行提取，得到文本特征数据；
通过神经网络结构对所述文本特征数据进行加速转化处理，将所述文本特征数据转化为声学特征数据；
根据所述声学特征数据进行声音合成或选择拼接，得到音频数据。
根据本发明的一个实施例，还包括：
通过调整模型对所述文本特征数据进行调整，得到调整后的文本特征数据，所述调整模型包含时程模型或注意力模型。
根据本发明的一个实施例，通过神经网络结构对所述调整后的文本特征数据进行加速转化处理，将所述调整后的文本特征数据转化为声学特征数据的步骤，包括：
对所述调整后的文本特征数据进行不同时间跨度上的采样，得到抽象度不同的多个待融合数据；
依据所述待融合数据的抽象度依次将多个待融合数据融合，得到融合数据；
通过声学模型对所述融合数据进行声学处理，得到所述声学特征数据。
根据本发明的一个实施例，对所述调整后的文本特征数据进行不同时间跨度上的采样，得到抽象度不同的多个待融合数据的步骤，包含以下步骤：
通过插值下采样方法、全卷积层采样方法以及扩张卷积层采样方法中的任一项或任几项的组合对所述调整后的文本特征数据进行不同时间跨度上的采样。
根据本发明的一个实施例，依据所述待融合数据的抽象度依次将多个待融合数据融合，得到融合数据的步骤，包含以下步骤：
从抽象度最高的待融合数据开始，依次经过反卷积层与抽象度仅次于当前数据的待融合数据进行融合，得到融合数据。
根据本发明的一个实施例，通过声学模型对所述融合数据进行声学处理，得到所述声学特征数据的步骤，包含以下步骤：
对所述融合数据经过线性映射层处理得到声学特征数据，其中所述文本特征包含：音标、语调、断句或韵律标记、句法依存树、分词标记、词性标注、语义权重以及语向量中的一项或任几项的组合。
根据本发明的另一个方面，还提供了一种程序产品，其包含用于执行如上任一项所述的方法步骤的一系列指令。
根据本发明的另一个方面，还提供了一种用于语音合成的音频数据生成系统，所述系统包含：
文本特征提取模块，其用于对文本数据中的文本特征进行提取，得到文本特征数据；
声学特征数据生成模块，其用于通过神经网络结构对所述文本特征数据进行加速转化处理，将所述文本特征数据转化为声学特征数据；
音频数据生成模块，其用于根据所述声学特征数据进行声音合成或选择拼接，得到音频数据。
根据本发明的另一个方面，还提供了一种智能机器人，该智能机器人采用用于语音合成的音频数据生成系统的服务。
根据本发明的一个实施例，该智能机器人为儿童专用机器人。
本发明提供的用于语音合成的音频数据生成方法及系统能够将文本数据转化为音频数据，由于采用了特殊的反卷积结构，在不包含任何auto-regressive结构，且使用极少的参数的前提下也能达到很好的语音合成效果，能够通过神经网络结构在保证声学特征预测精度的同时，减少计算延迟，减少计算资源需求，提高并发量，提升语音合成的速度，为改善人机交互体验做出贡献。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：
图1显示了根据本发明的一个实施例的用于语音合成的音频数据生成方法流程图；
图2显示了根据本发明的另一个实施例的用于语音合成的音频数据生成方法流程图；
图3显示了根据本发明的一个实施例的用于语音合成的音频数据生成系统的结构框图；
图4显示了根据本发明的一个实施例的用于语音合成的音频数据生成系统中神经网络的结构示意图；以及
图5显示了根据本发明的一个实施例的用于语音合成的音频数据生成系统模块框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。
图1显示了根据本发明的一个实施例的用于语音合成的音频数据生成方法流程图。
如图1所示，在步骤S101中，对文本数据中的文本特征进行提取，得到文本特征数据。在本发明的一个实施例中，文本特征包含：音标、语调、断句或韵律标记、句法依存树、分词标记、词性标注、语义权重以及语向量中的一项或任几项的组合。
另外，获得文本特征数据的方式可以是自然语言处理算法(NLP，NaturalLanguage Processing)。自然语言处理算法可以对文本数据进行分词处理，将文本数据根据词组进行切分，获得多个切分后的文本数据。自然语言处理算法可以对切分后的文本数据进行词性分析，分析词组的性质。一般来说，词组的性质分为动词、形容词以及名词等。另外，自然语言处理算法还可以对文本数据进行依存句法分析、摘要分析以及情感分析等。通过以上处理，可以对文本数据中的文本特征进行提取，得到文本特征数据。
在本发明的一个实施例中，步骤S101后，还包含通过调整模型对文本特征数据进行调整，得到调整后的文本特征数据，调整模型包含时程模型或注意力模型。
接着，在步骤S102中，通过神经网络结构对文本特征数据进行加速转化处理，将文本特征数据转化为声学特征数据。一般来说，目前将文本特征转化为声学特征这一过程都存在延迟，影响了文本至声音的转化效率。因此，在本步骤中，通过神经网络对文本特征数据进行加速化处理，缩短转化的时间，提升转化的效率。
在本步骤中，对传统的能够将文本特征转化为声学特征的声学模型进行了优化，提升了转化的速度。传统的声学模型采用隐马尔可夫模型(Hidden Markov Model，HMM)，高斯混合模型(Gaussian Mixed Model，GMM)或全连接神经网络(Deep Neural Networks，DNN)，可以达到较快的速度，但合成的声音自然度较低。为了使合成的声音具有高自然度，声学模型都会采用一些计算量非常大的神经网络结构，常见的结构如循环神经网络(Recurrent Neural Network，RNN)，或一些带有自回归(auto-regressive)特点的卷积神经网络(Convolutional Neural Network，CNN)。
在一个实施例中，对调整后的文本特征数据进行不同时间跨度上的采样，得到抽象度不同的多个待融合数据。然后，依据待融合数据的抽象度依次将多个待融合数据融合，得到融合数据。最后，通过声学模型对融合数据进行声学处理，得到声学特征数据。以上方法与其他声学模型相比较计算延迟极大降低，并发量得到明显提升。
最后，在步骤S103中，根据声学特征数据进行声音合成或选择拼接，得到音频数据。根据本发明的一个实施例，对声学特征进行合成可以采用合成器，对声学特征进行选择拼接可以采用音频单元选择与拼接模块。
一般来说，声学特征指对音频进行有损压缩后得到的，与音频存在编码和解码关系的特征。目前来说，声学特征视选用的合成器类型不同可包括但不限于：MCC-BAP-LF0特征，其包含梅尔倒谱系数、band aperiodicities以及对数尺度基频的向量，在时间尺度堆叠为矩阵，可通过开源软件WORLD等从音频中分解并还原为音频。频谱矩阵，可通过离散傅立叶变换从音频中分解，并通过griffin-lim算法还原为音频。基于深度学习的分布式表征矩阵，可通过经过恰当训练的神经网络合成器如WaveNet还原为音频。
图2显示了根据本发明的另一个实施例的用于语音合成的音频数据生成方法流程图。
如图2所示，在步骤S201中，对调整后的文本特征数据进行不同时间跨度上的采样，得到抽象度不同的多个待融合数据。根据本发明的一个实施例，通过插值下采样方法、全卷积层采样方法以及扩张卷积层采样方法中的任一项或任几项的组合对调整后的文本特征数据进行不同时间跨度上的采样。
然后，在步骤S202中，依据待融合数据的抽象度依次将多个待融合数据融合，得到融合数据。根据本发明的一个实施例，从抽象度最高的待融合数据开始，依次经过反卷积层(反卷积层deconvolution layer又称转置卷积层transposed convolution layer，具体原理参考论文，Zeiler,Matthew D.,Graham W.Taylor,and Rob Fergus."Adaptivedeconvolutional networks for mid and high level feature learning."ComputerVision(ICCV),2011IEEE International Conference on.IEEE,2011.)与抽象度仅次于当前数据的待融合数据进行融合，得到融合数据。
经过步骤S201中采样得到抽象程度不同的N组特征，特征1的抽象程度比2要高，特征2的抽象程度比3要高，以此类推。从抽象程度高的特征开始，经过一个反卷积层，跟仅次于它的特征融合。抽象程度高的特征因为时间跨度大，在时间维度上的压缩更大，因此需要先经过反卷积层，将时间维度扩展，才能和下一个特征进行融合。
融合有多种方法，最简单的是向量加法，也可以设计复杂的神经网络层。根据本发明的一个实施例，融合的方法是设计了带有门结构的卷积神经网络层，门结构可以对输入的特征进行取舍，只保留对此任务最相关的部分。
最后，在步骤S203中，通过声学模型对融合数据进行声学处理，得到声学特征数据。根据本发明的一个实施例，对融合数据经过线性映射层处理得到声学特征数据。
根据本发明的一个实施例，如图2所示的神经网络的需要经过一个训练过程后才能投入使用，训练阶段需要提供若干训练用的文本特征和声学特征的组合。在推理阶段，此模型接收到经过适当处理的文本特征，并生成对应的声学特征，继而通过合成器或音频单元选择与拼接模块，得到最终的声音。
此外，本发明还可以配合一种程序产品，其包含用于语音合成的音频数据生成方法步骤的一系列指令。程序产品能够运行计算机指令，计算机指令包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
程序产品可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是，程序产品包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，程序产品不包括电载波信号和电信信号。
图3显示了根据本发明的一个实施例的用于语音合成的音频数据生成系统的结构框图。
如图3所示，本发明提供的音频数据生成系统可以分为四大部分：
第一部分为文本提取。需要将文本数据中的文本特征提取出来，得到文本特征数据。
对于文本数据，需要对文本数据中的文本特征进行提取，得到文本特征数据。一般来说，文本特征包含：音标、语调、断句或韵律标记、句法依存树、分词标记、词性标注、语义权重以及语向量中的一项或任几项的组合。在实际应用中，可以通过时程模型或者注意力模型对文本特征数据进行调整，以得到调整后的文本特征数据。
第二部分为文本特征到声学特征的转化过程，需要将文本特征数据转化为声学特征数据。得到调整后的文本特征数据后，本发明提供的神经网络结构将文本特征数据加速转化为声学特征数据。目前来说，将文本转化为声学的声学模型精度以及速度上都存在一定的缺陷，因此，本发明提供了一种神经网络结构，在保证转化精确度的同时，加速文本到声学的转化过程。
第三部分为训练。根据本发明的一个实施例，为了保证神经网络结构的准确率，可以提前对神经网络结构进行训练，经过一个训练过程才能投入使用，在训练阶段，提供若干训练用的文本特征和声学特征的组合。在推理阶段，此模型接收到经过适当处理的文本特征，并生成对应的声学特征，继而通过合成器或音频单元选择与拼接模块，得到最终的声音。
第四部分为声学特征到音频数据的转化过程。经过神经网络结构处理过的文本特征数据转化为声学特征数据，为了得到文本到音频的转变，需要将声学特征数据转化为音频数据。一般来说，声学特征指对音频进行有损压缩后得到的，与音频存在编码和解码关系的特征。在一个实施例中，通过合成器或音频单元选择拼接模块可以将声学特征转化为音频数据。
图4显示了根据本发明的一个实施例的用于语音合成的音频数据生成系统中神经网络的结构示意图。
如图4所示，本发明提出了一类新型的用于语音合成声学模型的神经网络，其特征在于包含了多个不同尺度的一维反卷积层，使声学模型同时兼具循环神经网络(RNN，Recurrent Neural Network)的高声音自然度和极高的推理速度。其输入为文本特征，输出为声学特征。网络结构如图4所示，目的在于保证声学特征预测精度的同时，充分利用图形处理器(GPU，Graphics Processing Unit)硬件特征，减少计算延迟，减少计算资源需求，提高并发量。
本发明提供的神经网络结构如图4所示。首先，从多尺度，即不同时间跨度上对文本特征进行采样，通过插值下采样方法、全卷积层采样方法以及扩张卷积层采样方法中的任一项或任几项的组合对调整后的文本特征数据进行不同时间跨度上的采样。在实施例中，全卷积层的跨度(stride)可以大于一。
接着，经过多尺度下的采样，得到抽象程度不同的N组特征，特征1的抽象程度比2要高，特征2的抽象程度比3要高，以此类推。从抽象度最高的待融合数据开始，依次经过反卷积层与抽象度仅次于当前数据的待融合数据进行融合，得到融合数据。抽象程度高的特征因为时间跨度大，在时间维度上的压缩更大，因此需要先经过反卷积层，将时间维度扩展，才能和下一个特征进行融合。特别地，我们发现在反卷积层上附加额外的时间坐标信息能达到更好的语音合成效果。
融合有多种方法，可以是向量加法，也可以设计复杂的神经网络层。在一个实施例中，融合的方法是设计了带有门结构的卷积神经网络层，门结构可以对输入的特征进行取舍，只保留对此任务最相关的部分。
目前来说，GPU在硬件结构上拥有大量的流处理器(streaming multiprocessor)，这使得GPU非常擅长将大规模计算任务(如大规模矩阵乘法)拆分成可以并行运算的小任务并将这些小任务分配给不同的计算块(block)。但具有自回归(auto-regressive)特性的神经网络(如RNN，autoregressive CNN，wavenet等)的每一部推导的步骤需要依赖上一步推导的结果，因此不能被完全并行，不能很好的利用GPU的特性，尤其在以文本到语音(TTS)的声学模型为代表的长时程时间序列预测任务上，会导致两个非常明显的缺陷。其一是单句语音合成的延迟，其二是GPU的计算资源没有得到有效的利用，造成较大的成本浪费。而对于本发明所公开的实施例中，本发明提供的神经网络由于采用了特殊的反卷积结构，在不包含任何auto-regressive结构，且使用极少的参数的前提下也能达到很好的语音合成效果。
为了解决RNN的第一个缺陷，工程上常采用一些模型简化方案，如以损失模型精度为代价，从双向RNN变为单项RNN，或采用一些模型简化策略如门控循环单元(GatedRecurrent Unit，GRU)或QRNN算法(Quasi-Recurrent Neural Networks)。为了解决第二个缺陷，一些更复杂的工程优化包括依靠批次调度(batch dispatch)提升GPU的利用率，但代价是进一步增加了语音合成任务的延迟。
另一类尝试采用存储块(memory block)结构或卷积神经网络(ConvolutionalNeural Network，CNN)结构，较好地解决了以上问题，但这些方法的速度改进非常有限，且得到的音效仍然比RNN更差。
因此，在于其他声学模型相比较来说，本发明提供的神经网络由于采用了特殊的反卷积结构，在不包含任何auto-regressive结构，且使用极少的参数的前提下也能达到很好的语音合成效果，能够提升将文本特征转化为声学特征的速度，并且在损失函数层面，跟经典RNN不相上下。计算延迟极大降低，并发量得到明显提升。
图5显示了根据本发明的一个实施例的用于语音合成的音频数据生成系统模块框图。
如图5所示，系统包含文本特征提取模块401、声学特征数据生成模块402以及音频数据生成模块403。其中，文本特征提取模块401包含提取单元4011以及调整单元4012。声学特征数据生成模块402包含采样单元4021、融合单元4022以及声学处理单元4023。音频数据生成模块403包含合成器4031以及选择拼接单元4032。
文本特征提取模块401用于对文本数据中的文本特征进行提取，得到文本特征数据。提取单元401可以通过自然语言算法对文本数据中的文本特征数据进行提取。调整单元4012用于通过调整模型对文本特征数据进行调整，得到调整后的文本特征数据，所述调整模型包含时程模型或注意力模型。
声学特征数据生成模块402用于通过神经网络结构对文本特征数据进行加速转化处理，将所述文本特征数据转化为声学特征数据。采样单元4021用于对调整后的文本特征数据进行不同时间跨度上的采样，得到抽象度不同的多个待融合数据。融合单元4022用于依据待融合数据的抽象度依次将多个待融合数据融合，得到融合数据。声学处理单元4023用于通过声学模型对所述融合数据进行声学处理，得到声学特征数据。
音频数据生成模块403用于根据声学特征数据进行声音合成或选择拼接，得到音频数据。合成器4031以及选择拼接单元4032能够对声学特征进行合成以及选择拼接，得到音频数据。
根据一个实施例，本发明提到的智能机器人具备特定的形象和预设属性，可以具备自然语言理解、视觉感知、触摸感知、语言输出、情感表情动作输出等AI能力。智能机器人可以为儿童专用机器人。
在本发明中，智能机器人可以采用本发明提供的用于语音合成的音频数据生成系统进行服务，将文本数据转化为音频数据，进而与用户601展开交互。
本发明提供的用于语音合成的音频数据生成方法及系统能够将文本数据转化为音频数据，由于采用了特殊的反卷积结构，在不包含任何auto-regressive结构，且使用极少的参数的前提下也能达到很好的语音合成效果，能够通过神经网络结构在保证声学特征预测精度的同时，减少计算延迟，减少计算资源需求，提高并发量，提升语音合成的速度，为改善人机交互体验做出贡献。
应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种用于语音合成的音频数据生成方法，其特征在于，所述方法包含以下步骤：
对文本数据中的文本特征进行提取，得到文本特征数据；
通过神经网络结构对所述文本特征数据进行加速转化处理，将所述文本特征数据转化为声学特征数据；
根据所述声学特征数据进行声音合成或选择拼接，得到音频数据。
2.如权利要求1所述的方法，其特征在于，还包括：
通过调整模型对所述文本特征数据进行调整，得到调整后的文本特征数据，所述调整模型包含时程模型或注意力模型。
3.如权利要求2所述的方法，其特征在于，通过神经网络结构对所述调整后的文本特征数据进行加速转化处理，将所述调整后的文本特征数据转化为声学特征数据的步骤，包括：
对所述调整后的文本特征数据进行不同时间跨度上的采样，得到抽象度不同的多个待融合数据；
依据所述待融合数据的抽象度依次将多个待融合数据融合，得到融合数据；
通过声学模型对所述融合数据进行声学处理，得到所述声学特征数据。
4.如权利要求3所述的方法，其特征在于，对所述调整后的文本特征数据进行不同时间跨度上的采样，得到抽象度不同的多个待融合数据的步骤，包含以下步骤：
通过插值下采样方法、全卷积层采样方法以及扩张卷积层采样方法中的任一项或任几项的组合对所述调整后的文本特征数据进行不同时间跨度上的采样。
5.如权利要求3所述的方法，其特征在于，依据所述待融合数据的抽象度依次将多个待融合数据融合，得到融合数据的步骤，包含以下步骤：
从抽象度最高的待融合数据开始，依次经过反卷积层与抽象度仅次于当前数据的待融合数据进行融合，得到融合数据。
6.如权利要求3所述的方法，其特征在于，通过声学模型对所述融合数据进行声学处理，得到所述声学特征数据的步骤，包含以下步骤：
对所述融合数据经过线性映射层处理得到声学特征数据，其中所述文本特征包含：音标、语调、断句或韵律标记、句法依存树、分词标记、词性标注、语义权重以及语向量中的一项或任几项的组合。
7.一种程序产品，其包含用于执行如权利要求1-6中任一项所述的方法步骤的一系列指令。
8.一种用于语音合成的音频数据生成系统，其特征在于，所述系统包含：
文本特征提取模块，其用于对文本数据中的文本特征进行提取，得到文本特征数据；
声学特征数据生成模块，其用于通过神经网络结构对所述文本特征数据进行加速转化处理，将所述文本特征数据转化为声学特征数据；
音频数据生成模块，其用于根据所述声学特征数据进行声音合成或选择拼接，得到音频数据。
9.一种智能机器人，其特征在于，该智能机器人采用用于语音合成的音频数据生成系统的服务。
10.如权利要求9所述的方法，其特征在于，该智能机器人为儿童专用机器人。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810796789.4A CN109036371B (zh) | 2018-07-19 | 2018-07-19 | 用于语音合成的音频数据生成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810796789.4A CN109036371B (zh) | 2018-07-19 | 2018-07-19 | 用于语音合成的音频数据生成方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109036371A true CN109036371A (zh) | 2018-12-18 |
| CN109036371B CN109036371B (zh) | 2020-12-18 |
Family
ID=64643220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810796789.4A Active CN109036371B (zh) | 2018-07-19 | 2018-07-19 | 用于语音合成的音频数据生成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109036371B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109767752A (zh) * | 2019-02-27 | 2019-05-17 | 平安科技（深圳）有限公司 | 一种基于注意力机制的语音合成方法及装置 |
| CN110033755A (zh) * | 2019-04-23 | 2019-07-19 | 平安科技（深圳）有限公司 | 语音合成方法、装置、计算机设备及存储介质 |
| CN110164413A (zh) * | 2019-05-13 | 2019-08-23 | 北京百度网讯科技有限公司 | 语音合成方法、装置、计算机设备和存储介质 |
| CN110473516A (zh) * | 2019-09-19 | 2019-11-19 | 百度在线网络技术（北京）有限公司 | 语音合成方法、装置以及电子设备 |
| CN111326167A (zh) * | 2020-03-09 | 2020-06-23 | 广州深声科技有限公司 | 一种基于神经网络的声学特征转换方法 |
| CN111444382A (zh) * | 2020-03-30 | 2020-07-24 | 腾讯科技（深圳）有限公司 | 一种音频处理方法、装置、计算机设备以及存储介质 |
| CN111583903A (zh) * | 2020-04-28 | 2020-08-25 | 北京字节跳动网络技术有限公司 | 语音合成方法、声码器训练方法、装置、介质及电子设备 |
| CN112037758A (zh) * | 2020-06-19 | 2020-12-04 | 四川长虹电器股份有限公司 | 一种语音合成方法及装置 |
| CN112289297A (zh) * | 2019-07-25 | 2021-01-29 | 阿里巴巴集团控股有限公司 | 语音合成方法、装置和系统 |
| CN112767957A (zh) * | 2020-12-31 | 2021-05-07 | 科大讯飞股份有限公司 | 获得预测模型的方法、语音波形的预测方法及相关装置 |
| CN112786000A (zh) * | 2019-11-11 | 2021-05-11 | 亿度慧达教育科技（北京）有限公司 | 语音合成方法、系统、设备及存储介质 |
| CN112825248A (zh) * | 2019-11-19 | 2021-05-21 | 阿里巴巴集团控股有限公司 | 语音处理方法、模型训练方法、界面显示方法及设备 |
| CN112767957B (zh) * | 2020-12-31 | 2024-05-31 | 中国科学技术大学 | 获得预测模型的方法、语音波形的预测方法及相关装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654939A (zh) * | 2016-01-04 | 2016-06-08 | 北京时代瑞朗科技有限公司 | 一种基于音向量文本特征的语音合成方法 |
| CN106486121A (zh) * | 2016-10-28 | 2017-03-08 | 北京光年无限科技有限公司 | 应用于智能机器人的语音优化方法及装置 |
| US20170263239A1 (en) * | 2016-03-14 | 2017-09-14 | Kabushiki Kaisha Toshiba | Multi-stream spectral representation for statistical parametric speech synthesis |
| CN107481713A (zh) * | 2017-07-17 | 2017-12-15 | 清华大学 | 一种混合语言语音合成方法及装置 |
| CN107799126A (zh) * | 2017-10-16 | 2018-03-13 | 深圳狗尾草智能科技有限公司 | 基于有监督机器学习的语音端点检测方法及装置 |
| CN107945786A (zh) * | 2017-11-27 | 2018-04-20 | 北京百度网讯科技有限公司 | 语音合成方法和装置 |
-
2018
- 2018-07-19 CN CN201810796789.4A patent/CN109036371B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654939A (zh) * | 2016-01-04 | 2016-06-08 | 北京时代瑞朗科技有限公司 | 一种基于音向量文本特征的语音合成方法 |
| US20170263239A1 (en) * | 2016-03-14 | 2017-09-14 | Kabushiki Kaisha Toshiba | Multi-stream spectral representation for statistical parametric speech synthesis |
| CN106486121A (zh) * | 2016-10-28 | 2017-03-08 | 北京光年无限科技有限公司 | 应用于智能机器人的语音优化方法及装置 |
| CN107481713A (zh) * | 2017-07-17 | 2017-12-15 | 清华大学 | 一种混合语言语音合成方法及装置 |
| CN107799126A (zh) * | 2017-10-16 | 2018-03-13 | 深圳狗尾草智能科技有限公司 | 基于有监督机器学习的语音端点检测方法及装置 |
| CN107945786A (zh) * | 2017-11-27 | 2018-04-20 | 北京百度网讯科技有限公司 | 语音合成方法和装置 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109767752A (zh) * | 2019-02-27 | 2019-05-17 | 平安科技（深圳）有限公司 | 一种基于注意力机制的语音合成方法及装置 |
| CN109767752B (zh) * | 2019-02-27 | 2023-05-26 | 平安科技（深圳）有限公司 | 一种基于注意力机制的语音合成方法及装置 |
| WO2020173134A1 (zh) * | 2019-02-27 | 2020-09-03 | 平安科技（深圳）有限公司 | 一种基于注意力机制的语音合成方法及装置 |
| CN110033755A (zh) * | 2019-04-23 | 2019-07-19 | 平安科技（深圳）有限公司 | 语音合成方法、装置、计算机设备及存储介质 |
| CN110164413A (zh) * | 2019-05-13 | 2019-08-23 | 北京百度网讯科技有限公司 | 语音合成方法、装置、计算机设备和存储介质 |
| CN110164413B (zh) * | 2019-05-13 | 2021-06-04 | 北京百度网讯科技有限公司 | 语音合成方法、装置、计算机设备和存储介质 |
| CN112289297A (zh) * | 2019-07-25 | 2021-01-29 | 阿里巴巴集团控股有限公司 | 语音合成方法、装置和系统 |
| CN110473516A (zh) * | 2019-09-19 | 2019-11-19 | 百度在线网络技术（北京）有限公司 | 语音合成方法、装置以及电子设备 |
| CN112786000A (zh) * | 2019-11-11 | 2021-05-11 | 亿度慧达教育科技（北京）有限公司 | 语音合成方法、系统、设备及存储介质 |
| CN112786000B (zh) * | 2019-11-11 | 2022-06-03 | 亿度慧达教育科技（北京）有限公司 | 语音合成方法、系统、设备及存储介质 |
| CN112825248A (zh) * | 2019-11-19 | 2021-05-21 | 阿里巴巴集团控股有限公司 | 语音处理方法、模型训练方法、界面显示方法及设备 |
| CN111326167A (zh) * | 2020-03-09 | 2020-06-23 | 广州深声科技有限公司 | 一种基于神经网络的声学特征转换方法 |
| CN111326167B (zh) * | 2020-03-09 | 2022-05-13 | 广州深声科技有限公司 | 一种基于神经网络的声学特征转换方法 |
| CN111444382A (zh) * | 2020-03-30 | 2020-07-24 | 腾讯科技（深圳）有限公司 | 一种音频处理方法、装置、计算机设备以及存储介质 |
| CN111583903B (zh) * | 2020-04-28 | 2021-11-05 | 北京字节跳动网络技术有限公司 | 语音合成方法、声码器训练方法、装置、介质及电子设备 |
| CN111583903A (zh) * | 2020-04-28 | 2020-08-25 | 北京字节跳动网络技术有限公司 | 语音合成方法、声码器训练方法、装置、介质及电子设备 |
| CN112037758A (zh) * | 2020-06-19 | 2020-12-04 | 四川长虹电器股份有限公司 | 一种语音合成方法及装置 |
| CN112767957A (zh) * | 2020-12-31 | 2021-05-07 | 科大讯飞股份有限公司 | 获得预测模型的方法、语音波形的预测方法及相关装置 |
| CN112767957B (zh) * | 2020-12-31 | 2024-05-31 | 中国科学技术大学 | 获得预测模型的方法、语音波形的预测方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109036371B (zh) | 2020-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109036371A (zh) | 用于语音合成的音频数据生成方法及系统 | |
| CN110491382B (zh) | 基于人工智能的语音识别方法、装置及语音交互设备 | |
| CN112863483B (zh) | 支持多说话人风格、语言切换且韵律可控的语音合成装置 | |
| JP2023542685A (ja) | 音声認識方法、音声認識装置、コンピュータ機器、及びコンピュータプログラム | |
| US11289068B2 (en) | Method, device, and computer-readable storage medium for speech synthesis in parallel | |
| Liu et al. | Mongolian text-to-speech system based on deep neural network | |
| JP2022046731A (ja) | 音声生成方法、装置、電子機器及び記憶媒体 | |
| CN116364055B (zh) | 基于预训练语言模型的语音生成方法、装置、设备及介质 | |
| CN111508466A (zh) | 一种文本处理方法、装置、设备及计算机可读存储介质 | |
| CN115620699B (zh) | 语音合成方法、语音合成系统、语音合成设备及存储介质 | |
| Zhao et al. | End-to-end-based Tibetan multitask speech recognition | |
| Pamisetty et al. | Prosody-tts: An end-to-end speech synthesis system with prosody control | |
| Zhao et al. | Tibetan Multi-Dialect Speech and Dialect Identity Recognition. | |
| Sheikhan | Generation of suprasegmental information for speech using a recurrent neural network and binary gravitational search algorithm for feature selection | |
| CN112257432A (zh) | 一种自适应意图识别方法、装置及电子设备 | |
| CN115206284B (zh) | 一种模型训练方法、装置、服务器和介质 | |
| CN113257225B (zh) | 一种融合词汇及音素发音特征的情感语音合成方法及系统 | |
| CN114694633A (zh) | 语音合成方法、装置、设备及存储介质 | |
| CN114512121A (zh) | 语音合成方法、模型训练方法及装置 | |
| CN114373443A (zh) | 语音合成方法和装置、计算设备、存储介质及程序产品 | |
| Ilyes et al. | Statistical parametric speech synthesis for Arabic language using ANN | |
| Khorram et al. | Soft context clustering for F0 modeling in HMM-based speech synthesis | |
| CN114373445B (zh) | 语音生成方法、装置、电子设备及存储介质 | |
| Choi et al. | Joint streaming model for backchannel prediction and automatic speech recognition | |
| Yamazaki et al. | ATR research activities on speech translation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Ma Dabiao Inventor after: Lu Yuhao Inventor before: Lu Yuhao Inventor before: Ma Dabiao |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |