CN113409764B - 一种语音合成方法、装置和用于语音合成的装置 - Google Patents
一种语音合成方法、装置和用于语音合成的装置 Download PDFInfo
- Publication number
- CN113409764B CN113409764B CN202110656404.6A CN202110656404A CN113409764B CN 113409764 B CN113409764 B CN 113409764B CN 202110656404 A CN202110656404 A CN 202110656404A CN 113409764 B CN113409764 B CN 113409764B
- Authority
- CN
- China
- Prior art keywords
- model
- audio
- data
- style
- speech synthesis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 193
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 193
- 238000001308 synthesis method Methods 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 206
- 238000000034 method Methods 0.000 claims abstract description 29
- 239000013598 vector Substances 0.000 claims description 71
- 238000000605 extraction Methods 0.000 claims description 45
- 230000033764 rhythmic process Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 11
- 230000008451 emotion Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000003595 spectral effect Effects 0.000 description 8
- 230000005012 migration Effects 0.000 description 5
- 238000013508 migration Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
- G10L13/047—Architecture of speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明实施例提供了一种语音合成方法、装置和用于语音合成的装置。其中的方法包括：获取文本数据、至少一个说话人标识、以及风格标识；将所述文本数据、所述至少一个说话人标识、以及所述风格标识输入语音合成模型，所述语音合成模型根据所述文本数据、所述说话人标识对应的音色模型参数、以及所述风格标识对应的韵律模型参数进行语音合成，得到合成语音数据；所述语音合成模型包括不同音色特征的音频训练数据训练得到的音色模型参数，以及不同风格特征的音频训练数据训练得到的韵律模型参数。本发明实施例可以合成不同音色不同风格的目标音频，扩展语音合成模型的适用范围，降低对训练数据的要求以及降低训练数据的采集成本。
Description
技术领域
本发明涉及语音处理技术领域，尤其涉及一种语音合成方法、装置和用于语音合成的装置。
背景技术
随着深度学习的发展，语音合成技术进入到端到端的发展阶段。端到端的语音合成模型能够基于输入的文本，直接输出与该文本对应的语音。
语音合成技术广泛应用在智能问答、语音播报、有声读物、虚拟主播等场景中。端到端的语音合成技术合成的语音风格较为单一，在某些场景下，需要合成同一个说话人不同风格的语音。这就需要针对每个说话人，分别使用每个说话人录制的不同风格的语音作为训练数据，分别生成用于合成一个说话人的单一风格的语音合成模型，不仅训练开销大，而且语音合成模型仅可以生成单一风格的语音，导致语音合成模型的适用范围较为局限。
发明内容
本发明实施例提供一种语音合成方法、装置和用于语音合成的装置，可以合成不同音色不同风格的目标音频，扩展语音合成模型的适用范围，并且降低对训练数据的要求以及降低训练数据的采集成本。
为了解决上述问题，本发明实施例公开了一种语音合成方法，所述方法包括：
获取文本数据、至少一个说话人标识、以及风格标识；
将所述文本数据、所述至少一个说话人标识、以及所述风格标识输入语音合成模型，所述语音合成模型根据所述文本数据、所述说话人标识对应的音色模型参数、以及所述风格标识对应的韵律模型参数进行语音合成，得到合成语音数据；
其中，所述语音合成模型包括不同音色特征的音频训练数据训练得到的音色模型参数，以及不同风格特征的音频训练数据训练得到的韵律模型参数。
可选地，所述方法还包括：
获取音频训练数据，所述音频训练数据包括不同音色特征以及不同风格特征的音频数据；
从所述音频训练数据中提取韵律特征；
将提取的韵律特征输入解码器，训练语音合成模型，所述语音合成模型包括编码器参数、韵律提取参数、音色模型参数、韵律模型参数；
从所述音频训练数据中分别选取单一音色特征的音频数据，并固定所述语音合成模型中的编码器参数和韵律提取参数不变，分别训练不同音色特征对应的音色模型参数；
从所述音频训练数据中分别选取单一音色特征以及单一风格特征的音频数据，并固定所述语音合成模型中的编码器参数和韵律提取参数不变，分别训练不同风格特征的韵律模型参数。
可选地，所述从所述音频训练数据中提取韵律特征，包括：
从所述音频训练数据中提取声学特征；
从提取的声学特征中提取层级变分自动编码器向量；
所述将提取的韵律特征输入解码器，训练语音合成模型，包括：
将提取的层级变分自动编码器向量作为韵律特征输入解码器，基于提取的声学特征训练语音合成模型。
可选地，所述根据所述文本数据、所述说话人标识对应的音色模型参数、以及所述风格标识对应的韵律模型参数进行语音合成，得到合成语音数据，包括：
确定所述说话人标识对应的音色模型参数，以及所述风格标识对应的韵律模型参数；
根据所述文本数据和所述韵律模型参数，预测目标音频的层级变分自动编码器向量；
根据所述文本数据预测文本时长特征，并根据预测的时长特征对所述文本数据的音素级文本特征进行扩帧处理，得到扩帧后的帧级文本特征；
将所述帧级文本特征、预测的层级变分自动编码器向量、以及说话人标识输入解码器，通过解码器根据所述帧级文本特征、预测的层级变分自动编码器向量、以及所述说话人标识对应的音色模型参数，预测目标声学特征；
将预测的目标声学特征转换成语音波形，得到目标音频。
可选地，所述层级变分自动编码器向量包括句子级、音素级、帧级的变分自动编码器向量。
可选地，所述从所述音频训练数据中提取韵律特征，包括：
从所述音频训练数据中提取声学特征、基频特征、以及能量特征；
所述将提取的韵律特征输入解码器，训练语音合成模型，包括：
将提取的基频特征和能量特征作为韵律特征输入解码器，基于提取的声学特征训练语音合成模型。
可选地，所述风格标识的个数大于或者等于1，所述合成语音数据具有至少一个风格标识对应的风格特征，所述风格特征包括情感特征、方言特征、场景特征中的任意一种。
另一方面，本发明实施例公开了一种语音合成装置，所述装置包括：
数据获取模块，用于获取文本数据、至少一个说话人标识、以及风格标识；
语音合成模块，用于将所述文本数据、所述至少一个说话人标识、以及所述风格标识输入语音合成模型，所述语音合成模型根据所述文本数据、所述说话人标识对应的音色模型参数、以及所述风格标识对应的韵律模型参数进行语音合成，得到合成语音数据；
其中，所述语音合成模型包括不同音色特征的音频训练数据训练得到的音色模型参数，以及不同风格特征的音频训练数据训练得到的韵律模型参数。
可选地，所述装置还包括：
音频获取模块，用于获取音频训练数据，所述音频训练数据包括不同音色特征以及不同风格特征的音频数据；
韵律特征提取模块，用于从所述音频训练数据中提取韵律特征；
模型训练模块，用于将提取的韵律特征输入解码器，训练语音合成模型，所述语音合成模型包括编码器参数、韵律提取参数、音色模型参数、韵律模型参数；
音色模型参数训练模块，用于从所述音频训练数据中分别选取单一音色特征的音频数据，并固定所述语音合成模型中的编码器参数和韵律提取参数不变，分别训练不同音色特征对应的音色模型参数；
韵律模型参数训练模块，用于从所述音频训练数据中分别选取单一音色特征以及单一风格特征的音频数据，并固定所述语音合成模型中的编码器参数和韵律提取参数不变，分别训练不同风格特征的韵律模型参数。
可选地，所述韵律特征提取模块，包括：
声学特征提取子模块，用于从所述音频训练数据中提取声学特征；
向量提取子模块，用于从提取的声学特征中提取层级变分自动编码器向量；
所述模型训练模块，具体用于将提取的层级变分自动编码器向量作为韵律特征输入解码器，基于提取的声学特征训练语音合成模型。
可选地，所述语音合成模块，包括：
参数确定子模块，用于确定所述说话人标识对应的音色模型参数，以及所述风格标识对应的韵律模型参数；
向量预测子模块，用于根据所述文本数据和所述韵律模型参数，预测目标音频的层级变分自动编码器向量；
扩帧处理子模块，用于根据所述文本数据预测文本时长特征，并根据预测的时长特征对所述文本数据的音素级文本特征进行扩帧处理，得到扩帧后的帧级文本特征；
声学特征预测子模块，用于将所述帧级文本特征、预测的层级变分自动编码器向量、以及说话人标识输入解码器，通过解码器根据所述帧级文本特征、预测的层级变分自动编码器向量、以及所述说话人标识对应的音色模型参数，预测目标声学特征；
音频转换子模块，用于将预测的目标声学特征转换成语音波形，得到目标音频。
可选地，所述层级变分自动编码器向量包括句子级、音素级、帧级的变分自动编码器向量。
可选地，所述韵律特征提取模块，具体用于从所述音频训练数据中提取声学特征、基频特征、以及能量特征；
所述模型训练模块，具体用于将提取的基频特征和能量特征作为韵律特征输入解码器，基于提取的声学特征训练语音合成模型。
再一方面，本发明实施例公开了一种用于语音合成的装置，所述装置包括有存储器，以及一个以上的程序，其中一个以上程序存储于存储器中，且经配置以由一个以上处理器执行所述一个以上程序，所述一个以上程序包含用于进行上述任一所述的语音合成方法的指令。
又一方面，本发明实施例公开了一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如前述一个或多个所述的语音合成方法。
本发明实施例包括以下优点：
本发明实施例将获取的文本数据、至少一个说话人标识、以及风格标识输入预先训练的语音合成模型，通过该语音合成模型对所述文本数据、所述说话人标识对应的音色模型参数、以及所述风格标识对应的韵律模型参数进行语音合成，得到所述说话人标识对应的音色特征以及所述风格标识对应的风格特征的合成语音数据。所述语音合成模型包括不同音色特征的音频训练数据训练得到的音色模型参数，以及不同风格特征的音频训练数据训练得到的韵律模型参数，实现了对语音中的音色特征和韵律特征进行解耦，进而通过组合使用各种音色模型参数与韵律模型参数，可以合成不同音色不同风格的目标音频。任意用户均可以使用其他用户的说话风格合成自己音色特征的目标音频，即实现了跨说话人的风格迁移，使得语音合成的方式更加多样、灵活、便利，扩展了语音合成模型的适用范围。此外，本发明实施例不需要每个说话人录制的不同风格的语音作为训练数据，可以降低对训练数据的要求以及降低训练数据的采集成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一种语音合成方法实施例的步骤流程图；
图2是本发明的一种语音合成模型的结构示意图；
图3是本发明的一种语音合成装置实施例的结构框图；
图4是本发明的一种用于语音合成的装置800的框图；
图5是本发明的一些实施例中服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
方法实施例
参照图1，示出了本发明的一种语音合成方法实施例的步骤流程图，所述方法具体可以包括如下步骤：
步骤101、获取文本数据、至少一个说话人标识、以及风格标识；
步骤102、将所述文本数据、所述至少一个说话人标识、以及所述风格标识输入语音合成模型，所述语音合成模型根据所述文本数据、所述说话人标识对应的音色模型参数、以及所述风格标识对应的韵律模型参数进行语音合成，得到合成语音数据；
其中，所述语音合成模型包括不同音色特征的音频训练数据训练得到的音色模型参数，以及不同风格特征的音频训练数据训练得到的韵律模型参数。
本发明实施例提供的语音合成方法的执行主体为语音合成装置，该语音合成装置可以为电子实体，或者也可以为采用软件集成的应用。该电子实体包括但不限于：耳机、录音笔、家居智能终端(包括：空调、冰箱、电饭煲、热水器等)，商务智能终端(包括：可视电话、会议桌面智能终端等)，可穿戴设备(包括智能手表、智能眼镜等)，金融智能终端机，以及智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、车载设备、计算机等。
本发明实施例可以根据给定的文本数据、至少一个说话人标识、以及风格标识，合成目标音频，具体地，将待合成目标音频的文本数据、说话人标识和风格标识，输入至预先训练的语音合成模型中，该语音合成模型可以基于输入的信息，生成并输出目标音频的声学特征信息，该声学特征信息中可以携带文本信息、音色信息和韵律信息，具体可以采用梅尔(MEL)频谱序列的形式。然后再将该声学特征信息输入至预先训练的声码器中，由该声码器合成最终的目标音频。该目标音频具有该说话人标识对应的音色特征以及该风格标识对应的风格特征。
音色特征可以包括但不限于音高、长度、音调等特征。风格特征可用于表征一个人的说话风格、说话特点或者语言表现力。所述风格特征可以包括但不限于情感特征、方言特征、场景特征。其中，场景可以指应用场景，如新闻、小说、客服等。
本发明实施例可以预先训练语音合成模型，该语音合成模型包括不同音色特征的音频训练数据训练得到的音色模型参数，以及不同风格特征的音频训练数据训练得到的韵律模型参数。在使用该语音合成模型时，可以采用任意的文本数据、说话人标识和风格标识，任意组合得到指定的说话人标识对应的音色特征以及风格标识对应的风格特征的目标音频，语音合成的方式多样、灵活、便利。
作为一种可能的实现方式，在用户使用具有语音合成功能的应用软件的过程中，在用户上传完待合成的文本数据后，可在应用软件对应的用户交互界面上为用户提供可供选择的多个说话人以及可供选择的多种风格，并获取用户从多个说话人选择的目标说话人以及从多种风格中选择的目标风格。在检测到用户触发交互界面上的确认指令后，可获取目标说话人的说话人标识以及目标风格的风格标识，并将获取的待合成文本、说话人标识、以及风格标识输入语音合成模型进行语音合成，得到目标音频。
本发明实施例预先训练包括多种音色模型参数和多种韵律模型参数的语音合成模型，通过该语音合成模型可以进行在线语音合成处理，向该语音合成模型实时输入获取的文本数据、至少一个说话人标识、以及风格标识，即可输出说话人标识对应的音色特征以及风格标识对应的风格特征的合成语音数据，可以提高语音处理的效率。
本发明实施例的语音合成模型可以将语音中的音色特征和韵律特征进行解耦，进而对于音色特征和韵律特征可以使用不同解码器分别进行建模及预测，通过组合使用各种音色模型参数与韵律模型参数，可以合成不同音色不同风格的目标音频。任意用户均可以使用其他用户的说话风格合成自己音色特征的目标音频，即实现跨说话人的风格迁移。
例如，本发明实施例预先训练了语音合成模型，该语音合成模型中包含说话人a的音色模型参数以及说话人a对应风格1的韵律模型参数，还包含说话人b的音色模型参数以及说话人b对应风格2的韵律模型参数。假设给定文本数据、说话人标识为说话人a的标识、以及风格标识为风格2的标识，则利用该语音合成模型，可以合成具有说话人a的音色特征以及风格2的目标音频。同样地，利用该语音合成模型，还可以合成具有说话人b的音色特征以及风格1的目标音频。也即，通过该语音合成模型，可以实现跨说话人的风格迁移，可以实现音色特征的风格多样性。
在本发明的一种可选实施例中，所述风格标识的个数可以大于或者等于1，所述合成语音数据具有至少一个风格标识对应的风格特征，所述风格特征包括情感特征、方言特征、场景特征中的任意一种。
一个示例中，训练语音合成模型的音频训练数据中包含说话人a使用情感1(风格特征为开心)、方言1(风格特征为东北话)、场景1(风格特征为小说)录制的音频数据，该音频数据为说话人a开心地用东北话读小说，记为a111。其中，情感1、方言1、场景1为三种风格特征。基于该音频训练数据，可以训练得到说话人a对应的音色模型参数，以及情感1的风格特征对应的韵律模型参数、方言1的风格特征对应的韵律模型参数、场景1的风格特征对应的韵律模型参数。假设训练语音合成模型的音频训练数据中还包含说话人b使用情感2(风格特征为气愤)、方言2(风格特征为陕西话)、场景2(风格特征为新闻)录制的音频数据，该音频数据为说话人b气愤地用陕西话播新闻，记为b222。基于该音频训练数据，训练得到的语音合成模型中还包括说话人b对应的音色模型参数，以及情感2的风格特征对应的韵律模型参数、方言2的风格特征对应的韵律模型参数、场景2的风格特征对应的韵律模型参数。
在该示例中，利用已训练的语音合成模型，可以合成目标音频a111，该目标音频为使用说话人a的音色特征开心地用东北话读小说。还可以合成目标音频b222，该目标音频为使用说话人b的音色特征气愤地用陕西话播新闻。还可以合成目标音频a222，该目标音频为使用说话人a的音色特征气愤地用陕西话播新闻。还可以合成目标音频b111，该目标音频为使用说话人b的音色特征开心地用东北话读小说。
在本发明的一种可选实施例中，所述方法还包括：
步骤S11、获取音频训练数据，所述音频训练数据包括不同音色特征以及不同风格特征的音频数据；
步骤S12、从所述音频训练数据中提取韵律特征；
步骤S13、将提取的韵律特征输入解码器，训练语音合成模型，所述语音合成模型包括编码器参数、韵律提取参数、音色模型参数、韵律模型参数；
步骤S14、从所述音频训练数据中分别选取单一音色特征的音频数据，并固定所述语音合成模型中的编码器参数和韵律提取参数不变，分别训练不同音色特征对应的音色模型参数；
步骤S15、从所述音频训练数据中分别选取单一音色特征以及单一风格特征的音频数据，并固定所述语音合成模型中的编码器参数和韵律提取参数不变，分别训练不同风格特征的韵律模型参数。
本发明实施例可以获取不同说话人录制的不同风格的音频数据作为语音合成模型的音频训练数据。音频训练数据的文本可以是任意文本，风格特征包括但不限于情感特征、方言特征、场景特征。
需要说明的是，本发明实施例对音频训练数据的来源不做限制，音频训练数据可以通过录音设备实时采集，也可以是例如广播节目、电视节目的录音，真人语音录音，各类网站、应用中获取的录音等。本发明实施例不需要每个说话人录制的不同风格的语音作为训练数据，可以降低对训练数据的要求以及降低训练数据的采集成本。
获取音频训练数据之后，从所述音频训练数据中提取韵律特征，并将提取的韵律特征输入解码器，训练语音合成模型，所述语音合成模型包括编码器参数、韵律提取参数、音色模型参数、韵律模型参数。
进一步地，在提取韵律特征之前，可以标注所述训练数据的音素以及音素对应的时长边界，然后基于所述音素的时长边界，从所述音素中提取韵律特征。
韵律特征属于语言的一种音系结构，与句法和语篇结构、信息结构等其他语言学结构密切相关。韵律特征可以分为三个主要方面：语调、时域分布和重音。
将提取的韵律特征输入解码器，训练语音合成模型，所述语音合成模型可以采用编码器-解码器的结构，所述语音合成模型包括编码器参数、韵律提取参数、音色模型参数、韵律模型参数。一个示例中，训练得到的语音合成模型记为{ABCD}，其中，A为编码器参数，B为韵律提取参数、C为音色模型参数，D为韵律模型参数。
接下来，分别训练音色模型参数和韵律模型参数。
训练音色模型参数的过程如下：从所述音频训练数据中分别选取单一音色特征的音频数据，并固定所述语音合成模型中的编码器参数和韵律提取参数不变，分别训练不同音色特征对应的音色模型参数。
具体地，从音频训练数据中选取单一音色特征的音频训练数据，如选取说话人a的音频数据；模型读取已训练的模型参数，如编码器参数A、韵律提取参数B、音色模型参数C，韵律模型参数D；固定其中的编码器参数A和韵律提取参数B不变，进行自适应训练，得到说话人a的音色特征对应的音色模型参数，如C1。采用同样的方法，还可以训练得到说话人b的音色特征对应的音色模型参数，如C2等。
训练韵律模型参数的过程如下：从所述音频训练数据中分别选取单一音色特征以及单一风格特征的音频数据，并固定所述语音合成模型中的编码器参数和韵律提取参数不变，分别训练不同风格特征的韵律模型参数。
具体地，从音频训练数据中选取单一音色特征以及单一风格特征的音频数据，如说话人a对应风格1的音频数据；模型读取已训练的模型参数，如编码器参数A、韵律提取参数B、音色模型参数C，韵律模型参数D；固定其中的编码器参数A和韵律提取参数B不变，进行自适应训练，得到风格1对应的韵律模型参数，如D1。采用同样的方法，可以训练得到风格2的韵律模型参数，如D2等。
需要说明的是，同一个音色可能包含多种风格，多种音色可能包含同一种风格，因此，本发明实施例在训练韵律模型参数时选取的是同一个音色中同一种风格的音频数据，即单一音色特征以及单一风格特征的音频数据。
一个示例中，通过模型训练得到参数为{ABCD}的语音合成模型，并且训练得到音色模型参数C1以及韵律模型D1，由此可以组合得到参数为{ABC1D1}的语音合成模型，使用该语音合成模型合成的目标音频具有音色模型参数C1对应的音色特征以及韵律模型D1对应的风格特征。
使用本发明的语音合成方法，在训练数据的采集阶段，可以采集不同说话人录制的不同风格的音频数据，在语音合成阶段，对语音合成模型中已有的任意音色特征都可以合成已训练的任意韵律模型参数对应风格特征的目标音频。需要说明的是，在语音合成阶段，说话人标识对应的音色模型参数和风格标识对应的韵律模型参数均为语音合成模型中训练过的音色模型参数和韵律模型参数。
在本发明的一种可选实施例中，所述从所述音频训练数据中提取韵律特征，包括：
步骤S21、从所述音频训练数据中提取声学特征；
步骤S22、从提取的声学特征中提取层级变分自动编码器向量；
所述将提取的韵律特征输入解码器，训练语音合成模型，包括：
将提取的层级变分自动编码器向量作为韵律特征输入解码器，基于提取的声学特征训练语音合成模型。
具体地，本发明实施例首先标注所述训练数据的音素以及音素对应的时长边界，然后基于所述音素的时长边界，从所述音素中提取声学特征，所述声学特征可以为MEL谱特征，并额外从提取的MEL谱特征中无监督地提取层级VAE(Variational Auto-Encoder，变分自动编码器)向量。将提取的层级VAE向量作为韵律特征输入解码器，基于提取的声学特征训练语音合成模型。
可选地，所述层级VAE向量可以包括句子级、音素级、帧级的VAE向量。
VAE是变分自动编码器技术，将一段MEL谱特征输入一个神经网络，可以预测出一个VAE向量。其中这一段MEL谱特征的长度可以是变化的，分别是一整句对应的MEL谱特征，一个音素对应的MEL谱特征，一帧对应的MEL谱特征。也即，可以通过该神经网络分别提取得到句子级、音素级、帧级的VAE向量。
将提取的句子级、音素级、帧级的VAE向量同时输入解码器，基于提取的声学特征训练语音合成模型。
进一步地，语音合成模型中还可以包括VAE提取器和VAE预测解码器，VAE提取器用于从MEL谱特征中提取层级VAE向量，VAE预测解码器用于根据文本数据和说话人标识预测层级VAE向量。在语音合成模型的训练过程中，可以计算VAE提取器提取的层级VAE向量与VAE预测解码器预测的层级VAE向量之间的误差，根据该误差可以迭代优化VAE预测解码器。
本发明实施例提取层级VAE向量(包括句子级、音素级、帧级的VAE向量)作为韵律特征训练语音合成模型，可以避免采用单一尺度的VAE向量带来的局限性，提高模型训练的精准度。
在本发明的一种可选实施例中，所述根据所述文本数据、所述说话人标识对应的音色模型参数、以及所述风格标识对应的韵律模型参数进行语音合成，得到合成语音数据，包括：
步骤S31、确定所述说话人标识对应的音色模型参数，以及所述风格标识对应的韵律模型参数；
步骤S32、根据所述文本数据和所述韵律模型参数，预测目标音频的层级变分自动编码器向量；
步骤S33、根据所述文本数据预测文本时长特征，并根据预测的时长特征对所述文本数据的音素级文本特征进行扩帧处理，得到扩帧后的帧级文本特征；
步骤S34、将所述帧级文本特征、预测的层级变分自动编码器向量、以及说话人标识输入解码器，通过解码器根据所述帧级文本特征、预测的层级变分自动编码器向量、以及所述说话人标识对应的音色模型参数，预测目标声学特征；
步骤S36、将预测的目标声学特征转换成语音波形，得到目标音频。
在具体实施中，每个说话人具有不同的音色特征，不同的音色特征对应不同的音色模型参数，根据给定的说话人标识，可以确定该说话人标识对应的音色模型参数。不同的风格标识对应不同的风格特征，不同的风格特征对应不同的韵律模型参数，根据给定的风格标识，可以确定该风格标识对应的韵律模型参数。
参照图2，示出了本发明的一种语音合成模型的结构示意图。图2所示的语音合成模型可以包括编码器201、解码器(音色模型)202、以及韵律模型203，所述韵律模型进一步包括时长预测模型和VAE预测解码器。
将给定的文本数据、说话人标识、以及风格标识输入语音合成模型之后，语音合成模型可以根据接收到的说话人标识确定对应的音色模型参数，以及根据接收到的风格标识确定对应的韵律模型参数。具体地，语音合成模型通过编码器201对接收到的文本数据进行编码，得到文本数据的音素级文本特征；通过时长预测模型对接收到的文本数据预测文本时长特征，并根据预测的时长特征对所述文本数据的音素级文本特征进行扩帧处理，得到扩帧后的帧级文本特征；通过VAE预测解码器根据所述文本数据和所述风格标识对应的韵律模型参数，预测目标音频的层级VAE向量；最后将所述帧级文本特征、预测的层级VAE向量、以及说话人标识输入解码器，解码器根据所述帧级文本特征、预测的层级VAE向量、以及所述说话人标识对应的音色模型参数，预测目标声学特征。预测的目标声学特征具有所述说话人标识对应的音色特征以及所述风格标识对应的风格特征。最后将预测的目标声学特征转换成语音波形，可以得到目标音频。
在本发明的一种可选实施例中，所述从所述音频训练数据中提取韵律特征，包括：
从所述音频训练数据中提取声学特征、基频特征、以及能量特征；
所述将提取的韵律特征输入解码器，训练语音合成模型，包括：
将提取的基频特征和能量特征作为韵律特征输入解码器，基于提取的声学特征训练语音合成模型。
在本发明实施例中，除了可以提取层级VAE向量作为训练语音合成模型的韵律特征，还可以提取基频特征和能量特征作为训练语音合成模型的韵律特征。
具体地，在获取音频训练数据之后，可以从所述音频训练数据中提取声学特征、基频特征、以及能量特征，其中，基频特征和能量特征可以使用数字信号处理的算法直接从音频数据中提取得到。将提取的基频特征和能量特征作为韵律特征输入解码器，基于提取的声学特征训练语音合成模型。
在语音合成模型训练完成之后，在语音合成模型中导入想要使用的音色模型参数和韵律模型参数，即可合成指定音色特征、指定风格特征的目标音频。
综上，本发明实施例将获取的文本数据、至少一个说话人标识、以及风格标识输入预先训练的语音合成模型，通过该语音合成模型对所述文本数据、所述说话人标识对应的音色模型参数、以及所述风格标识对应的韵律模型参数进行语音合成，得到所述说话人标识对应的音色特征以及所述风格标识对应的风格特征的合成语音数据。所述语音合成模型包括不同音色特征的音频训练数据训练得到的音色模型参数，以及不同风格特征的音频训练数据训练得到的韵律模型参数，实现了对语音中的音色特征和韵律特征进行解耦，进而通过组合使用各种音色模型参数与韵律模型参数，可以合成不同音色不同风格的目标音频。任意用户均可以使用其他用户的说话风格合成自己音色特征的目标音频，即实现了跨说话人的风格迁移，使得语音合成的方式更加多样、灵活、便利，扩展了语音合成模型的适用范围。此外，本发明实施例不需要每个说话人录制的不同风格的语音作为训练数据，可以降低对训练数据的要求以及降低训练数据的采集成本。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
装置实施例
参照图3，示出了本发明的一种语音合成装置实施例的结构框图，所述装置可以包括：
数据获取模块301，用于获取文本数据、至少一个说话人标识、以及风格标识；
语音合成模块302，用于将所述文本数据、所述至少一个说话人标识、以及所述风格标识输入语音合成模型，所述语音合成模型根据所述文本数据、所述说话人标识对应的音色模型参数、以及所述风格标识对应的韵律模型参数进行语音合成，得到合成语音数据；
其中，所述语音合成模型包括不同音色特征的音频训练数据训练得到的音色模型参数，以及不同风格特征的音频训练数据训练得到的韵律模型参数。
可选地，所述装置还包括：
音频获取模块，用于获取音频训练数据，所述音频训练数据包括不同音色特征以及不同风格特征的音频数据；
韵律特征提取模块，用于从所述音频训练数据中提取韵律特征；
模型训练模块，用于将提取的韵律特征输入解码器，训练语音合成模型，所述语音合成模型包括编码器参数、韵律提取参数、音色模型参数、韵律模型参数；
音色模型参数训练模块，用于从所述音频训练数据中分别选取单一音色特征的音频数据，并固定所述语音合成模型中的编码器参数和韵律提取参数不变，分别训练不同音色特征对应的音色模型参数；
韵律模型参数训练模块，用于从所述音频训练数据中分别选取单一音色特征以及单一风格特征的音频数据，并固定所述语音合成模型中的编码器参数和韵律提取参数不变，分别训练不同风格特征的韵律模型参数。
可选地，所述韵律特征提取模块，包括：
声学特征提取子模块，用于从所述音频训练数据中提取声学特征；
向量提取子模块，用于从提取的声学特征中提取层级变分自动编码器向量；
所述模型训练模块，具体用于将提取的层级变分自动编码器向量作为韵律特征输入解码器，基于提取的声学特征训练语音合成模型。
可选地，所述语音合成模块，包括：
参数确定子模块，用于确定所述说话人标识对应的音色模型参数，以及所述风格标识对应的韵律模型参数；
向量预测子模块，用于根据所述文本数据和所述韵律模型参数，预测目标音频的层级变分自动编码器向量；
扩帧处理子模块，用于根据所述文本数据预测文本时长特征，并根据预测的时长特征对所述文本数据的音素级文本特征进行扩帧处理，得到扩帧后的帧级文本特征；
声学特征预测子模块，用于将所述帧级文本特征、预测的层级变分自动编码器向量、以及说话人标识输入解码器，通过解码器根据所述帧级文本特征、预测的层级变分自动编码器向量、以及所述说话人标识对应的音色模型参数，预测目标声学特征；
音频转换子模块，用于将预测的目标声学特征转换成语音波形，得到目标音频。
可选地，所述层级变分自动编码器向量包括句子级、音素级、帧级的变分自动编码器向量。
可选地，所述韵律特征提取模块，具体用于从所述音频训练数据中提取声学特征、基频特征、以及能量特征；
所述模型训练模块，具体用于将提取的基频特征和能量特征作为韵律特征输入解码器，基于提取的声学特征训练语音合成模型。
可选地，所述风格标识的个数大于或者等于1，所述合成语音数据具有至少一个风格标识对应的风格特征，所述风格特征包括情感特征、方言特征、场景特征中的任意一种。
本发明实施例将获取的文本数据、至少一个说话人标识、以及风格标识输入预先训练的语音合成模型，通过该语音合成模型对所述文本数据、所述说话人标识对应的音色模型参数、以及所述风格标识对应的韵律模型参数进行语音合成，得到所述说话人标识对应的音色特征以及所述风格标识对应的风格特征的合成语音数据。所述语音合成模型包括不同音色特征的音频训练数据训练得到的音色模型参数，以及不同风格特征的音频训练数据训练得到的韵律模型参数，实现了对语音中的音色特征和韵律特征进行解耦，进而通过组合使用各种音色模型参数与韵律模型参数，可以合成不同音色不同风格的目标音频。任意用户均可以使用其他用户的说话风格合成自己音色特征的目标音频，即实现了跨说话人的风格迁移，使得语音合成的方式更加多样、灵活、便利，扩展了语音合成模型的适用范围。此外，本发明实施例不需要每个说话人录制的不同风格的语音作为训练数据，可以降低对训练数据的要求以及降低训练数据的采集成本。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明实施例提供了一种用于语音合成的装置，所述装置包括有存储器，以及一个以上的程序，其中一个以上程序存储于存储器中，且经配置以由一个以上处理器执行所述一个以上程序包含用于进行以下操作的指令：获取文本数据、所述至少一个说话人标识、以及所述风格标识；将所述文本数据、说话人标识、以及风格标识输入语音合成模型，所述语音合成模型根据所述文本数据、所述说话人标识对应的音色模型参数、以及所述风格标识对应的韵律模型参数进行语音合成，得到合成语音数据；
其中，所述语音合成模型包括不同音色特征的音频训练数据训练得到的音色模型参数，以及不同风格特征的音频训练数据训练得到的韵律模型参数。
可选地，所述装置还经配置以由一个以上处理器执行所述一个以上程序包含用于进行以下操作的指令：
获取音频训练数据，所述音频训练数据包括不同音色特征以及不同风格特征的音频数据；
从所述音频训练数据中提取韵律特征；
将提取的韵律特征输入解码器，训练语音合成模型，所述语音合成模型包括编码器参数、韵律提取参数、音色模型参数、韵律模型参数；
从所述音频训练数据中分别选取单一音色特征的音频数据，并固定所述语音合成模型中的编码器参数和韵律提取参数不变，分别训练不同音色特征对应的音色模型参数；
从所述音频训练数据中分别选取单一音色特征以及单一风格特征的音频数据，并固定所述语音合成模型中的编码器参数和韵律提取参数不变，分别训练不同风格特征的韵律模型参数。
可选地，所述从所述音频训练数据中提取韵律特征，包括：
从所述音频训练数据中提取声学特征；
从提取的声学特征中提取层级变分自动编码器向量；
所述将提取的韵律特征输入解码器，训练语音合成模型，包括：
将提取的层级变分自动编码器向量作为韵律特征输入解码器，基于提取的声学特征训练语音合成模型。
可选地，所述根据所述文本数据、所述说话人标识对应的音色模型参数、以及所述风格标识对应的韵律模型参数进行语音合成，得到合成语音数据，包括：
确定所述说话人标识对应的音色模型参数，以及所述风格标识对应的韵律模型参数；
根据所述文本数据和所述韵律模型参数，预测目标音频的层级变分自动编码器向量；
根据所述文本数据预测文本时长特征，并根据预测的时长特征对所述文本数据的音素级文本特征进行扩帧处理，得到扩帧后的帧级文本特征；
将所述帧级文本特征、预测的层级变分自动编码器向量、以及说话人标识输入解码器，通过解码器根据所述帧级文本特征、预测的层级变分自动编码器向量、以及所述说话人标识对应的音色模型参数，预测目标声学特征；
将预测的目标声学特征转换成语音波形，得到目标音频。
可选地，所述层级变分自动编码器向量包括句子级、音素级、帧级的变分自动编码器向量。
可选地，所述从所述音频训练数据中提取韵律特征，包括：
从所述音频训练数据中提取声学特征、基频特征、以及能量特征；
所述将提取的韵律特征输入解码器，训练语音合成模型，包括：
将提取的基频特征和能量特征作为韵律特征输入解码器，基于提取的声学特征训练语音合成模型。
可选地，所述风格标识的个数大于或者等于1，所述合成语音数据具有至少一个风格标识对应的风格特征，所述风格特征包括情感特征、方言特征、场景特征中的任意一种。
图4是根据一示例性实施例示出的一种用于语音合成的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图4，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音信息处理模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以语音合成装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频信息处理(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图5是本发明的一些实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。
服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行图1所示的语音合成方法。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行一种语音合成方法，所述方法包括：获取文本数据、至少一个说话人标识、以及风格标识；将所述文本数据、所述至少一个说话人标识、以及所述风格标识输入语音合成模型，所述语音合成模型根据所述文本数据、所述说话人标识对应的音色模型参数、以及所述风格标识对应的韵律模型参数进行语音合成，得到合成语音数据；其中，所述语音合成模型包括不同音色特征的音频训练数据训练得到的音色模型参数，以及不同风格特征的音频训练数据训练得到的韵律模型参数。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上对本发明所提供的一种语音合成方法、一种语音合成装置和一种用于语音合成的装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (13)
1.一种语音合成方法，其特征在于，所述方法包括：
获取文本数据、至少一个说话人标识、以及风格标识；
将所述文本数据、所述至少一个说话人标识、以及所述风格标识输入语音合成模型，所述语音合成模型根据所述文本数据、所述说话人标识对应的音色模型参数、以及所述风格标识对应的韵律模型参数进行语音合成，得到合成语音数据；
其中，所述语音合成模型包括不同音色特征的音频训练数据训练得到的音色模型参数，以及不同风格特征的音频训练数据训练得到的韵律模型参数；
所述方法还包括：
获取音频训练数据，所述音频训练数据包括不同音色特征以及不同风格特征的音频数据；
从所述音频训练数据中提取韵律特征；
将提取的韵律特征输入解码器，训练语音合成模型，所述语音合成模型包括编码器参数、韵律提取参数、音色模型参数、韵律模型参数；
从所述音频训练数据中分别选取单一音色特征的音频数据，并固定所述语音合成模型中的编码器参数和韵律提取参数不变，分别训练不同音色特征对应的音色模型参数；
从所述音频训练数据中分别选取单一音色特征以及单一风格特征的音频数据，并固定所述语音合成模型中的编码器参数和韵律提取参数不变，分别训练不同风格特征的韵律模型参数。
2.根据权利要求1所述的方法，其特征在于，所述从所述音频训练数据中提取韵律特征，包括：
从所述音频训练数据中提取声学特征；
从提取的声学特征中提取层级变分自动编码器向量；
所述将提取的韵律特征输入解码器，训练语音合成模型，包括：
将提取的层级变分自动编码器向量作为韵律特征输入解码器，基于提取的声学特征训练语音合成模型。
3.根据权利要求1所述的方法，其特征在于，所述根据所述文本数据、所述说话人标识对应的音色模型参数、以及所述风格标识对应的韵律模型参数进行语音合成，得到合成语音数据，包括：
确定所述说话人标识对应的音色模型参数，以及所述风格标识对应的韵律模型参数；
根据所述文本数据和所述韵律模型参数，预测目标音频的层级变分自动编码器向量；
根据所述文本数据预测文本时长特征，并根据预测的时长特征对所述文本数据的音素级文本特征进行扩帧处理，得到扩帧后的帧级文本特征；
将所述帧级文本特征、预测的层级变分自动编码器向量、以及说话人标识输入解码器，通过解码器根据所述帧级文本特征、预测的层级变分自动编码器向量、以及所述说话人标识对应的音色模型参数，预测目标声学特征；
将预测的目标声学特征转换成语音波形，得到目标音频。
4.根据权利要求2或3所述的方法，其特征在于，所述层级变分自动编码器向量包括句子级、音素级、帧级的变分自动编码器向量。
5.根据权利要求1所述的方法，其特征在于，所述从所述音频训练数据中提取韵律特征，包括：
从所述音频训练数据中提取声学特征、基频特征、以及能量特征；
所述将提取的韵律特征输入解码器，训练语音合成模型，包括：
将提取的基频特征和能量特征作为韵律特征输入解码器，基于提取的声学特征训练语音合成模型。
6.根据权利要求1所述的方法，其特征在于，所述风格标识的个数大于或者等于1，所述合成语音数据具有至少一个风格标识对应的风格特征，所述风格特征包括方言特征、场景特征中的任意一种。
7.一种语音处理的装置，其特征在于，所述装置包括：
数据获取模块，用于获取文本数据、至少一个说话人标识、以及风格标识；
语音合成模块，用于将所述文本数据、所述至少一个说话人标识、以及所述风格标识输入语音合成模型，所述语音合成模型根据所述文本数据、所述说话人标识对应的音色模型参数、以及所述风格标识对应的韵律模型参数进行语音合成，得到合成语音数据；
其中，所述语音合成模型包括不同音色特征的音频训练数据训练得到的音色模型参数，以及不同风格特征的音频训练数据训练得到的韵律模型参数；
所述装置还包括：
音频获取模块，用于获取音频训练数据，所述音频训练数据包括不同音色特征以及不同风格特征的音频数据；
韵律特征提取模块，用于从所述音频训练数据中提取韵律特征；
模型训练模块，用于将提取的韵律特征输入解码器，训练语音合成模型，所述语音合成模型包括编码器参数、韵律提取参数、音色模型参数、韵律模型参数；
音色模型参数训练模块，用于从所述音频训练数据中分别选取单一音色特征的音频数据，并固定所述语音合成模型中的编码器参数和韵律提取参数不变，分别训练不同音色特征对应的音色模型参数；
韵律模型参数训练模块，用于从所述音频训练数据中分别选取单一音色特征以及单一风格特征的音频数据，并固定所述语音合成模型中的编码器参数和韵律提取参数不变，分别训练不同风格特征的韵律模型参数。
8.根据权利要求7所述的装置，其特征在于，所述韵律特征提取模块，包括：
声学特征提取子模块，用于从所述音频训练数据中提取声学特征；
向量提取子模块，用于从提取的声学特征中提取层级变分自动编码器向量；
所述模型训练模块，具体用于将提取的层级变分自动编码器向量作为韵律特征输入解码器，基于提取的声学特征训练语音合成模型。
9.根据权利要求7所述的装置，其特征在于，所述语音合成模块，包括：
参数确定子模块，用于确定所述说话人标识对应的音色模型参数，以及所述风格标识对应的韵律模型参数；
向量预测子模块，用于根据所述文本数据和所述韵律模型参数，预测目标音频的层级变分自动编码器向量；
扩帧处理子模块，用于根据所述文本数据预测文本时长特征，并根据预测的时长特征对所述文本数据的音素级文本特征进行扩帧处理，得到扩帧后的帧级文本特征；
声学特征预测子模块，用于将所述帧级文本特征、预测的层级变分自动编码器向量、以及说话人标识输入解码器，通过解码器根据所述帧级文本特征、预测的层级变分自动编码器向量、以及所述说话人标识对应的音色模型参数，预测目标声学特征；
音频转换子模块，用于将预测的目标声学特征转换成语音波形，得到目标音频。
10.根据权利要求8或9所述的装置，其特征在于，所述层级变分自动编码器向量包括句子级、音素级、帧级的变分自动编码器向量。
11.根据权利要求7所述的装置，其特征在于，所述韵律特征提取模块，具体用于从所述音频训练数据中提取声学特征、基频特征、以及能量特征；
所述模型训练模块，具体用于将提取的基频特征和能量特征作为韵律特征输入解码器，基于提取的声学特征训练语音合成模型。
12.一种用于语音合成的装置，其特征在于，所述装置包括有存储器，以及一个以上的程序，其中一个以上程序存储于存储器中，且经配置以由一个以上处理器执行所述一个以上程序，所述一个以上程序包含用于进行权利要求1至6中任一所述的语音合成方法的指令。
13.一种机器可读介质，其上存储有指令，当所述指令由装置的一个或多个处理器执行时，使得装置执行如权利要求1至6中任一所述的语音合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110656404.6A CN113409764B (zh) | 2021-06-11 | 2021-06-11 | 一种语音合成方法、装置和用于语音合成的装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110656404.6A CN113409764B (zh) | 2021-06-11 | 2021-06-11 | 一种语音合成方法、装置和用于语音合成的装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113409764A CN113409764A (zh) | 2021-09-17 |
| CN113409764B true CN113409764B (zh) | 2024-04-26 |
Family
ID=77683701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110656404.6A Active CN113409764B (zh) | 2021-06-11 | 2021-06-11 | 一种语音合成方法、装置和用于语音合成的装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113409764B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107705783B (zh) * | 2017-11-27 | 2022-04-26 | 北京搜狗科技发展有限公司 | 一种语音合成方法及装置 |
| CN115938338A (zh) * | 2021-09-22 | 2023-04-07 | 北京字跳网络技术有限公司 | 语音合成方法、装置、电子设备及可读存储介质 |
| CN114038484B (zh) * | 2021-12-16 | 2024-01-30 | 游密科技(深圳)有限公司 | 语音数据处理方法、装置、计算机设备和存储介质 |
| CN115294963A (zh) * | 2022-04-12 | 2022-11-04 | 阿里巴巴达摩院(杭州)科技有限公司 | 语音合成模型产品 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111292720A (zh) * | 2020-02-07 | 2020-06-16 | 北京字节跳动网络技术有限公司 | 语音合成方法、装置、计算机可读介质及电子设备 |
| CN111899719A (zh) * | 2020-07-30 | 2020-11-06 | 北京字节跳动网络技术有限公司 | 用于生成音频的方法、装置、设备和介质 |
| CN112151009A (zh) * | 2020-09-27 | 2020-12-29 | 平安科技（深圳）有限公司 | 一种基于韵律边界的语音合成方法及装置、介质、设备 |
| CN112289304A (zh) * | 2019-07-24 | 2021-01-29 | 中国科学院声学研究所 | 一种基于变分自编码器的多说话人语音合成方法 |
| CN112365882A (zh) * | 2020-11-30 | 2021-02-12 | 北京百度网讯科技有限公司 | 语音合成方法及模型训练方法、装置、设备及存储介质 |
| CN112365877A (zh) * | 2020-11-27 | 2021-02-12 | 北京百度网讯科技有限公司 | 语音合成方法、装置、电子设备和存储介质 |
| CN112863483A (zh) * | 2021-01-05 | 2021-05-28 | 杭州一知智能科技有限公司 | 支持多说话人风格、语言切换且韵律可控的语音合成装置 |
-
2021
- 2021-06-11 CN CN202110656404.6A patent/CN113409764B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112289304A (zh) * | 2019-07-24 | 2021-01-29 | 中国科学院声学研究所 | 一种基于变分自编码器的多说话人语音合成方法 |
| CN111292720A (zh) * | 2020-02-07 | 2020-06-16 | 北京字节跳动网络技术有限公司 | 语音合成方法、装置、计算机可读介质及电子设备 |
| CN111899719A (zh) * | 2020-07-30 | 2020-11-06 | 北京字节跳动网络技术有限公司 | 用于生成音频的方法、装置、设备和介质 |
| CN112151009A (zh) * | 2020-09-27 | 2020-12-29 | 平安科技（深圳）有限公司 | 一种基于韵律边界的语音合成方法及装置、介质、设备 |
| CN112365877A (zh) * | 2020-11-27 | 2021-02-12 | 北京百度网讯科技有限公司 | 语音合成方法、装置、电子设备和存储介质 |
| CN112365882A (zh) * | 2020-11-30 | 2021-02-12 | 北京百度网讯科技有限公司 | 语音合成方法及模型训练方法、装置、设备及存储介质 |
| CN112863483A (zh) * | 2021-01-05 | 2021-05-28 | 杭州一知智能科技有限公司 | 支持多说话人风格、语言切换且韵律可控的语音合成装置 |
Non-Patent Citations (4)
| Title |
|---|
| MELLOTRON: MULTISPEAKER EXPRESSIVE VOICE SYNTHESIS BY CONDITIONING ON RHYTHM, PITCH AND GLOBAL STYLE TOKENS;Rafael Valle*.etal;IEEE Xplore;20200409;全文 * |
| SPEECH RECOGNITION WITH AUGMENTED SYNTHESIZED SPEECH;Andrew Rosenberg.etal;IEEE Xplore;20191218;全文 * |
| 基于HMM的可训练中文语音合成;吴义坚;王仁华;;中文信息学报;20060725(04);全文 * |
| 基于平均音素模型的音色转换研究;赵薇;唐堂;;中国传媒大学学报(自然科学版);20200225(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113409764A (zh) | 2021-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107705783B (zh) | 一种语音合成方法及装置 | |
| CN113409764B (zh) | 一种语音合成方法、装置和用于语音合成的装置 | |
| CN110634483B (zh) | 人机交互方法、装置、电子设备及存储介质 | |
| CN111583944A (zh) | 变声方法及装置 | |
| CN111508511A (zh) | 实时变声方法及装置 | |
| CN113362812B (zh) | 一种语音识别方法、装置和电子设备 | |
| CN107945806B (zh) | 基于声音特征的用户识别方法及装置 | |
| CN112037756A (zh) | 语音处理方法、装置和介质 | |
| CN115273831A (zh) | 语音转换模型训练方法、语音转换方法和装置 | |
| US11354520B2 (en) | Data processing method and apparatus providing translation based on acoustic model, and storage medium | |
| CN113223542B (zh) | 音频的转换方法、装置、存储介质及电子设备 | |
| CN113409765B (zh) | 一种语音合成方法、装置和用于语音合成的装置 | |
| CN110930977B (zh) | 一种数据处理方法、装置和电子设备 | |
| CN112151072A (zh) | 语音处理方法、装置和介质 | |
| CN113345452B (zh) | 语音转换方法、语音转换模型的训练方法、装置和介质 | |
| CN113488022B (zh) | 一种语音合成方法和装置 | |
| JP2024509873A (ja) | ビデオ処理方法、装置、媒体、及びコンピュータプログラム | |
| CN113889070A (zh) | 一种语音合成方法、装置和用于语音合成的装置 | |
| CN114356068B (zh) | 一种数据处理方法、装置和电子设备 | |
| CN108364631B (zh) | 一种语音合成方法和装置 | |
| CN113674731A (zh) | 语音合成处理方法、装置和介质 | |
| CN111696566A (zh) | 语音处理方法、装置和介质 | |
| CN113345451B (zh) | 一种变声方法、装置及电子设备 | |
| CN113707122B (zh) | 一种语音合成模型的构建方法、装置和用于语音合成模型的构建装置 | |
| CN114049873A (zh) | 语音克隆方法、训练方法、装置和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |