CN115240638A - 音频生成方法、装置、存储介质及芯片 - Google Patents
音频生成方法、装置、存储介质及芯片 Download PDFInfo
- Publication number
- CN115240638A CN115240638A CN202210887736.XA CN202210887736A CN115240638A CN 115240638 A CN115240638 A CN 115240638A CN 202210887736 A CN202210887736 A CN 202210887736A CN 115240638 A CN115240638 A CN 115240638A
- Authority
- CN
- China
- Prior art keywords
- target
- audio
- preset
- feature extraction
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000000605 extraction Methods 0.000 claims abstract description 163
- 238000012549 training Methods 0.000 claims abstract description 117
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 71
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 71
- 239000011159 matrix material Substances 0.000 claims description 69
- 230000006870 function Effects 0.000 claims description 64
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 abstract description 11
- 238000012545 processing Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
- G10L13/10—Prosody rules derived from text; Stress or intonation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Machine Translation (AREA)
Abstract
本公开涉及一种音频生成方法、装置、存储介质及芯片，该音频生成方法通过将该目标文本信息输入预设音频合成模型，以获取该目标文本信息对应的指定音色的音频数据；该预设音频合成模型包括门控网络和多个特征提取网络，该门控网络用于从该多个特征提取网络中确定目标特征提取网络，该目标特征提取网络用于确定该目标文本信息对应的该目标音频数据。这样，通过预设音频合成模型中的门控网络从该多个特征提取网络中确定目标特征提取网络，然后通过该目标特征提取网络确定该目标文本信息对应的该目标音频数据，能够有效克服相关技术中训练数据较少时，模型容易出现过拟合现象的问题，也能够明显减少生成目标音频数据所需的计算量。
Description
技术领域
本公开涉及电子设备技术领域，尤其涉及音频生成方法、装置、存储介质及芯片。
背景技术
随着智能语音技术的飞速发展，AI(Artificial Intelligence，人工智能)合成语音的听感更加逼真、自然，目前已广泛应用于语音助手、聊天机器人、有声读物及新闻播报等多场景。语音合成声音定制，基于先进的深度学习技术，仅需用户上传少量音频数据，即可快速合成用户专属音色的语音合成模型。
发明内容
本公开提供一种音频生成方法、装置、存储介质及芯片。
根据本公开实施例的第一方面，提供一种音频生成方法，包括：
获取目标文本信息；
将所述目标文本信息输入预设音频合成模型，以获取所述预设音频合成模型输出的目标音频数据，所述目标音频数据为所述目标文本信息对应的指定音色的音频数据；
其中，所述预设音频合成模型包括门控网络和多个特征提取网络，不同的特征提取网络用于提取不同维度的特征数据，所述门控网络用于从所述多个特征提取网络中确定目标特征提取网络，所述目标特征提取网络用于确定所述目标文本信息对应的所述目标音频数据。
可选地，所述将所述目标文本信息输入预设音频合成模型，以获取所述预设音频合成模型输出的目标音频数据，包括：
将所述目标文本信息输入所述门控网络，以获取所述门控网络输出的特征矩阵，所述特征矩阵中的不同元素用于表征不同维度特征的权重；
根据所述特征矩阵从所述多个特征提取网络中确定至少一个目标特征提取网络；
将所述目标文本信息输入所述目标特征提取网络，以获取所述目标特征提取网络输出的目标特征数据；
根据所述目标特征数据确定所述目标音频数据。
可选地，所述根据所述特征矩阵从所述多个特征提取网络中确定至少一个目标特征提取网络，包括：
根据所述特征矩阵确定权重最大的预设数量个维度特征对应的一个或者多个所述目标特征提取网络。
可选地，所述预设音频合成模型可以通过以下方式训练得到：
获取多个所述指定音色的第一音频样本数据，以及所述第一音频样本数据对应的第一文本信息；
以多个所述第一音频样本数据和每个所述第一音频样本数据对应的第一文本信息为训练数据，对预设的预训练模型进行模型训练，以得到所述预设音频合成模型。
可选地，所述预训练模型包括待定门控网络和多个待定特征提取网络，所述以多个所述第一音频样本数据和每个所述第一音频样本数据对应的第一文本信息为训练数据，对预设的预训练模型进行模型训练，以得到所述预设音频合成模型，包括：
将每个所述第一音频样本数据对应的第一文本信息输入所述待定门控网络，以获取所述待定门控网络输出的待定特征矩阵，所述待定特征矩阵中的元素用于表征不同维度特征的待定权重；
根据待定特征矩阵通过预设核范数最大化的损失函数确定第一待定损失值；
根据所述待定特征矩阵确定待定权重最大的预设数量个维度特征对应的一个或者多个指定特征提取网络，并将所述第一文本信息输入所述一个或者多个指定特征提取网络，以获取每个所述指定特征提取网络输出的指定特征数据；
根据所述指定特征数据确定当前的指定音频数据，并根据所述指定音频数据和所述第一音频样本数据确定第一损失函数的第二待定损失值；
根据所述第一待定损失值和所述第二待定损失值确定第一目标损失值；
确定所述第一目标损失值是否大于第一预设损失阈值；
在所述第一目标损失值大于所述第一预设损失阈值的情况下，调整所述预训练模型的模型参数，以得到更新后的预训练模型，并再次执行将每个所述第一音频样本数据对应的第一文本信息输入所述待定门控网络，至确定所述第一目标损失值是否大于第一预设损失阈值的步骤，直至在确定所述第一目标损失值大于第一预设损失阈值的情况下，将当前的所述预训练模型作为所述预设音频合成模型。
可选地，所述预训练模型通过以下方式训练得到：
获取多个不同音色的第二音频样本数据，以及所述第二音频样本数据对应的第二文本信息；
以所述多个不同音色的第二音频样本数据以及所述第二音频样本数据对应的第二文本信息为训练数据，对预设初始模型进行训练，以得到所述预训练模型。
可选地，所述预设初始模型包括初始门控网络和多个初始特征提取网络，所述以所述多个不同音色的第二音频样本数据以及所述第二音频样本数据对应的第二文本信息为训练数据，对预设初始模型进行训练，以得到所述预训练模型，包括：
将每个、所述第二音频样本数据对应的第二文本信息输入所述初始门控网络和每个所述初始特征提取网络，以获取所述初始门控网络输出的初始特征矩阵和所述初始特征提取网络输出的初始特征数据，所述初始特征矩阵中的元素用于表征不同维度特征的初始权重；
根据所述初始权重对所述多个初始特征提取网络输出的多个初始特征数据进行加权求和，以得到初始音频数据；
根据所述初始音频数据和预设损失函数对所述预设初始模型进行迭代训练，以得到所述预训练模型。
可选地，所述预设损失函数包括第一损失函数和第二损失函数，所述第二损失函数为预设核范数最大化的损失函数，所述根据所述初始音频数据和预设损失函数对所述预设初始模型进行迭代训练，以得到所述预训练模型，包括：
根据所述第一损失函数，所述初始音频数据和所述第二音频样本数据确定第一指定损失值；
根据初始特征矩阵和所述第二损失函数确定第二指定损失值；
根据所述第一指定损失值和所述第二指定损失值确定第二目标损失值，在确定所述第二目标损失值大于或者等于第二预设损失阈值的情况下，调整所述预设初始模型的模型参数，以得到更新后的预设初始模型，并再次执行所述将每个所述第二音频样本数据对应的第二文本信息输入所述初始门控网络和每个所述初始特征提取网络，以获取所述初始门控网络输出的初始特征矩阵和所述初始特征提取网络输出的初始特征数据的步骤，直至在确定所述第二目标损失值小于所述预设损失阈值的情况下，将当前的预设初始模型作为所述预训练模型。
根据本公开实施例的第二方面，提供一种音频生成装置，包括：
第一获取模块，被配置为获取目标文本信息；
第一确定模块，被配置为将所述目标文本信息输入预设音频合成模型，以获取所述预设音频合成模型输出的目标音频数据，所述目标音频数据为所述目标文本信息对应的指定音色的音频数据；
其中，所述预设音频合成模型包括门控网络和多个特征提取网络，不同的特征提取网络用于提取不同维度的特征数据，所述门控网络用于从所述多个特征提取网络中确定目标特征提取网络，所述目标特征提取网络用于确定所述目标文本信息对应的所述目标音频数据。
可选地，所述第一确定模块，被配置为：
将所述目标文本信息输入所述门控网络，以获取所述门控网络输出的特征矩阵，所述特征矩阵中的不同元素用于表征不同维度特征的权重；
根据所述特征矩阵从所述多个特征提取网络中确定至少一个目标特征提取网络；
将所述目标文本信息输入所述目标特征提取网络，以获取所述目标特征提取网络输出的目标特征数据；
根据所述目标特征数据确定所述目标音频数据。
可选地，所述第一确定模块，被配置为：
根据所述特征矩阵确定权重最大的预设数量个维度特征对应的一个或者多个所述目标特征提取网络。
可选地，所述装置还包括：
第二获取模块，被配置为获取多个所述指定音色的第一音频样本数据，以及所述第一音频样本数据对应的第一文本信息；
第二确定模块，被配置为以多个所述第一音频样本数据和每个所述第一音频样本数据对应的第一文本信息为训练数据，对预设的预训练模型进行模型训练，以得到所述预设音频合成模型。
可选地，所述预训练模型包括待定门控网络和多个待定特征提取网络，所述第二确定模块，被配置为：
将每个所述第一音频样本数据对应的第一文本信息输入所述待定门控网络，以获取所述待定门控网络输出的待定特征矩阵，所述待定特征矩阵中的元素用于表征不同维度特征的待定权重；
根据待定特征矩阵通过预设核范数最大化的损失函数确定第一待定损失值；
根据所述待定特征矩阵确定待定权重最大的预设数量个维度特征对应的一个或者多个指定特征提取网络，并将所述第一文本信息输入所述一个或者多个指定特征提取网络，以获取每个所述指定特征提取网络输出的指定特征数据；
根据所述指定特征数据确定当前的指定音频数据，并根据所述指定音频数据和所述第一音频样本数据确定第一损失函数的第二待定损失值；
根据所述第一待定损失值和所述第二待定损失值确定第一目标损失值；
确定所述第一目标损失值是否大于第一预设损失阈值；
在所述第一目标损失值大于所述第一预设损失阈值的情况下，调整所述预训练模型的模型参数，以得到更新后的预训练模型，并再次执行将每个所述第一音频样本数据对应的第一文本信息输入所述待定门控网络，至确定所述第一目标损失值是否大于第一预设损失阈值的步骤，直至在确定所述第一目标损失值大于第一预设损失阈值的情况下，将当前的所述预训练模型作为所述预设音频合成模型。
可选地，所述装置还包括模型训练模块，被配置为：
获取多个不同音色的第二音频样本数据，以及所述第二音频样本数据对应的第二文本信息；
以所述多个不同音色的第二音频样本数据以及所述第二音频样本数据对应的第二文本信息为训练数据，对预设初始模型进行训练，以得到所述预训练模型。
可选地，所述预设初始模型包括初始门控网络和多个初始特征提取网络，所述模型训练模块，被配置为：
将每个所述第二音频样本数据对应的第二文本信息输入所述初始门控网络和每个所述初始特征提取网络，以获取所述初始门控网络输出的初始特征矩阵和所述初始特征提取网络输出的初始特征数据，所述初始特征矩阵中的元素用于表征不同维度特征的初始权重；
根据所述初始权重对所述多个初始特征提取网络输出的多个初始特征数据进行加权求和，以得到初始音频数据；
根据所述初始音频数据和预设损失函数对所述预设初始模型进行迭代训练，以得到所述预训练模型。
可选地，所述预设损失函数包括第一损失函数和第二损失函数，所述第二损失函数为预设核范数最大化的损失函数，所述模型训练模块，被配置为：
根据所述第一损失函数，所述初始音频数据和所述第二音频样本数据确定第一指定损失值；
根据初始特征矩阵和所述第二损失函数确定第二指定损失值；
根据所述第一指定损失值和所述第二指定损失值确定第二目标损失值，在确定所述第二目标损失值大于或者等于第二预设损失阈值的情况下，调整所述预设初始模型的模型参数，以得到更新后的预设初始模型，并再次执行所述将每个所述第二音频样本数据，所述第二音频样本数据对应的第二文本信息输入所述初始门控网络和每个所述初始特征提取网络，以获取所述初始门控网络输出的初始特征矩阵和所述初始特征提取网络输出的初始特征数据的步骤，直至在在确定所述第二目标损失值小于所述预设损失阈值的情况下，将当前的预设初始模型作为所述预训练模型。
根据本公开实施例的第三方面，提供一种音频生成装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
实现以上第一方面所述方法的步骤。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现以上第一方面所述方法的步骤。
根据本公开实施例的第五方面，提供一种芯片，包括处理器和接口；所述处理器用于读取指令以执行以上第一方面所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
能够通过将所述目标文本信息输入预设音频合成模型，以获取所述目标文本信息对应的指定音色的音频数据；所述预设音频合成模型包括门控网络和多个特征提取网络，不同的特征提取网络用于提取不同维度的特征数据，所述门控网络用于从所述多个特征提取网络中确定目标特征提取网络，所述目标特征提取网络用于确定所述目标文本信息对应的所述目标音频数据。这样，通过预设音频合成模型中的门控网络从所述多个特征提取网络中确定目标特征提取网络，然后通过该目标特征提取网络确定所述目标文本信息对应的所述目标音频数据，能够在有效提升合成音频逼真度的情况下，明显减少生成目标音频数据所需的计算量。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种音频生成方法的流程图；
图2是根据本公开图1所示实施例示出的一种音频生成方法的流程图；
图3是本公开另一示例性实施例示出的一种音频生成方法的流程图；
图4是本公开一示例性实施例示出的一种预训练模型的结构示意图；
图5是本公开一示例性实施例示出的一种预训练模型的训练方法的流程图；
图6是根据本公开图5所示实施例示出的一种预训练模型的训练方法的流程图；
图7是本公开一示例性实施例示出的一种音频生成装置的框图；
图8是根据本公开图7所示实施例示出的一种音频生成装置的框图；
图9是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
在详细介绍本公开的具体实施方式之前，首先，对本公开的应用场景进行以下说明，本公开可以应用于人机对话场景中，例如通过合成用户的语音，实现设备和用户之间的多轮交互，还可以应用于语音播报场景，例如短信、天气、路况、节目单的播报，也可以应用于娱乐场景，例如用户可以用自己的音色来讲笑话、朗读小说、歌唱合成等，还可以应用于教育场景，例如通过合成用户自己的语音来进行教学。
相关技术中，通常会利用一个足够大的数据集通过机器学习的方式训练一个结构复杂的神经网络模型，作为预训练好的基础模型，然后获取用户的少量语音数据，将用户的语音数据作为训练数据，在预训练的基础模型上进行微调，得到微调后的神经网络模型，最后，将此微调后的神经网络模型作为用户专属音色的语音合成模型进行使用，深度学习领域，训练数据的数据量和模型容量大小的规模是深度学习成功的关键。当训练数据的数据量足够大时，增加神经网络的容量(参数数量)可以得到更高的预测精度。然而，当训练数据的数据量较小时，复杂的模型结构就会产生大量的冗余参数，进而造成模型的过拟合，也就是说，相关技术中的用户专属的语音合成模型大多会由于训练数据过少，而存在过拟合的现象，因此导致AI合成语音的逼真度陷入瓶颈，无法进一步提升。
为了解决以上技术问题，本公开提供一种音频生成方法、装置、存储介质及芯片，该音频生成方法通过将该目标文本信息输入预设音频合成模型，以获取该目标文本信息对应的指定音色的音频数据；该预设音频合成模型包括门控网络和多个特征提取网络，不同的特征提取网络用于提取不同维度的特征数据，该门控网络用于从该多个特征提取网络中确定目标特征提取网络，该目标特征提取网络用于确定该目标文本信息对应的该目标音频数据。这样，通过预设音频合成模型中的门控网络从该多个特征提取网络中确定目标特征提取网络，然后通过该目标特征提取网络确定该目标文本信息对应的该目标音频数据，能够有效克服相关技术中模型结构较大，训练数据量较小，容易出现过拟合现象的问题，从而不仅能够提升合成音频的逼真度，还能够明显减少生成目标音频数据所需的计算量，提升语音合成效率。
图1是根据一示例性实施例示出的一种音频生成方法的流程图，如图1所示，该音频生成方法，可以包括以下步骤：
步骤101，获取目标文本信息。
其中，该目标文本信息为待生成的目标音频数据对应的文本内容。
步骤102，将该目标文本信息输入预设音频合成模型，以获取该预设音频合成模型输出的目标音频数据，该目标音频数据为该目标文本信息对应的指定音色的音频数据。
其中，该预设音频合成模型包括门控网络和多个特征提取网络，不同的特征提取网络用于提取不同维度的特征数据，该门控网络用于从该多个特征提取网络中确定目标特征提取网络，该目标特征提取网络用于确定该目标文本信息对应的该目标音频数据。
示例地，在人机对话场景中，若用户向终端提问“今天天气如何？”则终端会先获取用于答复该“今天天气如何？”的回复文本(例如，今天是晴天，温度25℃，西南风微风)，将该回复文本作为该目标文本信息输入该预设音合成模型，以使该预设音合成模型输出指定音色的音频数据，例如生成用户音色的内容为“今天是晴天，温度25℃，西南风微风”的音频数据。
需要说明的是，该指定音色可以是用户自己语音的音色，也可以是其他指定的音色，例如某明星的音色、某播音员的音色、某儿童音色等。该门控网络可以是现有技术中任一结构的分类网络，用于输出每个特征提取网络对应维度特征对目标音频数据生成的影响比重，然后根据该影响比重筛选出影响更大的维度，将该影响更大的维度对应的特征提取网络作为目标特征提取网络，从而根据该门控网络和该目标特征提取网络得到该目标音频数据，能够有效缩小实际使用的模型结构，能够在训练数据量较小下，避免出现过拟合现象的问题，还需指出的是，该特征提取网络可以是现有技术中的任一结构的可以用于特征提取的网络模块，本公开对此不作限定。
以上技术方案，通过预设音频合成模型中的门控网络从该多个特征提取网络中确定目标特征提取网络，然后通过该目标特征提取网络确定该目标文本信息对应的该目标音频数据，能够有效克服相关技术中模型结构较大，训练数据量较小，容易出现过拟合现象的问题，从而不仅能够提升合成音频的逼真度，还能够明显减少生成目标音频数据所需的计算量，提升语音合成效率。
图2是根据本公开图1所示实施例示出的一种音频生成方法的流程图；如图2所示，以上步骤102中所示的将该目标文本信息输入预设音频合成模型，以获取该预设音频合成模型输出的目标音频数据，可以包括：
步骤1021，将该目标文本信息输入该门控网络，以获取该门控网络输出的特征矩阵，该特征矩阵中的不同元素用于表征不同维度特征的权重。
示例地，若该门控网络输出的特征矩阵为D维，则该特征矩阵中的每个元素表征一个维度特征的权重。
步骤1022，根据该特征矩阵从该多个特征提取网络中确定至少一个目标特征提取网络。
本步骤中，可以根据该特征矩阵确定权重最大的预设数量个维度特征对应的一个或者多个该目标特征提取网络。
示例地，可以将门控网络输出的特征矩阵中最大权重对应的维度特征所在的特征提取网络作为该目标特征提取网络，也可以将该权重最大的3个维度特征对应的特征提取网络作为该目标特征提取网络，需要说明的是，该权重最大的3个维度特征对应的特征提取网络可以相同，也可以不同。
步骤1023，将该目标文本信息输入该目标特征提取网络，以获取该目标特征提取网络输出的目标特征数据。
步骤1024，根据该目标特征数据确定该目标音频数据。
本步骤中，在存在多个目标特征提取网络的情况下，可以对多个目标特征数据进行加权求和，以得到该目标音频数据；在存在一个目标特征提取网络的情况下，可以将该目标特征数据作为该目标音频数据。
以上技术方案，通过从该多个特征提取网络中确定至少一个目标特征提取网络，根据该目标特征提取网络输出的目标特征数据确定该目标音频数据，能够在保证音频数据逼真度的情况下，有效减少指定音色的音频数据生成过程所需的计算量，提高指定音色的音频数据的生成效率，减少合成语音时用户等待时间，从而有效地提升用户体验。
图3是本公开另一示例性实施例示出的一种音频生成方法的流程图，如图3所示，该音频生成方法包括：
步骤301，响应于接收到第一指令，获取多个该指定音色的第一音频样本数据，以及该第一音频样本数据对应的第一文本信息。
其中，该第一指令可以是用户触发的用于训练预设音频合成模型的指令，通过触发该第一指令，开始训练该预设音频合成模型，在该指定音色为用户自己的音色时，该多个该指定音色的第一音频样本数据可以是用户输入的多个语音信息(例如，可以是5句语音、10句语音、20句语音等)。该第一音频样本数据对应的第一文本信息可以是对该用户输入的语音信息进行语音识别之后得到的文本数据，也可以是用户在输入该语音信息之后，手动输入的文本信息。
步骤302，以多个该第一音频样本数据和每个该第一音频样本数据对应的第一文本信息为训练数据，对预设的预训练模型进行模型训练，以得到该预设音频合成模型。
其中，该预训练模型包括待定门控网络和多个待定特征提取网络。
示例地，图4是本公开一示例性实施例示出的一种预训练模型的结构示意图；如图4所示，多个待定特征提取网络用N个sub layer(稀疏门控平行子模块)表示，每个sublayer为一个待定特征提取网络，该待定门控网络(gating network)。
本步骤中，可以将每个该第一音频样本数据对应的第一文本信息输入该待定门控网络，以获取该待定门控网络输出的待定特征矩阵，该待定特征矩阵中的元素用于表征不同维度特征的待定权重；根据待定特征矩阵通过预设核范数最大化的损失函数对该预训练模型进行迭代训练，以得到该预设音频合成模型。
需要说明的是，以上所述的根据待定特征矩阵通过预设核范数最大化的损失函数对该预训练模型进行迭代训练，以得到该预设音频合成模型的实施方式为：在将一个该第一音频样本数据对应的第一文本信息输入该待定门控网络之后，得到当前的待定特征矩阵，根据待定特征矩阵计算
其中，X为待定特征矩阵，B为训练时batch(批)的大小，并根据所述待定特征矩阵确定待定权重最大的预设数量个维度特征对应的一个或者多个指定特征提取网络；将所述第一文本信息输入所述一个或者多个指定特征提取网络，以获取每个所述指定特征提取网络输出的指定特征数据；根据所述指定特征数据确定当前的指定音频数据，并根据所述指定音频数据和所述第一音频样本数据确定第一损失函数的第二待定损失值；根据所述第一待定损失值和所述第二待定损失值确定第一目标损失值，确定所述第一目标损失值是否大于第一预设损失阈值；在所述第一目标损失值大于所述第一预设损失阈值的情况下，调整所述预训练模型的模型参数，以得到更新后的预训练模型，并再次执行将每个所述第一音频样本数据对应的第一文本信息输入所述待定门控网络，至确定所述第一目标损失值是否大于第一预设损失阈值的步骤，直至在确定所述第一目标损失值大于第一预设损失阈值的情况下，将当前的所述预训练模型作为所述预设音频合成模型。
需要说明的是，该第一损失函数可以是对数损失函数、交叉熵损失函数或者平方损失函数，该第一目标损失值可以是对该第一待定损失值与该第二待定损失值进行加权求和后得到的结果。
这样，在微调时，只需要选择概率最大的一个(或几个)sub layer进行参数调整，可以省略其余N-1个sub layer的模型参数的计算，即计算量只为普通模型的1/N，能够有效保证小数量在复杂模型结构上取得最优效果，同时也大大地降低了计算资源和提高了计算速度。
步骤303，响应于接收到第二指令，获取该目标文本信息。
其中，该第二指令为在完成预设音频合成模型训练之后，为了调用该预设音频合成模型而触发的指令。该第二指令可以是高电平信号，低电平信号，也可以是中断信号，还可以是现有技术中的其他信号，本公开在此不再一一列举。
步骤304，将该目标文本信息输入预设音频合成模型，以获取该预设音频合成模型输出的目标音频数据，该目标音频数据为该目标文本信息对应的指定音色的音频数据。
其中，该预设音频合成模型包括门控网络和多个特征提取网络，不同的特征提取网络用于提取不同维度的特征数据，该门控网络用于从该多个特征提取网络中确定目标特征提取网络，该目标特征提取网络用于确定该目标文本信息对应的该目标音频数据。
本步骤的实施方式可以参见以上图2中步骤1021至步骤1024所示的内容，本公开在此不再赘述。
以上技术方案，通过预设音频合成模型中的门控网络从该多个特征提取网络中确定目标特征提取网络，然后通过该目标特征提取网络确定该目标文本信息对应的该目标音频数据，能够有效克服相关技术中模型结构较大，训练数据量较小，容易出现过拟合现象的问题，从而不仅能够提升合成音频的逼真度，还能够明显减少生成目标音频数据所需的计算量，提升语音合成效率。
图5是本公开一示例性实施例示出的一种预训练模型的训练方法的流程图；如图5所示，该预训练模型可以通过以下方式训练得到：
步骤501，获取多个不同音色的第二音频样本数据，以及该第二音频样本数据对应的第二文本信息。
步骤502，以该多个不同音色的第二音频样本数据以及该第二音频样本数据对应的第二文本信息为训练数据，对预设初始模型进行训练，以得到该预训练模型。
其中，该预设初始模型包括初始门控网络和多个初始特征提取网络。本步骤可以通过图6所示步骤实现，图6是根据本公开图5所示实施例示出的一种预训练模型的训练方法的流程图；如图6所示：
S1，将每个该第二音频样本数据对应的第二文本信息输入该初始门控网络和每个该初始特征提取网络，以获取该初始门控网络输出的初始特征矩阵和该初始特征提取网络输出的初始特征数据，该初始特征矩阵中的元素用于表征不同维度特征的初始权重。
S2，根据该初始权重对该多个初始特征提取网络输出的多个初始特征数据进行加权求和，以得到初始音频数据。
S3，根据该初始音频数据和预设损失函数对该预设初始模型进行迭代训练，以得到该预训练模型。
其中，该预设损失函数包括第一损失函数和第二损失函数，该第二损失函数为预设核范数最大化的损失函数。
需要说明的是，该第一损失函数可以是对数损失函数、交叉熵损失函数或者平方损失函数等，该预设核范数最大化的损失函数为：
其中，X为该初始特征矩阵，B为训练时batch(批)的大小。
本步骤中，可以根据该第一损失函数，该初始音频数据和该第二音频样本数据确定第一指定损失值；根据初始特征矩阵和该预设核范数最大化的损失函数确定第二指定损失值；根据所述第一指定损失值和所述第二指定损失值确定第二目标损失值，在确定所述第二目标损失值大于或者等于第二预设损失阈值的情况下，调整该预设初始模型的模型参数，以得到更新后的预设初始模型，并再次执行该将每个该第二音频样本数据，该第二音频样本数据对应的第二文本信息输入该初始门控网络和每个该初始特征提取网络，以获取该初始门控网络输出的初始特征矩阵和该初始特征提取网络输出的初始特征数据的步骤，直至在确定所述第二目标损失值小于所述预设损失阈值的情况下，将当前的预设初始模型作为该预训练模型。
需要说明的是，可以对所述第一指定损失值和所述第二指定损失值进行加权求和处理，以得到该第二目标损失值。
以上技术方案，通过还引入预设核范数最大化的损失函数，能够有效保证门控网络(Gating Network)预测类别的判别性和多样性，即设置的多个维度特征在训练中都能被分类到，从而做到维度不浪费。从而能够有效保证根据该预训练模型训练得到的预设音频合成模型的判别结果多样性。
图7是本公开一示例性实施例示出的一种音频生成装置的框图；如图7所示，该音频生成装置可以包括：
第一获取模块701，被配置为获取目标文本信息；
第一确定模块702，被配置为将该目标文本信息输入预设音频合成模型，以获取该预设音频合成模型输出的目标音频数据，该目标音频数据为该目标文本信息对应的指定音色的音频数据；
其中，该预设音频合成模型包括门控网络和多个特征提取网络，不同的特征提取网络用于提取不同维度的特征数据，该门控网络用于从该多个特征提取网络中确定目标特征提取网络，该目标特征提取网络用于确定该目标文本信息对应的该目标音频数据。
以上技术方案，通过从该多个特征提取网络中确定至少一个目标特征提取网络，根据该目标特征提取网络输出的目标特征数据确定该目标音频数据，能够在保证音频数据逼真度的情况下，有效减少指定音色的音频数据生成过程所需的计算量，提高指定音色的音频数据的生成效率，减少合成语音时用户等待时间，从而有效地提升用户体验。
可选地，该第一确定模块702，被配置为：
将该目标文本信息输入该门控网络，以获取该门控网络输出的特征矩阵，该特征矩阵中的不同元素用于表征不同维度特征的权重；
根据该特征矩阵从该多个特征提取网络中确定至少一个目标特征提取网络；
将该目标文本信息输入该目标特征提取网络，以获取该目标特征提取网络输出的目标特征数据；
根据该目标特征数据确定该目标音频数据。
可选地，该第一确定模块702，被配置为：
根据该特征矩阵确定权重最大的预设数量个维度特征对应的一个或者多个该目标特征提取网络。
图8是根据本公开图7所示实施例示出的一种音频生成装置的框图；如图8所示，该装置还包括：
第二获取模块703，被配置获取多个该指定音色的第一音频样本数据，以及该第一音频样本数据对应的第一文本信息；
第二确定模块704，被配置为以多个该第一音频样本数据和每个该第一音频样本数据对应的第一文本信息为训练数据，对预设的预训练模型进行模型训练，以得到该预设音频合成模型。
可选地，该预训练模型包括待定门控网络和多个待定特征提取网络，该第二确定模块，被配置为：
将每个该第一音频样本数据对应的第一文本信息输入该待定门控网络，以获取该待定门控网络输出的待定特征矩阵，该待定特征矩阵中的元素用于表征不同维度特征的待定权重；
根据待定特征矩阵通过预设核范数最大化的损失函数确定第一待定损失值；
根据所述待定特征矩阵确定待定权重最大的预设数量个维度特征对应的一个或者多个指定特征提取网络；
将所述第一文本信息输入所述一个或者多个指定特征提取网络，以获取每个所述指定特征提取网络输出的指定特征数据；
根据所述指定特征数据确定当前的指定音频数据，根据所述指定音频数据和所述第一音频样本数据确定第一损失函数的第二待定损失值；
根据所述第一待定损失值和所述第二待定损失值确定第一目标损失值；
确定所述第一目标损失值是否大于第一预设损失阈值；
在所述第一目标损失值大于所述第一预设损失阈值的情况下，调整所述预训练模型的模型参数，以得到更新后的预训练模型，并再次执行将每个所述第一音频样本数据对应的第一文本信息输入所述待定门控网络，至确定所述第一目标损失值是否大于第一预设损失阈值的步骤，直至在确定所述第一目标损失值大于第一预设损失阈值的情况下，将当前的所述预训练模型作为所述预设音频合成模型。
可选地，该装置还包括模型训练模块705，被配置为：
获取多个不同音色的第二音频样本数据，以及该第二音频样本数据对应的第二文本信息；
以该多个不同音色的第二音频样本数据以及该第二音频样本数据对应的第二文本信息为训练数据，对预设初始模型进行训练，以得到该预训练模型。
可选地，该预设初始模型包括初始门控网络和多个初始特征提取网络，该模型训练模块705，被配置为：
将每个该第二音频样本数据对应的第二文本信息输入该初始门控网络和每个该初始特征提取网络，以获取该初始门控网络输出的初始特征矩阵和该初始特征提取网络输出的初始特征数据，该初始特征矩阵中的元素用于表征不同维度特征的初始权重；
根据该初始权重对该多个初始特征提取网络输出的多个初始特征数据进行加权求和，以得到初始音频数据；
根据该初始音频数据和预设损失函数对该预设初始模型进行迭代训练，以得到该预训练模型。
可选地，该预设损失函数包括第一损失函数和第二损失函数，该第二损失函数为预设核范数最大化的损失函数，该模型训练模块705，被配置为：
根据该第一损失函数，该初始音频数据和该第二音频样本数据确定第一指定损失值；
根据初始特征矩阵和该第二损失函数确定第二指定损失值；
根据所述第一指定损失值和所述第二指定损失值确定第二目标损失值，在确定所述第二目标损失值大于或者等于第二预设损失阈值的情况下，调整该预设初始模型的模型参数，以得到更新后的预设初始模型，并再次执行该将每个该第二音频样本数据对应的第二文本信息输入该初始门控网络和每个该初始特征提取网络，以获取该初始门控网络输出的初始特征矩阵和该初始特征提取网络输出的初始特征数据的步骤，直至在确定所述第二目标损失值小于所述预设损失阈值的情况下，将当前的预设初始模型作为该预训练模型。
以上技术方案，通过还引入预设核范数最大化的损失函数，能够有效保证门控网络预测类别的判别性和多样性，即设置的多个维度特征在训练中都能被分类到，从而做到维度不浪费。从而能够有效保证根据该预训练模型训练得到的预设音频合成模型的判别结果多样性。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图9是根据一示例性实施例示出的一种电子设备的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图9，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的音频生成方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在该装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。该触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与该触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
输入/输出接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如该组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，该通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述音频生成方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述音频生成方法。例如，该非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
上述装置除了可以是独立的电子设备外，也可是独立电子设备的一部分，例如在一种实施例中，该装置可以是集成电路(Integrated Circuit，IC)或芯片，其中该集成电路可以是一个IC，也可以是多个IC的集合；该芯片可以包括但不限于以下种类：GPU(GraphicsProcessing Unit，图形处理器)、CPU(Central Processing Unit，中央处理器)、FPGA(Field Programmable Gate Array，可编程逻辑阵列)、DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、SOC(System on Chip，SoC，片上系统或系统级芯片)等。上述的集成电路或芯片中可以用于执行可执行指令(或代码)，以实现上述的音频生成方法。其中该可执行指令可以存储在该集成电路或芯片中，也可以从其他的装置或设备获取，例如该集成电路或芯片中包括处理器、存储器，以及用于与其他的装置通信的接口。该可执行指令可以存储于该存储器中，当该可执行指令被处理器执行时实现上述的音频生成方法；或者，该集成电路或芯片可以通过该接口接收可执行指令并传输给该处理器执行，以实现上述的音频生成方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的音频生成方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (12)
1.一种音频生成方法，其特征在于，包括：
获取目标文本信息；
将所述目标文本信息输入预设音频合成模型，以获取所述预设音频合成模型输出的目标音频数据，所述目标音频数据为所述目标文本信息对应的指定音色的音频数据；
其中，所述预设音频合成模型包括门控网络和多个特征提取网络，不同的特征提取网络用于提取不同维度的特征数据，所述门控网络用于从所述多个特征提取网络中确定目标特征提取网络，所述目标特征提取网络用于确定所述目标文本信息对应的所述目标音频数据。
2.根据权利要求1所述的方法，其特征在于，所述将所述目标文本信息输入预设音频合成模型，以获取所述预设音频合成模型输出的目标音频数据，包括：
将所述目标文本信息输入所述门控网络，以获取所述门控网络输出的特征矩阵，所述特征矩阵中的不同元素用于表征不同维度特征的权重；
根据所述特征矩阵从所述多个特征提取网络中确定至少一个目标特征提取网络；
将所述目标文本信息输入所述目标特征提取网络，以获取所述目标特征提取网络输出的目标特征数据；
根据所述目标特征数据确定所述目标音频数据。
3.根据权利要求2所述的方法，其特征在于，所述根据所述特征矩阵从所述多个特征提取网络中确定至少一个目标特征提取网络，包括：
根据所述特征矩阵确定权重最大的预设数量个维度特征对应的一个或者多个所述目标特征提取网络。
4.根据权利要求1所述的方法，其特征在于，所述预设音频合成模型可以通过以下方式训练得到：
获取多个所述指定音色的第一音频样本数据，以及所述第一音频样本数据对应的第一文本信息；
以多个所述第一音频样本数据和每个所述第一音频样本数据对应的第一文本信息为训练数据，对预设的预训练模型进行模型训练，以得到所述预设音频合成模型。
5.根据权利要求4所述的方法，其特征在于，所述预训练模型包括待定门控网络和多个待定特征提取网络，所述以多个所述第一音频样本数据和每个所述第一音频样本数据对应的第一文本信息为训练数据，对预设的预训练模型进行模型训练，以得到所述预设音频合成模型，包括：
将每个所述第一音频样本数据对应的第一文本信息输入所述待定门控网络，以获取所述待定门控网络输出的待定特征矩阵，所述待定特征矩阵中的元素用于表征不同维度特征的待定权重；
根据待定特征矩阵通过预设核范数最大化的损失函数确定第一待定损失值；
根据所述待定特征矩阵确定待定权重最大的预设数量个维度特征对应的一个或者多个指定特征提取网络，并将所述第一文本信息输入所述一个或者多个指定特征提取网络，以获取每个所述指定特征提取网络输出的指定特征数据；
根据所述指定特征数据确定当前的指定音频数据，并根据所述指定音频数据和所述第一音频样本数据确定第一损失函数的第二待定损失值；
根据所述第一待定损失值和所述第二待定损失值确定第一目标损失值；
确定所述第一目标损失值是否大于第一预设损失阈值；
在所述第一目标损失值大于所述第一预设损失阈值的情况下，调整所述预训练模型的模型参数，以得到更新后的预训练模型，并再次执行将每个所述第一音频样本数据对应的第一文本信息输入所述待定门控网络，至确定所述第一目标损失值是否大于第一预设损失阈值的步骤，直至在确定所述第一目标损失值大于第一预设损失阈值的情况下，将当前的所述预训练模型作为所述预设音频合成模型。
6.根据权利要求4所述的方法，其特征在于，所述预训练模型通过以下方式训练得到：
获取多个不同音色的第二音频样本数据，以及所述第二音频样本数据对应的第二文本信息；
以所述多个不同音色的第二音频样本数据以及所述第二音频样本数据对应的第二文本信息为训练数据，对预设初始模型进行训练，以得到所述预训练模型。
7.根据权利要求6所述的方法，其特征在于，所述预设初始模型包括初始门控网络和多个初始特征提取网络，所述以所述多个不同音色的第二音频样本数据以及所述第二音频样本数据对应的第二文本信息为训练数据，对预设初始模型进行训练，以得到所述预训练模型，包括：
将每个所述第二音频样本数据对应的第二文本信息输入所述初始门控网络和每个所述初始特征提取网络，以获取所述初始门控网络输出的初始特征矩阵和所述初始特征提取网络输出的初始特征数据，所述初始特征矩阵中的元素用于表征不同维度特征的初始权重；
根据所述初始权重对所述多个初始特征提取网络输出的多个初始特征数据进行加权求和，以得到初始音频数据；
根据所述初始音频数据和预设损失函数对所述预设初始模型进行迭代训练，以得到所述预训练模型。
8.根据权利要求7所述的方法，其特征在于，所述预设损失函数包括第一损失函数和第二损失函数，所述第二损失函数为预设核范数最大化的损失函数，所述根据所述初始音频数据和预设损失函数对所述预设初始模型进行迭代训练，以得到所述预训练模型，包括：
根据所述第一损失函数，所述初始音频数据和所述第二音频样本数据确定第一指定损失值；
根据初始特征矩阵和所述第二损失函数确定第二指定损失值；
根据所述第一指定损失值和所述第二指定损失值确定第二目标损失值；
在确定所述第二目标损失值大于或者等于第二预设损失阈值的情况下，调整所述预设初始模型的模型参数，以得到更新后的预设初始模型，并再次执行所述将每个所述第二音频样本数据对应的第二文本信息输入所述初始门控网络和每个所述初始特征提取网络，以获取所述初始门控网络输出的初始特征矩阵和所述初始特征提取网络输出的初始特征数据的步骤，直至在确定所述第二目标损失值小于所述第二预设损失阈值的情况下，将当前的预设初始模型作为所述预训练模型。
9.一种音频生成装置，其特征在于，包括：
第一获取模块，被配置为获取目标文本信息；
第一确定模块，被配置为将所述目标文本信息输入预设音频合成模型，以获取所述预设音频合成模型输出的目标音频数据，所述目标音频数据为所述目标文本信息对应的指定音色的音频数据；
其中，所述预设音频合成模型包括门控网络和多个特征提取网络，不同的特征提取网络用于提取不同维度的特征数据，所述门控网络用于从所述多个特征提取网络中确定目标特征提取网络，所述目标特征提取网络用于确定所述目标文本信息对应的所述目标音频数据。
10.一种音频生成装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
实现权利要求1～8中任一项所述方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1～8中任一项所述方法的步骤。
12.一种芯片，其特征在于，包括处理器和接口；所述处理器用于读取指令以执行权利要求1～8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210887736.XA CN115240638A (zh) | 2022-07-26 | 2022-07-26 | 音频生成方法、装置、存储介质及芯片 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210887736.XA CN115240638A (zh) | 2022-07-26 | 2022-07-26 | 音频生成方法、装置、存储介质及芯片 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115240638A true CN115240638A (zh) | 2022-10-25 |
Family
ID=83675753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210887736.XA Pending CN115240638A (zh) | 2022-07-26 | 2022-07-26 | 音频生成方法、装置、存储介质及芯片 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115240638A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116072098A (zh) * | 2023-02-07 | 2023-05-05 | 北京百度网讯科技有限公司 | 音频信号生成方法、模型训练方法、装置、设备和介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9082401B1 (en) * | 2013-01-09 | 2015-07-14 | Google Inc. | Text-to-speech synthesis |
| US20170162186A1 (en) * | 2014-09-19 | 2017-06-08 | Kabushiki Kaisha Toshiba | Speech synthesizer, and speech synthesis method and computer program product |
| CN111429894A (zh) * | 2020-03-12 | 2020-07-17 | 南京邮电大学 | 基于SE-ResNet STARGAN的多对多说话人转换方法 |
| CN111883107A (zh) * | 2020-08-03 | 2020-11-03 | 北京字节跳动网络技术有限公司 | 语音合成、特征提取模型训练方法、装置、介质及设备 |
| CN113450758A (zh) * | 2021-08-27 | 2021-09-28 | 北京世纪好未来教育科技有限公司 | 语音合成方法、装置、设备及介质 |
| CN113611281A (zh) * | 2021-07-16 | 2021-11-05 | 北京捷通华声科技股份有限公司 | 一种语音合成方法、装置、电子设备及存储介质 |
| US20220148561A1 (en) * | 2020-11-10 | 2022-05-12 | Electronic Arts Inc. | Automated pipeline selection for synthesis of audio assets |
| CN114758645A (zh) * | 2022-04-29 | 2022-07-15 | 建信金融科技有限责任公司 | 语音合成模型的训练方法、装置、设备及存储介质 |
-
2022
- 2022-07-26 CN CN202210887736.XA patent/CN115240638A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9082401B1 (en) * | 2013-01-09 | 2015-07-14 | Google Inc. | Text-to-speech synthesis |
| US20170162186A1 (en) * | 2014-09-19 | 2017-06-08 | Kabushiki Kaisha Toshiba | Speech synthesizer, and speech synthesis method and computer program product |
| CN111429894A (zh) * | 2020-03-12 | 2020-07-17 | 南京邮电大学 | 基于SE-ResNet STARGAN的多对多说话人转换方法 |
| CN111883107A (zh) * | 2020-08-03 | 2020-11-03 | 北京字节跳动网络技术有限公司 | 语音合成、特征提取模型训练方法、装置、介质及设备 |
| US20220148561A1 (en) * | 2020-11-10 | 2022-05-12 | Electronic Arts Inc. | Automated pipeline selection for synthesis of audio assets |
| CN113611281A (zh) * | 2021-07-16 | 2021-11-05 | 北京捷通华声科技股份有限公司 | 一种语音合成方法、装置、电子设备及存储介质 |
| CN113450758A (zh) * | 2021-08-27 | 2021-09-28 | 北京世纪好未来教育科技有限公司 | 语音合成方法、装置、设备及介质 |
| CN114758645A (zh) * | 2022-04-29 | 2022-07-15 | 建信金融科技有限责任公司 | 语音合成模型的训练方法、装置、设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116072098A (zh) * | 2023-02-07 | 2023-05-05 | 北京百度网讯科技有限公司 | 音频信号生成方法、模型训练方法、装置、设备和介质 |
| CN116072098B (zh) * | 2023-02-07 | 2023-11-14 | 北京百度网讯科技有限公司 | 音频信号生成方法、模型训练方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111583907B (zh) | 信息处理方法、装置及存储介质 | |
| CN110209784B (zh) | 消息交互方法、计算机设备及存储介质 | |
| JP2017535007A (ja) | 分類器トレーニング方法、種類認識方法及び装置 | |
| CN112820299B (zh) | 声纹识别模型训练方法、装置及相关设备 | |
| CN110147533B (zh) | 编码方法、装置、设备及存储介质 | |
| CN111209970A (zh) | 视频分类方法、装置、存储介质及服务器 | |
| CN111831806B (zh) | 语义完整性确定方法、装置、电子设备和存储介质 | |
| CN109871843A (zh) | 字符识别方法和装置、用于字符识别的装置 | |
| CN110889489A (zh) | 神经网络的训练方法、图像识别方法及其装置 | |
| CN112185388B (zh) | 语音识别方法、装置、设备及计算机可读存储介质 | |
| CN118098199B (zh) | 个性化语音合成方法、电子设备、服务器和存储介质 | |
| CN109214175A (zh) | 基于样本特征训练分类器的方法、装置及存储介质 | |
| CN115240638A (zh) | 音频生成方法、装置、存储介质及芯片 | |
| CN117910478A (zh) | 语言模型的训练方法和文本生成方法 | |
| CN112259122A (zh) | 音频类型识别方法、装置及存储介质 | |
| CN116860913A (zh) | 语音交互方法、装置、设备及存储介质 | |
| CN114943976B (zh) | 模型生成的方法、装置、电子设备和存储介质 | |
| CN115906853A (zh) | 实体信息确定方法、装置和设备 | |
| CN114222302B (zh) | 针对异常通话的呼叫方法、装置、电子设备及存储介质 | |
| CN110288965A (zh) | 一种音乐合成方法、装置、电子设备及存储介质 | |
| CN114095817B (zh) | 耳机的降噪方法、装置、耳机及存储介质 | |
| CN112149653B (zh) | 信息处理方法、装置、电子设备及存储介质 | |
| CN112801116B (zh) | 图像的特征提取方法及装置、电子设备和存储介质 | |
| CN113869305B (zh) | 基于图像的文本识别方法、装置、电子设备及介质 | |
| CN118314877B (zh) | 个性化语音合成方法、音频模型的训练方法和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |