CN112382270A - 语音合成方法、装置、设备以及存储介质 - Google Patents
语音合成方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN112382270A CN112382270A CN202011273128.7A CN202011273128A CN112382270A CN 112382270 A CN112382270 A CN 112382270A CN 202011273128 A CN202011273128 A CN 202011273128A CN 112382270 A CN112382270 A CN 112382270A
- Authority
- CN
- China
- Prior art keywords
- target
- audio
- text
- accent
- linguistic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001308 synthesis method Methods 0.000 title abstract description 29
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 46
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims description 54
- 238000006243 chemical reaction Methods 0.000 claims description 36
- 238000003062 neural network model Methods 0.000 claims description 28
- 238000001228 spectrum Methods 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 19
- 238000012795 verification Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241001672694 Citrus reticulata Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
- G10L13/086—Detection of language
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Abstract
本申请公开了一种语音合成方法、装置、设备以及存储介质，涉及语音合成、自然语言处理、计算机技术、人工智能、深度学习领域。具体实现方案为：获取目标文本和目标音频；基于目标文本，确定用于指示目标口音的第一声学特征；基于目标音频，确定目标音色；确定第一声学特征中的语言学特征；基于目标音色、语言学特征和目标文本，确定目标文本对应的目标具有目标口音的音频，并输出目标音频。本实现方式通过根据获取的目标文本确定的语言学特征以及通过获取的目标音频确定的目标音色，可以准确、快速地合成目标文本对应的具有目标口音和目标音色的目标音频。
Description
技术领域
本申请涉及计算机技术领域，具体涉及语音合成、自然语言处理、计算机技术、人工智能、深度学习领域，尤其涉及语音合成方法、装置、设备以及存储介质。
背景技术
近年来，由于在线教育和在线学习的迅猛发展，语音合成技术得到了广泛的研究与关注，语音合成旨在于将某一用户的语音合成为不同口音或不同音色或既不同口音又不同音色等的音频。语音合成技术在娱乐方面也有很大的应用前景。利用现有的语音合成技术进行语音合成速度慢而且语音合成的结果往往不准确。
发明内容
本公开提供了一种语音合成方法、装置、设备以及存储介质。
根据本公开的一方面，提供了一种语音合成方法，包括：获取目标文本和目标音频；基于目标文本，确定用于指示目标口音的第一声学特征；基于目标音频，确定目标音色；确定第一声学特征中的语言学特征；基于目标音色、语言学特征和目标文本，确定目标文本对应的具有目标口音和目标音色的音频，并输出具有目标口音和目标音色的音频。
根据本公开的另一方面，提供了一种语音合成装置，包括：获取单元，被配置成获取目标文本和目标音频；第一声学特征确定单元，被配置成基于目标文本，确定用于指示目标口音的第一声学特征；目标音色确定单元，被配置成基于目标音频，确定目标音色；语言学特征确定单元，被配置成确定第一声学特征中的语言学特征；转换单元，被配置成基于目标音色、语言学特征和目标文本，确定目标文本对应的具有目标口音和目标音色的音频，并输出具有目标口音和目标音色的音频。
根据本公开的再一方面，提供了一种语音合成电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述语音合成方法。
根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使计算机执行如上述语音合成方法。
根据本申请的技术解决了无法准确、快速地进行语音合成的问题，通过根据获取的目标文本确定的语言学特征以及通过获取的目标音频确定的目标音色，可以准确、快速地合成目标文本对应的具有目标口音和目标音色的目标音频。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本申请的语音合成方法的一个实施例的流程图；
图3是根据本申请的语音合成方法的一个应用场景的示意图；
图4是根据本申请的语音合成方法的另一个实施例的流程图；
图5是根据本申请的语音合成装置的一个实施例的结构示意图；
图6是用来实现本申请实施例的语音合成方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的语音合成方法或语音合成装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如语言合成类应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、车载电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103采集的目标文本和目标音频进行处理的后台服务器。后台服务器可以获取目标文本和目标音频，并基于目标文本，确定用于指示目标口音的第一声学特征；基于目标音频，确定目标音色；确定第一声学特征中的语言学特征；基于目标音色、语言学特征和目标文本，确定目标文本对应的具有目标口音和目标音色的音频，并输出该音频。
需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本申请实施例所提供的语音合成方法一般由服务器105执行。相应地，语音合成装置一般设置于服务器105中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的语音合成方法的一个实施例的流程200。本实施例的语音合成方法，包括以下步骤：
步骤201，获取目标文本和目标音频。
本实施例中，语音合成方法的执行主体(例如图1中的服务器105)可以从本地获取目标文本，也可以通过有线连接或无线连接的方式获取终端设备通过录音或扫描的方式采集的目标文本，也可以获取用户在终端设备的编辑框中输入的任意一句话并将其确定为目标文本。具体地，目标文本可以是具有确定身份的任意一个想要转换口音的人所发出的语音转换成的说话文本。说话文本，可以是文字。比如，小明说了一句普通话“我爱祖国”，则目标文本就可以是以文字形式表示的“我爱祖国”。目标文本可以是中文也可以是英文，本申请对目标文本的语言类型不做具体限定。目标音频可以是需要转换成的音色对应的音频。例如，可以是录有小A同学的声音的音频，也可以是录有小B同学的声音的音频，本申请对目标音频的音色不做具体限定。该目标音频可以是MP3形式，也可以是MP4形式，本申请对目标音频的存储形式不做限定。可以理解的是，目标音频可以是人的音频，也可以是自然界其他生物的音频，本申请对目标音频的来源不做具体限定。
步骤202，基于目标文本，确定用于指示目标口音的第一声学特征。
执行主体在获取目标文本后，可以基于目标文本，确定用于指示目标口音的第一声学特征。具体地，第一声学特征可以是用于表征目标口音的语音特征参数，例如可以是梅尔频谱。本实施例中，执行主体可以基于目标文本，根据目标文本和其对应的音频，对音频进行预加重、分帧和加窗，然后可以对每帧音频的信号进行短时傅里叶变换(STFT，short-time Fourier transform，或short-term Fourier transform)，得到短时幅度谱；短时幅度谱通过梅尔滤波器组得到梅尔频谱。本申请对梅尔频谱(即第一声学特征)的获取方式不做具体限定。
步骤203，基于目标音频，确定目标音色。
执行主体在获取目标音频后，可以基于目标音频，确定目标音色。音频中包含多个音素。音素，是根据语音的自然属性划分出来的最小语音单位，依据音节里的发音动作来分析，一个动作构成一个音素。音素分为元音和辅音两大类。例如，如汉语音节啊(ā)只有一个音素，爱(ài)有两个音素，代(dài)有三个音素等。如〔ma-mi〕中，两个〔m〕发音动作相同，是相同音素，〔a〕〔i〕发音动作不同，是不同音素。音色(Timbre)是指不同声音表现在波形方面总是有与众不同的特性，不同的物体振动都有不同的特点。不同的发声体由于其材料、结构不同，则发出声音的音色也不同。例如钢琴、小提琴和人发出的声音不一样，每一个人发出的声音也不一样。因此，可以把音色理解为声音的特征。音色是声音的属性(即响度、音调、音色)之一，主要由其泛音决定。每个人的声音以及各种乐器所发出的声音的区别，就是由音色不同造成的。发音体的振动是由多种泛音组成的，其中有基音和泛音，泛音不同，决定着某一个特定的音色。声音除了有一个‘基音’外，还自然而然加上许多不同‘频率’(振动的物体1秒钟振动的次数)与泛音‘交织’，就决定了不同的音色，使人听了以后能辨别出是不同的声音。具体地，执行主体可以根据目标音频和预训练的分类模型，确定目标音频中各音素对应的标识，其中，预训练的分类模型用于表征音素与标识的对应关系；根据确定出的各音素对应的标识，确定目标音频中的基音和泛音；根据确定出的目标音频中的基音和泛音，确定目标音色。具体地，执行主体可以将确定出的目标音频中的基音和泛音输入至与预训练的音色转换模型中，输出该基音和泛音对应的音色，其中，预训练的音色转换模型用于表征基音、泛音与音色的对应关系。示例的，该音色转换模型可以是预训练的卷积神经网络(Convolutional Neural Networks，CNN)。
步骤204，确定第一声学特征中的语言学特征。
执行主体在确定第一声学特征后，可以确定第一声学特征中的语言学特征。具体地，语言学特征可以包括韵律特征、句法、语篇结构、信息结构等。其中，韵律特征又可以是超音质特征或超音段特征，是语言的一种音系结构。韵律特征可以分为三个主要方面：语调、时域分布和重音，通过超音段特征实现。超音段特征包括音高、强度以及时间特性，由音位或音位群负载。韵律是人类自然语言的一个典型特征，具有许多跨语言的共同特点，比如：音高下倾、重读、停顿等都普遍存在于不同的语言之中。韵律特征是语言和情绪表达的重要形式之一。执行主体可以用现有的已知的语言学特征跟第一声学特征中的各特征对比，将第一声学特征中与已知的语言学特征的相似度大于阈值的特征确定为第一声学特征中的语言学特征。具体地，执行主体可以分别将第一声学特征中的各特征转化为第一声学特征向量，将现有的已知的语言学特征转化为语言学特征向量。将各第一声学特征向量与各语言学特征向量进行余弦相似度计算，余弦相似度越趋近于1，表明参与计算该余弦相似度的第一声学特征向量和对应的语言学特征向量越相似，可以将该第一声学特征向量确定为语言学特征向量，相应地，将该第一声学特征向量对应的第一声学特征确定为该语言学特征向量对应的语言学特征。同理，遍历每个第一声学特征和每个语言学特征，直至找到每个第一声学特征和每个语言学特征各自对应的向量的余弦相似度与1的差值的绝对值小于阈值的第一声学特征向量对应的第一声学特征，并将该第一声学特征确定为语言学特征，据此可以得到第一声学特征中的所有语言学特征。
步骤205，基于目标音色、语言学特征和目标文本，确定目标文本对应的具有目标口音和目标音色的音频，并输出具有目标口音和目标音色的音频。
执行主体在确定出语言学特征后，可以基于目标音色、语言学特征和目标文本，确定目标文本对应的具有目标口音的音频，并输出音频。具体地，执行主体可以将目标音色、语言学特征和目标文本输入预训练的语音模型以生成与目标文本对应的具有目标口音和目标音色的音频，并输出该音频。其中，该预训练的语音模型用于表征目标音色、语言学特征和目标文本与具有目标口音和目标音色的音频的对应关系，具体可以是预训练的神经网络模型。在对语音模型进行训练时，可以首先获取初始神经网络模型；获取训练样本集合，其中，训练样本集合中的训练样本包括目标音色、语言学特征、语言学特征对应的目标文本以及标注的与目标音色、语言学特征和语言学特征对应的目标文本对应的具有目标口音和目标音色的音频；将训练样本集合中的训练样本的目标音色、语言学特征和语言学特征对应的目标文本作为初始神经网络模型的输入，将与输入的语言学特征和语言学特征对应的目标文本对应的具有目标口音和目标音色的音频作为期望输出，对初始神经网络模型进行训练；将训练后的初始神经网络模型确定为上述语音模型。示例的，目标文本可以为小B的普通话音频对应的文本“我爱祖国”，目标文本对应的具有目标口音和目标音色的音频，可以是小A的东北口音的“我爱祖国”的音频，该音频可以是MP3形式或者也可以是MP4形式，本申请对输出音频的形式不做具体限定。
继续参考图3，其示出了根据本申请的语音合成方法的一个应用场景的示意图。在图3的应用场景中，服务器304通过网络303获取目标文本301和目标音频302。服务器304基于目标文本301，确定用于指示目标口音的第一声学特征305。服务器304基于目标音频302确定目标音色307。服务器304确定第一声学特征305中的语言学特征306。服务器304基于目标音色307、语言学特征306和目标文本301，确定目标文本301对应的具有目标口音和目标音色的音频308，并输出具有目标口音和目标音色的音频308。本申请实际上是目标说话文本向具有任意口音的音频的转换，文本内容不变。
本实施例通过根据获取的目标文本确定的语言学特征以及通过获取的目标音频确定的目标音色，可以准确、快速地合成定目标文本对应的具有目标口音和目标音色的目标音频。
继续参考图4，其示出了根据本申请的语音合成方法的另一个实施例的流程400。如图4所示，本实施例的语音合成方法，可以包括以下步骤：
步骤401，获取目标文本和目标音频。
步骤402，基于目标文本，确定用于指示目标口音的第一声学特征。
步骤401～步骤402的原理与步骤201～步骤202的原理类似，此处不再赘述。
具体地，步骤402可以通过步骤4021实现：
步骤4021，根据目标文本和预训练的语音合成模型，确定目标文本对应的用于指示目标口音的第一声学特征。
本实施例中，预训练的语音合成模型用于表征说话文本与第一声学特征的对应关系。执行主体在得到目标文本后，可以根据目标文本和预训练的语音合成模型，确定目标文本对应的用于指示目标口音的第一声学特征。具体地，第一声学特征可以是用于指示目标口音(比如东北口音)的梅尔频谱。经过语音合成模型得到的目标文本对应的用于指示目标口音的第一声学特征此时还不能用于目标口音的输出，还需要进一步的特征识别和特征转换得到携带有较多目标文本信息的特征，比如，音高、音强等。然后根据得到的这些携带有较多目标文本信息的特征进行进一步的语音合成。本实施例，具体地，执行主体可以将目标文本输入到预训练的语音合成模型中，由预训练的语音合成模型对目标文本进行第一声学特征的提取，得到目标文本对应的用于指示目标口音的第一声学特征。
本实施例通过根据目标文本和预训练的语音合成模型，可以得到具有目标口音的音频梅尔频谱，从而可以基于得到的具有目标口音的音频梅尔频谱准确地对任意一个用户的说话文本进行目标口音的转换。
步骤403，基于目标音频，确定目标音色。
步骤403的原理与步骤203的原理类似，此处不再赘述。
具体地，步骤403可以通过步骤4031～步骤4032实现：
步骤4031，根据目标音频和预训练的身份验证模型，确定目标音频对应的身份向量。
本实施例，预训练的身份验证模型用于表征音频与身份向量之间的对应关系。执行主体在获取目标音频后，可以根据目标音频和预训练的身份验证模型，确定目标音频对应的身份向量。具体地，执行主体可以将目标音频输入预训练的身份验证模型，输出目标音频对应的身份向量。具体地，输出的目标音频对应的身份向量可以是一组多维的数据，可以标识目标音频对应的说话人的音色信息，例如，身份向量可以是[0.3，0.3，0.5，0.6，…]这样的数据序列对应的向量，该数据序列中的一个或多个数据的组合可以用来表征唯一的音色。
步骤4032，根据身份向量，确定目标音色。
执行主体在确定目标音频对应的身份向量后，可以根据身份向量，确定目标音色。具体地，执行主体可以根据身份向量和预设的身份向量与音色的对应关系，确定该身份向量对应的目标音色。作为另一种实现方式，执行主体还可以根据身份向量与各已有的音色向量的相似度，确定该身份向量对应的音色向量，并将该音色向量对应的音色确定为目标音色。具体地，执行主体响应于确定身份向量与对应音色向量的相似度大于预设阈值，将该身份向量对应的音色向量所对应的音色确定为目标音色。
本实施例通过由身份验证模型得到的身份向量确定目标音色，可以不受模型训练样本集的限制，可以将目标文本转换成任意想转换的音色，提高音色转换的灵活性，提升用户体验。
步骤404，确定第一声学特征中的语言学特征。
步骤404的原理与步骤204的原理类似，此处不再赘述。
具体地，步骤404可以通过步骤4041实现：
步骤4041，利用预训练的识别模型提取第一声学特征中的语言学特征。
其中，预训练的识别模型用于表征第一声学特征与语言学特征的对应关系。执行主体在得到第一声学特征后，可以利用预训练的识别模型提取第一声学特征中的语言学特征。具体地，第一声学特征中的语言学特征可以包括语调、时域分布、重音、音高、重读、停顿等韵律特征。语言学特征是语言和情绪表达的重要形式之一。
在本实施例的一些可选的实现方式中，执行主体还可以根据第一声学特征和预训练的识别模型，确定第一声学特征对应的类别标识，其中，预训练的识别模型用于表征第一声学特征和类别标识的对应关系。得到的类别标识可以是用于表征第一声学特征中各音素的类别的标识，例如，第一声学特征中的各音素可以是语调音素、时域分布音素、重音音素、音高音素、重读音素、停顿音素，例如可以分别用标识1、2、3、4、5、6、7来表示。然后，然后执行主体可以根据第一声学特征中与得到的各标识对应的各音素以及预设的标识、音素与第二声学特征之间的对应关系，确定用于生成具有目标口音的音频的第二声学特征。第二声学特征可以是用于生成目标口音所需的各音素对应的梅尔频谱。执行主体可以基于该第二声学特征，确定与目标文本对应的具有目标口音和目标音色的音频，并输出该音频。本实现方式可以丰富用于生成目标口音和目标音色的音频所需的梅尔频谱，并提高生成目标口音和目标音色的音频的准确性。
本实施例通过利用预训练的识别模型提取第一声学特征中的语言学特征，可以将目标文本中对应语言和情绪表达的相关特征提取出来，以完善用于生成目标口音和目标音色的音频的特征，提高生成具有目标口音和目标音色的音频的准确性。
步骤405，基于目标音色、语言学特征和目标文本，确定目标文本对应的具有目标口音和目标音色的音频，并输出具有目标口音和目标音色的音频。
步骤405的原理与步骤205的原理类似，此处不再赘述。
具体地，步骤405可以通过步骤4051～步骤4052实现：
步骤4051，根据目标音色、语言学特征、目标文本和预训练的转换模型，确定目标文本对应的用于生成具有目标口音和目标音色的音频的第二声学特征。
其中，转换模型用于表征音色、语言学特征和文本与第二声学特征的对应关系。具体地，第二声学特征可以为上述目标音色、语言学特征对应的梅尔频谱。具体地，第二声学特征可以是用于生成目标口音和目标音色的音频所需的梅尔频谱。执行主体可以将目标音色、语言学特征和目标文本输入预训练的转换模型，输出目标文本对应的用于生成具有目标口音和目标音色的音频的第二声学特征。
步骤4052，基于第二声学特征，确定目标文本对应的具有目标口音和目标音色的音频。
执行主体在得到第二声学特征后，可以基于第二声学特征，确定具有目标口音和目标音色的音频。具体地，执行主体可以将得到的第二声学特征输入到声码器，经过声码器的转换得到具有目标口音和目标音色的音频。声码器在其发送端对第二声学特征进行编码和加密，以取得和信道的匹配，经信息通道传递到声码器的接受端，在频域中对接收到的特征进行分析，鉴别清浊音，测定浊音基频，进而选取清-浊判断、浊音基频和频谱包络作为特征参量加以传送。当然，该分析也可以在时域中进行，利用其周期性提取一些第二声学特征进行线性预测，生成与第二声学特征对应的具有目标口音和目标音色的音频。具体地，上述声码器可以包括通道式声码器、共振峰声码器、图案声码器、线性预测声码器、相关声码器和正交函数声码器，本申请对声码器的类型不做具体限定。
本实施例通过根据目标音色、语言学特征、目标文本和预训练的转换模型，确定目标文本对应的第二声学特征，并基于第二声学特征确定具有目标口音和目标音色的音频，可以使得针对于任意用户的任意一个说话文本，可以不受转换模型的训练样本的限制，将目标文本转换成任意想转换成的音色和口音的音频，提升语音合成的趣味性，提升用户体验。
在本实施例的一些可选的实现方式中，语音合成方法还包括图4中未示出的以下模型训练步骤：获取初始神经网络模型；获取训练样本集合，其中，训练样本集合中的训练样本包括音色、语言学特征、语言学特征对应的目标文本以及标注的与音色、语言学特征和语言学特征对应的目标文本对应的第二声学特征；将训练样本集合中的训练样本的音色、语言学特征和语言学特征对应的目标文本作为初始神经网络模型的输入，将与输入的音色、语言学特征和语言学特征对应的目标文本对应的第二声学特征作为期望输出，对初始神经网络模型进行训练；将训练后的初始神经网络模型确定为转换模型。
本实施例中，执行主体可以通过有线连接方式或者无线连接方式获取初始神经网络模型。上述初始神经网络模型可以包括各种包含隐藏层的人工神经网络(ArtificialNeural Network，ANN)。在本实施例中，上述执行主体还可以从本地获取预先存储的初始模型，也可以从通信连接的电子设备获取上述初始模型，在此不作限定。
本实施例中，执行主体可以通过各种方式获取训练样本集合。具体地，训练样本集合中的训练样本可以包括音色、语言学特征、语言学特征对应的目标文本以及标注的与音色、语言学特征和语言学特征对应的目标文本对应的第二声学特征。其中，训练样本中标注的与音色、语言学特征和语言学特征对应的目标文本对应的第二声学特征可以是通过有线或无线连接的方式从本地或通信连接的电子设备上获取的、也可以是人工实时标注的、也可以是先通过自动标注后，又人工补充修改纠正标注错误后得到的，本申请对此不做具体限定。训练样本中的音色可以是从本地或通信连接的电子设备上获取的。训练样本中的语言学特征可以是实时提取的，也可以是通过有线或无线连接的方式从本地或通信连接的电子设备上获取的。训练样本中的与语言学特征对应的目标文本可以是对不同的用户实时采集的，也可以是通过有线或无线连接的方式从本地或通信连接的电子设备上获取的，本申请对此不做具体限定。
本实施例通过获取训练样本集对初始神经网络模型进行训练，可以得到能够根据音色、语言学特征和说话文本准确地生成对应的第二声学特征的能力的转换模型，从而可以实现将获取的任意目标文本上的文字转换成具有目标口音和目标音色的音频，并可以提高生成的具有目标口音和目标音色的音频的质量，本申请可以不限于训练转换模型的训练样本集中已有的音色，对于其他的、训练样本集中没有的音色也可以精确合成带有该音色的音频，提升语音合成的趣味性，提升用户体验。
在本实施例的一些可选的实现方式中，训练样本集合不包括目标音色；第二声学特征包括对应于目标口音和目标音色的梅尔频谱；以及基于第二声学特征，确定目标文本对应的具有目标口音和目标音色的音频，包括：根据梅尔频谱和预设的神经网络声码器，合成目标文本对应的具有目标口音和目标音色的音频。
具体地，执行主体在得到对应于目标口音和目标音色的梅尔频谱后，可以将该梅尔频谱自动输入预设的神经网络声码器中，以基于该神经网络声码器和该梅尔频谱合成具有目标口音和目标音色的音频。具有目标口音和目标音色的音频，包括以下至少一项：具有目标口音和目标音色的说话音频、具有目标口音和目标音色的歌唱音频。
本实现方式通过根据对应于目标口音和目标音色的梅尔频谱和预设的神经网络声码器，可以使得合成的具有目标口音和目标音色的音频更精确。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种语音合成装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的语音合成装置500包括：获取单元501、第一声学特征确定单元502、目标音色确定单元503、语言学特征确定单元504和转换单元505。
获取单元501，被配置成获取目标文本和目标音频。
第一声学特征确定单元502，被配置成基于目标文本，确定用于指示目标口音的第一声学特征。
目标音色确定单元503，被配置成基于目标音频，确定目标音色。
语言学特征确定单元504，被配置成确定第一声学特征中的语言学特征。
转换单元505，被配置成基于目标音色、语言学特征和目标文本，确定目标文本对应的具有目标口音和目标音色的音频，并输出具有目标口音和目标音色的音频。
在本实施例的一些可选的实现方式中，第一声学特征确定单元502进一步被配置成：根据目标文本和预训练的语音合成模型，确定目标文本对应的用于指示目标口音的第一声学特征，其中，预训练的语音合成模型用于表征说话文本与第一声学特征的对应关系。
在本实施例的一些可选的实现方式中，目标音色确定单元503进一步被配置成：根据目标音频和预训练的身份验证模型，确定目标音频对应的身份向量，其中，预训练的身份验证模型用于表征音频与身份向量之间的对应关系；根据身份向量，确定目标音色。
在本实施例的一些可选的实现方式中，语言学特征确定单元503进一步被配置成：利用预训练的识别模型提取第一声学特征中的语言学特征，其中，预训练的识别模型用于表征第一声学特征与语言学特征的对应关系。
在本实施例的一些可选的实现方式中，转换单元505进一步被配置成：根据目标音色、语言学特征、目标文本和预训练的转换模型，确定目标文本对应的用于生成具有目标口音和目标音色的音频的第二声学特征，其中，转换模型用于表征音色、语言学特征和文本与第二声学特征的对应关系；基于第二声学特征，确定目标文本对应的具有目标口音和目标音色的音频。
在本实施例的一些可选的实现方式中，语音合成装置还包括图5中未示出的训练单元，被配置成：获取初始神经网络模型；获取训练样本集合，其中，训练样本集合中的训练样本包括音色、语言学特征、语言学特征对应的目标文本以及标注的与音色、语言学特征和语言学特征对应的目标文本对应的第二声学特征；将训练样本集合中的训练样本的音色、语言学特征和语言学特征对应的目标文本作为初始神经网络模型的输入，将与输入的音色、语言学特征和语言学特征对应的目标文本对应的第二声学特征作为期望输出，对初始神经网络模型进行训练；将训练后的初始神经网络模型确定为转换模型。
在本实施例的一些可选的实现方式中，训练样本集合不包括目标音色；第二声学特征包括对应于目标口音和目标音色的梅尔频谱；以及转换单元505进一步被配置成：根据梅尔频谱和预设的神经网络声码器，合成目标文本对应的具有目标口音和目标音色的音频。
应当理解，语音合成装置500中记载的单元501至单元505分别与参考图2中描述的方法中的各个步骤相对应。由此，上文针对语音合成方法描述的操作和特征同样适用于装置500及其中包含的单元，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图6所示，是根据本申请实施例的语音合成方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线605互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线605与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的语音合成方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的语音合成方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及单元，如本申请实施例中的语音合成方法对应的程序指令/单元(例如，附图5所示的获取单元501、第一声学特征确定单元502、目标音色确定单元503、语言学特征确定单元504和转换单元505)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的语音合成方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据语音合成电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至语音合成电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
语音合成电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线605或者其他方式连接，图6中以通过总线605连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与语音合成电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过根据获取的目标文本确定的语言学特征以及通过获取的目标音频确定的目标音色，可以准确、快速地合成目标文本对应的具有目标口音和目标音色的目标音频。
根据本公开的一个或多个实施例，本公开提供了一种语音合成方法，包括：获取目标文本和目标音频；基于目标文本，确定用于指示目标口音的第一声学特征；基于目标音频，确定目标音色；确定第一声学特征中的语言学特征；基于目标音色、语言学特征和目标文本，确定目标文本对应的具有目标口音和目标音色的音频，并输出具有目标口音和目标音色的音频。
根据本公开的一个或多个实施例，基于目标文本，确定用于指示目标口音的第一声学特征，包括：根据目标文本和预训练的语音合成模型，确定目标文本对应的用于指示目标口音的第一声学特征，其中，预训练的语音合成模型用于表征说话文本与第一声学特征的对应关系。
根据本公开的一个或多个实施例，基于目标音频，确定目标音色，包括：根据目标音频和预训练的身份验证模型，确定目标音频对应的身份向量，其中，预训练的身份验证模型用于表征音频与身份向量之间的对应关系；根据身份向量，确定目标音色。
根据本公开的一个或多个实施例，确定第一声学特征中的语言学特征，包括：利用预训练的识别模型提取第一声学特征中的语言学特征，其中，预训练的识别模型用于表征第一声学特征与语言学特征的对应关系。
根据本公开的一个或多个实施例，基于目标音色、语言学特征和目标文本，确定目标文本对应的具有目标口音和目标音色的音频，包括：根据目标音色、语言学特征、目标文本和预训练的转换模型，确定目标文本对应的用于生成具有目标口音和目标音色的音频的第二声学特征，其中，转换模型用于表征音色、语言学特征和文本与第二声学特征的对应关系；基于第二声学特征，确定目标文本对应的具有目标口音和目标音色的音频。
根据本公开的一个或多个实施例，语音合成方法还包括：获取初始神经网络模型；获取训练样本集合，其中，训练样本集合中的训练样本包括音色、语言学特征、语言学特征对应的目标文本以及标注的与音色、语言学特征和语言学特征对应的目标文本对应的第二声学特征；将训练样本集合中的训练样本的音色、语言学特征和语言学特征对应的目标文本作为初始神经网络模型的输入，将与输入的音色、语言学特征和语言学特征对应的目标文本对应的第二声学特征作为期望输出，对初始神经网络模型进行训练；将训练后的初始神经网络模型确定为转换模型。
根据本公开的一个或多个实施例，训练样本集合不包括目标音色；第二声学特征包括对应于目标口音和目标音色的梅尔频谱；以及基于第二声学特征，确定目标文本对应的具有目标口音和目标音色的音频，包括：根据梅尔频谱和预设的神经网络声码器，合成目标文本对应的具有目标口音和目标音色的音频。
根据本公开的一个或多个实施例，本公开提供了一种语音合成装置，包括：获取单元，被配置成获取目标文本和目标音频；第一声学特征确定单元，被配置成基于目标文本，确定用于指示目标口音的第一声学特征；目标音色确定单元，被配置成基于目标音频，确定目标音色；语言学特征确定单元，被配置成确定第一声学特征中的语言学特征；转换单元，被配置成基于目标音色、语言学特征和目标文本，确定目标文本对应的具有目标口音和目标音色的音频，并输出具有目标口音和目标音色的音频。
根据本公开的一个或多个实施例，第一声学特征确定单元进一步被配置成：根据目标文本和预训练的语音合成模型，确定目标文本对应的用于指示目标口音的第一声学特征，其中，预训练的语音合成模型用于表征说话文本与第一声学特征的对应关系。
根据本公开的一个或多个实施例，目标音色确定单元进一步被配置成：根据目标音频和预训练的身份验证模型，确定目标音频对应的身份向量，其中，预训练的身份验证模型用于表征音频与身份向量之间的对应关系；根据身份向量，确定目标音色。
根据本公开的一个或多个实施例，语言学特征确定单元进一步被配置成：利用预训练的识别模型提取第一声学特征中的语言学特征，其中，预训练的识别模型用于表征第一声学特征与语言学特征的对应关系。
根据本公开的一个或多个实施例，转换单元进一步被配置成：根据目标音色、语言学特征、目标文本和预训练的转换模型，确定目标文本对应的用于生成具有目标口音和目标音色的音频的第二声学特征，其中，转换模型用于表征音色、语言学特征和文本与第二声学特征的对应关系；基于第二声学特征，确定目标文本对应的具有目标口音和目标音色的音频。
根据本公开的一个或多个实施例，语音合成装置还包括图5中未示出的训练单元，被配置成：获取初始神经网络模型；获取训练样本集合，其中，训练样本集合中的训练样本包括音色、语言学特征、语言学特征对应的目标文本以及标注的与音色、语言学特征和语言学特征对应的目标文本对应的第二声学特征；将训练样本集合中的训练样本的音色、语言学特征和语言学特征对应的目标文本作为初始神经网络模型的输入，将与输入的音色、语言学特征和语言学特征对应的目标文本对应的第二声学特征作为期望输出，对初始神经网络模型进行训练；将训练后的初始神经网络模型确定为转换模型。
根据本公开的一个或多个实施例，训练样本集合不包括目标音色；第二声学特征包括对应于目标口音和目标音色的梅尔频谱；以及转换单元进一步被配置成：根据梅尔频谱和预设的神经网络声码器，合成目标文本对应的具有目标口音和目标音色的音频。
应该理解，以上实施例仅是示例性实施例，但不限于此，还包括本领域已知的其他可以实现语音合成方法。可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (10)
1.一种语音合成方法，包括：
获取目标文本和目标音频；
基于所述目标文本，确定用于指示目标口音的第一声学特征；
基于所述目标音频，确定目标音色；
确定所述第一声学特征中的语言学特征；
基于所述目标音色、所述语言学特征和所述目标文本，确定所述目标文本对应的具有目标口音和目标音色的音频，并输出所述具有目标口音和目标音色的音频。
2.根据权利要求1所述的方法，其中，所述基于所述目标文本，确定用于指示目标口音的第一声学特征，包括：
根据所述目标文本和预训练的语音合成模型，确定所述目标文本对应的用于指示目标口音的第一声学特征，其中，所述预训练的语音合成模型用于表征说话文本与第一声学特征的对应关系。
3.根据权利要求1所述的方法，其中，所述基于所述目标音频，确定目标音色，包括：
根据所述目标音频和预训练的身份验证模型，确定所述目标音频对应的身份向量，其中，所述预训练的身份验证模型用于表征音频与身份向量之间的对应关系；
根据所述身份向量，确定目标音色。
4.根据权利要求1所述的方法，其中，所述确定所述第一声学特征中的语言学特征，包括：
利用预训练的识别模型提取所述第一声学特征中的语言学特征，其中，预训练的识别模型用于表征第一声学特征与语言学特征的对应关系。
5.根据权利要求1所述的方法，其中，所述基于所述目标音色、所述语言学特征和所述目标文本，确定所述目标文本对应的具有目标口音和目标音色的音频，包括：
根据所述目标音色、所述语言学特征、所述目标文本和预训练的转换模型，确定所述目标文本对应的用于生成具有目标口音和目标音色的音频的第二声学特征，其中，所述转换模型用于表征音色、语言学特征和文本与第二声学特征的对应关系；
基于所述第二声学特征，确定所述目标文本对应的具有目标口音和目标音色的音频。
6.根据权利要求5所述的方法，其中，所述方法还包括：
获取初始神经网络模型；
获取训练样本集合，其中，所述训练样本集合中的训练样本包括音色、语言学特征、语言学特征对应的目标文本以及标注的与所述音色、所述语言学特征和所述语言学特征对应的目标文本对应的第二声学特征；
将所述训练样本集合中的训练样本的音色、语言学特征和语言学特征对应的目标文本作为所述初始神经网络模型的输入，将与输入的音色、语言学特征和语言学特征对应的目标文本对应的第二声学特征作为期望输出，对所述初始神经网络模型进行训练；
将训练后的所述初始神经网络模型确定为所述转换模型。
7.根据权利要求6所述的方法，其中，所述训练样本集合不包括所述目标音色；所述第二声学特征包括对应于所述目标口音和所述目标音色的梅尔频谱；以及
所述基于所述第二声学特征，确定所述目标文本对应的具有目标口音和目标音色的音频，包括：
根据所述梅尔频谱和预设的神经网络声码器，合成所述目标文本对应的具有目标口音和目标音色的音频。
8.一种语音合成装置，包括：
获取单元，被配置成获取目标文本和目标音频；
第一声学特征确定单元，被配置成基于所述目标文本，确定用于指示目标口音的第一声学特征；
目标音色确定单元，被配置成基于所述目标音频，确定目标音色；
语言学特征确定单元，被配置成确定所述第一声学特征中的语言学特征；
转换单元，被配置成基于所述目标音色、所述语言学特征和所述目标文本，确定所述目标文本对应的具有目标口音和目标音色的音频，并输出所述具有目标口音和目标音色的音频。
9.一种语音合成电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011273128.7A CN112382270A (zh) | 2020-11-13 | 2020-11-13 | 语音合成方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011273128.7A CN112382270A (zh) | 2020-11-13 | 2020-11-13 | 语音合成方法、装置、设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112382270A true CN112382270A (zh) | 2021-02-19 |
Family
ID=74583978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011273128.7A Pending CN112382270A (zh) | 2020-11-13 | 2020-11-13 | 语音合成方法、装置、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112382270A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113223542A (zh) * | 2021-04-26 | 2021-08-06 | 北京搜狗科技发展有限公司 | 音频的转换方法、装置、存储介质及电子设备 |
| CN113409761A (zh) * | 2021-07-12 | 2021-09-17 | 上海喜马拉雅科技有限公司 | 语音合成方法、装置、电子设备以及计算机可读存储介质 |
| CN113539239A (zh) * | 2021-07-12 | 2021-10-22 | 网易（杭州）网络有限公司 | 语音转换方法、装置、存储介质及电子设备 |
| WO2022236111A1 (en) * | 2021-05-06 | 2022-11-10 | Sanas.ai Inc. | Real-time accent conversion model |
| CN116895273A (zh) * | 2023-09-11 | 2023-10-17 | 南京硅基智能科技有限公司 | 合成音频的输出方法及装置、存储介质、电子装置 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004070701A2 (en) * | 2003-01-31 | 2004-08-19 | Scansoft, Inc. | Linguistic prosodic model-based text to speech |
| US20160005391A1 (en) * | 2014-07-03 | 2016-01-07 | Google Inc. | Devices and Methods for Use of Phase Information in Speech Processing Systems |
| CN105551481A (zh) * | 2015-12-21 | 2016-05-04 | 百度在线网络技术（北京）有限公司 | 语音数据的韵律标注方法及装置 |
| US20160365087A1 (en) * | 2015-06-12 | 2016-12-15 | Geulah Holdings Llc | High end speech synthesis |
| CN107705783A (zh) * | 2017-11-27 | 2018-02-16 | 北京搜狗科技发展有限公司 | 一种语音合成方法及装置 |
| CN109285535A (zh) * | 2018-10-11 | 2019-01-29 | 四川长虹电器股份有限公司 | 基于前端设计的语音合成方法 |
| WO2019139430A1 (ko) * | 2018-01-11 | 2019-07-18 | 네오사피엔스 주식회사 | 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체 |
| CN110444191A (zh) * | 2019-01-22 | 2019-11-12 | 清华大学深圳研究生院 | 一种韵律层级标注的方法、模型训练的方法及装置 |
| CN111326138A (zh) * | 2020-02-24 | 2020-06-23 | 北京达佳互联信息技术有限公司 | 语音生成方法及装置 |
| CN111369971A (zh) * | 2020-03-11 | 2020-07-03 | 北京字节跳动网络技术有限公司 | 语音合成方法、装置、存储介质和电子设备 |
| CN111462728A (zh) * | 2020-03-31 | 2020-07-28 | 北京字节跳动网络技术有限公司 | 用于生成语音的方法、装置、电子设备和计算机可读介质 |
| CN111785247A (zh) * | 2020-07-13 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 语音生成方法、装置、设备和计算机可读介质 |
| CN111899719A (zh) * | 2020-07-30 | 2020-11-06 | 北京字节跳动网络技术有限公司 | 用于生成音频的方法、装置、设备和介质 |
-
2020
- 2020-11-13 CN CN202011273128.7A patent/CN112382270A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004070701A2 (en) * | 2003-01-31 | 2004-08-19 | Scansoft, Inc. | Linguistic prosodic model-based text to speech |
| US20160005391A1 (en) * | 2014-07-03 | 2016-01-07 | Google Inc. | Devices and Methods for Use of Phase Information in Speech Processing Systems |
| US20160365087A1 (en) * | 2015-06-12 | 2016-12-15 | Geulah Holdings Llc | High end speech synthesis |
| CN105551481A (zh) * | 2015-12-21 | 2016-05-04 | 百度在线网络技术（北京）有限公司 | 语音数据的韵律标注方法及装置 |
| CN107705783A (zh) * | 2017-11-27 | 2018-02-16 | 北京搜狗科技发展有限公司 | 一种语音合成方法及装置 |
| WO2019139430A1 (ko) * | 2018-01-11 | 2019-07-18 | 네오사피엔스 주식회사 | 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체 |
| CN109285535A (zh) * | 2018-10-11 | 2019-01-29 | 四川长虹电器股份有限公司 | 基于前端设计的语音合成方法 |
| CN110444191A (zh) * | 2019-01-22 | 2019-11-12 | 清华大学深圳研究生院 | 一种韵律层级标注的方法、模型训练的方法及装置 |
| CN111326138A (zh) * | 2020-02-24 | 2020-06-23 | 北京达佳互联信息技术有限公司 | 语音生成方法及装置 |
| CN111369971A (zh) * | 2020-03-11 | 2020-07-03 | 北京字节跳动网络技术有限公司 | 语音合成方法、装置、存储介质和电子设备 |
| CN111462728A (zh) * | 2020-03-31 | 2020-07-28 | 北京字节跳动网络技术有限公司 | 用于生成语音的方法、装置、电子设备和计算机可读介质 |
| CN111785247A (zh) * | 2020-07-13 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 语音生成方法、装置、设备和计算机可读介质 |
| CN111899719A (zh) * | 2020-07-30 | 2020-11-06 | 北京字节跳动网络技术有限公司 | 用于生成音频的方法、装置、设备和介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李琳琳;李娜;张志楠;: "基于英语语音重音的自动探测", 中国科技信息, no. 11 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113223542A (zh) * | 2021-04-26 | 2021-08-06 | 北京搜狗科技发展有限公司 | 音频的转换方法、装置、存储介质及电子设备 |
| CN113223542B (zh) * | 2021-04-26 | 2024-04-12 | 北京搜狗科技发展有限公司 | 音频的转换方法、装置、存储介质及电子设备 |
| WO2022236111A1 (en) * | 2021-05-06 | 2022-11-10 | Sanas.ai Inc. | Real-time accent conversion model |
| US11948550B2 (en) | 2021-05-06 | 2024-04-02 | Sanas.ai Inc. | Real-time accent conversion model |
| CN113409761A (zh) * | 2021-07-12 | 2021-09-17 | 上海喜马拉雅科技有限公司 | 语音合成方法、装置、电子设备以及计算机可读存储介质 |
| CN113539239A (zh) * | 2021-07-12 | 2021-10-22 | 网易（杭州）网络有限公司 | 语音转换方法、装置、存储介质及电子设备 |
| CN116895273A (zh) * | 2023-09-11 | 2023-10-17 | 南京硅基智能科技有限公司 | 合成音频的输出方法及装置、存储介质、电子装置 |
| CN116895273B (zh) * | 2023-09-11 | 2023-12-26 | 南京硅基智能科技有限公司 | 合成音频的输出方法及装置、存储介质、电子装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102581346B1 (ko) | 다국어 음성 합성 및 언어간 음성 복제 | |
| Holmes | Speech synthesis and recognition | |
| CN112382270A (zh) | 语音合成方法、装置、设备以及存储介质 | |
| US11881210B2 (en) | Speech synthesis prosody using a BERT model | |
| CN112382267A (zh) | 用于转换口音的方法、装置、设备以及存储介质 | |
| WO2019245916A1 (en) | Method and system for parametric speech synthesis | |
| CN114203147A (zh) | 用于文本到语音的跨说话者样式传递以及用于训练数据生成的系统和方法 | |
| US11495206B2 (en) | Voice synthesis method, voice synthesis apparatus, and recording medium | |
| KR102594081B1 (ko) | 운율적 특징들로부터 파라메트릭 보코더 파라미터들을 예측하기 | |
| KR20230056741A (ko) | 목소리 변환 및 스피치 인식 모델을 사용한 합성 데이터 증강 | |
| Astrinaki et al. | Reactive and continuous control of HMM-based speech synthesis | |
| US11475874B2 (en) | Generating diverse and natural text-to-speech samples | |
| CN111477210A (zh) | 语音合成方法和装置 | |
| CN113963679A (zh) | 一种语音风格迁移方法、装置、电子设备及存储介质 | |
| CN112382274A (zh) | 音频合成方法、装置、设备以及存储介质 | |
| CN112382269A (zh) | 音频合成方法、装置、设备以及存储介质 | |
| Ajayi et al. | Systematic review on speech recognition tools and techniques needed for speech application development | |
| JP2021148942A (ja) | 声質変換システムおよび声質変換方法 | |
| Louw et al. | The Speect text-to-speech entry for the Blizzard Challenge 2016 | |
| Houidhek et al. | Evaluation of speech unit modelling for HMM-based speech synthesis for Arabic | |
| Raitio | Voice source modelling techniques for statistical parametric speech synthesis | |
| Zhai | Research on Emotional Feature Analysis and Recognition in Speech Signal Based on Feature Analysis Modeling | |
| Astrinaki et al. | sHTS: A streaming architecture for statistical parametric speech synthesis | |
| Mishra et al. | Emotion Detection From Speech | |
| Saiteja | Towards building controllable Text to Speech systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |