CN112397050B - 韵律预测方法、训练方法、装置、电子设备和介质 - Google Patents
韵律预测方法、训练方法、装置、电子设备和介质 Download PDFInfo
- Publication number
- CN112397050B CN112397050B CN202011340106.8A CN202011340106A CN112397050B CN 112397050 B CN112397050 B CN 112397050B CN 202011340106 A CN202011340106 A CN 202011340106A CN 112397050 B CN112397050 B CN 112397050B
- Authority
- CN
- China
- Prior art keywords
- prosody
- language
- text
- character
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 80
- 239000013598 vector Substances 0.000 claims abstract description 231
- 230000007704 transition Effects 0.000 claims abstract description 75
- 230000002457 bidirectional effect Effects 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 22
- 239000012634 fragment Substances 0.000 claims description 20
- 230000033764 rhythmic process Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 239000004973 liquid crystal related substance Substances 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 abstract description 19
- 238000003786 synthesis reaction Methods 0.000 abstract description 19
- 230000000694 effects Effects 0.000 abstract description 15
- 238000003058 natural language processing Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
- G10L13/10—Prosody rules derived from text; Stress or intonation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
- G10L13/086—Detection of language
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种韵律预测方法、训练方法、装置、电子设备和介质，涉及语音合成、自然语言处理NLP、深度学习领域。实现方案为：获取包含第一语言的文本片段和第二语言的文本片段的混合文本；分别对第一语言的文本片段和第二语言的文本片段中各字符编码，得到各第一字符向量及各第二字对符向量；根据各字符在混合文本中的语序对第一字符向量和第二字符向量排序，得到向量序列；将向量序列输入经过训练的韵律预测模型，得到第一字符向量和第二字符向量切换位置处的过渡韵律；将过渡韵律拼接在第一语言的文本片段对应的韵律和第二语言的文本片段对应的韵律之间，以得到混合文本的韵律。由此，可以改善混合文本语音合成的韵律效果。
Description
技术领域
本申请涉及语音合成、NLP(Natural Language Processing，自然语言处理)、深度学习等AI(Artificial Intelligence，人工智能)技术领域，具体地，本申请提供了一种韵律预测方法、训练方法、装置、电子设备和介质。
背景技术
语音合成技术，又称TTS(Text to Speech，文语转换)技术，能够将任意文字信息实时转化为标准且流畅的语音朗读出来。语音合成的一个关键步骤是韵律预测，韵律预测又可以细分为韵律层级预测、时长预测和音高预测等，韵律层级在TTS中直接影响合成语音的自然度和流畅度。
随着世界经济的快速发展、国际文化交流的日益频繁，以及互联网技术的高速发展，全球信息化程度迅速提高，在一个语言的文本中经常会出现其他语言的文本，上述文本称为混语文本或混合文本。如何对混合文本的韵律进行预测至关重要。
发明内容
本申请提供了一种用于韵律预测方法、训练方法、装置、电子设备和介质。
根据本申请的一方面，提供了一种韵律预测方法，包括：
获取混合文本；其中，所述混合文本中包含第一语言的文本片段，和包含第二语言的文本片段；
对所述第一语言的文本片段中各字符编码得到对应的第一字符向量，对所述第二语言的文本片段中各所述字符编码得到对应的第二字符向量；
根据各所述字符在所述混合文本中的语序，对所述第一字符向量和所述第二字符向量排序，得到向量序列；
将所述向量序列输入经过训练的韵律预测模型，得到所述第一字符向量和所述第二字符向量切换位置处的过渡韵律；
将所述过渡韵律拼接在所述第一语言的文本片段对应的韵律和所述第二语言的文本片段对应的韵律之间，以得到所述混合文本的韵律。
根据本申请的另一方面，提供了一种韵律预测模型的训练方法，所述韵律预测模型应用于如前述实施例所述韵律预测方法，所述训练方法包括：
获取训练样本，其中，所述训练样本包括参考文本和韵律标注，所述参考文本包括第一语言的文本片段和第二语言的文本片段，所述韵律标注，用于表征所述参考文本中所述第一语言的文本片段和所述第二语言的文本片段之间的过渡韵律；
采用所述训练样本，对所述韵律预测模型进行训练，以使韵律预测模型输出得到的韵律与所述韵律标注之间的差异最小化。
根据本申请的又一方面，提供了一种韵律预测装置，包括：
获取模块，用于获取混合文本；其中，所述混合文本中包含第一语言的文本片段，和包含第二语言的文本片段；
编码模块，用于对所述第一语言的文本片段中各字符编码得到对应的第一字符向量，对所述第二语言的文本片段中各所述字符编码得到对应的第二字符向量；
排序模块，用于根据各所述字符在所述混合文本中的语序，对所述第一字符向量和所述第二字符向量排序，得到向量序列；
输入模块，用于将所述向量序列输入经过训练的韵律预测模型，得到所述第一字符向量和所述第二字符向量切换位置处的过渡韵律；
拼接模块，用于将所述过渡韵律拼接在所述第一语言的文本片段对应的韵律和所述第二语言的文本片段对应的韵律之间，以得到所述混合文本的韵律。
根据本申请的再一方面，提供了一种韵律预测模型的训练装置，所述韵律预测模型应用于如前述实施例所述韵律预测装置，所述训练装置包括：
获取模块，用于获取训练样本，其中，所述训练样本包括参考文本和韵律标注，所述参考文本包括第一语言的文本片段和第二语言的文本片段，所述韵律标注，用于表征所述参考文本中所述第一语言的文本片段和所述第二语言的文本片段之间的过渡韵律；
训练模块，用于采用所述训练样本，对所述韵律预测模型进行训练，以使韵律预测模型输出得到的韵律与所述韵律标注之间的差异最小化。
根据本申请的再一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请上述实施例提出的韵律预测方法，或者，执行本申请上述实施例提出的韵律预测模型的训练方法。
根据本申请的再一方面，提供了一种计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请上述实施例提出的韵律预测方法，或者，执行本申请上述实施例提出的韵律预测模型的训练方法。
根据本申请的再一方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行本申请上述实施例提出的韵律预测方法，或者，执行本申请上述实施例提出的韵律预测模型的训练方法。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请实施例一所提供的韵律预测方法的流程示意图；
图2为本申请实施例二所提供的韵律预测方法的流程示意图；
图3为本申请实施例三所提供的韵律预测方法的流程示意图；
图4为本申请实施例中的韵律预测流程示意图；
图5为本申请实施例四所提供的韵律预测模型的训练方法的流程示意图；
图6为本申请实施例五所提供的韵律预测装置的结构示意图；
图7为本申请实施例六所提供的韵律预测模型的训练装置的结构示意图；
图8是根据本申请实施例的韵律预测方法或韵律预测模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
现有技术中，在中英文混合语言的语音合成中，通常中文和英文各自采用独立的模型来实现韵律的预测。这种方式下，在中英文交界处，预测的韵律效果欠佳，而韵律在语音合成中直接影响合成语音的自然度和流畅度，在韵律效果不佳时，将严重影响合成语音的自然度和流畅度。
因此，本申请主要针对现有技术中预测的韵律效果欠佳，严重影响合成语音的自然度和流畅度的技术问题，提出一种韵律预测方法。
本申请实施例的韵律预测方法，通过获取包含第一语言的文本片段和包含第二语言的文本片段的混合文本，并对第一语言的文本片段中各字符编码得到对应的第一字符向量，以及对第二语言的文本片段中各字符编码得到对应的第二字符向量，之后，根据各字符在混合文本中的语序，对第一字符向量和第二字符向量排序，得到向量序列，并将向量序列输入经过训练的韵律预测模型，得到第一字符向量和第二字符向量切换位置处的过渡韵律，最后，将过渡韵律拼接在第一语言的文本片段对应的韵律和第二语言的文本片段对应的韵律之间，以得到混合文本的韵律。由此，通过韵律预测模型完成切换位置处的过渡韵律的预测，并将过渡韵律拼接在第一语言的文本片段对应的韵律和第二语言的文本片段对应的韵律之间，可以改善混合文本语音合成的韵律效果，进而改善合成语音的自然度和流畅度。
下面参考附图描述本申请实施例的韵律预测方法、训练方法、装置、电子设备和介质。
图1为本申请实施例一所提供的韵律预测方法的流程示意图。
本申请实施例以该韵律预测方法被配置于韵律预测装置中来举例说明，该韵律预测装置可以应用于任一电子设备中，以使该电子设备可以执行韵律预测功能。
其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(PersonalComputer，简称PC)、移动终端、服务器等，移动终端例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
如图1所示，该韵律预测方法可以包括以下步骤：
步骤101，获取混合文本；其中，混合文本中包含第一语言的文本片段，和包含第二语言的文本片段。
本申请实施例中，第一语言和第二语言不同，比如，第一语言可以为中文，第二语言可以为英文，或者，第一语言可以为中文，第二语言可以为法文，等等，对此不作限制。
本申请实施例中，包含第一语言的文本片段的个数可以为至少一个，包含第二语言的文本片段的个数也可以为至少一个。其中，包含同一个文本片段中的各字符在混合文本中的语序是连续的。
举例而言，当混合文本为“苹果十五英寸MacBook Pro笔记本电脑性能优异”时，以第一语言为中文，第二语言为英文示例，该混合文本包含两个第一语言的文本片段，分别为“苹果十五英寸”和“笔记本电脑性能优异”，且该混合文本包含一个第二语言的文本片段，为“MacBook Pro”。
本申请实施例中，混合文本可以为用户通过电子设备输入的文本，其中，输入方式可包括但不限于触摸输入(如滑动、点击等)、键盘输入等，或者，混合文本可以为电子设备接收的文本，比如即时通讯类应用接收到的消息语句，或者，混合文本可以为在线浏览的文本内容，比如网页上的文本内容(例如新闻网页)，或者，混合文本可以为电子设备本地存储的文本内容，等等，本申请对此并不作限制。
本申请实施例中，可以探测用户操作，响应于用户操作，获取混合文本。在获取到混合文本后，可以对该混合文本中各字符的语言进行识别，以确定包含第一语言的文本片段以及包含第二语言的文本片段。
步骤102，对第一语言的文本片段中各字符编码得到对应的第一字符向量，对第二语言的文本片段中各字符编码得到对应的第二字符向量。
本申请实施例中，可以分别为第一语言的文本片段中第二语言的文本片段中的各字符进行编码，得到各字符对应的字符向量。其中，为了便于区分第一语言的文本片段和第二语言的文本片段中的各字符，可以将第一语言的文本片段中各字符称为第一语言字符，将第二语言的文本片段中的各字符称为第二语言字符。并且，为了便于区分各字符对应的字符向量，可以将第一语言的文本片段中各第一语言字符对应的字符向量，称为第一字符向量，将第二语言的文本片段中各第二语言字符对应的字符向量，称为第二字符向量。例如，当第一语言为中文时，第一字符向量可以为文字的字向量，当第二语言为英文时，第二字符向量可以为单词的词向量。
在本申请实施例的一种可能的实现方式中，可以通过编码器，对第一语言的文本片段中的各第一语言字符进行编码，得到第一语言的文本片段中各第一语言字符对应的第一字符向量，同理，也可以通过编码器，对第二语言的文本片段中各第二语言字符进行编码，得到第二语言的文本片段中各第二语言字符对应的第二字符向量。
在本申请实施例的另一种可能的实现方式中，可以基于NLP技术中的特征提取算法，对第一语言的文本片段中各第一语言字符进行特征提取，得到各第一语言字符对应的第一字符向量。同理，也可以对第二语言的文本片段中各第二语言字符进行特征提取，得到各第二语言字符对应的第二字符向量。
需要说明的是，上述仅是示例性实施例，但不限于此，还可以包括本领域已知的其他编码方法或者字符向量计算方法，只要能够得到第一字符向量和第二字符向量即可。
步骤103，根据各字符在混合文本中的语序，对第一字符向量和第二字符向量排序，得到向量序列。
本申请实施例中，可以根据各字符在混合文本中的语序，对第一字符向量和第二字符向量进行排序，得到第一向量序列。也就是说，可以根据各字符在混合文本中的位置，对各字符对应的第一字符向量或第二字符向量进行排序，生成混合文本的向量序列。
步骤104，将向量序列输入经过训练的韵律预测模型，得到第一字符向量和第二字符向量切换位置处的过渡韵律。
本申请实施例中，第一字符向量和第二字符向量之间的切换位置，可以为第一字符向量切换为第二字符向量的位置，和/或，第二字符向量切换为第一字符向量的位置。也就是说，上述切换位置可以包括混合文本中第一语言字符切换为第二语言字符的位置，和/或，第二语言字符切换为第一语言字符的位置。以第一语言为中文，第二语言为英文进行示例，上述切换位置可以包括：混合文本中中文字符切换为英文字符的边界，和/或，英文字符转换为中文字符的边界，即中英边界和/或英中边界。
本申请实施例中，可以将向量序列输入至经过训练的韵律预测模型，得到第一字符向量和第二字符向量切换位置处的过渡韵律。
在本申请实施例的一种可能的实现方式中，在将第一字符向量和第二字符向量排序得到向量序列时，可以在向量序列上标记第一字符向量和第二字符向量之间的切换位置，从而，韵律预测模型可以获取第一字符向量和第二字符向量切换位置，并输出第一字符向量和第二字符向量切换位置处的过渡韵律。
在本申请实施例的另一种可能的实现方式中，韵律预测模型还可以根据向量序列的输入方式，确定第一字符向量和第二字符向量之间的切换位置。例如，可以先输入向量序列中的各第一字符向量，等待预设时间间隔后，输入向量序列中的各第二字符向量，从而韵律预测模型可以根据各字符向量的接收顺序，确定第一字符向量和第二字符向量之间的切换位置。
在本申请实施例的又一种可能的实现方式中，第一字符向量和第二字符向量对应的向量维度可以不同，韵律预测模型还可以根据向量序列中各字符向量对应的向量维度，确定第一字符向量和第二字符向量之间的切换位置。例如，第一字符向量对应的向量维度为维度1，第二字符向量对应的向量维度为维度2，韵律预测模型在接收到向量序列后，可以确定维度发生变化的相邻两个字符向量，从而将这两个字符向量之间的位置，作为第一字符向量和第二字符向量之间的切换位置。
在本申请实施例的再一种可能的实现方式中，输入的混合文本中第一语言的文本片段所包含的字符个数可以为固定值，从而韵律预测模型可以根据向量序列确定第一字符向量和第二字符向量之间的切换位置。
举例而言，当第一语言的文本片段的个数为1，且第二语言的文本片段的个数也为1时，假设第一语言的文本片段包含10个字符，则韵律预测模型在接收到向量序列后，可以确定向量序列中第10个字符向量和第11个字符向量之间的位置，为第一字符向量和第二字符向量之间的切换位置。
再例如，当第一语言的文本片段的个数为2，且第二语言的文本片段的个数为1时，假设第一语言的文本片段包含10个字符，则韵律预测模型在接收到向量序列后，可以确定向量序列中第10个字符向量和第11个字符向量之间的位置，为第一字符向量和第二字符向量之间的切换位置，以及，确定向量序列中倒数第10个字符向量和倒数第11个字符向量之间的位置，为第一字符向量和第二字符向量之间的切换位置。也就是说，混合文本具有两个切换位置，一个切换位置为第一语言字符切换至第二语言字符的位置，另一个切换位置为第二语言字符切换至第一语言字符的位置。比如，当第一语言为中文，第二语言为英文时，一个切换位置可以为中英边界，另一个切换位置可以为英中边界。
步骤105，将过渡韵律拼接在第一语言的文本片段对应的韵律和第二语言的文本片段对应的韵律之间，以得到混合文本的韵律。
本申请实施例中，可以采用第一语言对应的第一语言韵律预测模型，对第一语言的文本片段进行预测，确定第一语言的文本片段对应的韵律。例如，可以预先获取大量的第一语言的训练文本，并对第一语言的训练文本进行韵律标注，采用韵律标注后的第一语言的训练文本，对第一语言韵律预测模型进行标注，可以使得第一语言韵律预测模型学习得到第一语言的文本和韵律之间的对应关系。从而本申请中，可以采用训练后的第一语言韵律预测模型，对第一语言的文本片段进行预测，确定第一语言的文本片段对应的韵律。
同样地，可以采用第二语言对应的第二语言韵律预测模型，对第二语言的文本片段进行预测，确定第二语言的文本片段对应的韵律。例如，可以预先获取大量的第二语言的训练文本，并对第二语言的训练文本进行韵律标注，采用韵律标注后的第二语言的训练文本，对第二语言韵律预测模型进行标注，可以使得第二语言韵律预测模型学习得到第二语言的文本和韵律之间的对应关系。从而本申请中，可以采用训练后的第二语言韵律预测模型，对第二语言的文本片段进行预测，确定第二语言的文本片段对应的韵律。
本申请实施例中，在采用韵律预测模型输出得到第一字符向量和第二字符向量切换位置处的过渡韵律后，可以将过渡韵律拼接在第一语言的文本片段对应的韵律和第二语言的文本片段对应的韵律之间，以得到混合文本的韵律。由此，可以充分利用切换位置附近的信息，完成切换位置处的过渡韵律的预测，并将过渡韵律拼接在第一语言的文本片段对应的韵律和第二语言的文本片段对应的韵律之间，可以改善混合文本语音合成的韵律效果。
作为一种应用场景，该韵律预测方法可以应用于各种需要第一语言和第二语言混合的语音合成领域，例如，可以应用于移动终端侧APP(Application，应用)的新闻播报、同声传译等产品中，具有普遍地推广性。
本申请实施例的韵律预测方法，通过获取包含第一语言的文本片段和包含第二语言的文本片段的混合文本，并对第一语言的文本片段中各字符编码得到对应的第一字符向量，以及对第二语言的文本片段中各字符编码得到对应的第二字符向量，之后，根据各字符在混合文本中的语序，对第一字符向量和第二字符向量排序，得到向量序列，并将向量序列输入经过训练的韵律预测模型，得到第一字符向量和第二字符向量切换位置处的过渡韵律，最后，将过渡韵律拼接在第一语言的文本片段对应的韵律和第二语言的文本片段对应的韵律之间，以得到混合文本的韵律。由此，通过韵律预测模型完成切换位置处的过渡韵律的预测，并将过渡韵律拼接在第一语言的文本片段对应的韵律和第二语言的文本片段对应的韵律之间，可以改善混合文本语音合成的韵律效果，进而改善合成语音的自然度和流畅度。
在本申请实施例的一种可能的实现方式中，为了提升模型的处理效率，以及降低模型的负担，本申请中，并非是将获取到的整个文本，作为混合文本，而是，只截取位于第二语言的文本片段左侧至右侧设定个数的第一语言字符，作为混合文本。下面结合实施例二，对上述过程进行详细说明。
图2为本申请实施例二所提供的韵律预测方法的流程示意图。
如图2所示，该韵律预测方法可以包括以下步骤：
步骤201，获取待预测文本。
本申请实施例中，待预测文本中包含第一语言字符和第二语言字符。其中，待预测文本可以为用户通过电子设备输入的文本，其中，输入方式可包括但不限于触摸输入(如滑动、点击等)、键盘输入等，或者，待预测文本可以为电子设备接收的文本，比如即时通讯类应用接收到的消息语句，或者，待预测文本可以为在线浏览的文本内容，比如网页上的文本内容(例如新闻网页)，或者，待预测文本可以为电子设备本地存储的文本内容，等等，本申请对此并不作限制。
本申请实施例中，可以探测用户操作，响应于用户操作，获取混合文本。
步骤202，识别待预测文本中包含第二语言的文本片段。
本申请实施例中，在获取到待预测文本后，可以对待预测文本中各字符的语言进行识别，以确定包含第二语言的文本片段。
步骤203，对待预测文本从位于第二语言的文本片段之前设定个数的第一语言字符开始截取，截取至位于第二语言的文本片段之后的设定个数的第一语言字符，以得到混合文本。
本申请实施例中，设定个数为预先设置的，比如，该设定个数可以为8个、9个、10个等等，本申请对此并不做限制。
本申请实施例中，可以对待预测文本从位于第二语言的文本片段之前设定个数的第一语言字符开始截取，截取至位于第二语言的文本片段之后的设定个数的第一语言字符，以得到混合文本。也就是说，可以将待预测文本以第二语言的文本片段为中心，从位于中心之前设定个数的第一语言字符开始截取，截取至位于中心之后的设定个数的第一语言字符，以得到混合文本，其中，混合文本的个数可以为一个，或者，也可以为多个。
步骤204，对第一语言的文本片段中各字符编码得到对应的第一字符向量，对第二语言的文本片段中各字符编码得到对应的第二字符向量。
步骤205，根据各字符在混合文本中的语序，对第一字符向量和第二字符向量排序，得到向量序列。
步骤206，将向量序列输入经过训练的韵律预测模型，得到第一字符向量和第二字符向量切换位置处的过渡韵律。
步骤207，将过渡韵律拼接在第一语言的文本片段对应的韵律和第二语言的文本片段对应的韵律之间，以得到混合文本的韵律。
步骤204至207的执行过程，可以参见上述实施例中步骤102至105的执行过程，在此不做赘述。
在本申请实施例的一种可能的实现方式中，为了进一步改善混合文本语音合成的韵律效果，可以识别第一语言的文本片段与第二语言的文本片段之间是否具有标点，在第一语言的文本片段与第二语言的文本片段之间具有标点的情况下，可以根据标点对应的韵律规则，对过渡韵律进行修正。下面结合实施例二，对上述过程进行详细说明。
图3为本申请实施例三所提供的韵律预测方法的流程示意图。
如图3所示，该韵律预测方法可以包括以下步骤：
步骤301，获取混合文本；其中，混合文本中包含第一语言的文本片段，和包含第二语言的文本片段。
步骤301的执行过程可以参见上述实施例中步骤101的执行过程，或者，还可以参见上述实施例中步骤201至203的执行过程，在此不做赘述。
步骤302，对第一语言的文本片段中各字符编码得到对应的第一字符向量，对第二语言的文本片段中各字符编码得到对应的第二字符向量。
步骤303，根据各字符在混合文本中的语序，对第一字符向量和第二字符向量排序，得到向量序列。
步骤304，将向量序列输入经过训练的韵律预测模型，得到第一字符向量和第二字符向量切换位置处的过渡韵律。
步骤305，将过渡韵律拼接在第一语言的文本片段对应的韵律和第二语言的文本片段对应的韵律之间，以得到混合文本的韵律。
步骤302至305的执行过程可以参见上述实施例中步骤102至105的执行过程，在此不做赘述。
步骤306，识别第一语言的文本片段与第二语言的文本片段之间是否具有标点。
本申请实施例中，可以识别第一语言的文本片段与第二语言的文本片段之间是否具有标点，在第一语言的文本片段与第二语言的文本片段之间不具有标点的情况下，可以不做任何处理，即维持将过渡韵律拼接在第一语言的文本片段对应的韵律和第二语言的文本片段对应的韵律之间，以得到混合文本的韵律。而在第一第一语言的文本片段与第二语言的文本片段之间具有标点的情况下，可以执行步骤307。
步骤307，在第一语言的文本片段与第二语言的文本片段之间具有标点的情况下，查询预设的韵律规则，以确定与标点匹配的韵律规则。
本申请实施例中，可以预先建立不同标点对应的韵律规则，比如，“逗号”对应的韵律规则可以为短停顿，“句号”对应的韵律规则可以为长停顿，等等。从而本申请中，在第一语言的文本片段与第二语言的文本片段之间具有标点的情况下，查询预设的韵律规则，以确定与标点匹配的韵律规则。
步骤308，根据标点匹配的韵律规则，对过渡韵律进行修正。
本申请实施例中，在确定与标点匹配的韵律规则之后，可以根据标点匹配的韵律规则，对过渡韵律进行修正。由此，可以改善混合文本语音合成的韵律效果。
在本申请实施例的一种可能的实现方式中，上述图1至图3对应的实施例中，韵律预测模型可以包括双向LSTM(Long Short Term Memory，长短期记忆网络)层和FC(FullyConnected，全连接)层。其中，双向LSTM层可以为一层，或者，也可以为多层，对此不作限制。
双向LSTM层，用于对输入的向量序列进行双向特征提取；全连接层，用于对双向LSTM提取的特征进行分类，得到过渡韵律。
本申请实施例中，通过双向LSTM层对输入的向量序列进行双向特征提取，能够得到融合了位置相关性的向量序列的整体的向量表达，对该向量表达，可以通过FC层进行分类，得到第一字符向量和第二字符向量切换位置处的过渡韵律。由此，可以提升韵律预测模型输出结果的准确性。
可以理解的是，第一语言字符切换为第二语言字符的位置处的过渡韵律，不同于第二语言字符切换为第一语言字符的位置处的过渡韵律，因此，为了进一步改善混合文本语音合成的韵律效果，在本申请实施例的一种可能的实现方式中，FC层可以为至少两个，其中，一个FC层用于对双向LSTM提取的特征分类，得到第一字符向量切换为第二字符向量的位置处的过渡韵律，另一个全连接层用于对双向LSTM提取的特征分类，得到第二字符向量切换为第一字符向量的位置处的过渡韵律。
作为一种示例，以第一语言为中文，第二语言为英文进行示例，韵律预测流程可以如图4所示。假设混合文本为“苹果十五英寸MacBook Pro笔记本电脑性能优异”，对输入混合文本以英文部分为中心，划分为三个部分：左侧中文|英文|右侧中文。将混合文本中的字符转化为embedding向量，具体地，将中文文本中的中文字符转化为字向量(Ec)，将英文文本中的英文字符转换为词向量(Ee)，将字向量和词向量按照其在混合文本中的顺序或位置拼接得到向量序列(Emb)，作为韵律预测模型的输入。韵律预测模型的两个FC层输出得到中英边界韵律(L_label)，英中边界韵律(R_label)。之后，可以将中英边界韵律(L_label)添加在左侧中文部分后的韵律中，将英中边界韵律(R_label)添加在英文部分后的韵律中。
上述实施例为韵律预测过程，在进行韵律预测之前，需要对韵律预测模型进行训练。因此，本申请还提出了一种韵律预测模型的训练方法，其中，韵律预测模型应用于如前述图1至图3任一实施例提出的韵律预测方法。
图5为本申请实施例四所提供的韵律预测模型的训练方法的流程示意图。
如图5所示，该韵律预测模型的训练方法可以包括以下步骤：
步骤501，获取训练样本，其中，训练样本包括参考文本和韵律标注，参考文本包括第一语言的文本片段和第二语言的文本片段，韵律标注，用于表征参考文本中第一语言的文本片段和第二语言的文本片段之间的过渡韵律。
本申请实施例中，参考文本可以为电子设备下载的文本，或者，可以为电子设备本地存储的文本，或者，可以为基于文档编辑类工具处理得到的新文本，等等，对此不作限制。
本申请实施例中，可以获取大量的参考文本，并对参考文本进行识别或切分，得到第一语言的文本片段和第二语言的文本片段，之后，可对参考文本中第一语言的文本片段和第二语言的文本片段之间的切换位置进行韵律标注，以得到训练样本。其中，训练样本包括参考文本和韵律标注，韵律标注用于表征参考文本中第一语言的文本片段和第二语言的文本片段之间的过渡韵律。
举例而言，以第一语言为中文，第二语言为英文进行示例，可以对中英边界，英中边界的过渡韵律进行人工标注，以获取训练样本。
步骤502，采用训练样本，对韵律预测模型进行训练，以使韵律预测模型输出得到的韵律与韵律标注之间的差异最小化。
本申请实施例中，在获取到训练样本后，可以采用训练样本对韵律预测模型进行训练，以使韵律预测模型输出得到的韵律与韵律标注之间的差异最小化。由此，可以采用训练后的韵律预测模型对混合文本中第一语言字符和第二语言字符之间的切换位置处的过渡韵律进行预测，从而可以将过渡韵律拼接在第一语言的文本片段对应的韵律和第二语言的文本片段对应的韵律之间，可以改善混合文本语音合成的韵律效果。
本申请实施例的韵律预测模型的训练方法，通过获取训练样本，其中，训练样本包括参考文本和韵律标注，参考文本包括第一语言的文本片段和第二语言的文本片段，韵律标注，用于表征参考文本中第一语言的文本片段和第二语言的文本片段之间的过渡韵律，采用训练样本，对韵律预测模型进行训练，以使韵律预测模型输出得到的韵律与韵律标注之间的差异最小化。由此，可以采用训练后的韵律预测模型对混合文本中第一语言字符和第二语言字符之间的切换位置处的过渡韵律进行预测，从而可以将过渡韵律拼接在第一语言的文本片段对应的韵律和第二语言的文本片段对应的韵律之间，可以改善混合文本语音合成的韵律效果，进而改善合成语音的自然度和流畅度。
为了实现上述实施例，本申请还提出一种韵律预测装置。
图6为本申请实施例五所提供的韵律预测装置的结构示意图。
如图6所示，该韵律预测装置600包括：获取模块610、编码模块620、排序模块630、输入模块640以及拼接模块650。
其中，获取模块610，用于获取混合文本；其中，混合文本中包含第一语言的文本片段，和包含第二语言的文本片段。
编码模块620，用于对第一语言的文本片段中各字符编码得到对应的第一字符向量，对第二语言的文本片段中各字符编码得到对应的第二字符向量。
排序模块630，用于根据各字符在混合文本中的语序，对第一字符向量和第二字符向量排序，得到向量序列。
输入模块640，用于将向量序列输入经过训练的韵律预测模型，得到第一字符向量和第二字符向量切换位置处的过渡韵律。
拼接模块650，用于将过渡韵律拼接在第一语言的文本片段对应的韵律和第二语言的文本片段对应的韵律之间，以得到混合文本的韵律。
在本申请实施例的一种可能的实现方式中，获取模块610，具体用于：获取待预测文本；识别待预测文本中包含第二语言的文本片段；对待预测文本从位于第二语言的文本片段之前设定个数的第一语言字符开始截取，截取至位于第二语言的文本片段之后的设定个数的第一语言字符，以得到混合文本。
在本申请实施例的一种可能的实现方式中，该韵律预测装置600还可以包括：
查询模块，用于在第一语言的文本片段与第二语言的文本片段之间具有标点的情况下，查询预设的韵律规则，以确定与标点匹配的韵律规则。
修正模块，用于根据标点匹配的韵律规则，对过渡韵律进行修正。
在本申请实施例的一种可能的实现方式中，韵律预测模型包括双向长短期记忆网络LSTM层和全连接层；其中，双向LSTM层，用于对输入的向量序列进行双向特征提取；全连接层，用于对双向LSTM提取的特征进行分类，得到过渡韵律。
在本申请实施例的一种可能的实现方式中，全连接层为至少两个；其中，一个全连接层，用于对双向LSTM提取的特征分类得到第一字符向量切换为第二字符向量的位置处的过渡韵律；另一个全连接层，用于对双向LSTM提取的特征分类得到第二字符向量切换为第一字符向量的位置处的过渡韵律。
需要说明的是，前述图1至图3实施例对韵律预测方法的解释说明也适用于该实施例的韵律预测装置，此处不再赘述。
本申请实施例的韵律预测装置，通过获取包含第一语言的文本片段和包含第二语言的文本片段的混合文本，并对第一语言的文本片段中各字符编码得到对应的第一字符向量，以及对第二语言的文本片段中各字符编码得到对应的第二字符向量，之后，根据各字符在混合文本中的语序，对第一字符向量和第二字符向量排序，得到向量序列，并将向量序列输入经过训练的韵律预测模型，得到第一字符向量和第二字符向量切换位置处的过渡韵律，最后，将过渡韵律拼接在第一语言的文本片段对应的韵律和第二语言的文本片段对应的韵律之间，以得到混合文本的韵律。由此，通过韵律预测模型完成切换位置处的过渡韵律的预测，并将过渡韵律拼接在第一语言的文本片段对应的韵律和第二语言的文本片段对应的韵律之间，可以改善混合文本语音合成的韵律效果，进而改善合成语音的自然度和流畅度。
为了实现上述实施例，本申请还提出一种韵律预测模型的训练装置。韵律预测模型应用于如前述图6实施例提出的韵律预测装置。
图7为本申请实施例六所提供的韵律预测模型的训练装置的结构示意图。
如图7所示，该韵律预测模型的训练装置700可以包括：获取模块710和训练模块720。
其中，获取模块710，用于获取训练样本，其中，训练样本包括参考文本和韵律标注，参考文本包括第一语言的文本片段和第二语言的文本片段，韵律标注，用于表征参考文本中第一语言的文本片段和第二语言的文本片段之间的过渡韵律。
训练模块720，用于采用训练样本，对韵律预测模型进行训练，以使韵律预测模型输出得到的韵律与韵律标注之间的差异最小化。
需要说明的是，前述图5实施例对韵律预测模型的训练方法的解释说明也适用于该实施例的韵律预测模型的训练装置，此处不再赘述。
本申请实施例的韵律预测模型的训练装置，通过获取训练样本，其中，训练样本包括参考文本和韵律标注，参考文本包括第一语言的文本片段和第二语言的文本片段，韵律标注，用于表征参考文本中第一语言的文本片段和第二语言的文本片段之间的过渡韵律，采用训练样本，对韵律预测模型进行训练，以使韵律预测模型输出得到的韵律与韵律标注之间的差异最小化。由此，可以采用训练后的韵律预测模型对混合文本中第一语言字符和第二语言字符之间的切换位置处的过渡韵律进行预测，从而可以将过渡韵律拼接在第一语言的文本片段对应的韵律和第二语言的文本片段对应的韵律之间，可以改善混合文本语音合成的韵律效果，进而改善合成语音的自然度和流畅度。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图8所示，是根据本申请实施例的韵律预测方法或韵律预测模型的训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的韵律预测方法或者韵律预测模型的训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的韵律预测方法或者韵律预测模型的训练方法。
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的韵律预测方法或者韵律预测模型的训练方法对应的程序指令/模块(例如，附图6所示的获取模块610、编码模块620、排序模块630、输入模块640以及拼接模块650，或者，附图7所示的获取模块710和训练模块720)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的韵律预测方法或者韵律预测模型的训练方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据韵律预测方法或者韵律预测模型的训练方法的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(VirtualPrivate Server，虚拟专用服务器)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
根据本申请的实施例，本申请还提供了一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行本申请上述实施例提出的韵律预测方法，或者，执行本申请上述实施例提出的韵律预测模型的训练方法。
根据本申请实施例的技术方案，通过获取包含第一语言的文本片段和包含第二语言的文本片段的混合文本，并对第一语言的文本片段中各字符编码得到对应的第一字符向量，以及对第二语言的文本片段中各字符编码得到对应的第二字符向量，之后，根据各字符在混合文本中的语序，对第一字符向量和第二字符向量排序，得到向量序列，并将向量序列输入经过训练的韵律预测模型，得到第一字符向量和第二字符向量切换位置处的过渡韵律，最后，将过渡韵律拼接在第一语言的文本片段对应的韵律和第二语言的文本片段对应的韵律之间，以得到混合文本的韵律。由此，通过韵律预测模型完成切换位置处的过渡韵律的预测，并将过渡韵律拼接在第一语言的文本片段对应的韵律和第二语言的文本片段对应的韵律之间，可以改善混合文本语音合成的韵律效果，进而改善合成语音的自然度和流畅度。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (14)
1.一种韵律预测方法，所述方法包括：
获取混合文本；其中，所述混合文本中包含第一语言的文本片段，和包含第二语言的文本片段；
对所述第一语言的文本片段中各字符编码得到对应的第一字符向量，对所述第二语言的文本片段中各所述字符编码得到对应的第二字符向量；
根据各所述字符在所述混合文本中的语序，对所述第一字符向量和所述第二字符向量排序，得到向量序列；
将所述向量序列输入经过训练的韵律预测模型，得到所述第一字符向量和所述第二字符向量切换位置处的过渡韵律；
将所述过渡韵律拼接在所述第一语言的文本片段对应的韵律和所述第二语言的文本片段对应的韵律之间，以得到所述混合文本的韵律。
2.根据权利要求1所述的韵律预测方法，其中，所述获取混合文本，包括：
获取待预测文本；
识别所述待预测文本中包含所述第二语言的文本片段；
对所述待预测文本从位于所述第二语言的文本片段之前设定个数的第一语言字符开始截取，截取至位于所述第二语言的文本片段之后的设定个数的所述第一语言字符，以得到所述混合文本。
3.根据权利要求1所述的韵律预测方法，其中，所述将所述向量序列输入经过训练的韵律预测模型，得到所述第一字符向量和所述第二字符向量切换位置处的过渡韵律之后，所述方法还包括：
在所述第一语言的文本片段与所述第二语言的文本片段之间具有标点的情况下，查询预设的韵律规则，以确定与所述标点匹配的韵律规则；
根据所述标点匹配的韵律规则，对所述过渡韵律进行修正。
4.根据权利要求1所述的韵律预测方法，其中，所述韵律预测模型包括双向长短期记忆网络LSTM层和全连接层；
其中，双向LSTM层，用于对输入的所述向量序列进行双向特征提取；
所述全连接层，用于对所述双向LSTM提取的特征进行分类，得到所述过渡韵律。
5.根据权利要求4所述的韵律预测方法，其中，所述全连接层为至少两个；
其中，一个所述全连接层，用于对所述双向LSTM提取的特征分类得到所述第一字符向量切换为所述第二字符向量的位置处的所述过渡韵律；
另一个所述全连接层，用于对所述双向LSTM提取的特征分类得到所述第二字符向量切换为所述第一字符向量的位置处的所述过渡韵律。
6.一种韵律预测模型的训练方法，所述韵律预测模型应用于如权利要求1-5任一项所述韵律预测方法，所述训练方法包括：
获取训练样本，其中，所述训练样本包括参考文本和韵律标注，所述参考文本包括第一语言的文本片段和第二语言的文本片段，所述韵律标注，用于表征所述参考文本中所述第一语言的文本片段和所述第二语言的文本片段之间的过渡韵律；
采用所述训练样本，对所述韵律预测模型进行训练，以使韵律预测模型输出得到的韵律与所述韵律标注之间的差异最小化。
7.一种韵律预测装置，所述装置包括：
获取模块，用于获取混合文本；其中，所述混合文本中包含第一语言的文本片段，和包含第二语言的文本片段；
编码模块，用于对所述第一语言的文本片段中各字符编码得到对应的第一字符向量，对所述第二语言的文本片段中各所述字符编码得到对应的第二字符向量；
排序模块，用于根据各所述字符在所述混合文本中的语序，对所述第一字符向量和所述第二字符向量排序，得到向量序列；
输入模块，用于将所述向量序列输入经过训练的韵律预测模型，得到所述第一字符向量和所述第二字符向量切换位置处的过渡韵律；
拼接模块，用于将所述过渡韵律拼接在所述第一语言的文本片段对应的韵律和所述第二语言的文本片段对应的韵律之间，以得到所述混合文本的韵律。
8.根据权利要求7所述的韵律预测装置，其中，所述获取模块，具体用于：
获取待预测文本；
识别所述待预测文本中包含所述第二语言的文本片段；
对所述待预测文本从位于所述第二语言的文本片段之前设定个数的第一语言字符开始截取，截取至位于所述第二语言的文本片段之后的设定个数的所述第一语言字符，以得到所述混合文本。
9.根据权利要求7所述的韵律预测装置，其中，所述装置还包括：
查询模块，用于在所述第一语言的文本片段与所述第二语言的文本片段之间具有标点的情况下，查询预设的韵律规则，以确定与所述标点匹配的韵律规则；
修正模块，用于根据所述标点匹配的韵律规则，对所述过渡韵律进行修正。
10.根据权利要求7所述的韵律预测装置，其中，所述韵律预测模型包括双向长短期记忆网络LSTM层和全连接层；
其中，双向LSTM层，用于对输入的所述向量序列进行双向特征提取；
所述全连接层，用于对所述双向LSTM提取的特征进行分类，得到所述过渡韵律。
11.根据权利要求10所述的韵律预测装置，其中，所述全连接层为至少两个；
其中，一个所述全连接层，用于对所述双向LSTM提取的特征分类得到所述第一字符向量切换为所述第二字符向量的位置处的所述过渡韵律；
另一个所述全连接层，用于对所述双向LSTM提取的特征分类得到所述第二字符向量切换为所述第一字符向量的位置处的所述过渡韵律。
12.一种韵律预测模型的训练装置，所述韵律预测模型应用于如权利要求7-11任一项所述韵律预测装置，所述训练装置包括：
获取模块，用于获取训练样本，其中，所述训练样本包括参考文本和韵律标注，所述参考文本包括第一语言的文本片段和第二语言的文本片段，所述韵律标注，用于表征所述参考文本中所述第一语言的文本片段和所述第二语言的文本片段之间的过渡韵律；
训练模块，用于采用所述训练样本，对所述韵律预测模型进行训练，以使韵律预测模型输出得到的韵律与所述韵律标注之间的差异最小化。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的韵律预测方法，或者，执行权利要求6所述的韵律预测模型的训练方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的韵律预测方法，或者，执行权利要求6所述的韵律预测模型的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011340106.8A CN112397050B (zh) | 2020-11-25 | 2020-11-25 | 韵律预测方法、训练方法、装置、电子设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011340106.8A CN112397050B (zh) | 2020-11-25 | 2020-11-25 | 韵律预测方法、训练方法、装置、电子设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112397050A CN112397050A (zh) | 2021-02-23 |
| CN112397050B true CN112397050B (zh) | 2023-07-07 |
Family
ID=74603853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011340106.8A Active CN112397050B (zh) | 2020-11-25 | 2020-11-25 | 韵律预测方法、训练方法、装置、电子设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112397050B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191143B (zh) * | 2021-05-25 | 2022-09-16 | 海信视像科技股份有限公司 | 多音字消歧和韵律控制联合方法、系统以及电子设备 |
| CN113327579A (zh) * | 2021-08-03 | 2021-08-31 | 北京世纪好未来教育科技有限公司 | 语音合成方法、装置、存储介质和电子设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1545693A (zh) * | 2001-08-22 | 2004-11-10 | �Ҵ���˾ | 语调生成方法、应用该方法的语音合成装置及语音服务器 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3635230B2 (ja) * | 2000-07-13 | 2005-04-06 | シャープ株式会社 | 音声合成装置および方法、情報処理装置、並びに、プログラム記録媒体 |
| US7496498B2 (en) * | 2003-03-24 | 2009-02-24 | Microsoft Corporation | Front-end architecture for a multi-lingual text-to-speech system |
| CN105989833B (zh) * | 2015-02-28 | 2019-11-15 | 讯飞智元信息科技有限公司 | 多语种混语文本字音转换方法及系统 |
| KR20200045867A (ko) * | 2018-10-23 | 2020-05-06 | 주식회사 케이티 | 다국어 서비스 제공 서버 및 시스템 |
| KR20190101329A (ko) * | 2019-08-12 | 2019-08-30 | 엘지전자 주식회사 | 지능적 음성 출력 방법, 음성 출력 장치 및 지능형 컴퓨팅 디바이스 |
| CN110797005B (zh) * | 2019-11-05 | 2022-06-10 | 百度在线网络技术（北京）有限公司 | 韵律预测方法、装置、设备和介质 |
| CN110767213A (zh) * | 2019-11-08 | 2020-02-07 | 四川长虹电器股份有限公司 | 一种韵律预测方法及装置 |
| CN111754978B (zh) * | 2020-06-15 | 2023-04-18 | 北京百度网讯科技有限公司 | 韵律层级标注方法、装置、设备和存储介质 |
-
2020
- 2020-11-25 CN CN202011340106.8A patent/CN112397050B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1545693A (zh) * | 2001-08-22 | 2004-11-10 | �Ҵ���˾ | 语调生成方法、应用该方法的语音合成装置及语音服务器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112397050A (zh) | 2021-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102577514B1 (ko) | 텍스트 창작 방법, 텍스트 창작 장치, 전자 기기 및 저장 매체 | |
| CN110569846A (zh) | 图像文字识别方法、装置、设备及存储介质 | |
| CN110797005B (zh) | 韵律预测方法、装置、设备和介质 | |
| EP3851977A1 (en) | Method, apparatus, electronic device, and storage medium for extracting spo triples | |
| JP2021111416A (ja) | コアエンティティのタグ付け方法、コアエンティティのタグ付け装置、電子機器、記憶媒体及びコンピュータプログラム | |
| CN112633017B (zh) | 翻译模型训练、翻译处理方法、装置、设备和存储介质 | |
| CN112036162B (zh) | 文本纠错的适配方法、装置、电子设备及存储介质 | |
| CN114495130B (zh) | 基于跨模态信息的文档阅读理解模型训练方法及装置 | |
| JP7159248B2 (ja) | レビュー情報の処理方法、装置、コンピュータ機器及び媒体 | |
| EP3879427A2 (en) | Information extraction method, extraction model training method, apparatus and electronic device | |
| US11361002B2 (en) | Method and apparatus for recognizing entity word, and storage medium | |
| CN113220836A (zh) | 序列标注模型的训练方法、装置、电子设备和存储介质 | |
| CN111950256A (zh) | 断句处理方法、装置、电子设备和计算机存储介质 | |
| KR20210157342A (ko) | 언어 모델의 훈련 방법, 장치, 전자 기기 및 판독 가능 기록 매체 | |
| US11928563B2 (en) | Model training, image processing method, device, storage medium, and program product | |
| CN112397050B (zh) | 韵律预测方法、训练方法、装置、电子设备和介质 | |
| CN110532487B (zh) | 标签的生成方法及装置 | |
| CN111950292A (zh) | 文本纠错模型的训练方法、文本纠错处理方法和装置 | |
| CN112148856B (zh) | 建立标点预测模型的方法、装置 | |
| CN111753532A (zh) | 西文文本的纠错方法和装置、电子设备及存储介质 | |
| CN110728156A (zh) | 翻译方法、装置、电子设备及可读存储介质 | |
| CN112466277B (zh) | 韵律模型训练方法、装置、电子设备及存储介质 | |
| CN111310481B (zh) | 语音翻译方法、装置、计算机设备和存储介质 | |
| CN112528605B (zh) | 文本风格处理方法、装置、电子设备和存储介质 | |
| CN112270169B (zh) | 对白角色预测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |