CN1731510A - 混合语言文语转换 - Google Patents
混合语言文语转换 Download PDFInfo
- Publication number
- CN1731510A CN1731510A CNA2004100558885A CN200410055888A CN1731510A CN 1731510 A CN1731510 A CN 1731510A CN A2004100558885 A CNA2004100558885 A CN A2004100558885A CN 200410055888 A CN200410055888 A CN 200410055888A CN 1731510 A CN1731510 A CN 1731510A
- Authority
- CN
- China
- Prior art keywords
- word
- character
- text
- syllable
- language
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 15
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000005086 pumping Methods 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 230000000295 complement effect Effects 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000010189 synthetic method Methods 0.000 claims description 4
- 238000010281 constant-current constant-voltage charging Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 230000033764 rhythmic process Effects 0.000 description 12
- 238000001914 filtration Methods 0.000 description 7
- 238000009434 installation Methods 0.000 description 6
- 101000713310 Homo sapiens Sodium bicarbonate cotransporter 3 Proteins 0.000 description 5
- 102100036911 Sodium bicarbonate cotransporter 3 Human genes 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- UXUFTKZYJYGMGO-CMCWBKRRSA-N (2s,3s,4r,5r)-5-[6-amino-2-[2-[4-[3-(2-aminoethylamino)-3-oxopropyl]phenyl]ethylamino]purin-9-yl]-n-ethyl-3,4-dihydroxyoxolane-2-carboxamide Chemical compound O[C@@H]1[C@H](O)[C@@H](C(=O)NCC)O[C@H]1N1C2=NC(NCCC=3C=CC(CCC(=O)NCCN)=CC=3)=NC(N)=C2N=C1 UXUFTKZYJYGMGO-CMCWBKRRSA-N 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000007306 turnover Effects 0.000 description 2
- 241001672694 Citrus reticulata Species 0.000 description 1
- 101150013030 FAN1 gene Proteins 0.000 description 1
- QZOCOXOCSGUGFC-KIGPFUIMSA-N SCB3 Chemical compound CCC(C)CCCC[C@@H](O)[C@H]1[C@H](CO)COC1=O QZOCOXOCSGUGFC-KIGPFUIMSA-N 0.000 description 1
- QZOCOXOCSGUGFC-UHFFFAOYSA-N SCB3 Natural products CCC(C)CCCCC(O)C1C(CO)COC1=O QZOCOXOCSGUGFC-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
Abstract
一种用于混合语言文语转换合成的方法，包括接收(220)两种语言的混合语言文本字符串。然后，分离步骤(23)将文本字符串内的文本分离为：(i)基于语音的字符的字符串，每一字符代表一个单一音节；(ii)或包含一个或多个单词的单词字符串，该单词由字母表的字母形成，并且一些单词代表多于一个音节。为每一基于音节的字符指定语音单元(240)，并为每一单词指定音素(260)。选择(250，270)、拼接(275)并合成(285)语音单元和音素的单独的声学单元。
Description
技术领域
本发明总的来说涉及文语转换(TTS)合成。具体的说，本发明适用于多语言文本合成发音的字母到语音的转换。
背景技术
文语(TTS)转换，通常被称为拼接文语转换合成，允许电子装置接收输入文本字符串，并以合成语音的形式提供该字符串的转换的表示。然而，可能需要一种装置合成来自数目不定的接收文本字符串的语音，这将导致在提供高质量的实际合成语音时出现困难。一个难点是基于在字母到语音转换中，根据其他相邻字母以及在要合成的文本段中的位置，相同字母或字母组可能具有不同的发音以及元音重音/重点。
出现了混合语言TTS合成，并将其应用到多个领域，例如呼叫中心和手持装置等。在下文中，混合语言TTS指的是用于可从文本字符串的分析中识别和检测两种或多种语言的语音合成技术。当考虑两种语言文本字符串的混合语言TTS时，一种包含大部分文本的占有优势的语言通常被称为主要语言，并且另一种是次要语言。通常，例如亚洲语言(普通话、广东话、日语、韩语、泰语等)的主要语言和英语混合。
在基于拼接合成的TTS系统中，通过将若干语音段拼接在一起合成话语。虽然将拼接语音合成被认为是实现实际混合语言TTS系统的非常有希望的方法，但是识别语音单元、音素以及它们对应的声学单元还是有问题的。同样，在每一拼接点或在两个连续单元之间的听觉不连续性影响了合成的语音质量。此外，在每一拼接点的语音平滑滤波以及在两种语言的合成语音段之间的过渡的平滑滤波也影响了质量。
在此包括权利要求的说明书中，术语“包括”、“包含”或类似术语意在表示非独占的包含，从而包括元素列表的方法或设备并不仅仅包括这些元素，还包括其他未列出的元素。
发明内容
根据本发明的一个方面，提供了一种用于混合语言文语转换合成的方法，该方法包括：
接收至少两种语言的混合语言文本字符串；
将文本字符串内的文本分离成：(i)至少一个基于音节的字符的字符串，每一字符都表示单一音节；(ii)或至少一个包含一个或多个单词的单词符列，这些单词由字母表的字母形成，至少一些单词表示多于一个音节；
为每一基于音节的字符指定语音单元；
为每一单词指定音素，一个或多个音素形成单独的音节；
为语音单元和音素选择单独的声学单元；以及
将单独的声学单元拼接具有对应于混合语言文本字符串的顺序的拼接的有序声学单元；以及
使用拼接的有序声学单元执行语音合成。
适当的，分离的文本还识别两种语言中的哪一个是文本字符串中的主要语言，哪一个是次要语言。
优选的，包含主要语言的文本包括一个或多个伪间隔符(spacer)，指示该文本距离次要语言的位置。
适当的，指定语音单元包括通过最大匹配进行分段，进行最大匹配从而词典内的单词和匹配基于音节文本段的字符的最大数目的连续字符相匹配，该分段提供最大匹配单词。
优选的，指定语音单元包括确定最大匹配单词的词组边界，以识别未用标点明确标识的自然语音停顿。
适当的，指定语音单元包括为每一字符识别语音单元，这里为最大匹配单词的每一字符考虑包括的字符。适当的，存在和每一语音单元相关联的韵律信息。
优选的，指定音素包括识别一个或多个未用标点明确标识的自然边界。适当的，根据部分言语模式，通过预测性单词集束识别自然边界。优选的，使用规则识别该部分言语模式，规则包括：
形容词+名词 ->自然边界；
数字+量词 ->自然边界；
动词+名词 ->自然边界；
副词+动词 ->自然边界；
名词+名词 ->自然边界；
数字+名词 ->自然边界；
动词+动词 ->自然边界；
名词+连词+名词 ->自然边界。以及
适当的，指定音素包括将单词分为形成子单词序列的子单词，并识别音节边界，由此为单独的音节指定一个或多个音素。
识别音节边界优选的包括将各个子单词识别为辅音(C)；元音(V)；以及辅音组(CG)。
适当的，识别音节边界包括以下规则：
VCV->V|CV；VV->V|V；当CC不在CG内时，VCCV->VC|CV；当CC在CG内时，VCCV->V|CCV；VCCCV->VC|CCV；VCCCCV->VC|CCCV，其中“|”表示音节边界。
优选的，在拼接过程中，将声学单元插入各个指示文本距离次要语言的位置的伪间隔符。
适当的，拼接的有序声学单元经历增强，该增强包括在拼接边界合并和声学单元相关联的激励信号。
附图简要说明
为了更易于理解本发明以及实际应用本发明，现在参考如附图所示的优选实施例在附图中：
图1是根据本发明的电子装置的示意性框图；
图2显示可在图1的电子装置上执行的用于混合语言文语转换合成的方法的流程图；以及
图3显示有向非循环图的例子。
具体实施方式
参考图1，以无线电话的形式显示了电子装置100，其包括由总线103可操作地耦合到用户接口104的装置处理器102，用户接口通常是触摸屏或作为选择地是显示屏以及键区。电子装置100还具有话语语料库106，语音合成器110，非易失性存储器120，只读存储器118以及无线通信模块116，它们都通过总线103可操作地耦合到处理器102。语音合成器110具有和扬声器112耦合并驱动扬声器112的输出。语料库106包括单词或音素的表示以及相关的经过采样，数字化和处理的话语波形PUW。换句话说，如下所述，非易失性存储器120(存储模块)用于提供混合语言文语转换(TTS)合成。波形话语语料库106还包括以韵律特征的音素和重音/重点形式的经过采样和数字化的话语波形。
正如本领域普通技术人员所熟知的，射频通信单元116通常是具有共用天线的组合接收机和发射机。射频通信单元116具有经射频放大器耦合到天线的收发机。该收发机还和组合的调制器/解调器耦合，并且该组合调制器/解调器将通信单元116耦合到处理器102。而且，在这个实施例中非易失性存储器120(存储模块)存储用户可编程的电话簿数据库Db，并且只读存储器118存储装置处理器102的操作代码(OC)。
参考图2，其显示了用于混合语言文语转换合成的方法200。在开始步骤210之后，执行从存储器120接收混合语言文本字符串TS的步骤220。混合语言文本字符串TS可能来自由模块116或任意其它装置所接收的文本消息。同样，在这个说明书中所描述的混合语言文本字符串TS通常由至少两种语言形成，并且通过实例的方式，将在下面说明中文字符和字母表字符的组合；文本字符串TS还可包括数字0到9和/或标点符号。
然后提供分离文本步骤230，用于分离文本字符串内的文本为：(i)至少一个基于音节的字符(SBC)的字符串，每一字符表示单一音节；(ii)或至少一个包括一个或多个单词的单词符列，在下文中单词也被称为单词字符串(SOW)，并且由字母表的字母组成，至少一些单词表示多于一个音节。通过本领域普通技术人员熟知的统一代码执行分离文本步骤230。构造统一代码，从而对英语字符(字母)编码使得每一字符由0000-007f的数字表示，并且对汉语字符编码使得每一字符由4e00-9fa5的数字存储。
分离文本步骤还识别文本字符串中的两种语言中哪一种是主要语言，哪一种是次要语言。在此实施例(英语和汉语混合语言文本)中，这通过对汉语字符和英语单词计数来实现。如果汉语字符多于英语单词，则主要语言是汉语，次要语言是英语。作为选择地，如果英语单词多于汉语字符，则主要语言是英语，次要语言是汉语。
为进一步解释方法200，考虑下面四个句子形式的四个文本字符串。
文本字符串1：“英文单词mention可翻译成中文的提及”
文本字符串2：“Watson是一位成功的商人”
文本字符串3：“大儿子目前住在Chicago”
文本字符串4：“中国政府决定参加APEC会议”。
在用于上述四个文本字符串的分离文本步骤230之后，有来自主要语言的四个基于音节的字符串，它们是：
基于音节的字符串1(SBC1)；
“英文单词BLANK1可翻译成中文的提及”
基于音节的字符串2(SBC2)；
“BLANK2是一位成功的商人”
基于音节的字符串3(SBC2)；
“大儿子目前住在BLANK3”
基于音节的字符串4(SBC2)；
“中国政府决定参加BLANK4会议”；
还有四个来自次要语言的单词字符串(SOW)，每一都包括一个或多个单词，并且这些表示如下：
单词字符串1(SOW1)->BLANK1：”mention”
单词字符串2(SOW2)->BLANK2：”Watson”
单词字符串3(SOW3)->BLANK3：”Chicago”
单词字符串4(SOW4)->BLANK4：”APEC”
从以上看出，由于汉语字符多于英语单词，因此主要语言是汉语，次要语言是英语。这是很明显的，因为英语单词用基于音节的字符(SBC)的字符串内的空格表示。因此，包含主要语言的文本包括一个或多个指示文本距离次要语言的位置的伪间隔符(空格BLANK1到BLANK4)。
考虑汉语字符是基于音节的字符的字符串(SBC1-SBC4)，方法200执行指定步骤(240)，用于为每一基于音节的字符(SBC)指定语音单元。指定步骤实际上可以被分为三个子步骤，它们是：(a)文本分析；(b)确定词组边界；以及(c)识别语音单元。
子步骤(a)文本分析实际上通过使用单词词典执行汉语字符的分段和标准化。该词典包括多于80000个单词，在表1中显示了其中的一部分。
| 董董事董事长董事会董事局懂懂得懂事懂行...英英文 |
表1单词词典
分段通过最大匹配选择段(单词)，使得词典(存储在存储器120中)内的单词和最大数目的连续字符相匹配，其中最大数目的连续字符是和基于音节的字符(SBC)的文本段相匹配的最大数目的连续字符。例如，考虑基于音节的字符串1(SBC1)：“英文单词BLANK1可翻译成中文的提及”。分段从第一个字符进行到最后一个字符(句子开始到句子结束)。因此，分段以如下顺序进行：在词典中找到“英”，在词典中找到“英文”，在词典中未找到“英文单”。因此第一个段或第一单词是“英文”。类似的，在词典中找到“单”，在词典中找到“单词”，并且由于下一单词是空格，那么第二段或第二单词是“单词”。跳过空格“BLANK1”(在分段中不分析)。下面，在词典中找到“可”，在词典中未找到“可翻”，因此第三段或第三单词是“可”。类似的，剩余的段或单词是“翻译”、“成”、“中文”、“的”以及“提及”。对基于音节的字符串(SBC2-SBC4)执行相同的分段处理，并且提供最大匹配单词(MMW)，这对于本领域普通技术人员来说是显而易见的。
标准化对于例如数字和标点符号的特殊字符是有用的。标准化使用规则来识别特殊字符，这些特殊字符具有特殊的意思，或根据这些特殊字符的上下文，它们对应的语音单元会有所不同。因此，标准化提供来自特殊字符的标准化字符。同样，由规则库实现标准化，部分规则库如下所示：
标点符号规则：
句号-是句子的结尾，例如->上海是中国最大的城市之一。
小数点->标准化为具有发音“点”，例如->1.234->一点二三四。
URL中的点标准化为具有发音“点”例如->
www.mot.com(www 点mot点com，www dot mot dot com)
冒号规则：
句子暂停，这有Ratio：比分是2∶3(应当被转换为比)，时间：10:05
斜线规则：
分数标志：2/3(三分之二)
日期标志：97/10(九七年十月，October，1997)
逗号规则：
数字标识符：123,456(十二万三千四百五十六，one hundred twentythree thousand three hundred fifty six)
数字字符串规则：
数字：123456(一二三四五六，one two three four five six)
确定词组边界的子步骤(b)使用本领域技术人员公知的最大匹配执行预测性单词集束(分节法)。确定词组边界的目的是识别最大匹配单词(MMW)字符串中未用标点明确标识的自然边界(自然语音停顿)。预测性单词集束是基于部分言语模式的并使用以下规则：
形容词+名词 ->自然边界；
数字+量词 ->自然边界；
动词+名词 ->自然边界；
副词+动词 ->自然边界；
名词+名词 ->自然边界；
数字+名词 ->自然边界；
动词+动词 ->自然边界；以及
名词+连词+名词 ->自然边界。
名词+名词规则是递归的，从而序列中多于两个的名词也提供自然边界(例如，名词+名词+名词；名词+名词+名词+名词等)。同样，动词+动词规则也是递归的。
自然边界标识重点和停顿。因此，对于分段的基于音节的字符串1(SBC1)，自然边界标识如下：
英文单词：名词+名词
可翻译成：动词+动词+动词
中文的提及中名词+连词+名词
所以自然边界(分节法)是：
英文单词|BLANK1|可翻译成|中文的提及。
其中“|”表示词组边界。
此外，SBC2到SBC4的自然边界(分节法)是：
对于SBC2，在分段之后->
BLANK2单是，一位，成功，的，商人
在分节之后->
BLANK2|是|一位成功的商人
对于SCB3，在分段之后->
大，儿子，目前，住，在，BLANK3
在分节之后->
大儿子|目前住在|BLANK3
对于SCB4，在分段之后->
中国，政府，决定，参加，BLANK4，会议
在分节之后->
中国政府决定|参加|BLANK4会议
识别语音单元的子步骤(c)使用来自子步骤(a)和子步骤(b)的结果来为每一基于音节的字符识别语音单元，这里为最大匹配单词的每一基于音节的字符考虑包括的字符。此子步骤还识别自然停顿和标准化字符的语音单元。
如果存储在非易失性存储器120内的语音目录内的单元和在韵律位置以及语境信息中的目标语音单元匹配，则选择该单元。例如，对于经历预测性单词集束(分节)的文本字符串TS1的例子，其具有被识别为如下的自然边界：
英文单词|BLANK1|可翻译成|中文的提及，则在表1示出所选的语音单元。在表1中，和韵律位置相关联的数字影响相关语音单元的音调持续时间(pitch duration)以及能量(例如RMS功率)。在此例子中，数字0表示该语音单元在句子开头；数字1表示语音单元在句子结尾；数字2表示语音单元在词组开头；数字3表示语音单元在词组中间；并且数字4表示语音单元在词组结尾。
| 字符 | 语音单元 | 韵律位置 |
| 英 | ying1 | 0 |
| 文 | wen2 | 3 |
| 单 | dan1 | 3 |
| 词 | ci2 | 4 |
| 可 | ke3 | 2 |
| 翻 | fan1 | 3 |
| 译 | yi4 | 3 |
| 成 | cheng2 | 4 |
| 中 | zhong1 | 2 |
| 文 | wen2 | 3 |
| 的 | de5 | 3 |
| 提 | ti2 | 3 |
| 及 | ji2 | 1 |
表1，用于汉语字符的语音单元和相关韵律位置的例子
在指定步骤(240)之后，方法执行选择步骤(250)，用于为语音单元选择单独的声学单元。(对于基于音节的语言，例如汉语，识别具有韵律位置和语境信息的语音单元来执行单元选择。
基于语音的语言的单元选择过程如下所述。在存储在存储器120内的目录内搜索具有音调和韵律位置的语音并选择该声学单元。如果没有找到，本方法放宽韵律位置的条件，并选择具有相同音调和不同韵律位置的语音。
现在回到分离文本步骤230，并考虑英文单词字符串(SOW)，在指定步骤(260)处理这些单词，为每一单词提供指定的音素，其中一个或多个音素形成单独的音节。指定步骤(260)实际上可分为四个子步骤：(a)标准化；(b)确定词组边界；(c)字母到发音转换；以及(d)确定音节边界。
子步骤(a)执行实际上和上面所述相同的标准化，但使用规则库中的英文文本。
子步骤(b)通过在中国专利申请号03132708.7中描述的过程执行确定词组边界，在该申请完全包括到该说明书中并作为参考。总之，通过统计分析和从多于90,000个抄本的大训练集中选择的试探法执行词组边界的确定。这些试探法存储在非易失性存储器120中。词组边界的目的是识别未由标点明确标识的自然边界(自然语音停顿)。
子步骤(c)的字母到发音的转换解决了根据其他相邻字母以及在要合成的文本段内的位置，相同字母或字母组可能具有不同发音和元音重音/重点这一事实。通过在中国专利申请号03132709.5中说明的过程执行子步骤(c)的字母到发音转换，在此说明书中完全包括该专利申请并作为参考。然而，总之，字母到发音转换包括将单词分段为子单词，子单词形成具有一个或多个包含至少两个字母的子单词的子单词序列。通过分析能够包括所选单词的所有可能的子单词确定该子单词序列。通过使用有向非循环图结构执行该分析。
考虑，例如，如果由步骤260处理所选单词“mention”，则用可能包括选定单词“mention”的所有可能子单词构造图3的有向非循环图DAG。通过为每一子单词提供预定加权WT，例如，子单词“ment”、“men”、“tion”具有各自的加权88，86和204。因此，遍历DAG，并且选择具有形成所选单词的最大组合(总计)加权WT的子单词，将其标识为如在中国专利申请号03132709.5中所述的音素。在单词“mention”的情况中，将选择子单词“men”和“tion”，因此一旦识别了音节边界，其后就可以识别这些子单词的音素。
子步骤(d)使用以下规则执行音节边界的识别：
辅音(C)包括任意下列子单词：TS，b，ch，d，dh，f，g，hh，k，l，m，n，ng，，p，r，s，sh，t，th，v，w，y，z，zh；
元音(V)包括任意下列子单词：
aa，ae，ao，aw，ax，ay，eh，er，ey，ih，iy，ow，oy，uh，uw；
辅音组(CG)包括任意下列子单词：
bl，br，by，dr，dy，fl，fr，fy，gl，gr，gw，gy，kl，kr，kw，ky，ly，my，ny，pl，pr，py，sk，sl，sm，sn，sp，st，tr。
边界规则1：VCV->V|CV；
边界规则2：VV->V|V；
边界规则3：VCCV->VC|CV，当CC不是在CG内时；
边界规则4：VCCV->V|CCV，当CC在CG内时；
边界规则5：VCCCV->VC|CCV；
边界规则6：VCCCCV->VC|CCCV；
其中“|”表示音节边界。
在子步骤(d)识别音节边界之后，为例如“men”和“tion”的这些子单词识别音素。因此，识别步骤识别包含子单词的每一单词的音素，并且，正如本领域技术人员所熟知的，多于一个的音素可以形成单独的音节。例如，对于文本字符串1到文本字符串3的例子，基于自然边界的标识选择音素和相关的韵律信息。这样的音素和韵律信息(韵律位置)显示在表2中，其中M表示该单词在句子的开头或中间(也就是，不是句子的结尾)；F表示该单词在句子的结尾(最后位置)；O表示该音节在单词的开头或中间(也就是，不是单词的结尾)；F表示该音节在单词的结尾(最后位置)。
| 单词 | 音素 | 韵律位置 |
| MENTION | m’ehn | MO |
| MENTION | Shaxn | MF |
| Watson | Wat | MO |
| Watson | Son | MO |
| Chicago | Ch | FO |
| Chicago | Kar | FO |
| Chicago | Gow | FF |
表2，英语文本的音素和相关韵律位置的例子
在指定步骤260之后，提供选择步骤270，用于基于包括一个或多个音素的可变长度单元(VLU)模型选择单独的声学单元，尽管用于汉语的声学单元由于每一声学单元都包括一个音节而因此长度并不可变。
对于VLU，有5种可能的类型：
类型1：普通辅音+元音，半元音+元音，鼻音+元音。普通辅音包括爆破音，摩擦音，以及齿音等。
类型2：类型1+鼻音/半元音。
类型3：sub-CV。它是类型1或类型2的一部分。
类型4：辅音字首和辅音字首组。辅音字首是用作音节开头的辅音，而辅音字首组主要指的是爆破音之后跟随齿音。(例如s+t)
类型5：辅音结尾和辅音结尾组。
从以上看出，如果一个单词有两个连续的元音或半元音，并且在之前和之后都是元音，在存储在存储器120的语音目录中进行最大匹配。如果没有匹配，本方法会逐音节搜索并指定声学单元。在此实施例中，总是执行最大匹配。这个声学单元选择的目的是减少拼接点，并选择具有相同或相似韵律约束条件的声学单元。
在选择步骤250和270之后，在拼接步骤275合并产生的声学单元，其中将单独的声学单元以对应由方法200处理的混合语言文本的顺序拼接为有序声学单元。在拼接过程中，使用文本字符串1到4的例子，将由VLU(音素)形成的声学单元插入到对应文本字符串中的各个伪间隔符(BLANK1到BLANK4)中。
在拼接过程中，首先对由声学单元识别的参数比特流进行解码，形成包含两个主要分量的帧，这两个分量是：包括每一帧的LSP[i]向量的声域参数LSP(线谱对)；以及用激励流Exc[i][j]表示的激励信号(i是帧索引，j是帧内的样本索引)。还获得每一帧i的粗略音调估计OT[i]，形成比特流的自适应滞后参数。如本领域技术人员所熟知的，一个声学单元可以包括若干帧。对于每一声学单元是逐帧呈现上述三个参数。同样，对于各帧，参数LSP[i]是向量，并包括10个元素，它们的例子有：[1227，2027，3884，9108，12892，16454，19866，23019，26304，29553]。此外，参数Exc[i][j]是包括240个元素的向量，它们的例子有：[0，0，-1，-3，0，2，4，10，6，-1，...]；参数OT[i]是在范围[40，150]内的整数，例如78。
下面，在增强步骤280执行增强，在此拼接的有序声学单元经历增强，其中包括：
(a)在两个相邻声学单元的拼接边界对每一帧的音调估计OT[i]进行平滑滤波。线性内插在边界的两个单元的音调值，以获得经过平滑滤波的新值OT[T](用于在前或在先单元的尾帧)以及OT[Hu](用于下一单元的开始帧)；
(b)将在两个相邻声学单元拼接边界的激励信号合并。将连续单元的第一子帧激励信号和前一单元的最后一个子帧通过三角形窗合并为新的子帧；
(c)在相邻声学单元拼接边界上内插LSP[i]向量。通过内插前一单元最后一个LSP[I]向量以及后一单元的第一个LSP[I]向量而获得对应于合并的激励信号的每一LSP[i]向量。从而构成级联LSP[i]向量序列。
在执行语音合成步骤285时，将连续声学单元的拼接的LSP[i]向量序列转换为预测性系数a[i][j](i是帧索引，j是预测顺序)。通过将包含OT[T]，OT[Hu]等的拼接的经过平滑滤波的激励序列馈入语音合成器110重建平滑滤波，从而通过将预测性系数a[i][j]以及相关的经过平滑滤波的激励序列转换为波形合成语音，将多语言文本字符串TS合成为语音。同样，正如本领域技术人员所熟知的，还可以使用元音上的重音(主要，次要或适当时没有重音)，通过适当的重音强调，来提供改进的合成语音质量。
在执行语音合成285之后，方法200在结束步骤290终止。很明显，虽然为举例和说明的目的将汉语识别为主要语言，英语也可以作为主要语言。当英语是主要语言时，英语文本中包括伪单词间隔符，指示文本距离次要语言(例如汉语)的位置。此外，在拼接过程中，将声学单元插入各个指示文本距离次要语言的位置的伪间隔符中。应当清楚，虽然步骤240和250被描述为在步骤260和270之前，步骤260和270可在步骤240和250之前或同时实施。
有利的，本发明提供了一种混合语言TTS合成，可用在例如手持或便携式装置的电子装置上，诸如膝上型计算机、个人数字助理、蜂窝电话以及许多其它装置。
以上详细说明仅提供了优选的示例性实施例，并且不意在限定本发明的范围、应用性或配置。而是，优选的示例性实施例的详细说明为那些本领域普通技术人员提供了实施本发明的优选示例性实施例的开放说明。应当理解，在不脱离如在所附的权利要求中阐明的本发明的精神和范围的情况下，可在元件功能和配置上作出多种改变。
Claims (15)
1.一种用于混合语言文语转换合成的方法，该方法包括：
接收至少两种语言的混合语言文本字符串；
将文本字符串内的文本分离成：(i)至少一个基于音节的字符的字符串，每一字符都表示单一音节；(ii)或至少一个包含一个或多个由字母表的字母形成的单词的单词符列，至少一些单词表示多于一个音节；
为每一基于音节的字符指定语音单元；
为每一单词指定音素，一个或多个音素形成单独的音节；
为语音单元和音素选择单独的声学单元；以及
将单独的声学单元拼接为具有对应于混合语言文本字符串的顺序的拼接的有序声学单元；以及
使用拼接的有序声学单元执行语音合成。
2.如权利要求1的所述方法，其中，分离文本识别两种语言中的哪一种是文本字符串内的主要语言，哪一种是次要语言。
3.如权利要求1的所述方法，其中，包含主要语言的文本包括一个或多个指示该文本距离次要语言的位置的伪间隔符。
4.如权利要求1的所述方法，其中，指定语音单元包括通过最大匹配进行分段，进行最大匹配使得词典内的单词和最大数目的连续字符相匹配，并且最大数目的连续字符是和基于音节的字符文本段相匹配的最大数目连续字符，该分段提供最大匹配单词。
5.如权利要求4的所述方法，其中，指定语音单元包括，确定最大匹配单词的词组边界，以识别未由标点明确标识的自然语音停顿。
6.如权利要求5的所述方法，其中，指定语音单元包括，为每一字符识别语音单元，其中为最大匹配单词的每一字符考虑包括的字符。
7.如权利要求6的所述方法，其中，存在和每一语音单元相关联的韵律信息。
8.如权利要求6的所述方法，其中，指定音素包括，识别一个或多个未由标点明确标识的自然边界。
9.如权利要求8的所述方法，其中，通过基于部分言语模式的预测性单词集束识别自然边界。
10.如权利要求9的所述方法，其中，使用规则标识部分言语模式，这些规则包括：
形容词+名词 -＞自然边界；
数字+量词 -＞自然边界；
动词+名词 -＞自然边界；
副词+动词 -＞自然边界；
名词+名词 -＞自然边界；
数字+名词 -＞自然边界；
动词+动词 -＞自然边界；
名词+连词+名词 -＞自然边界。
11.如权利要求8的所述方法，其中，指定音素包括将单词分段为形成子单词序列的子单词，并识别音节边界，从而将一个或多个音素指定到单独的音节。
12.如权利要求11的所述方法，其中，识别音节边界优选的包括，将每一子单词识别为辅音(C)；元音(V)；以及辅音组(CG)。
13.如权利要求11的所述方法，其中识别音节边界包括以下规则：
VCV-＞V|CV；VV-＞V|V；VCCV-＞VC|CV，当CC不是在CG内时；VCCV-＞V|CCV，当CC在CG内时；VCCCV-＞VC|CCV；VCCCCV-＞VC|CCCV；其中“|”代表音节边界。
14.如权利要求1的所述方法，其中，在拼接过程中，将声学单元插入各个指示文本距离次要语言的位置的伪间隔符中。
15.如权利要求11的所述方法，其中，拼接的有序声学单元经历增强，该增强包括在拼接边界将和声学单元相关联的激励信号合并。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2004100558885A CN1731510B (zh) | 2004-08-05 | 2004-08-05 | 混合语言文语转换 |
| SG200504796A SG119357A1 (en) | 2004-08-05 | 2005-08-01 | Mixed-lingual text to speech |
| JP2005226493A JP4473193B2 (ja) | 2004-08-05 | 2005-08-04 | 混合言語テキスト音声合成方法および音声合成装置 |
| KR1020050071348A KR20060049290A (ko) | 2004-08-05 | 2005-08-04 | 혼성－언어 텍스트의 음성 변환 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2004100558885A CN1731510B (zh) | 2004-08-05 | 2004-08-05 | 混合语言文语转换 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1731510A true CN1731510A (zh) | 2006-02-08 |
| CN1731510B CN1731510B (zh) | 2010-12-08 |
Family
ID=35963851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2004100558885A Expired - Lifetime CN1731510B (zh) | 2004-08-05 | 2004-08-05 | 混合语言文语转换 |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP4473193B2 (zh) |
| KR (1) | KR20060049290A (zh) |
| CN (1) | CN1731510B (zh) |
| SG (1) | SG119357A1 (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104517605A (zh) * | 2014-12-04 | 2015-04-15 | 北京云知声信息技术有限公司 | 一种用于语音合成的语音片段拼接系统和方法 |
| CN105096953A (zh) * | 2015-08-11 | 2015-11-25 | 东莞市凡豆信息科技有限公司 | 实现多语种混合使用的语音识别方法 |
| CN105989833A (zh) * | 2015-02-28 | 2016-10-05 | 讯飞智元信息科技有限公司 | 多语种混语文本字音转换方法及系统 |
| CN106098056A (zh) * | 2016-06-14 | 2016-11-09 | 腾讯科技（深圳）有限公司 | 一种语音新闻的处理方法、新闻服务器及系统 |
| CN106297764A (zh) * | 2015-05-27 | 2017-01-04 | 科大讯飞股份有限公司 | 一种多语种混语文本处理方法及系统 |
| CN106462579A (zh) * | 2014-10-15 | 2017-02-22 | 微软技术许可有限责任公司 | 为选定上下文构造词典 |
| CN107077638A (zh) * | 2014-06-13 | 2017-08-18 | 微软技术许可有限责任公司 | 基于先进的递归神经网络的“字母到声音” |
| CN108305611A (zh) * | 2017-06-27 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 文本转语音的方法、装置、存储介质和计算机设备 |
| CN109086026A (zh) * | 2018-07-17 | 2018-12-25 | 阿里巴巴集团控股有限公司 | 播报语音的确定方法、装置和设备 |
| CN110211562A (zh) * | 2019-06-05 | 2019-09-06 | 深圳前海达闼云端智能科技有限公司 | 一种语音合成的方法、电子设备及可读存储介质 |
| CN110797005A (zh) * | 2019-11-05 | 2020-02-14 | 百度在线网络技术（北京）有限公司 | 韵律预测方法、装置、设备和介质 |
| CN111179904A (zh) * | 2019-12-31 | 2020-05-19 | 出门问问信息科技有限公司 | 混合文语转换方法及装置、终端和计算机可读存储介质 |
| CN111292720A (zh) * | 2020-02-07 | 2020-06-16 | 北京字节跳动网络技术有限公司 | 语音合成方法、装置、计算机可读介质及电子设备 |
| CN112334974A (zh) * | 2018-10-11 | 2021-02-05 | 谷歌有限责任公司 | 使用跨语言音素映射的语音生成 |
| CN112349272A (zh) * | 2020-10-15 | 2021-02-09 | 北京捷通华声科技股份有限公司 | 语音合成方法、装置、存储介质及电子装置 |
| CN112652294A (zh) * | 2020-12-25 | 2021-04-13 | 深圳追一科技有限公司 | 语音合成方法、装置、计算机设备和存储介质 |
| CN112735373A (zh) * | 2020-12-31 | 2021-04-30 | 科大讯飞股份有限公司 | 语音合成方法、装置、设备及存储介质 |
| CN113160792A (zh) * | 2021-01-15 | 2021-07-23 | 广东外语外贸大学 | 一种多语种的语音合成方法、装置和系统 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5541124B2 (ja) * | 2010-11-30 | 2014-07-09 | 富士通株式会社 | 言語処理装置、音声合成装置、言語処理方法及び言語処理プログラム |
| KR102615290B1 (ko) * | 2016-09-01 | 2023-12-15 | 에스케이텔레콤 주식회사 | 발음 사전 학습 방법 및 장치 |
| JP6897132B2 (ja) * | 2017-02-09 | 2021-06-30 | ヤマハ株式会社 | 音声処理方法、音声処理装置およびプログラム |
| CN107481713B (zh) * | 2017-07-17 | 2020-06-02 | 清华大学 | 一种混合语言语音合成方法及装置 |
| CN112735378B (zh) * | 2020-12-29 | 2024-05-31 | 科大讯飞股份有限公司 | 泰语语音合成方法、装置以及设备 |
-
2004
- 2004-08-05 CN CN2004100558885A patent/CN1731510B/zh not_active Expired - Lifetime
-
2005
- 2005-08-01 SG SG200504796A patent/SG119357A1/en unknown
- 2005-08-04 KR KR1020050071348A patent/KR20060049290A/ko not_active Application Discontinuation
- 2005-08-04 JP JP2005226493A patent/JP4473193B2/ja active Active
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107077638A (zh) * | 2014-06-13 | 2017-08-18 | 微软技术许可有限责任公司 | 基于先进的递归神经网络的“字母到声音” |
| CN106462579B (zh) * | 2014-10-15 | 2019-09-27 | 微软技术许可有限责任公司 | 为选定上下文构造词典 |
| US10296583B2 (en) | 2014-10-15 | 2019-05-21 | Microsoft Technology Licensing Llc | Construction of a lexicon for a selected context |
| CN106462579A (zh) * | 2014-10-15 | 2017-02-22 | 微软技术许可有限责任公司 | 为选定上下文构造词典 |
| CN104517605A (zh) * | 2014-12-04 | 2015-04-15 | 北京云知声信息技术有限公司 | 一种用于语音合成的语音片段拼接系统和方法 |
| CN104517605B (zh) * | 2014-12-04 | 2017-11-28 | 北京云知声信息技术有限公司 | 一种用于语音合成的语音片段拼接系统和方法 |
| CN105989833B (zh) * | 2015-02-28 | 2019-11-15 | 讯飞智元信息科技有限公司 | 多语种混语文本字音转换方法及系统 |
| CN105989833A (zh) * | 2015-02-28 | 2016-10-05 | 讯飞智元信息科技有限公司 | 多语种混语文本字音转换方法及系统 |
| CN106297764A (zh) * | 2015-05-27 | 2017-01-04 | 科大讯飞股份有限公司 | 一种多语种混语文本处理方法及系统 |
| CN105096953B (zh) * | 2015-08-11 | 2019-03-12 | 东莞市凡豆信息科技有限公司 | 实现多语种混合使用的语音识别方法 |
| CN105096953A (zh) * | 2015-08-11 | 2015-11-25 | 东莞市凡豆信息科技有限公司 | 实现多语种混合使用的语音识别方法 |
| CN106098056A (zh) * | 2016-06-14 | 2016-11-09 | 腾讯科技（深圳）有限公司 | 一种语音新闻的处理方法、新闻服务器及系统 |
| CN108305611A (zh) * | 2017-06-27 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 文本转语音的方法、装置、存储介质和计算机设备 |
| CN109086026B (zh) * | 2018-07-17 | 2020-07-03 | 阿里巴巴集团控股有限公司 | 播报语音的确定方法、装置和设备 |
| CN109086026A (zh) * | 2018-07-17 | 2018-12-25 | 阿里巴巴集团控股有限公司 | 播报语音的确定方法、装置和设备 |
| CN112334974A (zh) * | 2018-10-11 | 2021-02-05 | 谷歌有限责任公司 | 使用跨语言音素映射的语音生成 |
| US12080271B2 (en) | 2018-10-11 | 2024-09-03 | Google Llc | Speech generation using crosslingual phoneme mapping |
| CN110211562A (zh) * | 2019-06-05 | 2019-09-06 | 深圳前海达闼云端智能科技有限公司 | 一种语音合成的方法、电子设备及可读存储介质 |
| CN110211562B (zh) * | 2019-06-05 | 2022-03-29 | 达闼机器人有限公司 | 一种语音合成的方法、电子设备及可读存储介质 |
| CN110797005B (zh) * | 2019-11-05 | 2022-06-10 | 百度在线网络技术（北京）有限公司 | 韵律预测方法、装置、设备和介质 |
| CN110797005A (zh) * | 2019-11-05 | 2020-02-14 | 百度在线网络技术（北京）有限公司 | 韵律预测方法、装置、设备和介质 |
| CN111179904A (zh) * | 2019-12-31 | 2020-05-19 | 出门问问信息科技有限公司 | 混合文语转换方法及装置、终端和计算机可读存储介质 |
| CN111292720B (zh) * | 2020-02-07 | 2024-01-23 | 北京字节跳动网络技术有限公司 | 语音合成方法、装置、计算机可读介质及电子设备 |
| CN111292720A (zh) * | 2020-02-07 | 2020-06-16 | 北京字节跳动网络技术有限公司 | 语音合成方法、装置、计算机可读介质及电子设备 |
| CN112349272A (zh) * | 2020-10-15 | 2021-02-09 | 北京捷通华声科技股份有限公司 | 语音合成方法、装置、存储介质及电子装置 |
| CN112652294A (zh) * | 2020-12-25 | 2021-04-13 | 深圳追一科技有限公司 | 语音合成方法、装置、计算机设备和存储介质 |
| CN112652294B (zh) * | 2020-12-25 | 2023-10-24 | 深圳追一科技有限公司 | 语音合成方法、装置、计算机设备和存储介质 |
| CN112735373A (zh) * | 2020-12-31 | 2021-04-30 | 科大讯飞股份有限公司 | 语音合成方法、装置、设备及存储介质 |
| CN112735373B (zh) * | 2020-12-31 | 2024-05-03 | 科大讯飞股份有限公司 | 语音合成方法、装置、设备及存储介质 |
| CN113160792A (zh) * | 2021-01-15 | 2021-07-23 | 广东外语外贸大学 | 一种多语种的语音合成方法、装置和系统 |
| CN113160792B (zh) * | 2021-01-15 | 2023-11-17 | 广东外语外贸大学 | 一种多语种的语音合成方法、装置和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| SG119357A1 (en) | 2006-02-28 |
| JP4473193B2 (ja) | 2010-06-02 |
| KR20060049290A (ko) | 2006-05-18 |
| JP2006048056A (ja) | 2006-02-16 |
| CN1731510B (zh) | 2010-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1731510A (zh) | 混合语言文语转换 | |
| CN1183510C (zh) | 根据基音信息识别声调语言的方法与设备 | |
| CN1159702C (zh) | 具有情感的语音-语音翻译系统和方法 | |
| US9761219B2 (en) | System and method for distributed text-to-speech synthesis and intelligibility | |
| CN1057625C (zh) | 使用神经网络变换文本为声频信号的方法 | |
| CN100347741C (zh) | 移动语音合成方法 | |
| CN112151005B (zh) | 一种中英文混合的语音合成方法及装置 | |
| CN1135526C (zh) | 根据词汇发音生成后词汇发音的方法、设备和产品 | |
| CN1297561A (zh) | 语音合成系统与语音合成方法 | |
| Prakash et al. | Building multilingual end-to-end speech synthesisers for indian languages | |
| US11587561B2 (en) | Communication system and method of extracting emotion data during translations | |
| CN108109610B (zh) | 一种模拟发声方法及模拟发声系统 | |
| CN113409761B (zh) | 语音合成方法、装置、电子设备以及计算机可读存储介质 | |
| Latorre et al. | Combining speakers of multiple languages to improve quality of neural voices | |
| CN114255738A (zh) | 语音合成方法、装置、介质及电子设备 | |
| Hamlaoui et al. | BULBasaa: A bilingual Basaá-French speech corpus for the evaluation of language documentation tools | |
| CN1956057A (zh) | 一种基于决策树的语音时长预测装置及方法 | |
| CN109859746B (zh) | 一种基于tts的语音识别语料库生成方法及系统 | |
| CN115762471A (zh) | 一种语音合成方法、装置、设备及存储介质 | |
| CN1753083A (zh) | 语音标记方法、系统及基于语音标记的语音识别方法和系统 | |
| CN1629933A (zh) | 用于双语连接语音合成的声单元 | |
| Nguyen | Hmm-based vietnamese text-to-speech: Prosodic phrasing modeling, corpus design system design, and evaluation | |
| Korostik et al. | The stc text-to-speech system for blizzard challenge 2019 | |
| CN114387947B (zh) | 一种适用于电商直播中虚拟主播的自动语音合成方法 | |
| CN1275173C (zh) | 英语音标分解与合成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: NIUANSI COMMUNICATION CO., LTD. Free format text: FORMER OWNER: MOTOROLA INC. Effective date: 20101008 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: ILLINOIS STATE, USA TO: DELAWARE STATE, USA |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20101008 Address after: Delaware Applicant after: NUANCE COMMUNICATIONS, Inc. Address before: Illinois, USA Applicant before: Motorola, Inc. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CX01 | Expiry of patent term | ||
| CX01 | Expiry of patent term |
Granted publication date: 20101208 |