CN1815551A - 在方言语音合成系统中进行文本方言化处理的方法 - Google Patents

Abstract

本发明公开了一种在方言语音合成系统中对输入文本进行文本方言化处理的方法，包括文本方言化处理思想，将文本方言化处理内嵌入方言语音合成系统的方法，是建立普通话与目标方言之间的同意翻译的方言化规则，根据该规则，将输入方言语音合成系统的普通话文本转化成方言文本，将方言文本送入语音合成模块，来提高合成方言语音的可懂度和自然度。引入文本方言化技术处理手段将海量的普通话文本转换为方言文本后运用于合成系统录音语料库的语料收集。

Description

在方言语音合成系统中进行文本方言化处理的方法

技术领域

本发明涉及方言语音合成领域，具体是一种将普通话输入的待合成文本经过方言化处理，使得最终合成的方言语音更符合方言习惯的一种方法。

背景技术

随着社会的发展和娱乐增值等服务的兴起，对方言语音合成系统的需求日益突出，也有不少方言(如粤语、东北话、四川话等)语音合成系统问世。

但是，目前的方言语音合成系统存在如下的问题：

第一，方言语音合成系统忠实原文，对输入文本逐字进行合成对应的语音。然而输入方言语音合成系统的文本往往是普通话文本，直接按字面合成的方言非常拗口甚至不属合法的方言表述，使得最终合成的方言语音不自然甚至难以听懂；

第二，如果让语音合成系统的开发者将待合成的文本自行(手工或者自动)转换为方言文本后再输入合成系统，一定程度上可以第一个问题。但是手工转换将大大降低语音合成系统的自动化水平，而研发自动方言化技术也不是一般开发商所具备的能力；

第三，即使假设输入已全是方言文本，现在的方言语音合成系统在研发时还是会遇到语料的问题。目前主流的语音合成技术是基于大规模语料库的语音合成技术，其录音语料需要从大规模的文本中通过一定的算法挑选出尽可能覆盖各种语音现象的文本。然而目前能够获得的中文文本至少99％以上都是普通话的，因此如何收集足够多的方言文本来设计录音语料库也是方言合成系统必须克服的一个困难。

另外，语音合成系统中有一个文本预处理结果和合成模块所需信息相匹配的问题。在方言合成系统中对输入文本不做任何处理或交由开发者处理，将使得这一信息匹配问题不可控，使得最终方言合成效果不好或者不稳定，最终影响方言合成系统的价值。

发明内容

本发明的目的就是提供一种在方言语音合成系统中进行文本方言化处理的方法，扩大方言语音合成系统的适应文本范围，简化用户的使用和开发，提高方言语音合成系统的品质。

本发明的技术方案是：

一种在方言语音合成系统中进行文本方言化处理的方法，其特征在于：建立普通话与目标方言之间的同意翻译的方言化规则，根据该规则，将输入方言语音合成系统的普通话文本转化成方言文本，将方言文本送入语音合成模块，来提高合成方言语音的可懂度和自然度。

所述的规则是：在符合方言习惯的前提下，建立下列条件与措施之间对应关系，即以某些词语的上下文的词语含义、词性以及该词语所包含的字等信息作为条件，来规定普通话中的某些词语在何种条件下应该进行方言用语替换，以及是否需要调换方言用语在句中的顺序作为措施。

所述的方法，其特征在于包括以下步骤：

(1)、方言化规则的建立：

a、首先建立方言化手工标注句库：收集较大规模(如5000个句子)尽量覆盖不同的词语和语法结构的普通话文本语料，然后安排熟悉目标方言的人员对这些句子进行手工标注工作，标注出每个普通话句子对应的方言化句子，建成方言化标注句库；

b、对普通话文本语料中的每个普通话句子进行自动分词和词性自动标注处理，自动分词采用前后向最大分词建立分词网格并应用词语的出现概率作为消歧准则，即选取词语出现概率连乘积最大的路径为最终的分词路径；词性自动标注则是采用词性三元连接概率模型；

c、对照标注的普通话句子与其对应的方言化句子，总结方言化规律，并按照规则体系要求书写出相应的规则：即以某些词语的上下文的词语含义、词性以及该词语所包含的字等信息作为条件，来规定普通话文本中的某些词语在何种条件下应该进行方言用语替换，以及是否需要调换方言用语在句中的顺序作为措施；在处理句子时，通过计算机程序或人工在普通话文本语料中从上到下逐句匹配所述条件，并按照第一条匹配成功的所述措施进行方言化处理；因此规则的排列顺序也是影响方言化结果的，因此也是需要调整的；

d、反复测试和调整所述的条件与措施，使得对每个普通话文本运用所述的条件与措施进行方言化处理后，得到的句子都能与手工标注方言句子相匹配；

(2)、将输入方言语音合成系统的普通话文本，首先对每一句子进行步骤(1)的b中的方法进行分词和词性标注处理，然后对每一个词遍历所有的方言化规则，并按第一条成功匹配的规则的措施进行方言化处理，所有的词处理完毕，就普通话文本转化成了方言文本，将这些信息送入语音合成模块，即可合成更符合方言习惯的语音。

如在我们的粤语方言化处理规则体系要表示“在当前的词是‘还’且当前词性是副词的时候，‘还’字要替换成‘仲’字”这样一个规律，其方言化规则应该书写成“0，0，c＝d，w＝还：0，0，w＝仲”，冒号“：”前是条件部分，冒号之后是措施部分。

将方言化技术应用于基于语料库的合成模块所需的录音语料的搜索过程如下：

1)收集大量的普通话文本，如人民日报，新浪新闻等，一般规模在200M-2G字节左右；

2)将这些大规模的文本语料送入方言化处理模块，自动生成相同规模的方言化文本。

3)在2)中得到的大规模方言化文本语料库上统计单音节、双音节等各种统计信息；

4)运用贪心算法等录音语料搜索算法，从上述方言化的文本语料库中搜索出一个录音句子库，使得该录音句子库覆盖尽可能多的声学韵律(如单音节、双音节等)情况，而且覆盖的概率分布于3)中统计得到的分布接近。句子库的规模取决于语音合成模块效果的需求等因素。

将上述方法得到的录音句子库进行录音和标注工作，就可以完成方言录音语料库的建设工作，这一建设工作是基于语料库的方言语音合成系统研发中最为基础和重要的工作。

发明的效果

本发明方法应用在InterPhonic 4.0中英粤语音合成系统中，文本方言化处理是其内嵌的一个功能，相应的方言化处理资源存放于系统的资源库中。当用户选择合成音库为粤语音库时并打开口语化(即方言化)开关时，系统内嵌方言化模块开始作用。

本发明特征是语音合成系统合成语音突破要与原文一一对应的思想，根据方言特有的一些语言现象，将输入的普通话文本进行相应的文字和语序的变化，形成更符合方言习惯的中间信息送入合成模块合成方言语音。

与其它不带方言化处理的方言语音合成系统相比，本发明的优势显而易见：

首先，本系统将普通话形式的文本进行方言化处理生成符合方言习惯但忠实于原文意思的方言化文本，方言化后的文本送入合成模块后可以合成符合习惯的自然的方言语音，相比直接按原始文本字面进行的合成而言，可以大幅度提高方言语音合成系统的可懂度和自然度；

其次，本方言语音合成系统内嵌方言化处理，使得用户和开发者完全无须额外工作就可以非常方面的使用这一技术的成果，提高了方言语音合成系统使用的便捷性和集成开发的效率；

再次，文本方言化处理技术可以将普通话文本转成对应的方言文本，为基于大规模语料库的语音合成技术在搜索录音语料时提供了大量的文本搜索范围，为录音语料的覆盖度的提高起到重大作用，而语料覆盖度的提高又很大程度上提高了合成语音的流畅度和自然度；

最后，集成了文本方言化处理技术的方言语音合成系统在研发过程中可以很方便的解决文本分析输出结果与合成模块所需信息之间的匹配问题，这一问题的解决对提高方言合成系统的效果稳定性和自然度有着显著的贡献。

术语解释

语音合成(Text-To-Speech)：又称为文语转化。它涉及声学、语言学、数字信号处理、多媒体等多种学科，是中文信息处理领域的一项前沿技术。语音合成技术解决的主要问题是：如何将电子化文本的文字信息转化为能够播放的声音信息。近代语音合成技术是随着计算机技术和数字信号处理技术的发展而发展起来的，目的是让计算机能够产生高清晰度、高自然度的连续语音。

方言语音合成：指合成粤语、台湾话、四川话、东北话等方言的语音合成技术。

方言文本：逐字记录下方言语音每个发音的文本称为方言文本，相对于一般大家普遍使用的普通话文本而言的，方言文本往往包含一些方言特有的字、词语以及特有的语法习惯等，且不少词语的所代表的语义也与普通话文本中不同。

附图说明

图1：本发明的文本方言化处理流程

图2：本发明的方言语音合成系统研发流程

图3：在InterPhonic 4.0语音合成系统的合成演示程序界面中设置系统参数，确定是否启用粤语合成系统

图4：在InterPhonic 4.0语音合成系统的合成演示程序合成“为什么我的空调不能制热？”，方言化后的文本为“点解我冷气机唔可以制热？”

具体实施方式

一种在方言语音合成系统中进行文本方言化处理的方法，包括以下步骤：

(1)、方言化规则的建立：

a、首先建立方言化手工标注句库：收集较大规模(如5000个句子)尽量覆盖不同的词语和语法结构的普通话文本语料，然后安排熟悉目标方言的人员对这些句子进行手工标注工作，标注出每个普通话句子对应的方言化句子，建成方言化标注句库；

b、对普通话文本语料中的每个普通话句子进行自动分词和词性自动标注处理，自动分词采用前后向最大分词建立分词网格并应用词语的出现概率作为消歧准则，即选取词语出现概率连乘积最大的路径为最终的分词路径；词性自动标注则是采用词性三元连接概率模型；

c、对照标注的普通话句子与其对应的方言化句子，总结方言化规律，并按照规则体系要求书写出相应的规则：即以某些词语的上下文的词语含义、词性以及该词语所包含的字等信息作为条件，来规定普通话文本中的某些词语在何种条件下应该进行方言用语替换，以及是否需要调换方言用语在句中的顺序作为措施；在处理句子时，通过计算机程序或人工在普通话文本语料中从上到下逐句匹配所述条件，并按照第一条匹配成功的所述措施进行方言化处理；因此规则的排列顺序也是影响方言化结果的，因此也是需要调整的，

d、反复测试和调整所述的条件与措施，使得对每个普通话文本运用所述的条件与措施进行方言化处理后，得到的句子都能与手工标注方言句子相匹配；

(2)、将输入方言语音合成系统的普通话文本，首先对每一句子进行步骤(1)的b中的方法进行分词和词性标注处理，然后对每一个词遍历所有的方言化规则，并按第一条成功匹配的规则的措施进行方言化处理，所有的词处理完毕，就普通话文本转化成了方言文本，将这些信息送入语音合成模块，即可合成更符合方言习惯的语音。

Claims (3)

1、一种在方言语音合成系统中进行文本方言化处理的方法，其特征在于：建立普通话与目标方言之间的同意翻译的方言化规则，根据该规则，将输入方言语音合成系统的普通话文本转化成方言文本，将方言文本送入语音合成模块，来提高合成方言语音的可懂度和自然度。

2、根据权利要求1所述的方法，其特征在于所述的规则是：在符合方言习惯的前提下，建立下列条件与措施之间对应关系，即以某些词语的上下文的词语含义、词性以及该词语所包含的字等信息作为条件，来规定普通话中的某些词语在何种条件下应该进行方言用语替换，以及是否需要调换方言用语在句中的顺序作为措施。

3、根据权利要求1所述的方法，其特征在于包括以下步骤：

(1)、方言化规则的建立：

a、首先建立方言化手工标注句库：收集较大规模(如5000个句子)尽量覆盖不同的词语和语法结构的普通话文本语料，然后安排熟悉目标方言的人员对这些句子进行手工标注工作，标注出每个普通话句子对应的方言化句子，建成方言化标注句库；

b、对普通话文本语料中的每个普通话句子进行自动分词和词性自动标注处理，自动分词采用前后向最大分词建立分词网格并应用词语的出现概率作为消歧准则，即选取词语出现概率连乘积最大的路径为最终的分词路径；词性自动标注则是采用词性三元连接概率模型；

c、对照标注的普通话句子与其对应的方言化句子，总结方言化规律，并按照规则体系要求书写出相应的规则：即以某些词语的上下文的词语含义、词性以及该词语所包含的字等信息作为条件，来规定普通话文本中的某些词语在何种条件下应该进行方言用语替换，以及是否需要调换方言用语在句中的顺序作为措施；在处理句子时，通过计算机程序或人工在普通话文本语料中从上到下逐句匹配所述条件，并按照第一条匹配成功的所述措施进行方言化处理；因此规则的排列顺序也是影响方言化结果的，因此也是需要调整的；

d、反复测试和调整所述的条件与措施，使得对每个普通话文本运用所述的条件与措施进行方言化处理后，得到的句子都能与手工标注方言句子相匹配；

(2)、将输入方言语音合成系统的普通话文本，首先对每一句子进行步骤(1)的b中的方法进行分词和词性标注处理，然后对每一个词遍历所有的方言化规则，并按第一条成功匹配的规则的措施进行方言化处理，所有的词处理完毕，就普通话文本转化成了方言文本，将这些信息送入语音合成模块，即可合成更符合方言习惯的语音。

Images