CN1945691A - 一种在语音合成系统中提升模板句合成效果的方法 - Google Patents

Abstract

本发明公开了一种在语音合成系统中提升模板句合成效果的方法，从而管理和提高音库效能。本发明包括建立模板音库、模板资源索引、文本合成、语音合成与拼接。本发明根据合成文本类型提炼语音模板，建立模板音库，在语音合成系统中自动识别和调用模板音库，对模板固定成分采用真人语音，对非固定成分采用合成语音，完成文本信息到合成语音的转换。本发明改进了相似文本集的语音合成流程，有效利用定制音库，做到既充分利用真人录音的自然流畅，又减少音库冗余，从而提高语音服务的品质。

Description

一种在语音合成系统中提升模板句合成效果的方法

技术领域

本发明涉及一种语音合成方法，具体涉及一种在使用计算机完成从文本到自然语音的转换过程中，采用语音模板定制音库，从而提高合成效果和合成效率方法。

背景技术

在利用计算机进行文本合成应用中，经常会出现这样一种情况：待合成的文本中，一组句子具有相似的结构和重复内容，句子之间的差异仅仅是个别字、词，这样这组句子中的每一句都有两部分组成：不变化的部分和变化的部分。对于这类文本，一般的合成系统常用的合成处理策略是：用人工录音的方法定制一个音库，而且，为了保证效果，这个音库必须覆盖上面列举的大部分句子。这种方法的缺点是：1、相似的句子越多，需要录音的句子也越多，音库就越庞大。2、由于重复录制相似的句子，这些句子中的不变化部分被重复录制，因此音库产生冗余，相似句录制越多，音库冗余越严重。3、对于音库中没有录制的新句子，在合成时，不论是变化部分还是不变化部分，都统一用合成语音来输出其声音数据，导致语音效果自然度降低。

发明内容

本发明的目的就是提供一种语音合成模板的方法，用于改进相似文本集的语音合成流程，有效利用定制音库，做到既充分利用真人录音的自然流畅，又减少音库冗余，从而提高语音服务的品质。

本发明是通过以下技术方案实现的：

一种在语音合成系统中提升模板句合成效果的方法，包括制作模板音库和利用模板音库进行语音合成，所述模板音库的制作方法包括有以下步骤：

(1)根据待合成句子集合的特征提炼语音模板，每个语音模板包括固定成分和非固定成分；

(2)然后以语音模板为基础进行文本设计并制作音库，建立模板索引文件；

所述的语音合成方法包括以下步骤：

(1)语音合成系统对用户输入的待合成句子进行分析，通过检索模板索引文件，判断其是否符合某个模板特征；

(2)如果是一个模板句，语音合成系统对其进行韵律标注；

(3)从文本到语音的转换过程中，对文本中的固定成分和非固定成分分别合成，并将两者语音拼接形成语音数据输出。

一种在语音合成系统中提升模板句合成效果的方法，所述的提炼语音模板是对各种不同语法结构的合成文本信息归类整理，制定统一的文本格式，该文本包括有模板文本和变化域文本。

一种在语音合成系统中提升模板句合成效果的方法，所述的模板文本存放的是若干个模板的集合，每个模板由变化成分和不变成分组成；而变化成分的各种可能取值存放在变化域文本中。

一种在语音合成系统中提升模板句合成效果的方法，所述的提炼语音模板的步骤中还包括模板冗余的处理；模板冗余的处理是根据合成机制，对于合成结果一致的模板集合，只需要保留其中一个模板即可。

一种在语音合成系统中提升模板句合成效果的方法，所述的文本设计为最优文本设计；最优文本设计有多少个模板就有多少个模板衍生句，所有的模板衍生句将所有模板的固定成分全部覆盖，非固定成分只覆盖了一种可能的取值，以此形成“固定成分覆盖文本”；所述的文本设计在进行了最优文本设计后，还需要进行海量文本设计；海量文本设计就是在最优文本基础上增加非固定成分的韵律环境覆盖，包括桥接单元和变化部分之间的韵律环境，使海量文本尽可能覆盖所有韵律环境的文本，然后按照韵律环境覆盖最优原则，从海量文本中搜索一定量句子组成“非固定成分覆盖文本”。

一种在语音合成系统中提升模板句合成效果的方法，其制作模板音库是根据文本设计的“固定成分覆盖文本”和“非固定成分覆盖文本”成果，进行录音并且制作音库资源。

一种在语音合成系统中提升模板句合成效果的方法，所述的建立模板索引文件是对模板音库中的每个模板录制句，建立一个索引信息；索引文件包括：发音人编号索引信息、模板应用领域索引信息、模板句编号索引信息、模板汉字层索引信息和拼音层索引信息。

一种在语音合成系统中提升模板句合成效果的方法，所述的文本到语音的转换是指：根据韵律标注结果，符合语音模板的固定成分使用发音人预录语音，非固定成分使用合成语音，两者通过大语料库拼接算法进行连接，从而完成文本信息到合成语音的转换，获得合成语音信息。

在语音合成模板应用中，涉及到一些概念，为了能够清晰、明确的区别这些概念，现举一例，并定义以下名词：

例如下面一组句子：

1.乘坐3u8601次航班前往澳门的旅客请注意。

2.乘坐3u8602次航班前往包头的旅客请注意。

3.乘坐3u8621次航班前往保山云端的旅客请注意。

4.乘坐3u8622次航班前往北海福城的旅客请注意。

5.乘坐3u8602次航班前往北京首都的旅客请注意。

6.乘坐3u8624次航班前往成都双流的旅客请注意。

7.乘坐3u8601次航班前往广州白云的旅客请注意。

不变成分：句子之间保持不变的那部分字符，比如：“乘坐”、“次航班前往”、“的旅客请注意”；

变化成分：句子之间发生变化的那部分字符，比如：“3u8601”、“澳门”；

桥接单元：不变成分中与变化成分相邻的那个字符；比如：“坐”、“次”、“往”、“的”；

固定成分：不变成分字符，但不包括桥接单元，比如：“乘”、“航班前”、“旅客请注意”；

非固定成分：变化成分，同时也包括桥接单元，比如：“坐3u8601次”、“往澳门的”；

模板：由不变成分和变化成分构成，比如：“乘坐(A)次航班前往(B)的旅客请注意”，其中变化成分用全角小括号+大写字母标记，这里指“(A)”和“(B)”；

变化域：变化成分的取值，比如：上面这个模板的变化成分“(A)”可以取值为：“3u8601”、“3u8602”、“3u8621”、“3u8622”、“3u8624”，“(B)”可以取值为：“澳门”、“包头”、“保山云端”、“北海福城”、“北京首都”、“成都双流”、“广州白云”；

模板衍生句：通过变化域的取值，由模板派生出来的句子，比如：“乘坐3u8601次航班前往成都双流的旅客请注意”等等；如果一个模板中有n个变化成分M1、M2、…、Mn，每个变化域的取值个数为R1、R2、…、Rn，则这个模板一共可以生成R1*R2*…*Rn个模板衍生句。上面列举的那个模板的衍生句一共有5*7＝35个。

模板录制句：某个模板衍生句，而这个模板衍生句已经录制到音库中去。比如：音库中包含了模板衍生句“乘坐3u8601次航班前往澳门的旅客请注意”，那么这句就称为模板录制句。

本发明的工作原理即所谓合成模板策略，就是对于一个模板衍生句，采用自然语音和合成语音相拼接的方法来输出其声音数据：语音技术专业人员制作模板资源并放到合成系统中，用户向合成系统提供文本信息，合成系统进行文本和韵律分析(包括分句、分词、边界、韵律标注等处理)，判断每个分句是否是一个模板衍生句，如果是，其固定成分就用对应的模板录制句中固定成分语音数据，非固定成分用合成语音数据，两者相拼接形成连续的被合成文本语音数据。其特征是：建立模板音库和模板资源索引，使用文本匹配方式，语音合成系统自动比较合成文本和模板资源，搜索与合成文本对应的模板，固定成分使用模板录制句中的固定成分语音数据，非固定成分使用合成语音，其中桥接单元要考虑固定成分韵律和变化成分的韵律信息。

根据上述所举例的一组句子中，变化域的取值见表1。

      表1变化域取值表

变化域	A.txt	B.txt
			取值	3u8601	澳门
3u8602	包头
		3u8621		保山云端
3u8622	北海福城
		3u8624		北京首都
	成都双流
				广州白云

上述所说的模板资源索引格式举一例，见表2。

                      表2模板资源索引格式

模板资源索引	意义
		1	发音人编号
Bank	模板应用领域
		00203803	模板句编号
将要*扣划#(A)号*定期*存款。	模板的汉字层信息
		jiang1yao4kou4hua4(A)hao4ding4qi1cun2kuan3	模板的拼音层信息

本发明的有意效果在于：

与其它电话语音系统中的应用情况相比，本发明的优势显而易见：

首先，使用语音合成模板策略，有效节省了音库制作成本。实际上，只需要针对每个模板录制一句文本，即可满足固定成分的合成要求。这样做，大大减少了真人预录语音的工作量，节约了音库制作成本，缩短了音库制作周期。

其次，使用语音合成模板策略，有效提高了语音合成质量。模板的固定成分采用了自然语音，加上合成系统高自然度的合成语音，以及二者之间通过波形拼接和能量拼接等多种技术，完全可以达到与真人发音相媲美的语音效果。

第三，语音合成模板策略是一个开放的音库资源管理方法，根据实际应用的需要，可以随时增加非固定成分的预录语音，覆盖非固定成分的变化。

另外，本系统还提供面向行业的定制音库，满足不同行业业务合成的需要。对于用户来说，实现合成模板效果无需增加任何额外操作。当用户在合成系统中输入合成文本，系统会自动根据文本的特性选择是否使用语音合成模板策略。

附图说明

附图为语音合成模板工作流程图。

具体实施方式

参见附图所示。

本发明具体实施分为如下四步进行。

第一步，建立模板音库。

根据客户需求，整理待合成文本信息，归纳出模板，并录制模板音库，从而提供合成需要的资源信息。具体包括如下四个步骤：

(1)模板提炼。

对各种不同语法结构的合成文本信息归类整理，制定统一的数据格式(txt格式)，具体为：T1<模板文本>，要求文本中每一行为一个模板，每个模板句子中，变化成分都用一个事先约定的代号标记，举例：模板1“乘坐(A)次航班前往(B)的旅客请注意”，这个模板中就有两个变化成分“A”和“B”。变化成分和不变成分之间用全角的小括号分开；T2<变化域文本>：变化域的取值用一个文本记录起来；比如：上面这个模板中的变化成分用“A”和“B”标记，对应的变化域文本：A..txt和B.txt，其中A.txt文本中存放的是变化成分A的变化域所有取值，B.txt文本中存放的是变化成分B的变化域所有取值。从上述表1中可以看出，假定共有n类非固定成分，这样便有n(变化域文本个数)+1(模板文本)个输入文本；

(2)模板冗余处理。

整理出来的模板之间往往存在很大的冗余或者整句重复，或者某些韵律单元重复。根据合成机制，独立的分句(以逗号为标记)或者句子(以句号、问号、感叹号等为标记)在库中只需要保留一个模板即可，重复的模板都应当删除。在模板比较多时，这种方法一定程度减少了模板数量，提高制作效率。举例如下：

<冗余处理前>

“(T)(J)(H)发布天气预报，(D)，最高气温(G)。

(E)，气温(I)至(G)，(F)，(D)，(B)。

(E)(A)，(G)，气温(I)至(G)。”

<冗余处理后>

“(T)(J)(H)发布天气预报，(D)，最高气温(G)。

(E)，气温(I)至(G)，(F)，(B)。

(E)(A)，(G)。”

输出模板中删除了冗余韵律单元“(D)”和“气温(I)至(G)”。在模板比较多时，这种方法一定程度减少了模板数量，提高制作效率。

(3)文本设计。

一般情况下，我们认为模板句子中，固定成分在音库中应该只保留一个(桥接单元除外)，否则就会造成语料库的冗余；而对于非固定成分，却希望每种取值都覆盖。针对这种特殊的设计要求，我们分为两步进行文本设计。首先，我们进行最优文本设计。对每个模板，只随机生成一个模板衍生句，这样有多少个模板就有多少句，这样至少保证所有模板的固定成分全部覆盖，非固定成分只覆盖了一种可能的取值。这样做主要是出于客户的要求，他们往往希望提供的模板中固定部分一定要有，非固定成分的可能取值很多，只要尽可能覆盖。出于这一点，我们采取先设计最优文本满足最基本的要求。其次，我们进行海量文本设计。最优文本中虽然每个模板的固定成分都覆盖到，但是对于非固定成分的韵律环境覆盖却很差，包括桥接单元和变化部分之间的韵律环境。因此我们有必要在最优文本的基础上进行韵律环境的补充设计。我们用海量文本尽可能覆盖所有韵律环境的文本，即根据变化域取值，每个模板生成的最大句子数等于所有非固定成分的替换数乘积，比如表一中所示的模板，其生成的句子数为：5*7＝35个(其中5是变化域A的取值个数，7是变化域B的取值个数)。然后，在海量文本的基础上，按照韵律环境覆盖最优原则，从海量文本中搜索一定量句子组成“非固定成分覆盖文本”。

(4)音库制作根据设计的“固定成分覆盖文本”和“非固定成分覆盖文本”，进行录音并且制作音库资源，这些句子也称为模板录制句。

第二步，模板资源索引。

系统合成时，会将合成文本与模板资源中的模板进行比较判断，寻找匹配的模板，为了提高这种比较的效率，需要建立一个模板资源索引。这个索引文件中包括：每个模板的发音人编号、模板应用领域、模板句编号、模板汉字层信息和拼音层信息。

第三步，文本分析。用户在语音合成系统中输入合成文本后，合成系统首先进行文本的分析，判断待合成文本是否为一个模板衍生句，如果是，就需要将这个模板衍生句的不变部分按照模板录制句的不变部分进行标注，对变化部分进行预测标注。所谓预测标注就是变化部分的标注参考不变成分已知的标注信息。这样做的目的是保持变化成分的标注和不变成分的标注协调一致，两者之间不脱节。

第四步，语音合成和拼接。根据上述步骤的文本分析和模板信息标注，语音合成系统从音库和模板索引资源中挑选对应的语音数据进行拼接合成。其中，模板衍生句的固定成分一定用模板录制句的固定成分语音数据(连续的自然语音)，非固定成分单元采用合成语音。同时，桥接单元在合成时，需要考虑其前后的韵律环境。

在完成以上四步处理过程后，即可实现合成输出高自然度的语音。

Claims (8)

1、一种在语音合成系统中提升模板句合成效果的方法，包括制作模板音库和利用模板音库进行语音合成，其特征在于所述模板音库的制作方法包括有以下步骤：

(1)根据待合成句子集合的特征提炼语音模板，每个语音模板包括固定成分和非固定成分；

(2)然后以语音模板为基础进行文本设计并制作音库，建立模板索引文件；

所述的语音合成方法包括以下步骤：

(1)语音合成系统对用户输入的待合成句子进行分析，通过检索模板索引文件，判断其是否符合某个模板特征；

(2)如果是一个模板句，语音合成系统对其进行韵律标注；

(3)从文本到语音的转换过程中，对文本中的固定成分和非固定成分分别合成，并将两者语音拼接形成语音数据输出。

2、根据权利要求1所述的一种在语音合成系统中提升模板句合成效果的方法，其特征在于所述的提炼语音模板是对各种不同语法结构的合成文本信息归类整理，制定统一的文本格式，该文本包括有模板文本和变化域文本。

3、根据权利要求2所述的一种在语音合成系统中提升模板句合成效果的方法，其特征在于所述的模板文本存放的是若干个模板的集合，每个模板由变化成分和不变成分组成；而变化成分的各种可能取值存放在变化域文本中。

4、根据权利要求1或2所述的一种在语音合成系统中提升模板句合成效果的方法，其特征在于所述的提炼语音模板的步骤中还包括模板冗余的处理；模板冗余的处理是根据合成机制，对于合成结果一致的模板集合，只需要保留其中一个模板即可。

5、根据权利要求1所述的一种在语音合成系统中提升模板句合成效果的方法，其特征在于所述的文本设计为最优文本设计；最优文本设计有多少个模板就有多少个模板衍生句，所有的模板衍生句将所有模板的固定成分全部覆盖，非固定成分只覆盖了一种可能的取值，以此形成“固定成分覆盖文本”；所述的文本设计在进行了最优文本设计后，还需要进行海量文本设计；海量文本设计就是在最优文本基础上增加非固定成分的韵律环境覆盖，包括桥接单元和变化部分之间的韵律环境，使海量文本尽可能覆盖所有韵律环境的文本，然后按照韵律环境覆盖最优原则，从海量文本中搜索一定量句子组成“非固定成分覆盖文本”。

6、根据权利要求5所述的一种在语音合成系统中提升模板句合成效果的方法，其特征在于制作模板音库是根据文本设计的“固定成分覆盖文本”和“非固定成分覆盖文本”成果，进行录音并且制作音库资源。

7、根据权利要求1所述的一种在语音合成系统中提升模板句合成效果的方法，其特征在于所述的建立模板索引文件是对模板音库中的每个模板录制句，建立一个索引信息；索引文件包括：发音人编号索引信息、模板应用领域索引信息、模板句编号索引信息、模板汉字层索引信息和拼音层索引信息。

8、根据权利要求1所述的一种在语音合成系统中提升模板句合成效果的方法，其特征在于所述的文本到语音的转换是指：根据韵律标注结果，符合语音模板的固定成分使用发音人预录语音，非固定成分使用合成语音，两者通过大语料库拼接算法进行连接，从而完成文本信息到合成语音的转换，获得合成语音信息。

Images