CN108470024A - 一种融合句法语义语用信息的汉语韵律结构预测方法 - Google Patents

Abstract

本发明属于语音合成领域，具体涉及一种融合句法语义语用信息的汉语韵律结构预测方法。目的是通过对影响韵律结构的多维特征及其相关作用模式的分析，将句法语义语用信息融合到韵律结构预测模型中，进而提升语音合成的自然度。该方法包括根据语义角色标注进行句块划分；对句块进行语法分析，并标记语法结构关系松紧度；对韵律结构进行初步切分；对句子中的名词性成分的信息结构进行标记；对语用信息进行标注；根据语用信息对初步切分的韵律结构进行调整。本发明在文本标注体系中引入了深层句法、语义角色标注以及语用信息，并通过统计与规则相结合的方式实现文本标注、特征提取以及韵律结构预测，使韵律预测模型准确性得到有效提高。

Description

一种融合句法语义语用信息的汉语韵律结构预测方法

技术领域

本发明属于语音合成领域，具体涉及一种融合句法语义语用信息的汉语韵律结构预测方法。

背景技术

从文本信息中预测韵律层级结构是语音合成的关键，对于提升合成语音的自然度与表现力、构建智能人机对话系统具有重要作用。

韵律层级预测至今还有许多问题没有得到很好解决。首先，对于影响韵律结构的文本特征以及因素之间关系的描述不够确切，其次，单一模型的准确度难以达到理想状态。从汉语韵律结构预测的现有研究来看，关于韵律建模方法的技术研究较多，而关于影响韵律结构的因素以及因素之间关系的研究较少。

目前韵律结构的预测主要有基于规则的方法、基于统计机器学习的方法、规则和统计相结合的方法。从所使用的信息源来看，多为语句中的词性、词长信息以及浅层语法信息，较少利用深层语法和语义信息。专利CN 104867490B将词向量的聚类特征加入从标注数据提取的特征集合之中，专利CN 104867491B基于同义词词林对训练语料文本中的分词进行泛化，引入语义信息后提升了模型预测准确性。然而这些语义分析都是以词为单位的，对韵律结构的作用有限，没有将更高层次的句法组块的语义角色考虑进来，也没有分析语用因素。

语言学研究发现普通话韵律边界和韵律模式是句法、语义、语用综合作用的结果。基于语义角色的句法组块的分类影响韵律结构的层级，而韵律边界处的语用信息和长度信息则影响韵律成分跨界与否。因此在韵律结构预测过程中需要引入更多句法语义和语用相关的信息，使模型准确性得到提升。

发明内容

本发明提供一种融合句法语义语用信息的汉语韵律结构预测方法。除了利用传统预测线索之外，发明中引入了深层句法、语义角色标注以及语用信息，基于这些多维特征对韵律结构的作用模式，并通过统计与规则相结合的方式实现文本标注、特征提取以及韵律结构预测，从而更好提升语音合成的自然度。

一种融合句法语义语用信息的汉语韵律结构预测方法，包括如下步骤：

步骤一、对已经分词和词性标注的文本进行语义角色的句块划分；

步骤二、对句块进行语法分析，并对语法结构关系松紧度进行标记；

步骤三、根据句块以及句块的语法结构关系对韵律结构进行初步切分；

步骤四、对句子中的名词性成分的信息结构进行标记；

步骤五、根据语法结构、初步划分的韵律结构以及信息结构进行语用信息的标注；

步骤六、根据语用信息对初步切分的韵律结构进行调整。

如上所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其中：步骤一中，所述语义角色指谓语根据其与相关的名词短语之间的语义关系而指派给这些名词短语的角色；所述名词短语语义角色包括核心语义角色和附加语义角色。语义角色的句块划分依据CPB语料库运用统计方法实现。

如上所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其中：步骤二中，所述语法结构关系松紧度包括黏合类、组合类、等立类；松紧度根据语法结构形式判定。语法结构形式根据统计建模句法分析得到。

如上所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其中：步骤三中对韵律结构进行初步划分的规则包括：

跨界规则：如果前一韵律单位中只有一个音步，且本韵律单位除可跨界音步外大于等于两个音步，则可跨界音步与前一音步合并；

韵律单位归并规则：如果本韵律单位中只有一个音步且后续同级单位中也只有一个音步，则本单位与后续同级单位合并为一个韵律单元；

允一规则：如果本韵律单位中只有一个音步且后续同级韵律单位中有两个音步，则本韵律单位以一个音步独立，不与后续同级单位合并。

如上所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其中：步骤四中，

所述信息结构为指称范畴和词汇范畴；所述指称范畴用来区分限定词短语与介词短语；所述词汇范畴用来区分实词与非指称性短语的信息结构，并考虑不同层次的词义上下位关系和整体部分关系以及同一层次的同义反义关系。信息结构根据词性标注和语义知识库自动实现。

如上所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其中：步骤五中，所述语用信息包括重音和话题，所述语用的调整的规则包括：

重音前设界规则：将语义重音调整回其原有的语法结构中；

有标记话题后等同于韵律短语边界规则：与主语相同的话题是无标记的，其他情况的话题是有标记的，在有标记的话题后设置韵律短语边界。

如上所述的一种融合句法语义语用线索的汉语韵律结构预测方法，其中：步骤二中，在判断不同句块之间的松紧度时，附加语义角色句块的右边界为等立类，其余为组合关系。

如上所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其中：步骤五中，所述话题为句首非焦点名词性成分；所述重音分为节奏重音和语义重音；语调短语最末一个词语标记为节奏重音，所述语义重音在语法形式上为对举式关联词。语用信息标注依据步骤二、三、四的信息自动实现。

与现有语音合成的韵律预测方式相比，本发明具有以下优点：

本发明在文本标注体系中引入相关的语义、语用线索，并根据影响方式转换为包含多维特征的标注流程，对影响韵律结构预测的文本信息的描述更为充分确切。

本发明从语法、语义、语用多个层面分析影响韵律结构的因素，并分析不同层面特征的相互作用模式，据此形成标注流程，用于韵律结构的预测。经过测试，用本发明标注体系进行韵律结构预测的效果较之前有显著提升。

本发明在韵律结构初分时，将音节长度约束和语法约束同时考虑进来。语法分析在语义角色句块划分基础上进行，比单纯依靠语法结构分析韵律结构更为有效。

本发明提供的韵律结构初步切分规则和调整规则作为统计建模方法的补充，可以弥补单纯依靠统计分析的不足。

本发明通过话题和重音的分析，利用语用信息对初步划分的韵律结构进一步调整。由于重音的确定受到多种因素的影响，因而采用一种迭代的方法，先通过初步切分的韵律结构和语法语义信息确定重音，再通过重音对韵律结构进行调整。考虑重音后预测的韵律边界更符合听觉感知，可以使得人机对话系统中语音合成自然度提升。

附图说明

图1为本发明提供的一种融合句法语义语用线索的汉语韵律结构预测方法流程图；

图2为语音标注样例；

图3为与韵律结构相关的文本标注样例；

具体实施方式

下面描述方法中所运用的文本是为了具体阐述标注细节，但是本发明适用的文本范围可以涵盖各种类型的朗读与对话文本。本发明的初衷是为提高韵律结构预测的准确度，提升语音合成自然度，但对于文本句法语义语用多维特征的标注以及汉语韵律模式的预测也可以应用于其他领域，不受下面公开的具体实施的限制。

本发明相关的专业术语：

1、音步

音步是语言中最小的能够自由运用的韵律单位。汉语最基本的标准音步是两个音节。单音节音步即“蜕化音步”，三音节音步即“超音步”。音步可以通过分词和词长得到，音步及音步的组合可以实现为韵律结构。

2、韵律结构

韵律结构主要指话语停延结构的层级组织，包括韵律词的构成以及各韵律成分边界的界定等，通常叫做韵律切分。韵律结构的划分沿用语音学主流的“韵律词-韵律短语-语调短语”的层级结构模式，用B1-B3表示，大致为说话人可感知的句中三级韵律边界。

表1：心理感知的三级韵律边界

韵律边界	韵律结构	特征
			B1	韵律词	感觉上为一个整体，自然音步的结束处，但无停顿。
B2	韵律短语	感觉有少许停顿，但语图上不一定表现出停顿。
			B3	语调短语	感觉有较长停顿，有明显无声段且有基频重设现象。

针对现有韵律结构分析技术对语义、语用相关特征运用不充分的情况，本发明以大规模通用领域对话录音的转写文本为分析对象，分别对语法、语义、语用等多个层面影响韵律感知的特征分类标注，建立各个因素之间的影响关系，提供韵律结构的预测方法。

本发明的标注流程包括韵律结构初分阶段和韵律结构调整阶段。韵律结构初分阶段所采用的标注包括语义角色、语法结构关系，韵律结构调整阶段所采用的标注包括重音话题和信息结构。

以下按照操作步骤对不同维度特征具体说明。

如图1所示，一种融合句法语义语用线索的汉语韵律结构预测方法，包括如下步骤：

步骤一、对已经分词和词性标注的文本进行语义角色的句块划分；

语义角色指谓语根据其与相关的名词短语之间的语义关系而指派给这些名词短语的角色，表示谓语所涉及的主体、客体或动作、行为、状态、所处的场所、动作的起点、方向、终点、原因等。语义角色标注可以根据语料库通过统计建模的方法实现。语义角色的划分依据宾州大学中文语义角色标注语料库CPB（Chinese Proposition Bank）通过概率上下文无关文法实现，CPB的语义角色可以分为两大类，核心语义角色和附加语义角色。谓语标注为REL，与谓语相关的名词短语的语义角色符号如下：

表2：语义角色标签与含义列表

步骤二、对句块进行语法分析，并对语法结构关系松紧度进行标记；

首先，对步骤一划分出的每一个句块，基于概率上下文无关文法对语法结构进行分析。在此基础上进行结构关系松紧度的划分，共分为黏合、组合、等立三种松紧度不同的关系。句块内存在三种关系，而句块间存在等立和组合两种关系，附加语义角色的右边界为等立关系，其余为组合关系。如表3所示，三种语法结构关系之间就其组成成分不同有松紧程度之别（从0到6表示组合松紧度递减，-表示语法结构边界）：

表3：不同松紧度的语法结构关系与语法形式对应关系

步骤一和步骤二的标注样例见图2。由于音节数与音步数会影响韵律结构划分，所以将每个词语的音节数也标示出来。图2中，#表示句块与句块的分界，由步骤一得到；+表示块内述宾、介宾等有修饰关系的成分之间的分界，=表示块内有修饰关系的成分之间的分界，由步骤二的语法分析得到。

步骤三、根据句块以及句块的语法结构关系对韵律结构进行初步切分；根据步骤一和步骤二的标记对韵律结构进行初步划分的规则实现方法如下：

首先根据步骤二中语法结构的松紧度切分出韵律单位，然后根据如下规则进行韵律单位的合并和调整。韵律单位与语法结构组合不一致称为跨界。

跨界规则：如果前一韵律单位中只有一个音步，且本韵律单位除可跨界音步外大于等于两个音步，则可跨界音步与前一音步合并；

韵律单位归并规则：如果本韵律单位中只有一个音步且后续同级单位中也只有一个音步，则本单位与后续同级单位合并为一个韵律单元；

允一规则：如果本韵律单位中只有一个音步且后续同级韵律单位中有两个音步，则本韵律单位以一个音步独立，不与后续同级单位合并。

以图3的句子为例，句子之间分界用|||表示，对应于B3；句块之间以及等立类（D6）之间用||标界，对应于B2；块内之间的组合关系（Z3、Z4、Z5）用|表示，对应于B1。首先根据步骤一的语义角色分析和步骤二的语法关系分析切分韵律单位如下（句中括号表示音步 ）：

先生|是|（这样）的||咱们|（银河）（公司）啊||为了|回馈|老用户|||现|（推出）了||用户|承诺|低消||送|（流量）的|（优惠）（活动）|||

其次根据上述韵律规则调整边界，上述样例的调整如下：

根据韵律单位归并规则调整：

用户|（承诺）（低消）

（现）（推出）了

（送）（流量）的

先生|（是）（这样）的

（为了）|（回馈）（老用户）

根据跨界规则调整：

（先生）（是）|（这样）的

（为了）（回馈）|老用户

步骤四、对句子中的名词性成分的信息结构进行标记；

信息是由新旧交替而产生的，每一个信息单位由旧信息和新信息组成。在本标注体系中，主要采用指称范畴（R-categories）和词汇范畴（L-categories）来表示信息结构。指称范畴主要用来区分出现在自然篇章中指称性的限定词短语DP（Determiner Phrases）与介词短语PP（Prepositional Phrases）。词汇范畴主要用来区分实词与非指称性短语的信息结构。由于汉语利用词汇表现形式以及句法功能来确定指称范畴，不同词汇形式的名词性成分，如人称代词、专有名词、“这/那”+（量词）+名词、光杆普通名词（无修饰语）、数词+（量词）+名词、“一”+（量词）+名词、量词+名词等对应的指称范畴不同。其对应关系如表4所示。

表4：指称范畴与名词性成分词汇形式的对应关系

名词性成分的词汇形式	指称范畴标签
		人称代词	R-given-sit
专有名词	R-unused
		“这/那”+（量词）+名词	R-given/ R-bridging
光杆普通名词	R-new/R-generic/R-bridging
		数词+（量词）+名词	R-new/R-bridging
“一”+（量词）+名词	R-new/R-generic/R-bridging
		量词+名词	R-new/R-generic/R-bridging

词汇范畴考虑不同层次的词义上下位关系和整体部分关系以及同一层次的同义反义等关系。本发明将词汇范畴分为下位-上位关系、上位-下位关系、部分-整体关系、整体-部分关系、同义关系、反义关系、顺序关系和依存关系。上述关系可通过预先构建词汇关系列表（例如WordNet）等方法实现。词汇范畴及其标签如表5所示。

表5：词汇范畴及其标签

词汇范畴	标签
		下位-上位	L-given
上位-下位	L-accessible
		部分-整体	L-given
整体-部分	L-accessible
		同义关系	L-given
反义关系	L-accessible
		顺序关系	L-accessible
依存关系	L-accessible

与静态的词汇范畴不同，指称范畴的最终判定需要依据该指称在场景或事件中的可激活度，是动态的。图3给出了指称范畴与词汇范畴的标注结果示例。

步骤五、根据语法结构、初步划分的韵律结构以及信息结构进行重音和话题的标注；

重音和话题焦点是影响韵律结构的语用因素。重音作为感知范畴，受到语法结构、韵律结构和信息结构多种因素的制约，而话题跟信息结构和语义角色相关。在处理重音和韵律结构两个交互影响变量间的关系时，本发明的方案是先通过语义角色和语法结构的分析进行韵律结构的初步分类，在此基础上进行信息结构的标记，通过语法结构、初步划分的韵律结构以及信息结构与语用信息的对应关系对重音分布和话题可利用如下规则进行自动标记。

话题一般为句首非焦点名词性成分，标注为TOP。重音根据表达功能分为节奏重音和语义重音，节奏重音指语句中那些听感上有一定重度、但并不特别突出，只是为了形成语句在韵律上的轻重循环，使语音信号产生节奏感的重音，对语句意义的表达基本没有贡献。而语义重音是语句中在听感上有明显的重度凸显，从而使语句中各个信息单元的重要程度得以确认的重音。节奏重音倾向于出现在较大韵律结构的最末一个音步上，而语义重音的分布则与语句韵律结构的关系不大。因此通过初分的韵律结构确定节奏重音的方式是，语调短语（B3）最末一个词语标记为节奏重音（RS），而语义重音一般为对比或强调重音，表现在信息结构上是R-bridging与L-new的组合，表现在语法形式上如“不是……而是……”、“是……不是……”等对举式关联词。重音符号及确定方式如下：

表6：不同类型重音的标注符号

重音类型	符号表示	符号缩写	确定标准
				语义重音	Semantic Accent	SA	语法形式或信息结构
节奏重音	Rhythmic Stress	RS	初分的韵律结构

步骤六、根据语用信息对初步切分的韵律结构进行调整；

语用信息包括重音和话题。重音和话题对韵律结构的影响方式有两种：

一种为重前设界，即在特定语境下需要强调或对比的成分，也就是标记为语义重音而非节奏重音的成分，一般为指代、数量、动词等成分，它们不再用通常的弱读形式，而改为重读时，回到了自身的语法边界中，不再跨界。例如（下划线表示重音位置）：

调整前的结构：（我把）（那辆）|（飞鸽车）|（放车棚）了

调整后的结构：（我把）|（那辆）（飞鸽车）|（放车棚）了

另一种为有标记话题后为韵律短语边界。与主语相同的话题是无标记的，以连词、副词、时间、处所等成分为话题则是有标记的。即便只有一个音步，也自成韵律短语。例如：

调整前的结构：（最近）（心情）| 不太好

调整后的结构：（最近）||（心情）| 不太好

任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。

Claims (8)

1.一种融合句法语义语用信息的汉语韵律结构预测方法，包括如下步骤：

步骤一、对已经分词和词性标注的文本进行语义角色的句块划分；

步骤二、对句块进行语法分析，并对语法结构关系松紧度进行标记；

步骤三、根据句块以及句块的语法结构关系对韵律结构进行初步切分；

步骤四、对句子中的名词性成分的信息结构进行标记；

步骤五、根据语法结构、初步划分的韵律结构以及信息结构进行语用信息的标注；

步骤六、根据语用信息对初步切分的韵律结构进行调整。

2.如权利要求1所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其特征在于：步骤一中，所述语义角色指谓语根据其与相关的名词短语之间的语义关系而指派给这些名词短语的角色；所述名词短语语义角色包括核心语义角色和附加语义角色，义角色的句块划分依据CPB语料库运用统计方法实现。

3.如权利要求1所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其特征在于：步骤二中，所述语法结构关系松紧度包括黏合类、组合类、等立类；松紧度根据语法结构形式判定，语法结构形式根据统计建模句法分析得到。

4.如权利要求1所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其特征在于：步骤三中对韵律结构进行初步划分的规则包括：

跨界规则：如果前一韵律单位中只有一个音步，且本韵律单位除可跨界音步外大于等于两个音步，则可跨界音步与前一音步合并；

韵律单位归并规则：如果本韵律单位中只有一个音步且后续同级单位中也只有一个音步，则本单位与后续同级单位合并为一个韵律单元；

允一规则：如果本韵律单位中只有一个音步且后续同级韵律单位中有两个音步，则本韵律单位以一个音步独立，不与后续同级单位合并。

5.如权利要求1所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其特征在于：步骤四中，所述信息结构为指称范畴和词汇范畴；所述指称范畴用来区分限定词短语与介词短语；所述词汇范畴用来区分实词与非指称性短语的信息结构，并考虑不同层次的词义上下位关系和整体部分关系以及同一层次的同义反义关系，信息结构根据词性标注和语义知识库自动实现。

6.如权利要求1所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其特征在于：步骤五中，所述语用信息包括重音和话题，所述语用的调整规则包括：

重音前设界规则：将语义重音调整回其原有的语法结构中；

有标记话题后等同于韵律短语边界规则：与主语相同的话题是无标记的，其他情况的话题是有标记的，在有标记的话题后设置韵律短语边界。

7.如权利要求3所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其特征在于：步骤二中，在判断不同句块之间的松紧度时，附加语义角色句块的右边界为等立类，其余为组合关系。

8.如权利要求6所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其特征在于：步骤五中，所述话题为句首非焦点名词性成分；所述重音分为节奏重音和语义重音；语调短语最末一个词语标记为节奏重音，所述语义重音在语法形式上为对举式关联词，语用信息标注依据步骤二、三、四的信息自动实现。