CN104732981B - 一种结合电声门图的汉语语音情感数据库的语音标注方法 - Google Patents

Abstract

本发明提供了一种结合电声门图的汉语语音情感数据库的语音标注方法。该语音标注方法的主要标注内容包括对每条语音同时标注八层信息：第一层，文字转换层，明确说话人说话内容及相应的副语言信息；第二层，音节层，标注每个音节的正则拼音和声调；第三层，声韵母层，将音节层的声韵母分开标注，同时标明声调信息；第四层，清音浊音静音层，结合电声门图对语音的清浊静音的进行分割；第五层，副语言信息层，标注每条语音包含的副语言信息；第六层，情感层，根据说话人表达的情感状态，每条语音都标注包含有七种情感信息并标注每种情感的表达程度；第七层，重音指数层，标注每个音节发音的强度信息；第八层，语句功能层，标注每条语句的语句类型。

Description

一种结合电声门图的汉语语音情感数据库的语音标注方法

技术领域

本发明涉及一种结合电声门图的汉语语音情感数据库的语音标注方法，其语音标注信息较全面和详细，使用电声门图直接反应声带振动信息，减少噪声干扰，提高语音标注的准确性。

背景技术

语音是人们在交流和表达情感的最直接的方式之一。随着人机交互和情感计算的不断发展，从语音中识别其所要表达的情感信息越来越受到国内外学者的关注。语料库是语音情感识别的基础，因此，选择合适的语料库作为语音情感分析和识别的基础，显得极为重要。对连续语音进行分割和标注，对语料库的充分利用有重要作用。

近年来，国内外研究学者以自身的科研任务为背景，分别建立多个语音情感数据库，但由于情感的复杂性，目前对情感语音数据库的建立和标注仍然没有建立统一的标准，故建立完善的数据库对语音情感的识别、语音合成等研究具有非常重要的意义。

发明内容

为了进行汉语语音情感识别的研究，本发明提出了一种结合电声门图的汉语语音情感数据库的语音标注方法，在采集语音信号的基础上，同时采集电声门图信号。电声门图直接反应声带的振动信息，避免声道调制和声音传播过程中的噪声干扰，从而提高语音标注的准确性。该语音标注方法的主要标注内容包括对每条语音同时标注八层信息，分别为：第一层，文字转换层，明确说话人说话内容及相应的副语言信息；第二层，音节层，标注每个音节的正则拼音和声调；第三层，声韵母层，将音节层的声韵母分开标注，同时标明声调信息，声调信息包含有说话人的情感信息；第四层，清音浊音静音层，结合电声门图对语音的清浊静音的进行分割，使分割更准确；第五层，副语言信息层，标注每条语音包含的副语言信息；第六层，情感层，根据说话人表达的情感状态，每条语音都标注包含有悲伤、高兴、害怕、惊讶、平静、生气、嫌恶七种情感信息并标注每种情感的表达程度；第七层，重音指数层，标注每个音节发音的强度信息；第八层，语句功能层，标注每条语句的语句类型。具体八层标注信息如下：

(1)HZ(文字转换层)，将听到的语音信息转换为文字信息，转换时语音及副语言信息准确转写，文字标注必须标明基本文字信息以及副语言学现象，基本标注中的副语言学现象采用社科院语言研究所设计副语言学符号表示；

(2)PY(音节层)，标注正则拼音和声调，且声调标注在拼音之后；

(3)SY(声母/韵母层)，将音节的声母与韵母分开标注，声调标注在韵母部分；

(4)SUV：清音浊音静音层，根据电声门图和语音的波形特点以及语谱图特征，对语音进行清浊静音的分割和标注，并分别以S(Silence静音)、U(Unvoiced sound清音)、V(Voiced sound浊音)表示；

(5)PARAL：副语言信息层，标注所在语音段的副语言信息，包括语句停顿、拖长、语气词等，可采用社科院语言研究所设计的副语言学符号表示；

(6)EMO：情感表达层，标注包含有悲伤、高兴、害怕、惊讶、平静、生气、嫌恶其中情感表达类型及每种情感的表达程度；

(7)ST：重音指数层，将重音程度划分为4级(1-4)，从1到4重音程度越来越强，将语音中不同的重音程度的音节用1-4进行标注；

(8)FU：语句功能层，标注语音中的句子类型，分别有陈述句(declarative)、疑问句(interrogative)、感叹句(exclamatory)、祈使句(imperative)。

其中，所述的第二层PY层的音节标注层中，声调直接标注在音节之后，普通话的四个声调分1,2,3,4表示，轻声用0表示，例如：音节“我”的标注为“wo3”。

其中，所述的第三层SY层的声韵母标注层中，将音节层的声韵母分开标注，标注实际发音。声韵母标注时，对应于音节层，将每个音节的声母，韵母以及声母和韵母中间的过渡发音进行标注，声调标注在韵母之后。普通话的四个声调分别用_1,_2,_3,_4表示，轻声用_0表示。

1、其中，所述的第六层EMO情感表达层的标注中，每条语句都必须标有7种情感类型和对应的情感表达程度，标注形式为：b1 g3 h1 j1 p1 s1 x1，每种情感后面标注对应的情感表达程度。情感表达程度用1-5表示，表示情感表达越来越强烈，1：毫无感情；2：仅有微弱的情感；3：情感表达较明显，但不强烈；4：情感表达较强烈；5：情感表达很强烈。当情感表达程度为1和2时，认为该条语音的情感表达不好。标注时，每两种不同的情感之间要以空格键分开。

其中，所述的PY层和SY层中的语音静音部分采用符号“sil”进行标注。

本发明与现有的汉语情感语音数据库相比的优势有：

1、采用双模情感语音数据库，同时包含有语音信号和电声门图信号，其中电声门图直接反应声带的振动信息，避免声带调制和声音传播过程中引起的噪声干扰，在进行语音分割时，使分割更加准确；

2、标注信息全面、详细。本发明对语音信号进行八层信息的标注，分别为：文字转换层、音节层、声韵母层、清音静音浊音层、副语言信息层、情感层、重音指数层和语句功能层。相比于中国社会科学院语言研究所标注的语音数据库CASS的三层标注：音节层、声韵母层、杂类曾(副语言学和非语言学现象)的标注，很显然，本发明的标注信息更加全面详细，同时标注信息中含有的情感相关的标注信息对语音的情感分析研究有重要意义。

附图说明

图1为本发明的语音标注流程图；

图2为本发明进行语音标注时的具体标注情况；

图3为本发明进行语音标注时用到的部分副语言信息及相应的标注符号。

具体实施方式

下面结合附图，对本发明的技术方案做进一步说明。

本发明提出了一种结合电声门图的汉语语音情感数据库的语音标注方法，在采集语音信号的基础上，同时采集电声门图信号，电声门图直接反应声带的振动信息，避免声道调制和声音传播过程中的噪声干扰，从而提高语音标注的准确性。该语音标注方法的主要标注内容包括对每条语音同时标注八层信息，分别为：第一层，文字转换层，明确说话人说话内容及相应的副语言信息；第二层，音节层，标注每个音节的正则拼音和声调；第三层，声韵母层，将音节层的声韵母分开标注，同时标明声调信息，声调信息包含有说话人的情感信息；第四层，清音浊音静音层，结合电声门图对语音的清浊静音的进行分割，使分割更准确；第五层，副语言信息层，标注每条语音包含的副语言信息；第六层，情感层，根据说话人表达的情感状态，每条语音都标注包含有悲伤、高兴、害怕、惊讶、平静、生气、嫌恶七种情感信息并标注每种情感的表达程度；第七层，重音指数层，标注每个音节发音的强度信息；第八层，语句功能层，标注每条语句的语句类型。本发明采用Praat软件进行标注。

标注流程参见附图1。首先，打开Praat并导入.Wav格式的语音文件，利用语音文件新建.TextGrid文件，同时设计标注为8个标注层级并确定每个层级的表示符号；同时打开.Wav文件和.TextGrid文件，从低层级到高层及逐层添加分割时间点，并添加标注内容；最后，进行标注检验和修改并保存文件。保存的文件名和源文件名相同，其扩展名为.TextGrid文件。

语音标注具体标注要求及流程如下：

(1)HZ-文字转换层，将听到的语音信息转换为文字信息，转换时语音及副语言信息准确转写，在HZ层没有分割点，标注时，副语言信息标注在对应的文字后面，中间有静音段时，标注在相对应的两个文字中间，并且副语言信息的标注符号放在中括号内；

(2)PY-音节层，标注正则拼音和声调，声调在拼音之后，将两个不同的音节之间及音节和静音之间添加分割点。在对应的分割点之间标注音节和声调，声调紧跟在音节之后，普通话的四个声调分别用1,2,3,4进行表示，轻声用0表示，具体标注情况参见附图2。

添加分割点原则参见附图2，其中channel1表示语音波形，channel2表示电声门图波形，下面黑色的图谱部分为语音的语谱图：

1)清音或静音和浊音之间的分割点：从清音或静音到浊音时，以电声门图波形开始规律振动的起始点为分割点，反之，以电声门图结束振动的点为分割点；

2)静音和清音之间的分割点：若语音波形有明显的变化，则以语音波形中无波形和有波形作为分静音和清音的分割点，若语音变化不明显，在标注时难以进行分割，则根据清音和静音雨谱分布的不同，在语谱图中有明显的分界(清音在语谱图上明显比静音颜色暗)，以该分界点作为清音和静音的分割点。

3)浊音之间的分割点：不同的浊音其发音特点不同，因此其基频和声带振动的形式有差异，分割方式有两种情况：在语音波形和电声门图波形上有明显波形变化差异的，以波形开始出现差异的点为分割点；波形上无明显差异的根据语谱图进行判别，上述的不同语音的基频差异在语谱图上表现为基频和谐波的起伏，及语谱图上颜色较深的部分的变化，依据不同浊音的特点进行分割。

(3)SY-声韵母层，将音节层的声韵母进行分割并分开标注，标注音节的实际发音。分割时依据上述的分割原则进行分割。声韵母标注时，对应于音节层，并将每个音节的声母，韵母以及声母和韵母中间的过渡发音进行标注，声调标注在韵母之后。普通话的四个声调分别用_1,_2,_3,_4表示，轻声用_0表示。声母部分的标注须要标注声韵母之间的过渡部分，以“+韵母的第一个拼音”的形式表示。音节中仅含有韵母时，不用进行分割，只标注韵母和声调，详细的标注情况参见附图2；

(4)SUV-轻音浊音静音层，在PY层和SY层的标注中，结合电声门图、语音波形及语谱图特点，可以明显区分出清音浊音和静音，在其两两的交界处添加分割点，并对应地用S、U、V进行标注；

(5)PARAL-副语言信息层，附图3中为部分副语言副语言信息及标注符号。在HZ文字转换层中，标注了语音相应的副语言信息，该层将副语言标注到相对应的副语言信息的起始位置和结束位置。语音两侧的静音段不进行副语言信息的标注。在语气词较长且后面有一段轻音的语音段，须标注语音的拖长音信息。副语言信息标注格式为：例如标注一感叹词，感叹词开始时的分割点标注“MO<”，结束时标注“MO>”，详细标注参见附图2；

(6)EMO-情感表达层，标注情感表达类型和表达程度，该层不需要进行分割，只需要标注出该条语音对应的情感及情感表达程度即可。每条语句须要标注包含有悲伤、高兴、惊讶、害怕、平静、生气、嫌恶其中情感类型和对应的情感表达程度。情感表达程度用1-5表示，表示情感表达越来越强烈，1：毫无感情；2：仅有微弱的情感；3：情感表达较明显，但不强烈；4：情感表达较强烈；5：情感表达很强烈。当情感表达程度为1和2时，认为该条语音的情感表达不好。标注时，每两种不同的情感之间要以空格键分；

(7)ST-重音指数层，对应于韵律单位，将重音指数划分为4级(1-4)，从1到4重音程度越来越强。在自然语音中，分层的重音结构用来表达各种态度和情感，考虑到听觉和感知结果可能与韵律结构不一致，所以应该标注出重音。主要根据说话者表达的情感和语气标注重音层。分割点与音节分割的分割点完全一致，且在每一个音节对应的分割段内标注重音。静音段内不进行标注；

(8)FU-语句功能层，根据我们所录制的语音，语句类型大概分为陈述句(declarative)、疑问句(interrogative)、感叹句(exclamatory)和祈使句(imperative)。该层不需要进行分割，只需根据语句判断句子类型，将对应句式的英文单词写到标注层内。

Claims (5)

1.一种结合电声门图的汉语语音情感数据库的语音标注方法，其特征在于：该标注方法包括八层标注信息，依次为：

(1)HZ(文字转换层)，将听到的语音信息转换为文字信息，转换时语音及副语言信息准确转写；

(2)PY(音节层)，标注正则拼音和声调，且声调标注在拼音之后；

(3)SY(声母/韵母层)，将音节的声母与韵母分开标注，声调标注在韵母部分；

(4)SUV：轻音浊音静音层，根据电声门图和语音的波形特点以及语谱图特征，对语音进行轻浊静音的切分和标注，并分别以S(Silence静音)、U(Unvoiced sound轻音)、V(Voicedsound浊音)表示；

(5)PARAL：副语言信息层，标注所在语音段的副语言信息，包括语句停顿、拖长、语气词，可采用社科院语言研究所设计的副语言学符号表示；

(6)EMO：情感表达层，标注包含有悲伤、高兴、害怕、惊讶、平静、生气、嫌恶其中情感表达类型及每种情感的表达程度；

(7)ST：重音指数层，将重音程度划分为4级(1-4)，从1到4重音程度越来越强，将语音中不同的重音程度的音节用1-4进行标注；

(8)FU：语句功能层，标注语音中的句子类型，分别有陈述句(declarative)、疑问句(interrogative)、感叹句(exclamatory)、祈使句(imperative)，将对应句式的英文单词写到标注层内。

2.根据权利要求1所述的一种结合电声门图的汉语语音情感数据库的语音标注方法，其特征在于：所述的第二层PY层的音节标注层中，声调直接标注在音节之后，普通话的四个声调分别用1 2 3 4表示，轻声用0表示。

3.根据权利要求1所述的一种结合电声门图的汉语语音情感数据库的语音标注方法，其特征在于：所述的第三层SY层的声韵母标注层中，将音节层的声韵母分开标注，用SAMPA-C音段标注系统标注实际发音；声韵母标注时，对应于音节层，将每个音节的声母，韵母以及声母和韵母中间的过渡发音进行标注，声调标注在韵母之后；普通话的四个声调分别用_1_2_3_4表示，轻声用_0表示。

4.根据权利要求1所述的一种结合电声门图的汉语语音情感数据库的语音标注方法，其特征在于：所述的第六层EMO情感表达层的标注中，每条语句都必须标有7种情感类型和对应的情感表达程度，标注形式为：b1g3h1j1p1s1x1，每种情感后面标注对应的情感表达程度，且两种不同的情感标注之间要以空格键分开。

5.根据权利要求1所述的一种结合电声门图的汉语语音情感数据库的语音标注方法，其特征在于：所述的PY层和SY层中语音的静音部分采用符号“sil”标注。