CN1815522A - 运用计算机进行普通话水平测试和指导学习的方法 - Google Patents

Abstract

一种运用计算机进行普通话水平测试和指导学习的方法。包括用计算机进行普通话水平测试录音，对录音数据进行分析给出最终得分，指出发音中的错误及其错误程度，针对发音中的错误进行指导学习。

Description

运用计算机进行普通话水平测试和指导学习的方法

技术领域

本发明涉及计算机语音信号处理领域。具体是运用计算机对普通话水平测试的待测人员进行数字录音，然后进行自动评分、指出错误发音及其错误程度并针对错误发音进行指导学习。

背景技术

普通话水平测试是推广普通话工作的重要方法，是使推广普通话工作逐步走上科学化、规范化、制度化的重要举措。2000年10月31日第九届全国人民代表大会常务委员会第十八次会议通过的《中华人民共和国国家通用语言文字法》规定，以普通话作为工作语言的播音员、节目主持人和影视话剧演员、教师、国家机关工作人员必须参加普通话水平测试并达到国家规定的等级标准。

目前进行的普通话水平测试工作全部采用人工评分的方式，一般每个普通话测试考场需要安排2-3名测试员，由测试员对考生说话的声音进行评分，一个考场一天只能测试30人，一个上千人的普通话水平测试常常需要在短时间内组织上百名测试员，不仅费时费力，测试成本高，而且效率低。由于全部采用人工的方式评分，测试员的主观性很强，在一定程度上存在测试结果的公正性问题。

因此，结合现代计算机技术的发展，研究开发如何将先进的信息技术应用于普通话水平测试，全部替代或部分替代人工的评测员，从而弥补传统的普通话水平测试方法的不足，对于节省人力物力等成本和提高测试的公正性、效率方面都具有重大的意义。

计算机普通话水平测试系统的研究本身对于基础资源库、跨学科的合作等方面的要求很高，存在较大的难度。正是由于缺乏系统的指导和广泛合作，计算机的方式实现普通话水平测试长期以来一直没有得到研究人员的关注。

在国家语委科研办的委托下，安徽中科大讯飞信息科技有限公司承担了国家语言文字应用“十五”重点项目——“智能语音技术在普通话辅助学习中的应用”，已完成主要方言语料库的收集、标注工作，在部分省市利用项目成果进行的计算机普通话水平测试已达到了较高的精度，可以对普通话口语面貌进行比较准确的评测，测试水平已经达到省级测试员的水平，可在今后的普通话水平测试中逐步推广使用。

发明内容

本发明公开了一种运用计算机进行普通话水平测试和指导学习的方法，可以利用机器自动地对学习者的发音进行分析和评判，给出发音人的得分，指出发音人的错误及其错误程度并以图、文、音一体的方式进行反馈，同时针对发音人的错误自动生成相应的学习文本或语音样例供发音人学习。

完整的计算机普通话水平测试和指导学习系统一般由三个部分组成：

评分部分：结合普通话水平测试大纲，运用数字信号理论和计算机语音处理技术计算考生所发语音相对标准语音的各种评分参数，并将这种评分参数按照事先训练好的映射模型转化为对语音的评分，使机器评分结果最大可能的接近于人工专家评分结果。

检测部分：根据考生所发语音在标准语音模型下的评分参数，在充分考虑相关语言学先验知识的基础上针对人工对典型语音错误的标注运用机器学习的方法来判断出学习者发音错误的位置及其错误类型。

指导部分：针对考生的水平和发音错误给出纠正性的、积极的反馈指导。包括打印出考生的错误音种类及错误程度；计算机上播放正确的发音及发音的舌、口、唇运动示意图，指出考生具体的舌、口、唇错误；给出针对错误的学习文本及其发音样例。

本发明的技术方案如下：

一种运用计算机进行普通话水平测试和指导学习的方法，包括用计算机进行普通话水平测试录音，对录音数据进行分析给出最终得分，指出发音中的错误及其错误程度，针对发音中的错误进行指导学习，其特征是：

(1)、建立音素平衡的标准发音人语音库；

(2)、用计算机对标准发音人语音库进行分析，得到标准普通话语音模型；

(3)、录制一般普通话语音库，并由国家级普通话测试员对其人工打分，并标注详细发音错误，计算出一般普通话语音库的反映普通话水平标准程度的各种评分参数，在一般普通话语音库上用机器学习的方法学习出各种评分参数与人工打分的映射关系，各种评分参数与详细发音错误的映射关系；

(4)、用计算机对普通话水平测试人的录音进行分析，计算出反映普通话水平标准程度的各种评分参数，利用得到的各种评分参数和所述的映射关系计算出考生的最终的得分，指出考生的发音错误；

(5)、指导学习时根据考生的发音错误给出相应的正确发音，生成针对错误的加强学习文本和发音样例供考生练习；

所述的各种评分参数是指：

(1)、每个发音单位，如音素或音节或考虑前后音影响的音素中音节的对应标准普通话语音模型的音段似然度、音段似然比、音段时长、时段时长系数、音调似然度、音调似然比；

(2)、根据各个发音单位的评分参数规整得到的各个试题，如字、词、短文、命题说话的相应评分参数；

(3)、根据各个试题的评分参数规整得到的针对各人的相应评分参数。

所述的方法，其特征在于可以运用普通话水平测试的各部分试题录音进行各题得分评测，也可以用各部分试题录音进行总得分估计评测。

所述的方法，其特征在于对命题说话部分进行评测可以运用语音识别技术中的语言模型提高评测性能。

所述的方法，其特征在于指导学习中，提供以正确的发音示范以及用语音提示发音方法，显示语音波形图，语谱图以及正确的口、唇、舌位置图甚至播放发音时的运动过程。

所述的方法，其特征在于：

(1)、建立音素平衡的标准发音人语音库是指：

a、分性别，按普通话水平测试和学习人群的年龄分布寻找一批合适的标准发音人；

b、根据普通话水平测试大纲要求的音素平衡原则设计录音文本；

c、安排标准发音人进行录音工作，录音的保存文件名与对应的文本进行关联，

(2)、标准普通话语音模型的建立，包括音段模型和音调模型的建立，

运用标准发音人语料库及其相关联的文本，训练标准语音的音段模型，可以是音素、音节模型，也可以是上下文相关的音素、音节模型，模型的训练步骤是：

a、将语音分帧，帧长：250ms，帧移；10ms，并按帧计算语音的Mel倒谱系数(MFCC)参数；

b、训练各种音段的基于MFCC参数的隐含马尔可夫模型(HMM)；

运用标准发音人语料库及其相关联的文本，训练标准语音的音调模型，可以是单纯四声音调模型，也可以是与前后调以及韵母相关的音调模型，模型的训练步骤是：

a、按帧计算语音的基频参数；

b、训练各种音调的基于基频参数的隐含马尔可夫模型。

(3)、录制一般普通话语音库：在普通话水平测试现场，对考生的考试发音进行录音，同时保存录音试题，并将录音文件名与录音试题进行关联；

(4)、详细标注发音错误：即详细标注语音库中的每个字的声母、韵母以及声调的发音正确与否，并对每个不正确声母、韵母及声调标识出其正确的声母、韵母和声调，

(5)、计算一般普通话语音库的各项评分参数：

a、按帧计算出语音的MFCC参数、基频参数和共振峰；

b、用标准音段模型按照语音对应的文本将对语音的MFCC参数进行切分到音段，同时得到各音段相对标准模型的切分似然度值；

c、用标准音调模型按照语音对应的文本将对语音的基频参数语音切分到音段，同时得到各音调相对标准模型的切分似然度值；

d、根据音段的切分计算各音段时长，声韵母时长比，各音段的共振峰序列等音段评分参数；

e、用标准音段模型和音调模型对语音进行音段识别和音调识别，得到识别结果和对应的音段识别似然度和音调识别似然度；

f、将音段和音调的切分似然度除以识别似然度得到音段和音调的似然比；

g、将各音段时长，声韵母时长比，音段的似然度，音段的似然比，音调的似然度，音调的似然比进行规整(可以按字、词、短文朗读、命题说话等不同测试内容进行规整，也可以按所有发音进行规整)得到针对某个考生的一组或一个(对应于所有发音进行规整)评分参数；

(6)、建立评分参数与人工打分的映射关系：对所有一般普通话语料库进行评分参数计算，并引入分段多项式回归的方法，建立评分参数到国家级普通话测试员评分上的映射关系，并将得到的回归参数保存，做为评分参数向最后机器评分的映射模型；

(7)、建立各种评分参数与详细发音错误的映射关系：在所有一般普通话数据库上将各个音段评分参数、音调评分参数和音段的共振峰序列与测试员的详细标注进行关联，然后统计得到上述参数与测试员详细标注的各种关系，如某个参数大于或小于多少时测试员判断为正确或错误，将这些关系做为评分参数到评测员所标注发音错误的映射模型。

本发明的反馈、指导学习功能：

检测出的每个考生的错误，可以打印出考生的错误音种类及错误程度；计算机上播放正确的发音及发音的舌、口、唇运动示意图，指出考生具体的舌、口、唇错误；给出针对错误的学习文本及其发音样例(如针对考生的n-1不分问题，自动生成“两三(liang3san1)年内(nian2nei4)难以(nan2yi3)盈利(ying2li4)。”等多个包含n，l的句子让其进行训练，并运用高质量的语音合成技术生成标准发音供其参照学习。

发明的效果

判断计算机测试系统评测性能的优劣，这里根据普通话水平测试大纲的要求，计算机器测试的结果与三个人工测试结果之间的分数绝对误差均值和等级一致率均值来判定。同时由于人工之间也存在误差，因此将三个人工测试结果之间的分数绝对误差均值和等级一致率均值做为机器与人工测试性能的比照。

在测试员的打分数据库上经统计，三位测试员两两之间的评分绝对误差平均，在不同的数据集上分布在1.5-2.5分之间，等级一致率分布在0.8-0.85。计算机测试系统评测的总分平均误差在2分以内，与测试员之间的等级一致率达到0.8以上，因此计算机测试效果其本达到与人工测试接近的水平。

计算机指导学习部分的效果是不仅可以替代部分语言老师的指正，代读，针对性出题等，还可以更形象化的指出学习者的发音的物理参数，如波形、频谱，并将之与标准波形、频谱进行对比。

术语解释

语音识别：语音识别是模式识别的一个分支，又从属于信号处理科学领域，同时与语音学、语言学、数理统计及神经生物学等学科有非常密切的关系，语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技术。一个完整的语音识别系统可大致分为三部分：语音特征提取；声学模型与模式匹配(识别算法)；语言模型与语言处理。

似然度：也可称相似度，指将音段(音调)划分到特定音段(音调)模型类别的后验概率。

语谱图：语谱图是一种用二维图形，用来描述语音能量在连续频率轴上随时间的变化规律。即其纵轴对应于频率，横轴对应于时间，图像浓黑程度正比于语音信号的能量。

附图说明

图1：计算机普通话水平测试和指导学习系统示意图。

图2：计算机普通话水平测试和指导学习系统实现框图。

图3：计算机普通话测试和学习指导系统的测试功能现场使用示意图。

具体实施方式

一种运用计算机进行普通话水平测试和指导学习的方法，包括用计算机进行普通话水平测试录音，对录音数据进行分析给出最终得分，指出发音中的错误及其错误程度，针对发音中的错误进行指导学习，具体步骤是：

(1)、建立音素平衡的标准发音人语音库：

a、分性别，按普通话水平测试和学习人群的年龄分布寻找一批合适的标准发音人；

b、根据普通话水平测试大纲要求的音素平衡原则设计录音文本；

c、安排标准发音人进行录音工作，录音的保存文件名与对应的文本进行关联。

(2)、建立标准普通话语音模型，包括音段模型和音调模型的建立，

运用标准发音人语料库及其相关联的文本，训练标准语音的音段模型，可以是音素、音节模型，也可以是上下文相关的音素、音节模型，模型的训练步骤是：

a、将语音分帧，帧长：250ms，帧移：10ms，并按帧计算语音的Mel倒谱系数(MFCC)参数；

b、训练各种音段的基于MFCC参数的隐含马尔可夫模型(HMM)；

运用标准发音人语料库及其相关联的文本，训练标准语音的音调模型，可以是单纯四声音调模型，也可以是与前后调以及韵母相关的音调模型，模型的训练步骤是：

a、按帧计算语音的基频参数；

b、训练各种音调的基于基频参数的隐含马尔可夫模型。

(3)、录制一般普通话语音库：在普通话水平测试现场，对考生的考试发音进行录音，同时保存录音试题，并将录音文件名与录音试题进行关联；

(4)、详细标注发音错误：即详细标注一般普通话语音库语音库中的每个字的声母、韵母以及声调的发音正确与否，并对每个不正确声母、韵母及声调标识出其正确的声母、韵母和声调，

(5)、计算一般普通话语音库的各项评分参数：

a、按帧计算出语音的MFCC参数、基频参数和共振峰；

b、用标准音段模型按照语音对应的文本将对语音的MFCC参数进行切分到音段，同时得到各音段相对标准模型的切分似然度值；

c、用标准音调模型按照语音对应的文本将对语音的基频参数语音切分到音段，同时得到各音调相对标准模型的切分似然度值；

d、根据音段的切分计算各音段时长，声韵母时长比，各音段的共振峰序列等音段评分参数；

e、用标准音段模型和音调模型对语音进行音段识别和音调识别，得到识别结果和对应的音段识别似然度和音调识别似然度；

f、将音段和音调的切分似然度除以识别似然度得到音段和音调的似然比；

g、将各音段时长，声韵母时长比，音段的似然度，音段的似然比，音调的似然度，音调的似然比进行规整(可以按字、词、短文朗读、命题说话等不同测试内容进行规整，也可以按所有发音进行规整)得到针对某个考生的一组或一个(对应于所有发音进行规整)评分参数；

(6)、建立评分参数与人工打分的映射关系：对所有一般普通话语料库进行评分参数计算，并引入分段多项式回归的方法，建立评分参数到国家级普通话测试员评分上的映射关系，并将得到的回归参数保存，做为评分参数向最后机器评分的映射模型；

(7)、建立各种评分参数与详细发音错误的映射关系：在所有一般普通话数据库上将各个音段评分参数、音调评分参数和音段的共振峰序列与测试员的详细标注进行关联，然后统计得到上述参数与测试员详细标注的各种关系，如某个参数大于或小于多少时测试员判断为正确或错误，将这些关系做为评分参数到评测员所标注发音错误的映射模型；

(8)、用计算机对普通话水平测试人的录音进行分析，计算出反映普通话水平标准程度的各种评分参数，利用得到的各种评分参数和所述的映射关系计算出考生的最终的得分，指出考生的发音错误；

(9)、指导学习时根据考生的发音错误给出相应的正确发音，生成针对错误的加强学习文本和发音样例供考生练习；提供以正确的发音示范以及用语音提示发音方法，显示语音波形图，语谱图以及正确的口、唇、舌位置图甚至播放发音时的运动过程。

Claims (5)

1、一种运用计算机进行普通话水平测试和指导学习的方法，包括用计算机进行普通话水平测试录音，对录音数据进行分析给出最终得分，指出发音中的错误及其错误程度，针对发音中的错误进行指导学习，其特征是：

(1)、建立音素平衡的标准发音人语音库；

(2)、用计算机对标准发音人语音库进行分析，得到标准普通话语音模型；

(3)、录制一般普通话语音库，并由国家级普通话测试员对其人工打分，并标注详细发音错误，计算出一般普通话语音库的反映普通话水平标准程度的各种评分参数，在一般普通话语音库上用机器学习的方法学习出各种评分参数与人工打分的映射关系，各种评分参数与详细发音错误的映射关系；

(4)、用计算机对普通话水平测试人的录音进行分析，计算出反映普通话水平标准程度的各种评分参数，利用得到的各种评分参数和所述的映射关系计算出考生的最终的得分，指出考生的发音错误；

(5)、指导学习时根据考生的发音错误给出相应的正确发音，生成针对错误的加强学习文本和发音样例供考生练习；

所述的各种评分参数是指：

(1)、每个发音单位，如音素或音节或考虑前后音影响的音素中音节的对应标准普通话语音模型的音段似然度、音段似然比、音段时长、时段时长系数、音调似然度、音调似然比；

(2)、根据各个发音单位的评分参数规整得到的各个试题，如字、词、短文、命题说话的相应评分参数；

(3)、根据各个试题的评分参数规整得到的针对各人的相应评分参数。

2、根据权利要求1所述的方法，其特征在于可以运用普通话水平测试的各部分试题录音进行各题得分评测，也可以用各部分试题录音进行总得分估计评测。

3、根据权利要求1所述的方法，其特征在于对命题说话部分进行评测可以运用语音识别技术中的语言模型提高评测性能。

4、根据权利要求1所述的方法，其特征在于指导学习中，提供以正确的发音示范以及用语音提示发音方法，显示语音波形图，语谱图以及正确的口、唇、舌位置图甚至播放发音时的运动过程。

5、根据权利要求1所述的方法，其特征在于：

(1)、建立音素平衡的标准发音人语音库是指：

a、分性别，按普通话水平测试和学习人群的年龄分布寻找一批合适的标准发音人；

b、根据普通话水平测试大纲要求的音素平衡原则设计录音文本；

c、安排标准发音人进行录音工作，录音的保存文件名与对应的文本进行关联，

(2)、标准普通话语音模型的建立，包括音段模型和音调模型的建立，

运用标准发音人语料库及其相关联的文本，训练标准语音的音段模型，可以是音素、音节模型，也可以是上下文相关的音素、音节模型，模型的训练步骤是：

a、将语音分帧，帧长：250ms，帧移：10ms，并按帧计算语音的Mel倒谱系数(MFCC)参数；

b、训练各种音段的基于MFCC参数的隐含马尔可夫模型(HMM)；

运用标准发音人语料库及其相关联的文本，训练标准语音的音调模型，可以是单纯四声音调模型，也可以是与前后调以及韵母相关的音调模型，模型的训练步骤是：

a、按帧计算语音的基频参数；

b、训练各种音调的基于基频参数的隐含马尔可夫模型。

(3)、录制一般普通话语音库：在普通话水平测试现场，对考生的考试发音进行录音，同时保存录音试题，并将录音文件名与录音试题进行关联；

(4)、详细标注发音错误：即详细标注语音库中的每个字的声母、韵母以及声调的发音正确与否，并对每个不正确声母、韵母及声调标识出其正确的声母、韵母和声调，

(5)、计算一般普通话语音库的各项评分参数：

a、按帧计算出语音的MFCC参数、基频参数和共振峰；

b、用标准音段模型按照语音对应的文本将对语音的MFCC参数进行切分到音段，同时得到各音段相对标准模型的切分似然度值；

c、用标准音调模型按照语音对应的文本将对语音的基频参数语音切分到音段，同时得到各音调相对标准模型的切分似然度值；

d、根据音段的切分计算各音段时长，声韵母时长比，各音段的共振峰序列等音段评分参数；

e、用标准音段模型和音调模型对语音进行音段识别和音调识别，得到识别结果和对应的音段识别似然度和音调识别似然度；

f、将音段和音调的切分似然度除以识别似然度得到音段和音调的似然比；

g、将各音段时长，声韵母时长比，音段的似然度，音段的似然比，音调的似然度，音调的似然比进行规整(可以按字、词、短文朗读、命题说话等不同测试内容进行规整，也可以按所有发音进行规整)得到针对某个考生的一组或一个(对应于所有发音进行规整)评分参数；

(6)、建立评分参数与人工打分的映射关系：对所有一般普通话语料库进行评分参数计算，并引入分段多项式回归的方法，建立评分参数到国家级普通话测试员评分上的映射关系，并将得到的回归参数保存，做为评分参数向最后机器评分的映射模型；

(7)、建立各种评分参数与详细发音错误的映射关系：在所有一般普通话数据库上将各个音段评分参数、音调评分参数和音段的共振峰序列与测试员的详细标注进行关联，然后统计得到上述参数与测试员详细标注的各种关系，如某个参数大于或小于多少时测试员判断为正确或错误，将这些关系做为评分参数到评测员所标注发音错误的映射模型。