CN101739868B - 一种用于口语测试的文本朗读水平自动评估诊断方法 - Google Patents

一种用于口语测试的文本朗读水平自动评估诊断方法 Download PDF

Info

Publication number
CN101739868B
CN101739868B CN2008102266748A CN200810226674A CN101739868B CN 101739868 B CN101739868 B CN 101739868B CN 2008102266748 A CN2008102266748 A CN 2008102266748A CN 200810226674 A CN200810226674 A CN 200810226674A CN 101739868 B CN101739868 B CN 101739868B
Authority
CN
China
Prior art keywords
characteristic
model
tester
tone
marking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008102266748A
Other languages
English (en)
Other versions
CN101739868A (zh
Inventor
徐波
江杰
柯登峰
徐爽
浦剑涛
陈振标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iflytek South Asia Information Technology Yunnan Co ltd
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN2008102266748A priority Critical patent/CN101739868B/zh
Publication of CN101739868A publication Critical patent/CN101739868A/zh
Application granted granted Critical
Publication of CN101739868B publication Critical patent/CN101739868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明涉及一种用于口语测试的文本朗读水平自动评估诊断方法,该方法提取测试者按照给定文本进行朗读语音的各项特征;训练朗读特征与人工评分的拟分模型;测试时依据其朗读特征和拟分模型拟合出机器评分,并给出相关的诊断信息。它要求测试者朗读预先设定的文本,然后利用收集到的语音对测试者的口语能力做出自动评估。其特点是利用计算机提取测试者朗读语音的各项特征,在拟分模型上拟和得出机器评分,从而达到评估测试者口语语言能力的目的。

Description

一种用于口语测试的文本朗读水平自动评估诊断方法
技术领域
本发明涉及计算机辅助语言学习领域,具体涉及一种用于口语测试的文本朗读水平自动评估诊断方法,它要求测试者朗读预先设定的文本,然后利用收集到的语音对测试者的口语能力做出自动评估。
背景技术
近十年来,计算机辅助学习技术得到业界的广泛关注,并且取得了长足的进步,尤其是在口语学习领域,人机交互的学习方式几已趋于使用。在这种情况下,将口语评估从全人工的方式中解脱出来更是大势所趋。要做到这一点,计算机作为“虚拟教师”,必须能对测试者的口语能力做出一个公允、准确、详尽的评估。这就需要设计者在大量的历史评估数据中收集足够多的样例,用于改进计算机的评估效果。在大规模数据的支持下,相比于传统的人工口语评估中所存在的随意性和主观性,计算机评估更能为测试者做出一个公平公正的评估结果。至于如何在收集到的大量评估数据基础上,开发出有效的自动评估算法,则成为自动口语评估所需要研究的内容。
目前已有的自动口语评估方法的框架大体都是基于朗读语音评估,通过评估测试者的朗读语音得出机器评分,其选用的特征主要是发音和汉语声调,并且诊断信息不足。
发明内容
本发明的目的是在收集到的大量评估数据基础上,开发出有效的自动评估方法,通过对测试者的朗读语音进行处理,从而自动评估其口语能力,为此本发明提出一种用于口语测试的文本朗读水平自动评估诊断方法。
为达成所述目的,本发明提供一种用于口语测试的文本朗读水平自动评估诊断方法,其技术方案如下所述:
步骤1:测试者朗读预先设定的文本,提取测试者按照给定文本朗读语音的特征,所述朗读语音特征包括:可客观计算的完整性特征、准确性特征和流利性特征;
步骤2:在历史评估数据基础上提取并训练朗读特征与人工评分的拟分模型;
步骤3:测试时依据其朗读特征和拟分模型拟合出机器评分,并给出测试者朗读特征的诊断信息;
所述完整性特征提取包括:将测试者朗读语音自动识别的结果与标准文本分别做正向和反向的动态匹配,取正向和反向的动态匹配边界重复段的交集为匹配集合,然后根据各自不同的匹配度计算词对齐特征和段对齐特征,用于表征测试者朗读内容与标准文本的符合度;
所述准确性特征包括发音特征和汉语的声调特征,其中:
所述发音特征向量提取是取完整性特征中匹配集合,做音素级别的自动强制对齐,对于对齐后的每个音素及其语音信号,计算在指定音素的声学模型MP条件下,语音信号的模型打分P(O|Mp)作为发音打分;将M种不同的模型打分计算出的分数合并为Pp=[Pp1,Pp2,...,PpM],并按照朗读文本做加权;最终计算发音特征向量FP为:
F p = Σ p ∈ S a P p k w ,
式中kw是音素P的发音权重,Sa是完整性特征中匹配集合a,Mp是给定音素的声学模型,O是语音信号;
所述声调特征提取是取完整性特征中匹配集合,做音节级别的自动强制对齐,对于对齐后的每个音节的语音信号,计算在指定音节的声调模型Tw条件下,语音信号的后验概率P(O|Tw)作为声调打分,并按照朗读文本做加权,最终计算声调的特征Ft为:
F t = Σ w ∈ S a P w h w ,
式中hw是音节W的声调权重,Tw是声调模型,Pw是声调打分;
所述流利性特征包括测试者的语速评估特征、音节段长评估特征、停顿特征和编辑特征以及相应的计算,各特征之间是并列关系,如下所述:
语速评估特征提取包括:利用语速提取测试者单位时间内说出的音素个数;利用调音速率提取测试者去掉重复的现象的平均音素时长;
音节段长评估特征提取是利用各音素的段长特征训练出的概率模型对朗读语音打分,最后将该打分按音素做算术平均;
停顿特征提取是利用静音检测出的停顿点,在停顿特征训练出的概率模型上对测试者的停顿次数和分布进行打分;
编辑特征提取是利用语言编辑模型检测朗读语音中的重复、插入和删除现象的个数,然后对朗读文本长度归一化;
所述训练朗读特征与人工评分的拟分模型是利用训练集合中的人工标注数据,采用回归法Y=β0x01x1+...+βnxn+ε,式中x0...xn是拟合输入的归一化向量,β0,...βn是在大规模数据上训练得到的回归系数,ε是残差,将多个朗读特征拟合为机器分,所述多个朗读特征拟合为机器分是使用各项特征作为拟合输入的归一化向量x0...xn,利用大规模数据上训练得到的回归系数β0,...βn直接计算出机器评估分;或
按照完整分拟合模型、准确分拟合模型和流利分拟合模型各自的模型参数β1,0,...,β1,n,β2,0,...,β2,n和β3,0,...,β3,n计算完整性特征、准确性特征和流利性特征,得到完整性打分、准确性打分和流利性打分,再利用分层拟合模型进行分层拟合,得到机器分的参数β0,β1,β2,然后使用机器分的参数β0,β1,β2计算出机器分;对于在人工打分方面分布失衡的训练数据,需要采取分段拟合的策略,按照分数分布将分数分段,使得各分数段内部的人工打分趋于平衡,用于减少数据失衡对拟合的影响。
测试者朗读预先设定的文本,提取测试者按照给定文本朗读语音的特征,选取完整性、准确性和流利性三方面特征作为机器评估的评判标准,在历史评估数据上提取并训练其统计模型和拟分模型用于实际的评估。测试的时候,同样提取测试人朗读语音的特征,在统计模型上打分,最后通过拟分模型得出实际的机器分。同时,对该测试者的各项语言能力,该发明可以按照不同的分类给出其相应的诊断信息,用于纠正测试者的错误,使其能够在测试中不断进步。
本发明的有益效果:本发明基于测试人朗读语音的语言能力自动评估,利用大量的历史评估数据,该方法能够做到公允、准确、详尽的口语能力评估,并且能有效地克服人工评分的随意性和主观性,从而促进测试者的语言学习过程。本发明的特点是:利用改进的发音、声调、语速和音节段长特征,同时加入特有的对齐特征、停顿特征和编辑特征,将特征分别归为完整性、准确性和流利性三大类,分门别类对测试者的语音做评估和诊断。同时针对不需要诊断信息和需要诊断信息的场合,分别采用直接拟合和分层拟合框架做机器分拟合。此外,采用分段拟合来处理失衡的训练数据。
附图说明
图1是本发明的朗读语音评估总体框架。
图2是本发明的直接拟合框架。
图3是本发明的分层拟合框架。
图4是本发明的英语口语诊断界面示例图。
图5是本发明的汉语声调诊断界面示例图。
具体实施方式
下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是,所描述的实施例仅旨在便于对本发明的理解,而对其不起任何限定作用。
请参阅图1,本发明的朗读语音评估总体框架。对照图1,为了达到朗读评估的目的,需要在一台配备录音设备的计算机上实现本发明的朗读语音评估,还需要准备的资源包括:历史评估数据和朗读文本;需要使用通用编程语言(如C++)编制总体结构各模块的程序,包括:模型训练模块、拟合参数训练模块、特征提取模块和分数拟合模块;在测试时候也需要要求测试者按照朗读文本进行朗读录音。至此,实际的评估流程为:测试者利用模型训练模块按照朗读文本进行录音,然后利用特征提取模块提取测试者按照给定文本进行朗读语音的各项特征,利用拟合参数训练模块训练朗读特征与人工评分的拟分模型;利用分数拟合模块测试时依据其朗读特征并且用拟分模型得出机器评估分数和相关的诊断信息。其中特征提取模型和拟分模型的参数是通过历史评估数据训练出来的。
下面对本发明方法的具体特征说明如下:
一、特征部分;
1、完整性特征,其是用于表征测试者朗读内容与标准答案的符合度。根据侧重点不同,完整性特征又分为词对齐特征和段对齐特征。
其提取方法是:将测试者朗读语音做自动识别的结果Sr与标准文本Sd分别做正向和反向的动态匹配,取两次匹配的交集(加上不匹配部分的边界重复段)为匹配集合Sa。对于属于匹配集合Sa的每一个词Wa,将紧临Wa的两个词都标记为匹配,这时候得到的匹配集合是Sm。这样就有:
词对齐特征WRM=Sa/Sd
段对齐特征SM=Sm/Sd
2、准确性特征,其包括发音和声调两部分。
发音特征向量Fp的提取方法是:取完整性特征中匹配集合Sa,做音素级别的自动强制对齐,对于对齐后的每个音素P及其语音信号O,计算给定音素P的声学模型Mp情况下,语音信号O的模型打分P(O|Mp)作为发音打分Ppi。将M种不同的模型打分方法计算出的分数合并为一个发音打分向量作为发音特征Pp=[Pp1,Pp2,...,PpM],并按照朗读文本做加权。最终发音特征向量:
Figure GSB00000525186700051
其中kw是音素P的发音权重。
模型打分方法有如下几种:
a)基于隐马模型对数似然分LL:
LL ( q i ) = 1 N i Σ t = t 0 t 0 + N i log P ( o t | q i )
其中音素qi对应语音Ot,长度为Ni,起始时间是t0,log P(ot|qi)是Ot在qi上的声学模型打分。最终的打分是在整句上做平均,其中句长M:
LL = 1 M Σ i = 1 M LL ( q i )
b)基于隐马模型对数后验概率分LPP:
LLP ( q i ) = 1 N i Σ t = t 0 t 0 + N i log P ( q i | o t )
log P ( q i | o t ) = log p ( o t | q i ) P ( q i ) Σ q j ∈ Q p ( o t | q j ) P ( q j )
其中qi对应语音Ot,长度为Ni,起始时间是t0,log P(ot|qi)是Ot在qi上的声学模型打分,Q是qi的竞争音素集合。
最终的打分是在整句上做平均,其中句长M:
LLP = 1 M Σ i = 1 M LLP ( q i )
根据竞争音素不同计算方法,LLP有多种变形,包括全音素LLP,临近音素LLP,动态竞争音素LLP等,这些变形特征都并列组合为LLP特征向量。
声调特征Ft的提取方法是:取完整性特征中匹配集合Sa,做音节级别的自动强制对齐,对于对齐后的每个音节W及其语音信号O,计算给定音节W的声调模型Tw情况下,语音信号O的后验概率P(O|Tw)作为声调打分Pw,并按照朗读文本做加权。最终声调特征Ft表示如下:
F t = Σ w ∈ S a P w h w ,
其中hw是音节W的声调权重。
3、流利性特征,包括测试者的语速评估、音节段长评估、停顿特征检测和编辑特征检测。
1)语速评估有两个特征:语速ROS和调音速率ART。ROS是测试者单位时间内说出的音素个数,而ART是测试者的平均音素时长(去掉重复的现象),其计算是:
ROS=n/T
ART=n′/T′
其中n是总音素个数,T是总时长;n’是去除重复音素的总音素个数,T’是去除音素间间隔的总时长。
2)音节段长评估特征SDS,其特点是利用各音素的段长模型对朗读语音打分,最后按音素做算术平局:
SDS = 1 M Σ i = 1 M log P ( t | p i , o )
其中M是总音素个数,P(t|pi,o)是给定音素pi和语音o情况下时长为t的概率。
3)停顿特征PD的检测,其特点是利用静音检测出的停顿点,在停顿模型上对测试者的停顿次数和分布进行打分:
平均停顿时长PDur=np/Tp
平均停顿次数NDur=np/M
停顿分布向量Pd=[P1,P2,...,P10]
其中np是总停顿次数,Tp是总停顿时长,M是句子音素个数,Pi是停顿间隔排序后,第i/10部分的停顿时长。
4)编辑特征ED,其特点是利用语言编辑模型检测朗读语音中音素的重复个数Nr、插入个数Ni和删除个数Nd,然后对朗读文本长度归一化。
ED = w r N r + w i N i + w d N d M
其中M是总音素个数,wr,wi和wd分别是三种现象的权重。
二、分数拟合
在上述特征基础上,最终的回归方法采用线性回归:
Y=β0x01x1+...+βnxn
其中x0...xn是拟合输入的归一化向量,β0,...βn是在大规模数据上训练得到的回归系数,ε是残差。
本发明具体的拟合方法有两种不同的框架,对于不同的应用,采取不同的框架做拟合。下面详述这两种框架:
1)直接拟合框架(参见图2):对于仅需要机器分数而不需要诊断信息的场合(如考试),为了加快计算速度,采取直接拟合模块。这里不需要按照先前的特征划分方式(完整性、准确性和流利性特征),而是直接将最基本的特征提取出来,直接用于训练拟分模型。这些特征包括词对齐特征、段对齐特征、发音特征、声调特征、语速特征、段长特征、停顿特征及编辑特征,它们之间是并列的关系,拼接起来作为拟分模型的训练输入。也就是说,训练该拟分模型的时候,使用上述所有特征作为x0...xn,人工评分为Y,计算模型参数β0,...βn。测试的时候,使用各项特征作为x0...xn,利用β0,...βn直接计算出机器评估分。
2)分层拟合框架(参见图3):
在需要诊断信息的场合,采取分层拟合框架。这里不同于直接拟合框架的地方在于,需要将直接拟合框架的训练输入特征按照各自不同的分类分别进行拟合。也就是说,将上述特征按照完整性(词对其特征、段对齐特征)、准确性特征(发音特征、声调特征)和流利性特征(语速特征、段长特征、停顿特征、编辑特征)分类,计算完整分拟合模型、准确分拟合模型和流利分拟合模型各自的模型参数β1,0,...,β1,n,β2,0,...,β2,n和β3,0,...,β3,n,然后再训练从完整性特征、准确性特征和流利性特征拟合机器分的参数β0,β1,β2。测试的时候,同样先将特征分三类,按照β1,0,...,β1,n,β2,0,...,β2,n和β3,0,...,β3,n计算完整性特征、准确性特征和流利性特征,得到完整性打分、准确性打分和流利性打分,再利用分层拟合模型进行分层拟合,得到机器分的参数β0,β1,β2,然后使用β0,β1,β2计算出机器分。
对于训练集合中人工标注数据分布不均匀的情况,需要采取分段拟合的策略使得拟合模型能够得到较好的效果,尤其是在缺乏特别好或特别差数据的情况下。这需要按照实际的分数分布将分数分段,使得各分数段内部的人工打分趋于平衡,从而减少数据失衡对拟合的影响。
分段方法如下:设总体分布区间是[Sd,Su],最终分数段集合是Q,参数P用于控制分数段内部不均衡的程度:
步骤A:设置Q为空集,S1=Sd,S2=S1+1,取Va为S1对应打分个数;这里S1和S2分别做为备选分数区间的开始和结束位置。
步骤B:取V2为S2对应打分个数,如果
( V 2 - V a ) V a ≤ P ,
则S2=S2+1,到步骤C;否则Q=Q∪[S1,S2),S1=S2+1,到步骤D;
步骤C:如果S2大于Su,Q=Q∪[S1,S2],到步骤E;否则对[S1,S2-1]集合中所有点对应的打分个数取算术平均,更新Va,返回步骤B;
步骤D:如果S1<Su-1,则S2=S1+1,取Va为S1对应打分个数,返回步骤B;否则Q=Q∪[S1,Su],到步骤E;
步骤E,输出最终分数段集合是Q,算法完成,退出。
在得到分数段集合后Q,对于Q中每一个集合建立一个拟合模型,同时,各类之间建立分数段分类器。在测试时候,对于不同的数据,先用分数段分类器判断该测试样本属于哪一个分数段,然后再用该分数段的拟合模型拟合出该样本的机器分。
三、诊断信息
图4是本发明的英语口语诊断界面示例。图中测试者(考生)的语音波形显示在图下方,图中的参考语音是用于提示考生正确的读法。测试者的各项诊断信息以评估报告的形式展示在图的中部,在此不再赘述。
图5是本发明的汉语口语诊断界面示例。图中测试者的语音整体波形显示在左上部。左下部是测试者的声调与标准调型的对比信息。测试者朗读文本右上部是错误点定位的报告说明,测试者朗读文本右下部是汉语发音诊断信息的总体评价报告说明,以评估报告形式给出。图中,整体波形是该考生朗读的所有语音的波形显示;而当前波形是当前在整体波形中高亮的那个词的波形显示;相应的,声调对比是该词的实际声调与标准调值的比对。
本发明在给出测试者口语评测结果的同时,诊断信息也会按照不同的特征分类给出:
1)完整性诊断:对于没有朗读和朗读不完整的部分,在用户界面上用特定的颜色标识出来。
2)准确性诊断:汉语的每个字都会给出对应的声调诊断信息。请参阅图4,本发明的汉语声调诊断界面示例,左下部显示出了的测试者调值和标准调值的对比。
此外,对于错误的音素和字,也会在用户界面上高亮显示。其中汉语和英语按照各自不同的发音规范作为诊断标准:
a)对于元音,按照其舌位给出诊断:
i.舌位的高低;
ii.舌位的前后;
iii.嘴唇的圆展。
b)对于辅音,按照其发音部位和发音方法给出诊断:
i.发音部位:双唇、唇齿、齿间、舌尖前、舌尖中、舌尖后、舌叶、舌面、舌跟、小舌、喉。
ii.发音方式:塞音、擦音、塞擦音、颤音、闪音、边音、半元音。
3)流利性诊断:按照特征分类显示。语速诊断包括测试者的语速信息和与标准语速的对比;音节段长异常的音素、不合理的停顿和重复插入删除都在界面上高亮显示。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。

Claims (3)

1.一种用于口语测试的文本朗读水平自动评估诊断方法,其特征是:
步骤1:测试者朗读预先设定的文本,提取测试者按照给定文本朗读语音的特征,所述朗读语音特征包括:可客观计算的完整性特征、准确性特征和流利性特征;
步骤2:在历史评估数据基础上提取并训练朗读特征与人工评分的拟分模型;
步骤3:测试时依据其朗读特征和拟分模型拟合出机器评分,并给出测试者朗读特征的诊断信息;
所述完整性特征提取包括:将测试者朗读语音自动识别的结果与标准文本分别做正向和反向的动态匹配,取正向和反向的动态匹配边界重复段的交集为匹配集合,然后根据各自不同的匹配度计算词对齐特征和段对齐特征,用于表征测试者朗读内容与标准文本的符合度;
所述准确性特征包括发音特征和汉语的声调特征,其中:
所述发音特征向量提取是取完整性特征中匹配集合,做音素级别的自动强制对齐,对于对齐后的每个音素及其语音信号,计算在指定音素的声学模型MP条件下,语音信号的模型打分P(O|Mp)作为发音打分;将M种不同的模型打分计算出的分数合并为Pp=[Pp1,Pp2,...,PpM],并按照朗读文本做加权;最终计算发音特征向量FP为:
F p = Σ p ∈ S a P p k w ,
式中kw是音素P的发音权重,Sa是完整性特征中匹配集合,Mp是给定音素的声学模型,O是语音信号;
所述声调特征提取是取完整性特征中匹配集合,做音节级别的自动强制对齐,对于对齐后的每个音节的语音信号,计算在指定音节的声调模型Tw条件下,语音信号的后验概率P(O|Tw)作为声调打分,并按照朗读文本做加权,最终计算声调的特征Ft为:
F t = Σ w ∈ S a P w h w ,
式中hw是音节W的声调权重,Tw是声调模型,Pw是声调打分;
所述流利性特征包括测试者的语速评估特征、音节段长评估特征、停顿特征和编辑特征以及相应的计算,各特征之间是并列关系,如下所述:
语速评估特征提取包括:利用语速提取测试者单位时间内说出的音素个数;利用调音速率提取测试者去掉重复的现象的平均音素时长;
音节段长评估特征提取是利用各音素的段长模型对朗读语音打分,最后将该打分按音素做算术平均;
停顿特征提取是利用静音检测出的停顿点,在停顿模型上对测试者的停顿次数和分布进行打分;
编辑特征提取是利用语言编辑模型检测朗读语音中的重复、插入和删除现象的个数,然后对朗读文本长度归一化;
所述训练朗读特征与人工评分的拟分模型是利用训练集合中的人工标注数据,采用回归法Y=β0x01x1+...+βnxn+ε,式中x0...xn是拟合输入的归一化向量,β0,...βn是在大规模数据上训练得到的回归系数,ε是残差,将多个朗读特征拟合为机器分,所述多个朗读特征拟合为机器分是使用各项特征作为拟合输入的归一化向量x0...xn,利用大规模数据上训练得到的回归系数β0,...βn直接计算出机器评估分;或
按照完整分拟合模型、准确分拟合模型和流利分拟合模型各自的模型参数β1,0,…,β1,n,β2,0,…,β2,n和β3,0,…,β3,n计算完整性特征、准确性特征和流利性特征,得到完整性打分、准确性打分和流利性打分,再利用分层拟合模型进行分层拟合,得到机器分的参数β0,β1,β2,然后使用机器分的参数β0,β1,β2计算出机器分;对于在人工打分方面分布失衡的训练数据,需要采取分段拟合的策略,按照分数分布将分数分段,使得各分数段内部的人工打分趋于平衡,用于减少数据失衡对拟合的影响。
2.根据权利要求1所述用于口语测试的文本朗读水平自动评估诊断方法,其特征是:所述诊断信息还包括:
在需要评分、不需要诊断信息的评估场合选用直接拟合框架,直接用各项朗读特征通过拟合模型得出机器分;
在需要评分、又要诊断信息场合,选用分层拟合框架,先拟合基本特征分数和完整分、准确分和流利分和相应的诊断信息,然后在此基础上再拟合出机器分。
3.根据权利要求1所述用于口语测试的文本朗读水平自动评估诊断方法,其特征是:所述诊断信息是按照各自不同的分类,给出详细的测试者诊断信息为:
完整性诊断:是将计算词对齐特征和段对齐特征过程中没有匹配上的字或词在用户界面上用颜色标识出完整性诊断;
准确性诊断:是对汉语或英语的每个音素给出其发音准确性诊断信息:包括错误发音和发音方式诊断,具体方式是将所有后验概率低于预定门限的发音标记为错误发音,并且按照其发音方式分类结果,给出对应的诊断信息;其中对于元音,按照其舌位给出诊断信息;对于辅音,按照其发音部位和发音方法给出诊断信息;对汉语的声调诊断信息:凡识别出的声调与汉字的候选发音不同,则标记为错误声调,同时按照识别出的声调给出诊断信息;
流利性诊断:是按照特征分类将测试者的语速信息与标准语速的对比、音节段长异常的音素、不合理的停顿和重复插入删除在界面上高亮显示。
CN2008102266748A 2008-11-19 2008-11-19 一种用于口语测试的文本朗读水平自动评估诊断方法 Active CN101739868B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008102266748A CN101739868B (zh) 2008-11-19 2008-11-19 一种用于口语测试的文本朗读水平自动评估诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008102266748A CN101739868B (zh) 2008-11-19 2008-11-19 一种用于口语测试的文本朗读水平自动评估诊断方法

Publications (2)

Publication Number Publication Date
CN101739868A CN101739868A (zh) 2010-06-16
CN101739868B true CN101739868B (zh) 2012-03-28

Family

ID=42463293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008102266748A Active CN101739868B (zh) 2008-11-19 2008-11-19 一种用于口语测试的文本朗读水平自动评估诊断方法

Country Status (1)

Country Link
CN (1) CN101739868B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12125404B2 (en) 2020-10-27 2024-10-22 Pearson Education, Inc. Mapping data resources to requested teaching objectives

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184654B (zh) * 2011-04-21 2013-06-19 安徽科大讯飞信息科技股份有限公司 诵读监督方法及装置
CN102509483B (zh) * 2011-10-31 2015-10-21 苏州驰声信息科技有限公司 一种口语考试的分布式自动评分系统及其方法
CN103065626B (zh) * 2012-12-20 2015-03-11 中国科学院声学研究所 英语口语考试系统中的朗读题自动评分方法和设备
CN103258544B (zh) * 2013-04-15 2016-05-25 深圳市海云天科技股份有限公司 一种考试系统
CN105792752B (zh) * 2013-10-31 2021-03-02 P-S·哈鲁塔 用于诊断和治疗语言相关障碍的计算技术
CN103985392A (zh) * 2014-04-16 2014-08-13 柳超 音素级的低功耗的口语评价与缺陷诊断方法
CN104464757B (zh) * 2014-10-28 2019-01-18 科大讯飞股份有限公司 语音评测方法和语音评测装置
CN106856095A (zh) * 2015-12-09 2017-06-16 中国科学院声学研究所 一种拼音拼读的发音质量评测系统
CN105632488A (zh) * 2016-02-23 2016-06-01 深圳市海云天教育测评有限公司 一种语音测评的方法及装置
CN105845134B (zh) * 2016-06-14 2020-02-07 科大讯飞股份有限公司 自由朗读题型的口语评测方法及系统
CN106653055A (zh) * 2016-10-20 2017-05-10 北京创新伙伴教育科技有限公司 在线英语口语评估系统
US10319255B2 (en) * 2016-11-08 2019-06-11 Pearson Education, Inc. Measuring language learning using standardized score scales and adaptive assessment engines
CN106558308B (zh) * 2016-12-02 2020-05-15 深圳撒哈拉数据科技有限公司 一种互联网音频数据质量自动打分系统及方法
CN108154735A (zh) * 2016-12-06 2018-06-12 爱天教育科技(北京)有限公司 英语口语测评方法及装置
CN106952656A (zh) * 2017-03-13 2017-07-14 中南大学 语言感染力远程测评方法及系统
CN108320734A (zh) * 2017-12-29 2018-07-24 安徽科大讯飞医疗信息技术有限公司 语音信号处理方法及装置、存储介质、电子设备
CN108231090A (zh) * 2018-01-02 2018-06-29 深圳市酷开网络科技有限公司 文本朗读水平评估方法、装置及计算机可读存储介质
CN108742602A (zh) * 2018-03-26 2018-11-06 校宝在线(杭州)科技股份有限公司 一种基于脑电波的结巴检测方法
CN109905885B (zh) * 2018-04-12 2021-02-12 华为技术有限公司 一种确定巡检基站列表的方法以及巡检装置
CN108429932A (zh) * 2018-04-25 2018-08-21 北京比特智学科技有限公司 视频处理方法和装置
CN109086387A (zh) * 2018-07-26 2018-12-25 上海慧子视听科技有限公司 一种音频流评分方法、装置、设备及存储介质
CN109036384B (zh) * 2018-09-06 2019-11-15 百度在线网络技术(北京)有限公司 语音识别方法和装置
CN109272983A (zh) * 2018-10-12 2019-01-25 武汉辽疆科技有限公司 用于亲子教育的双语切换装置
CN109272992B (zh) * 2018-11-27 2022-03-18 北京猿力未来科技有限公司 一种口语测评方法、装置及一种生成口语测评模型的装置
CN109658776A (zh) * 2018-12-17 2019-04-19 广东小天才科技有限公司 一种背诵流畅度的检测方法及电子设备
CN109410984B (zh) * 2018-12-20 2022-12-27 广东小天才科技有限公司 一种朗读评分的方法及电子设备
CN109545243B (zh) * 2019-01-23 2022-09-02 北京猎户星空科技有限公司 发音质量评价方法、装置、电子设备及存储介质
CN111640452B (zh) * 2019-03-01 2024-05-07 北京搜狗科技发展有限公司 一种数据处理方法、装置和用于数据处理的装置
CN110164422A (zh) * 2019-04-03 2019-08-23 苏州驰声信息科技有限公司 一种口语考试的多维度评估方法及装置
CN110047466B (zh) * 2019-04-16 2021-04-13 深圳市数字星河科技有限公司 一种开放性创建语音朗读标准参考模型的方法
CN109979257B (zh) * 2019-04-27 2021-01-08 深圳市数字星河科技有限公司 一种基于英语朗读自动打分进行分拆运算精准矫正的方法
CN110728994B (zh) * 2019-12-19 2020-05-05 北京海天瑞声科技股份有限公司 语音库的语音获取方法、装置、电子设备及存储介质
CN111161578B (zh) * 2020-01-06 2022-03-11 广东小天才科技有限公司 学习互动方法、装置及终端设备
CN111653292B (zh) * 2020-06-22 2023-03-31 桂林电子科技大学 一种中国学生英语朗读质量分析方法
CN112908360B (zh) * 2021-02-02 2024-06-07 早道(大连)教育科技有限公司 一种在线口语发音评价方法、装置及存储介质
CN113205729A (zh) * 2021-04-12 2021-08-03 华侨大学 一种面向外国留学生的演讲评测方法、装置及系统
CN113486970B (zh) * 2021-07-15 2024-04-05 北京全未来教育科技有限公司 阅读能力评测方法及装置
CN114677244A (zh) * 2022-03-01 2022-06-28 安徽淘云科技股份有限公司 辅助背诵方法、装置、电子设备与存储介质
CN116403604B (zh) * 2023-06-07 2023-11-03 北京奇趣万物科技有限公司 一种儿童阅读能力评测方法和系统
CN117576982B (zh) * 2024-01-16 2024-04-02 青岛培诺教育科技股份有限公司 一种基于ChatGPT的口语训练方法、装置、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1268732A (zh) * 2000-03-31 2000-10-04 清华大学 基于语音识别专用芯片的特定人语音识别、语音回放方法
JP2002268680A (ja) * 2000-12-22 2002-09-20 Koninkl Philips Electronics Nv 悪環境下でのキーパッド/音声を用いたハイブリッドな東洋文字認識技術
CN1614684A (zh) * 2003-11-03 2005-05-11 微星科技股份有限公司 发音矫正设备及方法
CN1763843A (zh) * 2005-11-18 2006-04-26 清华大学 用于语言学习机的发音质量评价方法
CN1787035A (zh) * 2005-11-04 2006-06-14 黄中伟 聋哑人汉语发音计算机辅助学习方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1268732A (zh) * 2000-03-31 2000-10-04 清华大学 基于语音识别专用芯片的特定人语音识别、语音回放方法
JP2002268680A (ja) * 2000-12-22 2002-09-20 Koninkl Philips Electronics Nv 悪環境下でのキーパッド/音声を用いたハイブリッドな東洋文字認識技術
CN1614684A (zh) * 2003-11-03 2005-05-11 微星科技股份有限公司 发音矫正设备及方法
CN1787035A (zh) * 2005-11-04 2006-06-14 黄中伟 聋哑人汉语发音计算机辅助学习方法
CN1763843A (zh) * 2005-11-18 2006-04-26 清华大学 用于语言学习机的发音质量评价方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12125404B2 (en) 2020-10-27 2024-10-22 Pearson Education, Inc. Mapping data resources to requested teaching objectives

Also Published As

Publication number Publication date
CN101739868A (zh) 2010-06-16

Similar Documents

Publication Publication Date Title
CN101739868B (zh) 一种用于口语测试的文本朗读水平自动评估诊断方法
CN101740024B (zh) 基于广义流利的口语流利度自动评估方法
CN101739867B (zh) 运用计算机对口语翻译质量进行评分的方法
US5857173A (en) Pronunciation measurement device and method
Koolagudi et al. IITKGP-SESC: speech database for emotion analysis
CN101751919B (zh) 一种汉语口语重音自动检测方法
CN101826263B (zh) 基于客观标准的自动化口语评估系统
CN1790481B (zh) 基于辨音成分的发音评估方法与系统
CN102376182B (zh) 语言学习系统、语言学习方法及其程序产品
CN104464757B (zh) 语音评测方法和语音评测装置
Delmonte SLIM prosodic automatic tools for self-learning instruction
CN101197084A (zh) 自动化英语口语评测学习系统
Bolaños et al. Human and automated assessment of oral reading fluency.
Hiller et al. SPELL: An automated system for computer-aided pronunciation teaching
Graham et al. Elicited Imitation as an Oral Proficiency Measure with ASR Scoring.
CN110415725B (zh) 使用第一语言数据评估第二语言发音质量的方法及系统
CN102184654B (zh) 诵读监督方法及装置
CN106856095A (zh) 一种拼音拼读的发音质量评测系统
Godde et al. Evaluation of reading performance of primary school children: Objective measurements vs. subjective ratings
US8870575B2 (en) Language learning system, language learning method, and computer program product thereof
Nance et al. Phonetic typology and articulatory constraints: The realization of secondary articulations in Scottish Gaelic rhotics
Hönig Automatic assessment of prosody in second language learning
CN111341346A (zh) 融合深度语言生成模型的语言表达能力评价方法和系统
CN103021226B (zh) 一种基于发音节奏的语音评测方法及装置
Evanini et al. Using automated scoring in K–12 English language proficiency assessments

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: ANHUI USTC IFLYTEK CO., LTD.

Free format text: FORMER OWNER: INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES

Effective date: 20120831

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 100080 HAIDIAN, BEIJING TO: 230088 HEFEI, ANHUI PROVINCE

TR01 Transfer of patent right

Effective date of registration: 20120831

Address after: Wangjiang Road high tech Development Zone Hefei city Anhui province 230088 No. 666

Patentee after: Anhui USTC iFLYTEK Co., Ltd.

Address before: 100080 Zhongguancun East Road, Beijing, No. 95, No.

Patentee before: Institute of Automation, Chinese Academy of Sciences

C56 Change in the name or address of the patentee

Owner name: IFLYTEK CO., LTD.

Free format text: FORMER NAME: ANHUI USTC IFLYTEK CO., LTD.

CP01 Change in the name or title of a patent holder

Address after: Wangjiang Road high tech Development Zone Hefei city Anhui province 230088 No. 666

Patentee after: Iflytek Co., Ltd.

Address before: Wangjiang Road high tech Development Zone Hefei city Anhui province 230088 No. 666

Patentee before: Anhui USTC iFLYTEK Co., Ltd.

TR01 Transfer of patent right

Effective date of registration: 20190505

Address after: 650033 1st, 2nd and 5th floors of Platform B, No. 17, Jinding Science Park, 690 Xuefu Road, Wuhua District, Kunming City, Yunnan Province

Patentee after: Yunnan Xunyan Intelligent Technology Co., Ltd.

Address before: 230088 666 Wangjiang West Road, Hefei hi tech Development Zone, Anhui

Patentee before: Iflytek Co., Ltd.

TR01 Transfer of patent right
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 650000 floor 1, 2 and 5, block B, platform 17, Jinding Science Park, 690 Xuefu Road, Wuhua District, Kunming City, Yunnan Province

Patentee after: IFLYTEK South Asia Information Technology (Yunnan) Co.,Ltd.

Address before: 650033 1st, 2nd and 5th floors of Platform B, No. 17, Jinding Science Park, 690 Xuefu Road, Wuhua District, Kunming City, Yunnan Province

Patentee before: Yunnan Xunyan Intelligent Technology Co.,Ltd.