CN102930866B - 一种用于口语练习的学生朗读作业的评判方法 - Google Patents

Abstract

本发明公开了一种用于口语练习的学生朗读作业的评判方法，包括：利用语言模型建立指定文本对应的第一课文模型L1，并根据指定文本对应的混淆词表和混淆发音表将第一课文模型L1制作成带有竞争能力的第二课文模型L2，通过语音采集器采集用户朗读的语音文件，对声道进行重估得到重估语音文件，通过模型L2引导语音识别器对重估文件进行识别，得到识别文本，并与指定文本进行带有置信度加权的对比及评判。通过本发明的用于口语练习的学生朗读作业的评判方法，可以对采集的语音文件进行准确而高效的识别及评判。

Description

一种用于口语练习的学生朗读作业的评判方法

技术领域

本发明涉及语音作业评判领域，具体涉及一种用于口语练习的学生朗读作业的评判方法。

背景技术

小学阶段是孩子打下良好语言基础最关键的时期，由于学生缺乏自觉性，朗读、背诵、听写等隐性作业需要依赖家长监督完成，而并不是所有的家长都能按教师布置作业的数量、质量要求全程完成督学任务，因此导致部分学生语言类学习的作业完成效果不理想。

通过计算机手段，能自动完成对学生朗读及听写等作业完成情况的监督，降低了学生完成作业需要家长或老师监督的依赖性，提高了学习、教学的质量。

然而，现有的基于说话人特定文本的评判方法，类似语音输入法、语音拨号等应用，一方面因为语料库过大，导致模型庞大（通常全语料的模型有2G左右，甚至更大），因此需要较长的识别时间，这样就降低了识别速度，影响了客户的感知。另一方面，在语文与英语教学中，很多时候关注的是关键字词的朗读情况，而现有的识别技术往往只对字词采用固定方式进行判别，对儿童与成年人的建模过程，并没有很好的归一化，当使用者发声特征明显不同的时候，声道参数往往需要重新训练，这在实际应用中就表现为，同一个识别器，需要用不同类型的人单独训练，而单一的对儿童声道进行统一设定，也并不妥当，因为有少数高年级的儿童，声道的发育会较早于同龄儿童。因此，现有的技术方法无法进行准确及高效的识别，从而造成使用不便。

发明内容

针对上述问题，本发明的目的在于提供一种用于口语练习的学生朗读作业的评判方法，能够对采集的语音文件进行准确而高效的识别及评判。

为实现上述目的，本发明采用如下技术方案：

一种用于口语练习的学生朗读作业的评判方法，包括步骤：

利用语言模型建立指定文本对应的第一课文模型L1，并根据指定文本对应的混淆词表和混淆发音表将第一课文模型L1制作成带有竞争能力的第二课文模型L2，其中，混淆词表和混淆发音表中的混淆信息分别为指定文本中容易产生混淆的词及对应混淆词的信息及容易产生混淆的发音与对应混淆发音的信息；

通过语音采集器采集用户朗读的语音文件，对声道进行重估后得到重估语音文件；

通过第二课文模型L2引导语音识别器对重估语音文件进行识别，获得识别文本；

将识别文本与指定文本进行带有置信度加权的加权对比和评判，得到对比及评判结果；

第一课文模型L1由通用模型和专用模型采用PPL最大化方式插值而成，专用模型采用指定文本中的句子生成，用于识别指定文本内部的单词，通用模型采用新闻、小说、微博及专用名词四种语料中的至少一种训练而成，并裁剪成10M-100M大小，用于识别指定文本以外的单词。

本发明的有益效果在于：

通过区别于现有的对指定文本所建的模型，本发明的方法所建模型具有体积小的特点，且通过所建模型进行识别具有识别率高的优点。一方面，本发明通过引入RNN改善传统N-gram的性能，克服小语料条件下N-gram估计概率不准的缺陷；另一方面，本发明通过引入裁剪的通用模型，克服了专用模型无法识别课文以外文本的缺陷；另外，区别于现有的语音识别方法，本发明通过引入直方图概率分布映射进行声道归一化，使得识别准确率大大提高；

进一步地，区别于传统的DTW方法，本发明通过引入每个词的权重系数，通过对重点词加大权重，对普通词减小权重，并利用识别置信度将评判结果进行等级量化，使得评分效果更贴近人的主观感受，评判准确性大大提高。

附图说明

图1为本发明的用于口语练习的学生朗读作业的评判方法的流程图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述：

如图1所示，为本发明的用于口语练习的学生朗读作业的评判方法的流程图。所述用于口语练习的学生朗读作业的评判方法用于在用户进行语音输入后对语音进行处理及评判，具有广阔的应用范围。如应用在对学生的朗读作业完成情况进行评判的领域，即，学生根据显示的作业文本（如需要朗读完成的诗词、阅读文章）进行语音输入，根据输入的语音来评判学生的阅读完成情况。

所述用于口语练习的学生朗读作业的评判方法包括步骤：

步骤S101：利用语言模型建立指定文本（需要被朗读的文本，如《静夜思》）对应的第一课文模型L1，并根据指定文本对应的混淆词表和混淆发音表将第一课文模型L1制作成带有竞争能力的第二课文模型L2，其中，混淆词表和混淆发音表中的混淆信息分别为指定文本中容易产生混淆的词及对应混淆词的信息及容易产生混淆的发音与对应混淆发音的信息，以《静夜思》为例，其中“床前明月光”中的“床（chuang）”容易被发音为“chuan”或“cuan”，这个就可作为容易产生混淆的发音与对应混淆发音的信息，“疑似地上霜”中的“霜（shuang）”容易被混淆成“相（xiang）”，这个就可作为容易产生混淆的词及对应混淆词的信息。当然，对某些词或读音是否容易产生混淆以及可能与哪些词或发音进行混淆需要根据儿童的知识水平、文本对儿童的考察重点等综合因素来考虑，可根据需要进行设定；

步骤S102：通过语音采集器采集用户朗读的语音文件，对声道进行重估后得到重估语音文件；其中，所述语音采集器可以是个人电脑、手机、电话、复读机、录音机或点读机等装置上能够采集声音的部件，如麦克风；

步骤S103：通过第二课文模型L2引导语音识别器对重估语音文件进行识别，获得识别文本；

步骤S104：将识别文本与指定文本进行带有置信度加权的加权对比和评判，得到对比及评判结果。

在本实施方式中，具体的，英语和汉语分别对应两个不同的声学模型，采用HMM模型作为基本的模型框架，每个HMM模型含3个隐藏状态、1个输入状态和1个输出状态，每个状态采用GMM模型，GMM混合数为32混合，对于每个指定文本，不采用传统语音识别技术中的三音子建模方法进行建模，而是采用二音子建模方法建立指定文本对应的第一课文模型L1，即每个建模单元仅根据上文建模单元不同而分成不同HMM模型，而不管下文是否相同。与传统的三音子建模方式相比，本发明的HMM模型的输出状态存放了二音子转移到各个下文音子的转移概率，从而具有模型规模小的优点。

其中，第一课文模型L1由通用模型和专用模型采用PPL最大化方式插值而成，专用模型采用指定文本中的句子生成，用于识别指定文本内部的单词，该专用模型对正常阅读（针对指定文本进行阅读）的用户具有极高的识别准确率。通用模型采用指定文本以外的语料（在本实施方式中为新闻、小说、微博及专用名词这四种语料中的至少一种）训练而成，并裁剪成适当大小（如10M-100M左右），用于识别指定文本以外的单词，该通用模型能够识别用户说话中超出指定文本的说话内容，从而整个识别过程更加准确实用。

具体的，针对专用模型，将指定文本训练成5-gram模型M1，将指定文本训练成RNN模型M2，利用M2模型对M1模型中的每个N-gram进行打分，将打分与原有的概率值平均，获得模型M1的优化模型M3，即专用模型，其中，优化模型M3和M1享有相同的回退概率。

针对通用模型，分别采用新闻语料训练tri-gram模型T1，采用小说语料训练tri-gram模型T2，采用微博语料训练tri-gram模型T3及采用专用名词训练tri-gram模型T4，根据模型T1、T2、T3及T4采用PPL最大化方式插值形成通用模型。

在步骤101中，将第一课文模型L1制作成带有竞争能力的第二课文模型L2的过程具体包括：

将第一课文模型L1转换成WFST网络W1，将WFST网络W1中的易错词扩展成相应的竞争词，权重与原有易错词相同，形成新的网络W2；

将网络W2和音子循环网络P进行Compose操作，形成输入为音子、输出为单词的WFST网络W3；

将WFST网络W3中的易出错音子P扩展成它的竞争音子，权重与原有易出错音子相同，形成第二课文模型L2，其中，易错词根据混淆词表和混淆发音表中的混淆信息进行确定。

在步骤103中，对声道进行重估的方法包括步骤：

采用声道系数猜测法，猜测声道系数为0.7、0.8、0.9、1.0、1.1或1.2中的一个，分别对采集到的用户朗读的语音文件进行连续语音识别，计算与指定文本的匹配率；

采用与最高匹配率相应的声道系数，通过强制切分技术获得采集到的语音文件中每个时刻对应的HMM模型状态，统计语音文件的平均能量，取出高于平均能量的语音片段，将这些片段的频谱能量作直方图统计，获得直方图G1，同时利用每个语音片段对应的HMM状态求出每个语音片段对应标准模型的频谱能量直方图G2；

采用F2(x≤f₂)=F1(x≤f₁)的映射关系将用户每个频率点f1映射到标准说话人的频率点f2，其中，F1是采集到的语音片段的概率分布，F2是标准说话人语音的概率分布，x是频率，f2为梅尔滤波器中心频率，f1是用户的频谱频率，利用所述映射关系对采集到的语音片段的频谱进行频率扭曲，即相当于将当前用户的声道映射到标准发音人的声道，完成声道重估，得到与采集到的语音文件对应的重估语音文件。

采用语音识别器进行识别的具体方法为：语音识别器采用帧同步搜索算法进行识别，每间隔预定时间（例如10秒）处理一次采集到的语音数据，对新加入的语音数据自动检测端点，将有语音的数据段落分段送入解码，语言识别器每到一段语音数据的端点回溯一次，并在回溯路径中有与上一次相同的路径时将相同的路径输出作为识别结果，其中，语音识别器采用下式估算识别置信度：

对每一帧激活的所有状态估算当前帧属于每个音子Pi的后验概率 $\mathrm{PP}\left(P_i\right|t)=\frac{P\left(P_i\right|t)}{{\mathrm{\Σ}}_{i}P\left(P_i\right|t)};$

对每个音子，估算当前音子Pi的后验概率

$\mathrm{PP}\left(P_i\right)=\frac{{\mathrm{\Σ}}_{t=t_1}^{t_2}\mathrm{PP}\left(\mathrm{Pi}\right|t)}{t_2-t_1}=\mathrm{mean}\left(\mathrm{PP}\left(P_i\right|t)\right),$ 其中t₁和t₂分别表示音子P_i的开始时刻和结束时刻，即是说，音子的后验概率等于各个时刻音子后验概率的平均值。

对每个单词，估算当前单词W的后验概率 $\mathrm{PP}\left(W\right)=\frac{\underset{P_i\∈W}{\mathrm{\Σ}}\mathrm{PP}\left(P_i\right)}{\underset{P_i\∈W}{\mathrm{\Σ}}1}=\mathrm{meanPP}\left(P_i\right),$ 其中Pi是单词W中的每个音子。

所述对比过程采用加权的DTW算法，加权DTW的优化目标包括两个：文本对齐后分割段数最小化目标及文本对齐后匹配词的权重之和最大化，其中，每个单词的权重根据是否重点的程度由高到低进行设定。在对比过程结束后对每个词汇给出正确、插入、丢失或替换的其中一种类型，并对每个类型分别依据语音识别器输出的置信度进行评分，当单词错误且置信度低于指定门限时，单词为严重错误，针对该单词给出第一分值（如-1分），当单词错误且置信度高于指定门限时，单词为轻度错误，针对该单词给出第二分值（如-0.5分），当单词正确且置信度低于指定门限时，单词为发音缺陷，针对该单词给出第三分值（如+0.5分），当单词正确且置信度高于指定门限时，单词为完全正确，针对该单词给出第四分值（如+1分），并计算整个语音文件中的所有单词所得总分。

本发明的用于口语练习的学生朗读作业的评判方法可以通过各种不同的方式进行运行而组成一个系统，如仅仅通过电子装置（如平板电脑、智能手机）进行独立运行，即将建立的指定文本对应的第二课文模型L2存储在该电子装置上，将指定文本显示在电子装置的显示屏上,作为朗读作业，并通过该电子装置上的语音采集器采集用户（即需要完成该作业所对应的学生）朗读的语音文件，并通过语音识别器进行对比及评判。或者，将建立的指定文本对应的第二课文模型L2存储在后台，将该电子装置与后台通过有线网络或无线网络等方式进行连接，在通过该电子装置上的语音采集器采集用户朗读的语音文件后，通过设置在后台的语音识别器进行对比及评判。该指定文本在用户朗读时也可以不显示在显示屏上，用于考察用户的听写能力。

在本实施方式中，为了实现实时同步的效果，在语音采集器采集用户朗读的语音文件的同时，对声道同步进行重估，语音识别器对得到的重估语音文件同步进行对比及评判。

为了使用户更加方便、高效地实现本方法，采用本方法的应用系统还可以提供针对指定文本的标准示范录音，以供儿童参考，或者在通过语音采集器采集用户朗读的语音文件时提供如暂停、续读、回放等功能，在语音识别器对比及评判后，对不同错误（严重错误、轻度错误、发音缺陷或完全正确等）的词在显示的指定文本上标注不同的颜色，直观的表现用户朗读的成绩，也便于用户去关键位置回放复查。

进一步地，本方法还可以根据每个用户的总得分情况对某个特定集体（如一个班级上的所有同学、或者班上排名靠后的后进同学）进行总体分析，从而能够使得老师掌握所有学生的对作业的完成情况及能力，为老师的辅导及教学提供参考。同样的，也可以将排名的次序同时反馈给参与的用户，使得每个用户都能够清楚自己作业完成情况的排名，从而使每个用户之间能够有良好的竞争机制，提高使用的效果。

对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。

Claims (9)

1.一种用于口语练习的学生朗读作业的评判方法，其特征在于，包括步骤：

利用语言模型建立指定文本对应的第一课文模型L1，并根据指定文本对应的混淆词表和混淆发音表将第一课文模型L1制作成带有竞争能力的第二课文模型L2，其中，混淆词表和混淆发音表中的混淆信息分别为指定文本中容易产生混淆的词及对应混淆词的信息及容易产生混淆的发音与对应混淆发音的信息；

通过语音采集器采集用户朗读的语音文件，对声道进行重估后得到重估语音文件；

通过第二课文模型L2引导语音识别器对重估语音文件进行识别，获得识别文本；

将识别文本与指定文本进行带有置信度加权的加权对比和评判，得到对比及评判结果；

第一课文模型L1由通用模型和专用模型采用PPL最大化方式插值而成，专用模型采用指定文本中的句子生成，用于识别指定文本内部的单词，通用模型采用新闻、小说、微博及专用名词四种语料中的至少一种训练而成，并裁剪成10M-100M大小，用于识别指定文本以外的单词。

2.如权利要求1所述的用于口语练习的学生朗读作业的评判方法，其特征在于，英语和汉语分别对应两个不同的声学模型，采用HMM模型作为基本的模型框架，每个HMM模型含3个隐藏状态、1个输入状态和1个输出状态，每个状态采用GMM模型，GMM混合数为32混合，对于每个指定文本，采用二音子建模方法建立指定文本对应的第一课文模型L1。

3.如权利要求1所述的用于口语练习的学生朗读作业的评判方法，其特征在于，将指定文本训练成5-gram模型M1，将指定文本训练成RNN模型M2，利用M2模型对M1模型中的每个N-gram进行打分，将打分与原有的概率值平均，获得模型M1的优化模型M3，即专用模型，其中，优化模型M3和M1享有相同的回退概率。

4.如权利要求1或3所述的用于口语练习的学生朗读作业的评判方法，其特征在于，分别采用新闻语料训练tri-gram模型T1，采用小说语料训练tri-gram模型T2，采用微博语料训练tri-gram模型T3及采用专用名词训练tri-gram模型T4，根据模型T1、T2、T3及T4采用PPL最大化方式插值形成通用模型。

5.如权利要求1所述的用于口语练习的学生朗读作业的评判方法，其特征在于，将第一课文模型L1制作成带有竞争能力的第二课文模型L2的步骤具体包括：

将第一课文模型L1转换成WFST网络W1，将WFST网络W1中的易错词扩展成相应的竞争词，权重与原有易错词相同，形成新的网络W2；

将网络W2和音子循环网络P进行Compose操作，形成输入为音子、输出为单词的WFST网络W3；

将WFST网络W3中的易出错音子P扩展成它的竞争音子，权重与原有易出错音子相同，形成第二课文模型L2，其中，易错词根据混淆词表和混淆发音表中的混淆信息进行确定。

6.如权利要求1或5所述的用于口语练习的学生朗读作业的评判方法，其特征在于，对声道进行重估的方法包括步骤：

采用声道系数猜测法，猜测声道系数为0.7、0.8、0.9、1.0、1.1或1.2中的一个，分别对采集到的用户朗读的语音文件进行连续语音识别，计算与指定文本的匹配率；

采用与最高匹配率相应的声道系数，通过强制切分技术获得采集到的语音文件中每个时刻对应的HMM模型状态，统计语音文件的平均能量，取出高于平均能量的语音片段，将这些片段的频谱能量作直方图统计，获得直方图G1，同时利用每个语音片段对应的HMM状态求出每个语音片段对应标准模型的频谱能量直方图G2；

采用F2(x≤f₂)=F1(x≤f₁)的映射关系将用户每个频率点f₁映射到标准说话人的频率点f2，其中，F1是采集到的语音片段的概率分布，F2是标准说话人语音的概率分布，x是频率，f2为梅尔滤波器中心频率，f₁是用户的频谱频率，利用所述映射关系对采集到的语音片段的频谱进行频率扭曲，即相当于将当前用户的声道映射到标准发音人的声道，完成声道重估，得到与采集到的语音文件对应的重估语音文件。

7.如权利要求6所述的用于口语练习的学生朗读作业的评判方法，其特征在于，语音识别器采用帧同步搜索算法进行识别，每间隔预定时间处理一次采集到的语音数据，对新加入的语音数据自动检测端点，将有语音的数据段落分段送入解码，语言识别器每到一段语音数据的端点回溯一次，并在回溯路径中有与上一次相同的路径时将相同的路径输出作为识别结果，其中，语音识别器采用下式估算识别置信度：

对每一帧激活的所有状态估算当前帧属于每个音子Pi的后验概率 $\mathrm{PP}\left(P_i\right|t)=\frac{P\left(P_i\right|t)}{{\mathrm{\Σ}}_{i}P\left(P_i\right|t)}$

对每个音子，估算当前音子P_i的后验概率

$\mathrm{PP}\left(P_i\right)=\frac{{\mathrm{\Σ}}_{t=t_1}^{t_2}\mathrm{PP}\left(\mathrm{Pi}\right|t)}{t_2-t_1}=\mathrm{mean}\left(\mathrm{PP}\left(P_i\right|t)\right)$

其中t₁和t₂分别表示音子P_i的开始时刻和结束时刻，即是说，音子的后验概率等于各个时刻音子后验概率的平均值。

对每个单词，估算当前单词W的后验概率

$\mathrm{PP}\left(W\right)=\frac{\underset{P_i\∈W}{\mathrm{\Σ}}\mathrm{PP}\left(P_i\right)}{\underset{P_i\∈W}{\mathrm{\Σ}}1}=\mathrm{meanPP}\left(P_i\right),$ 其中P_i是单词W中的每个音子。

8.如权利要求7所述的用于口语练习的学生朗读作业的评判方法，其特征在于，对比过程采用加权的DTW算法，加权DTW的优化目标包括两个：文本对齐后分割段数最小化目标及文本对齐后匹配词的权重之和最大化，其中，每个单词的权重根据是否重点的程度由高到低进行设定。

9.如权利要求8所述的用于口语练习的学生朗读作业的评判方法，其特征在于，在对比过程结束后对每个词汇给出正确或插入或丢失或替换的其中一种类型，并对每个类型分别依据语音识别器输出的置信度进行评分，当单词错误且置信度低于指定门限时，单词为严重错误，针对该单词给出第一分值，当单词错误且置信度高于指定门限时，单词为轻度错误，针对该单词给出第二分值，当单词正确且置信度低于指定门限时，单词为发音缺陷，针对该单词给出第三分值，当单词正确且置信度高于指定门限时，单词为完全正确，针对该单词给出第四分值，并计算整个语音文件中的所有单词所得总分。

Images