CN103761975A - 一种口语评测方法及装置 - Google Patents

Abstract

本发明公开了一种口语评测方法及装置，属于语言识别技术领域。所述方法包括：当接收到待评测语言时，对待评测语言进行处理，提取语言特征和语种特征；利用语音分析技术，对语音特征进行声学和语言学分析，得到待评测语言的评分特征，该评分特征包括待评测语言的语音信息数值矢量、语义信息数值矢量及语法信息数值矢量；利用预设语言模型组，对语种特征进行语种分析，得到所述待评测语言的语种，该预设语言模型用于语言识别；将待评测语言的评分特征及待评测语言的语种进行评分，得到对待评测语言的评分。本发明综合分析了待测试语言的语种特征和语言特征，对该测试语言进行了评测，提高了语言评测的公平性与准确性。

Description

一种口语评测方法及装置

技术领域

本发明涉及语言识别技术领域，特别涉及一种口语评测方法及装置。 

背景技术

随着素质教育理念的不断深入，外语教学越来越注重外语交流能力，而口语表达又是其中最重要且最困难的一个项目，已经受到越来越多的重视。和阅读、写作、听力不同，口语能力的侧重点是沟通交际，因此主观性和开放性较强，对口语能力好坏的评价通常需要人工参与，存在极大的局限性。 

现在技术中，采用计算机自动评分系统解决上述问题，该计算机自动评分系统是利用计算机辅助或者取代人工进行口语练习和口语考试的评分，利用计算机的高效运算，获得准确性和公平性良好的评分，从而解决或缓解大量的口语评分需求与匮乏的教师资源之间的矛盾。 

发明人在实现本发明的过程中，发现现有技术存在以下技术问题： 

该计算机自动评分系统是基于某单一语言的语音识别技术构建的，容易被学生的一些特殊发音或回答模式所欺骗，比如用母语作答甚至是随意瞎说。在这些情况下，由于计算机只会将语音当成目标语言来处理，因此系统往往也会给出一定的分数，有时甚至会给高分，影响评分的准确性和公平性。 

发明内容

为了解决现有技术的问题，本发明实施例提供了一种口语评测方法及装置。 所述技术方案如下： 

一方面，提供了一种口语评测方法，所述方法包括： 

当接收到待评测语言时，对所述待评测语言进行处理，提取语言特征和语种特征； 

利用语音分析技术，对所述语音特征进行声学和语言学分析，得到所述待评测语言的评分特征，所述评分特征包括所述待评测语言的语音信息数值矢量、语义信息数值矢量及语法信息数值矢量； 

利用预设语言模型组，对所述语种特征进行语种分析，得到所述待评测语言的语种，所述预设语言模型用于语言识别； 

将所述待评测语言的评分特征及所述待评测语言的语种进行评分，得到对所述待评测语言的评分。 

可选地，利用语音分析技术，对所述语音特征进行声学和语言学分析，得到所述待评测语言的评分特征包括： 

利用预设声学模型以及预设语言模型，对所述语言特征进行语音识别，得到识别文本； 

根据题目信息和所述识别文本，得到所述待评测语言的评分特征。 

可选地，所述预设语言模型组包括多个语言模型，每个语言模型对应一个语种，利用预设语言模型组，对所述语种特征进行语种分析，得到所述待评测语言的语种包括： 

对所述语种特征进行序列识别，得到序列识别文本； 

计算序列识别文本与所述多个语言模型的距离； 

将所述序列识别文本与所述多个语言模型的距离进行融合处理，得到所述 待评测语言的语种。 

可选地，所述方法还包括： 

对训练语音数据进行特征提取处理，得到多个语种特征； 

利用不同语种的语种特征，得到不同语种对应的语言模块。 

另一方面，提供了一种口语评测装置，所述装置包括： 

特征提取模块，用于当接收到待评测语言时，对所述待评测语言进行处理，提取语言特征和语种特征； 

评分特征获取模块，用于利用语音分析技术，对所述语音特征进行声学和语言学分析，得到所述待评测语言的评分特征，所述评分特征包括所述待评测语言的语音信息数值矢量、语义信息数值矢量及语法信息数值矢量； 

语种获取模块，用于利用预设语言模型组，对所述语种特征进行语种分析，得到所述待评测语言的语种，所述预设语言模型用于语言识别； 

评分获取模块，用于将所述待评测语言的评分特征及所述待评测语言的语种进行评分，得到对所述待评测语言的评分。 

可选地，所述评分特征获取模块包括： 

识别文本获取单元，用于利用预设声学模型以及预设语言模型，对所述语言特征进行语音识别，得到识别文本； 

评分特征获取单元，用于根据题目信息和所述识别文本，得到所述待评测语言的评分特征； 

可选地，所述语种获取模块包括： 

序列识别文本获取单元，用于对所述语种特征进行序列识别，得到序列识 别文本； 

距离计算单元，用于计算序列识别文本与所述多个语言模型的距离； 

语种获取单元，用于将所述序列识别文本与所述多个语言模型的距离进行融合处理，得到所述待评测语言的语种。 

可选地，所述装置还包括： 

多个语种特征获取模块，用于对训练语音数据进行特征提取处理，得到多个语种特征； 

语言模块获取模块，用于利用不同语种的语种特征，得到不同语种对应的语言模块。 

本发明实施例提供的技术方案带来的有益效果是： 

综合分析了待测试语言的语种特征和语言特征，对该测试语言进行了评测，提高了语言评测的公平性与准确性。 

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。 

图1是本发明实施例提供的口语评测方法流程图； 

图2是本发明实施例提供的口语评测方法流程图； 

图3本发明实施例提供的口语评测示意图； 

图4本发明实施例提供的口语评测示意图； 

图5本发明实施例提供的口语评测示意图； 

图6本发明实施例提供的口语评测示意图； 

图7本发明实施例提供的口语评测示意图； 

图8本发明实施例提供的口语评测示意图； 

图9是本发明实施例提供的口语评测装置结构示意图。 

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。 

图1是本发明实施例提供的一种口语评测方法流程图。参见图1，该实施例包括： 

101、当接收到待评测语言时，对待评测语言进行处理，提取语言特征和语种特征； 

102、利用语音分析技术，对语音特征进行声学和语言学分析，得到待评测语言的评分特征，该评分特征包括待评测语言的语音信息数值矢量、语义信息数值矢量及语法信息数值矢量； 

103、利用预设语言模型组，对语种特征进行语种分析，得到待评测语言的语种，该预设语言模型用于语言识别； 

104、将待评测语言的评分特征及待评测语言的语种进行评分，得到对待评测语言的评分。 

本发明实施例提供的方法，综合分析了待测试语言的语种特征和语言特征，对该测试语言进行了、准确的评测。 

可选地，利用语音分析技术，对语音特征进行声学和语言学分析，得到待评测语言的评分特征包括： 

利用预设声学模型以及预设语言模型，对语言特征进行语音识别，得到识别文本； 

根据题目信息和所述识别文本，得到待评测语言的评分特征。 

可选地，该预设语言模型组包括多个语言模型，每个语言模型对应一个语种，利用预设语言模型组，对语种特征进行语种分析，得到待评测语言的语种包括： 

对该语种特征进行序列识别，得到序列识别文本； 

计算序列识别文本与所述多个语言模型的距离； 

将序列识别文本与所述多个语言模型的距离进行融合处理，得所述待评测语言的语种。 

可选地，所述方法还包括： 

对训练语音数据进行特征提取处理，得到多个语种特征； 

利用不同语种的语种特征，得到不同语种对应的语言模块。 

图2是本发明实施例提供的口语评测方法流程图。参见图2，该实施例包括： 

201、构建预设语言模块组； 

其中，该预设语言模型组包括多个预设语言模型，每个语言模型对应一个语种。 

模块的输入为不同语种训练数据的语音特征二。设训练数据包含N个语种，分别为l₁,l₂,...,l_N，各语种的语音特征二组成的样本集合分别为T₁,T₂,...,T_N，各集合 含有的样本数分别为k₁,k₂,...,k_N。 

分别对各集合中的样本进行序列识别，得到各语种的序列识别文本集合S₁,S₂,...,S_N，其中

表示语种l_i的第j个训练样本的序列识别文本，k_i表示语种l_i的训练样本个数。序列识别文本类似语音识别的识别文本，也是一串有先后顺序的符号序列，只是这里的符号可以是一种抽象的符号，而不一定是音素、单词等有明确声学或语言学含义的符号。 

本发明实施例可以只采用一个识别模块，得到一个序列识别文本输出，如图3所示。 

本发明实施例也可以采用多个不同的识别模块，得到多个序列识别文本输出，如图4所示。 

这些不同的识别模块可以是采用的声学模型不同，也可以是采用的语言模型不同，还可以是识别参数设置不同等等。 

本发明实施例可以使用音素级的语音识别算法进行序列识别，得到以音素为符号单元的序列识别文本。 

其中，音素可以使用下表的44个常用英语音标。 

表1 

本发明实施例也可以使用单词级的语音识别算法进行序列识别，得到以单词为符号单元的序列识别文本。单词数量可以根据应用的性质而定，比如对于中小学生口语练习系统，可以设置1000～4000左右的单词量。 

本发明实施例对序列识别模块输出的符号序列计算其一元、二元以及多元组合的概率，这些组合的概率值集合称为语言模型。 

本发明实施例只采用一个识别模块时，统计计算模块也只采用一个计算模块，如图3所示。对于N种语言，将对应输出N个语言模型L₁,L₂,...,L_N。 

本发明实施例在采用多个识别模块时，统计计算模块也对应地采用多个计算模块，分别对不同识别模块的输出序列进行语言模型的统计计算，如图4所示。对于N种语言和K个识别模块，将输出N?K个语言模型 

$L_1^1,...,L_N^1,L_1^2,...,L_N^2,...,L_1^k,...,L_{N.}^K$

本发明实施例输出二元(bigram)语言模型（只包含一元和二元符号组合的概率）或三元(trigram)语言模型（只包含一元、二元和三元符号组合的概率）。 

设语种l的序列识别文本集合为S＝{s¹,s²,...,s^k}，k表示样本总数，s^j表示第j个训练样本的序列识别文本，设其文本由nj个符号组成，即

则语种l的一元符号组合的概率可按如下公式计算： 

$P\left(w_i\right)=\frac{C\left(w_i\right)}{\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{n}^j}$

其中C(w_i)表示符号w_i在所有样本的序列识别文本中出现总次数，有 

$C\left(w_i\right)=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}\underset{i=1}{\overset{n^j}{\mathrm{\Σ}}}\mathrm{\δ}(q_i^j,w_i),$ w_i∈Φ 

其中示性函数 $\mathrm{\δ}(x,y)=\left\{\begin{array}{cc}1,& x=y\\ 0,& x\≠y,\end{array}\right.$ Φ为所有样本的序列识别文本中不同字符 的集合。 

二元符号组合的概率可按如下公式计算： 

$P\left(w_i\right|w_{i-1})=\frac{C\left(w_{\text{i}}\right|w_{i-1})}{\underset{j=1}{\overset{k}{\mathrm{\Σ}}}(n^j-1)}$

其中C(w_i|w_i-1)表示符号二元组w_i-1w_i在所有样本的序列识别文本中出现的总次数，有 

$C\left(w_i\right|w_{i-1})=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}\underset{i=2}{\overset{n^j}{\mathrm{\Σ}}}\mathrm{\δ}(q_{i-1}^j{q}_i^j,w_{i-1}{w}_i),$ w_i∈Φ 

三元符号组合的概率可按如下公式计算： 

$P\left(w_i\right|w_{i-2}{w}_{i-1})=\frac{C\left(w_i\right|w_{i-2}{w}_{i-1})}{\underset{j=1}{\overset{k}{\mathrm{\Σ}}}(n^j-2)}$

其中C(w_i|w_i-2w_i-1)表示符号三元组w_i-2w_i-1w_i在所有样本的序列识别文本中出现的总次数，有 $C\left(w_i\right|w_{i-2}{w}_{i-1})=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}\underset{i=3}{\overset{n^j}{\mathrm{\Σ}}}\mathrm{\δ}(q_{i-2}^j{q}_i^j,w_{i=2}{w}_{i-1}{w}_i),$ w_i∈Φ，二元(bigram)语言模型为L_bigram＝{P(w|u),P(w)},w,u∈Φ。 

三元(trigram)语言模型为L_trigram＝{P(w|uv),P(w|u),P(w)},w,u,v∈Φ。 

上述二元语言模型和三元语言模型可以使用某种平滑方法(smoothing)来进行更鲁棒的估计。 

202、当接收到待评测语言时，对待评测语言进行处理，提取语言特征和语种特征； 

在本发明实施例中，该语言特征和语种特征可以相同，比如采用常用的MFCC特征或PLP特征，这有助于简化计算，降低系统复杂度。 

在本发明实施例中，该语言特征和语种特征也可以相同，语音特征可采用有利于语音分析的特征，如MFCC特征等；语种特征可采用有利于语种分析的特征，如SDC特征。 

203、利用语音分析技术，对语音特征进行声学和语言学分析，得到待评测语言的评分特征，该评分特征包括所述待评测语言的语音信息数值矢量、语义信息数值矢量及语法信息数值矢量； 

在本发明实施例中，步骤203的具体实施方式包括下述203a-203c： 

203a、利用数据库中预设的背景语言模型LB以及题目信息，训练得到用于语音识别的语言模型L。预设的背景语言模型和训练得到的语言模型L都是面向目标语言的。 

203b、利用数据库中预设的声学模型A和训练好的语言模型L，对输入的语音特征进行语音识别，得到识别文本。 

其中，该识别文本包含音素、单词等识别单元的文本序列，以及识别单元的起止时间、声学似然度和语言模型对数概率等信息。 

203c、根据题目信息和识别文本，从中提取出若干评分特征输出。 

其中，该评分特征包括静音时长、语音时长、语速、词汇量、语法正确性、识别文本与题目答案的相符程度等可帮助机器正确评分的特征维度。 

本发明实施例可以用题干文字（如朗读题的文本）或答案文字（如开放题的答案）训练得到一个语言模型LQ。然后用LB与LQ插值得到用于语音识别的语言模型L。 

204、利用该预设语言模型组，对语种特征进行语种分析，得到待评测语言的语种，该预设语言模型用于语言识别； 

本发明实施例对输入的语音特征二进行分析，给出包含其语种归属的信息。 

本发明实施例采用与语种模型训练模块相同的识别算法，并将识别得到的序列文本输出给序列分析模块，如图5所示。 

本发明实施例采用的是在目标语种的数据上训练得到的声学模型和语言模型，如图6所示。 

本发明实施例分别采用的可以是在若干个语种数据上训练得到的声学模型和语言模型。 

本发明实施例分别采用的也可以都是目标语种数据上训练得到的声学模型和语言模型，只是训练或者识别参数不同。 

本发明实施例利用语种模型训练模块输出的语言模型组中的某一个语言模型，与输入的序列文本进行比较，得到一个反映序列文本与该语种相似程度的数值，称为语种距离。 

典型地，对于二元语言模型，语种距离的计算方法为： 

$D(w_1{w}_2...w_n,L)=P\left(w_1\right)\underset{i=2}{\overset{n}{\mathrm{\Π}}}P\left(w_i\right|w_{i-1})$

典型地，对于三元语言模型，语种距离的计算方法为： 

$D(w_1{w}_2...w_n,L)=P\left(w_1\right)P\left(w_2\right|w_1)\underset{i=3}{\overset{n}{\mathrm{\Π}}}P\left(w_i\right|w_{i-2}{w}_{i-1})$

本发明实施例，对于一个识别模块的情形，序列识别文本与语言模型训练模块得到的N个语言模型L₁,...,L_N分别计算语种距离，总共得到N个语种距离D₁,...,D_N。 

本发明实施例，对于多个识别模块的情形，第i路序列识别文本，可与语言模型训练模块中第i路得到的N个语言模型

计算得到N个语种距离 

K路总共得到N·K个语种距离，即

本发明实施例将所有语种距离收集起来，使用某种融合算法，得到分析结果。 

本发明实施例输出可以是一个语种标识，即该序列文本属于哪个语种。该语种标识可以用一个表示语种序号的数值来表示，如0代表英语、1代表非英语等。该融合算法可以是选取最小语种距离所在的支路序号作为输出的语种标识I，即

该融合算法可以使用人工神经网络来实现，该融合算法也可以使用支持向量机来实现。 

本发明实施例输出也可以是一个数值矢量VD，称为语种概率矢量，其各维度表示该序列文本属于对应语种的概率： 

V_D＝[P₁,P₂,…,P_N]^T

其中P_i表示该序列文本属于语种L_i的概率，上标T表示转置。 

205、将待评测语言的评分特征及待评测语言的语种进行评分，得到对待评测语言的评分。 

本发明实施例可以先利用评分特征和事先训练好的评分模型进行评分，再利用语种标识来决定是否将该评分强制置0分，如图7所示。 

本发明实施例可以将评分特征矢量和语种概率矢量合并，组成一个合并特征矢量，再利用实现训练好的评分模型进行评分，如图8所示。该方法的优点是实现了语种分析的软判别，不易造成较大的评分误差，缺点是语种分析算法与综合评分模型相对不独立，每次修改了语种分析算法都需要重新训练评分模型。 

本发明实施例提供的方法，综合分析了待测试语言的语种特征和语言特征， 对该测试语言进行了评测，提高了语言评测的公平性与准确性。 

图9是本发明实施例提供的口语评测装置结构示意图。参见图9，该装置包括：特征提取模块901、评分特征获取模块902、语种获取模块903和评分获取模块904。 

特征提取模块901用于当接收到待评测语言时，对所述待评测语言进行处理，提取语言特征和语种特征；特征提取模块901与评分特征获取模块902连接，评分特征获取模块902用于利用语音分析技术，对所述语音特征进行声学和语言学分析，得到所述待评测语言的评分特征，所述评分特征包括所述待评测语言的语音信息数值矢量、语义信息数值矢量及语法信息数值矢量；评分特征获取模块302与语种获取模块903连接，语种获取模块903用于利用预设语言模型组，对所述语种特征进行语种分析，得到所述待评测语言的语种，所述预设语言模型用于语言识别；语种获取模块903与评分获取模块904连接，评分获取模块904，用于将所述待评测语言的评分特征及所述待评测语言的语种进行评分，得到对所述待评测语言的评分。 

可选地，所述评分特征获取模块902包括：识别文本获取单元，用于利用预设声学模型以及预设语言模型，对所述语言特征进行语音识别，得到识别文本；评分特征获取单元，用于根据题目信息和所述识别文本，得到所述待评测语言的评分特征； 

可选地，所述语种获取模块903包括：序列识别文本获取单元，用于对所述语种特征进行序列识别，得到序列识别文本；距离计算单元，用于计算序列识别文本与所述多个语言模型的距离；语种获取单元，用于将所述序列识别文 本与所述多个语言模型的距离进行融合处理，得到所述待评测语言的语种。 

可选地，所述装置还包括：多个语种特征获取模块，用于对训练语音数据进行特征提取处理，得到多个语种特征；语言模块获取模块，用于利用不同语种的语种特征，得到不同语种对应的语言模块。 

本发明实施例提供的装置，综合分析了待测试语言的语种特征和语言特征，对该测试语言进行了评测，提高了语言评测的公平性与准确性。 

需要说明的是：上述实施例提供的口语评测装置在口语评测时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的口语评测装置与口语评测方法实施例属于同一构思，其具体实现方案详见方法实施例，这里不再赘述。 

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通方案序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。 

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。 

Claims (8)

1.一种口语评测方法，其特征在于，所述方法包括：

当接收到待评测语言时，对所述待评测语言进行处理，提取语言特征和语种特征；

利用语音分析技术，对所述语音特征进行声学和语言学分析，得到所述待评测语言的评分特征，所述评分特征包括所述待评测语言的语音信息数值矢量、语义信息数值矢量及语法信息数值矢量；

利用预设语言模型组，对所述语种特征进行语种分析，得到所述待评测语言的语种，所述预设语言模型用于语言识别；

将所述待评测语言的评分特征及所述待评测语言的语种进行评分，得到对所述待评测语言的评分。

2.根据权利要求1所述的方法，其特征在于，利用语音分析技术，对所述语音特征进行声学和语言学分析，得到所述待评测语言的评分特征包括：

利用预设声学模型以及预设语言模型，对所述语言特征进行语音识别，得到识别文本；

根据题目信息和所述识别文本，得到所述待评测语言的评分特征。

3.根据权利要求1所述的方法，其特征在于，所述预设语言模型组包括多个预设语言模型，每个语言模型对应一个语种，利用预设语言模型组，对所述语种特征进行语种分析，得到所述待评测语言的语种包括：

对所述语种特征进行序列识别，得到序列识别文本；

计算序列识别文本与所述多个语言模型的距离；

将所述序列识别文本与所述多个语言模型的距离进行融合处理，得到所述待评测语言的语种。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

对训练语音数据进行特征提取处理，得到多个语种特征；

利用不同语种的语种特征，得到不同语种对应的预设语言模块。

5.一种口语评测装置，其特征在于，所述装置包括：

特征提取模块，用于当接收到待评测语言时，对所述待评测语言进行处理，提取语言特征和语种特征；

评分特征获取模块，用于利用语音分析技术，对所述语音特征进行声学和语言学分析，得到所述待评测语言的评分特征，所述评分特征包括所述待评测语言的语音信息数值矢量、语义信息数值矢量及语法信息数值矢量；

语种获取模块，用于利用预设语言模型组，对所述语种特征进行语种分析，得到所述待评测语言的语种，所述预设语言模型用于语言识别；

评分获取模块，用于将所述待评测语言的评分特征及所述待评测语言的语种进行评分，得到对所述待评测语言的评分。

6.根据权利要求5所述的装置，其特征在于，所述评分特征获取模块包括：

识别文本获取单元，用于利用预设声学模型以及预设语言模型，对所述语言特征进行语音识别，得到识别文本；

评分特征获取单元，用于根据题目信息和所述识别文本，得到所述待评测语言的评分特征。

7.根据权利要求5所述的装置，其特征在于，所述语种获取模块包括：

序列识别文本获取单元，用于对所述语种特征进行序列识别，得到序列识别文本；

距离计算单元，用于计算序列识别文本与所述多个语言模型的距离；

语种获取单元，用于将所述序列识别文本与所述多个语言模型的距离进行融合处理，得到所述待评测语言的语种。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

多个语种特征获取模块，用于对训练语音数据进行特征提取处理，得到多个语种特征；

语言模块获取模块，用于利用不同语种的语种特征，得到不同语种对应的语言模块。

Images