CN104810017B - 基于语义分析的口语评测方法和系统 - Google Patents

Abstract

本发明公开了一种基于语义分析的口语评测方法和系统，通过提取口语测试语音的语音特征参数，并根据所述口语测试语音的语音特征参数，利用预先建立的隐马尔可夫模型进行关键词语音识别，对识别出的口语关键词进行同义词辨析，进而判断口语测试语音的语义是否正确。本发明采用同义词辨析方法对口语测试语音进行语义分析，自动识别出测试语音中所使用的关键词及其同义词，智能判断语音的语义是否正确，无需人工进行语义辨析，有利于提高效率，降低人工成本。

Description

基于语义分析的口语评测方法和系统

技术领域

本发明涉及语音识别和评价技术领域，尤其涉及基于语义分析的口语评测方法和系统。

背景技术

语音信号处理技术是语音处理和语音识别领域中的一个重要分支，也是现今语音识别和语音评价系统的主要核心技术。如今科技迅速发展，语音信号处理技术已深入到各个领域，包括语言学习以及口语自动评分，而在语言学习和自动评分中，运用语音信号处理的目的是将最新的语音技术与当前的教学和学习方法结合，建立辅助语言学习的系统或者口语智能评分系统。

口语自动评分在国内外最常用的称谓就是计算机辅助学习(Computer-Assisted/Computer-Aided Language Learning,CALL)和计算机辅助发音训练(Computer-Assisted/Computer-Aided Pronunciation Training,CAPT)。在许多国外机构特别是国际会议中，口语自动评分被称为口语语音技术在教育中的应用。20世纪80年代，Flege研究了如何利用视觉信息辅助语言学习者对目标语言中的元音进行正确发音的问题，指出如果发音错误可以被自动检测出来，并且提供相应的反馈信息，那么将会对非母语语言学习者改正发音错误起到极大的帮助。进入90年代，Bernstein将非母语语音识别的技术研究成果逐渐推广到各类非母语用户的语言学习领域。21世纪以来，语音自动评分技术取得了飞速的发展，美国Ordinate公司开发的Versant系列口语自动评测系统针对第二语言学习者的口语发音水平进行评测，评测完后系统自动给出评分结果。

然而，现有的口语语音评分系统大多只是将待测口语语音与标准语音进行模式匹配，然后对待测语音的发音准确度、语调、韵律等进行评分，并没有对待测语音进行词汇语义分析。当测试者使用与标准答案意思相同的同义词时，仅从发音质量的角度进行评测，而不进行同义词辨析，将导致评测结果不准确、不全面，从而影响评测的准确率，使得评测的可信度降低。而若需要对口语测试者所使用的同义词进行综合考量，则必须通过人工地辨别，效率极低，人力成本较高。

发明内容

本发明实施例的目的在于提供一种基于语义分析的口语评测方法和系统，对口语测试语音中所使用的词汇进行同义词辨析，判断语音的语义是否正确。

为了实现上述目的，一方面，本发明实施例提供了一种基于语义分析的口语评测方法，包括：

获取口语测试语音，对所述口语测试语音进行预处理；对预处理后的口语测试语音进行单词切分，将所述口语测试语音切分为语音段；提取所述语音段的语音特征参数；

根据所述语音段的语音特征参数，利用预先建立的隐马尔可夫模型对所述语音段进行关键词语音识别，提取出所述口语测试语音中使用的关键词，获得口语关键词；

根据所述口语关键词，遍历答题关键词以及所述答题关键词的同义词，获取所述口语测试语音的关键词使用情况，并根据所述关键词使用情况，计算出所述口语测试语音的语义得分；根据所述语义得分，判断所述口语测试语音的语义是否正确，获得语义分析结果。

进一步地，在所述获取口语测试语音之前，还包括：

获取标准语音语句，提取所述标准语音语句中的关键词，获得所述答题关键词，并收集所述答题关键词的同义词；

根据所述答题关键词的重要程度，以及所述同义词与所述答题关键词的意思相近程度，建立语义树。

其中，所述语义树为二叉树结构；所述答题关键词和所述同义词设置于所述二叉树的结点上；

所述答题关键词设置于所述二叉树的右单支树的根结点上，所述答题关键词的同义词设置于所述右单支树的叶子结点上；或者，所述答题关键词设置于所述二叉树的左单支树的根结点上，所述答题关键词的同义词设置于所述左单支树的叶子结点上。

在具体实施当中，所述根据所述口语关键词，遍历答题关键词以及所述答题关键词的同义词，获取所述口语测试语音的关键词使用情况，并根据所述关键词使用情况，计算出所述口语测试语音的语义得分，具体为：

根据所述口语关键词，遍历所述语义树，获取所述口语关键词所在的单支树，根据所述口语关键词在所述单支树中与所述答题关键词的距离，计算出所述口语测试语音的语义得分。

在具体实施当中，所述提取所述标准语音语句中的关键词，获得所述答题关键词，具体为：

对所述标准语音语句的句子结构进行分析，去除所述标准语音语句中的介词和代词，获得所述答题关键词。

优选地，在所述建立语义树之后，还包括：

对所述答题关键词和所述同义词进行语音采集，对采集到的词汇语音进行语音信号预处理，提取所述词汇语音的语音特征参数；

根据所述词汇语音的语音特征参数，建立所述隐马尔可夫模型。

在具体实施当中，所述对预处理后的口语测试语音进行单词切分，将所述口语测试语音切分为语音段，具体为：

采用双门限法对预处理后的所述口语测试语音进行单词切分，根据所述口语测试语音的短时平均能量和短时平均过零率是否达到预设的阈值，将所述口语测试语音切分成为多个语音段。

优选地，在所述获取口语测试语音，对所述口语测试语音进行预处理之后，还包括：

根据所述口语测试语音的语音特征参数，对所述口语测试语音的发音质量进行评价，获得所述口语测试语音的发音质量评价；

根据所述语义分析结果和所述发音质量评价，对所述口语测试语音进行综合评价。

其中，所述根据所述口语测试语音的语音特征参数，对所述口语测试语音的发音质量进行评价，获得所述口语测试语音的发音质量评价，包括：

根据所述口语测试语音的关键词语音识别的正确率，对所述口语测试语音的正确度进行评价，获得所述口语测试语音的准确度评价；

根据所述口语测试语音的单词平均发音时长，对所述口语测试语音的流利度进行评价，获得所述口语测试语音的流利度评价。

为了实现所述目的，另一方面，本发明实施例提供了一种基于语义分析的口语评测系统，包括语音采集单元、语音预处理单元、语音特征提取单元、关键词识别单元、语义分析单元、发音质量评价单元、综合评价单元和标准模型库；

所述语音采集单元，用于获取口语测试语音；

所述语音预处理单元，用于对所述口语测试语音进行预处理；

所述语音特征提取单元，对预处理后的口语测试语音进行单词切分，将所述口语测试语音切分为语音段，提取所述语音段的语音特征参数；

所述关键词识别单元，用于根据所述语音段的语音特征参数，利用预先建立的隐马尔可夫模型对所述语音段进行关键词语音识别，提取出所述口语测试语音中使用的关键词，获得口语关键词；

所述语义分析单元，用于根据所述口语关键词，遍历答题关键词以及所述答题关键词的同义词，获取所述口语测试语音的关键词使用情况，并根据所述关键词使用情况，计算出所述口语测试语音的语义得分；根据所述语义得分，判断所述口语测试语音的语义是否正确，获得语义分析结果；

所述发音质量评价单元，用于根据所述口语测试语音的语音特征参数和所述标准语音语句的语音特征参数，对所述口语测试语音的发音质量进行评价，获得所述口语测试语音的发音质量评价；

所述综合评价单元，用于根据所述语义检测结果和所述发音质量评价，对所述口语测试语音进行综合评价；

所述标准模型库，用于存储标准语音语句和所述标准语音语句的语音特征参数。

本发明实施例提供的基于语义分析的口语评测方法和系统，通过提取口语测试语音的语音特征参数，并根据所述口语测试语音的语音特征参数，利用预先建立的隐马尔可夫模型进行关键词语音识别，对识别出的口语关键词进行同义词辨析，进而判断口语测试语音的语义是否正确。本发明实施例采用同义词辨析的方法对口语测试语音进行语义分析，自动识别出测试语音中所使用的关键词及其同义词，智能判断语音的语义是否正确，无需人工进行语义辨析，有利于提高效率，降低人工成本。

附图说明

图1是本发明提供的基于语义分析的口语评测方法的一个实施例的方法流程图；

图2是本发明提供的基于语义分析的口语评测方法的另一个实施例的方法流程图；

图3是如图2所示实施例提供的语义树的结构示意图；

图4是如图3所示语义树的一个右单支树的示意图；

图5是如图2所示实施例提供的隐马尔可夫模型的示意图；

图6是本发明提供的基于语义分析的口语评测系统的一个实施例的系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。实施例中各个步骤前的标号仅为了对各个步骤进行更清楚地标识，各个步骤之间没有必然的先后顺序的限定。本发明实施例中，虽仅以英语语音的评测为例，但本领域技术人员应当理解，本发明也可应用到其他语言的语音处理中。

参见图1，是本发明提供的基于语义分析的口语评测方法的一个实施例的方法流程图。

如图1所示，所述基于语义分析的口语评测方法包括以下步骤：

S11，获取口语测试语音，对所述口语测试语音进行预处理；其中，所述预处理包括但不限于预加重、分帧、加窗和端点检测。对预处理后的口语测试语音进行单词切分，将所述口语测试语音切分为语音段；提取所述语音段的语音特征参数；在具体实施当中，优选采用双门限法对预处理后的所述口语测试语音进行单词切分，根据短时平均能量和短时平均过零率是否达到预设的阈值，将所述口语测试语音切分成为多个语音段。所述语音特征参数包括但不限于MFCC(Mel-Frequency Cepstral Coefficients，Mel倒谱系数)特征参数。

S12，根据所述语音段的语音特征参数，利用预先建立的隐马尔可夫(HMM)模型对所述语音段进行关键词语音识别，提取出所述口语测试语音中使用的关键词，获得口语关键词。可根据标准语音语句的答题关键词和所述答题关键词的同义词预先建立隐马尔可夫模型，并存储于标准模型库中，以在需要进行关键词语音识别时进行调用。在关键词语音识别中，可根据口语测试语音的Mel倒谱系数，预先建立的隐马尔可夫模型进行模型匹配，以识别出所述获得口语测试语音中所使用的关键词。

S13，根据所述口语关键词，遍历答题关键词以及所述答题关键词的同义词，获取所述口语测试语音的关键词使用情况，并根据所述关键词使用情况，计算出所述口语测试语音的语义得分；根据所述语义得分，判断所述口语测试语音的语义是否正确，获得语义分析结果。其中，所述答题关键词为标准语音语句中的关键词，即影响标准语句语音意思的单词、词组或短语。在具体实施当中，可预先建立所述答题关键词与得分的映射关系、所述答题关键词的同义词与得分关系，通过遍历所述答题关键词以及所述答题关键词的同义词，获取所述口语测试语音中使用了哪些答题关键词或者其同义词，并根据使用的答题关键词或同义词与得分的映射关系获取口语测试语音的语义得分，根据所述语义得分是否超过预设的阈值，判断所述口语测试语音的语义是否正确。

本发明实施例提供的基于语义分析的口语评测方法和系统，通过提取口语测试语音的语音特征参数，并根据所述口语测试语音的语音特征参数，利用预先建立的隐马尔可夫模型进行关键词语音识别，对识别出的口语关键词进行同义词辨析，进而判断口语测试语音的语义是否正确。本发明实施例采用同义词辨析方法对口语测试语音进行语义分析，自动识别出测试语音中所使用的关键词及其同义词，智能判断语音的语义是否正确，效率较高，无需人工地进行辨别，降低了人工成本。

参见图2，是本发明提供的基于语义分析的口语评测方法的另一个实施例的方法流程图。

如图2所示，本实施例提供的基于语义分析的口语评测方法，在所述获取口语测试语音之前，包括以下步骤：

S21，获取标准语音语句，提取所述标准语音语句中的关键词，获得所述答题关键词，并收集所述答题关键词的同义词；其中，所述关键词为影响句子意思的单词、词组和短语中的一种或多种组合。在具体实施当中，可以通过对所述标准语音语句的句子结构进行分析，去除句子中的介词和代词，获得所述答题关键词。

例如，英语口语考试中，汉译英题目如下：

目前，中国杀虫剂和除草剂的年生产能力为75万吨，实际年均产量为40万吨，居世界第二位。

上述题目的标准答案为：

Currently,China has the capacity to produce 750,000tons of pesticideand herbicide a year,with an actual output averaging 400,000tons a year,ranking the second largest in the world.

对所述标准答案进行分析并进行单词切分，使句子变成一个一个词语，则句子＝“关键词”+“无用词”，其中，关键词是能影响句子意思的词汇，而无用词则是对理解句子意思并没有多大的影响，如上述标准答案中的介词和代词。因此，可以先将无用词删除，而不影响句子的总体意思，去除无用词后，则可提炼出标准语音语句的关键词，如所述标准答案的关键词为：Currently、capacity、produce、750,000、pesticide、herbicide、actual、output、averaging、400,000、ranking、second。

S22，根据所述答题关键词的重要程度，以及所述同义词与所述答题关键词的意思相近程度，建立语义树。

其中，所述答题关键词的重要程度与其对句子意思的影响力的大小成正相关，即所述答题关键词的重要程度越大，该答题关键词对句子意思影响越大，若在口语测试中正确使用则得分越高。语义树也称为语义分析树，在具体实施当中，所述语义树可以为二叉树结构、层次型结构或其他结构，本领域技术人员可根据实际需要进行选择，本实施例中优选采用二叉树结构的语义树，通过采用二叉树结构的语意树，大大降低后续遍历语义树时的复杂度，提高语义分析的效率。

参见图3，是如图2所示实施例提供的语义树的结构示意图。所述答题关键词和所述同义词设置于所述二叉树的结点上。所述答题关键词设置于所述二叉树的右单支树的根结点上，所述答题关键词的同义词设置于所述右单支树的叶子结点上。本领域技术上人员可以理解，还可以将所述答题关键词设置于所述二叉树的左单支树的根结点上，将所述答题关键词的同义词设置于所述左单支树的叶子结点上。所述语义树的根结点为所述标准语音语句的第一个答题关键词，也是对句子意思影响最大的答题关键词，如图中根节点的Currently，所述语义树的右单支树的根结点为所述答题关键词，答题关键词距离根节点越近重要度越高(即权重越大)，距离根节点越远，重要度越低(即权重越小)。如图3中的Currently、capacity、produce、output、pesticide、herbicide、ranking、second、actual、averaging、750,000、400,000的对于句意的重要度依次递减，可根据答题关键词对句子意思的重要程度设置不同的映射得分(或权重)，如Currently对应的分数可设置为5分，capacity对应的分数为4.5分，produce的分数设置为4分，并以此类推。右子树上的结点与父结点互为同义关系，同义词距离所述右单支树的根节点越近，同义词的意思和答题关键词的意思越接近，重要度也越大，得分(或权重)也越高，反之得分(或权重)越低。

参见图4，是如图3所示语义树的一个右单支树的示意图。其中，presently、nowdays、at present、so far、today为答题关键词currently的同义词，同义词presently、nowdays、at present、so far、today与答题关键词currently的意思相近程度依次递减，如将答题关键词currently对应的得分设置为5分，则同义词presently对应的得分可设置为4分，同义词nowdays对应的得分可设置为3分，at present对应的得分可设置为2分，并以此类推。在口语测试中，若测试者使用中了单词currently可得5分，若使用了单词present则只得2分。在具体实施当中，可以根据在所述语义树中所述同义词与对应的答题关键词的距离，建立距离与得分的映射关系。其中，所述语义树可采用二叉树链式存储结构进行存储，每个关键词结点分为指针域和数据域，数据域存储的是关键词所属右单支树的序号。

S23，对所述答题关键词和所述同义词进行语音采集，对采集到的词汇语音进行语音信号预处理，提取所述词汇语音的语音特征参数。其中，所述语音特征参数包括但不限于MFCC(Mel-Frequency Cepstral Coefficients，Mel倒谱系数)特征参数。

S24，根据所述词汇语音的语音特征参数，建立所述隐马尔可夫模型。

参见图5，是本实施例提供的隐马尔可夫模型的示意图。

所述HMM模型包含初始化状态、观测状态和状态转移概率。其中初始化状态是一个概率矩阵集合，以参数π来表示，与隐含状态的初始时刻t＝l的概率矩阵相对应。状态转移概率是一个集合，以参数A来表示，它描述的是模型中各个状态之间的转移概率。状态转移输出概率，以参数B来表示，它对应的是一个概率矩阵，描述的是一定隐含状态之下的t时刻的观察状态为O的概率。因此，一个HMM模型可以表示为：

λ＝(π，A，B) (公式1)

本实施例中HMM模型的观测状态有6个，如图5中的O₁～O₆。而标准语音语句的HMM模型由所述标准语音语句的答题关键词的HMM模型组合而成。一般地，在建立HMM模型的过程中，需要解决三个问题：估值(Evaluation)问题、解码(Decoding)问题和学习(Learning)问题，针对这三个问题，本实施例采用前向-后向算法(Forward-backward algorithm)解决隐马尔可夫模型的估值问题。采用Viterbi算法(Viterbi algorithm)解决隐马尔可夫模型的解码问题。采用Baum-Welch(鲍姆-韦尔奇)迭代算法来解决隐马尔可夫模型的学习问题。具体方法如下：

(1)采用前向-后向算法解决HMM建模中的估值问题。

在关键词语音识别的HMM模型中，每个关键词对应一个HMM模型，每个观测序列对应于一个关键词语音，关键词语音识别就是通过估值选出的最有可能产生观测序列所代表的语音的HMM模型。本实施例采用前向-后向算法解决HMM建模中的估值问题，具体如下：

定义前向变量：α_t(i)＝P(O₁O₂O₃……O_t|q_t＝i，λ)表示模型λ，令初始值α₁(i)＝π_ib_i(O_i)。在时刻t，观测时间为O_t，状态为i的概率。下一时刻的前向变量计算公式为：

定义后向变量：β_t(i)＝P(O_t+1O_t+2……O_T|q_t＝i，λ)表示在时刻t以后的观察序列满足(O_t+1O_t+2……O_T)的概率。前一时刻的后向变量的计算公式为：

利用前向概率和后向概率计算估值问题时，具体计算公式如下：

前向算法利用递归计算第一个状态到终止状态的概率，当前端出现错误时，后部分就会出现越来越大的误差。而用前向-后向算法既计算到达这一状态的前一个状态的概率，又要计算产生终止状态的后向状态的概率，对HMM参数的调整可以提高中间概率的准确性。

(2)采用Viterbi算法来解决HMM建模中的解码问题。

解码主要是对给定的HMM模型参数λ＝(π，A，B)和由模型产生的观测序列O₁O₂O₃……O_t采用一定的算法找到与已知的观测序列对应的最佳隐含状态序列S＝q₁q₂q₃……q_t，即求解使P(S|O，λ)最大的状态序列S。由于δ_t(i)＝max P[q₁q₂q₃……q_t-1，q_t＝i，O₁O₂O₃……O_t|λ]，而P(O|λ)对于所有的S均相同，因此解码问题等价于求解使P(S，O|λ)最大的状态序列S。

δ_t(i)＝max P[q₁q₂q₃……q_t-1，q_t＝i，O₁O₂O₃……O_t|λ]表示找一个状态序列，这个状态序列在t时刻的状态为i，并且状态i与前面t-1个状态构成的状态序列的概率值最大，算法的递推公式为：

δ_t(j)＝[max δ_t-1(i)a_ij]·b_j(O_t) (公式5)

viterbi算法使用递归来减少复杂度，使得每个时刻选择的都是最优路径，最后得到的序列为最优解，减少了计算量。另外viterbi计算过程中可以通过指针的回溯得到最佳路径。

(3)采用Baum-Welch迭代算法来解决HMM建模中的学习问题

对于一个未知的HMM模型，根据模型产生的观测序列O＝O₁O₂O₃……O_t，如何确定模型λ＝(π，A，B)，即求解使模型联合概率∏_OP(O|λ)最大的模型参数π，A，B。学习问题对应于HMM的参数训练过程，只有观察数据，缺少对状态的描述，选择最大似然概率作为最优化目标，建立在期望最大化(EM)基础上，采用Baum-Welch迭代算法来估计模型参数。ξ_t(i，j)表示t时刻状态为i以及t+1时刻状态为j的概率变量为：

ξ_t(i，j)＝P(q_t＝i，q_t+1＝j|O，λ) (公式6)

用前向、后向变量表示为：

表示t时状态为i的概率，表示时刻1经过状态i的次数。所以状态转移矩阵的计算公式为：

输出概率矩阵的计算公式为：

HMM模型建立完成后，对测试语音进行关键词识别时，系统将会对口语测试语音中所使用的关键词进行识别，并对其进行文本转换，以便语义分析模块进行关键词的同义词辨析。

步骤S25～S27与图1所示实施例中的步骤S11～S13一致，本实施例中未详述之处可参见图1所示实施例中的相关描述，如图2所示，本实施例所述基于语义分析的口语评测方法还包括以下步骤：

S25，获取口语测试语音，对所述口语测试语音进行预处理；对预处理后的口语测试语音进行单词切分，将所述口语测试语音切分为语音段；提取所述语音段的语音特征参数。

S26，根据所述语音段的语音特征参数，利用预先建立的隐马尔可夫模型对所述语音段进行关键词语音识别，提取出所述口语测试语音中使用的关键词，获得口语关键词。

S27，根据所述口语关键词，遍历答题关键词以及所述答题关键词的同义词，获取所述口语测试语音的关键词使用情况，并根据所述关键词使用情况，计算出所述口语测试语音的语义得分；根据所述语义得分，判断所述口语测试语音的语义是否正确，获得语义分析结果。

在具体实施当中，可根据所述口语关键词遍历所述语义树，获取所述口语关键词所在的右单支树，根据在所述右单支树中所述口语关键词与所述答题关键词的距离，计算出所述口语测试语音的语义得分。根据所述语义得分是否超过预设的阈值，从而判断判断所述口语测试语音的语义是否正确。

本实施例提供的基于语义分析的口语评测方法，通过提取标准语音语句中的答题关键词并收集所述答题关键词的同义词，建立语义树，根据语义树中词汇语音的语音特征参数，建立隐马尔可夫模型，利用所述隐马尔可夫模型，对口语测试语音进行识别，识别出口语测试语音中所使用的口语关键词，根据所述口语关键词在所述语义树中的位置，计算出语义得分，最后根据所述语义得分判断所述口语测试语音的语义是否正确。采用基于语义树的同义词辨析方法来实现同义词辨析，从语义层面上对口语测试语音进行识别评价，着重考虑句子的句意，对口语测试语音全面、客观的评价，使得评价结果更为准确可靠。

进一步地，在所述获取口语测试语音，对所述口语测试语音进行预处理之后，所述基于语义分析的口语评测方法还包括以下步骤：

S28，根据所述口语测试语音的语音特征参数，对所述口语测试语音的发音质量进行评价，获得所述口语测试语音的发音质量评价。

在具体实施当中，可根据所述口语测试语音的关键词语音识别的正确率，对所述口语测试语音的正确度进行评价，获得所述口语测试语音的准确度评价。可根据所述口语测试语音的单词平均发音时长，对所述口语测试语音的流利度进行评价，获得所述口语测试语音的流利度评价。具体评价过程如下：

(1)准确度评价

准确度评价主要体现为关键词识别的正确率，即正确识别的口语关键词数占答题关键词总数的百分比。对关键词识别时，系统统计出识别正确的口语关键词的数目Word_num和答题关键词总数Total_Word_num。

则关键词的正确识别率Correct_rate为：

例如，一口语翻译题的总分值为2分，准确度标准所占权重为0.5，即准确度分值为1分。准确度得分Accuracy_score为：

需要说明的是，以上准确度得分与关键词正确识别率的映射关系仅仅为示例性说明，本领域技术人员可以根据实际需要，设定不同的准确度得分与关键词正确识别率的映射关系，也应当视为在本发明的保护范围内。

(2)流利度评价

英语口语流利度是评价一个人综合英语水平的一个重要指标，主要体现于说话人说话的流利程度。而口语流利度主要体现为说话人语速的快慢，所以本本实施例中通过对语速的评测进而做出对口语流利度的评分。对测试英语口语进行单词切分后，系统就计算出口语语音中的单词个数n以及每个单词的时长Pronounce_Time_i，采用每个单词的平均发音时长作为语速特征，则口语的平均语速Speed为:

例如，一口语翻译题在口语考试中的分值为2分，其中口语流利度所占权重为0.25，即0.5分。在进行语速评分时，可评分数为0分或0.5分。所以本发明对语速设定一个最小语速阈值low_threshold，当口语语速小于最小语速时，可以反映出测试者在测试中间停顿的时间过长或者发音犹豫时间过长，影响了句子整体的流利度，也体现出测试者对于语言的不熟悉。故流利度得分Fluency_score为：

S29，根据所述语义分析结果和所述发音质量评价，对所述口语测试语音进行综合评价。具体地，可以通过对所述语义得分、所述准确度得分和流利度得分进行加权求和，获得所述口语测试语音的综合得分。

在具体实施中，所述综合得分Total_score可以为：

Total_score＝Accuracy_score+Fluency_score+Semantics_score (公式14)

进一步地，所述基于语义分析的口语评测方法还包括以下步骤：

S30，根据所述语义分析结果和发音质量评价，对所述口语测试语音进行反馈指导。在具体实施中，可根据用户各项的得分情况，对用户的词汇运用和发音质量情况进行反馈指导，指出用户口语测试中的错误和不足，有助于纠正发音错误以及词汇运用错误，提高用户的口语水平。

本实施例中，对口语测试语音进行基于同义词辨析的语义分析的同时，结合口语测试语音的准确度和流利度等客观指标对口语测试语音进行评价，评测结果全面客观，更为准确可靠。

参见图6，是本发明提供的基于语义分析的口语评测系统的一个实施例的系统结构图。所述基于语义分析的口语评测系统的实质内容与图2所示实施例的基于语义分析的口语评测方法对应，本实施例中未详述之处可参见图2所示实施例中的相关描述。

如图6所示，所述基于语义分析的口语评测系统包括语音采集单元210、语音预处理单元220、语音特征提取单元230、关键词识别单元240、语义分析单元250、发音质量评价单元260、综合评价单元270和标准语句模型库200。

所述语音采集单元210，用于获取口语测试语音；

所述语音预处理单元220，用于对所述口语测试语音进行预处理；

所述语音特征提取单元230，对预处理后的口语测试语音进行单词切分，将所述口语测试语音切分为语音段，提取所述语音段的语音特征参数；

所述关键词识别单元240，用于根据所述语音段的语音特征参数，利用预先建立的隐马尔可夫模型对所述语音段进行关键词语音识别，提取出所述口语测试语音中使用的关键词，获得口语关键词；

所述语义分析单元250，用于根据所述口语关键词，遍历答题关键词以及所述答题关键词的同义词，获取所述口语测试语音的关键词使用情况，并根据所述关键词使用情况，计算出所述口语测试语音的语义得分；根据所述语义得分，判断所述口语测试语音的语义是否正确，获得语义分析结果；

所述发音质量评价单元260，用于根据所述口语测试语音的语音特征参数和所述标准语音语句的语音特征参数，对所述口语测试语音的发音质量进行评价，获得所述口语测试语音的发音质量评价；

所述综合评价单元270，用于根据所述语义检测结果和所述发音质量评价，对所述口语测试语音进行综合评价；

所述标准模型库200，用于存储标准语音语句和所述标准语音语句的语音特征参数。

进一步地，所述语音评分系统还包括反馈指导单元280。

所述反馈指导单元280，用于根据所述语义分析结果和发音质量评价，对所述口语测试语音进行反馈指导。

综上所述，本发明实施例提供的基于语义分析的口语评测方法和系统，通过提取口语测试语音的语音特征参数，并根据所述口语测试语音的语音特征参数，利用预先建立的隐马尔可夫模型进行关键词语音识别，对识别出的口语关键词进行同义词辨析，进而判断口语测试语音的语义是否正确。本发明实施例采用同义词辨析的方法对口语测试语音进行语义分析，自动识别出测试语音中所使用的关键词及其同义词，智能判断语音的语义是否正确，无需人工进行语义辨析，有利于提高效率，降低人工成本。

通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在可读取的存储介质中，如计算机的软盘，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种基于语义分析的口语评测方法，其特征在于，包括：

获取口语测试语音，对所述口语测试语音进行预处理；对预处理后的口语测试语音进行单词切分，将所述口语测试语音切分为语音段；提取所述语音段的语音特征参数；

根据所述语音段的语音特征参数，利用预先建立的隐马尔可夫模型对所述语音段进行关键词语音识别，提取出所述口语测试语音中使用的关键词，获得口语关键词；

根据所述口语关键词，遍历答题关键词以及所述答题关键词的同义词，获取所述口语测试语音的关键词使用情况，并根据所述关键词使用情况，计算出所述口语测试语音的语义得分；根据所述语义得分，判断所述口语测试语音的语义是否正确，获得语义分析结果；

在所述获取口语测试语音之前，还包括：

获取标准语音语句，提取所述标准语音语句中的关键词，获得所述答题关键词，并收集所述答题关键词的同义词；

根据所述答题关键词的重要程度，以及所述同义词与所述答题关键词的意思相近程度，建立语义树；

所述根据所述口语关键词，遍历答题关键词以及所述答题关键词的同义词，获取所述口语测试语音的关键词使用情况，具体为：根据所述口语关键词，遍历所述语义树，获取所述口语测试语音的关键词使用情况。

2.如权利要求1所述的基于语义分析的口语评测方法，其特征在于，所述语义树为二叉树结构；所述答题关键词和所述同义词设置于所述二叉树的结点上；

所述答题关键词设置于所述二叉树的右单支树的根结点上，所述答题关键词的同义词设置于所述右单支树的叶子结点上；或者，所述答题关键词设置于所述二叉树的左单支树的根结点上，所述答题关键词的同义词设置于所述左单支树的叶子结点上。

3.如权利要求2所述的基于语义分析的口语评测方法，其特征在于，所述根据所述口语关键词，遍历答题关键词以及所述答题关键词的同义词，获取所述口语测试语音的关键词使用情况，并根据所述关键词使用情况，计算出所述口语测试语音的语义得分，具体为：

根据所述口语关键词，遍历所述语义树，获取所述口语关键词所在的单支树，根据所述口语关键词在所述单支树中与所述答题关键词的距离，计算出所述口语测试语音的语义得分。

4.如权利要求1所述的基于语义分析的口语评测方法，其特征在于，所述提取所述标准语音语句中的关键词，获得所述答题关键词，具体为：

对所述标准语音语句的句子结构进行分析，去除所述标准语音语句中的介词和代词，获得所述答题关键词。

5.如权利要求1所述的基于语义分析的口语评测方法，其特征在于，在所述建立语义树之后，还包括：

对所述答题关键词和所述同义词进行语音采集，对采集到的词汇语音进行语音信号预处理，提取所述词汇语音的语音特征参数；

根据所述词汇语音的语音特征参数，建立所述隐马尔可夫模型。

6.如权利要求1所述的基于语义分析的口语评测方法，其特征在于，所述对预处理后的口语测试语音进行单词切分，将所述口语测试语音切分为语音段，具体为：

采用双门限法对预处理后的所述口语测试语音进行单词切分，根据所述口语测试语音的短时平均能量和短时平均过零率是否达到预设的阈值，将所述口语测试语音切分成为多个语音段。

7.如权利要求1～6任一项的所述的基于语义分析的口语评测方法，其特征在于，在所述获取口语测试语音，对所述口语测试语音进行预处理之后，还包括：

根据所述口语测试语音的语音特征参数，对所述口语测试语音的发音质量进行评价，获得所述口语测试语音的发音质量评价；

根据所述语义分析结果和所述发音质量评价，对所述口语测试语音进行综合评价。

8.如权利要求7所述的基于语义分析的口语评测方法，其特征在于，所述根据所述口语测试语音的语音特征参数，对所述口语测试语音的发音质量进行评价，获得所述口语测试语音的发音质量评价，包括：

根据所述口语测试语音的关键词语音识别的正确率，对所述口语测试语音的正确度进行评价，获得所述口语测试语音的准确度评价；

根据所述口语测试语音的单词平均发音时长，对所述口语测试语音的流利度进行评价，获得所述口语测试语音的流利度评价。

9.一种基于语义分析的口语评测系统，其特征在于，包括语音采集单元、语音预处理单元、语音特征提取单元、关键词识别单元、语义分析单元、发音质量评价单元、综合评价单元和标准模型库；

所述语音采集单元，用于获取口语测试语音；

所述语音预处理单元，用于对所述口语测试语音进行预处理；

所述语音特征提取单元，对预处理后的口语测试语音进行单词切分，将所述口语测试语音切分为语音段，提取所述语音段的语音特征参数；

所述关键词识别单元，用于根据所述语音段的语音特征参数，利用预先建立的隐马尔可夫模型对所述语音段进行关键词语音识别，提取出所述口语测试语音中使用的关键词，获得口语关键词；

所述语义分析单元，用于根据所述口语关键词，遍历答题关键词以及所述答题关键词的同义词，获取所述口语测试语音的关键词使用情况，并根据所述关键词使用情况，计算出所述口语测试语音的语义得分；根据所述语义得分，判断所述口语测试语音的语义是否正确，获得语义分析结果；

所述发音质量评价单元，用于根据所述口语测试语音的语音特征参数和所述标准语音语句的语音特征参数，对所述口语测试语音的发音质量进行评价，获得所述口语测试语音的发音质量评价；

所述综合评价单元，用于根据所述语义检测结果和所述发音质量评价，对所述口语测试语音进行综合评价；

所述标准模型库，用于存储标准语音语句和所述标准语音语句的语音特征参数；

所述口语评测系统还用于：

在所述获取口语测试语音之前获取标准语音语句，提取所述标准语音语句中的关键词，获得所述答题关键词，并收集所述答题关键词的同义词；

根据所述答题关键词的重要程度，以及所述同义词与所述答题关键词的意思相近程度，建立语义树；

所述根据所述口语关键词，遍历答题关键词以及所述答题关键词的同义词，获取所述口语测试语音的关键词使用情况，具体为：根据所述口语关键词，遍历所述语义树，获取所述口语测试语音的关键词使用情况。