CN105741831B - 一种基于语法分析的口语评测方法和系统 - Google Patents

一种基于语法分析的口语评测方法和系统 Download PDF

Info

Publication number
CN105741831B
CN105741831B CN201610057264.XA CN201610057264A CN105741831B CN 105741831 B CN105741831 B CN 105741831B CN 201610057264 A CN201610057264 A CN 201610057264A CN 105741831 B CN105741831 B CN 105741831B
Authority
CN
China
Prior art keywords
syntax tree
voice
institute
speech
speech segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610057264.XA
Other languages
English (en)
Other versions
CN105741831A (zh
Inventor
李心广
温宾利
张胜斌
陈伟峰
陈广豪
郭婉华
张朝旭
饶佳凌
陈盈霓
周挺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Foreign Studies
Original Assignee
Guangdong University of Foreign Studies
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Foreign Studies filed Critical Guangdong University of Foreign Studies
Priority to CN201610057264.XA priority Critical patent/CN105741831B/zh
Publication of CN105741831A publication Critical patent/CN105741831A/zh
Application granted granted Critical
Publication of CN105741831B publication Critical patent/CN105741831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/01—Assessment or evaluation of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于语法分析的口语评测方法和系统，所述方法包括：提取语音段的句法内容，根据所述句法内容建立句法树，计算所述句法树与预设句法树的节点相似度，得到所述语音段的语序测评结果；提取所述语音段的谓语动词，在预设谓语动词语料库中识别所述谓语动词，得到所述语音段的时态测评结果；根据所述语音段的语序测评结果和所述语音段的时态测评结果得到所述语音段的语法测评结果。本发明从流利度，准确度和语法测评三方面对测试口语进行测评，结合口语语音质量评测指标和口语内容评测指标，这样的评测模型更加客观、全面和准确。

Description

一种基于语法分析的口语评测方法和系统
技术领域
本发明涉及语音识别和评价技术领域，尤其涉及一种基于语法分析的口语评测方法和系统。
背景技术
语音信号处理技术是语音处理和语音识别领域中的一个重要分支，也是现今语音识别和语音评价系统的主要核心技术。如今科技迅速发展，语音信号处理技术已深入到各个领域，包括语言学习以及口语自动评分，而在语言学习和自动评分中，运用语音信号处理的目的是将最新的语音技术与当前的教学和学习方法结合，建立辅助语言学习的系统或者口语智能评分系统。
而随着科学技术快速发展，语音评测技术也日趋成熟，英语口语评测内容越来越趋向于对文本无关的内容的评测。文本翻译领域也取得了一定的研究成果，已经建立了基于统计、基于规则和基于实例三种不同类型的翻译系统。这些都给本发明对于语序评测的研究提供了理论基础。本发明所研究的英语口语自动评测方法，融合了语义和语序两个评测指标，使汉译英题型的英语口语评测更加科学和客观。
口语评测内容可分为文本相关和文本无关两种类型。与文本相关的口语评测需要发音人按照给定的文本进行朗读；例如对朗读题、跟读题的评分。与文本无关的口语评测中，没有指定的文本，即使有文本，也仅是一种参考，发音人需要用自己的语言表达题目所要求表达的内容，如翻译题、复述题。其中，复述题的作答最自由，也是目前计算机评测难度最高的题型。
近几年来，文本相关的语音评测是研究主流。例如在英语朗读题评分方面，H.Franco等人将几种评分特征融合取得了人工评分的85％的性能；CMU大学的LISTEN项目在帮助小孩学发音上取得了良好的效果；2010年，李萌涛等在大规模英语口语测试中进行了相应研究，取得了专家精细打分性能的94％，这一性能显著超过了实际考试时教师批量阅卷的性能。而在中文朗读题评分方面，一个典型的例子是我国的普通话水平测试(Putonghua Shuiping Ceshi，PSC)系统，魏思等人研究的对普通话水平考试前三题的字、词、篇章的朗读水平的自动评分水平甚至已经超过了从事多年评分工作的专业评分员的评分水平，并在安徽、上海等地市正式成为国家普通话水平测试的自动评分系统。
语序评测的目的是对语音进行语法分析，只有语音段的语序正确，才符合语法规则。语序评测可以通过句法分析算法来实现，句法分析通过对应的语法功能信息，分析前后紧邻的两个词语间是否符合规定语法规则，以达到分析语法的目的。
现有评测系统大多只是针对音素、单词的评测，语音段评测的研究也局限在单一因素方面，只能进行语音朗读题的评测；现有的英语口语评分系统大多只是将待测口语语音与标准语音进行模式匹配，然后对待测语音的发音准确度、语调、韵律等进行评分，并没有对英语口语的语法评测功能，这样给出的评测是不全面的，评分不够客观、科学。
发明内容
本发明实施例的目的在于提供一种基于语法分析的口语评测方法和系统，能够实现口语测试中对语法的测试，使测评结果更全面。
为了实现上述目的，一方面，本发明实施例提供了一种基于语法分析的口语评测方法，包括：
获取口语测试语音，对所述口语测试语音进行预处理；
对预处理后的口语测试语音进行单词切分，得到语音段；
提取所述语音段的语音特征参数，根据所述语音特征参数对所述语音段进行语音识别；
提取所述语音段的句法内容，根据所述句法内容建立句法树，计算所述句法树与预设句法树的节点相似度，得到所述语音段的语序测评结果；
提取所述语音段的谓语动词，在预设谓语动词语料库中识别所述谓语动词，得到所述语音段的时态测评结果；
根据所述语音段的语序测评结果和所述语音段的时态测评结果得到所述语音段的语法测评结果。
进一步的，所述根据句法内容建立句法树，包括：
建立字典集文件和规则集文件，所述字典集文件用于识别出词语在语音段中表示的词性，根据输入的语音段，分析出每个词语的词性，并将相应的语音段转化为对应词性的词性语音段，所述规则集文件用于表示语音段中单词之间如何组合成语音段成分的规则；
设置一个用于表示句法树一条边的数据结构，根据输入的语音段，分析出每个词语的词性，将所述语音段转化为对应词性的词性语音段。
进一步的，计算所述句法树与预设句法树的节点相似度，得到所述语音段的语序测评结果包括：
遍历找出所述句法树与预设句法树的不同节点，计算所述不同节点之间的距离值，累加所有不同节点之间的距离值，得到所述句法树与预设句法树之间的距离；所述句法树与预设句法树之间的距离大小与所述句法树与预设句法树之间的相似度成反比；
根据所述句法树与预设句法树之间的距离和距离阈值对语音段进行语序测评。
进一步的，所述遍历找出所述句法树与预设句法树的不同节点，计算所述不同节点之间的距离值，累加所有不同节点之间的距离值，得到所述句法树与预设句法树之间的距离，具体为：
S11、分别提取所述句法树的根节点和预设句法树的根节点；
S12、比较所述句法树的根节点和所述预设句法树的根节点，得到最优节点序列；执行子节点，如果一个节点无子节点，则结束；
S13、对于没有匹配的子节点，累加所述没有匹配的子节点的距离值；
S14、对所述最优子节点序列的每一对节点循环执行步骤S12～S13，直到遍历完所有的子节点。
进一步的，所述提取所述语音段的谓语动词，在预设谓语动词语料库中识别所述谓语动词，得到所述语音段的时态测评结果，具体为：
根据口语测试文本选定语音段的谓语动词，根据所述谓语动词的语义建立语义树；
通过录制标准语音，建立谓语动词预设谓语动词语料库，所述谓语动词预设语料库包括用于测试语音时态的语句标准时态库，通过对比语音段中谓语动词与所述语句标准时态库的发音，得到所述语音段的时态测评结果。
进一步的，所述对预处理后的口语测试语音进行单词切分，将所述口语测试语音切分为语音段，具体为：
采用双门限法对预处理后的所述口语测试语音进行单词切分，根据所述口语测试语音的短时平均能量和短时平均过零率是否达到预设的阈值，将所述口语测试语音切分成为多个语音段。
为实现上述目的，本发明还提供一种基于语法分析的口语评测系统，包括语音采集单元、语音预处理单元、语音识别单元、语序测评单元、时态测评单元、语法评价单元和标准模型库；
所述语音采集单元，用于获取口语测试语音；
所述语音预处理单元，用于对所述口语测试语音进行预处理；
所述语音识别单元，对预处理后的口语测试语音进行单词切分，得到语音段，提取所述语音段的语音特征参数，根据所述语音段的语音特征参数对所述语音段进行语音识别；
所述语序测评单元，用于提取所述语音段的句法内容，根据所述句法内容建立句法树，计算所述句法树与预设句法树的节点相似度，得到所述语音段的语序测评结果；
所述时态测评单元，用于提取所述语音段的谓语动词，在预设谓语动词语料库中识别所述谓语动词，得到所述语音段的时态测评结果；
所述语法评价单元，用于根据所述语音段的语序测评结果和所述语音段的时态测评结果得到所述语音段的语法测评结果；
所述标准模型库，用于存储预设句法树和所述预设语音标准发音。
本发明实施例提供的基于语法分析的口语评测方法和系统，相较于现有技术，具有如下有益效果：
1、改进现有的语音评测模式，不仅从语音的流利度，语速等语音质量指标进行评测，同时提出对语音内容进行评测，本发明创新性提出语法评测的方法，实现对口语语音段进行更为全面、客观的评测。
2、本发明提出口语语序的评测方法，通过提取口语的语法词，利用句法分析算法生成句法树，再进行相似度计算，最后通过相似度进行语序评测。
3、本发明在口语翻译测评过程中引入时态评测，为谓语动词建立专门的谓语动词语料库，用于识别测试语音的谓语动词形式，以此来判定语音段的时态信息。
附图说明
图1是本发明提供的基于语法分析的口语评测方法的一个实施例的方法流程图；
图2是本发明提供的句法树的示意图；
图3是本发明提供的综合测评示意图；
图4是本发明提供的基于语法分析的口语评测系统的一个实施例的系统结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。实施例中各个步骤前的标号仅为了对各个步骤进行更清楚地标识，各个步骤之间没有必然的先后顺序的限定。本发明实施例中，虽仅以英语语音的评测为例，但本领域技术人员应当理解，本发明也可应用到其他语言的语音处理中。
参见图1，是本发明提供的基于语法分析的口语评测方法的一个实施例的方法流程图。
如图1所示，所述基于语法分析的口语评测方法包括以下步骤：
S101，获取口语测试语音，对所述口语测试语音进行预处理；
其中，所述预处理包括但不限于预加重、分帧、加窗和端点检测。
S102，对预处理后的口语测试语音进行单词切分，得到语音段；
S103、提取所述语音段的语音特征参数，根据所述语音特征参数对所述语音段进行语音识别；
在具体实施当中，优选采用双门限法对预处理后的所述口语测试语音进行单词切分，根据短时平均能量和短时平均过零率是否达到预设的阈值，将所述口语测试语音切分成为多个语音段。所述语音特征参数包括但不限于MFCC(Mel-Frequency CepstralCoefficients，Mel倒谱系数)特征参数。
根据所述语音段的语音特征参数，利用预先建立的隐马尔可夫(HMM)模型对所述语音段进行关键词语音识别，提取出所述口语测试语音中使用的关键词，获得口语关键词。可根据标准语音语句的答题关键词和所述答题关键词的同义词预先建立隐马尔可夫模型，并存储于标准模型库中，以在需要进行关键词语音识别时进行调用。在关键词语音识别中，可根据口语测试语音的Mel倒谱系数，预先建立的隐马尔可夫模型进行模型匹配，以识别出所述获得口语测试语音中所使用的关键词。
S104，提取所述语音段的句法内容，根据所述句法内容建立句法树，计算所述句法树与预设句法树的节点相似度，得到所述语音段的语序测评结果；
句法是指英语语音段中的各个成分的顺序，而句法分析是指依据句法分析理论提供的规则分析语音段，确定构成语音段的各个词、短语等之间的相互关系以及各自在语音段中的作用，并将这些关系用层次结构表达出来。如果层次结构以树来表示的话，那么分析语音段结构的过程就是根据规则自顶向下或自底向上生成句法树的过程。
本实施例中，所述根据句法内容建立句法树，包括：
建立字典集文件和规则集文件，所述字典集文件用于识别出词语在语音段中表示的词性，根据输入的语音段，分析出每个词语的词性，并将相应的语音段转化为对应词性的词性语音段，所述规则集文件用于表示语音段中单词之间如何组合成语音段成分的规则；
设置一个用于表示句法树一条边的数据结构，根据输入的语音段，分析出每个词语的词性，将所述语音段转化为对应词性的词性语音段。
下面以The man buy a car.这个简单的语音段为例说明本步骤的具体过程。如图2所示，本步骤中，建立的字典集文件如表1-1，规则集文件如表1-2所示：
字典集文件和规则集文件建立完成后，就可以进行生成句法树了。首先设置一个数据结构，arc(head，done，rest，start，end)，用来表示句法树的一条边，以S->NP VP为例解释，head即为S，是规则左部的字符串，done即为NP，是规则右部已经规约的字符串，rest是指还没有规约的规则右部的字符串VP，start表示边开始的位置，end表示边结束的位置。根据输入的语音段，分析出每个词的词性，并将相应的语音段转化为对应词性的词性语音段。本例中将The man buy a car.转化为ART N V ART N.，之后对词性语音段进行处理，处理掉标点符号，把单词设置为边存储的模式，规则集文件中的规则全部load进内存。
句法分析的算法中采用chart表示活动边，activearcs表示非活动边，agenda表示待处理边，算法的过程如下：
1)若agenda为空，则把语音段中下一个词的词性加入进来，
2)若agenda不为空，从agenda中取一个元素(设为C，位置为：p1-p2)
3)执行如下操作：
3.1)X->C X1...Xn，在activearcs中增加一条活动边：X->℃X1...Xn，位置为：p1-p2；
3.2)X->C，把X加入agenda，位置为：p1-p2；
4)对各个边进行扩展
4.1)将C加入到chart的位置p1-p2；
4.2)对每个形式为：X->X1...℃...Xn的活动边，若它在p0-p1之间，则
在activearcs中增加一条活动边：X->X1...℃...Xn，位置:p0-p2；
对每个形式为：X->X1...Xn℃的活动边，若它在p0-p1之间，则在agenda中增加一个成分：X，位置为：p0-p2。
重复步骤1)～4)的操作直到agenda为空并且输入中没有下一个词，结束。
本步骤中，计算所述句法树与预设句法树的节点相似度，得到所述语音段的语序测评结果包括：
S1041、遍历找出所述句法树与预设句法树的不同节点，计算所述不同节点之间的距离值，累加所有不同节点之间的距离值，得到所述句法树与预设句法树之间的距离；
本实施例中拟采用距离计算思想来判断句法树与预设句法树的相似度，通过句法树与预设句法树的距离来度量两棵树的相似度。
所述句法树与预设句法树之间的距离大小与所述句法树与预设句法树之间的相似度成反比；该步骤具体包括：
S11、分别提取所述句法树的根节点和预设句法树的根节点；
S12、比较所述句法树的根节点和所述预设句法树的根节点，得到最优节点序列；执行子节点，如果一个节点无子节点，则结束；
S13、对于没有匹配的子节点，累加所述没有匹配的子节点的距离值；
S14、对所述最优子节点序列的每一对节点循环执行步骤S12～S13，直到遍历完所有的子节点。
S1042、根据所述句法树与预设句法树之间的距离和距离阈值对语音段进行语序测评。
本实施例在建立预设句法树时，会通过专家意见和测试语音段的难易程度设定句法树距离值的阀值。通过这个算法可以计算出两颗句法树的距离值，距离值的大小和句法树的相似度成反比。经过步骤S11～S14计算出来的距离值跟阀值进行比较就可以对语音进行语序的评测。例如，设测试语音的距离值为distance，阀值为threshold，题目分数为Score，语序占评分比重为t，
则题目的得分Sorder为：
distance＞threshold Sorder＝0
distance＜＝threshold S＝(1/distance)％(Score*t/0.5)*0.5
本步骤通过将待评测语音即为考生的考生录制语音进行语音识别切词后，提取出语音段中的句法内容，这些句法内容可以代替语音的句法，也就是语序，接着对句法内容进行句法分析，生成句法树，利用句法树相似度的计算方法进行比较，就可以根据评分规则实现对待评测语音的语序测评。
S105、提取所述语音段的谓语动词，在预设谓语动词语料库中识别所述谓语动词，得到所述语音段的时态测评结果；
本步骤具体包括：
根据口语测试文本选定语音段的谓语动词，根据所述谓语动词的语义建立语义树；
通过录制标准语音，建立谓语动词预设谓语动词语料库，所述谓语动词预设语料库包括用于测试语音时态的语句标准时态库，通过对比语音段中谓语动词与所述语句标准时态库的发音，得到所述语音段的时态测评结果。
以汉译英口语测试为例，可以根据汉语文本选定语音段的主要谓语动词，然后根据谓语动词的语义建立语义树，再通过录制标准语音，建立谓语动词标准语音库，用于测试语音的时态评测。建立考卷的语句标准时态库，通过查找口语中_ing及_ed等形式发音来识别答卷的中时态的情况。本项目的单词形态识别是在特定的语料库中实现的，因此识别率较高，识别效果好，也可以保证评测结果的准确性。
S106、根据所述语音段的语序测评结果和所述语音段的时态测评结果得到所述语音段的语法测评结果。
语法测评结果包括语序测评结果和时态测评结果，语序测评结果测试句法树与预设句法树的距离值为distance，距离阀值为threshold，语序测评分数为Score，语序测评结果占评分比重为t，
则语序测评得分Sorder为：
distance＞threshold Sorder＝0
distance＜＝threshold S＝(1/distance)％(Score*t/0.5)*0.5
语法测评结果将包括语序测评得分Sorder和时态测评得分Stence两部分的总和。
S107、计算所述语音段包含的单词个数和每个单词发音的时长，根据所述单词个数和所述每个单词发音时长确定所述语音段的流利度；
口语流利度主要体现为说话人语速的快慢，本发明通过对语速的评测进而做出对口语流利度的评分。本发明采用每个单词的平均发音时长作为语速特征，对测试口语进行单词切分后，计算出口语语音中的单词个数n以及每i单词的时长Pronounce_Timei，则口语的平均语速为:
S108、提取所述语音段的关键词，计算所述语音段中关键词发音正确次数和关键词总数，根据所述关键词发音正确次数和关键词总数确定所述语音段的准确度。
本发明中准确度评分主要体现为关键词识别的正确率，即正确识别的关键词数占关键词总数的百分比。对关键词识别时，统计出识别正确的关键词的数目Wordnum和关键词总数Total_Wordnum。
则关键词的正确识别率为：
S109、根据所述语音段的流利度、准确度和所述语音段的语法测评结果得到所述语音段的综合测评结果。
如图3所示，本步骤将结合测试语音段在步骤S104～S108得到的语序测评结果、时态测评结果、流利度和准确度对测试语音段做出综合测评结果。
其中，综合测评结果可以是给所述语序测评结果、时态测评结果、流利度和准确度添加预设权重之后的累加结果，也可以是所述语序测评结果、时态测评结果、流利度和准确度的独立结果。
本发明提供的一种基于语法分析的口语测评方法，相较于现有技术，具有如下有益效果：
1、改进现有的语音评测模式，不仅从语音的流利度，语速等语音质量指标进行评测，同时提出对语音内容进行评测，本发明创新性提出语法评测的方法，实现对口语语音段进行更为全面、客观的评测。
2、本发明提出口语语序的评测方法，通过提取口语的语法词，利用句法分析算法生成句法树，再进行相似度计算，最后通过相似度进行语序评测。
3、本发明在口语翻译测评过程中引入时态评测，为谓语动词建立专门的谓语动词语料库，用于识别测试语音的谓语动词形式，以此来判定语音段的时态信息。
参见图4，是本发明提供的基于语法分析的口语评测系统的一个实施例的系统结构图。所述基于语法分析的口语评测系统的实质内容与图1所示实施例的基于语法分析的口语评测方法对应，本实施例中未详述之处可参见图1所示实施例中的相关描述。
如图4所示，所述基于语法分析的口语评测系统包括语音采集单元210、语音预处理单元220、语音识别单元230、语序测评单元240、时态测评单元250、语法评价单元260、流利度测试单元270、准确度测试单元280、综合评价单元290和标准模型库200。
所述语音采集单元210，用于获取口语测试语音；
所述语音预处理单元220，用于对所述口语测试语音进行预处理；
所述语音识别单元230，对预处理后的口语测试语音进行单词切分，得到语音段，提取所述语音段的语音特征参数，根据所述语音段的语音特征参数对所述语音段进行语音识别；
所述语序测评单元240，用于提取所述语音段的句法内容，根据所述句法内容建立句法树，计算所述句法树与预设句法树的节点相似度，得到所述语音段的语序测评结果；
所述时态测评单元250，用于提取所述语音段的谓语动词，在预设谓语动词语料库中识别所述谓语动词，得到所述语音段的时态测评结果；
所述语法评价单元260，用于根据所述语音段的语序测评结果和所述语音段的时态测评结果得到所述语音段的语法测评结果；
所述流利度测试单元270，用于计算所述语音段包含的单词个数和每个单词发音的时长，根据所述单词个数和所述每个单词发音时长确定所述语音段的流利度；
所述准确度测试单元280，用于提取所述语音段的关键词，计算所述语音段中关键词发音正确次数和关键词总数，根据所述关键词发音正确次数和关键词总数确定所述语音段的准确度；
所述综合评价单元290，用于根据所述语音段的流利度、准确度和所述语音段的语法测评结果得到所述语音段的综合测评结果。
所述标准模型库200，用于存储预设句法树和所述预设语音标准发音。
综上所述，本发明实施例提供的基于语法分析的口语评测方法和系统，通过对口语测试中有限句子的词语进行划分和提取，对语义词进行语义分析，对语法词、进行句法分析，从而实现对口语的语法测评。本发明从流利度，准确度和语法测评三方面对测试口语进行测评，结合口语语音质量评测指标和口语内容评测指标，这样的评测模型更加客观、全面和准确。
通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在可读取的存储介质中，如计算机的软盘，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种基于语法分析的口语评测方法，其特征在于，包括：
获取口语测试语音，对所述口语测试语音进行预处理；
对预处理后的口语测试语音进行单词切分，得到语音段；
提取所述语音段的语音特征参数，根据所述语音特征参数对所述语音段进行语音识别；
提取所述语音段的句法内容，根据所述句法内容建立句法树，计算所述句法树与预设句法树的节点相似度，得到所述语音段的语序测评结果；其中，计算所述句法树与预设句法树的节点相似度包括：遍历找出所述句法树与预设句法树的不同节点，计算所述不同节点之间的距离值，累加所有不同节点之间的距离值，得到所述句法树与预设句法树之间的距离；所述句法树与预设句法树之间的距离大小与所述句法树与预设句法树之间的相似度成反比；
提取所述语音段的谓语动词，在预设谓语动词语料库中识别所述谓语动词，得到所述语音段的时态测评结果；
根据所述语音段的语序测评结果和所述语音段的时态测评结果得到所述语音段的语法测评结果。
2.如权利要求1所述的基于语法分析的口语评测方法，其特征在于，所述根据句法内容建立句法树，包括：
建立字典集文件和规则集文件，所述字典集文件用于识别出词语在语音段中表示的词性，根据输入的语音段，分析出每个词语的词性，并将相应的语音段转化为对应词性的词性语音段，所述规则集文件用于表示语音段中单词之间如何组合成语音段成分的规则；
设置一个用于表示句法树一条边的数据结构，根据输入的语音段，分析出每个词语的词性，将所述语音段转化为对应词性的词性语音段。
3.如权利要求1所述的基于语法分析的口语评测方法，其特征在于，得到所述语音段的语序测评结果包括：
根据所述句法树与预设句法树之间的距离和距离阈值对语音段进行语序测评。
4.如权利要求3所述的基于语法分析的口语评测方法，其特征在于，所述遍历找出所述句法树与预设句法树的不同节点，计算所述不同节点之间的距离值，累加所有不同节点之间的距离值，得到所述句法树与预设句法树之间的距离，具体为：
S11、分别提取所述句法树的根节点和预设句法树的根节点；
S12、比较所述句法树的根节点和所述预设句法树的根节点，得到最优节点序列；执行子节点，如果一个节点无子节点，则结束；
S13、对于没有匹配的子节点，累加所述没有匹配的子节点的距离值；
S14、对所述最优子节点序列的每一对节点循环执行步骤S12～S13，直到遍历完所有的子节点。
5.如权利要求1所述的基于语法分析的口语评测方法，其特征在于，所述提取所述语音段的谓语动词，在预设谓语动词语料库中识别所述谓语动词，得到所述语音段的时态测评结果，具体为：
根据口语测试文本选定语音段的谓语动词，根据所述谓语动词的语义建立语义树；
通过录制标准语音，建立谓语动词预设谓语动词语料库，所述谓语动词预设语料库包括用于测试语音时态的语句标准时态库，通过对比语音段中谓语动词与所述语句标准时态库的发音，得到所述语音段的时态测评结果。
6.如权利要求1～5任一项的所述的基于语法分析的口语评测方法，其特征在于，所述对预处理后的口语测试语音进行单词切分，将所述口语测试语音切分为语音段，具体为：
采用双门限法对预处理后的所述口语测试语音进行单词切分，根据所述口语测试语音的短时平均能量和短时平均过零率是否达到预设的阈值，将所述口语测试语音切分成为多个语音段。
7.一种基于语法分析的口语评测系统，其特征在于，包括语音采集单元、语音预处理单元、语音识别单元、语序测评单元、时态测评单元、语法评价单元和标准模型库；
所述语音采集单元，用于获取口语测试语音；
所述语音预处理单元，用于对所述口语测试语音进行预处理；
所述语音识别单元，对预处理后的口语测试语音进行单词切分，将所述口语测试语音切分为语音段，提取所述语音段的语音特征参数，根据所述语音段的语音特征参数对所述语音段进行语音识别；
所述语序测评单元，用于提取所述语音段的句法内容，根据所述句法内容建立句法树，计算所述句法树与预设句法树的节点相似度，得到所述语音段的语序测评结果；其中，计算所述句法树与预设句法树的节点相似度包括：遍历找出所述句法树与预设句法树的不同节点，计算所述不同节点之间的距离值，累加所有不同节点之间的距离值，得到所述句法树与预设句法树之间的距离；所述句法树与预设句法树之间的距离大小与所述句法树与预设句法树之间的相似度成反比；
所述时态测评单元，用于提取所述语音段的谓语动词，在预设谓语动词语料库中识别所述谓语动词，得到所述语音段的时态测评结果；
所述语法评价单元，用于根据所述语音段的语序测评结果和所述语音段的时态测评结果得到所述语音段的语法测评结果；
所述标准模型库，用于存储预设句法树和所述预设语音标准发音。
CN201610057264.XA 2016-01-27 2016-01-27 一种基于语法分析的口语评测方法和系统 Active CN105741831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610057264.XA CN105741831B (zh) 2016-01-27 2016-01-27 一种基于语法分析的口语评测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610057264.XA CN105741831B (zh) 2016-01-27 2016-01-27 一种基于语法分析的口语评测方法和系统

Publications (2)

Publication Number Publication Date
CN105741831A CN105741831A (zh) 2016-07-06
CN105741831B true CN105741831B (zh) 2019-07-16

Family

ID=56246743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610057264.XA Active CN105741831B (zh) 2016-01-27 2016-01-27 一种基于语法分析的口语评测方法和系统

Country Status (1)

Country Link
CN (1) CN105741831B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106205634A (zh) * 2016-07-14 2016-12-07 东北电力大学 一种大学英语口语学习与测试系统及其方法
CN108154735A (zh) * 2016-12-06 2018-06-12 爱天教育科技（北京）有限公司 英语口语测评方法及装置
CN106847260B (zh) * 2016-12-20 2020-02-21 山东山大鸥玛软件股份有限公司 一种基于特征融合的英语口语自动评分方法
CN106991181B (zh) * 2017-04-07 2020-04-21 广州视源电子科技股份有限公司 口语化语句提取的方法及装置
CN107274738A (zh) * 2017-06-23 2017-10-20 广东外语外贸大学 基于移动互联网的汉英翻译教学评分系统
CN107818797B (zh) * 2017-12-07 2021-07-06 苏州科达科技股份有限公司 语音质量评价方法、装置及其系统
CN107886968B (zh) * 2017-12-28 2021-08-24 广州讯飞易听说网络科技有限公司 语音评测方法及系统
CN109192224B (zh) * 2018-09-14 2021-08-17 科大讯飞股份有限公司 一种语音评测方法、装置、设备及可读存储介质
CN109448458A (zh) * 2018-11-29 2019-03-08 郑昕匀 一种英语口语训练装置、数据处理方法及存储介质
CN110164422A (zh) * 2019-04-03 2019-08-23 苏州驰声信息科技有限公司 一种口语考试的多维度评估方法及装置
CN110136721A (zh) * 2019-04-09 2019-08-16 北京大米科技有限公司 一种评分生成方法、装置、存储介质及电子设备
CN110362656A (zh) * 2019-06-03 2019-10-22 广东幽澜机器人科技有限公司 一种语义要素提取方法及装置
CN110489756B (zh) * 2019-08-23 2020-10-27 上海松鼠课堂人工智能科技有限公司 会话式人机交互口语测评系统
CN111128181B (zh) * 2019-12-09 2023-05-30 科大讯飞股份有限公司 背诵题评测方法、装置以及设备
CN112307162A (zh) 2020-02-26 2021-02-02 北京字节跳动网络技术有限公司 用于信息交互的方法和装置
CN113470651A (zh) * 2021-06-04 2021-10-01 广东外语外贸大学 基于摘要提取的语音评分方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6016467A (en) * 1997-05-27 2000-01-18 Digital Equipment Corporation Method and apparatus for program development using a grammar-sensitive editor
WO2004003887A2 (en) * 2002-06-28 2004-01-08 Conceptual Speech, Llc Multi-phoneme streamer and knowledge representation speech recognition system and method
CN103761975A (zh) * 2014-01-07 2014-04-30 苏州思必驰信息科技有限公司 一种口语评测方法及装置
CN104810017A (zh) * 2015-04-08 2015-07-29 广东外语外贸大学 基于语义分析的口语评测方法和系统
CN104978971A (zh) * 2014-04-08 2015-10-14 安徽科大讯飞信息科技股份有限公司 一种口语评测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI224771B (en) * 2003-04-10 2004-12-01 Delta Electronics Inc Speech recognition device and method using di-phone model to realize the mixed-multi-lingual global phoneme

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6016467A (en) * 1997-05-27 2000-01-18 Digital Equipment Corporation Method and apparatus for program development using a grammar-sensitive editor
WO2004003887A2 (en) * 2002-06-28 2004-01-08 Conceptual Speech, Llc Multi-phoneme streamer and knowledge representation speech recognition system and method
CN103761975A (zh) * 2014-01-07 2014-04-30 苏州思必驰信息科技有限公司 一种口语评测方法及装置
CN104978971A (zh) * 2014-04-08 2015-10-14 安徽科大讯飞信息科技股份有限公司 一种口语评测方法及系统
CN104810017A (zh) * 2015-04-08 2015-07-29 广东外语外贸大学 基于语义分析的口语评测方法和系统

Also Published As

Publication number Publication date
CN105741831A (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
CN105741831B (zh) 一种基于语法分析的口语评测方法和系统
US9947322B2 (en) Systems and methods for automated evaluation of human speech
CN104810017B (zh) 基于语义分析的口语评测方法和系统
CN103151042B (zh) 全自动口语评测管理与评分系统及其评分方法
CN101740024B (zh) 基于广义流利的口语流利度自动评估方法
Hua et al. Using system and user performance features to improve emotion detection in spoken tutoring dialogs
CN101751919B (zh) 一种汉语口语重音自动检测方法
CN109256152A (zh) 语音评分方法及装置、电子设备、存储介质
CN100514446C (zh) 一种基于语音识别及语音分析的发音评估方法
CN102034475B (zh) 一种运用计算机对开放式短对话进行交互式评分的方法
CN103594087B (zh) 提高口语评测性能的方法及系统
Schlippe et al. Grapheme-to-phoneme model generation for Indo-European languages
CN101650886A (zh) 一种自动检测语言学习者朗读错误的方法
WO2020134647A1 (zh) 一种针对汉语普通话的早期ad言语辅助筛查系统
Walker 20 Variation analysis
Lovenia et al. Ascend: A spontaneous chinese-english dataset for code-switching in multi-turn conversation
Yoon et al. Features measuring vocabulary and grammar
Shashidhar et al. Automatic spontaneous speech grading: A novel feature derivation technique using the crowd
CN113205729A (zh) 一种面向外国留学生的演讲评测方法、装置及系统
WO2019075827A1 (zh) 一种语音评价方法及装置
Pasha et al. Epenthesis: The Movement of the Urdu Alveolar-Fricative Sound into the Punjabi Palatal-Affricate Sound
Li et al. English sentence pronunciation evaluation using rhythm and intonation
Luo et al. Analysis and comparison of automatic language proficiency assessment between shadowed sentences and read sentences.
Gelas et al. Evaluation of crowdsourcing transcriptions for African languages
Morley et al. Challenges in automating maze detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant