CN108428382A - 一种口语复述评分方法及系统 - Google Patents

一种口语复述评分方法及系统 Download PDF

Info

Publication number
CN108428382A
CN108428382A CN201810153303.5A CN201810153303A CN108428382A CN 108428382 A CN108428382 A CN 108428382A CN 201810153303 A CN201810153303 A CN 201810153303A CN 108428382 A CN108428382 A CN 108428382A
Authority
CN
China
Prior art keywords
word
keyword
voice
scoring
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810153303.5A
Other languages
English (en)
Inventor
李心广
李苏梅
尹伟杰
陈帅
林泽聪
廖燕敏
欧阳柏超
连梓炜
杨志和
刘婷
龙晓岚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Foreign Studies
Original Assignee
Guangdong University of Foreign Studies
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Foreign Studies filed Critical Guangdong University of Foreign Studies
Priority to CN201810153303.5A priority Critical patent/CN108428382A/zh
Publication of CN108428382A publication Critical patent/CN108428382A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种口语复述评分方法，包括：获取用户复述标准文本内容的待评分语音；基于BP神经网络的连续语音切词算法将所述待评分语音切分为词语语音；根据所述词语语音的平均时长，计算获得流利度评分；基于BP神经网络的语音识别算法将所述词语语音识别为相应的词语；将所有词语与标准文本中的关键词进行对比，获得关键词评分和文本相关度评分；根据所述流利度评分、所述关键词评分和所述文本相关度评分，计算获得待评分语音的综合评分。相应的，本发明还公开了一种口语复述评分系统。采用本发明实施例，能够对口语复述进行全面、客观、合理的评价。

Description

一种口语复述评分方法及系统
技术领域
本发明涉及语音信号处理领域，尤其涉及一种口语复述评分方法及系统。
背景技术
口语复述题是考察学生学习语言口语听说能力的一种常见题型，一般为英语口语复述题，指让考生听一整段英文段落后，考生能用英语复述出所听英文段落。
近年来出现了一些基于计算机和网络技术的英语口语机考系统，如上海外语教育出版社的口语机考系统、蓝鸽的系统等，实现了考官和考生在场所上的分离，支持了大规模的口语考试的组织。但在阅卷方面，仅支持客观题的阅卷，主观题的阅卷工作仍需要投入大量的人力物力，例如英语考试主观题当中的复述题。
现阶段的口语复述题改卷绝大多数仍是采用人工改卷，但由于人工改卷结果受改卷人的主观影响较大，评卷结果受评卷人的生理条件、情绪、时间等诸多因素的影响，且人工评卷工作效率低下。另外，还有一些口语复述题考试客观评价系统只是针对关键单词的评价，且大多只是根据关键词给出一个分数，并没有根据语义、语句相似度等方面给出相应的评分。因此，对于口语复述题这种开放性题目无法给出全面客观合理的评价。
发明内容
本发明实施例提出一种口语复述评分方法及系统，能够对口语复述进行全面、客观、合理的评价。
本发明实施例提供一种口语复述评分方法，包括：
获取用户复述标准文本内容的待评分语音；
基于BP神经网络的连续语音切词算法将所述待评分语音切分为词语语音；
根据所述词语语音的平均时长，计算获得流利度评分；
基于BP神经网络的语音识别算法将所述词语语音识别为相应的词语；
将所有词语与标准文本中的关键词进行对比，获得关键词评分和文本相关度评分；
根据所述流利度评分、所述关键词评分和所述文本相关度评分，计算获得待评分语音的综合评分。
进一步地，所述基于BP神经网络的连续语音切词算法将所述待评分语音切分为词语语音，具体包括：
对所述待评分语音进行分帧处理；
提取每帧语音的特征参数；所述特征参数包括梅尔频率倒谱系数和过零率；
基于BP神经网络的连续语音切词算法，根据每帧语音的特征参数将所述待评分语音切分为词语语音，并标识每个词语语音为有效语音或无效语音。
进一步地，所述根据所述词语语音的平均时长，计算获得流利度评分，具体包括：
计算所有有效语音的平均时长作为平均词语时长；
计算所有无效语音的平均时长作为平均停顿时长；
将所述平均词语时长和所述平均停顿时长分别与其对应的语速阈值进行比较，根据比较结果计算获得流利度评分。
进一步地，所述基于BP神经网络的语音识别算法将所述词语语音识别为相应的词语，具体包括：
提取每个词语语音的特征参数；所述特征参数包括梅尔频率倒谱系数和过零率；
基于BP神经网络的语音识别算法，根据每个词语语音的特征参数将所述词语语音识别为相应的词语。
进一步地，所述将所有词语与标准文本中的关键词进行对比，获得关键词评分和文本相关度评分，具体包括：
将所有词语与标准文本中的关键词逐一进行对比，获得关键词评分；所述关键词评分是对用户用词准确度的评分；
将所有词语与标准文本中的所有关键词进行整体对比，获得文本相关度评分；所述文本相关度评分是对用户复述完整性的评分。
进一步地，所述将所有词语与标准文本中的关键词逐一进行对比，获得关键词评分，具体包括：
检测所有词语中包含所述关键词的个数，计算包含的个数与关键词总个数的比例，获得关键词覆盖率；
从所有词语中查找出与未包含的关键词相匹配的词语；
计算所述未包含的关键词与其相匹配的词语之间的语义相似度；
根据所述关键词覆盖率和所述语义相似度，获得关键词评分。
进一步地，所述计算所述未包含的关键词与相匹配的词语之间的语义相似度，具体包括：
通过预设的同义词词典分别提取所述未包含的关键词的第一词汇语义特征和所述相匹配的词语的第二词汇语义特征；
根据所述第一词汇语义特征和所述第二词汇语义特征计算所述未包含的关键词与相匹配的词语之间的意义相似度；
根据所述意义相似度计算所述未包含的关键词与相匹配的词语之间的语义相似度。
进一步地，所述将所有词语与标准文本中的所有关键词进行整体对比，获得文本相关度评分，具体包括：
去掉所有词语中的停用词，并根据剩下词语的频度确定至少一个特征词；
根据每个特征词对文本特征的体现效果设置相应的权值，并根据所有特征词的权值构建第一权值向量；
按照所有特征词的权值的排列顺序，根据标准文本中所有关键词的权值构建第二权值向量；
计算所述第一权值向量和所述第二权值向量的余弦相似度，并根据所述余弦相似度计算获得文本相关度评分。
进一步地，所述根据所述流利度评分、所述关键词评分和所述文本相关度评分，计算获得待评分语音的综合评分，具体包括：
基于线性回归模型分配所述流利度评分、所述关键词评分和所述文本相关度评分的权重；
根据所述流利度评分、所述关键词评分和所述文本相关度评分及相应的权重，计算获得待评分语音的综合评分。
相应地，本发明实施例还提供一种口语复述评分系统，能够实现上述口语复述评分方法的所有流程，所述口语复述评分系统包括：
获取模块，用于获取用户复述标准文本内容的待评分语音；
切词模块，用于基于BP神经网络的连续语音切词算法将所述待评分语音切分为词语语音；
第一评分模块，用于根据所述词语语音的平均时长，计算获得流利度评分；
语音识别模块，用于基于BP神经网络的语音识别算法将所述词语语音识别为相应的词语；
第二评分模块，用于将所有词语与标准文本中的关键词进行对比，获得关键词评分和文本相关度评分；以及，
综合评分模块，用于根据所述流利度评分、所述关键词评分和所述文本相关度评分，计算获得待评分语音的综合评分。
实施本发明实施例，具有如下有益效果：
本发明实施例提供的口语复述评分方法及系统，能够基于BP神经网络的连续语音切词算法将待评分语音切分为词语语音，以根据词语语音计算流利度评分，基于BP神经网络的语音识别算法对词语语音进行识别，并根据识别出的词语进行关键词评分和文本相关度评分，最后根据流利度评分、关键词评分和文本相关度评分多个参量，计算出综合评分，实现对口语复述的全面、客观、合理的评价。
附图说明
图1是本发明提供的口语复述评分方法的一个实施例的流程示意图；
图2是本发明提供的口语复述评分方法中语音识别的一个实施例的原理图；
图3是本发明提供的口语复述评分方法的另一个实施例的流程示意图；
图4是本发明提供的口语复述评分系统的一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明提供的口语复述评分方法的一个实施例的流程示意图，包括：
S1、获取用户复述标准文本内容的待评分语音；
S2、基于BP神经网络的连续语音切词算法将所述待评分语音切分为词语语音；
S3、根据所述词语语音的平均时长，计算获得流利度评分；
S4、基于BP神经网络的语音识别算法将所述词语语音识别为相应的词语；
S5、将所有词语与标准文本中的关键词进行对比，获得关键词评分和文本相关度评分；
S6、根据所述流利度评分、所述关键词评分和所述文本相关度评分，计算获得待评分语音的综合评分。
需要说明的是，在评分之前，建立由发音标准的专业人士或者母语(一般为英语)人士在特定环境下进行录制的标准语料库以及自然人(包括《听说与口译》考试的考生和有意愿参加《听说与口译》考试的考生)录制的非标准语料库，以便进行模型的训练。
在步骤S1之后且S2之前，还需对待评分语音进行预处理，以方便简化后续的语音处理工作及提高语音的识别率。其中，预处理分为四个环节：预加重、分帧处理、加窗函数、端点检测。
预加重：许多实际的消息信号，例如语言、音乐等，它们的功率谱随频率的增加而减小，其大部分能量集中在低频范围内，这就造成消息信号高频端的信噪比可能降到不能容许的程度。预加重的目的是使语音信号的高频特性更加突现。预加重一般通过高通数字滤波器来实现。
分帧处理：语音信号常常可假定为短时平稳的，即在10-20ms这样的时间段内，其频谱特性和某些物理特征参量可近似地看作是不变的，这样就可以采用平稳过程的分析处理方法来处理。这种处理的基本方法是将语音信号分隔为一些短段即分帧再加以处理。分帧可以采用连续分段的方法，也可采用交叠分段的方法。一般采用交叠分段的方法，即帧与帧之间有交叠，交叠的目的是使帧与帧之间平滑过渡，保持其连续性。语音信号处理的帧长一般取20ms。
加窗函数：将具有不连续点的周期函数(如矩形脉冲)进行傅立叶级数展开后，选取有限项进行合成。当选取的项数越多，在所合成的波形中出现的峰起越靠近原信号的不连续点。当选取的项数很大时，该峰起值趋于一个常数，大约等于总跳变值的9％，这种现象称为吉布斯效应。帧在起始和结束肯定是会出现不连续情况的，那样这个信号在分帧之后，就会越来越背离原始信号，此时需要对信号进行加窗处理，来减少帧起始和结束的地方信号的不连续性问题。语音加窗的方式有：矩形窗、hanning窗、hamming窗等。
端点检测：用计算机数字处理技术从包含语音的一段信号中找出字、词的起始点及结束点，从而只存储和处理有效语音信号。
具体地，在步骤S2中，所述基于BP神经网络的连续语音切词算法将所述待评分语音切分为词语语音，具体包括：
对所述待评分语音进行分帧处理；
提取每帧语音的特征参数；所述特征参数包括梅尔频率倒谱系数和过零率；
基于BP神经网络的连续语音切词算法，根据每帧语音的特征参数将所述待评分语音切分为词语语音，并标识每个词语语音为有效语音或无效语音。
需要说明的是，先对BP神经网络模型进行训练，再采用训练好的模型对待评分语音进行切词处理。
先对样本语音进行分帧处理，将256个采样点(语音采集过程中收集到的连续数据点)分为一帧，对每帧通过快速傅里叶变换(FFT)、Mel滤波器组、输出每组对数能量、离散余弦变换DCT得到梅尔频率倒谱系数(MFCC参数)进行提取，进而对每帧的过零率进行提取。进而，人工对语音是否为有效帧(含有语音段)进行标注，将标注的语音特征参数作为输入对模型进行训练，输出采用两个神经元作为标注，当输出为10时代表该词语语音为语音帧，当输出为01时，该词语语音为非语音帧，其中可以有20％的误差。
在训练好模型后，对待评分语音进行分帧处理，并提取MFCC参数和过零率，然后将每帧的特征参数作为输入放到模型里进行识别，再对结果进行融合，最后得到切好词的语音，即词语语音，同时标注词语语音是否为有效帧。
具体地，在步骤S3中，所述根据所述词语语音的平均时长，计算获得流利度评分，具体包括：
计算所有有效语音的平均时长作为平均词语时长；
计算所有无效语音的平均时长作为平均停顿时长；
将所述平均词语时长和所述平均停顿时长分别与其对应的语速阈值进行比较，根据比较结果计算获得流利度评分。
需要说明的是，英语口语流利度主要体现于说话人说话的流利程度，可以通过语速的快慢反应出来，所以本实施例通过对语速的评测进而做出对语音流利度的评分。本实施例以平均词语时长和平均停顿时长作为语速特征，采用BP神经网络进行切词处理，切词处理将完整的待评分语音切分成一个个有声的单词频段(即有效语音)和穿插其中的无声段(即无效语音)。其中，平均词语时长为得到的单词频段的平均时长；平均停顿时长为单词频段中间的无声段平均时长。将这两个语速特征分别与所设置的语速阈值进行比较，即可得出一个比较客观的流利度评分。
具体地，在步骤S4中，所述基于BP神经网络的语音识别算法将所述词语语音识别为相应的词语，具体包括：
提取每个词语语音的特征参数；所述特征参数包括梅尔频率倒谱系数和过零率；
基于BP神经网络的语音识别算法，根据每个词语语音的特征参数将所述词语语音识别为相应的词语。
需要说明的是，BP神经网络模拟了人类神经元活动原理，具有自学习、联想、对比、推理和概括能力，并且具有能够逼近任意的非线性函数、并行话处理信息、容错能力强等诸多优点，其中基本的语音识别原理图如图2所示。
先对样本语音进行预加重、加窗分帧、端点检测和特征提取，获得样本语音的特征参数，根据该特征参数建立BP神经网络输入样本作为BP神经网络模型的输入，从而训练BP神经网络。
BP神经网络又称误差反向传递神经网络，它是一种依靠反馈值来不断调整节点之间的连接权值而构建的一种网络模型，其分为输入层、隐藏层和输出层，其中隐藏层根据具体情况的需要，可以是一层结构也可为多层结构。BP神经网络所采用的BP算法的基本思想是：学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输人层传入，经各隐藏层逐层处理后，传向输出层。若输出层的实际输出与期望的输出不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐藏层向输入层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始的进行的。权值不断调整的过程，也就是网络的学习训练过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或进行到预先设定的学习次数为止。
BP算法分为两个阶段：第一阶段(正向过程)输入信息，从输入层经隐层逐层计算各单元的输出值，根据下式计算每层的输出值。
Oj＝∫(netj)
其中，Wij为节点i和节点j之间的权值，每个节点的输出值为Oi。
第二阶段(反向传播过程)输出误差，逐层向前算出隐层各个单元的误差，并用此误差修正前层的值。在BP算法中常采用梯度法修正权值，为此要求输出函数可微，通常采用Sigmoid函数作为输出函数。
计算误差公式：
其中，yj表示网络输出，表示目标输出。
按照梯度方向计算各层权重的修正量：
其中，η为学习率，δj为j层输出的误差信号，Oi为i层输入信号。
δj的计算公式为：
其中，(1)为输出层的计算方法，(2)为非输出层的计算方法。
修正各层权重：
wij(t+1)＝wij(t)+Δwij(t)
重复上述过程直到算法收敛，即误差小于给定的阈值。
算法收敛后即完成BP神经网络模型的训练。对切分好的词语语音进行预处理后进行特征提取，将提取的特征参数输入至训练好的BP神经网络进行使用，BP神经网络输出识别结果，即可识别出词语语音对应的词语。
具体地，在步骤S5中，所述将所有词语与标准文本中的关键词进行对比，获得关键词评分和文本相关度评分，具体包括：
将所有词语与标准文本中的关键词逐一进行对比，获得关键词评分；所述关键词评分是对用户用词准确度的评分；
将所有词语与标准文本中的所有关键词进行整体对比，获得文本相关度评分；所述文本相关度评分是对用户复述完整性的评分。
需要说明的是，本实施例主要是对三方面进行评分，即流利度评分、关键词评分和文本相关度评分。其中，流利度评分从语音的角度对口语(一般为英语口语)进行口语流利度的计算。关键词评分主要是从语音的角度对口语进行关键词覆盖率计算和关键词语义相似度计算。文本相关度是基于词频的余弦相似度TF-IDF(Term Frequency-InverseDocument Frequency)，即词频逆文档频率，是信息检索领域中基于向量空间模型的一种权重计算方法进行计算。
具体地，所述将所有词语与标准文本中的关键词逐一进行对比，获得关键词评分，具体包括：
检测所有词语中包含所述关键词的个数，计算包含的个数与关键词总个数的比例，获得关键词覆盖率；
从所有词语中查找出与未包含的关键词相匹配的词语；
计算所述未包含的关键词与其相匹配的词语之间的语义相似度；
根据所述关键词覆盖率和所述语义相似度，获得关键词评分。
需要说明的是，关键词评分细分为两个评分指标，分别是语义相似度和关键词覆盖率。在语义相似度这个评分指标中，看重的是关键词运用准确度，本实施例将判断输入关键词是同义词还是近义词，根据实际情况对两者赋予相应的权重，进而对语句进行合理的评分。而关键词覆盖率考察用户语音内容是否覆盖标准文本的主要内容，根据用户回答的关键词覆盖度，考察用户翻译情况是否完整，进而给出关键词覆盖率评分。
其中，关键词覆盖率是用户复述的所有词语中包含的关键词个数占标准文本提供的关键词个数的比例，取值范围是[0,1]。即如果标准文本提供了n个关键词，而用户复述的所有词语中包含了m个关键词(m和n一定满足条件m≤n)，此时，关键词覆盖率是m/n。也就是说，每个关键词的权重是相等的，只要某个关键词出现，就给予权重1/n。
本实施例构建了同义词词典，和标准文本提供的关键词一起与用户的复述进行匹配。首先采用一般意义上的覆盖率只要考生答出关键词，就能获得分数。然后通过同义词词典与没有覆盖的关键词进行匹配，计算关键词与用户复述中的词语的语义相似度，并根据语义相似度为考生的回答赋予一定权重来记入该关键词得分。
具体地，所述计算所述未包含的关键词与相匹配的词语之间的语义相似度，具体包括：
通过预设的同义词词典分别提取所述未包含的关键词的第一词汇语义特征和所述相匹配的词语的第二词汇语义特征；
根据所述第一词汇语义特征和所述第二词汇语义特征计算所述未包含的关键词与相匹配的词语之间的意义相似度；
根据所述意义相似度计算所述未包含的关键词与相匹配的词语之间的语义相似度。
需要说明的是，本实施例采用WordNet同义词词典作为相似度判断的依据。先分别对词语进行特征提取，即从WordNet的同义词词集(Synset)、类属词(Class word)和意义解释(Sense explanation)这三个集合中抽取出候选同义词进行特征提取，计算出feature(SW)：
feature(SW)＝{Ws},{Wc},{We}}
其中，{Ws}:WordNet中Sense W所有的同义词，{Wc}:Sense W所有的相关的属类，{We}:Sense W的解释中所有的实词。
进而，根据词汇语义特征的描述，两个意义(Sense)之间的相似度通过计算其在三个不同的意义特征空间中的距离得到。距离越小，相似度越大。根据意义相似度计算出WordNet中两个词语之间的语义相似度。
意义相似度的计算公式如下：
其中，No(SW)：W意义的顺序；IDF(wi):从WordNet中训练得到的构建WordNet时出现某个wi的文档的倒数；Ks＝1.5：同义词特征的权重；Kc＝1：类属特征的权重；Ke＝0.5：意义解释的权重。
语义相似度的计算公式如下：
其中，|SW1|：W1的sense的个数，|SW2|：W2的sense的个数。
语义相似度一般被定义为一个0到1之间的实数。特别地，当两个词语完全一样时,它们的语义相似度为1；当两个词语是完全不同的概念时，它们的语义相似度接近于0。
具体地，所述将所有词语与标准文本中的所有关键词进行整体对比，获得文本相关度评分，具体包括：
去掉所有词语中的停用词，并根据剩下词语的频度确定至少一个特征词；
根据每个特征词对文本特征的体现效果设置相应的权值，并根据所有特征词的权值构建第一权值向量；
按照所有特征词的权值的排列顺序，根据标准文本中所有关键词的权值构建第二权值向量；
计算所述第一权值向量和所述第二权值向量的余弦相似度，并根据所述余弦相似度计算获得文本相关度评分。
需要说明的是，先对用户复述的所有词语进行预处理，按照停用词表中的词语将语料中对文本内容识别意义不大但出现频率很高的词、符号、标点及乱码等去掉。如“this，the，and，will，be”等词几乎出现在任何一篇中文文本中，但是它们对这个文本所表达的意思几乎没有任何贡献。而使用停用词列表来剔除停用词的过程很简单，就是一个查询过程：对每一个词条，看其是否位于停用词列表中，如果是则将其从词条串中删除。
在过滤掉停用词等频度高的词之后，根据剩下词的频度确定若干特征词，频度计算参照TF公式：
其中，ni,j表示词ti在文件dj中的出现次数，nknk,j表示在文件dj中所有字词的出现字数之和。
加权是针对每个特征词对文本特征的体现效果大小不同而设置的机制，权值W计算参照IDF公式：
其中，|D|表示语料库中的文件总数，|{j：ti∈dj}|表示包含词语ti的文件数目(即ni，j≠0的文件数目)，如果该词语不在语料库中，就会导致被除数为零，因此一般情况下使用1+({j：ti∈dj}|。
进而，采用向量空间模型(VSM)及余弦计算计算两个文本的相似度。向量空间模型的基本思想是把文本简化为以特征项(特征词或关键词)的权重为分量的N维向量表示。这个模型假设词与词间不相关(这个前提造成这个模型无法进行语义相关的判断，向量空间模型的缺点在于关键词之间的线性无关的假说前提)，用向量来表示文本，从而简化了文本中词语之间的复杂关系，文本用十分简单的向量表示，使得模型具备了可计算性。在向量空间模型中，文本泛指各种机器可读的记录。用D(Document)表示文本，特征项(Term，用t表示)指出现在文档D中且能够代表该文档内容的基本语言单位，主要是由词或者短语构成，文本可以用特征项集表示为D(T1，T2，…，Tn)，其中Tk是特征项，要求满足1<＝k<＝N。对于其它要与之比较的文本，也将遵从这个按关键词出现先后的特征项顺序进行表示。对含有n个特征项的文本而言，通常会给每个特征项赋予一定的权重表示其重要程度，即D＝D(T1，W1；T2，W2；…，Tn，Wn)简记为：D＝D(W1，W2，…，Wn)。其中，Wk是Tk的权重，1<＝k<＝N。假设特征项a、b、c、d的权重分别为30、20、20、10，那么该文本的权值向量表示为D(30，20，20，10)。
在向量空间模型中，两个文本D1和D2之间的文本相关度Sim(D1，D2)常用向量之间夹角的余弦值表示，公式为：
其中，W1k、W2k分别表示文本D1和D2第K个特征项的权值，1<＝k<＝N。
在本实施例中特征项的权值为：W＝tf*idf。
经分析发现，人工选出的关键词并不能表征复述的完整程度，由于许多用户会用自己的语言绕过关键词进行复述，特别对议论文而言。因此定义文本相似度作为表征用户复述完整与否的度量。本实施例使用向量空间模型计算两个句子的相似性。为了降低空间的维度，仅使用出现在两个句子中的单词作为词项，用词频作为各词项的权重，计算用户复述的文本与所给标准文本的余弦相似度，取所有结果中的大值作为用户样本的特征，从而客观算出文本相关度评分。
进一步地，所述根据所述流利度评分、所述关键词评分和所述文本相关度评分，计算获得待评分语音的综合评分，具体包括：
基于线性回归模型分配所述流利度评分、所述关键词评分和所述文本相关度评分的权重；
根据所述流利度评分、所述关键词评分和所述文本相关度评分及相应的权重，计算获得待评分语音的综合评分。
参见图3，是本发明提供的口语复述评分方法的另一个实施例的流程示意图，包括：
S301、输入语音。
S302、预处理。对输入的语音进行预处理。
S303、提取每帧语音的MFCC参数和过零率。
S304、切词。根据每帧语音的MFCC参数和过零率对输入的语音进行切词，获得词语语音。
S305、流利度评分。根据词语语音计算流利度评分。
S306、提取词语语音的MFCC参数和过零率。
S307、语音识别。根据词语语音的MFCC参数和过零率对词语语音进行识别。
S308、关键词覆盖率评分。对识别出的词语进行关键词覆盖率评分。
S309、语义相似度评分。对识别出的词语进行语义相似度评分。
S310、文本相似度评分。对识别出的词语进行文本相似度评分。
S311、综合评分。根据流利度评分、关键词覆盖率评分、语义相似度评分和文本相似度评分进行综合评分。
本发明实施例提供的口语复述评分方法及系统，能够基于BP神经网络的连续语音切词算法将待评分语音切分为词语语音，以根据词语语音计算流利度评分，基于BP神经网络的语音识别算法对词语语音进行识别，并根据识别出的词语进行关键词评分和文本相关度评分，最后根据流利度评分、关键词评分和文本相关度评分多个参量，计算出综合评分，实现对口语复述的全面、客观、合理的评价。
相应的，本发明还提供一种口语复述评分系统，能够实现上述实施例中的口语复述评分方法的所有流程。
参见图4，是本发明提供的口语复述评分系统的一个实施例的结构示意图，包括：
获取模块1，用于获取用户复述标准文本内容的待评分语音；
切词模块2，用于基于BP神经网络的连续语音切词算法将所述待评分语音切分为词语语音；
第一评分模块3，用于根据所述词语语音的平均时长，计算获得流利度评分；
语音识别模块4，用于基于BP神经网络的语音识别算法将所述词语语音识别为相应的词语；
第二评分模块5，用于将所有词语与标准文本中的关键词进行对比，获得关键词评分和文本相关度评分；以及，
综合评分模块6，用于根据所述流利度评分、所述关键词评分和所述文本相关度评分，计算获得待评分语音的综合评分。
本发明实施例提供的口语复述评分方法及系统，能够基于BP神经网络的连续语音切词算法将待评分语音切分为词语语音，以根据词语语音计算流利度评分，基于BP神经网络的语音识别算法对词语语音进行识别，并根据识别出的词语进行关键词评分和文本相关度评分，最后根据流利度评分、关键词评分和文本相关度评分多个参量，计算出综合评分，实现对口语复述的全面、客观、合理的评价。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种口语复述评分方法，其特征在于，包括：
获取用户复述标准文本内容的待评分语音；
基于BP神经网络的连续语音切词算法将所述待评分语音切分为词语语音；
根据所述词语语音的平均时长，计算获得流利度评分；
基于BP神经网络的语音识别算法将所述词语语音识别为相应的词语；
将所有词语与标准文本中的关键词进行对比，获得关键词评分和文本相关度评分；
根据所述流利度评分、所述关键词评分和所述文本相关度评分，计算获得待评分语音的综合评分。
2.如权利要求1所述的口语复述评分方法，其特征在于，所述基于BP神经网络的连续语音切词算法将所述待评分语音切分为词语语音，具体包括：
对所述待评分语音进行分帧处理；
提取每帧语音的特征参数；所述特征参数包括梅尔频率倒谱系数和过零率；
基于BP神经网络的连续语音切词算法，根据每帧语音的特征参数将所述待评分语音切分为词语语音，并标识每个词语语音为有效语音或无效语音。
3.如权利要求2所述的口语复述评分方法，其特征在于，所述根据所述词语语音的平均时长，计算获得流利度评分，具体包括：
计算所有有效语音的平均时长作为平均词语时长；
计算所有无效语音的平均时长作为平均停顿时长；
将所述平均词语时长和所述平均停顿时长分别与其对应的语速阈值进行比较，根据比较结果计算获得流利度评分。
4.如权利要求1所述的口语复述评分方法，其特征在于，所述基于BP神经网络的语音识别算法将所述词语语音识别为相应的词语，具体包括：
提取每个词语语音的特征参数；所述特征参数包括梅尔频率倒谱系数和过零率；
基于BP神经网络的语音识别算法，根据每个词语语音的特征参数将所述词语语音识别为相应的词语。
5.如权利要求1所述的口语复述评分方法，其特征在于，所述将所有词语与标准文本中的关键词进行对比，获得关键词评分和文本相关度评分，具体包括：
将所有词语与标准文本中的关键词逐一进行对比，获得关键词评分；所述关键词评分是对用户用词准确度的评分；
将所有词语与标准文本中的所有关键词进行整体对比，获得文本相关度评分；所述文本相关度评分是对用户复述完整性的评分。
6.如权利要求5所述的口语复述评分方法，其特征在于，所述将所有词语与标准文本中的关键词逐一进行对比，获得关键词评分，具体包括：
检测所有词语中包含所述关键词的个数，计算包含的个数与关键词总个数的比例，获得关键词覆盖率；
从所有词语中查找出与未包含的关键词相匹配的词语；
计算所述未包含的关键词与其相匹配的词语之间的语义相似度；
根据所述关键词覆盖率和所述语义相似度，获得关键词评分。
7.如权利要求5所述的口语复述评分方法，其特征在于，所述计算所述未包含的关键词与相匹配的词语之间的语义相似度，具体包括：
通过预设的同义词词典分别提取所述未包含的关键词的第一词汇语义特征和所述相匹配的词语的第二词汇语义特征；
根据所述第一词汇语义特征和所述第二词汇语义特征计算所述未包含的关键词与相匹配的词语之间的意义相似度；
根据所述意义相似度计算所述未包含的关键词与相匹配的词语之间的语义相似度。
8.如权利要求5所述的口语复述评分方法，其特征在于，所述将所有词语与标准文本中的所有关键词进行整体对比，获得文本相关度评分，具体包括：
去掉所有词语中的停用词，并根据剩下词语的频度确定至少一个特征词；
根据每个特征词对文本特征的体现效果设置相应的权值，并根据所有特征词的权值构建第一权值向量；
按照所有特征词的权值的排列顺序，根据标准文本中所有关键词的权值构建第二权值向量；
计算所述第一权值向量和所述第二权值向量的余弦相似度，并根据所述余弦相似度计算获得文本相关度评分。
9.如权利要求1所述的口语复述评分方法，其特征在于，所述根据所述流利度评分、所述关键词评分和所述文本相关度评分，计算获得待评分语音的综合评分，具体包括：
基于线性回归模型分配所述流利度评分、所述关键词评分和所述文本相关度评分的权重；
根据所述流利度评分、所述关键词评分和所述文本相关度评分及相应的权重，计算获得待评分语音的综合评分。
10.一种口语复述评分系统，能够实现如权利要求1至9任一项所述的口语复述评分方法，其特征在于，所述口语复述评分系统包括：
获取模块，用于获取用户复述标准文本内容的待评分语音；
切词模块，用于基于BP神经网络的连续语音切词算法将所述待评分语音切分为词语语音；
第一评分模块，用于根据所述词语语音的平均时长，计算获得流利度评分；
语音识别模块，用于基于BP神经网络的语音识别算法将所述词语语音识别为相应的词语；
第二评分模块，用于将所有词语与标准文本中的关键词进行对比，获得关键词评分和文本相关度评分；以及，
综合评分模块，用于根据所述流利度评分、所述关键词评分和所述文本相关度评分，计算获得待评分语音的综合评分。
CN201810153303.5A 2018-02-14 2018-02-14 一种口语复述评分方法及系统 Pending CN108428382A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810153303.5A CN108428382A (zh) 2018-02-14 2018-02-14 一种口语复述评分方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810153303.5A CN108428382A (zh) 2018-02-14 2018-02-14 一种口语复述评分方法及系统

Publications (1)

Publication Number Publication Date
CN108428382A true CN108428382A (zh) 2018-08-21

Family

ID=63157034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810153303.5A Pending CN108428382A (zh) 2018-02-14 2018-02-14 一种口语复述评分方法及系统

Country Status (1)

Country Link
CN (1) CN108428382A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109273000A (zh) * 2018-10-11 2019-01-25 河南工学院 一种语音识别方法
CN109410984A (zh) * 2018-12-20 2019-03-01 广东小天才科技有限公司 一种朗读评分的方法及电子设备
CN109584906A (zh) * 2019-01-31 2019-04-05 成都良师益友科技有限公司 口语发音评测方法、装置、设备及存储设备
CN109658918A (zh) * 2018-12-03 2019-04-19 广东外语外贸大学 一种智能英语口语复述题评分方法和系统
CN109767335A (zh) * 2018-12-15 2019-05-17 深圳壹账通智能科技有限公司 双录质检方法、装置、计算机设备及存储介质
CN109979257A (zh) * 2019-04-27 2019-07-05 深圳市数字星河科技有限公司 一种基于英语朗读自动打分进行分拆运算精准矫正的方法
CN109979482A (zh) * 2019-05-21 2019-07-05 科大讯飞股份有限公司 一种针对音频的评测方法及装置
CN110705318A (zh) * 2019-09-04 2020-01-17 南京题麦壳斯信息科技有限公司 一种机器翻译引擎测评优选方法及系统
CN111369980A (zh) * 2020-02-27 2020-07-03 网易有道信息技术(北京)有限公司江苏分公司 语音检测方法、装置、电子设备及存储介质
CN111370029A (zh) * 2020-02-28 2020-07-03 北京一起教育信息咨询有限责任公司 一种语音数据的处理方法、装置、存储介质及电子设备
CN111415101A (zh) * 2020-04-16 2020-07-14 成都爱维译科技有限公司 民航英汉双语无线电通信能力等级自动测评方法及系统
CN112435512A (zh) * 2020-11-12 2021-03-02 郑州大学 一种轨道交通运输仿真培训的语音行为考核评价方法
CN112951270A (zh) * 2019-11-26 2021-06-11 新东方教育科技集团有限公司 语音流利度检测的方法、装置和电子设备
CN116013286A (zh) * 2022-12-06 2023-04-25 广州市信息技术职业学校 一种英语阅读能力的智能评测方法、系统、设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079026A (zh) * 2007-07-02 2007-11-28 北京百问百答网络技术有限公司 文本相似度、词义相似度计算方法和系统及应用系统
CN102521402A (zh) * 2011-12-23 2012-06-27 上海电机学院 文本过滤系统及方法
CN102799647A (zh) * 2012-06-30 2012-11-28 华为技术有限公司 网页去重方法和设备
CN103034726A (zh) * 2012-12-18 2013-04-10 上海电机学院 文本过滤系统及方法
CN103151042A (zh) * 2013-01-23 2013-06-12 中国科学院深圳先进技术研究院 全自动口语评测管理与评分系统及其评分方法
CN103928023A (zh) * 2014-04-29 2014-07-16 广东外语外贸大学 一种语音评分方法及系统
CN104810017A (zh) * 2015-04-08 2015-07-29 广东外语外贸大学 基于语义分析的口语评测方法和系统
CN107274738A (zh) * 2017-06-23 2017-10-20 广东外语外贸大学 基于移动互联网的汉英翻译教学评分系统
CN107316654A (zh) * 2017-07-24 2017-11-03 湖南大学 基于dis‑nv特征的情感识别方法
CN107590218A (zh) * 2017-09-01 2018-01-16 南京理工大学 基于Spark的多特征结合中文文本高效聚类方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079026A (zh) * 2007-07-02 2007-11-28 北京百问百答网络技术有限公司 文本相似度、词义相似度计算方法和系统及应用系统
CN102521402A (zh) * 2011-12-23 2012-06-27 上海电机学院 文本过滤系统及方法
CN102799647A (zh) * 2012-06-30 2012-11-28 华为技术有限公司 网页去重方法和设备
CN103034726A (zh) * 2012-12-18 2013-04-10 上海电机学院 文本过滤系统及方法
CN103151042A (zh) * 2013-01-23 2013-06-12 中国科学院深圳先进技术研究院 全自动口语评测管理与评分系统及其评分方法
CN103928023A (zh) * 2014-04-29 2014-07-16 广东外语外贸大学 一种语音评分方法及系统
CN104810017A (zh) * 2015-04-08 2015-07-29 广东外语外贸大学 基于语义分析的口语评测方法和系统
CN107274738A (zh) * 2017-06-23 2017-10-20 广东外语外贸大学 基于移动互联网的汉英翻译教学评分系统
CN107316654A (zh) * 2017-07-24 2017-11-03 湖南大学 基于dis‑nv特征的情感识别方法
CN107590218A (zh) * 2017-09-01 2018-01-16 南京理工大学 基于Spark的多特征结合中文文本高效聚类方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109273000A (zh) * 2018-10-11 2019-01-25 河南工学院 一种语音识别方法
CN109658918A (zh) * 2018-12-03 2019-04-19 广东外语外贸大学 一种智能英语口语复述题评分方法和系统
CN109767335A (zh) * 2018-12-15 2019-05-17 深圳壹账通智能科技有限公司 双录质检方法、装置、计算机设备及存储介质
CN109410984A (zh) * 2018-12-20 2019-03-01 广东小天才科技有限公司 一种朗读评分的方法及电子设备
CN109410984B (zh) * 2018-12-20 2022-12-27 广东小天才科技有限公司 一种朗读评分的方法及电子设备
CN109584906A (zh) * 2019-01-31 2019-04-05 成都良师益友科技有限公司 口语发音评测方法、装置、设备及存储设备
CN109584906B (zh) * 2019-01-31 2021-06-08 成都良师益友科技有限公司 口语发音评测方法、装置、设备及存储设备
CN109979257B (zh) * 2019-04-27 2021-01-08 深圳市数字星河科技有限公司 一种基于英语朗读自动打分进行分拆运算精准矫正的方法
CN109979257A (zh) * 2019-04-27 2019-07-05 深圳市数字星河科技有限公司 一种基于英语朗读自动打分进行分拆运算精准矫正的方法
CN109979482B (zh) * 2019-05-21 2021-12-07 科大讯飞股份有限公司 一种针对音频的评测方法及装置
CN109979482A (zh) * 2019-05-21 2019-07-05 科大讯飞股份有限公司 一种针对音频的评测方法及装置
CN110705318A (zh) * 2019-09-04 2020-01-17 南京题麦壳斯信息科技有限公司 一种机器翻译引擎测评优选方法及系统
CN110705318B (zh) * 2019-09-04 2023-06-30 南京题麦壳斯信息科技有限公司 一种机器翻译引擎测评优选方法及系统
CN112951270A (zh) * 2019-11-26 2021-06-11 新东方教育科技集团有限公司 语音流利度检测的方法、装置和电子设备
CN112951270B (zh) * 2019-11-26 2024-04-19 新东方教育科技集团有限公司 语音流利度检测的方法、装置和电子设备
CN111369980A (zh) * 2020-02-27 2020-07-03 网易有道信息技术(北京)有限公司江苏分公司 语音检测方法、装置、电子设备及存储介质
CN111369980B (zh) * 2020-02-27 2023-06-02 网易有道信息技术(江苏)有限公司 语音检测方法、装置、电子设备及存储介质
CN111370029A (zh) * 2020-02-28 2020-07-03 北京一起教育信息咨询有限责任公司 一种语音数据的处理方法、装置、存储介质及电子设备
CN111415101A (zh) * 2020-04-16 2020-07-14 成都爱维译科技有限公司 民航英汉双语无线电通信能力等级自动测评方法及系统
CN112435512A (zh) * 2020-11-12 2021-03-02 郑州大学 一种轨道交通运输仿真培训的语音行为考核评价方法
CN116013286A (zh) * 2022-12-06 2023-04-25 广州市信息技术职业学校 一种英语阅读能力的智能评测方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN108428382A (zh) 一种口语复述评分方法及系统
Shah et al. What all do audio transformer models hear? probing acoustic representations for language delivery and its structure
CN103617799B (zh) 一种适应于移动设备的英语语句发音质量检测方法
CN104732977B (zh) 一种在线口语发音质量评价方法和系统
CN107221318B (zh) 英语口语发音评分方法和系统
CN101751919B (zh) 一种汉语口语重音自动检测方法
CN109192224B (zh) 一种语音评测方法、装置、设备及可读存储介质
CN105551485B (zh) 语音文件检索方法及系统
Levitan et al. Combining Acoustic-Prosodic, Lexical, and Phonotactic Features for Automatic Deception Detection.
CN109727608A (zh) 一种基于中文语音的病态嗓音评估方法
Kourkounakis et al. FluentNet: end-to-end detection of speech disfluency with deep learning
CN109658918A (zh) 一种智能英语口语复述题评分方法和系统
CN108597542A (zh) 一种基于深度音频特征的构音障碍严重程度估计方法
Lopez-Otero et al. Depression Detection Using Automatic Transcriptions of De-Identified Speech.
Campbell et al. Alzheimer's Dementia Detection from Audio and Text Modalities
Maqsood et al. An efficientmis pronunciation detection system using discriminative acoustic phonetic features for arabic consonants.
Rabiee et al. Persian accents identification using an adaptive neural network
Yousfi et al. Holy Qur'an speech recognition system Imaalah checking rule for warsh recitation
Tashakori et al. Designing the Intelligent System Detecting a Sense of Wonder in English Speech Signal Using Fuzzy-Nervous Inference-Adaptive system (ANFIS)
Wang et al. Application of an automatic plagiarism detection system in a large-scale assessment of English speaking proficiency
Li et al. English sentence pronunciation evaluation using rhythm and intonation
Ramteke et al. Classification of aspirated and unaspirated sounds in speech using excitation and signal level information
Garg et al. Transfer learning based disfluency detection using stuttered speech
Nwe et al. On the use of bhattacharyya based GMM distance and neural net features for identification of cognitive load levels
CN113470651A (zh) 基于摘要提取的语音评分方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180821

RJ01 Rejection of invention patent application after publication