CN110047474A - 一种英语音标发音智能训练系统及训练方法 - Google Patents

Abstract

本发明涉及一种英语音标发音智能训练系统及训练方法，包括语音输入模块、发音语音波形播放模块、发音语音信号处理模块和发音结果评判模块，语音输入模块包括麦克风、信号模拟调理电路和AD模数转换芯片，将语音信号转换成发音语音波形播放模块需要的数字信号，并存储于系统中，发音语音波形播放模块在系统中播放数字信号形成语音波形；发音语音信号处理模块分为语音信号处理单元和语音信号匹配处理单元，对语音波形预处理并提取特征值参数，并与标准音标模板对比；并将对比结果映射到发音结果评判模块，发音结果评判模块对音标发音评分；本发明对音标发音学习进行有效的分析反馈，指导学习者提高音标的发音准确度，提高英语口语水平。

Description

一种英语音标发音智能训练系统及训练方法

技术领域

本发明涉及英语发音技术领域，具体涉及一种英语音标发音智能训练系统及训练方法。

背景技术

英语学习中，标准正确的发音，是学好英语的基础，然而，对于非英语母语的学习者来说，有效的纠正英语口语发音中的错误，特别是纠正英语音标发音的错误，是英语学习中的一个难点，也是英语口语教学中的一个重点。

随着计算机技术的快速发展，在计算机辅助教学中，计算机技术在英语教学中的作用也愈来愈来重要；利用计算机技术和语音识别技术，来进行英语发音辅助学习，也就具有很强的现实意义和社会意义；随着移动互联网的发展，语音识别技术的应用也越来越普及；在Google的引领下，互联网、通信公司纷纷把语音识别作为重要的研究方向；Google设有语音翻译的功能，Iphone自带有Siri语音识别软件，百度、腾讯、华为等都加入语音识别领域，我国的语音识别技术领军企业科大讯飞的语音识别技术也已经位于世界先进水平；而且随着智能手机的普及率越来越高，Android系统作为一款优秀的智能手机操作系统近些年来发展迅速，基于Android系统的语音识别系统将会有很大的发展空间；但是国内研究机构对英语音标发音的识别并没有。

因此，基于英语音标发音的识别训练系统的出现势在必行，语音识别的方法一般来说可以分为3种，第一种是基于声道模型的方法，这种方法的特点是起步较早，但由于声学模型和语音知识过于复杂，没有达到实用阶段；第二种是模式匹配的方法，这种方法比较成熟，已经达到实用阶段，常用技术有动态时间规整DTW、隐马尔可夫HMM和矢量量化VQ等；第三种方法是人工神经网络的方法，这种方法实现起来较复杂，目前仍处在实验研究阶段。

本发明采用较为成熟的模式匹配方法进行语音识别检测；即将已知语音信号的特征矢量参数存入模板库，然后经过语音参数特征提取，将输入待测语音的特征矢量参数与模板库中的参考模板中的参数进行相似度的比较，从而得出识别结果。

发明内容

针对现有技术中存在的问题，本发明的目的在于提供一种英语音标发音智能训练系统及训练方法。

本发明解决其技术问题所采用的技术方案是：一种英语音标发音智能训练系统，包括语音输入模块、发音语音波形播放模块、发音语音信号处理模块和发音结果评判模块，所述语音输入模块采用单片机嵌入式系统采集语音信号，单片机嵌入式系统包括麦克风、信号模拟调理电路和AD模数转换芯片，将语音信号转换成发音语音波形播放模块需要的数字信号，并存储于音标发音智能训练系统中，发音语音波形播放模块在系统中播放数字信号形成语音波形；发音语音信号处理模块分为语音信号处理单元和语音信号匹配处理单元，语音信号处理单元对语音波形预处理并提取特征值参数，语音信号匹配处理单元设有标准音标模板库，语音信号匹配处理单元将语音信号提取的不等的特征值参数与标准音标模板对比；并将对比结果映射到发音结果评判模块，发音结果评判模块对音标发音评分，用于衡量英语音标发音水平。

具体的是，所述英语音标发音智能训练系统采用VC++语言编程的上位机软件，用于对英语音标的发音波形显示、发音跟读、实时发音评价和发音纠正。

具体的是，所述信号模拟调理电路将语音信号转换成模拟信号，AD模数转换芯片将模拟信号转换成数字信号，AD模数转换芯片为采样频率192kHz的24位AD转换器CS5361。

具体的是，所述语音信号处理单元对语音波形预处理为加重、分帧和加窗处理，并采用线性预测系数LPCC算法分析语音波形，在时间域内提取特征值参数。

具体的是，所述语音信号匹配处理单元采用动态时间规整法DTW，计算在时间域内提取的特征值参数与标准音标模板间的匹配距离，用于度量语音信号与标准音标模板的发音差异性。

具体的是，所述发音结果评判模块设有评分单元，评分单元为匹配距离和音标发音评分之间的映射关系。

一种英语音标发音智能训练系统的训练方法，包括以下步骤：

1)训练者通过麦克风将英语音标发音的语音信号输入计算机上的英语音标发音智能训练系统，系统对语音信号存储并进行预处理；

2)语音标发音智能训练系统对语音信号特征值参数提取，把提取的特征值参数与标准音标模板库进行模式匹配；

3)计算机上的英语音标发音智能训练系统对模式匹配结果进行评估判定，同时显示界面输出显示匹配的评分结果；

4)训练者根据提示的结果进行英语音标发音训练，指导训练者英语音标的发音准确度。

本发明具有以下有益效果：

1、本发明基于计算机技术和智能语音识别技术，以先进的数学算法为基础，实现了在计算机平台上的英语音标，发音智能识别纠正系统，使英语音标教学有了一个有力的工具，大大减轻了英语口语老师对学生音标发音的纠正的工作量，有效的提高了教学效率和教学质量。

2、本发明主要功能以动画、图片、声音、文字等多媒体形式实现英语音标发音训练，能够对音标发音学习进行有效的分析反馈，指导学习者提高音标的发音准确度，从而提高英语口语水平。

附图说明

图1是英语音标发音智能训练方法流程图。

图2是英语音标发音智能训练系统结构图。

图3是英语音标发音智能训练系统采集原始语音信号波形图。

具体实施方式

以下将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1-2所示，一种英语音标发音智能训练系统，包括语音输入模块、发音语音波形播放模块、发音语音信号处理模块和发音结果评判模块，语音输入模块采用单片机嵌入式系统采集语音信号，单片机嵌入式系统包括麦克风、信号模拟调理电路和AD模数转换芯片，将语音信号转换成发音语音波形播放模块需要的数字信号，并存储于音标发音智能训练系统中，发音语音波形播放模块在系统中播放数字信号形成语音波形；发音语音信号处理模块分为语音信号处理单元和语音信号匹配处理单元，语音信号处理单元对语音波形预处理并提取特征值参数，语音信号匹配处理单元设有标准音标模板库，语音信号匹配处理单元将语音信号提取的不等的特征值参数与标准音标模板对比；并将对比结果映射到发音结果评判模块，发音结果评判模块对音标发音评分，用于衡量英语音标发音水平。

英语音标发音智能训练系统采用VC++语言编程的上位机软件，用于对英语音标的发音波形显示、发音跟读、实时发音评价和发音纠正；信号模拟调理电路将语音信号转换成模拟信号，AD模数转换芯片将模拟信号转换成数字信号，AD模数转换芯片为采样频率192kHz的24位AD转换器CS5361；语音信号处理单元对语音波形预处理为加重、分帧和加窗处理，并采用线性预测系数LPCC算法分析语音波形，在时间域内提取特征值参数；语音信号匹配处理单元采用动态时间规整法DTW，计算在时间域内提取的特征值参数与标准音标模板间的匹配距离，用于度量语音信号与标准音标模板的发音差异性发音结果评判模块设有评分单元，评分单元为匹配距离和音标发音评分之间的映射关系。

如图1所示，一种英语音标发音智能训练系统的训练方法，包括以下步骤：

1)训练者通过麦克风将英语音标发音的语音信号输入计算机上的英语音标发音智能训练系统，系统对语音信号存储并进行预处理；

2)语音标发音智能训练系统对语音信号特征值参数提取，把提取的特征值参数与标准音标模板库进行模式匹配；

3)计算机上的英语音标发音智能训练系统对模式匹配结果进行评估判定，同时显示界面输出显示匹配的评分结果；

4)训练者根据提示的结果进行英语音标发音训练，指导训练者英语音标的发音准确度。

如图1-3所示，语音输入及波形播放

英语音标发音语音信号的输入是实现系统的基础，人耳能听到的声音是一种频率范围为20Hz～20000Hz,而一般语音频率最高为3400Hz，语音信号的采集是指语音声波信号经麦克风和信号模拟调理电路，生成适配AD模数转换芯片需要的的模拟量电信号，由AD模数转换芯片转换成计算机能够接受的数字量。

在数字信号原理中，“奈奎斯特采样定理”中要求采样频率必须大于模拟信号最高频率的两倍，而语音信号频率为大致为300～3400Hz之间，因此把语音采集的采样频率定为10kHz，这个频率使得大部分的AD模数转换芯片能够满足；本系统选择的AD模数转换芯片为采样率192kHz的24位AD转换器CS5361。

CS5361的主要特性：

CS5361是CRYSTAL公司推出的114dB、192kHz数据输出率的24位Δ－Σ结构音频AD转换器，其主要特性如下：

·采用多位Δ－Σ结构；

·具有24位转换精度；

·114dB动态范围；

·总谐波失真+噪声优于－105dB；

·系统采样率高达192kHz；

·功耗小于150mW；

·内部带有高通滤波电路或直流失调电压标定电路；

·内带线性相移数字抗混滤波器；

·支持5V到2.5V逻辑电平；

·采用差动输入结构；

·具有溢出检测功能；

CS5361是供数字音频系统使用的完整的模数转换器，可完成采样、模数转换、抗混滤波等功能，并最终产生以串行模式输出的、对应于左右两个输入通道信号的24位采样数据，而且其最高数据输出率可高达192kHz。

CS5361芯片采用具有优良噪声抑制能力的差动输入结构，并采用5阶多位Δ－Σ调制器，同时带有数字滤波器和抽样器，从而避免了需要外部抗混滤波器的麻烦。

从上述技术参数来看，CS5361芯片能够完全满足语音信号的采集，而选择一款有效适合的AD转换芯片，是实现一个实用的语音识别系统的基础和关键。

音标发音语音信号输入计算机系统后，以数组形式存储在系统内存中，方便语音波形的播放以及进行后续的信号处理，语音波形在系统中播放。

语音信号处理

对于采集并转化成数字量的语音信号，需要提取特征值参数，目的是对采集的原始语音信号，进行数据压缩，以便剔去与语音识别不相关的信息，从而保留利于识别语音特征的关键信息。

由于语音信号具有频率越高幅值越小的特性，因此在提取特征值参数之前，需要进行高频预加重处理、分帧、加窗处理，经过处理后的语音信号，波形平滑，有利于特征值的提取；目前，语音信号中较常用的特征参数有线性预测系数LPCC、美尔倒谱系数MFCC和口音敏感参数ASCC等算法，这三种方法各有利弊，其中线性预测系数LPCC由于具有计算量小,易于实现的优点，而在本系统中采用。

在语音帧的分析算法中，本系统采用线性预测倒谱系数LPCC对语音帧进行分析，从而得到预测系数在倒谱域中的映射，由于线性预测倒谱参数的提取算法完全是在时域中进行，因此其算法计算强度较低，并且LPCC算法对于语音中的元音发音的频谱具有较好的提取能力，可以保证语音的主要特征的完整性，确保系统具有较高的特征识别率。

语音信号的匹配处理

语音信号不同于其他规律信号，它的随机性比较大，即使是相同一个人发的同一个音，他每次的发音长度也不可能完全相等，因此在匹配时如果只对特征参数进行线性的时间匹配，其中的音素就可能对不准，语音信号的识别匹配是音标语音识别算法的关键核心之一，算法的优劣直接关系到识别效果的好坏；目前较为常用的算法是动态时间规整法DTW，矢量量化法vQ等。本系统采用的匹配算法是动态时间规整法DTW。

动态时间规整法DTW是在20世纪60年代时候，日本的Itakura提出的方法；DTW算法的根本思想是把未知量不均匀的扭曲或弯折，使其特征与参考模式的特征对正，动态时间规整使得语音信号特征参量不等的问题得到突破，在孤立词识别系统中的应用取得了很大成功，而语音音标的发音也较为适用于DTW算法。

DTW算法是一个最优化问题，它用满足一定条件时的时间规整函数w(n)来描述测试模板和参考模板的时间对应关系，从而求解在此种情况下两个模板匹配距离，即就是要寻找出时间规整函数m＝w(n)，将测试模板的时间轴n非线性地映射到参考模板的时间轴m上，从而使得测试模板和参考模板总匹配距离D最小。

动态时间规整(DTW)技术本质上是一种动态优化的算法，这一算法将待识别的语音信号在时域上进行不规则的扭曲，使模板库中的模板和它的特征参数对齐，而且在对齐的过程中对两者特征矢量之间的距离进行不间断的计算，以求获得一条最佳匹配路径使得最终的累计特征矢量距离的值达到最小，从中我们能够看出，这一方式可以确保待识别语音信号和模板之间最小的时差失真和最大的声学相似特性，因此成为语音识别阶段最常用的一种算法。

在模式匹配处理过程中，系统对DTW算法中的端点的敏感性和运算量较大的两个问题，采用了宽松式的端点对准，使得其对端点的敏感性大为改善，同时有效降低运算量，从而在音标语音识别中获得了良好的性能。

系统对语音信号的评估判定

语音信号评估判定是英语音标语音智能识别系统的基本功能和核心部分，负责对学习者的音标发音进行发音评分，使学习者的发音结果有一个定量的评价，准确可靠的发音评分能够使得学习者对自己的发音成绩有准确的认识，进而不断改进发音，提高自己的发音水平。

本系统依据标准音标语音参考模板来衡量发音水平高低；系统对于发音评分算法的要求是要有较高的可靠性和准确性，能够比较准确的评价学习者的发音成绩，而且需要满足系统功能及运算实时性的要求，标准语音参考模板的方法运算量小，不需要额外的训练，在单音节和小词汇等语音上的可靠性较高，因此该方法较为适用于英语音标发音的评价。

在系统中经过对测试语音模板和标准参考模板进行信号的预处理、特征提取处理，将测试模板与参考模板进行匹配，可得到匹配距离Dmin(N,M)，此匹配距离作为参考模板与测试模板发音差异性的度量，能够比较可靠和全面的反应语言特征的相似度。

在发音质量评价系统中，评分机制主要研究匹配距离和发音评分之间的映射关系，给出一个由匹配距离到发音评分间的计算方法，定义测试模板与参考模板各帧特征矢量距离的和为总匹配距离，由于不同的发音对应的语音的帧长是不一样的，帧长越长，总匹配距离也会越大，因此可以用总匹配距离除以帧长来得到每帧的平均匹配距离，即帧平均匹配距离；采用帧平均匹配距离来评价发音效果，消除了语音时长的影响，其数值能大小够比较可靠的反映发音水平的高低。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种英语音标发音智能训练系统，其特征在于：包括语音输入模块、发音语音波形播放模块、发音语音信号处理模块和发音结果评判模块，所述语音输入模块采用单片机嵌入式系统采集语音信号，单片机嵌入式系统包括麦克风、信号模拟调理电路和AD模数转换芯片，将语音信号转换成发音语音波形播放模块需要的数字信号，并存储于音标发音智能训练系统中，发音语音波形播放模块在系统中播放数字信号形成语音波形；

发音语音信号处理模块分为语音信号处理单元和语音信号匹配处理单元，语音信号处理单元对语音波形预处理并提取特征值参数，语音信号匹配处理单元设有标准音标模板库，语音信号匹配处理单元将语音信号提取的不等的特征值参数与标准音标模板对比；并将对比结果映射到发音结果评判模块，发音结果评判模块对音标发音评分，用于衡量英语音标发音水平。

2.根据权利要求1所述的英语音标发音智能训练系统，其特征在于：所述英语音标发音智能训练系统采用VC++语言编程的上位机软件，用于对英语音标的发音波形显示、发音跟读、实时发音评价和发音纠正。

3.根据权利要求1所述的英语音标发音智能训练系统，其特征在于：所述信号模拟调理电路将语音信号转换成模拟信号，AD模数转换芯片将模拟信号转换成数字信号，AD模数转换芯片为采样频率192kHz的24位AD转换器CS5361。

4.根据权利要求1所述的英语音标发音智能训练系统，其特征在于：所述语音信号处理单元对语音波形预处理为加重、分帧和加窗处理，并采用线性预测系数LPCC算法分析语音波形，在时间域内提取特征值参数。

5.根据权利要求4所述的英语音标发音智能训练系统，其特征在于：所述语音信号匹配处理单元采用时间规整法DTW，计算在时间域内提取的特征值参数与标准音标模板间的匹配距离，用于度量语音信号与标准音标模板的发音差异性。

6.根据权利要求5所述的英语音标发音智能训练系统，其特征在于：所述发音结果评判模块设有评分单元，评分单元为匹配距离和音标发音评分之间的映射关系。

7.根据权利要求1-6所述的英语音标发音智能训练系统的训练方法，其特征在于：包括以下步骤：

1)训练者通过麦克风将英语音标发音的语音信号输入计算机上的英语音标发音智能训练系统，系统对语音信号存储并进行预处理；

2)语音标发音智能训练系统对语音信号特征值参数提取，把提取的特征值参数与标准音标模板库进行模式匹配；

3)计算机上的英语音标发音智能训练系统对模式匹配结果进行评估判定，同时显示界面输出显示匹配的评分结果；

4)训练者根据提示的结果进行英语音标发音训练，指导训练者英语音标的发音准确度。