CN102663928A - 一种聋人学习说话的电子教学方法 - Google Patents

Abstract

本发明属于学习用具技术领域，涉及一种聋人学习说话的电子教学方法，包括：通过麦克风和摄像头获取学习者在练习发音时的音频和视频数据以及音频、视频内容的时间同步信息；提取音频特征参数；提取嘴的有关口型的视觉特征；将提取出的音频特征参数与预存在标准发音的特征参数模板库里对应的特征参数进行比较分类，判断学习者的发音是否正确；如果差异较大，则通过将其音频特征及有关口型的视觉特征与常见错误发音的特征参数模板库对比，判断属于哪一类常见错误，用图像、动画、视频内容给出学习者的错误发音方式与标准发音方式的对比。本发明能够自动分析学习者发音是否规范，纠正错误，学习过程基本无需教学人员的干预。

Description

一种聋人学习说话的电子教学方法

技术领域

本发明属于学习用具技术领域，具体涉及一种聋人学习说话的电子教学方法。

背景技术

专利CN2057550“频率可变式聋人语音训练助听器”，提出一种适用于聋人进行语音听觉训练的助听器，该助听器的特点是利用聋人对于语音的不同频率分量的不同反应，采用语音带通滤波器、放大器来构成助听器，从而使聋人在不感觉痛苦的情况下听清楚语音，从而达到对聋人进行语音听觉训练的目的。

专利CN2279662“一种适合于室外活动用的聋人语言训练机”提出了一种多功能的适合于室外活动用的聋人语言训练机，其特征在于由话筒和无线发射机组成无线话筒，供老师携带，由无线接收机、后置放大器、七段均衡器、功率放大器和双声道耳机依次连接组成信号接收放大装置，供同学使用。

专利CN1183945“使聋人感知声音的装置”，提出一种利用电子装置以声音的振动形式，以能够使人体皮肤产生感觉的方式作用于人体皮肤，使人通过对皮肤的感觉感知声音的信息。由拾音器、放大器和对人体皮肤的振动传感器所组成，其特征在于：对人体皮肤的振动传感器贴于人体皮肤，并以声音的振动形式，以能够使人体皮肤产生感觉的机械振动方式作用于人体皮肤。

以上技术的原理均是采用模拟电路使聋人感知声音产生的振动，其共同缺点有以下几点：1、教学装置本身没有采用图片、视频显示这些可视化的教学方式，而是需要教学人员的现场示范，可重复性差，也不容易引起学习者的兴趣；2、学习者无法通过“示范说明-学话者发音-纠正发音”这样的互动方式进行自主学习；3、学习过程离不开教学人员的大量干预，例如需要由教学人员反复进行示范和评价发音是否规范并进行纠正；4、在一对多的教学环境下，教学人员不能同时辅导多名学习者。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提出一种能够以可视化的方式进行教学，能够自动分析学习者发音是否规范，并显示纠正错误的对应示范教学内容，学习过程基本无需教学人员的干预的聋人学习说话电子教学装置。本发明通过以下技术方案实现：

一种聋人学习说话的电子教学方法，在进行电子教学之前，已经在教学装置里预存有教学内容，与教学内容相关的标准发音的特征参数模板库和常见错误发音的特征参数模板库，在进行电子教学的时候，采用如下的步骤：

(1)播放教学内容

(2)通过麦克风和摄像头获取学习者在练习发音时的音频和视频数据以及音频、视频内容的时间同步信息；

(3)对获得的音频数据进行预处理，做离散傅里叶变换，根据频域能量标记出静音帧与非静音帧，对非静音帧提取音频特征参数；

(4)对获得的视频数据采用基于哈尔特征推进级联分类器的快速人脸嘴部检测方法，检测、跟踪视频流中说话人的嘴部运动，提取嘴的有关口型的视觉特征，包括高度、宽度、形状、圆度、下颌的位置、面部肌肉运动；

(5)采用隐马尔可夫模型作为训练识别算法，将提取出的音频特征参数与预存在标准发音的特征参数模板库里对应的特征参数进行比较分类，通过分析声音的频率、音调、音高、音长等语音特征，判断学习者的发音是否正确；

(6)如果判断学习者的发音与标准发音差异较大，则通过将其音频特征及有关口型的视觉特征与常见错误发音的特征参数模板库对比，判断属于哪一类常见错误，用图像、动画、视频内容给出学习者的错误发音方式与标准发音方式的对比。

其中，对非静音帧采用MFCC倒谱系数法进行音频特征提取。

与现有技术相比，本发明的有益效果是：

1.以图片、视频这些可视化的手段进行教学，使学习者在学习时更有兴趣，注意力更加集中；

2.自动对在学习者发音时采集到的声音和视频内容进行分析，找出发音不规范的原因，给出对应的范例视频来纠正发音；

3.学习过程基本为自学，教学人员只需要事后观看学习时的录像来掌握学习进度；

4.教学人员可同时对多名学习人员进行监督；

5.教学内容可通过网络更新。

具体实施方式

下面结合实施例对本发明进行说明。本发明采用的装置由显示屏、麦克风、摄像头、计算机或其它具备计算能力的设备和专门设计的教学软件组成，教学软件分为视频或图片播放、声音与图像采集、声音与图像的分析比较共3个模块。本装置的工作过程为：1、播放标准的发音教学内容，如展示音标与口型、声带运动的对应关系的图片或视频；2、通过麦克风和摄像头采集学习者发音时的声音与视频；3、通过对声音和视频的分析，将学习者的发音与口型同标准的发音与口型进行比较，分析两者的差异及其原因，例如口型、舌头位置、声带运动等；4、以图示的方式展示学习者的错误并有针对性地播放纠正这些错误的图片或视频；5、在学习者的发音比较接近标准发音时给予肯定提示并进入下一段内容的学习。

本装置的硬件部分可以是外接麦克风和摄像头的计算机，或者是平板电脑、智能手机，或者是带有显示屏、麦克风、摄像头的嵌入式计算机系统。最佳实施方式为硬件采用平板电脑，软件为按上一段所述技术方案设计的教学软件。该软件支持运行Linux、Mac OS、WindowsXP、Windows7操作系统的计算机，或者是运行Android、iOS、移动版Windows操作系统的平板电脑以及智能手机。

本装置的软件部分采用声音、视频双模式识别系统，此系统包含一个音频分析子系统、一个视频分析子系统、一个发音识别子系统，以及一个标准发音的特征参数模板库和一个常见错误发音的特征参数模板库。视频分析子系统对从摄像头获取的学习者发音时的视频内容进行分析，提取嘴的高度、宽度、形状、圆度、下颌的位置、面部肌肉运动等有关口型的视觉特征；同时，音频分析子系统对从麦克风获取的学习者发音时的音频内容进行频谱分析，提取频率、音调、音高、音长等语音特征。然后，发音识别子系统将视频分析和音频分析两个子系统获取的特征参数与两个模板库中对应内容的特征参数进行比较分类(即对学习者的发音与口型和标准库、常见错误库的发音与口型进行比较分类)，从而判断学习者的发音是否正确，或是属于哪一类常见错误，并用图像、动画、视频内容给出学习者的错误发音方式与标准发音方式的对比，帮助学习者纠正发音。

主要完成的工作如下：

一.视、音频特征检测与提取。

利用麦克风和摄像头采集学习者音、视频信息，对采集到的纯音频信息进行预处理，预处理过程包括预滤波、采样和量化、分帧、加窗、预加重、端点检测等。经过预处理的语音数据就可以进行特征参数提取；对采集到的纯视频信息引入旋转哈尔特征在积分图像中的应用，在基于Adaboost推进学习算法的基础上，通过使用单值分类作为基础特征分类器，并且以级联的方式合并强分类器，划分检测区域并用于嘴部定位，提取嘴的高度、宽度、形状、圆度、下颌的位置、面部肌肉运动等有关口型的视觉特征。

二.视、音频特征融和与识别。

在发音识别子系统中，采用隐马尔可夫模型(HMM)作为训练识别算法，将提取出的音频的特征参数与两个模板库中对应内容的特征参数进行比较分类，通过分析声音的频率、音调、音高、音长等语音特征判断学习者的发音是否正确，并结合分析学习者的嘴的高度、宽度、形状、圆度、下颌的位置、面部肌肉运动等口型特征，判断属于哪一类常见错误，用图像、动画、视频内容给出学习者的错误发音方式与标准发音方式的对比，帮助学习者纠正发音。

本发明进行教学的具体步骤如下：

(1)通过麦克风和摄像头获取学习者在练习发音时的音频和视频数据(即语音和图像信息)以及音、视频内容的时间同步信息。

(2)对获得的音频数据进行预处理，做离散傅里叶变换，根据频域能量标记出静音帧与非静音帧，对非静音帧采用MFCC倒谱系数(Mel Frequency Cepstmm Coefficient)进行音频特征提取。

(3)对获得的视频数据采用基于旋转哈尔特征推进级联分类器的快速人脸嘴部检测方法，检测、跟踪视频流中说话人的嘴部运动，提取嘴的高度、宽度、形状、圆度、下颌的位置、面部肌肉运动等有关口型的视觉特征。

(4)采用隐马尔可夫模型(HMM)作为训练识别算法，将提取出的音频的特征参数与标准模板库中对应内容的特征参数进行比较分类。通过分析声音的频率、音调、音高、音长等语音特征，判断学习者的发音是否正确。

(5)如果学习者的发音与标准发音差异较大，则通过将其音频特征及口型特征与标准库、常见错误库的对比，判断属于哪一类常见错误，用图像、动画、视频内容给出学习者的错误发音方式与标准发音方式的对比，帮助学习者纠正发音。

Claims (2)

1.一种聋人学习说话的电子教学方法，在进行教学之前，已经在教学装置里预存有教学内容，与教学内容相关的标准发音的特征参数模板库和常见错误发音的特征参数模板库，在进行电子教学的时候，采用如下的步骤：

(1)播放教学内容；

(2)通过麦克风和摄像头获取学习者在练习发音时的音频和视频数据以及音频、视频内容的时间同步信息；

(3)对获得的音频数据进行预处理，做离散傅里叶变换，根据频域能量标记出静音帧与非静音帧，对非静音帧提取音频特征参数；

(4)对获得的视频数据采用基于哈尔特征推进级联分类器的快速人脸嘴部检测方法，检测、跟踪视频流中说话人的嘴部运动，提取嘴的有关口型的视觉特征，包括高度、宽度、形状、圆度、下颌的位置、面部肌肉运动；

(5)采用隐马尔可夫模型作为训练识别算法，将提取出的音频特征参数与预存在标准发音的特征参数模板库里对应的特征参数进行比较分类，通过分析声音的频率、音调、音高、音长等语音特征，判断学习者的发音是否正确；

(6)如果判断学习者的发音与标准发音差异较大，则通过将其音频特征及有关口型的视觉特征与常见错误发音的特征参数模板库对比，判断属于哪一类常见错误，用图像、动画、视频内容给出学习者的错误发音方式与标准发音方式的对比。

2.根据权利要求1所述的聋人学习说话的电子教学方法，其特征在于，对非静音帧采用MFCC倒谱系数法进行音频特征提取。