CN100397438C - 聋哑人汉语发音计算机辅助学习方法 - Google Patents

Abstract

本发明公开了一种聋哑人汉语发音计算机辅助学习方法，要解决的技术问题是方便聋哑人学习汉语发音，减轻家长和老师的劳动强度，本发明的方法包括以下步骤：确定所需学习的语音内容，显示器显示需要学习的语音和注意环节，启动计算机的语音接收装置，语音接收装置接收用户发出的语音信号，计算机的中央处理器从模拟数字转换装置提取所需的语音特征，中央处理器对准确性判别处理，在显示器上显示用户发音的准确度，本发明与现有技术相比，利用计算机将图形图像技术及多媒体计算机语音技术，建立一套简单可行的聋哑人汉语发音学习平台，帮助聋哑人学习汉语发音，减轻家长和老师的劳动强度，改善聋哑人的生活质量，提高他们的社会生存能力。

Description

聋哑人汉语发音计算机辅助学习方法

技术领域

本发明涉及一种利用计算机进行学习的方法，特别是一种适用于聋哑人汉语发音的计算机辅助学习方法。

背景技术

人类中有数量众多的聋哑人。作为社会弱势群体的他们普遍生活在社会的底层，这种现状的产生主要归因于绝大部分的聋哑人没有与人进行语言交流的能力，而这种能力是最基本的社会生存手段之一。在这些聋哑人群中有相当大的一部分，他们的发声器官是健全的，和正常人没有任何不同，从生理学的角度讲，这些人完全具备发声的基本条件。但他们天生丧失听力，无法利用听觉系统去感知发声器官发出的声音，因此也无从知晓自己发音的对错，发声器官逐渐退化，最终失去说话的能力。有经验表明，对于这一部分聋哑人，如果能够通过某种手段指导其发音，并能随时反馈其发音的正确与否，通过持之以恒的训练，是完全有可能帮助他们恢复说话的能力。通常情况下，这种对发音正确与否的反馈是由家长或教师来完成，这就需要家长或教师随时陪伴在那些学习发音的聋哑人的身边进行一对一的练习，而且必须坚持几年甚至几十年才能获得一些初步的成果。至今没有一种能够帮助这些家长和老师从繁重而重复的语言教学活动中解放出来的有效方法。

发明内容

本发明的目的是提供一种聋哑人汉语发音计算机辅助学习方法，要解决的技术问题是为了方便聋哑人学习汉语发音，减轻家长和老师的劳动强度。

本发明采用以下技术方案：一种聋哑人汉语发音计算机辅助学习方法，包括以下步骤：一、用户选择并确定所需学习的语音内容；二、计算机的显示器向用户显示需要学习的语音和所需注意的环节；三、启动计算机的语音接收装置，等待用户语音信号的输入，所述语音接收装置启动时，同时启动视频采集装置，捕捉用户发音时的口型的细部特征；四、语音接收装置接收用户发出的语音信号，进行模拟/数字转换；五、计算机的中央处理器从模拟数字转换装置提取所需的语音特征；六、中央处理器采用包含一阶和二阶统计信息的隐含马尔可夫模型和卡亨楠-洛维变换方法对语音单元的原始数据进行分段对准和准确性判别处理；七、在显示器上显示用户发音的准确度。

本发明的显示器向用户显示需要学习的语音和所需注意的环节时，使用动画向用户提示正确发音所需注意的环节。

本发明的显示器使用动画向用户提示正确发音所需注意的环节时，演示发声器官配合运动的解剖结构动画，教师利用手语进行指导教学的视频教学录象。

本发明计算机的中央处理器提取所需的语音单元时采用端点检测的方法，通过计算信号能量和过零率实现对输入话音信号起始和终止位置的初步判决。

本发明的中央处理器对语音单元的原始数据进行处理后，对用户的发音进行评估打分。

本发明在显示器上显示用户发音的准确度时，使用百分数表示、用户发音波形与标准发音波形的比较图和用户发音口型与标准发音口型的视频动画比较。

本发明的用户选择并确定学习的语音内容为声韵母、单字、词组或句子。

本发明的用户选择并确定所需学习的语音内容、启动计算机的语音接收装置时，使用键盘、鼠标或遥控器。

本发明选择学习的语音内容结束后，选择重复上次练习、开始新的练习或退出。

本发明与现有技术相比，利用计算机将图形图像技术，包括静态图像技术和动画技术以及多媒体计算机语音技术，包括语音识别和语音评测有效的结合起来，建立一套简单可行的聋哑人汉语发音学习平台，帮助聋哑人学习汉语发音，减轻家长和老师的劳动强度，改善聋哑人的生活质量，提高他们的社会生存能力。

附图说明

图1是本发明实施例的流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明。作为智能计算机研究的主导方向和人机交互的关键技术，图形图像技术和语音技术是本世纪计算机多媒体技术中的一个重要研究领域，随着其使用范围的扩展，越来越多的科研工作者投身到图形图像处理技术和语音技术的研究之中。现在的计算机图形图像技术已经比较成熟，利用这种技术可以制作辅导发音学习的静态和动画图形；语音技术的发展主要集中在语音识别和语音合成上，语音识别技术中的“说话人识别”、“关键词检出”、“语言辨识”和“连续语音识别”等方法，可以用于对聋哑人的发音进行判断，告知使用者发音的正确与否，从而达到辅助其学习发音的目的。

如图1所示，本发明的聋哑人汉语发音计算机辅助学习方法，采用以下步骤：一、开启计算机，启动辅助学习系统；二、用户使用键盘、鼠标或遥控器选择并确定所需学习的语音内容；三、计算机的显示器向用户显示所要练习发音的内容，并播放标准发音的口型动画和视频教学录象；四、用键盘、鼠标或遥控器启动计算机的语音接收装置，等待用户语音信号的输入，同时启动视频采集装置，捕捉用户发音时的口型的细部特征；五、语音接收装置接收用户发出的语音信号，进行模拟/数字转换，用反混叠滤波方法消除信号中的噪声；六、计算机的中央处理器从模拟数字转换装置提取所需的语音单元，采用端点检测的方法，通过计算信号能量和过零率实现对输入话音信号起始和终止位置的初步判决；七、中央处理器采用包含一阶和二阶统计信息的隐含马尔可夫模型和卡亨楠-洛维变换方法对语音单元的原始数据进行分段对准和准确性判别处理，并对用户的发音进行评估打分；八、使用百分数表示、用户发音波形与标准发音波形的比较图或用户发音口型与标准发音口型的视频动画比较，在显示器上显示用户发音的准确度；九、选择学习的语音内容结束后，使用键盘、鼠标或遥控器选择重复上次练习、开始新的练习或退出。

在学习的过程中，若使用键盘、鼠标或遥控器选择中断，系统则退出。

实施例1，以学习汉语拼音声母“sh”发音的计算机辅助学习过程为例。所使用计算机型号为Dell Dimension 5150-n，CPU为IntelPentium 43.00GHz，内存为512MB，80GB硬盘，17英寸液晶显示器，声卡为Creative Ectiva Audio 5.1、语音接收装置采用新贵ME-818、视频采集装置采用多彩DLV-B16，操作系统使用Microsoft Window XPProfessional，版本2002，Service Pack 2，聋哑人汉语发音计算机辅助学习系统使用深圳大学开发的Acoustic-Visual Bimodal LearningSystem for Mandarin Pronunciation，Version 1.0。首先将语音接收装置和视频采集装置安装好，开启计算机，启动聋哑人汉语发音计算机辅助学习系统，在启动过程中，系统首先运行程序读取所在计算机的硬件信息，查询是否存在可用的语音采集装置和视频采集装置。如果正确安装了语音采集装置和视频采集装置，则学习系统读取相应系统的硬件驱动程序，启动语音采集装置和视频采集装置，并显示“系统硬件安装正确”。否则计算机将会提示“语音和视频装置安装不正确”。系统检测成功后进入辅助学习系统主界面。在主界面上，用户可以看到“声韵母”、“单字”、“词组”、“句子”共四个选项，在本实施例中，用户学习的是单个声母“sh”，因此在主界面上用鼠标左键单击“声韵母”选项。进入“声韵母”子选项后，用户可以看到显示器屏幕分为上下两部分，上半部分显示23个声母，下半部分显示24个韵母。用户使用鼠标左键首先单击声母“sh”并单击“确认”后，屏幕显示出拼音“sh”。同时计算机屏幕分割成多个小屏幕，分别播放标准发音示范人发“sh”音时口型变化的动画，发“sh”音时声带、上颚、下颚、舌头、牙齿等各发声器官配合运动的解剖结构动画，以及教师利用手语进行指导教学的视频教学录象。用户可以反复观看，从多个不同的角度学习并揣摩发“sh”音的具体要领。

如果用户决定开始对自己的发音进行评测，则点击“准备开始测试”按钮。此时计算机屏幕显示出视频采集装置实时捕捉到的视频图象，根据该视频图象，用户调整自己头部的位置和角度，使视频采集装置能够稳定清晰的捕捉到用户的口型。调整结束后，用户使用鼠标左键单击“开始测试”。此时屏幕上半部显示“sh”，下半部显示“十秒倒计时”，提示用户必须在十秒钟之内完成本次发音，此时，语音采集装置和视频采集装置开始工作，分别记录下此后十秒钟的音频和视频信号。

本系统中语音评估模块负责对系统所记录下的当前发音进行准确性评价。语音信号由声卡实现模拟/数字变换，系统软件首先对采集到的数字音频数据流进行短时分帧，由于语音信号具有短时平稳特性，在连续的短时数字语音帧之间保持一定的交叠。数字音频数据经过加窗，本系统使用汉明窗处理后，再通过软件预处理数字滤波器，实现环境噪声抑制和高频信号分量预加重。在连续的短时语音帧中，通过计算信号能量和过零率实现对输入话音信号起始和终止位置的初步判决。在经过初步确认的数字话音流中，对连续短时语音帧进行基于梅尔μ律倒谱分析的MFCC(Mel-Frequency cepstral CoegicierI)参数计算，在每个参数矢量中包含信号短时能量以及参数的一阶、二阶差分分量。本系统针对聋哑人发音训练研制了覆盖全部训练场景的非特定人隐含马尔可夫模型HMM (Hidden Markov Model)集合。以该集合为基础，对特征提取后得到的特征向量序列应用Viterbi最优化算法。由于已知话音的内容，通过维特比Viterbi算法找到被训练者本次发音的真实状态转移路径。例如，对于发音“sh”，在语音流中找到“sh”的相应发音轨迹及其起止短时帧的位置。这时，本系统已经可以根据维特比Viterbi算法的寻优结果，对被训练者发音与标准发音间的相似程度给出初步判断。为更加严格地评价被训练者发音水平，在基于出旧的分段对准的基础上，将被评价语音相应的特征矢量序列投影到基于主元分析PCA(Principle Component Analysis)方法的标准正交基中的各特征方向上。使用各正交投影方向的投影系数对当前被评价发音的特征矢量序列进行重构，通过计算重构误差，即给出了准确的发音正确性评价。本系统将以百分制对被训练者给出评测成绩。语音评测结束后，在计算机屏幕上方用百分数显示出本次发音的得分。在屏幕左下角显示出刚才用户所发“sh”音的频谱图以及“sh”的标准发音的频谱图，并在屏幕右下角反复回放视频采集装置所记录下的用户在发“sh”音过程中口型变化的视频录象，用户可以根据这些反馈信息矫正自己的发音。

此时屏幕最下方有三个选项：“重复本次练习”、“开始新练习”、“退出系统”。如果用户选择“重复本次练习”，则系统重新进行“sh”的辅助训练。如果用户选择“开始新练习”，则系统退回到主界面，等待用户选择新的语音训练。如果用户选择“退出系统”，则程序退出，返回初始操作系统的界面。

实施例2，以学习拼音为“shā”的常用汉字“沙、纱、杀、砂”等字发音的计算机辅助学习过程为例。所使用的软件与硬件，以及聋哑人汉语发音计算机辅助学习系统与实施例1相同。学习系统的启动方式与实施例1相同。在本实施例中，用户学习的是单个汉字的发音，因此在主界面上用鼠标左键单击“单字”选项。进入“单字”子选项后，用户可以看到显示器屏幕分为上下两部分，上半部分显示23个声母，下半部分显示24个韵母。用户使用鼠标左键首先单击声母“sh”，然后单击韵母“a”，并单击声调“第一声”，最后单击“确认”，屏幕显示出拼音“shā”以及发音为“shā”的常用汉字“沙、纱、杀、砂”。同时屏幕的右边播放标准发音示范人发“shā”音时口型变化的动画以及教师利用手语进行指导教学的视频教学录象。此后的操作过程与实施例1相同。

实施例3，以词组“使用”的发音“shǐyòng”的计算机辅助学习过程为例。所使用的软件与硬件，以及聋哑人汉语发音计算机辅助学习系统与实施例1相同。学习系统的启动方式与实施例1相同。进入辅助学习系统主界面后用户用鼠标左键单击“词组”选项。进入“词组”子选项后，用户可以看到显示器屏幕分为上下两部分，上半部分显示23个声母，下半部分显示24个韵母。用户使用鼠标左键首先单击声母“sh”，然后单击韵母“i”，再单击声母“y”，然后单击韵母“ong”，并单击“确认”后，屏幕显示出拼音“shi yong”以及与该拼音相对应的词组“实用、使用、食用、试用”，用户用鼠标选择“使用”，并单击“确认”后，屏幕显示出拼音“shi yong”以及词组“使用”。此后的操作过程与实施例1相同。

实施例4，以短句“我们是中国人”的发音“wǒmén shìzhōng gúorén”的计算机辅助学习过程为例。所使用的软件与硬件，以及聋哑人汉语发音计算机辅助学习系统与实施例1相同。学习系统的启动方式与实施例1相同。进入辅助学习系统主界面后用户用鼠标左键单击“句子”选项。进入“句子”子选项后，用户可以看到显示器屏幕分为上下两部分，上半部分显示23个声母，下半部分显示24个韵母。用户使用鼠标左键按照顺序分别点击声母“w”、韵母“o”，在显示的拼音为“wo”的汉字中选择“我”；点击声母“m”、韵母“en”，选择汉字“们”；点击声母“sh”、韵母“i”，选择汉字“是”；点击声母“zh”、韵母“ong”，选择汉字“中”；点击声母“g”、韵母“u”、韵母“o”，选择汉字“国”；点击声母“r”、韵母“en”，选择汉字“人”；并再次单击“确认”后，屏幕显示出词组“我们是中国人”和相对应的拼音“wǒmén shìzhōnggúo  rén”。此后的操作过程与实施例1相同。

本发明充分利用多媒体计算机的语音接收装置、视频采集装置以及显示器等多个硬件装备，将计算机图形图像技术，包括静态图像技术和动画技术以及多媒体计算机语音技术包括语音识别和语音评测有效的结合起来，能够彻底解决以往单纯倚赖人的力量来完成对聋哑人进行说话培训的局限性，必将能够有效的提高聋哑人的语言能力。

本发明所具有的优点：1、本学习辅助系统充分利用了多媒体计算机的各个硬件装备，将计算机图形图像技术，包括静态图像技术和动画技术以及多媒体计算机语音技术，包括语音识别和语音评测有效的结合起来。2、本学习辅助系统具有简便易用的特点，只要经过简单的培训，用户可以在任何一台带有语音接收装置和视频采集装置的多媒体电脑上使用本学习辅助系统。3、用户可以根据自身具备的语言能力任意选择不同难度的教学内容，学习过程具有循序渐进和由浅入深的特点。4、本学习辅助系统针对聋哑人的特点，利用计算机显示器向学习者提供所学习内容发音特征的动画图像，学习过程形象直观。5、对学习对象发音突破简单的“正确”或是“错误”的评价，而是利用HMM方法和PCA技术对学习者的发声进行量化评估，并利用百分数、波形图以及视频动画等手段向学习者充分反馈其发声与参考标准的差异。

Claims (9)

1.一种聋哑人汉语发音计算机辅助学习方法，包括以下步骤：一、用户选择并确定所需学习的语音内容；二、计算机的显示器向用户显示需要学习的语音和所需注意的环节；三、启动计算机的语音接收装置，等待用户语音信号的输入，所述语音接收装置启动时，同时启动视频采集装置，捕捉用户发音时的口型的细部特征；四、语音接收装置接收用户发出的语音信号，进行模拟/数字转换；五、计算机的中央处理器从模拟数字转换装置提取所需的语音特征；六、中央处理器采用包含一阶和二阶统计信息的隐含马尔可夫模型和卡亨楠一洛维变换方法对语音单元的原始数据进行分段对准和准确性判别处理；七、在显示器上显示用户发音的准确度。

2.根据权利要求1所述的聋哑人汉语发音计算机辅助学习方法，其特征在于：所述显示器向用户显示需要学习的语音和所需注意的环节时，使用动画向用户提示正确发音所需注意的环节。

3.根据权利要求2所述的聋哑人汉语发音计算机辅助学习方法，其特征在于：所述显示器使用动画向用户提示正确发音所需注意的环节时，演示发声器官配合运动的解剖结构动画，教师利用手语进行指导教学的视频教学录象。

4.根据权利要求3所述的聋哑人汉语发音计算机辅助学习方法，其特征在于：所述计算机的中央处理器提取所需的语音单元时采用端点检测的方法，通过计算信号能量和过零率实现对输入话音信号起始和终止位置的初步判决。

5.根据权利要求4所述的聋哑人汉语发音计算机辅助学习方法，其特征在于：所述中央处理器对语音单元的原始数据进行处理后，对用户的发音进行评估打分。

6.根据权利要求5所述的聋哑人汉语发音计算机辅助学习方法，其特征在于：所述在显示器上显示用户发音的准确度时，使用百分数表示、用户发音波形与标准发音波形的比较图和用户发音口型与标准发音口型的视频动画比较。

7.根据权利要求6所述的聋哑人汉语发音计算机辅助学习方法，其特征在于：所述用户选择并确定学习的语音内容为声韵母、单字、词组或句子。

8.根据权利要求7所述的聋哑人汉语发音计算机辅助学习方法，其特征在于：所述用户选择并确定所需学习的语音内容、启动计算机的语音接收装置时，使用键盘、鼠标或遥控器。

9.根据权利要求8所述的聋哑人汉语发音计算机辅助学习方法，其特征在于：所述选择学习的语音内容结束后，选择重复上次练习、开始新的练习或退出。

Images