CN1204826A - 聋哑人语音学习、对话方法及使用的语音同步反馈装置 - Google Patents
聋哑人语音学习、对话方法及使用的语音同步反馈装置 Download PDFInfo
- Publication number
- CN1204826A CN1204826A CN98110167A CN98110167A CN1204826A CN 1204826 A CN1204826 A CN 1204826A CN 98110167 A CN98110167 A CN 98110167A CN 98110167 A CN98110167 A CN 98110167A CN 1204826 A CN1204826 A CN 1204826A
- Authority
- CN
- China
- Prior art keywords
- literal
- pronunciation
- deaf
- phonetic
- language
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明涉及一种聋哑人进行语音学习、对话的方法和该方法中使用的语音同步反馈装置。包括语音输入式计算机和应用程序。应用程序单元:选择文字,播放语音文件中文字发音,显示标准文字数据库中贮存的文字内容,判断语音文字输入,语音处理系统识别处理,显示、比较、判断正确与否。本发明采用计算机实时处理技术,实现语音即时处理、同步反馈,提高了聋哑人学习效率及发音准确性。
Description
本发明涉及一种聋哑人进行语音学习、对话的方法和该方法中使用的语音同步反馈装置,属于智能化计算机语音感受装置及方法。
聋哑人通过在聋哑学校学习之后,都能学会说简单的话,和认识约3000汉字。
正常人是通过听觉感受语音同步反馈的,聋哑人没有听觉,其一般是通过下述方式感受语音反馈的:根据老师展示的发音器官部位图,以及老师的口型、手语,试着发音。发对了,老师用手语或点头示意;发错了,老师纠正其发音器官部位及口型,让其再试着发音,直至发对。发音的对与错,是通过老师的听力鉴别,再用手式或表情,反馈给他。这种语音学习,其反馈不是同步的,并且老师也不可能对每个聋哑人所学发的每一个字音,都给他反馈,从而使得聋哑人所学的字,很多都发不准。
本发明的目的在于提供一种使聋哑人可同步感受语音反馈、通过视觉感受独立进行语音学习以及与人对话的方法和该方法中使用的语音同步反馈装置。
本发明的目的是通过以下技术方案实现的:
因为聋哑人没有听觉,其感受语音同步反馈的方法只能通过其视觉来实现。
具体方法是:利用语音输入电脑加上学习软件,使其符合聋哑人学习需要,以计算机语音同步显示对聋哑人视觉的同步反馈来实现聋哑人的学习、对话,使语音电脑成为聋哑人感受语音同步反馈的工具,从而有效地指导聋哑人学习文字发音、拼音以及对话。
聋哑人在学习发音、拼音和读字时,先根据书本教材,或者输入电脑的学习教材中某一拼音或文字的发音口型及发音器官部位图、手语、文字拼音及声波波形,对着语音输入电脑,练习发音。无论发音正确与否,在屏幕上都同步显示反馈出其发出的文字。如果与所学字音相同,表明他已学会发此字音了;如果不同,它可进行对比口型和器官部位图、手语、文字拼音及声波波形再次发音,直至发对为止。
待聋哑人学会文字发音后,其便成为聋而不哑的人,可通过由该语音输入电脑构成的语音同步反馈装置与其他正常人或聋哑人对话,由电脑显示反馈其发音,与对方进行交流。
本发明聋哑人语音学习、对话方法,是将语音输入式计算机与应用程序相结合,以计算机语音同步显示对聋哑人视觉的同步反馈实现聋哑人的语音学习、对话。
本发明聋哑人语音学习、对话方法中使用的语音同步反馈装置,包括语音输入式计算机和应用程序,应用程序包括以下语音文字处理步骤,可用于聋哑人语音对话:
(1)判断是否有语音文字输入,
(2)对输入语音文字由语音处理系统进行识别处理,显示语音处理系统识别处理后的文字,其它聋哑人或正常人可通过显示文字,了解对方所说内容,然后进行回答,同样显示在屏幕上,反馈给对方。通过以上循环显示、处理,聋哑人便可与他人进行正常对话。
所述语音处理系统为对输入语音文字进行识别、搜寻标准文字数据库,提取文字的处理程序。
所述标准文字数据库为对应语音文件中所有文字的发音唇型和发音器官动作画片、手语、文字拼音、声波波形以及发音特征文字释译的处理程序。
所述语音文件为包括国家标准一、二级字库中所有文字的普通话发音程序。
在以上语音对话应用程序基础上扩展,加入以下处理步骤,可适用于聋哑人文字学习:
在上述步骤(1)之前加入:
a、由键盘选择学习的文字,
b、播放所选择文字对应的语音文件中文字发音,同步显示贮存在标准文字数据库中的所选择文字发音唇型和发音器官动作画片、手语、文字拼音、声波波形以及发音特征文字释译,
在步骤(2)之后加入:
c、将输入的语音文字与b中所显示标准文字进行比较,
d、判断发音正确,则进行下一文字选择学习;重复a、b、(1)、(2)、c、d;判断发音错误,则再次播放、显示所选择文字,重新输入语音文字,即重复(b)、(1)、(2)、c、d。
在步骤(2)中除显示语音处理系统识别处理后的文字外,还显示该语音文字的发音唇型和发音器官动作画片、手语、文字拼音、声波波形以及发音特征的文字释译。
本发明的聋哑人语音学习、对话方法,可以十分有效地指导聋哑人学习、对话,本发明的聋哑人语音同步反馈装置以语音输入计算机与程序相结合,采用计算机实时处理技术,计算机软件编程控制,实现对语音的即时处理、同步反馈,使得聋哑人可做到一人一机、一人一师,提高语言学习效率及发音准确性。
下面结合本发明的具体实施例,用来对本发明做进一步的说明:
本发明的聋哑人语音学习、对话方法是将现有的语音输入式微机与应用程序相结合,用于聋哑人的语音学习、对话,其语音同步反馈装置中所用语音输入式微机采用386以上微机,内存2M以上,硬盘40M以上,6倍速以上光驱,声卡、显示卡、话筒、音箱,操作系统采用DOS 3.30以上版本或Window3.1以上版本。
用户程序单元中的语音文件、标准文字数据库、语音处理系统均为事先存贮在硬盘或光盘上的可调用软件。
其中语音文件是对国家标准一、二级字库中所有文字进行普通话发音处理、存贮、重放的发音软件。
标准文字数据库是对应语音文件中包含的国家标准一、二级字库所有文字显示其发音唇型和发音器官动作画片、手语、文字拼音、声波波形以及发音特征文字释译的处理程序。
语音处理系统为对输入语音进行识别、搜寻标准文字数据库中对应文字、提取的程序。
用户程序单元使用时,先由聋人学习者自己由键盘从计算机屏幕上选择要学习的字母、文字,然后执行语音文件;由语音文件播放所选择的字母或文字对应的发音,同步屏幕显示由标准文字数据库贮存的所选择标准文字发音唇型和发音器官动作画片、手语、文字拼音、声波波形以及发音特征释译;此时由聋哑人对照屏幕唇型、发音器官动作画片、手语、文字拼音、声波波形学习发音,用户程序单元判断语音文字输入是否;有输入,则调用语音处理系统对输入语音文字进行识别处理,显示识别处理后的文字;对比输入的语音文字和由键盘选择的学习文字;两者相同,说明发音正确,继续进行下一文字选择学习,两者不同,判断指出发音错误,再次由语音文件播放标准文字发音,同步显示标准文字数据库贮存内容,继续进行发音学习。
本实施例的聋哑人语音同步反馈装置可有效实现对语音的即时处理,同步反馈出语音文字信息,充分提高聋哑人发音准确性和学习效率。
本发明的聋哑人语音同步反馈装置可做成台式或便携式,台式用于课堂教学,便携式可随身携带外出学习以及用于聋人与其他人进行对话。
本发明的文字学习通称包括有汉字字母、数字、外国语文字、音乐等,皆可适用。
Claims (7)
1、聋哑人语音学习、对话方法,其特征在于将语音输入式计算机与应用程序相结合,以计算机语音同步显示对聋哑人视觉的同步反馈来实现聋哑人的语音学习、对话。
2、聋哑人语音学习、对话方法中使用的语音同步反馈装置,包括语音输入式计算机和应用程序,其特征在于所述应用程序包括以下语音文字处理步骤:
(1)判断是否有语音文字输入,
(2)对输入语音文字由语音处理系统进行识别处理,显示语音处理系统识别处理后的文字。
3、按照权利要求2所述的语音同步反馈装置,其特征在于在步骤(1)之前还有以下处理步骤:
a、由键盘选择学习的文字,
b、播放所选择文字对应的语音文件中文字发音,同步显示贮存在标准文字数据库中的所选择文字发音唇型和发音器官动作画片、手语、文字拼音、声波波形以及发音特征文字释译,
在步骤(2)之后还有以下处理步骤:
c、将输入的语音文字与b中所显示标准文字进行比较,
d、判断发音正确,则进行下一文字选择学习;重复a、b、(1)、(2)、c、d;判断发音错误,则再次播放、显示所选择文字,重新输入语音文字,即重复(b)、(1)、(2)、c、d。
4、按照权利要求3所述的语音同步反馈装置,其特征在于所述语音文件为包括国家标准一、二级字库中所有文字的普通话发音程序。
5、按照权利要求3所述语音同步反馈装置,其特征在于所述标准文字数据库为对应语音文件中所有文字的发音唇型和发音器官动作画片、手语、文字拼音、声波波形以及发音特征文字释译的处理程序。
6、按照权利要求2所述语音同步反馈装置,其特征在于所述语音处理系统为对输入语音进行识别、搜寻标准文字数据库、提取的程序。
7、按照权利要求2所述语音同步反馈装置,其特征在于用户程序单元(2)中除显示语音处理系统识别处理后的文字外,还显示该语音文字的发音唇型和发音器官动作画片、手语、文字拼音、声波波形以及发音特征文字释译。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN98110167A CN1095580C (zh) | 1998-04-18 | 1998-04-18 | 聋哑人语音学习、对话方法中使用的语音同步反馈装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN98110167A CN1095580C (zh) | 1998-04-18 | 1998-04-18 | 聋哑人语音学习、对话方法中使用的语音同步反馈装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1204826A true CN1204826A (zh) | 1999-01-13 |
CN1095580C CN1095580C (zh) | 2002-12-04 |
Family
ID=5220241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN98110167A Expired - Fee Related CN1095580C (zh) | 1998-04-18 | 1998-04-18 | 聋哑人语音学习、对话方法中使用的语音同步反馈装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1095580C (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007134494A1 (fr) * | 2006-05-16 | 2007-11-29 | Zhongwei Huang | Procédé informatique auxiliaire adapté à un système d'apprentissage de prononciation multilingue pour sourds-muets |
CN104157181A (zh) * | 2014-07-22 | 2014-11-19 | 雷青云 | 一种语言教学方法和系统 |
CN106157750A (zh) * | 2016-08-24 | 2016-11-23 | 深圳市铁格龙科技有限公司 | 一种智能聋哑人发音及交流学习眼镜 |
CN107193935A (zh) * | 2017-05-18 | 2017-09-22 | 上海思依暄机器人科技股份有限公司 | 一种拼音处理方法及系统 |
CN108520741A (zh) * | 2018-04-12 | 2018-09-11 | 科大讯飞股份有限公司 | 一种耳语音恢复方法、装置、设备及可读存储介质 |
CN109409276A (zh) * | 2018-10-19 | 2019-03-01 | 大连理工大学 | 一种健壮手语特征提取方法 |
CN110085101A (zh) * | 2019-03-27 | 2019-08-02 | 沈阳工业大学 | 面向失聪儿童的双语发音进阶训练器及其训练方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10008128B1 (en) | 2016-12-02 | 2018-06-26 | Imam Abdulrahman Bin Faisal University | Systems and methodologies for assisting communications |
-
1998
- 1998-04-18 CN CN98110167A patent/CN1095580C/zh not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007134494A1 (fr) * | 2006-05-16 | 2007-11-29 | Zhongwei Huang | Procédé informatique auxiliaire adapté à un système d'apprentissage de prononciation multilingue pour sourds-muets |
CN104157181A (zh) * | 2014-07-22 | 2014-11-19 | 雷青云 | 一种语言教学方法和系统 |
CN106157750A (zh) * | 2016-08-24 | 2016-11-23 | 深圳市铁格龙科技有限公司 | 一种智能聋哑人发音及交流学习眼镜 |
CN107193935A (zh) * | 2017-05-18 | 2017-09-22 | 上海思依暄机器人科技股份有限公司 | 一种拼音处理方法及系统 |
CN108520741A (zh) * | 2018-04-12 | 2018-09-11 | 科大讯飞股份有限公司 | 一种耳语音恢复方法、装置、设备及可读存储介质 |
US11508366B2 (en) | 2018-04-12 | 2022-11-22 | Iflytek Co., Ltd. | Whispering voice recovery method, apparatus and device, and readable storage medium |
CN109409276A (zh) * | 2018-10-19 | 2019-03-01 | 大连理工大学 | 一种健壮手语特征提取方法 |
CN110085101A (zh) * | 2019-03-27 | 2019-08-02 | 沈阳工业大学 | 面向失聪儿童的双语发音进阶训练器及其训练方法 |
Also Published As
Publication number | Publication date |
---|---|
CN1095580C (zh) | 2002-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0986802B1 (en) | Reading and pronunciation tutor | |
Ehsani et al. | Speech technology in computer-aided language learning: Strengths and limitations of a new CALL paradigm | |
US7149690B2 (en) | Method and apparatus for interactive language instruction | |
Hulstijn | Connectionist models of language processing and the training of listening skills with the aid of multimedia software | |
US7383182B2 (en) | Systems and methods for speech recognition and separate dialect identification | |
US7280964B2 (en) | Method of recognizing spoken language with recognition of language color | |
US8272874B2 (en) | System and method for assisting language learning | |
US8033831B2 (en) | System and method for programmatically evaluating and aiding a person learning a new language | |
US20090087822A1 (en) | Computer-based language training work plan creation with specialized english materials | |
CN111711834B (zh) | 录播互动课的生成方法、装置、存储介质以及终端 | |
CN1804934A (zh) | 计算机辅助汉语发音学习方法 | |
LaRocca et al. | On the path to 2X learning: Exploring the possibilities of advanced speech recognition | |
Wald | Creating accessible educational multimedia through editing automatic speech recognition captioning in real time | |
CN1095580C (zh) | 聋哑人语音学习、对话方法中使用的语音同步反馈装置 | |
Ai | Automatic pronunciation error detection and feedback generation for call applications | |
CN111078010B (zh) | 一种人机交互方法、装置、终端设备及可读存储介质 | |
KR20000049500A (ko) | 음성 인식 및 음성 합성을 이용한 외국어 교육 서비스방법 및 그 시스템 | |
JP2003228279A (ja) | 音声認識を用いた語学学習装置、語学学習方法及びその格納媒体 | |
Liu | Application of speech recognition technology in pronunciation correction of college oral English teaching | |
Wik | Designing a virtual language tutor | |
US20210304628A1 (en) | Systems and Methods for Automatic Video to Curriculum Generation | |
Robison et al. | Computer speech recognition as an assistive device for deaf and hard of hearing people | |
Pearce et al. | SPEECH AND SENTIMENT ANALYSIS TO PROVIDE SPOKEN LANGUAGE FEEDBACK TO SECOND-LANGUAGE LEARNERS AND SPEECH THERAPY PATIENTS | |
WO2000022597A1 (en) | Method for computer-aided foreign language instruction | |
Goh | A low-cost speech teaching aid for teaching English to speakers of other languages |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |