CN104537926B - 听障儿童语言训练辅助系统及方法 - Google Patents

听障儿童语言训练辅助系统及方法 Download PDF

Info

Publication number
CN104537926B
CN104537926B CN201410719600.3A CN201410719600A CN104537926B CN 104537926 B CN104537926 B CN 104537926B CN 201410719600 A CN201410719600 A CN 201410719600A CN 104537926 B CN104537926 B CN 104537926B
Authority
CN
China
Prior art keywords
module
data
video
course
vocal cord
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410719600.3A
Other languages
English (en)
Other versions
CN104537926A (zh
Inventor
杨颖�
刘强
蔡文怿
高嘉俊
余良驹
陈序建
吴伟迪
荆婧
韩挺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiao Tong University
Original Assignee
Shanghai Jiao Tong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiao Tong University filed Critical Shanghai Jiao Tong University
Priority to CN201410719600.3A priority Critical patent/CN104537926B/zh
Publication of CN104537926A publication Critical patent/CN104537926A/zh
Application granted granted Critical
Publication of CN104537926B publication Critical patent/CN104537926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明提供了一种听障儿童语言训练辅助系统及方法,该系统包括:视频处理模块,用于调用电脑摄像头;服务器模块,存储录制的教学课程视频;无线通信模块,接收来自服务器模块的数据;信息处理模块,保障无线通信模块在接收数据之后及时将数据传递给输出模块;输出模块,通过在两个GPIO口输出PWM波来控制气息模拟模块的运作程度和声带振动模拟模块的运作程度;气息模拟模块,受信息处理模块控制进行转动;声带振动模拟模块,受信息处理模块控制产生振动;语音准确度反馈模块,用于将听障儿童发声的音频输出到语音识别接口;数据记录模块,用于所有课程数据等的存储与处理。本发明提供发音技巧的指导,针对单个发音练习进行准确度反馈。

Description

听障儿童语言训练辅助系统及方法
技术领域
本发明涉及一种语言训练辅助系统及方法,具体地,涉及一种听障儿童语言训练辅助系统及方法。
背景技术
现有的技术主要是单纯捕捉声音,进行分析和反馈,没有针对发音技巧的指导;或者是主要针对语言理解、思维认知的训练,没有对单个发音进行练习;或者是部分的语言训练方法,但是没有系统的语言训练方法。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种听障儿童语言训练辅助系统及方法,其模拟传统的教学方式,将主流的教学方式结合到一起,可以提供发音技巧的指导,针对单个发音练习进行准确度反馈。
根据本发明的一个方面,提供一种听障儿童语言训练辅助系统,其特征在于,包括:
视频处理模块,用于调用电脑摄像头,以及家长录制或播放教学课程视频,将教学课程视频传送至服务器或从服务器获取教学课程视频;
服务器模块,存储录制的教学课程视频,对无线通信模块发送数据;
无线通信模块,接收来自服务器模块的网站页面信息的数据,获取网站页面信息的数据后,对其进行分析来得到有效数据,传递给信息处理模块,用于控制气息模拟模块的运作和声带振动模拟模块的运作;
信息处理模块,通过多线程设计对无线通信模块产生的通信线程、气息模拟模块产生的气息模拟线程以及声带振动模拟模块产生的声带振动模拟线程进行管理,从而使得各线程同时运行,保障无线通信模块在接收数据之后及时将数据传递给输出模块;
输出模块,首先对GPIO进行配置,通过在选定的两个GPIO口输出PWM波来控制气息模拟模块的运作程度和声带振动模拟模块的运作程度,PWM波的占空比由无线通信模块的处理数据确定;
气息模拟模块,受信息处理模块控制,气息模拟模块进行转动;根据输出模块的控制,产生不同的转速,模拟不同发音时的口腔气流的大小;
声带振动模拟模块,受信息处理模块控制,声带振动模拟模块产生振动;根据输出模块的控制,产生不同的振动强度,模拟不同发音时声带振动的强弱;
语音准确度反馈模块,用于将由麦克风获取的听障儿童发声的音频输出到语音识别接口,接收反馈并转化为拼音,判断正误,产生学习记录,传输给数据记录模块;
数据记录模块,用于所有课程数据、学习记录的存储与处理,家长查看所记录的数据。
优选地,所述气息模拟模块采用风扇。
优选地,所述声带振动模拟模块采用振子。
优选地,所述语音准确度反馈模块包括麦克风和语音识别接口。
优选地,所述无线通信模块、信息处理模块、输出模块、气息模拟模块、声带振动模拟模块构成硬件设备。
本发明还提供一种听障儿童语言训练辅助方法,其特征在于,其包括以下步骤:
步骤一,家长登录网站,选择语言训练课程;
步骤二,判断语言训练课程是否是录制过的教学视频,如果是录制过的教学视频,则执行步骤四;如果是未录制过的教学视频,则执行步骤三;
步骤三,若该语言训练课程是未录制过的教学视频,则通过视频处理模块进行教学视频的录制,录制完成的教学视频上传至服务器模块;
步骤四,语言训练课程录制完成,进入课程学习页面;课程学习页面左侧为家长录制的教学视频,右侧为摄像头实时捕捉的儿童学习画面;学习页面上还有课程相配套的文字、图片、拼音、发声舌形示意图;点击播放语言训练课程的教学视频;
步骤五,开启硬件设备,硬件设备中的无线通信模块向服务器模块发送指令请求,请求获取网站页面信息的数据;
步骤六,当语言训练课程的教学视频播放时,无线通信模块接收到来自服务器模块的网站学习页面信息的数据,分析得到有效数据,传递给信息处理模块,用于控制气息模拟模块的运作和声带振动模拟模块的运作;
步骤七,硬件设备中的信息处理模块将无线通信模块接收到的数据传递给控制气息模拟模块、声带振动模拟模块,同时控制控制气息模拟模块的运作、声带振动模拟模块的运作;同时传递数据给输出模块,输出模块控制气息模拟模块的运作程度和声带振动模拟模块的运作程度;
步骤八,听障儿童手持硬件设备,感受硬件设备根据视频的内容产生相应的振动和气流,结合网站页面上文字、图片、舌型以及视频中的口型和声音,练习发声;
步骤九,由语音准确度反馈模块捕捉儿童声音,进行语音识别和分析,以拼音形式反馈在学习页面,和正确的发音拼音进行比较,得出准确度,以小星星形式评分反馈;
步骤十,数据记录模块记录儿童学习得分和课程数据。
优选地,所述评分的规则为两个字的课程,两字均发音错误,评为零颗小星星;发对部分音节,评为一颗小星星;发对一字,评为二颗小星星;两字均发音正确,评为三颗小星星。
与现有技术相比,本发明具有如下的有益效果,(1)本发明可以让听障儿童感受到模拟的声带振动过程,代替传统人为教学环节,减轻父母等教学压力,提高语言训练效率。(2)本发明可以让听障儿童感受并学习不同发音时的口腔气流变化,代替传统人为教学环节,减轻父母等教学压力,提高语言训练效率。(3)本发明可以提供实时发音反馈,代替传统人为反馈,减轻父母等教学压力,提高学习效率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显,
图1为本发明听障儿童语言训练辅助系统的原理框图。
图2为本发明听障儿童语言训练辅助方法的流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
如图1所示,本发明听障儿童语言训练辅助系统包括:
视频处理模块101,用于调用电脑摄像头,以及家长录制或播放教学课程视频,将教学课程视频传送至服务器102或从服务器102获取教学课程视频;
服务器模块102,存储录制的教学课程视频,对无线通信模块201发送数据;
无线通信模块201,接收来自服务器模块102的网站页面信息的数据,获取网站页面信息的数据后,对其进行分析来得到有效数据,传递给信息处理模块202,用于控制气息模拟模块204和声带振动模拟模块205的运作;
信息处理模块202,通过多线程设计对无线通信模块201产生的通信线程、气息模拟模块204产生的气息模拟线程以及声带振动模拟模块205产生的声带振动模拟线程进行管理,从而使得各线程同时运行,保障无线通信模块201在接收数据之后及时将数据传递给输出模块203;
输出模块203,首先对GPIO(General Purpose Input Output,通用输入/输出)进行配置,通过在选定的两个GPIO口输出PWM(脉宽调制)波来控制气息模拟模块204的运作程度和声带振动模拟模块205的运作程度,PWM波的占空比由无线通信模块201的处理数据确定;
气息模拟模块204,气息模拟模块204可以采用风扇,受信息处理模块202控制,风扇进行转动;根据输出模块203的控制,产生不同的转速,模拟不同发音时的口腔气流的大小;
声带振动模拟模块205,声带振动模拟模块205可以采用振子,受信息处理模块202控制,振子产生振动;根据输出模块203的控制,产生不同的振动强度,模拟不同发音时声带振动的强弱;
语音准确度反馈模块103,用于对听障儿童发声的音频进行语音识别和正误判断反馈,具体来说,用于将由麦克风获取的听障儿童发声的音频输出到语音识别接口,接收反馈并转化为拼音,判断正误,产生学习记录,传输给数据记录模块104;语音准确度反馈模块103包括麦克风和语音识别接口;
数据记录模块104,用于所有课程数据、学习记录等数据的存储与处理,家长可以查看所记录的数据。
其中,无线通信模块201、信息处理模块202、输出模块203、气息模拟模块204、声带振动模拟模块205构成硬件设备。
如图2所示,本发明听障儿童语言训练辅助方法包括以下步骤,
S1,家长登录网站,选择语言训练课程;
S2,判断语言训练课程是否是录制过的教学视频,如果是录制过的教学视频,则执行步骤S4;如果是未录制过的教学视频,则执行步骤S3;
S3,若该语言训练课程是未录制过的教学视频,则通过视频处理模块101进行教学视频的录制,录制完成的教学视频上传至服务器模块102;
S4,语言训练课程录制完成,进入课程学习页面;课程学习页面左侧为家长录制的教学视频,右侧为摄像头实时捕捉的儿童学习画面;学习页面上还有课程相配套的文字、图片、拼音、发声舌形示意图;点击播放语言训练课程的教学视频;
S5,开启硬件设备,硬件设备中的无线通信模块201向服务器模块102发送指令请求,请求获取网站页面信息的数据;
S6,当语言训练课程的教学视频播放时,无线通信模块201接收到来自服务器模块102的网站学习页面信息的数据,分析得到有效数据,传递给信息处理模块202,用于控制气息模拟模块204和声带振动模拟模块205的运作;
S7,硬件设备中的信息处理模块202将无线通信模块201接收到的数据传递给控制气息模拟模块204、声带振动模拟模块205,同时控制它们(气息模拟模块204、声带振动模拟模块205)的运作;同时传递数据给输出模块203,输出模块203控制气息模拟模块204和声带振动模拟模块205的运作程度;
S8,听障儿童手持硬件设备,感受硬件设备根据视频的内容产生相应的振动和气流(模拟人说话时的声带振动和气流变化),结合网站页面上文字、图片、舌型以及视频中的口型和声音,练习发声;
S9,由语音准确度反馈模块103捕捉儿童声音,进行语音识别和分析,以拼音形式反馈在学习页面,和正确的发音拼音进行比较,得出准确度,以小星星形式评分反馈;评分的规则为两个字的课程,两字均发音错误,评为零颗小星星;发对部分音节,评为一颗小星星;发对一字,评为二颗小星星;两字均发音正确,评为三颗小星星;
S10,数据记录模块104记录儿童学习得分和课程数据。家长可以在网站上查看某语言训练课程学习一段时间内儿童对的发音准确度情况,以及一段时间内所学课程的记录。
实施举例一,开启硬件设备,硬件设备中的无线通信模块201向服务器模块102发送指令请求。当网站中某课程的教学视频开始播放时,无线通信模块201接收到来自服务器模块102的某语言训练课程视频的相关数据,获取并分析某语言训练课程的网站学习页面信息,得到有效数据。信息处理模块202将有效数据传递给输出模块203,同时控制声带振动模拟模块205开始振动,输出模块203控制振动强弱,模拟人说话时的声带振动。听障儿童通过触摸硬件感受人说话时的声带振动。
实施举例二,开启硬件设备,硬件设备中的无线通信模块201向服务器模块102发送指令请求。当网站中某课程的教学视频开始播放时,无线通信模块201接收到来自服务器模块102的某课程视频的相关数据,获取并分析某课程的网站学习页面信息,得到有效数据。信息处理模块202将数据传递给输出模块203,同时控制气息模拟模块开始转动,输出模块203控制转速大小,模拟人说话时塞擦音(包括送气音、不送气音)和擦音的不同口腔气流特点。听障儿童通过靠近硬件感受人说话时的口腔气流变化。
实施举例三,语音准确度反馈模块中103中的麦克风获取的听障儿童发声的音频输出到语音识别接口,调用科大讯飞语音识别系统的API接口,将获取到的发音与科大讯飞语音识别系统中的数据库相匹配,找到对应的文字,进而转化为拼音,与课程预设定的正确拼音进行比较,判断发音准确度,页面高亮错误处的拼音,作为错误发音反馈提示。同时以小星星形式作为评分反馈。评分规则为两个字的课程,两字均发音错误,评为零颗小星星;发对部分音节,评为一颗小星星;发对一字,评为二颗小星星;两字均发音正确,评为三颗小星星。为听障儿童语言训练提供即时反馈,提高学习效率。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。

Claims (7)

1.一种听障儿童语言训练辅助系统,其特征在于,包括:
视频处理模块,用于调用电脑摄像头,以及家长录制或播放教学课程视频,将教学课程视频传送至服务器或从服务器获取教学课程视频;
服务器模块,存储录制的教学课程视频,对无线通信模块发送数据;
无线通信模块,接收来自服务器模块的网站页面信息的数据,获取网站页面信息的数据后,对其进行分析来得到有效数据,传递给信息处理模块,用于控制气息模拟模块的运作和声带振动模拟模块的运作;
信息处理模块,通过多线程设计对无线通信模块产生的通信线程、气息模拟模块产生的气息模拟线程以及声带振动模拟模块产生的声带振动模拟线程进行管理,从而使得各线程同时运行,保障无线通信模块在接收数据之后及时将数据传递给输出模块;
输出模块,首先对GPIO进行配置,通过在选定的两个GPIO口输出PWM波来控制气息模拟模块的运作程度和声带振动模拟模块的运作程度,PWM波的占空比由无线通信模块的处理数据确定;
气息模拟模块,受信息处理模块控制,气息模拟模块进行转动;根据输出模块的控制,产生不同的转速,模拟不同发音时的口腔气流的大小;
声带振动模拟模块,受信息处理模块控制,声带振动模拟模块产生振动;根据输出模块的控制,产生不同的振动强度,模拟不同发音时声带振动的强弱;
语音准确度反馈模块,用于将由麦克风获取的听障儿童发声的音频输出到语音识别接口,接收反馈并转化为拼音,判断正误,产生学习记录,传输给数据记录模块;
数据记录模块,用于所有课程数据、学习记录的存储与处理,家长查看所记录的数据。
2.根据权利要求1所述的听障儿童语言训练辅助系统,其特征在于,所述气息模拟模块采用风扇。
3.根据权利要求1所述的听障儿童语言训练辅助系统,其特征在于,所述声带振动模拟模块采用振子。
4.根据权利要求1所述的听障儿童语言训练辅助系统,其特征在于,所述语音准确度反馈模块包括麦克风和语音识别接口。
5.根据权利要求1所述的听障儿童语言训练辅助系统,其特征在于,所述无线通信模块、信息处理模块、输出模块、气息模拟模块、声带振动模拟模块构成硬件设备。
6.一种听障儿童语言训练辅助方法,其特征在于,其包括以下步骤:
步骤一,家长登录网站,选择语言训练课程;
步骤二,判断语言训练课程是否是录制过的教学视频,如果是录制过的教学视频,则执行步骤四;如果是未录制过的教学视频,则执行步骤三;
步骤三,若该语言训练课程是未录制过的教学视频,则通过视频处理模块进行教学视频的录制,录制完成的教学视频上传至服务器模块;
步骤四,语言训练课程录制完成,进入课程学习页面;课程学习页面左侧为家长录制的教学视频,右侧为摄像头实时捕捉的儿童学习画面;学习页面上还有课程相配套的文字、图片、拼音、发声舌形示意图;点击播放语言训练课程的教学视频;
步骤五,开启硬件设备,硬件设备中的无线通信模块向服务器模块发送指令请求,请求获取网站页面信息的数据;
步骤六,当语言训练课程的教学视频播放时,无线通信模块接收到来自服务器模块的网站学习页面信息的数据,分析得到有效数据,传递给信息处理模块,用于控制气息模拟模块的运作和声带振动模拟模块的运作;
步骤七,硬件设备中的信息处理模块将无线通信模块接收到的数据传递给控制气息模拟模块、声带振动模拟模块,同时控制气息模拟模块的运作、声带振动模拟模块的运作;同时传递数据给输出模块,输出模块控制气息模拟模块的运作程度和声带振动模拟模块的运作程度;
步骤八,听障儿童手持硬件设备,感受硬件设备根据视频的内容产生相应的振动和气流,结合网站页面上文字、图片、舌型以及视频中的口型和声音,练习发声;
步骤九,由语音准确度反馈模块捕捉儿童声音,进行语音识别和分析,以拼音形式反馈在学习页面,和正确的发音拼音进行比较,得出准确度,以小星星形式评分反馈;
步骤十,数据记录模块记录儿童学习得分和课程数据。
7.根据权利要求6所述的听障儿童语言训练辅助方法,其特征在于,所述评分的规则为两个字的课程,两字均发音错误,评为零颗小星星;发对一个字的部分音节,评为一颗小星星;发对一字,评为二颗小星星;两字均发音正确,评为三颗小星星。
CN201410719600.3A 2014-12-01 2014-12-01 听障儿童语言训练辅助系统及方法 Active CN104537926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410719600.3A CN104537926B (zh) 2014-12-01 2014-12-01 听障儿童语言训练辅助系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410719600.3A CN104537926B (zh) 2014-12-01 2014-12-01 听障儿童语言训练辅助系统及方法

Publications (2)

Publication Number Publication Date
CN104537926A CN104537926A (zh) 2015-04-22
CN104537926B true CN104537926B (zh) 2017-11-14

Family

ID=52853445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410719600.3A Active CN104537926B (zh) 2014-12-01 2014-12-01 听障儿童语言训练辅助系统及方法

Country Status (1)

Country Link
CN (1) CN104537926B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256512A (zh) * 2018-03-22 2018-07-06 长春大学 听障生融合教育课堂辅助系统及装置
CN109003481A (zh) * 2018-08-23 2018-12-14 江南大学 分体式智能语言学习机
CN108806354A (zh) * 2018-08-28 2018-11-13 南京林业大学 一种听障儿童发音训练玩具、系统和方法
CN109598991B (zh) * 2019-01-11 2021-06-15 张翩 一种英语发音教学系统、装置及方法
CN110853624A (zh) * 2019-11-29 2020-02-28 杭州南粟科技有限公司 言语康复训练系统
CN113327483A (zh) * 2021-04-30 2021-08-31 云南北飞科技有限公司 基于3d舌位模型模拟发音及气流动变化的语言训练方法
CN115590480B (zh) * 2022-12-15 2023-03-14 首都医科大学附属北京同仁医院 一种声带运动矫正系统及控制方法
CN117576984B (zh) * 2023-11-09 2024-06-18 深圳市昱显科技有限公司 一种面向智慧教育的多功能教学终端主板

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3835204B2 (ja) * 2001-06-01 2006-10-18 ヤマハ株式会社 可聴音および振動の発生装置
CN1466111A (zh) * 2002-07-05 2004-01-07 池美芬 “多元感受模仿”听觉口语障碍康复训练方法
US7356473B2 (en) * 2005-01-21 2008-04-08 Lawrence Kates Management and assistance system for the deaf
JP4576305B2 (ja) * 2005-08-19 2010-11-04 日本電信電話株式会社 音響伝達装置
CN201117153Y (zh) * 2007-11-20 2008-09-17 北京联合大学 听障学生学习计算机程序设计语言的仿真教学仪
US20100320819A1 (en) * 2007-12-06 2010-12-23 Daniel Cohen Chair and System for Transmitting Sound and Vibration
CN101241656A (zh) * 2008-03-11 2008-08-13 黄中伟 口型识别能力的计算机辅助训练方法
KR20120131695A (ko) * 2011-05-26 2012-12-05 (주)한아이티 청각장애인용 음향 청취는 장치
CN102614633B (zh) * 2012-04-16 2014-11-19 长春大学 面向听障儿童语训的呼吸训练方法及其系统

Also Published As

Publication number Publication date
CN104537926A (zh) 2015-04-22

Similar Documents

Publication Publication Date Title
CN104537926B (zh) 听障儿童语言训练辅助系统及方法
CN102063903B (zh) 言语交互训练系统及方法
CN104537925B (zh) 语障儿童语言训练辅助系统及方法
CN101751809B (zh) 基于三维头像的聋儿语言康复方法及系统
US20070055523A1 (en) Pronunciation training system
KR20160077200A (ko) 언어-관련 장애들의 진단 및 치료를 위한 컴퓨팅 기술들
CN107112029A (zh) 用于检测言语模式和错误的方法和装置
CN102663928A (zh) 一种聋人学习说话的电子教学方法
US20160321953A1 (en) Pronunciation learning support system utilizing three-dimensional multimedia and pronunciation learning support method thereof
CN102663925A (zh) 面向听障儿童语训的舌部训练方法及其系统
De Torcy et al. A video-fiberscopic study of laryngopharyngeal behaviour in the human beatbox
KR101973791B1 (ko) 말소리 교정 방법
Hahner et al. Speaking clearly: Improving voice and diction
CN100397438C (zh) 聋哑人汉语发音计算机辅助学习方法
TWI528336B (zh) Speech skills of audio and video automatic assessment and training system
Loaiza et al. A video game prototype for speech rehabilitation
Mutqiyyah et al. Developing mobile app of english pronunciation test using android studio
Nayar Towards designing speech technology based assistive interfaces for children's speech therapy
TWI727395B (zh) 語言發音學習系統及方法
KR101681673B1 (ko) 인터넷 상에서의 소리 기반 영어 훈련 방법 및 시스템
JP6155102B2 (ja) 学習支援装置
Rubin Development and evaluation of software tools for speech therapy
TW202209277A (zh) 多模態學習平台
US10388184B2 (en) Computer implemented method and system for training a subject's articulation
TW201712647A (zh) 呈現發音方式的方法及機器人

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant