CN103413550B - 一种人机交互式语言学习系统和方法 - Google Patents
一种人机交互式语言学习系统和方法 Download PDFInfo
- Publication number
- CN103413550B CN103413550B CN201310386003.9A CN201310386003A CN103413550B CN 103413550 B CN103413550 B CN 103413550B CN 201310386003 A CN201310386003 A CN 201310386003A CN 103413550 B CN103413550 B CN 103413550B
- Authority
- CN
- China
- Prior art keywords
- module
- course
- phoneme
- learner
- pronunciation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明提供一种人机交互式语言学习系统，其包括若干个通过服务器通信连接的带有显示界面的用户终端，其包括若干个通过服务器通信连接的带有显示界面的用户终端，其特征在于：所述用户终端包括用户注册模块，课程发布模块，数据分析模块，上传模块，下载模块，语音采集模块，数据存储及检测模块，语音质量评分模块，课程评价模块。本发明的语言学习系统能实时的将学习者跟读学习的语音输入与标准的语音进行识别比对，获得能代表学习者发音错误的音素错误值和韵律错误值并反馈给学习者。借助用户终端实现人机交互式的语言学习，可以一对一、一对多的循序渐进的学习语言。本发明还提供一种配合上述学习系统的学习方法，操作简单，使用方便。
Description
技术领域
本发明涉及一种学习系统和方法，具体涉及一种人机交互式语言学习系统和方法。
背景技术
字典是我们最熟悉的也是最常用的语言学习辅助工具，但是它仅仅以文字为媒介，虽然在阅读和写作上有帮助，但是对于听和说并不能起到直接的帮助作用。随着多媒体技术和语音技术的不断发展，能够对听说读写等各个方面有一定程度帮助的学习系统不断涌现，从电子词典的出现，到后来的跟读机、点读机，以及一些学习软件比如听力、写作软件等的出现，使学习辅助系统的形式和功能逐渐丰富起来。
但是，这些系统的不足之处在于只能给出一个整体的评价分数，不能实时的反馈给学习者发音的具体错误，学习者只是在被动的接受。没有把语言学习的各个环节有机的结合起来，缺乏实时的错误判断和反馈。
发明内容
为了解决背景技术中的不足，本发明的目的在于克服背景技术的缺陷，提供一种能实时反馈发音错误的人机交互式语言学习系统和方法。
为达到上述目的，本发明采用的技术方案为：一种人机交互式语言学习系统，其包括若干个通过服务器通信连接的带有显示界面的用户终端，其特征在于：所述用户终端包括
用户注册模块，用于根据用户的基本信息注册获得用户名；
课程发布模块，用于发布者采集并发布基于其本国母语的标准语音课程；
数据分析模块，用于分析所述发布者发布的所述标准语音课程，获得至少带有音素特征和韵律特征的标准特征参数；
上传模块，用于发布者将标准特征参数和标准语音课程一起打包上传至服务器；
下载模块，用于学习者根据自己的需要从服务器中打包下载目标语言国家的人上传的标准语音课程；
语音采集模块，用于采集学习者的测试语音信息，获得测试语音数据；
数据存储及检测模块，用于记录所述语音采集模块采集的测试语音数据，并对其进行分析，从中提取至少带有音素特征和韵律特征的特征参数，将所述特征参数与所述标准特征参数进行识别比对，获得能代表所述学习者发音错误的特征数据；
语音质量评分模块，用于对所述特征数据做进一步的判断，分析出错误级别，并结合错误级别对所述学习者的发音状况给予总体评分，将总体评分结果反馈给所述用户终端的显示界面；
课程评价模块，用于所述学习者查看自己的总体评分，并给予上传标准语音课程的所述发布者评价，所述评价包括赞许和反对。
本发明一个较佳实施例中，进一步包括所述数据存储及检测模块包括：
特征提取模块，用于从所述测试语音数据中提取带有音素特征和韵律特征的特征参数；
语音识别模块，用于基于神经网络模型对所述特征参数和标准特征参数进行识别比对，获得音素错误值和韵律错误值。
本发明一个较佳实施例中，进一步包括所述语音质量评分模块包括：
音素发音评分模块，用于对所述音素错误值做进一步的判断，分析出音素错误等级，给出音素质量总体评分；
韵律发音评分模块，用于对所述韵律错误值做进一步的判断，分析出音素错误等级，给出韵律质量总体评分。
本发明一个较佳实施例中，进一步包括所述音素特征包括元音音素特征和辅音音素特征，所述韵律特征包括韵律总体特征、流利程度以及语调特征。
本发明一个较佳实施例中，进一步包括所述用户终端还包括升级更新模块，用于给学习标准语音课程的所述学习者和获得赞许的所述发布者升级更新，升级更新后可以获得学习更多发布者的所述标准语音课程的权限和获得发布更多所述标准语音课程的权限。
本发明一个较佳实施例中，进一步包括所述用户终端还包括货币支付模块，用于通过第三方支付平台支付购买所述发布者发布的语音课程。
本发明一个较佳实施例中，进一步包括所述用户终端为手机、IPAD、电脑的其中之一。
一种运用在学习系统中的人机交互式语言学习方法，其特征在于包括以下步骤：
S1课程发布者在线采集或者预先录制基于其本国母语的标准语音课程；
S2系统从课程发布者发布的标准语音课程中提取至少带有音素特征和韵律特征的标准特征参数；
S3课程发布者将标准语音课程和标准特征参数一起打包上传至服务器；
S4课程学习者根据自己的需要从服务器中打包下载目标语言国家的人上传的带有标准语音课程和标准特征参数的压缩包，作为学习跟读的样本；
S5用户终端采集按程序要求进行发音的测试语音数据；
S6系统从测试语音数据中提取至少带有音素特征和韵律特征的特征参数；
S7系统对特征参数和标准特征参数进行识别比对，获得能代表学习者发音错误的特征数据，给出总体评分，并将发音错误和总体评分反馈给学习者；
S8学习者主动查看自己的发音错误之处和总体评分，满意，则此次学习过程结束，学习者给课程发布者进行评价，不满意，则返回S5；
S9学习过程结束后学习者可以选择是否将自己学习跟读的语音上传至服务器，不愿意，则退出系统。
本发明的有益之处在于：本发明的一种人机交互式语言学习系统能实时的将学习者带有音素特征和韵律特征的语音输入与标准的语音进行识别比对，获得能代表学习者发音错误的音素错误值和韵律错误值并反馈给学习者。借助用户终端实现人机交互式的语言学习，可以一对一、一对多的循序渐进的学习语言，具有很好的开发价值和使用前景。本发明还提供一种配合上述学习系统的学习方法，操作简单，使用方便。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明的一种人机交互式语言学习系统的结构框图；
图2是本发明的一种人机交互式语言学习方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合实施例及实施例附图对本发明作进一步详细的说明。
如图1所示，一种人机交互式语言学习系统，其包括若干个通过服务器通信连接的带有显示界面的用户终端，此处的用户终端可以是手机、IPAD、电脑等能够进行网络通信的终端，本发明的语言学习系统运用在用户终端后可以完成一对一、一对多的循序渐进的人机交互式学习语言，具体是这样实现的，
用户终端包括用户注册模块，用于根据用户的基本信息注册获得用户名，成为本系统的会员，注册用户名是用户使用本系统后续一切操作的唯一依据，基本信息至少包括用户的国别，通过国别其它的会员能够判断你的第一语言。
课程发布模块，用于发布者采集并发布基于其本国母语的标准语音课程，基于本国母语的标准语音课程确保了学习者能够学习最专业最地道的非母语语言。
数据分析模块，用于分析发布者发布的标准语音课程，获得至少带有音素特征和韵律特征的标准特征参数；
上传模块，用于发布者将标准语音课程和标准特征参数一起打包上传至服务器；
下载模块，用于学习者根据自己的需要从服务器中打包下载目标语言国家的人上传的标准语音课程；
语音采集模块，用于采集学习者的测试语音信息，获得测试语音数据；
数据存储及检测模块，用于记录所述语音采集模块采集的测试语音数据，并对其进行分析，从中提取至少带有音素特征和韵律特征的特征参数，将特征参数与标准特征参数进行识别比对，获得能代表学习者发音错误的特征数据；
语音质量评分模块，用于对特征数据做进一步的判断，分析出错误级别，并结合错误级别对所述学习者的发音状况给予总体评分，将总体评分结果反馈给所述用户终端的显示界面；
课程评价模块，用于所述学习者查看自己的总体评分，并给予上传标准语音课程的所述发布者评价，所述评价包括赞许和反对。
升级更新模块，用于给学习标准语音课程的学习者和获得赞许的发布者升级更新，升级更新后可以获得学习更多发布者的标准语音课程的权限和获得发布更多标准语音课程的权限。
货币支付模块，用于通过第三方支付平台支付购买发布者发布的语音课程，当学习者想要学习超出自己权限的标准语音课程时可以通过货币支付模块来完成。
具体的，数据存储及检测模块包括：
特征提取模块，用于从所述测试语音数据中提取带有音素特征和韵律特征的特征参数；
语音识别模块，用于基于神经网络模型对所述特征参数和标准特征参数进行识别比对，获得音素错误值和韵律错误值。
此处的音素特征包括元音音素特征和辅音音素特征，韵律特征包括韵律总体特征、流利程度以及语调特征。
具体的，语音质量评分模块包括：
音素发音评分模块，用于对音素错误值做进一步的判断，分析出音素错误等级，给出音素质量总体评分；
韵律发音评分模块，用于对韵律错误值做进一步的判断，分析出音素错误等级，给出韵律质量总体评分。
本发明的一种人机交互式语言学习系统能实时的将学习者带有音素特征和韵律特征的语音输入与标准的语音进行识别比对，获得能代表学习者发音错误的音素错误值和韵律错误值并反馈给学习者。
如图2所示，本发明还提供一种人机交互式语言学习方法，包括以下步骤：
S1课程发布者在线采集或者预先录制基于其本国母语的标准语音课程；
S2系统从课程发布者发布的标准语音课程中提取至少带有音素特征和韵律特征的标准特征参数；
S3课程发布者将标准语音课程和标准特征参数一起打包上传至服务器；
S4课程学习者根据自己的需要从服务器中打包下载目标语言国家的人上传的带有标准语音课程和标准特征参数的压缩包，作为学习跟读的样本；
S5用户终端采集按程序要求进行发音的测试语音数据；
S6系统从测试语音数据中提取至少带有音素特征和韵律特征的特征参数；
S7系统对特征参数和标准特征参数进行识别比对，获得能代表学习者发音错误的特征数据，给出总体评分，并将发音错误和总体评分反馈给学习者；
S8学习者主动查看自己的发音错误之处和总体评分，满意，则此次学习过程结束，学习者给课程发布者进行评价，不满意，则返回S5；
S9学习过程结束后学习者可以选择是否将自己学习跟读的语音上传至服务器，不愿意，则退出系统。
本发明还提供一种配合上述学习系统的学习方法，操作简单，使用方便。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其它的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化均应为等效的置换方式，都包含在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求所界定的保护范围为准。
Claims (4)
1.一种人机交互式语言学习系统，其包括若干个通过服务器通信连接的带有显示界面的用户终端，其特征在于：所述用户终端包括
用户注册模块，用于根据用户的基本信息注册获得用户名；
课程发布模块，用于发布者采集并发布基于其本国母语的标准语音课程；
数据分析模块，用于分析所述发布者发布的所述标准语音课程，获得至少带有音素特征和韵律特征的标准特征参数；
上传模块，用于发布者将标准语音课程和标准特征参数一起打包上传至服务器；
下载模块，用于学习者根据自己的需要从服务器中打包下载目标语言国家的人上传的标准语音课程；
语音采集模块，用于采集学习者的测试语音信息，获得测试语音数据；
数据存储及检测模块，用于记录所述语音采集模块采集的测试语音数据，并对其进行分析，从中提取至少带有音素特征和韵律特征的特征参数，将所述特征参数与所述标准特征参数进行识别比对，获得能代表所述学习者发音错误的特征数据；
语音质量评分模块，用于对所述特征数据做进一步的判断，分析出错误级别，并结合错误级别对所述学习者的发音状况给予总体评分，将总体评分结果反馈给所述用户终端的显示界面；
课程评价模块，用于所述学习者查看自己的总体评分，并给予上传标准语音课程的所述发布者评价，所述评价包括赞许和反对；
所述数据存储及检测模块包括：
特征提取模块，用于从所述测试语音数据中提取带有音素特征和韵律特征的特征参数；
语音识别模块，用于基于神经网络模型对所述特征参数和标准特征参数进行识别比对，获得音素错误值和韵律错误值；
所述语音质量评分模块包括：
音素发音评分模块，用于对所述音素错误值做进一步的判断，分析出音素错误等级，给出音素质量总体评分；
韵律发音评分模块，用于对所述韵律错误值做进一步的判断，分析出音素错误等级，给出韵律质量总体评分；
所述音素特征包括元音音素特征和辅音音素特征，所述韵律特征包括韵律总体特征、流利程度以及语调特征。
2.根据权利要求1所述的一种人机交互式语言学习系统，其特征在于：所述用户终端还包括升级更新模块，用于给学习标准语音课程的所述学习者和获得赞许的所述发布者升级更新，升级更新后可以获得学习更多发布者的所述标准语音课程的权限和获得发布更多所述标准语音课程的权限。
3.根据权利要求1所述的一种人机交互式语言学习系统，其特征在于：所述用户终端还包括货币支付模块，用于通过第三方支付平台支付购买所述发布者发布的语音课程。
4.根据权利要求1所述的一种人机交互式语言学习系统，其特征在于：所述用户终端为手机、IPAD、电脑的其中之一。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310386003.9A CN103413550B (zh) | 2013-08-30 | 2013-08-30 | 一种人机交互式语言学习系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310386003.9A CN103413550B (zh) | 2013-08-30 | 2013-08-30 | 一种人机交互式语言学习系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103413550A CN103413550A (zh) | 2013-11-27 |
| CN103413550B true CN103413550B (zh) | 2017-08-29 |
Family
ID=49606553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310386003.9A Active CN103413550B (zh) | 2013-08-30 | 2013-08-30 | 一种人机交互式语言学习系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103413550B (zh) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104391688A (zh) * | 2014-11-04 | 2015-03-04 | 苏州阔地网络科技有限公司 | 一种教学资源处理方法及系统 |
| CN105469656A (zh) * | 2015-11-23 | 2016-04-06 | 东莞市凡豆信息科技有限公司 | 一种口语学习系统及该系统的运作方法 |
| CN105575197A (zh) * | 2015-12-18 | 2016-05-11 | 江苏易乐网络科技有限公司 | 一种具有防沉迷功能的在线学习系统 |
| CN105609098A (zh) * | 2015-12-18 | 2016-05-25 | 江苏易乐网络科技有限公司 | 一种基于互联网的在线学习系统 |
| CN105527827A (zh) * | 2016-01-13 | 2016-04-27 | 广东小天才科技有限公司 | 闹钟响铃的方法、装置及智能设备 |
| CN105551328A (zh) * | 2016-01-28 | 2016-05-04 | 北京聚力互信教育科技有限公司 | 基于移动交互和大数据分析的语言教学辅研同步集成系统 |
| CN107093347A (zh) * | 2016-02-18 | 2017-08-25 | 起鼓音乐文化有限公司 | 智能辅助打击乐学习系统及其方法 |
| CN106097792A (zh) * | 2016-07-06 | 2016-11-09 | 英华达（南京）科技有限公司 | 点读装置及其应用方法、终端设备、点读系统 |
| CN106448288A (zh) * | 2016-11-01 | 2017-02-22 | 安阳师范学院 | 一种交互式英语学习系统及方法 |
| US10319255B2 (en) * | 2016-11-08 | 2019-06-11 | Pearson Education, Inc. | Measuring language learning using standardized score scales and adaptive assessment engines |
| CN106355962A (zh) * | 2016-11-21 | 2017-01-25 | 临沂大学 | 一种音乐教学系统与方法 |
| CN106611048A (zh) * | 2016-12-20 | 2017-05-03 | 李坤 | 一种具有在线语音测评及语音交互功能的语言学习系统 |
| CN107067853B (zh) * | 2017-06-13 | 2019-04-02 | 深圳市鹰硕音频科技有限公司 | 一种基于网络的在线互动语言学习系统 |
| CN107240313A (zh) * | 2017-06-29 | 2017-10-10 | 北京易教阳光教育科技有限公司 | 一种在线学习系统及方法、服务器 |
| CN107203953B (zh) * | 2017-07-14 | 2021-05-28 | 深圳极速汉语网络教育有限公司 | 一种基于互联网、表情识别和语音识别的教学系统及其实现方法 |
| CN109801193B (zh) * | 2017-11-17 | 2020-09-15 | 深圳市鹰硕教育服务股份有限公司 | 一种具有语音评价功能的跟随教学系统 |
| CN108091185B (zh) * | 2018-01-12 | 2020-09-08 | 李勤骞 | 基于音节拼读的单词学习系统及其单词学习方法 |
| CN108806719A (zh) * | 2018-06-19 | 2018-11-13 | 合肥凌极西雅电子科技有限公司 | 交互式语言学习系统及其方法 |
| CN109039647A (zh) * | 2018-07-19 | 2018-12-18 | 深圳乐几科技有限公司 | 终端及其口语学习方法 |
| CN109032707A (zh) * | 2018-07-19 | 2018-12-18 | 深圳乐几科技有限公司 | 终端及其口语学习方法和装置 |
| CN108961856A (zh) * | 2018-07-19 | 2018-12-07 | 深圳乐几科技有限公司 | 口语学习方法和装置 |
| CN109036429A (zh) * | 2018-07-25 | 2018-12-18 | 浪潮电子信息产业股份有限公司 | 一种基于云服务的语音匹配评分查询方法及系统 |
| CN109378015B (zh) * | 2018-11-29 | 2023-07-25 | 西安交通大学 | 一种语音学习系统及方法 |
| CN109637543A (zh) * | 2018-12-12 | 2019-04-16 | 平安科技（深圳）有限公司 | 语音卡的语音数据处理方法和装置 |
| CN109817201B (zh) * | 2019-03-29 | 2021-03-26 | 北京金山安全软件有限公司 | 一种语言学习方法、装置、电子设备及可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101630448A (zh) * | 2008-07-15 | 2010-01-20 | 上海启态网络科技有限公司 | 语言学习客户端及系统 |
| CN101739870A (zh) * | 2009-12-03 | 2010-06-16 | 深圳先进技术研究院 | 交互式语言学习系统及交互式语言学习方法 |
| CN102262820A (zh) * | 2010-05-26 | 2011-11-30 | 田林梅 | 一种交互式外语学习方法 |
| CN102522010A (zh) * | 2011-12-06 | 2012-06-27 | 蓝鸽集团有限公司 | 家庭语言学习方法、装置及系统 |
| CN103136972A (zh) * | 2011-11-21 | 2013-06-05 | 学习时代公司 | 针对年轻学习者的基于计算机的语言浸入式教学 |
-
2013
- 2013-08-30 CN CN201310386003.9A patent/CN103413550B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101630448A (zh) * | 2008-07-15 | 2010-01-20 | 上海启态网络科技有限公司 | 语言学习客户端及系统 |
| CN101739870A (zh) * | 2009-12-03 | 2010-06-16 | 深圳先进技术研究院 | 交互式语言学习系统及交互式语言学习方法 |
| CN102262820A (zh) * | 2010-05-26 | 2011-11-30 | 田林梅 | 一种交互式外语学习方法 |
| CN103136972A (zh) * | 2011-11-21 | 2013-06-05 | 学习时代公司 | 针对年轻学习者的基于计算机的语言浸入式教学 |
| CN102522010A (zh) * | 2011-12-06 | 2012-06-27 | 蓝鸽集团有限公司 | 家庭语言学习方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103413550A (zh) | 2013-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103413550B (zh) | 一种人机交互式语言学习系统和方法 | |
| CN109949783B (zh) | 歌曲合成方法及系统 | |
| Saz et al. | Tools and technologies for computer-aided speech and language therapy | |
| CN110136691B (zh) | 一种语音合成模型训练方法、装置、电子设备及存储介质 | |
| CN107316638A (zh) | 一种诗词背诵评测方法及系统、一种终端及存储介质 | |
| CN109940627A (zh) | 一种面向绘本阅读机器人的人机交互方法和系统 | |
| CN103136971A (zh) | 语言音素的练习引擎 | |
| CN109326162A (zh) | 一种口语练习自动评测方法及装置 | |
| CN105609098A (zh) | 一种基于互联网的在线学习系统 | |
| KR102043419B1 (ko) | 아동언어학습을 위한 음성인식 기반 학습 시스템 및 학습방법 | |
| CN105706163A (zh) | 检测语音输入短语混淆风险 | |
| Lengeris | Prosody and second language teaching: Lessons from L2 speech perception and production research | |
| CN108806719A (zh) | 交互式语言学习系统及其方法 | |
| CN108431883A (zh) | 语言学习系统以及语言学习程序 | |
| KR20150038892A (ko) | 음성인식을 이용한 영어학습방법 | |
| US20140278428A1 (en) | Tracking spoken language using a dynamic active vocabulary | |
| CN104932862A (zh) | 基于语音识别的多角色交互方法 | |
| KR20190109651A (ko) | 인공지능 기반의 음성 모방 대화 서비스 제공 방법 및 시스템 | |
| CN109697975B (zh) | 一种语音评价方法及装置 | |
| TWI574254B (zh) | 用於電子系統的語音合成方法及裝置 | |
| KR20140087956A (ko) | 단어 및 문장과 이미지 데이터 그리고 원어민의 발음 데이터를 이용한 파닉스 학습장치 및 방법 | |
| JP2020515915A (ja) | 人間の発話のきめ細かな評価による発話言語スキルの教育および評価 | |
| KR20190113218A (ko) | 사용자 모국어 패턴 분석을 활용한 외국어 학습 방법 및 시스템 | |
| KR102292477B1 (ko) | 외국어 말하기 학습 서버 및 방법 | |
| CN105575197A (zh) | 一种具有防沉迷功能的在线学习系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |