CN109448463A - 基于虚拟现实技术的外语发音自主学习训练系统及其方法 - Google Patents

基于虚拟现实技术的外语发音自主学习训练系统及其方法 Download PDF

Info

Publication number
CN109448463A
CN109448463A CN201811635316.2A CN201811635316A CN109448463A CN 109448463 A CN109448463 A CN 109448463A CN 201811635316 A CN201811635316 A CN 201811635316A CN 109448463 A CN109448463 A CN 109448463A
Authority
CN
China
Prior art keywords
student
pronunciation
mouth
shape
speaks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811635316.2A
Other languages
English (en)
Inventor
孙大青
熊红芝
朱荣华
彭长德
王蕾
周健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Normal University
Original Assignee
Jiangsu Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Normal University filed Critical Jiangsu Normal University
Priority to CN201811635316.2A priority Critical patent/CN109448463A/zh
Publication of CN109448463A publication Critical patent/CN109448463A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/06Foreign languages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种基于虚拟现实技术的外语发音自主学习训练系统及其方法,可以通过此虚拟现实技术对外语发音进行自主的训练,可提高外语学习者语音发音的学习效率。本发明通过虚拟现实技术示教学生进行外语发音的学习,可以使学生进行自主学习的目的;通过虚拟现实技术可实现教师标准发音口型和学生发音口型的图像对比,使学生在自主学习过程中认识到每次的发音口型特点及发现其不足,同时可以对学生发音效果进行对比及分析进行评判,可提高外语学生口语学习的效率。

Description

基于虚拟现实技术的外语发音自主学习训练系统及其方法
技术领域
本发明涉外语教学领域,尤其是外语口语发音教学问题,具体是一种基于虚拟现实技术的外语发音自主学习训练系统。
背景技术
当前随着国家发展的推进,需要与各国建立相关的联系,这就需要大量的相关外语人才,外语人才的口语发音在日常交流中占有重要的地位,外语发音质量的程度在很大程度上影响了国际交流的合作,因此,外语口语发音的自我学习和训练在外语学习人群中有着巨大的市场。当前的外语学习主要靠学员听教师或者外界多媒体语音或视频进行讲解,学员跟着模仿,当前主要是听读的模式,训练方法单一。外语口语的发音与说话者的口型具有很大的关系,当发音口型不对时,很难达到标准正确的发音,目前学生在上课中一是训练机会较少,二是对发音口型问题掌握的不准确,缺少充足的指导,因此平时在学校训练的机会小且效果较差。
发明内容
本发明的目的是提供一种融合虚拟现实技术的外语发音自主学习训练系统,以解决现有传统方法学习外语口语发音教学方法效率低、学员发音口型不正确和发音不标准的问题。
一种基于虚拟现实技术的外语发音自主学习训练系统,其特征在于,包括
计算机、虚拟场景、口型传感器系统和语音采集系统、无线拖动示教器;
所述的计算机为虚拟场景的载体,同时计算机为外围口型传感器、语音采集系统、无线拖动示教器与虚拟场景的连接设备;
所述的虚拟场景是利用OpenGL在计算机中建立的可以完全反应现实外语口语教学场景特征的虚拟空间,在虚拟空间内具有至少包括授课一位教师、一位被授课学生、课桌和椅子等课堂上课的必要元素。
所述的口型传感器系统包括口型传感器、电桥电路、无线发射模块、微控制器和电源,具体是基于阵列式应变传感器的阵列式力传感器,可以根据阵列式力传感器的大小测试口型的变大大小,电桥电路是把应变传感器的变化转化为电压的变化,无线传感器模块是把应变传感器的信号传输到计算机中进行分析处理。
所述的语音采集系统包括麦克风、耳机、声卡等模块,麦克风采集学生的外语发音信息,然后通过声卡进行语音增强和转换,把信号传输到计算机系统,耳机起到监听外界噪声的作用。
一种基于虚拟现实技术的外语发音自主学习训练方法,包括以下步骤:
(1)、开启示教系统,进行系统的初始化,并检查系统各单元是否一切正常;
(2)、操作人员佩戴虚拟现实头戴式显示设备,手持无线拖动示教器,准备开始学习;
(3)、学员的口型状 态为闭合状态,与虚拟场景中虚拟教师和学生的口型初始状态相同,同时进行阵列式应变传感器输出电路输出信号清零;
(4)、操作人员手持无线拖动示教器,佩戴虚拟现实头戴式显示设备,在虚拟场景观看教师的发音示教过程,然后学生进行自己发音,虚拟场景内的学生模型按照口型传感器和语音采集系统采集到信息在虚拟场景中展现出学生的口型和发音信息,虚拟场景中的学生的口型和语音信息得以展现。
(5)、通过计算机分析,虚拟场景中展现了学生发音的口型,通过虚拟场景学生口型和教师口型的对比,可以展现学生发音口型的契合程度;虚拟场景中同时展现学生发音的语音信息,并与教师发音进行对比,最终虚拟场景中以文字的形式对学生发音和教师发音的形式进行对比和分析。
本发明提高了外语发音的学习效率,可以通过此虚拟现实技术对外语发音进行自主的训练,可提高外语学习者语音发音的学习效率。
与现有技术相比,本发明的有益效果体现在:
1.本发明通过虚拟现实技术示教学生进行外语发音的学习,可以使学生进行自主学习的目的
2.本发明通过虚拟现实技术可实现教师标准发音口型和学生发音口型的图像对比,使学生在自主学习过程中认识到每次的发音口型特点及发现其不足,同时可以对学生发音效果进行对比及分析进行评判,可提高外语学生口语学习的效率;
3.本发明利用虚拟现实技术,学习者学习方便,示教过程更直观。
附图说明
图1是本发明一种基于虚拟现实技术的外语发音自主学习训练系统结构框图;
图2是本发明一种基于虚拟现实技术的外语发音自主学习训练系统原理框图;
图3是本发明口型传感器原理框图;
图4是本发明一种基于虚拟现实技术的外语发音自主学习训练系统流程图。
具体实施方式
如图1-图3所示,一种基于虚拟现实技术的外语发音自主学习训练系统包括口型传感器系统、语音采集系统、无线拖动示教器、计算机和虚拟场景等组成。
所述计算机为虚拟场景的载体,同时也是外围实际检测硬件和虚拟场景连接的核心和纽带,计算机连接外围口型传感器系统、语音采集系统、无线拖动示教器,同时计算机输出信号连接虚拟场景设备,以便驱动输出相关虚拟场景信号。
所述的虚拟场景是利用OpenGL在计算机中建立的可以完全反应现实外语口语教学场景特征的虚拟空间,在虚拟空间内包括一位授课教师、一位被授课学生、课桌和椅子等课堂上课的必要元素,并且可以根据训练的不同要求添加建立新的虚拟模型,以适应不同学习场景的需要;
口型传感器系统包括口型传感器、电桥电路、无线发射模块、微控制器和电源,口型传感器具体是基于阵列式应变传感器的阵列式力传感器,有若干个应变片组成,如4、6、8个等等,学生进行发音学习时,把口型传感器应变片分别贴对称的贴到工作者嘴唇的上下两侧,当学生阅读发音时随着口型的长大,应变片所受力变大进行拉伸,通过后续电桥电路转换为电压,应变传感器的电阻值变化与口型的变化大小具有的一定的比例函数关系,由计算机根据电桥电路输入的电压可以计算出学生口型大小及其口型变化的过程。
语音采集系统包括麦克风、耳机、声卡等模块,学生阅读学习时麦克风采集学生的外语发音信息,然后通过声卡进行语音增强和转换,把信号传输到计算机系统,耳机起到监听外界噪声的作用。
所述无线拖动示教器连接电脑,主要由学生进行控制,发音学习前用来启动电脑虚拟场景的演示,一个单词或语句训练完用来重新启动下一步训练内容。
工作中,所述的学生学习人员佩戴头盔式显示设备,该设备将操作人员的对外界的视觉、听觉封闭,引导操作人员处于计算机中建立的虚拟场景中,然后学员按动无线拖动学习器启动计算机内的教学资源,教学资源在虚拟系统内以虚拟现实的形式展现给学生虚拟的真实场景,学生通过观看虚拟场景内老师的发音口型要点,然后学生进行学习发音,学生自己发音时,通过口型传感器系统和语音采集系统采集到学生的发音口型和语音信息,并通过计算机采集信息后在虚拟环境中以虚拟学生的身份再次还原和展现学生的发音信息,通过计算机对学生发音和标准发音的对比,虚拟场景内以图像的形式显示出学生发音口型和老师标准口型的对比结果,使学生认识到自己在发音口型上的不足,同时以声音的形式再次还原学生的发音,并与教师的发音进行对比,使学生认识到发音的不足之处。而且虚拟场景内以文字的形式对发音的口型和语音信息的不足进行总结,供学生进行认识和改进。
本发明提高了外语发音的学习效率,可以通过此虚拟现实技术对外语发音进行自主的训练,可提高外语学习者语音发音的学习效率。本发明通过虚拟现实技术示教学生进行外语发音的学习,可以使学生进行自主学习的目的;通过虚拟现实技术可实现教师标准发音口型和学生发音口型的图像对比,使学生在自主学习过程中认识到每次的发音口型特点及发现其不足,同时可以对学生发音效果进行对比及分析进行评判,可提高外语学生口语学习的效率;本发明利用虚拟现实技术,通过图像、声音、文字分别显示学员学习过程中的不足,学习者学习效率高、方便,示教过程直观;
如图2所示,本发明提供多种示教方法:
方案一:佩戴VR虚拟显示设备
(1)、开启示教系统,进行系统的初始化,并检查系统各单元是否一切正常;
(2)、操作人员佩戴虚拟现实头戴式显示设备,手持无线拖动示教器,准备开始学习;
(3)、学员的口型状态为闭合状态,与虚拟场景中虚拟教师和学生的口型初始状态相同,同时进行阵列式应变传感器输出电路输出信号的清零复位;
(4)、操作人员手持无线拖动示教器启动学习内容,在虚拟场景观看教师的发音示教过程,然后学生进行自己发音,虚拟场景内的学生模型按照真实学生所戴口型传感器系统和语音采集系统采集到信息在虚拟场景中通过虚拟学生展现出学生的发音口型和发音信息。
(5)、通过虚拟场景中展现的学生发音的口型和语音信息,通过虚拟场景学生口型和教师口型的对比,可以展现学生发音口型与教师标准发音口型的契合程度;虚拟场景中同时展现学生发音的语音信息,并与教师发音进行对比,更进一步揭示学生发音的不足之处。而且虚拟场景中以文字的形式对学生发音和教师发音的形式进行对比和分析,供学生参考以便以后进一步改进。
方案二:佩戴3D眼镜通过屏幕方式
(1)、开启示教系统,进行系统的初始化,并检查系统各单元是否一切正常;
(2)、学员面对一个3D大屏幕,大屏幕的信息有计算机输入,学习人员佩戴3D眼镜,手持无线拖动示教器,准备开始学习;
(3)、学员的口型状态为闭合状态,与虚拟场景中虚拟教师和学生的口型初始状态相同,同时进行阵列式应变传感器输出电路输出信号的清零复位;
(4)、操作人员手持无线拖动示教器启动学习内容,在虚拟场景观看教师的发音示教过程,然后学生进行自己发音,虚拟场景内的学生模型按照真实学生所戴口型传感器系统和语音采集系统采集到信息在虚拟场景中通过虚拟学生展现出学生的发音口型和发音信息。
(5)、通过虚拟场景中展现的学生发音的口型和语音信息,通过虚拟场景学生口型和教师口型的对比,可以展现学生发音口型与教师标准发音口型的契合程度;虚拟场景中同时展现学生发音的语音信息,并与教师发音进行对比,更进一步揭示学生发音的不足之处。而且虚拟场景中以文字的形式对学生发音和教师发音的形式进行对比和分析,供学生参考以便以后进一步改进。
本发明提高了外语发音的学习效率,可以通过此虚拟现实技术对外语发音进行自主的训练,可提高外语学习者语音发音的学习效率。

Claims (4)

1.一种基于虚拟现实技术的外语发音自主学习训练系统,其特征在于,包括
计算机、虚拟场景、口型传感器系统和语音采集系统、无线拖动示教器;
所述的计算机为虚拟场景的载体,同时计算机为外围口型传感器系统、语音采集系统、无线拖动示教器与虚拟场景的连接设备;
所述的虚拟场景是利用OpenGL在计算机中建立的可以完全反应现实外语口语教学场景特征的虚拟空间,在虚拟空间内具有至少包括授课一位教师、一位被授课学生、课桌和椅子。
2.根据权利要求1的一种基于虚拟现实技术的外语发音自主学习训练系统,其特征在于:所述的口型传感器系统包括口型传感器、电桥电路、无线发射模块、微控制器和电源,口型传感器是基于阵列式应变传感器的阵列式力传感器,学生口型的变化引起应变式传感器阻值的变化,通过电桥电路再转化为电压的变化,无线发射器模块是把应变传感器的输出电压信号传输到计算机中进行分析处理。
3.根据权利要求1的一种基于虚拟现实技术的外语发音自主学习训练系统,其特征在于:所述的语音采集系统包括麦克风、耳机、声卡等模块,麦克风采集学生的外语发音信息,然后通过声卡进行语音增强和转换,把信号传输到计算机系统,耳机起到监听外界噪声的作用。
4.一种基于虚拟现实技术的外语发音自主学习训练方法,其特征在于:包括以下步骤:
(1)、开启示教系统,进行系统的初始化,并检查系统各单元是否一切正常;
(2)、操作人员佩戴虚拟现实头戴式显示设备,手持无线拖动示教器,准备开始学习;
(3)、学员的口型状态为闭合状态,与虚拟场景中虚拟教师和学生的口型初始状态相同,同时进行阵列式应变传感器输出电路输出信号清零;
(4)、操作人员手持无线拖动示教器,佩戴虚拟现实头戴式显示设备,在虚拟场景观看教师的发音示教过程,然后学生进行自己发音,虚拟场景内的学生模型按照口型传感器和语音采集系统采集到信息在虚拟场景中展现出学生的口型和发音信息,虚拟场景中的学生的口型和语音信息得以展现;
(5)、通过计算机分析,虚拟场景中展现了学生发音的口型,通过虚拟场景学生口型和教师口型的对比,可以展现学生发音口型的契合程度;虚拟场景中同时展现学生发音的语音信息,并与教师发音进行对比,最终虚拟场景中以文字的形式对学生发音和教师发音的形式进行对比和分析。
CN201811635316.2A 2018-12-29 2018-12-29 基于虚拟现实技术的外语发音自主学习训练系统及其方法 Pending CN109448463A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811635316.2A CN109448463A (zh) 2018-12-29 2018-12-29 基于虚拟现实技术的外语发音自主学习训练系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811635316.2A CN109448463A (zh) 2018-12-29 2018-12-29 基于虚拟现实技术的外语发音自主学习训练系统及其方法

Publications (1)

Publication Number Publication Date
CN109448463A true CN109448463A (zh) 2019-03-08

Family

ID=65539719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811635316.2A Pending CN109448463A (zh) 2018-12-29 2018-12-29 基于虚拟现实技术的外语发音自主学习训练系统及其方法

Country Status (1)

Country Link
CN (1) CN109448463A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110085229A (zh) * 2019-04-29 2019-08-02 珠海景秀光电科技有限公司 智能虚拟外教信息交互方法及装置
CN110310531A (zh) * 2019-07-18 2019-10-08 李健 一种vr语言学习系统
CN110349448A (zh) * 2019-06-27 2019-10-18 杨晓谦 一种用于学习发音的智能系统
CN113782055A (zh) * 2021-07-15 2021-12-10 北京墨闻教育科技有限公司 基于学生特性的语音评定方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100007619A (ko) * 2008-07-14 2010-01-22 최동욱 포탈 사이트를 통한 양방향 유비쿼터스 교육시스템
CN105551327A (zh) * 2016-03-07 2016-05-04 浙江理工大学 一种基于柔性电子皮肤的互动式发音矫正系统及方法
CN106875764A (zh) * 2017-04-26 2017-06-20 北京大生在线科技有限公司 基于网络的虚拟现实外语学习系统及控制方法
CN108038461A (zh) * 2017-12-22 2018-05-15 河南工学院 交互式外语口型和舌型同时矫正的系统和方法
CN108537702A (zh) * 2018-04-09 2018-09-14 深圳市鹰硕技术有限公司 外语教学评价信息生成方法以及装置
CN108648526A (zh) * 2018-05-15 2018-10-12 刘光荣 一种美式英语音标发音训练系统
CN108881784A (zh) * 2017-05-12 2018-11-23 腾讯科技(深圳)有限公司 虚拟场景实现方法、装置、终端及服务器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100007619A (ko) * 2008-07-14 2010-01-22 최동욱 포탈 사이트를 통한 양방향 유비쿼터스 교육시스템
CN105551327A (zh) * 2016-03-07 2016-05-04 浙江理工大学 一种基于柔性电子皮肤的互动式发音矫正系统及方法
CN106875764A (zh) * 2017-04-26 2017-06-20 北京大生在线科技有限公司 基于网络的虚拟现实外语学习系统及控制方法
CN108881784A (zh) * 2017-05-12 2018-11-23 腾讯科技(深圳)有限公司 虚拟场景实现方法、装置、终端及服务器
CN108038461A (zh) * 2017-12-22 2018-05-15 河南工学院 交互式外语口型和舌型同时矫正的系统和方法
CN108537702A (zh) * 2018-04-09 2018-09-14 深圳市鹰硕技术有限公司 外语教学评价信息生成方法以及装置
CN108648526A (zh) * 2018-05-15 2018-10-12 刘光荣 一种美式英语音标发音训练系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110085229A (zh) * 2019-04-29 2019-08-02 珠海景秀光电科技有限公司 智能虚拟外教信息交互方法及装置
CN110349448A (zh) * 2019-06-27 2019-10-18 杨晓谦 一种用于学习发音的智能系统
CN110310531A (zh) * 2019-07-18 2019-10-08 李健 一种vr语言学习系统
CN113782055A (zh) * 2021-07-15 2021-12-10 北京墨闻教育科技有限公司 基于学生特性的语音评定方法及系统

Similar Documents

Publication Publication Date Title
CN109448463A (zh) 基于虚拟现实技术的外语发音自主学习训练系统及其方法
WO2019024247A1 (zh) 一种基于数据交换网络的在线教学考评系统及方法
Yaseen et al. Movie Effects on EFL Learners at Iraqi School in Kuala Lumpur.
CN112908355B (zh) 一种师范生教学技能量化评价系统及其方法
CN109830132A (zh) 一种外语语言教学系统及教学应用方法
CN107274736B (zh) 一种校园互动式英语口语语音教学装置
CN109102727A (zh) 一种虚拟现实教学设备
Sidgi et al. The usefulness of automatic speech recognition (ASR) eyespeak software in improving Iraqi EFL students’ pronunciation
CN110427977B (zh) 一种课堂互动行为的检测方法
CN108320625A (zh) 面向言语康复的震动反馈系统及装置
CN105551327A (zh) 一种基于柔性电子皮肤的互动式发音矫正系统及方法
CN110444061A (zh) 物联网教学一体机
CN106803377A (zh) 一种英语学习管理机器人
CN109215419A (zh) 教育机器人及体验式教学系统
Liu et al. An interactive speech training system with virtual reality articulation for Mandarin-speaking hearing impaired children
CN108320613A (zh) 一种交互式音乐教学系统
CN203870835U (zh) 一种基于电子白板的互动教学系统
CN110349454A (zh) 一种大学英语教学口语教学师生互动教学终端
CN102663927A (zh) 基于视频与三维路径规划的中国手语标准化训练学习方法
CN206907294U (zh) 一种聋哑人专用交流眼镜
CN101409022A (zh) 具口型比对的语言学习系统及方法
CN114141075A (zh) 一种基于计算机的智能教学系统及其教学方法
TWM600921U (zh) 學習軌跡分析系統
KR20160074072A (ko) 농아학교를 위한 실시간 교육 시스템
CN205230391U (zh) 一种可培养学生听说读写的英语专用设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190308