CN109064799A - 一种基于虚拟现实的语言培训系统及方法 - Google Patents

一种基于虚拟现实的语言培训系统及方法 Download PDF

Info

Publication number
CN109064799A
CN109064799A CN201811014352.7A CN201811014352A CN109064799A CN 109064799 A CN109064799 A CN 109064799A CN 201811014352 A CN201811014352 A CN 201811014352A CN 109064799 A CN109064799 A CN 109064799A
Authority
CN
China
Prior art keywords
module
user
curriculum
unit
course
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811014352.7A
Other languages
English (en)
Inventor
曹诚浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhu Yuan Mdt Infotech Ltd
Original Assignee
Suzhou Zhu Yuan Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhu Yuan Mdt Infotech Ltd filed Critical Suzhou Zhu Yuan Mdt Infotech Ltd
Priority to CN201811014352.7A priority Critical patent/CN109064799A/zh
Publication of CN109064799A publication Critical patent/CN109064799A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Abstract

本发明公开了一种基于虚拟现实的语言培训系统及方法，其涉及虚拟现实技术领域，旨在解决现有的外语教学方式使得学生的外语学习效率和外语学习效果不佳的问题。其技术方案要点是，包括VR交互装置、与VR交互装置相连的VR眼镜及语音交流设备，VR交互装置包括多个课程模块，每一课程模块均对应有课程虚拟场景和课程虚拟人物；使用者通过VR眼镜即可观看到与课程模块对应的课程虚拟场景以及课程虚拟人物，通过语音交流设备即可与对应的课程虚拟人物进行实时的语音交流；当语音交流设备识别使用者的语音失败时，使用者会看到相应的提示信息，为使用者营造了一个能够身临其境的虚拟交流环境，具有能够有效提高学习效率和学习效果的优点。

Description

一种基于虚拟现实的语言培训系统及方法
技术领域
本发明涉及虚拟现实技术领域，更具体地说，它涉及一种基于虚拟现实的语言培训系统及方法。
背景技术
虚拟现实技术（VR）是一种可以创建和体验虚拟世界的计算机仿真系统，其综合了计算机图形技术、计算机仿真技术、传感器技术、显示技术等多种科学技术，在多维信息空间上创建了一个虚拟信息环境，能使用户具有身临其境的沉浸感。
在全球一体化和知识经济快速发展的背景下，除掌握自己的母语以外，越来越多的人希望掌握一门或多门外语，尤其是希望能够用标准的外语进行顺畅的沟通和交流。在现有的外语教学中，学生基本都是通过课本或者看视频，来学习某一个场景下的外语使用方式，或是通过点读笔、学习机或网上视频聊天等方式来进行口语的训练。
但是，上述外语的学习方式都无法为学生营造一个全沉浸式的语言学习环境，不能形成一种直接地互动，很容易使学生在学习的时候分心，从而使得学习效率和效果不佳，此问题有待解决。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种基于虚拟现实的语言培训系统，其具有能够有效提高学习效率和学习效果的优势。
为实现上述目的，本发明提供了如下技术方案：
一种基于虚拟现实的语言培训系统，包括：
VR交互装置，所述VR交互装置包括多个课程模块，每一所述课程模块均对应有课程虚拟场景和课程虚拟人物；
与所述VR交互装置相连、用于展示所述课程模块对应的课程虚拟场景以及课程虚拟人物的VR眼镜；以及，
与所述VR交互装置相连、用于供使用者与对应的所述课程虚拟人物进行语音交流的语音交流设备；
其中，所述语音交流设备包括用于识别使用者语音的语音识别模块，所述语音识别模块还用于在识别使用者的语音失败时，向所述VR交互装置发送控制VR眼镜向使用者展示提示信息的控制信号。
通过采用上述技术方案，使用者通过VR眼镜即可观看到与课程模块对应的课程虚拟场景以及课程虚拟人物，通过语音交流设备即可与对应的课程虚拟人物进行实时的语音交流。当语音交流设备识别使用者的语音失败时，使用者会通过VR眼镜看到相应的提示信息，为使用者营造了一个能够身临其境的虚拟交流环境，具有能够有效提高学习效果和学习效率的效果。
进一步地，所述语音识别模块包括转化单元、对比单元和判断单元；所述转化单元用于将语音识别模块采集的语音数据转化为文字信息；所述对比单元用于将转化单元转化的文字信息与语音识别模块中设定的文字信息进行对比；所述对比单元还用于当转化单元转化的文字信息与语音识别模块中设定的文字信息一致时输出1，不一致时输出0；所述判断单元用于当对比单元输出0时，向所述VR交互装置发送控制所述VR眼镜向使用者展示提示信息的控制信号。
通过采用上述技术方案，转化单元能将语音识别模块采集的语音数据转化为文字信息，通过对比单元将转化单元转化的文字信息与语音识别模块中设定的文字信息进行对比，即可方便判断是否成功识别使用者的语音，具有方便判断的效果。
进一步地，所述语音交流设备还包括语音输出模块和标准语音模块，所述判断模块还用于当对比单元输出0时，向所述VR交互装置发送控制所述VR眼镜向使用者展示选择对话框的控制信号；所述标准语音模块用于当使用者对选择对话框进行选择操作后，控制所述语音输出模块输出对应的标准语音信息。
通过采用上述技术方案，当使用者对选择对话框进行选择操作后，语音输出模块能够发出标准语音，从而为使用者做了一个参考，进一步提高了学习效率和学习效果。
进一步地，所述VR交互装置还包括分级模块，所述课程模块还包括触发单元和解锁单元；所述分级模块用于将多个课程模块进行顺序编号，所述解锁单元用于将对应的课程模块中的课程进行解锁；所述触发单元用于当编号为n的所述课程模块的课程结束时，控制编号为n+1的所述课程模块的解锁单元运行，编号为n的所述课程模块和编号为n+1的所述课程模块为多个课程模块中编号相邻的两个；其中，编号为1的所述课程模块的解锁单元初始状态下处于运行状态，编号大于1的所述课程模块的解锁单元初始状态下处于关闭状态。
通过采用上述技术方案，课程模块能够根据使用者的学习情况依次解锁，有助于使用者对语言课程的有序学习，从而进一步的增加了使用者对语言的学习效果。
进一步地，所述VR交互装置还包括存储模块，所述存储模块用于记录已解锁的课程模块所对应的编号；所述存储模块还用于当所述VR交互装置重启时，控制与记录的编号对应的所述课程模块的解锁单元运行。
通过采用上述技术方案，以解锁的课程模块不会被重复锁定，有助于使用者下一次的学习。另一方面，重启系统后，使用者也可以根据自身的学习进度情况继续进行学习。
进一步地，所述VR交互装置上设置有用于拍摄使用者的动作画面的摄像头，所述VR交互装置还包括动作识别模块，所述语音交流设备还包括语音录入模块；所述语音录入模块用于录入使用者在进行课程学习时的语音信息；所述动作识别模块用于根据摄像头拍摄的使用者的动作画面，生成与使用者的动作匹配的用户虚拟人物；所述动作识别模块还用于将生成的用户虚拟人物和语音录入模块中对应的语音信息整合形成回放视频信息，所述回放视频信息存储于存储模块中。
通过采用上述技术方案，使用者可以根据回放视频信息观看到自己在学习时的整体表现，包括发音、肢体动作等，有助于使用者对自身的不足进行改进，进一步提高了学习效果。
进一步地，所述动作识别模块包括有效区域检测单元、动作特征提取单元和特征处理单元；所述有效区域检测单元用于从摄像头拍摄的使用者动作画面中分离出使用者所处的有效区域，所述动作特征提取单元用于根据使用者的肢体动作提取出动作信息，所述特征处理单元用于根据动作特征提取单元提取的动作信息生成用户虚拟人物。
通过采用上述技术方案，便于动作识别模块提取出使用者的动作信息，从而方便生成动态的用户虚拟形象，具有能够供使用者进行生动形象的回看的作用。
本发明的另一目的在于提供一种基于上述的基于虚拟现实的语言培训系统的基于虚拟现实的语言培训方法，其具有能够有效提高学习效率和学习效果的优势。
一种基于虚拟现实的语言培训方法，所述基于虚拟现实的语言培训方法基于上述的基于虚拟现实的语言培训系统，包括：
通过所述VR交互装置和所述VR眼镜观看与课程模块对应的课程虚拟场景和课程虚拟人物；
通过所述语音交流设备与课程模块对应的课程虚拟人物进行实时的语音交流；
当编号为n的所述课程模块的课程结束时，通过编号为n的所述课程模块的触发单元控制编号为n+1的课程模块的解锁单元运行。
通过采用上述技术方案，使用者通过VR交互装置和VR眼镜即可观看到与课程模块对应的课程虚拟场景以及课程虚拟人物，通过语音交流设备即可与对应的课程虚拟人物进行实时的语音交流。当当前课程结束后即可进行下一课程的学习，从而为使用者营造了一个能够身临其境的虚拟交流环境，具有能够有效提高学习效果和学习效率的效果。
进一步地，通过所述语音交流设备与课程模块对应的课程虚拟人物进行实时的语音交流具体包括：
通过所述语音交流设备的语音识别模块识别使用者与课程模块对应的课程虚拟人物进行实时语音交流时的语音，当所述语音识别模块识别使用者的语音失败时，所述VR交互装置通过所述VR眼镜向使用者展示提示信息。
通过采用上述技术方案，能够提醒使用者其发音错误，需要重新发音。
进一步地，确定所述语音识别模块识别使用者的语音失败具体包括：
通过所述转化单元将语音识别模块采集的语音数据转化为文字信息，通过所述对比单元将转化单元转化的文字信息与语音识别模块中设定的文字信息进行对比；
当所述转化单元转化的文字信息与语音识别模块中设定的文字信息一致时，所述对比单元输出1；当所述转化单元转化的文字信息与语音识别模块中设定的文字信息不一致时，所述对比单元输出0；当所述对比单元输出0时，确定所述语音识别模块识别使用者的语音失败。
通过采用上述技术方案，对比单元将转化单元转化的文字信息与语音识别模块中设定的文字信息进行对比，从而方便判断系统是否成功识别使用者的语音，以便于进入下一步操作。
综上所述，本发明具有以下有益效果：
1、通过VR交互装置、VR眼镜和语音交流设备的设置，能够起到提高学习效率和学习效果的作用；
2、通过转化单元、对比单元和判断单元的设置，能够起到方便系统判断是否成功识别语音的作用；
3、通过分级模块、触发单元和解锁单元的设置，能够起到方便使用者有序的进行课程学习的作用；
4、通过摄像头、动作识别模块和语音录入模块的设置，能够起到方便使用者对自己学习时的实时情况进行回看的作用。
附图说明
图1为实施例1中用于体现基于虚拟现实的语言培训系统的整体结构的示意图；
图2为实施例1中用于体现VR交互装置的结构的示意图；
图3为实施例1中用于体现课程模块的结构的示意图；
图4为实施例1中用于体现动作识别模块的结构的示意图；
图5为实施例1中用于体现语音交流设备的结构的示意图；
图6为实施例1中用于体现语音识别模块的结构的示意图。
图中：100、VR交互装置；101、课程模块；102、分级模块；103、触发单元；104、解锁单元；105、存储模块；106、动作识别模块；107、有效区域检测单元；108、动作特征提取单元；109、特征处理单元；200、VR眼镜；300、语音交流设备；301、语音输出模块；302、标准语音模块；303、语音录入模块；400、语音识别模块；401、转化单元；402、对比单元；403、判断单元；500、摄像头。
具体实施方式
以下结合附图对本发明作进一步详细说明。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。
实施例1：
一种基于虚拟现实的语言培训系统，参照图1和图2，其包括VR交互装置100、VR眼镜200、语音交流设备300和用于拍摄使用者的动作画面的摄像头500。VR交互装置100包括多个课程模块101，每一个课程模块101均对应有课程虚拟场景和课程虚拟人物。VR眼镜200与VR交互装置100相连，用于展示课程模块101对应的课程虚拟场景以及课程虚拟人物。语音交流设备300与VR交互装置100相连，用于供使用者与对应的课程虚拟人物进行语音交流。
参照图2和图3，VR交互装置100包括分级模块102，课程模块101还包括触发单元103和解锁单元104。分级模块102用于将多个课程模块101进行顺序编号，解锁单元104用于将对应的课程模块101中的课程进行解锁，课程模块101的编号为大于0的正整数。当编号为n的课程模块101的课程学习结束时，触发单元103控制编号为n+1的课程模块101的解锁单元104运行。在本实施例中，编号为n的课程模块101和编号为n+1的课程模块101为多个课程模块101中编号相邻的两个。需要说明的是，编号为1的课程模块101的解锁单元104在初始状态下处于运行状态，编号大于1的课程模块101的解锁单元104在初始状态下处于关闭状态。
参照图2和图3，VR交互装置100还包括存储模块105，当课程模块101解锁时，与该课程模块101对应的编号被存储在存储模块105中。当VR交互装置100关机后有启动或重启时，存储模块105控制与其记录的编号相对应的课程模块101的解锁单元104运行。需要说明的是，每个使用者均对应有不同的登录帐号，每个登录帐号所对应的已解锁课程模块101的编号相互独立，即使用者登录帐号后，与该帐号对应的已解锁的课程模块101会自动解锁。
参照图2和图5，VR交互装置100还包括动作识别模块106，语音交流设备300包括语音录入模块303。语音录入模块303用于录入使用者在进行课程学习时的语音信息，动作识别模块106用于根据摄像头500（参照图1）拍摄的使用者的动作画面，生成与使用者的动作匹配的用户虚拟人物。动作识别模块106还用于将生成的用户虚拟人物和语音录入模块303中对应的语音信息整合形成回放视频信息，回放视频信息存储于存储模块105中。优选的是，回放视频信息与课程模块101一一对应，且回放视频为与对应课程模块101中的课程虚拟场景、课程虚拟人物以及课程语音整合后的视频，以便于使用者回看自己学习时的情况。
参照图4和图5，动作识别模块106包括有效区域检测单元107、动作特征提取单元108和特征处理单元109。有效区域检测单元107用于从摄像头500（参照图1）拍摄的使用者动作画面中分离出使用者所处的有效区域，动作特征提取单元108用于根据使用者在有效区域内的肢体动作提取出使用者的动作信息，特征处理单元109用于根据动作特征提取单元108提取的动作信息生成与使用者对应的用户虚拟人物。在本实施例中，特征处理单元109生成的用户虚拟人物具有相应的动作，且生成的用户虚拟人物与语音录入模块303中对应的语音信息匹配。
参照图5和图6，语音交流设备300包括用于识别使用者语音的语音识别模块400，语音识别模块400包括转化单元401、对比单元402和判断单元403。转化单元401用于将语音识别模块400采集的语音数据转化为相应的文字信息，对比单元402用于将转化单元401转化的文字信息与语音识别模块400中设定的文字信息进行对比。当转化单元401转化的文字信息与语音识别模块400中设定的文字信息一致时，对比单元402输出1；当转化单元401转化的文字信息与语音识别模块400中设定的文字信息不一致时，对比单元402输出0，即语音识别模块400识别使用者的语音失败。当对比单元402输出0时，判断单元403向VR交互装置100（参照图1）发送控制VR眼镜200（参照图1）向使用者展示提示信息的控制信号。
参照图5和图6，语音交流设备300还包括语音输出模块301和标准语音模块302。当对比单元402输出0时，判断模块向VR交互装置100（参照图1）发送控制VR眼镜200（参照图1）向使用者展示选择对话框的控制信号。当使用者对选择对话框进行选择操作后，标准语音模块302控制语音输出模块301输出对应的标准语音信息，即标准回答的发音。
工作原理如下：
初始状态时，VR交互装置100通过VR眼镜200向使用者展示与课程模块101对应的课程虚拟场景以及课程虚拟人物，使用者可通过语音交流设备300与对应的课程虚拟人物进行实时的语音交流。
使用者在与课程虚拟人物进行实时语音交流的过程中，若语音识别模块400识别使用者的语音失败时，VR交互装置100会通过VR眼镜200向使用者展示语音识别错误的提示信息，从而引导使用者重新发音。
在VR交互装置100通过VR眼镜200向使用者展示语音识别错误的提示信息时，也会通过VR眼镜200向使用者展示选择对话框。当使用者对选择对话框进行选择操作后，标准语音模块302控制语音输出模块301输出对应的标准语音信息，从而为使用者作一个正确发音的示范。
当使用者完成编号为n的课程模块101的课程学习时，触发单元103控制编号为n+1的课程模块101的解锁单元104运行，从而使得使用者可以继续进行下一个课程的学习。当使用者完成课程模块101的课程学习时，存储模块105会记录该课程模块101所对应的编号，从而在系统重启或关闭后开启时，存储模块105能够自动将已经记录的编号所对应的课程进行解锁。
当使用者完成某一课程模块101的课程学习时，动作识别模块106会将其生成的用户虚拟人物与语音录入模块303中对应的语音信息、对应课程模块101中的课程虚拟场景、对应课程模块101中的课程虚拟人物以及对应课程模块101中的课程语音整合形成与课程模块101一一对应的回放视频信息并存入存储模块105中，以供使用者课后观看。
实施例2：
一种基于实施例1中基于虚拟现实的语言培训系统的基于虚拟现实的语言培训方法，参照图1和图6，其包括
通过VR交互装置100和VR眼镜200观看与课程模块101（参照图2）对应的课程虚拟场景和课程虚拟人物；
通过语音交流设备300的语音识别模块400识别使用者与课程模块101对应的课程虚拟人物进行实时语音交流时的语音，通过转化单元401将语音识别模块400采集的语音数据转化为文字信息，通过对比单元402将转化单元401转化的文字信息与语音识别模块400中设定的文字信息进行对比；
当转化单元401转化的文字信息与语音识别模块400中设定的文字信息一致时，对比单元402输出1；当转化单元401转化的文字信息与语音识别模块400中设定的文字信息不一致时，对比单元402输出0，即确定语音识别模块400识别使用者的语音失败；
当语音识别模块400识别使用者的语音失败时，VR交互装置100通过VR眼镜200向使用者展示语音识别失败的提示信息；
当编号为n的课程模块101的课程结束时，通过编号为n的课程模块101的触发单元103（参照图3）控制编号为n+1的课程模块101的解锁单元104（参照图3）运行；
当使用者完成某一课程模块101的课程学习时，动作识别模块106（参照图2）将其生成的用户虚拟人物和语音录入模块303（参照图5）中对应的语音信息整合形成回放视频信息并存入存储模块105中，回放视频信息与课程模块101一一对应。

Claims (10)

1.一种基于虚拟现实的语言培训系统，其特征在于，包括：
VR交互装置(100)，所述VR交互装置(100)包括多个课程模块(101)，每一所述课程模块(101)均对应有课程虚拟场景和课程虚拟人物；
与所述VR交互装置(100)相连、用于展示所述课程模块(101)对应的课程虚拟场景以及课程虚拟人物的VR眼镜(200)；以及，
与所述VR交互装置(100)相连、用于供使用者与对应的所述课程虚拟人物进行语音交流的语音交流设备(300)；
其中，所述语音交流设备(300)包括用于识别使用者语音的语音识别模块(400)，所述语音识别模块(400)还用于在识别使用者的语音失败时，向所述VR交互装置(100)发送控制VR眼镜(200)向使用者展示提示信息的控制信号。
2.根据权利要求1所述的基于虚拟现实的语言培训系统，其特征在于：所述语音识别模块(400)包括转化单元(401)、对比单元(402)和判断单元(403)；所述转化单元(401)用于将语音识别模块(400)采集的语音数据转化为文字信息；所述对比单元(402)用于将转化单元(401)转化的文字信息与语音识别模块(400)中设定的文字信息进行对比；所述对比单元(402)还用于当转化单元(401)转化的文字信息与语音识别模块(400)中设定的文字信息一致时输出1，不一致时输出0；所述判断单元(403)用于当对比单元(402)输出0时，向所述VR交互装置(100)发送控制所述VR眼镜(200)向使用者展示提示信息的控制信号。
3.根据权利要求2所述的基于虚拟现实的语言培训系统，其特征在于：所述语音交流设备(300)还包括语音输出模块(301)和标准语音模块(302)，所述判断模块还用于当对比单元(402)输出0时，向所述VR交互装置(100)发送控制所述VR眼镜(200)向使用者展示选择对话框的控制信号；所述标准语音模块(302)用于当使用者对选择对话框进行选择操作后，控制所述语音输出模块(301)输出对应的标准语音信息。
4.根据权利要求2所述的基于虚拟现实的语言培训系统，其特征在于：所述VR交互装置(100)还包括分级模块(102)，所述课程模块(101)还包括触发单元(103)和解锁单元(104)；所述分级模块(102)用于将多个课程模块(101)进行顺序编号，所述解锁单元(104)用于将对应的课程模块(101)中的课程进行解锁；所述触发单元(103)用于当编号为n的所述课程模块(101)的课程结束时，控制编号为n+1的所述课程模块(101)的解锁单元(104)运行，编号为n的所述课程模块(101)和编号为n+1的所述课程模块(101)为多个课程模块(101)中编号相邻的两个；
其中，编号为1的所述课程模块(101)的解锁单元(104)初始状态下处于运行状态，编号大于1的所述课程模块(101)的解锁单元(104)初始状态下处于关闭状态。
5.根据权利要求4所述的基于虚拟现实的语言培训系统，其特征在于：所述VR交互装置(100)还包括存储模块(105)，所述存储模块(105)用于记录已解锁的课程模块(101)所对应的编号；所述存储模块(105)还用于当所述VR交互装置(100)重启时，控制与记录的编号对应的所述课程模块(101)的解锁单元(104)运行。
6.根据权利要求5所述的基于虚拟现实的语言培训系统，其特征在于：所述VR交互装置(100)上设置有用于拍摄使用者的动作画面的摄像头(500)，所述VR交互装置(100)还包括动作识别模块(106)，所述语音交流设备(300)还包括语音录入模块(303)；所述语音录入模块(303)用于录入使用者在进行课程学习时的语音信息；所述动作识别模块(106)用于根据摄像头(500)拍摄的使用者的动作画面，生成与使用者的动作匹配的用户虚拟人物；所述动作识别模块(106)还用于将生成的用户虚拟人物和语音录入模块(303)中对应的语音信息整合形成回放视频信息，所述回放视频信息存储于存储模块(105)中。
7.根据权利要求6所述的基于虚拟现实的语言培训系统，其特征在于：所述动作识别模块(106)包括有效区域检测单元(107)、动作特征提取单元(108)和特征处理单元(109)；所述有效区域检测单元(107)用于从摄像头(500)拍摄的使用者动作画面中分离出使用者所处的有效区域，所述动作特征提取单元(108)用于根据使用者的肢体动作提取出动作信息，所述特征处理单元(109)用于根据动作特征提取单元(108)提取的动作信息生成用户虚拟人物。
8.一种基于虚拟现实的语言培训方法，其特征在于，所述基于虚拟现实的语言培训方法基于权利要求4中所述的基于虚拟现实的语言培训系统，包括：
通过所述VR交互装置(100)和所述VR眼镜(200)观看与课程模块(101)对应的课程虚拟场景和课程虚拟人物；
通过所述语音交流设备(300)与课程模块(101)对应的课程虚拟人物进行实时的语音交流；
当编号为n的所述课程模块(101)的课程结束时，通过编号为n的所述课程模块(101)的触发单元(103)控制编号为n+1的课程模块(101)的解锁单元(104)运行。
9.根据权利要求8所述的基于虚拟现实的语言培训方法，其特征在于：通过所述语音交流设备(300)与课程模块(101)对应的课程虚拟人物进行实时的语音交流具体包括：
通过所述语音交流设备(300)的语音识别模块(400)识别使用者与课程模块(101)对应的课程虚拟人物进行实时语音交流时的语音，当所述语音识别模块(400)识别使用者的语音失败时，所述VR交互装置(100)通过所述VR眼镜(200)向使用者展示提示信息。
10.根据权利要求9所述的基于虚拟现实的语言培训方法，其特征在于：确定所述语音识别模块(400)识别使用者的语音失败具体包括：
通过所述转化单元(401)将语音识别模块(400)采集的语音数据转化为文字信息，通过所述对比单元(402)将转化单元(401)转化的文字信息与语音识别模块(400)中设定的文字信息进行对比；
当所述转化单元(401)转化的文字信息与语音识别模块(400)中设定的文字信息一致时，所述对比单元(402)输出1；当所述转化单元(401)转化的文字信息与语音识别模块(400)中设定的文字信息不一致时，所述对比单元(402)输出0；当所述对比单元(402)输出0时，确定所述语音识别模块(400)识别使用者的语音失败。
CN201811014352.7A 2018-08-31 2018-08-31 一种基于虚拟现实的语言培训系统及方法 Pending CN109064799A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811014352.7A CN109064799A (zh) 2018-08-31 2018-08-31 一种基于虚拟现实的语言培训系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811014352.7A CN109064799A (zh) 2018-08-31 2018-08-31 一种基于虚拟现实的语言培训系统及方法

Publications (1)

Publication Number Publication Date
CN109064799A true CN109064799A (zh) 2018-12-21

Family

ID=64758270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811014352.7A Pending CN109064799A (zh) 2018-08-31 2018-08-31 一种基于虚拟现实的语言培训系统及方法

Country Status (1)

Country Link
CN (1) CN109064799A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110176284A (zh) * 2019-05-21 2019-08-27 杭州师范大学 一种基于虚拟现实的言语失用症康复训练方法
CN110189558A (zh) * 2019-06-24 2019-08-30 河南大学民生学院 一种播音主持训练装置
CN110618757A (zh) * 2019-09-23 2019-12-27 北京大米科技有限公司 在线教学控制方法、装置和电子设备
CN110957021A (zh) * 2019-08-07 2020-04-03 上海市精神卫生中心（上海市心理咨询培训中心） 一种针对自闭症患者的逻辑思维能力训练方法及系统
CN111243063A (zh) * 2020-01-12 2020-06-05 杭州电子科技大学 一种基于虚拟现实的保密宣传教育培训系统及其实现方法
CN111638781A (zh) * 2020-05-15 2020-09-08 广东小天才科技有限公司 基于ar的发音引导方法、装置、电子设备及存储介质
CN112489508A (zh) * 2020-12-25 2021-03-12 广州狄卡视觉科技有限公司 一种适用于读写障碍患者的交互培训系统
CN113674748A (zh) * 2021-08-30 2021-11-19 疯壳(深圳)科技有限公司 一种可触发虚拟成像系统
CN114530073A (zh) * 2022-02-24 2022-05-24 宁波中联人力资源开发有限公司 基于虚拟现实的培训方法及装置
US11887499B2 (en) 2021-03-09 2024-01-30 Ailin SHA Virtual-scene-based language-learning system and device thereof

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101086807A (zh) * 2006-06-06 2007-12-12 林能敬 进阶式网络教学系统及方法
CN101625799A (zh) * 2008-07-07 2010-01-13 梁昌年 用于个性化学习的界面
CN101719319A (zh) * 2009-12-09 2010-06-02 袁建新 螺旋教学系统
CN103366618A (zh) * 2013-07-18 2013-10-23 梁亚楠 基于人工智能与虚拟现实用于汉语学习培训的场景设备
CN106355960A (zh) * 2016-11-02 2017-01-25 河南理工大学 一种交互式英语学习系统及方法
CN106531182A (zh) * 2016-12-16 2017-03-22 上海斐讯数据通信技术有限公司 一种语言学习系统
CN106993195A (zh) * 2017-03-24 2017-07-28 广州创幻数码科技有限公司 虚拟人物角色直播方法及系统
CN107403011A (zh) * 2017-08-01 2017-11-28 三星电子（中国）研发中心 虚拟现实环境语言学习实现方法和自动录音控制方法
CN107424450A (zh) * 2017-08-07 2017-12-01 英华达（南京）科技有限公司 发音纠正系统和方法
CN107464476A (zh) * 2017-09-03 2017-12-12 佛山神航科技有限公司 一种辅助英语学习的工具
CN108153415A (zh) * 2017-12-22 2018-06-12 歌尔科技有限公司 虚拟现实语言教学交互方法和虚拟现实设备
CN108268128A (zh) * 2017-01-03 2018-07-10 天津港焦炭码头有限公司 一种安全生产应急预案3dvr虚拟现实演练系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101086807A (zh) * 2006-06-06 2007-12-12 林能敬 进阶式网络教学系统及方法
CN101625799A (zh) * 2008-07-07 2010-01-13 梁昌年 用于个性化学习的界面
CN101719319A (zh) * 2009-12-09 2010-06-02 袁建新 螺旋教学系统
CN103366618A (zh) * 2013-07-18 2013-10-23 梁亚楠 基于人工智能与虚拟现实用于汉语学习培训的场景设备
CN106355960A (zh) * 2016-11-02 2017-01-25 河南理工大学 一种交互式英语学习系统及方法
CN106531182A (zh) * 2016-12-16 2017-03-22 上海斐讯数据通信技术有限公司 一种语言学习系统
CN108268128A (zh) * 2017-01-03 2018-07-10 天津港焦炭码头有限公司 一种安全生产应急预案3dvr虚拟现实演练系统
CN106993195A (zh) * 2017-03-24 2017-07-28 广州创幻数码科技有限公司 虚拟人物角色直播方法及系统
CN107403011A (zh) * 2017-08-01 2017-11-28 三星电子（中国）研发中心 虚拟现实环境语言学习实现方法和自动录音控制方法
CN107424450A (zh) * 2017-08-07 2017-12-01 英华达（南京）科技有限公司 发音纠正系统和方法
CN107464476A (zh) * 2017-09-03 2017-12-12 佛山神航科技有限公司 一种辅助英语学习的工具
CN108153415A (zh) * 2017-12-22 2018-06-12 歌尔科技有限公司 虚拟现实语言教学交互方法和虚拟现实设备

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110176284A (zh) * 2019-05-21 2019-08-27 杭州师范大学 一种基于虚拟现实的言语失用症康复训练方法
CN110189558A (zh) * 2019-06-24 2019-08-30 河南大学民生学院 一种播音主持训练装置
CN110957021A (zh) * 2019-08-07 2020-04-03 上海市精神卫生中心（上海市心理咨询培训中心） 一种针对自闭症患者的逻辑思维能力训练方法及系统
CN110618757A (zh) * 2019-09-23 2019-12-27 北京大米科技有限公司 在线教学控制方法、装置和电子设备
CN111243063B (zh) * 2020-01-12 2023-11-07 杭州电子科技大学 基于虚拟现实的保密宣传教育培训系统及其实现方法
CN111243063A (zh) * 2020-01-12 2020-06-05 杭州电子科技大学 一种基于虚拟现实的保密宣传教育培训系统及其实现方法
CN111638781A (zh) * 2020-05-15 2020-09-08 广东小天才科技有限公司 基于ar的发音引导方法、装置、电子设备及存储介质
CN111638781B (zh) * 2020-05-15 2024-03-19 广东小天才科技有限公司 基于ar的发音引导方法、装置、电子设备及存储介质
CN112489508A (zh) * 2020-12-25 2021-03-12 广州狄卡视觉科技有限公司 一种适用于读写障碍患者的交互培训系统
US11887499B2 (en) 2021-03-09 2024-01-30 Ailin SHA Virtual-scene-based language-learning system and device thereof
CN113674748A (zh) * 2021-08-30 2021-11-19 疯壳(深圳)科技有限公司 一种可触发虚拟成像系统
CN114530073A (zh) * 2022-02-24 2022-05-24 宁波中联人力资源开发有限公司 基于虚拟现实的培训方法及装置
CN114530073B (zh) * 2022-02-24 2024-02-27 宁波中联人力资源开发有限公司 基于虚拟现实的培训方法及装置

Similar Documents

Publication Publication Date Title
CN109064799A (zh) 一种基于虚拟现实的语言培训系统及方法
Zafrulla et al. American sign language recognition with the kinect
Martin Semantic variation: Modelling realisation, instantiation and individuation in social semiosis
Ahmed et al. Deaf talk using 3D animated sign language: A sign language interpreter using Microsoft's kinect v2
CN109841122A (zh) 一种智能机器人教学系统及学生学习方法
CN109493652A (zh) 基于vr技术的实践教学系统
CN104021326B (zh) 一种外语教学方法与外语教具
Chien-Yu et al. Augmented reality-based assistive technology for handicapped children
CN109101879A (zh) 一种vr虚拟课堂教学的姿态交互系统及实现方法
CN109961047A (zh) 教育机器人的学习监督方法、装置、机器人及存储介质
CN108877344A (zh) 一种基于增强现实技术的多功能英语学习系统
CN110310528A (zh) 一种纸云互动语言教学系统和方法
CN108665744A (zh) 一种智能化的英语辅助学习系统
CN117055724A (zh) 虚拟教学场景中生成式教学资源系统及其工作方法
CN101923539A (zh) 基于自然语言的人机对话系统
Liu et al. An interactive speech training system with virtual reality articulation for Mandarin-speaking hearing impaired children
CN101739852B (zh) 基于语音识别的实现自动口译训练的方法和装置
CN113837212A (zh) 一种基于多模态双向导向注意力的视觉问答方法
Guimarães et al. Evaluation of a computational description model of Libras (Brazilian Sign Language): Bridging the gap towards information access
Pan et al. Application of virtual reality in English teaching
Moussa et al. Towards an expressive virtual tutor: an implementation of a virtual tutor based on an empirical study of non-verbal behaviour
Elshaiekh et al. Multimedia Education System for Deaf and Hear Impairment Children
CN114155321A (zh) 一种基于自监督和混合密度网络的人脸动画生成方法
Uppoor et al. Interactive language learning with vr and nlp assistance
Hori et al. Overview of audio visual scene-aware dialog with reasoning track for natural language generation in DSTC10

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181221