CN107765859A - 一种基于vr虚拟课堂的训练系统及方法 - Google Patents

Abstract

本发明涉及一种训练系统及方法，属于虚拟现实技术领域，具体是涉及一种基于VR虚拟课堂的训练系统及方法。主要包括服务器、语音识别系统、头盔以及手柄。本发明模仿真实的课堂生态环境，课堂内有虚拟学生，都能模拟真实学生的各类动作和反应，上课时如有学生有不良动作，师范生会根据虚拟学生的反应做出相应措施，即在系统中的师生之间有各类互动，虚拟学生在课堂上可以对师范生提出的各类问题进行回答，也能向师范生提有关教学难点的问题，师范生还能对全体学生进行评价。通过本发明能够借助VR虚拟课堂系统能有效提升师范生的教学技能班级管理能力。

Description

一种基于VR虚拟课堂的训练系统及方法

技术领域

本发明涉及一种训练系统及方法，属于虚拟现实技术领域，具体是涉及一种基于VR虚拟课堂的训练系统及方法。

背景技术

随着虚拟现实技术的成熟与应用的普及，该技术在国内外已用于多个领域，如心理治疗训练、高成本或高危场所训练、教育培训以及新人面试训练等场合，通过虚拟环境训练协助练习者在训练过程中发现问题并且给予及时的指导和帮助，增强练习者的技能或提高练习者的训练效率。然而，目前在国内外还没有人将虚拟现实技术用于师范生培训并由此建立一个能够用于师范生的教学技能训练、班级管理能力训练，并逐步使之累积信心、提高课堂教学技能及真实教学经验的一个虚拟课堂训练系统。

期待建立的虚拟课堂训练系统是利用虚拟现实技术构建一个虚拟的教室，教室内的陈设与真实的教室一模一样，同时还设置有若干男女学生，可将教学所需要的资料导入到虚拟课堂中，训练者带上头盔后即可在虚拟课堂中进行上课训练、管理学生，虚拟课堂中的学生也像真实情景下的学生一样有各种各样的动作表现，如有表现好的学生，也有表现不好的学生等。训练者带上头盔后所见到的场景与真实课堂一样，而且虚拟课堂中的学生能与训练者在语音和动作上进行互动和交流。

该虚拟课堂训练系统对师范生的教学技能训练主要通过结合专业老师课堂中的真实教学视频以及交互式虚拟现实系统，建立逼真的虚拟课堂环境供师范生训练其班级管理能力及通过参考与模仿真实教师的上课技巧，在一个可控制且低风险的虚拟课堂环境中以身临其境的方式累积教学经验和教学技能，协助缺乏自信及经验的师范生迅速建立较好的教师教育知识和技能。

发明内容

本发明主要是解决现有技术所存在的上述的技术问题，提供了一种基于VR虚拟课堂的训练系统及方法。该系统及方法提供一种类似真实的生态课堂环境，在此环境下师范生戴上虚拟头盔通过与虚拟课堂中的虚拟学生进行真实的课堂教学活动，通过该教学活动解决师范生在校期间教学技能的提升问题以及对班级管理能力的管理问题，帮助师范生迅速建立较好的教师教育知识和技能，毕业后能快速成长为一名合格的人民教师。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种基于VR虚拟课堂的训练系统，包括：

红外光学跟踪定位器，用于设定虚拟课堂训练时的活动区域，师范生只能在有效活动区域范围之内移动；

体感交互器，用于捕获师范生在上课训练时的动作，所述动作包含身体动作和/或手势动作和/或物体的选择动作；

语音识别系统，用于捕获和识别虚拟课堂训练系统中师范生的声音；

头盔，用于师范生进行课堂训练时，将在服务器上开发的虚拟课堂训练系统通过头盔呈现在师范生的眼前；

手柄，用于师范生对课堂中的学生或其他物体进行选择；

服务器，用于结合利用Unity3D软件对各个学科内容结合师范生训练的要求模拟出师范生需要的虚拟课堂场景，人物模型以及教具。

优选的，上述的一种基于VR虚拟课堂的训练系统，服务器上还存放有上课时需要的提问和答案、头盔调用虚拟课堂场景的软件，用于在师范生眼前真实呈现课堂情景。

优选的，上述的一种基于VR虚拟课堂的训练系统，还包括：

监控系统7，用于监控师范生进行课堂训练时的训练情况，以便于课后对师范生的教学进行评价。

优选的，上述的一种基于VR虚拟课堂的训练系统，所述服务器上设置：

Unity3D软件，用于开发教学所需要的虚拟场景和人物，并在场景中设置好教学必须元素；

SteamVR软件，用于为设计好的虚拟场景提供运行的环境，师范生训练时就是在该环境下运行虚拟课堂场景。

一种基于VR虚拟课堂的训练方法，包括：

区域配置步骤，将红外光学跟踪设备架设定位好，启动SteamVR软件，借助手柄将训练需要的活动区域设定好并进行校正；

场景配置步骤，可打开Unity3D软件开发虚拟课堂训练系统，在服务器上设置所训练学科的信息及学生人数，将课件导入到虚拟课堂系统中，

互动问候步骤，在VR头盔中虚拟真实课堂场景，从师范生的问候语音提取关键字并与服务器上数据库中的关键字库进行匹配，在匹配成功后，调用全体学生的语音并根据老师的问候进行回答；

上课模拟步骤，语音识别系统从拾音器获取的语言信号中识别出问题的关键字并与服务器上数据库中的关键字库进行匹配，在匹配成功后，将关键字所对应的语音提问提交给虚拟学生，虚拟学生产生示意动作并回答，将虚拟学生的回答通过系统转换成语音信号输出。

优选的，上述的一种基于VR虚拟课堂的训练方法，还包括：

随机场景模拟步骤，用于触发在服务器上设置的不良表现动作，在虚拟课堂模拟不良动作，在拾音器拾取师范生制止不良动作的语音信号后，停止不良动作的模拟。

优选的，上述的一种基于VR虚拟课堂的训练方法，还包括：

下课交互步骤，服务器调用固定数据库，语音识别系统识别并匹配到下课关键字后，调用下课告别语音，师范生就和虚拟学生做下课提示和告别问候等互动语音。

优选的，上述的一种基于VR虚拟课堂的训练方法，所述场景配置步骤中，针对若干关键知识点设置学生提问环节。

优选的，上述的一种基于VR虚拟课堂的训练方法，所述上课模拟步骤中，第一个学生回答完毕后，继续让其他虚拟学生进行回答，当师范生认为可以结束本次回答后，对这个提问进行总结和评价。

因此，本发明具有如下优点：本发明能够通过VR虚拟课堂的语音互动提问系统模拟真实的上课情景，无缝、无障碍地实现虚拟课堂中师范生和学生之间的语音交流，有效提升师范生在虚拟课堂中教学技能的效果，通过虚拟课堂的情景，再现真实的课堂教学环境，使他们快速掌握各种教学技能。

附图说明

图1是本发明基于VR虚拟课堂训练系统的结构示意图；

图2是本发明基于VR虚拟课堂训练系统的环境框架结构示意图；

图3是本发明基于VR虚拟课堂训练系统的虚拟课堂信息设置图；

图4是本发明基于VR虚拟课堂训练系统的提问及答案信息输入图；

图5是本发明基于VR虚拟课堂训练系统的实施流程示意图；

图中，1.红外光学跟踪定位器；2.体感交互器；3.语音识别系统；4.头盔；5.手柄；6.服务器；7.监控系统。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

本发明基于VR虚拟课堂的训练系统之实施例结构，如图1所示，包括红外光学跟踪定位器1；体感交互器2；语音识别系统3；头盔4；手柄5；服务器6；监控系统7。

红外光学跟踪定位器1，用于对师范生戴上头盔后进行虚拟课堂训练时设定他们的活动区域。师范生只能在有效活动区域范围之内移动，超出有效活动范围后，师范生的动作不能被有效捕捉。

体感交互器2，用于捕获师范生在上课训练时的各类动作，包含身体的动作和手势动作，还可以用于师范生对虚拟教室内的教具等物体进行选择。

语音识别系统3，用于对虚拟课堂训练系统中师范生的声音进行捕获和识别，这里捕获的声音主要是师范生对虚拟学生提问的语音和虚拟学生在上课时遇到问题后向师范生提问的语音，不包含平时讲课的语音。

头盔4，用于师范生进行课堂训练时，将在服务器上开发的虚拟课堂训练系统通过头盔呈现在师范生的眼前。

手柄5，用于师范生在戴上头盔后进行课堂教学训练时，对课堂中的学生或其他物体进行选择。

服务器6，用于结合利用Unity3D软件对各个学科内容，结合师范生训练的要求，开发出师范生需要的虚拟课堂场景，人物模型以及教具；同时在服务器上海安装有训练需要的数据库，存放上课时需要的提问和答案；安装有头盔调用虚拟课堂场景的软件，以便在师范生眼前真实呈现课堂情景。

监控系统7，用于师范生在进行课堂训练时，为了给教师全面展现师范生的训练情况，了解师范生的上课过程，便于课后对师范生的教学进行评价，可用此监控系统进行观看。

请参阅图1和图5，下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

如图1所以，本发明提供的基于VR虚拟课堂的训练系统包括多个模块：硬件模块、软件模块、VR虚拟课堂模块。硬件模块包括：服务器，其上主要开发虚拟教学场景、虚拟人物及其渲染、教学内容导入、教学互动设置以及用于存储师范生上课的各类语言指令和学生回答的各类语言指令等的数据库；具体安装有开发软件Unity3D软件，可创建各类不同学科的虚拟课堂环境；建立有训练用的各类教学数据库，教学数据库内为每门课程建立了师范生提问、学生提问及学生回答的内容，同时建立有学生不良表现时师范生处理的互动语音提醒以及开始上课和结束下课时师范生和学生的互动问候语音；头盔系统，主要是给师范生带上头盔后呈现服务器上开发的、类似真实生态课堂及人物的课堂教学环境，在此环境下，师范生借助相关的互动设备，可与课堂中的物体和人物进行互动；红外光学定位系统，主要为师范生的活动区域进行定位，通过红外光学摄像机为师范生设置可活动的区间范围，师范生不能超出该活动区间。体感互动设备，该设备主要是师范生通过身体的某些动作，可以控制教室内的一些对象移动；手柄设备，主要是用手柄对教室内的对象进行选取操作。软件模块主要是Unity3D软件以及SteamVR软件，Unity3D软件主要是用于开发教学所需要的虚拟场景和人物，并在场景中设置好教学必须的各类元素；SteamVR软件是头盔运行的平台，主要是为设计好的虚拟场景提供运行的环境，师范生训练时就是在该环境下运行虚拟课堂场景。VR虚拟课堂模块就是在SteamVR软件中运行的平台，是师范生主要训练的系统。

本发明基于VR虚拟课堂的训练系统的工作过程：

师范生来到虚拟课堂中进行训练时，首先需要将红外光学跟踪设备架设定位好，启动SteamVR软件后，借助手柄将训练需要的活动区域设定好，然后进行校正即可。完成设定工作后，即可打开Unity3D软件开发的虚拟课堂训练系统，接着在服务器上将自己所训练学科的信息及学生人数设置好，如图3所示进行设置；同时将上课需要的课件导入到虚拟课堂系统中，然后设置好自己在训练时需要对学生提问的问题，并对每个问题设置好几个学生来回答以及他们各自回答的答案，每个问题的提问都要如此设置，如图4所示进行设置。同时，训练中针对某些知识点可能有学生向老师问题，这时，师范生还需要针对某些关键知识点，选择几个学生针对该知识点进行提问，此时的答案不需要进行设置，只需要设置提问即可，因为此时的回答是师范生，他们可以根据学生的提问结合课堂上学生的表现自由的进行解答。为了真实还原课堂情形，可以在服务器上对某些学生进行一些不良表现的设置，如交头接耳、玩手机等。

上述所有的设置都需要在服务器上设置好随机性，不能让提问的学生、回答的学生以及不良表现的学生永远是某些相同的人，设置好随机性，让这些动作随机发生，随机性的设置是通过系统中的“随机分配”按钮完成的；最后还需在服务器上设置好语音识别系统，该识别系统主要是识别师范生在训练时的提问，部署好每个提问的关键字，当系统识别到这些关键字时，虚拟学生就可以来回答问题了；另外，需要在课件的关键知识点处做好标记，作为虚拟学生提问开始的标记点，这样在服务器上的操作基本完成。

完成以上所有相关设置工作后，以下过程发生在教学训练过程中。师范生借助SteamVR软件启动虚拟课堂训练系统，然后戴上VR头盔，选择自己训练的学生及场景要求，在虚拟课堂环境打开上课用的课件，此时在VR头盔中看见的情形如同真实的课堂情形一样，当听到上课铃声后，就开始上课，此时师范生会向虚拟学生打招呼进行问候，这时服务器就调用全体学生的语音，调用固定数据库中的互动语音，学生就会根据老师的问候进行回答。

互动问候完毕后，就进入了正式的上课环节，师范生根据自己的课件给学生上课，刚开始上课时，学生是不会提问的，随着内容的讲解深入以及课件上的标注点的出现，师范生就可以针对重点内容进行提问了，当语音识别系统识别出重点内容对应的知识点后，此时设置好的虚拟学生就可以举手示意老师，老师可以借助手柄选择学生，并可以让学生来回答问题，第一个回答完毕后，老师还可以继续选择其他学生进行回答，当老师认为可以结束本次回答后，就可以对这个提问进行总结和评价了，分别对每个回答的学生进行评价。当师范生讲解到学生难以理解或学生容易出错的地方时，语音识别系统识别出难点的关键字，此时可以触发学生针对该难点进行提问发言，同样师范生可以让多名学生提问发言，在可以结束学生提问时，师范生就结束学生的提问时间，开始针对学生的全部问题进行统一的讲解。

由于虚拟课堂环境下的上课是模拟真实的课堂情景，当上课进入到一定的时段后，服务器上设置好的学生不良表现动作就随机触发，此时师范生看见这类情况，立刻用语言制止该学生的表现，语音识别系统识别到该学生名后，该学生就停止不良表现行为，系统借此功能可以训练师范生的班级管理能力。

最后随着上课的结束，服务器再次调用固态数据库，师范生和虚拟学生做下课提示和告别问候等互动语音，至此，训练过程结束，上课流程如图5所示进行。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种基于VR虚拟课堂的训练系统，其特征在于，包括：

红外光学跟踪定位器，用于设定虚拟课堂训练时的活动区域，师范生只能在有效活动区域范围之内移动；

体感交互器，用于捕获师范生在上课训练时的动作，所述动作包含身体动作和/或手势动作和/或物体的选择动作；

语音识别系统，用于捕获和识别虚拟课堂训练系统中师范生的声音；

头盔，用于师范生进行课堂训练时，将在服务器上开发的虚拟课堂训练系统通过头盔呈现在师范生的眼前；

手柄，用于师范生对课堂中的学生或其他物体进行选择；

服务器，用于结合利用Unity3D软件对各个学科内容结合师范生训练的要求模拟出师范生需要的虚拟课堂场景，人物模型以及教具。

2.根据权利要求1所述的一种基于VR虚拟课堂的训练系统，其特征在于，服务器上还存放有上课时需要的提问和答案、头盔调用虚拟课堂场景的软件，用于在师范生眼前真实呈现课堂情景。

3.根据权利要求1所述的一种基于VR虚拟课堂的训练系统，其特征在于，还包括：

监控系统7，用于监控师范生进行课堂训练时的训练情况，以便于课后对师范生的教学进行评价。

4.根据权利要求1所述的一种基于VR虚拟课堂的训练系统，其特征在于，所述服务器上设置：

Unity3D软件，用于开发教学所需要的虚拟场景和人物，并在场景中设置好教学必须元素；

SteamVR软件，用于为设计好的虚拟场景提供运行的环境，师范生训练时就是在该环境下运行虚拟课堂场景。

5.一种基于VR虚拟课堂的训练方法，其特征在于，包括：

区域配置步骤，将红外光学跟踪设备架设定位好，启动SteamVR软件，借助手柄将训练需要的活动区域设定好并进行校正；

场景配置步骤，可打开Unity3D软件开发虚拟课堂训练系统，在服务器上设置所训练学科的信息及学生人数，将课件导入到虚拟课堂系统中，

互动问候步骤，在VR头盔中虚拟真实课堂场景，从师范生的问候语音提取关键字并与服务器上数据库中的关键字库进行匹配，在匹配成功后，调用全体学生的语音并根据老师的问候进行回答；

上课模拟步骤，语音识别系统从拾音器获取的语言信号中识别出问题的关键字并与服务器上数据库中的关键字库进行匹配，在匹配成功后，将关键字所对应的语音提问提交给虚拟学生，虚拟学生产生示意动作并回答，将虚拟学生的回答通过系统转换成语音信号输出。

6.根据权利要求5所述的一种基于VR虚拟课堂的训练方法，其特征在于，还包括：

随机场景模拟步骤，用于触发在服务器上设置的不良表现动作，在虚拟课堂模拟不良动作，在拾音器拾取师范生制止不良动作的语音信号后，停止不良动作的模拟。

7.根据权利要求5所述的一种基于VR虚拟课堂的训练方法，其特征在于，还包括：

下课交互步骤，服务器调用固定数据库，语音识别系统识别并匹配到下课关键字后，调用下课告别语音，师范生就和虚拟学生做下课提示和告别问候等互动语音。

8.根据权利要求5所述的一种基于VR虚拟课堂的训练方法，其特征在于，

所述场景配置步骤中，针对若干关键知识点设置学生提问环节。

9.根据权利要求5所述的一种基于VR虚拟课堂的训练方法，其特征在于，所述上课模拟步骤中，第一个学生回答完毕后，继续让其他虚拟学生进行回答，当师范生认为可以结束本次回答后，对这个提问进行总结和评价。