CN111477055A - 基于虚拟现实技术的教师培训系统及方法 - Google Patents

Abstract

本发明公开了一种基于虚拟现实技术的教师培训系统及方法，解决现有技术中的实习教学会造成教学质量低、实习效率低下、以及实习者的成本高等问题。属于虚拟现实教学技术领域。本发明包括用于存储构建好的虚拟教室和可对使用者的授课状态进行智能反应的虚拟学生；用于使用者观看虚拟教室和虚拟学生的三维影像；用于采集使用者授课时的各状态参数；智能控制系统：用于控制虚拟教室和虚拟学生的三维图在VR头显中显示；同时获取多模态传感器采集的各状态参数评估使用者的讲课状态，并根据使用者的讲课状态、虚拟学生的学习能力以及虚拟学生周围同学的反应决定虚拟学生的学习状态，并刻画为虚拟学生的面部表情和肢体动作。本发明用于教学。

Description

基于虚拟现实技术的教师培训系统及方法

技术领域

一种基于虚拟现实技术的教师培训系统及方法，用于教学，属于虚拟现实教学技术领域。

背景技术

教育是一个国家的立国之本，也是民族振兴、社会进步的基石。教师不能仅定义为幼儿教师、小学教师、中学教师、高中教师和大学教师，还应该包括工作中、企业内部和外部的培训教师，即培训教师或讲师等，教师是课堂教育的组织者和实施者，是教育体系中至关重要的一环。为了培养合格的教师，除了需要开设文化课程和教育课程外，还会安排教育实习。教学实习可以让教育理论与教学实践相结合，以此来评价是否为一名合格的教师。

然而，现有技术中的教学实习存在如下弊端：

一、首次实习，实习者缺乏组织教学的经验，教学质量无法保障，会造成教学质量低，影响学生们的学习进程；

二、教学环境不可控，每节实习课遇到的问题都会不同，无法有针对性地反复练习或无法全面的收集实习过程中遇到的问题，即会造成实习效率低下，实习教学资源被浪费等问题；

三、实习成本较高，实习者需要进驻学校，由此产生旅行和住宿费用，对实习者会造成经济负担；

四、缺乏教学经验的实习生大多会有紧张情绪，在短时间内很难培养实习生在公众环境下的讲话自信，现有技术无法帮助使用者快速克服这一心理障碍；

五、传统实习受到时间、地点、学生人数、学生基础、教学科目的限制；

六、传统实习模式无法定量分析每一位实习生的表现。

发明内容

本发明的目的在于提供一种基于虚拟现实技术的教师培训系统及方法，解决现有技术中的实习教学会造成教学质量低、实习效率低下、以及实习者的成本高等问题。

为了实现上述目的，本发明采用的技术方案为：

一种基于虚拟现实技术的教师培训系统，包括；

游戏引擎：用于存储构建好的虚拟教室和可对使用者的授课状态进行智能反应的虚拟学生；

VR头显：用于使用者观看虚拟教室和虚拟学生的三维影像；

多模态传感器：用于采集使用者授课时的各状态参数；

智能控制系统：用于控制虚拟教室和虚拟学生的三维图在VR头显中显示；同时获取多模态传感器采集的各状态参数评估使用者的讲课状态，并根据使用者的讲课状态、虚拟学生的学习能力以及虚拟学生周围同学的反应决定虚拟学生的学习状态，并刻画为虚拟学生的面部表情和肢体动作。

进一步，所述游戏引擎还存储有虚拟黑板程序、虚拟投影仪程序、虚拟笔程序和虚拟激光笔程序；

所述虚拟黑板程序与墙面或平面撑板构成虚拟黑板；

所述虚拟投影仪程序用于使用者在授课过程中播放电脑中的幻灯片，通过虚拟激光笔程序进行翻页和屏幕指示操作；

所述虚拟笔程序通过带定位传感器的VR控制手柄在墙面或平面撑板上进行书写区域框选、在框选区域内进行书写字迹，框选区域即指虚拟黑板；

所述VR控制手柄控制虚拟激光笔程序来实现幻灯片的翻页和屏幕指示操作。

进一步，所述多模态传感器包括；

腕式智能手表：用以收集使用者的心跳、体温、皮肤电导体状态参数；

眼球跟踪仪：用以确定使用者与虚拟学生的眼神交流的时间、角度和距离状态参数；

语音特征传感器：用于监测使用者的语速、语调、音量和呼吸状态参数；

肢体动作传感器：用于获取使用者的肢体动作状态参数。

进一步，所述眼球跟踪仪和语音特征传感器设置在VR头显上。

进一步，所述肢体动作传感器设置在VR控制手柄上；

VR控制手柄上还设置有书写棒。

进一步，所述智能控制系统刻画为虚拟学生的面部表情和肢体动作的具体实现方式为：

先给定每个虚拟学生的相关参数，包括学习基础、学习兴趣、在教室中的位置；

通过语音特征传感器获取使用者的讲课音频，采用自然语言分析讲课音频的语速、语调、音量和呼吸状态参数，得到使用者的讲课逻辑；同时

通过腕式智能手表获取的使用者的心跳、体温、皮肤电导体状态参数和肢体动作传感器获取的肢体动作状态参数，采用机器学习模型评估，得到使用者的讲课生动性；同时

通过眼球跟踪仪和虚拟学生的位置获取的眼神交流的时间、角度和距离状态参数得到教师关注度；同时

实时获取各虚拟学生的周围学生反应，即提取周围虚拟学生的状态参数，表示各周围各虚拟学生的参与度；

基于虚拟学生的学习基础和使用者的讲课逻辑得到虚拟学生的理解度，即将虚拟学生的学习基础和使用者的讲课逻辑作为变量，通过线性组合加上一个相互作用项构成关系式得到虚拟学生的理解度，其中，关系式中的系数可以通过若干实验进行拟合；

基于使用者的讲课生动性、虚拟学生的学习兴趣、教师关注度和虚拟学生的周围学生反应得到虚拟学生投入度，即将使用者的讲课生动性、虚拟学生的学习兴趣、教师关注度和虚拟学生的周围学生反应通过线性组合加上一个相互作用项构成关系式得到虚拟学生投入度，其中，关系式中的系数可以通过若干实验进行拟合；

基于虚拟学生的理解度和虚拟学生投入度刻画各虚拟学生的面部表情和肢体动作，即通过操作虚拟学生的人物绑骨和面部网格实现，具体实现过程为：先将虚拟学生的理解度和虚拟学生投入度构成一个二维空间，在二维空间中选取若干有代表性的点，对每一个具有代表性的点设计相应的面部表情和肢体动作，并进行存储，在虚拟教学过程中，根据每个学生在二维空间中的位置，随机显示各个代表性的点所对应的面部表情和肢体动作，离哪个代表性的点越近，显示该代表点的几率则越大，其中，有代表性的点包括理解度高投入度高、理解度高投入度低、理解度低投入度高和理解度低投入度低的点。

一种基于虚拟现实技术的教师培训方法，包括；

在游戏引擎中构建虚拟教室和可对使用者的授课状态进行智能反应的虚拟学生；

使用者通过VR头显观看虚拟教室和虚拟学生的三维影像；

采用多模态传感器采集使用者授课时的各状态参数；

控制虚拟教室和虚拟学生的三维图在VR头显中显示；同时

获取多模态传感器采集的各状态参数评估使用者的讲课状态，并根据使用者的讲课状态、虚拟学生的学习能力以及虚拟学生周围同学的反应决定虚拟学生的学习状态，并刻画为虚拟学生的面部表情和肢体动作。

进一步，所述虚拟教室包括静态场景和动态场景；

静态场景，用于基于教室的实景照片，采用3D建模软件构建虚拟静态场景，实景照片包括教室的房间、室内布景、桌椅、讲台和灯光；

动态场景包括：

虚拟黑板程序，用于使用者在授课过程中在黑板上书写或修改；

虚拟投影仪程序，用于使用者在授课过程中播放幻灯片；

虚拟激光笔程序，用于使用者进行幻灯片翻页和屏幕指示操作；

虚拟学生，基于不同身体形态、性别和装束的有绑骨的三维人物模型实现。

进一步，所述虚拟黑板程序与墙面或平面撑板构成虚拟黑板；

所述虚拟投影仪程序用于使用者在授课过程中播放电脑中的幻灯片，通过虚拟激光笔程序进行翻页和屏幕指示操作；

所述虚拟笔程序通过带定位传感器的VR控制手柄在墙面或平面撑板上进行书写区域框选、在框选区域内进行书写字迹，框选区域即指虚拟黑板；

所述VR控制手柄控制虚拟激光笔程序来实现幻灯片的翻页和屏幕指示操作；

训练开始前，使用者通过VR控制手柄放到墙面或平面支撑板的四个顶角并扣动扳机，VR控制手柄的定位传感器确定虚拟黑板与虚拟教室的相对位置，再在虚拟黑板上书写，书写由VR控制手柄上设置的木棒实现，给使用者以真实的触碰感，书写过程中，VR头显实时追踪VR控制手柄的位置，得出木棒书写端部的运动轨迹并在虚拟黑板上显示书写字迹。

进一步，采用多模态传感器；

收集使用者的心跳、体温、皮肤电导体状态参数；

确定使用者与虚拟学生的眼神交流的时间、角度和距离状态参数；

监测使用者的语速、语调、音量和呼吸状态参数；

获取使用者的肢体动作状态参数；

采用智能控制系统刻画为虚拟学生的面部表情和肢体动作的具体实现方式为：

先给定每个虚拟学生的相关参数，包括学习基础、学习兴趣、在教室中的位置；

通过语音特征传感器获取使用者的讲课音频，采用自然语言分析讲课音频的语速、语调、音量和呼吸状态参数，得到使用者的讲课逻辑；同时

通过腕式智能手表获取的使用者的心跳、体温、皮肤电导体状态参数和肢体动作传感器获取的肢体动作状态参数，采用机器学习模型评估，得到使用者的讲课生动性；同时

通过眼球跟踪仪和虚拟学生的位置获取的眼神交流的时间、角度和距离状态参数得到教师关注度；同时

实时获取各虚拟学生的周围学生反应，即提取周围虚拟学生的状态参数，表示各周围各虚拟学生的参与度；

基于虚拟学生的学习基础和使用者的讲课逻辑得到虚拟学生的理解度，即将虚拟学生的学习基础和使用者的讲课逻辑作为变量，通过线性组合加上一个相互作用项构成关系式得到虚拟学生的理解度，其中，关系式中的系数可以通过若干实验进行拟合；

基于使用者的讲课生动性、虚拟学生的学习兴趣、教师关注度和虚拟学生的周围学生反应得到虚拟学生投入度，即将使用者的讲课生动性、虚拟学生的学习兴趣、教师关注度和虚拟学生的周围学生反应通过线性组合加上一个相互作用项构成关系式得到虚拟学生投入度，其中，关系式中的系数可以通过若干实验进行拟合；

基于虚拟学生的理解度和虚拟学生投入度刻画各虚拟学生的面部表情和肢体动作，即通过操作虚拟学生的人物绑骨和面部网格实现，具体实现过程为：先将虚拟学生的理解度和虚拟学生投入度构成一个二维空间，在二维空间中选取若干有代表性的点，对每一个具有代表性的点设计相应的面部表情和肢体动作，并进行存储，在虚拟教学过程中，根据每个学生在二维空间中的位置，随机显示各个代表性的点所对应的面部表情和肢体动作，离哪个代表性的点越近，显示该代表点的几率则越大，其中，有代表性的点包括理解度高投入度高、理解度高投入度低、理解度低投入度高和理解度低投入度低的点。

与现有技术相比，本发明的优点在于：

一、本发明采用VR虚拟教学，对于后续的实践教学，在教学质量上可得到保障，不会因为实习者(即使用者)教学经验不足，影响学生们的学习进程；

二、本发明的教学环境可控，可有针对性地反复练习或全面收集实习过程中遇到的问题，即教学环境具有高度可重复性，提高实习效率，节约教学资源；

三、本发明中的实习成本低，如采用的设备在软件开发后可重复使用，可减轻实习者的经济负担；

四、本发明解决了现有网络教学，缺少学生的反馈，即无法让使用者身临其境地在虚拟课堂讲课，无法通过学生的表情进行信息反馈，从而降低VR虚拟教学的质量；

五、本发明的VR的教学介于真实和虚拟之间，可以帮助使用者快速克服这一心理障碍；

六、本发明中的VR培训可以在任意时间任意地点进行，班级人数、学生基础、和教学科目也可以根据需要灵活设定；

七、本发明中的VR教学可以通过VR设备和多模传感器收集使用者的语音和身体特征参数，对每一个使用者提供个性化的改进意见，智能控制系统还可以收集多人的使用数据，针对大家共同的问题设计教学任务。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应该看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明的示意图；

图2是本发明中智能控制系统的流程图；

图3是本发明中的3D建模示意图；

图4是本发明中虚拟教室静态场景的效果图；

图5是本发明中使用者佩戴VR头显进行书写的现实世界和虚拟世界的示意图；

图6是本发明中使用者用VR控制手柄控制投影的讲义进行显示和翻页的示意图，即可互动的虚拟设施；

图7是本发明虚拟学生的三维模型和面部表情的控制参数的示意图；

图8是本发明中虚拟学生表情和肢体动作的效果图；

图9是一位测试者在三十分钟的讲课过程中，用Empatica E4生理手环监测得到的数据，包括EDA数据、心率数据、加速传感器数据等示意图；

图10是本发明中使用VR控制手柄进行控制黑板的现实世界和虚拟世界的示意图；

图11是本发明中VR控制手柄连接木棒构成虚拟笔的示意图；

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

应当理解，本文使用的“系统”、“装置”、“设施”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。

如图1所示，一种基于虚拟现实技术的教师培训系统，包括；

游戏引擎：用于存储构建好的虚拟教室和可对使用者的授课状态进行智能反应的虚拟学生；

游戏引擎包括Unity3D或Unreal，在某些实施例中，还可为其它可实现的游戏引擎。

虚拟教室是指先收集实景照片，收集好相关实景照片后，还需要考虑授课需求，获取实景照片和对应的虚拟对象的大小，再基于3D建模软件进行建模，建模步骤(为现有建模方法)包括低模制作、高模制作、法线烘培、材质贴图等若干步骤，建模后，再进一步对虚拟教室进行调整，调整后，将制作好的虚拟教室导入游戏引擎并与VR头显的控制部分进行衔接，以实现在VR头显中进行观看，其中，实景照片包括教室、教室内的桌椅、讲台、灯光等，3D建模软件包括3DS Max、Maya、Blender等，进一步对虚拟教室进行调整的内容包括对室内桌椅、灯光和视觉效果的调整。

其中，虚拟教室中对应实景照片中的教室的虚拟对象的大小根据所容纳人员的数量进行决定，桌椅、讲台和灯光根据应实景照片中的教室的虚拟对象的大小进行确定距离和大小。

可对使用者的授课状态进行智能反应的虚拟学生基于Avatar进行构建。

所述游戏引擎还存储有虚拟黑板程序、虚拟投影仪程序、虚拟笔程序和虚拟激光笔程序；

所述虚拟黑板程序与墙面或平面撑板构成虚拟黑板；

所述虚拟投影仪程序用于使用者在授课过程中播放电脑中的幻灯片，通过虚拟激光笔程序进行翻页和屏幕指示操作；

所述虚拟笔程序通过带定位传感器的VR控制手柄在墙面或平面撑板上进行书写区域框选、在框选区域内进行书写字迹，框选区域即指虚拟黑板；

虚拟黑板是虚拟教室中的可互动设施，使用者可以用虚拟笔在上面书写，为了增强使用者的现实感，通过一面墙或木板与虚拟技术(即指虚拟笔程序)，相结合，即通过VR头显进行观看，观看的位置与墙或木板表面相重合，使用者即可实现触摸效果。虚拟笔可以通过在VR控制手柄上绑定木棒实现，VR头显通过计算VR控制手柄与虚拟黑板的相对位置，可以获取虚拟笔运动的轨迹，并在虚拟黑板上显示出字迹。

所述VR控制手柄控制虚拟激光笔程序来实现幻灯片的翻页和屏幕指示操作。

VR头显：用于使用者观看虚拟教室和虚拟学生的三维影像；

多模态传感器：用于采集使用者授课时的各状态参数；所述多模态传感器包括；

腕式智能手表：用以收集使用者的心跳、体温、皮肤电导体状态参数；由使用者佩戴在腕部，可以实时收集使用者的身体特征数据(心跳、体温、血压、皮肤电导等)，并通过蓝牙信号传递给智能控制系统。

眼球跟踪仪：用以确定使用者与虚拟学生的眼神交流的时间、角度和距离状态参数；

语音特征传感器：用于监测使用者的语速、语调、音量和呼吸状态参数；

肢体动作传感器：用于获取使用者的肢体动作状态参数。

多模态传感器还可包括其它传感器。

所述眼球跟踪仪和语音特征传感器设置在VR头显上。即通过内置的眼动仪收集使用者目光关注的数据，通过内置的麦克风收集使用者授课的语音信息。

所述肢体动作传感器设置在VR控制手柄上；VR控制手柄上还设置有书写棒。VR控制手柄由使用者手持握收集使用者肢体动作的数据；控制虚拟笔在黑板上书写字迹；控制虚拟板擦在黑板上擦除字迹；控制虚拟激光笔的翻页和指示功能，并收集肢体动作状态参数。

智能控制系统：用于控制虚拟教室和虚拟学生的三维图在VR头显中显示；同时获取多模态传感器采集的各状态参数评估使用者的讲课状态，并根据使用者的讲课状态、虚拟学生的学习能力以及虚拟学生周围同学的反应决定虚拟学生的学习状态，并刻画为虚拟学生的面部表情和肢体动作。

例如，教师照本宣科、与学生缺乏互动和交流，虚拟学生就会表现出厌倦情绪。即使是同样的授课内容，每个学生的基础和兴趣点也不尽相同，因此也会表现出不同的情绪。更进一步，每个学生还会受到周围学生的影响，如果大家都积极参与课堂学习，就会有一个整体的带动作用。这些反应可以用两个参数刻画，一个是学生的理解程度(comprehension)，另一个是学生的参与程度(engagement)。这两个参数决定了学生的面部表情和肢体动作。虚拟学生对授课内容的理解程度越高，即学生对授课内容接受得越好，使用者与学生的互动越多，学生的课堂参与程度越高，如果一个虚拟学生周围的虚拟学生的参与程度都很高，那么这个虚拟学生的参与程度也会相应提高。

目前最先进的人工智能技术也无法真正听懂讲课内容，因此我们必须借助统计相关性来实现这一功能。例如，讲课生动的使用者肢体语言也会比较丰富，而肢体语言的丰富程度可以通过分析定位传感器的数据得到。更进一步，各个传感器的数据并不独立，通过分析多模态数据的关联可以间接获得使用者的讲课状态参数。并通过相关参数来刻画虚拟学生的面部表情和肢体动作。

所述智能控制系统刻画为虚拟学生的面部表情和肢体动作的具体实现方式为：

先给定每个虚拟学生的相关参数，包括学习基础、学习兴趣、在教室中的位置；

通过语音特征传感器获取使用者的讲课音频，采用自然语言分析讲课音频的语速、语调、音量和呼吸状态参数，得到使用者的讲课逻辑；同时

通过腕式智能手表获取的使用者的心跳、体温、皮肤电导体状态参数和肢体动作传感器获取的肢体动作状态参数，采用机器学习模型评估，得到使用者的讲课生动性；同时

通过眼球跟踪仪和虚拟学生的位置获取的眼神交流的时间、角度和距离状态参数得到教师关注度；同时

实时获取各虚拟学生的周围学生反应，即提取周围虚拟学生的状态参数，表示各周围各虚拟学生的参与度；

基于虚拟学生的学习基础和使用者的讲课逻辑得到虚拟学生的理解度，即将虚拟学生的学习基础和使用者的讲课逻辑作为变量，通过线性组合加上一个相互作用项构成关系式得到虚拟学生的理解度，其中，关系式中的系数可以通过若干实验进行拟合；

基于使用者的讲课生动性、虚拟学生的学习兴趣、教师关注度和虚拟学生的周围学生反应得到虚拟学生投入度，即将使用者的讲课生动性、虚拟学生的学习兴趣、教师关注度和虚拟学生的周围学生反应通过线性组合加上一个相互作用项构成关系式得到虚拟学生投入度，其中，关系式中的系数可以通过若干实验进行拟合；

基于虚拟学生的理解度和虚拟学生投入度刻画各虚拟学生的面部表情和肢体动作，即通过操作虚拟学生的人物绑骨和面部网格实现，具体实现过程为：先将虚拟学生的理解度和虚拟学生投入度构成一个二维空间，在二维空间中选取若干有代表性的点，对每一个具有代表性的点设计相应的面部表情和肢体动作，并进行存储，在虚拟教学过程中，根据每个学生在二维空间中的位置，随机显示各个代表性的点所对应的面部表情和肢体动作，离哪个代表性的点越近，显示该代表点的几率则越大，其中，有代表性的点包括理解度高投入度高、理解度高投入度低、理解度低投入度高和理解度低投入度低的点。

一种基于虚拟现实技术的教师培训方法，包括；

在游戏引擎中构建虚拟教室和可对使用者的授课状态进行智能反应的虚拟学生；

使用者通过VR头显观看虚拟教室和虚拟学生的三维影像；

采用多模态传感器采集使用者授课时的各状态参数；

控制虚拟教室和虚拟学生的三维图在VR头显中显示；同时

获取多模态传感器采集的各状态参数评估使用者的讲课状态，并根据使用者的讲课状态、虚拟学生的学习能力以及虚拟学生周围同学的反应决定虚拟学生的学习状态，并刻画为虚拟学生的面部表情和肢体动作。

所述虚拟教室包括静态场景和动态场景；

静态场景，用于基于教室的实景照片，采用3D建模软件构建虚拟静态场景，实景照片包括教室的房间、室内布景、桌椅、讲台和灯光；

动态场景包括：

虚拟黑板程序，用于使用者在授课过程中在黑板上书写或修改；

虚拟投影仪程序，用于使用者在授课过程中播放幻灯片；

虚拟激光笔程序，用于使用者进行幻灯片翻页和屏幕指示操作；

虚拟学生，基于不同身体形态、性别和装束的有绑骨的三维人物模型实现。

所述虚拟黑板程序与墙面或平面撑板构成虚拟黑板；

所述虚拟投影仪程序用于使用者在授课过程中播放电脑中的幻灯片，通过虚拟激光笔程序进行翻页和屏幕指示操作；

所述虚拟笔程序通过带定位传感器的VR控制手柄在墙面或平面撑板上进行书写区域框选、在框选区域内进行书写字迹，框选区域即指虚拟黑板；

所述VR控制手柄控制虚拟激光笔程序来实现幻灯片的翻页和屏幕指示操作；

训练开始前，使用者通过VR控制手柄放到墙面或平面支撑板的四个顶角并扣动扳机，VR控制手柄的定位传感器确定虚拟黑板与虚拟教室的相对位置，再在虚拟黑板上书写，书写由VR控制手柄上设置的木棒实现，给使用者以真实的触碰感，书写过程中，VR头显实时追踪VR控制手柄的位置，得出木棒书写端部的运动轨迹并在虚拟黑板上显示书写字迹。

采用多模态传感器；

收集使用者的心跳、体温、皮肤电导体状态参数；

确定使用者与虚拟学生的眼神交流的时间、角度和距离状态参数；

监测使用者的语速、语调、音量和呼吸状态参数；

获取使用者的肢体动作状态参数；

采用智能控制系统刻画为虚拟学生的面部表情和肢体动作的具体实现方式为：

先给定每个虚拟学生的相关参数，包括学习基础、学习兴趣、在教室中的位置；

通过语音特征传感器获取使用者的讲课音频，采用自然语言分析讲课音频的语速、语调、音量和呼吸状态参数，得到使用者的讲课逻辑；同时

通过腕式智能手表获取的使用者的心跳、体温、皮肤电导体状态参数和肢体动作传感器获取的肢体动作状态参数，采用机器学习模型评估，得到使用者的讲课生动性；同时

通过眼球跟踪仪和虚拟学生的位置获取的眼神交流的时间、角度和距离状态参数得到教师关注度；同时

实时获取各虚拟学生的周围学生反应，即提取周围虚拟学生的状态参数(即指周围虚拟学生的投入度和理解度)，表示各周围各虚拟学生的参与度；

基于虚拟学生的学习基础和使用者的讲课逻辑得到虚拟学生的理解度，即将虚拟学生的学习基础和使用者的讲课逻辑作为变量，通过线性组合加上一个相互作用项构成关系式得到虚拟学生的理解度，其中，关系式中的系数可以通过若干实验进行拟合，所述关系式为线性回归中常用的数学模型；

基于使用者的讲课生动性、虚拟学生的学习兴趣、教师关注度和虚拟学生的周围学生反应得到虚拟学生投入度，即将使用者的讲课生动性、虚拟学生的学习兴趣、教师关注度和虚拟学生的周围学生反应通过线性组合加上一个相互作用项构成关系式得到虚拟学生投入度，其中，关系式中的系数可以通过若干实验进行拟合，所述关系式为线性回归中常用的数学模型；

基于虚拟学生的理解度和虚拟学生投入度刻画各虚拟学生的面部表情和肢体动作，即通过操作虚拟学生的人物绑骨和面部网格实现，具体实现过程为：先将虚拟学生的理解度和虚拟学生投入度构成一个二维空间，在二维空间中选取若干有代表性的点，对每一个具有代表性的点设计相应的面部表情和肢体动作，并进行存储，在虚拟教学过程中，根据每个学生在二维空间中的位置，随机显示各个代表性的点所对应的面部表情和肢体动作，离哪个代表性的点越近，显示该代表点的几率则越大，其中，有代表性的点包括理解度高投入度高、理解度高投入度低、理解度低投入度高和理解度低投入度低的点。

本发明很容易地推广到增强现实和混合现实，适用一般的教学实习、也可用于各种培训和求职面试等。

本发明还可应用于网络教学，解决了在网络教学中，教师缺少学生的反馈，面对摄像头和电脑屏幕，很难进入自然的讲课状态，本发明提出的虚拟课堂方法，教师可以身临其境地在虚拟课堂讲课，并把影像资料经图像处理后(补全VR头显遮挡部分)上传到线上课堂。

Claims (10)

1.一种基于虚拟现实技术的教师培训系统，其特征在于：包括；

游戏引擎：用于存储构建好的虚拟教室和可对使用者的授课状态进行智能反应的虚拟学生；

VR头显：用于使用者观看虚拟教室和虚拟学生的三维影像；

多模态传感器：用于采集使用者授课时的各状态参数；

智能控制系统：用于控制虚拟教室和虚拟学生的三维图在VR头显中显示；同时获取多模态传感器采集的各状态参数评估使用者的讲课状态，并根据使用者的讲课状态、虚拟学生的学习能力以及虚拟学生周围同学的反应决定虚拟学生的学习状态，并刻画为虚拟学生的面部表情和肢体动作。

2.根据权利要求1所述的一种基于虚拟现实技术的教师培训系统，其特征在于：所述游戏引擎还存储有虚拟黑板程序、虚拟投影仪程序、虚拟笔程序和虚拟激光笔程序；

所述虚拟黑板程序与墙面或平面撑板构成虚拟黑板；

所述虚拟投影仪程序用于使用者在授课过程中播放电脑中的幻灯片，通过虚拟激光笔程序进行翻页和屏幕指示操作；

所述虚拟笔程序通过带定位传感器的VR控制手柄在墙面或平面撑板上进行书写区域框选、在框选区域内进行书写字迹，框选区域即指虚拟黑板；

所述VR控制手柄控制虚拟激光笔程序来实现幻灯片的翻页和屏幕指示操作。

3.根据权利要求2所述的一种基于虚拟现实技术的教师培训系统，其特征在于：所述多模态传感器包括；

腕式智能手表：用以收集使用者的心跳、体温、皮肤电导体状态参数；

眼球跟踪仪：用以确定使用者与虚拟学生的眼神交流的时间、角度和距离状态参数；

语音特征传感器：用于监测使用者的语速、语调、音量和呼吸状态参数；

肢体动作传感器：用于获取使用者的肢体动作状态参数。

4.根据权利要求3所述的一种基于虚拟现实技术的教师培训系统，其特征在于：所述眼球跟踪仪和语音特征传感器设置在VR头显上。

5.根据权利要求3所述的一种基于虚拟现实技术的教师培训系统，其特征在于：所述肢体动作传感器设置在VR控制手柄上；

VR控制手柄上还设置有书写棒。

6.根据权利要求3所述的一种基于虚拟现实技术的教师培训系统，其特征在于：所述智能控制系统刻画为虚拟学生的面部表情和肢体动作的具体实现方式为：

先给定每个虚拟学生的相关参数，包括学习基础、学习兴趣、在教室中的位置；

通过语音特征传感器获取使用者的讲课音频，采用自然语言分析讲课音频的语速、语调、音量和呼吸状态参数，得到使用者的讲课逻辑；同时

通过腕式智能手表获取的使用者的心跳、体温、皮肤电导体状态参数和肢体动作传感器获取的肢体动作状态参数，采用机器学习模型评估，得到使用者的讲课生动性；同时

通过眼球跟踪仪和虚拟学生的位置获取的眼神交流的时间、角度和距离状态参数得到教师关注度；同时

实时获取各虚拟学生的周围学生反应，即提取周围虚拟学生的状态参数，表示各周围各虚拟学生的参与度；

基于虚拟学生的学习基础和使用者的讲课逻辑得到虚拟学生的理解度，即将虚拟学生的学习基础和使用者的讲课逻辑作为变量，通过线性组合加上一个相互作用项构成关系式得到虚拟学生的理解度，其中，关系式中的系数可以通过若干实验进行拟合；

基于使用者的讲课生动性、虚拟学生的学习兴趣、教师关注度和虚拟学生的周围学生反应得到虚拟学生投入度，即将使用者的讲课生动性、虚拟学生的学习兴趣、教师关注度和虚拟学生的周围学生反应通过线性组合加上一个相互作用项构成关系式得到虚拟学生投入度，其中，关系式中的系数可以通过若干实验进行拟合；

基于虚拟学生的理解度和虚拟学生投入度刻画各虚拟学生的面部表情和肢体动作，即通过操作虚拟学生的人物绑骨和面部网格实现，具体实现过程为：先将虚拟学生的理解度和虚拟学生投入度构成一个二维空间，在二维空间中选取若干有代表性的点，对每一个具有代表性的点设计相应的面部表情和肢体动作，并进行存储，在虚拟教学过程中，根据每个学生在二维空间中的位置，随机显示各个代表性的点所对应的面部表情和肢体动作，离哪个代表性的点越近，显示该代表点的几率则越大，其中，有代表性的点包括理解度高投入度高、理解度高投入度低、理解度低投入度高和理解度低投入度低的点。

7.一种基于虚拟现实技术的教师培训方法，其特征在于：包括；

在游戏引擎中构建虚拟教室和可对使用者的授课状态进行智能反应的虚拟学生；

使用者通过VR头显观看虚拟教室和虚拟学生的三维影像；

采用多模态传感器采集使用者授课时的各状态参数；

控制虚拟教室和虚拟学生的三维图在VR头显中显示；同时

获取多模态传感器采集的各状态参数评估使用者的讲课状态，并根据使用者的讲课状态、虚拟学生的学习能力以及虚拟学生周围同学的反应决定虚拟学生的学习状态，并刻画为虚拟学生的面部表情和肢体动作。

8.根据权利要求7所述的一种基于虚拟现实技术的教师培训方法，其特征在于：所述虚拟教室包括静态场景和动态场景；

静态场景，用于基于教室的实景照片，采用3D建模软件构建虚拟静态场景，实景照片包括教室的房间、室内布景、桌椅、讲台和灯光；

动态场景包括：

虚拟黑板程序，用于使用者在授课过程中在黑板上书写或修改；

虚拟投影仪程序，用于使用者在授课过程中播放幻灯片；

虚拟激光笔程序，用于使用者进行幻灯片翻页和屏幕指示操作；

虚拟学生，基于不同身体形态、性别和装束的有绑骨的三维人物模型实现。

9.根据权利要求8所述的一种基于虚拟现实技术的教师培训方法，其特征在于：所述虚拟黑板程序与墙面或平面撑板构成虚拟黑板；

所述虚拟投影仪程序用于使用者在授课过程中播放电脑中的幻灯片，通过虚拟激光笔程序进行翻页和屏幕指示操作；

所述虚拟笔程序通过带定位传感器的VR控制手柄在墙面或平面撑板上进行书写区域框选、在框选区域内进行书写字迹，框选区域即指虚拟黑板；

所述VR控制手柄控制虚拟激光笔程序来实现幻灯片的翻页和屏幕指示操作；

训练开始前，使用者通过VR控制手柄放到墙面或平面支撑板的四个顶角并扣动扳机，VR控制手柄的定位传感器确定虚拟黑板与虚拟教室的相对位置，再在虚拟黑板上书写，书写由VR控制手柄上设置的木棒实现，给使用者以真实的触碰感，书写过程中，VR头显实时追踪VR控制手柄的位置，得出木棒书写端部的运动轨迹并在虚拟黑板上显示书写字迹。

10.根据权利要求9所述的一种基于虚拟现实技术的教师培训方法，其特征在于：采用多模态传感器；

收集使用者的心跳、体温、皮肤电导体状态参数；

确定使用者与虚拟学生的眼神交流的时间、角度和距离状态参数；

监测使用者的语速、语调、音量和呼吸状态参数；

获取使用者的肢体动作状态参数；

采用智能控制系统刻画为虚拟学生的面部表情和肢体动作的具体实现方式为：

先给定每个虚拟学生的相关参数，包括学习基础、学习兴趣、在教室中的位置；

通过语音特征传感器获取使用者的讲课音频，采用自然语言分析讲课音频的语速、语调、音量和呼吸状态参数，得到使用者的讲课逻辑；同时

通过腕式智能手表获取的使用者的心跳、体温、皮肤电导体状态参数和肢体动作传感器获取的肢体动作状态参数，采用机器学习模型评估，得到使用者的讲课生动性；同时

通过眼球跟踪仪和虚拟学生的位置获取的眼神交流的时间、角度和距离状态参数得到教师关注度；同时

实时获取各虚拟学生的周围学生反应，即提取周围虚拟学生的状态参数，表示各周围各虚拟学生的参与度；

基于虚拟学生的学习基础和使用者的讲课逻辑得到虚拟学生的理解度，即将虚拟学生的学习基础和使用者的讲课逻辑作为变量，通过线性组合加上一个相互作用项构成关系式得到虚拟学生的理解度，其中，关系式中的系数可以通过若干实验进行拟合；

基于使用者的讲课生动性、虚拟学生的学习兴趣、教师关注度和虚拟学生的周围学生反应得到虚拟学生投入度，即将使用者的讲课生动性、虚拟学生的学习兴趣、教师关注度和虚拟学生的周围学生反应通过线性组合加上一个相互作用项构成关系式得到虚拟学生投入度，其中，关系式中的系数可以通过若干实验进行拟合；

基于虚拟学生的理解度和虚拟学生投入度刻画各虚拟学生的面部表情和肢体动作，即通过操作虚拟学生的人物绑骨和面部网格实现，具体实现过程为：先将虚拟学生的理解度和虚拟学生投入度构成一个二维空间，在二维空间中选取若干有代表性的点，对每一个具有代表性的点设计相应的面部表情和肢体动作，并进行存储，在虚拟教学过程中，根据每个学生在二维空间中的位置，随机显示各个代表性的点所对应的面部表情和肢体动作，离哪个代表性的点越近，显示该代表点的几率则越大，其中，有代表性的点包括理解度高投入度高、理解度高投入度低、理解度低投入度高和理解度低投入度低的点。

Images