CN109102727A - 一种虚拟现实教学设备 - Google Patents

Abstract

本发明属于虚拟现实技术领域，尤其涉及一种虚拟现实教学设备。虚拟现实教学设备包括教学现场端和学生端；教学现场端包括全景相机和学生图像显示设备；学生端包括头戴式虚拟现实显示器、摄像头和麦克风；其中，头戴式虚拟现实显示器与全景相机通过无线网络连接，摄像头、麦克风与学生图像显示器通过无线网络连接。本发明提供的虚拟现实教学设备，通过获取教学端和学生端的相关信息；构建与教学端和学生端的信息相对应的三维虚拟教学场景，使教师和学生之间的交互真实性更强，提高了教师、学生之间交互的便利性。

Description

一种虚拟现实教学设备

技术领域

本发明属于虚拟现实技术领域，尤其涉及一种虚拟现实教学设备。

背景技术

虚拟现实技术是仿真技术的一个重要方向，是仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术、网络技术等多种技术的集合。虚拟现实技术主要涉及模拟环境、感知、自然技能和传感设备等方面，虚拟现实已成为当前科技企业的研究热点。

现在的教学主要采用传统的课堂教学与网络远程教育相结合的形式，传统的课堂教学有其自身的优势，如在教学过程中，老师可以利用语言、手势、目光接触等方式与学生互动，可以及时地回答学生提出的问题，同时讨论、交流、答疑可以在同一环境中进行，同学们协作学习也不成问题，但课堂教学也有自身的缺陷，例如，优质教育资源相对集中和短缺，推进教育质量提升和教育公平存在很大困难。另外，课堂教学受时间、空间的影响巨大，会给学习带来巨大的影响。而信息技术带来的网络远程教育可以很好地弥补课堂教学的不足，使学习不受时空限制，也可以共享资源，解决教育资源紧张的问题，但网络教育也存在一些缺陷，如难以创设沉浸式的教学情景，教师与学生、学生与学生之间实时交互比较困难，以及学习同伴之间的协同支持学习难以建立等。

发明内容

(一)要解决的技术问题

针对现在的技术问题，本发明提供一种虚拟现实教学设备，能够解决现有优质教育资源相对集中和短缺，缺乏沉浸式交互感受，学生难以长时间保持注意力问题。

(二)技术方案

为了达到上述目的，本发明采用的主要技术方案包括：

一种虚拟现实教学设备，其包括教学现场端和学生端；

教学现场端包括全景相机和学生图像显示设备；

学生端包括头戴式虚拟现实显示器、摄像头和麦克风；

其中，头戴式虚拟现实显示器与全景相机通过无线网络连接，摄像头、麦克风与学生图像显示器通过无线网络连接。

优选的，所述学生图像显示设备包括普通显示器、立体显示器、立体三维投影仪和全息显示器。

优选的，所述全景相机、头戴式虚拟现实显示器的收音设备采用的是Hi-Fi收音设备。

优选的，所述学生端还包括身份识别系统。

优选的，所述头戴式虚拟现实显示器被配置为具有显示屏的电子设备能可拆卸地安装于设备盒子中。

优选的，在教学现场端中，学生图像显示设备的信号源是经过人工智能处理的图像。该图像的生成包括以下步骤：

在学生注册该课程时就需要提交正脸及侧脸的照片，人工智能图像处理终端基于这些照片，合成学生面部的3D模型，作为目标视频；

在上课时，学生端的摄像头将学生的即时图像发送到人工智能图像处理终端，作为源视频；

人工智能图像处理终端通过“光密度一致性估计”的方法，运用面部追踪技术，在源视频和目标视频之间进行实时形变传递；

人工智能图像处理终端将形变传递后的视频输出到教学现场端的学生图像显示设备。

优选的，当多个远程学生同时在线学习，在教学现场有选择地显示远程学生的图像，选择显示远程学生图像的方法如下：

无人主动发言的情况下，默认选择第一个上线的或最清晰的学生图像、声音，并显示该生的名字；

有人想主动发言时，需要面对摄像头做出设定手势，人工智能图像处理终端将使用动作捕捉技术对手势进行判定，之后将图像和声音均切换为做手势的学生；

教师想要提问时，可通过手中的遥控设备，随机切换到某个在线的学生；

在切换到某个学生的图像、声音后，人工智能语音处理终端会给该学生发出简短的语音提示。

优选的，教师通过教学端给给学生指示，要求学生朗读或跟读时，远程学生端的麦克风收集的音频将传输到人工智能语音处理终端；

人工智能语音处理终端依据设定算法对学生的朗读和跟读进行评分，并将评分数据实时发送到教学现场图像处理终端，由终端将数据嵌入教学现场拍摄的全景视频，实时发送给学生；

同时后台记录发音出错的词，在课后通过APP发送到学生手机，同时提供这些词的跟读及人工智能评分界面。

优选的，所述教学现场端还包括支架，支架包括底座，设置在底座上的立柱，立柱与底座转动连接；

全景相机和学生图像显示设备设置在立柱上。

优选的，所述支架上设置有追踪设备；

立柱通过立柱驱动机构设置在底座上，立柱驱动机构包括转动座和转动座电机，转动座与底座转动连接，转动座与转动座电机之间通过齿轮传动，并能够在电机的驱动下沿其轴线自转，立柱与转动座固定连接；

还包括控制装置，电机、追踪设备与控制装置电连接，追踪设备用于检测教师的位置，控制装置根据追踪设备检测到的教师位置控制电机的转动。

(三)有益效果

本发明的有益效果是：本发明提供的虚拟现实教学设备，通过获取现实教学环境和学员的相关信息；构建与所述现实教学环境和学员的信息相对应的三维虚拟教学场景，使教师和学生之间的交互真实性更强，提高了教师、学生之间交互的便利性。

附图说明

图1为本发明具体实施方式提供的虚拟现实教学设备的结构示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

如图1所示，本发明公开了一种虚拟现实教学设备，其包括教学现场端和学生端。

教学现场端包括全景相机和学生图像显示设备，其中，全景相机作为虚拟课堂的视频录制设备和收音设备，其被放置在课堂内，将教学现场的全景视频和音频通过无线通讯的方式传递给学生端。学生图像显示设备作为远程学生端音、视频在教学现场的展示设备，将远程学生的音频植入教学现场。

学生端包括头戴式虚拟现实显示器、摄像头和麦克风。需要说明的，麦克风和/或摄像头可以集成设置在头戴式虚拟显示器上。头戴式虚拟现实显示器作为虚拟课堂视频的播放设备，将无线网络传输过来的教学现场全景视频转化为远程学生的虚拟现实课堂，给远程学生沉浸式的教学现场体验，使其产生就坐在教室中间某一位置的感受。摄像头作为远程学生视频的录制设备，麦克风作为声音采集设备，将远程学生的音、视频通过无线网络传输到教学现场。

其中，头戴式虚拟现实显示器与全景相机通过无线网络连接，摄像头、麦克风与学生图像显示器通过无线网络连接。

本实施方式中，通过获取现实教学环境和学员的相关信息；构建与所述现实教学环境和学员的信息相对应的三维虚拟教学场景，使教师和学生之间的交互真实性更强，提高了教师、学生之间交互的便利性。

教学现场端具有学生图像处理的功能

在教学现场端，为避免显示图像为学生佩戴头戴式虚拟现实显示器的图像，学生图像显示设备的信号源是经过人工智能处理的图像。该图像的生成包括以下步骤：

1.在学生注册该课程时就需要提交正脸及侧脸的照片，人工智能图像处理终端基于这些照片，合成学生面部的3D模型，作为目标视频；

2.在上课时，学生端的摄像头将学生的即时图像发送到人工智能图像处理终端，作为源视频。

3.人工智能图像处理终端通过“光密度一致性估计”(dense photometricconsistency measure)的方法，运用面部追踪(facing tracking)技术，在源视频和目标视频之间进行实时形变传递(deformation transfer)。

4.人工智能图像处理终端将形变传递后的视频输出到教学现场端的学生图像显示设备。由此避免了显示图像为学生佩戴头戴式虚拟现实显示器的图像。

教学现场端具有学生图像、声音的切换的功能

因为同时会有很多远程学生同时在线学习，但是受限于教学现场的空间和成本，只能在教学现场有选择地显示远程学生的图像。选择方法如下：

1.无人主动发言的情况下，默认选择第一个上线的或最清晰的学生图像、声音，并显示该生的名字。

2.有人想主动发言时，需要面对摄像头做出设定手势(如举手)。人工智能图像处理终端将使用动作捕捉技术对手势进行判定，之后将图像和声音均切换为做手势的学生。

3.教师想要提问时，可通过手中的遥控设备，随机切换到某个在线的学生。

在切换到某个学生的图像、声音后，人工智能语音处理终端会给该学生发出简短的语音提示。

教学设备还包括远程学生跟读实时评价系统

教师在给学生指示，要求学生朗读或跟读时，远程学生端的麦克风收集的音频将传输到人工智能语音处理终端。该终端依据设定算法对学生的朗读和跟读进行评分，并将评分数据实时发送到教学现场图像处理终端，由终端将数据嵌入教学现场拍摄的全景视频，实时发送给学生；同时后台记录发音出错的词，在课后通过APP发送到学生手机，同时提供这些词的跟读及人工智能评分界面。

教学现场端还包括支架，支架包括底座，设置在底座上的立柱，立柱与底座转动连接，且立柱与底座转动连接。全景相机和学生图像显示设备设置在立柱上。

支架上设置有追踪设备，立柱通过立柱驱动机构设置在底座上，立柱驱动机构包括转动座和转动座电机，转动座与底座转动连接，转动座与转动座电机之间通过齿轮传动，并能够在电机的驱动下沿其轴线自转，立柱与转动座固定连接。

教学现场端还包括控制装置，电机、追踪设备与控制装置电连接，追踪设备用于检测教师的位置，控制装置根据追踪设备检测到的教师位置控制电机的转动。

上述追踪设备为红外传感器。

具体的，教师在现场授课过程中，其位置会经常发生变动，控制装置根据追踪设备检测到的教师位置，可以实时的改变立柱的角度，进而实现对全景相机和学生图像显示设备位置的改变，由此，可以使全景相机和学生显示设备能够以最佳的位置面对老师，便于老师对显示设备上的图像进行查看，以及全景相机能够拍摄到更加清晰的图像，以及收录到更加清晰的声音。

全景相机、头戴式虚拟现实显示器的收音设备采用的是Hi-Fi收音设备。教学现场端收音方面可采用Hi-Fi收音设备，学生端的声音输出设备也采用该标准，采用此种设置则学生可以感受到和现场一样的声源效果，甚至可以根据声源方向直接判断说话人在虚拟课堂中的方位。

学生端还包括身份识别系统。通过身份识别系统的设置，可以实现学生上课自动打卡的功能，便于教师对学生考勤的统计。

头戴式虚拟现实显示器被配置为具有显示屏的电子设备安装于设备盒子中，优选的电子设备可拆卸的安装在设备盒子中。如，具有显示屏的电子设备可以是智能手机，通过此种设备，可以实现一机多用，降低了设备的使用成本。

具体的，头戴式虚拟现实显示器包括壳体，壳体内设置有限位槽，显示装置可拆卸的设置在限位槽内。壳体还具有固定装置，固定装置为绷带式、头盔式、支架式结构，如在壳体具有限位槽一侧的两端分别设置有一个支架，支架用于夹持在用户头部的两侧。固定装置用于将壳体固定在用户的头部，并确保显示器处于用户的眼前。

头戴式虚拟现实显示器还包括外接端口，外接端口可以将显示装置中显示到外接的其它设备上，或者是接入其它设备的数据信息，外设端口可以采用已知的任何一种方式，例如，蓝牙。

其它设备选自音频设备、视频设备、体感设备的至少一种。具体的如以下所述：

外接端口可以连接音频设备，为体验者提供与显示内容同步的音频效果。音频设备还可以包括话筒、音箱等。

外接端口可以连接摄像机构等外部视频设备，可以将拍摄到的影像与显示装置中显示的影像合成，增强显示效果。

外接端口还可以连接体感设备，增加体验者与显示内容的互动，从而进一步增强体验感和沉浸感。体感设备可以包括操作手柄、振动器等。

学生图像显示设备包括普通显示器(如平板电脑等)、立体显示器、立体三维投影仪和全息显示器。

具体的，远程学生在教学现场端的显示方面，可将普通显示器(如平板电脑等)、立体显示器、立体三维投影仪和全息显示器替换为全息影像，按照预算不同，这种全息影像既可以采用全息膜的形式，也可采用金字塔式的全息显示器，也可采用现场师生佩戴增强现实设备(如HoloLens)来显示，这样一来，教学现场端的教师和学生将面对一个坐在教室中间的远程学生的虚拟影像，交流的角度不再仅限于正面，而将是全方位、多角度的交流。在当前技术水平下，这些设想理论上都可以实现。

以上结合具体实施例描述了本发明的技术原理，这些描述只是为了解释本发明的原理，不能以任何方式解释为对本发明保护范围的限制。基于此处解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (10)

1.一种虚拟现实教学设备，其特征在于：包括教学现场端和学生端；

教学现场端包括全景相机和学生图像显示设备；

学生端包括头戴式虚拟现实显示器、摄像头和麦克风；

其中，头戴式虚拟现实显示器与全景相机通过无线网络连接，摄像头、麦克风与学生图像显示器通过无线网络连接。

2.根据权利要求1所述的虚拟现实教学设备，其特征在于，所述学生图像显示设备包括普通显示器、立体显示器、立体三维投影仪和全息显示器。

3.根据权利要求1所述的虚拟现实教学设备，其特征在于，所述全景相机、头戴式虚拟现实显示器的收音设备采用的是Hi-Fi收音设备。

4.根据权利要求1所述的虚拟现实教学设备，其特征在于，所述学生端还包括身份识别系统。

5.根据权利要求1所述的虚拟现实教学设备，其特征在于，所述头戴式虚拟现实显示器被配置为具有显示屏的电子设备安装于设备盒子中。

6.根据权利要求1所述的虚拟现实教学设备，其特征在于，在教学现场端中，学生图像显示设备的信号源是经过人工智能处理的图像。该图像的生成包括以下步骤：

在学生注册该课程时就需要提交正脸及侧脸的照片，人工智能图像处理终端基于这些照片，合成学生面部的3D模型，作为目标视频；

在上课时，学生端的摄像头将学生的即时图像发送到人工智能图像处理终端，作为源视频；

人工智能图像处理终端通过“光密度一致性估计”的方法，运用面部追踪技术，在源视频和目标视频之间进行实时形变传递；

人工智能图像处理终端将形变传递后的视频输出到教学现场端的学生图像显示设备。

7.根据权利要求1所述的虚拟现实教学设备，其特征在于，当多个远程学生同时在线学习，在教学现场有选择地显示远程学生的图像，选择显示远程学生图像的方法如下：

无人主动发言的情况下，默认选择第一个上线的或最清晰的学生图像、声音，并显示该生的名字；

有人想主动发言时，需要面对摄像头做出设定手势，人工智能图像处理终端将使用动作捕捉技术对手势进行判定，之后将图像和声音均切换为做手势的学生；

教师想要提问时，可通过手中的遥控设备，随机切换到某个在线的学生；

在切换到某个学生的图像、声音后，人工智能语音处理终端会给该学生发出简短的语音提示。

8.根据权利要求1所述的虚拟显示教学设备，其特征在于，教师通过教学端给给学生指示，要求学生朗读或跟读时，远程学生端的麦克风收集的音频将传输到人工智能语音处理终端；

人工智能语音处理终端依据设定算法对学生的朗读和跟读进行评分，并将评分数据实时发送到教学现场图像处理终端，由终端将数据嵌入教学现场拍摄的全景视频，实时发送给学生；

同时后台记录发音出错的词，在课后通过APP发送到学生手机，同时提供这些词的跟读及人工智能评分界面。

9.根据权利要求1所述的虚拟现实教学设备，其特征在于，所述教学现场端还包括支架，支架包括底座，设置在底座上的立柱，立柱与底座转动连接；

全景相机和学生图像显示设备设置在立柱上。

10.根据权利要求2所述的虚拟现实教学设备，其特征在于，所述支架上设置有追踪设备；

立柱通过立柱驱动机构设置在底座上，立柱驱动机构包括转动座和转动座电机，转动座与底座转动连接，转动座与转动座电机之间通过齿轮传动，并能够在电机的驱动下沿其轴线自转，立柱与转动座固定连接；

还包括控制装置，电机、追踪设备与控制装置电连接，追踪设备用于检测教师的位置，控制装置根据追踪设备检测到的教师位置控制电机的转动。