CN106205245A - 沉浸式在线教学系统、方法和装置 - Google Patents

Abstract

本发明提供了一种沉浸式在线教学系统，其特征在于，所述系统包括教师终端和学生终端，其中：所述老师终端包括第一数据采集模块、第一数据处理模块、第一播放模块和第一通信模块，所述学生终端包括第二数据采集模块、第二数据处理模块、第二播放模块和第二通信模块。通过设定老师终端和学生终端，在老师终端中可以采集老师的行为和/或语音数据，控制虚拟场景中的老师角色执行相应的动作，并且可接收学生终端发送的行为和/或语音数据，控制虚拟场景中的学生角色执行相应的动作，使得老师可以观看场景，从而进行更为场景化的教学，及时有效的进行沟通互动。同样，对于学生终端可以进行更为场景化的学习，及时有效的进行沟通互动。

Description

沉浸式在线教学系统、方法和装置

技术领域

本发明属于在线教学领域，尤其涉沉浸式在线教学系统、方法和装置。

背景技术

随着互联网技术的发展，数据信息的传递越来越便利，为人们的生活、工作和学习的方式带来了巨大的改变。比如，人们可以通过互联网随时随地的获取优秀的教学资源，使得学习不再受到时间和地点的限制。

随着虚拟现实技术的发展，将虚拟现实技术也逐渐应用到了在线教学系统中。目前所使用的结合有虚拟现实技术的在线教学系统，通常是在服务器中存储三维的视频教学数据，用户终端下载所述三维的视频教学数据后，通过三维视频的播放工具查看，使用户获得较好的观看效果。

由于目前的虚拟现实教学方法为播放视频，因而用户不能及时有效的对学习过程中的内容与其它用户或者教学者互动，不利于获得更为及时有效的互动数据，不利于进一步提高用户处在现场教学的体验。

发明内容

本发明的目的在于提供一种沉浸式在线教学系统、方法和装置，以解决现有技术的虚拟现实教学方法不利于获得更为及时有效的互动数据，不利于进一步丰富用户所在现场的教学氛围数据。

第一方面，本发明实施例提供了一种沉浸式在线教学系统，所述系统包括教师终端和学生终端，其中：

所述老师终端包括第一数据采集模块、第一数据处理模块、第一播放模块和第一通信模块，并且：

所述第一数据采集模块用于采集该终端用户的声音和/或行为数据，并将采集的数据发送至第一数据处理模块；

所述第一通信模块用于将所述第一数据采集模块采集的数据发送至学生终端，接收学生终端发送的数据；

所述第一数据处理模块用于构建教学虚拟场景图像和在所述虚拟场景中的角色，根据第一数据采集模块所发送的数据，以及学生终端发送的数据，控制所述虚拟场景中对应的角色执行相应的动作；

所述第一播放模块用于播放虚拟场景的图像和/或声音数据；

所述学生终端包括第二数据采集模块、第二数据处理模块、第二播放模块和第二通信模块，并且：

所述第二数据采集模块用于采集该终端用户的声音和/或行为数据，并将采集的数据发送至第二数据处理模块；

所述第二通信模块用于将所述第二数据采集模块采集的数据发送到老师终端，接收老师终端发送的数据；

所述第二数据处理模块用于构建教学虚拟场景图像和在所述虚拟场景中的角色，并根据第二数据采集模块所发送的数据，以及老师终端发送的数据，控制所述虚拟场景中对应的角色执行相应的动作；

所述第二播放模块用于播放虚拟场景的图像和/或声音数据。

结合第一方面，在第一方面的第一种可能实现方式中，所述老师终端还包括课件接收模块，用于接收教学内容对应的课件数据，并通过所述第一数据处理模块和所述第二数据处理模块在所述虚拟场景中播放所述课件数据。

结合第一方面，在第一方面的第二种可能实现方式中，所述第一数据采集模块或第二数据采集模块包括虚拟现实头盔，在所述虚拟现实头盔上设置有头部方位检测传感器、肢体检测传感器和声音传感器。

结合第一方面的第二种可能实现方式，在第一方面的第三种可能实现方式中，所述方位检测传感器包括三轴磁场传感器、三轴陀螺传感器和三轴加速度传感器，所述肢体检测传感器为红外深度摄像机。

第二方面，本发明实施例提供了一种沉浸式在线教学的老师终端，所述老师终端包括第一数据采集模块、第一数据处理模块、第一播放模块和第一通信模块，并且：

所述第一数据采集模块用于采集该终端用户的声音和/或行为数据，并将采集的数据发送至第一数据处理模块；

所述第一通信模块用于将所述第一数据采集模块采集的数据发送至学生终端，接收学生终端发送的数据；

所述第一数据处理模块用于构建教学虚拟场景图像和在所述虚拟场景中的角色，根据第一数据采集模块所发送的数据，以及学生终端发送的数据，控制所述虚拟场景中对应的角色执行相应的动作；

所述第一播放模块用于播放虚拟场景的图像和/或声音数据。

结合第二方面，在第二方面的第一种可能实现方式中，所述老师终端还包括课件接收模块，用于接收教学内容对应的课件数据，并通过所述第一数据处理模块在所述虚拟场景中播放所述课件数据，以及将所述课件数据发送至学生终端。

第三方面，本发明实施例提供了一种沉浸式在线教学的学生终端，所述学生终端包括第二数据采集模块、第二数据处理模块、第二播放模块和第二通信模块，并且：

所述第二数据采集模块用于采集该终端用户的声音和/或行为数据，并将采集的数据发送至第二数据处理模块；

所述第二通信模块用于将所述第二数据采集模块采集的数据发送到老师终端，接收老师终端发送的数据；

所述第二数据处理模块用于构建教学虚拟场景图像和在所述虚拟场景中的角色，并根据第二数据采集模块所发送的数据，以及老师终端发送的数据，控制所述虚拟场景中对应的角色执行相应的动作；

所述第二播放模块用于播放虚拟场景的图像和/或声音数据。

结合第三方面，在第三方面的第一种可能实现方式中，所述学生终端还用于接收老师终端发送的课件数据，将所述课件数据在所述虚拟场景中播放。

第四方面，本发明实施例提供了一种沉浸式在线教学方法，所述方法包括：

采集用户本身的行为和/或语音数据，并接收其它用户发送的行为和/或语音数据；

根据所述行为和/或语音数据与用户的对应关系，控制虚拟场景中与用户对应的角色执行相应的动作；

通过虚拟现实设备播放所述虚拟场景的图像和/或声音数据。

第五方面，本发明实施例提供了一种沉浸式在线教学装置，所述装置包括：

数据采集单元，用于采集用户本身的行为和/或语音数据，并接收其它用户发送的行为和/或语音数据；

角色控制单元，用于根据所述行为和/或语音数据与用户的对应关系，控制虚拟场景中与用户对应的角色执行相应的动作；

虚拟场景播放单元，用于通过虚拟现实设备播放所述虚拟场景的图像和/或声音数据。

在本发明中所述的沉浸式在线教学系统，通过设定老师终端和学生终端，在老师终端中可以采集老师的行为和/或语音数据，控制虚拟场景中的老师角色执行相应的动作，并且可接收学生终端发送的行为和/或语音数据，控制虚拟场景中的学生角色执行相应的动作，使得老师可以观看场景，从而进行更为场景化的教学，及时有效的进行沟通互动。同样，对于学生终端可以进行更为场景化的学习，及时有效的进行沟通互动。

附图说明

图1是本发明实施例提供的沉浸式在线教学系统的结构示意图；

图2是本发明实施例提供的第一数据采集模块或第二数据采集模块的结构示意图；

图3是本发明实施例提供的沉浸式在线教学方法的实现流程图；

图4是本发明实施例提供的沉浸式在线教学装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的目的在于提供一种沉浸式在线教学系统、方法和装置，以解决现有技术中存在的教学方法，不利于获得更为及时有效的互动数据，不利于进一步丰富用户所在现场的教学氛围数据的问题。比如现有技术中的虚拟现实教学方法或系统，通常是预先设定三维的教学视频，用户获取所述三维的教学视频后，通过虚拟现实新头盔播放所述视频，在传统的视频教学基础上，增加用户所能获取的教学现场的数据，但这种教学方式的交互的时效性不强，不利于进一步丰富用户所感知的现场教学氛围的数据。下面结合附图对本发明作进一步的说明。

图1示出了本发明第一实施例提供的沉浸式在线教学系统的结构示意图，详述如下：

本发明实施例所述沉浸式在线教学系统，包括教师终端1和学生终端2，其中：

所述老师终端1包括第一数据采集模块11、第一数据处理模块12、第一播放模块13和第一通信模块14，并且：

所述第一数据采集模块11用于采集该终端用户的声音和/或行为数据，并将采集的数据发送至第一数据处理模块12；

所述第一通信模块14用于将所述第一数据采集模块11采集的数据发送至学生终端2，接收学生终端1发送的数据；

所述第一数据处理模块12用于构建教学虚拟场景图像和在所述虚拟场景中的角色，根据第一数据采集模块11所发送的数据，以及学生终端2发送的数据，控制所述虚拟场景中对应的角色执行相应的动作；

所述第一播放模块13用于播放虚拟场景的图像和/或声音数据；

所述学生终端2包括第二数据采集模块21、第二数据处理模块22、第二播放模块23和第二通信模块24，并且：

所述第二数据采集模块21用于采集该终端用户的声音和/或行为数据，并将采集的数据发送至第二数据处理模块22；

所述第二通信模块24用于将所述第二数据采集模块21采集的数据发送到老师终端1，接收老师终端1发送的数据；

所述第二数据处理模块22用于构建教学虚拟场景图像和在所述虚拟场景中的角色，并根据第二数据采集模块21所发送的数据，以及老师终端1发送的数据，控制所述虚拟场景中对应的角色执行相应的动作；

所述第二播放模块23用于播放虚拟场景的图像和/或声音数据。

具体的，本发明实施例中所述学生终端，可用于学生佩带，通过所述学生终端可以与其它学生终端和老师终端建立实时的数据通信，从而使得学生终端中的第二播放模块所播放的虚拟现实画面中包括用户本身、其它学生终端的用户以及老师终端的用户的角色的动作、语音等。

相应的，所述老师终端可用于老师佩带，可与其它学生终端建立实时的数据通信，使得老师终端中的第二播放模块所播放的虚拟现实画面中包括用户本身、与其相连的学生终端的用户的角色动作、语音等。

所述第一数据采集模块，可与第二数据采集模块基本相同，用于采集使用该终端(学生终端或者老师终端)的用户的行为数据以及语音数据等。所述行为数据可以包括用户的头部运动信息、肢体运动信息。其中，对于用户的头部运动信息，可以通过虚拟现实头盔中设置的方位检测传感器进行检测，如图2所示，所述方位传感器可以通过三轴磁场传感器、三轴陀螺传感器和三轴加速度传感器检测头部的运动数据，当然，也可以采用其中的一种或者两种相结合的方式，进行头部运动数据的采集。所述肢体运动信息，可以采用肢体检测传感器，比如可以采用红外深度摄像机拍摄用户的肢体的图像信息，并且通过深度数据的变化，分析用户的肢体移动的距离。当然，也可以通过其它的肢体传感器对用户的肢体运动信息进行采集。

优选的实施方式中，所述第一数据采集模块和第二数据采集模块还可以包括声音采集电路，比如采用麦克风等实时获取用户的声音数据，并将获取的声音数据发送至其它学生终端或者老师终端，所述学生终端和老师终端中设置有扬声器，可用于播放由其它的学生终端或者老师终端发送的声音数据。进一步优化的实施方式中，还可以根据虚拟场景中的角色的位置信息，发出声音的角色相对于接收声音的角色的方位信息，并根据所述方位信息，在接收声音的角色所对应的终端(学生终端或者老师终端)的扬声器中输出对应方位的音频。比如通过左右两个扬声器的声音的大小相应的调整声音的方位。

所述第一通信模块和和二通信模块，可以用于接收其它终端传送的角色的行为数据或者声音数据，相应的控制角色执行相应的动作，从而使得终端(以下皆指学生终端或者老师终端)可以观看到虚拟场景中的多个角色的动作图像，或者还包括听到其它终端的声音信息。所述通信模块可以为无线WIFI通信模块，也可以为移动通信模块，比如3G、4G以及未来可能会使用的5G等通信模块。

作为本发明进一步优化的实施方式中，如图1所示，所述老师终端1还可包括课件接收模块15，用于接收教学内容对应的课件数据，并通过所述第一数据处理模块和所述第二数据处理模块在所述虚拟场景中播放所述课件数据。在老师终端中接收的课件数据，可直接在老师终端中的虚拟场景的图像中显示和播放所述课件数据。所述课件数据还可以通过第一通信模块发送给与其通讯的学生终端，在学生终端中的虚拟场景中播放所述课件数据。所述课件接收模块15可以通过USB接口等通信接口读取U盘、移动硬盘上的课件数据。

所述第一数据处理模块12和第二数据处理模块22，可用于构建虚拟场景图像。所述虚拟场景图像的构建，可以通过服务器发送虚拟场景的数据，在终端中生成虚拟场景图像。也可以在终端中预先存储虚拟场景图像，学生终端在使用时，可以根据自己的喜好，在虚拟场景中选择对应的角色的座位的位置。

所述第一播放模块13和第二播放模块23，用于播放终端中的虚拟场景图像，包括虚拟场景中的角色以及角色的动作。当采集到用户的声音数据时，可以相应的控制角色嘴巴的张合，使得场景数据更加真实。当老师终端中接收到课件数据时，还可进一步在虚拟场景中显示课件数据，从而使得用户在虚拟场景中看到课件内容。

本发明中所述的沉浸式在线教学系统，通过设定老师终端和学生终端，在老师终端中可以采集老师的行为和/或语音数据，控制虚拟场景中的老师角色执行相应的动作，并且可接收学生终端发送的行为和/或语音数据，控制虚拟场景中的学生角色执行相应的动作，使得老师可以观看场景，从而进行更为场景化的教学，及时有效的进行沟通互动。同样，对于学生终端可以进行更为场景化的学习，及时有效的进行沟通互动。

如图3所示，本发明实施例所述沉浸式在线教学方法，详述如下：

在步骤S301中，采集用户本身的行为和/或语音数据，并接收其它用户发送的行为和/或语音数据；

在步骤S302中，根据所述行为和/或语音数据与用户的对应关系，控制虚拟场景中与用户对应的角色执行相应的动作；

在步骤S303中，通过虚拟现实设备播放所述虚拟场景的图像和/或声音数据。

本发明实施例所述沉浸式在线教学方法，与上述沉浸式在线教学系统对应，在此不作重复赘述。

如图4所述，本发明实施例提供的沉浸式在线教学装置，包括：

数据采集模块401，用于采集用户本身的行为和/或语音数据，并接收其它用户发送的行为和/或语音数据；

角色控制单元402，用于根据所述行为和/或语音数据与用户的对应关系，控制虚拟场景中与用户对应的角色执行相应的动作；

虚拟场景播放单元403，用于通过虚拟现实设备播放所述虚拟场景的图像和/或声音数据。

本发明实施例所述沉浸式在线教学装置，与上述沉浸式在线教学方法以及系统对应，在此不作重复赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种沉浸式在线教学系统，其特征在于，所述系统包括教师终端和学生终端，其中：

所述老师终端包括第一数据采集模块、第一数据处理模块、第一播放模块和第一通信模块，并且：

所述第一数据采集模块用于采集该终端用户的声音和/或行为数据，并将采集的数据发送至第一数据处理模块；

所述第一通信模块用于将所述第一数据采集模块采集的数据发送至学生终端，接收学生终端发送的数据；

所述第一数据处理模块用于构建教学虚拟场景图像和在所述虚拟场景中的角色，根据第一数据采集模块所发送的数据，以及学生终端发送的数据，控制所述虚拟场景中对应的角色执行相应的动作；

所述第一播放模块用于播放虚拟场景的图像和/或声音数据；

所述学生终端包括第二数据采集模块、第二数据处理模块、第二播放模块和第二通信模块，并且：

所述第二数据采集模块用于采集该终端用户的声音和/或行为数据，并将采集的数据发送至第二数据处理模块；

所述第二通信模块用于将所述第二数据采集模块采集的数据发送到老师终端，接收老师终端发送的数据；

所述第二数据处理模块用于构建教学虚拟场景图像和在所述虚拟场景中的角色，并根据第二数据采集模块所发送的数据，以及老师终端发送的数据，控制所述虚拟场景中对应的角色执行相应的动作；

所述第二播放模块用于播放虚拟场景的图像和/或声音数据。

2.根据权利要求1所述系统，其特征在于，所述老师终端还包括课件接收模块，用于接收教学内容对应的课件数据，并通过所述第一数据处理模块和所述第二数据处理模块在所述虚拟场景中播放所述课件数据。

3.根据权利要求1所述系统，其特征在于，所述第一数据采集模块或第二数据采集模块包括虚拟现实头盔，在所述虚拟现实头盔上设置有头部方位检测传感器、肢体检测传感器和声音传感器。

4.根据权利要求3所述系统，其特征在于，所述方位检测传感器包括三轴磁场传感器、三轴陀螺传感器和三轴加速度传感器，所述肢体检测传感器为红外深度摄像机。

5.一种沉浸式在线教学的老师终端，其特征在于，所述老师终端包括第一数据采集模块、第一数据处理模块、第一播放模块和第一通信模块，并且：

所述第一数据采集模块用于采集该终端用户的声音和/或行为数据，并将采集的数据发送至第一数据处理模块；

所述第一通信模块用于将所述第一数据采集模块采集的数据发送至学生终端，接收学生终端发送的数据；

所述第一数据处理模块用于构建教学虚拟场景图像和在所述虚拟场景中的角色，根据第一数据采集模块所发送的数据，以及学生终端发送的数据，控制所述虚拟场景中对应的角色执行相应的动作；

所述第一播放模块用于播放虚拟场景的图像和/或声音数据。

6.根据权利要求5所述老师终端，其特征在于，所述老师终端还包括课件接收模块，用于接收教学内容对应的课件数据，并通过所述第一数据处理模块在所述虚拟场景中播放所述课件数据，以及将所述课件数据发送至学生终端。

7.一种沉浸式在线教学的学生终端，其特征在于，所述学生终端包括第二数据采集模块、第二数据处理模块、第二播放模块和第二通信模块，并且：

所述第二数据采集模块用于采集该终端用户的声音和/或行为数据，并将采集的数据发送至第二数据处理模块；

所述第二通信模块用于将所述第二数据采集模块采集的数据发送到老师终端，接收老师终端发送的数据；

所述第二数据处理模块用于构建教学虚拟场景图像和在所述虚拟场景中的角色，并根据第二数据采集模块所发送的数据，以及老师终端发送的数据，控制所述虚拟场景中对应的角色执行相应的动作；

所述第二播放模块用于播放虚拟场景的图像和/或声音数据。

8.根据权利要求7所述学生终端，其特征在于，所述学生终端还用于接收老师终端发送的课件数据，将所述课件数据在所述虚拟场景中播放。

9.一种沉浸式在线教学方法，其特征在于，所述方法包括：

采集用户本身的行为和/或语音数据，并接收其它用户发送的行为和/或语音数据；

根据所述行为和/或语音数据与用户的对应关系，控制虚拟场景中与用户对应的角色执行相应的动作；

通过虚拟现实设备播放所述虚拟场景的图像和/或声音数据。

10.一种沉浸式在线教学装置，其特征在于，所述装置包括：

数据采集单元，用于采集用户本身的行为和/或语音数据，并接收其它用户发送的行为和/或语音数据；

角色控制单元，用于根据所述行为和/或语音数据与用户的对应关系，控制虚拟场景中与用户对应的角色执行相应的动作；

虚拟场景播放单元，用于通过虚拟现实设备播放所述虚拟场景的图像和/或声音数据。