CN110427107A - 虚拟与现实互动教学方法及系统、服务器、存储介质 - Google Patents

Abstract

本发明公开一种虚拟与现实互动教学方法及系统、服务器、存储介质，其中方法包括如下步骤：通过全景摄像设备将全景影像直播到虚拟教学场景中，形成距离视觉点较远的不断变化的包裹环境(既天空盒)，与场景中所有场景形象共同构成完整虚拟教学场景，其中场景形象包括其他参与互动教学人员的真实影像或虚拟形象；然后输出完整虚拟教学场景至用户的互动教学设备中，使这些用户基于观看的完整虚拟教学场景做出相应的互动行为。采用本发明，可以实时变换的天空盒的形式将异地的人物或场景直接传递给参与教学的所有人员，形成高效率的互动教学，有利于虚拟现实或增强现实或混合现实教育技术的广泛推广。

Description

虚拟与现实互动教学方法及系统、服务器、存储介质

技术领域

本发明涉及智慧教育技术领域，尤其涉及一种虚拟与现实互动教学方法及系统、服务器、存储介质。

背景技术

随着科技的发展，多媒体教学已经普遍应用于各领域的教学场景中，各种课件或者视频均可以通过互联网远端学习或者实时交互，但仅通过屏幕投影或者显示器现实的多媒体教学方式，不能体现三维展示效果，具有较大的局限性，影响教学互动的积极性，而当前的虚拟现实教学系统通过将真实视频或图像与虚拟场景进行算法融合，呈现给师生一种身临其境的真实教学感受，但现有技术需要通过各种算法将真实视频或图像与虚拟场景进行场景融合，算法复杂度较大，对设备性能要求较高，不利于虚拟现实或增强现实或混合现实教育技术的广泛推广。

发明内容

本发明实施例提供一种虚拟与现实互动教学方法及系统、服务器、存储介质，可以实时变换的天空盒的形式将异地的人物或场景直接传递给参与教学的所有人员，形成高效率的互动教学，有利于虚拟现实或增强现实或混合现实教育技术的广泛推广。

本发明实施例第一方面提供了一种虚拟与现实互动教学方法，可包括：

获取全景摄像设备拍摄的全景影像；

将全景影像直播至虚拟教学场景形成距离视觉点较远的不断变化的天空盒，与虚拟教学场景中所有场景形象共同构成完整虚拟教学场景，场景形象包括其他参与互动教学人员的真实影像或虚拟形象；

输出展示完整虚拟教学场景，使佩戴互动教学设备的用户基于观看的完整虚拟教学场景做出相应的互动行为，互动教学设备包括虚拟现实设备或增强现实设备或混合现实设备；

将互动行为反映在完整虚拟教学场景中，供发出互动行为的人员或其他佩戴互动教学设备的人员观看。

进一步的，天空盒随直播的进行展示实时变换的全景影像。

进一步的，上述方法还包括：

基于摄像系统获取教学直播场景中的教学影像数据；

提取教学影像数据中目标对象的真实影像；

将真实影像添加至虚拟教学场景中，与虚拟教学场景中所有场景形象共同构成完整虚拟教学场景。

进一步的，上述提取教学影像数据中目标对象的真实影像，包括：

采用绿幕抠像或其他抠像技术将教学影像数据中目标对象的真实影像从场景影像中提取出来。

进一步的，上述方法还包括：

将目标对象的真实影像虚拟化为虚拟形象后添加至虚拟教学场景中。

本发明实施例第二方面提供了一种虚拟与现实互动教学系统，可包括：

服务器，用于获取全景摄像设备拍摄的全景影像；

服务器，还用于将全景影像直播至虚拟教学场景形成距离视觉点较远的不断变化的天空盒，与虚拟教学场景中所有场景形象共同构成完整虚拟教学场景，场景形象包括其他参与互动教学人员的真实影像或虚拟形象；

服务器，还用于输出展示完整虚拟教学场景，使佩戴互动教学设备的用户基于观看的完整虚拟教学场景做出相应的互动行为，互动教学设备包括虚拟现实设备或增强现实设备或混合现实设备；

互动教学设备，用于解析并呈现完整虚拟教学场景给用户观看；

服务器，还用于将互动行为反映在完整虚拟教学场景中，供发出互动行为的人员或其他佩戴互动教学设备的人员观看。

进一步的，天空盒随直播的进行展示实时变换的全景影像。

进一步的，服务器还用于基于摄像系统获取教学直播场景中的教学影像数据；提取教学影像数据中目标对象的真实影像；将真实影像添加至虚拟教学场景中，与虚拟教学场景中所有场景形象共同构成完整虚拟教学场景。

进一步的，服务器在提取教学影像数据中目标对象的真实影像时，具体用于采用绿幕抠像或其他抠像技术将教学影像数据中目标对象的真实影像从场景影像中提取出来。

进一步的，服务器还用于将目标对象的真实影像虚拟化为虚拟形象后添加至虚拟教学场景中。

本发明实施例第三方面提供了一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行以下步骤：

获取全景摄像设备拍摄的全景影像；

将全景影像直播至虚拟教学场景形成距离视觉点较远的不断变化的天空盒，与虚拟教学场景中所有场景形象共同构成完整虚拟教学场景，场景形象包括其他参与互动教学人员的真实影像或虚拟形象；

输出展示完整虚拟教学场景，使佩戴互动教学设备的用户基于观看的完整虚拟教学场景做出相应的互动行为，互动教学设备包括虚拟现实设备或增强现实设备或混合现实设备；

将互动行为反映在完整虚拟教学场景中，供发出互动行为的人员或其他佩戴互动教学设备的人员观看。

本发明的有益下过如下：

通过以实时变换的天空盒的形式将异地的人物或场景直接传递给参与教学的所有人员，形成了高效率的互动教学，有利于虚拟现实或增强现实或混合现实教育技术的广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的虚拟与现实互动教学系统的结构示意图；

图2是本发明实施例提供的一种虚拟与现实互动教学方法的流程示意图；

图3是本发明实施例提供的天空盒示意图；

图4是本发明实施例提供的服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含，术语“第一”和“第二”仅是为了区别命名，并不代表数字的大小或者排序。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本身申请中虚拟与现实互动教学系统如图1所示，包括服务器11和互动教学设备21-互动教学设备2N。其中，

服务器11，用于获取全景摄像设备拍摄的全景影像。

服务器11，还用于将所述全景影像直播至所述虚拟教学场景形成距离视觉点较远的不断变化的天空盒，与所述虚拟教学场景中所有场景形象共同构成完整虚拟教学场景，其中，所述场景形象包括其他参与互动教学人员的真实影像或虚拟形象。需要说明的是，天空盒随直播的进行展示实时变换的全景影像。

在可选实施例中，服务器11还用于基于摄像系统获取教学直播场景中的教学影像数据，然后提取所述教学影像数据中目标对象的真实影像，再将所述真实影像添加至所述虚拟教学场景中，与所述虚拟教学场景中所有场景形象共同构成完整虚拟教学场景。

进一步的，服务器11，还用于输出展示完整虚拟教学场景，使佩戴互动教学设备21-互动教学设备2N的用户基于观看的完整虚拟教学场景做出相应的互动行为，其中，互动教学设备21-2N包括虚拟现实设备或增强现实设备或混合现实设备。

互动教学设备21，用于解析并呈现完整虚拟教学场景给用户观看。

服务器11，还用于将互动行为反映在完整虚拟教学场景中，供发出互动行为的人员或其他佩戴互动教学设备2N的人员观看。

需要说明的是，在上述互动教学系统中，互动教学设备的个数与参与互动教学的人员数量一致。该系统可以实现远程真实与虚拟场景的教学互动，具体的实现过程可以参见图2描述的互动教学流程。

如图2所示，虚拟与现实互动教学方法至少可以包括以下几个步骤：

S101，获取全景摄像设备拍摄的全景影像。

可以理解的是，全景摄像设备可以拍摄360°的全景教学场景的全景教学影像，服务器可以获取上述全景影像。

S102，将全景影像直播至虚拟教学场景形成距离视觉点较远的不断变化的天空盒，与虚拟教学场景中所有场景形象共同构成完整虚拟教学场景。

此过程为本申请中的实现互动教学的最重要过程，在进行介绍之前，先对天空盒进行简单介绍。所谓的天空盒其实是将一个立方体展开，然后在六个面上贴上相应的贴图，如图3所示，在实际的渲染中，将该立方体笼罩在全景摄像设备的周围，让设备处于立方体的中心位置，然后根据设备拍摄的视线与立方体的交点坐标确定在哪个面渲染图像，最终将所拍摄场景的360°无死角的场景图像以天空盒的形式展示。

在本申请中，服务器可以将全景影像直播至虚拟教学场景形成距离视觉点较远的不断变化的天空盒，然后与虚拟教学场景中所有场景形象共同构成完整虚拟教学场景，其中，场景形象可以是其他参与互动教学人员的真实影像或虚拟形象。简单来说，本申请相当于将实时更新的影像代替现有技术中的图片，形成实时变换影像的天空盒，相当于图3所示的天空盒中各个面上的图像是随着全景影像的变化而变化的影像，无论身处何方，参与教学的人员都可以通过互动教学设备体验身临其境的感觉。

在可选实施例中，服务器还可以基于摄像系统获取教学直播场景中的教学影像数据，然后通过绿幕抠图或者其他抠图技术直接将影像数据中目标对象的真实影像从场景影像中提取出来，其中，目标对象可以是直播教学场景中的人物(如教师、助教、参观者或者学员)或者教学设施，上述真实影像可以是真实的人物或者教学设施的影像。进一步的，可以将将真实影像添加至虚拟教学场景中，与虚拟教学场景中所有场景形象共同构成完整虚拟教学场景。需要说明的是，在本实施例中，服务器可以将上述目标对象的真实影像虚拟化为虚拟形象之后，再添加到虚拟教学场景中，从而可以在实现真实与虚拟、真实与真实教学交互的基础上，实现虚拟与真实或者虚拟与虚拟教学的交互，满足更多的教学场景需求。例如，服务器可以将一些人员比如教师、助教、参观者或学员的视频显示到虚拟场景中，这些视频可以是完整的，也可以是经过绿幕抠像的人员视频，虚拟场景中同时可以存在一些以虚拟形象呈现的其他人员。

需要说明的是，上述虚拟教学场景可以是通过计算机3D建模实现生成的3D虚拟教学场景。

S103，输出展示完整虚拟教学场景。

具体实现中，服务器可以输出展示上述完整虚拟教学场景，从而，佩戴互动教学设备(如，虚拟现实设备或增强现实设备或混合现实设备)的用户可以通过佩戴的设备达到身临其境的教学感受，同时还可以根据所观看的教学场景做出相应的互动行为，例如，回答问题或者做讲解或者做动作或者打开某个程序等。

S104，将互动行为反映在完整虚拟教学场景中。

需要说明的是，服务器可以将上述互动行为反映在完整虚拟教学场景中，使发出该行为的人员以及其他佩戴互动教学设备参与互动教学的人员都能看到上述互动行为，从而，使整个虚拟与现实互动教学的过程更加流畅、真实。可以理解的是，反应在场景中的互动行为可以是以发出互动行为人的真实形象或虚拟形象进行展示的，例如，学员A向前走了两步，则反应在完整虚拟教学场景中A的真实影像或者虚拟形象也向前走了两步。

在本发明实施例中，通过以实时变换的天空盒的形式将异地的人物或场景直接传递给参与教学的所有人员，形成了高效率的互动教学，有利于虚拟现实或增强现实或混合现实教育技术的广泛推广。

本发明实施例还提供了一种计算机存储介质，计算机存储介质可以存储有多条指令，指令适于由处理器加载并执行如上述图1和图2所示实施例的方法步骤，具体执行过程可以参见图1和图2所示实施例的具体说明，在此不进行赘述。

本申请实施例还提供了一种虚拟与现实互动教学服务器。如图4所示，互动教学服务器20可以包括：至少一个处理器201，例如CPU，至少一个网络接口204，用户接口203，存储器205，至少一个通信总线202，可选地，还可以包括显示屏206。其中，通信总线202用于实现这些组件之间的连接通信。其中，用户接口203可以包括触摸屏、键盘或鼠标等等。网络接口204可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通过网络接口204可以与服务器建立通信连接。存储器205可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器，存储器205包括本发明实施例中的flash。存储器205可选的还可以是至少一个位于远离前述处理器201的存储系统。如图4所示，作为一种计算机存储介质的存储器205中可以包括操作系统、网络通信模块、用户接口模块以及程序指令。

需要说明的是，网络接口204可以连接接收器、发射器或其他通信模块，其他通信模块可以包括但不限于WiFi模块、蓝牙模块等，可以理解，本发明实施例中互动教学服务器也可以包括接收器、发射器和其他通信模块等。

处理器201可以用于调用存储器205中存储的程序指令，并使互动教学服务器20执行以下操作：

获取全景摄像设备拍摄的全景影像；

将全景影像直播至虚拟教学场景形成距离视觉点较远的不断变化的天空盒，与虚拟教学场景中所有场景形象共同构成完整虚拟教学场景，场景形象包括其他参与互动教学人员的真实影像或虚拟形象；

输出展示完整虚拟教学场景，使佩戴互动教学设备的用户基于观看的完整虚拟教学场景做出相应的互动行为，互动教学设备包括虚拟现实设备或增强现实设备或混合现实设备；

将互动行为反映在完整虚拟教学场景中，供发出互动行为的人员或其他佩戴互动教学设备的人员观看。

在一些实施例中，天空盒随直播的进行展示实时变换的全景影像。

在一些实施例中，服务器20还用于基于摄像系统获取教学直播场景中的教学影像数据；提取教学影像数据中目标对象的真实影像；将真实影像添加至虚拟教学场景中，与虚拟教学场景中所有场景形象共同构成完整虚拟教学场景。

在一些实施例中，服务器20在提取教学影像数据中目标对象的真实影像时，具体用于采用绿幕抠像或其他抠像技术将教学影像数据中目标对象的真实影像从场景影像中提取出来。

在一些实施例中，服务器20还用于将目标对象的真实影像虚拟化为虚拟形象后添加至虚拟教学场景中。

在本发明实施例中，通过以实时变换的天空盒的形式将异地的人物或场景直接传递给参与教学的所有人员，形成了高效率的互动教学，有利于虚拟现实或增强现实或混合现实教育技术的广泛推广。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种虚拟与现实互动教学方法，其特征在于，包括：

获取全景摄像设备拍摄的全景影像；

将所述全景影像直播至所述虚拟教学场景形成距离视觉点较远的不断变化的天空盒，与所述虚拟教学场景中所有场景形象共同构成完整虚拟教学场景，其中，所述场景形象包括其他参与互动教学人员的真实影像或虚拟形象；

输出展示所述完整虚拟教学场景，使佩戴互动教学设备的用户基于观看的完整虚拟教学场景做出相应的互动行为，所述互动教学设备包括虚拟现实设备或增强现实设备或混合现实设备；

将所述互动行为反映在所述完整虚拟教学场景中，供发出所述互动行为的人员或其他佩戴所述互动教学设备的人员观看。

2.根据权利要求1所述的方法，其特征在于，

所述天空盒随直播的进行展示实时变换的全景影像。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于摄像系统获取教学直播场景中的教学影像数据；

提取所述教学影像数据中目标对象的真实影像；

将所述真实影像添加至所述虚拟教学场景中，与所述虚拟教学场景中所有场景形象共同构成完整虚拟教学场景。

4.根据权利要求3所述的方法，其特征在于，所述提取所述教学影像数据中目标对象的真实影像，包括：

采用绿幕抠像或其他抠像技术将所述教学影像数据中目标对象的真实影像从场景影像中提取出来。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

将所述目标对象的真实影像虚拟化为虚拟形象后添加至所述虚拟教学场景中。

6.一种虚拟与现实互动教学系统，其特征在于，包括：

服务器，用于获取全景摄像设备拍摄的全景影像；

所述服务器，还用于将所述全景影像直播至所述虚拟教学场景形成距离视觉点较远的不断变化的天空盒，与所述虚拟教学场景中所有场景形象共同构成完整虚拟教学场景，其中，所述场景形象包括其他参与互动教学人员的真实影像或虚拟形象；

所述服务器，还用于输出展示所述完整虚拟教学场景，使佩戴互动教学设备的用户基于观看的完整虚拟教学场景做出相应的互动行为，所述互动教学设备包括虚拟现实设备或增强现实设备或混合现实设备；

互动教学设备，用于解析并呈现所述完整虚拟教学场景给用户观看；

所述服务器，还用于将所述互动行为反映在所述完整虚拟教学场景中，供发出所述互动行为的人员或其他佩戴所述互动教学设备的人员观看。

7.根据权利要求6所述的系统，其特征在于，

所述天空盒随直播的进行展示实时变换的全景影像。

8.根据权利要求6所述的系统，其特征在于，

所述服务器，还用于基于摄像系统获取教学直播场景中的教学影像数据；提取所述教学影像数据中目标对象的真实影像；将所述真实影像添加至所述虚拟教学场景中，与所述虚拟教学场景中所有场景形象共同构成完整虚拟教学场景。

9.根据权利要求8所述的系统，其特征在于，在提取所述教学影像数据中目标对象的真实影像时，

所述服务器，具体用于采用绿幕抠像或其他抠像技术将所述教学影像数据中目标对象的真实影像从场景影像中提取出来。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行以下步骤：

获取全景摄像设备拍摄的全景影像；

将所述全景影像直播至所述虚拟教学场景形成距离视觉点较远的不断变化的天空盒，与所述虚拟教学场景中所有场景形象共同构成完整虚拟教学场景，其中，所述场景形象包括其他参与互动教学人员的真实影像或虚拟形象；

输出展示所述完整虚拟教学场景，使佩戴互动教学设备的用户基于观看的完整虚拟教学场景做出相应的互动行为，所述互动教学设备包括虚拟现实设备或增强现实设备或混合现实设备；

将所述互动行为反映在所述完整虚拟教学场景中，供发出所述互动行为的人员或其他佩戴所述互动教学设备的人员观看。