CN113507599A

CN113507599A - 基于大数据分析的教育云服务平台

Info

Publication number: CN113507599A
Application number: CN202110772764.2A
Authority: CN
Inventors: 彭寒兵; 雷雪霞
Original assignee: Sichuan Zongheng Liuhe Technology Co ltd
Current assignee: Sichuan Zongheng Liuhe Technology Co ltd
Priority date: 2021-07-08
Filing date: 2021-07-08
Publication date: 2021-10-15
Anticipated expiration: 2041-07-08
Also published as: CN113507599B

Abstract

本发明提供了一种基于大数据分析的教育云服务平台，该方法包括：第一深度捕获设备，位于教室中，用于从多个视点拍摄每个学生的三维视频图像；会话控制模块，耦合于第一深度捕获设备，用于控制教室内多个深度捕获设备和AR终端的信号传输模式；第二深度捕获设备，用于从所述多个视点拍摄教师的视频图像；多个AR终端，包括视频显示和音频反馈电路，每个AR终端与教室的每个座位相关联，其中一个AR终端与教师相关联；会话控制模块执行多种模式，包括授课模式、讨论模式和互动模式。本发明提出了一种基于大数据分析的教育云服务平台，构建基于云平台的多点、多视角、虚拟教学系统，结合AR和三维重建技术，降低了设备的复杂性并节省网络资源。

Description

基于大数据分析的教育云服务平台

技术领域

本发明涉及智能教育，特别涉及一种基于大数据分析的教育云服务平台。

背景技术

随着数字技术的发展和远程课程教学的需要，基于视频的远程教育平台被广泛应用。教师和学生可以在不同地点登录平台相互交流。远程教育平台使真实和虚拟人员能够彼此观看，如同在同一真实空间中。然后确定投影到任何AR显示设备上的三维对象的二维投影。每个学生看到的是与其他人员不同的视角，保证对象在二维AR显示设备上的三维表现。然而在涉及多个虚拟教室的情况下，现有的远程教学系统在可扩展性方面受到限制。为了保持图像的效率和粒度，需要更多的捕获设备和AR显示设备，从而增加了设备成本。此外，具有更多的捕获设备和视角会导致更多的实时处理，并且在运营商网络上传输时需要更大的带宽。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种基于大数据分析的教育云服务平台，包括：

多个第一深度捕获设备，所述第一深度捕获设备位于教室中，用于从多个视点拍摄每个学生的三维视频图像；

会话控制模块，耦合于所述第一深度捕获设备，用于控制教室内多个深度捕获设备和AR终端的信号传输模式；

多个第二深度捕获设备，耦合于所述会话控制模块，所述多个第二深度捕获设备用于从所述多个视点拍摄教师的视频图像；

多个AR终端，包括视频显示和音频反馈电路，每个AR终端与教室的每个座位相关联，其中一个AR终端与教师相关联；

其中所述会话控制模块执行多种模式之一，包括授课模式、讨论模式和互动模式；

在所述授课模式中，将教师的视频图像和音频流式传输到多个学生的每个座位的每个AR终端，在所述互动模式中，将教师和每个座位的特定学生之间的交互的视频和音频进行流式传输，以使特定的学生正面地接收来自所述教师的视频图像帧和音频帧，而所述教师正面地接收来自特定的学生的视频图像帧和音频帧，并且当多个学生进入音频交换的讨论模式时，通过允许未参加讨论的学生接收教师和参加讨论的学生的视频和音频流，实现对所有AR终端的视点和音频传输进行控制；

其中所述教室和所述教师位于同一物理位置，并且所述第一和第二深度捕获设备以及所述AR终端在局域网内耦合于所述会话控制模块；或

其中所述教室和所述教师位于不同的物理位置，并且所述第一和第二深度捕获设备以及所述AR终端通过所述互联网连接到所述的会话控制模块。

优选地，所述会话控制模块基于来自所述深度捕获设备中的视频中的姿态识别或音频传输中的关键词来提供所述多种模式的切换。

优选地，其中所述视点是通过对来自两个不同深度捕获设备的图像帧进行插值来确定的。

优选地，对每个教室设置传输映射表，每个表传输映射记录有其各自教室的捕获设备和AR显示设备之间的设备映射。

本发明相比现有技术，具有以下优点：

本发明提出了一种基于大数据分析的教育云服务平台，构建基于云平台的多点、多视角、虚拟教学系统，结合AR和三维重建技术，降低了设备的复杂性并节省网络资源。

附图说明

图1是根据本发明实施例的基于大数据分析的教育云服务平台的模块图。

具体实施方式

下文与图示本发明原理的附图共同提供对本发明一个或多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的或所有细节也可以根据权利要求书实现本发明。

本发明的一方面提供了一种基于大数据分析的教育云服务平台。图1是根据本发明实施例的基于大数据分析的教育云服务平台模块图。

本发明的基于大数据分析的教育云服务平台在多视角虚拟环境中合成，并保持一致的相对邻接区域位置，根据不同人员参与的交互类型为其提供随时间变化的视角。利用以特定模式布局的多个捕获设备和AR显示设备保持教室中人员的相对位置，并且包括对象和设备类型的相对位置，共同创建用于真实和虚拟教室中的虚拟教学环境。

所述教育云服务平台包括以特定模式排列的多个捕获设备阵列，包括指向真实和虚拟教室中的学生的捕获设备阵列，以及指向真实教室中的教师的捕获设备阵列。所述捕获设备可包括摄像机、照相机等。所述教育云服务平台还包括真实和虚拟教室中的多个AR显示设备，用于展示由捕获设备阵列捕获的视频。根据教室是教师实际所处的真实教室还是显示教师的二维投影的虚拟教室，使用不同的设备布局，并利用姿态识别机制触发捕获设备和AR显示设备之间的传输切换。

其中多个AR终端包括视频显示和音频反馈电路，每个AR终端与教室的每个座位相关联，其中一个AR终端与教师相关联；所述会话控制模块执行多种模式之一，包括授课模式、讨论模式和互动模式。

在所述授课模式中，将教师的视频图像和音频流式传输到多个学生的每个座位的每个AR终端，在所述互动模式中，将教师和每个座位的特定学生之间的交互的视频和音频进行流式传输，以使特定的学生正面地接收来自所述教师的视频图像帧和音频帧，而所述教师正面地接收来自特定的学生的视频图像帧和音频帧，并且当多个学生进入音频交换的讨论模式时，通过允许未参加讨论的学生接收教师和参加讨论的学生的视频和音频流，实现对所有AR终端的视点和音频传输进行控制。

所述教育云服务平台包括位于真实和虚拟教室的多个计算节点和软件应用，所述软件应用将参与人员定位在真实空间中并且识别双方的身体姿态。所述教育云服务平台包括位于真实和虚拟教室的映射节点，根据特定的交互类型，所述映射节点基于特定的姿态计算传输切换矩阵。真实教室和虚拟教室之间的映射是以多播方式执行的，由传输映射表实现传输显示矩阵的正确生成。所述映射节点决定AR显示设备和捕获设备之间的映射。该映射是基于使用观测者相关向量坐标系来校正多点教学系统中的注视校正的方法来决定的。

所述捕获设备、显示器、服务器和网关的多个网络设备经由局域网连接。会话架构基于具有两个层级即本地层和全局层的终端系统覆盖网络。在本地层，教室的每个虚拟环境中的通信由分组数据网关管理；真实教室的网关、虚拟教室的网关由多个处理器和软件组成。

其中本地教室和教师位于同一物理位置，并且深度捕获设备以及所述AR终端在局域网内耦合于所述会话控制模块；或教室和教师位于不同的物理位置，并且深度捕获设备以及AR终端通过互联网连接到会话控制模块。

本发明的教育云服务平台通过校正注视校正方法，将三维对象转换到二维投影空间之前计算注视校正系数，以使真实和虚拟人员能够彼此观看。具体地，深度捕获设备基于边界重建算法对三维对象数据进行注视校正预处理：

首先对三维对象数据进行边缘检测，提取三维对象数据中前景物体的边缘。然后对提取的边缘进行边界重构滤波处理。具体通过定义成本函数C_t(k)＝C_F(k)+C_S(k)，对提取的边缘计算当前像素的相邻像素成本值，找到具有最大成本的最佳亮度值来代替当前像素的亮度值。其中，k代表像素的亮度值，C_t代表像素值为k时的成本函数。成本分量C_F代表每个像素的出现频率，定义如下：

其中p_n×n(i)表示窗口p_n×n中像素i的亮度值。ME(min)和ME(max)分别表示最小和最大的ME值。

成本分量C_S表示当前像素点i_(x,y)与其相邻像素i_(x1,y1)之间的亮度的相似性，定义如下：

其中，HS(max)和HS(min)分别表示最大和最小的HS(k)值。

对于所述本地层使用的功能，所述教育云服务平台实现注视模拟、计算注视校正、跟踪和分析人员的身体运动或其他身体姿态、并实现传输切换、特定交互类型的传输显示矩阵的计算。对于全局层的其他功能，所述教育云服务平台实现传输切换监控和分析、组织具有本地分组数据网关的多方通信方案以及管理转发调度。

生成的视频流通过网络与远程虚拟教室环境进行交换。将来自不同远程环境的三维表示进行合并渲染，创建具有虚拟感知的协作虚拟空间。

本发明通过定义唯一的向量来表示虚拟环境中的对象。教室中的对象定义了三个不同的向量，包括对象向量、观测者向量和观测者相关向量。为了在多视角虚拟环境中合成和保持对象的一致的相对邻接区域位置，本发明使用与用于创建虚拟环境的姿态识别模块相结合的人员位置的向量分析方法。每个真实和虚拟位置配备有多个以预定模式排列并指向参与人员的捕获设备和AR显示设备。每个位置都具有一个专用的计算节点，该节点使用来自捕获设备的输入来计算观测者相关向量，并且将所计算的一组观测者相关向量用于计算注视校正系数。与姿态识别模块结合的多个映射节点对姿态进行分类，并触发从一个远程位置的捕获设备到另一个远程位置的AR显示设备的映射。

在所述教育云服务平台支持在多种模式中，当启动授课模式时，教师进入学生的真实教室并开始讲课。教师通过手动切换方式使系统进入授课模式。当教师希望将信息指向特定的虚拟教室，并且指向当前正在展示来自该教室的视频的真实教室AR显示设备的其他身体姿态时，启动互动模式。讨论模式可以由希望与另一教室中的学生交互的虚拟教室中的学生发起，例如，通过远程学生指向该教室中的AR显示设备的其他身体姿态的动作，所述AR显示设备当前正在展示远程学生希望进行交互的学生的教室的视频。

所述视点是通过对来自两个不同深度捕获设备的图像帧进行插值来确定的。所述会话控制模块基于来自深度捕获设备中的视频中的姿态识别或音频传输中的关键词来提供所述多种模式的切换。

根据教师和学生之间不断变化的交互，采用预定义触发机制在状态或模式之间自动切换，捕获和显示正确的视频和音频传输，并在正确的位置和时间显示。系统基于预定义的一组姿态变量对姿态进行理解和分类，例如手指方向、手势、点头等。当由姿态识别模块识别和估计一组身体姿态时，启动捕获传输切换。基于所识别的姿态，生成触发事件并将其发送到连接到教室的专用服务器节点。服务器节点识别交互状态，并通过多播网络将适当的数据传输路由到位于相关联的教室的特定显示器。

显示在二维AR显示设备上的任何对象都具有与其相关联的对象相关向量。为实现使在二维显示的虚拟对象表现为真实三维对象的目的，所述教育云服务平台在虚拟对象的多种投影之间进行切换。计算观测者向量的角度，以确定哪个投影将被切换到哪个AR显示设备上。

对每个教室设置传输映射表，每个表记录有其各自教室的捕获设备和AR显示设备之间的设备映射。切换算法主要由信息源和信息接收者的变化触发。通过教师的特定身体姿态来指示信息将被导向虚拟教室，并且系统将识别该姿态并计算和使用适当的设备传输切换。

为消除AR图像变形，需要根据教室摄像机视觉坐标系像素点坐标计算求取对应点(u，v)在显示屏幕所在平面图像坐标系变形点坐标(x_d，y_d)，再进行图像的显示屏幕所在平面坐标系表达，将(x_d，y_d)代入显示屏幕所在平面图像坐标系中图像变形矫正数学模型x_d＝(1+k₁r²)x_u、y_d＝(1+k₁r²)y_u进行逆运算。

其中，r²＝x_u ²+y_u ²

k₁为一阶径向畸变系数，因此求得矫正变形后的显示屏幕所在平面图像坐标系理想点坐标(x_u，y_u)，再由理想点坐标(x_u，y_u)替代(x_d，y_d)的值代入：

u＝x_d/dx+c_x、v＝y_d/dy+c_y

s_x＝dy/dx，求出对应点(u，v)新的坐标值，即新的像素点位置。

其中，(dx，dy)分别为图像平面上x、y方向上单位像素间的距离，s_x为图像纵横比。(c_x，c_y)为物理图像坐标系的原点的像素坐标。

将教室摄像机视觉坐标系中的所有像素点坐标(u，v)逐一经过上述计算过程后，获得像素点在屏幕画面上的理想排列，即真实景物图像的恢复。

当系统处于授课模式时，响应于身体姿态，例如虚拟教室中的学生举手提问，本地教师通过某种姿态来指示信息的方向将指向当前虚拟教室以开始交互。通过坐标系获取教师在真实教室内的物理位置。真实教室相对应的专用服务器执行的姿态识别模块已经识别出教师的姿态方向显示，姿态自动触发系统从授课模式切换到互动模式。

可以通过本地服务器将教室连接到互联网服务器，用于将视频和音频流引导到虚拟教室并接收视频和音频流以传回真实教室。当教师发起会话之后，向虚拟教室发送邀请链接，虚拟教室可以选择加入或选择退出一个会话。远程用户将自身的远程局域网服务器连接到中央广域网服务器。真实教室中的教师优选地以授课模式继续启动的会话，此时教师是主要对象，即被远程观看的主要对象。真实教室和虚拟教室的学生佩戴的AR终端根据每个人在教室中的位置和视角，显示教师和教师使用的显示器的增强视图。每个教室中的会话控制模块基于各自的软件应用而接收来自平台服务器的视频和音频流并将视频和音频流输出到平台服务器。可以在教室的会话控制模块上执行三维重建。由会话控制模块全局执行会话模式的识别以及交互子事件的映射，包括互动模式、讨论模式的转换。

在授课模式下，可确定是否从授课模式切换到互动模式。在这种模式下，本地学生可以直接看到本地教师，而远程学生可以在AR显示器上看到教师。如果确定不触发互动模式，则会话保持授课模式。如果确定将模式切换到互动模式，则会话以互动模式继续。互动模式是教师对象将信息导向特定的一组学生。系统利用姿态识别机制识别该姿态，并自动切换到互动模式。

当处于互动模式时，系统可以确定是否切换到讨论模式。讨论模式是教师和学生同时扮演信息来源和信息接受者的角色。本地教师和来自任何真实和虚拟教室的学生能够相互交流。在这种模式下，教师启动与任何真实和虚拟学生的交互，每个学生还能够启动与教师的交互，学生可以启动与其他本地或远程学生的交互。这种交互启动可以包括教师或学生的身体姿态，或触发进入讨论模式的其他身体姿态。

如果确定不切换到讨论模式，则会话继续保持互动模式。如果确定切换到讨论模式，则会话进入讨论模式。确定通过时间约束自动结束当前会话，还是在没有时间约束的情况下通过教师的姿态而自动结束当前会话。如果确定不结束当前会话，则确定是否触发新的授课模式。如果通过姿态识别指令确定触发新的授课模式，则重新返回授课模式。当模式发生改变时，所有参与学生和教师的视角根据模式特征而改变。因此可选地，远程教师可以是播放预先录制的课程的自动引擎，触发多个物理显示器来展示实时的媒体或视觉指令。深度捕获过程可以在姿态被捕获并记录时实时独立识别多个姿态序列，并且在视频到达云平台之后利用深度捕获来减少识别姿态的任务。

具体地，在深度捕获中，接收由捕获设备捕获的远程图像帧，其中远程图像帧指示多个所获取的远程图像帧参数；确定对应于不同模块的多个AR模型实例，所述不同模块在AR系统本地执行或经由云平台远程执行以提供所获取的远程图像帧的特征点提取；基于所获取的多个图像帧参数估计多个AR模型实例的多个本地特征提取时间；其中为每个AR模型实例确定相应的本地特征提取时间估计值，其中所述每个本地特征提取时间估计值提供用于在所述AR系统上本地执行相应的AR模型实例，以从所获取的远程图像帧中提取特征点的估计时间量，然后获取网络状态测量。为所述多个AR模型实例中的每一个生成激活指令，以形成所述远程图像帧的多个激活指令，每个激活指令与特定的AR模型实例中相关联。所述激活指令基于网络状态测量和多个本地特征提取时间估计值，并且选择多个激活指令中的一个来激活相应的AR模型实例。

在具体的实施例中，仅当确定与所获取的远程图像帧相关联的动态获取的图像帧参数超过多个AR模型实例的激活时间差阈值时，生成所述多个激活指令，并且确定所述多个AR模型实例包括检索对应于所述多个AR模型实例的AR模型标识符。每个激活指令进一步包括将所获取的远程图像帧作为原始文件加载到云平台的指令或将特征点从所获取的远程图像帧加载到云平台的指令。

其中，所述将特征点从获取的图像帧激活到云平台，具体包括，基于确定动态获取的图像帧参数超过特定AR模型实例的激活时间差阈值，将特征点从获取的图像帧激活到云平台。通过实现与AR模型标识符相关联的AR模型实例，从所获取的远程图像帧生成特征点。

为增强多个AR终端的实时显示效果，本发明在所述AR显示终端中通过与深度捕获设备进行光学通信来增强显示的同步性，具体包括：

(a)通过使用具有第一曝光时间的图像传感器获取捕获的远程图像帧；

(b)通过与深度捕获设备进行光通信获取深度捕获设备的光学标识信息，其中所述深度捕获设备通过使发光元件闪烁而改变亮度来传输光学标识信息；

(c)将光学标识信息传输到云平台；

(d)从云平台获取AR图像和与光学标识信息相关联的识别信息，其中所述识别信息指示捕获的远程图像帧内的目标区域的位置；

(e)使用所述识别信息识别捕获的远程图像帧内的目标区域；

(f)显示所捕获的远程图像帧，将AR图像叠加在目标区域上，其中获取所述光学标识信息包括：通过使用具有第二曝光时间的图像传感器获取待解码的目标帧，该第二曝光时间比第一曝光时间更短；通过解码该待解码的目标帧来获取光学标识信息。

所述深度捕获设备包括改变亮度来发送信号的发射器，所述AR图像包括AR视频图像，并且在步骤(f)中，所述AR视频图像包括预定数量的图像帧，所述预定数量的图像帧在显示包括所述深度捕获设备的图像周围显示。

其中所述识别信息是用于定位所捕获的远程图像帧的参考区域的参考信息。在步骤(e)中，基于所述参考信息从所捕获的远程图像帧中定位所述参考区域，并且基于所述参考区域的位置从所捕获的远程图像帧中识别所述目标区域。

所述识别信息还包括用于定位所捕获的远程图像帧的参考区域的参考信息，以及指示所述目标区域相对于所述参考区域的相对位置的目标信息。因此在步骤(e)中，基于所述参考信息，从所捕获的远程图像帧中定位所述参考区域，并且基于所述参考区域的位置，将由所述目标信息指示的相对位置中的区域标识为来自所捕获的远程图像帧的目标区域。

所述参考信息可指示所捕获的远程图像帧中的参考区域的位置与解码目标帧中的亮线图案区域的位置相匹配，所述亮线图案区域包括由亮线形成的图案，所述亮线在图像传感器中所包括的曝光线被曝光时呈现。在另一实施例中，所述参考信息还可指示所捕获的远程图像帧中的参考区域是在所捕获的远程图像帧中所显示的区域。

在步骤(f)中，作为AR图像的第一AR图像被显示预定义的显示时长，同时屏蔽不同于第一AR图像的第二AR图像的显示。在所述预定义的显示时长内，禁止解码新获取的待解码目标帧。

所述步骤(f)还包括，在预定显示时长内，使用加速度传感器测量AR显示设备的加速度；确定测量的加速度是否大于或等于阈值；当测量的加速度大于或等于阈值时，停止屏蔽第二AR图像的显示，从而显示第二AR图像而不显示第一AR图像。

可选地，所述步骤(f)还包括，基于由AR显示设备中包括的人脸照相机所捕获的图像，确定学生用户的人脸是否正在接近AR显示设备；以及当确定学生用户的人脸正在靠近时，显示作为AR图像的第一AR图像，屏蔽不同于第一AR图像的第二AR图像的显示。

可选地，所述步骤(f)还包括，基于由加速度传感器测量的AR显示设备的加速度，确定学生用户的人脸是否正在接近AR显示设备；以及当确定学生用户的人脸正在靠近时，显示作为AR图像的第一AR图像，同时屏蔽不同于第一AR图像的第二AR图像的显示。

其中，所捕获的远程图像帧和所解码的目标帧是通过图像传感器捕获图像而获取的，所述图像传感器包括多个显示器。对于上述步骤(e)，在所述多个显示器中，将显示传输光学标识信息的传输显示器的区域识别为来自所捕获的远程图像帧的目标区域。

在进一步的优选实施例中，所述教育云服务平台还设置有多个信标，用于向位于教室区域内的AR终端发送多个信标信号；所述AR终端包括照相机、显示器和控制模块，其中所述AR终端位于教室区域内。所述AR终端耦合于所述多个信标和云平台服务器。所述云平台服务器从多个AR终端接收多个信标相关信号，然后基于多个信标相关信号来确定标记的AR场景，其中所述标记位于所述教室区域内，并且可由所述AR终端的照相机识别，并向AR终端发送指示标记和AR场景的标记信号。

所述AR终端的控制模块进一步用于从多个信标接收多个信标信号，并基于多个信标信号向云平台服务器发送多个信标相关信号；从云平台服务器接收标记信号和AR场景；使用照相机扫描教室区域；识别教室区域内的标记；并且响应于成功识别标记，在显示器上输出AR场景。

其中所述云平台服务器包括教室区域确定模块，用于从所述AR终端接收所述多个信标相关信号，并基于所述多个信标相关信号来确定所述AR终端的教室区域。所述教室区域确定模块耦合于教室区域存储服务器，所述教室区域存储服务器存储将多个教室区域与多个信标相关联的信息。所述云平台服务器进一步包括标记确定模块，所述标记确定模块从所述教室区域确定模块接收所述AR终端的教室区域，并且基于所述AR终端的教室区域来确定所述标记。

其中所述标记确定模块耦合于标记数据库，所述标记数据库存储多个标记与多个教室区域的关联信息。所述云平台服务器包括内容确定模块，所述内容确定模块从所述标记确定模块接收所述标记，并且基于所述标记来确定所述AR场景。所述内容确定模块耦合于内容数据库，所述内容数据库存储将多个AR场景与所述多个标记相关联的信息。

当接收更新所述标记的指示时，确定位于教室区域内的可用传感器；指示可用传感器确定教室区域内的更新标记；然后用更新标记替换原始标记。其中所述替换操作可包括，将替换标记与标记数据库中的教室区域相关联，并将AR场景与内容数据库中的替换标记相关联。

综上所述，本发明提出了一种基于大数据分析的教育云服务平台，构建基于云平台的多点、多视角、虚拟教学系统，结合AR和三维重建技术，降低了设备的复杂性并节省网络资源。

显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或这种范围和边界的等同形式内的全部变化和修改例。

Claims

1.一种基于大数据分析的教育云服务平台，其特征在于，包括：多个第一深度捕获设备，所述第一深度捕获设备位于教室中，用于从多个视点拍摄每个学生的三维视频图像；

2.根据权利要求1所述的方法，其特征在于，所述会话控制模块基于来自所述深度捕获设备中的视频中的姿态识别或音频传输中的关键词来提供所述多种模式的切换。

3.根据权利要求1所述的方法，其特征在于，其中所述视点是通过对来自两个不同深度捕获设备的图像帧进行插值来确定的。

4.根据权利要求1所述的方法，其特征在于，进一步包括：

对每个教室设置传输映射表，每个表传输映射记录有其各自教室的捕获设备和AR显示设备之间的设备映射。