CN113823133A - 一种将虚拟现实技术与教育培训结合的数据交换系统 - Google Patents

Abstract

本发明提出一种将虚拟现实技术与教育培训结合的数据交换系统，包括第一视频捕捉装置、第二视频虚拟化装置、第三视频采样装置、第四视频渲染装置；第一视频捕捉装置用于捕捉本地现场教学视频；第二视频虚拟化装置用于将所述本地现场教学视频转化为第二VR教学视频；第三视频采样装置用于对所述本地现场教学视频进行采样，获得第三采样教学视频帧；所述第四视频渲染装置，用于对所述第三采样教学视频帧执行视频增强操作，得到第四增强教学视频。所述第四视频渲染装置为云端渲染平台，所述云端渲染平台包括至少一个视频增强数据库。基于虚拟显示技术与视频增强技术，本发明可以获得更好的教育培训效果。

Description

一种将虚拟现实技术与教育培训结合的数据交换系统

技术领域

本发明属于虚拟现实与教学技术领域，尤其涉及一种将虚拟现实技术与教育培训结合的数据交换系统、基于该系统实现的方法以及实现该方法的计算机可读介质。

背景技术

如今，教育专业人士、学生及企业用户都开始利用现代科技来改进教学方式——以提高教学效率与质量的「3E」为目标：效率(Efficiency)、效力(Effectiveness)和娱乐性(Entertainment)。而这些技术将在未来几年内对在线教育产生不可估量的巨大影响。据Statista最近的一项研究显示，教育行业是投资虚拟现实的第四大行业。时至2025年，虚拟现实教育行业的市场规模有望达到7亿美元，未来五年将增长三倍多。此外，高达97％的学生对虚拟现实教育课程表现出了浓厚的兴趣。

近年来，随着科学技术不断发展，智能移动设备和网络技术也在迅速普及，增强现实技术在教育、社交、娱乐等方面的需求日渐增长，并慢慢渗透到人们的日常生活中，这为增强现实技术在高校教学应用中的普及提供了新的途径。

申请号为CN202010395546.7的中国发明专利申请提出一种虚拟现实教育系统，包括教师端，用于获取远程教师的图像；授课计算机，用于运行学习内容，并实现与学生用户的交互；学生VR头显，用于显示学生需要学习的虚拟现实内容；管理端主机，用于控制所述授课计算机和所述学生VR头显的运行；无线AP端，用于为所述教师端、所述授课计算机、所述学生VR头显和所述管理端主机提供局域网通讯；和pad端，用于家长对学生VR头显端的学生的使用状态进行监控。通过教师端与学生端以及家长端的相互配合使得整个学习线效率更高，且通过VR头显和虚拟现实手套的配合使用，使得学生在上课时的投入程度更高，使得学生具有更好的状态。

中国发明专利公开文本CN108288419A公开一种基于AR/VR技术的职教工匠平台，其包括：AR服务器，用于存储虚拟教室场景以及教学内容；摄像头，用于捕捉使用者的肢体动作；处理器，用于接收摄像头捕捉的肢体动作，并将所述肢体动作进行识别，所述处理器通过有线或无线网络与AR服务器进行通讯，用于将识别后肢体动作发送给AR服务器，由AR服务器将其生成虚拟动作，并控制虚拟教室场景中的相应的虚拟人员执行所述虚拟动作；虚拟现实设备，用于通过处理器接收并显示所述虚拟教室场景和教学内容。该发明通过设置虚拟教室场景，与使用者的肢体动作增加到虚拟教室场景中，便于演示，互动性好，增加了学习乐趣。

然而，一方面，本地视频VR/AR处理能力通常有限，因此VR/AR通常需要后台服务器例如云端渲染能力的支持；另一方面，在视频虚拟化(VR)以及视频增强现实(AR)会产生的大量的视频帧数据交互，如果处理不好数据交互与同步，视频虚拟化(VR)以及视频增强现实(AR)可能会产生明显的数据延迟甚至堵塞，从而给视频虚拟化(VR)以及视频增强现实(AR)的教学效果带来负面影响。

发明内容

为解决上述技术问题，本发明提出一种将虚拟现实技术与教育培训结合的数据交换系统，所述系统包括第一视频捕捉装置、第二视频虚拟化装置、第三视频采样装置、第四视频渲染装置、视频切分装置、视频融合装置与视频分发装置。第一视频捕捉装置用于捕捉本地现场教学视频；视频切分装置将所述第一视频捕捉装置捕捉的本地现场教学视频切分为多个部分；第二视频虚拟化装置用于将所述本地现场教学视频转化为第二VR教学视频；第三视频采样装置用于对所述本地现场教学视频进行采样获得第三采样教学视频帧；第四视频渲染装置用于对所述第三采样教学视频帧执行视频增强操作；所述视频融合装置执行融合计算，得到融合教学视频；视频分发装置将所述融合教学视频分发至多个远端用户的视频显示终端。

本发明还提出基于上述数据交换系统的数据交换方法，所述方法包括如下步骤：

S1：捕捉本地现场教学视频；

S2：切分本地现场教学视频；

S3：生成VR教学视频；

S4：渲染增强教学视频；

S5：显示融合教学视频。

本发明的上述方法可以通过包含处理器和存储器的终端设备，尤其是图像处理终端设备，包括移动终端、桌面终端、服务器以及服务器集群等，通过程序指令自动化的执行，因此，本发明还提供一种计算机可读存储介质，其上存储有计算机程序指令；通过包含处理器和存储器的图像终端处理设备，执行所述程序指令，用于实现所述数据交换方法的全部或者部分步骤。

整体而言，本发明提供一种将虚拟现实技术与教育培训结合的数据交换系统，所述系统包括：

第一视频捕捉装置，用于捕捉本地现场教学视频，所述现场教学视频为包含多个教学动作的视频帧；

视频切分装置，将所述第一视频捕捉装置捕捉的本地现场教学视频切分为第一教学视频帧、第二教学视频帧和第三教学视频帧；

第二视频虚拟化装置，用于将由所述本地现场教学视频切分而来的第二教学视频帧转化为第二VR教学视频；

第三视频采样装置，用于对所述将由所述本地现场教学视频切分而来的第二教学视频帧进行采样，获得第三采样教学视频帧；

第四视频渲染装置，用于对所述第三采样教学视频帧执行视频增强操作，得到第四增强教学视频；

视频融合装置，用于将所述第一教学视频帧、所述第二VR教学视频以及所述第四增强教学视频执行融合计算，得到融合教学视频；

视频分发装置，用于将所述融合教学视频分发至多个远端用户的视频显示终端。

在上述技术方案中，所述第二视频虚拟化装置包括多个视频虚拟化模型；

在上述技术方案中，在得到所述融合教学视频之前，在所述多个远端用户的视频显示终端上显示所述第一教学视频帧；同时，在所述视频融合装置不再输出融合教学视频之后，在所述多个远端用户的视频显示终端上显示所述第三教学视频帧。

作为进一步的改进，所述第二视频虚拟化装置与所述视频切分装置通过第一数据管道通信；

更进一步的，所述第三视频采样装置与所述第一视频捕捉装置通过所述视频切分装置生成的第二数据管道通信，所述第二数据管道为单向数据管道。

本发明的技术方案，在获取本地教学视频之后对其进行关键帧切分，将切分出来的关键视频帧执行VR化操作以及视频增强操作，从而获得融合的虚拟增强现实视频；并且，执行视频增强操作之前对关键帧视频执行了自适应的采样操作，从而避免与云端的大量数据传输；最后，采用数据管道技术进行采样装置与捕获装置、虚拟化装置与切分之间的通信，可以避免不同数据通道之间存在的干扰，尤其是单向数据管道的使用，使得数据传输稳定。

本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的一种将虚拟现实技术与教育培训结合的数据交换系统的主体模块结构图

图2是图1所述系统的进一步优选实施例的模块组成图

图3是图1所述系统中不同数据视频帧的生成和控制流程示意图

图4是图1所述系统中使用的部分模型和控制参数示意图

图5是基于图1所述系统实现的一种将虚拟现实技术与教育培训结合的数据交换方法的流程图

图6是实现图5所述方法的终端设备的架构示意图

具体实施方式

下面，结合附图以及具体实施方式，对发明做出进一步的描述。

参照图1，是本发明一个实施例的一种将虚拟现实技术与教育培训结合的数据交换系统的主体模块结构图。

在图1中，所述系统包括第一视频捕捉装置、第二视频虚拟化装置、第三视频采样装置、第四视频渲染装置；

所述第一视频捕捉装置，用于捕捉本地现场教学视频，所述现场教学视频为包含多个教学动作的视频帧；

所述第二视频虚拟化装置，用于将所述本地现场教学视频转化为第二VR教学视频；

所述第三视频采样装置，用于对所述本地现场教学视频进行采样，获得第三采样教学视频帧；

所述第四视频渲染装置，用于对所述第三采样教学视频帧执行视频增强操作，得到第四增强教学视频。

在图1的实施例中，所述现场教学视频为包含多个教学动作的具有第一帧率的视频帧；

所述第三视频采样装置基于所述第一帧率确定采样参数，基于所述采样参数对所述本地现场教学视频进行采样，获得多个第三采样教学视频帧。

作为优选，在得到所述融合教学视频之前，在所述多个远端用户的视频显示终端上显示所述第一教学视频帧；

在所述视频融合装置不再输出融合教学视频之后，在所述多个远端用户的视频显示终端上显示所述第三教学视频帧。

在图1基础上，进一步参见图2，图2给出了图1所述系统的进一步细节。

在图2中，在图1的系统模块基础上，进一步包括视频切分装置、视频融合装置与视频分发装置。

视频切分装置与所述第一视频捕捉装置连接，将所述第一视频捕捉装置捕捉的本地现场教学视频切分为第一教学视频帧、第二教学视频帧和第三教学视频帧。

具体而言，所述本地现场教学视频为实时录制的包含多个教学动作的视频，例如体育锻炼视频、舞蹈课视频、健康APP视频等。

所述视频切分装置基于关键帧识别技术，或者动作帧识别技术，或者参考帧识别技术，或者时间流识别技术结合声音识别等，可识别出本地现场教学视频的前序部分、主体内容部分以及后序部分。

作为举例，前序部分可以是开场白视频、开场字幕视频或者前序无动作介绍视频，后序部分可以是结尾视频、动作结束后的简单复述视频等；除此之外的部分才是主体内容部分，动作多样、富于变化等，基于上述特点，可以采用关键帧识别技术，或者动作帧识别技术，或者参考帧识别技术，或者时间流识别技术结合声音识别之一或者其组合，将本地现场教学视频切分为第一教学视频帧、第二教学视频帧和第三教学视频帧，第一教学视频帧对应本地现场教学视频的前序部分，第三教学视频帧对应于本地现场教学视频的后序部分，而第二教学视频帧对应于本地现场教学视频的主体内容部分。

在此基础上，为了减少数据传输，并且更符合实际情况，将所述第二教学视频帧输入所述第二视频虚拟化装置，用于将所述第二教学视频帧转化为第二VR教学视频；

与此同时，将所述第二教学视频帧输入所述第三视频采样装置；

此处，“同时”在实施例中是很重要的限定，不仅保持了视频的连续性，同时确保了后续增强视频的对齐，从而不会导致在本地原始视频和增强现实视频之间产生跳跃和突兀感。

继续参见图2，所述第三视频采样装置对所述第二教学视频帧进行采样，获得多个第三采样教学视频帧。

然后，将所述第一教学视频帧、第二VR教学视频以及第三采样教学视频帧输入所述视频融合装置执行融合计算，得到融合教学视频；

图像帧(视频)融合计算需要考虑视频流的同步一致性，在本领域已有对应的多种已知图像帧(视频)融合计算模型或者方法，本实施例对此不作展开，仅做简单介绍如下：

视频融合技术是虚拟现实技术的一个分支，也可以说是虚拟现实的一个发展阶段。视频融合技术指将一个或多个由视频采集设备采集的关于某场景或模型的图像序列视频与一个与之相关的虚拟场景加以融合，以生成一个新的关于此场景的虚拟场景或模型。

视频融合技术一般可以分为三个层次，即预处理、信息融合与应用层。预处理技术主要用来对视频图像进行几何校正、噪声消除、色彩；亮度调整及配准等等。视频图像配准是指找到视频图像与三维虚拟场景的最大相关，以消除图像在空间、相位和分辨率等方向的信息差异，达到融合更真实，信息更准确的目的。信息融合层即视频图像的融合。视频图像融合由智能度由低向高可以分为像素级、特征级、决策级融合等。像素级融合指基于图像像素进行拼接融合，是两个或两个以上的图像融合成为一个整体。特征级融合以图形的明显特征，如线条、建筑等特征为基础进行图像的拼接与融合。决策级融合使用贝叶斯法、D-S证据法等数学算法进行概率决策，依此进行视频或图像融合，更适应于主观要求。

接下来参见图3，图3是图1所述系统中不同数据视频帧的生成和控制流程示意图。

首先，由本地现场教学视频切分得到第一教学视频帧、第二教学视频帧和第三教学视频帧的原理前述已经介绍；

其次，第二教学视频帧输入至所述第二视频虚拟化装置，转化为第二VR教学视频，即视频的VR化处理。

视频的VR化，在本发明中具体可以体现为教学视频的VR化处理，即生成VR教学视频。视频化带给课件的是强的拓展性、乐趣性和信息的宽度和广度，VR化带来的则是一些交互体验的辅助学习模式和多端化教学模式。VR作为教育领域新兴的高科技技术，它是通过交互技术、人机界面技术等各种技术手段让学习者可通过与计算机进行自主探究学习，或者与其他学习者来进行合作学习，在这样一个虚拟的学习系统中，学习者可获得真实的学习体验。

相关的专利技术对此已有诸多报道，可参见JP特许第5047798B2专利、CN100470452C专利等。

在非专利方面，可参见：

董凯宁,刘天畅.5G时代高校动漫专业WebVR共享教学资源建设研究[J].动漫研究,2021(00):119-128。

在将所述第二教学视频帧输入所述第二视频虚拟化装置的同时，将所述第二教学视频帧输入所述第三视频采样装置。

第三视频采样装置，用于对所述本地现场教学视频进行采样，获得多个第三采样教学视频帧；

然后，将多个第三采样教学视频帧发送至所述第四视频渲染装置，对所述第三采样教学视频帧执行视频增强操作，得到第四增强教学视频。

视频增强操作，在本申请的实施例中又称视频AR。

增强现实技术(Augmented Reality，AR)把现实世界的一定时间空间范围内难以体验到的实体信息，通过计算机系统特殊处理后将生成的虚拟三维模型动画、视频、图片、文字等数字信息实时叠加显示到真实场景中，将虚拟的信息应用到真实世界，对真实世界进行填补，在虚实结合的交互中不断加强用户对真实世界图像或空间的视觉、听觉、触觉等感官方面的体验，从而使人们感受到超越现实的感官体验。

增强现实技术一般通过计算机模拟仿真实体信息后叠加多个虚拟图像，然后将其放入现实场景或图像中。增强现实能为师生提供身临其境的学习情境。增强现实技术最大的特点就是虚实结合，通过计算机将处理过的数字信息与其他数据信息整合到用户可见的现实场景中，凭借虚拟物体来增强用户的真实感受,使教师和学生在高校课堂教学中有形象逼真的学习情境，学生能够更好的主观接受知识。

相应的介绍可参见如下现有技术：

王延可.增强现实几何一致性相关问题研究[D].山东大学,2014；

陈伟雄.基于增强现实的城市小区规划系统研究与设计[D].华中科技大学,2007.

在图3中，所述第四视频渲染装置为云端渲染平台，所述云端渲染平台包括至少一个视频增强数据库；所述云端渲染平台按照预设周期获取多个第三采样教学视频帧，并输入到所述视频增强数据库执行视频增强匹配后输出第四增强教学视频帧。

接下来，图4介绍了图3中采样与VR模型的参数选取与控制过程。

所述现场教学视频为包含多个教学动作的具有第一帧率的视频帧；

所述第三视频采样装置基于所述第一帧率确定采样参数，基于所述采样参数对所述本地现场教学视频进行采样，获得多个第三采样教学视频帧。

所述第二视频虚拟化装置包括多个视频虚拟化模型；

所述第二视频虚拟化装置基于所述第二教学视频帧的第二帧率，匹配出至少一个目标视频虚拟化模型；

将所述第二教学视频帧输入所述目标视频虚拟化模型，得到所述第二VR教学视频。

值得注意的是，一般说来，上述第一帧率等于等二帧率。但是本实施例考虑到某些视频在不同的阶段采用不同的硬件设备，因此，采样和虚拟化分别自适应不同的帧率，确保获得的VR模型和后续的AR视频能够不出现跳变。

基于图1-图4的实施例，图5给出了一种将虚拟现实技术与教育培训结合的数据交换方法，所述方法包括如下步骤：

S1：捕捉本地现场教学视频；

S2：切分本地现场教学视频；

S3：生成VR教学视频；

S4：渲染增强教学视频；

S5：显示融合教学视频。

显然，上述各个步骤可以基于图1-图4相应的系统或者装置分别实现或者并行实现，本发明对此不再赘述。

作为进一步的优选实施例，在上述各个技术方案中，远端用户的视频显示终端包括可穿戴显示设备。

所述第二视频虚拟化装置与所述视频切分装置通过第一数据管道通信；所述第三视频采样装置与所述第一视频捕捉装置通过所述视频切分装置生成的第二数据管道通信，所述第二数据管道为单向数据管道。

数据管道技术原本是用于不同数据库(数据源)之间的数据转移的技术，例如数据备份、数据还原等，采用数据管道技术，可以避免进程阻塞或者使用第三方代理进行数据传输。例如申请号为CN2020107749026的中国发明专利申请就利用了数据管道技术读取待备份数据进行数据备份，数据管道即是将不同进程连接起来用于数据传输。

本发明首次将数据管道技术应用于视频数据传输，可避免不同数据通道之间存在的干扰，尤其是单向数据管道的使用，使得数据传输稳定。

最后，图5上述方法可以通过包含处理器和存储器的终端设备，尤其是图像处理终端设备，包括移动终端、桌面终端、服务器以及服务器集群等，通过程序指令自动化的执行，因此，本发明还提供一种计算机可读存储介质，其上存储有计算机程序指令；通过包含处理器和存储器的图像终端处理设备，执行所述程序指令，用于实现所述数据交换方法的全部或者部分步骤。所述处理器和存储器通过总线连接，构成终端设备的内部通信，参见图6。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种将虚拟现实技术与教育培训结合的数据交换系统，所述系统包括第一视频捕捉装置、第二视频虚拟化装置、第三视频采样装置、第四视频渲染装置；

所述第一视频捕捉装置，用于捕捉本地现场教学视频，所述现场教学视频为包含多个教学动作的视频帧；

所述第二视频虚拟化装置，用于将所述本地现场教学视频转化为第二VR教学视频；

所述第三视频采样装置，用于对所述本地现场教学视频进行采样，获得第三采样教学视频帧；

所述第四视频渲染装置，用于对所述第三采样教学视频帧执行视频增强操作，得到第四增强教学视频；

所述系统还包括视频切分装置、视频融合装置与视频分发装置；

所述视频切分装置将所述第一视频捕捉装置捕捉的本地现场教学视频切分为第一教学视频帧、第二教学视频帧和第三教学视频帧；

所述视频融合装置将所述第一教学视频帧、所述第二VR教学视频以及所述第四增强教学视频执行融合计算，得到融合教学视频；

所述视频分发装置将所述融合教学视频分发至多个远端用户的视频显示终端。

2.如权利要求1所述的一种将虚拟现实技术与教育培训结合的数据交换系统，其特征在于：

所述现场教学视频为包含多个教学动作的具有第一帧率的视频帧；

所述第三视频采样装置基于所述第一帧率确定采样参数，基于所述采样参数对所述本地现场教学视频进行采样，获得多个第三采样教学视频帧。

3.如权利要求1所述的一种将虚拟现实技术与教育培训结合的数据交换系统，其特征在于：

所述第二视频虚拟化装置包括多个视频虚拟化模型；

所述第二视频虚拟化装置基于所述第二教学视频帧的第二帧率，匹配出至少一个目标视频虚拟化模型；

将所述第二教学视频帧输入所述目标视频虚拟化模型，得到所述第二VR教学视频。

4.如权利要求3所述的一种将虚拟现实技术与教育培训结合的数据交换系统，其特征在于：

在将所述第二教学视频帧输入所述目标视频虚拟化模型的同时，将所述第二教学视频帧输入所述第三视频采样装置。

5.如权利要求1所述的一种将虚拟现实技术与教育培训结合的数据交换系统，其特征在于：

在得到所述融合教学视频之前，在所述多个远端用户的视频显示终端上显示所述第一教学视频帧。

6.如权利要求1所述的一种将虚拟现实技术与教育培训结合的数据交换系统，其特征在于：

远端用户的视频显示终端包括可穿戴显示设备。

7.如权利要求1所述的一种将虚拟现实技术与教育培训结合的数据交换系统，其特征在于：

所述第四视频渲染装置为云端渲染平台，所述云端渲染平台包括至少一个视频增强数据库；

所述云端渲染平台按照预设周期获取多个第三采样教学视频帧，并输入到所述视频增强数据库执行视频增强匹配后输出第四增强教学视频帧。

8.如权利要求1所述的一种将虚拟现实技术与教育培训结合的数据交换系统，其特征在于：

所述第二视频虚拟化装置与所述视频切分装置通过第一数据管道通信。

9.如权利要求8或1所述的一种将虚拟现实技术与教育培训结合的数据交换系统，其特征在于：

所述第三视频采样装置与所述第一视频捕捉装置通过所述视频切分装置生成的第二数据管道通信，所述第二数据管道为单向数据管道。

10.一种将虚拟现实技术与教育培训结合的数据交换方法，所述方法基于权利要求1-9任一项所述的数据交换系统实现。

Images