CN110727351A - 一种用于vr环境的多人协同系统 - Google Patents

Abstract

本发明公开了一种用于VR环境的多人协同系统，涉及虚拟现实应用领域，能够有效对同一虚拟场景下多人互动冲突进行处理，具体方案为：包括用户端、服务器程序端、XML课程文件模块和外部资源文件模块，用户端包括课程资源集模块、用户端管理模块、文件资源库模块、用户视频流模块、用户音频流模块和用户端信息模块；本发明提供的用于VR环境的多人协同系统能够有效对同一虚拟场景下多人互动冲突进行处理；基于VR环境的教学管理系统，老师可以带领学生一同进入参观虚拟生产场景，随时讲解学生问题，或者同学们可以参与需要协同工作的场景，互相配合，共同完成某些协同工作类型，达到最好的学习效果。

Description

一种用于VR环境的多人协同系统

技术领域

本发明涉及虚拟现实应用领域，更具体地说，它涉及一种用于VR环境的多人协同系统、基于VR环境的教学管理系统及构建方法。

背景技术

美国是VR技术的发源地，它的研究技术水平基本就代表了国际VR发展的水平。目前，美国在该领域的基础研究主要集中在感知系统，用户界面，后台软件和硬件四个方面。美国宇航局NASA就建立了航空卫星维护VR训练系统，空间站VR训练系统，并且已经建立了可供全国使用的VR教育系统。美国SRI研究中心也建立了视觉感知计划，研究VR技术的进一步发展，利用VR技术对军用飞机和车辆的驾驶进行VR模拟训练，以降低培训成本。华盛顿大学HITLab也将VR研究引入教育领域。日本在VR技术领域也投入了大量的人力和物力，他们主要致力于建立大规模VR知识库的研究，构建VR在教育领域的先进资源壁垒。

针对目前时常会出现以下类似的问题，在VR技术环境下，汽车检测站VR仿真中，一个设备或流程操作通常只能由一个人操作，不能由两个以上的人同时操作，即，如果某一设备或流程操作正在被一个人员A操作，那么就不能再由另一个人员B操作了，必须得等到A操作后，B才能去操作，这和实际工作不符合。而现实中许多设备的操作和工作流程的完成需要多人同时配合才能完成，故需要在原来汽车检测站仿真系统中增加多人协同技术应用。

发明内容

为解决上述技术问题，本发明提供一种用于VR环境的多人协同系统，能够有效对同一虚拟场景下多人互动冲突进行处理。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种用于VR环境的多人协同系统，包括用户端、服务器程序端、XML课程文件模块和外部资源文件模块，用户端包括课程资源集模块、用户端管理模块、文件资源库模块、用户视频流模块、用户音频流模块和用户端信息模块。

作为一种优选方案，文件资源库模块分别信号连接XML课程文件模块、外部资源文件模块和课程资源集模块；服务器程序端分别信号连接课程资源集模块和用户端管理模块，用户端管理模块分别信号连接用户视频流模块、用户音频流模块和用户端信息模块。

一种基于VR环境的教学管理系统，包括上述的用于VR环境的多人协同系统，还包括教师端，教师端包括教师端管理模块、教师音频流模块、教师视频流模块、课程分配消息模块和权限分配消息模块。

作为一种优选方案，教师端管理模块、教师音频流模块和教师视频流模块均信号连接服务器程序端，课程分配消息模块和权限分配消息模块均信号连接教师端管理模块。

作为一种优选方案，用户视频流模块、用户音频流模块、教师视频流模块和教师音频流模块均按照WebRTC协议进行采集和编码。

作为一种优选方案，用户端信息模块按照操作类型生成序列化的Json字符串。

一种基于VR环境的教学管理系统的构建方法，基于上述的基于VR环境的教学管理系统，包括以下步骤：

S1：通过课程文件解析器将XML课程文件模块中的文件反序列化，成为程序所需的二进制课程对象；

S2：资源加载模块加载并处理外部资源文件模块中的文件；

S3：将S1和S2过程中处理后的文件加入到文件资源库模块中；

S4：课程资源处理器对S3中文件进行课程资源处理并生成课程资源集；

S5：将S4中处理后的文件与VR虚拟仿真框架平台进行关联；

S6：用户端管理模块汇集用户视频流模块、用户音频流模块和用户端信息模块中的信息，并进行处理；

S7：S5和S6中信息共同构成学生端程序。

综上所述，本发明具有以下有益效果：

(1)本发明提供的用于VR环境的多人协同系统能够有效对同一虚拟场景下多人互动冲突进行处理；

(2)本发明提供的基于VR环境的教学管理系统能够提供相关实训课程的仿真训练，提高了学生的操作性，保障了学生的安全性；

(3)本发明提供的基于VR环境的教学管理系统，老师可以带领学生一同进入参观虚拟生产场景，随时讲解学生问题，或者同学们可以参与需要协同工作的场景，互相配合，共同完成某些协同工作类型，达到最好的学习效果；

(4)本发明提供的基于VR环境的教学管理系统可根据学生的不同学情(学情指的是学生的起点能力(认知结构、认知能力和学习态度)、学习风格、学习动机、信息素养和学习问题等几个方面)，从而为教师制定切实可行的、个性化的干预措施和学习方案提供辅助，它是教学设计的起点；

(5)本发明提供的基于VR环境的教学管理系统采用虚拟现实技术手段的目的是提高学生知识、技能迁移的能力，学生通过在虚拟环境下自主学习、独立思考，并将知识、技能进行归纳总结迁移到真实环境下的学习中去，学会“举一反三”、“触类旁通”。因此，教学目标的设定应便于虚实情境迁移过程中产生学习正迁移；

(6)对学校而言，有以下优势：

1.形成学校的办学特色。通过购置多套VR设备、装备VR实训室和定制VR内容资源，可以率先进行VR教育教学创新的探究。通过汽车检测站大场景多人协同的应用，既能实现学生的技能培训，又符合实际操作习惯。形成了在汽车检测站实训教学领域构建起特色教学资源，进行个性化教学。

2.推动学校的教育信息化建设。VR设备的进入，将为学校教学提供全新的教学手段，各学科都可以尝试采用VR技术解决原有教学难点，逐步提升教师教育信息化水平。开始时是使用别人制作的内容进行教学，以后发展编辑平台发展起来后，老师和学生还可以自己制作VR内容。

3.推动校际的交流和合作。每个学校VR资源的差异化设计，会促进校际的交流和合作，每个学校的教学理念、教学模式都能在VR资源上得到充分体现，校际间可以进一步沟通和交流，互相学习找到更好的模式。

(7)VR对于教师而言，有以下优势：

1.辅助课堂教学。VR教育资源最大的优势就是可以让学生体验到以下的场景，而这些场景可能在真实生活中是无法感受到的场景。这也可能是VR教育资源相比其他平面视频、3D动画资源而言具有的较大的内容方面的优势。

2.创新教学模式。全新的教学工具势必引发教学模式的变革，教师要在这个过程中不断去更新教学理念，创新教学模式，摸索出比较有效和完善的VR教育模式。这其中一定有失败的案例，但也一定会有大量成功的经验，这也是教育发展的必经之路。

3.推动教育研究水平提升。VR教育进入学校，伴随着无数创新与变革的机会，为各学科的教学实践开辟了全新战场和更大的空间，推动教学改革、教学研究的进一步发展。

(8)VR对于学生而言，有以下优势：

1.提高学习兴趣。学生戴着VR眼镜完全沉浸到虚拟世界中，暂时"告别“了枯燥的课堂，无疑是调动学生学习兴趣的最好方式。

2.增进对知识点的理解。在正常教学过程中，一些知识点中的场景、结构、动态确实是教师无法用语言来描述，这些都是VR施展的好机会。虚拟现实技术可以调动学生的视觉、听觉等多种感官，学生理解这些知识点更容易，学习也更有效。

3.增强对学习的主动性。优质的VR教育资源，除了让学生学到知识，还要让学生喜欢学习，学习不再是辛苦和乏味的代名词，有趣的学习过程能提升学生学习的主动性。

附图说明

图1是本发明实施例的用于VR环境的多人协同系统的结构示意图；

图2是本发明实施例的一种基于VR环境的教学管理系统的结构示意图。

具体实施方式

以下对本发明作进一步详细说明。

实施例1：

如图1所示，一种用于VR环境的多人协同系统，包括用户端、服务器程序端、XML课程文件模块和外部资源文件模块，用户端包括课程资源集模块、用户端管理模块、文件资源库模块、用户视频流模块、用户音频流模块和用户端信息模块。

作为一种优选实施例，文件资源库模块分别信号连接XML课程文件模块、外部资源文件模块和课程资源集模块；服务器程序端分别信号连接课程资源集模块和用户端管理模块，用户端管理模块分别信号连接用户视频流模块、用户音频流模块和用户端信息模块。

实施例2：

如图2所示，一种基于VR环境的教学管理系统，包括上述的用于VR环境的多人协同系统，还包括教师端，教师端包括教师端管理模块、教师音频流模块、教师视频流模块、课程分配消息模块和权限分配消息模块。

作为一种优选实施例，教师端管理模块、教师音频流模块和教师视频流模块均信号连接服务器程序端，课程分配消息模块和权限分配消息模块均信号连接教师端管理模块。

作为一种优选实施例，用户视频流模块、用户音频流模块、教师视频流模块和教师音频流模块均按照WebRTC协议进行采集和编码。

作为一种优选实施例，用户端信息模块按照操作类型生成序列化的Json字符串。

在实施例2中，用于VR环境的多人协同系统中的用户端对应学生端，且在实施例1中，用户端信息模块也包括消息分配模块和权限分配模块。

实施例3：

如图2所示，一种基于VR环境的教学管理系统的构建方法，基于上述的基于VR环境的教学管理系统，包括以下步骤：

S1：通过课程文件解析器将XML课程文件模块中的文件反序列化，成为程序所需的二进制课程对象；

S2：资源加载模块加载并处理外部资源文件模块中的文件；

S3：将S1和S2过程中处理后的文件加入到文件资源库模块中；

S4：课程资源处理器对S3中文件进行课程资源处理并生成课程资源集；

S5：将S4中处理后的文件与VR虚拟仿真框架平台进行关联；

S6：用户端管理模块汇集用户视频流模块、用户音频流模块和用户端信息模块中的信息，并进行处理；

S7：S5和S6中信息共同构成学生端程序。

实施例4：

针对实施例2的应用，首先，创设真实工作任务情境。平台发布问题，学生进入虚拟现实技术实训平台，导览虚拟环境全景熟悉工作环境，并在语音的提示下，熟悉操作手柄的使用，探究提出的问题，并使学生尽快进入角色。

其次，实施虚拟任务训练。虚拟练习分为两个环节，即先练习后考核，第一环节是在平台上，学生进入指导模式，根据语音和文字的提示下，进行分段虚拟练习，探究学习。在练习过程中，教师通过平台的评价系统实时观察学生的操练情况，记录典型错误操作，每当一个训练环节结束，教师就错误率较高的操作进行虚拟示范操作，学生进行归纳总结，反思自身操作的问题。经过梳理后，学生继续进行反复操练，不断自我纠正错误，解决问题，并从中不断地归纳总结，直至零错误完成各训练环节的操作。完成分段训练后，进入第二环节。第二环节是虚拟考核，学生进入考核模式，在没有任何的提示下，完成各训练环节操作，检验学生在分段虚拟练习所获得的经验是否能够实现迁移，只有通过考核的同学，才能进行真实训练。由于学生已获得了相关的经验，当再次进入相似的虚拟情境中时，很容易做出正确的判断和抉择，实现学习迁移。有些学生在第一个环节中过度依赖语言和文字的提示，故第一环节通过后，第二环节就会出现无法通过的现象。当出现此现象时，应重新进行分段虚拟练习，直至第二个环节合格为止。虚拟训练可以帮助学生及时的进行学习迁移，特别对于步骤繁琐、操作复杂的操作。虚拟训练起到预备训练的作用。有实验表明学习者的虚拟活动产生来意想不到的学习效果，技能可以得以明显的提高。

第三，实施真实任务训练。虚拟训练合格的学生可以进行真实训练，尽管虚拟环境接近“真实”，但是与真实环境仍有存在着一定差异，为了帮助学生顺利的将虚拟训练中所获得的知识技能迁移到真实训练中去，在真实训练开始前，辅以示范操作视频、微课、动画等教学手段，确保迁移量。此外，在虚拟训练中未能体现出的知识技能点或无法呈现的，在真实训练前，应予以梳理和强调。在真实训练中，学生佩戴录播眼镜进入真实环境，在操作的同时进行实时录播，以便课后进行互评。训练结束后，教师选取集中错误率高的几个录播视频进行播放，在观看这些错误操作视频中，学生不断反思自己的操作，同时指正视频中的错误操作，教师进行点评。此时，学生已经将虚拟训练中获得的知识技能迁移到对真实训练中去，进而从学习领域迁移到实践应用中去，知识、技能得以融会贯通。最后，开展学习结果导向的课堂总结。

工作原理：

平台运行时，首先通过课程文件解析器将XML课程文件反序列化为程序所需的二进制课程对象，同时资源加载模块会加载并处理外部资源文件，将课程所需的资源读取至设备内存中。课程对象与外部资源文件经过处理，最终都加入到文件资源库中。而后，课程资源处理模块将分析文件资源库中的课程对象与资源文件，将课程对象与资源相关联，建立二者的一对多关系。处理完成后，一个完整的实验课程即读取完成。多个处理完成的实验课程将加入到课程资源集中，等待上层程序读取。学生端管理模块汇集了学生端的视频流、音频流、学生端消息。其中视频流与音频流按照WebRTC协议进行采集和编码，学生端消息按照操作类型生成序列化的Json字符串。同时学生端将会处理来自服务端转发的管理消息。学生端管理模块与虚拟仿真框架下的课程资源集共同构成了微生物学生端程序。教师端管理程序主要功能是收/发音视频内容及处理管理消息。管理模块通过解析WebRTC协议的音视频流完成对学生端的音/视频内容监控。教师端的管理操作，包括课程分配与权限分配等，经过处理序列化，都将作为管理端消息发送至服务器。服务端程序主要功能是转发管理消息、处理WebRTC信令握手等，服务端程序连接了微生物学生端与教师端程序，三者共同组成了微生物虚拟现实教学实训平台。该平台为学生能够有效的进行学习迁移提供了各种资源、评价方式、互动形式。

技术路线：

VR多人协同系统技术路线

应用工具：VRViewer

技术实现：基于Unet框架构建联机协同操作模块，该模块共包括两部分：NetworkDiscovery以及NetworkTransformSync。

(1)NetworkDiscovery部分

用户创建房间，系统主动向外广播相应BroadcastData，同局域网内其他用户自动接收BroadcastData，并进行用户信息数据匹配，快速锁定并加入目标房间。

(2)NetworkTransformSync部分

该部分分为用户位置信息同步和场景物体信息同步。

用户位置信息同步：

该部分使用SmoothSync技术追踪用户位置，可使不同用户在同一场景实现位置信息实时同步。

场景物体信息同步：

该部分基于Unet框架同步协议。根据不同物体的Guid标识，通过服务端实时发送物体信息，以实现场景中不同物体的位置信息同步及动画步骤信息同步。

环境构建：

具体可以按照如下步骤在汽车检测站VR课程中实现多人协作完成任务：

步骤一，通过VR设备两个激光式定位系统按照系统本身的要求搭建好捕捉环境；

步骤二，在两个或多人的身上穿戴上VR头盔设备和手柄；同时，在汽车检测站VR虚拟场景里设备或工作流程上进行定位，确保定位系统可对人体和模型的精确定位；

步骤三，准备工作做好之后，打开汽车检测站VR课程和定位系统；

步骤四，身上穿戴了人体定位设备的两人或多人协同操作虚拟设备和工作流程，定位系统实时捕捉两个人或多人的移动位置信息和虚拟设备或工作流程的移动位置信息，并以数据流的方式把位置信息发送给VR系统；

步骤五，VR系统自动将接收到的位置信息进行解析后，匹配给VR系统中的虚拟设备或工作流程和虚拟人，虚拟人即可进行与真实人位移和操作一致的动作，从而在VR系统中，实现两个虚拟人协同操作一个虚拟设备或工作流程的模拟过程。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (7)

1.一种用于VR环境的多人协同系统，其特征在于，包括用户端、服务器程序端、XML课程文件模块和外部资源文件模块，用户端包括课程资源集模块、用户端管理模块、文件资源库模块、用户视频流模块、用户音频流模块和用户端信息模块。

2.根据权利要求1所述的用于VR环境的多人协同系统，其特征在于，所述文件资源库模块分别信号连接XML课程文件模块、外部资源文件模块和课程资源集模块；服务器程序端分别信号连接课程资源集模块和用户端管理模块，用户端管理模块分别信号连接用户视频流模块、用户音频流模块和用户端信息模块。

3.一种基于VR环境的教学管理系统，其特征在于，包括权利要求1或2所述的用于VR环境的多人协同系统，还包括教师端，教师端包括教师端管理模块、教师音频流模块、教师视频流模块、课程分配消息模块和权限分配消息模块。

4.根据权利要求3所述的基于VR环境的教学管理系统，其特征在于，所述教师端管理模块、教师音频流模块和教师视频流模块均信号连接服务器程序端，课程分配消息模块和权限分配消息模块均信号连接教师端管理模块。

5.根据权利要求4所述的基于VR环境的教学管理系统，其特征在于，所述用户视频流模块、用户音频流模块、教师视频流模块和教师音频流模块均按照WebRTC协议进行采集和编码。

6.根据权利要求4所述的基于VR环境的教学管理系统，其特征在于，所述用户端信息模块按照操作类型生成序列化的Json字符串。

7.一种基于VR环境的教学管理系统的构建方法，基于权利要求3至6任一所述的基于VR环境的教学管理系统，其特征在于，包括以下步骤：

S1：通过课程文件解析器将XML课程文件模块中的文件反序列化，成为程序所需的二进制课程对象；

S2：资源加载模块加载并处理外部资源文件模块中的文件；

S3：将S1和S2过程中处理后的文件加入到文件资源库模块中；

S4：课程资源处理器对S3中文件进行课程资源处理并生成课程资源集；

S5：将S4中处理后的文件与VR虚拟仿真框架平台进行关联；

S6：用户端管理模块汇集用户视频流模块、用户音频流模块和用户端信息模块中的信息，并进行处理；

S7：S5和S6中信息共同构成学生端程序。

Images