CN108039080A - 一种基于虚拟现实的沉浸式远程培训系统 - Google Patents

Abstract

本发明公开了一种基于虚拟现实的沉浸式远程培训系统，该系统包括服务器端和客户端；所述服务器端包括：资源管理模块、虚拟操作平台模块、远程支持培训模块、在线帮助模块；所述客户端包括：知识管理模块和自助引导培训模块。本发明能提供多层次的视景模型以适应不同的培训目的，很好的将虚拟环境和现实结合，融合实操技能训练和理论知识教学于一体。

Description

一种基于虚拟现实的沉浸式远程培训系统

技术领域

本发明涉及自动化控制技术，尤其涉及一种基于虚拟现实的沉浸式远程培训系统。

背景技术

传统的装备培训模式主要存在以下几个方面的局限性:

(1)由于传统培训模式以讲师为中心,讲师的授课水平以及其经验的高低直接决定了培训效果的好坏；

(2)时间以及空间的安排较为固定,这会造成一些受训对象在因故无法参加培训的情况下不能连贯的进行培训学习,从而对培训的整体效果有较大影响；

(3)培训的针对性较为模糊,教授内容的实践性较差。课程的设计上偏于理论化,课程的元素也相对单一,缺乏依照培训对象的不同而设计的个性化培训；

(4)由于场地资源的限制，实操培训的效果往往达不到预期，培训反馈无法及时反映到效果中，学员与讲师的互动有限，培训结束后，学员无法有效开展自助学习；

(5)由于传统的培训授课大多是纸质培训材料，当工业部门计划针对不同的培训对象进行同一主题的培训时,每一次都需派专业的培训讲师携带纸质培训教材进行现场授课,从而给组织方造成了培训费用和成本的上升。

传统意义上的装备技术培训不但受时间和空间上的限制,而且其在人力、资源、经费、组织实施等各方面都是极其浪费的。尤其对于在危险情况下的作业或者在不具备试验条件下的高级培训,传统意义上的培训方式更是难以满足。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于虚拟现实的沉浸式远程培训系统。

本发明解决其技术问题所采用的技术方案是：一种基于虚拟现实的沉浸式远程培训系统，包括：

服务器端和客户端；

所述服务器端包括：

资源管理模块，所述资源管理模块用于培训资源的存储、访问控制、分类管理和修改；

虚拟操作平台模块，用于通过设备和环境建模提供虚拟支撑环境，所述虚拟支撑环境包括虚拟环境和虚拟设备；并接收学员利用输入设备的输入信号完成对虚拟环境中虚拟设备的操纵，然后将虚拟场景的变化通过输出设备实时反馈给学员；

所述输入设备包括：键盘、鼠标、数据手套和数据衣；所述输出设备包括头盔显示器(HMD)、立体眼镜、立体音响和力反馈手套；

远程支持培训模块，用于提供远程协同环境，使不同地方的培训学员通过远程支持和虚拟操作平台模块进行实时的同步协作；通过应用共享技术及动态链接技术实现分布式的实时同步协作,通过分布式的培训平台,不同地方的学员可以进行实时的同步协作,就某一培训内容展开共同讨论、相互交流学习经验和思想；

在线帮助模块，用于向培训学员提供准确及时的在线帮助；所述在线帮助模块内包括系统的帮助信息中心,帮助信息中心内容包括系统的功能介绍、使用手册、FAQ以及版本信息；

所述客户端包括：

知识管理模块，用于存储培训学员在培训开始前及培训中学习的培训内容和背景知识；所述培训内容和背景知识为专门人员或讲师开发的虚拟现实培训课件；

自助引导培训模块，用于培训学员不受时间限制灵活的进行自助式培训,获取相关的培训知识；所述自助引导培训模块包括交互式电子手册和由三维建模形成的对象仿真模块，学员可以通过输入设备与虚拟操作平台实现模拟训练的操作过程；

所述交互式电子手册包括资料库和专家库；所述资料库用于为培训学员提供资料查阅服务，所述专家库用于培训学员提供解决问题的向导式指引。

按上述方案，所述虚拟操作平台模块中的虚拟支撑环境分为几何的虚拟环境和特征的虚拟环境，所述几何的虚拟环境为通过三维定位跟踪设备，用于对输入设备在三维空间中的位置进行判断，通过编程响应输入事件,利用计算机图形学的原理实现坐标变换和三维场景的刷新，并送入虚拟现实系统中；所述特征的虚拟环境则是基于自然的交互设备，利用防晕动技术处理来自虚拟世界信息的输入(如数据手套，数据衣)，辅以编程实现让仿真系统逼真形象。

本发明产生的有益效果是：

1.能很好的将虚拟环境和现实结合，融合实操技能训练和理论知识教学于一体；

2.能提供多层次的视景模型以适应不同的培训目的；

3.能提供良好的视觉和操纵两方面的人机交互；

4.能建立良好的专家系统，支持学员以自助方式或协同方式来进行培训学习。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的结构示意图；

图2是本发明实施例的体系结构图；

图3是本发明实施例的沉浸式交互系统层次图；

图4是本发明实施例的电子交互模型框图；

图5是本发明实施例的专家系统结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，在本发明培训系统中,可进行协同式培训和自助式培训,它们又分别包含功能不同的许多模块，协同式培训的相关模块和自助式培训相关模块分别运行在协同学习管理服务器和手持式终端上,它所包含的主要子模块的功能如下:

知识管理模块

通过手持式终端进行维修知识的讲解,结合文字和图形进行知识的分类,使得培训学员可以在培训开始前及培训中学习培训的内容和背景知识。系统的课程空间中包含众多的学习内容,这里的课程系统可以由专门人员或讲师开发的虚拟现实培训课件组成,并由管理员或讲师负责上传。

资源管理模块

本发明培训系统设置有信息资源中心,所有的信息资源分为公用资源和私有资源两部分。公用部分好比是公用资料室,对所有合法学员都是开放的,学员可以查阅自己感兴趣的信息内容。私有部分是和学员相对应的,每个学员可以建立自己的私有资料室,用以辅助自己完成学习任务。资源管理模块是针对信息资源中心进行管理工作的,具体来说它应该包括如下一些基本功能:

a.资源访问的权限控制；

b.公有资源的查询访问；

c.信息资源的上传；

d.信息资源的下载保存；

e.信息资源的分类管理；

f.信息资源的备份、修改与删除。

在线帮助模块

在线帮助模块是本系统重要的组成部分,本发明培训系统能够在任何时刻向学员提供准确及时的在线帮助,从而成为学习者进行学习的得力助手。为此, 构建系统的帮助信息中心,内容包括系统的功能介绍、使用手册、FAQ以及版本信息等,总之对学员操作有帮助的内容都可包含其中。帮助管理模块对帮助信息进行分类整理,并向学员提供主题列表、索引查询等求助手段。系统的主要页面上还在固定位置设置在线帮助链接,以方便学员随时访问。

培训环境

培训环境涉及的三个模块是整个系统的核心,分别是远程支持培训模块、自助引导培训模块和虚拟操作平台模块。这三个模块运行在服务器上,它的具体体系结构如图2所示。

在这个平台中包括协同式培训和自助式培训两种工作方式,包括分布式支撑环境和建模技术。在平台的最底层是虚拟环境,它由几何的虚拟环境和特征的虚拟环境所组成，为了避免造成用户的“晕动”反应，本发明系统采用双目立体视觉、运动视觉以及光场技术，同时在虚拟环境的搭建中尽量避免捕捉用户的肢体运动，而是采用捕捉“按键”或者“触摸”的可感知动作来实现虚拟现实系统中的场景和画面的切换。本发明沉浸式交互系统中包含输入设备：有键盘、鼠标、数据手套、数据衣等；二是输出设备,有头盔显示器(HMD)、立体眼镜、立体音响、力反馈手套等。沉浸式交互包括两个方面:一是输入过程,即学员利用输入设备对虚拟环境中虚拟物体的操纵；二是输出过程,即虚拟场景的变化通过输出设备实时反馈给学员。其中与虚拟场景中的虚拟物体的进行输入交互主要有两种方式:一种是通过编程响应键盘、二维鼠标等常用输入设备的输入事件,利用计算机图形学的原理实现坐标变换和三维场景的刷新；另一种是基于三维输入设备的虚拟场景交互方式,它具有良好的控制自然性和直观性,如果三维输入设备自身的控制精度能达到仿真需求,辅以有效地编程实现, 就能较大地提高仿真系统的逼真性。本系统引入了数据手套、数据衣、立体眼镜、三维立体音响等交互设备。

为了解决设备多样性及可扩展性给交互控制的软件实现增添复杂性的问题, 本系统采用对话独立、层次结构的原则进行沉浸式交互系统的设计。采用对话独立结构,使引入新的交互设备时只须修改接口部分,同时可提高设计开发的效率,增加程序的可移植性、可维护性、可扩展性；采用层次结构,可以将复杂的系统分解为适当的层次,每层独立进行设计，系统层次图见图3。

在协同式培训模式下,通过这个分布式的培训平台,不同地方的学员可以进行实时的同步协作,就某一培训内容展开共同讨论、相互交流学习经验和思想。在自助式培训模式下,学员可以不受时间限制灵活的进行自助式培训,获取相关的培训知识和维修技能。

特别指出，本系统中自助引导培训模块采用交互式电子手册的形式来实现，具体的模型如图4所示，主要分为资料查阅和专家系统两部分：

1)资料查阅部分

学员界面

学员界面遵循统一的标准,尽可能做到友好易用、方便快捷，采用对话框与学员交互，包含多种查询、导航和链接(包括资料之间相互链接和资料内部热区链接)功能。

文档内容

信息数据可以用文字、表格、图像、图纸、声音、视频、动画等多种形式表现,包括Acrobat文档、Word文档、Excel表格(.xls)、Pro-tel电路图、位图图像、Autocad图形、多媒体视频等,这些数据都以原本的格式保存，减少了转化损失，采用ActiveX控件或OLE(对象嵌入与链接)方式直接读入，利用对象本身所具有的功能实现无级缩放、热区等交互。

信息数据的相互关联

系统所有的信息数据本身存在千丝万缕的联系。如何建立让学员能够更容易了解系统的数据间的关联是电子手册必须考虑的问题。根据现有的信息数据, 可以建立文字信息间的关联、图形与文字信息之间的关联、图形与图形信息之间的关联、表格与图形信息的关联和文字与表格信息的关联等。

多样化的检索方式

检索数据的方式包括导航浏览和直接检索。使用直接检索方式能够直接查找到细节信息。使用导航方式则是沿着由信息标识组成的目录树和页面链接进行浏览。根据数据体系结构、学员的不同要求，结合导航和检索功能可以建立多种数据检索方式。

2)专家系统部分

专家系统部分主要实现常见故障的向导式排除指引功能。专家系统部分的组成结构如图5所示。综合数据库用于存放一些过程特征数据以及诊断过程的记录信息,比如历史数据表、临时数据表、短期趋势数据表、测点信息表等。推理机实施对问题的整个求解过程的控制,它根据数据库中的当前信息,将知识中的规则拿来匹配，然后利用适当的控制算法推断出结论。解释程序是对整个故障诊断过程做出的合理解释。人机交互接口使得操作人员可以通过窗口、菜单、图形进行形象的故障诊断。知识获取是系统建立和修改知识库的重要手段，知识库和综合数据库都存储在关系型数据库中。

知识表达及知识库

知识库用来存储和管理诊断知识，主要包括领域知识和专家启发知识。本发明中采取面向对象的框架产生式规则表达方法，主要采用框架表达法组织知识库结构和表达一部分知识，产生式规则表达法重点表达系统的操作逻辑知识及效应知识或故障隔离过程知识和故障点知识。

结合培训内容和装备维修手册中的知识，系统功能原理知识包括系统的逻辑操作及功能显示知识，故障隔离过程中的知识包括了测量、更换组件等知识。该部分的知识主要是以IF……，THEN……的形式体现在手册中。由以上分析，可以将每个子系统的具体操作过程看成多个规则的串联，从而形成规则树。由规则树的特点，可以从这些过程中各个“IF……，THEN……，ELSE……”规则语句提炼出来条件和结论，系统操作逻辑中的条件和结论分别为操作、现象及操作、现象的判定和功能集；排故过程中的条件和结论分别为操作、现象及现象的判定和故障点集。为表达各个条件的先后顺序，利用规则树的父子节点关系充分表达这种知识。将条件表示为规则树的非叶节点和枝，将功能集或故障点集表示为规则树的叶节点。

为实现规则树到知识库数据表的顺利转换，引入堆栈表示模式。堆栈是一种后进先出的数据结构，而且可以实现递归操作的表示。为充分表达一个子功能显示或故障点的所有条件的先后逻辑关系，可以从规则树叶节点出发向其父节点回溯，每回溯一个父节点，就将该节点和其枝压入该叶节点的堆栈中。如此递归循环，直到回溯完根节点为止。回溯结束后，堆栈中从栈顶到栈底的各个元素的顺序也就是逻辑操作实际过程或故障点实际隔离过程的所有条件的先后顺序。

推理机

推理机是专家系统部分的核心，负责协调控制整个系统以决定如何使用知识库中的知识。本系统采用故障树模型的推理机制。诊断故障树是以部件为依据，分层列出部件的故障事实形成的一种部件故障现象的树型结构。

本发明中采用的推理机设计是目标驱动、深度与广度相结合的搜索策略、正向推理与反向推理相结合的方式。分析故障产生的原因时采用反向推理,即由证据状态数据反向寻找产生的可能原因,即故障模式。当寻找到相关的故障模式后,再利用正向推理由故障模式经过一系列推理结点而推出是否到达当前发现的状态。在进行双向式推理过程中,按启发式准则选择与某类故障模式有关的故障进入侯选故障堆栈,同时利用人机交互方式或自动运行诊断算法的方式进行双向推理。

知识获取

知识获取部分主要用来从专家那里获取知识并为修改和扩充数据库提供方便的手段。本系统中,层次之间的故障征兆、因果断言既可以是经验，也可以从系统的结构、功能设计方面直接得出。作为系统的设计者，其知识的主要来源应是对结构和功能方面的理解。当然，随着实际应用的增加，系统也能够不断地积累故障诊断的知识和经验，扩充和完善知识库，从而在故障诊断的过程中不断提高系统应用的准确性。资料查阅和专家系统部分不是孤立的两个部分，而是有机结合起来，在故障推理指引过程中，可以灵活调用各种资源，如图片、多媒体资料，指导维修人员快速作出下一步行动或帮助其快速定位测试点、故障点，极大地提高维修效率。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (2)

1.一种基于虚拟现实的沉浸式远程培训系统，其特征在于，包括：

服务器端和客户端；

所述服务器端包括：

资源管理模块，所述资源管理模块用于培训资源的存储、访问控制、分类管理和修改；

虚拟操作平台模块，用于通过设备和环境建模提供虚拟支撑环境，所述虚拟支撑环境包括虚拟环境和虚拟设备；并接收学员利用输入设备的输入信号完成对虚拟环境中虚拟设备的操纵，然后将虚拟场景的变化通过输出设备实时反馈给学员；

所述输入设备包括：键盘、鼠标、数据手套和数据衣；所述输出设备包括头盔显示器、立体眼镜、立体音响和力反馈手套；

远程支持培训模块，用于提供远程协同环境，使不同地方的培训学员通过远程支持和虚拟操作平台模块进行实时的同步协作；

具体如下：通过应用共享技术及动态链接技术实现分布式的实时同步协作,通过分布式的培训平台,不同地方的学员可以进行实时的同步协作,就培训内容展开共同讨论、相互交流学习经验和思想；

在线帮助模块，用于向培训学员提供准确及时的在线帮助；所述在线帮助模块内包括系统的帮助信息中心,帮助信息中心内容包括系统的功能介绍、使用手册、FAQ以及版本信息；

所述客户端包括：

知识管理模块，用于存储培训学员在培训开始前及培训中学习的培训内容和背景知识；所述培训内容和背景知识为专门人员或讲师开发的虚拟现实培训课件；

自助引导培训模块，用于培训学员不受时间限制灵活的进行自助式培训,获取相关的培训知识；所述自助引导培训模块包括交互式电子手册和由三维建模形成的对象仿真模块，学员可以通过输入设备与虚拟操作平台实现模拟训练的操作过程；

所述交互式电子手册包括资料库和专家库；所述资料库用于为培训学员提供资料查阅服务，所述专家库用于培训学员提供解决问题的向导式指引。

2.根据权利要求1所述的基于虚拟现实的沉浸式远程培训系统，其特征在于，所述虚拟操作平台模块中的虚拟支撑环境分为几何的虚拟环境和特征的虚拟环境，所述几何的虚拟环境为通过三维定位跟踪设备，用于对输入设备在三维空间中的位置进行判断，通过编程响应输入事件,利用计算机图形学的原理实现坐标变换和三维场景的刷新，并送入虚拟现实系统中；所述特征的虚拟环境则是基于自然的交互设备，利用防晕动技术处理来自虚拟世界信息的输入，辅以编程实现让仿真系统逼真形象。