CN105374251A - 一种基于沉浸式输入、输出设备的矿用虚拟现实培训系统 - Google Patents

Abstract

本发明公开了一种基于沉浸式输入、输出设备的矿用虚拟现实培训系统，受训者可以完全沉浸在虚拟场景中，并通过手势、走、跑等自然的方式与虚拟培训场景进行人机交互，进而完成预设培训项目。该系统由头戴式显示器等输出设备、全向跑步机、动作捕捉等输出设备、计算机和配套培训软件组成，其中：头戴式显示器可以提供完全的视觉沉浸体验，全向跑步机、动作捕捉设备可以将受训者在现实中的动作映射在虚拟场景中的虚拟对象上，通过自然的交互方式对系统进行操作。相比传统培训方法，本发明提出的培训系统能够使受训者在任何地方沉浸在接近真实的虚拟矿井环境中，获得与现场相同的培训体验，并最终取得媲美现场培训的效果。

Description

一种基于沉浸式输入、输出设备的矿用虚拟现实培训系统

技术领域

本发明涉及虚拟现实技术，特别涉及将沉浸式输入和输出设备利用到矿山生产与安全等培训，属于虚拟现实设备的技术开发与应用领域。

背景技术

矿山行业是一个高危行业，因此矿山从业人员在入职前的培训是必不可少的，对此国家还出台了相关法律法规进行严格规定，例如《中华人民共和国安全生产法》、《安全生产培训管理办法》、《特种作业人员安全技术培训考核管理规定》中关于矿山的部分，以及《煤矿安全培训规定》等。目前矿山培训的主要方法是具有资质的人员课堂讲授，培训后需通过考核，另外在矿井也必须有例行培训。但是课堂传授的效果并不理想，而现场培训效果虽好，但是存在成本高、严重影响生产等问题，因此执行情况也不理想。在这种情况下，寻找一种培训效果好、同时对矿井生产没有太大影响的方法就变得十分有必要。

虚拟现实技术是通过计算机图形技术构建(基于真实世界的)虚拟场景，利用输入设备实现用户与虚拟场景交互，再利用输出设备让用户通过视觉、听觉、触觉，甚至味觉和嗅觉等感官，获得接近甚至超越真实世界体验的技术，该技术包括三个特征：沉浸、想象、交互。一套完整的虚拟现实系统包含5个组成部分：虚拟现实引擎、输入/输出设备、软件&数据库、用户和任务，其中输入/输出设备是决定虚拟现实培训系统沉浸感和交互体验最关键的部分。由于虚拟现实技术能够让人体验接近真实的虚拟世界，因此有着广泛的用途，其中最主要的应用类型就是涉及各种危险场景的训练或培训，因为使用者不需要暴露在危险的真实场景中，大大降低了受到伤害的可能性，例如军事领域、医疗领域、飞机或各种飞行器驾驶训练、危险设备远程遥控操作等等。

矿山行业是典型的高危险性行业，需要大量的培训来保证从业人员的安全。在这些培训中，诸如灾害逃生、应急救援等培训，难以在现实环境中进行，这时就可以利用虚拟现实技术来实现这些培训。目前已有的绝大多数的矿山虚拟现实培训系统，在决定虚拟现实系统沉浸感与交互体验的输入/输出设备方面，仍十分落后：输入设备主要是鼠标、键盘，视觉输出设备主要是桌面式显示器，能够获得的沉浸感非常有限，人机交互过程很不自然，因此这些现有的矿用虚拟现实培训系统的实用性很低。也有少数国外的矿山培训系统采用了具有一定沉浸感的显示设备，例如球幕投影、环幕投影等，且输入设备除了键盘鼠标之外，有些系统还应用了操纵杆、触摸屏、定制操作台等，这都是为了增加系统使用过程中的沉浸感，并实现更加自然的交互方式，但是由于投影仪等设备仅能够在一定区域内使用，因此这些系统仅适合于设备操作培训等应用，很难进行需要人员走动的培训类型。

发明内容

为了解决上述已有系统的问题，提高矿山虚拟现实培训系统的实用性，本发明公开了一种基于沉浸式输入、输出设备的矿用虚拟现实培训系统，受训者可以完全沉浸在虚拟场景中，并通过手势、走、跑等自然的方式与虚拟培训场景进行人机交互，进而完成预设培训项目。相比传统培训方法，本发明提出的培训系统能够使受训者在任何地方沉浸在接近真实的虚拟矿井环境中，获得与现场相同的培训体验，并最终取得媲美现场培训的效果。

该系统由头戴式显示器等输出设备、全向跑步机、动作捕捉等输出设备、计算机和配套培训软件组成，其中：头戴式显示器可以提供完全的视觉沉浸体验，全向跑步机、动作捕捉设备可以将受训者在现实中的动作映射在虚拟场景中的虚拟对象上，通过自然的交互方式对系统进行操作。

本发明是一种基于沉浸式输入、输出设备的矿用虚拟现实培训系统，本系统由头戴式显示器等输出设备、全向跑步机、动作捕捉等输出设备、计算机和配套培训软件组成。其中：

头戴式显示器是该系统的视觉输出设备，由外壳、显示屏、凸透镜等部分构成，外壳能够将受训者的眼睛完全遮挡，显示屏显示虚拟培训场景，凸透镜位于显示屏和受训者眼睛之间，这三者配合的结果是受训者能够将真实世界完全视觉隔离，仅看到显示屏中的虚拟场景，并获得沉浸式视觉体验。

全向跑步机是的一个输入设备，其与地面是固定的，受训者在上面可以朝任意方向移动，全向跑步机能够将受训者的移动方向、速度等信息输入培训系统，同时将受训者移到原位置。

动作捕捉设备也属于输入设备，能够捕捉受训者身体某些部位的动作，包括但不限于手、四肢、驱赶、头部、眼睛等，实现方式包括但不限于超声波、红外线摄像头、RGB摄像头、陀螺仪、加速度传感器、磁力计、光学捕捉等方式。

可以用在本系统的其他输入设备包括但不限于键盘、鼠标、按钮、操纵杆等机械式输入设备，麦克风等声音输入设备；其他输出设备包括但不限于扬声器、耳机等听觉输出设备，震动马达等触觉输出设备等。

虚拟现实培训软件主要功能包括：①生成矿井培训的相关虚拟场景；②结合受训者操作信息，对虚拟场景进行实时更新；③将整个培训过程所有信息进行存储，并对过程中的单个或多个变量进行分析，或对训练效果进行分析与评估；④结合无线适配器与无线网络，将两台或多台混合现实设备连接起来，以实现多个受训者在用一个混合现实场景中协同培训。

虚拟现实培训软件的三维模型与培训场景，是通过三维建模软件开发的，包括但不限于3dsMax、Blender等，软件各种功能的实现是基于Unity3D引擎结合C#语言开发的。

头戴式显示器、全向跑步机、动作捕捉设备和其他输入输出设备都需要与计算机相连，组成一整套供单人使用的系统，两套或多套该系统还可以通过有线或无线网络相连，组成多人培训系统。

本发明的优点为：

①头戴式显示器的使用，能够提高矿用虚拟现实培训系统的沉浸感；

②动作捕捉设备的使用，能够让受训者通过手势、肢体动作、眼神等自然的方式与虚拟现实培训系统进行人机交互，大大提高了交互体验；

③全向跑步机的使用，培训系统能够让培训者在很小的空间内通过真实走、跑等动作实现在虚拟现实世界中的无限漫游，能够进行需要在矿井大范围走动的培训项目；

④通过有线或无线网络，多套单人培训系统可以组成一个多人培训系统，以实现需要多人共同完成的培训项目。

附图说明

图1是该虚拟现实培训系统的组成示意图

具体实施方式

本发明基于沉浸式的输入和输出设备，主要是头戴式显示器、全向跑步机和动作捕捉设备，并结合其他传统输入、输出设备，配合专用的矿用培训软件，提供了一种沉浸式的虚拟现实矿山安全培训系统。由于沉浸式输入、输出设备的使用，本发明克服了以往培训方法与培训系统的缺点，能够让受训者拥有媲美现场培训的体验，从而获得接近现场培训的效果，同时克服了现场培训成本高等缺点，是矿山行业培训的理想方法。

该培训系统由四部分组成，分别是：沉浸式输出设备、自然交互式输入设备、培训系统软件、和计算机硬件。

沉浸式输出设备的主要组成部分是一个头戴式显示器和立体声耳机，其中头戴式显示器负责视觉输出，立体声耳机负责听觉输出。头戴式显示器能够为受训者的双眼分别提供图像，以产生真正的立体画面，同时能够将受训者的视觉完全隔绝，以免受到不相关的环境干扰；立体声耳机为受训者提供双声道乃至多声道的培训环境声音，受训者可以分辨出虚拟环境中声音的具体位置与受训者的位置关系，并且声音的位置会随着受训者的在虚拟环境中的移动而改变。

自然交互式输入设备包括一台全向跑步机和多种动作捕捉设备，其中全向跑步机负责将受训者在现实中的走、跑等动作及转向、侧移等朝向变化等信息输入培训系统软件；各种动作捕捉设备，例如陀螺仪、加速度传感器、红外线相机、RGB相机等等，他们的作用是捕捉受训者身体某些部位的运动情况，例如对头部位置和朝向的捕捉可以确定头戴式显示器中显示的画面会随着受训者头部的运动而改变，对手部位置和动作的捕捉可以映射到虚拟培训场景中的虚拟形象身上，进一步对虚拟场景中的设备、物品进行操作或控制。

培训系统软件是本系统重要的组成部分，主要负责的内容包括：生成虚拟培训场景，处理输入设备输入的数据，进而对虚拟场景进行更新，最后控制输出设备将虚拟场景通过视觉、听觉等传递给受训者。培训软件需要实现的功能包括：针对某种特定的生产、安全现场操作流程进行培训；根据受训者操作的正确与否，对虚拟场景及虚拟物品进行对应的改变，以符合真实情况；对错误操作引起的危险及灾害场景进行模拟，并对受训者对灾害场景初期的应急处理进行培训；在培训结束后对受训者在整个培训过程的表现进行评价等。培训主要由三维建模软件和通用游戏引擎配合编汇语言开发，例如3dsMax、MAYA、Blender等三维建模软件，Unity、Unreal等通用游戏引擎，以及C++、C#等高级编汇语言。

计算机硬件为整个培训系统提供计算能力、储存能力，并提供培训系统联网所需的网络硬件；同时还会包括传统的输入设备，例如鼠标、键盘、操纵杆、定制式操作平台等。

为了更加清晰地描述该系统的实施方式，结合示意图进行描述。

首先介绍沉浸式矿山虚拟现实培训系统的组成，如图1所示。图中11为矿用虚拟现实培训系统的受训者；12为头戴式显示器，是系统的视觉输出设备，一般由外壳、显示屏、凸透镜、头部固定装置等构成，佩戴时能够将外部真实世界完全隔绝，使受训者获得强烈的沉浸感；13为立体声耳机，是系统的听觉输出设备，受训者11能够通过13听到虚拟环境中虚拟人物周围环境的声音，并辨别声音与虚拟人物之间的位置关系，同时还会根据受训者11的移动、转向等动作实时改变声音的大小和方向；14为全向跑步机，是系统的一个输入设备，受训者11站在全向跑步机14上，可以自由地做走、跑、跳等动作，并在跑步机上自由转动方向，全向跑步机14在记录受训者动作的同时，能够将受训者11移动至原来位置，因此受训者11可以在全向跑步机14上有限的空间内，实现在虚拟环境中的任意行走；15为动作捕捉设备，也是系统的一类输入设备，能够通过感光元件、红外线、陀螺仪、加速度传感器等各种传感器，对可见光、红外线、角动量、加速度等各种量进行实时监测，进而对受训者11的手、头、眼球等身体部位的移动、转动等动作进行捕捉，进一步将捕捉到的信息传入培训系统的软件进行处理；16为计算机硬件与培训系统软件，硬件包括提供运算、储存能力的中央处理器、内存、主板、显卡、硬盘等配件，还包括显示器、键盘、鼠标等传统输入、输出设备，同时还有提供有线或无线网络功能的网卡设备；软件的工作主要包括生成虚拟培训场景，处理输入设备14、15输入的数据，进而对虚拟场景进行更新，最后控制输出设备12、13将虚拟场景通过视觉、听觉等传递给受训者11。

Claims (8)

1.一种基于沉浸式输入、输出设备的矿用虚拟现实培训系统，其特征在于：本系统由头戴式显示器等输出设备、全向跑步机、动作捕捉等输出设备、计算机和配套培训软件组成。

2.如权利要求1所述的基于沉浸式输入、输出设备的矿用虚拟现实培训系统，其特征在于：头戴式显示器是该系统的视觉输出设备，由外壳、显示屏、凸透镜等部分构成，外壳能够将受训者的眼睛完全遮挡，显示屏显示虚拟培训场景，凸透镜位于显示屏和受训者眼睛之间，这三者配合的结果是受训者能够将真实世界完全视觉隔离，仅看到显示屏中的虚拟场景，并获得沉浸式视觉体验。

3.如权利要求1所述的基于沉浸式输入、输出设备的矿用虚拟现实培训系统，其特征在于：全向跑步机是的一个输入设备，其与地面是固定的，受训者在上面可以朝任意方向移动，全向跑步机能够将受训者的移动方向、速度等信息输入培训系统，同时将受训者移到原位置。

4.如权利要求1所述的基于沉浸式输入、输出设备的矿用虚拟现实培训系统，其特征在于：动作捕捉设备也属于输入设备，能够捕捉受训者身体某些部位的动作，包括但不限于手、四肢、驱赶、头部、眼睛等，实现方式包括但不限于超声波、红外线摄像头、RGB摄像头、陀螺仪、加速度传感器、磁力计、光学捕捉等方式。

5.如权利要求1、2、3、4所述的基于沉浸式输入、输出设备的矿用虚拟现实培训系统，其特征在于：可以用在本系统的其他输入设备包括但不限于键盘、鼠标、按钮、操纵杆等机械式输入设备，麦克风等声音输入设备；其他输出设备包括但不限于扬声器、耳机等听觉输出设备，震动马达等触觉输出设备等。

6.如权利要求1所述的基于沉浸式输入、输出设备的矿用虚拟现实培训系统，其特征在于：虚拟现实培训软件主要功能包括：①生成矿井培训的相关虚拟场景；②结合受训者操作信息，对虚拟场景进行实时更新；③将整个培训过程所有信息进行存储，并对过程中的单个或多个变量进行分析，或对训练效果进行分析与评估；④结合无线适配器与无线网络，将两台或多台混合现实设备连接起来，以实现多个受训者在用一个混合现实场景中协同培训。

7.如权利要求1、6所述的基于沉浸式输入、输出设备的矿用虚拟现实培训系统，其特征在于：虚拟现实培训软件的三维模型与培训场景，是通过三维建模软件开发的，包括但不限于3dsMax、Blender等，软件各种功能的实现是基于Unity3D引擎结合C#语言开发的。

8.如权利要求1、2、3、4、5所述的基于沉浸式输入、输出设备的矿用虚拟现实培训系统，其特征在于：头戴式显示器、全向跑步机、动作捕捉设备和其他输入输出设备都需要与计算机通过有线或无线的方式相连，组成一整套供单人使用的系统，两套或多套该系统还可以通过有线或无线网络相连，组成多人培训系统。