CN106055113B - 一种混合现实的头盔显示系统及控制方法 - Google Patents

Abstract

一种混合现实的头盔显示系统及其控制方法，该头盔显示系统包括：头盔显示本体以及周边配套附件，周边配套附件包括单色背景设备；头盔显示本体包括：实时采集外界真实的现实景象数据的现实场景采集模块；按照生成虚拟场景的虚拟场景生成模块；现实场景与虚拟场景叠加的图像融合模块；用于实时采集空间位置信息的空间定位模块；用于虚实结合图像以进行显示的图像显示模块，本发明将现实场景数据，经过背景透明化处理后，与虚拟场景叠加，场景适应性好，混合现实可以观察到真实的场景，特别是手部的操作，使得用户可以将真实的物品与虚拟世界连接起来，将虚拟世界与真实世界完美结合，沉浸感强，具有更加真实的感官体验。

Description

一种混合现实的头盔显示系统及控制方法

技术领域

本发明涉及一种头盔显示系统，特别的，涉及一种混合现实的头盔显示系统。

背景技术

虚拟现实技术是一种计算机仿真系统，通过对三维世界的模拟创造出一种崭新的交互系统。它利用计算机生成一种模拟环境，是一种多源信息融合的交互式三维动态视景和实体行为系统仿真，能够让用户以自然的方式与虚拟环境中的物体进行交互作用、相互影响,极大扩展了人类认识世界,模拟和适应世界的能力。传统的头显设备分为两种，一种是以Oculus Rift和HTC Vive为代表的VR头显设备，另一种是以微软Hololens为代表的AR头显。

VR头显的原理是将虚拟场景通过微小型液晶显示屏展现在用户眼前，同时左右双眼根据视差显示不同图像从而形成立体视觉，让用户能够沉浸到虚拟现实中，缺点是VR头显完全占据人眼的视角，人只能看到虚拟的场景，而无法观察到自身的细节。

AR头显是在现实场景中直接叠加虚拟信息，但是由于技术的限制，所能提供的视野很窄，而且叠加的虚拟场景的亮度和精度不够，导致虚拟场景的真实度不够，同时虚拟场景简单的直接叠加到现实场景上，缺少图像融合处理，形成的虚拟场景和现实场景的反差比较大，产生不了一体的融合效果。

因此，如何针对现有技术的不足，设计一种实现虚拟结合的头盔显示系统，弥补上述的缺点，构建虚拟场景与现实场景一体融合的效果，成为现有技术亟需解决的技术问题。

发明内容

本发明的主要目的在于提供一种混合现实的头盔显示系统及控制方法，能够将虚拟场景和现实场景无缝融合在一起，而不是简单的叠加，用户可以看到自己的操作动作，可以在虚拟场景中真实的反馈出自身的细节动作，且融合效果较好。

为达此目的，本发明采用以下技术方案：

一种混合现实的头盔显示系统，该头盔显示系统包括：头盔显示本体以及周边配套附件，

所述周边配套附件，包括单色背景设备，用作为现实场景的背景；

其中所述头盔显示本体包括：

现实场景采集模块，用于实时采集外界的真实景象数据，并使用抠图算法，将现实场景数据去除背景，得到去除背景后的现实场景；

虚拟场景生成模块，用于根据空间定位模块获得的空间位置信息，从主机处获取相应的虚拟场景数据，并生成按照真实观察角度的虚拟场景；

图像融合模块，将去除背景后的现实场景数据与虚拟场景叠加，从而生成融合后的虚实结合图像；

空间定位模块，用于实时采集头盔显示本体的空间位置信息，以使得虚拟场景的观察角度与用户的真实角度方位对应；

图像显示模块，用于调用融合后的虚实结合图像，以进行显示。

进一步的，所述空间定位模块获得空间位置信息为六自由度空间位置信息，并且所述空间定位模块能够根据空间位置信息获得头盔本体的运行信息，以从主机处获取相应视角的虚拟场景数据。

进一步的，所述现实场景生成模块采用傅里叶抠图算法，将现实场景数据抠除背景，得到去除背景后的现实场景；

所述图像融合模块使用灰度加权平均法将将去除背景后的现实场景与虚拟场景进行融合，具体为：

1)根据统一的位置坐标，将去除背景后的现实场景的图像与虚拟场景的图像叠加，

2)对现实场景的图像进行边缘检测，

3)找到边缘位置区域后，提取该现实场景的图像与虚拟场景的图像的灰度信息，使用灰度加权平均法进行融合。

进一步的，包括通信模块，用于与主机进行通信，并根据空间定位模块采集的空间位置信息，从主机处返回相关的虚拟场景数据，该虚拟场景数据与所述空间位置信息有关。

进一步的，所述现实场景采集模块包括两个摄像头，通过控制两个摄像头能够模拟人眼观察现实场景，所述图像显示模块能够进行三维显示。

进一步的，还包括电源模块，为头盔显示主体进行供电。

所述空间定位模块为MEMS九轴传感器；

所述现实场景采集模块为两个CCD摄像头；

所述虚拟场景生成模块和为图像融合模块集中设计，由FPGA+ARM设计架构组成；

电源模块为锂电池，支持USB接口供电；

图像显示模块由两块显示屏和对应的光学镜头组成。

进一步的，所述图像融合模块，调用已有的虚拟场景，加上现实场景的实际物体信息，在完成统一的空间定位和时间标定基础上，采取图像融合算法，将虚拟场景与现实场景融合叠加；

所述的空间定位，是指的利用空间定位模块来确定头盔的空间位置信息和运行信息，其中所述运行信息能够从所述空间位置信息中得到。

进一步的，还包括主机，主机用于存储三维场景数据，及配套软件，头盔主体将其空间位置信息通过通信模块传输到主机，主机计算后，生成头盔主体所需的虚拟场景数据，并经过通信模块传输到虚拟场景生成模块。

一种上述的混合现实的头盔显示系统的控制方法，包括如下步骤：

现实场景采集步骤：构建一个基于单色背景的真实场景，背景可以是幕布或者是墙面，通过现实场景采集模块对真实场景中的实际物体信息进行采集，并使用抠图算法，将现实场景数据去除背景，得到去除背景后的现实场景；

虚拟场景生成步骤：根据空间定位模块实时采集到的头盔本体的空间位置信息，从主机中调取虚拟场景数据，并生成按照真实观察角度得到的虚拟场景；

图像融合步骤：将去除背景后的现实场景与虚拟场景融合，生成融合后的虚实结合图像；

图像显示步骤：对生成的虚实图像进行三维还原，显示图像，并投射在用户眼镜中，使得用户即可以观察到真实现实又可以观察到虚拟场景。

本发明具有如下优点：

1)场景适用性好：提供了图像融合模块，灵活的实现虚拟场景与现实场景的配置与融合，首先根据现实场景采集模块，实时采集到现实场景数据，经过背景透明化处理后，与虚拟场景叠加，形成用户所见到的虚实结合场景。

2)沉浸感强：仿真性、真实感和亲临其境的临场感强。虚拟现实只能展示计算机模拟的虚拟世界，而混合现实展示技术却可将虚拟世界与真实世界完美结合，使用户更加身临其境，具有更加真实的感官体验。

3)操作互动性好：由于混合现实可以观察到真实的场景，特别是手部的操作，使得用户可以将真实的物品与虚拟世界连接起来，打破了传统虚拟现实信息传递的单向性，实时地进行各种人与物之间的互动与交流。

附图说明

图1是根据本发明的头盔显示系统的功能模块图；

图2是根据本发明的具体实施例的头盔显示系统的头盔显示本体的外形示意图；

图3是根据本发明的具体实施例的头盔显示系统的虚实场景融合原理图；

图4是根据本发明的具体实施例的头盔显示系统的数据流向示意图；

图5是根据本发明的具体实施例的特种兵分队组网训练系统；

图6是根据本发明的具体实施例的矿山应急救援巷道增强现实训练系统。

图中的附图标记所分别指代的技术特征为：

1、现实场景采集模块；2、虚拟场景生成模块；3、图像融合模块；4、电源模块；5、通信模块；6、空间定位模块；7、图像显示模块。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

参见图1，示出了根据本发明的混合现实的头盔显示系统的功能模块图，该头盔显示系统包括：头盔显示本体以及周边配套附件，

周边配套附件，包括单色背景设备，所述单色背景设备可以是幕布或者单色墙面，用作为现实场景的背景；

其中所述头盔显示本体包括：

现实场景采集模块1，用于实时采集外界的真实景象数据，并使用抠图算法，将现实场景数据去除背景，得到去除背景后的现实场景；

虚拟场景生成模块2，用于根据空间定位模块6获得的空间位置信息，从主机处获取相应的虚拟场景数据，并生成按照真实观察角度的虚拟场景，即得到用户的真实角度方位对应的虚拟场景；

进一步的，所述空间定位模块获得空间位置信息为六自由度空间位置信息，并且所述空间定位模块能够根据空间位置信息获得头盔本体的运行信息，以从主机处获取相应视角的虚拟场景数据。

图像融合模块3，将去除背景后的现实场景数据与虚拟场景叠加，从而生成融合后的虚实结合图像；

空间定位模块6，用于实时采集头盔显示本体的空间位置信息，以使得虚拟场景的观察角度与用户的真实角度方位对应；

图像显示模块7，用于调用融合后的虚实结合图像，以进行显示。

由于本发明使用单色背景设备，使得采集的现实场景图像容易通过抠图算法进行处理，得到所需要的现实场景数据，相对于直接拍摄得到的现实场景数据，抠去单色背景后的现实场景数据去除了所不需要的噪声的干扰，且相对于一般的直接抠除处理，使用单色背景抠图计算量少，效果更好，便于了后一步的现实场景与虚拟场景的融合。

进一步的，所述现实场景生成模块采用傅里叶抠图算法，将现实场景数据抠除背景，得到去除背景后的现实场景。

所述图像融合模块使用灰度加权平均法将将去除背景后的现实场景与虚拟场景进行融合，具体为：

1)根据统一的位置坐标，将去除背景后的现实场景的图像与虚拟场景的图像叠加，

2)对现实场景的图像进行边缘检测，例如，可以使用Roberts边缘检测算法，

3)找到边缘位置区域后，提取该现实场景的图像与虚拟场景的图像的灰度信息，使用灰度加权平均法进行融合。

进一步的，还包括通信模块5，用于与主机进行通信，并根据空间定位模块采集的空间位置信息，从主机处返回相关的虚拟场景数据，该虚拟场景数据与所述空间位置信息有关。而后，虚拟场景生成模块，能够根据该虚拟场景数据生成按照真实观察角度的虚拟场景。

进一步的，所述通信模块5可以通过有线或者无线的方式与主机通讯，有线的方式可以包括USB接口，RS232接口；无线的方式包括蓝牙或者WIFI的方式。

进一步的，所述现实场景采集模块包括两个摄像头，通过控制两个摄像头能够模拟人眼观察现实场景，所述图像显示模块能够进行三维显示。

参见图2，示出了根据本发明的头盔显示系统的虚实场景融合原理图，所述图像融合模块3，调用已有的虚拟场景，加上现实场景的实际物体信息(即去除背景的现实场景)，在完成统一的空间定位和时间标定基础上，采取图像融合算法，将虚拟场景与现实场景融合叠加。

所述的空间定位，是指的利用空间定位模块来确定头盔的空间位置信息和运行信息，其中所述运行信息能够从所述空间位置信息中得到。

其中，所述空间定位模块为MEMS九轴传感器。

参见图4，示出了根据本发明的具体实施例的头盔显示系统的数据流向示意图：空间定位模块采集头盔的空间位置信息，通过通信模块从主机处获得与该空间位置信息有关的虚拟场景数据，利用所述虚拟场景生成模块生成虚拟场景，并发往图像融合模块，而现实场景采集模块也将得到的去除背景的现实场景信息传送到图像融合模块，图像融合模块生成虚实结合场景，并通过图像显示模块进行显示。

其中，还包括电源模块4，为头盔显示主体进行供电。

其中，所述现实场景采集模块1可以为两个CCD摄像头；所述虚拟场景生成模块和为图像融合模块可以集中设计，由FPGA+ARM设计架构组成；电源模块4可以为锂电池，支持USB接口供电。图像显示模块7可以由两块显示屏和对应的光学镜头组成。例如，由两块AOLED显示屏和对应的无畸变光学镜头组成。

而主机主要用于存储三维场景数据，及配套软件，头盔主体将其空间位置信息通过通信模块传输到主机，主机计算后，生成头盔主体所需的虚拟场景数据，并经过通信模块传输到虚拟场景生成模块。

进一步的，本发明还公开了一种利用上述的混合现实的头盔显示系统的控制方法，包括如下步骤：

现实场景采集步骤：构建一个基于单色背景的真实场景，背景可以是幕布或者是墙面，通过现实场景采集模块对真实场景中的实际物体信息进行采集，并使用抠图算法，将现实场景数据去除背景，得到去除背景后的现实场景；

虚拟场景生成步骤：根据空间定位模块实时采集到的头盔本体的空间位置信息，从主机中调取虚拟场景数据，并生成按照真实观察角度得到的虚拟场景；

图像融合步骤：将去除背景后的现实场景与虚拟场景融合，生成融合后的虚实结合图像；

图像显示步骤：对生成的虚实图像进行三维还原，显示图像，并投射在用户眼镜中，使得用户即可以观察到真实现实又可以观察到虚拟场景。

与AR头显设备相比，本发明具有如下优点：

1)场景叠加方式不同，AR头显设备的显示以现实场景为背景，将虚拟场景生成后，叠加到现实场景中，本发明借助单色背景设备，，采集外界的真实景象数据，抠除背景色后，将现实场景叠加到虚拟场景。

2)图像融合方法不同，AR头显设备是将虚拟场景“半透明”方式整合到现实场景上，而本发明采取融合算法，将现实场景完全嵌入到虚拟场景中。

所述图像融合模块使用灰度加权平均法将将去除背景后的现实场景与虚拟场景进行融合。

实施例1：特种兵分队组网训练系统

特种兵分队组网模拟对抗训练系统能够针对我军主要特种(单兵)作战武器装备进行仿真建模，逼真展现特种作战行动过程和交战效果，可支持建立各训练基地或特定战场的真实三维虚拟场景，能够设置侦察、破袭、夺控、抢点等行动训练任务，能够支撑各部队在室内组织开展班组分队战术模拟对抗训练，为提高我军作战分队战术训练水平和效益提供保障。

本系统可以支持分队级战术对抗训练，能够支持2个特战班组(7人)分队之间进行联网实兵红蓝对抗演练，红蓝双方参训组根据训练目标进行作战编组，为每个参训人员按照角色分配一个操作席位，能够以接近实战的方式在各自的席位上以第一人称视角开展对抗训练。演练前由导控人员开设推演环境，并且能够辅助班组从不同角度观察分析三维战场环境，研究制定作战方案；演练过程中，能够三维动画展现特战行动过程和交战效果，支持战场语音通讯；演练后进行分析评估。

参见图5，分队的单兵配套装备有：混合现实头盔显示本体，战术耳机麦克，95式步枪、综合姿态传感器、背负式系统主机等。

混合现实头盔显示器具体工作步骤为:

1)通过通信模块接收虚拟作战场景数据，生成虚拟作战场景。

2)通过现实场景采集模块操作手中的步枪模拟器，发生射击等操作动作。

3)虚拟场景响应单兵操作动作，虚拟目标根据实际操作而发生变化。

4)单兵所呈现的是将实物(步枪)融合到虚拟场景，且可根据实物操作与虚拟场景进行互动。

混合现实头盔显示器的作用：单兵虚拟场景生成模块能够看到虚拟的作战场景，按照统一的分队战术要求进行行动，同时通过现实场景采集模块能够看到手中的装备，如步枪模拟器等辅助设备，实现与半实物模拟器对接，实时将实物操作状态反馈到虚拟场景。

特种兵分队组网训练系统中，训练人员位于封闭的房间内，以房间内的单色墙面作为背景面来生成虚拟场景，同时，手中的步枪模拟器通过现实场景采集得到，形成一个虚实结合的训练对抗画面。

实施例2：矿山应急救援巷道增强现实训练系统

该系统主要针对现有的巷道设施，应用增强现实及空间定位技术，对透水、火灾、坍塌等事故进行模拟。使用单一设备可模拟多种类型的灾害事故，并训练人员进行逃生和安全补救，大大节约了训练成本。系统由演练准备、演练控制、综合展现等三个部分组成。其中演练准备包括演练包设计和成员分组，演练包设计主要对基于巷道的各种典型应用事故安全如顶板垮塌、瓦斯煤尘爆炸、煤与瓦斯突出、矿井火灾和矿井水灾等五大灾害进行管理、演练控制是完成演练过程控制，包括演练过程控制、导调控制和对巷道配套的硬件设备的控制，综合展现是对巷道初始场景、实时态势场景进行展现，并支持系统演练过程回放。

参见图6，对于单个受训人员，其硬件主要包含混合现实头盔本体与背负式计算机等。借助虚拟现实设备，在实际巷道体验各种案例灾害并模拟人员逃生训练。其具体工作流程为：

1)控制人员生成演练包，生成本次训练的虚拟场景及各类灾害事故场景。

2)受训人员使用混合现实头盔及其它辅助设备进行实际巷道。

3)受训人员感受模拟灾害场景，并使用辅助设备如滑轨车、消防器等进行安全科目训练。此时的，实物场景(辅助设备)与虚拟场景(灾害现场)融合为一体，虚拟场景会对受训人员的实物操作进行响应。

混合现实头盔显示器的作用：受训人员能够的虚拟场景是以实际的巷道为背景，加上各类灾害的模拟效果，根据灾害的类型，使用相应的辅助设备进行安全补救或者是逃生训练，此时，使用现实场景采集模块采集滑轨车、消防器等辅助设备，这些辅助设备的使用效果，实时反馈到虚拟场景，达到受训人员安全模拟训练的目的。

矿山应急救援的巷道为真实的矿山巷道，滑轨车为训练在巷道内上下运动必需的辅助工具，其单色背景是实际巷道的墙面，以实际巷道的墙面为背景面来生成将虚拟场景放置到实际巷道上，现实场景模块训练人员采集手中消防设备等应急装备信息，形成虚实结合场景，完成巷道应急救援演练。

综上，本发明具有如下优点：

1)场景适用性好：提供了图像融合模块，灵活的实现虚拟场景与现实场景的配置与融合，首先根据现实场景采集模块，实时采集到现实场景数据，经过背景透明化处理后，与虚拟场景叠加，形成用户所见到的虚实结合场景。

2)沉浸感强：仿真性、真实感和亲临其境的临场感强。虚拟现实只能展示计算机模拟的虚拟世界，而混合现实展示技术却可将虚拟世界与真实世界完美结合，使用户更加身临其境，具有更加真实的感官体验。

3)操作互动性好：由于混合现实可以观察到真实的场景，特别是手部的操作，使得用户可以将真实的物品与虚拟世界连接起来，打破了传统虚拟现实信息传递的单向性，实时地进行各种人与物之间的互动与交流。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定保护范围。

Claims (6)

1.一种混合现实的头盔显示系统，该头盔显示系统包括：头盔显示本体以及周边配套附件，

所述周边配套附件，包括单色背景设备，用作为现实场景的背景；

其中所述头盔显示本体包括：

现实场景采集模块(1)，用于实时采集外界真实的现实景象数据，将所述现实场景数据去除背景，得到去除背景后的现实场景；

虚拟场景生成模块(2)，用于根据空间定位模块(6)获得的空间位置信息，从主机处获取相应的虚拟场景数据，并生成按照真实观察角度的虚拟场景；

图像融合模块(3)，将去除背景后的现实场景与虚拟场景叠加，从而生成融合后的虚实结合图像；

空间定位模块(6)，用于实时采集头盔显示本体的空间位置信息，以使得虚拟场景的观察角度与用户的真实角度方位对应；

图像显示模块(7)，用于调用融合后的虚实结合图像，以进行显示；

所述现实场景采集模块采用傅里叶抠图算法，将现实场景数据抠除背景，得到去除背景后的现实场景；

所述图像融合模块使用灰度加权平均法将将去除背景后的现实场景与虚拟场景进行融合，具体为：

1)根据统一的位置坐标，将去除背景后的现实场景的图像与虚拟场景的图像叠加，

2)对现实场景的图像进行边缘检测，

3)找到边缘位置区域后，提取该现实场景的图像与虚拟场景的图像的灰度信息，使用灰度加权平均法进行融合；

所述图像融合模块，调用已有的虚拟场景，加上现实场景的实际物体信息，在完成统一的空间定位和时间标定基础上，采取图像融合算法，将虚拟场景与现实场景融合叠加；

所述的空间定位，是指的利用空间定位模块来确定头盔的空间位置信息和运行信息，其中所述运行信息能够从所述空间位置信息中得到；

所述空间定位模块获得空间位置信息为六自由度空间位置信息，并且所述空间定位模块能够根据空间位置信息获得头盔本体的运行信息，以从主机处获取相应视角的虚拟场景数据。

2.根据权利要求1所述的混合现实的头盔显示系统，其特征在于：

包括通信模块(5)，用于与主机进行通信，并根据空间定位模块采集的空间位置信息，从主机处返回相关的虚拟场景数据，该虚拟场景数据与所述空间位置信息有关。

3.根据权利要求1所述的混合现实的头盔显示系统，其特征在于：

所述现实场景采集模块包括两个摄像头，通过控制两个摄像头能够模拟人眼观察现实场景，所述图像显示模块能够进行三维显示。

4.根据权利要求1-3中任意一项所述的混合现实的头盔显示系统，其特征在于：

还包括电源模块(4)，为头盔显示主体进行供电；

所述空间定位模块为MEMS九轴传感器；

所述现实场景采集模块为两个CCD摄像头；

所述虚拟场景生成模块和图像融合模块集中设计，由FPGA+ARM设计架构组成；

电源模块为锂电池，支持USB接口供电；

图像显示模块由两块显示屏和对应的光学镜头组成。

5.根据权利要求4所述的混合现实的头盔显示系统，其特征在于：

还包括主机，主机用于存储三维场景数据，及配套软件，头盔主体将其空间位置信息通过通信模块传输到主机，主机计算后，生成头盔主体所需的虚拟场景数据，并经过通信模块传输到虚拟场景生成模块。

6.一种权利要求1-5中任意一项所述的混合现实的头盔显示系统的控制方法，包括如下步骤：

现实场景采集步骤：构建一个基于单色背景的真实场景，通过现实场景采集模块对真实场景中的实际物体信息进行采集，将现实场景数据去除背景，得到去除背景后的现实场景；

虚拟场景生成步骤：根据空间定位模块实时采集到的头盔本体的空间位置信息，从主机中调取虚拟场景数据，并生成按照真实观察角度得到的虚拟场景；

图像融合步骤：将去除背景后的现实场景与虚拟场景融合，生成融合后的虚实结合图像；

图像显示步骤：对生成的虚实图像进行三维还原，显示图像，并投射在用户眼镜中，使得用户既可以观察到真实现实又可以观察到虚拟场景。