CN108040247A - 一种头戴式增强现实显示设备及方法 - Google Patents

Abstract

本发明公开了一种头戴式增强现实显示设备及方法，该设备包括主体头盔、数据处理和控制模块、前置摄像头及前置传感器，同时，还包括顶置摄像头、顶置传感器以及后置摄像头、后置传感器，各个摄像头和传感器可以实时收集使用者周围的全方位信息，并发送给数据处理和控制模块。该方法包括对实时收集的全方位信息进行外部三维环境重建；实时计算分析是否存在移动物体，并计算移动物体的参数；通过显示模块输出并于使用者眼前显示移动物体的轮廓及移动参数信息，提醒使用者对周围的移动物体进行处理。该头戴设备及方法，实现了全方位信息收集并可重建外部三维模型，显示移动目标物体的轮廓及移动参数信息，便于对使用者周围的移动目标物体进行处理。

Description

一种头戴式增强现实显示设备及方法

技术领域

本发明涉及增强现实技术领域，具体而言，涉及一种头戴式增强现实显示设备及基于该设备的增强现实显示方法，尤其是一种可实现全方位信息集成的头戴式增强现实显示设备，以及应用该设备进行增强现实显示的方法。

背景技术

增强现实（Augmented Reality，AR）是设备根据所处的环境采集信息并生成虚拟的信息实时的展现在眼前，同时可以看到外部环境，达到虚实结合增强显示的目的，重点强调的是实时性和虚实结合。增强现实显示技术综合了计算机图形、计算机仿真、传感器、导航、实时跟踪注册、视频显示及控制等光电子、微电子、精密机械以及信号处理多种技术于一身的全新现代显示技术，能将虚拟的信息叠加到真实世界被人感知，在军事作战、城市反恐、临床医疗等领域有着广泛的应用前景。

增强现实头戴设备主要有头盔式和眼镜式两种产品类型。头盔设备主要是军用装备，用于机载、舰载、单兵等场景。增强现实型头盔设备在保护士兵头部的同时，还可以强化单兵战场态势感知能力，识别方位，获取位置地理信息，恶劣环境视野增强等，增强士兵的作战能力，提升作战效率。眼镜式增强现实显示设备主要是民用商用消费类产品，如微软的Hololens，Meta的系列等，用于游戏、实景参观等，可增强游戏体验和沉浸感，如中国专利申请号为201310011992.3的发明专利公开了一种头戴式显示器，包括显示部、支撑部和输入操作单元，显示部被配置为向用户呈现图像，支撑部被配置为支撑显示部且可戴在用户头上，输入操作单元用于控制该图像且包括被设置到显示部上的触摸传感器，输入操作单元包括触摸传感器，且因此可以进行具有高自由度的输入操作，能增强可操作性。此外，输入操作单元被设置到显示部上，且因此与HMD分开的输入设备等变得不必要，并且可以在输入操作期间增强便携性和便利性。

现有的增强现实头戴设备的摄像头和传感器均放置于头戴设备前部，只能采集使用者眼前的环境信息，无法采集使用者后部及顶部的周边环境信息，显示信息少，显示信息集成度低。单兵野外作战等状况下，配备现有头戴式增强现实显示设备后也无法观察到视野外的作战环境，这对单兵野外作战非常不利。

另外，现有的移动物体检测计算的方式主要利用图像差分方法将运动目标从序列图像中提取出来，算法复杂，运算及提取的速度低，影响检测的实时性。现有的头戴式增强现实显示设备，增强现实显示内容没有考虑到周围移动物体的识别、检测以及参数计算，也没有通过增强现实显示设备收集的信息三维空间重建，检测并计算移动物体的移动参数的应用。

因此，如何优化现有的头戴式增强现实显示设备的构造，解决使用者后部和顶部的视觉盲区，实现使用者周围全方位信息收集、丰富设备的显示内容、提高显示信息的集成度，并实现对头戴设备周围移动物体的检测和移动参数计算，提醒使用者对紧急危险情况进行处理，成为本领域技术人员亟需解决的技术问题。

发明内容

鉴于此，本发明提出了一种头戴式增强现实显示设备及方法，实现了收集使用者周围的全方位信息，丰富了设备的显示内容、提高了显示信息的集成度；实现对头戴设备周围的移动物体的识别、轮廓检测、移动参数计算，并输出移动物体的信息提醒使用者对紧急危险进行的处理，至少其中之一。

一方面，本发明提出的一种头戴式增强现实显示设备，包括主体头盔、设置于所述主体头盔上的数据处理和控制模块、设置于所述主体头盔前方的前置摄像头及前置传感器，同时，还包括设置于所述主体头盔顶部的顶置摄像头、顶置传感器以及设置于所述主体头盔后部的后置摄像头、后置传感器，所述前置摄像头、前置传感器、顶置摄像头、顶置传感器、后置摄像头及后置传感器均与所述数据处理和控制模块连接，所述数据处理和控制模块用于根据所述前置摄像头、前置传感器、顶置摄像头、顶置传感器、后置摄像头及后置传感器的信号重建三维空间并形成图形图像或视频信息以输出。

上述的头戴式增强现实显示设备，优选地，所述前置摄像头包括彩色摄像头、黑白摄像头和深度摄像头，所述前置传感器包括距离传感器、环境光传感器及手势识别传感器；所述顶置摄像头包括彩色摄像头、黑白摄像头和深度摄像头，所述顶置传感器包括距离传感器、环境光传感器；或所述后置摄像头包括彩色摄像头、黑白摄像头和深度摄像头，所述后置传感器包括距离传感器、环境光传感器。

上述的头戴式增强现实显示设备，优选地，还包括设置于所述主体头盔两侧的侧置摄像头及侧置传感器，所述侧置摄像头及侧置传感器与所述数据处理和控制模块连接，所述数据处理和控制模块用于根据所述前置摄像头、前置传感器、顶置摄像头、顶置传感器、后置摄像头、后置传感器、侧置摄像头及侧置传感器的信号重建三维空间并形成图形图像或视频信息以输出。

上述的头戴式增强现实显示设备，优选地，所述侧置摄像头包括彩色摄像头、黑白摄像头和深度摄像头；所述侧置传感器包括距离传感器、环境光传感器。

上述的头戴式增强现实显示设备，优选地，还包括设置于所述主体头盔前方的组合光学器件，所述组合光学器件与所述数据处理和控制模块连接，所述数据处理和控制模块形成的图形图像或视频信息输出后，经显示装置显示，所述组合光学器件用于传导图形图像或视频信息于使用者眼前形成虚像。

上述的头戴式增强现实显示设备，优选地，所述主体头盔上还设置有蓄电装置、功能模块、外部控制模块及外部接口，所述蓄电装置、功能模块、外部控制模块及外部接口与所述数据处理和控制模块连接，所述功能模块包括导航定位装置及数据存储单元，所述外部控制模块用于显示装置的亮暗调节、音量调节。

本发明提出的一种头戴式增强现实显示设备，包括主体头盔、设置于主体头盔上的数据处理和控制模块、设置于主体头盔前方的前置摄像头及前置传感器，同时，还包括设置于主体头盔顶部的顶置摄像头、顶置传感器以及设置于主体头盔后部的后置摄像头、后置传感器，前置摄像头、前置传感器、顶置摄像头、顶置传感器、后置摄像头及后置传感器均与数据处理和控制模块连接，数据处理和控制模块用于根据前置摄像头、前置传感器、顶置摄像头、顶置传感器、后置摄像头及后置传感器的信号重建三维空间并形成图形图像或视频信息以输出。该头戴设备，前置摄像头、前置传感器、顶置摄像头、顶置传感器、后置摄像头及后置传感器可以分别采集对应视野范围内的情景，传输到数据处理和控制模块，软件算法提取关键的有用的预先设置的信息后集成，形成图形图像或视频信息，经显示装置输出，通过组合光学器件如成像玻璃形成虚像被人眼捕捉。相对于现有的头戴设备而言，还包括顶置摄像头、顶置传感器、后置摄像头及后置传感器即在头戴设备的顶部和后部增加信息收集单元，该头戴式增强现实显示设备不仅能看到身体正前方的情景,还能将使用者身后和头顶部的视觉盲区的环境信息呈现给使用者，实现了前后左右上下全方位信息收集并集成为影像信息，减少了视觉盲区，对野外单兵作战等使用场景有重大意义。

在进一步的方案中，由于前置摄像头、顶置摄像头和后置摄像头均包括彩色摄像头和黑白摄像头的组合方案，可以提升可见度较低或者暗光的成像质量，配合头戴设备实现低能见度下全景视频增强。同时，深度摄像头可以配合头戴设备完成外部环境三维重建功能。

在进一步方案中，蓄电装置、外部控制模块及外部接口位于主体头盔的一侧，功能模块、数据处理和控制模块位于主体头盔的另一侧。由于主体头盔上的各个元器件在主体头盔上布置均衡，可以减小主体头盔前部的重量，优化头戴设备的重量配比和重心位置，增加舒适度。另外，根据前置摄像头、前置传感器、顶置摄像头、顶置传感器、后置摄像头及后置传感器的信息，数据处理和控制模块可以重建外部环境的三维模型，实时收集全方位的信息和重建外部三维环境，实时分析是否存在移动物体，并计算移动物体的参数，输出并显示，提醒使用者对周围的移动物体进行处理，以便于对头戴式增强现实显示设备周围的移动物体进行处理，避免其它物体靠近使用者（头戴式增强现实显示设备所在位置，下同），减少伤害发生。

另一方面，本发明还提出了一种基于头戴式增强现实显示设备的显示方法，应用于上述任一种所述的头戴式增强现实显示设备，包括：

通过所述头戴式增强现实显示设备的目标摄像头实时采集图像，其中，所述目标摄像头包括后置摄像头和/或顶置摄像头；

根据所述目标摄像头采集的全方位的多路视频信号和导航模块的定位信息，实时跟踪注册重建三维空间，并通过特征提取、背景差值或图像差分法等方法分析是否存在移动物体；

若确定存在所述移动物体，则在所述头戴式增强现实显示设备的显示区域显示所述目标摄像头采集的图像。

上述的显示方法，优选地，所述“若确定存在所述移动物体，则在所述头戴式增强现实显示设备的显示区域显示所述目标摄像头采集的图像”，包括：

若确定存在所述移动物体，则计算所述移动物体的移动参数，其中，所述移动参数包括所述移动物体靠近头戴式增强现实显示设备的移动速度、所述移动物体与所述头戴式增强现实显示设备的距离和所述移动物体到达所述头戴式增强现实显示设备所处位置的时间中的至少一项；

在所述头戴式增强现实显示设备的显示区域显示所述目标摄像头采集的图像和所述移动物体的移动参数。

上述的显示方法，优选地，所述“在所述头戴式增强现实显示设备的显示区域显示所述目标摄像头采集的图像和所述移动物体的移动参数”，包括：

判断所述移动物体的移动参数是否满足预设条件；

若确定所述移动物体的移动参数满足预设条件，则在所述头戴式增强现实显示设备的主显示区域显示所述目标摄像头采集的图像和所述移动物体的移动参数，提醒使用者对该移动物体进行处理。

上述的显示方法，优选地，所述“若确定存在所述移动物体，则在所述头戴式增强现实显示设备的显示区域显示所述目标摄像头采集的图像”，包括：

若确定存在所述移动物体，则提取所述目标摄像头采集的图像中移动物体的轮廓；

在所述头戴式增强现实显示设备的显示区域显示所述目标摄像头采集的图像，并突出显示所述目标摄像头采集的图像中移动物体的轮廓。

本发明提出了一种头戴式增强现实显示设备及方法，该设备通过设置前置摄像头及前置传感器，顶置摄像头及顶置传感器，后置摄像头及后置传感器等数据采集模块，摄像头和传感器可以实时收集使用者周围的全方位信息，并发送给数据处理和控制模块。基于该头戴设备的增强现实显示方法包括对实时收集的全方位信息进行外部三维环境重建；实时通过特征提取、背景差值或图像差分法等方法计算分析是否存在移动物体，并计算移动物体的参数；通过显示模块输出并于使用者眼前显示移动物体的轮廓及移动参数信息，提醒使用者可能存在的危险，并及时对周围的移动物体进行处理。该增强现实显示方法，由于采用上述的头戴式增强现实显示设备，能够实时地重建使用者周围的三维空间，并可以实时采集图形图像或视频信息，由于头戴式增强现实显示设备的实时性，可以实时反馈是否存在移动物体，若确定存在移动物体，且移动参数满足预设条件，则可以在头戴式增强现实显示设备的显示区域显示移动物体的图像，从而提醒使用者，可能存在的危险。

附图说明

图1为本发明提出的一种头戴式增强现实显示设备的正面示意图；

图2为图1的俯视图；

图3为本发明的头戴式增强现实显示设备的原理示意图；

图4为本发明的增强现实显示方法的示意图。

图中：10主体头盔；11外部接口；12松紧部件；13系带；20数据处理和控制模块；30前置摄像头；31前置传感器；40顶置摄像头；41顶置传感器；50后置摄像头；51后置传感器；60组合光学器件；70蓄电装置；80功能模块；90外部控制模块。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明中出现的“前”、“后”、“顶”、“侧”仅为了便于说明各个部件在一种状态下的方位（相对于人戴上头盔设备而言），具体参考附图1和图2，在图2中，下方为前、上方为后，图1中，上方为顶，两边为侧，不能作为结构或部件本身的限定。另外，本发明中出现的“第一”、“第二”、“第三”仅用于区分不同结构和部件，无先后之分，更不作为结构或部件本身的限定；同时，本发明中的“和/或”，指既可以同时具备，也可以选择其中之一，如方案A和/或方案B，包括方案A、方案B、方案A且方案B此三种情况。

常规头戴式增强现实显示设备包括摄像头、传感器、数据处理和控制模块、外部控制模块、外部接口USB接口、电源接口、耳机接口等、组合光学器件、显示装置、电池、主体头盔等。鉴于现有技术中，头戴式增强现实显示设备无法收集并提取视野范围以外的信息，本发明的主要目的在于提出一种可以实现使用者全方位信息采集提取并呈现给使用者的增强现实显示方案，如图1-3所示，本发明提出的一种头戴式增强现实显示设备，包括主体头盔10、设置于主体头盔10上的数据处理和控制模块20、设置于主体头盔10前方的前置摄像头30及前置传感器31，其特征在于，还包括设置于主体头盔10顶部的顶置摄像头40、顶置传感器41以及设置于主体头盔10后部的后置摄像头50、后置传感器51，前置摄像头30、前置传感器31、顶置摄像头40、顶置传感器41、后置摄像头50及后置传感器51均与数据处理和控制模块20连接，数据处理和控制模块20用于根据前置摄像头30、前置传感器31、顶置摄像头40、顶置传感器41、后置摄像头50及后置传感器51的信号重建三维空间并形成图形图像或视频信息以输出。

本发明的头戴设备，参考图3，前置摄像头30、前置传感器31、顶置摄像头40、顶置传感器41、后置摄像头50及后置传感器51可以分别采集对应视野范围内的情景，传输到数据处理和控制模块20，软件算法提取关键的有用的预先设置的信息后集成，形成图形图像或视频信息，经显示装置输出，通过组合光学器件如成像玻璃形成虚像被人眼捕捉。相对于现有的头戴设备而言，还包括顶置摄像头40、顶置传感器41、后置摄像头50及后置传感器51即在头戴设备的顶部和后部增加信息收集单元，该头戴式增强现实显示设备不仅能看到身体正前方的情景,还能将使用者身后和头顶部的视觉盲区的环境信息呈现给使用者，实现了前后左右上下全方位信息收集并集成为影像信息，减少了视觉盲区，对野外单兵作战等使用场景有重大意义。

另外，根据前置摄像头30、前置传感器31、顶置摄像头40、顶置传感器41、后置摄像头50及后置传感器51的信息，数据处理和控制模块20可以重建外部环境的三维模型，以便于对头戴式增强现实显示设备周围的移动物体进行处理，避免使用者（头戴式增强现实显示设备所在位置）碰到其他物体，减少伤害发生。

上述的头戴式增强现实显示设备，优选地，还包括设置于主体头盔10前方的组合光学器件60，组合光学器件60与数据处理和控制模块20连接，数据处理和控制模块20形成的图形图像或视频信息输出后，经显示装置显示，组合光学器件60用于传导图形图像或视频信息于使用者眼前形成虚像。显示装置，即为显示屏，是头戴式增强现实显示设备虚像的来源，可以用LCD、LCOS、OLED、Micro LED等。提取的全方位信息提取集成后需要通过显示装置来显示相应的图形图像或者视频信息，然后通过组合光学器件传导图形图像信息到人眼前。

上述的头戴式增强现实显示设备，前置摄像头30、顶置摄像头40和后置摄像头50可以采用彩色摄像头RGB、黑白摄像头Mono、广角摄像头Wide、长焦摄像头Tele、深度摄像头Depth，或者它们中的一种或多种，优选地，前置摄像头30包括彩色摄像头、黑白摄像头和深度摄像头，前置传感器31包括距离传感器、环境光传感器及手势识别传感器。顶置摄像头40包括彩色摄像头、黑白摄像头和深度摄像头，顶置传感器41包括距离传感器、环境光传感器；后置摄像头50包括彩色摄像头、黑白摄像头和深度摄像头，后置传感器51包括距离传感器、环境光传感器。本方案中，由于前置摄像头30、顶置摄像头40和后置摄像头50均包括彩色摄像头和黑白摄像头的组合方案，可以提升可见度较低或者暗光的成像质量，配合头戴设备实现低能见度下全景视频增强。同时，深度摄像头可以配合头戴设备完成外部环境三维重建功能。另外，距离传感器配合环境光传感器可以检测头戴设备至周围物体的距离，前置的手势识别传感器可以用于使用者的手势识别。

需要说明的是，摄像头数量和传感器的数量可以不固定，数量和摆放位置等都是以实现全方位信息采集为目的的。同时，由于主体头盔10的前方、顶部、后方还设置有传感器。因此，头戴设备上的摄像头和传感器可以分别采集对应视野范围内的情景，传输到数据处理和控制模块20，软件算法提取关键的有用的预先设置的信息后集成，形成图形图像或视频信息，经显示装置输出，通过组合光学器件如成像玻璃形成虚像被人眼捕捉。

上述的头戴式增强现实显示设备，其两侧的图像可以通过转动顶置摄像头实现，为进一步提高显示效果，优选地，还包括设置于主体头盔10两侧的侧置摄像头及侧置传感器，侧置摄像头及侧置传感器与数据处理和控制模块20连接，数据处理和控制模块20用于根据前置摄像头30、前置传感器31、顶置摄像头40、顶置传感器41、后置摄像头50、后置传感器51、侧置摄像头及侧置传感器的信号重建三维空间并形成图形图像或视频信息以输出。通过进一步设置侧置摄像头，该头戴式增强现实显示设备不仅能看到身体正前方、身后和头顶部的情景，还可以直接看到两侧的情景，实现了全方位信息收集并集成为影像信息，消除了视觉盲区，进一步提高增强现实显示的效果。

同样的，侧置摄像头包括彩色摄像头、黑白摄像头和深度摄像头；侧置传感器包括距离传感器、环境光传感器。这样，可以提升可见度较低或者暗光的成像质量，配合头戴设备实现低能见度下全景视频增强。

上述的头戴式增强现实显示设备，优选地，主体头盔10上还设置有蓄电装置70、功能模块80、外部控制模块90及外部接口11，蓄电装置70如电池、功能模块80、外部控制模块90及外部接口11与数据处理和控制模块20连接，功能模块80包括导航定位装置及数据存储单元，外部控制模块90用于显示装置的亮暗调节、音量调节。同时，蓄电装置70、外部控制模块90及外部接口11位于主体头盔10的一侧，功能模块80、数据处理和控制模块20位于主体头盔10的另一侧。通过该方案，主体头盔10上的各个元器件在主体头盔10上布置均衡，可以减小主体头盔10前部的重量，优化头戴设备的重量配比和重心位置，增加舒适度。

上述的头戴式增强现实显示设备，优选地，主体头盔10的后部设置于松紧部件12，用于调节头戴设备的松紧，提高舒适度，主体头盔10的下方设置有系带13，使用者戴上头盔后，可以通过系带13系紧，预防掉落及因此造成的损坏。

另一方面，本发明还提出了一种基于头戴式增强现实显示设备的显示方法，应用于上述任一种的头戴式增强现实显示设备，包括：

通过头戴式增强现实显示设备的目标摄像头和传感器实时采集图像，其中，目标摄像头和传感器包括后置摄像头和传感器和/或顶置摄像头和传感器；

根据目标摄像头分析是否存在移动物体；

若确定存在移动物体，则在头戴式增强现实显示设备的显示区域显示目标摄像头采集的图像。

采用上述的头戴式增强现实显示设备，能够实时地重建使用者周围的三维空间，并可以通过目标摄像头实时采集图形图像或视频信息，由于头戴式增强现实显示设备的实时性，可以实时反馈是否存在移动物体，若确定存在移动物体，则可以在头戴式增强现实显示设备的显示区域显示目标摄像头采集的图像，从而提醒使用者，可能存在的危险。上述的显示方法，优选地，“若确定存在移动物体，则在头戴式增强现实显示设备的显示区域显示目标摄像头采集的图像信息”，包括：

若确定存在移动物体，则计算移动物体的移动参数，其中，移动参数包括移动物体靠近头戴式增强现实显示设备的移动速度、移动物体与头戴式增强现实显示设备的距离和移动物体到达头戴式增强现实显示设备所处位置的时间中的至少一项；

在头戴式增强现实显示设备的显示区域显示目标摄像头采集的图像和移动物体的移动参数。

这样，当存在移动物体时，在头戴式增强现实显示设备的显示区域显示目标摄像头采集的图像和移动物体的移动参数，即显示移动物体靠近头戴式增强现实显示设备的移动速度、移动物体与头戴式增强现实显示设备的距离和移动物体到达头戴式增强现实显示设备所处位置的时间中的至少一个，从而，使用者可以更直观的判断周围的移动物体是否存在风险。

上述的显示方法，优选地，“在头戴式增强现实显示设备的显示区域显示目标摄像头采集的图像和移动物体的移动参数”，包括：

判断移动物体的移动参数是否满足预设条件；

若确定移动物体的移动参数满足预设条件，则在头戴式增强现实显示设备的主显示区域显示目标摄像头采集的图像和移动物体的移动参数，提醒使用者对该移动物体进行处理。

预设条件具体地可以是：移动物体与头戴式增强现实显示设备的距离小于第一预定值，和/或，当移动物体靠近头戴式增强现实显示设备的移动速度大于第二预定值，和/或，当移动物体到达头戴式增强现实显示设备的到达时间小于第三预定值。第一预定值、第二预定值、第三预定值可以根据安全等级、使用者需要及具体场景等，进行设置。前述的显示区域包括主显示区域和非主显示区域，没有紧急情况时（移动物体的移动参数是否满足预设条件），主显示区域显示常规的增强现实内容，与普通增强现实设备一致，非主显示区域显示移动物体的信息，起到辅助显示的作用，紧急情况时，移动物体的信息显示在主显示区域，提醒使用者紧急处理。

该显示方法，通过判断移动物体的移动参数是否满足预设条件，从而提醒使用者有危险物体靠近。除了显示图象和移动参数（距离、移动速度、达到时间）外，还可以显示方位。除了显示外，还可通过声音、振动等方式提醒使用者。

上述的显示方法，优选地，“若确定存在移动物体，则在头戴式增强现实显示设备的显示区域显示目标摄像头采集的图像”，包括：

若确定存在移动物体，则提取目标摄像头采集的图像中移动物体的轮廓；

在头戴式增强现实显示设备的显示区域显示目标摄像头采集的图像，并突出显示目标摄像头采集的图像中移动物体的轮廓。

上述增强现实显示方法中，通过上述的增强现实显示设备的摄像头和传感器采集的全方位多路视频信号得到三维点云数据，结合导航定位数据，通过位姿图优化的SLAM技术，以在线重建策略实现虚实注册与定位，将场景理解和摄像机追踪两个原本相对独立的任务关联起来，从而解决未知环境下的实时跟踪注册与精确空间定位问题，实时性的全局立体匹配算法、基于特征曲率流的点云光顺算法，基于最近邻迭代和正态分布变换的点云配准算法，实现三维点云数据的拼接整合，从而实现外部环境的三维重建。同时采用背景差值法或图像差分法将运动的物体从摄像头采集的图像序列中的背景图像提取出来，进行有效分割，通过设定合理的阈值，判断相邻两帧图像的灰度值差异，确认是否有移动的物体，同时通过Roberts、Prewitt、Canny等算法检测移动物体的边缘，提取出目标移动物体的轮廓信息、纹理特征、形状和对应的图像。利用多目标跟踪技术，维护移动物体的识别和轮廓提取，可对应计算和提取多个移动物体的信息。

摄像机采集的视频数据经三维重建后可以得到全方位的三维点云数据，经上述方法对移动物体进行辨识和信息提取，可以得到代表移动物体的点云的位置大小等信息。以增强现实显示设备的位置为坐标原点，可计算出移动物体的点云的位置与增强现实显示设备的距离。由于数据采集的实时性，移动物体下一个时刻的点云的位置会发生变化，同样的方法可以计算出这个时刻的移动物体与增强现实显示设备的距离。同时，由于增强现实显示设备的导航定位功能，可以得出不同时刻增强现实显示设备的位置。通过以上数据即可计算出移动物体的运动参数。具体为：

若在T0时刻头戴式增强现实显示设备的位置为S₀（0，0，0），移动物体的位置为W₀（W_x0，W_y0，W_z0），在T1时刻，头戴式增强现实显示设备的位置为S₁（S_x1,S_y1,S_z1），移动物体的位置为W₁（W_x1，W_y1，W_z1），则：

T0时刻，移动物体与头戴式增强现实显示设备的距离为A₀=（W_x0 ²+W_y0 ²+W_z0 ²）^1/2；

T1时刻，移动物体与头戴式增强现实显示设备的距离为：

A₁= （（W_x1- S_x1）²+（W_y1- S_y1）²+（W_z1- S_z1）²）^1/2；

移动物体靠近头戴式增强现实显示设备的移动速度为V=（A₀-A₁）/（T₁-T₀）；

移动物体到达头戴式增强现实显示设备的到达时间T=A₁/V。

通过该方法，头戴式增强现实显示设备的数据处理和控制模块20可以准确、高效的计算出移动物体与头戴式增强现实显示设备的距离、移动物体靠近头戴式增强现实显示设备的移动速度、移动物体到达头戴式增强现实显示设备的到达时间，并在显示模块的显示区域以图像和数字等形式展现，便于使用者及时根据显示内容做出处理。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种头戴式增强现实显示设备，包括主体头盔（10）、设置于所述主体头盔（10）上的数据处理和控制模块（20）、设置于所述主体头盔（10）前方的前置摄像头（30）及前置传感器（31），其特征在于，还包括设置于所述主体头盔（10）顶部的顶置摄像头（40）、顶置传感器（41）以及设置于所述主体头盔（10）后部的后置摄像头（50）、后置传感器（51），所述前置摄像头（30）、前置传感器（31）、顶置摄像头（40）、顶置传感器（41）、后置摄像头（50）及后置传感器（51）均与所述数据处理和控制模块（20）连接，所述数据处理和控制模块（20）用于根据所述前置摄像头（30）、前置传感器（31）、顶置摄像头（40）、顶置传感器（41）、后置摄像头（50）及后置传感器（51）的信号重建三维空间并形成图形图像或视频信息以输出。

2.根据权利要求1所述的头戴式增强现实显示设备，其特征在于，所述前置摄像头（30）包括彩色摄像头、黑白摄像头和深度摄像头，所述前置传感器（31）包括距离传感器、环境光传感器及手势识别传感器；所述顶置摄像头（40）包括彩色摄像头、黑白摄像头和深度摄像头，所述顶置传感器（41）包括距离传感器、环境光传感器；所述后置摄像头（50）包括彩色摄像头、黑白摄像头和深度摄像头，所述后置传感器（51）包括距离传感器、环境光传感器。

3.根据权利要求1所述的头戴式增强现实显示设备，其特征在于，还包括设置于所述主体头盔（10）两侧的侧置摄像头及侧置传感器，所述侧置摄像头及侧置传感器与所述数据处理和控制模块（20）连接，所述数据处理和控制模块（20）用于根据所述前置摄像头（30）、前置传感器（31）、顶置摄像头（40）、顶置传感器（41）、后置摄像头（50）、后置传感器（51）、侧置摄像头及侧置传感器的信号重建三维空间并形成图形图像或视频信息以输出。

4.根据权利要求3所述的头戴式增强现实显示设备，其特征在于，所述侧置摄像头包括彩色摄像头、黑白摄像头和深度摄像头；所述侧置传感器包括距离传感器、环境光传感器。

5.根据权利要求1-4任一项所述的头戴式增强现实显示设备，其特征在于，还包括设置于所述主体头盔（10）前方的组合光学器件（60），所述组合光学器件（60）与所述数据处理和控制模块（20）连接，所述数据处理和控制模块（20）形成的图形图像或视频信息输出后，经显示装置显示，所述组合光学器件（60）用于传导图形图像或视频信息于使用者眼前形成虚像。

6.根据权利要求5所述的头戴式增强现实显示设备，其特征在于，所述主体头盔（10）上还设置有蓄电装置（70）、功能模块（80）、外部控制模块（90）及外部接口（11），所述蓄电装置（70）、功能模块（80）、外部控制模块（90）及外部接口（11）与所述数据处理和控制模块（20）连接，所述功能模块（80）包括导航定位装置及数据存储单元，所述外部控制模块（90）用于显示装置的亮暗调节、音量调节。

7.一种基于头戴式增强现实显示设备的增强现实显示方法，应用于权利要求1至6中任一项所述的头戴式增强现实显示设备，其特征在于，包括：

通过所述头戴式增强现实显示设备的目标摄像头实时采集图像，其中，所述目标摄像头包括后置摄像头和/或顶置摄像头；

根据所述目标摄像头采集的多路视频信号和导航模块的定位信息，实时跟踪注册重建三维空间，并通过特征提取、背景差值或图像差分等方法分析是否存在移动物体；

若确定存在所述移动物体，则进行图像分割提取移动物体的轮廓和形状信息在所述头戴式增强现实显示设备的显示区域显示所述目标摄像头采集的图像信息。

8.根据权利要求7所述的增强现实显示方法，其特征在于，所述“若确定存在所述移动物体，则在所述头戴式增强现实显示设备的显示区域显示所述目标摄像头采集的图像信息”，包括：

若确定存在所述移动物体，则计算所述移动物体的移动参数，其中，所述移动参数包括所述移动物体靠近头戴式增强现实显示设备的移动速度、所述移动物体与所述头戴式增强现实显示设备的距离、所述移动物体到达所述头戴式增强现实显示设备所处位置的时间中的至少一项；

在所述头戴式增强现实显示设备的显示区域显示所述目标摄像头采集的图像和所述移动物体的移动参数。

9.根据权利要求8所述的增强现实显示方法，其特征在于，所述“在所述头戴式增强现实显示设备的显示区域显示所述目标摄像头采集的图像和所述移动物体的移动参数信息”，包括：

判断所述移动物体的移动参数是否满足预设条件；

若确定所述移动物体的移动参数满足预设条件，则在所述头戴式增强现实显示设备的主显示区域显示所述目标摄像头采集的图像和所述移动物体的移动参数，提醒使用者对该移动物体进行处理。

10.根据权利要求8所述的增强现实显示方法，其特征在于，所述“若确定存在所述移动物体，则在所述头戴式增强现实显示设备的显示区域显示所述目标摄像头采集的图像”，包括：

若确定存在所述移动物体，则提取所述目标摄像头采集的图像中移动物体的轮廓；

在所述头戴式增强现实显示设备的显示区域显示所述目标摄像头采集的图像，并突出显示所述目标摄像头采集的图像中移动物体的轮廓。