CN105212418A - 基于红外夜视功能的增强现实智能头盔研制 - Google Patents

Abstract

研制一款智能头盔，配有便携式智能眼镜和红外夜视仪，具备GPS定位、陀螺仪测姿功能，可用于显示在夜间人眼观察到的物体的温度、位置信息，实现人眼所见的现实物体的热度信息展示。随着佩戴人的位置、视野的移动，实时加载显示相应地物的热度信息内容。除用半透明伪彩色图像进行展示外，并提供相应的温度值、方位信息。

Description

基于红外夜视功能的增强现实智能头盔研制

技术领域

本发明利用增强现实技术，研制一款智能头盔，配有便携式智能眼镜和红外夜视仪，用于显示在夜间人眼观察到的物体的温度、位置信息，实现人眼所见的现实物体的热度信息展示，增强对物理世界的感知。

背景技术

现代战争对高科技的需求越来越多，智能头盔显示器作为一种良好的人机交互装置，在现代军队装备中得到广泛应用，特别是近年来增强现实技术的发展及全息显示器的运用，为智能头盔的研制提供了有力支持。

现代头盔显示器(HMD)，一开始主要为了满足武装直升机的需要，六十年代越南战争中，美国的UH-1B直升机前端安装了旋转炮塔，驾驶员头戴具有瞄准功能的头盔瞄准具，提高了战斗力。从此，各国竞相开展了飞行员头盔显示器的研究。目前在军用航空头盔显示器方面最领先的是视景系统国际(VSI)公司。VSI生产的JHMCS联合头盔提示系统已经大量装备在美军的F-15、F-16和F/A-18战机上。我国HMD/HMS的研制工作起步较晚，在较先进的SU30战机上装备的头盔显示系统还是采用镀膜组合器，存在透光不强，反射率低等缺点。系统整体性能也跟国外先进水平相差很远。因此为了提高我军的装备现代化水平和作战能力，智能头盔显示器的研制变得非常迫切。

增强现实(AugmentedReality，AR)，是在虚拟现实的基础上发展起来的新技术，也被称为混合现实。它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实提供了在一般情况下，不同于人类可以感知的信息。它不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。

增强现实作为一门新兴领域，结合了计算机图形学(ComputerGraphics)、图像处理(ImageProcessing)、机器视觉(MachineVision)等诸多学科的技术。同时也依赖于显示设备、图形加速设备(GraphicsCards)、传感器(Sensor)、跟踪器(Tracker)、交互工具(InteractiveTools)等硬件设备的发展。增强现实系统不是将用户与现实世界隔离，而是利用虚拟的圈形和文字等信息对真实世界的场景进行增强，实现真实世界和虚拟世界的无缝融合，并能够使用户如在真实环境中一样自然实时地交互。

发明内容

研制一款智能头盔，配有便携式智能眼镜和红外夜视仪，具备GPS定位、陀螺仪测姿功能，可用于显示在夜间人眼观察到的物体的温度、位置信息，实现人眼所见的现实物体的热度信息展示。随着佩戴人的位置、视野的移动，实时加载显示相应地物的热度信息内容。除用半透明伪彩色图像进行展示外，并提供相应的温度值、方位信息。

夜视功能的实现主要利用夜视仪来实现。夜视仪将来自目标的人眼看不见的光(微光或红光)信号转换为电信号，然后再把电信号放大，并把电信号转换为人眼可见的光信号。根据夜视仪所使用的光信号的不同，可将夜视仪分为微光夜视仪和红外夜视仪。与微光夜视仪相比，红外夜视仪可实现全天候、穿透烟、雾、霾、雪等恶劣条件的限制并识别目标背景的伪装，特别适用于夜间不良气象条件下对目标的探测。从原理上可分为：主动式夜视仪和被动式夜视仪。主动式夜视仪即传统意义上的红外微光夜视仪，这种夜视仪，通过增像管放大信号，将微光信息转化为可见的信息，从原理上来说是需要光源的。在全黑情况下，如果没有红外辅助光源，是无法看到目标的。被动夜视仪，就是夜成像夜视仪，通过热成像的原理产生可见图像，不需要光源，只需要观测物体的温度差即可。

以往的头盔显示系统无法同时显示夜视图像和信息符号，佩戴者必须在这两种功能间进行切换。通过内置在头盔中的数字夜视摄像头(DNVC)，智能头盔显示系统可把飞行信息和目标信息叠加显示在夜视图像上，从而大大拓展夜间视野范围，增强士兵夜间态势感知能力。

增强现实技术主要利用Unity3D开发环境，支持vuforia、OculusRift、HoloLens、ARToolkit、Metaio等多种AR平台的开发。主要的技术流程包括以下五部分：

(1)获取真实场景信息

在头盔显示器前方安装摄像头，用于摄取真实世界的景象。真实场景信息的获取也可以通过加载先前存储于本地的真实空间信息或使用远程服务器下载别人上传的真实场景信息。

(2)对真实场景和相机位置信息进行分析；

将计算机生成的虚拟物体信息和真实场景的景物“精准对齐”，即注册跟踪技术。增强现实系统的跟踪注册包含使用者头部(摄像机)的空间定位跟踪和虚拟物体在真实空间中的定位两个方面的内容，关系到虚拟和真实对象的配准、排列。对用户头部相对位置和视线方向的获取一般可分为两种：一种是采用跟踪传感器进行注册，简称跟踪器法；一种是采用计算机视觉系统结合特定算法来实时得到，简称视觉法。在实际应用中，两种方法各有其优缺点，为了得到更广泛的适应性和更好的性能，采用将两者相结合的复合方法。

①基于跟踪器的注册方法

基于跟踪器的注册方法普遍采用惯性、超声波、电磁、光学、无线电波或机械装置等进行跟踪。其中，惯性导航装置通过惯性原理来测定使用者的运动加速度，通常所指的惯性装置包括陀螺仪和加速度计；超声波系统利用测量接收装置与3个已知超声波源的距离来判断使用者位置；电磁装置通过感应线圈的电流强弱来判断用户与人造磁场中心的距离，或利用地球磁场判断目标的运动方向；光学系统使用CCD传感器，通过测量各种目标对象和基准上安装的LED发出的光线来测量目标与基准之间的角度，并通过该角度计算移动目标的运动方向和距离；机械装置则是利用其各节点问的长度和节点连线间的角度定位各个节点。这些跟踪技术共同的问题就是自身应用领域的局限性。例如，电磁跟踪器只能在事先预备的磁场或磁性引导环境下工作；GPS和电磁跟踪都不够精确，机械跟踪系统笨重不堪；适用于室内的跟踪系统不一定能在户外正常发挥作用等等。对增强现实系统来说并没有单一完美的跟踪解决方案，跟踪系统可以结合其中的两三种跟踪传感器以相互补偿大延时、低刷新率甚至暂时的失效。

对于一个实际的增强现实系统，仅仅根据头部跟踪系统提供的信息，系统没有反馈难以取得最佳匹配；而且跟踪器法的精度和使用范围都不能满足增强现实的需要，又容易受到外界干扰，因而几乎不可能单独使用，需要与视觉注册方法结合起来实现稳定的跟踪。

②视觉跟踪注册方法

目前，视觉跟踪注册主要有基准点法、模版匹配法、仿射变换法和基于运动图像序列的方法等。

基准点方法需事先对相机进行定标(获取4个内部参数)，并设置相应的标记或基准点，然后对获取的图像进行分析，以计算相机的位置和姿态(获取6个外部参数)。其原理是先从图像中提取一些已知的对象特征点，找到真实环境和图像中对应点的相关性，然后由相关性计算出对象姿态，这个过程也就是对从世界坐标转换到摄像机坐标的模型视图矩阵的求解过程。通常，特征点可以由孔洞、拐点或人为设置的标记来提供。其中，对于人为标记的特征点，若按照颜色划分则有黑白与彩色两种情况，而按照形状划分则有圆形、同心圆环、多边形(包括三角形、方形、五边形等)和条形码等。黑白标志可在图像二值化后用相应算法提取，相对来说彩色标志通过色彩分量提取更容易，但同时也易受到光照条件、相机本身质量和观察角度方向等的影响；圆形和同心圆环基于本身几何特性对观察方向的改变很稳定，但是用于作为特征点的中心位置就较难以精确确定；多边形标记采用拐角作为特征点，位置信息更为精确，但往往需要额外途径或信息以使各拐角特征点相互区别，而且多边形方法在标记部分受到遮挡时就可能会由于特征点数量的缺失而失效。

模版匹配法同样需要事先对相机标定内部参数，再通过图像分析处理提取环境中平面上的特定图形图案，并与已有模式进行匹配，匹配成功即可确定该图案板的位置和姿态，因而确定要叠加在图案板上虚拟对象的位置和姿态。模版匹配法的典型代表是ARToolKit。目前，采用ARToolKit开发的系统有很多，例如MagicBook等。模版匹配法的优点是方便快速，使用普通PC机和摄像机即可实现很高的帧频，对快速的运动也适用；缺点是鲁棒性不够，只要对图案稍有遮挡就难以有效运作，因此无法近距离观察与图案板相连的虚拟物体或者用实际物体与之进行移动交互。

针对复杂的相机标定，有研究致力于简化甚至免除该过程，出现了半自动和自动标定及无需标定的方法，半自动和自动标定一般利用冗余的传感器信息自动测量和补偿标定参数的变化；而无需标定的方法则以仿射变换和运动图像序列法为代表。

仿射变换法不需要摄像机位置、相机内部参数和场景中基准标志点位置等相关先验信息。仿射法通过将物体坐标系、相机坐标系和场景坐标系合并，建立一个全局仿射坐标系(非欧几里得坐标系)来将真实场景、相机和虚拟物体定义在同一坐标系下，以绕开不同坐标系之间转换关系的求解问题，从而不再依赖于相机定标。这种方法的缺点是不易获得准确的深度信息和实时跟踪作为仿射坐标系基准的图像特征点。

基于图像序列的方法是利用投影几何方法从图像序列中重构三维对象，目前已可以较好地重构一些简单的表面实体。存在的问题是，现有基于图像序列重构三维对象的技术中，特征点的提取完全基于图像特征进行，少量高可靠性的特征点必须由大量特征点通过复杂的匹配和迭代计算得到，因此难以保证观察视点位置获取的实时性。

就目前而言，基于视觉的增强现实系统可使测量误差局限在以像素为单位的图像空间范围内，因而是解决增强现实中三维注册问题最有前途的方法。但同时研究表明，准确快速的跟踪注册在环境中有精确外部参考点的情况下，比在复杂的户外真实世界中容易实现得多；在户外情况下，需要使用结合了基于跟踪器方法的复合注册法

③复合注册法

一般的视觉跟踪注册法虽然精确性高，但为了缩短图像分析处理的时间，常依赖于帧间连续性，当相机与对象间相对运动速度较大时就会找不到特征点；另外，视觉跟踪注册法在环境不符合要求(例如标记被遮挡或光照不足)时会失效，稳定性不够好。而跟踪传感器如电磁跟踪等虽然精确性不高，又有一定延迟，但鲁棒性和稳定性不错，而且对用户运动的限制也较小。因此，结合视觉法和基于跟踪器的方法可以取长补短：通常是先由跟踪传感器大概估计位置姿态，再通过视觉法进一步精确调整定位。一般采用的复合法有视觉与电磁跟踪结合、视觉与惯导跟踪结合、视觉与GPS跟踪结合等。

电磁跟踪法便携性好，但易受到环境中金属物体的影响，精度不够高；与视觉法结合可以起到加速图像分析过程、从多选中确定正解、作为后备稳定跟踪和为视觉法提供对比参照结果等作用。惯性跟踪优点是延迟小速度快，缺点是误差累积效应并会影响注册稳定性；与视觉法结合后可以预测平面标记的大概运动范围并增加系统鲁棒性和性能表现，视觉法则负责局部图像分析以精确定位并消除传感器的累积漂移量。

(3)生成虚拟景物；

由虚拟现实工作站接收虚拟模型信号并加以处理，对虚实环境进行准确的配准，实现遮挡、阴影和光照一致性，和自然的交互。其中遮挡处理是为了获得虚拟物体与真实物体正确的遮挡关系，需要比较两者之间的深度信息。阴影和光照一致性方面要能够实时的适应真实环境的光照变化，同时考虑真实物体和虚拟物体之间的阴影，使得虚拟物体产生如同真实物体一样的光照和阴影效果。另外虚拟模型还要考虑虚焦模糊等情况下的显示效果。

(4)合并视频或直接显示；

将虚拟对象的的信息融合到由摄像机或其它方式获取的真实场景视频信号中，最后将经过处理的信号显示到显示设备上。

显示设备采用透视式头盔显示器，主要由虚拟信息显示通道、真实环境显示通道、图像融合及显示通道三个基本环节构成。其中，虚拟信息的显示原理与虚拟现实系统所用的浸没式头盔显示器基本相同；图像融合与显示通道是与用户交互的最终接口，根据其中真实环境的表现方式，可分为基于CCD摄像原理的视频透视式头盔显示器和基于光学原理的光学透视式头盔显示器两类。

视频透视式头盔显示器封闭了视线，视频摄像机为用户提供真实世界中的场景，场景合成器负责把摄像机视频和虚拟图像进行合并，用户看到的是合并后的效果。光学透视式头盔显示器是把光学融合器放置在用户眼前来实现增强现实的。融合器是部分透光的，以便用户可以通过它直接观察真实世界；同时融合器也是部分反射的，以便由头部监视器投射到融合器上的虚拟物体的光再反射到用户眼里，用户就看到了融合有虚拟物体的真实世界。

视频透视式和光学透视式HMD在注册精度、系统延迟、真实场景的分辨率和失真、视场等方面都有不同表现。光学透视式头盔显示器对真实环境几乎无损显示，用户获得的信息比较可靠全面，但真实环境与虚拟图像的融合困难；视频透视式头盔显示器对真实环境的复现受到很多因素的限制，但真实环境与虚拟图像的融合却容易了很多。

(5)交互

实现用户与真实环境中虚拟物体自然直观的三维交互，系统设计针对增强现实系统的交互工具，并能够跟踪定位到交互工具的位置信息.执行用户对空间物体实施的指令。增强现实系统的交互方式主要两种：基于硬件设备的方式，如数据手套。基于视频处理的方式，如在标识物上生成按钮、菜单、笔等，也有采用手势识别的方式输入命令。

附图说明

图1是基于红外夜视功能的增强现实智能头盔技术框架图。

具体实施方式

一、头盔显示器设计

增强现实系统中主要使用透视式头盔显示器实现虚拟物体与真实环境的混合显示。在增强现实系统中，佩戴透视式头盔显示器的使用者既可以看到外部真实的环境，又可以看到计算机生成的虚拟景物。透视式头盔显示器是将虚拟景物和真实环境融合的重要显示设备，是AR系统中的关键设备。头盔显示器的基本构成主要由三部分组成：(1)图像信息显示源。即小型二维显示器，显示来自传感器的各种欲显示的字符信息或图像信息。(2)光学成像系统。即凸透镜以及校正像差的整个光学系统，将图像显示源的图像放大成像给佩戴者观察。(3)头盔。安装图像显示源和光学成像系统的平台。

头盔显示器的原理是将小型二维显示器所产生的影像由光学系统放大。具体而言，小型显示器所发射的光线经过凸状透镜使影像因折射产生类似远方效果，利用此效果将近处物体放大至远处观赏而达到所谓的全像视觉。这个小型的二维显示器随着科学技术的发展，从早期用的小型阴极射线管(CathodeRayTube，CRT)，到液晶显示器(LiquidCrystalDisplay，LCD)，到最近已有应用有机电致发光显示器件(OrganicLightEmittingDisplay，OLED)。

将夜视仪功能和头盔显示器组合起来有两种主要方法：(1)IIT和CRT图像进行光学图像组合；(2)使用像增强器或夜视装置输出的电信号进行电子图像组合。

光学组合是目前将IIT图像和头部安装显示器组合中应用最广泛的技术。应用这一技术的产品有：一种是简单地在现有的夜视镜上增加一个显示功能，如Rracor的AN/AVS-7NVGHUD等；另外一种是更先进的综合设计，如马克尼航空公司的“骑士”HMD。

电子图像组合不是新技术，但已成为许多应用中一种比较实用的方法，现在研发重点是开发用于HMD的高性能夜视摄像机。

(1)光学图像组合

这种技术是将头盔上安装的CRT或者其它显示器装置的输出同像增强管的输出在同一个中介像面上进行光学组合。在图像组合光学部件的特性选择中需要综合考虑几种设计因素。IIT的输出亮度很低，而CRT的亮度范围较宽。因此，一个关键性的问题是：CRT的亮度和IIT的亮度匹配问题。

典型的光学图像组合头盔显示器光学系统中，像增强器的输出与CRT图像进行光学组合，使得像增强器的图像输出为最大，同时保持显示符号和前视红外图像的CRT显示与白天光线协调。而后，中继透镜将组合图像传送至组合目镜，使用者观察时看到的就是一幅叠加在正常视线上的准直图像。该方法开发利用了现有第三代像增强器的所有性能，提供了叠加有符号的最佳夜视效果。显示1∶1对应于真实外界视景。

此方法的一个重要优点是：像增强器可以由飞机电源供电，也可以由头盔上安装的一组小型电池组供电，可不依赖飞机电源提供夜视能力。CRT也可以用来显示头部控制的FLIR装置的前视红外图像，从而具备一个光学系统内的真正的多传感器能力。像增强管和CRT图像的光学组合原理业已得到证明。但是该方法需要在头盔上给像增强器和CRT显示器提供多个光学通道，因而会导致设计笨重。另外，增强的夜视图像并不能作为视频信号输出。

采用光学组合方式的头盔显示器有ThalesAvionics的尖端猫头鹰、ElbitSystems公司的AN/AVS-7ANVIS/HUD系统和BAEsystemsAvionics公司的“骑士”头盔显示器等。

(2)电子图像组合

电子图像组合方法中，增强的夜视图像是由一个头盔上安装的一个小型夜视摄像机提供的，一般情况下使用的是图像增强CCD摄像机。该装置的输出是视频信号，输入到显示器驱动电子组件上并与符号进行电子组合，之后以常规方式显示到头盔上安装的CRT上。这种方法的优点是不必将IIT和CRT的图像进行光学上的混合，从而使CRT显示器的性能最大化。另外还减轻了头部支撑重量，减小了体积，这一点对快速喷气式飞机和小型座舱是极为重要的。

尽管这一方法仍然使用图像增强技术，但增强的图像是用光栅的格式提供的，因而夜视图像有潜在的提升能力，提高了图像的对比度，减少了直接观察IIT所带来的一些不太令人满意的特点，如图像浮散等。

目前采用电子组合的头盔显示器有Striker头盔显示器、“EF2000”HMD等。

二、平台选型

1.HoloLens

HoloLens是一款免费的增强现实产品，将计算机生成的图像与真实的世界相叠加。支持Android、iOS、Windows、MAC等平台，同时支持Unity和GPS。类似的产品有图像投射到视网膜上的GoogleGlass，以及叠加在手机摄像头画面上的手机AR应用。

它拥有独立的计算单元，自带CPU+GPU+HPU(HolographicProcessingUnit)，不需要外接计算机。它的CPU和GPU基于英特尔的14纳米工艺的CherryTrail芯片，HPU全息处理单元，是一块ASIC(Application-specificintegratedcircuit)，是微软为HoloLens定制的集成电路。

HoloLens拥有有四台摄像头，左右两边各两台。通过对这四台摄像头的实时画面进行分析，HoloLens可覆盖的水平视角和垂直视角都达到120度，采用的是立体视觉/StereoVision技术来获取深度图。

HoloLens从多张深度图重建三维场景，利用SLAM，SimultaneousLocalizationAndMapping，即同步定位与建图系统。这个技术被用于机器人、无人汽车、无人飞行器的定位与寻路系统。

HoloLens采用的是增强现实，这意味着它会将图像投影在现实世界的上方。它并没有真正做到全息投影，全息投影意味着每个人都可以看到，而HoloLens仍然需要用户佩戴。HoloLens前方的镜片是半透明的。

2.Metaio

Metaio与HoloLens类似，同样是免费，并支持Android、iOS、Windows、MAC平台，并且支持Unity及GPS，但是是闭源的。MetaioSDK支持2D图像、3D对象、SLAM和位置跟踪、条形码和二维码扫描、连续性视觉搜索(通过MetaioCVS实现，无论是离线还是在线状态)、以及手势检测。Metaio还设计了自己的AR脚本语言，AREL(增强现实体验语言)可以使用常见的Web技术(HTML5、XML、Javascript)去开发自己的AR应用，并将它们部署到任何地方。支持Android、iOS、WindowsPC、GoogleGlass、EpsonMoverioBT-200和VuzixM-100，或是在Unity中使用。

3.其它平台

1)D’Fusion

D’Fusion是一款AR(增强现实)软件产品，也是目前全球最畅销的增强现实商用技术方案，适用于不同的装置和作业系统，为不同领域和范畴(例如数字营销、活动筹划和行业)推出安全可靠的增强现实应用程序。提供的解决方案使开发者能够提供、开发和转售最完整的跨平台体验的增强现实，使用户在保持产品及生产流程的可行性和有效性的同时，能够为整个过程添加一些新内容并增加价值。

2)Vuforia

Vuforia增强现实软件开发工具包(VuforiaAugmentedRealitySDK)，是高通推出的针对移动设备扩增实境应用的软件开发工具包。它利用计算机视觉技术实时识别和捕捉平面图像或简单的三维物体(例如盒子)，允许开发者通过照相机取景器放置虚拟物体并调整物体在镜头前实体背景上的位置。

4.AR

主要是Oculus的虚拟现实技术，包括Oculus独立开发的Rift，以及与三星合作开发的GearVR，必须搭配三星手机使用。

1)OculusRift

目前官方提供了可以在Windows/MacOS上工作的SDK，并且是完全开源的。从中可以看到对于底层设备通讯到上层进行画面渲染的所有细节。

对于Windows下的开发，SDK中包含了VisualStudio2010的工程文件，可以很容易的编译出之前文中提到的官方Demo以及另外两个例子应用。同时，SDK的源代码采用C++开发，实现上具有很好的平台依赖的抽象，可读性优秀，容易移植到其他的平台当中。

Rift带给人的体验是从前没有过的，即使目前它还存在各种不足，但随着今后硬件不断地升级。这些不足将会很快的得到解决。

除了用于游戏娱乐外，Rift这类虚拟现实眼镜配合机器人技术也将大有用武之地，例如配合立体摄像机以及高速云台系统，戴着Rift的用户可以远程操作机器人，身临其境的感受另一个地方机器人所感受的世界，这将大幅提高远程作业、远程办公等应用的体验。

2)虚拟现实头盔GearVR

三星与Oculus合作开发的虚拟现实头盔，可与三星的旗舰手机配套使用，Oculus主要负责软件，三星负责硬件。

GearVR的屏幕实际上是三星发布的平板手机GalaxyNote4的屏幕，该手机配备了5.7英寸的超高清SuperAMOLED屏幕，用户在使用时只需将GalaxyNote4插入到GearVR的卡槽中，即可在玩游戏或看电影时获得虚拟现实体验。

三星最新款GearVR头盔只能与三星的GalaxyS6、GalaxyS6Edge手机搭配使用。同上一版本的GearVR一样，这款新的头盔名为“InnovationEdition”，售价为200美刀(约合115英镑)，目标用户群是希望体验智能手机上的VR环境的开发者们。

5.国产AR平台

国内的增强现实尚处于萌芽状态，软件产品的用户习惯尚待培养，硬件产品多数处于概念阶段，玩家以中小企业为主，消费级市场近乎空白。和国外相比，国内的AR市场劣势十分明显。

首先在硬件层次上，国外已经开始将AR技术与硬件芯片进行优化整合，国内仍处于探索阶段。不管是谷歌、苹果还是微软、英特尔，凭借其行业影响和资金优势，很容易得到上游半导体厂商的支持，而国内的初创公司却有心无力。

其次在软件方面，国外不少企业开始为开发者提供移动端的开发套件，并在云服务和计算机视觉技术上进行支持。而国内的AR团队正处于起步阶段，鲜有企业具备开放能力。

而在内容方面，国外已经演化出成熟的增强现实移动平台，商品广告、移动购物、多屏互动、位置导航等资源日渐丰富。国内的增强现实移动平台尚未成型，多以独立APP的形式进行资源覆盖，用户规模也受到限制。

中国增强现实头戴显示器市场参与者主要由初创企业构成，多数产品尚处于研发阶段。从产品功能来看，初创公司的产品与谷歌眼镜功能相仿，价格具有优势，但自主创新能力不足。

表1中国增强现实头戴显示器市场参与者

三、技术与研究方向

实现夜视仪和智能头盔显示器综合的技术方法采用电子图像组合方法。这种方法中，增强的夜视图像由安装在头盔上的小型数字夜视摄像机提供，该装置的输出是视频信号，输入到显示器驱动电子组件上并与符号进行电子组合，之后以常规方式显示到头盔显示器上。这种方法不用将显示器和像增强管的图像进行光学上的混合，从而使显示器的性能最大化。另外还减轻了头部支撑重量，减小了体积。

开发工具采用Unity3D，该工具利于开发跨平台软件(包括Win、Mac、Android、IOS、Html5等)，支持主流开发语言之一的C#，而且当前所有主流AR平台都对Unity3D提供二次开发包。

本计划初期主要针对Metaio，它在所有AR平台中属于最为成熟的平台之一，待形成战斗力之后，后期的主研究方向转向HoloLens(明年才能发布开发版本，预计数年之后才能成熟)；后者将在未来成为无所不能的利器。

所以不管是目前的快速形成AR战斗力，还是为了以后的发展夯实基础，都能兼顾。

四、投入

主要包括人力及设备支持。Metaio可运行在PC、Android、IOS等平台，HoloLens以及要研究的国内平台可能需要穿戴设备；另外，为了尽快将AR技术应用到实际具体项目，还需要产生额外的投入。

Claims (1)

1.基于红外夜视功能的增强现实智能头盔研制，其特征包括：

1.将夜视仪功能和头盔显示器组合起来的方法：(1)光学图像组合，将头盔上安装的显示器装置的输出同像增强管的输出在同一个中介像面上进行光学组合，关键技术在于显示器装置的亮度与像增强管的亮度匹配问题；(2)电子图像组合，增强的夜视图像是由一个头盔上安装的小型夜视摄像机提供的，该装置的输出是视频信号，输入到显示器驱动电子组件上并与符号进行电子组合，之后以常规方式显示到头盔上安装的显示器装置上，这种方法可以使显示器装置的性能最大化，同时减小了头盔重量及体积。

2.增强现实系统结构：主要由场景采集系统、跟踪注册系统、虚拟场景发生器、虚实合成系统、显示系统和人机交互界面等多个子系统构成，其中，场景采集系统负责获取真实环境中的信息，如外界环境图像或视频；跟踪注册系统用于跟踪观察用户的头部方位和视线方向等；虚拟图形绘制系统负责生成要加入的虚拟图形对象；虚实合成系统是指虚拟场景与真实场景对准的定位设备和算法。

3.增强现实系统的关键技术：①显示技术，主要指透视式头盔显示器(HMD)，基本环节包括虚拟信息显示通道、真实环境显示通道、图像融合及显示通道；②注册跟踪技术，主要方法有基于硬件跟踪器的跟踪和基于视觉的跟踪建立虚拟空间坐标系与真实空间坐标系的转换关系，使得原拟物体能够合并到真实世界的正确位置上，同时系统要实时的根据观察者的视场重建坐标系的关系；③虚实融合技术，主要包括虚实环境的注册、虚拟物体和真实物体的遮挡处理、阴影和光照一致性和自然的交互：④用户交互技术，实现用户与真实环境中虚拟物体自然直观的三维交互，设计系统针对增强现实系统的交互工具，并能够跟踪定位到交互工具的位置信息，执行用户对空间物体实施的指令。