CN104570366A - 一种具有手势识别功能的全息头盔显示器 - Google Patents

Abstract

一种具有手势识别功能的全息头盔显示器，包括头盔主体，在该头盔主体的前两侧左右对称地设有左照明单元和右照明单元，在该头盔主体的前方、左右眼睛部位对称地设有左图像显示单元和右图像显示单元，在所述的左光学系统和右光学系统之间设有空间光调制器模块，该空间光调制器模块的上方设有手势识别模块，在该头盔主体的后两侧、左右耳朵部位对称地设有左音响模块和右音响模块，在该头盔主体上还设有中央控制器和电源模块。本发明能够有效地提升人与可穿戴设备的交互性，使信息的输入简便快捷，使手势识别在夜晚的环境下也能实现，提高了整个系统的环境适应性与可用性，使人感受到的三维图像更加自然真实，长时间使用也不会有不适感。

Description

一种具有手势识别功能的全息头盔显示器

技术领域

本发明属于可穿戴式全息显示光学系统领域，尤其是利用全息器件，可以在人眼前重建三维场场景，并带有手势识别功能的全息装置。

背景技术

人们在日常生活中通过人体各个感官，尤其是眼睛获得外部大量外部环境信息，这些信息传入到大脑，大脑对其进行处理，然后得出决策用于指导人体行为。到了今天，外部的信息越来越多，只用人脑来处理已经稍显不够，于是人们就开始随身携带平板电脑、手机等电子产品以帮助自己处理日渐增多的信息。但是，这些设备仍然有着一些功能上和人体体验上的限制。试想，如果我们能够把移动信息处理设备直接戴在眼睛上，这些设备获得外部信息后直接对其进行处理，然后将处理得到的结果直接显示于人眼前，这就是可穿戴式设备，它将更方便快捷地指导人们的行动与决策。头盔式显示器的种类有很多。根据是否使用全息器件可分为全息式和非全息式的，前者利用全息器件改变光束的传播方向或者光波的波阵面，后者则利用折反射器件来改变光波传输方向。根据光线传输的方式可分为折反式和光波导式，前者中光线主要利用折射和反射等方式传播，需要透镜系统，后者则使光线在光波导中传输，没有透镜系统，所以能够大大减小系统体积。根据是否在人眼前重建三维图像可分为三维式和非三维式，三维图像的重建方式也有所不同。

中国专利“头戴式显示器”(CN 103217791 A)提出了一种包括显示部、支撑部和输入操作单元的头戴式显示器，此显示器是一种眼镜式的装置，可实现显示装置的可穿戴化，能够在人眼前显示预设的图像；但是这个装置主要侧重于根据用户输入的信息显示图像，而对外部信息的检测与处理不加重视，所以它更像是一个显示器件，而不是可穿戴式智能设备。

中国专利“防毒面具头盔显示器的二元光学系统”(CN 102914871A)提出了一种利用二元光学全息面反射镜的头戴式防毒面具外形的显示器件，反射镜对投影光波长范围的反射率很大，对其他波长范围的光波投射，以实现“双通道显示”，即在观察预设投影图像的同时，能够观察外部环境；该系统需要由透镜组组成的中继系统，其结构与光波导系统相比稍显复杂，同时它也没有强调对外部信息的处理，系统中也没有可供用户输入控制信息的控制模块，如按键、遥控等装置。

中国专利“生成三维物理重建的头戴式显示装置”(CN101600982A)利用空间光调制器在人眼前形成三维视图的复杂波阵面，借此就可以令用户在一定角度的视锥体中看到三维视图的重建，和其他头戴式显示器相比，此装置利用的是三维物体的体显示而不是利用双眼视差形成的三维图像；但是这个装置只是在人眼前显示三维像，完全没有外部信息与图像的进入，所以它只是一种视听娱乐设备，不能用它来快速获取外部信息进而指导用户决策。

在“The use of optical waveguides in Head Up Display(HUD)applications”(SPIE 87360E 1 2013)中提出了使用两块或者一块光波导作为光线传输介质，在光波导中加入全息元件用来控制光束的传播方向，并提出使用LED照射下的数字微透镜器件作为光源和投影图像源，能够极大地减小头戴式显示器等此类装置的体积与复杂度，提高光线传播过程中的衍射效率和投影图像的对比度。

发明内容

本发明旨在克服上述在先技术的不足，提供一种具有手势识别功能的全息头盔显示器。该装置能够识别使用者的手势，然后根据手势做出相应的操作，并且该装置能够在人眼前重现三维图像。该头盔可以有两种工作状态：一种是双通道工作，即装置在人眼前重建图像的同时，还能够使使用者观察到前方环境。另一种是单通道工作，关闭前方通道，使用者只能看到头盔内部系统重现的三维图像，这样就使使用者进入了“虚拟现实”。

本发明的技术解决方案如下：

一种具有手势识别功能的全息头盔显示器，其特征在于共包含七个功能模块：头盔主体、照明单元、图像显示单元、空间光调制器(SLM)模块、手势识别模块、音响模块、中央控制器模块、电源模块以及不透光护目镜。所述头盔主体是所有其他功能模块的承载物体，加装了用来承载其他功能模块的支撑架，以及用来调节其他某些功能模块位置的调整架。所述的照明单元包含有LED光源、空间滤波器、扩束准直透镜和像差校正镜这几个部分。所述的图像显示单元是由几片透镜和包含有窄带高反射面的光学组合器组成的光学系统。空间光调制器模块包含有小型化的液晶空间光调制器及其控制电路；手势识别模块由红外光源、红外传感器、红外扩束光学系统、红外物镜以及控制电路这几部分组成。音响模块位于佩戴者耳朵附近，向佩戴者传递声音信息。中央控制器模块中包含有中央处理器及其外围电路，用来控制信息流的获取、传输与显示。电源模块为整个系统提供电力支持。不透光护目镜用来实现头盔单通道工作与双通道工作的切换，当头盔工作在单通道模式时，它被推下覆盖人眼前方区域，隔绝头盔外部光线进入人眼；当头盔工作在双通道模式时，不透光护目镜被推离人眼前方，避免遮挡外部光线。

头盔主体是所有其他模块的承载物，照明单元分为左右两个光源，分别位于头盔左右两侧，图像显示单元也分为左右两个同样的光学系统，分别位于佩戴者左右眼睛的前方，空间光调制器模块位于佩戴者眉心附近，手势识别模块被安装于佩戴者额头附近，中央控制器和电源模块可以根据头盔上剩余空间安置，要保证头盔配重合理，使用者佩戴舒适。

在照明单元中，沿着光束传播方向依次同轴放置着LED光源、微孔空间滤波器、扩束准直透镜和像差校正镜。照明单元发出的光束随后传播至图像显示单元，光束首先被一块反射镜反射，然后经过一块光学组合器。该光学组合器由一个凹面、两个直角棱镜和一个凸面胶合而成，两个直角棱镜是由相同折射率的材料制成的，它们之间的胶合面的一侧镀有窄带高反射面，可以认为它是一个半反射镜。光束经过光学组合器之后到达空间光调制器模块，控制电路将相息图加载于反射型空间光调制器之上，那么经过该空间光调制器的光束的波面就被调制并被反射。被调制并反射后的光波原路返回再次经过光学组合器，此时光束不能通过光学组合器，被其反射后进入人眼。

手势识别模块包含有一个红外光源和两个红外传感器，红外传感器分立于红外光源的左右侧，如同人的眼睛一般对身前某一距离处进行红外摄像。红外光源前方有红外扩束光学系统，红外传感器的前方有红外物镜。控制电路控制红外光源的打开与关闭，同时对红外传感器得出的数据进行处理，判断手势究竟是哪一种。

音响模块包括左耳和右耳的耳机。中央控制器模块的位置并不固定，要根据头盔配重合理和佩戴舒适的原则放置于头盔之上。需要指出的是，整个系统中的所有控制电路，包括空间光调制器控制电路、手势识别控制电路和中央控制电路在内，完全可以分布在同一块电路板上，也可以各自分离，互相用电缆连接。不透明护目镜的安装要保证其能够上下移动以切换头盔工作模式，并且在各个工作模式下不影响手势识别模块正常工作。

所述头盔主体用来承载其他功能模块，装有各类支撑架以及用来调节其他功能模块上下左右位置的调整架。

所述的LED为高亮度光源，中心波长为650nm。

所述的微孔空间滤波器用于消除高频率噪声，消除光源中的杂光干扰，增大光束的空间相干性，提高光束的质量。

所述的扩束准直透镜将经过空间滤波的类点光源扩束并准直。

所述的像差校正镜是由两片透镜胶合而成，用来校正光波传输过程中的像差。

所述的平面反射镜用来转折光束传播方向。

所述的光学组合器由一个凹面镜、两个直角棱镜和一个凸面镜胶合而成，两个直角棱镜是由相同折射率的材料制成的，它们之间的胶合面的一侧镀有窄带高反射面，可以认为它是一个半反射镜。光学组合器能够保证人眼观察到重建三维图像的同时，还能观察到人眼前方的景物，这就实现了此头盔显示器的双通道工作。

所述的空间调制器是反射型液晶SLM。由控制电路计算得出的相息图加载到SLM上后，经过SLM的光束波面就得到了调制，经过调制后的光束射入眼睛后，人眼就观察到三维的虚像。目前SLM的帧率已经可以达到甚至超过30fps，所以如果按照这个帧率加载相息图的话，可以再现三维视频。

所述的红外光源为近红外光，波长范围为2000nm-2500nm，这一波长范围在大气窗口之内，空气对其吸收率较低。光源亮度不能太低，要求与人体以及其他物体相比，人体以及其他物体的红外热辐射可以忽略。

所述的红外传感器是一个二维的红外传感器，其传感得到的数据是一张二维的红外图像，其感应波长范围要和红外光源相一致，红外光源发出的红外光射向人体前方一个区域内，红外传感器用来感应人手反射回来的红外光线。

所述的红外扩束光学系统能够对红外光源进行扩束，使光束充满人体前方距离500mm处500mm×500mm的区域，此区域的中心位于人体脖颈附近，保证人手在做手势时不影响视线。该类型的光学系统的设计已被科研人员所熟知。

所述的红外物镜用来收集人手反射回来的红外光线，将光线聚焦于其后方的红外传感器之上。该类型的光学系统的设计已被科研人员所熟知。

所述左耳和右耳耳机用来为佩戴者传递声音。

所述的中央处理器是整个系统的中心，用来控制信息流的获取、传输与显示。

所述电源选用轻便型锂离子电池，其安装位置要保证头盔配重合理，佩戴舒适。

所述不透光护目镜与普通头盔护目镜相比在于它的不透明性，同时它的安装方式要保证在两种工作模式下不影响手势识别模块的正常工作。

与先技术相比，本发明具有下列的有益效果：

1、本发明提出了一种具有手势识别功能的全息头盔显示方法，能够有效地提升人与可穿戴设备的交互性，使信息的输入简便快捷。

2、手势识别方案采用红外光源与红外感应器相结合的方案，能够使手势识别在夜晚的环境下也能实现，提高了整个系统的环境适应性与可用性。

3、本发明的图像显示单元的光学系统更为简单有效，得到的像质要好，结构紧凑，成本较低。

4、本发明的三维图像实现方式使用的是体显示的方法，而不是简单地在人双眼前方显示不同图像的视差全息，能够使人感受到的三维图像更加自然真实，长时间使用也不会有不适感。

5、本发明实现了头盔显示器的双通道工作，使用者在观察到重现三维图像的同时，还能看到人眼前方的环境，它就像是人体的另外一个大脑，能够迅速准确地帮助使用者处理外部信息。

6、本发明实现了头盔双通道工作模式与单通道工作模式的切换，拓展了该头盔的应用范围，使其能够方便地应用于虚拟现实领域。

附图说明

图1为本发明总体结构示意图。

图2为本发明照明单元、图像显示单元和空间光调制器模块结构示意图。

图3为本发明手势识别模块结构示意图。

图4为本发明手势识别原理流程图。

具体实施方式

下面结合附图和具体实施方式对本发明做详细阐述，但不当以此限制本发明的保护范围。

参见图1，本发明具有手势识别功能的全息头盔显示器装置包括头盔主体1，照明单元2L和2R，图像显示单元3L和3R，空间光调制器模块4，手势识别模块5，音响模块6L和6R，中央控制器模块7、电源模块8以及不透光护目镜9。其中照明单元2L和2R有着同样的结构，只是在头盔上的安装方式不同，图像显示单元以及音响模块也是如此。附图1略去了各个模块之间的连接线路以及头盔主体上的支撑架。

照明单元2L、图像显示单元3L和空间光调制器单元4的左半部共同组成了实现左眼双通道显示的光学系统，其结构请参照附图2。其中照明单元2L包括LED光源201、空间滤波器202、扩束准直透镜203以及像差校正镜204，图像显示单元3L包括平面反射镜301、凹面镜302、胶合直角棱镜303，凸面镜304，凹面镜302、胶合直角棱镜303，凸面镜304三者胶合在一起，称之为光学组合器。空间光调制器单元4包括空间光调制器(SLM)和控制电路，图2中省去了空间光调制器的控制电路。光线从照明单元2L发出，然后被平面反射镜301转折光线传播方向；由于胶合直角棱镜303中胶合面是一个半反射面，从左侧射向右侧的光线不被阻挡，光线经过光学组合器照在空间光调制器单元4上；空间光调制器单元4对入射光波面进行调制并反射，光线被反射回光学组合器后被胶合直角棱镜303胶合面反射进入人眼。被空间光调制器调制后的波面在人眼前重建三维虚像。人眼在观察到此重建三维虚像的同时，还能经过光学组合器无障碍地观察到头盔外部景象，这就实现了头盔显示器的双通道工作。

所述的空间光调制器是实现三维显示的核心器件，它加载的相息图对入射光波波面进行调制，进而重建出三维的图像。相息图的获取方法可参考文献“Three-dimensional display technologies of recent interest:principles,status,and issues[Invited]”。将得到的相息图加载到空间光调制器上，就能使经过调制的光束在人眼前重建三维图像。具体的设计参数可以根据用户需要加以修改。此外，可以在系统中的存储设备中直接存储计算好的相息图，在一定场合下直接加载到空间光调制器上，省去实时计算相息图的过程。存储设备集成于中央控制器模块7内。

图3为本发明手势识别模块结构示意图，其中包括分立两侧的红外传感单元5A和5C，居于中心位置处的红外光源单元5B以及控制电路。红外光源单元5B包含有两个结构：光源503以及红外扩束光学系统504。红外传感器单元5A和5C有着同样的结构，其中包含有红外物镜501A和501B，以及二维红外传感器502A和502B。图3中还显示了用户手势和红外光线形成的红外光幕的示意图。需要指出的是，红外扩束光学系统504和红外物镜501A和501B的结构并不像此处这样简单，其设计方法已被科研人员所熟知。红外光束由红外光源单元5B射出后，在头盔佩戴者前方脖颈处形成红外光幕。可以将红外传感单元5A和5B当做红外摄像头，如果佩戴者在身体前方红外光幕内做出手势，红外传感单元5A和5B就能收到人手反射回的红外光线，对使用者手势进行拍摄。拍摄得到的图片被控制电路以一定的算法处理，最终得出手势信息，实现手势识别的功能。

实现手势识别的核心算法是支持向量机(SVM)算法，如图4所示，该算法包括离线操作与在线操作这两个过程。离线操作指的是头盔投入使用前科研人员需要进行的操作。执行这个过程的目的在于获得支持向量机的“分类器”。分类器指的是一组算法程序，它就像是一个黑箱，只有输入和输出两端，将红外传感单元5A和5B获得的红外图像输入进此黑箱后，黑箱快速地输出一个结果，指明此手势的类别，进而指出其代表的具体含义。此黑箱的作用在于迅速地将获得的红外图像上的手势进行分类，所以将其称之为“分类器”。

分类器进行手势分类的过程耗时很少，但是获取分类器却需要耗费大量时间。如图4所示，首先要对佩戴者的各种手势进行建模，确立其手势模型。确定手势模型后就要对各类手势的特征进行提取。然后依据各种手势的具体特征，通过实测获取有足够元素数量的训练集，其具体过程为：实验人员在红外传感单元5A和5B前做出代表某种含义的手势，获得红外图像后提取此手势的特征，然后将其特征与其具体含义联系在一起，就获得了训练集中的一个元素，实验人员做出另外的手势并重复这一过程，就能获得训练集中的其他元素。一般说来，一个较为优异的训练集所含元素个数一般都在千个以上，这需要耗费大量时间，元素个数越多，算法也就越复杂，分类精度也就越高。根据训练集获得分类器的过程称为“训练”，训练集有了足够数量的元素之后就能经过训练来获得足够精度的分类器。

在线操作指的是佩戴者在使用手势识别模块时系统进行的操作。此过程也可以分为四步，首先要红外光束射向人体前方形成红外光幕，人手在这个光幕中活动，反射回来的光线被红外传感器接收，形成红外图像，手势识别模块中的控制电路对此红外图像进行特征提取，之后利用离线操作获得的分类器对该图像进行判断，最终得出结果，给出此手势的具体含义。

上述部件的位置关系如下：

头盔主体1是其他各个模块的承载物。参见图1，照明单元分为左右两个光源2L和2R，分别位于头盔主体1左右两侧。图像显示单元也分为左右两个同样的光学系统3L和3R，分别位于佩戴者左右眼睛的前方。空间光调制器模块4位于佩戴者眉心附近，手势识别模块5被安装于佩戴者额头附近。音响模块6L和6R同样也是分为左右两个，分别位于左右耳附近。中央控制器7和电源模块8可以根据头盔上剩余空间安置，要保证头盔配重合理，使用者佩戴舒适。不透光护目镜9安装于头盔上方，有滑轮可保证其可被推下遮挡外部光线。

左半部照明单元2L、图像显示单元3L以及空间光调制器4共同构成了实现左眼双通道显示的光学系统。其中各个部件的位置关系参见图2。沿着光束传播方向依次放置着LED光源201、微孔空间滤波器202、扩束准直透镜203和像差校正镜204，这几个部件共同构成了照明单元2L。照明单元2L发出的光束随后传播至图像显示单元3L，光束首先被平面反射镜301反射，然后经过由凹面镜302、胶合直角棱镜303和凸面镜304胶合而成的光学组合器。光束经过光学组合器之后到达空间光调制器模块单元4，被其调制并反射后的光波原路返回再次经过光学组合器，此时光束不能通过光学组合器，被其反射后进入人眼。

构成手势识别模块的各个部件位置参见图3。其中包括居于中心位置处的红外光源单元5B，分立两侧的红外传感单元5A和5C，以及控制电路。在红外光源单元5B中包含有光源503，以及位于光源503前方的红外扩束光学系统504。红外传感器单元5A和5C有着同样的结构，其中包含有红外物镜501A和501B，以及位于此光学系统像面处的二维红外传感器502A和502B。

Claims (6)

1.一种具有手势识别功能的全息头盔显示器，其特征在于，包括头盔主体(1)，在该头盔主体(1)的前两侧左右对称地设有左照明单元(2L)和右照明单元(2R)，在该头盔主体(1)的前方、左右眼睛部位对称地设有左图像显示单元(3L)和右图像显示单元(3R)，在所述的左光学系统(3L)和右光学系统(3R)之间设有空间光调制器模块(4)，在该头盔主体(1)的后两侧、左右耳朵部位对称地设有左音响模块(6L)和右音响模块(6R)，在该头盔主体(1)上还设有中央控制器(7)和电源模块(8)；

所述的左照明单元(2L)发出的光束经所述的左图像显示单元(3L)到达空间光调制器模块(4)，经调制后的反射光通过所述的左图像显示单元(3L)反射后进入人眼；

所述的右照明单元(2R)发出的光束经所述的右图像显示单元(3R)到达空间光调制器模块(4)，经调制后的反射光通过所述的右图像显示单元(3R)反射后进入人眼；

所述的左照明单元(2L)和右照明单元(2R)提供光源，所述的左图像显示单元(3L)和右图像显示单元(3R)用于在使用者眼前显示图像，所述的空间光调制器模块(4)对经过的光线波面进行调制以重建图像，所述的左音响模块(6L)和右音响模块(6R)向佩戴者传递声音信息，所述的中央控制器模块(7)用来控制空间光调制器模块(4)中信息流的获取、处理与显示。

2.根据权利要求1所述的具有手势识别功能的全息头盔显示器，其特征在于，所述的空间光调制器模块(4)的上方还设有手势识别模块(5)，当使用者需要对系统进行一定设置时，手势识别模块(5)对使用者的控制手势进行识别，令使用者在不需要触碰其他设备的情况下就能对整个系统进行控制。

3.根据权利要求1所述的具有手势识别功能的全息头盔显示器，其特征在于，在所述的头盔主体(1)的上方外部安装有不透光护目镜(9)。

4.根据权利要求1或2所述的具有手势识别功能的全息头盔显示器，其特征在于，所述的左照明单元(2L)和右照明单元(2R)分别由沿光束传播方向依次放置的LED光源(201)、微孔空间滤波器(202)、扩束准直透镜(203)和像差校正镜(204)构成。

5.根据权利要求1或2所述的具有手势识别功能的全息头盔显示器，其特征在于，所述的左图像显示单元(3L)和右图像显示单元(3R)分别由平面反射镜(301)、凹面镜(302)、胶合直角棱镜(303)和凸面镜(304)构成，所述的凹面镜(302)、胶合直角棱镜(303)和凸面镜胶合成一体，放置在所述的平面反射镜(301)的反射光路上。

6.根据权利要求2所述的具有手势识别功能的全息头盔显示器，其特征在于，所述的手势识别模块包括控制电路、左红外传感单元(5A)、右红外传感单元(5C)，以及位于左红外传感单元(5A)和右红外传感单元(5C)之间的红外光源单元(5B)；

所述的左红外传感单元(5A)包括左红外物镜(501A)和左二维红外传感器(502A)；

所述的右红外传感单元(5C)包括右红外物镜(501B)和左二维红外传感器(502B)；

所述的红外光源单元(5B)包含光源(503)，以及位于该光源(503)前方的红外扩束光学系统(504)。