CN110572632A - 一种基于视线跟踪的增强现实显示系统、头盔和方法 - Google Patents

Abstract

本申请公开了一种基于视线跟踪的增强现实显示系统、头盔和方法，包括：眼动追踪模块、双目惯性摄像模块、处理模块和增强现实显示模块；眼动追踪模块，用于采集人眼图像，发送至处理模块；双目惯性摄像模块，用于采集外部图像和头部运动参数，发送至处理模块；处理模块，用于根据所述人眼图像和所述头部运动参数确定视点坐标；使用所述外部图像重建外部物理环境；根据视点坐标识别被关注目标，生成被关注目标的虚拟信息，发送至增强现实显示模块；增强现实显示模块，用于显示接收到的所述虚拟信息。通过眼动追踪模块和双目惯性摄像模块，能够对人眼关注的目标进行快速定位，并减小头部晃动造成的误差，提高目标识别的精确度。

Description

一种基于视线跟踪的增强现实显示系统、头盔和方法

技术领域

本申请涉及增强现实呈现技术领域，尤其涉及一种基于视线跟踪的增强现实显示系统、头盔和方法。

背景技术

增强现实技术(Augmented Reality，简称AR)，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在，实现对于真实世界的增强。随着增强显示技术的不断发展，其在医疗、教育、军事、制造等领域的应用越来越广泛。到20世纪90年代，光电子技术的迅猛发展使得信息在亮度、颜色上的展现手段变得丰富。当今显示技术进入多样性时代，人们不断研发出新的信息显示方法和显示装置。作为一种集光学、微电子、精密机械、位置感知以及信号处理等技术为一体的现代展示技术，头盔显示器(Head-Mounted Display，HMD)就显得尤为重要。

然而现有技术对被关注物体的识别精确度低，因此，需要提供一种精确度高的增强现实显示系统、头盔和方法。

发明内容

为解决以上问题，本申请提出了一种基于视线跟踪的增强现实显示系统、头盔和方法。

一方面，本申请提出一种基于视线跟踪的增强现实显示系统，包括：眼动追踪模块、双目惯性摄像模块、处理模块和增强现实显示模块；

所述眼动追踪模块，用于采集人眼图像，发送至处理模块；

所述双目惯性摄像模块，用于采集外部图像和头部运动参数，发送至处理模块；

所述处理模块，用于根据所述人眼图像和所述头部运动参数确定视点坐标；使用所述外部图像重建外部物理环境；根据视点坐标识别被关注目标，生成被关注目标的虚拟信息，发送至增强现实显示模块；

所述增强现实显示模块，用于显示接收到的所述虚拟信息。

优选地，所述处理模块包括处理单元和图形处理单元；

所述处理单元，用于处理人眼图像，获得人眼映射函数；使用头部运动参数和头部动态补偿模型更新人眼映射函数，得到视点坐标；使用外部图像重建外部物理环境，根据视点坐标识别被关注目标；

所述图形处理单元，用于根据被关注目标生成虚拟信息，发送至增强现实显示模块。

优选地，所述眼动追踪模块包括：

红外光源单元，用于产生红外光源，照射人眼；

红外摄像单元，用于采集由于红外光源照射人眼而产生反射的人眼图像，将采集到的人眼图像发送至处理模块。

优选地，所述双目惯性摄像模块包括：

多轴惯性测量单元，用于采集头部运动参数，发送至处理模块；

高分辨率摄像单元，用于采集周围环境的图像数据，得到外部图像，发送至处理模块。

优选地，所述多轴惯性测量单元包括：陀螺仪、加速度计和地磁计。

优选地，所述增强现实显示模块包括显示器、曲面棱镜和补偿镜。

第二方面，本申请提出一种基于视线跟踪的增强现实显示头盔，包括所述的增强现实显示系统、自动变色护目罩和电源；

所述自动变色护目罩，用于根据光线强度，改变光线透过率，增强显示器在不同环境下的显示效果；

所述电源，用于给头盔显示器供电。

第三方面，本申请提出一种基于视线跟踪的增强现实显示方法，包括：

眼动追踪模块采集人眼图像，发送至处理模块；

双目惯性摄像模块采集外部图像和头部运动参数，发送至处理模块；

处理模块根据所述人眼图像和所述头部运动参数确定视点坐标，使用所述外部图像重建外部物理环境，根据视点坐标识别被关注目标，生成被关注目标的虚拟信息，发送至增强现实显示模块；

增强现实显示模块显示接收到的所述虚拟信息。

优选地，所述处理模块根据所述人眼图像和所述头部运动参数确定视点坐标，使用所述外部图像重建外部物理环境，根据视点坐标识别被关注目标，生成被关注目标的虚拟信息，发送至增强现实显示模块，包括：

处理模块处理人眼图像，获得人眼映射函数；

使用头部运动参数和头部动态补偿模型更新人眼映射函数，得到视点坐标；

使用外部图像重建外部物理环境，根据视点坐标识别被关注目标；

根据被关注目标生成虚拟信息，发送至增强现实显示模块。

优选地，所述眼动追踪模块采集人眼图像，发送至处理模块，包括：

眼动追踪模块产生红外光源，照射人眼；

眼动追踪模块采集由于红外光源照射人眼而产生反射的人眼图像，将采集到的人眼图像发送至处理模块。

本申请的优点在于：通过眼动追踪模块和双目惯性摄像模块，能够对人眼关注的目标进行快速定位，并减小头部晃动造成的误差，提高目标识别的精确度。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选事实方案的目的，而并不认为是对本申请的限制。而且在整个附图中，用同样的参考符号表示相同的部件。在附图中：

图1是本申请提供的一种基于视线跟踪的增强现实显示系统的示意图；

图2是本申请提供的一种基于视线跟踪的增强现实显示系统的眼动追踪示意图；

图3是本申请提供的一种基于视线跟踪的增强现实显示系统的反射原理示意图；

图4是本申请提供的一种基于视线跟踪的增强现实显示头盔的示意图；

图5是本申请提供的一种基于视线跟踪的增强现实显示头盔的增强现实显示模组示意图；

图6是本申请提供的一种基于视线跟踪的增强现实显示头盔的眼动追踪模块的结构示意图；

图7是本申请提供的一种基于视线跟踪的增强现实显示头盔的处理模块示意图；

图8是本申请提供的一种基于视线跟踪的增强现实显示头盔的双目自由曲面增强现实显示模组支架结构示意图；

图9是本申请提供的一种基于视线跟踪的增强现实显示方法的步骤示意图。

附图标记说明

1自动变色护目罩 2双目自由曲面增强现实显示模组

3双目视觉摄像头 4处理模块

5眼动追踪模块 6头盔支架

7自由曲面棱镜 8微型OLED显示屏

9补偿镜 10排线

11眼动追踪模块环形支架 12近红外光源

13红外传感器 14螺钉

159轴惯性姿态测量模块 16CPU芯片

17GPU芯片 18双目视觉摄像头接口

19显示模组接口 20螺钉

21电源接口 22支架

23镜片滑动板 24螺栓

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

根据本申请的实施方式，提出一种基于视线跟踪的增强现实显示系统，如图1所示，包括：眼动追踪模块101、双目惯性摄像模块102、处理模块103和增强现实显示模块104；

眼动追踪模块，用于采集人眼图像，发送至处理模块；

所述双目惯性摄像模块，用于采集外部图像和头部运动参数，发送至处理模块；

处理模块，用于根据所述人眼图像和所述头部运动参数确定视点坐标；使用所述外部图像重建外部物理环境；根据视点坐标识别被关注目标，生成被关注目标的虚拟信息，发送至增强现实显示模块；

增强现实显示模块，用于显示接收到的所述虚拟信息。

处理模块包括处理单元和图形处理单元；

处理单元，用于处理人眼图像，获得人眼映射函数；使用头部运动参数和头部动态补偿模型更新人眼映射函数，得到视点坐标；使用外部图像重建外部物理环境，根据视点坐标识别被关注目标；

图形处理单元，用于根据被关注目标生成虚拟信息，发送至增强现实显示模块。

眼动追踪模块包括：

红外光源单元，用于产生红外光源，照射人眼；

红外摄像单元，用于采集由于红外光源照射人眼而产生反射的人眼图像，将采集到的人眼图像发送至处理模块。

眼动追踪模块采用瞳孔-角膜向量反射技术(Pupil Center CornealReflection，PCCR)实现人眼跟踪。如图2所示，其原理是采用近红外光源对人眼进行照射使其产生明显的反射，并用摄像机采集带有这种反射效果的人眼图像，然后采用先进的图像处理算法和一个三维眼球模型精确地计算出眼睛在空间中的位置和视线位置。在实际使用中，首先通过校准程序，找出人眼瞳孔与耀点组成的向量(眼部特征参数)与人眼注视点(特定注视点坐标)之间的映射函数，然后通过检测瞳孔耀点向量的变化量，实时跟踪出人眼所凝视的兴趣点(视点坐标)。由于映射函数对于头的位置较为敏感，引入头部动态补偿模型，通过双目惯性摄像模块的多轴惯性测量单元(Inertial Measurement Unit，IMU)对头部的实时三维定位，然后采用算法实时更新映射函数，保证在头部自由移动的情况下仍能达到较好的跟踪效果。

处理模块根据眼动追踪模块发送的人眼红外图像(人眼图像)判断人眼瞳孔中心位置，由瞳孔中心位置和初始标定数据可以确定人眼视线方向。根据人眼基线和视线夹角可以计算视点深度。

双目惯性摄像模块包括：

多轴惯性测量单元，用于采集头部运动参数，发送至处理模块；

高分辨率摄像单元，用于采集周围环境的图像数据，得到外部图像，发送至处理模块。

双目惯性摄像模块采用双目摄像头加多轴惯性测量单元的多传感器融合架构，使得摄像头与IMU传感器的优势互补，提高头部位姿解算精度，进而保证眼动追踪和同步定位与地图构建(simultaneous localization and mapping，SLAM)的精度。基于双目视觉深度解算算法可输出深度图，处理模块基于双目惯性摄像模块采集到的数据，以及基于双目视觉深度解算算法，完成真实(物理)环境的场景重建工作。

根据视点坐标，在重建出的物理环境中识别人眼关注目标，根据关注目标，生成虚拟信息。多轴惯性测量单元包括：陀螺仪、加速度计和地磁计。

优选地，多轴惯性测量单元，采用三轴陀螺仪加三轴加速度计加三轴地磁计的9轴惯性测量单元。

增强现实显示模块包括显示器、曲面棱镜和补偿镜。

增强现实显示模块主要实现虚拟信息在眼前的呈现，同时又不能对人的视线造成遮挡。本申请的实施方式基于双目自由曲面棱镜(曲面棱镜)搭建增强现实显示模组。

优选地，显示器采用微型OLED显示器作为微型图像源，能够实现高亮度高分辨率显示。

自由曲面棱镜采用树脂材料，材质轻便而且保证较高的光线透过率。

自由曲面棱镜是基于光的全反射原理，将微显示器(Microdisplay)发出的光在自由曲面棱镜中经过两次全反射后射入人眼，人眼就可以看到放大的微显示器呈现的信息。然而，让光线发生全反射自由曲面棱镜的形状是曲面的，人眼通过这样的镜片看外界环境，因为光的折射原理，看到的景象会发生扭曲变形。为了使得外界进入人眼的光线不发生扭曲变形，需要使用补偿镜。补偿镜和自由曲面棱镜贴合在一起构成平的镜片。人眼通过平的玻璃观察外界环境，光线不会扭曲，因为空气中的光线经过平板玻璃后传播方向不偏转。

为了更好地理解，下面将对自由曲面棱镜的反射原理进行说明。

如图3所示，微显示器发出的光线(入射光线)经过自由曲面棱镜E1的面S4，到达面S2时，入射光线满足全反射条件，被反射至面S3。经过面S3(镀反射膜)的反射后，再次射向面S2，此时入射角小于临界角，不发生全反射，直接射入人眼。外界环境的光线进入补偿镜E2，经过面S3折射进入自由曲面棱镜E1，再经过面S2折射进入人眼。

根据本申请的实施方式，还提出一种基于视线跟踪的增强现实显示头盔，包括所述的增强现实显示系统、自动变色护目罩和电源；

自动变色护目罩，用于根据光线强度，改变光线透过率，增强显示器在不同环境下的显示效果；

电源，用于给头盔显示器供电。

自动变色护目罩的主要特点是：在光线较强的环境中呈现暗色，吸收部分可见光；在阴暗处，所述护目镜呈现高清透明状态，保证光线透过率。

通过自动变色，使头盔显示器无论在明亮的室外环境中或较暗的室内环境，都能够达到较好的显示效果。

头盔中的处理模块包含大量的数据输入、处理、输出接口，主要实现眼动追踪数据处理、基于双目视觉的物理环境重建、人眼关注目标识别、头盔显示器定位定向、虚拟信息生成、增强显示驱动等作用。

如图4所示，为本申请的一种实施方式，包括：自动变色护目罩1、双目自由曲面增强现实显示模组2、双目视觉摄像头3、处理模块4、眼动追踪模块5和头盔支架6等佩戴辅件组成。双目视觉摄像头3在自动变色护目罩1内，用于采集外部环境数据。眼动追踪模块5在双目自由曲面增强现实显示模组2外围，在不遮挡视线的位置，采集人眼图像。处理模块4在头盔支架6和双目视觉摄像头3之间。头盔支架6用于将头盔固定在头部，以及将双目视觉摄像头3、自动变色护目罩1以及眼动追踪模块5固定在对应位置。

其中，自动变色护目罩1置于头盔最前端，通过螺钉固定于头盔支架6上。优选地，自动变色护目罩1采用含卤化银微晶体的光学玻璃制作，可根据光色互变可逆反应原理调整镜片透光度。保证头盔显示器在任何条件下均有较好的亮度和对比度。

如图5所示，为本申请的增强现实显示模组的一种实施方式，主要包括：自由曲面棱镜7、微型OLED显示屏8和补偿镜9。微型OLED显示屏8胶合于自由曲面棱镜7的入射端面上，并通过排线10与处理模块4连接。补偿镜9与自由曲面棱镜7紧密胶合。

如图6所示，为本申请的眼动追踪模块的一种实施方式。眼动追踪模块环形支架11与分别与左、右自由曲面棱镜7贴合固定，用于采集用户左右眼的眼动数据。环形支架上分多个布近红外光源12，用于向人眼发射红外光线，但又不影响人的观察视线。除近红外光源12以外，环形支架11上布置多个红外传感器13，用于捕捉人眼对于红外光线的反射图像。眼动追踪模块通过排线与处理模块4连接。

如图7所示，处理模块4通过螺钉14固定在支架22(图8)上，处理模块4包括：9轴惯性姿态测量模块15，CPU芯片16，GPU芯片17，双目视觉摄像头接口18，显示模组接口19和电源接口21等。支架22通过螺钉20固定在头盔本体上。

优选地，如图8所示，支架22设有滑动槽，镜片滑动板23置于支架滑动槽内，自由曲面棱镜7与镜片滑动板23通过螺栓24固定，使得两个自由曲面棱镜7之间的距离可根据用户瞳距自由调整。

根据本申请的实施方式，还提出一种基于视线跟踪的增强现实显示方法，如图9所示，包括：

S101，眼动追踪模块采集人眼图像，发送至处理模块；

S102，双目惯性摄像模块采集外部图像和头部运动参数，发送至处理模块；

S103，处理模块根据人眼图像和头部运动参数确定视点坐标，使用外部图像重建外部物理环境，根据视点坐标识别被关注目标，生成被关注目标的虚拟信息，发送至增强现实显示模块；

S104，增强现实显示模块显示接收到的虚拟信息。

处理模块根据人眼图像和头部运动参数确定视点坐标，使用外部图像重建外部物理环境，根据视点坐标识别被关注目标，生成被关注目标的虚拟信息，发送至增强现实显示模块，包括：

处理模块处理人眼图像，获得人眼映射函数；

使用头部运动参数和头部动态补偿模型更新人眼映射函数，得到视点坐标；

使用外部图像重建外部物理环境，根据视点坐标识别被关注目标；

根据被关注目标生成虚拟信息，发送至增强现实显示模块。

眼动追踪模块采集人眼图像，发送至处理模块，包括：

眼动追踪模块产生红外光源，照射人眼；

眼动追踪模块采集由于红外光源照射人眼而产生反射的人眼图像，将采集到的人眼图像发送至处理模块。

本申请的系统中，通过眼动追踪模块和双目惯性摄像模块，能够对人眼关注的目标进行快速定位，并减小头部晃动造成的误差，提高目标识别的精确度。使用自动变色护目罩，能够保证光线透过率，使头盔显示器无论在明亮的室外环境中或较暗的室内环境，都能够达到较好的显示效果。采用双目摄像头加多轴惯性测量单元的多传感器融合架构，使得摄像头与IMU传感器的优势互补，提高头部位姿解算精度，进而保证眼动追踪和同步定位与地图构建的精度。显示器采用微型OLED显示器作为微型图像源，能够实现高亮度高分辨率显示。自由曲面棱镜采用树脂材料，材质轻便而且保证较高的光线透过率。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于视线跟踪的增强现实显示系统，其特征在于，包括：眼动追踪模块、双目惯性摄像模块、处理模块和增强现实显示模块；

所述眼动追踪模块，用于采集人眼图像，发送至处理模块；

所述双目惯性摄像模块，用于采集外部图像和头部运动参数，发送至处理模块；

所述处理模块，用于根据所述人眼图像和所述头部运动参数确定视点坐标；使用所述外部图像重建外部物理环境；根据视点坐标识别被关注目标，生成被关注目标的虚拟信息，发送至增强现实显示模块；

所述增强现实显示模块，用于显示接收到的所述虚拟信息。

2.如权利要求1所述的增强现实显示系统，其特征在于，所述处理模块包括处理单元和图形处理单元；

所述处理单元，用于处理人眼图像，获得人眼映射函数；使用头部运动参数和头部动态补偿模型更新人眼映射函数，得到视点坐标；使用外部图像重建外部物理环境，根据视点坐标识别被关注目标；

所述图形处理单元，用于根据被关注目标生成虚拟信息，发送至增强现实显示模块。

3.如权利要求1所述的增强现实显示系统，其特征在于，所述眼动追踪模块包括：

红外光源单元，用于产生红外光源，照射人眼；

红外摄像单元，用于采集由于红外光源照射人眼而产生反射的人眼图像，将采集到的人眼图像发送至处理模块。

4.如权利要求1所述的增强现实显示系统，其特征在于，所述双目惯性摄像模块包括：

多轴惯性测量单元，用于采集头部运动参数，发送至处理模块；

高分辨率摄像单元，用于采集周围环境的图像数据，得到外部图像，发送至处理模块。

5.如权利要求4所述的增强现实显示系统，其特征在于，所述多轴惯性测量单元包括：陀螺仪、加速度计和地磁计。

6.如权利要求1所述的增强现实显示系统，其特征在于，所述增强现实显示模块包括显示器、曲面棱镜和补偿镜。

7.一种基于视线跟踪的增强现实显示头盔，其特征在于，包括如权利要求1-6任一项所述的增强现实显示系统、自动变色护目罩和电源；

所述自动变色护目罩，用于根据光线强度，改变光线透过率，增强显示器在不同环境下的显示效果；

所述电源，用于给头盔显示器供电。

8.一种基于视线跟踪的增强现实显示方法，其特征在于，包括：

眼动追踪模块采集人眼图像，发送至处理模块；

双目惯性摄像模块采集外部图像和头部运动参数，发送至处理模块；

处理模块根据所述人眼图像和所述头部运动参数确定视点坐标，使用所述外部图像重建外部物理环境，根据视点坐标识别被关注目标，生成被关注目标的虚拟信息，发送至增强现实显示模块；

增强现实显示模块显示接收到的所述虚拟信息。

9.如权利要求8所述的增强现实显示方法，其特征在于，所述处理模块根据所述人眼图像和所述头部运动参数确定视点坐标，使用所述外部图像重建外部物理环境，根据视点坐标识别被关注目标，生成被关注目标的虚拟信息，发送至增强现实显示模块，包括：

处理模块处理人眼图像，获得人眼映射函数；

使用头部运动参数和头部动态补偿模型更新人眼映射函数，得到视点坐标；

使用外部图像重建外部物理环境，根据视点坐标识别被关注目标；

根据被关注目标生成虚拟信息，发送至增强现实显示模块。

10.如权利要求8所述的增强现实显示方法，其特征在于，所述眼动追踪模块采集人眼图像，发送至处理模块，包括：

眼动追踪模块产生红外光源，照射人眼；

眼动追踪模块采集由于红外光源照射人眼而产生反射的人眼图像，将采集到的人眼图像发送至处理模块。