CN109073889B - 全息波导光学跟踪器 - Google Patents

Abstract

本发明涉及一种对象跟踪器，其包括：光源；光学地耦合到所述源的至少一个照明波导，所述至少一个照明波导包含至少一个光栅薄板，用于将所述光朝向外部对象衍射；至少一个检测器波导，其包含光栅薄板，用于将从所述对象反射的光的第一偏振耦合入和偏转到第一波导方向中并且将从所述对象反射的光的第二偏振偏转到第二波导方向中；操作成接收沿所述第一波导方向传播的光的、光学地耦合到所述检测器波导的至少一个检测器；以及操作成接收沿所述第二波导方向传播的光的、光学地耦合到所述检测器波导的至少一个检测器，其中，所述第一波导方向和第二波导方向与相对的对象运动的第一方向和第二方向相对应。光学跟踪器可以在眼睛跟踪器中实现。

Description

全息波导光学跟踪器

优先权要求

本申请要求享有于2016年2月4日提交的题名为“HOLOGRAPHIC WAVEGUIDEOPTICALTRACKER”的美国临时申请序列号No.:62/388,713的优先权，其全部内容由此通过参考包含于此。

相关申请的交叉参考

以下专利申请的全部内容由此通过参考包含于此：题名为“COMPACT EDGEILLUMINATED DIFFRACTIVE DISPLAY”的美国专利申请No.13/506,389，题名为“LASERILLUMINATION DEVICE”的美国专利No.US8,224,133，题名为“LASER ILLUMINATIONDEVICE”的美国专利No.US8,565,560，题名为“APPARATUS FOR EYE TRACKING”的PCT/GB2013/000210，题名为“HOLOGRAPHIC ILLUMINATION SYSTEM”的美国专利No.6,115,152，题名为“OPTICAL DISPLAYS”的美国专利No.8,233,204，题名为“APPARATUS FOR EYETRACKING”的PCT申请No.:GB2013/000210，题名为“METHOD AND APPARATUS FOR PROVIDINGA TRANSPARENT DISPLAY”的PCT申请No.:US2006/043938，题名为“IMPROVEMENTS TOHOLOGRAPHIC POLYMER DISPERSED LIQUID CRYSTAL MATERIALS AND DEVICES”的PCT申请No.:PCT/GB2012/000680，题名为“WEARABLE DATA DISPLAY”的PCT申请No.:GB2012/000677，题名为“APPARATUS FOR EYE TRACKING”的PCT申请No.:GB2013/000210，题名为“COMPACT EDGE ILLUMINATED EYEGLASS DISPLAY”的美国专利申请No.:13/317,468，题名为“HOLOGRAPHIC WAVEGUIDE OPTICAL TRACKER”的PCT申请No.:GB2015/000274，题名为“HOLOGRAPHIC WIDE ANGLE DISPLAY”的美国专利申请No.:13/869,866，以及题名为“TRANSPARENT WAVEGUIDE DISPLAY”的美国专利申请No.:13/844,456；题名为“CONTACTIMAGE SENSOR USING SWITCHABLE BRAGG GRATINGS”的PCT申请No.:PCT/GB2013/000005，题名为“HOLOGRAPHIC WAVEGUIDE LIGHT FIELD DISPLAYS”的PCT申请No.:GB2016/000005，题名为“HOLOGRAPHIC WAVEGUIDE LIDAR”的PCT申请No.:GB2016/000014。

技术领域

本发明涉及传感器，并且更具体地，本发明涉及一种对象跟踪装置，所述对象跟踪装置使用波导显示器，所述波导显示器使用可电切换的光栅。

背景技术

对象的跟踪是许多领域中的关键要求，包括眼睛跟踪(在增强现实(AR)、虚拟现实(VR)和其它显示器应用中)、机器人、防撞系统和许多其它应用。尽管对象的性质及其动态大大地变化，但是总体上要求稳健地、准确地跟踪并且具有最小的处理时间迟滞(延迟)。跟踪器通常被设计成在红外线中操作，所述红外线提供隐形的好处并且可以通过在大约1550nm的波长处操作来保护眼睛安全。由于跟踪器将经常与诸如显示器或某一其它类型的传感器的另一个装置一起使用，所以高度期望的是跟踪器是透明的。本申请出于用于在HMD中使用的改进的眼睛跟踪器的需要，并且待公开的实施例中的大多数将关于眼睛跟踪来描述。用于跟踪对象的先决条件是从该对象的表面中的一个或多个提供可检测的签名(signature)。签名可以是镜面反射、散射、激光散斑或这些的组合。对象可以包含多个表面，例如，就眼睛而言，签名可以由角膜、晶状体和视网膜的表面提供。在眼睛跟踪器中，相对于传感器检测眼睛的动作。在诸如机器人车辆的其它跟踪应用中，检测器可以相对于固定处运动。在高数据内容显示器中，例如在AR和VR中使用的那些，眼睛跟踪对于减少延迟是必不可少的，所述延迟是晕动病的主要原因。眼睛追踪能够进行视网膜凹式渲染(foveatedrendering)，这一过程将在任何时间被计算和显示的图像内容的量限制为位于眼睛的视网膜中央凹区域(foveal region)内的。眼睛追踪也是解决在立体显示器中公知的视轴调焦问题的关键。

眼睛追踪在头戴式显示器(HMD)中是重要的，这是因为眼睛追踪可以扩展了由用户指定远远超出头部活动限度的目标的能力。大约自20世纪80年代开始已经出现了基于将IR光投射到用户的眼睛中并且利用主要的浦肯野反射(来自角膜和晶状体表面)和瞳孔掩蔽的视网膜反射的眼睛追踪技术。一般策略是跟踪这些图像的相对运动，以便建立起表征关注点的矢量。角膜是具有比眼球半径小的半径的非球面形状，角膜提供一种反射，所述反射相当好地跟踪角运动，直到反射的图像从角膜边缘落到巩膜上为止。大多数解决方案依赖于将IR光投射到用户的眼睛中并且跟踪来自主要表面的反射，所述主要表面为晶状体、角膜和视网膜的至少一个表面。第一个实际挑战是如何以这样的方式引入图像传感器和照明器，使得既可以高效地工作，又同时避免遮挡视线。HMD中的大多数眼睛跟踪器实施方案已经采用在用户的眼睛前面的平面分束器和较大的光学器件以将反射成像到成像传感器上。在出射光瞳、视野和人体工程学之间不可避免地存在权衡。出射光瞳通常受到分束器尺寸或成像光学器件的第一透镜限制。为了使出射光瞳最大化，成像光学器件靠近分束器定位，并且表示视力遮挡和安全隐患。对于眼睛跟踪器的另一个已知的限度是视场，所示视场通常受到与反射图像的几何形状结合的照明方案限制。角膜反射角的大小将通常需要在照亮和检测光轴之间的较大角度间隔，使得在较大FOV上使用角膜反射是非常困难的。在理想情况下，眼睛跟踪器应当使照明光束和反射光束之间的角度最小化。眼睛跟踪器的时间分辨率应当是至少为60Hz。然而，90Hz-120Hz是优选的。随着照相机变得越来越小并且其分辨率提高，微型照相机的直接成像变得越来越有吸引力。然而，由需要识别和跟踪眼睛特征所导致的延迟仍然是重要的处理瓶颈。从光学和人体工程学的视角来看，为HMD中的照相机提供视线并非易事。眼睛跟踪器是AR和VR耳机的关键部件。期望的眼睛跟踪器应当能够实现增强现实AR和VR显示器的全部范围的益处，即：紧凑且轻量的形式因素，其用于无障碍、透视、移动和延伸的用法；宽视场，其允许现实世界和计算机生成的图像之间的有意义的连接；以及提供强大的深度和遮挡提示的能力。后者经常是最强的深度提示之一。尽管最近的显示器的进步已经共同地满足了这些要求，但是没有一种显示器技术具有所有这些特性。

发明人已经发现，衍射光学元件提供一种用于提供紧凑、透明、宽视场的眼睛跟踪器的途径。一类重要的衍射光学元件是基于可切换布拉格光栅(SBG)。首先，通过在平行的玻璃板之间放置光聚合性单体和液晶材料的混合物的薄膜来制造SBG。一个或两个玻璃板支撑电极，所述电极典型为透明的氧化铟锡膜，用于横过膜施加电场。然后，通过用两个相互相干的激光束照明液体材料(经常被称为糖浆)来记录体积相位光栅，所述两个相互相干的激光束干涉以形成斜条纹光栅结构。在记录过程期间，单体聚合，并且混合物经历相位分离，产生由液晶微滴密布的区域，散布有清透聚合物的区域。交替的富液晶区域和贫液晶区域形成光栅的条纹平面。所得到的体积相位光栅可以呈现出非常高的衍射效率，该衍射效率可以通过横过膜所施加的电场的量级来控制。当经由透明电极向光栅施加电场时，LC液滴的自然取向改变，使得条纹的折射率调制降低并且全息衍射效率下降到非常低的水平。注意到，可以借助在连续范围内施加的电压来调整该装置的衍射效率。该装置在不施加电压的情况下呈现接近100％的效率，并且在施加足够高的电压的情况下呈现基本为零的效率。在一些类型的HPDLC装置中，磁场可以用于控制LC取向。在一些类型的HPDLC中，LC材料与聚合物的相位分离可以达到不产生可辨别的液滴结构的程度。SBG可以用于为自由空间应用提供透射或反射光栅。SBG可以被实现为波导装置，其中，HPDLC形成波导芯或靠近波导的渐逝耦合层。用于形成HPDLC单元(cell)的平行玻璃板提供全内反射(TIR)光导结构。当可切换光栅以超过TIR条件的角度衍射光时，光“耦合”出SBG。目前，在一系列显示器和传感器应用中对波导感兴趣。尽管之前对于HPDLC的大部分工作已经是针对反射全息，但是透射装置被证明作为光学系统构建模块是明显更加通用的。典型地，在SBG中使用的HPDLC包括液晶(LC)、单体、光引发剂染料和共引发剂。混合物通常包含表面活性剂。专利和科学文献包含许多可以用于制造SBG的材料系统和工艺的示例。两个基础专利是：Sutherland的美国专利No.5,942,157以及Tanaka等人的美国专利No.5,751,452。两个文件均描述了适用于制造SBG装置的单体和液晶材料组合。透射SBG的已知属性之一是LC分子倾向于与光栅条纹平面垂直对准。LC分子对准的效果是透射SBG高效地衍射P偏振光(即，具有在入射平面中的偏振矢量的光)，但是对于S偏振光(即，具有与入射平面正交的偏振矢量的光)具有几乎为零的衍射效率。当在入射光和反射光之间的夹角较小时，任何光栅对P偏振的衍射效率都降到零，因此在近掠入射处不可使用透射SBG。

需要一种紧凑、轻量、透明的跟踪器，所述跟踪器具有低延迟和宽视场，用于跟踪一个或多个对象和跟踪器的相对运动。

需要一种紧凑、轻量、透明的跟踪器，所述跟踪器具有低延迟和宽视场，用于在眼睛从属显示器(eye-slaved display)中使用。

需要一种紧凑、轻量、透明的跟踪器，所述跟踪器具有低延迟和宽视场，用于在能够输送强大的深度和遮挡视觉提示的眼睛从属显示器中使用。

需要一种紧凑、轻量、透明的跟踪器，所述跟踪器具有低延迟和宽视场，用于在LIDAR系统中。

需要一种紧凑、轻量、透明的跟踪器，所述跟踪器集成了低延迟眼睛跟踪器和波导显示器。

发明内容

本发明的第一个目的是提供一种紧凑、轻量、透明的跟踪器，所述跟踪器具有低延迟和宽视场，用于跟踪一个或多个对象和跟踪器的相对运动。

本发明的第二个目的是提供一种紧凑、轻量、透明的跟踪器，所述跟踪器具有低延迟和宽视场，用于在眼睛从属显示器中使用。

本发明的第三个目的是提供一种紧凑、轻量、透明的跟踪器，所述跟踪器具有低延迟和宽视场，用于在能够输送强大的深度和遮挡视觉提示的眼睛从属显示器中使用。

本发明的第四个目的是提供一种紧凑、轻量、透明的跟踪器，所述跟踪器具有低延迟和宽视场，用于在LIDAR系统中。

本发明的第五个目的是提供一种紧凑、轻量、透明的跟踪器，所述跟踪器集成了低延迟眼睛跟踪器和波导显示器。

本发明的目的在本发明的一个实施例中实现，其中，提供一种用于跟踪至少一个对象的对象跟踪器，所述对象跟踪器包括：第一波导；照明光源；光学地耦合到所述波导的检测器；和在所述波导内形成的至少一个光栅薄板(lamina)。照明光沿着从源到对象的第一光学路径传播。从对象的至少一个表面反射的图像光通过光栅薄板朝向检测器偏转到第二光学路径中。对象跟踪器和对象处于相对的运动中。在某些实施例中，第一光学路径包括第一波导路径，并且第二光学路径包括第二波导路径，光栅薄板将所述照明光朝向对象偏转出第一波导路径，并且第二光学路径是第二波导路径。

在某些实施例中，光栅薄板中的至少一个包括具有衍射状态和非衍射状态的至少一个可切换光栅元件。在一个实施例中，光栅薄板包括具有衍射状态和非衍射状态的至少一个可切换光栅元件。处于其衍射状态中的光栅元件将第一波导路径中的照明光朝向对象偏转出第一波导并且将图像光朝向检测器偏转到第二波导路径中。在一个实施例中，光栅薄板包括具有衍射状态和非衍射状态的第一可切换光栅元件和第二可切换光栅元件。处于其衍射状态中的第一光栅元件将第一波导路径中的照明光朝向对象偏转出第一波导。处于其衍射状态中的第二光栅元件将图像光朝向检测器偏转到第二波导路径中。在一个实施例中，光栅薄板包括至少一个长形光栅元件，所述至少一个长形光栅元件的较长尺寸与第一波导路径和第二波导路径中的至少一个垂直对准。在一个实施例中，第一波导路径和第二波导路径是平行的。在某些实施例中，光栅薄板还包括输入光栅或输入棱镜和输出光栅或输出棱镜中的至少一个，所述输入光栅或输入棱镜用于将来自光源的照明光偏转到第一波导路径中，所述输出光栅或输出棱镜用于将图像光朝向检测器偏转出第二波导路径。

在某些实施例中，光栅薄板包括沿着第一波导路径或第二波导路径中的至少一个设置的至少一个折叠光栅。在一个实施例中，第一光学路径横穿波导的反射表面。

在某些实施例中，至少一个光栅薄板是可切换布拉格光栅、以逆反模式记录在全息聚合物分散液晶中的可切换光栅、以逆反模式记录在全息聚合物分散液晶中的可切换光栅、表面浮雕光栅和非切换布拉格光栅中的一个。

在某些实施例中，光栅薄板将照明光衍射到朝向对象的旋转中心会聚的输出路径中。在一个实施例中，光栅薄板将照明光衍射到平行的输出路径中。在某些实施例中，图像光是由对象的至少一个表面形成的镜面反射、非相干散射、散斑中的一个。在某些实施例中，对象是眼睛，并且图像光是角膜、晶状体、虹膜、巩膜或视网膜中的至少一个的反射。在某些实施例中，检测器是单个元件检测器、线性阵列或二维阵列中的一个，并且源是激光器或发光二极管中的一个。在某些实施例中，源和检测器在红外线中操作。在某些实施例中，光栅薄板对光学功率或漫射特性中的至少一个编码。在一个实施例中，检测器连接至图像处理设备，用于确定对象运动的至少一个时空特征。

在某些实施例中，对象跟踪器还包括图像处理系统，所述图像处理系统包括边缘寻找算法、质心检测算法或神经网络中的至少一个。在某些实施例中，对象跟踪器在眼睛跟踪器、LIDAR、眼睛从属显示器、实现视网膜凹式渲染的显示器或使用注视矢量数据的显示器中实现以调整显示的图像来提供与聚散(vergence)调节相关的深度提示。

在某些实施例中，提供一种眼睛从属波导显示器，其中，左眼和右眼跟踪器对左眼和右眼注视交叉点进行三角测量以提供深度提示。波导显示器通过在不同图像深度处提供焦面来克服聚散-调节冲突，其中，显示器根据由眼睛跟踪器提供的深度数据动态地重新聚焦。在某些实施例中，眼睛从属波导显示器还包括基于空间光调制器的动态遮挡掩模。

在某些实施例中，一种用于跟踪至少一个对象的对象跟踪器，其包括：照明光源；光学地耦合到源的至少一个照明波导，其延续至少一个光栅薄板，用于将光朝向外部对象衍射；至少一个检测器波导，其包含光栅薄板，用于将从对象反射的光的第一偏振耦合入和偏转到第一波导方向中并且将从对象反射的光的第二偏振偏转到第二波导方向中；操作成接收沿第一波导方向传播的光的、光学地耦合到检测器波导的至少一个检测器；以及操作成接收沿第二波导方向传播的光的、光学地耦合到检测器波导的至少一个检测器。对象跟踪器和对象处于相对的运动中。第一波导方向和第二波导方向与相对的对象运动的第一方向和第二方向相对应。在某些实施例中，检测器波导包括将半波片夹在之间的第一检测器波导和第二检测器波导，并且四分之一波片被施加到面向对象的照明器波导的面。第一检测器波导包含第一光栅薄板以用于将从对象反射的且通过照明器波导透射的光的第一偏振耦合入和偏转到第一波导方向中，并且第一检测器波导将反射光的部分朝向第二检测器波导透射。第二检测器波导包含第二光栅薄板以用于将通过第一检测器波导透射的光的第二偏振耦合入和偏转到第二波导方向中。第一检测器波导光栅薄板包括具有沿着第一波导方向变化的间距的光栅元件阵列。第二检测器波导光栅薄板包括具有沿着第二波导方向变化的间距的光栅元件阵列。在某些实施例中，相对的对象运动的第一方向和第二方向是正交的。在某些实施例中，第一偏振和第二偏振是正交的。在某些实施例中，四分之一波片被布置在照明波导和对象之间。在某些实施例中，照明波导被布置在对象和检测器波导之间。在某些实施例中，气隙或低折射率材料层分离相邻的波导。在某些实施例中，光栅薄板包括长形光栅元件，所述长形光栅元件的较长尺寸与第一波导方向和第二波导方向垂直对准。在某些实施例中，照明波导通过光栅、棱镜或边缘耦合件中的一个光学地耦合到源，并且检测器波导通过光栅、棱镜或边缘耦合件中的一个光学地耦合到至少一个检测器。在某些实施例中，照明波导或检测器波导中的至少一个还包括至少一个折叠光栅薄板。在某些实施例中，至少一个光栅薄板是可切换布拉格光栅、以逆反模式记录在全息聚合物分散液晶中的可切换光栅、以逆反模式记录在全息聚合物分散液晶中的可切换光栅、表面浮雕光栅和非切换布拉格光栅中的一个。在某些实施例中，光栅薄板将照明光衍射到朝向对象的旋转中心会聚的输出路径中。在某些实施例中，光栅薄板将照明光衍射到平行的输出路径中。在某些实施例中，图像光是由对象的至少一个表面形成的镜面反射、非相干散射、散斑中的一个。在某些实施例中，对象是眼睛，并且图像光是角膜、晶状体、虹膜、巩膜或视网膜中的至少一个的反射。在某些实施例中，源和检测器在红外线中操作。在某些实施例中，检测器是单个元件检测器、线性阵列或二维阵列中的一个，并且源是激光器或发光二极管中的一个。在某些实施例中，至少一个光栅薄板对光学功率或漫射特性中的至少一个编码。

通过结合附图考虑以下详细的描述，可以获得对本发明的更完整的理解，其中，相同的索引数字表示相同的部件。为了清楚起见，还没有详细地描述与在本技术领域中已知的、关于本发明的技术材料有关的细节。

附图说明

图1A是在本发明的一个实施例中的相对于人眼示出的眼睛跟踪器的示意性平面图。

图1B是示出在本发明的一个实施例中的成像光栅中使用的长形光栅元件的示意性正视图。

图1C是示出在本发明的一个实施例中的成像光栅中使用的二维光栅元件阵列的示意性正视图。

图2是眼睛跟踪器的示意性平面图，其示出在本发明的一个实施例中的成像光栅和照明光栅以及输入光栅和输出光栅。

图3是眼睛跟踪器的示意性平面图，其示出在本发明的一个实施例中的成像光栅和照明光栅以及输入光栅和输出光栅。

图4是眼睛跟踪器的平面图，其示出在本发明的一个实施例中的成像光栅和照明光栅以及输入光栅和输出光栅。

图5是在本发明的一个实施例中使用的照明光栅的示意性剖视图。

图6是在本发明的一个实施例中使用的照明光栅的示意性剖视图。

图7是在本发明的一个实施例中使用的成像光栅的第一方面的示意性剖视图。

图8是在本发明的一个实施例中使用的成像光栅的第二方面的示意性剖视图。

图9A是在本发明的一个实施例中的双层成像光栅的第一层的示意性俯视图。

图9B是在本发明的一个实施例中的双层成像光栅的第一层的示意性平面图。

图9C是在本发明的一个实施例中的双层成像光栅的第一层的示意性侧视图。

图10A是在本发明的一个实施例中的双层成像光栅的第二层的示意性俯视图。

图10B是在本发明的一个实施例中的双层成像光栅的第二层的示意性平面图。

图10C是在本发明的一个实施例中的双层成像光栅的第二层的示意性侧视图。

图11A是人眼的示意性剖视图，其示出浦肯野图像。

图11B是人眼的示意性剖视图，其示出视网膜和虹膜的反射。

图12A是示出通过两层成像光栅定位眼睛特征部的第一方面的示意性平面图，每个层都包括长形元件，两个光栅的元件成直角。

图12B是示出通过两层成像光栅定位眼睛特征部的第二方面的示意性平面图，每个层都包括长形元件，两个光栅的元件成直角。

图13A是处于第一旋转状态中的人眼的示意性剖视图，其示出由角膜和视网膜形成的典型散斑图案。

图13B是处于第一旋转状态中的人眼的示意性剖视图，其示出由角膜和视网膜形成的典型散斑图案。

图14是人眼展示的示意性正视图，其示出由视网膜和角膜产生的散斑图案的运动方向。

图15A是处于第一旋转状态中的人眼的示意性剖视图，其示出来自视网膜和角膜的反射。

图15B是处于第二旋转状态中的人眼的示意性剖视图，其示出来自视网膜和角膜的反射。

图16是在本发明的一个实施例中的成像光栅的示意性剖视图，所述成像光栅包含具有横过出射光瞳变化的焦距的SBG透镜元件阵列。

图17A是在本发明的一个实施例中的成像光栅的示意性剖视图，所述成像光栅包括可变功率透镜阵列。

图17B是图17A的细节，其示出可变功率透镜，所述可变功率透镜包括可变折射率层和固定焦距的衍射元件。

图18是在本发明的一个实施例中的成像光栅的示意图，其中成像光栅包括具有至少两个不同规格(prescription)的散布光栅元件阵列。

图19是在本发明的一个实施例中的使用分离的照明光栅和成像光栅的眼睛跟踪器的照明光栅的示意性剖视图。

图20是在本发明的一个实施例中的使用分离的照明光栅和成像光栅的眼睛跟踪器的照明光栅的示意性平面图。

图21是在本发明的一个实施例中的使用分离的照明光栅和成像光栅的眼睛跟踪器的可替代照明光栅的示意性剖视图。

图22A是在本发明的一个实施例中的使用分离的照明光栅和成像光栅的眼睛跟踪器的成像光栅、图像采样光栅和检测器模块的示意性平面图。

图22B是在本发明的一个实施例中的使用分离的照明光栅和成像光栅的眼睛跟踪器的图像采样光栅和检测器模块的示意性平面图。

图22C是在本发明的一个实施例中的使用分离的照明光栅和成像光栅的眼睛跟踪器的成像光栅和图像采样光栅的示意性剖视图。

图22D是在本发明的一个实施例中的使用分离的照明光栅和成像光栅的眼睛跟踪器的图像采样光栅和检测器模块的示意性剖视图。

图22E是在本发明的一个实施例中的使用分离的照明光栅和成像光栅的眼睛跟踪器的成像光栅、图像采样光栅和检测器模块的示意性剖视图。

图23是示出在本发明的一个实施例中的使用分离的照明光栅和成像光栅的眼睛跟踪器系统的主要模块的框图。

图24是在本发明的一个实施例中的由成像光栅和图像采样光栅提供的光栅元件切换方案的示意图。

图25是在本发明的一个实施例中的使用共同的照明光栅和成像光栅的眼睛跟踪器的示意性平面图。

图26是示出在本发明的一个实施例中的使用共同的照明光栅和成像光栅的眼睛跟踪器的成像光栅和照明光栅以及输入光栅、输出光栅、图像采样光栅和检测器采样光栅的示意性剖视图。

图27A是在本发明的一个实施例中的使用共同的照明光栅和成像光栅的眼睛跟踪器的图像采样光栅的示意性平面图。

图27B是在一个实施例中的使用共同的照明光栅和成像光栅的眼睛跟踪器的照明采样光栅、输入光栅和激光器的示意性剖视图。

图27C是在一个实施例中的使用共同的照明光栅和成像光栅的眼睛跟踪器的图像采样光栅和检测器模块的示意性平面图，所述检测器模块具有覆盖的检测器。

图27D是示出在一个实施例中的使用共同的照明光栅和成像光栅的眼睛跟踪器的图像采样光栅和检测器的示意性平面侧视图。

图27E是在一个实施例中的使用共同的照明光栅和成像光栅的眼睛跟踪器的输出光栅和图像采样光栅的示意性剖视图。

图27F是在一个实施例中的使用共同的照明光栅和成像光栅的眼睛跟踪器的输入光栅和照明采样的示意性剖视图。

图28是在本发明的一个实施例中的使用共同的照明光栅和成像光栅的眼睛跟踪器的成像处理的简化表示图。

图29提供系统框图，其示出在本发明的一个实施例中的使用共同的照明光栅和成像光栅的眼睛跟踪器的关键模块。

图30是示出用于从记录的散斑数据确定眼睛位移矢量的处理的流程图。

图31A是用于在本发明的一个实施例中的使用共同的照明光栅和成像光栅的眼睛跟踪器的校准处理的流程图。

图31B是用于在本发明的一个实施例中的眼睛跟踪器的初始校准过程的示意图。

图32是在本发明的一个实施例中的眼睛跟踪器的示意性平面图，所述眼睛跟踪器包括照明采样光栅和图像采样光栅，所述照明采样光栅和图像采样光栅中的每个都基于具有基本与波导平面平行对准的光栅矢量的光栅。

图33A是示出眼睛跟踪器的第一方面的示意性平面图，所述眼睛跟踪器包括照明采样光栅和图像采样光栅，其中，照明光与图像光成角度地偏移。

图33B是示出眼睛跟踪器的第二方面的示意性平面图，所述眼睛跟踪器包括照明采样光栅和图像采样光栅，其中，照明光与图像光成角度地偏移。

图34是示出在本发明的一个实施例中的包括神经网络的眼睛跟踪器系统的主要模块的框图。

图35是示出在本发明的一个实施例中的基于共同的照明光栅和成像光栅的眼睛跟踪器系统的主要模块的框图，其中，处理系统包括神经网络。

图36A是在一个实施例中的双向波导眼睛跟踪器的剖视图。

图36B是在一个实施例中的双向波导眼睛跟踪器的平面图。

图37A是波导的平面图，其示出在本发明的一个实施例中使用的光栅架构。

图37B是波导的平面图，其示出在本发明的一个实施例中使用的光栅架构。

图37C是波导的平面图，其示出在本发明的一个实施例中使用的光栅架构。

图37D是波导的平面图，其示出在本发明的一个实施例中使用的光栅架构。

图37E是波导的平面图，其示出在一个实施例中使用的光栅架构。

图37F是波导的平面图，其示出在一个实施例中使用的光栅架构。

图38是在一个实施例中的双向波导眼睛跟踪器的剖视图。

图39是在本发明的一个实施例中的使用分离的照明背光的双向波导眼睛跟踪器的剖视图。

图40是图36A的实施例的操作的方面的示意图。

图41是在本发明的一个实施例中的用于在头戴式显示器中使用的眼睛跟踪器波导的示意性正视图。

图42是在本发明的一个实施例中的用于在头戴式显示器中使用的眼睛跟踪器波导的示意性正视图。

图43是示出用于供在本发明的一个实施例中的眼睛跟踪器使用的图像处理过程的流程图。

图44是示出用于供在本发明的一个实施例中的眼睛跟踪器使用的系统架构的流程图。

图45是波导的部分的示意性侧视图，其中SBG阵列的不同元件用于眼睛的照明和成像。

图46A是在本发明的一个实施例中的用于使用结构光跟踪对象的设备的示意性侧视图。

图46B是在本发明的一个实施例中的用于使用结构光跟踪对象的设备的示意性侧视图。

图46C是在本发明的一个实施例中的用于使用结构光跟踪对象的设备的示意性侧视图。

图46D是在本发明的一个实施例中的用于使用结构光跟踪对象的设备的示意性侧视图。

图47是基于图36的实施例的、在本发明的一个实施例中的用于使用结构光跟踪对象的设备的示意性侧视图。

图48是基于图36的实施例的、在本发明的一个实施例中的用于使用结构光跟踪对象的设备的示意性平面图。

图49是在本发明的一个实施例中的头部跟踪器的示意图。

图50是基于图45A的实施例的、在本发明的实施例中的用于使用结构光和检测器透镜跟踪对象的设备的示意性侧视图。

图51A是在一个实施例中的对象跟踪器的示意性剖视图。

图51B是基于图51A的实施例的、在本发明的实施例中使用的照明波导的示意性平面图。

图51C是基于图51A的实施例的、在本发明的实施例中使用的检测器波导的示意性平面图。

图52是在一个实施例中的对象跟踪器的分解图。

图53A是在一个实施例中的对象跟踪器的示意性平面图。

图53B是在一个实施例中的对象跟踪器的细节的示意性剖视图。

图54A是在一个实施例中的对象跟踪器的示意性平面图。

图54B是在一个实施例中的对象跟踪器的细节的示意性剖视图。

图55A是在一个实施例中的对象跟踪器的细节的示意性剖视图。

图55B是在一个实施例中的对象跟踪器的示意性平面图。

图56是在一个实施例中的对象跟踪器的示意性平面图。

图57A是在一个实施例中的眼睛跟踪器的剖视图，其示出照明和反射信号路径。

图57B是在一个实施例中的眼睛跟踪器的剖视图，其示出照明和反射信号路径。

图57C是在一个实施例中的眼睛跟踪器的剖视图，其示出照明和反射信号路径。

图57D是在一个实施例中的眼睛跟踪器的剖视图，其示出照明和反射信号路径。

图58是在一个实施例中的对象跟踪器的示意性剖视图。

图59是在一个实施例中的对象跟踪器的示意性剖视图。

图60是示出在一个实施例中的对象跟踪器的表面的示意性平面图。

图61A是在一个实施例中的、集成在VR耳机中的眼睛跟踪器的示意性平面图。

图61B是在一个实施例中的、集成在VR耳机中的眼睛跟踪器的示意性平面图。

图61C是在一个实施例中的、集成在VR耳机中的眼睛跟踪器的示意性平面图。

图62是在一个实施例中的对象跟踪器的分解平面图。

图63是图62的对象跟踪器的剖视图。

图64是在一个实施例中的对象跟踪器的分解平面图。

图65是图64的对象跟踪器的剖视图。

图66是在一个实施例中的VR显示器的示意图。

图67是在一个实施例中的LIDAR系统的示意图。

图68是在一个实施例中的、用于提供多个焦面的眼睛从属波导显示器的示意性侧视图。

图69A是在一个实施例中的、用于提供多个焦面的眼睛从属波导显示器的第一输入图像的示意性前视图。

图69B是在一个实施例中的、用于提供多个焦面的眼睛从属波导显示器的第二输入图像的示意性前视图。

图69C是在一个实施例中的、用在用于提供多个焦面的眼睛从属波导显示器中的第一输入光栅的示意性前视图。

图69D是在一个实施例中的、用在用于提供多个焦面的眼睛从属波导显示器中的第二输入光栅的示意性前视图。

图70是在一个实施例中的、用于提供多个焦面的眼睛从属波导显示器的示意性侧视图。

图71A是在一个实施例中的被遮挡的输入图像的前视图。

图71B是在一个实施例中的遮挡的输入图像的前视图。

图71C是示出遮挡的合成图像的前视图。

图72是在一个实施例中、用于提供深度和遮挡视觉提示的眼睛从属波导显示器的示意性侧视图。

图73是在一个实施例中的眼睛跟踪器的正视图，其示出照明波导。

图74是在一个实施例中的眼睛跟踪器的正视图，其示出检测器波导。

图75A是如在一个实施例中的检测器波导中使用的、具有电极的第一衬底的平面图。

图75B是如在一个实施例中的检测器波导中使用的、具有电极的第二衬底的平面图。

图75C是图75A的第一衬底的平面图，其中，在一个实施例中覆盖图75B的第二衬底的有源电极。

图75D是通过将全息光栅阵列夹在图75A至图75B的第一衬底和第二衬底之间而形成的检测器波导的剖视图。

图76是在一个实施例中的包括眼睛跟踪器波导和显示器波导的眼睛从属显示器的示意性剖视图。

图77A是在一个实施例中的包括照明波导和检测器波导的眼睛跟踪器的示意性三维视图。

图77B是在图77A的实施例中使用的检测器波导中使用的二维光栅阵列的正视图。

图78A是在一个实施例中的眼睛跟踪器的示意性三维视图，所述眼睛跟踪器包括照明波导和分离的检测器波导，用于跟踪在正交方向上的眼睛运动。

图78B是在图78A的实施例中使用的眼睛跟踪器波导的示意性剖视图。

图79A是在图78的实施例中使用的检测器波导中使用的检测器波导的剖视图。

图79B是在图78的实施例中使用的检测器波导中使用的检测器波导的平面图。

图80是提供用于在图78的实施例中使用的检测器波导的光学规格的表格。

图81A是在一个实施例中将眼睛跟踪器集成在第一只眼睛前部的摩托车头盔的前视图。

图81B是在一个实施例中将眼睛跟踪器集成在第一只眼睛前部和将波导显示器集成在第二只眼睛前部的摩托车头盔的前视图。

图82A是在一个实施例中的基于图78的实施例的目镜的第一检测器波导层的前视图。

图82B是在一个实施例中的基于图78的实施例的目镜的第二检测器波导层的前视图。

具体实施方式

现在将仅参照附图以示例的方式进一步描述本发明。对于本领域的技术人员应当显而易见的是，本发明可以用如在以下描述中所公开的本发明的某些或全部来实施。出于解释本发明的目的，已经省略或简化了对于光学设计和视觉显示领域的技术人员已知的光学技术的公知的特征，以便不模糊本发明的基本原理。除非另有说明，否则与光线或光束方向有关的术语“轴上”是指平行于与关于本发明描述的光学部件的表面垂直的轴线的传播。在以下描述中，术语光、光线、光束和方向可以互换使用并且彼此相关联，以指示电磁辐射沿直线轨迹的传播的方向。术语光和照明可以与电磁波谱的可见光和红外波段相关地使用。将使用通常由光学设计领域的技术人员所采用的术语来呈现以下描述的部分。还应当注意的是，在本发明的以下描述中，短语“在一个实施例中”的重复使用不一定指相同的实施例。

运动对象的跟踪是许多领域中的关键要求，包括眼睛跟踪、增强现实、虚拟现实、机器人、防撞系统和许多其它应用。尽管对象的性质及其动态大大地变化，但是总体上要求稳健地、准确地跟踪并且具有最小的处理时间迟滞(等待时间)。本发明将结合眼睛跟踪来讨论。然而，我们将强调的是将在以下描述中描述的实施例不限于跟踪眼睛。

理想的眼睛跟踪器应当对整体光学性能产生最小的影响。发明人认为以下是现实的设计目标：60°水平×48°竖直的视场(FOV)；17mm的适眼距(eye relief)；以及眼睛运动箱/出射光瞳(20mm×10mm至15mm)。此外，眼睛跟踪器必须满足对于近眼视觉显示器在重量(最小)、重心(人体工程学)和轮廓方面的眼睛安全要求。另外，不应当妥协：像素分辨率、透视(≥90％)和功率消耗(最小)。

基于经典的浦肯野成像方法的眼睛跟踪器遭受较高的延迟，其主要是由特征识别和跟踪算法导致的较大延缓所引起的。本发明人强烈地受到欲望的驱使来开发一种眼睛跟踪器，首先，所述眼睛跟踪器简化了经典眼睛跟踪的图像处理问题，所述问题经常导致不可接受的较高延迟，并且其次，所述眼睛跟踪器可以使用相对不精细的检测器技术。下面将描述的眼睛跟踪器实施例通过使用低分辨率高速图像传感器跟踪眼睛签名来避免实现经典浦肯野成像方法的成本和复杂性。在本发明的某些实施例中，跟踪器可以使用与红外鼠标中使用的规范等效的检测器技术，该装置现在是普遍存在的并且更重要的是能够使用亚元(sub dollar)部件制造。在某些实施例中，可以使用单个元件检测器。在眼睛跟踪应用中，待记录的签名不需要是诸如瞳孔边缘的眼睛特征部的图像，而是可以是诸如散斑图案的随机结构(包括来自多个表面的反射和来自眼睛内部的光学介质的散射)。然而，重要的是，无论跟踪什么签名都具有随注视方向的强烈时空变化。发明人认为，这种方法在检测器分辨率、处理开销和功率消耗方面提供显著的优点。常规的虹膜图像捕获系统是在眼睛跟踪器中将要求的处理水平的指标。虹膜图像典型地由照相机使用700nm至900nm的波段中的红外光获取，所述红外光沿着虹膜直径在100像素至200像素的区域内分辨。第一个步骤通常是在继续确定虹膜的边界之前检测和去除杂散光。典型地，最初通过应用圆形边缘检测器来估算虹膜和瞳孔的中心和半径。高准确度和快速响应时间需要超出消费产品范围的高性能和高成本的微处理器。基于软件的传统图像处理设计太慢。已知，基于使用低成本FPGA的硬件-软件协同设计的虹膜识别算法可以产生显著的改进。系统架构由32位通用微处理器和若干专用硬件单元组成。微处理器在软件中执行较低计算量的任务，而协处理器加速具有较高计算成本的功能。典型地，根据所实现的功能，协处理器与其软件执行相比将处理时间加速大于10的因数。然而，借助硬件-软件协同设计实现的最佳延迟典型地在500ms到1000ms的范围内。应当注意的是，眼睛跟踪器对图像处理器来说是要求更高的提议。检测干净的虹膜图像只是第一步。在眼睛围绕眼睛盒(eye box)运动时应用边缘检测算法将需要分析若干帧而添加了总体延迟。

根据本发明的原理的眼睛跟踪器提供了一种用于向眼睛传递红外照明的红外照明光学通道和用于在检测器处形成眼睛的图像(或记录眼睛的签名)的成像或检测光学通道。在图1至图2中所示的本发明的一个实施例中，眼睛跟踪器包括波导100，其用于朝向眼睛116传播照明光并且传播从眼睛的至少一个表面反射的图像光；光学地耦合到波导的光源112；和光学地耦合到波导的检测器113。在波导中布置的是：至少一个输入光栅114，其用于将来自光源的照明光偏转到第一波导路径中；至少一个照明光栅102，其用于将照明光朝向眼睛偏转；至少一个成像光栅101，其用于将图像光偏转到第二波导路径中；和至少一个输出光栅115，其用于将图像光朝向检测器偏转。发明人还将波导100称为DigiLens。照明光栅和成像光栅是可切换光束偏转光栅元件的阵列，优选的光栅技术是如上所述的SBG。在图1B中所示的本发明的一个实施例中，成像光栅120中的光栅元件是长形的，如由121所指示，其具有与光束传播方向正交的较长尺寸。在图1C中所示的本发明的一个实施例中，成像光栅可以包括SBG透镜元件123的二维阵列122，每个元件都在两个正交平面中具有光学功率。典型地，第一波导路径和第二波导路径，即，波导中的成像路径和照明路径，处于相反的方向上，如图1A所示。典型地，照明光将被完全地准直，而图像光将具有由被跟踪的眼睛表面的散射特性、光栅的角度带宽和光栅元件的数值孔径确定的一些角度偏差。如以后将讨论的，在某些实施例中，成像光栅和照明光栅由单个光栅提供，其中，照明和成像光线路径在相同的波导结构中反向传播。在使用分离的成像光栅和照明光栅的情况下，两个光栅可以响应于波导内的不同的TIR角度范围。这在避免照明光交叉耦合到检测器中和避免将图像光交叉耦合到光源中的风险方面是有利的。

在图1A中，照明光学路径由来自源的光1010示出，所述光1010由输入光栅指引到TIR路径1011中并且作为通常由1012指示的光衍射出波导。典型地，眼睛跟踪器将具有大小为20nm至30nm的光瞳，以便如果波导相对于眼睛改变位置，则允许持续捕获从眼睛反射的光。由于眼睛跟踪器将通常被实现为HMD的部分，因此眼睛跟踪器的光瞳应当期望地匹配HMD的光瞳。图1A示出从角膜117的前表面反射的返回光1013和从视网膜118反射的光1014。角膜和视网膜图像光沿着托盘路径(例如1015，1116)进入波导并且通过成像光栅的有源元件被偏转到TIR路径(例如1017)中，所述成像光栅的有源元件一次切换一个元件。光1017通过输出光栅朝向检测器偏转到光线路径1018中。有利地，检测器与SBG透镜元件的切换同步地读出图像信号。检测器连接至图像处理设备，用于确定眼睛运动的至少一个时空特征。未示出的图像处理器检测来自角膜和视网膜的反向散射信号的预定义特征部。例如，图像处理器可以用于确定诸如瞳孔的眼睛特征部的质心。眼睛的其它可跟踪特征部对于眼睛跟踪器设计和视觉光学的领域中的技术人员来说是公知的。

有利地，光源是发射红外波段的激光器。波长的选择将取决于激光效率、信噪比和眼睛安全考虑因素。也可以使用发光二极管(LED)。在本发明的一个实施例中，检测器是二维阵列。然而，可以使用其它类型的检测器，包括线性阵列和诸如位置感测检测器的模拟装置。在图1中所示的实施例中，照明光栅提供发散光。在本发明的可替代实施例中，照明光栅提供准直光。

光栅可以被实现为在波导的外表面内或附近的薄板。换句话说，光栅可以布置在波导的光学表面附近，所述波导的光学表面包括波导的内表面或外表面中的至少一个。出于讨论本发明的目的，我们将考虑到布置在波导内的布拉格光栅。有利地，光栅是可切换布拉格光栅(SBG)。在本发明的某些实施例中，可以使用无源光栅。然而，无源光栅缺乏如下优点，即，能够指引照明并且从瞳孔的精确限定区域收集图像光。在一个实施例中，光栅是逆反模式SBG。尽管关于透射光栅讨论了本发明，但是对于本领域的技术人员来说显而易见的是，使用反射光栅的等效实施例在大多数情况下应当是可行的。光栅可以是表面浮雕光栅。然而，就其光学效率和角度/波长选择性而言，这种光栅将不如布拉格光栅。输入光栅和照明光栅可以以许多不同的方式被配置。图2是示出用于供图1的实施例使用的一种可能的实施方案的示意性平面图。这里，输入光栅包括两个光栅元件114A、114B，并且照明光栅也被分成上光栅120A和下光栅120B，每个光栅都在成像光栅102上方和下方提供窄光束偏转光栅条。还指示了检测器光栅115。由于在输入光栅和照明光栅中的引导光束是准直的，并且同样在成像光栅和检测器光栅中的引导光束是准直的，在波导的两个区域之间没有串扰。

在与图2的实施例类似的图3至图4中所示的本发明的实施例中，上照明光栅和下照明光栅可以是可切换光栅元件121A、121B的阵列，包括诸如122A、122B的可切换光栅元件。SBG偏转器阵列随着成像光栅元件的激活而横过出射光瞳滚动照明。最后，在图4的实施例中，照明光栅仅包括一个条123，其包含沿着成像光栅的顶部边缘设置的元件124。

本发明不假设光栅元件的任何特定配置。重要的是注意到SBG被形成为连续的薄板。因此，照明光栅元件可以被认为是成像光栅的部分。这在制造和整体形状因素方面是显著的优点。在如上所述将照明光栅分成两个元件的实施例中，输入激光可以由一个激光器提供，上光束和下光束由光束分离装置提供。或者，可以使用两个分离的激光器模块来提供经由输入光栅114A、114B耦合到波导中的光，如图3至图4中所示。本发明不假设用于提供激光输入照明或将激光耦合到波导中的任何特定方法。对于光学设计领域中的技术人员来说，许多可替代方案应当是显而易见的。

照明光栅可以提供任何光束几何形状的照明光。例如，光可以是通常发射到眼睛跟踪器波导的表面的平行光束。在图5的示意性侧视图中更详细地示出照明器光栅，其中，SBG线性阵列130被夹在透明衬底130A、130B之间。注意到，衬底层延伸以遮盖整个波导，并且因此也用作用于成像光栅的衬底。有利地，ITO层被施加到衬底的相对表面，其中，至少一个ITO层被图案化，使得可以选择性地切换SBG元件。衬底和SBG阵列一起形成光导。每个SBG阵列元件都具有独特的光学规格，其被设计成使得沿第一方向入射的输入光被衍射成沿第二方向传播的输出光。图5示出TIR照亮光束1020，其通过有源元件131偏转以提供发散照明光1021。

在图6的示意性侧视图中示出线性偏转器阵列的可替代实施例。在这种情况下，夹在衬底132A、132B之间的阵列132是基于有损光栅，所述有损光栅将引导光束的逐渐增加的部分(fraction)朝向眼睛衍射出波导。示出了由光栅元件133A至133C衍射的光束部分1023A至1023C。典型地，光栅元件的折射率调制将被设计成提供沿阵列的均匀的提取并且因此提供均匀的输出照明。注意到，为了简化描述，已经简化了图5至图6的几何光学。

有利地，照明光栅元件可以对光学功率编码以提供足够的光束扩散来用光填充出射光瞳。类似的效果可以通过将漫射特征编码到光栅中来产生。该设备还可以包括施加到衬底的无源全息光束整形漫射器阵列，其与线性SBG阵列重叠，以增强漫射。用于将光束偏转和漫射编码到衍射装置中的方法是衍射光学领域中的技术人员所熟知的。通过将SBG配置成使得在眼睛跟踪器内的照明TIR路径位于成像TIR路径之外，克服了成像通道和照明通道之间的串扰。

在图7至图10中所示的一个实施例中，证明了一种眼睛跟踪器波导，其包括具有光学功率的两层SBG成像光栅。在图7中以其堆叠的构型示出阵列。衬底136A、136B和139A、139B一起提供如图8中所示的成像波导，其中由光线1025至1028表示从眼睛经由激活的SBG元件42进入波导中的光线路径。在图9至图10中以前视图、平面图和侧视图示出阵列。阵列包括列(column)元件的线性阵列，每个列元件都具有柱面透镜的光学特征。两个阵列中的列矢量是正交的。第一阵列包括由衬底136A、136B夹在之间的SBG阵列135，其中指示出一个特定元件137。第二阵列包括由衬底139A、139B夹在之间的SBG阵列40，其中指示出一个特定元件141。图11A示出第一批四个浦肯野图像的形成原理，所述第一批四个浦肯野图像相对应于在角膜的前部1033、1043；在角膜的后部1032、1042；在眼睛晶状体的前部1031、1041；和在眼睛晶状体的后部1030、1040的反射。图11B示出由光线1034、1044形成的视网膜图像和由光线1035、1045形成的虹膜图像。图12示出图7至图10的第一和第二SBG透镜阵列如何可以用于定位眼睛特征部，例如，通过扫描诸如142和143的行和列SBG元件。

关于将散斑用作眼睛特征部，图13示出如记录在两个捕获的散斑图像中的散斑特征部的大小可以如何随着相对于眼睛光轴1050的眼睛取向和位移而变化。图13A示出通过沿着最初与眼睛光轴平行的方向1050A照亮眼睛而形成的散斑。与眼睛光轴平行的角膜和视网膜散斑光的分量由1050B、1050C指示。图14A示出在附图的平面中的随眼睛旋转的散斑的形成。示出了与方向1050平行的检测到的角膜和视网膜散斑光1050D、1050E，所述方向1050现在不再与眼睛光轴平行。如由插图1051、1053所示，散斑的大小和空间分布随着眼睛旋转而改变。两个散斑图案的相关性将提供眼睛旋转的量度。注意到，典型地，在检测器处记录的散斑图案将组合来自角膜和视网膜以及与照明光束相互作用的其它表面和生物介质的分离的散斑图案。在本发明的一个实施例中，眼睛跟踪器处理器比较由于从视网膜和角膜散射光而引起的散斑图像。当眼睛水平地或竖直地摇动时，散斑图案相对于角膜和视网膜的相对位置相应地改变，允许从反射光束的相对轨迹确定注视的方向。

图14示意性地示出眼睛146的前部、角膜147和视网膜的照明区域148，该图示出与图15中所示的眼位移相对应的、如由矢量149、150指示的角膜和视网膜散斑特征部的运动方向。通常，光线反射矢量方向将与眼睛旋转紧密联系。图15A表示来自角膜1056、1057和视网膜1054、1055的光线对于一个眼睛位置的反射。图15B示出在水平(或竖直)眼睛旋转之后的来自角膜1058、1059和视网膜1060、1061的反射路径。来自角膜的反射具有强烈的长期部件。视网膜反射是更加漫射的。角膜反射角的大小将通常需要在照明和检测光轴之间的较大的角度间隔。这将使得在较大视场上使用角膜反射进行眼睛跟踪是非常困难的。可以使用本发明应用的一种避免成像较大反射角度(以及处理会由滑移引起的横向和竖直眼睛运动)的问题的方法是配置跟踪器以提供匹配的滚动照明和检测，这将稍后被更详细地讨论。因此，反射角变得较小并且可以近似为：Ψ～2[(D/r-1)Φ+d/r]，其中，r是角膜半径，Φ是眼睛旋转，并且D是眼睛中心离角膜的曲率位移中心的距离，并且d是眼睛中心的横向位移。

在基于图7至图10中所示的实施例的本发明的一个实施例中，成像光栅包括SBG阵列143，其中透镜元件144具有横过出射光瞳变化的焦距。在图16的实施例中，由发散光束1062、1064和1063、1065指示的第一焦距和第二焦距的光栅元件均匀地散布。在图17A中所示的一个实施例中，成像波导包括可变功率透镜元件146的阵列145。如图17B的细节中所示，可变功率透镜通过将固定焦距的衍射元件147与可变折射率层148组合来提供。

在图18的示意图中所示的本发明的一个实施例中，成像光栅包括单层二维SBG阵列。标记为152的一组元件包括诸如153、154的散布元件。该组元件在检测器110处形成图像区域151。每个SBG元件的特征都在于来自一套至少两个不同规格中的一个。图18没有示出波导和照明以及输入/输出光栅的细节。SBG规格中的至少一个与用于在检测器上形成眼睛图像的透镜相对应。至少一个规格被优化以用于对由眼睛的表面形成的签名成像。因此，图18的实施例允许使用散斑图案和诸如浦肯野反射的常规特征部来执行眼睛跟踪。

图19至图24提供基于图1至图6的原理的眼睛跟踪器的各方面的示意图。在本发明的该实施例中，较早描述的成像、照明、输入和输出光栅通过附加的光栅增强，所述附加的光栅被称为图像采样光栅，所述图像采样光栅覆盖输出光栅。图19示出照明光栅163的侧视图。图20是示出成像光栅165、照明光栅163和覆盖在输出光栅164上的图像采样光栅170的平面图。图21是照明光栅163的可替代实施例的侧视图。图22A是成像光栅、图像采样光栅14和检测器模块180的平面图。图22B是图像采样光栅和检测器模块的平面图。图22C是示出成像光栅和图像采样光栅的剖视图。图22D是图像采样光栅和检测器模块的剖视图。最后，图22E是成像光栅、图像采样光栅和检测器模块的剖视图。为了帮助读者，每个图示的投影平面都被称为笛卡尔XYZ参考系。成像光栅165包括由衬底168、169夹在之间的列状SBG元件阵列，例如，被标记为167的一个列状SBG元件。成像光栅165的列元件以沿着在图20中由方框箭头1320所指示的方向向后和向前滚动的方式接通和断开，使得在任何时间只有一个SBG列处于其衍射状态中。在图19中详细示出的照明器阵列163包括将诸如163A、163B的SBG矩形元件阵列夹在之间的衬底161A、161B。SBG元件可以具有相同的衍射特征，或者如图19中所示可以具有随沿着阵列的位置而变化的特征。例如，元件163A提供以与包含诸如1311的光线的阵列成90度的矢量为中心的漫射分布1310。然而，元件63B提供包含诸如1313的光线的成角度分布1312。在图21中所示的可替代实施例中，漫射极性分布可以具有中心光线方向，所述中心光线方向横过如由光线1313至1318所示的阵列以循环方式变化。图像采样光栅170包括由衬底174、175夹在之间的矩形SBG光束偏转元件的阵列173，所述矩形SBG光束偏转元件例如176(在图22C中以其衍射状态示出)。包含成像光栅165、照明光栅163和输出光栅164的波导通过介质(未示出)与图像采样光栅170分离，所述介质可以是空气或低折射率透明材料，例如，纳米多孔材料。来自眼睛的表面的红外光通过有源成像光栅元件即通过衍射SBG列耦合到波导中。被引导的光束在波导中经历TIR，直到输出光栅为止。如图22C中所示，输出光栅164将光束朝向图像采样光栅170通过90度偏转到方向1322中。如图22C中所示，光束1322的部分通过有源SBG元件176偏转到图像采样光栅中，所述有源SBG元件176在光线1323指示(并且在图20中也由方框箭头1321指示)的方向上经历TIR。未被由1320、1321所指示的图像采样光栅采样的光被适当的吸收材料捕获，所述吸收材料未示出。TIR光束在检测器模块180中通过第一全息透镜172偏转以提供出图像光1325。

现在转向图22D，我们看到，检测器模块包含镜面177A、177B和另一全息透镜178，所述另一全息透镜178形成在检测器阵列166上被跟踪的眼睛特征部或散斑图案的图像。注意到，全息透镜172、178可以用基于布拉格或表面浮雕光栅的等效衍射元件替换。在尺寸约束容许的情况下，也可以使用常规的折射透镜元件。图23是图19至图22的眼睛跟踪器的系统框图。系统模块包括成像光栅300、照明光栅301、照明光栅驱动器302、照明采样光栅303、成像光栅驱动器304、检测器驱动器305、图像采样阵列驱动器306、检测器166和处理器307。该设备还包括激光器驱动器，其未被示出。由方框箭头329、330表示从图像光栅至图像采样阵列以及从图像采样阵列至检测器的光学链路。处理器307包括：用于存储捕获的眼睛图像或散斑图案帧的帧存储器308或其它图像存储装置；以及图像处理器309，其还包括用于噪声减少310和图像分析311的硬件或软件模块。处理器还包括硬件控制模块312以用于控制照明、成像和图像采样光栅驱动器，所有所述模块在主处理器313的控制下操作。在系统的部件之间的数据和控制链路由319至325指示。尤其，每个驱动器模块都包含由326至328示意性地指示的开关电路，用于在成像光栅、照明光栅阵列和图像采样光栅中切换SBG元件。图24示出在成像光栅和图像采样光栅中使用的切换方案。照明光栅元件与成像光栅列同相地切换。成像光栅阵列165的列元件165A和读出阵列170的元件170A处于它们的衍射状态中。列65A上的元件170A的突起(由170B表示)限定主动检测孔径。使用诸如这样的方案，能够使用X，Y定位算法跟踪眼睛的特征部，所述定位算法通过从相继帧确定的位移矢量分析获得的预测来辅助。用于实现这种搜索方案的方法对于本领域的技术人员来说是已知的。本发明不依赖于任何特定的算法或处理平台。

图25至图27提供眼睛跟踪器的各方面的示意图，所述眼睛跟踪器通过引入另一光栅部件来扩展图19至图24的实施例，所述另一光栅部件被称为照明采样光栅，所述照明采样光栅覆盖输入光栅。该实施例的另一个特征部在于，照明光栅不再与成像光栅分离。反而，这两者在双向波导中组合，其中使用共同的可切换列光栅来对眼睛照明和成像，照明和图像波导光在相反方向上传播。组合的光栅将被称为照明光栅和成像光栅。如以下将解释的，在结构上与图像采样光栅类似的照明采样光栅的功能是将可用照明集中到由图像采样光栅选择的眼睛区域中。这赋予了光效率和避免来自未被跟踪的眼睛区域的杂散光的双重益处。现在转向附图，图25是示出成像和照明光栅190、图像采样光栅194、照明采样光栅195、输入光栅193和输出光栅192以及检测器模块200的平面图。照明和成像光栅的列元件向后和向前以滚动的方式接通和断开，使得在任何时间只有一个SBG列处于其衍射状态中。反向传播光束路径由1341、1342指示。图26以侧视图示出图25的部件。图27A是照明采样光栅的平面图。图27B是包括输入光栅193的照明采样光栅195和激光器205的剖视图。图27C是图像采样光栅194的平面图，其示出检测器模块200和被覆盖的检测器205。图27D是更详细地示出检测器模块200的侧视图。包括了检测器205和图像采样光栅194的横截面。图27E是输出光栅192和图像采样光栅194的剖视图。图27F是输入光栅193和照明采样光栅194的剖视图。为了帮助读者，每个图示的投影平面都被称为笛卡尔XYZ参考系。照明光栅和成像光栅包括列状SBG元件的阵列190，例如，由透明衬底190A、190B夹在之间的被标记为191的列状SBG元件。布置在同一层中的输入光栅和输出光栅分别用193、192标记。检测器模块200在图25至图26中由虚线描绘，并且在图27D中被更详细地描绘。图像采样光栅194包括由衬底194A、194B夹在之间的矩形SBG光束偏转元件(例如197)的阵列。典型地，成像光栅和图像采样光栅由介质198分离，所述介质198可以是空气或低折射率透明材料，例如，纳米多孔材料。照明采样光栅195具有与该图像采样光栅非常类似的架构，所述照明采样光栅195包括由衬底195A、195B夹在之间的矩形SBG光束偏转元件(例如196)的阵列。典型地，成像光栅和图像采样光栅由介质199分开，所述介质199可以是空气或低折射率透明材料，例如，纳米多孔材料。参照图26和图27F，来自激光器的照明光1350通过耦合光栅207被指引到照明采样光栅中。然后，光沿着如1350A、1350B所指示的TIR路径前进到有源元件208，在该处光朝向输入光栅被衍射到方向1351中。注意到，图像采样光栅将所有照明光指引通过照明采样光栅的有源元件，所述照明采样光栅的元件与图像采样光栅的元件同步地切换，以确保在任何时间只有正在成像的区域接收照明。波导中的照明路径由1352至1354指示。来自眼睛的一个或多个表面的红外光1356(也被示为签名1355)通过衍射SBG列(例如191)耦合到波导中。由1357、1358指示的引导光束在波导中经历TIR，直到输出光栅192为止。输出光栅将光束朝向图像采样光栅通过90度偏转到方向1359中。如图27E中所示，方向1359中的光束通过有源SBG元件197被偏转到图像采样光栅中，其中光束沿着由1360、1361指示的光线路径经历TIR。TIR光束作为光1363通过第一全息透镜203被偏转到检测器模块200中。未由图像采样光栅采样的任何光通过适当的吸收材料被捕获，所述适当的吸收材料未示出。吸收材料可以是棱镜、棱镜阵列、红外吸收涂层或本领域的技术人员已知的某些其它方法。

检测器模块包含镜面201、202和又一全息透镜204，所述又一全息透镜204形成在检测器阵列205上被跟踪的眼睛签名的图像。由光线1363至1365指示从图像采样光栅到检测器的光线路径。有利地，镜面是涂覆到棱镜元件的相对面的涂层。然而，本发明不依赖于用于使图像光朝向检测器阵列转向的任何特定方案来。注意到，全息透镜203、204可以由基于布拉格或表面浮雕光栅的等效衍射元件代替。在尺寸约束容许的情况下，也可以使用常规的折射透镜元件。

在本发明的一个实施例中，来自激光模块的照明光被转换成S偏振光，其通过输入光栅耦合到眼睛跟踪器波导中。然后，使用四分之一波片将该光转换成圆偏振光。然后，有源SBG列将圆偏振波导光的P分量朝向眼睛衍射，剩余的P偏振光被收集在光阱中。然后，从眼睛反射回来的P偏振光(其将基本是P偏振的)通过有源SBG列衍射到返回TIR路径中，并且如上所述前进到检测器模块。该方案确保图像和照明光不疏忽地分别耦合到输入光栅和输出光栅中。在本发明的其它实施例中，可以通过优化TIR角度、成像光栅和照明光栅的角度带宽、沿输入光栅和输出光栅的波导的间距以及照明和成像光束横截面来克服图像和照明光的不希望的耦合。在一个实施例中，典型地在本发明的大多数实施例中将被准直的照明光可以成角度，使得照明光束的波导传播角度与图像光的波导角度不同。图28是以来自成像阵列的有源列元件370的准直光线1400开始的检测路径的简化表示图。光线1400通过检测器光栅的元件371被采样而提供由全息透镜372成像的光线1402，以提供入射在检测器205上的光线1403。

上述实施例的一个重要特征部是照明采样光栅的元件被切换以允许照明被定位到DigiLens的有源列内的较小区域，从而确保照明被精确地集中在需要之处。这也避免了杂散光反射，所述杂散光反射是在常规的眼睛跟踪器设计中可能消耗大量图像处理资源所导致的问题。由于照明是滚动的，所以角膜和视网膜没有暴露于连续的IR曝光，允许使用更高的曝光水平，从而引起更高的SNR。可以包括未示出的安全联锁装置，以便当在预定时间上还没有检测到跟踪活动时关闭激光器。在图25至图27的实施例中用于切换列和读出元件的所提出的方案是基于使用与图24中所示的算法类似的X，Y定位算法来跟踪瞳孔的移动，所述定位算法示出DigiLens的第i个激活列和读出阵列的第j个激活元件如何用于选择散斑图案区域(X，Y)。

图29是图26至图27的眼睛跟踪器的系统框图。系统模块包括照明光栅和成像光栅190、图像采样光栅194、照明采样光栅195、检测器205、激光器206、照明采样阵列驱动器340、图像采样阵列驱动器341、检测器驱动器342、激光器驱动器343、照明和成像光栅驱动器344以及处理器345。处理器345包括：用于存储捕获的眼睛图像或散斑图案帧的帧存储器或其它图像存储介质346；以及图像处理器347，其还包括用于噪声减少348和图像分析349的硬件或软件模块。处理器还包括用于控制照明、成像和图像采样光栅驱动器的硬件控制模块350，所有所述模块在主处理器351的控制下操作。上述模块通过由360至369示意性指示的通信和控制链路连接，所述通信和控制链路包括用于在成像光栅、照明采样光栅阵列和图像采样光栅367至369中切换SBG元件的控制链路。

在本发明的一个实施例中，检测器阵列是分辨率为16×16的检测器阵列，其成帧速率为红外鼠标设备中常用类型的2300fps。在可替代的实施例中，可以使用以670fps运行的分辨率为64×64的类似传感器技术。特定传感器的选择将取决于诸如眼睛跟踪器的所需的跟踪分辨率和准确度以及眼睛跟踪器的更新速率的因素。示例性传感器由Pixart有限公司制造。检测器光学规格将通过详细的光线跟踪分析确定，并且将需要散斑尺寸、F-值和DigiLens列宽度的权衡。在散斑跟踪的情况下，检测器透镜孔径限定有限的散斑尺寸。检测器视场由检测器尺寸和检测器透镜焦距确定。然而，本发明可以应用于任何当前可用的成像传感器技术。在一个实施例中，DigiLens提供25个SBG滚动列×17个SBG读出元件。Agilent设备可以被编程为切换2300fps。因此，FOV的完整扫描将花费(25×17)/2300s＝185ms。然而，在实践中，眼睛跟踪器将使用更精细的X-Y搜索过程，该X-Y搜索过程使用列和读出元件坐标来定位瞳孔。预料到，平均会需要大约10个搜索步骤来收敛于瞳孔位置上，引起4.3ms的延迟。在此基础上，跟踪器的延迟可能比可相当的基于图像处理的浦肯野型眼睛跟踪器的延迟低100倍。还预料到，相关的处理将在硬件中实现，引起相对适度的数据处理延迟。检测到的眼睛签名被存储并且与其它保存的图案比较以确定眼睛注视轨迹和对注视方向进行绝对确定(孔瞄准)。初始校准(即，建立起保存的图案的数据库)通过指导用户在视场(FOV)中的预定点处查看测试目标来执行，在该视场上将跟踪眼睛注视。由于帧具有低分辨率，因此可以收集大量样本而没有显著的计算开销。

尽管本发明可以用于检测任何类型的眼睛签名，但是散斑是有吸引力的，因为它避免了在浦肯野成像方案中遇到的辨别和跟踪眼睛的可识别特征部的图像分析问题。用于测量眼睛位移矢量(旋转和/或平移)的先决条件包括实现足够水平的散斑对比度(在已经从检测到的信号中减去检测器噪声和环境光之后)并且能够分辨各个散斑颗粒。高信噪比(SNR)对于检测在所需角度分辨率下的散斑特性的变化是至关重要上。SNR取决于散斑对比度，其被定义为散斑强度的均方根(rms)变化与平均强度的比率。假设高斯统计，散斑对比度介于0至1之间。检测器应当具有较低噪声和较短积分时间。如果眼睛的运动适当地快于CCD照相机的曝光时间，则将发生散斑图案的快速强度波动，检测到的图案的平均值导致具有减少的散斑对比度的模糊图像。最小的散斑尺寸由衍射极限设定。应用衍射理论中公知的公式：w＝～2.44D/a(假设：检测器透镜至检测器的距离D～70mm；IR波长λ＝785nm；并且检测器透镜孔径为a～3mm)。我们在检测器处获得衍射极限散斑直径w～64微米。典型的鼠标传感器的分辨率约为每英寸400个-800个计数(cpi)，运动速率高达每秒14英寸(fps)。因此，有限的散斑尺寸相当于400cpi下每64微米一个计数，这与预期的散斑尺寸大致相符。

用于处理由眼睛跟踪器捕获的散斑数据的策略是基于许多假设。首先，散斑图案为角膜和视网膜的区域提供独特的“指纹”。其次，与要求散斑运动小于散斑尺寸的散斑干涉法不同，使用检测器阵列的散斑成像要求帧与帧之间的散斑位移大于散斑尺寸。第三，在检测器处的散斑对比度和散斑尺寸与检测器分辨率和SNR兼容。在许多情况下，可以合理地假设，角膜和视网膜相对于检测器的位移将导致散斑图案移动了相同的量，并且角膜和视网膜散斑图案的移动将处于相反的方向。关于计算眼睛运动，假设可以从两个连续帧散斑图案的相关性来确定斑点的运动。该信息连同角膜和视网膜散斑图案的相对运动一起可以用于确定眼睛位移矢量。相关性和图像分析处理可以利用已经在诸如雷达、生物成像等应用中开发的标准技术。散斑图像的以下特征也可以用于辅助眼睛使用散斑的跟踪：散斑粒度；散斑亮度(单个或集体亮度)；散斑形状；随眼球运动的任何前述特征的变化率；以及角膜和视网膜贝马(bema)位移的相对方向。散斑图像的这些方面中的每个将取决于照明光束方向(扫描或静态)；检测光学和成像光学的焦距。角膜对视网膜散斑的变化率将取决于焦距。

图30中的流程图总结了用于从记录的散斑数据确定眼睛位移矢量的过程。该过程依赖于在初始校准期间收集的帧数据和噪声特征的数据库。位移矢量的计算使用来自一套数学模型的输入，所述一套数学模型模拟一阶眼睛光学、眼睛跟踪器光学和眼睛动力学。用户可以中断该过程，或者当发生可切换光栅故障时自动中断该过程。该过程还包括光栅硬件控制，以实现可切换光栅列和读出元件的X，Y寻址。在一个实施例中，用于从两个检测到的帧获得眼睛位移矢量的相关过程可以总结如下。每个帧都被细分为较小的子帧。子帧坐标可以是预定的，或者可以通过使用来自眼睛动力学模型的输出的交互方案来确定。从在x和y方向上的一个像素的步长开始计算来自两个帧的子图像之间的2D相关图，并且重复计算，一次将步长大小增加一个像素。还可以在该阶段处计算其它统计度量以帮助改进计算。然后，我们重复用于另一个选定帧区域的相关过程。然后，使用相关图的峰值(使用两个分析的帧之间的时间段)计算位移矢量。在理想情况下，子帧应当完全位于角膜或视网膜区域内，两者通过其相反的方向来区分。在此阶段处，将拒绝两者未产生明确分离的数据。使用来自对眼睛动力学模拟的眼睛光学模型以及对光学系统模拟的眼睛跟踪器模型的数据来细化计算。经验证的位移矢量用于使用由使用眼睛动力学模型所计算的预测注视轨迹来确定用于跟踪器的下一个搜索X，Y坐标(即，SBG列和行)。在眼睛模型中所使用的基本光线光学，尤其眼睛的一阶角膜和视网膜反射路径的关系，可以使用诸如ZEMAX的光线追踪程序来建模。本领域的技术人员所熟知的标准眼睛模型足以用于该目的。可以使用其它模型来模拟来自视网膜和角膜的散斑。眼睛动力学模型对来自先前的帧的位移矢量进行统计分析，以确定最可能的光学的下一个X，Y搜索位置(即，要激活的列和读出元件)。

通过指导用户查看在FOV中的预定点处的测试目标来执行初始校准。在图32中示出孔瞄准过程，该图32示出流程图(图32A)和初始校准程序的示意图(图32B)。根据图31A，孔瞄准程序400包括以下步骤：

在步骤401处，在位置j处将目标呈现给眼睛；

在步骤402处，在位置j处捕获一系列帧；

在步骤403处，存储捕获帧；

在步骤404处，运动到在视场(FOV)中的下一个目标位置。

在步骤405处，在j小于预定的整数N的同时，重复该过程；否则结束该过程(在步骤406)。

参照图31B，我们看到，将通过在视场410中的不同点1≤j≤N(该点也被标记为411至413)处向观察者呈现目标(典型地为光源、分辨率目标等)并且在每个位置处捕获和存储签名图像的帧来执行初始校准。目标可以沿着由414标记的扫描路径被顺序地呈现。然而，可以使用其它呈现方案。所存储的帧将被处理以增强SNR和提取统计度量(例如，直方图、用于散斑尺寸的概率密度函数等)来用于随后的“即时”帧比较。每个帧都为所关心的FOV的区域提供“指纹”。签名将在以下方面中不同：角膜和视网膜反射的相对位置，或者使用散斑图案的地方：散斑对比度；和散斑尺寸分布(与光学放大率有关)。

关于图25的实施例，我们已经描述了覆盖输出光栅的图像采样光栅的使用。图像采样光栅包括可切换光栅元件的线性阵列，每个元件当处于其衍射状态中时都对波导中的光的部分采样并且使其沿着图像采样光栅朝向所述检测器偏转。以类似的方式，照明采样光栅覆盖输入光栅。该照明采样光栅光学地耦合到光源并且包括可切换光栅元件的线性阵列。每个元件当处于其衍射状态中时都将来自照明采样光栅的光偏转到波导中。转到图32，接下来，我们考虑使用单个光栅层实现图像和照明采样光栅的实施例。眼睛跟踪器420包括：波导420(包含光栅阵列)；图像采样光栅422；照明采样光栅423，其分别包含诸如424和425的元件。输出光栅426和输入光栅427分别将采样光栅链接到检测器和光源。如由光栅元件的阴影图案所指示的，每个元件都包括可切换光栅，其中，在附图的平面中，布拉格条纹相对于光栅矢量以45度倾斜；在所述附图的平面中即在与波导表面平行的平面中。发明人将这些光栅称为转动光栅。因此，在波导中经历TIR的照明光线1422被有源元件425通过90度的角度偏转到光线方向1423中。类似地，图像光线1420被有源元件424通过90度的角度偏转到光线方向1421中。从考虑附图中还应当显而易见，所有光栅可以在单个波导中形成单层(利用夹持的衬底的适当电极图案化)。还应当显而易见，转动光栅原理可以应用于上述实施例中的任一个中，涉及其中波导包括分开的重叠的照明光栅和成像光栅的那些实施例。采样光栅可以重叠。转动光栅的设计可以是基于题名为“OPTICAL DISPLAYS”的美国专利No.8,233,204的教导，该专利的全部内容通过引用合并于此。

上述类型的单层眼睛跟踪器设计中的挑战是提供足够的眼睛照明而不损害波导收集来自眼睛的散射光的能力。由于光栅互惠的基本原理，在双向波导中使用光栅进行光管理的大多数尝试都失败了。实际上，这意味着图像光中的某些几乎总是结束通过输入光栅耦合到通向源的照明路径中。在往复过程中，照明光中的某些被输出光栅衍射到通向检测器的成像路径中。这种交叉耦合的量将取决于光束发散和波导尺寸。图33中所示的所提出的解决方案假设上面讨论的共同照明和成像波导架构，尤其是图25中所示的架构。该设备包括波导450，所述波导450包括诸如451的SBG列阵列和波导部件451，所述波导部件451包括照明采样光栅452和成像采样光栅453并且包含诸如454、455的光栅元件(我们可以称为像素)。照明采样光栅的横截面由456提供。波导的横截面也示出并且由458指示。用于将图像和照明光耦合到检测器和激光器的光栅由458、459指示。最后，眼睛由460指示。未示出将典型地与如较早讨论的采样光栅重叠的输入光栅和输出光栅。接下来，我们考虑到光线路径，所述光线路径首先定义照明波导的法线，如由1430所指示。以角度U1入射直至眼睛的光束的路径由光线1431至1436指示，包括TIR路径1432，其如由光线1433所指示经由有源元件455耦合到波导中，如由光线1434所指示传播直到有源列元件451，沿着1435朝向眼睛衍射，并且光1436冲击眼睛的表面。从眼睛至检测器的反射光路径由光线1437至1440所指示，其中，来自眼睛的散射光由1437指示进入波导1438并且沿着路径1439传播，然后经由元件454衍射到图像采样光栅中，并且沿着通向检测器的路径1440前进。图33B示出用于以角度U2(大于U1)发射的入射光线1441的相对应的光线路径1441、1442，其终止于检测器，所述光线路径遵循图33A的逻辑。在本发明的一个实施例中，对于镜面光束而言，图33中所示的方法通过对输入光束角度施加较小的倾斜来消除不需要的光耦合，该倾斜的量等同于眼睛跟踪器成像矩阵的至少1个像素。在其它实施例中，较大的像素偏移可以用于更好的区分。在漫射光束的情况下需要类似的倾斜。光栅目前是用于产生倾斜的优选方案。然而，可以使用基于棱镜的可替代方法。在一个实施例中，图33中所示的方法用于为波导的上半部和下半部提供不同的光栅倾斜，从而防止波导的下部分的尺寸过大。

在眼睛跟踪器数据处理架构的描述中，我们讨论了如何通过在视场中的不同点处向观察者呈现目标(典型地为光源、分辨率目标等)并且在每个位置处捕获和存储散斑图案图像的帧来执行初始校准。当眼睛跟踪器正常使用时，这些图像用于帮助处理实时数据。建议通过在处理器内并入人工神经网络来辅助该过程。孔瞄准过程将与训练网络相对应。该网络可以用于补偿在处理中发生的任何系统测量误差的至少部分。在图34的框图中所示的本发明的一个实施例中，眼睛跟踪器系统包括眼睛跟踪器波导430，检测器431，处理器，所述处理器包括：主处理器432、波导SBG控制模块433、神经网络434和图像数据库435。系统模块通过由标号436至442引用的通信和控制链路连接。在图35中示出并入神经网络的更详细的架构。该架构旨在用于与诸如图25的设计的共同的照明光栅和成像光栅眼睛跟踪器设计一起使用。

如上所述，本发明的主要应用是VR。VR是极大FOV的同义词，100°至110°被视为下一代耳机的底线。然而，这只是开发人员面临的挑战的部分。满足VR的沉浸标准带来了其它挑战，其需要在显示和处理技术方面进行重大创新。目前的行业观点是，最高优先事项是克服晕动病。接下来的两个优先事项是实现对于虚拟世界再现所需的图像细节的水平以及对于模拟视觉深度所需的聚焦/会聚准确度。VR用户希望完美地模拟真实世界运动。如果VR图像的运动和相对应的更新之间的间隔(称为延迟)太长，则会引起晕动病。该延迟主要源于由VR图像的计算引起的时间滞后以及由用于跟踪头部运动和注视方向的传感器引起的滞后。晕动病尚未被完全了解，并且从用户到用户会显著地有所不同，经常发现更年轻的受试者是更加容忍的。虽然许多用户看起来随着时间的推移适应晕动病，但是无法假设在所有情况下都如此。首先通过解决内容设计并且其次通过消除传感器数据传输和图像处理流程中的瓶颈来解决问题。延迟问题的根源是当前计算机生成的图像(CGI)实践尝试在整个显示器上呈现高分辨率图像。这极大地浪费了功率和计算资源，并且只会加剧延迟。现在，减少图像生成负担的挑战正在通过最近重新发现的方法来解决，该方法是将图像细节集中到被合并到低分辨率背景图像中的跟踪眼睛的高分辨率插入物中。该技术目前被称为视网膜凹式渲染。基本原理是人眼在竖直方向上看135°并且在水平方向上看160°，但是只能在称为中央凹的5°中心圆内感测细节。通过跟踪眼睛注视并且使图像分辨率适应偏心，我们可以省略未感知的细节和绘制明显更少的像素和三角形。结果看起来像是全分辨率图像，但是将阴影的像素的数量减少了10倍至15倍，同时对数据吞吐量产生了巨大影响。再举一个示例，我们可以在HD(1920×1080)显示器中将图形计算加速5倍至6倍。用于视网膜凹式渲染的先决条件是低延迟眼睛跟踪器。传统的眼睛追踪方法依赖于由图像处理算法支持的照相机以用于边缘和形状发现。这在许多应用中都运作良好，但是在VR中它立即引发新的问题：随着眼睛向其场的末端倾斜，捕获的签名迅速地更加歪曲；图像处理问题按比例升级。在图像处理术语中，检测到的签名的信噪比减小。照相机的朦胧和眼睛的虚假反射只会让事情变得更糟。这是VR实现视网膜凹式渲染的主要障碍，其先决条件是高度地跟踪在场的任何地方的SNR。该图像处理问题的解决方案可以通过更精细的算法被部分地解决，但是仅以延迟为代价。因此，常规的基于照相机的眼睛跟踪器不是用于非常大视场的视网膜凹式渲染的可行解决方案。

所需要的是设计多于一个的视点以确保对于在眼睛FOV上的任何注视方向而言SNR是较高的；但是这样尝试借助多个照相机而导致集成问题，添加了成像器处理负担和额外成本。本发明在计算上和在光学实现方面提供更优质的解决方案。图36示出本发明的实施例，其可以用于提供一种眼睛跟踪器，用于照亮眼睛并且从与不同视点相对应的多个不同方向检测来自眼睛的一个或多个表面的反向散射光。图36A示出剖视图，并且图36B示出平面图。眼睛跟踪器包括单个SBG层双向波导460，其中记录有输入耦合光栅461、输出耦合光栅462和SBG列463至467的阵列。输入光栅将来自红外光源468的光1500耦合到波导中的TIR路径1501中。光通过有源SBG元件463离开波导而衍射到方向1502中。从通过有源光栅463耦合入的眼睛表面反向散射的光1503遵循波导1504中的逆反TIR路径并且在方向1505上朝向图像传感器469衍射。透镜470用于将眼睛的表面的图像聚焦到图像传感器上。例如，眼睛的表面可以是角膜、晶状体或视网膜的表面。在一个实施例中，表面可以是在眼睛内部或在眼睛外部的某些任意虚拟表面。在一个实施例中，列SBG元件具有布置在不同方向上的k矢量。在图36的实施例中，k矢量相对于由1506指示的波导的法线是对称的。有利地，法线与眼睛的旋转中心重合。每个k矢量都确定每列的衍射角。因此，如图36A中所示，输出光线方向也围绕法线1509对称。输出光线1502、1506具有相反的角度，而反向散射光线路径1503、1507同样是对称的。出于解释本发明的目的，图36A中的每列以其衍射状态示出。通常，在任何时间只有一个列将处于衍射状态中。然而，在本发明的某些实施例中，多于一个的列可以在任何时间是有源的。注意到，尽管来自波导的照明光将是基本准直的，但是通过SBG元件耦合到波导中的来自眼睛的反向散射光将具有由SBG的衍射效率角度带宽确定的角度范围。到达图像传感器的光线的角度范围还取决于图像传感器透镜的光学规格。图36B更详细地示出光栅元件的布置。示意性地示出成像传感器和图像透镜以及红外光源。还使用光线1500至1505示意性地示出照明和成像光的TIR路径。

本发明允许输入耦合和输出耦合的若干不同配置。在图36B中，输入耦合光栅包括排成行的三个SBG元件。每个元件都具有不同的光栅规格，允许通过选择性切换SBG元件462而提供的SBG列463至465的路径方向具有多样性。输出光栅是无源列状元件。输出光栅可以是常规的无源布拉格光栅或者是配置为非切换元件的SBG。在任何时间，来自列和行SBG阵列中的每个的一个列元件和一个行元件被切换到衍射状态中。这些列用于跟踪水平眼睛旋转，并且这些行用于扩展竖直跟踪范围。这些列最初被扫描以确定最佳眼睛位置，并且随着眼睛水平地旋转，当在给定列上的信号减少到预定的最小信噪比时，信号将从一个列转移到相邻的列(左或右)，有源的列可以运动到相邻的列。典型地，列具有较大的竖直注视跟踪范围。发明人已经发现，可以在±15°上跟踪眼睛旋转而无需选择新的行。然而，这些行允许系统被定制以提供更大的眼睛盒，以便相对于由相对于眼睛的跟踪器滑移所导致的标称眼睛盒的中心适应眼睛位置变化。

图37示出可以在本发明的某些实施例中使用的波导光栅构型的示例。在每种情况下，都示出波导、列光栅、输入光栅和输出光栅。在图37A的实施例中，波导480包含列SBG481至483、输入光栅485、转向光栅462A至462C和输出耦合光栅484。该输出光栅小于在图36的实施例中使用的输出光栅。由标记为1510至1513的光线指示从482到元件484的图像光学路径，并且指示从元件462A到481以及从462C到483的TIR路径。列元件和输入耦合光栅全部是切换光栅。在图37B的实施例中，波导包括输入光栅和输出光栅、列光栅和折叠光栅或转动光栅486。折叠光栅是使光在波导的平面内偏转的光栅；常规波导光栅在与波导的平面垂直的平面内衍射光。与常规光栅结合使用折叠光栅可以极大地增强用于全息波导光学的设计空间，允许以最少数量的波导层实现光束扩展和光束转向。另一个优点在于，如由光线1517指示的折叠光栅的光瞳扩展特性消除了对大光圈透镜的需要，因而能够实现非常紧凑的眼睛跟踪器。折叠光栅可以是无源的或开关的。然而，可切换折叠光栅倾向于具有更高的衍射效率，这是对于高检测效率所需的。图37C将折叠光栅488引入到成像通道中，其中，输出耦合光栅包括图36的列状元件462。由光线1518指示由折叠光栅产生的扩展的收集孔径。在图37D的实施例中，图37C的折叠光栅487被分成两个元件487A、487B。有利地，这两个元件是切换元件。在图37E的实施例中，图37A的输出耦合元件484由折叠光栅488和输出耦合列光栅462代替。最后，在图37F的实施例中，图37D的成像路径折叠光栅488由两个切换折叠光栅489A、489B代替。从考虑上面的描述和附图中应当显而易见，光栅、折叠光栅、切换光栅的许多其它组合可以用于应用本发明。还应当显而易见的是，在如图37D和图37F中所示折叠光栅已经被分成两个切换元件的情况下，光栅可以被分成更多元件以满足特定的光束管理要求。给定类型的元件数量及其规格和相对位置将由所需的眼睛跟踪器角度范围、眼睛盒的尺寸以及从源到眼睛的路由照明光的规格和从眼睛到图像传感器的路由照明光的规格来确定。

虽然期望的是提供如图36A中所示的不同的眼睛视角，但是输出光可以简单地包括如图35中所示的平行光束。眼睛跟踪器包括单个SBG层双向波导490，其中记录有输入耦合光栅491、输出耦合光栅492和SBG列493至497的阵列。输入光栅将来自红外光源498的光1520耦合到波导中的TIR路径1521中。光通过有源SBG元件463离开波导而衍射到方向1522中。从通过有源光栅493耦合入的眼睛表面反向散射的光1503遵循波导1524中的逆反TIR路径并且在方向1525上朝向图像传感器499衍射。透镜(未示出)用于将眼睛表面的图像聚焦到图像传感器上。

在图39中所示的一个实施例中，眼睛照明由分离的背光提供。眼睛跟踪器包括波导500，所述波导500包括输出耦合光栅500、成像传感器和SBG列502至506的阵列。背光508是电光装置，其通过扫描横过眼睛盒的一片光来照亮眼睛。照明光在一个扫描位置处由光线1530表示并且在第二扫描位置处由光线1531表示。由于波导是透明的，因此对光有较小的干扰。当光线1530照亮眼睛的表面时，反向散射的光1532通过SBG元件503耦合到波导中，遵循TIR路径1533至1534，直到它通过输出耦合光栅衍射到通向成像传感器的输出路径1535中为止。在一个实施例中，背光在概念上与类似在题名为“CONTACT IMAGE SENSORUSING SWITCHABLE BRAGG GRATINGS”的PCT申请No.:PCT/GB2013/000005中公开的那些。在一个实施例中，背光可以通过计算机屏幕提供，其中，通过将显示器中的像素的列设定为峰值亮度和使剩余的像素变暗来提供各个光片。

在图40中更详细地示出图39的实施例，其示出不同的眼睛观察视角的使用。眼睛跟踪器包括单个SBG层双向波导510，其中记录有输入耦合光栅511、输出耦合光栅512和总体上由513表示的SBG列的阵列。输入光栅将来自红外光源515的光1500耦合到波导中的TIR路径1541至1542中。光通过有源SBG元件514离开波导而衍射到方向1543中。从通过有源光栅463耦合入的眼睛表面反向散射的光遵循波导1544至1545中的逆反TIR路径并且在方向1546上朝向图像传感器516衍射。透镜517用于将眼睛表面的图像聚焦到图像传感器上。由列元件提供的观察视角方向的范围总体上由1547指示。插图1550示出与视角方向中的四个相对应的一套眼睛透视图1551至1554。

图41至图42示出本发明的两个实施例，其解决了HMD中的眼睛跟踪的要求。光栅架构包括SBG列的阵列521，其包含诸如522的元件、输入SBG折叠光栅523和输出折叠光栅525的阵列，用于将图像光指引到由526指示的检测器阵列和检测器透镜的输出耦合光栅525以及输入红外光源521。从源到眼睛的光束路径由光线1570、1571指示。来自眼睛的成像传感器的光束路径由光线1572、1573指示。图42至图43的实施例旨在用于与包括输入图像面板和双目准直透镜的HMD集成。在这种情况下的示例性HMD是由Oculus有限公司制造的OculusRift耳机。波导层可以布置在准直透镜和眼睛之间或布置在输入图像面板和透镜之间。在后一种情况下，准直透镜可能对眼睛跟踪成像光束造成一些失真。在图43的实施例中，通过将列状衍射透镜的阵列覆盖包含SBG列阵列的波导的区域来校正失真。在可替代的实施例中，由透镜阵列元件提供的校正相位函数可以被全息地编码到SBG列中。

图43是示出用于控制根据本发明的原理的眼睛跟踪器的系统架构的框图。图44是示出基于图36至图40的实施例的眼睛跟踪器系统架构的框图。

在基于图36的实施例的一个实施例中，SBG列阵列的元件中的两个可以在任何时刻处被激活，使得一个元件用于将照明光沿着第一方向朝向眼睛偏转，并且第二元件用于收集从眼睛沿着第二方向散射的光。在图45中示出一般原理，图45示出包含输出SBG阵列元件531至532的波导530的部分。TIR照明光1580通过有源SBG元件531在朝向眼睛的方向1581上偏转出波导。同时地，在方向1582上的反向散射光经由SBG元件533耦合到波导中，并且波引导为TIR光束1583。

尽管本发明的某些实施例的描述强调了散斑图案的检测，但是从考虑描述和附图中应当显而易见，可以使用相同的光学架构和实际上处理架构的许多特征部，以便使用来自眼睛的其它光学签名来执行眼睛跟踪。例如，诸如亮瞳孔或暗瞳孔和闪光的特征部可以提供适当的签名。被跟踪的眼睛特征部的模糊不存在障碍，其条件是检测到的图像包含足够的内容，用于在孔瞄准(或神经网络训练)阶段中在捕获的帧和存储的图像捕获之间进行相关性。

光学设计要求仔细平衡高源通量，所述高源通量是克服由小收集角度引起的低效吞吐量、贯穿波导的低透射率和眼睛的低反射率(在角膜的表面处～2.5％)以及要求眼睛安全的IR照明水平所需的。典型地，对于在连续IR曝光下一次使用眼睛跟踪器几小时的应用而言，眼睛辐照度不应超出约1mW/cm2。用于眼睛安全红外辐照度的适当标准是本领域的技术人员所公知的。由于所提出的眼睛跟踪器横过眼睛滚动照明，因此角膜和视网膜不暴露于连续的IR曝光，允许使用更高的曝光水平，从而引起更高的散斑对比度水平，并且因此在检测器处具有更高的SNR。在基于可切换光栅的设计中，存在切换故障的风险，导致激光束扫描冻结，使得所有可用的输出激光功率被集中在眼睛的较小区域中。

根据本发明的原理的眼睛跟踪器提供许多优于竞争技术的优点。最重要的是，在本申请中公开的眼睛跟踪器具有固有的低延迟，这是由于其使用多个视点和低分辨率检测器以及低分辨率检测器以在任何注视方向上捕获高SNR签名。相比之下，基于照相机的眼睛跟踪器具有单个固定视点。随着眼睛旋转，SNR减小，导致滞后逐渐地增加。由于更复杂的眼睛签名的成像需要高分辨率检测器和精细的图像处理和跟踪算法，基于照相机的眼睛跟踪器具有高延迟。发明人预计，在完全开发之后，眼睛跟踪器将输送至少300Hz的更新速率；以及±0.5度的跟踪准确度。本发明提供一种薄的、透明的、可切换的全息波导。该设计消除了折射光学并且提供了单片平面架构，其可以使用全息印刷工艺成本高效地且可靠地制造。本发明克服了基于照相机的眼睛跟踪器的视线遮挡问题。该眼睛跟踪器实际上是不可见的，只有高度透明的窗口才能呈现来自显示器/外部场景的光。双向可切换全息波导架构允许使用窄角度或准直IR光束高效地照亮眼睛，以在需要的地方确切地提供照明：即，在待跟踪的眼睛表面上，并且与检测光学路径一致。由于在眼睛处的IR辐照度由切换的SBG元件暂时地调制，所以本发明可以使用相对高的IR辐照度水平，而同时该IR辐照度水平保持远低于眼睛安全MPE阈值。眼睛盒可以根据应用进行定制。就HMD而言，眼睛跟踪器光瞳(目前大约10mm竖直)对于VR HMD来说是足够的。眼睛跟踪器可以跟踪至少50°的注视方向。发明人确信现有设计可以按比例放大到更大的角度，直到由VR HMD所要求的110°场为止。作为薄的高度透明元件，眼睛跟踪器与眼镜和隐形眼镜兼容。作为全息波导技术，眼睛跟踪器将基于相同的技术与HMD无缝集成。

本发明还提供一种用于使用结构光在3D中跟踪对象的装置。头部跟踪和手势跟踪在VR和AR的背景下特别受关注。当前的跟踪器技术使用固定的照相机并且要求被跟踪的主体具有附着于其表面的反射目标或光源。这并不总是实用的。此外，照相机跟踪系统遭受遮挡和空间改变SNR的问题。所提出的方法是使用包含SBG元件的全息波导来跟踪结构光例如散斑，用于控制光束角度、漫射角度、相位特征和散斑对比度。要讨论的实施例基于题名为“COMPACT EDGE ILLUMINATED DIFFRACTIVE DISPLAY”的美国专利申请No.13/506,389、均标题名为“LASER ILLUMINATION DEVICE”的美国专利No.US8,224,133和US8,565,560以及题名为“APPARATUS FOR EYE TRACKING”的PCT/GB2013/000210中公开的全息波导实施例和一般教导。美国专利申请No.13/506,389公开了一种全息波导，其包含用于将结构化的IR光投射到所接收的表面上的SBG和用于检测返回光的传感器。在一个实施例中，波导提供结构光照明以用于跟踪3D中的对象。波导还可以被配置成提供允许虚拟键盘投射在附近表面上的显示器。美国专利No.US8,224,133和US8,565,560两者都公开了含有SBG的波导，用于修改照明光的散斑(和其它)特征。SBG可以被配置成控制输出光束方向、漫射、光学功率、相位和散斑对比度。题名为“APPARATUS FOR EYE TRACKING”的PCT/GB2013/000210公开了一种包含SBG的双向波导，用于照亮和检测来自眼睛表面的IR签名(包括散斑)。跟踪器使用多个观察/照明透视以在FOV中的任何地方提供高SNR签名。高SNR图像使得能够使用快速低分辨率检测器，从而引起非常低的延迟。尽管PCT/GB2013/000210涉及眼睛跟踪，但是本发明同样地可适用于跟踪提供可检测签名的其它对象。图46示出一组针对使用结构光的对象跟踪的示例性实施例。在图46A的实施例中，提供包含SBG元件541至543的波导540，用于将TIR光离开波导而偏转到输出光束1591至1593中。来自光源548的照明光经由输入光栅547耦合到波导中。每个光束1591至1593都提供结构光，其特征在于光束强度分布、散斑对比度、相位分布或光束方向中的至少一个，从而在光束方向1595上产生总体上由1594指示的结构化照明图案。由图像检测器阵列549直接检测照明。注意到，在所示的实施例中，不需要透镜。然而，在其它实施例中，可以使用透镜将照明聚焦在检测器表面上。波导和检测器处于相对运动中，如方框箭头1596所指示。波导或检测器可以被固定在3D空间中。或者，波导或检测器两者可以相对于3D空间中的某个固定参考系运动。来自图像检测器阵列的连续记录的帧可以被相关以确定运动矢量。在一个实施例中，检测器和波导的相对运动可以在任何方向上处于与检测器平面平行的平面内。在一个实施例中，检测器或波导中的任一个或两者可以在3D空间中沿着曲线路径运动。在图46A的实施例中，光束具有类似的光学特征。在图46B的实施例中，波导550包含SBG 551至555，其将光衍射成具有不同发散度的光束，如由光束1600至1602所示。较宽的光束发散对于在短范围内检测对象是有用的，而较窄的发散对于较长的范围更有利。示出了在方向1603上得到的照明图案1604。应当注意到，在上述实施例中，在检测器处的照明方向可以从仅由一个SBG元件偏转的光产生。或者，照明分布可以是由在检测器积分时间内来自多于一个的SBG元件的照明分布的积分所产生。在图46C的实施例中，波导560包含SBG 561至565，其将光衍射成具有不同散斑对比度的光束，如由光束1610至1612所示。图46C的实施例还使用不同尺寸的SBG元件来控制散斑粒度，该散斑粒度与衍射元件尺寸成反比。这允许散斑颗粒与在不同范围处的检测器阵列像素尺寸匹配。示出了在方向1613上得到的照明图案1614。在与图46B的实施例类似的图46D的实施例中，波导560包含SBG 571至572，其将光衍射成具有不同散度的光束。示出了在方向1613上得到的照明图案1614。图46的检测器由反射表面573代替，所述反射表面573在方向1624上反射照明1623。反射的照明通过SBG元件576和SBG元件577耦合到波导内的TIR路径1620中，所述SBG元件576耦合到在方向1621上入射的反射光中，所述SBG元件577耦合到在不同方向1622上入射的反射光中。最后，检测到的光1620通过光栅574朝向成像检测器575衍射出波导。检测器典型地为在计算机鼠标技术中使用的快速的、低分辨率装置。对于本领域的技术人员来说应当显而易见的是，检测方向1621、1622提供观察视角，借助所述观察视角可以使用三角测量来确定反射表面(或其一部分)的位置。多个视角允许在跟踪空间中的任何地方具有更大的FOV和高SNR。照相机系统具有固定的视角，导致SNR在空间上变化。通过处理相继的图像数据的帧，可以使用图像处理来确定反射表面的运动方向。在一个特定实施例中，结构光是散斑，并且位置和速度矢量使用如前所述的相关方法从相继的帧来确定。

在一个实施例中，提供一种波导装置，其包括眼睛跟踪器和用于手势检测的全息元件。作为示例，图47至图48中所示的实施例组合了图36的眼睛跟踪器的特征部和图46D的对象跟踪器的特征部。图36中使用的附图标记再次用于标记眼睛跟踪器的关键部件。现在，图47至图48的眼睛跟踪器波导包括SBG元件581至583，其将光衍射成具有不同发散角的光束，如由光束1633至1635所示。参照图47的剖视图，来自外表面(未示出)的反射照明通过元件584至586耦合到波导内的TIR路径1620中，所述元件584至586分别耦合到沿着方向1636至1638入射的反射光。检测到的光1640通过光栅589朝向成像检测器590衍射出波导，成像检测器590通过数据链路600耦合到图像处理器592。来自眼睛跟踪器的图像光1639通过光栅462朝向成像检测器469耦合出波导，所述成像检测器469通过电子数据链路601耦合到图像处理器591。眼睛跟踪器照明光由激光器模块468提供，所述激光器模块468通过光栅461耦合到波导，照明路径由光线1630指示。手势跟踪器照明光由激光器模块588提供，所述激光器模块588通过光栅587耦合到波导，照明路径由光线1632指示。眼睛跟踪器SBG在图47中以简化形式指示，并且在图48中更详细地指示。到眼睛593的眼睛跟踪器输出照明路径由光线1631指示。转到图48的平面图，从激光器模块588通过输入光栅587到手的用于手势跟踪器的照明路径由光线1651、1652指示，与照明光束相关联的散斑图案由1653指示。从手到输出耦合光栅589到检测器阵列590的反射光的路径由光线1654指示，与反射光相关联的散斑图案由1655指示。在所有其它方面，图48与图36B相同。

在图49中所示的一个实施例中，提供了一种基于图47至图48的全息波导装置的原理的头部跟踪器620。附接至安装在头部622上的可佩戴显示器621的头部跟踪器沿着一组不同的方向1660至1665发射结构光束并且从跟踪容积623内的反射表面1666至1669接收光。在优选实施例中，结构光包括散斑。每个表面都与一组独特的散斑图案相关联。例如，具有散斑特征1672的光束方向1664被反射到方向1671中，所述方向1671具有由头部跟踪器波导检测的散斑特征1673。通过检测器看到的散斑图案的特征将取决于来自波导的输出光束的散斑特征以及表面的反射或散射特性。来自反射表面的图像的序列被相关以确定这样的矢量，即，所述矢量用于计算头部相对于坐标系的位置，所述坐标系相对于跟踪容积定义。可以使用相同的数据来计算头部的偏航俯仰角和侧倾角。

图50示出与图46A中的实施例相关的实施例，其中位于波导装置540和检测器阵列549之间的透镜549A用于将照明光束中的散斑1594成像在接近于检测器阵列的第二散斑图案1597中。

在图51的实施例中，对象跟踪器包括覆盖检测波导644的照明波导640。参照图51A的平面图，照明波导包含光束扩展光栅641和输入耦合光栅643，所述光束扩展光栅641用于将总体上由1702指示的光朝向眼睛盒提取出波导，所述输入耦合光栅643用于耦合入来自照明644的光1700。检测波导包含SBG列阵列645和输出光栅646，所述SBG列阵列645用于将来自眼睛的反射光1703耦合到波导中的TIR路径中，所述输出光栅646用于将来自波导的光1705耦合出而到达检测器647。在照明和检测波导中的TIR传播方向由箭头1701、1704指示。图51A是照明波导的正视图，其示出输入耦合光栅643和提取光栅641，所述输入耦合光栅643用于耦合入来自光源的光1710(在附图的平面之外)。被配置为折叠光栅640的又一个光栅扩展入耦合的光束1711并且使其在正交方向上偏转以填充出耦合的光栅的水平尺寸。然后，该光继续向下沿着如由TIR光束方向1712所指示的提取光栅传播，沿着朝向如由光线1713所指示的眼睛盒离开波导的路径提供均匀的提取。提取发生在如由光线1714、1715所指示的输出耦合光栅的整个面积上。图51C是检测波导644的正视图，其示出耦合到折叠光栅649的列光栅645的阵列，所述折叠光栅649将来自眼睛的波导反射光朝向输出耦合光栅646耦合。在任何时间下，例如，标记为650的一个SBG列处于其衍射状态中。有源列将从眼睛1720反射的光入耦合到TIR路径1721中。然后，折叠光栅将光束转向到正交路径1722中。输出耦合光栅将光朝向检测器出耦合到方向1723中(在附图的平面之外)。注意到，如果期望的话，输入光栅和输出光栅可以用棱镜代替。

在图52的实施例中，对象跟踪器包括基于图51的实施例的两个相同的波导。波导彼此以90度旋转，以允许在竖直方向和水平方向(或任何其它正交方向)上跟踪。照明波导660和检测波导670提供水平跟踪，而同时照明波导680和检测波导690提供竖直跟踪。照明波导660包括用于耦合来自光源661的光的输入耦合光栅662、折叠光栅664和光束提取光栅663。检测波导670包括：SBG列阵列673，所述SBG列阵列673中的一个元件例如674在任何时间是有源的；折叠光栅675；和用于将眼睛反射耦合到检测器673的出耦合光栅672。照明波导680包括：输入耦合光栅682，其用于耦合来自光源681的光；折叠光栅684；和光束提取光栅683。检测波导690包括：SBG列阵列694；折叠光栅693；和用于将眼睛反射耦合到检测器691的出耦合光栅692。列阵列的一个元件例如695在任何时间是有源的。注意到，检测波导中所使用的切换列阵列仅是切换光栅；照明和检测波导中的折叠光栅和输入/输出耦合器光栅全部是无源的。源可以被边缘耦合或直接结合到波导。检测波导典型地包含介于三个到五个之间的列。潜在地，可以使用八个或更多个列。更多的列允许更多的透视图，用于具有更大的FOV的更好的注视方向辨别。潜在的信号模糊和竖直/水平串扰通过若干措施被克服，所述若干措施包括：以反相驱动竖直和水平切换层；偏振控制(眼睛在实践中似乎保持偏振)；和算法方法。

如上所述，在某些实施例中，检测器包括单个元件红外光电检测器，其直接结合到输出光栅上方的波导。在某些实施例中，检测器可以借助覆盖输出光栅的棱镜耦合到波导。在某些实施例中，检测器透镜规格被记录到输出耦合光栅中。来自检测器的信号用于随着眼睛旋转而跟踪眼睛签名的峰值强度。然后，所记录的峰值强度与用于不同注视方向的峰值强度值的查找表(LUT)比较。单个元件红外检测器具有与阵列技术相比显著的速度优势。典型地，在眼睛跟踪中要求的300Hz甚至500Hz的检测频率完全在这些装置的动态范围内。通过以无偏(光伏)模式操作检测器，可以消除暗电流，从而允许非常高的灵敏度和高SNR。

在一个实施例中，跟踪器在大约1550nm的红外波长下操作。从眼睛安全视角来看，这是非常期望的，这是因为高于1400nm的光被角膜和眼睛晶状体吸收。来自角膜的反射信号与较低的IR波长一样强。为了强调安全优势，在1500nm处的可允许眼睛安全激光功率比在800nm处的可允许眼睛安全激光功率高了约50倍。

在图53的实施例中，对象跟踪器具有在单层中记录的接收和发送通道。该设备包括波导700，所述波导700包含用于从波导朝向眼睛提取照明的列阵列和用于将来自眼睛的反射耦合到波导中的散布列。例如，列703、705、707用于照明，并且列704、706、708用于检测。在图53A中，照明列703和检测列704都处于它们的衍射状态中。这些列具有光学功率，使得来自光源701的发散光束1720、1721通过列703出耦合到准直光束1722、1723中，所述准直光束1722、1723照亮眼镜条1725。反射光1724、1725通过列704耦合到波导中，所述列704将光形成到聚焦到检测器702上的会聚光束1726、1727中。图53B示出波导的横截面。

在图54的实施例中，与图55的波导类似的波导720使用重叠的光导721来扩展和准直来自光源731的光。在波导720中，列723、725、727用于照明，并且列724、726、728用于检测。如图54A中所示，光包含倾斜表面722、723，用于将光从光源转向到照明和检测波导。光导在图54B中以未折叠光导732示出。检测列具有光学功率，使得反射光1745通过列726耦合到波导中，所述列726将光形成到聚焦到检测器735上的会聚光束1746中。

在图55的实施例中，波导740使用重叠的光导742来扩展和准直来自光源741的光。光导在图55B中以未折叠光导示出。如图55A中所示，光包含倾斜表面743、744，用于将光从光源转向到照明和检测波导。光导在图55B中以未折叠光导759示出。照明和检测波导包含两个不同规格的交替光栅。在照明列752、754、756中使用的第一规格提供无源有损光栅。在检测列751、752、755中使用的第二规格提供用于将检测到的光会聚到检测器元件757上的光学功率。

在图56的实施例中，与图55的波导类似的照明和检测波导770包含两个不同规格的交替光栅。在照明列776、778、780中使用的第一规格提供无源有损光栅。在检测列775、777、779中使用的第二规格提供用于将检测到的光转换到检测器元件772上的光学功率。该实施例与图55的实施例的不同之处在于，照明由耦合到切换折叠光栅阵列773的照明器771提供，所述切换折叠光栅阵列773的每个元件都对独特的照明列寻址。如图56中所示，折叠光栅阵列的有源元件774将照明光束1770耦合在照明列776中，所述照明列776随着准直光束1772形成照明条1773而从波导提取光。反射光1774通过有源检测列777耦合到波导中，所述有源检测列777将光1775会聚到检测器上。

如图57中所示，该图涉及包含如上所述的照明列和检测列的照明和检测波导790，上述实施例可以以几种不同的方式配置，用于高效地照明和检测待跟踪的对象。例如，在图57A的实施例中，照明列792提供准直照明1780，其被散射在来自眼睛表面的发散光束中。在图57B的实施例中，诸如1785的多个照明列被同时地激活。来自每个照明光束的反射光具有不同的角度特征，如由1784、1786所指示。在图57C的实施例中，照明列提供发散光。在图57的实施例中，所有照明列是有源的，同时地提供广泛(broad wash)的准直光。

在图58中所示的一个实施例中，对象跟踪器波导包含用于将杂散光1790朝向光阱798偏转的光栅797。波导还包括光阱799，其邻接波导的边缘以用于捕集诸如1791的光。

在图59的剖视图和图60的平面图中示出的一个实施例中，提供一种对象跟踪器，所述对象跟踪器包括含有间隔的无源光栅列的第一波导。第二波导覆盖第一波导，所述第二波导包含散布有第一波导的列的切换列。检测器耦合到第二波导的一个边缘。源耦合到第一波导的一个边缘，并且曲面镜形成在相对的边缘上。在一个实施例中，第二波导还包括光阱。在一个实施例中，镜覆盖第一波导。在一个实施例中，镜还包括四分之一波片。

在图61中所示的一个实施例中，提供一种眼睛跟踪的头戴式显示器。该实施例不需要专用的照明波导。输入图像显示器面板用于将照明光反射到眼睛上。照明从在视线之外的源引入，照明以避免通过检测器光栅衍射的角度穿过检测器波导。由于眼睛跟踪器是较薄的且透明的，所以有几种设计选项可供探索。在图61A中所示的一个实施例中，眼睛跟踪器检测器波导直接安装在显示器面板的上方。在图61B中所示的一个实施例中，检测器波导被安装在与显示器面板成90度的平面中。来自眼睛的反向散射光从显示器面板反弹并且弹回到侧壁安装的传感器上。在1550nm波段操作的实施例中，光可以较容易地通过漆料涂层，使得传感器可以涂成黑色，如传感器不是在视线之内的。最后，在图61C的实施例中，检测器波导被安装在显示器透镜和眼睛之间。

在图62中的分解图和图63中的侧视图中示出的一个实施例中，检测器具有两个层，每个层都包含SBG列，两个波导的列被正交地对准。波导被布置(displsed)在显示器面板和显示透镜之间。每列的光栅规格都包含光学功率，使得在耦合到波导中之后来自角膜的反射被聚焦到光电检测器元件上。由于透镜和跟踪器在不同的轭合物下操作，波导光栅也必须对光学功率编码，即，波导光栅对从眼睛到检测器的散射光执行透镜化和光束转向的双重功能。

在图64中的分解图和图65中的侧视图中示出的一个实施例中，检测器具有两个层，每个层都包含SBG列，两个波导的列被正交地对准。波导被布置(displsed)在显示透镜和眼睛盒之间。每列的光栅规格都包含光学功率，使得在耦合到波导中之后来自角膜的反射被聚焦到光电检测器元件上。由于透镜和跟踪器在不同的轭合物下操作，波导光栅也必须对光学功率编码，即，波导光栅对从眼睛到检测器的散射光执行透镜化和光束转向的双重功能。

在图66中所示的一个实施例中，提供一种VR显示器，所述VR显示器用于显示由全向传感器873所捕获的影像，所述全向传感器873包括球形组件，所述球形组件包含多个照相机，所述多个照相机具有围绕球形表面分布的孔径875。影像被馈送到包含左眼和右眼显示器面板871的VR耳机870中，眼睛跟踪器波导可以是基于上述实施例872和显示透镜873中的任何一个。耳机具有至图像处理器的数据链路，所述数据链路响应于跟踪的注视方向控制诸如1至3的视场的部分的显示。

在图67中所示的一个实施例中，提供一种LIDAR系统，所述LIDAR系统包括波导890至892的堆叠，每个波导都包含SBG列893至895。激光照明经由棱镜896耦合到波导中，并且通过每个有源SBG列偏转出波导。每个SBG都具有与唯一输出方向相对应的规格。返回光通过有源列耦合到波导中并且被中继到检测器。在一个实施例中，使用具有小平面901和旋转轴线902的扫描棱镜900将照明光耦合到波导中。在某些实施例中，照明光通过光栅或棱镜耦合到波导中。

根据本发明的原理的眼睛跟踪器可以用于实现增强现实(AR)显示器的全部范围的益处，即：紧凑且轻量的形式因素，其用于无障碍、透视、移动和延伸的用法；宽视场，其允许现实世界和计算机生成的图像之间的有意义的连接；以及提供强大的深度和遮挡提示的能力。后者经常是最强的深度提示之一。尽管最近的显示器的进步已经共同地满足了这些要求，但是没有一种显示器技术具有所有这些特性。

在一个实施例中，本发明提供一种眼睛从属波导显示器，其中，左眼和右眼跟踪器根据本发明的原理对左眼和右眼注视交叉点进行三角测量以提供深度提示。波导显示器通过在不同图像深度处提供焦面来克服聚散-调节冲突，其中，显示器根据由眼睛跟踪器提供的深度数据动态地重新聚焦。显示器还包括基于空间光调制器的动态遮挡掩模。

在一个实施例中，根据本发明的原理的左眼和右眼跟踪器用于光场显示器中。光场显示器在多个焦面处提供影像，从而支持在整个有限景深内连续调节眼睛。在双目配置中，光场显示器提供解决现有立体显示器中发生的调节-会聚冲突的措施。左眼和右眼跟踪器对左眼和右眼注视交叉点进行三角测量以确定正观察的特征部的深度。在图68中所示的示例性实施例中，光场显示器是提供四个焦面的波导显示装置。然而，显示器的基本原理可以扩展到任何数量的焦面。该设备包括输入图像生成器910、911，每个输入图像生成器都提供待在两个焦面处显示的图像。典型地，图像生成器可以各自包括微显示器面板和相关联的驱动电子器件。图像是准直的，并且未示出的源可以是激光或LED单色或彩色。在图中标记为IIN的输入图像节点将图像光耦合到波导913中，所述波导913包含输出光栅914和一组输入光栅915A至915D。输入光栅具有光学功率。输出光栅将典型地是平面光栅；然而，在某些实施例中，为了像差校正的目的，会有利的是将光学功率添加到该输出光栅。如以下将解释的，每个输入光栅都形成第二分离的图像表面，即，光栅915A至915D提供焦面1886A至1886D。焦面是与从在1885处指示的眼睛盒看到的图像深度相对应。输入光栅的第一个功能是耦合来自波导内的TIR路径中的IIN的准直光。输入光栅的第二个功能是对光束施加略微的不准直，使得在波导的外侧形成图像表面。来自图像生成器的输入光1880A、1880B耦合到由912标记的输入图像节点(IIN)中，提供由1881A至1881D指示的准直光。IIN将来自图像生成器910的光1880A指引到光学路径1881A、1181B中(用于在焦面1886A、1186B处投影)而进入波导中。路径1881A、1881B中的光通过输入光栅915A、915B衍射到TIR路径中。随着微显示器面板的图像更新，光栅依次切换。在任何时间，只有一个光栅是有源的。当图像生成器910显示待在焦面1886A处投影的信息时，光栅915A处于其激活状态中。当图像生成器910显示待在焦面1886B处投影的信息时，光栅915B处于其激活状态中。波导光的TIR路径在光成像到焦面1886A上的情况下由光线路径1182A至1184A指示，并且在光成像到焦面1886B上的情况下由光线路径1182B至1184B指示，其中，光线1884A、1884B与在每个光线路径与输出光栅的一次相互作用下衍射的图像光的部分相对应。焦面1886C、1886D的形成以类似的方式继续进行，当图像生成器911用待在焦面1886C处投影的信息更新时光栅915C被切换到其激活状态中，并且当图像生成器911用待在焦面1886D处投影的信息更新时光栅915D被切换到其激活状态中。通过使输入光栅之一无源并且通过提供标称固定焦面，切换输入光栅的数量可以减少到三个。然后，通过将无源光栅焦距依次添加到切换光栅中的每个的焦距来提供其它三个表面。在一个实施例中，输入光栅具有空间变化的厚度、空间变化的衍射效率或空间变化的k矢量方向的特征中的至少一个。在一个实施例中，输入光栅具有空间变化的厚度。由于衍射效率与光栅厚度成正比，而角度带宽与光栅厚度成反比(inverselypropagation to)，允许将控制衍射光的均匀性。在一个实施例中，输入光栅具有空间变化的k矢量方向，用于控制光栅的效率、均匀性和角度范围。在一个实施例中，输入光栅具有空间变化的衍射效率。本发明中的多路复用和空间变化厚度、k矢量方向和衍射效率的应用可以是基于在题名为“COMPACT EDGE ILLUMINATED DIFFRACTIVE DISPLAY”的美国专利申请No.13/506,389；题名为“OPTICAL DISPLAYS”的美国专利No.8,233,204，题名为“METHODAND APPARATUS FOR PROVIDING A TRANSPARENT DISPLAY”的PCT申请No.:US2006/043938；题名为“WEARABLE DATA DISPLAY”的PCT申请No.:GB2012/000677；题名为“COMPACT EDGEILLUMINATED EYEGLASS DISPLAY”的美国专利申请No.:13/317,468；题名为“HOLOGRAPHICWIDE ANGLE DISPLAY”的美国专利申请No.:13/869,866；以及题名为“TRANSPARENTWAVEGUIDE DISPLAY”的美国专利申请No.:13/844,456中提供的实施例、附图和教导。在一个实施例中，根据上述参考文献的实施例和教导设计输出光栅。在一个实施例中，根据上述参考文献的实施例和教导，波导包含出射光瞳扩展器、折叠光栅或分束器层中的至少一个。

注意到，图68示出显示器的单色版本。彩色显示器可以使用多个堆叠的红色、绿色、蓝色波导或多路复用光栅，如在上述参考文献中所述的。还注意到，虽然实施例涉及提供四个焦面，但是通过增加图像生成器和波导的数量可以提供更多的表面，如从考虑描述和附图应当显而易见的。应当进一步注意到，由于角度图像内容与或多或少相同的每个焦面相对应，因此在单色显示器中(或在彩色显示器的单色层中)，可以对四个焦面光线路径中的每个都使用共同的输出光栅。

在图68的实施例中，如所讨论的，待在四个焦面处显示的图像一次连续地显示一个整个图像场。在另一个实施例中，输入图像生成器将每个输入图像分成列，并且输入光栅同样地被分成列，与图像生成器的相对应列的更新同时地，光栅列被切换到它们的衍射状态中。在图69中所示的一个实施例中，如图69A、69B中所示的两个图像生成器920、921显示在最终投影的图像中交错的间隔的列1890、1891(图69A)和1892、1893(图69B)。如由箭头1894、1895所指示，列以滚动方式更新。在一个实施例中，与来自每个图像生成器的输出被顺序地输送到IIN同时地，每个图像生成器中的整个列的阵列可以被切换。输入光栅如在图69C至图69D中示出。光栅917用于耦合和聚焦来自图像生成器920的光。光栅918用于耦合和聚焦来自图像生成器921的光。指示了光栅917中的光栅列917A、917B和光栅918中的光栅列918A、918B。光栅可以与图68的光栅对915A、915C或915B、915D相对应。在某些实施例中，光栅可以与图68的堆叠的光栅915A、915B或915C、915D相对应。在基于输入图像滚动的实施例中，光栅切换可以遵循与输入图像的滚动同步的滚动方案。从图69的考虑应当显而易见，各种切换方案可以通过组合不同的图像生成器列图案化和光栅列切换方案来设计，这服从于在IIN内部实现所需光束路由光学而要求的空间。

图70示出与图68的实施例类似的一个实施例，除了输入光栅被堆叠之外。图70示出包括IIN 912的显示器的部分，其现在包括图像生成器、光源和准直光学、波导914、输出光栅913和用于提供三个焦面的堆叠的输入光栅922A至922C。由光线1900至1902示出从IIN到波导输出表面的典型光线路径。本发明可以基于题名为“HOLOGRAPHIC WAVEGUIDE LIGHTFIELD DISPLAYS”的PCT申请No.:GB2016/000005中公开的实施例和教导用在光场显示器中。

在针对遮挡图像的显示器的一个实施例中，在图68至图70中所示的实施例中使用的图像生成器提供被掩蔽的图像分量，使得当图像分量被显示在它们各自的焦面上时可以观察到正确遮挡的图像。在图71中所示的示例中，第一图像1910被显示在第一图像生成器上(图71A)，并且第二图像1911被显示在第二图像生成器上(图71B)。第一图像包括三角形的部分1913，其被在第二图像中显示的圆圈1914部分地遮挡。在图71C中示出如从眼睛盒观察到的包括被遮挡的三角形1915和圆形1916的组合图像1912。

在图72中所示的一个实施例中，提供一种眼睛从属波导显示器，所述眼睛从属波导显示器使用眼睛跟踪器和动态遮挡掩模来提供深度和遮挡提示。该设备包括图像生成器和IIN模块925以及波导显示器926，所述波导显示器926包含基于上述实施例中的任一个的输入光栅927和输出光栅928。通过波导直至眼睛的光线路径由光线1920至1922指示。该设备还包括根据上述实施例中的任一个的眼睛跟踪器929和动态遮挡掩模930，所述动态遮挡掩模930还包括二维空间光调制器931，其可以被编程以提供不透明区域932和透射区域933。空间光调制器元件的切换通过来自眼睛跟踪器的输出控制，所述输出包括瞳孔质心的X，Y坐标和注视矢量的角度分量

从眼睛跟踪器到处理器934以及从处理器到输入图像生成器和动态遮挡掩模的数据链路由935、936、938指示。图72示出可佩戴显示器的单个目镜。在一个实施例中，计算左眼和右眼注视矢量的交点以确定待投射数据的焦面，由此克服聚散-调节冲突。

在图73至图74中所示的一个实施例中，眼睛跟踪器包括覆盖检测器波导的照明波导。在图73中所示的照明波导包括波导940和光源941，所述光源941将光借助包括棱镜或光栅的耦合器942耦合到波导中。折叠光栅943扩展并且重新取向波导中的照明，如由光线1930、1931所指示。典型地，折叠光栅将以45度被时钟化(clocked)，其中，时钟角被定义为相对于波导的主光轴线投射到波导平面中的光栅K矢量的角度。在这种情况下，主轴线将是图73中所示的笛卡尔参考系的X轴或Y轴。无源输出光栅944提取横过波导的光以对眼睛泛光照明(flood-illuminated)，如由矩形光线束1932所指示。接下来转到图74，我们看到，检测器波导945包含可切换光栅元件949A的二维阵列946。使用包括光栅或棱镜的出耦合器947将波导光学地耦合到检测器945。典型地，检测器是单个元件红外检测器。光栅元件被一次激活一列，例如，标记为949B的光栅元件。如由光线束1941所表示的来自眼睛的信号通过列949B的有源光栅元件耦合到波导中的TIR路径中。每个光栅元件都将光经由输出耦合器947朝向检测器衍射。在一个实施例中，输出耦合器以一角度被时钟化，所述角度被设计成使检测器的有效孔径最大化。这也将用于改善眼睛跟踪器的有效角度带宽。在一个实施例中，输出耦合器可以包括多于一个的耦合元件，每个元件都具有独特的时钟角。在一个实施例中，可以使用多于一个的检测器和多于一个的耦合器。在一个实施例中，列中的所有光栅元件可以被同时地切换到它们的衍射状态中。在一个实施例中，使用X-Y寻址方案将光栅元件切换到它们的衍射方案中。在一个实施例中，检测器是用于记录来自每个光栅元件的峰值信号的单个元件装置。在一个实施例中，使用单个元件检测器记录的信号作为查找表被存储在计算机存储器中。通过比较记录信号的相对幅度来估计眼睛注视方向。在许多情况下，仅需要对信号进行非常基础的处理以在一度分辨率和准确度内测量眼睛注视。本发明不假设任何特定的数据处理方法。相关的现有技术将在光学跟踪和图像处理的文献中找到。在一个实施例中，光栅元件具有光学功率，用于将来自眼睛的信号聚焦到输出耦合器上。

在一个实施例中，检测器波导包含可切换光栅阵列，其使用图75中所示的交叉平行电极寻址。将电极施加到将光栅层夹在之间的第一衬底和第二衬底。图75A示出第一衬底951，包括953、954的列状电极952已经在一个表面上在有小间隙955的情况下施加到所述第一衬底951。在图75B中所示的第二衬底957具有水平电极棒958，所述水平电极棒958包括元件959、960，所述元件959、960在有小间隙961的情况下施加到衬底的表面。图75C示出波导的状态，其中，电极963f是第二衬底，并且第一衬底的所有电极都连接至电压源。在这种情况下，与电极963重叠的光栅区域被切换。在一个实施例中，图75的设备被配置成使得每个衬底中的一个电极在任何时间连接至电压源以允许光栅阵列的X，Y寻址。图75D是示出由第一和第二衬底951、957和电极层952、958夹在之间的光栅层的剖视图。在一个实施例中，光栅层可以具有统一的布置(prosecution)，各个可切换元件由交叉的电极限定。在一个实施例中，光栅提供光学功率。在一个实施例中，光学功率可以随着光栅阵列的X，Y坐标而变化。

在图76中所示的一个实施例中，提供一种眼睛从属波导显示器。眼睛跟踪器是基于上述实施例中的任一个的波导装置。眼睛跟踪器包括波导967，所述波导967可以包括分离的照明和检测器波导、红外检测器969和红外光源970。从光源到眼睛的光学路径由光线1961至1965指示，来自眼睛的反向散射信号由光线1966至1967指示。显示器包括波导966和输入图像节点968。来自输入图像节点的光学路径由光线1960至1962指示。波导显示器可以是基于题名为“COMPACT EDGE ILLUMINATED DIFFRACTIVE DISPLAY”的美国专利申请No.13/506,389；题名为“OPTICAL DISPLAYS”的美国专利No.8,233,204，题名为“METHODAND APPARATUS FOR PROVIDING A TRANSPARENT DISPLAY”的PCT申请No.:US2006/043938；题名为“WEARABLE DATA DISPLAY”的PCT申请No.:GB2012/000677；题名为“COMPACT EDGEILLUMINATED EYEGLASS DISPLAY”的美国专利申请No.:13/317,468；题名为“HOLOGRAPHICWIDE ANGLE DISPLAY”的美国专利申请No.:13/869,866；以及题名为“TRANSPARENTWAVEGUIDE DISPLAY”的美国专利申请No.:13/844,456中公开的任何其它实施例。

在某些实施例中，一种用于跟踪至少一个对象的对象跟踪器，其包括：照明光源；光学地耦合到源的至少一个照明波导，其延续至少一个光栅薄板，用于将光朝向外部对象衍射；至少一个检测器波导，其包含光栅薄板，用于将从对象反射的光的第一偏振耦合入和偏转到第一波导方向中并且将从对象反射的光的第二偏振偏转到第二波导方向中；操作成接收沿第一波导方向传播的光的、光学地耦合到检测器波导的至少一个检测器；以及操作成接收沿第二波导方向传播的光的、光学地耦合到检测器波导的至少一个检测器。对象跟踪器和对象处于相对的运动中。第一波导方向和第二波导方向与相对的对象运动的第一方向和第二方向相对应。例如，在图77中所示的实施例中，眼睛跟踪器包括照明器波导972和检测器波导973。照明器波导被布置在检测器波导和眼睛971之间。照明器波导包含输入光栅975C、折叠光栅975B和输出光栅975C。如由光线1971、1972所指示的，折叠光栅在波导的平面中使照明光转向和扩展照明光。输出光栅在较大出射光瞳上提取光以提供由19073所指示的眼睛照明。输入光1970由光源974提供，所述光源974有利地是在1550nm下操作的LED投影仪。检测器波导包含光栅装置976，用于选择性地衍射S和P偏振信号光。光栅系统总体上由976指示。诸如977、978的红外检测器阵列被光学地耦合到波导的正交边缘。检测器经由用1977、1978示意性指示的电通信链路电连接至处理器979。在某些实施例中，四分之一波片被施加到照明器波导的外表面(最靠近对象)。典型地，照明器波导靠近对象以避免照明光耦合到检测器波导中和增加到信号背景水平的风险。

在某些实施例中，检测器波导包括将半波片夹在之间的第一检测器波导和第二检测器波导，并且四分之一波片被施加到面向对象的照明器波导的面。第一检测器波导包含第一光栅薄板以用于将从对象反射的且通过照明器波导透射的光的第一偏振耦合入和偏转到第一波导方向中，并且第一检测器波导将反射光的部分朝向第二检测器波导透射。第二检测器波导包含第二光栅薄板以用于将通过第一检测器波导透射的光的第二偏振耦合入和偏转到第二波导方向中。第一检测器波导光栅薄板包括具有沿着第一波导方向变化的间距的光栅元件阵列。第二检测器波导光栅薄板包括具有沿着第二波导方向变化的间距的光栅元件阵列。在某些实施例中，相对的对象运动的第一方向和第二方向是正交的。在某些实施例中，第一偏振和第二偏振是正交的。在某些实施例中，四分之一波片被布置在照明波导和对象之间。例如，在图78中所示的实施例中，检测器波导包括分离的竖直和水平眼睛运动检测波导。照明器波导被布置在检测器波导和眼睛971之间。竖直眼睛运动检测波导包括由衬底982E、982F夹在之间的光栅层982D，并且水平眼睛运动检测波导包括由衬底982H、982I夹在之间的光栅层982G。结合到照明器波导的前部的四分之一波膜284A将反射的P偏振眼睛反射1979转换成S偏振光，所述S偏振光穿过照明器波导。(发明人已经发现，眼睛反射倾向于是保持偏振的)。半波膜284B被布置在竖直眼睛运动检测波导和水平眼睛运动检测波导之间。在图78B中以剖视图示出波导层。注意到，在图78B的实施例的情况下，膜被结合到衬底982H。在某些实施例中，波导由气隙分开。在某些实施例中，波导由低折射率材料的薄层分开。水平眼睛运动检测波导被边缘耦合到沿着竖直边缘布置的诸如977的光电二极管的线性阵列，并且竖直眼睛运动检测波导被边缘耦合到沿着水平边缘布置的诸如978的光电二极管的线性阵列。每个检测器波导都包含具有沿着波导传播方向变化的间距的光栅。在一个实施例中，竖直和水平检测光栅包括相同的光栅，其中，一个光栅旋转了90度，如图78A所示。如稍后将解释的，可变间距光栅被设计成在较大角度上收集眼睛反射信号，同时在直至检测器的波导路径中捕集耦合入的信号。水平眼睛运动光栅983A包含从左到右逐渐减小间距的元件，如在图中由983B、983C所表示。竖直眼睛运动光栅983D包含从底部到顶部逐渐减小间距的元件，如在图中由983E、983F所表示。在某些实施例中，光栅元件可以被切换。在某些实施例中，光栅元件可以被无源地使用。在图78A中，两个光栅被向前投影以简化图示。光栅实际上将形成在光栅层982D、982G内。在某些实施例中，光栅间距的变化是线性的。在某些实施例中，可以使用其它间距对距离特征。照明器波导基于题名为“TRANSPARENT WAVEGUIDE DISPLAY”的美国专利申请No.:13/844,456中讨论的实施例是双轴光束扩展光栅系统。照明器波导提供P偏振输出，该S光的50％被耦合到水平检测器波导中。剩余的50％具有其旋转到P的偏振，使得它耦合到竖直检测器波导中。因此，检测到水平和竖直眼睛反射运动。

在基于图78的设备的一个示例性实施例中，为了与可佩戴显示器一起使用，照明波导包括夹在0.2mm玻璃衬底之间的光栅层，并且检测器波导中的每个各自包括夹在0.5mm玻璃衬底之间的光栅层。检测器阵列包含在22mm长度上均匀分布的五个光电二极管(检测器元件间隔为3.125mm)。检测器波导光栅的面积约为20mm×20mm。用于供本发明使用的示例性光电二极管是由Precision Micro-Optics LLC(MA)分布在陶瓷上的DPIN-541InGaAsPIN光电二极管芯片。该装置具有直径为500微米的敏感区域，0.9A/W的响应度和1.5nA的暗电流。在某些实施例中，清透的塑料光导将光从波导传输到检测器芯片的敏感区域。

在图79中示出这样的计算流程，即，所述计算流程用于确定图78的实施例中所需的光栅栅距变化，以在较大角度上收集眼睛反射信号，同时在直到检测器的波导路径中捕集耦合信号。图79A示出在平均折射率为n的介质中记录的厚度为d的光栅的横截面。为了解释分析，将光栅夹在之间的衬底被假设是极其薄的。光栅具有光栅矢量K_i，倾斜角φ_i，光栅条纹间隔φ_i和表面光栅栅距φ_xi。波导耦合长度L_i表示光线在上波导表面和下波导表面之间一次反弹之后沿着波导行进的距离，其中，L_i＝2d tan(θ_i)。图79B示出光栅1984的平面图，其示出与两个连续的反弹相对应的距离L_i和L_i+1，所述距离L_i和L_i+1也被标记为1985、1986。从基本布拉格光栅理论来看，对于波长λ和衍射角θ_i，布拉格条纹间距由Λ_i＝λ/2ncos(φ_i-θ_i)给出，并且表面光栅栅距由Λ_xi＝Λ_i/cos(φ_i)给出。我们假设布拉格衍射效率角度带宽：Δθ_i，如使用Kogelnik计算的耦合波理论沿着波导是恒定的。为了确保耦合入光被约束到未被下一个光栅段衍射出的波导中，第i个段和第i+1个段的倾斜角相差了与衍射效率角度带宽相等的角度，并且由φ_i+1＝φ_i+Δθ_i给出。图80是示出光栅的规格的表格。对于为0°的输入光线角，在波导内的衍射的光线角的范围为从45°至85°。假设波导厚度为1mm。对于每个衍射角，计算光栅倾斜角和布拉格条纹间距。还计算出用于每个连续反弹的波导耦合长度和沿着波导的累积耦合长度。

图81示出一个实施例，其中根据本发明的原理的眼睛跟踪器用在摩托车显示器中。在图81A中所示的实施例中，头盔安装的眼睛跟踪器980包括头盔980A，护目镜980B，眼睛跟踪器980C。在某些实施例中，眼睛跟踪器可以用在头盔安装的显示器中，其中，跟踪一只眼睛并且为另一只眼睛提供波导显示器。在图81B的实施例中，头盔安装的显示器981包括头盔，其配备有护目镜981B、波导眼睛跟踪器981C和波导显示器981B。

图82示出检测器波导，所述检测器波导在图78的实施例的一个实施方案中使用以用于供近眼显示器使用。图82A示出水平检测器985，并且图82B示出竖直检测器986。水平检测器包括波导衬底985A，所述波导衬底985A包含光栅985B，所述光栅985B包括从左向右逐渐增大宽度的竖直列元件，如由元件985C至985D所指示。波导被边缘耦合到检测器阵列，所述检测器阵列包括沿着光学衬底布置的诸如985E的元件，用于将波导耦合到检测器阵列。水平检测器包括波导衬底986A，所述波导衬底986A包含光栅986B，所述光栅986B包括从左向右逐渐增大宽度的竖直列元件，如由元件986C至986D所指示。波导被边缘耦合到检测器阵列，所述检测器阵列包括沿着光学衬底布置的诸如986E的元件，用于将波导耦合到检测器阵列。

尽管本发明的描述已经解决了跟踪单个对象的问题，但是上述实施例中的任一个可以应用于跟踪多个对象。处理将是更复杂的，需要用于将多个记录的签名匹配到不同的运动对象并且确定对象轨迹的算法。本发明不假设任何特定的算法以用于这些目的。适当的算法对于图像处理的领域的技术人员来说将是已知的。相关的现有技术存在于雷达系统、机器人和其它领域的文献中。

尽管我们已经讨论了与相对于波导跟踪设备跟踪运动对象的问题有关的实施例(例如，相对于目镜的眼睛旋转)，但是应当理解，本发明同样适用于以下情况，即，跟踪设备被附接到运动对象，例如，头部、手或运动的车辆，并且反射的签名由当地的其它运动对象或固定的对象提供。本发明还可以用于检测静态对象在3D空间中的位置。这种要求会出现在机器人车辆中。

对象跟踪器的上述实施例中的任一个可以用于提供一种LIDAR。LIDAR是一种遥感技术，其通过用脉冲角度扫描的激光照亮目标并且分析反射的“点云”来创建环境和其中运动的对象的3D地图。目前，用于一系列平台的LIDAR系统越来越感兴趣，包括：汽车(用于诸如避撞和巡航控制系统的应用)，机器人车辆，UAV和用于夜视的可佩戴显示器。在手术中越来越多地使用销眼手术也刺激了医疗应用。在LIDAR应用中，源将典型地包括扫描的红外激光器。检测系统将包括用于对返回激光脉冲的到达计时的电子器件。基于全息波导的示例性波导LIDAR被公开在题名为“HOLOGRAPHIC WAVEGUIDE LIDAR”的PCT申请No.:GB2016/000014中。该参考文献的实施例和教导也可以与本申请中公开的对象跟踪器的设计相关。

应当强调的是，附图是示例性的并且尺寸已经被夸大。例如，SBG层的厚度已经极大地被夸大。在上述实施例中的任一个中，波导可以是弯曲的或由平面的或弯曲的小平面的镶嵌形成。在上述实施例中的任一个中使用的光栅可以被记录在均匀调制HPDLC材料中。示例性均匀调制液晶聚合物材料系统在由Caputo等人的美国专利申请公开No.:US2007/0019152和Stumpe等人的PCT申请No.:PCT/EP2005/006950中公开，这两篇文献的全部内容都通过参考包含于此。均匀调制光栅的特征在于，高折射率调制(并且因此，高衍射效率)和低散射。在一个实施例中，输入光栅是基于以反向模式HPDLC材料记录的光栅。反向模式HPDLC与常规HPDLC的不同之处在于，当没有施加电场时光栅是无源的，并且在存在电场的情况下光栅变得是衍射的。反向模式HPDLC可以基于在题名为“IMPROVEMENTS TOHOLOGRAPHIC POLYMER DISPERSED LIQUID CRYSTAL MATERIALS AND DEVICES”的PCT申请No.:PCT/GB2012/000680中公开的配方和处理中的任一个。光栅可以被记录在上述材料系统中的任一个中，但是在无源(非切换)模式中使用。制造处理与用于切换的处理相同，但是省略了电极涂覆阶段。鉴于其高折射率调制，液晶和聚合物材料系统是高度期望的。

在上述实施例中的任一个中使用的波导可以使用塑料衬底使用在题名为“IMPROVEMENTS TO HOLOGRAPHIC POLYMER DISPERSED LIQUID CRYSTAL MATERIALS ANDDEVICES”的PCT申请No.:PCT/GB2012/000680中公开的材料和处理来实现。有利地，SBG以反向模式HPDLC材料被记录，其中，当横过电极施加电场时出现SBG的衍射状态。基于上述实施例中的任一个的眼睛跟踪器可以使用在上述PCT申请中公开的反向模式材料和处理来实现。

虽然可以借助任何类型的光栅来应用本发明，包括基于布拉格(体积)全息图的切换或非切换光栅或表面浮雕光栅，但是优选的光栅技术是SBG，其提供快速切换、高光学效率和透明度以及高指数调制的优点。关于光栅阵列的使用，应当理解，依据待跟踪注视的FOV，阵列中使用的元件的数量不需要非常大。还应注意到，在上述实施例中使用的光栅不一定全部是切换光栅。切换光栅可以与无源光栅技术结合使用。如已经由说明书和附图所指示的，可以使用多于一个的光栅层(薄板)。上面讨论的光栅层是布置在内部波导表面之间(或者换言之，夹在组合以形成波导的透明衬底之间)的SBG。然而，在等效实施例中，光栅层中的某些可以应用于外部波导表面。这将应用于表面浮雕光栅的情况中。

使用足够薄的衬底，在本发明中使用的波导可以就眼睛跟踪器而言被实施为从HMD的鼻端延伸到耳端的长清透条状贴花，其具有较小照明模块持续激光器模具、光导和被塞进眼镜的侧壁中的显示器驱动芯片。将使用标准折射率匹配胶以将显示器固定到HMD的表面。

用于制造在本发明的上述实施例中的任一个中使用的SBG像素元件和ITO电极的方法可以是基于题名为“METHOD AND APPARATUS FOR PROVIDING A TRANSPARENTDISPLAY”的PCT申请No.US2006/043938中公开的处理。

本发明不依赖于任何特定的用于将来自激光源的光引入全息波导中并且将从眼睛散射的光指引到检测器上的方法。在本发明的优选实施例中，光栅用于执行上述功能。光栅可以是不可切换的光栅。光栅可以是全息光学元件。光栅可以是可切换的光栅。或者，可以使用棱镜元件。

本领域的技术人员应当理解，虽然已经参考示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。依据设计要求和其它因素，可以出现各种修改方案、组合方案、子组合方案和变更方案，只要它们在所附权利要求书或其等同物的范围内即可。

Claims (20)

1.一种用于跟踪至少一个外部对象的对象跟踪器，其包括：

照明光的源；

光学地耦合到所述照明光的源的至少一个照明波导，所述照明波导包含至少一个照明波导光栅薄板，用于将光朝向所述外部对象衍射；

至少一个检测器波导，其包含检测器波导光栅薄板，用于将从所述外部对象反射的光的第一偏振耦合入和偏转到第一波导方向中并且将从所述外部对象反射的光的第二偏振偏转到第二波导方向中；

操作成接收沿所述第一波导方向传播的光的、光学地耦合到所述检测器波导的至少一个第一检测器；以及

操作成接收沿所述第二波导方向传播的光的、光学地耦合到所述检测器波导的至少一个第二检测器，

其中，所述对象跟踪器和所述外部对象处于相对的运动中，

其中，所述第一波导方向和第二波导方向与相对的外部对象运动的第一方向和第二方向相对应。

2.根据权利要求1所述的对象跟踪器，其中，所述检测器波导包括将半波片夹在之间的第一检测器波导和第二检测器波导，所述对象跟踪器还包括四分之一波片，所述四分之一波片被施加到面向所述外部对象的所述照明波导的面，其中，所述第一检测器波导包含第一检测器波导光栅薄板以用于将从所述外部对象反射的且通过所述照明波导透射的光的第一偏振耦合入和偏转到所述第一波导方向中，并且将所反射的光的一部分朝向所述第二检测器波导透射，其中，所述第二检测器波导包含第二检测器波导光栅薄板以用于将通过所述第一检测器波导透射的光的第二偏振耦合入和偏转到所述第二波导方向中，其中，所述第一检测器波导光栅薄板包括具有沿着所述第一波导方向变化的间距的第一光栅元件阵列，并且所述第二检测器波导光栅薄板包括具有沿着所述第二波导方向变化的间距的第二光栅元件阵列。

3.根据权利要求1所述的对象跟踪器，其中，所述相对的外部对象运动的所述第一方向和所述第二方向是正交的。

4.根据权利要求1所述的对象跟踪器，其中，所述第一偏振和所述第二偏振是正交的。

5.根据权利要求1所述的对象跟踪器，其中，所述对象跟踪器还包括布置在所述照明波导和所述外部对象之间的四分之一波片。

6.根据权利要求1所述的对象跟踪器，其中，所述照明波导被布置在所述外部对象和所述检测器波导之间。

7.根据权利要求1所述的对象跟踪器，其中，所述对象跟踪器还包含在所述照明波导和所述检测器波导之间的气隙或低折射率材料层。

8.根据权利要求2所述的对象跟踪器，其中，所述检测器波导光栅薄板包括长形光栅元件，所述长形光栅元件的较长尺寸与所述第一波导方向和所述第二波导方向垂直对准。

9.根据权利要求2所述的对象跟踪器，其中，所述照明波导通过光栅、棱镜或边缘耦合件中的一者光学地耦合到所述源，并且所述检测器波导通过光栅、棱镜或边缘耦合件中的一者光学地耦合到所述至少一个第一检测器和所述至少一个第二检测器。

10.根据权利要求1所述的对象跟踪器，其中，所述照明波导或所述检测器波导中的至少一者还包括至少一个折叠光栅薄板。

11.根据权利要求1所述的对象跟踪器，其中，所述至少一个照明波导光栅薄板是可切换布拉格光栅、以逆反模式记录在全息聚合物分散液晶中的可切换光栅、表面浮雕光栅和非切换布拉格光栅中的一者。

12.根据权利要求1所述的对象跟踪器，其中，所述至少一个照明波导光栅薄板将所述照明光衍射到朝向所述外部对象的旋转中心会聚的输出路径中。

13.根据权利要求1所述的对象跟踪器，其中，所述至少一个照明波导光栅薄板将所述照明光衍射到平行的输出路径中。

14.根据权利要求1所述的对象跟踪器，其中，从所述外部对象反射的光是由所述外部对象的至少一个表面形成的或镜面反射、非相干散射、散斑中的一者。

15.根据权利要求1所述的对象跟踪器，其中，所述外部对象是眼睛，并且，从所述外部对象反射的光是角膜、晶状体、虹膜、巩膜或视网膜中的至少一个反射的光提供的。

16.根据权利要求1所述的对象跟踪器，其中，所述源和所述第一检测器及第二检测器在红外线中操作。

17.根据权利要求1所述的对象跟踪器，其中，所述第一检测器和第二检测器是单个元件检测器、线性阵列或二维阵列中的一者，并且所述源是激光器或发光二极管中的一者。

18.根据权利要求1所述的对象跟踪器，其中，所述至少一个照明波导光栅薄板对光学功率或漫射特性中的至少一者进行编码。

19.根据权利要求1所述的对象跟踪器，其中，所述对象跟踪器还包括图像处理系统，所述图像处理系统包括边缘寻找算法、质心检测算法或神经网络中的至少一者，或者包括用于确定外部对象运动的至少一个时空特征的算法。

20.根据权利要求1所述的对象跟踪器，其中，所述对象跟踪器在眼睛跟踪器、LIDAR、眼睛从属显示器、实现视网膜凹式渲染的显示器或使用注视矢量数据的显示器中实施，以调整显示的图像来提供与聚散调节相关的深度提示。

Images