CN102955255B

CN102955255B - 集成眼睛追踪和显示系统

Info

Publication number: CN102955255B
Application number: CN201210362802.8A
Authority: CN
Inventors: D·D·伯恩
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2011-09-26
Filing date: 2012-09-25
Publication date: 2015-05-27
Anticipated expiration: 2032-09-25
Also published as: HK1180771A1; CN102955255A; US20130077049A1; WO2013049012A1; TWI571654B; TW201314263A; US8998414B2

Abstract

本发明涉及集成眼睛追踪和显示系统。提供了一种用于透明、近眼、混合现实显示设备的集成眼睛追踪和显示系统的技术。用于眼睛追踪的图像数据和IR照明被光学地耦合到各个透明、平面波导中，该透明、平面波导被定位成能够被显示设备的各个显示光学系统中的每只眼睛所透视。各个平面波导包括一个或多个波长可选过滤器，这一个或多个波长可选过滤器被定位成与各个显示光学系统的光轴共轴。波长可选过滤器将IR和可见照明沿各只眼睛的方向导出平面波导，并将包括来自眼睛的反射的IR反射导入平面波导中。反射被光学地耦合出波导并耦合到基于反射生成眼睛追踪数据的IR传感器。

Description

集成眼睛追踪和显示系统

技术领域

本发明涉及视野混合技术，尤其涉及集成眼睛追踪和显示系统。

背景技术

混合或增强现实是一种允许将虚拟影像与现实世界中的用户实际视野混合技术。与其它显示设备不同，透明、混合或增强现实近眼（例如，头戴式）显示设备的特征是所显示的图像并不独占用户的视野。通过透明、混合现实显示设备，用户理论上可透过显示器观看并与现实世界交互，同时还看到由一个或多个软件应用生成的图像。此外，当用户移动他或她的头部时，用户的视野不是静止的。即使他或她的头部没有移动，用户在视野中所正在看的（又称用户的凝视）也会随用户转动他或她的眼睛而改变。标识眼睛运动的能力将增强显示器中图像的放置。

发明内容

提供了用于使用透明、近眼、混合现实显示设备的共享光学系统来集成眼睛追踪和显示功能的技术。此处所描述的实施例准许眼睛追踪系统照亮并捕捉每个显示器的光轴上的数据，所述显示器被定位成能够被各只眼睛所透视，从而得到与捕捉离轴数据的眼睛追踪传感器系统相比，更简单的运算、更好的眼睛照明、以及捕捉眼睛的更多数据的更高的概率，并且更多的受到类似下垂的眼皮以及眼皮上的麦粒肿之类的障碍的影响。

本技术提供了一种用于透明、近眼、混合现实显示设备的集成眼睛追踪和显示系统。该系统包括用于每只眼睛的显示光学系统，其具有光轴以及定位成使各只眼睛能够透视一透明、平面波导。一个或多个波长可选滤波器被定位于波导中与各个显示光学系统的光轴共轴地对齐。一个或多个过滤器将红外和可见照明导出各个平面光导。另外，一个或多个过滤器将红外反射导入平面波导中。波长可选过滤器的一些示例是固定和有源衍射光栅元件、反射光栅元件、以及引导预定波长或一定波长范围内的照射的其它反射元件。

红外照明源被定位以使其红外照明光学地耦合到平面波导中。红外传感器被光学地耦合到平面波导以将红外和可见照明导出平面波导，并接收引导自波长可选过滤器的红外反射。图像生成单元被光学地耦合以将可见照明发射到平面波导中。

本技术提供了另一种用于透明、近眼、混合现实显示设备的集成眼睛追踪和显示系统。如此处所描述的实施例中，系统实施例包括用于每只眼睛的显示光学系统。每个显示光学系统具有光轴和定位成能由各只眼睛透视的透明平面波导。一个或多个波长可选滤波器被定位于波导内与各个显示光学系统的光轴共轴地对齐，以将红外反射导入平面波导中。包括用于发射红外和可见照明的光源的光学元件的阵列被光学地耦合至平面波导以将其照明导入平面波导中。红外传感器被光学地耦合至平面波导以接收引导自波长可选滤波器的红外反射。

本技术提供了用于处理可见和红外波长以供透明平面波导的光路中的图像显示和眼睛追踪的方法，其中透明平面波导被定位成能够被透明、近眼、混合现实显示设备的显示光学系统所透视。该方法包括光学地将可见和红外照明沿光路的第一方向耦合到平面波导中。可见和红外照明由与显示光学系统的光轴共轴对齐的一个或多个波长可选过滤器导出平面波导，并导向眼睛。过滤器还将红外反射沿系统光路的第二方向从眼睛引导到波导中。

该方法还包括将来自平面波导的红外反射光学地耦合到红外传感器。由红外传感器（例如，电荷耦合设备（CCD）或CMOS像素传感器阵列）所生成的数据被存储成眼睛追踪数据。眼睛追踪数据的一些示例是来自IR相机或由位置灵敏探测器（PSD）所探测到闪光的位置的图像数据。在一些实施例中，第一和第二方向可以是相同的。在其它实施例中，第一方向和第二方向可以是不同的。不同方向的示例是相反方向。

提供发明内容述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图说明

图1是描绘透明、混合现实显示设备系统的一个实施例的示例组件的框图。

图2A是被具体化为提供对硬件和软件组件的支持的眼镜的透明、混合现实显示设备的实施例中的镜架的眼镜腿的侧视图。

图2B是透明、近眼、混合现实设备的集成眼睛追踪和显示光学系统的实施例的顶视图。

图2C是图2B的实施例的另一版本的顶视图，其中红外反射沿与IR照明所走的相同方向而不是相反方向穿越波导112。

图3A是可以用于一个或多个实施例的透明、近眼、混合现实显示设备的硬件和软件组件的一个实施例的框图。

图3B是描述处理单元的各组件的框图。

图4是用于处理可见和红外波长以供透明、平面波导的光路中的图像显示和眼睛追踪的方法的实施例的流程图，其中透明、平面波导被定位成能够被透明、近眼、混合现实显示设备的显示光学系统所透视。

图5A是来自透过集成眼睛追踪和显示光学系统的另一实施例的平面波导所看的眼睛的视角的视图，该集成眼睛追踪和显示光学系统使用集成线性光源阵列以及用于生成图像的扫描镜。

图5B示出了图5A的实施例的另一版本，其中红外传感元件被集成到光源阵列中。

图6A示出了线性集成光源阵列的示例布局，该阵列同时生成可见和红外照明以供透明、近眼、混合现实设备的集成眼睛追踪和显示光学系统中使用。

图6B示出了包括红外传感元件和光源的线性集成光学元件阵列的示例布局，该阵列同时生成可见和红外照明以供透明、近眼、混合现实设备的集成眼睛追踪和显示光学系统中使用。

图6C示出了线性集成光源阵列的另一示例布局，该阵列同时生成可见和红外照明，其中红外光源被放置在适合用于闪光追踪的布置中的每一行的末端。

图6D示出了包括红外传感元件、可见光源和红外光源的线性集成光学元件阵列的另一示例布局，其中红外传感元件、可见光源和红外光源被放置在适合用于闪光追踪的布置中的可见光行的末端。

图7A是来自透过集成眼睛追踪和显示光学系统的另一实施例的平面波导所看的眼睛的视角的视图，该集成眼睛追踪和显示光学系统使用经调制的光源以及2D扫描镜。

图7B示出图7A的实施例的另一版本，其使用单个经调制光源和有源光栅。

图8是用于与包括光源和扫描镜的图像生成单元一起使用的透明、近眼、混合现实显示设备的硬件和软件组件的另一实施例的框图。

图9是可被用于控制使用至少一个光源和扫描镜的集成眼睛追踪和显示光学系统的硬件组件的电子模块的实施例的框图。

具体实施方式

描述了具有集成眼睛追踪和显示光学系统的透明、近眼、头戴式混合现实显示设备系统的各实施例。眼睛追踪系统共享透视头戴式显示器（HMD）光路的一部分以将眼睛追踪红外照明投射到眼睛并通过红外传感器捕捉来自眼睛的红外反射。眼睛追踪系统使用红外（IR）照明使得照明对用户不可见。IR传感器可以是提供眼睛的红外图像数据的IR相机或探测由眼睛的IR照明所生成的从眼睛的角膜射出的闪光或反射的IR传感器。

在以下描述的实施例中，对于包括透明、平面波导的每只眼睛，存在一个显示光学系统。在实际实现中，波导基于全内反射的工作原理提供光路。一个或多个波长可选滤波器被定位于波导中与显示光学系统的光轴共轴地对齐。现实系统的光轴与名义上的眼睛视线共轴或非常接近于共轴。名义上的眼睛视线以瞳孔为中心并且当用户向前平看时从瞳孔中心延伸。由于一个或多个过滤器和光轴共轴地对齐，呈现图像的可见照明和红外照明被沿着光轴导出波导并导向眼睛，而来自眼睛的、以光轴为中心的反射被导入波导中。照射眼睛并且捕捉来自眼睛的反射（以光轴附近为中心，接近于眼睛视线）简化了由于眼睛图像数据的图像处理算法，并且更能够容许人类面部特征的个体差异。例如，相比于如果照明沿眼睛的各个显示的光轴被引导，眼睛上的麦粒肿或低眼皮可能更多地遮挡从眼镜框实施例的上边角导出的照明。

更好的照明和以光轴为中心的眼睛数据捕捉能够改进许多应用的结果，诸如用于光栅确定的角膜闪光追踪和瞳孔追踪、用于用户命令解释的眨眼追踪、用于基于生物识别的应用的虹膜扫描和视网膜静脉追踪、测量收敛、标识瞳孔与光轴的对齐以及确定瞳孔间距（IPD）、以及用于角膜追踪的结构化光模式技术。请参见以下文献以获取这些能从以下呈现的实施例受益的应用中的一些的示例：Lewis等人的美国专利申请号13/221,739题为“Gaze Detection in aSee-Through,Near-Eye,Mixed Reality Display”、Lewis等人的美国专利申请号13/221,662题为“Aligning Inter-Pupillary Distance in a Near-Eye DisplaySystem”、Lewis等人的美国专利申请号13/221,707题为“Adjustment of a MixedReality Display for Inter-Pupillary Distance Alignment”、以及Perez等人的美国专利申请号13/221,669题为“Head Mounted Display with Iris Scan Profiling”的专利申请。

图1是描绘透明、混合现实显示设备系统的一个实施例的示例组件的框图。系统8包括作为通过线6与处理单元4进行通信的近眼、头戴式显示设备2的透明显示设备。在其他实施例中，头戴式显示设备2通过无线通信来与处理单元4进行通信。处理单元4可以采取各种实施例。例如，处理单元4可实现在如智能手机、平板或膝上型计算机之类的移动设备中。在一些实施例中，处理单元4是可以佩戴在用户的身体（例如，在所示示例中的腕）上或置于口袋中的分开的单元，并且包括用于操作近眼显示设备2的计算能力中的大部分能力。处理单元4可在通信网络50上与一个或多个集线器计算系统12无线地通信（例如，WiFi、蓝牙、红外、RFID传输、无线通用串行总线(WUSB)、蜂窝、3G、4G或其它无线通信装置），而无论如本示例中的位于附近或位于远程位置。在其他实施例中，处理单元4的功能可被集成在显示设备2的软件和硬件组件中。

头戴式显示设备2（在一个实施例中它是带框115眼镜的形状）被佩戴在用户的头上，使得用户可以透视显示器（在该示例中该显示器被体现为用于每一只眼睛的显示光学系统14），并且从而具有对该用户前方的空间的实际直接视图。

使用术语“实际直接视图”来指直接用人眼看到现实世界物体的能力，而非看到物体的所创建的图像表示。例如，在房间中透过眼镜看将允许用户具有该房间的实际直接视图，而在电视机上查看房间的视频不是该房间的实际直接视图。基于执行软件（例如，游戏应用）的上下文，该系统可以将虚拟对象的图像（有时称为虚拟图像）投影在可由佩戴该透明显示设备的人观看的显示器上，同时该人还透过该显示器观看现实世界物体。

镜架115提供用于将该系统的各元件保持在原位的支承体以及用于电连接的管道。在该实施例中，镜架115提供了便利的眼镜架作为对下面进一步讨论的系统的各元件的支承体。在其他实施例中，可以使用其他支承结构。这样的结构的示例是帽舌或护目镜。镜架115包括用于搁在用户的每一只耳朵上的镜腿或侧臂。镜腿102代表右镜腿的实施例，并且包括显示设备2的控制电路136。镜架的鼻梁104包括用于记录声音并向处理单元4传送音频数据的话筒110。

图2A是被具体化为提供对硬件和软件组件的支持的眼镜的透明、混合真实显示设备的实施例中的镜架115的眼镜腿102的侧视图。在镜架115的正面朝向物理环境或朝向外侧的视频相机113，其捕捉发送给处理单元4的视频和静态图像。

来自相机的数据可被发送到控制电路136的处理器210、或处理单元4、或者这两者，它们可以处理该数据，但单元4也可将数据通过网络50或发送到一个或多个计算机系统12。该处理标识并映射用户的真实世界视野。

控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电路136的更多细节在下文参考图3A提供。耳机130、惯性传感器132、GPS收发机144、以及温度传感器138处于镜腿102内部或安装在镜腿102上。在一个实施例中，惯性传感器132包括三轴磁力计132A、三轴陀螺仪132B、以及三轴加速度计132C（参见图3A）。惯性传感器用于感测头戴式显示设备2的位置、定向、以及突然加速。从这些移动中，也可以确定头部位置。

图像源或图像生成单元120可安装在眼镜腿102上或眼镜腿102内。在一个实施例中，图像源包括用于投射一个或多个虚拟对象的图像微显示器120和用于将来自微显示器120的图像导入透明平面波导112中的透镜系统122。透镜系统122可包括一个或多个透镜。在一个实施例中，透镜系统122包括一个或多个准直的透镜。在示出的示例中，反射元件124接收由透镜系统122引导的图像并且将图像数据光学地耦合至平面波导112中。

存在着可用于实现微显示器120的不同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学有源材料来调制，用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的LCD类型的显示器来实现的。微显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。数字光处理（DLP）、硅基液晶（LCOS）以及高通公司的显示技术都是反射技术的示例。另外，微显示器120可使用发射技术来实现，其中由显示器产生光，例如，Microvision有限公司的PicoPTM显示引擎。发射显示技术的另一示例是微型有机发光二极管（OLED）显示器。eMagin和Microoled公司提供了微型OLED显示器的示例。

图2B是透明、近眼、增强或混合现实设备的显示光学系统14的实施例的顶视图。近眼显示设备2的镜架115的一部分将环绕显示光学系统14，以提供对如此处以及之后的附图中所示出的一个或多个光学元件的支持并进行电气连接。为了示出头戴式显示设备2中的显示光学系统14（在该情况下是右眼系统14r）的各个组件，在显示光学系统周围的镜架115的一部分未被描绘。

在一个实施例中，显示光学系统14包括平面波导112、可选的不透明度过滤器114、透明透镜116和透明透镜118。在一个实施例中，不透明度过滤器114处于透明透镜116之后并与其对准，平面波导112处于不透明度过滤器114之后并与其对准，并且透明透镜118处于平面波导112之后并与其对准。透明透镜116和118可以是眼镜中使用的标准透镜，并且可根据任何处方（包括无处方）来制作。在一些实施例中，头戴式显示设备2将仅仅包括一个透明透镜或者不包括透明透镜。与平面波导112对齐的不透明度过滤器114要么均匀地、要么以每像素为基础来选择性地阻挡自然光，以免其穿过平面波导112。例如，不透明度过滤器增强了虚拟影像的对比度。于2010年9月21日提交的美国专利申请号12/887,426“Opacity Filter For See-Through Mounted Display（用于透射安装显示器的不透明度过滤器）”中提供了不透明度过滤器的更多细节，该专利申请的全部内容通过引用并入本文。

平面波导112将来自微显示器120的可见光传送到佩戴头戴式显示设备2的用户的眼睛140。透明平面波导112还允许如代表显示光学系统14r的光轴箭头142所示那样将可见光从头戴式显示设备2的前方透过光导光学元件112透射到用户的眼睛，从而除接收来自微显示器120的虚拟图像之外还允许用户具有头戴式显示设备2的前方的空间的实际直接视图。因此，平面波导112的壁是透明的。平面波导112包括第一反射面124（例如，镜面或其他表面）。来自微显示器120的可见光穿过透镜122并入射在反射面124上。反射面124反射来自微显示器120的入射的可见光，使得可见光由于以下将进一步描述的内部反射而被限制在包括平面波导112的平面基板内。

红外照明和反射还穿越平面波导112达到用于追踪用户眼睛的位置的眼睛追踪系统134。用户的眼睛将被引导到环境中的子集，该子集是用户的聚焦或凝视区域。眼睛追踪系统134包括在本示例中位于眼镜腿102上的眼睛追踪照明源134A以及位于透镜118和眼镜腿102之间的眼睛追踪IR传感器134B。本技术允许为图像生成单元120、照明源134A以及IR传感器134B灵活地放置进出波导的光路的光学耦合器。呈现图像的可见照明以及红外照明可从相对波导112的任何方向进入，并且一个或多个波长可选过滤器（例如127）以显示光学系统14的光轴142为中心将照明导出波导。类似的，IR传感器的放置也是灵活的，只要其被光学地耦合以接收由被定位以接收沿光轴142的红外反射的一个或多个波长可选过滤器所引导的红外反射。

在一个实施例中，眼睛追踪照明源134A可包括一个或多个红外（IR）发射器，诸如红外发光二极管（LED）或以大约预定IR波长或一定范围的波长发射的激光器（例如，VCSEL）。在一些实施例中，眼睛追踪传感器134B可以是用于追踪闪光位置的IR相机或IR位置灵敏探测器（PSD）。

在这一实施例中，波长可选过滤器123被实施为光栅123，其让来自微显示器123的经过反射面124的可见光谱的光通过，并且将来自眼睛追踪照明源134A的红外波长照明导入平面波导112，在平面波导112中，IR照明在平面波导内部反射直至到达与光轴142对齐的另一波长可选过滤器127。光栅123可以是衍射光栅或反射光栅。在这一示例中，IR传感器134B也被光学地耦合至光栅125，其也可以是衍射光栅或反射光栅。这些光栅是层叠的。然而，至少光栅125是单向的，这体现在光栅125让光路中来自源134A的朝向鼻梁104方向的IR照明通过，而将包括从光轴142向光栅125的红外反射的红外反射导出波导112并导向IR传感器134B。在一些示例中，光栅可以是诸如空气腔光栅（air space grating）之类的固定衍射元件、固定反射光栅、或有源或可开关光栅，以用于不同波长的衍射、反射、或其组合中的任一种。

从IR反射中，当IR传感器是IR相机时，瞳孔在眼框内的位置可通过已知的成像技术来标识，而当IR传感器是一种位置灵敏探测器（PSD）时，瞳孔在眼框内的位置可通过闪光位置数据来标识。

在耦合到波导112中之后，呈现来自微显示器120的图像数据的可见照明和IR照明在波导112中内部反射。在图2B的示例中，平面波导是反射型阵列平面波导。其它类型的平面波导也可被使用，例如，衍射型光学元件平面波导或具有全内反射（TIR）槽的平面波导。在图2B的示例中，在数个从基板的表面射出的反射之后，被留下的可见光波到达在本示例中实现为可选择反射表面12₆₁至12_6N的波长可选过滤器阵列。另外，与显示光学系统的光轴对齐的波长可选过滤器127也被定位于波导112中。反射面126对从基板射出并入射在那些反射面上的、沿用户的眼睛140的方向引导的可见光波长进行耦合。

反射面126还让波导内的红外照射通过。然而，一个或多个波长可选过滤器127与显示光学系统14r的光轴142对齐，波长可选过滤器127不仅引导可见照明，还接收来自照明源134A的红外照明。例如，如果反射元件126₁至126_N各自反射可见光谱的不同部分，则一个或多个可选过滤器127可反射红色可见光谱和红外光谱中的波长。在其它实施例中，过滤器127可反射覆盖整个可见光谱或其较大部分以及IR反射的波长的红外光谱的波长以及那些由IR照明源生成的波长。

另外，一个或多个波长可选过滤器127将来自眼睛的、透过平面波导的透明壁的、并且以光轴142为中心的红外反射引导到平面波导的光路中，但是是以朝向波长可选过滤器125的相反方向来引导的，其中波长可选过滤器125选择性地过滤来自波导的红外反射并将其引导至IR传感器134B。过滤器127可包括双向红外过滤器。另外，可见和红外过滤器可在从透镜116至118的方向上层叠，使得它们与光轴共轴。例如，相对于眼睛放置在可见反射元件之前的双向热镜（hot mirror）让可见光通过但反射IR波长。另外，一个或多个过滤器127可被实现为有源光栅，其被调制在可见和红外光谱之间的过滤波长之间。这将会以人眼无法探测到的足够快的速率来完成。

图2C是图2B的实施例的另一版本的顶视图，其中红外反射沿与IR照明所走的相同方向而不是相反方向穿越波导112。在这一实施例中，IR传感器134B被定位于鼻梁104内。除了将IR照明导向眼睛的波长可选过滤器127之外，另一个波长可选过滤器125被实现为IR反射元件，其让可见光通过波导，并将接收到的IR反射沿光轴142导入波导并导向IR传感器134B。这一IR反射元件125的示例是热镜实施例。在其它示例中，衍射或反射光栅也可被使用。另外，传感器134B是位于鼻梁104内的波导112的一部分，使得不会遮挡用户视野。可建立到鼻梁部分中的传感器134B的电气连接（未示出）以读出传感器数据。

在一个实施例中，每只眼睛将具有其自己的平面波导112。当头戴式显示设备具有两个平面波导时，每只眼睛都可以具有其自己的微显示器120，该微显示器120可以在两只眼睛中显示相同图像或者在两只眼睛中显示不同图像。在另一示例中，可以有具有两根光轴的平面波导，每只眼睛一根，其横跨鼻梁并将可见光同时反射入两只眼睛。

在以上实施例中，所示出的具体数量的透镜只是示例。可以使用其他数目和配置的根据相同原理操作的透镜。另外，图2A、2B和2C仅示出头戴式显示设备2的一半。完整的头戴式显示设备可包括例如另一组透视透镜116和118、另一不透明度过滤器114、具有一个或多个波长可选过滤器127的另一平面波导112、另一微显示器120、另一透镜系统122、朝向物理环境的相机113（也称朝向外部或朝向正面的相机113）、眼睛追踪组件134、耳机130、光栅123、125、以及温度传感器138。在通过引用包含于此的2010年10月15日提交的题为“Fusing Virtual Content Into Real Content”（将虚拟内容融合到现实内容中）的美国专利申请号12/905952中示出头戴式显示器2的附加细节。

图3A是可以用于一个或多个实施例的透明、近眼、混合现实显示设备2的硬件和软件组件的一个实施例的框图。图3B是描述处理单元4的各组件的框图。在这一实施例中，近眼显示设备2接收来自处理单元4的关于虚拟图像的指令并将来自传感器的数据提供回处理单元4。例如在图3B中描绘的可被实现在处理单元4中的软件和硬件组件从显示设备2接收传感数据并且还可通过网络50从计算系统12接收传感信息。基于这一信息，处理单元4将确定在何处以及在何时向用户提供虚拟图像并相应地将指令发送给显示设备2的控制电路136。

值得注意的是，图3A的某些组件（例如，朝向外部或物理环境的相机113、眼睛相机134、微显示器120、不透明度过滤器114、眼睛追踪照明单元134A、耳机130、用于实现一个或多个波长可选过滤器127中的至少一个的可选的有源光栅127、以及温度传感器138）以阴影显示，以表示那些设备中的每一个可以有至少两个，其中至少一个在头戴式显示设备2的左侧而至少一个在右侧。图3A示出控制电路200与电源管理电路202进行通信。控制电路200包括处理器210、与存储器244（例如D-RAM）进行通信的存储器控制器212、相机接口216、相机缓冲区218、显示驱动器220、显示格式化器222、定时生成器226、显示输出接口228、以及显示输入接口230。在一个实施例中，控制电路200的所有组件经由一个或多个总线的专用线路彼此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。

相机接口216提供对两个朝向物理环境的相机113以及本实施例中的如传感器134B之类的IR相机的接口，并将从相机113、134B接收的各个图像存储在相机缓冲区218中。显示驱动器220将驱动微显示器120。显示格式化器222可以向执行该混合现实系统的处理的一个或多个计算机系统（例如4和12）的一个或多个处理器提供与被显示在微显示器120上的虚拟图像有关的信息。显示格式化器222可向不透明度控制单元224标识关于显示光学系统14的透射率设置。定时生成器226被用于向该系统提供定时数据。显示输出228包括用于将来自面向物理环境的相机113和眼睛相机134B的图像提供给处理单元4的缓冲区。显示输入接口230显示包括用于接收诸如要在微显示器120上显示的虚拟图像之类的图像的缓冲区。显示输出228和显示输入230与作为到处理单元4的接口的带接口232进行通信。

电源管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、音频DAC和放大器238、话筒前置放大器和音频ADC 240、温度传感器接口242、有源光栅控制器237、以及时钟生成器245。电压调节器234通过带接口232从处理单元4接收电能，并将该电能提供给头戴式显示设备2的其他组件。照明驱动器236例如经由驱动电流或电压来控制眼睛追踪照明单元134A以大约预定波长或在某一波长范围内操作。音频DAC和放大器238向耳机130提供音频数据。话筒预放大器和音频ADC 240提供话筒110的接口。温度传感器接口242是用于温度传感器138的接口。有源光栅控制器237接收指示一个或多个波长的数据，每个有源光栅127将用作为对该波长的可选波长过滤器。电源管理单元202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并从其接收回数据。电源管理单元202还向GPS收发机144提供电能并从中接收数据和向其发送数据。

图3B是与透明、近眼、混合现实显示单元相关联的处理单元4的硬件和软件组件的一个实施例的框图。图3B示出控制电路304与电源管理电路306进行通信。控制电路304包括中央处理单元（CPU）320，图形处理单元（GPU）322，高速缓存324，RAM 326，与存储器330（例如，D-RAM）进行通信的存储器控制器328，与闪存334（或其他类型的非易失性存储）进行通信的闪存控制器332，经由带接口302和带接口232与透明、近眼显示设备2进行通信的显示输出缓冲区336，经由带接口302和带接口232与近眼显示设备2进行通信的显示输入缓冲区338，与用于连接到话筒的外部话筒连接器342进行通信的话筒接口340，用于连接到无线通信设备346的PCI express接口，以及USB端口348。

在一个实施例中，无线通信组件346包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备、蜂窝、3G、4G通信设备、无线USB（WUSB）通信设备、RFID通信设备等等。无线通信设备346由此允许与例如另一显示设备系统8的端对端数据传输，以及经由无线路由器或基塔连接到较大网络。USB端口可被用于将处理单元4接驳到另一显示设备系统8。另外，处理单元4可接驳到另一计算系统12以便将数据或软件加载到处理单元4以及对处理单元4充电。在一个实施例中，CPU 320和GPU 322是用于确定在何处、何时以及如何向用户的视野内插入虚拟图像的主负荷设备。

电源管理电路306包括时钟生成器360，模数转换器362，电池充电器364，电压调节器366，透明、近眼显示器电源376，以及与温度传感器374进行通信的温度传感器接口372（位于处理单元4的腕带上）。交流电到直流电转换器362被连接到充电插座370来接收AC电源并为该系统产生DC电源。电压调节器366与用于向该系统提供电能的电池368进行通信。电池充电器364被用来在从充电插座370接收到电能后对电池368进行充电（经由电压调节器366）。设备电源接口376向显示设备2提供电能。

在前进到其它系统实施例之前，图4是用于处理可见和红外波长以供透视的平面波导的光路中的图像显示和眼睛追踪的方法的实施例的流程图，其中透明、平面波导被定位成能够被透明、近眼、混合现实显示设备的显示光学系统所透视。在步骤402，沿光路的第一方向将可视和红外照明光学地耦合到平面波导中。例如，在图2B和2C中，反射元件124将可见光耦合到波导中，并且光栅123将IR照明耦合到波导中，并导向元件126和一个或多个过滤器127。在步骤404，与各显示光学系统的光轴共轴地对齐的一个或多个波长可选过滤器被导出平面波导并导向眼睛。例如，参见图2B中的光栅127和图2C中的光栅125。通过沿光轴引导IR照明，照明被集中在眼睛上，从而提供对瞳孔的最多照明以供追踪或者提供对虹膜的最多照明以供扫描。同样，存在以下假设：显示光学系统的光轴与用户在朝前方平视时的瞳孔对准或尽可能地对准。

在步骤406，一个或多个波长可选过滤器（例如，127、125）将来自眼睛的红外反射沿相同光路的第二方向导入平面波导。在步骤408，红外反射被光学地从平面波导耦合至红外传感器。在步骤410，由红外传感器（例如，电荷耦合设备（CCD）或CMOS像素传感器阵列）所生成的数据被存储成眼睛追踪数据。眼睛追踪数据的一些示例是来自IR相机或由位置灵敏探测器（PSD）所探测到闪光的位置的图像数据。在一些实施例中，第一和第二方向可以是相同的，如图2C中所示。在其它实施例中，第一方向和第二方向可以是不同的，如图2B中所示。不同方向的示例是相反方向。

图5A是来自透过集成眼睛追踪和显示光学系统的另一实施例的平面波导看的眼睛的视角的视图，该集成眼睛追踪和显示光学系统使用集成线性光源阵列以及用于生成图像的扫描镜。

在这一实施例中，集成的光源阵列504和IR传感器516电气地连接至电子模块，例如位于眼镜框115的眉处且位于显示光学系统14上方的印刷电路板（PCB）502。电子模块经由电气连接140连接至控制电路136。显示光学系统14至少包括一个透明透镜118和一个透明平面波导112。在这一实施例中，波导112可以被实现为TIR槽式的平面波导。

图像生成单元通过集成的光源阵列504、光学元件508、光束组合器506、扫描镜510、以及光耦合器512实现。如以下的图9中所描述的电子模块502确定并设置不同可见光源的输出波长以供生成图像。另外，光源包括用于生成用于眼睛追踪的红外照明的红外发光器。光源504的输出（例如集成LED或激光器（例如，VCSELS））由光束组合器506组合成组合光束，并且由光学元件508（例如，反射元件）光学地耦合到扫描镜510。在一些实施例中，扫描镜可用微机电系统（MEMS）技术来实施。镜子可被移动以将接收到的照明沿一根轴引导以供单向扫描，或沿两根轴（例如，水平轴和垂直轴）引导以供双向扫描。在返回将照明光学地耦合到平面波导之前，接着先讨论阵列的布局。

图6A示出了线性集成光源阵列的示例布局，该线性集成光源阵列同时生成可见和红外照明以供透明、近眼、混合现实设备的集成眼睛追踪和显示光学系统中使用。如图6A的示例中所示，光源阵列504可被实现为线性集成可见光源阵列，例如LED或VSSELS。在这一示例中，使用了多行用“R”表示的红色、用“G”表示的绿色和用“B”蓝色。可使用其它颜色范围，诸如青、品红以及黄色。在其它示例中，每个可见光源可被单独地调制成可见光谱中的任何颜色。另外，阵列包括用“I”表示的一行红外发光器。阵列的行根据阵列的大小而重复。因此，图像生成照明器和眼睛追踪照明器被组合成一个集成的阵列单元。

在这一示例中，红、绿、蓝以及红外发光器的各行位于列中，而对各行进行扫描。红、蓝和绿光源的每一个被调制成代表一部分图像，例如诸如像素之类的图片元素。一行中的每组红、绿、蓝以及红外可对应于图像的一个部分。集成线性阵列504的输出通过光束组合器506和光学元件508，光学元件508将可见和IR照明两者的经组合的光束引导至扫描镜510。

在其它示例中，可以有更少或更多的红外发光器散布在可见光源中。例如，每二十（20）个可见光源可以有一个IR发光器。这种配置可被用于基于结构化照明的应用。

图6C示出了线性集成光源阵列的另一示例布局，该阵列同时生成可见和红外照明，其中红外光源被放置在适合用于闪光追踪的布置中的每一行的末端。闪光是从角膜的一个或多个表面上射出的反射。随着用户的眼睛移动，不同眼睛部分（如瞳孔、虹膜以及巩膜）的镜面反射影响在诸如位置灵敏探测器（PSD）或光探测器之类的IR传感器处接收到的每个闪光的密度值。可根据由传感器生成的闪光数据值来确定瞳孔位置。

扫描镜510扫描每一行并将每一行反射到光学表面512上，由此将图像再次产生在光学元件的表面512上。在其它示例中，也可使用逐列的扫描。逐行的扫描是使用线性阵列所允许的单向扫描的一个示例。如果需要的话，也可使用采用双向扫描的实施例。可见和红外波长沿光路的从发光器到平面波导112的方向通过光学元件512。如以下讨论的，光学元件512的另一侧包括针对红外波长的单向波长可选过滤器511，以便沿光路方向将红外反射导向红外传感器518。光耦合器（例如，一个或多个准直透镜527）将图像和IR照明耦合至波导112中。

在这一示例中，光栅524对平面波导中的可见和IR照明进行衍射以供全内反射。在一个示例中，光栅524可使用层叠的多个光栅来实现，一个用于引导可见光谱波长，而另一个用于引导IR照射。例如，可在可见光谱反射元件的表面上层叠一个热镜。另外，在这一示例中，光栅524包括双向IR反射光栅以便将IR反射沿路径529耦合到光学元件512的波长可选过滤器511（例如，热镜），并且将IR照明反射到定位成与现实光学系统的光轴142共轴的IR波长可选过滤器525。

在这一示例中，层叠的光栅526和525都与光轴142共轴地对齐。光栅526位于光栅525之后，光栅526将可见光沿光轴142导出波导，光栅525，例如通过衍射或反射，将红外照明导出波导并将接收到的IR反射导入波导中。代表从波导中出来（在本示例中是射出页面）的IR照明以及进入波导（在本示例中是进入页面）中的IR反射的箭头522，以光轴142为中心。在一些实施例中，为了更好地减少IR反射中的反向散射的IR照明，可见光栅526和IR光栅525在它们的较长的右侧表面都可具有IR阻挡涂层以阻挡正内部反射回光栅524的IR照明。

在这一示例中，IR光栅525是双向的，并且将红外反射导回对于红外波长同样是双向的光栅524。IR反射529被导回光学元件512的波长可选过滤器511，其将IR反射导向另一IR波长可选过滤器514（例如，热镜、反射光栅、衍射光栅），其引导IR反射528穿过耦合的透镜516并导向IR传感器518。

图5B示出图5A的实施例的另一版本，其中集成阵列式光学元件阵列，其中红外传感元件被集成到光源阵列中。图6B示出了包括红外传感元件和光源的线性集成光学元件阵列的示例布局，该阵列同时生成可见和红外照明以供透明、近眼、混合现实设备的集成眼睛追踪和显示光学系统中使用。

在示出的示例中，光学元件阵列505包括多行用“S”表示的IR传感元件。在一些示例中，IR传感元件“S”可以是集成光探测器。对于光源阵列504和光学元件阵列505两者，所表示的多行发光器的顺序是灵活的。例如，红、绿、蓝、红外的顺序被用于图6A中的阵列504，而红、红外、绿、传感器、蓝的顺序被用于图6B中。

其它几何图形也可被用于集成光源阵列。例如，取代多行光源，可以有多组或多群集光源。每组可包括颜色光源和IR光源以及IR传感器（如果采用光学元件布置的话）。每组的几何布置的示例可以是正方形、圆形、或矩形。在这一实施例中，可见和红外照明被耦合到如以上对于图5A的实施例所讨论的波导中。在这一实施例中，当红外反射被导回集成的光学元件阵列时，光学元件612可以是直通光学元件，其中扫描镜510通过反射可见照明在光学元件612上重新产生图像。来自光栅524的IR照明穿透光学元件612。由于反射以光速行进，扫描镜510将IR反射以相反路径反射回双向反射元件508，该路径向前穿过光束组合器506并回到包括红外传感元件（“S”元件）的光学元件阵列505。响应于接收到的IR光子，传感元件生成电信号。电信号被转换成代表性的数据信号，其由电子模块502传输到（例如，电气连接140）控制电路136的一个或多个处理器以及处理单元4，以供诸如凝视确定、生物监视和生物标识之类的应用。

图6D示出了包括红外传感元件、可见光源和红外光源“I”及红外传感元件“S”的光学元件线性集成阵列的另一示例布局，其中红外光源“I”以及红外传感元件“S”被放置在适合用于闪光追踪的布置中的可见光源行末端。以上对于图5B的实施例所讨论的处理也适用于这一使用如图6D中的集成光学元件阵列的实施例。如在图6B中的示例一样，在一些示例中，IR传感元件可以是集成的光探测器。

图7A是来自透过集成眼睛追踪和显示光学系统的另一实施例的平面波导看的眼睛的视角的视图，该集成眼睛追踪和显示光学系统使用经调制的光源以及2D扫描镜。这一实施例是图5A的实施例的另一版本，除了集成光源阵列504被独立的光源507所取代。在这一示例中，四种光源被示出为与采用红、绿以及蓝来生成不同颜色的示例的上下文相一致，但当然也可采用其它组合。在这一示例中，光源中的一个（例如，激光器、LED）发射红色光谱照明，另一个发射蓝色光谱照明，另一个发射绿色光谱照明，并且另一个发射红外光谱照明，因此三种光源生成了构成图像的全部部分的色彩。在这一示例中，扫描镜510是双向扫描镜，其在垂直和水平两个方向上移动以在光学元件512上重新产生由激光器的当前输出所表示的图像部分以完成图像。光学元件512类似于投影仪屏幕。

图7B示出图7A的实施例的另一版本，其使用单个经调制光源和有源光栅。在这一示例中，那组单独的光源由单个光源509所取代，光源509被调制成可见光谱中的数个波长中的一个，并且还用于生成红外光谱中的照明。扫描镜是双向扫描镜。在这一示例中，光源以不同的时间间隔发射红外和可见照明。扫描镜将IR照明导向元件的中心、穿过准直透镜516并导入波导112中。

单个由于光栅（也称为开关光栅）可被用于波长可选过滤器525，其可对沿光轴142进出波导112并导向及来自眼睛的可见和红外波长进行过滤。在眼镜框115内，在电子模块502和平面波导112之间建立电气连接141。来自有源光栅控制器237的控制信号根据用于单个源的调制的不同时间间隔的定时将光栅525的波长可选性调制在可见光谱和红外光谱之间，以生成不同可见和红外波长。

图8是用于与包括光源和扫描镜的图像生成单元一起使用的透明、近眼、混合现实显示设备的元件和软件组件的另一实施例的框图。这一实施例是图3A的硬件和软件组件的另一版本，其中控制电路与电子模块502相接。在这一实施例中，显示驱动器220将其图像数据提供给电子模块502的显示照明控制器554。在这一实施例中，505中的IR传感器518或IR传感元件“S”是IR图像传感元件，而电子模块502的IR相机接口558被耦合到相机接口216以传输用于眼睛追踪处理的IR图像数据。

图9是可被用于控制使用至少一个光源和扫描镜的集成眼睛追踪和显示光学系统的硬件组件的电子模块的实施例的框图。电子模块502被例如经由图5A、5B、7A以及7B中所显示的电气连接140通信地耦合到控制电路136。显示照明控制器554接收来自显示驱动器220的图像数据并将其存储在显示数据缓冲区560中。显示照明控制器554将图像数据转换成用于可见光源568（此处标记为颜色1光源568₁、颜色2光源568₂、以及颜色N光源568_N）的调制信号。控制器554发送各个光源调制信号以控制光源568的各个驱动器570。显示照明控制器554还为驱动IR光源569的IR照明驱动器572提供用于预定IR波长或一定范围的IR波长的调制信号。各个光源568可以是如图7A以及7B中的单个的不同调制光源，或者是集成的光源阵列504或者集成的光学元件阵列505的一部分。在一些实施例中，驱动器570、572还可以被集成在阵列中，并且各个驱动器驱动相应阵列504、505中的对应的光源568。在其它实施例中，驱动器570可以时间间隔的一定顺序在阵列中激活一行光源568或一组光源568。在图7B的单个不同光源509的情况下，可存在仅仅一个驱动器，其生成IR和可见光谱两者中的调制信号，或者开关（为示出）可切换来自不同驱动器570和572的调制信号供光源509接收。

电子模块510还包括用于控制扫描镜510的移动的扫描镜控制器556。在一些示例中，扫描镜控制器556可以被编程以执行单向扫描或双向扫描。在这一示例中，IR相机接口558接收代表IR相机564所接收的光子的数据，并且将它们存储在IR数据缓冲区562中，接口558可将该数据从IR数据缓冲区562传输至控制电路的相机接口216。

在以上的各实施例中所描述的集成眼睛追踪和显示系统简化了用于许多应用的眼睛追踪处理，诸如测量趋势、瞳孔间距（IPD）、凝视确定、基于眼睛移动的命令以及生物标识。另外，如此处所描述的眼睛追踪和显示系统的集成可以适用于普遍可用的消费品的外形来实现。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims

1.一种用于透明、近眼、混合现实显示设备的集成眼睛追踪和显示系统，所述集成眼睛追踪和显示系统包括：

用于每只眼睛的显示光学系统(14)，所述显示光学系统具有光轴(142)以及定位成能够被各只眼睛透视的透明、平面波导(112)；

一个或多个波长可选过滤器(525、526)，所述波长可选过滤器位于各个透明、平面波导中，与各个显示光学系统的光轴共轴地对准，用于将红外和可见照明(522)导出各个平面波导，并用于将红外反射(522)导入所述平面波导中；

包括用于发射红外和可见照明的光源(504)的光学元件的集成阵列(504、505)，所述光源被光学地耦合(508、510、512、527)至所述平面波导以将其照明导入所述平面波导中；以及

所述光学元件的集成阵列还包括一个或多个红外传感器(518、505)，所述光学元件的集成阵列的一个或多个红外传感器被光学地耦合((527、511、514)、(527、612))至所述平面波导以接收引导自所述一个或多个波长可选过滤器的红外反射。

2.如权利要求1所述的用于透明、近眼、混合现实显示设备的集成眼睛追踪和显示系统，其特征在于，所述一个或多个波长可选过滤器包括双向红外波长可选过滤器(525)。

3.如权利要求1所述的用于透明、近眼、混合现实显示设备的集成眼睛追踪和显示系统，其特征在于，所述光学元件的集成阵列是由多行所述光源组成的线性阵列，所述线性阵列由扫描镜(510)扫描以将可见和红外照明耦合到所述平面波导中。

4.如权利要求3所述的用于透明、近眼、混合现实显示设备的集成眼睛追踪和显示系统，其特征在于，所述各只眼睛的红外反射被从所述平面波导中的所述一个或多个波长可选过滤器的至少一个沿相反的光路光学地耦合到所述扫描镜，并且耦合至所述光学元件的集成阵列的一个或多个红外传感器。