CN103091843A

CN103091843A - 透视显示器亮度控制

Info

Publication number: CN103091843A
Application number: CN2012104353164A
Authority: CN
Inventors: A·O·巴兰; R·L·哈斯汀斯; S·G·拉塔; M·J·斯卡韦泽; D·J·麦卡洛克; D·L·尼; B·J·芒特; K·A·盖斯那; R·L·克罗科
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2011-11-04
Filing date: 2012-11-02
Publication date: 2013-05-08
Anticipated expiration: 2032-11-02
Also published as: US20130114043A1; CN103091843B; WO2013067230A1; US8752963B2; HK1183105A1

Abstract

本发明提供了透视显示器亮度控制。该技术提供了用于基于用户正注视之物的光强度来控制透视、近眼混合显示设备的亮度的各种实施例。该显示器的不透明度可被改变，使得如果佩戴者正在看明亮物体，外部光被减少。佩戴者的瞳孔大小可被确定并用于调整用于显示图像的亮度以及显示器的不透明度。可确定用于显示图像的不透明度和亮度之间的合适的平衡，以允许清晰地看到现实物体和虚拟物体，同时不会对佩戴者的眼睛造成损害或不适。

Description

透视显示器亮度控制

技术领域

本发明涉及透视显示器，尤其涉及透视显示器亮度控制。

背景技术

增强或混合现实是一种允许将虚拟图像与用户对现实世界的实际视野混合的技术。透视、近眼显示器可被用户佩戴以查看虚拟和现实物体的混合图像。显示器在用户的视野中显示虚拟图像。

然而，需要保护佩戴者的眼睛免予来自显示器的太多的光。显示器的亮度是有多少外部光通过显示器与有多少光被用于显示图像的组合。从而，如果太多的外部光通过显示器照射，用户可能经受眼睛损伤或不适。同样，如果太多的光被用于显示图像，用户可能遭受眼睛不适或损伤。此外，需要保护用户的眼睛，同时仍然允许用户适当地看到虚拟和现实物体。

发明内容

该技术提供了用于基于用户正注视之物的光强度来控制透视、近眼混合显示设备的亮度的各种实施例。该显示器的不透明度可被改变，使得如果佩戴者正在看明亮物体，外部光被减少。佩戴者的瞳孔大小可被确定并用于调整用于显示图像的亮度（“图像亮度”）以及显示器的不透明度。可实现不透明度和图像亮度之间的合适的平衡，以允许清晰地看到现实物体和虚拟物体，同时不会对佩戴者的眼睛造成损害或不适。

一个实施例包括使用眼睛跟踪相机估计透视显示器的佩戴者正注视于的区域，确定用户正注视于的区域的光强度，以及基于该区域的光强度来调整透视显示器的亮度。

一个实施例包括一种显示系统，该显示系统包括透视、近眼的显示设备，该透视近眼显示设备包括被定位成由相应的眼睛透视的用于每个眼睛的相应显示光学系统。该系统还包括附连于透视显示设备的用于每只眼睛的图像生成单元，用于生成至少一个虚拟图像供在显示光学系统中显示。此外，该系统具有定位在显示设备上的注视检测元件的相应安排。该系统还包括耦合于注视检测元件的逻辑。该逻辑为透视显示设备的佩戴者确定注视估计。该逻辑访问系统的视野的亮度数据。该逻辑确定正被注视的区域的光强度。该逻辑基于该区域的光强度调整透视显示设备的亮度。

一个实施例包括包含以下内容的方法。使用第一相机跟踪透视显示器的佩戴者的视野。使用第二相机确定佩戴者的至少一个眼睛的注视向量。基于所述跟踪和所述注视向量确定视野中佩戴者正注视于的区域的亮度。确定佩戴者的瞳孔大小。基于该区域的光强度以及瞳孔大小来调整透视显示器的亮度。

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图说明

图1A是描绘具有亮度控制的透视、混合现实显示设备的一个实施例的示例组件的框图。

图1B是描绘具有亮度控制的透视、混合现实显示设备的另一实施例的示例组件的框图。

图1C示出定位成在配备在一副眼镜中的混合现实显示设备上面对各相应眼睛的、用于每个眼睛的注视检测系统中的相应注视检测元件的集合的位置的示例性安排。

图1D示出定位成在配备在一副眼镜中的混合现实显示设备上面对各相应眼睛的、用于每个眼睛的注视检测系统中的相应注视检测元件的集合的位置的另一示例性安排。

图1E示出由该副眼镜定位成面对各相应眼睛的、用于每个眼睛的注视检测系统中的相应注视检测元件的集合的位置的又一示例性安排。

图1F是用于基于注视估计和瞳孔大小来调整亮度的系统的一个实施例的框图。

图1G是基于注视估计以及可选地基于瞳孔大小来调整亮度的过程的一个实施例的流程图。

图2是提供对硬件和软件组件的支持的混合现实显示设备的实施例中的镜腿的侧视图。

图3A是包括注视检测系统中注视检测元件的安排的透视、近眼、混合现实设备的显示光学系统的实施例的俯视图。

图3B是包括注视检测系统中注视检测元件的安排的透视、近眼、混合现实设备的显示光学系统的另一实施例的俯视图。

图3C是包括注视检测系统中注视检测元件的安排的透视、近眼、混合现实设备的显示光学系统的第三实施例的俯视图。

图3D是包括注视检测系统中注视检测元件的安排的透视、近眼、混合现实设备的显示光学系统的第四实施例的俯视图。

图4A是可用于图2的实施例的透视、近眼、混合现实显示单元的硬件和软件组件的一个实施例的框图。

图4B是与透视、近眼、混合现实显示单元相关联的处理单元的硬件和软件组件的一个实施例的框图。

图5A是确定透视显示器的佩戴者正在注视的区域的亮度的一个实施例的流程图。

图5B是示出在用户的眼睛所聚焦的注视点处相交的注视向量的示例的俯视图。

图5C是确定瞳孔大小的一个实施例的流程图。

图5D示出用于角膜和瞳孔图像的模型的一个实施例。

图5E示出用于角膜的模型的一个实施例，带有具有中心E_i的相关联的瞳孔图像。

图5F是确定用于眼睛跟踪的用户特定参数的一个实施例的流程图。

图5G是确定基线用户特定参数的过程的一个实施例的流程图。

图5H是基于用户基线值来逐渐改变显示器亮度的一个实施例的流程图。

图5I是基于用户的眼睛与透视显示器的距离来改变显示器亮度的一个实施例的流程图。

图5J是基于图像上下文调整显示器亮度的一个实施例的流程图。

图6A是用于确定三维用户视野的方法实施例的流程图。

图6B是用于在用户视野中标识一个或多个现实物体的方法实施例的流程图。

图6C是用于生成用户空间的三维模型的方法实施例的流程图。

图6D是用于在用户视野中标识一个或多个现实物体的方法实施例的流程图。

图6E是用于在用户视野中标识一个或多个现实物体的方法实施例的流程图。

图6F是用于确定物体在透视、近眼显示设备的用户视野内的位置的系统实施例的框图。

图7是用于确定透视、近眼、混合现实显示系统中的注视的方法实施例的流程图。

图8是用于标识图像数据中的闪光的方法实施例的流程图。

图9是可被用于确定注视检测坐标系的边界的方法实施例的流程图。

图10是示出用于使用透视、近眼、混合现实显示器的光学注视检测元件来确定角膜中心在坐标系中的位置的方法实施例的流程图。

图11提供使用光学元件的安排所提供的几何形状来定义平面以形成可由图10的实施例用来寻找角膜中心的注视检测坐标系的说明性示例。

图12是示出用于从传感器生成的图像数据来确定瞳孔中心的方法实施例的流程图。

图13是示出用于基于所确定的瞳孔中心、角膜中心、以及眼球的旋转中心来确定注视向量的方法实施例的流程图。

图14是示出用于基于闪光数据来确定注视的方法实施例的流程图。

图15A是示出用于生成用于对注视的基于比较的确定的一组训练数据集的方法实施例的流程图。

图15B是示出用于基于训练数据集来确定注视的方法实施例的流程图。

图15C是可以与图14的比较步骤一起使用的内插方法实施例的流程图。

图16是示出用于检查是否要完成对训练注视数据集的重新校准的方法实施例的流程图。

图17是可以在本技术的各实施例中操作的示例性移动设备的框图。

图18是可用于实现中枢计算系统的计算系统的一个实施例的框图。

具体实施方式

本文所描述的技术提供了用于调整透视、近眼显示器的亮度的各种实施例。一个可能的调整是改变用于显示图像的亮度（“图像亮度”）。另一可能的调整是改变显示器的不透明度，使得更多或更少的外部光将通过进入佩戴者的眼睛。这些调整可针对彼此来平衡，使得可适当地观看到现实和虚拟物体。

在一个实施例中，佩戴者的眼睛被跟踪以确定用户正注视哪里。然后确定用户正在看的现实世界物体的光强度。光强度可被用于调整不透明度和/或图像亮度。在一个实施例中，佩戴者的瞳孔大小被跟踪。瞳孔大小可被用于确定如何调整不透明度和/或图像亮度。注意，来自物体的光强度和瞳孔大小都可在所述确定中被计算在内。

在某些实施例中，注视估计被用于确定如何调整显示器亮度。注视有时被称为眼睛的视线或视轴。该视轴从视网膜的小凹（有时被称为小凹中央）延伸通过瞳孔中心。将视轴从小凹延伸通过瞳孔以及每个眼睛的透视镜片，可在可包括虚拟物体的图像以及现实世界的实际直接视图的用户视野中确定注视点。在一个实施例中，确定用户正注视于的区域的光强度。

用于确定注视的一种技术可基于闪光数据或闪光与图像数据的组合。在某些实施例中，基于对显示设备上至少一个光传感器以及各照明器的预定定位的注视确定坐标系提供了显示设备与每个相应的眼睛之间的三维（3D）空间关系。每个眼睛的注视向量可基于该3D空间关系来确定。基于双眼的注视向量或基于来自至少一个眼睛的注视向量以及环境的估计的图，可确定注视点，该注视点指示出用户正注视的、或更通常地表述为用户正在看的现实或虚拟的一个或多个物体。

其他实施例使用眼睛的图像数据以及在各照明器和至少一个图像传感器的几何形状的上下文中表示闪光的数据两者，来确定眼睛的各部分的位置与注视检测元件的相应系统之间的三维（3D）空间关系的边界。眼睛的这些部分的示例是基于闪光数据所确定的角膜的中心、从眼睛的图像数据确定的瞳孔的中心、以及眼睛的旋转中心，眼睛的旋转中心的位置是基于角膜中心的位置来估计的。出于注视确定目的中的准确性考虑因素，在一个实施例中，眼球的旋转中心可被认为是固定的。然而，在一个实施例中，眼球的旋转中心不被认为是固定的。注意，在一个实施例中，如果HMD被重新定位在脸上，眼球的旋转中心不被认为是固定的。相应眼睛的注视向量是基于形成相应眼睛的光轴的角膜中心、瞳孔中心、以及旋转中心来确定的。角偏移量可被应用于该光轴，以便获取可被选作注视向量的该眼睛的视轴。

不同的注视检测技术可被用在相同的系统内。例如，由于眼睛的障碍物或更新处理时间，计算强度较小的技术（像某种版本的基于将闪光强度值与瞳孔位置相关的方法）可被更频繁地与之间带有较长时间间隔的计算强度较大的技术（像某种版本的基于角膜中心、瞳孔中心、旋转中心与光学元件的注视检测系统之间的3D空间关系来确定注视向量）结合使用。例如，在使用训练注视数据集的各实施例中，包括眼睛与注视检测元件之间的深度改变等空间关系中的改变也可被确定为触发对系统的重新校准的指示。

在某些实施例中，透视显示设备在一副眼镜中，但也可使用其他头戴式显示器（HMD）格式以及适于消费者每天使用的近眼显示器支架。

图1A是描绘基于注视确定和/或瞳孔大小来控制显示器亮度的混合现实显示系统的一个实施例的示例组件的框图。例如，可调整不透明度和/或图像亮度。系统10包括作为通过线6与处理单元4进行通信的近眼、头戴式显示设备2的透视显示设备。

在其他实施例中，头戴式显示设备2通过无线通信来与处理单元4进行通信。处理单元4可以采取各种实施例。在一些实施例中，处理单元4是可以佩戴在用户的身体（例如，在所示示例中的腕）上或置于口袋中的分开的单元，并且包括用于操作近眼显示设备2的计算能力中的大部分能力。处理单元4可以与一个或多个中枢计算系统12无线地（例如，WiFi、蓝牙、红外、或其他无线通信手段）通信。在其他实施例中，处理单元4的功能可被集成在显示设备2的软件和硬件组件中。

头戴式显示设备2（在一个实施例中它是带镜架115的眼镜的形状）被佩戴在用户的头上，使得用户可以透视显示器（在该示例中该显示器被实现为用于每一只眼睛的显示光学系统14），并且从而具有对该用户前方的空间的实际直接视图。镜架115提供用于将该系统的各元件保持在原位的支承体以及用于电连接的管道。在该实施例中，镜架115提供了便利的眼镜架作为对下面进一步讨论的系统的各元件的支承体。在其他实施例中，可以使用其他支承结构。这样的结构的示例是帽舌或护目镜。镜架115包括用于搁在用户的每一只耳朵上的镜腿或侧臂。镜腿102是右镜腿的实施例的表示。镜架的鼻梁104包括用于记录声音并向处理单元4传送音频数据的话筒110。

在某些实施例中，透视显示器的不透明度是可调整的以控制允许通向用户的眼睛的外部光量。控制不透明度可能有助于帮助显示器上的图像看上去更逼真。例如，可帮助使得虚拟物体看上去更为逼真地与现实物体结合。控制不透明度也可保护用户的眼睛免予损伤或不适。

中枢计算系统12可以是计算机、游戏系统或控制台等等。根据一示例实施例，中枢计算系统12可以包括硬件组件和/或软件组件，使得中枢计算系统12可以用于执行诸如游戏应用、非游戏应用等等之类的应用。在一个实施例中，中枢计算系统12可以包括诸如标准化处理器、专用处理器、微处理器等等之类的处理器，这些处理器可以执行存储在处理器可读存储设备上的指令以用于执行在此所述的过程。

中枢计算系统12还包括一个或多个捕捉设备，如捕捉设备20A和20B。在其他实施例中，可使用多于或少于两个捕捉设备来捕捉房间或用户的其他物理环境。捕捉设备20A和20B可以是例如相机，相机在视觉上监视一个或多个用户和周围空间，从而可以捕捉、分析并跟踪该一个或多个用户所执行的姿势和/或移动以及周围空间的结构，以在应用中执行一个或多个控制或动作和/或使化身或屏上角色动画化。应用可以在中枢计算系统12上、显示设备2上、如下所述地在移动设备5上、或在这些设备的组合上执行。

中枢计算环境12可以连接到诸如电视机、监视器、高清电视机（HDTV）等可提供游戏或应用视觉的视听设备16。在一些情况下，视听设备16可以是三维显示设备。例如，中枢计算系统12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从中枢计算系统12接收视听信号，并且然后可以输出与视听信号相关联的游戏或应用视觉和/或音频。根据一个实施例，视听设备16可经由例如S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆、分量视频电缆、RCA电缆等连接至中枢计算系统12。在一个示例中，视听设备16包括内置扬声器。在其他实施例中，视听设备16、单独的立体声系统或中枢计算系统12连接到外部扬声器22。

图1B是描绘基于注视确定和/或瞳孔大小来调整显示器亮度的混合现实显示系统的另一实施例的示例组件的框图。在该实施例中，近眼显示设备2与作为处理单元4的示例实施例的移动计算设备5进行通信。在所示示例中，移动设备5经由线6进行通信，但在其他示例中通信也可以是无线的。

此外，如在中枢计算系统12中一样，游戏和非游戏应用可以在移动设备5的处理器上执行，其中用户动作控制或用户动作动画化可被显示在设备5的显示器7上的化身。移动设备5还提供用于通过因特网或另一通信网络经有线或无线通信介质使用有线或无线通信协议来与像中枢计算系统12的其他计算设备进行通信的网络接口。像中枢计算系统12的远程网络可访问的计算系统可被像移动设备5的处理单元4充分利用来提供处理能力和远程数据访问。移动设备5的硬件和软件组件（例如可被实现在智能电话或平板计算设备中）的示例在图17中描述，并且这些组件可以包括处理单元4的硬件和软件组件，如在图4A的实施例中讨论的那些组件。移动设备5的一些其他示例是膝上型计算机或笔记本计算机以及上网本计算机。

如上所述，在一些实施例中，对用户的眼睛中的每一个的注视检测基于与诸如角膜中心、眼球旋转中心、以及瞳孔中心等一个或多个人眼元素有关的、像眼镜2等近眼、混合现实显示设备上的注视检测元件的三维坐标系。可作为该坐标系的一部分的注视检测元件的示例包括生成闪光的照明器和用于捕捉表示所生成的闪光的数据的至少一个传感器。如在图7的实施例中讨论的，角膜中心可以基于两个闪光使用平面几何来确定。角膜中心链接瞳孔中心和眼球的旋转中心，这可被当作用于在特定注视或观看角度确定用户的眼睛的光轴的固定位置。

图1C示出实现在一副眼镜2中的透视、近眼、混合现实显示系统中的注视检测元件的相应集合的位置的示例性安排。该系统还具有能确定瞳孔大小的一个或多个相机。此外，该系统能够在3D中跟踪每个眼睛。

表现为每个眼睛的镜片的是每个眼睛的显示光学系统14，例如14r和14l。显示光学系统包括透视镜片，例如图3A-3D中的118和116，如一副普通眼镜那样，但还包含用于将虚拟内容与透过镜片118、116看到的实际和直接现实世界视图无缝地融合的光学元件（例如，反射镜、滤光器）。显示光学系统14具有一般处于透视镜片118、116的中心的光轴，其中光一般被校准来提供无失真视图。例如，在眼睛护理专业人员使一副普通眼镜适合于用户的脸部时，目标是该眼镜在每一瞳孔与相应镜片的中心或光轴相对准的位置处落在用户的鼻子上，从而通常使得校准光到达用户的眼睛以得到清晰或无失真的视图。

在图1C的示例中，至少一个传感器的检测区域139r、139l与其相应显示光学系统14r、14l的光轴相对准，使得检测区域139r、139l的中心捕捉沿着光轴的光。如果显示光学系统14与用户的瞳孔对准，则相应传感器134的每一检测区域139与用户的瞳孔相对准。检测区域139的反射光经由一个或多个光学元件传送到相机的实际图像传感器134，在该示例中传感器134由处于镜架115内部的虚线示出。

在一个示例中，通常也被称为RGB相机的可见光相机可以是所述传感器，并且光学元件或光引导元件的示例是部分透射且部分反射的可见光反射镜。可见光相机提供用户的眼睛的瞳孔的图像数据，而IR光电探测器152捕捉闪光，闪光是频谱的IR部分中的反射。如果使用可见光相机，则虚拟图像的反射可以出现在该相机所捕捉的眼睛数据中。图像过滤技术可被用来在需要时移除虚拟图像反射。IR相机对眼睛上的虚拟图像反射是不敏感的。

在一个实施例中，所述至少一个传感器134是IR辐射可被定向到的IR相机或位置敏感检测器（PSD）。例如，热反射表面可以透射可见光但反射IR辐射。从眼睛反射的IR辐射可以来自照明器153、其他IR照明器（未示出）的入射辐射或者来自从眼睛反射的环境IR辐射。在一些示例中，传感器134可以是RGB和IR相机的组合，并且光学引导元件可包括可见光反射或转向元件和IR辐射反射或转向元件。在一些示例中，相机可以是小型的，例如2毫米（mm）乘2mm或3mm乘3mm。这样的相机传感器的示例是Omnivision OV7727。在其他示例中，相机可以足够小（例如Omnivision OV7727），例如使得图像传感器或相机134能以显示光学系统14的光轴或其他位置为中心。例如，相机134可被嵌入在系统14的镜片中。另外，可以应用图像过滤技术来将相机混合到用户视野中以减轻对用户的任何干扰。

在图1C的示例中，有四组照明器153，照明器153与光电检测器152配对并由屏障154分开以避免照明器153所生成的入射光与在光电检测器152处接收到的反射光之间的干扰。为了在附图中避免不必要的混乱，就代表性的一对示出了附图标记。每一照明器可以是生成大约预定波长的窄光束的红外（IR）照明器。光电检测器中的每一个可被选择来捕捉大约该预定波长的光。红外还可包括近红外。因为照明器或光电检测器可能存在波长漂移或者波长周围的微小范围是可接受的，所以照明器和光电检测器可以具有与用于生成或检测的波长有关的容限范围。在传感器是IR相机或IR位置敏感检测器（PSD）的实施例中，光电检测器可以是附加数据捕捉设备并且也可被用来监视照明器的操作，例如波长漂移、波束宽度改变等。光电检测器还可提供闪光数据，其中可见光相机作为传感器134。

如上所述，在作为确定注视向量的一部分来计算角膜中心的一些实施例中，两个闪光（并且因此两个照明器）将是足够的。然而，在确定瞳孔位置并且因此确定注视向量时，其他实施例可以使用附加闪光。因为表示闪光的眼睛数据是重复地捕捉的，例如以每秒30帧或更大的帧率，所以一个闪光的数据可被眼睑或甚至被睫毛遮挡，但数据可由另一照明器所生成的闪光来收集。

图1D示出实现在一副眼镜中的混合现实显示设备中的注视检测元件的相应集合以及用于检测瞳孔大小的一个或多个相机的位置的另一示例性安排。在该实施例中，两组照明器153和光电检测器152对位于显示光学系统14周围的每一镜架部分115的顶部附近，并且另两组照明器和光电检测器对位于每一镜架部分115的底部附近，以示出照明器之间的几何关系并因此示出它们生成的闪光之间的几何关系的另一示例。闪光的这一安排可以提供与垂直方向上的瞳孔位置有关的更多信息。

图1E示出注视检测元件的相应集合以及用于检测瞳孔大小的相机系统的位置的又一示例性安排。在该示例中，传感器134r、134l与其相应显示光学系统14r、14l的光轴成一直线或对准，但在镜架115上位于系统14下方。另外，在一些实施例中，相机134可以是深度相机或包括深度传感器。深度相机可被用于在3D中跟踪眼睛。在该示例中，有两组照明器153和光电检测器152。

图1F是用于基于注视估计和瞳孔大小来调整亮度的系统的一个实施例的框图。该系统包括一个或多个相机系统252。此处所述的相机系统、图像传感器、光电检测器等中的任一个都可被用于相机系统252中，如（但不限于）捕捉设备20A和20B、图像传感器134、检测区域139、照明器153、光电检测器152。相机系统252为亮度控制逻辑258、注视估计逻辑254、以及瞳孔大小确定逻辑256提供数据。

亮度控制逻辑258控制透视显示器的亮度。亮度控制逻辑258具有用于控制透视显示器的不透明度的不透明度控制逻辑260，以及用于控制呈现在透视显示器上的图像的亮度的图像亮度控制逻辑262。在一个实施例中，亮度控制逻辑258输出用于控制不透明度和图像亮度的控制信号。

在一个实施例中，注视估计逻辑254确定注视向量。瞳孔大小确定逻辑256确定瞳孔大小。注视向量和瞳孔大小被提供给亮度控制258。

在一个实施例中，亮度控制258输入用户基线值，用户基线值是与特定用户的眼睛有关的参数。这些用户基线值可被用于确定如何控制显示器亮度。以下描述进一步的细节。

该系统可由硬件和/或软件的任何组合来实现。在一个实施例中，亮度控制258、注视估计逻辑254以及瞳孔大小确定逻辑256由处理器来实现。作为示例，设备4、5可具有处理器。注意，该系统可具有其他元件，但是它们未被显示出以便不使图示模糊。

图1G是基于注视估计以及可选地基于瞳孔大小来调整透视显示器亮度的过程的一个实施例的流程图。该过程可被用于调整透视显示器的不透明度和/或图像亮度。控制不透明度控制多少外部光通过透视显示器。控制图像亮度控制透视显示器多亮地呈现图像。注意，控制图像亮度可帮助节省功率以及延长透视显示器的使用寿命。

控制不透明度和图像亮度具有许多优点。它尤其可允许虚拟物体与现实物体更逼真地结合、保护用户的眼睛免予损伤和不适、节省功率、以及延长显示器的使用寿命。

在步骤402，做出对透视、近眼显示器的佩戴者正注视于的区域的估计。在一个实施例中，该估计是使用眼睛跟踪相机系统做出的。在一个实施例中，对每个眼睛确定注视向量。这些注视向量可在用户周围的3D坐标系中建立。图1C-1G示出可被用于跟踪眼睛注视的若干实施例。眼睛跟踪来估计注视的进一步细节和实施例在下文中被讨论。

在可选的步骤404中，确定佩戴者的瞳孔大小。可使用图1C-1G中的示例透视显示器。确定瞳孔大小的进一步细节和实施例在下文中被讨论。

在步骤406，确定佩戴者正注视于的区域（在HMD之外）的光强度。在一个实施例中，相机系统被用于确定佩戴者的环境的光强度。该相机系统可以位于透视显示器上或其他地方。相机图像可与眼睛注视位置相关以确定佩戴者正注视于的区域（如现实世界物体）的光强度。在一个实施例中，在步骤406中做出环境的3D图。注视向量可被用于确定该3D图中的点或区域。因此，可确定佩戴者正注视于的在HMD之外的光强度。

注意，该3D环境可具有有大光强度范围的物体。例如，佩戴者可能正在看同一房间中的黑桌子或明亮的墙。注意，房间的平均光强度并不传达光强度中的这些巨大差异。

在一个实施例中，基于正被注视于的区域的光强度来调整透视显示器的亮度（步骤408）。在一个实施例中，基于该区域的光强度以及瞳孔大小来调整透视显示器的亮度（步骤410）。

如所述，调整亮度可包括调整不透明度和图像亮度。例如，如果用户从看明亮的墙到看黑桌子，不透明度可被调整以允许虚拟图像被逼真地显示。如果当用户的注视偏移时用户的瞳孔大小改变，显示器的图像亮度可被相应地调整。然而，当改变图像亮度时，可对不透明度做出适当的改变以维持虚拟图像的逼真呈现。从而，在图像亮度和不透明度之间可存在相互影响。

图2是被实现为提供对硬件和软件组件的支持的眼镜的透视、混合现实显示设备的实施例中的镜架115的镜腿102的侧视图。在镜架115的前方是可捕捉视频和静止图像的面向物理环境的视频相机113。视频相机113可被用于确定透视、混合现实显示设备的视野的光强度。在其中显示设备2没有结合像中枢系统12的捕捉设备20a和20b等深度相机来操作的某些实施例中，面向物理环境的相机113可以是深度相机以及对可见光敏感的相机。例如，该深度相机可包括IR照明器发射器和像处于可见图像传感器前方的热镜等热反射表面，该热反射表面使得可见光透过并将处于照明器所发射的波长范围内或预定波长周围的所反射的IR辐射定向到CCD或其他类型的深度传感器。来自传感器的数据可被发送到控制电路13的处理器210，或处理单元4、5，或者这两者，它们可以处理该数据，但在某些实施例中单元4、5也可将数据发送到像图1A之类的中枢计算系统12或通过网络发送到一个或多个计算机系统（例如，像中枢计算系统12）以供处理。该处理标识并映射用户的现实世界视野。另外，面向物理环境的相机113还可包括用于测量环境光的曝光计。在以下进一步讨论的某些实施例中，特定量的改变可触发关于训练注视数据集的重新校准的消息。然而，注意到基于用户正注视于什么的光强度来控制显示器的亮度的实施例可使用与曝光计所收集的不同的其他亮度数据来确定光强度。

控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电路136的更多细节在下文参考图4A提供。耳机130、惯性传感器132、GPS收发机144、以及温度传感器138处于镜腿102内部或安装在镜腿102上。在一个实施例中，惯性传感器132包括三轴磁力计132A、三轴陀螺仪132B、以及三轴加速度计132C（参见图4A）。惯性传感器用于感测头戴式显示设备2的位置、定向、以及突然加速。从这些移动中，也可以确定头部位置。

显示设备2提供可创建包括一个或多个虚拟物体的一个或多个图像的图像生成单元。在一些实施例中，微显示器可被用作图像生成单元。微显示器部件173包括光处理元件和可变焦调整器135。光处理元件的示例是微显示器单元120。其他示例包括一个或多个光学元件，如透镜系统122的一个或多个透镜以及诸如图3A和3B中的124a和124b或图3C和3D中的124等一个或多个反射元件。透镜系统122可包括单个透镜或多个透镜。

微显示器单元120安装在镜腿102上或处于镜腿102内部，它包括图像源并生成虚拟物体的图像。微显示器单元120在光学上与透镜系统122和反射面124或以下附图中示出的反射面124a和124b对准。光学对准可以沿着光轴133或包括一个或多个光轴的光路133。微显示器单元120透过透镜系统122来对虚拟物体的图像进行投影，这可将图像光引导到反射元件124上，反射元件124将该光引导到图3C和3D中的光导光学元件112中或引导到反射面124a（例如，镜面或其他表面）上，反射面124a将虚拟图像的光引导到部分反射元件124b，部分反射元件124b将沿着路径133的虚拟图像视图与图3A-3D中的沿着光轴142的自然或实际直接视图进行组合。各视图的组合被引导到用户的眼睛。

可变焦调整器135改变微显示器部件的光路中的一个或多个光处理元件之间的位移或微显示器部件中的元件的光功率（optical power）。透镜的光功率被定义成其焦距的倒数，例如1/焦距，因而一个中的改变影响另一个。焦距的改变造成视野的区域的改变，例如特定距离处的区域，该区域对于由微显示器部件173生成的图像而言是焦点对准的。

在微显示器部件173作出位移改变的一个示例中，在电枢137内对位移改变进行引导，电枢137支承诸如该示例中的透镜系统122和微显示器120之类的至少一个光处理元件。电枢137帮助在各元件的物理移动期间稳定沿光路133的对准，以达到所选位移或光功率。在一些示例中，调整器135可以移动一个或多个光学元件，如电枢137内的透镜系统122中的透镜。在其他示例中，电枢可在光处理元件周围的区域中具有槽或空间，使得它在不移动光处理元件的情况下在该元件（例如微显示器120）上滑动。电枢中的另一元件（如透镜系统122）被附连，使得系统122或其内的透镜与移动的电枢137一起滑动或移动。位移范围通常是几毫米（mm）的量级。在其他示例中，电枢137可以向透镜系统122提供对涉及除位移之外的其他物理参数的调整的焦点调整技术的支持。这样的参数的示例是偏振。

在一个示例中，调整器135可以是诸如压电马达之类的执行器。也可使用用于执行器的其他技术，并且这样的技术的一些示例是由线圈和永久磁铁、磁致伸缩元件、以及电致伸缩元件形成的音圈。

存在着可用于实现微显示器120的不同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学活性材料来调制，用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的LCD类型的显示器来实现的。微显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。取决于该技术，照明是由白光源或RGB源来向前点亮的。数字光处理（DLP）、硅上液晶（LCOS）、以及来自Qualcomm有限公司的

显示技术都是高效的反射技术的示例，因为大多数能量从已调制结构反射并且可用于本文描述的系统中。附加地，微显示器120可以使用发射技术来实现，其中光由该显示器生成。例如，来自Microvision有限公司的PicoPTM引擎使用微型镜面舵来将激光信号发射到担当透射元件的小型屏幕上或直接将光束（例如，激光）发射到眼睛。

如上所述，微显示器部件173的光处理元件的配置创建焦距或虚拟物体出现在图像中的聚焦区。改变该配置会改变虚拟物体图像的聚焦区。由光处理元件确定的聚焦区可以基于等式1/S1+1/S2=1/f来确定和改变。

符号f表示透镜的焦距，如微显示器部件173中的透镜系统122。透镜系统122具有前节点和后节点。如果光线以相对于光轴的给定角度被向前引导到两个节点中的任一个，则光线将以相对于光轴的相等角度从另一节点出射。在一个示例中，透镜系统122的后节点将处于它自己与微显示器120之间。从后节点到微显示器120的距离可被表示成S2。前节点通常处于透镜系统122的几毫米内。目标位置是要由微显示器120生成的虚拟图像在三维物理空间中的位置。从前节点到虚拟图像的目标位置的距离可被表示成S1。因为图像是与微显示器120出现在透镜的相同侧的虚拟图像，所以符号规约示出S1具有负值。

如果透镜的焦距是固定的，则改变S1和S2来将虚拟物体聚焦在不同的深度处。例如，初始位置可使S1设置成无限远处，并且使S2等于透镜系统122的焦距。假定透镜系统122具有10mm的焦距，考虑虚拟物体要被置于用户视野中大约1英尺（即，300mm）的示例。S1现在大约是-300mm，f是10mm并且S2当前被设置在焦距的初始位置10mm，从而意味着透镜系统122的后节点与微显示器122相距10mm。基于1/(-300)+1/S2=1/10（所有项的单位均为毫米）来确定透镜122与微显示器120之间的新距离或新位移。其结果是S2大约为9.67mm。

在一个示例中，一个或多个处理器（如在控制电路中，处理单元4、5，或这两者）可以计算S1和S2的位移值，而使焦距f固定并使得控制电路136造成可变调整器驱动器237（参见图4A）发送驱动信号以使可变虚拟焦点调整器 135例如沿光路133移动透镜系统122。在其他实施例中，作为移动透镜系统122的替换或补充，可以移动微显示器单元120。在其他实施例中，作为沿光路133的位移改变的替换或补充，也可以改变透镜系统122中的至少一个透镜的焦距。

图3A是包括注视检测系统中注视检测元件的安排的透视、近眼、混合现实设备的显示光学系统14的实施例的俯视图。如所示，近眼显示设备2的镜架115的一部分将在包括提供对一个或多个镜片的支持的显示光学系统周围。为了示出显示系统14（在该情况下是右眼系统14r）的各个组件，在显示光学系统周围的镜架115的顶部部分未被描绘。

在该实施例中，显示光学系统14具有光轴142并包括允许用户对现实世界的实际直接查看的透视镜片118。在该示例中，透视镜片118是眼镜中使用的标准镜片，并且可根据任何处方（包括不根据处方）来制作。在另一实施例中，用可变处方镜片来替换透视镜片118。在一些实施例中，透视、近眼显示设备2将包括附加镜片。

显示光学系统14还包括反射面124a和124b。在该实施例中，来自微显示器120的光经由反射元件124a沿光路133引导到嵌入在镜片118中的部分反射元件124b，部分反射元件124b将沿光路133行进的虚拟物体图像视图与沿光轴142的自然或实际直接视图进行组合，使得经组合的视图在光轴的具有用于最清晰视图的最准直光的位置处被引导到用户的眼睛（在该示例中是右眼）。

光传感器的检测区域139r也是显示光学系统14r的一部分。光学元件125通过捕捉来自用户的眼睛的沿光轴142接收到的反射光来实现检测区域139r，并将捕捉到的光引导到传感器134r，在该示例中传感器134r位于鼻梁104中。如图所示，这一安排允许传感器134r的检测区域139使其中心与显示光学系统14的中心对准。例如，如果传感器134r是图像传感器，则传感器134r捕捉检测区域139，使得在图像传感器处捕捉到的图像以光轴为中心，因为检测区域139的中心是光轴。在一个示例中，传感器134r是可见光相机或RGB/IR相机的组合，并且光学元件125包括对反射自用户的眼睛的可见光进行反射的光学元件，例如部分反射镜面。

在其他实施例中，传感器134r是诸如IR相机等IR敏感设备，并且元件 125包括令可见光穿过它并将IR辐射反射到传感器134r的热反射表面。IR相机不仅可以捕捉闪光，还可以捕捉用户的眼睛（包括瞳孔）的红外或近红外图像。

在其他实施例中，IR传感器设备134r是位置敏感设备（PSD），有时被称为光学位置传感器。检测到的光在传感器的表面上的位置被标识。可以选择对闪光的IR照明器的波长范围或大约预定波长敏感的PSD。当在该设备的传感器或光敏部件上检测到处于该位置敏感设备的波长范围内或大约是其预定波长的光时，生成标识检测器的表面上的位置的电子信号。在一些实施例中，PSD的表面被分成可从中确定光的位置的各分立传感器（像像素一样）。在其他示例中，可以使用PSD各向同性传感器，其中表面上的局部阻抗的变化可被用来标识光点在PSD上的位置。也可使用PSD的其他实施例。通过以预定顺序来操作照明器153，可以标识在PSD上的闪光反射位置并且因此将该闪光反射位置与角膜表面上的位置进行相关。

在图3A-3D中描绘的光检测元件（在这种情况下是反射元件）125、124、124a、以及124b是它们的功能的表示。这些元件可以采取任何数量的形式，并且可以用一个或多个光学组件按用于将光引导到其预期目的地（如相机传感器或用户的眼睛）的一个或多个安排来实现。

在这一实施例中，显示光学系统14包括其他注视检测元件。在这一实施例中，至少两个（2）但可以是更多个红外（IR）照明设备153被附连到镜架115且在镜片118的侧面，它们将处于特定波长范围内或大约是预定波长的窄红外光束引导到用户的眼睛以各自在相应角膜的表面上生成相应闪光。在其他实施例中，照明器和任何光电二极管可以处于镜片上，例如在角上或在边上。在这一实施例中，除至少2个红外（IR）照明设备153之外，还有IR光电检测器152。每一光电检测器152对它对应的IR照明器153的通过镜片118的特定波长范围内的IR辐射敏感，并且被定位来检测相应闪光。如在图1C-1E中所示，照明器和光电检测器由屏障154分开，使得来自照明器153的入射IR光不干扰在光电检测器152处接收到的反射IR光。在其中传感器134是IR传感器的情况下，光电检测器152可能不需要或可以是附加闪光数据捕捉源。使用可见光相机，光电检测器152捕捉来自闪光的光，并且生成闪光强度值。

图3B是包括注视检测系统中注视检测元件的安排的透视、近眼、混合现实设备的显示光学系统14的另一实施例的俯视图。在这一实施例中，除至少2个红外（IR）照明设备153之外，还有IR光电检测器152。在这一实施例中，热反射表面125已经被移除，以示出不带有位置敏感检测器的操作。

在图3B的实施例中，光检测器134r可被实现成可见光相机（有时称为RGB相机），或它可被实现成IR相机或能够处理可见光和IR范围内的光的相机，如深度相机。在这一示例中，图像传感器134r是检测区域139r，并且相机的图像传感器134垂直地位于显示光学系统的光轴142上。在一些示例中，相机可以在镜架115上位于透视镜片118上方或下方，或嵌入在镜片118中。在一些实施例中，照明器153向相机提供光，而在其他实施例中，相机使用环境光或来自它自己的光源的光来捕捉图像。

在一个实施例中，闪光反射可基于为闪光所检测的若干强度值的数据点来估计注视，而不是处理大多得多的眼睛图像数据集。近眼显示设备的镜架115或其他支撑结构上的照明器153的位置可以是固定的，使得由一个或多个传感器所检测的闪光位置在传感器检测区域中是固定的。角膜且因此虹膜和瞳孔随眼球绕中心旋转（该中心可被作为固定的来对待，但这并非是必须的）。在用户的注视改变时，虹膜、瞳孔以及巩膜（有时被称为眼白部分）在闪光下面移动。因此，在相同的传感器位置处检测到的闪光可由于与不同眼睛部位相关联的不同反射率而导致不同的强度值。由于瞳孔是带有吸收最多入射光的组织的孔，因此它的强度值会非常低或接近零，而虹膜的强度值由于其较高的反射率而会是较高强度值。由于巩膜具有最高反射率，因此巩膜的强度值可为最高。在某些示例中，照明器可如图3A至图3D中位于显示光学系统14的任一侧，并且由此位于用户眼睛的瞳孔的任一侧。在其他实施例中，附加照明器可位于在镜架115或镜片118上，例如，可放置四个照明器以在眼球上生成闪光的包围几何形状（例如框），当用户看向正前方时该形状会大致以瞳孔为中心。微显示器部件173可向用户显示虚拟图像或发送消息，例如视觉虚拟图像或音频指令，使得该用户看向正前方以在瞳孔上或在瞳孔附近初始化闪光。在其他实施例中，基于闪光的注视检测是基于在闪光独立于以瞳孔为中心来定位的情况下从照明器所生成的强度值的。

图3C是包括注视检测系统中注视检测元件的安排的透视、近眼、混合现实设备的显示光学系统14的第三实施例的俯视图。该显示器包括附加透视镜片116与透视镜片118之间的光导光学元件112。光导光学元件112将人造光引导至眼睛。

光导光学元件112将来自微显示器120的光传送到佩戴头戴式显示设备2的用户的眼睛。光导光学元件112还允许来自头戴式显示设备2的前方的光透过光导光学元件112传送到用户的眼睛，从而除接收来自微显示器120的虚拟图像之外还允许用户具有头戴式显示设备2的前方的空间的实际直接视图。因此，光导光学元件112的壁是透视的。光导光学元件112包括第一反射面124（例如，镜面或其他表面）。来自微显示器120的光穿过透镜122并入射在反射面124上。反射面124反射来自微显示器120的入射光，使得光通过内反射而被捕获在包括光导光学元件112的平面衬底内。

在衬底的表面上进行若干反射之后，所捕获的光波到达选择性反射面126的阵列。注意，五个表面中只有一个表面被标记为126以防止附图太过拥挤。反射面126将从衬底出射并入射在这些反射面上的光波耦合到用户的眼睛。光导光学元件的更多细节可以在于2008年11月20日公布的美国专利申请公开号2008/0285140、序列号12/214,366“Substrate-Guided Optical Devices（衬底导向的光学设备）”中找到，其整体通过引用结合于此。

在这一实施例中，如图1E中以及图3B的各示例中的一个，显示光学系统14被类似地安排，IR照明器153和光电检测器152、以及可见光或IR相机134r位于光轴142（通常位于支持光导光学元件112的镜片116和118的中心）以下或以上的镜架115或镜片118上。

图3D是包括注视检测系统中注视检测元件的安排的透视、近眼、混合现实设备的显示光学系统14的第四实施例的俯视图。该实施例类似于图3C的实施例，包括光导光学元件112。然而，光检测器仅有IR光电检测器152，因此这一实施例仅依赖于闪光检测来用作注视检测，如在以下示例中讨论的。

在图3A-3D的实施例中，例如检测区域139和照明器153和光电检测器152等注视检测元件的位置相对于彼此是固定的。在这些示例中，它们相对于显示光学系统14的光轴也是固定的。

在以上实施例中，所示出的具体数量的透镜只是示例。可以使用其他数目和配置的根据相同原理操作的透镜。另外，在以上示例中，只示出了透视、近眼显示器2的右侧。作为示例，全近眼、混合现实显示设备将包括另一组镜片116和/或118、用于图3C和3D的实施例的另一光导光学元件112、另一微显示器120、另一透镜系统122、可能包括另一面向环境的相机113、用于图3A到3C的实施例的另一眼睛跟踪相机134、耳机130、以及温度传感器138。

图4A是可以用于本公开所述的各实施例的透视、近眼、混合现实显示单元的硬件和软件组件的一个实施例的框图。图4B是描述处理单元4的各组件的框图。在这一实施例中，近眼显示设备2接收来自处理单元4的关于虚拟图像的指令并向处理单元4提供传感器信息。其组件在图4B中被描绘的处理单元4将从显示设备2接收传感器信息并且还可从中枢计算设备12（参见图1A）接收传感器信息。基于这一信息，处理单元4将确定在何处以及在何时向用户提供虚拟图像并相应地将指令发送给显示设备2的控制电路136。

注意，图4A的各组件中的一些（例如，面向物理环境的相机113、眼睛相机134、可变虚拟焦距调整器135、光电检测器接口139、微显示器120、照明设备153（即照明器）、耳机130、温度传感器138）以阴影示出，以指示这些设备中的每一个至少有两个——头戴式显示设备2的左侧至少一个以及右侧至少一个。图4A示出控制电路200与电源管理电路202进行通信。控制电路200包括处理器210、与存储器214（例如D-RAM）进行通信的存储器控制器212、相机接口216、相机缓冲区218、显示驱动器220、显示格式化器222、定时生成器226、显示输出接口228、以及显示输入接口230。在一个实施例中，控制电路220的所有组件经由一个或多个总线的专用线路彼此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。

相机接口216提供到两个面向物理环境的相机113和每一眼睛相机134的接口，并且将从相机113、134接收到的相应图像存储在相机缓冲区218中。显示驱动器220将驱动微显示器120。显示格式化器222可以向执行该增现实系统的处理的一个或多个计算机系统（例如4、12、210）的一个或多个处理器提供与被显示在微显示器120上的虚拟图像有关的信息。定时生成器226被用于向该系统提供定时数据。显示输出228是用于将来自面向物理环境的相机113 和眼睛相机134的图像提供给处理单元4的缓冲区。显示输入230是用于接收诸如要在微显示器120上显示的虚拟图像之类的图像的缓冲区。显示输出228和显示输入230与作为到处理单元4的接口的带接口232进行通信。

电源管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、可变调整器驱动器237、光电检测器接口239、音频DAC以及放大器238、话筒预放大器和音频ADC 240、温度传感器接口242、以及时钟生成器244。电压调节器234通过带接口232从处理单元4接收电能，并将该电能提供给头戴式显示设备2的其他组件。照明驱动器236例如经由驱动电流或电压来控制照明设备153以大约预定波长或在某一波长范围内操作。音频DAC和放大器238从耳机130接收音频信息。话筒预放大器和音频ADC 240提供话筒110的接口。温度传感器接口242是用于温度传感器138的接口。电源管理单元202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并从其接收回数据。电源管理单元202还向GPS收发机144提供电能并从中接收数据和向其发送数据。

可变调整器驱动器237向调整器135提供例如驱动电流或驱动电压等控制信号以移动微显示器部件173的一个或多个元件来达到通过在控制电路13或处理单元4、5或中枢计算机12或这两者的处理器210中执行的软件计算得到的聚焦区域的位移。在扫过一定范围的位移并且因此扫过一定范围的聚焦区域的实施例中，可变调整器驱动器237从定时生成器226、或者可替代地从时钟生成器244接收定时信号，以便以所编程的速率或频率来操作。

光电检测器接口239执行来自每一光电检测器的电压或电流读数所需的任何模数转换，经由存储器控制器212以处理器可读的格式来将该读数存储在存储器中，并且监视光电检测器152的操作参数，如温度和波长准确度。

图4B是与透视、近眼显示单元相关联的处理单元4、5的硬件和软件组件的一个实施例的框图。移动设备5可包括硬件和软件组件的这一实施例以及执行类似功能的类似组件。图4B示出控制电路304与电源管理电路306进行通信。控制电路304包括中央处理单元（CPU）320，图形处理单元（GPU）322，高速缓存324，RAM 326，与存储器330（例如，D-RAM）进行通信的存储器控制器328，与闪存334（或其他类型的非易失性存储）进行通信的闪存控制器332，经由带接口302和带接口232与透视、近眼显示设备2进行通信的显示输出缓冲区336，经由带接口302和带接口232与近眼显示设备2进行通信的显示输入缓冲区338，与用于连接到话筒的外部话筒连接器342进行通信的话筒接口340，用于连接到无线通信设备346的PCI express接口，以及USB端口348。

在一个实施例中，无线通信组件346可包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备等。USB端口可被用来将处理单元4、5对接到中枢计算设备12，以将数据或软件加载到处理单元4、5上以及对处理单元4、5充电。在一个实施例中，CPU 320和GPU 322是用于确定在何处、何时以及如何向用户的视野内插入虚拟图像的主负荷设备。

电源管理电路306包括时钟生成器360，模数转换器362，电池充电器364，电压调节器366，透视、近眼显示器电源376，以及与温度传感器374进行通信的温度传感器接口372（位于处理单元4的腕带上）。交流电到直流电转换器362被连接到充电插座370来接收AC电源并为该系统产生DC电源。电压调节器366与用于向该系统提供电能的电池368进行通信。电池充电器364被用来在从充电插座370接收到电能后对电池368进行充电（经由电压调节器366）。设备电源接口376向显示设备2提供电能。

图5A是确定透视显示器的佩戴者正在注视的区域的亮度的一个实施例的流程图。该过程是来自图1F的步骤402和406的一个实施例。在步骤420，跟踪佩戴者的视野。在一个实施例中，步骤420包括生成用户的环境的3D图。在一个实施例中，确定物体的3D位置。图6A描述了对此的一个实施例。然而，注意，并不要求标识物体。在某些实施例中，跟踪视野仅确定亮度图。一个实施例的亮度图是亮度值的2D图。

在步骤422，对佩戴者的至少一个眼睛确定注视向量。注视向量可用诸如图1C-1E中描述的相机系统来确定。在一个实施例中，确定两个注视向量。可基于注视向量的相交来确定3D空间中的点。在某些情况中，注视向量可能不相交（或可能在无限远处相交）。下面描述确定注视向量的进一步细节。

在步骤424中，基于来自步骤420的跟踪信息以及一个或多个注视向量确定视野中佩戴者正注视于的的区域的亮度。在一个实施例中，做出关于佩戴者正注视于哪个物体的确定。然后，该物体的亮度可被用作结果。然而，某些物体可能不具有均匀的亮度（或接近均匀的亮度）。因此，步骤424可确定物体上的某一区域或点。

然而，注意并不要求确定佩戴者正注视于什么物体。在一个实施例中，一个或多个注视向量被用于确定亮度图（如2D亮度图）的点或区域。从而，可确定佩戴者正注视于之物的亮度。

图5B是示出在用户的眼睛所聚焦的注视点处相交的注视向量的示例的俯视图。基于Gullstrand示意性眼睛模型示出了每个眼睛的眼睛模型1601、160r。对于每只眼睛，眼球160被建模成具有旋转中心166的球，并且包括也被建模成球且具有中心164的角膜168。角膜随眼球转动。在一个实施例中，眼球的旋转中心166可被当作固定点。然而，眼球的旋转中心166不必被当作固定点。角膜覆盖虹膜170，瞳孔162处于虹膜170的中心。在该示例中，在相应角膜的表面172上是闪光174和176。

从旋转中心166穿过角膜中心164到瞳孔162而形成的轴178是眼睛的光轴。注视向量180有时被称为从小凹穿过瞳孔中心162延伸的视线或视轴。小凹是位于视网膜中的大约1.2度的小型区域。在图9的实施例中计算得到的光轴与视轴之间的角度偏移具有水平和垂直分量。水平分量距光轴上达5度，并且垂直分量在2和3度之间。在许多实施例中，光轴被确定，并且通过用户校准确定的小型校正被应用以获得被选作注视向量的所述视轴。对于每一用户，小的虚拟物体可由显示设备在不同的水平和垂直位置处的多个预先确定的位置中的每一位置处来显示。在物体在每一位置处的显示过程中，可以计算每一眼睛的光轴，并且光线被建模成从该位置延伸到用户眼睛中。具有水平和垂直分量的偏移角度可以基于必须如何移动光轴以与所建模的光线相对准来确定。从不同的位置处，具有水平和垂直分量的平均偏移角度可被选作要被应用于每一计算得到的光轴的小型校正。在一些实施例中，只有水平分量被用作偏移角度校正。

在图5B的所示实施例中，传感器检测区域139与镜架115内的每一显示光学系统14的光轴相对准。在该示例中，相应的图像传感器是能够捕捉表示分别由镜架115左侧的照明器153a和153b生成的闪光174l和176l的图像数据和表示分别由照明器153c和153d生成的闪光174r和176r的数据的相机。

透过显示光学系统（镜架115中的14l和14r），用户的视野包括现实物体190、192和194以及虚拟物体182、184和186。在该示例中，左眼的角膜168l旋转到右侧或朝向用户的鼻子，并且右眼的角膜168r旋转到左侧或朝向用户的鼻子。两个瞳孔都注视虚拟物体186。来自每个眼睛中心的注视向量180l和180r进入虚拟物体186所处的Panum汇合区域195。Panum汇合区域是像人类视觉那样的双眼观察系统中的单视觉的区域。注视向量180l和180r的相交指示用户正在看虚拟物体186。

对于透视、混合现实显示设备，注视向量被确定以标识三维用户视野中的注视点，该用户视野包括通常不在计算机控制下的现实物体以及由某一应用所生成的虚拟物体。注视向量可在10英尺远的物体处、或实际上无限远的距离处、或任何其他距离处相交。以下附图简要地讨论用于确定3D用户视野的各实施例。

对面向前方的图像数据的引用是指来自一个或多个面向前方的相机（如图1A和1B中的相机113）的图像数据。在这些实施例中，在相机位于与每个显示光学系统14的光轴142的相对小的偏移量处时，面向前方的相机113的视野近似用户的视野。在图像数据中可以考虑该偏移量。

图5C是确定瞳孔大小的一个实施例的流程图。该过程是来自图1F的步骤404的一个实施例。在步骤430，跟踪佩戴者的至少一个眼睛。在一个实施例中，步骤430包括在3D中跟踪眼睛。可使用图1C-1E的示例设备的相机系统来在3D中跟踪眼睛。

在步骤432，构造眼睛的3D模型。在一个实施例中，诸如图5B中所描绘的之类的模型被构造。图5D和5E示出其他模型。然而，可以使用又一些其他模型。

在步骤434，确定瞳孔图像。图5D示出用于角膜172和瞳孔图像462的模型的一个实施例。瞳孔图像462是在相机系统的成像平面163中形成的。在该示例中角膜被建模为具有中心C和半径Rc的球。瞳孔162可被建模为具有中心E和半径r（图5D中未示出）的圆，但从某一角度看可能看上去是椭圆。角膜中心与瞳孔中心之间的距离是h。在一个实施例中，角膜半径、瞳孔半径以及h都是对象特定的，并且是对透视显示器的佩戴者确定的。

当瞳孔穿过角膜表面时，瞳孔可能被折射。这在图5D中由折射的瞳孔467描绘。瞳孔图像462是相机中的图像，并可以是折射的瞳孔467的投影。从而，瞳孔图像462在相机成像平面463中可以是椭圆。注意，在3D中，瞳孔图像462的中心不必是瞳孔中心E的投影的中心。如果希望，可做出补偿来对此调整。

在图5D的实施例中，做出瞳孔图像462的中心是起始于瞳孔中心E的光纤的折射的假设。然而，注意，非平面表面（如角膜）上的折射是非线性的。因此，在一个实施例中，估计的瞳孔中心E’被确定来补偿该非线性折射。图5E示出用于角膜172的模型的另一个实施例，带有具有中心E_i的相关联的瞳孔图像462。瞳孔162具有估计的中心E’。该估计的中心E’可基于角膜中心C的已知3D位置、角膜半径Rc以及h通过从瞳孔图像的中心E_i反向跟踪来确定。注意，瞳孔的估计的中心E’不必与真正瞳孔中心E相同，因为非线性折射。

在步骤436，基于瞳孔图像462确定瞳孔大小。注意，通过在3D中跟踪眼睛以及角膜172内的3D瞳孔162，各实施例能够在眼睛相对于透视显示器移动时考虑透视成像效果。从而，瞳孔轮廓可被准确地确定。在一个实施例中，在3D中执行的瞳孔测量对于眼睛移动来说是不变的。

如上所述，眼睛模型的某些参数可以是用户特定的。图5F是确定用于眼睛跟踪的用户特定参数的一个实施例的流程图。在确定瞳孔大小时可使用这些参数。在确定眼睛注视向量时也可使用它们。可被确定的示例参数包括但不限于角膜半径r_c、角膜中心到瞳孔中心的距离、视轴与光轴之间的角度、以及瞳孔半径r_p的历史数据（从中可得出统计值，如最小值、最大值以及均值）。

在步骤452，指示佩戴者看投影在他们前方的一系列点，一次一个。系统知道这些点的3D位置。这些可基于生成用户的环境的3D模型来确定。其一个实施例被描述在图6C中。

系统然后在步骤454中使用一组一个或多个用户特定参数的当前值来确定对应于每个点的注视向量。初始值可以是基于用户的预期平均值的默认值。

在步骤456，系统将注视向量与预期注视向量比较。如果已经达到所希望的准确性（步骤457），则该过程结束。如果否，则过程继续至步骤458。

在步骤458，系统调整用户特定参数。可被确定的示例参数包括但不限于角膜半径r_c、角膜中心到瞳孔中心的距离（如图5D和5E中的“h”）、以及视轴和光轴之间的角度。然后，该过程再次在步骤454中确定注视向量。过程继续，直到实现所希望的准确性。

在一个实施例，对佩戴者确定基线瞳孔放大响应。在确定如何调整透视显示器时可使用该基线。例如，某些用户可具有响应于光强度的改变而快速改变大小的瞳孔，而其他人更慢。因此，屏幕的亮度改变的速率可以是用户特定的。

图5G是确定基线用户特定参数的过程的一个实施例的流程图。在步骤462，透视显示器的图像亮度被改变。在一个实施例中，图像亮度对于某一时间段来说保持在一个强度，然后改变到另一水平达某一时间段等等。在步骤462中可使用除了透视显示器之外的光源。在一个实施例中，步骤462确定或估计用户的眼睛处的总光量。可考虑周围环境。

在步骤464，按照光强度的函数来确定瞳孔大小。步骤464可包括对来自步骤462的每个光强度确定最终瞳孔大小。

在步骤466，确定瞳孔大小的改变速率。在步骤466，可随时间从光强度被改变的时间点开始跟踪用户的瞳孔的大小。这可对光强度中的一个或多个改变来执行。可确定表示该用户的瞳孔有多快地对光强度的改变作出反应的值。

在一个实施例中，逐渐地执行透视显示器的不透明度和/或图像亮度的改变，以允许用户的眼睛调整到新的水平。这可基于用户特定基线值，如图5G的过程中确定的那些。图5H是基于用户基线值来逐渐改变显示器亮度的一个实施例的流程图。在步骤472，访问用户特定基线值。在步骤474，做出是否应改变显示器亮度的确定。在步骤476，基于用户特定基线确定显示器亮度的改变速率。在一个实施例中，步骤476基于用户的通用参数。

在一个实施例中，佩戴者的眼睛与透视显示器之间的距离被用于确定如何对透视显示器的不透明度和/或图像亮度做出调整。图5I是基于用户的眼睛与透视显示器的距离来改变显示器亮度的一个实施例的流程图。在步骤482，确定用户的眼睛与透视显示器之间的距离。在一个实施例中，这是基于用于跟踪眼睛以及确定瞳孔大小的3D图像数据的。

在步骤484，确定该距离将对眼睛处的光强度的影响。换言之，可预期光强度将按照离显示器的距离的函数而衰落。注意，光强度可能有两个分量。一个分量是图像亮度。另一个是有多少外部光通过透视显示器。由于用户的眼睛与透视显示器之间的距离，这两个分量可能不会被影响到相同的程度。

在步骤486，基于用户的眼睛到透视显示器的距离调整显示器亮度。

在一个实施例中，显示器亮度基于所显示的东西的上下文。在一个实施例中，某些项目应被明亮地显示，如警告、优先级等。诸如图片或视频之类的项目可以不同于诸如文本之类的项目的强度来显示。图5J是基于图像上下文调整显示器亮度的一个实施例的流程图。在步骤492，确定上下文。在一个实施例中，上下文与要被呈现在透视显示器上的内容的类型或格式相关联。在一个实施例中，通过分析图像数据的格式以确定其是图片、视频还是文本来确定该上下文。在一个实施例中，与该图像相关联的元数据被分析来确定该图像是否与警告相关联，或者该图像是否具有与之相关联的优先级。例如，该图像可与诸如电子邮件、文本消息等之类的某种电子通信相关联。

在一个实施例中，该上下文与用户的环境相关联。例如，如果潜在的危险或重要的物体在附近，则用户需要能够看到。例如，如果用户正在步行，则用户需要看到他们正去往哪里。如果汽车交通在附近，则用户需要知晓这个情况。在一个实施例中，在步骤492中使用对3D图像（和/或其他数据）的分析来确定上下文。

在步骤494，基于该上下文确定合适的显示器亮度。注意，这可包括调整图像亮度和/或不透明度。在步骤496，基于步骤494调整显示器亮度。

在一个实施例中，确定物体的3D位置。图6A描述了对此的一个实施例。然而，注意，并不要求标识物体。在某些实施例中，跟踪视野仅确定亮度图。一个实施例的亮度图是亮度值的2D图。

图6A是用于确定三维用户视野的一个实施例的流程图。该过程可被用于跟踪用户的视野的一个实施例中（图5A的步骤420）。在步骤510，控制电路136、处理单元4、5、中枢计算系统12或这些的组合的一个或多个处理器从一个或多个面向前方的相机接收图像数据，并且在步骤512标识面向前方的图像数据中的一个或多个现实物体。来自定向传感器132（例如，三轴加速度计132C和三轴磁力计132A）的数据也可与面向前方的相机113图像数据一起使用来对用户周围的事物、用户的脸部和头部的位置进行映射，以确定他或她可能在当时聚焦于哪些物体（现实或虚拟）。基于正在执行的应用，在步骤514，一个或多个处理器标识虚拟物体在用户视野中的位置，其中用户视野可被确定是在面向前方的图像数据中捕捉的视野。在步骤516，确定每一物体在用户视野中的三维位置。换言之，每一物体相对于显示设备2位于何处，例如，相对于每一显示光学系统14的光轴142位于何处。

图6B是用于在用户视野中标识一个或多个现实物体的方法实施例的流程图。这一实施例可被用于实现步骤512。图6B、6D和6E中各实现示例可分开地使用，或与另一个结合使用，以标识用户视野中物体的位置。在步骤520，佩戴显示设备2的用户的位置被标识。例如，经由移动设备5中的GPS单元965或显示设备2上的GPS收发机144的GPS数据可标识用户的位置。在步骤522，一个或多个处理器从数据库（例如470）检索该位置的一个或多个图像，并且在步骤524使用模式识别来选择与来自所述一个或多个面向前方的相机的图像数据匹配的一个或多个图像。在某些实施例，步骤522和524可由更强大的计算机（例如可访问图像数据库的中枢12）来远程地执行。在步骤526，基于GPS数据，一个或多个处理器确定面向前方图像数据中一个或多个物体相对于该位置中一个或多个GPS跟踪的物体528的相对位置，并且在步骤529基于所述一个或多个相对位置来确定用户距所述一个或多个现实物体的位置。

在诸如图1A之类的某些实施例中，佩戴透视、近眼显示器的用户可处于其中计算机系统或一个或多个计算机提供各物体在空间内（例如商店）的三维映射的位置处。图6C是用于生成用户空间的三维模型的方法实施例的流程图。在步骤530，像中枢系统12之类的、带有捕捉设备20A和20B的可访问深度相机的计算机系统基于深度图像创建空间的三维模型。深度图像可来自多个视角并且可基于公共坐标空间（例如，商店空间）来组合，并且创建该空间的体积或三维描述。在步骤532，在该空间中检测物体。例如，可对深度图像执行边缘检测，以对物体（包括人）进行彼此区分。在步骤534，计算机系统12标识一个或多个检测到的物体，包括它们在该空间中的位置。物体还可基于形状的比较以及模式识别技术来标识，模式识别技术包括使用来自图像数据库的物和人的参考图像的面部识别技术。

图6D是用于基于传输给透视、混合现实显示设备2的深度数据来标识用户视野中的一个或多个物体的方法实施例的流程图。在步骤540，处理单元4、5将面向前方图像数据发送给三维建模系统，诸如可通过在像通信上耦合到深度相机20A和20B的中枢计算系统12之类的计算机系统上执行的深度图像处理应用来实现。来自定向传感器132的数据可也被发送，用于标识面部或头部位置。例如，当用户进入商店，该商店处的计算机系统提供该商店的3D映射以及什么和谁在该商店里。在步骤542，显示设备2接收标识用户视野中的一个或多个物体的数据，以及他们在空间的3D模型中的位置。来自一个或多个面向前方的相机113的图像数据近似用户视野，使得中枢系统12例如通过图像识别或模式识别软件来标识面向前方图像数据中的该物体。定向数据也可与面向前方图像数据一起使用，以细化用户视野，并标识由计算机系统12跟踪的、落入用户视野内的物体。（中枢系统12还在面向前方图像数据从两个或更多相机113被接收时调整（align）该面向前方图像数据，以标识用户视野。）在步骤544中，处理单元4、5接收空间的3D模型中的用户的位置，并且在步骤546中，处理单元4、5或控制电路136的处理器210或这两者基于空间的3D模型中用户和一个或多个物体的位置来确定该一个或多个物体在用户视野中的位置。在另一示例中，处理单元4、5接收如由计算机系统12确定的用户和一个或多个物体的位置。

图6E是用于当面向前方的相机113是提供深度图像数据的深度相机或具有用于提供深度数据（可与图像数据结合以提供深度图像数据）的深度传感器时，标识用户视野中的一个或多个物体的方法实施例的流程图。在步骤550，显示设备2的一个或多个处理器（例如，控制电路的处理器210、或处理单元4、5、或两者）基于来自一个或多个面向前方的相机的深度图像数据来标识用户视野中一个或多个现实物体，包括它们的三维位置。除图像数据之外，该一个或多个处理器还可基于来自定向传感器132的定向数据来映射用户视野。该一个或多个处理器执行基于正在执行的应用来标识用户视野中的虚拟物体位置的步骤514，以及确定用户视野中每一物体的三维位置的步骤516。另外地，远程计算机系统12也可向用于执行图6E的步骤的其他处理器提供额外的处理能力。

在用户环境内的用户和物体移来移去时，图6A至6E的方法实施例中的每一个通常被重复地执行。

图6F是用于确定物体在透视、近眼显示设备的用户视野内的位置的系统实施例的框图。这一实施例示出各设备如何充分利用联网计算机来映射用户视野的三维模型以及该模型内的现实和虚拟物体。在通信地耦合到显示设备2的处理单元4、5中执行的应用456可以通过一个或多个通信网络50与用于处理图像数据来确定并跟踪三维用户视野的计算系统12进行通信。计算系统12可为处理单元4、5远程地执行应用452以提供一个或多个虚拟物体的图像。一起工作的应用456和452中的任一个或两者可以映射用户周围的空间的3D模型。深度图像处理应用450在模型中检测物体、标识物体以及它们的位置。应用450可以基于来自像20A和20B等深度相机的深度图像数据、来自一个或多个面向前方的相机113的二维或深度图像数据、以及与从GPS图像跟踪应用454获得的图像数据中的物体相关联的GPS元数据来执行其处理。

GPS图像跟踪应用454基于从处理单元4、5或被标识为处于用户附近的其他GPS单元或两者接收到的GPS数据来标识一个或多个图像数据库470中的用户的位置的图像。另外，图像数据库可以提供带有像GPS数据等元数据和标识由希望共享他们的图像的用户上传的数据的可访问位置图像。GPS图像跟踪应用基于GPS数据来向深度图像处理应用450提供图像中的物体之间的距离。另外，应用程序456可以在本地执行用于在3D用户空间中映射和定位物体的处理，并可与GPS图像跟踪应用程序进行交互来接收物体之间的距离。通过充分利用网络连接性，在应用之间共享处理的许多组合是可能的。

图7是用于确定透视、近眼、混合现实显示系统中的注视的方法实施例的流程图。该过程是图5A的步骤422的一个实施例。在步骤602，诸如处理单元4、移动设备5、控制电路136、或中枢计算系统12等中的一个或多个处理器单独或结合地确定注视检测坐标系的边界。在步骤604，基于所反射的包括闪光的眼睛数据来确定每一只眼睛的注视向量，并且在步骤606，确定两只眼睛的在三维（3D）用户视野中的例如用户正在观看的事物等注视点。因为例如通过像图6A-6F中的实施例等实施例对用户视野中的物体的位置和身份进行了跟踪，所以在步骤608，标识在3D用户视野中的注视点处的任何物体。在许多实施例中，三维用户视野包括所显示的虚拟物体和现实物体的实际直接视图。术语物体包括人。

图7中的方法实施例和下文讨论的将闪光数据用于检测注视的其他方式的其他方法实施例可以从眼睛的图像数据中标识这样的闪光。在使用IR照明器时，通常也使用IR图像传感器。以下方法也与分立表面位置敏感检测器（PSD）（例如具有像素的PSD）一起工作。图8是用于标识图像数据中的闪光的方法实施例的流程图。如上所述，闪光是非常小的，并且常常是来自光源的光在诸如眼睛角膜等镜面反射表面上的非常明亮的反射。在以下方法实施例中，各步骤中的每一个步骤是针对数据样本集合来执行的。在一些示例中，这可包括来自一个图像或图像帧的数据，并且在其他示例中，数据样本集合可以是多个图像或图像帧。在步骤605，处理器标识具有其自己的处于预定强度范围内的强度值的像素的每一连通集，例如强度值范围可在220开始并且在最亮像素值255处结束。在步骤607，通过将满足闪光几何准则的每一像素连通集标识为候选闪光来修剪候选闪光。闪光几何准则的示例是大小和形状。一些可能过大、过小、或具有过度不规则的形状。此外，对照明器进行定位以使所得到的闪光彼此具有空间或几何关系。例如，对照明器153进行安排以使闪光形成矩形。在图9中讨论的瞳孔中心也是根据图像数据来确定的实施例中，到瞳孔的空间关系也可以是准则，例如距瞳孔的距离过远可指示连接集合不是候选闪光。

在步骤609，一个或多个处理器确定候选闪光是否比预定数量更少。例如，对于四个照明器而言，预期有四个闪光，但预定数量可能是二。在矩形作为几何关系的示例中，形成预定长度的水平线或对角线的两个闪光可被选作候选。对于其他闪光，可能有眼睑或睫毛遮挡。如果存在少于预定数量的闪光，则丢弃该数据样本集合以用于进一步处理，并且处理在步骤611返回到步骤605以处理下一数据样本集合。如果候选不少于预定数量，则步骤613确定候选闪光是否比预定数量更多。如果有更多候选，则在步骤615，一个或多个处理器选择最紧密地适合闪光之间的预定几何关系的预定数量的候选作为闪光。例如，对于矩形，最紧密的形成该预定大小和形状的矩形的那些候选。如果没有多于该数量的候选，则候选的数量与闪光的预定数量匹配，并且在步骤617这些候选被选作闪光。

由于以上讨论用于生成闪光的照明器的放置的几何形状，闪光出现在相同的位置，除非镜架115相对于眼睛移动。此外，由于照明器相对于彼此在镜架115或镜片118的支撑结构上的定位是固定的，所以在图像中闪光彼此之间空间关系也是固定的。至于大小，由于闪光非常小，所以组成传感器上的以及所传感的图像中的闪光区域的像素数量将相应地小。例如，如果相机的图像传感器具有1000像素，则每一闪光可占据小于十个像素。可以监视以例如每秒30或60帧的速率拍摄的每一图像帧中的闪光，并且一区域可被标识为来自一定数量的帧样本的闪光。可能不是在每一帧中都存在闪光数据。诸如由于像覆盖闪光和/或瞳孔的眼睑或睫毛之类的因素，采样在不同的图像帧中适应或平滑掉闪光和瞳孔数据的障碍物。图像帧是图像格式的示例。

图9是可被用于实现确定注视检测坐标系的边界的步骤602的方法实施例的流程图。在步骤612，一个或多个处理器基于闪光确定每一眼睛的角膜中心164相对于照明器153和至少一个光传感器（例如134或152）的位置。基于至少一个传感器所提供的图像数据，在步骤614，一个或多个处理器确定每一只眼睛的瞳孔中心。在步骤616，相对于角膜和瞳孔中心来确定眼球旋转中心的位置。例如，基于瞳孔中心，光线可以通过所确定的角膜中心164延伸回到眼球旋转中心166。另外，距离或长度近似被用于对瞳孔与角膜之间的光轴上的长度（例如大约3mm）以及角膜的曲率中心与眼球旋转中心之间的光轴上的长度（大约6mm）进行近似。根据对人眼参数的人口研究，如Gullstrand所搜集的，这些值已被确定。（参见Hennessey，第88页）。

可选地，在步骤618，一个或多个处理器确定眼球旋转中心相对于照明器和用于相应眼睛的至少一个传感器的位置。在一个实施例中，在步骤618确定的这一位置提供固定点（或可被近似为固定以精确考虑注视检测的点）与显示光学系统之间的深度距离。然而，眼球旋转中心166不必是固定的。实际上，为注视检测坐标系定义了深度轴。沿深度轴所检测到的变化可被用来指示近眼显示系统已经移动，并再次触发对坐标系边界的确定或对训练注视数据集的重新校准，如以下讨论的。

图10示出用于使用透视、近眼、混合现实显示器的光学元件来确定角膜中心在坐标系中的位置的方法实施例。在步骤622，一个或多个处理器生成包括各点的第一平面，这些点包括用于生成第一闪光的第一照明器的位置、例如相机入口瞳孔中心等至少一个图像传感器的瞳孔中心的位置、以及第一闪光的位置。如在图3A的实施例中一样，相机的瞳孔中心可以相对于检测区域139来定位，检测区域139担当图像平面并且将它接收到的光引导到另一位置中的图像传感器。在其他示例中，像在图3B和3C中一样，检测区域139本身可以是图像传感器，它是图像平面。该第一平面也将包括角膜中心的位置。类似地，在步骤624，一个或多个处理器生成包括各点的第二平面，这些点包括用于生成第二闪光的第二照明器的位置、至少一个传感器的同一瞳孔中心的位置、以及第二闪光的位置。这两个平面共享同一相机瞳孔中心作为原点，并且到每一照明器的距离向量相对于相机瞳孔中心而言是固定的，因为图像传感器和照明器被定位在近眼显示设备上的预定位置处。这些预定位置允许平面中的各点在第三坐标系中彼此相关，该第三坐标系包括这两个照明器、相机瞳孔中心的位置、以及角膜曲率中心。在步骤626，处理器基于第一和第二平面的相交来确定角膜曲率中心的位置。

图11提供可由图10的实施例用来发现角膜中心的注视检测坐标系500的几何的说明性示例。在该实施例中，至少一个传感器是被建模成针孔相机的相机。所描绘的几何是Hennessey等人的“A Single Camera Eye-Gaze TrackingSystem with Free Head Motion（在自由头部运动情况下的单相机眼睛注视跟踪系统）”（ETRA 2006，圣地亚哥，加利福尼亚州，ACM，第88页，第87-94页（下文中称为Hennessey），其通过引用被结合于此）的第89页上的图3的稍微修改的版本。以下提供变量的列表：

是照明器_i的位置，该照明器的光产生闪光

（例如174），

是照明器_i（153）在角膜表面上产生的闪光，

是针孔相机模型的相机瞳孔中心，

是闪光

在图像平面上的图像，该图像平面是相机传感器的检测区域139，

是从点

到

的标量距离或长度，

是从相机瞳孔中心

到闪光

在图像传感器上的图像

的向量，

是从相机瞳孔中心

到照明器_i的位置

的向量，

在该示例中，

轴沿

定义，

并且坐标系的轴使得连接图像平面139（检测区域）上的闪光

的图像的

位于由

和

轴形成的平面中。

是在

平面中表示从照明器（153）位置到角膜表面上的闪光

（174）的入射光线的线502之间形成的角度。

是在

平面中在表示从闪光

到相机的相机瞳孔中心

的反射光线的线504之间形成的角度，相机瞳孔中心也是该坐标系的原点。

是角膜中心的位置，它也位于

平面中。

因为角膜被建模成球形，r是角膜球的半径，并且每一闪光是该球的第一或外表面上的点，所以每一闪光与角膜中心相隔半径r。在以上示例中，闪光被建模成角膜的外表面或第一表面上的点。在这样的模型中，照明器的光在相同折射率的相同介质（空气）中反射离开角膜，作为闪光的定向回相机传感器的反射光。

如图11所示，与角膜的表面上的闪光

垂直的线或光线506可以在角膜的方向上从闪光来延伸，并且还被延伸以与该坐标系的

平面的

轴相交。还如图11所示，入射光线502和反射光线504与照明器

的位置和相机瞳孔中心

之间的线

构成直角三角形。因此，角度A和角度D各自由

来表示，其中

{\hat{α}}_{i} = \cos^{- 1} (\frac{- {\hat{I}}_{i} \cdot {\hat{Q}}_{i}}{| | - {\hat{I}}_{i} | | \cdot | | {\hat{Q}}_{i} | |})

且

{\hat{β}}_{i} = \tan^{- 1} (\frac{{\hat{g}}_{ix} \cdot \tan ({\hat{α}}_{i})}{{\hat{I}}_{i} - {\hat{g}}_{ix}}) .

根据Hennessey，角膜中心

可以在坐标系500中根据未知参数

来定义，得到用于4个未知数（

）的如下三个等式：

[\begin{matrix} {\hat{c}}_{ix} \\ {\hat{c}}_{iy} \\ {\hat{c}}_{iz} \end{matrix}] = [\begin{matrix} {\hat{g}}_{ix} - r \cdot \sin (\frac{{\hat{α}}_{i} - {\hat{β}}_{i}}{2}) \\ 0 \\ {\hat{g}}_{ix} \cdot \tan ({\hat{α}}_{i}) + r \cdot \cos (\frac{{\hat{α}}_{i} - {\hat{β}}_{i}}{2}) \end{matrix}]

包括角膜中心

另一闪光

相机的相机瞳孔中心

以及另一照明器的位置的另一个二维平面也被形成。相机的相机瞳孔中心以及角膜中心在每一平面中是相同的，但相机瞳孔中心

位置是已知的。这将产生带有8个未知数的6个等式。在Hennessey中，注视检测坐标系被当作辅助坐标系，旋转矩阵

可以在用于每一平面的辅助坐标系与诸如将检测区域139的位置与照明器153进行相关的第三坐标系等单世界坐标系之间转换各点。存在约束，其中为每一闪光定义的角膜中心在世界坐标系中是相同的，例如并且对不同的轴分量得到3个等式，例如

以及

因此提供带有8个未知数的9个等式。Hennessey（第90页）声称使用梯度下降算法求解出

的数字值。因此，角膜168的位置中心164是相对于照明器的位置和图像平面或检测区域139来定义的。

图12示出用于从传感器生成的图像数据来确定瞳孔中心的方法实施例。在步骤642，一个或多个处理器标识相应眼睛的多个图像数据样本中的黑瞳孔区域，并且在步骤644，对该多个图像数据样本中的黑瞳孔区域求平均以针对摇头进行调整。可以作出瞳孔是圆形并且在从一个角度观看时是椭圆形的假定。椭圆的一个轴（主轴）保持不变，因为它表示不会改变的瞳孔直径，这是在假定光照不会改变的情况下，因为瞳孔大小随光照改变而改变。

在瞳孔正在透过显示器看向正前方时，瞳孔在诸如其检测区域以该显示器的光轴为中心的相机的图像帧等图像格式中显得是圆形。在瞳孔改变其注视并从图像帧的中心移开时，瞳孔显得是椭圆，因为从一个角度看上去圆形显得是椭圆。椭圆的短轴的宽度随注视改变而改变。图像帧的中心左侧的窄椭圆指示用户正在看向右侧远方。距图像帧的中心右侧较小距离的较宽椭圆指示用户正在向左看但不是左侧远方。

瞳孔的中心是椭圆的中心。从图像中的检测到的边缘点来拟合椭圆。因为这样的边缘点是带噪声的并且并非它们全部都在椭圆上，所以在所有边缘点的随机选择的子集上将椭圆拟合过程重复多次。与所有边缘点最一致的子集被用来获得最终椭圆。在步骤646，处理器对平均黑瞳孔区域执行椭圆拟合算法以确定表示瞳孔的椭圆，并且在步骤648，通过确定表示瞳孔的椭圆的中心来确定瞳孔中心。

在标识了旋转中心、角膜中心、以及瞳孔中心的情况下，可以将光线从旋转中心延伸穿过角膜和瞳孔中心来获得眼睛的光轴。然而，如上所述，人类的注视向量是从小凹穿过瞳孔中心的视轴或视线。人类视网膜的小凹区域中的感光器比视网膜的其余部分中的感光器更密地填塞。这一区域提供最高视觉敏锐度或视觉清晰度，并且还提供邻近物体的立体视觉。在确定光轴之后，可以应用默认偏移角度，使得光轴对视轴进行近似并且被选作注视向量。

图13示出用于基于所确定的瞳孔中心、角膜中心、以及眼球旋转中心来确定注视向量的方法实施例，并且该实施例可用于实现步骤604。在步骤652，一个或多个处理器将眼睛的光轴178建模成从眼球的旋转中心延伸穿过所确定的角膜中心和瞳孔中心的光线，并且在步骤654，对所建模的光轴应用校正以估计视轴。在步骤656，一个或多个处理器将所估计的视轴从瞳孔延伸穿过透视、近眼显示器的显示光学系统进入用户视野。

在一个实施例中，使用照明器的固定定位作为基础，眼睛的不同区域对反射率的影响（并且因此对反射光的量或强度的影响）被用作注视检测的基础。来自IR或可见光传感器的强度数据可被用来确定注视，所以反射率数据能以基于IR的反射率或可见光反射率为基础。为说明起见，巩膜比眼睛的其他区域（如瞳孔和虹膜）更具反射性。如果用户向该用户的左侧远方看去，则位于镜架115上用户的右侧远处的照明器153造成用户的右眼的右巩膜上的闪光反射。PSD 134r或如图3B所示，近鼻梁104的内部右镜架上的光电检测器152接收在一数据读数中表示的较多反射光，而在其他光电检测器152处或PSD上的其他位置处来自反射的光在最接近鼻梁的照明器153被打开时在与黑瞳孔相关联的范围内接收较少的反射光的量。虹膜的反射率也可以由相机134捕捉并由处理器210、处理单元4或包括处理单元4的移动设备5来为用户进行存储。

准确度可能不像基于整个眼睛的图像的准确度那么高，但对许多应用而言是足够的。另外，这样的注视检测可用于辅助或备份注视检测技术。例如，在生成复杂虚拟图像的在计算上密集的时间段期间，这样的基于闪光的技术减轻了一些处理器开销。此外，与基于图像的技术相比，这样的基于闪光的技术在一时间段中可被执行更多次，其中基于图像的技术处理更多数据或在计算上密集但却是更准确的技术，它能以较低速率运行以周期性地重新校准注视检测的准确度。既是基于图像的又是在计算上更密集的注视检测技术的示例是用于基于闪光数据和瞳孔图像数据来相对于眼睛的内部部分确定注视向量的技术，如在图7-13中描述的实施例，它能以较低速率运行以周期性地重新校准注视检测的准确度。例如，部分地基于图像数据的在计算上更密集的技术的实施例能以每秒十（10）次的速率运行，而基于闪光的注视检测技术能以每秒一百（100）次或甚至在一些情况下每秒五百（500）次的更快速率运行。

图14是示出用于基于闪光数据来确定注视的方法实施例的流程图。在步骤673，捕捉表示每一闪光强度值的数据。基于不同眼睛部位的镜面反射率以及照明器的位置，在步骤674基于检测到的强度值来标识与闪光有几何关系的每一闪光位置的眼球部分。在步骤675，基于与闪光位置中的每一个相关联的眼球部分来估计注视角度。如在先前示例描述的，眼球部分可以是虹膜、瞳孔、或眼球的巩膜。照明器的位置形成闪光的几何形状，例如至少在两侧框起或包围瞳孔的框、圆、矩形等。在步骤676基于注视角度来确定注视向量，并且在步骤677基于所确定的两只眼睛的注视向量的相交来确定3D用户视野中的注视点。

如上所述，能以不同的周期率使用具有不同准确度的不同方法来以准确度换取速度。诸如在图14中描述的方法实施例等基于闪光强度值的方法实施例是可以使用的具有低计算强度的技术的示例。在另一示例中，训练注视数据集可被用于与当前瞳孔位置数据的比较，以确定注视向量。

使用用于注视确定的训练数据集依靠近眼显示设备2相对于眼睛没有移动过的假设。如果移动被检测到，则训练注视数据集要被重新校准。光照变化也可以是重新校准的基础。

对于一组预定注视方向中的每一个，获得训练注视数据集。例如，可对于显示光学系统14的不同部分获取训练数据集，用户的瞳孔通过显示光学系统以注视角度或瞳孔角度来注视。在一个示例中，有九个（9）部分，显示光学系统的四个（4）角中的每一个角各一部分、中间左侧框或区域、中间右侧框或区域、中间顶部框、中间底部框、以及中心区域。在闪光的情况下，可使用当前数据在四个闪光位置处的强度值与训练数据集的比较。

图15A是示出用于生成用于对注视的基于比较的确定的一组训练数据集的方法实施例的流程图。该方法可被用于基于表示瞳孔位置的闪光强度值数据来确定注视角度的训练集。该方法实施例在步骤702开始并在步骤714结束的示例性循环结构中被呈现。在步骤704，对于多个训练注视数据集中的每一个，控制电路136、处理单元4、移动设备5、联网的中枢计算环境12的一个或多个处理器单独或相组合地在用户视野中在预定时间段对相应训练数据集在预定的不同位置生成虚拟图像。如前面讨论的，微显示器120在用户视野中的不同位置处生成虚拟图像。

在步骤706，基于闪光在预定时间段期间捕捉每一眼睛的数据。在步骤708，从所捕捉的数据中，一个或多个处理器确定表示瞳孔位置的数据，例如来自多个闪光的一组强度值。在步骤710，基于瞳孔位置数据以及在用户视野中所确定的虚拟图像的预定不同位置来确定注视向量。在瞳孔和闪光数据被捕捉的情况下，作为检验，注视向量可基于如以上参考图7至13的各实施例讨论的角膜中心、瞳孔中心以及眼球旋转中心以及虚拟图像的位置来被确定。在仅有闪光数据的情况下，闪光的强度值可与所存储的反映眼睛上的不同反射区域的值相关，并与延伸到用户视野中虚拟图像位置的注视向量相关联。可对照观看预定位置处的虚拟图像的期望的瞳孔角的一组值来检查闪光值。在步骤712，一个或多个处理器存储瞳孔位置数据以及关于相应训练注视数据集的注视向量，并在步骤714和702继续以开始处理下一训练注视数据集，直到达到预定数量的集合。

图15B是示出用于基于训练数据集来确定注视的方法实施例的流程图。在步骤722，至少一个传感器基于反射光来捕捉每一眼睛的数据，以及在步骤724一个或多个处理器从所捕捉的数据中确定表示当前瞳孔位置的数据。在步骤726，一个或多个处理器基于当前瞳孔位置数据与一个或多个训练数据集的比较来确定注视向量，并且在步骤728，基于对于两个眼睛的注视向量来确定注视点，例如，两个向量在3D用户视野中相交的地方。

图15C是可以与图15B的比较步骤726一起使用的内插方法实施例的流程图。例如，这一实施例可在比较闪光之间的空间关系的传感器数据（例如PSD数据）时使用。在步骤732，一个或多个处理器根据映射准则来确定当前瞳孔位置数据与训练注视数据集中的至少一个子集的瞳孔位置数据之间的一个或多个距离向量。在传感器（例如，相机传感器或离散位置敏感检测器器）的检测区域，映射可以是以mm的距离到像素的映射。对于各向同性PSD，映射可以是检测器区域上的区域到以mm的距离的映射。

框或其他几何形状的闪光提供另一示例。来自闪光强度值的训练注视数据集的每一当前闪光的距离向量指示出强度改变的方向，因为闪光是固定的，除非坐标系移动。

在步骤734，一个或多个处理器选择其一个或多个距离向量之和最小的训练注视数据集，并且在步骤736，在所选择的训练注视数据集的瞳孔位置与当前数据的瞳孔位置之间内插位置改变向量。在步骤738，一个或多个处理器将被位置改变向量移动的所选择的训练注视数据集的注视向量估计为当前注视向量。

尤其在使用训练数据供比较时，注视检测坐标系的移动是对训练数据集的重新校准的原因。可周期性地重新确定角膜中心和旋转中心的位置，以确定它们与照明器和至少一个传感器之间的空间关系是否已经改变。

对移动的其他测试可基于在图像数据中具有固定特性的面部特征来执行。在一个实施例中，眼睛相机可捕捉角膜突出部分、眼白、虹膜和瞳孔的可见眼球部分周围约5至10mm的区域，以便捕捉眼睑和睫毛的部分。还可将像在诸如眼睑的皮肤上或在包起下眼球的皮肤底部边缘上的痣或斑等位置固定的面部特征呈现在眼睛的图像数据中。在图像样本中，可监视痣或斑的位置以寻找位置改变。如果面部特征上移、下移、右移或左移，则可检测到垂直或水平偏移。如果面部特征显得更大或更小，则眼睛与显示设备2之间的空间关系中的深度改变可被确定。由于像相机分辨率等事物，可存在用于触发训练注视数据集的重新校准的位置改变的准则范围。

在另一示例中，尽管光照是改变瞳孔大小和瞳孔区域与虹膜外周或周界内可见虹膜区域的比例的因素，但虹膜周界或外周的大小不随着注视改变或光照改变而改变，因此，该周界或外周是作为面部特征的虹膜的固定特性。通过对虹膜的椭圆形拟合，一个或多个处理器可根据准则确定虹膜在图像数据中是否已经变大或变小。如果变大，则带有其照明器153和至少一个传感器134的显示设备2已经在深度上移至更接近于用户的眼睛；如果变小，则显示设备2已经移至更远。固定特性中的改变可触发对训练数据集的重新校准。

图16是示出用于检查对注视确定系统的重新校准的方法实施例的流程图。在步骤742，显示设备2的或与其通信的一个或多个处理器检查导致对训练数据集的重新校准的改变是否已经发生。一个检查是在步骤744确定根据某一准则的移动是否已经发生。该检查可以是周期性地在三维中确定注视向量，如按照图7至13讨论的，以及注意眼球旋转的位置相对于透视、近眼显示设备的一个或多个注视检查元件已经改变。该准则可以是在三维中的任一维中的移动距离。基于步骤744中的确定移动是否发生的结果指示没有移动，在步骤746，一个或多个处理器确定是否已经发生根据某一准则的光照改变。响应于在步骤746中的否定性确定，在步骤747执行下一次计划的移动检查之前的其他处理。如果移动被指示出，则可能已经在基于图像的技术中基于面部特征检测到该移动。因此，可以执行确定注视检测坐标系的边界的可选步骤748，如针对图7至图13的各实施例讨论的。在步骤750，响应于该移动，生成新的一组训练注视数据集。此外，如果在步骤746确定了存在超出阈值或其他准则的光照改变，则也可在步骤750触发该组新的训练注视数据集。

图17是可以在本技术的各实施例中操作的示例性移动设备的框图。描绘了典型移动电话的示例性电子电路。电话900包括一个或多个微处理器912，以及存储由控制处理器912的一个或多个处理器执行来实现此处所述的功能的处理器可读代码的存储器1010（例如，诸如ROM等非易失性存储器和诸如RAM等易失性存储器）。

移动设备900可包括例如处理器912、包括应用和非易失性存储的存储器1010。处理器912可实现通信以及任何数量的应用，包括本文中所描述的交互应用。存储器1010可以是任何种类的存储器存储介质类型，包括非易失性和易失性存储器。设备操作系统处理移动设备900的不同操作，并可包含用于操作的用户界面，如拨打和接听电话呼叫、文本消息收发、检查语音邮件等。应用1030可以是任何种类的程序，如用于照片和/或视频的相机应用、地址簿、日历应用、媒体播放器、因特网浏览器、游戏、其他多媒体应用、闹钟应用、其他第三方应用、本文中讨论的交互应用等。存储器1010中的非易失性存储组件1040包含诸如web高速缓存、音乐、照片、联系人数据、日程安排数据、以及其他文件等数据。

处理器912还与RF发射/接收电路906进行通信，该电路906进而耦合到天线902，它还与红外发射器/接收器908、与像Wi-Fi或蓝牙等任何附加通信信道1060、以及与像加速度计等移动/定向传感器914通信。加速度计被包括到移动设备中，以启用诸如让用户通过姿势输入命令的智能用户界面之类的应用，在与GPS卫星断开联系之后计算设备的移动和方向的室内GPS功能，并检测设备的定向，并且，当旋转电话时自动地将显示从纵向变为横向。可以，例如，通过微机电系统（MEMS）来提供加速度计，该微机电系统是构建在半导体芯片上的微小机械器件（微米尺寸）。可以感应加速方向、以及定向、振动和震动。处理器912还与响铃器/振动器916、用户界面键区/屏幕、生物测定传感器系统918、扬声器1020、话筒922、相机924、光传感器926以及温度传感器928进行通信。

处理器912控制无线信号的发射和接收。在发射模式期间，处理器912向RF发射/接收电路906提供来自话筒922的语音信号或其他数据信号。发射/接收电路906将该信号发射到远程站（例如固定站、运营商、其他蜂窝电话等）来通过天线902进行通信。响铃器/振动器916被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其他通知等信号。在接收模式期间，发射/接收电路906通过天线902接收来自远程站的语音或其他数据信号。所接收到的语音信号被提供给扬声器1020，同时所接收到的其它数据信号也被适当地处理。

另外，物理连接器988可被用来将移动设备900连接到外部电源，如AC适配器或加电对接底座。物理连接器988还可被用作到计算设备的数据连接。该数据连接允许诸如将移动设备数据与另一设备上的计算数据进行同步等操作。

为这样的服务启用使用基于卫星的无线电导航来中继用户应用程序的位置的GPS收发机965。

附图中示出的示例计算机系统包括计算机可读存储介质的示例。计算机可读存储介质也是处理器可读存储介质。这样的介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块、或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，RAM、ROM、EEPROM、高速缓存、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、记忆棒或卡、磁带盒、磁带、媒体驱动器、硬盘、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。

图18是描绘可用于实现图1A和1B的中枢计算系统的计算系统的一个实施例的框图。在这一实施例中，计算系统是诸如游戏控制台等多媒体控制台800。如图18所示，多媒体控制台800具有中央处理单元（CPU）801以及便于处理器访问各种类型存储器的存储器控制器802，包括闪速只读存储器（ROM）803、随机存取存储器（RAM）806、硬盘驱动器808、以及便携式媒体驱动器806。在一种实现中，CPU 801包括1级高速缓存810和2级高速缓存812，这些高速缓存用于临时存储数据并因此减少对硬盘驱动器808进行的存储器访问周期的数量，从而提高了处理速度和吞吐量。

CPU 801、存储器控制器802、以及各种存储器设备经由一个或多个总线（未示出）互连。在本实现中所使用的总线的细节对理解此处所讨论的关注主题不是特别相关。然而，应该理解，这样的总线可以包括串行和并行总线、存储器总线、外围总线、使用各种总线体系结构中的任何一种的处理器或局部总线中的一个或多个。作为示例，这样的体系结构可以包括工业标准体系结构（ISA）总线、微通道体系结构（MCA）总线、增强型ISA（EISA）总线、视频电子标准协会（VESA）局部总线、以及也称为夹层总线的外围部件互连（PCI）总线。

在一个实现中，CPU 801、存储器控制器802、ROM 803、以及RAM 806被集成到公用模块814上。在此实现中，ROM 803被配置为通过PCI总线和ROM总线（两者都没有示出）连接到存储器控制器802的闪存ROM。RAM 806被配置为多个双倍数据速率同步动态RAM（DDR SDRAM）模块，它们被存储器控制器802通过分开的总线（未示出）独立地进行控制。硬盘驱动器808和便携式媒体驱动器805被示为通过PCI总线和AT附加（ATA）总线816连接到存储器控制器802。然而，在其他实现中，也可以备选地应用不同类型的专用数据总线结构。

图形处理单元820和视频编码器822构成了用于进行高速度和高分辨率（例如，高清晰度）的图形处理的视频处理流水线。数据通过数字视频总线（未示出）从图形处理单元（GPU）820传输到视频编码器822。通过使用GPU 820 中断来显示由系统应用程序生成的轻量消息（例如，弹出窗口），以调度代码来将弹出窗口呈现为覆盖图。覆盖图所使用的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器（scaler）可用于设置该分辨率，从而消除了对改变频率并引起TV重新同步的需求。

音频处理单元824和音频编解码器（编码器/解码器）826构成了对应的音频处理流水线，用于对各种数字音频格式进行多通道音频处理。通过通信链路（未示出）在音频处理单元824和音频编解码器826之间传送音频数据。视频和音频处理流水线向A/V（音频/视频）端口828输出数据，以便传输到电视机或其他显示器。在所示出的实现中，视频和音频处理组件820-828安装在模块214上。

图18示出了包括USB主控制器830和网络接口832的模块814。USB主控制器830被示为通过总线（例如，PCI总线）与CPU 801和存储器控制器802进行通信，并作为外围控制器804(1)-804(4)的主机。网络接口832提供对网络（例如因特网、家庭网络等）的访问，并且可以是包括以太网卡、调制解调器、无线接入卡、蓝牙模块、电缆调制解调器等各种有线或无线接口组件中的任一种。

在图18中描绘的实现中，控制台800包括用于支持四个控制器804(1)-804(4)的控制器支持子部件840。控制器支持子部件840包括支持与诸如，例如，媒体和游戏控制器之类的外部控制设备的有线和无线操作所需的任何硬件和软件组件。前面板I/O子部件842支持电源按钮812、弹出按钮813，以及任何LED（发光二极管）或暴露在控制台802的外表面上的其他指示器等多个功能。子部件840和842通过一个或多个电缆部件844与模块814进行通信。在其他实现中，控制台800可以包括另外的控制器子部件。所示出的实现还示出了被配置成发送和接收可以传递到模块814的信号的光学I/O接口835。

MU 840(1)和840(2)被示为可分别连接到MU端口“A”830(1)和“B”830(2)。附加的MU（例如，MU 840(3)-840(6)）被示为可连接到控制器804(1)和804(3)，即每一个控制器两个MU。控制器804(2)和804(4)也可以被配置成接纳MU（未示出）。每一个MU 840都提供附加存储，在其上面可以存储游戏、游戏参数、及其他数据。在一些实现中，其他数据可以包括数字游戏组件、可执行的游戏应用，用于扩展游戏应用的指令集、以及媒体文件中的任何一种。当被插入到控制台800或控制器中时，MU 840可以被存储器控制器802访问。系统供电模块850向游戏系统800的组件供电。风扇852冷却控制台800内的电路。还提供微控制器单元854。

包括机器指令的应用860被存储在硬盘驱动器808上。当控制台800被接通电源时，应用860的各个部分被加载到RAM 806，和/或高速缓存810以及812中以在CPU 801上执行，其中应用860是一个这样的示例。各种应用可以存储在硬盘驱动器808上以用于在CPU 801上执行。

可以通过简单地将系统连接到监视器16（图1A）、电视机、视频投影仪、或其他显示设备来将游戏与媒体系统800用作独立系统。在此独立模式下，游戏和媒体系统800允许一个或多个玩家玩游戏或欣赏数字媒体，例如观看电影或欣赏音乐。然而，随着宽带连接的集成通过网络接口832而成为可能，游戏和媒体系统800还可以作为更大的网络游戏社区的参与者来操作。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims

1.一种方法，包括：

使用眼睛跟踪相机估计透视显示器的佩戴者正注视于的区域（402）；

确定用户正注视于的所述区域的光强度（406）；以及

基于所述区域的光强度调整所述透视显示器的亮度（408）。

2.如权利要求1所述的方法，其特征在于，基于所述区域的光强度调整所述透视显示器的亮度包括：

调整所述透视显示器的不透明度。

3.如权利要求1或2所述的方法，其特征在于，基于所述区域的光强度调整所述透视显示器的亮度包括：

调整所述透视显示器投射的光的强度。

4.如权利要求1至3中任一项所述的方法，其特征在于，还包括：

确定所述佩戴者的瞳孔大小，所述基于所述区域的光强度调整所述透视显示器的亮度进一步基于所述佩戴者的所述瞳孔大小。

5.如权利要求1至4中任一项所述的方法，其特征在于，还包括：

基于3D成像确定所述佩戴者的眼睛与所述透视显示器之间的距离，调整所述透视显示器的亮度进一步基于所述距离。

6.如权利要求1至5中任一项所述的方法，其特征在于，调整所述透视显示器的亮度进一步基于上下文，所述上下文包括以下各方面中的一个或多个方面：所述佩戴者的环境、正被呈现在所述透视显示器上的内容的类型、或正被呈现在所述透视显示器上的内容的格式。

7.如权利要求1至6中任一项所述的方法，其特征在于，还包括：

确定所述佩戴者的基线放大响应，所述调整所述透视显示器的亮度进一步基于所述佩戴者的所述基线放大响应。

8.一种显示系统，包括：

透视、近眼显示设备（14），所述透视、近眼显示设备包括被定位成由相应的眼睛透视的用于每个眼睛的相应显示光学系统；

附连于所述透视显示设备的用于每只眼睛的图像生成单元（173），用于生成至少一个虚拟图像供在所述显示光学系统中显示；

定位在所述显示设备上的注视检测元件（152，153）的相应安排；

耦合于所述注视检测元件的逻辑（4，5），所述逻辑确定所述透视显示设备的佩戴者的注视估计，所述逻辑访问所述系统的视野的亮度数据，所述逻辑确定所述视野中正被注视的区域的光强度，所述逻辑基于所述区域的光强度调整所述透视显示设备的亮度。

9.如权利要求8所述的显示系统，其特征在于，所述逻辑基于所述区域的光强度调整所述透视显示器的不透明度和/或所述透视显示器投射的光的亮度。

10.如权利要求8或9所述的显示系统，其特征在于，所述逻辑确定所述佩戴者的瞳孔大小，所述逻辑基于所述佩戴者的所述瞳孔大小调整所述透视显示器的亮度和/或所述透视显示器的不透明度。