CN116507267A - 用于视网膜眼睛跟踪的多个注视相关照明源 - Google Patents

Abstract

本文公开的各种具体实施包括提供基于视网膜成像的注视跟踪的设备、系统和方法。在一些具体实施中，基于视网膜成像技术来跟踪用户的注视，该视网膜成像技术选择性地使用对该用户的视网膜(352)的不同部分进行照明的多个光源(222,310,610)的子集。在一些具体实施中，方法(700)包括：选择(710)光源的子集，其中这些光源的该子集包括这些光源中的少于所有光源。在一些具体实施中，通过使用这些光源的该子集产生光来对视网膜(352)的一个或多个部分进行照明(720)。在一些具体实施中，在传感器(224,340,814)处接收(730)传感器数据，该传感器数据对应于在视网膜成像期间检测到的该光，并且基于该传感器数据来确定(740)眼睛特性。

Description

用于视网膜眼睛跟踪的多个注视相关照明源

技术领域

本公开一般涉及提供电子设备的用户的基于视网膜成像的眼睛跟踪，并且具体地涉及使用多个照明源提供电子设备的用户的基于视网膜成像的眼睛跟踪的系统、方法和设备。

背景技术

基于视网膜成像的跟踪系统通常具有用于对视网膜进行照明的照明源和用于生成包括从视网膜反射的光的图像的图像传感器两者。此类跟踪系统的缺点包括由照明源使用的相对大量的功率以及来自除视网膜之外的眼睛表面例如角膜、晶状体等的不想要的反射(眩光)。

发明内容

本文公开的各种具体实施包括提供基于视网膜成像的注视跟踪的设备、系统和方法。在一些具体实施中，基于视网膜成像技术来跟踪用户的注视，该视网膜成像技术选择性地使用多个光源的子集以对该用户的视网膜的一个或多个部分进行照明。在一些具体实施中，在视网膜成像中使用这些光源的该子集以通过减少眩光、降低图像饱和度、减少成像计算或降低能量消耗来提供更好的注视跟踪。

在一些具体实施中，基于视网膜成像的注视跟踪使用这些光源的子集，这些光源各自被配置为将光引导到该视网膜上的不同位置(例如，区域)。基于该视网膜的图，可在静态眼睛注视条件期间(例如，大约80％的时间)使用光源的所选择子集。当眼睛进行大的移动时，可启用多个光源中的所有光源或大部分光源以同时评估整个视网膜(例如，整个视网膜区)以标识新的注视方向或注视着陆点。当确定该新的注视方向时，可再次使用光源的子集。在一些具体实施中，多个光源中的光源的子集对于多个不同的注视方向中的每个注视方向是不同的。在一些具体实施中，多个光源可使用单个准直透镜或针对每一单独光源使用准直透镜。在一些具体实施中，多个光源是光源阵列(例如，2D/3D阵列)。

在一些具体实施中，由多个光源中的特定光源引起的来自眼睛的其他表面包括角膜和晶状体的不想要的眩光(反射)可被标识(例如，在登记期间)并且通过禁用那些特定光源来减少。在一些具体实施中，可通过在基于视网膜成像的注视跟踪期间禁用特定光源来降低能量消耗。

在一些具体实施中，一种方法包括：选择光源的子集，这些光源的该子集包括所述光源中的少于所有光源。在一些具体实施中，通过使用这些光源的该子集产生光来对视网膜的一个或多个部分进行照明。然后，在传感器处接收传感器数据，其中该传感器数据对应于使用视网膜成像检测到的光，并且基于该传感器数据来确定眼睛特性。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1例示了根据一些具体实施的示例性操作环境。

图2例示了根据一些具体实施的示例性头戴式设备(HMD)。

图3是例示了根据一些具体实施的示例性跟踪系统的框图，该示例性跟踪系统选择性地使用多个光源的子集对视网膜的一个或多个部分进行照明以用于视线跟踪。

图4是例示了根据一些具体实施的来自用于对视网膜进行照明的示例性光源的眩光的图。

图5是例示了根据一些具体实施的示例性跟踪系统的框图，该示例性跟踪系统选择性地使用多个光源的子集对视网膜的一个或多个部分进行照明以用于视线跟踪。

图6是例示了根据一些具体实施的用于对视网膜进行照明的图像传感器附近的示例性光源的图。

图7是例示了根据一些具体实施的基于选择性地使用光源的子集来对视网膜的一个或多个部分进行照明的视网膜成像技术来跟踪用户的注视的示例性方法的流程图。

图8示出了根据一些具体实施的示例性电子设备。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

图1示出了在物理环境105中使用电子设备120的示例性操作环境100。物理环境是指人们在没有电子系统帮助的情况下能够与其交互和/或对其感测的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。

在图1的示例中，设备120被示出为单个设备。设备120的一些具体实施是手持式的。例如，设备120可以是移动电话、平板电脑、膝上型电脑等。在一些具体实施中，设备120由用户穿戴。例如，设备120可以是手表、头戴式设备(HMD)等。在一些具体实施中，设备120的功能经由两个或更多个设备(例如另外包括任选的基站)来实现。其他示例包括膝上型计算机、台式计算机、服务器或在功率、CPU能力、GPU能力、存储能力、存储器能力等方面包括附加能力的其他此类设备。可用于实现设备120的功能的多个设备可经由有线或无线通信彼此通信。

本文所公开的各种具体实施包括实现基于视网膜成像的注视跟踪的设备、系统和方法。在一些具体实施中，用于基于视网膜成像的注视跟踪的照明被分成照明器阵列，这些照明器各自对视网膜上的不同区域进行照明。在一些具体实施中，通过打开特定照明器或照明器阵列中的照明器的子集，在注视跟踪期间降低功率消耗或眩光。在一些具体实施中，基于用户的注视方向来选择特定照明器或照明器阵列中的照明器的子集。照明器的子集少于照明器阵列中的所有照明器。例如，当眼睛注视是静态时，可使用减少的照明或更具选择性的照明。在一些具体实施中，照明器阵列包括多个可寻址光源，诸如硅上垂直腔表面发射激光器(VCSEL)或发光二极管(LED)。

图2例示了根据一些具体实施的HMD 200的框图。头戴式设备200包括容纳头戴式设备200的各种部件的外壳201(或壳体)。外壳201包括(或耦接到)设置在外壳201的近侧(相对于用户10)端部处的眼垫205。在各种具体实施中，眼垫205是塑料或橡胶件，其舒适且贴合地将头戴式设备200保持处于用户10的面部上的(例如，围绕用户10的眼睛的)适当位置。

外壳201容纳显示器210，该显示器显示图像、朝向用户10的眼睛发射光或将光发射到该用户的眼睛上。在各种具体实施中，显示器210发射光通过目镜(未示出)，该目镜折射由显示器210发射的光，使显示器在用户10看来是在比从眼睛到显示器210的实际距离远的虚拟距离处。为了用户能够聚焦在显示器210上，在各种具体实施中，虚拟距离至少大于眼睛的最小焦距(例如，7cm)。此外，为了提供更好的用户体验，在各种具体实施中，虚拟距离大于1米。

虽然图2例示了包括显示器210和眼垫205的头戴式设备200，但在各种具体实施中，头戴式设备200不包括显示器210或者包括光学透视显示器而不包括眼垫205。

外壳201还容纳瞳孔评估系统，该瞳孔评估系统包括一个或多个光源222、图像传感器224和控制器280。一个或多个光源222朝向用户10的眼睛发射光，眼睛反射光(例如，定向光束)，该光可由传感器224检测。基于反射，控制器280可确定用户10的瞳孔特性。又如，控制器280可确定瞳孔中心、瞳孔大小、注视方向或关注点。因此，在各种具体实施中，光由一个或多个光源222发射，从用户10的眼睛反射，并且由传感器224检测。在各种具体实施中，来自用户10的眼睛的光在到达传感器224之前从热镜反射或反射通过目镜。

显示器210可发射第一波长范围内的光，并且一个或多个光源222可发射第二波长范围内的光。类似地，传感器224可检测第二波长范围内的光。在各种具体实施中，第一波长范围是可见波长范围(例如，可见光谱内大约为400nm-700nm的波长范围)，并且第二波长范围是近红外波长范围(例如，近红外光谱内约为700nm-1400nm的波长范围)。

在一些具体实施中，光源222中的一个或多个光源各自指向视网膜上的不同区域。在一些具体实施中，基于视网膜成像的注视跟踪使用光源222的子集。基于在登记期间获得的视网膜的图，用于基于视网膜成像的注视跟踪的光源222的子集可在静态眼睛注视条件期间(例如，约80％的时间)使用。当眼睛进行大的移动时，可启用光源222中的所有光源或多于这些光源的子集以同时评估整个视网膜(例如，整个视网膜区)以标识新的注视方向或注视着陆点。当确定新的注视方向时，可再次使用少于光源222中的所有光源的子集。在一些具体实施中，光源222的子集对于多个不同的注视方向中的每个注视方向是不同的。

在一些具体实施中，一个或多个其他光源(未示出)朝向用户的眼睛发射光，该光以一个或多个闪光的形式从眼睛的表面反射。

在各种具体实施中，传感器224是基于帧/快门的相机，其以帧速率在特定时间点或多个时间点生成用户10的眼睛的图像。每个图像包括对应于图像的像素的像素值的矩阵，所述像素对应于相机的光传感器矩阵的位置。

在各种具体实施中，相机224是包括在多个相应位置处的多个光传感器(例如，光传感器矩阵)的事件相机，该事件相机响应于特定光传感器检测到光强度变化而生成指示特定光传感器的特定位置的事件消息。

在各种具体实施中，瞳孔特性评估被用于促进注视跟踪，注视跟踪可以被用于实现用户交互(例如，用户10通过观看显示器210上的选项来选择它)、提供中心凹渲染(例如，在用户10正在观看的显示器210的区域中呈现较高的分辨率而在显示器210上的其他地方呈现较低的分辨率)或减少几何失真(例如，显示器210上对象的3D渲染中)。

图3是例示了根据一些具体实施的示例性眼睛跟踪系统的框图，该示例性眼睛跟踪系统选择性地使用多个光源的子集对视网膜的一个或多个部分进行照明以用于视线跟踪。在一些具体实施中，在视网膜成像中使用多个光源的子集通过减少眩光、降低图像饱和度、减少成像计算或降低能量消耗来提供更好的注视跟踪。

如图3所示，多个光源310、准直器320、分束器330和图像传感器340形成基于视网膜成像的注视跟踪系统。在一些具体实施中，多个光源310包括多个可寻址光源310a、310b、……、310e，它们在被启用时各自对眼睛350的视网膜352的不同部分进行照明。

如图3所示，多个光源310产生以一定角度从分束器330反射的光，以提供对视网膜352的不同部分进行照明的光。从视网膜352反射的光穿过分束器330并且由图像传感器340(例如，IR相机)捕获。如图3所示，光源310中的唯一启用光源310c使用分束器330来提供大致同轴的照明。使用不同类型的波导，包括使用反射镜、光纤、衍射光学元件、全息元件等，可以实现使光源的虚拟位置基本上与相机轴同轴的相同效果。

在一些具体实施中，根据注视方向选择性地打开多个光源310的子集。在一些具体实施中，选择性地启用多个光源310的子集与当前图像中可由图像传感器340查看的视网膜350的部分相关，该部分与注视方向(例如，眼睛取向)相关。在一些具体实施中，针对每个不同的注视方向选择的多个光源310的子集是不同的。

一般来讲，眼睛350的注视方向在80％的时间是稳定的或静态的。在一些具体实施中，眼睛350的静态注视方向允许使用多个光源310的子集进行更具选择性的照明(例如，更少的照明或更少的能量)。在一些具体实施中，多个光源310的子集可间歇地禁用或脉冲触发以进一步降低能量消耗。另选地，多个光源310的子集的照明强度可降低以进一步降低能量消耗。在一些具体实施中，静态注视方向包括眼睛的微小移动，诸如微眼跳等。在一些具体实施中，静态注视方向包括眼睛的小于移动阈值的微小移动。在一些具体实施中，当眼睛350的注视方向是静态时，可仅使用多个光源310中的单个光源来监测或跟踪眼睛350的注视方向。例如，针对注视方向对图像传感器340的视场(FOV)中的视网膜352进行实际照明的两个或更多个光源310被选择作为光源310的子集。在一些具体实施中，代替分别使用所有多个光源310以略微不同的角度对视网膜352进行照明，可使用多个光源310的子集得到视网膜352的更好图像。

在一些具体实施中，基于注视方向来选择性地启用光源310的子集可节省功率、减少眩光或减少无效照明源的数量。

在一些具体实施中，使用多个光源310的子集进行选择性照明(例如，较少照明)减少由在角膜354上反射回以使图像传感器340的部分饱和(例如，旨在对视网膜352进行照明)的光引起的图像传感器340处的眩光。在一些具体实施中，从角膜354反射的光可能模糊或遮挡视网膜352，这可能干扰注视跟踪。

在一些具体实施中，通过在选择光源的子集时选择性地打开/关闭多个光源310中的不同光源来减少或防止从角膜354反射的光的眩光360，以便获得不受角膜反射影响的视网膜图像。以类似的方式，通过在选择光源的子集时选择性地打开/关闭多个光源310中的不同光源来减少或防止从眼睛350的晶状体356反射的光的眩光，以便获得不受从晶状体356反射影响的视网膜图像。

图4是例示了根据一些具体实施的来自用于对视网膜进行照明的示例性光源的眩光的图。如图4所示，从角膜354反射的光的眩光360可使由图像传感器340产生的眼睛350的图像的部分饱和。当由眩光360引起的图像传感器340的饱和与视网膜352对准时，视网膜352的图像可能被挡住。如图4所示，当通过眼睛350的瞳孔358的虹膜359对视网膜352的部分进行照明时，出现显著的眩光360。另外，瞳孔358的大小因人而异，并且眩光360可导致视网膜352对较小瞳孔的增大的遮挡(例如，遮挡可大到足以覆盖整个瞳孔或虹膜)。

在一些具体实施中，多个光源310中的一个或多个光源将对视网膜352的具有非常少或没有特征(例如，血管)的部分进行照明。在基于视网膜成像的注视跟踪期间，分析视网膜352的无特征部分增加了视网膜图像处理所需的计算而没有益处(例如，没有改善注视跟踪)。在一些具体实施中，当尝试根据当前视网膜图像确定眼睛350的取向时，视网膜352的无特征部分可被标识和忽略，并且多个光源310中的对应光源未被选择用于光源的子集(例如，被禁用)。在一些具体实施中，基于注视方向来禁用多个光源310的子集中对视网膜352的无特征部分进行照明的光源降低了基于视网膜成像的注视跟踪期间的能量消耗。

现在将描述基于视网膜成像的注视跟踪的示例性操作。在一些具体实施中，基于视网膜成像的注视跟踪的第一阶段是“登记”。在一些具体实施中，基于视网膜成像的注视跟踪的第二阶段是“注视检测”或主动注视跟踪。

在一些具体实施中，登记被用于基于注视方向(例如，眼睛取向)来生成视网膜352的图。因此，在穿戴电子设备诸如HMD时，指导用户在若干不同的特定位置(例如，从左到右以及从上到下)观看，并且生成在于每个特定位置处观看时的视网膜的图像。在一些具体实施中，在于特定位置中的每个特定位置处观看时，标识多个光源310中的引起眩光(例如，眩光360)的任一光源(例如，用于潜在排除)。在一些具体实施中，在于特定位置中的每个特定位置处观看时，标识多个光源310中的对视网膜的无特征部分进行照明的任一光源(例如，用于潜在排除)。然后，在一些具体实施中，将特定位置中的每个特定位置的单独的图像(例如，视网膜的部分的图)组合成视网膜352的截面图或视网膜352的单个较大的组合图。在随后的基于视网膜成像的主动注视跟踪期间，将视网膜352的一部分的当前视图与视网膜的登记图(例如，单独的图、截面图或组合视网膜图)相匹配标识或确定眼睛350的当前注视方向。

初始，在基于视网膜图像的主动注视跟踪期间，启用多个光源310的所有光源或预定序列光源，并且图像传感器340拍摄视网膜352的当前图像。一旦在组合视网膜图中标识视网膜352的当前图像，则眼睛350的眼睛取向或当前注视方向是已知的，并且可减少所使用的光源310的数量(例如，可使用针对该注视方向标识的光源310的子集)。

在一些具体实施中，可使用光源310的子集中的减少数量的光源，直到出现眼睛350的(例如，超过阈值量的)大移动。另选地，在一些具体实施中，可使用光源310的子集，直到所得的视网膜352的当前图像不匹配针对该注视方向的视网膜的图。在一些具体实施中，当当前注视方向改变时，图像传感器340在启用多个光源310中的所有光源时拍摄视网膜352的图像，直到当前视网膜图像再次与登记视网膜图匹配，并且使用针对该注视方向的光源310的子集。在一些具体实施中，光源的子集排除/禁用未使用的光、引起眩光的光、对无特征区域进行照明的光或(例如，在多个光源310内)为冗余的光以减少光源310的子集中用于特定注视的光的数量。

图5是例示了根据一些具体实施的示例性眼睛跟踪系统的框图，该示例性眼睛跟踪系统选择性地使用多个光源的子集对视网膜的一个或多个部分进行照明以用于视线跟踪。如图5所示，光源310中的唯一启用光源310c使用分束器330来提供离轴照明。一些具体实施组合了基于同轴和离轴照明的眼睛评估。

在一些具体实施中，多个光源310可使用单独准直透镜320或针对单个光源310a、310b、……、310e中的每个光源使用准直透镜。在一些具体实施中，多个光源310是定向光源。在一些具体实施中，多个光源310是1D光源阵列。在一些具体实施中，多个光源310是2D光源阵列(例如，围绕图像传感器的环或矩形)。在一些具体实施中，多个光源310是3D光源阵列(例如，未布置在单个平面中)。在一些具体实施中，光源310包括几百或几千个VCSEL。

图6是例示了根据一些具体实施的用于对视网膜进行照明的图像传感器附近的示例性光源的图。如图6所示，多个光源610产生对视网膜352的不同部分进行照明以由图像传感器340(例如，IR相机)捕获的光。在一些具体实施中，多个光源610的子集对视网膜352的一个或多个部分进行照明以用于注视跟踪。在一些具体实施中，多个光源610是定向光源(例如，LED)。如图6所示，根据一些具体实施，光源310中的唯一启用光源610g靠近图像传感器340的光学元件并且提供大致同轴的视网膜照明。

图7是例示了根据一些具体实施的基于选择性地使用光源的子集来对视网膜的一个或多个部分进行照明的视网膜成像技术来跟踪用户的注视的示例性方法的流程图。在一些具体实施中，光源的子集少于所有光源，并且通过减少眩光、降低图像饱和度、减少成像计算或降低能量消耗来使用视网膜成像提供更好的注视跟踪。在一些具体实施中，方法700由设备(例如，图1至图2的电子设备120、200)执行。方法700可以使用电子设备执行，或者由彼此通信的多个设备执行。在一些具体实施中，方法700由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法700由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。在一些具体实施中，方法700由具有处理器和光源的电子设备执行。

在框710处，方法700选择光源的子集，光源的子集包括光源中的少于所有光源。在一些具体实施中，光源是1D、2D或3D光源阵列。在一些具体实施中，光源是一个或多个环形或多边形光源。在一些具体实施中，光源是LED或VCSEL。在一些具体实施中，光源是可单独寻址的(例如，启用或禁用)。

在框720处，方法700通过使用光源的子集产生光来对视网膜的一个或多个部分进行照明(例如，视网膜成像)。在一些具体实施中，光源对视网膜上的不同位置进行照明。在一些具体实施中，光源可以不同角度提供光以对视网膜上的不同位置进行照明。在一些具体实施中，光源可提供定向光以对视网膜上的不同位置进行照明。在一些具体实施中，光源使用单个准直透镜。在一些具体实施中，光源针对每一单独光源使用单独的准直透镜。在一些具体实施中，光源的子集对视网膜的小部分进行照明。

在框730处，方法700在传感器处接收传感器数据，该传感器数据对应于在视网膜成像期间检测到或获得的光。在一些具体实施中，图像传感器接收图像传感器数据，该图像传感器数据对应于从视网膜反射或散射的光。在一些具体实施中，IR相机接收IR图像数据，该IR图像数据对应于从视网膜反射的光。在一些具体实施中，传感器接收视网膜的IR图像，该视网膜的IR图像对应于从视网膜反射的光。在一些具体实施中，传感器是扫描装置的一部分或者传感器数据是使用扫描装置获得的。例如，所接收图像可使用逐点扫描装置或逐行扫描装置来形成。在一些具体实施中，使用扫描镜和单个光电检测器执行视网膜成像。例如，扫描镜和单个光电检测器可以是共焦布置。

在框740处，方法700基于传感器数据来确定眼睛特性。在一些具体实施中，眼睛特性包括基于传感器数据的眼睛注视方向、眼睛取向等。在一些具体实施中，通过将视网膜的图像(传感器数据)与先前生成的视网膜的图进行比较来确定眼睛特性。在一些具体实施中，先前生成的视网膜的图可在登记过程期间生成。

在一些具体实施中，基于先前检测到的眼睛特性(例如，基于初始/先前注视方向或眼睛取向)来选择光源的子集。在一些具体实施中，使用利用多于光源的子集的光源(例如，比光源的子集多至少一个的光源)产生的光和视网膜的图来确定先前检测到的眼睛特性。例如，当HMD用户在HMD处打开注视跟踪时，光源中的所有光源可被打开以对整个视网膜区进行照明。

在一些具体实施中，该方法在框740处继续接收传感器数据并且确定眼睛特性，直到检测到眼睛变化事件。在一些具体实施中，眼睛变化事件是眼睛取向或注视方向的超过阈值的变化。在一些具体实施中，在检测到眼睛变化事件时，使用由多于光源的子集的光源(例如，光源中的大多数光源、光源中的所有光源、或者比光源的子集多至少一个的光源)产生的光以及视网膜的图来重新确定眼睛特性。

在一些具体实施中，可使用一个或多个附加标准来选择光源的子集。在一些具体实施中，通过确定光源中的第一光源在经由传感器获得的视网膜图像中产生成像缺陷(例如，眩光、饱和等)并且从光源的子集中排除第一光源来选择光源的子集。在一些具体实施中，通过基于由第二光源进行照明的视网膜图案(例如，特征(像血管)的稀疏性、最小数量的特征或无特征)来选择光源中的第二光源并且从光源的子集中排除第二光源来选择光源的子集。在一些具体实施中，一个或多个附加准则是基于眼睛特性(像注视方向)的。在一些具体实施中，在登记期间确定一个或多个附加标准。

在一些具体实施中，初始寻找眼睛的注视方向或眼睛变化事件使用光源中的更多/大多数/所有光源。在一些具体实施中，光源中的更多/大多数/所有光源用于对视网膜的更大部分进行照明。然后，一旦确定注视方向，则选择光源的减小的集合(例如，光源的子集)并且将其用于跟踪或监测小的眼睛移动，直到眼睛变化事件再次发生。

在一些具体实施中，方法700还包括使用用户的双眼进行基于视网膜成像的注视跟踪。在一些具体实施中，传感器数据可以是可包括深度信息诸如对应深度图的静态图像、一系列图像、视频等。

图8是示例性设备800的框图。设备800例示了设备120的示例性设备配置。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为一个非限制性示例，在一些具体实施中，电子设备800包括一个或多个处理单元802(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备和传感器806、一个或多个通信接口808(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C或类似类型的接口)、一个或多个编程(例如，I/O)接口810、一个或多个显示器812、一个或多个面向内部或面向外部的传感器系统814、存储器820，以及用于互连这些部件和各种其他部件的一条或多条通信总线804。

在一些具体实施中，一条或多条通信总线804包括互连和控制系统部件之间的通信的电路。在一些具体实施中，该一个或多个I/O设备和传感器806包括以下项中的至少一者：惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如，结构光、飞行时间等)等。

在一些具体实施中，一个或多个显示器812被配置为向用户渲染内容。在一些具体实施中，一个或多个显示器812对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)或类似显示器类型。在一些具体实施中，一个或多个显示器812对应于衍射、反射、偏振、全息等波导显示器。例如，电子设备800可包括单个显示器。又如，电子设备800包括针对用户的每只眼睛的显示器。

在一些具体实施中，一个或多个面向内部或面向外部的传感器系统814包括捕获图像数据的图像捕获设备或阵列或者捕获音频数据的音频捕获设备或阵列(例如，麦克风)。该一个或多个图像传感器系统814可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、单色相机、IR相机或者基于事件的相机等。在各种具体实施中，该一个或多个图像传感器系统814还包括发射光的照明源，诸如闪光灯。在一些具体实施中，该一个或多个图像传感器系统814还包括相机上图像信号处理器(ISP)，该ISP被配置为对图像数据执行多个处理操作。

存储器820包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器820包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器820任选地包括与一个或多个处理单元802远程定位的一个或多个存储设备。存储器820包括非暂态计算机可读存储介质。

在一些具体实施中，存储器820或存储器820的非暂态计算机可读存储介质存储可选的操作系统830和一个或多个指令集840。操作系统830包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，指令集840包括由以电荷形式存储的二进制信息定义的可执行软件。在一些具体实施中，指令集840是能够由一个或多个处理单元802执行以实施本文所述技术中的一种或多种的软件。

在一些具体实施中，指令集840包括视网膜图像生成器842，该视网膜图像生成器可由处理单元802执行以根据本文所公开的技术中的一个或多个技术来捕获表示设备800的用户的视网膜的传感器数据。

在一些具体实施中，指令集840包括眼睛特性检测器844，该眼睛特性检测器可由处理单元802执行以根据本文所公开的技术中的一个或多个技术来确定电子设备的用户的注视方向等。在一些具体实施中，执行眼睛特性检测器844以将当前视网膜图像与电子设备的用户的视网膜的图进行比较。

在一些具体实施中，指令集840包括光源控制器846，该光源控制器可由处理单元802执行以根据本文公开的技术中的一个或多个技术基于电子设备的用户的注视方向来确定要启用的视网膜成像光源的子集。在一些具体实施中，视网膜成像光源的子集是视网膜成像光源中的一个或多个光源并且少于所有光源。

尽管指令集840被示出为驻留在单个设备上，但应当理解，在其他具体实施中，元件的任何组合可位于单独的计算设备中。图8更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，指令集的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。

在一些具体实施中，电子设备800是包括一个或多个扬声器和集成的不透明显示器的头戴式系统。另选地，头戴式系统可被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

应当理解，上文所描述的具体实施以示例的方式引用，并且本公开不限于上文已特别示出和描述的内容。相反地，范围包括上文所描述的各种特征的组合和子组合两者，以及本领域的技术人员在阅读前述描述时将想到的并且在现有技术中未公开的所述各种特征的变型和修改。

如上所述，本发明技术的一个方面是收集和使用生理数据来改善用户的电子设备体验。本公开设想，在一些情况下，该所收集的数据可包括唯一地识别特定人员或者可用于识别特定人员的兴趣、特点或倾向性的个人信息数据。此类个人信息数据可包括生理数据、人口数据、基于位置的数据、电话号码、电子邮件地址、家庭地址、个人设备的设备特征或任何其他个人信息。

本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于改进内容观看体验。因此，使用此类个人信息数据可能使得能够对电子设备进行有计划的控制。此外，本公开还预期个人信息数据有益于用户的其他用途。

本公开还设想到负责此类个人信息和/或生理数据的收集、分析、公开、传送、存储或其他用途的实体将遵守已确立的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。例如，来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法用途之外共享或出售。另外，此类收集应当仅在用户知情同意之后进行。另外，此类实体应采取任何所需的步骤，以保障和保护对此类个人信息数据的访问，并且确保能够访问个人信息数据的其他人遵守他们的隐私政策和程序。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。

不管前述情况如何，本公开还设想用户选择性地阻止使用或访问个人信息数据的具体实施。即本公开预期设想可提供硬件元件或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就为用户定制的内容递送服务而言，本发明的技术可被配置为在注册服务期间允许用户选择“加入”或“退出”参与对个人信息数据的收集。在另一示例中，用户可选择不为目标内容递送服务提供个人信息数据。在又一示例中，用户可选择不提供个人信息，但允许传输匿名信息以用于改进设备的功能。

因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或绝对最低量的个人信息诸如与用户相关联的设备所请求的内容、对内容递送服务可用的其他非个人信息或公开可用的信息来推断偏好或设置，从而选择内容并将该内容递送至用户。

在一些实施方案中，使用仅允许数据的所有者解密存储的数据的公钥/私钥系统来存储数据。在一些其他具体实施中，数据可匿名存储(例如，无需识别和/或关于用户的个人信息，诸如法定姓名、用户名、时间和位置数据等)。这样，其他用户、黑客或第三方就无法确定与存储的数据相关联的用户的身份。在一些具体实施中，用户可从不同于用于上载存储的数据的用户设备的用户设备访问其存储的数据。在这些情况下，用户可能需要提供登录凭据以访问其存储的数据。

本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中，没有详细地介绍普通技术人员已知的方法、装置或系统，以便不使要求保护的主题晦涩难懂。

除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“标识”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。

本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算装置编程或配置为实现本发明主题的一种或多种具体实施的专用计算装置。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。

本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合或者分成子框。某些框或过程可以并行执行。

本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种对象，但是这些对象不应当被这些术语限定。这些术语只是用于将一个对象与另一对象区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”或“包含”在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、对象或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、对象、部件或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

本发明的前述具体实施方式和发明内容应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

Claims (21)

1.一种方法，包括：

在具有处理器和被配置为将光引导到视网膜处的多个光源的电子设备处：

选择所述光源的子集，所述光源的所述子集包括所述光源中的少于所有光源；

通过使用所述光源的所述子集产生光来对所述视网膜的一个或多个部分进行照明；

在传感器处接收传感器数据，所述传感器数据对应于从所述视网膜反射的所述光；以及

基于所述传感器数据来确定眼睛特性。

2.根据权利要求1所述的方法，其中所述眼睛特性是注视方向或眼睛取向。

3.根据权利要求1-2中任一项所述的方法，其中基于先前检测到的眼睛特性来选择所述光源的所述子集。

4.根据权利要求3所述的方法，其中使用利用多于所述光源的子集的光源产生的光和所述视网膜的图来确定所述先前检测到的眼睛特性。

5.根据权利要求1-4中任一项所述的方法，还包括：继续接收所述传感器数据并且确定所述眼睛特性，直到检测到眼睛变化事件，所述眼睛变化事件对应于眼睛取向或注视方向的超过阈值的变化。

6.根据权利要求所述5的方法，还包括：在检测到所述眼睛变化事件时，使用利用多于所述光源的子集的光源产生的光和所述视网膜的图来重新确定所述眼睛特性。

7.根据权利要求1-6中任一项所述的方法，其中所述光源的子集通过以下操作进行选择：

确定所述光源中的第一光源正在经由所述传感器获得的视网膜图像中产生成像缺陷；以及

根据确定所述光源正产生所述成像缺陷，从所述光源的子集中排除所述第一光源。

8.根据权利要求7所述的方法，其中所述成像缺陷包括眩光或饱和。

9.根据权利要求1-8中任一项所述的方法，其中所述光源的子集通过以下操作进行选择：

基于由所述光源中的第一光源进行照明的所述视网膜图案来选择所述第一光源；以及

从所述光源的子集中排除所述第一光源。

10.根据权利要求1-9中任一项所述的方法，其中所述光源中的每个光源对所述视网膜上的不同区域进行照明。

11.根据权利要求1-10中任一项所述的方法，其中所述光是红外(IR)光。

12.一种设备，包括：

光源，所述光源被配置为将光引导到视网膜处；

传感器，所述传感器被配置为提供传感器数据；

处理器；和

包括指令的计算机可读存储介质，所述指令在由所述处理器执行时使所述系统执行包括以下的操作：

选择所述光源的子集，所述光源的所述子集包括所述光源中的少于所有光源；

通过使用所述光源的所述子集产生光来对所述视网膜的一个或多个部分进行照明；

在所述传感器处接收所述传感器数据，所述传感器数据对应于从所述视网膜反射的所述光；以及

基于所述传感器数据来确定眼睛特性。

13.根据权利要求12所述的设备，其中所述光源使用单个准直器。

14.根据权利要求12-13中任一项所述的设备，其中所述光源中的每个光源使用单独的准直器。

15.根据权利要求12-14中任一项所述的设备，其中所述光源中的每个光源是垂直腔表面发射激光器(VCSEL)。

16.根据权利要求12-15中任一项所述的设备，其中所述光源与所述传感器的光轴大致同轴地对准。

17.根据权利要求16所述的设备，其中经由充分靠近所述传感器的光学元件的光源产生大致同轴照明，使得所述光源产生光线，所述光线提供由传感器的所述光学元件捕获的从所述视网膜进行的反射。

18.根据权利要求17所述的设备，其中经由围绕所述传感器的光学元件的光源环产生所述大致同轴照明。

19.根据权利要求12-18中任一项所述的设备，其中所述光源中的每个光源对所述视网膜上的不同区域进行照明。

20.根据权利要求12-19中任一项所述的设备，其中电子设备是头戴式设备(HMD)。

21.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储在计算机上计算机可执行的以执行包括以下的操作的程序指令：

选择被配置为将光引导到视网膜处的光源的子集，所述光源的子集包括所述光源中的少于所有光源；

通过使用所述光源的所述子集产生光来对所述视网膜的一个或多个部分进行照明；

在传感器处接收传感器数据，所述传感器数据对应于从所述视网膜反射的所述光；以及

基于所述传感器数据来确定眼睛特性。