CN109923499B - 便携式眼睛追踪装置 - Google Patents

Abstract

公开一种便携式眼睛追踪器装置，该眼睛追踪器装置包含镜框、至少一个光学器件固持构件、运动传感器和控制单元。镜框可以是适于由用户佩戴的镜框。至少一个光学器件固持构件可包含被配置成选择性地对用户的至少一只眼睛的至少一部分进行照明的至少一个照明器以及被配置成捕捉表示用户的至少一只眼睛的至少一部分的图像的图像数据的至少一个图像传感器。运动传感器可被配置成检测镜框的移动。控制单元可被配置成控制用于对用户的至少一只眼睛的至少一部分进行选择性照明的至少一个照明器，从图像传感器接收图像数据，并从运动传感器接收信息。

Description

便携式眼睛追踪装置

相关申请的交叉引用

本申请主张2016年9月27日申请的第15/277,225号美国专利申请的优先权，所述美国专利申请的全部公开内容出于全部目的以引用方式并入本文中，如同完全阐述在本文中一样。

本申请还有关于2014年5月19日申请的第9,710,058号美国专利；2014年5月19日申请的第9,665,172号美国专利；2014年5月19日申请的第9,041,787号美国专利；2014年5月19日申请的第14/281,599号美国专利申请；以及2013年9月3日申请的第61/873,154号美国临时专利申请。上述文献中的每一个的全部公开内容出于全部目的以引用方式并入本文中，如同完全阐述在本文中一样。

背景技术

用于确定用户正在看的点的方法在本领域中是已知的。所述技术通常被称为眼睛追踪或视线检测技术。眼睛追踪系统通常发现具有两种主要形式。在一种形式中，传感器或另一眼睛追踪装置位于远离用户的眼睛的位置，例如，在计算机、显示器或类似装置中或计算机、显示器或类似装置上。

一种已知的眼睛追踪方法包含使用红外光和图像传感器。红外光被引向用户的瞳孔，并且光的反射由图像传感器捕捉。通过对反射点的分析，可计算用户的视线的方向。一种此类系统描述在被转让给瑞典拓比电子技术公司(Tobii Technology AB,Sweden)的第7,572,008号美国专利(“'008专利”)中。'008专利的全部公开内容出于全部目的以引用方式并入本文中，如同完全阐述在本文中一样。

先前也已描述了便携式或可佩戴眼睛追踪装置，并且这类便携式或可佩戴眼睛追踪装置可供商业购买。一种此类眼睛追踪系统描述在被转让给瑞典拓比电子技术公司的第2011/0279666号美国专利申请公开('666申请)中。'666申请的全部公开内容出于全部目的以引用方式并入本文中，如同完全阐述在本文中一样。'666申请描述一种可佩戴眼睛追踪装置，其中所述可佩戴眼睛追踪装置需要在场景中布置作为参考点的外部红外光源，以帮助确定用户的视线的方向。

现有的便携式眼睛追踪系统可在设备相对于佩戴者的头部移动时遭受严重性能降级。例如，眼镜可相对于佩戴者的鼻子滑动；此外，佩戴者可在戴着眼镜的过程中手动调整眼镜。针对需要校准的设计，眼镜相对于佩戴者的头部的此类移动可使校准变得无用，并使读数的准确性显著降级。作为另一实例，单相机便携式眼睛追踪系统可在某些条件下呈现显著降级的读数，这些条件包含佩戴者处于强光源中；暴露于直射阳光；或者单个相机的视野例如被睫毛阻挡。此外，此类单相机系统可能无法检测用户的视野的极端位置处的视线方向。

发明内容

在一个实施例中，提供一种便携式眼睛追踪器装置。便携式眼睛追踪器装置可包含镜框、至少一个光学器件固持构件、运动传感器和控制单元。镜框可以是适用于由用户佩戴的镜框。至少一个光学器件固持构件可包含：至少一个照明器，被配置成对用户的至少一只眼睛的至少一部分进行选择性照明；以及至少一个图像传感器，被配置成捕捉表征用户的至少一只眼睛的至少一部分的图像的图像数据。运动传感器可被配置成检测镜框的移动。控制单元可被配置成控制至少一个照明器以对用户的至少一只眼睛的至少一部分进行选择性照明，从图像传感器接收图像数据，并从运动传感器接收信息。

在另一实施例中，提供一种用于确定用户的视线方向的方法。所述方法可包含激活用户佩戴的镜框上的至少一个照明器以对用户的至少一只眼睛的至少一部分进行选择性照明。所述方法可还包含从镜框上的至少一个图像传感器接收图像数据，该图像数据表征用户的至少一只眼睛中的至少一部分的图像。所述方法可还包含从运动传感器接收信息，该运动传感器被配置成检测镜框的移动。所述方法可另外包含至少部分基于图像数据以及来自运动传感器的信息而确定用户的视线目标区域。

在另一实施例中，提供一种非暂时性机器可读介质，所述非暂时性机器可读介质上具有用于确定用户的视线方向的指令。所述指令可由处理器执行以激活用户佩戴的镜框上的至少一个照明器以对用户的至少一只眼睛的至少一部分进行选择性照明。所述指令也可执行以从镜框上的至少一个图像传感器接收图像数据，该图像数据表征用户的至少一只眼睛的至少一部分的图像。所述指令可进一步执行以从运动传感器接收信息，该运动传感器被配置成检测镜框的移动。所述指令可另外执行以至少部分基于图像数据以及来自运动传感器的信息而确定用户的视线目标区域。

附图说明

结合附图来描述本发明：

图1A示出根据本发明的一些实施例的眼睛追踪装置；

图1B示出根据本发明的其它实施例的替代眼睛追踪装置；

图2A示出根据本发明的一些实施例的眼睛追踪装置的后视图；

图2B示出根据本发明的其它实施例的眼睛追踪装置的后视图；

图3示出根据本发明的一些实施例的光学器件固持构件的第一视图；

图4示出根据本发明的一些实施例的光学器件固持构件的第二视图；

图5示出由本发明的各种实施例使用的一种可能方法；

图6是能够用于本发明的设备或系统的至少某一部分中或实施本发明的方法的至少某一部分的示范性计算机系统的框图；以及

图7示出由本发明的各种实施例使用的另一可能方法。

在附图中，类似部件和/或特征可具有相同附图标记。此外，相同类型的各种部件可通过在附图标记之后加上在类似部件和/或特征之间进行区分的字母来区分。如果在本说明书中仅使用第一数值附图标记，那么这种描述适用于具有相同的第一数值附图标记的类似部件和/或特征中的任一个，无论字母后缀为何。

具体实施方式

前文描述仅提供示范性实施例，并且不希望限制本公开的范围、适用性或配置。实际上，对示范性实施例的下文描述将向本领域的技术人员提供用于实施一个或更多个示范性实施例的充分描述。应理解，可对各种要素的功能和布置进行各种改变而不偏离随附权利要求书所阐述的本发明的精神和范围。例如，本文所论述的一个实施例的任何细节可存在于或可不存在于此实施例的所有可能变化形式中，或可存在于或可不存在于本文所论述的其它实施例的所有可能变化形式中。

在下文描述中给出了特定细节以便全面理解实施例。然而，本领域的技术人员应理解，可在不存在这些具体细节的情况下实践实施例。例如，本发明中的电路、系统、网络、过程和其它要素可被图示为框图形式的组成部分，以免因不必要的细节而使实施例变得晦涩难懂。在其它情形下，可在没有不必要的细节的情况下示出熟知的电路、过程、算法、结构和技术，以避免使实施例变得晦涩难懂。

并且，应注意个别实施例可被描述为一种过程，所述过程被描绘为流程图、数据流程图、结构图或框图。虽然某一流程图可将操作描述为依序过程，但许多操作可并行地或同时地执行。此外，操作的次序可被重新布置。过程可在其操作完成时终止，但可具有未描述或未包含在图中的额外步骤。此外，并非任何特别描述的过程中的所有操作都要出现在所有实施例中。过程可对应于方法、函数、进程、子例程、子程序等。当过程对应于函数时，其终止对应于函数返回到调用函数或主函数。

术语“机器可读介质”包含(但不限于)便携或固定的存储装置、光学存储装置、无线信道和/或能够存储、包含或携载指令和/或数据的各种其它介质。代码段或机器可执行指令可代表进程、函数、子程序、程序、例程、子例程、模块、软件包、类，或指令、数据结构或程序语句的任何组合。代码段可通过传递和/或接收信息、数据、变元、参数或存储器内容而耦接到另一代码段或硬件电路。信息、变元、参数、数据等可经由包含存储器共享、消息传递、令牌传递、网络传输等任何适当方式来传递、转发、或传输。

此外，可至少部分手动地或自动地实施本发明的实施例。可通过使用机器、硬件、软件、固件、中央件、微代码、硬件描述语言或其任何组合执行或至少辅助手动或自动实施方案。当以软件、固件、中央件或微代码实施时，用于执行必要任务的程序代码或代码段可存储在机器可读介质中。处理器可执行必要的任务。

现参照图1A，示出根据本发明的一个实施例的便携式眼睛追踪装置10。眼睛追踪装置10包含镜框12，其中镜框12具有玻璃透镜(或一对透镜)14，该玻璃透镜与镜框12耦接以看上去像是传统的一副眼镜或太阳眼镜。镜框12可包含中央件15，其中玻璃透镜14附接到中央件15，并且两条臂17(即，镜腿)从中央件15延伸。臂17可按传统的一副眼镜或太阳眼镜的方式配合在用户的耳朵上。

在一些实施例中，可为了舒适起见而设置鼻架16，并且臂架16帮助将装置10配合到用户的鼻子。实景相机18(其可捕捉静态图像和/或视频图像和/或其它图像数据)可在鼻架16上方设置在玻璃透镜14的中间或分离的玻璃透镜之间。麦克风20也可被放置成邻近于或接近于实景相机18。

控制单元22可位于一条或两条臂17内，在其前部、中间和/或端部中。本文所述的任何处理器功能可在控制单元22和/或与控制单元22通信的外部处理器处被执行。控制单元22可包含用于执行计算任务的元件，例如，印刷电路板(PCB)和其它电子器件，如将在本文中进一步详细地描述。控制单元22可还含有被设计成与外部计算装置通信的通信端口或部件。此通信端口或装置可支持任何一种或更多种形式的已知通信。例如，通信端口可包含通用串行总线(USB)端口、火线端口、高清晰度多媒体接口(HDMI)端口、以太网端口等。通信装置可包含Wi-Fi收发器、蓝牙收发器或任何其它近场或较远距离通信装置。在其它实施例中，通信端口或装置也可以是被专门设计成用于便携式眼睛追踪装置中的专属类型通信端口或装置。通信端口或装置可例如包含低功率无线通信构件。

图1B示出一种替代眼睛追踪装置10A，其中某些部件处于不同的位置。在此实施例中，控制单元22可位于臂17的侧面，并且包含HDMI接口19。

图2A示出如从后方所见的根据本发明的某些实施例的眼睛追踪装置10。出于说明的目的，已从附图中移除中央件12的一部分，以示出电路板50的布置，其中电路板50可含有例如柔性连接器52和麦克风20等电子部件。电路板50可还含有处理架构，例如，数字信号处理器、现场可编程门阵列和/或另一芯片上处理器系统。电路板50可通过常规紧固方式(例如，螺钉54、粘合剂和/或其它方式)而附接到中央件12。中央件12可包含装配在电路板50上的一个或更多个部分，以使得电路板50设置在中央件12内并且在正常使用期间不可见。

装置10也可包含两个光学器件固持构件70。在另一实施例中，可仅设置一个相接光学器件固持构件，其中所述一个相接光学器件固持构件提供图2A所示的两个光学器件固持构件70的功能性。每一光学器件固持构件70可包含一个或更多个图像传感器以及一个或更多个照明器，如下文将进一步解释。因此，光学器件固持构件70可包含部件，该部件对用户的眼睛或其某一子部分(例如，虹膜)进行照明并且捕捉包括用户的眼睛或其某一子部分上的照明的反射点的图像。图2B示出图1B的替代眼睛追踪装置10A。

图3和图4进一步详细地示出根据本发明的实施例的光学器件固持构件70。每一光学器件固持构件70可包含两个主要部件，盖72和柔性构件74。在如图所示通过光学器件固持构件70B正确地耦接在一起时，盖72可覆盖住柔性构件74。光学器件固持构件70A被示出为具有柔性构件74和盖72，其中柔性构件74和盖72被分开以便示出两个部件之间的相互作用。柔性构件74和盖72可被配置成使得柔性构件74卡扣到盖72中。作为另一实例，柔性构件74和盖72可使用粘合剂、螺钉和/或其它常规紧固方式而相互连接。

柔性构件74可包含柔性电路，并且上面安装了一个或更多个间隔开的照明器76和/或一个或更多个图像传感器78。在每一光学器件固持构件70中可使用任何数量的照明器76(例如，1个、2个、3个、4个、5个、6个等)和图像传感器(例如，1个、2个、3个、4个、5个、6个等)。如本领域的技术人员容易理解，照明器76可包含能够发射红外光的红外光照明器，但也可使用其它照明器，包含发射紫外光和/或可见光的照明器。图像传感器78可对照明器76发射的光以及可在使用区域中存在的可见光和其它光敏感。例如，当在户外使用装置10时，可存在处于可见光谱和不可见光谱中的环境光(例如，来自太阳的可见光和紫外光)，并且图像传感器78可被配置成检测并区别(例如，滤除或按其它方式补偿)不同波长的环境光。柔性构件74可包含电源(例如，电池、太阳电池等)，以按本领域的一般技术人员熟知的方式将电力提供到照明器76和图像传感器78。柔性构件74的上端可包含接触元件80，该接触元件80连接到电路板50，该电路板50被安装在中央件12上。柔性电路和电子器件的使用是众所周知的，并且本领域的技术人员将了解它们可在本发明中使用的方式。

在本发明的一些实施例中，盖72可由光学透明材料形成，以使得来自照明器76的光可基本上不受阻碍地穿过盖72。在一些实施例中，盖72可被构造成将照明器76发射的光传输到适当位置。盖72的一些部分或区域可例如被构造成透镜，该透镜使来自一个或多个照明器76(或甚至来自环境光源)的光发散以照射包含用户的眼睛的较大区域。盖72的一些部分或区域也可被构造成将光汇聚或聚焦在特定区域或位置上。盖72可由单件材料模制而成，其中材料的各个区域如上所述地被构造成透镜或按其它方式构造以透射光。在其它实施例中，盖可包含通过胶水、焊接、螺钉和/或其它常规紧固方式附在一起的多个部分，其中所述部分中的一些透射光，并且另外一些不透射光，或者不同部分以不同方式透射光。在一些实施例中，柔性构件74和/或盖72可被双重模制，并且包含滤光片，其中滤光片防止光从照明器76穿过盖72更直接地透射到图像传感器78。光学窗口可由盖72提供或按其它方式设置在每一图像传感器78处。

眼睛追踪装置10可从照明器76发射光，该照明器76对用户的至少一只眼睛的至少一部分进行照明。一个或更多个图像传感器78可接着捕捉包括如由照明器76照明的眼睛的至少部分的图像。此所捕捉的图像可经由柔性构件74而传输到处理装置(例如，控制单元22或另一处理器，可能在与镜框12分开的装置中)，其中可通过分析图像数据来确定用户的视线的方向。

为了确定用户的视线方向，可确定用户的一只眼睛或两只眼睛的角膜位置。可通过检测从照明器76发射到用户的眼睛上的光的闪烁或反射来分析用户的眼睛的角膜位置。为了获得展示用户的眼睛上的闪烁的高品质图像，可使用多个照明器76的各种组合来发射光。例如，一个照明器76可使用红外光来照明，而另一个照明器使用另一波长的光来照明。图像传感器78可接着在眼睛仅由环境光照明时、在眼睛逐个由每一照明器76照明时或在眼睛由两个(或更多个)照明器76同时照明时捕捉图像。在这些实施例中，图像传感器78可预备用户的眼睛的差分图像。

闪烁的检测可通过图像区别技术(即，比较第一图像与第二图像以检测改变)和/或标准图像分析算法来进行。例如，通过开启和关断照明器76并在每一状态中捕捉用户的眼睛的图像，可经由图像的比较来检测所得的闪烁。然而，在一些实施例中，可通过分析一个或更多个图像以识别与闪烁对应的强度区域来检测闪烁。一种闪烁检测方法概述在Yoshinobu Ebisawa于1998年8月4日公开的文章“改进的基于视频的眼睛视线检测方法(Improved Video-Based Eye-Gaze Detection Method)”中，其中所述文章出于全部目的以引用方式并入本文中，如同完全阐述在本文中一样。其它闪烁检测方法论述在名为“通过视线跟踪和自动收报机界面进行相关反馈的方法和系统(Method and system forrelevance feedback through gaze tracking and ticker interfaces)”的第6,577,329号美国专利以及名为“用于人与装置之间的通信的方法和设备(Method and apparatusfor communication between humans and devices)”的第8,292,433号美国专利中。前述专利的全部公开内容出于全部目的以引用方式并入本文中，如同完全阐述在本文中一样。本领域的技术人员将了解从反射自用户的眼睛的光确定视线方向的许多方式，并且本发明不限于上文所引用的实例。

在本发明的一些实施例中，给定数量的红外光照明器76可用于对用户的每只眼睛进行照明。如本文所论述，在其它实施例中，可使用其它数量和/或类型的照明器76。在这些实施例中，将预期对应于每一照明器76的一次或更多次闪烁。因为也可存在由环境光照(例如，射灯或阳光等)引起的其它闪烁，所以可使用不同的技术来识别哪些闪烁对应于照明器76以及哪些闪烁不对应于照明器76。在一些实施例中，在照明器76并未开启的情况下拍摄的用户的眼睛的图像可与在照明器76开启的情况下拍摄的图像相比以滤除由环境光导致的闪烁。然而，在其它实施例中，可使用闪烁的尺寸、形状、预期强度和预期位置来确定哪些闪烁对应于哪些照明器。

在其它实施例中，波长滤光片可结合图像传感器78使用以滤除并不对应于照明器76发射的波长的波长的光。例如，在照明器76发射红外光的情况下，可使用仅使红外光穿过它到达图像传感器78的滤光片。以此方式，图像传感器78可仅检测到由照明器76发射的光引起的闪烁。相反地，在传输环境光时，可使用将照明器76发射的红外光滤除的滤光片。这些滤光片可相对于各种人造环境光源而良好工作。在一些实施例中，透镜14也可被配置成阻断环境红外光或某一其它波长的光。然而，在直射阳光(其包含包括红外光与紫外光两者的光谱)的状况下，滤光片可能无法充分阻断所有环境光并仅使照明器76发射的光穿过。因此，在照明器点亮时，由环境光引起的闪烁可能无法与由照明器76发射的光引起的闪烁区别开。

对于可佩戴眼睛追踪器装置10的用户的环境光条件可随着时间急剧改变。例如，如果用户正面对太阳，那么其眼睛可经受阳光的大量照射，而如果用户正背离太阳，那么其眼睛可显著较少地受到照射。类似地，如果用户处于室内环境中，那么照明可基于各种光源的接近性而显著变化。例如，如果用户正站立在顶灯正下方，那么其面部和眼睛可相比其站立在顶灯附近的情况显著更多地受到照射。此外，在一些实施例中，取决于光源的布置和类型，环境光的水平在被追踪的两只眼睛之间可以是不同的。例如，用户所在的位置可能使得其左侧处于直射阳光下，而其右侧处于阴影中。

如本文所论述，可以通过使用内置式照明器76而补偿环境光水平的一些改变。还可以通过使用处于可在环境光照环境中可用的光的频率范围外的光来抵消环境光变化的影响。例如，在室内环境中，可使用紫外光照明器76来用室内光照中并不存在或以较低水平存在的紫外光来照射用户的眼睛。类似地，在一些实施例中，可使用红外光照明器76，其前提是红外光通常在室内环境中以低水平存在。在一些实施例中，可使用能够以一定范围的波长发射光的照明器76。在这些实施例中，装置10可被编程为动态地分析环境光的光谱，并选择将由照明器76发射的波长，其中所述波长高于或低于所检测的光谱或按其它方式局限于所检测的光谱的某一部分，在此状况下，传感器78也可由装置10动态地调整。或者，可设置调谐到不同波长的不同类型的一个以上传感器78。

在另一实施例中，可使用在水中具有高吸收水平的光的波长，例如，940nm。此概念论述在第12192370.0号欧洲专利申请中，所述欧洲专利申请的全部公开内容出于全部目的以引用方式并入本文中，如同完全阐述在本文中一样。在此波长下，因为进入眼睛的光的大部分将被吸收，所以眼睛的暗瞳孔效应可处于其最大程度。此外，在此波长下，大气中的环境光水平相对低。此外，环境光可通过如下方式来解决：通过提供具有适当材料或配置的玻璃透镜14以阻断对传感器78可见的波长下的光。在功能上，这样做提高了信号质量，因为光被阻断穿过玻璃透镜14。

在一些实施例中，可使用差分光照应用。例如，图像传感器78可每秒60次捕捉用户的眼睛的图像，并且照明器76可被配置成每秒60次改变状态(开启/关断)以与传感器78的曝光形成异相。在此情形下，图像数据每隔一帧表示如由照明器76照明的用户的眼睛，所述每隔一帧之外的帧表示如由环境光照明的用户的眼睛。当分析图像数据时，可使用图像处理，以确定两个邻近帧之间的差异并且因此将由来自照明器76的反射导致的闪烁与由来自环境光的反射导致的闪烁区别开。在一些实施例中，可例如基于佩戴者周围的环境光的水平来动态地调整照明器76的强度或曝光时间。例如，在存在较多环境光时，可应用较高水平的照明或较长曝光时间，或如果传感器优选使用来自环境光的闪烁，那么可应用较低水平的照明或较短曝光时间。此外，可成组地控制照明器76以允许图像传感器78和图像处理算法检测并补偿来自环境光的噪声。

环境光可用于检测所捕捉的图像数据中的对比度以确定用户的瞳孔和/或虹膜的位置。此信息可与基于与照明器76相关联的闪烁的信息一起使用以确定用户正在看的方向。从照明器76发射的照明的脉冲长度和强度以及图像传感器78的曝光时间的不同设定可用于补偿环境光的亮度，并且可特别在黑暗或明亮环境光条件中提高性能。

例如，当存在高水平的环境光时，可停用照明器76，并且可基于闪烁或因环境光而检测到的其它图像数据来对用户的瞳孔的位置进行三角测量。因此，可分析图像数据，以仅使用环境光来确定角膜的位置。在一些状况下，照明器76可用于辅助对比度检测，其中与图像传感器78作出的图像捕捉相协调的照明的短闪光可足以检测用户的瞳孔的位置。短强烈照明脉冲与较短曝光时间的使用可帮助避免例如过度曝光、运动模糊和滚动快门效应等影响。例如，在购物研究情形下，移动式眼睛追踪器用户可在扫描期望产品的货架的同时快速地四处移动其头部。类似地，在环境中存在过少环境光时，照明器76可用于帮助产生光以使提高眼睛的对比度变得可能。照明器76可因此被配置成按较长曝光时间发射较低强度的较长脉冲，和/或恒定地发射低强度光。在本发明的一个实施例中，可同时激活所有照明器76以使得所发射的光在角膜上的多个反射可由传感器78捕捉。装置10可接着使用所测量的瞳孔位置以确定视线方向、取向数据、角膜位置和瞳孔尺寸中的一个或更多个。

在一些实施例中，可在受控光照条件下对多个照明器76中的至少一个、多个图像传感器78中的至少一个或控制单元22的算法进行校准以确定瞳孔和/或角膜的位置。在又一些其它实施例中，可单独基于环境光来追踪虹膜的位置；例如，可识别虹膜的线以确定眼睛的取向。可基于许多条件来激活仅依赖于环境光的各种模式。例如，可在电池电力低时激活此模式以便通过停用照明器76来节省电力。此外，前述模式可在环境光照达到基于闪烁的追踪的准确性至少与另一可用模式的准确性相当的水平时被激活。本领域的技术人员应了解，许多不同配置可用于获得图像数据，并且本发明不限于上文所引用的实例。本文中将进一步论述其它的校准方法。

可通过确保闪烁是最佳尺寸来将便携式眼睛追踪器装置10的准确性最大化。过小的闪烁可能难以检测并因此降低准确性。另一方面，过大的闪烁可能难以准确地定位，并且可能因此由于与瞳孔检测形成干扰或其它情形而同样降低准确性。闪烁的尺寸可受照明器76发射的光的强度影响。闪烁的尺寸可进一步受图像传感器78的敏感度设定、孔径和/或曝光时间影响。可调整图像传感器78的设定以补偿环境光，并且可转而调整照明器76的强度以获得最佳闪烁尺寸。此外，可对照明器76的强度与图像传感器78的设定作出平衡，以获得闪烁的最佳对比度水平，以使得闪烁可容易被检测到。本领域的技术人员应了解，可按许多方式将闪烁的尺寸、对比度和其它特性最佳化，并且本发明不限于上文所引用的实例。

可通过分析由图像传感器78捕捉的图像或使用外部光传感器或通过上述两者的组合来确定每一眼睛的光条件。此分析的结果可用于实时控制对于每一眼睛的眼睛追踪器设定。在本发明的一些实施例中，相关光水平可由嵌入在便携式眼睛追踪器装置10中的光传感器确定。在其它实施例中，可使用一个或更多个实景相机18来确定光水平。通过基于每一眼睛的当前光条件来实时地单独控制照明器，相比设定仅基于一只眼睛或基于双眼的平均值的情形，可提高眼睛追踪器装置10的整体性能。

在已在由图像传感器78捕捉的图像数据中识别对应于照明器76的闪烁之后，使用已知图像处理技术来确定这些闪烁相对于用户的眼睛的位置。一旦确定闪烁位置，可分析所述闪烁位置以确定用户的角膜的位置。在一些实施例中，可将闪烁的位置映射到人眼的三维模型上。例如，可将闪烁映射到角膜上。在一些实施例中，可假设角膜是完美球形的；闪烁的位置可用于确定角膜相对于瞳孔的位置。角膜相对于瞳孔的此位置可转而用于确定视线的方向并因此确定眼睛的光轴。用于基于闪烁而确定视线方向的各种方式在本领域中是已知的，并且本领域的技术人员应了解，本发明不限于上文所引述的实例。

在本发明的一些实施例中，设置用于捕捉每一眼睛的图像的一个以上图像传感器78。在对每一眼睛使用两个图像传感器78的情况下，这可被称为“立体模式”。通过从多个视点捕捉眼睛的图像，可由例如控制单元22等处理器或其它处理器确定额外信息，例如，眼睛与每一图像传感器78相距的距离。此外，通过操作一个以上图像传感器78，系统中可存在一定水平的冗余，因此，即使一个或更多个图像传感器78停止发挥作用，系统也可仍然发挥作用。

任何数量的图像传感器和/或图像传感器的配置可与多个照明器76组合，以按各种配置操作以将系统的可靠性最佳化。例如，装置10可被配置成尝试照明器76的各种配置(例如，对于各种照明模式/顺序都经历一遍)，以确定照明器76的哪一配置在每一图像传感器78处产生最佳图像。照明器76可接着被配置成按一定频率改变状态(开启/关断)，以使得每一图像传感器78在最佳照明条件下拍摄图片。例如，如果针对每一眼睛具有三个图像传感器78并且每一图像传感器78每秒捕捉30个图像，那么照明器76可被配置成每秒90次改变状态，以使得每一图像传感器78可在专用的照明设定中捕捉图像。这可进一步用于对视线数据提供增加的帧率。此外，对一只眼睛使用一个以上图像传感器78减少了在装置10与用户之间进行校准的必要性，即，由于通过具有一个以上图像传感器78而收集的额外数据，在一些情形下可以在无需用户校准的情况下操作装置10。

一个以上图像传感器78也可允许补偿装置10的物理移动。例如，装置10在被配置为一副眼镜时可沿着用户的鼻子向下滑动，并且用户可因而将其向上推回。装置10也可在用户的头部的迅速移动之后或出于任何其它原因而相对于用户的头部移动。装置10相对于用户的头部的此类型的移动可能降低或消除从先前校准获得的任何准确性。使用多个图像传感器78可提高准确性，而不需要任何重新校准。例如，当对于每一眼睛使用两个图像传感器78时，从两个视角检测每一闪烁，并且即使在装置10已在任何初始校准之后相对于用户的头部移动的状况下，也可以按较大准确性估计角膜的位置。

在本发明的一些实施例中，装置10还包含一个或更多个运动传感器或定位装置25。运动传感器或定位装置25可包含以下各者中的一个或多个：陀螺仪；加速度计；罗盘、GPS或其它卫星接收器；GLONASS罗盘；或任何其它位置、定位或方向传感器。运动传感器或定位装置25可能够追踪装置10自身的位置和/或取向，并进而追踪用户的头部的位置或定位。这可允许装置10考虑头部移动，并基于关于头部移动的信息来调整视线方向数据，以提供对视线方向的较好估计。基于用户的眼睛的取向而确定的视线方向可以是相对于用户的头部的取向。关于基于用户的眼睛的视线方向的信息可因此用关于用户的头部的取向的信息扩充。短时间内，可使用加速度计或陀螺仪来执行此扩充。然而，如果这些装置用于随着时间确定取向，那么这些装置的不准确性可导致漂移。在一些实施例中，可进一步使用来自罗盘的信息来扩充关于基于用户的眼睛的视线方向的信息和/或关于用户的头部的取向的信息，其中罗盘提供相对于绝对参考点的取向信息。此外，当进行视线数据的凝视筛选时，关于装置的取向的改变的信息可以是有帮助的。假设周围的对象保持相对固定，如果装置取向数据可用，那么可较容易确定佩戴所述装置的用户在移动其头部的同时凝视固定对象。

在其它实施例中，运动传感器或定位装置25可嵌入在与装置10或装置10的任何部分连接的设备中。例如，运动传感器或定位装置25可无线地或通过电缆而与装置10或装置10的任何部分连接。在一些实施例中，可在用户背着的背包中携带此运动传感器或定位装置25，或由用户按其它方式携带。当运动传感器或定位装置25嵌入在装置10中时，其可能够提供关于用户的视线的位置的较准确的信息。许多不同系统可提供或考量所需延迟和准确性。明确地说，陀螺仪和罗盘如果嵌入在装置10自身中，那么它们可提供较准确的信息。

此外，来自运动传感器或定位装置25的信息可用于使来自实景相机18的图像数据稳定化。例如，实景相机18可捕捉接近于用户看到的视图的图像数据。来自运动传感器或定位装置25的信息可用于使此图像数据稳定化。关于用户的视线的信息可进一步用于裁剪或按其它方式调整此图像数据以较准确地表示用户的视线方向。图像稳定化或补偿可包含视频数据的线偏移。有许多熟知的图像稳定化方法涉及陀螺仪或加速度计的使用，并且本领域的技术人员应理解这些方法可如何与本发明的实施例组合。此外，基于时间的补偿可应用到图像数据以考量实景相机18中固有的图像捕捉延迟。明确地说，由于图像捕捉延迟，在获得视线点时，由视频相机、滚动快门相机和CCD型相机捕捉的图像可并不示出正确视图。取决于实景相机18的类型和/或视线点在图像中定位在何处，时间补偿可以不同。

在一些实施例中，可随着数据被捕捉而在装置10或外部装置上实时执行图像处理和稳定化。在其它实施例中，图像数据可仅存储在装置10上或传送到外部装置(未示出)，并且可在之后基于所捕捉的数据来执行图像稳定化或其它处理。所采取的做法可取决于在装置10中可供使用的处理能力，以及可从机载或按其它方式连接的电源获得的能量。明确地说，某些类型的处理可需要大量计算能力，而大量计算能力转而消耗大量电池容量。在一些实施例中，装置10可被配置成将电池容量最佳化或针对实时处理来最佳化。

此外，可分析从实景相机18捕捉的图像或视频中的元素，以确定用户的头部的取向和用户的头部的移动速度。通过分析连续图像或视频中的元素的相对位置，可对视线方向的计算进行调整以补偿移动。在其它实施例中，图像传感器78和/或实景相机18可利用滚动快门以进一步提高确定用户的头部的取向的准确性。通过结合多行图像传感器78和实景相机18的读出信息来确定用户的头部的取向和移动，所确定的视线方向可按一种方式覆盖在实景相机18捕捉的图像上，以使得视线方向可被校正以反映计算视线方向时出现在用户的视野中的实际场景。

例如，装置10可用从传感器78导出的视线数据校准从实景相机18捕捉的数据，以便关联于从实景相机18捕捉的数据而较准确地反映在特定时间用户何时正看向何处。在本发明的实施例中，可采用此做法，其中实景相机18捕捉的图像数据已由于例如滚动快门失真或振动而失真。其它实施例包含考虑装置的瞬时移动数据，以及因此通过利用运动传感器和/或其它传感器而进行校准。

可分析来自实景相机18的视频以识别用户的视野内的对象。通过识别对象以及对象与用户相距的距离，可确定关于视线的方向和目标的较准确的信息。计算机视觉算法可用于从图像数据检测对象。在一些实施例中，多个实景相机18可用于提供立体视觉和较准确的计算机视觉算法。如同图像稳定化和其它处理，可取决于装置10上可用的计算能力和电力容量而实时地或作为后处理执行对象识别。作为替代或附加，实景相机18可以是测量到佩戴装置10的人的视野内的对象的距离的深度相机。深度相机也可确定对象的强度水平，因此也提供灰度图像。

此外，图像分析可用于基于在用户的视野内检测的对象的标识而确定用户的位置。换句话说，用户的视野内的对象(例如，地标或已知与给定地点或地点类型相关联的对象)可揭示用户的位置。例如，对象或其它标志(例如，标牌、产品的类型、产品的价格标签等)可指示用户出现在特定零售店或至少一种类型的零售店内。作为另一实例，实景相机18或连接到装置10的另一扫描装置可被配置成扫描显现在用户的视野内的条形码，这可揭示用户出现在零售店或其它已知位置或已知类型的位置内。此位置信息可与来自位置传感器和运动传感器的信息相结合以确定用户到达其当前位置和/或在此位置周围游览所采取的路径。当用户在例如正在显示计算机游戏的电视机或显示器附近时，游戏可能够处理由装置10提供的眼睛追踪输入；图像分析可用于确定用户的视线相对于电视机或显示器的方向。

此外，对来自实景相机18的图像的图像分析可用于同步定位和建图(SLAM)。SLAM是建立位置的地图而同时将装置的位置描绘在此地图内的过程。SLAM由机器人和类似设施频繁使用，并且可包含用于捕捉机器人的环境的图像以进行建图的图像传感器。根据本发明的实施例的装置也可与SLAM一起使用。

当运动传感器用于检测运动时，当它们被长时间依赖时，数据内可存在显著的漂移。因此，来自这些运动传感器的信息可通过基于从实景相机18检测的对象而确定的位置信息来校正。使用实景相机18而检测的对象可包含特性结构或对象以及条形码。在其它实施例中，经由麦克风20而检测的声音信息可用于确定位置。例如，超声发射器可布置在特定位置(例如，零售店)周围的各个位置处，并且麦克风20可用于确定最近的发射器。或者，超声源可安装在装置10上，并且麦克风用于确定在超声源的方向上到最近对象的距离。作为附加或替代，麦克风20可用于检测其它环境声音，并且此信息可至少部分用于确定用户所在的位置或位置的类型。在一些实施例中，RFID标签读取器可包含在装置10中，以使得RFID标签可用于确定用户的位置。作为额外实例，Wi-Fi信号和/或其它通信信号可由装置10机载的适当收发器和逻辑接收并进行三角测量，以确定用户的位置。本领域的技术人员应了解，本发明不限于上文所引用的实例，并且许多位置识别方式可用于合计或确定关于佩戴者的位置信息。

在一些实施例中，一个或更多个额外装置可嵌入在装置10中或与装置10耦接。例如，实景相机18可用于记录用户可在其中移动和/或看着的区域中的图像。对于罗盘式特征可使用陀螺仪以识别装置10正朝着哪一方向并且因此用户正看着哪一方向。装置中的图像传感器78可接着基于头部正朝着的方向而识别用户的视线点的角度和距离。来自这些多个传感器的信息结合起来可用于计算表示佩戴者的视线的向量。此向量可在实景相机18的视图中变换且形象化。在一些实施例中，向量可用于基于关于用户的视线已聚焦在何处的信息而提供热图。装置10上所设置的显示器30可允许用户查看由装置10提供的此视觉数据或其它视觉数据。仅举例来说，此显示器30可包含LCD屏幕、LED屏幕、棱镜投影仪和/或其它显示技术。

在本发明的一些实施例中，视线向量可用于沿着视线向量从用户的视点模拟视角。如上所述，视线向量可用于使来自附接到装置10的实景相机18的图像稳定化。然而，实景相机18可能无法捕捉到足够质量的视频或可能不具有以足够质量传输视频的能力。因此，视线向量可与来自其它相机(例如，固定相机或追踪相机)的视频数据一起使用以形成复合视图，该复合视图模仿来自实景相机18的视图。类似地，可按总览视角显示一个或更多个用户的视线向量。本发明的此应用可尤其与体育赛事相关。例如，在足球比赛中，个别运动员的视线向量可与一些或全部其它运动员的视线向量一起被显示。此外，可针对带球的运动员显示实景相机视图或近似实景相机视图的画中画。可在大型协同警方行动中使用类似应用。本领域的技术人员应了解，本发明不限于上文所引用的实例，并且不同体育运动和其它情形下的应用可能是有用的。

视线向量可进一步按许多方式将来自一个或更多个实景相机18的视频数据最佳化。在本发明的一个实施例中，视线向量可用于确定实景相机18的焦点设定和光设定。例如，实景相机18可聚焦在视线向量的目标上。此外，可针对所确定的视线方向的目标区域而将实景相机18的光照水平最佳化。在计算机视觉用于检测由实景相机18捕捉的对象的本发明的实施例中，可确定关于对象与用户相距的距离的信息，并且将该信息用于进一步改进实景相机18的曝光或光照设定。在一些实施例中，可在表示用户的视野的至少一部分的图像的图像数据内确定视线目标区域。在这些实施例中的一些中，视线目标区域可包括来自实景相机的图像中的图像数据的不到5％、不到10％、不到15％、不到20％、不到25％、不到30％、不到35％、不到40％、不到45％或不到50％。控制单元22可接着控制实景相机以基于视线目标区域和/或在视线目标区域内调整焦点或光敏感度中的至少一个。

然而，在其它实施例中，实景相机18的调整可能不是必须的。例如，当用户在明亮的日间光线下驾驶汽车时，实景相机18可透过挡风玻璃而捕捉汽车的仪表盘和视图。透过挡风玻璃所见的对象可按远高于仪表盘的水平被照明，并且自然更远离实景相机18。使用标准自动对焦和光检测，实景相机18可基于所检测的图像中的平均亮度来调整并在相机视图的中央聚焦到对象。然而，当使用视线向量时，图像可在用户看着仪表盘时聚焦在仪表盘上，并且在用户看着道路时聚焦在道路上。类似地，可调整所捕捉的视频的光照水平以在用户看着仪表盘时适于聚焦在仪表盘，并在用户看着道路时适于聚焦在道路。

在一些实施例中，视线数据可用于优先考虑图像的区域以获得较多细节。基于所使用的视频压缩，可将优先权给予由视线指向的图像的区域。在其它实施例中，可将视频流划分为两个或更多个传输流。一个低质量传输流可包含实景相机的整个视野，而高质量传输流可包含视线向量的目标周围的小区域。在另一实施例中，可使用视频传输流的矩阵，并且可基于视线向量的位置来动态地调整其比特率。本领域的技术人员应了解，可按许多不同方式调整视频质量，并且本发明不限于上文所引用的实例。

在其它实施例中，装置10可包含用于对用户发出声音的扬声器。扬声器可接近于用户的耳朵而设置在装置10上。

在处理器用于检测由实景相机18捕捉的图像中的对象的实施例中，视线向量可用于仅选择视线目标周围的图像数据的某一子集以进行处理，并因此减少处理工作的量来提高反馈时间、电池时间等。

本发明的实施例可使用动作触发器，其中动作触发器导致动作由装置10、装置10的某一子部件或与装置10连接的系统(例如，计算机、平板电脑、电视机和/或游戏机)执行。根据一些实施例，动作触发器可由装置10按许多可能方式实现，包含：

·由传感器78捕捉并由装置10或与装置10连接的系统处理的图像，导致检测眼睛存在、眼睛不存在、眨眼、凝视、扫视、用户的视线的方向或用户视线按预定模式的移动。

·由实景相机18捕捉并由装置10或与装置10连接的系统处理的图像，导致使用计算机视觉算法检测光的改变、所识别的对象、所识别的模式和所识别的姿势。

·基于开关或按钮的触发器。例如，装置10或另一装置上的物理按钮。

·基于音频的触发器。例如，由用户讲出并由麦克风20检测的声音、单词或命令。

·加速度计或陀螺仪检测的动作触发器，例如，点头或另一头部移动。

·上文所述的动作的组合。

本发明的实施例包含校准技术，因此，外部对象可用于帮助装置10的校准过程。仅举例来说，可在此校准期间调整照明器76、图像传感器78和/或控制单元22的算法。在一些实施例中，例如印刷介质、电视机或其它显示器等外部装置可含有可容易由装置10识别的特征。在一些实施例中，特征可以是特定帧、QR代码、不可见特征(即，红外特征)和/或其它可见特征。特征可含有识别码，其中所述识别码在由装置10辨识时允许装置10通过例如因特网、蓝牙、wi-fi等通信协议或任何其它通信协议而连接到外部装置。外部装置可接着进入校准模式，因此用于校准的图标被显示在屏幕上，并且校准指令经由扬声器而表示或发出。具体校准过程是众所周知的，但通常包含图标在用户注视的屏幕上的有序显示，并且装置10确定相对于每一所显示的图标的视线方向。

举例来说，一些实施例可执行校准方法，因此当装置10由用户佩戴时，图案放置在用户之前，以使得图案处于实景相机18的视野内。实景相机18记录图案的图像，而图像传感器78捕捉用户的眼睛的图像。处理装置分析图案并确定图案的已知组成部分。处理装置利用图像传感器78捕捉的图像而分析用户的视线方向，并且将视线方向与图案的已知组成部分匹配。因为图案的组成部分是已知的，所以处理装置可确定该图案的组成部分的位置与用户的所确定的视线方向之间的偏移。通过知晓此偏移，装置针对特定用户进行校准，并且可在确定用户相对于其它对象的视线方向时考虑所述偏移。

此外，装置10可在算法或数学模型中使用一类信息，这类信息是从分析用户的视线方向与图案的已知组成部分之间的关系而获得的。举例来说，如本领域的技术人员容易理解的是，装置10可设定一参数值，该参数值用于为确定视线方向所使用的算法或眼睛模型。

在一些实施例中，可还提供或替代地提供另一校准方法。参照图7，提供方法700，其中在步骤710中，在用户佩戴的可佩戴装置的显示器上在虚拟现实环境中显示虚拟对象。例如，在虚拟游戏环境中，可呈现游戏内的对象，例如，准星。也可使用任何其它可互动对象，其中可事先预期用户将在某点将其注意力和/或动作聚焦在此对象上。

在步骤720中，确定用户是否正与虚拟对象互动。在各种实施例中，这可包含确定用户是否已与虚拟空间中的虚拟对象互动，或是否已按其它方式指示相关联的处理系统它们需要与虚拟对象互动。仅举例来说，此互动可包含：在与处理系统相关联的输入装置处接收的输入；与虚拟对象的互动，其中所述互动在虚拟空间中移动对象或按其它方式导致虚拟对象的某种改变(即，拾取对象、激活对象和/或改变对象的形状或其它特性)；和/或用户的视线方向持续预定时间量地保持在虚拟对象上保持。如果用户不与虚拟对象互动，那么进行间歇的和/或连续的重新检查，直到确定用户与对象互动为止。

一旦用户与对象互动，那么在步骤730中，可用可佩戴装置的眼睛追踪装置确定用户相对于虚拟对象的视线方向。在一些实施例中，虚拟对象可包含鲜明特征，例如，对象上的感兴趣点或预期相对于对象的其它特征突显的任何其它特征。在这些情形下，确定用户的视线方向可包含确定用户相对于此鲜明特征的视线方向。在步骤740中，可至少部分基于相对于对象和/或鲜明特征的视线方向而校准眼睛追踪装置。

在一些实施例中，当装置10用于零售或消费者购买环境(例如，超市)的情形下时，可提供额外功能性。装置可预加载例如个人校准数据等信息以与用户的概况相匹配。一旦装置10由用户佩戴，那么其从低功率模式改变到正常功率模式并进入操作模式。装置10可允许用户通过对虚拟购物车添加和移除物品而互动性地管理其购物账单。例如，当用户将物品放置到其购物车中时，用户可看物品上的条形码并将其手指从右到左划过条形码以指示该物品应当被添加到清单。装置10可辨识姿势并将物品添加到装置10上或与装置10通信的远程位置处的虚拟列表。可由用户例如通过以下方式来控制此虚拟列表：从左向右划过条形码来移除物品，从上到下划过条形码以获得关于物品的其它信息，以及注视购物车并触碰预定位置以收听关于清单的反馈或其它信息。在从商店结账时，虚拟列表可由收银员或自动柜员机检索，并且用户可直接对购物车中的物品进行支付。在另一实施例中，用户可直接离开商店，并在离开商店时，清单的金额可从例如信用卡或账户等货币源扣除。

在另一实施例中，装置10可对包含由用户读取的文本的图像数据执行光学字符辨识(OCR)。例如，实景相机18可记录如由用户的视线方向确定的由用户读取的文本的图像。装置10或与装置10通信的计算装置可对文本的图像执行OCR以确定构成文本的单词。OCR技术在本领域中是众所周知的。一旦已使用OCR技术对文本进行了分析，则文本便可发送到大声读出文本的文本转语音功能，转化为实时呈现给用户的结果，和/或保存为可容易由计算装置操纵和理解的文本数据或字串。文本可被保存以供用户检索或由计算装置或服务利用以理解用户的习惯。例如，文本可向用户指示特别需要的产品或服务。在实施例中，文本数据可用于定制向用户显示的广告等。

在本发明的实施例中，装置10可考虑例如条形码或标准对象的大小等已知信息。例如，商店中的产品可包含许多条形码，一个较大条形码含有产品标识或SKU，并且一个较小条形码含有盒中的特定物品的序列号。装置10可被配置成在形成购物列表时引导图像传感器78仅读取较大条形码。这可基于视线聚焦距离，以达到较好的准确性。此外，例如对象辨识库的许多软件解决方案需要标准大小的视频。因此，装置10可仅捕捉所需大小的图像或视频，或裁剪所捕捉的图像或视频，以使得它们呈所需大小。

图5示出本发明的一种可能方法500的框图，该方法500用于使用如本文所述的可佩戴镜框来确定用户的视线方向。在框510中，如上文所论述，可在开始使用之前校准装置10。在框520中，可由控制单元22获取例如来自运动传感器或定位装置25的非图像信息。也可如本文所述接收其它类型的非图像信息(例如，来自麦克风20的信息)。在框530中，可由控制单元22接收来自实景相机18的图像信息。

在框540中，控制单元22可根据在步骤510中的校准期间建立的设定来激活照明器76。在框550中，可由控制单元22从图像传感器78接收图像数据。在框560中，控制单元22可从其已接收的信息确定是否能够如上所述确定视线方向。如果不能，那么在框570中，可如本文所述调整装置10的照明器76、图像传感器78和/或其它部件，并且接着方法500返回到框520。在一些实施例中，如果无法确定视线方向，那么方法500可返回到另一步骤，例如，框530或框540。如果控制单元22可从其已接收的信息确定视线方向，那么在框580中，确定视线方向。方法500可按规则或不规则间隔重复以视需要重新确定视线方向。

图6是图示可实施本发明的实施例的示范性计算机系统600的框图。此实例图示计算机系统600，其中计算机系统600例如可完全地、部分地或经过各种修改而用于提供和/或控制例如上文所论述的控制单元22、照明器76、图像传感器78和/或本发明的其它部件的功能。例如，控制单元22的各种功能可由计算机系统600控制，这些功能仅举例来说包含控制照明器76，从图像传感器78接收图像，处理来自图像传感器78的数据等。

计算机系统600被示出为包括可经由总线690而电耦接的硬件元件。硬件元件可包含一个或更多个中央处理单元610、一个或更多个输入装置620(例如，鼠标、键盘、手持控制器等)和一个或更多个输出装置630(例如，显示装置、打印机等)。计算机系统600可还包含一个或更多个存储装置640。举例来说，存储装置640可以是盘驱动器、光学存储装置、固态存储装置，例如，随机存取存储器(RAM)和/或只读存储器(ROM)，它们可以是可编程的、可闪速更新的，等等。

计算机系统600可另外包含计算机可读存储介质读取器650、通信单元660(例如，调制解调器、网卡(无线或有线的)、红外线通信装置、BluetoothTM装置、蜂窝式通信装置等)以及工作存储器680，其中工作存储器680可包含如上所述的RAM和ROM装置。在一些实施例中，计算机系统600可还包含处理加速单元670，其中处理加速单元670可包含数字信号处理器、专用处理器等。

计算机可读存储介质读取器650可还连接到计算机可读存储介质，所述计算机可读存储介质共同地(并且，可选择地与存储装置640结合地)全面表示用于暂时和/或较永久地包含计算机可读信息的远程、本地、固定和/或可移除的存储装置加上存储介质。通信系统660可允许与网络、系统、计算机和/或上文所述的其它部件交换数据。

计算机系统600可还包含被示出为当前位于工作存储器680内的软件元件，包含操作系统684和/或其它代码688。应了解，计算机系统600的替代实施例可具有相对于上文所述的内容的各种变化。例如，也可使用定制硬件，和/或可将特定元件实施在硬件、软件(包含便携式软件，例如，小程序等)中或实施在硬件和软件两者中。此外，也可实现与例如网络输入/输出和数据获取装置等其它计算装置的连接。

计算机系统600的软件可包含用于实施如本文所述的架构的各种元件的任一或全部功能的代码688。例如，存储在例如系统600等计算机系统上和/或由其执行的软件可提供例如上文所论述的控制单元22、照明器76、图像传感器78和/或本发明的其它部件的功能。上文已论述可由软件在这些部件中的一些上实施的方法。

已为了清楚起见和便于理解而详细描述本发明。然而，应了解，可在随附权利要求书的范围内实践某些改变和修改。

Claims (23)

1.一种用于校准视线检测系统的方法，其中所述方法包括：

在用户佩戴的可佩戴装置的显示器上在虚拟现实环境中显示作为交互式虚拟体验一部分的多个多用途虚拟对象；

至少部分地基于确定在所述交互式虚拟体验期间预期所述用户与所述多个多用途虚拟对象中的一个多用途虚拟对象互动来选择所述多用途虚拟对象；

在所述交互式虚拟体验期间检测所述用户与所述多用途虚拟对象的用户互动；

确定所述用户与所述多用途虚拟对象的所述用户互动导致所述多用途虚拟对象的改变；

响应于确定所述用户与所述多用途虚拟对象的所述用户互动导致所述多用途虚拟对象的改变，在所述交互式虚拟体验期间启动所述视线检测系统的校准过程，所述校准过程包括：

用所述可佩戴装置的所述视线检测系统确定所述用户相对于所述多用途虚拟对象的视线方向；以及

至少部分基于所述视线方向而校准所述视线检测系统。

2.根据权利要求1所述的用于校准视线检测系统的方法，其中：

所述方法还包括接收输入；并且

校准所述视线检测系统响应于所述输入而发生。

3.根据权利要求2所述的用于校准视线检测系统的方法，其中所述输入包括：

来自手持控制器的输入。

4.根据权利要求2所述的用于校准视线检测系统的方法，其中所述输入包括：

所述用户与所述多用途虚拟对象的互动，其中所述互动在所述虚拟现实环境中将所述多用途虚拟对象移动得较接近所述用户的虚拟主体的特定部分。

5.根据权利要求2所述的用于校准视线检测系统的方法，其中所述输入包括：

所述视线方向持续预定时间量地保持一致。

6.根据权利要求1所述的用于校准视线检测系统的方法，其中：

所述多用途虚拟对象包括鲜明特征；并且

确定所述用户相对于所述多用途虚拟对象的所述视线方向包括确定所述用户相对于所述鲜明特征的所述视线方向。

7.根据权利要求1所述的用于校准视线检测系统的方法，其中确定所述用户与所述多用途虚拟对象的所述用户互动导致所述多用途虚拟对象的改变包括：

确定所述用户已在所述虚拟现实环境中拾取所述多用途虚拟对象。

8.根据权利要求1所述的用于校准视线检测系统的方法，其中确定所述用户与所述多用途虚拟对象的所述用户互动导致所述多用途虚拟对象的改变包括：

确定所述用户在所述虚拟现实环境中已移动过所述多用途虚拟对象。

9.根据权利要求8所述的用于校准视线检测系统的方法，其中确定所述用户已移动过所述多用途虚拟对象包括：

确定所述用户已在所述虚拟现实环境中将所述多用途虚拟对象移动得较接近所述用户的虚拟主体的特定部分。

10.根据权利要求1所述的用于校准视线检测系统的方法，其中，所述多用途虚拟对象在所述虚拟现实环境中用于除了所述校准过程之外的一个或多个目的。

11.根据权利要求1所述的用于校准视线检测系统的方法，其中所述校准过程是重新校准过程。

12.根据权利要求1所述的用于校准视线检测系统的方法，其中，所述多用途虚拟对象的第一目的是用于所述视线检测系统的所述校准过程，并且除了用于所述校准过程，所述多用途虚拟对象的第二目的是用于所述交互式虚拟体验。

13.一种非暂时性机器可读介质，所述非暂时性机器可读介质上存储有用于校准视线检测系统的指令，其中所述指令可由至少一个处理器执行以至少：

在用户佩戴的可佩戴装置的显示器上在虚拟现实环境中显示作为交互式虚拟体验一部分的多个多用途虚拟对象；

至少部分地基于确定在所述交互式虚拟体验期间预期所述用户与所述多个多用途虚拟对象中的一个多用途虚拟对象互动来选择所述多用途虚拟对象；

在所述交互式虚拟体验期间检测所述用户与所述多用途虚拟对象的用户互动；

确定所述用户与所述多用途虚拟对象的所述用户互动导致所述多用途虚拟对象的改变；

响应于确定所述用户与所述多用途虚拟对象的所述用户互动导致所述多用途虚拟对象的改变，在所述交互式虚拟体验期间启动所述视线检测系统的校准过程，所述校准过程包括：

用所述可佩戴装置的所述视线检测系统确定所述用户相对于所述多用途虚拟对象的视线方向；以及

至少部分基于所述视线方向而校准所述视线检测系统。

14.根据权利要求13所述的非暂时性机器可读介质，其中所述指令可进一步执行以至少：

接收输入，其中校准所述视线检测系统响应于所述输入而发生。

15.根据权利要求14所述的非暂时性机器可读介质，其中所述输入包括：

所述视线方向持续预定时间量保持一致。

16.根据权利要求13所述的非暂时性机器可读介质，其中：

所述多用途虚拟对象包括鲜明特征；并且

确定所述用户相对于所述多用途虚拟对象的所述视线方向包括确定所述用户相对于所述鲜明特征的所述视线方向。

17.根据权利要求13所述的非暂时性机器可读介质，其中确定所述用户与所述多用途虚拟对象的所述用户互动导致所述多用途虚拟对象的改变包括：

确定所述用户已在所述虚拟现实环境中拾取所述多用途虚拟对象。

18.一种用于确定用户的视线方向的系统，其中所述系统包括：

可佩戴装置，具有显示器和视线检测系统；以及

一个或更多个处理器，被配置成至少：

在所述显示器上在虚拟现实环境中显示作为交互式虚拟体验一部分的多个多用途虚拟对象；

至少部分地基于确定在所述交互式虚拟体验期间预期所述用户与所述多个多用途虚拟对象中的一个多用途虚拟对象互动来选择所述多用途虚拟对象；

在所述交互式虚拟体验期间检测所述用户与所述多用途虚拟对象的用户互动；

确定所述用户与所述多用途虚拟对象的所述用户互动导致所述多用途虚拟对象的改变；响应于确定所述用户与所述多用途虚拟对象的所述用户互动导致所述多用途虚拟对象的改变，在所述交互式虚拟体验期间启动所述视线检测系统的校准过程，所述校准过程包括：

用所述视线检测系统确定所述用户相对于所述多用途虚拟对象的视线方向；以及

至少部分基于所述视线方向而校准所述视线检测系统。

19.根据权利要求18所述的系统，其中：

所述多用途虚拟对象包括鲜明特征；并且

确定所述用户相对于所述多用途虚拟对象的所述视线方向包括确定所述用户相对于所述鲜明特征的所述视线方向。

20.根据权利要求18所述的系统，其中确定所述用户与所述多用途虚拟对象的所述用户互动导致所述多用途虚拟对象的改变包括：

确定所述用户已在所述虚拟现实环境中拾取所述多用途虚拟对象。

21.一种用于校准视线检测系统的方法，包括权利要求1-12所述的任一项技术特征或技术特征的任意组合。

22.一种非暂时性机器可读介质，包括权利要求13-17所述的任一项技术特征或技术特征的任意组合。

23.一种用于确定用户的视线方向的系统，包括权利要求18-20所述的任一项技术特征或技术特征的任意组合。

Images