CN113885694A - 用激光多普勒干涉测量法进行眼睛跟踪 - Google Patents

用激光多普勒干涉测量法进行眼睛跟踪 Download PDF

Info

Publication number
CN113885694A
CN113885694A CN202110746180.8A CN202110746180A CN113885694A CN 113885694 A CN113885694 A CN 113885694A CN 202110746180 A CN202110746180 A CN 202110746180A CN 113885694 A CN113885694 A CN 113885694A
Authority
CN
China
Prior art keywords
light
eye
coherent light
light source
coherent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110746180.8A
Other languages
English (en)
Inventor
迈克·安德烈·舍勒
乔纳森·罗伯特·彼得森
约瑟夫·S·科里
莉莉安娜·鲁伊斯·迪亚斯
安德鲁·约翰·欧德柯克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN113885694A publication Critical patent/CN113885694A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A61B3/005—Constructional features of the display
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02041—Interferometers characterised by particular imaging or detection techniques
    • G01B9/02045—Interferometers characterised by particular imaging or detection techniques using the Doppler effect
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02092—Self-mixing interferometers, i.e. feedback of light from object into laser cavity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/04—Arrangements of multiple sensors of the same type
    • A61B2562/046—Arrangements of multiple sensors of the same type in a matrix array
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)

Abstract

本申请涉及用激光多普勒干涉测量法进行眼睛跟踪。一种眼睛跟踪设备包括光学器件，该光学器件包括具有光学空腔的光源以及光传感器。光源被定位成向用户的眼睛输出相干光，并接收从用户的眼睛返回的相干光的至少一部分作为反馈光。反馈光进入光学空腔并引起相干光的强度的调制。光传感器与光源光学耦合，用于检测相干光的调制强度，并基于相干光的检测强度生成一个或更多个信号。眼睛跟踪设备还包括一个或更多个处理器，该一个或更多个处理器耦合到光学器件，用于根据一个或更多个信号确定眼睛的运动信息。还公开了一种使用眼睛跟踪设备检测眼睛的运动的方法。

Description

用激光多普勒干涉测量法进行眼睛跟踪
技术领域
本公开总体上涉及显示设备，并且更具体地涉及头戴式显示设备中的眼睛跟踪。
背景
头戴式显示设备(本文也称为头戴式显示器)作为向用户提供视觉信息的手段越来越受欢迎。例如，头戴式显示设备用于虚拟现实和增强现实操作。眼睛跟踪允许头戴式显示设备确定用户的凝视，并基于用户的凝视方向提供视觉信息。
概述
因此，在头戴式显示设备中需要一种准确、轻便、紧凑且成本有效的眼睛跟踪系统。
本说明书中公开的系统和方法使用多普勒干涉仪方法来跟踪眼睛的运动，而没有任何图像处理或成像要求。因此，不需要使用诸如外部照相机的附加光学部件来提供准确的眼睛跟踪信息，从而减小了眼睛跟踪系统的尺寸和成本。还消除了有时在基于成像的眼睛跟踪系统中使用的附加计算步骤，例如背景滤波，从而降低了眼睛跟踪系统的计算成本和功耗。
根据一些实施例，眼睛跟踪设备包括第一光学器件和耦合到第一光学器件的一个或更多个处理器。第一光学器件包括第一光源和光学耦合到第一光源的第一光传感器。第一光源具有第一光学空腔。第一光源被定位成向用户的眼睛输出第一相干光，并接收从用户的眼睛返回的第一相干光的至少第一部分作为反馈光。反馈光进入第一光学空腔并引起第一相干光的强度的调制。第一光传感器被配置成检测第一相干光的调制强度，并基于第一相干光的检测强度生成一个或更多个第一信号。一个或更多个处理器被配置成根据一个或更多个第一信号确定用户眼睛的运动信息。
根据一些实施例，头戴式显示设备包括眼睛跟踪设备和被配置成向用户的眼睛传输一个或更多个图像的显示器。眼睛跟踪设备包括第一光学器件和耦合到第一光学器件的一个或更多个处理器。第一光学器件包括第一光源和光学耦合到第一光源的第一光传感器。第一光源具有第一光学空腔。第一光源被定位成向用户的眼睛输出第一相干光，并接收从用户的眼睛返回的第一相干光的至少第一部分作为反馈光。反馈光进入第一光学空腔并引起第一相干光的强度的调制。第一光传感器被配置成检测第一相干光的调制强度，并基于第一相干光的检测强度生成一个或更多个第一信号。一个或更多个处理器被配置成从一个或更多个第一信号确定用户眼睛的运动信息。
根据一些实施例，检测用户的眼睛的运动的方法包括向眼睛输出来自第一光学器件的第一光源的第一相干光。第一光源具有第一光学空腔，并且第一光学器件还包括第一光传感器。该方法还包括在第一光学器件处接收从眼睛返回的第一相干光的至少一部分作为反馈光，由此反馈光进入第一光学空腔并引起第一相干光的强度的调制。该方法还包括用第一光传感器检测第一相干光的调制强度，并且至少基于用第一光传感器检测到的第一相干光的调制强度来确定眼睛的运动信息。
因此，所公开的实施例提供了重量轻且紧凑的眼睛跟踪系统，该系统提供了准确的眼睛跟踪信息。
附图简述
为了更好地理解所描述的各个实施例，应当结合以下附图来参考下面的实施例的描述，在所有附图中，相同的附图标记指示相应的部件。
图1是根据一些实施例的显示设备的透视图。
图2是根据一些实施例的包括显示设备的系统的框图。
图3A是根据一些实施例的显示设备的等轴视图。
图3B是示出根据一些实施例的包括光学器件的眼睛跟踪设备的示意图。
图4A-图4C是示出根据一些实施例的具有外部传感器的光学器件的示意图。
图5A和图5B是示出根据一些实施例的垂直集成的光学器件的示意图。
图6A-图6C是示出根据一些实施例的水平集成的光学器件的示意图。
图7A是示出根据一些实施例的使用光学器件跟踪眼睛运动的示意图。
图7B是示出根据一些实施例的包括多个(a plurality of)光学器件的眼睛跟踪设备的示意图。
图8A示出了根据一些实施例的输入电流和从光源输出的光的瞬时波长。
图8B示出了根据一些实施例的相干光的功率分布。
图9A-图9C是示出根据一些实施例的包括多个光源的光学器件的示意图。
图10是示出根据一些实施例的包括成像传感器的眼睛跟踪设备的示意图。
图11A和图11B是示出根据一些实施例的包括聚焦光学部件的眼睛跟踪设备的示意图。
图12是示出根据一些实施例的包括光学部件的眼睛跟踪设备的示意图。
图13A和图13B是示出根据一些实施例的包括偏置透镜(offset lens)的眼睛跟踪设备的示意图。
图14A和图14B是示出根据一些实施例的提供主动分区照明(active zonalillumination)的方法的流程图。
除非另有说明，否则这些图不是按比例绘制的。
详细描述
需要准确、重量轻且紧凑的眼睛跟踪系统设备。
本公开提供了以紧凑的占用面积(footprint)提供准确的眼睛跟踪信息的眼睛跟踪设备。眼睛跟踪设备包括光学器件，该光学器件被配置成使用干涉测量来确定用户眼睛的位置和运动信息。这消除了使用成像设备(例如，照相机)进行眼睛跟踪的需要。然而，在一些配置中，所公开的眼睛跟踪设备可以与成像设备结合使用，以对眼睛跟踪中的成像设备进行补充。
现在将参考实施例，其示例在附图中示出。在以下描述中，阐述了许多具体细节，以便提供对各种所描述的实施例的理解。然而，对于本领域的普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实施各种所描述的实施例。在其他情况下，没有详细描述众所周知的方法、过程、部件、电路和网络，以免模糊实施例的各个方面。
还应当理解，尽管在某些情况下，术语第一、第二等在本文用于描述各种元素，但这些元素不应当被这些术语所限制。这些术语仅用于区分一个元素和另一个元素。例如，第一反射器可以被称为第二反射器，并且类似地，第二反射器可以被称为第一反射器，而不脱离所描述的各种实施例的范围。第一反射器和第二反射器都是光反射器，但它们不是同一反射器。
在本文各种所描述的实施例的描述中使用的术语仅用于描述特定实施例的目的，而并不旨在是限制性的。如在各种所描述的实施例和所附权利要求的描述中所使用的，除非上下文清楚地另有指示，否则单数形式“一个(a)”、“一个(an)”和“该(the)”也旨在包括复数形式。还应当理解，本文使用的术语“和/或”指的是并包括一个或更多个相关列出项目的任何和所有可能的组合。还应当理解，当在本说明书中使用时，术语“包括(includes)”、“包括(including)”、“包含(comprises)”和/或“包含(comprises)”指定所陈述的特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多个其他特征、整数、步骤、操作、元件、部件和/或其组合的存在或添加。术语“示例性的”在本文中是在“用作示例、实例或说明”的意义上使用的，而不是在“代表同类中最好”的意义上使用的。
图1示出了根据一些实施例的显示设备100。在一些实施例中，显示设备100被配置成佩戴在用户的头上(例如，如图1所示，通过具有眼镜(spectacles或eyeglasses)的形式)，或作为将由用户佩戴的头盔的一部分被包括。当显示设备100被配置成佩戴在用户的头上或者作为头盔的一部分被包括时，显示设备100被称为头戴式显示器。替代地，显示设备100被配置用于在固定位置处放置在用户的一只或两只眼睛附近，而不是头戴式的(例如，显示设备100被安装在诸如汽车或飞机的交通工具中，用于放置在用户的一只或两只眼睛前面)。如图1所示，显示设备100包括显示器110。显示器110被配置用于向用户呈现视觉内容(例如，增强现实内容、虚拟现实内容、混合现实内容或其任意组合)。
在一些实施例中，显示设备100包括本文参考图2所描述的一个或更多个部件。在一些实施例中，显示设备100包括图2中未示出的附加部件。
图2是根据一些实施例的系统200的框图。图2所示的系统200包括显示设备205(其对应于图1所示的显示设备100)、成像设备235和输入接口240，它们各自耦合到控制台210。虽然图2示出了包括显示设备205、成像设备235和输入接口240的系统200的示例，但在其他实施例中，系统200中可以包括任何数量的这些部件。例如，可以有多个显示设备205，每个显示设备205具有相关联的输入接口240，并且由一个或更多个成像设备235监控，其中每个显示设备205、输入接口240和成像设备235都与控制台210通信。在替代配置中，不同部件和/或附加部件可以被包括在系统200中。例如，在一些实施例中，控制台210经由网络(例如，互联网)连接到系统200，或者作为显示设备205的一部分是独立的(self-contained)(例如，物理上位于显示设备205内部)。在一些实施例中，显示设备205用于通过添加现实环境的视图来创建混合现实。因此，这里描述的显示设备205和系统200可以传送增强现实、虚拟现实和混合现实。
在一些实施例中，如图1所示，显示设备205对应于显示设备100，并且是向用户呈现媒体的头戴式显示器。由显示设备205呈现的媒体的示例包括一个或更多个图像、视频、音频或它们的某种组合。在一些实施例中，经由外部设备(例如，扬声器和/或头戴式耳机)来呈现音频，该外部设备从显示设备205、控制台210或两者接收音频信息并基于该音频信息来呈现音频数据。在一些实施例中，显示设备205使用户沉浸在增强环境中。
在一些实施例中，显示设备205还充当增强现实(AR)头戴式装置。在这些实施例中，显示设备205用计算机生成的元素(例如，图像、视频、声音等)来增强物理现实世界环境的视图。此外，在一些实施例中，显示设备205能够在不同类型的操作之间循环。因此，基于来自应用引擎255的指令，显示设备205作为虚拟现实(VR)设备、增强现实(AR)设备、作为眼镜或其某种组合(例如，没有光学校正的眼镜、针对用户进行了光学校正的眼镜、太阳镜或其某种组合)来操作。
显示设备205包括电子显示器215、一个或更多个处理器216、眼睛跟踪模块217、调整模块218、一个或更多个定位器220、一个或更多个位置传感器225、一个或更多个位置照相机222、存储器228、惯性测量单元(IMU)230、一个或更多个光学组件260或其子集或超集(例如，具有电子显示器215、光学组件260而没有任何其他列出的部件的显示设备205)。显示设备205的一些实施例具有不同于这里描述的那些模块的模块。类似地，功能可以以不同于这里描述的方式分布在模块中。
一个或更多个处理器216(例如，处理单元或核心)执行存储在存储器228中的指令。存储器228包括高速随机存取存储器，例如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；并且可以包括非易失性存储器，例如一个或更多个磁盘存储设备、光盘存储设备、闪存设备或其他非易失性固态存储设备。存储器228或者替代地在存储器228内的非易失性存储器设备包括非暂时性计算机可读存储介质。在一些实施例中，存储器228或存储器228的计算机可读存储介质存储用于在电子显示器215上显示一个或更多个图像的程序、模块和数据结构、和/或指令。
电子显示器215根据从控制台210和/或处理器216接收的数据来向用户显示图像。在各种实施例中，电子显示器215可以包括单个可调整显示元件或多个可调整显示元件(例如，用户的每只眼睛对应一个显示器)。在一些实施例中，电子显示器215被配置成通过一个或更多个光学组件260向用户投射图像。
在一些实施例中，显示元件包括一个或更多个发光器件和相应的空间光调制器阵列。空间光调制器是电光像素阵列、光电像素阵列、动态调整由每个器件传输的光量的某种其他器件阵列、或它们的某种组合。这些像素被放置在一个或更多个透镜的后面。在一些实施例中，空间光调制器是LCD(液晶显示器)中基于液晶的像素阵列。发光器件的示例包括：有机发光二极管、有源矩阵有机发光二极管、发光二极管、能够放置在柔性显示器中的某种类型的器件、或它们的某种组合。发光器件包括能够生成用于图像生成的可见光(例如，红色、绿色、蓝色等)的器件。空间光调制器被配置成选择性地衰减单个发光器件、发光器件组、或它们的某种组合。替代地，当发光器件被配置成选择性地衰减单个发射器件和/或发光器件组时，显示元件包括这种发光器件的阵列，而没有单独的发射强度阵列(emissionintensity array)。
一个或更多个光学组件260中的一个或更多个光学部件将来自发光器件阵列的光引导(可选地穿过发射强度阵列)至每个视窗(eyebox)内的位置，并最终引导至用户视网膜的背面。视窗是被正在观看来自显示设备205的图像的显示设备205的用户(例如，佩戴显示设备205的用户)的眼睛所占据的区域。在某些情况下，视窗被表示为10mm×10mm的正方形。在一些实施例中，一个或更多个光学部件包括一个或更多个涂层(例如抗反射涂层)以及一个或更多个偏振体全息元件(PVH)。
在一些实施例中，显示元件包括红外(IR)检测器阵列，该IR检测器阵列检测从观看用户的视网膜、从角膜的表面、眼睛的晶状体或它们的某种组合逆反射(retro-reflect)的IR光。IR检测器阵列包括一个IR传感器或多个IR传感器，该多个IR传感器中的每一个对应于观看用户的眼睛瞳孔的不同位置。在替代实施例中，也可以采用其他眼睛跟踪系统。
眼睛跟踪模块217确定用户眼睛的每个瞳孔的位置。在一些实施例中，眼睛跟踪模块217指示电子显示器215用IR光(例如，经由显示元件中的IR发射器件)照亮视窗。
发射的IR光的一部分将穿过观看用户的瞳孔，并从视网膜朝向IR检测器阵列逆反射，该IR检测器阵列用于确定瞳孔的位置。附加地或替代地，离开眼睛表面的反射光也被用于确定瞳孔的位置。在一些情况下，IR检测器阵列扫描逆反射，并在检测到逆反射时识别出哪些IR发射器件处于活动状态。眼睛跟踪模块217可以使用跟踪查找表和所识别的IR发射器件来确定每只眼睛的瞳孔位置。跟踪查找表将IR检测器阵列上接收到的信号映射到每个视窗中的位置(对应于瞳孔位置)。在一些实施例中，跟踪查找表是经由校准过程生成的(例如，用户看图像中的各个已知参考点，并且眼睛跟踪模块217将在看参考点时用户的瞳孔的位置映射到在IR跟踪阵列上接收到的相应信号)。如上面所提到的，在一些实施例中，系统200可以使用除了本文描述的嵌入式IR眼睛跟踪系统之外的其他眼睛跟踪系统。
调整模块218基于所确定的瞳孔位置生成图像帧。在一些实施例中，这将离散图像发送到显示器，显示器将子图像平铺在一起，因此连贯的拼接图像将出现在视网膜的背面。调整模块218基于检测到的瞳孔位置调整电子显示器215的输出(即，生成的图像帧)。调整模块218指示电子显示器215的一些部分将图像光传递到所确定的瞳孔位置。在一些实施例中，调整模块218还指示电子显示器不要向除了确定的瞳孔位置之外的位置提供图像光。调整模块218可以例如，阻挡和/或停止其图像光落在所确定的瞳孔位置之外的发光器件、允许其他发光器件发射落入所确定的瞳孔位置内的图像光、平移和/或旋转一个或更多个显示元件、动态调整透镜(例如，微透镜)阵列中的一个或更多个有源透镜的曲率和/或屈光力(refractive power)、或者这些操作的某种组合。
可选的定位器220是相对于彼此并且相对于显示设备205上的特定参考点位于显示设备205上特定位置的对象。定位器220可以是发光二极管(LED)、锥体棱镜(corner cubereflector)、反射标记(reflective marker)、与显示设备205的操作环境形成对比的一种类型的光源、或它们的某种组合。在定位器220是有源的(即，LED或其他类型的发光器件)的实施例中，定位器220可以发射在可见光波段(例如，约400nm至750nm)中、在红外波段(例如，约750nm至1mm)中、在紫外波段(约100nm至400nm)中、电磁波谱的某个其他部分或其某种组合中的光。
在一些实施例中，定位器220位于显示设备205的外表面下面，该外表面对于由定位器220发射或反射的光的波长是透光的，或者足够薄而基本上不减弱由定位器220发射或反射的光的波长。此外，在一些实施例中，显示设备205的外表面或其他部分在光的波长的可见光波段中是不透光的。因此，定位器220可以在外表面下发射在IR波段中的光，该外表面在IR波段中是透光的，但在可见光波段中是不透光的。
IMU 230是基于从一个或更多个位置传感器225接收的测量信号来生成校准数据的电子设备。位置传感器225响应于显示设备205的运动而生成一个或更多个测量信号。位置传感器225的示例包括：一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一合适类型的传感器、用于IMU 230的误差校正的一种类型的传感器、或者它们的某种组合。位置传感器225可以位于IMU 230的外部、IMU 230的内部或者其某种组合。
基于来自一个或更多个位置传感器225的一个或更多个测量信号，IMU 230生成第一校准数据，该第一校准数据指示相对于显示设备205的初始位置的显示设备205的估计位置。例如，位置传感器225包括测量平移运动(向前/向后、向上/向下、向左/向右)的多个加速度计和测量旋转运动(例如，俯仰、偏航、横滚)的多个陀螺仪。在一些实施例中，IMU 230对测量信号进行快速采样，并从采样的数据计算显示设备205的估计位置。例如，IMU 230在时间上对从加速度计接收的测量信号进行积分以估计速度向量，并在时间上对速度向量进行积分以确定显示设备205上参考点的估计位置。替代地，IMU 230向控制台210提供所采样的测量信号，控制台210确定第一校准数据。参考点是可以用来描述显示设备205的位置的点。尽管参考点通常可以被定义为空间中的点；但是，在实践中，参考点被定义为显示设备205内的点(例如，IMU 230的中心)。
在一些实施例中，IMU 230从控制台210接收一个或更多个校准参数。如下面进一步讨论的，一个或更多个校准参数用于保持对显示设备205的跟踪。基于接收到的校准参数，IMU 230可以调整一个或更多个IMU参数(例如，采样率)。在一些实施例中，某些校准参数使得IMU 230更新参考点的初始位置，使得其对应于参考点的下一个校准位置。将参考点的初始位置更新为参考点的下一个校准位置有助于减少与所确定的估计位置相关联的累积误差。累积误差(也称为漂移误差(drift error))导致参考点的估计位置随着时间的推移偏离参考点的实际位置。
成像设备235根据从控制台210接收的校准参数来生成校准数据。校准数据包括显示定位器220的所观察的位置的一个或更多个图像，这些位置由成像设备235可检测。在一些实施例中，成像设备235包括一个或更多个静止照相机、一个或更多个摄像机、能够捕获包括一个或更多个定位器220的图像的任何其他设备、或它们的某种组合。此外，成像设备235可以包括一个或更多个滤波器(例如，用于增加信噪比)。成像设备235被配置成可选地在成像设备235的视场中检测从定位器220发射或反射的光。在定位器220包括无源元件(例如，逆反射器(retroreflector))的实施例中，成像设备235可以包括照亮一些或所有定位器220的光源，这些定位器朝着成像设备235中的光源逆反射光。第二校准数据从成像设备235被传递到控制台210，并且成像设备235从控制台210接收一个或更多个校准参数以调整一个或更多个成像参数(例如，焦距、焦点、帧速率、ISO、传感器温度、快门速度、孔径等)。
在一些实施例中，显示设备205包括一个或更多个光学组件260。在一些实施例中，显示设备205可选地包括单个光学组件260或多个光学组件260(例如，用户的每只眼睛一个光学组件260)。在一些实施例中，一个或更多个光学组件260从电子显示设备215接收计算机生成的图像的图像光，并将图像光导向用户的一只或两只眼睛。计算机生成的图像包括静止图像、动画图像和/或它们的组合。计算机生成的图像包括看起来是二维和/或三维对象的对象。
在一些实施例中，电子显示设备215将计算机生成的图像投射到一个或更多个反射元件(未示出)，并且一个或更多个光学组件接收来自一个或更多个反射元件的图像光并将图像光引导至用户的眼睛。在一些实施例中，一个或更多个反射元件是部分透光的(例如，该一个或更多个反射元件具有至少15％、20％、25％、30％、35％、40％、45％或50％的透射率)，这允许环境光的透射。在这样的实施例中，由电子显示器215投射的计算机生成的图像与透射的环境光(例如，透射的环境图像)叠加，以提供增强现实图像。
输入接口240是允许用户向控制台210发送动作请求的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束应用，或者是在应用内执行特定动作。输入接口240可以包括一个或更多个输入设备。示例输入设备包括：键盘、鼠标、游戏控制器、来自大脑信号的数据、来自人体其他部位的数据、或者用于接收动作请求并将接收到的动作请求传送到控制台210的任何其他合适的设备。由输入接口240接收到的动作请求可以被传送到控制台210，控制台210执行对应于动作请求的动作。在一些实施例中，输入接口240可以根据从控制台210接收到的指令来向用户提供触觉反馈。例如，当接收到动作请求时，提供触觉反馈，或者控制台210向输入接口240传送指令，使输入接口240在控制台210执行动作时生成触觉反馈。
控制台210根据从成像设备235、显示设备205和输入接口240中的一个或更多个接收的信息来向显示设备205提供媒体以呈现给用户。在图2所示的示例中，控制台210包括应用储存器245、跟踪模块250和应用引擎255。控制台21O的一些实施例具有与结合图2描述的模块不同的模块。类似地，本文进一步描述的功能可以以不同于这里描述的方式分布在控制台210的部件当中。
当应用储存器245被包括在控制台210中时，应用储存器245存储由控制台210执行的一个或更多个应用。应用是一组指令，该组指令当由处理器执行时被用来生成用于呈现给用户的内容。由处理器基于应用生成的内容可以响应于经由显示设备205的移动或输入接口240而从用户接收的输入。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。
当跟踪模块250被包括在控制台210中时，跟踪模块250使用一个或更多个校准参数来校准系统200，并且可以调整一个或更多个校准参数以降低显示设备205位置确定中的误差。例如，跟踪模块250调整成像设备235的焦点以获得在显示设备205上的被观察到的定位器的更准确的位置。此外，由跟踪模块250执行的校准还考虑从IMU 230接收到的信息。此外，如果失去对显示设备205的跟踪(例如，成像设备235失去至少阈值数量的定位器220的视线)，则跟踪模块250重新校准部分或全部系统200。
在一些实施例中，跟踪模块250使用来自成像设备235的第二校准数据来跟踪显示设备205的移动。例如，跟踪模块250使用被观察的定位器根据第二校准数据和显示设备205的模型来确定显示设备205的参考点的位置。在一些实施例中，跟踪模块250还使用来自第一校准数据的位置信息来确定显示设备205的参考点的位置。此外，在一些实施例中，跟踪模块250可以使用第一校准数据、第二校准数据或其某种组合的部分来预测显示设备205的未来位置。跟踪模块250向应用引擎255提供显示设备205的估计位置或预测的未来位置。
应用引擎255执行在系统200内的应用，并从跟踪模块250接收显示设备205的位置信息、加速度信息、速度信息、预测的未来位置或其某种组合。基于接收到的信息，应用引擎255确定要提供给显示设备205用于呈现给用户的内容。例如，如果接收到的信息指示用户已经向左看，则应用引擎255为显示设备205生成反映(mirror)用户在增强环境中的移动的内容。另外，应用引擎255响应于从输入接口240接收到的动作请求来在控制台210上执行的应用内执行动作，并且向用户提供动作被执行的反馈。所提供的反馈可以是经由显示设备205的视觉或听觉反馈或者经由输入接口240的触觉反馈。
图3A是根据一些实施例的显示设备300的等轴视图。在一些其他实施例中，显示设备300是某种其他电子显示器(例如，数字显微镜、头戴式显示设备等)的一部分。在一些实施例中，显示设备300包括发光器件310和光学组件330，光学组件330可以包括一个或更多个透镜和/或其他光学部件。在一些实施例中，显示设备300还包括IR检测器阵列。
发光器件310朝向观看用户发射图像光和可选的IR光。发光器件310包括发射可见光的一个或更多个发光部件(并且可选地包括发射IR光的部件)。发光器件310可以包括，例如，LED阵列、微LED阵列、OLED阵列或它们的某种组合。
在一些实施例中，发光器件310包括被配置成选择性地衰减从发光器件310发射的光的发射强度阵列(例如，空间光调制器)。在一些实施例中，发射强度阵列由多个液晶单元或像素、发光器件组、或它们的某种组合组成。每个液晶单元(或者在一些实施例中，液晶单元组)是可寻址的，以具有特定的衰减水平。例如，在给定时间，一些液晶单元可以被设置为无衰减，而其他液晶单元可以被设置为最大衰减。以这种方式，发射强度阵列能够提供图像光和/或控制图像光的哪一部分被传递到光学组件330。在一些实施例中，显示设备300使用发射强度阵列来促进向用户的眼睛340的瞳孔350的位置提供图像光，并且最小化向视窗中的其他区域提供的图像光的量。
光学组件330包括一个或更多个透镜。光学组件330中的一个或更多个透镜从发光器件310接收经修改的图像光(例如，衰减光)，并将经修改的图像光导向瞳孔350的位置。光学组件330可以包括附加的光学部件，例如滤色器、反射镜等。
可选的IR检测器阵列检测已经从眼睛340的视网膜、眼睛340的角膜、眼睛340的晶状体或其某种组合逆反射的IR光。IR检测器阵列包括单个IR传感器或多个IR敏感检测器(例如光电二极管)。在一些实施例中，IR检测器阵列与发光器件310分离。在一些实施例中，IR检测器阵列被集成到发光器件310中。
在一些实施例中，包括发射强度阵列的发光器件310构成显示元件。替代地，显示元件包括发光器件310(例如，当发光器件310包括可单独调整的像素时)，而不包括发射强度阵列。在一些实施例中，显示元件另外包括IR阵列。在一些实施例中，响应于所确定的瞳孔350位置，显示元件调整发射的图像光，使得显示元件输出的光被一个或更多个透镜朝向所确定的瞳孔350位置(而不是朝向视窗中的其他位置)折射。
在一些实施例中，除了发光器件310之外，或者代替发光器件310，显示设备300包括与多个滤色器耦合的一个或更多个宽带光源(例如，一个或更多个白色LED)。
图3B示出了使用自混合干涉测量法(self-mixing interferometry)来确定关于眼睛340的运动信息(例如，关于眼睛340的瞳孔350的运动信息)的眼睛跟踪设备390。眼睛跟踪设备390包括一个或更多个光学器件392和耦合到该一个或更多个光学器件392(例如，与其通信)的一个或更多个处理器394。一个或更多个光学器件392被配置成执行干涉测量，基于干涉测量结果生成一个或更多个信号，并将该一个或更多个信号传输到一个或更多个处理器394。一个或更多个处理器394被配置成基于从光学器件392接收的一个或更多个信号来确定眼睛340的运动信息(例如，瞳孔的运动信息)。
在一些实施例中，眼睛跟踪设备390还包括电源396，该电源396耦合到光学器件392(例如，耦合到光学器件的光源)并被配置成控制光学器件中光源的操作。例如，电源396可以被配置成改变从光学器件392输出的光的功率或强度。在一些实施例中，电源396耦合到一个或更多个处理器394，使得一个或更多个处理器394控制电源396的操作(例如，一个或更多个处理器394控制被提供给光学器件392的电输出，这进而改变从光学器件392输出的光的功率或强度)。
在一些实施例中，眼睛跟踪设备390(例如，眼睛跟踪器)可以包括一个或更多个附加光学部件。图10-图13B示出了可以被包括作为眼睛跟踪设备390的一部分的附加光学部件的示例。
图4A-图4C、图5A、图5B和图6A-图6C示出了对应于光学器件392的示例光学器件。图7B和图9C示出了当眼睛跟踪设备390包括多个光学器件392或多个光源时，眼睛跟踪设备390中光学器件的不同配置的示例。
图4A-图4C是示出根据一些实施例的对应于光学器件392的光学器件400的示意图，该光学器件400包括外部光传感器420。如图4A所示，光学器件400包括光源410(例如，激光源)和光传感器420(例如，光电探测器)。在图4A-图4C中，光传感器420与光源410分开定位。
光源410包括由两个反射元件(例如，反射表面412和414)限定的空腔416(例如，光学空腔，其可以是激光空腔)。在一些实施例中，反射元件是分布式布拉格反射器(Braggreflectors)。
在一些实施例中，光源410可以是激光源，例如垂直腔面发射激光器(VCSEL)或垂直外腔面发射激光器(VECSEL)。
空腔416用于生成相干光，并且光源410被定位成向用户的眼睛340输出相干光的至少一部分。表面412是半反射的(例如，表面412是部分反射和部分透射的反射镜)。例如，表面414的反射率大于表面412的反射率(例如，表面414具有100％、99.99％、99.9％、99％、98％、97％、96％、95％、90％或上述任意两个值之间的区间的反射率，并且表面412具有99.99％、99.9％、99％、98％、97％、96％、95％、90％或上述任意两个值之间的区间的反射率)。在一些配置中，表面412具有至少0.01％、0.1％、1％或上述任意两个值之间的区间的透射率。表面412将空腔416内朝向表面412传播的光的一部分反射回表面414，并透射空腔416内朝向表面412传播的光的一部分(例如，表面412被配置成将在空腔416内部生成的光的至少一部分反射回空腔416，并透射在空腔416内部生成的光的至少一部分)。如图4B所示，透射光作为相干光490从光源410发射。光源410还被配置成(例如，被定位成)接收从用户眼睛340返回的相干光的至少一部分作为反馈光492。反馈光492进入光源410的空腔416，并干涉空腔416内部相干光的生成，导致生成的相干光的强度的调制。
参考图4C，调制相干光494(例如，具有调制强度的相干光)从光源410输出(例如，从空腔416输出)，并且调制相干光494的至少一部分被光传感器420接收并检测。光传感器420被配置成基于调制相干光494的检测强度(例如，调制强度)生成一个或更多个信号。关于眼睛340的运动信息(例如，眼睛340的瞳孔350的运动)的信息可以通过分析调制相干光494或分析基于调制相干光494生成的一个或更多个信号来确定。
这种测量技术被称为“自混合干涉测量法”，其中相干光(例如，激光束)从目标(例如，诸如眼睛的目标对象(object))反射回光源(例如，激光空腔)，并且反射光干涉并调制在光源内部生成的相干光(例如，调制由光源生成的光的功率和/或强度)。关于目标的位置和/或运动信息可以根据(例如，基于、使用)调制相干光的强度或功率测量结果来确定。自混合干涉测量法也被称为“反馈干涉测量法(feedback interferometry)”、“诱导调制干涉测量法(induced-modulation interferometry)”和“反向散射调制干涉测量法(backscatter modulation interferometry)”。
在一些实施例中，代替与光源分开定位的传感器(例如，与光源410分开定位的传感器420)，使用与光源集成的传感器。
图5A和图5B是示出根据一些实施例的垂直集成的光学器件500的示意图。光学器件500有时被称为干涉仪传感器。如图5A所示，光学器件500包括光源410和垂直集成的光传感器520(例如，光电探测器)，光传感器520光学耦合到光源410并与光源410垂直集成。光源410包括限定空腔416的表面412和414。在图5A中，表面412和414都是半反射表面(例如，部分反射和部分透射的反射镜)，它们被配置成将在空腔416内部生成的相干光的至少一部分反射回空腔416中，并透射在空腔416内部生成的光的至少一部分。例如，表面414将在空腔416内部生成的相干光的一部分朝向光传感器520透射，使得光传感器520可以检测透射光的强度。
光学器件500可以用来代替图3B所示的光学器件392。参考图5B，光学器件500(以及因此光学器件500的光源410)被配置成(例如，被定位成)经由表面412向用户的眼睛340输出相干光490。光学器件500(以及因此光学器件500的光源410)还被配置成(例如，被定位成)经由表面412接收从用户的眼睛340返回的相干光的至少一部分作为反馈光492。由于表面414是半反射的(例如，部分反射和部分透射的反射镜)，在空腔416内部生成的相干光的至少一部分经由表面414从光源410朝向垂直集成的光传感器520输出。光传感器520被配置成(例如，被定位成)接收(例如，检测)经由表面414从光源410输出的调制相干光494的至少一部分，并基于调制相干光494的检测强度(例如，调制强度)生成一个或更多个信号。
图6A-图6C是示出根据一些实施例的水平集成的光学器件600的示意图。光学器件600是干涉仪传感器，其包括被配置成输出相干光490(例如，激光)的光源410(例如，激光源)和与光源410水平集成的光传感器620。光源410包括限定空腔416的表面412和414。关于光源410的细节在上面关于图4A-图4C、图5A和图5B提供，因此本文不再重复。
光学器件600可以用来代替图3B所示的光学器件392。参考图6B，光源410被配置成(例如，被定位成)经由表面412向用户的眼睛340输出相干光490。光源410还被配置成(例如，被定位成)经由表面412接收从用户的眼睛340返回的相干光的至少一部分作为反馈光492(例如，相干光的该部分从用户的眼睛340散射或反射回来)。反馈光492经由表面412进入光源410的空腔416，并干涉在空腔416内部生成的相干光，导致在空腔416内部生成的相干光的强度的调制。调制光494的一部分从空腔416中泄漏出来，并被光传感器620检测到。在一些实施例中，滤光器622(例如，中性密度滤光器或光圈)位于空腔416和光传感器620之间，以衰减从空腔416传输到光传感器620的光(例如，降低该光的强度)。
替代地，光传感器620在调制光被外部对象(例如，诸如眼睛的目标对象)反射之后检测调制光。在图6C中，调制相干光494(例如，具有调制强度的相干光)经由表面412从光源410输出(例如，从空腔416输出)，并且调制相干光494的至少一部分被目标对象(例如，眼睛340)重定向回到光学器件600的光传感器620，并且随后被光传感器620接收并检测。在一些实施例中，屏障624位于空腔416和光传感器620之间，以阻挡光从空腔416传输到光传感器620。水平集成的光传感器620被配置成基于调制相干光494的检测强度(例如，调制强度)生成一个或更多个信号。关于眼睛340的运动信息(例如，眼睛340的瞳孔350的运动)的信息可以通过分析调制相干光494或分析基于调制相干光494生成的一个或更多个信号来确定。
图7A是示出根据一些实施例的使用眼睛跟踪设备390跟踪眼睛运动的示意图。从光学器件392输出的相干光490的至少一部分从眼睛340反向反射或反向散射，并在光学器件392处作为反馈光492被接收。反馈光492调制光学器件392中相干光490的强度。关于眼睛340的位置和运动的信息可以根据(例如，基于、使用)调制相干光(例如，调制相干光494，如以上关于图4A-图4C、图5A和图5B以及图6A-图6C所述)的强度测量结果来确定。
在图7A中，从光学器件392(其可以具有类似于光学器件400、500或600的结构的结构)输出的相干光490以x-z平面中的角度φ入射到眼睛340的表面上。因此，在光学器件392处接收的测量结果对眼睛340(或眼睛340的瞳孔350)在光490的方向上的运动敏感。表面(例如，眼睛340的表面)在x方向上的运动具有在光490的方向上的分量(例如，x×sinφ)。当眼睛340(或眼睛340的瞳孔350)在光490的方向上静止时(例如，眼睛340的表面在光490的方向上没有运动)，反馈光492与相干光490的混合将导致相干光490在时间上的均匀波动(以频率fD为特征)。
当眼睛340(或眼睛340的一部分)在不垂直于光490方向的方向上移动时，该运动将导致反馈光492的多普勒频移(Doppler shift)(例如，反馈光492的频率相对于相干光490的频率偏移)。多普勒频移与眼睛340(或其一部分)沿着光490的方向的速度成比例，这可以描述如下：
fV＝2v×cosφ/λ
其中，fV是多普勒频移，v是眼睛的速度，φ是运动方向和光490的方向之间的角度，并且λ是光490的波长。
当目标对象远离光学器件392移动时，反馈光492的频率是fD+fV，而当目标对象靠近光学器件392移动时，反馈光492的频率是fD-fV。
与非多普勒频移的反馈光492和相干光490的干涉相比，多普勒频移的反馈光492与相干光490的干涉将导致不同的调制模式。因此，眼睛340的运动可以根据调制相干光494的强度测量结果来确定。
图7B是示出根据一些实施例的包括多个光学器件392的眼睛跟踪设备390(例如，眼睛跟踪器)的示意图。眼睛跟踪设备390包括多个(例如，两个或两个以上)光学器件392，每个光学器件可以对应于光学器件400、500和600中的任何一个。在7B中，示出了两个光学器件392-1和392-2。光学器件392-1被定位成使得从光学器件392-1的光源输出的相干光490-1(如图7A所示)在x-z平面入射到眼睛340上。相比之下，光学器件392-2被定位成使得从光学器件392-2的光源输出的相干光490-2在y-z平面入射到眼睛340上。因此，眼睛跟踪设备390对眼睛340在x和y两个方向上的位置和运动敏感。通过使用两个光学器件392-1和392-2，眼睛跟踪设备390能够确定两个维度上(例如，在x方向和y方向上)的眼睛位置和眼睛运动信息。例如，相干光490-1由光学器件392-1的光源输出。由反馈光与相干光490-1的干涉生成的调制相干光被光学器件392-1的光传感器接收。光学器件392-1的光传感器基于接收到的(例如，检测到的)调制相干光生成一个或更多个信号。可以使用由光学器件392-1的光传感器生成的一个或更多个信号来确定关于眼睛沿着x方向的运动(例如，眼睛340的一部分796-1的运动)的信息。类似地，相干光490-2由光学器件392-2的光源输出。由反馈光与相干光490-2的干涉生成的调制相干光被光学器件392-2的光传感器接收。光学器件392-2的光传感器基于接收到的(例如，检测到的)调制相干光生成一个或更多个信号。可以使用由光学器件392-2的光传感器生成的一个或更多个信号来确定关于眼睛沿着y方向的运动(例如，眼睛340的一部分796-2的运动)的信息。
因此，由于眼睛340与每个光学器件的光传感器之间的相对距离不同，使用两个或更多个光学器件允许增强的运动感测。由于眼睛不是完美的球体，除了准确跟踪眼睛在三维上的运动(例如，瞳孔运动)之外，还可以使用三个或更多个绝对距离测量来确定绝对眼睛位置。
在一些实施例中，从光源输出的相干光490具有恒定功率(例如，恒定强度)和恒定波长。在一些实施例中，从光源输出的相干光490不具有恒定功率(例如，非恒定的强度)。图8A和图8B示出了提供非恒定功率的相干光490的好处。
图8A示出了根据一些实施例的输入电流对从光源输出的相干光的瞬时波长的影响。在一些实施例中，光学器件的光源(例如，光学器件400的光源410)耦合到电流源(例如，图3B所示的电源396)，该电流源被配置成通过改变提供给光源的输入电流(例如，电流)来控制来自光源的相干光输出。电流源可以被配置成提供具有预定义模式的输入电流。在一些实施例中，预定义模式是周期性模式。在一些实施例中，预定义模式是非均匀模式。
图8A的曲线图800示出了电流源提供具有作为三角形波形的周期性(例如，循环)模式的输入电流的示例。光源根据接收的输入电流输出相干光。在一些实施例中，输入电流的幅度的变化导致从光源输出的相干光的瞬时波长的偏移。曲线图802示出了响应于接收如曲线图800所示的电流而从光源输出的相干光的瞬时波长。在这个示例中，从光源输出的相干光的瞬时波长随着输入电流的增大而增大，从光源输出的相干光的瞬时波长随着输入电流的减小而减小。
图8B示出了根据一些实施例的光源中的相干光的检测功率分布。曲线图804示出了当光源没有接收到任何反馈光(例如，没有反向反射)时，光源中相干光(例如，来自光源410的相干光490)的示例功率分布。在没有反馈光的情况下，光源中生成的相干光(例如，在光源410的空腔416中生成的相干光)不被反馈光调制，因此，具有主要取决于来自电流源的输入电流的分布(例如，波形)的功率分布。
曲线图806示出了当从静态目标(例如，静止目标，没有眼睛运动，没有瞳孔运动)接收反馈光(例如，反馈光492，其可以包括反向散射光或反向反射光)时，光源中相干光的示例功率分布。在这个示例中，相干光的功率以频率fD进行调制。调制频率fD可以根据调制相干光(例如，调制相干光494)的功率测量结果或强度测量结果来确定。光源和目标之间的距离(例如，光源410和眼睛340之间的距离)(例如，绝对距离、相对距离)可以根据(例如，使用)调制频率fD来计算。例如，往返距离(round-trip distance)d(例如，从光源到目标对象的距离和从目标对象到光传感器的距离之和)可以使用以下方程来确定：
fD＝(dλ/dI)×(dI/dt)×(d/λ2)或者
d＝(fD×λ2)/[(dλ/dI)×(dI/dt)]
其中，λ是波长，I是被提供给光源的电流。
曲线图808示出了当从移动目标(例如，眼睛在移动，例如转动)接收反馈光(例如，反馈光492、反向散射光、反向反射光)时，光源中的相干光的示例功率分布。在这个示例中，相干光的功率以随时间变化的频率被调制，使得对应于输入功率增大的一部分功率以第一频率f1被调制，而对应于输入功率减小的一部分功率以第二频率f2被调制，该第二频率f2不同于第一频率f1。移动目标的速度(例如，眼睛340的速度或瞳孔350的速度)可以根据(例如，使用)调制频率f1和f2以及下面所示的方程1和2来计算。在方程1和2中，fv取决于眼睛运动(例如，瞳孔运动)的速度，如以上关于图7A所述。
f1＝fD-fv (1)
f2＝fD+fv (2)
另外，光源和目标之间的距离(例如，光源410和眼睛340之间的距离)(例如，绝对距离、相对距离)可以使用下面所示的方程3根据(例如，使用)调制频率f1和f2来计算。如上关于图7A所述，fD取决于目标(例如，眼睛340)和光源之间的距离。
fD＝0.5(f1+f2) (3)
因此，通过改变被提供给光源的输入电流，并从而改变从光源输出的相干光490的瞬时波长，可以计算(例如，确定)目标(例如，眼睛340或眼睛340的瞳孔350)与光源的绝对距离。
图9A-图9C是示出根据一些实施例的包括多个光源和相应光传感器的光学器件900的示意图。光学器件900可以用来代替图3B中的光学器件392。图9A中所示的光源912-1至912-4中的每一个都具有相应的光传感器(如图4A-4C所示的在外部或如图5A、图5B和图6A-6C所示的被集成)。在图9A中，四个光源912-1至912-4横向排列成2×2矩阵(例如，沿x和y方向排列成2×2矩阵)。在光传感器是集成的光传感器的配置中(例如，光传感器520和620与它们各自的光源集成)，光传感器也排列成2×2矩阵。例如，光学器件900可以包括排列成2×2矩阵的四个光源和四个集成光传感器。尽管图9A提供了光学器件900包括四个光源和四个光传感器的示例，但是光学器件900可以包括任意数量的光源和任意数量的传感器。
图9B示出了包括第一光源912-1和第一垂直集成的光传感器914-1以及第二光源912-2和第二垂直集成的光传感器914-2的光学器件900的示例。光源912-1和912-2相对于眼睛340位于不同的空间位置。因此，光990-1从光源912-1向眼睛340输出并作为反馈光994-1反射或散射回到光源912-1中(例如，反射或散射回到光源912-1的光源空腔中)的往返光路长度不同于光990-2从光源912-2向眼睛340输出并作为反馈光994-2反射或散射回到光源912-2中(例如，反射或散射回到光源912-2的空腔中)的光路长度。与包括一个光源的光学器件相比，对应于光学器件900的每个光源的光的不同往返光路长度提供了附加的信息。例如，至少因为眼睛340具有曲面，所以光990-1和994-1形成具有第一距离的第一光路，并且光990-2和994-2形成具有不同于第一距离的第二距离的第二光路。因此，由光传感器914-1基于因光990-1和994-1之间的干涉产生的调制光而生成的一个或更多个第一信号不同于由光传感器914-2基于因光990-2和994-2之间的干涉产生的调制光而生成的一个或更多个第二信号。光学器件900可以使用一个或更多个第一信号和一个或更多个第二信号来确定关于眼睛340的运动(或眼睛340的瞳孔350的运动)的附加信息，例如光学器件900与眼睛340(或眼睛340的瞳孔350)之间的距离(例如，相对距离、绝对距离)和/或瞳孔运动的速度。
图9C是示出根据一些实施例的包括多个光学器件900的眼睛跟踪设备390的示意图。在图9C中，眼睛跟踪设备390包括两个光学器件900-1和900-2。光学器件900-1和900-2中的每一个都包括多个光源。光学器件900-1包括光源912-1和912-2(以及相应的光传感器)，并且光学器件900-2包括光源922-1和922-2(以及相应的光传感器)。在一些实施例中，光学器件900-1和900-2被定位成使得从各个光学器件输出的光基本上彼此垂直(例如，正交，形成90°角)。在一些实施例中，光学器件900-1和900-2被定位成使得从各个光学器件输出的光在x-y平面上的投影基本上彼此垂直(例如，正交，形成90°角)。例如，光学器件900-1被定位成使得从光源912-1和912-2输出的相干光990-1和990-2分别沿着x-z平面入射到眼睛340上。光学器件900-2被定位成使得从光源922-1和922-2输出的相干光992-1和992-2分别沿着y-z平面入射到眼睛340上。
由于眼睛340与每个光源912-1、912-2、922-1和922-2之间的距离和相对角度的差异，在对应于每个光源的每个光传感器处接收的信息可以提供独立的距离和速度信息。例如，从对应于光源912-1的光传感器获得的信息提供了分别对应于眼睛340(或其一部分996-1)与光源912-1之间沿x方向的第一距离和x方向上的第一速度的信息Dx1和Vx1。从对应于光源912-2的光传感器获得的信息提供了分别对应于眼睛340(或其一部分996-2)与光源912-2之间沿x方向的第二距离和x方向上的第二速度的信息Dx2和Vx2。类似地，从对应于光源922-1的光传感器获得的信息提供了分别对应于眼睛340(或其一部分996-3)与光源922-1之间沿y方向的第三距离和y方向上的第三速度的信息Dy1和Vy1。从对应于光源922-2的光传感器获得的信息提供了分别对应于眼睛340(或其一部分996-4)与光源922-2之间沿y方向的第四距离和y方向上的第四速度的信息Dy2和Vy2。
在一些实施例中，眼睛跟踪设备390可以包括一个或更多个附加光学部件，以引导从一个或更多个光源输出的相干光490和/或将反馈光492导向一个或更多个光源。图10-图13B示出了可以包括在眼睛跟踪设备390中的附加光学部件的示例。
在图10中，眼睛跟踪设备390包括成像传感器1010。成像传感器1010被配置成(例如，被定位成)接收(例如，检测)从光学器件392(例如，从光学器件392的光源)输出并作为成像光1090从眼睛340反射或散射的相干光490的至少一部分。来自在成像传感器1010处接收的成像光1090的信息用于生成眼睛340的图像(例如，通过成像传感器1010或通过从成像传感器1010接收信息的计算设备生成)。因此，在眼睛跟踪设备390包括成像传感器1010的配置中，除了基于由光学器件392的光传感器(例如，光传感器420、520、620)生成的一个或更多个信号来确定关于眼睛340(或眼睛340的瞳孔350)的运动信息之外，眼睛跟踪设备390还可以基于在成像传感器1010处获得的信息来产生眼睛340的图像。
如图11A-图11B所示，眼睛跟踪设备390(例如，眼睛跟踪器)可以包括聚焦光学部件1110。在一些实施例中，聚焦光学部件1110被配置成(例如，被定位成)接收从光学器件392(例如，从光学器件392的光源)输出的相干光490，并且准直相干光490，使得入射到眼睛340上的相干光490具有基本上准直的光束分布(例如，低发散度)。在一些实施例中，聚焦光学部件1110还被配置成(例如，被定位成)接收来自眼睛340的反馈光492，并使反馈光492聚焦在光学器件392的光源(或空腔)处。因此，聚焦光学部件1110允许提高用相干光490照射眼睛340并收集反馈光492以传输回光学器件392(例如，返回到光学器件392的光源的空腔中)的效率，从而增大由光学器件392的光传感器(例如，光传感器420、520、620)检测到的信号。
如图12所示，根据一些实施例，眼睛跟踪设备390(例如，眼睛跟踪器)可以包括光学部件1210。光学部件1210被配置成(例如，被定位成)接收从光学器件392(例如，从光学器件392的光源)输出的相干光490，并将相干光490重定向(例如，反射、折射)到用户的眼睛340。光学部件1210还被配置成(例如，被定位成)接收来自眼睛340的反馈光492，并将反馈光492重定向(例如，反射、折射)到光学器件392。因此，光学部件1210允许光学器件392的灵活放置。在一些实施例中，光学部件1210是波导(例如，光波导、光纤)。在一些实施例中，光学部件1210是反射或半反射光学部件，例如反射镜、偏振敏感反射镜或部分反射镜。在一些实施例中，光学部件1210是折射光学元件，例如基于液晶的折射光学元件(例如，偏振体全息图、全息光学元件)。在一些实施例中，光学部件1210是可放置在显示设备(例如，头戴式显示设备)的显示器前面的选择性反射光学部件(例如，偏振选择性、入射角选择性、波长选择性)。因此，由于光学器件392的放置(例如，定位、位置)的灵活性，眼睛跟踪设备390的总占用面积(或尺寸)可以减小。
如图13A和图13B所示，根据一些实施例，眼睛跟踪设备390(例如，眼睛跟踪器)可以包括偏置透镜(例如，偏置透镜1310或1312)。参考图13A，在一些实施例中，偏置透镜1310被配置成(例如，被定位成)接收从光学器件392-1输出的相干光490-1并将相干光490-1转向(steer)到第一方向上，以及接收从光学器件392-2输出的相干光490-2并将相干光490-2转向到不同于第一方向的第二方向上。在图13A中，第一方向位于偏置透镜1310的光轴1314的第一侧，第二方向位于偏置透镜1310的光轴1314的与第一侧相反的第二侧。在一些实施例中，偏置透镜1310邻近光学器件392-1和392-2的输出端口(例如，光学器件392-1的光源的输出端口和光学器件392-2的光源的输出端口)设置。
参考图13B，在一些实施例中，偏置透镜1312被配置成(例如，被定位成)接收分别从光学器件392-1和392-2输出的相干光490-1和相干光490-2，并将相干光490-1和相干光490-2转向到相同的方向上。在一些实施例中，偏置透镜1312邻近光学器件392-1和392-2的输出端口(例如，光学器件392-1的光源的输出端口和光学器件392-2的光源的输出端口)设置。
图14A和图14B是示出根据一些实施例的检测用户的眼睛340(或眼睛340的瞳孔350)的运动的方法1400的流程图。方法1400包括(操作1410)朝向眼睛输出来自第一光学器件392(包括光学器件400、500、600、900中的任何一个)的第一光源(例如，光源410、912-1)的第一相干光(例如，相干光490、490-1、990-1)。第一光源具有第一空腔416和第一光传感器(例如，光传感器420、520、620、914-1)。
在一些实施例中，方法1400还包括(操作1412)利用耦合到第一光源410的电源396，根据预定义的非均匀模式(例如，图8A的曲线图800中所示的电流分布)改变提供给第一光源410的电流。
方法1400还包括(操作1420)在第一光学器件392处接收从眼睛340返回的第一相干光的至少一部分作为反馈光492。反馈光492进入第一光学空腔416，并引起第一相干光490的强度的调制(例如，在空腔416内部生成的相干光的强度的调制)。方法1400还包括(操作1430)用第一光传感器检测第一相干光(例如，调制相干光494)的调制强度，以及(操作1440)至少基于用第一光传感器检测到的第一相干光的调制强度(例如，调制相干光494的强度)来确定眼睛340的运动信息(或眼睛340的瞳孔350的运动信息)。
在一些实施例中，方法1400还包括(操作1450)朝向眼睛340输出来自第二光学器件392-2的第二光源的第二相干光(例如，相干光490-2)。第二光源具有第二光学空腔(例如，空腔416)和第二光传感器(例如，光传感器420、520、620)。方法1400还包括(操作1460)在第二光学器件392-2处接收从眼睛340返回的第二相干光490-2的至少一部作为反馈光492-2。反馈光492-2进入第二光学空腔(例如，第二光学器件392-2的空腔416)，并引起第二相干光490-2(例如，调制相干光)的强度的调制。方法1400还包括(操作1470)用第二光传感器(例如，第二光学器件392-2的光传感器420、520、620)检测第二相干光的调制强度(例如，调制相干光的强度)。运动信息还基于用第二光传感器检测到的第二相干光的调制强度(例如，对应于相干光490-2的调制相干光的强度)来确定。
根据这些原理，我们现在转向显示设备的某些实施例。
根据一些实施例，眼睛跟踪设备(例如，眼睛跟踪设备390)包括第一光学器件(例如，光学器件392、392-1、900-1；包括400、500、600、900中的任何一个)和耦合到第一光学器件的一个或更多个处理器(例如，处理器394)。第一光学器件包括具有第一光学空腔(例如，空腔416)的第一光源(例如，光源410、912-1)。第一光源被定位成向用户的眼睛(例如，眼睛340)输出第一相干光(例如，相干光490)，并接收从用户的眼睛返回的第一相干光的至少第一部分作为反馈光(例如，反馈光492)，由此反馈光进入第一光学空腔并引起第一相干光的强度的调制(例如，自混合)。第一光学器件还包括第一光传感器(例如，光传感器420、520、620、914-1)，第一光传感器与第一光源光学耦合，用于检测第一相干光(例如，调制相干光494)的调制强度，并基于第一相干光的检测强度生成一个或更多个第一信号。一个或更多个处理器被配置用于根据该一个或更多个第一信号确定用户的眼睛的运动信息。
在一些实施例中，光学空腔(例如，空腔416)由第一表面(例如，表面412)和第二表面(例如，表面414)限定。
在一些实施例中，光学器件包括多个光源和多个传感器。例如，图9A-9C示出了包括多个光源(例如，光源912-1和912-2)和多个传感器(对应于每个光源)的光学器件900的示例。
在一些实施例中，眼睛跟踪设备(例如，眼睛跟踪设备390)被配置成检测瞳孔(例如，瞳孔350)的快速眼睛运动。
在一些实施例中，一个或更多个处理器(例如，处理器394)耦合到第二光学器件(例如，光学器件392-2、900-2)，用于从一个或更多个第二信号确定用户的眼睛(例如，眼睛340)的运动信息。在一些实施例中，一个或更多个处理器从一个或更多个第一信号确定第一运动信息，从一个或更多个第二信号确定第二运动信息，并且基于第一运动信息和第二运动信息确定运动信息。在一些实施例中，至少第一处理器确定第一运动信息，并且至少不同于第一处理器并与其分离的第二处理器确定第二运动信息。
在一些实施例中，眼睛跟踪设备(例如，眼睛跟踪设备390)还包括第二光学器件(例如，光学器件392-2、900-2)，该第二光学器件不同于第一光学器件(例如，光学器件392-1、900-1)并与其分离。第二光学器件包括具有第二光学空腔的第二光源(例如，对应于第二光学器件392-1的光源410和光学空腔416、光源922-1、922-2)。第二光源被定位成向用户的眼睛(例如，眼睛340)输出第二相干光(例如，相干光490-2、992-1、992-2)，并接收从用户眼睛返回的第二相干光的至少第一部分(例如，第二反馈光)，由此接收的光进入第二光学空腔并引起从第二光源输出的第二相干光(例如，调制的第二相干光)的强度的调制。第二光学器件还包括第二光传感器(例如，对应于第二光学器件392-2的光传感器420、520、620；光传感器900-2)，第二光传感器与第二光源光学耦合，用于检测第二相干光的调制强度，并基于第二相干光的检测强度生成一个或更多个第二信号。
在一些实施例中，第一光学器件(例如，光学器件392-1、900-1)被定位成在第一方向(例如，x方向)上提供第一相干光(例如，相干光490-1、990-1和990-2)，并且第二光学器件(例如，光学器件392-2、900-2)被定位成在不平行于第一方向的第二方向(例如，y-方向)上提供第二相干光(例如，相干光490-2、990-3和990-4)。
在一些实施例中，一个或更多个第二信号与一个或更多个第一信号不同(例如，不同、独立、不耦合)，并且一个或更多个处理器(例如，处理器394)还被配置成基于一个或更多个第一信号和一个或更多个第二信号来确定至少眼睛的速度。
在一些实施例中，第一光学器件(例如，光学器件900)包括具有相应的光学空腔(例如，对应于光源912-1至912-4中的每一个的空腔416)的两个或更多个光源(例如，光源912-1至912-4)，这两个或更多个光源排列成阵列(例如，如图9A所示的2×2阵列，如图9B所示的2×1阵列)。
在一些实施例中，第一光学器件(例如，光学器件900)包括排列成2×2矩阵的四个光源。
在一些实施例中，眼睛跟踪设备(例如，眼睛跟踪设备390)还包括光学元件(例如，偏置透镜1310)，该光学元件与两个或更多个光源(例如，光学器件392-1和392-2的光源)光学耦合，用于将来自第一光源的第一相干光(例如，相干光490-1)转向到第一方向上，以及将来自两个或更多个光源中另一个光源的相干光(例如，相干光490-2)转向到第二方向上，第二方向不同于第一方向。例如，光学元件可以与两个或更多个光源光学耦合，使得光学元件将来自第一光源的光转向到第一方向上，并将来自第二光源的光转向到不同的方向。在一些实施例中，光学元件可以耦合到属于同一光学器件的两个或更多个光源。例如，光学器件(例如图9A-9C所示的光学器件900)可以包括多个光源(例如光源912-1和912-2)，并且光学元件可以光学耦合到属于同一光学器件的多个光源(例如，偏置透镜1310可以光学耦合到光源912-1和912-2的输出)。
在一些实施例中，眼睛跟踪设备(例如，眼睛跟踪设备390)还包括光学元件(例如，偏置透镜1312)，该光学元件与两个或更多个光源(例如，光学器件392-1和392-2的光源)光学耦合，用于将来自两个或更多个光源中两个不同光源的第一相干光(例如，相干光490-1)和第二相干光(例如，相干光490-2)转向到相同的方向上。在一些实施例中，光学元件可以耦合到属于同一光学器件的两个或更多个光源。例如，光学器件(例如图9A和图9B所示的光学器件900)可以包括多个光源(例如光源912-1和912-2)，并且光学元件可以光学耦合到属于同一光学器件的多个光源(例如，偏置透镜1312可以光学耦合到光源912-1和912-2的输出)，使得从同一光学器件的光源输出的光被偏置透镜1312导向相同的方向。
在一些实施例中，眼睛跟踪设备还包括耦合到第一光源的电源(例如，电源396)，用于提供具有预定义非均匀模式的电流。例如，如图8A所示，电源可以向第一光源提供周期性(例如，锯齿形、三角形)波形。
在一些实施例中，反馈光(例如，反馈光492)对相干光(例如，相干光490)的调制独立于电源(例如，电源396)对从光源(例如，光源410)输出的相干光的调制。例如，通过改变由电源提供的输入电流来调制相干光的强度以第一频率发生，而通过反馈光的调制以不同于第一频率的第二频率发生。
在一些实施例中，一个或更多个处理器(例如，处理器394)被配置成确定针对上升强度(例如，曲线图806中所示的功率增大)和下降强度(例如，曲线图806中所示的功率减小)的强度调制频率(例如，频率f1和f2)，并确定眼睛相对于来自第一光学器件的第一相干光的方向的运动方向(例如，使用方程1和2)。
在一些实施例中，一个或更多个处理器(例如，处理器394)被配置成确定沿着来自第一光学器件(例如，光学器件400、392-1)的第一相干光(例如，相干光490、490-1)的方向(例如，x方向)到用户的眼睛(例如，眼睛340)的距离。例如，眼睛和第一光学器件之间的距离可以使用方程3来计算。
在一些实施例中，眼睛跟踪设备(例如，眼睛跟踪设备390)还包括成像传感器(例如，成像传感器1010)，该成像传感器被定位用于接收从眼睛返回的第一相干光的至少第二部分(例如，成像光1090)。眼睛跟踪设备可以基于在成像传感器处接收的第一相干光的第二部分来生成眼睛的图像。第一相干光的第二部分不同于第一相干光的第一部分(例如，反馈光492)。
在一些实施例中，第一光传感器(例如，外部光传感器420)不同于第一光源(例如，光源410)，并且与其分离。
在一些实施例中，第一光传感器(例如，垂直集成的光传感器520)与第一光源(例如，光源410)垂直集成。
在一些实施例中，第一光传感器(例如，水平集成的光传感器620)与第一光源(例如，光源410)横向集成。
在一些实施例中，眼睛跟踪设备(例如，眼睛跟踪设备390)还包括一个或更多个光学部件(例如，聚焦光学部件1110)，该一个或更多个光学部件被定位成准直从第一光源(例如，光源410)输出的第一相干光(例如，相干光490)。
在一些实施例中，一个或更多个光学部件(例如，聚焦光学部件1110)还被定位成将从眼睛返回的第一相干光的至少第一部分(例如，反馈光492)聚焦到第一光学空腔(例如，光源410的空腔416)中。
在一些实施例中，眼睛跟踪设备(例如，眼睛跟踪设备390)还包括一个或更多个光学部件(例如，光学部件1210)，该光学部件被定位成朝向眼睛(例如，眼睛340)引导(例如，转向、反射、折射、导向)第一相干光(例如，相干光490)。在一些实施例中，用户的眼睛不沿着第一光源的光轴设置。
根据一些实施例，头戴式显示设备(例如，头戴式显示设备100、300)包括眼睛跟踪设备(例如，眼睛跟踪设备390)和被配置成向用户的眼睛(例如，眼睛340)传输一个或更多个图像的显示器(例如，发光器件310)。
在一些实施例中，显示器输出对应于一个或更多个图像并具有一个或更多个第一波长的显示光。在一些实施例中，从眼睛跟踪设备(例如，眼睛跟踪设备390)的一个或更多个光源输出的相干光(例如，相干光490)具有不同于显示光的一个或更多个第一波长的波长。在一些实施例中，从眼睛跟踪设备的一个或更多个光源输出的相干光的波长不与显示光的一个或更多个第一波长重叠。
根据一些实施例，眼睛跟踪设备(例如，眼睛跟踪设备390)包括第一光学器件(例如，光学器件392、392-1、900-1；包括400、500、600、900中的任何一个)和耦合到第一光学器件的一个或更多个处理器(例如，处理器394)。第一光学器件包括具有第一光学空腔(例如，空腔416)的第一光源(例如，光源410、912-1)。第一光源被定位成向用户的眼睛(例如，眼睛340)输出第一相干光(例如，相干光490)，并接收从用户的眼睛返回的第一相干光的至少第一部分作为反馈光(例如，反馈光492)，由此反馈光进入第一光学空腔并引起第一相干光的强度的调制(例如，自混合)。第一光学器件还包括第一光传感器(例如，光传感器420、520、620、914-1)，第一光传感器与第一光源光学耦合，用于检测第一相干光(例如，调制相干光494)的调制强度，并基于第一相干光的检测强度生成一个或更多个第一信号。一个或更多个处理器被配置用于根据一个或更多个第一信号确定沿着来自第一光学器件的第一相干光的方向到用户眼睛的距离。
根据一些实施例，检测用户的眼睛(例如，眼睛340)的运动的方法(例如，方法1400)包括(操作1410)朝向眼睛输出来自第一光学器件(例如，光学器件392、392-1、900-1)的第一光源(例如，光源410)的第一相干光(例如，相干光490)。第一光源具有第一光学空腔(例如，空腔416)，并且第一光学器件还包括第一光传感器(例如，光传感器420、520、620、914-1)。该方法还包括(操作1420)在第一光学器件处接收从眼睛返回的第一相干光的至少一部分作为反馈光(例如，反馈光492)，由此反馈光进入第一光学空腔并引起第一相干光的强度的调制。该方法还包括(操作1430)用第一光传感器检测第一相干光的调制强度，以及(操作1440)至少基于用第一光传感器检测到的第一相干光的调制强度来确定眼睛的运动信息。
在一些实施例中，该方法还包括(操作1412)利用耦合到第一光源(例如，光源410)的电源(例如，电源396)，根据预定义的非均匀模式改变被提供给第一光源的电流(例如，图8A所示的对应于周期性函数的电流)。
在一些实施例中，该方法还包括(操作1450)朝向眼睛输出来自第二光学器件(例如，光学器件392-2、900-2)的第二光源(例如，光源922-1或922-2)的第二相干光(例如，相干光490-2、992-1、992-2)。第二光源具有第二光学空腔(例如，空腔416)，并且第二光学器件还包括第二光传感器(例如，光传感器420、520、620)。该方法还包括(操作1460)在第二光学器件处接收从眼睛返回的第二相干光的至少一部分作为反馈光(例如，第二反馈光)，由此反馈光进入第二光学空腔并引起第二相干光的强度的调制。该方法还包括(操作1470)用第二光传感器检测第二相干光的调制强度。运动信息也是基于用第二光传感器检测到的第二相干光的调制强度来确定的。
在一些实施例中，该方法(例如，方法1400)还包括应用高通滤波器(例如，电高通滤波器)来提取一个或更多个第一信号和/或一个或更多个第二信号的高频分量。至少基于一个或更多个第一信号和/或一个或更多个第二信号的高频分量来确定瞳孔的相对位置。
根据一些实施例，检测用户的眼睛(例如，眼睛340)的运动的方法(例如，方法1400)包括(操作1410)朝向眼睛输出来自第一光学器件(例如，光学器件392、392-1、900-1)的第一光源(例如，光源410)的第一相干光(例如，相干光490)。第一光源具有第一光学空腔(例如，空腔416)，并且第一光学器件还包括第一光传感器(例如，光传感器420、520、620、914-1)。该方法还包括(操作1420)在第一光学器件处接收从眼睛返回的第一相干光的至少一部分作为反馈光(例如，反馈光492)，由此反馈光进入第一光学空腔并引起第一相干光的强度的调制。该方法还包括(操作1430)用第一光传感器检测第一相干光的调制强度，并且至少基于用第一光传感器检测到的第一相干光的调制强度来确定沿着来自第一光学器件的第一相干光的方向到眼睛的距离。
尽管各个附图示出了特定部件或特定部件组相对于一只眼睛的操作，但是本领域普通技术人员将理解，可以相对于另一只眼睛或两只眼睛执行类似的操作。为简洁起见，本文不再重复这样的细节。
尽管一些不同的附图以特定的顺序示出了多个逻辑阶段，但是不依赖于顺序的阶段可以被重新排序，并且其他阶段可以被组合或分解。虽然具体提及了某种重新排序或其他分组，但是对于本领域普通技术人员来说，其他的重新排序或分组将是显而易见的，因此本文呈现的排序和分组并不是替代方案的穷举性列表。此外，应当认识到，可以用硬件、固件、软件或其任意组合来实现这些阶段。
为了解释的目的，已经参考具体实施例描述了前面的描述。然而，上述说明性讨论并不旨在是穷举的或将权利要求的范围限制到所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。选择实施例是为了最好地解释权利要求书的基本原理及其实际应用，从而使本领域的其他技术人员能够最佳地使用具有各种修改的实施例，以适合预期的特定用途。

Claims (20)

1.一种眼睛跟踪设备，包括：
第一光学器件，所述第一光学器件包括：
具有第一光学空腔的第一光源，所述第一光源被定位成：
向用户的眼睛输出第一相干光；以及
接收从用户的眼睛返回的所述第一相干光的至少第一部分作为反馈光，由此所述反馈光进入所述第一光学空腔并引起所述第一相干光的强度的调制；以及
第一光传感器，所述第一光传感器与所述第一光源光学耦合，用于检测所述第一相干光的调制强度，并基于所述第一相干光的检测强度生成一个或更多个第一信号；以及
一个或更多个处理器，所述一个或更多个处理器耦合到所述第一光学器件，用于根据所述一个或更多个第一信号确定用户的眼睛的运动信息。
2.根据权利要求1所述的眼睛跟踪设备，还包括：
第二光学器件，所述第二光学器件不同于所述第一光学器件并与所述第一光学器件分离，所述第二光学器件包括：
具有第二光学空腔的第二光源，所述第二光源被定位成：
向用户的眼睛输出第二相干光；以及
接收从用户的眼睛返回的所述第二相干光的至少第一部分，由此所接收的光进入所述第二光学空腔并引起从所述第二光源输出的所述第二相干光的强度的调制；以及
第二光传感器，所述第二光传感器与所述第二光源光学耦合，用于检测所述第二相干光的调制强度，并基于所述第二相干光的检测强度生成一个或更多个第二信号。
3.根据权利要求2所述的眼睛跟踪设备，其中：
所述第一光学器件被定位成在第一方向上提供所述第一相干光；并且
所述第二光学器件被定位成在不平行于所述第一方向的第二方向上提供所述第二相干光。
4.根据权利要求2所述的眼睛跟踪设备，其中：
所述一个或更多个第二信号不同于所述一个或更多个第一信号；并且
所述一个或更多个处理器还被配置成基于所述一个或更多个第一信号和所述一个或更多个第二信号来至少确定眼睛的速度。
5.根据权利要求1所述的眼睛跟踪设备，其中：
所述第一光学器件包括具有相应的光学空腔的两个或更多个光源，所述两个或更多个光源排列成阵列。
6.根据权利要求5所述的眼睛跟踪设备，还包括：
光学元件，所述光学元件与所述两个或更多个光源光学耦合，用于将来自所述第一光源的所述第一相干光转向到第一方向上，并将来自所述两个或更多个光源中另一个光源的相干光转向到不同于所述第一方向的第二方向上。
7.根据权利要求1所述的眼睛跟踪设备，还包括：
电源，所述电源耦合到所述第一光源，用于提供具有预定义非均匀模式的电流。
8.根据权利要求7所述的眼睛跟踪设备，其中，所述一个或更多个处理器被配置成确定针对上升强度和下降强度的强度调制的频率，并且确定眼睛相对于来自所述第一光学器件的所述第一相干光的方向的运动方向。
9.根据权利要求7所述的眼睛跟踪设备，其中，所述一个或更多个处理器被配置成确定沿着来自所述第一光学器件的所述第一相干光的方向到用户的眼睛的距离。
10.根据权利要求1所述的眼睛跟踪设备，还包括：
成像传感器，所述成像传感器被定位用于接收从眼睛返回的所述第一相干光的至少第二部分，并基于所接收到的所述第一相干光的第二部分生成眼睛的图像，其中所述第一相干光的所述第二部分不同于所述第一相干光的所述第一部分。
11.根据权利要求1所述的眼睛跟踪设备，其中，所述第一光传感器不同于所述第一光源并且与所述第一光源分离。
12.根据权利要求1所述的眼睛跟踪设备，其中，所述第一光传感器与所述第一光源横向集成。
13.根据权利要求1所述的眼睛跟踪设备，其中，所述第一光传感器与所述第一光源垂直集成。
14.根据权利要求1所述的眼睛跟踪设备，还包括一个或更多个光学部件，所述一个或更多个光学部件被定位成准直从所述第一光源输出的所述第一相干光。
15.根据权利要求14所述的眼睛跟踪设备，其中，所述一个或更多个光学部件还被定位成将从眼睛返回的所述第一相干光的至少所述第一部分聚焦到所述第一光学空腔中。
16.根据权利要求1所述的眼睛跟踪设备，还包括一个或更多个光学部件，所述一个或更多个光学部件被定位成将所述第一相干光导向眼睛。
17.一种头戴式显示设备，包括：
根据权利要求1所述的眼睛跟踪设备；以及
显示器，所述显示器被配置成将一个或更多个图像传输到用户的眼睛。
18.一种检测用户的眼睛的运动的方法，所述方法包括：
朝向眼睛输出来自第一光学器件的第一光源的第一相干光，其中所述第一光源具有第一光学空腔，并且所述第一光学器件还包括第一光传感器；
在所述第一光学器件处接收从眼睛返回的所述第一相干光的至少一部分作为反馈光，由此所述反馈光进入所述第一光学空腔并引起所述第一相干光的强度的调制；
用所述第一光传感器检测所述第一相干光的调制强度；以及
至少基于用所述第一光传感器检测到的所述第一相干光的调制强度来确定眼睛的运动信息。
19.根据权利要求18所述的方法，还包括：
利用耦合到所述第一光源的电源，根据预定义的非均匀模式改变被提供给所述第一光源的电流。
20.根据权利要求18所述的方法，还包括：
朝向眼睛输出来自第二光学器件的第二光源的第二相干光，其中所述第二光源具有第二光学空腔，并且所述第二光学器件还包括第二光传感器；
在所述第二光学器件处接收从眼睛返回的所述第二相干光的至少一部分作为反馈光，由此该反馈光进入所述第二光学空腔并引起所述第二相干光的强度的调制；以及
用所述第二光传感器检测所述第二相干光的调制强度，其中所述运动信息也基于用所述第二光传感器检测到的所述第二相干光的调制强度来确定。
CN202110746180.8A 2020-07-01 2021-07-01 用激光多普勒干涉测量法进行眼睛跟踪 Pending CN113885694A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/918,229 US11707192B2 (en) 2020-07-01 2020-07-01 Eye-tracking using laser doppler interferometry
US16/918,229 2020-07-01

Publications (1)

Publication Number Publication Date
CN113885694A true CN113885694A (zh) 2022-01-04

Family

ID=76137916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110746180.8A Pending CN113885694A (zh) 2020-07-01 2021-07-01 用激光多普勒干涉测量法进行眼睛跟踪

Country Status (3)

Country Link
US (1) US11707192B2 (zh)
EP (1) EP3933489A1 (zh)
CN (1) CN113885694A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI844813B (zh) * 2022-01-20 2024-06-11 黃鈞鼎 穿戴裝置及投影方法
US11950000B2 (en) 2022-09-07 2024-04-02 Microsoft Technology Licensing, Llc Resolution enhancement in spatial-frequency space
US11988828B1 (en) 2022-11-16 2024-05-21 Meta Platforms Technologies, Llc Multi-pupil display and eye-tracking with interferometric sensing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106062665A (zh) * 2013-09-11 2016-10-26 深圳市汇顶科技股份有限公司 基于用户的眼睛运动和位置的光学感测和跟踪的用户界面
US20170109562A1 (en) * 2015-08-03 2017-04-20 Oculus Vr, Llc Methods and Devices for Eye Tracking Based on Depth Sensing
US20200026350A1 (en) * 2018-07-20 2020-01-23 Avegant Corp. Relative Position Based Eye-tracking System

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10832051B1 (en) * 2016-06-13 2020-11-10 Facebook Technologies, Llc Eye tracking using optical coherence methods
US10852558B2 (en) * 2018-08-24 2020-12-01 Facebook Technologies, Llc Near-eye display (NED) system and method using flexible reflector
US10890823B1 (en) * 2019-10-18 2021-01-12 Facebook Technologies, Llc Pitch variable optical devices and systems containing the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106062665A (zh) * 2013-09-11 2016-10-26 深圳市汇顶科技股份有限公司 基于用户的眼睛运动和位置的光学感测和跟踪的用户界面
US20170109562A1 (en) * 2015-08-03 2017-04-20 Oculus Vr, Llc Methods and Devices for Eye Tracking Based on Depth Sensing
US20200026350A1 (en) * 2018-07-20 2020-01-23 Avegant Corp. Relative Position Based Eye-tracking System

Also Published As

Publication number Publication date
US20220000362A1 (en) 2022-01-06
EP3933489A1 (en) 2022-01-05
US11707192B2 (en) 2023-07-25

Similar Documents

Publication Publication Date Title
EP3729173B1 (en) Integrated augmented reality head-mounted display for pupil steering
US10466496B2 (en) Compact multi-color beam combiner using a geometric phase lens
EP3776092A1 (en) Optical assembly with polarization volume holographic element
EP3933489A1 (en) Eye-tracking using laser doppler interferometry
EP4027186A1 (en) Dispersion compensation for light coupling through a slanted surface of an optical waveguide
US9946343B2 (en) Motion tracker with an array of distinct light sources
US11914162B1 (en) Display devices with wavelength-dependent reflectors for eye tracking
US10497320B1 (en) Transparent and reflective illumination source
JP2023539040A (ja) 波長同調を伴う可変焦点ディスプレイ
US20180267601A1 (en) Light Projection for Guiding a User within a Physical User Area During Virtual Reality Operations
US11714282B2 (en) Compact array light source for scanning display
US12025795B1 (en) Wedge combiner for eye-tracking
US20230168506A1 (en) High efficiency optical assembly with folded optical path
US20230152578A1 (en) Multi-view eye tracking system with a holographic optical element combiner

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

CB02 Change of applicant information
AD01 Patent right deemed abandoned

Effective date of abandoning: 20240913

AD01 Patent right deemed abandoned