CN108351514B - 使用结构光的眼睛追踪 - Google Patents

使用结构光的眼睛追踪 Download PDF

Info

Publication number
CN108351514B
CN108351514B CN201680063458.9A CN201680063458A CN108351514B CN 108351514 B CN108351514 B CN 108351514B CN 201680063458 A CN201680063458 A CN 201680063458A CN 108351514 B CN108351514 B CN 108351514B
Authority
CN
China
Prior art keywords
eyes
eye
orientation
irradiation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680063458.9A
Other languages
English (en)
Other versions
CN108351514A (zh
Inventor
尼古拉斯·丹尼尔·特雷尔
罗伯特·戴尔·卡文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Oculus VR Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oculus VR Inc filed Critical Oculus VR Inc
Publication of CN108351514A publication Critical patent/CN108351514A/zh
Application granted granted Critical
Publication of CN108351514B publication Critical patent/CN108351514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

公开了一种用于使用结构光追踪用户的眼睛的系统与方法。通过训练用户眼睛表面的模型来校准结构光系统。结构光发射器投射结构光图案(例如，红外结构光)到眼睛表面的一部分上。从照相机的视点，该照射图案出现失真。基于在所捕获的图像中的照射图案的失真，眼睛追踪系统可以确定结构光入射到的用户眼睛的部分的形状。通过比较确定的用户眼睛的部分的形状与该模型，可以确定眼睛的方位。眼睛追踪系统或其元件由此可以是头戴式显示器的部分，例如作为虚拟现实系统的部分。

Description

使用结构光的眼睛追踪
技术领域
本公开总体涉及眼睛追踪，并且特别地涉及在虚拟现实和/或增强现实应用中使用结构光进行眼睛追踪。
背景技术
眼睛追踪指检测用户的目光的方向的处理，可以包括检测眼睛在三维 (3D)空间中的角定向。眼睛追踪还可以包括检测眼睛的位置(例如，眼睛的中心)、眼睛的扭转(即，眼睛关于瞳孔中心轴的滚转)、眼睛的形状、眼睛的当前焦距、瞳孔的扩张、眼睛的状态的其他特征、或它们的组合。一种用于眼睛追踪的已知技术是捕获用户的视频图像并且使用机器视觉算法识别用户的瞳孔的方位。然而，这种技术需要显著的计算资源，并且对通过睫毛和眼睑的眼睛的闭合敏感。此外，这种方法是基于在虹膜与瞳孔之间的差别对比，其并非跨用户不变。因此，基于视频的瞳孔追踪可能不能精确地追踪某些用户的眼睛。在诸如在虚拟现实耳机中的头戴式显示器(HMD)的背景下，这种技术具有额外的缺点。用于捕获对于这种追踪方法所需的图像的类型的照相机可能是相对昂贵或大的。类似地，这种技术可能在照相机与用户眼睛的接近度上加入限制条件。此外，当照相机脱离用户目光的轴线定位时，这种技术可能执行不良。然而，当在HMD 中使用眼睛追踪时，眼睛追踪系统的检测元件优选地小、靠近眼睛、并且离开用户目光的轴线。
发明内容
描述了用于追踪用户眼睛的方位和/或位置的眼睛追踪单元。眼睛追踪单元包括一个或多个结构光发射器以及一个或多个照相机。在一些实施方式中，眼睛追踪系统或元件由此可以是头戴式显示器的部分，例如作为虚拟现实系统的部分。一个或多个结构光发射器以结构光图案(例如，红外辐射图案)照射眼睛。一个或多个照相机捕获用结构光图案照射的眼睛的图像(例如，捕获图像为视频流)。在发射器与相机之间的位差可以导致在照射图案的图像(例如，视频流的帧)中的失真。在一些实施方式中，眼睛追踪单元基于在捕获的图像中表现出的失真检测结构光入射到的眼睛表面的一部分的形状。基于检测的眼睛的形状与模型的比较，眼睛追踪单元估计眼睛的方位。估计眼睛的方位可以包括例如确定眼睛用于偏转、俯仰、以及滚转转动以及眼睛的移位矢量。在一些实施方式中，估计眼睛的方位包括估计眼睛的凹轴的方向。通过估计眼睛的瞳孔中心轴的方向以及使用瞳孔轴与凹轴之间的偏移，可以间接地估计凹轴的方向。估计的方位可以用于，例如，确定凝视方向、瞳孔间距离等。
在一些实施方式中，在眼睛追踪开始之前，可以通过训练用户眼睛的模型来校准系统。训练模型可以包括控制电子显示器，以在电子显示器上的位置显示视觉指示符；通过相机捕获由发射器投射到眼睛上的第二失真照射图案的第二图像；以及基于捕获的第二图像并且基于视觉指示符的位置来训练模型。
附图说明
图1是根据一个实施方式的包括虚拟现实系统的系统环境的示图。
图2是根据一个实施方式的HMD的示图。
图3是根据一个实施方式的包括结构光发射器与相机的结构光系统的示图。
图4是根据一个实施方式的眼睛追踪单元的方框图。
图5A是示出根据一些实施方式的用于追踪眼睛移动的处理的方框图。
图5B是示出根据一些实施方式的用于估计眼睛的方位的处理的方框图。
图6是根据一些实施方式的未失真的结构光投影的示例和五个结构光图案示例。
附图仅为了说明的目的描述了本公开内容的实施方式。本领域技术人员从下列描述中容易认识到，在不背离此处所描述的本公开内容的原理或推崇的益处的情况下，可以采用本发明中所示出的结构和方法的替代实施方式。
具体实施方式
系统概述
图1是在其中运行VR操纵台110的虚拟现实(VR)系统环境100 的方框图。通过图1示出的系统环境100包括HMD 105、成像装置135、以及VR输入接口140，各自耦接至VR操纵台110。虽然图1示出了包括一个HMD 105、一个成像装置135、与一个VR输入接口140的示例系统环境100，在其他实施例中任意数量的这些组件可以包括在系统环境100 中。例如，可能有多个HMD 105，各自具有相关联的VR输入接口140 并且被通过一个或多个成像装置135监控，每个HMD 105、VR输入接口 140、以及成像装置135与VR操纵台110通信。在替换配置中，可以在系统环境100中包括不同的和/或额外的组件。类似地，一个或多个组件的功能能够以与这里描述的不同的方式分配在组件之间。例如，VR操纵台 110的一些或者所有功能可以包含在HMD 105内。
HMD 105是向用户呈现媒体的头戴式显示器。由HMD 105呈现的媒体的示例包括一个或多个图像、视频、音频、或它们的组合。在一些实施方式中，经由从HMD 105、VR操纵台110、或这两者接收音频信息并且基于音频信息呈现音频数据的外部设备(例如，扬声器和/或头戴耳机)呈现音频。下面结合图2和图3进一步描述HMD 105的一些实施方式。HMD 105可以包括一个或多个刚体，可以刚性地或者非刚性地共同耦接至彼此。刚体之间的刚性联接使得联接的刚体起单个刚性实体的作用。与此相反，刚体之间的非刚性联接允许刚体彼此相对移动。在一些实施方式中，HMD 105也可以起增强现实(AR)HMD的作用。在这些实施方式中，HMD 105 以计算机生成元素(例如，图像、视频、声音等)的视图加强物理的、现实世界的环境。
HMD 105包括电子显示器115、光学块118、一个或多个定位器120、一个或多个位置传感器125、惯性测量单元(IMU)130、以及眼睛追踪单元160。HMD 105的一些实施方式具有与这里描述的HMD不同的组件。类似地，该功能能够以与这里描述的不同的方式分配在VR系统环境100 中的其他组件之间。例如，眼睛追踪单元160的功能中的一些可以通过 VR操纵台110执行。电子显示器115根据从VR操纵台110接收的数据向用户显示图像。
光学块118放大从电子显示器115接收的光，校正与图像光相关联的光学误差，并且校正的图像光被向HMD 105的用户呈现。该光学元件是一种光学元件，诸如光圈、菲涅尔透镜、凸透镜、凹透镜、滤光镜、或者任何其他合适的影响从电子显示器115发射的图像光的光学元件。此外，光学块118可以包括不同光学元件的组合。在一些实施方式中，光学块118中的一个或多个光学元件可以具有一个或多个涂层，诸如部分反射或者抗反射涂层。
通过光学块118的图像光的放大允许电子显示器115变得比更大的显示器物理地更小、更轻、并且消耗更少电力。此外，放大可以增加所显示的媒体的视野。例如，所显示的媒体的视野是使用几乎全部(例如，110°对角的)(并在一些情况下是全部)的用户的瞬时视场呈现所显示的媒体的视野。在一些实施方式中，光学块118设计为它的有效焦距大于到电子显示器115的间隔，其放大通过电子显示器115投射的图像光。此外，在一些实施方式中，可以通过添加或者移除光学元件来调整放大的量。
光学块118可被设计成校正一个或多个类型的光学误差。光学误差的示例包括：二维光学误差、三维光学误差、或它们的组合。二维误差是发生在二维中的光学像差。示例类型的二维误差包括：桶形畸变、枕形失真、纵向彗形象差、横向色差、或者任何其他类型的二维光学误差。三维误差是发生在三维空间中的光学误差。示例类型的三维误差包括球面像差、色像差、场曲、像散、或者任何其他类型的三维光学误差。在一些实施方式中，提供至电子显示器115的用于显示的内容是预失真的，并且光学块118 在接收基于该内容产生的来自电子显示器115的图像光时纠正该失真。
定位器120是相对于彼此并且相对于HMD 105上的特定参考点位于 HMD 105上的特定位置的物体。定位器120可以是发光二极管(LED)、隅角立方体反射器、反射标记、与HMD105的运行环境形成对比的一种类型的光源、或它们的组合。在定位器120有源(即，LED或者其他类型的发光装置)的实施方式中，定位器120可以发射在可见频带(～380nm 至750nm)、在红外(IR)频带(750nm至1700nm)、在紫外波段(10nm 至380nm)、电磁光谱的其他部分、或它们的组合的光。
在一些实施方式中，定位器120位于HMD 105的外表面之下，其对由定位器120发射或反射的光的波长透明或者薄到足以基本上不减弱由定位器120发射或反射的光的波长。此外，在一些实施方式中，HMD 105 的外表面或者其他部分在光波长的可见频带中是不透明的。因此，定位器 120可以在在IR频带中透明但在可见频带中不透明的外表面下面发射IR 频带中的光。
IMU 130是基于从一个或多个位置传感器125接收的测量信号生成快速校准数据的电子设备。位置传感器125响应于HMD 105的运动生成一个或多个测量信号。位置传感器125的示例包括：一个或多个加速计、一个或多个陀螺仪、一个或多个磁力计、另一合适类型的检测运动的传感器、用于IMU 130的误差校正的一类传感器、或它们的组合。位置传感器125 可以位于IMU 130外部、IMU 130内部、或它们的某种组合。
基于来自一个或多个位置传感器125的一个或多个测量信号，IMU 130生成表示相对于HMD 105的初始位置的HMD 105的估计位置的快速校准数据。例如，位置传感器125包括多个加速计以测量平移运动(前/ 后、上/下、左/右)和多个陀螺仪以测量旋转运动(例如，俯仰、偏转、滚动)。在一些实施方式中，IMU 130快速采样测量信号并且从采样数据计算HMD105的估计位置。例如，IMU 130对随时间从加速计接收的测量信号积分以估计速度矢量，并且对随时间的速度矢量积分以确定HMD 105上的参考点的估计位置。可替代地，IMU 130向确定快速校准数据的 VR操纵台110提供样本测量信号。参考点是可以用于描述HMD 105的位置的点。虽然参考点可以一般的定义为空间中的点；然而，实际上参考点被限定为在HMD105内的点(例如，IMU 130的中心)。
IMU 130接收来自VR操纵台110的一个或多个校准参数。如下面进一步讨论的，一个或多个校准参数被用于保持HMD 105的追踪。基于接收的校准参数，IMU 130可以调节一个或多个IMU参数(例如，采样率)。在一些实施方式中，某些校准参数使IMU 130更新参考点的初始位置，从而其对应于参考点的下一校准位置。更新参考点的初始位置为参考点的下一个校准位置有助于减少与所确定的估计位置相关联的累积误差。累积误差，也称为漂移误差，导致参考点的估计位置随着时间“漂移”而远离参考点的实际位置。
眼睛追踪单元160估计用户的眼睛的角定向。眼睛的方位对应于用户在HMD 105内凝视的方向。用户眼睛的方位在本文中限定为凹轴的方向，凹轴是在小凹(眼睛的视网膜上的具有最高浓度的感光体的区域)和眼睛的瞳孔的中心之间的轴线。通常，当用户的眼睛固定在一点上时，用户眼睛的凹轴贯穿该点。瞳孔中心轴是眼睛的另一轴线，被定义为垂直于角膜表面的穿过瞳孔的中心的轴线。瞳孔中心轴通常不直接对齐凹轴。两个轴线在瞳孔的中心交叉，但凹轴的方位是从瞳孔中心轴以近似横向-1°至8°和竖向±4°偏离的。因为根据小凹限定凹轴，小凹位于眼睛后部，凹轴在一些眼睛追踪实施方式中可能难于或不可能直接检测。相应地，在一些实施方式中，检测瞳孔中心轴的方位并且基于检测的瞳孔中心轴估计凹轴。
通常，眼睛的运动不仅对应于眼睛的角旋转，而且对应于眼睛的平移、在眼睛的扭转方面的变化、和/或眼睛的形状的变化。眼睛追踪单元160 同样可以检测眼睛的平移：即，在眼睛相对于眼窝的位置方面的变化。在一些实施方式中，不直接检测眼睛的平移，而是基于从检测的角定向的映射来近似估计的。同样可以检测与相对于眼睛追踪单元的检测组件的眼睛的位置的变化对应的眼睛的平移。这种类型的平移可以例如由于用户头部上的HMD105的位置变化而发生。眼睛追踪单元160同样可以检测眼睛的扭转，即，眼睛关于瞳孔中心轴的转动。眼睛追踪单元160可以使用检测的眼睛的扭转以估计自瞳孔中心轴的凹轴的方位。眼睛追踪单元160同样可以追踪眼睛的形状的变化，该变化可以近似为偏斜或比例线性变换或扭转失真(例如，由于扭转形变)。眼睛追踪单元160可以基于瞳孔中心轴的角定向、眼睛的平移、眼睛的扭转、以及眼睛的当前形状的一些组合来估计凹轴。
眼睛追踪单元160包括在眼睛的全部或部分上投射结构光图案的至少一个发射器。该图案然后被投射到眼睛的形状上，当从偏移的角度观察时其可以在结构光图案中产生感知到的失真。眼睛追踪单元160还包括检测投射到眼睛上的光图案的失真(如果有的话)的至少一个照相机。定位在与发射器不同的轴线上的照相机捕获眼睛上的照射图案。这个处理在本文中表示为“扫描”眼睛。通过检测眼睛表面上的照射图案的变形，眼睛追踪单元160可以确定扫描的眼睛的部分的形状。捕获的失真光图案因而指示眼睛的照射的部分的三维形状。通过推导由发射器照射的眼睛的部分的三维形状，可以推导出眼睛的方位。眼睛追踪单元还能够基于通过照相机捕获的照射图案的图像估计瞳孔中心轴、眼睛的平移、眼睛的扭转、以及眼睛的当前形状。
由于可以确定用户的双眼的方位，眼睛追踪单元160能够确定用户在注视哪里。HMD 105可以使用眼睛的方位以，例如，确定用户的瞳孔间距离(IPD)、确定凝视方向、引入景深暗示(例如，在用户主视线的外面模糊图像)、收集VR媒体中的用户交互上的启发(例如，在与暴露的刺激相关的任何具体主体、对象、或者帧上花费的时间)、部分地基于至少一个用户眼睛的方位的其他功能、或者它们的一些组合。确定用户凝视的方向可以包括基于确定的用户的左右眼睛的方位确定集中点。集中点可以是用户眼睛的两个凹轴交叉的点(或者两个轴线之间最近的点)。用户凝视的方向可以是通过集中点、并且通过用户眼睛的瞳孔之间的中点的线的方向。下面结合图3和图4进一步描述眼睛追踪单元160。
成像装置135根据从VR操纵台110接收的校准参数生成慢速校准数据。慢速校准数据包括示出可通过成像装置135检测的定位器120的观察位置的一个或多个图像。成像装置135可以包括一个或多个照相机、一个或多个摄像机、能够捕获包括一个或多个定位器120的图像的任何其他设备、或它们的组合。此外，成像装置135可以包括一个或多个硬件和软件滤波器(例如，用于增加信噪比)。成像装置135被配置为检测从成像装置135的视野中的定位器120发射或者反射的光。在定位器120包括无源元件(例如，后向反射器)的实施方式中，成像装置135可以包括照射一些或者所有定位器120的光源，定位器朝向成像装置135中的光源回射光。慢速校准数据从成像装置135传送至VR操纵台110，并且成像装置135 从VR操纵台110接收一个或多个校准参数以调整一个或多个成像参数 (例如，焦距、焦点、帧率、ISO、传感器温度、快门速度、光圈等)。
VR输入接口140是允许用户向VR操纵台110发送动作请求的设备。动作请求是执行特定动作的请求。例如，动作请求可以用于开始或结束应用或用于在应用内执行特定动作。VR输入接口140可以包括一个或多个输入设备。示例性输入设备包括：键盘、鼠标、游戏控制器、或用于接收动作请求并将所接收的动作请求传送至VR操纵台110的任何其他合适的设备。由VR输入接口140接收的动作请求被传送至VR操纵台110，VR 操纵台执行对应于动作请求的动作。在一些实施方式中，VR输入接口140 可以根据从VR操纵台110接收的指令向用户提供触觉反馈。例如，当接收动作请求时提供触觉反馈，或者VR操纵台110将指令传送至VR输入接口140使得VR输入接口140在VR操纵台110执行动作时生成触觉反馈。
VR操纵台110根据从下述一个或多个中接收的信息向HMD 105提供用于向用户呈现的媒体：成像装置135、HMD 105、以及VR输入接口140。在图1中示出的示例中，VR操纵台110包括应用存储器145、追踪模块 150、以及虚拟现实(VR)引擎155。VR操纵台110的一些实施方式具有与结合图1描述的VR操纵台不同的模块。类似地，能够以与这里所描述的不同的方式在VR操纵台110的组件中分配下面进一步描述的功能。
应用存储器145存储由VR操纵台110执行的一个或多个应用。应用是当通过处理器执行时生成用于向用户呈现的内容的一组指令。通过应用程序产生的内容可以响应于经由HMD 105的移动或者VR输入接口140 从用户接收的输入。应用的实例包括：游戏应用、会议应用、视频播放应用、或其他合适的应用。
追踪模块150使用一个或多个校准参数校准VR系统环境100的传感器并且可以调整一个或多个校准参数以减少HMD 105的位置判定的误差。例如，追踪模块150调整成像装置135的焦点以获得用于观测的HMD 105 上的定位器的更精确位置。此外，通过追踪模块150执行的校准也考虑用于从IMU 130接收的信息。此外，如果HMD 105的追踪丢失(例如，成像装置135失去至少阈值数量的定位器120的视线)，追踪模块150重新校准一些或者所有系统环境100。
追踪模块150使用来自成像装置135的慢速校准信息追踪HMD 105 的运动。追踪模块150使用从该慢速校准信息观测到的定位器以及HMD 105的模型确定HMD 105的参考点的位置。追踪模块150还使用来自快速校准信息的位置信息确定HMD 105的参考点的位置。此外，在一些实施方式中，追踪模块150可以使用部分快速校准信息、慢速校准信息、或其组合来预测追踪模块150的未来位置。追踪模块150将HMD 105的估计或预测的未来位置提供至VR引擎155。
VR引擎155在系统环境100内执行应用并且从追踪模块150接收 HMD 105的位置信息、加速度信息、速度信息、预测的未来位置、或其某种组合。基于所接收的信息，VR引擎155确定向HMD 105提供的用于向用户呈现的内容。例如，如果所接收的信息表示用户已向左看，VR引擎155生成用于HMD 105的在虚拟环境中反映用户的移动的内容。此外， VR引擎155响应于从VR输入接口140接收的动作请求在VR操纵台110 上执行的应用程序内执行动作并且将该动作被执行的反馈提供给用户。所提供的反馈可以是经由HMD 105的视觉或听觉反馈或者经由VR输入接口140的触觉反馈。
图2是根据一种实施方式的HMD的示图。HMD 200是HMD 105的一个实施方式，并且包括前刚体205以及带210。前刚体205包括电子显示器115(未在图2中示出)的电子显示器元件、光学块118(未在图2 中示出)、IMU 130、一个或多个位置传感器125、眼睛追踪单元160、以及定位器120。在图2示出的实施方式中，位置传感器125位于IMU 130 内，并且IMU130和位置传感器125都对用户不可见。
定位器120相对于彼此并且相对于参考点215位于前刚体205上的固定位置。在图2的示例中，参考点215位于IMU 130的中心。每个定位器 120发射可通过成像装置135检测的光。在图2的示例中，定位器120、或定位器120的一部分位于前刚体205的前侧230、顶侧220B、底侧220C、右侧220D、及左侧220E。
HMD 200包括眼睛追踪单元160。眼睛追踪单元160可以包括：结构光发射器，以投射结构光图案到用户的眼睛上；以及照相机，以检测眼睛的被照射的部分。发射器和照相机可以脱离用户目光的轴线地设置。在图 2中，眼睛追踪单元160位于用户目光的轴线以下，尽管眼睛追踪单元160 可以替换地被放置在其他地方。另外，在一些实施方式中，存在用于用户的左眼的至少一个眼睛追踪单元以及用于用户的右眼的至少一个追踪单元。
图3描述结构光眼睛追踪系统300，通过重复地扫描眼睛330追踪用户的眼睛330的位置。图3包括眼睛330的断面图。在一些实施方式中，结构光眼睛追踪系统300是HMD(例如，HMD 105或HMD 200)的眼睛追踪单元160的组件。在可选实施方式中，结构光眼睛追踪系统300是 AR HMD、并非HMD的VR/AR系统、或者采用眼睛追踪的其他系统的一部分。结构光眼睛追踪系统300包括结构光发射器310以及照相机320。图3描述了检测单个眼睛330的方位的单个结构光发射器310以及单个照相机320。然而，在可选实施方式中，对单个眼睛可以采用多个结构光发射器或者多个照相机。类似地，对于用户的每个眼睛，可以采用一个对应的结构光发射器以及一个照相机。
结构光发射器310发射结构光图案P到用户眼睛的一部分上。结构光发射器310包括红外(IR)光源以及结构光元件。IR光源(例如，激光二极管、发光二极管等)向结构光元件发出IR光(例如，850nm)，结构光元件转换IR光为结构IR光(在角坐标中)。在一些实施方式中，结构光发射器310的IR光源发射连续光谱的IR光，以减少源的相干性。在一些实施方式中，结构光发射器310输出单频或者窄带光谱的光。在可选实施方式中，结构光发射器310输出具有不同中心频率的N个单频或者N个窄带频率。
结构光元件是当通过IR光源照射时输出结构光的光学元件。结构光元件可以是例如切趾和/或相位掩模、衍射元件、双折射板、当通过IR光源照射时输出结构光的其他光学元件，或它们的一些组合物。此外，在一些实施方式中，IR光源可以是在时间、频率或此两者上调制的。尽管结构光发射器310在本文中被描述为在红外光谱中发射结构光，可选实施方式包括在非红外波长，诸如可见光谱(～390nm至700nm)中发光的结构光发射器310。
在用户单个眼睛的情境下，结构光图案P入射到眼睛330的部分的表面上。结构光图案部分地基于例如被照射的表面的几何形状以及发射器对照相机的几何结构而失真，以形成失真的照射图案。失真的照射图案中的变化指示眼睛330的表面的该部分的三维结构。在一些实施方式中，眼睛的该部分覆盖巩膜345、角膜340、或这两者。在一些实施方式中，多个结构光发射器投射结构光图案到单个眼睛330上。在一些实施方式中，第一结构光发射器投射第一结构光图案到用户的一个眼睛上并且第二结构光发射器投射第二结构光图案到另一个眼睛上。
照相机320检测通过结构光发射器310照射的眼睛330的部分上的失真的光图案。照相机320可以是红外照相机(即，被设计成捕获红外线频率中的图像的照相机)。照相机可以是具有对通过结构光发射器310发射的光的带宽敏感的数字图像传感器的近红外照相机。照相机320包括CCD 或CMOS数字图像传感器以及光学元件。光学元件可以是一个或多个透镜、高通、低通、或者带通滤波器、偏振器、孔径光阑、膈膜、适用于处理IR光的一些其他光学元件、或它们的一些组合物。光学元件输出光，该光由CCD或CMOS数字传感器捕获并被转换为数字信号。
照相机320检测失真的照射图案并且将捕获的光转换为数字图象I。数字图象I可以是二值图像(即，每个像素具有二进制值的图像)或者单通道图像(每个像素映射到单个浮点或整数值的图像)。在结构光发射器 310发射N个不同频率或N个不同中心频率的光的图案的实施方式中，I 可以是N通道图像。
照相机320可以被特别地被配置为检测在结构光发射器310投射的频带内的电磁辐射。照相机320可以采用将在通过结构光发射器310发射的光谱外的光过滤掉的窄带带通滤波器。当此频带相对小时，信噪比(SNR) 大，允许由照相机320迅速捕获图像。在一些实施方式中，照相机320是高频照相机，但当不需要高频时，照相机320可以在小于最大频率的频率上捕获图像。由照相机320捕获图像的帧率一般是60Hz或更大，尽管一些实施方式能够以更慢的速率捕获图像。结构光发射器310可以被配置为仅当照相机320捕获图像时发射光。
照相机320能够在正常操作条件期间以第一频率捕获图像，但某种条件可以触发照相机320以便以更高频率捕获图像。例如，当眼睛追踪单元 160不能检测眼睛330的方位时，该扫描可以被考虑为“坏扫描”。“坏扫描”可以通过用户眨眼睛触发。在“坏扫描”的情况下，该扫描可以被忽略并且照相机320能够被触发以立即捕获眼睛330的另一扫描直至成功的扫描被记录。以这种方式，眼睛追踪单元160可以无需不必要的计算和功耗而保证眼睛方位的追踪尽量精确并且是最近的。
眼睛330包括角膜340、瞳孔342、晶状体343、虹膜344、巩膜345、以及小凹346。巩膜345是经常被称作“眼白”的眼睛330的相对不透明的(通常是可见的白色)外部。角膜340是覆盖虹膜以及瞳仁的弯曲的表面。角膜340在电磁光谱的可见频带(～380nm至750nm)、以及近红外区域(高至约1400纳米)中是基本上透明的。晶状体343是用于在视网膜(眼睛330的后部)聚焦光的透明的结构。虹膜344是薄、有色、与瞳孔342同心的环形光圈。虹膜344是收缩以改变瞳孔342的尺寸的眼睛的有色部分，是光通过其进入眼睛330的圆孔。小凹346是视网膜上的凹陷。小凹346对应于高视觉敏锐度的区域。
由于眼睛330的转动和移动，通过结构光发射器310照射的眼睛表面的部分可以是变化的。在一些实施方式中，结构光发射器310投射角膜340 是几乎透明的光谱(例如，近IR或者可见光谱)中的光。在部分结构光图案穿过角膜340并且照射虹膜344的情形下，得到的虹膜的近似平面上的照射图案根据角膜340表面的一些光强度而失真。对于在虹膜344的瞳孔342内的区域，照射图案的强度显著减少。在一些实施方式中，在瞳孔 342上的照射图案被认为是可以忽略的。眼睛追踪单元160可以在通过照相机320捕获的图像中识别失真的圆形的未被照射的部分为瞳孔342并且基于该瞳孔342的位置确定眼睛330的角定向。
在一些实施方式中，结构光发射器310投射角膜340是几乎不透明的光谱(例如，具有大于1.5um波长的IR光)中的光并且照相机320(例如，长波IR照相机)检测得到的照射图案。当通过结构光图案照射角膜 340时，眼睛追踪单元160可以基于角膜340的曲率估计眼睛的角定向和/ 或平移。因为角膜340从近似椭圆的巩膜345中向外投射，眼睛追踪单元160可以通过检测角膜340的曲率估计眼睛330的方位。眼睛追踪单元160 也可以通过检测角膜-巩膜交界面，即，角膜340的表面与巩膜345的表面相交的大致圆形的轮廓来估计眼睛的方位。眼睛追踪单元160也可以通过检测角膜340的顶点，即，角膜340的从眼睛330的中心延伸最远的部分来估计眼睛的方位。
在图3中描绘了眼睛的瞳孔中心轴335以及凹轴338。瞳孔中心轴335 以及凹轴338随眼睛330移动而变化。在图3中，以水平瞳孔中心轴335 描绘眼睛330。相应地，图3中的凹轴338指向水平面以下约6°。图3 也描绘了发射器的轴线315和照相机的轴线325。图3描绘了一种实施方式，其中结构光发射器310和照相机320不在瞳孔中心轴335或凹轴338 中的任何一个上。结构光发射器310和照相机320可以是在眼睛330的视野之外。
图4是示出根据一个实施方式的眼睛追踪单元400的详图的概要框图。眼睛追踪单元400的一些实施方式具有与这里描述的实施方式不同的组件。类似地，功能能够以与这里所描述的不同的方式在组件之间分配。眼睛追踪单元400包括模型存储器410、校准模块420、结构光发射器430、照相机440、结构光图案控制器450、以及眼睛方位估计模块460。在一些实施方式中，眼睛追踪单元400是HMD 105的眼睛追踪单元160。在其他实施例中，眼睛追踪单元400是诸如AR系统等的其他系统的追踪用户眼动的部分。眼睛追踪单元400可以追踪用户的双眼并且可以包括多个结构光发射器和多个照相机。然而，如图3中的，在本文中关于单个眼睛、单个结构光发射器430、以及单个照相机440描述眼睛追踪单元400。
模型存储器410是存储用户的眼睛的模型M的存储器，用户的眼睛的模型M被用于与图像I相比以估计眼睛的当前方位。模型存储器410 是诸如ROM、DRAM、SRAM、或者它们的一些组合物的存储器。模型存储器410可以是虚拟现实(VR)系统环境100的更大的数字存储器的一部分。存储在模型存储410的模型M可以是眼睛的表面的三维模型。在用户的两个眼睛都被扫描的实施方式中，模型存储410可以包含两个模型的M1和M2：每个用于一只眼睛。
在一些实施方式中，M是接近眼睛的表面几何结构的三维模型。三维模型可以限定有两个正交的轴，眼睛的模型关于两个正交的轴旋转。因此，三维模型可以结合两个角，α(偏转)以及β(俯仰)，该两个角指定相对于眼睛的中心方位(即，α＝β＝0°对应于眼睛笔直向前注视)的眼睛的方位。α和β可以对应于凹轴的角方向。M也可以结合对应于眼睛的滚转(即扭转)的滚转角γ。M还可以结合指定三维模型在笛卡尔坐标系中的平移的移位矢量[x0,y0,z0]T。在一些实施方式中，瞳孔中心轴或者(α,β)的角被映射到平移矢量[x0,y0,z0]T。在检测眼睛的方位包括检测瞳孔的实施方式中，M可以结合瞳孔直径d。在一些实施方式中，基于瞳孔中心轴的角、 [x0,y0,z0]T、γ、以及对应于存储在M中的小凹的位置的参数来计算凹轴。在一些实施方式中，追踪眼睛可以等同于寻找使眼睛的三维模型最紧密地适合眼睛的扫描的部分的α和β的值。在一些实施方式中，追踪眼睛包括使用α和β、瞳孔中心轴的角、[x0,y0,z0]T、γ以及d的一些组合将眼睛的被扫描部分匹配至M。
模型M可以是嵌入在三维空间中的眼睛的二维表面的数学模型。M 可以是连续的，或者可以由离散点组成。例如，在笛卡尔空间中x、y和z 轴可以分别对应于眼睛的中心轴、与眼睛的中心轴垂直的水平轴、以及垂直轴。模型可以包括函数X(y，z，α，β)，其中每组(α，β)生成一个从y-z平面突出进入x轴的表面。在一些实施方式中，α和β对应于应用于中的表面的旋转变换的角。例如，如果(x,y,z)＝(0,0,0)对应于眼睛的模型的旋转点，那么这种转动可以通过旋转矩阵Rz(α)Ry(β)表示，其中Rz(α)和Ry(β)是如通常定义的偏转与俯仰矩阵。模型M也可以包含对应于眼睛的平移与眼睛的扭转的参数。
类似地，M可以包括极坐标的函数，具有R(θ，φ)的函数形式。如果极坐标系的原点被定义为眼睛关于其旋转的点，那么眼睛表面的模型可以由 R(θ-α，φ-β)给出。
在一些实施方式中，M是图像生成函数而不是三维表面的数学模型。眼睛的模型M可以是对每个α和β的值返回2D图像的图像生成函数 IM(α，β)。IM(α，β)也可以包括诸如移位矢量和滚转角(γ)的额外输入，使得α、β、γ、以及[x0,y0,z0]T的一些组合被映射到图像。图像生成函数IM(α，β)可以从存储在模型存储器410中的图像的有限集中选择图像。可替换地， IM(α，β)可以是连续函数(即近似连续，因为它是经由整数、浮点、或可替代的计算机实现的数字方案来实现的)。
在一些实施方式中，M包括一组图像，其中每个图像被映射到一个α和β的值。在可选实施方式中，如果图像生成函数IM(α，β)不具有α和β的精确值的图像，那么对应于接近α和β的方位的图像可以被一起插入以生成合成图像，其通过IM(α，β)返回。如果由眼睛追踪单元400使用多个结构光图案，那么模型M应当具有每个结构光图案的图像生成函数。
M可以包括眼睛的三维模型，该三维模型与输入结构光图案P一起被用于生成图像。该图像生成函数IM(α，β，P)可以通过提供眼睛的三维模型上的结构光图案的数学模型(例如，射线模型)来实现。IM(α，β，P)的图像输出可以使对于α、β以及P的给定值的期望通过照相机320捕获的图像的近似。
在一些实施方式中，模型M包括多个近似地指定眼睛的形状的参数，而不是通用表面。例如，这些参数可以对应于眼睛的平均半径、眼睛的巩膜的平均半径、一组用以将巩膜的形状近似为椭圆面的三个参数、眼睛的角膜的半径、角膜从巩膜中的突起的度量、一组指定角膜的形状的参数、以及眼睛的旋转点。可以使用附加参数以考虑从通过参数指定的理想模型的偏差。例如，由血管引起的眼睛表面上的凸起可以在M中经由这些附加参数来考虑。
校准模块420在校准工序期间在眼睛追踪之前生成或训练模型M。校准模块420是在一个或多个处理器上实现的软件模块、专用硬件单元、或者它们的一些组合物。通过校准模块420实现的校准工序可以包括使用照相机440以及结构光发射器430以重复地扫描眼睛。在一个实施方式中，用户被指示注视显示在HMD 105的电子显示器115上的某个虚拟对象或者视觉指示器。可以在用户注视视觉指示器的同时扫描眼睛的一部分。以这种方法，眼睛追踪单元400可以捕获在眼睛的已知方位的眼睛的样本扫描。可以将这些样本扫描插入存储在模型存储器410中的模型M。一旦校准模块420产生了M，就可以开始眼睛追踪。通常，使用对于特定用户的眼睛进行了训练的模型M的眼睛追踪比不使用这种模型的眼睛追踪更加精确。在一些实施方式中，校准模块420在追踪期间持续更新M。在一些实施方式中，系统可以用基于人眼的统计标准的标称模型M开始追踪并且420在追踪期间更新M。
在校准工序期间收集的眼睛330的多重扫描可以被复合为三维模型、三维模型生成函数、或者图像生成函数IM(α，β)。可以通过将由照相机320 在校准期间捕获的图像组转换为一组三维表面{S1，...，SN}来计算三维模型或者三维模型生成函数，该三维表面对应于一组偏转值{α1，...，αN}和俯仰值{β1，..βN}，其中{α1，...，αN}和{β1，..βN}对应于显示在显示器上的视觉对象的位置。{S1，...，SN｝、｛α１，...，αN}、以及{β1，..βN}可以被插入单个三维表面模型生成函数。在一些实施方式中，一组误差参数{E1，...，EN}也被用于生成M。每个Ei可以是指示Si表面上各点的可靠性的函数。可替代地，Ei可以是指示Si总体上的可靠性的单个值。Ei可用于对Si进行加权，使得Si影响模型的程度基于Ei。
在校准期间，除创建眼睛的模型M之外，校准模块420也可以在几个候选图案之中确定最适于检测眼睛的方位的光图案。在一些实施方式中，可以对眼睛的给定方位范围确定最优结构光图案。在眼睛追踪期间，最佳结构光图案可以响应于先前检测的眼睛的方位而被投射到眼睛上。
结构光发射器430发射入射到眼睛的一部分上的结构光的图案P。眼睛的表面的几何结构使结构光图案失真以形成失真的照射图案。结构光发射器430可以是与在图3中描述的结构光发射器310相同的结构光发射器 430。
照相机440检测失真的照射图案。照相机440将捕获的光转换为数字图象I。在一些实施方式中，照相机440是照相机320。在眼睛的模型M 是图像生成函数IM(α，β)的实施方式中，通过IM(α，β)生成的图像可以是与 I相同类型的图像(例如，二值图像、单通道图像、或者多通道图像)。通过IM(α，β)输出的图像也可以具有与由照相机440输出的图像I相同的尺寸(例如，像素)。
在一些实施方式中，结构光图案控制器450控制结构光发射器430。结构光图案控制器450是在一个或多个处理器上实现的软件模块、专用硬件单元、或者它们的一些组合物。结构光图案控制器450确定发射的结构光图案P。在一些实施方式中，结构光发射器430始终投射相同的图案，并且结构光图案控制器450仅控制结构光发射器430是否发光。在一些实施方式中，结构光图案控制器450响应于“坏扫描”的报告将结构光图案改变为不同的图案。在一些实施方式中，结构光图案控制器450基于如由眼睛追踪单元400报告的先前报告的眼睛方位来选择结构光图案。
眼睛方位估计模块460接收图像I作为输入，并且基于来自模型存储器410的模型M生成眼睛的方位的估计。眼睛方位估计模块460是在一个或多个处理器上实现的软件模块、专用硬件单元、或者它们的一些组合物。
在一些实施方式中，眼睛方位估计模块460生成眼睛S的表面的三维近似，该三维近似对应于通过结构光发射器430照射的眼睛的区域。眼睛方位估计模块460使用投射的结构光图案的已知结构(其可以从结构光图案控制器450接收)，来确定由眼睛表面的形状以及照相机几何结构引起的光的失真。眼睛方位估计模块460根据失真将景深信息归属到图像的不同部分。眼睛方位估计模块460使用景深信息生成眼睛的三维表面的近似 S。S例如可以包括笛卡而空间中的三维点的有限集、极坐标中的点的有限集、或者在中定义表面的数学函数。眼睛方位估计模块460也可以输出产生指示表面S上的给定点的准确度的估计的误差函数E。E例如可以是输入二维坐标并且返回该点从平面的延伸(笛卡尔坐标系中)或半径 (极坐标系中)的标准差的估计函数。
作为计算S的示例性的示例，考虑包括具有伪随机位置的点的阵列的结构光图案。假设结构光图案包括N个点，其中每个点具有可忽视地小的面积，可以通过射线表示生成每个点的光。如果ri代表第i个射线，(对于 i∈{1，...，N})，那么ri可以表示为：
其中ai，和γi是参数方程的因变量。每条光线入射到眼睛的表面上并且与表面在点相交。通过光线照射该点并且通过K个照相机中的一个检测该照射。该K个照相机中的第k个通过捕获来源于点pi的光线检测该照射。这条光线可以表示为yik，使得：
其中ci，和δik是参数方程的因变量。ri是先前已知的，并且可以通过将在第k个照相机上接收的像素位置映射到矢量ci，di的映射算法找到yik。因此，因为pi是在该处对于所有k∈{1，...，K}ri＝yik的点。可以求解下述系统以找到pi：
然而，上述系统是超定系统。因此，在测量中的不理想和先验假定可能导致不存在精确解。虽然如此，可以找到一种近似。pi的一种这样的近似是最小平方差近似的平均，可以如下计算
其中且
通过对于所有i∈{1，...N}推导系统能够以一些粒度计算对象的形状，结构光的图案入射到该对象的形状上。因此S可以通过点的组合表示或者可以从点集导出。这个实例的目的仅是生成S的示例性实例。可使用不同的近似技术和算法处理。另外，可以使用结构光的不同图案、以及适用于结构光的这些图案的算法。使用结构光的每个图案的适用于三维映射的算法是已知的。
眼睛的表面近似S可以由眼睛方位估计模块460用以与从模型存储器 410检索的眼睛的模型M比较。如上所述，模型M可以是眼睛的表面的三维模型。眼睛方位估计模块460可以执行通过作为因变量改变眼睛的偏转α、以及俯仰β来使S(通过扫描眼睛产生的三维表面)与M相关的二维相关。为了本说明的目的，α被定义为眼睛的水平角，并且β被定义为眼睛的竖直角，其中α＝β＝0°对应于用户笔直向前注视。眼睛的正确方位可以确定成使眼睛的模型M最紧密地匹配表面近似S的α和β的值。
举例来说，S可以是一组极坐标系中的点S＝{p1，...，pN}，其中 pi＝[θi φi ri]T。模型M可以取极坐标函数RM(θ，φ)的形式，该极坐标函数返回作为两个角θ和φ的函数的半径，使得坐标系统的原点对应于眼睛的转动的原点。可以通过为了找到使下式最大化的(α,β)的值而迭代α和β值的有限集来确定眼睛的方位：
其中μr是S的平均半径(即，)并且μm是通过函数RM(θ，φ)定义的表面的平均半径。存在眼睛方位估计模块460可以用来确定使M和S 最紧密匹配的α和β的值的多个可替换方法。这些方法对本领域技术人员是已知的。
在一些实施方式中，来自组合{(α1，β1)，...，(αN，βN)}的值被用作确定S 与M之间的相关性的输入。该组合中的值可以局限于某个有界域。可以通过眼睛的移动范围限定该域。在一些实施方式中，该域被局限于来自先前计算的偏转与俯仰的某个角距离内的值。可以基于眼睛的最高速度的上界值来确定该域。例如，因为人眼的最大角形眼睛急动速度大致是900°每秒，该域可以被限制在先前检测的眼睛的方位的1000°/F内，其中F是照相机440的以赫兹为单位的帧率。
在一些实施方式中，不产生眼睛的表面的估计S，并且由眼睛方位估计模块460将通过照相机440捕获的图像I直接与模型M比较。M可以是图像到偏转与俯仰(α和β)的值的映射。在一些实施方式中，(α，β)的值被通过以α和β作为输入的图像生成函数映射到模型图像。可以将每个对应于不同的(α，β)对的多个模型图像与照相机440捕获到的图像I比较。可以将对应于最紧密地匹配I的模型图像的(α，β)对确定为眼睛的方位。在一些实施方式中，可以通过二维相关因子确定映射到最紧密地匹配的模型图像的(α，β)对，其中以(α，β)作为因变量执行该相关。
眼睛追踪单元400可以是VR系统的部分，诸如图1中示出的VR系统环境100中的部分。眼睛追踪单元400可以是HMD 105的部分，然而，眼睛追踪单元400的负责控制结构光发射器430并且处理从照相机440接收的图像的模块不必是该HMD 105的部分。这些组件可以位于虚拟现实操纵台110上。在一些实施方式中，通过一个或多个虚拟现实操纵台110 上的通用处理器执行由眼睛追踪单元400的处理数据输出。在一些实施方式中，在专用硬件上实现眼睛追踪算法。在一些实施方式中，眼睛追踪单元400的一些控制和处理模块是HMD 105的部分，并且其他模块是虚拟现实操纵台110的部分。
图5A是示出根据一些实施方式的用于追踪眼动的处理的方框图。可以通过眼睛追踪单元400执行图5A的处理。在其他实施方式中，其他实体可以执行一些或所有该处理的步骤。同样地，实施方式可以包括不同的和/或额外的步骤，或者以不同的顺序执行步骤。
眼睛追踪单元400执行(510)校准工序。通过校准模块420控制校准工序，校准模块420使用结构光发射器430和照相机440以重复地扫描眼睛。眼睛扫描生成或者训练存储在模型存储器410中的眼睛的模型M。
随后，眼睛追踪单元400以结构光图案P扫描(530)眼睛。扫描(530) 眼睛包括从结构光发射器310投射结构光图案P到眼睛上并且用照相机 320检测投射到眼睛的部分上的失真的照射图案。照相机320捕获照射图案的图像I。
然后通过眼睛方位估计模块460估计(550)眼睛的方位。眼睛方位估计模块460将从眼睛扫描接收的图像I与存储在模型存储器410中的模型M比较。然后眼睛方位估计模块460输出眼睛的方位的估计。眼睛的方位的估计可以是分别对应于眼睛的偏转与俯仰的一对值，α和β。在估计(550)眼睛的方位之后，眼睛被以结构光图案再次扫描(530)。因此，扫描(530)眼睛以及估计(550)眼睛的方位组成眼睛追踪循环520。经由眼睛追踪循环520，可以连续地估计眼睛的方位。
在一些实施方式中，当眼睛330的方位不能被精确地估计时，眼睛追踪单元400可以输出“坏扫描”错误代码而非方位的估计。“坏扫描”可以当用户眨眼睛时或由于眼睛追踪系统中的不理想而发生。可以通过确定眼睛的模型M匹配眼睛的扫描(例如，S或I)的程度不在某个阈值内的这种度量来概率地检测“坏扫描”。在一些实施方式中，在某个时间帧内的若干“坏扫描”可以触发眼睛追踪循环520停止，并且校准工序可以再次执行(510)。
图5B是示出根据一些实施方式的用于估计眼睛的方位的处理的方框图。在一些实施方式中，通过图5B示出的处理是更大的眼睛追踪处理的部分。例如，如在图5A中示出的估计(550)眼睛的方位可以构成图5B 的处理。可以通过眼睛追踪单元400执行图5B的处理。在其他实施例中，其他实体可以执行一些或所有该处理的步骤。同样地，实施方式可以包括不同的和/或额外的步骤，或者以不同的顺序执行步骤。
眼睛追踪单元400在图像I中识别图案P′。I是通过照相机440捕获的由结构光图案P投射到眼睛上所引起的照射图案的图像。在I中识别P′ (560)可以构成：识别图像I中存在的对应于P中的特征的特征。例如，眼睛方位估计模块460可以通过诸如边缘检测算法的机器视觉算法确定照射图案的界线。眼睛方位估计模块460也可以识别对应于P中的特定局部最大值和局部最小值的I的强度中的局部最大值或者局部最小值。眼睛方位估计模块460也可以识别点、线、网格、或者对应于P中的特定特征的 I中的其他特征。
随后，估计(570)P'的特征与P的特征之间的空间差异。估计(570) 每个特征的空间差异可以用于生成表面S，即嵌入在中的二维表面。S 的生成可以基于发射器到照相机的几何结构以及P′的特征与P的特征之间的空间差异。基于通过结构光发射器430发射的图案P与基于通过照相机440捕获的图像I识别的图案P′之间的空间差异的近似表面的形状的技术为本领域中的技术人员所知。
比较(580)S与眼睛的模型M，以估计眼睛的方位。可以通过寻找S 与M最紧密地匹配的眼睛的俯仰和偏转角(α和β)将S与M比较(580)。在一些实施方式中，将M与S比较(580)进一步包括寻找滚转角(γ) 的值、一种转换、或者使M最紧密地匹配至S的它们的一些组合物。在一些实施方式中，直接将P′与P之间的空间差异拟合到模型M。估计眼睛的方位可以产生α、β、γ、以及平移矢量的一些组合的估计值。
图6示出根据一个实施方式的投射结构光以形成结构光投影图610的结构光发射器600。为了示意性的目的，示出了投射到与结构光发射器600 的轴线正交的平整表面上的结构光投影图610。结构光发射器600可以是在图3中描述的结构光发射器310或者在图4中描述的结构光发射器430。图6还示出了五个结构光图案：点矩阵620、单线630、正弦曲线640、多色调图案650、以及网格660。为了说明性的目的，这些结构光图案也被表示为投射在平展的正交平面上。结构光发射器600也可以输出其他结构光图案，诸如一个或多个条、一个或多个矩形、或者伪随机点。
多色调图案650是多个正弦曲线图案的组合。图6中的多色调图案650 描述了具有A[cos(ωx)+cos(2ωx)]的形式的强度的结构光图案，其中x是表示空间维度(例如，在笛卡尔坐标系或极坐标系)上的位置的变量。图6 描述该函数的4个周期(即，0<x<8π/ω)，尽管被实现的函数可以包括不同的周期数。在一些实施方式中，多色调图案650具有1毫弧度的周期。
通常，多色调图案650可以是可以具有不同波长、相位、以及振幅(例如，对于Ai,ωi,以及)的多个正弦曲线结构光图案的叠加。正弦曲线图案可以由单个波长或者单个波长的频带的光组成。可替代地，正弦曲线图案可以由不同波长的光组成。可以通过单个结构光发射器600或者多个结构光发射器发射多色调图案650。应注意多色调图案650不必如图6中所描述的那样是水平的。在一些实施方式中，多色调图案650是椭圆图案(例如，对于Ai,ai,bi,以及 其中y是表示与x所对应的方向正交的空间维度上的位置的变量)。
当结构光图案入射到诸如眼睛的弯曲表面上时，照射图案可以从不在结构光发射器600的轴线上的视角上表现出失真。眼睛追踪单元400使用失真的光以将景深信息归属到图像。在一些实施方式中，结构光图案是基于眼睛先前的方位移位的。例如，结构光图案可以移位，使得该结构光图案在相当于在先前的扫描中检测的眼睛的方位中的巩膜和角膜的边界的位置上居中。在一些实施方式中，当追踪失败(例如，“坏扫描”)时光的结构图案被设为具有更大区域的图案。这可以增加角膜的一部分被通过结构光图案照射的概率。当眼睛的方位被再次检测时，结构光图案可以被重置为具有更小区域的图案。
附加配置信息
本公开实施方式的上述描述仅出于说明的目的而呈现，并且不旨在穷尽或者将本公开局限于所公开的确切形式。相关领域技术人员应认识到，根据上述公开内容，可以有多种修改和变化。
本说明书的一些部分从信息操作的算法和符号表示法的角度描述了本公开的实施方式。这些算法的说明和表示由数据处理领域的技术人员普遍地用以向其他本领域技术人员有效地表达其工作内容。这些操作虽然被函数地、计算地、或者逻辑地描述，应理解为通过计算机程序或等效电路、微编码等实现。此外，有时把这些操作的配置称为模块也是方便的，并且不失其一般性。操作及其关联模块可具体化为软件、固件、硬件或以上设备的任意组合。
本文的任何步骤、操作或处理可被一个或多个硬件或软件模块单独或与其他设备组合执行或实施。在一个实施方式中，软件模块可被计算机程序产品实施，该计算机程序产品包括包含计算机程序代码的计算机可读介质，该程序代码可被计算机处理器执行，被用于执行任何或所有上述步骤、操作或处理。
本公开的实施方式还可涉及一种用于执行本文中的操作的装置。该装置可针对需要目的而具体构造，和/或该装置可包括由存储在计算机中的计算机程序选择性激活或者重新配置的通用计算设备。这种计算机程序可以存储在非暂时有形计算机可读存储介质、或者任何类型的适用于存储电子指令的介质中，该介质可以耦接至计算机系统总线。此外，本说明书中所指的任何计算系统可以包括单个处理器或者可以是采用用于增加算力的多处理器设计的架构。
本公开的实施方式还可以涉及通过本文中所描述的计算处理制造的产品。这种产品可以包括从计算处理中产生的信息，其中该信息存储在非暂时有形计算机可读存储介质上并且可以包括本文中描述的任何计算机程序产品或者其他数据组合物的实施方式。
最后，原则上出于可读性和说明性之目的来选择本说明书中使用的语言，并且所使用的语言并不被选择来划定或者限制本发明的主题。因此，本实施方式的范围并不旨在由具体实施方式来限定，而是由基于具体实施方式的本申请所发布的任何权利要求来限定。因此，实施方式的公开内容旨在用于说明，而非限制在所附权利要求中阐述的具体说明的范围。

Claims (26)

1.一种眼睛追踪单元，包括：
结构光的发射器，被配置为以结构光图案照射用户的眼睛，其中，所述结构光图案在所述眼睛的表面的一部分上产生失真的照射图案；
照相机，被配置为捕获与所述眼睛的表面的一部分相关联的所述失真的照射图案的图像；以及
眼睛方位估计模块，被配置为基于由所述照相机捕获的图像和所述眼睛的模型来估计所述眼睛的方位，其中，估计所述眼睛的方位包括：
估计所述眼睛的瞳孔中心轴的方向；以及
基于估计的所述瞳孔中心轴的方向并且基于所述瞳孔中心轴与所述眼睛的凹轴之间的偏移，来估计所述凹轴的方向。
2.根据权利要求1所述的眼睛追踪单元，其中，所述眼睛追踪单元是头戴式显示器(HMD)的组件，所述HMD包括：
显示元件，被配置为向佩戴所述HMD的用户显示内容；以及
光学块，被配置为引导来自所述显示元件的光至所述HMD的出射光孔。
3.根据权利要求1所述的眼睛追踪单元，还包括校准模块，所述校准模块被配置为：
控制显示元件，以在所述显示元件上在一位置处显示视觉指示器；
从所述照相机接收由所述发射器投射到所述眼睛上的第二失真照射图案的第二图像；以及
基于捕获的所述第二图像并且基于所述视觉指示器的所述位置训练用户的所述眼睛的所述模型。
4.根据权利要求1所述的眼睛追踪单元，其中，所述眼睛方位估计模块被配置为：
基于在所述图像中捕获的所述照射图案中的失真来确定所述眼睛的表面的所述部分的形状；以及
比较所述眼睛的模型与确定的所述眼睛的表面的所述部分的形状。
5.根据权利要求1所述的眼睛追踪单元，其中，所述眼睛方位估计模块被配置为：
检测捕获的所述图像中的多个照射点中的每个照射点的位置；
基于所述失真的照射图案在捕获的所述图像中的位置与在所述结构光图案中的所述照射点自所述发射器的对应角的比较，确定每个照射点的三维位置；以及
比较所述眼睛的模型与确定的所述照射点的三维位置。
6.根据权利要求1所述的眼睛追踪单元，其中，所述眼睛方位估计模块被配置为：部分地基于对所述眼睛的特征的位置进行检测来估计所述眼睛的方位，其中，基于捕获的所述图像和所述眼睛的模型来进行所述检测，所述特征选自由角膜的曲率、角膜-巩膜界面、所述角膜之下的虹膜特征、以及所述角膜的顶点组成的组。
7.根据权利要求1所述的眼睛追踪单元，其中，所述眼睛方位估计模块被配置为部分地基于确定眼睛的偏转、俯仰和滚转转动以及所述眼睛的三维移位矢量来估计所述眼睛的方位。
8.根据权利要求1所述的眼睛追踪单元，其中，所述结构光图案选自由点矩阵、正弦曲线、单线或多线片段、以及多色调图案组成的组。
9.根据权利要求1所述的眼睛追踪单元，其中，所述结构光图案包括红外光，并且其中，所述照相机是红外照相机。
10.一种眼睛追踪单元，包括：
结构光的第一发射器，被配置为以第一结构光图案照射用户的第一眼睛，其中，所述第一结构光图案在所述第一眼睛的表面的一部分上产生失真的第一照射图案；
结构光的第二发射器，被配置为以第二结构光图案照射所述用户的第二眼睛，其中，所述第二结构光图案在所述第二眼睛的表面的一部分上产生失真的第二照射图案；
第一照相机，被配置为捕获与所述第一眼睛的表面的所述部分相关联的失真的所述第一照射图案的第一图像；
第二照相机，被配置为捕获与所述第二眼睛的表面的所述部分相关联的失真的所述第二照射图案的第二图像；以及
眼睛方位估计模块，被配置为：
基于由所述第一照相机捕获的所述第一图像以及模型估计所述第一眼睛的第一方位，
基于由所述第二照相机捕获的所述第二图像以及所述模型估计所述第二眼睛的第二方位，
估计所述第一眼睛的瞳孔中心轴的方向；以及
基于估计的所述瞳孔中心轴的方向并且基于所述瞳孔中心轴与所述第一眼睛的凹轴之间的偏移，来估计所述凹轴的方向。
11.根据权利要求10所述的眼睛追踪单元，其中，所述眼睛追踪单元是头戴式显示器(HMD)的组件，所述HMD被配置为使用所述第一方位和所述第二方位确定所述用户的瞳孔间距离。
12.根据权利要求10所述的眼睛追踪单元，其中，所述眼睛追踪单元是头戴式显示器(HMD)的组件，所述HMD被配置为使用所述第一方位和所述第二方位确定所述用户的凝视方向。
13.根据权利要求10所述的眼睛追踪单元，还包括校准模块，所述校准模块被配置为：
控制显示元件，以在所述显示元件上在一位置处显示视觉指示器；
从所述第一照相机接收由所述第一发射器投射到所述第一眼睛上的失真的第三照射图案的第三图像；以及
基于捕获的所述第三图像并且基于所述视觉指示器的所述位置训练所述模型。
14.根据权利要求10所述的眼睛追踪单元，其中，所述眼睛方位估计模块被配置为：
基于捕获的所述第一图像中的所捕获的所述第一照射图案中的失真来确定所述第一眼睛的表面的所述部分的形状；以及
比较所述模型与确定的所述第一眼睛的表面的所述部分的形状。
15.根据权利要求10所述的眼睛追踪单元，其中，所述眼睛方位估计模块被配置为：
检测捕获的所述第一图像中的多个照射点中的每个照射点的位置；
部分地基于比较所述照射点在捕获的所述第一图像中的位置与在所述第一结构光图案中的所述照射点自发射器的对应角，确定每个照射点的三维位置；以及
比较所述模型与确定的所述照射点的三维位置。
16.根据权利要求10所述的眼睛追踪单元，其中，所述眼睛方位估计模块被配置为：部分地基于对所述第一眼睛的特征的位置进行检测来估计所述第一眼睛的方位，其中，基于捕获的所述第一图像和所述模型来进行所述检测，所述特征选自由角膜的曲率、角膜-巩膜界面、所述角膜之下的虹膜特征、以及所述角膜的顶点组成的组。
17.根据权利要求10所述的眼睛追踪单元，其中，所述眼睛方位估计模块被配置为：部分地基于确定所述第一眼睛和所述第二眼睛中的每一个眼睛各自的偏转、俯仰和滚转转动以及各自的眼睛移位矢量，来估计所述第一方位和所述第二方位。
18.根据权利要求10所述的眼睛追踪单元，其中，所述第一结构光图案和所述第二结构光图案各自选自由点矩阵、正弦曲线、单线或多线片段、以及多色调图案组成的组。
19.一种方法，包括：
将结构光图案投射到用户的眼睛上，所述结构光图案在所述眼睛的表面的一部分上产生失真的照射图案；
捕获所述眼睛的表面的所述部分上的所述失真的照射图案的图像；以及
基于捕获的所述图像和所述眼睛的模型来估计所述眼睛的方位，其中，估计所述眼睛的方位包括：
估计所述眼睛的瞳孔中心轴的方向；以及
基于估计的所述瞳孔中心轴的方向并且基于所述瞳孔中心轴与所述眼睛的凹轴之间的偏移，来估计所述凹轴的方向。
20.根据权利要求19所述的方法，还包括：
控制显示元件，以在所述显示元件上在一位置处显示视觉指示器；
捕获在所述眼睛的表面的一部分上的第二失真照射图案的第二图像；以及
基于捕获的所述第二图像并且基于所述视觉指示器的所述位置训练用户的所述眼睛的所述模型。
21.根据权利要求19所述的方法，其中，估计所述眼睛的方位还包括：
基于在捕获的所述图像中的所述照射图案中的失真来确定所述眼睛的所述表面的所述部分的形状；以及
比较所述眼睛的模型与确定的所述眼睛的表面的所述部分的形状。
22.根据权利要求19所述的方法，其中，估计所述眼睛的方位还包括：
检测捕获的所述图像中的多个照射点中的每个照射点的位置；
基于所述失真的照射图案在捕获的所述图像中的位置与在所述结构光图案中的所述照射点自发射器的对应角的比较，确定每个照射点的三维位置；以及
比较所述眼睛的模型与确定的所述照射点的三维位置。
23.根据权利要求19所述的方法，其中，部分地基于对所述眼睛的特征的位置进行检测来估计所述眼睛的方位，其中，基于捕获的所述图像和所述眼睛的模型来进行所述检测，所述特征选自由角膜的曲率、角膜-巩膜界面、所述角膜之下的虹膜特征、以及所述角膜的顶点组成的组。
24.根据权利要求19所述的方法，其中，部分地基于确定所述眼睛的偏转、俯仰和滚转转动以及所述眼睛的三维移位矢量来估计所述眼睛的方位。
25.根据权利要求19所述的方法，其中，所述结构光图案选自由点矩阵、正弦曲线、单线或多线片段、以及多色调图案组成的组。
26.根据权利要求19所述的方法，其中，所述结构光图案包括红外光，并且其中，所述图像由红外照相机捕获。
CN201680063458.9A 2015-11-02 2016-11-01 使用结构光的眼睛追踪 Active CN108351514B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562249852P 2015-11-02 2015-11-02
US62/249,852 2015-11-02
US15/335,634 US9983709B2 (en) 2015-11-02 2016-10-27 Eye tracking using structured light
US15/335,634 2016-10-27
PCT/US2016/059938 WO2017079172A1 (en) 2015-11-02 2016-11-01 Eye tracking using structured light

Publications (2)

Publication Number Publication Date
CN108351514A CN108351514A (zh) 2018-07-31
CN108351514B true CN108351514B (zh) 2019-11-22

Family

ID=58635627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680063458.9A Active CN108351514B (zh) 2015-11-02 2016-11-01 使用结构光的眼睛追踪

Country Status (6)

Country Link
US (2) US9983709B2 (zh)
EP (1) EP3341783A4 (zh)
JP (2) JP6586523B2 (zh)
KR (2) KR101962302B1 (zh)
CN (1) CN108351514B (zh)
WO (1) WO2017079172A1 (zh)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
DE102015204281A1 (de) * 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren zur Kalibrierung einer Kamera für eine Blickrichtungserkennung in einem Fahrzeug, Vorrichtung für ein Kraftfahrzeug mit einer Kamera und mindestens einem weiteren Element und Computerprogrammprodukt
KR20230150397A (ko) * 2015-08-21 2023-10-30 매직 립, 인코포레이티드 눈 포즈 측정을 사용한 눈꺼풀 형상 추정
CN108369653B (zh) 2015-10-16 2021-12-14 奇跃公司 使用眼睛特征的眼睛姿态识别
CN105913487B (zh) * 2016-04-09 2018-07-06 北京航空航天大学 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10154254B2 (en) 2017-01-17 2018-12-11 Facebook Technologies, Llc Time-of-flight depth sensing for eye tracking
US10485420B2 (en) * 2017-02-17 2019-11-26 Analog Devices Global Unlimited Company Eye gaze tracking
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US10061352B1 (en) * 2017-08-14 2018-08-28 Oculus Vr, Llc Distributed augmented reality system
KR102495234B1 (ko) 2017-09-06 2023-03-07 삼성전자주식회사 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
US10712579B1 (en) * 2017-09-20 2020-07-14 Facebook Technologies, Llc Vortex linearization of micro-LED polarization
EP3462382A1 (en) * 2017-10-02 2019-04-03 Facebook Technologies, LLC Eye tracking system using dense structured light patterns
US10725537B2 (en) * 2017-10-02 2020-07-28 Facebook Technologies, Llc Eye tracking system using dense structured light patterns
US11237628B1 (en) * 2017-10-16 2022-02-01 Facebook Technologies, Llc Efficient eye illumination using reflection of structured light pattern for eye tracking
KR20230152180A (ko) 2017-12-10 2023-11-02 매직 립, 인코포레이티드 광학 도파관들 상의 반사―방지 코팅들
CA3086206A1 (en) 2017-12-20 2019-06-27 Magic Leap, Inc. Insert for augmented reality viewing device
EP3501375A1 (en) * 2017-12-22 2019-06-26 Nokia Technologies Oy An eye monitoring apparatus
US10523930B2 (en) 2017-12-29 2019-12-31 Microsoft Technology Licensing, Llc Mitigating binocular rivalry in near-eye displays
KR20200110367A (ko) * 2018-01-17 2020-09-23 매직 립, 인코포레이티드 디스플레이 시스템들에서의 눈 회전 중심 결정, 깊이 평면 선택, 및 렌더 카메라 포지셔닝
US10477186B2 (en) * 2018-01-17 2019-11-12 Nextvr Inc. Methods and apparatus for calibrating and/or adjusting the arrangement of cameras in a camera pair
GB2571300B (en) 2018-02-23 2020-05-27 Sony Interactive Entertainment Inc Eye tracking method and apparatus
US10755676B2 (en) * 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US11885871B2 (en) 2018-05-31 2024-01-30 Magic Leap, Inc. Radar head pose localization
JP7369147B2 (ja) 2018-06-05 2023-10-25 マジック リープ， インコーポレイテッド 視認システムのホモグラフィ変換行列ベースの温度較正
CN108985172A (zh) * 2018-06-15 2018-12-11 北京七鑫易维信息技术有限公司 一种基于结构光的视线追踪方法、装置、设备及存储介质
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US10747009B1 (en) * 2018-07-20 2020-08-18 Facebook Technologies, Llc Symmetrical facet Fresnel combiner
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
US11598651B2 (en) 2018-07-24 2023-03-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
WO2020023542A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Display systems and methods for determining registration between a display and eyes of a user
US11112862B2 (en) 2018-08-02 2021-09-07 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
CN110603513B (zh) * 2018-08-27 2023-08-29 深圳市汇顶科技股份有限公司 一种眼睛跟踪设备及利用光学成像跟踪眼睛的方法
WO2020042843A1 (en) * 2018-08-27 2020-03-05 Shenzhen GOODIX Technology Co., Ltd. Eye tracking based on imaging eye features and assistance of structured illumination probe light
ES2945789T3 (es) * 2018-11-15 2023-07-07 Tobii Ab Método y dispositivo para calibrar un oculómetro
JP7472127B2 (ja) 2018-11-16 2024-04-22 マジック リープ， インコーポレイテッド 画像鮮明度を維持するための画像サイズによってトリガされる明確化
US11256213B2 (en) 2018-12-17 2022-02-22 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using an array of parabolic mirrors
US10948873B2 (en) 2018-12-17 2021-03-16 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a lens array
US10942489B2 (en) 2018-12-17 2021-03-09 Facebook Technologies, Llc Wide-field holographic pattern generation for head-mounted display (HMD) eye tracking
US10838362B2 (en) 2018-12-17 2020-11-17 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a prism array
US11281160B2 (en) 2018-12-17 2022-03-22 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a fiber exposure
US11409240B2 (en) 2018-12-17 2022-08-09 Meta Platforms Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a diffractive optical element
US10816809B2 (en) 2018-12-17 2020-10-27 Facebook Technologies, Llc Holographic in-field illuminator
CN109711302B (zh) * 2018-12-18 2019-10-18 北京诺亦腾科技有限公司 模型参数校准方法、装置、计算机设备和存储介质
US10996751B2 (en) * 2018-12-21 2021-05-04 Tobii Ab Training of a gaze tracking model
US10963103B1 (en) * 2018-12-24 2021-03-30 Facebook Technologies, Llc Display system with integrated depth detection
CN111435069B (zh) * 2019-01-14 2022-07-08 顺丰科技有限公司 测量体积的方法和装置
US11458040B2 (en) * 2019-01-23 2022-10-04 Meta Platforms Technologies, Llc Corneal topography mapping with dense illumination
US11686935B2 (en) * 2019-01-29 2023-06-27 Meta Platforms Technologies, Llc Interferometric structured illumination for depth determination
US11326763B1 (en) 2019-02-06 2022-05-10 Apple Inc. Light-emitting diodes with optical filters
US11861941B1 (en) * 2019-02-06 2024-01-02 Apple Inc. Eye camera systems with polarized light
JP2022523852A (ja) 2019-03-12 2022-04-26 マジック リープ， インコーポレイテッド 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ
JP7328322B2 (ja) * 2019-03-18 2023-08-16 株式会社ソニー・インタラクティブエンタテインメント 入力デバイス
US10816810B1 (en) * 2019-04-08 2020-10-27 Htc Corporation Head mounted display apparatus
US11176367B1 (en) * 2019-05-01 2021-11-16 Facebook Technologies, Llc Apparatuses, systems, and methods for mapping a surface of an eye via an event camera
WO2021006903A1 (en) * 2019-07-11 2021-01-14 Hewlett-Packard Development Company, L.P. Eye-tracking for displays
US11868525B2 (en) 2019-07-16 2024-01-09 Magic Leap, Inc. Eye center of rotation determination with one or more eye tracking cameras
WO2021021670A1 (en) 2019-07-26 2021-02-04 Magic Leap, Inc. Systems and methods for augmented reality
WO2021021085A1 (en) * 2019-07-26 2021-02-04 Hewlett-Packard Development Company, L.P. Modification of projected structured light based on identified points within captured image
TWI751647B (zh) * 2019-08-13 2022-01-01 宏達國際電子股份有限公司 頭戴式顯示器
TWI797488B (zh) 2019-10-18 2023-04-01 宏達國際電子股份有限公司 頭戴式顯示裝置及調整方法
EP4058979A4 (en) 2019-11-15 2023-01-11 Magic Leap, Inc. VIEWING SYSTEM FOR USE IN A SURGICAL ENVIRONMENT
KR20210117062A (ko) 2020-03-18 2021-09-28 한국전자통신연구원 시선 추적 방법 및 장치
KR102460821B1 (ko) * 2020-10-28 2022-10-28 재단법인대구경북과학기술원 증강 현실 장치 및 증강 현실 장치의 동작 방법
WO2022158795A1 (ko) * 2021-01-21 2022-07-28 삼성전자 주식회사 사용자의 시선을 검출하는 증강 현실 장치 및 방법
KR20220111144A (ko) * 2021-02-01 2022-08-09 삼성전자주식회사 HMD(head mounted display)의 영상 처리 방법 및 이 방법을 실행하는 HMD
CN112926523B (zh) 2021-03-30 2022-07-26 青岛小鸟看看科技有限公司 基于虚拟现实的眼球追踪方法、系统
CN113251951B (zh) * 2021-04-26 2024-03-01 湖北汽车工业学院 基于单标定面映射的线结构光视觉测量系统的标定方法
SE2151198A1 (en) * 2021-09-30 2023-03-31 Tobii Ab Gaze defect compensation
US11900845B2 (en) 2021-10-28 2024-02-13 Samsung Electronics Co., Ltd. System and method for optical calibration of a head-mounted display
DE102021128135A1 (de) 2021-10-28 2023-05-04 Robert Bosch Gesellschaft mit beschränkter Haftung Laservorrichtung, Scanvorrichtung und ein Verfahren zum Herstellen einer Laservorrichtung
CN114360043B (zh) * 2022-03-18 2022-06-17 南昌虚拟现实研究院股份有限公司 模型参数标定方法、视线追踪方法、装置、介质及设备
WO2023211792A1 (en) * 2022-04-25 2023-11-02 Twenty Twenty Therapeutics Llc Mapping of corneal topography using a vr headset
CN114972613A (zh) * 2022-04-28 2022-08-30 广州时秤信息技术有限公司 虚拟角色的瞳孔处理方法、装置、设备及存储介质
US20230388620A1 (en) * 2022-05-26 2023-11-30 Motorola Mobility Llc Visual Feature Based Video Effects
KR20240020960A (ko) * 2022-08-09 2024-02-16 삼성전자주식회사 시선 방향을 식별하는 전자 장치 및 그 작동 방법
US11950000B2 (en) 2022-09-07 2024-04-02 Microsoft Technology Licensing, Llc Resolution enhancement in spatial-frequency space

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130176533A1 (en) * 2012-01-06 2013-07-11 Hayes Solos Raffle Structured Light for Eye-Tracking
US20150288944A1 (en) * 2012-09-03 2015-10-08 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Head mounted system and method to compute and render a stream of digital images using a head mounted display

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3298081B2 (ja) 1994-12-06 2002-07-02 日本電信電話株式会社 ヘッドマウントディスプレイ装置
US6659611B2 (en) * 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
EP1785991A4 (en) 2004-08-04 2009-01-07 Asahi Glass Co Ltd LIQUID CRYSTAL LENS ELEMENT AND OPTICAL HEAD
US20060210111A1 (en) 2005-03-16 2006-09-21 Dixon Cleveland Systems and methods for eye-operated three-dimensional object location
KR20130011692A (ko) 2011-07-22 2013-01-30 삼성전자주식회사 깊이 영상과 컬러 영상을 획득하는 픽셀 구조를 가진 이미지 센서
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US20130241805A1 (en) 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US8970827B2 (en) 2012-09-24 2015-03-03 Alces Technology, Inc. Structured light and time of flight depth capture with a MEMS ribbon linear array spatial light modulator
US9123142B2 (en) * 2012-10-02 2015-09-01 At&T Intellectual Property I, L.P. Adjusting content display orientation on a screen based on user orientation
TWI481901B (zh) 2012-12-03 2015-04-21 Wistron Corp 頭戴式顯示裝置
RU2012154657A (ru) 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
JP2014219621A (ja) 2013-05-10 2014-11-20 株式会社タイトー 表示装置、表示制御プログラム
KR102098277B1 (ko) 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US9498114B2 (en) * 2013-06-18 2016-11-22 Avedro, Inc. Systems and methods for determining biomechanical properties of the eye for applying treatment
US10061028B2 (en) 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
US20150106386A1 (en) 2013-10-11 2015-04-16 Microsoft Corporation Eye tracking
JP6146293B2 (ja) 2013-12-25 2017-06-14 ソニー株式会社 制御装置、制御方法および制御システム
US9671612B2 (en) 2014-01-29 2017-06-06 Google Inc. Dynamic lens for head mounted display
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
US10241569B2 (en) 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130176533A1 (en) * 2012-01-06 2013-07-11 Hayes Solos Raffle Structured Light for Eye-Tracking
US20150288944A1 (en) * 2012-09-03 2015-10-08 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Head mounted system and method to compute and render a stream of digital images using a head mounted display

Also Published As

Publication number Publication date
EP3341783A4 (en) 2019-11-20
US20170123526A1 (en) 2017-05-04
JP6586523B2 (ja) 2019-10-02
KR20180064413A (ko) 2018-06-14
JP6902075B2 (ja) 2021-07-14
US20180246590A1 (en) 2018-08-30
EP3341783A1 (en) 2018-07-04
CN108351514A (zh) 2018-07-31
US9983709B2 (en) 2018-05-29
KR101962302B1 (ko) 2019-03-26
JP2020034919A (ja) 2020-03-05
WO2017079172A1 (en) 2017-05-11
JP2019500660A (ja) 2019-01-10
US10268290B2 (en) 2019-04-23
KR20190031599A (ko) 2019-03-26

Similar Documents

Publication Publication Date Title
CN108351514B (zh) 使用结构光的眼睛追踪
KR102062658B1 (ko) 안구 모델을 생성하기 위한 각막의 구체 추적
US10257507B1 (en) Time-of-flight depth sensing for eye tracking
US11016301B1 (en) Accommodation based optical correction
US10878236B2 (en) Eye tracking using time multiplexing
US10614577B1 (en) Eye tracking system with single point calibration
EP3485356B1 (en) Eye tracking based on light polarization
US8077914B1 (en) Optical tracking apparatus using six degrees of freedom
US11238340B1 (en) Predictive eyetracking using recurrent neural networks
US10692224B1 (en) Estimation of absolute depth from polarization measurements
US6659611B2 (en) System and method for eye gaze tracking using corneal image mapping
US9715274B2 (en) Method for determining the direction in which a user is looking
WO2019070405A1 (en) OCULOMETRY SYSTEM USING DENSED STRUCTURED LIGHT PATTERNS
JP7030317B2 (ja) 瞳孔検出装置及び瞳孔検出方法
CN109922710A (zh) 使用散斑图案执行眼睛跟踪的方法和系统
CN108537103B (zh) 基于瞳孔轴测量的活体人脸检测方法及其设备
JP6555707B2 (ja) 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Facebook Technologies, LLC

Address before: California, USA

Applicant before: OCULUS VR, LLC

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC

CP01 Change in the name or title of a patent holder