CN108780223A - 用于生成眼睛模型的角膜球跟踪 - Google Patents

用于生成眼睛模型的角膜球跟踪 Download PDF

Info

Publication number
CN108780223A
CN108780223A CN201780016315.7A CN201780016315A CN108780223A CN 108780223 A CN108780223 A CN 108780223A CN 201780016315 A CN201780016315 A CN 201780016315A CN 108780223 A CN108780223 A CN 108780223A
Authority
CN
China
Prior art keywords
eyes
user
pupil
light
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780016315.7A
Other languages
English (en)
Other versions
CN108780223B (zh
Inventor
沃伦·安德鲁·亨特
罗伯特·达勒·卡文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Oculus VR Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oculus VR Inc filed Critical Oculus VR Inc
Publication of CN108780223A publication Critical patent/CN108780223A/zh
Application granted granted Critical
Publication of CN108780223B publication Critical patent/CN108780223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

头戴式显示器(HMD)包括被配置为使得能够使用光进行眼睛跟踪的眼睛跟踪系统。眼睛跟踪系统包括相对于彼此定位的两个或更多个照明源和针对每只眼睛的光学检测器。光学检测器被配置为使用来自眼睛的反射来捕获照明源的图像。当用户观看HMD中的各个对象时，系统收集数据。该系统通过确定三维空间中的瞳孔形状、中央凹度偏移和角膜半径中的一项或多项来确定眼睛的形状。眼睛的形状用于确定用户的眼睛的三维位置以及注视方向。

Description

用于生成眼睛模型的角膜球跟踪
技术领域
本公开总体上涉及眼睛跟踪，并且具体地涉及用于生成眼睛模型的角膜球跟踪。
背景技术
眼睛跟踪是针对头戴式显示(HMD)系统的重要特征，该头戴式显示(HMD)系统包括在虚拟现实(VR)应用中使用的系统。常规跟踪系统跟踪人类眼睛的特征并且通常受限于光学路径的质量。这些常规系统不提供在HMD系统中的眼睛跟踪所需的足够的准确度。
发明内容
公开了一种用于生成并校准眼睛模型的眼睛跟踪系统。眼睛跟踪系统可以用于VR系统环境或其他系统环境(诸如增强现实(AR)系统)中。眼睛跟踪系统包括至少两个照明源和用于对每只眼睛进行建模的光学传感器。光学传感器和至少两个照明源相对于彼此定位使得光学传感器可以使用来自眼睛的角膜的反射来捕获照明源的图像(在下文中被称为“角膜反射”)。当用户移动他们的眼睛时(例如，在生成眼睛模型的校准过程期间和/或在正常使用期间)，系统收集数据。该系统通过基于所收集的数据确定每只眼睛的角膜球的半径和原点来对眼睛进行建模，其中每只眼睛被近似为两个球体，其中一个球体逼近整个眼睛(例如，一个巩膜表面的一部分)并且另一个球体的一部分(即，角膜球)逼近角膜的一部分。系统使用眼睛模型来执行各种光学动作，诸如确定用户的注视方向、聚散角/深度和适应深度。
除了其他步骤之外，该校准过程包括确定瞳孔轴线和/或确定针对每只眼睛的瞳孔轴线与眼睛真实视线之间的角度偏移。眼睛跟踪系统获得眼睛的眼睛模型(例如，其自身生成或从眼睛跟踪系统的外部接收)，该眼睛模型包括每只眼睛的角膜球的半径和原点的信息，其中每只眼睛被近似为两个球体，一个球体近似眼睛的巩膜表面的一部分并且另一个球体(即，角膜球)的一部分近似角膜的一部分。校准过程包括在用户正在观看一个或多个已知目标(例如，VR头戴设备的电子显示器上的特定点)时或者在以正常操作模式观看在HMD上显示的内容时捕获用户的瞳孔的图像。在一个实施方式中，在用户仅需要查看电子显示器上的一个特定目标的情况下，执行单点校准。
眼睛跟踪系统识别在用户的眼睛的所捕获的图像中的每一个图像中的瞳孔的形状，并且然后使用所识别的瞳孔的形状以及所获得的眼睛模型信息来确定瞳孔位于其中的三维(3D)平面。然后导出可观测轴线，该可观测轴线识别源自3D平面并且垂直于角膜球的角膜表面的光线。这个轴线在本文中被定义为眼睛的瞳孔轴线。该系统还可以确定瞳孔轴线与眼睛的真实视线(即，由中央凹物的位置表示)之间的角度偏移。该系统可以进一步确定用户的眼睛的扭转状态或通过跟踪用户的虹膜以及所确定的瞳孔轴线和/或角度偏移来确定用户标识。在一些实施方式中，用于确定瞳孔轴线和/或瞳孔轴线与用户的真实视线之间的角度偏移的校准过程基于用户的眼睛的单个图像并且仅执行一次。例如，在用户首次戴上VR头戴设备时执行校准过程并且VR头戴设备将对应于用户的校准数据存储在存储器中以供同一用户将来使用。
根据本发明的实施方式具体地在涉及头戴式显示器的所附权利要求中公开。所附权利要求中的依赖关系或引用内容仅依形式理性选择。但是，从之前的任何权利要求中(具体而言，多重依赖关系)刻意引用的任何主题也可被要求保护，因此无论所附权利要求选择何种依赖关系，权利要求及其特征的任何组合都能被要求保护。可以要求保护的主题不仅包括如在所附权利要求书中阐述的特征的组合，还包括如在权利要求中的特征的任何其他组合，其中在权利要求中提到的每个特征可以与权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的任何实施方式和特征可以在单独的权利要求中要求保护，和/或与本文描述或描绘的任何实施方式或特征或与所附权利要求的任何特征相结合来要求保护。
在实施方式中，提供了头戴式显示器，该头戴式显示器包括眼睛跟踪系统。眼睛跟踪系统可以包括被配置为照亮用户的眼睛的两个或更多个照明源、被配置为捕获从与用户的眼睛相关联的角膜反射的光作为图像的检测器、以及控制模块。
该控制模块可以被配置为用来自该两个或更多个照明源的光照射用户的眼睛，在该检测器处捕获该用户的眼睛的一个或多个图像，基于所捕获的该用户的眼睛的一个或多个图像生成眼睛的模型，并且部分地基于所生成的眼睛的模型来执行光学动作。
在头戴式显示器的实施方式中，两个或更多个照明源中的每一个照明源可以被配置为发射不同波长的光。
在头戴式显示器的实施方式中，由两个或更多个照明源中的每个照明源发射的光可以以不同的频率和/或不同的振幅来调制。
在头戴式显示器的实施方式中，两个或更多个照明源可形成环形图案。
在头戴式显示器的实施方式中，检测器可以是被适配成和/或可操作成捕获用户的眼睛的多个图像的光学传感器。
在头戴式显示器的实施方式中，所生成的模型可包括近似眼睛的巩膜表面的一部分的第一球体和近似角膜的第二球体。
在头戴式显示器的实施方式中，生成眼睛的模型可以包括：
接收捕获的用户的眼睛的一个或多个图像，该图像包括一个或多个角膜反射；
生成眼睛的模型，所生成的眼睛的模型包括与该第一球体相关联的半径和原点以及与该第二球体相关联的半径和原点；以及
将所生成的模型存储在与该头戴式显示器相关联的数据库中。
在头戴式显示器的实施方式中，控制模块可以进一步被配置为将角膜运动建模为绕与该第一球体相关联的原点的旋转。
在头戴式显示器的实施方式中，生成眼睛的模型可以包括：
检索参考眼睛的学习模型，该学习模型包括该参考眼睛的一个或多个移动与和该参考眼睛相关联的角膜反射之间的关系；
捕获该用户的眼睛的图像，该一个或多个图像包括角膜反射；以及
基于该参考眼睛的该一个或多个角膜反射与和所捕获的图像相关联的该角膜反射之间的比较来外插与该眼睛模型相关联的一个或多个参数值。
在实施方式中，该头戴式显示器可以包括被配置为向用户显示图像的电子显示器、被配置为放大由该光学块从该电子显示器接收的光的光学块；和或眼睛跟踪系统。眼睛跟踪系统可以包括被配置为照亮用户的眼睛的表面的两个或更多个照明源、被配置为捕获从角膜反射的光作为图像的检测器、以及控制模块。控制模块可以被配置为在用户正在观看头戴式显示器中的已知位置时用来自两个或更多个照明源的光照亮用户的眼睛，在检测器处捕获用户的眼睛的一个或多个图像，基于所捕获的用户的眼睛的一个或多个图像执行一次性单点校准，并且执行光学动作。
在头戴式显示器的实施方式中，两个或更多个照明源可相对于彼此定位，使得检测器能够基于从角膜反射的光捕获两个或更多个照明源的一个或多个图像。
在头戴式显示器的实施方式中，两个或更多个照明源可以是电子显示器的一部分。
在头戴式显示器的实施方式中，执行一次性单点校准可包括：
访问与该用户的眼睛对应的眼睛模型信息，该眼睛模型信息包括眼睛的角膜球的半径和该角膜球的中心的位置；
在用户正在观看电子显示器上的已知位置时，在相机处捕获用户的眼睛的瞳孔的图像；
通过处理所接收的图像来确定该瞳孔的形状；
基于所接收的眼睛模型信息和所确定的瞳孔形状来识别包括该眼睛瞳孔的平面；以及
通过识别源自该平面并且垂直于角膜球的表面的光线来确定针对该瞳孔的瞳孔轴线。
在头戴式显示器的实施方式中，确定瞳孔的形状可以包括确定在由检测器捕获的一个或多个图像中的反射的强度跨用户的眼睛的变化；
在头戴式显示器的实施方式中，执行一次性单点校准可进一步包括：迭代地修改所确定的瞳孔形状以校正角膜的折射失真。
在头戴式显示器的实施方式中，执行一次单点校准可以进一步包括：确定瞳孔轴线和与和眼睛相关联的真实视线之间的偏移。
在头戴式显示器的实施方式中，执行一个或多个光学动作可包括执行选自由以下各项组成的组的动作：确定用户的聚散角、确定用户的适应深度、识别用户、确定眼睛的扭转状态，或其中的一些组合。
附图说明
图1是根据实施方式的包括VR系统的系统环境的框图。
图2A是根据实施方式的VR头戴设备的图。
图2B是根据实施方式的图2A中的VR头戴设备的前刚性体的截面。
图3描绘了根据实施方式的用于生成眼睛模型的示例眼睛跟踪系统。
图4是根据实施方式的用于使用眼睛跟踪系统生成眼睛模型的示例过程的流程图。
图5是根据实施方式的用于使用眼睛模型确定用户的注视方向的示例过程的流程图。
图6描绘了根据实施方式的针对HMD系统的示例一次性单点校准。
图7是根据实施方式的用于HMD系统的一次性单点校准的示例过程的流程图。
附图仅出于说明的目的描绘了本公开的实施方式。本领域的技术人员将从以下描述中容易地认识到，在不脱离本文描述的本公开的原理或益处的情况下可以采用本文所示的结构和方法的替代实施方式。
具体实施方式
系统概述
图1是其中VR控制台110进行操作的VR系统环境100的框图。图1所示的系统环境100包括各自耦接到VR控制台110的VR头戴设备105、成像设备135和VR输入界面140。尽管图1示出了包括一个VR头戴设备105、一个成像设备135和一个VR输入界面140的示例系统100，但是在其他实施方式中，系统100中可以包括任何数量的这些部件。例如，可能存在多个VR头戴设备105，每个VR头戴设备105具有相关联的VR输入界面140并且由一个或多个成像设备135来监测，其中每个VR头戴设备105、VR输入界面140以及成像设备135与VR控制台110通信。在替代配置中，系统环境100中可包含不同和/或额外的部件。
VR头戴设备105是向用户呈现内容的HMD。由VR头戴设备呈现的内容的示例包括一个或多个图像、视频、音频或其中的一些组合。在一些实施方式中，经由外部设备(例如，扬声器和/或耳机)呈现音频，该外部设备从VR头戴设备105、VR控制台110或两者接收音频信息，并且基于音频信息呈现音频数据。下文结合图2A和图2B进一步描述VR头戴设备105的实施方式。VR头戴设备105可以包括一个或多个刚性体，该一个或多个刚性体可以刚性地或非刚性地彼此耦接在一起。刚性体之间的刚性耦接使得所耦接的刚性体充当单个刚性实体。相反，刚性体之间的非刚性耦接允许刚性体相对于彼此移动。
VR头戴设备105包括电子显示器115、光学块118、一个或多个定位器120、一个或多个位置传感器125、惯性测量单元(IMU)130和眼睛跟踪系统160。电子显示器115根据从VR控制台110接收的数据向用户显示图像。在各种实施方式中，电子显示器115可以包括单个电子显示器或多个电子显示器(例如，用于用户的每只眼睛的显示器)。电子显示器115的示例包括：液晶显示器(LCD、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管显示器(AMOLED)、一些其他显示器或它们的一些组合。
光学块118放大从电子显示器115接收的光，校正与图像光相关联的光学误差，并且将经校正的图像光呈现给VR头戴设备105的用户。光学元件可以是光圈、菲涅耳透镜、凸透镜、凹透镜、滤波器或影响从电子显示器115发射的图像光的任何其他合适的光学元件。此外，光学块118可以包括不同光学元件的组合。在一些实施方式中，光学块118中的光学元件中的一个或多个可以具有一个或多个涂层，例如抗反射涂层。
光学块118对图像光的放大允许电子显示器115比较大的显示器在体型上更小、重量更轻并且消耗更少的功率。另外，放大可以增大所显示内容的视场。例如，所显示内容的视场使得所显示内容使用几乎全部的用户的视场(例如，110度对角线)来呈现，并且在一些情况下使用全部的用户的视场来呈现。在一些实施方式中，光学块118被设计成使得其有效焦距大于到电子显示器115的间距，这放大了由电子显示器115投射的图像光。另外，在一些实施方式中，可以通过添加或去除光学元件来调整放大倍率的量。
光学块118可以被设计成除了固定模式噪声(即，屏蔽门效应)之外还校正一种或多种类型的光学误差。光学误差的示例包括：二维光学误差、3D光学误差或其中的一些组合。二维误差是在二维中发生的光学像差。二维误差的示例类型包括：桶形失真、枕形失真、纵向色差、横向色差或任何其他类型的二维光学误差。3D误差是在三维中发生的光学误差。3D误差的示例类型包括球面像差、彗差、场曲率、像散、或任何其他类型的3D光学误差。在一些实施方式中，提供给电子显示器115用于显示的内容被预失真，并且光学块118在从电子显示器115接收基于内容生成的图像光时校正失真。
定位器120是相对于彼此并且相对于VR头戴设备105上的特定参考点位于VR头戴设备105上的特定位置的对象。定位器120可以是发光二极管(LED)、隅角立方反射器、反射标记、与VR头戴设备105在其中操作的环境形成对比的光源类型、或其中的一些组合。在其中定位器120是有源的(即，LED或其他类型的发光器件)的实施方式中，定位器120可以在可见频带(～380nm至750nm)中、在红外(IR)频带(～750nm至1mm)中、在紫外频带(10nm至380nm)中、电磁光谱的一些其他部分中、或其一些组合中发射光。
在一些实施方式中，定位器120位于VR头戴设备105的外表面之下，VR头戴设备105的外表面对于由定位器120发射或反射的光的波长是透明的，或者足够薄而不显著衰减由定位器120发射或反射的光的波长。另外，在一些实施方式中，VR头戴设备105的外表面或其他部分在光波长的可见频带中不透明。因此，定位器120可以在外表面下发射IR频带中的光，该外表面在IR频带中透明但在可见频带中不透明。
IMU 130是基于从一个或多个位置传感器125接收的测量信号生成快速校准数据的电子设备。位置传感器125响应于VR头戴设备105的运动生成一个或多个测量信号。位置传感器125的示例包括：一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一种合适类型的传感器、用于IMU 130的误差校正的一类传感器，或其中的一些组合。位置传感器125可以位于IMU 130的外部、IMU 130的内部或其中的一些组合。
基于来自一个或多个位置传感器125的一个或多个测量信号，IMU 130生成指示VR头戴设备105相对于VR头戴设备105的初始位置的估计位置的快速校准数据。例如，位置传感器125包括用于测量平移运动(向前/向后、向上/向下、左/右)的多个加速度计和用于测量旋转运动(例如，俯仰、偏航、侧倾)的多个陀螺仪。在一些实施方式中，IMU 130快速采样测量信号并且从采样数据计算VR头戴设备105的估计位置。例如，IMU 130对从加速度计接收到的测量信号随时间进行积分以估计速度向量并且对速度向量随时间进行积分以确定VR头戴设备105上的参考点的估计位置。可替代地，IMU 130将采样的测量信号提供给VR控制台110，VR控制台确定快速校准数据。参考点是可以用于描述VR头戴设备105的位置的点。尽管参考点一般可被定义为空间中的点；然而，在实践中，参考点被定义为VR头戴设备105内的点(例如，IMU 130的中心)。
IMU 130从VR控制台110接收一个或多个校准参数。如以下进一步讨论的，该一个或多个校准参数用于保持VR头戴设备105的跟踪。基于接收到的校准参数，IMU 130可以调整一个或多个IMU参数(例如，采样率)。在一些实施方式中，某些校准参数使IMU 130更新参考点的初始位置，因此其对应于参考点的下一个校准位置。将该参考点的初始位置更新为该参考点的下一校准位置有助于减小与所确定的估计位置相关联的累积误差。累积误差(也被称为漂移误差)引起参考点的估计位置随时间偏离参考点的实际位置“漂移”。
眼睛跟踪系统160使用示例校准过程生成眼睛模型。眼睛跟踪系统160包括眼睛跟踪单元和控制模块。眼睛跟踪单元位于VR头戴设备105内并且除了其他部件之外还包括照明源和光学传感器。眼睛跟踪单元的照明源(例如，点光源)和光学传感器(例如，相机)用于角膜球跟踪以确定在用户正佩戴VR头戴设备105时的用户的眼睛的模型。照明源和光学传感器耦接到控制模块，该控制模块执行用于生成眼睛模型和执行光学动作所必要的数据处理。控制模块位于VR头戴设备105和/或VR控制台110内。
成像设备135根据从VR控制台110接收的校准参数生成慢速校准数据。慢速校准数据包含一个或多个图像，该图像示出可由成像设备135检测的定位器120的所观测位置。成像设备135可以包括一个或多个相机、一个或多个摄像机、能够捕获包括定位器120中的一个或多个的图像的任何其他设备、或其中的一些组合。另外，成像设备135可包含一个或多个滤波器(例如，用以增加信噪比)。成像设备135被配置为检测从成像设备135的视场中的定位器120发射或反射的光。在定位器120包括无源元件(例如，后向反射器)的实施方式中，成像设备135可以包括照亮一些或所有定位器120的光源，定位器将光朝向成像设备135中的光源反射。慢速校准数据从成像设备135传送到VR控制台110，并且成像设备135从VR控制台110接收一个或多个校准参数以调整一个或多个成像参数(例如，焦距、焦点、帧速率、ISO、传感器温度、快门速度、光圈等)。
VR输入界面140是允许用户向VR控制台110发送动作请求的设备。动作请求是执行动作的请求。例如，动作请求可以是开始或结束应用或在应用内执行动作。VR输入界面140可以包括一个或多个输入设备。示例输入设备包括：键盘、鼠标、游戏控制器、或用于接收动作请求并将接收到的动作请求传送到VR控制台110的任何其他合适的设备。由VR输入界面140接收的动作请求被传送到VR控制台110，VR控制台执行与动作请求对应的动作。在一些实施方式中，VR输入界面140可以根据从VR控制台110接收的指令向用户提供触觉反馈。例如，当接收到动作请求时提供触觉反馈，或者VR控制台110向VR输入界面140传送指令，使得VR输入界面140在VR控制台110执行动作时生成触觉反馈。
VR控制台110根据从以下中的一个或多个接收的信息向VR头戴设备105提供内容以呈现给用户：成像设备135、VR头戴设备105和VR输入界面140。在图1所示的示例中，VR控制台110包括应用储存器145、跟踪模块150和VR引擎155。VR控制台110的一些实施方式具有与结合图1描述的那些模块不同的模块。类似地，以下进一步描述的功能可以以与本文描述的不同的方式分布在VR控制台110的部件之间。
应用储存器145存储用于由VR控制台110执行的一个或多个应用。应用是一组指令，该指令在由处理器执行时生成用于呈现给用户的内容。由应用生成的内容可以响应于经由VR头戴设备105或VR界面设备140的移动而从用户接收的输入。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。
跟踪模块150使用一个或多个校准参数来校准VR系统100，并且可以调整一个或多个校准参数以减小确定VR头戴设备105的位置的误差。例如，跟踪模块150调整成像设备135的焦点以获得VR头戴设备105上的观测到的定位器的更准确位置。此外，由跟踪模块150执行的校准还考虑从IMU 130接收到的信息。另外，如果VR头戴设备105的跟踪丢失(例如，成像设备135失去至少阈值数量的定位器120的视线)，则跟踪模块140重新校准一些或整个系统环境100。
跟踪模块150使用来自成像设备135的慢速校准信息来跟踪VR头戴设备105的移动。跟踪模块150使用来自慢速校准信息的所观测定位器和VR头戴设备105的模型来确定VR头戴设备105的参考点的位置。跟踪模块150还使用来自快速校准信息的位置信息来确定VR头戴设备105的参考点的位置。另外，在一些实施方式中，跟踪模块150可使用快速校准信息的部分、慢速校准信息或其中的一些组合来预测头戴设备105的未来位置。跟踪模块150向VR引擎155提供VR头戴设备105的估计的或预测的未来位置。
VR引擎155在系统环境100内执行应用，并且从跟踪模块150接收VR头戴设备105的位置信息、加速度信息、速度信息、预测未来位置或其中的一些组合。基于所接收的信息，VR引擎155确定要提供给VR头戴设备105以呈现给用户的内容。例如，如果接收到的信息指示用户已经看着左边，则VR引擎155生成用于VR头戴设备105的内容，该内容镜像用户在虚拟环境中的移动。另外，VR引擎155响应于从VR输入界面140接收的动作请求在VR控制台110上执行的应用内执行动作并且向用户提供执行该动作的反馈。所提供的反馈可以是经由VR头戴设备105的视觉或听觉反馈或者经由VR输入界面140的触觉反馈。
图2A是根据实施方式的VR头戴设备的图。VR头戴设备200是VR头戴设备105的实施方式，并且包括前刚性体205和带子210。前刚性体205包括电子显示器115(图2A中未示出)、IMU 130、一个或多个位置传感器125和定位器120。在图2A所示的实施方式中，位置传感器125位于IMU 130内，并且IMU 130和位置传感器125都对用户不可见。
定位器120相对于彼此并且相对于参考点215位于前刚性体205上的固定位置。在图2A的示例中，参考点215位于IMU 130的中心。每个定位器120发射可由成像设备135检测的光。在图2A的示例中，定位器120或定位器120的部分位于前刚性体205的前侧220A、顶侧220B、底侧220C、右侧220D和左侧220E上。
图2B是图2A中示出的VR头戴设备200的实施方式的前刚性体205的截面225。如图2B所示，前刚性体205包括向出射光瞳250提供改变的图像光的光学块230。出射光瞳250是前刚性体205中的用户眼睛245所位于的位置。为了说明的目的，图2B示出了与单只眼睛245相关联的截面225，但是与光学块230分开的另一个光学块向用户的另一只眼睛提供改变的图像光。
光学块230包括电子显示器115的电子显示元件235、光学块118和眼睛跟踪单元260。电子显示元件235向光学块118发射图像光。光学块118放大图像光，并且在一些实施方式中，还校正一个或多个附加光学误差(例如，失真、像散等)。光学块118将图像光引导到出射光瞳250以呈现给用户。
VR头戴设备200包括眼睛跟踪单元260(例如，图1的眼睛跟踪系统160的眼睛跟踪单元)。眼睛跟踪单元260包括照明源和光学传感器。在一个实施方式中，如在图2B中示出的，眼睛跟踪单元260包括两个照明源262和264、以及用于每只眼睛的光学传感器266。眼睛跟踪单元260的照明源和光学传感器耦接至控制模块(在图2B中未示出)，该控制模块执行用于生成眼睛模型所必需的数据处理。控制模块位于VR头戴设备105和/或VR控制台110内。而且，在一些实施方式中，存在用于用户的左眼的至少一个眼睛跟踪单元260和用于用户的右眼的至少一个眼睛跟踪单元260。
照明源262和264和光学传感器266用于用户的眼睛的角膜球跟踪。眼睛跟踪单元260被定位在光学块230内，使得光学传感器266(例如，相机)能够捕获在眼睛运动范围内的用户眼睛(并且具体地，眼睛的角膜)的图像。照明源262和264发射光，使得当在用户观看所发射的光的同时所发射的光从用户的眼睛反射时，光学传感器266捕获用户的眼睛的一个或多个图像。眼睛跟踪单元260被定位在光学块230内，使得从照明源262和264发射的光穿过光学块118到达用户的眼睛。眼睛跟踪单元260可以沿着用户的视觉被定位在轴上(例如，如在图2B中示出的)，或者可以从相对于用户的视觉被离轴放置(例如，放置在光学块118的左侧)。以下结合图3进一步描述了示例角膜球跟踪系统。
用于生成眼睛模型的眼睛跟踪系统
图3描绘了根据实施方式的示例眼睛跟踪系统300。在一些实施方式中，眼睛跟踪系统300是VR头戴设备105中的眼睛跟踪系统160的一部分。在替代实施方式中，眼球跟踪系统300是一些其他设备的一部分(例如，AR系统中的平视显示器，或利用眼球跟踪的一些其他系统)。除了其他部件之外，眼睛跟踪系统300包括眼睛跟踪单元360和控制模块370。为简化起见，对眼睛跟踪系统300的讨论是关于用户的单只眼睛。然而，在一些实施方式中，对应的眼睛跟踪单元360可用于用户的每只眼睛。在这样的实施方式中，单个控制模块370可以控制多个眼睛跟踪单元360。
除了其他部件之外，眼睛跟踪单元360包括两个或更多个照明源(例如，照明源362和364)以及一个或多个光学传感器(例如，光学传感器366)。眼睛跟踪单元的照明源(例如，点光源)和光学传感器(例如，相机)用于角膜球跟踪并且用于在用户正佩戴VR头戴设备105时确定用户的眼睛的模型。照明源362和364具有众所周知的发射特性，诸如理想点光源。在一个实施方式中，使用两个照明源。可替代地，使用多于两个的照明源，例如，照明源环。例如，照明源的环可以相对于参考点(例如，HMD的入射光瞳的位置或参考点215)定位在相同的二维平面中或任意位置中。在一个实施方式中，照明源可以位于用户的视线之外。从参考点任意定位的照明源可以被放置在与参考点不同的深度处和/或这些源之间的非均匀间隔处，以提高眼睛跟踪的准确度。
在一些实施方式中，两个或更多个照明源包括所有照明源或照明源之间的不同特性。例如，源自两个或更多个照明源的光可以包括以下各项中的一个或多个：不同波长、以不同频率或振幅(即，变化的强度)调制、具有不同的时间相干性，时间相干性描述了两个光波在不同时间点的相关性、以及在任一时间或频域中被复用。
光学传感器366捕获用户眼睛的图像以捕获角膜反射。例如，光学传感器366是可以捕获静态图片或视频的相机。光学传感器366具有多个参数，如焦距、焦点、帧速率、ISO、传感器温度、快门速度、光圈、分辨率等；在一些实施方式中，光学传感器366具有高帧速率和高分辨率。光学传感器366可以捕获二维图像或3D图像。光学传感器366被放置成使得可以在眼睛移动范围(例如，最大可能范围)上捕获响应于来自入射到眼睛上的照明源的光的角膜反射。例如，当照明源环被放置在眼睛周围时，光学传感器366被放置成指向围绕该环的中心的眼睛(例如，在用户的视线中)。可替代地，光学传感器366被离轴地放置，使得其在用户的主视线之外。在一个实施方式中，每只眼睛可以使用多于一个光学传感器366来捕获当来自照明源的光入射到眼睛上时的眼睛的角膜反射。光学传感器366可以是可以测量角膜反射的方向的检测器，例如列传感器、波导等。
照明源362和364发射在角膜处反射的光，该光然后在光学传感器366处被捕获(例如，作为图像)。例如，源自照明源362和364的由箭头362-I和364-I表示的光线入射到眼睛上。当光入射到人眼上时，眼睛产生多个反射，诸如来自角膜的外表面的反射和来自角膜的内表面的另一反射。在一个实施方式中，光学传感器366在捕获的图像中捕获来自角膜的外表面的反射光。例如，由箭头362-R和364-R表示的反射光被捕获在由光学传感器366捕获的图像中。光学传感器366可以捕获来自角膜的内表面的反射光。来自角膜(例如，来自内表面和/或外表面)的反射在本文中被称为角膜反射。下文结合图4进一步描述使用角膜球眼睛跟踪来生成眼睛模型的示例过程。
控制模块370生成眼睛模型并执行光学动作。例如，控制模块370执行校准以生成用于用户眼睛中的一者或两者的眼睛模型。在一些实施方式中，单个控制模块370可控制多个眼睛跟踪单元360，诸如用于左眼的一个眼睛跟踪单元360和用于右眼的另一眼睛跟踪单元360。
下文结合图4描述的示例校准过程包括以下步骤：打开照明源362和364；在用户正在观看VR头戴设备105上的已知位置时在光学传感器366处捕获包括角膜反射的图像；以及进一步处理所捕获的图像以生成眼睛模型。下文结合图5描述的示例正常操作模式包括在用户在正常操作模式下在VR头戴设备105上观看内容时在光学传感器366处捕获角膜反射，并且处理捕获的图像以执行一个或多个光学动作，诸如确定用户的注视方向。控制模块370位于VR头戴设备105和/或VR控制台110处。控制模块370与眼睛跟踪单元360耦接，使得照明源362和364以及光学传感器366可与控制模块370通信。
眼睛跟踪系统300生成用户的眼睛的模型。在一个实施方式中，用户的眼睛被建模为具有不同半径的两个球体305和310，其中球体305接近整个眼睛(例如，眼睛的巩膜表面的一部分)。球体310的一部分近似于眼睛的角膜。球体305的中心(或原点)由点306表示，并且角膜球310的中心由点311表示。元件315表示眼睛的晶状体。在其他实施方式中，角膜可以被建模为复杂表面。
可以使用两个球体对人眼进行建模，较大球体(即，球体305)表示眼睛的表面的一部分并且较小球体(即，球体310)表示眼睛的角膜的一部分的近似，这两个球体具有不同的半径并且它们的中心彼此偏离。尽管已知角膜仅在眼睛中形成小的弯曲部分并且本身不是球体，但是可以将角膜近似为球体的一部分。在一个实施方式中，球体305具有约25mm的半径，并且角膜球310具有约8mm的半径。球体305和球体310的中心彼此偏离，如图3所示。当在观看头戴式显示器(例如，VR头戴设备105)上的内容的同时旋转眼睛时，眼睛的旋转引起角膜球310的中心(即，点311)的对应移位。跟踪系统300在眼睛的旋转过程中跟踪角膜球310的中心的运动。在一些实施方式中，眼睛跟踪系统300生成用户的单只眼睛的模型，如以下结合图4所描述的。所生成的眼睛模型包括眼睛信息，该眼睛信息包括但不限于角膜球310的半径和原点信息，该眼睛信息在本文中被称为“眼睛模型信息”；眼睛模型信息可以包括与眼睛的巩膜表面的一部分近似的球体(即，球体305)的半径和原点信息。在一个实施方式中，角膜运动可以被建模为围绕球体305的固定中心306的旋转。在其他实施方式中，球体305的中心306是角膜位置的函数(建模非球面眼睛形状、眼球运动肌肉控制、旋转下的变形等)。所生成的眼睛模型信息被存储在位于系统环境100内或系统环境100外的数据库中。
当用户正在观看内容时，控制模块370使用所存储的眼睛模型在正常操作模式下执行一个或多个光学动作(例如，估计用户的一只或两只眼睛的注视方向)。控制模块370接收来自眼睛跟踪单元360的眼睛跟踪信息以及眼睛模型信息，以执行光学动作，诸如确定用户的注视方向、用户的聚散角(或聚散深度)、用户的适应深度、用户的标识、眼睛的扭转状态，或其中的一些组合。控制模块370可在硬件、软件或其中的一些组合中实施。
图4是根据实施方式的用于使用眼睛跟踪系统(例如，图3的眼睛跟踪系统300)生成眼睛模型的示例校准过程400的流程图。图4的示例校准过程400可以由眼睛跟踪系统300执行，例如，作为VR头戴设备105和/或VR控制台110的一部分，或者一些其他系统(例如，AR系统)。在其他实施方式中，其他实体可以执行过程的一些或全部步骤。同样，实施方式可以包括不同的和/或附加的步骤，或者以不同的顺序执行步骤。图4的示例过程用于针对用户眼睛之一生成眼睛模型并且还可以(同时地或顺序地)被实现用于确定针对用户的另一只眼睛的眼睛模型。使用两个照明源和一个用于对眼睛进行建模的光学传感器来描述示例过程。可以使用多于两个照明源和/或多于一个光学传感器来生成眼睛模型。
眼睛跟踪系统300通过打开相对于例如光学传感器(例如，光学传感器366)定位在已知位置处的两个照明源(例如，照明源362和364)来照亮410用户的眼睛。这些照明源发射入射在用户眼睛上的光，使得眼睛的角膜反射光。
眼睛跟踪系统300捕获420入射到用户眼睛上的光的角膜反射作为一个或多个图像。在一个实施方式中，眼睛跟踪系统300捕获角膜反射的单个图像。可替代地，眼睛跟踪系统300在用户观看已知目标序列(例如，电子显示器235上的特定点)时捕获角膜反射的多个图像。
眼睛跟踪系统300生成眼睛的模型，其中，眼睛模型包括角膜球310的半径和原点信息。所捕获的一个或多个图像(包括源自于在已知位置处的这两个照明源的光的角膜反射)导致适配所捕获的图像的数据的单个角膜半径和角膜球原点。在一个实施方式中，眼睛跟踪系统300通过使用利用参考眼睛的学习模型来生成眼睛模型。参考眼睛(在本文中被称为参考眼睛)是具有参考眼睛模型的眼睛，该参考眼睛模型包括针对角膜球(例如，球体310)中的每一个的已知半径和原点信息以及表示眼睛(的巩膜表面的部分的球体例如，球体305)。该学习模型包括在该参考眼睛旋转以模仿人类眼睛移动范围时捕获该参考眼睛的角膜反射。该学习模型包括参考眼睛的不同移动与参考眼睛的角膜反射之间的关系，并且这样的关系用于生成针对用户眼睛的眼睛模型。例如，将在步骤420中捕获的用户的眼睛的角膜反射与参考眼睛的角膜反射的角膜反射进行比较，以便外推出针对用户的眼睛的角膜球310的眼睛模型的不同参数(例如，半径和原点)。在这样的示例中，外插学习模型的参考眼睛模型的半径和原点信息以估计用户的眼睛模型的半径和原点信息。下文描述估计眼睛模型的半径和原点的示例方法。
眼睛跟踪系统300基于包括至少两个照明源的角膜反射的所捕获的图像来确定430角膜球310的半径。每个图像提供足够的信息来导出对角膜半径和角膜位置的估计。在一些实施方式中，眼睛模型可以仅包括角膜的固定半径的球体。然后可以通过使用适当的统计模型来组合在帧序列上的估计来细化角膜半径估计。例如，角膜半径的样本可以形成关于图像序列上的平均值的正态分布。当图像序列提供具有较少的离群点的均值周围的具有低方差的一组估计时，可假设角膜半径是这些样本的均值。在具有三个或更多个照明源的实施方式中，由每组两个照明源预测的角膜半径的差可以用于通知角膜表面的非球面模型(例如，b样条、多项式表面等)。在其他实施方式中，可以将在一组帧中预测的角膜半径中的差异与每个帧的预测注视方向相组合以通知更复杂的角膜模型。在这些系统中，角膜由参考原点311和取向来定义。
眼睛跟踪系统300确定眼睛旋转的有效中心306以及将眼睛旋转中心和角膜中心分开的距离(例如，中心306和311之间的距离)。在一个实现方式中，眼睛中心306可以被假定为固定点。在该系统中，可以在电子显示元件235上向用户呈现与参考位置以已知角度偏移而呈现的视觉目标。例如，目标可以被放置在接近无穷远的距离处，具有在HMD的失真校正的虚拟渲染空间中的期望角度偏差。经失真校正的虚拟渲染空间是对HMD的用户的电子显示元件235上的内容的计算机生成的3D表示，其中针对基于失真的光学误差来校正所显示的内容。眼睛跟踪系统300在用户正朝向这些校准目标中的每一个观看时确定并记录440角膜球的位置。此系统可以将用户的注视建模为沿着从眼睛中心306到角膜中心311的向量而放置。眼睛中心306的位置和眼睛到HMD的虚拟渲染空间的取向可以被推断为点306和最佳地满足距离306到311保持不变的假设的取向，并且从306到所记录的角膜中心311的注视向量最接近地与所呈现的目标角度偏移对准。可以根据角膜位置(和/或在更复杂的模型中的角膜取向)来对精确的眼睛中心306建模。在其他实施方式中，眼睛中心306用于确定与球体眼睛模型的注视方向和模型生理偏差。
使用眼睛模型确定用户注视方向
图5是根据实施方式的用于使用已知眼睛模型确定用户的注视方向的示例过程的流程图。图5的示例过程500可以由眼睛跟踪系统300执行，例如，作为VR头戴设备105和/或VR控制台110或某个其他系统(例如，AR系统)的一部分。在其他实施方式中，其他实体可以执行过程的一些或全部步骤。同样，实施方式可以包括不同的和/或附加的步骤，或者以不同的顺序执行步骤。示例过程500描述眼睛跟踪系统300的正常操作模式，其中系统部分地基于一个或多个眼睛模型来跟踪用户的眼睛运动。
眼睛跟踪系统300获得510眼睛模型信息，该眼睛模型信息包括角膜球310的半径和原点信息。在一个实施方式中，眼睛跟踪系统300从眼睛跟踪系统300内获得眼睛模型信息(例如，眼睛跟踪系统300生成如以上结合图4所描述的眼睛模型)。可替代地，眼睛跟踪系统300获得眼睛跟踪系统300外部(例如，VR控制台110或系统环境100外部)的眼睛模型信息。
眼睛跟踪系统300通过打开相对于例如光学传感器(例如，光学传感器366)定位在已知位置处的两个照明源(例如，照明源362和364)来照亮520用户的眼睛。这些照明源发射入射在用户眼睛上的光，使得眼睛的角膜反射光。
眼睛跟踪系统300在观看者观看HMD(例如，VR头戴设备105、AR头戴设备或使用眼睛跟踪的某个其他系统的)上的内容时捕获530用户角膜的一个或多个图像(即，角膜反射)。在一个实施方式中，眼睛跟踪系统300捕获角膜反射的单个图像，其中，角膜反射包括来自这两个或更多个照明源的光的反射。可替代地，眼睛跟踪系统300捕获角膜反射的多个图像，其中，角膜反射包括来自这两个或更多个照明源的光的反射。
眼睛跟踪系统300使用捕获的图像的角膜反射数据确定540用户的注视方向。在一个实施方式中，眼睛跟踪系统300使用所获得的包括角膜半径和原点信息的眼睛模型信息来外推出角膜反射数据。例如，眼睛跟踪系统300通过从所推导的眼睛中心306到角膜球310的中心311投射光线来确定用户正在注视电子显示器235上的具体点的位置数据。使用所导出的眼睛的取向，将该光线的原点和方向变换为HMD的失真校正的虚拟渲染空间的3D坐标空间。
在一些实施方式中，眼睛跟踪系统300执行除了确定用户的注视方向之外或替代于确定用户的注视方向的其他光学动作。其他光学动作包括例如确定用户的聚散角(或聚散深度)、用户的适应深度、用户的标识、眼睛的扭转状态，或其中的一些组合。示例光学动作中的一些可能需要捕获的用户眼睛的角膜反射数据来执行光学动作，并且示例过程500的一个或多个步骤可以针对用户(同时地或顺序地)执行其他眼睛来执行此类光学动作。
一次性单点校准
图6描绘了根据实施方式的由眼睛跟踪系统(例如，眼睛跟踪系统600)执行的针对HMD系统(例如，包括VR头戴设备105的VR系统100)的示例性一次性单点校准。图6中所描绘和描述的眼睛跟踪系统600是以上结合图3所描述的眼睛跟踪系统300的实施方式。在图6中，眼睛跟踪系统600包括眼睛跟踪单元360和控制模块670。这里，控制模块670是上面结合图3描述的控制模块370的实施方式。描述了用于校准用户的一只眼睛的图6的示例校准系统。在一个或多个其他实施方式中，图6的示例校准系统还可以(同时或顺序地)校准用户的另一只眼睛。在一些实施方式中，校准过程包括确定每只眼睛的瞳孔轴线和/或确定瞳孔轴线与眼睛真实视线之间的角度偏移。在一些实施方式中，HMD系统的校准基于用户的眼睛的单个图像并且仅被执行一次。例如，在用户首次戴上VR头戴设备105时执行校准并且VR头戴设备105将对应于用户的校准数据存储在存储器中以供同一用户将来使用。
图6示出了被建模为不同半径的两个球体305和310的用户的眼睛。球体305近似眼睛的巩膜表面的一部分，并且球体310的一部分近似眼睛的角膜。球体305的中心由点306表示，并且角膜球310的中心由点311表示。在图6中，元件315表示眼睛的晶状体并且元件616表示眼睛的瞳孔。即，元件616表示眼睛的虹膜中心中允许光撞击视网膜的圆形开口。图6还示出了元件616所在的3D平面615和源自垂直于角膜球310的角膜表面610的3D平面615的光线620。光线620表示眼睛的瞳孔轴线，这通过以下结合图6描述的校准过程来确定。
控制模块670执行对HMD系统的校准。校准包括确定瞳孔所在的3D平面和眼睛的瞳孔轴线。本文描述的3D平面是瞳孔所驻留的3D空间中的平面。3D空间是相对于参考点(例如，光学传感器366的位置)来定义的。该校准包括捕获角膜反射的眼睛的图像并且处理所捕获的图像以识别当通过与相机离轴旋转的眼睛的屈光角膜观看瞳孔时瞳孔的形状，该瞳孔的形状的范围可以是从圆形(在眼睛的轴上观看位置)到复杂形状。例如，可以通过查看与眼睛的瞳孔和虹膜相关联的一个或多个波长的光的反射强度的变化来确定瞳孔(典型地，颜色为黑色)与虹膜(典型地，棕色、绿色、灰色或蓝色或其中的一些组合)之间的边界，从而识别瞳孔的形状。使用所识别的瞳孔形状和眼睛模型信息来确定3D平面。
在一个实施方式中，通过基于来自眼睛的轴上观看位置的所预测的眼睛旋转量来修改所识别的瞳孔形状，从而识别瞳孔的3D平面。如以上结合图2B所讨论的，瞳孔形状是眼睛的轴上观看位置中的圆形。用于确定眼睛旋转的预测量的示例方法是基于瞳孔学习模型，其中，在眼睛旋转以模仿人类眼睛移动范围时，捕获具有参考眼睛模型的参考眼睛的瞳孔形状(即，上面结合图3所描述的参考眼睛和参考眼睛模型)。通过学习参考眼睛的不同移动与所识别的瞳孔形状(例如，不同类型的椭圆形)之间的关系，可以针对在用户在VR头戴设备105上观看内容时捕获的任何瞳孔形状来估计用户的瞳孔的3D平面。在一个实施方式中，修改所识别的3D平面以考虑在瞳孔学习模型中使用的参考眼睛模型与所获得的针对用户眼睛的眼睛模型之间的差异。例如，将在瞳孔学习模型中使用的参考眼睛模型的角膜球的半径和原点与所获得的用户的眼睛模型的半径和原点进行比较以修改所识别的3D平面的位置。
在一些实施方式中，控制模块670确定所确定的瞳孔轴线(即，由光线620识别)与用户的真实视线之间的角度偏移，该真实视线由眼睛中央凹区的位置表示。在图6中，用点630表示眼睛中央的位置(例如，中央区域)，并且用线635表示眼睛的真实视线，线635连接中央凹部630和元件616。眼睛的凹部负责眼睛的真实视线(也称为清晰中央视觉或中央视力)。凹部是一个小的中央凹点，该中央凹点由眼睛中的紧密填充的锥组成并且位于视网膜上。瞳孔轴线620与眼睛真实视线之间存在角度偏移，这是因为如果瞳孔轴线620延伸回到视网膜，凹部的位置不与瞳孔轴线620对准。
在HMD系统的校准过程中可以确定瞳孔轴线620和偏移角。在一个实施方式中，要求用户经由VR头戴设备105的显示器在已知方向上固定呈现给用户的目标。在用户正看着目标时，捕获用户眼睛的一个或多个图像以捕获瞳孔的形状。由于用户眼睛的位置是已知的(例如，具有角膜球半径和原点的眼睛模型信息，和/或3D平面和提供瞳孔的位置的瞳孔轴线)，并且还已知所呈现的目标的方向，确定观看目标时的用户的视线。例如，用户视线由平行于目标的方向的线和瞳孔在3D空间中相对于参考点的已知位置(诸如参考HMD的坐标系的光学传感器366的位置)来确定。
控制模块670通过使用瞳孔学习模型和用户眼睛模型信息(例如，如以上结合图4所描述生成的用户眼睛模型)来估计用户眼睛将从轴上位置(即，眼睛的位置导致在光学传感器366处针对光学传感器366的给定位置的圆形瞳孔形状)到在显示器上观看目标的位置做出的预测旋转量。根据所捕获的在用户固定到目标上时瞳孔的一个或多个图像，识别出瞳孔的形状(例如，椭圆形)。使用针对参考眼睛的瞳孔学习模型，控制模块670针对所识别的瞳孔形状估计参考眼睛的预测旋转量。然后，控制模块将校正因子应用于估计的预测旋转量以考虑参考眼睛模型与用户眼睛模型之间的差异。然后将校正后的预测眼睛旋转量应用于用户眼睛的瞳孔轴线620以确定对应于当用户固定在目标处时的场景的修改后的瞳孔轴线的位置。当用户在目标位置处固定时，修改的瞳孔轴线与用户视线之间的角度增量表示瞳孔轴线620与眼睛的真实视线之间的角度偏移。下文参见图6描述用于校准HMD系统的示例过程，该过程包括确定瞳孔轴线和/或瞳孔轴线与用户的真实视线之间的角度偏移。
图7是根据实施方式的用于HMD系统(例如，包括VR头戴设备105的VR系统环境100或包括AR头戴设备的AR系统)的一次性单点校准的示例过程700的流程图。图7的示例校准过程700可以由眼睛跟踪系统600(例如，作为VR头戴设备105和/或VR控制台110或某个其他系统(例如，AR系统)的一部分)执行。在其他实施方式中，其他实体可以执行过程的一些或全部步骤。同样，实施方式可以包括不同的和/或附加的步骤，或者以不同的顺序执行步骤。图7的校准过程用于针对用户的一只眼睛校准HMD系统，并且还可以(并行地或顺序地)实现用于针对用户的另一只眼睛校准HMD系统。在一些实施方式中，仅执行一次校准过程700。例如，在用户首次戴上VR头戴设备105时执行校准过程700并且VR头戴设备105将对应于用户的校准数据存储在存储器中以供同一用户将来使用。
眼睛跟踪系统600获得710眼睛模型信息，该眼睛模型信息包括用户眼睛的角膜球310的半径和原点信息。在一个实施方式中，眼睛跟踪系统600从眼睛跟踪系统600内获得眼睛模型信息(例如，眼睛跟踪系统300生成如以上结合图4所描述的眼睛模型)。可替代地，眼睛跟踪系统600获取眼睛跟踪系统600外部(例如，VR控制台110或系统环境100外部)的眼睛模型信息。
眼睛跟踪系统600通过打开相对于例如光学传感器(例如，光学传感器366)定位在已知位置处的两个照明源(例如，照明源362和364)来照亮720用户眼睛。这些照明源发射入射在用户眼睛上的光，使得眼睛的角膜反射光。
眼睛跟踪系统600捕获730用户的角膜的一个或多个图像(即，角膜反射)。捕获角膜反射的这些图像非常类似于以上结合图4所描述的那些图像。在一个实施方式中，眼睛跟踪系统600捕获730一个或多个图像。在一个或多个实施方式中，当用户正在观看一个或多个已知目标(例如，电子显示器235上的特定点)时捕获图像。例如，在用户仅需要查看电子显示器235上的一个特定目标的情况下执行单点校准。可替代地，系统600在用户在正常操作模式下观看VR头戴设备105上显示的内容时捕获图像。
眼睛跟踪系统600基于所捕获的一个或多个图像来识别740眼睛元件616的形状。当眼睛正在观看内容使得光学传感器366在轴线上(即，沿着眼睛的瞳孔轴线620)时，在由光学传感器366捕获的图像中将瞳孔形状捕获为圆形。当眼睛正在观看内容使得光学传感器366离轴(即，不沿着眼睛的瞳孔轴线620)时，瞳孔形状近似为椭圆体。在一个实施方式中，通过处理单个捕获的图像来识别瞳孔形状。例如，可以通过查看与眼睛的瞳孔和虹膜相关联的不同波长的光的反射强度的变化来确定瞳孔与虹膜之间的边界，从而识别瞳孔的形状。瞳孔在颜色上通常是黑色，并且虹膜通常是棕色、棕色、绿色、灰色或蓝色中的一种。当瞳孔是在虹膜区域内的开口时，可以通过观察在与虹膜区域相关联的一个或多个光波长下的黑色瞳孔与不同的反射强度之间的边界来识别瞳孔的形状。可替代地，通过处理对应于多个捕获的图像的漫射照明来识别瞳孔形状。
在一个实施方式中，修改所识别的瞳孔形状以校正角膜的折射失真。例如，针对角膜折射失真的校正最初可以基于典型人眼(例如，基于经验数据)来实现，并且稍后可以针对用户的特定眼睛更准确地学习。在一些实施方式中，角膜可以近似为具有针对人类角膜的典型折射率(例如，1.377)的球体。可以假定瞳孔3D平面615位于角膜表面610后方的典型距离(例如，3mm)。可以通过以上结合图3、图4和图5所描述的方法来获知角膜球310的半径和到角膜表面310的距离。对于图像平面中被确定为在元件616的边缘上的给定点，可以发现当被已知形状、距离和假定折射率的角膜折射时穿过该点的光线。然后，折射的光线行进额外假定的距离以在实际瞳孔边缘的位置处撞击由平面615表示的瞳孔。在其他实现方式中，可以在校准过程中测量角膜折射率和到瞳孔平面的距离，或者通过使用过程学习该角膜折射率和到瞳孔平面的距离。
眼睛跟踪系统600通过首先校正由相机失真和角膜折射引起的图像传感器空间中的瞳孔边缘形状像差，来识别750瞳孔所在的平面615，然后找到到平面上的最佳投影以产生静止瞳孔形状(例如，圆形)。
眼睛跟踪系统600确定(760)眼睛的瞳孔轴线(例如，瞳孔轴线620)，其中瞳孔轴线620是通过识别源自平面615并且垂直于眼睛的角膜球310的表面的光线而得到的。因为瞳孔的3D平面(例如，由线615表示的平面)偏离角膜球的中心(例如，点311)，所以存在源自瞳孔3D平面并且垂直于眼睛的角膜球310的表面的单个光线。
在一个实施方式中，所确定的瞳孔轴线620用于确定瞳孔轴线620与眼睛真实视线之间的角度偏移，该角度偏移由眼睛的中央凹区的中心630的位置表示。确定角度偏移的一个示例方法是要求用户将位于VR头戴设备105显示器上的已知位置处的目标固定，并且然后测量瞳孔轴线(即，针对当在所呈现的目标上固定时用户眼睛经历的预测旋转量而调整的瞳孔轴线620)与针对所呈现的目标的视线之间的角度增量。所测量的角度增量表示瞳孔轴线620与眼睛的真实视线之间的角度偏移。
眼睛跟踪系统600部分地基于所确定的瞳孔轴线620和/或角度偏移执行770一个或多个光学动作。示例光学动作包括确定用户的注视方向、用户的聚散角(或聚散深度)、用户的适应深度、用户的标识、和眼睛的扭转状态、或其中的一些组合。例如，可以通过在用户在特定方向上观看时捕获瞳孔的图像来确定用户正看着何处(即，用户的注视)。如上所述，眼睛跟踪系统600可以将所捕获的瞳孔图像与瞳孔学习模型的图像的瞳孔图像进行比较，并且使用所获得的眼睛模型信息可以估计用户的注视。诸如用户和眼睛的扭转状态的标识之类的其他示例动作可以通过跟踪眼睛的虹膜来确定。例如，用户的虹膜(例如，针对一只或多只眼睛)可以在图像中被捕获并且可以被存储在存储器中(例如，在VR头戴设备105、VR控制台110处、或在云中)。存储的虹膜图像可以稍后用于通过将其与稍后捕获的虹膜图像进行比较来识别用户。这些示例光学动作中的一些可能需要采集的角膜反射数据和/或用户眼睛两者的校准数据(例如，瞳孔轴线和/或对真实视线光的角度偏移)以执行这些光学动作，并且示例方法400、500和/或700的一个或多个步骤可以相对于用户的另一只眼睛(同时地或顺序地)实现以执行这样的光学动作。
附加配置信息
实施方式的上述描述仅出于说明的目而呈现；且不旨在穷尽或将专利权限于所公开的精确形式。本领域的技术人员可根据以上公开的内容理解许多修改形式和变型形式。
本说明书所用语言主要是出于可读性和指导性的目的而选择，并且改语音不被选择来划定或限制本发明的主题。因此，意图是本专利权的范围不受此详细描述的限制，而是受基于本文的申请发布的任何权利要求的限制。因此，实施方式的公开旨在说明而非限制在所附权利要求中阐述的专利权的范围。

Claims (33)

1.一种头戴式显示器(HMD)，包括：
眼睛跟踪系统，包括：
两个或更多个照明源，被配置为照亮用户的眼睛，
检测器，被配置为捕获从与所述用户的眼睛相关联的角膜反射的光作为图像，以及
控制模块，所述控制模块被配置为：
用来自所述两个或更多个照明源的光照亮用户的眼睛，
在所述检测器处捕获所述用户的眼睛的一个或多个图像，
基于所捕获的所述用户的眼睛的一个或多个所述图像生成所述眼睛的模型，并且
部分地基于所生成的所述眼睛的模型来执行光学动作。
2.根据权利要求1所述的HMD，其中，所述两个或更多个照明源相对于彼此定位，使得所述检测器能够基于从角膜反射的光捕获所述两个或更多个照明源的一个或多个图像。
3.根据权利要求1所述的HMD，其中，所述两个或更多个照明源是电子显示器的一部分。
4.根据权利要求1所述的HMD，其中，所述两个或更多个照明源中的每一个被配置为发射不同波长的光。
5.根据权利要求1所述的HMD，其中，由所述两个或更多个照明源中的每一个发射的光在不同的频率和不同的振幅下被调制。
6.根据权利要求1所述的HMD，其中，所述两个或更多个照明源形成环形图案。
7.根据权利要求1所述的HMD，其中，所述检测器是能够捕获所述用户的眼睛的多个图像的光学传感器。
8.根据权利要求1所述的HMD，其中，所生成的模型包括近似所述眼睛的巩膜表面的一部分的第一球体和近似所述角膜的第二球体。
9.根据权利要求8所述的HMD，其中，生成所述眼睛的所述模型包括：
接收捕获的所述用户的眼睛的一个或多个图像，所述图像包括一个或多个角膜反射；
生成所述眼睛的模型，所生成的所述眼睛的模型包括与所述第一球体相关联的半径和原点以及与所述第二球体相关联的半径和原点；以及
将所生成的模型存储在与所述HMD相关联的数据库中。
10.根据权利要求9所述的HMD，其中，所述控制模块进一步被配置为将角膜运动建模为绕与所述第一球体相关联的所述原点的旋转。
11.根据权利要求8所述的HMD，其中，生成所述眼睛的所述模型包括：
检索参考眼睛的学习模型，所述学习模型包括所述参考眼睛的一个或多个移动与和所述参考眼睛相关联的角膜反射之间的关系；
捕获所述用户的眼睛的图像，一个或多个所述图像包括角膜反射；以及
基于所述参考眼睛的一个或多个所述角膜反射与和所捕获的图像相关联的所述角膜反射之间的比较，来外插与所述眼睛的模型相关联的一个或多个参数值。
12.根据权利要求1所述的HMD，其中，执行一个或多个所述光学动作包括执行选自由以下各项组成的群组的动作：确定所述用户的聚散角、确定所述用户的适应深度、识别所述用户、确定眼睛的扭转状态，或其中的一些组合。
13.一种头戴式显示器(HMD)，包括：
电子显示器，被配置为向用户显示图像；
光学块，被配置为放大由所述光学块从所述电子显示器接收的光；以及
眼睛跟踪系统，包括：
两个或更多个照明源，被配置为照亮所述用户的眼睛的表面，
检测器，被配置为捕获从角膜反射的光作为图像，以及
控制模块，所述控制模块被配置为确定：
当用户正在观看HMD中的已知位置时，用来自所述两个或更多个照明源的光照亮用户的眼睛，
在所述检测器处捕获所述用户的眼睛的一个或多个图像，
基于所捕获的所述用户的眼睛的一个或多个所述图像执行一次性单点校准，并且
执行光学动作。
14.根据权利要求13所述的HMD，其中，所述两个或更多个照明源相对于彼此定位，使得所述检测器能够基于从所述角膜反射的光捕获所述两个或更多个照明源的一个或多个图像。
15.根据权利要求13所述的HMD，其中，所述两个或更多个照明源是所述电子显示器的一部分。
16.根据权利要求13所述的HMD，其中，执行一次性单点校准包括：
访问与所述用户的眼睛相对应的眼睛模型信息，所述眼睛模型信息包括所述眼睛的角膜球的半径和所述角膜球的中心的位置；
在用户正在观看所述电子显示器上的已知位置时，在相机处捕获所述用户的眼睛的瞳孔的图像；
通过处理所接收的图像来确定所述瞳孔的形状；
基于所接收的眼睛模型信息和所确定的瞳孔形状来识别包括所述眼睛的瞳孔的平面；以及
通过识别源自所述平面并且垂直于所述角膜球的表面的光线来确定针对所述瞳孔的瞳孔轴线。
17.根据权利要求16所述的HMD，其中，确定瞳孔的形状包括确定在由所述检测器捕获的一个或多个所述图像中的反射的强度跨所述用户的眼睛的变化。
18.根据权利要求16所述的HMD，执行一次性单点校准进一步包括迭代地修改所确定的瞳孔形状以校正所述角膜的折射失真。
19.根据权利要求13所述的HMD，执行一次单点校准进一步包括确定瞳孔轴线与和所述眼睛相关联的真实视线之间的偏移。
20.根据权利要求13所述的HMD，其中，执行一个或多个所述光学动作包括执行选自由以下各项组成的群组的动作：确定所述用户的聚散角、确定所述用户的适应深度、识别所述用户、确定眼睛的扭转状态，或其中的一些组合。
21.一种头戴式显示器，包括：
眼睛跟踪系统，包括：
两个或更多个照明源，被配置为照亮用户的眼睛，
检测器，被配置为捕获从与所述用户的眼睛相关联的角膜反射的光作为图像，以及
控制模块，被配置为：
用来自所述两个或更多个照明源的光照亮所述用户的眼睛，
在所述检测器处捕获所述用户的眼睛的一个或多个图像，
基于所捕获的所述用户的眼睛的一个或多个图像生成所述眼睛的模型，并且
部分地基于所生成的所述眼睛的模型来执行光学动作。
22.根据权利要求21所述的头戴式显示器，其中，所述两个或更多个照明源中的每一个被配置为发射不同波长的光；和/或其中，由所述两个或更多个照明源中的每一个发射的光在不同的频率和/或不同的振幅下被调制；和/或其中，所述两个或更多个照明源形成环形图案。
23.根据权利要求21或22所述的头戴式显示器，其中，所述检测器是能够捕获所述用户的眼睛的多个图像的光学传感器。
24.根据权利要求21至23中任一项所述的头戴式显示器，其中，所生成的模型包括近似所述眼睛的巩膜表面的一部分的第一球体和近似所述角膜的第二球体，和/或
其中，生成所述眼睛的所述模型包括：
接收捕获的所述用户的眼睛的一个或多个图像，所述图像包括一个或多个角膜反射；
生成所述眼睛的所述模型，所生成的所述眼睛的所述模型包括与所述第一球体相关联的半径和原点以及与所述第二球体相关联的半径和原点；以及
将所生成的模型存储在与所述头戴式显示器相关联的数据库中；
所述控制模块可选地进一步被配置为将角膜运动建模为绕与所述第一球体相关联的原点的旋转。
25.根据权利要求21至24中任一项所述的头戴式显示器，其中，生成所述眼睛的所述模型包括：
检索参考眼睛的学习模型，所述学习模型包括所述参考眼睛的一个或多个移动与和所述参考眼睛相关联的角膜反射之间的关系；
捕获所述用户的眼睛的图像，一个或多个所述图像包括角膜反射；以及
基于所述参考眼睛的一个或多个所述角膜反射与和所捕获的图像相关联的角膜反射之间的比较，来外插与所述眼睛的模型相关联的一个或多个参数值。
26.一种头戴式显示器，具体地根据权利要求21至25中任一项所述的头戴式显示器，包括：
电子显示器，被配置为向用户显示图像；
光学块，被配置为放大由所述光学块从所述电子显示器接收的光；以及
眼睛跟踪系统，包括：
两个或更多个照明源，被配置为照亮所述用户的眼睛的表面，
检测器，被配置为捕获从角膜反射的光作为图像，以及
控制模块，被配置为确定：
当用户正在观看所述头戴式显示器中的已知位置时，用来自所述两个或更多个照明源的光照亮所述用户的眼睛，
在所述检测器处捕获所述用户的眼睛的一个或多个图像，
基于所捕获的所述用户的眼睛的一个或多个所述图像执行一次性单点校准，并且
执行光学动作。
27.根据权利要求21至26中任一项所述的头戴式显示器，其中，所述两个或更多个照明源相对于彼此定位，使得所述检测器能够基于从所述角膜反射的光捕获所述两个或更多个照明源的一个或多个图像。
28.根据权利要求21至27中任一项所述的头戴式显示器，其中，所述两个或更多个照明源是电子显示器的一部分。
29.根据权利要求26所述的头戴式显示器，其中，执行一次性单点校准包括：
访问与所述用户的眼睛对应的眼睛模型信息，所述眼睛模型信息包括所述眼睛的角膜球的半径和所述角膜球的中心的位置；
在用户正在观看所述电子显示器上的已知位置时，在相机处捕获所述用户的眼睛的瞳孔的图像；
通过处理所接收的图像来确定所述瞳孔的形状；
基于所接收的眼睛模型信息和所确定的瞳孔形状来识别包括所述眼睛的瞳孔的平面；以及
通过识别源自所述平面并且垂直于所述角膜球的表面的光线来确定针对所述瞳孔的瞳孔轴线。
30.根据权利要求29所述的头戴式显示器，其中，确定所述瞳孔的所述形状包括确定由所述检测器捕获的一个或多个所述图像中的反射的强度跨所述用户的眼睛的变化。
31.根据权利要求29或30所述的头戴式显示器，其中，执行一次性单点校准进一步包括迭代地修改所确定的瞳孔形状以校正所述角膜的折射失真。
32.根据权利要求29至31中任一项所述的头戴式显示器，执行一次性单点校准进一步包括确定所述瞳孔轴线与和所述眼睛相关联的真实视线之间的偏移。
33.根据权利要求21至32中任一项所述的头戴式显示器，其中，执行一个或多个所述光学动作包括执行选自由以下各项组成的群组的动作：确定所述用户的聚散角、确定所述用户的适应深度、识别所述用户、确定眼睛的扭转状态，或其中的一些组合。
CN201780016315.7A 2016-03-11 2017-03-10 用于生成眼睛模型的角膜球跟踪 Active CN108780223B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662306758P 2016-03-11 2016-03-11
US201662306777P 2016-03-11 2016-03-11
US62/306,777 2016-03-11
US62/306,758 2016-03-11
PCT/US2017/021956 WO2017156486A1 (en) 2016-03-11 2017-03-10 Corneal sphere tracking for generating an eye model

Publications (2)

Publication Number Publication Date
CN108780223A true CN108780223A (zh) 2018-11-09
CN108780223B CN108780223B (zh) 2019-12-20

Family

ID=59790858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780016315.7A Active CN108780223B (zh) 2016-03-11 2017-03-10 用于生成眼睛模型的角膜球跟踪

Country Status (5)

Country Link
EP (1) EP3329316B1 (zh)
JP (1) JP6576574B2 (zh)
KR (1) KR102062658B1 (zh)
CN (1) CN108780223B (zh)
WO (1) WO2017156486A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309141A (zh) * 2018-12-11 2020-06-19 托比股份公司 屏幕估计
CN111522431A (zh) * 2018-12-21 2020-08-11 托比股份公司 使用眼睛跟踪系统对闪光进行分类
CN111539984A (zh) * 2018-12-21 2020-08-14 托比股份公司 基于瞳孔特性的连续校准
CN111738967A (zh) * 2020-05-21 2020-10-02 完美世界(北京)软件科技发展有限公司 模型生成方法和装置、存储介质和电子装置
CN111757089A (zh) * 2019-03-29 2020-10-09 托比股份公司 利用眼睛的瞳孔增强调节来渲染图像的方法和系统
CN111752383A (zh) * 2019-03-29 2020-10-09 托比股份公司 更新角膜模型
CN111812857A (zh) * 2020-07-20 2020-10-23 上海青研科技有限公司 显示装置、方法与应用
CN112148119A (zh) * 2019-06-26 2020-12-29 托比股份公司 用于在数字图像数据中确定眼睛位置的方法、眼睛追踪器和计算机程序
CN112515624A (zh) * 2019-09-18 2021-03-19 苹果公司 使用低分辨率图像跟踪眼睛
CN112578556A (zh) * 2019-09-27 2021-03-30 托比股份公司 用于减少来自光学装置的不合需的反射的眼睛跟踪系统
CN113010125A (zh) * 2019-12-20 2021-06-22 托比股份公司 方法、计算机程序产品和双目式头戴装置控制器
CN113646689A (zh) * 2019-04-16 2021-11-12 脸谱科技有限责任公司 头戴式显示器的场内光源的排除区域
CN114026525A (zh) * 2019-06-11 2022-02-08 脸谱科技有限责任公司 用于电子动画设备的机械眼球
TWI761930B (zh) * 2019-11-07 2022-04-21 宏達國際電子股份有限公司 頭戴式顯示裝置以及距離量測器
CN114647084A (zh) * 2020-12-21 2022-06-21 英飞凌科技股份有限公司 具有眼睛跟踪的基于mems振镜的扩展现实投影
US11940630B2 (en) 2020-05-27 2024-03-26 Sony Group Corporation Display apparatus and display method

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10424103B2 (en) * 2014-04-29 2019-09-24 Microsoft Technology Licensing, Llc Display device viewer gaze attraction
EP3540574B1 (en) * 2018-03-15 2021-08-11 HTC Corporation Eye tracking method, electronic device, and non-transitory computer readable storage medium
WO2020016631A1 (en) 2018-07-16 2020-01-23 Bosch Car Multimedia Portugal S.a. Artificial eye for calibration of an eye-tracker, eye tracking calibration system and method thereof
EP3884333B1 (en) * 2018-11-21 2022-08-10 Telefonaktiebolaget Lm Ericsson (Publ) Calibration of mobile electronic devices connected to headsets wearable by users
KR102187260B1 (ko) * 2018-12-18 2020-12-04 상명대학교산학협력단 영상멀미 민감도 측정 방법 및 장치
US11042034B2 (en) * 2018-12-27 2021-06-22 Facebook Technologies, Llc Head mounted display calibration using portable docking station with calibration target
WO2020185219A1 (en) 2019-03-13 2020-09-17 Hewlett-Packard Development Company, L.P. Detecting eye tracking calibration errors
KR102240190B1 (ko) * 2019-11-29 2021-04-14 한국표준과학연구원 Ｖｒ 또는 ａｒ 기기용 렌즈와 광학계 광학특성 측정시스템
KR102359602B1 (ko) * 2020-03-10 2022-02-08 한국과학기술원 디스플레이를 위한 시선 입력 방법 및 이를 수행하는 장치들
JPWO2022079587A1 (zh) * 2020-10-12 2022-04-21
EP4279982A1 (en) * 2021-01-14 2023-11-22 Sony Group Corporation Image display device and image display system
KR102483010B1 (ko) * 2021-01-29 2022-12-30 원텍 주식회사 안구미세운동 측정장치
CN115128802A (zh) * 2021-03-24 2022-09-30 群创光电股份有限公司 影像的显示方法
US11815689B2 (en) 2021-04-30 2023-11-14 Semiconductor Energy Laboratory Co., Ltd. Electronic device
KR20240020960A (ko) * 2022-08-09 2024-02-16 삼성전자주식회사 시선 방향을 식별하는 전자 장치 및 그 작동 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5808802A (en) * 1996-11-15 1998-09-15 Daewoo Electronics Co. Ltd. Head-mounted display apparatus with a single image display device
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
EP2106132A1 (en) * 2007-01-09 2009-09-30 Scalar Corporation Head-mounted display
CN103091843A (zh) * 2011-11-04 2013-05-08 微软公司 透视显示器亮度控制
US20160011658A1 (en) * 2014-04-11 2016-01-14 Javier San Agustin Lopez Systems and methods of eye tracking calibration

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06319701A (ja) * 1993-05-11 1994-11-22 Fuji Xerox Co Ltd 視線認識装置
JP3453911B2 (ja) * 1995-03-02 2003-10-06 富士ゼロックス株式会社 視線認識装置
JP2002143094A (ja) * 2000-11-07 2002-05-21 Nac Image Technology Inc 視線検出装置
US7766479B2 (en) * 2006-03-31 2010-08-03 National University Corporation Shizuoka University View point detecting device
US7542210B2 (en) * 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
US8790280B2 (en) * 2007-06-27 2014-07-29 Panasonic Corporation Human state estimating device and method
JP5163982B2 (ja) * 2008-06-16 2013-03-13 国立大学法人神戸大学 視線計測装置、視線計測プログラム、視線計測方法、および視線計測装置用ディスプレイ
JP5966510B2 (ja) 2012-03-29 2016-08-10 ソニー株式会社 情報処理システム
WO2014021169A1 (ja) * 2012-07-31 2014-02-06 独立行政法人科学技術振興機構 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体
US20140152558A1 (en) * 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
GB201310368D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
EP2821839A1 (de) * 2013-07-03 2015-01-07 Airbus Defence and Space GmbH HMD-Vorrichtung mit einstellbarer Eye-Tracking-Einrichtung
JP6138634B2 (ja) 2013-08-29 2017-05-31 アイシン・エィ・ダブリュ株式会社 ヘッドアップディスプレイ装置
KR102309257B1 (ko) * 2013-09-04 2021-10-06 에씰로 앙터나시오날 증강 현실을 위한 방법 및 시스템
AU2015297035B2 (en) * 2014-05-09 2018-06-28 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5808802A (en) * 1996-11-15 1998-09-15 Daewoo Electronics Co. Ltd. Head-mounted display apparatus with a single image display device
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
EP2106132A1 (en) * 2007-01-09 2009-09-30 Scalar Corporation Head-mounted display
CN103091843A (zh) * 2011-11-04 2013-05-08 微软公司 透视显示器亮度控制
US20160011658A1 (en) * 2014-04-11 2016-01-14 Javier San Agustin Lopez Systems and methods of eye tracking calibration

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309141B (zh) * 2018-12-11 2023-08-04 托比股份公司 屏幕估计
CN111309141A (zh) * 2018-12-11 2020-06-19 托比股份公司 屏幕估计
CN111522431B (zh) * 2018-12-21 2021-08-20 托比股份公司 使用眼睛跟踪系统对闪光进行分类
CN111522431A (zh) * 2018-12-21 2020-08-11 托比股份公司 使用眼睛跟踪系统对闪光进行分类
CN111539984A (zh) * 2018-12-21 2020-08-14 托比股份公司 基于瞳孔特性的连续校准
US11619990B2 (en) 2018-12-21 2023-04-04 Tobii Ab Classification of glints using an eye tracking system
CN111757089A (zh) * 2019-03-29 2020-10-09 托比股份公司 利用眼睛的瞳孔增强调节来渲染图像的方法和系统
CN111752383A (zh) * 2019-03-29 2020-10-09 托比股份公司 更新角膜模型
CN113646689A (zh) * 2019-04-16 2021-11-12 脸谱科技有限责任公司 头戴式显示器的场内光源的排除区域
CN114026525A (zh) * 2019-06-11 2022-02-08 脸谱科技有限责任公司 用于电子动画设备的机械眼球
CN112148119A (zh) * 2019-06-26 2020-12-29 托比股份公司 用于在数字图像数据中确定眼睛位置的方法、眼睛追踪器和计算机程序
CN112515624B (zh) * 2019-09-18 2024-04-30 苹果公司 使用低分辨率图像跟踪眼睛
CN112515624A (zh) * 2019-09-18 2021-03-19 苹果公司 使用低分辨率图像跟踪眼睛
CN112578556A (zh) * 2019-09-27 2021-03-30 托比股份公司 用于减少来自光学装置的不合需的反射的眼睛跟踪系统
TWI761930B (zh) * 2019-11-07 2022-04-21 宏達國際電子股份有限公司 頭戴式顯示裝置以及距離量測器
CN113010125A (zh) * 2019-12-20 2021-06-22 托比股份公司 方法、计算机程序产品和双目式头戴装置控制器
CN113010125B (zh) * 2019-12-20 2024-03-19 托比股份公司 方法、计算机程序产品和双目式头戴装置控制器
CN111738967A (zh) * 2020-05-21 2020-10-02 完美世界(北京)软件科技发展有限公司 模型生成方法和装置、存储介质和电子装置
US11940630B2 (en) 2020-05-27 2024-03-26 Sony Group Corporation Display apparatus and display method
CN111812857A (zh) * 2020-07-20 2020-10-23 上海青研科技有限公司 显示装置、方法与应用
CN114647084A (zh) * 2020-12-21 2022-06-21 英飞凌科技股份有限公司 具有眼睛跟踪的基于mems振镜的扩展现实投影

Also Published As

Publication number Publication date
JP2019512726A (ja) 2019-05-16
KR20180115285A (ko) 2018-10-22
WO2017156486A1 (en) 2017-09-14
EP3329316A4 (en) 2019-03-27
EP3329316A1 (en) 2018-06-06
CN108780223B (zh) 2019-12-20
EP3329316B1 (en) 2023-09-20
KR102062658B1 (ko) 2020-01-06
JP6576574B2 (ja) 2019-09-18

Similar Documents

Publication Publication Date Title
CN108780223A (zh) 用于生成眼睛模型的角膜球跟踪
US10614577B1 (en) Eye tracking system with single point calibration
US11016301B1 (en) Accommodation based optical correction
CN109791605B (zh) 基于眼睛跟踪信息的图像区域中的自适应参数
CN108351514B (zh) 使用结构光的眼睛追踪
US10401625B2 (en) Determining interpupillary distance and eye relief of a user wearing a head-mounted display
CN105850113B (zh) 虚拟现实系统的校准
US10109067B2 (en) Corneal sphere tracking for generating an eye model
CN104603673B (zh) 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
CN110325895A (zh) 聚焦调整多平面头戴式显示器
CN108352075A (zh) 使用光流的眼睛跟踪
CN110658914B (zh) 边界区域的闪烁追踪
US10528128B1 (en) Head-mounted display devices with transparent display panels for eye tracking
CN109643152A (zh) 使用头戴式显示器内的面部传感器的面部和眼睛跟踪以及面部动画
US11188148B2 (en) User interaction in head-mounted display with eye tracking
CN110554501B (zh) 头戴式显示器及用于确定佩戴其的用户的视线的方法
US10706600B1 (en) Head-mounted display devices with transparent display panels for color deficient user
US10416445B1 (en) Lenses with consistent distortion profile
US10620432B1 (en) Devices and methods for lens position adjustment based on diffraction in a fresnel lens
US10623743B1 (en) Compression of captured images including light captured from locations on a device or object
US10254507B1 (en) Devices and methods for adjusting an interpupillary distance based on encoded light patterns
US10520729B1 (en) Light scattering element for providing optical cues for lens position adjustment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Facebook Technologies, LLC

Address before: California, USA

Applicant before: OCULUS VR, LLC

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC

CP01 Change in the name or title of a patent holder