CN113729611A - 使用眼球中心位置的眼睛追踪 - Google Patents

使用眼球中心位置的眼睛追踪 Download PDF

Info

Publication number
CN113729611A
CN113729611A CN202111138174.0A CN202111138174A CN113729611A CN 113729611 A CN113729611 A CN 113729611A CN 202111138174 A CN202111138174 A CN 202111138174A CN 113729611 A CN113729611 A CN 113729611A
Authority
CN
China
Prior art keywords
eye
estimated
center
pupil
center position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111138174.0A
Other languages
English (en)
Other versions
CN113729611B (zh
Inventor
西蒙·约翰逊
马克·瑞安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Priority to CN202111138174.0A priority Critical patent/CN113729611B/zh
Publication of CN113729611A publication Critical patent/CN113729611A/zh
Application granted granted Critical
Publication of CN113729611B publication Critical patent/CN113729611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

公开了一种方法、一种包括配置为执行该方法的电路的眼睛追踪系统，和存储计算机可执行指令的一个或多个计算机可读存储介质，该计算机可执行指令当由实现眼睛/视线数据处理的计算系统执行时，使计算系统执行该方法。获得眼睛中从眼球中心到瞳孔中心的估计半径(r)，并确定在眼睛中相对于用于捕获眼睛的图像的图像传感器的估计眼球中心位置(e)，获得通过图像传感器捕获的眼睛的图像，并所获得的图像中识别在眼睛中代表瞳孔中心的位置。然后基于估计眼球中心位置(e)、估计半径(r)以及在所获得的图像中识别出的代表瞳孔中心的位置，确定估计瞳孔中心位置(p’)。

Description

使用眼球中心位置的眼睛追踪
分案申请声明
本申请是2018年09月10日提交的、发明名称为“使用眼球中心位置的眼睛追踪”、申请号为201811052584.1的中国发明专利申请的分案申请。
前言
本说明书仅提供示例性实施例，并且不旨在限制本公开的范围、适用性或配置。相反，本说明书的示例性实施例将向本领域技术人员提供用于实现一个或多个示例性实施例的有利描述。应该理解，在不脱离如在此阐述的本发明的精神和范围的情况下，可以对元件的功能和布置进行各种改变。
例如，讨论的与一个实施例有关的任何细节可以存在或不存在于该实施例的所有预期版本中。类似地，讨论的与一个实施例有关的任何细节可以存在或不存在于在本文描述的另外的实施例的所有预期版本中。最后，没有讨论与本文的实施例有关的细节应当是隐含的认识，这种细节可以存在或不存在于本文讨论的任何实施例的任何版本中。
在以下描述中给出具体细节以提供实施例的透彻的理解。然而，本领域技术人员将理解，实施例可以在没有这些具体细节的情况下实施。例如，在本发明中的电路、系统、网络、处理器及其他元件可以以框图的形式示出为部件，以便不会在不必要的细节上使实施例模糊。在其他例子中，可以在没有不必要的细节的情况下示出公知的电路、过程、算法、结构和技术，以避免使实施例模糊。
另外，应当注意，单独的实施例可被描述为被描绘为流程图、作业图、数据流程图、结构图或框图的过程。尽管流程图可以将操作描述为顺序过程，但是许多操作可以并行或同时地执行。此外，操作的顺序可以被重新安排。可以在其操作完成时终止该过程，但是可以有未在图中讨论或包括的附加步骤。此外，并非任何特定描述的过程中的所有操作都可以发生在所有实施例中。过程可以对应于方法、功能、步骤、子例程、子程序等。当过程对应于功能时，其终止对应于到调用函数或主函数的函数的返回。
术语“机器可读介质”包括但不限于暂时的或非暂时的、便携式的或固定的存储器件、光学存储设备、无线信道，以及能够存储、包含或携带指令和/或数据的各种其他的介质。代码段或机器可执行指令可以表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类，或指令、数据结构或程序语句的任何组合。代码段可以通过传送和/或接收信息、数据、自变量、参数或存储内容而耦合到另一代码段或硬件电路。信息、自变量、参数、数据等可以通过任何合适的方式传送、转发或传输，该方法包括存储共享、信息传递、令牌传递、网络传输等。
进一步地，本发明的实施例至少部分可以手动或自动地实现。可以通过使用机器、硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来执行或至少辅助手动或自动实现。当在软件、固件、中间件或微码中实现时，执行必要任务的程序代码或代码段可以存储在机器可读介质中。处理器可以执行必要任务。
技术领域
本公开大致上涉及眼睛追踪领域。具体地，本发明涉及用于生成指示眼睛方向和/或眼睛的视线方向的视线追踪数据的系统和方法。
背景技术
在本领域中，已知几种不同的眼睛追踪系统。这样的系统可以例如用于识别用户正在看的显示器处的位置和/或用户的视线方向。一些眼睛追踪系统捕获用户的至少一只眼睛的图像，然后采用图像处理从眼睛提取关键特征，例如瞳孔中心以及来自照射眼睛的照明器的闪光(角膜反射)。然后可以采用所提取的特征来确定用户正在看的显示器的位置、用户的眼睛方向和/或用户的视线方向。
一种已知的眼睛追踪方法包括红外光和图像传感器的使用。红外光被引导向用户的瞳孔，并且光的反射被图像传感器捕获。通过对反射点的分析，可以计算用户的视线的方向。在US 7572008(其通过引用整体并入本文)中描述了一种这样的系统。
先前已经描述了便携式或可穿戴的眼睛追踪设备。在US 9041787(其通过引用整体并入本文)中描述了一种这样的眼睛追踪系统。描述了使用用于确定视线方向的照明器和图像传感器的可穿戴的眼睛追踪设备。
在用于便携式或可穿戴的眼睛追踪设备中(例如，在虚拟现实(VR)设备和增强现实(AR)设备中)的眼睛追踪的应用中(其中使用头戴式设备，该头戴式设备包括基于瞳孔中心以及来自照射用户眼睛的照明器的闪光而确定眼睛方向和/或视线方向的眼睛追踪系统)，会出现这样的情况：用户的眼睛相对于照明器而被引导，使得没有或者太少的闪光可被识别，以用于眼睛追踪，或者所识别的一个或多个闪光难以与于引起闪光的相应照明器相配对。在这种情况下，将难以或不能确定眼睛方向和/或视线方向和/或眼睛方向，或者至少不能以期望的可靠性确定眼睛方向和/或视线方向。
希望提供一种眼睛追踪技术来解决这种识别用于眼睛追踪的闪光没有或太少，或者一个或多个识别的闪光难以与照明射线相关的情况。
本公开的目的是解决上述问题中的至少一个。
发明内容
根据本发明的第一方面，提供了一种方法，该方法包括：获得在眼睛中从眼球中心到眼睛中瞳孔中心的估计半径，并确定在眼睛中相对于用于捕获眼睛的图像的图像传感器的估计眼球中心位置。此外，获得通过图像传感器捕获的眼睛的图像，并在所获得图像中确定眼睛中代表瞳孔中心的位置。最后，基于估计眼球中心位置、估计半径以及在所获得的图像中识别出的代表瞳孔中心的位置，确定估计瞳孔中心位置。
在一些情况下，用于确定眼睛方向和/或眼睛的视线方向的主要方法不能提供可靠的结果。这可能是由当前眼睛方向或影响该方法提供眼睛方向和/或视线方向的可靠结果的可能性的其他暂时性因素引起的。对于眼睛追踪的一些应用，在这种情况下，然后可以使用基于估计眼球中心位置的另一种方法来代替确定眼睛方向的主要方法。更具体地，使用估计眼球中心位置的这种方法可用于眼睛追踪的应用中，其中无论眼睛的方向如何，眼球中心位置可近似为相对于捕获眼睛的图像的图像传感器是恒定的。这种近似将至少在一些时间段内有效。
估计眼球中心位置可以在可能以所需可靠性确定的情况下来确定。估计眼球中心位置可以例如基于用于确定眼睛追踪和/或视线追踪的主要方法来确定。然而，应当理解，只要可以以所需的可靠性确定估计眼球中心位置，可以使用任何其他的方法。
当已经确定估计眼球中心位置时，该估计然后可以用于当基于主要方法不能以所需可靠性确定眼睛方向和/或视线方向的情况。获得通过图像传感器捕获的眼睛的图像，并在所获得图像中确定眼睛中代表瞳孔中心的位置。获得从眼球中心到眼睛的瞳孔中心的估计半径。估计半径是从眼球中心到人眼睛的瞳孔中心的距离的近似值。由于相对于图像传感器的估计眼球中心位置是已知的，并且从眼球中心到瞳孔中心的估计半径是已知的，因此这些可以与由图像传感器捕获的图像中的瞳孔中心的所识别的表示相组合，以确定估计瞳孔中心位置。
所确定的瞳孔中心位置是瞳孔中心相对于图像传感器的实际位置。
图像传感器可以是由包含像素传感器阵列的集成电路组成的任何类型的成像传感器，其中每个像素包含光电检测器和有源放大器。图像传感器能够将光转换为数字信号。实际上，作为示例，图像传感器可能是：红外图像传感器或IR图像传感器；RGB传感器；RGBW传感器；具有红外滤光器的RGB或RGBW传感器。
图像传感器的快门机构制可以是滚动快门或全局快门。
在实施例中，估计半径第一选择为从人眼睛的眼球中心到瞳孔中心的距离的近似值。当获取关于当前用户的眼睛的其他数据时，可以更新估计半径。
在实施在系统(其中用于确定眼睛方向和/或眼睛的视线方向的主要方法是基于确定瞳孔中心和来自照射眼睛的一个或多个照明器在眼睛上的闪光(角膜反射))中的实施例中，在主要方法无法提供可靠的结果的情况下的示例是：当眼睛的方向相对于来自一个或多个照明器的一个或多个照明射线之间的角度变大的时候，例如，当眼睛被引导到指向在系统显示器边缘的点时。在这种情况下，识别眼睛上的(特别是眼睛的角膜上的)任何闪光或至少足够数量的闪光可能出现困难，或者识别出的一个或多个闪光不能与一个或多个照明器中的相应照明器相关联。在这种情况下，使用主要方法基于一个或多个所识别的闪光可能不能以所需的可靠性来确定眼睛方向和/或眼睛的视线方向。
眼睛追踪的应用的一个示例是可穿戴设备(例如用于VR或AR的设备)，其中在主要方法在可穿戴设备中失败的情况下，可以使用基于估计眼球中心位置的另一方法来代替用于确定眼睛方向的主要方法，在该可穿戴设备中，一个或多个图像传感器定位在可穿戴设备上或定位在可穿戴设备中，并因此只要用户佩戴该设备，当用户移动时，该一个或多个图像传感器将不会相对于眼睛而移动。在这种应用中，无论眼睛方向和头部位置如何，眼球中心位置可以被近似为相对于捕获眼睛图像的图像传感器是恒定的。
对于可穿戴的设备(例如用于VR和AR的设备)，其中用于确定眼睛方向和/或眼睛的视线方向的主要方法是基于确定瞳孔中心和来自照射眼睛的一个或多个照明器在眼睛上闪光，例如，对于在眼睛上识别出足够数量的闪光、并且所识别的一个或多个闪光可以与相应的一个或多个照明器相关联的情况，可以确定眼睛中相对于用于捕获眼睛的图像的图像传感器的估计眼球中心位置，这样可以用所需的可靠性确定估计眼球中心位置。对于主要方法不能识别眼睛上的任何闪光或至少不能识别眼睛上足够数量的闪光的情况，或者其中一个或多个所识别的闪光不能与一个或多个照明器的相应的照明器相关联的情况，可以使用基于估计眼球中心位置的方法来确定眼睛方向和/或视线方向。
一旦已经确定估计瞳孔中心位置，根据一些实施例，基于从估计眼球中心位置到估计瞳孔中心位置的矢量确定估计的眼睛方向。
此外，根据一些实施例，基于估计眼睛方向确定估计视线方向。
根据一些实施例，获得从眼睛中的角膜球心到瞳孔中心的估计距离，获得从眼球中心到角膜球心的估计距离。那么从眼球中心到瞳孔中心的估计半径等于从角膜球心到瞳孔中心的估计距离和从眼球中心到角膜球心的估计距离之和。
眼睛的角膜通常在位于瞳孔周围的角膜的中心区域中近似为球形，但是更远离角膜的中心偏离球形形状。角膜的中心区域因此可以被称为球形区域，而角膜的在球形区域之外的区域可以被称为非球形区域。角膜球心被定义为在假想的球体的中心的位置，角膜的球形区域形成该假想球体的一部分。
从角膜球心到瞳孔中心的估计距离(也称为瞳孔深度)可以是恒定的近似值或可以动态更新。
例如，在实施在系统(其使用基于确定眼睛中的瞳孔中心和照射眼睛的一个或多个照明器在眼睛上闪光来确定眼睛方向和/或眼睛的视线方向的主要方法)中的实施例中，对于在眼睛上有足够数量的闪光、并且所识别的一个或多个闪光可以与一个或多个照明器器的相应的照明器相关联的情况中，确定角膜球心的位置，这样可以以所需的可靠性确定角膜球心位置。由此，可以确定从角膜中心到瞳孔中心距离。
从眼球中心到角膜球心的估计距离可以是恒定的近似值或可以动态地更新。
根据一些实施例，基于估计眼球中心位置、眼睛中从眼球中心到瞳孔中心的估计半径、以及在所获的图像中识别出的代表瞳孔中心的位置(通过首先定义中心位于估计眼球中心位置的眼球球体)，确定估计瞳孔中心位置。进一步地，眼球球体的半径为估计半径。基于在所获得的图像中识别出的代表瞳孔中心的位置，确定定位瞳孔中心所沿着的瞳孔射线。瞳孔射线是在所获得的图像中识别出的代表瞳孔中心的位置的图像传感器在三维空间中的投影。然后将估计瞳孔中心位置确定为眼球球体和所述瞳孔射线之间的交叉点。
在一些实施例中，使用考虑在眼睛的角膜中从角膜的表面到瞳孔中心的折射的迭代方法来确定估计瞳孔中心位置。
在这些实施例中，考虑了角膜的折射，即瞳孔中心将不定位在作为三维空间中的线性投影的瞳孔射线上，但是瞳孔射线将在眼睛的角膜中折射。
根据一些实施例，获得眼睛中从角膜球心到眼睛中瞳孔中心的估计距离。然后，将估计角膜球心位置确定为：在朝向估计眼球中心位置的方向上相距估计瞳孔中心位置的所获得的从角膜球心到瞳孔中心的估计距离，即，从估计瞳孔中心位置开始，在从瞳孔中心朝向估计眼球中心位置的方向上，将所获得的估计距离从角膜球心到瞳孔中心移动。
根据一些实施例，估计角膜球心位置可以用于预测眼睛上的一个或多个闪光的位置。
在实施在系统(其使用基于确定眼睛中的瞳孔中心和来自照射眼睛的一个或多个照明器在眼睛上的闪光来确定眼睛方向和/或眼睛的视线方向的主要方法)中的实施例中，在主要方法确定角膜球心位置之前，估计角膜球心位置可以用于预测一个或多个闪光的位置。然后可以将该预测用于将一个或多个闪光中的每一个与一个或多个照明器的相应的照明器相关联。即使在眼睛上有足够数量的闪光的情况下，这也是有用的，因为可以基于主要方法以所需的可靠性来确定角膜球心的位置。
根据一些实施例，通过确定基于眼睛上的一个或多个闪光位置确定角膜球心位置来确定估计眼球中心位置。进一步地，确定瞳孔中心位置，并获得从眼球中心到角膜球心的估计距离。然后将估计眼球中心位置确定为：在从瞳孔中心位置到角膜球心位置的方向上相距角膜球心位置的从眼球中心到角膜球心的估计距离，即，从确定的角膜球心位置开始，并在从确定的瞳孔中心位置到确定的角膜球心位置的方向上，将所获得的估计位置从眼球中心到角膜球心移动。
在实施在系统(其使用基于确定眼睛中的瞳孔中心和来自照射眼睛的一个或多个照明器在眼睛上的闪光来确定眼睛方向和/或眼睛的视线方向的主要方法)中的实施例中，在眼睛上识别足够数量的闪光、并且所识别的闪光可以与一个或多个照明器器的相应的照明器相关联的情况中，确定估计眼球中心位置，这样可以以所需的可靠性确定角膜球心位置和眼睛方向。然后，使用所确定的球心位置与眼睛方向、从眼球中心到角膜球心的估计距离，来确定估计眼球中心位置。然后，估计眼球中心位置可以用于基于主要方法不能以所需的可靠性来确定眼睛方向和/或视线方向的情况。这种情况例如是，当眼睛的方向与来自一个或多个照明器的一个或多个照明射线之间的角度变大时，例如，当眼睛被引导到系统的显示器的边缘处的点时。在这种情况下，可能难以在眼睛上识别在眼睛上识别的足够数量的闪光和/或将所识别的闪光与一个或多个照明器的对应照明器相关联，以使用主要方法以所需的可靠性确定眼睛方向和/或眼睛的视线方向。
根据第二方面，提供了包括电路的眼睛追踪系统，该电路配置为：获得眼睛中从眼球中心到瞳孔中心的估计半径，并确定在眼睛中相对于用于捕获眼睛的图像的图像传感器的估计眼球中心位置。该电路进一步配置为：获得通过图像传感器捕获的眼睛的图像，并在所获得的图像中确定眼睛中代表瞳孔中心的位置。该电路进一步配置为：基于估计眼球中心位置、估计半径以及在所获得的图像中识别出的代表瞳孔中心的位置，确定估计瞳孔中心位置。
第二方面的系统或包括在这种系统中的电路可以例如配置为执行第一方面的任何实施例。
此外，根据第二方面的系统的实施例可以例如包括与根据第一方面的系统的任何实施例的特征相对应的特征。
根据实施例，眼睛追踪系统还包括用于捕获眼睛的图像的图像传感器。
根据实施例，图像传感器布置在可穿戴设备中。
在可穿戴设备(例如用于VR和AR的设备)中，其中一个或多个图像传感器定位在可穿戴设备上，因此，只要用户佩戴该设备，该图像传感器将不会相对于眼睛移动，并且，不论眼睛的方向如何，眼球中心位置可以近似为相对于捕获眼睛的图像的图像传感器是恒定的。因此，在用于确定眼睛方向和/或视线方向的主要方法不能产生可靠结果的情况下，可以使用基于估计眼球中心位置的另一方法来代替主要方法来确定眼睛方向。
根据实施例，该电路布置在与可穿戴设备不同的设备中。
根据实施例，该电路布置在可穿戴设备中。
根据本发明的第三方面，提供了一个或多个计算机可读存储介质，其存储计算机可执行指令，当该计算机可执行指令由实现眼睛/视线数据处理的计算系统执行时，使计算系统执行一方法。该方法可以例如是根据第二方面的方法。
根据第三方面的一个或多个计算机可读存储介质的实施例可以例如包括与根据第一方面的方法的任何实施例的特征相对应的特征。
一个或多个计算机可读介质可以例如是一个或多个非暂时性计算机可读介质。
应当注意，本发明的实施例涉及权利要求中记载的特征的所有可能的组合。
附图说明
下面将参考附图描述示例性实施例：
图1展示了眼睛追踪系统的视图，各实施例可以在该系统中实施；
图2展示了眼睛的示例图像；
图3展示了眼睛的横截面图；
图4a展示了头戴式设备的选定部分的视图；
图4b展示了头戴式设备的选定部分的侧视图；
图4c展示了头戴式设备的选定部分的爆炸视图；
图5a展示了与实施例相关的眼睛的几何形状的选定部分的视图；
图5b展示了与实施例相关的眼睛的几何形状的选定部分的视图；
图6展示了与实施例相关的眼睛的几何形状的选定部分的视图；
图7-9是根据实施例的方法的流程图；以及
图10是一种专用的计算机系统的框图，该计算机系统能够在本发明的装置或系统的至少某些部分中使用，或实施本发明的方法的至少某些部分。
所有附图都是示意性的，并且通常仅示出了为了阐明相应的实施例所必需的部件，而其他部件可以省略或仅仅建议。
具体实施方式
图1展示了眼睛追踪系统100(也可以被称为视线追踪系统)的简化视图，本发明的实施例可以在该系统中实施。系统100包括用于照射用户眼睛的照明器111和112，以及用于捕获用户的眼睛的图像的光传感器113。照明器111和112可以例如是以红外频带或近红外频带发射光的发光二极管。光传感器113可以例如是图像传感器，例如互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器。
第一照明器111与光传感器113同轴(或靠近)布置，使得光传感器113可以捕获用户的眼睛的明亮瞳孔图像。由于第一照明器111和光传感器113的同轴布置，从眼睛的视网膜反射的光通过瞳孔朝向光传感器113返回，使得在第一照明器111照射眼睛的图像中，瞳孔看起来比其周围的虹膜更亮。第二照明器112与光传感器113非同轴地布置(或者远离光传感器113布置)，用于捕获暗瞳孔图像。由于第二照明器112和光传感器113的非同轴布置，从眼睛的视网膜反射的光不会到达光传感器113，并且在第二照明器112照射眼睛的图像中，瞳孔看起来比其周围的虹膜更暗。照明器111和112可以例如轮流照射眼睛，使得每个第一图像是明亮瞳孔图像，并且每个第二图像是暗瞳孔图像。
眼睛追踪系统100还包括用于处理由光传感器113捕获的图像的电路120(例如，包括一个或多个处理器)。电路120可以例如经由有线或无线连接而连接到光传感器113和照明器111和112，并且与光传感器113以及照明器111和112共同定位，或者间隔定位，例如，在不同设备中。在另一示例中，可以在光传感器113的光敏表面下方的一个或多个堆叠层中提供一个或多个处理器形式的电路120。
图2展示了由光传感器113捕获的眼睛200的图像的示例。电路120可以例如采用图像处理(例如数字图像处理)来提取图像中的特征。电路120可以例如采用瞳孔中心角膜反射(PCCR)眼睛追踪来确定眼睛200正在看的位置。在PCCR眼睛追踪中，处理器120估计在眼睛200处的瞳孔210的中心的位置以及闪光220的中心的位置。闪光220是由来自照明器111和112中的一个照明器的光的反射引起的。处理器120使用闪光220计算用户在空间中的位置以及用户的眼睛200使用瞳孔210指向的位置。由于眼睛200的光学中心与中央凹(fovea)之间通常存在偏移，因此处理器120执行中央凹偏移的校准以能够确定用户正在看的位置。然后可以组合从左眼和右眼获得的视线方向以形成组合的估计视线方向(或观看方向)。
在参见图1描述的眼睛追踪系统中，照明器111和112布置在眼睛追踪模块110中。这种布置仅作为示例。应当理解，可以采用更多或更少数量的照明器和光传感器来进行眼睛追踪，并且这种照明器和光传感器可以相对于用户观看的显示器以许多不同的方式来分布。应当理解，本公开中描述的眼睛追踪方案可以例如用于可穿戴的眼睛追踪(例如用在虚拟现实(VR)眼镜或增强现实(AR)眼镜中)。
图3展示了眼睛300的不同部分的横截面。角膜310具有中心区域311和外部区域312。中心区域311通常接近于球形。外部区域312是非球形的，因此更难以建模。中心区域311(在此也称作角膜310的球形区域)从角膜表面中心313延伸到球形区域311的边缘314。角膜表面中心313是在角膜310的球形区域311处的位置，在该位置处，从眼球中心330延伸通过瞳孔中心350的虚拟线340与角膜310的球形区域311相交。角膜310的外部区域312从角膜310的球形区域311的边缘314延伸到角膜310的边缘315。外部区域312在本文中也称为角膜310的非球形区域。角膜球心360是假想的角膜球体370的中心位置，球形区域311形成该假想的角膜球体370的一部分。图3还展示了眼睛300的巩膜320。
在眼睛追踪系统中，通过确定闪光的位置和使用眼睛的几何形状来确定眼睛300的当前眼睛方向或视线方向。在该过程中，确定角膜球心360的当前位置和瞳孔中心350的当前位置。
图4a-c各自展示了以虚拟现实(VR)设备(VR眼镜)400的形式的头戴式设备的选定部分的单独视图，该设备包括可以在其中实现实施例的眼睛追踪系统。
图4a展示了以VR眼镜400形式的头戴式设备的选定部分的视图，该设备包括在其中可以实现实施例的眼睛追踪系统。除了VR眼镜400之外，还展示了眼睛402和用户的头部404。所展示的VR眼镜400的VR部分包括两个VR显示器410和两个透镜412，其中每只眼睛402使用一个VR显示器410和一个透镜412。VR显示器410定位在眼睛412的前方，透镜414定位在眼睛412和VR显示器410之间。VR眼镜400的眼睛追踪部分包括两个热镜420和两个摄像头422。为了捕获用于在眼睛追踪中使用的眼睛412的图像，热镜420布置在VR显示器410和透镜414之间。此外，照明器(未图示)布置在VR眼镜400上或VR眼镜400中，使得照明射线被引导朝向眼睛402。从照明射线的眼睛402朝向热镜420的反射将朝向摄像头422反射，在该摄像头422中检测照明射线以产生眼睛的图像。例如，热镜420可以是这样的类型：它们将反射红外频带中的光，但对于可见频带中的光是透明的。然后所使用的照明器(未图示)将产生红外频带中的照明射线，并且摄像头422将包括能够检测红外频带中的光的图像传感器。
图4b展示了VR眼镜400的选定部分的侧视图。来自照明器(未图示)朝向眼睛402的照明射线将反射回来并穿过透镜412朝向热镜420，并朝向摄像头422反射，在该摄像头422中检测照明射线以产生眼睛的图像。
图4c展示了VR眼镜400的选定部分的爆炸视图。展示了对于一只眼睛的选定部分，该部分包括照明器盖424、以发光二极管(LED)426形式的照明器、包括图像传感器的摄像头422、透镜412、透镜杯或透镜筒414、热镜420、VR显示器410和电子板416。图4c展示了以LED426形式的照明器的示例布置，其中LED沿着透镜412的外围布置以在照射眼睛402时产生图案。在摄像头422中检测来自LED 426的、从眼睛和热镜反射的照明射线，以产生眼睛的图像。在眼睛(角膜)的反射被称为闪光，并且，使用闪光的位置，眼睛的几何形状和VR眼镜400的设置的几何形状用于确定当前眼睛方向或视线方向。
例如在VR眼镜或增强现实AR眼镜中的头戴式设备可以通过包括可穿戴的眼睛追踪来增强，其使用布置在头戴式设备中的照明器和一个或多个光传感器，从而基于瞳孔的中心的位置和来自照明器的在眼睛处的一个或多个闪光的中心的位置的估计来确定眼睛方向和/或视线方向。在这样的设备中可能出现的问题是，当用户观看靠近显示器边缘的点时，闪光倾向于脱离角膜，从而变得难以基于闪光的识别来确定用户的眼睛方向和/或视线方向。
然而，即使不能识别闪光并将其用于确定眼睛方向和/或视线方向，仍然可以识别瞳孔的中心的位置(瞳孔中心位置)。
在下文中，将参照图5a和图5b来描述用于确定眼睛方向和视线方向的方法。
该方法在可穿戴设备(例如VR眼镜或AR眼镜)中实现，其中照明器和图像传感器布置在可穿戴设备上或可穿戴设备中，并且因此，只要用户佩戴该设备，在用户移动时，照明器和图像传感器将不会相对于眼睛移动。在这种应用中，无论眼睛方向如何，眼球中心位置可以被近似为相对于捕获眼睛的图像的图像传感器是恒定的。可穿戴设备使用用于确定眼睛方向和/或眼睛的视线方向的主要方法，该主要方法是基于确定眼睛中的瞳孔中心和照明器在眼睛上闪光，眼睛由图像传感器检测。参照图4a-c描述了这种系统的示例。
在眼睛上识别足够数量的闪光并且所识别的闪光可以与一个或多个照明器中的相应照明器相关联的情况下，为了能够基于主要方法以所需的可靠性确定角膜球心位置和眼睛方向，将使用主要方法以确定眼睛方向和/或视线方向。
在基于主要方法不能以所需的可靠性确定眼睛方向和/或视线方向的情况下，使用用于确定眼睛方向和/或视线方向的第二方法。第二方法利用估计眼球中心位置和估计瞳孔中心位置来确定眼睛方向和/或视线方向。
在眼睛上识别足够数量的闪光并且所识别的闪光可以与照明器中的相应照明器相关联的情况下，确定在第二方法中使用的估计眼球中心位置，使得可以使用主要方法以所需的可靠性确定角膜球心位置和眼睛方向。
使用第二方法的情况是，例如当眼睛的方向与来自照明器的一个或多个照明射线之间的角度变大时，例如，当眼睛被引导到系统的显示器的边缘处的点时。在这种情况下，识别眼睛上的(特别是眼睛的角膜上的)任何闪光或至少足够数量的闪光时可能出现困难，或者识别出的一个或多个闪光不能与照明器中的相应照明器相关联。在这种情况下，可能无法使用主要方法来基于所识别的一个或多个闪光以所需的可靠性来确定眼睛方向和/或眼睛的视线方向。
使用主要方法的情况是，在眼睛上识别足够数量的闪光并且所识别的闪光可以与照明器中的相应照明器相关联的情况，这样可以使用主要方法以所需的可靠性确定角膜球心位置和眼睛方向。
在眼睛上识别足够数量的闪光并且所识别的闪光可以与照明器中的相应照明器相关联的情况下，所估计眼球中心位置可以仅在一段时间内是有效的，然后可以不时地更新，这样可以使用主要方法以所需的可靠性确定角膜球心位置和眼睛方向。
图5a展示了眼睛几何形状的选定部分相对于用于确定眼睛方向和视线方向的方法的部分的视图，在该方法中基于用于确定眼睛方向和/或视线方向的主要方法来估计眼球中心的位置。示出了瞳孔中心位置p、角膜球心位置c、角膜球体sc、估计眼球中心位置e、从眼球中心到角膜球心的估计距离d、眼睛方向
Figure BDA0003283042690000081
和包括图像传感器的摄像头510。
参见图5a，公开了一种情况，眼睛方向
Figure BDA0003283042690000082
和一个或多个来自照明器(未图示)的照明射线之间的角度使得在眼睛上识别足够数量的闪光，并且所识别的闪光可以与相应的照明器相关联，因为可以使用主要方法以所需的可靠性确定角膜球心位置c和眼睛方向
Figure BDA0003283042690000083
。
主要方法用于基于在摄像头510捕获的图像中识别的眼睛上的闪光来确定角膜球体位置c。此外，基于由摄像头510捕获的图像中识别的瞳孔中心位置的表示来确定瞳孔中心位置。
获得从眼球中心到角膜球心的估计距离d，作为通常用于人眼睛的近似值。
使用所确定的角膜球体位置c和瞳孔中心位置p估计眼睛方向
Figure BDA0003283042690000091
。换句话说，眼睛方向
Figure BDA0003283042690000092
是从角膜球心位置c到瞳孔中心位置p的方向。
然后可以基于主要方法的结果找到估计眼球中心位置e，作为在眼睛方向轴线上、在角膜球心c后、从眼球中心到角膜球心的估计距离d的点。
由于摄像头510布置在可穿戴设备上或可穿戴设备中，并且可穿戴设备的设置的几何形状是已知的，因此相对与摄像头的估计眼球中心位置e是已知的。
图5b展示了眼睛几何形状的选定部分相对于用于确定眼睛方向和视线方向的方法的部分的视图，在该方法中使用第二方法基于估计眼球中心位置来确定眼睛方向和/或视线方向。展示了估计瞳孔中心位置p’、估计角膜球心位置c’、眼球球体se、估计眼球中心位置e、从眼球中心到瞳孔中心的估计半径r、从眼球中心到角膜中心的估计距离d、从角膜球心到瞳孔中心的估计距离dp、估计眼睛方向
Figure BDA0003283042690000093
′、图像射线Rp、包括图像传感器的摄像头510。
参见图5b，公开了一情况，其中眼睛方向与来自照明器(未图示)的一个或多个照明射线之间的角使得在眼睛上没有识别足够数量的闪光和/或所识别的闪光不能与所需的眼睛中心照明器的相应照明器相关联，以致于不能使用主要方法可以以所需的可靠性确定角膜球心位置c和眼睛方向
Figure BDA0003283042690000094
。
已经如图5a所描述的那样导出了相对于摄像头510的眼睛中的估计眼球中心位置e。
获得从眼球中心到角膜球心的估计距离d以及从角膜球心到瞳孔中心的估计距离dp，作为通常用于人眼睛的近似值。
将从角膜球心到瞳孔中心的估计距离dp第一选择作为从角膜球心到人眼睛的瞳孔中心的距离的近似值。当获取关于当前用户的眼睛的其他数据时，可以更新从角膜球心到瞳孔中心的估计距离dp。
眼球球体se被定义为中心在估计眼球中心位置e的球体，半径r是从眼球中心到角膜球心的估计距离d和从角膜球心到瞳孔中心的估计距离dp之和。
借助于摄像头510捕获眼睛的图像，并且在图像中识别眼睛中代表瞳孔中心的位置。
基于在所获得的图像中识别出的代表瞳孔中心的位置，确定定位瞳孔中心所沿着的瞳孔射线Rp(该瞳孔射线Rp是在三维空间中的投影)。找到估计瞳孔中心位置p’，作为眼球球体se和瞳孔射线Rp之间的交叉点。
基于
Figure BDA0003283042690000095
从估计眼球中心位置e到估计瞳孔中心位置p’的矢量确定估计眼睛方向，然后可以基于估计眼睛方向确定估计视线方向
Figure BDA0003283042690000096
。
应当注意，尽管在图5b中将瞳孔射线Rp表示为直线，但是在其中实现该方法的可穿戴设备的设置通常使得透镜和热镜布置在眼睛和摄像头510之间。因此，由摄像头捕获的图像中的识别表示的投影(例如瞳孔中心的识别表示在三维空间中的投影)需要采用该设置的已知的几何形状和已知的光学性质来识别该投影。这样的投影将不是直线。
此外，应当注意，瞳孔射线Rp和眼球球体se之间的交点的使用仅仅是近似值。为了更准确地确定估计瞳孔中心位置p’，使用考虑到从角膜表面到瞳孔中心的眼睛的角膜的折射的迭代方法。
在确定估计的眼睛方向和估计的视线方向的替代性的方案中，估计角膜球心位置c’可以使用所确定的估计瞳孔中心位置p’和从角膜球心到瞳孔中心的所获得的估计距离dp来确定。通过从估计瞳孔中心位置p’在朝向估计眼球中心位置e的方向上将估计距离dp从角膜球心移动到瞳孔中心来确定估计角膜球心位置c’。
估计角膜球心位置c’可用于预测眼睛上的闪光位置。该预测还基于对照明器和摄像头的设置的几何形状的了解。
图6展示了与用于确定增强的估计角膜中心位置c”的方法的部分相关的眼睛的几何形状的选定部分的视图。展示了包括图像传感器的摄像头610、照明器620、闪光射线Rg、来自摄像头(其是闪光射线Rg的源)的向量
Figure BDA0003283042690000101
角膜表面法线
Figure BDA0003283042690000102
反射点Prefl、在反射点Prefl处角膜表面法线
Figure BDA0003283042690000103
与来自作为闪光射线Rg的源的摄像头的矢量
Figure BDA0003283042690000104
之间的角v、增强的估计角膜球心位置c”、角膜球体sc、从角膜球心到角膜球体表面的估计角膜半径rc、估计眼球中心位置e、从眼球中心到角膜球心的估计距离d以及具有角膜球体的眼球sed。
参见图6，公开了一种情况，在该情况中，在眼睛的图像中识别一个闪光，并且所识别的闪光可以与多个照明器中的相应的照明器相关联。
通常，使用在角膜表面的球形部分上的两个或更多个闪光(角膜反射)来估计角膜中心位置c。如果仅有一个闪光可被使用，那么由于角膜相对于摄像头和照明器的位置，或者由于一些照明器被用户的面部几何形状遮挡，我们可以利用估计眼球中心位置e(例如参照图5a的描述确定的)来确定增强的估计角膜中心位置c”。如关于图5b所描述的，增强的估计角膜中心位置c”将比估计角膜中心位置c’更准确。
在用于定位角膜中心位置c的许多闪光接近角膜边缘的情况下(在这种情况下球形假设是不恰当的)，(使用最靠近球形角膜“顶部”的闪光来估计的)增强的估计角膜中心位置c”也可以比通过例如关于图5a描述的主要方法的方法确定的角膜中心位置c更精确。
从眼球中心到角膜球心的估计距离d是通常用于人眼睛的近似值。
为了计算增强的估计角膜中心位置c”，例如可以遵循以下过程：
1.以眼球中心到角膜球心的估计距离d为半径，围绕估计眼球中心位置e，放置具有角膜球体的眼球sed，增强的角膜球心位置c”将在该具有角膜球体的眼球sed的表面。
2.将图像中所识别的闪光的位置投影到三维空间中的闪光射线Rg。角膜球体sc的表面将在反射点Prefl处与该闪光射线Rg相交。角膜球体sc以增强的估计角膜球心c”为中心，其半径等于估计角膜半径rc。所使用的角膜半径rc与眼睛追踪方法的其他部分中用于角膜定位的角膜半径相同。
3.在反射点Prefl处的角膜表面法线与来自作为闪光射线Rg的源的摄像头和反射点Prefl的矢量
Figure BDA0003283042690000106
之间的角v与在反射点Prefl处的角膜表面法线
Figure BDA0003283042690000105
与引起投射光Prefl的反射点与照明器620之间的矢量之间的角相同。
4.对于给定的角膜球体半径rc、照明器620和闪光射线Rg，迭代求解器可以沿着Rg找到一距离，在该距离处从所得到的角膜中心(在3中给定的反射角约束)到sed的表面的距离被最小化。该距离给出反射点Prefl，该反射点返过来给出如图6所公开的增强的估计角膜球心位置c”。
图7展示了根据实施例的方法。该方法包括获得眼睛中从眼球中心到瞳孔中心的估计半径r(710)。该方法还包括确定在眼睛中相对于包括用于捕获眼睛的图像的图像传感器的摄像头的估计眼球中心位置e(720)，获得通过摄像头图像传感器捕获的眼睛的图像(730)，以及在所获得的图像中识别出眼睛中代表瞳孔中心的位置(740)。基于估计眼球中心位置e、估计半径r以及在所获得的图像中识别出的代表瞳孔中心的位置，确定估计瞳孔中心位置p’(750)。
图8展示了根据与参照图7描述的实施例类似的另一实施例的方法。获得眼睛中从角膜球心到的瞳孔中心的估计距离dp(810)，获得从眼球中心到角膜球心的估计距离d(815)。估计半径r等于从角膜球心到瞳孔中心的估计距离dp和从眼球中心到角膜球心的估计距离d之和。
基于在眼睛上的一个或多个闪光位置，确定角膜球心位置c(820)，确定瞳孔中心位置p(825)，将相对于图像传感器的估计眼球中心位置e确定为：在从瞳孔中心位置p到角膜球心位置c的方向上相距角膜球心位置c的从眼球中心到角膜球心的估计距离d。获得通过图像传感器捕获的眼睛的图像(835)，以及在所获得图像中识别出眼睛中代表瞳孔中心的位置(840)。进一步的，确定中心在估计眼球中心位置e并且半径为估计半径r的眼球球体se(845)。基于在所获得的图像中识别出的代表瞳孔中心的位置，确定定位瞳孔中心所沿着的瞳孔射线Rp(850)，将瞳孔中心位置p’确定为眼球球体se和瞳孔射线Rp之间的交叉点(855)。基于从估计眼球中心位置e到估计瞳孔中心位置p’的矢量确定估计眼睛方向
Figure BDA0003283042690000111
(860)，以及基于估计眼睛方向
Figure BDA0003283042690000112
确定估计视线方向(865)。
确定估计瞳孔中心位置p’(855)可以包括使用考虑眼睛的角膜中从角膜表面到瞳孔中心的折射的迭代方法。
图9展示了根据实施例的进一步的方法。该方法包括获得眼睛中从眼球中心到瞳孔中心的估计半径r(910)。该方法还包括确定眼睛中相对于包括用于捕获眼睛的图像的图像传感器的摄像头的估计眼球中心位置e(920)，获得通过摄像头图像传感器捕获的眼睛的图像(930)，以及在所获得的图像中识别出的眼睛中代表瞳孔中心的位置(940)。基于估计眼球中心位置e、估计半径r以及在所获得的图像中识别出的代表瞳孔中心的位置，确定估计瞳孔中心位置p’(950)。获得从眼睛的角膜球心到瞳孔中心的第一估计距离dp(960)，将估计角膜球心位置c’确定为：在朝向估计眼球中心位置e的方向上相距估计瞳孔中心位置p’的从角膜球心到瞳孔中心的第一估计距离dp(970)。然后基于估计角膜球心位置c’预测眼睛上的一个或多个闪光的位置(980)。
图10是可以实现本发明实施例的特定计算机系统1000的框图。该示例阐释了专用的计算机系统1000，例如该系统可以全部地、部分地或以各种修改而使用，以提供在此描述的部件的功能。
所示的特定计算机系统1000包括可以经由总线1090电性连接的硬件元件。硬件元件可以包括一个或多个中央处理单元1010、一个或多个输入设备1020(例如，鼠标、键盘、眼睛追踪设备等)以及一个或多个输出设备1030(例如，显示设备、打印机等)。特定计算机系统1000还可以包括一个或多个储存设备1040。例如，存储设备1040可以是磁盘驱动器、光学存储设备、固态存储设备(例如，随机存取存储器(“RAM”)和/或只读存储器(“ROM”))，其可以是可编程的、可刷写更新的和/或类似的。
此外，特定计算机系统1000还可以包括计算机可读存储介质读取器1050、通信系统1060(例如，调制解调器、网卡(无线或有线)、红外通信设备、蓝牙TM设备、蜂窝通信设备等)以及可以包括如上所述的RAM和ROM设备的工作存储器1080。在某些实施例中，特定计算机系统1000还可以包括处理加速单元1070，处理加速单元670可以包括数字信号处理器、专用处理器和/或类似的。
计算机可读存储介质读取器1050可以进一步连接到计算机可读存储介质，一起(且可选地，与存储设备1040结合)全面地表示远程、本地、固定和/或可移动的存储设备以及存储介质，以临时和/或更永久地包含计算机可读信息。通信系统1060可以允许与上述网络、系统、计算机和/或其他部件交换数据。
特定计算机系统1000还可以包括软件元素，如图所示，这些软件元素当前位于工作存储器1080中，包括操作系统1084和/或其他代码1088。应当理解，特定计算机系统1000的替代实施例可以具有与上述不同的许多变化。例如，可以使用定制的硬件，和/或在硬件、软件(包括便携式软件，例如小程序)或二者中实施特定元素。进一步地，可以存在到其他计算设备(例如网络输入/输出设备和数据采集设备)的连接。
特定计算机系统1000的软件可以包括代码1088，以实现如本文所述的架构的各种元件的任何或全部功能。例如，由特定计算机系统(例如特定计算机系统1000)存储和/或执行的软件可以提供如上述的本发明的部件的功能。已经更详细地讨论了通过这些部件上的软件可实现的方法。
本领域技术人员认识到，本发明不限于上述优选实施例。相反，在所附权利要求的范围内，可以进行许多修改和变化。例如，本领域技术人员认识到，本文描述的眼睛/视线追踪方法可以由许多其他眼睛/视线追踪系统执行，而不仅是图10中示出的示例眼睛/视线追踪系统100，例如，如图4a-c所示，可以使用多个照明器和多个图像传感器。
此外，通过对附图、本公开和所附权利要求的学习，本领域技术人员可以理解并实现对所公开的实施例的变化。在权利要求中，词语“包括”不排除其它元素或步骤，并且不定冠词“一”或“一个”不排除多个。本公开中提到的功能单元之间的任务划分不一定对应于划分成物理单元；相反，一个物理部件可以具有多个功能，并且一个任务可以通过几个物理部件协作以分布式方式来执行。计算机程序可以存储/分布在合适的非暂时性介质上，例如与其它硬件一起提供的光学存储介质或固态介质或作为其它硬件的一部分，但是也可以以其它形式分布，例如经由因特网或其它有线或无线的电信系统。仅在相互不同的从属权利要求中陈述某些措施/特征的事实并不指示不能有利地使用这些措施/特征的组合。除非明确描述需要一定的顺序，否则方法步骤不一定按照它们在权利要求中或在本文所述的实施例中出现的顺序执行。权利要求中的任何附图标记不应被解释为限制范围。

Claims (10)

1.一种确定眼睛的眼睛方向和/或视线方向的方法，所述方法包括：
使用主要方法来确定眼睛的眼睛方向和/或视线方向，所述主要方法是基于确定瞳孔中心和在所述眼睛上来自至少一个照明器的至少一个闪光，所述瞳孔中心和所述至少一个闪光通过所述图像传感器检测；
替代地使用次要方法来确定所述眼睛的眼睛方向和/或视线方向，所述次要方法是基于估计眼球中心位置(e)和估计瞳孔中心位置(p’)，所述估计瞳孔中心位置(p’)是基于所述估计眼球中心位置(e)、估计半径(r)以及在由所述图像传感器获得的图像中识别出的代表瞳孔中心的位置所确定的。
2.根据权利要求1所述的方法，其特征在于，在所述眼睛上不能识别出足够数量的闪光的情况下，使用所述次要方法。
3.根据权利要求1所述的方法，其特征在于，所述次要方法包括：
基于从所述估计眼球中心位置(e)到所述估计瞳孔中心位置(p’)的矢量确定估计眼睛方向
Figure FDA0003283042680000011
4.根据权利要求3所述的方法，其特征在于，所述次要方法包括：
基于所述估计眼睛方向
Figure FDA0003283042680000012
确定估计视线方向。
5.根据权利要求1所述的方法，其特征在于，所述估计半径(r)等于从所述眼睛中的角膜球心到所述瞳孔中心的第一估计距离(dp)和从眼球中心到所述角膜球心的第二估计距离(d)之和。
6.根据权利要求1所述的方法，其特征在于，确定所述估计瞳孔中心位置(p’)包括：
确定中心在所述估计眼球中心位置(e)的并且半径为所述估计半径(r)的眼球球体(se)；
基于在所获得的图像中识别出的代表所述瞳孔中心的位置，确定定位所述瞳孔中心所沿着的瞳孔射线(Rp)；以及
将所述估计瞳孔中心位置(p’)确定为所述眼球球体(se)和所述瞳孔射线(Rp)之间的交叉点。
7.根据权利要求6所述的方法，其特征在于，所述次要方法还包括：
使用考虑在所述眼睛的角膜中从所述角膜的表面到所述瞳孔中心的折射的迭代方法来确定所述估计瞳孔中心位置(p’)。
8.根据权利要求1所述的方法，其特征在于，所述次要方法还包括：
基于所述眼睛上的一个或多个闪光位置确定角膜球心位置(c)；
确定瞳孔中心位置(p)；
获得从眼球中心到角膜球心的估计距离(d)；以及
将所述估计眼球中心位置(e)确定为：在从所述瞳孔中心位置(p)到所述角膜球心位置(c)的方向上相距所述角膜球心位置(c)为从所述眼球中心到所述角膜球心的所述估计距离(d)的位置。
9.一种设备，其包括配置为执行权利要求1-8中任意一项所述的方法的电路。
10.根据权利要求9所述的设备，其特征在于，所述设备是可穿戴设备。
CN202111138174.0A 2017-09-08 2018-09-10 使用眼球中心位置的眼睛追踪 Active CN113729611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111138174.0A CN113729611B (zh) 2017-09-08 2018-09-10 使用眼球中心位置的眼睛追踪

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762556086P 2017-09-08 2017-09-08
US62/556,086 2017-09-08
CN202111138174.0A CN113729611B (zh) 2017-09-08 2018-09-10 使用眼球中心位置的眼睛追踪
CN201811052584.1A CN109471523B (zh) 2017-09-08 2018-09-10 使用眼球中心位置的眼睛追踪

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201811052584.1A Division CN109471523B (zh) 2017-09-08 2018-09-10 使用眼球中心位置的眼睛追踪

Publications (2)

Publication Number Publication Date
CN113729611A true CN113729611A (zh) 2021-12-03
CN113729611B CN113729611B (zh) 2024-04-16

Family

ID=63528551

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111138174.0A Active CN113729611B (zh) 2017-09-08 2018-09-10 使用眼球中心位置的眼睛追踪
CN201811052584.1A Active CN109471523B (zh) 2017-09-08 2018-09-10 使用眼球中心位置的眼睛追踪

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811052584.1A Active CN109471523B (zh) 2017-09-08 2018-09-10 使用眼球中心位置的眼睛追踪

Country Status (4)

Country Link
US (1) US11129530B2 (zh)
EP (2) EP3453316B1 (zh)
CN (2) CN113729611B (zh)
ES (1) ES2909057T3 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114360043A (zh) * 2022-03-18 2022-04-15 南昌虚拟现实研究院股份有限公司 模型参数标定方法、视线追踪方法、装置、介质及设备

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
WO2019154511A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
JP7198023B2 (ja) * 2018-09-27 2022-12-28 株式会社アイシン 眼球情報推定装置、眼球情報推定方法および眼球情報推定プログラム
CN109947253B (zh) * 2019-03-25 2020-06-19 京东方科技集团股份有限公司 眼球追踪的模型建立方法、眼球追踪方法、设备、介质
CN111752383B (zh) * 2019-03-29 2024-09-27 托比股份公司 更新角膜模型
CN110051319A (zh) * 2019-04-23 2019-07-26 七鑫易维(深圳)科技有限公司 眼球追踪传感器的调节方法、装置、设备及存储介质
JP7423659B2 (ja) * 2019-05-20 2024-01-29 マジック リープ， インコーポレイテッド 眼姿勢を推定するためのシステムおよび技法
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
SE543455C2 (en) * 2019-06-28 2021-02-23 Tobii Ab Method and system for 3d cornea position estimation
US20220301217A1 (en) 2019-07-05 2022-09-22 Magic Leap, Inc. Eye tracking latency enhancements
CN110363133B (zh) * 2019-07-10 2021-06-01 广州市百果园信息技术有限公司 一种视线检测和视频处理的方法、装置、设备和存储介质
CN112306229A (zh) * 2019-08-02 2021-02-02 佳能株式会社 电子装置、控制方法和计算机可读介质
SE543354C2 (en) * 2019-09-30 2020-12-15 Tobii Ab Methods and systems for a head-mounted device for updating an eye tracking model
CN114078278A (zh) * 2020-08-20 2022-02-22 Oppo广东移动通信有限公司 注视点定位方法与装置、电子设备和存储介质
CN112022641A (zh) * 2020-09-10 2020-12-04 深圳职业技术学院 一种辅助转眼运动的方法及系统
CN113192132B (zh) * 2021-03-18 2022-07-29 魔珐(上海)信息科技有限公司 眼神捕捉方法及装置、存储介质、终端
CN113729616B (zh) * 2021-09-01 2022-10-14 中国科学院上海微系统与信息技术研究所 一种瞳孔中心位置数据的确定方法、装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050175218A1 (en) * 2003-11-14 2005-08-11 Roel Vertegaal Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
JP2008102902A (ja) * 2006-07-18 2008-05-01 Advanced Telecommunication Research Institute International 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
WO2011021936A1 (en) * 2009-08-20 2011-02-24 Technische Universiteit Delft Apparatus and method for automatically determining a strabismus angle
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
US20150160726A1 (en) * 2013-03-18 2015-06-11 Mirametrix Inc. System and Method for On-Axis Eye Gaze Tracking
US20150278576A1 (en) * 2014-03-28 2015-10-01 Nizan Horesh Computational array camera with dynamic illumination for eye tracking
WO2016088418A1 (ja) * 2014-12-02 2016-06-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20160278716A1 (en) * 2013-06-17 2016-09-29 New York University Methods and kits for assessing neurological and ophthalmic function and localizing neurological lesions
CN106774863A (zh) * 2016-12-03 2017-05-31 西安中科创星科技孵化器有限公司 一种基于瞳孔特征实现视线追踪的方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE524003C2 (sv) 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
JP2008136789A (ja) * 2006-12-05 2008-06-19 Nec Corp 眼球パラメータ推定装置及び方法
JP4966816B2 (ja) * 2007-10-25 2012-07-04 株式会社日立製作所 視線方向計測方法および視線方向計測装置
CN104113680B (zh) * 2013-04-19 2019-06-28 北京三星通信技术研究有限公司 视线跟踪系统及方法
US9665172B2 (en) 2013-09-03 2017-05-30 Tobii Ab Portable eye tracking device
JP2016149660A (ja) * 2015-02-13 2016-08-18 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6693105B2 (ja) * 2015-12-01 2020-05-13 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
CN106168853B (zh) * 2016-06-23 2019-10-01 中国科学技术大学 一种自由空间头戴式视线跟踪系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050175218A1 (en) * 2003-11-14 2005-08-11 Roel Vertegaal Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
JP2008102902A (ja) * 2006-07-18 2008-05-01 Advanced Telecommunication Research Institute International 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
WO2011021936A1 (en) * 2009-08-20 2011-02-24 Technische Universiteit Delft Apparatus and method for automatically determining a strabismus angle
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
US20150160726A1 (en) * 2013-03-18 2015-06-11 Mirametrix Inc. System and Method for On-Axis Eye Gaze Tracking
US20160278716A1 (en) * 2013-06-17 2016-09-29 New York University Methods and kits for assessing neurological and ophthalmic function and localizing neurological lesions
US20150278576A1 (en) * 2014-03-28 2015-10-01 Nizan Horesh Computational array camera with dynamic illumination for eye tracking
WO2016088418A1 (ja) * 2014-12-02 2016-06-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN106774863A (zh) * 2016-12-03 2017-05-31 西安中科创星科技孵化器有限公司 一种基于瞳孔特征实现视线追踪的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114360043A (zh) * 2022-03-18 2022-04-15 南昌虚拟现实研究院股份有限公司 模型参数标定方法、视线追踪方法、装置、介质及设备

Also Published As

Publication number Publication date
US11129530B2 (en) 2021-09-28
EP4011274A1 (en) 2022-06-15
EP3453316A1 (en) 2019-03-13
EP3453316B1 (en) 2022-02-23
CN109471523A (zh) 2019-03-15
CN113729611B (zh) 2024-04-16
CN109471523B (zh) 2021-09-28
US20190076015A1 (en) 2019-03-14
ES2909057T3 (es) 2022-05-05

Similar Documents

Publication Publication Date Title
CN109471523B (zh) 使用眼球中心位置的眼睛追踪
US9473696B2 (en) Gaze detection apparatus, gaze detection computer program, and display apparatus
CN111902070B (zh) 左眼和右眼凝视追踪数据的可靠性
JP6930223B2 (ja) 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法
US11243607B2 (en) Method and system for glint/reflection identification
JP5949319B2 (ja) 視線検出装置及び視線検出方法
KR100949743B1 (ko) 고글 형태를 갖는 착용형 시선 추적 장치 및 방법
EP3371781B1 (en) Systems and methods for generating and using three-dimensional images
EP3453317B1 (en) Pupil radius compensation
US10061384B2 (en) Information processing apparatus, information processing method, and program
US20200187774A1 (en) Method and system for controlling illuminators
US20190369418A1 (en) Systems and methods for obtaining eyewear information
KR20130107981A (ko) 시선 추적 장치 및 방법
JP2022538669A (ja) 眼追跡待ち時間向上
CN109429060A (zh) 瞳孔距离测量方法、可穿戴眼部设备及存储介质
US10288879B1 (en) Method and system for glint/reflection identification
WO2019185136A1 (en) Method and system for controlling illuminators
CN112165894B (zh) 用于闪光/反射识别的方法和系统
CN111522431A (zh) 使用眼睛跟踪系统对闪光进行分类
EP3979211A1 (en) Eye tracking system
US11156831B2 (en) Eye-tracking system and method for pupil detection, associated systems and computer programs
US20240153136A1 (en) Eye tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant