CN111124104B - 使用瞳孔中心位置的映射进行注视跟踪 - Google Patents

使用瞳孔中心位置的映射进行注视跟踪 Download PDF

Info

Publication number
CN111124104B
CN111124104B CN201911044668.5A CN201911044668A CN111124104B CN 111124104 B CN111124104 B CN 111124104B CN 201911044668 A CN201911044668 A CN 201911044668A CN 111124104 B CN111124104 B CN 111124104B
Authority
CN
China
Prior art keywords
gaze
eye
image
center
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911044668.5A
Other languages
English (en)
Other versions
CN111124104A (zh
Inventor
王铁生
吉尔弗雷多·雷蒙·萨拉扎
王一木
普拉文·库马尔·拉娜
马克·安斯利·莱恩
约翰内斯·克朗
托尔比约恩·桑德伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Priority to CN202210618555.7A priority Critical patent/CN115079823A/zh
Publication of CN111124104A publication Critical patent/CN111124104A/zh
Application granted granted Critical
Publication of CN111124104B publication Critical patent/CN111124104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

由相机(302)捕获眼睛(100)的图像。对于这些图像中的每个图像，获得注视数据(402)，并且估算(403)该图像中瞳孔中心(103)的位置。该注视数据指示当捕获该图像时该眼睛(100)的注视点(111)和/或注视方向(107)。使用所获得的注视数据和瞳孔中心的估算位置来校准(404)映射(510，520，530)。该映射将由该相机捕获的图像(501)中瞳孔中心的位置映射到一表面(512，522)上的注视点(511，521)，或映射到注视方向(531)。由该相机捕获该眼睛的另一图像。估算(406)该另一图像中瞳孔中心的位置。使用经校准的映射和该另一图像中瞳孔中心的估算位置来执行(407)注视跟踪。这些步骤可以例如在HMD(1501)上被执行。

Description

使用瞳孔中心位置的映射进行注视跟踪
技术领域
本公开总体上涉及注视跟踪。
背景技术
已经形成了用于监测用户正在看向哪个方向(或显示器上的哪个点)的不同技术。这通常被称为注视跟踪或眼睛跟踪。通常采用一个或多个相机来捕获用户眼睛的图像。采用图像处理来检测图像中的眼睛的各种特征(例如，瞳孔中心和照明器在角膜处的反射)。然后，采用这些检测到的特征来估算用户正在看向何处。例如可以采用注视跟踪以允许用户通过眼睛移动来控制计算机(或某个其他类型的系统)，或者可以采用注视跟踪来提升头戴式装置(如头戴式显示器(HMD))中的虚拟现实(VR)体验。注视跟踪的准确性和精度对于提供良好的用户体验可能很重要。图像中的噪声可能会影响注视跟踪性能。可能会影响注视跟踪性能的另一个问题是，在某些注视角下，可能难以检测由(多个)相机捕获的图像中的特征。诸如瞳孔中心和/或角膜反射(也称为闪光)等特征可能例如难以在某些图像中准确地检测到。这可能会对注视跟踪性能产生负面影响。解决该问题的一种方法是在注视跟踪系统中配备相对于用户头部布置在适当位置的附加相机和照明器，以确保相机和照明器可用于尽可能多的注视角。然而，这种附加设备可能增加注视跟踪系统的成本，并且可能占据本该被用于注视跟踪设备以外的其他部件占据的空间。希望提供新的方法来解决上述问题中的一个或多个问题。
发明内容
提供了具有在独立权利要求中定义的特征的方法、系统和计算机可读存储介质，以解决上述问题中的一个或多个问题。在从属权利要求中定义了优选的实施例。
因此，第一方面提供了注视跟踪方法的实施例。该注视跟踪方法包括：获得由相机捕获的一组眼睛图像。针对来自该组图像的每个图像，该注视跟踪方法包括：获得注视数据，该注视数据指示当捕获该图像时眼睛正在注视的点和/或当捕获该图像时眼睛正在注视的方向，并估算该图像中眼睛瞳孔中心的位置。该注视跟踪方法包括：使用所获得的注视数据和所估算的瞳孔中心位置来校准映射。该映射适于将由该相机捕获的图像中的眼睛瞳孔中心的位置映射到某一表面上的眼睛注视点、或映射到眼睛的某些注视方向。该注视跟踪方法包括：获得由该相机捕获的另一眼睛图像；估算该另一图像中瞳孔中心的位置；以及使用经校准的映射和该另一图像中所估算的瞳孔中心的位置来执行注视跟踪。
基于瞳孔中心角膜反射(PCCR)的注视跟踪已广泛用于远程注视跟踪和对诸如虚拟现实(VR)头戴式设备或增强现实(AR)头戴式设备等头戴式装置的注视跟踪。在对头戴式装置的注视跟踪中，基于PCCR的方法通常会在大注视角时提供比小注视角时更低的准确性和精度，这主要是由于检测图像中的角膜反射时产生的噪声。在对头戴式装置的注视跟踪中，头戴式设备和安装在其上的相机通常完全静止，并且瞳孔的移动反映了眼球和注视方向的移动。因此，瞳孔中心的位置对于估算注视很有用。换言之，如上文关于根据第一方面的方法的实施例描述的，注视跟踪可以使用经校准的映射和图像中所估算的瞳孔中心位置来执行。例如，这种注视跟踪可以用作基于PCCR的注视跟踪的替代或补充，以针对至少一些注视角或在基于PCCR的注视跟踪不太可靠的情况下改善注视跟踪性能(诸如准确性和/或精度)。上文提到的一些问题可能发生在远程注视跟踪中，并且因此本发明同样适用于远程注视跟踪。
第二方面提供了注视跟踪系统的实施例，该注视跟踪系统包括被配置成获得由相机捕获的一组眼睛图像的处理电路系统(或一个或多个处理器)。针对来自该组图像的每个图像，该处理电路系统被配置成：获得注视数据，该注视数据指示当捕获该图像时眼睛正在注视的点和/或当捕获该图像时眼睛正在注视的方向，并估算该图像中眼睛瞳孔中心的位置。该处理电路系统被配置成：使用所获得的注视数据和所估算的瞳孔中心的位置来校准映射。该映射适于将由该相机捕获的图像中眼睛瞳孔中心的位置映射到某一表面上的眼睛注视点、或映射到眼睛的注视方向。该处理电路系统被配置成：获得由该相机捕获的另一眼睛图像；估算该另一图像中瞳孔中心的位置；并且使用经校准的映射和该另一图像中所估算的瞳孔中心的位置来执行注视跟踪。
该处理电路系统(或一个或多个处理器)可以例如被配置成执行如本文(换言之，在权利要求、发明内容或具体实施方式中)所披露的第一方面的任何实施例中所定义的方法。该系统例如可以包括存储有指令的一个或多个非暂时性计算机可读存储介质(或一个或多个存储器)，这些指令在由该处理电路系统(或一个或多个处理器)执行时使该注视跟踪系统执行如本文所披露的第一方面的任何实施例中所定义的方法。
在本公开内容中针对根据第一方面的方法的实施例呈现的效果和/或优点同样可以适用于根据第二方面的系统的相应实施例。
第三方面提供了存储有指令的非暂时性计算机可读存储介质的实施例，这些指令当由注视跟踪系统执行时使该注视跟踪系统执行以下操作：
a)获得由相机捕获的眼睛的一组图像；
b)针对该组图像中的每个图像：
-获得注视数据，该注视数据指示当捕获该图像时眼睛正在注视的点和/或当捕获该图像时眼睛正在注视的方向，并且
-估算该图像中眼睛瞳孔中心的位置；
c)使用所获得的注视数据和所估算的瞳孔中心位置来校准映射，其中，该映射适于将由该相机捕获的图像中眼睛瞳孔中心的位置映射到：
-眼睛在某一表面上的注视点，或
-眼睛的注视方向；
d)获得由该相机捕获的眼睛的另一图像；
e)估算该另一图像中瞳孔中心的位置；并且
f)使用经校准的映射和该另一图像中所估算的瞳孔中心位置来执行注视跟踪。
该非暂时性计算机可读存储介质可以例如存储有指令，这些指令当由注视跟踪系统(或由包括在该注视跟踪系统中的处理电路系统)执行时使该注视跟踪系统执行如本文(换言之，在权利要求、发明内容或具体实施方式中)所披露的第一方面的任何实施例中所定义的方法。
可以例如在计算机程序产品中提供该非暂时性计算机可读存储介质。换言之，计算机程序产品可以例如包括存储有指令的非暂时性计算机可读存储介质，这些指令当由该注视跟踪系统执行时使该注视跟踪系统执行如本文所披露的第一方面的任何实施例中所定义的方法。
在本公开内容中针对根据第一方面的方法的实施例呈现的效果和/或优点同样可以适用于根据第三方面的非暂时性计算机可读存储介质的相应实施例。
注意，本公开内容的实施例涉及权利要求中叙述的特征的所有可能组合。
附图说明
在下文中，将参考附图更详细地描述示例实施例，在附图中：
图1是眼睛的正视图；
图2是从眼睛的侧部观察得到的图1的眼睛的截面视图；
图3是根据实施例的注视跟踪系统的示意性概览图；
图4是根据实施例的注视跟踪方法的流程图；
图5展示了根据一些实施例的可以在图4的方法中采用的示例映射；
图6示出了根据实施例的可以在图4的方法中采用的已知刺激点的图案；
图7示出了眼睛视野中的不同区域；
图8是根据实施例的涉及针对图7中的不同区域的不同类型注视跟踪的注视跟踪方法的流程图；
图9是根据实施例的涉及用于注视跟踪的映射校正的注视跟踪方法的流程图；
图10是根据一些实施例的可以在图8至图9的方法中采用的PCCR型注视跟踪的流程图；
图11是根据实施例的如何确定用于在注视跟踪中采用的映射的径向校正的流程图；
图12至图13展示了根据实施例的可以如何确定注视方向的不同方法；
图14是根据实施例的在图4、图8和/或图9的方法中执行注视跟踪的方法的流程图；并且
图15示出了根据实施例的头戴式装置。
所有附图都是示意性的，而不一定按比例绘制，并且通常仅示出为了阐明各个实施例所必需的部分，而其他部分可以被省略或仅暗示出。除非另外指出，否则在多个附图中出现的任何附图标记在所有附图中均指代相同的对象或特征。
具体实施方式
贯穿本公开内容，术语“头戴式显示器”或“HMD”是指适于佩戴在用户的头部上的显示装置。除了实际的显示光学器件之外，HMD通常还包括其他部件。这种其他部件可以例如包括用于为HMD供电的电路、用于检测HMD的运动的传感器、注视跟踪设备、或用于保护HMD的部件的壳体。换言之，术语“头戴式显示器”或“HMD”不一定被解释为仅是指旨在布置在用户的一只眼睛前方或在用户的双眼前方的实际显示光学器件。
贯穿本公开内容，术语“头戴式装置”是指适于佩戴在用户的头部上的装置。头戴式装置可以例如是头戴式显示器(HMD)。头戴式装置可以例如包括任何类型的显示器。然而，也有不包括显示器的头戴式装置。
注视跟踪方法、注视跟踪系统以及相关联的存储介质将在下文参考图3至图15进行描述。首先，将参考图1至图2描述眼睛的某些特征。
图1是眼睛100的正视图。图2是从眼睛100的侧部观察得到的眼睛100的截面视图。尽管图2或多或少地示出了整个眼睛100，但是图1中呈现的正视图仅示出了眼睛100的通常从人脸的前方可见的那些部分。眼睛100具有角膜101和具有瞳孔中心103的瞳孔102。角膜101是弧形的并且具有曲率中心104，其被简称为角膜中心104。角膜101具有被称为角膜101半径105、或者被简称为角膜半径105的的曲率半径。眼睛100具有中心106。眼睛100的视轴穿过眼睛100的中心106到达眼睛100的中央凹108。视轴相对于眼睛100的光轴110形成角度109。视轴与光轴110之间的偏差或偏移通常被称为中央凹偏移109。图1还示出了照明器在角膜101处的反射112。这种反射112也被称为闪光(glint)。
图3是根据实施例的注视跟踪系统300的示意性概览图。系统300包括用于照射眼睛100的一个或多个照明器301、以及用于在眼睛100看向显示器303时捕获眼睛100的图像的一个或多个相机302。系统300还包括被配置成估算眼睛100看向何处的处理电路系统304。处理电路系统304可以例如估算眼睛100的注视方向(或注视向量)(对应于视轴的方向)，或者估算眼睛100在显示器303上的注视点111(如图2所示)。
处理电路系统304例如经由有线或无线连接通信地连接至照明器301和相机302。处理电路系统304还可以通信地连接到显示器303，例如用于控制(或触发)显示器303以示出用于对注视跟踪系统300进行校准的测试刺激点305。
照明器301可以例如是红外或近红外照明器，例如以发光二极管(LED)的形式。然而，也可以设想其他类型的照明器。图3示出了示例照明器301位于显示器303的任一侧，但是照明器301也可以位于其他地方。
相机302可以例如是电荷耦合器件(CCD)相机或互补金属氧化物半导体(CMOS)相机。然而，也可以设想其他类型的相机。图3示出了位于显示器303上方的示例相机302，但是相机302可以位于其他地方，例如在显示器303下方。
显示器303可以例如被包括在注视跟踪系统300中，或者可以被认为与注视跟踪系统300分离。显示器303可以例如是液晶显示器(LCD)或LED显示器。然而，也可以设想其他类型的显示器。显示器303可以例如是平面显示器或曲面显示器。显示器303可以例如是电视屏幕、计算机屏幕，或者可以是诸如虚拟现实(VR)或增强现实(AR)装置等头戴式装置的一部分。显示器303可以例如被放置在用户的一只眼睛的前方。换言之，可以针对左眼和右眼采用单独的显示器303。例如，可以针对左眼和右眼采用单独的注视跟踪设备(如照明器301和相机302)。
可以采用处理电路系统304进行双眼的注视跟踪，或者左眼和右眼可以使用单独的处理电路系统304。注视跟踪系统300可以例如分别对左眼和右眼执行注视跟踪，并且然后可以将组合的注视点确定为左眼和右眼的注视点的平均值。
处理电路系统304可以例如包括一个或多个处理器306。(多个)处理器306可以例如是被配置成执行特定注视跟踪方法的专用集成电路(ASIC)。可替代地，(多个)处理器306可以被配置成执行存储在一个或多个存储器307中的指令(例如，以计算机程序的形式)。这种存储器307可以例如被包括在注视跟踪系统300的电路系统304中，或者可以在注视跟踪系统300的外部(例如，远离注视跟踪系统)。存储器307可以存储用于使注视跟踪系统300执行注视跟踪方法的指令。
应当理解，上文参考图3描述的注视跟踪系统300被提供作为示例，并且可以设想许多其他的注视跟踪系统。例如，(多个)照明器301和/或(多个)相机302不一定被视为注视跟踪系统300的一部分。注视跟踪系统300例如可以仅由处理电路系统304组成。甚至有根本不采用照明器的注视跟踪系统。如以下参考图4至图5描述的，可以在不使用照明器301的情况下估算注视方向107或注视点111。如以下参考图15描述的，系统300可以例如用于对头戴式装置执行注视跟踪。
图4是根据实施例的注视跟踪方法400的流程图。注视跟踪方法400包括获得401(或接收)由相机302捕获的眼睛100的一组图像。图像可以例如以快照的形式或作为视频序列的一部分来获得。可以例如从相机302接收图像，或者直接从相机302接收或间接(例如，经由注视跟踪系统300的一个或多个其他部件)从相机302接收。相机302可以例如被布置在相对于用户的头部(或相对于用户的面部)的固定位置处，如在头戴式装置(例如HMD)处。由相机302捕获的图像可以例如捕获用户面部的相同视图，但是在不同的时例(或时间点)捕获。
方法400包括获得402(或接收)每个图像的注视数据。注视数据指示当捕获图像时眼睛100正在注视(或假设/认为一直在注视)的点111和/或当捕获图像时眼睛100正在注视(或假设/认为一直在注视)的方向107。如下文参考图6描述的，所获得402的注视数据可以例如指示用于校准的参考刺激的已知位置。可替代地，所获得402的注视数据可能已经通过诸如PCCR等某种注视跟踪技术被确定(或计算或估算)。获得注视数据的步骤402可以例如包括接收注视数据或计算注视数据。
方法400包括估算403每个图像中眼睛100的瞳孔102的中心103的位置。该估算403可以例如经由图像分析来执行。例如，可以在图像中检测瞳孔102的边缘(或边缘的至少一部分)，并且可以基于检测到的瞳孔边缘来估算瞳孔中心103的位置。在一些图像中，可能难以检测瞳孔102的边缘。例如，如果虹膜太暗以至于其颜色与瞳孔102类似，则可能会发生这种情况。那么可以在图像中检测虹膜的边缘(或边缘的至少一部分)，并且可以基于检测到的虹膜边缘来估算瞳孔中心103的位置。由相机302捕获的图像可以例如是数字图像。由相机302捕获的图像中瞳孔中心103的位置可以被估算为图像中的一个或多个像素。
方法400包括使用所获得的注视数据和所估算的瞳孔102的中心103的位置来校准404映射(或模型或函数)。该映射(或模型或函数)适于将由相机302捕获的图像中眼睛100的瞳孔102的中心103的位置映射到眼睛100在一表面上的注视点111或映射到眼睛100的注视方向107。换言之，映射(或模型或函数)适于使用在由相机302捕获的图像中眼睛100的瞳孔102的中心103的位置来预测眼睛100在某一表面上的注视点111和/或眼睛100的注视方向107。校准404可以例如包括使用所获得的注视数据和所估算的瞳孔102的中心103的位置来设置映射(或模型或函数)的一个或多个参数的值。
由相机302捕获的图像提供了由相机302成像的区域的二维表示。该二维表示可以被认为是平面，在此被称为图像平面。换言之，由相机302捕获的图像可以被认为表示图像平面，并且方法400中采用的映射可以被认为适于将图像平面中瞳孔102的中心103的位置映射到眼睛100在不同于该图像平面的平面上的注视点111，或映射到眼睛100的注视方向107。因此，对于该图像平面中(换言之，在由相机302捕获的图像中)眼睛100的瞳孔102的中心103的位置，映射适于提供(或输出)眼睛100在不同于该图像平面的表面上的注视点111，或适于提供(或输出)眼睛100的注视方向107。
图5展示了根据一些实施例的可以在方法400中采用的示例映射。如图5所示，第一示例映射510将由相机302捕获的图像501中瞳孔中心103的位置映射到平坦表面512(或平面)上的注视点511。平坦表面512可以例如是平面显示器，如头戴式装置的平面显示器。第一示例映射510可以被认为是从由相机302捕获的图像中瞳孔中心位置到不同于这些图像所表示的图像平面的平面上的注视点的映射。图5中所示的第二示例映射520将瞳孔中心103的位置映射到弯曲表面522上的注视点521。弯曲表面522可以例如是曲面显示器，如头戴式装置的曲面显示器。尽管图5中描绘的弯曲表面522是凹形的，但是也可以设想表面522是凸形的或具有其他某个其他非平坦形状的实施例。弯曲表面522可以例如是抛物线形的。第二示例映射520可以被认为是从由相机302捕获的图像中瞳孔中心位置到不同于由这些图像所表示的图像平面的表面上的注视点的映射。图5中所示的第三示例映射530将瞳孔中心103的位置映射到注视方向531。注视方向531可以例如以具有空间中的特定位置的向量或射线的形式提供，或者可以以不具有空间位置的方向的形式提供。
方法400包括获得405由相机302捕获的眼睛100的另一图像。该另一图像可以例如以快照的形式或作为视频序列的一部分来获得。可以例如从相机302接收该另一图像，直接从相机302接收或间接(例如，经由注视跟踪系统300的一个或多个其他部件)从相机302接收。该另一图像可以例如捕获与由相机302捕获的其他图像相同的用户面部视图，但是在不同的时例(或时间点)捕获。
方法400包括估算406另一图像中瞳孔102的中心103的位置。该估算406可以例如经由图像分析来执行。例如，可以在该另一图像中检测瞳孔102的边缘(或边缘的至少一部分)，并且可以基于检测到的瞳孔边缘来估算瞳孔中心103的位置。可能难以检测瞳孔102的边缘。例如，如果虹膜太暗以至于其颜色与瞳孔102类似，则可能会发生这种情况。那么可以在该另一图像中检测虹膜的边缘(或边缘的至少一部分)，并且可以基于检测到的虹膜边缘来估算瞳孔中心103的位置。该另一图像可以例如是数字图像。该另一图像中瞳孔中心103的位置可以例如被估算为该另一图像中的一个或多个像素。
方法400包括使用经校准的映射和该另一图像中所估算的瞳孔102的中心103的位置来执行407注视跟踪。注视跟踪407可以例如涉及估算注视点111和/或注视方向107。注视跟踪407的示例实施方式将在下文参考图12至图14进行描述。
根据一些实施例，方法400中采用的映射适于将由相机302捕获的图像中瞳孔中心103的位置映射到表面(如图5中所示的平面512和弯曲表面522)上的注视点，并且对于每个图像在步骤402处获得的注视数据指示当捕获图像时眼睛100在该表面上正在注视的点。现在将参考图6来描述这种实施例，其中图6示出了可以被用于方法400中的校准404的已知刺激点601的图案。
在本实施例中，采用来自图5的第一示例映射510。在个人校准过程中，提示(或指示或请求)用户观看多个刺激点601。注视跟踪系统300可以例如经由显示器303上的文本消息或经由音频消息向用户提供指令。估算403瞳孔中心位置103，并采用相应的已知刺激点位置(601)来校准404映射510。假设在校准期间向用户显示K个刺激点
{S0＝(xg,0,yg,0),...,SK-1＝(xg,K-1,yg,K-1)}。
对于每个刺激点Sk，针对各个时例来收集Nk个瞳孔中心位置。针对这K个刺激点，总共收集
N＝N0+N1+...+NK-1
个瞳孔中心位置
{(xp,0,yp,0),...,(xp,N-1,yp,N-1)}
其中，每个瞳孔中心位置具有相应的刺激点位置。然后将以下等式(1)和(2)中的两个函数f和g拟合到校准数据中。
xg＝f(xp,yp) (1)
yg＝h(xp,yp) (2)
这两个函数f和g定义了映射510，并在步骤407中用于执行注视跟踪。在一种示例实施方式中，函数f和g是根据以下等式(3)和(4)的线性函数：
xg＝axp+byp+c (3)
yg＝dxp+eyp+f (4)
其中a、b、d和e是斜率，并且c和f是线性函数的截距。这六个参数是根据校准数据估算(或计算)的。可以使用如最小二乘法等方法来估算参数a、b、c、d、e和f的值。
函数f和g还可以是更高阶的多项式，只要N至少与要在这种更高阶多项式中估算的参数的数量一样大即可。然而，也可以设想其中函数f和g不是多项式的实施例。
在经由表面512上的已知刺激点601完成校准404之后，可以针对由相机302捕获的新图像，使用函数f和g、通过用在这些新图像中检测到的瞳孔中心103的位置取代等式(1)和(2)中的xp和yp来估算表面512上的注视点(xg，yg)。
作为上述等式(1)至(4)的替代方案，可以根据以下等式，经由单应性来定义映射510：
[xg yg 1]T＝H[xp yp 1]T
第一示例映射510将角膜中心位置从图像平面映射到平坦表面512，并且可以是线性的(如以上等式(3)和(4)中所例示的)或非线性的。第二示例映射520将角膜中心位置从图像平面映射到弯曲表面522，并且通常是非线性的。第三示例映射530将角膜中心位置从图像平面映射到注视方向，并且可以是线性或非线性的。
因此，根据一些实施例，方法400中采用的映射可以例如是线性映射、非线性映射或单应性映射。
如上文参考图6描述的，已知刺激点601可以用于校准404。因此，根据一些实施例，当眼睛100正在注视刺激点601时，所获得401的一组图像中的至少一个图像被捕获到。针对该图像获得402的注视数据指示刺激点的已知位置601和/或从眼睛101朝向刺激点601的已知方向。
上文参考图4描述的注视跟踪方法400可以例如用作基于PCCR的注视跟踪的替代或补充，以针对至少一些注视角来改善注视跟踪性能(如准确性和/或精度)。基于PCCR的注视跟踪的性能通常在大注视角时比在小注视角时要低。上文参考图4描述的方法400可以例如用于改善大注视角时的注视跟踪性能。以下将参考图7至图8对来描述这种实施例。
图7示出了眼睛100的视野中的不同区域。视野包括中央区域701和外部区域702。中央区域701可以例如对应于最大为某个阈值的注视角703，诸如最大为5度、或最大为10度、或最大为25度的注视角。外部区域702可以例如对应于大于阈值的注视角703，诸如大于5度、或大于10度、或大于25度的注视角。注视角703可以例如被测量为向前方向704与眼睛100的注视方向705之间的角度。注视角703例如可以被测量为用户头部的向前方向704与眼睛100的注视方向705之间的角度。注视角703可以例如被测量为注视跟踪系统的坐标系中的向前方向704与眼睛100的注视方向705之间的角度。
图8是根据实施例的涉及针对图7中所示的不同区域的不同类型注视跟踪的注视跟踪方法800的流程图。方法800包括与上文参考图4描述的方法400相同的六个初始步骤401至406。在此将不再重复对这些步骤的描述。
方法800包括估算801眼睛100是否朝向(或注视朝向)眼睛100的视野的中央区域701。该估算801可以例如经由PCCR来执行(如下文参考图10描述的)，但是可以以某种其他方法来执行。
如果眼睛100朝向所述中央区域701之外的区域(如外部区域702，其例如可以对应于大于5度、或大于10度、或大于25度的注视角)，则方法800继续输出802通过执行407注视跟踪而确定的注视数据(例如，指示注视方向或注视点的注视数据)，该注视跟踪使用经校准的映射和在上文参考图4描述的步骤405处获得的另一图像中所估算的瞳孔102的中心103的位置。使用经校准的映射来执行注视跟踪的步骤407可以例如仅当眼睛100朝向中央区域701之外的区域702(如图8所示)时才被执行，或者不管眼睛100朝向何处都可以被执行。
如果眼睛100朝向中央区域701(例如，对应于最大为5度、或最大为10度、或最大为25度的注视角)，则方法800继续输出804注视数据(例如，指示注视方向或注视点的注视数据)，所述注视数据是通过执行803与注视跟踪步骤407中执行的注视跟踪不同的第二类型的注视跟踪而确定的。执行第二类型的注视跟踪的步骤803可以例如仅当眼睛100朝向中央区域701(如图7所示)时才被执行，或者不管眼睛100朝向何处都可以被执行。
在本实施例中，第二类型的注视跟踪803是基于PCCR的方案，其使用所估算的照明器301在眼睛100的角膜101处的反射112(也称为闪光)的位置和所估算的眼睛100的瞳孔中心103的位置。由于估算反光位置时的噪声，基于PCCR的注视跟踪的注视跟踪性能通常在大注视角时比小注视角时要低。在将相机302布置在相对于用户的头部的固定位置处的布局中(如在头戴式装置中)，第一类型的注视跟踪407(其涉及使用上文参考图4至图5描述的映射)可以提供比基于PCCR的注视跟踪803更好的注视跟踪性能。方法800的能力——即针对较大角度从第一类型的注视跟踪407(涉及映射的使用)输出802注视数据并且针对较小注视角(其中，基于PCCR的注视跟踪表现良好)从基于PCCR的注视跟踪803输出804注视跟踪数据——允许针对外部区域702中的至少一些注视角来改善注视跟踪性能。在第二类型的注视跟踪803不是基于PCCR的实施例中也可以获得这个优点，只要针对外部区域702中的至少一些注视角、第一类型的注视跟踪407可以比第二类型的注视跟踪表现更好即可。
在不采用第一类型的注视跟踪407的基于PCCR的注视跟踪器中，可以将附加的相机302和/或照明器301布置在合适的位置，以试图针对大注视角改善注视跟踪性能。然而，这种附加设备可能增加注视跟踪系统的成本，并且可能占据本该被注视跟踪设备以外的其他部件占据的空间。上文参考图8描述的方法800提供了应对大注视角的替代方法，该方法不需要使用附加的相机302或照明器301。这可以降低功耗和/或提高眼睛安全性(由于减少了照明器的数量)。
应当理解，估算眼睛100朝向中央区域701还是外部区域702的步骤801不一定需要是高质量(或高精度/准确性)估算。通常，粗略估算就足够了，因为对于靠近中央区域701与外部区域702之间的边界的注视角，第一类型的注视跟踪407和第二类型的注视跟踪803都可以相对较好地表现。换言之，对于靠近中央区域701与外部区域702之间的边界的注视角，如果偶然采用了“错误”类型的注视跟踪，则注视跟踪性能可能不会受到太大影响。
通过上文参考图8描述的方法800输出的注视数据可以例如指示注视点111和/或注视方向107。注视数据可以例如被提供作为来自注视跟踪系统(例如，上文参考图3描述的注视跟踪系统300)的输出，或者可以被提供作为从注视跟踪系统的子系统或一部分到该注视跟踪系统的另一子系统或另一部分的输出。
图9是根据实施例的涉及校正上文参考图4至图5描述的映射的注视跟踪方法900的流程图。如果在校准映射之后相机302相对于用户的头部移动或重定位，则可能需要校正(或重新校准)映射以将该重定位考虑在内。即使相机302安装在头戴式装置上，如果头戴式装置滑移，相机302也可能位置改变。当眼睛朝向中央区域701(对应于小注视角)时，可以采用对小注视角表现良好的注视跟踪方法(如基于PCCR的注视跟踪)来检测相机302的重定位，并且还可以采用该注视跟踪方法来确定要应用于上文参考图4至图5描述的映射的适当校正。方法900中采用了这种想法。
方法900包括上文参考图4描述的方法400的初始七个步骤401至407。在此不再重复对这些步骤的描述。然而，回想起第七步骤407涉及执行第一类型的注视跟踪，该注视跟踪采用经校准的映射和图像中所估算的瞳孔中心103的位置。
方法900包括执行901与第一类型的注视跟踪(其使用经校准的映射和另一图像中所估算的瞳孔102的中心103的位置)不同的第二类型的注视跟踪。在本实施例中，第二类型的注视跟踪是基于PCCR的注视跟踪方案，其使用所估算的照明器301在眼睛100的角膜101处的反射112(也被称为闪光)的位置和所估算的眼睛100的瞳孔中心103的位置。然而，第二类型的注视跟踪可以是某种其他类型的注视跟踪。
方法900包括估算902眼睛100是否朝向眼睛100的视野的中央区域701。该估算901可以例如经由PCCR来执行(如下文参考图10描述的)，但是可以以某种其他方式来执行。
如果眼睛100朝向中央区域701(例如，对应于最大为5度、或最大为10度、或最大为25度的注视角)，则方法900继续基于经由第二类型的注视跟踪获得的注视数据对映射(换言之，对上文参考图4至图5描述的映射)应用903校正。经由第二类型的注视跟踪获得的注视数据可以例如指示与经由第一类型的注视跟踪获得的注视数据不同的注视方向和/或注视点，这可能指示第一类型的注视跟踪所采用的映射需要被校正。例如，可以将在步骤903中应用于映射的校正应用于映射，直到认为需要新的/更新的校正，或者直到眼睛100再次朝向中央区域701为止。换言之，当眼睛100朝向外部区域702时，也可以继续采用当眼睛100朝向中央区域701时确定的校正。
如果眼睛100朝向中央区域701之外的区域702(例如，对应于大于5度、或大于10度、或大于25度的注视角)，则方法900可以例如前进至步骤904，在该步骤中可以维持先前确定的校正，或者(例如，如果尚未确定任何校正的话)可以采用未经校正的映射。由于基于PCCR的注视跟踪对于较小的注视角表现更好，因此与当眼睛100朝向外部区域702时相比，当眼睛100朝向中央区域701时确定映射的校正可能会更好。
现在将描述在步骤903中如何应用校正的明确示例。为简单起见，考虑以下示例，其中第一类型的注视跟踪407采用可逆映射M，该可逆映射根据以下等式将瞳孔中心位置(xp,yp)映射到注视点(xg,yg)：
(xg,yg)＝M(xp,yp)
假设第二类型的注视跟踪901表明注视点实际上应该为(x’g,y’g)，(x’g,y’g)相对于所估算的注视点(xg,yg)具有偏离。将映射M的逆映射M-1应用于“真实”的注视点，我们得到点
(x’p,y’p)＝M-1(x’g,y’g)
如果进行了映射M，则这将得到“真实”的注视点(x’g,y’g)。点(xp,yp)与(x’p,y’p)之间的偏差指示已捕获图像的相机302已经在映射M的校准之后被重定位。如果相机302安装在头戴式装置上，则该重定位可能是由于头戴式装置的滑移而引起的。为了补偿该重定位，我们可以确定应对相机302的潜在平移和/或重定向的校正映射R，使得
(x’p,y’p)＝R(xp,yp)
并且因此
(x’g,y’g)＝M(R(xp,yp))。
我们希望映射R对所有点(xp,yp)起作用，因此可能需要几对(xp,yp)和(x’p,y’p)来确定要与M一起使用的适当校正映射R。因此，在已经收集了具有足够变化的一组数据样本之后，可以确定校正映射R。如果例如相机302已经相对于用户的头部向左滑移，则校正映射R可以是简单的平移。例如，如果映射M是线性的并且由等式(3)和(4)定义，则应用校正函数R和映射M可能仅对应于重新校准这六个参数a、b、c、d、e和f。换言之，代替使用R和M，人们可以简单地使用具有六个参数a、b、c、d、e和f的新值的新映射M’。另一方面，如果映射M是具有许多参数的更复杂的非线性映射，则确定校正映射R可能比重新校准整个映射M更容易(和/或需要更少的数据样本)。
在步骤903中如何应用校正的另一示例是基于偏差(x’g,y’g)-(xg,yg)的样本来估算补偿(Δc x,Δc y)。例如，对偏差进行均值滤波。然后将其应用为使得：
(xg,yg)＝M(xp,yp)+(Δc x,Δc y)
在一个示例中，仅当眼睛100朝向中央区域701时才更新补偿。
第二类型的注视跟踪901例如可以仅在眼睛100朝向中央区域701时才被执行，或者无论眼睛100朝向何处都可以被执行(如图9所示)。
应当理解，估算眼睛100朝向中央区域701还是外部区域702的步骤902不一定需要是高质量(或高精度/准确性)估算。通常，粗略估算就足够了，因为第二类型的注视跟踪901对于靠近中央区域701与外部区域702之间的边界的注视角也可以表现得相对较好。换言之，即使注视角稍微处于中央区域701之外基于PCCR的注视跟踪表现最佳的位置，如果应用903新的校正，则注视跟踪性能可能也不会受到太大影响。
图10是根据一些实施例的可以在图8至图9的方法中采用的基于PCCR的注视跟踪方案1000的流程图。例如，可以在方法800的注视跟踪步骤803中或在方法900的注视跟踪步骤901中采用PCCR注视跟踪1000。例如，可以在方法800的步骤801或方法900的步骤902中采用PCCR注视跟踪1000，以估算眼睛100是否朝向眼睛100的视野的中央区域701。
如果采用了PCCR注视跟踪1000，则在用一个或多个照明器301照射眼睛100的同时捕获了用于注视跟踪的另一图像。PCCR注视跟踪1000包括：估算1001另一图像中一个或多个照明器301在眼睛100的角膜101处的一个或多个反射112的一个或多个位置，以及估算1002另一图像中眼睛100的瞳孔102的中心103的位置。
使用所估算的(多个)角膜反射112的(多个)位置和所估算的瞳孔中心位置103来执行注视跟踪1003。注视跟踪1003可以例如提供注视点111和/或注视方向107。
图11是根据实施例的如何确定用于上文参考图4至图5描述的映射的径向校正的流程图。对于大注视角，经由上文参考图4描述的注视跟踪步骤407估算的注视点通常在径向方向上与真实的注视点略有偏差。径向方向是指从眼睛100的视野中心径向向外延伸的方向。可以应用径向校正来补偿这种偏差。因此，在本实施例中，使用经校准的映射和另一图像中所估算的瞳孔102的中心103的位置来执行注视跟踪的步骤407包括对映射应用径向校正。径向校正涉及使用校正函数。校正函数的大小取决于眼睛100的注视角。例如，当注视角增大时，校正函数的大小可以增大。校正函数可以例如是线性的或非线性的。
为简单起见，考虑以下情况：映射将瞳孔中心位置103映射到某一平面中的注视点111(如图5中的映射510所例示的)。在这种设置下，应用于映射的径向校正可以例如表示为
f(α)v
其中，α是注视角，f是标量函数，并且v是从眼睛100的视野中心径向向外定向的向量。因此，如果未经径向校正的映射由M表示，并且瞳孔中心位置的坐标由xp和yp给出，则注视点的坐标xg和yg可以计算为
Figure GDA0003186370700000161
该函数可以例如是非负的或正的。对于小的注视角，函数f可以例如为零。例如，当注视角α增大时，函数f可以增大。函数f可以例如是线性的或非线性的。向量v可以例如具有长度1(换言之，v可以具有单位长度)。
校正函数可以作为上文参考图4描述的校准步骤404的一部分被校准，或者可以经由单独的校准过程被校准。图11是用于这种校准过程1100的流程图。校准过程1100在对映射应用径向校正之前被执行。
校准过程1100包括获得1101当眼睛100正在注视各个已知刺激点时由相机302捕获的眼睛100的多个图像。图6示出了这种刺激点601、602、604的示例。在本实施例中，至少一个刺激点对应于至少5度、或至少10度、或至少25度的注视角。在图6中提供了与大注视角相对应的这种刺激点的示例，如左侧603的刺激点602和右侧605的刺激点604。
校准过程1100包括估算1102多个图像中眼睛100的瞳孔102的中心103的位置。
校准过程包括：使用已知刺激点601、602、604的位置、多个图像中所估算的眼睛100的瞳孔102的中心103的位置、以及映射(上文参考图4描述并且在图5中通过映射510、520和530所例示的映射)来校准1103校正函数。
在图6所示的示例刺激点图案中，中央区域606中的刺激点用于校准映射(上文参考图4描述并且在图5中通过映射510、520和530所例示的映射)，而位于最左侧603的刺激点602和位于最右侧605的刺激点604用于校准径向校正函数。因此，可以将相对简单的映射(如线性映射)用于注视跟踪，并针对大注视角以相对简单的径向校正来作出补充。单个相机302可能就足够了，并且可能不需要照明器301。相反，如果要将纯粹基于PCCR的注视跟踪系统设计为应对如此大的注视角，则可能必须将多个照明器301和/或相机302分布在各个位置，以确保照明器301和相机302可用于所有的注视角。
图14是根据实施例的可以如何执行上文参考图4描述的方法400(或上文参考图8至图9描述的方法800和/或900)中的注视跟踪步骤407的流程图。将参考图12来描述本实施例，其展示了可以如何确定视线1201。图12示出了注视跟踪系统的坐标系。坐标系包括轴x、y和z，以及坐标系的原点O。轴z朝向用户的脸。沿z轴测量用户距离(或深度)。
在本实施例中，上文参考图4描述的映射适于将由相机302捕获的图像中眼睛100的瞳孔102的中心103的位置映射到眼睛100在一表面1203上的注视点1202(类似于图5中的第一示例映射510)。在本实施例中，使用经校准的映射和另一图像中所估算的瞳孔102的中心103的位置执行注视跟踪的步骤407包括：通过将映射应用于另一图像中所估算的瞳孔102的中心103的位置来估算1401表面1203上的注视点1202，并将注视方向1201(或视线)估算1402为穿过眼睛100的一参考点1204并穿过表面1203上的估算注视点1202的直线或向量。
参考点1204是视线1201所穿过的点，并且例如可以被视为视线1201的视线起点。角膜曲率的中心104(也称为角膜中心104，在图2中示出)例如可以用作参考点1204。因此，用于使用另一图像进行注视跟踪的参考点1204可以是基于另一图像估算的角膜曲率的中心104。可以例如经由PCCR来估算角膜中心104。
在上述示例实施方式中，参考点(或视线起点)1204是在注视跟踪期间针对每个图像确定的可变位置。然而，也可以设想参考点1204是固定位置的实施例，该固定位置用于针对多个图像和时例来确定视线。例如，可以针对上文参考图4描述的方法400中的校准步骤404所采用的一组图像中的每个图像来估算角膜曲率的中心104。这些角膜曲率的中心104的平均值可以用作使用另一图像的注视跟踪407的参考点1204。可以例如经由PCCR来估算角膜中心104。如上所述，PCCR可以在小注视角时比大注视角时表现更好。因此，可以使用针对PCCR表现良好的小注视角估算的角膜中心位置104来计算固定参考点1204，并且该参考点1204也可以用于PCCR在其中可能具有较低准确性/精度的较大注视角。因此，通过使用固定的参考点1204，可以避免由于针对大注视角的PCCR计算中的噪声引起的潜在误差。
图13展示了可以如何确定视线1301的替代方式。图13示出了注视跟踪系统的坐标系。坐标系包括轴x、y和z，以及坐标系的原点O。轴z朝向用户的脸。在本实施例中，上文参考图4描述的映射适于将由相机302捕获的图像中眼睛100的瞳孔102的中心103的位置映射到眼睛100在表面1303上的注视点1302(类似于图5中的第一示例映射510)。在本实施例中，使用经校准的映射和另一图像中所估算的瞳孔102的中心103的位置执行注视跟踪的步骤407包括：通过将映射应用于另一图像中所估算的瞳孔102的中心103的位置来估算1401在表面1303上的注视点1302，并将注视方向1301(或视线)估算1402为穿过参考点(或视线起点)1304并穿过表面1303上的估算注视点1302的直线或向量。
在本实施例中，参考点1304位于角膜中心平面1305中。角膜中心平面1305已经使用针对上文参考图4描述的方法400中的校准步骤404所采用的一组图像中的每个图像估算的角膜曲率中心104而被确定。角膜中心平面1305是与z轴正交的平面并且具有z坐标，该z坐标是针对校准步骤404所采用的一组图像中的各个图像估算的角膜曲率中心104的z坐标的平均值。还针对另一图像估算角膜曲率中心104。用于使用另一图像进行注视跟踪407的参考点1304被计算为基于该另一图像估算的角膜曲率中心104在角膜中心平面1305中的投影。如上所述，PCCR可以在小注视角时比大注视角时表现更好。因此，可以使用针对PCCR表现良好的小注视角估算的角膜中心位置104来计算固定角膜中心平面1305，并且该角膜中心平面1305也可以用于PCCR可能具有较低准确性/精度的较大注视角。因此，可以通过将估算的角膜中心位置104投影在角膜中心平面1305中来减少由于针对大注视角的PCCR计算中的噪声引起的潜在误差。
在上文参考图12至图13描述的示例中，用于注视跟踪的参考点1204和1304基于角膜曲率中心104的位置。然而，参考点1204和1304可以例如基于眼睛100的中心106的位置，而不是基于角膜曲率的中心104的位置。换言之，图12中采用的参考点1204(或视线起点)可以是如使用在步骤405处获得的另一图像估算的眼球中心106，或者可以是使用在步骤401处获得的一组图像估算的眼球中心106的位置的平均值。
图15示出了根据实施例的头戴式装置1501。头戴式装置1501可以例如包括上文参考图3描述的注视跟踪系统300，或注视跟踪系统300的一部分。头戴式装置1501可以例如包括相机302，但处理电路系统304可以例如远离头戴式装置1501定位。处理电路系统304可以例如经由有线或无线通信与头戴式装置1501中的相机302通信。例如，可以执行上文参考图4描述的方法400以用于对头戴式装置1501执行注视跟踪。方法400可以例如使用由头戴式装置1501中的相机1302捕获的图像在头戴式装置1501中执行，或者通过远离头戴式装置1501定位的处理电路系统来执行。
当用户1502佩戴头戴式装置1501时，相机1302相对于用户1502位于固定位置。当头戴式装置1501相对于用户1502移动时(例如由于滑移)，可以更新用于注视跟踪的映射以补偿头戴式装置1501的重定位。例如，可以针对头戴式装置的新位置重复上文参考图4描述的校准步骤404。补偿头戴式装置1501的重定位的另一种方式是对用于注视跟踪的映射应用校正，如上文参考图9描述的。
头戴式装置1501可以例如是诸如VR头戴式设备、AR头戴式设备(如AR眼镜)或混合现实(MR)头戴式设备等头戴式显示器(HMD)。
上文参考图4至图14描述的方法和方案表示本公开内容的第一方面。上文参考图3描述的注视跟踪系统300和上文参考图15描述的头戴式装置1501表示本公开内容的第二方面。系统300(或系统300的处理电路系统304)可以例如被配置成执行上述第一方面的任何实施例的注视跟踪方法。系统300可以例如被配置成执行上文参考图4描述的方法400、上文参考图8描述的方法800、或上文参考图9描述的方法900。
根据实施例，注视跟踪系统300包括被配置成执行以下操作的处理电路系统304：
a)获得由相机302捕获的眼睛100的一组图像；
b)针对来自该组图像的每个图像：
-获得注视数据，该注视数据指示当捕获该图像时眼睛100正在注视的点111和/或当捕获该图像时眼睛100正在注视的方向107，并且
-估算该图像中眼睛100的瞳孔102的中心103的位置；
c)使用所获得的注视数据和所估算的瞳孔102的中心103的位置来校准映射，其中，该映射适于将由相机302捕获的图像中眼睛100的瞳孔102的中心103的位置映射到：
-眼睛100在一表面上的注视点111，或
-眼睛100的注视方向107；
d)获得由相机702捕获的眼睛100的另一图像；
e)估算该另一图像中瞳孔102的中心103的位置；并且
f)使用经校准的映射和该另一图像中所估算的瞳孔102的中心103的位置来执行注视跟踪。
如上文参考图3描述的，注视跟踪系统300不一定包括图3中所示的所有元件。
本公开内容的第三方面由存储有指令的非暂时性计算机可读存储介质307的实施例表示，这些指令当由注视跟踪系统300执行时使注视跟踪系统300执行上述第一方面的任何实施例的方法(如上文参考图4描述的方法400、上文参考图8描述的方法800、或上文参考图9描述的方法900)。
根据实施例，非暂时性计算机可读存储介质307存储有指令，这些指令当由注视跟踪系统300执行时，使注视跟踪系统300执行以下操作：
a)获得由相机302捕获的眼睛100的一组图像；
b)针对来自该组图像的每个图像：
-获得注视数据，该注视数据指示当捕获该图像时眼睛100正在注视的点111和/或当捕获该图像时眼睛100正在注视的方向107，并且
-估算该图像中眼睛100的瞳孔102的中心103的位置；
c)使用所获得的注视数据和所估算的瞳孔102的中心103的位置来校准映射，其中，该映射适于将由相机302捕获的图像中眼睛100的瞳孔102的中心103的位置映射到：
-眼睛100在一表面上的注视点111，或
-眼睛100的注视方向107；
d)获得由相机302捕获的眼睛100的另一图像；
e)估算该另一图像中瞳孔102的中心103的位置；并且
f)使用经校准的映射和该另一图像中所估算的瞳孔102的中心103的位置来执行注视跟踪。
如上文参考图3描述的，存储介质307不一定包括在系统300中。
本领域技术人员认识到，本发明决不限于上述优选实施例。相反，在所附权利要求的范围内可以进行许多修改和变化。例如，上文参考图4至图14描述的方法和方案可以组合以形成进一步的实施例。此外，应当理解，图300中所示的注视跟踪系统300仅旨在作为示例，并且其他注视跟踪系统也可以执行上文参考图4至图14描述的方法。还应当理解，参考图4、图8、图9、图10、图11和图14描述的方法步骤不一定按照这些图中所示的具体顺序执行。
应当理解，处理电路系统304(或处理器)可以包括以下各项中的一项或多项的组合：微处理器、控制器、微控制器、中央处理单元、数字信号处理器、专用集成电路、现场可编程门阵列、或任何其他合适的计算装置、资源、或硬件、软件和/或编码逻辑的组合，该编码逻辑可操作以单独地或与其他计算机部件(如存储器或存储介质)结合来提供计算机功能。
还应当理解，存储器或存储介质307(或计算机可读介质)可以包括任何形式的易失性或非易失性计算机可读存储器，包括但不限于持久性存储装置、固态存储器、远程安装的存储器、磁性介质、光学介质、随机存取存储器(RAM)、只读存储器(ROM)、大容量存储介质(例如硬盘)、可移除存储介质(例如闪存驱动器、致密盘(CD))或数字视频盘(DVD))、和/或存储可以由处理器或处理电路系统使用的信息、数据和/或指令的任何其他易失性或非易失性的非暂时性装置可读和/或计算机可执行的存储器装置。
另外，在实践所要求保护的发明时，本领域技术人员可以通过研究附图、公开内容、以及所附权利要求来理解并且实现所披露实施例的变化形式。在权利要求中，词语“包括”不排除其他的要素或步骤，并且不定冠词“一(a)”或“一个(an)”并不排除复数。在权利要求中，单词“或”不被解释为异或(有时称为“XOR”)。相反，除非另外指出，否则诸如“A或B”的表述涵盖“A而不是B”、“B而不是A”、以及“A和B”中的所有情况。在彼此不同的从属权利要求中陈述的某些措施的简单事实并不表明不能使用这些措施的组合以达到有利的结果。权利要求中的任何附图标记不应被理解为对范围进行限制。

Claims (18)

1.一种注视跟踪方法，包括：
获得由相机捕获的眼睛的一组图像；
针对来自所述一组图像的每个图像：
获得第一注视数据，所述第一注视数据指示当捕获所述图像时所述眼睛正在注视的点和/或当捕获所述图像时所述眼睛正在注视的方向，以及
估算在所述图像中所述眼睛的瞳孔的中心的位置；
使用所获得的所述第一注视数据和所述瞳孔的中心的估算位置来校准映射，其中，所述映射适于将由所述相机捕获的图像中所述眼睛的所述瞳孔的中心的位置映射到：
所述眼睛在表面上的注视点，或
所述眼睛的注视方向；
获得由所述相机捕获的所述眼睛的另一图像；以及
估算所述另一图像中所述瞳孔的中心的位置；
所述方法进一步包括：
估算所述眼睛的注视角是否对应所述眼睛的视野的中央区域或者所述眼睛的注视角是否对应所述眼睛的视野的所述中央区域外部的区域，其中所述中央区域对应于小于阈值的注视角，并且所述中央区域外部的所述区域对应于大于所述阈值的注视角；并且
响应于所述眼睛的所述注视角被估算对应所述中央区域外部的区域，所述方法进一步包括：
使用经校准的映射和所述另一图像中所述瞳孔的中心的估算位置执行第一类型的注视跟踪，
输出通过使用经校准的映射和所述另一图像中所述瞳孔的中心的估算位置执行所述第一类型的注视跟踪而确定的第二注视数据，
响应于所述眼睛的所述注视角被估算对应所述眼睛的视野的所述中央区域：
执行与所述第一类型的注视跟踪不同的第二类型的注视跟踪，所述第一类型的注视跟踪使用经校准的映射和所述另一图像中所述瞳孔的中心的估算位置；所述方法进一步包括以下其中一种方式：
输出通过执行所述第二类型的注视跟踪而确定的第二注视数据，或者
基于经由所述第二类型的注视跟踪获得的第二注视数据来对所述映射应用校正；
其中所述第二类型的注视跟踪与使用经校准的映射和所述另一图像中所述瞳孔的中心的估算位置的所述第一类型的注视跟踪不同。
2.如权利要求1所述的方法，其中，来自所述一组图像的每个图像是当所述眼睛正在注视刺激点时捕获的，并且其中，针对所述图像获得的所述第一注视数据指示所述刺激点的已知位置和/或从所述眼睛朝向所述刺激点的已知方向。
3.如权利要求1或2所述的方法，其中，所述校准中的所述映射适于将由所述相机捕获的图像中所述眼睛的所述瞳孔的中心的位置映射到所述眼睛在平面上的注视点。
4.如权利要求1所述的方法，其中，所述校准中的所述映射适于将由所述相机捕获的图像中所述眼睛的所述瞳孔的中心的位置映射到所述眼睛在所述表面上的注视点，并且其中，所获得的所述第一注视数据指示当捕获所述图像时所述眼睛在所述表面上正在注视的点。
5.如权利要求1所述的方法，其中，所述第二类型的注视跟踪使用所述另一图像中照明器在所述眼睛的角膜处的反射的估算位置以及所述另一图像中所述瞳孔的中心的估算位置。
6.如权利要求5所述的方法，其中，所述另一图像是在用照明器照射所述眼睛时捕获的，其中，所述方法进一步包括：
估算所述另一图像中所述照明器在所述眼睛的角膜处的反射的位置；以及
估算所述另一图像中所述眼睛的所述瞳孔的中心的位置，
其中，估算所述眼睛的注视角是否对应所述中央区域是使用所述另一图像中所述照明器的所述反射的估算位置和所述瞳孔的中心的估算位置来执行的。
7.如权利要求6所述的方法，包括：
响应于所述眼睛的注视角对应所述中央区域，输出通过使用所述另一图像中所述照明器的所述反射的估算位置和所述瞳孔的中心的估算位置执行所述第二类型的注视跟踪而确定的第二注视数据。
8.如权利要求1所述的方法，其中，小于所述阈值的注视角包括小于25度的注视角。
9.如权利要求1所述的方法，其中，小于所述阈值的注视角包括小于10度的注视角。
10.如权利要求1所述的方法，其中，小于所述阈值的注视角包括小于5度的注视角。
11.如权利要求2所述的方法，其中，所述刺激点中的至少一个对应于至少25度的注视角。
12.如权利要求1所述的方法，其中，所述校准中的所述映射适于将由所述相机捕获的图像中所述眼睛的所述瞳孔的中心的位置映射到所述眼睛在表面上的注视点，并且其中，使用经校准的映射和所述另一图像中所述瞳孔的中心的估算位置来执行所述第一类型的注视跟踪包括：
通过将所述经校准的映射应用于所述另一图像中所述瞳孔的中心的估算位置来估算在所述表面上的注视点；以及
将注视方向估算为穿过所述眼睛的参考点并穿过所述表面上的估算的注视点的直线或向量。
13.如权利要求12所述的方法，其中，所述眼睛的所述参考点是：
基于所述另一图像估算的角膜曲率中心；或
基于所述一组图像中的所述图像估算的角膜曲率中心的平均值；或
基于所述另一图像估算的角膜曲率中心在角膜中心平面中的投影，其中，所述角膜中心平面是基于根据所述一组图像中的所述图像估算的角膜曲率中心而估算的；或
基于所述一组图像中的所述图像和/或基于所述另一图像估算的所述眼睛的中心。
14.一种注视跟踪系统，包括被配置成执行以下操作的处理电路系统：
获得由相机捕获的眼睛的一组图像；
针对来自所述一组图像的每个图像：
获得第一注视数据，所述第一注视数据指示当捕获所述图像时所述眼睛正在注视的点和/或当捕获所述图像时所述眼睛正在注视的方向，以及
估算所述图像中所述眼睛的瞳孔的中心的位置；
使用所获得的第一注视数据和所述瞳孔的中心的估算位置来校准映射，其中，所述映射适于将由所述相机捕获的图像中所述眼睛的所述瞳孔的中心的位置映射到：
所述眼睛在表面上的注视点，或
所述眼睛的注视方向；
获得由所述相机捕获的所述眼睛的另一图像；以及
估算在所述另一图像中所述瞳孔的中心的位置；
所述处理电路系统进一步被配置为：
估算所述眼睛的注视角是否对应所述眼睛的视野的中央区域或者所述眼睛的注视角是否对应所述眼睛的视野的所述中央区域外部的区域，其中所述中央区域对应于小于阈值的注视角并且所述中央区域外部的所述区域对应于大于所述阈值的注视角；并且
响应于所述眼睛的所述注视角被估算对应所述中央区域外部的区域：
使用经校准的映射和所述另一图像中所述瞳孔的中心的估算位置来执行第一类型的注视跟踪；
输出通过使用经校准的映射和所述另一图像中所述瞳孔的中心的估算位置执行所述第一类型的注视跟踪而确定的第二注视数据，
响应于所述眼睛的所述注视角被估算对应所述眼睛的视野的所述中央区域：
执行与所述第一类型的注视跟踪不同的第二类型的注视跟踪，所述第一类型的注视跟踪使用经校准的映射和所述另一图像中所述瞳孔的中心的估算位置；所述处理电路系统进一步被配置为以下其中一种方式：
输出通过执行所述第二类型的注视跟踪而确定的第二注视数据，或者
基于经由所述第二类型的注视跟踪获得的第二注视数据对所述映射应用校正；
其中所述第二类型的注视跟踪与使用经校准的映射和所述另一图像中所述瞳孔的中心的估算位置的所述第一类型的注视跟踪不同。
15.如权利要求14所述的系统，其中所述处理电路系统被配置成：
估算所述眼睛的注视角是否对应所述眼睛的视野的中央区域；以及
响应于所述眼睛的注视角对应所述中央区域之外的区域，输出通过使用经校准的映射和所述另一图像中所述瞳孔的中心的估算位置执行所述第一类型的注视跟踪而确定的第二注视数据。
16.如权利要求14至15中任一项所述的系统，其中，所述校准中的所述映射适于将由所述相机捕获的图像中所述眼睛的所述瞳孔的中心的位置映射到所述眼睛在表面上的注视点，并且其中，所述处理电路系统被配置成通过至少以下操作使用经校准的映射和所述另一图像中所述瞳孔的中心的估算位置来执行所述第一类型的注视跟踪：
通过将所述经校准的映射应用于所述另一图像中所述瞳孔的中心的估算位置来估算所述表面上的注视点；以及
将注视方向估算为穿过所述眼睛的参考点并穿过所述表面上的估算注视点的直线或向量。
17.一种头戴式装置，包括如权利要求14至16中任一项所述的系统。
18.一种存储有指令的非暂时性计算机可读存储介质，所述指令在由注视跟踪系统执行时，使所述注视跟踪系统执行以下操作：
获得由相机捕获的眼睛的一组图像；
针对来自所述一组图像的每个图像：
获得注视数据，所述注视数据指示当捕获所述图像时所述眼睛正在注视的点和/或当捕获所述图像时所述眼睛正在注视的方向，以及
估算所述图像中所述眼睛的瞳孔的中心的位置；
使用所获得的注视数据和所述瞳孔的中心的估算位置来校准映射，其中，所述映射适于将由所述相机捕获的图像中所述眼睛的所述瞳孔的中心的位置映射到：
所述眼睛在表面上的注视点，或
所述眼睛的注视方向；
获得由所述相机捕获的所述眼睛的另一图像；以及
估算所述另一图像中所述瞳孔的中心的位置；
所述指令进一步使所述注视跟踪系统：
估算所述眼睛的注视角是否对应所述眼睛的视野的中央区域或者所述眼睛的注视角是否对应所述眼睛的视野的所述中央区域外部的区域，其中所述中央区域对应于小于阈值的注视角，并且所述中央区域外部的所述区域对应于大于所述阈值的注视角；并且
响应于所述眼睛的所述注视角被估算对应所述中央区域外部的所述区域，所述指令进一步包括：
使用经校准的映射和所述另一图像中所述瞳孔的中心的估算位置来执行第一类型的注视跟踪，
输出通过使用经校准的映射和所述另一图像中所述瞳孔的中心的估算位置执行所述第一类型的注视跟踪而确定的第二注视数据，
响应于所述眼睛的所述注视角被估算对应所述眼睛的视野的所述中央区域：
执行与所述第一类型的注视跟踪不同的第二类型的注视跟踪，所述第一类型的注视跟踪使用经校准的映射和所述另一图像中所述瞳孔的中心的估算位置；所述指令进一步使所述注视跟踪系统：
输出通过执行所述第二类型的注视跟踪而确定的第二注视数据，或者
基于经由所述第二类型的注视跟踪获得的第二注视数据对所述映射应用校正；
其中所述第二类型的注视跟踪与使用经校准的映射和所述另一图像中所述瞳孔的中心的估算位置的所述第一类型的注视跟踪不同。
CN201911044668.5A 2018-10-31 2019-10-30 使用瞳孔中心位置的映射进行注视跟踪 Active CN111124104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210618555.7A CN115079823A (zh) 2018-10-31 2019-10-30 使用瞳孔中心位置的映射进行注视跟踪

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE1851354-9 2018-10-31
SE1851354A SE542887C2 (en) 2018-10-31 2018-10-31 Gaze tracking using mapping of pupil center position

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210618555.7A Division CN115079823A (zh) 2018-10-31 2019-10-30 使用瞳孔中心位置的映射进行注视跟踪

Publications (2)

Publication Number Publication Date
CN111124104A CN111124104A (zh) 2020-05-08
CN111124104B true CN111124104B (zh) 2022-06-10

Family

ID=68424627

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210618555.7A Pending CN115079823A (zh) 2018-10-31 2019-10-30 使用瞳孔中心位置的映射进行注视跟踪
CN201911044668.5A Active CN111124104B (zh) 2018-10-31 2019-10-30 使用瞳孔中心位置的映射进行注视跟踪

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210618555.7A Pending CN115079823A (zh) 2018-10-31 2019-10-30 使用瞳孔中心位置的映射进行注视跟踪

Country Status (4)

Country Link
US (2) US11249547B2 (zh)
EP (1) EP3671313B1 (zh)
CN (2) CN115079823A (zh)
SE (1) SE542887C2 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
KR20180128091A (ko) 2013-09-03 2018-11-30 애플 인크. 자기 특성을 갖는 사용자 인터페이스 객체를 조작하는 사용자 인터페이스
WO2015200889A1 (en) 2014-06-27 2015-12-30 Apple Inc. Electronic device with rotatable input mechanism for navigating calendar application
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
TWI582641B (zh) * 2014-09-02 2017-05-11 蘋果公司 按鈕功能性
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
WO2021188926A1 (en) * 2020-03-20 2021-09-23 Magic Leap, Inc. Systems and methods for retinal imaging and tracking
CN113208558B (zh) * 2021-04-30 2022-10-21 南昌虚拟现实研究院股份有限公司 眼球追踪方法、装置、电子设备及存储介质
SE2151198A1 (en) * 2021-09-30 2023-03-31 Tobii Ab Gaze defect compensation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106168853A (zh) * 2016-06-23 2016-11-30 中国科学技术大学 一种自由空间头戴式视线跟踪系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080048931A1 (en) * 2003-11-26 2008-02-28 Rafael - Armament Development Authority Ltd. Helmet System for Information or Weapon Systems
KR100850357B1 (ko) * 2006-12-06 2008-08-04 한국전자통신연구원 시선 위치 추적 방법 및 그 장치
JP5949319B2 (ja) 2012-08-21 2016-07-06 富士通株式会社 視線検出装置及び視線検出方法
JP6056323B2 (ja) 2012-09-24 2017-01-11 富士通株式会社 視線検出装置、視線検出用コンピュータプログラム
US9426447B2 (en) * 2012-10-09 2016-08-23 Electronics And Telecommunications Research Institute Apparatus and method for eye tracking
AU2015297035B2 (en) * 2014-05-09 2018-06-28 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US10354136B2 (en) 2015-03-03 2019-07-16 Apple Inc. Head mounted eye tracking device and method for providing drift free eye tracking through a lens system
KR101745140B1 (ko) * 2015-09-21 2017-06-08 현대자동차주식회사 시선 추적 장치 및 방법
US10650552B2 (en) * 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
US10564716B2 (en) * 2018-02-12 2020-02-18 Hong Kong Applied Science and Technology Research Institute Company Limited 3D gazing point detection by binocular homography mapping
US11003244B2 (en) * 2018-08-27 2021-05-11 University Of Rochester System and method for real-time high-resolution eye-tracking

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106168853A (zh) * 2016-06-23 2016-11-30 中国科学技术大学 一种自由空间头戴式视线跟踪系统

Also Published As

Publication number Publication date
CN115079823A (zh) 2022-09-20
EP3671313B1 (en) 2024-03-13
EP3671313A2 (en) 2020-06-24
US20200192473A1 (en) 2020-06-18
US20220137704A1 (en) 2022-05-05
SE1851354A1 (en) 2020-05-01
US11249547B2 (en) 2022-02-15
SE542887C2 (en) 2020-08-11
US11681366B2 (en) 2023-06-20
EP3671313A3 (en) 2020-10-07
CN111124104A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN111124104B (zh) 使用瞳孔中心位置的映射进行注视跟踪
CN111263925B (zh) 用于使用事件相机数据的眼动跟踪的方法和设备
KR102366110B1 (ko) 번쩍임의 광원에의 매핑
CN109803574B (zh) 具有显示器、透镜、照明器和图像传感器的可穿戴设备
KR20190031599A (ko) 구조화 광을 사용한 안구 추적
WO2015190204A1 (ja) 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム
US10758124B2 (en) Device and method for distance determination and/or centering using corneal reflections
CN111513670B (zh) 用于眼睛追踪中的角膜半径的估计
JP6631951B2 (ja) 視線検出装置及び視線検出方法
US10996751B2 (en) Training of a gaze tracking model
US10809800B2 (en) Robust convergence signal
US11561392B2 (en) Method for generating and displaying a virtual object by an optical system
US11061473B2 (en) Updating a cornea model
US10955915B2 (en) Gaze tracking via tracing of light paths
CN111522431B (zh) 使用眼睛跟踪系统对闪光进行分类
EP3716012B1 (en) Detecting relocation of a head-mounted device
CN111753628B (zh) 训练眼睛跟踪模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant