CN114114687A - 眼动跟踪系统 - Google Patents

眼动跟踪系统 Download PDF

Info

Publication number
CN114114687A
CN114114687A CN202110979139.5A CN202110979139A CN114114687A CN 114114687 A CN114114687 A CN 114114687A CN 202110979139 A CN202110979139 A CN 202110979139A CN 114114687 A CN114114687 A CN 114114687A
Authority
CN
China
Prior art keywords
spot
image
light
active
light emitters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110979139.5A
Other languages
English (en)
Inventor
基亚拉·佐丹奴
马克·莱恩
埃里克·永泽尔
维克多·瓦斯
里卡德·伦达尔
普拉文·库马尔·拉娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Publication of CN114114687A publication Critical patent/CN114114687A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

提供了一种眼动跟踪系统，该眼动跟踪系统检测由该系统捕获的图像中有问题的光斑的存在，并通过关掉发光器来移除这些有问题的光斑。有问题的光斑可能是那些遮挡用户眼睛瞳孔的光斑。通过使用至少一个第一标准在第一图像中检测每个光斑，然后关掉发光器。在发光器被关掉之后，使用至少一个第二标准来识别后续图像中的光斑。可以重复此过程，直到识别出引起有问题的光斑的发光器。

Description

眼动跟踪系统
技术领域
本公开内容总体上涉及眼动跟踪领域。具体地，本公开内容涉及用于控制眼动跟踪系统中的发光器的系统和方法。
背景技术
在眼动跟踪应用中，取得用户眼睛的数字图像，并且对数字图像进行分析，以便估计用户的注视方向。存在不同的方法来实现这种估计。在一些方法中，在取得用户眼睛的图像时使用环境光，并且在一些方法中，使用附加的光源(发光器)来照射眼睛，以取得用户眼睛的图像。通常，对于注视的估计是基于对用户眼睛瞳孔的识别以及对用户眼睛中的闪光(角膜反射)的识别。在一些系统中，例如在使用基于模型的算法的情况下，为了在眼睛图像中识别眼睛瞳孔，图像中的瞳孔表示与眼睛虹膜表示之间的对比度必须足够。在其他系统中，可以使用深度机器学习和神经网络，但是这种系统由于在嵌入式硬件上的实时执行往往是计算繁重的。
一种已知的眼动跟踪方法包括使用红外光和图像传感器。红外光朝向用户眼睛，并且光的反射由图像传感器捕获。通过分析反射点，可以计算出用户注视的方向。US 7,572,008(其通过援引以其全文并入本文)中描述了一种这样的系统。
先前也已经描述了便携式或可穿戴式眼动跟踪设备。US 9,041,787(其通过援引以其全文并入本文)中描述了一种这样的眼动跟踪系统。描述了一种使用发光器和图像传感器来确定注视方向的可穿戴式眼动跟踪设备。
在针对便携式或可穿戴式眼动跟踪设备、诸如虚拟现实(VR)设备的眼动跟踪应用(其中使用了头戴式设备，该头戴式设备包括眼动跟踪系统，该眼动跟踪系统基于瞳孔中心和来自照射用户眼睛的发光器的闪光来确定眼睛方向和/或注视方向)中，例如，对于在VR眼镜下配戴着一副配镜的用户而言，可能会出现问题。例如，由一个或多个发光器引起的来自这副配镜的光学装置的一个或多个反射可能导致无法准确识别瞳孔、或者识别不到闪光或识别到过少的闪光因而无法进行眼动跟踪的情况。在这样的情况下，将很难或者不可能确定眼睛方向和/或注视方向和或眼睛方向，或者至少不能以期望的可靠性来确定。
US 10 342 425 B1公开了一种控制发光器以限制眼动跟踪系统上不希望的反射或“光斑”的影响的方法。该方法通过以下步骤来操作：在由眼动跟踪系统接收的图像中检测满足一个或多个预定义标准的光斑、识别与这些光斑相关联的发光器、并且关掉所识别的发光器。
期望提供一种眼动跟踪技术，以考虑这类情况：来自戴在VR头戴装置下的眼镜的反射降低眼动跟踪的准确性、或者使得很难或不可能确定眼睛方向和/或注视方向因而无法进行眼镜跟踪的情况。由在VR头戴装置内部或外部发现的其他光学组件引起的不希望的反射也可能是似乎合理的。
发明内容
根据第一方面，提供了一种眼动跟踪系统，该眼动跟踪系统包括：
多个发光器，用于照射用户眼睛；
接收器，用于从图像传感器接收该用户眼睛的第一图像，该第一图像来源于该图像传感器，该图像传感器检测来自该多个发光器的、从用户眼睛反射并从位于该多个发光器与用户眼睛之间的光学装置反射的光；以及
处理电路系统，处理电路系统被配置成执行以下步骤：
确定第一图像中眼睛的表示的瞳孔位置；
搜索并识别第一图像中的至少一个光斑，其中，该光斑或每个光斑是来自该多个发光器中的相应发光器的光从光学装置的反射的表示，其中，该光斑或每个光斑必须满足至少一个第一标准；
选择该至少一个光斑中的一个光斑作为活动光斑；
识别该多个发光器中的活动发光器，并且关掉活动发光器，其中，该活动发光器是该多个发光器中对活动光斑有责任的发光器；
其中，识别活动发光器包括：
(a)关掉该多个发光器中的一个发光器；
(b)在从图像传感器接收的后续图像中搜索至少一个光斑，其中，该光斑或每个光斑必须满足至少一个第二标准，该至少一个第二标准不同于该至少一个第一标准；
(c)确定活动光斑是否存在于后续图像中，并且如果活动光斑不存在，则确定活动光斑是来自被关掉的发光器的反射；
(d)在活动光斑存在于后续图像中的情况下，对该多个发光器的其他发光器重复步骤(a)至(c)。
因此，对于光斑的初始识别和确认光斑已通过关掉发光器而被移除，眼动跟踪系统是使用不同的标准来操作的。通过这样做，该系统可以在发光器与光斑之间存在较低的错误关联机会的情况下操作，使得光斑的跟踪和移除更加有效。
该多个发光器可以相对于彼此和相对于眼动跟踪系统布置在固定位置处。
该多个发光器可以相对于用户的一只或两只眼睛处于固定或基本固定的位置。这意味着来自每个发光器的发光位置应该是可合理预测的。然而，由于包含这种系统的头戴装置的滑动或不完美的配合，系统的发光器可能相对于用户眼睛有一些有限的移动。
该至少一个第一标准可以包括高于第一预定阈值的光斑质量，并且该至少一个第二标准可以包括高于第二预定阈值的光斑质量，该第二预定阈值低于该第一预定阈值。
光斑质量可以被定义为属于光斑的所有像素的像素强度之和，即构成光斑的所有相连的组成部分的强度之和。
使用两个不同的光斑质量阈值考虑了所有光斑的总光斑质量在发光器关掉后可能较低，因此通过将阈值改变为较低的阈值，可以降低发光器与光斑之间错误关联的机会。
由于该多个发光器提供的总照度现在具有较低的值，例如，当十个发光器中的一个发光器被关掉时，总亮度可能下降大约10％，所以在发光器关掉之后，光斑质量较低。因此，整体图像可能会更暗。仅仅由于整体图像亮度的降低而不是光斑的移除，先前稍微高于光斑质量阈值的光斑可能因此下降到检测阈值以下。本发明试图防止这种漏报。
处理电路系统可以进一步被配置成在选择某一光斑作为活动光斑之后，执行以下步骤：
识别多个区域中包含活动光斑的区域，其中，每个区域与该多个发光器的子集相关联；并且其中，对与所识别的区域相关联的发光器的子集中的发光器执行步骤(a)至(c)。
每个区域可以与一个或多个其他区域(诸如与所述区域直接相邻的区域)重叠。
区域的中心可以对应于透镜中心，即用户透过其观看的系统中的透镜的光学中心。发光器可以优选地围绕透镜中心布置，使得透镜中心与发光器的位置中心相对应。因此，区域的中心可能不与图像的中心相对应，因为眼睛和/或光斑可能不在图像的中心。虽然眼睛在图像中的中心位置可能是优选的，但是由于硬件校准限制或误差，或者滑动或非最佳定位，眼睛在图像中的中心位置可能是无法实现的。
通过将图像分成多个区域，可以确保发光器的关掉限于最有可能在任何点产生活动光斑的那些区域。因此，处理时间和功率要求是有限的。
这些区域可以预先确定并存储在存储器中。例如，可以基于系统内发光器的布置和/或它们相对于图像传感器的位置来预先确定区域。可替代地，作为计算的一部分，处理器可以计算这些区域。
处理电路系统可以进一步被配置成确定瞳孔位置周围的感兴趣区域(ROI)，其中，在感兴趣区域中执行搜索至少一个光斑的步骤。
将对光斑的搜索限制在感兴趣区域降低了需要处理的图像量，减少了处理时间和功率需求。
该至少一个第一标准和至少一个第二标准可以取决于图像的测得特征。因此，该标准可以对获取图像时的变化的条件(诸如亮度、强度等)作出反应。
测得特征可以是图像的最大像素强度。
第一预定阈值和第二预定阈值可以是相对阈值。由于是相对阈值，它们可以对图像的变化的特征和获取图像时的变化的条件作出反应，同时保持正确识别光斑的能力。
第一预定阈值和第二预定阈值可以是相对于图像或图像的一部分的最大像素强度的。图像的这部分可以是ROI。
所选择的活动光斑可以是最接近瞳孔位置的光斑。因此，活动光斑是最有可能对眼动跟踪系统的眼动跟踪能力产生危害的光斑。
处理电路系统可以进一步被配置成执行以下步骤：
检测瞳孔随后何时从活动光斑的位置移开，并重新接通已关掉的发光器。
因此，当确定来自已关掉的发光器的光斑不可能对眼动跟踪系统的眼动跟踪能力产生危害时，该系统可以重新激活已关掉的发光器。
处理电路系统可以进一步被配置成如果发生以下事件中的一个或多个，则接通所有发光器并且对区域中哪些发光器已被检查进行重新设置：
在图像中没有检测到瞳孔；
在图像中没有检测到光斑；
在后续图像中发现在距活动光斑第一预定距离内的附加光斑，从而指示在发光器与活动光斑之间已经进行了不正确的关联；
发现距瞳孔第二预定距离内的附加光斑，附加光斑比活动光斑更靠近瞳孔；或者
眼动跟踪系统从用户的头部移除。
当这样的事件发生时，这样的特征可以防止对图像的任何不必要的处理，当系统可能已经产生错误时更是如此，并且允许系统从头开始处理。
根据第二方面，提供了一种控制眼动跟踪系统中的发光器的方法，其中该系统包括多个发光器，该方法包括：
从图像传感器接收用户眼睛的第一图像，第一图像来源于图像传感器，该图像传感器检测来自多个发光器的、从用户眼睛反射并从位于多个发光器与用户眼睛之间的光学装置反射的光；
确定第一图像中眼睛的表示的瞳孔位置；
搜索并识别第一图像中的至少一个光斑，其中，该光斑或每个光斑是来自该多个发光器中的相应发光器的光从光学装置的反射的表示，其中，该光斑或每个光斑必须满足至少一个第一标准；
选择该至少一个光斑中的一个光斑作为活动光斑；
识别该多个发光器中的活动发光器，并且关掉活动发光器，其中，该活动发光器是该多个发光器中对活动光斑有责任的发光器；
其中，识别活动发光器包括：
(a)关掉该多个发光器中的一个发光器；
(b)在从图像传感器接收的后续图像中搜索至少一个光斑，其中，该光斑或每个光斑必须满足至少一个第二标准，该至少一个第二标准不同于该至少一个第一标准；
(c)确定活动光斑是否存在于后续图像中，并且如果活动光斑不存在，则确定活动光斑是来自被关掉的发光器的反射；
(d)在活动光斑存在于后续图像中的条件下，对该多个发光器的其他发光器重复步骤(a)至(c)。
该多个发光器可以相对于彼此和相对于眼动跟踪系统布置在固定位置处。
该多个发光器可以相对于用户的一只或两只眼睛处于固定或基本固定的位置。
该至少一个第一标准可以包括高于第一预定阈值的光斑质量，并且该至少一个第二标准可以包括高于第二预定阈值的光斑质量，该第二预定阈值低于该第一预定阈值。
该方法进一步包括以下步骤：在选择某一光斑作为活动光斑之后，
识别多个区域中包含活动光斑的区域，其中，每个区域与该多个发光器的子集相关联；并且其中，对与所识别的区域相关联的发光器的子集中的发光器执行步骤(a)至(c)。
每个区域可以与一个或多个其他区域(诸如与所述区域直接相邻的区域)重叠。
这些区域可以预先确定并存储在存储器中。例如，可以基于系统内发光器的布置和/或它们相对于图像传感器的位置来预先确定区域。可替代地，作为计算的一部分，处理器可以计算这些区域。
该方法可以进一步包括确定瞳孔位置周围的感兴趣区域的步骤，其中在感兴趣区域中执行搜索至少一个光斑的步骤。
该至少一个第一标准和至少一个第二标准可以取决于图像的测得特征。
测得特征可以是图像的最大像素强度。
第一预定阈值和第二预定阈值可以是相对阈值。
第一预定阈值和第二预定阈值可以是相对于图像或图像的一部分的最大像素强度的。图像的这部分可以是ROI。
所选择的活动光斑可以是最接近瞳孔位置的光斑。
该方法可以进一步包括以下步骤：
检测瞳孔随后何时已从活动光斑的位置移开，并重新接通已关掉的发光器。
该方法可以进一步包括以下步骤：如果发生以下事件中的一个或多个，则接通所有发光器并且对区域中哪些发光器已被检查进行重新设置：
在图像中没有检测到瞳孔；
在图像中没有检测到光斑；
在后续图像中发现在距活动光斑第一预定距离内的附加光斑，从而指示在发光器与活动光斑之间已经进行了不正确的关联；
发现距瞳孔第二预定距离内的附加光斑，附加光斑比活动光斑更靠近瞳孔；或者
眼动跟踪系统已从用户的头部移除。
根据第三方面，提供了一种包括根据第一方面的眼动跟踪系统的头戴式设备。
头戴式设备可以是虚拟现实头戴装置、增强现实头戴装置、混合现实头戴装置或眼动跟踪头戴装置。
根据第四方面，提供了一种具有指令的计算机程序，该指令在由处理器执行时使得该处理器执行控制眼动跟踪系统中的发光器的方法，其中，该系统包括多个发光器，该方法包括：
从图像传感器接收用户眼睛的第一图像，第一图像来源于图像传感器，该图像传感器检测来自多个发光器的、从用户眼睛反射并从位于多个发光器与用户眼睛之间的光学装置反射的光；
确定第一图像中眼睛的表示的瞳孔位置；
搜索并识别第一图像中的至少一个光斑，其中，该光斑或每个光斑是来自该多个发光器中的相应发光器的光从光学装置的反射的表示，其中，该光斑或每个光斑必须满足至少一个第一标准；
选择该至少一个光斑中的一个光斑作为活动光斑；
识别该多个发光器中的活动发光器，并且关掉活动发光器，其中，该活动发光器是该多个发光器中对活动光斑有责任的发光器；
其中，识别活动发光器包括：
(a)关掉该多个发光器中的一个发光器；
(b)在从图像传感器接收的后续图像中搜索至少一个光斑，其中，该光斑或每个光斑必须满足至少一个第二标准，该至少一个第二标准不同于该至少一个第一标准；
(c)确定活动光斑是否存在于后续图像中，并且如果活动光斑不存在，则确定活动光斑是来自被关掉的发光器的反射；
(d)在活动光斑存在于后续图像中的情况下，对该多个发光器的其他发光器重复步骤(a)至(c)。
第四方面可以包括关联于第二方面描述的任何附加特征。
根据第五方面提供了一种其上存储有计算机程序的计算机可读介质，该计算机程序具有指令，该指令在由处理器执行时使该处理器执行控制眼动跟踪系统中的发光器的方法，其中，该系统包括多个发光器，该方法包括：
从图像传感器接收用户眼睛的第一图像，第一图像来源于图像传感器，该图像传感器检测来自多个发光器的、从用户眼睛反射并从位于多个发光器与用户眼睛之间的光学装置反射的光；
确定第一图像中眼睛的表示的瞳孔位置；
搜索并识别第一图像中的至少一个光斑，其中，该光斑或每个光斑是来自该多个发光器中的相应发光器的光从光学装置的反射的表示，其中，该光斑或每个光斑必须满足至少一个第一标准；
选择该至少一个光斑中的一个光斑作为活动光斑；
识别该多个发光器中的活动发光器，并且关掉活动发光器，其中，该活动发光器是该多个发光器中对活动光斑有责任的发光器；
其中，识别活动发光器包括：
(a)关掉该多个发光器中的一个发光器；
(b)在从图像传感器接收的后续图像中搜索至少一个光斑，其中，该光斑或每个光斑必须满足至少一个第二标准，该至少一个第二标准不同于该至少一个第一标准；
(c)确定活动光斑是否存在于后续图像中，并且如果活动光斑不存在，则确定活动光斑是来自被关掉的发光器的反射；
(d)在活动光斑存在于后续图像中的情况下，对该多个发光器中的其他发光器重复步骤(a)至(c)。
第五方面可以包括关联于第二方面所描述的任何附加特征。
附图说明
现在将参考附图来详细描述具体实施例，在附图中：
图1示出了示例眼动跟踪系统的示意图；
图2示出了眼睛的示例图像；
图3a示出了头戴式设备(HMD)的选择部分的视图；
图3b示出了HMD的选择部分的侧视图；
图3c示出了HMD的选择部分的分解视图；
图4示出了由图1的眼动跟踪系统捕获的图像的示意图；
图5示出了由图1的眼动跟踪系统捕获的进一步图像的示意图，在该图像中识别到活动光斑；
图6示出了图5的图像的进一步示意图，其包括发光器区域的表示；
图7示出了发光器区域和与每个区域相关联的发光器的进一步图示；
图8示出了与图像区域相关联的发光器的图示；
图9a和图9b示出了由眼动跟踪系统的实施例获取的示例图像的图示，其中图9a是在发光器控制之前的图示，而图9b是在发光器控制之后的图示；以及
图10示出了第二方面的方法的流程图。
具体实施方式
图1示出了头戴式设备(HMD)中的眼动跟踪系统100(其也可以称为注视跟踪系统)的简化视图，该头戴式设备呈虚拟现实(VR)设备、或VR眼镜的形式。系统100包括用于照射用户眼睛的发光器110至119、以及用于捕获用户眼睛的图像的图像传感器120。发光器110至119可以例如是发光二极管，这些发光二极管发射红外(IR)频段中的光或近红外(NIR)频段中的光。图像传感器120可以例如是任何类型的图像传感器，诸如互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器。图像传感器120可以由包含像素传感器阵列的集成电路组成，每个像素包含光电检测器和有源放大器。图像传感器120能够将光转换成数字信号。在现实中，作为示例，图像传感器可以是：
-红外(IR)图像传感器；
-RGB传感器；
-RGBW传感器；或者
-具有IR滤光片的RGB或RGBW传感器。
眼动跟踪系统100还包括用于接收并处理由图像传感器120捕获的图像的电路系统125，该电路系统例如包括接收器126和处理电路系统127。电路系统125可以例如经由有线连接或无线连接而连接到图像传感器120和发光器110至119，并且与图像传感器120和发光器110至119位于同一位置、或与之隔开一定距离(例如在不同的设备中)。在另一示例中，电路系统125可以设置在图像传感器120的光敏表面下方的一个或多个堆叠层中。
要注意的是，图1中的图像传感器120的位置仅用于说明目的。在VR设备中，用于一只眼睛的图像传感器的位置通常远离用户的视线，以便不遮挡那只眼睛到布置在VR设备中的VR显示器的视线。这例如借助于所谓的“热镜”来实现，该热镜反射一部分光并且允许其余的光通过，例如红外光被反射，并且可见光被允许通过。
图2示出了由图1的图像传感器120捕获的眼睛200的图像的示例。电路系统125可以例如采用图像处理(诸如数字图像处理)来提取图像中的特征。电路系统125可以例如采用瞳孔中心角膜反射(PCCR)眼动跟踪来确定眼睛200正在看的位置。在PCCR眼动跟踪中，在电路系统125中估计瞳孔210中心的位置以及眼睛200处的闪光220中心的位置。闪光220是由来自发光器110至119之一的光的反射引起的。电路系统125使用闪光220计算用户眼睛在空间中的位置并且使用瞳孔210计算用户眼睛200正朝向的位置。由于在眼睛200的光学中心与中央凹(fovea)之间通常存在偏移，因此电路系统125执行中央凹偏移校准，以便能够确定用户正在看的位置。然后可以对从左眼和从右眼获得的注视方向进行组合以形成组合的估计注视方向(或观察方向)。
在参考图1描述的眼动跟踪系统中，发光器110至119沿着一个圆的圆周布置在眼动跟踪模块中。这种布置仅用作示例。将理解的是，可以采用更多或更少的任何数量的发光器和图像传感器来进行眼动跟踪，并且这样的发光器和图像传感器可以相对于用户所观看的显示器以不同方式分布。将理解的是，可以例如采用本公开内容描述的眼动跟踪方案来进行可穿戴眼动跟踪(诸如在虚拟现实(VR)眼镜中)。
图3a至图3c各自示出了呈包括眼动跟踪系统的虚拟现实(VR)设备(VR眼镜)300形式的头戴式设备的选择部分的单独视图，在该眼动跟踪系统中可以实现本发明的实施例。
图3a示出了呈包括眼动跟踪系统的VR眼镜300形式的头戴式设备的选择部分的视图，在该眼动跟踪系统中可以实现本发明的实施例。除了VR眼镜300之外，还示出了用户的眼睛302和头部304。所示出的VR眼镜300的VR部分包括两个VR显示器305和两个VR透镜330，每只眼睛302一个VR显示器305和一个VR透镜330。VR显示器305位于眼睛302的前方并且VR透镜330位于眼睛302与VR显示器305之间。可以使用单个VR显示器的两个区域来替代两个VR显示器305。VR眼镜300的眼动跟踪部分包括两个热镜335和两个相机320。为了捕获眼睛302的图像以用于眼动跟踪，热镜335被布置在VR显示器305与VR透镜330之间。此外，发光器(未示出)被布置在VR眼镜300之上或之中，使得发光光线被引向眼睛302。从眼睛302朝向热镜335反射的光线将朝向相机320反射，在该相机中检测到光线以产生眼睛的图像。例如，热镜335可以是这样的类型：这些热镜将反射红外频段中的光，但是对于可见频段中的光是透射的。所使用的发光器(未示出)然后将产生红外频段中的光线，并且相机320将包括能够检测红外频段中的光的图像传感器。
图3b示出了VR眼镜300的选择部分的侧视图。从发光器(未示出)射向眼睛302的光线将反射回来，并穿过VR透镜330射向热镜335，并向相机320反射，在相机中检测到光线以产生眼睛的图像。
图3c示出了VR眼镜300的选择部分的分解视图。示出了针对一只眼睛的选择部分，包括发光器盖324、呈发光二极管(LED)310至319形式的发光器、包括图像传感器的相机320、VR透镜330、透镜杯或透镜管326、热镜335、VR显示器305、以及电子器件板328。图3c示出了呈LED 310至319形式的发光器的示例性布置，其中LED 310至319沿VR透镜330的周缘布置以在照射眼睛302时产生图案。来自LED 310至319的从眼睛和热镜335反射的光线在相机320中被检测到从而产生眼睛的图像。
头戴式设备(诸如在VR眼镜中)可以通过包括使用布置在头戴式设备中的发光器和一个或多个图像传感器进行的可穿戴眼动跟踪来增强，该眼动跟踪用于基于瞳孔的中心位置和眼睛处的来自发光器的一个或多个闪光的中心位置的估计来确定眼睛方向和/或注视方向。在这种设备中可能出现的问题是，当用户在VR眼镜下戴着配镜(镜片)时，来自发光器的光可能被配镜的镜片反射到图像传感器上。用于眼动跟踪的与这种反射相对应的眼睛图像区域在本文被称为光斑。这种光斑可能影响对图像中的瞳孔表示和/或闪光的识别的可能性，使得难以或不可能确定眼睛方向和/或注视方向，或者至少不能以期望的准确度确定眼睛方向和/或注视方向。
然而，由于每个光斑通常由一个发光器引起，所以此发光器可以被识别到并关掉。因此，图像传感器可以捕获其中不再存在光斑的新图像。
图4是由诸如图1所示的眼动跟踪系统生成的图像400的示意图。图像400包括用户眼睛402和由光学组件的不希望的反射产生的十个光斑404。每个光斑404与眼动跟踪系统的相应的发光器相关联。与每个发光器相关联的闪光在图像400中也是可见的，但是为了清楚起见，在图4中省略了这些闪光。在许多情况下，闪光被光斑完全覆盖或遮挡，尽管情况可能并不总是如此。
图像400上还示出了透镜中心406，尽管这在实际图像上是肉眼不可见的。透镜中心406与眼动跟踪组件的透镜的中心相对应。由于本实施例的发光器围绕透镜的外侧布置，所以透镜中心406也是发光器的位置中心，因此也是光斑404的位置中心。虽然透镜中心406总是与用户眼睛402的中心对准可能是优选的，但是这并不总是实际的，例如由于眼动跟踪系统或其所附接的VR头戴装置的配合。这样，可以看出，与发光器的位置中心相比，此图像400中的眼睛402偏离中心。
为了降低眼动跟踪系统的计算负荷，处理器指定了用户眼睛周围的感兴趣区域(ROI)408。ROI 408是眼睛402位于其内的区域，因此最适用于眼动跟踪系统中光斑的移除。通过指定ROI 408，处理器可以将资源集中在用户眼睛402附近的光斑404上，而不将资源浪费在处理图像400的不太重要的特征上。因此，处理器仅处理图像400的ROI 408来确定光斑404的存在。对于由眼动跟踪系统执行的其他过程(诸如眼动跟踪本身)可以使用不同的感兴趣区域，其中每个感兴趣区域是图像中对正在执行的过程最有用或最适用的部分。
如前所述，光斑404是由发光器与用户眼睛之间的光学组件(诸如一副眼镜)产生的不希望的反射。因此，在图像400中，光斑404由表示这种不希望的反射的若干相连像素组成。处理器通过应用一个或多个预定标准来确定光斑404的存在。
例如，可以基于光斑404的每个像素的强度超过预定义强度阈值来检测到该光斑。此强度阈值可以是绝对的，或者如在本实施例中，可以是相对强度阈值。例如，用于确定光斑404的组成像素的强度阈值可以是相对于整个图像400上或图像的ROI 408上的最大像素强度的。
预定标准还可以包括大小标准和/或质量标准。大小标准可以是：光斑404应当由预定义数量的相连分量(即像素)组成，其中“相连分量”被定义为8个像素中围绕任何其他像素的相邻像素。然后，光斑质量被定义为属于光斑404的所有像素的像素强度之和，即构成光斑404的所有相连分量的强度之和。这样，对于本实施例的每个图像帧，当任何光斑404的质量高于光斑质量第一阈值时，确定光斑404。当确定时，光斑404被添加到图像中检测到的光斑的列表，该信息被存储在处理器存储器(未示出)中。这些检测到的光斑404可以被称为“有问题的光斑”，因为它们有可能在图像中跟踪眼睛时引起问题。此确定步骤使得在图4的ROI 408中发现的三个光斑404被标记为有问题的光斑。
光斑质量是光斑检测的优选方法。然而，也可以使用其他方法，并且这些方法对于技术人员来说是已知的。
下一步骤是确定可能对用户眼动跟踪引起问题的光斑404。因此，处理器确定在图像400中最靠近瞳孔410的光斑404。这个光斑404在图5中被突出显示。最靠近瞳孔410的光斑404被称为“活动光斑”412，并且下一步是确定如何从图像400中移除此活动光斑412。
为了限制本方法所需的处理能力，期望限制在图像400的帧之间存储的信息量。然而，可能期望处理器临时存储帧的ROI 408，以便一旦光斑移除被执行就评估光斑移除的功效。因此可以在将特定光斑与特定发光器关联(如将在以下段落中讨论的)之前和之后保存ROI掩模(即ROI 408相对于图像400的位置)，以便在发光器关掉之前和之后评估注视准确度。ROI掩模可以被保存为ROI原点的坐标和ROI的大小，例如(x,y,[大小])。这将限制需要存储的信息量。
“注视准确度”是基于预测注视方向相对于真实注视方向的误差(通常以度为单位)对眼动跟踪性能的准确度的量度。通过保存ROI掩模，可以检查光斑移除前后的准确度差异。
当识别出活动光斑412时，下一阶段是搜索导致活动光斑412出现在图像中的发光器。为了简化该过程，图像400被分成多个区域。在所描述的实施例中，这些区域相对于系统的透镜中心406(即系统的所有发光器之间的中心点)对齐。这图示在图6中。发光器的位置从硬件规格中已知，并且因此可以确定发光器应当相对于图像处在什么位置。在一个实施例中，确定要选择什么区域可以是基于活动光斑412相对于透镜中心406的位置。然后，系统选择图像400中包括活动光斑412的区域，并识别与该区域相关联的发光器。
取决于系统中发光器的布置，区域的数量和区域的大小可以是不对称的。如图6所示，这些区域也可以重叠，以确保每个区域都包括可能按理会引起活动光斑的所有发光器。在图6中，为了便于解释，每个区域都基于其所在的行——A、B或C，及其所在的列——1或2被予以标记。如可以看到的，每个区域与至少一个其他区域重叠，以便每个区域总共包括十个发光器中的三个发光器。例如，区域A1(左上区域)的底部与区域B1重叠。区域C1(左下区域)的顶部与区域B1重叠。因此，B1由区域A1的最下面部分和区域C1的最上面部分构成。以此方式，区域被分割，使得除了左侧最上面和最下面的发光器之外，每个发光器都是至少两个区域的一部分。左侧的中央发光器是所有三个左侧区域的一部分。在本实施例中，右侧区域以与左侧区域相同的方式排列，共享相同的相对关系。尽管本实施例在左侧区域与右侧区域之间没有重叠，但是这可能是所期望的，并且不旨在将本系统限制于这种布置；本布置被设计成适合所示的发光器布置。
在本实施例中，发光器布置在眼睛的内侧和外侧，其之间具有水平间隙，即发光器不位于眼睛的顶侧或底侧。因此，区域的竖直重叠比区域的水平重叠重要得多，因为在眼睛一侧的发光器在眼睛的另一侧产生光斑是极不可能的(哪怕不是不可能)。相反，发光器在竖直方向上彼此靠近，因此它们产生的光斑很容易混淆。
每个区域中发光器的数量可以基于发光器的总数和它们的位置来选择，并且可以多于或少于三个。在本实施例中，对每个区域选择三个发光器，以给予区域数量与每个区域中存在的发光器数量的良好平衡。在每个区域包括多个发光器的优点在于，它为系统在使用期间的滑动(例如，在使用中HMD可能会在使用者的脸上滑动)提供了竖直和/或水平容差。通过确保每个区域可以负责控制多个发光器，即使系统相对于用户的面部移动，也可以确保负责任何区域中的光斑的发光器能够通过控制该区域的相关联发光器而被移除。在给定了特定的发光器安装位置时，本实施例中的区域与其发光器之间的关联基于系统的几何形状。在每个区域中可以包括其他数量的发光器，但是已经发现，在本实施例中，每个区域三个发光器在检测速度与确保找到正确的发光器之间提供了良好的权衡。
图6示出了总共六个区域。这些区域已被选择成具有相同数量的发光器，并且具有不同的大小。在本实施例中，区域之间的大小差异是由于透镜中心与图像中心不对齐。这仅仅是确保每个区域包括相同数量的发光器的副作用，并且在系统的其他布置中可能是也可能不是这种情况。
在所描述的实施例中，基于发光器布置和相机位置来预先确定这些区域。这样，处理器不需要在每次处理图像时都确定这些区域，而是可以在搜索对活动光斑有责任的发光器时参考这些区域。在其他实施例中，例如，可以在初始图像的处理期间或者以任何其他方式来确定这些区域，其选项对于技术人员来说是已知的。
与每个区域相关联的发光器以另一种方式描绘在图7的标记为“相机0(左)”的部分中。其中图6示出了用户的左眼，图6的区域A1对应于图7的区域0，并且包括发光器0、1和2。图6的区域B1对应于图7的区域2，并且包括发光器1、2和3。图6的区域C1对应于图7的区域4，并且包括发光器2、3和4。图6的区域A2对应于图7的区域1，并且包括发光器9、8和7。图6的区域B2对应于图7的区域3，并且包括发光器8、7和6。图6的区域C2对应于图7的区域5，并且包括发光器7、6和5。对于图7中也示出的与用户右眼图像相关的右侧相机，也进行了类似的关联。
一旦包含活动光斑412的区域被识别，处理器就依次关掉发光器，以识别哪个发光器对活动光斑412有责任。图8示出了与图6相同的图像400，但是区域C1被识别为包含突出显示的活动光斑。当此区域已被识别时，所控制的发光器也被突出显示。
根据哪个区域已被选择为对活动光斑412有责任，来关掉第一发光器。要关掉的第一发光器通常是C1区域的中心发光器，但是也可以是C1区域中的任何其他发光器。一旦此第一发光器已被关掉，图像传感器获取另一个图像400，以便查看在第一图像400的活动光斑412附近的光斑404是否存在于此后续图像400中。
如果在活动光斑412附近没有发现光斑404，则可以确定已经关掉的发光器是对活动光斑412的产生有责任的发光器。系统将确保该发光器保持关掉，直到用户的瞳孔410从包含活动光斑412的区域移开为止。在本系统中，瞳孔的原始位置被保存。然后可以将任何时候的当前瞳孔位置与原始位置进行比较。如果两者间距离大于阈值，则确定瞳孔410已经移开足够远，使得发光器可以重新接通。执行该任务的其他方法对于技术人员来说是已知的，并且在本申请中将不再进一步讨论。
如果在活动光斑412附近发现光斑404，则可以确定已经关掉的发光器不是对活动光斑412有责任的发光器。此时，针对区域C1中的第二发光器，执行关掉该发光器并确定活动光斑412是否存在于后续图像400中的过程。如果必要的话，可以对C1区域的所有发光器重复此过程。然而，一旦已识别出正确的发光器，就可以停止关掉其他发光器的过程，直到用户的瞳孔410接近另一个检测到的光斑404为止。
如果所识别区域C1内的所有发光器都已被测试，并且没有识别到光斑-发光器之间的关联性，则重新接通所有发光器。从这一点开始，只要活动光斑412保持在用户的瞳孔410附近，就可以从区域识别阶段开始重复该方法。
图9a和图9b示出了本系统对图像中检测到的光斑的影响。图9a清楚地示出了由系统获取的图像900a中存在的多个光斑904，其中一个带圆圈的光斑由于其接近用户的瞳孔910而被识别为活动光斑912。在执行上述方法之后，活动光斑912已经从图9b(后续图像900b)中移除。很明显，由于对活动光斑912有责任的发光器被关掉，因此来自相关发光器的闪光914也被移除。然而，鉴于瞳孔910不再被活动光斑912遮挡，并且剩余的闪光在眼动跟踪过程中仍然可用，这合乎期望的。在典型的眼动跟踪系统中，确定注视所需的闪光数量明显低于由发光器提供的闪光总数量，例如只需要总共十个发光器中的两个闪光。然而，通过仅关掉有限数量的发光器，例如在本实施例中关掉一个发光器，可以确保留下足够的闪光来实现眼动跟踪。
可以注意到，在关掉发光器之前和之后，确定图像中光斑存在的阈值可能不同。这是因为每个发光器不仅能够产生闪光和光斑，而且对于图像中眼睛的总照度有贡献。因此，在十个发光器照射眼睛的情况下，提供给眼睛的总照度将大于九个或更少发光器照射眼睛时的总照度。虽然是关于在这些图中展示的十个发光器予以讨论的，但是发光器的总数并不重要，重要的是在发光器关掉之前和之后提供的照度的变化。
如果在发光器关掉之前和之后对光斑检测使用相同的阈值，即使光斑仍然存在，也可能检测不到光斑。这是因为每个像素的强度并因此光斑的质量(如之前定义的)可能会由于较低的总照度而降低，使其低于籍此识别到光斑的阈值，而光斑本身仍然留在图像中。如果图像的处理导致光斑未能被正确检测到，则错误的发光器可能与光斑相关联，从而留下对发光的光斑有责任的发光器，并且无助于眼动跟踪系统的眼动跟踪功能。
为了避免这种情况，本实施例在发光器被关掉后利用不同的阈值来识别光斑。此第二阈值(在本实施例中利用了光斑的质量，尽管它可以涉及诸如光斑的强度或大小等其他特征)因此被设置为低于第一阈值。这确保了如果第一次检测到的光斑的质量接近第一阈值，它就不会仅仅由于总照度的降低而下降到第二阈值以下。效果是光斑检测更稳定。
如前面所提及的，可能优选的是包括第一阈值和第二阈值中的每一个阈值作为对图像特征作出反应的相对阈值，以确保最佳光斑检测。在本实施例中，第一阈值和第二阈值中的每一个阈值都是相对于图像中的最大像素强度来确定的。这允许由处理器操作的算法处理以动态地调整系统中的照明的方式获取的图像，以利于眼睛图像的最佳收集。例如，该系统可以利用对相机动态曝光、相机动态增益、动态图像γ和/或动态LED电流或功率的调整。这不是详尽的列表，技术人员将意识到系统的图像收集中的其他改变，这些改变可以通过相对阈值来考虑。
没有相对阈值，对动态照明的响应可能会有问题。例如，如果一个图像的最大强度值为50，而第二个图像的最大强度值为80，则如果光斑检测的阈值设置为60，那么在第一个图像中不会发现光斑，而在第二个图像中可能会发现很多光斑。然而，发光器可能仍然以同样的方式遮挡瞳孔。相比之下，如果相对阈值设置为图像中最大强度值的90％，那么将总是选择最亮的10％的像素，而与实际强度无关。
第一阈值和第二阈值的实际值可以相对于它们所应用在的眼动跟踪系统来确定。作为示例，第一阈值可以是最大像素强度的90％，并且第二阈值可以是最大像素强度的85％。
尽管在本实施例中，阈值是参考最大像素强度来确定的，但是也可以根据其他度量(诸如平均像素强度)来确定阈值。
明显的是，由于不需要在图像的帧之间存储大量信息，本方法和系统可以以比已知系统更低的计算能力操作，因为处理不需要太多关于系统先前状态的认识。需要在图像帧之间存储的信息仅仅是：
-活动光斑的位置；
-所识别区域内已经过测试的发光器；以及
-指示是否已经确定了光斑与发光器之间的关联的变量。
所描述的系统需要存储的少量信息意味着本系统的计算量比现有技术中描述的已知跟踪方法要轻。发光器基于区域的切换需要较少的信息来确定与在帧之间跟踪光斑和瞳孔时所提供的相同的关联。
可以预见，发光器可能错误地与图像中的活动光斑相关联，从而导致“错误状态”。“错误状态”可以定义为当发光器保持“关掉”而活动光斑在图像中仍然可见时。例如，如果包含眼动跟踪系统的头戴装置滑到正确位置之外或被用户移除，或者如果图像传感器返回空白图像，则可能发生这样的事件。为了避免系统继续在这种状态下操作，本系统包括重置功能。“重置”意味着系统将接通所有的发光器，并继续光斑移除过程，就好像没有检查过所识别区域中的任何发光器一样。因此，系统可以配置为在以下情况下重置：
-在图像中没有检测到瞳孔；
-在图像中没有检测到光斑；
-如果发现了接近活动光斑的光斑时，例如当切换发光器时在几帧内没有检测到光斑，以及该算法将错误的发光器与活动光斑相关联时(当在某些照明条件下光斑低于用于检测的阈值质量但是随后的动态调整导致在稍后的时间在最初发现光斑的位置处或附近检测到光斑时，这种情况可能发生)；
-如果发现比活动光斑更靠近瞳孔的光斑(可以在系统中定义预定的余量，用于确定光斑何时被认为足够靠近瞳孔以触发重置)；和/或
-HMD或眼动跟踪系统被用户移除时。
在一些实施例中，系统可以被设计成通过在做出任何相关联的决定或做出任何硬件改变(例如，改变照明设置)之前等待一定数量帧来考虑系统时延。通过等待一定数量的帧来考虑此时延，可以确保在做出任何后续决定和/或改变之前，系统已经实现了先前的决定和/或改变。
系统时延可以是取决于系统的预定帧数，其中预定帧数是大于或等于0的特定帧数。可替代地，系统可以持续检测时延，以便在实施后续决定和/或改变时使用该检测到的时延。
到目前为止，已经针对用户的单眼描述了该系统。当然，在系统包括用于用户双眼的发光器和相机的情况下，系统的控制可以使用为每只眼睛独立操作的两个状态机来实现，或者以技术人员已知的任何其他方式来实现。
图10的流程图中简单描述了到目前为止所描述的方法。在第一步骤，从图像传感器接收S102用户眼睛的图像。然后从图像中确定S104已经接收的图像中眼睛表示的瞳孔位置。然后可以通过使用至少一个第一标准在图像中搜索并识别S106一个或多个光斑，并且可以选择S108活动光斑。对光斑的搜索可以在眼睛瞳孔周围的感兴趣区域中进行。活动光斑通常是被认为对于眼动跟踪系统最成问题的光斑，诸如最靠近瞳孔的光斑。
根据上述内容，需要识别哪个发光器对活动光斑有责任，并且可以关掉该发光器。通过关掉S110多个发光器中的一个发光器来实现对该活动发光器的识别。要关掉的发光器可以从包含活动光斑的区域内所含的发光器子集中选择S111。
然后从图像传感器接收后续图像，并通过使用不同于至少一个第一标准的至少一个第二标准来搜索S112光斑。然后可以确定S114活动光斑是否存在于后续图像中，并且如果活动光斑不存在，则可以确定活动光斑是来自被关掉的发光器的反射。另一方面，如果活动光斑仍然存在于后续图像中，则可以对多个发光器中的其他发光器重复前面的步骤S110至S114。
应当注意，本申请中描述的眼动跟踪系统和方法不限于与图3a至图3c的头戴式设备一起使用。事实上，眼动跟踪系统和方法同样适用于其他类型的设备，包括但不一定限于诸如VR眼镜的头戴式设备。眼动跟踪系统可以与任何结合了使用多个发光器和图像传感器的眼动跟踪的系统一起使用，并且不依赖于更大设备的其他方面。可以与本眼动追踪系统一起使用的其他设备的非限制性示例包括扩展现实(XR)头戴装置，包括用于增强现实(AR)、虚拟现实(VR)和混合现实(MR)以及眼动追踪可穿戴设备，诸如本申请人开发的TobiiPro Glasses 3。在本公开内容的背景下，可以实施所描述的眼动跟踪系统和方法的其他设备对于本领域技术人员来说是已知的。

Claims (20)

1.一种眼动跟踪系统(100)，包括：
多个发光器(110-119)，用于照射用户眼睛(200)；
接收器(126)，用于从图像传感器(120)接收所述用户眼睛(200)的第一图像(400)，所述第一图像(400)来源于所述图像传感器(120)，所述图像传感器检测来自所述多个发光器(110-119)的、从所述用户眼睛(200)反射并从位于所述多个发光器(110-119)与所述用户眼睛(200)之间的光学装置反射的光；以及
处理电路系统(127)，所述处理电路系统被配置成执行以下步骤：
确定所述第一图像(400)中所述眼睛(200)的表示的瞳孔位置；
搜索并识别所述第一图像(400)中的至少一个光斑(404)，其中，所述光斑或每个光斑(404)是来自所述多个发光器(110-119)中的相应发光器(110-119)的光从所述光学装置的反射的表示，其中，所述光斑或每个光斑(404)必须满足至少一个第一标准；
选择所述至少一个光斑(404)中的某光斑作为活动光斑(412)；
识别所述多个发光器(110-119)中的活动发光器，并且关掉所述活动发光器，其中，所述活动发光器是所述多个发光器(110-119)中对所述活动光斑(412)有责任的发光器；
其中，识别所述活动发光器包括：
(a)关掉所述多个发光器(110-119)中的一个发光器；
(b)在从所述图像传感器(120)接收的后续图像(400)中搜索至少一个光斑(404)，其中，所述光斑或每个光斑(404)必须满足至少一个第二标准，所述至少一个第二标准不同于所述至少一个第一标准；
(c)确定所述活动光斑(412)是否存在于所述后续图像(400)中，并且如果所述活动光斑(412)不存在，则确定所述活动光斑(412)是来自被关掉的所述发光器的反射；
(d)在所述活动光斑(412)存在于所述后续图像(400)中的情况下，对所述多个发光器(110-119)中的其他发光器重复步骤(a)至(c)。
2.如权利要求1所述的眼动跟踪系统(100)，其中，所述至少一个第一标准包括高于第一预定阈值的光斑质量，并且所述至少一个第二标准包括高于第二预定阈值的光斑质量，所述第二预定阈值低于所述第一预定阈值。
3.如权利要求1或权利要求2所述的眼动跟踪系统(100)，其中，在选择某光斑(404)作为所述活动光斑(412)之后，所述处理电路系统(127)进一步被配置成执行以下步骤：
识别多个区域(A1-C2)中包含所述活动光斑(412)的区域，其中，每个区域(A1-C2)与所述多个发光器(110-119)的子集相关联；并且
其中，对与所识别的区域(A1-C2)相关联的所述发光器的子集中的发光器执行步骤(a)至(c)。
4.如任一前述权利要求所述的眼动跟踪系统(100)，其中，从所述多个发光器(110-119)的子集执行所述识别所述活动发光器的步骤。
5.如任一前述权利要求所述的眼动跟踪系统(100)，其中，所述处理电路系统(127)进一步被配置成确定所述瞳孔位置周围的感兴趣区域(408)，其中，在所述感兴趣区域(408)中执行所述搜索所述至少一个光斑(404)的步骤。
6.如任一前述权利要求所述的眼动跟踪系统(100)，其中，所述至少一个第一标准和所述至少一个第二标准取决于所述图像(400)的测得特征，可选地，其中，所述测得特性是所述图像(400)的最大像素强度。
7.如任一前述权利要求所述的眼动跟踪系统(100)，其中，所述第一预定阈值和第二预定阈值各自是相对阈值，可选地，其中，所述第一预定阈值和第二预定阈值是相对于所述图像(400)或所述图像(400)的一部分的最大像素强度的。
8.如任一前述权利要求所述的眼动跟踪系统(100)，其中，所述处理电路系统(127)进一步被配置成执行以下步骤：
检测所述瞳孔随后何时从所述活动光斑(412)的位置移开，并重新接通所关掉的发光器。
9.如任一前述权利要求所述的眼动跟踪系统(100)，其中，所述处理电路系统(127)进一步被配置成如果发生以下事件中的一个或多个，则接通所有发光器(110-119)并且重置区域(A1-C2)中已被检查的发光器：
在所述图像(400)中没有检测到所述瞳孔；
在所述图像(400)中没有检测到光斑(404)；
在后续图像(400)中发现在距所述活动光斑(412)第一预定距离内的附加光斑(404)，这指示在发光器与所述活动光斑(412)之间已经进行了不正确的关联；
发现距所述瞳孔第二预定距离内的附加光斑(404)，所述附加光斑(404)比所述活动光斑(412)更靠近瞳孔；或者
所述眼动跟踪系统(100)从所述用户的头部移除。
10.一种控制眼动跟踪系统(100)中的发光器(110-119)的方法，其中，所述系统(100)包括多个发光器(110-119)，所述方法包括：
从图像传感器(120)接收所述用户眼睛(200)的第一图像(400)，所述第一图像(400)来源于所述图像传感器(120)，所述图像传感器检测来自所述多个发光器(110-119)的、从所述用户眼睛(200)反射并从位于所述多个发光器(110-119)与所述用户眼睛(200)之间的光学装置反射的光；
确定所述第一图像(400)中所述眼睛(200)的表示的瞳孔位置；
搜索并识别所述第一图像(400)中的至少一个光斑(404)，其中，所述光斑或每个光斑(404)是来自所述多个发光器(110-119)中的相应发光器的光从所述光学装置的反射的表示，其中，所述光斑或每个光斑(404)必须满足至少一个第一标准；
选择所述至少一个光斑中的某光斑作为活动光斑(412)；
识别所述多个发光器(110-119)中的活动发光器，并且关掉所述活动发光器，其中，所述活动发光器是所述多个发光器(110-119)中对所述活动光斑(412)有责任的发光器；
其中，识别所述活动发光器包括：
(a)关掉所述多个发光器(110-119)中的一个发光器；
(b)在从所述图像传感器(120)接收的后续图像(400)中搜索至少一个光斑(404)，其中，所述光斑或每个光斑(404)必须满足至少一个第二标准，所述至少一个第二标准不同于所述至少一个第一标准；
(c)确定所述活动光斑(412)是否存在于所述后续图像(400)中，并且如果所述活动光斑(412)不存在，则确定所述活动光斑(412)是来自被关掉的所述发光器的反射；
(d)在所述活动光斑(412)存在于所述后续图像(400)中的情况下，对所述多个发光器(110-119)中的其他发光器重复步骤(a)至(c)。
11.如权利要求10所述的方法，其中，所述至少一个第一标准包括高于第一预定阈值的光斑质量，并且所述至少一个第二标准包括高于第二预定阈值的光斑质量，所述第二预定阈值低于所述第一预定阈值。
12.如权利要求10或权利要求11所述的方法，进一步包括以下步骤：在选择某光斑(404)作为所述活动光斑(412)之后，进一步包括以下步骤：
识别多个区域(A1-C2)中包含所述活动光斑(412)的区域(A1-C2)，其中，每个区域与所述多个发光器(110-119)的子集相关联；并且其中，对与所识别的区域(A1-C2)相关联的所述发光器的子集中的发光器执行步骤(a)至(c)。
13.如权利要求10至12中任一项所述的方法，进一步包括确定所述瞳孔位置周围的感兴趣区域(408)的步骤，其中，在所述感兴趣区域(408)中执行所述搜索至少一个光斑(404)的步骤。
14.如权利要求10至13中任一项所述的方法，其中，所述至少一个第一标准和所述至少一个第二标准取决于所述图像(400)的测得特征，可选地，其中，所述测得特性是所述图像(400)的最大像素强度。
15.如权利要求10至14中任一项所述的方法，其中，所述第一预定阈值和第二预定阈值是相对阈值，可选地，其中，所述第一预定阈值和第二预定阈值是相对于所述图像(400)或所述图像(400)的一部分的最大像素强度的。
16.如权利要求10至15中任一项所述的方法，进一步包括以下步骤：
检测所述瞳孔随后何时从所述活动光斑(412)的位置移开，并重新接通所关掉的发光器。
17.如权利要求10至16中任一项所述的方法，进一步包括以下步骤：如果发生以下事件中的一个或多个，则接通所有发光器(110-119)并且重置区域中已被检查的发光器：
在所述图像(400)中没有检测到所述瞳孔；
在所述图像(400)中没有检测到光斑(404)；
在后续图像(400)中发现在距所述活动光斑第一预定距离内的光斑(404)；
发现距所述瞳孔第二预定距离内的光斑(404)；或者
所述眼动跟踪系统(100)从所述用户的头部移除。
18.一种头戴式设备，所述头戴式设备包括根据权利要求1至9中任一项所述的眼动跟踪系统(100)。
19.一种具有指令的计算机程序，所述指令在由处理器执行时，使得所述处理器执行控制眼动跟踪系统(100)中的发光器的方法，其中，所述系统包括多个发光器(110-119)，所述方法包括：
从图像传感器(120)接收所述用户眼睛(200)的第一图像(400)，所述第一图像(400)来源于所述图像传感器(120)，所述图像传感器检测来自所述多个发光器(110-119)的、从所述用户眼睛(200)反射并从位于所述多个发光器(110-119)与所述用户眼睛(200)之间的光学装置反射的光；
确定所述第一图像(400)中所述眼睛(200)的表示的瞳孔位置；
搜索并识别所述第一图像(400)中的至少一个光斑(404)，其中，所述光斑或每个光斑(404)是来自所述多个发光器(110-119)中的相应发光器的光从所述光学装置的反射的表示，其中，所述光斑或每个光斑(404)必须满足至少一个第一标准；
选择所述至少一个光斑(404)中的某光斑作为活动光斑(412)；
识别所述多个发光器(110-119)中的活动发光器，并且关掉所述活动发光器，其中，所述活动发光器是所述多个发光器(110-119)中对所述活动光斑(412)有责任的发光器；
其中，识别所述活动发光器包括：
(a)关掉所述多个发光器(110-119)中的一个发光器；
(b)在从所述图像传感器(120)接收的后续图像(400)中搜索至少一个光斑(404)，其中，所述光斑或每个光斑(404)必须满足至少一个第二标准，所述至少一个第二标准不同于所述至少一个第一标准；
(c)确定所述活动光斑(412)是否存在于所述后续图像(400)中，并且如果所述活动光斑(412)不存在，则确定所述活动光斑(412)是来自被关掉的所述发光器的反射；
(d)在所述活动光斑(412)存在于所述后续图像(400)中的情况下，对所述多个发光器(110-119)中的其他发光器重复步骤(a)至(c)。
20.一种其上存储有计算机程序的计算机可读介质，所述计算机程序具有指令，所述指令在由处理器执行时使所述处理器执行控制眼动跟踪系统(100)中的发光器的方法，其中，所述系统包括多个发光器(110-119)，所述方法包括：
从图像传感器(120)接收所述用户眼睛(200)的第一图像(400)，所述第一图像(400)来源于所述图像传感器(120)，所述图像传感器检测来自所述多个发光器(110-119)的、从所述用户眼睛(200)反射并从位于所述多个发光器(110-119)与所述用户眼睛(200)之间的光学装置反射的光；
确定所述第一图像(400)中所述眼睛(200)的表示的瞳孔位置；
搜索并识别所述第一图像(400)中的至少一个光斑(404)，其中，所述光斑或每个光斑(404)是来自所述多个发光器(110-119)中的相应发光器的光从所述光学装置的反射的表示，其中，所述光斑或每个光斑(404)必须满足至少一个第一标准；
选择所述至少一个光斑(404)中的某光斑作为活动光斑(412)；
识别所述多个发光器(110-119)中的活动发光器，并且关掉所述活动发光器，其中，所述活动发光器是所述多个发光器(110-119)中对所述活动光斑(412)有责任的发光器；
其中，识别所述活动发光器包括：
(a)关掉所述多个发光器(110-119)中的一个发光器；
(b)在从所述图像传感器(120)接收的后续图像(400)中搜索至少一个光斑(404)，其中，所述光斑或每个光斑(404)必须满足至少一个第二标准，所述至少一个第二标准不同于所述至少一个第一标准；
(c)确定所述活动光斑(412)是否存在于所述后续图像(400)中，并且如果所述活动光斑(412)不存在，则确定所述活动光斑(412)是来自被关掉的所述发光器的反射；
(d)在所述活动光斑(412)存在于所述后续图像(400)中的情况下，对所述多个发光器(110-119)中的其他发光器重复步骤(a)至(c)。
CN202110979139.5A 2020-08-27 2021-08-25 眼动跟踪系统 Pending CN114114687A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE2030271A SE544921C2 (en) 2020-08-27 2020-08-27 Eye tracking system
SE2030271-7 2020-08-27

Publications (1)

Publication Number Publication Date
CN114114687A true CN114114687A (zh) 2022-03-01

Family

ID=77520535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110979139.5A Pending CN114114687A (zh) 2020-08-27 2021-08-25 眼动跟踪系统

Country Status (4)

Country Link
US (1) US20220083799A1 (zh)
EP (1) EP3979211A1 (zh)
CN (1) CN114114687A (zh)
SE (1) SE544921C2 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013244363A (ja) * 2012-05-29 2013-12-09 Nidek Co Ltd 眼底撮影装置
CN103530618A (zh) * 2013-10-23 2014-01-22 哈尔滨工业大学深圳研究生院 一种基于角膜反射的非接触式视线追踪方法
CN105678286A (zh) * 2016-02-29 2016-06-15 徐鹤菲 一种瞳孔定位方法及设备
WO2016189243A1 (fr) * 2015-05-26 2016-12-01 Centre National De La Recherche Scientifique Dispositif de détection d'un état de la cornée de l'oeil et procédé associé
CN107123118A (zh) * 2017-04-26 2017-09-01 山东大学 虹膜图像清晰度快速评价方法
US20190208119A1 (en) * 2016-08-19 2019-07-04 Huawei Technologies Co., Ltd. Image processing method and apparatus
US10342425B1 (en) * 2018-03-28 2019-07-09 Tobii Ab Method and system for controlling illuminators
CN111611845A (zh) * 2015-09-01 2020-09-01 北京上古视觉科技有限公司 一种具有活体检测功能的虹膜识别系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE524003C2 (sv) 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
CN105960193A (zh) 2013-09-03 2016-09-21 托比股份公司 便携式眼睛追踪设备
CN105828700B (zh) * 2013-12-09 2018-07-06 Smi创新传感技术有限公司 操作眼睛跟踪装置的方法和提供主动照明控制用于改进的眼睛跟踪稳定性的眼睛跟踪装置
US9292765B2 (en) * 2014-01-07 2016-03-22 Microsoft Technology Licensing, Llc Mapping glints to light sources
US9411417B2 (en) * 2014-07-07 2016-08-09 Logitech Europe S.A. Eye gaze tracking system and method
US10698482B2 (en) * 2016-12-01 2020-06-30 Varjo Technologies Oy Gaze tracking using non-circular lights
CN111902070A (zh) * 2017-09-11 2020-11-06 托比股份公司 左眼和右眼凝视追踪数据的可靠性
WO2019185136A1 (en) * 2018-03-28 2019-10-03 Tobii Ab Method and system for controlling illuminators

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013244363A (ja) * 2012-05-29 2013-12-09 Nidek Co Ltd 眼底撮影装置
CN103530618A (zh) * 2013-10-23 2014-01-22 哈尔滨工业大学深圳研究生院 一种基于角膜反射的非接触式视线追踪方法
WO2016189243A1 (fr) * 2015-05-26 2016-12-01 Centre National De La Recherche Scientifique Dispositif de détection d'un état de la cornée de l'oeil et procédé associé
CN111611845A (zh) * 2015-09-01 2020-09-01 北京上古视觉科技有限公司 一种具有活体检测功能的虹膜识别系统
CN105678286A (zh) * 2016-02-29 2016-06-15 徐鹤菲 一种瞳孔定位方法及设备
US20190208119A1 (en) * 2016-08-19 2019-07-04 Huawei Technologies Co., Ltd. Image processing method and apparatus
CN107123118A (zh) * 2017-04-26 2017-09-01 山东大学 虹膜图像清晰度快速评价方法
US10342425B1 (en) * 2018-03-28 2019-07-09 Tobii Ab Method and system for controlling illuminators

Also Published As

Publication number Publication date
SE544921C2 (en) 2023-01-03
EP3979211A1 (en) 2022-04-06
US20220083799A1 (en) 2022-03-17
SE2030271A1 (en) 2022-02-28

Similar Documents

Publication Publication Date Title
CN113729611B (zh) 使用眼球中心位置的眼睛追踪
US20180160079A1 (en) Pupil detection device
US7695138B2 (en) Safe eye detection
US11243607B2 (en) Method and system for glint/reflection identification
US11543883B2 (en) Event camera system for pupil detection and eye tracking
US20190138094A1 (en) Gaze tracking using non-circular lights
US20150131051A1 (en) Eye detecting device and methods of detecting pupil
US20200187774A1 (en) Method and system for controlling illuminators
WO2018164104A1 (ja) 眼部画像処理装置
US10288879B1 (en) Method and system for glint/reflection identification
WO2019185136A1 (en) Method and system for controlling illuminators
EP3732548B1 (en) Exposure time control
CN114114687A (zh) 眼动跟踪系统
EP3801196B1 (en) Method and system for glint/reflection identification
JP6687195B2 (ja) 眼部画像処理装置
WO2017154356A1 (ja) 視線検出装置および視線検出方法
JP2008132160A (ja) 瞳孔検出装置及び瞳孔検出方法
KR102669768B1 (ko) 동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템
US20230092593A1 (en) Detection device detecting gaze point of user, control method therefor, and storage medium storing control program therefor
US20230125838A1 (en) Electronic apparatus and control method for electronic apparatus
US20240187738A1 (en) Exposure time control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination