CN105431078B - 用于同轴眼睛凝视跟踪的系统和方法 - Google Patents

用于同轴眼睛凝视跟踪的系统和方法 Download PDF

Info

Publication number
CN105431078B
CN105431078B CN201480028893.9A CN201480028893A CN105431078B CN 105431078 B CN105431078 B CN 105431078B CN 201480028893 A CN201480028893 A CN 201480028893A CN 105431078 B CN105431078 B CN 105431078B
Authority
CN
China
Prior art keywords
eyes
eye
illumination
pupil
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480028893.9A
Other languages
English (en)
Other versions
CN105431078A (zh
Inventor
N·J·沙利文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mirametrix Inc
Original Assignee
Mirametrix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mirametrix Inc filed Critical Mirametrix Inc
Publication of CN105431078A publication Critical patent/CN105431078A/zh
Application granted granted Critical
Publication of CN105431078B publication Critical patent/CN105431078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Abstract

提供了一种用于执行眼睛凝视跟踪的系统和方法，该系统被配置成用该方法并且该方法包括：针对单个同轴成像装置最优化场景的照明，在最优化的照明下，利用所述单个同轴成像装置获取图像，以及处理所获取的图像，以执行凝视估计。还提供了动态照明控制、眼睛候选检测和过滤、以及凝视估计技术。

Description

用于同轴眼睛凝视跟踪的系统和方法
本申请要求保护2013年3月18日提交的美国临时申请No.61/802881的优先权，其内容通过引用并入于此。
技术领域
下面内容涉及用于同轴(on-axis)眼睛凝视(gaze)跟踪的系统和方法。
背景技术
用于人与机器之间的交互的常见技术包括手动用户接口装置，如键盘、按钮、操纵杆以及点击装置(例如，鼠标器、针笔等)。眼睛凝视跟踪系统方面的近期发展可以确定单人眼睛的视线(LOS)矢量。该LOS信息可以被用作用于人机交互的控制工具。
针对用户至空间(例如，画面)中一位置，已知有两种一般类型的凝视估计过程。即，函数映射和3D模型。在函数映射中，获取画面点和特征矢量对(通常经由校准过程)，并且每一对都包含当用户凝视画面上的所设置点时，从该用户获取的特征矢量。接着，将这两个数据集用于近似从特征矢量至画面位置的凝视映射函数。
在基于3D模型的方法中，结合选定的眼睛模型使用所提取眼睛特征，来估计眼睛的光学轴。该轴确定眼睛在空间中的角状位置，并且可以结合用户视轴的已知发散性来使用，以估计用户在看空间中的什么地方。
对于将眼睛凝视跟踪信息用作控制工具来说，有许多缺点。例如，这种缺点可以包括：眼睛的视觉系统与大脑中的所得图像之间的直觉链接；相对于移动手动交互装置的眼睛移动速度(即，用户通常在移动手动装置之前看着该手动装置的希望目的地)；以及眼睛凝视跟踪技术可以被严重伤残人士使用的可能性(仅举几个例子)。
用于眼睛凝视跟踪系统的许多其它应用例如可以包括：深入眼睛移动与感知和/或认知过程之间的连接的心理和生理研究；驾驶员意识分析；深入广告和网站布局的有效性的研究；以及凝视偶然显示(仅举几个例子)。
典型地讲，已知许多现有凝视跟踪技术采用操作如下的系统，其中，分析所提供的图像数据以寻找眼睛，对所找到的眼睛进行特定特征提取，以及使用该特征来估计画面上的凝视点。然而，这些系统通常采用多个照明源和一个或更多个成像系统，以便确定用户的POG。这些系统趋于包含同轴和离轴照明源两者，利用图像差分方法来检测和跟踪场景中的眼睛。根据这个情况，来自照明源的瞳孔中心和多角膜反射(还已知为Purkinje图像)被提取为眼睛特征，并且用于确定画面上用户的POG。
发明内容
在一个方面，提供了一种用于执行眼睛凝视跟踪的方法，该方法包括以下步骤：针对单个同轴成像装置最优化场景的照明；在最优化的照明下，利用所述单个同轴成像装置获取图像；以及处理所获取的图像，以执行凝视估计。
在其它方面，提供了被配置成执行所述方法的计算机可读介质和系统。
附图说明
下面，参照其中附图，仅通过示例的方式对实施方式进行描述：
图1是其中将凝视跟踪系统并入用于跟踪用户的凝视的电子装置中的环境的示意图；
图2例示了同轴配备电子装置的示例；
图3例示了同轴和离轴配备电子装置的示例；
图4是针对凝视跟踪系统的配置的示例；
图5图像中的眼睛的示意性例示图；
图6是例示针对凝视跟踪系统的配置的示例的框图；
图7A是例示动态照明过程的应用的状态图；
图7B是例示动态照明与场景中的多个用户的应用的状态图；
图8是例示用于寻找第二瞳孔的过程的示意图；
图9是例示用于理想化瞳孔的过程的示意图；
图10是例示用于理想化瞳孔的另一过程的示意图；
图11是例示可以在动态照明过程中执行的示例计算机可执行操作的流程图；
图12是例示用于同轴眼睛候选检测的处理的示例的流程图；
图13例示了利用理想化照明参数在同轴眼睛候选检测处理内应用的同轴阈值化的效果；
图14例示了用于例示同轴眼睛候选检测的处理的另一示例的流程图；
图15例示了同轴图像的示例；
图16例示了向图15的同轴图像应用图像梯度量值；
图17例示了向图15的同轴图像应用阈值化；
图18是例示可以在眼睛候选过滤过程中执行的示例计算机可执行操作的流程图；
图19例示了通过凝视跟踪系统利用瞳孔-闪光(glint)矢量和被用于标准化所例示矢量的距离度量来照明的眼睛；
图20例示了通过凝视跟踪系统利用瞳孔-闪光矢量和被用于标准化所例示矢量的异色边缘(limbus)距离度量来照明的眼睛；
图21是例示可以在凝视确定过程中执行的示例计算机可执行操作的流程图；以及
图22是例示可以在示例实现中通过凝视跟踪系统执行的示例计算机可执行操作的流程图。
具体实施方式
应当清楚，为简化和清楚地例示起见，在认为合适的情况下，附图标记可以在图之间重复，以指示对应或类似部件。另外，阐述了许多具体细节，以便提供对在此描述的示例的详尽理解。然而，本领域普通技术人员应当明白，在此描述的示例可以在不需要这些具体细节的情况下来实践。在其它情况下，公知方法、过程以及组件未加以详细描述，以使不混淆在此描述的示例。而且，该描述不被视为限制如在此描述的示例的范围。
应当清楚，在此使用的示例和对应图表仅出于例示性目的。在不脱离在此表达的原理的情况下，可以使用不同的配置和术语。例如，在不脱离这些原理的情况下，可以利用不同连接来添加、删除、修改或者排列组件和模块。
已经发现，大部分现存的基于红外线的眼睛跟踪系统需要同轴和离轴照明源两者，以便可靠跟踪用户的瞳孔。下文中说明的方法和算法描述了这样的系统，其用于具有包括同轴照明源的单个同轴传感器的眼睛凝视跟踪器。已经认识到，用于提供仅具有单个传感器的眼睛跟踪系统的能力考虑到创建这样一种眼睛跟踪系统模块，即，其尺寸可以制作成容纳在宽泛种类的电子装置内，特别是手持式或个人电子装置。例如，在此描述的系统可以被设置成，以和标准膝上型电脑网络摄像机(webcam)或便携式装置摄像机类似的形状因子来容纳，其可以在膝上型电脑或多媒体装置中以常规方式接口化，作为直觉附加人机接口。可以清楚，虽然在此描述的示例仅按同轴配置来例示，但所述原理可以等同地应用至同轴和离轴眼睛凝视跟踪器，以改进它们的可靠性，并且降低误报(false positive)检出率。
提供了这样的一种系统，其被配置用于感测和跟踪眼睛凝视特征，并且使用由其获取的信息来估计凝视点。这种系统在利用单个同轴传感器来获取眼睛凝视数据的配置中特别有利。
下面提供了一种系统和要通过这种系统来实现的计算机可执行指令和操作，其用于执行如下面更详细讨论的动态照明主体眼睛、同轴候选检测技术、同轴候选过滤处理，以及同轴凝视确定技术。如下更详细描述的，该同轴眼睛候选过滤和同轴眼睛候选检测技术在此可以被通称为眼睛检测和跟踪。同轴凝视确定技术在此还可以被称为使用来自图像的提取特征以估计画面上的凝视的方法。该动态照明可以被视为修改所使用的装置的参数来执行眼睛跟踪，以实现用于凝视跟踪的可接受图像质量的并行处理或技术。可以清楚，在此描述的技术可以并入到任何合适的眼睛凝视跟踪系统。特别地讲，该动态照明和眼睛候选过滤算法可以独立地模块化，并且在任何眼睛凝视跟踪系统中使用以提高可靠性，并且潜在地增加这样的用户范围，在该用户范围下凝视跟踪将可行和/或具有功能性。
在此描述的系统和方法提供了各种优点。例如，在此描述的系统和方法可以被采用以缩减尺寸、增加模块化以及增加这样的用户百分比，在该用户百分比下凝视跟踪可行。
已经发现，通过允许可靠眼睛跟踪装置在具有单个共轴照明源的单个摄像机上起作用，压缩了硬件装置的尺寸化约束到针对摄像机本身的尺寸化约束。这是因为与离轴照明的尺寸化需求相比，包含共轴照明源通常最小，其在物理上受针对照明源在功能方面不共轴的需求距离所约束。
而且，已经发现，模块化方面的显著增加(即，用于模块化的能力)可以因深度计算方法独立于所使用的特定步骤而实现。例如，一旦在设计中选择了摄像机模块，在此描述的系统可以按和与标准网络摄像机连接类似的方式来连接。当与离轴配置相比时，这特别有利，该离轴配置需要：要在照明源与摄像机模块之间使用的更复杂的设置和连接(例如，用于同步化等)。例如，因为距离度量经由三角测量来实现，所以离轴照明源的距离通常限制了眼睛凝视跟踪器可以起作用的范围。可以注意到，对于利用两个摄像机的眼睛跟踪系统来说，也发现了该问题，因为两个摄像机系统使用摄像机之间的距离，来三角测量用户距该系统的距离。
下面的技术可以有利地使能够增加眼睛参数方面的可变性的量，并由此，可应用于更大的用户基础。在此描述的动态照明技术使得眼睛凝视系统能够扫描更完整范围的可准许照明设置，以便寻找用户，而已经发现以前的系统具有固定范围，由此限制了潜在的用户基础。还发现，在此描述的系统可以适于通过应用眼睛候选过滤算法准确地除去瞳孔状对象，来处理其它用户情况，如用户正佩戴眼镜的情况。
下面，转至附图，图1例示了其中将同轴凝视跟踪系统10并入电子装置12中的凝视跟踪环境8(即，其中执行凝视跟踪的任何环境)。在图1所示示例中，该凝视跟踪系统10跟踪用户18的一只或多只眼睛16的凝视14，该凝视14指向电子装置12的至少一个组件(例如，显示屏)。该凝视跟踪系统10包括具有视野(FOV)20的一个或更多个成像组件(例如，下面所述)，该视野考虑到对用户18的眼睛16进行成像。
图2例示了图2所示的同轴配备电子装置12的外部前视图。当与图3所示的同轴和离轴配备电子装置12'相比时，缩减复杂性是明显的。如图2所示，同轴凝视跟踪系统10包括成像装置22，其提供照明和用于获取FOV 20内的图像的至少一个透镜部件(未示出)。图3所示同轴和离轴配备电子装置12'可以包括在此描述的同轴凝视跟踪系统10(具有图3所示的成像装置22)，并且包括附加离轴成像装置24(位于图3中的同轴装置22侧面的两个装置24a、24b)，和处于成像装置22、24之间的同步组件26。可以清楚的是，同轴凝视跟踪系统10能够并入更小装置中，而不需要针对离轴组件的附加分离。而且，如果不消除，则在很大程度上最小化组件的同步需要。
图4示出了针对同轴凝视跟踪系统10的配置的示例，其包括同轴成像装置22和处理模块30。处理模块30通常可以表示用于执行在此描述的各种技术、处理、方法以及算法(可互换地使用的术语)的任一个或更多个组件、模块、编程指令集等。处理模块30联接至成像装置22以接收所获取图像，并且提供用于控制使用如下面更详细描述的成像装置22的指令和/或数据。同轴成像装置22包括：成像模块34(例如，摄像机)和一个或更多个照明源32(例如，围绕摄像机的一系列红外LED)。同轴凝视跟踪系统10还包括用于与电子装置12连接的通信总线或其它连接部40，以例如向电子装置12上的应用或处理提供眼睛凝视作为输入。
成像装置22、24获取考虑到检测用户眼睛的图像。图5是可以在共轴或者同轴照明下成像的眼睛的示例。在图5中，该眼睛包括：瞳孔50、虹膜52、闪光54、巩膜56、以及周围皮肤60。
下面，转至图6，示出了针对凝视跟踪系统10的配置的示例。在图6所示的构造中，示出了各种功能框联接至成像装置22的处理模块30。成像装置22获取同轴图像，其被提供给图像预处理框72，用于针对该同轴图像执行图像增强技术。这可以包括修改原始图像以准许更容易的眼睛检测和跟踪、或者眼睛特征提取的任何方法。其示例可以包括图像的去噪声、去模糊、对比度增强、以及边缘增强。该预处理生成被提供给眼睛检测和跟踪阶段的修改图像，其中，在所修改图像上执行眼睛候选检测74，以确定眼睛候选，并且在眼睛候选上执行眼睛候选过滤76，以确定“所找到”的眼睛。将所找到的眼睛提供给眼睛特征提取框78，以确定眼睛特征，其被提供给凝视估计框80，以生成凝视点输出，例如，提供给电子装置12中的应用或处理。如图6所示，并行地，动态照明控制器70可以用于获取来自成像装置22的动态照明参数，和来自眼睛特征提取框78的眼睛特征强度特征，以生成新动态照明参数，以便以正在进行为基础来精炼照明过程(例如，实现最优化或理想照明)。
在下面的讨论和示例中，术语“斑点(blob)”可以参照数字图像的具有公共特性的区域来使用，使得该区域被视为独特对象。该数字图像可以通过根据预定度量来分析并过滤，以使转换成二进制图像(即，具有范围为两个值的像素的图像)。在这些情况下，提取二进制斑点。还可以清楚的是，在下面的讨论中，当讨论同轴装置时，成像系统和单个共轴照明源的任何组合都可应用，而且，图4所示示例仅用于例示性目的。例如，单个照明源可以包括诸如LED这样的更小照明源的任何组合，以创建单个均匀照明源，或者单个大光源。
动态照明
下面，参照图7A和图7B，对可以通过动态照明控制器70执行的动态照明处理的示例进行描述。该动态照明处理可以与自动增益控制系统类似地，经由系统10中的反馈控制回路起作用，以确保该信号处于可接受照明范围内。在这个示例中，动态照明处理作为输入时间步长t处的一个或更多个信号幅度指示符，和一个或更多个照明变化参数，并且确定更新照明参数，以便改进时间步长(t+1)处的信号幅度。在该示例中，用于动态照明处理的信号幅度指示符是用户眼睛的强度特征，而且同样可以视为眼睛特征强度参数。因为一个或更多个用户并不总是包含在场景内，所以还可以将多状态系统设置成考虑如图7B所示的情况。
动态照明控制器70的目的是修改有效场景照明，以使用户的眼睛处于最优化或“理想”照明。通过最优化场景照明，动态照明控制器70允许凝视跟踪系统10准确地作用于大范围用户，因为在用户瞳孔的后向反射性方面存在大量变化，而且具有固定摄像机参数通常导致其它凝视跟踪系统不准确地作用于一部分人口。
出于以下讨论的目的，可以阐明下列术语：
信号幅度指示符：这可以表示信号的任何强度指示符，如图像分段的平均强度。处于描述动态照明系统的目的，将提取眼睛特征的强度分布用作幅度指示符。该系统假定希望理想照明与指定信号幅度指示符的值之间的关系。作为示例，动态照明系统可以将用户的所找到的瞳孔的平均强度用作其信号幅度指示符，尝试驱动它们尽可能接近该强度范围的一半。
照明变化参数：这可以表示可用于同轴装置的、允许修改在指定时间步长t期间通过摄像机存储的光的量的任何参数。由此，照明变化参数可以涉及控制在指定时间步长t期间通过同轴照明源输出的照明的量的参数，或者控制通过摄像机传感器存储的照明的量的参数。前者的示例可以是传递至LED照明源的电流的量，后者的示例可以是成像系统的快门速度持续时间。
眼睛特征亮度/强度：当引用特定眼睛特征时，可互换地使用术语亮度和强度，以通过成像系统表示所述特征的所测量强度。作为示例，从同轴装置获取的同轴图像可以包含处于平均强度200的用户瞳孔(如存储在8位无符号灰度级图像中)。由此，在该图像中，用户眼睛的平均瞳孔亮度或瞳孔强度为200。应注意到，根据平均强度，意味着平均像素值被描绘为属于用户瞳孔。
同轴/共轴照明：共轴照明源指示源相距成像系统的光学轴的距离足够小，向该系统返回的反射光基本上平行于光学系统的轴。
理想照明：在此的定义指用户的眼睛特征可容易彼此区分的照明状态。特别地，理想照明可以被视为这样的照明设置，即，希望的眼睛特征被足够照明，以使它们可以通过计算机视觉系统来提取，并且在场景中可容易与其它误报区分。为清楚起见，尽管下面的讨论涉及仅同轴凝视跟踪系统10，但是动态照明的原理可以等同地应用至不同配置和不同照明标准。
同轴理想照明：指用户瞳孔容易与其虹膜和角膜闪光区分的照明状态。这允许瞳孔容易与场景中的其它对象分割出，同样易于提取用于凝视跟踪的其它眼睛特征(如角膜闪光，和异色边缘边界)。该理想照明概念是根据用户的巩膜、皮肤、瞳孔、瞳孔闪光以及虹膜的反射特性差异得出的。针对在同轴照明下的所有用户，从最低至最高的反射级通常为：虹膜52<巩膜56～皮肤60～瞳孔50<角膜闪光54(其中，～指示接近，而<指示小于，参见图5)。可以注意到，尽管每一个用户的瞳孔反射特性可能非常不同，但瞳孔反射率与虹膜反射率之间的差异通常在大多数情况下足够大，如果不是所有情况，则在此描述的反射率方面的关系应当适用。
一般来说，用于使得用户眼睛处于同轴理想照明的方法可以描述如下：设置装置照明特性，以使用户的瞳孔处于与摄像机传感器的范围中点相对应的值。例如，对于提供8位数字图像(0-255)的摄像机传感器，可以修改系统的照明设置，以使瞳孔始终处于值128。在这个示例中，通过这样做，系统10可以旨在实现以下目的：
a)瞳孔未曝光过度，而且同样地，可以容易地与角膜闪光和诸如眼镜眩光的遮挡物(其最终成为图像中的过饱和斑点)区别；
b)瞳孔未曝光不足，而且同样地，用于凝视跟踪的关注眼睛特征(如角膜闪光和异色边缘边界)被足够照明，以使可以在场景中区别；以及
c)作为最少反射面特性的虹膜粗略地处于图像范围的最低1/4处内，并由此可容易区别。
在一个示例中，在此描述的动态照明处理的实现可以视为输入场景的平均瞳孔强度，视为信号幅度参数，以及当前摄像机参数，其在所述原型中使用快门速度和增益。可以注意到，与修改照明源或修改场景照明的其它方法相对，在此描述的处理可以将摄像机参数用作照明变化参数。该处理的目的因此可以是修改有效场景照明，以使接近“理想”条件，而且同样地，可以经由摄像机强度参数和照明源的任何组合来实现。为清楚和简洁起见，动态照明处理可以利用被用作摄像机增益和摄像机快门持续时间的照明变化参数来描述。如稍早所述，动态照明系统可以由任何1至n个照明变化参数构成。由此，应当简单想象仅由摄像机快门持续时间或增益构成的这种定义系统。
还可以注意到，在此描述的动态照明算法可以使用用户的瞳孔强度特征，作为系统10的信号指示符参数。假定眼睛的不同特征的已知反射特性，任何数量的其它特征可以被用作该系统10的指示符参数。然而，由于所提出的系统的性质、容易提取所述参数、以及所描述的“理想”照明状态，因而，该特征在所述实施方式中使用。
图7A例示了利用具有三种状态的状态图90的动态照明处理。每一种状态都采取瞳孔用于分析，并且确定是否修改摄像机强度参数。该示例假定了系统10仅希望在任何指定时间点跟踪场景中的一个用户。状态图90由此可以被修改成用于当多个用户处于场景中时跟踪特定用户的配置，如图7B中所示。
搜索瞳孔
在动态照明处理的初始状态下，可以假定没有发现瞳孔。为了在94处定位瞳孔，动态照明控制器70循环不同摄像机参数设置，直到找到瞳孔为止。在一个示例中，动态照明控制器70循环完整摄像机快门持续时间范围两次，按每一次循环切换摄像机增益在其范围的33％与66％之间。可以将许多不同的快门持续时间和增益组合存储在环形缓冲器中并循环。还可以创建所找到瞳孔强度的队列。按找到瞳孔的每一个迭代，将瞳孔亮度添加到该队列中。该动态照明处理循环该环形缓冲器，每次将摄像机快门持续时间改变成新设置，直到该队列为环形缓冲器的尺寸为止，或者找不到瞳孔并且该队列不为空；即，瞳孔已经在先前测试的快门持续时间下找到。在这点上，该处理检查搜索最接近理想瞳孔亮度的瞳孔亮度的队列，因此设置快门持续时间，并且移动至图7A所示“寻找其它瞳孔”状态92。
通过执行上述操作，动态照明处理旨在选择针对该场景的最佳快门持续时间。
寻找其它瞳孔
在寻找其它瞳孔状态92中，目的是定位用户的其它瞳孔，同时避免丢失当前瞳孔的轨迹。为了这样做，动态照明处理可以逐步增高和降低摄像机的线性增益范围，直到找到第二瞳孔为止，如图8中所描绘。图8中的点(a)和(b)描绘这样的情况，即，寻找要处于希望瞳孔强度范围边缘的瞳孔，并因此执行用于沿其它方向搜索的切换，以避免丢失该瞳孔。在点(c)，找到第二瞳孔，并因此改变该状态。
随着确定预先设置的增益步长，动态照明处理可以在摄像机中间增益值开始，并且继续逐步增高增益范围，直到其达到上限为止，接着，返回至中间增益值，并且逐步降低增益范围，直到其达到下限为止。动态照明控制器70继续这样做，直到找到第二瞳孔为止，在该点，处理转变至“理想化瞳孔”状态96，如图7A所示。
可以注意到，如果动态照明控制器70在任何点丢失第一瞳孔，则处理可以返回至搜索瞳孔状态94。还可以注意到，如果场景相当易变，则可以实现锯齿功能(与在达到该范围的顶端和低端之后立即返回至该范围的中点相对)。而且，该动态照明处理可以被设置成，一旦其达到了增益范围的极限值，就增加或减少快门持续时间，以确保其已经循环了所找到的瞳孔的接受照明的整个范围。
为了确定第一瞳孔未从该搜索中丢失，如果瞳孔的亮度处于设置的极限值之外，则可以暂停向上或向下运动步进。例如，所使用的极限值可以包括由下述瞳孔候选过滤处理所使用的“中心瞳孔亮度”标准的子范围。同样地，通过逐步增高或降低，动态照明处理可以确保其不会造成过滤处理将实际瞳孔视为误报，并且排除它。通过这样做，可以查明，系统10仍准确地在该场景中仅以一个瞳孔起作用，并由此更鲁棒。
理想化瞳孔
在理想化瞳孔状态96中，已经找到两个瞳孔，并且该状态下的目的是，保持或移动瞳孔强度值尽可能接近理想瞳孔亮度，以保持该系统处于理想状态下，同时确保两个瞳孔保持“看得见”并且被始终如一地跟踪。
在此使用的处理可以比较每一个瞳孔的亮度，并且确定哪一个距理想瞳孔亮度最远。接着，动态照明控制器70确定为移动摄像机增益和/或快门所需的方向，以便使瞳孔更接近理想。为了禁止丢失另一瞳孔，该动态照明控制器可以被设置成，检查另一瞳孔处于所确定的可接受瞳孔范围内，例如，在上述寻找其它瞳孔状态92中描述的同一范围。如果是这样，则动态照明控制器70按增益步长大小增加或减少摄像机增益。否则，其保持当前摄像机强度参数。
图9和图10中例示了理想化瞳孔状态96。在图9中，瞳孔2比瞳孔1距理想瞳孔亮度更远，因此，确定整个设置需要移动的方向，以便使其更接近理想亮度。因为瞳孔1仍处于可接受瞳孔亮度范围内，所以允许该运动。类似的是，在图10中，瞳孔1的亮度距理想最远，因此，基于该亮度来确定方向。然而，因为瞳孔2处于可接受瞳孔亮度范围之外，所以不需要执行摄像机强度改变。
如上所述，图7A所述单用户状态图可以被修改成解释场景中的多个用户。图7B描述了类似的状态图，其中，“搜索瞳孔状态”被替换以“连续扫描瞳孔”状态。与单用户情况下的初始状态类似，存储所找到的瞳孔，并且它们的强度和在场景中的位置包含在类似存储容器中。然而，可与原始状态区分的是，该状态不需要切换至“寻找其它瞳孔”状态，直到其接收到用于跟踪希望用户的位置的外部信号位置为止。该外部信号可以包括与希望用户的位置相对应的画面坐标，如从外部用户位置系统获取的。一旦接收到该信号，就确定针对该画面点的最接近瞳孔，而如果处于接受距离阈值内，则系统切换至“寻找其它瞳孔”状态。另外，在任何点，系统都可以接收外部信号以切换所跟踪的用户。在这种情况下，系统返回至其初始状态。
应注意到，所述多用户状态图仍一次仅跟踪单个用户，但准许经由外部信号选择跟踪哪个用户。对此的理由是：除非用户的反射率特性类似，否则具有一个可修改照明源的动态照明系统10只能够一次跟踪一个用户。然而，如果凝视跟踪装置准许对场景的多个分区段的分离有效照明切换(例如，经由一组复杂的照明源，或者关注区段摄像机参数切换)，则这可以容易地扩展至跟踪多个用户。在这种情况下，系统将包括该场景的n个分区段，每一个都具有它们自己的1至m个照明变化参数。由此，所述单用户状态图可以在每一个分区段中实现，允许在该场景的每一个分区段内进行单用户跟踪。另选的是，图7B所述的状态图还可以针对每一个分区段实现。这种系统将包括n个外部控制信号，并且准许该场景的每分区段多个用户。
参照图11，通过动态照明控制器70执行的动态照明处理可以描述如下。在200，动态照明控制器70在未找到眼睛的同时循环遍历动态照明参数范围，并且在202确定是否找到眼睛。如果找到了眼睛，则动态照明控制器70可以可选地在204遍历动态照明参数范围完成单次通过(one pass)(如图11中虚线所示)，存储针对每一个可获眼睛的眼睛特征强度。接着，在206，动态照明控制器70确定该场景中是存在单个用户还是多个用户。如果场景中存在单个用户，则在208，动态照明控制器70针对理想照明选择最佳接近可获用户眼睛的动态照明参数，或者如果跳过步骤204，则直接进行至步骤212。如果在场景中期望多个用户，则在210，动态照明控制器70根据针对关注用户的外部指示符，基于所找到的眼睛的距离度量来确定要使用的眼睛。
一旦正跟踪用户的眼睛，则在212，动态照明控制器70动态修改照明参数，使得用户眼睛仍保持尽可能接近理想照明。在该示例中，用于保持理想照明附近的眼睛的度量是眼睛特征强度。
可以注意到，在此描述的示例流程图不包含与寻找或重新寻找一个或多个丢失眼睛相关联的步骤，如在至少一些示例中所提供的。尽管在希望跟踪两只眼睛时这将导致更鲁棒的跟踪经历，但已经发现其不是该系统所需要的。例如，集中于跟踪单只眼睛而非成对眼睛的凝视跟踪系统没有关注于完善该双眼睛。
同轴眼睛检测技术
由用于检测用户眼睛的基于红外线的眼睛凝视跟踪器所使用的常用技术涉及通过首先差分化同轴(亮)和离轴(暗)图像，而根据其余场景来阈值化瞳孔50。因为瞳孔50在同轴图像中因角膜的向后反射特性而明亮，而在其它地方黑暗，所以所得差分图像应当理想上只包含瞳孔。接着，将该图像按可靠等级阈值化，生成包含瞳孔的二进制图像。然而，已经发现，实际上，诸如因在用户运动期间的差分化而造成的噪声这样的附加问题，和示出和瞳孔相同特性的对象，趋于增加可以成为针对需要过滤的场景的显著量的误报。单独使用离轴照明的其它系统趋于执行计算上相对昂贵的、基于外观的方法，其从场景提取并确定眼睛，如模板匹配或多Haar级联分类器。
为寻求解决这些问题，图6所示眼睛候选检测74可以被设置成有益于该原理(theorem)，在同轴理想照明条件下，用户虹膜52的反射特性显著低于同轴情况下其脸部其余部分及其瞳孔50的反射特性，其研究已经表明是一种可靠的测试装置。还发现，有关人类皮肤、人类虹膜以及人类瞳孔视网膜的反射特性的研究支持这些假定。
上述原理暗示了在理想照明下，用户的瞳孔50可以容易地从该图像提取。即，利用用户眼睛的瞳孔与虹膜52之间的对比度在该场景中会最高的知识，可以直接进行二进制化该图像，以提取这些对象。接着，仅需要分析并过滤这种图像中的斑点(例如，经由下述同轴眼睛候选过滤技术)，仅留下实际瞳孔50。所使用的确定的阈值应当使得在理想照明下，可以因此阈值化任何用户。可以注意到，在这个示例中，该技术取决于上述方面，即：a)输入图像处于同轴理想照明条件下，并且b)可以正确地过滤该二进制斑点，生成所选择的实际瞳孔。这特别重要，因为二进制图像可以包含大量噪声，其中，包含用户脸部表情方面，而且潜在地包含场景中的其它噪声。
二进制化该图像以提供二进制斑点涉及阈值化原始图像或者该原始图像的修改表述。利用该系统实现这种过程的优点在于，所关注对象(眼睛)因瞳孔50与虹膜52之间的强对比度而容易与该场景中的其它对象区分。尽管可以采取许多不同的方法来得到该先验知识，但下面描述了用于创建二进制图像的两个示例。可以注意到，出于例示性目的，仅提供这些示例来例证所提供的先验知识的有利效果，而不应被视为在于此描述的原理内是穷尽的。
图12例示了眼睛候选检测74的一个示例。在300，获取预处理图像表情，在302将该图像阈值化，以生成二进制图像。接着，在304，处理该二进制图像，以提取二进制斑点，并且在306，将这些二进制斑点排序为瞳孔候选。图12所示的方法可以在图像场景主要对应于用户脸部时应用，而且照明约束不是特定关注。在这种情况下，系统100可以尝试按接近虹膜52的强度值来阈值化该图像。通过这样做，皮肤60和瞳孔50应当相对于虹膜52来分段，因而断定，皮肤60和瞳孔50将分离。是否这样分段包括巩膜54可以是无关紧要的。已经发现，按摄像机传感器的照明范围的底部1/4阈值化可以是在这种考虑下提取瞳孔50的可靠方法。
图13例示了在理想照明下，随着在眼睛候选检测内进行同轴阈值化来应用图12所示处理的示例，其中，两个示例性二进制图像是该阈值化的潜在结果，无论巩膜56是否与该脸部链接。在该示例中，最终结果将获取与实际瞳孔50和该脸部的整个或部分相对应的二进制斑点，其将在稍后状态滤出。
下面，转至图14，示出了用于眼睛候选检测74的处理的另一示例。在320，获取预处理图像(例如，图15所示的图像350)，并且将该图像用于在322计算梯度量值，并在324计算梯度取向。计算梯度量值生成如图16所示的梯度量值图像(图像360)，其在326经历梯度阈值化，以获取二进制图像，例如，如图17所示(图像370)。接着，在328，处理该二进制图像，以提取二进制斑点，其与梯度取向一起使用，以在330排序梯度候选。
图14所示的处理包括分析输入图像的图像梯度，和确定针对其的合适阈值。该处理考虑不完整的照明因素，其中，场景中的附加照明源可能使得上面的简单阈值化难于应用。在这种因素下，不能够保证用户的瞳孔能够达到该场景中的所述理想照明。而且，用户的虹膜不能处于希望强度范围内，局部化照明使其比希望更亮。然而，可以根据场景的先验知识假定，给出人类视网膜的向后反射特性，瞳孔应当是该场景中的最亮对象之一。另外，可以假设虹膜52具有局部最小强度。由此，可以希望该梯度量值在瞳孔-虹膜边界是该场景中的最亮量值之一。
可以注意到，上面的假定在该系统的照明源相对于场景中的其它照明源可忽略时不应用。作为示例，如果同轴装置22在大白天使用，而且射中装置22的有效日光照明显著高于该装置的照明源32的照明，则该假定很可能不应用。
为了在326可靠地二进制化梯度量值图像，系统10可以分析梯度量值直方图，搜索将二进制化图像的上百分比P_threshold的阈值，其中：
P_threshold＝百分比(眼睛)+百分比(希望高对比度对象)
由此，可以创建二进制化图像，其包含与场景边缘的上P_threshold百分比相对应的梯度量值二进制斑点。对于所述应用来说，与眼睛相对应的梯度信号的比例和与其它希望高对比度对象相对应的梯度信号的比例两者，应当使用这两者的最大可能尺寸和量。
作为示例，针对其中仅一个用户的眼睛按指定深度范围来跟踪的应用，并且该场景仅包括用户的脸部，系统10可以计算瞳孔的最大希望尺寸(给定人类瞳孔尺寸的统计学变化和希望用户位于的操作范围)。针对理想二进制化，可以添加一设置比例，对应于其它希望高对比度对象(如眼镜眩光)，和因此的阈值。
同轴眼睛候选过滤算法
为了确保准确地跟踪眼睛，系统10被设置成，选择其中可能有相当量噪声的二进制图像中的眼睛。下面，转至图18，可以采用两步处理来从二进制图像中过滤眼睛。在400，基于被确定成最佳地描述眼睛的一组标准来过滤所有眼睛候选，并且在410，针对“最合适”双眼来分析剩余眼睛候选。
眼睛候选过滤
被用于过滤大部分眼睛候选的方法可以基于用于创建可靠特征的机器学习方法，例如，考虑到大量简单特征度量趋于混和以提供可靠且鲁棒的特征。所述每一个特征都设置有一指定范围，在该范围内，将实际瞳孔视为以可接受方式位于理想化同轴照明条件下。接着，针对所有特征分析每一个眼睛候选。如果该眼睛候选无法位于它们之一的范围内，则将其从候选列表中去除。另选的是，可以实现加权特征集，其中，合适的瞳孔候选是具有超过特定阈值的加权特定和的那些。
在所述系统中，下列特征可以被用于过滤瞳孔候选：
瞳孔圆度/圆形度(Circularity)：与瞳孔在眼睛中的位置无关，其圆度固定在特定范围内，其它对象通常落在其外。
瞳孔强度分布：在理想照明下，可以可靠地希望瞳孔的亮度值落在某一固定范围内。通过这样做，其可以容易地与诸如(其趋于具有非常高的亮度值)眼镜眩光的普通误报相区分。在这个示例中，系统10被设置成，考虑平均瞳孔强度、中心瞳孔强度(瞳孔的中心截面)以及瞳孔强度变量。
瞳孔面积：该度量允许容易滤出像简单噪声的小对象，和像用户脸部的大对象。
虹膜强度分布：作为外眼的具有最小反射特性的部分，希望该特征处于低边界区内。
梯度量值：与瞳孔和虹膜亮度度量有关，希望瞳孔-虹膜边界的梯度量值处于特定范围内。
梯度取向：尽管圆形度和圆度是有价值的度量，但系统10可以另外通过接受具有向内指向梯度取向的候选来确保可靠瞳孔候选。即，接受具有随着信号从虹膜向瞳孔移动而增加的信号强度的候选。
适配椭圆参数：考虑到所找到的二进制斑点仅对应于该对象的粗略估计，可以对所提供的数据进行分析，并且适配与瞳孔和/或虹膜椭圆相对应的椭圆。这与作为旋转至离开图像平面轴的某种程度的圆形对象的所希望的瞳孔和虹膜适配。由此，在传感器上成像的瞳孔和虹膜对象将对应于某一形式的椭圆。从而，圆度、圆形度以及强度分布还可以基于对象的椭圆估计来加以分析。
可以注意到，出于例示性目的，该示例仅分析属于用户眼睛的瞳孔和虹膜的特征。可以分析许多其它特征，如用户的巩膜、存在角膜闪光、以及将瞳孔候选连接至脸部的其它面部特征。另外，所有这些特征可以组合成基于共同外观的匹配方法，如模板匹配或Haar特征跟踪。瞳孔大小因其在场景中的位置、瞳孔反射率以及使用眼镜而相对于虹膜、眼睛大小的可变性使得这种分类者的训练和测试相对困难并且计算上昂贵。由此，在诸如本示例的情况中，可以优选的是，在所提供的范围内具有每一个特征的独立分析。
最合适双眼匹配
一旦去除了大多数斑点，对于最佳一对来说，该瞳孔候选被视为眼睛。如果仅存在一个瞳孔，则选择最高排序的瞳孔。在该示例中，寻找最佳瞳孔对，包括针对每一对比较所述瞳孔特征，尝试寻找最相似的一对眼睛候选。这还可以通过瞳孔候选的直方图匹配来增强。在这种示例中，成功的瞳孔对需要关联的直方图，以及类似的椭圆估计尺度和瞳孔强度分布。另外，获知瞳孔之间的瞳孔间距离范围，以及它们之间的潜在尺寸可变性还可以过滤误报。
同轴凝视估计技术
如上所述，在针对所找到的眼睛执行特征提取78之后，系统10使用特定眼睛特征来执行凝视估计80。
同轴标准化差匹配
映射那些估计系统的典型瞳孔中心角膜反射(PCCR)采取一个或更多个矢量其定义为瞳孔中心pc与角膜闪光gi之间的矢量，并且利用所述一个或更多个矢量，连同对应画面坐标si一起，创建凝视估计映射。这经由校准过程来执行，该校准过程采取已知的特征F和画面点si的对，并且执行数值拟合处理，以确定它们之间的函数映射的系数。由此，创建映射函数f(F)，其中，F是该组特征，而f是返回画面点Si的映射函数。尽管当用户在该场景中静止时是准确的，但已经发现当用户修改他或她的三维方位时，这些凝视映射通常显著偏离正确的凝视点。
为修正其，一种方法是，当两个角膜闪光54可获得时，利用这两个角膜闪光之间的距离度量dg来标准化所提供矢量如图19所示。由此，变为接着，其修正朝着和远离眼睛跟踪装置22的用户运动，其中，瞳孔-闪光矢量的量值在用户注视画面上的同一点Si时改变。图19描绘了在这种系统下照明的眼睛，连同所描述的矢量和距离度量。在于此所述并且在图21所示的示例中，因为同轴这种22仅创建有关每一只眼睛的单个角膜闪光，所以不执行利用该标准的标准化矢量。代替使用如图20所示的标准化矢量地，其中，dm是可以修正深度位移的距离度量。如图21所示，在500，确定瞳孔中心与角膜闪光之间的矢量，在502，确定距离度量，接着在504，利用在500和502获取的值生成标准化矢量。接着，在506，将该标准化矢量传递至函数映射f(F)，其在画面上输出估计的凝视点。
可以将各种距离度量用于标准化该矢量，包括：
异色边缘距离度量：利用该度量，使用瞳孔中心与虹膜/视网膜边界(异色边缘)之间的距离。可以使用用于提取异色边缘的各种方法，例如，用于经由虹膜识别来执行生物特征分析的那些。这还可以通过提取异色边缘plimbus上的一个点来简化，给出瞳孔椭圆和角膜闪光gi。可以假定，瞳孔椭圆和异色边缘椭圆在相对于成像它们的像平面的偏移角处，是公共平面上的同心圆。由此，形成在图像上的每一个椭圆的主轴合理接近每一个圆的半径。从而，这两个半径之间的关系可以通过计算与瞳孔中心pc相交的任何线上的两个相交点ipupil与ilimbus(分别来自瞳孔椭圆和异色边缘椭圆)之间的关系来选择。因此，给出plimbus和瞳孔椭圆，提取对应交点ipupil，并且确定比例关系c，据此，虹膜半径riris大于瞳孔半径rpupil。最后，计算与虹膜直径相对应的距离度量dm，采取瞳孔椭圆主轴apupil(根据非旋转椭圆方程)并且将其乘以所述比例关系c：dm＝c*apupil。
瞳孔间距离度量：因为在瞳孔间距离方面有着丰富的人口变化知识，所以可以找到其作为合适的度量。该度量采取可以修正其中用户的头部姿势因侧转运动而不平行于摄像机的情况的模型，而且在该示例中，涉及测量用户瞳孔之间的距离，以确定距摄像机的距离。修正头部姿势可以利用可以检测的其它可靠面部特征(如用户的鼻子)来解决。
基于图像聚焦的距离度量：这里，该距离度量dm基于场景中的特定对象的模糊变化来估计。在这种情况下，选择瞳孔/虹膜边界，但可以选择图像中的其它边界(例如，另一只眼睛或面部特定边界)。该度量可以经由距焦点的深度或者距散焦的深度来获取。在距焦点的深度下，恒定地切换该焦点参数，以使选定对象和对象边界被视为焦点对准，并且聚焦标准用于当该对象已经接近完美焦点时确定。在距散焦的深度下，对象的模糊直接在任何时间点分析。在两种情况下，返回标准用于估计对象距成像系统的深度。该深度可以被容易地用作针对所述标准化矢量的距离度量。
距平行系统的深度：还可以的是，深度估计可容易从结合所述系统使用的平行系统(如范围成像系统)获得。在这种情况下，使估计深度的复杂性为零。
在至少一个示例中，该系统10因此可以被设置成如图22所示地执行。在600，获取同轴图像，并且在602生成阈值图像。接着，在604，从该阈值图像提取轮廓和斑点，并且在606，过滤斑点用于瞳孔候选。并行地，在610，应用动态强度处理，并且在612，以进行中为基础，更新并利用摄像机强度参数，以实现如上所述的理想照明。在608，执行瞳孔跟踪，并且并行地，在610，应用动态强度处理，并且在612，以进行中为基础，更新并利用摄像机强度参数，以实现如上所述的理想照明。在613，提取角膜闪光和异色边缘半径。并且，在614，将所述标准化的特征矢量映射至该画面上的位置，并且在616，确定画面上的凝视。
应当清楚，在此例证的、执行指令的任何模块或组件可以包括或者以其它方式使用计算机可读介质，如存储介质、计算机存储介质，或者数据存储装置(可去除和/或不可去除)，举例来说，如磁盘、光盘，或磁带。计算机存储介质可以包括按任何方法或技术实现的、用于存储信息(如计算机可读指令、数据结构、程序模块，或其它数据)的易失性和非易失性、可去除和非可去除介质。计算机存储介质的示例包括：RAM、ROM、FE PROM、闪速存储器或其它存储器技术、CD-ROM、数字万用盘(DVD)或其它光学存储部、磁带盒、磁带、磁盘存储部或其它磁存储装置，或者可以用于存储希望信息和可以通过应用、模块或两者存取的任何其它介质。任何这种计算机存储介质都可以是系统10的一部分、系统10的任何组件或与系统10有关的组件等，或者可接入或可连接至其。在此描述的任何应用或模块可以利用可以通过这种计算机可读介质存储或者以其它方式保持的计算机可读/可执行指令来实现。
在此描述的流程图和示意图中的步骤或操作只是举例。不脱离上述原理的情况下，针对这些步骤或操作可以有许多变化。例如，所述步骤可以按不同次序执行，或者可以添加、删除，或修改步骤。
尽管上面的原理已经参照特定示例进行了描述，但如在所附权利要求书中所概述的，本领域技术人员将清楚其各种修改例。

Claims (34)

1.一种用于执行眼睛凝视跟踪的方法，该方法包括以下步骤：
在最优化场景的照明下，利用同轴成像装置来获取场景的单个图像；
处理所获取的单个图像，以检测用户的至少一只眼睛并执行凝视估计；
其中，最优化所述场景的照明的步骤包括以下步骤：
在照明控制器处，从所述同轴成像装置获取照明控制参数；
在所述照明控制器处，基于来自所述同轴成像装置的所述照明控制参数和当前眼睛特征参数来生成新照明控制参数；以及
通过所述照明控制器，在所述同轴成像装置的操作期间向所述同轴成像装置提供所述新照明控制参数以更新所述照明控制参数并且调整所述同轴成像装置的参数或照明源，以最优化所述场景的照明。
2.根据权利要求1所述的方法，所述方法还包括以下步骤：向应用输出凝视点。
3.根据权利要求1所述的方法，其中，最优化所述场景的照明的步骤包括以下步骤：利用通过成像传感器检测的照明，来修改由照明源输出的照明。
4.根据权利要求3所述的方法，其中，最优化所述场景的照明的步骤包括以下步骤中的至少一个：
修改成像传感器，以调制通过所述传感器接收的光的量；以及
修改通过所述成像传感器接收的信号。
5.根据权利要求1所述的方法，其中，最优化所述场景的照明的步骤包括以下步骤：
获取当前眼睛特征强度参数；
在生成所述新照明控制参数时利用所述当前眼睛特征强度参数。
6.根据权利要求5所述的方法，其中，生成所述新照明控制参数的步骤包括以下步骤：
针对一个或更多个照明控制参数循环遍历一值范围，以寻找一只或更多只眼睛；以及
当能够找到至少一只眼睛时，利用所述至少一只眼睛的当前眼睛特征强度参数修改所述一个或更多个照明控制参数以最优化所述场景的照明。
7.根据权利要求6所述的方法，所述方法还包括以下步骤：选择参数，以最优化针对所述眼睛的照明。
8.根据权利要求6所述的方法，所述方法还包括以下步骤：当在所述场景中检测到一个以上的用户时，基于所找到的眼睛的距离度量来确定所述至少一只眼睛中的要使用的眼睛。
9.根据权利要求6所述的方法，所述方法还包括以下步骤：遍历所述值范围应用单次通过，并且存储眼睛特征强度。
10.根据权利要求1所述的方法，其中，所述方法包括执行眼睛检测的步骤。
11.根据权利要求10所述的方法，其中，所述眼睛检测包括以下步骤：执行眼睛候选检测，并且使用一组一只或更多只眼睛候选来执行眼睛候选过滤。
12.根据权利要求11所述的方法，所述方法还包括以下步骤：使用一组一只或更多只所找到的眼睛来执行眼睛特征提取。
13.根据权利要求12所述的方法，其中，使用一组一个或更多个眼睛特征，来执行所述凝视估计。
14.根据权利要求11至13中的任一项所述的方法，其中，所述眼睛检测包括以下步骤：
a.针对所获取的图像执行图像预处理；
b.从二进制图像中提取一个或更多个二进制斑点；
c.利用所述二进制斑点对瞳孔候选进行排序；
d.提供一组一只或更多只所排序的眼睛候选；
e.基于眼睛特征强度来阈值化所获取的图像，以获取所述二进制图像；
f.从所获取的图像计算梯度取向图像和梯度量值图像；以及
g.基于眼睛特征强度之间的对比度，向所述梯度量值图像应用阈值化，以获取所述二进制图像。
15.根据权利要求11至13中的任一项所述的方法，其中，所述眼睛候选过滤的步骤包括以下步骤：
基于描述眼睛的至少一个标准来过滤眼睛候选；以及
针对最合适的双眼来分析剩余候选。
16.根据权利要求1至13中的任一项所述的方法，其中，所述凝视估计包括以下步骤：
针对所找到的眼睛，确定瞳孔中心与角膜闪光之间的矢量；
确定距离度量；
利用所述距离度量以及所述瞳孔中心与所述角膜闪光之间的所述矢量，来生成标准化矢量；以及
根据所述标准化矢量的函数映射来确定凝视点。
17.根据权利要求16所述的方法，其中，所述距离度量使用以下中的任一个或更多个：异色边缘直径或半径、姿势修正瞳孔距离、其它已知眼睛和面部特征边界、焦深或散焦度量、以及距平行系统的深度。
18.根据权利要求1至13中的任一项所述的方法，所述方法还包括以下步骤：针对所获取的图像执行图像预处理。
19.根据权利要求1至13中的任一项所述的方法，其中，所述同轴成像装置联接至电子装置，该电子装置被配置成在至少一个操作中利用眼睛跟踪。
20.一种包括处理模块的凝视跟踪系统，该处理模块被配置成执行根据权利要求1至19中的任一项所述的方法。
21.根据权利要求20所述的凝视跟踪系统，所述凝视跟踪系统还包括所述同轴成像装置。
22.根据权利要求20所述的凝视跟踪系统，所述凝视跟踪系统联接至电子装置。
23.根据权利要求22所述的凝视跟踪系统，其中，所述凝视跟踪系统与所述电子装置集成。
24.根据权利要求21所述的凝视跟踪系统，其中，所述同轴成像装置包括成像传感器和至少一个照明源。
25.根据权利要求24所述的凝视跟踪系统，其中，所述成像传感器是摄像机。
26.根据权利要求24所述的凝视跟踪系统，其中，所述至少一个照明源包括围绕所述成像传感器的照明源阵列。
27.根据权利要求20至26中的任一项所述的凝视跟踪系统，其中，所述处理模块包括联接至所述同轴成像装置的照明控制器。
28.一种执行用于眼睛凝视跟踪系统的眼睛检测的方法，该方法包括以下步骤：
接收在最优化场景的照明下利用同轴成像装置获取的单个图像，以提供针对所述单个图像的眼睛特征强度之间的对比度；以及
针对所获取的图像执行眼睛检测，
其中，最优化所述场景的照明的步骤包括以下步骤：
在照明控制器处，从所述同轴成像装置获取照明控制参数；
在所述照明控制器处，基于来自所述同轴成像装置的所述照明控制参数和当前眼睛特征参数来生成新照明控制参数；以及
通过所述照明控制器，在所述同轴成像装置的操作期间向所述同轴成像装置提供所述新照明控制参数以更新所述照明控制参数并且调整所述同轴成像装置的参数或照明源，以最优化所述场景的照明。
29.根据权利要求28所述的方法，其中，所述眼睛检测包括以下步骤：执行眼睛候选检测，并且使用一组一只或更多只眼睛候选来执行眼睛候选过滤。
30.根据权利要求29所述的方法，所述方法还包括以下步骤：使用一组一只或更多只所找到的眼睛，来执行眼睛特征提取。
31.根据权利要求30所述的方法，其中，使用一组一个或更多个眼睛特征，来执行凝视估计。
32.根据权利要求28至31中的任一项所述的方法，其中，所述眼睛检测包括以下步骤：
a.针对所获取的图像执行图像预处理；
b.从二进制图像中提取一个或更多个二进制斑点；
c.利用所述二进制斑点排序瞳孔候选；
d.提供一组一只或更多只所排序的眼睛候选；
e.基于眼睛特征强度来阈值化所获取的图像，以获得所述二进制图像；
f.从所获取的图像计算梯度取向图像和梯度量值图像；以及
g.基于眼睛特征强度之间的对比度，向所述梯度量值图像应用阈值化，以获得所述二进制图像。
33.根据权利要求29至31中的任一项所述的方法，其中，所述眼睛候选过滤的步骤包括以下步骤：
基于描述眼睛的至少一个标准来过滤眼睛候选；以及
针对最合适的双眼来分析剩余候选。
34.一种包括处理器和存储器的眼睛检测系统，所述存储器存储用于执行根据权利要求28至33中的任一项所述的方法的计算机可执行指令。
CN201480028893.9A 2013-03-18 2014-03-17 用于同轴眼睛凝视跟踪的系统和方法 Active CN105431078B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361802881P 2013-03-18 2013-03-18
US61/802,881 2013-03-18
PCT/CA2014/050282 WO2014146199A1 (en) 2013-03-18 2014-03-17 System and method for on-axis eye gaze tracking

Publications (2)

Publication Number Publication Date
CN105431078A CN105431078A (zh) 2016-03-23
CN105431078B true CN105431078B (zh) 2018-11-02

Family

ID=51579241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480028893.9A Active CN105431078B (zh) 2013-03-18 2014-03-17 用于同轴眼睛凝视跟踪的系统和方法

Country Status (6)

Country Link
US (1) US9733703B2 (zh)
EP (1) EP2975997B1 (zh)
JP (1) JP6577454B2 (zh)
CN (1) CN105431078B (zh)
CA (1) CA2882413C (zh)
WO (1) WO2014146199A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6504788B2 (ja) * 2014-11-12 2019-04-24 国立大学法人静岡大学 瞳孔検出用光源装置の制御方法
US10016130B2 (en) 2015-09-04 2018-07-10 University Of Massachusetts Eye tracker system and methods for detecting eye parameters
US10061383B1 (en) 2015-09-16 2018-08-28 Mirametrix Inc. Multi-feature gaze tracking system and method
JP7053469B2 (ja) 2015-12-31 2022-04-12 ミラメトリックス インコーポレイテッド 視線追跡のためのシステムおよび装置
US10162651B1 (en) * 2016-02-18 2018-12-25 Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Systems and methods for providing gaze-based notifications
US10715824B2 (en) * 2016-03-17 2020-07-14 Facebook Technologies, Llc System and method for data compressing optical sensor data prior to transferring to a host system
EP3465536A1 (en) 2016-05-27 2019-04-10 Jeff B. Pelz System and method for eye tracking
US20180005057A1 (en) * 2016-07-01 2018-01-04 Hyundai Motor Company Apparatus and method for capturing face image of decreased reflection on spectacles in vehicle
JP6751324B2 (ja) * 2016-09-14 2020-09-02 株式会社デンソーアイティーラボラトリ 虹彩検出装置、虹彩検出方法、およびプログラム
US20180081434A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Eye and Head Tracking
WO2018106220A1 (en) * 2016-12-06 2018-06-14 Vuelosophy Inc. Systems and methods for tracking motion and gesture of heads and eyes
JP7019700B2 (ja) 2016-12-21 2022-02-15 アキュセラ インコーポレイテッド 網膜の厚さを測定するための光干渉断層撮影（ｏｃｔ）システム
US10296786B2 (en) * 2017-02-15 2019-05-21 International Business Machines Corporation Detecting hand-eye coordination in real time by combining camera eye tracking and wearable sensing
US11647903B2 (en) * 2017-06-01 2023-05-16 University Of Washington Smartphone-based digital pupillometer
CN107357429B (zh) * 2017-07-10 2020-04-07 京东方科技集团股份有限公司 用于确定视线的方法、设备和计算机可读存储介质
JP7116978B2 (ja) * 2017-07-12 2022-08-12 国立大学法人静岡大学 画像特徴追跡方法、視線追跡方法及び注視点追跡方法
EP3453316B1 (en) * 2017-09-08 2022-02-23 Tobii AB Eye tracking using eyeball center position
EP4137038A1 (en) * 2017-09-11 2023-02-22 Tobii AB Reliability of gaze tracking data for left and right eye
WO2019116078A1 (en) * 2017-12-13 2019-06-20 Medical Diagnostech (Pty) Ltd System and method for obtaining a pupil response profile
EP3809948A4 (en) 2018-06-20 2022-03-16 Acucela Inc. MINIATURIZED MOBILE, LOW COST OPTICAL COHERENCE TOMOGRAPHY SYSTEM FOR HOME OPHTHALMIC APPLICATIONS
US11003244B2 (en) * 2018-08-27 2021-05-11 University Of Rochester System and method for real-time high-resolution eye-tracking
US20210319585A1 (en) * 2018-08-31 2021-10-14 Eyeware Tech Sa Method and system for gaze estimation
CN109725715B (zh) * 2018-11-16 2024-04-05 深圳惠智光电子科技有限公司 一种眼睛训练引导方法、电子设备及存储介质
IL264530B1 (en) * 2019-01-29 2024-03-01 Eyeway Vision Ltd Device for tracking eye movement and method therefor
CN110051319A (zh) * 2019-04-23 2019-07-26 七鑫易维(深圳)科技有限公司 眼球追踪传感器的调节方法、装置、设备及存储介质
US11263634B2 (en) * 2019-08-16 2022-03-01 Advanced New Technologies Co., Ltd. Payment method and device
US10996753B1 (en) * 2020-04-07 2021-05-04 Eyetech Digital Systems, Inc. Multi-mode eye-tracking with independently operable illuminators
US11921917B2 (en) 2020-04-07 2024-03-05 Eyetech Digital Systems, Inc. Compact eye-tracking camera systems and methods
US11662810B2 (en) * 2020-06-05 2023-05-30 Magic Leap, Inc. Enhanced eye tracking techniques based on neural network analysis of images
CA3188255A1 (en) 2020-08-14 2022-02-17 Ryo Kubota System and method for optical coherence tomography a-scan decurving
EP4233004A1 (en) 2020-10-23 2023-08-30 Eyeware Tech SA Automated calibration method of a system comprising an external eye tracking device and a computing device
EP4027220A1 (en) 2021-01-08 2022-07-13 Eyeware Tech SA Method for calibrating an eye-tracking device
EP4113251A1 (en) 2021-06-30 2023-01-04 Eyeware Tech SA Calibration method of a system comprising an eye tracking device and a computing device comprising one or multiple screens
EP4113983A1 (en) 2021-06-30 2023-01-04 Eyeware Tech SA Method for gaze tracking calibration with a video conference system
EP4113982A1 (en) 2021-06-30 2023-01-04 Eyeware Tech SA Method for sensing and communicating visual focus of attention in a video conference
US11861916B2 (en) * 2021-10-05 2024-01-02 Yazaki Corporation Driver alertness monitoring system
US20230393656A1 (en) * 2022-06-02 2023-12-07 Alcon Inc. Eye tracker with hardware filtering and software sorting

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5231674A (en) * 1989-06-09 1993-07-27 Lc Technologies, Inc. Eye tracking method and apparatus
US6134339A (en) * 1998-09-17 2000-10-17 Eastman Kodak Company Method and apparatus for determining the position of eyes and for correcting eye-defects in a captured frame
US6634749B1 (en) * 1998-11-02 2003-10-21 Leica Microsystems (Schweiz) Ag Eye tracking system
US7362885B2 (en) * 2004-04-20 2008-04-22 Delphi Technologies, Inc. Object tracking and eye state identification method
CN101951828A (zh) * 2008-05-12 2011-01-19 丰田自动车株式会社 驾驶员成像装置以及驾驶员成像方法
US8077914B1 (en) * 2006-08-07 2011-12-13 Arkady Kaplan Optical tracking apparatus using six degrees of freedom

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3804496A (en) 1972-12-11 1974-04-16 Stanford Research Inst Two dimensional eye tracker and method for tracking an eye
US4950069A (en) 1988-11-04 1990-08-21 University Of Virginia Eye movement detector with improved calibration and speed
US8292433B2 (en) 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7762665B2 (en) 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
EP1691670B1 (en) 2003-11-14 2014-07-16 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
JP2006023949A (ja) * 2004-07-07 2006-01-26 Canon Inc 画像処理装置及び画像処理方法
US7922670B2 (en) 2005-02-24 2011-04-12 Warren Jones System and method for quantifying and mapping visual salience
WO2007092512A2 (en) 2006-02-07 2007-08-16 Attention Technologies, Inc. Driver drowsiness and distraction monitor
US9606621B2 (en) 2006-07-28 2017-03-28 Philips Lighting Holding B.V. Gaze interaction for information display of gazed items
JP5028073B2 (ja) * 2006-11-29 2012-09-19 株式会社ニデック 角膜手術装置
JP4780088B2 (ja) * 2007-11-09 2011-09-28 アイシン精機株式会社 顔画像撮像装置、顔画像撮像方法、及びそのプログラム
US8348429B2 (en) * 2008-03-27 2013-01-08 Doheny Eye Institute Optical coherence tomography device, method, and system
EP2238889B1 (en) 2009-04-01 2011-10-12 Tobii Technology AB Adaptive camera and illuminator eyetracker
EP2309307B1 (en) 2009-10-08 2020-12-09 Tobii Technology AB Eye tracking using a GPU
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5231674A (en) * 1989-06-09 1993-07-27 Lc Technologies, Inc. Eye tracking method and apparatus
US6134339A (en) * 1998-09-17 2000-10-17 Eastman Kodak Company Method and apparatus for determining the position of eyes and for correcting eye-defects in a captured frame
US6634749B1 (en) * 1998-11-02 2003-10-21 Leica Microsystems (Schweiz) Ag Eye tracking system
US7362885B2 (en) * 2004-04-20 2008-04-22 Delphi Technologies, Inc. Object tracking and eye state identification method
US8077914B1 (en) * 2006-08-07 2011-12-13 Arkady Kaplan Optical tracking apparatus using six degrees of freedom
CN101951828A (zh) * 2008-05-12 2011-01-19 丰田自动车株式会社 驾驶员成像装置以及驾驶员成像方法

Also Published As

Publication number Publication date
US9733703B2 (en) 2017-08-15
EP2975997A1 (en) 2016-01-27
CA2882413A1 (en) 2014-09-25
WO2014146199A1 (en) 2014-09-25
CN105431078A (zh) 2016-03-23
CA2882413C (en) 2016-10-25
JP2016512765A (ja) 2016-05-09
JP6577454B2 (ja) 2019-09-18
EP2975997B1 (en) 2023-07-12
EP2975997A4 (en) 2016-12-14
US20150160726A1 (en) 2015-06-11

Similar Documents

Publication Publication Date Title
CN105431078B (zh) 用于同轴眼睛凝视跟踪的系统和方法
CN106774863B (zh) 一种基于瞳孔特征实现视线追踪的方法
US10521683B2 (en) Glare reduction
US8477996B2 (en) Method and device for finding and tracking pairs of eyes
CN107771051B (zh) 眼睛追踪系统以及检测优势眼的方法
JP6930223B2 (ja) 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法
JP4783018B2 (ja) 眼及びその凝視方向を検知し、追跡する方法と装置
CN104123536B (zh) 用于图像分析的系统和方法
US6539100B1 (en) Method and apparatus for associating pupils with subjects
Eivazi et al. Improving real-time CNN-based pupil detection through domain-specific data augmentation
KR20140125713A (ko) 카메라 어레이에 기반하여 시선을 추적하는 방법 및 장치
CN109684915B (zh) 瞳孔跟踪图像处理方法
US20180174309A1 (en) Eye Motion Detection Method, Program, Program Storage Medium, and Eye Motion Detection Device
EP3158921A1 (en) Line of sight detection system and method
JP2000137792A (ja) 眼部検出装置
CN108292359A (zh) 眼睛特征识别
JP2004192552A (ja) 開閉眼判定装置
JP2005348832A (ja) 実時間瞳孔位置検出システム
Savaş Real-time detection and tracking of human eyes in video sequences
Kim et al. Eye detection for gaze tracker with near infrared illuminator
Bäck Neural network gaze tracking using web camera
Nur et al. Analysis of eye closure duration based on the height of iris
CN109522868B (zh) 一种检测眨眼的方法和装置
Smirnov Hand Tracking for Mobile Virtual Reality
Periketi Gaze estimation using sclera and iris extraction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant