CN109690553A - 执行眼睛注视跟踪的系统和方法 - Google Patents

执行眼睛注视跟踪的系统和方法 Download PDF

Info

Publication number
CN109690553A
CN109690553A CN201780041015.4A CN201780041015A CN109690553A CN 109690553 A CN109690553 A CN 109690553A CN 201780041015 A CN201780041015 A CN 201780041015A CN 109690553 A CN109690553 A CN 109690553A
Authority
CN
China
Prior art keywords
eye
eyes
reflection
dimensional position
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780041015.4A
Other languages
English (en)
Inventor
塞巴斯蒂安·罗格奥克斯
蒂莫西·詹姆斯·亨利·爱德华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seeing Machines Ltd
Original Assignee
Seeing Machines Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2016902546A external-priority patent/AU2016902546A0/en
Application filed by Seeing Machines Ltd filed Critical Seeing Machines Ltd
Publication of CN109690553A publication Critical patent/CN109690553A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本文描述了一种执行眼睛注视跟踪的系统和方法。该方法包括：从一个或多个成像设备捕捉对象的面部的时间间隔图像序列，对象的面部包括对象的一只或两只眼睛；处理图像以检测图像中出现的镜面反射；将检测到的镜面反射表征为角膜反射和非角膜反射；在检测到至少一个角膜反射时，基于至少一个角膜反射和至少一个参考眼睛特征的相对位置执行第一眼睛注视跟踪程序；在检测到无角膜反射时，根据对象的头部姿势的估计对对象的一只或两只眼睛执行第二眼睛注视跟踪程序，以及从第一或第二眼睛注视跟踪程序输出一只或两只眼睛的眼睛注视向量。

Description

执行眼睛注视跟踪的系统和方法
技术领域
本发明涉及眼睛注视跟踪。特别地，本发明涉及一种根据不同的眼睛跟踪程序计算对象的眼睛注视向量的混合方法，用于如车辆驾驶员睡意和注意力监控系统的应用。虽然本文将特别参考该应用描述一些实施例，但是应当理解的是，本发明不限于该使用领域，并且可适用于更广泛的环境。
背景技术
贯穿说明书的背景技术的任何论述决不应被视为承认这样的技术被广泛知晓或形成本领域中的公知常识的部分。
眼睛注视跟踪在包括运动训练、认知和神经学研究、营销研究和车辆驾驶员注意力监控系统的各种应用中是重要的测量。最常见的眼睛注视跟踪方法是使用基于视频的眼睛跟踪系统远程地执行，其中一个或多个相机捕捉被一个或多个光源照明的对象的一只或两只眼睛的图像，并且在捕捉的图像上执行图像处理以得到眼睛位置和注视方向。
在一种基于视频的技术中，眼睛注视方向是通过检测光源的角膜反射(称为“闪烁”)的位置结合检测图像中的瞳孔位置来计算的。闪烁(也被称为“第一浦肯野图像”)是照明眼睛的光源的虚拟图像，并且由角膜的前表面的反射产生。角膜的光学特性意味着它至少部分地反射红外和近红外波长，如凸面镜一样操作。使用相机和光源的位置的知识，可以将这些检测到的点投影到眼球的几何模型上，从而得到眼睛注视方向的估计，如果可以计算出两只眼睛的注视向量，可选地得到注视点的估计。然而，当不存在闪烁时(例如当对象看向远离相机的位置或者眯眼看时)，或难以识别闪烁时，这种技术可能失效或变得不准确。
在另一种基于视频的技术中，瞳孔位置可以与对象的头部的姿势的估计相结合，从而得出眼睛注视方向。转让给Seeing Machines Pty Ltd的、发明人为Edwards等人的、标题为“Facial Image Processing System”的美国专利7,043,056(以下简称“Edwards等”)公开了这种注视跟踪技术。通过从捕捉的图像提取面部特征点并将这些点拟合到人类头部的三维模型而获得头部姿势估计。然而，该技术对估计的头部姿势的准确性(包括模型中的近似头部大小)非常敏感，当估计的头部姿势稍有错误时，该技术变得非常不准确。
转让给微软公司的、发明人为Yahav的、标题为“3D Gaze Tracker”的美国专利申请公开2012/0147328(以下简称“Yahav”)涉及一种基于三维(3D)闪烁检测的注视跟踪系统，该系统考虑头部方位以提高准确度。这种技术需要传统的二维数码相机和三维相机。由于对闪烁的依赖，在其中闪烁不存在或难以识别的相对常见情况下，该系统仍然会崩溃。
因此，发明人发现了对更强壮的眼睛注视追踪技术的渴望，这种技术可以在不同的操作条件下有效地操作。
发明内容
根据本发明的第一方面，提供了一种计算对象的眼睛注视向量的方法，该方法包括：
a)从一个或多个成像设备捕捉对象的面部的时间间隔图像序列，对象的面部包括对象的一只或两只眼睛；
b)对图像进行处理以检测图像中存在的镜面反射，并确定任何所检测到的镜面反射的二维位置；
c)将检测到的镜面反射表征为角膜反射和非角膜反射；
d)在检测到至少一个角膜反射时，基于至少一个角膜反射和至少一个参考眼睛特征的相对位置执行第一眼睛注视跟踪程序；
e)在检测到无角膜反射时，确定对象的一个或多个参考面部特征的三维位置，并基于来自一个或多个检测到的参考面部特征的位置的对象的头部姿势的估计来对对象的一只或两只眼睛执行第二眼睛注视跟踪程序；
f)从第一或第二眼睛注视跟踪程序输出一只或两只眼睛的眼睛注视向量。
优选地，至少一个参考眼睛特征包括瞳孔中心、虹膜中心、瞳孔/虹膜边界或虹膜/巩膜边界中的一个或多个。优选地，对象的参考面部特征包括对象的瞳孔中心、虹膜中心、瞳孔/虹膜边界或虹膜/巩膜边界、眼睑、眼角、嘴角、鼻孔和耳朵。
在一个实施例中，表征检测到的镜面反射的步骤包括：监控序列中的镜面反射的二维位置，以及当两个或更多个时间间隔图像之间的镜面反射的位置变化小于或等于预定距离时，将检测到的镜面反射表征为角膜反射。
在一个实施例中，第一眼睛注视跟踪程序包括：
确定至少一个参考眼睛特征的二维位置；
将角膜反射和至少一个参考眼睛特征的二维位置拟合到具有已知角膜中心的三维角膜模型，以确定角膜反射和虹膜中心的三维位置；以及
从角膜反射和至少一个参考眼睛特征的三维位置确定一只或两只眼睛的眼睛注视向量。
在一个实施例中，第二眼睛注视跟踪程序包括：
将一个或多个参考面部特征的三维位置拟合到三维头部模型；
计算对象的头部姿势，对象的头部姿势包括对象的头部的三维位置和三维方位；
确定对象的一只或两只眼睛的至少一个参考眼睛特征的二维位置；
将至少一个参考眼睛特征的二维位置拟合到具有三维头部模型中的已知眼睛中心的三维眼模型，以确定至少一个参考眼睛特征的三维位置；
从至少一个参考眼睛特征和眼睛中心的三维位置确定一只或两只眼睛的眼睛注视向量。
在一个实施例中，该方法包括从图像深度信息估计对象的头部大小并将其输入到三维头部模型的步骤。
在一个实施例中，一个或多个成像设备包括两个相机的立体系统，其中两个相机的每一个在预定的时间段内同步地捕捉图像。在另一个实施例中，一个或多个成像设备包括飞行时间相机。飞行时间相机优选地输出三维图像数据，二维位置数据直接从三维图像数据获得。在另一个实施例中，一个或多个成像设备包括能够估计图像深度的单个相机。
在一个实施例中，该方法包括初始相机校准步骤以校准一个或多个成像设备的位置和方位。
在一个实施例中，该方法包括初始眼睛校准步骤，以校准注视向量，以补偿对象的中央凹偏移和/或角膜半径。优选地，初始眼睛校准步骤包括：在对象观察相对于一个或多个成像设备具有已知三维位置的一个或多个参考点时，捕捉对象的面部的图像。优选地，初始眼睛校准使用多于五个参考点执行。
在一个实施例中，该方法包括基于一个或多个因素确定使用哪个眼睛注视跟踪程序的步骤。在一个实施例中，因素包括指示所检测到的反射是角膜反射的置信度的置信度值。在另一个实施例中，因素包括指示闪烁周围的区域具有眼睛的出现的置信度的置信度值。在另一个实施例中，因素包括指示头部姿势的置信度的置信度值。在又另一个实施例中，因素包括指示面部界标周围的区域具有面部的外观的置信度的置信度值。
根据本发明的第一方面，提供了一种用于计算对象的眼睛注视向量的系统，该系统包括：
一个或多个成像设备，用于捕捉对象的面部的时间间隔图像序列，对象的面部包括对象的一只或两只眼睛；以及
处理器，用于：
处理图像以检测图像中出现的镜面反射；
将检测到的镜面反射分为角膜反射和非角膜反射；
在检测到至少一个角膜反射时，确定至少一个角膜反射的二维位置以及对象的至少一个参考眼睛特征的二维位置，并基于至少一个角膜反射和至少一个参考眼睛特征的相对位置执行第一眼睛注视跟踪程序；
在检测到无角膜反射时，确定对象的一个或多个参考面部特征的三维位置，并基于来自一个或多个面部特征的位置的对象的头部姿势的估计来对对象的一只或两只眼睛执行第二眼睛注视跟踪程序；
从第一或第二眼睛注视跟踪程序输出一只或两只眼睛的眼睛注视向量。
附图说明
将参考附图仅示例性地描述本公开的优选实施例，其中：
图1是根据本发明第一实施例的眼睛注视跟踪系统的平面示意图；
图2是根据本发明第二实施例的眼睛注视跟踪系统的平面示意图；
图3是示出使用图1或图2的系统跟踪对象的注视的方法中的主要步骤的流程图；
图4是用于在图像序列中检测来自交替光源的角膜反射的处理的示意图；
图5是用于使用角膜反射的信息在三维中确定眼睛位置的几何结构的示意图；
图6是示出使用光源的角膜反射来确定眼睛位置和注视信息的第一注视跟踪程序中的主要步骤的流程图；
图7是示例性角膜模型及其用于计算眼睛注视向量的相关几何结构的示意图；
图8是示出使用头部姿势信息来确定眼睛位置和注视信息的第二注视跟踪程序中的主要步骤的流程图；以及
图9是使用图8的基于头部姿势的注视跟踪程序确定注视方向向量的几何结构的示意图。
具体实施方式
系统概述
本发明涉及在不同的条件下利用多种不同的眼睛注视跟踪程序以增加跟踪的鲁棒性、可靠性和准确性的眼睛注视跟踪系统。在本发明的一个实施例中，取决于图像中的角膜反射(“闪烁”)的检测而利用两种眼睛注视跟踪算法。
首先参考图1，示意性地示出用于计算对象102的眼睛注视向量的系统100。
系统100包括飞行时间相机104的形式的成像设备，飞行时间相机104用于捕捉包括对象的眼睛108和110的一只或两只的对象的面部106的时间间隔图像。飞行时间相机104在其视场内捕捉场景的三维图像。每个捕捉的图像被存储为表示三维的数据矩阵：X和Y维表示传统的横向图像平面，Z维表示场景中的物体在每个横向位置处的深度或范围。Z维数据是通过以已知的光速发射光脉冲并测量光被场景中的物体反射所花费的时间而获得的。离相机越近的物体反射光越快，因此反射光的“飞行时间”比更远物体反射的光的“飞行时间”短。通过将每个相机像素的飞行时间乘以光速，可以获得相机与场景中的物体之间的深度或范围的估计，准确度约1cm。举例来说，图1示出对象的鼻子、眼睛和耳朵的不同深度范围，如水平虚线所示。如果正确地校准，飞行时间相机可以使用单个光脉冲记录三维场景的三维数据。
虽然在系统100中只使用单个飞行时间相机，但应当理解的是，在可选实施例中，其他相机系统也可用于对场景进行三维成像。举例来说，图2示出利用两个传统的数码相机202和204(立体布置)以用它们的重叠视场对单个场景成像的可选注视跟踪系统200。通过对两个相机之间的对应像素进行适当的校准和识别，可以提取深度信息以对场景进行三维成像。在其他可选实施例中(未图示)，利用扫描范围相机或能够获取作为图像或者场景的至少子区域的场景的深度信息的单个相机。还应当理解的是，根据本发明的注视跟踪可以通过实现不同相机的组合的系统来执行。例如，由于飞行时间相机通常比传统的二维数字相机的分辨率低，一个实施例同时利用飞行时间相机和传统二维数字相机。相机系统的一般要求是能够获得深度信息。
系统100还包括发光二极管(LED)112和114的形式的两个光源，其用于在图像的捕捉期间选择性地照明对象102。LED 112和114优选地在可见光范围以外的红外或近红外波长范围内发射电磁辐射，以避免分散对象的注意力。然而，应当理解的是，可以使用在可见光或其他波长范围内操作的LED或其他类型的光源。图2中的系统200只包含单个红外LED206。
相机104、LED 112和114的时序和操作的控制由控制器116的形式的处理器来执行。取决于系统架构和应用，控制器116可以表示微处理器、个人电脑、膝上型电脑、平板电脑或智能手机。本领域技术人员将理解，控制器116可以通过具有高速图像处理能力的任何合适的处理硬件来实现。控制器116还包括或访问用于存储软件指令以及用于执行注视跟踪的算法的非暂时性存储器。下面将详细描述这些算法。
控制器116用于在图像捕捉的期间用来自LED 112和114中的一个或两个的光同步地照明对象102以提高图像质量，并产生有用的角膜反射，如下所述。系统100利用关于相机104对称配置的两个LED 112和114以从不同角度提供照明。这有利地允许在高眩光情况下操作系统，也有利于从对象的眼睛产生多个角膜反射。应当理解的是，在其他实施例中，根据本发明的注视跟踪系统仅包括单个LED(如图2的系统200中所示)或以不同空间配置定位的多于两个LED。
系统100适用于执行图3的流程图中所示的方法300的功能步骤，系统100的操作将参照该图进行描述。
首先，在步骤301，执行系统和眼睛校准程序，以校准系统并且也为特定对象校准眼睛跟踪。系统校准程序在安装后只需执行一次，但优选地定期执行，以便重新校准系统，以补偿位置漂移和其他误差。眼睛校准程序对对象的视线进行校准，因为每个对象具有不同的眼部轮廓。眼睛校准程序补偿对象特定的特征，如角膜大小和中央凹与光轴的偏移。至少每次跟踪新的对象时应执行眼睛校准程序。然而，如果系统利用面部识别，眼睛校准数据可以存储在数据库中，一旦识别出目标，数据就可以被加载。
系统校准程序包括确定参考系以及确定系统参数，例如相机104和LED 112、114之间的相对位置，多相机系统(如系统200)中的多个相机之间的位置和方位。系统校准还包括飞行时间相机的深度校准。这通常是通过将校准对象放置在待被成像用于校准的相机的视场中来执行的。校准对象是尺寸已知且准确性较高的对象。
在立体相机系统如系统200的情况下，首先需要通过确定相机相对于彼此或者参考点的相对位置和方位以计算相机的相关像素的射线交点来校准两个相机。此外，需要确定在一个立体图像中可见的每个表面点位于另一个立体图像中的何处。相机还必须定位，以便捕捉重叠的视场。场景的校准可以通过在待被成像的场景中放置具有预定义校准图案的对象来最初执行。在捕捉立体图像后，校准图案可用于识别相机的对应像素，也可用于识别模拟3D场景的其他参数，如相机之间的三维旋转和位移、焦距、畸变等。利用这些参数，可以在场景中计算出物体的三维坐标。
眼睛校准程序包括提示对象将他们的注视固定在相对于相机的已知位置的一个或多个点上。在一个示例中，对象可以专注于设置在不同角度位置处且在相机104捕捉对象的图像时在不同时间闪烁的一组参考LED。在另一个示例中，对象可以专注于显示屏如LCD监视器上的不同已知点。从已知注视点外推注视向量允许校准系统中的未知参数。
在良好的条件下，注视跟踪系统估计对象的两只眼睛的注视方向向量。通过确定注视射线在哪相交，可以推断出对象的注视点(POG)。可选地，如果已知对象正在观看平面(如计算机屏幕)，则POG可以被计算为注视射线与屏幕平面的交点。
校准完成后，在步骤302，系统的正常操作开始，通过相机104捕捉时间间隔图像序列。在捕捉的期间，对象的眼球被LED 112和114照明。连续帧的照明优选地由不同光源以交替方式提供。如图4所示，对于偶数图像帧，光源0(112)开，对于奇数图像帧，光源1(114)开。在使用多于两个光源的系统中，优选地，在每个帧，照明剖面随着光源的至少一个而变化。例如，在包含三个光源(L1、L2和L3)的系统中，时间序列中的连续图像帧可以使用下面的照明序列被照明：
帧1：L1+L2
帧2：L1+L3
帧3：L2+L3
帧4：L1+L2+L3
帧5：L1+L2...
这个排序由控制器116确定。照明的时序与图像帧在图像序列中的捕捉是同步的。一般优选的是，在时间序列的连续帧之间存在光照剖面的一些变化(不同的激励光源或激励光源的组合)，以便更好地区分镜面反射和噪声。
在步骤303，控制器116对捕捉的图像进行处理以检测图像中存在的镜面反射并确定任何检测到的镜面反射的二维位置。给定帧Fn、Fn+1和Fn+2(401-403)的三元组，提取一组二维闪烁Gn、Gn+1和Gn+2作为图像内像素的二维坐标。可以使用众所周知的计算机视觉方法(每个对于本领域技术人员是明显的)，如拉普拉斯算子的最大值来进行闪烁提取。这些闪烁或者对应于角膜反射，或者对应于图像中的任何其他镜面反射。取决于成像的环境和照明，图像中检测到的闪烁的数量可以从几个到几百个。在实现多闪烁检测模块的系统中，可以并行执行闪烁提取过程。由于图像中闪烁的大小较小，单独模块之间的像素重叠可以大大减少。
在步骤304，控制器116将检测到的镜面反射表征为角膜反射和非角膜反射(例如来自对象的眼镜的反射)。在一个实施例中，通过将运动模型应用于图像数据或位于对象的眼睛周围的图像数据的子集来进行表征。示例性运动模型是眼睛的匀速模型。这种模型将位置约束应用于跨不同图像帧观察到的闪烁。对位置的约束是基于：在帧之间的时间差内，闪烁只能移动预定距离，该预定距离等于恒定速度乘以时间差。另一个示例性运动模型是眼睛的加速模型，其基于眼睛的模型化的加速度而应用相似的位置约束。不服从所应用的模型的镜面反射被假设为非角膜反射。
理想地，最少三个图像帧用于恒定速度假设滤波，或四个帧用于恒定加速度滤波。这里描述的实施例涉及恒定速度模型，但是本领域技术人员将理解，可以使用到恒定加速度模型或其他运动模型的扩展。通过使捕捉的图像数据经历由控制器116运行的算法来应用模型。每个模型都应用与眼睛的典型运动相关的约束。在跟踪图像中的其他物体时，可以应用其他物体的相应运动模型。
需要考虑连续帧中的任何三重闪烁是否是相关的。在每组Gn、Gn+1和Gn+2只选择一个闪烁的情况下，这涉及到试图识别对应于相同角膜上三个连续角膜反射的三重态。第一拣选可以在这个阶段发生，以拒绝其中两个连续帧上的闪烁位置大于预定的阈值距离的三重态。例如，阈值距离可以基于通过角膜在三维空间中的最大速度得出的距离。假设已知角膜半径R(在人类中非常相似)，那么可以进行最小化处理以确定适合三重闪烁(来自3×二维位置的六个观察)的三维中最佳的角膜轨迹(六个自由度，使用恒定速度模型)。在使用图5所示的几何结构(例如麦夸特法)的这个阶段可以使用任何迭代优化过程，该几何结构将角膜500建模为位于球形眼球502内的球体，并从眼睛旋转中心504偏移。对于所示实施例，可以使用优化问题的特定快速解决方案。
从数学的角度来看，角膜500的轨迹可以从系统捕捉的二维闪烁位置的序列计算出来，如图5所示，其中基于以下考虑：
﹡具有已知固有投影参数θ的相机I。通常，该相机被建模为具有针孔孔径和沿定义的图像平面布置的传感器阵列。
﹡与相机轴对齐(X，Y平行于图像平面，Z与相机的光轴共线)并以相机的投影中心为中心的参考系F。
﹡位于相机参考系F中已知的三维位置L的红外LED。
﹡已知半径R的球形角膜，在图像序列中，其中心在参考系F中遵循轨迹C＝{C1,…,Cn}。
﹡运动模型Ci＝g(α,i)，其中α为描述轨迹C的运动参数(例如，恒定速度或恒定加速度)。
﹡随着被相机成像，与由红外照明器发出的光在角膜的表面的反射相对应的二维闪烁位置的序列G＝{G1,…,Gn}。
利用已知的球面镜的反射几何和相机的投影几何，存在已知函数其中为镜面反射Gi的理论位置。然后可以通过最小化误差函数来计算角膜轨迹的参数：
可以用众所周知的优化技术来求这个函数的最小值。一旦求出参数αmin，就可以使用已知的运动模型计算角膜的轨迹T。
注意，为了简化，假设角膜是已知半径为R的球体。然而，如上所述，该方法仍然适用于任何其他参数形状的角膜(如椭球体)，只要可以从角膜的已知位置(以及可选的方位)计算出闪烁的理论位置眼睛和角膜的许多不同几何模型可以被实现到注视跟踪算法中。可以在本发明中实现的示例模型被概述在Villanueva,A.,Cerrolaza,J.J.和Cabeza,R.,2008.Geometry Issues of Gaze Estimation.INTECH Open Access出版社(以下称为“Villaneuva等”)以及Hennessey,C.,Noureddin,B.和Lawrence,P.,2006年3月.A singlecamera eye-gaze tracking system with free head motion.In Proceedings of the2006 symposium on Eye tracking research&applications(87-94页).ACM(以下称为“Hennessey等”)。这些参考文献的内容是通过交叉引用的方式并入本文。尽管上述过程依赖于两个光源对角膜上的两个单独闪烁进行成像，但是利用图2的系统200中可以执行等效的过程，其中由单个LED 206产生的单个闪烁由相机202和204以在角膜上的两个角度进行成像。
上述拣选过程通常将候选闪烁的数量减少到大约三或四个。对于通过上述距离或轨迹评估的闪烁，然后可以根据其他预定的标准拒绝或接受三重闪烁。例如，可以对优化后的残差设置最大阈值(所观察到的闪烁的二维位置与从优化的三维角膜轨迹计算出的其优化的二维位置之间的误差)。还可以对优化的角膜轨迹设置其他阈值，比如跨多个图像帧的角膜的最小和最大深度或速度。
通过所有验收标准的三重态被认为是来自真实的角膜反射，并且因此已经计算出眼睛的二维位置和角膜的三维位置。在一个实施例中，然后可以使用另一个运动模型(如恒定速度或恒定加速度)评估两个连续的闪烁三重态为四重态，以进一步检查误报检测。
该方法检测具有与角膜的曲率相似的曲率的任何反射物体。在图像中存在噪声(大量镜面反射)时，有时也产生误报。在这种情况下，可以使用进一步的图像分析，如基于机器学习的分类器或基于外观的标准，来消除不希望的误报。有几类分类器可用于此任务。例如，可以使用支持向量机(SVM)或使用图像特征(例如梯度直方图(HOG))的随机森林分类器或使用原始图像像素值的卷积神经网络(CNN)。
最后，输出从角膜反射确定的眼睛位置。输出数据是相机参考系中角膜中心位置的三维坐标的形式或者图像中的二维投影的形式。这些坐标随后在下面描述的注视跟踪程序中使用，以将眼睛位置投射回图像或时间序列中的另一图像上。
步骤304表示将角膜反射表征为来自角膜的有用的闪烁和其他无用的镜面反射。在一些实施例中，可以将闪烁进一步表征为角膜或非角膜闪烁，以提高表征的准确性(以额外的计算机处理为代价)。例如，一旦检测到潜在的闪烁，可以启动“形状回归”算法，其试图找到闪烁周围的眼睛的轮廓，包括眼睑和角膜缘(虹膜边界)。输出可以是指示闪烁对应于角膜反射的置信度的置信度值。阈值置信度值(如0.7)可以触发是否将闪烁分为角膜闪烁或非角膜闪烁。
形状回归的几个示例是已知的，如监督下降法(SDM)或卷积神经网络(CNN)。如果闪烁位于角膜缘或眼睑外，则可视为误报。可以执行类似的形状回归算法以识别其他面部特征，从而估计面部界标周围的区域具有面部的外观的置信度。
在步骤305，如果一个或多个镜面反射在步骤304中被确定为角膜反射，那么控制进程到步骤306，在步骤306中，基于至少一个角膜反射和至少一个参考眼睛特征的相对位置来对对象的一只或两只眼睛执行第一眼睛注视跟踪程序(程序A)。眼睛注视跟踪程序A的主要步骤如图6所示。程序A的详细描述如下。
在步骤305，如果在步骤305确定没有来自角膜反射的镜面反射，那么控制进程到步骤307，在步骤307中，基于对对象的头部姿势的估计来对对象的一只或两只眼睛执行第二眼睛注视跟踪程序(程序B)。眼睛注视跟踪程序B的主要步骤如图8所示。程序B的详细描述如下。
最后，在步骤308，从所选的眼球注视跟踪程序输出一只或两只眼睛的眼睛注视向量。每个眼睛注视跟踪程序在预定时间段内对时间间隔图像序列进行。输出注视向量可以映射到对象的视场的图像上以图形化地示出对象的注视行为。视线跟踪系统的应用是车辆的驾驶员监控系统。视线跟踪系统可以与安装在车辆仪表板中或相对于车辆仪表板安装的驾驶员面对相机集成。确定的注视向量可以映射到共享驾驶员的视场的前向相机。注视行为可以作为驾驶员警觉和注意力分散的指标来发出警告。
眼睛注视跟踪程序A-使用角膜反射(“闪烁”)的检测
在眼睛注视跟踪程序A中，眼睛注视方向是通过检测光源的角膜反射的三维位置结合检测一个或多个参考眼睛特征(如瞳孔中心、虹膜中心、瞳孔/虹膜边界、虹膜/巩膜边界、眼睑或眼角)的二维位置来计算的。为了便于理解，将使用虹膜中心作为参考眼睛特征来提供以下描述。然而，应当理解的是，可以使用任何其他适当的参考眼睛特征来执行等效的方法。在一些实施例中，可以确定多于一个参考眼睛特征的位置以减少误差，代价是额外的处理资源。通常，虹膜边界比瞳孔边界更容易检测，因为它们的大小更大，因此像素覆盖更大。然而，虹膜经常被眼睑夹住，因此，在某些情况下，使用瞳孔边界来估计虹膜或瞳孔中心或其他参考眼睛特征是优选或有利的。
程序A的示例实施例方法600如图6所示。
首先，在步骤601，加载当前图像进行处理。方法600可以在存储在存储器中的一批缓冲图像上顺序地执行，或者可以随着相机104捕捉图像而逐图像地执行方法600。
作为步骤304中从其他镜面反射表征角膜反射(包括对角膜建模和确定角膜的三维位置)的前提，方法600的一些处理已经完成。然而，在镜面反射的表征更简单或不需要确定角膜反射的位置的实施例中，执行步骤602，其中可以在捕捉的图像中确定角膜反射的二维位置。虽然最初需要两个或更多个角膜反射用于校准，但在主动跟踪的期间，仅需要识别单个角膜反射，并与瞳孔或虹膜中心相结合。
接下来，在步骤603，在捕捉的图像中确定虹膜中心的二维位置。虹膜和瞳孔检测可以以技术领域中已知的多种方法进行，包括检测眼睛的已知特征以及基于形状识别或边缘检测而识别瞳孔。瞳孔或虹膜检测通常涉及在对虹膜/巩膜边界或瞳孔/虹膜边界的附近进行边缘检测以识别沿瞳孔或虹膜周长的点。然后可以通过假设圆形或椭圆形的瞳孔/瞳孔形状模型来外推虹膜/瞳孔中心。将瞳孔/瞳孔周长点拟合到形状模型(例如利用圆形霍夫变换)确定虹膜/瞳孔中心位置。其他已知的瞳孔和虹膜检测方法是已知的并且可以在本发明的范围内使用。圆形霍夫变换过程在Ioannou,D.,Huda,W.和Laine,A.F.,1999.Circlerecognition through a 2D Hough transform and radius histogramming.,Image andvision computing,17(1),15-26页中详细说明。
在步骤604，将角膜反射和瞳孔位置的二维位置拟合到具有已知的角膜中心和瞳孔位置的三维角膜模型，以确定角膜反射和瞳孔中心的三维位置。当表征步骤304使用角膜模型时，该模型可用于步骤604。但是，对于下面的描述，将使用Hennessey等描述的模型，如图7所再现。
图7示出简化的眼睛模型，其具有感兴趣的参数：r(角膜半径)，rd(角膜的中心与瞳孔的中心的距离)，和n(房水的折射率)，以及计算光轴(OA)向量L所需要的点pc和c。OA被定义为从角膜的中心c到瞳孔的中心pc的向量。POG p是OA与被观察的物体的交点。如果对象没有在看已知的平面如电脑显示器，这个POG可以被计算为两只眼睛的注视射线的交点。
OA不同于对象的视线(LOS)，后者是从中央凹(视网膜的高敏锐度部分)追踪经过瞳孔的中心最终到达真实POG的向量。中央凹的位置因人而异，可以位于离OA几度的位置。由于OA和LOS之间的差异而产生的估计的POG和真实POG之间的偏移对于每个对象是固定的，并通过最初执行的眼睛校准程序被补偿。
如上关于表征步骤304所描述的，为了确定角膜中心c，将从角膜的表面的两个闪烁的二维图像位置拟合到眼睛模型(即来自两个或更多个光源)。当光源在连续图像上以频闪模式被激活时，来自时间相邻图像的闪烁位置可以被组合。使用多个闪烁提供在相机的参考系中对三维角膜中心作三角测量。
已知角膜中心c的三维位置，可以通过从相机传感器到角膜的表面追踪瞳孔或虹膜边界的二维点(步骤603中确定的)以及应用如斯涅尔定律的模型约束而补偿经过房水的折射来外推虹膜/瞳孔中心的三维位置。可以使用复杂性更大或更小的模型，通过应用附加约束，每个模型的待被估计的参数更多或更少。
一旦已知虹膜/瞳孔中心pc和闪烁的三维位置，眼睛注视向量可以被计算为当前图像帧的pc和c之间的向量L。一只或两只眼睛的注视向量在步骤605被输出。对序列中的后续图像(或图像的选择子集)重复该过程。程序A可以在每个图像中检测到的一只或两只眼睛上同时且独立地执行。当图像中可以检测到两只眼镜的注视射线时，POG可以被估计为两个注视射线的交点。在没有检测到眼睛时，系统可以被配置为跳过该图像帧。
应当理解的是，利用闪烁位置的检测的其他已知注视跟踪程序可以等效地替代示例方法600而被使用。
眼睛注视跟踪程序B-使用3D头部姿势
在眼睛注视跟踪程序B中，使用首先估计对象的三维头部姿势然后从头部姿势估计眼睛注视方向的方法执行眼睛注视跟踪。Edwards等中概述了在立体相机系统中执行的相关方法。在描述本发明时，将遵循与Edwards等类似的过程。Edwards等的主题通过交叉引用的方式合并在此。
程序B的示例方法800如图8所示。
首先，在步骤801，加载当前图像用于处理。与方法600一样，方法800可以在存储在存储器中的一批缓冲图像上顺序地执行，或者可以随着相机104捕捉图像而逐图像地执行方法800。
在步骤802，图像被处理以识别参考面部特征(例如眼角，鼻孔，嘴角，耳朵或脸上的任何其他小的可识别的区域)并提取这些特征的三维位置。优选地通过将图像数据与存储的特征模板交叉关联来识别这些特征。存储的模板可以表示，例如，在关于相机的不同角度捕捉的眼睛的形状。模板可以是二维或三维数据集。为了改进处理，交叉关联过程可以被限制到图像中预期特征所在的区域。特征的期望位置可以从它们在过去图像中的位置得到。
优选地，可以在图像中识别出两只眼睛和一个或多个其他面部特征。在步骤803，一旦识别出合适数量的面部特征，面部特征的三维位置被拟合到头部的三维模型。头部模型由可变形以补偿个体的不同轮廓的网格结构组成。
特征通过如最小二乘、线性回归等的最佳拟合方法拟合或映射到头部模型。头部姿势被三维地确定为两组坐标的组合：旋转和平移(x,y,z)。计算出的最优头部姿势(由旋转和平移分量组成)是使用三维测量将头部模型最佳映射到面部特征的头部姿势。在一个实施例中，每个模板的关联强度用作最小二乘最小化过程中的权重。
通过最小化误差E，可以恢复头部模型的旋转R和平移T，误差E被定义为:
其中wi为第i个特征的置信度测量，xi为第i个特征的测量三维位置，mi为该特征在面部模型中的三维位置。
在Edwards等中，头部模型是从预定的人类头部平均大小构建的。由于人的头部大小可以以至多10％改变，这种近似可能导致头部姿势误差。在本发明中，飞行时间相机的使用允许获取对象的整个面部和头部轮廓的完整深度信息，从而更准确地确定对象的头部大小。在拟合过程中，可以将额外的深度信息馈入可变形头部模型以考虑该比例大小。
完成头姿势优化程序后，在步骤804输出当前最优头部姿势向量。
结合步骤803的头部姿势估计，在步骤805处对图像进行处理以确定对象的一只或两只眼睛的瞳孔或虹膜的二维位置。瞳孔/虹膜检测可以以与上述步骤603相似的方式进行。例如，通过沿瞳孔/虹膜周长识别点以及通过将周长拟合到圆形或椭圆形的瞳孔/虹膜形状模型拟合而外推瞳孔中心位置来确定瞳孔中心位置。
接下来，在步骤806，一只或两只眼睛的二维瞳孔位置被拟合到各自的三维眼睛模型。在一个实施例中，眼睛被建模为球形并且具有三维头部模型中的已知半径r和旋转中心e。从步骤805计算出的瞳孔位置p假设位于距旋转中心e距离r的球形眼睛的表面上。因此，使用步骤804中确定的头部姿势向量(包括三维位置和方位)来确定一只或两只眼睛的三维位置。通过将二维瞳孔位置拟合到眼睛模型以及应用模型约束，可以如下确定三维瞳孔位置。
首先通过利用以下关系式计算眼球中心(左或右)的三维位置e：
e＝Rem+T，
其中em为头部模型中的眼球中心的校准三维位置，R和T为从步骤804的头部姿势态恢复的头部的旋转和平移。
参考图9，一旦已经在图像中定位瞳孔的中心p，可以计算出从相机中心c位置指向实际虹膜/瞳孔中心s的方向向量d。然后通过向量es的方向给出注视方向。通过求解以下方程可以计算出3D坐标s：
由此，通过求解上述方程式，眼睛旋转中心e和瞳孔/虹膜中心s的三维位置是已知的，每只眼睛的注视方向向量es在步骤807输出。方法800可以在每只眼睛上同时且独立地执行。
使用头部姿势测量来确定每只眼睛的可见性。当两只眼睛均可见时，对两只眼睛执行方法800，并且眼睛注视方向可被计算为两只眼睛的平均方向。当只有一只眼睛可见时，只使用可见的眼睛计算注视方向。当没有眼睛可见时，通过三维头部姿势测量，可以将注视方向计算为垂直于对象的面部的平面的方向。
结论
本发明提供了一种混合眼睛跟踪系统和方法，其中基于因素(如所捕捉的图像中的角膜反射的存在)执行不同的眼睛跟踪程序。本发明提供了在各种光照和眼睛注视条件下追踪对象的眼睛的鲁棒的方法以及调整眼睛跟踪以适应特定要求(分辨率、光照等)的灵活性。
眼睛注视程序B不依赖于角膜反射，允许图像处理在较低的图像分辨率下进行(即通过对捕捉的图像进行欠采样或降低相机图像捕捉分辨率)。由于不需要角膜反射，程序B也可以在更宽松的光照条件下进行。因此，该系统可以以较低的LED功率或根本不需要LED的情况下操作。
在检测到角膜闪烁的情况下，从注视计算程序A和B获得信息，用于注视的更鲁棒估计。
解释
除非另有明确说明，如从以下论述显而易见的，应领会到，贯穿说明书利用诸如“处理”、“计算”、“运算”、“确定”、“分析”等术语的论述指的是将表示为物理(如电子)量的数据操纵和/或转换为被类似表示为物理量的其他数据的计算机或计算系统或类似电子计算设备的动作和/或处理。
以类似方式，术语“控制器”或“处理器”可以指处理例如来自寄存器和/或存储器的电子数据以将该电子数据转换为例如可存储在寄存器和/或存储器中的其他电子数据的任何设备或设备的部分。“计算机”或“计算机器”或“计算平台”可包括一个或多个处理器。
本文中描述的方法论在一个实施例中可由接受计算机可读(也被称为机器可读)代码的一个或多个处理器执行，计算机可读代码包含当被一个或多个处理器执行时执行本文中描述的方法中的至少一个的一组指令。包括能够(顺序地或以其他方式)执行指定将采取的动作的一组指令的任何处理器。因此，一个示例为包括一个或多个处理器的典型处理系统。每个处理器可包括CPU、图形处理单元以及可编程DSP单元中的一个或多个。处理系统还可包括具有主RAM和/或静态RAM和/或ROM的存储器子系统。总线子系统可被包括用于组件之间的通信。处理系统还可为具有通过网络耦接的处理器的分布式处理系统。如果处理系统需要显示器，此显示器可被包括，例如液晶显示器(LCD)或阴极射线管(CRT)显示器。如果需要手动数据输入，处理系统还包括输入设备，如诸如键盘的字母数字输入单元、诸如鼠标的指向控制设备等等的一个或多个。如本文中使用的术语“存储器单元”，若从上下文是清楚的且除非另外明确说明，也包括诸如硬盘驱动单元的存储系统。处理系统在一些配置中可包括声音输出设备以及网络接口设备。存储器子系统因此包括携带计算机可读代码(如，软件)的计算机可读载体介质，计算机可读代码包括当被一个或多个处理器执行时使得执行本文中描述的方法中的一个或多个的一组指令。注意的是，当方法包括若干元素(如若干步骤)时，并不暗示这些元素的顺序，除非特别说明。软件可驻留在硬盘中，或也可在其由计算机系统执行的期间完全或部分地驻留在RAM和/或处理器中。因此，存储器和处理器还构成携带计算机可读代码的计算机可读载体介质。
贯穿本说明书中提及的“一个实施例”、“一些实施例”或“实施例”意味着结合该实施例描述的具体特性、结构或特征被包括在本发明的至少一个实施例中。因此，在本说明书的各个位置出现的短语“在一个实施中”、“在一些实施例中”或“在实施例中”不一定全都是指同一个实施例。而且，在一个或多个实施例中可以以任何合适的方式组合特定特性、结构或特征，如对于本公开的技术领域中的普通技术人员来说是显而易见的。
如本文所使用的，除非另外规定，用来描述共同对象的顺序形容词“第一”、“第二”、“第三”等仅仅指示被指代的相似对象的不同实例，并且不旨在隐含所描述的对象必须在时间上、空间上、排序上、或以任意其他方式按照给定的顺序。
在本文中的以下权利要求书和说明书中，术语“包括”、“包含”或“其包括”中的任一个是意味着至少包括其之后的元素/特征但不排除其他的开放术语。因此，术语“包括”当被用在权利要求中时不应被理解为限于其后列出的构件或元素或步骤。例如，表示“设备包括A和B”的范围不应被限于设备仅由元素A和B构成。如本文中使用的术语“包含”或“其包含”或“那包含”中的任一个也是也意味着至少包含跟在该术语之后的元素/特征但不排除其他的开放术语。因此，“包含”与“包括”是同义的。
应被领会的是，在本公开的示例性实施例的上述描述中，出于流水线化本发明以及帮助理解各发明性方面中的一个或多个的目的，本公开的各种特征有时候被一起分组到单个实施例、其附图或描述中。然而，本公开的此方法不能被解释为反映权利要求书请求比每个权项中所清楚地引用的特征更多特征的发明。确切而言，如以下权项反映的，发明性方面在于少于单个前述公开的实施例的所有特征。因此，在具体实施例之后的权利要求书据此被清楚地引入此具体实施例中，其中每个权项独立地作为本公开的单独实施例。
此外，虽然本文中描述的一些实施例包含其它实施例中所包含的一些特征但不包含其所包含的其它特征，但是如本领域技术人员将理解的，不同实施例的特征的组合意欲在本发明的范围内，并形成不同的实施方式。例如，在所附权利要求书中，所要求保护的实施例的任何可以被任意组合使用。
在本文中提供的描述中，提出了大量具体细节。然而，应理解的是，可在没有这些具体细节的情况下实施本公开的实施例。在其他实例中，已知方法、结构和技术未被详细地示出以不模糊对本描述的理解。
类似地，需要注意，术语“耦合”，当用于权利要求书时，不应被解释为仅限制于直接连接。可使用术语“耦合”和“连接”连同其衍生物。应理解的是，这些术语并不旨在作为彼此的同义词。因此，表述“设备A与设备B相耦合”的范围不应被限制为其中设备A的输出直接连接至设备B的输入的设备或系统。这意味着A的输出与B的输入之间存在一条路径，其可以是包括其他设备或者装置的路径。“耦合”可意味着两个或更多个元素要么直接物理、电子或光接触要么两个或更多个元素并未彼此直接接触但仍彼此共同协作或交互。
因此，虽然已经描述了被认为是本公开的优选实施例，本领域的技术人员将意识到，可在不脱离本公开的精神的情况下对其做出其他或另外的修改，且其旨在主张所有的这样的改变和修改落在本公开的范围内。例如，以上给出的任何公式仅仅表示可使用的过程。可在框图中添加功能性或删除功能性，且可在功能块之间互换操作。在本公开的范围内所描述的方法中可以添加步骤或删除步骤。

Claims (21)

1.一种计算对象的眼睛注视向量的方法，所述方法包括：
a)从一个或多个成像设备捕捉对象的面部的时间间隔图像序列，对象的面部包括对象的一只或两只眼睛；
b)对图像进行处理以检测图像中存在的镜面反射，并确定任何检测到的镜面反射的二维位置；
c)将检测到的镜面反射表征为角膜反射和非角膜反射；
d)在检测到至少一个角膜反射时，基于至少一个角膜反射和至少一个参考眼睛特征的相对位置，执行第一眼睛注视跟踪程序；
e)在检测到无角膜反射时，确定对象的一个或多个参考面部特征的三维位置，并基于来自一个或多个检测到的参考面部特征的位置的对象的头部姿势的估计，来对对象的一只或两只眼睛执行第二眼睛注视跟踪程序；以及
f)从第一眼睛注视跟踪程序或第二眼睛注视跟踪程序输出一只或两只眼睛的眼睛注视向量。
2.根据权利要求1所述的方法，其中所述至少一个参考眼睛特征包括瞳孔中心、虹膜中心、瞳孔/虹膜边界或虹膜/巩膜边界中的一个或多个。
3.根据权利要求1或权利要求2所述的方法，其中对象的参考面部特征包括对象的瞳孔中心、虹膜中心、瞳孔/虹膜边界或虹膜/巩膜边界、眼睑、眼角、嘴角、鼻孔和耳朵。
4.根据前述权利要求中任一项所述的方法，其中表征检测到的镜面反射的步骤包括监控序列中的镜面反射的二维位置，并且当两个或更多个时间间隔图像之间的镜面反射的位置变化小于或等于预定距离时，将所检测到的镜面反射表征为角膜反射。
5.根据前述权利要求中任一项所述的方法，其中第一眼睛注视跟踪程序包括：
确定至少一个参考眼睛特征的二维位置；
将角膜反射和至少一个参考眼睛特征的二维位置拟合到具有已知角膜中心的三维角膜模型，以确定角膜反射和虹膜中心的三维位置；以及
从角膜反射和至少一个参考眼睛特征的三维位置确定一只或两只眼睛的眼睛注视向量。
6.根据前述权利要求中任一项所述的方法，其中第二眼睛注视跟踪程序包括：
将一个或多个参考面部特征的三维位置拟合到三维头部模型；
计算对象的头部姿势，所述对象的头部姿势包括对象的头部的三维位置和三维方位；
确定对象的一只或两只眼睛的至少一个参考眼睛特征的二维位置；
将至少一个参考眼睛特征的二维位置拟合到具有三维头部模型中的已知眼睛中心的三维眼睛模型，以确定至少一个参考眼睛特征的三维位置；
从至少一个参考眼睛特征和眼睛中心的三维位置确定一只或两只眼睛的眼睛注视向量。
7.根据权利要求6所述的方法，包括从图像深度信息估计对象的头部大小，并将对象的头部大小输入到三维头部模型的步骤。
8.根据前述权利要求中任一项所述的方法，其中一个或多个成像设备包括两个相机的立体系统，其中两个相机的每一个在预定的时间段内同步地捕捉图像。
9.根据权利要求1至7中任一项所述的方法，其中一个或多个成像设备包括飞行时间相机。
10.根据权利要求9所述的方法，其中飞行时间相机输出三维图像数据，并且从三维图像数据直接获得二维位置数据。
11.根据权利要求1至7中任一项所述的方法，其中一个或多个成像设备包括能够估计图像深度的单个相机。
12.根据前述权利要求中任一项所述的方法，包括初始相机校准步骤，以校准一个或多个成像设备的位置和方位。
13.根据权利要求5或权利要求6所述的方法，包括初始眼睛校准步骤，以校准注视向量，以补偿对象的中央凹偏移和/或角膜半径。
14.根据权利要求13所述的方法，其中初始眼睛校准步骤包括当对象正在观察相对于一个或多个成像设备具有已知三维位置的一个或多个参考点时，捕捉对象的面部的图像。
15.根据权利要求14所述的方法，其中使用多于五个参考点进行初始眼睛校准。
16.根据前述权利要求中任一项所述的方法，包括：基于一个或多个因素，确定使用哪个眼睛注视跟踪程序的步骤。
17.根据权利要求16所述的方法，其中所述因素包括指示所检测到的反射是角膜反射的置信度的置信度值。
18.根据权利要求16或权利要求17所述的方法，其中所述因素包括指示闪烁周围的区域具有眼睛的出现的置信度的置信度值。
19.根据权利要求16至18中任一项所述的方法，其中所述因素包括指示头部姿势的置信度的置信度值。
20.根据权利要求16至19中任一项所述的方法，其中所述因素包括指示面部界标周围的区域具有面部的外观的置信度的置信度值。
21.一种计算对象的眼睛注视向量的系统，所述系统包括：
一个或多个成像设备，用于捕捉对象的面部的时间间隔图像序列，对象的面部包括对象的一只或两只眼睛；以及
处理器，用于：
对图像进行处理以检测图像中的镜面反射；
将检测到的镜面反射表征为角膜反射和非角膜反射；
在检测到至少一个角膜反射时，确定至少一个角膜反射的二维位置以及对象的至少一个参考眼睛特征的二维位置，并基于至少一个角膜反射和至少一个参考眼睛特征的相对位置，执行第一眼睛注视跟踪程序；
在检测到无角膜反射时，确定对象的一个或多个参考面部特征的三维位置，并基于来自一个或多个面部特征的位置的对象的头部姿势的估计来对对象的一只或两只眼睛执行第二眼睛注视跟踪程序；以及
从第一眼睛注视跟踪程序或第二眼睛注视跟踪程序输出一只或两只眼睛的眼睛注视向量。
CN201780041015.4A 2016-06-29 2017-06-14 执行眼睛注视跟踪的系统和方法 Pending CN109690553A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2016902546 2016-06-29
AU2016902546A AU2016902546A0 (en) 2016-06-29 Systems and methods for performing eye gaze tracking
PCT/AU2017/050591 WO2018000020A1 (en) 2016-06-29 2017-06-14 Systems and methods for performing eye gaze tracking

Publications (1)

Publication Number Publication Date
CN109690553A true CN109690553A (zh) 2019-04-26

Family

ID=60784965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780041015.4A Pending CN109690553A (zh) 2016-06-29 2017-06-14 执行眼睛注视跟踪的系统和方法

Country Status (5)

Country Link
US (1) US10878237B2 (zh)
EP (1) EP3479293A4 (zh)
JP (1) JP2019519859A (zh)
CN (1) CN109690553A (zh)
WO (1) WO2018000020A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110191234A (zh) * 2019-06-21 2019-08-30 中山大学 一种基于注视点分析的智能终端解锁方法
CN110363133A (zh) * 2019-07-10 2019-10-22 广州市百果园信息技术有限公司 一种视线检测和视频处理的方法、装置、设备和存储介质
CN112558751A (zh) * 2019-09-25 2021-03-26 武汉市天蝎科技有限公司 一种智能眼镜基于mems和光波导镜片的视线追踪方法
WO2021098135A1 (zh) * 2019-11-21 2021-05-27 苏州思源科安信息技术有限公司 一种远距离大视场虹膜光学成像的装置及方法
CN112989914A (zh) * 2019-12-16 2021-06-18 辉达公司 具有自适应加权输入的注视确定机器学习系统
CN113111745A (zh) * 2021-03-30 2021-07-13 四川大学 基于openpose的产品关注度的眼动识别的方法
CN113158879A (zh) * 2021-04-19 2021-07-23 天津大学 基于匹配特征的三维注视点估计及三维眼动模型建立方法
CN114616598A (zh) * 2020-10-09 2022-06-10 谷歌有限责任公司 使用眼睛注视数据的文本布局解释
CN117508197A (zh) * 2023-12-26 2024-02-06 深圳市达辰威科技集团有限公司 驾驶员的疲劳状态检测方法、装置、电子设备及存储介质
CN117648037A (zh) * 2024-01-29 2024-03-05 北京未尔锐创科技有限公司 一种目标视线跟踪方法及系统

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2559977A (en) * 2017-02-22 2018-08-29 Fuel 3D Tech Limited Systems and methods for obtaining information about the face and eyes of a subject
JP6800091B2 (ja) * 2017-06-09 2020-12-16 株式会社豊田中央研究所 視線計測装置及びプログラム
EP3420887A1 (en) * 2017-06-30 2019-01-02 Essilor International Method for determining the position of the eye rotation center of the eye of a subject, and associated device
CN107357429B (zh) * 2017-07-10 2020-04-07 京东方科技集团股份有限公司 用于确定视线的方法、设备和计算机可读存储介质
EP3486834A1 (en) * 2017-11-16 2019-05-22 Smart Eye AB Detection of a pose of an eye
US10528802B2 (en) * 2018-01-09 2020-01-07 Futurewei Technologies, Inc. Head pose and distraction estimation
CA3087333A1 (en) * 2018-01-17 2019-07-25 Magic Leap, Inc. Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
KR20200108857A (ko) 2018-01-17 2020-09-21 매직 립, 인코포레이티드 디스플레이와 사용자의 눈들 사이의 정합을 결정하기 위한 디스플레이 시스템들 및 방법들
US10859830B2 (en) * 2018-01-31 2020-12-08 Sony Interactive Entertainment LLC Image adjustment for an eye tracking system
CN108268858B (zh) * 2018-02-06 2020-10-16 浙江大学 一种高鲁棒的实时视线检测方法
WO2019154511A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
JP6717330B2 (ja) 2018-03-15 2020-07-01 オムロン株式会社 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、及びコンピュータプログラム
EP3540574B1 (en) * 2018-03-15 2021-08-11 HTC Corporation Eye tracking method, electronic device, and non-transitory computer readable storage medium
CN108734086B (zh) * 2018-03-27 2021-07-27 西安科技大学 基于眼部区域生成网络的眨眼频率和视线估计方法
US10976814B2 (en) * 2018-04-16 2021-04-13 Google Llc Method and system for eye tracking with glint space recalibration on wearable heads-up display
US11157077B2 (en) * 2018-04-16 2021-10-26 Google Llc Method and system for dual mode eye tracking on wearable heads-up display
CN112106110B (zh) * 2018-04-27 2023-02-10 上海趋视信息科技有限公司 标定相机的系统和方法
CN108681699A (zh) * 2018-05-04 2018-10-19 上海像我信息科技有限公司 一种基于深度学习的视线估计方法及视线估计装置
US10747310B1 (en) * 2018-06-19 2020-08-18 Facebook Technologies, Llc Time of flight based eye tracker
EP3811182A4 (en) 2018-06-22 2021-07-28 Magic Leap, Inc. METHOD AND SYSTEM FOR PERFORMING EYE TRACKING USING AN OFF-AXIAL CAMERA
JP7382387B2 (ja) 2018-07-24 2023-11-16 マジック リープ， インコーポレイテッド ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
JP7443332B2 (ja) 2018-08-03 2024-03-05 マジック リープ， インコーポレイテッド ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択
CN110969060A (zh) * 2018-09-29 2020-04-07 北京市商汤科技开发有限公司 神经网络训练、视线追踪方法和装置及电子设备
CN111124103A (zh) * 2018-10-31 2020-05-08 托比股份公司 检测头戴式装置的重新定位
JP7173836B2 (ja) * 2018-11-05 2022-11-16 京セラ株式会社 コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体
US11513593B2 (en) * 2018-11-29 2022-11-29 Blink Technologies Inc. Systems and methods for anatomy-constrained gaze estimation
SE543240C2 (en) * 2018-12-21 2020-10-27 Tobii Ab Classification of glints using an eye tracking system
ES2926361T3 (es) * 2018-12-21 2022-10-25 Tobii Ab Calibración continua basada en características de la pupila
US11514602B2 (en) * 2018-12-25 2022-11-29 Samsung Electronics Co., Ltd. Method and apparatus for gaze estimation
US20200211512A1 (en) * 2018-12-27 2020-07-02 Facebook Technologies, Llc Headset adjustment for optimal viewing
EP3912013A1 (en) 2019-01-16 2021-11-24 Pupil Labs GmbH Methods for generating calibration data for head-wearable devices and eye tracking system
US11221671B2 (en) 2019-01-31 2022-01-11 Toyota Research Institute, Inc. Opengaze: gaze-tracking in the wild
US11644897B2 (en) 2019-04-01 2023-05-09 Evolution Optiks Limited User tracking system using user feature location and method, and digital display device and digital image rendering system and method using same
WO2020201999A2 (en) 2019-04-01 2020-10-08 Evolution Optiks Limited Pupil tracking system and method, and digital display device and digital image rendering system and method using same
CN110135370B (zh) * 2019-05-20 2022-09-09 北京百度网讯科技有限公司 人脸活体检测的方法及装置、电子设备、计算机可读介质
EP3979896A1 (en) 2019-06-05 2022-04-13 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
WO2020253949A1 (en) * 2019-06-18 2020-12-24 Pupil Labs Gmbh Systems and methods for determining one or more parameters of a user's eye
US20220244779A1 (en) * 2019-07-10 2022-08-04 Nec Corporation Gaze point detection device and gaze point detection method
EP3789848B1 (en) 2019-09-05 2024-07-17 Smart Eye AB Determination of gaze direction
US20210068652A1 (en) * 2019-09-09 2021-03-11 Apple Inc. Glint-Based Gaze Tracking Using Directional Light Sources
CN111208904A (zh) * 2020-01-08 2020-05-29 北京未动科技有限公司 一种视线估计设备性能评估方法、系统和设备
CN111208905A (zh) * 2020-01-08 2020-05-29 北京未动科技有限公司 一种多模组视线追踪方法、系统和视线追踪设备
JP2021137322A (ja) * 2020-03-05 2021-09-16 株式会社トプコン 眼科装置、その制御方法、プログラム、及び記録媒体
CN111329442A (zh) * 2020-03-16 2020-06-26 广东小天才科技有限公司 一种视力健康检测方法及装置、电子设备
US11568560B2 (en) * 2020-04-28 2023-01-31 Tobii Ab Calibration of an eye tracking system
WO2021236989A1 (en) * 2020-05-21 2021-11-25 Magic Leap, Inc. Warping for laser beam scanning displays using eye tracking
CN115668101A (zh) 2020-05-21 2023-01-31 奇跃公司 使用眼睛跟踪对空间光调制显示器进行扭曲
US11195301B1 (en) * 2020-07-26 2021-12-07 Nec Corporation Of America Estimation of head yaw in an image
JPWO2022079587A1 (zh) * 2020-10-12 2022-04-21
JP2022103717A (ja) * 2020-12-28 2022-07-08 株式会社Subaru 視線キャリブレーションシステム
CN113192132B (zh) * 2021-03-18 2022-07-29 魔珐(上海)信息科技有限公司 眼神捕捉方法及装置、存储介质、终端
JP7219788B2 (ja) * 2021-04-09 2023-02-08 本田技研工業株式会社 情報処理装置、情報処理方法、学習方法、およびプログラム
DE112021007811T5 (de) * 2021-06-11 2024-04-18 Mitsubishi Electric Corporation Blickverfolgungsvorrichtung
SE545387C2 (en) * 2021-06-30 2023-07-25 Tobii Ab Method, computer program product, control unit and head-mounted display for conserving energy in an eye tracking system
GB202110154D0 (en) * 2021-07-14 2021-08-25 Ams Senors Singapore Pte Ltd 3D face recognition system
GB2618078A (en) * 2022-04-25 2023-11-01 Continental Automotive Tech Gmbh An image processing method for removal of glare spots and system for the same
WO2024103084A1 (en) * 2022-11-15 2024-05-23 Cerman Eren Process and system for determining an eye position data set

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030169907A1 (en) * 2000-07-24 2003-09-11 Timothy Edwards Facial image processing system
US20110228975A1 (en) * 2007-05-23 2011-09-22 The University Of British Columbia Methods and apparatus for estimating point-of-gaze in three dimensions
US20120219180A1 (en) * 2011-02-25 2012-08-30 DigitalOptics Corporation Europe Limited Automatic Detection of Vertical Gaze Using an Embedded Imaging Device
CN102802502A (zh) * 2010-03-22 2012-11-28 皇家飞利浦电子股份有限公司 用于跟踪观察者的注视点的系统和方法
CN104094197A (zh) * 2012-02-06 2014-10-08 索尼爱立信移动通讯股份有限公司 利用投影仪的注视追踪
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
CN104200192A (zh) * 2013-01-18 2014-12-10 通用汽车环球科技运作有限责任公司 驾驶员注视检测系统
WO2015027289A1 (en) * 2013-09-02 2015-03-05 Seeing Machines Limited Method and apparatus for eye detection from glints
EP2857939A1 (en) * 2012-05-25 2015-04-08 National University Corporation Shizuoka University Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method
WO2015146491A1 (ja) * 2014-03-25 2015-10-01 株式会社Ｊｖｃケンウッド 検出装置および検出方法
US20150339527A1 (en) * 2014-05-20 2015-11-26 State Farm Mutual Automobile Insurance Company Gaze tracking for a vehicle operator
US20160026246A1 (en) * 2014-04-10 2016-01-28 Samsung Electronics Co., Ltd. Eye gaze tracking method and apparatus and computer-readable recording medium
US20160063304A1 (en) * 2014-08-29 2016-03-03 Alps Electric Co., Ltd. Line-of-sight detection apparatus

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2988178B2 (ja) * 1993-03-11 1999-12-06 日産自動車株式会社 視線方向計測装置
US8408706B2 (en) 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
JPWO2015012280A1 (ja) * 2013-07-24 2017-03-02 コニカミノルタ株式会社 視線検出装置
US10552675B2 (en) 2014-03-12 2020-02-04 Seeing Machines Limited Method and apparatus for eye detection from glints
US9454699B2 (en) * 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
US9864430B2 (en) * 2015-01-09 2018-01-09 Microsoft Technology Licensing, Llc Gaze tracking via eye gaze model

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030169907A1 (en) * 2000-07-24 2003-09-11 Timothy Edwards Facial image processing system
US20110228975A1 (en) * 2007-05-23 2011-09-22 The University Of British Columbia Methods and apparatus for estimating point-of-gaze in three dimensions
CN102802502A (zh) * 2010-03-22 2012-11-28 皇家飞利浦电子股份有限公司 用于跟踪观察者的注视点的系统和方法
US20120219180A1 (en) * 2011-02-25 2012-08-30 DigitalOptics Corporation Europe Limited Automatic Detection of Vertical Gaze Using an Embedded Imaging Device
US20120218398A1 (en) * 2011-02-25 2012-08-30 Tessera Technologies Ireland Limited Automatic Detection of Vertical Gaze Using an Embedded Imaging Device
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
CN104094197A (zh) * 2012-02-06 2014-10-08 索尼爱立信移动通讯股份有限公司 利用投影仪的注视追踪
EP2857939A1 (en) * 2012-05-25 2015-04-08 National University Corporation Shizuoka University Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method
CN104200192A (zh) * 2013-01-18 2014-12-10 通用汽车环球科技运作有限责任公司 驾驶员注视检测系统
WO2015027289A1 (en) * 2013-09-02 2015-03-05 Seeing Machines Limited Method and apparatus for eye detection from glints
CN105765608A (zh) * 2013-09-02 2016-07-13 醒眸行有限公司 用于根据闪耀点进行眼睛检测的方法和设备
WO2015146491A1 (ja) * 2014-03-25 2015-10-01 株式会社Ｊｖｃケンウッド 検出装置および検出方法
US20160026246A1 (en) * 2014-04-10 2016-01-28 Samsung Electronics Co., Ltd. Eye gaze tracking method and apparatus and computer-readable recording medium
US20150339527A1 (en) * 2014-05-20 2015-11-26 State Farm Mutual Automobile Insurance Company Gaze tracking for a vehicle operator
US20160063304A1 (en) * 2014-08-29 2016-03-03 Alps Electric Co., Ltd. Line-of-sight detection apparatus

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110191234A (zh) * 2019-06-21 2019-08-30 中山大学 一种基于注视点分析的智能终端解锁方法
CN110363133A (zh) * 2019-07-10 2019-10-22 广州市百果园信息技术有限公司 一种视线检测和视频处理的方法、装置、设备和存储介质
CN110363133B (zh) * 2019-07-10 2021-06-01 广州市百果园信息技术有限公司 一种视线检测和视频处理的方法、装置、设备和存储介质
US12039752B2 (en) 2019-07-10 2024-07-16 Bigo Technology Pte. Ltd. Method for determining line-of-sight, method for processing video, device, and storage medium
CN112558751A (zh) * 2019-09-25 2021-03-26 武汉市天蝎科技有限公司 一种智能眼镜基于mems和光波导镜片的视线追踪方法
CN112558751B (zh) * 2019-09-25 2022-07-01 武汉市天蝎科技有限公司 一种智能眼镜基于mems和光波导镜片的视线追踪方法
WO2021098135A1 (zh) * 2019-11-21 2021-05-27 苏州思源科安信息技术有限公司 一种远距离大视场虹膜光学成像的装置及方法
CN112989914A (zh) * 2019-12-16 2021-06-18 辉达公司 具有自适应加权输入的注视确定机器学习系统
CN114616598A (zh) * 2020-10-09 2022-06-10 谷歌有限责任公司 使用眼睛注视数据的文本布局解释
CN114616598B (zh) * 2020-10-09 2023-08-04 谷歌有限责任公司 使用眼睛注视数据的文本布局解释
US11941342B2 (en) 2020-10-09 2024-03-26 Google Llc Text layout interpretation using eye gaze data
CN113111745B (zh) * 2021-03-30 2023-04-07 四川大学 基于openpose的产品关注度的眼动识别的方法
CN113111745A (zh) * 2021-03-30 2021-07-13 四川大学 基于openpose的产品关注度的眼动识别的方法
CN113158879B (zh) * 2021-04-19 2022-06-10 天津大学 基于匹配特征的三维注视点估计及三维眼动模型建立方法
CN113158879A (zh) * 2021-04-19 2021-07-23 天津大学 基于匹配特征的三维注视点估计及三维眼动模型建立方法
CN117508197A (zh) * 2023-12-26 2024-02-06 深圳市达辰威科技集团有限公司 驾驶员的疲劳状态检测方法、装置、电子设备及存储介质
CN117508197B (zh) * 2023-12-26 2024-07-12 深圳市达辰威科技集团有限公司 驾驶员的疲劳状态检测方法、装置、电子设备及存储介质
CN117648037A (zh) * 2024-01-29 2024-03-05 北京未尔锐创科技有限公司 一种目标视线跟踪方法及系统
CN117648037B (zh) * 2024-01-29 2024-04-19 北京未尔锐创科技有限公司 一种目标视线跟踪方法及系统

Also Published As

Publication number Publication date
US10878237B2 (en) 2020-12-29
WO2018000020A1 (en) 2018-01-04
JP2019519859A (ja) 2019-07-11
US20190156100A1 (en) 2019-05-23
EP3479293A1 (en) 2019-05-08
EP3479293A4 (en) 2020-03-04

Similar Documents

Publication Publication Date Title
CN109690553A (zh) 执行眼睛注视跟踪的系统和方法
US6659611B2 (en) System and method for eye gaze tracking using corneal image mapping
Lai et al. Hybrid method for 3-D gaze tracking using glint and contour features
CN110967166B (zh) 近眼显示光学系统的检测方法、检测装置和检测系统
WO2014021169A1 (ja) 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体
CN113808160B (zh) 视线方向追踪方法和装置
CN112102389A (zh) 确定实物至少一部分的3d重构件的空间坐标的方法和系统
US20150029322A1 (en) Method and computations for calculating an optical axis vector of an imaged eye
CN109008944A (zh) 视线计测装置、视线计测程序及视线计测方法
JP6596678B2 (ja) 視線測定装置および視線測定方法
US11181978B2 (en) System and method for gaze estimation
JP7168953B2 (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
WO2019010959A1 (zh) 用于确定视线的方法、设备和计算机可读存储介质
CN105354825B (zh) 自动识别读写场景中读物位置的智能装置及其应用
CN105354822B (zh) 自动识别读写场景中读写元素位置的智能装置及应用
JP2021531601A (ja) ニューラルネットワーク訓練、視線検出方法及び装置並びに電子機器
KR20190062023A (ko) 사시 진단 시스템 및 방법, 시선 영상 획득 시스템, 컴퓨터 프로그램
CN108537103B (zh) 基于瞳孔轴测量的活体人脸检测方法及其设备
WO2022032911A1 (zh) 一种视线追踪方法及装置
CN114360043B (zh) 模型参数标定方法、视线追踪方法、装置、介质及设备
CN108133189B (zh) 医院候诊信息显示方法
JP6785723B2 (ja) 視線計測装置
JP6906943B2 (ja) 車載器
CN112528714B (zh) 基于单光源的注视点估计方法、系统、处理器及设备
JP4055858B2 (ja) 視線検出システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190426