CN116700474A - 眼开度 - Google Patents

眼开度 Download PDF

Info

Publication number
CN116700474A
CN116700474A CN202310194324.2A CN202310194324A CN116700474A CN 116700474 A CN116700474 A CN 116700474A CN 202310194324 A CN202310194324 A CN 202310194324A CN 116700474 A CN116700474 A CN 116700474A
Authority
CN
China
Prior art keywords
curve
eye
value
eye opening
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310194324.2A
Other languages
English (en)
Inventor
克雷蒙·莫兰
约金·扎克里森
乔纳斯·斯月斯特朗
珊克·凯沙夫达斯
伊尔瓦·比约
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Publication of CN116700474A publication Critical patent/CN116700474A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Dentistry (AREA)
  • Software Systems (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Eye Examination Apparatus (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Radiation-Therapy Devices (AREA)
  • Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)

Abstract

一种控制器，所述控制器被配置为：接收第一曲线数据和第二曲线数据，这些曲线数据分别定义第一曲线和第二曲线，该第一曲线和第二曲线分别代表眼睛图像中的第一眼睑边缘和第二眼睑边缘；通过执行包括优化例程来确定从所述第一曲线上的第一交点延伸到所述第二曲线上的第二交点的眼开度指示线，该优化例程包括：定义目标函数，该目标函数代表：所述眼开度指示线与所述第一曲线在所述第一交点处的第一切线的正交性；以及所述眼开度指示线与所述第二曲线在所述第二交点处的第二切线的正交性；以及调整所述第一交点的值和所述第二交点的值，直到满足所述目标函数的值的至少一个终止条件；以及基于所述眼开度指示线的长度提供眼开度值。

Description

眼开度
技术领域
本公开内容总体上涉及眼动跟踪领域。具体地，本公开内容涉及用于确定眼睛的眼开度的控制器、算法、眼动跟踪系统和方法。
背景技术
在眼动跟踪应用中，取得用户眼睛的数字图像，并且对数字图像进行分析，以便估计用户的注视方向。注视方向的估计可以基于对被成像眼睛的特征的基于计算机的图像分析。一种已知的眼动跟踪示例方法包括使用红外光和图像传感器。红外光朝向用户的瞳孔，并且光的反射由图像传感器捕获。
许多眼动跟踪系统基于瞳孔位置以及闪光或角膜反射的识别来估计注视方向。然而，注视估计技术可能取决于眼睛的眼开度——即，眼睛的睁开程度。例如，眨眼检测可以使得注视跟踪在眨眼期间暂停。因此，准确地确定眼开度对于眼动跟踪系统和方法来说可能是重要的。
先前也已经描述了便携式或可穿戴式眼动跟踪设备。在美国专利号9,041,787中描述了一种这样的眼动跟踪系统(该美国专利的全部内容通过引用并入本文)。描述了一种使用发光器和图像传感器来确定注视方向的可穿戴式眼动跟踪设备。
发明内容
根据本公开内容的第一方面，提供了一种控制器，所述控制器被配置为：
接收第一曲线数据，该第一曲线数据定义了代表眼睛图像中第一眼睑边缘的第一曲线；
接收第二曲线数据，该第二曲线数据定义了代表所述眼睛图像中第二眼睑边缘的第二曲线；
通过执行优化例程来确定从所述第一曲线上的第一交点延伸到所述第二曲线上的第二交点的眼开度指示线，所述优化例程包括：
定义代表以下各项的目标函数：
所述眼开度指示线与所述第一曲线在所述第一交点处的第一切线的正交性；以及
所述眼开度指示线与所述第二曲线在所述第二交点处的第二切线的正交性；以及
调整所述第一交点的值和所述第二交点的值，直到满足所述目标函数的值的至少一个终止条件；以及
基于所述眼开度指示线的长度提供眼开度值。
所述目标函数可以基于：
所述眼开度指示线与所述第一曲线在所述第一交点处的所述切线的法线之间的第一角度；以及
所述眼开度指示线与所述第二曲线在所述第二交点处的所述切线的法线之间的第二角度。
所述目标函数可以基于：
所述眼开度指示线与所述第一曲线在所述第一交点处的所述切线的点积；以及
所述眼开度指示线与所述第二曲线在所述第二交点处的所述切线的点积。
所述目标函数可以基于以下各项的平方和或大小之和：
所述眼开度指示线与所述第一曲线在所述第一交点处的所述切线的点积；以及
所述眼开度指示线与所述第二曲线在所述第二交点处的所述切线的点积。
所述目标函数可以进一步基于所述眼开度指示线的长度。
所述优化例程可以包括调整所述第一交点的值和所述第二交点的值以减小所述目标函数的值，直到满足所述目标函数的值的所述至少一个终止条件。
所述至少一个终止条件可以包括以下各项中的至少一项：
所述目标函数的值小于阈值；
所述目标函数的值大于阈值；
所述目标函数的固定次数的连续值的变化在收敛阈值内收敛；以及
对所述第一交点的值和所述第二交点的值的调整已经执行了最大重复次数。
所述控制器可以被配置为：
接收所述第一曲线数据作为包括与所述第一眼睑边缘相关联的至少三个第一数据点的第一曲线数据；
接收所述第二曲线数据作为包括与所述第二眼睑边缘相关联的至少三个第二数据点的第二曲线数据；
对所述至少三个第一数据点进行曲线拟合以定义所述第一曲线；以及
对所述至少三个第二数据点进行曲线拟合以定义所述第一曲线。
所述控制器可以被配置为使用以下任何一项对所述至少三个第一数据点和所述至少三个第二数据点进行曲线拟合：
二阶多项式函数；
比二阶更高阶的多项式函数；椭圆函数；
抛物线函数；
双曲函数；以及
三角函数。
所述控制器可以被配置为：
接收所述眼睛图像；
使用图像处理来确定所述至少三个第一数据点；以及
使用图像处理来确定所述至少三个第二数据点。
所述控制器可以被配置为：
接收所述眼睛图像；
用所述眼开度值标记所述眼睛图像，以提供标记的训练数据。
所述控制器可以被配置为：
接收多个眼睛图像以及与每个眼睛图像相关联的第一曲线数据和第二曲线数据；
通过执行所述优化例程来确定所述多个眼睛图像中的每一个的眼开度指示线；以及
用基于相应的眼开度指示线的长度的眼开度值标记每个眼睛图像以提供标记的训练数据。
所述控制器可以被配置为：
使用所述标记的训练数据训练机器学习算法以响应于眼睛图像输入而输出眼开度值。
根据本公开内容的第二方面，提供了一种通过本文公开的任何控制器训练的机器学习算法。
根据本公开内容的第三方面，提供了一种眼动跟踪系统，所述眼动跟踪系统包括：
存储器，所述存储器存储本文公开的任何机器学习算法；以及
处理器，所述处理器被配置为：
接收另外的眼睛图像；以及
通过使用所述机器学习算法处理所述眼睛图像来输出眼开度值。
根据本公开内容的第四方面，提供了一种眼动跟踪系统，所述眼动跟踪系统包括本文公开的任何控制器。
根据本公开内容的第五方面，提供了一种用于确定眼睛图像的眼开度值的方法，所述方法包括：
接收第一曲线数据，所述第一曲线数据定义了代表眼睛图像中第一眼睑边缘的第一曲线；
接收第二曲线数据，所述第二曲线数据定义了代表所述眼睛图像中第二眼睑边缘的第二曲线；
通过执行优化例程来确定从所述第一曲线上的第一交点延伸到所述第二曲线上的第二交点的眼开度指示线，所述优化例程包括：
定义代表以下各项的目标函数：
所述眼开度指示线与所述第一曲线在所述第一交点处的切线的正交性；以及
所述眼开度指示线与所述第二曲线在所述第二交点处的切线的正交性；以及
调整所述第一交点的值和所述第二交点的值，直到满足所述目标函数的值的至少一个终止条件；以及
基于所述眼开度指示线的长度提供眼开度值。
如权利要求15所述的方法，可以进一步包括：
接收所述眼睛图像；
用所述眼开度值标记所述眼睛图像，以提供标记的训练数据；以及
使用所述标记的训练数据训练机器学习算法以响应于眼睛图像输入而输出眼开度值。
根据本公开内容的第六方面，提供了一种可通过本文公开的任何方法获得的机器学习算法。
根据本公开内容的第七方面，提供了一种头戴式设备，其包括本文公开的任何眼动跟踪系统。
根据本公开内容的第八方面，提供了一种或多种非暂时性计算机可读存储介质，其存储有计算机可执行指令，这些指令当被计算系统执行时使该计算系统执行本文公开的任何方法。
根据本公开内容的第九方面，提供了一种控制器，所述控制器被配置为：
接收第一曲线数据，所述第一曲线数据定义了代表眼睛图像的第一眼睑边缘的第一曲线；
接收第二曲线数据，所述第二曲线数据定义了代表所述眼睛图像的第二眼睑边缘的第二曲线；
通过基于以下各项选择所述第一曲线上的第一点和所述第二曲线上的第二点来确定从所述第一点延伸到所述第二点的眼开度指示线：
所述眼开度指示线与所述第一曲线在所述第一点处的切线之间的所得第一角度的正交性；以及
所述眼开度指示线与所述第二曲线在所述第二点处的切线之间的所得第二角度的正交性；以及
基于所述眼开度指示线的长度提供眼开度值。
可以提供一种计算机程序，当该计算机程序在计算机上运行时使计算机配置任何装置(包括本文公开的电路、控制器或设备)，或者执行本文公开的任何方法。该计算机程序可以是软件实施方式，并且该计算机可以被认为是任何适当的硬件，作为非限制性示例包括数字信号处理器、微控制器，并且是只读存储器(ROM)、可擦除可编程只读存储器(EPROM)或电可擦除可编程只读存储器(EEPROM)中的实施方式。该软件可以是汇编程序。
可以在计算机可读介质上提供计算机程序，该计算机可读介质可以是比如盘或存储器设备等物理计算机可读介质，或者可以体现为瞬时信号。这种瞬时信号可以是网络下载的，包括互联网下载。可以提供一种或多种非暂时性计算机可读存储介质，存储有计算机可执行指令，这些指令当被计算系统执行时使该计算系统执行本文公开的任何方法。
附图说明
现在将参考附图仅通过示例的方式描述一个或多个实施例，在附图中：
图1示出了眼动跟踪系统的示意图，该眼动跟踪系统可以用于捕获可以由本公开内容的示例实施例使用的图像序列；
图2示出了一双眼睛的示例图像；
图3展示了眼开度的示例测量；
图4展示了根据本公开内容的实施例的用于提供图像的眼开度值的控制器；
图5展示了由图4的控制器使用的几何关系；
图6示意性地展示了根据本公开内容的实施例的由控制器执行的操作步骤；
图7展示了根据本公开内容的实施例的用于提供眼开度值的另一控制器、以及眼动跟踪系统；
图8示意性地展示了根据本公开内容的实施例的方法；以及
图9示意性地展示了根据本公开内容的实施例的另一方法。
具体实施方式
图1示出了头戴式设备中的眼动跟踪系统100(其也可以称为注视跟踪系统)的简化视图，该头戴式设备呈虚拟或增强现实(VR或AR)设备、或VR或AR眼镜、或任何相关事物(比如扩展现实(XR)或混合现实(MR)头戴装置)的形式。系统100包括用于捕获用户眼睛的图像的图像传感器120(例如，相机)。该系统可以可选地包括用于照射用户的眼睛的一个或多个发光器110至119，这些发光器可以例如是发射红外频带或近红外频带中的光的发光二极管，并且可以物理布置成各种配置。图像传感器120可以例如是任何类型的图像传感器，比如互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器。图像传感器可以由包含像素传感器阵列的集成电路构成，每个像素包含光电检测器和有源放大器。图像传感器可以能够将光转换成数字信号。在一个或多个示例中，图像传感器可以是红外图像传感器或IR图像传感器、RGB传感器、RGBW传感器、或具有IR滤光片的RGB或RGBW传感器。
眼动跟踪系统100可以包括电路系统或一个或多个控制器125，例如，包括接收器126和处理电路系统127，用于接收并处理由图像传感器120捕获的图像。电路系统125可以例如经由有线连接或无线连接而连接到图像传感器120和可选的一个或多个发光器110至119，并且与图像传感器120和一个或多个发光器110至119位于同一位置、或与之相隔一定距离(例如，在不同的设备中)。在另一示例中，电路系统125可以设置在光传感器120的光敏表面下方的一个或多个堆叠层中。
眼动跟踪系统100可以包括用于向用户呈现信息和/或视觉刺激的显示器(未示出)。显示器可以包括呈现影像并基本上阻挡了用户的真实世界视野的VR显示器，或者呈现被感知为叠加在用户真实世界视野之上的影像的AR显示器。
在这样的系统100中，用于一只眼睛的图像传感器120的位置通常远离用户的视线，以便不遮挡那只眼睛的显示器。该构造例如可以借助于所谓的热镜来实现，该热镜反射一部分光并且允许其余的光穿过，例如红外光被反射，并且可见光被允许穿过。
虽然在上述示例中，用户眼睛的图像由头戴式图像传感器120捕获，但在其他示例中，图像可以由非头戴式的图像传感器捕获。这种非头戴式系统可以称为远程系统。
在眼动跟踪系统中，可以针对用户的每只眼睛(左眼和右眼)计算注视信号。这些注视信号的质量可能会因输入图像中的干扰(比如图像噪声)和不正确的算法行为(比如不正确的预测)而降低。眼动跟踪系统的目标是提供在准确度(偏差)和精度(方差)这两个方面尽可能好的注视信号。对于许多应用，每个时刻仅提供一个注视信号可能就足够了，而不是提供左眼和右眼的注视信号两者。进一步地，组合注视信号可以与左眼注视信号和右眼注视信号相结合地提供。这样的注视信号可以被称为组合注视信号。
图2示出了由眼动跟踪系统(比如图1的系统)捕获的一双眼睛的图像229的简化示例。图像229可以被认为包括人的右眼的右眼图像228和人的左眼的左眼图像234。在该示例中，右眼图像228和左眼图像234是人的两只眼睛的较大图像的两个部分。在其他示例中，可以使用单独的图像传感器来获取右眼图像228和左眼图像234。
系统可以采用图像处理(比如数字图像处理)来提取图像中的特征。系统可以例如识别由图像传感器捕获的一个或多个图像中的瞳孔230的位置。系统可以使用瞳孔检测过程来确定瞳孔230的位置。系统也可以识别与瞳孔230紧挨着的角膜反射232。系统可以基于角膜反射232来估计角膜中心或眼球中心。例如，系统可以将每只眼睛的每个单独的角膜反射232与对应的发光器进行匹配，并基于该匹配来确定每只眼睛的角膜中心。
眼开度是一种生物度量信号，其应用于例如图1的眼动跟踪系统等眼动跟踪系统的各种应用。示例应用包括行为和认知研究、汽车驾驶员监测系统和注视信号过滤和/或验证。
图3展示了眼睛图像338的眼开度346的示例测量。在该示例中，眼开度346可以被定义为在与将眼睛的第一眼角348连接到眼睛的第二眼角(未示出)的水平眼轴340正交的方向上上眼睑342与下眼睑344之间的最大距离。在这种背景下，“眼睑”是构成在视觉上将眼球与眼睑皮肤分开的边缘的线段。
眼动跟踪系统可以使用自动化过程来确定眼开度，例如，常见的基于规则的算法或机器学习(ML)算法。可以使用用眼开度的基准真值标记(或与眼开度的基准真值配对)的眼睛图像来训练ML算法。用于确定眼开度的基于规则的算法也可能需要基准真值，以便测量确定结果的准确性。
为了确定眼开度的基准真值，获取眼睑之间的实际3D距离(以毫米表示的值)具有挑战性。获得准确的3D距离可能需要能够精确且准确测量3D距离的非侵入式设备。替代方法是确定(2D)图像域中的眼开度，在该2D图像域中可以标注基准真值眼开度。例如，可以用根据图3的示例测量的眼开度值346来标记眼睛图像338，并且多个这样标记的图像可以用作ML算法的训练数据。图像域方法特别适用于相机与眼睛之间的小视角或零视角。然而，可以使用相机参数、相机-眼睛距离、图像中眼睛的大小等来校正更大的视角。
图像域中的图像标记通常是手动执行的，并且依赖于与眼睑边缘342、344和最大垂直距离346有关的主观人为判断。标注上下眼睑342、344之间的最大正交距离可能很困难且不一致，并且在很大程度上依赖于标注图像的人的主观评估。这种标注需要标注器视觉地寻找眼睛睁开最大的一对点，这既耗时又困难。因此，图像标记过程非常耗时，并且由此产生的训练数据和ML算法可能缺乏准确性和可重复性。
所公开的装置和方法可以确定眼睛图像的眼开度。该装置和方法可以从眼睛图像或从沿着图像的上下眼睑边缘342、344的一组界标点推断图像域眼开度。该装置和方法可以有利地提供眼睛图像的准确且可重复的眼开度值。这些眼开度值可以用于标记眼开度ML算法的训练数据和/或用于确定眼动跟踪系统中的眼开度值。
图4展示了根据本公开内容的实施例的用于提供眼睛图像438的眼开度值446的控制器450。参考图5中眼睛图像538描述控制器450。
在该示例中，控制器450包括优化器452，该优化器被配置为接收第一曲线数据454和第二曲线数据456(可选地经由曲线拟合器468)。第一曲线数据454和第二曲线数据456分别定义第一曲线C1 553和第二曲线C2 555，这些曲线分别代表眼睛图像438、538中/的相应第一(上)眼睑边缘542和第二(下)眼睑边缘544。优化器452被配置为通过执行优化例程来确定从第一曲线553上的第一交点P1 558延伸到第二曲线555上的第二交点P2 560的眼开度指示线L 557。优化例程包括首先定义目标函数，该目标函数代表：眼开度指示线557与第一曲线553在第一交点558处的第一切线T1 562的正交性；以及眼开度指示线557与第二曲线555在第二交点560处的第二切线T2 564的正交性。优化例程进一步包括调整第一交点558的值和第二交点560的值，直到满足目标函数的值的至少一个终止条件。例如，可以调整第一交点558和第二交点560直到获得目标函数的最小值，使得眼开度指示线557与第一切线562和第二切线564之间的这两个角度尽可能接近90度。在使用优化例程确定眼开度指示线557之后，控制器450被配置为基于眼开度指示线557的长度来提供或输出眼开度值446。
优化例程可以寻找第一曲线C1和第二曲线C2上的一对第一交点P1和第二交点P2，以使得在它们之间延伸的眼开度指示线L(P1，P2)与第一切线T1和第二切线T2正交(或尽可能接近正交)，其中，T1等于C1在P1处的切线，并且T2等于C2在P2处的切线。
优化例程可以包括：
(i)将目标函数定义为基于眼开度指示线L(P1，P2)与第一切线T1和第二切线T2之间的角度的残差函数R(P1，P2)。例如，目标函数可以基于：眼开度指示线L(P1，P2)与第一切线T1的点积；以及眼开度指示线L(P1，P2)与第二切线T2的点积。例如，残差函数可以基于(或等于)这两个点积的平方和：
R(P1,P2)＝f((T1·L)2+(T2·L)2)
当第一切线T1和第二切线T2都正交于眼开度指示线L(P1，P2)时，残差函数将为零。在一些示例中，这些点积的平方和可以包括加权和。在一些示例中，每个点积可以通过除以眼开度指示线和相应切线的大小被归一化。在一些示例中，残差函数可以基于或等于这两个点积的大小之和。
另外的示例残差函数可以基于：眼开度指示线L(P1，P2)与第一切线T1的法线之间的第一角度α1；以及眼开度指示线L(P1，P2)与第二切线T2的法线之间的第二角度α2。在一些示例中，残差函数可以基于(或等于)这两个角度的大小之和：
R(P1,P2)＝f(|α1|+|α2|)
当第一切线T1和第二切线T2都正交于眼开度指示线L(P1，P2)时，残差函数将为零。
(ii)使用数值优化器寻找第一交点P1和第二交点P2的使目标函数R(P1，P2)最小化的值。数值优化器可以包括已知的优化算法，例如，Nelder-Mead方法、爬山/下降例程或任何其他已知的优化方法。优化方法可以包括迭代地调整第一交点P1的值和第二交点P2的值，并计算所得目标函数以确定目标函数的最小值。对于特定迭代的第一交点P1(n)和第二交点P2(n)的调整值可以基于来自一个或多个先前迭代的第一交点P1(n-1，n-2，…)和第二交点P2(n-1，n-2，…)以及由此产生的目标函数值R(P1(n-1，n-2，…)，P2(n-1，n-2，…))来选择。
在典型条件下(其中第一眼睑542与第二眼睑544之间的区域是凸面的并且眼睑曲率足够小)，在使基于正交性的目标函数R最小化的那些交点P1、P2之间的眼开度指示线段L(P1，P2)也将是在这些眼睑之间拟合的最大圆盘的直径。因此，控制器450被配置为基于眼开度指示线557的长度来提供眼开度值446。例如，控制器450可以基于眼开度指示线的长度的大小|L(P1，P2)|来提供眼开度值446。
在一些示例中，目标函数可以进一步基于眼开度指示线557的长度。例如，上述目标函数中的和(或加权和)可以包括与眼开度指示线557的长度成反比的附加项，使得目标函数将随着眼开度指示线的长度增加而减小。
尽管上述目标函数和优化例程涉及最小化残差函数(或损失函数)，但是应当理解，目标函数还可以被定义为使得优化例程确定目标函数的最大值。例如，目标函数可以基于与α1和α2互补的角度的大小之和——即以下各项的大小之和：眼开度指示线557与第一切线562之间的角度；以及眼开度指示线557与第二切线564之间的角度。这样的目标函数的最大值为π弧度。最大化目标函数还可以在总和中进一步包括与眼开度指示线557的长度成正比的长度项。
目标函数的值的至少一个终止条件可以包括在优化方法中使用的已知终止条件。例如，对于为优化例程定义的使目标函数值最小化的残差目标函数(或损失函数)，至少一个终止条件可以包括目标函数的值小于阈值。对于为优化例程定义的使目标函数值最大化的目标函数，至少一个终止条件可以包括目标函数的值大于阈值。
至少一个终止条件还可以涉及目标函数的连续迭代值的收敛。例如，至少一个终止条件可以包括目标函数的连续迭代值收敛为使得预定次数的连续迭代值的变化小于收敛阈值。收敛阈值可以对应于固定次数的连续迭代值的相对和/或绝对变化(例如，绝对变化为10-6或相对变化为10-4的5个连续迭代值)。
至少一个终止条件可以包括达到对第一交点558的值和第二交点560的值进行调整的最大迭代次数。
图4中的眼开度指示线557不与水平轴540正交。这说明了图3的眼开度测量的局限性，其限制在于在与水平轴540正交的方向上的眼睑到眼睑距离。这种限制可能针对一些眼睑边缘形状提供不准确或不一致的眼开度值。相比之下，通过基于与这两条切线562、564的正交性来定义眼开度指示线557，所公开的装置和方法可以有利地提供眼开度的更准确表示并且允许眼睛形状的更大解剖学变化。
在图4的示例中，控制器450包括可选的曲线拟合器468，并且优化器452经由曲线拟合器468接收第一曲线数据454和第二曲线数据456。在该示例中，第一曲线数据454包括与第一眼睑边缘542相关联(即，位于其上、大约位于其上或在其附近)的至少三个第一数据点(也称为界标点或眼睑界标)。类似地，第二曲线数据456包括与第二眼睑边缘544相关联的至少三个第二数据点。第一数据点和第二数据点可以由用户手动地或使用图像处理自动地在眼睛图像438中标识或标注，如下文进一步讨论的。
曲线拟合器468可以将曲线拟合到至少三个第一数据点以定义第一曲线553并且将曲线拟合到至少三个第二数据点以定义第二曲线555。曲线拟合器468可以使用已知的曲线拟合方法来拟合一条或两条曲线。由曲线拟合器468执行的曲线拟合可以有利地消除至少三个第一数据点和第二数据点中的任何标注错误。例如，如果用户不准确地标注了该至少三个第一数据点之一，使得其偏离第一眼睑边缘542，则基于至少两个其他第一数据点的曲线拟合可以补偿标注错误。在一些示例中，第一曲线数据454和第二曲线数据456分别包括三个第一数据点和三个第二数据点。令人惊讶的是，发现三个数据点可以为眼动跟踪应用提供足够的眼开度值446的准确性和可重复性。虽然更多的数据点可以提高准确性和/或可重复性，但这种提高是以额外的标注和处理为代价的。在一些示例中，第一数据点的数量可以不同于第二数据点的数量。例如，当一只眼睑更难以标注或具有非典型解剖形状时，可以选择不同数量的数据点。
曲线拟合器468可以使用包括以下任一项的曲线函数来拟合一条或两条曲线553、555：二阶多项式函数；高于二阶的高阶多项式函数；椭圆函数；圆函数；抛物线函数；双曲函数；三角函数或任何其他已知的曲线函数。使用二阶多项式函数(或具有单个拐点的其他函数)可以有利地避免第一曲线553和第二曲线555的过度拟合以及由此产生的眼睑边缘的不良表示。
在其他示例中，控制器450可以不包括曲线拟合器并且优化器452可以从诸如另一个控制器或处理模块等外部源或作为用户输入(手动数据输入)接收第一曲线数据454和第二曲线数据456。优化器452可以接收第一曲线数据454和第二曲线数据456作为定义相应曲线的方程参数(例如，抛物线方程参数或多项式方程参数)或作为用于通过插值定义每个相应曲线的一组点。在这样的示例中，控制器450可以接收第一曲线数据454和第二曲线数据456并且可以不接收眼睛图像438。
图6示意性地展示了由包括曲线拟合器468和优化器452的控制器执行的操作步骤。这些操作步骤包括：
(i)对于第一(上)眼睑边缘642和第二(下)眼睑边缘644中的每一个，接收与相应的眼睑边缘相关联的N个界标点670、672。N可以是大于2的任何数字并且对于第一眼睑边缘642和第二眼睑边缘644是不同的。第一眼睑边缘642的这N个界标数据点包括至少三个第一数据点670。第二眼睑边缘642的这N个界标数据点包括至少三个第二数据点672。
(ii)将图像638中的2D第一曲线653和第二曲线655(例如圆弧段或多项式)拟合到相应的N个界标点670、672。
(iii)执行如上所述的优化例程以确定眼开度指示线657。基于眼开度指示线的长度提供眼开度值。
返回到图4，控制器450可以包括可选的眼睑标注器466，该眼睑标注器被配置为向曲线拟合器468提供第一曲线数据454和第二曲线数据456。眼睑标注器466被配置为接收眼睛图像438。眼睑标注器466可以从图像传感器、从存储器存储设备或从对图像438执行初始图像处理(例如噪声滤波等)的另一个处理模块接收眼睛图像438。眼睑标注器466可以包括眼睑界标检测算法，该算法被配置为识别并输出第一眼睑542和第二眼睑544上的界标点。例如，眼睑标注器466可以使用眼睑界标检测算法来确定至少三个第一数据点和至少三个第二数据点。
在其他示例中，控制器450可以不包括眼睑标注器，并且曲线拟合器468可以从诸如另一个控制器或处理模块等外部源或作为用户输入(基于手动标注图像的界标点)接收第一曲线数据454和第二曲线数据456。在这样的示例中，控制器450可以接收第一曲线数据454和第二曲线数据456并且可以不接收眼睛图像438。
图4的控制器450可以用在眼动跟踪系统中，其中控制器450可以提供由眼动跟踪系统捕获的眼睛图像的眼开度值，以用于包括眨眼检测、警觉性检测和注视过滤在内的应用。控制器450也可用于提供眼开度ML算法的训练数据。
图7展示了根据本公开内容的实施例的用于提供眼开度值的另一控制器750、以及眼动跟踪系统700。同样在图4中呈现的图7的特征在以700为基础的编号系列中给出了对应的编号，并且在此不必再次描述。
控制器750被配置为接收多个眼睛图像738以及与每个图像相关联的第一曲线数据754和第二曲线数据756。控制器750包括优化器752，该优化器被配置为通过以与上文关于图4和图5描述的相同方式执行优化例程，基于相应的第一曲线数据754和第二曲线数据756确定每个图像的眼开度指示线和眼开度值746。
控制器750被配置为用相应的眼开度值746标记多个眼睛图像中的每个眼睛图像以提供标记的训练数据774。标记的训练数据774可以包括多个数据对，每个数据对包括眼睛图像和与眼睛图像相对应的眼开度值。控制器750进一步被配置为使用标记的训练数据来训练ML算法776。例如，控制器750可以训练卷积神经网络以确定任何眼睛图像的眼开度值。
训练后的ML算法776可以形成眼动跟踪系统700的一部分。眼动跟踪系统700可以接收另外的眼睛图像并通过使用训练后的ML算法776处理另外的眼睛图像来输出眼开度值。在一些示例中，眼动跟踪系统700可以包括控制器750。
图8展示了根据本公开内容的实施例的用于确定眼睛图像的眼开度值的方法。
步骤880包括接收第一曲线数据，该第一曲线数据定义代表眼睛图像中第一眼睑边缘的第一曲线。步骤882包括接收第二曲线数据，该第二曲线数据定义代表眼睛图像的第二眼睑边缘的第二曲线。步骤884包括使用优化例程来确定从第一曲线上的第一交点延伸到第二曲线上的第二交点的眼开度指示线。该优化例程包括：定义目标函数，该目标函数代表：眼开度指示线与第一曲线在第一交点处的切线的正交性；以及眼开度指示线与第二曲线在第二交点处的切线的正交性；以及调整第一交点的值和第二交点的值，直到满足目标函数的值的至少一个终止条件。步骤886包括基于眼开度指示线的长度提供眼开度值。
图9展示了根据本公开内容的实施例的用于训练ML算法的方法。
步骤990包括接收眼睛图像。步骤992包括根据图8的方法确定眼开度值并且用眼开度值标记图像以提供标记的训练数据。步骤994包括使用标记的训练数据训练机器学习算法以响应于眼睛图像输入而输出眼开度值。训练后的ML算法可以在眼动跟踪系统中使用以确定由眼动跟踪系统捕获的另外的眼睛图像的眼开度值。
所公开的装置和方法可以确定眼睛图像的眼开度。该装置和方法可以从眼睛图像或从沿着图像的上下眼睑的一组界标点推断图像域眼开度。该装置和方法可以有利地提供眼睛图像的准确且可重复的眼开度值。这些眼开度值可以用于标记眼开度ML算法的训练数据和/或用于确定眼动跟踪系统中的眼开度值。
所公开的装置和方法可以降低对界标点布置的敏感性。该装置和方法可以使标注者(机器或人)在标注眼睑边缘或眼睑边缘上的界标点时不那么精确。例如，人类标注者只需要沿着眼睑边缘标识三个或更多点。不需要像使用图3的测量所需的那样标识两个眼睑边缘上与水平轴正交的间隔最大的一对点。
在整个本说明书中，涉及相对取向和位置的描述词，比如“水平”、“竖直”、“顶部”、“底部”和“侧部”是在如附图所呈现的装置/设备的取向的意义上使用的。然而，这些描述词并不旨在以任何方式限制所描述或要求保护的发明的预期用途。
应了解，取决于上下文，对“接近”、“之前”、“之前不久”、“之后”、“之后不久”、“高于”或“低于”等的任何提及可以指所讨论的参数小于或大于阈值、或者在两个阈值之间。

Claims (20)

1.一种控制器，所述控制器被配置为：
接收定义第一曲线的第一曲线数据，所述第一曲线代表眼睛图像中第一眼睑边缘；
接收定义第二曲线的第二曲线数据，所述第二曲线代表所述眼睛图像中第二眼睑边缘；
通过执行优化例程来确定从所述第一曲线上的第一交点延伸到所述第二曲线上的第二交点的眼开度指示线，所述优化例程包括：
定义目标函数，所述目标函数代表：
所述眼开度指示线与所述第一曲线在所述第一交点处的第一切线的正交性；以及
所述眼开度指示线与所述第二曲线在所述第二交点处的第二切线的正交性；以及
调整所述第一交点的值和所述第二交点的值，直到满足所述目标函数的值的至少一个终止条件；以及
基于所述眼开度指示线的长度提供眼开度值。
2.如权利要求1所述的控制器，其中，所述目标函数基于：
所述眼开度指示线与所述第一曲线在所述第一交点处的所述切线的法线之间的第一角度；以及
所述眼开度指示线与所述第二曲线在所述第二交点处的所述切线的法线之间的第二角度。
3.如权利要求1或权利要求2所述的控制器，其中，所述目标函数基于：
所述眼开度指示线与所述第一曲线在所述第一交点处的所述切线的点积；以及
所述眼开度指示线与所述第二曲线在所述第二交点处的所述切线的点积。
4.如权利要求3所述的控制器，其中，所述目标函数基于以下各项的平方和或大小之和：
所述眼开度指示线与所述第一曲线在所述第一交点处的所述切线的点积；以及
所述眼开度指示线与所述第二曲线在所述第二交点处的所述切线的点积。
5.如任一前述权利要求所述的控制器，其中，所述优化例程包括调整所述第一交点的值和所述第二交点的值以减小所述目标函数的值，直到满足所述目标函数的值的所述至少一个终止条件。
6.如任一前述权利要求所述的控制器，其中，所述至少一个终止条件包括以下各项中的至少一项：
所述目标函数的值小于阈值；
所述目标函数的值大于阈值；
所述目标函数的固定次数的连续值的变化在收敛阈值内收敛；以及
对所述第一交点的值和所述第二交点的值的调整已经执行了最大迭代次数。
7.如任一前述权利要求所述的控制器，其中，所述控制器被配置为：
接收所述第一曲线数据作为包括与所述第一眼睑边缘相关联的至少三个第一数据点的第一曲线数据；
接收所述第二曲线数据作为包括与所述第二眼睑边缘相关联的至少三个第二数据点的第二曲线数据；
对所述至少三个第一数据点进行曲线拟合以定义所述第一曲线；以及
对所述至少三个第二数据点进行曲线拟合以定义所述第一曲线。
8.如权利要求7所述的控制器，其中，所述控制器被配置为使用以下任何一项对所述至少三个第一数据点和所述至少三个第二数据点进行曲线拟合：
二阶多项式函数；
高于二阶的高阶多项式函数；椭圆函数；
抛物线函数；
双曲函数；以及
三角函数。
9.如权利要求7或权利要求8所述的控制器系统，其中，所述控制器被配置为：
接收所述眼睛图像；
使用图像处理来确定所述至少三个第一数据点；以及
使用图像处理来确定所述至少三个第二数据点。
10.如任一前述权利要求所述的控制器，其中，所述控制器被配置为：
接收所述眼睛图像；
用所述眼开度值标记所述眼睛图像，以提供标记的训练数据。
11.如权利要求10所述的控制器，被配置为：
使用所述标记的训练数据训练机器学习算法以响应于眼睛图像输入而输出眼开度值。
12.一种由如权利要求11所述的控制器训练的机器学习算法。
13.一种眼动跟踪系统，包括：
存储器，所述存储器存储如权利要求12所述的机器学习算法；以及
处理器，所述处理器被配置为：
接收另外的眼睛图像；以及
通过使用所述机器学习算法处理所述眼睛图像来输出眼开度值。
14.一种眼动跟踪系统，包括如权利要求1至9中任一项所述的控制器。
15.一种用于确定眼睛图像的眼开度值的方法，所述方法包括：
接收定义第一曲线的第一曲线数据，所述第一曲线代表眼睛图像中第一眼睑边缘；
接收定义第二曲线的第二曲线数据，所述第二曲线代表所述眼睛图像中第二眼睑边缘；
通过执行优化例程来确定从所述第一曲线上的第一交点延伸到所述第二曲线上的第二交点的眼开度指示线，所述优化例程包括：
定义目标函数，所述目标函数代表：
所述眼开度指示线与所述第一曲线在所述第一交点处的切线的正交性；以及
所述眼开度指示线与所述第二曲线在所述第二交点处的切线的正交性；以及
调整所述第一交点的值和所述第二交点的值，直到满足所述目标函数的值的至少一个终止条件；以及
基于所述眼开度指示线的长度提供眼开度值。
16.如权利要求15所述的方法，进一步包括：
接收所述眼睛图像；
用所述眼开度值标记所述眼睛图像，以提供标记的训练数据；以及
使用所述标记的训练数据训练机器学习算法以响应于眼睛图像输入而输出眼开度值。
17.一种可通过如权利要求16所述的方法获得的机器学习算法。
18.一种眼动跟踪系统，包括：
存储器，所述存储器存储如权利要求17所述的机器学习算法；以及
处理器，所述处理器被配置为：
接收另外的眼睛图像；以及
通过使用所述机器学习算法处理所述眼睛图像来输出眼开度值。
19.一种头戴式设备，包括如权利要求13、14或18中任一项所述的眼动跟踪系统。
20.一种或多种非暂时性计算机可读存储介质，存储有计算机可执行指令，所述指令当被计算系统执行时使所述计算系统执行如权利要求15或权利要求16所述的方法。
CN202310194324.2A 2022-03-04 2023-03-02 眼开度 Pending CN116700474A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE2250299A SE2250299A1 (en) 2022-03-04 2022-03-04 Eye openness
SE2250299-1 2022-03-04

Publications (1)

Publication Number Publication Date
CN116700474A true CN116700474A (zh) 2023-09-05

Family

ID=85461676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310194324.2A Pending CN116700474A (zh) 2022-03-04 2023-03-02 眼开度

Country Status (4)

Country Link
US (1) US20230277089A1 (zh)
EP (1) EP4238481A1 (zh)
CN (1) CN116700474A (zh)
SE (1) SE2250299A1 (zh)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007094906A (ja) * 2005-09-29 2007-04-12 Toshiba Corp 特徴点検出装置および方法
JP4825737B2 (ja) * 2007-06-20 2011-11-30 トヨタ自動車株式会社 開眼度判定装置
JP5221436B2 (ja) * 2009-04-02 2013-06-26 トヨタ自動車株式会社 顔特徴点検出装置及びプログラム
US10895917B2 (en) * 2011-03-12 2021-01-19 Uday Parshionikar Multipurpose controllers and methods
CN103493097B (zh) * 2011-04-15 2015-09-16 爱信精机株式会社 眼睑检测装置、眼睑检测方法
WO2015034560A1 (en) 2013-09-03 2015-03-12 Tobii Technology Ab Portable eye tracking device
AU2016310452B2 (en) * 2015-08-21 2021-04-22 Magic Leap, Inc. Eyelid shape estimation
US10394019B2 (en) * 2017-02-27 2019-08-27 Tobii Ab Determining eye openness with an eye tracking device
US11877800B2 (en) * 2018-07-27 2024-01-23 Kaohsiung Medical University Method and system for detecting blepharoptosis
US11227156B2 (en) * 2019-01-03 2022-01-18 Qualcomm Incorporated Personalized eye openness estimation
JP7240910B2 (ja) * 2019-03-14 2023-03-16 本田技研工業株式会社 乗員観察装置
EP3931666A4 (en) * 2019-03-22 2022-10-12 Hewlett-Packard Development Company, L.P. COLLECTION OF EYE MEASUREMENTS
CN115690892B (zh) * 2023-01-03 2023-06-13 京东方艺云(杭州)科技有限公司 一种眯眼识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20230277089A1 (en) 2023-09-07
SE2250299A1 (en) 2023-09-05
EP4238481A1 (en) 2023-09-06

Similar Documents

Publication Publication Date Title
US10878237B2 (en) Systems and methods for performing eye gaze tracking
US9439592B2 (en) Eye tracking headset and system for neuropsychological testing including the detection of brain damage
EP1747750B1 (en) Method and device for determining the visual behaviour of a person and method of customising a spectacle lens
US20160029883A1 (en) Eye tracking calibration
CN109804302A (zh) 用于确定眼镜镜片边缘的表示的方法和设备及计算机程序
JP2014166560A (ja) 眼球支点位置を決定する方法及び装置
KR20160015260A (ko) 시각적 보상 장치를 맞춤화하기 위한 적어도 하나의 변수 값을 결정하기 위한 방법
US11033204B2 (en) Method for determining an ophthalmological parameter
CN109634431B (zh) 无介质浮空投影视觉追踪互动系统
JP7168953B2 (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
JP2022538669A (ja) 眼追跡待ち時間向上
EP3644825A1 (en) Method for determining the position of the eye rotation center of the eye of a subject, and associated device
US11029754B2 (en) Calibration method, portable device, and computer-readable storage medium
CN115590462A (zh) 一种基于摄像头的视力检测方法和装置
US11823413B2 (en) Eye gaze tracking system, associated methods and computer programs
CN116700474A (zh) 眼开度
Arai et al. Computer input with human eyes only using two Purkinje images which works in a real time basis without calibration
JP2015123262A (ja) 角膜表面反射画像を利用した視線計測方法及びその装置
US11324399B2 (en) Method and system for determining a pupillary distance of an individual
KR20190107738A (ko) 이미지 처리 장치 및 방법
EP4160362A1 (en) Gaze defect compensation
US20230211791A1 (en) Occupant state detection device and occupant state detection method
EP4398200A2 (en) An eye tracking system
García-Dopico et al. Precise Non-Intrusive Real-Time Gaze Tracking System for Embedded Setups.
CN115543072A (zh) 眼动跟踪系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination