CN117377928A - 眼睛跟踪设备、眼睛跟踪方法和计算机可读介质 - Google Patents
眼睛跟踪设备、眼睛跟踪方法和计算机可读介质 Download PDFInfo
- Publication number
- CN117377928A CN117377928A CN202280033424.0A CN202280033424A CN117377928A CN 117377928 A CN117377928 A CN 117377928A CN 202280033424 A CN202280033424 A CN 202280033424A CN 117377928 A CN117377928 A CN 117377928A
- Authority
- CN
- China
- Prior art keywords
- eye
- information
- flash
- radiation
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000005855 radiation Effects 0.000 claims abstract description 75
- 230000003287 optical effect Effects 0.000 claims abstract description 34
- 210000004087 cornea Anatomy 0.000 claims abstract description 14
- 230000008859 change Effects 0.000 claims abstract description 11
- 210000001508 eye Anatomy 0.000 claims description 113
- 238000013528 artificial neural network Methods 0.000 claims description 26
- 210000001747 pupil Anatomy 0.000 claims description 22
- 230000000306 recurrent effect Effects 0.000 claims description 7
- 230000015654 memory Effects 0.000 claims description 4
- 210000000744 eyelid Anatomy 0.000 claims description 3
- 210000005252 bulbus oculi Anatomy 0.000 claims 2
- 230000002123 temporal effect Effects 0.000 claims 1
- 239000011159 matrix material Substances 0.000 description 18
- 238000010801 machine learning Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000004279 orbit Anatomy 0.000 description 1
- 239000011368 organic material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
- A61B3/152—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Ophthalmology & Optometry (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明涉及一种眼睛跟踪设备、一种眼睛跟踪方法和一种计算机可读介质。1.眼睛跟踪设备包括：基于事件的光学传感器(1)，其配置为接收从用户眼睛(2)反射的辐射，并产生事件(31)的信号流(3)，每个事件(31)对应于检测的在光学传感器(1)的一个或多个像素处接收到的辐射随时间的变化；‑一个或多个闪光源(11、12)，其配置为向用户的眼睛(2)发射辐射，使辐射从眼睛(2)的角膜反射，并由所述基于事件的光学传感器(1)以一个或多个单独闪光的形式接收；‑控制器(4)，其与所述光学传感器(1)连接，并配置为接收来自所述光学传感器(1)的事件(31)的信号流(3)并根据所述事件(31)的信号流(3)生成：‑所述眼睛(2)在第一时间瞬间的注视信息(P)；‑在所述第一时间瞬间的一个或多个闪光的第一闪光信息(M)；以及‑在晚于第一时间瞬间的第二时间瞬间的一个或多个闪光的第二闪光信息(Mt)，并且其中所述控制器(4)配置为根据所述第二闪光信息(Mt)生成所述眼睛(2)在所述第二时间瞬间的预测注视信息(Pt)。
Description
本发明涉及一种眼睛跟踪设备、一种眼睛跟踪方法和一种计算机可读介质。
眼睛跟踪一般是指对被称为用户的人的眼球运动或注视进行监测。当然，用户也可以是任何其他有生命的生物，它们的眼睛可以在眼窝中改变观看方向。
跟踪用户注视的一种可能方法是使用传统的摄像相机或照相机，间隔地获取眼睛的全帧图像或传统帧图像。然后，与相机连接的控制器会分析每个图像帧，以确定拍摄该帧时瞳孔的位置，从而能够推断出用户的视线方向。这种方法需要使用基于帧的摄像头，如摄像相机或照相机，其获取眼睛的图像供控制器分析。这种传统或基于帧的相机通常速度较慢。它们还会生成需要在相机和控制器之间传输的大量数据。
利用基于事件的摄像头或基于事件的传感器(也称为动态视觉传感器(DVS))，可以加快眼睛跟踪过程。EP 3598274 A1描述了由多台相机组成的系统，其中的一台相机是基于事件的相机或DVS。US 10466779 A1描述了一种使用DVS数据的眼睛跟踪系统，并概述了一种将接收到的DVS数据转换为类似于传统帧的强度图像的方法。
WO 2019147677 A1中描述了一种将获取纯粹基于事件的传感器输出与使用卷积神经网络眼睛的机器学习方法相结合以进行眼睛跟踪的方法。其中描述了一种系统，该系统可累积来自事件相机的事件，生成强度图像、频率图像或时间戳图像，随后将这些图像输入神经网络算法，以预测各种注视参数。所述系统采用人工设计的静态累积机制，这是一种常见的众所周知的技术，用于从事件数据中创建强度图像的近似值。欧洲专利申请EP20184020.4中描述了一种改进的将获取纯粹基于事件的传感器输出与使用卷积神经网络的机器学习方法相结合以进行眼睛跟踪的方法眼睛。这种改进的方法包括：接收由基于事件的光学传感器产生的事件信号流，事件信号流是由用户眼睛反射的辐射引起的，并由基于事件的光学传感器接收；通过第一人工神经网络生成推理框架，作为机器学习模块的输入；操作机器学习模块以获得输出数据；从输出数据中提取所需的与所述用户眼睛有关的信息。通过这种方法，尤其可以提取瞳孔的位置或注视方向，下文中称之为“瞳孔提取”。虽然这种方法能更可靠地跟踪眼球运动，但提取过程需要时间，导致延迟相对较高。
因此，本发明的目标是提出一种设备和方法，以便更快地跟踪用户眼睛的运动。
根据本发明，通过提供具有权利要求1特征的眼睛跟踪设备、具有权利要求12特征的眼睛跟踪方法和具有权利要求13特征的计算机可读介质，可以实现这一目标。本发明的更多有利实施方案是从属权利要求的主题。
根据本发明，一种基于事件的光学传感器和一个与传感器相连的控制器。基于事件的光学传感器接收用户眼睛反射的辐射，该传感器配置为产生响应辐射的事件信号流。该信号流被发送到控制器，控制器对信号流进行各种处理，以获得眼睛跟踪处理的结果。因此，控制器可至少包括处理单元和存储器，用于执行下文所述的分析。在下文中，基于事件的光学传感器将被称为事件传感器。
传感器，特别是动态视觉传感器，包括许多排列成阵列的单独的像素，每个像素都有光敏单元或光敏区域。当检测到照射到光敏单元上的入射光发生随时间的变化时，就会产生事件信号，在此称为“事件”。因此，传感器产生的事件的信号流中的每一个事件都对应于在所述光学传感器的一个或多个像素上检测到的接收的辐射随时间的变化。每个事件尤其可以包括阵列中相应像素的位置、显示随时间的变化的极性以及可选的其幅度的指示器，以及发生变化的时间。事件或事件数据作为信号流的一部分被发送到控制器进行进一步处理。
眼睛跟踪设备还包括一个或多个闪光源。闪光源是辐射源，其配置为向用户的眼睛发射辐射，使所述辐射从所述眼睛的角膜反射，并以一个或多个单独闪光的形式被所述事件传感器接收。通常情况下，有8到15个闪光源，在任何给定时间内，眼睛上都会有4到8个闪光，优选是在眼睛的角膜上。
当来自闪光源的反射光和眼睛表面反射的其他辐射照射事件传感器时，控制器接收的信号流可用于获取作为整体的眼睛上的信息以及闪光在眼睛表面或传感器平面上的位置信息。控制器配置为提取注视信息和闪光信息。本发明基于这样一个概念，即在无法获得新提取的注视信息时，利用闪光信息来预测注视信息。换句话说，当控制器提取实际注视信息时，将利用闪光信息来预测两次注视之间的信息。由于与从事件的信号流中提取注视信息相比，从事件信号流中提取闪光信息和从闪光信息中预测注视信息所需的时间更短，因此可以借助预测注视信息以更高的频率更新注视信息，从而减少延迟。
控制器因此配置为生成注视信息和第一闪光信息。生成的注视信息和所述一个或多个闪光的第一闪光信息来自第一时间瞬间。因此，它们是同步或基本同步的。也就是说，它们描述的是第一时间瞬间的注视状态和闪光状态，尤其是闪光的位置。第一时间瞬间尤其可以是来自眼睛并包含注视和闪光信息的辐射到达事件传感器的瞬间。控制器进一步配置为在晚于第一时间瞬间的第二时间瞬间生成所述一个或多个闪光的第二闪光信息。控制器利用第二闪光信息生成眼睛的预测注视信息。这里的预测注视信息不是直接从接收到的信号流中提取的信息(如第一时间瞬间的注视信息)。为了避免混淆，后者在某些时候可能被称为“提取的”注视信息。
根据有利的实施方案，控制器配置为根据所述第二闪光信息、所述注视信息和所述第一闪光信息生成所述预测注视信息。可以利用注视信息和第一闪光信息来找到闪光信息和注视信息之间的关系，从而利用连续确定的第二闪光信息来预测第二时间瞬间的注视信息。
控制器优选配置为根据所述注视信息和所述第一闪光信息确定模型参数，并根据所述第二闪光信息和所述模型参数生成所述预测注视信息。特别是，模型参数可以通过矢量和/或矩阵操作技术获得，其中，注视信息排列在注视矩阵中，第一闪光信息排列在闪光信息矩阵中，而模型参数则以矢量的方式确定。然后，可以使用第二闪光信息矩阵中的第二闪光信息和模型参数计算出预测注视信息矩阵。下一步，可从预测注视信息矩阵中提取预测注视信息。
根据优选的实施方案，控制器配置为重复生成注视信息和相应的第一闪光信息，并根据先前生成的多个注视信息和相应的第一闪光信息更新所述模型参数。在这种情况下，以前尤其是指作为模型参数基础的注视信息和相应的第一闪光信息是在更新模型参数之前获得的。换句话说，如前所述，控制器在第一时间瞬间生成注视信息和第一闪光信息。然后，控制器在第二时间瞬间生成进一步的注视信息和进一步的第一闪光信息，第二时间瞬间晚于第一时间瞬间。与第一时间瞬间一样，进一步的注视信息和进一步的闪光信息来自第二时间瞬间尤其意味着：来自眼睛并包含进一步注视信息和闪光信息的辐射在第二时间瞬间到达事件传感器。在一方面生成注视和第一闪光信息与另一方面生成进一步的注视和第一闪光信息之间，控制器将生成至少一个，但优选是两个或多个预测注视信息。
需要说明的是，第一闪光信息特指与注视信息同时提取的闪光信息。提取的注视信息和提取的第一闪光信息都是训练模型的输入数据的一部分，下文将进一步介绍。这也适用于任何进一步的第一闪光信息，这些信息也会与相应的注视信息配对，并添加到训练数据中，用于训练或更新模型。另一方面，第二闪光信息尤其是没有添加到训练数据中并用作训练或更新模型的闪光信息。例如，这可能是因为不存在对应于注视信息的第二闪光信息(暂时地)。第二闪光信息只用于借助模型预测注视信息，这一点很有优势。
有利地，控制器配置为重复生成注视信息和重复生成预测的注视信息，其中所述预测的注视信息的生成速度至少是所述注视信息生成速度的2倍、3倍、5倍或8倍。例如，注视信息可以每2毫秒(ms)生成一次，而预测注视信息可以每0.5毫秒(ms)生成一次。这意味着在每两次注视信息之间，会发生三次注视信息预测。因此，在这种情况下，预测注视信息的生成速度是提取注视信息生成速度的三倍。
如果使用多个闪光源，它们优选能在不同位置产生多个闪光，特别是在眼睛表面的不同位置和/或在光学传感器感应平面的不同位置。优选使用5到20个闪光源，最好是8到18个闪光源，更理想的是10到15个闪光源。在任何给定时间内，光学传感器所能看到的闪光数量通常远远低于所使用的闪光源数量。例如，当眼睛跟踪设备包括12个闪光源时，通常在任何给定时间内，设备都能检测到大约6个闪光源。
优选地，所述一个或多个闪光源配置为向眼睛发射时间调制辐射。通过锁定辐射被调制时所使用的调制频率，控制器可以更好地区分来自闪光源的辐射和从眼睛反射或以其他方式到达光学传感器的其他辐射，从而改进闪光提取。调制频率优选在0.2kHz到5kHz之间，更优选的是在0.5kHz到2kHz之间。
眼睛跟踪设备优选包括至少两个闪光源，它们配置为向所述眼睛发射时间调制辐射，其中一个闪光源的辐射与另一个闪光源的辐射具有不同的调制频率。当使用三个或更多闪光源时，闪光源的调制频率可能互不相同。或者，在调制频率互不相同的闪光源时，可以有一组或多组闪光源，其中一组中的闪光源的调制频率基本相同。调制频率或上述任何一种调制频率对于控制器来说既可以是已知的，也可以是未知的。
控制器优选配置为仅根据事件信号流生成所述注视信息，而无需访问传统基于帧的相机收集的图像帧。有利的是，所述控制器被配置为利用机器学习模块生成所述注视信息。特别是，控制器配置为利用人工神经网络(例如递归神经网络，优选是具有至少一个记忆层的递归神经网络)生成所述注视信息。控制器可利用人工神经网络生成推理框架，然后将生成的推理框架交给机器学习模块。在本实施方案中，人工神经网络用于将事件流转化为推理框架，然后由机器学习模块处理。或者，控制器可配置为使用人工设计的静态累积机制，从事件数据中创建推理框架，从而输入机器学习模块。EP20184020.4中详细描述了这种人工神经网络的使用方法，其全文作为参考纳入本文。
递归神经网络，简称RNN，特别是指RNN的最后输出以某种方式反馈回或输入到RNN，例如在最后一层、第一层和/或两者之间的某一层。有利的是，RNN的输出会反馈回到RNN的输入。特别是，在执行一次RNN算法后，RNN的输出可在连续执行RNN算法期间用作RNN的多个输入之一。
人工神经网络可包括多个层，其中一个、两个或更多层可以是卷积层。如果人工神经网络是RNN，那么它也可以被称为卷积递归神经网络。人工神经网络还可以包括连接层，特别是作为第一层，以便将执行后的输出和新输入连接起来，用于神经网络算法的连续执行。此外，神经网络还可包括一个、两个或更多个非线性激活函数，特别是整流层和/或归一化层。
人工神经网络的一个、两个或更多个层优选是记忆化层。记忆化层存储该层最近一次传递的结果，即神经网络算法最近一次执行的结果。记忆化层允许这样一种实现方式，即在每次传递过程中，只更新记忆化层的存储值，这些值取决于输入稀疏张量中的非零张量元素。这种技术大大加快了神经网络推理的速度，在某些实施例中，还能为连续的机器学习模块带来更高质量的推理帧。
利用一个或多个记忆化层的原理是，当上一层的变化很小时，只需更新受影响的神经网络内部值/状态就足够。这可以减少更新神经网络状态的处理量。除了卷积层之外，非线性激活函数和/或归一化层也可以进行记忆化。有利的是，每个卷积层和/或每个非线性激活函数都可以是记忆化的类型。在这种情况下，每一层中只更新受输入变化直接影响的值。
根据优选的实施方案，机器学习模块包括另一个人工神经网络。
根据有利的实施方案，所述控制器配置为借助基于频率的算法生成所述第一闪光信息和/或所述第二闪光信息。特别是，这种基于频率的算法可以通过使用离散傅里叶变换(DFT)对输入进行滤波来实现。
所述注视信息可包括用户的注视方向、用户眼睛的瞳孔中心位置、用户眼睛的瞳孔轮廓和/或用户眼睛的眼睑位置。这些都是眼睛跟踪设备可能感兴趣获取的重要属性。因此，控制器的有利配置是根据所述事件信号流生成一个或多个这些属性。
眼睛跟踪设备的事件传感器可配备光学滤波器(特别是红外线带通滤波器)，以便只探测特定波长范围的辐射，如红外线(IR)辐射。当从眼睛反射的辐射有可能是环境光时，这种方法的缺点是，由于辐射水平可能较低或光干扰，可能会产生伴生信号。因此，有利的是，提供辐射源，该辐射源配置为向用户的眼睛发射辐射，使辐射从眼睛反射并被基于事件的光学传感器接收。为了使辐射源不干扰用户，其产生的辐射应远在可见光范围之外。辐射源最好是红外线(IR)发射器。
所述辐射源进一步配置为使得发射到眼睛的辐射基本上是连续波，和/或发射到眼睛的辐射基本上照亮整个角膜或眼睛的整个暴露表面。控制器可利用这些附加功能来区分来自辐射源的辐射和来自闪光源的辐射。
辐射源和/或闪光源最好由固态元件，特别是发光二极管(LED)组成，和/或包括有机材料，如有机发光二极管(OLED)。
有利的是，眼睛跟踪设备包括可安装在身体上的设备，特别是一个可安装在头部的设备，用于将眼睛跟踪设备安装到使用者的身体上，特别是其头部。这种设备的应用领域可能包括虚拟现实或增强现实，它可以支持实现有注视点渲染。
优选将控制器生成的注视信息和/或预测注视信息发送到计算设备。计算设备可以利用接收到的信息作为输入或多个输入之一，以控制或操纵计算设备上运行的程序、算法和/或流程。在将信息发送到计算设备之前，控制器可以对其进行存储和/或处理。例如，计算设备可以运行虚拟现实程序，控制用户头戴式装置中的屏幕。屏幕上显示的图像和视频可能取决于控制器提供的注视信息和预测注视信息。
根据本发明的另一方面，提供了一种眼睛跟踪方法和计算机可读介质。在眼睛跟踪方法或计算机可读介质中，也可单独或以适当的组合使用上述与眼睛跟踪设备有关的任何功能。
下面将参考附图在下面的描述中对本发明的一些实施实例进行详细说明，其中：
图1显示了根据优选实施方案的眼睛跟踪设备的设置示意图；
图2显示了预测注视信息过程的粗略结构流程图；
图3显示了根据优选实施例的眼睛跟踪设备执行的不同处理步骤的流程图；以及
图4显示了可视化根据优选实施方案的眼睛跟踪设备在流程中的步骤的示意图。
图1以示意图的形式显示了根据优选实施方案安装的眼睛跟踪设备。辐射源10发出的辐射(用虚线表示)从用户的眼睛2上反射出来，用户的眼睛2是要被追踪的。反射的辐射(以虚线表示)入射到基于事件的光学传感器1，或简称的事件传感器1。辐射源10、事件传感器1和用于聚焦辐射的光学透镜(未显示)安装在可安装在头部的设备(未显示)上，如眼镜、虚拟现实(VR)或增强现实(AR)设备。事件传感器1装有红外带通滤波器。眼睛的移动导致用户眼睛2反射的辐射12的光强度发生变化。事件传感器1会捕捉到这些光强度变化或改变。作为回应，事件传感器1会生成光变化事件流3，并将其传输到控制器4进行处理。
这种处理可包括：对事件流3进行预处理，以获得递归神经网络(RNN)的合适输入；对预处理数据执行RNN，以获得推理框架，并执行卷积神经网络(CNN)以估计所需的属性。不过，为了让控制器获得注视信息，还可以采用进一步的附加处理步骤和/或替代处理步骤。还应注意的是，可以利用环境光代替辐射源10，作为被眼睛反射出并由事件传感器1检测到的辐射。
图1中还显示了两个闪光源11、12。这可能只是出于清晰度的考虑，因为通常情况下，闪光源的数量越多越好，例如10、12或14个闪光源。每个闪光源11、12都会向眼睛2发出辐射，图1中以箭头的形式显示了从闪光源11、12到眼睛2的过程。反射光(如箭头所示)离开眼睛，照射到事件传感器1上。基于事件的光学传感器接收来自闪光源11和12的闪光形式的辐射。如果实际上只使用了两个闪光源11、12，那么在任何给定的瞬间，事件传感器1平面上可见的来自眼睛2的角膜21的闪光数量可能为零、一个或两个，这取决于眼睛2、闪光源11、12和事件传感器1相互之间的方位。
由于辐射源10发出的辐射和闪光源11、12发出的辐射都会影响事件传感器，因此事件传感器1产生的事件流3也取决于这两种辐射。控制器4的职责是从事件传感器1接收到的事件流3中提取注视信息和注视信息。
图2中的流程图直观地显示了根据优选实施方案预测注视信息过程的粗略结构。在第一步骤101，控制器接收事件传感器1生成的事件信号流3的形式的事件数据。控制器4从事件数据中提取注视信息(步骤103)，例如瞳孔位置。如前所述，注视信息的提取可以通过提取模块来完成，该模块包括机器学习模块和/或人工神经网络。控制器4进一步从事件数据中提取闪光信息(步骤102)，特别是眼睛2的角膜21上一个或多个闪光的位置。在接下来的步骤104中，利用提取的注视信息和闪光信息计算模型参数。然后可以利用这些模型参数来预测注视信息105，即在没有提取注视信息的时间实例中生成预测注视信息。
下面将讨论与本文所述眼睛跟踪设备有关的一种可能的模型。该模型旨在根据闪光位置预测瞳孔信息。其理念以现场训练为基础。模型的“训练”数据是一组N对数据{Pt，{G1，G2，...，Gn}t}。每对数据包含时间戳t处的瞳孔数据Pt，以及时间戳t处关于n个闪光点的闪光数据G1、G2、......、Gn。瞳孔数据尤其可以描述瞳孔的位置和/或方向，而闪光数据可以描述闪光的位置，其中Gn是第n个闪光的闪光数据。
在积累了适当数量的成对闪光数据/瞳孔数据(每对数据中的闪光数据和瞳孔数据在时间上是一致的)之后，可以根据已检索到的成对数据的数量，用特定参数(例如闪光数量和/或功率)对模型进行初始化。该模型可根据检测到的闪光数量和组合进行持续调整。换句话说，该模型可以根据遇到的任何闪光组合进行更新和预测。
给定一组n个闪光G＝{G1，G2，......，Gn}，利用它们的水平x坐标和垂直y坐标，可以定义数据矩阵V，其由值1和每个闪光在每个时间戳t的x坐标和y坐标交替组成。因此，V的一行可以定义如下：[1,xG1,yG1,xG2,yG2,…,xGn,yGn]。同样，也可以为已知(即提取的)瞳孔数据构建数据矩阵P，该矩阵由给定时间戳t的每一行瞳孔的中心坐标x和y组成。
根据闪光数据矩阵V，可以构建模型矩阵M，其中每一行都是根据特定时间戳t的V的行定义的。例如，模型矩阵M的每一行都可以定义为列举V这一行p个元素的所有乘积组合(其中p是之前定义的模型中的幂次)。下面以n＝2闪光、功率p＝2的模型矩阵M的行作为例子进行说明：
[1xG1 xG1·xG1 xG1·yG1 xG1·xG2 xG1·yG2 yG1 yG1·yG1 yG1·xG2 yG1·yG2 xG2xG2·xG2 xG2·yG2 yG2 yG2·yG2]
该模型最后使用矩阵方程P＝M*β，求解后会产生模型参数β(矢量)，随后用于仅根据提取的闪光信息来预测注视信息。
上述模型参数β的首次计算可视为模型的初始化步骤。初始化后，可通过将所有新的成对的瞳孔数据和闪光数据{Pt',Gt'}添加到现有的“训练”数据中来更新模型。在更新模式下，模型参数β会借助数据矩阵P和模型矩阵M(它们根据新的数据集创建)重新定义。
一旦通过获取模型参数β定义了模型(即初始化)以及每次更新后，该模型就可用于给定时间戳t的任意一组闪光数据，以预测相应的瞳孔数据Pt。在预测阶段，Mt可以通过上述步骤来定义，即准备闪光数据矩阵Vt，并根据最近或最新的闪光集构建模型矩阵Mt。同样，β是最新获得的模型参数。根据这些数据，可以用公式Pt＝Mt*β计算出预测的瞳孔数据。
虽然上述段落提到了瞳孔数据，但Pt实际上可以指任何有用的注视信息的参数，如注视方向、瞳孔中心位置、瞳孔轮廓、眼睑位置等。同样，Gn指的是单个闪光的闪光信息的参数，例如瞳孔或角膜上闪光的位置。在给定时间t(即给定时间戳t)提取的所有闪光信息集合定义为Gt。
图3展示了眼睛跟踪设备实施上述或类似模型的步骤。在初始化步骤201中，对模型进行初始化，特别是通过为模型的各种参数和变量分配参数存储器。模型的初始化还可包括生成空模型，该空模型可预测默认的注视信息，如默认的瞳孔位置。在接下来的步骤202中，模型的输入数据通过从事件信号流3提取注视信息和/或闪光信息(如果可以检测到闪光)而获得。然后确定203是否能提取出至少一个闪光。如果不是这种情况，则流程返回到获取输入数据202的步骤。如果可以提取至少一个闪光，则在下一步骤204中，提取的闪光数量和“训练”数据的大小将作为获得模型度p的基础。由于控制器4会持续监控信号流3，因此可以不断提取新的注视信息和/或闪光信息。如果可以获得任何此类新数据205，那么这些新数据将作为用于训练和更新模型207的训练数据而存储206。
最后，该过程获得的注视信息可输出209为当前或最新注视信息。输出的注视信息可以是直接从信号流3中提取的注视信息，也可以是眼睛跟踪方法中使用的模型预测注视信息。
图4以更直观的方式展示了上述过程。在眼球2内部，瞳孔中心位置23(这是一种可能的注视信息)与分布在眼球2的角膜21上瞳孔周围的闪光22一起显示出来。在标有“a”的眼睛示意图中，瞳孔中心位置23是瞳孔中心的实际位置，与直接从事件传感器1提供的信号流3中提取的注视信息相对应。此外，在标有“a”的示意图中还显示了五个闪光22，其表示从信号流3中提取的闪光信息。由于注视信息和闪光信息的提取是重合的，因此与瞳孔中心位置23(用“+”表示)和五个闪光22(用点表示)相对应的注视信息和闪光信息就形成了一对数据，这对数据要么用于初始化模型，要么被添加到现有数据中并用于更新401模型403。
在后面的步骤中，从标有“b”的眼睛示意图中可以看到，从信号流3中只提取闪光信息。在这个具体的例子中，闪光信息只与角膜上的四个闪光22相对应。在这一步骤中，没有提取注视信息，如通过缺失的“+”可以直观地看出这一点。利用已初始化或更新的模型403(如细实线箭头所示)，提取的闪光信息被用于计算或预测402注视信息，该注视信息为瞳孔中心位置25(用“x”表示)的形式，如标有“c”的示意图所示。
附图标记：
1 基于事件的光学传感器、事件传感器、DVS传感器
10 辐射源、IR发射器
11、12 闪光源
2 用户的眼睛
21 角膜
22 闪光
23 注视信息、瞳孔中心位置
25 预测注视信息、预测瞳孔中心位置
3 事件信号流
4 控制器
P 提取的注视信息
M 第一闪光信息
Pt 预测注视信息
Mt 第二闪光信息
Claims (13)
1.一种眼睛跟踪设备，其包括：
-基于事件的光学传感器(1)，其配置为接收从用户的眼睛(2)反射的辐射，并产生事件(31)的信号流(3)，每个事件(31)对应于检测到的在所述光学传感器(1)的一个或多个像素处对接收到的辐射的随时间的变化；
-一个或多个闪光源(11、12)，其配置为向用户的眼睛(2)发射辐射，使所述辐射从所述眼睛(2)的角膜反射，并由所述基于事件的光学传感器(1)以一个或多个单独闪光的形式接收；
-控制器(4)，其与所述光学传感器(1)连接，并配置为接收来自所述光学传感器(1)的事件(31)的信号流(3)并根据所述事件(31)的信号流(3)生成：
-所述眼睛(2)在第一时间瞬间的注视信息(P)；
-在所述第一时间瞬间的一个或多个闪光的第一闪光信息(M)；以及
-在晚于第一时间瞬间的第二时间瞬间的一个或多个闪光的第二闪光信息(Mt)，
并且其中所述控制器(4)配置为根据所述第二闪光信息(Mt)生成所述眼睛(2)在所述第二时间瞬间的预测注视信息(Pt)。
2.根据权利要求1所述的眼睛跟踪设备，其特征在于，所述控制器(4)配置为根据所述第二闪光信息(Mt)、所述注视信息(P)和所述第一闪光信息(M)生成所述预测注视信息(Pt)。
3.根据权利要求1或2所述的眼睛跟踪设备，其特征在于，所述控制器(4)配置为根据所述注视信息(P)和所述第一闪光信息(M)确定模型参数(β)，并根据所述第二闪光信息(Mt)和所述模型参数(β)生成所述预测注视信息(Pt)。
4.根据权利要求3所述的眼睛跟踪设备，其特征在于，所述控制器(4)配置为重复生成注视信息(P)和相应的第一闪光信息(M)，并根据先前生成的多个注视信息(P)和相应的第一闪光信息(M)更新所述模型参数(β)。
5.根据前述权利要求中任一项所述的眼睛跟踪设备，其特征在于，所述控制器(4)配置为重复生成注视信息(P)和重复生成预测注视信息(Pt)，其中所述预测注视信息(Pt)的生成速度至少是所述注视信息(P)的生成速度的2倍、3倍、5倍或8倍。
6.根据前述权利要求中任一项所述的眼睛跟踪设备，其特征在于，所述一个或多个闪光源配置为向眼睛(2)发射时间调制的辐射。
7.根据权利要求6所述的眼睛跟踪设备，其特征在于，至少两个闪光源(11、12)配置为向所述眼球(2)发射时间调制的辐射，其中来自闪光源(11、12)中的一个的辐射的频率不同于另一个闪光源的辐射的频率。
8.根据前述权利要求中任一项所述的眼睛跟踪设备，其特征在于，所述控制器(4)配置为利用人工神经网络(5)，特别是递归神经网络，优选是具有至少一个记忆层的递归神经网络来生成所述注视信息。
9.根据前述权利要求中任一项所述的眼睛跟踪设备，其特征在于，所述控制器(4)配置为借助基于频率的算法生成所述第一闪光信息(M)和/或所述第二闪光信息(Mt)。
10.根据前述权利要求中任一项所述的眼睛跟踪设备，其特征在于，所述注视信息包括所述用户的注视方向、用户的眼睛的瞳孔中心位置、用户的眼睛的瞳孔轮廓和/或用户的眼睛的眼睑位置。
11.根据前述权利要求中任一项所述的眼睛跟踪设备，其特征在于，辐射源(10)配置为向用户的眼睛(2)发射辐射，使辐射从用户的眼睛(2)反射离开并被所述基于事件的光学传感器(1)接收，其中所述辐射源(10)配置为使得向眼睛(2)发射的辐射是基本上连续的波，和/或向眼球(2)发射的辐射基本上照射整个角膜或眼睛(2)的整个暴露表面。
12.一种眼睛跟踪方法，其包括以下步骤：
-通过一个或多个闪光源(11、12)向用户的眼睛(2)发射辐射，使所述辐射从所述眼睛(2)的角膜反射离开，并以一个或多个单独闪光的形式被基于事件的光学传感器(1)接收；
-接收由基于事件的光学传感器(1)产生的事件(31)的信号流(3)，所述事件(31)的信号流(3)归因于所述基于事件的光学传感器(1)接收的从用户的眼睛(2)反射离开的辐射，每个事件(31)对应于在所述光学传感器(1)的一个或多个像素处检测的接收的辐射随时间的变化；以及
-基于所述事件(31)的信号流(3)，生成：
-所述眼睛(2)在第一时间瞬间的注视信息(P)；
-在所述第一时间瞬间的一个或多个闪光的第一闪光信息(M)；以及
-在晚于第一时间瞬间的第二时间瞬间的一个或多个闪光的第二闪光信息(Mt)，
其中所述眼睛(2)的预测注视信息(Pt)在所述第二时间瞬间根据所述第二闪光信息(Mt)生成。
13.一种计算机可读介质，其包含指令，当指令被计算机或微控制器执行时，该指令使计算机或微控制器执行以下步骤：
-通过一个或多个闪光源(11、12)向用户的眼睛(2)发射辐射，使所述辐射从所述眼睛(2)的角膜反射离开，并以一个或多个单独闪光的形式被基于事件的光学传感器(1)接收；
-接收由基于事件的光学传感器(1)产生的事件(31)的信号流(3)，所述事件(31)的信号流(3)归因于所述基于事件的光学传感器(1)接收的从用户的眼睛(2)反射离开的辐射，每个事件(31)对应于检测到的在所述光学传感器(1)的一个或多个像素处接收的辐射随时间的变化；以及
-基于所述事件(31)的信号流(3)，生成：
-所述眼睛(2)在第一时间瞬间的注视信息(P)；
-在所述第一时间瞬间的一个或多个闪光的第一闪光信息(M)；以及
-在晚于第一时间瞬间的第二时间瞬间的一个或多个闪光的第二闪光信息(Mt)，
其中所述眼睛(2)的预测注视信息(Pt)在所述第二时间瞬间根据所述第二闪光信息(Mt)生成。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP21183557.4 | 2021-07-02 | ||
| EP21183557.4A EP4113252A1 (en) | 2021-07-02 | 2021-07-02 | Eye tracking device, eye tracking method, and computer-readable medium |
| PCT/EP2022/067614 WO2023274981A1 (en) | 2021-07-02 | 2022-06-27 | Eye tracking device, eye tracking method, and computer-readable medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117377928A true CN117377928A (zh) | 2024-01-09 |
Family
ID=76764968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280033424.0A Pending CN117377928A (zh) | 2021-07-02 | 2022-06-27 | 眼睛跟踪设备、眼睛跟踪方法和计算机可读介质 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP4113252A1 (zh) |
| KR (1) | KR20230164189A (zh) |
| CN (1) | CN117377928A (zh) |
| WO (1) | WO2023274981A1 (zh) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10466779B1 (en) | 2017-07-24 | 2019-11-05 | Facebook Technologies, Llc | Event camera for eye tracking |
| CN111263925B (zh) * | 2017-09-28 | 2022-06-14 | 苹果公司 | 用于使用事件相机数据的眼动跟踪的方法和设备 |
| US11442539B2 (en) | 2018-01-24 | 2022-09-13 | Apple Inc. | Event camera-based gaze tracking using neural networks |
| US10417784B1 (en) * | 2018-06-29 | 2019-09-17 | Facebook Technologies, Llc | Boundary region glint tracking |
| US10795435B2 (en) | 2018-07-19 | 2020-10-06 | Samsung Electronics Co., Ltd. | System and method for hybrid eye tracker |
-
2021
- 2021-07-02 EP EP21183557.4A patent/EP4113252A1/en active Pending
-
2022
- 2022-06-27 KR KR1020237038607A patent/KR20230164189A/ko unknown
- 2022-06-27 CN CN202280033424.0A patent/CN117377928A/zh active Pending
- 2022-06-27 WO PCT/EP2022/067614 patent/WO2023274981A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230164189A (ko) | 2023-12-01 |
| WO2023274981A1 (en) | 2023-01-05 |
| EP4113252A1 (en) | 2023-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6902075B2 (ja) | 構造化光を用いた視線追跡 | |
| US11861873B2 (en) | Event camera-based gaze tracking using neural networks | |
| US10257507B1 (en) | Time-of-flight depth sensing for eye tracking | |
| EP2467805B1 (en) | Method and system for image analysis | |
| US7783077B2 (en) | Eye gaze tracker system and method | |
| CN108170279B (zh) | 头显设备的眼动和头动交互方法 | |
| US7517085B2 (en) | Method and apparatus for eye tracking latency reduction | |
| WO2019028152A1 (en) | OCULAR TRACKING USING TEMPORAL MULTIPLEXING | |
| JP6583734B2 (ja) | 角膜反射位置推定システム、角膜反射位置推定方法、角膜反射位置推定プログラム、瞳孔検出システム、瞳孔検出方法、瞳孔検出プログラム、視線検出システム、視線検出方法、視線検出プログラム、顔姿勢検出システム、顔姿勢検出方法、および顔姿勢検出プログラム | |
| CN110427823A (zh) | 基于视频帧与脉冲阵列信号的联合目标检测方法与装置 | |
| CN113419624B (zh) | 一种基于头部时序信号校正的眼动交互方法及装置 | |
| Agarkhed et al. | Human computer interaction system using eye-tracking features | |
| CN117377928A (zh) | 眼睛跟踪设备、眼睛跟踪方法和计算机可读介质 | |
| JP6900994B2 (ja) | 視線検出装置及び視線検出方法 | |
| JPH04260979A (ja) | 移動物体の検出追跡システム | |
| CN112752003A (zh) | 一种补光方法、装置、补光设备和监控设备 | |
| US20230266818A1 (en) | Eye tracking device, eye tracking method, and computer-readable medium | |
| JP2991134B2 (ja) | 画面上の注視点検出システム | |
| Ferhat et al. | Eye-tracking with webcam-based setups: Implementation of a real-time system and an analysis of factors affecting performance | |
| EP3984449B1 (en) | System and method for determining heart beat features | |
| Watanabe et al. | Gaze-contingent visual presentation based on remote saccade detection | |
| US20230169782A1 (en) | Cabin monitoring and situation understanding perceiving method and system thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |