CN111753628A - 训练眼睛跟踪模型 - Google Patents

训练眼睛跟踪模型 Download PDF

Info

Publication number
CN111753628A
CN111753628A CN202010212524.2A CN202010212524A CN111753628A CN 111753628 A CN111753628 A CN 111753628A CN 202010212524 A CN202010212524 A CN 202010212524A CN 111753628 A CN111753628 A CN 111753628A
Authority
CN
China
Prior art keywords
eye tracking
eye
sensor
data
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010212524.2A
Other languages
English (en)
Other versions
CN111753628B (zh
Inventor
卡尔·阿斯普伦德
帕特里克·巴克曼
安德斯·达尔
奥斯卡·丹尼尔森
托马索·马蒂尼
马尔滕·尼尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Priority to CN202210038880.6A priority Critical patent/CN114495251A/zh
Publication of CN111753628A publication Critical patent/CN111753628A/zh
Application granted granted Critical
Publication of CN111753628B publication Critical patent/CN111753628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/003—Bistatic radar systems; Multistatic radar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/282—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4008—Means for monitoring or calibrating of parts of a radar system of transmitters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

公开了一种用于训练眼睛跟踪模型(710)的方法(300)、以及相应的系统(400)和存储介质。该眼睛跟踪模型被适配用于基于来自第一眼睛跟踪传感器(411)的传感器数据(709)来预测眼睛跟踪数据。该方法包括：接收(301)由该第一眼睛跟踪传感器在某个时刻获得的传感器数据；以及接收(302)由包括第二眼睛跟踪传感器(421)的眼睛跟踪系统(420)针对该时刻生成的参考眼睛跟踪数据。该参考眼睛跟踪数据是由该眼睛跟踪系统基于由该第二眼睛跟踪传感器在该时刻获得的传感器数据来生成的。该方法包括基于由该第一眼睛跟踪传感器在该时刻获得的该传感器数据以及所生成的参考眼睛跟踪数据来训练(303)该眼睛跟踪模型。

Description

训练眼睛跟踪模型
技术领域
本公开内容总体上涉及眼睛跟踪。
背景技术
已经研发了用于监测用户正在看向哪个方向(或显示器上的哪个点)的多种不同技术。这通常被称为注视跟踪。此类技术通常涉及在眼睛图像中检测某些特征，并且然后基于这些检测到的特征的位置来计算注视方向或注视点。这种注视跟踪技术的示例是瞳孔中心角膜反射(PCCR)。基于PCCR的注视跟踪采用瞳孔中心的位置和闪光点(发光装置在角膜处的反射)的位置来计算眼睛的注视方向或显示器上的注视点。
在此背景下经常采用的另一个术语是“眼睛跟踪”。尽管在许多情况下可以将术语“眼睛跟踪”用作注视跟踪的别名，但眼睛跟踪并不一定涉及对(例如，注视方向或注视点的形式的)用户注视的跟踪。眼睛跟踪可以例如涉及对眼睛在空间中的位置的跟踪，而不是实际地跟踪眼睛的注视方向或注视点。
作为诸如基于PCCR的眼睛跟踪等常规技术的替代方案(或补充方案)，可以采用机器学习来训练用于执行眼睛跟踪的算法。例如，机器学习可以采用眼睛图像形式的训练数据以及相关联的已知注视点来训练该算法，使得经训练的算法可以基于眼睛图像来实时地执行眼睛跟踪。这种机器学习通常需要大量的训练数据来正常工作。可能需要花费相当多的时间和/或资源来收集训练数据。在许多情况下，对训练数据可能会有某些要求。训练数据应该例如优选地反映眼睛跟踪算法应该能够处理的所有那些类型的情况/情形。如果训练数据中仅表示了某些类型的情况/情形(例如，仅很小的注视角度、或仅被良好照亮的图像)，则眼睛跟踪算法针对此类情况/情形可以表现良好，但针对在训练阶段期间未涉及的其他情况/情形可能表现不那么良好。
期望提供新的方式来解决上述问题中的一个或多个问题。
发明内容
提供了具有在独立权利要求中定义的特征的方法、系统和计算机可读存储介质，以解决上述问题中的一个或多个问题。在从属权利要求中定义了优选的实施例。
因此，第一方面提供了用于训练眼睛跟踪模型的方法的实施例。该眼睛跟踪模型被适配用于基于来自第一眼睛跟踪传感器的传感器数据来预测眼睛跟踪数据。该方法包括：接收由该第一眼睛跟踪传感器在某个时刻获得的传感器数据；以及接收由包括第二眼睛跟踪传感器的眼睛跟踪系统针对该时刻生成的参考眼睛跟踪数据。该参考眼睛跟踪数据是由该眼睛跟踪系统基于由该第二眼睛跟踪传感器在该时刻获得的传感器数据来生成的。该方法包括基于由该第一眼睛跟踪传感器在该时刻获得的该传感器数据以及所生成的参考眼睛跟踪数据来训练该眼睛跟踪模型。
如前面在背景技术章节中所描述的，可能需要花费相当多的时间和/或资源来收集传统的训练数据。来自已工作的眼睛跟踪系统的参考眼睛跟踪数据可以用作这种传统训练数据的替代方案或补充方案，以训练眼睛跟踪模型。
将理解的是，眼睛跟踪数据(诸如预测眼睛跟踪数据或参考眼睛跟踪数据)可以例如指示眼睛在显示器上的注视点、和/或注视向量、和/或眼睛在空间中的位置。
第二方面提供了用于训练眼睛跟踪模型的系统的实施例。该眼睛跟踪模型被适配用于基于来自第一眼睛跟踪传感器的传感器数据来预测眼睛跟踪数据。该系统包括处理电路系统(或者一个或多个处理器)，该处理电路系统被配置用于：接收由该第一眼睛跟踪传感器在某个时刻获得的传感器数据；并且接收由包括第二眼睛跟踪传感器的眼睛跟踪系统针对该时刻生成的参考眼睛跟踪数据。该参考眼睛跟踪数据是由该眼睛跟踪系统基于由该第二眼睛跟踪传感器在该时刻获得的传感器数据来生成的。该处理电路系统被配置用于基于由该第一眼睛跟踪传感器在该时刻获得的该传感器数据以及所生成的参考眼睛跟踪数据来训练该眼睛跟踪模型。
该处理电路系统(或者一个或多个处理器)可以例如被配置用于执行如本文(换言之，在权利要求、发明内容、具体实施方式或附图说明中)所公开的第一方面的任何实施例中所定义的方法。该系统可以例如包括存储有指令的一个或多个非暂时性计算机可读存储介质(或者一个或多个存储器)，这些指令在由该处理电路系统(或者一个或多个处理器)执行时使该系统执行如本文所公开的第一方面的任何实施例中所定义的方法。
在本公开内容中针对根据第一方面的方法的实施例呈现的效果和/或优点同样可以适用于根据第二方面的系统的相应实施例。
第三方面提供了一种非暂时性计算机可读存储介质的实施例，该存储介质存储有用于训练眼睛跟踪模型的指令。该眼睛跟踪模型被适配用于基于来自第一眼睛跟踪传感器的传感器数据来预测眼睛跟踪数据。这些指令当由系统执行时使该系统执行以下操作：
·接收由该第一眼睛跟踪传感器在某个时刻获得的传感器数据；
·接收由包括第二眼睛跟踪传感器的眼睛跟踪系统针对该时刻生成的参考眼睛跟踪数据，其中，该参考眼睛跟踪数据是由该眼睛跟踪系统基于由该第二眼睛跟踪传感器在该时刻获得的传感器数据来生成的；以及
·基于由该第一眼睛跟踪传感器在该时刻获得的该传感器数据以及所生成的参考眼睛跟踪数据来训练该眼睛跟踪模型。
该非暂时性计算机可读存储介质可以例如存储有指令，这些指令当由系统(或由该系统中包含的处理电路系统)执行时使该系统执行如本文(换言之，权利要求、发明内容、附图说明或具体实施方式中)所公开的第一方面的任何实施例中所定义的方法。
该非暂时性计算机可读存储介质可以例如设置在计算机程序产品中。换言之，计算机程序产品可以例如包括存储有指令的非暂时性计算机可读存储介质，这些指令当由系统执行时使该系统执行如本文所公开的第一方面的任何实施例中所定义的方法。
在本公开内容中针对根据第一方面的方法的实施例所呈现的效果和/或优点也可以适用于根据第三方面的非暂时性计算机可读存储介质的相应实施例。
应注意的是，本公开内容的实施例涉及权利要求中所引用的特征的所有可能的组合。
附图说明
在下文中，将参考附图更详细地描述示例实施例，在附图中：
图1是眼睛的正视图；
图2是从眼睛的旁侧观察图1的眼睛的横截面图；
图3是根据一实施例的用于训练眼睛跟踪模型的方法的流程图；
图4是根据一实施例的用于训练眼睛跟踪模型的系统的示意性概览；
图5是示例眼睛跟踪系统的示意性概览；
图6是根据一实施例的用于训练眼睛跟踪模型的方法的流程图，该方法包括使用诸如图5中的眼睛跟踪系统等的眼睛跟踪系统；
图7示出了可以由眼睛跟踪模型预测的眼睛跟踪数据的示例；
图8示出了根据一实施例的可以如何在图3和图6的方法中训练眼睛跟踪模型的方案；
图9示出了根据一实施例的可以如何响应于满足某种条件在图3和图6的方法中执行对眼睛跟踪模型的训练的方案；
图10示出了根据一实施例的训练眼睛跟踪模型的方法，该方法包括检测眼睛的特定触发动作；并且
图11是根据一实施例的用于针对检测到的用户训练眼睛跟踪模型的方法的流程图。
所有的图都是示意性的，不一定按比例绘制，并且总体上仅示出了为了阐明各实施例所必需的部分，而其他部分可以被省略或仅被暗示表示。除非另外指出，否则在多个附图中出现的任何附图标记在所有附图中均指相同的对象或特征。
具体实施方式
贯穿本公开内容，术语“眼睛跟踪传感器”涉及被适配用于获得用于眼睛跟踪的传感器数据的传感器。尽管眼睛跟踪传感器可以例如是成像装置(诸如摄像头)，但是也可以采用若干其他类型的传感器来进行眼睛跟踪。例如，眼睛跟踪传感器可以采用光、声音、磁场或电场来获得传感器数据，该传感器数据(例如，结合来自其他传感器的传感器数据)可被用于确定眼睛所在的位置和/或眼睛正在注视的方向。眼睛跟踪传感器可以例如被布置用于(或被配置用于)监测眼睛。眼睛跟踪传感器可以例如被布置用于(或被配置用于)当被指示执行测量(或获得传感器数据)时才这么做。换言之，眼睛跟踪传感器不一定对眼睛执行恒定/持续的监测。
贯穿本公开内容，术语“成像装置”涉及被适配用于捕获图像的装置。成像装置可以例如是图形传感器或摄像头，诸如电荷耦合器件(CCD)摄像头或互补金属氧化物半导体(CMOS)摄像头。然而，也可以设想其他类型的成像装置。
方法、系统以及相关联的存储介质的实施例将在下文参考图3至图11进行描述。首先，将参考图1至图2描述眼睛的某些特征。
图1是眼睛100的正视图。图2是从眼睛100的旁侧观察到的眼睛100的横截面图。虽然图2差不多示出了整只眼睛100，但是图1中所给出的正视图仅示出了眼睛100的、通常从人脸的前方可见的那些部分。眼睛100具有瞳孔101，该瞳孔具有瞳孔中心102。眼睛100还具有虹膜103和角膜104。角膜104位于瞳孔101和虹膜103的前面。角膜104是弯曲的并且具有曲率中心105，该曲率中心被称为角膜曲率中心105或者简称为角膜中心105。角膜104的曲率半径106被称为角膜104的半径106，或者简称为角膜半径106。眼睛100还具有巩膜107。眼睛100具有中心108，该中心也可以被称为眼球的中心108或者简称为眼球中心108。眼睛100的视轴109穿过眼睛100的中心108到达眼睛100的中央凹110。眼睛100的光轴111穿过瞳孔中心102和眼睛100的中心108。视轴109相对于光轴111形成角度112。在视轴109与光轴111之间的偏差或偏移通常被称为中央凹偏移112。在图2所示的示例中，眼睛100正看向显示器113，并且眼睛100正注视着显示器113上的注视点114。图1还示出了发光装置在角膜104处的反射115。这种反射115也被称为闪光点115。
对基于机器学习(ML)的眼睛跟踪算法进行训练通常需要利用基础事实信息(诸如注视起点(3D眼睛位置)、注视方向、屏幕上的注视点等)来注释的非常大量的眼睛图像。在传统的数据收集中，要求测试受试者看着显示器上具有已知位置的点以收集基础事实注视数据。这种方法存在若干问题：
·测试受试者与计算机的交互通常变得不自然，并且因此训练数据无法捕获对于机器学习的成功很重要的真实生活行为。
·测试必须由测试负责人监管，以管理数据收集应用并向测试受试者解释测试期间的行为方式。这使得即使不计算给予测试受试者的补偿，数据收集也相当昂贵。
·从“需要数据”到“完成数据收集”的等待时间可能很长(在某些情况下为几个月)，因为传统的数据收集需要设置数据收集工具、数据收集的顺序、以及对数据收集资源的分配。
·看着显示器上的小点非常无聊，并且测试受试者注意力经常会分散，从而导致不良数据。
·在传统的数据收集期间，只能为每个人做很短的记录(由于注意力会分散，并且因为测试受试者在数据收集期间不能做别的任何事)。
·可能难以或甚至无法准确测量某些信息。例如，可能难以测量从用户到眼睛跟踪器的距离。
如果替代地使用常规的、经校准的眼睛跟踪器来提供这种基础事实数据，则数据收集将几乎没有任何开销，并且会产生大量的自然(真实生活情景下的)训练数据。可以让用户可以在他/她的计算机前正常工作，同时基于ML的眼睛跟踪器收集带有时间戳的传感器数据(诸如图像)，并且参考眼睛跟踪器收集基础事实信息(诸如注视点、眼睛的3D位置、注视方向等)。这样的系统可以在测试受试者的计算机上在后台运行。在工作日结束时，将收集到可以用于训练基于ML的算法的大量带注释的数据。
因此，提出了一种用于训练眼睛跟踪模型的方法。图3是这种方法300的实施例的流程图。在本实施例中，眼睛跟踪模型被适配用于基于来自第一眼睛跟踪传感器的传感器数据来预测眼睛跟踪数据。换言之，眼睛跟踪模型被配置用于使用来自第一眼睛跟踪传感器的传感器数据、或使用来源于此类传感器数据的信息来预测或估计眼睛跟踪数据。眼睛跟踪模型可以例如被视为函数(或映射)，该函数(或映射)接收来自第一眼睛跟踪传感器的传感器数据作为输入(并且其还可选地接收进一步的输入数据)并且提供预测的眼睛跟踪数据作为输出。
在方法300中训练的眼睛跟踪模型可以例如是基于机器学习(ML)的眼睛跟踪模型。眼睛跟踪模型可以例如是基于人工神经网络(诸如卷积神经网络)。然而，眼睛跟踪模型也可以是更传统的模型，其可以例如通过对一组参数的值的传统优化来被训练。
方法300包括接收301由第一眼睛跟踪传感器在某个时刻(或在某个时间点)获得的传感器数据。换言之，在由第一眼睛跟踪传感器在某个时刻或时间点获得(或生成)了传感器数据之后，接收301该传感器数据。第一眼睛跟踪传感器可以例如是成像装置。然而，如上所述，也可以设想若干其他类型的眼睛跟踪传感器。
方法300包括接收302由包括第二眼睛跟踪传感器的眼睛跟踪系统针对该时刻生成的参考眼睛跟踪数据。该参考眼睛跟踪数据是由眼睛跟踪系统基于由第二眼睛跟踪传感器在该时刻(换言之，在所接收301的传感器数据被第一眼睛跟踪传感器获得的时间点)获得的传感器数据而生成的。第二眼睛跟踪传感器可以例如是成像装置。然而，如上所述，也可以设想若干其他类型的眼睛跟踪传感器。将理解的是，第二眼睛跟踪传感器不同于第一眼睛跟踪传感器。换言之，第一眼睛跟踪传感器和第二眼睛跟踪传感器不一致，但它们可以例如属于相似的类型。
方法300包括基于由第一眼睛跟踪传感器在该时刻获得的传感器数据、以及所生成的参考眼睛跟踪数据来训练303眼睛跟踪模型。该训练可以例如包括调整眼睛跟踪模型的一个或多个参数的值。
将理解的是，在步骤301处接收到的传感器数据以及在步骤302处接收到的参考眼睛跟踪数据所基于的传感器数据并不一定是由第一眼睛跟踪传感器和第二眼睛跟踪传感器在完全相同的时刻获得的。换言之，这两组传感器数据可以由对应的眼睛跟踪传感器在大致相同的时刻获得，但是，这两组传感器数据之间当然可能会存在微小的偏差或时间不匹配。将理解的是，只要这样的偏差非常小以至于在这个非常短的时间段期间眼睛尚未过多地移动(或尚未重新定向)，则训练303眼睛跟踪模型的步骤就不会受到这种不匹配的明显影响。
图4是根据一实施例的用于训练眼睛跟踪模型的系统400的示意性概览。系统400可以例如执行前面参考图3所描述的方法300。
考虑以下情形。你具有良好作用的眼睛跟踪系统420，该眼睛跟踪系统包括眼睛跟踪传感器421和用于对传感器数据进行分析以生成眼睛跟踪数据(诸如，眼睛100在空间中的估计位置、或眼睛100的估计注视点)的装置。你具有新的眼睛跟踪系统410，该新的眼睛跟踪系统包括眼睛跟踪传感器411，但该新的眼睛跟踪系统尚不能够基于来自眼睛跟踪传感器411的传感器数据来生成准确的注视跟踪数据。旧的眼睛跟踪系统420中所采用的软件或算法对于新的眼睛跟踪系统410并不是那么有用，其原因在于诸如：
·新的眼睛跟踪系统410使用与旧的眼睛跟踪系统420所使用的不同类型的眼睛跟踪传感器411，或者
·旧的眼睛跟踪系统420配备有在新的眼睛跟踪系统410中不可用的发光装置422，或者
·发光装置412在眼睛跟踪系统410中可用，但与旧的眼睛跟踪系统420相比位于相对于眼睛跟踪传感器411的不同位置处。
因此，与其在新的眼睛跟踪系统410中重使用来自旧的眼睛跟踪系统420的软件，倒不如采用旧的眼睛跟踪系统420来提供用于训练新的眼睛跟踪系统410的基础事实数据。新的眼睛跟踪系统410配备有眼睛跟踪模型，该眼睛跟踪模型被适配用于基于由眼睛跟踪传感器411获得的传感器数据来预测眼睛跟踪数据。然后，可以采用前面参考图3所描述的方法300以使用旧的眼睛跟踪系统420生成参考眼睛跟踪数据来训练新的眼睛跟踪系统410的眼睛跟踪模型。在方法300的术语中，眼睛跟踪传感器411是获得了在步骤301处接收的传感器数据的第一眼睛跟踪传感器的示例，并且旧的眼睛跟踪系统420是生成了在步骤302处接收的参考眼睛跟踪数据的眼睛跟踪系统的示例。进一步，眼睛跟踪传感器421是方法300中所引用的第二眼睛跟踪系统的示例。
系统400包括处理电路系统430，该处理电路系统被配置用于执行方法300以训练新的眼睛跟踪系统410的眼睛跟踪模型。
处理电路系统430可以例如包括一个或多个处理器431。(多个)处理器431可以例如是被配置用于执行特定方法(诸如方法300)的专用集成电路(ASIC)。可替代地，(多个)处理器431可以被配置用于执行存储在一个或多个存储器432中的指令(例如，呈计算机程序的形式)。这样的一个或多个存储器432可以例如包括在系统400的处理电路系统430中，或者可以处于系统400的外部(例如，远离该系统)。该一个或多个存储器432可以例如存储用于使系统500执行方法300的指令。
处理电路系统430可以例如经由有线连接和/或无线连接通信地连接至旧的眼睛跟踪系统420和新的眼睛跟踪系统410(或至少连接至新的眼睛跟踪系统410中的眼睛跟踪传感器411)。
旧的眼睛跟踪系统420可以例如是基于PCCR的眼睛跟踪系统。换言之，眼睛跟踪系统420可能已经基于相对于眼睛跟踪传感器421(其在这种情况下是成像装置)在已知位置处的发光装置422的角膜反射的图像位置、以及瞳孔中心的图像位置生成了参考眼睛跟踪数据，该参考眼睛跟踪数据在方法300中的步骤302处被接收。
旧的眼睛跟踪系统420可以例如包括比新的眼睛跟踪系统410更多的眼睛跟踪传感器、或更先进的眼睛跟踪传感器、或更多的发光装置。通过使用更先进的眼睛跟踪系统420来训练新的眼睛跟踪系统410，可以获得具有相对较便宜的部件的眼睛跟踪系统410，所获得的眼睛跟踪系统几乎能够与更先进的眼睛跟踪系统420一样好地工作。
在图4中所示出的示例实施方式中，旧的眼睛跟踪系统420中的眼睛跟踪传感器421是成像装置(诸如摄像头)，并且提供了一个或多个发光装置422至424用于照亮眼睛100。在本示例实施方式中，新的眼睛跟踪系统410中的眼睛跟踪传感器411也是成像装置。来自旧的眼睛跟踪系统420中的发光装置422的光428经由眼睛100的角膜处的反射到达旧的眼睛跟踪系统420中的成像装置421。然而，来自旧的眼睛跟踪系统420中的发光装置422的光429也可以到达新的眼睛跟踪系统420中的成像装置411，这可能会对由新的眼睛跟踪系统410中的成像装置411捕获的图像造成干扰。因此，可以采用滤光片415来防止来自发光装置422的光429到达成像装置411。
因此，根据一些实施例，旧的眼睛跟踪系统420包括发光装置422，该发光装置输出一定波长范围内的光428以照亮眼睛100，并且旧的眼睛跟踪系统420的眼睛跟踪传感器421基于该波长范围内的光来提供传感器数据。新的眼睛跟踪系统410的眼睛跟踪传感器411可以设置有用于抑制该波长范围内的光的滤光片415。
由发光装置422发射的光可以例如是波长相对较长的光，并且滤光片415可以是允许短波长通过的滤光片。可替代地，由发光装置422发射的光可以例如是波长相对较短的光，并且滤光片415可以是允许长波长通过的滤光片。如果由发光装置422发射的光不限于某个波长范围，则可以例如在发光装置422的前面设置滤光片426，以便抑制在前述某个波长范围之外的光。
类似地，如果新的眼睛跟踪系统410包括用于照亮眼睛100的一个或多个发光装置412至413，则旧的眼睛跟踪系统420中的眼睛跟踪传感器421可以设置有用于抑制来自新的眼睛跟踪系统410中的发光装置的光的滤光片427。由发光装置412发射的光可以例如是波长相对较长的光，并且滤光片427可以是允许短波长通过的滤光片。可替代地，由发光装置412发射的光可以例如是波长相对较短的光，并且滤光片427可以是允许长波长通过的滤光片。如果由发光装置412发射的光不限于某个波长范围，则可以在发光装置412的前面设置滤光片415，以便抑制在前述某个波长范围之外的光。
以此方式，防止了这两个眼睛跟踪系统410和420彼此干扰。换言之，旧的眼睛跟踪系统420可以采用第一波长范围(例如，大约940nm)内的光，而新的眼睛跟踪系统采用第二波长范围(例如，大约850nm)内的光，该第二波长范围不与该第一波长范围重叠。
如图4所示，旧的眼睛跟踪系统420和/或新的眼睛跟踪系统410可以包括一个或多个发光装置。发光装置可以例如为红外或近红外发光装置，例如呈发光二极管(LED)的形式。然而，也可以设想其他类型的发光装置。
如图4所示，旧的眼睛跟踪系统420可以例如包括在其上安装眼睛跟踪传感器421和发光装置422至424的构件425(例如，电路板(诸如印刷电路板PCB))。类似地，新的眼睛跟踪系统410可以例如包括在其上安装眼睛跟踪传感器411和发光装置412至413的构件414(例如，电路板(诸如PCB))。
将理解的是，系统400不一定包括图4所示的所有部件。例如，系统400可以仅包括处理电路系统431，而图4所示的其余部件可以被认为位于系统400的外部。在一些实施例中，系统400包括用于生成在方法300中的步骤302处接收的参考眼睛跟踪数据的眼睛跟踪系统420。在一些实施例中，系统400包括用于获得在方法300中的步骤301处接收的传感器数据的眼睛跟踪传感器411。
眼睛跟踪系统420和眼睛跟踪系统410可以例如以两个分立的单元或装置的形式来提供，这些分立的单元或装置可以例如可安装在显示设备处以执行眼睛跟踪。
图5是示例眼睛跟踪系统500的示意性概览。图4中的旧眼睛跟踪系统420和/或新眼睛跟踪系统410可以例如属于以下参考图5所描述的类型。
系统500包括用于照亮眼睛100的一个或多个发光装置501、以及用于在眼睛100看着显示器503时捕获眼睛100的图像的一个或多个成像装置502。系统500还包括被配置用于估计眼睛100所在的位置和/或眼睛100看着何处的处理电路系统504。处理电路系统504可以例如估计眼睛跟踪数据，例如眼睛100的注视方向(或注视向量)(对应于视轴109的方向)，或者估计眼睛100在显示器503上的注视点508。换言之，眼睛跟踪系统500可以例如是注视跟踪系统。
处理电路系统504例如经由有线连接或无线连接通信地连接至发光装置501和成像装置502。处理电路系统504还可以通信地连接至显示器503，例如用于控制(或触发)显示器503以展示用于对眼睛跟踪系统500进行校准的测试刺激点。
图5示出了位于显示器503任一侧的示例发光装置501，但是发光装置501可以位于其他地方。图5示出了位于显示器503上方的示例成像装置502，但是成像装置502可以位于其他地方，例如在显示器503下方。
显示器503可以例如是液晶显示器(LCD)或LED显示器。然而，也可以设想其他类型的显示器。显示器503可以例如是平面显示器的或曲面显示器。显示器503可以例如是电视屏幕、计算机屏幕，或者可以是诸如虚拟现实(VR)或增强现实(AR)设备等头戴式设备(HMD)的一部分。显示器503可以例如被放置在用户的其中一只眼睛的前面。换言之，对于左眼和右眼可以采用单独的显示器503。例如，对于左眼和右眼可以采用单独的眼睛跟踪设备(诸如发光装置501和成像装置502)。
处理电路系统504可被用于双眼的眼睛跟踪，或者可以有针对左眼和右眼的单独的处理电路系统504。眼睛跟踪系统500可以例如单独地针对左眼和右眼执行眼睛跟踪，并且然后可以将组合的注视点确定为左眼和右眼的注视点的平均值。
处理电路系统504可以例如包括一个或多个处理器506。(多个)处理器506可以例如是被配置用于执行特定眼睛跟踪方法的专用集成电路(ASIC)。可替代地，(多个)处理器506可以被配置用于执行存储在一个或多个存储器507中的指令(例如，呈计算机程序的形式)。这种存储器507可以例如被包括在眼睛跟踪系统500的处理电路系统504中，或者可以在眼睛跟踪系统500的外部(例如，远离该眼睛跟踪系统)。存储器507可以存储用于使眼睛跟踪系统500执行眼睛跟踪方法的指令。
将理解的是，前面参考图5所描述的眼睛跟踪系统500被提供作为示例，并且可以设想许多其他的眼睛跟踪系统。例如，发光装置501和/或成像装置502不一定被视为眼睛跟踪系统500的一部分。眼睛跟踪系统500可以例如仅由处理电路系统504组成。甚至存在根本不采用发光装置的眼睛跟踪系统。进一步，一些眼睛跟踪系统采用除成像装置以外的其他类型的眼睛跟踪传感器。换言之，眼睛跟踪系统500可以采用除图像以外的其他类型的传感器数据来执行眼睛跟踪。显示器503可以例如被包括在眼睛跟踪系统500中，或者可以被认为与眼睛跟踪系统500分离。
前面参考图3所描述的方法300可以例如在步骤301和302处被动地从(在图4中通过传感器411所例示的)第一眼睛跟踪传感器和(在图4中通过系统420所例示的)眼睛跟踪系统接收数据。然而，方法300可以进一步包括：在某个时刻使用第一眼睛跟踪传感器来获得传感器数据(换言之，在步骤301处接收的传感器数据)，和/或使用眼睛跟踪系统来生成针对该时刻的参考眼睛跟踪数据(换言之，在步骤302处接收的眼睛跟踪数据)。换言之，方法300可以主动使用第一眼睛跟踪传感器411和眼睛跟踪系统420、例如通过控制它们(或对它们发指令)来提供必要的数据。
图6是根据一实施例的用于训练眼睛跟踪模型的方法600的流程图，该方法包括对第一眼睛跟踪传感器411和眼睛跟踪系统420的这种明确使用。虽然以下参考图4所示的眼睛跟踪传感器411和眼睛跟踪系统420来描述方法600，但是将理解的是，在方法600中可以采用不同的眼睛跟踪传感器和/或不同的眼睛跟踪系统。
方法600包括在某个时刻使用601第一眼睛跟踪传感器411来获得传感器数据。该传感器数据对应于在方法300的步骤301处接收的传感器数据。
方法600包括使用602眼睛跟踪系统420来生成针对该时刻的参考眼睛跟踪数据。眼睛跟踪系统420包括第二眼睛跟踪传感器421。参考眼睛跟踪数据是由眼睛跟踪系统420基于由第二眼睛跟踪传感器421在该时刻获得的传感器数据来生成的。换言之，所生成的参考眼睛跟踪数据对应于在方法300中的步骤302处接收的、所生成的参考眼睛跟踪数据。
方法600包括基于由第一眼睛跟踪传感器411在该时刻获得的传感器数据以及所生成的参考眼睛跟踪数据来训练303眼睛跟踪模型。换言之，方法600包括与方法300相同的训练步骤303。
根据一些实施例，由方法300或方法600中的眼睛跟踪模型预测的眼睛跟踪数据指示眼睛的预测注视点，并且(在方法300的步骤302处接收的、或在方法600的步骤602处获得的)所生成的参考眼睛跟踪数据指示眼睛的参考注视点。预测的注视点和参考注视点可以例如是显示器上的注视点。这在图5中进行了例示，其中，在显示器503上示出了预测的注视点508和参考注视点505。图5中还示出了这两个注视点之间的距离509。
根据一些实施例，由方法300或方法600中的眼睛跟踪模型预测的眼睛跟踪数据指示眼睛的预测视线，并且(在步骤302处接收的、或在步骤602处获得的)所生成的参考眼睛跟踪数据指示眼睛的参考视线。这在图7中进行了例示，该图示出了两条示例视线。第一视线701从第一估计眼睛位置702开始，并且沿着第一注视向量703被定向。第二视线704从第二估计注视点705开始，并且沿着第二注视向量706被定向。第一视线701可以例如是由方法300或方法600中的眼睛跟踪模型预测的视线，并且第二视线704可以例如是由在方法300中的步骤302处接收的或在方法600的步骤602处获得的、所生成的参考眼睛跟踪数据所指示的参考视线。
图7还示出了可以例如经由形成在注视向量703与706之间的角度707来衡量的视线701与704之间的偏差。也可以在估计的眼睛位置702与705之间形成距离708。图7还示出了眼睛跟踪模型710可以采用传感器数据(诸如眼睛图像709)来预测眼睛跟踪数据(诸如视线701)。
根据一些实施例，由方法300或方法600中的眼睛跟踪模型预测的眼睛跟踪数据指示眼睛在空间中的预测位置，并且(在步骤302处接收的、或在步骤602处获得的)所生成的参考眼睛跟踪数据指示眼睛在空间中的参考位置。这在图7中进行了例示。图7中的第一视线701的注视起点702可以是由方法300或方法600中的眼睛跟踪模型预测的眼睛位置。图7中的第二视线704的注视起点705可以是由在方法300中的步骤302处接收的或在方法600中的步骤602处获得的、所生成的参考眼睛跟踪数据所指示的参考眼睛位置。
图8示出了根据实施例的可以如何在以上参考图3和图6所描述的方法300和600中训练眼睛跟踪模型的方案。在本实施例中，训练303眼睛跟踪模型的步骤包括：
·使用眼睛跟踪模型以及由第一眼睛跟踪传感器在该时刻获得的传感器数据来预测801针对该时刻的眼睛跟踪数据；
·将目标函数至少应用802于由眼睛跟踪模型针对该时刻预测的眼睛跟踪数据以及所生成的参考眼睛跟踪数据；以及
·更新803眼睛跟踪模型。
换言之，采用目标函数(诸如成本函数或损失函数)来评估由眼睛跟踪模型作出的预测是否看上去与参考眼睛跟踪数据兼容。对眼睛跟踪模型进行更新803以提高其作出准确预测的能力。
应用目标函数的步骤802可以包括将由眼睛跟踪模型针对该时刻预测的眼睛跟踪数据以及所生成的参考眼睛跟踪数据插入该目标函数中。将理解的是，应用目标函数的步骤802还可以例如包括将额外的数据插入该目标函数中。
更新眼睛跟踪模型的步骤803可以例如包括修改眼睛跟踪模型的至少一个参数的值。如果目标函数是当预测801准确时应该具有低值的成本函数(或损失函数)，则可以例如修改眼睛跟踪模型以减小目标函数的值(例如，经由等级渐降)。另一方面，如果目标函数是应该被最大化的函数(例如，如果目标函数是成本函数乘以-1)，则可以例如修改眼睛跟踪模型以增大目标函数的值。
根据一些实施例，应用802目标函数的步骤包括形成由针对该时刻的预测眼睛跟踪数据指示的预测注视点与由所生成的参考眼睛跟踪数据指示的参考注视点之间的距离。这在图5中进行了例示，其中，展示了预测注视点508与参考注视点505之间的距离509。如果由眼睛跟踪模型提供的预测是准确的，则此距离509应该小。
根据一些实施例，应用802目标函数的步骤包括形成由针对该时刻的预测眼睛跟踪数据指示的预测视线与由所生成的参考眼睛跟踪数据指示的参考视线之间的偏差。这在图7中进行了例示，其中，第一视线701对应于由方法300或方法600中的眼睛跟踪模型预测的视线，并且第二视线704对应于由在方法300中的步骤302处接收的或在方法600的步骤602处获得的、所生成的参考眼睛跟踪数据所指示的参考视线。预测视线701与参考视线704之间的偏差可以例如以形成在对应的注视向量703与706之间的角度707的形式来表示。如果由眼睛跟踪模型提供的预测是准确的，则此角度707应该小。
根据一些实施例，应用802目标函数的步骤包括形成由针对该时刻的预测眼睛跟踪数据指示的预测眼睛位置与由所生成的参考眼睛跟踪数据指示的参考眼睛位置之间的距离。这在图7中进行了例示，其中，第一视线701的注视起点702对应于由方法300或方法600中的眼睛跟踪模型预测的眼睛位置，并且其中，第二视线704的注视起点705对应于由在方法300中的步骤302处接收的或在方法600的步骤602处获得的所生成的参考眼睛跟踪数据所指示的参考眼睛位置。如果由眼睛跟踪模型提供的预测是准确的，则预测眼睛位置702与参考眼睛位置705之间的距离708应该小。
图9示出了根据一实施例的可以如何在前面参考图6和图7所描述的方法300和600中训练眼睛跟踪模型的方案。在本实施例中，训练眼睛跟踪模型的步骤303包括使用眼睛跟踪模型以及由第一眼睛跟踪传感器在该时刻获得的传感器数据来预测901针对该时刻的眼睛跟踪数据。执行判决902以判断由眼睛跟踪模型针对该时刻预测901的眼睛跟踪数据与(在步骤302处接收的、或在步骤602处生成的)所生成的参考眼睛跟踪数据之间的偏差是否超过阈值。如果该偏差超过阈值，则该方案/方法继续基于由眼睛跟踪模型针对该时刻预测的眼睛跟踪数据以及所生成的参考眼睛跟踪数据来训练903该眼睛跟踪模型。另一方面，如果该偏差不超过阈值，则可能不采用由眼睛跟踪模型针对该时刻预测的眼睛跟踪数据以及所生成的参考眼睛跟踪数据来训练该眼睛跟踪模型(如由图9中的步骤904所指示的)。
换言之，只要预测注视跟踪数据与参考注视跟踪数据相符(或相匹配)，就可能不需要训练眼睛跟踪模型。另一方面，如果检测到预测眼睛跟踪数据与参考眼睛跟踪数据具有偏差，则可能需要进行训练。眼睛跟踪模型可能例如针对某些类型的输入数据(或者某些情形或用户活动)表现良好，但针对其他类型的输入数据表现较差。前面参考图9所描述的方案允许眼睛跟踪模型针对实际上需要进一步训练的此类输入数据来训练，而不是针对所有类型的输入数据盲目地进行训练。
在图9中的步骤902处采用的偏差可以例如是预测注视点与参考注视点之间的偏差、预测视线与参考视线之间的偏差、或预测眼睛位置与参考眼睛位置之间的偏差。
可以例如预先定义在图9中的步骤902处采用的阈值。然而，也可以设想可以改变或修改此阈值的实施例。
图10示出了根据一实施例的训练眼睛跟踪模型的方法1000。方法1000类似于前面参考图3所描述的方法300，但进一步包括使用1001(在图4中通过眼睛跟踪系统420所例示的)眼睛跟踪系统来检测眼睛100的特定触发动作。特定触发动作包括：
·凝视；和/或
·跳视(saccade)；和/或
·平稳跟随(smooth pursuit)。
在方法1000中，可以响应于检测到眼睛的特定触发动作而执行接收由第一眼睛跟踪传感器在该时刻获得的传感器数据的步骤301、和/或训练眼睛跟踪模型的步骤303。换言之，如果检测到触发动作，则可以执行数据采集步骤302和训练步骤303。另一方面，如果未检测到触发动作，则可以跳过数据采集步骤302和训练步骤303，或者可以执行数据采集步骤302并且可以跳过训练步骤303。
前面参考图10所描述的方法1000允许训练眼睛跟踪模型以更好地应对某些情形(诸如凝视、跳视或平稳跟随)，而不是针对所有类型的输入数据来盲目地训练眼睛跟踪模型。某些情形对于眼睛跟踪模型而言可能例如特别难以应对，或者某些情形可能需要比其他情形更高的准确性。因此，专门针对此类情形来训练模型可能很有用。可以例如基于关联于触发动作(诸如在触发动作期间、和/或在触发动作之前不久、和/或在触发动作之后不久)所收集的训练数据来训练眼睛跟踪模型。
在方法1000中，可以例如通过分析从眼睛跟踪系统接收的眼睛跟踪数据来检测触发动作，或者可以例如从眼睛跟踪系统接收对触发动作的明确指示。
前面参考图10所描述的方法1000是在前面参考图3所描述的方法300的背景下提供的。将理解的是，在前面参考图6所描述的方法600的背景下，可以容易地修改方法1000而不是原封不动地采用方法1000。换言之，方法600中的步骤602和/或步骤303可以以检测到眼睛100的特定触发动作为条件而进行，就像方法300中的步骤302和303一样。
图11是根据一实施例的用于训练眼睛跟踪模型的方法1100的流程图。方法1100类似于前面参考图3所描述的方法300，但方法1100包括新的步骤1101至1102，并且步骤303按照新的步骤1103来表示。在本实施例中，眼睛跟踪模型是若干眼睛跟踪模型之一。这些眼睛跟踪模型与对应的潜在用户或个人相关联。
方法1100包括：检测1101用户(或个人)的存在，以及选择1102与该用户(或个人)相关联的眼睛跟踪模型。用户的存在可以例如由眼睛跟踪系统或经由第一眼睛跟踪传感器来检测1101。用户的存在可以例如经由生物特征数据(诸如面部识别、或手指、或虹膜扫描)或经由某种凭证(诸如智能卡或无线传感器标签)来检测。眼睛跟踪模型可以例如从潜在用户数据库以及这些用户的对应眼睛跟踪模型中选择1102。
方法1100包括基于由第一眼睛跟踪传感器在该时刻获得的传感器数据(换言之，在步骤301处接收的传感器数据)以及所生成的参考眼睛跟踪数据(换言之，在步骤302处接收的参考眼睛跟踪数据)来训练1103所选择的眼睛跟踪模型。
前面参考图11所描述的方法1100是在前面参考图3所描述的方法300的背景下提供的。将理解的是，在前面参考图6所描述的方法600的背景下，可以容易地修改方法1100而不是原封不动地采用方法1100。更具体地，方法1100中的步骤301至302可以例如由方法600中的方法601至602替代。
根据一些实施例，前参考图3所描述的方法300可以拓展到对来自一系列时刻的传感器数据执行训练。更具体地，方法300可以包括：
·接收由该第一眼睛跟踪传感器在一系列时刻获得的传感器数据；
·接收由眼睛跟踪系统针对该一系列时刻生成的参考眼睛跟踪数据，其中，针对该一系列时刻的参考眼睛跟踪数据是由眼睛跟踪系统基于由第二眼睛跟踪传感器在该一系列时刻获得的传感器数据来生成的；以及
·基于由第一眼睛跟踪传感器针对该一系列时刻获得的传感器数据以及针对该一系列时刻的所生成的参考眼睛跟踪数据来训练眼睛跟踪模型，和/或存储由第一眼睛跟踪传感器针对该一系列时刻获得的传感器数据以及针对该一系列时刻的所生成的参考眼睛跟踪数据。
换言之，针对这些时刻的数据可以用于训练眼睛跟踪模型，或者可以被存储以供以后训练中使用。训练数据可以例如存储在数据库中，或者可以上传到云。可以例如在远离收集训练数据的位置的位置处执行对眼睛跟踪数据的训练。可以例如随着训练数据变得可用而逐渐执行对眼睛跟踪模型的训练。可替代地，可以首先收集大量的训练数据，并且然后可以使用所收集的训练数据来执行训练。在眼睛跟踪模型已经得到充分训练之后，然后可以在眼睛跟踪系统中采用该眼睛跟踪模型来实时预测眼睛跟踪数据。
前面参考图3至图11描述的方法和方案表示本公开内容的第一方面。前面参考图4所描述的系统400表示本公开内容的第二方面。系统400(或系统400的处理电路系统430)可以例如被配置用于执行上述第一方面的任何实施例的方法。系统400可以例如被配置用于执行前面参考图3所描述的方法300或前面参考图6所描述的方法600。
系统400可以例如包括处理电路系统430(或者一个或多个处理器431)以及一个或多个存储器432，该一个或多个存储器432包含可由处理电路系统430(或者一个或多个处理器431)执行的指令，由此系统400可操作以执行本文所公开的第一方面的任何实施例的方法。
如前面参考图4所描述的，系统400不一定包括图4中所示的所有元件。
本公开内容的第三方面由非暂时性计算机可读存储介质432的实施例来表示，该存储介质存储有指令，这些指令当由系统400(或由系统400的处理电路系统430)执行时使系统400执行前述第一方面的任何实施例的方法(诸如前面参考图3所描述的方法300、或前面参考图6所描述的方法600)。
如前面参考图4描述的，存储介质432不一定被包括在系统400中。
本领域技术人员认识到，本公开内容中给出的建议的方法绝不限于前述优选实施例。相反，在所附权利要求的范围内可以进行许多修改和变化。例如，前面参考图1至图11所描述的实施例可以进行组合以形成进一步的实施例。进一步，将理解的是，图4中所示的系统400仅旨在作为示例，并且其他系统也可以执行前面参考图1至图11所描述的方法。还将理解的是，参考图3、图6、图8、图9、图10和图11所描述的方法步骤不一定按照这些图中所示的具体顺序执行。
将理解的是，处理电路系统430(或者一个或多个处理器)可以包括以下各项中的一项或多项的组合：微处理器、控制器、微控制器、中央处理单元、数字信号处理器、专用集成电路、现场可编程门阵列、或任何其他合适的计算设备、资源、或硬件、软件和/或编码逻辑的组合，该编码逻辑可操作以单独地或与其他计算机部件(诸如存储器或存储介质)结合来提供计算机功能。
还将理解的是，存储器或存储介质432(或计算机可读介质)可以包括任何形式的易失性或非易失性计算机可读存储器，包括但不限于持久性存储装置、固态存储器、远程安装的存储器、磁性介质、光学介质、随机存取存储器(RAM)、只读存储器(ROM)、大容量存储介质(例如硬盘)、可移除存储介质(例如闪存驱动器、致密盘(CD))或数字视频光盘(DVD))、和/或任何其他易失性或非易失性的非暂时性设备可读和/或计算机可执行的存储器设备，这些存储器设备存储可以由处理器或处理电路系统使用的信息、数据和/或指令。
此外，从对附图、本公开内容和所附权利要求的研究中，本领域技术人员在实践所要求保护的本发明时可以理解和实现所公开的实施例的各种变化。在权利要求中，词语“包括”并不排除其他的要素或步骤，并且不定冠词“一”或“一个”并不排除复数。在权利要求中，词语“或”不被解释为异或(有时被称为“XOR”)。相反，除非另有说明，否则比如“A或B”等表述涵盖所有情况“A而非B”、“B而非A”以及“A和B”。在彼此不同的从属权利要求中列举某些措施的纯粹事实并不表明这些措施的组合不能被有利地使用。权利要求中的任何附图标记都不应被解释为对范围构成限制。

Claims (20)

1.一种用于训练眼睛跟踪模型(710)的方法(300)，其中，所述眼睛跟踪模型被适配用于基于来自第一眼睛跟踪传感器(411)的传感器数据(709)来预测眼睛跟踪数据，所述方法包括：
接收(301)由所述第一眼睛跟踪传感器在某个时刻获得的传感器数据；
接收(302)由包括第二眼睛跟踪传感器(421)的眼睛跟踪系统(420)针对所述时刻生成的参考眼睛跟踪数据，其中，所述参考眼睛跟踪数据是由所述眼睛跟踪系统基于由所述第二眼睛跟踪传感器在所述时刻获得的传感器数据来生成的；以及
基于由所述第一眼睛跟踪传感器在所述时刻获得的所述传感器数据以及所生成的参考眼睛跟踪数据来训练(303)所述眼睛跟踪模型。
2.如权利要求1所述的方法，进一步包括：
在所述时刻使用(601)所述第一眼睛跟踪传感器来获得传感器数据。
3.如前述权利要求中任一项所述的方法，进一步包括：
使用(602)所述眼睛跟踪系统来针对所述时刻生成所述参考眼睛跟踪数据。
4.如前述权利要求中任一项所述的方法，
其中，由所述眼睛跟踪模型预测的所述眼睛跟踪数据指示眼睛(100)的预测注视点(508)，并且其中，所述生成的参考眼睛跟踪数据指示所述眼睛的参考注视点(505)；和/或
其中，由所述眼睛跟踪模型预测的所述眼睛跟踪数据指示所述眼睛的预测视线(701)，并且其中，所述生成的参考眼睛跟踪数据指示所述眼睛的参考视线(704)；和/或
其中，由所述眼睛跟踪模型预测的所述眼睛跟踪数据指示所述眼睛在空间中的预测位置(702)，并且其中，所述生成的参考眼睛跟踪数据指示所述眼睛在空间中的参考位置(705)。
5.如前述权利要求中任一项所述的方法，其中，训练所述眼睛跟踪模型包括：
使用所述眼睛跟踪模型以及由所述第一眼睛跟踪传感器在所述时刻获得的所述传感器数据来预测(801)针对所述时刻的眼睛跟踪数据；
将目标函数至少应用(802)于由所述眼睛跟踪模型针对所述时刻预测的所述眼睛跟踪数据以及所述生成的参考眼睛跟踪数据；以及
更新(803)所述眼睛跟踪模型。
6.如权利要求5所述的方法，其中，将所述目标函数至少应用于由所述眼睛跟踪模型针对所述时刻预测的所述眼睛跟踪数据以及所述生成的参考眼睛跟踪数据包括：
形成由针对所述时刻的所预测的眼睛跟踪数据指示的预测注视点(508)与由所述生成的参考眼睛跟踪数据指示的参考注视点(505)之间的距离(509)；和/或
形成由针对所述时刻的所述预测的眼睛跟踪数据指示的预测视线(701)与由所述生成的参考眼睛跟踪数据指示的参考视线(704)之间的偏差(707)；和/或
形成由针对所述时刻的所述预测的眼睛跟踪数据指示的预测眼睛位置(702)与由所述生成的参考眼睛跟踪数据指示的参考眼睛位置(705)之间的距离(708)。
7.如前述权利要求中任一项所述的方法，其中，所述第一眼睛跟踪传感器是成像装置，和/或其中，所述第二眼睛跟踪传感器是成像装置。
8.如前述权利要求中任一项所述的方法，其中：
所述眼睛跟踪系统包括发光装置(422，423，424)，所述发光装置输出一定波长范围内的光(428，429)以照亮眼睛(100)，所述第二眼睛跟踪传感器基于所述波长范围内的光来提供传感器数据，所述第一眼睛跟踪传感器设置有用于抑制所述波长范围内的光的滤光片(415)。
9.如前述权利要求中任一项所述的方法，其中，训练所述眼睛跟踪模型包括：
使用所述眼睛跟踪模型以及由所述第一眼睛跟踪传感器在所述时刻获得的所述传感器数据来预测(901)针对所述时刻的眼睛跟踪数据；以及
响应于由所述眼睛跟踪模型针对所述时刻预测的所述眼睛跟踪数据与所述生成的参考眼睛跟踪数据之间的偏差(509，707，708)超过阈值，基于由所述眼睛跟踪模型针对所述时刻预测的所述眼睛跟踪数据以及所述生成的参考眼睛跟踪数据来训练(903)所述眼睛跟踪模型。
10.如前述权利要求中任一项所述的方法，进一步包括：
使用(1001)所述眼睛跟踪系统来检测眼睛(100)的特定触发动作，
其中，所述触发动作包括：
凝视；和/或
跳视；和/或
平稳跟随；
其中，响应于检测到所述眼睛的所述特定触发动作而接收由所述第一眼睛跟踪传感器在所述时刻获得的传感器数据、和/或训练所述眼睛跟踪模型。
11.如前述权利要求中任一项所述的方法，其中，所述眼睛跟踪模型是若干眼睛跟踪模型之一，所述眼睛跟踪模型与对应的潜在用户相关联，所述方法包括：
检测(1101)用户的存在；
选择(1102)与所述用户相关联的眼睛跟踪模型；以及
基于由所述第一眼睛跟踪传感器在所述时刻获得的所述传感器数据以及所述生成的参考眼睛跟踪数据来训练(1103)所选择的眼睛跟踪模型。
12.如前述权利要求中任一项所述的方法，包括：
接收由所述第一眼睛跟踪传感器在一系列时刻获得的传感器数据；
接收由所述眼睛跟踪系统针对所述一系列时刻生成的参考眼睛跟踪数据，其中，针对所述一系列时刻的所述参考眼睛跟踪数据是由所述眼睛跟踪系统基于由所述第二眼睛跟踪传感器在所述一系列时刻获得的传感器数据来生成的；以及
基于由所述第一眼睛跟踪传感器针对所述一系列时刻获得的所述传感器数据以及针对所述一系列时刻的所生成的参考眼睛跟踪数据来训练所述眼睛跟踪模型，和/或存储由所述第一眼睛跟踪传感器针对所述一系列时刻获得的所述传感器数据以及针对所述一系列时刻的所述生成的参考眼睛跟踪数据。
13.一种用于训练眼睛跟踪模型(710)的系统(400)，其中，所述眼睛跟踪模型被适配用于基于来自第一眼睛跟踪传感器(411)的传感器数据(709)来预测眼睛跟踪数据，所述系统包括处理电路系统(430)，所述处理电路系统被配置用于：
接收由所述第一眼睛跟踪传感器在某个时刻获得的传感器数据；
接收由包括第二眼睛跟踪传感器(421)的眼睛跟踪系统(420)针对所述时刻生成的参考眼睛跟踪数据，其中，所述参考眼睛跟踪数据是由所述眼睛跟踪系统基于由所述第二眼睛跟踪传感器在所述时刻获得的传感器数据来生成的；以及
基于由所述第一眼睛跟踪传感器在所述时刻获得的所述传感器数据以及所生成的参考眼睛跟踪数据来训练所述眼睛跟踪模型。
14.如权利要求13所述的系统，进一步包括所述第一眼睛跟踪传感器，所述处理电路系统进一步被配置用于：
在所述时刻使用所述第一眼睛跟踪传感器来获得传感器数据。
15.如权利要求13至14中任一项所述的系统，进一步包括所述眼睛跟踪系统，所述处理电路系统进一步被配置用于：
使用所述眼睛跟踪系统来针对所述时刻生成所述参考眼睛跟踪数据。
16.如权利要求13至15中任一项所述的系统，其中，所述第一眼睛跟踪传感器是成像装置，和/或其中，所述第二眼睛跟踪传感器是成像装置。
17.如权利要求13至16中任一项所述的系统，其中，所述眼睛跟踪系统包括发光装置(422，423，424)，所述发光装置被配置用于输出一定波长范围内的光(428，429)以照亮眼睛(100)，所述第二眼睛跟踪传感器被配置用于基于所述波长范围内的光来提供传感器数据，所述第一眼睛跟踪传感器设置有用于抑制所述波长范围内的光的滤光片(415)。
18.如权利要求13至17中任一项所述的系统，其中，所述处理电路系统被配置用于至少通过以下操作来训练所述眼睛跟踪模型：
使用所述眼睛跟踪模型以及由所述第一眼睛跟踪传感器在所述时刻获得的所述传感器数据来预测针对所述时刻的眼睛跟踪数据；以及
响应于由所述眼睛跟踪模型针对所述时刻预测的所述眼睛跟踪数据与所述生成的参考眼睛跟踪数据之间的偏差(509，707，708)超过阈值，基于由所述眼睛跟踪模型针对所述时刻预测的所述眼睛跟踪数据以及所述生成的参考眼睛跟踪数据来训练所述眼睛跟踪模型。
19.如权利要求13至18中任一项所述的系统，其中，所述处理电路系统进一步被配置用于：
使用所述眼睛跟踪系统来检测眼睛(100)的特定触发动作，
其中，所述触发动作包括：
凝视；和/或
跳视；和/或
平稳跟随；
其中，所述处理电路系统被配置用于响应于检测到所述眼睛的所述特定触发动作而接收由所述第一眼睛跟踪传感器在所述时刻获得的所述传感器数据和/或训练所述眼睛跟踪模型。
20.一种非暂时性计算机可读存储介质(432)，其存储有用于训练眼睛跟踪模型(710)的指令，其中，所述眼睛跟踪模型被适配用于基于来自第一眼睛跟踪传感器(411)的传感器数据(709)来预测眼睛跟踪数据，其中，所述指令当由系统(400)执行时使所述系统进行以下操作：
接收由所述第一眼睛跟踪传感器在某个时刻获得的传感器数据；
接收由包括第二眼睛跟踪传感器(421)的眼睛跟踪系统(420)针对所述时刻生成的参考眼睛跟踪数据，其中，所述参考眼睛跟踪数据是由所述眼睛跟踪系统基于由所述第二眼睛跟踪传感器在所述时刻获得的传感器数据来生成的；以及
基于由所述第一眼睛跟踪传感器在所述时刻获得的所述传感器数据以及所述生成的参考眼睛跟踪数据来训练所述眼睛跟踪模型。
CN202010212524.2A 2019-03-29 2020-03-24 训练眼睛跟踪模型 Active CN111753628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210038880.6A CN114495251A (zh) 2019-03-29 2020-03-24 训练眼睛跟踪模型

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE1950387-9 2019-03-29
SE1950387A SE543273C2 (en) 2019-03-29 2019-03-29 Training an eye tracking model

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210038880.6A Division CN114495251A (zh) 2019-03-29 2020-03-24 训练眼睛跟踪模型

Publications (2)

Publication Number Publication Date
CN111753628A true CN111753628A (zh) 2020-10-09
CN111753628B CN111753628B (zh) 2022-01-11

Family

ID=70056996

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210038880.6A Pending CN114495251A (zh) 2019-03-29 2020-03-24 训练眼睛跟踪模型
CN202010212524.2A Active CN111753628B (zh) 2019-03-29 2020-03-24 训练眼睛跟踪模型

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210038880.6A Pending CN114495251A (zh) 2019-03-29 2020-03-24 训练眼睛跟踪模型

Country Status (5)

Country Link
US (2) US11386290B2 (zh)
EP (3) EP4083756A1 (zh)
CN (2) CN114495251A (zh)
ES (1) ES2926953T3 (zh)
SE (1) SE543273C2 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537295B (zh) * 2021-06-22 2023-10-24 北京航空航天大学 基于离群点引导的视线估计跨场景适配方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010118292A1 (en) * 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
US20150085251A1 (en) * 2013-09-24 2015-03-26 Sony Computer Entertainment Inc. Gaze tracking variations using visible lights or dots
CN107111355A (zh) * 2014-11-03 2017-08-29 宝马股份公司 用于校准眼睛跟踪系统的方法和系统
CN107533362A (zh) * 2015-05-08 2018-01-02 Smi创新传感技术有限公司 眼睛跟踪设备和用于操作眼睛跟踪设备的方法
WO2019010214A1 (en) * 2017-07-05 2019-01-10 Facebook Technologies, Llc OCULOMETRY BASED ON THE POLARIZATION OF LIGHT

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6659611B2 (en) * 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
US8299979B2 (en) * 2003-05-14 2012-10-30 Broadcom Corporation Integral eye-path alignment on telephony and computer video devices using two or more image sensing devices
TW200842733A (en) * 2007-04-17 2008-11-01 Univ Nat Chiao Tung Object image detection method
EP2185255A4 (en) * 2007-09-21 2013-08-14 Playdata Llc SYSTEM AND PROCESS FOR LOCATION AND MOVEMENT
US8447128B2 (en) * 2008-04-07 2013-05-21 Fujifilm Corporation Image processing system
JP5429445B2 (ja) * 2008-04-08 2014-02-26 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
US8255827B2 (en) * 2009-01-26 2012-08-28 Microsoft Corporation Dynamic feature presentation based on vision detection
US8553936B2 (en) * 2009-03-03 2013-10-08 The Ohio State University Gaze tracking measurement and training system and method
JP5704829B2 (ja) 2010-03-25 2015-04-22 ユニ・チャーム株式会社 ポリ乳酸系エアスルー不織布の製造方法、及びポリ乳酸系エアスルー不織布
US9557812B2 (en) * 2010-07-23 2017-01-31 Gregory A. Maltz Eye gaze user interface and calibration method
US8593375B2 (en) * 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US8913789B1 (en) * 2012-01-06 2014-12-16 Google Inc. Input methods and systems for eye positioning using plural glints
US9004687B2 (en) * 2012-05-18 2015-04-14 Sync-Think, Inc. Eye tracking headset and system for neuropsychological testing including the detection of brain damage
KR101979669B1 (ko) * 2012-07-13 2019-05-17 삼성전자주식회사 이미지 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
EP3076948B1 (en) 2013-12-06 2020-11-18 Allergan, Inc. Intracameral implant for treatment of an ocular condition
US9563805B2 (en) * 2014-09-02 2017-02-07 Hong Kong Baptist University Method and apparatus for eye gaze tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010118292A1 (en) * 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
US20150085251A1 (en) * 2013-09-24 2015-03-26 Sony Computer Entertainment Inc. Gaze tracking variations using visible lights or dots
CN107111355A (zh) * 2014-11-03 2017-08-29 宝马股份公司 用于校准眼睛跟踪系统的方法和系统
CN107533362A (zh) * 2015-05-08 2018-01-02 Smi创新传感技术有限公司 眼睛跟踪设备和用于操作眼睛跟踪设备的方法
WO2019010214A1 (en) * 2017-07-05 2019-01-10 Facebook Technologies, Llc OCULOMETRY BASED ON THE POLARIZATION OF LIGHT

Also Published As

Publication number Publication date
SE1950387A1 (en) 2020-09-30
EP4083755A1 (en) 2022-11-02
US20220334219A1 (en) 2022-10-20
EP3716021B1 (en) 2022-08-03
US20210012157A1 (en) 2021-01-14
EP4083756A1 (en) 2022-11-02
US11941172B2 (en) 2024-03-26
EP3716021A2 (en) 2020-09-30
EP3716021A3 (en) 2020-11-04
SE543273C2 (en) 2020-11-10
ES2926953T3 (es) 2022-10-31
CN114495251A (zh) 2022-05-13
US11386290B2 (en) 2022-07-12
CN111753628B (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
CN111263925B (zh) 用于使用事件相机数据的眼动跟踪的方法和设备
US11861873B2 (en) Event camera-based gaze tracking using neural networks
CN110460837B (zh) 具有中央凹显示器和注视预测的电子设备
JP6577454B2 (ja) 軸上視線追跡システム及び方法
CN111124104B (zh) 使用瞳孔中心位置的映射进行注视跟踪
CN109472189B (zh) 瞳孔半径补偿
CN111513670B (zh) 用于眼睛追踪中的角膜半径的估计
KR102469720B1 (ko) 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
CN114391117A (zh) 眼睛跟踪延迟增强
EP3757655B1 (en) Method and system for 3d cornea position estimation
CN111753628B (zh) 训练眼睛跟踪模型
US20150269729A1 (en) Eye Image Stimuli for Eyegaze Calibration Procedures
CN111752383A (zh) 更新角膜模型
KR20200015169A (ko) Vr컨텐츠를 이용하는 사용자의 시각 기능 확인 방법
JP2024023752A (ja) データ生成装置、映像システム、及びデータ生成方法
KR20220048665A (ko) 가림 안가림 검사 중 획득한 안구 이미지 분석을 통한 사시진단방법
CN114761999A (zh) 图像处理方法、图像处理装置以及图像处理程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant