CN111513670B - 用于眼睛追踪中的角膜半径的估计 - Google Patents

用于眼睛追踪中的角膜半径的估计 Download PDF

Info

Publication number
CN111513670B
CN111513670B CN201911301999.2A CN201911301999A CN111513670B CN 111513670 B CN111513670 B CN 111513670B CN 201911301999 A CN201911301999 A CN 201911301999A CN 111513670 B CN111513670 B CN 111513670B
Authority
CN
China
Prior art keywords
cornea
eye
radius
eye tracking
estimating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911301999.2A
Other languages
English (en)
Other versions
CN111513670A (zh
Inventor
安德烈亚斯·科林斯特姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Publication of CN111513670A publication Critical patent/CN111513670A/zh
Application granted granted Critical
Publication of CN111513670B publication Critical patent/CN111513670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1005—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring distances inside the eye, e.g. thickness of the cornea
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01F—PROCESSING OF HARVESTED PRODUCE; HAY OR STRAW PRESSES; DEVICES FOR STORING AGRICULTURAL OR HORTICULTURAL PRODUCE
    • A01F3/00—Hand-operated implements for cutting-up straw, hay or the like
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Environmental Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本公开涉及眼睛追踪方法(400)以及对应的系统(300)和计算机可读存储介质(307)。执行校准(401)。校准包括估计限定眼睛(100)的相应光学特性的多个参数的值。多个参数包含眼睛的角膜(101)的半径(105)。使用在校准时估计的值而对眼睛执行(402)眼睛追踪。估计(403)角膜的半径的更新的值。使用角膜的半径的更新的值以及对于除眼睛的角膜的半径之外的参数使用在校准时估计的值而对眼睛执行(404)眼睛追踪。眼睛的角膜的半径可随着时间流逝而改变。这可导致眼睛追踪性能的退化。此问题可通过估计角膜的半径的更新的值来减小或预防。

Description

用于眼睛追踪中的角膜半径的估计
技术领域
本公开总的来说涉及眼睛追踪。
背景技术
已开发不同技术来监测用户正看向哪一方向(或看着显示器上哪一点)。这通常被称为注视追踪。在此背景下通常使用的另一术语是眼睛追踪，其也可涉及注视方向和/或注视点的追踪。然而，眼睛追踪不一定要涉及注视方向或注视点的追踪。在一些状况下，眼睛追踪涉及眼睛的位置的追踪，但实际上不对眼睛看着的位置进行追踪/估计。通常，眼睛追踪系统需要校准以对新用户具有良好表现。校准涉及使眼睛追踪系统所使用的参数适应具体用户的眼睛的特性。在校准期间，用户被提示看着显示器处的某些已知刺激点，而一个或更多个相机捕捉用户眼睛的图像。因为真实注视点是已知的，所以在这些图像中检测到的眼睛的特征可用于校准眼睛追踪系统。一些用户感受到眼睛追踪性能随着时间流逝而降低(或恶化)并且因此重新校准其眼睛追踪系统。必须重新校准眼睛追踪系统可能令人厌烦的，这是因为这样可能迫使用户中断其当前活动，如此可导致用户耽搁时间和/或失去注意力。此外，用户可能未能立刻检测到眼睛追踪性能已降低。因此，用户可能继续执行任务一些时间，而没有意识到眼睛追踪性能已降低。这可例如在用户检测到不对劲之前影响用户的效率和/或总性能。将需要提供新的手段来解决上述问题中的一个或更多个。
发明内容
提供具有限定在独立权利要求中的特征的方法、系统和计算机可读存储介质，以解决上述问题中的一个或更多个。优选实施例限定在从属权利要求中。
因此，第一方面提供眼睛追踪方法的实施例。眼睛追踪方法包括执行校准。校准包括估计限定眼睛的相应光学特性的多个参数的值。多个参数包含眼睛的角膜的半径。眼睛追踪方法包括：使用在校准时估计的值而对眼睛执行眼睛追踪；估计角膜的半径的更新的值；以及使用角膜的半径的更新的值以及在对除眼睛的角膜的半径之外的参数进行校准时估计的值而对眼睛执行眼睛追踪。
本发明人已意识到用户所感受到的降低的眼睛追踪性能可由眼睛的角膜半径的改变导致。眼睛的角膜半径在一天内可能改变，而眼睛的其它光学特性可保持相对恒定(或可相比角膜半径的改变对注视追踪性能具有相对较小的影响)。在初始校准期间确定的角膜半径可能因此需要更新，而在初始校准期间确定的其它参数值可能不需要更新。因此，可使用角膜半径的更新的值以及在对除眼睛的角膜半径之外的参数(例如，眼睛的中央凹偏移)进行校准时估计的值而对眼睛执行眼睛追踪。
本发明人已意识到虽然眼睛的一些光学特性(例如，中央凹偏移)的估计可需要用户看着已知刺激点，但角膜半径的估计可例如在不使用这些已知刺激点的情况下执行。因此，由于执行通常涉及已知刺激点的使用的全面重新校准，可减轻眼睛追踪性能的降低(或恶化)而不必占用用户时间。
第二方面提供眼睛追踪系统的实施例，其中所述眼睛追踪系统包括被配置成执行校准的处理电路(或一个或更多个处理器)。校准包括估计限定眼睛的相应光学特性的多个参数的值。多个参数包含眼睛的角膜的半径。处理电路被配置成：使用在校准时估计的值而对眼睛执行眼睛追踪；估计角膜的半径的更新的值；并且使用角膜的半径的更新的值以及在对除眼睛的角膜的半径之外的参数进行校准时估计的值而对眼睛执行眼睛追踪。
处理电路(或一个或更多个处理器)可例如被配置成执行如本文(换句话说，权利要求书、发明内容或具体实施方式)所公开的第一方面的实施例中的任一个所限定的方法。所述系统可例如包括一个或更多个非暂时性计算机可读存储介质(或一个或更多个存储器)，其中所述非暂时性计算机可读存储介质存储指令，所述指令在由处理电路(或一个或更多个处理器)执行时导致眼睛追踪系统执行如本文所公开的第一方面的任一实施例中所限定的方法。
本公开中针对根据第一方面的方法的实施例而呈现的效果和/或优点可也适用于根据第二方面的系统的对应实施例。
第三方面提供非暂时性计算机可读存储介质的实施例，其中所述非暂时性计算机可读存储介质存储指令，所述指令在由眼睛追踪系统执行时使得眼睛追踪系统进行以下动作：
—执行校准，校准包括估计限定眼睛的相应光学特性的多个参数的值，多个参数包含眼睛的角膜的半径；
—使用在校准时估计的值而对眼睛执行眼睛追踪；
—估计角膜的半径的更新的值；并且
—使用角膜的半径的更新的值以及在对除眼睛的角膜半径之外的参数进行校准时估计的值而对眼睛执行眼睛追踪。
非暂时性计算机可读存储介质可例如存储指令，所述指令在由眼睛追踪系统(或由眼睛追踪系统中所包括的处理电路)执行时使得眼睛追踪系统执行如本文(换句话说，权利要求书、发明内容或具体实施方式)所公开的第一方面的任一实施例所限定的方法。
非暂时性计算机可读存储介质可例如被提供在计算机程序产品中。换句话说，计算机程序产品可例如包括非暂时性计算机可读存储介质，其中所述非暂时性计算机可读存储介质存储指令，所述指令在由眼睛追踪系统执行时使得眼睛追踪系统执行如本文所公开的第一方面的任一实施例所限定的方法。
本公开中针对根据第一方面的方法的实施例而呈现的效果和/或优点可也适用于根据第三方面的非暂时性计算机可读存储介质的对应实施例。
应注意，本公开的实施例涉及权利要求书中所述的特征的所有可能组合。
附图说明
在下文中，将参照附图来更详细地描述示例性实施例，其中：
图1是眼睛的前视图；
图2是从眼睛的旁侧所观察到的图1的眼睛的横截面图；
图3是根据实施例的眼睛追踪系统的示意性概略图；
图4是根据实施例的眼睛追踪方法的流程图；
图5是根据实施例的图4的方法中用于估计角膜半径的方案的流程图；
图6是根据实施例的图4的方法中用于校准的方案的流程图；
图7是根据实施例的图4的方法中用于执行眼睛追踪的方案的流程图；以及
图8是根据实施例的涉及角膜模型的修改的眼睛追踪方法的流程图。
所有附图是示意性的，未必按比例绘制，并且仅大体上示出示出阐明相应实施例所需的部分，而其它部分可被省略或仅进行暗示表示。除非另有指示，否则多幅附图中出现的任何附图标记在这些附图中表示相同对象或特征。
具体实施方式
应了解，贯穿本公开，术语“相机”表示被配置成基于所所接收的光而生成图像的任何类型的成像装置、图像传感器等。
下文将参照图3到图8来描述眼睛追踪方法、眼睛追踪系统和相关联的存储介质。首先，将参照图1到图2来描述眼睛的某些特征。
图1是眼睛100的前视图。图2是从眼睛100的旁侧所观察到的眼睛100的横截面图。虽然图2或多或少示出整个眼睛100，但图1所呈现的前视图仅示出通常从人的面部前方可见的眼睛100的那些部分。眼睛100具有角膜101和瞳孔102，其中瞳孔102具有瞳孔中心103。角膜101是弯曲的。角膜101通常建模为具有曲率中心104的球形表面，其中曲率中心104被简称为角膜中心104。在此球形角膜模型中，角膜101具有被称为角膜101的半径105或简称为角膜半径105的曲率半径。实际上，角膜101通常并非是完美球形的。因此，可使用非球形角膜模型。在此非球形角膜模型中，曲率半径针对沿着角膜101的不同点而不同。因此，如果使用非球形角膜模型，那么术语“角膜半径”可用于表示角膜101的某个点或某个区域处的曲率半径。应了解，本公开中所提供的至少一些实施例可与球形角膜模型以及与非球形角膜模型一起使用。眼睛100具有中心106。眼睛100的视轴107穿过眼睛100的中心106直到眼睛100的中央凹108。视轴107相对于眼睛100的光轴110形成角度109。视轴107与光轴110之间的偏差或偏移通常被称为中央凹偏移109。中央凹偏移109可例如经由两个角度来限定，其中第一角度指示偏移的大小(或量值)，并且第二角度指示偏移所处的平面(换句话说，视轴107和光轴110所处的平面)。图1还示出照明器在角膜101处的反射112。此反射112也被称为闪光。
图3是根据实施例的眼睛追踪系统300的示意性概略图。系统300包括用于照射眼睛100的一或更多个照明器301以及用于在眼睛100看着显示器303时捕捉眼睛100的图像的一个或更多个相机302。系统300还包括被配置成估计眼睛100处于何处和/或眼睛100正看着何处的处理电路304。处理电路304可例如估计眼睛100(对应于视轴107的方向)的注视方向(或注视向量)或眼睛100在显示器303处的注视点111(如图2所示)。换句话说，眼睛追踪系统300可例如是注视追踪系统。
处理电路304例如经由有线或无线连接而通信连接到照明器301和相机302。处理电路304可还通信连接到显示器303，例如以控制(或触发)显示器303以展示用于眼睛追踪系统300的校准的测试刺激点305。
照明器301可例如是例如呈发光二极管(LED)的形式的红外或近红外照明器。然而，也可设想其它类型的照明器。图3示出位于显示器303的任一处的实例照明器301，但照明器301可位于别处。
相机302可例如是电荷耦合器件(CCD)相机或互补金属氧化物半导体(CMOS)相机。然而，也可设想其它类型的相机。图3示出位于显示器303上方的示例性相机302，但相机302可位于别处，例如，位于显示器303下方。
显示器303可例如是液晶显示器(LCD)或LED显示器。然而，也可设想其它类型的显示器。显示器303可例如是平坦的或弯曲的。显示器303可例如是TV屏幕、计算机屏幕，或者可以是例如虚拟现实(VR)或增强现实(AR)装置等头戴式装置(HMD)的一部分。显示器303可例如放置在用户其中一只眼睛之前。换句话说，可对左眼和右眼使用单独的显示器303。可例如对左眼和右眼使用单独的眼睛追踪设备(例如，照明器301和相机302)。
处理电路304可用于双眼的眼睛追踪，或者对于左眼和右眼可具有单独的处理电路304。眼睛追踪系统300可例如单独执行左眼和右眼的眼睛追踪，并且可接着将组合注视点确定为左眼和右眼的注视点的平均值。
处理电路304可例如包括一个或更多个处理器306。处理器306可例如是被配置成执行具体眼睛追踪方法的专用集成电路(ASIC)。或者，处理器306可被配置成执行存储在一个或更多个存储器307中的指令(例如，呈计算机程序的形式)。此存储器307可例如包括在眼睛追踪系统300的处理电路304中，或可处于眼睛追踪系统300外部(例如，远离眼睛追踪系统300)。存储器307可存储用于导致眼睛追踪系统300执行眼睛追踪方法的指令。
应了解，上文参照图3所述的眼睛追踪系统300是作为示例来提供，并且可设想许多其它眼睛追踪系统。例如，照明器301和/或相机302不一定要被视为眼睛追踪系统300的一部分。眼睛追踪系统300可例如仅由处理电路304组成。甚至存在根本不使用照明器的眼睛追踪系统。此显示器303可例如包括在眼睛追踪系统300中，或可被视为与眼睛追踪系统300分开。
由例如图3中的眼睛追踪系统300等系统执行的眼睛追踪通常使用眼睛模型。此眼睛模型根据相应的用户眼睛的特性被校准。在校准期间，估计例如中央凹偏移109和角膜半径105等参数。一些用户感受到眼睛追踪性能随着时间流逝而降低(或恶化)。一种解决此问题的方式是当检测到性能退化时重新校准眼睛追踪系统300。本发明人已意识到此全面重新校准可能不是必须的。英国眼科学杂志(Br J Ophthalmol)2007年第91卷第1054到1058页中M.Asejczyk-Widlicka等人的文章“眼压波动以及对眼睛的像差的可能影响(Fluctuations in intraocular pressure and the potential effect on aberrationsof the eye)”(其全部内容以引用方式并入本文中)描述一天内的眼压变化与角膜曲率半径的改变和像差相关联。所述文章基于对17个人的研究，并且已在早晨(09:30)与中午(12:30)之间测得高达0.53mm的角膜半径改变。虽然此文章着重于对眼睛的像差的影响，但本发明人已意识到角膜半径的改变可影响眼睛追踪性能。实际上，前面提到的文章中检测到的角膜半径的改变(高达0.53mm的改变)可导致所估计的注视点的显著误差。因此，角膜半径的重新校准可显著提高眼睛追踪性能，即使原始校准的值用于眼睛模型的剩余部分也是如此。下文将参照图4到图8来描述采用此实现方式的方法。
图4是根据实施例的眼睛追踪方法400的流程图。方法400可例如由眼睛追踪系统300或由眼睛追踪系统300的处理电路304执行。
方法400包括执行校准401。校准401包括估计限定眼睛100的相应光学特性的多个参数的值。多个参数包含眼睛100的角膜半径105，并且可例如还包含例如以下各者的参数：
—眼睛100的中央凹偏移109；和/或
—瞳孔中心103与角膜中心104之间的距离；和/或
—房水的折射率；和/或
—角膜101的折射率。
下文将参照图6来描述校准401的示例性实施方案。应了解，如果使用非球形角膜模型，那么在校准401时估计的角膜半径可以是局部曲率半径，例如，沿着角膜101的点某个处或角膜101的某个区域处的曲率半径。
方法400包括使用在校准401时估计的值而对眼睛100执行402眼睛追踪(例如，估计眼睛100在空间中的位置、估计注视方向107或估计注视点111)。下文将参照图7来描述眼睛追踪402的示例性实施方案。
方法400包括估计403角膜半径105的更新的值。下文将参照图5来描述估计403的示例性实施方案。应了解，如果使用非球形角膜模型，那么在步骤403时估计的经更新角膜半径可以是局部曲率半径，例如，沿着角膜101的某个点处或角膜101的某个区域处的曲率半径。
方法400包括使用角膜半径105的更新的值以及对于除眼睛100的角膜半径105之外的参数使用在校准401时估计的值而对眼睛100执行404眼睛追踪。换句话说，针对除角膜半径105之外的至少一个参数(例如，中央凹偏移109)，可以不需要估计更新的值，并且眼睛追踪可在已估计角膜半径105的更新的值之后还继续使用此参数的原始值。下文将参照图7来描述眼睛追踪404的示例性实施方案。
根据一些实施例，将未更新的值(或来自初始校准401的原始值)用于眼睛追踪404中的参数是眼睛100的中央凹偏移109。应了解，眼睛100的中央凹偏移109可例如经由两个角度来限定，其中第一角度指示偏移的大小，并且第二角度指示偏移所处的平面(换句话说，视轴107和光轴110所处的平面)。眼睛追踪404可例如使用这两个角度中的一个或这两个角度两者的未更新的值(或原始值)。可将未更新的值(或来自初始校准的原始值)用于眼睛追踪404中的参数的其它实例可包含：
—瞳孔中心103与角膜中心104之间的距离；和/或
—房水的折射率；和/或
—角膜101的折射率。
根据一些实施例，可重复估计角膜半径105的更新的值，并且可使用当时可用的角膜半径的最新(换句话说，最近)更新的值来执行眼睛追踪404。在至少一段时间内，可例如一小时至少一次或每十分钟至少一次或每分钟至少一次估计角膜半径105的更新的值。通过重复估计角膜半径105的更新的值，用于眼睛追踪404中的角膜半径105可保持接近真实值，以使得可随时间流逝而维持眼睛追踪性能。
可例如按预限定时间间隔来估计角膜半径105的更新的值。然而，也可设想这样的实施例：其中角膜半径105的新值的连续估计之间的时间间隔不是预限定的。
根据一些实施例，角膜半径105的更新的值的估计403由定时器触发。眼睛追踪系统300可例如使用此定时器308。定时器308可例如包括在处理电路304中。例如，每当已确定角膜半径105的新的更新的值时，定时器被设置成预限定值。然而，也可设想这样的实施例：其中定时器可设置成不同值(例如，随机值)。
根据一些实施例，在校准401之后并未估计多个参数中的至少一个(例如，角膜偏移109)的更新的值。换句话说，在校准401之后估计403角膜半径105的更新的值，但对于在校准401时估计的一个或多个其它参数，不估计其更新的值。
根据一些实施例，针对在校准401时估计的多个参数中的至少一个(例如，角膜偏移109)，可在校准401之后估计更新的值，但相比估计角膜半径105的更新的值，较难得(或不太频繁)地估计这些更新的值。可例如不时地执行眼睛追踪系统300的全面重新校准(包含眼睛模型的所有参数的更新的值的估计)，但相比于此，可更频繁地估计角膜半径105的更新的值。
图5是根据实施例的图4的方法400中用于估计403角膜半径105的方案的流程图。在本实施例中，估计角膜半径105的更新的值的步骤403包括：
—获得501眼睛100的至少两个图像，所述至少两个图像在眼睛100由至少两个照明器301照射时由相应的相机302捕捉；
—基于图像而估计502照明器301在眼睛100的角膜101处的反射112的位置；以及
—基于在角膜101处的反射112的位置以及照明器301相对于捕捉图像的相机302的位置而估计503角膜半径105的更新的值。
角膜101的曲率(其可按角膜半径105来表示)影响闪光112以何种方式出现在角膜101处。因此，可通过分析闪光112的位置并使用照明器301相对于相机302的位置是已知的事实来估计角膜半径105。明确地说，可在不知晓真实注视点的情况下估计角膜半径105。换句话说，可在刺激点刺激点执行眼睛追踪的同时估计角膜半径105，而不会强制要求用户看着已知的刺激点(并且在并不假设用户正看着某些刺激点)。因此，可或多或少连续估计403角膜半径105的更新的值，而不打扰用户。增加照明器301的数量和/或相机302的数量可增加这些计算的鲁棒性(和/或准确性和/或精确性)。
在这种配置中(两个照明器和两个相机)可以何种方式估计角膜半径105的详细示例在2006年6月IEEE生物医学工程会刊(IEEE Transactions on biomedicalengineering)第53卷第6期中E.D.Guestrin等人的文章“使用瞳孔中心和角膜反射进行的远程注视估计的一般理论(General Theory of Remote Gaze Estimation Using thePupil Center and Corneal Reflections)”第II.C章(其全部内容以引用方式并入本文中)中给出，其中角膜半径被表示为“R”。
根据一些实施例，在眼睛追踪期间(或基于在眼睛追踪期间获得的信息)而执行角膜半径105的更新的值的估计403。例如瞳孔中心角膜反射(PCCR)等眼睛追踪技术涉及使用瞳孔反射112以确定注视点和/或注视方向。因此，在眼睛追踪期间获得的信息(例如，角膜反射112的位置)可也用于估计角膜半径105的更新的值。
图6是根据实施例的图4的方法400中用于校准401的方案的流程图。在本实施例中，校准401包括：
—提供601用于在显示器303处的已知位置处显示参考刺激点305的信令；
—提供602用于提示用户看着参考刺激点305的信令；
—获得603在用户看着参考刺激点305时捕捉的眼睛100的图像；以及
—基于至少所获得的图像以及参考刺激点305的已知位置而估计604多个参数(限定眼睛100的相应特性)的值。
换句话说，眼睛追踪系统300的处理电路304控制显示器303以在显示器303的已知位置处显示参考刺激点305(例如，作为清晰可见的小点或X)。处理电路304指示用户(例如，经由显示器303处的文字或经由视频消息)看着参考刺激点305。相机302接着在眼睛100正看着参考刺激点305时(或当眼睛100被假设/认为正看着参考刺激点305时)捕捉眼睛100的图像。处理电路304接着基于至少所获得的图像以及参考刺激点305的已知位置而估计604多个参数的值。校准401通常包含多个参考刺激点的使用，其中用户被提示一个接一个地看着所述参考刺激点。
如上文关于图4所述，在校准401期间估计的参数可包含：
—角膜半径105；和/或
—中央凹偏移109；和/或
—瞳孔中心103与角膜中心104之间的距离；
—房水的折射率；和/或
—角膜101的折射率。
根据一些实施例，在不提示用户看着显示器303已知位置处的参考刺激点305的情况下或至少在并不假设用户看着显示器303处的某位置(例如，已知参考刺激点305)的情况下执行角膜半径105的更新的值的估计。如上文参照图5所述，可在不了解真实注视点的情况下估计角膜半径105，因此不需要参考刺激点。
图7是用于执行根据实施例的图4的方法400中的眼睛追踪的方案700的流程图。在本实施例中，经由眼睛追踪方案700而执行使用在校准401时估计的值而执行眼睛100的眼睛追踪的步骤402(以及类似地，使用角膜半径105的更新的值以及对于除眼睛100的角膜半径105之外的参数使用在校准时估计的值而对眼睛100执行眼睛追踪的步骤404)，所述眼睛追踪方案700包括：
—获得701在眼睛100由照明器301照射时捕捉的眼睛100的图像；
—基于图像而估计702眼睛100的瞳孔中心103的位置；
—基于图像而估计703照明器131在眼睛100的角膜101处的反射112的位置(或照明器131在眼睛100的角膜101处的反射112的中心的位置)；以及
—基于瞳孔中心103的位置和在角膜处的反射112的位置而估计704注视方向107和/或注视点111。
此类型的眼睛追踪通常被称为瞳孔中心角膜反射(PCCR)。PCCR方案700可例如基于多个照明器301在角膜处的反射112(也被称为闪光)和/或由多个相机302捕捉的眼睛100的图像。
也可设想一些实施例，其中经由PCCR方案700而执行第一眼睛追踪步骤402而经由某一其它眼睛追踪方案而执行第二眼睛追踪步骤404。也可设想一些实施例，其中经由PCCR方案700而执行第二眼睛追踪步骤404而经由某一其它眼睛追踪方案而执行第一眼睛追踪步骤402。
PCCR眼睛追踪通常包含找出眼球在空间中位于何处并找出眼球的旋转(或方向)。这通常通过找到瞳孔中心103和闪光112的中心来完成。粗略地说，瞳孔102用于找到眼睛100的方向，并且闪光112用于确定眼睛100在空间中的位置。眼睛100在空间中的位置可例如经由眼睛100的中心106来限定。因此，根据一些实施例，估计注视方向107和/或注视点111的步骤704包括基于在角膜101处的反射112的位置、角膜半径105以及照明器301相对于捕捉图像的相机302的位置而估计眼睛100的位置106。
图8是根据实施例的涉及角膜模型的修改的眼睛追踪方法800的流程图。方法800包含上文参照图4所述的方法400的前三个步骤401到403，因此此处不对这些步骤的描述予以重复。在本实施例中，基于角膜101的模型而执行眼睛追踪。基于在角膜处的至少一个反射112而估计403角膜半径105的多个更新的值中的每一个。方法800包括：
—将角膜半径105的每个更新的值与角膜101的某一部分113或区域(示例性部分113示出在图1中)相关联801，用于估计此更新的值的在角膜处的至少一个反射112位于该部分113或区域内；
—基于角膜半径105以及角膜101的相关联的部分107的更新的值而提供802经修改的角膜模型；以及
—使用经修改的角膜模型而对眼睛100执行803眼睛追踪。
角膜101可能并不具有完美的球形形状，但局部上看，角膜101仍可以是大致上球形的。换句话说，角膜101可在某些区域中具有大致上球形的形状。因此，可估计角膜101的不同部分(或区域)的不同角膜半径。可在眼睛追踪期间逐渐更新角膜模型，以使得在角膜模型中角膜101的越来越多的部分逐渐被提供以适当的角膜半径，因此提高眼睛追踪性能。最终，在角膜模型中可能已对角膜101的所有部分分配适当的角膜半径。
步骤801到803可被视为上文参照图4所述的方法400的步骤404的示例性实施方案。如图8所示，每当已估计出新的角膜半径105，便可重复步骤404。
根据一些实施例，响应于在眼睛100的角膜101处的反射112位于角膜101的某部分113或某区域(示例性部分113示出在图1中)中而执行估计角膜半径105的更新的值的步骤403。
在上文参照图8所述的角膜模型中，可能不存在可用于角膜101的某区域107中的角膜半径105的估计。如果在角膜处的反射112(或闪光)位于此部分113中，那么估计此部分113的角膜半径105以改进角膜模型可以是好主意。另一方面，如果已存在可用于在角膜处的反射112所处的角膜的部分的角膜半径105，那么可能不需要对角膜101的此部分更新角膜模型。
上文参照图4到图8所述的方法和方案表示本公开的第一方面。上文参照图3所述的眼睛追踪系统300表示本公开的第二方面。系统300(或系统300的处理电路304)可例如被配置成执行上文所述的第一方面的任一实施例中的眼睛追踪方法。系统300可例如被配置成执行上文参照图4所述的方法400或上文参照图8所述的方法800。
根据实施例，眼睛追踪系统300包括处理电路304，其中处理电路304被配置成：
—执行校准，校准包括估计限定眼睛100的相应光学特性的多个参数的值，多个参数包含眼睛100的角膜半径105；
—使用在校准时估计的值而对眼睛100执行眼睛追踪；
—估计角膜半径105的更新的值；并且
—使用角膜半径105的更新的值以及对于除眼睛100的角膜半径105之外的参数使用在校准时估计的值而对眼睛100执行眼睛追踪。
如上文参照图3所述，眼睛追踪系统300不一定需要包括图3所示的所有元件。
本公开的第三方面由非暂时性计算机可读存储介质307的实施例表示，其中非暂时性计算机可读存储介质307存储指令，所述指令在由眼睛追踪系统300执行时导致眼睛追踪系统300执行上文所述的第一方面的任一实施例的方法(例如，上文参照图4所述的方法400或上文参照图8所述的方法800)。
根据实施例，非暂时性计算机可读存储介质307存储指令，所述指令在由眼睛追踪系统300执行时导致眼睛追踪系统300进行以下动作：
—执行校准，校准包括估计限定眼睛100的相应光学特性的多个参数的值，多个参数包含眼睛的角膜半径105；
—使用在校准时估计的值而对眼睛100执行眼睛追踪；
—估计角膜半径105的更新的值；并且
—使用角膜半径105的更新的值以及对于除眼睛100的角膜半径105之外的参数使用在校准时估计的值而对眼睛100执行眼睛追踪。
如上文参照图3所述，存储介质307不一定需要包括在系统300中。
本领域的技术人员应意识到，本发明绝不限于上文所述的优选实施例。相反，许多修改和变化在随附权利要求书的范围内是可能的。例如，上文参照图4到图8所述的方法和方案可组合以形成其它实施例。此外，应了解，图3所示的眼睛追踪系统300仅旨在作为示例，并且其它眼睛追踪系统也可执行上文参照图4到图8所述的方法。
应了解，处理电路304(或处理器)可包括以下各者中的一个或更多个的组合：微处理器、控制器、微控制器、中央处理单元、数字信号处理器、专用集成电路、现场可编程门阵列或任何其它适当计算装置、资源，或硬件、软件和/或编码逻辑的组合，所述编码逻辑可操作以独自地或结合其它计算机部件(例如，存储器或存储介质)提供计算机功能。
还应了解，存储器或存储介质307(或计算机可读介质)可包括任何形式的易失性或非易失性计算机可读存储器，包含(但不限于)永久存储装置、固态存储器、远程安装存储器、磁性介质、光学介质、随机存取存储器(RAM)、只读存储器(ROM)、海量存储介质(例如，硬盘)、可移除存储介质(例如，闪存驱动器、光盘(CD)或数字视频光盘(DVD))和/或任何其它易失性或非易失性、非暂时性可读装置和/或计算机可执行存储器装置，其存储可由处理器或处理电路使用的信息、数据和/或指令。
此外，所公开的实施例的变化可被本领域的技术人员在实践所主张的发明时从附图、公开内容和随附权利要求书的研读来理解和实行。在权利要求书中，用词“包括”不排除其它元件或步骤，并且用词“一”或“一个”不排除多个。在权利要求书中，用词“或”不应解释为互斥或(有时被称为“XOR”)。相反，例如“A或B”等表达涵盖“A且非B”、“B且非A”和“A和B”等所有状况。在相互不同的从属权利要求中引述某些措施这一单纯事实不指示这些措施的组合无法有利使用。权利要求书中的任何附图标记不应解释为限制范围。

Claims (19)

1.一种眼睛追踪方法(400)，包括：
执行校准，所述校准包括估计限定眼睛(100)的相应光学特性的多个参数的值，所述多个参数包含所述眼睛的角膜(101)的半径(105)；
使用在所述校准时估计的所述值而执行所述眼睛的眼睛追踪；
估计所述角膜的半径的更新的值；以及
使用所述角膜的半径的所述更新的值以及在对除所述眼睛的所述角膜的半径之外的参数进行所述校准时估计的值，而对所述眼睛执行眼睛追踪。
2.根据权利要求1所述的方法，其中除所述眼睛的所述角膜的半径之外的所述参数是所述眼睛的中央凹偏移(109)。
3.根据前述权利要求中任一项所述的方法，其中估计所述角膜的半径的更新的值包括：
获得在所述眼睛由至少两个照明器(301)照明时由相应相机(302)捕捉的所述眼睛的至少两个图像；
基于所述图像而估计所述照明器在所述眼睛的所述角膜处的反射(112)的位置；以及
基于在所述角膜处的所述反射的所述位置以及所述照明器相对于捕捉所述至少两个图像的所述相机的位置，而估计所述角膜的半径的更新的值。
4.根据权利要求1所述的方法，其中估计所述角膜的半径的更新的值是：
在眼睛追踪期间执行的；和/或
基于在眼睛追踪期间获得的信息而执行的。
5.根据权利要求1所述的方法，其中在至少一段时间内，所述角膜的半径的更新的值一小时至少一次被估计。
6.根据权利要求5所述的方法，其中在至少一段时间内，所述角膜的半径的更新的值每十分钟至少一次被估计。
7.根据权利要求1所述的方法，其中所述角膜的半径的更新的值的所述估计由定时器(308)触发。
8.根据权利要求1所述的方法，其中所述校准包括：
提供用于在显示器(303)的已知位置处显示参考刺激点(305)的信令；
提供用于提示用户看着所述参考刺激点的信令；
获得在所述用户看着所述参考刺激点时捕捉的所述眼睛的图像；以及
基于至少所述获得的图像以及所述参考刺激点的所述已知位置而估计所述多个参数的值。
9.根据权利要求8所述的方法，其中所述角膜的半径的更新的值的所述估计是在以下情况下执行的：
没有提示所述用户看着所述显示器的已知位置处的参考刺激点(305)；和/或
没有假设所述用户看着所述显示器处的某位置。
10.根据权利要求1所述的方法，其中所述眼睛追踪包括：
获得在所述眼睛由照明器(301)照射时捕捉的所述眼睛的图像；
基于所述图像而估计所述眼睛的瞳孔中心(103)的位置；
基于所述图像而估计所述照明器在所述眼睛的所述角膜处的反射(112)的位置；以及
基于所述瞳孔中心的所述位置和在所述角膜处的所述反射的所述位置而估计注视方向(107)和/或注视点(111)。
11.根据权利要求10所述的方法，其中估计注视方向和/或注视点包括：
基于在所述角膜处的所述反射的所述位置、所述角膜的半径以及所述照明器相对于捕捉所述图像的相机(302)的位置，而估计所述眼睛的位置。
12.根据权利要求1所述的方法，其中所述眼睛追踪是基于所述角膜的模型而执行的，其中所述角膜的半径的多个更新的值中的每一个更新的值是基于照明器(301)在所述眼睛的所述角膜处的至少一个反射(112)而估计的，所述方法包括：
将所述角膜的半径的每个所述更新的值与用于估计此更新的值的在所述角膜处的所述至少一个反射所位于的所述角膜的一部分(113)相关联；
基于所述角膜的半径的所述更新的值以及所述角膜的所述相关联的部分，而提供经修改的角膜模型；以及
使用所述经修改的角膜模型而对所述眼睛执行眼睛追踪。
13.根据权利要求1所述的方法，其中估计所述角膜的半径的更新的值是响应于在所述眼睛的所述角膜(101)处的反射位于所述角膜的某部分(113)中而执行的。
14.根据权利要求1所述的方法，其中：
在所述校准后，相比所述多个参数中的至少一个参数的更新的值，所述角膜的半径的更新的值更频繁地被估计；或
所述多个参数中的至少一个参数的更新的值在所述校准后未被估计。
15.一种眼睛追踪系统(300)，包括处理电路(304)，所述处理电路(304)被配置成：
执行校准，所述校准包括估计限定眼睛(100)的相应光学特性的多个参数的值，所述多个参数包含所述眼睛的角膜(101)的半径(105)；
使用在所述校准时估计的所述值而对所述眼睛执行眼睛追踪；
估计所述角膜的半径的更新的值；并且
使用所述角膜的半径的所述更新的值以及在对除所述眼睛的所述角膜的半径之外的参数进行所述校准时估计的值，而对所述眼睛执行眼睛追踪。
16.根据权利要求15所述的系统，其中除所述眼睛的所述角膜的半径之外的所述参数是所述眼睛的中央凹偏移(109)。
17.根据权利要求15-16中任一项所述的系统，其中所述处理电路被配置成通过至少以下步骤而估计所述角膜的半径的所述更新的值：
获得在所述眼睛由至少两个照明器(301)照射时由相应相机(302)捕捉的所述眼睛的至少两个图像；
基于所述图像而估计所述照明器在所述眼睛的所述角膜处的反射(112)的位置；以及
基于在所述角膜处的所述反射的所述位置以及所述照明器相对于捕捉所述至少两个图像的所述相机的位置，而估计所述角膜的半径的更新的值。
18.根据权利要求15所述的系统，其中所述处理电路被配置成基于所述角膜的模型而执行所述眼睛追踪，其中所述处理电路被配置成基于照明器(301)在所述眼睛的所述角膜处的至少一个反射(112)而估计所述角膜的半径的多个更新的值中的每一个更新的值，并且其中所述处理电路被配置成：
将所述角膜的半径的每个所述更新的值与用于估计此更新的值的在所述角膜处的所述至少一个反射所位于的所述角膜的部分(113)相关联；
基于所述角膜的半径的所述更新的值以及所述角膜的所述相关联的部分，而提供经修改的角膜模型；并且
使用所述经修改的角膜模型而对所述眼睛执行眼睛追踪。
19.一种非暂时性计算机可读存储介质(307)，用于存储指令，所述指令在由眼睛追踪系统(300)执行时使得所述眼睛追踪系统进行以下动作：
执行校准，所述校准包括估计限定眼睛(100)的相应光学特性的多个参数的值，所述多个参数包含所述眼睛的角膜(101)的半径(105)；
使用在所述校准时估计的所述值而对所述眼睛执行眼睛追踪；
估计所述角膜的半径的更新的值；并且
使用所述角膜的半径的所述更新的值以及在对除所述眼睛的所述角膜的半径之外的参数进行所述校准时估计的值，而对所述眼睛执行眼睛追踪。
CN201911301999.2A 2018-12-21 2019-12-17 用于眼睛追踪中的角膜半径的估计 Active CN111513670B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE1851662-5 2018-12-21
SE1851662 2018-12-21

Publications (2)

Publication Number Publication Date
CN111513670A CN111513670A (zh) 2020-08-11
CN111513670B true CN111513670B (zh) 2023-10-10

Family

ID=71900547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911301999.2A Active CN111513670B (zh) 2018-12-21 2019-12-17 用于眼睛追踪中的角膜半径的估计

Country Status (2)

Country Link
US (1) US11209901B2 (zh)
CN (1) CN111513670B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022171084A (ja) * 2021-04-30 2022-11-11 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
CN117480469A (zh) * 2021-06-11 2024-01-30 苹果公司 眼睛模型注册
WO2024064376A1 (en) * 2022-09-23 2024-03-28 Apple Inc. User eye model match detection
US20240103618A1 (en) * 2022-09-23 2024-03-28 Apple Inc. Corrected Gaze Direction and Origin

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106662917A (zh) * 2014-04-11 2017-05-10 眼球控制技术有限公司 眼睛跟踪校准系统和方法
CN107145086A (zh) * 2017-05-17 2017-09-08 上海青研科技有限公司 一种免定标的视线追踪装置及方法
CN107440678A (zh) * 2016-05-31 2017-12-08 富士通株式会社 视线检测器和视线检测方法
CN108139806A (zh) * 2015-10-28 2018-06-08 微软技术许可有限责任公司 相对于可穿戴设备跟踪穿戴者的眼睛

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6659611B2 (en) * 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
US20130113704A1 (en) * 2011-11-04 2013-05-09 The Regents Of The University Of California Data fusion and mutual calibration for a sensor network and a vision system
US9244529B2 (en) * 2013-01-27 2016-01-26 Dmitri Model Point-of-gaze estimation robust to head rotations and/or device rotations
US10115205B2 (en) * 2016-03-11 2018-10-30 Facebook Technologies, Llc Eye tracking system with single point calibration
US10976813B2 (en) * 2016-06-13 2021-04-13 Apple Inc. Interactive motion-based eye tracking calibration
CN108038884B (zh) * 2017-11-01 2020-12-11 北京七鑫易维信息技术有限公司 校准方法、装置、存储介质和处理器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106662917A (zh) * 2014-04-11 2017-05-10 眼球控制技术有限公司 眼睛跟踪校准系统和方法
CN108139806A (zh) * 2015-10-28 2018-06-08 微软技术许可有限责任公司 相对于可穿戴设备跟踪穿戴者的眼睛
CN107440678A (zh) * 2016-05-31 2017-12-08 富士通株式会社 视线检测器和视线检测方法
CN107145086A (zh) * 2017-05-17 2017-09-08 上海青研科技有限公司 一种免定标的视线追踪装置及方法

Also Published As

Publication number Publication date
US11209901B2 (en) 2021-12-28
US20200257359A1 (en) 2020-08-13
CN111513670A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111513670B (zh) 用于眼睛追踪中的角膜半径的估计
CN111124104B (zh) 使用瞳孔中心位置的映射进行注视跟踪
CN111263925B (zh) 用于使用事件相机数据的眼动跟踪的方法和设备
CN107272904B (zh) 一种图像显示方法及电子设备
US8958599B1 (en) Input method and system based on ambient glints
US10684680B2 (en) Information observation method and information observation device
CN109643152B (zh) 使用头戴式显示器内的面部传感器的面部和眼睛跟踪以及面部动画
WO2019153927A1 (zh) 屏幕显示方法、具有显示屏幕的装置、设备及存储介质
US10809800B2 (en) Robust convergence signal
CN111670001B (zh) 用于眼睛跟踪系统的图像调整
US11061473B2 (en) Updating a cornea model
US9265415B1 (en) Input detection
CN111317438B (zh) 通过追踪光路来进行注视跟踪
CN111753628B (zh) 训练眼睛跟踪模型
EP3716012B1 (en) Detecting relocation of a head-mounted device
CN115137293A (zh) 用于确定参考注视数据的系统和方法
JP2005081101A (ja) 視線方向検出装置及び視線方向検出方法
CN111308697B (zh) 适应性视线追踪的校正方法
US12057092B2 (en) Information processing device and information processing method for a head-mounted display
CN117761892A (zh) 头戴式显示器设备的透镜距离测试

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant