CN111190482A - 用于校准眼睛追踪器的方法和装置 - Google Patents
用于校准眼睛追踪器的方法和装置 Download PDFInfo
- Publication number
- CN111190482A CN111190482A CN201911099824.8A CN201911099824A CN111190482A CN 111190482 A CN111190482 A CN 111190482A CN 201911099824 A CN201911099824 A CN 201911099824A CN 111190482 A CN111190482 A CN 111190482A
- Authority
- CN
- China
- Prior art keywords
- user
- eye
- eye data
- stored
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000008569 process Effects 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 2
- 210000001747 pupil Anatomy 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
Abstract
公开一种为了适应眼睛追踪装置的用户而校准眼睛追踪装置的方法,其中与用户相关联的眼睛追踪装置的校准设置是基于用户在看着一组参考点时所获取的眼睛数据而计算得到的。所述方法包括:将所述组中的参考点向用户显示;当用户看着参考点时,通过眼睛追踪装置的至少一个相机而获取用户的双眼中的至少一只眼睛的眼睛数据;比较所获取的眼睛数据以及与参考点相关的所存储的眼睛数据集,其中所存储的眼睛数据集中的每一个眼睛数据集与眼睛追踪装置的校准设置相关联;以及如果所获取的眼睛数据与所存储的眼睛数据集中的一个眼睛数据集匹配,那么放弃校准过程并加载与匹配的所存储的眼睛数据相关联的校准设置。
Description
技术领域
本公开总的来说涉及为了适应个别用户而校准眼睛追踪装置的方法、系统和装置。
背景技术
若干不同眼睛追踪系统在本领域中是已知的。这些系统可例如用于允许用户通过看着计算机显示器上的一个点而指示在计算机显示器处那个点的位置。眼睛追踪系统可捕捉用户面部的图像,并且接着使用图像处理以从用户面部提取关键特征,例如,瞳孔中心以及来自对用户面部照明的照明器的闪烁。然后可使用所提取的特征可接着来确定用户正看着显示器何处。
为了使用户具有准确且精确的眼睛追踪体验,用户需要校准眼睛追踪器。这通常通过以下方式来完成:在一定量的时间内看着给定的一组参考点,并且获取与用户的注视方向相关的用户的眼睛数据。一旦所述一组参考点已被用户看过,则建立校准配置文件,从而定义人眼中的至少一只眼睛的特性。此校准配置文件可含有关于用户眼睛的特性的数据,例如,双眼间距(IOD)、瞳孔间距(IPD)、瞳孔大小、瞳孔大小变化、亮瞳对比度、暗瞳对比度、角膜半径等。此信息可预先存在于校准配置文件中,或可在分析时并入到校准配置文件中。或者,默认参数可存储在眼睛追踪器中以充当初始开始点。
校准过程可能耗时且乏味。减少此过程中花费的时间量对于良好的眼睛追踪体验来说是关键的。因此,在促进眼睛追踪装置中的校准方面需要改进。
发明内容
本发明的目标是解决上文列出的问题和话题中的至少一些。本发明的实施例的目标是提供相对于校准过程增进用户的眼睛追踪体验的装置和方法。可以通过使用如随附独立权利要求所定义的方法、装置和计算机程序来实现这些目标和其它目标。
根据本发明的第一方面,提供一种为了适应眼睛追踪装置的用户而校准眼睛追踪装置的方法,其中与用户相关联的眼睛追踪装置的校准设置是基于用户在看着一组参考点时所获取的用户的眼睛数据而计算得到的,所述方法包括以下步骤:将所述组中的参考点向用户显示;当用户看着参考点时通过眼睛追踪装置的至少一个相机而获取用户的双眼中的至少一只的眼睛的眼睛数据;比较所获取的眼睛数据以及与参考点相关的所存储的眼睛数据集,其中所存储的眼睛数据集中的每一个眼睛数据集与眼睛追踪装置的校准设置相关联;以及如果所获取的眼睛数据与所存储的眼睛数据集中的一个眼睛数据集匹配,那么放弃校准过程并加载与匹配的所存储的眼睛数据相关联的校准设置。
通过减少向用户显示的参考点的数量并比较所获取的眼睛数据与所存储的眼睛数据以获得匹配,校准过程所需的时间显著减少,同时实现很大程度地适合于用户的可行校准。
在优选实施例中,如果所获取的眼睛数据不与所存储的眼睛数据集中的任一个眼睛数据集匹配,那么所述方法还包括:针对所述组中的剩余参考点而重复显示参考点和获取眼睛数据的步骤;针对所述组中的所有参考点基于所获取的眼睛数据而计算校准设置;以及针对所述组中的所有参考点而存储所计算的校准设置和所获取的眼睛数据。如果未找到匹配,那么校准过程按常规方式继续,其中校准设置和相关联的眼睛数据被存储以供未来在眼睛追踪装置相对于用户的后续校准期间使用。
在又一优选实施例中,如果所获取的眼睛数据与所存储的眼睛数据之间的差不超过预定阈值,那么确定匹配。阈值定义用于所获取的眼睛数据和所存储的眼睛数据的比较的限值,并且确保所确定的匹配为用户提供可行校准。
在有利实施例中,获取眼睛数据的步骤包括确定用户的双眼中的至少一只眼睛的注视方向与参考点之间的注视方向偏移,并且比较眼睛数据的步骤包括比较所获取的注视方向偏移与所存储的注视方向偏移。注视方向偏移是在眼睛追踪的领域中频繁使用的眼睛数据的一个实例,并且提供比较所获取的眼睛数据与所存储的眼睛数据的简单且可靠的方式。
在又一优选实施例中,所述方法还包括获取两只眼睛的注视方向偏移。使用来自用户的两只眼睛的数据会增大所述方法在确定适当校准设置中的精确性和可靠性。
在有利实施例中,比较的步骤包括确定左眼和右眼的注视方向偏移之间的关系并比较所确定的关系与左眼和右眼的所存储的注视方向偏移之间的对应关系。优选地,左眼和右眼的注视方向偏移之间的关系包括从左眼和右眼的注视方向偏移到参考点的相应距离和/或左眼和右眼的注视方向偏移之间的角度。使用左眼和右眼的注视方向偏移之间的关系会提供额外的比较基础,这进一步提高所述方法在确定可行校准设置中的精确性和可靠性。
在替代实施例中,获取眼睛数据的步骤包括确定双眼间距(IOD)和瞳孔间距(IPD)中的一个,并且比较眼睛数据的步骤包括比较所获取的IOD或IPD与所存储的IOD或IPD。使用与眼睛之间的距离相关的数据会进一步增大所述方法在确定适当校准设置中的精确性和可靠性。此外,通过组合两个或更多个步骤中的不同眼睛数据,第一比较可排除不可行的校准以减少后续步骤中的比较的数量,因此实现较快校准过程。
在本发明的第二方面中,提供一种可操作以追踪用户的注视方向的眼睛追踪装置,其中与用户相关联的眼睛追踪装置的校准设置是基于用户在看着一组参考点时所获取的眼睛数据而计算得到的,所述装置包括:至少一个相机;处理电路;以及存储器,所述存储器含有可由所述处理电路执行的指令,通过所述指令,所述眼睛追踪装置操作以执行下列动作:将所述组中的参考点向用户显示;通过相机而获取用户在看着参考点时用户的双眼中的至少一只眼睛的数据;比较所获取的眼睛数据以及与参考点相关的所存储的眼睛数据集,其中所存储的眼睛数据集中的每一个眼睛数据集与眼睛追踪装置的校准设置相关联;并且如果所获取的眼睛数据与所存储的眼睛数据集中的一个眼睛数据集匹配,那么放弃校准过程并加载与匹配的所存储的眼睛数据相关联的校准设置。
在优选实施例中,眼睛追踪装置进一步操作以执行下列动作:如果所获取的眼睛数据不与所存储的眼睛数据集中的任一个眼睛数据集匹配,那么针对所述组中的剩余参考点而重复显示参考点和获取眼睛数据的步骤;基于针对所述组中的所有参考点获取的眼睛数据而计算校准设置;并且存储针对所述组中的所有参考点计算的校准设置和获取的眼睛数据。
在替代实施例中,如果所获取的眼睛数据与所存储的眼睛数据之间的差不超过预定阈值,那么确定匹配。
在有利实施例中,眼睛追踪装置进一步操作以执行下列动作:确定用户的双眼中的至少一只眼睛的注视方向与参考点之间的注视方向偏移;并且比较所获取的注视方向偏移与所存储的注视方向偏移。
在替代实施例中,眼睛追踪装置进一步操作以执行下列动作:获取两只眼睛的注视方向偏移。
在优选实施例中,眼睛追踪装置进一步操作以执行下列动作:确定左眼和右眼的注视方向偏移之间的关系;并且比较所确定的关系与左眼和右眼的所存储的注视方向偏移之间的对应关系。优选地,左眼和右眼的注视方向偏移之间的关系包括从左眼和右眼的注视方向偏移到参考点的相应距离和/或左眼和右眼的注视方向偏移之间的角度。
在有利实施例中,眼睛追踪装置进一步操作以执行下列动作:确定双眼间距(IOD)和瞳孔间距(IPD)中的一个;并且比较所获取的IOD或IPD与所存储的IOD或IPD。
在本发明的第三方面中,提供一种计算机程序,该计算机程序包括将在追踪用户的注视方向的眼睛追踪装置上运行的计算机可读代码手段,其中与用户相关联的眼睛追踪装置的校准设置是基于用户在看着一组参考点时所获取的用户的眼睛数据而计算得到的,计算机可读代码手段当在眼睛追踪装置中运行时导致眼睛追踪装置执行以下步骤:将所述组中的参考点向用户显示;通过眼睛追踪装置的至少一个相机而获取用户在看着参考点时用户的双眼中的至少一只眼睛的眼睛数据;比较所获取的眼睛数据以及与参考点相关的所存储的眼睛数据集,其中所存储的眼睛数据集中的每一个眼睛数据集与眼睛追踪装置的校准设置相关联;以及如果所获取的眼睛数据与所存储的眼睛数据集中的一个眼睛数据集匹配,那么放弃校准过程并加载与匹配的所存储的眼睛数据相关联的校准设置。
在本发明的第四方面中,提供一种载体,所述载体含有根据第三方面的计算机程序,其中所述载体是电子信号、光学信号、无线电信号或计算机可读存储介质中的一个。
此解决方案的其它可能的特征和益处将从下文的具体实施方式变得清楚。
附图简述
现将通过示范性实施例并参照附图来更详细描述解决方案,其中:
图1a是在水平平面中的俯视图,其中示出关于参考点的用户的注视方向;
图1b是在垂直相交平面中的视图,其中示出关于参考点的用户的注视方向偏移;
图2a是在水平平面中的俯视图,其中示出与其它用户的所存储的注视方向相比关于参考点的用户的注视方向;
图2b是在垂直相交平面中的视图,其中示出与其它用户的所存储的注视方向偏移相比关于参考点的用户的注视方向偏移;
图3是示意性地示出根据本公开的方法的实施例的方法步骤的流程图;
图4是示意性地示出根据本公开的方法的又一实施例的方法步骤的流程图;
图5示出根据实施例的眼睛追踪装置的框图。
具体实施方式
简要地说,提供一种为了适应眼睛追踪装置的用户而校准眼睛追踪装置的方法,所述方法减少在眼睛追踪装置的校准过程中花费的时间以增进用户的眼睛追踪体验。通过使用根据本公开的方法、装置和计算机程序,可通过允许快速校准到眼睛追踪装置的预先存在的校准设置来改进用户的眼睛追踪的体验。
图1a图示用户在看着由眼睛追踪装置产生并显示的参考点1时用户的注视方向。图1a是平行于用户的横向或轴向平面的水平平面中的俯视图。如图所示,由箭头2L和2R图示的用户的每只眼睛的注视方向不与参考点1重合,而是相对于参考点1偏移。注视方向的偏移(通常被称为注视方向偏移)是通过执行视线与平面相交测试来确定的。更具体来说,由相应眼睛的注视方向2L、2R定义的视线与实质上垂直于用户且含有参考点1的垂直平面之间的相交。
另外在图1a中,提供双眼间距(IOD)和瞳孔间距(IPD)的图示。双眼间距被定义为用户的左眼的中心与右眼的中心之间的距离,并且实质上是与眼睛的移动无关的恒定的固定值。另一方面,瞳孔间距被定义为用户左眼的瞳孔的中心与右眼的瞳孔的中心之间的距离,并且可随着用户在看着不同物体(例如,靠近的物体或远离的物体或在用户的左侧或右侧的物体)时用户移动眼睛而变化。
在图1b中,图示含有参考点1的垂直相交平面。如图所示,分别对应于左眼和右眼的注视方向偏移3L、3R的相交点3L和3R分别与参考点1相隔距离dL和dR,并且相对于参考点呈现不同角取向。在参考点1定义原点的情况下,左眼和右眼的相应注视方向偏移3L、3R之间的角度α也图示在图1b中。
眼睛追踪器一开始可具有默认参数。默认校准产生每个用户的眼睛数据的半唯一样式。在使用默认校准时产生的唯一样式可与所执行的校准一起被存储,并且如果用户再次看着相同参考点,则进行比较。因此,当同一用户在稍后时间起动眼睛追踪装置时,根据本发明的校准过程将仅需要用户看着一个参考点以便确定与用户的先前存储的校准设置的匹配。然而,校准过程也可用于快速加载针对新用户的适当校准设置。
本发明提出将眼睛数据与其它现有眼睛数据匹配以试着看看是否存在可用的类似校准。在实施例中,这可通过以下方式来实现:比较如上文所定义的用户的注视方向偏移、双眼间距(IOD)和/或瞳孔间距(IPD)与对应的所存储的注视方向偏移、IOD和/或IPD。
图2a以类似于图1a的俯视图图示一种情形,此情形具有与第一和第二先前用户的所存储的眼睛数据相关联的预先存在的校准设置。第一先前用户使用短划线来图示,并且第二先前用户使用点划线来图示。当前用户使用实线来图示。如图所示,当前用户的关于参考点1的注视方向2L、2R显著不同于第一先前用户的注视方向2L'、2R',但很大程度地对应于第二先前用户的注视方向2L”、2R”。因此,看上去与第二先前用户相关联的所存储的校准设置将提供对当前用户的良好匹配。
现参照图2b,当前用户的左眼和右眼的相应注视方向偏移3L、3R与第一和第二先前用户的所存储的注视方向偏移3L'、3R'、3L”、3R”一起被示出为垂直平面上的点。当比较注视方向偏移时,比较平面上的对应点并且如果这些点之间的距离落在某一量内,那么视为可行校准。如上文已关于图2a论述,当前用户的注视方向偏移3L、3R显著不同于第一先前用户的注视方向偏移3L'、3R',而它们接近地对应于第二先前用户的注视方向偏移3L”、3R”。以当前用户的注视方向偏移3L、3R中的每一个为圆心的虚线圆被示出,其表示用于注视方向偏移之间的比较的阈值。因为第二先前用户的注视方向偏移3L”、3R”各自位于以当前用户的注视方向偏移3L、3R为圆心的相应虚线圆表示的阈值内,所以它们在本发明的背景下提供匹配。在若干所存储的注视方向偏移提供匹配(即,位于表示阈值的虚线圆内)的情形下,选择具有最小差的注视方向偏移。这可例如通过以下方式来实现:不断地减小阈值(减小虚线圆的半径),直到只剩一个所存储的注视方向偏移与当前用户的所获取的注视方向偏移3L、3R匹配为止。
图3结合图1a、1b和图2示出用于校准眼睛追踪装置600的方法的实施例,其中眼睛追踪装置600包括至少一个相机10。与用户相关联的眼睛追踪装置600的校准设置是基于用户在看着一组参考点1时所获取的眼睛数据而计算得到的。所述方法可在一些实施例中由眼睛追踪装置600执行,并且在一些实施例中,所述方法可使用从眼睛追踪装置600获得的数据在别的位置执行(例如,在眼睛追踪装置600操作性地连接到的云环境中执行)。
所述方法包括将所述组中的参考点1向用户显示202。所述方法还包括当用户在看着参考点1时获取204用户双眼中的至少一只眼睛的眼睛数据。所述方法还包括比较206所获取的眼睛数据以及与参考点1相关的所存储的眼睛数据集,其中所存储的眼睛数据集中的每一个眼睛数据集与眼睛追踪装置的校准设置相关联。所述方法还包括如果所获取的眼睛数据与所存储的眼睛数据集中的一个眼睛数据集匹配,那么放弃208校准过程并加载210与匹配的所存储的眼睛数据相关联的校准设置。
在一些实施例中,获取204眼睛数据的步骤包括确定用户的双眼中的至少一只眼睛的注视方向2L、2R与参考点1之间的注视方向偏移3L、3R,并且比较206眼睛数据的步骤包括比较所获取的注视方向偏移3L、3R与所存储的注视方向偏移3L'、3R'、3L”、3R”。
在一些实施例中,获取204眼睛数据的步骤包括确定用户的双眼间距(IOD)和瞳孔间距(IPD)中的一个,并且比较206眼睛数据的步骤包括比较所获取的IOD或IPD与所存储的IOD或IPD。
当然,所获取的眼睛数据可包含与用户相关的其它相关值和测量值,并且可按各种方式和任何次序进行组合并比较。例如,IOD和/或IPD可用于第一比较中以排除不匹配的所存储的IOD和/或IPD,并且接着第二比较可使用所获取的注视方向偏移3L、3R来执行以找到最接近地匹配的所存储的注视方向偏移3L'、3R'、3L”、3R”。或者,可在IOD和/或IPD之前比较注视方向偏移。
在一些实施例中,如果所获取的眼睛数据与所存储的眼睛数据之间的差不超过预定阈值,那么确定匹配。
图4结合图1a、图1b和图2示出用于在所获取的眼睛数据不与所存储的眼睛数据集中的任一个眼睛数据集匹配的状况下校准眼睛追踪装置600的方法的又一实施例。所述方法还包括针对所述组中的剩余参考点而重复212步骤202和204。所述方法还包括基于针对所述组中的所有参考点获取的眼睛数据而计算214校准设置。所述方法还包括存储216针对所述组中的所有参考点所计算的校准设置和所获取的眼睛数据。
图5结合图1a和图1b示出能够追踪用户的眼睛的眼睛追踪装置600。眼睛追踪装置600包括处理电路603和存储器604。处理电路603可包括适用于执行指令的一个或更多个可编程处理器、专用集成电路、现场可编程门阵列或其组合(未示出)。存储器含有可由所述处理电路执行的指令,通过所述指令,眼睛追踪装置600操作以执行下列动作:将所述组中的参考点1向用户显示。眼睛追踪装置600进一步操作以执行下列动作:当用户在看着参考点1时获取用户的双眼中的至少一只眼睛的眼睛数据。眼睛追踪装置600进一步操作以执行下列动作:比较所获取的眼睛数据以及与参考点相关的所存储的眼睛数据集,其中所存储的眼睛数据集中的每一个眼睛数据集与眼睛追踪装置600的校准设置相关联。眼睛追踪装置600进一步操作以执行下列动作:如果所获取的眼睛数据与所存储的眼睛数据集中的一个眼睛数据集匹配,那么放弃校准过程并加载与匹配的所存储的眼睛数据相关联的校准设置。
根据实施例,眼睛追踪装置600进一步操作以执行下列动作:如果所获取的眼睛数据不与所存储的眼睛数据集中的任一个眼睛数据集匹配,那么针对所述组中的剩余参考点而重复显示参考点和获取眼睛数据的步骤;基于针对所述组中的所有参考点获取的眼睛数据而计算校准设置;并且存储针对所述组中的所有参考点所计算的校准设置和所获取的眼睛数据。
根据实施例,如果所获取的眼睛数据与所存储的眼睛数据之间的差不超过预定阈值,那么确定匹配。
根据实施例,眼睛追踪装置600进一步操作以执行以下动作:确定用户的双眼中的至少一只眼睛的注视方向与参考点之间的注视方向偏移;并且比较所获取的注视方向偏移与所存储的注视方向偏移。
根据实施例,眼睛追踪装置600进一步操作以执行以下操作:获取两只眼睛的注视方向偏移。
根据实施例,眼睛追踪装置600进一步操作以执行以下操作:确定左眼和右眼的注视方向偏移之间的关系;并且比较所确定的关系与左眼和右眼的所存储的注视方向偏移之间的对应关系。根据实施例,左眼和右眼的注视方向偏移之间的关系包括从左眼和右眼的注视方向偏移到参考点的相应距离dL、dR和/或左眼和右眼的注视方向偏移之间的角度α。
如上文结合图1b所论述,距离dL、dR和/或角度α可用于进一步建立当前用户与所存储的校准设置之间的最接近拟合。这可在若干步骤中执行,其中在通过比较所获取的注视方向偏移3L、3R与所存储的注视方向偏移3L'、3R'、3L”、3R”而标识许多适当的所存储的校准设置之后,注视方向偏移之间的关系(距离dL、dR和/或角度α)可用于进一步在适当的所存储的校准设置的候选者之间作出区分以找到最佳的校准设置,即,相比当前用户的所获取的眼睛数据具有最小差的校准设置。
根据实施例,眼睛追踪装置600进一步操作以执行下列动作:确定双眼间距(IOD)和瞳孔间距(IPD)中的一个;并且比较所获取的IOD或IPD与所存储的IOD或IPD。
在一些实施例中,执行方法步骤的眼睛追踪装置600的特征(例如,处理电路603和存储器604)可以是一组网络节点,其中用于执行方法的功能散布在网络的不同物理或虚拟节点上。换句话说,执行方法步骤的眼睛追踪装置600的特征可以是云解决方案,也就是说,执行方法步骤的眼睛追踪装置600的特征可作为云计算资源来部署,所述云计算资源可散布在网络中。
根据其它实施例,眼睛追踪装置600可还包括通信单元602,其中通信单元602可被认为包括用于与相关实体(例如,通信单元602操作性地连接到的其它计算机或装置)通信的常规手段。可由所述处理电路603执行的指令可被配置为存储在例如存储器604中的计算机程序605。处理电路603和存储器604可布置在子布置601中。子布置601可以是被配置成执行上文所述的方法的微处理器以及适当软件及其存储装置、可编程逻辑器件(PLD)或其它电子部件/处理电路。
计算机程序605可包括计算机可读代码手段,其中计算机可读代码手段当在眼睛追踪装置600中运行时导致眼睛追踪装置600执行眼睛追踪装置600的所描述的实施例中的任一个实施例所述的步骤。计算机程序605可由可连接到处理电路603的计算机程序产品携载。计算机程序产品可以是存储器604。存储器604可实现为例如随机存取存储器(RAM)、只读存储器(ROM)或电可擦除可编程ROM(EEPROM)。此外,计算机程序可由独立计算机可读介质(例如,CD、DVD或闪速存储器)携载,其中程序可从独立计算机可读介质下载到存储器604中。或者,计算机程序可存储在连接到眼睛追踪装置600的服务器或任何其它实体上,其中眼睛追踪装置600经由通信单元602而访问所述服务器或任何其它实体。计算机程序可接着从服务器下载到存储器604中。
虽然上文描述含有多个特定内容,但是这些特定内容不应被解释为限制本文所述的概念的范围,而是仅提供所描述的概念的一些示范实施例的说明。应了解,当前描述的概念的范围完全涵盖对于本领域的技术人员来说可变得清楚的其它实施例,并且当前描述的概念的范围相应地不受限制。除非明确地陈述,否则单数形式的元件的引用不希望表示“一个且仅一个”,而是表示“一个或更多个”。本领域的技术人员所知的上述实施例的元件的所有结构和功能等同物以引用方式明确并入在本文中,并且希望因此被涵盖在本文中。此外,设备或方法不需要解决试图由当前描述的概念解决的每一问题,这是因为其因此被涵盖在本文中。在示范性附图中,虚线通常表示虚线内的特征是任选的。
Claims (12)
1.一种用于为了适应眼睛追踪装置(600)的用户而校准所述眼睛追踪装置的方法,其中与用户相关联的所述眼睛追踪装置(600)的校准设置是基于当所述用户看着一组参考点(1)时所获取的所述用户的眼睛数据而计算得到的,所述方法包括以下步骤:
将所述组中的参考点向所述用户显示(202);
当所述用户看着所述参考点时,通过所述眼睛追踪装置(600)的至少一个相机(10)而获取(204)所述用户的双眼中的至少一只眼睛的眼睛数据;
比较(206)所获取的眼睛数据以及与所述参考点相关的所存储的眼睛数据集,其中所述所存储的眼睛数据集中的每一个眼睛数据集与所述眼睛追踪装置的校准设置相关联;以及
如果所述所获取的眼睛数据与所述所存储的眼睛数据集中的一个眼睛数据集匹配,那么放弃(208)校准过程,并加载(210)与匹配的所存储的眼睛数据相关联的校准设置。
2.根据权利要求1所述的方法,其中如果所述所获取的眼睛数据不与所述所存储的眼睛数据集中的任一个眼睛数据集匹配,那么所述方法还包括:
针对所述组中的剩余参考点而重复(212)步骤(202)和(204);
基于针对所述组中的所有参考点所获取的眼睛数据而计算(214)校准设置;以及
存储(216)针对所述组中的所有参考点所计算的校准设置和所获取的眼睛数据。
3.根据权利要求1或2所述的方法,其中如果所述所获取的眼睛数据与所述所存储的眼睛数据之间的差不超过预定阈值,那么确定匹配。
4.根据前述权利要求中任一项所述的方法,其中获取(204)眼睛数据包括确定所述用户的双眼中的至少一只眼睛的注视方向(2L、2R)与所述参考点(1)之间的注视方向偏移(3L、3R),并且比较(206)眼睛数据包括比较所获取的注视方向偏移(3L、3R)与所存储的注视方向偏移(3L'、3R'、3L”、3R”)。
5.根据权利要求4所述的方法,还包括获取两只眼睛的注视方向偏移(3L、3R)。
6.根据权利要求5所述的方法,其中比较(206)所获取的注视方向偏移(3L、3R)包括确定左眼和右眼的所述注视方向偏移(3L、3R)之间的关系,以及比较所确定的关系与所述左眼和所述右眼的所存储的注视方向偏移(3L'、3R'、3L”、3R”)之间的对应关系。
7.根据权利要求6所述的方法,其中所述左眼和所述右眼的所述注视方向偏移之间的所述关系包括从所述左眼和所述右眼的所述注视方向偏移(3L、3R)到所述参考点(1)的相应距离(dL、dR)和/或所述左眼和所述右眼的所述注视方向偏移(3L、3R)之间的角度(α)。
8.根据前述权利要求中任一项所述的方法,其中获取(204)眼睛数据包括确定所述用户的双眼间距(IOD)和瞳孔间距(IPD)中的一个,并且比较(206)眼睛数据包括将所获取的双眼间距或瞳孔间距与所存储的双眼间距或瞳孔间距进行比较。
9.一种可操作以追踪用户的注视方向的眼睛追踪装置(600),其中与用户相关联的所述眼睛追踪装置的校准设置是基于当所述用户在看着一组参考点时所获取的所述用户的眼睛数据而计算得到的,所述装置包括:
至少一个相机(10);
处理电路(603);以及
存储器(604),所述存储器(604)含有可由所述处理电路(603)执行的指令,通过所述指令,所述眼睛追踪装置(600)操作以执行下列动作:
将所述组中的参考点(1)向所述用户显示;
当所述用户看着所述参考点(1)时,通过所述相机(10)而获取所述用户的双眼中的至少一只眼睛的眼睛数据;
比较所获取的眼睛数据以及与所述参考点相关的所存储的眼睛数据集,其中所述所存储的眼睛数据集中的每一个眼睛数据集与所述眼睛追踪装置(600)的校准设置相关联;以及
如果所述所获取的眼睛数据与所述所存储的眼睛数据集中的一个眼睛数据集匹配,那么放弃校准过程并加载与匹配的所存储的眼睛数据相关联的校准设置。
10.根据权利要求9所述的眼睛追踪装置,进一步操作以执行根据权利要求2到8中任一项所述的方法。
11.一种计算机程序(605),包括将在眼睛追踪装置(600)上运行以追踪用户的注视方向的计算机可读代码手段,其中与用户相关联的所述眼睛追踪装置(600)的校准设置是基于当所述用户在看着一组参考点时所获取的所述用户的眼睛数据而计算得到的,所述计算机可读代码手段(605)当在所述眼睛追踪装置(600)中运行时导致所述眼睛追踪装置(600)执行以下步骤:
将所述组中的参考点向所述用户显示;
当所述用户看着所述参考点时,通过所述眼睛追踪装置(600)的至少一个相机(10)获取所述用户的双眼中的至少一只眼睛的眼睛数据;
比较所获取的眼睛数据以及与所述参考点相关的所存储的眼睛数据集,其中所述所存储的眼睛数据集中的每一个眼睛数据集与所述眼睛追踪装置的校准设置相关联;以及
如果所述所获取的眼睛数据与所述所存储的眼睛数据集中的一个眼睛数据集匹配,那么放弃校准过程,并加载与匹配的所存储的眼睛数据相关联的校准设置。
12.一种载体,其包含有根据权利要求11所述的计算机程序(605),其中所述载体是电子信号、光学信号、无线电信号或计算机可读存储介质中的一个。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SE1851425-7 | 2018-11-15 | ||
SE1851425 | 2018-11-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111190482A true CN111190482A (zh) | 2020-05-22 |
CN111190482B CN111190482B (zh) | 2024-01-26 |
Family
ID=68342538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911099824.8A Active CN111190482B (zh) | 2018-11-15 | 2019-11-12 | 用于校准眼睛追踪器的方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10936063B2 (zh) |
EP (1) | EP3656285B1 (zh) |
CN (1) | CN111190482B (zh) |
ES (1) | ES2945789T3 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111857333A (zh) * | 2020-06-29 | 2020-10-30 | 维沃移动通信有限公司 | 眼动追踪方法、装置及电子设备 |
WO2021238966A1 (zh) * | 2020-05-29 | 2021-12-02 | 京东方科技集团股份有限公司 | 测量眼球追踪设备延迟量的方法和设备、眼球追踪系统以及非暂时性计算机存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE2250757A1 (en) * | 2022-06-21 | 2023-12-22 | Tobii Ab | Method and system for determining a current gaze direction |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101255219B1 (ko) * | 2011-10-13 | 2013-04-24 | 상명대학교 산학협력단 | 시선 추적 방법 및 이를 적용한 장치 |
DE102014008852A1 (de) * | 2014-06-14 | 2015-12-17 | Audi Ag | Kalibrierung eines Kraftfahrzeug-Eyetrackingsystems |
US20160029883A1 (en) * | 2013-03-28 | 2016-02-04 | Eye Tracking Analysts Ltd | Eye tracking calibration |
US20160134863A1 (en) * | 2014-11-06 | 2016-05-12 | Intel Corporation | Calibration for eye tracking systems |
US20160131902A1 (en) * | 2014-11-12 | 2016-05-12 | Anthony J. Ambrus | System for automatic eye tracking calibration of head mounted display device |
CN105828702A (zh) * | 2013-12-17 | 2016-08-03 | 埃西勒国际通用光学公司 | 用于校准头戴式眼睛跟踪装置的方法 |
KR101732618B1 (ko) * | 2016-02-02 | 2017-05-08 | 동국대학교 산학협력단 | 시선 추적 장치 및 방법 |
CN106662917A (zh) * | 2014-04-11 | 2017-05-10 | 眼球控制技术有限公司 | 眼睛跟踪校准系统和方法 |
US9760772B2 (en) * | 2014-03-20 | 2017-09-12 | Lc Technologies, Inc. | Eye image stimuli for eyegaze calibration procedures |
US9791912B2 (en) * | 2011-10-27 | 2017-10-17 | Tobii Ab | Intelligent user mode selection in an eye-tracking system |
CN107683446A (zh) * | 2015-03-13 | 2018-02-09 | 感官运动仪器创新传感器有限公司 | 用于自动识别眼睛追踪设备的至少一个用户的方法以及眼睛追踪设备 |
CN107771051A (zh) * | 2014-11-14 | 2018-03-06 | Smi创新传感技术有限公司 | 眼睛追踪系统以及检测优势眼的方法 |
KR101857466B1 (ko) * | 2017-06-16 | 2018-05-15 | 주식회사 비주얼캠프 | 헤드 마운트 디스플레이 및 그 캘리브레이션 방법 |
CN108351514A (zh) * | 2015-11-02 | 2018-07-31 | 欧库勒斯虚拟现实有限责任公司 | 使用结构光的眼睛追踪 |
CN108700933A (zh) * | 2015-09-24 | 2018-10-23 | 托比股份公司 | 能够进行眼睛追踪的可穿戴设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI704501B (zh) * | 2018-08-09 | 2020-09-11 | 宏碁股份有限公司 | 可由頭部操控的電子裝置與其操作方法 |
-
2019
- 2019-10-22 EP EP19204663.9A patent/EP3656285B1/en active Active
- 2019-10-22 ES ES19204663T patent/ES2945789T3/es active Active
- 2019-11-12 CN CN201911099824.8A patent/CN111190482B/zh active Active
- 2019-11-12 US US16/681,030 patent/US10936063B2/en active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101255219B1 (ko) * | 2011-10-13 | 2013-04-24 | 상명대학교 산학협력단 | 시선 추적 방법 및 이를 적용한 장치 |
US9791912B2 (en) * | 2011-10-27 | 2017-10-17 | Tobii Ab | Intelligent user mode selection in an eye-tracking system |
US20160029883A1 (en) * | 2013-03-28 | 2016-02-04 | Eye Tracking Analysts Ltd | Eye tracking calibration |
CN105828702A (zh) * | 2013-12-17 | 2016-08-03 | 埃西勒国际通用光学公司 | 用于校准头戴式眼睛跟踪装置的方法 |
US9760772B2 (en) * | 2014-03-20 | 2017-09-12 | Lc Technologies, Inc. | Eye image stimuli for eyegaze calibration procedures |
US9785233B2 (en) * | 2014-04-11 | 2017-10-10 | Facebook, Inc. | Systems and methods of eye tracking calibration |
CN106662917A (zh) * | 2014-04-11 | 2017-05-10 | 眼球控制技术有限公司 | 眼睛跟踪校准系统和方法 |
DE102014008852A1 (de) * | 2014-06-14 | 2015-12-17 | Audi Ag | Kalibrierung eines Kraftfahrzeug-Eyetrackingsystems |
US20160134863A1 (en) * | 2014-11-06 | 2016-05-12 | Intel Corporation | Calibration for eye tracking systems |
US20160131902A1 (en) * | 2014-11-12 | 2016-05-12 | Anthony J. Ambrus | System for automatic eye tracking calibration of head mounted display device |
CN107771051A (zh) * | 2014-11-14 | 2018-03-06 | Smi创新传感技术有限公司 | 眼睛追踪系统以及检测优势眼的方法 |
CN107683446A (zh) * | 2015-03-13 | 2018-02-09 | 感官运动仪器创新传感器有限公司 | 用于自动识别眼睛追踪设备的至少一个用户的方法以及眼睛追踪设备 |
CN108700933A (zh) * | 2015-09-24 | 2018-10-23 | 托比股份公司 | 能够进行眼睛追踪的可穿戴设备 |
CN108351514A (zh) * | 2015-11-02 | 2018-07-31 | 欧库勒斯虚拟现实有限责任公司 | 使用结构光的眼睛追踪 |
KR101732618B1 (ko) * | 2016-02-02 | 2017-05-08 | 동국대학교 산학협력단 | 시선 추적 장치 및 방법 |
KR101857466B1 (ko) * | 2017-06-16 | 2018-05-15 | 주식회사 비주얼캠프 | 헤드 마운트 디스플레이 및 그 캘리브레이션 방법 |
Non-Patent Citations (2)
Title |
---|
徐菁菁;徐丹;吕帆;: "眼动追踪仪的调试和初步应用", 眼视光学杂志, no. 01 * |
满毅;赵歆波;张珂;: "基于双眼模型的三维视线估计方法", 机械科学与技术, no. 04 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021238966A1 (zh) * | 2020-05-29 | 2021-12-02 | 京东方科技集团股份有限公司 | 测量眼球追踪设备延迟量的方法和设备、眼球追踪系统以及非暂时性计算机存储介质 |
CN111857333A (zh) * | 2020-06-29 | 2020-10-30 | 维沃移动通信有限公司 | 眼动追踪方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111190482B (zh) | 2024-01-26 |
US10936063B2 (en) | 2021-03-02 |
EP3656285B1 (en) | 2023-04-19 |
ES2945789T3 (es) | 2023-07-07 |
EP3656285A1 (en) | 2020-05-27 |
US20200192474A1 (en) | 2020-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111190482B (zh) | 用于校准眼睛追踪器的方法和装置 | |
US20180357475A1 (en) | Authentication device and authentication method | |
CN109857254B (zh) | 瞳孔定位方法和装置、vr/ar设备以及计算机可读介质 | |
JP6853188B2 (ja) | 瞳孔間距離を決定する装置、システム、および方法 | |
CN107683446B (zh) | 用于自动识别眼睛追踪设备的至少一个用户的方法以及眼睛追踪设备 | |
EP4137037A1 (en) | Reliability of gaze tracking data for left and right eye | |
CN108693548B (zh) | 一种基于场景目标识别的导航方法及系统 | |
US20190076014A1 (en) | Pupil radius compensation | |
EP3757655A1 (en) | Method and system for 3d cornea position estimation | |
CN113344862A (zh) | 缺陷检测方法、装置、电子设备及存储介质 | |
EP3617993B1 (en) | Collation device, collation method and collation program | |
CN110291771B (zh) | 一种目标对象的深度信息获取方法及可移动平台 | |
US11367311B2 (en) | Face recognition method and apparatus, server, and storage medium | |
CN110610117A (zh) | 一种人脸识别方法、装置及存储介质 | |
CN109712121B (zh) | 一种医学影像图片处理的方法、设备及装置 | |
KR20090115738A (ko) | 정보 추출 방법, 등록 장치, 대조 장치 및 프로그램 | |
EP4172723B1 (en) | Computer-implemented method for determining a position of a center of rotation of an eye using a mobile device, mobile device and computer program | |
CN112488062B (zh) | 一种图像识别方法、装置、设备及介质 | |
CN109598751B (zh) | 一种医学影像图片处理的方法、设备及装置 | |
CN109587403A (zh) | 一种拍摄引导方法和装置 | |
US20230351729A1 (en) | Learning system, authentication system, learning method, computer program, learning model generation apparatus, and estimation apparatus | |
US20240104178A1 (en) | Information processing apparatus, information processing method, matching system, program, and storage medium | |
CN114202499B (zh) | 屈光信息测量方法、装置及计算机可读存储介质 | |
US20240112028A1 (en) | Physical augmentation of patient data for medical applications | |
EP4064196A1 (en) | Parameter determination device, parameter determination method, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |