CN107003721B - 用于眼睛跟踪系统的改进校准 - Google Patents

用于眼睛跟踪系统的改进校准 Download PDF

Info

Publication number
CN107003721B
CN107003721B CN201580054479.XA CN201580054479A CN107003721B CN 107003721 B CN107003721 B CN 107003721B CN 201580054479 A CN201580054479 A CN 201580054479A CN 107003721 B CN107003721 B CN 107003721B
Authority
CN
China
Prior art keywords
moving object
eye
tracking
distance measurement
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580054479.XA
Other languages
English (en)
Other versions
CN107003721A (zh
Inventor
N·霍雷什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN107003721A publication Critical patent/CN107003721A/zh
Application granted granted Critical
Publication of CN107003721B publication Critical patent/CN107003721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)

Abstract

总体而言，本公开提供了用于眼睛跟踪系统的校准的系统、设备、方法和计算机可读介质。在某些实施例中，该方法可包括分析从面向场景摄像机接收的视频流，以检测移动的对象并估计移动的对象的角位置。该方法也可包括从眼睛跟踪摄像机接收图像，并基于图像来估计用户眼睛的注视角度。该方法可进一步包括针对每一个移动的对象，计算对象角位置和注视角度之间的第一距离测量结果；基于第一距离测量结果与阈值的比较，接受或拒绝每一个移动的对象在校准中使用；以及基于第二距离测量结果的最小化来估计眼睛跟踪校准角度，在所接受的移动的对象的角位置和注视角度之间计算第二距离测量结果。

Description

用于眼睛跟踪系统的改进校准
技术领域
本公开涉及眼睛跟踪系统，并且更具体地，涉及用于眼睛跟踪系统的改进校准。
背景技术
跟踪用户注视的系统(即，眼睛跟踪系统)正变得日益普及。跟踪用户眼睛的移动和注视点的能力允许更精细的用户接口可能性。然而，归因于从一个人到另一个人的眼球状结构的生理差异，这些眼睛跟踪系统通常需要针对每一个用户被校准。校准过程典型地通过以下来执行：向用户呈现一组点(一次一个)，请求用户将他们的注视固定在该已知点处同时估计视觉注视点。这个过程是繁琐的，要求用户协作且通常是非鲁棒的。另外，这个过程要求活跃的显示元件(例如，能够由跟踪校准系统控制)以及相对大的视野，这在某些平台(包括，例如某些可佩戴设备和汽车环境)中可能是不存在的。
附图说明
要求保护的主题的实施例的特征和益处随着下面具体实施方式的进行并且在参照附图时将变得清楚，其中相似的标号描绘相似的部分，并且其中：
图1图示了符合本公开的示例实施例的顶级系统图。
图2图示了符合本公开的示例实施例的关于眼睛的横截面视图的校准角度。
图3图示了符合本公开的示例实施例的对象跟踪。
图4图示了符合本公开的一个示例实施例的框图。
图5图示了符合本公开的一个示例实施例的操作流程图。
图6图示了符合本公开的另一示例实施例的平台的系统图。
尽管下面的具体实施方式将参考说明实施例而进行，但是许多可替代方案、修改及其变型对本领域技术人员来说将是清楚的。
具体实施方式
通常，本公开提供用于眼睛跟踪系统的改进校准的系统、设备、方法和计算机可读介质。面向场景(或世界)摄像机可被配置以提供涵盖周围环境视场的视频流，该周围环境对于该系统的用户是可见的。这个视频流可包括有机会移动穿过该场景且被用户的眼睛反射性地跟随的对象。移动的对象可被检测和分析以确定它们的在校准过程中使用的适合性，且以估计它们的视轴或视线。眼睛跟踪摄像机也可被配置为提供图像用于跟踪用户眼睛运动且将其与对象的运动进行相关，例如，所述对象的运动如从面向场景摄像机视频数据所确定的。当发现相关性(例如，超出统计显著阈值的相关性)时，可计算与在对象上的眼睛注视相关联的光轴或瞳孔轴的估计。视轴估计和光轴估计之间的差异可被用作眼睛跟踪系统的校准基础，如将在下面更详细描述的。
图1图示了符合本公开的一个示例实施例的顶级系统图100。面向场景摄像机104可配置为提供视觉数据，例如涵盖周围环境的视场的视频流，该周围环境对于该系统的用户是可见的。眼睛跟踪摄像机106也可配置为提供视觉数据，例如用于跟踪眼睛的运动的用户眼睛108的图像且特别是眼睛的光轴，如将在下面解释的。来自面向场景摄像机104和眼睛跟踪摄像机106的数据可被提供至眼睛跟踪校准系统102，眼睛跟踪校准系统102可被配置为生成校准参数且将这些参数提供至眼睛跟踪系统110。然后眼睛跟踪系统110可以在基于校准参数校正或调整的情况下，基于由眼睛跟踪摄像机106提供的后续数据来跟踪用户眼睛的运动或注视点。
图2图示了符合本公开的示例实施例的关于眼睛的横截面视图200的校准角度。眼睛108包括晶状体214，该晶状体将例如在凝视点206处的对象的图像聚焦在眼睛背部处的一个受体上。凹204是视觉受体的最大密度的区域，并因此能够感知高分辨率的图像。视轴(或视线)212可在该凹和凝视点之间绘出且表示用户沿着其注视的实际路径。相反，光轴(或瞳孔轴)208可绘出为通过瞳孔的中心且正交于晶状体214的表面。光轴208表现为指示用户正沿着其注视的路径，但是实际上从真正的视轴212偏离角度Kappa(K)210。
眼睛跟踪设备通常依靠眼睛108的视觉检查以估计光轴208。可通过测量瞳孔(在晶状体214的中心)正面向的方向来估计光轴208。换句话说，光轴在瞳孔的中心正交于晶状体214的表面。然而Kappa角度210因人而异，且必须通过对每个用户的校准过程来估计，这是因为需要计算视轴。Kappa角度210可表达为两个相对正交分量phi(Φ)和theta(θ)的合成，这两个分量可以分别对应于垂直维度和水平维度上的偏离。
除了Kappa角度210之外，两个其他的解剖学参数可被用于眼睛跟踪校准：角膜曲率半径(R)以及瞳孔平面与角膜曲率中心之间的距离(d)。
图3图示了符合本公开示例实施例的对象跟踪300。人类眼睛通常以三种主要模式的其中一种进行操作：(1)凝视——其中眼睛维持对单个位置的视觉注视；(2)扫视——眼睛或头部的快速移动，其通常发生在两个凝视之间；以及(3)平滑追踪——其中眼睛紧紧跟随移动的对象。图2图示了沿路径移动的对象(汽车)在多个位置和对应时间点：t1、t2……tN302、304、306处的平滑追踪。人类视觉系统本能地或反射性地跟随移动的对象。
在某些实施例中，针对不同地移动的对象搜索由面向场景摄像机提供的视野，并且眼睛的相关联平滑追踪运动由眼睛跟踪摄像机捕获。当在足够置信度的情况下发现对象运动和平滑追踪运动之间的匹配时，匹配数据可被寄存或存储在系统数据库中。然后如下面所描述的，基于该数据来计算校准参数。
图4图示了符合本公开的示例实施例的框图400。眼睛跟踪校准系统被示出包括注视估计模块404、场景分析模块406、对象轨迹匹配模块408和校准模块410。
注视估计模块404可以被配置为接收来自眼睛跟踪摄像机106的图像，并基于那些图像估计用户眼睛108在一段时间内在多个点处的注视角度。注视角度对应于光轴208，并且可使用在眼睛跟踪领域中已知的任何合适的技术来估计。每一个注视角度点可与时间标记相关联。
场景分析模块406可被配置为分析从面向场景摄像机接收的视频流，以检测移动的对象并估计那些对象在一段时间内在多个点处的角度位置。每一个对象点可与时间标记相关联。对象检测和识别可使用下面方法中的一个或多个来执行：模板匹配、光流跟踪、背景分割、尺度不变特征变换(SIFT)匹配、粒子滤波和/或正-负跟踪。
对象运动检测器可被配置为根据下面的准则中的一个或多个来拒绝不适于眼睛跟踪校准的对象：
(a)对象视觉尺寸——大对象可能增加关于用户注视点的不确定性。
(b)对象视觉速度-平滑跟踪速度通常限于约每秒30度的最大值。
(c)对象运动——可能难以从凝视和扫视区分出相对小的对象运动。
(d)对象自遮挡——遮挡自己(例如，沿它们自己的轴旋转)的对象可能创建与该对象主体的总体运动不一致的注视模式。
(e)对象反差——具有相对低反差的对象可能增加关于用户注视点的不确定性。
(f)对象区别性——当许多对象以相似模式移动时，运动可能增加关于用户的注视正在跟踪哪一个对象的不确定性。
另外，在某些实施例中，惯性传感器可被采用来测量在世界坐标中面向场景摄像机的运动。可以拒绝利用摄像机确定为在移动(即在真实世界中没有移动)的对象。
对象轨迹匹配模块408可被配置为将对象运动数据与注视数据进行匹配。对象运动点在用户眼睛的坐标系中被转换为光线。这可基于以下假设：对象和面向场景摄像机之间的距离与摄像机和眼睛之间的距离相比相对大，在可佩戴设备中，摄像机和眼睛之间的距离可能只有几厘米。可替代地，在某些实施例中，深度或距离感测设备可被采用来估计对象和面向场景摄像机之间的距离。例如，立体摄像机可用于这个目的。
在这一点上，该对象轨迹匹配模块408具有对象坐标[θi，φi，ti]Obj和眼睛注视坐标[θj+θ0，φj+φ0，tj+t0]εye，其中θ0和φ0是校准角度(Kappa)且t0表示两个摄像机之间的时钟采样时间差。可执行重采样以将对象坐标和眼睛注视坐标带入共同的时间坐标系ti且消除t0偏离项。然后可以在所匹配的对象坐标和眼睛注视坐标之间计算距离测量结果，其最小化校准角度θ0和φ0：
Figure BPA0000241894250000041
在某些实施例中，该距离测量结果可以是欧几米德范数，即
Figure BPA0000241894250000042
换句话说，对象角位置和注视方向之间的距离之和最小化受制于校准角度θ0，φ0而最小化。通常，这是2自由度(θ0，φ0)的非线性最小化问题。该最小化可以由一般的数值优化技术执行，比如例如，牛顿-高斯算法或列文伯格-马夸尔特(Levenberg-Marquardt)算法。
在某些实施例中，附加的校准参数可被估计以包括角膜曲率半径(R)以及瞳孔平面与角膜曲率中心之间的距离(d)。在这些实施例中，距离测量结果最小化计算包括R和d如下：
Figure BPA0000241894250000051
其中注视角度和校准参数R、d之间的函数关系可通过已知的方法从眼睛跟踪设备的几何结构导出。数值优化可经受对每一个参数的预定义的约束。例如，参数可被限制在正常解剖学值的范围之内。
如果测得的距离超过阈值，则所匹配的数据可被拒绝。否则，所匹配的数据可被传递到校准模块410。阈值可由统计模块计算，该统计模块计及与对象跟踪和注视跟踪相关联的噪音以使匹配能满足预定义的统计显著性等级。将意识到的是，本公开的实施例依靠可以发生或可以不发生的自发对象跟踪，不像假定用户正在观看通常为静止点的已知对象的其他注视校准系统。因此，接受/拒绝准则对于确定用户是否实际在注视对象是有用的，该对象通过场景分析模块406来检测。
校准模块410可被配置为针对检测到且被接受的一个或多个移动的对象收集如同模块408提供的所匹配的对象运动数据和注视数据。可以预期对多个移动的对象的检测和匹配改进在此描述的校准过程。
校准模块410可配置为分析对象的运动的总空间覆盖且判断该覆盖是否足以达到可接受的校准质量。在某些实施例中，判断标准可以基于达到或超出预定义的阈值的注视点极限。例如，
θmin＜-30°，θmax＞+30°，φmin＜-20°，φmax＞+20°
然后对象运动数据和注视数据的集合可在全部接受的对象上被优化，使得对象运动数据和注视数据之间的距离测量结果将受制于校准角度θ0和φ0而最小化：
Figure BPA0000241894250000052
以生成作为结果的校准参数。相似地，在附加校准参数R、d要被估计的实施例中，该数值优化可被表达为：
Figure BPA0000241894250000053
图5图示了符合本公开的一个示例实施例的操作500的流程图。这些操作提供一种眼睛跟踪系统的改进校准的方法。在操作510处，从面向场景摄像机接收视频流。在操作520处，分析视频流以检测移动的对象，并估计移动的对象在一段时间内的角位置。在操作530处，从眼睛跟踪摄像机接收图像并基于这些图像在一段时间内估计用户眼睛的注视角度。在操作540处，针对每一个移动的对象，在对象角位置和注视角度之间计算第一距离测量结果。在操作550处，基于第一距离测量结果与距离测量结果阈值的比较，做出接受或拒绝每一个移动的对象在校准中使用的判断。在操作560处，基于第二距离测量结果的最小化来估计眼睛跟踪校准角度。在接受的移动的对象的角位置和注视角度之间计算第二距离测量结果。
图6图示了符合本公开的一个示例实施例的系统图600。系统600可以是移动平台610或计算设备，比如例如智能电话、智能平板计算机、个人数字助理(PDA)、移动互联网设备(MID)、双用型平板计算机、笔记本计算机或者膝上型计算机，或者任何其他合适的设备。然而，将意识到的是，在此描述的系统的实施例不限于移动平台，且在某些实施例中，系统600可以是工作站或台式计算机。设备通常可经由显示器元件660(比如例如触摸屏、液晶显示器(LCD)或者任何其他合适的显示器类型)来向用户呈现各种接口。
系统600示出为包括任何数量的处理器620和存储器630。在某些实施例中，处理器620可实现为任何数量的处理器核心。处理器(或处理器核心)可以是任何类型的处理器，比如例如，微处理器、嵌入式处理器、数字信号处理器(DSP)、图形处理器(GPU)、网络处理器、现场可编程门阵列或配置为执行代码的其他设备。处理器可以是多线程核心，因为它们每一个核心可包括不止一个硬件线程上下文(或“逻辑处理器”)。存储器630可耦合至处理器。存储器630可以是本领域技术人员所已知的或以其他方式对于本领域技术人员可用的任何各种各样的存储器(包括存储层级中的各层和/或高速缓冲存储器)。将意识到的是，处理器和存储器可被配置为存储、托管和/或执行一个或多个用户应用或其他软件模块。这些应用可包括但不限于：例如，任何类型的计算、通信、数据管理、数据存储和/或用户接口任务。在某些实施例中，这些应用可采用移动平台610中的任何其他组件或与移动平台610中的任何其他组件交互。
系统600还示出为包括网络接口模块640，其可包括无线通信能力，比如例如蜂窝通信、无线保真(WiFi)、
Figure BPA0000241894250000061
和/或近场通信(NFC)。无线通信可符合或以其他方式兼容任何现有的或有待开发的通信标准，这些通信标准包括过去的、当前的和将来的
Figure BPA0000241894250000062
Wi-Fi和移动电话通信标准的版本。
系统600还示出为包括存储系统650，例如硬盘驱动(HDD)或固态驱动(SSD)。
系统600还示出为包括输入/输出(I/O)系统或控制器650，其可以被配置为使能或者管理处理器620和系统600中的其他元件或在系统600之外的其他元件(未示出)之间的数据通信。
系统600进一步示出为包括眼睛跟踪系统110、眼睛跟踪校准系统102、面向场景摄像机104和眼睛跟踪摄像机106，如前面描述的，它们被配置为提供具有改进的眼睛跟踪校准的眼睛跟踪能力。
将意识到的是，在某些实施例中，系统600中的各种组件可组合在片上系统(SoC)架构中。在某些实施例中，这些组件可以是硬件组件、固件组件、软件组件或者硬件、固件或软件的任何合适的组合。
在此描述的方法的实施例可以在一种系统中实现，该系统包括其上个体地或组合地存储有指令的一个或多个存储介质，当所述指令由一个或多个处理器执行时执行该方法。在此，处理器可包括，例如系统CPU(如，核心处理器)和/或可编程电路。因此，意图的是，根据在此描述的方法的操作可跨多个物理设备(比如例如在若干不同物理位置处的处理结构)分布。而且，意图的是可以个体地或以子组合的方式执行方法操作，如本领域技术人员将理解的。因此，并不是每一个流程图中所有操作都需要被执行，且本公开明确意图这样的操作的所有子组合都能实现，如本领域普通技术人员将理解的。
存储介质可包括任何类型的有形介质，例如任何类型的盘，包括：软盘、光学盘、致密盘只读存储器(CD-ROM)、可重写致密盘(CD-RW)、数字通用盘(DVD)和磁光盘；半导体器件，比如只读存储器(ROM)、随机存取存储器(RAM)(比如动态和静态RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪速存储器、磁卡或光学卡或者适于存储电子指令的任何类型的介质。
如在此的任何实施例中所使用的，“电路”可以例如单个地或以任何组合地包括硬连线电路、可编程电路、状态机电路，和/或存储由可编程电路执行的指令的固件。app可以体现为代码或指令，所述代码或指令可以在诸如主机处理器或其他可编程电路的可编程电路上执行。如在此的任何实施例中所使用的，模块可体现为电路。电路可体现为集成电路，比如集成电路芯片。
因此，本公开提供了用于眼睛跟踪系统的改进校准的系统、设备、方法和计算机可读介质。接下来的示例涉及进一步的实施例。
根据示例1，提供了一种眼睛跟踪校准系统。该系统可包括场景分析模块，其被配置为从面向场景摄像机接收视频流，并分析视频流以检测移动的对象和估计移动的对象在一段时间内的角位置。本示例的系统也可以包括注视估计模块，其被配置为从眼睛跟踪摄像机接收图像，并基于图像来估计用户眼睛在该段时间内的注视角度。本示例的系统可进一步包括对象轨迹匹配模块，其被配置为针对每一个移动的对象，计算对象角位置和注视角度之间的第一距离测量结果，且基于第一距离测量结果与距离测量结果阈值的比较，进一步判断对于该每一个移动的对象在校准中使用的接受。本示例的系统可进一步包括校准模块，其被配置为基于第二距离测量结果的最小化来估计眼睛跟踪校准角度，在接受的移动的对象的角位置和注视角度之间计算第二距离测量结果。
示例2可包括示例1的主题，且场景分析模块进一步被配置为基于模板匹配、光流跟踪、背景分割、尺度不变特征变换(SIFT)匹配、粒子滤波和/或正-负跟踪，来检测移动的对象。
示例3可包括示例1和示例2中任一项的主题，且场景分析模块进一步被配置为基于移动的对象的视觉尺寸超出尺寸阈值而拒绝移动的对象。
示例4可包括示例1-3中任一项的主题，且场景分析模块进一步被配置为基于移动的对象的视觉速度超出速度阈值而拒绝移动的对象。
示例5可包括示例1-4中任一项的主题，且场景分析模块进一步被配置为基于与移动的对象相关联的注视角度的极限未能超出运动阈值的范围的确定，而拒绝移动的对象。
示例6可包括示例1-5中任一项的主题，进一步包括惯性传感器，其被配置为跟踪面向场景摄像机的运动，使得场景分析模块可进一步基于对象的运动与面向场景摄像机的运动的相关性，而拒绝移动的对象。
示例7可包括示例1-6中任一项的主题，且最小化基于牛顿-高斯算法或列文伯格-马夸尔特算法。
示例8可包括示例1-7中任一项的主题，进一步包括深度测量设备，其被配置为估计移动的对象和面向场景摄像机之间的距离，所述距离用于移动的对象的位置从世界坐标系到眼睛坐标系的转换。
示例9可包括示例1-8中任一项的主题，且对象轨迹匹配模块进一步被配置为将所估计的对象角位置和所估计的注视角度重采样至共同的时间坐标系。
根据示例10，提供了一种用于眼睛跟踪校准的方法。该方法可包括从面向场景摄像机接收视频流；分析视频流以检测移动的对象，并估计移动的对象在一段时间内的角位置；从眼睛跟踪摄像机接收图像，并基于图像来估计用户眼睛在该段时间内的注视角度；针对每一个移动的对象，计算对象角位置和注视角度之间的第一距离测量结果；基于第一距离测量结果与距离测量结果阈值的比较，判断对于该每一个移动的对象在校准中使用的接受；以及基于第二距离测量结果的最小化来估计眼睛跟踪校准角度，在接受的移动的对象的角位置和注视角度之间计算第二距离测量结果。
示例11可包括示例10中的主题，且进一步包括基于模板匹配、光流跟踪、背景分割、尺度不变特征变换(SIFT)匹配、粒子滤波和/或正-负跟踪，来检测移动的对象。
示例12可包括示例10和示例11中任一项的主题，且进一步包括基于移动的对象的视觉尺寸超出尺寸阈值而拒绝移动的对象。
示例13可包括示例10-12中任一项的主题，且进一步包括基于移动的对象的视觉速度超出速度阈值而拒绝移动的对象。
示例14可包括示例10-13中任一项的主题，且进一步包括基于与移动的对象相关联的注视角度的极限未能超出运动阈值的范围的确定，而拒绝移动的对象。
示例15可包括示例10-14中任一项的主题，且进一步包括跟踪面向场景摄像机的运动，并且基于对象的运动与面向场景摄像机的运动的相关性，而拒绝移动的对象。
示例16可包括示例10-15中任一项的主题，且最小化基于牛顿-高斯算法或列文伯格-马夸尔特算法。
示例17可包括示例10-16中任一项的主题，且进一步包括估计移动的对象和面向场景摄像机之间的距离，所述距离用于移动的对象的位置从世界坐标系到眼睛坐标系的转换。
示例18可包括示例10-17中任一项的主题，且进一步包括将所估计的对象角位置和所估计的注视角度重采样至共同的时间坐标系。
根据示例19，提供了至少一个其上存储有指令的计算机可读存储介质，所述指令当由处理器执行时，导致施行根据示例10-18中任一项的方法的操作。
根据示例20，提供了一种用于眼睛跟踪校准的系统。该系统可包括：用于从面向场景摄像机接收视频流的构件；用于分析视频流以检测移动的对象，并估计移动的对象在一段时间内的角位置的构件；用于从眼睛跟踪摄像机接收图像，并基于图像来估计用户眼睛在该段时间内的注视角度的构件；用于针对每一个移动的对象，计算对象角位置和注视角度之间的第一距离测量结果的构件；用于基于第一距离测量结果与距离测量结果阈值的比较，判断对于该每一个移动的对象在校准中使用的接受的构件；以及用于基于第二距离测量结果的最小化来估计眼睛跟踪校准角度的构件，在接受的移动的对象的角位置和注视角度之间计算第二距离测量结果。
示例21可包括示例20中的主题，且进一步包括用于基于模板匹配、光流跟踪、背景分割、尺度不变特征变换(SIFT)匹配、粒子滤波和/或正-负跟踪，来检测移动的对象的构件。
示例22可包括示例20和示例21中任一项的主题，且进一步包括用于基于移动的对象的视觉尺寸超出尺寸阈值而拒绝移动的对象的构件。
示例23可包括示例20-22中任一项的主题，且进一步包括用于基于移动的对象的视觉速度超出速度阈值而拒绝移动的对象的构件。
示例24可包括示例20-23中任一项的主题，且进一步包括用于基于与移动的对象相关联的注视角度的极限未能超出运动阈值的范围的确定，而拒绝移动的对象的构件。
示例25可包括示例20-24中任一项的主题，且进一步包括用于跟踪面向场景摄像机的运动，并且基于对象的运动与面向场景摄像机的运动的相关性，而拒绝移动的对象的构件。
示例26可包括示例20-25中任一项的主题，且最小化基于牛顿-高斯算法或列文伯格-马夸尔特算法。
示例27可包括示例20-26中任一项的主题，且进一步包括用于估计移动的对象和面向场景摄像机之间的距离的构件，所述距离用于移动的对象的位置从世界坐标系到眼睛坐标系的转换。
示例28可包括示例20-27中任一项的主题，且进一步包括用于将所估计的对象角位置和所估计的注视角度重采样至共同的时间坐标系的构件。
在此已经采用的术语和表达被用作描述性术语而非限制性术语，并且在此类术语和表达的使用中没有排除所示出和描述的特征(或其部分)的任何等同物的意图，并且应认识到，在权利要求范围内的各种修改是可能的。相应地，权利要求意图覆盖所有此类等同物。在此已经描述了各种特征、方面和实施例。如本领域技术人员将理解的，这些特征、方面和实施例易于彼此组合以及进行变型和修改。因此，应当认为本公开涵盖了此类组合、变型和修改。

Claims (28)

1.一种眼睛跟踪校准系统，包括：
场景分析模块，用于从面向场景摄像机接收视频流，并用于分析所述视频流以检测移动的对象和用于估计所述移动的对象在一段时间内的角位置；
注视估计模块，用于从眼睛跟踪摄像机接收图像，并用于基于所述图像来估计用户眼睛在所述一段时间内的注视角度；
对象轨迹匹配模块，用于针对每一个所述移动的对象，计算所述对象的角位置和所述注视角度之间的第一距离测量结果，且进一步用于基于所述第一距离测量结果与距离测量结果阈值的比较，来判断对于所述每一个移动的对象在校准中使用的接受；以及
校准模块，用于基于第二距离测量结果的最小化来估计眼睛跟踪校准角度，在所接受的移动的对象的所述角位置和所述注视角度之间计算所述第二距离测量结果。
2.根据权利要求1所述的系统，其中所述场景分析模块进一步用于基于模板匹配、光流跟踪、背景分割、尺度不变特征变换（SIFT）匹配、粒子滤波和/或正-负跟踪，来检测所述移动的对象。
3.根据权利要求1所述的系统，其中所述场景分析模块进一步用于基于所述移动的对象的视觉尺寸超出尺寸阈值而拒绝所述移动的对象。
4.根据权利要求1所述的系统，其中所述场景分析模块进一步用于基于所述移动的对象的视觉速度超出速度阈值而拒绝所述移动的对象。
5.根据权利要求1-4中任一项所述的系统，其中所述场景分析模块进一步用于基于与所述移动的对象相关联的所述注视角度的极限未能超出运动阈值的范围的确定，而拒绝所述移动的对象。
6.根据权利要求1-4中任一项所述的系统，进一步包括惯性传感器，用于跟踪所述面向场景摄像机的运动，使得所述场景分析模块能够进一步基于所述对象的运动与所述面向场景摄像机的运动的相关性，而拒绝所述移动的对象。
7.根据权利要求1-4中任一项所述的系统，其中所述最小化基于牛顿-高斯算法或列文伯格-马夸尔特算法。
8.根据权利要求1-4中任一项所述的系统，进一步包括深度测量设备，用于估计所述移动的对象和所述面向场景摄像机之间的距离，所述距离用于所述移动的对象的位置从世界坐标系到眼睛坐标系的转换。
9.根据权利要求1-4中任一项所述的系统，其中所述对象轨迹匹配模块进一步用于将所估计的对象角位置和所估计的注视角度重采样至共同的时间坐标系。
10.一种用于眼睛跟踪校准的方法，包括：
从面向场景摄像机接收视频流；
分析所述视频流以检测移动的对象，并估计所述移动的对象在一段时间内的角位置；
从眼睛跟踪摄像机接收图像，并基于所述图像来估计用户眼睛在所述一段时间内的注视角度；
针对每一个所述移动的对象，计算所述对象的角位置和所述注视角度之间的第一距离测量结果；
基于所述第一距离测量结果与距离测量结果阈值的比较，判断对于所述每一个移动的对象在校准中使用的接受；以及
基于第二距离测量结果的最小化来估计眼睛跟踪校准角度，在所接受的移动的对象的所述角位置和所述注视角度之间计算所述第二距离测量结果。
11.根据权利要求10所述的方法，进一步包括基于模板匹配、光流跟踪、背景分割、尺度不变特征变换（SIFT）匹配、粒子滤波和/或正-负跟踪，来检测所述移动的对象。
12.根据权利要求10所述的方法，进一步包括基于所述移动的对象的视觉尺寸超出尺寸阈值而拒绝所述移动的对象。
13.根据权利要求10所述的方法，进一步包括基于所述移动的对象的视觉速度超出速度阈值而拒绝所述移动的对象。
14.根据权利要求10-13中任一项所述的方法，进一步包括基于与所述移动的对象相关联的所述注视角度的极限未能超出运动阈值的范围的确定，而拒绝所述移动的对象。
15.根据权利要求10-13中任一项所述的方法，进一步包括跟踪所述面向场景摄像机的运动，并且基于所述对象的运动与所述面向场景摄像机的运动的相关性，而拒绝所述移动的对象。
16.根据权利要求10-13中任一项所述的方法，其中所述最小化基于牛顿-高斯算法或列文伯格-马夸尔特算法。
17.根据权利要求10-13中任一项所述的方法，进一步包括估计所述移动的对象和所述面向场景摄像机之间的距离，所述距离用于所述移动的对象的位置从世界坐标系到眼睛坐标系的转换。
18.根据权利要求10-13中任一项所述的方法，进一步包括将所估计的对象角位置和所估计的注视角度重采样至共同的时间坐标系。
19.一种用于眼睛跟踪校准的系统，包括：
用于从面向场景摄像机接收视频流的构件；
用于分析所述视频流以检测移动的对象，并估计所述移动的对象在一段时间内的角位置的构件；
用于从眼睛跟踪摄像机接收图像，并基于所述图像来估计用户眼睛在所述一段时间内的注视角度的构件；
用于针对每一个所述移动的对象，计算所述对象的角位置和所述注视角度之间的第一距离测量结果的构件；
用于基于所述第一距离测量结果与距离测量结果阈值的比较，判断对于所述每一个移动的对象在校准中使用的接受的构件；以及
用于基于第二距离测量结果的最小化来估计眼睛跟踪校准角度的构件，在所接受的移动的对象的所述角位置和所述注视角度之间计算所述第二距离测量结果。
20.根据权利要求19所述的系统，进一步包括用于基于模板匹配、光流跟踪、背景分割、尺度不变特征变换（SIFT）匹配、粒子滤波和/或正-负跟踪，来检测所述移动的对象的构件。
21.根据权利要求19所述的系统，进一步包括用于基于所述移动的对象的视觉尺寸超出尺寸阈值而拒绝所述移动的对象的构件。
22.根据权利要求19所述的系统，进一步包括用于基于所述移动的对象的视觉速度超出速度阈值而拒绝所述移动的对象的构件。
23.根据权利要求19-22中任一项所述的系统，进一步包括用于基于与所述移动的对象相关联的所述注视角度的极限未能超出运动阈值的范围的确定，而拒绝所述移动的对象的构件。
24.根据权利要求19-22中任一项所述的系统，进一步包括用于跟踪所述面向场景摄像机的运动，并且基于所述对象的运动与所述面向场景摄像机的运动的相关性，而拒绝所述移动的对象的构件。
25.根据权利要求19-22中任一项所述的系统，其中所述最小化基于牛顿-高斯算法或列文伯格-马夸尔特算法。
26.根据权利要求19-22中任一项所述的系统，进一步包括用于估计所述移动的对象和所述面向场景摄像机之间的距离的构件，所述距离用于所述移动的对象的位置从世界坐标系到眼睛坐标系的转换。
27.根据权利要求19-22中任一项所述的系统，进一步包括用于将所估计的对象角位置和所估计的注视角度重采样至共同的时间坐标系的构件。
28.一种其上存储有指令的计算机可读介质，所述指令当被执行时使得计算设备执行根据权利要求10-18中任一项所述的方法。
CN201580054479.XA 2014-11-06 2015-10-08 用于眼睛跟踪系统的改进校准 Active CN107003721B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/534333 2014-11-06
US14/534,333 US9936195B2 (en) 2014-11-06 2014-11-06 Calibration for eye tracking systems
PCT/US2015/054621 WO2016073131A1 (en) 2014-11-06 2015-10-08 Improved calibration for eye tracking systems

Publications (2)

Publication Number Publication Date
CN107003721A CN107003721A (zh) 2017-08-01
CN107003721B true CN107003721B (zh) 2020-03-17

Family

ID=55909603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580054479.XA Active CN107003721B (zh) 2014-11-06 2015-10-08 用于眼睛跟踪系统的改进校准

Country Status (6)

Country Link
US (1) US9936195B2 (zh)
EP (1) EP3215914B1 (zh)
JP (1) JP6374107B2 (zh)
KR (1) KR102307941B1 (zh)
CN (1) CN107003721B (zh)
WO (1) WO2016073131A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11138793B2 (en) * 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US10115205B2 (en) * 2016-03-11 2018-10-30 Facebook Technologies, Llc Eye tracking system with single point calibration
US10976813B2 (en) 2016-06-13 2021-04-13 Apple Inc. Interactive motion-based eye tracking calibration
WO2018000184A1 (en) 2016-06-28 2018-01-04 Intel Corporation Iris or other body part identification on a computing device
EP3488282A4 (en) * 2016-07-19 2019-08-07 Supereye, Inc. SYSTEMS AND METHODS FOR PREDICTIVE VISUAL RENDERING
US10379612B1 (en) * 2016-12-16 2019-08-13 Apple Inc. Electronic device with gaze tracking system
US10452138B1 (en) * 2017-01-30 2019-10-22 Facebook Technologies, Llc Scanning retinal imaging system for characterization of eye trackers
US10839520B2 (en) * 2017-03-03 2020-11-17 The United States Of America, As Represented By The Secretary, Department Of Health & Human Services Eye tracking applications in computer aided diagnosis and image processing in radiology
US10761602B1 (en) 2017-03-14 2020-09-01 Facebook Technologies, Llc Full field retinal imaging system for characterization of eye trackers
CN107103293B (zh) * 2017-04-13 2019-01-29 西安交通大学 一种基于相关熵的注视点估计方法
US10304209B2 (en) 2017-04-19 2019-05-28 The Nielsen Company (Us), Llc Methods and systems to increase accuracy of eye tracking
US10775884B2 (en) * 2017-05-18 2020-09-15 Tectus Corporation Gaze calibration via motion detection for eye mounted displays
EP3672478A4 (en) 2017-08-23 2021-05-19 Neurable Inc. BRAIN COMPUTER INTERFACE WITH HIGH SPEED EYE TRACKING
CN108038884B (zh) * 2017-11-01 2020-12-11 北京七鑫易维信息技术有限公司 校准方法、装置、存储介质和处理器
KR102476757B1 (ko) 2017-12-21 2022-12-09 삼성전자주식회사 반사를 검출하는 장치 및 방법
US11029756B2 (en) 2018-01-12 2021-06-08 Intel Corporation Display with pixel level eye tracking
EP3750028B1 (en) 2018-02-09 2022-10-19 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11067805B2 (en) * 2018-04-19 2021-07-20 Magic Leap, Inc. Systems and methods for operating a display system based on user perceptibility
US10863812B2 (en) 2018-07-18 2020-12-15 L'oreal Makeup compact with eye tracking for guidance of makeup application
CN109218562B (zh) * 2018-09-07 2021-04-27 百度在线网络技术（北京）有限公司 时钟同步方法、装置、设备、存储介质和车辆
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
ES2945789T3 (es) * 2018-11-15 2023-07-07 Tobii Ab Método y dispositivo para calibrar un oculómetro
EP3912013A1 (en) * 2019-01-16 2021-11-24 Pupil Labs GmbH Methods for generating calibration data for head-wearable devices and eye tracking system
CN113519154A (zh) * 2019-03-13 2021-10-19 惠普发展公司，有限责任合伙企业 检测眼睛跟踪校准误差
US10936057B2 (en) * 2019-04-09 2021-03-02 Samsung Electronics Co., Ltd. System and method for natural three-dimensional calibration for robust eye tracking
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
EP3979896A1 (en) 2019-06-05 2022-04-13 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
CN110266881B (zh) * 2019-06-18 2021-03-12 Oppo广东移动通信有限公司 应用控制方法及相关产品
EP3786764B1 (en) * 2019-08-27 2022-11-23 Aptiv Technologies Limited Method and localization device for localizing an image sensor mounted on a vehicle
US11216065B2 (en) * 2019-09-26 2022-01-04 Lenovo (Singapore) Pte. Ltd. Input control display based on eye gaze
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
WO2021140938A1 (ja) 2020-01-06 2021-07-15 ソニーグループ株式会社 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
CN111309144B (zh) * 2020-01-20 2022-02-01 北京津发科技股份有限公司 三维空间内注视行为的识别方法、装置及存储介质
JP7446913B2 (ja) * 2020-05-21 2024-03-11 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム
CN112698725B (zh) * 2020-12-30 2022-02-11 山东大学 一种基于眼动仪跟踪的穿透式屏幕系统的实现方法
CN112926523B (zh) 2021-03-30 2022-07-26 青岛小鸟看看科技有限公司 基于虚拟现实的眼球追踪方法、系统
SE545129C2 (en) * 2021-03-31 2023-04-11 Tobii Ab Method and system for eye-tracker calibration
US11663836B2 (en) * 2021-05-17 2023-05-30 GM Global Technology Operations LLC Eye gaze tracking calibration
US20240103618A1 (en) * 2022-09-23 2024-03-28 Apple Inc. Corrected Gaze Direction and Origin

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103748598A (zh) * 2011-05-20 2014-04-23 爱福露恩斯公司 用于识别视线跟踪场景参考位置的系统和方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0119859D0 (en) * 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
US7651220B1 (en) 2005-11-07 2010-01-26 Ram Pattikonda Selective system for blocking glare in a specific location of a user's field of vision
US7825797B2 (en) * 2006-06-02 2010-11-02 Synaptics Incorporated Proximity sensor device and method with adjustment selection tabs
USRE47534E1 (en) * 2007-04-23 2019-07-23 Ramot At Tel Aviv University Ltd. System, method and a computer readable medium for providing an output image
WO2009016614A2 (en) * 2007-08-02 2009-02-05 Emza Visual Sense Ltd. Universal counting and measurement system
JP4384697B2 (ja) * 2008-03-26 2009-12-16 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム処理方法、ならびに、プログラム
US7736000B2 (en) * 2008-08-27 2010-06-15 Locarna Systems, Inc. Method and apparatus for tracking eye movement
JP2010273091A (ja) * 2009-05-21 2010-12-02 Nippon Telegr & Teleph Corp <Ntt> 広域多視点カメラ校正方法、広域多視点カメラ校正装置、およびプログラム
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
US8684742B2 (en) * 2010-04-19 2014-04-01 Innerscope Research, Inc. Short imagery task (SIT) research method
US9001196B2 (en) * 2010-10-05 2015-04-07 Echostar Technologies L.L.C. Apparatus, systems and methods for synchronization of 3-D shutter glasses to one of a plurality of presentation devices
US8866889B2 (en) * 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
WO2012083415A1 (en) * 2010-11-15 2012-06-28 Tandemlaunch Technologies Inc. System and method for interacting with and analyzing media on a display using eye gaze tracking
US20130154913A1 (en) 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
WO2013059940A1 (en) 2011-10-27 2013-05-02 Tandemlaunch Technologies Inc. System and method for calibrating eye gaze data
TW201325200A (zh) * 2011-12-02 2013-06-16 Ind Tech Res Inst 三維視訊的景深圖的壓縮方法、裝置、電腦可讀取記錄媒體及電腦程式產品
JP5873362B2 (ja) * 2012-03-13 2016-03-01 日本放送協会 視線誤差補正装置、そのプログラム及びその方法
GB2504492A (en) * 2012-07-30 2014-02-05 John Haddon Gaze detection and physical input for cursor symbol
US9164580B2 (en) * 2012-08-24 2015-10-20 Microsoft Technology Licensing, Llc Calibration of eye tracking system
JP6014931B2 (ja) * 2012-09-06 2016-10-26 公立大学法人広島市立大学 視線計測方法
KR101467529B1 (ko) * 2012-09-19 2014-12-05 유남구 착용형 정보 제공 시스템
KR20140090552A (ko) * 2013-01-09 2014-07-17 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 및 그 제어 방법
US9596508B2 (en) * 2013-03-15 2017-03-14 Sony Corporation Device for acquisition of viewer interest when viewing content
JP6094305B2 (ja) * 2013-03-26 2017-03-15 セイコーエプソン株式会社 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
US9965062B2 (en) * 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
KR102098277B1 (ko) * 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
WO2015072997A1 (en) * 2013-11-14 2015-05-21 Empire Technology Development, Llc Reduction of glare in augmented reality
US9754415B2 (en) * 2014-03-27 2017-09-05 Microsoft Technology Licensing, Llc Display relative motion compensation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103748598A (zh) * 2011-05-20 2014-04-23 爱福露恩斯公司 用于识别视线跟踪场景参考位置的系统和方法

Also Published As

Publication number Publication date
WO2016073131A1 (en) 2016-05-12
CN107003721A (zh) 2017-08-01
US20160134863A1 (en) 2016-05-12
JP6374107B2 (ja) 2018-08-15
EP3215914B1 (en) 2020-03-11
EP3215914A1 (en) 2017-09-13
KR102307941B1 (ko) 2021-10-05
EP3215914A4 (en) 2018-05-16
KR20170065573A (ko) 2017-06-13
US9936195B2 (en) 2018-04-03
JP2018505457A (ja) 2018-02-22

Similar Documents

Publication Publication Date Title
CN107003721B (zh) 用于眼睛跟踪系统的改进校准
AU2021203178B2 (en) Apparatus, system and method of determining a pupillary distance
CN107357429B (zh) 用于确定视线的方法、设备和计算机可读存储介质
JP2019519859A (ja) 視線追跡を実行するシステム及び方法
US20160162673A1 (en) Technologies for learning body part geometry for use in biometric authentication
EP3243162A1 (en) Gaze detection offset for gaze tracking models
US20150029322A1 (en) Method and computations for calculating an optical axis vector of an imaged eye
US10254831B2 (en) System and method for detecting a gaze of a viewer
US20180121713A1 (en) Systems and methods for verifying a face
US20160232399A1 (en) System and method of detecting a gaze of a viewer
US20220100268A1 (en) Eye tracking device and a method thereof
US9412012B2 (en) Z-axis determination in a 2D gesture system
US10146306B2 (en) Gaze position detection apparatus and gaze position detection method
US11540747B2 (en) Apparatus and a method for passive scanning of an object or a scene
US10474232B2 (en) Information processing method, information processing apparatus and user equipment
JP5719216B2 (ja) 視線測定装置および視線測定プログラム
US9594967B2 (en) Method and apparatus for identifying a person by measuring body part distances of the person
CN115997159B (zh) 使用移动设备确定眼睛旋转中心的位置的方法
JP5559749B2 (ja) 位置検出装置、位置検出方法及びコンピュータプログラム
JP2011172853A (ja) 視線計測装置、方法及びプログラム
JP2015123262A (ja) 角膜表面反射画像を利用した視線計測方法及びその装置
US10048752B2 (en) Information processing method, information processing apparatus and user equipment
US20230005180A1 (en) Eye tracking system
KR20190143287A (ko) 홍채와 촬영 장치간 거리 예측 방법 및 이를 수행하기 위한 단말
KR101348903B1 (ko) 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 각막 반경 측정 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant