CN109922710A - 使用散斑图案执行眼睛跟踪的方法和系统 - Google Patents

使用散斑图案执行眼睛跟踪的方法和系统 Download PDF

Info

Publication number
CN109922710A
CN109922710A CN201780069498.9A CN201780069498A CN109922710A CN 109922710 A CN109922710 A CN 109922710A CN 201780069498 A CN201780069498 A CN 201780069498A CN 109922710 A CN109922710 A CN 109922710A
Authority
CN
China
Prior art keywords
eyes
speckle pattern
light beam
speckle
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780069498.9A
Other languages
English (en)
Other versions
CN109922710B (zh
Inventor
A·西奈
B·弗里德曼
E·布鲁策
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN109922710A publication Critical patent/CN109922710A/zh
Application granted granted Critical
Publication of CN109922710B publication Critical patent/CN109922710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4788—Diffraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4788—Diffraction
    • G01N2021/479—Speckle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Eye Examination Apparatus (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种跟踪用户眼睛的运动的方法包括将光束导到眼睛处。该眼睛可以反射该光束中的部分。该方法进一步包括对多个散斑图案进行检测，该多个散斑图案由眼睛反射的光束中的部分在检测器处形成。可以以预定的帧速率对多个散斑图案进行检测。该方法进一步包括通过逐帧跟踪多个散斑图案来跟踪眼睛的运动。

Description

使用散斑图案执行眼睛跟踪的方法和系统
相关申请的交叉引用
本申请主张2016年11月10日提交的序列号为62/420,292的美国临时专利申请的优先权益，该申请的全部公开内容通过引用并入。
背景技术
眼睛的注视跟踪技术可以应用于许多领域。例如，眼睛的注视跟踪可用于构建虚拟现实(VR)或增强现实(AR)头戴装置以向用户提供准确的三维呈现。其它应用可包括用于帮助残障人士的人机界面、活动识别、图像和视频压缩、计算机视觉、医学研究中的认知研究、激光屈光手术、车载研究的车辆模拟器、包括运动训练模拟器的训练模拟器、疲劳检测等。尽管在眼睛的注视跟踪技术的发展方面取得了进展，但本领域仍需要改进的眼睛的注视跟踪方法。
发明内容
本发明一般地涉及用于眼睛的注视跟踪的方法和系统。更具体地说，本发明涉及用于使用散斑图案的眼睛的注视跟踪的方法和系统。
根据本发明的实施例，一种跟踪用户眼睛的运动的方法包括将光束导到眼睛处。眼睛反射该光束中的部分。该方法进一步包括对多个散斑图案进行检测，该多个散斑图案由眼睛反射的光束中的部分在检测器处形成。可以以预定的帧速率对多个散斑图案进行检测。该方法进一步包括通过逐帧跟踪多个散斑图案来跟踪眼睛的运动。
根据本发明的另一实施例，一种跟踪用户眼睛的注视的方法包括：使用相机以第一帧速率记录眼睛的第一多个图像；以及基于眼睛的第一多个图像来确定眼睛的起始位置。该方法进一步包括将光束导到眼睛处。眼睛反射该光束中的部分。该方法进一步包括对第一多个散斑图案进行检测，该第一多个散斑图案由眼睛反射的光束中的部分在检测器处形成。可以以大于第一帧速率的第二帧速率对该第一多个散斑图案进行检测。该方法进一步包括通过逐帧跟踪第一多个散斑图案来跟踪眼睛相对于起始位置的运动。
根据本发明的又一实施例，一种跟踪用户眼睛的注视的方法包括：获得用户眼睛的预校准的散斑图；使用该预校准的散斑图来确定眼睛的起始位置；以及跟踪眼睛相对于起始位置的运动。在一个实施例中，通过以下步骤获得用户眼睛的预校准的散斑图：将第一光束导到眼睛处；对多个第一散斑图案进行检测，该多个第一散斑图案由眼睛反射的第一光束中的部分在检测器处形成，该多个第一散斑图案中的每一者与眼睛的相应的第一位置对应；使用相机记录眼睛的多个图像，当检测到相应的第一散斑图案时，记录眼睛的该多个图像中的每一者；基于眼睛的相应的图像来确定与每个相应的第一散斑图案对应的眼睛的相应的第一位置；以及存储多个第一散斑图案和眼睛的对应的第一位置。在一个实施例中，通过以下步骤执行使用预校准的散斑图来确定眼睛的起始位置：将第二光束导到眼睛处，该眼睛反射该第二光束中的部分；对多个第二散斑图案进行检测，该多个第二散斑图案由眼睛反射的第二光束中的部分在检测器处形成；以及基于多个第二散斑图案与所存储的多个第一散斑图案之间的比较和所存储的眼睛的对应的第一位置来确定眼睛的起始位置。在一个实施例中，通过以下步骤执行跟踪眼睛相对于起始位置的运动：将第三光束导到眼睛处，该眼睛反射该第三光束中的部分；对多个第三散斑图案进行检测，该多个第三散斑图案由眼睛反射的第三光束中的部分在检测器处形成，该多个第三散斑图案是以预定的帧速率被检测的；以及通过逐帧跟踪第三多个散斑图案来跟踪眼睛相对于起始位置的运动。
在本发明的进一步的实施例中，一种识别用户的方法包括获得第一用户的第一眼睛的预校准的散斑图。通过以下步骤获得第一用户的第一眼睛的预校准的散斑图：将第一光束导到第一眼睛处，该第一眼睛反射该第一光束中的部分；对多个第一散斑图案进行检测，该多个第一散斑图案由第一眼睛反射的第一光束中的部分在检测器处形成，该多个第一散斑图案中的每一者与第一眼睛的相应的第一位置对应；使用相机来记录第一眼睛的多个图像，当检测到相应的第一散斑图案时，记录该第一眼睛的该多个图像中的每一者；基于第一眼睛的相应的图像来确定与每个相应的第一散斑图案对应的第一眼睛的相应的第一位置；以及存储多个第一散斑图案和第一眼睛的对应的第一位置。该方法进一步包括：将第二光束导到用户的眼睛处，该眼睛反射该第二光束中的部分；对多个第二散斑图案进行检测，该多个第二散斑图案由眼睛反射的第二光束中的部分在检测器处形成，该多个第二散斑图案中的每一者与眼睛的相应的第二位置对应，以及通过比较多个第二散斑图案与多个第一散斑图案来确定用户是第一用户。在一些实施例中，由眼睛反射的第一光束中的部分和由眼睛反射的第二光束中的部分中的每一者被眼睛漫反射或镜面反射。
通过本发明的方法实现了优于常规技术的许多优势。例如，本发明的实施例可以提供用于通过跟踪散斑图案的运动来准确地对小幅眼睛的注视运动进行检测的方法和系统，例如在微米级或更小级别处。使用散斑的眼睛的注视跟踪可能非常稳健，并且跟踪质量针对传感器相对于眼睛的位置相对不敏感。根据本发明的实施例的眼睛的注视跟踪方法与常规方法相比能具有较低的功耗，因为需要较少的计算量和光源数量(例如，与基于相机的眼睛跟踪通常所需的四个LED相比只需一个光源)。这些方法也可以具有较低的成本，因为它们只需一个光源和一个检测器，且不需要相机透镜。
将结合下面的文本和附图更详细地描述本发明的这些和其它实施例，以及它们的许多优点和特征。
附图说明
图1示出了当眼睛的注视各种位置时捕获的眼睛的四个图像(a)至图像(d)。
图2示意性地示出沿三个独立轴的眼睛的运动。
图3示出了从激光指示器生成的示例性散斑图案。
图4示意性地示出了如何在图像传感器处形成散斑图案。
图5A和图5B示出了相对于彼此以小的时间间隔拍摄的散斑图案的两个快照。
图6示意性地示出了根据本发明的实施例的用于眼睛的注视跟踪的示例性设置。
图7A示出了根据本发明的实施例的由相机捕获的眼睛的前视图。
图7B示出了根据本发明的实施例的由检测器捕获的散斑图案。
图8示出了根据本发明的实施例的如何将光源、检测器和可选的眼睛相机安装在可由用户佩戴的一副眼镜上的示意图。
图9A至图9F示出了当眼睛从一侧移动到另一侧时由检测器以10ms(即，0.01秒)时间间隔捕获的眼睛的散斑图案的六个顺序帧。
图10A至10C示出了以10ms间隔捕获的检测器的三个连续帧，该三个连续帧示出了如何在检测器上形成散斑图案。
图11A示出了根据本发明的实施例的由眼睛相机捕获的眼睛的前视图的快照。
图11B示出了根据本发明的实施例的由检测器在与捕获图10A所示的眼睛的前视图的快照同时捕获的所生成的眼睛的散斑图案的快照。
图11C示出了根据本发明的实施例的从起始位置到终止位置的眼睛的运动轨迹。
图12A示出了根据本发明的实施例的两个不同检测器处的散斑图案的快照(两个左面板)，以及由两个不同相机捕获的眼睛的前视图和侧视图的快照(两个右面板)。
图12B和图12C分别示出了根据本发明的实施例的由两个检测器检测到的眼睛的轨迹。
图13A示出了根据本发明的实施例的眨眼时的眼睛的前视图的快照。
图13B示出了根据本发明的实施例的眨眼时的检测器处的图像。
图14A示出了根据本发明的实施例的：(i)两个右面板中的由两个不同的眼睛相机同时捕获的眼睛的前视图和侧视图的快照；以及(ii)两个左面板中的由两个不同的检测器捕获的散斑图案的快照。
图14B示出了根据本发明的实施例的眼睛的运动的轨迹的一部分。
图14C示出了根据本发明的实施例的根据时间的跟踪质量分数。
图15A至图15C与图14A至图14C类似，但是是根据本发明的实施例的不同时间的快照。
图16示出了根据本发明的实施例的显示眼睛的注视跟踪方法的简化流程图。
图17示出了根据本发明的另一实施例的显示眼睛的注视跟踪方法的简化流程图。
图18是示出根据本发明的实施例的显示跟踪用户眼睛的运动的方法的简化流程图。
图19是示出根据本发明的实施例的显示跟踪用户眼睛的注视的方法的简化流程图。
图20是示出根据本发明另一实施例的显示跟踪用户眼睛的注视的方法的简化流程图。
图21是示出根据本发明的实施例的显示获得用户眼睛的预校准的散斑图的方法的简化流程图。
图22是示出根据本发明的实施例的显示使用预校准的散斑图确定眼睛的起始位置的方法的简化流程图。
图23是示出根据本发明的实施例的显示跟踪眼睛相对于起始位置的运动的方法的简化流程图。
图24是示出根据本发明的实施例的显示识别用户的方法的简化流程图。
具体实施方式
本发明一般地涉及用于眼睛的注视跟踪的方法和系统。更具体地说，本发明涉及用于使用散斑图案进行眼睛的注视跟踪的方法和系统。目前使用最广泛的设计是基于视频的眼动仪，也称为被动跟踪。当观看者看到某种刺激时，相机会聚焦在一只或两只眼睛上并记录它们的运动。图1示出了当眼睛的注视各种位置处时捕获的眼睛的四个图像(a)至(d)。通过跟踪瞳孔中心的(x,y)坐标，可以监视眼睛的注视。
大多数现代眼动仪使用瞳孔中心和红外的(诸如，近红外的)非准直光来产生角膜反射(CR)。瞳孔中心与角膜反射之间的矢量可用于计算表面或注视方向上的关注点。使用两种一般类型的红外或近红外(也称为有源光)眼睛跟踪技术：亮瞳和暗瞳。它们的区别在于照射源相对于光学器件的位置。如果照射与光路同轴，则眼睛充当后向反射器，因为光从视网膜反射，产生类似于红眼的亮瞳效果。如果照射源偏离光路，则瞳孔看起来很暗，因为来自视网膜的反射被引导远离相机。
图2示意性地示出了沿三个独立轴的可能的眼睛的运动：水平位移(第一维度(dimension))、竖直位移(第二维度)、水平旋转(第三维度)、竖直旋转(第四维度)、自旋(cyclotorsion)(第五维度)和轴向位移(第六维度)。
本发明的实施例提供了用于使用散斑图案来跟踪眼睛的注视的方法和系统。散斑图案是由一组波前的相互干涉产生的强度图案。散斑图案通常出现在诸如激光器之类的单色光的漫反射中。散斑效应是具有相同频率，不同相位和幅度的大量波进行干涉的结果，这些波加在一起形成合成波，该合成波的幅度随机变化，因此强度也随机变化。图3示出了从绿色激光指示器生成的示例性散斑图案。
图4示意性地示出了如何在图像传感器430上形成散斑图案。当表面420被诸如激光器之类的相干光源410照射时，根据衍射理论，被照射的表面上的每个点充当次级球面波的源。散射光场中任意点处的光由从被照射的表面420上的每个点散射的波构成。如果表面420足够粗糙以产生超过一个波长的路径长度差异，则引起大于2π的相位变化，合成光的幅度随机变化，因此其强度也随机变化。例如，如图4所示，散射光波可能相对于彼此反相(outof phase)干涉并且在图像传感器430上的某些位置处(例如，在点A处)产生暗斑442。同样，散射光波可能相对于彼此同相(in phase)干涉并且图像传感器430上的某些位置处(例如，在点B处)产生亮斑444。因此，散斑图案可以被视为由粗糙表面生成的全息图。
当对由相干光(例如，激光束)照射的粗糙表面进行成像时，在图像平面中观察到散斑图案；这被称为“主观散斑图案”。被称为“主观”是因为散斑图案的详细结构取决于观看系统参数。例如，如果镜头光圈的尺寸改变，则散斑尺寸改变。当从粗糙表面散射出的相干光落在另一个表面上时，该光形成“客观散斑图案”。如果照相底板或另一2D光学传感器位于没有透镜的散射光场内，则获得特征取决于系统的几何形状和相干光源的波长的客观散斑图案。
本发明的实施例包括用于通过将光束导到眼睛处并跟踪由眼睛对光束的漫反射和镜面反射形成的散斑图案的运动来跟踪眼睛的运动的方法和系统。使用散斑图案跟踪眼睛的注视可以提供若干优点。虽然眼球表面的纹理可能太光滑而无法通过其它手段检测到，但它可以生成可观察到的散斑图案。当眼球运动时，散斑图案将相对于传感器运动，因为散斑图案由眼球生成并因此固定到眼球。通过跟踪散斑图案的运动，可以准确地对眼球的小幅运动进行检测，例如微米级或更小级别的运动。
图5A和图5B示出了相对于彼此以小的时间间隔捕获的检测器上的散斑图案的两个快照，其中，目标在该时间间隔期间移动了一小段距离。如可以看到的，散斑图案已经相对于检测器运动。例如，图5A中位置A处的亮斑朝左移动到图5B中的检测器边缘附近的位置A'。类似地，图5A中位置B和C处的亮斑也分别朝左移动到图5B中的位置B'和C'。为了跟踪散斑图案的运动，可能需要帧间目标上的束斑运动远小于束斑尺寸，并且可能需要帧间检测器上的束斑运动远小于检测器尺寸。例如，在一些实施例中，可以使用范围为从约5mm到约10mm的束斑尺寸。当眼睛在帧间运动时，眼睛上的束斑位置相应地运动。例如，对于的1000帧/秒(fps)的帧速率，给定束斑尺寸为5mm，则以约5,000mm/秒的速率进行的眼睛的运动将在束斑尺寸内。类似地，当眼睛在帧间运动时，检测器上的散斑图案也相应地运动。因此，可以有利地使用快速检测器，例如，以1000fps或更快的速率操作的检测器，从而满足上述要求。
图6示意性地示出了根据本发明的实施例的用于眼睛的注视跟踪的示例性设置。光源610可以以倾斜角度将光束620投到眼睛处。眼睛可以反射光束620中的部分。检测器630可以定位在眼睛附近，以检测由眼睛反射的光束中的部分形成的散斑图案。图7A示出了由相机捕获的眼睛的前视图。亮斑702是眼睛上的束斑。图7B示出了由检测器620捕获的散斑图案。如在图7B中可以看到的，由散斑反射产生的干涉条纹在散斑图案中清晰可见。在一些实施例中，光源610可以被配置为发射红外波长范围内的光束。在一些实施例中，光源610可以被配置为发射近红外波长范围(例如，0.75μm至2μm)内的光束。在一些实施例中，光源610可以包括诸如激光器之类的相干光源，或诸如发光二极管(LED)之类的部分相干光源，从而可以检测散斑图案。
图8示出了根据本发明的实施例的可以如何将光源810、检测器830和可选的眼睛相机840安装在可由用户佩戴的一副眼镜850上的示意图。光源810可以将照射光束820投到用户的眼睛处。眼睛对光束820的漫反射和镜面反射可以在检测器830处形成散斑图案。在一些实施例中，光源810可以包括诸如激光器之类的相干光源。眼睛相机840可以捕获眼睛的图像，从中可以确定初始眼睛的注视位置，如下面更详细地讨论的。
图9A至图9F示出了当眼睛从一侧移动到另一侧时由检测器以10ms(即0.01秒)的时间间隔捕获的由眼睛反射光束生成的散斑图案的六个顺序帧。如可以看到的，散斑图案跨检测器区域向左从图9A移动到图9F。例如，图9A中的亮区A在图9B和图9C中逐渐朝着左侧移动，然后在图9D至图9F中移出检测器区域。类似地，图9B中的暗区B在图9B中刚刚开始出现，在图9V至图9E中逐渐朝着左侧移动，然后在图9F中移出检测器区域。
图10A至图10C示出了以10ms间隔捕获的检测器的三个连续帧，该三个连续帧示出了可以如何在图像传感器上形成散斑图案。这里，虽然没有可见的干涉条纹，但是可以看到由眼睛的漫反射产生的散斑图案。
通过跟踪散斑图案的运动，可以跟踪眼睛的运动。根据本发明的一些实施例，可以使用光流算法来跟踪散斑图案的运动。光学流或光流是由观看者(眼睛或相机)与场景之间的相对运动引起的视觉场景中的对象、表面和边缘的明显运动的图案。顺序的有序图像可以允许将运动估计为瞬时图像速度或离散图像位移。确定光流的方法可以包括相位相关方法、基于块的方法、差分方法、霍恩－山克(Horn-Schunck)方法、巴克斯顿－巴克斯顿(Buxton-Buxton)方法、布莱克－杰普森(Black-Jepson)方法和一般变分方法、离散优化方法等。根据本发明的实施例，通过将光流的相位相关算法应用于眼睛的散斑图案的顺序帧来跟踪眼睛的运动。
图11A至图11C示出了根据本发明的实施例的眼睛的注视跟踪的一些示例性结果。图11A示出了由眼睛相机捕获的眼睛的前视图的视频的快照。图11B示出了在捕获眼睛的前视图的快照的同时由检测器捕获的眼睛的散斑图案的快照。图11C示出了获得图11A和图11B的快照的从起始点到终止点的眼睛的运动的轨迹。图11C中的水平轴和竖直轴分别是以任意单位(例如，按照检测器像素)的水平位置和竖直位置。在校准之后，眼睛的注视位置可以被转换成注视角度。用于检测散斑图案的帧速率约为100帧/秒。跟踪的持续时间约为20秒。如在图11C中可以看到的，当眼睛上下左右地来回运动时，连续地跟踪眼睛的运动。
为了示出使用散斑图案的眼睛的注视跟踪的稳健性，可以将两个检测器定位在眼睛附近以跟踪眼睛的运动。图12A示出了由两个不同的检测器捕获的散斑图案的快照(两个左面板)，以及由两个不同的相机捕获的眼睛的前视图和侧视图的快照(两个右面板)。图12B和图12C分别示出了由两个检测器检测到的眼睛的轨迹。图12B和图12C中的水平轴和竖直轴分别是采用任意单位的眼睛的水平位置和竖直位置。对于两个检测器中的每一者，用于检测散斑图案的帧速率约为100帧/秒。跟踪的持续时间约为20秒。如可以看到的，两个轨迹彼此一致，证明这种眼睛的注视跟踪方法相当稳健。
根据本发明的实施例，只要眼睛不眨眼，便可通过跟踪该眼睛的散斑图案运动来连续跟踪眼睛的运动。当眨眼时，散斑图案可能消失，因此，一帧与下一帧之间的相关性可能会丢失。图13A示出了当眼睛眨眼时该眼睛的前视图的快照。图13B示出了在眼睛眨眼的同时捕获的检测器处的图像。如图13B所示，当眼睛眨眼时，散斑图案消失。如果眨眼的持续时间足够长，例如几十毫秒，则在眨眼之前和之后捕获的散斑图案可能彼此不再具有相位相关性。因此，眼睛的注视跟踪可能被中断，因为诸如根据一些实施例的用于眼睛的注视跟踪的光流算法之类的一些算法可能需要顺序帧之间的相位相关性。
根据一些实施例，可使用跟踪质量分数作为眼睛的注视跟踪质量的指示。例如，跟踪质量分数可以是散斑图案的顺序帧之间的相关程度的度量。在一些实施例中，可以根据相关峰值计算跟踪质量分数。如果顺序帧之间的相关性是完美的，则相关峰值的值可以接近于1。如果顺序帧之间的相关性差(可能是由于眨眼)，则相关峰值可能明显低于1。
图14A至图14C和图15A至图15C示出了根据本发明的实施例的眼睛的注视跟踪的一些示例性结果。图14A中的两个右面板分别示出了由两个不同眼睛相机捕获的眼睛的侧视图和前视图的快照。图14A的两个左面板示出了在捕获眼睛的侧视图和前视图的快照的同时由两个不同检测器捕获的散斑图案的快照。图14B示出了眼睛的运动的部分轨迹。图14B中的水平轴和竖直轴分别是以任意单位的眼睛的水平位置和竖直位置。图14C示出了根据时间的跟踪质量分数。竖直轴是以任意单位的跟踪质量分数。水平轴是帧编号(以与100帧/秒对应的10毫秒的间隔)。如图所示，所示的时间段内的跟踪质量分数相对较高。图15A至图15C与图14A至图14C类似，但是是不同时间段的快照。如图15A所示，由于眼睛眨眼，散斑图案消失。图15C示出了跟踪质量分数在约1060ms处，即眼睛开始眨眼的时刻，突然下降。
如上所示，可以通过跟踪散斑图案来实现对眼睛的相对运动的精确跟踪。但散斑图案并不能提供眼睛的绝对眼睛的注视位置。根据本发明的实施例，眼睛的初始绝对眼睛的注视位置可以通过诸如基于相机的方法之类的另一方法来确定。在确定初始眼睛的注视位置之后，使用散斑跟踪来更准确地跟踪眼睛相对于初始眼睛的注视位置的运动。类似地，当在眼睛眨眼时失去相关性时，可以通过基于相机的方法确定新的初始绝对眼睛的注视位置。在建立新的初始眼睛的注视位置之后，可以重新开始散斑跟踪。
图16示出了根据本发明的一些实施例的显示眼睛的注视跟踪的方法1600的简化流程图。方法1600包括使用相机执行眼睛的注视跟踪(1602)，并确定是否已经获得起始眼睛的注视位置(1604)。可以通过使用相机记录眼睛的多个图像来执行使用相机的眼睛的注视跟踪。可以选择多个图像中的一者来确定起始眼睛的注视位置。例如，一些图像可能因为眼睛正在眨眼而具有相对较差的质量。基于所选图像，可以使用预校准的坐标系来确定起始眼睛的注视位置。例如，如图1所示，可以相对于预校准的原点确定瞳孔中心的(x,y)坐标。
如果尚未获得起始眼睛的注视位置，则方法1600可以继续使用相机的眼睛的注视跟踪(1602)，直到获得了起始眼睛的注视位置为止。一旦获得了起始眼睛的注视位置，方法1600可以开始执行使用散斑图案的眼睛的注视跟踪(1606)。如上所述，可以通过将光束导到眼睛处并且对散斑图案进行检测，该散斑图案由眼睛反射出的光束中的部分在检测器处形成，来执行使用散斑图案的眼睛的注视跟踪。光束可以由诸如激光器之类的相干光源产生，或者由诸如发光二极管(LED)之类的部分相干光源产生，从而可以检测散斑图案。可以通过使用诸如光流方法的相位相关算法之类的算法逐帧跟踪散斑图案，来跟踪眼睛的运动。
如果用户眨眼，则由于连续帧之间的相关性丢失，可能丧失使用散斑图案跟踪眼睛的运动的能力。因此，方法1600还包括确定是否已经发生眨眼以及是否已经由于眨眼而丢失相关性(1608)。在一些实施例中，确定相关性是否已经丢失可以包括计算相关峰值的值(如上所述)，并将相关峰值的值与预定阈值进行比较。如果相关峰值的值等于或高于预定阈值，则可以确定相关性尚未丢失。相反，如果相关峰值的值低于预定阈值，则可以确定相关性已经丢失。
如果确定相关性尚未丢失，则方法1600可继续通过跟踪散斑图案来眼睛的注视跟踪(1606)。如果确定相关性已经丢失，则方法1600可以返回到使用相机的眼睛的注视跟踪(1602)。当通过使用相机跟踪获得新的起始眼睛的注视位置(1604)时，方法1600可以通过跟踪散斑图案来重新开始眼睛的注视跟踪(1606)。
如上所述，使用散斑图案的眼睛的注视跟踪可以比使用相机的眼睛的注视跟踪更准确。在一些实施例中，方法1600可以选择用于确定起始眼睛的注视位置的最佳相机帧，并且在相机帧之间执行散斑跟踪以获得更好的准确度。在一些实施例中，方法1600可以以相当高的帧速率(例如，10,000fps)执行散斑跟踪，并以低得多的帧速率(例如，3fps)执行相机跟踪。
根据本发明的另一实施例，可以通过使用预校准的散斑图案来获得初始绝对眼睛的注视位置。眼睛散斑图案可以是每个人独有的。在跟踪用户的眼睛的注视之前，可以针对用户执行校准过程。在校准过程中，可以获得与用户的各种眼睛的注视位置相对应的多个散斑图案。各种眼睛的注视位置可以由基于相机的方法或其它合适的眼睛的注视跟踪方法来确定。因此，可以获得用户独有的散斑图并存储在系统中。散斑图可以包括多个预校准的散斑图案及其对应的眼睛的注视位置。
图17示出了根据本发明的实施例的显示眼睛的注视跟踪的方法1700的简化流程图。方法1700包括使用用户的预校准的散斑图执行眼睛的注视跟踪(1702)，以及确定是否已经获得起始眼睛的注视位置(1704)。如上所述，散斑图可包括多个预校准的散斑图案及其对应的眼睛的注视位置。可以通过将光束导到眼睛处并且对位于眼睛附近的检测器处的多个初始散斑图案进行检测，来获得多个初始散斑图案。光束可以由诸如激光器之类的相干光源产生，或者由诸如发光二极管(LED)之类的部分相干光源产生，从而可以检测散斑图案。可以将多个初始散斑图案与散斑图中的预校准的散斑图案进行比较，以确定初始眼睛的注视位置。例如，可以确定多个初始散斑图案中的一者与存储在用户的散斑图中的散斑图案匹配。然后，可以使用匹配的散斑图案的对应眼睛的注视位置作为起始眼睛的注视位置。
如果尚未获得起始位置，则方法1700可继续使用散斑图的眼睛的注视跟踪(1702)。一旦获得起始位置，则系统可以通过跟踪散斑图案来开始跟踪相对于起始眼睛的注视位置的眼睛的注视(1706)。可以通过使用诸如光流方法的相位相关算法之类的算法逐帧跟踪散斑图案，来跟踪眼睛的运动。
方法1700还包括确定是否已经发生眨眼(1708)，以及是否已经由于眨眼而丢失相关性(1708)，与上面关于图16所讨论的方法1600类似。如果确定相关性尚未丢失，则方法1700可以继续散斑跟踪(1706)。如果确定相关性已经丢失，则方法1700可以返回到步骤1702以执行使用散斑图的眼睛的注视跟踪(1702)。当获得新起始位置时(1704)，方法1700可以重新开始散斑跟踪(1706)。在一些实施例中，方法1700可以以相当高的帧速率(例如，10,000fps)执行散斑跟踪，并且以低得多的帧速率(例如，3fps)执行使用散斑图的跟踪。
图18是示出根据本发明的实施例的显示跟踪用户眼睛的运动的方法1800的简化流程图。方法1800包括将光束导到眼睛处(1802)。光束可以由诸如激光器之类的相干光源产生，或者由诸如发光二极管(LED)之类的部分相干光源产生，从而可以检测散斑图案。眼睛可以反射光束中的部分。由眼睛反射的光束中的部分可以被眼睛漫反射或镜面反射。方法1800还包括对多个散斑图案进行检测，该多个散斑图案由眼睛反射的光束中的部分在检测器处形成(1804)。以预定的帧速率对多个散斑图案检测。方法1800还包括通过逐帧跟踪多个散斑图案来跟踪眼睛的运动(1806)。在一些实施例中，预定帧速率大于约5,000帧/秒且小于约15,000帧/秒。在一个实施例中，预定帧速率约为10,000帧/秒。在一些其它实施例中，预定帧速率大于约50帧/秒且小于约15,000帧/秒。在一些实施例中，使用光流算法执行跟踪多个散斑图案。在一个实施例中，光流算法使用相位相关方法。
图19是示出根据本发明的实施例的显示跟踪用户眼睛的注视的方法1900的简化流程图。方法1900包括使用相机以第一帧速率记录眼睛的第一多个图像(1902)；以及基于眼睛的第一多个图像来确定眼睛的起始位置(1904)。在一些实施例中，可以选择第一多个图像中的一者来确定眼睛的起始位置。基于所选图像，可以使用预校准的坐标系来确定眼睛的起始位置。例如，如图1所示，可以相对于预校准的原点确定瞳孔中心的(x,y)坐标。
方法1900还可以包括将光束导到眼睛处(1906)。光束可以由诸如激光器之类的相干光源产生，或者由诸如发光二极管(LED)之类的部分相干光源产生。眼睛可以反射光束中的部分。由眼睛反射的光束中的部分可以被眼睛漫反射或镜面反射。方法1900可以进一步包括对第一多个散斑图案进行检测，该第一多个散斑图案由眼睛反射的光束中的部分在检测器处形成(1908)，并且通过逐帧跟踪第一多个散斑来跟踪眼睛相对于起始位置的运动(1910)。在一些实施例中，以大于第一帧速率的第二帧速率对多个散斑图案进行检测。在一些实施例中，第一帧速率小于约10fps，第二帧速率大于约50fps且小于约15,000fps。在一个实施例中，第一帧速率约为3帧/秒，第二帧速率约为10,000帧/秒。
在一些实施例中，方法1900还可以包括确定眼睛已经眨眼(1920)。例如，可以基于如上文关于图16和图17所讨论的跟踪质量分数来确定眼睛是否已经眨眼。响应于确定眼睛已经眨眼，方法1900可以返回到步骤1902来确定新起始位置。例如，方法1900可以包括通过以下方式确定新起始位置：使用相机记录眼睛的第二多个图像，并基于眼睛的第二多个图像来确定新起始位置；以及通过以第二帧速率检测在检测器处形成的第二多个散斑图案并逐帧跟踪第二多个散斑图案，来跟踪眼睛相对于新起始位置的运动。如果确定眼睛尚未眨眼，则方法1900可以继续步骤1908和步骤1910
图20是示出根据本发明的一些实施例的跟踪用户眼睛的注视的方法2000的简化流程图。方法2000可以包括获得用户眼睛的预校准的散斑图(2010)，使用该预校准的散斑图来确定眼睛的起始位置(2020)，以及跟踪眼睛相对于该起始位置的运动(2030)，如下面关于图21至图23进一步描述的。
图21是示出根据本发明的实施例的获得用户眼睛的预校准的散斑图的方法2010的简化流程图。方法2010包括将第一光束导到眼睛处(2011)。第一光束可以由诸如激光器之类的相干光源产生，或者由诸如发光二极管(LED)之类的部分相干光源产生。眼睛可以反射第一光束中的部分。方法2010还包括对多个第一散斑图案进行检测，该多个第一散斑图案由眼睛反射的第一光束中的部分在检测器处形成(2012)。多个第一散斑图案中的每一者与相应的眼睛第一位置对应。方法2010还包括使用相机记录眼睛的多个图像(2013)。当检测到相应的第一散斑图案时，记录眼睛的多个图像中的每一者。方法2010还包括基于眼睛的相应图像确定与每个相应的第一散斑图案对应的相应的眼睛第一位置(2014)，并存储多个第一散斑图案和对应的眼睛第一位置(2015)。
图22是示出根据本发明的实施例的使用预校准的散斑图来确定眼睛的起始位置的方法2020的简化流程图。方法2020包括将第二光束导到眼睛处(2021)。第二光束可以由诸如激光器之类的相干光源产生，或者由诸如发光二极管(LED)之类的部分相干光源产生。眼睛可以反射第二光束中的部分。方法2020还包括对多个第二散斑图案进行检测，该多个第二散斑图案由眼睛反射的第二光束中的部分在检测器处形成(2022)，并且基于多个第二散斑图案与所存储的多个第一散斑图案之间的比较以及所存储的对应的眼睛第一位置来确定眼睛的起始位置(2023)。
图23是示出根据本发明的实施例的跟踪眼睛相对于起始位置的运动的方法2030的简化流程图。方法2030包括将第三光束导到眼睛处(2031)。第三光束可以由诸如激光器之类的相干光源产生，或者由诸如发光二极管(LED)之类的部分相干光源产生。眼睛可以反射第三光束中的部分。方法2030还包括对多个第三散斑图案进行检测，该多个第三散斑图案由眼睛反射的第三光束中的部分在检测器处形成(2032)。以预定帧速率检测多个第三散斑图案。方法2030还包括通过逐帧跟踪第三多个散斑图案来跟踪眼睛相对于起始位置的运动。
如上所述，眼睛散斑图案是每个人独有的。因此，眼睛散斑图案可以用于用户识别。图24是示出根据本发明的实施例的识别用户的方法2400的简化流程图。方法2400包括将第一光束导到第一眼睛处(2402)。第一光束可以由诸如激光器之类的相干光源产生，或者由诸如发光二极管(LED)之类的部分相干光源产生。第一眼睛可以反射第一光束中的部分。方法2400还包括对多个第一散斑图案进行检测，该多个第一散斑图案由第一眼睛反射的第一光束中的部分在检测器处形成(2404)。多个第一散斑图案中的每一者与第一眼睛的相应的第一位置对应。方法2400还包括使用相机记录第一眼睛的多个图像(2406)。当检测到相应的第一散斑图案时，记录第一眼睛的多个图像中的每一者。方法2400还包括基于第一眼睛的相应的图像确定与每个相应的第一散斑图案对应的第一眼睛的相应的第一位置(2408)，并存储多个第一散斑图案和第一眼睛的对应的第一位置(2410)。方法2400还包括将第二光束导到用户的眼睛处(2412)。第二光束可以由诸如激光器之类的相干光源产生，或者由诸如发光二极管(LED)之类的部分相干光源产生。眼睛可以反射第二光束中的部分。方法2400还包括对多个第二散斑图案进行检测，该多个第二散斑图案由眼睛反射的第二光束中的部分在检测器处形成(2414)。多个第二散斑图案中的每一者与眼睛的相应的第二位置对应。方法2400还包括通过将多个第二散斑图案与多个第一散斑图案进行比较来确定用户是第一用户(2416)。
应该理解的是，图16至图24中的每一者中所示的具体步骤提供了根据本发明实施例的特定方法。根据替代实施例，还可以执行步骤的其它顺序。例如，本发明的替代实施例可以以不同的序列执行上面的步骤。此外，图16至图24中所示的各个步骤可包括多个子步骤，这些子步骤可以以适合于各个步骤的各种顺序执行。此外，取决于特定应用，可以添加或移除附加步骤。本领域普通技术人员中的一者将认识到许多改变、修改和替代。
还应理解，本文描述的示例和实施例仅用于说明目的，并且建议本领域技术人员对其进行各种轻微修改或改变，这些修改和改变包括在本申请的精神和范围内以及所附权利要求的范围内。

Claims (20)

1.一种跟踪用户眼睛的运动的方法，所述方法包括：
将光束导到所述眼睛处，所述眼睛反射所述光束中的部分；
对多个散斑图案进行检测，所述多个散斑图案由所述眼睛反射的所述光束中的部分在检测器处形成，所述多个散斑图案是以预定的帧速率被检测的；以及
通过逐帧跟踪所述多个散斑图案来跟踪所述眼睛的运动。
2.根据权利要求1所述的方法，其中，由所述眼睛反射的所述光束中的部分被所述眼睛漫反射或镜面反射。
3.根据权利要求1所述的方法，其中，所述预定帧速率大于约5,000帧/秒且小于约15,000帧/秒。
4.根据权利要求3所述的方法，其中，所述预定帧速率约为10,000帧/秒。
5.根据权利要求1所述的方法，其中，所述预定帧速率大于约50帧/秒且小于约15,000帧/秒。
6.根据权利要求1所述的方法，其中，使用光流算法来执行跟踪所述多个散斑图案。
7.根据权利要求6所述的方法，其中，所述光流算法包括相位相关算法。
8.根据权利要求1所述的方法，其中，所述光束包括红外辐射。
9.一种跟踪用户眼睛的注视的方法，所述方法包括：
使用相机以第一帧速率来记录所述眼睛的第一多个图像；
基于所述眼睛的所述第一多个图像来确定所述眼睛的起始位置；
将光束导到所述眼睛处，所述眼睛反射所述光束中的部分；
对第一多个第一散斑图案进行检测，所述第一多个散斑图案由所述眼睛反射的所述光束中的部分在检测器处形成，所述第一多个散斑图案是以大于所述第一帧速率的第二帧速率被检测的；以及
通过逐帧跟踪所述第一多个散斑图案来跟踪所述眼睛相对于所述起始位置的运动。
10.根据权利要求9所述的方法，其中，由所述眼睛反射的所述光束中的部分被所述眼睛漫反射或镜面反射。
11.根据权利要求9所述的方法，其中，使用光流算法来执行跟踪所述多个散斑图案。
12.根据权利要求11所述的方法，其中，所述光流算法包括相位相关算法。
13.根据权利要求9所述的方法，其中，所述第一帧速率小于约10帧/秒，并且所述第二帧速率大于约50帧/秒且小于约15,000帧/秒。
14.根据权利要求9所述的方法，进一步包括：
确定所述眼睛已经眨眼；
通过以下步骤来确定新起始位置：
使用所述相机来记录所述眼睛的第二多个图像；以及
基于所述眼睛的所述第二多个图像来确定所述新起始位置；以及通过以下步骤来跟踪所述眼睛相对于所述新起始位置的运动：
以第二帧速率对在所述检测器处形成的第二多个散斑图案进行检测；以及
逐帧跟踪所述第二多个散斑图案。
15.一种跟踪用户眼睛的注视的方法，所述方法包括：
通过以下步骤获得所述用户眼睛的预校准的散斑图：
将第一光束导到所述眼睛处，所述眼睛反射所述第一光束中的部分；
对多个第一散斑图案进行检测，所述多个第一散斑图案由所述眼睛反射的所述第一光束中的部分在检测器处形成，所述多个第一散斑图案中的每一者与所述眼睛的相应的第一位置对应；
使用相机来记录所述眼睛的多个图像，当检测到相应的第一散斑图案时，记录所述眼睛的所述多个图像中的每一者；
基于所述眼睛的相应的图像来确定与每个相应的第一散斑图案对应的所述眼睛的所述相应的第一位置；以及
存储所述多个第一散斑图案和所述眼睛的对应的第一位置；
通过以下步骤使用所述预校准的散斑图来确定所述眼睛的起始位置：
将第二光束导到所述眼睛处，所述眼睛反射所述第二光束中的部分；
对多个第二散斑图案进行检测，所述多个第二散斑图案由所述眼睛反射的所述第二光束中的部分在所述检测器处形成；以及
基于所述多个第二散斑图案与所存储的多个第一散斑图案之间的比较和所存储的所述眼睛的对应的第一位置来确定所述眼睛的起始位置；以及
通过以下步骤跟踪所述眼睛相对于所述起始位置的运动：
将第三光束导到所述眼睛处，所述眼睛反射所述第三光束中的部分；
对多个第三散斑图案进行检测，所述多个第三散斑图案由所述眼睛反射的所述第三光束中的部分在所述检测器处形成，所述多个第三散斑图案是以预定的帧速率被检测的；以及
通过逐帧跟踪所述第三多个散斑图案来跟踪所述眼睛相对于所述起始位置的运动。
16.根据权利要求15所述的方法，其中，由所述眼睛反射的所述第一光束中的部分、由所述眼睛反射的所述第二光束中的部分、以及由所述眼睛反射的所述第三光束中的部分中的每一者被所述眼睛漫反射或镜面反射。
17.根据权利要求15所述的方法，其中，使用光流算法来执行跟踪所述第三多个散斑图案。
18.根据权利要求17所述的方法，其中，所述光流算法包括相位相关算法。
19.根据权利要求15所述的方法，其中，所述预定帧速率大于约50帧/秒且小于约15,000帧/秒。
20.根据权利要求15所述的方法，进一步包括：
确定所述眼睛已经眨眼；
通过以下步骤确定所述眼睛的新起始位置：
将第四光束导到所述眼睛处，所述眼睛反射所述第四光束中的部分；
对多个第四散斑图案进行检测，所述多个第四散斑图案由所述眼睛反射的所述第四光束中的部分在所述检测器处形成；以及
基于所述多个第四散斑图案与所存储的多个第一散斑图案之间的比较和所存储的所述眼睛的对应的第一位置来确定所述眼睛的所述新起始位置；以及
通过以下步骤跟踪所述眼睛相对于所述新起始位置的运动：
将第五光束导到所述眼睛处，所述眼睛反射所述第五光束中的部分；
对多个第五散斑图案进行检测，所述多个第五散斑图案由所述眼睛反射的所述第五光束中的部分在所述检测器处形成，所述多个第五散斑图案是以所述预定的帧速率被检测的；以及
通过逐帧跟踪所述第五多个散斑图案来跟踪所述眼睛相对于所述新起始位置的运动。
CN201780069498.9A 2016-11-10 2017-11-07 使用散斑图案执行眼睛跟踪的方法和系统 Active CN109922710B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662420292P 2016-11-10 2016-11-10
US62/420,292 2016-11-10
PCT/US2017/060303 WO2018089329A1 (en) 2016-11-10 2017-11-07 Method and system for eye tracking using speckle patterns

Publications (2)

Publication Number Publication Date
CN109922710A true CN109922710A (zh) 2019-06-21
CN109922710B CN109922710B (zh) 2022-05-13

Family

ID=62064441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780069498.9A Active CN109922710B (zh) 2016-11-10 2017-11-07 使用散斑图案执行眼睛跟踪的方法和系统

Country Status (9)

Country Link
US (2) US10948981B2 (zh)
EP (1) EP3537950A4 (zh)
JP (2) JP7008702B2 (zh)
KR (1) KR102555925B1 (zh)
CN (1) CN109922710B (zh)
AU (1) AU2017356886A1 (zh)
CA (1) CA3042263A1 (zh)
IL (1) IL266390B (zh)
WO (1) WO2018089329A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113759545A (zh) * 2020-06-02 2021-12-07 罗伯特·博世有限公司 用于操作一副智能眼镜的方法
US11237631B2 (en) 2016-11-10 2022-02-01 Magic Leap, Inc. Method and system for eye tracking using speckle patterns

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240046291A (ko) 2017-03-22 2024-04-08 매직 립, 인코포레이티드 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링
CA3059373A1 (en) * 2017-04-24 2018-11-01 Magic Leap, Inc. Tracking optical flow of backscattered laser speckle patterns
CN112136094A (zh) 2018-03-16 2020-12-25 奇跃公司 用于显示系统的基于深度的凹式渲染
US10884492B2 (en) * 2018-07-20 2021-01-05 Avegant Corp. Relative position based eye-tracking system
CN110022321A (zh) * 2019-04-09 2019-07-16 李丰 一种基于虚拟现实的vr建筑检测方法及vr设备
CN110471532B (zh) * 2019-08-19 2023-04-18 业成科技（成都）有限公司 整合眼球追踪与手势操控之车载装置
KR20210136623A (ko) * 2020-05-08 2021-11-17 한국전자통신연구원 시선 추적 장치 및 방법
DE102022202208A1 (de) 2022-03-04 2023-09-07 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zu einer Pupillendetektion und/oder Pupillenverfolgung, optisches System und Datenbrille
CN115760750B (zh) * 2022-11-15 2023-11-21 北京的卢铭视科技有限公司 Doe质量检测方法、系统、电子设备和存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1269103A (zh) * 1997-06-28 2000-10-04 英国国防部 自动立体显示器
JP2001229368A (ja) * 2000-02-15 2001-08-24 Niles Parts Co Ltd 眼の状態検出装置
CN101336089A (zh) * 2006-01-26 2008-12-31 诺基亚公司 眼睛跟踪器设备
US20100053555A1 (en) * 2008-08-27 2010-03-04 Locarna Systems, Inc. Method and apparatus for tracking eye movement
CN102802502A (zh) * 2010-03-22 2012-11-28 皇家飞利浦电子股份有限公司 用于跟踪观察者的注视点的系统和方法
WO2013167864A1 (en) * 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
US20130315491A1 (en) * 2008-08-01 2013-11-28 The Trustees Of Columbia University In The City Of New York Systems and methods for matching and imaging tissue characteristics
CN103576857A (zh) * 2012-08-09 2014-02-12 托比技术股份公司 凝视跟踪系统的快速唤醒
WO2014188149A1 (en) * 2013-05-20 2014-11-27 Milan Momcilo Popovich Holographic waveguide eye tracker
US20150301599A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Eye tracking systems and method for augmented or virtual reality
WO2016046514A1 (en) * 2014-09-26 2016-03-31 LOKOVIC, Kimberly, Sun Holographic waveguide opticaltracker
WO2016124668A1 (en) * 2015-02-04 2016-08-11 IT-Universitetet i København A gaze tracker and a gaze tracking method
CN105934902A (zh) * 2013-11-27 2016-09-07 奇跃公司 虚拟和增强现实系统与方法
CN106028911A (zh) * 2014-03-04 2016-10-12 南加利福尼亚大学 具有延长的持续时间的光学相干断层扫描(oct)系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL184868A0 (en) * 2007-07-26 2008-03-20 Univ Bar Ilan Motion detection system and method
JP2015011579A (ja) * 2013-06-28 2015-01-19 株式会社東芝 視線検出装置、及び視線検出方法
US9911046B1 (en) * 2014-11-13 2018-03-06 The United States Of America, As Represented By The Secretary Of The Navy Method and apparatus for computer vision analysis of spin rate of marked projectiles
KR101953704B1 (ko) * 2015-11-06 2019-03-04 페이스북 테크놀로지스, 엘엘씨 광학 흐름을 사용한 안구 추적
JP7008702B2 (ja) 2016-11-10 2022-02-10 マジック リープ， インコーポレイテッド スペックルパターンを使用した眼追跡のための方法およびシステム

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1269103A (zh) * 1997-06-28 2000-10-04 英国国防部 自动立体显示器
JP2001229368A (ja) * 2000-02-15 2001-08-24 Niles Parts Co Ltd 眼の状態検出装置
CN101336089A (zh) * 2006-01-26 2008-12-31 诺基亚公司 眼睛跟踪器设备
US20130315491A1 (en) * 2008-08-01 2013-11-28 The Trustees Of Columbia University In The City Of New York Systems and methods for matching and imaging tissue characteristics
US20100053555A1 (en) * 2008-08-27 2010-03-04 Locarna Systems, Inc. Method and apparatus for tracking eye movement
CN102802502A (zh) * 2010-03-22 2012-11-28 皇家飞利浦电子股份有限公司 用于跟踪观察者的注视点的系统和方法
WO2013167864A1 (en) * 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
US20150289762A1 (en) * 2012-05-11 2015-10-15 Milan Momcilo Popovich Apparatus for eye tracking
CN103576857A (zh) * 2012-08-09 2014-02-12 托比技术股份公司 凝视跟踪系统的快速唤醒
WO2014188149A1 (en) * 2013-05-20 2014-11-27 Milan Momcilo Popovich Holographic waveguide eye tracker
CN105934902A (zh) * 2013-11-27 2016-09-07 奇跃公司 虚拟和增强现实系统与方法
CN106028911A (zh) * 2014-03-04 2016-10-12 南加利福尼亚大学 具有延长的持续时间的光学相干断层扫描(oct)系统
US20150301599A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Eye tracking systems and method for augmented or virtual reality
WO2016046514A1 (en) * 2014-09-26 2016-03-31 LOKOVIC, Kimberly, Sun Holographic waveguide opticaltracker
WO2016124668A1 (en) * 2015-02-04 2016-08-11 IT-Universitetet i København A gaze tracker and a gaze tracking method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11237631B2 (en) 2016-11-10 2022-02-01 Magic Leap, Inc. Method and system for eye tracking using speckle patterns
CN113759545A (zh) * 2020-06-02 2021-12-07 罗伯特·博世有限公司 用于操作一副智能眼镜的方法

Also Published As

Publication number Publication date
KR102555925B1 (ko) 2023-07-13
EP3537950A1 (en) 2019-09-18
US20210232221A1 (en) 2021-07-29
WO2018089329A1 (en) 2018-05-17
IL266390B (en) 2022-04-01
EP3537950A4 (en) 2019-10-30
IL266390A (en) 2019-06-30
JP7186906B2 (ja) 2022-12-09
KR20190079667A (ko) 2019-07-05
JP2022058561A (ja) 2022-04-12
JP7008702B2 (ja) 2022-02-10
JP2020516326A (ja) 2020-06-11
US20180129282A1 (en) 2018-05-10
US10948981B2 (en) 2021-03-16
US11237631B2 (en) 2022-02-01
CN109922710B (zh) 2022-05-13
CA3042263A1 (en) 2018-05-17
AU2017356886A1 (en) 2019-05-02

Similar Documents

Publication Publication Date Title
JP7186906B2 (ja) スペックルパターンを使用した眼追跡のための方法およびシステム
JP6902075B2 (ja) 構造化光を用いた視線追跡
CN107533362B (zh) 眼睛跟踪设备和用于操作眼睛跟踪设备的方法
US8457352B2 (en) Methods and apparatus for estimating point-of-gaze in three dimensions
US6659611B2 (en) System and method for eye gaze tracking using corneal image mapping
EP2731490A1 (en) System and method for remote measurement of optical focus
US20170014026A1 (en) Eye alignment monitor and method
JP7165994B2 (ja) 眼の計測を収集するための方法及びデバイス
CN108537103B (zh) 基于瞳孔轴测量的活体人脸检测方法及其设备
Kowalik Do-it-yourself eye tracker: impact of the viewing angle on the eye tracking accuracy
NZ793781A (en) Method and system for eye tracking using speckle patterns
WO2022024104A1 (en) Eye tracking systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant