CN110300976A - 眼睛注视跟踪 - Google Patents

眼睛注视跟踪 Download PDF

Info

Publication number
CN110300976A
CN110300976A CN201880012283.8A CN201880012283A CN110300976A CN 110300976 A CN110300976 A CN 110300976A CN 201880012283 A CN201880012283 A CN 201880012283A CN 110300976 A CN110300976 A CN 110300976A
Authority
CN
China
Prior art keywords
image
shape
reflection
distortion
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880012283.8A
Other languages
English (en)
Other versions
CN110300976B (zh
Inventor
J·卡尔皮玛拉维拉
J·D·加西亚
J·A·高登博格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Analog Devices International ULC
Original Assignee
Adi Semiconductor Unlimited Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adi Semiconductor Unlimited Co filed Critical Adi Semiconductor Unlimited Co
Publication of CN110300976A publication Critical patent/CN110300976A/zh
Application granted granted Critical
Publication of CN110300976B publication Critical patent/CN110300976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

实施方案的各方面涉及用于眼睛注视跟踪的系统、方法和装置。在实施方案中，投射表面，如虚拟现实显示屏或增强现实投射表面，可以向佩戴者的眼睛投射光线。光可以是表示投射表面形状的光，或者可以是显示的形状。光可以从角膜反射。可以接收来自角膜的反射光。投射表面或显示形状的形状的失真可用于确定眼睛注视位置。

Description

眼睛注视跟踪
技术领域
本公开涉及至少部分地基于来自眼睛的反射来确定眼睛注视的方向。
背景技术
眼动追踪应用程序使用眼睛的位置来确定用户正在看的方向。这在诸如虚拟现实(VR)和增强现实(AR)耳机的许多应用中是有用的。基于视觉的解决方案，其中帧中包括传感器(例如相机或一组相机)，可用于确定眼睛注视。可以从用相机或类似传感器捕获的眼睛的图像重建眼睛的轮廓。或者，近红外发光二极管(LED)可用于产生照明图案，用于研究眼睛上的闪光位置，然后推断注视方向。
发明内容
实施方案的方面涉及可穿戴系统，包括：用于将图像投射到佩戴者眼睛的投射表面；用于从用户眼睛接收所述图像的失真反射的光敏元件；和处理器，用于基于所述图像的失真反射确定眼睛注视位置。
实施方案的方面涉及可穿戴设备，包括：构件，用于将图像投射到佩戴者眼睛；构件，用于检测来自佩戴者眼睛的图像的失真反射；和处理器构件，用于至少部分地基于来自佩戴者眼睛的投射的图像的失真反射来确定眼睛注视位置。
实施方案的方面涉及方法，包括：从显示器投射形状；从用户眼睛的一部分接收投射的形状的失真反射；和至少部分地基于投射的图像的失真反射来识别眼睛注视方向。
附图说明
图1是根据本公开的实施方案的用于眼睛注视跟踪的示例系统架构的示意图。
图2A是根据本公开的实施方案的示例校准过程的第一扫描位置的示意图。
图2B是根据本公开的实施方案的示例校准过程的第一扫描位置的示意图。
图2C是根据本公开的实施方案的示例校准过程的示意图。
图3是图1的系统架构的示意图，示出了根据本公开的实施方案的眼睛位置的变化。
图4A-B是图1的系统架构的示意图，示出了根据本公开的实施方案的示例性入射角和反射。
图5是根据本公开的实施方案的将来自显示器上的点源的光朝向显示器上的点反射的角膜的示意图。
图6A是示出根据本公开的实施方案的来自角膜的屏幕的示例性反射的图。
图6B是示出根据本公开的实施方案的来自角膜的屏幕的反射的另一示例的图。
图7是根据本公开的实施方案的用于确定眼睛注视位置的过程流程图。
图8是根据本公开的实施方案的用于跟踪眼睛注视的过程流程图。
图9是根据本公开的实施方案的示例虚拟现实耳机的示意图。
具体实施方式
实施方案的各方面涉及一种系统，其包括光电探测器、一组光电探测器和/或用于眼睛跟踪的相机系统。在第一示例应用中，虚拟现实(VR)环境(例如，VR耳机)可以包括可以向佩戴者提供视觉信息的显示屏。图9中进一步描述了示例VR耳机。VR耳机可以覆盖佩戴者的眼睛。VR头戴式耳机可以包括允许佩戴者看到VR头戴式耳机显示的图像的显示屏。VR耳机还可以包括相机、光电探测器(或光电探测器阵列)或其他类型的光传感器，其可以检测从佩戴者的眼睛反射的光。
可以从眼睛的表面检测显示器的反射和/或来自显示器的反射(例如，显示的对象)。当眼睛注视位置改变时，由于角膜表面和显示器之间的入射角改变，显示器或显示器本身上显示的物体的反射移动。
实施方案的各方面使用VR头戴式耳机(例如，VR头戴式耳机)的显示屏的反射图像，以便在没有额外的发光二极管(LED)和额外功耗的情况下执行校准。该系统可以使用具有高动态范围响应(和/或对数响应)的图像传感器，其提供大的动态范围，并且便于检测屏幕的角膜反射。
在实施方案中，可以在VR耳机屏幕显示的视频流中插入具有简单固定模式的帧。可以通过图像传感器检测固定图案，其可以用于校准。这些模式可以在频谱的可见范围内，但是用户不会注意到，因为它们将持续毫秒或更短时间。这些图案的插入可以是随机的，由眼睛跟踪系统请求，并且它可以与视频投影子系统同步或不同步。
在另一个实施方案中，我们可以避免插入固定图案并使用我们对VR护目镜或AR眼镜上显示的图像的了解。一个示例是使用AR应用中显示的信息的帧的已知大小。
图1是根据本公开的实施方案的用于眼睛注视跟踪的示例系统架构100的示意图。示例系统架构100可以是虚拟现实耳机或其他系统架构，其包括显示屏102。显示屏102可以向用户/佩戴者显示图像。显示屏102可以与佩戴者处于已知距离，或者更具体地，与佩戴者的眼睛处于已知距离。在VR耳机实现和AR耳机实现的情况下，已知距离可以是与佩戴者基本固定的距离。
系统架构100可以包括图像传感器104。图像传感器104可以检测来自眼睛106的反射。图像传感器可以具有提供大动态范围的对数响应，并且有助于在没有专用照明的情况下检测显示屏102的角膜反射。眼睛106包括角膜108。角膜108可以反射从显示屏102发射的光。反射光可以由图像传感器104检测。处理器110可以使用这些形状(从角膜108反射的)来确定其位置并因此确定眼睛指向的方向(即，眼睛凝视方向)。
首先，可以使用校准来将系统架构100的几何形状与AR应用中的外部世界相关联，并校准AR和VR应用中系统中的小几何形状变化的影响。只要用户再次佩戴耳机或在使用过程中进行护目镜运动，校准就可以进行快速、自主、非监督的重新校准。换句话说，这里描述的校准过程可以在任何佩戴者的启动时执行，并且可以在耳机的操作期间周期性地(或根据需要)执行。
图2A-2C是根据本公开的实施方案的示例校准过程的示意图。校准过程使用与图1中所示的相同或类似的系统架构。显示器102可以向佩戴者显示单个点202，其将在校准期间凝视单个点202。在屏幕上扫描参考线或其他形状，同时将眼睛注视固定在点202处。可以通过在(黑色或暗色)屏幕102上产生(亮色或白色)线图案204并在线102上移动线图案204来执行扫描。线图案204发射的光可以从眼睛106的角膜108反射(可以对佩戴者的每只眼睛执行该过程)。当线图案204扫过屏幕102时，传感器104检测线图案204的反射204'。例如，反射204'可以由传感器104检测。在实施方案中，注视点204的反射202'也可以由传感器104检测。当注视凝视点202时，处理器(例如处理器110)可以形成眼睛的3D结构。通过添加更多注视点，可以提高准确性。例如，佩戴者可以首先凝视第一凝视点以进行第一校准循环。然后佩戴者可以凝视第二注视点，并且可以在显示器上扫描线图案。当眼睛凝视第二注视点(例如，眼睛处于第二注视位置)时从眼睛反射的线条图案的反射可以由传感器104检测。处理器可以根据检测到的第二眼睛注视位置的线图案的反射形成3D结构。可以重复该过程以实现许多注视点(例如，基于实现选择所期望的准确度水平)。
眼睛的3D结构可以用作校准目的的基线。可以映射眼睛表面轮廓，并且可以使用注视图案和扫描图案将轮廓与眼睛位置相关联。
在实施方案中，与线性图案相反(或除了线性图案之外)，可以使用二维图案。二维图案可以是取决于眼睛注视位置而失真的矩形形状。矩形图案的失真可以与眼睛注视位置相关联。系统可以了解矩形图案如何失真，并且这种失真可以用于训练系统。也可以使用其他图案。
图3是图1的系统架构的示意图，示出了根据本公开的实施方案的眼睛位置的变化。图3示出了处于第一位置302的眼睛106。在第一位置302，角膜108可以在角膜108上或附近的点306处接收来自显示器102的光304(即，巩膜与角膜连续)。光304被反射(显示为反射光304')到图像传感器104上的第一点322。反射光304'可以被解析成代表屏幕104的图像，并且分辨图像的形状可用于确定眼睛注视位置。
当眼睛注视位置改变到第二位置308时，从显示器102发射的光310照射在角膜108上或附近的点312上。在图像传感器104处在与点322不同的点324处接收反射光310'。接收的反射光310'可以被解析成显示屏102的图像，并且分辨图像的形状可以用于确定另一个眼睛注视位置。
图4A是图1的系统架构的示意图，示出了根据本公开的实施方案的示例性入射角和反射。图4B是图4A的系统架构的特写视图的示意图，其示出了根据本公开的实施方案的示例性入射角和反射。来自显示器102的代表屏幕框的光、显示的场景、一个或多个校准点等从与佩戴者已知距离的显示屏102(或AR反光镜)发出(到某个百分比误差)。传感器104位于距佩戴者和显示器102的已知距离处。从显示器102发射诸如光402或光404的光。由于角膜108是球形或接近球形(在2D简化中显示为圆形)，入射光和反射光束相对于从圆的中心到入射点的线(L)具有相同的角度(α)。反射光402'和404'在传感器104处以相对于传感器法线的已知角度(β1和β2)被接收，已经在角膜108上反射。入射角β1和β2在图4B中更详细地示出。
图5是根据本公开的实施方案的角膜108的示意图，该角膜108将来自显示器上的点源502的光朝向图像传感器上的点504反射。图5提供了用于从生理学上解决角膜104的反射的形状和大小的一个示例场景。可以确定发光角度α与图像传感器的光接收角度β之间的关系：
90-α-η＝90-β+η→α＝β-2*η
α和β的这些关系可以进一步解析为空间维度：
sin(α)*d1-sin(β)*d3＝Δy
cos(α)*d1+cos(β)*d2＝Δx
sin(β)*d2+cos(η)*R＝Y
cos(β)*d3+sin(η)*R＝X
可以在原点(0,0)处考虑图像传感器点。眼睛注视的移动可以将角膜的焦点放置到点(X，Y)。R的值可近似为6至7mm之间的值，例如6.7mm。
该示例假定来自显示器104的单个点发光源。可以以类似的方式针对多于一个点发光源解析关系，并且可以提高从接收的反射光产生的分辨图像的各个方面的分辨率。
可以形成眼睛的3D模型以确定眼睛注视位置(例如，基于来自校准的相关性)。
图6A是示出根据本公开的实施方案的来自角膜的屏幕的反射的示例图像的图600。如前所述，来自角膜602的来自显示屏的反射可用于形成显示屏的图像604(或显示屏上显示的场景或其他显示屏特征，例如屏幕的框)。在图像601a-601c中，眼睛被示出将其视线移向页面的右侧。在图像601a中，例如，眼睛基本上向前注视。显示屏幕图像604可以具有指示眼睛正向前注视的形状。在图像601b中，眼睛注视位置已经移动到佩戴者的左侧，并且观察者的右侧。显示屏幕图像604b与图像604a不同。图像604b的形状可以以与图4A-B和图5中描述的方式类似的方式表征，以确定眼睛注视位置。类似地，在图像601c中，眼睛注视位置已经进一步移动到佩戴者的左侧，并且观察者的右侧。显示屏幕图像604c与图像604a和604b不同。
可以通过矩形框(例如，显示器的框架或显示的图像)如何变形来识别凝视方向。取决于反射区域处的眼睛的曲率，矩形框架的失真将是不同的(如上面在图6A中所描述的)。失真可用于获得凝视方向和/或训练系统。
图6B是示出根据本公开的实施方案的来自角膜的屏幕的示例性反射的示图650。除了对显示屏幕的反射进行成像之外，可以使用其他反射来表征眼睛注视的方向。例如，在图像651a中，角膜602的轮廓的反射被解析为图像656a。轮廓图像656a可用于比较显示图像654a的相对位置。可以确定轮廓图像656a与显示屏654a的图像之间的距离660以识别眼睛注视的方向。在图像651b中，眼睛注视已移动到佩戴者的右侧，观察者的左侧。轮廓图像656b与显示屏幕图像654b之间的距离662减小。类似地，在图像651c中，眼睛注视已经移动到佩戴者的右侧，观察者的左侧。轮廓图像656c和显示屏幕图像654c之间的距离664进一步减小。显示屏的反射与轮廓图像的相对位置可用于获得眼睛注视方向。
图7是根据本公开的实施方案的用于确定眼睛注视方向的过程流程图。首先，可以在屏幕上显示图像(702)。屏幕可以是VR耳机、AR耳机、计算机屏幕、智能手机等的显示屏。图像可以是校准图像、实际VR图像或其他图像。诸如照相机或其他成像系统的图像传感器可以检测从用户/佩戴者的眼睛的角膜反射的从显示屏发出的光的反射(704)。可以将检测到的反射光的形状解析为图像(706)。可以至少部分地基于检测到的反射光的形状来确定眼睛注视方向(708)。
图8是根据本公开的实施方案的用于跟踪眼睛注视的过程流程图。首先，可以在屏幕上显示图像(802)。诸如照相机或其他成像系统的图像传感器可以检测从显示屏发出的光的反射，该反射是从用户/佩戴者的眼睛的角膜反射的(804)。图像传感器还可以检测从显示器发出的从眼睛的其他区域反射的光，并检测诸如虹膜轮廓的特征(810)。可以将检测到的反射光的形状解析为图像(806)。来自虹膜轮廓的反射光也可以被解析成图像(812)。可以确定虹膜轮廓图像和反射的屏幕图像之间的相对位置(808)。可以至少部分地基于反射的屏幕图像和虹膜的轮廓图像的相对位置来确定眼睛注视方向(814)。
图9是根据本公开的实施方案的示例虚拟现实耳机900的示意图。VR头戴式耳机900包括支撑显示器外壳904和一个或多个光电检测器元件908的框架902。显示器外壳904可以容纳显示器单元906a和906b，显示器单元906a和906b被配置为向佩戴者显示或投影图像。光电检测器元件908可以检测来自佩戴者的眼睛920的反射光。光电检测器元件908可以是图像传感器，例如具有高动态范围响应的图像传感器。VR耳机还可以包括镜头壳体910，其朝向佩戴者的眼睛920引导和聚焦所显示的光。镜头壳体910可以包括一个或多个镜头912。VR头戴式耳机可以包括处理器914，例如硬件处理单元。处理器914可以包括中央处理器、图形处理器、存储器等。处理器914可以控制显示器投射眼睛注视校准点或网格或图案以用于校准、VR内容等。处理器914还可以在VR内容的帧内间歇地投射校准模式，以用于偶尔的重新校准。
处理器914还可以处理由图像传感器接收的反射光以确定眼睛注视。处理器914可以通过确定图案的失真来确定眼睛注视，例如从眼睛920反射的二维图案。二维图案可以是显示器906a的帧、从显示器906a投射的图像等。
处理器914还可以基于在图像传感器处接收的图案的反射来形成眼睛的三维模型。可以形成眼睛的三维模型以通过映射眼睛的轮廓来增加眼睛注视位置估计的准确度。佩戴者眼睛的三维模型可用于理解当眼睛改变凝视位置时线性图案或二维形状的反射将如何失真。

Claims (20)

1.一种用于眼睛注视跟踪的方法，该方法包括：
从显示器投射形状；
从用户眼睛的一部分接收投射的形状的失真反射；和
至少部分地基于投射的图像的失真反射来识别眼睛注视方向。
2.权利要求1所述的方法，还包括：
将投射的形状的失真反射解析成图像，该图像代表所述显示器的形状；
确定所述反射的失真；和
基于所述投射的形状的反射的失真的形状来识别眼睛注视方向。
3.任何前述权利要求所述的方法，还包括：
将所述失真反射解析成图像；
确定所述图像的第一边缘；
确定所述图像的第二边缘；
比较所述第一边缘和所述第二边缘；和其中
至少部分地基于反射的失真的形状来识别眼睛注视方向包括基于所述图像的形状确定角膜的位置。
4.权利要求2或3所述的方法，还包括：
在所述显示器上间歇地显示校准图像；
在所述图像传感器处接收所述校准图像的反射；
确定所述校准图像的形状；和
将所述校准图像的形状与眼睛注视方向相关联。
5.权利要求2至4中任一项所述的方法，其中至少部分地基于投射的图像的失真反射来识别眼睛注视方向包括将图像与所述校准图像的形状进行比较。
6.任何前述权利要求所述的方法，其中所述投射的形状的反射的失真是第一反射，并且其中该方法还包括：
将第一反射的发射光解析成具有形状的第一图像，所述第一图像代表显示器的形状；
从所述显示器识别投射的图像的反射的第二失真；
将反射的第二失真解析成第二图像，所述第二图像表示用户眼睛的角膜轮廓；
确定所述第一图像与所述第二图像的相对位置；和
至少部分地基于所述第一图像与所述第二图像的相对位置来确定眼睛注视位置。
7.任何前述权利要求所述的方法，其中用户眼睛的部分是用户眼睛的角膜。
8.可穿戴系统，包括：
用于将图像投射到佩戴者眼睛的投射表面；
用于从用户眼睛接收所述图像的失真反射的光敏元件；和
处理器，用于基于所述图像的失真反射确定眼睛注视位置。
9.权利要求8所述的可穿戴系统，其中所述可穿戴系统包括虚拟现实耳机。
10.权利要求9所述的可穿戴系统，其中所述投射表面包括虚拟现实显示屏。
11.权利要求8至10中任一项所述的可穿戴系统，其中所述可穿戴系统包括增强现实耳机。
12.权利要求8至11中任一项所述的可穿戴系统，其中所述处理器被配置为：
控制投射表面以显示校准图案；
从佩戴者的角膜处理接收的校准图案的反射；和
基于接收的校准图案的反射，模拟佩戴者的眼睛形状。
13.权利要求8至12中任一项所述的可穿戴系统，其中所述处理器被配置为：
间歇性地将重新校准图像插入显示给所述佩戴者的内容流中；和
至少部分地基于间歇插入的校准图像校准眼睛注视位置。
14.权利要求8至13中任一项所述的可穿戴系统，其中所述处理器被配置为：
处理从投射表面投射到佩戴者的形状的接收反射；
确定形状的失真；和
至少部分地基于形状的失真来确定眼睛注视位置。
15.权利要求14所述的可穿戴系统，其中所述光敏元件被配置为接收来自眼睛虹膜的光的反射；并且其中所述处理器被配置为：
比较来自眼睛虹膜的反射边缘与形状边缘之间的相对位置；和
基于来自眼睛虹膜的反射边缘和形状边缘的相对位置确定眼睛注视位置。
16.权利要求8至15中任一项所述的可穿戴系统，其中所述光敏元件包括高动态范围图像传感器。
17.可穿戴设备，包括：
构件，用于将图像投射到佩戴者眼睛；
构件，用于检测来自佩戴者眼睛的图像的失真反射；和
处理器构件，用于至少部分地基于来自佩戴者眼睛的投射的图像的失真反射来确定眼睛注视位置。
18.权利要求17所述的可穿戴设备，其中用于投射光的构件包括虚拟现实显示屏或增强现实耳机投影仪之一。
19.权利要求17或18所述的可穿戴设备，其中用于检测光的构件包括高动态范围图像传感器。
20.权利要求17至19中任一项所述的可穿戴设备，其中所述处理器构件被构造为：
处理从眼睛反射的形状，所述形状由用于投射的构件投射；
确定所述形状的失真；和
至少部分地基于所述失真确定眼睛注视位置。
CN201880012283.8A 2017-02-17 2018-02-16 眼睛注视跟踪 Active CN110300976B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/435,732 US10485420B2 (en) 2017-02-17 2017-02-17 Eye gaze tracking
US15/435,732 2017-02-17
PCT/EP2018/053935 WO2018149992A1 (en) 2017-02-17 2018-02-16 Eye gaze tracking

Publications (2)

Publication Number Publication Date
CN110300976A true CN110300976A (zh) 2019-10-01
CN110300976B CN110300976B (zh) 2024-01-05

Family

ID=61563350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880012283.8A Active CN110300976B (zh) 2017-02-17 2018-02-16 眼睛注视跟踪

Country Status (4)

Country Link
US (1) US10485420B2 (zh)
CN (1) CN110300976B (zh)
DE (1) DE212018000158U1 (zh)
WO (1) WO2018149992A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106908951A (zh) * 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US10325409B2 (en) * 2017-06-16 2019-06-18 Microsoft Technology Licensing, Llc Object holographic augmentation
US11458040B2 (en) * 2019-01-23 2022-10-04 Meta Platforms Technologies, Llc Corneal topography mapping with dense illumination
US11806078B1 (en) 2022-05-01 2023-11-07 Globe Biomedical, Inc. Tear meniscus detection and evaluation system

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4856891A (en) * 1987-02-17 1989-08-15 Eye Research Institute Of Retina Foundation Eye fundus tracker/stabilizer
US20040061831A1 (en) * 2002-09-27 2004-04-01 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
CN101099164A (zh) * 2004-12-07 2008-01-02 欧普蒂克斯技术公司 使用来自眼睛反射的虹膜成像
US20080044063A1 (en) * 2006-05-15 2008-02-21 Retica Systems, Inc. Multimodal ocular biometric system
CN101273880A (zh) * 2008-04-23 2008-10-01 中国人民解放军空军航空医学研究所 一种利用虚拟视靶的视-眼动反射检查方法
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
US20100053133A1 (en) * 2008-09-03 2010-03-04 Olympus Corporation Display device and electronic apparatus equipped with the same
EP2306891A1 (en) * 2008-07-08 2011-04-13 IT University of Copenhagen Eye gaze tracking
US20110085139A1 (en) * 2009-10-08 2011-04-14 Tobii Technology Ab Eye-tracking using a gpu
US20130114850A1 (en) * 2011-11-07 2013-05-09 Eye-Com Corporation Systems and methods for high-resolution gaze tracking
CN104094197A (zh) * 2012-02-06 2014-10-08 索尼爱立信移动通讯股份有限公司 利用投影仪的注视追踪
CN104246578A (zh) * 2012-04-25 2014-12-24 微软公司 用于头戴式光场显示器的基于可移动led阵列和微透镜阵列的光场投影仪
JP2015123262A (ja) * 2013-12-27 2015-07-06 学校法人東海大学 角膜表面反射画像を利用した視線計測方法及びその装置
EP3062142A1 (en) * 2015-02-26 2016-08-31 Nokia Technologies OY Apparatus for a near-eye display
CN105934902A (zh) * 2013-11-27 2016-09-07 奇跃公司 虚拟和增强现实系统与方法
US20160363995A1 (en) * 2015-06-12 2016-12-15 Seeing Machines Limited Circular light element for illumination of cornea in head mounted eye-tracking
US20170011492A1 (en) * 2013-03-04 2017-01-12 Tobii Ab Gaze and saccade based graphical manipulation

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5016282A (en) * 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6659611B2 (en) 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
US7347551B2 (en) * 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US20070076082A1 (en) * 2005-09-30 2007-04-05 Lexmark International, Inc. Methods and apparatuses for measuring print area using hand-held printer
US9456744B2 (en) * 2012-05-11 2016-10-04 Digilens, Inc. Apparatus for eye tracking
JP5887026B2 (ja) 2012-09-03 2016-03-16 ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーＳＥＮＳＯＭＯＴＯＲＩＣ ＩＮＳＴＲＵＭＥＮＴＳ Ｇｅｓｅｌｌｓｃｈａｆｔ ｆｕｒ ｉｎｎｏｖａｔｉｖｅ Ｓｅｎｓｏｒｉｋ ｍｂＨ ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法
US10025379B2 (en) * 2012-12-06 2018-07-17 Google Llc Eye tracking wearable devices and methods for use
US10165176B2 (en) * 2013-10-31 2018-12-25 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems
US9651784B2 (en) * 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
JP2017526078A (ja) * 2014-05-09 2017-09-07 グーグル インコーポレイテッド 実在および仮想のオブジェクトと対話するための生体力学ベースの眼球信号のためのシステムおよび方法
US9983709B2 (en) * 2015-11-02 2018-05-29 Oculus Vr, Llc Eye tracking using structured light
KR102078059B1 (ko) * 2015-11-25 2020-02-17 구글 엘엘씨 프리즘-기반 눈 추적
US10152121B2 (en) * 2016-01-06 2018-12-11 Facebook Technologies, Llc Eye tracking through illumination by head-mounted displays
US10115205B2 (en) * 2016-03-11 2018-10-30 Facebook Technologies, Llc Eye tracking system with single point calibration

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4856891A (en) * 1987-02-17 1989-08-15 Eye Research Institute Of Retina Foundation Eye fundus tracker/stabilizer
US20040061831A1 (en) * 2002-09-27 2004-04-01 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
CN101099164A (zh) * 2004-12-07 2008-01-02 欧普蒂克斯技术公司 使用来自眼睛反射的虹膜成像
US20080044063A1 (en) * 2006-05-15 2008-02-21 Retica Systems, Inc. Multimodal ocular biometric system
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
CN101273880A (zh) * 2008-04-23 2008-10-01 中国人民解放军空军航空医学研究所 一种利用虚拟视靶的视-眼动反射检查方法
EP2306891A1 (en) * 2008-07-08 2011-04-13 IT University of Copenhagen Eye gaze tracking
US20100053133A1 (en) * 2008-09-03 2010-03-04 Olympus Corporation Display device and electronic apparatus equipped with the same
US20110085139A1 (en) * 2009-10-08 2011-04-14 Tobii Technology Ab Eye-tracking using a gpu
US20130114850A1 (en) * 2011-11-07 2013-05-09 Eye-Com Corporation Systems and methods for high-resolution gaze tracking
CN104094197A (zh) * 2012-02-06 2014-10-08 索尼爱立信移动通讯股份有限公司 利用投影仪的注视追踪
CN104246578A (zh) * 2012-04-25 2014-12-24 微软公司 用于头戴式光场显示器的基于可移动led阵列和微透镜阵列的光场投影仪
US20170011492A1 (en) * 2013-03-04 2017-01-12 Tobii Ab Gaze and saccade based graphical manipulation
CN105934902A (zh) * 2013-11-27 2016-09-07 奇跃公司 虚拟和增强现实系统与方法
JP2015123262A (ja) * 2013-12-27 2015-07-06 学校法人東海大学 角膜表面反射画像を利用した視線計測方法及びその装置
EP3062142A1 (en) * 2015-02-26 2016-08-31 Nokia Technologies OY Apparatus for a near-eye display
US20160363995A1 (en) * 2015-06-12 2016-12-15 Seeing Machines Limited Circular light element for illumination of cornea in head mounted eye-tracking

Also Published As

Publication number Publication date
WO2018149992A1 (en) 2018-08-23
US20180235465A1 (en) 2018-08-23
DE212018000158U1 (de) 2019-10-22
US10485420B2 (en) 2019-11-26
CN110300976B (zh) 2024-01-05

Similar Documents

Publication Publication Date Title
US10257507B1 (en) Time-of-flight depth sensing for eye tracking
US6659611B2 (en) System and method for eye gaze tracking using corneal image mapping
JP6159263B2 (ja) 照射特性を調整可能にして少なくとも１つの眼における少なくとも１つのパラメータを捕捉する光学的測定装置及び方法
US10420464B2 (en) Gaze tracking system
US8077914B1 (en) Optical tracking apparatus using six degrees of freedom
EP0633745B1 (fr) Dispositif d'analyse du mouvement d'un oeil
US7682026B2 (en) Eye location and gaze detection system and method
US9329683B2 (en) Method for detecting point of gaze and device for detecting point of gaze
US6578962B1 (en) Calibration-free eye gaze tracking
US9961335B2 (en) Pickup of objects in three-dimensional display
JP2020034919A (ja) 構造化光を用いた視線追跡
CN110300976A (zh) 眼睛注视跟踪
US20190317598A1 (en) Method and system of eye tracking with glint drift correction on wearable heads-up display
JP2003521950A6 (ja) 視標追跡システム
US10452911B2 (en) Gaze-tracking system using curved photo-sensitive chip
JP7079381B2 (ja) 眼鏡フレームの内輪郭を光学測定するデバイス及び方法
CN101411607B (zh) 眼球结膜巩膜摄像装置
US11675429B2 (en) Calibration, customization, and improved user experience for bionic lenses
CN113375583A (zh) 光路系统、单目三维图像采集系统及三维应变检测系统
JP2017111746A (ja) 視線検出装置及び視線検出方法
US20220179207A1 (en) Holographic Eye Imaging Device
SE541262C2 (en) Method and device for eye metric acquisition
CN211454189U (zh) 结构光成像系统
US20230043439A1 (en) 3d mapping in 2d scanning display
US11960648B2 (en) Method for determining a current viewing direction of a user of data glasses with a virtual retina display and data glasses

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211231

Address after: Limerick

Applicant after: ANALOG DEVICES INTERNATIONAL UNLIMITED Co.

Address before: Bermuda (UK), Hamilton

Applicant before: Analog Devices Global Unlimited Co.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant