CN110300976B - 眼睛注视跟踪 - Google Patents

眼睛注视跟踪 Download PDF

Info

Publication number
CN110300976B
CN110300976B CN201880012283.8A CN201880012283A CN110300976B CN 110300976 B CN110300976 B CN 110300976B CN 201880012283 A CN201880012283 A CN 201880012283A CN 110300976 B CN110300976 B CN 110300976B
Authority
CN
China
Prior art keywords
image
eye
distortion
reflected
data representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880012283.8A
Other languages
English (en)
Other versions
CN110300976A (zh
Inventor
J·卡尔皮玛拉维拉
J·D·加西亚
J·A·高登博格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Analog Devices International ULC
Original Assignee
Analog Devices International ULC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Analog Devices International ULC filed Critical Analog Devices International ULC
Publication of CN110300976A publication Critical patent/CN110300976A/zh
Application granted granted Critical
Publication of CN110300976B publication Critical patent/CN110300976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

实施方案的各方面涉及用于眼睛注视跟踪的系统、方法和装置。在实施方案中，投射表面，如虚拟现实显示屏或增强现实投射表面，可以向佩戴者的眼睛投射光线。光可以是表示投射表面形状的光，或者可以是显示的形状。光可以从角膜反射。可以接收来自角膜的反射光。投射表面或显示形状的形状的失真可用于确定眼睛注视位置。

Description

眼睛注视跟踪
技术领域
本公开涉及至少部分地基于来自眼睛的反射来确定眼睛注视的方向。
背景技术
眼动追踪应用程序使用眼睛的位置来确定用户正在看的方向。这在诸如虚拟现实(VR)和增强现实(AR)耳机的许多应用中是有用的。基于视觉的解决方案，其中帧中包括传感器(例如相机或一组相机)，可用于确定眼睛注视。可以从用相机或类似传感器捕获的眼睛的图像重建眼睛的轮廓。或者，近红外发光二极管(LED)可用于产生照明图案，用于研究眼睛上的闪光位置，然后推断注视方向。
发明内容
实施方案的方面涉及可穿戴系统，包括：用于将图像投射到佩戴者眼睛的投射表面；用于从用户眼睛接收所述图像的失真反射的光敏元件；和处理器，用于基于所述图像的失真反射确定眼睛注视位置。
实施方案的方面涉及可穿戴设备，包括：构件，用于将图像投射到佩戴者眼睛；构件，用于检测来自佩戴者眼睛的图像的失真反射；和处理器构件，用于至少部分地基于来自佩戴者眼睛的投射的图像的失真反射来确定眼睛注视位置。
实施方案的方面涉及方法，包括：从显示器投射形状；从用户眼睛的一部分接收投射的形状的失真反射；和至少部分地基于投射的图像的失真反射来识别眼睛注视方向。
附图说明
图1是根据本公开的实施方案的用于眼睛注视跟踪的示例系统架构的示意图。
图2A是根据本公开的实施方案的示例校准过程的第一扫描位置的示意图。
图2B是根据本公开的实施方案的示例校准过程的第一扫描位置的示意图。
图2C是根据本公开的实施方案的示例校准过程的示意图。
图3是图1的系统架构的示意图，示出了根据本公开的实施方案的眼睛位置的变化。
图4A-B是图1的系统架构的示意图，示出了根据本公开的实施方案的示例性入射角和反射。
图5是根据本公开的实施方案的将来自显示器上的点源的光朝向显示器上的点反射的角膜的示意图。
图6A是示出根据本公开的实施方案的来自角膜的屏幕的示例性反射的图。
图6B是示出根据本公开的实施方案的来自角膜的屏幕的反射的另一示例的图。
图7是根据本公开的实施方案的用于确定眼睛注视位置的过程流程图。
图8是根据本公开的实施方案的用于跟踪眼睛注视的过程流程图。
图9是根据本公开的实施方案的示例虚拟现实耳机的示意图。
具体实施方式
实施方案的各方面涉及一种系统，其包括光电探测器、一组光电探测器和/或用于眼睛跟踪的相机系统。在第一示例应用中，虚拟现实(VR)环境(例如，VR耳机)可以包括可以向佩戴者提供视觉信息的显示屏。图9中进一步描述了示例VR耳机。VR耳机可以覆盖佩戴者的眼睛。VR头戴式耳机可以包括允许佩戴者看到VR头戴式耳机显示的图像的显示屏。VR耳机还可以包括相机、光电探测器(或光电探测器阵列)或其他类型的光传感器，其可以检测从佩戴者的眼睛反射的光。
可以从眼睛的表面检测显示器的反射和/或来自显示器的反射(例如，显示的对象)。当眼睛注视位置改变时，由于角膜表面和显示器之间的入射角改变，显示器或显示器本身上显示的物体的反射移动。
实施方案的各方面使用VR头戴式耳机(例如，VR头戴式耳机)的显示屏的反射图像，以便在没有额外的发光二极管(LED)和额外功耗的情况下执行校准。该系统可以使用具有高动态范围响应(和/或对数响应)的图像传感器，其提供大的动态范围，并且便于检测屏幕的角膜反射。
在实施方案中，可以在VR耳机屏幕显示的视频流中插入具有简单固定模式的帧。可以通过图像传感器检测固定图案，其可以用于校准。这些模式可以在频谱的可见范围内，但是用户不会注意到，因为它们将持续毫秒或更短时间。这些图案的插入可以是随机的，由眼睛跟踪系统请求，并且它可以与视频投影子系统同步或不同步。
在另一个实施方案中，我们可以避免插入固定图案并使用我们对VR护目镜或AR眼镜上显示的图像的了解。一个示例是使用AR应用中显示的信息的帧的已知大小。
图1是根据本公开的实施方案的用于眼睛注视跟踪的示例系统架构100的示意图。示例系统架构100可以是虚拟现实耳机或其他系统架构，其包括显示屏102。显示屏102可以向用户/佩戴者显示图像。显示屏102可以与佩戴者处于已知距离，或者更具体地，与佩戴者的眼睛处于已知距离。在VR耳机实现和AR耳机实现的情况下，已知距离可以是与佩戴者基本固定的距离。
系统架构100可以包括图像传感器104。图像传感器104可以检测来自眼睛106的反射。图像传感器可以具有提供大动态范围的对数响应，并且有助于在没有专用照明的情况下检测显示屏102的角膜反射。眼睛106包括角膜108。角膜108可以反射从显示屏102发射的光。反射光可以由图像传感器104检测。处理器110可以使用这些形状(从角膜108反射的)来确定其位置并因此确定眼睛指向的方向(即，眼睛凝视方向)。
首先，可以使用校准来将系统架构100的几何形状与AR应用中的外部世界相关联，并校准AR和VR应用中系统中的小几何形状变化的影响。只要用户再次佩戴耳机或在使用过程中进行护目镜运动，校准就可以进行快速、自主、非监督的重新校准。换句话说，这里描述的校准过程可以在任何佩戴者的启动时执行，并且可以在耳机的操作期间周期性地(或根据需要)执行。
图2A-2C是根据本公开的实施方案的示例校准过程的示意图。校准过程使用与图1中所示的相同或类似的系统架构。显示器102可以向佩戴者显示单个点202，其将在校准期间凝视单个点202。在屏幕上扫描参考线或其他形状，同时将眼睛注视固定在点202处。可以通过在(黑色或暗色)屏幕102上产生(亮色或白色)线图案204并在线102上移动线图案204来执行扫描。线图案204发射的光可以从眼睛106的角膜108反射(可以对佩戴者的每只眼睛执行该过程)。当线图案204扫过屏幕102时，传感器104检测线图案204的反射204'。例如，反射204'可以由传感器104检测。在实施方案中，注视点204的反射202'也可以由传感器104检测。当注视凝视点202时，处理器(例如处理器110)可以形成眼睛的3D结构。通过添加更多注视点，可以提高准确性。例如，佩戴者可以首先凝视第一凝视点以进行第一校准循环。然后佩戴者可以凝视第二注视点，并且可以在显示器上扫描线图案。当眼睛凝视第二注视点(例如，眼睛处于第二注视位置)时从眼睛反射的线条图案的反射可以由传感器104检测。处理器可以根据检测到的第二眼睛注视位置的线图案的反射形成3D结构。可以重复该过程以实现许多注视点(例如，基于实现选择所期望的准确度水平)。
眼睛的3D结构可以用作校准目的的基线。可以映射眼睛表面轮廓，并且可以使用注视图案和扫描图案将轮廓与眼睛位置相关联。
在实施方案中，与线性图案相反(或除了线性图案之外)，可以使用二维图案。二维图案可以是取决于眼睛注视位置而失真的矩形形状。矩形图案的失真可以与眼睛注视位置相关联。系统可以了解矩形图案如何失真，并且这种失真可以用于训练系统。也可以使用其他图案。
图3是图1的系统架构的示意图，示出了根据本公开的实施方案的眼睛位置的变化。图3示出了处于第一位置302的眼睛106。在第一位置302，角膜108可以在角膜108上或附近的点306处接收来自显示器102的光304(即，巩膜与角膜连续)。光304被反射(显示为反射光304')到图像传感器104上的第一点322。反射光304'可以被解析成代表屏幕104的图像，并且分辨图像的形状可用于确定眼睛注视位置。
当眼睛注视位置改变到第二位置308时，从显示器102发射的光310照射在角膜108上或附近的点312上。在图像传感器104处在与点322不同的点324处接收反射光310'。接收的反射光310'可以被解析成显示屏102的图像，并且分辨图像的形状可以用于确定另一个眼睛注视位置。
图4A是图1的系统架构的示意图，示出了根据本公开的实施方案的示例性入射角和反射。图4B是图4A的系统架构的特写视图的示意图，其示出了根据本公开的实施方案的示例性入射角和反射。来自显示器102的代表屏幕框的光、显示的场景、一个或多个校准点等从与佩戴者已知距离的显示屏102(或AR反光镜)发出(到某个百分比误差)。传感器104位于距佩戴者和显示器102的已知距离处。从显示器102发射诸如光402或光404的光。由于角膜108是球形或接近球形(在2D简化中显示为圆形)，入射光和反射光束相对于从圆的中心到入射点的线(L)具有相同的角度(α)。反射光402'和404'在传感器104处以相对于传感器法线的已知角度(β1和β2)被接收，已经在角膜108上反射。入射角β1和β2在图4B中更详细地示出。
图5是根据本公开的实施方案的角膜108的示意图，该角膜108将来自显示器上的点源502的光朝向图像传感器上的点504反射。图5提供了用于从生理学上解决角膜104的反射的形状和大小的一个示例场景。可以确定发光角度α与图像传感器的光接收角度β之间的关系：
90-α-η＝90-β+η→α＝β-2*η
α和β的这些关系可以进一步解析为空间维度：
sin(α)*d1-sin(β)*d3＝Δy
cos(α)*d1+cos(β)*d2＝Δx
sin(β)*d2+cos(η)*R＝Y
cos(β)*d3+sin(η)*R＝X
可以在原点(0,0)处考虑图像传感器点。眼睛注视的移动可以将角膜的焦点放置到点(X，Y)。R的值可近似为6至7mm之间的值，例如6.7mm。
该示例假定来自显示器104的单个点发光源。可以以类似的方式针对多于一个点发光源解析关系，并且可以提高从接收的反射光产生的分辨图像的各个方面的分辨率。
可以形成眼睛的3D模型以确定眼睛注视位置(例如，基于来自校准的相关性)。
图6A是示出根据本公开的实施方案的来自角膜的屏幕的反射的示例图像的图600。如前所述，来自角膜602的来自显示屏的反射可用于形成显示屏的图像604(或显示屏上显示的场景或其他显示屏特征，例如屏幕的框)。在图像601a-601c中，眼睛被示出将其视线移向页面的右侧。在图像601a中，例如，眼睛基本上向前注视。显示屏幕图像604可以具有指示眼睛正向前注视的形状。在图像601b中，眼睛注视位置已经移动到佩戴者的左侧，并且观察者的右侧。显示屏幕图像604b与图像604a不同。图像604b的形状可以以与图4A-B和图5中描述的方式类似的方式表征，以确定眼睛注视位置。类似地，在图像601c中，眼睛注视位置已经进一步移动到佩戴者的左侧，并且观察者的右侧。显示屏幕图像604c与图像604a和604b不同。
可以通过矩形框(例如，显示器的框架或显示的图像)如何变形来识别凝视方向。取决于反射区域处的眼睛的曲率，矩形框架的失真将是不同的(如上面在图6A中所描述的)。失真可用于获得凝视方向和/或训练系统。
图6B是示出根据本公开的实施方案的来自角膜的屏幕的示例性反射的示图650。除了对显示屏幕的反射进行成像之外，可以使用其他反射来表征眼睛注视的方向。例如，在图像651a中，角膜602的轮廓的反射被解析为图像656a。轮廓图像656a可用于比较显示图像654a的相对位置。可以确定轮廓图像656a与显示屏654a的图像之间的距离660以识别眼睛注视的方向。在图像651b中，眼睛注视已移动到佩戴者的右侧，观察者的左侧。轮廓图像656b与显示屏幕图像654b之间的距离662减小。类似地，在图像651c中，眼睛注视已经移动到佩戴者的右侧，观察者的左侧。轮廓图像656c和显示屏幕图像654c之间的距离664进一步减小。显示屏的反射与轮廓图像的相对位置可用于获得眼睛注视方向。
图7是根据本公开的实施方案的用于确定眼睛注视方向的过程流程图。首先，可以在屏幕上显示图像(702)。屏幕可以是VR耳机、AR耳机、计算机屏幕、智能手机等的显示屏。图像可以是校准图像、实际VR图像或其他图像。诸如照相机或其他成像系统的图像传感器可以检测从用户/佩戴者的眼睛的角膜反射的从显示屏发出的光的反射(704)。可以将检测到的反射光的形状解析为图像(706)。可以至少部分地基于检测到的反射光的形状来确定眼睛注视方向(708)。
图8是根据本公开的实施方案的用于跟踪眼睛注视的过程流程图。首先，可以在屏幕上显示图像(802)。诸如照相机或其他成像系统的图像传感器可以检测从显示屏发出的光的反射，该反射是从用户/佩戴者的眼睛的角膜反射的(804)。图像传感器还可以检测从显示器发出的从眼睛的其他区域反射的光，并检测诸如虹膜轮廓的特征(810)。可以将检测到的反射光的形状解析为图像(806)。来自虹膜轮廓的反射光也可以被解析成图像(812)。可以确定虹膜轮廓图像和反射的屏幕图像之间的相对位置(808)。可以至少部分地基于反射的屏幕图像和虹膜的轮廓图像的相对位置来确定眼睛注视方向(814)。
图9是根据本公开的实施方案的示例虚拟现实耳机900的示意图。VR头戴式耳机900包括支撑显示器外壳904和一个或多个光电检测器元件908的框架902。显示器外壳904可以容纳显示器单元906a和906b，显示器单元906a和906b被配置为向佩戴者显示或投影图像。光电检测器元件908可以检测来自佩戴者的眼睛920的反射光。光电检测器元件908可以是图像传感器，例如具有高动态范围响应的图像传感器。VR耳机还可以包括镜头壳体910，其朝向佩戴者的眼睛920引导和聚焦所显示的光。镜头壳体910可以包括一个或多个镜头912。VR头戴式耳机可以包括处理器914，例如硬件处理单元。处理器914可以包括中央处理器、图形处理器、存储器等。处理器914可以控制显示器投射眼睛注视校准点或网格或图案以用于校准、VR内容等。处理器914还可以在VR内容的帧内间歇地投射校准模式，以用于偶尔的重新校准。
处理器914还可以处理由图像传感器接收的反射光以确定眼睛注视。处理器914可以通过确定图案的失真来确定眼睛注视，例如从眼睛920反射的二维图案。二维图案可以是显示器906a的帧、从显示器906a投射的图像等。
处理器914还可以基于在图像传感器处接收的图案的反射来形成眼睛的三维模型。可以形成眼睛的三维模型以通过映射眼睛的轮廓来增加眼睛注视位置估计的准确度。佩戴者眼睛的三维模型可用于理解当眼睛改变凝视位置时线性图案或二维形状的反射将如何失真。

Claims (23)

1.一种用于眼睛注视跟踪的方法，该方法包括：
将原生图像从显示器投射到用户的眼睛上；
在传感器处接收所投射的原生图像的反射图像，其中所述原生图像被所述眼睛的一部分反射，其中所述反射图像相对于所述原生图像是失真，所述失真是由于所述眼睛的一部分的反射；
接收代表所述原生图像的数据；
接收代表所述反射图像的数据；
将代表所述原生图像的数据与代表所述反射图像的数据相比较；
检测代表所述原生图像的数据相对于代表所述反射图像的数据的失真，其中检测所述失真依赖于来自所述反射图像的光；
将代表所述原生图像的数据相对于代表所述反射图像的数据的失真解析成所述眼睛的三维结构；和
至少部分地基于所述失真以及所述眼睛的所述三维结构来识别眼睛注视方向。
2.根据权利要求1所述的方法，还包括：
将代表所述原生图像的数据相对于代表所述反射图像的数据的失真解析成解析图像；
确定所述解析图像的第一边缘；
确定所述解析图像的第二边缘；以及
比较所述第一边缘和所述第二边缘；
至少部分地基于所述失真以及所述眼睛的所述三维结构来识别所述眼睛注视方向包括基于所述解析图像来确定角膜的位置。
3.根据权利要求1所述的方法，还包括：
在所述显示器上间歇地显示校准图像；
在所述传感器处接收所述校准图像的反射；
确定所述校准图像的形状；和
将所述校准图像的形状与所述眼睛注视方向相关联。
4.根据权利要求1至3中任一项所述的方法，其中至少部分地基于所述失真来识别眼睛注视方向包括将所投射的原生图像的反射图像与在所述显示器上显示的校准图像的形状进行比较。
5.根据权利要求1至3中任一项所述的方法，还包括：
将所述反射图像解析成代表所述显示器的形状的第一图像；
识别所投射的原生图像的反射图像的失真，其中反射图像来自所述眼睛的一部分；
将所述反射图像的所述失真解析成代表所述用户的所述眼睛的角膜的轮廓的第二图像；
确定第一图像相对于第二图像的相对位置；
至少部分地基于第一图像相对于第二图像的相对位置来确定眼睛注视方向。
6.根据权利要求1至3中任一项所述的方法，其中所述眼睛的一部分是角膜。
7.根据权利要求1至3中任一项所述的方法，还包括对所述眼睛的所述三维结构提供边缘检测。
8.根据权利要求7所述的方法，其中基于所提供的边缘检测来识别眼睛注视方向。
9.一种用于眼睛注视跟踪的可穿戴系统，所述可穿戴系统包括：
显示器，将原生图像朝向所述可穿戴系统的佩戴者的眼睛投射；
光敏元件，设置在所述佩戴者的所投射的原生图像的视野内，并且被配置为接收所投射的原生图像的反射图像，其中所述原生图像被所述佩戴者的所述眼睛的一部分反射，其中所述反射图像相对于所述原生图像是失真的，所述失真由于所述佩戴者的所述眼睛的一部分的反射；
处理器，被构造为：
接收代表所述原生图像的数据；
接收代表所述反射图像的数据；
将代表所述原生图像的数据与代表所述反射图像的数据相比较；
检测代表所述原生图像的数据相对于代表所述反射图像的数据的失真，其中检测所述失真依赖于来自所述反射图像的光；
将代表所述原生图像的数据相对于代表所述反射图像的数据的失真解析成所述眼睛的三维结构；和
至少部分地基于所述失真以及所解析的所述眼睛的所述三维结构来识别眼睛注视方向。
10.根据权利要求9所述的可穿戴系统，其中所述可穿戴系统包括虚拟现实耳机。
11.根据权利要求9所述的可穿戴系统，其中所述显示器的投射表面包括虚拟现实显示屏。
12.根据权利要求9至11中任一项所述的可穿戴系统，其中所述可穿戴系统包括增强现实耳机。
13.根据权利要求9至11中任一项所述的可穿戴系统，其中所述处理器还被配置为：
控制所述投射表面以显示校准图案；
处理所接收的来自所述佩戴者的所述眼睛的角膜的所述校准图案的反射；和
基于所接收的所述校准图案的反射，对所述佩戴者的所述眼睛的形状建模。
14.根据权利要求9至11中任一项所述的可穿戴系统，其中所述处理器还被配置为：
间歇性地将重新校准图像插入到显示给所述佩戴者的内容流中；和
至少部分地基于间歇插入的重新校准图像来校准眼睛注视位置。
15.根据权利要求9至11中任一项所述的可穿戴系统，其中所述处理器还被配置为：
处理所接收的从投射表面投射到所述佩戴者的形状的反射；
确定所述形状的失真；和
至少部分地基于所述形状的失真来确定眼睛注视位置。
16.根据权利要求15所述的可穿戴系统，其中所述光敏元件被配置为接收来自所述眼睛的虹膜的光的反射；并且其中所述处理器还被配置为：
比较来自眼睛的虹膜的反射的边缘与形状的边缘之间的相对位置；和
基于来自眼睛的虹膜的反射的边缘和形状的边缘之间的相对位置确定眼睛注视位置。
17.根据权利要求9至11中任一项所述的可穿戴系统，其中所述光敏元件包括高动态范围图像传感器。
18.根据权利要求9至11中任一项所述的可穿戴系统，其中所述处理器还被配置为对所解析的所述眼睛的三维结构提供边缘检测。
19.根据权利要求18所述的可穿戴系统，其中基于对所述反射图像的所述失真的边缘检测来确定眼睛注视方向。
20.一种用于眼睛注视跟踪的可穿戴设备，所述可穿戴设备包括：
用于将原生图像从显示器投射到所述可穿戴设备的佩戴者的眼睛的构件；
用于检测所投射的所述原生图像的反射图像的构件，其中所述原生图像被所述眼睛的一部分反射，其中所述反射图像相对于所述原生图像是失真的，所述失真由于所述眼睛的一部分的反射；以及
处理器构件，用于：
接收代表所述原生图像的数据；
接收代表所述反射图像的数据；
将代表所述原生图像的数据与代表所述反射图像的数据相比较；
检测代表所述原生图像的数据相对于代表所述反射图像的数据的失真，其中检测所述失真依赖于来自所述反射图像的光；
将代表所述原生图像的数据相对于代表所述反射图像的数据的失真解析成所述眼睛的三维结构；和
基于所述失真以及所解析的所述眼睛的三维结构来识别眼睛注视。
21.根据权利要求20所述的可穿戴设备，其中用于投射的构件包括虚拟现实显示屏或增强现实耳机投影仪之一。
22.根据权利要求20或21所述的可穿戴设备，其中用于检测的构件包括高动态范围图像传感器。
23.根据权利要求20或21所述的可穿戴设备，其中所述处理器构件被配置为：
处理从所述眼睛反射的形状，所述形状由用于投射的构件投射；
确定所述形状的失真；和
至少部分地基于所述失真确定眼睛注视位置。
CN201880012283.8A 2017-02-17 2018-02-16 眼睛注视跟踪 Active CN110300976B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/435,732 US10485420B2 (en) 2017-02-17 2017-02-17 Eye gaze tracking
US15/435,732 2017-02-17
PCT/EP2018/053935 WO2018149992A1 (en) 2017-02-17 2018-02-16 Eye gaze tracking

Publications (2)

Publication Number Publication Date
CN110300976A CN110300976A (zh) 2019-10-01
CN110300976B true CN110300976B (zh) 2024-01-05

Family

ID=61563350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880012283.8A Active CN110300976B (zh) 2017-02-17 2018-02-16 眼睛注视跟踪

Country Status (4)

Country Link
US (1) US10485420B2 (zh)
CN (1) CN110300976B (zh)
DE (1) DE212018000158U1 (zh)
WO (1) WO2018149992A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106908951A (zh) * 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US10325409B2 (en) * 2017-06-16 2019-06-18 Microsoft Technology Licensing, Llc Object holographic augmentation
US11458040B2 (en) * 2019-01-23 2022-10-04 Meta Platforms Technologies, Llc Corneal topography mapping with dense illumination
US11806078B1 (en) 2022-05-01 2023-11-07 Globe Biomedical, Inc. Tear meniscus detection and evaluation system
US12105873B2 (en) * 2022-11-29 2024-10-01 Pixieray Oy Light field based eye tracking

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4856891A (en) * 1987-02-17 1989-08-15 Eye Research Institute Of Retina Foundation Eye fundus tracker/stabilizer
CN101099164A (zh) * 2004-12-07 2008-01-02 欧普蒂克斯技术公司 使用来自眼睛反射的虹膜成像
CN101273880A (zh) * 2008-04-23 2008-10-01 中国人民解放军空军航空医学研究所 一种利用虚拟视靶的视-眼动反射检查方法
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
EP2306891A1 (en) * 2008-07-08 2011-04-13 IT University of Copenhagen Eye gaze tracking
CN104094197A (zh) * 2012-02-06 2014-10-08 索尼爱立信移动通讯股份有限公司 利用投影仪的注视追踪
CN104246578A (zh) * 2012-04-25 2014-12-24 微软公司 用于头戴式光场显示器的基于可移动led阵列和微透镜阵列的光场投影仪
JP2015123262A (ja) * 2013-12-27 2015-07-06 学校法人東海大学 角膜表面反射画像を利用した視線計測方法及びその装置
EP3062142A1 (en) * 2015-02-26 2016-08-31 Nokia Technologies OY Apparatus for a near-eye display
CN105934902A (zh) * 2013-11-27 2016-09-07 奇跃公司 虚拟和增强现实系统与方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5016282A (en) * 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6659611B2 (en) 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7347551B2 (en) * 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US20070076082A1 (en) * 2005-09-30 2007-04-05 Lexmark International, Inc. Methods and apparatuses for measuring print area using hand-held printer
US8014571B2 (en) * 2006-05-15 2011-09-06 Identix Incorporated Multimodal ocular biometric system
JP2010060817A (ja) * 2008-09-03 2010-03-18 Olympus Corp 表示装置およびこれを備える電子機器
EP2309307B1 (en) * 2009-10-08 2020-12-09 Tobii Technology AB Eye tracking using a GPU
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
WO2013167864A1 (en) * 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
JP5887026B2 (ja) 2012-09-03 2016-03-16 ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーＳＥＮＳＯＭＯＴＯＲＩＣ ＩＮＳＴＲＵＭＥＮＴＳ Ｇｅｓｅｌｌｓｃｈａｆｔ ｆｕｒ ｉｎｎｏｖａｔｉｖｅ Ｓｅｎｓｏｒｉｋ ｍｂＨ ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法
CN104903818B (zh) * 2012-12-06 2018-12-14 谷歌有限责任公司 眼睛跟踪佩戴式设备和使用方法
US9898081B2 (en) * 2013-03-04 2018-02-20 Tobii Ab Gaze and saccade based graphical manipulation
WO2015066475A1 (en) * 2013-10-31 2015-05-07 The University of North Carlina at Chapel Hill Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems
US9651784B2 (en) * 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
AU2015255652B2 (en) * 2014-05-09 2018-03-29 Google Llc Systems and methods for using eye signals with secure mobile communications
US20160363995A1 (en) 2015-06-12 2016-12-15 Seeing Machines Limited Circular light element for illumination of cornea in head mounted eye-tracking
US9983709B2 (en) * 2015-11-02 2018-05-29 Oculus Vr, Llc Eye tracking using structured light
CN108885341B (zh) * 2015-11-25 2021-03-09 谷歌有限责任公司 基于棱镜的眼睛跟踪
US10152121B2 (en) * 2016-01-06 2018-12-11 Facebook Technologies, Llc Eye tracking through illumination by head-mounted displays
US10115205B2 (en) * 2016-03-11 2018-10-30 Facebook Technologies, Llc Eye tracking system with single point calibration

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4856891A (en) * 1987-02-17 1989-08-15 Eye Research Institute Of Retina Foundation Eye fundus tracker/stabilizer
CN101099164A (zh) * 2004-12-07 2008-01-02 欧普蒂克斯技术公司 使用来自眼睛反射的虹膜成像
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
CN101273880A (zh) * 2008-04-23 2008-10-01 中国人民解放军空军航空医学研究所 一种利用虚拟视靶的视-眼动反射检查方法
EP2306891A1 (en) * 2008-07-08 2011-04-13 IT University of Copenhagen Eye gaze tracking
CN104094197A (zh) * 2012-02-06 2014-10-08 索尼爱立信移动通讯股份有限公司 利用投影仪的注视追踪
CN104246578A (zh) * 2012-04-25 2014-12-24 微软公司 用于头戴式光场显示器的基于可移动led阵列和微透镜阵列的光场投影仪
CN105934902A (zh) * 2013-11-27 2016-09-07 奇跃公司 虚拟和增强现实系统与方法
JP2015123262A (ja) * 2013-12-27 2015-07-06 学校法人東海大学 角膜表面反射画像を利用した視線計測方法及びその装置
EP3062142A1 (en) * 2015-02-26 2016-08-31 Nokia Technologies OY Apparatus for a near-eye display

Also Published As

Publication number Publication date
US10485420B2 (en) 2019-11-26
WO2018149992A1 (en) 2018-08-23
DE212018000158U1 (de) 2019-10-22
US20180235465A1 (en) 2018-08-23
CN110300976A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN110300976B (zh) 眼睛注视跟踪
US10257507B1 (en) Time-of-flight depth sensing for eye tracking
JP6902075B2 (ja) 構造化光を用いた視線追跡
US10395111B2 (en) Gaze-tracking system and method
KR102062658B1 (ko) 안구 모델을 생성하기 위한 각막의 구체 추적
JP5467303B1 (ja) 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体
US9398848B2 (en) Eye gaze tracking
US6659611B2 (en) System and method for eye gaze tracking using corneal image mapping
JP6110862B2 (ja) 画像からの物体距離決定
KR101471488B1 (ko) 시선 추적 장치 및 방법
CN108700933A (zh) 能够进行眼睛追踪的可穿戴设备
JP6631951B2 (ja) 視線検出装置及び視線検出方法
US10592739B2 (en) Gaze-tracking system and method of tracking user's gaze
WO2015015454A2 (en) Gaze tracking system
CN112136152A (zh) 由观看设备的部件变形导致的图像校正
EP3542308B1 (en) Method and device for eye metric acquisition
JP3450801B2 (ja) 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム
US11675429B2 (en) Calibration, customization, and improved user experience for bionic lenses
CN108537103B (zh) 基于瞳孔轴测量的活体人脸检测方法及其设备
US20200229969A1 (en) Corneal topography mapping with dense illumination
Nitschke et al. I see what you see: point of gaze estimation from corneal images
JP6430813B2 (ja) 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置
CN211454189U (zh) 结构光成像系统
US11960648B2 (en) Method for determining a current viewing direction of a user of data glasses with a virtual retina display and data glasses
KR20230101580A (ko) 안구 모델에 기초하여 센싱 범위를 결정하는 시선 추적 방법, 장치 및 시선 추적 센서

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211231

Address after: Limerick

Applicant after: ANALOG DEVICES INTERNATIONAL UNLIMITED Co.

Address before: Bermuda (UK), Hamilton

Applicant before: Analog Devices Global Unlimited Co.

GR01 Patent grant
GR01 Patent grant