CN115145023A - 用于导出人眼睛的注视方向的设备 - Google Patents

用于导出人眼睛的注视方向的设备 Download PDF

Info

Publication number
CN115145023A
CN115145023A CN202210384731.5A CN202210384731A CN115145023A CN 115145023 A CN115145023 A CN 115145023A CN 202210384731 A CN202210384731 A CN 202210384731A CN 115145023 A CN115145023 A CN 115145023A
Authority
CN
China
Prior art keywords
eye
light
optical element
illumination
light guide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210384731.5A
Other languages
English (en)
Other versions
CN115145023B (zh
Inventor
尤查·丹齐格
埃坦·罗南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lumus Ltd
Original Assignee
Lumus Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lumus Ltd filed Critical Lumus Ltd
Priority to CN202210384731.5A priority Critical patent/CN115145023B/zh
Publication of CN115145023A publication Critical patent/CN115145023A/zh
Application granted granted Critical
Publication of CN115145023B publication Critical patent/CN115145023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种用于导出人眼睛的注视方向的设备包括光导光学元件(LOE)，所述LOE具有面向所述眼睛部署的一对平行面。耦入配置(诸如，一组部分反射表面)与LOE相关联并且配置用于耦入入射在面上的光的一部分以在所述LOE内传播。与LOE相关联的聚焦光学器件将在所述LOE内传播的多组平行光线转换为由光学感测器感测的捕获到的光的会聚束。处理系统处理来自所述光学感测器的信号以导出所述眼睛的当前注视方向。不管所述LOE的孔径组合效应如何，都可以有效地将视网膜图像恢复为集中在所述光学感测器上的唯一图像信息。

Description

用于导出人眼睛的注视方向的设备
本申请为申请号201780011686.6(PCT申请号为 PCT/IL2017/051408)、申请日2017年12月31日、发明名称 “基于经由光导光学元件的视网膜成像的眼动追踪器”的分案申请。
【技术领域】
本发明涉及眼动追踪，并且具体地，本发明涉及一种用 于导出人眼睛的注视方向的设备及用于基于经由光导光学元 件的视网膜成像来追踪人眼的注视方向的眼动追踪器和对应 的方法，其尤其适用于整合为近眼显示器的一部分。
【背景技术】
用于近眼显示器或者抬头显示器的光学布置需要大孔径 以覆盖观察者的眼睛所在的区域(眼睛运动盒)。为了实现紧 凑的装置，通过具有倍增以生成大孔径的小孔径的小型光学 图像生成器(投影仪)来生成图像。
已经基于平行贴面的透明材料平板开发了在一个维度上 实现孔径倍增的方法，在所述透明材料平板内，图像通过内 反射进行传播。通过使用倾斜带角度的部分反射器或者通过 在平板的一个表面上使用衍射光学元件来，将图像波前的一 部分耦出平板。本文将这种平板称为“光导光学元件”、“透光 基板”或者“波导”。在图1至图4中示意性地图示了这种孔径 倍增的原理。
图1示出了具有用于通过内反射来导光的一对平行面 26、26A的光导光学元件20。投影的图像18(此处由照明束 18示意性地表示，所述照明束18包括横跨此束的样本光线18A、18B和18C)耦合到光导光学元件(此处由第一反射表 面16示意性地图示)中以生成在基板内通过内反射捕获的反 射光线28，还生成光线30。图像通过重复的内反射沿着基板传播，按照与平行面26、26A倾斜的角度照射在一系列部分 反射表面22上，其中，对图像强度的一部分进行反射，以便 作为光线48A、48B耦出基板。为了使可能产生重像的不希 望的反射减到最少，优选地对部分反射表面22进行覆膜以使 其对于第一入射角范围具有低反射比，而对于第二入射角范 围具有期望的部分反射率，例如，如在图2A和图2B中图示 的，在这些图中，使相对于部分反射表面34的法线具有小倾 角的光线32分离以生成用于耦出的反射光线(图2A)，而利 用可以忽略的反射来透射高倾角(相对于法线)光线36(图 2B)。
图3图示了通过使用用于耦出图像的衍射光学元件23 以及(在此处示出的示例中)用于耦入图像18的另一衍射光 学元件17来实施的对应配置。如本领域已知的，衍射光学元 件可以部署在基板的上表面或者下表面。
在这两种情况下，投影的图像18是准直图像，即，每个 画素由对应角度的平行光束表示，等效于来自与观察者相隔 较远的场景的光。此处简单地用与图像中的单个点(通常是 图像的质心)对应的光线来表示图像，但是实际上包括所述 中心光束的每一侧的一系列角度，这些光线以对应的角度范 围耦入基板，并且以对应的角度类似地耦出，从而生成与在 不同方向上到达观察者的眼睛24的图像的部分对应的视场。
图1和图3的孔径倍增沿着一个维度发生，与附图的从 右到左的方向对应。在一些情况下，在两个维度上采用类似 的方法，诸如，在图4中图示的。在这种情况下，第一波导20a具有耦入反射器16a和部分反射耦出表面22a，所述耦入 反射器16a和部分反射耦出表面22a利用耦入反射器16b和 部分反射耦出表面22b向第二波导20b提供光学输出。按照 这种方式，由输入光线90表示的图像在两个维度中相继倍增 以提供在两个维度中扩展的输出孔径。虽然此处图示的是使 用用于耦出的部分反射表面，但是可以通过使用衍射光学元件来执行所述扩展中的一种或者两种。
要注意，通过孔径倍增实现的较大输出孔径使每条输入 图像光线被分成多条间隔隔开的输出光线。在图1和图3中， 这由通过分离输入光线18A导出的多条耦出光线48A和通过 分离输入光线18B导出的多条耦出光线48B表示。对于图4 的二维扩展也是如此。
【发明内容】
本发明的一个方面提供了一种用于基于经由光导光学元 件的视网膜成像来追踪人眼的注视方向的眼动追踪器和对应 的方法，其尤其适用于集成为近眼显示器的一部分。
根据本发明的实施例的教导，提供了一种用于导出人眼 的注视方向的设备，所述设备包括：(a)光导光学元件(LOE)， 所述光导光学元件(LOE)由透明材料形成并且具有用于通 过内反射来导光的一对平行面，所述平行面中的一个平行面 面向眼睛部署；耦入配置，所述耦入配置与LOE相关联并且 配置用于将入射在所述平行面中的一个平行面上的光的一部 分耦入到耦入区域内以在LOE内传播；(c)聚焦光学器件， 所述聚焦光学器件与LOE相关联并且配置用于将在LOE内 传播的多组平行光线转换为捕获到的光的会聚束；(d)光学 感测器，所述光学感测器部署用于感测捕获到的光；以及(e) 处理系统，所述处理系统包括至少一个处理器，处理系统与 光学感测器电关联并且被配置用于处理来自光学感测器的信 号以导出眼睛的当前注视方向，其中，耦入配置被配置为生 成在LOE内传播的光线，每条光线具有指示对应入射光线的 入射方向的方向，以及其中，将多条间隔隔开的平行入射光 线组合成在LOE内传播的单条光线。
根据本发明的实施例的又一特征，耦入配置包括在LOE 内倾斜于平行面部署的多个部分反射表面。
根据本发明的实施例的又一特征，耦入配置包括与所述 平行面中的一个平行面相关联的衍射光学元件。
根据本发明的实施例的又一特征，光学感测器包括四象 限感测器。
根据本发明的实施例的又一特征，光学感测器包括画素 感测元件的阵列，以及其中，处理系统处理来自不超过大约 104个画素感测元件的输出。
根据本发明的实施例的又一特征，还提供了一种照明布 置，所述照明布置部署为从耦入区域的方向照亮眼睛。
根据本发明的实施例的又一特征，照明布置配置为将照 明引入到LOE中，从而使得照明通过在一对平行表面处反射 而在LOE内传播并且通过耦入配置朝着眼睛耦出。
根据本发明的实施例的又一特征，还提供了一种照明光 导元件，所述照明光导元件由透明材料形成并且具有用于通 过内反射来导光的一对平行面，照明光导元件与LOE重叠部 署，其中，照明布置配置为将照明引入到照明光导元件中， 从而使得照明通过在一对平行表面处反射而在照明光导元件 内传播并且通过与照明光导元件相关联的耦出配置朝着眼睛 耦出。
根据本发明的实施例的又一特征，照明布置与处理系统 相关联，处理系统致动照明布置生成具有脉冲持续时间的照 明脉冲，以及其中，处理系统处理从光学感测器导出的、与 捕获到的在脉冲持续时间期间入射的光对应的信号。
根据本发明的实施例的又一特征，还提供了一种通带滤 光片，所述通带滤光片部署为阻挡在给定波长范围之外的波 长的光到达光学感测器，以及其中，照明布置主要在给定波 长范围内产生照明。
根据本发明的实施例的又一特征，给定波长范围处于电 磁辐射光谱的不可见区域中。
根据本发明的实施例的又一特征，照明布置包括多个单 独控制的照明画素，以及其中，处理系统选择性地致动照明 画素以选择性地沿着与眼睛的视网膜的选定区域对应的方向 照亮。
根据本发明的实施例的又一特征，在持续追踪眼睛注视 方向期间，视网膜的选定区域是包括眼睛的视神经盘的区域。
根据本发明的实施例的又一特征，处理系统配置为处理 来自光学感测器的信号以导出与来自眼睛的视网膜的反射对 应的强度分布的中心，从而确定眼睛的当前注视方向。
根据本发明的实施例的又一特征，处理系统配置为处理 来自光学感测器的信号以检测眼睛的视网膜的至少一个突出 特征的位置，从而确定眼睛的当前注视方向。
根据本发明的实施例的又一特征，处理系统配置为处理 来自光学感测器的信号以追踪眼睛的视网膜中的血管的图 案，从而确定眼睛的当前注视方向。
根据本发明的实施例的又一特征，还提供了一种图像投 影仪，所述图像投影仪耦合至LOE以将准直图像引入到LOE 中，从而使得准直图像经由LOE内的内反射而传播并且通过 耦入配置朝着眼睛耦出LOE。
根据本发明的实施例的又一特征，图像投影仪与处理系 统相关联，以及其中，处理系统致动图像投影仪生成具有脉 冲持续时间的照明脉冲，处理系统处理从光学感测器导出的、 与捕获到的在脉冲持续时间期间入射的光对应的信号。
根据本发明的实施例的又一特征，处理系统生成脉冲以 与投影的图像的选定子部分对应，并且从而使得脉冲有助于 对投影的图像的感知。
根据本发明的实施例的又一特征，还提供了一种支撑配 置，所述支撑配置用于相对于人类用户的头部支撑设备，从 而使得LOE面向用户的第一只眼睛部署，所述设备进一步包 括：(a)第二只眼睛光导光学元件(LOE)，所述第二只眼睛 光导光学元件(LOE)由透明材料形成并且具有用于通过内 反射来导光的一对平行面，所述平行面中的一个平行面朝向 用户的第二只眼睛部署；(b)耦入配置，所述耦入配置与第 二只眼睛LOE相关联并且配置用于将入射在所述平行面中 的一个平行面上的光的一部分耦入到耦入区域内以在LOE内传播；(c)聚焦光学器件，所述聚焦光学器件与第二只眼 睛LOE相关联并且配置用于将在LOE内传播的多组平行光 线转换为捕获到的光的会聚束；以及(d)第二只眼睛光学感 测器，所述第二只眼睛光学感测器部署用于感测捕获到的光， 其中，处理系统进一步与第二只眼睛光学感测器电关联并且 被配置用于处理来自光学感测器中的两个光学感测器的信号 以导出用户的眼睛的当前注视方向。
根据本发明的实施例的教导，还提供了一种方法，所述 方法包括以下步骤：(a)提供根据上述变型中任一变型的设 备；以及(b)处理来自光学感测器的信号以导出眼睛的当前 注视方向。
【附图说明】
本文仅通过示例的方式参照附图描述了本发明的示例性 实施例，其中：
图1是上面所描述的用于近眼显示器的采用部分反射表 面的现有技术的光导光学元件的示意性侧视图。
图2A和图2B是用于图1的现有技术的显示器的部分反 射表面的角度选择性反射特性的示意图。
图3是上面所描述的用于近眼显示器的采用衍射光学元 件的现有技术的光导光学元件的示意性侧视图。
图4是上面所描述的基于与图1的光导光学元件类似的 两个光导光学元件的组合的现有技术的光学孔径扩展布置的 示意性等距视图。
图5是根据本发明的实施例构建并且可操作用于结合近 眼显示器追踪人眼的注视方向的设备的部分示意性等距视 图。
图6A和图6B分别是根据第一优选实施方式的图5的设 备的光学架构的示意性侧视图和正视图。
图7A和图7B分别是根据第二优选实施方式的图5的设 备的光学架构的示意性侧视图和正视图。
图8是本发明的设备的示意图，图示了各种光信号和光 学背景噪声源。
图9A和图9B是分别图示了光信号和光学背景噪声沿着 摄像机的相应光路的相继强度损失的示意性流程图。
图10是图示了从空间上将图像数据细分在规则图像通 道与追踪照明通道之间的示意图。
图11是图示了从时间上将图像数据细分在规则图像通 道与追踪照明通道之间的示意图。
图12是图示了根据本发明的一个方面的为眼动追踪提 供选择性照明的过程的流程图。
图13是人眼的眼底的图像，指示用于追踪算法的各种候 选特征。
图14是图示了人眼中的视杆和视锥光受体根据在穿过 视神经盘的平面中与中央窝的角度而产生的数量变化的曲线 图。
图15是图示了人的视网膜根据在光谱的可见光区域和 红外光区域中的波长而产生的反射率变化的曲线图。
图16是图示了人眼中的不同类型的视锥光受体和视杆 光受体的波长响应性的曲线图。
图17A和图17B分别是根据又一优选实施方式的图5的 设备的光学架构的示意性侧视图和正视图。
图18A和图18B分别是根据又一优选实施方式的图5的 设备的光学架构的示意性侧视图和正视图。
图18C是与图示了又一变型实施方式的图18B类似的视 图。
图19是用于图5的设备的组合式可见光图像投影仪和红 外光照明和成像系统的光学架构的又一示意性前视图。
图20是用于图5的设备的组合时可见光图像投影仪和红 外光照明和成像系统的光学架构的又一示意性前视图。
图21A是人眼的示意性侧视图，图示了不同入射角的镜 面反射和漫反射的几何结构。
图21B是基于理论计算的曲线图，图示了来自视网膜的 照明根据角度(所述角度通过改变瞳孔偏移而改变)而产生 的反射变化。
图21C是与基于实验数据的图21B类似的曲线图。
图21D是图示了根据照明波长而产生的视网膜反射率变 化的曲线图。
图22是在角度选择性追踪照明的情况下，由图5的设备 的眼动追踪子系统导出的追踪图像的示意图。
图23是根据提供有专用的光导光学元件来对视网膜图 像进行采样的又一优选实施方式的图5的设备的光学架构的 侧视图。
【具体实施方式】
本发明的实施例提供了一种用于基于经由光导光学元件 的视网膜成像来追踪人眼的注视方向的设备和对应的方法， 其尤其适用于集成为近眼显示器的一部分。
参照附图和所附描述，可以更好地理解根据本发明的眼 动追踪设备的原理和操作。
现在参照附图，图5至图23图示了根据本发明的各种实 施例构建并且可操作用于导出人眼150的注视方向的设备 (通常标为100)的结构和操作的各个方面。
笼统地说，在许多应用中，特别是在抬头显示器或者近 眼显示器的上下文中，提供用于确定用户的注视方向的眼动 追踪布置是有用的。用于执行眼动追踪的一种常用方法是对 眼睛的图像进行采样，通常用于确定图像内的瞳孔位置，从 而导出眼睛的定向。采用按照与图1或者图3的原理类似的 原理工作的光导光学元件来对图像进行采样以便进行眼动追 踪将是特别有利的。然而，上面参照图1和图3描述的从输 入图像到输出图像的一对多关系在对相反方向上的光进行采 样时引起逆向的多对一关系。具体地，在相反的方向上使用 图1或者图3的孔径倍增布置对图像进行采样将对从系统的 视场的不同部分入射在基板上的多条平行光线执行叠加。沿 着与标记为48A的多条路径的相反方向对应的路径到达的光 将全部被沿着光线18A的反向路径组合成输出光线，并且类 似地，沿着光线48B的反向路径的多条入射光线将被组合成 光线18B的反向路径。此外，如果使用会聚光学器件将通过 光导光学元件捕获到的光集中到成像感测器上，则从整个视 场沿着平行光线路径入射在基板上的所有捕获到的光都将被 组合以落在单个画素感测器上。由于来自角膜、巩膜、眼睑 和面部组织的表面的光通常全方位地散射光(朗伯反射)，因 此，在视场中的所有表面通常将对图像的所有画素产生一些 辐射。由于这些原因，试图通过入射在光导光学元件上的光 来分辨图像通常将不被视为是可行的。
如现在将描述的，本发明提供了一种设备和方法，尽管 存在上述挑战，但是已经发现所述设备和方法对于通过由光 导光学元件捕获到的光来确定眼睛注视方向是有效的。具体 地，本发明的某些特别优选的实施例提供了一种用于导出人 眼150的注视方向的设备100，所述设备100包括：光导光 学元件(light-guide optical element,LOE)120，所述光导光 学元件(LOE)120由透明材料形成并且具有用于通过内反 射来导光的一对平行面104a、104b。LOE 102部署有面向眼 睛150的平行面104a中的一个平行面104a。耦入配置，诸 如，一组部分反射表面145，与LOE 120相关联并且配置用 于将入射在面104a上的光的一部分耦入到耦入区域内以在 LOE内传播。聚焦光学器件106直接或者间接地与LOE 120相关联以接收在LOE 120内传播的捕获到的光并且将在LOE 内传播的多组平行光线转换为捕获到的光的会聚束。聚焦光 学器件106优选是集成在部署用于感测捕获到的光的光学感测器或者“摄像机”125中。处理系统108包括至少一个处理 器，处理系统108与光学感测器125电关联并且被配置用于 处理来自光学感测器125的信号以导出眼睛的当前注视方 向。
耦入配置可以是使入射辐射的一部分转向通过LOE内 的内反射传播的角度的任何耦入布置，并且其中，每条光线 具有指示对应入射光线的入射方向的方向。合适的耦入配置 包括如图所示的一组部分反射表面145和衍射光学元件。
如上面解释的，在反向(感测器)操作模式中，将多条 间隔隔开的平行入射光线组合成在LOE内传播的单条光线 是LOE的孔径倍增配置的固有特征。然而，对于视网膜成像，平行光线的这种组合不排除图像的衍生。具体地，对于聚焦 于远方场景(或者等效于远方场景的准直投影图像)的眼睛， 目镜以及任何矫正镜片(若存在)生成聚焦在视网膜上的图像。由此可见，目镜(和矫正镜片(若存在))有效地对从视 网膜表面反射的任何光进行校准以形成远场图像，其中，视 网膜图像的每个特征与一束平行光线对应。因此，当平行光 线被LOE采集到、被引导到缩小的孔径中、并且被聚焦光学 器件106朝向光学感测器125聚焦时，视网膜图像被保留下 来。虽然感测到的图像数据包括来自眼睛和周围组织的近场 外表面的大量散射光，但是近场照明在角度空间中大致均匀 分布，从而在采样图像中生成通常平坦的背景噪声。只有由 于视网膜反射图像引起的调制和/或特征才会在图像内产生对比度，从而方便确定观察者的当前注视方向。本发明的这 些和其它特征将通过以下详细描述而变得更清楚。
现在具体参照图6A和图6B，示出了本发明的设备100 的一种非限制性示例实施方式，在所述实施方式中，通过采 用光学孔径倍增的近眼显示布置来执行追踪。如图所示的配 置基于两个光导光学元件的组合：第一LOE 110，所述第一 LOE 110在第一维度上扩展投影仪图像孔径(如在图6B中示 出的从右到左)；以及第二LOE 120，所述第二LOE 120在第二维度上扩展图像孔径(如此处图示的从上到下)。图像投 影仪102通过偏振选择性分束器(PBS)105将光(如实线箭 头描绘的)投射到LOE 110中。在此处说明的一组特别优选 但非限制性的实施方式中，LOE 110是“2D波导”，这意味着 其具有两对相互正交的表面，所述两对相互正交的表面用于 在图像沿着LOE 110传播时在两个维度上引导图像。LOE 120是“1D波导”，这意味着其具有限定在一个维度上引导图 像的“平板型波导”的一对平行主表面。在如在图7A和图7B 中图示的替代实施例中，可以仅通过使用一个波导LOE 120 来实施设备100。如此处说明的后一种情况采用倾斜的投影 仪耦入配置。这种波导配置和耦入配置在近眼显示器(不进 行眼动追踪)的上下文中的进一步细节可以在各种文献中找 到，包括WO 2015/162611 A1和PCT专利申请第 PCT/IL2017/051028号(所述申请在本申请的提交日期之前 未公开，并且不构成现有技术)，其通过引用的方式全部并入 本文，犹如本文对其进行了全面阐述。本文说明的示例性实 施例主要是指图6A和图6B的双波导实施方式，所述实施方 式是更复杂的实施方式，而对于本领域的普通技术人员而言， 实施单波导实施方式的更简单的结构所需的修改将是不言自 明的。
此处将图像从LOE 110耦出到LOE 120中示出为由相对 于LOE 110的一对或者两对平行表面倾斜部署的一系列内部 部分反射表面(或者“小平面(facet)”)140来执行。如在图 6A和图7A的侧视图中很好地看到的，通过使用以与所述基 板的平行面成倾斜角度部署的第二组内部部分反射表面(“小 平面”)145来实现从第二LOE 120朝着观察者的眼睛耦出。 如本领域已知的，可以用衍射光学元件来代替在LOE中的一 个或者两个中的小平面。眼透镜115(如果需要进行视力矫 正，则借助镜片117)对投影的图像的耦出光进行聚焦以在 视网膜120上生产聚焦图像。
根据本发明的示例实施方式，近眼显示系统通过存在于 观察者的视网膜上的成像图案来获取观察者的眼睛的视线。 经由波导120和110来执行观察，在这种情况下，所述波导 120和110是用于将图像投影到观察者的眼睛的相同的波导。 图案及其运动的位置指示眼睛的当前视线和运动。在图13 中呈现的视网膜的图像中示出了这种图案。血管152生成可 以通过由处理系统108执行的合适的图像处理指令实施的适 当标准或者专用追踪算法来追踪的图案。中央窝155确定观 察方向，并且视神经盘(或者“盲点”)157是神经和血管会 聚的特征性可追踪点。
一些光通过透镜115从视网膜反射回来(如虚线箭头描 绘的)，有效地将这些光校准为平行光束，并且沿着由来自投 影仪的光所采取的相同光路传播回来。光的大部分丢失(如 下面进一步讨论的)，但是为了清楚地呈现，仅示出了对追踪 有用的部分。小平面145使反射光的一部分转向以耦入到波 导120，在小平面140处使反射光的一部分转向以耦入到波 导110，并且PBS 105将一些反射光反射到摄像机125上。 在一些实施方式中，将偏振扰偏器(未示出)放置在PBS 105 的前方。与投影仪102类似，将摄像机125聚焦到无限距，从而在摄像机中生成视网膜的图像。
在图8中示意性地描绘了在成像过程中可能起作用的各 种照明源。波导120面向观察者1001的眼睛部署，这意味着 观察者对场景的观察穿过波导。外部光源1002(虚线箭头) 照亮波导和观察者。所述外部光是连续的，并且作为背景辐 射进入光学系统。由光学系统生成的光(实线箭头)照亮视 网膜121和观察者的脸部。来自视网膜的反射(点划线箭头) 是感兴趣的信号，而来自非视网膜组织表面的反射(双点划 线箭头)是与系统的照明模式紧密相关的附加背景辐射。系 统内的任何内部散射都具有与从观察者的脸部散射的光相同 的特点。
所有的背景照明都会引起降低视网膜图像质量的噪声。 为了减少外部照明源1002的影响，根据本发明的一个方面， 使用较短的光脉冲(优选是低于1ms)，并且使摄像机同步 以仅在所述短照明持续时间期间对光进行整合。按照这种方 式，大大地抑制了连续背景照明。此外，或者可替代地，可 以将通带滤光片部署为阻挡在生成有眼动追踪照明的给定波 长范围之外的波长的光到达光学感测器。
之后是估计由照明反射(图8中的双点划线箭头)引起 的背景光以导出进行眼睛检测所需的光量。除了如权利要求 中明确叙述的之外，这种估计以及对本文提出的操作原理和 计算值的所有其它讨论的提出仅仅是为了提供对本发明的更 全面的理解，而不以任何方式限制本发明。具体地，在后来 可能发现此处提出的任何具体计算或者值不准确或者错误的 情况下，这种事实不会否定如本文描述的本发明的效用。
正常的背景表面将光反射到pi球面度(假设所述表面是 生成接近朗伯反射的反射光分布的低光泽表面)，而瞳孔生成 与经常在闪光摄像中观察到的“红眼”效应对应的方向反射， 从而将从光学系统接收到的光反射回光学系统中。因此，从 视网膜接收到的光的强度比等效的背景表面强。此外，来自 视网膜的图像聚焦在摄像机125的图像平面处，而来自附近 的“背景”表面的照明则不是聚焦在摄像机125的图像平面 处。这提高了将视网膜的图像与从背景导出的图像内容区分 开来的能力。
图9A和图9B描绘了从眼睛到追踪摄像机125并且用于 背景照明的返回路径的光能损失。
在明亮的光线下人眼的瞳孔大约为4mm2，而眼框(图 像可见的区域，与由系统照亮并且生成背景反射的区域对应) 可以是大约400mm2。假设对于信号和背景两者，照明量和 散射系数大致相同，则反射的背景与信号的比率是 R＝2×100＝200(假设在眼框内的外部组织的反射率可以是视 网膜组织的反射率的大致两倍)。下面的等式示出了假设散粒噪声有限的摄像机的预定义SNR的所需信号：
背景＝信号×R
Figure BDA0003593138640000201
Figure BDA0003593138640000202
信号＝SNR2×R
因此，对于为5的所需SNR，所需的光子数量为：
信号＝SNR2×R＝52×200＝5000[光电子/帧/特征]，
其中，‘特征’可以是要利用定义的SNR来检测的画素或 者图案。
在所述计算中，假设没有其它背景光进入系统。因此， 根据本发明，波导边缘(图1中的126)优选是具有吸收性 的或者在吸收外壳内。这确保了背景辐射在其在光波导中传播时按照与来自视网膜的信号相同的方式丢失能量，并且不 获得能量。
在一个非限制性示例中，沿着光学系统的能量透射率可 以近似如下：
·20％经由其中一个小平面145耦合到波导120中，
·50％沿着波导120透射(透射过附加小平面145等)，
·20％经由小平面140耦合到较上方的波导110(若存 在)中，
·50％沿着波导110透射，
·50％耦合到摄像机125中，诸如，经由PBS 105，
·摄像机125的50％光透射和量子效率。
所有上述结果估计为2.5e-3透射率。其它降解因子(诸 如，调制传递函数(MTF)和内部散射)可以近似为10的另 一因子，得到2.5e-4透射率。
在波导110不存在的实施例中，透射率较高，并且通过 使用上述估计，透射率大约为2.5e-3。
由此可见，在每个帧的积分时间期间，眼睛应该接收大 约5000/2.5e-4＝2e7个光子。对于3e-19J(红色)的光子能量， 在1ms的积分时间内大约为6e-12[J/积分时间/特征]或者 6[nW/特征]这是实际照明强度。
如在下面进一步讨论的本发明的某些实施方式中提出 的，如果只照亮了视网膜的选定部分(以及到达眼眶的其它 区域的射线的对应选定方向)，则显着减少背景散射。
应该注意确保眼动追踪照明不会中断观察者对投影的虚 拟图像的感知。可以使用若干方法来避免中断显示的图像， 包括以下中的一种或者多种：
·采用低强度；
·将追踪照明组合为投影的图像的一部分；
·针对视网膜的不敏感或者不相关区域进行选择性追 踪照明；
·选择追踪照明波长以与眼睛不敏感但是光学器件可 以透射并且摄像机可以检测的波长一起工作。
现在将单独地提出这些方法中的每一种方法：
低强度：根据所述方法，优选使用高灵敏并且具有低内 部噪声的摄像机，从而即使在低照明强度下也能够以良好的 SNR有效地对视网膜成像。这允许使用足够低强度的追踪照 明，使得观察者不会注意到所述照明。强度应该仍然满足上 面概述的SNR计算。
组合照明：可以将眼动追踪照明合并为投影的图像的一 部分。照明可以发生在图像投影期间或者在如在图10中描绘 的单独的时隙中。在所述示例中，在时隙“a”期间，图像投影 仪对具有缺失或者抑制区域的图像进行投影。所述照明可以 是相对较长的持续时间，例如，大约10ms。在时隙“b”期间， 除了完成图像投影之外，按照比较长脉冲更高的强度，照亮 补充图像作为短脉冲，例如，大约1ms的持续时间，并且用 作眼动追踪照明。右侧的图像表示整合了两个照明时段的大 脑所感知的内容。补充图像可以是任何一种分色或者显示颜 色的组合，并且位于任何选择的位置或者图像内的位置。下 面描述了这种照明的“模式控制”的一个优选示例。
应该注意，图10的表示涉及投影仪的图像平面和形成在 视网膜上的图像。在波导内并且在眼框内离开波导的光中， 每个画素与具有特定角度方向的宽准直束对应。对如在图10 中示意性地图示的选择性模式(时隙“b”)的使用与在视场内 的少量选择的角度方向上的照明对应。
照明模式控制：具体地，在图像生成器102(在图6B或 者图7B中)用于生成眼动追踪照明的情况下，可以方便地 控制视网膜上的照明模式，从而仅照亮感兴趣的区域并且减少对感知到的图像的中断。为此，应该将照明的时间顺序与 图像投影定时相结合。在图11中描绘了这种实施方式的时间 管理的示例。在某些实施方式中，按顺序启动一组光源以生成所有颜色。当每个光源亮起时，调制矩阵(LCOS、LCD 或者MEMS)生成这种颜色的所需图像。如观察者的视网膜 上的细胞感知到的，将单独的源组合成快速序列以及对每个 画素的调制生成了图像中的每个画素所需的颜色。根据本发 明的某些实施方式，将附加时隙引入到照明序列中(标记为 ‘眼动追踪器脉冲’)。在所述时隙中，启动源(颜色)中的一 个或者源的组合、和/或专用眼动追踪波长源(下面会讨论) 作为短脉冲，并且其照明模式由调制器确定以便只照亮视网 膜的所需部分。处理系统108致动眼动追踪摄像机125仅在 所述脉冲时间期间对光电子进行整合。
所述选择的照明模式显着降低了背景噪声，这是因为要 追踪的视网膜的选定区域被完全照亮，但是，根据图像中“活 跃的”画素的比例，减少分散输送至眼框区域的总辐射量。
照明模式可以仅集中在视网膜上的特定兴趣点处，例如， 在具有特征性血管图案但是对光的敏感度最小的视神经盘 (图13中的“盲点”157)处。计算观察者的实际视线，作为 与所述点的角度偏移。在图12中描绘了导出并且追踪实际视 线的非限制性但特别优选的过程。前三个步骤是映射视网膜 图案和确定追踪特征的初始设置过程，而后续步骤表示连续 追踪过程。具体地，在步骤210中，向观察者显示图像标记 以供观察者在初始化期间查看。当观察者看着标记时，眼底 (视网膜的可见光部分)被短脉冲完全照亮(步骤212)并且获得眼底的完整图像。然后由处理系统108处理所述图像 以识别可追踪特征，通常包括视神经盘和中央窝(步骤214)。 对眼睛方向的持续追踪然后如下进行。通常，通过上面参照图10和图11描述的照明顺序来选择性地照亮所选择的感兴 趣的区域(ROI)(步骤216)，并且在对应的照明脉冲期间对 图像进行采样(步骤218)。处理所产生的图像以确定当前视线(步骤222)，并且使用所述导出的视线来更新感兴趣的区 域的位置(步骤224)以便随后循环照明周期，并且追踪过 程返回至步骤216。假设与眼睛的运动速度相比较，追踪测 量的频率较高，则所述更新过程通常对维持连续追踪有效， 可选地，与来自另一只眼睛的追踪信息相结合。随着视线的 方向改变，照明区域也改变。可以根据如通过最后的采样图 像确定的“当前”注视方向来执行对感兴趣的区域的更新，或 者在某些情况下，可以基于在前两次或者更多次测量之间的 眼睛运动来使用预测性外插。在追踪失败的情况下，可以暂时增加被照亮区域的大小，直到恢复可追踪特征。
根据本发明的某些特别优选的实施方式，复制眼动追踪 布置以便同时追踪对象的两只眼睛。通过组合来自两个眼动 追踪器的数据，或许可以实现增强的追踪稳定性和连续性。 例如，当眼睛正在移动时，视神经盘157在一只眼睛中可以 对追踪器可见，而在另一只眼睛中不可见。如果使用了采用 追踪盲点的追踪算法，则对两只眼睛的同时追踪允许在只有 一个眼动追踪器可以追踪盲点的周期内连续维持追踪。
波长选择：参照图14至图16，光谱灵敏度也可以用于 在进行眼动追踪照明期间最小化对眼睛的刺激。如在图14 中图示的，视杆细胞主要负责周边视觉并且不存在于中央窝中。如在图16中通过曲线‘R’示出的，视杆细胞对红色(620 纳米以上)相对不敏感。存在于周边区域中的数量减少的视 锥对低光级的敏感度比视杆小得多。因此，根据本发明的某些实施方式，优选的是，用红光来照亮周边视网膜(即，除 了中央窝之外)以便进行眼动追踪。
从图15中的曲线可知，来自视网膜的反射在红外光中比 在可见光波长处高得多。在700nm处，反射几乎是在可见 红光中的反射的两倍。因此，采用在可见-红外光的边缘处的 波长(在650nm与750nm之间，并且最优选地，在680nm 与720nm之间)可能是有利的，这是因为减少了在光学系 统内的散射，并且波导的光学涂层具有与可见光中几乎相同 的反射率，而眼睛对这些波长不敏感。
较长波长(例如，900nm)具有比可见光范围中高达6 倍的反射率，并且可以根据本发明来使用。然而，这需要优 化光学涂层以确保各种表面的所需反射率也适合于眼动追踪器波长。
在红外光照明使用眼动追踪器的情况下，存在用于提供 红外光照明的各种选项。在使用接近可见光波长的近红外光 波长的情况下，可以在常规的可见光图像投影布置中将红外 光照明组合为第四种“颜色”，例如，通过使用LCOS调制器。 如果红外光的较长波长需要模式化照明，则数字光处理 (DPL)装置通常是优选的。对于非模式化照明，通常独立于图像投影仪提供专用照明源。图17A至图20图示了根据 本发明的将IR照明并入光学系统的设备的某些实施选项。
首先参照图17A和图17B，涉及通过将近红外光源集成 到可见光图像投影仪布置中作为额外的“颜色”来输送近红外 光照明的实施方式。未示出投影仪的细节，但是对于本领域 的普通技术人员而言，投影仪的细节将是不言自明的。在这 种情况下，将眼睛检测摄像机放置位与上波导110相邻，从 而使得不需要图6B的PBS 105。所述配置基于LOE 110中的内部小平面140向上耦合从左到右传播的光的事实。在所 述配置中，可以引入偏振器126，以最小化散射的穿透。
图18A和图18B图示了又一配置，在所述配置中，具有 与图像投影仪102(可以是IR或者VIS，以下称为IR)的输 出不同的波长的光源302通过分束器304(所述分束器304 可以是，例如，50/50分束器或者PBS)来将光透射到波导 110中。第一小平面306设计为透射来自图像投影仪102的 全部或者大部分可见光，但却反射眼动追踪器的IR光。IR 照明光如在图6A和图6B中描述的那样传播到眼睛并且返 回。然后被306反射到分束器304并且被传递至成像摄像机 125。
在18C图中，返回的光(虚线箭头)通过波导110的透 射被直接反射到成像摄像机125，而不被所述波导反射和引 导。这可能需要更宽的接收光学器件(与在诸如图7A和图7B中的单个波导投影布置中使用的布置类似)和/或可以具 有比投影仪小的接收眼框。如下面参照图21A至图21C进一 步讨论的，更小的眼框通常是可接受的，因为(与图像投影 仪不同)来自眼睛的反射可以处于离轴角度。照明可以来自 图像投影仪或者来自如图所示的专用照明器302。
图19示意性地示出了用于引入IR照明以及可见光 (VIS)图像投影的投影系统102的可能实施方式的进一步 细节。来自VIS LED 400的光穿过光管402(用于增强均匀 性的可选特征)，穿过照明光学器件404，穿过分束器406并 且照到LCOS 408上。如果LCOS对于每个画素已经嵌入了 滤色片，则系统中不存在光管，并且照明是由白色的VIS LED 产生的。通过二向色分光镜412来引入用于眼动追踪的IR LED 410。IR LED按顺序亮起或者与VISLED同时亮起。
图20图示了与在图6B中示出的配置对应的又一选项。 在这种情况下，102是图像投影光学器件(未详细示出)，并 且105是分束器。然而，在这种情况下，105优选是透射来自投影仪的可见光，但却将IR光反射到眼动追踪系统和从眼 动追踪系统反射IR光的二向色分束器。显然，具有相反特性 的二向色分束器可以用于构建在透射方向上具有IR追踪系统的等效配置。
用于眼动追踪系统的IR照明由IR LED 500生成，光穿 过分束器502(所述分束器502可以是50/50分束器或者PBS) 照射到二向色分束器105上并且反射到波导(与分束器105 相邻但是在所述附图中未示出)上。反射光(虚线箭头)沿 着反向路径并且穿过分束器502照射到IR摄像机125上。
虽然到目前为止是在追踪视网膜的详细特征的实施方式 中进行描述，但是本发明的某些实施方式采用替代追踪技术。 如在图21B和图21C中图示的，来自视网膜的反射通常包括 镜面反射分量和漫射。图21中的眼睛200的简化模型示出了 垂直照射在视网膜201的中心上的轴上光线。强镜面反射202 通过入射瞳孔反射，因此，所述反射从外部被强烈地检测到。 然而，当光以离轴角204照射到视网膜上时，镜面反射206 不离开瞳孔，并且只有被除去的反射才离开瞳孔(标记为虚 线箭头)。这是从外部会检测到的弱得多的信号。
图21B的曲线示意性地示出了组合式反射强度。镜面反 射分量(表征为可变振幅A)是角度相关的(此处描述为瞳 孔位置)，而漫反射大致是恒定的(表征为振幅B)。图21C和图21D的曲线示出了反射的分量的实验测量和波长依赖 性。根据这些实验，反射的半高全宽(FWHM)大约是2mm 的瞳孔移位，与大致～10°对应。检测的实际分辨率可以近似 为：
Dθ≈FWHM/SNR
由于SNR可以在10至100的范围内，因此，眼睛定向 分辨率可以是1°至0.1°。已知用于进行精确定位检测的信号 处理，并且在应用光学49卷，期号17，第3330至3337页(2010)，Y.Danziger的论文“Sampling-balanced imaging system using whiteningmatching filter”中描述了示例。
因此，应该理解，本发明的从眼睛返回到波导中的反射 的强度的包络将受到角度限制。本发明的某些实施方式使用 所述特点来确定眼睛的定向(独立于模式检测)。
根据本发明的这个方面，优选地照亮整个视场，而只有 一部分被眼睛反射。图22示意性地描绘了反射场，在所述反 射场中，圆圈表示视网膜的强镜面反射，而周围则被较弱地 反射。因此，视网膜图案在所述圆圈内将是非常明显的，在 外面则不那么明显(如虚线描绘的)。根据本发明，眼睛的定 向将被视为图案和高反射的“包络”的移动。
与先前讨论的通常需要大量感测器矩阵的模式检测不 同，此处描述的这种包络检测需要的分辨率低得多，并且可 以通过使用四象限或者“正交”检测器或者小于104个画素并 且通常不多于50×50个画素的低画素计数检测器(诸如，在 光学计算机鼠标中是常见的)来执行。对于这组实施方式， 在一些情况下，将光学感测器125部署成稍微偏离聚焦光学 器件106的焦平面以使图像稍微散焦可能是有利的，由此减 少了或者避免了与画素化有关的效应。感测器元件的数量减 少允许使用高速图形处理，这又有助于追踪过程的响应速度。
虽然到目前为止描述的示例已经将眼动追踪照明和成像 组合了在单个波导中，但是应该注意，在一些情况下，将这 两种功能分离在两个分开的波导之间可能是有利的。具体地， 在某些情况下，存在以下风险：在眼动追踪器照明到达眼睛 之前，眼动追踪器照明的内部散射可能会导致足够的后向散 射辐射而使接收摄像机饱和。避免这个问题的一种方法是最 小化发射波导中的照明的后向散射，诸如，通过在波导的表 面上引入平滑涂层或者玻璃层。在图23中示意性地图示了替 代方法，其中，发射和接收功能被细分在两个波导之间。
具体地，在图23的示例性实施例中，增强型近眼显示器 250可以是输送图像、照亮眼睛的任何类型的显示器。在所 述侧视图中，示出了采用2D波导和1D波导的组合，全部都基于部分反射小平面，但是上面提到的所有附加选项也适用 于此。在所述图中，点划线箭头表示可能使组合的发射机/ 接收器波导饱和的一个散射点(可以有很多)。
依照惯例，照明可以利用可见光照明或者通过IR波长提 供。在此处说明的实施方式中，通过与照明光导元件不同的 平行波导255(在侧视图中示出)采集来自眼睛的反射光。 在这种情况下，如上面描述的，两个光导光学元件都由透明 材料形成，并且具有一对平行面，所述一对平行面用于通过 内反射来导光，并且这两个光导光学元件面向观察者的眼睛 重叠部署。反射光(如虚箭头描绘的)穿过照明波导250(无 论如何都实施为大部分是透明的，以允许观察者看到真实世 界)并且进入接收器波导255。所述波导也大部分是透明的， 但是还包括用于将辐射的一部分耦合到波导中的耦合机构 (小平面或者衍射机构)。反射图像在所述波导255内传播并 且由接收器采集，其方式与先前针对组合式系统描述的方式 大致相同。
简要地参考回图5，根据此处图示的具体非限制性实施 方式，虽然诸如头盔安装等其它形状因子也明显地落入本发 明的范围内，但是以具有用于接合观察者的耳朵的侧臂600 的眼镜形状因子来实施设备100。如本领域已知的，可以通 过使用任何合适类型的处理硬件和/或软件来实施处理系统 108，包括但不限于：各种专用图形处理器、显示驱动器、和 在任何合适的操作系统下工作并且实施合适的软件或者固件 模块的通用处理器的任何组合。处理系统108通常还包括各 种易失性数据存储装置和用于允许与LAN和/或WAN装置进 行有线或者无线通信以便双向传递信息和图形内容的各种通 信组件。通过合适的电源来对所述设备供电，所述合适的电 源可以是电池和/或提供的外部电源的任何组合，此处示意性 地图示为经由电缆604连接的电源602。在使用电池电源的 情况下，可以将电池集成为眼镜或者头盔安装结构的一部分。
要注意，本发明的眼动追踪从根本上确定了眼睛的角度 定向(即，注视方向或者“视线”)，但是在大多数实施例中， 对眼睛相对于设备的空间位置基本上不敏感，只要眼睛保持 在LOE覆盖范围的有效眼框内即可。同样，所述设备对于眼 镜型或者其它头戴式装置和/或其它可穿戴装置显示出绝佳 的优点，对于这类设备，在使用期间确保系统与头部、和/ 或与系统可以相对于眼睛稍微移动的地方精确且可重复的对 准并非总是可行的。
如上面提到的，虽然此处图示为眼镜结构的一侧的部分 视图，但是整个装置可以提供单眼或者双眼图像投影和追踪， 其中，双眼对于图像投影和追踪都是特别优选的。在设备是 双眼设备的情况下，如上面讨论的，这两个追踪系统可以可 选地共享各种处理和电源组件，并且优选地将追踪信息融合 在一起以提供增强的追踪稳定性和连续性。
就所附权利要求已经被起草而不具有多重依附而言，这 只是为了适应不允许这种多重依附的管辖权的形式要求。应 该注意，明确地设想了将通过呈现权利要求来暗示的特征的 所有可能组合并且应该将其视为本发明的一部分。
要了解，以上描述仅旨在用作示例，并且在所附权利要 求中限定的本发明的范围内，许多其它实施例都是可能的。

Claims (41)

1.一种用于导出人的眼睛的注视方向的设备，其特征在于，所述设备包含：
(a)一光导光学元件，所述光导光学元件由透明材料形成并且具有用于通过内反射来导光的一对平行面；
(b)一耦入配置，所述耦入配置与所述光导光学元件相关联，所述耦入配置包括在所述光导光学元件内倾斜地部署到多个平行面的多个相互平行的平面部分反射表面，以将入射在平行面中的一个平行面上的光的一部分耦入到一耦入区域内，以在所述光导光学元件内以一第一方向传播；
(c)一光学转向布置，部署成重定向在所述第一方向上传播的光的一部分，以便在所述光导光学元件内沿不平行于所述第一方向的一第二方向传播；
(d)聚焦光学器件，所述聚焦光学器件与所述光导光学元件相关联并且配置用于将在所述光导光学元件内沿所述第二方向传播的多组平行光线转换为向一焦平面会聚的捕获到的光的会聚束；
(e)一光学感测器，部署用于在所述焦平面上感测由所述捕获到的光形成的一图像；以及
(f)一处理系统，所述处理系统包括至少一个处理器，所述处理系统与所述光学感测器电关联并且被配置用于处理来自所述光学感测器的信号以导出所述眼睛的当前注视方向；
使得当所述多个平行面中的一个平行面朝向眼睛部署时，而眼睛正在观看一远方场景时，从眼睛的视网膜反射并由眼睛的透镜准直的光通过多个部分反射表面的至少两个部分反射表面耦合到所述光导光学元件，以在所述光导光学元件内传播到所述聚焦光学器件，并由所述聚焦光学器件聚焦，以用于所述光学感测器检测。
2.一种用于导出人的眼睛的注视方向的设备，其特征在于，所述设备包含：
(a)一光导光学元件，所述光导光学元件由透明材料形成并且具有用于通过内反射来导光的一对平行面；
(b)一耦入配置，所述耦入配置与所述光导光学元件相关联，所述耦入配置包括在所述光导光学元件内倾斜地部署到平行面的多个相互平行的平面部分反射表面，以将入射在平行面中的一个平行面上的光的一部分耦入到一耦入区域内，以在所述光导光学元件内传播；
(c)聚焦光学器件，所述聚焦光学器件与所述光导光学元件相关联并且配置用于将在所述光导光学元件内传播的多组平行光线转换为向一焦平面会聚的捕获到的光的会聚束；
(d)一光学感测器，部署用于在所述焦平面上感测由所述捕获到的光形成的一图像；以及
(e)一处理系统，所述处理系统包括至少一个处理器，所述处理系统与所述光学感测器电关联并且被配置用于处理来自所述光学感测器的信号，以在减去散焦背景照明的同时恢复眼睛视网膜图像的聚焦分量，并从视网膜图像中导出眼睛的当前注视方向，
使得当所述多个平行面中的一个平行面朝向眼睛部署时，而眼睛正在观看一远方场景时，从眼睛的视网膜反射并由眼睛的透镜准直的光通过多个部分反射表面的至少两个部分反射表面耦合到所述光导光学元件，以在所述光导光学元件内传播到所述聚焦光学器件，并由所述聚焦光学器件聚焦，以用于所述光学感测器检测。
3.一种用于导出人的眼睛的注视方向的设备，其特征在于，所述设备包含：
(a)一光导光学元件，所述光导光学元件由透明材料形成并且具有用于通过内反射来导光的一对平行面；
(b)一耦入配置，所述耦入配置与所述光导光学元件相关联，所述耦入配置包括在所述光导光学元件内倾斜地部署到平行面的多个相互平行的平面部分反射表面，以将入射在平行面中的一个平行面上的光的一部分耦入到一耦入区域内，以在所述光导光学元件内传播；
(c)聚焦光学器件，所述聚焦光学器件与所述光导光学元件相关联并且配置用于将在所述光导光学元件内传播的多组平行光线转换为向一焦平面会聚的捕获到的光的会聚束；
(d)一光学感测器，部署用于在所述焦平面上感测由所述捕获到的光形成的一图像；
(e)一处理系统，所述处理系统包括至少一个处理器，所述处理系统与所述光学感测器电关联并且被配置用于导出所述眼睛的当前注视方向；
(f)一照明布置；以及
(g)一照明光导元件，所述照明光导元件由透明材料形成并且具有用于通过内反射来导光的一对平行面，所述照明光导元件与所述光导光学元件重叠部署，其中，所述照明布置配置为将照明引入到所述照明光导元件中，从而使得所述照明通过在所述对平行表面处反射而在所述照明光导元件内传播并且通过与所述照明光导元件相关联的耦出配置朝着所述眼睛耦出，
使得当所述多个平行面中的一个平行面朝向眼睛部署时，而眼睛正在观看一远方场景时，从眼睛的视网膜反射并由眼睛的透镜准直的光通过多个部分反射表面的至少两个部分反射表面耦合到所述光导光学元件，以在所述光导光学元件内传播到所述聚焦光学器件，并由所述聚焦光学器件聚焦，以用于所述光学感测器检测。
4.如权利要求1所述的设备，其特征在于，所述光学感测器包括四象限感测器。
5.如权利要求1所述的设备，其特征在于，所述所述光学感测器包括画素感测元件的阵列，以及其中，所述处理系统处理来自不超过104个画素感测元件的输出。
6.如权利要求1所述的设备，其特征在于，所述设备进一步包括一照明布置，所述照明布置部署为从所述耦入区域的方向照亮所述眼睛。
7.如权利要求6所述的设备，其特征在于，所述照明布置配置为将照明引入到所述光导光学元件中，从而使得所述照明通过在所述对平行表面处反射而在所述光导光学元件内传播并且通过所述耦入配置朝着所述眼睛耦出。
8.如权利要求6所述的设备，其特征在于，所述设备进一步包括一照明光导元件，所述照明光导元件由透明材料形成并且具有用于通过内反射来导光的一对平行面，所述照明光导元件与所述光导光学元件重叠部署，其中，所述照明布置配置为将照明引入到所述照明光导元件中，从而使得所述照明通过在所述对平行表面处反射而在所述照明光导元件内传播并且通过与所述照明光导元件相关联的耦出配置朝着所述眼睛耦出。
9.如权利要求6所述的设备，其特征在于，所述照明布置与所述处理系统相关联，所述处理系统致动所述照明布置生成具有一脉冲持续时间的照明脉冲，以及其中，所述处理系统处理从所述光学感测器导出的、与捕获到的在所述脉冲持续时间期间入射的光对应的信号。
10.如权利要求6所述的设备，其特征在于，所述设备通进一步包括一通带滤光片，所述通带滤光片部署为阻挡在给定波长范围之外的波长的光到达所述光学感测器，以及其中，所述照明布置在所述给定波长范围内产生照明。
11.如权利要求10所述的设备，其特征在于，所述给定波长范围处于电磁辐射光谱的不可见区域中。
12.如权利要求6所述的设备，其特征在于，所述照明布置包括多个单独控制的照明画素，以及其中，所述处理系统选择性地致动所述照明画素以选择性地沿着与所述眼睛的视网膜的选定区域对应的方向照亮。
13.如权利要求12所述的设备，其特征在于，在持续追踪所述眼睛注视方向期间，所述视网膜的所述选定区域是包括所述眼睛的视神经盘的区域。
14.如权利要求1所述的设备，其特征在于，所述处理系统配置为处理来自所述光学感测器的信号以导出与来自所述眼睛的视网膜的反射对应的强度分布的中心，从而确定所述眼睛的当前注视方向。
15.如权利要求1所述的设备，其特征在于，所述处理系统配置为处理来自所述光学感测器的信号以检测所述眼睛的视网膜的至少一个突出特征的位置，从而确定所述眼睛的当前注视方向。
16.如权利要求1所述的设备，其特征在于，所述处理系统配置为处理来自所述光学感测器的信号以追踪所述眼睛的视网膜中的血管的图案，从而确定所述眼睛的当前注视方向。
17.如权利要求1所述的设备，其特征在于，所述设备进一步包括一图像投影仪，所述图像投影仪耦合至所述光导光学元件以将准直图像引入到所述光导光学元件中，从而使得所述准直图像经由所述光导光学元件内的内反射而传播并且通过所述耦入配置朝着所述眼睛耦出所述光导光学元件。
18.如权利要求17所述的设备，其特征在于，所述图像投影仪与所述处理系统相关联，以及其中，所述处理系统致动所述图像投影仪生成具有脉冲持续时间的照明脉冲，所述处理系统处理从所述光学感测器导出的、与捕获到的在所述脉冲持续时间期间入射的光对应的信号。
19.如权利要求18所述的设备，其特征在于，所述处理系统生成所述脉冲以与投影的图像的选定子部分对应，并且从而使得所述脉冲有助于对所述投影的图像的感知。
20.如权利要求1所述的设备，其特征在于，所述设备进一步包括支撑配置，所述支撑配置用于相对于人类用户的头部支撑所述设备，从而使得所述光导光学元件面向所述用户的第一只眼睛部署，所述设备进一步包括：
(a)一第二只眼睛光导光学元件，所述第二只眼睛光导光学元件由透明材料形成并且具有用于通过内反射来导光的一对平行面，所述平行面中的一个平行面朝向所述用户的第二只眼睛部署；
(b)一耦入配置，所述耦入配置与所述第二只眼睛光导光学元件相关联并且配置用于将入射在所述平行面中的一个平行面上的光的一部分耦入到耦入区域内以在所述光导光学元件内传播；
(c)聚焦光学器件，所述聚焦光学器件与所述第二只眼睛光导光学元件相关联并且配置用于将在所述光导光学元件内传播的多组平行光线转换为向一焦平面会聚的捕获到的光的会聚束；及
(d)一第二只眼睛光学感测器，其被部署用于感测在所述焦平面处由所述捕获光形成的图像，
其中，所述处理系统进一步与所述第二只眼睛光学感测器电关联并且被配置用于处理来自所述光学感测器中的两个光学感测器的信号以导出所述用户的所述眼睛的当前注视方向。
21.一种用于导出人的眼睛的注视方向的设备，其特征在于，所述设备包含：
一光导光学元件，所述光导光学元件由透明材料形成并且具有用于通过内反射来导光的一对平行面，所述平行面中的一个平行面面向所述眼睛部署；
一耦入配置，所述耦入配置与所述光导光学元件相关联并且配置用于将入射在所述平行面中的一个平行面上的光的一部分耦入到一耦入区域内以在所述光导光学元件内传播；
聚焦光学器件，所述聚焦光学器件与所述光导光学元件相关联并且配置用于将在所述光导光学元件内传播的多组平行光线转换为捕获到的光的会聚束；
一光学感测器，所述光学感测器部署用于感测所述捕获到的光；以及
一处理系统，所述处理系统包括至少一个处理器，所述处理系统与所述光学感测器电关联并且被配置用于处理来自所述光学感测器的信号以导出所述眼睛的当前注视方向；
其中，所述耦入配置被配置为生成在所述光导光学元件内传播的光线，每条光线具有指示对应入射光线的入射方向的方向，以及其中，多条间隔隔开的平行入射光线被组合成在所述光导光学元件内传播的单条光线。
22.如权利要求21所述的设备，其特征在于，所述耦入配置包括在所述光导光学元件内倾斜于所述平行面部署的多个部分反射表面。
23.如权利要求21所述的设备，其特征在于，所述耦入配置包括与所述平行面中的一个平行面相关联的衍射光学元件。
24.如权利要求21所述的设备，其特征在于，所述光学感测器包括四象限感测器。
25.如权利要求21所述的设备，其特征在于，所述光学感测器包括画素感测元件的阵列，以及其中，所述处理系统处理来自不超过104个画素感测元件的输出。
26.如权利要求21所述的设备，其特征在于，所述设备进一步包括一照明布置，所述照明布置部署为从所述耦入区域的方向照亮所述眼睛。
27.如权利要求26所述的设备，其特征在于，所述照明布置配置为将照明引入到所述光导光学元件中，从而使得所述照明通过在所述对平行表面处反射而在所述光导光学元件内传播并且通过所述耦入配置朝着所述眼睛耦出。
28.如权利要求26所述的设备，其特征在于，所述设备进一步包括照明光导元件，所述照明光导元件由透明材料形成并且具有用于通过内反射来导光的一对平行面，所述照明光导元件与所述光导光学元件重叠部署，其中，所述照明布置配置为将照明引入到所述照明光导元件中，从而使得所述照明通过在所述对平行表面处反射而在所述照明光导元件内传播并且通过与所述照明光导元件相关联的耦出配置朝着所述眼睛耦出。
29.如权利要求26所述的设备，其特征在于，所述照明布置与所述处理系统相关联，所述处理系统致动所述照明布置生成具有一脉冲持续时间的照明脉冲，以及其中，所述处理系统处理从所述光学感测器导出的、与捕获到的在所述脉冲持续时间期间入射的光对应的信号。
30.如权利要求26所述的设备，其特征在于，所述设备进一步包括通带滤光片，所述通带滤光片部署为阻挡在给定波长范围之外的波长的光到达所述光学感测器，以及其中，所述照明布置在所述给定波长范围内产生照明。
31.如权利要求30所述的设备，其特征在于，所述给定波长范围处于电磁辐射光谱的不可见区域中。
32.如权利要求26所述的设备，其特征在于，所述照明布置包括多个单独控制的照明画素，以及其中，所述处理系统选择性地致动所述照明画素以选择性地沿着与所述眼睛的视网膜的选定区域对应的方向照亮。
33.如权利要求32所述的设备，其特征在于，在持续追踪所述眼睛注视方向期间，所述视网膜的所述选定区域是包括所述眼睛的视神经盘的区域。
34.如权利要求21所述的设备，其特征在于，所述处理系统配置为处理来自所述光学感测器的信号以导出与来自所述眼睛的视网膜的反射对应的强度分布的中心，从而确定所述眼睛的当前注视方向。
35.如权利要求21所述的设备，其特征在于，所述处理系统配置为处理来自所述光学感测器的信号以检测所述眼睛的视网膜的至少一个突出特征的位置，从而确定所述眼睛的当前注视方向。
36.如权利要求21所述的设备，其特征在于，所述处理系统配置为处理来自所述光学感测器的信号以追踪所述眼睛的视网膜中的血管的图案，从而确定所述眼睛的当前注视方向。
37.如权利要求21所述的设备，其特征在于，所述设备进一步包括图像投影仪，所述图像投影仪耦合至所述光导光学元件以将准直图像引入到所述光导光学元件中，从而使得所述准直图像经由所述光导光学元件内的内反射而传播并且通过所述耦入配置朝着所述眼睛耦出所述光导光学元件。
38.如权利要求37所述的设备，其特征在于，所述图像投影仪与所述处理系统相关联，以及其中，所述处理系统致动所述图像投影仪生成具有脉冲持续时间的照明脉冲，所述处理系统处理从所述光学感测器导出的、与捕获到的在所述脉冲持续时间期间入射的光对应的信号。
39.如权利要求38所述的设备，其特征在于，所述处理系统生成所述脉冲以与投影的图像的选定子部分对应，并且从而使得所述脉冲有助于对所述投影的图像的感知。
40.如权利要求21所述的设备，其特征在于，所述设备进一步包括支撑配置，所述支撑配置用于相对于人类用户的头部支撑所述设备，从而使得所述光导光学元件面向所述用户的第一只眼睛部署，所述设备进一步包括：
第二只眼睛光导光学元件，所述第二只眼睛光导光学元件由透明材料形成并且具有用于通过内反射来导光的一对平行面，所述平行面中的一个平行面朝向所述用户的第二只眼睛部署；
耦入配置，所述耦入配置与所述第二只眼睛光导光学元件相关联并且配置用于将入射在所述平行面中的一个平行面上的光的一部分耦入到耦入区域内以在所述光导光学元件内传播；
聚焦光学器件，所述聚焦光学器件与所述第二只眼睛光导光学元件相关联并且配置用于将在所述光导光学元件内传播的多组平行光线转换为捕获到的光的会聚束；以及
第二只眼睛光学感测器，所述第二只眼睛光学感测器部署用于感测所述捕获到的光，
其中，所述处理系统进一步与所述第二只眼睛光学感测器电关联并且被配置用于处理来自所述光学感测器中的两个光学感测器的信号以导出所述用户的所述眼睛的当前注视方向。
41.一种方法，其特征在于，所述方法包括以下步骤：
提供任一前述权利要求所述的设备；以及
处理来自光学感测器的信号以导出眼睛的当前注视方向。
CN202210384731.5A 2016-12-31 2017-12-31 用于导出人眼睛的注视方向的设备 Active CN115145023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210384731.5A CN115145023B (zh) 2016-12-31 2017-12-31 用于导出人眼睛的注视方向的设备

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662441205P 2016-12-31 2016-12-31
US62/441,205 2016-12-31
PCT/IL2017/051408 WO2018122859A1 (en) 2016-12-31 2017-12-31 Eye tracker based on retinal imaging via light-guide optical element
CN201780011686.6A CN108882845B (zh) 2016-12-31 2017-12-31 基于经由光导光学元件的视网膜成像的眼动追踪器
CN202210384731.5A CN115145023B (zh) 2016-12-31 2017-12-31 用于导出人眼睛的注视方向的设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780011686.6A Division CN108882845B (zh) 2016-12-31 2017-12-31 基于经由光导光学元件的视网膜成像的眼动追踪器

Publications (2)

Publication Number Publication Date
CN115145023A true CN115145023A (zh) 2022-10-04
CN115145023B CN115145023B (zh) 2024-02-09

Family

ID=62707970

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780011686.6A Active CN108882845B (zh) 2016-12-31 2017-12-31 基于经由光导光学元件的视网膜成像的眼动追踪器
CN202210384731.5A Active CN115145023B (zh) 2016-12-31 2017-12-31 用于导出人眼睛的注视方向的设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780011686.6A Active CN108882845B (zh) 2016-12-31 2017-12-31 基于经由光导光学元件的视网膜成像的眼动追踪器

Country Status (8)

Country Link
US (3) US20190056600A1 (zh)
EP (1) EP3397137B1 (zh)
JP (1) JP7274724B2 (zh)
KR (1) KR102296369B1 (zh)
CN (2) CN108882845B (zh)
IL (1) IL260969B (zh)
TW (1) TWI759395B (zh)
WO (1) WO2018122859A1 (zh)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL166799A (en) 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
US10073264B2 (en) 2007-08-03 2018-09-11 Lumus Ltd. Substrate-guide optical device
US10048499B2 (en) 2005-11-08 2018-08-14 Lumus Ltd. Polarizing optical system
IL232197B (en) 2014-04-23 2018-04-30 Lumus Ltd Compact head-up display system
IL235642B (en) 2014-11-11 2021-08-31 Lumus Ltd A compact head-up display system is protected by an element with a super-thin structure
IL237337B (en) 2015-02-19 2020-03-31 Amitai Yaakov A compact head-up display system with a uniform image
KR20230066124A (ko) 2016-10-09 2023-05-12 루머스 리미티드 직사각형 도파관을 사용하는 개구 배율기
CN113031165B (zh) 2016-11-08 2023-06-02 鲁姆斯有限公司 导光装置、其光学组件及其对应的生产方法
WO2018138714A1 (en) 2017-01-28 2018-08-02 Lumus Ltd. Augmented reality imaging system
KR102655450B1 (ko) 2017-02-22 2024-04-05 루머스 리미티드 광 가이드 광학 어셈블리
EP3397997A4 (en) 2017-03-22 2020-02-12 Lumus Ltd. OVERLAP FACETS
IL251645B (en) 2017-04-06 2018-08-30 Lumus Ltd Waveguide and method of production
JP7174929B2 (ja) 2017-07-19 2022-11-18 ルムス エルティーディー． Ｌｏｅを介するｌｃｏｓ照明
JP7303557B2 (ja) 2017-09-29 2023-07-05 ルムス エルティーディー． 拡張現実ディスプレイ
US10627627B2 (en) * 2017-10-02 2020-04-21 Google Llc Eye tracking using light guide with faceted combiner
KR102695589B1 (ko) 2017-10-22 2024-08-14 루머스 리미티드 광학 벤치를 사용하는 헤드 장착형 증강 현실 장치
MX2020005226A (es) 2017-11-21 2020-08-24 Lumus Ltd Dispositivo de expansion de apertura optica para pantallas de vision directa.
CN111417883B (zh) 2017-12-03 2022-06-17 鲁姆斯有限公司 光学设备对准方法
IL275013B (en) 2017-12-03 2022-08-01 Lumus Ltd Method and device for testing an optics device
IL275615B (en) 2018-01-02 2022-08-01 Lumus Ltd Augmented reality representatives with active alignment and matching methods
US10551544B2 (en) 2018-01-21 2020-02-04 Lumus Ltd. Light-guide optical element with multiple-axis internal aperture expansion
IL277715B2 (en) 2018-04-08 2024-02-01 Lumus Ltd Characteristic of optical samples
EP4339656A3 (en) 2018-05-14 2024-06-05 Lumus Ltd. Projector configuration with subdivided optical aperture for near-eye displays, and corresponding optical systems
EP3794397A4 (en) 2018-05-17 2021-07-07 Lumus Ltd. CLOSE-UP DISPLAY WITH OVERLAPPING PROJECTOR ARRANGEMENTS
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
US11526003B2 (en) 2018-05-23 2022-12-13 Lumus Ltd. Optical system including light-guide optical element with partially-reflective internal surfaces
US11163166B1 (en) * 2018-05-23 2021-11-02 Facebook Technologies, Llc Removable frames for head-mounted display systems
US11454590B2 (en) 2018-06-21 2022-09-27 Lumus Ltd. Measurement technique for refractive index inhomogeneity between plates of a lightguide optical element (LOE)
US11415812B2 (en) 2018-06-26 2022-08-16 Lumus Ltd. Compact collimating optical device and system
CN112424670B (zh) 2018-07-16 2023-01-17 鲁姆斯有限公司 采用偏振内反射器的光导光学元件
US11179035B2 (en) * 2018-07-25 2021-11-23 Natus Medical Incorporated Real-time removal of IR LED reflections from an image
KR20210047790A (ko) 2018-08-26 2021-04-30 루머스 리미티드 근안 디스플레이에서의 반사 억제
MX2021002813A (es) 2018-09-09 2021-05-12 Lumus Ltd Sistemas opticos que incluyen elementos opticos de guia de luz con expansion bidimensional.
TW202026685A (zh) 2018-11-08 2020-07-16 以色列商魯姆斯有限公司 具有反射鏡的光導顯示器
JP7402543B2 (ja) 2018-11-08 2023-12-21 ルーマス リミテッド ダイクロイックビームスプリッタカラーコンバイナを有する光学デバイスおよび光学システム
KR20200001026U (ko) 2018-11-11 2020-05-21 루머스 리미티드 인터미디어트 윈도우를 구비한 근거리 디스플레이 장치
CN113260299A (zh) 2019-01-03 2021-08-13 伊梅里斯有限责任公司 用于眼睛追踪的系统和方法
WO2020148574A1 (en) * 2019-01-20 2020-07-23 Lumus Ltd. Optical device testing method and apparatus
KR20240133771A (ko) * 2019-01-24 2024-09-04 루머스 리미티드 2차원 확장이 가능한 도광 광학 소자를 포함하는 광학 시스템
RU2700373C1 (ru) * 2019-02-05 2019-09-16 Самсунг Электроникс Ко., Лтд. Система слежения за поворотом глаза
US11861063B2 (en) 2019-02-05 2024-01-02 Samsung Electronics Co., Ltd. Eye-tracking device and display apparatus including the same
JP7398131B2 (ja) 2019-03-12 2023-12-14 ルムス エルティーディー． 画像プロジェクタ
EP3733139A1 (en) * 2019-05-02 2020-11-04 Gensight Biologics Viewing apparatus and method for projecting a light signal
US12117614B2 (en) 2019-05-06 2024-10-15 Lumus Ltd. Transparent lightguide for viewing a scene and a near-eye display
JP2022537092A (ja) 2019-06-23 2022-08-24 ルーマス リミテッド 中心窩光学補正を用いるディスプレイ
KR20220024410A (ko) * 2019-06-27 2022-03-03 루머스 리미티드 도광 광학 소자를 통한 눈 이미징에 기초한 시선 추적 장치 및 방법
AU2020300121B2 (en) * 2019-07-04 2024-06-13 Lumus Ltd. Image waveguide with symmetric beam multiplication
CN110488335B (zh) * 2019-08-13 2021-11-23 Oppo（重庆）智能科技有限公司 基于可见光通信的导航方法及系统
CN112558751B (zh) * 2019-09-25 2022-07-01 武汉市天蝎科技有限公司 一种智能眼镜基于mems和光波导镜片的视线追踪方法
CN114730086B (zh) 2019-10-23 2024-07-05 鲁姆斯有限公司 采用散光光学器件和像差补偿的显示器
US11657134B2 (en) * 2019-10-30 2023-05-23 Imatrix Holdings Corp. Eye contact detection device
US11667004B2 (en) 2019-11-25 2023-06-06 Lumus Ltd. Method of polishing a surface of a waveguide
IL270991B (en) 2019-11-27 2020-07-30 Lumus Ltd A light guide with an optical element to perform polarization mixing
CA3162579C (en) 2019-12-05 2024-01-30 Lumus Ltd Light-guide optical element employing complementary coated partial reflectors, and light-guide optical element having reduced light scattering
US11523092B2 (en) 2019-12-08 2022-12-06 Lumus Ltd. Optical systems with compact image projector
TWI747117B (zh) * 2019-12-25 2021-11-21 大陸商常州欣盛半導體技術股份有限公司 一種眼球追蹤感測器的線路結構及其加工方法
JP2023509305A (ja) 2019-12-25 2023-03-08 ルムス エルティーディー． 光ガイド光学素子と関連付けられた光学配置を使用して、眼からの光を方向転換することに基づく、アイトラッキングのための光学システムおよび方法
IL294151A (en) * 2019-12-30 2022-08-01 Lumus Ltd Optical systems including light-guiding optical elements with two-dimensional expansion
JP7565623B2 (ja) 2019-12-30 2024-10-11 ルーマス リミテッド 光導波路を用いた検出および測距システム
WO2021171289A1 (en) * 2020-02-24 2021-09-02 Lumus Ltd. Mixed reality combiner
EP4121813A4 (en) * 2020-03-20 2024-01-17 Magic Leap, Inc. SYSTEMS AND METHODS FOR RETINA IMAGING AND TRACKING
KR20210156613A (ko) * 2020-06-18 2021-12-27 삼성전자주식회사 증강 현실 글라스 및 그 동작 방법
DE202021104723U1 (de) 2020-09-11 2021-10-18 Lumus Ltd. An ein optisches Lichtleiterelement gekoppelter Bildprojektor
WO2022117355A1 (en) * 2020-12-04 2022-06-09 Ams International Ag Display device and method for operating a display device
EP4226205A4 (en) * 2020-12-06 2024-07-31 Lumus Ltd OPTICAL SYSTEM INCLUDING SELECTIVE LIGHTING
US20240004189A1 (en) * 2020-12-17 2024-01-04 Lumus Ltd. Optical systems and methods for eye tracking based on eye imaging via collimating element and light-guide optical element
US11536555B2 (en) * 2021-02-03 2022-12-27 Meta Platforms Technologies, Llc Scanning self-mixing interferometry system and sensor
KR20220117548A (ko) * 2021-02-17 2022-08-24 삼성전자주식회사 시선 추적 방법 및 전자 장치
US11928257B2 (en) * 2021-02-17 2024-03-12 Samsung Electronics Co., Ltd. Method and electronic device for tracking eye
EP4237903B1 (en) 2021-03-01 2024-09-04 Lumus Ltd. Optical system with compact coupling from a projector into a waveguide
JP7093591B1 (ja) * 2021-03-24 2022-06-30 株式会社Ｑｄレーザ 画像投影装置
EP4232868A4 (en) * 2021-05-19 2024-04-17 Lumus Ltd. ACTIVE OPTICAL ENGINE
US11741861B1 (en) 2022-02-08 2023-08-29 Lumus Ltd. Optical system including selectively activatable facets
EP4242725A1 (en) * 2022-03-09 2023-09-13 TriLite Technologies GmbH Display device
WO2023224878A1 (en) * 2022-05-16 2023-11-23 Apple Inc. Eye tracking using camera lens-aligned retinal illumination

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1440513A (zh) * 2000-06-05 2003-09-03 鲁姆斯有限公司 基片导引的光束扩展器
US20040085649A1 (en) * 2002-07-17 2004-05-06 C.R.F. Societa Consortile Per Azioni Light guide for display devices of the head-mounted or head-up type
US20060132914A1 (en) * 2003-06-10 2006-06-22 Victor Weiss Method and system for displaying an informative image against a background image
CN101636886A (zh) * 2007-01-18 2010-01-27 埃皮晶体有限公司 基于频率变换的脉冲激光源
US20120032874A1 (en) * 2010-08-09 2012-02-09 Sony Corporation Display apparatus assembly
CN105652447A (zh) * 2016-01-28 2016-06-08 上海理湃光晶技术有限公司 平面波导成像装置和方法
WO2016105281A1 (en) * 2014-12-26 2016-06-30 Koc University Near-to-eye display device
US20160209657A1 (en) * 2013-05-20 2016-07-21 Digilens, Inc. Holographic waveguide eye tracker
CN106164743A (zh) * 2014-03-03 2016-11-23 埃韦视觉有限公司 眼睛投影系统

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4720189A (en) * 1986-01-07 1988-01-19 Northern Telecom Limited Eye-position sensor
US5270748A (en) 1992-01-30 1993-12-14 Mak Technologies, Inc. High-speed eye tracking device and method
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
DE19713138A1 (de) * 1997-03-27 1998-10-01 Zeiss Carl Jena Gmbh Anordnung zur Ermittlung optisch relevanter Daten des Auges
JPH10307314A (ja) * 1997-05-09 1998-11-17 Canon Inc 観察光学装置
US6154321A (en) 1998-01-20 2000-11-28 University Of Washington Virtual retinal display with eye tracking
CA2326767C (en) * 1998-04-02 2009-06-23 Yeda Research And Development Co., Ltd. Holographic optical devices
WO2001027685A2 (en) 1999-10-14 2001-04-19 Stratos Product Development Company Llc Virtual imaging system
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6927694B1 (en) 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
US20070165192A1 (en) 2006-01-13 2007-07-19 Silicon Optix Inc. Reduced field angle projection display system
IL157837A (en) 2003-09-10 2012-12-31 Yaakov Amitai Substrate-guided optical device particularly for three-dimensional displays
US7573640B2 (en) * 2005-04-04 2009-08-11 Mirage Innovations Ltd. Multi-plane optical apparatus
ES2605367T3 (es) 2006-01-26 2017-03-14 Nokia Technologies Oy Dispositivo de seguimiento ocular
FR2903503B1 (fr) 2006-07-06 2009-06-12 Essilor Int Lentille ophtalmique a insert optique integre destine a permettre la projection d'informations
US7850306B2 (en) * 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
WO2010123934A1 (en) 2009-04-20 2010-10-28 The Arizona Board Of Regents On Behalf Of The University Of Arizona Optical see-through free-form head-mounted display
KR20110050929A (ko) * 2009-11-09 2011-05-17 삼성전자주식회사 착용형 디스플레이장치
US20130094712A1 (en) 2010-07-16 2013-04-18 Amir Said Systems and methods for eye tracking using retroreflector-encoded information
US9632315B2 (en) 2010-10-21 2017-04-25 Lockheed Martin Corporation Head-mounted display apparatus employing one or more fresnel lenses
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
CA2822978C (en) 2010-12-24 2019-02-19 Hong Hua An ergonomic head mounted display device and optical system
US8939579B2 (en) * 2011-01-28 2015-01-27 Light Prescriptions Innovators, Llc Autofocusing eyewear, especially for presbyopia correction
WO2012169064A1 (ja) 2011-06-10 2012-12-13 パイオニア株式会社 画像表示装置、画像表示方法及び画像表示プログラム
TW201300834A (zh) * 2011-06-23 2013-01-01 Seereal Technologies Sa 顯示裝置，尤其是頭戴式顯示器或護目鏡
DE112012002688B4 (de) 2011-06-28 2021-08-12 Federal-Mogul Ignition LLC (n. d. Ges. d. Staates Delaware) Zündkerze und Verfahren zur deren Herstellung
TW201302600A (zh) 2011-07-04 2013-01-16 Univ Nat Taiwan Science Tech 矽奈米線陣列之製作方法
US20130021226A1 (en) 2011-07-21 2013-01-24 Jonathan Arnold Bell Wearable display devices
US9170425B1 (en) 2011-08-17 2015-10-27 Lockheed Martin Corporation Multi-focal augmented reality lenses
JP2015504616A (ja) * 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正
US8917453B2 (en) * 2011-12-23 2014-12-23 Microsoft Corporation Reflective array waveguide
EP3270194B1 (en) * 2012-01-24 2020-10-14 The Arizona Board of Regents on behalf of The University of Arizona Compact eye-tracked head-mounted display
US9297996B2 (en) 2012-02-15 2016-03-29 Microsoft Technology Licensing, Llc Laser illumination scanning
WO2013145147A1 (ja) 2012-03-28 2013-10-03 パイオニア株式会社 ヘッドマウントディスプレイ及び表示方法
CN104471463B (zh) * 2012-05-03 2018-02-13 诺基亚技术有限公司 图像提供装置、方法和计算机程序
WO2013167864A1 (en) 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
IL219907A (en) * 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US8989535B2 (en) * 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
AU2013315607A1 (en) 2012-09-11 2015-04-02 Magic Leap, Inc Ergonomic head mounted display device and optical system
US9933684B2 (en) * 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
WO2015012280A1 (ja) * 2013-07-24 2015-01-29 コニカミノルタ株式会社 視線検出装置
US10345903B2 (en) 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
JP6369017B2 (ja) 2013-12-03 2018-08-08 セイコーエプソン株式会社 虚像表示装置
JP6349704B2 (ja) 2013-12-06 2018-07-04 セイコーエプソン株式会社 虚像表示装置
US9459451B2 (en) * 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system
US20160018650A1 (en) 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
CA2941653C (en) 2014-03-05 2021-08-24 Arizona Board Of Regents On Behalf Of The University Of Arizona Wearable 3d augmented reality display
US10139636B2 (en) 2014-03-20 2018-11-27 Essilor International Methods for augmented reality
JP6675318B2 (ja) 2014-04-01 2020-04-01 エシロール・アンテルナシオナル 補助画像を出力するように構成された多焦点眼鏡レンズ
EP3126901B1 (en) 2014-04-02 2024-05-01 Essilor International Method of calculating an optical system according to a given spectacle frame
US10247962B2 (en) 2014-04-14 2019-04-02 Essilor International Method of calculating an optical system of a progressive addition ophthalmic lens being arranged to output a supplementary image
NZ727361A (en) 2014-05-30 2020-05-29 Magic Leap Inc Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US9606354B2 (en) * 2014-07-17 2017-03-28 Google Inc. Heads-up display with integrated display and imaging system
EP3198192A1 (en) 2014-09-26 2017-08-02 Milan Momcilo Popovich Holographic waveguide opticaltracker
US9681804B2 (en) 2015-01-12 2017-06-20 X Development Llc Hybrid lens system for head wearable display
EP3062142B1 (en) * 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
CN112130329B (zh) * 2015-03-17 2022-08-23 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CA3109499A1 (en) 2015-04-22 2016-10-27 Esight Corp. Methods and devices for optical aberration correction
US9910276B2 (en) 2015-06-30 2018-03-06 Microsoft Technology Licensing, Llc Diffractive optical elements with graded edges
JP2017108370A (ja) 2015-07-06 2017-06-15 セイコーエプソン株式会社 頭部装着型表示装置およびコンピュータープログラム
US10007115B2 (en) 2015-08-12 2018-06-26 Daqri, Llc Placement of a computer generated display with focal plane at finite distance using optical devices and a see-through head-mounted display incorporating the same
US10260864B2 (en) 2015-11-04 2019-04-16 Magic Leap, Inc. Dynamic display calibration based on eye-tracking
US9927614B2 (en) 2015-12-29 2018-03-27 Microsoft Technology Licensing, Llc Augmented reality display system with variable focus
US10993824B2 (en) 2016-01-01 2021-05-04 Intact Vascular, Inc. Delivery device and method of delivery
US10473933B2 (en) 2016-02-19 2019-11-12 Microsoft Technology Licensing, Llc Waveguide pupil relay
KR102530558B1 (ko) 2016-03-16 2023-05-09 삼성전자주식회사 투시형 디스플레이 장치
US20170277259A1 (en) * 2016-03-24 2017-09-28 Daqri, Llc Eye tracking via transparent near eye lens
US10705338B2 (en) 2016-05-02 2020-07-07 Waves Audio Ltd. Head tracking with adaptive reference
EP3296793A1 (en) 2016-09-19 2018-03-21 Essilor International Method of determining a correcting optical function to a virtual image
EP4246214A3 (en) 2017-03-21 2023-12-06 Magic Leap, Inc. Methods, devices, and systems for illuminating spatial light modulators
WO2018194962A1 (en) 2017-04-17 2018-10-25 Akonia Holographics Llc Skew mirror auxiliary imaging
WO2019060741A1 (en) 2017-09-21 2019-03-28 Magic Leap, Inc. INCREASED REALITY DISPLAY HAVING A WAVEGUIDE CONFIGURED TO CAPTURE IMAGES OF THE EYE AND / OR THE ENVIRONMENT
IL275013B (en) 2017-12-03 2022-08-01 Lumus Ltd Method and device for testing an optics device
US11112613B2 (en) 2017-12-18 2021-09-07 Facebook Technologies, Llc Integrated augmented reality head-mounted display for pupil steering
US20210033774A1 (en) 2018-01-31 2021-02-04 Shimadzu Corporation Image display device
US11053019B2 (en) 2018-04-19 2021-07-06 The Boeing Company Hybrid propulsion engines for aircraft
US11175518B2 (en) 2018-05-20 2021-11-16 Neurolens, Inc. Head-mounted progressive lens simulator
JP7402543B2 (ja) 2018-11-08 2023-12-21 ルーマス リミテッド ダイクロイックビームスプリッタカラーコンバイナを有する光学デバイスおよび光学システム
IL264551B2 (en) 2019-01-29 2024-09-01 Oorym Optics Ltd A compact head-up display system with high efficiency and a small entry key
US11202563B2 (en) 2019-03-07 2021-12-21 Neurolens, Inc. Guided lens design exploration system for a progressive lens simulator
US11933985B2 (en) 2020-02-02 2024-03-19 Lumus Ltd. Method for producing light-guide optical elements

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1440513A (zh) * 2000-06-05 2003-09-03 鲁姆斯有限公司 基片导引的光束扩展器
US20040085649A1 (en) * 2002-07-17 2004-05-06 C.R.F. Societa Consortile Per Azioni Light guide for display devices of the head-mounted or head-up type
US20060132914A1 (en) * 2003-06-10 2006-06-22 Victor Weiss Method and system for displaying an informative image against a background image
CN101636886A (zh) * 2007-01-18 2010-01-27 埃皮晶体有限公司 基于频率变换的脉冲激光源
US20120032874A1 (en) * 2010-08-09 2012-02-09 Sony Corporation Display apparatus assembly
US20160209657A1 (en) * 2013-05-20 2016-07-21 Digilens, Inc. Holographic waveguide eye tracker
CN106164743A (zh) * 2014-03-03 2016-11-23 埃韦视觉有限公司 眼睛投影系统
WO2016105281A1 (en) * 2014-12-26 2016-06-30 Koc University Near-to-eye display device
CN105652447A (zh) * 2016-01-28 2016-06-08 上海理湃光晶技术有限公司 平面波导成像装置和方法

Also Published As

Publication number Publication date
EP3397137A4 (en) 2019-01-23
US20220252890A1 (en) 2022-08-11
EP3397137A1 (en) 2018-11-07
US20190056600A1 (en) 2019-02-21
JP7274724B2 (ja) 2023-05-17
WO2018122859A1 (en) 2018-07-05
KR102296369B1 (ko) 2021-09-01
CN108882845B (zh) 2022-05-03
JP2020504832A (ja) 2020-02-13
IL260969B (en) 2018-12-31
US20200241308A1 (en) 2020-07-30
KR20190099374A (ko) 2019-08-27
US11747635B2 (en) 2023-09-05
CN115145023B (zh) 2024-02-09
TWI759395B (zh) 2022-04-01
CN108882845A (zh) 2018-11-23
TW201831953A (zh) 2018-09-01
EP3397137B1 (en) 2019-10-30

Similar Documents

Publication Publication Date Title
CN108882845B (zh) 基于经由光导光学元件的视网膜成像的眼动追踪器
CN110446965B (zh) 用于结合光扫描投影仪跟踪眼睛运动的方法和系统
US9606354B2 (en) Heads-up display with integrated display and imaging system
US20200133008A1 (en) Head-mounted display eyeball tracker integrated system
JPWO2018122859A5 (zh)
US11914161B2 (en) Apparatus and methods for eye tracking based on eye imaging via light-guide optical element
JP7302592B2 (ja) 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法
US12019249B2 (en) Optical systems and methods for eye tracking based on redirecting light from eye using an optical arrangement associated with a light-guide optical element
US20240004189A1 (en) Optical systems and methods for eye tracking based on eye imaging via collimating element and light-guide optical element
WO2022196650A1 (ja) 視線追跡システムおよび虚像表示装置
EP4356179A1 (en) Optical system for eye tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant