CN105849621B - 眼睛跟踪装置、方法和系统 - Google Patents

眼睛跟踪装置、方法和系统 Download PDF

Info

Publication number
CN105849621B
CN105849621B CN201480071271.4A CN201480071271A CN105849621B CN 105849621 B CN105849621 B CN 105849621B CN 201480071271 A CN201480071271 A CN 201480071271A CN 105849621 B CN105849621 B CN 105849621B
Authority
CN
China
Prior art keywords
waveguide
input coupler
coupler
infrared
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480071271.4A
Other languages
English (en)
Other versions
CN105849621A (zh
Inventor
P·萨里科
X·楼
S·麦克尔道尼
S·罗宾斯
T·莱沃拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105849621A publication Critical patent/CN105849621A/zh
Application granted granted Critical
Publication of CN105849621B publication Critical patent/CN105849621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/02—Optical fibres with cladding with or without a coating
    • G02B6/02057—Optical fibres with cladding with or without a coating comprising gratings
    • G02B6/02076—Refractive index modulation gratings, e.g. Bragg gratings
    • G02B6/0208—Refractive index modulation gratings, e.g. Bragg gratings characterised by their structure, wavelength response
    • G02B6/02085—Refractive index modulation gratings, e.g. Bragg gratings characterised by their structure, wavelength response characterised by the grating profile, e.g. chirped, apodised, tilted, helical
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24—Coupling light guides
    • G02B6/26—Optical coupling means
    • G02B6/34—Optical coupling means utilising prism or grating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G02B2027/0105—Holograms with particular structures
    • G02B2027/0107—Holograms with particular structures with optical power
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

用于在眼睛跟踪中使用的透明波导包括输入耦合器和输出耦合器。该输入耦合器包括具有径向变化的节距的多个弯曲栅格线。当被置于用红外光照明的眼睛的前方时，从该眼睛反射并入射到该输入耦合器上的红外光束在该输入耦合器处进入该波导，经由全内反射穿过该波导传播，以及在输出耦合器附近离开该波导。该输入耦合器的弯曲栅格线的径向变化的节距提供入射到该输入耦合器上的红外光的角度编码，具体而言，引起入射到该输入耦合器的相应的不同的水平和竖直位置上的不同红外光束以相应的不同反射角穿过波导传播，并相对于红外光束穿过其离开的波导表面以相应的不同的入射角离开波导。

Description

眼睛跟踪装置、方法和系统
背景
透视、混合现实显示设备系统使得用户能够观察覆盖在物理场景上的数字信息。为了允许不用手的(hands-free)用户交互，透视、混合现实显示设备系统可进一步装备有眼睛跟踪器。通常，眼睛跟踪器包括用于照明用户的眼睛的红外(IR)光源以及用于对用户的眼睛成像(例如，用于观察反射的闪光和虹膜移动以计算注视方向)的相机。对用户的眼睛的照明和成像优选地被实现成使得：混合显示显示设备系统的透视属性不因眼睛跟踪硬件受损；对眼睛的成像对所有类型的处方眼镜(prescription spectacles)均有效；以及对眼睛的成像覆盖整个眼睛移动范围加上瞳孔间距离范围。
对眼睛成像以进行眼睛跟踪的一种方式是使用装载在头戴式显示(HMD)设备的框架上的简单相机，其中相机直接聚焦在用户的眼睛上。换言之，存在从相机到眼睛的直接视线。尽管这种配置相对简单且便宜，然而它对相机相对于眼睛的位置和移动高度灵敏。而且，使用这种配置，相机需要被放置地靠近眼睛高度，这通常导致混合现实显示设备系统的透视属性的至少部分遮挡。替换地，部分反射器可被用来这些相机查看路径到用户的太阳穴。尽管此替换配置允许将相机定位在透视视野之外，然而此替换配置的实现在眼睛跟踪需要在处方眼镜的情况下工作时有问题。
另一种可能是使用基于自由形式棱镜的混合现实显示设备系统中的逆向光学路径成像。此技术依赖于实际的显示光学器件来提供成像功能以进行眼睛跟踪。然而，因为自由形式棱镜的组件通常尺寸很大，所以这种方法不总是实际的。添加仅用于眼睛跟踪的自由形式光学器件也是可能的，但是这将是昂贵的而且将给系统增加大量重量和尺寸。
概述
本文描述的某些实施例涉及用于在跟踪由红外光照明的眼睛时使用的波导。这种波导(其可在头戴式显示器(HMD)中使用，但不限于与其一起使用)是透明的且包括输入耦合器以及输出耦合器。输入耦合器包括由多个弯曲栅格线形成的栅格区域，所述弯曲栅格线将入射到输入耦合器上的光束衍射到波导中并衍射向输出耦合器所处的一公共区域。输入耦合器的弯曲栅格线具有径向变化的节距。根据一实施例，输入耦合器的弯曲栅格线的径向变化的节距随着距输出耦合器的增加的距离而减小。优选地，输入耦合器和输出耦合器相对于彼此定位成基本上实现远心性(telecentricity)。输出耦合器可包括线性栅格、全息栅格或棱镜，但不限于此。
当输入耦合器被置于用红外光照明的眼睛前方时，从眼睛反射并入射到输入耦合器上的红外光束在输入耦合器处进入波导，穿过波导从输入耦合器经由全内反射传播到输出耦合器，并在输出耦合器附近离开波导。输入耦合器的弯曲栅格线的径向变化的节距导致入射到输入耦合器的相应的不同的水平和竖直位置上的不同红外光束以相应的不同反射角穿过波导传播，并相对于光束穿过其离开的波导表面以相应的不同的入射角离开波导。
输入耦合器的多个弯曲栅格线各自具有汇聚点，所述汇聚点位于波导的输出耦合器所处的区域内。在一具体实施例中，输入耦合器的多个弯曲栅格线基本同心，各自具有基本相同的曲率中心，且各自具有基本相同的汇聚点。在一替换实施例中，输入耦合器的光学传输功能基本等同于与线性衍射栅格的光学传输功能相组合的轴上全息透镜的光学传输功能。在此替换实施例中，尽管输入耦合器的多个弯曲栅格线不基本同心，不共享基本相同的曲率中心，且不共享基本相同的汇聚点，然而输入耦合器的多个弯曲栅格线将仍旧各自具有位于波导的输出耦合器所处的区域内的汇聚点。
根据一实施例，包括上面概述的波导的实施例的系统还可包括红外照明源，该红外照明源产生被用于照明眼睛的红外光。这种系统也可包括透镜模块，该透镜模块将离开波导的红外光束从角度编码的红外光束转换为二维空间编码的红外光束。此外，这种系统可包括传感器，该传感器取决于使用透镜模块产生的二维空间编码的红外光束来产生眼睛跟踪数据。而且，系统可包括基于眼睛跟踪数据控制或修改应用的一方面的处理器。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。
附图简述
图1是描绘透视、混合现实显示设备系统的一个实施例的示例组件的框图。
图2A是被具体化为提供对硬件和软件组件的支持的眼镜的透视、混合现实显示设备的实施例中的镜架的眼镜腿的侧视图。
图2B是透视、近眼、混合现实设备的集成眼睛跟踪和显示光学系统的实施例的顶视图。
图3A是可以用于一个或多个实施例的透视、近眼、混合现实显示设备的硬件和软件组件的一个实施例的框图。
图3B是描述处理单元的各组件的框图。
图4A是根据一实施例的平面波导的透视图。
图4B是在图4A中介绍的平面波导的正视图。
图4C、4D和4E分别是图4A中介绍的平面波导的侧视图、正视图和俯视图，其还示出了与该平面波导一起使用的透镜模块和眼睛跟踪IR传感器。
图5A-5C被用来解说根据一实施例的用于设计平面波导的输入耦合器的技术。
图6是被用来概述用于在跟踪眼睛中使用的方法的高级流程图。
详细描述
本技术的某些实施例涉及波导，该波导允许实现对眼睛的成像以用于眼睛跟踪的目的，而不损害混合现实显示设备系统的透视属性。此外，这些实施例可有利地与处方眼镜一起使用。而且，这些实施例可被用来执行覆盖整个眼睛移动范围加上瞳孔间距离范围的眼睛的成像。然而，在更详细地讨论这些实施例之前，首先有用地描述可与本技术一起使用的示例性的透视、混合现实显示设备系统。
图1是描绘透视、混合现实显示设备系统的一个实施例的示例组件的框图。系统8包括作为通过线6与处理单元4进行通信的近眼、头戴式显示设备2的透视显示设备。在其他实施例中，头戴式显示设备2通过无线通信来与处理单元4进行通信。处理单元4可以采取各种实施例。例如，处理单元4可实现在如智能手机、平板或膝上型计算机之类的移动设备中。在一些实施例中，处理单元4是可以佩戴在用户的身体(例如，在所示示例中的腕)上或置于口袋中的分开的单元，并且包括用于操作近眼显示设备2的计算能力中的大部分能力。处理单元4可在通信网络50上与一个或多个集线器计算系统12无线地通信(例如，WiFi、蓝牙、红外、RFID传输、无线通用串行总线(WUSB)、蜂窝、3G、4G或其它无线通信装置)，而无论如本示例中的位于附近或位于远程位置。在其他实施例中，处理单元4的功能可被集成在显示设备2的软件和硬件组件中。
头戴式显示设备2(在一个实施例中它是带镜架115的眼镜的形状)被佩戴在用户的头上，使得用户可以透视显示器(在该示例中该显示器被实现为用于每一只眼睛的显示光学系统14)，并且从而具有对该用户前方的空间的实际直接视图。
使用术语“实际直接视图”来指直接用人眼看到真实世界对象，而非看到所创建的对象的图像表示的能力。例如，通过眼镜看房间允许用户得到该房间的实际直接视图，而在电视机上观看房间的视频不是该房间的实际直接视图。基于执行软件(例如，游戏应用)的上下文，该系统可以将虚拟对象的图像(有时称为虚拟图像)投影在可由佩戴该透视显示设备的人观看的显示器上，同时该人还透过该显示器观看现实世界物体。
框架115提供用于将该系统的各元件保持在原位的支承体以及用于电连接的管道。在该实施例中，镜架115提供了便利的眼镜架作为下面进一步讨论的系统的各元件的支撑体。在其他实施例中，可以使用其他支承结构。这样的结构的示例是帽舌或护目镜。镜架包括用于搁置在用户的每只耳朵上的镜腿或侧臂。镜腿102代表右镜腿的实施例，并且包括显示设备2的控制电路136。镜架115的鼻梁104包括用于记录声音并向处理单元4传送音频数据的话筒110。
图2A是被具体化为提供对硬件和软件组件的支持的眼镜的透视、混合现实显示设备的实施例中的镜架115的眼镜腿102的侧视图。在镜架115的正面朝向物理环境或朝向外侧的视频相机113，其捕捉发送给处理单元4的视频和静态图像。
来自相机的数据可被发送到控制电路136的处理器210、或处理单元4、或者这两者，它们可以处理该数据，但单元4也可将数据通过网络50或发送到一个或多个计算机系统12。该处理标识并映射用户的现实世界视野。
控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电路136的更多细节在下文参照图3A提供。处于镜腿102内部或安装在镜腿102处的有耳机130、惯性传感器132、GPS收发机144、以及温度传感器138。在一个实施例中，惯性传感器132包括三轴磁力计132A、三轴陀螺仪132B、以及三轴加速度计132C(参见图3A)。惯性传感器用于感测头戴式显示器设备2的位置、朝向、以及突然加速。还可从这些移动中确定头部位置。
图像源或图像生成单元120可安装到眼镜腿102或在眼镜腿102内部。在一个实施例中，图像源包括用于投射一个或多个虚拟对象的图像微显示器120和用于将来自微显示器120的图像导入透视平面波导112中的透镜系统122。透镜系统122可包括一个或多个透镜。在一个实施例中，透镜系统122包括一个或多个准直的透镜。在示出的示例中，反射元件124接收由透镜系统122引导的图像并且将图像数据光学地耦合至平面波导112中。
存在着可用于实现微显示器120的不同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学有源材料来调制，用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的LCD类型的显示器来实现的。微型显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。数字光处理(DLP)、硅基液晶(LCOS)以及高通公司的显示技术都是反射技术的示例。另外，微显示器120可使用发射技术来实现，其中由显示器产生光，例如，Microvision有限公司的PicoPTM显示引擎。发射显示技术的另一示例是微型有机发光二极管(OLED)显示器。eMagin和Microoled公司提供了微型OLED显示器的示例。
图2B是透视、近眼、增强或混合现实设备的显示光学系统14的实施例的顶视图。近眼显示设备2的镜架115的一部分将环绕显示光学系统14，以提供对如此处以及之后的附图中所示出的一个或多个光学元件的支持并进行电气连接。为了示出头戴式显示设备2中的显示光学系统14(在该情况下是右眼系统14r)的各个组件，围绕显示光学系统的框架115的一部分未被描绘。
在一个实施例中，显示光学系统14包括平面波导112、可选的不透明度过滤器114、透视透镜116和透视透镜118。在一个实施例中，不透明度过滤器114处于透视透镜116之后并与其对准，平面波导112处于不透明度过滤器114之后并与其对准，并且透视透镜118处于平面波导112之后并与其对准。透视透镜116和118可以是眼镜中使用的标准透镜，并且可根据任何处方(包括无处方)来制作。在一些实施例中，头戴式显示设备2将仅仅包括一个透视透镜或者不包括透视透镜。与平面波导112对齐的不透明度过滤器114要么均匀地、要么以每像素为基础来选择性地阻挡自然光，以免其穿过平面波导112。例如，不透明度过滤器增强了虚拟影像的对比度。于2010年9月21日提交的Bar-Zeev等人的题为“Opacity FilterFor See-Through Mounted Display(用于透视安装显示器的不透明度过滤器)”的美国专利申请公开号2012/0068913中提供了不透明度过滤器的更多细节。
平面波导112将来自微显示器120的可见光传送到佩戴头戴式显示设备2的用户的眼睛140。透视平面波导112还允许如代表显示光学系统14r的光轴的箭头142所示那样将可见光从头戴式显示设备2的前方透过透视平面波导112透射到眼睛140，从而除接收来自微显示器120的虚拟图像之外还允许用户具有头戴式显示设备2的前方的空间的实际直接视图。因此，平面波导112的壁是透视的。平面波导112包括第一反射面124(例如，镜面或其他表面)。来自微显示器120的可见光穿过透镜122并入射在反射面124上。反射面124反射来自微显示器120的入射的可见光，使得可见光由于以下将进一步描述的内部反射而被限制在包括平面波导112的平面基板内。
红外照明和反射也穿越平面波导112达到用于跟踪用户眼睛的位置的眼睛跟踪系统134。用户的眼睛将被引导到环境中的子集，该子集是用户的聚焦或凝视区域。眼睛跟踪系统134包括眼睛跟踪照明源134A(在此示例中其被安装到镜腿102上或该镜腿内)以及眼睛跟踪IR传感器134B(在此示例中其被安装到镜架115的额(brow)103上或该额内。眼睛跟踪IR传感器134B可替换地被置于透镜118和镜腿102之间。还有可能眼睛跟踪照明源134A和眼睛跟踪IR传感器134B两者都被安装在镜架115的额103上或该额内。
本技术允许为图像生成单元120、照明源134A以及眼睛跟踪IR传感器134B灵活地放置进出波导的光学路径的光学耦合器(其也可被称为输入耦合器和输出耦合器)。呈现图像的可见照明以及红外照明可从相对波导112的任何方向进入，并且一个或多个波长可选过滤器(例如127)以显示光学系统14的光轴142为中心将照明导出波导。
在一个实施例中，眼睛跟踪照明源134A可包括以大约预定IR波长或一定范围的波长发射的一个或多个红外(IR)发射器(诸如红外发光二极管(LED)或激光器(例如，VCSEL))。在一些实施例中，眼睛跟踪IR传感器134B可以是用于跟踪闪光位置的IR相机或IR位置灵敏检测器(PSD)。
在一实施例中，波长可选过滤器123让来自微显示器123的经过反射面124的可见光谱的光通过，并且将来自眼睛跟踪照明源134A的红外波长照明导入平面波导112，在平面波导112中，IR照明在平面波导内部反射直至到达与光轴142对齐的另一波长可选过滤器127。
从IR反射中，当眼睛跟踪IR传感器134B是IR相机时，瞳孔在眼框内的位置可通过已知的成像技术来标识，而当眼睛跟踪IR传感器134B是一种位置灵敏检测器(PSD)时，瞳孔在眼框内的位置可通过闪光位置数据来标识。使用其它类型的眼睛跟踪IR传感器和用于眼睛跟踪的其它技术也是可能的并且在一实施例的范围内。
在耦合到波导112中之后，呈现来自微显示器120的图像数据的可见照明和IR照明在波导112中内部反射。在图2B的示例中，在数个从基板的表面射出的反射之后，被留下的可见光波到达在本示例中实现为可选择反射表面1261至126N的波长可选过滤器阵列。另外，与显示光学系统的光轴对齐的波长可选过滤器127也被定位于波导112中。反射面126对从基板射出并入射在那些反射面上的、沿用户的眼睛140的方向引导的可见光波长进行耦合。
反射面126还让波导内的红外照明通过。然而，一个或多个波长可选过滤器127与显示光学系统14r的光轴142对齐，波长可选过滤器127不仅引导可见照明，还接收来自照明源134A的红外照明。例如，如果反射元件1261至126N各自反射可见光谱的不同部分，则一个或多个波长可选过滤器127可反射红色可见光谱和红外光谱中的波长。在其它实施例中，过滤器127可反射覆盖整个可见光谱或其较大部分以及IR反射的波长的红外光谱的波长以及那些由IR照明源生成的波长。
此外，如将在下面参考图4A-5C更详细地讨论的，输入耦合器(在图2A和2B中未被具体示出，但是在图4A-5C中被示出)将来自眼睛的穿过以光轴142为中心的平面波导的红外反射在朝着输出耦合器(在图2A和2B中未被具体示出，但在图4A-5C中被示出)的方向定向到平面波导的光学路径中，该输出耦合器将红外光朝眼睛跟踪IR传感器134B定向。另外，可见和红外过滤器可在从透镜116至118的方向上层叠，使得它们与光轴共轴。例如，相对于眼睛放置在可见反射元件之前的双向热镜(hot mirror)让可见光通过但反射IR波长。另外，一个或多个过滤器127可被实现为有源光栅，其被调制在可见和红外光谱之间的过滤波长之间。这将会以人眼无法检测到的足够快的速率来完成。
在一个实施例中，每只眼睛将具有其自己的平面波导112。当头戴式显示设备具有两个平面波导时，每只眼睛都可以具有其自己的微显示器120，该微显示器120可以在两只眼睛中显示相同图像或者在两只眼睛中显示不同图像。而且，当头戴式显示设备具有两个平面波导时，每只眼睛可具有其自己的眼睛跟踪照明源134A和其自己的眼睛跟踪IR传感器134B。在另一示例中，可以有具有两根光轴的平面波导，每只眼睛一根，其横跨鼻梁并将可见光和红外光反射入两只眼睛。
在上述实施例中，所示出的具体数量的透镜只是示例。可以使用其他数目和配置的根据相同原理操作的透镜。另外，图2A和2B仅示出头戴式显示设备2的一半。完整的头戴式显示设备可包括例如另一组透视透镜116和118、另一不透明度过滤器114、具有一个或多个波长可选过滤器127的另一平面波导112、另一微显示器120、另一透镜系统122、朝向物理环境的相机113(也称朝向外部或朝向正面的相机113)、眼睛跟踪组件134、耳机130、过滤器123以及温度传感器138。示例性头戴式显示器2的更多细节在2010年10月15日提交的Flaks等人的题为“Fusing Virtual Content Into Real Content(将虚拟内容融合到现实内容中)”的美国专利申请公开号2012/0092328中提供。
图3A是可以用于一个或多个实施例的透视、近眼、混合现实显示设备2的硬件和软件组件的一个实施例的框图。图3B是描述处理单元4的各组件的框图。在这一实施例中，近眼显示设备2接收来自处理单元4的关于虚拟图像的指令并将来自传感器的数据提供回处理单元4。例如在图3B中描绘的可被实现在处理单元4中的软件和硬件组件从显示设备2接收传感数据并且还可通过网络50从计算系统12接收传感信息。基于这一信息，处理单元4将确定在何处以及在何时向用户提供虚拟图像并相应地将指令发送给显示设备2的控制电路136。
注意，图3A的某些组件(例如，朝向外部或物理环境的相机113、眼睛相机134、微显示器120、不透明度过滤器114、眼睛跟踪照明单元134A、耳机130、一个或多个波长可选过滤器127、以及温度传感器138)以阴影显示，以指示可以有至少两个那些设备中的每一者，其中至少一个在头戴式显示设备2的左侧而至少一个在右侧。图3A示出与电源管理电路202通信的控制电路200。控制电路200包括处理器210、与存储器244(例如D-RAM)进行通信的存储器控制器212、相机接口216、相机缓冲器218、显示驱动器220、显示格式化器222、定时生成器226、显示输出接口228、以及显示输入接口230。在一个实施例中，控制电路200的所有组件都通过一个或多个总线的专用线路彼此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。
相机接口216提供对两个朝向物理环境的相机113以及本实施例中的如传感器134B之类的IR相机的接口，并将从相机113、134B接收的各个图像存储在相机缓冲区218中。显示驱动器220将驱动微显示器120。显示格式化器222可以向执行该混合现实系统的处理的一个或多个计算机系统(例如4和12)的一个或多个处理器提供与被显示在微显示器120上的虚拟图像有关的信息。显示格式化器222可向不透明度控制单元224标识关于显示光学系统14的透射率设置。定时生成器226被用于为该系统提供定时数据。显示输出接口228包括用于将来自面向物理环境的相机113和眼睛相机134B的图像提供给处理单元4的缓冲区。显示输入接口230显示包括用于接收诸如要在微显示器120上显示的虚拟图像之类的图像的缓冲区。显示输出228和显示输入230与作为到处理单元4的接口的带接口232进行通信。
电源管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、音频DAC和放大器238、话筒前置放大器和音频ADC 240、温度传感器接口242、有源过滤器控制器237、以及时钟生成器245。电压调节器234通过带接口232从处理单元4接收电能，并将该电能提供给头戴式显示设备2的其他组件。照明驱动器236例如经由驱动电流或电压来控制眼睛跟踪照明单元134A以大约预定波长或在某一波长范围内操作。音频DAC和放大器238向耳机130提供音频数据。话筒前置放大器和音频ADC 240提供用于话筒110的接口。温度传感器接口242是用于温度传感器138的接口。有源过滤器控制器237接收指示一个或多个波长的数据，其中针对所述波长，每个波长可选过滤器127将作为对该波长的可选波长过滤器。电源管理单元202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电力并从其接收回数据。电源管理单元202还向GPS收发机144提供电能并从中接收数据和向其发送数据。
图3B是与透视近眼混合现实显示单元相关联的处理单元4的硬件和软件组件的一个实施例的框图。图3B示出与电源管理电路307进行通信的控制电路306。控制电路304包括中央处理单元(CPU)320，图形处理单元(GPU)322，高速缓存324，RAM 326，与存储器330(例如，D-RAM)进行通信的存储器控制器328，与闪存334(或其他类型的非易失性存储)进行通信的闪存控制器332，经由带接口302和带接口232与透视、近眼显示设备2进行通信的显示输出缓冲区336，经由带接口302和带接口232与近眼显示设备2进行通信的显示输入缓冲区338，与用于连接到话筒的外部话筒连接器342进行通信的话筒接口340，用于连接到无线通信设备346的PCI express接口，以及USB端口348。
在一个实施例中，无线通信组件346包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备、蜂窝、3G、4G通信设备、无线USB(WUSB)通信设备、RFID通信设备等等。无线通信设备346由此允许与例如另一显示设备系统8的端对端数据传输，以及经由无线路由器或基塔连接到较大网络。USB端口可被用于将处理单元4接驳到另一显示设备系统8。另外，处理单元4可接驳到另一计算系统12以便将数据或软件加载到处理单元4以及对处理单元4充电。在一个实施例中，CPU 320和GPU 322是用于确定在何处、何时以及如何向用户的视野内插入虚拟图像的主负荷设备。
电源管理电路306包括时钟生成器360，模数转换器362，电池充电器364，电压调节器366，透视、近眼显示器电源376，以及与温度传感器374进行通信的温度传感器接口372(位于处理单元4的腕带上)。到直流转换器362的交流电连接到充电插孔370以用于接收AC供电并为该系统产生DC供电。电压调节器366与用于向该系统提供电能的电池368进行通信。电池充电器364被用来在从充电插孔370接收到电能之际(通过电压调节器366)对电池368进行充电。设备电源接口376向显示设备2提供电能。
平面波导
现在将使用图4A-4E来描述根据本技术的一实施例的平面波导412的具体特征，其中平面波导412可被用来实现上面参考图1、2A和2B讨论的波导112。更具体而言，图4A-4E将被用来描述平面波导412的被用来收集从眼睛440反射的红外光并将该红外光提供给上面参考图2B和3A讨论的眼睛跟踪IR传感器134B。红外光将被从眼睛440反射，例如当眼睛被由眼睛跟踪照明单元134A产生的红外光照明时，如同上面所解释的。
图4A解说了平面波导412的立体视图。参考图4A，平面波导412被示出为包括输入耦合器414和输出耦合器416。当输入耦合器414被置于用红外光照明的眼睛440前方时，从眼睛440反射并入射到输入耦合器414上的红外光束(如由虚线418所示)在输入耦合器414处进入波导412，穿过波导412从输入耦合器414经由全内反射传播到输出耦合器416，并在输出耦合器416附近离开平面波导412。输出耦合器416可以例如是线性栅格型输出耦合器、全息栅格型输出耦合器、能够引起红外光(和/或其它波长的光)离开波导412的棱镜或另一种光学耦合器。输入耦合器414可以是透射型输入耦合器或反射型输入耦合器。类似地，输出耦合器416可以是透射型输出耦合器或反射型输出耦合器。取决于实现，输出耦合器的特征可以被包括在平面波导412的任一平坦表面中，或者该平面波导的两个平坦表面中。下面参考图4B讨论了根据一具体实施例的输入耦合器414的细节。
图4B为图4A的平面波导412的正视图，其解说了输入耦合器414包括多个弯曲栅格线424。用另一种方式解释，输入耦合器414包括由多个弯曲栅格线形成的栅格区域。根据一实施例，多个弯曲栅格线424是同心的，每个弯曲栅格线具有相同的曲率中心426，且每个弯曲栅格线具有相同的汇聚点428。更具体而言，在此特定实施例中，每个弯曲栅格线424的曲率中心426和汇聚点428是相同的点，其位于输出耦合器416的中心处或该中心附近。在此构造中，输入耦合器414的弯曲栅格线424将入射到输入耦合器414上的光束衍射到波导412中并衍射向波导414的输出耦合器416所处的区域。尽管图4B中仅解说了几个弯曲栅格线424，然而输入耦合器416将可能包括成千上万个弯曲栅格线424。
输入耦合器414的多个弯曲栅格线424具有径向变化的节距，这意味着弯曲栅格线424的相邻对之间的距离在不同的相邻弯曲栅格线424对之间不同。更具体而言，输入耦合器414的弯曲栅格线424的径向变化的节距随着弯曲栅格线424和输出耦合器416之间的距离的增加而减小。换言之，在第一对相邻弯曲栅格线424比第二对相邻弯曲栅格线424更靠近输出耦合器416的情况下，第一对相邻弯曲栅格线424之间的距离将大于第二对弯曲栅格线424之间的距离。根据一实施例，弯曲栅格线424的径向变化的节距从约500nm变化到约1μm，但不限于此。例如，(输入耦合器414的)最靠近输出耦合器416的两个弯曲栅格线424之间的距离可以为约1μm，而(输入耦合器414的)最远离输出耦合器416的两个弯曲栅格线424之间的距离可以为约500nm(即，约0.5μm)。从此描述可以领会，平面波导412、输入耦合器414、(输入耦合器414的)弯曲栅格线424以及输出耦合器不是按照比例绘制的，而是简单地示出了这些元素中的每一者相对于其它元素的示例性的相对位置。
(输入耦合器414的)弯曲栅格线424的径向变化的节距导致入射在输入耦合器414的不同的水平和竖直位置上的不同红外光束以相应的不同反射角穿过平面波导412传播，并相对于平面波导412的红外光束穿过其离开的表面以相应的不同的入射角离开输出耦合器416。用另一种方式解释，(输入耦合器414的)弯曲栅格线424的径向变化的节距引起入射到输入耦合器414上的红外光束的角度编码，由此使得穿过输出耦合器416离开平面波导412的红外光束按照以下方式被成像(例如，被眼睛跟踪IR传感器134B成像)：其区分入射到输入耦合器414的不同的水平和竖直位置上的红外光束。
输入耦合器414的弯曲栅格线424可按各种不同方式形成。一种方式是使用全息方法来记录弯曲栅格线424。替换地，弯曲栅格线424可使用电子束曝光(electron-beamlithography)或光刻(photo-lithography)来形成。这些仅是形成输入耦合器414的弯曲栅格线424的各种方式的几个示例，它们不意在进行限制。取决于实现，输入耦合器414的栅格线可以被包括在平面波导412的任一平坦表面中，或者该平面波导的两个平坦表面中。
在一实施例中，输入耦合器414和输出耦合器416相对于彼此定位以实现远心性。在此情形下，进入瞳孔位于无穷远处，这使得输入耦合器物体空间远心。这有利地提供了眼睛440的正交投影。
优选地，穿过平面波导412行进的红外光束是准直的，但是一定程度的非准直能被容忍。输入耦合器414作为聚焦元件工作，以使得当眼睛440处于名义良视距离(其是输入耦合器414的聚焦距离)时，被引导的光线自然地变为准直的。更具体而言，从眼睛平面上的相同场点生成的红外光线束在波导412内部变为准直的。然而，由于弯曲栅格线424的径向可变的节距，来自眼睛平面上的不同场点的光纤束将具有不同的入射角，这提供了上面提及的角度编码。
图4C解说了平面波导412的侧视图，其还示出了位于输出耦合器416附近的透镜模块430。透镜模块430可包括一个或多个透镜，该透镜模块被配置成在光线在输出耦合器416附近离开平面波导412之后将平面波导412内的光线的角度空间转换为二维(2D)空间。用另一种方式解释，透镜模块430被用来将角度编码的红外光束转换为二维(2D)空间编码红外光束。在被转换到二维空间之后，红外光束入射到眼睛跟踪IR传感器134B的二维平面上，如图4C中所示。眼睛跟踪IR传感器134B取决于入射到传感器上的二维空间编码的红外光束来产生眼睛跟踪数据。
图4D是平面波导412的另一正视图，其类似于图4B，但是还示出了透镜模块430和眼睛跟踪IR传感器134B相对于输出耦合器416的位置。然而，图4D没有示出在图4B中示出的弯曲栅格线424。尽管如此，输入耦合器414的确包括如上所述的弯曲栅格线。图4E是平面波导412的俯视图，其还示出了透镜模块430和眼睛跟踪IR传感器134B相对于输入耦合器414和输出耦合器416的相对位置。
平面波导412可被合并到透视混合现实显示设备系统中，诸如上面参考图1-3B描述的系统，但不限于与其一起使用。如同前面提及的，平面波导412可被用作上面参考图2B讨论的波导112。相应地，平面波导412可被定位在透视透镜(例如116和/或118)旁边或之间，所述透视透镜可以是在眼镜中使用的标准透镜并且可按照任何处方制作(包括无处方)。平面波导412可替换地与旨在基于从眼睛反射的红外光执行眼睛跟踪的任何系统一起使用。一般而言，平面波导的输入耦合器414优选地与眼睛轴向对齐，使得当眼睛被用红外光照明时，从眼睛反射的红外光束将入射到平面波导412的输入耦合器414上。输出耦合器416优选地位于被用来对眼睛成像的传感器或相机(例如眼睛跟踪IR传感器134B)的紧密附近。如同前面提及的，这种传感器或相机可被安装到镜架(例如115)的眉(例如103)上或其内部。替换地，传感器或相机可被安装到镜架的镜腿或侧臂(例如102)上或其内部，在这种情况下，输入耦合器414和输出耦合器416的相对位置可被旋转九十度。如同上面解释的，透镜模块(例如430)可位于输出耦合器416和传感器(例如眼睛跟踪IR传感器134B)之间。
根据一实施例，用于设计平面波导(412)的输入耦合器(例如414)的一种方式是设计两个分开的光学器件，这两个光学器件共同提供针对输入耦合器所期望的功能。更具体而言，输入耦合器414的功能可由轴上全息透镜和线性衍射栅格共同提供，如现在将参考图5A-5C讨论的。
参考图5A-5C，线540表示眼睛平面，而元素514表示轴上全息透镜。在图5A中，元素512表示平面波导，该平面波导包括在波导512的靠近轴上全息透镜514的部分中的线性衍射栅格。
图5B被用来解释轴上全息透镜514的功能，如果其独自完成的话。更具体而言，图5B解说了从眼睛平面540反射并入射到轴上全息透镜514上的红外光束被聚焦到公共点。图5C包括平面波导512的包括线性衍射栅格的膨胀或放大部分，其解说了线性衍射栅格改变光束(其已穿过轴上全息透镜514行进)的方向，以使得光束被衍射到波导512中且被衍射向波导512的输出耦合器516所处的区域。
通过将输入耦合器设计成在线性衍射栅格旁边的轴上全息透镜514，输入耦合器可被设计成增加并优选地最大化可使用输入耦合器成像的竖直物体高度。一旦轴上全息透镜和线性衍射栅格的设计完成，这两个组件被数学地缩减为单一衍射光学元件。这可使得输入耦合器的光学传输功能基本等同于与线性衍射栅格的光学传输功能相组合的轴上全息透镜的光学传输功能来实现。
这种单一衍射光学元件可类似于但不等同于参考图4A-4E描述的输入耦合器414。例如，所得到的单一衍射光学元件输入耦合器将还包括具有径向变化的节距的弯曲栅格线，如同输入耦合器414的情形一样。然而，此实施例中的多个弯曲栅格线将不总是具有相同的曲率中心和汇聚点。而是，曲率中心和汇聚点将在一定程度上模糊掉，使得它们彼此靠近但不是完全相同的点。这没问题，只要输入耦合器的弯曲栅格线各自具有汇聚点，所述汇聚点位于波导的输出耦合器516所处的区域内。这将确保当输入耦合器被置于用红外光照射的眼睛前方时，从眼睛反射并入射到输入耦合器上的红外光束在输入耦合器处进入波导，穿过波导从输入耦合器经由全内反射传播到输出耦合器，并在输出耦合器516附近离开平面波导。
而且，如参考图4A-4E描述的输入耦合器414的情况一样，此实施例中的输入耦合器的弯曲栅格线的径向变化的节距将引起入射到输入耦合器的不同水平和竖直位置上的不同红外光束以相应的不同反射角穿过波导传播并相对于该波导的红外光束穿过其离开的表面以相应的不同入射角离开该波导。换言之，本实施例还实现了入射到输入耦合器上的红外光束的角度编码。尽管在图5A中未具体示出，然而透镜模块(例如430)可被用来将离开平面波导512的红外光束从角度编码的红外光束转换为二维空间编码的红外光束。此外，眼睛跟踪IR传感器(例如134B)可取决于使用透镜模块产生的二维空间编码的红外光束来产生眼睛跟踪数据。
图6是被用来概述用于在眼睛跟踪中使用的方法的流程图。参考图6，在步骤602，眼睛被用红外光照明，同时平面波导的输入耦合器大体与眼睛轴向对齐，其将导致从眼睛反射的红外光束入射到平面波导的输入耦合器上。
如在步骤604指示的，输入耦合器的弯曲栅格线引起入射到平面波导的输入耦合器上的红外光束朝平面波导的输出耦合器所处的公共区域衍射。如在步骤606所指示的，入射在输入耦合器的不同部分上的红外光束被使得在相应的不同的反射角穿过波导传播并相对于红外光束穿过其离开的波导表面以相应的不同入射角离开该波导。换言之，在步骤606，存在入射到输入耦合器上并在输入耦合器处进入波导的红外光束的角度编码。这种角度编码被实现，因为输入耦合器的弯曲栅格线的径向变化的节距，如同上面解释的。尽管步骤604和606被示出为两个独立的步骤，然而这些步骤可能同时执行。
如在步骤608所指示的，离开平面波导的红外光束被从角度编码的红外光束转换为二维空间编码的红外光束。如上面解释的，这可使用透镜模块实现(例如430)。
如在步骤610指示的，可被用于跟踪眼睛的眼睛跟踪数据取决于二维空间编码的红外光束而生成。如上面解释的，这可使用眼睛跟踪IR传感器(例如134B)来实现。传感器可以例如是电荷耦合器件(CCD)或CMOS像素传感器阵列，但不限于此。眼睛跟踪数据的一些示例是来自红外相机或由位置灵敏检测器(PSD)所检测到闪光的位置的图像数据。眼睛跟踪数据可被用于例如确定注视点，该注视点指示用户正在注视的一个或多个现实或虚拟对象。换言之，眼睛跟踪数据可被用来确定用户正看的方向或对象。本领域所知的眼睛跟踪可涉及测量聚散度、瞳孔间距(IPD)、注视确定、基于眼睛移动的命令、生物测定标识，但不限于此。
当IR传感器是IR相机时，瞳孔在眼框内的位置可通过已知的成像技术来标识，而当IR传感器是一种位置灵敏检测器(PSD)时，瞳孔在眼框内的位置可通过闪光位置数据来标识。对于更具体的示例，瞳孔的位置可通过检测角膜的反射的已知成像技术来标识，例如，如在2008年7月22日授权给Kranz等人的题为“Head Mounted Eye Tracking andDisplay System(头戴式眼睛跟踪和显示系统)”的美国专利7,401,920中所公开的。此类技术可以定位眼睛的中心相对于跟踪相机(例如，眼睛跟踪IR传感器134B)的位置。一般而言，眼睛跟踪涉及获得眼睛的图像并使用计算机视觉技术来确定瞳孔在眼眶内的位置。在一个实施例中，跟踪一只眼睛的位置就足够了，因为双眼通常一致地移动。然而，单独地跟踪每只眼睛也是可能的。在两只眼睛被跟踪的情况下，对于这两只眼睛中的每只眼睛，可以存在在本文中描述的平面波导中的一个独立的平面波导。描述用于基于反射的红外光来跟踪眼睛并生成眼睛跟踪数据的专利的另一示例是2013年7月16日颁发给Lewis等人的题为“GazeDetection in a See-Through,Near-Eye,Mixed Reality Display(透视近眼混合现实显示器中的注视检测)”的美国专利号8,487,838。
如在步骤612处所指示的，应用的一方面基于眼睛跟踪数据被控制或修改。步骤612可例如使用处理器(例如210或320)来执行。步骤612可涉及例如使得用户能够从列表中做出选择，从而使得用户能够控制化身如何通过虚拟环境行进，或引起某些虚拟对象被强调，但不限于此。步骤612可附加地或替换地涉及观察用户对某些视觉刺激等的反应。
本文公开的平面波导有利地可按不损害混合现实显示设备系统的透视属性的方式与眼睛跟踪硬件一起使用。而且，本文公开的平面波导使得眼睛的成像能在所有类型的处方眼镜的情况下工作，且使得眼睛的成像覆盖整个眼睛移动范围加上瞳孔间距离范围。
在以上描述中，波导412通常被描述为是包括一对平坦表面的平面波导412。在替换实施例中，波导的主要表面之一或两者可以是非平面的，即弯曲的。尽管栅格可在平面表面上或平面表面中更容易地制造，使用(一个或多个)弯曲表面可能减少系统中的某些色差。
本技术的各实施例已经在上面在解说所指定的功能的执行及其关系的功能构造块的帮助下描述。这些功能构造块的边界在本文中常被为了方便描述而限定。替换边界可被定义，只要所指定的功能及其关系被适当执行。任何这些替换边界从而在本技术的范围和精神内。例如，组合或分离图6中示出的某些步骤是可能的。对于另一示例，改变图3A和3B中示出的某些块的边界是可能的。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。本技术的范围由所附的权利要求进行定义。

Claims (10)

1.一种用于在跟踪被红外光照明的眼睛中使用的装置，所述装置包括：
波导，所述波导是透明的且包括输入耦合器和输出耦合器；
光源，所述光源被适配成用红外光照明眼睛，以使得所述红外光的至少一部分从所述眼睛反射并入射到所述输入耦合器上；
其中所述输入耦合器和所述输出耦合器在空间上彼此分开；
其中所述输入耦合器包括多个弯曲栅格线，所述弯曲栅格线被配置成将入射到所述输入耦合器上的红外光束衍射到所述波导中并经由全内反射衍射向所述输出耦合器所处的公共区域；
其中所述输入耦合器的所述多个弯曲栅格线具有径向变化的节距，所述径向变化的节距随着所述弯曲栅格线和所述输出耦合器之间的距离的增加而减小；
其中所述输入耦合器的所述多个弯曲栅格线各自具有相应的曲率中心以及相应的汇聚点，所述汇聚点位于所述波导的所述输出耦合器所处的区域内；以及
其中所述输入耦合器被配置成作为聚焦元件工作，以使得当所述眼睛处于作为所述输入耦合器的聚焦距离的名义良视距离时，从所述眼睛上的相同场点反射的穿过所述输入耦合器进入所述波导的红外光线束在所述波导内部变为准直的并相对于所述波导的红外光穿过其离开的表面以相同的入射角离开所述波导，并且从所述眼睛上的不同场点反射的红外光线束以相应的不同反射角穿过所述波导传播并相对于所述波导的红外光穿过其离开的表面以相应的不同入射角离开所述波导，这由此提供了对反射离开所述眼睛上的不同场点的红外光的角度编码。
2.如权利要求1所述的装置，其特征在于，当所述输入耦合器被置于用红外光照明的眼睛前方时，从所述眼睛反射并入射到所述输入耦合器上的红外光束在所述输入耦合器处进入所述波导，穿过所述波导从所述输入耦合器经由全内反射传播到所述输出耦合器，并在所述输出耦合器附近离开所述波导。
3.如权利要求2所述的装置，其特征在于，所述输入耦合器的所述弯曲栅格线的径向变化的节距：
引起入射在所述输入耦合器的不同水平和竖直位置上的不同的红外光束在相应的不同的反射角穿过所述波导传播并相对于所述波导的所述红外光束穿过其离开的表面以相应的不同入射角离开所述波导。
4.如权利要求1-3中任一项所述的装置，其特征在于，所述输入耦合器和所述输出耦合器相对于彼此被定位成基本实现远心性。
5.如权利要求1-3中任一项所述的装置，其特征在于，所述输入耦合器的所述多个弯曲栅格线各自具有汇聚点，所述汇聚点位于所述波导的所述输出耦合器所处的区域内。
6.如权利要求1-3中任一项所述的装置，其特征在于，所述输入耦合器被形成在所述波导的单个表面之中或之上，并且其中形成在所述波导的单个表面之中或之上的所述输入耦合器的光学传输功能基本等同于与线性衍射栅格的光学传输功能相组合的轴上全息透镜的光学传输功能。
7.一种在跟踪眼睛中使用的方法，所述方法包括：
用红外光对眼睛照明，同时波导的输入耦合器大体与所述眼睛轴向对齐，这将导致从所述眼睛反射的红外光束入射到所述波导的所述输入耦合器上，所述眼睛处于作为所述输入耦合器的聚焦距离的名义良视距离处；
使用所述输入耦合器的弯曲栅格线，将入射到所述波导的所述输入耦合器上的所述红外光束衍射向所述波导的输出耦合器所处的公共区域；
使用所述波导的所述输出耦合器，引起所述红外光束离开所述波导；以及
通过以下方式对从所述眼睛反射的红外光进行角度编码：引起从所述眼睛上的相同场点反射的穿过所述输入耦合器进入所述波导的红外光线束在所述波导内部变为准直的并相对于所述波导的所述红外光穿过其离开的表面以相同的入射角离开所述波导，并且引起从所述眼睛上的不同场点反射的红外光线束以相应的不同反射角穿过所述波导传播并相对于所述波导的所述红外光穿过其离开的表面以相应的不同入射角离开所述波导。
8.如权利要求7所述的方法，其特征在于，进一步包括：
将离开所述波导的所述红外光束从角度编码的红外光束转换为二维空间编码的红外光束；
取决于所述二维空间编码的红外光束，生成能被用来跟踪所述眼睛的眼睛跟踪数据；以及
基于所述眼睛跟踪数据来控制或修改应用的方面。
9.一种在跟踪眼睛中使用的系统，所述系统包括：
红外照明源，所述红外照明源产生能被用来对眼睛照明的红外光；
波导，所述波导是透明的且包括输入耦合器和输出耦合器；
其中所述波导的所述输入耦合器包括多个弯曲栅格线，所述弯曲栅格线将入射到所述输入耦合器上的红外光束衍射到所述波导中并衍射向所述波导的所述输出耦合器所处的公共区域；
其中所述输入耦合器的所述多个弯曲栅格线具有径向变化的节距，并且所述多个弯曲栅格线被配置成引起所述输入耦合器作为聚焦元件工作，以使得从所述眼睛上的相同场点反射的穿过所述输入耦合器进入所述波导的红外光线束在所述波导内部变为准直的并相对于所述波导的红外光穿过其离开的表面以相同的入射角离开所述波导，并且从所述眼睛上的不同场点反射的红外光线束以相应的不同反射角穿过所述波导传播，并相对于所述波导的红外光穿过其离开的表面以相应的不同的入射角离开所述波导；
其中所述波导的所述输入耦合器被置于用由所述红外照明源所产生的红外光照明的眼睛前方时，从所述眼睛反射并入射到所述输入耦合器上的红外光束在所述输入耦合器处进入所述波导，穿过所述波导从所述输入耦合器经由全内反射传播到所述输出耦合器，并在所述输出耦合器附近离开所述波导；以及
其中所述输入耦合器的所述弯曲栅格线的所述径向变化的节距随着所述弯曲栅格线和所述输出耦合器之间的距离的增加而减小。
10.如权利要求9所述的系统，其特征在于，进一步包括：
透镜模块，所述透镜模块将离开所述波导的所述红外光束从角度编码的红外光束转换为二维空间编码的红外光束；
传感器，所述传感器取决于使用所述透镜模块产生的二维空间编码的红外光束来产生眼睛跟踪数据；以及
处理器，所述处理器基于所述眼睛跟踪数据来控制或修改应用的方面。
CN201480071271.4A 2013-12-26 2014-11-24 眼睛跟踪装置、方法和系统 Active CN105849621B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/140,987 US9459451B2 (en) 2013-12-26 2013-12-26 Eye tracking apparatus, method and system
US14/140,987 2013-12-26
PCT/US2014/066999 WO2015099924A1 (en) 2013-12-26 2014-11-24 Eye tracking apparatus, method and system

Publications (2)

Publication Number Publication Date
CN105849621A CN105849621A (zh) 2016-08-10
CN105849621B true CN105849621B (zh) 2018-11-06

Family

ID=52146695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480071271.4A Active CN105849621B (zh) 2013-12-26 2014-11-24 眼睛跟踪装置、方法和系统

Country Status (5)

Country Link
US (2) US9459451B2 (zh)
EP (1) EP3087425B1 (zh)
KR (2) KR102273001B1 (zh)
CN (1) CN105849621B (zh)
WO (1) WO2015099924A1 (zh)

Families Citing this family (150)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL166799A (en) 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
US10073264B2 (en) 2007-08-03 2018-09-11 Lumus Ltd. Substrate-guide optical device
GB0522968D0 (en) 2005-11-11 2005-12-21 Popovich Milan M Holographic illumination device
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
WO2011042711A2 (en) 2009-10-09 2011-04-14 Milan Momcilo Popovich Compact edge illuminated diffractive display
US11204540B2 (en) 2009-10-09 2021-12-21 Digilens Inc. Diffractive waveguide providing a retinal image
WO2012136970A1 (en) 2011-04-07 2012-10-11 Milan Momcilo Popovich Laser despeckler based on angular diversity
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
WO2013027004A1 (en) 2011-08-24 2013-02-28 Milan Momcilo Popovich Wearable data display
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
WO2013102759A2 (en) 2012-01-06 2013-07-11 Milan Momcilo Popovich Contact image sensor using switchable bragg gratings
CN104780828B (zh) 2012-03-26 2017-10-27 纽约大学 用于评估中枢神经系统完整性的方法和试剂盒
CN106125308B (zh) 2012-04-25 2019-10-25 罗克韦尔柯林斯公司 用于显示图像的装置和方法
WO2013167864A1 (en) 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
IL219907A (en) 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US9933684B2 (en) * 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
WO2014188149A1 (en) 2013-05-20 2014-11-27 Milan Momcilo Popovich Holographic waveguide eye tracker
JP6676522B2 (ja) 2013-06-17 2020-04-08 ニューヨーク ユニバーシティ 対象における眼球運動を追跡するためのデバイスの作動方法、および当該デバイスによって追跡された眼球運動のデータの中枢神経系病変を位置特定するための使用方法
US9727772B2 (en) 2013-07-31 2017-08-08 Digilens, Inc. Method and apparatus for contact image sensing
US9459451B2 (en) 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system
AU2015301370B2 (en) 2014-08-04 2020-04-30 New York University Methods and kits for diagnosing, assessing or quantitating drug use, drug abuse and narcosis, internuclear ophthalmoplegia, attention deficit hyperactivity disorder (ADHD), chronic traumatic encephalopathy, schizophrenia spectrum disorders and alcohol consumption
US10359736B2 (en) 2014-08-08 2019-07-23 Digilens Inc. Method for holographic mastering and replication
US9377623B2 (en) * 2014-08-11 2016-06-28 Microsoft Technology Licensing, Llc Waveguide eye tracking employing volume Bragg grating
WO2016042283A1 (en) 2014-09-19 2016-03-24 Milan Momcilo Popovich Method and apparatus for generating input images for holographic waveguide displays
US9494799B2 (en) 2014-09-24 2016-11-15 Microsoft Technology Licensing, Llc Waveguide eye tracking employing switchable diffraction gratings
WO2016046514A1 (en) 2014-09-26 2016-03-31 LOKOVIC, Kimberly, Sun Holographic waveguide opticaltracker
EP3245444B1 (en) 2015-01-12 2021-09-08 DigiLens Inc. Environmentally isolated waveguide display
EP3245551B1 (en) 2015-01-12 2019-09-18 DigiLens Inc. Waveguide light field displays
CN107533137A (zh) 2015-01-20 2018-01-02 迪吉伦斯公司 全息波导激光雷达
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
US10459145B2 (en) 2015-03-16 2019-10-29 Digilens Inc. Waveguide device incorporating a light pipe
NZ773844A (en) 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
US10591756B2 (en) 2015-03-31 2020-03-17 Digilens Inc. Method and apparatus for contact image sensing
EP3770659B1 (en) * 2015-05-19 2023-10-04 Magic Leap, Inc. Illuminator
US9910276B2 (en) 2015-06-30 2018-03-06 Microsoft Technology Licensing, Llc Diffractive optical elements with graded edges
US10670862B2 (en) 2015-07-02 2020-06-02 Microsoft Technology Licensing, Llc Diffractive optical elements with asymmetric profiles
US10038840B2 (en) 2015-07-30 2018-07-31 Microsoft Technology Licensing, Llc Diffractive optical element using crossed grating for pupil expansion
US9864208B2 (en) 2015-07-30 2018-01-09 Microsoft Technology Licensing, Llc Diffractive optical elements with varying direction for depth modulation
US10073278B2 (en) * 2015-08-27 2018-09-11 Microsoft Technology Licensing, Llc Diffractive optical element using polarization rotation grating for in-coupling
US10618521B2 (en) * 2015-09-21 2020-04-14 Ford Global Technologies, Llc Wearable in-vehicle eye gaze detection
US10690916B2 (en) 2015-10-05 2020-06-23 Digilens Inc. Apparatus for providing waveguide displays with two-dimensional pupil expansion
US10429645B2 (en) 2015-10-07 2019-10-01 Microsoft Technology Licensing, Llc Diffractive optical element with integrated in-coupling, exit pupil expansion, and out-coupling
US10241332B2 (en) 2015-10-08 2019-03-26 Microsoft Technology Licensing, Llc Reducing stray light transmission in near eye display using resonant grating filter
US10401953B2 (en) * 2015-10-26 2019-09-03 Pillantas Inc. Systems and methods for eye vergence control in real and augmented reality environments
US9946072B2 (en) 2015-10-29 2018-04-17 Microsoft Technology Licensing, Llc Diffractive optical element with uncoupled grating structures
AT517348B1 (de) * 2015-11-06 2017-01-15 Isiqiri Interface Tech Gmbh Vorrichtung und Verfahren zur Augenüberwachung
EP3371973B1 (en) * 2015-11-06 2023-08-09 Facebook Technologies, LLC Eye tracking using a diffraction pattern of coherent light on the surface of the eye
US10234686B2 (en) 2015-11-16 2019-03-19 Microsoft Technology Licensing, Llc Rainbow removal in near-eye display using polarization-sensitive grating
US10444972B2 (en) 2015-11-28 2019-10-15 International Business Machines Corporation Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries
CN109073889B (zh) 2016-02-04 2021-04-27 迪吉伦斯公司 全息波导光学跟踪器
WO2017162999A1 (en) 2016-03-24 2017-09-28 Popovich Milan Momcilo Method and apparatus for providing a polarization selective holographic waveguide device
KR20220040511A (ko) * 2016-04-08 2022-03-30 매직 립, 인코포레이티드 가변 포커스 렌즈 엘리먼트들을 가진 증강 현실 시스템들 및 방법들
EP3433658B1 (en) 2016-04-11 2023-08-09 DigiLens, Inc. Holographic waveguide apparatus for structured light projection
TWI597049B (zh) * 2016-06-01 2017-09-01 清弘生醫股份有限公司 可穿戴式眼溫監測裝置及其系統
US20180003961A1 (en) * 2016-07-01 2018-01-04 Intel Corporation Gaze detection in head worn display
AU2017305321B2 (en) 2016-08-02 2022-12-22 New York University Methods and kits for assessing neurological function and localizing neurological lesions
US10268268B1 (en) 2016-09-02 2019-04-23 Facebook Technologies, Llc Waveguide integrated eye tracking
US20180068449A1 (en) * 2016-09-07 2018-03-08 Valve Corporation Sensor fusion systems and methods for eye-tracking applications
US10863902B2 (en) 2016-10-03 2020-12-15 Oculogica Inc. Method for detecting glaucoma
US10201274B2 (en) * 2016-10-20 2019-02-12 Oculogica Inc Eye tracking system with biometric identification
WO2018102834A2 (en) 2016-12-02 2018-06-07 Digilens, Inc. Waveguide device with uniform output illumination
EP4002000A1 (en) 2016-12-08 2022-05-25 Magic Leap, Inc. Diffractive devices based on cholesteric liquid crystal
US10120442B2 (en) * 2016-12-21 2018-11-06 Oculus Vr, Llc Eye tracking using a light field camera on a head-mounted display
WO2018122859A1 (en) * 2016-12-31 2018-07-05 Lumus Ltd. Eye tracker based on retinal imaging via light-guide optical element
US10168531B1 (en) * 2017-01-04 2019-01-01 Facebook Technologies, Llc Lightfield waveguide integrated eye tracking
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
US10108014B2 (en) * 2017-01-10 2018-10-23 Microsoft Technology Licensing, Llc Waveguide display with multiple focal depths
EP3574360B1 (en) 2017-01-28 2024-07-10 Lumus Ltd. Augmented reality imaging system
US11141095B2 (en) 2017-02-17 2021-10-12 Oculogica Inc. Method and system for detecting concussion
IL268427B2 (en) 2017-02-23 2024-03-01 Magic Leap Inc Variable focus virtual imagers based on polarization conversion
CN106873159A (zh) * 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
KR102576133B1 (ko) 2017-03-21 2023-09-07 매직 립, 인코포레이티드 회절 광학 엘리먼트들을 이용한 눈-이미징 장치
KR20230151053A (ko) * 2017-03-21 2023-10-31 매직 립, 인코포레이티드 광 스캐닝 프로젝터와 함께 눈 움직임을 추적하기 위한 방법 및 시스템
CN106873163B (zh) * 2017-04-01 2023-01-10 歌尔股份有限公司 一种vr头戴显示器
JP7125423B2 (ja) * 2017-04-17 2022-08-24 アコニア ホログラフィックス、エルエルシー スキューミラー補助画像化
US10674143B2 (en) 2017-05-12 2020-06-02 Qualcomm Incorporated System for eye tracking
US10546518B2 (en) 2017-05-15 2020-01-28 Google Llc Near-eye display with extended effective eyebox via eye tracking
CN114019683A (zh) * 2017-05-17 2022-02-08 苹果公司 具有视力矫正的头戴式显示设备
CN110998413B (zh) * 2017-05-19 2022-10-21 视瑞尔技术公司 包括光导的显示装置
KR102365726B1 (ko) 2017-06-13 2022-02-22 한국전자통신연구원 광학 투시 기반의 합성 이미지 제공 방법 및 이를 위한 장치
US10629105B2 (en) 2017-06-15 2020-04-21 Google Llc Near-eye display with frame rendering based on reflected wavefront analysis for eye characterization
US10521658B2 (en) * 2017-07-07 2019-12-31 Facebook Technologies, Llc Embedded eye tracker with dichroic mirror
DE102017211910A1 (de) * 2017-07-12 2019-01-17 Dr. Johannes Heidenhain Gmbh Diffraktiver Biosensor
EP3655817B1 (en) 2017-07-19 2023-03-08 Lumus Ltd. Lcos illumination via loe
EP3443883B1 (de) * 2017-08-14 2020-07-29 Carl Zeiss Vision International GmbH Vorrichtungen und verfahren zur durchführung augenbezogener messungen
US10394034B2 (en) * 2017-08-15 2019-08-27 Microsoft Technology Licensing, Llc Eye-tracking with MEMS scanning and optical relay
US11351453B2 (en) * 2017-09-12 2022-06-07 Sony Interactive Entertainment LLC Attention-based AI determination of player choices
EP3668403B1 (en) 2017-09-13 2021-12-29 Oculogica Inc. Eye tracking system
JP7280250B2 (ja) 2017-09-21 2023-05-23 マジック リープ， インコーポレイテッド 眼および／または環境の画像を捕捉するように構成される導波管を伴う拡張現実ディスプレイ
US11567318B1 (en) * 2017-09-25 2023-01-31 Meta Platforms Technologies, Llc Determining features of a user's eye from depth mapping of the user's eye via indirect time of flight
DE102017217193B4 (de) * 2017-09-27 2019-07-25 Audi Ag Anzeigevorrichtung, insbesondere für ein Fahrzeug, sowie Fahrzeug mit einer solchen Anzeigevorrichtung
US20190094549A1 (en) * 2017-09-28 2019-03-28 Thalmic Labs Inc. Systems, devices, and methods for waveguide-based eyebox expansion in wearable heads-up displays
US10627627B2 (en) * 2017-10-02 2020-04-21 Google Llc Eye tracking using light guide with faceted combiner
EP3695270A4 (en) 2017-10-11 2021-06-23 Magic Leap, Inc. AUGMENTED REALITY HEADSET INCLUDING A TRANSPARENT EMISSIVE DISPLAY EYEPIECE
CN111386495B (zh) 2017-10-16 2022-12-09 迪吉伦斯公司 用于倍增像素化显示器的图像分辨率的系统和方法
US11073903B1 (en) 2017-10-16 2021-07-27 Facebook Technologies, Llc Immersed hot mirrors for imaging in eye tracking
US11187902B2 (en) * 2017-10-16 2021-11-30 Akonia Holographics Llc Two-dimensional light homogenization
US11237628B1 (en) 2017-10-16 2022-02-01 Facebook Technologies, Llc Efficient eye illumination using reflection of structured light pattern for eye tracking
US10732427B2 (en) * 2017-11-20 2020-08-04 Microsoft Technology Licensing, Llc Eye-tracking system positioning diffractive couplers on waveguide
CN107783297A (zh) * 2017-11-22 2018-03-09 深圳创维新世界科技有限公司 近眼显示装置
US10761314B1 (en) * 2017-12-05 2020-09-01 Facebook, Inc. Apparatuses, systems, and methods for reflecting infrared light
US10506220B2 (en) 2018-01-02 2019-12-10 Lumus Ltd. Augmented reality displays with active alignment and corresponding methods
US10914950B2 (en) 2018-01-08 2021-02-09 Digilens Inc. Waveguide architectures and related methods of manufacturing
WO2019135796A1 (en) 2018-01-08 2019-07-11 Digilens, Inc. Systems and methods for high-throughput recording of holographic gratings in waveguide cells
EP3710876A4 (en) 2018-01-08 2022-02-09 DigiLens Inc. SYSTEMS AND PROCESSES FOR THE MANUFACTURE OF WAVEGUIDE CELLS
CN108279496B (zh) * 2018-02-09 2021-02-19 京东方科技集团股份有限公司 一种视频眼镜的眼球追踪模组及其方法、视频眼镜
WO2019178614A1 (en) 2018-03-16 2019-09-19 Digilens Inc. Holographic waveguides incorporating birefringence control and methods for their fabrication
US20190312186A1 (en) * 2018-04-09 2019-10-10 Microsoft Technology Licensing, Llc Side-Emitting LED with Increased Illumination
US10761256B2 (en) 2018-04-16 2020-09-01 Samsung Electronics Co., Ltd. Backlight unit providing uniform light and display apparatus including the same
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
US10788892B2 (en) 2018-05-23 2020-09-29 Facebook Technologies, Llc In-field illumination and imaging for eye tracking
US11455031B1 (en) 2018-06-04 2022-09-27 Meta Platforms Technologies, Llc In-field illumination for eye tracking
CN110596889A (zh) * 2018-06-13 2019-12-20 托比股份公司 眼睛跟踪装置和制造眼睛跟踪装置的方法
WO2020023779A1 (en) 2018-07-25 2020-01-30 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
US10838132B1 (en) * 2018-08-21 2020-11-17 Facebook Technologies, Llc Diffractive gratings for eye-tracking illumination through a light-guide
KR102574995B1 (ko) * 2018-09-21 2023-09-06 돌비 레버러토리즈 라이쎈싱 코오포레이션 헤드마운트 디바이스의 광학 스택 내로 구성요소 통합
US10852817B1 (en) 2018-11-02 2020-12-01 Facebook Technologies, Llc Eye tracking combiner having multiple perspectives
US10725302B1 (en) 2018-11-02 2020-07-28 Facebook Technologies, Llc Stereo imaging with Fresnel facets and Fresnel reflections
CN109407326A (zh) * 2018-12-31 2019-03-01 上海鲲游光电科技有限公司 一种基于衍射整合器的增强现实显示系统及其制造方法
US11181979B2 (en) * 2019-01-08 2021-11-23 Avegant Corp. Sensor-based eye-tracking using a holographic optical element
DE102019102604A1 (de) * 2019-02-01 2020-08-06 Carl Zeiss Jena Gmbh Funktionalisierter Wellenleiter für ein Detektorsystem
CN109857253A (zh) * 2019-02-03 2019-06-07 北京七鑫易维信息技术有限公司 一种眼球追踪装置及方法
JP2022520472A (ja) 2019-02-15 2022-03-30 ディジレンズ インコーポレイテッド 統合された格子を使用してホログラフィック導波管ディスプレイを提供するための方法および装置
EP3939246A4 (en) 2019-03-12 2022-10-26 Lumus Ltd. IMAGE PROJECTOR
WO2020186113A1 (en) 2019-03-12 2020-09-17 Digilens Inc. Holographic waveguide backlight and related methods of manufacturing
US11650426B2 (en) 2019-05-09 2023-05-16 Meta Platforms Technologies, Llc Holographic optical elements for eye-tracking illumination
US20200386947A1 (en) 2019-06-07 2020-12-10 Digilens Inc. Waveguides Incorporating Transmissive and Reflective Gratings and Related Methods of Manufacturing
WO2020261268A1 (en) 2019-06-23 2020-12-30 Lumus Ltd. Display with foveated optical correction
CN110161703A (zh) * 2019-06-26 2019-08-23 北京枭龙科技有限公司 一种具有眼球追踪功能的近眼显示装置
US11609424B2 (en) 2019-07-08 2023-03-21 Meta Platforms Technologies, Llc Apodized reflective optical elements for eye-tracking and optical artifact reduction
US11067821B2 (en) * 2019-07-08 2021-07-20 Facebook Technologies, Llc Apodized optical elements for optical artifact reduction
CN114341729A (zh) 2019-07-29 2022-04-12 迪吉伦斯公司 用于使像素化显示器的图像分辨率和视场倍增的方法和设备
WO2021041949A1 (en) 2019-08-29 2021-03-04 Digilens Inc. Evacuating bragg gratings and methods of manufacturing
JP2022554051A (ja) 2019-10-23 2022-12-28 ルーマス リミテッド 非点収差光学系を採用したディスプレイおよび収差補償
US11169374B1 (en) * 2019-12-31 2021-11-09 Snap Inc. Eyewear eye-tracking using optical waveguide
US11950022B1 (en) 2020-04-24 2024-04-02 Apple Inc. Head-mounted devices with forward facing cameras
US20230210363A1 (en) * 2020-06-18 2023-07-06 Northwestern University Infrared tele-video-oculography for remote evaluation of eye movements
KR102223621B1 (ko) * 2020-07-01 2021-03-05 부경대학교 산학협력단 비가시광선 가시화 자동정합형 증강현실 글래스
CN116547583A (zh) * 2020-12-03 2023-08-04 三星电子株式会社 包括发光单元的可穿戴电子装置
CN116635773A (zh) 2021-03-01 2023-08-22 鲁姆斯有限公司 具有从投影仪到波导中的紧凑耦合的光学系统
US12003697B2 (en) * 2021-05-06 2024-06-04 Samsung Electronics Co., Ltd. Wearable electronic device and method of outputting three-dimensional image
US11397465B1 (en) * 2021-05-17 2022-07-26 Microsoft Technology Licensing, Llc Glint-based eye tracker illumination using dual-sided and dual-layered architectures
IL308019B2 (en) 2021-05-19 2024-06-01 Lumus Ltd Active optical engine
CN117651892A (zh) 2021-08-23 2024-03-05 鲁姆斯有限公司 具有嵌入式耦入反射器的复合光导光学元件的制造方法
EP4167199A1 (en) 2021-10-14 2023-04-19 Telefonica Digital España, S.L.U. Method and system for tracking and quantifying visual attention on a computing device
TW202332941A (zh) * 2021-12-28 2023-08-16 美商元平台技術有限公司 用於眼睛追蹤的波長多工式波導系統
WO2023129525A1 (en) * 2021-12-28 2023-07-06 Meta Platforms Technologies, Llc Multi-directional gratings in a waveguide system
US11741861B1 (en) 2022-02-08 2023-08-29 Lumus Ltd. Optical system including selectively activatable facets

Family Cites Families (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3861784A (en) * 1973-06-29 1975-01-21 Sperry Rand Corp Programmable diffraction grating
US4235504A (en) * 1975-06-10 1980-11-25 Fujitsu Limited Holographic disk scanner
CA1174882A (en) 1981-02-23 1984-09-25 Charles J. Kramer Plane grating polarizing beamsplitter
JPS61213802A (ja) * 1985-03-20 1986-09-22 Toshiba Corp 光カプラ
US4711512A (en) 1985-07-12 1987-12-08 Environmental Research Institute Of Michigan Compact head-up display
US5440669A (en) 1991-07-26 1995-08-08 Accuwave Corporation Photorefractive systems and methods
US5491570A (en) 1991-07-26 1996-02-13 Accuwave Corporation Methods and devices for using photorefractive materials at infrared wavelengths
GB2267165A (en) 1992-05-11 1993-11-24 Sharp Kk Optical information processor
DE69434719T2 (de) 1993-02-26 2007-02-08 Yeda Research And Development Co., Ltd. Optische holographische Vorrichtungen
US5614988A (en) * 1993-12-06 1997-03-25 Nikon Corporation Projection exposure apparatus and method with a plurality of projection optical units
US5986746A (en) 1994-02-18 1999-11-16 Imedge Technology Inc. Topographical object detection system
US5701132A (en) 1996-03-29 1997-12-23 University Of Washington Virtual retinal display with expanded exit pupil
US5856842A (en) 1996-08-26 1999-01-05 Kaiser Optical Systems Corporation Apparatus facilitating eye-contact video communications
US5886822A (en) * 1996-10-08 1999-03-23 The Microoptical Corporation Image combining system for eyeglasses and face masks
US6285813B1 (en) * 1997-10-03 2001-09-04 Georgia Tech Research Corporation Diffractive grating coupler and method
WO1999052002A1 (en) 1998-04-02 1999-10-14 Elop Electro-Optics Industries Ltd. Holographic optical devices
US6323970B1 (en) 1999-09-29 2001-11-27 Digilents, Inc. Method of producing switchable holograms
US7123794B2 (en) * 2000-03-16 2006-10-17 Lightsmyth Technologies Inc Distributed optical structures designed by computed interference between simulated optical signals
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US6771423B2 (en) 2001-05-07 2004-08-03 Richard Geist Head-mounted virtual display apparatus with a near-eye light deflecting element in the peripheral field of view
US6731434B1 (en) 2001-05-23 2004-05-04 University Of Central Florida Compact lens assembly for the teleportal augmented reality system
US6791760B2 (en) * 2001-07-24 2004-09-14 Itt Manufacturing Enterprises, Inc. Planar diffractive relay
IL148804A (en) 2002-03-21 2007-02-11 Yaacov Amitai Optical device
US7619739B1 (en) 2002-08-29 2009-11-17 Science Applications International Corporation Detection and identification of biological agents using Bragg filters
FI114945B (fi) 2002-09-19 2005-01-31 Nokia Corp Sähköisesti säädettävä diffraktiivinen hilaelementti
US7205960B2 (en) * 2003-02-19 2007-04-17 Mirage Innovations Ltd. Chromatic planar optic display system
US20070041684A1 (en) 2003-05-09 2007-02-22 Sbg Labs Inc. A Delaware Corporation Switchable viewfinder display
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US20060132914A1 (en) 2003-06-10 2006-06-22 Victor Weiss Method and system for displaying an informative image against a background image
US7245369B2 (en) 2003-11-13 2007-07-17 B & W Tek, Inc. Spectroscopic apparatus using spectrum narrowed and stabilized laser with Bragg grating
KR100584703B1 (ko) * 2003-12-26 2006-05-30 한국전자통신연구원 평면 격자렌즈
DE602006010215D1 (de) 2005-09-07 2009-12-17 Bae Systems Plc Projektionsanzeige mit einem stabartigen wellenleiter mit rechteckigem querschnitt und einem plattenartigen wellenleiter, die jeweils ein beugungsgitter aufweisen
US8068709B2 (en) * 2005-09-12 2011-11-29 Lightsmyth Technologies Inc. Transmission gratings designed by computed interference between simulated optical signals and fabricated by reduction lithography
US7931540B2 (en) 2006-08-04 2011-04-26 Moose Mountain Toymakers Ltd. Children's playland
US8160411B2 (en) 2006-12-28 2012-04-17 Nokia Corporation Device for expanding an exit pupil in two dimensions
DE102007023560B4 (de) 2007-05-21 2009-02-05 Ovd Kinegram Ag Mehrschichtkörper
US8491121B2 (en) 2007-10-09 2013-07-23 Elbit Systems Of America, Llc Pupil scan apparatus
US8511827B2 (en) * 2008-01-22 2013-08-20 The Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted projection display using reflective microdisplays
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8311067B2 (en) 2008-06-12 2012-11-13 Akonia Holographics, Llc System and devices for improving external cavity diode lasers using wavelength and mode sensors and compact optical paths
US7660047B1 (en) 2008-09-03 2010-02-09 Microsoft Corporation Flat panel lens
US20100079865A1 (en) 2008-09-26 2010-04-01 Nokia Corporation Near-to-eye scanning display with exit-pupil expansion
US10274660B2 (en) * 2008-11-17 2019-04-30 Luminit, Llc Holographic substrate-guided wave-based see-through display
AU2010238336B2 (en) 2009-04-14 2014-02-06 Bae Systems Plc Optical waveguide and display device
WO2010122330A1 (en) 2009-04-20 2010-10-28 Bae Systems Plc Surface relief grating in an optical waveguide having a reflecting surface and dielectric layer conforming to the surface
US8639072B2 (en) 2011-10-19 2014-01-28 Milan Momcilo Popovich Compact wearable display
JP5316391B2 (ja) 2009-08-31 2013-10-16 ソニー株式会社 画像表示装置及び頭部装着型ディスプレイ
US11320571B2 (en) 2012-11-16 2022-05-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view with uniform light extraction
US8233204B1 (en) 2009-09-30 2012-07-31 Rockwell Collins, Inc. Optical displays
KR20110050929A (ko) * 2009-11-09 2011-05-17 삼성전자주식회사 착용형 디스플레이장치
JP5546217B2 (ja) * 2009-11-20 2014-07-09 キヤノン株式会社 回折光学素子およびそれを有する光学系、撮像装置
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20120017153A1 (en) 2010-07-15 2012-01-19 Ken Matsuda Dynamic video editing
US8861086B2 (en) * 2010-08-13 2014-10-14 The Penn State Research Foundation Compact spectrometer including a diffractive optical element with dual dispersion and focusing functionality
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US8908738B2 (en) 2010-10-01 2014-12-09 Physical Sciences, Inc. Ring resonator with a holographic reflector
EP2625845B1 (en) 2010-10-04 2021-03-03 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
WO2012062681A1 (de) 2010-11-08 2012-05-18 Seereal Technologies S.A. Anzeigegerät, insbesondere ein head-mounted display, basierend auf zeitlichen und räumlichen multiplexing von hologrammkacheln
KR101993565B1 (ko) 2010-12-22 2019-06-26 시리얼 테크놀로지즈 에스.에이. 관찰자 트래킹을 위한 조합된 광변조 장치
GB2490354A (en) 2011-04-28 2012-10-31 Univ Southampton Laser with axially-symmetric beam profile
WO2013027004A1 (en) 2011-08-24 2013-02-28 Milan Momcilo Popovich Wearable data display
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US8998414B2 (en) * 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
NZ719204A (en) * 2012-01-24 2017-11-24 Univ Arizona Compact eye-tracked head-mounted display
US8736963B2 (en) * 2012-03-21 2014-05-27 Microsoft Corporation Two-dimensional exit-pupil expansion
CN106125308B (zh) 2012-04-25 2019-10-25 罗克韦尔柯林斯公司 用于显示图像的装置和方法
WO2013167864A1 (en) 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
IL219907A (en) * 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US10502876B2 (en) 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US9310277B2 (en) 2012-07-06 2016-04-12 Ta-Min Peng Tire temperature and tire pressure wireless sensing device
US10025089B2 (en) 2012-10-05 2018-07-17 Microsoft Technology Licensing, Llc Backlight for viewing three-dimensional images from a display from variable viewing angles
US9933684B2 (en) 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
JP6163753B2 (ja) 2012-12-27 2017-07-19 セイコーエプソン株式会社 液室形成体及び液体噴射装置
US9459451B2 (en) 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system

Also Published As

Publication number Publication date
KR102273001B1 (ko) 2021-07-06
US9759913B2 (en) 2017-09-12
KR102341225B1 (ko) 2021-12-17
US20150185475A1 (en) 2015-07-02
WO2015099924A1 (en) 2015-07-02
US9459451B2 (en) 2016-10-04
US20160370583A1 (en) 2016-12-22
EP3087425B1 (en) 2018-08-08
CN105849621A (zh) 2016-08-10
KR20160102481A (ko) 2016-08-30
KR20210084669A (ko) 2021-07-07
EP3087425A1 (en) 2016-11-02

Similar Documents

Publication Publication Date Title
CN105849621B (zh) 眼睛跟踪装置、方法和系统
CN106662685B (zh) 采用体布拉格光栅的波导眼睛跟踪
CN106716223B (zh) 采用可切换衍射光栅的波导眼睛跟踪
CN110476105B (zh) 均匀性提高并且颜色之间的交叉耦合减少的波导显示器
US9927614B2 (en) Augmented reality display system with variable focus
CN108431738A (zh) 基于波动的光标栓系
KR20150114977A (ko) 영상 광을 접안 디스플레이에 결합시키는 투사 광학계
US20160097929A1 (en) See-through display optic structure
US20220291437A1 (en) Light redirection feature in waveguide display
US20240192427A1 (en) Reflector orientation of geometrical and mixed waveguide for reducing grating conspicuity
US20240179284A1 (en) Dual-path disparity sensor
WO2022192303A1 (en) Light redirection feature in waveguide display
CN116964507A (zh) 波导显示器中的光重定向特征

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant