CN106716223B - 采用可切换衍射光栅的波导眼睛跟踪 - Google Patents

采用可切换衍射光栅的波导眼睛跟踪 Download PDF

Info

Publication number
CN106716223B
CN106716223B CN201580051654.XA CN201580051654A CN106716223B CN 106716223 B CN106716223 B CN 106716223B CN 201580051654 A CN201580051654 A CN 201580051654A CN 106716223 B CN106716223 B CN 106716223B
Authority
CN
China
Prior art keywords
diffraction grating
eyes
waveguide
electronically switch
input coupler
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580051654.XA
Other languages
English (en)
Other versions
CN106716223A (zh
Inventor
S·罗宾斯
I·A·恩古延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106716223A publication Critical patent/CN106716223A/zh
Application granted granted Critical
Publication of CN106716223B publication Critical patent/CN106716223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/292—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection by controlled diffraction or phased-array beam steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A61B3/005—Constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/14—Optical objectives specially designed for the purposes specified below for use with infrared or ultraviolet radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nonlinear Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Toxicology (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
  • Eye Examination Apparatus (AREA)
  • Optical Elements Other Than Lenses (AREA)

Abstract

供在跟踪通过红外光照射的眼睛时使用的透明波导包括输入耦合器和输出耦合器。输入耦合器包括彼此平行布置的可电子地切换的衍射光栅的堆叠，这些可电子地切换的衍射光栅中的每一者具有相应的透镜光学能力，这使得该堆叠中的每一光栅具有不同的焦距。每一光栅在被打开时将接收到的红外光耦合到波导中。传感器取决于在输出耦合器处离开波导的红外光束对眼睛进行成像。使用传感器获得的眼睛的图像被分析以确定这些可电子地切换的衍射光栅中的哪一者在被打开时提供眼睛或其部分的最佳聚焦图像。这些可电子地切换的衍射光栅中提供眼睛的最佳聚焦图像的那一个可电子地切换的衍射光栅被用于在眼睛跟踪期间对眼睛进行成像。

Description

采用可切换衍射光栅的波导眼睛跟踪
背景
透视、混合现实显示设备系统使得用户能够观察覆盖在物理场景上的数字信息。为了实现脱手用户交互，透视、混合现实显示设备系统还可配备有眼睛跟踪器。通常，眼睛跟踪器包括用于照射用户的眼睛的红外(IR)光源以及用于对用户的眼睛进行成像的传感器(例如相机)，例如，来观察反射的闪光和虹膜移动以计算注视方向。对眼睛的照射和成像优选地被实现成使得：混合现实显示设备系统的透视属性不会受到眼睛跟踪硬件的损害；对眼睛的成像与所有类型的处方眼镜(prescription spectacles)一起工作；并且对眼睛的成像覆盖整个眼睛移动范围加上瞳孔间距距离范围和良视距距离范围。
对眼睛进行成像以实现眼睛跟踪的一种方式是使用被安装在头戴式显示(HMD)设备的镜架上的简单相机，其中该相机被直接聚焦于用户的眼睛。换言之，存在从相机到眼睛的直接视线。尽管这样的配置相对简单和便宜，但是它对相机相对于眼睛的位置和移动高度敏感。而且，根据这样的配置，相机需要被定位成接近于眼睛高度，这通常导致混合现实显示设备系统的透视属性的至少部分遮挡。替代地，部分反射器可被用来将相机观察路径折叠到用户的太阳穴。尽管此替代配置允许相机被定位在透视视野之外，但是如果眼睛跟踪需要与处方眼镜一起工作，则该替代配置的实现是有问题的。
另一种可能是使用基于自由形式棱镜或其他目镜的混合现实显示设备系统中的反向光路成像。该技术依赖于实际的显示光学器件来还提供用于眼睛跟踪的成像功能。然而，因为自由形式棱镜或目镜的组件趋向于在尺寸上相当大，所以该方法并不总是实用的。仅添加用于眼睛跟踪的自由形式光学元件也是可能的，但是这将是昂贵的并且将向系统增加显著的重量和尺寸。
概述
本文描述的某些实施例涉及在跟踪由红外光照射的眼睛时使用的波导。这样的波导(其可在头戴式显示器(HMD)中被使用，但不限于与其一起使用)是透明的并且包括输入耦合器以及输出耦合器。根据特定实施例，输入耦合器包括彼此平行布置的两个或更多个可电子地切换的衍射光栅的堆叠。这些可电子地切换的衍射光栅中的每一者都具有各自的透镜光学能力和各自的棱镜光学能力。可电子地切换的衍射光栅中的每一者的透镜光学能力彼此不同，使得可电子地切换的衍射光栅中的每一者具有不同的焦距。可电子地切换的衍射光栅中的每一者当被打开时被适配成接收具有红外波长的红外光并将接收到的红外光耦合到波导中。当输入耦合器被定位在用红外光照射的眼睛前面时，从眼睛反射并由输入耦合器接收的红外光的至少一部分在输入耦合器处被耦合到波导中，经由全内反射在波导内从输入耦合器传播到输出耦合器，并在输出耦合器附近离开波导。传感器取决于在输出耦合器处离开波导的红外光束来对眼睛进行成像。在某些实施例中，透镜模块在输出耦合器和传感器之间，并且在输出耦合器处离开波导的红外光束在入射在传感器上之前通过该透镜模块。
输入耦合器控制器控制何时打开可电子地切换的衍射光栅中的每一者，使得一次仅打开可电子地切换的衍射光栅之一。图像分析器分析使用传感器获得的眼睛的两个或更多个图像，以确定可电子地切换的衍射光栅中的哪一者在被打开时提供眼睛或其部分的最佳聚焦图像。输入耦合器控制器使得可电子地切换的衍射光栅中的一个衍射光栅被用来在眼睛跟踪期间对眼睛进行成像，图像分析模块确定该衍射光栅提供眼睛的最佳聚焦图像。
在某些实施例中，输入耦合器还包括彼此平行布置的两个和更多个可电子地切换的衍射光栅的第二堆叠，其中第二堆叠毗邻第一堆叠。在这样的实施例中，第二堆叠中的可电子地切换的衍射光栅提供与由第一堆叠中的可电子地切换的衍射光栅提供的视野不同的视野。
提供本概述以便以简化的形式引入以下在详细描述中进一步描述的一些概念。本概述并非旨在标识所要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定所要求保护的主题的范围。
附图简述
图1是描绘透视、混合现实显示设备系统的一个实施例的示例组件的框图。
图2A是被具体化为提供对硬件和软件组件的支持的眼镜的透视、混合现实显示设备的实施例中的镜架的眼镜腿的侧视图。
图2B是透视、近眼、混合现实设备的集成眼睛跟踪和显示光学系统的实施例的顶视图。
图3A是可以用于一个或多个实施例的透视、近眼、混合现实显示设备的硬件和软件组件的一个实施例的框图。
图3B是描述处理单元的各组件的框图。
图4A例示了根据实施例的包括波导的眼睛跟踪系统的一部分的侧视图。
图4B是图4A中引入的波导的部分的放大图。
图4C是根据其中输入耦合器包括彼此平行布置的两个或更多个可电子地切换的衍射光栅的堆叠的实施例的图4A中引入的波导的部分的放大图。
图4D例示了波导的输入耦合器的衍射光栅的示例性k向量和对应的示例性k向量角。
图4E例示了包括输入耦合器和输出耦合器的波导的示例性正视图。
图4F例示了眼睛运动框可如何通过将输入耦合器的两个可电子地切换的衍射光栅(或两个可电子地切换的衍射光栅的堆叠)定位成在水平上彼此毗邻以被拆分成两个区。
图4G例示了眼睛运动框可如何通过将输入耦合器的两个可电子地切换的衍射光栅(或两个可电子地切换的衍射光栅的堆叠)定位成在垂直上彼此毗邻以被拆分成两个区。
图4H例示了眼睛运动框可如何通过将输入耦合器的四个可电子地切换的衍射光栅(或四个可电子地切换的衍射光栅的堆叠)定位在2乘2的平铺(tiled)布置中以被拆分成四个区。
图5例示了根据一实施例的透镜光学能力和楔形光学能力(wedge power)可如何在双光束过程中在数学上被组合以生成相位复制主全息图(phase copy masterhologram)，该相位复制主全息图进而可在接触复制(contact copy)过程中被用来产生衍射光栅类型的输入耦合器。
图6是被用来概述供在跟踪眼睛时使用的方法的高级流程图。
详细描述
本技术的某些实施例涉及波导，该波导允许实现对眼睛的成像以用于眼睛跟踪的目的，而不损害混合现实显示设备系统的透视属性。此外，这些实施例可有利地与处方眼镜一起使用。而且，这样的实施例可被用来执行覆盖整个眼睛移动范围加上瞳孔间距离范围和出瞳距离距离范围的眼睛的成像。然而，在更详细地讨论这样的实施例之前，首先描述本技术的实施例可使用的示例性透视、混合现实显示设备系统是有用的。
图1是描绘透视、混合现实显示设备系统的一个实施例的示例组件的框图。系统8包括作为经由线6与处理单元4进行通信的近眼、头戴式显示设备2的透视显示设备。在其他实施例中，头戴式显示设备2经由无线通信来与处理单元4进行通信。处理单元4可以采取各种实施例。例如，处理单元4可被实现在如智能手机、平板或膝上型计算机之类的移动设备中。在一些实施例中，处理单元4是可被佩戴在用户的身体(例如，在所例示的示例中的腕)上或在口袋中的分开的单元，并且包括被用来操作近眼显示设备2的计算能力中的大部分能力。处理单元4可与不论是本示例中位于附近的还是处在远程位置的一个或多个中枢计算系统12在通信网络50上无线地(例如，WiFi、蓝牙、红外、RFID传输、无线通用串行总线(WUSB)、蜂窝、3G、4G或其他无线通信装置)进行通信。在其他实施例中，处理单元4的功能可被集成在显示设备2的软件和硬件组件中。
头戴式显示设备2(在一个实施例中它是带镜架115的眼镜的形状)被佩戴在用户的头上，使得用户能够透视显示器(在本示例中该显示器被实现为用于每一只眼睛的显示光学系统14)，并且从而具有用户前面的空间的实际直接视图。
使用术语“实际直接视图”来指直接用人眼看到真实世界对象，而非看到对象的经创建的图像表示的能力。例如，透过房间的玻璃看允许用户得到该房间的实际直接视图，而观看电视机上的房间的视频并不是该房间的实际直接视图。基于执行软件(例如，游戏应用)的上下文，该系统可在显示器上投影虚拟对象的图像(有时被称为虚拟图像)，虚拟对象的图像可由佩戴透视显示设备的人观看，同时该人还透过显示器观看真实世界对象。
镜架115提供用于将该系统的各元件保持在原位的支承体以及用于电连接的管道。在该实施例中，镜架115提供便利的眼镜架作为对下面进一步讨论的该系统的各元件的支承。在其他实施例中，可以使用其他支承结构。这样的结构的示例是面罩(visor)或护目镜。镜架115包括用于搁置在用户的每只耳朵上的镜腿或侧臂。镜腿102代表右镜腿的实施例，并且包括显示设备2的控制电路136。镜架115的鼻梁104包括用于记录声音并向处理单元4传送音频数据的话筒110。
图2A是被具体化为提供对硬件和软件组件的支持的眼镜的透视、混合现实显示设备的实施例中的镜架115的眼镜腿102的侧视图。在镜架115的前部是朝向物理环境或朝向外部的视频相机113，其可捕捉被传送到处理单元4的视频和静态图像。
来自相机的数据可被发送到控制电路136的处理器210、或处理单元4或者这两者，它们可处理数据，然而单元4也可将数据通过网络50发送到一个或多个计算机系统12用于处理。该处理标识并映射用户的现实世界视野。
控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电路136的更多细节在下文参照图3A提供。在镜腿102内部或被安装到镜腿102的有耳机130、惯性传感器132、GPS收发机144以及温度传感器138。在一个实施例中，惯性传感器132包括三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C(参见图3A)。惯性传感器用于感测头戴式显示器设备2的位置、朝向，以及突然加速。根据这些移动，头部位置同样可被确定。
被安装到镜腿102或在镜腿102内部的是图像源或图像生成单元120。在一个实施例中，图像源包括用于投射一个或多个虚拟对象的图像的微显示器120和用于将来自微显示器120的图像导入透视波导112中的透镜系统122。透镜系统122可包括一个或多个透镜。在一个实施例中，透镜系统122包括一个或多个准直的透镜。在例示出的示例中，反射元件124接收由透镜系统122引导的图像并且将图像数据光学地耦合到波导112中。
存在可被用来实现微显示器120的不同的图像生成技术。例如，微显示器120可使用透射式投影技术来实现，其中光源由光学活性材料(optically active material)来调制，用白光从背后照亮。这些技术通常使用具有强大背光和高光能量密度的LCD型显示器来实现。微显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。数字光处理(DLP)、硅基液晶(LCOS)以及高通公司的显示技术都是反射技术的示例。另外，微显示器120可使用发射技术来实现，其中光由显示器生成，例如，来自Microvision公司的PicoPTM显示引擎。发射显示技术的另一示例是微型有机发光二极管(OLED)显示器。eMagin和Microoled公司提供了微型OLED显示器的示例。
图2B是透视、近眼、增强或混合现实设备的显示光学系统14的实施例的顶视图。近眼显示设备2的镜架115的一部分将环绕显示光学系统14，以提供对如此处以及之后的附图中例示出的一个或多个光学元件的支承并进行电气连接。为了示出头戴式显示设备2中的显示光学系统14(在该情况下是右眼系统14r)的各个组件，围绕显示光学系统的镜架115的一部分未被描绘。
在一个实施例中，显示光学系统14包括波导112、任选的不透明度滤光器114、透视透镜116和透视透镜118。在一个实施例中，不透明度滤光器(opacity filter)114在透视透镜116后面并与透视透镜116对准，波导112在不透明度滤光器114后面并与不透明度滤光器114对准，并且透视透镜118在波导112后面并与波导112对准。透视透镜116和118可以是眼镜中使用的标准透镜，并且可根据任何处方(包括无处方)来制作。在一些实施例中，头戴式显示设备2将仅包括一个透视透镜或者不包括透视透镜。与波导112对准的不透明度滤光器114均匀地或基于每像素来选择性地阻挡自然光穿过波导112。例如，不透明度滤光器增强了虚拟影像的对比度。
波导112将来自微显示器120的可见光传送到佩戴头戴式显示设备2的用户的眼睛140。透视波导112还允许可见光如代表显示光学系统14r的光轴的箭头142所描绘的那样从头戴式显示设备2前面透过透视波导112被传送到眼睛140，从而除了接收来自微显示器120的虚拟图像之外还允许用户具有在头戴式显示设备2前面的空间的实际直接视图。因此，波导112的壁是透视的，波导112包括第一反射表面(例如，镜面或其他表面)或第一衍射光栅124。来自微显示器120的可见光通过透镜122并且入射到反射表面或衍射光栅124上。反射表面或衍射光栅124反射或衍射来自微显示器120的入射可见光，使得可见光通过内反射被捕获在包括波导112的基板内，如下文进一步描述。
红外照射和反射同样穿过波导112，以供眼睛跟踪系统134跟踪用户眼睛的位置和注视方向。用户的眼睛将被引导到作为用户的聚焦或注视区域的环境的子集。眼睛跟踪系统134包括眼睛跟踪照射源134A(在该示例中其被安装到镜腿102或其内部)以及眼睛跟踪IR传感器134B(在该示例中其被安装到镜架115的眉部103或其内部)。眼睛跟踪IR传感器134B可替代地被定位在透镜118与镜腿102之间。还有可能的是，眼睛跟踪照射源134A和眼睛跟踪IR传感器134B都被安装到镜架115的眉部103或其内部。
本技术允许进出用于图像生成单元120、照射源134A以及眼睛跟踪IR传感器134B的波导的光学路径的入口和出口光学耦合器(其也可被称为输入耦合器和输出耦合器)的布置中的灵活性。呈现图像的可见照射以及红外照射可从相对波导112的任何方向进入，并且一个或多个波长选择滤光器(例如127)以显示光学系统14的光轴142为中心将照射导出波导。
在一个实施例中，眼睛跟踪照射源134A可包括以大约预先确定的IR波长或一定范围的波长发射的一个或多个红外(IR)发射器(诸如红外发光二极管(LED)或激光器(例如，VCSEL))。在一些实施例中，眼睛跟踪IR传感器134B可以是用于跟踪闪光位置的IR相机或IR位置敏感检测器(PSD)。
在一实施例中，波长选择滤光器123让来自微显示器120的经过反射面124的可见光谱的光通过，并且将来自眼睛跟踪照射源134A的红外波长照射导入波导112中，其中IR照射在波导内被内部反射直至到达与光轴142对准的另一波长选择滤光器127。
从IR反射中，当眼睛跟踪IR传感器134B是IR相机时，瞳孔在眼框内的位置可通过已知的成像技术来标识，而当眼睛跟踪IR传感器134B是一种位置敏感检测器(PSD)时，瞳孔在眼框内的位置可通过闪光位置数据来标识。其他类型的眼睛跟踪IR传感器和用于眼睛跟踪的其他技术的使用同样是可能的并且落在实施例的范围内。
在耦合到波导112中之后，呈现来自微显示器120的图像数据的可见光照射和IR照射在波导112中被内部反射。在图2B的示例中，在基板的表面上进行若干次反射之后，被捕获的可见光波到达在本示例中被实现为选择性反射表面1261至126N的波长选择滤光器阵列。附加地，与显示光学系统的光轴对准的波长选择滤光器127同样被定位在波导112中。反射表面126将入射在那些反射表面上的可见光波长耦合到指向用户眼睛140的方向的基板之外。
反射表面126还在波导内传递红外辐照。然而，与显示光学系统14r的光轴142对准的是一个或多个波长选择滤光器127，波长选择滤光器127不仅引导可见光照射，还引导接收到的来自照射源134A的红外照射。例如，如果反射元件1261至126N各自反射可见光谱的不同部分，则一个或多个波长选择滤光器127可反射红色可见光谱和红外光谱中的波长。在其他实施例中，滤光器127可反射覆盖整个可见光谱或其较大部分的波长，以及IR反射的波长和由IR照射源生成的波长的红外光谱。
附加地，如下面将参考图4A-4H更详细地讨论的，输入耦合器(在图2A和2B中未被具体示出，但在图4A-4H中被示出)将来自眼睛的穿过以光轴142为中心的波导的透视壁的红外反射沿朝向输出耦合器(在图2A和2B中未被具体示出，但在图4A和4E-4H中被示出)的方向引入到波导的光路中，该输出耦合器将红外光引向眼睛跟踪IR传感器134B。附加地，可见和红外滤光器可在从透镜116至118的方向上被层叠，使得它们都与光轴同轴。例如，相对于眼睛被放置在可见反射元件前方的双向热镜(hot mirror)让可见光通过但反射IR波长。附加地，一个或多个滤光器127可被实现为有源光栅，其被调制在可见和红外光谱之间的过滤波长之间。这将会以人眼无法检测到的足够快的速率来完成。
在一实施例中，每只眼睛将具有其自己的波导112。当头戴式显示设备具有两个波导时，每只眼睛都可具有其自己的微显示器120，该微显示器120可在双眼中显示相同图像或者在双眼中显示不同图像。此外，当头戴式显示设备具有两个波导时，每只眼睛可具有其自己的眼睛跟踪照射源134A和其自己的眼睛跟踪IR传感器134B。在另一实施例中，可存在一个具有两根光轴的波导，每只眼睛一根，其横跨鼻梁并将可见和红外光反射到两只眼睛中。
在上述实施例中，所示出的具体数量的透镜只是示例。可以使用其他数目和配置的根据相同原理操作的透镜。另外，图2A和2B仅示出头戴式显示设备2的一半。完整的头戴式显示设备可包括例如另一组透视透镜116和118、另一不透明度滤光器114、具有一个或多个波长选择滤光器127的另一波导112、另一微显示器120、另一透镜系统122、朝向物理环境的相机113(也称朝向外部或朝向正面的相机113)、眼睛跟踪组件134、耳机130、滤光器123以及温度传感器138。示例性头戴式显示器2的更多细节在Flaks等人于2010年10月15日提交的题为“Fusing Virtual Content Into Real Content(将虚拟内容融合到现实内容中)”的美国专利申请公开号2012/0092328中提供。
图3A是可以用于一个或多个实施例的透视、近眼、混合现实显示设备2的硬件和软件组件的一个实施例的框图。图3B是描述处理单元4的各种组件的框图。在这一实施例中，近眼显示设备2接收来自处理单元4的关于虚拟图像的指令并将来自传感器的数据提供回处理单元4。例如在图3B中描绘的可被实现在处理单元4中的软件和硬件组件从显示设备2接收传感数据并且还可通过网络50从计算系统12接收传感信息。基于该信息，处理单元4将确定在何处以及在何时向用户提供虚拟图像并相应地将指令发送给显示设备2的控制电路136。
注意，图3A的某些组件(例如，面向外或物理环境的相机113、眼睛相机134、微显示器120、不透明度滤光器114、眼睛跟踪照射单元134A、耳机130、一个或多个波长选择滤光器127、以及温度传感器138)以阴影显示，以指示可存在那些设备中的每一者的至少两个，其中至少一个用于头戴式显示设备2的左侧并且至少一个用于右侧。图3A示出与电源管理电路202通信的控制电路200。控制电路200包括处理器210、与存储器244(例如D-RAM)通信的存储器控制器212、相机接口216、相机缓冲器218、显示驱动器220、显示格式化器222、输入耦合器控制器223、图像分析器225、定时生成器226、显示输出接口228、以及显示输入接口230。在一个实施例中，控制电路200的所有组件都通过一个或多个总线的专用线路彼此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。
相机接口216提供到两个朝向物理环境的相机113以及本实施例中的如传感器134B之类的IR相机的接口，并且将从相机113、134B接收到的各个图像储存在相机缓冲器218中。显示驱动器220将驱动微显示器120。显示格式化器222可向执行该混合现实系统的处理的一个或多个计算机系统(例如4和12)的一个或多个处理器提供与被显示在微显示器120上的虚拟图像有关的信息。显示格式化器222可向不透明度控制单元224标识关于显示光学系统14的透射率设置。定时生成器226被用来为该系统提供定时数据。显示输出接口228包括用于将来自面向物理环境的相机113和眼睛相机134B的图像提供给处理单元4的缓冲器。显示输入接口230包括用于接收诸如要在微显示器120上被显示的虚拟图像之类的缓冲器。显示输出228和显示输入230与作为到处理单元4的接口的带接口(band interface)232进行通信。
输入耦合器控制器223控制何时打开多个可电子地切换的衍射光栅中的每一者，使得一次仅打开可电子地切换的衍射光栅之一，如以下更详细描述的。图像分析器225分析使用IR眼睛跟踪相机134B获得的眼睛的两个或更多个图像，以确定这些可电子地切换的衍射光栅中在被打开时提供眼睛(或其一部分)的最佳聚焦图像的一个可电子地切换的衍射光栅，如以下更详细描述的。附加地或替换地，图像分析器可确定多个可电子地切换的衍射光栅中的哪一个或多个可电子地切换的衍射光栅在其视野中包括眼睛。
电源管理电路202包括电压调节器234、眼睛跟踪照射驱动器236、音频DAC和放大器238、话筒前置放大器和音频ADC 240、温度传感器接口242、有源滤光器控制器237、以及时钟生成器245。电压调节器234通过带接口232从处理单元4接收电力，并将该电力提供给头戴式显示设备2的其他组件。照射驱动器236例如经由驱动电流或电压来控制眼睛跟踪照射单元134A以大约预定的波长或在某一波长范围内操作。音频DAC和放大器238向耳机130提供音频数据。话筒前置放大器和音频ADC240提供用于话筒110的接口。温度传感器接口242是用于温度传感器138的接口。有源过滤器控制器237接收指示一个或多个波长的数据，其中针对所述波长，每个波长可选过滤器127将作为对该波长的可选波长过滤器。电源管理单元202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电力并从其接收回数据。电源管理单元202还向GPS收发机144提供电力并且从GPS收发机144接收数据并向其发送数据。
图3B是与透视、近眼、混合现实显示单元相关联的处理单元4的硬件和软件组件的一个实施例的框图。图3B示出与电源管理电路306进行通信的控制电路304。控制电路304包括中央处理单元(CPU)320、图形处理单元(GPU)322、高速缓存324、RAM 326、与存储器330(例如，D-RAM)进行通信的存储器控制器328、与闪存334(或其他类型的非易失性存储)进行通信的闪存控制器332、经由带接口302和带接口232与透视、近眼显示设备2进行通信的显示输出缓冲器336、经由带接口302和带接口232与近眼显示设备2进行通信的显示输入缓冲器338、与用于连接到话筒的外部话筒连接器342进行通信的话筒接口340、用于连接到无线通信设备346的PCI express接口，以及(多个)USB端口348。
在一个实施例中，无线通信组件346可包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备、蜂窝、3G、4G通信设备、无线USB(WUSB)通信设备、RFID通信设备等等。无线通信设备346由此允许与例如另一显示设备系统8的端对端数据传输，以及经由无线路由器或蜂窝塔到较大网络的连接。USB端口可被用来将处理单元4对接到另一显示设备系统8。附加地，处理单元4可对接到另一计算系统12以便将数据或软件加载到处理单元4以及对处理单元4充电。在一个实施例中，CPU320和GPU 322是用于确定在何处、何时以及如何向用户的视野内插入虚拟图像的主负荷设备。
电源管理电路306包括时钟生成器360、模数转换器362、电池充电器364、电压调节器366、透视、近眼显示器电源376，以及与温度传感器374进行通信的温度传感器接口372(位于处理单元4的腕带(wrist band)上)。到直流转换器362的交流电被连接到充电插孔370以用于接收AC供电并为该系统产生DC供电。电压调节器366与用于向该系统提供电力的电池368进行通信。电池充电器364被用来在从充电插孔370接收到电力时(通过电压调节器366)对电池368进行充电。设备电源接口376向显示设备2提供电力。
波导眼睛跟踪系统
图4A-4H现在将被用来描述根据本技术的各实施例的波导412的具体特征。首先，图4A和4B将被用来描述波导412的被用来收集从眼睛440反射的红外光并将该红外光提供给眼睛跟踪IR传感器(例如，以上参考图2B和3A讨论的134B)以供在眼睛跟踪时使用的各部分。因此，波导412也可被称为眼睛跟踪器波导412或眼睛跟踪波导412。更一般地，该波导可被称为用于跟踪眼睛的装置。
波导412可被合并到透视混合现实显示设备系统中，诸如上面参考图1-3B描述的系统，但不限于与其一起使用。例如，波导412可被用来实现上面参考图1、2A和2B讨论的波导112(或其一部分)。替代地，波导412可被定位成毗邻波导112或者被用来代替波导112，这取决于实现。可以为眼睛被跟踪的用户的左眼和右眼中的每一只提供波导412的单独实例。如果在上面参照图1-3B描述的透视混合现实显示设备系统中被使用，则波导412可被定位在透视透镜(例如，116和/或118)旁边或透视透镜之间，透视透镜可以是眼镜中使用的标准透镜，并且可根据任何处方(包括无处方)来制作。波导412可替代地与旨在基于从眼睛反射的红外光执行眼睛跟踪的任何系统一起使用。
图4A例示了包括波导412的眼睛跟踪系统400的一部分的侧视图，并且因此，图4A所示的眼睛跟踪系统的该部分可被称为波导眼睛跟踪器400。波导412包括输入耦合器414和输出耦合器424。图4A中还示出了包括一个或多个透镜的透镜模块430，透镜模块430被配置成将波导412内的光线的角度空间转换为在光线在靠近输出耦合器424处离开波导412之后的二维(2D)空间。用另一种方式解释，也可被称为成像透镜430的透镜模块430被用来将角度编码的红外光束转换为二维(2D)空间编码的红外光束。在被转换到二维空间之后，红外光束入射到眼睛跟踪IR传感器134B的二维平面上，如图4C中所示。眼睛跟踪IR传感器134B取决于入射到传感器134B上的二维空间编码的红外光束来产生眼睛跟踪数据。
更一般地，眼睛跟踪IR传感器134B取决于在输出耦合器424处离开波导412的红外光束来产生眼睛440的图像。在输出耦合器424处离开波导412的红外光束在入射到眼睛跟踪IR传感器134B之前通过透镜模块430。如刚才所解释的，透镜模块430将在输出耦合器424处离开波导412的红外光束从角度编码的红外光束转换成二维空间编码的红外光束。替换地，透镜模块430的功能可被完全地或部分地构建在输出耦合器424中，从而潜在地消除了透镜模块430。
一般来说，波导的输入耦合器414优选地与眼睛440轴向对准，使得当眼睛440被用红外光照射时，从眼睛反射的红外光束将入射到波导412的输入耦合器414上。更一般地，例如当眼睛440被由眼睛跟踪照射单元134A产生的红外光照射时，红外光将被从眼睛440反射出去，如上面所解释的。
输出耦合器424被优选地定位成与被用来对眼睛进行成像的传感器或相机(例如眼睛跟踪IR传感器134B)紧邻。如上面所提及的，这样的传感器或相机可被安装到镜架(例如115)的眉部(例如103)或其内部。替代地，传感器或相机可被安装到镜架的镜腿或侧臂(例如102)或者其内部，在这种情况下，输入耦合器414和输出耦合器424的相对位置可被旋转九十度。如上面所解释的，透镜模块(例如430)可被定位在输出耦合器424与传感器(例如眼睛跟踪IR传感器134B)之间。根据实施例，输出耦合器结合部分地或全部地替代透镜模块430的透镜光学能力。例如，在一个实施例中，输出耦合器424在单个衍射光学元件中提供楔形光学能力和透镜光学能力。
根据一实施例，输入耦合器的水平乘垂直区域为28mm×16mm，其限定眼睛跟踪区域。替代的区域也是可能的，并且落在实施例的范围内。输出耦合器的孔径可以是例如3.7mm，但是更小或更大的孔径也是可能的并且落在实施例的范围内。透镜模块430的焦距比数(f-number)可以是例如1.35，但是更小或更大的焦距比数也是可能的并且落在实施例的范围内。波导412的厚度优选地为1mm或更小，但是更大的厚度是可能的并且落在实施例的范围内。波导412可使用BK7光学玻璃来制造，但是其他光学材料的使用也是可能的并且落在实施例的范围内。假设用于眼睛跟踪的红外光的波长为850nm，则波导412优选地在850nm波长下提供大于42度的入射角(AOI)的全内反射。同样落在实施例的范围内的是可以使用替代的红外波长。为了实现低于基板的临界角的全内反射，反射涂层422可在空气－玻璃界面处被施加到波导412的外表面。该涂层在其中由输入耦合器生成的内角的范围大于能够被基板支持的内角的范围的实施例中是有用的。例如，如果眼睛跟踪区域是28mm×16mm并且眼睛出瞳距离(从眼睛到输入耦合器的距离)是大约20mm，则如果输入耦合器最靠近成像透镜的区域生成刚好大于BK7的临界角的内角，则由输入耦合器的离成像透镜最远的区域生成的内角将需要在90度以上，这本质上是不可能的。替代地，如果输入耦合器被设计成对于输入耦合器的离成像透镜最远的区域生成大约70度的内角，则由输入耦合器的最靠近成像透镜的区域生成的内角将小于BK7的临界角，因此需要涂层以延长内部反射。
图4B是波导412的包括输入耦合器414的部分的放大图，现在将被用来描述根据实施例的波导412的附加细节。参考图4B，波导412被示为包括第一透明层402、第二透明层404，以及输入耦合器414。虽然在图4B中未被具体示出，但是输出耦合器424可以类似地在第一和第二透明层402、404之间。透明层402、404可由玻璃或光学塑料制成，但不限于此。应当注意，即使透明层402、404由光学塑料制成，这样的层与空气之间的界面仍将被称为空气－玻璃界面。如图4B所示，输入耦合器414具有下边界415和上边界416，其中上边界416比下边界415更靠近输出耦合器424。
作为衍射元件的输入耦合器414被配置成具有不同于入射角的衍射角。更具体地，衍射元件输入耦合器414调整穿过第一透明层402的光的角度，使得当光遇到透明层404的空气-玻璃分界面时，光的角度超过临界角并因此在波导412中内部地反射。然后，光将在输出耦合器424处从波导412传递出来，如上所述。
当输入耦合器414被定位在被红外光照射的眼睛440前面时，从眼睛440反射的红外光束(一个示例由图4B中的虚线箭头所示)穿过第一透明层402并入射在输入耦合器414上。这些红外光束在输入耦合器414处进入波导412，在波导412内经由全内反射从输入耦合器414传播到输出耦合器424，并且在输出耦合器424附近离开波导412。用另一种方式解释，从眼睛440反射的红外光由输入耦合器414成像，并且同时通过衍射红外光被衍射成波导模式，使得经衍射的红外光以比全内反射的临界角更大的角度入射在波导412的表面上。
根据一实施例，输入耦合器的水平乘垂直区域为28mm×16mm，其限定眼睛跟踪区域。输出耦合器424(其可以是反射的、衍射的或折射的或者其组合)可被实现为例如能够促使红外光离开波导412的线性光栅类型的输出耦合器、全息光栅类型的输出耦合器、棱镜或另一光学耦合器。输出耦合器424可附加地具有根据处方来集成的透镜光学能力，其可替代透镜模块430的一些或全部透镜光学能力。在一个这样的实施例中，输出耦合器424可以是具有楔形和透镜光学能力的体布拉格光栅。输出耦合器424的透镜光学能力可提供透镜模块430的一些或全部透镜光学能力。在一个实施例中，输出耦合器424例如通过提供非球面校正来向透镜模块430提供小的校正。简要地回顾图4A，输出耦合器424的目的是促使红外光朝着透镜模块430和/或朝向眼睛跟踪IR传感器134B的方向离开波导412。然后，红外光最终被透镜模块430(或输出耦合器424本身)成像到眼睛跟踪IR传感器134B上。眼睛跟踪IR传感器可以是例如电荷耦合器件(CCD)或CMOS二维(2D)像素传感器阵列，但不限于此。
在一实施例中，输入耦合器414和输出耦合器424被相对于彼此定位以实现远心性。在此情形下，入射光瞳(entrance pupil)位于无穷远处，这使得输入耦合器是物体空间远心的。这可以有利地提供眼睛440的正射投影。远心性也可通过将输入耦合器414的角带宽设计成使得该角带宽集中于对来自眼睛平面的所有光平行的光来实现。这并不一定意味着角带宽集中于与波导正交的光。例如，从眼睛平面下方的方向查看眼睛平面(抬头看眼睛)以减少由于睫毛导致的遮蔽可能是有利的。用另一种方式解释，为了在物体空间中实现远心性，输入耦合器414的每个点的角带宽应当集中于主光线，其中输入耦合器414的所有主光线基本上平行。
根据一实施例，输入耦合器414具有透镜光学能力和楔形光学能力。输入耦合器414的透镜光学能力优选地具有等于眼睛440与输入耦合器414之间的距离的焦距，其有利地使得(从眼睛440反射并入射到输入耦合器414上的)红外光在波导412内被准直。例如，如果眼睛440与输入耦合器414之间的距离是20毫米(mm)，则输入光栅的透镜光学能力的焦距优选为20mm。楔形光学能力(其也可称为楔形衍射光学能力(wedge diffractive power)或棱镜光学能力(prismatic power))将该红外光(其优选地被准直)衍射成波导模式。楔形光学能力被优选地选择为使得入射到输入耦合器414的靠近其上边界416的一部分上的红外光被内部地衍射，使得到波导的空气－玻璃分界面的入射角大于波导412的全内反射(TIR)角(并且因此由波导412引导)。另外，楔形光学能力被优选地选择为使得入射到输入耦合器414的靠近其下边界415的一部分上的红外光被内部地衍射，使得到波导的空气－玻璃分界面的入射角不会太大(例如，不大于70度)，以避免几乎平行于波导412的表面行进的光线。根据一实施例，透镜光学能力和楔形光学能力在数学上被组合并且由单个光栅处方实现。这可通过将满足输入角度的条件的相位多项式数学拟合跨光栅表面的输出角度来实现。该类型的相位多项式的生成可被用来对电子束光刻机进行编程，以在诸如铬或玻璃之类的介质中产生表面光栅。这进而可被用来生成相位复制主全息图，相位复制主全息图进而可在接触复制过程中被用来大量产生衍射光栅类型的输入耦合器414。
在波导412内反射的光束靠近在一起，这样的光束之间的距离取决于波导412内的传播角、波导412的厚度，以及光束宽度。由于希望使得波导412的厚度尽可能薄，因此波导412内的不同光束可能彼此非常靠近并且可能彼此重叠。
眼睛跟踪器光学系统作为一个整体像中继透镜系统一样起作用，将来自(例如，与眼睛440相关联的)眼睛平面的光重新成像到(例如，与眼睛跟踪IR传感器134B相关联的)相机传感器平面。在一实施例中，总系统的放大率远小于一(即，缩小)，因为眼睛跟踪IR传感器134B(其也可被称为相机传感器或图像传感器)远小于物体平面(眼睛平面)。输入耦合器414优选地促使入射在输入耦合器414的不同的水平和竖直位置上的不同红外光束在波导412内以各自不同的反射角传播，并且以相对于红外光束通过其离开的波导412的表面的各自不同的入射角离开输出耦合器424。用另一种方式解释，输入耦合器414优选地促使对入射到输入耦合器414上的红外光束进行角度编码，由此允许(例如，由眼睛跟踪IR传感器134B)按在入射到输入耦合器414的不同的水平和竖直位置上的红外光束之间区分的方式对通过输出耦合器424离开波导412的红外光束进行成像。
如上所述，输入耦合器414的透镜光学能力优选地具有等于眼睛440与输入耦合器414之间的距离的焦距，其有利地使得(从眼睛440反射出并入射在输入耦合器414上的)红外光在波导内被准直。尽管这是优选的条件，但是这样的条件不容易一致地实现，因为不同的人具有不同形状的鼻子和其他面部特征以及不同的眼睛位置。附加地，每次相同的人戴上包括波导412的HMD设备和/或调整HMD设备时，人的眼睛与输入耦合器414之间的距离可改变。注意，眼睛440和输入耦合器414之间的距离也可被称为良视距距离。
当输入耦合器414的透镜光学能力的焦距不等于输入耦合器414和眼睛440之间的距离(即，不等于良视距距离)时，则在波导412内通过全内反射行进的红外波束将不是被完全地准直。这种情况的问题在于，从眼睛440上的同一点(经过输入耦合器414)反射到波导中的两个或更多个光束在通过全内反射从输入耦合器414行进到输出耦合器424之后，将在两个或更多个不同位置处(经过输出耦合器424)离开波导，从而导致多重(例如，双重、三重等)图像被透镜模块430和眼睛跟踪IR传感器134B生成。换句话说，来自眼睛平面中的相同点的两个或更多个光束将在波导412内会聚或发散，使得两个或更多个分开的图像被眼睛跟踪IR传感器134B形成。这样的多重(例如，双重、三重等)成像是不合需的，因为它降低了眼睛跟踪的准确性和/或使得执行眼睛跟踪更加复杂。
根据某些实施例，取代包括具有单个透镜光学能力由此具有单个焦距的单个衍射光栅，输入耦合器414包括彼此平行布置的两个或更多个可电子地切换的衍射光栅的堆叠，如图4C中所示出的。更具体地，参考图4C，输入耦合器414被示为包括彼此平行布置的四个可电子地切换的衍射光栅(被标记为419a、419b、419c、419d)的堆叠。可电子地切换的衍射光栅419a、419b、419c、419d可被分别称为一可电子地切换的衍射光栅419或被统称为可电子地切换的衍射光栅419。这些可电子地切换的衍射光栅419中的每一者都具有各自的透镜光学能力和各自的棱镜光学能力。可电子地切换的衍射光栅419中的每一者的透镜光学能力彼此不同，使得可电子地切换的衍射光栅中的每一者具有不同的焦距。这样的实施例使得用户的眼睛能够使用两个或更多个不同的焦距来成像，使得最佳聚焦图像可被选出以供在眼睛跟踪时使用。更具体地，这样的实施例使得使用眼睛跟踪IR传感器134B获得的眼睛的两个或更多个图像被分析以确定可电子地切换的衍射光栅419中的哪一者在被打开时提供眼睛或其部分的最佳聚焦图像(例如，眼睛的瞳孔的最佳聚焦图像)。
例如，假设潜在的良视距距离范围为从7mm到27mm，其跨越20mm。如果如在图4C中存在四个可电子地切换的衍射光栅419，则这些可电子地切换的衍射光栅419中的每一者可具有以20mm良视距距离范围中的不同5mm跨度为中心的焦距。继续该示例，这四个可电子地切换的衍射光栅419的四个不同的焦距可以为9.5mm、14.5mm、19.5mm和24.5mm。作为更具体的示例，可电子地切换的衍射光栅419a的焦距可以为9.5mm，可电子地切换的衍射光栅419b的焦距可以为14.5mm，可电子地切换的衍射光栅419c的焦距可以为19.5mm，并且可电子地切换的衍射光栅419d的焦距可以为24.5mm。替换地，该次序可被重新布置，因为不要求可电子地切换的衍射光栅419采用从最短焦距到最长焦距的次序。输入耦合器414可替换地包括多于或少于四个堆叠的可电子地切换的衍射光栅419。更一般的，在参考图4C描述的实施例中，输入耦合器414包括彼此平行布置的两个或更多个可电子地切换的衍射光栅419的堆叠，其中可电子地切换的衍射光栅419中的每一者具有各自的透镜光学能力和各自的棱镜光学能力，并且其中可电子地切换的衍射光栅419中的每一者的透镜光学能力彼此不同，使得可电子地切换的衍射光栅中的每一者具有不同的焦距。棱镜光学能力可对所有多个可电子地切换的衍射光栅419是相同，但不是必须如此。
根据一实施例，可电子地切换的衍射光栅中的每一者为可电子地切换的布拉格光栅(ESBG)。在这样的实施例中，可电子地切换的布拉格光栅将具有与照射被跟踪的眼睛的红外光的红外波长匹配的布拉格波长。根据另一实施例，可电子地切换的衍射光栅中的每一者为可电子地切换的铌酸锂衍射光栅。在又一实施例中，可电子地切换的衍射光栅中的每一者为可电子地切换的POLYCRIPS衍射光栅。使用其他类型的可电子地切换的衍射光栅也是可能的，并且在本技术的范围内。
可电子地切换的衍射光栅419的堆叠被夹在第一和第二透明层402、404之间，如上所述，第一和第二透明层可由玻璃或光学塑料制成，但并不限于此。根据一实施例，可电子地切换的衍射光栅419中的每一者包括其自己的透明层对(例如，由玻璃或光学塑料制成)，这些透明层之间定位有其折射率可夹在两个不同的值之间的材料(例如，全息聚合物分散液晶)。这样的透明层可涂覆有透明导电膜(TCF)，该透明导电膜例如由诸如但不限于掺杂有锡的氧化铟(ITO)、掺杂有铝的氧化锌(AZO)或掺杂有铟的氧化镉的透明导电氧化物(TCO)制成。作为另一示例，涂覆每一可电子地切换的衍射光栅419的透明层对的透明导体膜可由透明导体聚合物构成，透明导体聚合物诸如但不限于聚(3,4-乙烯二氧噻吩)(PEDOT)或聚(4,4-二辛基环戊二噻吩)。这样的透明导体膜被用于选择性地在可电子地切换的衍射光栅419的各侧之间施加电压电势差以选择性地将其打开和关闭。
可电子地切换的衍射光栅419中的每一者可以是常开型的，或常闭型的。如果电子地切换的衍射光栅419是常开型的，则意味着当没有电压电势差被施加在光栅的两侧之间时，光栅被打开；并且在光栅的这些侧之间施加电压电势差将光栅关闭。如果电子地切换的衍射光栅419是常闭型的，则意味着当没有电压电势差被施加在光栅的两侧之间时，光栅被关闭；并且在光栅的这些侧之间施加电压电势差将光栅打开。当可电子地切换的衍射光栅419被关闭时，从用户的眼睛反射出并入射在该光栅上的红外光基本上穿过该光栅，就好像该光栅不在那里一样。更具体地，当可电子地切换的衍射光栅419被关闭时，其折射率大致匹配波导的周围聚合物的折射率，使得该光栅对入射到其上的红外光基本上透明。当可电子地切换的衍射光栅419被打开时，从用户的眼睛反射并入射到该光栅上的红外光被耦合到波导412中，并在该波导412内通过全内反射从该打开的光栅传播到输出耦合器424，并在输出耦合器424附近离开波导。
根据一实施例，(在图3A的讨论中引入的)输入耦合器控制器223控制可电子地切换的衍射光栅419的打开和关闭，使得一次仅可电子地切换的衍射光栅之一被打开。当可电子地切换的衍射光栅419中的每一单个可电子地切换的衍射光栅被打开时，IR眼睛跟踪传感器134B取决于从用户的眼睛反射的在输入耦合器414的打开的光栅419处进入波导412、在波导412内通过全内反射传播、并在输出耦合器424处离开波导412的红外光束对眼睛进行成像(即产生眼睛的图像)。例如，参考图4C，当可电子地切换的衍射光栅419a被打开(并且光栅419b、419c和419d被关闭)时，IR眼睛跟踪传感器134B取决于从用户的眼睛反射的在打开的光栅419a处进入波导412的红外光束对眼睛进行成像(即，产生眼睛的图像)。仍参考图4C，当可电子地切换的衍射光栅419b被打开(并且光栅419a、419c和419d被关闭)时，IR眼睛跟踪传感器134B取决于从用户的眼睛反射的在打开的光栅419b处进入波导412的红外光束对眼睛进行成像。当可电子地切换的衍射光栅419c被打开(并且光栅419a、419b和419d被关闭)时，IR眼睛跟踪传感器134B取决于从眼睛反射并在打开的光栅419c处进入波导412的红外光束对眼睛进行成像。最后，当可电子地切换的衍射光栅419d被打开(并且光栅419a、419b和419c被关闭)时，IR眼睛跟踪传感器134B取决于从眼睛反射的在打开的光栅419d处进入波导412的红外光束对眼睛进行成像。
使用可电子地切换的衍射光栅419中具有最接近于实际良视距距离的焦距的一个可电子地切换的衍射光栅获得的眼睛的图像将是多个图像中最清晰的。根据一实施例，(在图3A的讨论中引入的)图像分析器225分析使用眼睛跟踪IR传感器获得的眼睛的多个图像，以确定可电子地切换的衍射光栅419中的哪一者在被打开时提供眼睛或其部分(例如，眼睛的瞳孔)的最佳聚焦图像。根据具体实施例，图像分析器225可使用本领域公知的一个或多个自动聚集技术来确定多个可电子地切换的衍射光栅419(各自具有不同的焦距)中的哪一者提供最佳聚焦图像。这样的自动聚焦技术可例如确定分辨率、对比度和/或熵的测量以确定图像清晰度度量或更一般地聚焦度量。例如，分辨率度量可被确定并被用作聚焦度量。由于随着图像被散焦且分辨率被丢失，图像细节会变模糊，因此分辨率越高，聚焦越好。在某些实施例中，分辨率度量是傅立叶频谱的高频内容。对于另一示例，对比度度量可被确定并被用作聚焦度量。图像在处于聚焦时与不处于聚焦时相比更锐利，这导致图像的相邻像素之间更大的对比度。在某些实施例中，曲线的斜度可被分析以确定对比度度量，其中斜度越陡，对比度越大，并且由此聚焦越好。这仅仅是可使用的自动聚焦技术的几个示例，其不意味着涵盖全部。这样的技术可使用电路系统和/或使用处理器(例如210)执行的算法来实现。换言之，图像分析模块可使用硬件、固件或软件或者其组合来实现。
根据一实施例，一旦提供最好聚焦图像的可电子地切换的衍射光栅419被标识出，(在图3A的讨论中引入的)输入耦合器控制器223使得可电子地切换的衍射光栅419中提供眼睛的最好聚焦图像的这个可电子地切换的衍射光栅被用来在眼睛跟踪期间对眼睛进行成像。如果可电子地切换的衍射光栅419中的每一者都是常闭型的，则输入耦合器控制器223将促使在提供眼睛的最好聚焦图像的那个光栅419的相对侧之间施加适当的电压电势差，以便在执行眼睛跟踪时将那个光栅419打开。如果可电子地切换的衍射光栅419中的每一者都是常开型的，则输入耦合器控制器223将促使在光栅419的不提供眼睛的最好聚焦图像的一者或多者的相对侧之间施加适当的电压电势差，以便在执行眼睛跟踪时将那些光栅419关闭。
当眼睛440与输入耦合器414之间的距离(即，眼睛良视距)不与输入耦合器414的焦距完全相同时，本技术的某些实施例减小并且优选地最小化波导眼睛跟踪器400中固有的多重图像的影响。一些这样的实施例通过将输入耦合器414设计为在切向方向上(即，在传播方向上)具有非常窄的角带宽来减小多重图像之间的(诸)距离并且优选地使所述距离最小化来实现这一点。更具体地，根据一实施例，输入耦合器414的角带宽(ABW)不大于5度，优选地不大于2度，更优选地在1和2度之间，并且甚至更优选地为约1.5度。
如本文所使用的术语，衍射光栅(诸如输入耦合器414)的角带宽(ABW)是围绕入射角的峰值衍射效率(DE)的角度范围，在该范围中DE大于或等于该峰值DE的50％。因此，ABW在本文中可被更准确地称为半高全宽(FWHM)ABW。有利地，具有这样的窄ABW的衍射光栅可被容易地设计和制造。
通过将ABW限制为这样窄的角度，从眼睛440上的相同点反射的红外光在波导内可以是非准直的程度显著地受到限制。换句话说，输入耦合器414的非常窄的ABW限制有多少从眼睛440上的同一点反射出(并在输入耦合器414处进入波导)的红外光束可在波导412内偏离于被完全准直。更一般地，使用具有窄AWB的输入耦合器414限制了来自眼睛的反射光的锥角并由此增加成像的视野深度，从而使得波导眼睛跟踪器400与眼睛和输入耦合器414之间的距离的范围兼容。
如本领域中已知的，衍射光栅可被设计成具有周期性变化的折射率，使得在特定波长附近的波长范围(带宽)中可达到大衍射效率。例如，在衍射光栅是体布拉格光栅的情况下，折射的波长λB(其也被称为布拉格波长)是依据布拉格条件sinB＝B/(2neff)来定义的，并且与波导的有效折射率(neff)和固定布拉格入射方向B的光栅周期性(Λ)成比例。体布拉格光栅包括定义光栅周期性(Λ)的光栅平面(也被称为边缘、边缘平面或布拉格平面)。体布拉格光栅的K向量与这些布拉格平面正交(即，垂直)。根据一实施例，布拉格波长λB与用于眼睛跟踪的红外光的波长匹配(即基本上相等)。更一般地，衍射光栅的K向量与这些衍射光栅的光栅平面正交(即，垂直)。
短暂回过头参考图4B，当(由虚线箭头表示的)红外光束在输入耦合器414的被标记为418的区域处被衍射时，该红外光束以高频率被衍射成波导模式。如果输入耦合器414的处方在被标记为420的区域处与其在被标记为418的区域处完全相同，则高百分比的红外光(由虚线箭头表示)将在被标记为420的区域处衍射出波导。这是不期望的，因为其导致该红外光的(通过输入耦合器414)被衍射到波导412中的各部分没有到达输出耦合器424，从而显著地降低设备的总光学效率，并在图像处理期间降低了信噪比(SNR)。
根据某些实施例，为了减小并且优选地最小化由输入耦合器414衍射出波导的红外光的量，输入耦合器414的处方在该输入耦合器414的下边界415与上边界416之间变化。这通过将输入耦合器414的可电子地切换的衍射光栅419中的每一者设计为使得该光栅419在被标记为420的区域处的k向量显著地偏移在被标记为418的区域处的k向量来完成。这优选地导致效率曲线的峰值在角度方面显著地偏移，以便显著地减少在输入耦合器414的被标记为420的区域和其他区域处被衍射出波导(即，被耦出)的红外光的量。附加地，光栅周期(即，毗邻光栅平面之间的距离)以及因此光栅频率(其是光栅周期的倒数)在输入耦合器414的可电子地切换的衍射光栅419中的每一者的下边界415与上边界416之间变化以实现所需的楔形和透镜光学能力的组合。
更具体地，根据某些实施例，输入耦合器414的可电子地切换的衍射光栅419中的每一者在其下边界415处具有大于其上边界416处的k向量角的k向量角，其中下边界和上边界415、416之间的k向量角逐渐递减。这样的衍射光栅419可被说成具有变化的k向量或滚动的k向量。通过沿着红外光在波导412中传播的方向改变衍射光栅419的k向量角，红外光到波导412中的有效耦合按以下方式实现：使得被耦合到波导412中的大部分(并且优选地所有或显著地所有)红外光通过全内反射沿波导412向上传送，直至红外光被输出耦合器424耦合输出。
根据某些实施例，输入耦合器414的可电子地切换的衍射光栅419中的每一者在其下边界415处具有光栅周期(其也可被称为光栅间隔)，该光栅周期小于其上边界416处的光栅周期，其中在下和上边界415、416之间光栅周期逐渐递增。这样的衍射光栅可被认为具有变化的光栅周期。这与以下说法相同：输入耦合器414的可电子地切换的衍射光栅419中的每一者在其下边界415处具有光栅频率，该光栅频率大于其上边界416处的光栅频率，其中下和上边界415、416之间的光栅频率逐渐递减。输入耦合器414的这样的可电子地切换的衍射光栅419可被说成具有变化的光栅频率。
在一实施例中，输入耦合器414的每一可电子地切换的衍射光栅419的透镜光学能力和楔形光学能力是通过改变光栅频率来实现的。透镜光学能力聚焦来自眼睛平面的光。当良视距(从眼睛瞳孔平面到输入衍射光栅的距离)等于衍射透镜焦距时，光依据透镜光学能力来准直。楔形光学能力分量将该经准直的光衍射，使得基板中的最小衍射角超过基板内的全内反射(TIF)的临界角，并将因此在波导中被引导。入射在输入耦合器414的下部(靠近下边界415)的光相比于入射在上部(靠近上边界416)的光而言以更大的角度被衍射，并且由于输入耦合器414的可电子地切换的衍射光栅419的透镜光学能力和楔形光学能力的组合而行进。由于峰值效率的输入角基本上全部相同，因此用于输入耦合器414的衍射光栅419的结构光学器件的第一光束将接近平行。由于衍射光学能力根据衍射透镜光学能力和楔形光学能力的组合而变化，因此衍射记录的第二结构光束将基本上会聚。根据一实施例，这两种光束的组合提供k向量藉此自然地变化的衍射光栅。优选地，该两种结构光束被优化，使得衍射效率和衍射光学能力得到优化以满足输入耦合器414的效率和几何属性。
以下表格例示了输入耦合器414的这样的可电子地切换的衍射光栅419的示例性k向量角、以及光栅周期和频率，其中下边界415与上边界416之间的总距离为16mm。
在上表中，为了简单和一致性，假定入射到输入耦合器414的可电子地切换的衍射光栅上的红外光束具有零度入射角。然而，不是必须是这种情况，并且本文描述的实施例不限于该条件。
根据定义，衍射光栅的k向量正交于(即，垂直于)该衍射光栅的边缘平面。本文所使用的术语k向量角指代相对于衍射光栅的表面法线的k向量的角度，如从可从图4D中领会的。参考图4D，其中示出了(众多边缘平面中的)两个边缘平面424(该众多边缘表面中的其他平面没有被示出)。图4D中还示出了正交于衍射光栅的表面的虚线430。还示出了两个k向量，每个k向量垂直于相应的边缘平面424，并且每个k向量相对于该衍射光栅的表面法线具有不同的k向量角。
如上所述，根据某些实施例，输入耦合器414的可电子地切换的衍射光栅419中的每一者在其下边界415处具有一反转k向量角，该k向量角大于其上边界416处的k向量角，其中下边界和上边界415、416之间k向量角逐渐递减。结合窄ABW使用这样的反转(rolled)k向量有利地有助于显著地最大化到达眼睛跟踪IR传感器134B的反射红外光的量。反转k向量还有助于降低彩色光斑的量，彩色光斑可不合需地产生包括波导412的头戴式显示设备(例如，设备2)的佩戴者可观察到的彩虹效果。实验已表明如果输入耦合器具有高ABW，则当(例如，由太阳或钨灯泡产生的)宽光谱照明进入输入耦合器并被衍射成波导模式时，彩虹效果可以是可见的。这样的宽光谱照明的衍射角对于光的每一不同的波长而言是不同的，如衍射等式所指示的。当在输入耦合器处进入波导的光束在波导内朝向输出耦合器传播时，一些光束一次或更多次入射在输入耦合器上。这种光的一些可按用户的眼睛的方向衍射出波导。由于衍射光栅的各边缘平面之间的间隔沿着波导的长度改变，离开波导的衍射角不同于进入波导的角度。这可使得光(例如，白光)被拆分成引起彩虹效果的多个光谱线。然而，通过取代宽ABW使用窄ABW，这样的彩虹效果可有利地基本上被消除。在折射率的调制为低的情况下，该机制可通过全息图来支持。这与一般对用于显示图像的全息图所期望的相反，用于显示图像的全息图需要为高调制全息图以支持相对较大的视野。
眼睛运动框表示其中用户的眼睛440可移动，同时仍在输入耦合器414的视野(FOV)内，并由此在IR眼睛跟踪传感器134B的FOV内的区域。眼睛运动框的示例性尺寸为16mm x 28mm(垂直x水平)。前面提到的可电子地切换的衍射光栅419中的每一者可被用于对整个眼睛运动框进行成像。替换地，眼睛运动框可被拆分成多个区，使得第一可电子地切换的衍射光栅419(或彼此平行布置的可电子地切换的衍射光栅419的第一堆叠)毗邻第二可电子地切换的衍射光栅419(或毗邻彼此平行布置的可电子地切换的衍射光栅419的第二堆叠)，其中第二可电子地切换的衍射光栅419(或可电子地切换的衍射光栅419的第二堆叠)提供与由第一可电子地切换的衍射光栅419(或可电子地切换的衍射光栅419的第一堆叠)所提供的视野不同的视野。
第一和第二可电子地切换的衍射光栅419可被布置为在水平上彼此毗邻，使得可电子地切换的衍射光栅419的每一堆叠对示例性16mm x 28mm眼睛运动框的水平的一半进行成像(即，每一堆叠对8mm x 28mm进行成像)。类似地，可电子地切换的衍射光栅419的第一和第二堆叠可被布置为在水平上彼此毗邻，使得可电子地切换的衍射光栅419的每一堆叠对示例性16mm x 28mm眼睛运动框的水平的一半进行成像(即，每一堆叠对8mm x 28mm进行成像)。
替换地，第一和第二可电子地切换的衍射光栅419可被布置为在垂直上彼此毗邻，使得每一可电子地切换的衍射光栅419对示例性16mm x 28mm眼睛运动框的垂直的一半进行成像(即，每一可电子地切换的衍射光栅对16mm x 14mm进行成像)。类似地，可电子地切换的衍射光栅419的第一和第二堆叠可被布置为在垂直上彼此毗邻，使得可电子地切换的衍射光栅419的每一堆叠可被用于对示例性16mm x28mm眼睛运动框的垂直的一半进行成像(即，每一堆叠对16mm x 14mm进行成像)。
还有可能将眼睛运动框拆分成多个水平区和多个垂直区。例如，眼睛运动框可被拆分成四个区，并使用包括按2乘2模式布置的4个可电子地切换的衍射光栅419(或其堆叠)的输入耦合器414来成像。除了使用多个可电子地切换的衍射光栅419(或其堆叠)来将眼睛运动框的成像拆分成多个区外，多个可电子地切换的衍射光栅419(或其堆叠)还可被用于增加眼睛运动框的总尺寸以适应更大的瞳孔间距(IPD)方面的变化和其他眼睛位置和面部特征方面的变化。
更一般地，输入耦合器414的两个或更多个可电子地切换的衍射光栅419(或其堆叠)可被布置成在垂直上一个在另一个之上。替换地或附加地，两个或更多个可电子地切换的衍射光栅419(或其堆叠)可被布置成在水平上一个在另一个旁边。在这样的实施例中，输入耦合器控制器223可控制多个可电子地切换的衍射光栅419，使得一次仅一个光栅419被打开。在这样的实施例中，眼睛可被成像在多个帧中。还有可能眼睛可在仅一个光栅419或其堆叠的FOV内，并由此仍可被成像在单个帧中。
图4E例示了包括输入耦合器414和输出耦合器424的波导412的示例性正视图，其中输入耦合器414包括可电子地切换的衍射光栅419(或其堆叠)。图4F例示了眼睛运动框可如何通过将被标记为419a和419b的两个可电子地切换的衍射光栅(或其堆叠)定位成在水平上彼此毗邻以被拆分成两个区。图4G例示了眼睛运动框可如何通过将被标记为419a和419b的两个可电子地切换的衍射光栅(或其堆叠)定位成在垂直上彼此毗邻以被拆分成两个区。图4H例示了眼睛运动框可如何使用对被标记为419a、419b、419c和419d的可电子地切换的衍射光栅(或其堆叠)的2乘2平铺(tiling)以被拆分成四个区。这些只是输入耦合器414的多个可电子地切换的衍射光栅419或可电子地切换的衍射光栅419的多个堆叠可如何被布置的几个示例，其不旨在是涵盖全部的。
在参考图4F-4H描述的各实施例中，输入耦合器414包括多个可电子地切换的衍射光栅419，这些可电子地切换的衍射光栅419相对于彼此被布置成使得这些可电子地切换的衍射光栅中的至少一些具有彼此不同的视野。输入耦合器414的可电子地切换的衍射光栅419中的每一者在被打开时接收红外光，并将所接收的红外光耦合到波导412中。在特定实施例中，输入耦合器控制器223控制可电子地切换的衍射光栅419中的每一者何时被打开，使得一次仅这些可电子地切换的衍射光栅419之一被打开。眼睛跟踪IR传感器134B取决于在输出耦合器424处离开波导412的红外光束对眼睛进行成像。根据一实施例，图像分析模块225分析使用该传感器获得的图像以确定这些可电子地切换的衍射光栅419中的哪一者或多者在被打开时在其视野中包括眼睛或其部分。如果这些光栅419中的一个光栅在其视野中包括整个眼睛(或该眼睛的所感兴趣的整个部分)，则那个光栅419此后可被用于眼睛跟踪。也有可能眼睛(或该眼睛的所感兴趣的部分)部分地在一个以上光栅419的视野内，则在该情况下，使用一个以上可电子地切换的衍射光栅419获得的图像可被用于眼睛跟踪。
使可电子地切换的衍射光栅(或其堆叠)在水平和/或垂直方向上彼此毗邻的布置可被称为平铺。用于使可电子地切换的衍射光栅(或其堆叠)彼此紧挨的平铺的一个原因是为了增加眼睛运动框，而不减小眼睛的各图像的专用分辨率。例如，如果期望是使眼睛运动框的尺寸翻倍而不增加眼睛跟踪IR传感器134B的分辨率，则毗邻的可电子地切换的衍射光栅(或其堆叠)的数目可简单地被翻倍。相反，这样的平铺可改为被用于通过增加平铺的程度来减小眼睛跟踪IR传感器134B的分辨率。平铺可电子地切换的衍射光栅(或其堆叠)的另一益处是这样的平铺可被用于基本上避免波导内的高入射角。
图5例示了透镜光学能力和楔形光学能力可如何在双光束过程中被组合以生成主全息图，其进而可在接触复制过程中被用来产生输入耦合器414的衍射光栅419。参考图5，其中示出了第一表面502、盖透镜(cover lens)504、用来生成被记录的主全息图的全息记录介质506、离轴透镜系统(off-axis lens system)508和第二表面510。全息记录介质506可以是重铬酸明胶或光聚合物，但不限于此。第一光束由从第一表面502发射出的经准直的光束生成。第一光束在其入射到记录介质506上之前由盖透镜504会聚。第二光束由从第二表面510发射出的经准直的光束生成。该光束在入射到记录介质上之前由离轴透镜系统508和盖透镜504修正。这两个光束彼此干涉以在全息记录介质506中产生干涉图案，从而生成主全息图。这样的主全息图可随后被用于使用接触复制来大量产生输入耦合器414的衍射光栅419。如果主全息图与副本直接接触，则接触副本的透镜或衍射光学能力将只能是相同的。如果主图和副本之间有间隙或距离，则主全息图应被设计成补偿该间隙。
图6是被用来概述供在眼睛跟踪时使用的方法的流程图。参考图6，在步骤602，当波导的输入耦合器与眼睛基本轴向对准时，用红外光照射眼睛。根据以上参考图4C描述的特定实施例，输入耦合器包括彼此平行布置的两个或更多个可电子地切换的衍射光栅的堆叠。可电子地切换的衍射光栅中的每一者具有相应的透镜光学能力和相应的棱镜光学能力，其中这些可电子地切换的衍射光栅中的每一者的透镜光学能力彼此不同，使得这些可电子地切换的衍射光栅中的每一者具有不同的焦距。
仍参考图6，步骤604涉及选择性地使得一次仅输入耦合器的可电子地切换的衍射光栅中的一者被打开，从而使得这些可电子地切换的衍射光栅中的每一者被单独地打开达单独的时间段。步骤606涉及在输入耦合器的下边界到上边界之间使用逐渐递减的k向量角，以使得由输入耦合器耦合到波导中的的红外光的至少大部分(并且优选地全部或几乎所有)在波导内传播到波导的输出耦合器。步骤606或分开的步骤也可涉及使用等于或小于5度的输入耦合器的角带宽来限制在从眼睛上的同一点反射出后被耦合到波导中的不同红外光束在该不同红外光束从输入耦合器传播到输出耦合器时可以是非准直的程度。如步骤608所示，波导的输出耦合器被用来使得已从输入耦合器传播到输出耦合器的红外光束离开波导。
步骤610涉及在输入耦合器的可电子地切换的衍射光栅中的每一者被分开地打开时，取决于在波导的输出耦合器处离开波导的红外光束来分开地对眼睛进行成像，以由此获得眼睛的两个或更多个图像。例如，在输入耦合器包括彼此平行布置的四个可电子切换的衍射光栅(如在图4B中，这些可电子地切换的衍射光栅中的每一者具有其自己的焦距)的堆叠的情况下，随后眼睛的四个图像可在步骤610处被获得。
步骤610涉及分析眼睛的两个或更多个图像以确定输入耦合器的可电子地切换的衍射光栅中的哪一者在被打开时提供眼睛或其部分的最佳聚焦图像。如本文中使用的术语最佳是相对术语，其不旨在指代最优。换言之，多个图像中的最佳聚焦图像不一定是完美聚焦图像。相反，最佳聚焦图像是多个图像中比其他图像更清晰的一个图像。根据以上更详细描述的特定实施例，步骤610可包括确定两个或更多个图像中的每一者的分辨率、对比度或熵的测量值以由此为这两个或更多个图像中的每一者确定聚焦度量。步骤610还可包括确定这两个或更多个图像中的哪一个图像具有最好聚焦度量，并选择输入耦合器的可电子地切换的衍射光栅中可被用来获得具有最好聚焦度量的图像的那个可电子地切换的衍射光栅作为提供眼睛或其部分的最佳聚焦图像的可电子地切换的衍射光栅。
步骤614涉及取决于在输入耦合器的提供眼睛或其部分的最佳聚焦图像的那个可电子地切换的衍射光栅被打开时进入波导的红外光束来生成眼睛跟踪数据。步骤616涉及基于该眼睛跟踪数据来控制或修改应用的方面。更一般地，眼睛跟踪是使用在输入耦合器的提供眼睛或其部分的最佳聚焦图像的那个可电子地切换的衍射光栅被打开时获得的眼睛的一个或多个图像来执行的。如上面所解释的，这可使用眼睛跟踪IR传感器(例如134B)来实现。传感器可以例如是电荷耦合器件(CCD)或CMOS像素传感器阵列，但不限于此。眼睛跟踪数据的一些示例是来自红外相机或由位置敏感检测器(PSD)所检测到闪光的位置的图像数据。眼睛跟踪数据可被用来例如确定注视点，该注视点指示用户正在注视的一个或多个现实或虚拟对象。换句话说，眼睛跟踪数据可被用来确定用户注视的方向或对象。本领域所知的眼睛跟踪可涉及测量聚散度、瞳孔间距(IPD)、注视确定、基于眼睛移动的命令、生物测定标识，但不限于此。
瞳孔在眼框内的位置在IR传感器是IR相机时可通过已知的成像技术来标识，或者使用某种类型的位置敏感检测器(PSD)来标识。对于更具体的示例，在IR照明基本上在轴上时，瞳孔的位置可通过检测来自视网膜的反射的已知成像技术来标识。在该实施例中，从视网膜反射的光比从周围虹膜反射的光更亮。该实施例一般称为眼睛跟踪的亮瞳孔方法。在另一实施例中，IR照明是基本上离轴的。在该实施例中，进入眼睛瞳孔的光不被视网膜反射回到IR相机中。在该情况下，瞳孔内到达IR相机的光比从虹膜反射回到IR相机的光少的多。该实施例一般被称为暗瞳孔方法。来自眼睛的其他反射(诸如，所谓的来自角膜的Purkinje反射)可被相机成像以允许对眼睛向量的计算。来自角膜的反射一般在IR相机上形成小斑点。这些反射有时被称为眼睛闪光。可示出，眼睛向量可通过跟踪瞳孔和闪光的相对位置来计算。这些是已知的图像处理技术，例如如在2008年7月22日颁发给Kranz等人的标题为“Head Mounted Eye Tracking and Display System(头戴式眼睛跟踪和显示系统)”的美国专利7,401,920中公开的。此类技术可以定位眼睛的中心相对于跟踪相机(例如，眼睛跟踪IR传感器134B)的位置。一般而言，眼睛跟踪涉及获得眼睛的图像并使用计算机视觉技术来确定瞳孔在眼眶内的位置。在一个实施例中，跟踪一只眼睛的位置就足够了，因为双眼通常一致地移动。然而，单独地跟踪每只眼睛也是可能的。在两只眼睛被跟踪的情况下，对于这两只眼睛中的每只眼睛，可以存在在本文中描述的波导412中的一个独立的波导。描述用于基于反射的红外光来跟踪眼睛并生成眼睛跟踪数据的专利的另一示例是2013年7月16日颁发给Lewis等人的题为“Gaze Detection in a See-Through,Near-Eye,Mixed RealityDisplay(透视近眼混合现实显示器中的注视检测)”的美国专利号8,487,838。
步骤616可例如使用处理器(例如210或320)来执行。步骤616可涉及例如使得用户能够从列表中做出选择，从而使得用户能够控制化身如何行进通过虚拟环境，或引起某些虚拟对象被强调，但不限于此。步骤616可附加地或替代地涉及观察用户对某些视觉刺激等的反应。
本文公开的波导有利地可按不损害混合现实显示设备系统的透视属性的方式与眼睛跟踪硬件一起使用。此外，本文公开的波导允许与所有类型的处方眼镜一起工作的眼睛的成像，并允许覆盖整个眼睛移动范围加上瞳孔间距离范围的眼睛的成像。
在附图中，波导412通常被示为包括一对平面表面的波导412。在替代实施例中，波导的表面可以是非平面的，即弯曲的。尽管光栅可在平面表面上或平面表面中被更容易地制造，使用(一个或多个)弯曲表面可能减少系统中的某些色差(aberration)。
本文描述的某些实施例涉及供在跟踪由具有红外波长的红外光照射的眼睛时使用的装置。输出耦合器可以是线性光栅、全息栅格或棱镜，但不限于此。在某些实施例中，输入耦合器包括彼此平行布置的两个或更多个可电子地切换的衍射光栅的堆叠。每一个可电子地切换的衍射光栅具有相应的透镜光学能力和相应的棱镜光学能力。每一个可电子地切换的衍射光栅的透镜光学能力彼此不同，使得每一个可电子地切换的衍射光栅具有不同的焦距。每一个可电子地切换的衍射光栅在被打开时被适配成接收具有红外波长的红外光并将接收到的红外光耦合到波导中。每一个可电子地切换的衍射光栅包括下边界和上边界，上边界比下边界更靠近输出耦合器。在一实施例中，每一个可电子地切换的衍射光栅在下边界处具有k向量角，在k向量角大于该可电子地切换的衍射光栅在上边界处的k向量角，其中在下边界与上边界之间k向量角随着该可电子地切换的衍射光栅的光栅平面与上边界之间的距离递减而逐渐递减。
当输入耦合器被定位在用红外光照射的眼睛前面时，从眼睛反射并由输入耦合器接收的红外光的至少一部分在输入耦合器处被耦合到波导中，经由全内反射在波导内从输入耦合器传播到输出耦合器，并在输出耦合器附近离开波导。传感器取决于在输出耦合器处离开波导的红外光束对眼睛进行成像。根据某些实施例，透镜模块在该输出耦合器和该传感器之间，并且在该输出耦合器处离开波导的红外光束在入射在该传感器上之前通过该透镜模块。
输入耦合器控制器控制可电子地切换的衍射光栅中的每一者何时被打开，使得一次仅这些可电子地切换的衍射光栅中的一者被打开。图像分析器分析使用传感器获得的眼睛的两个或更多个图像以确定可电子地切换的衍射光栅中的哪一者在被打开时提供眼睛或其部分的最佳聚焦图像。输入耦合器控制器使得这些可电子地切换的衍射光栅中由图像分析模块确定为提供眼睛的最佳聚焦图像的一个可电子地切换的衍射光栅被用来在眼睛跟踪期间对眼睛进行成像。
在某些实施例中，输入耦合器还包括彼此平行布置的两个或更多个可电子地切换的衍射光栅的第二堆叠，其中该第二堆叠毗邻第一堆叠。在这样的实施例中，第二堆叠中的可电子地切换的衍射光栅提供与第一堆叠中的可电子地切换的衍射光栅所提供的视野不同的视野。此外，在这样的实施例中，图像分析模块可确定可电子地切换的衍射光栅中的哪一者在被打开时使眼睛包括在其视野内，并提供眼睛或其部分的最清晰的图像。
本文描述的某些实施例涉及供在跟踪眼睛时使用的方法。这样的方法包括当波导的输入耦合器与眼睛基本轴向对准时，用红外光照射眼睛。输入耦合器包括彼此平行布置的两个或更多个可电子地切换的衍射光栅的堆叠，每一可电子地切换的衍射光栅具有相应的透镜光学能力和相应的棱镜光学能力，这些可电子地切换的衍射光栅中的每一者的透镜光学能力彼此不同，使得这些可电子地切换的衍射光栅中的每一者具有不同的焦距。该方法还包括使得一次仅输入耦合器的可电子地切换的衍射光栅中的一者被打开，使得这些可电子地切换的衍射光栅中的每一者被单独地打开达单独的时间段。此外，该方法可包括在输入耦合器的可电子地切换的衍射光栅中的每一者被分开地打开时，取决于在输出耦合器处离开波导的红外光束来分开地对眼睛进行成像，以由此获得眼睛的两个或更多个图像。此外，该方法可包括分析眼睛的两个或更多个图像以确定输入耦合器的可电子地切换的衍射光栅中的哪一者在被打开时提供眼睛或其部分的最佳聚焦图像。此后，眼睛跟踪可使用在输入耦合器的提供眼睛或其部分的最佳聚焦图像的那个可电子地切换的衍射光栅被打开时获得的眼睛的一个或多个图像来执行。
根据一实施例，波导的输入耦合器包括两个或更多个可电子地切换的衍射光栅，此两个或更多个可电子地切换的衍射光栅相对于彼此被布置成使得此两个或更多个可电子地切换的衍射光栅具有彼此不同的视野。在该实施例中，输入耦合器的可电子地切换的衍射光栅中的每一者在被打开时被适配成接收具有红外波长的红外光并将接收到的红外光耦合到波导中。输入耦合器控制器控制这些可电子地切换的衍射光栅中的每一者何时被打开，使得一次仅可电子地切换的衍射光栅之一被打开。传感器取决于在输出耦合器处离开波导的红外光束对眼睛进行成像。当输入耦合器被定位在用红外光照射的眼睛前面时，从眼睛反射并由输入耦合器接收的红外光的至少一部分在输入耦合器处被耦合到波导中，经由全内反射在波导内从输入耦合器传播到输出耦合器，并在在输出耦合器附近离开波导。图像分析模块分析使用传感器获得的图像以确定这些可电子地切换的衍射光栅中的哪一个或多个在被打开时在其视野中包括眼睛(或其感兴趣的部分)。处理器取决于眼睛的一个或多个图像生成眼睛跟踪数据，并基于眼睛跟踪数据控制或修改应用的方面。
本技术的各实施例已经在上面在解说所指定的功能的执行及其关系的功能构造块的帮助下进行了描述。这些功能构造块的边界在本文中经常为了方便描述而被限定。替代的边界可被定义，只要所指定的功能及其关系被适当地执行。任何这些替代地边界从而落在本技术的范围和精神内。例如，组合或分离图6中示出的某些步骤是可能的。对于另一示例，改变图3A和3B中示出的某些块的边界是可能的。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。本技术的范围由所附的权利要求进行定义。

Claims (18)

1.一种供在跟踪由具有红外波长的红外光照射的眼睛时使用的装置，所述装置包括：
波导，所述波导是透明的并且包括输入耦合器和输出耦合器；
所述输入耦合器包括彼此平行布置的两个或更多个可电子地切换的衍射光栅的堆叠；
其中所述可电子地切换的衍射光栅中的每一者具有相应的透镜光学能力和相应的棱镜光学能力；
其中，所述可电子地切换的衍射光栅中的每一者的透镜光学能力彼此不同，使得所述可电子地切换的衍射光栅中的每一者具有不同的焦距；以及
其中，所述可电子地切换的衍射光栅中的每一者在被打开时被适配成接收具有所述红外波长的红外光并将接收到的红外光耦合到所述波导中；
所述装置还包括：
传感器，所述传感器取决于在所述输出耦合器处离开所述波导的红外光束对眼睛进行成像；
输入耦合器控制器，所述输入耦合器控制器控制所述可电子地切换的衍射光栅中的每一者何时被打开，使得一次仅所述可电子地切换的衍射光栅中的一者被打开；以及
图像分析器，所述图像分析器分析使用所述传感器获得的眼睛的两个或更多个图像以确定所述可电子地切换的衍射光栅中的哪一者在被打开时提供眼睛或其部分的最佳聚焦图像。
2.如权利要求1所述的装置，其特征在于：
所述可电子地切换的衍射光栅中的每一者包括下边界和上边界，所述上边界比所述下边界更靠近所述输出耦合器；以及
所述可电子地切换的衍射光栅中的每一者在所述下边界处具有k向量角，该k向量角大于该可电子地切换的衍射光栅在所述上边界处的k向量角，其中在所述下边界与上边界之间k向量角随着在所述可电子地切换的衍射光栅的光栅平面与所述上边界之间的距离递减而逐渐递减。
3.如权利要求1所述的装置，其特征在于，当所述输入耦合器被定位在用所述红外光照射的眼睛前面时，至少所述红外光的从所述眼睛反射出并被所述输入耦合器接收的部分在所述输入耦合器处被耦合到所述波导中、在所述波导内通过全内反射从所述输入耦合器传播到所述输出耦合器、并在所述输出耦合器附近离开所述波导。
4.如权利要求1所述的装置，其特征在于：
所述输入耦合器控制器使得所述可电子地切换的衍射光栅中的所述图像分析器确定为提供所述眼睛的最佳聚焦图像的一个可电子地切换的衍射光栅被用来在眼睛跟踪期间对所述眼睛进行成像。
5.如权利要求4所述的装置，其特征在于，进一步包括：
在所述输出耦合器和所述传感器之间的透镜模块；
其中在所述输出耦合器处离开所述波导的红外光束在入射到所述传感器之前通过所述透镜模块。
6.如权利要求1所述的装置，其特征在于：
所述输入耦合器包括彼此平行布置的两个或更多个可电子地切换的衍射光栅的第二堆叠，所述第二堆叠毗邻第一堆叠，并且所述第二堆叠中的可电子地切换的衍射光栅提供与由所述第一堆叠中的可电子切换的衍射光栅提供的视野不同的视野。
7.如权利要求6所述的装置，其特征在于，进一步包括：
传感器，所述传感器取决于在所述输出耦合器处离开所述波导的红外光束对眼睛进行成像；以及
输入耦合器控制模块，所述输入耦合器控制模块控制所述第一堆叠和第二堆叠中的可电子地切换的衍射光栅中的每一者何时被打开，使得一次仅所述可电子地切换的衍射光栅中的一者被打开；
图像分析模块，所述图像分析模块分析使用所述传感器获得的图像以确定所述可电子地切换的衍射光栅中的哪一者在被打开时使眼睛包括在其视野内，并提供眼睛或其部分的最清晰的图像。
8.如权利要求1所述的装置，其特征在于，其中所述可电子地切换的衍射光栅中的每一者在其下边界处具有光栅周期，该光栅周期小于其上边界处的所述光栅周期，其中在所述下边界和上边界之间所述衍射光栅逐渐递增。
9.如权利要求1所述的装置，其特征在于，所述可电子地切换的衍射光栅中的每一者包括可电子地切换的布拉格光栅(ESBG)、可电子地切换的铌酸锂衍射光栅或可电子地切换的POLYCRIPS衍射光栅。
10.一种供在跟踪眼睛时使用的方法，所述方法包括：
在波导的输入耦合器通常与眼睛轴向对准时，用红外光照射所述眼睛，所述输入耦合器包括彼此平行布置的两个或更多个可电子地切换的衍射光栅的堆叠，所述可电子地切换的衍射光栅中的每一者具有相应的透镜光学能力和相应的棱镜光学能力，所述可电子地切换的衍射光栅中的每一者的透镜光学能力彼此不同，使得所述可电子地切换的衍射光栅中的每一者具有不同的焦距；
选择性地使得一次仅所述输入耦合器的可电子地切换的衍射光栅中的一者被打开，使得所述可电子地切换的衍射光栅中的每一者被单独地打开达单独的时间段；
在所述输入耦合器的可电子地切换的衍射光栅中的每一者被分开地打开时，取决于在所述波导的输出耦合器处离开所述波导的红外光束来分开地对所述眼睛进行成像，以由此获得所述眼睛的两个或更多个图像；以及
分析所述眼睛的两个或更多个图像以确定所述输入耦合器的可电子地切换的衍射光栅中的哪一者在被打开时提供所述眼睛或其部分的最佳聚焦图像。
11.如权利要求10所述的方法，其特征在于，进一步包括：
使用在所述输入耦合器的提供所述眼睛或其部分的最佳聚焦图像的那个可电子地切换的衍射光栅被打开时获得的所述眼睛的一个或多个图像来执行眼睛跟踪。
12.如权利要求10所述的方法，其特征在于，进一步包括：
取决于在所述输入耦合器的提供所述眼睛或其部分的最佳聚焦图像的那个可电子地切换的衍射光栅被打开时进入所述波导的红外光束生成眼睛跟踪数据；以及
基于所述眼睛跟踪数据来控制或修改应用的方面。
13.如权利要求10所述的方法，其特征在于，所述分析包括：
确定所述两个或更多个图像中的每一者的分辨率、对比度或熵中的至少一者的测量值，以由此确定所述两个或更多个图像的每个图像的焦距度量；
确定所述两个或更多个图像中的哪一个图像具有最大焦距度量；以及
选择所述输入耦合器的可电子地切换的衍射光栅中被用于获得具有所述最大焦距度量的那个可电子地切换的衍射光栅作为提供所述眼睛或其部分的最佳聚焦图像的可电子地切换的衍射光栅。
14.如权利要求10所述的方法，其特征在于，进一步包括：
在输入耦合器的可电子地切换的衍射光栅中的每一者的下边界与上边界之间使用逐渐递减的k向量角，以至少使得由所述输入耦合器耦合到所述波导中的大部分红外光通过所述波导传播到所述波导的所述输出耦合器；以及
使用所述波导的所述输出耦合器，以使得已经从所述输入耦合器传播到所述输出耦合器的红外光束离开所述波导。
15.一种供在跟踪用具有红外波长的红外光照射的眼睛时使用的装置，所述装置包括：
波导，所述波导是透明的并包括输入耦合器和输出耦合器；
所述输入耦合器包括两个或更多个可电子地切换的衍射光栅的堆叠，所述两个或更多个可电子地切换的衍射光栅被相对于彼此平行布置成使得所述两个或更多个可电子地切换的衍射光栅彼此具有不同的视野，以及
所述输入耦合器的所述可电子地切换的衍射光栅中的每一者在被打开时被适配成接收具有所述红外波长的红外光，并将接收到的红外光耦合到所述波导中；
输入耦合器控制器，所述输入耦合器控制器在所述可电子地切换的衍射光栅中的每一者被打开时进行控制，使得一次仅所述可电子地切换的衍射光栅之一被打开；
传感器，所述传感器取决于在所述输出耦合器处离开所述波导的红外光束对眼睛进行成像；以及
图像分析模块，所述图像分析模块分析使用所述传感器获得的图像以确定所述可电子地切换的衍射光栅中的哪一者或多者在被打开时在其视野内包括眼睛或其部分。
16.如权利要求15所述的装置，其特征在于，当所述输入耦合器被定位在用所述红外光照射的眼睛前面时，至少所述红外光的从所述眼睛反射出并被所述输入耦合器接收的部分在所述输入耦合器处被耦合到所述波导中、在所述波导内通过全内反射从所述输入耦合器传播到所述输出耦合器、并在所述输出耦合器附近离开所述波导。
17.根据权利要求15所述的装置，其特征在于，进一步包括：
处理器，所述处理器取决于使用所述传感器获得的所述眼睛的一个或多个图像来生成眼睛跟踪数据，并基于所述眼睛跟踪数据来控制或修改应用的一方面。
18.如权利要求15所述的装置，其特征在于：
所述可电子地切换的衍射光栅中的每一者都包括下边界和上边界，所述上边界比所述下边界更接近所述输出耦合器；以及
所述可电子地切换的衍射光栅中的每一者都在所述下边界处具有k向量角，该k向量角大于该可电子地切换的衍射光栅在所述上边界处的k向量角，其中在所述下边界和上边界之间k向量角随着在所述可电子地切换的衍射光栅的光栅平面和所述上边界之间的距离递减而逐渐递减。
CN201580051654.XA 2014-09-24 2015-09-16 采用可切换衍射光栅的波导眼睛跟踪 Active CN106716223B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/495,273 US9494799B2 (en) 2014-09-24 2014-09-24 Waveguide eye tracking employing switchable diffraction gratings
US14/495,273 2014-09-24
PCT/US2015/050316 WO2016048729A1 (en) 2014-09-24 2015-09-16 Waveguide eye tracking employing switchable diffraction gratings

Publications (2)

Publication Number Publication Date
CN106716223A CN106716223A (zh) 2017-05-24
CN106716223B true CN106716223B (zh) 2019-08-02

Family

ID=54291598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580051654.XA Active CN106716223B (zh) 2014-09-24 2015-09-16 采用可切换衍射光栅的波导眼睛跟踪

Country Status (6)

Country Link
US (1) US9494799B2 (zh)
EP (1) EP3197339B1 (zh)
JP (1) JP6641361B2 (zh)
KR (1) KR102522813B1 (zh)
CN (1) CN106716223B (zh)
WO (1) WO2016048729A1 (zh)

Families Citing this family (192)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0522968D0 (en) 2005-11-11 2005-12-21 Popovich Milan M Holographic illumination device
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US9341846B2 (en) 2012-04-25 2016-05-17 Rockwell Collins Inc. Holographic wide angle display
US20200057353A1 (en) 2009-10-09 2020-02-20 Digilens Inc. Compact Edge Illuminated Diffractive Display
US11204540B2 (en) 2009-10-09 2021-12-21 Digilens Inc. Diffractive waveguide providing a retinal image
WO2012136970A1 (en) 2011-04-07 2012-10-11 Milan Momcilo Popovich Laser despeckler based on angular diversity
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
EP2748670B1 (en) 2011-08-24 2015-11-18 Rockwell Collins, Inc. Wearable data display
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
US20150010265A1 (en) 2012-01-06 2015-01-08 Milan, Momcilo POPOVICH Contact image sensor using switchable bragg gratings
US9456744B2 (en) 2012-05-11 2016-10-04 Digilens, Inc. Apparatus for eye tracking
US9933684B2 (en) 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
WO2014188149A1 (en) 2013-05-20 2014-11-27 Milan Momcilo Popovich Holographic waveguide eye tracker
US9727772B2 (en) 2013-07-31 2017-08-08 Digilens, Inc. Method and apparatus for contact image sensing
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
WO2016020632A1 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Method for holographic mastering and replication
WO2016042283A1 (en) 2014-09-19 2016-03-24 Milan Momcilo Popovich Method and apparatus for generating input images for holographic waveguide displays
US10423222B2 (en) 2014-09-26 2019-09-24 Digilens Inc. Holographic waveguide optical tracker
KR102417136B1 (ko) 2014-09-29 2022-07-05 매직 립, 인코포레이티드 상이한 파장의 광을 도파관 밖으로 출력하기 위한 아키텍쳐 및 방법
US9958680B2 (en) 2014-09-30 2018-05-01 Omnivision Technologies, Inc. Near-eye display device and methods with coaxial eye imaging
US10684477B2 (en) * 2014-09-30 2020-06-16 Omnivision Technologies, Inc. Near-eye display device and methods with coaxial eye imaging
CN107873086B (zh) 2015-01-12 2020-03-20 迪吉伦斯公司 环境隔离的波导显示器
US20180275402A1 (en) 2015-01-12 2018-09-27 Digilens, Inc. Holographic waveguide light field displays
WO2016116733A1 (en) 2015-01-20 2016-07-28 Milan Momcilo Popovich Holographic waveguide lidar
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
CN107645921B (zh) 2015-03-16 2021-06-22 奇跃公司 用于诊断和治疗健康疾病的方法和系统
WO2016146963A1 (en) 2015-03-16 2016-09-22 Popovich, Milan, Momcilo Waveguide device incorporating a light pipe
US10591756B2 (en) 2015-03-31 2020-03-17 Digilens Inc. Method and apparatus for contact image sensing
EP3770659B1 (en) * 2015-05-19 2023-10-04 Magic Leap, Inc. Illuminator
EP3308219A4 (en) 2015-06-15 2019-03-13 Magic Leap, Inc. SYSTEMS AND METHODS FOR VIRTUAL AND INCREASED REALITY
WO2017060665A1 (en) 2015-10-05 2017-04-13 Milan Momcilo Popovich Waveguide display
KR102439768B1 (ko) 2016-01-07 2022-09-01 매직 립, 인코포레이티드 심도 평면들에 걸쳐 분포된 동일하지 않은 수의 컴포넌트 컬러 이미지들을 갖는 가상 및 증강 현실 시스템들 및 방법들
WO2017134412A1 (en) 2016-02-04 2017-08-10 Milan Momcilo Popovich Holographic waveguide optical tracker
KR102370445B1 (ko) 2016-03-04 2022-03-03 매직 립, 인코포레이티드 Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소
JP6895451B2 (ja) 2016-03-24 2021-06-30 ディジレンズ インコーポレイテッド 偏光選択ホログラフィー導波管デバイスを提供するための方法および装置
CN109154723B (zh) * 2016-03-25 2021-08-17 奇跃公司 虚拟和增强现实系统和方法
AU2017246901B2 (en) 2016-04-08 2022-06-02 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
JP6734933B2 (ja) 2016-04-11 2020-08-05 ディジレンズ インコーポレイテッド 構造化光投影のためのホログラフィック導波管装置
US10067347B2 (en) 2016-04-13 2018-09-04 Microsoft Technology Licensing, Llc Waveguides with improved intensity distributions
US9791703B1 (en) * 2016-04-13 2017-10-17 Microsoft Technology Licensing, Llc Waveguides with extended field of view
WO2017196999A1 (en) 2016-05-12 2017-11-16 Magic Leap, Inc. Wavelength multiplexing in waveguides
US10353202B2 (en) * 2016-06-09 2019-07-16 Microsoft Technology Licensing, Llc Wrapped waveguide with large field of view
US10649143B2 (en) * 2016-06-20 2020-05-12 Akonia Holographics Llc Polarization management
WO2018039278A1 (en) 2016-08-22 2018-03-01 Magic Leap, Inc. Multi-layer diffractive eyepiece
CN107784255B (zh) * 2016-08-30 2024-05-14 北京亮亮视野科技有限公司 头戴式用户虹膜信息采集设备
US10268268B1 (en) 2016-09-02 2019-04-23 Facebook Technologies, Llc Waveguide integrated eye tracking
US10095045B2 (en) 2016-09-12 2018-10-09 Microsoft Technology Licensing, Llc Waveguide comprising a bragg polarization grating
US10345595B2 (en) * 2016-09-30 2019-07-09 Htc Corporation Head mounted device with eye tracking and control method thereof
EP3542215B1 (en) 2016-11-18 2022-11-02 Magic Leap, Inc. Spatially variable liquid crystal diffraction gratings
CN110199220B (zh) 2016-11-18 2022-11-01 奇跃公司 使用交叉光栅的波导光复用器
US11067860B2 (en) 2016-11-18 2021-07-20 Magic Leap, Inc. Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same
WO2018102834A2 (en) 2016-12-02 2018-06-07 Digilens, Inc. Waveguide device with uniform output illumination
CN116107101A (zh) 2016-12-08 2023-05-12 奇跃公司 基于胆甾型液晶的衍射装置
US20190129182A1 (en) * 2016-12-08 2019-05-02 Snail Innovation Institute Integrated lenses in wearable display devices
EP4307039A1 (en) 2016-12-14 2024-01-17 Magic Leap, Inc. Patterning of liquid crystals using soft-imprint replication of surface alignment patterns
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) * 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10168531B1 (en) 2017-01-04 2019-01-01 Facebook Technologies, Llc Lightfield waveguide integrated eye tracking
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
JP7096253B2 (ja) 2017-01-23 2022-07-05 マジック リープ， インコーポレイテッド 仮想現実、拡張現実、および複合現実システムのための接眼レンズ
KR20190105576A (ko) * 2017-01-26 2019-09-17 디지렌즈 인코포레이티드 균일한 출력 조명을 갖는 도파관 장치
CN115166977A (zh) * 2017-02-13 2022-10-11 视瑞尔技术公司 光导装置和用于表示场景的显示装置
WO2018152235A1 (en) * 2017-02-14 2018-08-23 Optecks, Llc Optical display system for augmented reality and virtual reality
US10222620B2 (en) 2017-02-15 2019-03-05 Microsoft Technology Licensing, Llc Pupil-expansion optic with offset entry apertures
IL307602A (en) 2017-02-23 2023-12-01 Magic Leap Inc Variable focus virtual imagers based on polarization conversion
JP7300996B2 (ja) 2017-03-21 2023-06-30 マジック リープ， インコーポレイテッド 回折光学要素を使用した眼結像装置
US10674143B2 (en) 2017-05-12 2020-06-02 Qualcomm Incorporated System for eye tracking
CN107272202A (zh) * 2017-06-16 2017-10-20 北京灵犀微光科技有限公司 光学装置和波导显示装置
DE112018003552A5 (de) * 2017-07-13 2020-03-26 Seereal Technologies S.A. Anzeigevorrichtung zur Vergrößerung des Sichtfelds
JPWO2019016926A1 (ja) * 2017-07-20 2020-05-21 サン電子株式会社 頭部装着型表示装置
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US10394034B2 (en) 2017-08-15 2019-08-27 Microsoft Technology Licensing, Llc Eye-tracking with MEMS scanning and optical relay
CN111316153A (zh) 2017-09-21 2020-06-19 奇跃公司 具有被配置为捕获眼睛和/或环境的图像的波导的增强现实显示器
WO2019079350A2 (en) 2017-10-16 2019-04-25 Digilens, Inc. SYSTEMS AND METHODS FOR MULTIPLYING THE IMAGE RESOLUTION OF A PIXÉLISÉ DISPLAY
US11237628B1 (en) 2017-10-16 2022-02-01 Facebook Technologies, Llc Efficient eye illumination using reflection of structured light pattern for eye tracking
US11073903B1 (en) 2017-10-16 2021-07-27 Facebook Technologies, Llc Immersed hot mirrors for imaging in eye tracking
CN110402411A (zh) * 2017-11-03 2019-11-01 深圳市柔宇科技有限公司 显示控制方法和头戴显示设备
US10732427B2 (en) * 2017-11-20 2020-08-04 Microsoft Technology Licensing, Llc Eye-tracking system positioning diffractive couplers on waveguide
CN107783297A (zh) * 2017-11-22 2018-03-09 深圳创维新世界科技有限公司 近眼显示装置
CN111357008B (zh) 2017-11-28 2023-09-12 指纹卡安娜卡敦知识产权有限公司 生物计量成像系统以及用于控制该系统的方法
US10761314B1 (en) * 2017-12-05 2020-09-01 Facebook, Inc. Apparatuses, systems, and methods for reflecting infrared light
CA3084811A1 (en) 2017-12-10 2019-06-13 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
WO2019118930A1 (en) 2017-12-15 2019-06-20 Magic Leap, Inc. Eyepieces for augmented reality display system
CN111712751B (zh) 2017-12-20 2022-11-01 奇跃公司 用于增强现实观看设备的插入件
WO2019136476A1 (en) 2018-01-08 2019-07-11 Digilens, Inc. Waveguide architectures and related methods of manufacturing
KR20200108030A (ko) 2018-01-08 2020-09-16 디지렌즈 인코포레이티드. 도파관 셀 내의 홀로그래픽 격자의 높은 처리능력의 레코딩을 위한 시스템 및 방법
US10942355B2 (en) 2018-01-22 2021-03-09 Facebook Technologies, Llc Systems, devices, and methods for tiled multi-monochromatic displays
US11086129B2 (en) * 2018-02-21 2021-08-10 Valve Corporation Head-mounted display with narrow angle backlight
JP2019154815A (ja) * 2018-03-13 2019-09-19 株式会社リコー 眼球の傾き位置検知装置、表示装置、及び検眼装置
US11846779B2 (en) 2018-03-15 2023-12-19 Meta Platforms Technologies, Llc Display device with varifocal optical assembly
US11327306B2 (en) * 2018-03-15 2022-05-10 Facebook Technologies, Llc Angular performance of apochromatic pancharatnam berry phase components using a C-plate
US10755676B2 (en) 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US11175507B2 (en) * 2018-03-15 2021-11-16 Facebook Technologies, Llc Polarization-sensitive components in optical systems for large pupil acceptance angles
JP7487109B2 (ja) 2018-03-16 2024-05-20 ディジレンズ インコーポレイテッド 複屈折制御を組み込むホログラフィック導波管およびその加工のための方法
CN110297331A (zh) 2018-03-23 2019-10-01 京东方科技集团股份有限公司 显示装置及显示方法
US10761256B2 (en) 2018-04-16 2020-09-01 Samsung Electronics Co., Ltd. Backlight unit providing uniform light and display apparatus including the same
TWI705354B (zh) * 2018-05-22 2020-09-21 宏達國際電子股份有限公司 眼球追蹤裝置及其光源控制方法
US11204491B2 (en) 2018-05-30 2021-12-21 Magic Leap, Inc. Compact variable focus configurations
JP7319303B2 (ja) 2018-05-31 2023-08-01 マジック リープ， インコーポレイテッド レーダ頭部姿勢位置特定
JP7369147B2 (ja) 2018-06-05 2023-10-25 マジック リープ， インコーポレイテッド 視認システムのホモグラフィ変換行列ベースの温度較正
JP7421505B2 (ja) 2018-06-08 2024-01-24 マジック リープ， インコーポレイテッド 自動化された表面選択設置およびコンテンツ配向設置を用いた拡張現実ビューア
CN112272789B (zh) * 2018-06-15 2022-10-04 大陆汽车有限责任公司 具有可变的投影距离的用于生成虚拟图像的设备
US10345077B1 (en) * 2018-06-19 2019-07-09 Hel Technologies, Llc Holographic optical element with edge lighting
TWI675224B (zh) * 2018-06-29 2019-10-21 揚明光學股份有限公司 成像位移模組及其製造方法
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020018938A1 (en) 2018-07-19 2020-01-23 Magic Leap, Inc. Content interaction driven by eye metrics
WO2020023266A1 (en) * 2018-07-23 2020-01-30 Magic Leap, Inc. Systems and methods for external light management
US11624929B2 (en) 2018-07-24 2023-04-11 Magic Leap, Inc. Viewing device with dust seal integration
WO2020023545A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
WO2020023779A1 (en) 2018-07-25 2020-01-30 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
CN112740665A (zh) 2018-08-02 2021-04-30 奇跃公司 基于头部运动的瞳孔间距离补偿的观察系统
EP3830631A4 (en) 2018-08-03 2021-10-27 Magic Leap, Inc. NON-FUSED POSE DRIFT CORRECTION OF A FUSED TOTEM IN A USER INTERACTION SYSTEM
US10838132B1 (en) * 2018-08-21 2020-11-17 Facebook Technologies, Llc Diffractive gratings for eye-tracking illumination through a light-guide
JP7487176B2 (ja) 2018-08-22 2024-05-20 マジック リープ， インコーポレイテッド 患者視認システム
US20200096771A1 (en) * 2018-09-24 2020-03-26 Apple Inc. Optical Systems with Interleaved Light Redirectors
WO2020069026A1 (en) 2018-09-26 2020-04-02 Magic Leap, Inc. Diffractive optical elements with optical power
US10935799B2 (en) 2018-10-23 2021-03-02 Applied Materials, Inc. Optical component having depth modulated angled gratings and method of formation
CN117111304A (zh) 2018-11-16 2023-11-24 奇跃公司 用于保持图像清晰度的图像尺寸触发的澄清
US11237393B2 (en) 2018-11-20 2022-02-01 Magic Leap, Inc. Eyepieces for augmented reality display system
KR20210100174A (ko) * 2018-12-11 2021-08-13 디지렌즈 인코포레이티드. 단일 격자층 컬러 홀로그램 도파관 디스플레이를 제공하기 위한 방법 및 장치
US11256213B2 (en) 2018-12-17 2022-02-22 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using an array of parabolic mirrors
US10838362B2 (en) 2018-12-17 2020-11-17 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a prism array
US10948873B2 (en) 2018-12-17 2021-03-16 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a lens array
US11281160B2 (en) 2018-12-17 2022-03-22 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a fiber exposure
US10942489B2 (en) 2018-12-17 2021-03-09 Facebook Technologies, Llc Wide-field holographic pattern generation for head-mounted display (HMD) eye tracking
US11409240B2 (en) 2018-12-17 2022-08-09 Meta Platforms Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a diffractive optical element
US10816809B2 (en) * 2018-12-17 2020-10-27 Facebook Technologies, Llc Holographic in-field illuminator
KR102683759B1 (ko) * 2018-12-18 2024-07-10 삼성전자주식회사 영상을 표시하는 장치, 방법 및 컴퓨터 프로그램
EP3899613A4 (en) 2018-12-21 2022-09-07 Magic Leap, Inc. AIR POCKET STRUCTURES TO PROMOTE TOTAL INTERNAL REFLECTION IN A WAVEGUIDE
WO2020146546A1 (en) * 2019-01-08 2020-07-16 Avegant Corp. Sensor-based eye-tracking using a holographic optical element
US10983352B2 (en) * 2019-01-15 2021-04-20 Apple Inc. Display system with virtual image distance adjustment and corrective lenses
CN109857253A (zh) * 2019-02-03 2019-06-07 北京七鑫易维信息技术有限公司 一种眼球追踪装置及方法
US11861063B2 (en) 2019-02-05 2024-01-02 Samsung Electronics Co., Ltd. Eye-tracking device and display apparatus including the same
US11425189B2 (en) 2019-02-06 2022-08-23 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
US11237389B1 (en) * 2019-02-11 2022-02-01 Facebook Technologies, Llc Wedge combiner for eye-tracking
JP2022520472A (ja) 2019-02-15 2022-03-30 ディジレンズ インコーポレイテッド 統合された格子を使用してホログラフィック導波管ディスプレイを提供するための方法および装置
US11372246B2 (en) * 2019-02-22 2022-06-28 Facebook Technologies, Llc Near-eye display system having optical combiner
US10928631B1 (en) * 2019-03-05 2021-02-23 Facebook Technologies, Llc Waveguide display with structured light for eye and face tracking
CN113728258A (zh) 2019-03-12 2021-11-30 迪吉伦斯公司 全息波导背光及相关制造方法
WO2020185405A1 (en) 2019-03-12 2020-09-17 Magic Leap, Inc. Registration of local content between first and second augmented reality viewers
CN111751987B (zh) * 2019-03-29 2023-04-14 托比股份公司 全息眼睛成像设备
US20200341194A1 (en) * 2019-04-26 2020-10-29 Digilens Inc. Holographic Waveguide Illumination Homogenizers
US11445232B2 (en) 2019-05-01 2022-09-13 Magic Leap, Inc. Content provisioning system and method
US20200386947A1 (en) 2019-06-07 2020-12-10 Digilens Inc. Waveguides Incorporating Transmissive and Reflective Gratings and Related Methods of Manufacturing
WO2020257469A1 (en) 2019-06-20 2020-12-24 Magic Leap, Inc. Eyepieces for augmented reality display system
TW202129357A (zh) 2019-06-23 2021-08-01 以色列商魯姆斯有限公司 具有中央凹光學校正的顯示器
WO2020264031A1 (en) * 2019-06-24 2020-12-30 Digilens Inc. Methods and apparatuses for providing a waveguide display with angularly varying optical power
US11067821B2 (en) * 2019-07-08 2021-07-20 Facebook Technologies, Llc Apodized optical elements for optical artifact reduction
US11609424B2 (en) 2019-07-08 2023-03-21 Meta Platforms Technologies, Llc Apodized reflective optical elements for eye-tracking and optical artifact reduction
JP2022542363A (ja) 2019-07-26 2022-10-03 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
WO2021021926A1 (en) 2019-07-29 2021-02-04 Digilens Inc. Methods and apparatus for multiplying the image resolution and field-of-view of a pixelated display
US11150468B1 (en) 2019-08-07 2021-10-19 Facebook Technologies, Llc Optical device having reduced diffraction artifacts for eye-tracking
CN110471532B (zh) * 2019-08-19 2023-04-18 业成科技（成都）有限公司 整合眼球追踪与手势操控之车载装置
KR20220054386A (ko) 2019-08-29 2022-05-02 디지렌즈 인코포레이티드. 진공 브래그 격자 및 이의 제조 방법
CN112789543B (zh) * 2019-09-10 2024-01-16 Lg电子株式会社 电子设备
EP3938835B1 (en) * 2019-09-19 2024-07-03 Apple Inc. Optical systems with reflective prism input couplers
WO2021055230A1 (en) * 2019-09-19 2021-03-25 Akalana Management Llc Optical systems with low resolution peripheral displays
US11175509B2 (en) * 2019-09-30 2021-11-16 Microsoft Technology Licensing, Llc Tuned waveguides
EP4058936A4 (en) 2019-11-14 2023-05-03 Magic Leap, Inc. SYSTEMS AND METHODS FOR VIRTUAL AND AUGMENTED REALITY
JP2023502927A (ja) 2019-11-15 2023-01-26 マジック リープ， インコーポレイテッド 外科手術環境において使用するための視認システム
CN113079228B (zh) * 2020-01-03 2022-09-23 华为技术有限公司 终端设备及显示模组
EP4094425A1 (en) * 2020-01-23 2022-11-30 Volvo Truck Corporation A method for adapting to a driver position an image displayed on a monitor in a vehicle cab
US11119325B1 (en) * 2020-03-06 2021-09-14 Coretronic Corporation Near eye display device
US11740465B2 (en) * 2020-03-27 2023-08-29 Apple Inc. Optical systems with authentication and privacy capabilities
TWI718054B (zh) 2020-04-23 2021-02-01 宏碁股份有限公司 結合眼鏡功能與擴增實境功能的光學裝置及擴增實境裝置
US11950022B1 (en) 2020-04-24 2024-04-02 Apple Inc. Head-mounted devices with forward facing cameras
CN113703173B (zh) * 2020-05-20 2023-08-15 宏碁股份有限公司 结合眼镜功能与扩增实境功能的光学装置及扩增实境装置
KR20210156613A (ko) 2020-06-18 2021-12-27 삼성전자주식회사 증강 현실 글라스 및 그 동작 방법
CN114578554B (zh) * 2020-11-30 2023-08-22 华为技术有限公司 实现虚实融合的显示设备
IL303072A (en) * 2020-12-06 2023-07-01 Lumus Ltd An optical system that includes selective lighting
US11536555B2 (en) * 2021-02-03 2022-12-27 Meta Platforms Technologies, Llc Scanning self-mixing interferometry system and sensor
CN114938418A (zh) * 2021-02-04 2022-08-23 佳能株式会社 具有视线检测功能的取景器单元、摄像设备和附接配件
US20240103273A1 (en) * 2021-02-11 2024-03-28 Apple Inc. Waveguide Display with Gaze Tracking
US11853473B2 (en) * 2021-08-18 2023-12-26 Meta Platforms Technologies, Llc Differential illumination for corneal glint detection
WO2023107367A1 (en) * 2021-12-06 2023-06-15 Meta Platforms Technologies, Llc Eye tracking with switchable gratings
WO2023107373A1 (en) * 2021-12-06 2023-06-15 Meta Platforms Technologies, Llc Grating-assisted field of view expansion
US20230176377A1 (en) * 2021-12-06 2023-06-08 Facebook Technologies, Llc Directional illuminator and display apparatus with switchable diffuser
US20230205312A1 (en) * 2021-12-28 2023-06-29 Meta Platforms Technologies, Llc Waveguide imaging system for eye tracking
US20230204967A1 (en) * 2021-12-28 2023-06-29 Meta Platforms Technologies, Llc Multi-directional gratings in a waveguide system
WO2023129525A1 (en) * 2021-12-28 2023-07-06 Meta Platforms Technologies, Llc Multi-directional gratings in a waveguide system
TW202332941A (zh) * 2021-12-28 2023-08-16 美商元平台技術有限公司 用於眼睛追蹤的波長多工式波導系統
US11741861B1 (en) 2022-02-08 2023-08-29 Lumus Ltd. Optical system including selectively activatable facets
US12002290B2 (en) * 2022-02-25 2024-06-04 Eyetech Digital Systems, Inc. Systems and methods for hybrid edge/cloud processing of eye-tracking image data
US20230281835A1 (en) * 2022-03-03 2023-09-07 Qualcomm Incorporated Wide angle eye tracking
US11912429B2 (en) * 2022-04-05 2024-02-27 Gulfstream Aerospace Corporation System and methodology to provide an augmented view of an environment below an obstructing structure of an aircraft
US11892638B2 (en) 2022-06-03 2024-02-06 Meta Platforms Technologies, Llc Scanning near-eye imaging and sensing system
US20240004190A1 (en) * 2022-06-30 2024-01-04 Apple Inc. Eye Imaging System

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8233204B1 (en) * 2009-09-30 2012-07-31 Rockwell Collins, Inc. Optical displays
CN102955255A (zh) * 2011-09-26 2013-03-06 微软公司 集成眼睛追踪和显示系统
CN103823267A (zh) * 2012-11-16 2014-05-28 罗克韦尔柯林斯公司 透明波导显示装置

Family Cites Families (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3861784A (en) 1973-06-29 1975-01-21 Sperry Rand Corp Programmable diffraction grating
US4235504A (en) 1975-06-10 1980-11-25 Fujitsu Limited Holographic disk scanner
CA1174882A (en) 1981-02-23 1984-09-25 Charles J. Kramer Plane grating polarizing beamsplitter
JPS61213802A (ja) 1985-03-20 1986-09-22 Toshiba Corp 光カプラ
US4711512A (en) 1985-07-12 1987-12-08 Environmental Research Institute Of Michigan Compact head-up display
US5491570A (en) 1991-07-26 1996-02-13 Accuwave Corporation Methods and devices for using photorefractive materials at infrared wavelengths
US5440669A (en) 1991-07-26 1995-08-08 Accuwave Corporation Photorefractive systems and methods
GB2267165A (en) 1992-05-11 1993-11-24 Sharp Kk Optical information processor
JPH08507879A (ja) 1993-02-26 1996-08-20 イエダ リサーチ アンド デベロツプメント カンパニー リミテツド ホログラフィー光学装置
US5614988A (en) 1993-12-06 1997-03-25 Nikon Corporation Projection exposure apparatus and method with a plurality of projection optical units
US5986746A (en) 1994-02-18 1999-11-16 Imedge Technology Inc. Topographical object detection system
US5596451A (en) 1995-01-30 1997-01-21 Displaytech, Inc. Miniature image generator including optics arrangement
US5701132A (en) 1996-03-29 1997-12-23 University Of Washington Virtual retinal display with expanded exit pupil
US5856842A (en) 1996-08-26 1999-01-05 Kaiser Optical Systems Corporation Apparatus facilitating eye-contact video communications
US5886822A (en) 1996-10-08 1999-03-23 The Microoptical Corporation Image combining system for eyeglasses and face masks
US6285813B1 (en) 1997-10-03 2001-09-04 Georgia Tech Research Corporation Diffractive grating coupler and method
DE69912759T2 (de) 1998-04-02 2004-09-30 Elop Electro-Optics Industries Ltd. Optische holographische Vorrichtung
US6323970B1 (en) 1999-09-29 2001-11-27 Digilents, Inc. Method of producing switchable holograms
US7123794B2 (en) 2000-03-16 2006-10-17 Lightsmyth Technologies Inc Distributed optical structures designed by computed interference between simulated optical signals
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US6771423B2 (en) 2001-05-07 2004-08-03 Richard Geist Head-mounted virtual display apparatus with a near-eye light deflecting element in the peripheral field of view
US6731434B1 (en) 2001-05-23 2004-05-04 University Of Central Florida Compact lens assembly for the teleportal augmented reality system
US6791760B2 (en) 2001-07-24 2004-09-14 Itt Manufacturing Enterprises, Inc. Planar diffractive relay
IL148804A (en) 2002-03-21 2007-02-11 Yaacov Amitai Optical device
US7619739B1 (en) 2002-08-29 2009-11-17 Science Applications International Corporation Detection and identification of biological agents using Bragg filters
FI114945B (fi) 2002-09-19 2005-01-31 Nokia Corp Sähköisesti säädettävä diffraktiivinen hilaelementti
US7205960B2 (en) 2003-02-19 2007-04-17 Mirage Innovations Ltd. Chromatic planar optic display system
US20070041684A1 (en) 2003-05-09 2007-02-22 Sbg Labs Inc. A Delaware Corporation Switchable viewfinder display
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US20060132914A1 (en) 2003-06-10 2006-06-22 Victor Weiss Method and system for displaying an informative image against a background image
US7245369B2 (en) 2003-11-13 2007-07-17 B & W Tek, Inc. Spectroscopic apparatus using spectrum narrowed and stabilized laser with Bragg grating
KR100584703B1 (ko) 2003-12-26 2006-05-30 한국전자통신연구원 평면 격자렌즈
EP1922580B1 (en) 2005-09-07 2009-11-04 BAE Systems PLC A projection display with a rod-like, rectangular cross-section waveguide and a plate-like waveguide, each of them having a diffraction grating
US8068709B2 (en) 2005-09-12 2011-11-29 Lightsmyth Technologies Inc. Transmission gratings designed by computed interference between simulated optical signals and fabricated by reduction lithography
IL171820A (en) 2005-11-08 2014-04-30 Lumus Ltd A polarizing optical component for light coupling within a conductive substrate
US7931540B2 (en) 2006-08-04 2011-04-26 Moose Mountain Toymakers Ltd. Children's playland
CN101589326B (zh) 2006-12-28 2011-06-29 诺基亚公司 用于在二维上扩展出射光瞳的设备
DE102007023560B4 (de) 2007-05-21 2009-02-05 Ovd Kinegram Ag Mehrschichtkörper
US8491121B2 (en) 2007-10-09 2013-07-23 Elbit Systems Of America, Llc Pupil scan apparatus
CA2712059A1 (en) 2008-01-22 2009-07-30 The Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted projection display using reflective microdisplays
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8311067B2 (en) 2008-06-12 2012-11-13 Akonia Holographics, Llc System and devices for improving external cavity diode lasers using wavelength and mode sensors and compact optical paths
US7660047B1 (en) 2008-09-03 2010-02-09 Microsoft Corporation Flat panel lens
US20100079865A1 (en) 2008-09-26 2010-04-01 Nokia Corporation Near-to-eye scanning display with exit-pupil expansion
WO2010057219A1 (en) 2008-11-17 2010-05-20 Luminit Llc Holographic substrate-guided wave-based see-through display
ES2644595T3 (es) 2009-04-14 2017-11-29 Bae Systems Plc Guía de ondas óptica y dispositivo de visualización
CA2759296C (en) 2009-04-20 2018-07-24 Bae Systems Plc Surface relief grating in an optical waveguide having a reflecting surface and dielectric layer conforming to the surface
US8639072B2 (en) 2011-10-19 2014-01-28 Milan Momcilo Popovich Compact wearable display
JP5316391B2 (ja) 2009-08-31 2013-10-16 ソニー株式会社 画像表示装置及び頭部装着型ディスプレイ
US11320571B2 (en) 2012-11-16 2022-05-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view with uniform light extraction
US9341846B2 (en) 2012-04-25 2016-05-17 Rockwell Collins Inc. Holographic wide angle display
KR20110050929A (ko) 2009-11-09 2011-05-17 삼성전자주식회사 착용형 디스플레이장치
JP5546217B2 (ja) 2009-11-20 2014-07-09 キヤノン株式会社 回折光学素子およびそれを有する光学系、撮像装置
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US20120017153A1 (en) 2010-07-15 2012-01-19 Ken Matsuda Dynamic video editing
WO2012021811A1 (en) 2010-08-13 2012-02-16 The Penn State Research Foundation Compact spectrometer including a diffractive optical element with dual dispersion and focusing functionality
US8908738B2 (en) 2010-10-01 2014-12-09 Physical Sciences, Inc. Ring resonator with a holographic reflector
WO2012054231A2 (en) 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9406166B2 (en) 2010-11-08 2016-08-02 Seereal Technologies S.A. Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
WO2012085045A1 (de) * 2010-12-22 2012-06-28 Seereal Technologies S.A. Kombinierte lichtmodulationsvorrichtung zur benutzernachführung
GB2490354A (en) 2011-04-28 2012-10-31 Univ Southampton Laser with axially-symmetric beam profile
EP2748670B1 (en) 2011-08-24 2015-11-18 Rockwell Collins, Inc. Wearable data display
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
EP3761072A1 (en) 2012-01-24 2021-01-06 Augmented Vision Inc. Compact eye-tracked head-mounted display
US8736963B2 (en) 2012-03-21 2014-05-27 Microsoft Corporation Two-dimensional exit-pupil expansion
US9456744B2 (en) 2012-05-11 2016-10-04 Digilens, Inc. Apparatus for eye tracking
IL219907A (en) 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US10502876B2 (en) 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US9310277B2 (en) 2012-07-06 2016-04-12 Ta-Min Peng Tire temperature and tire pressure wireless sensing device
US10025089B2 (en) 2012-10-05 2018-07-17 Microsoft Technology Licensing, Llc Backlight for viewing three-dimensional images from a display from variable viewing angles
US10192358B2 (en) * 2012-12-20 2019-01-29 Microsoft Technology Licensing, Llc Auto-stereoscopic augmented reality display
JP6163753B2 (ja) 2012-12-27 2017-07-19 セイコーエプソン株式会社 液室形成体及び液体噴射装置
US8873149B2 (en) 2013-01-28 2014-10-28 David D. Bohn Projection optical system for coupling image light to a near-eye display
US9459451B2 (en) 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8233204B1 (en) * 2009-09-30 2012-07-31 Rockwell Collins, Inc. Optical displays
CN102955255A (zh) * 2011-09-26 2013-03-06 微软公司 集成眼睛追踪和显示系统
CN103823267A (zh) * 2012-11-16 2014-05-28 罗克韦尔柯林斯公司 透明波导显示装置

Also Published As

Publication number Publication date
US20160085300A1 (en) 2016-03-24
US9494799B2 (en) 2016-11-15
JP2017531817A (ja) 2017-10-26
EP3197339A1 (en) 2017-08-02
KR20170059476A (ko) 2017-05-30
WO2016048729A1 (en) 2016-03-31
KR102522813B1 (ko) 2023-04-17
JP6641361B2 (ja) 2020-02-05
EP3197339B1 (en) 2019-02-20
CN106716223A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
CN106716223B (zh) 采用可切换衍射光栅的波导眼睛跟踪
CN106662685B (zh) 采用体布拉格光栅的波导眼睛跟踪
US11754840B2 (en) Eye-imaging apparatus using diffractive optical elements
CN105849621B (zh) 眼睛跟踪装置、方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant