CN104126143A - 包含眼睛追踪的抬头显示器 - Google Patents

包含眼睛追踪的抬头显示器 Download PDF

Info

Publication number
CN104126143A
CN104126143A CN201380009357.XA CN201380009357A CN104126143A CN 104126143 A CN104126143 A CN 104126143A CN 201380009357 A CN201380009357 A CN 201380009357A CN 104126143 A CN104126143 A CN 104126143A
Authority
CN
China
Prior art keywords
eyes
optical element
trail
display
followed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380009357.XA
Other languages
English (en)
Other versions
CN104126143B (zh
Inventor
海耶斯·S·拉夫尔
王嘉让
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN104126143A publication Critical patent/CN104126143A/zh
Application granted granted Critical
Publication of CN104126143B publication Critical patent/CN104126143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/30Polarising elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

一种设备的实施例包括:光导,其包含近端、远端;显示器,其定位于所述近端附近;眼睛追踪相机,其定位于所述近端处或附近以使眼睛追踪辐射成像;近端光学元件,其定位于所述光导中在所述近端附近;及远端光学元件,其定位于所述光导中在所述远端附近。所述近端光学元件光学耦合到所述显示器、所述眼睛追踪相机及所述远端光学元件,且所述远端光学元件光学耦合到所述近端光学元件、周围输入区及输入/输出区。本发明还揭示并主张其它实施例。

Description

包含眼睛追踪的抬头显示器
技术领域
所描述的实施例大体来说涉及抬头显示器,且特定来说(但非排他性地)涉及包含眼睛追踪的抬头显示器。
背景技术
抬头显示器允许用户在相关信息覆叠于场景上的同时观看所述场景,以使得浏览所述抬头显示器的用户同时看到场景及相关信息两者。举例来说,在使飞机着陆时浏览抬头显示器的飞行员在抬头显示器投影飞行员使飞机着陆需要的例如速度、航向及高度等信息(相关信息)时同时通过抬头显示器看到前面的机场(场景)。
在抬头显示器的一些用途中,知晓用户正在观看场景的何种部分可为有用的。一种用以实现此目的的方式是通过眼睛追踪技术,但现有的眼睛追踪技术具有一些缺点。除其它之外,现有的眼睛追踪技术使用与用于显示器的光学路径分离的光学路径,从而使得抬头显示器较庞大及复杂且较不合理化。
附图说明
参考以下各图描述本发明的非限制性及非详尽实施例,其中在所有各视图中相似参考编号指代相似部件,除非另有规定。
图1A是抬头显示器的实施例的横截面图。
图1B是图1A的抬头显示器的实施例的横截面图,其图解说明所述显示器的操作。
图2是抬头显示器的另一实施例的横截面图。
图3是抬头显示器的又一实施例的横截面图。
图4A到4B是用于制作抬头显示器(例如图1A到1B中所展示的抬头显示器)的方法的实施例的横截面图。
图5是使用抬头显示器(例如图1A到1B中所展示的抬头显示器)的系统的实施例的框图。
图6是抬头显示器的实施例的俯视横截面图。
具体实施方式
本发明描述用于包含眼睛追踪的抬头显示器的设备、系统及方法的实施例。描述众多特定细节以提供对本发明的实施例的透彻理解,但相关领域的技术人员将认识到,可在无所描述细节中的一或多者的情况下或借助未描述的其它方法、组件、材料等实践本发明。在一些实例中,未详细展示或描述众所周知的结构、材料或操作,但尽管如此其仍涵盖在本发明的范围内。
在本说明书通篇中对“一个实施例”或“一实施例”的提及意指结合所述实施例所描述的特定特征、结构或特性包含于至少一个所描述的实施例中。因此,在本说明书中短语“在一个实施例中”或“在一实施例中”的出现未必全部指代同一实施例。此外,在一或多个实施例中,可以任何适合方式组合所描述的特征、结构或特性。
图1A图解说明抬头显示器100的实施例。显示器100包含具有后表面103、前表面105、近端104及远端106的光导102。光导102可由在所关注波长中实质上透明的任何种类的材料制成;在一个实施例中,举例来说,光导102可由例如聚碳酸酯或光学级丙烯酸酯的塑料材料制成,但在其它实施例中,其可由例如玻璃的不同材料制成。在远端106附近的是定位于前表面105上以从场景118(见图1B)接收周围光的周围输入区108及定位于后表面103上以接收输入眼睛追踪辐射并向用户的眼睛120输出显示光及周围光两者的输入/输出区110。
显示器107定位于后表面103上在近端104的附近。所述显示器光学耦合到光导102以使得来自显示器107的显示光被输入到光导102中。在一个实施例中,显示器107为硅上液晶(LCOS)显示器,但在其它实施例中,可使用其它种类的显示器。其中显示器107为反射式LCOS的实施例可光学耦合到显示光源128。在一个实施例中,显示光源128为仅发射在光谱的可见部分中的光(例如白色光或红色、绿色及蓝色(RGB))的LED源。在其它实施例中,光源128可为某一其它类型的源且可在其它波长范围中发射,前提是显示光源128的波长范围不与眼睛追踪辐射(见下文)的波长重叠。显示光源128还可包含用以(举例来说)通过准直或聚焦而帮助调节光的光学元件130。如下文针对图1B所描述,光源128照射LCOS显示器107,且LCOS显示器107将入射p偏振修改为s偏振,如硅所反射。从LCOS 107反射的光称为显示光。
眼睛追踪相机124在远端104处或附近耦合到光导102以接收通过光导102引导到其的眼睛追踪辐射并使其成像。眼睛追踪辐射的波长可在可见范围内或在可见范围之外。在一个实施例中,眼睛追踪辐射可为红外的。在一个实施例中,眼睛追踪相机124可为包含例如CMOS或CCD图像传感器的图像传感器的相机。在所图解说明的实施例中,眼睛追踪相机124通过光学元件125光学耦合到光导102。在一个实施例中,光学元件125为折射透镜,但在其它实施例中,其可为反射或衍射光学元件或折射、衍射及反射光学元件的组合。在其中光学元件125为折射透镜的实施例中,可根据以下公式来计算其焦距fc
f c = [ 1 ( 1 f m - 1 l + m ) - 1 + m + p + 1 d ] - 1
其中fm为聚焦镜114的焦距(对于具有半径R的镜,为大致R/2),l为眼睛120与光导102之间的距离,m为后表面103与偏振分束器112的中心之间的距离加上远端光学元件112的中心与光导102的远端之间的距离,d为后表面103与眼睛之间的距离,且p为从光导102的近端到远端光学元件112的中心的距离。在其它实施例中,眼睛追踪相机124可在无介入光学元件(例如光学元件125)的情况下直接耦合到光导102。
定位于光导102中在近端104处或附近的是光学耦合到眼睛追踪相机124、显示器107及远端光学元件112的近端光学元件113。近端光学元件113操作以将来自显示光源128的光传输到显示器107且从显示器107通过光导102朝向远端106传输。近端光学元件113还操作以将通过光导102从远端106接收的光朝向眼睛追踪相机124及(如果存在)光学元件125引导。在所图解说明的实施例中,近端光学元件113为偏振分束器(PBS),但在其它实施例中,光学元件113可为某一其它元件(例如,见图2到3)。半波板127紧挨近端光学元件113定位以使得其在近端光学元件113与远端光学元件112之间。
远端光学元件112定位于远端106处或附近且光学耦合到近端光学元件113、周围输入区108及输入/输出区110。远端光学元件112还耦合到定位于光导102的远端上的光学元件114及116。在所图解说明的实施例中,远端光学元件112为偏振分束器,光学元件114为聚焦镜114,且光学元件116为夹在光学元件114与光导102的远端之间的四分之一波板。在其它实施例中,光学元件112、114及116可为其它类型的光学元件,前提是个别元件及其组合实现所要结果。举例来说,在显示器100的其它实施例中,远端光学元件112可为50/50(50%通过,50%反射)非偏振分束器,在此情况中可省略四分之一波板116。
滤光片132定位于前表面105上,以使得其实质上覆盖周围输入区108。滤光片132用于完全阻挡或实质上减少来自场景118的具有与眼睛追踪波长相同的波长的辐射进入光导102,以使得其不干扰眼睛追踪。由滤光片132滤除的波长或波长范围将取决于用于眼睛追踪的波长,本文中称为眼睛追踪波长。在其中用于眼睛追踪的波长为红外的实施例中,滤光片132可为热镜或红外滤光片,但在其它实施例中,滤光片132可为某一其它类型的滤光片。在其它实施例中,还可将例如滤光片132的滤光片放置于其中周围光可进入光导102的其它位置处,例如光导的顶部表面及底部表面。
第一眼睛追踪辐射源134定位于远端106附近以照射眼睛120,以使得其可由眼睛追踪相机124追踪。眼睛追踪辐射源134以眼睛追踪波长发射辐射且经定位及经定向而以一角度朝向用户的眼睛120引导眼睛追踪辐射,以使得从用户的眼睛反射的眼睛追踪辐射将朝向输入/输出区110引导。在一个实施例中,辐射源134为红外LED,以使得眼睛追踪光具有在红外范围中的波长。然而,在其它实施例中,眼睛追踪辐射源134可为发射不同波长的不同辐射源。一般来说,可期望使眼睛追踪辐射134发射实质上照射眼睛120的宽辐射束。
第二眼睛追踪辐射源136也可定位于远端106附近。眼睛追踪辐射源136经定位及经定向使得其可以一角度朝向用户的眼睛120引导处于眼睛追踪波长的辐射,以使得从眼睛反射的辐射将朝向输入/输出区110引导。相比于第一眼睛追踪辐射源134,第二眼睛追踪辐射源136朝向眼睛120引导较聚焦的光束以在眼睛上形成可识别光点或闪光,其可接着用于使用眼睛追踪方法来追踪眼睛,所述方法追踪闪光与瞳孔的中心之间的向量。在一些实施例中,可省略辐射源136,举例来说,在不使用向量追踪方法来追踪眼睛的位置的实施例中。
图1B图解说明抬头显示器100的操作。下文所描述的操作为其中近端光学元件113是偏振分束器的实施例的操作,所述偏振分束器:(i)针对可见光,使p偏振通过且反射s偏振;及(ii)针对眼睛追踪辐射波长,使s偏振及p偏振两者通过。远端光学元件112类似地为针对可见光波长及眼睛追踪波长两者使p偏振通过且反射s偏振的偏振分束器。当然,在替代实施例中,可不同地选择分束器112及113的特性。
三个光学路径可在显示器100中同时操作:显示光路径、周围光路径及眼睛追踪辐射路径。显示光路径在产生可见p偏振光及红外自由光的显示光源128处开始。来自光源128的p偏振光行进穿过偏振分束器113且照到显示器107上。显示器107反射入射光、在有源像素中将其改变为s偏振以将光学信号调制到所述光上。s偏振显示光被朝向偏振分束器113引导,偏振分束器113反射所述光以使得s偏振显示光遇到半波板127,半波板127使显示光的偏振旋转以使得其为p偏振的。现在为p偏振的显示光进入光导102且行进穿过光导而到达偏振分束器112。在其行进穿过光导102时,p偏振显示光遇到光学元件126(如果存在)。光学元件126可对显示光应用光学功率以使其聚焦或准直。在通过光学元件126之后,显示光继续去往光导102而朝向远端106,在此处所述显示光遇到偏振分束器112。
当p偏振显示光射到偏振分束器112上时,所述分束器允许p偏振显示光直接行进穿过其。通过分束器112的p偏振光接着行进穿过四分之一波板116(四分之一波板116使偏振旋转45度)且接着遇到聚焦镜114。聚焦镜114使偏振光反射及/或聚焦,从而将其往回引导穿过四分之一波板116。在其穿过四分之一波板116的第二行程上,显示光的偏振被旋转又一45度,以使得在再次遇到偏振分束器112之前,显示光的偏振已改变为s偏振。由于偏振的此改变,当现在为s偏振的显示光第二次遇到偏振分束器112时,分束器使显示光朝向输入/输出区110反射,而非允许其通过。s偏振显示光接着射出光导102且进入用户的眼睛120。
第二光学路径为周围光路径。与接收来自显示器107的光同时地,光导102可通过周围输入区108接收来自场景118的周围光。滤光片132覆盖周围输入区108的一些或全部且发挥作用以减少或消除来自周围光的实质上为与眼睛追踪辐射的波长相同的波长的辐射,以使得周围光将不干扰眼睛追踪辐射。举例来说,在其中眼睛追踪辐射为红外的实施例中,滤光片132减少或消除来自周围光的红外线。在由滤光片132过滤之后,通过周围输入区108进入的周围光的实质部分可笔直地行进穿过偏振分束器112且通过输出区110射出光导而到达用户的眼睛120。
第三光学路径为眼睛追踪辐射的路径。眼睛追踪辐射源134及眼睛追踪辐射源136(如果存在)朝向用户的眼睛120引导s偏振眼睛追踪辐射。用户的眼睛120反射s偏振眼睛追踪辐射并通过输入/输出区110将其引导到光导102中。当s偏振眼睛追踪辐射射到偏振分束器112上时,s偏振辐射由分束器朝向四分之一波板116反射(四分之一波板116使偏振旋转45度),且接着遇到聚焦镜114。聚焦镜114使偏振光反射及/或聚焦,从而将其往回引导穿过四分之一波板116。在其穿过四分之一波板116的第二行程上,眼睛追踪辐射的偏振被旋转又一45度,以使得在再次遇到偏振分束器112之前,眼睛追踪辐射的偏振已改变为p偏振。由于偏振的此改变,当现在为p偏振的显示光第二次遇到偏振分束器112时,分束器允许p偏振显示光直接行进穿过其而进入到光导102中且朝向分束器113行进。
当p偏振显示光遇到半波板127时,其变为s偏振的,但由于分束器113使眼睛追踪波长中的p偏振及s偏振两者通过,因此s偏振眼睛追踪辐射笔直地行进穿过分束器113而到达眼睛追踪相机124。眼睛追踪相机124可接着使用所接收的眼睛追踪辐射来使用户的眼睛120成像且追踪其移动。光学元件125及126(如果存在)可用于调整在眼睛追踪相机124处接收的图像的特性,举例来说,其视野及/或其光学功率。
图2图解说明抬头显示器200的另一实施例。显示器200在构造上类似于显示器100。显示器100与200之间的主要差异为显示器200将部分反射镜202用于远端光学元件112;换句话说,显示器200用部分反射镜202替换显示器100的偏振分束器112。在一个实施例中,部分反射镜302为50%反射,此意味着其反射入射光的50%且允许入射光的另一50%通过。然而,在其它实施例中,这些百分比可为不同的。
显示器200中的三个光学路径类似于显示器100中的三个光学路径,只不过在部分反射镜202处不存在基于偏振而对不同光学路径的选择性通过及反射。
图3图解说明抬头显示器300的另一实施例。显示器300在构造上类似于显示器100;主要差异为显示器300用定位于显示器的远端106处的光学元件114中的眼睛追踪辐射源302替换眼睛追踪辐射源134,且眼睛追踪辐射源302的不同位置可需要远端光学元件112的操作特性的改变。在显示器100中,远端光学元件112可为针对可见光波长及眼睛追踪波长两者使p偏振通过且反射s偏振的分束器。在一个实施例中,眼睛追踪辐射源302为圆偏振红外源,但当然,在其它实施例中,其它类型的辐射源为可能的。如同在显示器100中,第二眼睛追踪辐射源136为任选的,此意味着在一些实施例中,其可存在,但并非必需存在。
显示器300类似于显示器100而操作。与显示器100一样,显示器300包含三个同时光学路径:显示光路径、周围光路径及眼睛追踪辐射路径。显示器300中的显示光路径及周围光路径实质上类似于显示器100中的对应光路径,但眼睛追踪辐射路径由于眼睛追踪辐射源302的不同位置而实质上不同。下文所描述的显示器300的操作为其中近端光学元件113是偏振分束器的实施例的操作,所述偏振分束器:(i)针对可见光使p偏振通过且反射s偏振;及(ii)针对眼睛追踪辐射波长使s偏振及p偏振两者通过。远端光学元件112类似地为针对可见光波长及眼睛追踪波长两者反射s偏振且使p偏振通过的偏振分束器。当然,在替代实施例中,可不同地选择分束器112及113的特性。
在所图解说明的实施例中,眼睛追踪辐射源302朝向分束器112引导圆偏振眼睛追踪辐射。在通过四分之一波板116之后,眼睛追踪辐射变为s偏振的以使得分束器112使其朝向输入/输出区110反射,以使得其照射用户的眼睛120。用户的眼睛120反射s偏振眼睛追踪辐射且通过输入/输出区110将其引导到光导102中。
当通过输入/输出区110接收的s偏振眼睛追踪辐射射到偏振分束器112上时,s偏振辐射再次由分束器朝向四分之一波板116反射(四分之一波板116使偏振旋转45度),且其接着遇到聚焦镜114。聚焦镜114使偏振光反射及/或聚焦,从而将其往回引导穿过四分之一波板116。在其穿过四分之一波板116的第二行程上,眼睛追踪辐射的偏振被旋转又一45度,以使得在再次遇到偏振分束器112之前,眼睛追踪辐射的偏振已改变为p偏振。由于偏振的此改变,当现在为p偏振的显示光第二次遇到偏振分束器112时,分束器允许p偏振显示光直接行进穿过其而进入到光导102中且朝向分束器113行进。
当p偏振眼睛追踪辐射遇到半波板127时,其变为s偏振的,但由于分束器113使眼睛追踪波长中的p偏振及s偏振两者通过,因此s偏振眼睛追踪辐射笔直地行进穿过分束器而到达眼睛追踪相机124。眼睛追踪相机124可接着使用所接收的眼睛追踪辐射来使用户的眼睛120成像且追踪其移动。光学元件125及126(如果存在)可用于调整在眼睛追踪相机124处接收的图像的特性,举例来说,其视野及/或其光学功率。
图4A到4B图解说明用于制作抬头显示器100的方法的实施例,但所图解说明的方法还可用于制作其它所揭示的显示器。图4A图解说明方法的第一部分,其中使用通过一或多个间隔件406分离的下部板402及上部板404来形成模具。所述模具包封体积412。顶部板404在其中具有孔410以允许将材料注射到体积412中,而间隔件406具有通气孔408以允许在通过孔410注射材料时气体从体积412逸出。
将在波导内部的光学元件(例如半波板127、远端光学元件112及近端光学元件113以及额外光学元件126(如果存在))恰当地定位于体积412内且经固定使得其不移动。接着通过孔410将材料注射到体积412中,以使得其环绕内部光学元件且允许所述材料固化。当固化时,所注射材料将形成光导102且将使内部光学元件保持于适当位置中。可使用具有所需光学特性的任何材料;在一个实施例中,举例来说,所述材料可为例如聚碳酸酯或光学级丙烯酸酯的光学透明塑料,但在其它实施例中,其可为不同材料。
图4B图解说明所述方法的下一部分。在材料于所述模具内部固化时,可移除所述模具,从而留下波导102。可接着添加显示器的放置于波导的外部上的元件以完成显示器。举例来说,可将眼睛追踪相机124及光学元件125(如果存在)附着到光导102的近端;可将显示光源128及光学元件130(如果存在)附着到前侧105;可将显示器107附着到后侧103;且可将四分之一波板116及光学元件114附着到光导102的远端。在一个实施例中,可使用光学兼容粘合剂附着放置在光导102的外部上的所有组件,所述光学兼容粘合剂将使这些组件保持于适当位置中同时导致很少或不导致光学失真。
图5图解说明包含抬头显示器的系统500的实施例。系统500采用显示器100作为其组件中的一者,但在其它实施例中,系统500可采用其它所揭示显示器中的任一者。在系统500的一些实施例中,所述显示器(无论是显示器100还是其它所揭示显示器中的一者)可包含定位于所述显示器中、上或附近以捕获场景118的图像的辅助相机(未展示)。在系统500中,眼睛追踪相机124及显示器107经由计算机501通信地耦合到既可接收(Rx)又可发射(Tx)数据的收发器502。计算机501可包含通用处理器或专用处理器(ASIC)以及存储器、存储装置及其操作所需要的任何软件或编程,例如操作系统、应用程序、数据库等等。计算机501还可包含额外硬件,例如将提供用户的位置的GPS单元。
收发器502耦合到计算机501以及经由通信链路503耦合到例如路由器504的通信元件;在所图解说明的实施例中,收发器502及路由器503经由无线链路耦合,但在其它实施例中,其可通过其它类型的通信链路(例如电线、光纤、自由空间光学器件等)耦合。路由器504又经由网络506耦合到一或多个服务器(例如服务器508-512),但在其它实施例中,路由器504可在不需要介入网络的情况下直接耦合到一或多个服务器。
在系统500的操作中,显示器100如先前所描述而发挥作用;用户的眼睛120同时地看到来自场景118的周围光及来自显示器107的显示光,而眼睛追踪相机124同时地捕获用户的眼睛120的图像。在用户看到来自场景118的周围光时,相机124捕获用户的眼睛120的一或多个图像且将所述图像发射到计算机501。计算机501可接着分析所述图像且使用所述信息来追踪用户的眼睛。在具有捕获场景118的图像的辅助相机的实施例中,计算机501可使用眼睛追踪数据及场景图像来辨别用户聚焦于场景118的何种部分,且举例来说,可使用额外数据(例如经由GPS确立的用户位置)来向用户提供关于场景的其正注视的部分的信息。
在系统500的一个实施例中,所有处理可由计算机501在本地进行,而在另一实施例中,一些或所有图像处理、数据检索等可由服务器508-512远程地进行。在又一实施例中,数据处理可由计算机501与服务器508-512的某一组合进行。在其中所有处理均由计算机501在本地进行的实施例中,所述计算机不需要进行对外部计算机的任何存取,以使得所有图像分析、数据检索等由计算机501在本地进行。此实施例可通过减少对与其它组件的网络通信的需要而减少等待时间且增强系统响应。计算机501可分析从眼睛追踪相机124接收的图像以追踪用户的眼睛。在具有捕获场景118的图像的辅助相机的实施例中,计算机501可使用眼睛追踪数据连同场景118的图像来辨别用户聚焦于场景的何种部分上。举例来说,计算机501还可使用额外数据(例如经由GPS确立的用户位置)来确定关于场景的用户正注视的部分的信息。已确定了关于场景的相关信息,计算机501可将所述相关信息发送回到显示器107。显示器107接着显示关于用户正在观看的物体的相关信息。由于显示器100为抬头显示器,因此用户的眼睛120看到覆叠到场景118上的相关信息。
在其中所有处理均远程地进行的实施例中或在其中处理借助本地处理与远程处理的组合来进行的实施例中,计算机501可将图像数据的全部或部分发射到收发器502。收发器502又经由通信链路503将图像数据发射到路由器504,且所述路由器又经由网络506(如果存在)将图像数据发射到一或多个服务器508-512,所述服务器可执行所有相关图像处理、数据检索等。
已处理了图像数据及所确定的任何相关信息,服务器508-512通过网络506、路由器504及收发器502将相关信息发送回到计算机501及显示器107。显示器107接着向用户显示关于场景118的相关信息。由于显示器100为抬头显示器,因此用户的眼睛120看到覆叠到场景118上的相关信息。
图6图解说明实施为其中眼镜镜片充当光导的一副眼镜的抬头显示器600的实施例。抬头显示器600包含一对目镜601,目镜601中的每一者可为抬头显示器100、200或300中的一者或者可为例如系统500的系统的全部或部分。目镜601安装到包含鼻梁605、左耳臂610及右耳臂615的框架组合件。虽然所述图图解说明双目式实施例(两个目镜),但还可将抬头显示器600实施为单目式(一个目镜)实施例。
目镜601紧固到可佩戴于用户的头部上的眼镜布置中。左耳臂610及右耳臂615搁置于用户的耳朵上,而鼻组合件605搁置于用户的鼻子上。所述框架组合件经成形及定大小以将周围输入区108及输入/输出区110定位于用户的对应眼睛120的前方。当然,可使用具有其它形状的其它框架组合件(例如,具有耳臂及鼻梁支撑件的护目镜、单一连续头戴式耳机部件、头带或泳镜型眼镜等)。
包含发明摘要中所描述内容的本发明的所图解说明实施例的以上描述并非打算为穷尽性或将本发明限制于所揭示的精确形式。尽管出于说明性目的而在本文中描述本发明的特定实施例及实例,但如相关领域的技术人员将认识到,可在本发明的范围内做出各种等效修改。可根据以上详细描述对本发明做出这些修改。
所附权利要求书中所使用的术语不应理解为将本发明限制于说明书及权利要求书中所揭示的特定实施例。而是,本发明的范围将完全由所附权利要求书来确定,所述权利要求书将根据所创建的权利要求解释原则来加以理解。

Claims (45)

1.一种设备,其包括:
光导,其包含近端、远端、前表面及与所述前表面间隔开的后表面、所述前表面上在所述远端附近的周围输入区及所述后表面上在所述远端附近的输入/输出区;
显示器,其定位于所述近端附近;
眼睛追踪相机,其定位于所述近端处或附近以使眼睛追踪辐射成像;
近端光学元件,其定位于所述光导中在所述近端附近;及远端光学元件,其定位于所述光导中在所述远端附近,
其中所述近端光学元件光学耦合到所述显示器、所述眼睛追踪相机及所述远端光学元件,以使得其将显示光引导到所述远端光学元件并将从所述远端光学元件接收的眼睛追踪辐射引导到所述眼睛追踪相机,且
其中所述远端光学元件光学耦合到所述近端光学元件、所述周围输入区及所述输入/输出区,以使得其将显示光引导到所述输入/输出区并将来自所述输入/输出区的眼睛追踪辐射引导到所述近端光学元件。
2.根据权利要求1所述的设备,其中所述显示器包括:
显示光源,其定位于所述前表面上;及
显示器,其定位于所述后表面上。
3.根据权利要求1所述的设备,其中所述近端光学元件及所述远端光学元件为偏振分束器。
4.根据权利要求3所述的设备,其进一步包括:
聚焦元件,其定位于所述光导的所述远端处;及
四分之一波板,其定位于所述聚焦元件与所述光导的所述远端之间。
5.根据权利要求1所述的设备,其中所述近端光学元件为偏振分束器,且所述远端元件为非偏振分束器。
6.根据权利要求1所述的设备,其进一步包括定位于所述近端光学元件与所述远端光学元件之间的半波板。
7.根据权利要求1所述的设备,其中所述近端光学元件为偏振分束器,且所述远端光学元件为偏振板。
8.根据权利要求1所述的设备,其中所述眼睛追踪相机安装到所述光导的所述近端。
9.根据权利要求8所述的设备,其进一步包括将所述眼睛追踪相机光学耦合到所述光导的所述近端的光学元件。
10.根据权利要求1所述的设备,其进一步包括定位于所述远端处或附近的一或多个眼睛追踪辐射源。
11.根据权利要求10所述的设备,其中所述一或多个眼睛追踪辐射源包含:
第一眼睛追踪辐射源,其经定位及经定向以用眼睛追踪辐射照射用户的眼睛;及
第二眼睛追踪辐射源,其经定位及经定向以在所述用户的眼睛中形成闪光。
12.根据权利要求1所述的设备,其中所述眼睛追踪辐射为不可见波长。
13.根据权利要求12所述的设备,其中所述眼睛追踪辐射为红外的。
14.根据权利要求1所述的设备,其进一步包括定位于所述周围输入区的至少一部分上方的滤光片。
15.根据权利要求1所述的设备,其进一步包括定位于所述光导中在所述近端光学元件与所述远端光学元件之间的一或多个额外光学元件。
16.一种方法,其包括:
经由显示器产生眼睛追踪信息,所述显示器包括:
光导,其包含近端、远端、前表面及与所述前表面间隔开的后表面、所述前表面上在所述远端附近的周围输入区及所述后表面上在所述远端附近的输入/输出区;
显示器,其定位于所述近端附近;
眼睛追踪相机,其定位于所述近端处或附近以使眼睛追踪辐射成像;
近端光学元件,其定位于所述光导中在所述近端附近;及远端光学元件,其定位于所述光导中在所述远端附近,
其中所述近端光学元件光学耦合到所述显示器、所述眼睛追踪相机及所述远端光学元件,以使得其将显示辐射引导到所述远端光学元件并将从所述远端光学元件接收的眼睛追踪辐射引导到所述眼睛追踪相机,且
其中所述远端光学元件光学耦合到所述近端光学元件、所述周围输入区及所述输入/输出区,以使得其将显示光引导到所述输入/输出区并将来自所述输入/输出区的眼睛追踪辐射引导到所述近端光学元件;及
同时地将来自显示器的显示光引导到所述光导中,将来自所述周围输入区的周围光引导到所述输入/输出区,并将来自所述输入/输出区的眼睛追踪辐射引导到所述眼睛追踪相机。
17.根据权利要求16所述的方法,其进一步包括借助所述眼睛追踪相机使用户的眼睛的至少一部分成像。
18.根据权利要求16所述的方法,其中所述近端光学元件及所述远端光学元件为偏振分束器。
19.根据权利要求18所述的方法,其中所述显示器进一步包括:
聚焦元件,其定位于所述光导的所述远端处;及
四分之一波板,其定位于所述聚焦元件与所述光导的所述远端之间。
20.根据权利要求16所述的方法,其中所述近端光学元件为偏振分束器,且所述远端元件为非偏振分束器。
21.根据权利要求16所述的方法,其中所述显示器进一步包括定位于所述近端光学元件与所述远端光学元件之间的半波板。
22.根据权利要求16所述的方法,其进一步包括使用定位于所述远端处或附近的一或多个眼睛追踪辐射源来照射所述用户的眼睛。
23.根据权利要求22所述的方法,其中使用一或多个眼睛追踪辐射源来照射所述用户的眼睛包含:
使用第一眼睛追踪辐射源照射所述用户的眼睛,所述第一眼睛追踪辐射源经定位及经定向以用眼睛追踪辐射对用户的眼睛进行泛光照明;及
使用第二眼睛追踪辐射源照射所述用户的眼睛,所述第二眼睛追踪辐射源经定位及经定向以在所述用户的眼睛中形成闪光。
24.根据权利要求16所述的方法,其中所述眼睛追踪辐射为不可见波长。
25.根据权利要求24所述的方法,其中所述眼睛追踪辐射为红外的。
26.根据权利要求16所述的方法,其进一步包括从通过所述周围输入区接收的所述周围光过滤所述眼睛追踪辐射。
27.一种系统,其包括:
一或多个显示器,每一显示器包括:
光导,其包含近端、远端、前表面及与所述前表面间隔开的后表面、所述前表面上在所述远端附近的周围输入区及所述后表面上在所述远端附近的输入/输出区;
显示器,其定位于所述近端附近;
眼睛追踪相机,其定位于所述近端处或附近以使眼睛追踪辐射成像;
近端光学元件,其定位于所述光导中在所述近端附近;及远端光学元件,其定位于所述光导中在所述远端附近,
其中所述近端光学元件光学耦合到所述显示器、所述眼睛追踪相机及所述远端光学元件,以使得其将显示光引导到所述远端光学元件并将从所述远端光学元件接收的眼睛追踪辐射引导到所述眼睛追踪相机,且
其中所述远端光学元件光学耦合到所述近端光学元件、所述周围输入区及所述输入/输出区,以使得其将显示光引导到所述输入/输出区并将来自所述输入/输出区的眼睛追踪辐射引导到所述近端光学元件;及
计算机,其耦合到所述眼睛追踪相机及所述显示器。
28.根据权利要求27所述的系统,其中所述显示器包括:
显示光源,其定位于所述前表面上;及
显示器,其定位于所述后表面上。
29.根据权利要求27所述的系统,其中所述近端光学元件及所述远端光学元件为偏振分束器。
30.根据权利要求29所述的系统,其进一步包括:
聚焦元件,其定位于所述光导的所述远端处;及
四分之一波板,其定位于所述聚焦元件与所述光导的所述远端之间。
31.根据权利要求27所述的系统,其中所述近端光学元件为偏振分束器,且所述远端元件为非偏振分束器。
32.根据权利要求27所述的系统,其进一步包括定位于所述近端光学元件与所述远端光学元件之间的半波板。
33.根据权利要求27所述的系统,其中所述近端光学元件为偏振分束器,且所述远端光学元件为偏振板。
34.根据权利要求27所述的系统,其中所述眼睛追踪相机安装到所述光导的所述近端。
35.根据权利要求34所述的系统,其进一步包括将所述眼睛追踪相机光学耦合到所述光导的所述近端的光学元件。
36.根据权利要求27所述的系统,其进一步包括定位于所述远端附近的一或多个眼睛追踪辐射源。
37.根据权利要求36所述的系统,其中所述一或多个眼睛追踪辐射源包含:
第一眼睛追踪辐射源,其经定向以用眼睛追踪辐射对用户的眼睛进行泛光照明;及
第二眼睛追踪辐射源,其经定向以在所述用户的眼睛中形成闪光。
38.根据权利要求27所述的系统,其中所述眼睛追踪辐射为不可见波长。
39.根据权利要求38所述的系统,其中所述眼睛追踪辐射为红外的。
40.根据权利要求27所述的系统,其进一步包括定位于所述周围输入区的至少部分上方的滤光片。
41.根据权利要求27所述的系统,其进一步包括定位于所述光导中在所述近端光学元件与所述远端光学元件之间的一或多个额外光学元件。
42.根据权利要求27所述的系统,其进一步包括通信地耦合到所述计算机的网络。
43.根据权利要求42所述的系统,其进一步包括耦合到所述网络的一或多个服务器。
44.根据权利要求43所述的系统,其中所述一或多个服务器可分析从所述眼睛追踪相机接收的图像且可将关于眼睛位置的信息发射到所述计算机。
45.根据权利要求27所述的系统,其中所述一或多个显示器安装于一副眼镜框架中。
CN201380009357.XA 2012-02-15 2013-01-15 抬头显示器 Active CN104126143B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/397,459 US9001030B2 (en) 2012-02-15 2012-02-15 Heads up display
US13/397,459 2012-02-15
PCT/US2013/021593 WO2013122711A1 (en) 2012-02-15 2013-01-15 Heads-up display including eye tracking

Publications (2)

Publication Number Publication Date
CN104126143A true CN104126143A (zh) 2014-10-29
CN104126143B CN104126143B (zh) 2018-06-05

Family

ID=48945168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380009357.XA Active CN104126143B (zh) 2012-02-15 2013-01-15 抬头显示器

Country Status (3)

Country Link
US (2) US9001030B2 (zh)
CN (1) CN104126143B (zh)
WO (1) WO2013122711A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105785573A (zh) * 2015-01-14 2016-07-20 三星显示有限公司 头戴式电子装置和可穿戴电子装置
CN107533226A (zh) * 2015-08-12 2018-01-02 谷歌有限责任公司 具有堆叠光导的近眼式显示器
CN109116556A (zh) * 2017-06-23 2019-01-01 芋头科技(杭州)有限公司 一种成像显示系统
CN109685033A (zh) * 2018-12-29 2019-04-26 深圳三人行在线科技有限公司 虹膜识别设备和方法
CN109991738A (zh) * 2017-12-29 2019-07-09 深圳点石创新科技有限公司 车载抬头显示系统
CN110082908A (zh) * 2018-01-24 2019-08-02 宏碁股份有限公司 显示装置
CN110088665A (zh) * 2019-03-13 2019-08-02 香港应用科技研究院有限公司 用于大视场光学透视型头戴式显示器的紧凑型光学结构设计
CN111316153A (zh) * 2017-09-21 2020-06-19 奇跃公司 具有被配置为捕获眼睛和/或环境的图像的波导的增强现实显示器
CN112136074A (zh) * 2018-05-18 2020-12-25 脸谱科技有限责任公司 基于波导成像的眼睛跟踪
CN112351756A (zh) * 2018-07-02 2021-02-09 贝尔金激光有限公司 直接选择性激光小梁成形术
CN114424109A (zh) * 2020-01-10 2022-04-29 谷歌有限责任公司 显示器的光学元件
WO2023092712A1 (zh) * 2021-11-24 2023-06-01 歌尔股份有限公司 一种智能眼镜及其像距调节方法
US11933975B2 (en) 2018-05-18 2024-03-19 Meta Platforms Technologies, Llc Eye tracking based on waveguide imaging

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0522968D0 (en) 2005-11-11 2005-12-21 Popovich Milan M Holographic illumination device
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US20130218145A1 (en) 2010-05-10 2013-08-22 Tel Hashomer Medical Research Infrastructure And Services Ltd. System and method for treating an eye
US11771596B2 (en) 2010-05-10 2023-10-03 Ramot At Tel-Aviv University Ltd. System and method for treating an eye
US9274349B2 (en) 2011-04-07 2016-03-01 Digilens Inc. Laser despeckler based on angular diversity
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
WO2013027004A1 (en) 2011-08-24 2013-02-28 Milan Momcilo Popovich Wearable data display
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
US20150010265A1 (en) 2012-01-06 2015-01-08 Milan, Momcilo POPOVICH Contact image sensor using switchable bragg gratings
US9239415B2 (en) * 2012-03-08 2016-01-19 Google Inc. Near-to-eye display with an integrated out-looking camera
CN103562802B (zh) 2012-04-25 2016-08-17 罗克韦尔柯林斯公司 全息广角显示器
WO2013167864A1 (en) 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
CN102937745B (zh) * 2012-11-13 2015-04-01 京东方科技集团股份有限公司 开放式头戴显示装置及其显示方法
US9933684B2 (en) * 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
US10209517B2 (en) 2013-05-20 2019-02-19 Digilens, Inc. Holographic waveguide eye tracker
US9727772B2 (en) 2013-07-31 2017-08-08 Digilens, Inc. Method and apparatus for contact image sensing
US10146055B2 (en) 2013-09-06 2018-12-04 3M Innovative Properties Company Head mounted display with eye tracking
US9851568B2 (en) 2013-09-25 2017-12-26 Logitech Europe S.A. Retinal display projection device
KR102142624B1 (ko) * 2013-12-30 2020-08-10 삼성디스플레이 주식회사 표시장치
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US20160019715A1 (en) * 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US20150206173A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Eye imaging in head worn computing
US12093453B2 (en) 2014-01-21 2024-09-17 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9615742B2 (en) 2014-01-21 2017-04-11 Osterhout Group, Inc. Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9529199B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US12105281B2 (en) 2014-01-21 2024-10-01 Mentor Acquisition One, Llc See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
JP5956479B2 (ja) * 2014-01-29 2016-07-27 株式会社東芝 表示装置及び視線推定装置
US10353460B2 (en) * 2014-01-29 2019-07-16 Tarek A Shazly Eye and head tracking device
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9354316B2 (en) * 2014-02-19 2016-05-31 Honeywell International Inc. Polarized tracker system and method for tracking movement
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
CN106164745B (zh) 2014-04-09 2020-04-24 3M创新有限公司 头戴式显示器和低醒目性瞳孔照明器
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9915823B1 (en) 2014-05-06 2018-03-13 Google Llc Lightguide optical combiner for head wearable display
US9829547B2 (en) 2014-05-08 2017-11-28 Resonance Technology, Inc. Head-up display with eye-tracker for MRI applications
FR3020880B1 (fr) 2014-05-09 2016-05-27 Thales Sa Visuel de tete comportant un melangeur optique a expansion de pupille pilotable
WO2016018488A2 (en) * 2014-05-09 2016-02-04 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US9569848B2 (en) * 2014-05-12 2017-02-14 Gulfstream Aerospace Corporation Advanced aircraft vision system utilizing multi-sensor gain scheduling
EP2944999A1 (en) 2014-05-15 2015-11-18 Intral Strategy Execution S. L. Display cap
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9606354B2 (en) * 2014-07-17 2017-03-28 Google Inc. Heads-up display with integrated display and imaging system
WO2016020632A1 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Method for holographic mastering and replication
US9465991B2 (en) * 2014-08-11 2016-10-11 Microsoft Technology Licensing, Llc Determining lens characteristics
US10241330B2 (en) 2014-09-19 2019-03-26 Digilens, Inc. Method and apparatus for generating input images for holographic waveguide displays
EP3198192A1 (en) 2014-09-26 2017-08-02 Milan Momcilo Popovich Holographic waveguide opticaltracker
US9958680B2 (en) * 2014-09-30 2018-05-01 Omnivision Technologies, Inc. Near-eye display device and methods with coaxial eye imaging
KR20160059406A (ko) 2014-11-18 2016-05-26 삼성전자주식회사 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
US10498976B2 (en) 2014-12-05 2019-12-03 Microsoft Technology Licensing, Llc Virtual focus feedback
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
CN107873086B (zh) 2015-01-12 2020-03-20 迪吉伦斯公司 环境隔离的波导显示器
WO2016113533A2 (en) 2015-01-12 2016-07-21 Milan Momcilo Popovich Holographic waveguide light field displays
US10567641B1 (en) 2015-01-19 2020-02-18 Devon Rueckner Gaze-directed photography
CN107533137A (zh) 2015-01-20 2018-01-02 迪吉伦斯公司 全息波导激光雷达
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
WO2016146963A1 (en) 2015-03-16 2016-09-22 Popovich, Milan, Momcilo Waveguide device incorporating a light pipe
US10591756B2 (en) 2015-03-31 2020-03-17 Digilens Inc. Method and apparatus for contact image sensing
US9921645B2 (en) * 2015-06-29 2018-03-20 Logitech Europe S.A. Retinal projection device and method for activating a display of a retinal projection device
US9751607B1 (en) 2015-09-18 2017-09-05 Brunswick Corporation Method and system for controlling rotatable device on marine vessel
US10690916B2 (en) 2015-10-05 2020-06-23 Digilens Inc. Apparatus for providing waveguide displays with two-dimensional pupil expansion
CN108474959A (zh) 2015-12-22 2018-08-31 E-视觉智能光学公司 动态聚焦头戴式显示器
US10983340B2 (en) 2016-02-04 2021-04-20 Digilens Inc. Holographic waveguide optical tracker
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
EP3433659B1 (en) 2016-03-24 2024-10-23 DigiLens, Inc. Method and apparatus for providing a polarization selective holographic waveguide device
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
JP6734933B2 (ja) 2016-04-11 2020-08-05 ディジレンズ インコーポレイテッド 構造化光投影のためのホログラフィック導波管装置
US10185150B2 (en) 2016-05-26 2019-01-22 Glo Ab Narrow angle light engine
US11513350B2 (en) 2016-12-02 2022-11-29 Digilens Inc. Waveguide device with uniform output illumination
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
US10545347B2 (en) * 2017-02-23 2020-01-28 Google Llc Compact eye tracking using folded display optics
WO2018194962A1 (en) * 2017-04-17 2018-10-25 Akonia Holographics Llc Skew mirror auxiliary imaging
US10546518B2 (en) 2017-05-15 2020-01-28 Google Llc Near-eye display with extended effective eyebox via eye tracking
US10629105B2 (en) 2017-06-15 2020-04-21 Google Llc Near-eye display with frame rendering based on reflected wavefront analysis for eye characterization
WO2018233810A1 (en) * 2017-06-20 2018-12-27 Nokia Technologies Oy TRANSMISSION AND RECEPTION OF LIGHT
CN108701363B (zh) * 2017-07-07 2021-06-29 广东虚拟现实科技有限公司 使用多相机识别和追踪对象的方法、设备和系统
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
US10976811B2 (en) * 2017-08-11 2021-04-13 Microsoft Technology Licensing, Llc Eye-tracking with MEMS scanning and reflected light
US10623815B2 (en) 2017-10-02 2020-04-14 International Business Machines Corporation Masking screen responsive to viewpoint
CN116149058A (zh) 2017-10-16 2023-05-23 迪吉伦斯公司 用于倍增像素化显示器的图像分辨率的系统和方法
US10732427B2 (en) * 2017-11-20 2020-08-04 Microsoft Technology Licensing, Llc Eye-tracking system positioning diffractive couplers on waveguide
WO2019136476A1 (en) 2018-01-08 2019-07-11 Digilens, Inc. Waveguide architectures and related methods of manufacturing
KR20200108030A (ko) 2018-01-08 2020-09-16 디지렌즈 인코포레이티드. 도파관 셀 내의 홀로그래픽 격자의 높은 처리능력의 레코딩을 위한 시스템 및 방법
KR20200104402A (ko) 2018-01-08 2020-09-03 디지렌즈 인코포레이티드. 도파관 셀을 제조하기 위한 시스템 및 방법
WO2019154510A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
WO2019154509A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US10690851B2 (en) 2018-03-16 2020-06-23 Digilens Inc. Holographic waveguides incorporating birefringence control and methods for their fabrication
US11402801B2 (en) 2018-07-25 2022-08-02 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
JP7444861B2 (ja) * 2018-09-26 2024-03-06 マジック リープ, インコーポレイテッド 屈折力を有する回折光学要素
CN109188700B (zh) * 2018-10-30 2021-05-11 京东方科技集团股份有限公司 光学显示系统及ar/vr显示装置
US11861063B2 (en) 2019-02-05 2024-01-02 Samsung Electronics Co., Ltd. Eye-tracking device and display apparatus including the same
KR20210138609A (ko) 2019-02-15 2021-11-19 디지렌즈 인코포레이티드. 일체형 격자를 이용하여 홀로그래픽 도파관 디스플레이를 제공하기 위한 방법 및 장치
JP2022525165A (ja) 2019-03-12 2022-05-11 ディジレンズ インコーポレイテッド ホログラフィック導波管バックライトおよび関連する製造方法
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
CN114207492A (zh) 2019-06-07 2022-03-18 迪吉伦斯公司 带透射光栅和反射光栅的波导及其生产方法
KR20220038452A (ko) 2019-07-29 2022-03-28 디지렌즈 인코포레이티드. 픽셀화된 디스플레이의 이미지 해상도와 시야를 증배하는 방법 및 장치
KR20220054386A (ko) 2019-08-29 2022-05-02 디지렌즈 인코포레이티드. 진공 브래그 격자 및 이의 제조 방법
EP4339663A1 (en) 2022-09-02 2024-03-20 Instytut Chemii Fizycznej PAN Augmented reality glasses based on two-photon vision

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886822A (en) * 1996-10-08 1999-03-23 The Microoptical Corporation Image combining system for eyeglasses and face masks
JP2003230539A (ja) * 2002-02-07 2003-08-19 Minolta Co Ltd 視線検出装置
US6715878B1 (en) * 1999-09-24 2004-04-06 Fondazione Centro S. Raffaele Del Monte Tabor Apparatus for measuring visual performance
CN101750738A (zh) * 2008-12-19 2010-06-23 索尼株式会社 头戴式显示器
WO2011114092A1 (en) * 2010-03-16 2011-09-22 Qinetiq Limited Eye tracking apparatus

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4711512A (en) 1985-07-12 1987-12-08 Environmental Research Institute Of Michigan Compact head-up display
FR2647556B1 (fr) 1989-05-23 1993-10-29 Thomson Csf Dispositif optique pour l'introduction d'une image collimatee dans le champ visuel d'un observateur et casque comportant au moins un tel dispositif
US5896232A (en) 1997-08-07 1999-04-20 International Business Machines Corporation Highly efficient and compact frontlighting for polarization-based reflection light valves
DE69840547D1 (de) * 1997-10-30 2009-03-26 Myvu Corp Schnittstellensystem für brillen
US6222677B1 (en) 1999-04-12 2001-04-24 International Business Machines Corporation Compact optical system for use in virtual display applications
JP4921634B2 (ja) 2000-01-31 2012-04-25 グーグル インコーポレイテッド 表示装置
US6747611B1 (en) 2000-07-27 2004-06-08 International Business Machines Corporation Compact optical system and packaging for head mounted display
US6738535B2 (en) 2001-01-31 2004-05-18 International Business Machines Corporation Head-mounted display content transformer
FR2834799B1 (fr) 2002-01-11 2004-04-16 Essilor Int Lentille ophtalmique presentant un insert de projection
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
US6879443B2 (en) * 2003-04-25 2005-04-12 The Microoptical Corporation Binocular viewing system
IL173715A0 (en) * 2006-02-14 2007-03-08 Lumus Ltd Substrate-guided imaging lens
EP2142953B1 (en) * 2007-04-22 2019-06-05 Lumus Ltd A collimating optical device and system
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US20120326948A1 (en) * 2011-06-22 2012-12-27 Microsoft Corporation Environmental-light filter for see-through head-mounted display device
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
US8508851B2 (en) * 2011-07-20 2013-08-13 Google Inc. Compact see-through display system
US9153195B2 (en) * 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
US9229231B2 (en) * 2011-12-07 2016-01-05 Microsoft Technology Licensing, Llc Updating printed content with personalized virtual data
US9183807B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Displaying virtual data as printed content
US9182815B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
US9151984B2 (en) * 2012-06-18 2015-10-06 Microsoft Technology Licensing, Llc Active reflective surfaces

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886822A (en) * 1996-10-08 1999-03-23 The Microoptical Corporation Image combining system for eyeglasses and face masks
US6715878B1 (en) * 1999-09-24 2004-04-06 Fondazione Centro S. Raffaele Del Monte Tabor Apparatus for measuring visual performance
JP2003230539A (ja) * 2002-02-07 2003-08-19 Minolta Co Ltd 視線検出装置
CN101750738A (zh) * 2008-12-19 2010-06-23 索尼株式会社 头戴式显示器
WO2011114092A1 (en) * 2010-03-16 2011-09-22 Qinetiq Limited Eye tracking apparatus

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105785573A (zh) * 2015-01-14 2016-07-20 三星显示有限公司 头戴式电子装置和可穿戴电子装置
CN105785573B (zh) * 2015-01-14 2021-01-12 三星显示有限公司 头戴式电子装置和可穿戴电子装置
CN107533226A (zh) * 2015-08-12 2018-01-02 谷歌有限责任公司 具有堆叠光导的近眼式显示器
CN107533226B (zh) * 2015-08-12 2021-05-11 谷歌有限责任公司 具有堆叠光导的近眼式显示器
CN109116556A (zh) * 2017-06-23 2019-01-01 芋头科技(杭州)有限公司 一种成像显示系统
CN111316153A (zh) * 2017-09-21 2020-06-19 奇跃公司 具有被配置为捕获眼睛和/或环境的图像的波导的增强现实显示器
CN109991738A (zh) * 2017-12-29 2019-07-09 深圳点石创新科技有限公司 车载抬头显示系统
CN110082908A (zh) * 2018-01-24 2019-08-02 宏碁股份有限公司 显示装置
CN112136074A (zh) * 2018-05-18 2020-12-25 脸谱科技有限责任公司 基于波导成像的眼睛跟踪
CN112136074B (zh) * 2018-05-18 2022-12-09 元平台技术有限公司 基于波导成像的眼睛跟踪
US11933975B2 (en) 2018-05-18 2024-03-19 Meta Platforms Technologies, Llc Eye tracking based on waveguide imaging
CN112351756A (zh) * 2018-07-02 2021-02-09 贝尔金激光有限公司 直接选择性激光小梁成形术
CN109685033A (zh) * 2018-12-29 2019-04-26 深圳三人行在线科技有限公司 虹膜识别设备和方法
CN110088665A (zh) * 2019-03-13 2019-08-02 香港应用科技研究院有限公司 用于大视场光学透视型头戴式显示器的紧凑型光学结构设计
CN114424109A (zh) * 2020-01-10 2022-04-29 谷歌有限责任公司 显示器的光学元件
WO2023092712A1 (zh) * 2021-11-24 2023-06-01 歌尔股份有限公司 一种智能眼镜及其像距调节方法

Also Published As

Publication number Publication date
US9001030B2 (en) 2015-04-07
WO2013122711A1 (en) 2013-08-22
US20130207887A1 (en) 2013-08-15
US9285877B2 (en) 2016-03-15
US20150199009A1 (en) 2015-07-16
CN104126143B (zh) 2018-06-05

Similar Documents

Publication Publication Date Title
CN104126143A (zh) 包含眼睛追踪的抬头显示器
US9239415B2 (en) Near-to-eye display with an integrated out-looking camera
US12055726B2 (en) Eye-imaging apparatus using diffractive optical elements
CN106662685B (zh) 采用体布拉格光栅的波导眼睛跟踪
CN102955255B (zh) 集成眼睛追踪和显示系统
US9606354B2 (en) Heads-up display with integrated display and imaging system
US10409073B2 (en) Virtual reality attachment for a head mounted display
CN105785571B (zh) 利用同轴眼睛成像的近眼显示装置及方法
CN106797423B (zh) 视线检测装置
EP3335069B1 (en) Near-eye display with stacked lightguides
US9128285B2 (en) Head-mounted display including integrated projector
CN104317055B (zh) 与移动终端配合使用的头戴式设备
CN204203553U (zh) 头戴式显示装置
CN204595327U (zh) 头戴式显示装置
KR20180015620A (ko) 시스루 머리 착용가능 디스플레이를 위한 효율적인 얇은 곡선형 아이피스
CN109116564A (zh) 用于头部可穿戴显示器的透明目镜
KR101524933B1 (ko) 증강현실 구현을 위한 광학시스템장치 및 헤드마운트 디스플레이장치
CN109725416B (zh) 眼球追踪光学系统、头戴式设备及成像方法
KR20150073853A (ko) 광학 투시 유리 타입 디스플레이 장치 및 대응하는 광학 유닛
CN204203552U (zh) 与移动终端配合使用的头戴式设备
CN105829951A (zh) 影像投射装置、头戴式显示器
JP2015225338A (ja) 周辺広視野確保が可能な透過型ディスプレイ装置
CN208314329U (zh) 一种单眼大视场近眼显示光学系统及头戴式显示设备
JP2018129800A (ja) シールド付ウェアラブルコンピュータ及びウェアラブルコンピュータに用いられるシールド

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant