CN105408801A - 用于头戴式显示器的眼睛跟踪系统 - Google Patents
用于头戴式显示器的眼睛跟踪系统 Download PDFInfo
- Publication number
- CN105408801A CN105408801A CN201480036475.4A CN201480036475A CN105408801A CN 105408801 A CN105408801 A CN 105408801A CN 201480036475 A CN201480036475 A CN 201480036475A CN 105408801 A CN105408801 A CN 105408801A
- Authority
- CN
- China
- Prior art keywords
- prism
- curved surface
- light
- free curved
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 238000003384 imaging method Methods 0.000 claims abstract description 15
- 210000001747 pupil Anatomy 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 34
- 230000005540 biological transmission Effects 0.000 claims description 8
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 claims description 2
- 239000004973 liquid crystal related substance Substances 0.000 claims description 2
- 229910052710 silicon Inorganic materials 0.000 claims description 2
- 239000010703 silicon Substances 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 11
- 238000005286 illumination Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 230000010287 polarization Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000007767 bonding agent Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000026683 transduction Effects 0.000 description 1
- 238000010361 transduction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
Abstract
公开了用于透视头戴式显示系统的各实施例。在一个实施例中，透视头戴式显示系统包括自由曲面棱镜以及配置成透过自由曲面棱镜向用户的眼睛发出显示光的显示设备。透视头戴式显示系统还可包括具有位于自由曲面棱镜的后聚焦面处的入射光瞳的成像设备，成像设备被配置成接收从眼睛反射并被定向穿过自由曲面棱镜的注视检测光。
Description
背景
近眼显示设备被配置成经由定位在用户眼睛附近的显示器来向用户呈现图像。例如，头戴式增强现实显示设备可被佩戴在用户的头上以将近眼显示器定位在用户眼睛的正前方。近眼显示设备可包括用于基于从用户的眼睛反射的光来跟踪用户注视的成像设备。
概述
提供了用于透视头戴式显示系统的各实施例。在一个实施例中，透视头戴式显示系统包括自由曲面棱镜；配置成透过自由曲面棱镜向用户的眼睛发出显示光的显示设备；以及配置成接收从眼睛反射并被定向穿过自由曲面棱镜的注视检测光的成像设备。透视头戴式显示系统还可包括照明棱镜，其中显示光被透过照明棱镜发出且注视检测光被透过照明棱镜来发出和接收。以此方式，显示光和注视检测光可共享光学装置以提供紧凑结构。本文描述的安排还可使得成像设备能被定位在该系统的后聚焦面处，使得成像系统是对象空间远心的。成像系统的远心性使得该系统能维持注视方向确定中的准确度，而不管用户的眼睛与透视头戴式显示系统的各元件之间的距离的变化。
提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
附图简述
图1示出根据本公开的一实施例的由用户佩戴的透视头戴式显示设备。
图2示意性地示出根据本公开的一实施例的图1的透视头戴式显示设备。
图3示意性地示出根据本公开的一实施例的透视显示器和用于将显示光和注视检测光定向到用户的眼睛的光路。
图4示意性地示出根据本公开的一实施例的图3的透视显示器和用于获取眼睛的图像以检测注视方向的光路。
图5示出根据本公开的一实施例的使用透视头戴式显示设备执行注视检测的方法的流程图。
图6示出根据本公开的一实施例的计算系统的框图。
详细描述
近眼显示系统除了用于向用户显示图像的组件之外还可包括用于跟踪用户的注视的组件。在利用波导或类似显示技术的近眼显示系统中，用于注视跟踪系统的闪光源和相机可被定位在波导外部，使得闪光源发出且由相机接收到的光不穿过波导。这样的系统可对眼睛纵向和横向移动敏感，如眼睛与近眼显示器的一个或多个组件之间的距离的变化。例如，在眼睛移动离开近眼显示器时，在相机处接收到的眼睛的图像可能看起来更小，从而使眼睛与定向到眼睛以用于注视跟踪的闪光或其他跟踪元素之间的相对位置失真。
因而，公开了用于在近眼显示系统中利用自由曲面棱镜以使得显示器和注视跟踪系统可利用相同光学组件来传送和/或接收光的各实施例。共享光学结构允许注视跟踪系统是对象空间远心的，使得与非远心结构相比，将注视跟踪系统定位在自由曲面棱镜的后聚焦面处的系统的各实施例对眼睛纵向和横向移动较不敏感。自由曲面棱镜使眼睛图像能被校准且聚焦于注视跟踪系统的相机透镜处，而无需放大图像。因此，相对于近眼显示系统的眼睛移动可能不影响注视跟踪系统的准确度。
图1示出由用户102佩戴的透视头戴式显示设备100形式的近眼显示系统的示例实施例。头戴式显示设备100可被用于例如经由透视显示器来显示增强现实图像，其中所显示的虚拟对象连同现实世界背景场景中的物理对象一起是可查看的。尽管在头戴式显示设备的上下文中描述，将理解，所公开的实施例可以与任何其他合适的近眼显示设备一起使用。透视头戴式显示设备100可包括用于将设备定位在相对于用户102的眼睛的目标查看位置处的框架104。例如，目标查看位置可与眼睛可正确感知所显示的图像的空间中的区域相对应。
图2示出图1的透视头戴式显示设备100的示意图。所描绘的透视头戴式显示设备100包括右透视显示器200a和左透视显示器200b。每一透视显示器可被配置成既向用户显示图像又允许用户查看现实世界环境。例如，每一透视显示器可包括配置成透过光学结构发出显示光到达用户的眼睛的显示设备。光学结构还可允许来自现实世界环境的光到达用户的眼睛。图2示意性地示出可被用来向用户输出声学信息的话筒202。这样的声学信息可以采取任何合适的形式，包括但不限于计算机生成的适当语言(如用户选择的)的语音输出、并非专用于任何语言的音调或其他声音、和/或任何其他合适的声音。在一些实施例中，其他类型的输出可由透视头戴式显示设备100提供，如触觉/触摸输出。
透视头戴式显示设备100包括右眼相机204a和左眼相机204b，在图2中示意性地示出。相机204a和204b可被配置成捕捉用户的每一眼睛的图像以用于确定注视方向。例如，眼睛相机204a和204b可以接收从用户的眼睛反射离开的注视检测光(例如，来自闪光源)，并基于反射的注视检测光的位置和移动来跟踪用户的注视。如下文参考图3和4更详细地描述的，眼睛相机204a和204b可以利用透视显示器200a和200b的显示设备所使用的光学结构的至少一部分。因此，眼睛相机可被定位在显示设备的前侧，因为注视检测光可经由透视显示器的光学结构而聚焦在相机上。
透视显示器200a和200b以及眼睛相机204a和204b可经由一个或多个框架104的紧固机构被定位在相对于眼睛的查看位置处。例如，如图2所示，框架104可经由耳承206由用户的耳朵并经由鼻梁208由用户的鼻子支撑，以降低框架104的滑动。将理解，图2所示的支撑(如耳承206、鼻承、以及鼻梁208)在本质上是示例性的，且头戴式透视显示设备的透视显示器可经由任何合适的机构被定位在查看位置处。例如，可以利用附加支撑，和/或图2所示的支撑中的一者或多者可被移除、替换、和/或扩充以将透视显示器定位在查看位置处。此外，透视显示器可通过除与物理上接触用户的支撑以外的机构来被定位在查看位置处，而不背离本公开的范围。
在使用期间，眼睛、显示器200a和200b以及眼睛相机204a和204b之间的距离可能变化。如上所述，除非该系统是对象空间远心的，否则来自眼睛相机204a和204b的眼睛图像的大小可响应于眼睛与显示器/相机之间的距离的这种变化而被更改。因而，眼睛相机204a和204b中的每一者的入射光瞳可任选地分别定位在显示设备200a和200b的光学装置的后聚焦面处，以维持准确注视跟踪，而不管眼睛、光学装置以及眼睛相机之间的深度变化。
现在转向图3，描绘了透视显示器300的示例实施例。透视显示器300包括用于将显示光和注视检测光两者定向到用户304的眼睛302的光学结构。透视显示器300包括在306处示意性地示出的被配置成产生图像以显示给用户304的显示子系统。显示子系统306可包括用于产生图像以供显示的任何合适的组件，包括但不限于微显示器和一个或多个光源。来自显示子系统306的显示光LD沿显示光路(由在显示子系统306处始发的光线指示)行进以到达用户的眼睛302。将理解，分开的透视显示器300可被用于左眼和右眼显示器，如图2所示。
显示子系统306可将光定向透过包括配置成传送来自显示设备的显示光的分束器310(例如，偏振分束器或热镜)的照明棱镜308，例如，分束器310可被配置成使可见光通过而反射红外光。在一些实施例中，显示子系统306可包括反射微显示器，如硅上液晶(LCoS)显示器。在其他实施例中，显示子系统可包括发射微显示器，如有机发光二极管(OLED)阵列显示器类型、无机发光二极管(iLED)阵列显示器类型、和/或任何其他合适的微显示器。分束器310可包括偏振分束器，且照明光源312可被配置成发出照明光LI进入照明棱镜308(例如，从光学楔314到偏振分束器)。照明光源312可包括一个或多个光源，如RGBLED阵列、一个或多个白LED(例如，具有滤色器装置)、和/或任何合适的照明光源结构。在偏振分束器将照明光分成不同偏振的各个束时，偏振分束器可被配置成将经偏振的照明光的一部分朝LCoS显示器反射以照亮显示器。显示器可反射照明光以生成图3中所示的显示光LD，并且偏振分束器可被配置成将显示光的一部分朝用户304的眼睛302传送。
透视显示器300包括用于将光从照明棱镜308定向到用户304的眼睛302的自由曲面棱镜316。自由曲面棱镜316可具有正光功率且包括至少三个表面，每一表面是非平面且非球面的。例如，自由曲面棱镜316可包括具有全内反射涂层以将光定向到用户的眼睛302的面向用户的表面318。自由曲面棱镜316还可包括与面向用户的全内反射表面相对的面向外的表面320，面向外的表面320具有对红外光高度反射且对可见光部分反射的涂层。例如，与可见光相比，面向外的表面320可以对红外光更具反射性。在一些实施例中，面向外的表面320可被配置成基本上反射全部红外光以及可见光的一部分。
透视显示器300可包括位于自由曲面棱镜316周围的一个或多个补偿棱镜。如图3所示，透视显示器300包括位于自由曲面棱镜的眼睛一侧的面向用户的补偿棱镜322以及位于自由曲面棱镜的环境一侧的面向外的补偿棱镜324。因此，自由曲面棱镜316被定位在面向用户的补偿棱镜322和面向外的补偿棱镜324之间，使得来自环境的光在到达眼睛302之前穿过面向外的补偿棱镜324，接着穿过自由曲面棱镜316，并随后穿过面向用户的补偿棱镜322。面向用户的补偿棱镜322的眼睛一侧表面326(例如，面向用户的补偿棱镜322的最接近眼睛302的表面)可与面向外的补偿棱镜324的环境一侧表面328(例如，面向外的补偿棱镜324的最远离眼睛302的表面)基本上平行。补偿棱镜322和324被配置成具有与自由曲面棱镜基本上相似的折射率，并被配置成补偿来自用户304的现实世界环境的光的、由自由曲面棱镜316的光功率所造成的失真。补偿棱镜322和324所提供的失真补偿可受用来将补偿棱镜耦合到自由曲面棱镜316的粘合剂的折射率的影响。因此，与具有不同折射率的粘合剂相比，具有与自由曲面棱镜316和/或补偿棱镜322和324的折射率更接近的折射率的粘合剂可以允许更大量的失真补偿。类似的，较薄粘合剂层可以提供较少失真。
透视显示器300还包括包含成像设备的眼睛跟踪系统，如眼睛跟踪相机330和配置成产生光以供从用户的眼睛反射的一个或多个闪光源332(例如，一个或多个红外光源)。从闪光源332发出的注视检测光LG(E)可沿注视检测光路(由在闪光源332之一处始发的光线指示)行进穿过用于显示光路的光学装置的至少一部分。简要转向图4，从闪光源332发出的注视检测光LG(E)可以从用户的眼睛302反射，使得反射的注视检测光LG(R)经由反向注视检测光路(例如，反向地沿注视检测光路的至少一部分)被返回到眼睛跟踪相机330。在所示示例中，来自用户的眼睛的图像由沿反向显示光路定位在紧接相机之前的分束器310从显示子系统306转移离开并朝向眼睛跟踪相机330。
如图3和4所示，眼睛跟踪相机330透过照明棱镜308的第一侧对反射的注视检测光LG(R)进行成像或接收，且显示子系统306透过照明棱镜308的第二、不同侧发出显示光LD。例如，眼睛跟踪相机330可被定位成使得相机的光轴402形成与用户304和/或透视显示器300的视轴406的锐角404(例如，小于90度的角)。视轴406可以表示由眼睛302检测到的所有光的中心轴或平面。因此，眼睛跟踪相机330和显示子系统306与彼此相邻和/或基本上垂直的各侧交互。在一些实施例中，闪光源332可以透过照明棱镜308的第一侧发出注视检测光LG(E)。因而，闪光源可被定位在与成像设备基本上相似的照明棱镜一侧。在附加或替换实施例中，闪光源332可以透过照明棱镜308的第二侧和/或从任何其他合适的位置发出注视检测光LG(E)。虽然到用户眼睛302和到眼睛跟踪相机330的示例性光路在图3和4中描绘，但光路可以采取任何其他合适的形式。
眼睛跟踪系统(例如，眼睛跟踪相机330和/或闪光源332)可以检测眼睛和/或其解剖结构(例如，眼睛302的瞳孔)的位置。眼睛跟踪系统还可检测来自经由眼睛跟踪相机330获取的图像数据中的闪光源332的反射的位置，以及根据这一信息来确定眼睛注视的方向。如图4所示，反射的注视检测光的主要光线彼此平行，且眼睛跟踪相机330可具有位于自由曲面棱镜316的后聚焦面处的入射瞳孔。因此，眼睛跟踪相机330可以是对象空间远心的，从而创建甚至在眼睛与透视显示器300、眼睛跟踪相机330和/或闪光源332之间的距离变化时也保持相同大小的眼睛正视图。上述远心结构减少了透视误差和失真，从而确保在眼睛位置调整期间的准确的边缘和特征检测。
图5示出用透视头戴式显示设备(如图1的透视头戴式显示设备100)执行注视检测的方法500的流程图。方法500包括在502发出显示光透过自由曲面棱镜到达用户的眼睛。图3的自由曲面棱镜316是可透过它来发出方法500的显示光的自由曲面棱镜的一个非限制性示例。方法500可包括如在504所指示的透过照明棱镜发出显示光。例如，显示光可以在进入自由曲面棱镜之前透过照明棱镜发出。在506，方法500包括发出注视检测光透过自由曲面棱镜到达用户的眼睛。注视检测光也可透过照明棱镜发出，如在508所示。因此，注视检测光可透过与显示光相同的光学组件来被发出。如在510所示，注视检测光可任选地经由一个或多个红外光源发出。
在512，方法500包括接收从眼睛反射并被定向透过自由曲面棱镜到达相机的注视检测光。例如，如图4所示，眼睛跟踪相机330可以透过与显示光和所发出的注视检测光相同的光学组件沿所发出的注视检测光的反向光路来接收反射的注视检测光。如在514所示，注视检测光可任选地在自由曲面棱镜的后聚焦面处被接收，使得成像系统是对象空间远心的。方法500包括在516根据从眼睛反射的注视检测光来确定注视方向。例如，可通过在瞳孔移动时跟踪闪光(例如，来自注视检测光的闪光)在用户瞳孔上的位置并确定闪光与瞳孔之间的相对位置来确定注视方向。如在518所示，该方法可包括使注视方向的确定基于所存储的注视方向和来自先前注视方向确定的相关信息。例如，先前收集的与注视检测光同所确定的注视方向之间的关联性有关的数据可被用来调整和/或校准当前注视方向确定。在一些实施例中，这可以使用机器学习来实现。在确定注视方向时，方法500包括存储注视方向和与注视检测光相关联的信息，如在520所示。所存储的注视方向和与注视检测光相关联的信息因而可被用在将来注视方向确定中。
在某些实施例中，本文所述的方法和过程可以与一个或多个计算设备的计算系统绑定。尤其地，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
图6示意性地示出计算系统600的非限制性实施例，该计算系统可以进行上述方法和过程中的一个或多个。计算系统600以简化形式示出。计算系统600可采取以下形式：一个或多个透视头戴式显示器、个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备。
计算系统600包括逻辑机602和存储机604。计算系统600可任选地包括显示子系统606、输入子系统608、通信子系统610和/或在图6中未示出的其他组件。
逻辑机602包括被配置成执行指令的一个或多个物理设备。例如，逻辑机器可以被配置成执行指令，所述指令是一个或多个应用、服务、程序、例程、库、对象、部件、数据结构或其他逻辑构造的一部分。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其他方式得到期望结果。
逻辑机可以包括被配置成执行软件指令的一个或多个处理器。另外或或者，逻辑机可以包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核的或多核的，其上执行的指令可以被配置用于串行、并行和/或分布式处理。逻辑机的个别组件可任选地分布在两个或更多个分开的设备之间，所述设备可以位于远程以及/或者被配置用于协同处理。逻辑机的各方面可以被在云计算配置中配置的远程可访问的、联网计算设备虚拟化和执行。
存储机604包括被配置成保持可由逻辑机执行以实现此处描述的方法和过程的指令的一个或多个物理设备。当实现这样的方法和过程时，存储机604的状态可以被转换-例如以保持不同的数据。
存储机604可以包括可移动和/或内置设备。存储机604可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光碟等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁性存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)、等等。存储机604可以包括易失性的、非易失性的、动态的、静态的、读/写的、只读的、随机存取的、依序存取的、位置可定址的、文件可定址的以及/或者内容可定址的设备。
将会理解，存储机604包括一个或多个物理设备。然而，此处描述的指令的各方面可替代地由未由物理设备持有达有限持续期的通信介质(例如，电磁信号、光信号等)传播。
逻辑机602和存储机604的各方面可以被一起集成到一个或多个硬件逻辑组件中。这种硬件逻辑组件可以包括例如现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
在包括显示子系统606时，显示子系统606可用于呈现由存储机604所保持的数据的视觉表示。该视觉表示可以采用图形用户界面(GUI)的形式。由于此处描述的方法和过程改变了存储机所保持的数据、且因子转换了存储机的状态，因此显示子系统606的状态可同样地被转换以视觉地表示底层数据中的变化。显示子系统606可以包括使用实质上任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑机602和/或存储机604组合在共享封装中，或者此类显示设备可以是外围显示设备。在一些实施例中，显示子系统可包括近眼显示器，如透视显示器300。
当被包括时，输入子系统608可包括诸如键盘、鼠标、触摸屏或游戏控制器等一个或多个用户输入设备或者与这些用户输入设备对接。在一些实施例中，输入子系统可以包括或相接于所选择的自然用户输入(NUI)部件。这种元件部分可以是集成的或外围的，输入动作的转导和/或处理可以在板上或板外被处理。NUI部件的示例可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。
当包括通信子系统610时，通信子系统610可以被配置成将计算系统600与一个或多个其他计算设备可通信地耦合。通信子系统610可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可以被配置用于经由无线电话网络、或者有线或无线局域网或广域网来通信。在一些实施例中，通信子系统可允许计算系统600经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。
将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括各种过程、系统和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。
Claims (10)
1.一种透视头戴式显示系统，包括：
自由曲面棱镜；
配置成透过所述自由曲面棱镜向用户的眼睛发出显示光的显示设备；以及
具有位于所述自由曲面棱镜的后聚焦面处的入射光瞳的成像设备，所述成像设备被配置成接收从所述眼睛反射并被定向穿过所述自由曲面棱镜的注视检测光。
2.如权利要求1所述的透视头戴式显示系统，其特征在于，进一步包括配置成发出所述注视检测光的闪光源。
3.如权利要求2所述的透视头戴式显示系统，其特征在于，进一步包括包含分束器的照明棱镜，所述分束器被配置成将所述显示光从所述显示设备传送到所述自由曲面棱镜，将来自所述闪光源的所述注视检测光反射到所述自由曲面棱镜，以及将从所述眼睛反射的注视检测光反射穿过所述自由曲面棱镜。
4.如权利要求3所述的透视头戴式显示系统，其特征在于，所述成像设备透过所述照明棱镜的第一侧来成像，且所述显示设备透过所述照明棱镜的第二侧发出所述显示光，所述第一侧与所述第二侧相邻。
5.如权利要求1所述的透视头戴式显示系统，其特征在于，进一步包括面向用户的补偿棱镜以及面向外的补偿棱镜，所述自由曲面棱镜位于所述面向用户的补偿棱镜和所述面向外的补偿棱镜之间，并且所述面向用户的补偿棱镜的眼睛一侧的表面基本上平行于所述面向外的补偿棱镜的环境一侧的表面。
6.如权利要求1所述的透视头戴式显示系统，其特征在于，所述自由曲面棱镜包括至少三个表面，每一表面是非平面且非球面的。
7.如权利要求1所述的透视头戴式显示系统，其特征在于，所述显示设备包括照明光源和硅上液晶(LCoS)微显示器，所述照明光源被配置成将光定向穿过所述照明棱镜到达所述LCoS。
8.一种用透视头戴式显示系统执行注视检测的方法，所述方法包括：
发出显示光透过自由曲面棱镜到达用户的眼睛；
在所述自由曲面棱镜的后聚焦面处接收注视检测光，所述注视检测光从所述眼睛反射且被定向穿过所述自由曲面棱镜；以及
根据从所述眼睛反射的所述注视检测光来确定注视方向。
9.如权利要求8所述的方法，其特征在于，进一步包括发出注视检测光透过所述自由曲面棱镜到达所述眼睛。
10.如权利要求8所述的方法，其特征在于，进一步包括存储所述注视方向和与所述注视检测光相关联的信息以用于将来注视方向确定。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/926,968 | 2013-06-25 | ||
| US13/926,968 US9625723B2 (en) | 2013-06-25 | 2013-06-25 | Eye-tracking system using a freeform prism |
| PCT/US2014/043549 WO2014209821A1 (en) | 2013-06-25 | 2014-06-23 | Eye-tracking system for head-mounted display |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105408801A true CN105408801A (zh) | 2016-03-16 |
Family
ID=51257569
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480036475.4A Pending CN105408801A (zh) | 2013-06-25 | 2014-06-23 | 用于头戴式显示器的眼睛跟踪系统 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9625723B2 (zh) |
| EP (1) | EP3014344A1 (zh) |
| KR (1) | KR102219245B1 (zh) |
| CN (1) | CN105408801A (zh) |
| WO (1) | WO2014209821A1 (zh) |
Cited By (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204431A (zh) * | 2016-08-24 | 2016-12-07 | 中国科学院深圳先进技术研究院 | 智能眼镜的显示方法及装置 |
| CN107272904A (zh) * | 2017-06-28 | 2017-10-20 | 联想(北京)有限公司 | 一种图像显示方法及电子设备 |
| US10089516B2 (en) | 2013-07-31 | 2018-10-02 | Digilens, Inc. | Method and apparatus for contact image sensing |
| CN108663806A (zh) * | 2017-03-31 | 2018-10-16 | 及至微机电股份有限公司 | 具有瞳孔追踪功能的影像投影装置及其瞳孔位置追踪装置 |
| CN108780227A (zh) * | 2016-03-18 | 2018-11-09 | 图茨技术股份有限公司 | 用于光学成像单元的眼镜镜片、以及增强现实眼镜 |
| US10145533B2 (en) | 2005-11-11 | 2018-12-04 | Digilens, Inc. | Compact holographic illumination device |
| US10156681B2 (en) | 2015-02-12 | 2018-12-18 | Digilens Inc. | Waveguide grating device |
| US10185154B2 (en) | 2011-04-07 | 2019-01-22 | Digilens, Inc. | Laser despeckler based on angular diversity |
| US10209517B2 (en) | 2013-05-20 | 2019-02-19 | Digilens, Inc. | Holographic waveguide eye tracker |
| US10216061B2 (en) | 2012-01-06 | 2019-02-26 | Digilens, Inc. | Contact image sensor using switchable bragg gratings |
| US10234696B2 (en) | 2007-07-26 | 2019-03-19 | Digilens, Inc. | Optical apparatus for recording a holographic device and method of recording |
| US10241330B2 (en) | 2014-09-19 | 2019-03-26 | Digilens, Inc. | Method and apparatus for generating input images for holographic waveguide displays |
| TWI656360B (zh) * | 2016-04-25 | 2019-04-11 | 銘異科技股份有限公司 | Asymmetric curved surface image display optical system |
| US10330777B2 (en) | 2015-01-20 | 2019-06-25 | Digilens Inc. | Holographic waveguide lidar |
| US10359736B2 (en) | 2014-08-08 | 2019-07-23 | Digilens Inc. | Method for holographic mastering and replication |
| US10423222B2 (en) | 2014-09-26 | 2019-09-24 | Digilens Inc. | Holographic waveguide optical tracker |
| US10437064B2 (en) | 2015-01-12 | 2019-10-08 | Digilens Inc. | Environmentally isolated waveguide display |
| US10437051B2 (en) | 2012-05-11 | 2019-10-08 | Digilens Inc. | Apparatus for eye tracking |
| US10459145B2 (en) | 2015-03-16 | 2019-10-29 | Digilens Inc. | Waveguide device incorporating a light pipe |
| CN110456505A (zh) * | 2018-05-07 | 2019-11-15 | 脸谱科技有限责任公司 | 透明和反射性的照明源 |
| CN110703440A (zh) * | 2018-07-10 | 2020-01-17 | 精工爱普生株式会社 | 头戴式显示器 |
| US10545346B2 (en) | 2017-01-05 | 2020-01-28 | Digilens Inc. | Wearable heads up displays |
| US10591756B2 (en) | 2015-03-31 | 2020-03-17 | Digilens Inc. | Method and apparatus for contact image sensing |
| US10642058B2 (en) | 2011-08-24 | 2020-05-05 | Digilens Inc. | Wearable data display |
| US10670876B2 (en) | 2011-08-24 | 2020-06-02 | Digilens Inc. | Waveguide laser illuminator incorporating a despeckler |
| US10678053B2 (en) | 2009-04-27 | 2020-06-09 | Digilens Inc. | Diffractive projection apparatus |
| US10690851B2 (en) | 2018-03-16 | 2020-06-23 | Digilens Inc. | Holographic waveguides incorporating birefringence control and methods for their fabrication |
| US10690916B2 (en) | 2015-10-05 | 2020-06-23 | Digilens Inc. | Apparatus for providing waveguide displays with two-dimensional pupil expansion |
| US10732569B2 (en) | 2018-01-08 | 2020-08-04 | Digilens Inc. | Systems and methods for high-throughput recording of holographic gratings in waveguide cells |
| CN111971610A (zh) * | 2018-04-25 | 2020-11-20 | 苹果公司 | 具有主动光学视觉聚焦的头戴式设备 |
| US10859768B2 (en) | 2016-03-24 | 2020-12-08 | Digilens Inc. | Method and apparatus for providing a polarization selective holographic waveguide device |
| US10890707B2 (en) | 2016-04-11 | 2021-01-12 | Digilens Inc. | Holographic waveguide apparatus for structured light projection |
| US10914950B2 (en) | 2018-01-08 | 2021-02-09 | Digilens Inc. | Waveguide architectures and related methods of manufacturing |
| CN112424788A (zh) * | 2019-06-17 | 2021-02-26 | 谷歌有限责任公司 | 使用三维眼睛注视矢量的车辆乘员参与 |
| US10942430B2 (en) | 2017-10-16 | 2021-03-09 | Digilens Inc. | Systems and methods for multiplying the image resolution of a pixelated display |
| US10983340B2 (en) | 2016-02-04 | 2021-04-20 | Digilens Inc. | Holographic waveguide optical tracker |
| US11307432B2 (en) | 2014-08-08 | 2022-04-19 | Digilens Inc. | Waveguide laser illuminator incorporating a Despeckler |
| US11378732B2 (en) | 2019-03-12 | 2022-07-05 | DigLens Inc. | Holographic waveguide backlight and related methods of manufacturing |
| US11402801B2 (en) | 2018-07-25 | 2022-08-02 | Digilens Inc. | Systems and methods for fabricating a multilayer optical structure |
| US11442222B2 (en) | 2019-08-29 | 2022-09-13 | Digilens Inc. | Evacuated gratings and methods of manufacturing |
| US11448937B2 (en) | 2012-11-16 | 2022-09-20 | Digilens Inc. | Transparent waveguide display for tiling a display having plural optical powers using overlapping and offset FOV tiles |
| US11460621B2 (en) | 2012-04-25 | 2022-10-04 | Rockwell Collins, Inc. | Holographic wide angle display |
| CN115202037A (zh) * | 2019-03-06 | 2022-10-18 | 株式会社理光 | 光学装置、视网膜投影显示装置、头部安装型显示装置 |
| US11480788B2 (en) | 2015-01-12 | 2022-10-25 | Digilens Inc. | Light field displays incorporating holographic waveguides |
| US11513350B2 (en) | 2016-12-02 | 2022-11-29 | Digilens Inc. | Waveguide device with uniform output illumination |
| US11543594B2 (en) | 2019-02-15 | 2023-01-03 | Digilens Inc. | Methods and apparatuses for providing a holographic waveguide display using integrated gratings |
| US11681143B2 (en) | 2019-07-29 | 2023-06-20 | Digilens Inc. | Methods and apparatus for multiplying the image resolution and field-of-view of a pixelated display |
| US11726332B2 (en) | 2009-04-27 | 2023-08-15 | Digilens Inc. | Diffractive projection apparatus |
| US11747568B2 (en) | 2019-06-07 | 2023-09-05 | Digilens Inc. | Waveguides incorporating transmissive and reflective gratings and related methods of manufacturing |
| WO2023246812A1 (zh) * | 2022-06-21 | 2023-12-28 | 北京七鑫易维信息技术有限公司 | 一种眼球追踪光学装置、系统和虚拟现实设备 |
Families Citing this family (58)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11204540B2 (en) | 2009-10-09 | 2021-12-21 | Digilens Inc. | Diffractive waveguide providing a retinal image |
| US10108258B2 (en) * | 2013-09-06 | 2018-10-23 | Intel Corporation | Multiple viewpoint image capture of a display user |
| KR102404559B1 (ko) | 2014-03-19 | 2022-06-02 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 눈 시선 추적을 사용하는 의료 디바이스, 시스템, 및 방법 |
| WO2015143073A1 (en) * | 2014-03-19 | 2015-09-24 | Intuitive Surgical Operations, Inc. | Medical devices, systems, and methods integrating eye gaze tracking for stereo viewer |
| DK179537B1 (en) * | 2015-02-04 | 2019-02-08 | Itu Business Development A/S | Tin traces and eye tracking methods |
| KR102277272B1 (ko) * | 2015-02-12 | 2021-07-15 | 삼성전자주식회사 | 전자 장치, 웨어러블 장치 및 전자 장치의 화면 영역 제어 방법 |
| US9553423B2 (en) | 2015-02-27 | 2017-01-24 | Princeton Optronics Inc. | Miniature structured light illuminator |
| US9625989B2 (en) * | 2015-04-01 | 2017-04-18 | Fove, Inc. | Head mounted display |
| US10162180B2 (en) * | 2015-06-04 | 2018-12-25 | Google Llc | Efficient thin curved eyepiece for see-through head wearable display |
| WO2017026371A1 (ja) * | 2015-08-11 | 2017-02-16 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイ |
| WO2017091477A1 (en) | 2015-11-25 | 2017-06-01 | Google Inc. | Prism-based eye tracking |
| CN106855655B (zh) * | 2015-12-08 | 2020-01-03 | 铭异科技股份有限公司 | 非对称曲面棱镜影像显示光学系统 |
| US10438410B2 (en) | 2015-12-22 | 2019-10-08 | Intel Corporation | Text enhancements for head-mounted displays |
| US10178948B2 (en) * | 2016-05-11 | 2019-01-15 | Miraco Light Inc. | Self operatable ophthalmic device |
| KR102523377B1 (ko) * | 2016-07-15 | 2023-04-20 | 삼성디스플레이 주식회사 | 유기 발광 표시 장치 및 이를 포함하는 두부 장착 표시 시스템 |
| KR102548199B1 (ko) * | 2016-08-03 | 2023-06-28 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 시선 추적 방법 |
| US10108013B2 (en) * | 2016-08-22 | 2018-10-23 | Microsoft Technology Licensing, Llc | Indirect-view augmented reality display system |
| WO2018103551A1 (zh) | 2016-12-08 | 2018-06-14 | 北京耐德佳显示技术有限公司 | 一种自由曲面棱镜组及使用其的近眼显示装置 |
| CN110431467A (zh) * | 2017-01-28 | 2019-11-08 | 鲁姆斯有限公司 | 增强现实成像系统 |
| AU2018214674A1 (en) | 2017-02-06 | 2019-08-22 | Sheltered Wings, Inc. D/B/A Vortex Optics | Viewing optic with an integrated display system |
| CN106908951A (zh) * | 2017-02-27 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 虚拟现实头戴设备 |
| US10839520B2 (en) * | 2017-03-03 | 2020-11-17 | The United States Of America, As Represented By The Secretary, Department Of Health & Human Services | Eye tracking applications in computer aided diagnosis and image processing in radiology |
| US10249095B2 (en) | 2017-04-07 | 2019-04-02 | Microsoft Technology Licensing, Llc | Context-based discovery of applications |
| US10489651B2 (en) | 2017-04-14 | 2019-11-26 | Microsoft Technology Licensing, Llc | Identifying a position of a marker in an environment |
| US10692287B2 (en) | 2017-04-17 | 2020-06-23 | Microsoft Technology Licensing, Llc | Multi-step placement of virtual objects |
| US20190012835A1 (en) | 2017-07-07 | 2019-01-10 | Microsoft Technology Licensing, Llc | Driving an Image Capture System to Serve Plural Image-Consuming Processes |
| US10521658B2 (en) | 2017-07-07 | 2019-12-31 | Facebook Technologies, Llc | Embedded eye tracker with dichroic mirror |
| US10969584B2 (en) * | 2017-08-04 | 2021-04-06 | Mentor Acquisition One, Llc | Image expansion optic for head-worn computer |
| US11596301B2 (en) | 2017-09-29 | 2023-03-07 | Motognosis Ug | Device for the determination and analysis of the motor skill and the oculomotor skill of a person |
| US11237628B1 (en) * | 2017-10-16 | 2022-02-01 | Facebook Technologies, Llc | Efficient eye illumination using reflection of structured light pattern for eye tracking |
| US11073903B1 (en) | 2017-10-16 | 2021-07-27 | Facebook Technologies, Llc | Immersed hot mirrors for imaging in eye tracking |
| CN107589546A (zh) * | 2017-10-23 | 2018-01-16 | 北京小米移动软件有限公司 | 光学系统及增强现实眼镜 |
| US10474229B1 (en) * | 2017-11-01 | 2019-11-12 | Facebook Technologies, Llc | Folded viewing optics with high eye tracking contrast ratio |
| CN207965356U (zh) * | 2017-11-14 | 2018-10-12 | 塔普翊海（上海）智能科技有限公司 | 一种近眼可透视头显光学系统 |
| WO2019104413A1 (en) | 2017-12-03 | 2019-06-06 | Frank Jones | Enhancing the performance of near-to-eye vision systems |
| US10558260B2 (en) | 2017-12-15 | 2020-02-11 | Microsoft Technology Licensing, Llc | Detecting the pose of an out-of-range controller |
| US20190213792A1 (en) | 2018-01-11 | 2019-07-11 | Microsoft Technology Licensing, Llc | Providing Body-Anchored Mixed-Reality Experiences |
| IL259518B2 (en) | 2018-05-22 | 2023-04-01 | Lumus Ltd | Optical system and method for improving light field uniformity |
| US10788892B2 (en) | 2018-05-23 | 2020-09-29 | Facebook Technologies, Llc | In-field illumination and imaging for eye tracking |
| US11455031B1 (en) * | 2018-06-04 | 2022-09-27 | Meta Platforms Technologies, Llc | In-field illumination for eye tracking |
| WO2020042843A1 (en) * | 2018-08-27 | 2020-03-05 | Shenzhen GOODIX Technology Co., Ltd. | Eye tracking based on imaging eye features and assistance of structured illumination probe light |
| US11327561B1 (en) | 2018-09-27 | 2022-05-10 | Apple Inc. | Display system |
| TW202026685A (zh) | 2018-11-08 | 2020-07-16 | 以色列商魯姆斯有限公司 | 具有反射鏡的光導顯示器 |
| US11550160B1 (en) * | 2018-11-09 | 2023-01-10 | Meta Platforms Technologies, Llc | Off-axis parabolic combiner |
| WO2020152688A1 (en) | 2019-01-24 | 2020-07-30 | Lumus Ltd. | Optical systems including loe with three stage expansion |
| US11237389B1 (en) * | 2019-02-11 | 2022-02-01 | Facebook Technologies, Llc | Wedge combiner for eye-tracking |
| US10963125B2 (en) | 2019-03-18 | 2021-03-30 | Microsoft Technology Licensing, Llc | Visualization tool for interacting with a quantum computing program |
| US11650426B2 (en) | 2019-05-09 | 2023-05-16 | Meta Platforms Technologies, Llc | Holographic optical elements for eye-tracking illumination |
| CN110376738B (zh) * | 2019-06-13 | 2020-08-04 | 浙江大学 | 一种大视场轻型自由曲面波导型目视光学成像装置及其近眼显示系统 |
| KR20220024906A (ko) | 2019-06-25 | 2022-03-03 | 스냅 인코포레이티드 | 연속 카메라 캡처를 위한 듀얼 카메라들의 활용 |
| CN110426853B (zh) * | 2019-07-31 | 2020-10-16 | 华为技术有限公司 | 镜片和头戴式显示装置 |
| KR20210156613A (ko) | 2020-06-18 | 2021-12-27 | 삼성전자주식회사 | 증강 현실 글라스 및 그 동작 방법 |
| DE102020118814A1 (de) * | 2020-07-16 | 2022-01-20 | avateramedical GmBH | Stereoendoskop |
| EP4162314A4 (en) | 2021-02-25 | 2023-11-22 | Lumus Ltd. | MULTIPLER WITH OPTICAL APERTURE AND RECTANGULAR WAVEGUIDE |
| IL308019B1 (en) | 2021-05-19 | 2024-02-01 | Lumus Ltd | Active optical engine |
| TW202309570A (zh) | 2021-08-23 | 2023-03-01 | 以色列商魯姆斯有限公司 | 具有嵌入式耦入反射器的複合光導光學元件的製造方法 |
| US20230065537A1 (en) * | 2021-08-30 | 2023-03-02 | GM Global Technology Operations LLC | Embedded eye tracker using pupil expander glare prism |
| WO2023034424A1 (en) * | 2021-08-31 | 2023-03-09 | Magic Leap, Inc. | Integrated optical components for head mounted display devices |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0408344A2 (en) * | 1989-07-14 | 1991-01-16 | Gec-Marconi Limited | Helmet systems |
| US20010009478A1 (en) * | 1994-06-13 | 2001-07-26 | Shoichi Yamazaki | Head-up display device with rotationally asymmetric curved surface |
| US20020034016A1 (en) * | 1999-03-04 | 2002-03-21 | Kazutaka Inoguchi | Image display apparatus |
| JP2002328330A (ja) * | 2001-04-27 | 2002-11-15 | Sony Corp | 映像表示装置 |
| CN1591082A (zh) * | 1999-04-02 | 2005-03-09 | 奥林巴斯株式会社 | 观察光学系统及使用了该系统的图像显示装置 |
| US20060215111A1 (en) * | 2003-03-31 | 2006-09-28 | Toshifumi Mihashi | Refraction measuring instrument |
| US20080024392A1 (en) * | 2004-06-18 | 2008-01-31 | Torbjorn Gustafsson | Interactive Method of Presenting Information in an Image |
| US20090219484A1 (en) * | 2006-03-31 | 2009-09-03 | Yoshinobu Ebisawa | View point detecting device |
| US20130106674A1 (en) * | 2011-11-02 | 2013-05-02 | Google Inc. | Eye Gaze Detection to Determine Speed of Image Movement |
Family Cites Families (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4711512A (en) | 1985-07-12 | 1987-12-08 | Environmental Research Institute Of Michigan | Compact head-up display |
| US4731462A (en) * | 1986-07-18 | 1988-03-15 | M&T Chemicals Inc. | Organotin compounds containing fluorine useful for forming fluorine-doped tin oxide coating |
| US5044727A (en) * | 1990-05-03 | 1991-09-03 | Hewlett-Packard Company | Beam splitter/combiner apparatus |
| US5331149A (en) | 1990-12-31 | 1994-07-19 | Kopin Corporation | Eye tracking system having an array of photodetectors aligned respectively with an array of pixels |
| US5459611A (en) * | 1993-08-18 | 1995-10-17 | Hewlett-Packard Company | Beam splitter/combiner with path length compensator and method for making the same |
| DE69534221T2 (de) | 1994-06-13 | 2006-01-26 | Canon K.K. | Anzeigevorrichtung |
| AUPN003894A0 (en) | 1994-12-13 | 1995-01-12 | Xenotech Research Pty Ltd | Head tracking system for stereoscopic display apparatus |
| JPH08286141A (ja) * | 1995-04-14 | 1996-11-01 | Canon Inc | 注視点検出システム及びそれを用いた制御システム |
| US5856842A (en) | 1996-08-26 | 1999-01-05 | Kaiser Optical Systems Corporation | Apparatus facilitating eye-contact video communications |
| JP3141835B2 (ja) * | 1997-12-27 | 2001-03-07 | 株式会社エム・アール・システム研究所 | 表示装置 |
| US6580529B1 (en) | 1998-04-02 | 2003-06-17 | Elop Electro -Optics Industries Ltd. | Holographic optical devices |
| JP2000019450A (ja) * | 1998-06-29 | 2000-01-21 | Matsushita Electric Ind Co Ltd | ディスプレイ装置 |
| JP4153630B2 (ja) * | 1999-04-02 | 2008-09-24 | オリンパス株式会社 | 観察光学系及びそれを用いた画像表示装置 |
| US6323970B1 (en) | 1999-09-29 | 2001-11-27 | Digilents, Inc. | Method of producing switchable holograms |
| AU2167601A (en) * | 1999-12-22 | 2001-07-03 | Schott Desag Ag | Uv-reflective interference layer system |
| US6550917B1 (en) * | 2000-02-11 | 2003-04-22 | Wavefront Sciences, Inc. | Dynamic range extension techniques for a wavefront sensor including use in ophthalmic measurement |
| US6585374B2 (en) * | 2000-03-22 | 2003-07-01 | Canon Kabushiki Kaisha | Ophthalmologic apparatus |
| EP1405123B1 (de) * | 2000-10-07 | 2007-03-21 | David Dickerson | Informationssystem und Verfahren zur Zurverfügungstellen von Informationen unter Verwendung eines Holographischen Elements |
| GB0119859D0 (en) | 2001-08-15 | 2001-10-10 | Qinetiq Ltd | Eye tracking system |
| US20050174535A1 (en) * | 2003-02-13 | 2005-08-11 | Lai Shui T. | Apparatus and method for determining subjective responses using objective characterization of vision based on wavefront sensing |
| IL148804A (en) | 2002-03-21 | 2007-02-11 | Yaacov Amitai | Optical device |
| FI114945B (fi) | 2002-09-19 | 2005-01-31 | Nokia Corp | Sähköisesti säädettävä diffraktiivinen hilaelementti |
| US20070041684A1 (en) | 2003-05-09 | 2007-02-22 | Sbg Labs Inc. A Delaware Corporation | Switchable viewfinder display |
| US7872635B2 (en) | 2003-05-15 | 2011-01-18 | Optimetrics, Inc. | Foveated display eye-tracking system and method |
| US20050122464A1 (en) * | 2003-12-03 | 2005-06-09 | International Business Machines Corporation | One-drop fill spacerless process for liquid crystal cell on a silicon backplane or microdisplays |
| TWI263831B (en) * | 2004-09-30 | 2006-10-11 | Himax Tech Inc | Head mounted display |
| JP4560368B2 (ja) * | 2004-10-08 | 2010-10-13 | キヤノン株式会社 | 眼検出装置および画像表示装置 |
| US7369317B2 (en) | 2005-03-07 | 2008-05-06 | Himax Technologies, Inc. | Head-mounted display utilizing an LCOS panel with a color filter attached thereon |
| US7522344B1 (en) | 2005-12-14 | 2009-04-21 | University Of Central Florida Research Foundation, Inc. | Projection-based head-mounted display with eye-tracking capabilities |
| WO2008081070A1 (en) | 2006-12-28 | 2008-07-10 | Nokia Corporation | Device for expanding an exit pupil in two dimensions |
| US8154583B2 (en) | 2007-05-31 | 2012-04-10 | Eastman Kodak Company | Eye gazing imaging for video communications |
| US20090189830A1 (en) | 2008-01-23 | 2009-07-30 | Deering Michael F | Eye Mounted Displays |
| CA2758633C (en) | 2009-04-14 | 2017-09-26 | Bae Systems Plc | Optical waveguide and display device |
| JP2011007990A (ja) | 2009-06-25 | 2011-01-13 | Olympus Imaging Corp | 投影装置 |
| US20120139817A1 (en) | 2009-08-13 | 2012-06-07 | Bae Systems Plc | Head up display system |
| US8233204B1 (en) | 2009-09-30 | 2012-07-31 | Rockwell Collins, Inc. | Optical displays |
| US11320571B2 (en) | 2012-11-16 | 2022-05-03 | Rockwell Collins, Inc. | Transparent waveguide display providing upper and lower fields of view with uniform light extraction |
| US8125716B2 (en) * | 2009-10-14 | 2012-02-28 | The United States Of America As Represented By The Secretary Of The Army | Near eye display prism optic assembly |
| CA3043204C (en) | 2009-11-19 | 2021-08-31 | Esight Corp. | Apparatus and method for a dynamic "region of interest" in a display system |
| US8472120B2 (en) * | 2010-02-28 | 2013-06-25 | Osterhout Group, Inc. | See-through near-eye display glasses with a small scale image source |
| US8467133B2 (en) * | 2010-02-28 | 2013-06-18 | Osterhout Group, Inc. | See-through display with an optical assembly including a wedge-shaped illumination system |
| KR101997852B1 (ko) * | 2010-12-24 | 2019-10-01 | 매직 립, 인코포레이티드 | 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템 |
| WO2012172295A1 (en) | 2011-06-16 | 2012-12-20 | Milan Momcilo Popovich | Holographic beam deflector for autostereoscopic displays |
| US20120326948A1 (en) | 2011-06-22 | 2012-12-27 | Microsoft Corporation | Environmental-light filter for see-through head-mounted display device |
| WO2013027004A1 (en) | 2011-08-24 | 2013-02-28 | Milan Momcilo Popovich | Wearable data display |
| US8998414B2 (en) | 2011-09-26 | 2015-04-07 | Microsoft Technology Licensing, Llc | Integrated eye tracking and display system |
| US9268406B2 (en) | 2011-09-30 | 2016-02-23 | Microsoft Technology Licensing, Llc | Virtual spectator experience with a personal audio/visual apparatus |
| US9223138B2 (en) * | 2011-12-23 | 2015-12-29 | Microsoft Technology Licensing, Llc | Pixel opacity for augmented reality |
| NZ627582A (en) * | 2012-01-24 | 2016-11-25 | Univ Arizona State | Compact eye-tracked head-mounted display |
| BR112014024941A2 (pt) * | 2012-04-05 | 2017-09-19 | Magic Leap Inc | dispositivo de imagem de campo de visão amplo com capacidade de focalização ativa |
| EP2842003B1 (en) | 2012-04-25 | 2019-02-27 | Rockwell Collins, Inc. | Holographic wide angle display |
| EP2895910A4 (en) * | 2012-09-11 | 2016-04-20 | Magic Leap Inc | ERGONOMIC HEAD-MOUNTED DISPLAY DEVICE AND OPTICAL SYSTEM |
| US9933684B2 (en) | 2012-11-16 | 2018-04-03 | Rockwell Collins, Inc. | Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration |
| US10228561B2 (en) * | 2013-06-25 | 2019-03-12 | Microsoft Technology Licensing, Llc | Eye-tracking system using a freeform prism and gaze-detection light |
-
2013
- 2013-06-25 US US13/926,968 patent/US9625723B2/en active Active
-
2014
- 2014-06-23 KR KR1020167002160A patent/KR102219245B1/ko active IP Right Grant
- 2014-06-23 WO PCT/US2014/043549 patent/WO2014209821A1/en active Application Filing
- 2014-06-23 CN CN201480036475.4A patent/CN105408801A/zh active Pending
- 2014-06-23 EP EP14744989.6A patent/EP3014344A1/en not_active Withdrawn
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0408344A2 (en) * | 1989-07-14 | 1991-01-16 | Gec-Marconi Limited | Helmet systems |
| US20010009478A1 (en) * | 1994-06-13 | 2001-07-26 | Shoichi Yamazaki | Head-up display device with rotationally asymmetric curved surface |
| US20020034016A1 (en) * | 1999-03-04 | 2002-03-21 | Kazutaka Inoguchi | Image display apparatus |
| CN1591082A (zh) * | 1999-04-02 | 2005-03-09 | 奥林巴斯株式会社 | 观察光学系统及使用了该系统的图像显示装置 |
| JP2002328330A (ja) * | 2001-04-27 | 2002-11-15 | Sony Corp | 映像表示装置 |
| US20060215111A1 (en) * | 2003-03-31 | 2006-09-28 | Toshifumi Mihashi | Refraction measuring instrument |
| US20080024392A1 (en) * | 2004-06-18 | 2008-01-31 | Torbjorn Gustafsson | Interactive Method of Presenting Information in an Image |
| US20090219484A1 (en) * | 2006-03-31 | 2009-09-03 | Yoshinobu Ebisawa | View point detecting device |
| US20130106674A1 (en) * | 2011-11-02 | 2013-05-02 | Google Inc. | Eye Gaze Detection to Determine Speed of Image Movement |
Cited By (77)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10145533B2 (en) | 2005-11-11 | 2018-12-04 | Digilens, Inc. | Compact holographic illumination device |
| US10234696B2 (en) | 2007-07-26 | 2019-03-19 | Digilens, Inc. | Optical apparatus for recording a holographic device and method of recording |
| US10725312B2 (en) | 2007-07-26 | 2020-07-28 | Digilens Inc. | Laser illumination device |
| US11175512B2 (en) | 2009-04-27 | 2021-11-16 | Digilens Inc. | Diffractive projection apparatus |
| US11726332B2 (en) | 2009-04-27 | 2023-08-15 | Digilens Inc. | Diffractive projection apparatus |
| US10678053B2 (en) | 2009-04-27 | 2020-06-09 | Digilens Inc. | Diffractive projection apparatus |
| US11487131B2 (en) | 2011-04-07 | 2022-11-01 | Digilens Inc. | Laser despeckler based on angular diversity |
| US10185154B2 (en) | 2011-04-07 | 2019-01-22 | Digilens, Inc. | Laser despeckler based on angular diversity |
| US11874477B2 (en) | 2011-08-24 | 2024-01-16 | Digilens Inc. | Wearable data display |
| US11287666B2 (en) | 2011-08-24 | 2022-03-29 | Digilens, Inc. | Wearable data display |
| US10642058B2 (en) | 2011-08-24 | 2020-05-05 | Digilens Inc. | Wearable data display |
| US10670876B2 (en) | 2011-08-24 | 2020-06-02 | Digilens Inc. | Waveguide laser illuminator incorporating a despeckler |
| US10216061B2 (en) | 2012-01-06 | 2019-02-26 | Digilens, Inc. | Contact image sensor using switchable bragg gratings |
| US10459311B2 (en) | 2012-01-06 | 2019-10-29 | Digilens Inc. | Contact image sensor using switchable Bragg gratings |
| US11460621B2 (en) | 2012-04-25 | 2022-10-04 | Rockwell Collins, Inc. | Holographic wide angle display |
| US10437051B2 (en) | 2012-05-11 | 2019-10-08 | Digilens Inc. | Apparatus for eye tracking |
| US11448937B2 (en) | 2012-11-16 | 2022-09-20 | Digilens Inc. | Transparent waveguide display for tiling a display having plural optical powers using overlapping and offset FOV tiles |
| US11662590B2 (en) | 2013-05-20 | 2023-05-30 | Digilens Inc. | Holographic waveguide eye tracker |
| US10209517B2 (en) | 2013-05-20 | 2019-02-19 | Digilens, Inc. | Holographic waveguide eye tracker |
| US10423813B2 (en) | 2013-07-31 | 2019-09-24 | Digilens Inc. | Method and apparatus for contact image sensing |
| US10089516B2 (en) | 2013-07-31 | 2018-10-02 | Digilens, Inc. | Method and apparatus for contact image sensing |
| US10359736B2 (en) | 2014-08-08 | 2019-07-23 | Digilens Inc. | Method for holographic mastering and replication |
| US11307432B2 (en) | 2014-08-08 | 2022-04-19 | Digilens Inc. | Waveguide laser illuminator incorporating a Despeckler |
| US11709373B2 (en) | 2014-08-08 | 2023-07-25 | Digilens Inc. | Waveguide laser illuminator incorporating a despeckler |
| US10241330B2 (en) | 2014-09-19 | 2019-03-26 | Digilens, Inc. | Method and apparatus for generating input images for holographic waveguide displays |
| US11726323B2 (en) | 2014-09-19 | 2023-08-15 | Digilens Inc. | Method and apparatus for generating input images for holographic waveguide displays |
| US10423222B2 (en) | 2014-09-26 | 2019-09-24 | Digilens Inc. | Holographic waveguide optical tracker |
| US11480788B2 (en) | 2015-01-12 | 2022-10-25 | Digilens Inc. | Light field displays incorporating holographic waveguides |
| US11740472B2 (en) | 2015-01-12 | 2023-08-29 | Digilens Inc. | Environmentally isolated waveguide display |
| US10437064B2 (en) | 2015-01-12 | 2019-10-08 | Digilens Inc. | Environmentally isolated waveguide display |
| US11726329B2 (en) | 2015-01-12 | 2023-08-15 | Digilens Inc. | Environmentally isolated waveguide display |
| US10330777B2 (en) | 2015-01-20 | 2019-06-25 | Digilens Inc. | Holographic waveguide lidar |
| US11703645B2 (en) | 2015-02-12 | 2023-07-18 | Digilens Inc. | Waveguide grating device |
| US10156681B2 (en) | 2015-02-12 | 2018-12-18 | Digilens Inc. | Waveguide grating device |
| US10527797B2 (en) | 2015-02-12 | 2020-01-07 | Digilens Inc. | Waveguide grating device |
| US10459145B2 (en) | 2015-03-16 | 2019-10-29 | Digilens Inc. | Waveguide device incorporating a light pipe |
| US10591756B2 (en) | 2015-03-31 | 2020-03-17 | Digilens Inc. | Method and apparatus for contact image sensing |
| US11281013B2 (en) | 2015-10-05 | 2022-03-22 | Digilens Inc. | Apparatus for providing waveguide displays with two-dimensional pupil expansion |
| US11754842B2 (en) | 2015-10-05 | 2023-09-12 | Digilens Inc. | Apparatus for providing waveguide displays with two-dimensional pupil expansion |
| US10690916B2 (en) | 2015-10-05 | 2020-06-23 | Digilens Inc. | Apparatus for providing waveguide displays with two-dimensional pupil expansion |
| US10983340B2 (en) | 2016-02-04 | 2021-04-20 | Digilens Inc. | Holographic waveguide optical tracker |
| CN108780227A (zh) * | 2016-03-18 | 2018-11-09 | 图茨技术股份有限公司 | 用于光学成像单元的眼镜镜片、以及增强现实眼镜 |
| CN108780227B (zh) * | 2016-03-18 | 2022-03-08 | 图茨技术股份有限公司 | 用于光学成像单元的眼镜镜片、以及增强现实眼镜 |
| US11604314B2 (en) | 2016-03-24 | 2023-03-14 | Digilens Inc. | Method and apparatus for providing a polarization selective holographic waveguide device |
| US10859768B2 (en) | 2016-03-24 | 2020-12-08 | Digilens Inc. | Method and apparatus for providing a polarization selective holographic waveguide device |
| US10890707B2 (en) | 2016-04-11 | 2021-01-12 | Digilens Inc. | Holographic waveguide apparatus for structured light projection |
| TWI656360B (zh) * | 2016-04-25 | 2019-04-11 | 銘異科技股份有限公司 | Asymmetric curved surface image display optical system |
| CN106204431A (zh) * | 2016-08-24 | 2016-12-07 | 中国科学院深圳先进技术研究院 | 智能眼镜的显示方法及装置 |
| CN106204431B (zh) * | 2016-08-24 | 2019-08-16 | 中国科学院深圳先进技术研究院 | 智能眼镜的显示方法及装置 |
| US11513350B2 (en) | 2016-12-02 | 2022-11-29 | Digilens Inc. | Waveguide device with uniform output illumination |
| US11194162B2 (en) | 2017-01-05 | 2021-12-07 | Digilens Inc. | Wearable heads up displays |
| US11586046B2 (en) | 2017-01-05 | 2023-02-21 | Digilens Inc. | Wearable heads up displays |
| US10545346B2 (en) | 2017-01-05 | 2020-01-28 | Digilens Inc. | Wearable heads up displays |
| CN108663806A (zh) * | 2017-03-31 | 2018-10-16 | 及至微机电股份有限公司 | 具有瞳孔追踪功能的影像投影装置及其瞳孔位置追踪装置 |
| CN107272904A (zh) * | 2017-06-28 | 2017-10-20 | 联想(北京)有限公司 | 一种图像显示方法及电子设备 |
| US10942430B2 (en) | 2017-10-16 | 2021-03-09 | Digilens Inc. | Systems and methods for multiplying the image resolution of a pixelated display |
| US10732569B2 (en) | 2018-01-08 | 2020-08-04 | Digilens Inc. | Systems and methods for high-throughput recording of holographic gratings in waveguide cells |
| US10914950B2 (en) | 2018-01-08 | 2021-02-09 | Digilens Inc. | Waveguide architectures and related methods of manufacturing |
| US11150408B2 (en) | 2018-03-16 | 2021-10-19 | Digilens Inc. | Holographic waveguides incorporating birefringence control and methods for their fabrication |
| US11726261B2 (en) | 2018-03-16 | 2023-08-15 | Digilens Inc. | Holographic waveguides incorporating birefringence control and methods for their fabrication |
| US10690851B2 (en) | 2018-03-16 | 2020-06-23 | Digilens Inc. | Holographic waveguides incorporating birefringence control and methods for their fabrication |
| CN111971610A (zh) * | 2018-04-25 | 2020-11-20 | 苹果公司 | 具有主动光学视觉聚焦的头戴式设备 |
| CN110456505A (zh) * | 2018-05-07 | 2019-11-15 | 脸谱科技有限责任公司 | 透明和反射性的照明源 |
| CN110456505B (zh) * | 2018-05-07 | 2022-05-31 | 脸谱科技有限责任公司 | 透明和反射性的照明源 |
| CN110703440B (zh) * | 2018-07-10 | 2021-12-21 | 精工爱普生株式会社 | 头戴式显示器 |
| CN110703440A (zh) * | 2018-07-10 | 2020-01-17 | 精工爱普生株式会社 | 头戴式显示器 |
| US11402801B2 (en) | 2018-07-25 | 2022-08-02 | Digilens Inc. | Systems and methods for fabricating a multilayer optical structure |
| US11543594B2 (en) | 2019-02-15 | 2023-01-03 | Digilens Inc. | Methods and apparatuses for providing a holographic waveguide display using integrated gratings |
| CN115202037A (zh) * | 2019-03-06 | 2022-10-18 | 株式会社理光 | 光学装置、视网膜投影显示装置、头部安装型显示装置 |
| US11378732B2 (en) | 2019-03-12 | 2022-07-05 | DigLens Inc. | Holographic waveguide backlight and related methods of manufacturing |
| US11747568B2 (en) | 2019-06-07 | 2023-09-05 | Digilens Inc. | Waveguides incorporating transmissive and reflective gratings and related methods of manufacturing |
| CN112424788A (zh) * | 2019-06-17 | 2021-02-26 | 谷歌有限责任公司 | 使用三维眼睛注视矢量的车辆乘员参与 |
| US11681143B2 (en) | 2019-07-29 | 2023-06-20 | Digilens Inc. | Methods and apparatus for multiplying the image resolution and field-of-view of a pixelated display |
| US11592614B2 (en) | 2019-08-29 | 2023-02-28 | Digilens Inc. | Evacuated gratings and methods of manufacturing |
| US11442222B2 (en) | 2019-08-29 | 2022-09-13 | Digilens Inc. | Evacuated gratings and methods of manufacturing |
| US11899238B2 (en) | 2019-08-29 | 2024-02-13 | Digilens Inc. | Evacuated gratings and methods of manufacturing |
| WO2023246812A1 (zh) * | 2022-06-21 | 2023-12-28 | 北京七鑫易维信息技术有限公司 | 一种眼球追踪光学装置、系统和虚拟现实设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9625723B2 (en) | 2017-04-18 |
| EP3014344A1 (en) | 2016-05-04 |
| WO2014209821A1 (en) | 2014-12-31 |
| KR20160022927A (ko) | 2016-03-02 |
| US20140375789A1 (en) | 2014-12-25 |
| KR102219245B1 (ko) | 2021-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105408801A (zh) | 用于头戴式显示器的眼睛跟踪系统 | |
| CN105408802A (zh) | 用于头戴式显示器的眼睛跟踪系统 | |
| CN105531716B (zh) | 显示设备中的近眼光学定位 | |
| US9465991B2 (en) | Determining lens characteristics | |
| US10553139B2 (en) | Enhanced imaging system for linear micro-displays | |
| US20130321390A1 (en) | Augmented books in a mixed reality environment | |
| US20160131902A1 (en) | System for automatic eye tracking calibration of head mounted display device | |
| IL267117A (en) | 3D object rendering using detected figures | |
| US10712561B2 (en) | Interference mitigation via adaptive depth imaging | |
| AU2014281863A1 (en) | Shared and private holographic objects | |
| JP2016506565A (ja) | 人間トリガのホログラフィックリマインダ | |
| CN105008981A (zh) | 用于近眼显示器的光学系统 | |
| US20220413603A1 (en) | Multiplexed diffractive elements for eye tracking | |
| US10242643B2 (en) | Constrained head-mounted display communication | |
| US20180158390A1 (en) | Digital image modification | |
| WO2019099284A1 (en) | Eye-tracking system positioning diffractive couplers on waveguide | |
| WO2022203827A1 (en) | Eye tracker illumination through a waveguide | |
| US11940628B2 (en) | Display device having common light path region | |
| US20240094809A1 (en) | Eye tracking system with in- plane illumination | |
| US20230367117A1 (en) | Eye tracking using camera lens-aligned retinal illumination |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160316 |