CN110741309A - 使用具有刻面组合器的光导的眼睛跟踪 - Google Patents

使用具有刻面组合器的光导的眼睛跟踪 Download PDF

Info

Publication number
CN110741309A
CN110741309A CN201880033352.3A CN201880033352A CN110741309A CN 110741309 A CN110741309 A CN 110741309A CN 201880033352 A CN201880033352 A CN 201880033352A CN 110741309 A CN110741309 A CN 110741309A
Authority
CN
China
Prior art keywords
eye
light guide
light
facet
facets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880033352.3A
Other languages
English (en)
Inventor
奥斯卡·马丁内斯
卢建宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN110741309A publication Critical patent/CN110741309A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G02B2027/0125—Field-of-view increase by wavefront division
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/141—Beam splitting or combining systems operating by reflection only using dichroic mirrors

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Optical Elements Other Than Lenses (AREA)

Abstract

一种眼睛跟踪系统包括光导，所述光导包括面向眼睛的第一表面、第二表面、第三表面和形成在所述第二表面中的多个刻面。所述刻面将在眼睛上入射的光的一部分反射到所述光导中，所述光导被定位为接近所述眼睛并且在所述眼睛与显示器之间。补偿器的表面可以与所述光导的所述第二表面互补成形并且被放置为靠近所述光导。相机或者其它图像传感器朝向所述光导的所述第三表面定向并且基于内部反射光来捕获图像。IR光源可能被包括。所述图像传感器可以是IR图像传感器。基于所述图像，所述眼睛的姿势被确定。刻面光导组件可以包括与所述刻面相邻的反射涂层。

Description

使用具有刻面组合器的光导的眼睛跟踪
技术领域
本公开大体上涉及近眼显示器并且更具体地涉及近眼显示器中的眼睛跟踪。
背景技术
头戴式显示(HMD)装置和其它近眼显示装置通常使用安装在用户眼睛前面的一个或者多个显示面板来显示各种类型的内容，包括虚拟现实(VR)内容、增强现实(AR)内容等。在许多实例中，这种近眼显示系统采用眼睛跟踪来提供增强的用户体验。传统眼睛跟踪机制通常采用镜片和反光镜的复杂布置来捕获眼睛的图像，并且从这种图像估计眼睛的注视方向。然而，传统系统中在没有遮挡显示面板的情况下提供这种眼睛跟踪功能所需的复杂光学机制通常会禁止实现用于近眼显示装置的小形状因子。
附图说明
通过参照附图，可以更好地理解本公开并且其众多特征和优点对本领域的技术人员而言变得显而易见。在不同的附图中使用相同的元件符号指示类似或者相同的项目。
图1是图示了根据一些实施例的采用刻面光导组件的眼睛跟踪系统的截面图的示意图。
图2是图示了根据一些实施例的图1所示的采用刻面光导组件的眼睛跟踪系统的透视图的示意图。
图3是图示了根据一些实施例的刻面光导组件的分解截面图的示意图。
图4是图示了根据一些实施例从光导的多个刻面的反射生成用户眼睛的图像的示意图。
图5是图示了根据一些实施例的具有一致方面的刻面的光导的示意图。
图6是图示了根据一些实施例的具有非一致方面的刻面的光导的示意图。
图7图示了使用图5和图6的刻面光导的实施方式捕获的示例灰度图像。
图8是图示了根据一些实施例的具有一致方面的刻面，以及其中，刻面在以非零角定向的组合器区域中的光导的示意图。
图9是图示了根据一些实施例的具有以非零角定向的非一致方面的刻面的光导的示意图。
图10图示了使用图8和图9的刻面光导组件的实施方式捕获的示例灰度图像。
图11是图示了根据一些实施例的在一个元件中包括两个光导的光导组件的示意图。
图12图示了使用图11的刻面光导组件的实施方式捕获的示例灰度图像。
图13图示了本文所描述的光导的实施方式的视场(FOV)覆盖范围的相应值和系统方面的示例值的表格。
图14是根据一些实施例的使用刻面光导组件的眼睛跟踪的示例方法。
图15图示了根据一些实施例的用于眼睛跟踪的刻面光导组件。
具体实施方式
图1至图15图示了基于由定位为靠近光导的成像传感器或者相机捕获的一只或者两只用户眼睛的一个或者多个眼睛图像确定眼睛姿势的示例方法和系统。诸如头戴式显示器(HMD)装置的近眼显示系统将光导定位在用户眼睛与至少一个显示面板之间。在至少一个实施例中，刻面(facet)光导组件包括光导，该光导包括透明主体、第一表面、与第一表面相对的第二表面和与第一表面大体上正交的第三表面。第一表面可以是大体上平面的表面。第二表面包括具有通常沿平面布置的多个刻面的组合器区域。根据一个实施方式，平面相对于第一表面具有非零角。刻面被配置为朝向光导的第三表面通过光导的主体在内部反射光。反射光是在其穿过光导时在第一表面的相应区域上入射的。
近眼显示系统进一步包括图像传感器，该图像传感器设置在光导的第三表面，并且该图像传感器被配置为捕获图像，该图像表示从眼睛反射，在光导的眼睛面向的表面入射，并且朝向和通过第三表面在内部被组合器区域的刻面反射的光。执行程序的处理器可以使用各种眼睛跟踪算法中的任何一种从该捕获图像确定用户眼睛的当前姿势，并且从用户眼睛的该当前姿势，处理器可以控制近眼显示系统的操作的一个或者多个方面。本文所描述的刻面光导的使用使镜片与近眼显示器之间的距离缩短。光导包括将诸如红外光等光指向光导的主体内的刻面。根据一些实施例，眼睛的图像是在眼睛的视场外捕获的。镜片与近眼显示器之间的减小的距离减小了与头戴式设备相关联的感知重量和棘手性，从而提供了改进的虚拟现实(VR)或者增强现实(AR)体验。
图1是图示了根据一些实施例的采用刻面光导组件的眼睛跟踪系统的截面图的示意图。
所描绘的传统眼睛跟踪系统100包括眼睛101，该眼睛101通过吸收诸如，沿z轴穿过热镜104和镜片109的可见光103观看显示面板102。热镜104被配置为在反射特定光谱(通常是近红外光谱)中的光的同时允许该光谱外的光(即，可见光)穿过。光源110可以被布置为靠近系统100并且提供诸如IR光的光111，其为图像传感器108提供眼睛的增加照明。IR光通常包括波长从约753纳米(nm)到1250nm的光。图像传感器108定位为接收从眼睛101反射并且由热镜104反射的IR光111。图像传感器108捕获眼睛101的一个或者多个图像，该图像由IR光107表示。如图1所示，热镜104在直接面向前时通常在与眼睛101的光轴成45度角或者接近45度角处放置，从而允许图像传感器108定位在眼睛101的视场(FOV)之外。热镜104的这种成角的布置在眼睛101与显示面板102之间需要相当大的观看距离112。与此一致，传统的头戴式显示器(HDM)必须足够大以容纳包括每只眼睛的大部分或者整个视场的热镜104视场。
与传统的眼睛跟踪系统相比，除了热镜之外，眼睛跟踪系统120还包括刻面光导122。光导122包括第一眼睛面向的表面117和第二表面118。光导122包括形成在第二表面118中的多个刻面114，每个刻面114与光导122的平面成大于零度的角。刻面114将来自眼睛101的表面的光127反射到光导122的主体中并且朝向光导122的第三侧119反射。根据一个实施例，第三侧119与第一侧117或者第二侧118可能是非正交的。图像传感器129定位为靠近光导122的第三侧119。图像传感器129可以是被配置为在IR光的波长范围内捕获眼睛101的图像的IR图像传感器。可以使用其它类型的光和其它类型的图像传感器。诸如镜片、镜片组、一个或者多个电子电路、相机快门和图像处理电路系统的与图像传感器129一起使用的其它部件，也可以伴随定位为靠近光导122的第三侧119的图像传感器129，但是为了清楚起见在图1中被省略。光导122的刻面114形成在组合器区域115上。光127是通过或者沿着光导122的第二区域116从组合器区域115反射的。
补偿器113定位为靠近光导122。根据实施例，补偿器113的一部分可以与刻面114形成互补，从而使设备或者光导镜片的厚度124大体上一致。在其它实施例中，刻面光导组件的厚度变化，如在第一侧117与第二侧118之间测量的。根据一个示例，光导122和补偿器113的组合形成系统120的零放大元件，从而通过第二系统120提供大体上不变的观看体验。根据另一示例，光导122、补偿器113和其它未图示的半透明观看元件的组合提供零放大观看。
第二系统120可以包括光源125，该光源125向眼睛101提供诸如IR光的光126以利于经由图像传感器129对眼睛101成像。通常，光导122可以被放置为与显示面板128平行，如垂直于显示面板128的光轴121所指示的。可替代地，光导122可以被放置为与显示面板128成一定角度。与使用第一系统100中图示的元件相比较，使用光导122利于减小观看距离123。即，光导122和图像传感器129被配置为减小眼睛101与显示面板102之间的眼睛跟踪距离。
图2是图示了根据一些实施例的图1所图示的采用刻面光导组件的眼睛跟踪系统的透视图的示意图。在所描绘的示例中，显示面板128的显示内容201投射向眼睛101。内容201在眼睛101的视场(FOV)内。在至少一个实施例中，当眼睛101休息(即，直接面向显示面板128)时，光轴121在内容201的场202内，场202处于光导122的组合器区域115内的位置。包括光导122、补偿器113、光源110和图像传感器129的元件包括刻面光导组件205。眼睛101的捕获图像包括图像传感器129。虽然图像传感器129显示在眼睛101的一侧，但是通过使光导122和补偿器113旋转和通过使图像传感器129移动，图像传感器129可以放置在相对于眼睛101的另一侧，诸如，在眼睛101下面和在显示面板102下面，从而维持图像传感器靠近光导122的第三侧119。
如投射在眼睛101上的，来自显示面板102的内容201到达眼睛101上的第一区域203。在至少一个实施例中，图像传感器129捕获图2所图示的第二区域204的至少部分，该第二区域204大于第一区域203。在其它实施例中，第二区域204的大小可能与第一区域203相同或者小于第一区域203。
观看距离112包括在补偿器113的表面与显示面板102之间的适眼距(eye relief)距离206和屏幕距离207。光导122和光导122的刻面的一个或者多个方面可以被选择以创建第二区域204或者眼睛101的FOV覆盖范围的期望大小。此外，光导122和光导122的刻面的一个或者多个方面可以是基于以下中的一个或者多个来选择的：适眼距距离206、屏幕距离207、显示面板102相对于眼睛101的定向、光导122相对于眼睛101的位置、光导122相对于眼睛101的定向和系统120的其它方面，诸如，第二区域204的期望大小和期望位置。如图2所图示的，组合器区域115内的刻面从光导122的顶侧延伸到底侧。在其它实施例中，一个或者多个刻面的刻面表面从光导122的顶部到底部延伸部分距离。刻面中的一个或者多个可以定位在用户眼睛101的视场(FOV)内或者外。
图3是图示了根据一些实施例的刻面光导的分解截面图的示意图。在图3中，刻面光导组件300包括刻面光导301、补偿器302、第一材料303和第二材料304。进一步描述这些元件301至304中的每一个。
光导301包括至少第一表面306、第二表面307和第三表面308。光导301包括与至少第二表面307不同的三个区域：位于第一平面中的第一较薄的上部区域309、在大体上平行但是偏离第一平面的第二平面中的第三下部区域311、和沿与第一平面和第二平面成角312的第三平面将上部区域309与下部区域311连接的中间区域310。在图3中示出了角312在中间区域310中是一致的。在至少一个实施例中，角312在中间区域310中可能是一致的。在其它实施例中，角312在中间区域310中可以变化一次、两次或者两次以上，诸如通过相邻刻面的数对顶点测量的或者在中间区域310的第二表面307上的相应对的点处测量的。
在光导301的中间区域310的第二表面307中的是刻面313的集合。如图3所示，根据一个实施例，刻面313中的每一个刻面313都具有彼此相同的形状和大小。在其它实施例中，刻面的集合中的每个刻面313都可能具有与其它刻面313中的一个或者多个刻面不同的一个或者多个刻面特征。例如，第一刻面可以包括与第二刻面的第二刻面角315不同的第一刻面角314。根据一个示例实施例，每个刻面包括刻面角和刻面间距(pitch)316，该刻面间距316是离两个刻面之间的顶点的距离，如从光导301的第二表面307的第二平面垂直测量的。
作为另一示例实施例，每个刻面都包括刻面平面。每个刻面平面都平行于一个或者多个其它刻面平面。作为又一示例，每个刻面平面都可能在相对于光导301的x定向、y定向和z定向上与一个或者多个其它刻面平面不平行。
虽然每个刻面313在图3中都被图示为平面的，但是这并非在每个实施例中都需要。在一些实施例中，每个刻面313都包括沿x轴、y轴和z轴中的一个或者多个的非平面曲线方面。刻面313在朝向第三表面308的方向上将入射光317反射到光导301的主体318中。第三表面308的部分可以形成为端刻面，该端刻面被成形用于将光指向图像传感器的表面。
在图3中，刻面光导组件300包括被定位为与光导301的中间区域310相邻的第一材料303。根据示例实施例，第一材料303是IR反射涂层。根据另一示例实施例，第一材料303是在光导301的形成期间添加到中间区域310的IR反射材料。根据又一示例实施例，第一材料303是涂到光导301的中间区域310中的第二表面307上的膜。第一材料303的示例包括多层介质薄膜涂层，该多层介质薄膜涂层包括SiO2或者TiO2。金属层也可以使用，诸如，铝。制作光导301的材料的示例包括Zeonex E48R、EP5000和聚碳酸酯。
刻面光导组件300还包括被定位为与光导301的下部区域311相邻的第二材料304，。第二材料304在所指示的方向319上增强光导301的主体318中的内部能量反射。根据示例实施例，第二材料304是IR反射涂层。根据其它示例实施例，第二材料304是以下中的一种：多层IR反射涂层、在光导的形成期间添加到下部区域311的IR反射材料、涂到光导301的下部区域311中的第二表面307的IR反射膜、在光导301的下部区域311中的第二表面307上的单一低指数冰晶石基涂层、和涂到光导301的下部区域311中的第二表面307的二色性反射材料。第二材料304的示例进一步包括应用于补偿器302的第一侧320的全内反射器，诸如，由SiO2或者TiO2制成的多层介质薄膜涂层。304处的反射也可以是通过使用低指数粘合剂使301和302结合而发生的。也可以省略304上的任何涂层，并且在表面321上使用全内反射。
在图3中，刻面光导组件300还包括补偿器302。根据一个示例实施例，补偿器302由与光导301相同的材料形成并且在全部被组装在一起从而形成复合光学元件时被成形为与光导301、第一材料303和第二材料304的形状和轮廓互补匹配。
图4是图示了根据一些实施例从光导的多个刻面的反射生成用户眼睛的图像的示意图。在图4中，光导407在其表面中的一个表面中具有刻面401。来自用户眼睛406的场景403的诸如，IR光的光402由刻面401反射。光402仅来自场景403的某些波段404。场景403未被图像传感器412捕获的反射区域被图示为黑色波段405。来自场景403的某种光402变成内部反射光并且反而由图像传感器412捕获。每个刻面401都反射光并且为图像传感器412的视场(FOV)的一部分服务。
每个捕获的波段404的宽度421都取决于系统400的一个或者多个特征或者元素。例如，每个波段404的宽度421都取决于场景403与光导407的第一眼睛面向的表面的相应刻面角和适眼距距离。物平面在适眼距距离413处由系统400形成。适眼距距离413可以是第一适眼距距离414、第二适眼距距离415、第三适眼距距离416等。沿x轴的位置和每个刻面的刻面角确定场景403和图像传感器412的FOV的相应部分在光导407的主体内反射的位置。
光402由光导407的刻面401反射。根据至少一个实施例，光导407可以与补偿器408、第一反射材料409和第二反射材料410结合。补偿器408利于减少按顺序穿过补偿器408、第一材料409和光导407的组合到达用户眼睛406的可见光的失真。第一反射材料409利于来自场景403的光402反射到光导407的主体中。对于作为IR光的光402，第一材料409允许可见光在两个方向上穿过材料409。当光朝向图像传感器412沿光导407的主体行进时，第二反射材料410利于光沿光导407的主体并且在光导407的主体内反射。
图像传感器412将反射光波段404转变成捕获数据波段417的集合作为电子图像——合成图像418的部分。合成图像418反映仅捕获场景403的某些波段404；合成图像418包括基于仅捕获某些波段404的失真。合成图像418表示原始场景403的某个覆盖面积或者覆盖面积百分比。例如，在第一适眼距距离414处，场景403的第一百分比是在合成图像418中捕获到的。作为另一示例，在第二适眼距距离415处，场景403的第二百分比是在合成图像418中捕获到的。作为又一示例，在第三适眼距距离416处，场景403的第三百分比是在合成图像418中捕获到的等等。取决于包括刻面410的方面的系统400的一个或者多个方面，第一百分比可以小于、等于或者大于第二百分比和第三百分比。
一组可执行指令可以执行以识别合成图像418内的一个或者多个眼睛特征以利于眼睛跟踪。例如，根据实施例，可以识别眼睛瞳孔419的边缘。作为另一示例，根据实施例，可以识别眼睛靠近眼睑420的边缘。
图5是图示了根据一些实施例的具有一致方面的刻面的光导的示意图。图5图示了包括具有零度角502的光导501的系统500。为了便于说明，诸如，一个或者多个涂层和补偿器的元件(被省略，但是可以包括光导501以形成刻面光导组件。在图5中，光导501从光导501的第一端503到第二端504具有大体上一致的厚度505。作为示例，厚度505在0.5mm与4.0mm之间，诸如，1.5mm、2.0mm、2.5mm、3.0mm和3.5mm。光导501包括多个刻面512。每个刻面512都具有一个或者多个一致方面。例如，每个刻面512都具有相同的刻面角513和一致的刻面宽度。
刻面512将光流506从场景指向到光导501的主体514中。图像传感器129捕获内部反射光。内部反射光可以是IR光、紫外光等。基于光流506的图像取决于从光导501的第一表面的适眼距距离507。适眼距距离507可以是第一适眼距距离508、第二适眼距距离509、第三适眼距距离510等。例如，第一适眼距距离508为约10mm，第二适眼距距离509为约19mm，并且第三适眼距距离510为约28mm。根据一些实施方式，光导的组合器区域定位在用户眼睛的表面的至少25mm内。
在每个适眼距距离507处，原始场景的某个百分比都是由图像传感器129通过光流506的聚集511捕获到的。在图5所图示的配置中，在每个适眼距距离507处的百分比都是由于相邻的光流506之间的间隙或者空间515而小于百分之100的。间隙515表示来自场景的光，该光未被指向到成像传感器129上。非捕获的光穿过光导501，被散射或者丢失。例如，在第二适眼距距离509处的覆盖率在2.0mm的光导厚度505下为约百分之36。鉴于与要捕获的场景相关的紧急情况，根据调整一个或者多个方面，基于图5的刻面光导组件500的其它捕获百分比是可能的。
例如，图6图示了根据一些实施例的具有非一致方面的刻面的另一系统600，该系统600。系统600包括光导601，该光导601沿组合器区域具有零度角602，如从光导601的表面所测量的。为了便于说明，诸如，一个或者多个涂层和补偿器的元件被省略，但是可以包括光导601以形成刻面光导组件。在图6中，光导601从光导601的第一端603到第二端604具有大体上一致的厚度605。作为示例，厚度605在0.5mm与4.0mm之间，诸如，1.5mm、2.0mm、2.5mm、3.0mm和3.5mm。光导601包括多个刻面612。每个刻面612都具有一个或者多个非一致方面。例如，每个刻面612都具有不同的刻面角和非一致的刻面宽度。在图6中，第一刻面613具有大于第二刻面614的第二刻面角的第一刻面角。
刻面612将光流606从场景指向到光导601的主体615中。图像传感器129捕获内部反射光。内部反射光可以是IR光、紫外光等。基于光流606的图像取决于从光导601的第一表面的适眼距距离607。适眼距距离607可以是第一适眼距距离608、第二适眼距距离609、第三适眼距距离610等。例如，第一适眼距距离608为约10mm，第二适眼距距离609为约19mm，并且第三适眼距距离610为约28mm。
在每个适眼距距离607处，原始场景的某个百分比都是由图像传感器129通过光流606的聚集611捕获到的。在图6所图示的配置中，在每个适眼距距离607处的百分比都由于相邻的光流606之间的间隙或者空间616而小于百分之100。间隙616表示来自场景的光，该光指向光导601，但是未被刻面612反射。例如，在第二适眼距距离609处的覆盖率在2.5mm的光导厚度605下为约百分之65。鉴于与要捕获的场景相关的紧急情况，根据调整系统600的一个或者多个方面，基于图6的系统600的其它捕获百分比是可能的。
图7图示了使用图5和图6的刻面光导的实施方式捕获的示例灰度图像。图像701、702和703用于与图5的系统500的实施例相对应的变型1。图像704、705和706用于与图6的系统600的实施例相对应的变型2。对变型1和2的总结如图13所示。
在图7中，第一图像701、第二图像702和第三图像703由图5的系统500捕获。光导501具有2.0mm的光导厚度505、大体上平行的刻面角和1.4mm的刻面间距。系统500在19mm的适眼距(ER)处生成约1.2mm的FOV间隙宽度。第一图像701图示了在10mm的ER处的百分之30的FOV覆盖范围。第二图像702图示了在19mm的ER处的百分之36的FOV覆盖范围。第三图像703图示了在28mm的ER处的百分之40的FOV覆盖范围。
第四图像704、第五图像705和第六图像706由图6的系统600捕获。光导601具有2.5mm的光导厚度605、大体上非平行的刻面角和1.4mm的刻面间距。系统600在19mm的ER处生成约0.45mm的FOV间隙宽度。第四图像704图示了在10mm的ER处的百分之44的FOV覆盖范围。第五图像705图示了在19mm的ER处的百分之65的FOV覆盖范围。第六图像706图示了在28mm的ER处的百分之89的FOV覆盖范围。
图8是图示了根据一些实施例的光导的示意图，该光导具有一致方面的刻面，以及其中，刻面在以非零角定向的组合器区域中。图8图示了包括具有非零角802的光导801系统800。为了便于说明，诸如，一个或者多个涂层和补偿器的元件被省略，但是可以包括光导801以形成刻面光导组件。在图8中，光导801具有沿第一端803的第一厚度805-1、沿组合器区域的大体上锥形的厚度、和沿第二端804的第二厚度805-2。作为示例，第一厚度805-1小于约0.5mm，并且第二厚度805-2具有大于第一厚度805-1的厚度，诸如，1.0mm、1.5mm、2.0mm、2.5mm、3.0mm、3.5mm、4.0mm、4.5mm、5.0mm、7.5mm和10.0mm。光导801包括多个刻面812。在图8中，每个刻面812都具有一个或者多个一致方面。例如，每个刻面812都具有相同的刻面角813。可替代地，每个刻面812都具有一致的刻面宽度。
刻面812将光流806从场景指向到光导801的主体814中。图像传感器129捕获内部反射光。内部反射光可以是IR光、紫外光等。基于光流806的图像取决于离光导801的第一表面的适眼距距离807。适眼距距离807可以是第一适眼距距离808、第二适眼距距离809、第三适眼距距离810等。例如，第一适眼距距离808为约10mm，第二适眼距距离809为约19mm，并且第三适眼距距离810为约28mm。
在每个适眼距距离807处，原始场景的某个百分比都是由图像传感器129通过光流806的聚集811捕获到的。在图8所图示的配置中，在每个适眼距距离807处的百分比都可能由于相邻的光流806之间的间隙或者空间815而等于或者小于百分之100。例如，光束的第二集合817包括光束之间的较宽间隙，而不是光束的第一集合816之间的间隙。间隙815表示来自场景的光，该光指向光导801，但是未被刻面812反射。非捕获光穿过光导801，被从系统800丢失或者散射。例如，在第二适眼距距离809处的覆盖率在3.5mm的第二光导厚度805-2下为约百分之63。鉴于与要捕获的场景相关的紧急情况，根据调整一个或者多个方面，基于图8的系统800的其它捕获百分比是可能的。
图9是图示了根据一些实施例的具有以非零角定向的非一致方面的刻面的光导的示意图。系统900包括具有刻面912的光导901，该刻面912位于组合器区域中，其中，组合器区域以非零角902定向。为了便于说明，诸如，一个或者多个涂层和补偿器的元件被省略，但是可以包括光导901以形成刻面光导组件。在图9中，光导901具有沿第一端903的第一厚度905-1、沿组合器区域的大体上锥形的厚度和沿第二端904的第二厚度905-2。作为示例，第一厚度905-1小于1.0mm或者小于0.5mm。作为另一示例，第二厚度905-2具有大于第一厚度905-2的厚度，诸如，1.0mm、1.5mm、2.0mm、2.5mm、3.0mm、3.5mm、4.0mm、4.5mm、5.0mm、7.5mm和10.0mm。光导901包括多个刻面912。每个刻面912都具有一个或者多个非一致方面。例如，每个刻面912都具有不同的刻面角和非一致的刻面宽度。在图9中，第一刻面913具有大于第二刻面916的第二刻面角的第一刻面角。
刻面912将光流906从场景指向到光导901的主体914中。图像传感器129捕获内部反射光。内部反射光可以是IR光、紫外光等。基于光流906的图像取决于离光导901的第一表面的适眼距距离907。适眼距距离907可以是第一适眼距距离908、第二适眼距距离909、第三适眼距距离910等。例如，第一适眼距距离908为约10mm，第二适眼距距离909为约19mm，并且第三适眼距距离910为约28mm。
在每个适眼距距离907处，原始场景的某个百分比都是由图像传感器129通过光流906的聚集911捕获到的。在图9所图示的配置中，在每个适眼距距离907处的百分比都由于相邻的光流906之间的间隙或者空间915而小于百分之100。间隙915表示来自场景的光，该光指向光导901，但是未被刻面915反射。例如，在第二适眼距距离909处的覆盖率在3.5mm的第二光导厚度905-2下为约百分之85。鉴于与要捕获的场景相关的紧急情况，根据调整系统900的一个或者多个方面，基于图9的系统900的其它捕获百分比是可能的。
图10图示了使用图8和图9的刻面光导组件800、900的实施方式捕获的示例灰度图像。图像1001、1002和1003用于与图8的刻面光导组件800相对应的变型3。图像1004、1005和1006用于与图9的刻面光导组件900相对应的变型5。对变型3和5的总结如图13所示。
在图10中，第一图像1001、第二图像1002和第三图像1003由图8的刻面光导组件800捕获。刻面光导组件800具有3.5mm的第二光导厚度805-2、大体上平行的刻面角和1.3mm的刻面间距。刻面光导组件800在19mm的适眼距(ER)处生成约0.8mm的FOV间隙宽度。第一图像1001图示了在10mm的ER处的百分之57的FOV覆盖范围。第二图像1002图示了在19mm的ER处的百分之63的FOV覆盖范围。第三图像1003图示了在28mm的ER处的百分之71的FOV覆盖范围。
第四图像1004、第五图像1005和第六图像1006由图9所示的刻面光导组件900捕获。刻面光导组件900具有3.5mm的第二光导厚度905-2、非平行的刻面角和1.3mm的刻面间距。刻面光导组件900在19mm的ER处生成约0.32mm的FOV间隙宽度。第四图像1004图示了在10mm的ER处的百分之68的FOV覆盖范围。第五图像1005图示了在19mm的ER处的百分之85的FOV覆盖范围。第六图像1006图示了在28mm的ER处的百分之96的FOV覆盖范围。
图11是图示了根据一些实施例的在一个元件中包括两个光导的光导组件的示意图。在图11中，元件具有一致方面的刻面，以及其中，刻面在以非零角定向的组合器区域中。为了便于说明，诸如，一个或者多个涂层和补偿器的元件在图11中被省略，但是可以包括在光导1101中。
在图11中，光导1101沿靠近第一图像传感器1108-1的第一端1103具有第一厚度1105-1。光导1101也沿靠近第二图像传感器1108-2的第二端1104具有第二厚度1105-2。光导1101沿光导1101的内部主体区域1114-1、1114-2将光左右指向相应的图像传感器1108-1、1108-2。
光导1101包括具有两个刻面1112的集合的中心段。刻面1112位于沿光导1101的顶表面的两个非零角组合器区域1102-1、1102-2。第一组合器区域1102-1和第二组合器区域1102-2向中心点1102-3倾斜相同角1102，从而允许刻面1112将反射光1106指向相应的图像传感器1108-1、1108-2。第一组合器1102-1是针对第一眼睛并且第二组合器区域1102-2是针对第二眼睛。在图11中，每个刻面1112都具有至少一个一致的属性，诸如，相同的刻面角1113。
眼睛(未图示)的前表面会在诸如，在第一ER距离1108、第二ER距离1109、第三ER距离1110等处的适眼距(ER)距离1107处，接触垂直位于图11的平面。作为示例，第一ER距离1108可以是10mm，第二ER距离1109可以是19mm，并且第三ER距离1110可以是28mm。根据一个实施例，由图像传感器1108-1、1108-2捕获的原始场景的每个百分比在第二ER距离1109处都是百分之100。
根据至少一个实施例，每个刻面1112的横向位置都被选择以最大化在远离光导1112的底表面的ER距离1107处每只眼睛的场景的FOV覆盖范围。刻面1112形成在光导1101的中心部的刻面范围1115内。第一组合器区域1102-1包括反射来自第一FOV 1111-1的光的刻面。第二组合器区域1102-2包括反射来自FOV 1111-2的光的刻面。根据至少一个实施例，调整刻面1112的特征可以导致重叠视场或者重叠FOV1111-3，其中，主题是由第一图像传感器1108-1和第二图像传感器1108-2两者捕获的。来自该重叠FOV 1111-3的信息可以用于提高识别眼睛的方面或者特征的准确性以用于眼睛跟踪的目的。
根据至少一个实施例，在中心点的光导1101的厚度小于约1.0mm并且可以小于0.5mm。第一厚度1105-1可以具有与第二厚度1105-2相同或者不同的值。作为示例，光导厚度1105-1、1105-2具有2.5mm的值。在其它示例中，光导厚度1105-1、1105-2具有1.0mm、1.5mm、2.0mm、2.5mm、3.0mm、3.5mm、4.0mm、4.5mm、5.0mm、7.5mm和10.0mm的值。基于光导厚度1105-1、1105-2和刻面1112的一个或者多个方面，FOV覆盖范围可以更改和调整到特定需要或者用途。
图12图示了使用图11的刻面光导组件的实施方式捕获的示例灰度图像。在图12中，光导厚度1105-1、1105-1为2.5mm。三个图像1201、1202和1203在三个适眼距(ER)距离：10mm ER、19mm ER和28mm ER中的每一个处由诸如第一图像传感器1108-1的第一图像传感器(图12中的“图像传感器1”)捕获。三个图像1204、1204和1204在三个适眼距(ER)距离：10mm ER、19mm ER和28mm ER中的每一个处由诸如第二图像传感器1108-2的第二图像传感器(图12中的“图像传感器2”)捕获。
图13图示了系统方面的示例值和本文所描述的用于眼睛跟踪的系统的视场(FOV)覆盖范围的相应值的表格。在图13中，根据眼睛跟踪系统的第一配置或者变型1301，光导厚度为2.0mm，刻面彼此平行，刻面间距为1.4mm，并且FOV间隙宽度在19mm的适眼距(ER)距离处为约1.2mm。对于第一变型1301，FOV覆盖范围在10mm ER处为百分之30，在19mm ER处为百分之36，并且在28mm ER处为百分之40。
根据眼睛跟踪系统的第二变型1302，光导厚度为2.5mm，刻面彼此非平行，刻面间距为1.4mm，并且FOV间隙宽度在19mm ER距离处为约0.45mm。对于第二变型1302，FOV覆盖范围在10mm ER处为百分之44，在19mm ER处为百分之65，并且在28mm ER处为百分之89。
根据眼睛跟踪系统的第三变型1303，光导厚度为3.5mm，刻面彼此平行，刻面间距为1.3mm，并且FOV间隙宽度在19mm ER距离处为约0.8mm。对于第三变型1303，FOV覆盖范围在10mm ER处为百分之57，在19mm ER处为百分之63，并且在28mm ER处为百分之71。
根据眼睛跟踪系统的第四变型1304，光导厚度为2.5mm，刻面彼此平行，刻面间距为1.4mm，并且FOV间隙宽度在19mm ER距离处为约1.0mm。对于第四变型1304，FOV覆盖范围在10mm ER处为百分之42，在19mm ER处为百分之47，并且在28mm ER处为百分之54。
在图13中，根据眼睛跟踪系统的第五变型1305，光导厚度为3.5mm，刻面彼此非平行，刻面间距为1.3mm，并且FOV间隙宽度在19mm ER距离处为约0.32mm。对于第五变型1305，FOV覆盖范围在10mm ER处为百分之68，在19mm ER处为百分之85，并且在28mm ER处为百分之96。
根据眼睛跟踪系统的第六变型1306，光导厚度为2.5mm，刻面彼此非平行，刻面间距为1.0mm，并且FOV间隙宽度在19mm ER距离处为约0.0mm。对于第六变型1306，FOV覆盖范围在10mm ER处为百分之86，在19mm ER处为百分之100，并且在28mm ER处为百分之100。
图14是根据一些实施例的使用刻面光导组件的眼睛跟踪的示例方法1400。在图14中，操作1401包括利用定向在光导的表面的图像传感器捕获来自或者基于形成在光导的表面中的刻面的集合中的刻面的图像，每个刻面表面都定位为与涂覆有IR光反射材料的补偿器的部分相邻。操作1402包括识别图像内的用户眼睛的特征。操作1403包括确定用户眼睛相对于显示面板的姿势，该显示面板安装超过光导并且朝向用户眼睛定向，该姿势是基于用户眼睛的所识别的特征来确定的。操作1404包括基于用户眼睛的姿势，诸如，在显示面板上的第一位置上提供显示内容。除了所描述的这些操作之外，一个或者多个其它操作还可以作为方法1400的部分执行。例如，方法可以包括在与捕获第一图像相同的时段期间利用定向在第二光导的第一表面的第二图像传感器来捕获第二图像。第二图像捕获来自第二用户眼睛的信息。
图15图示了根据至少一个实施例的包括用于眼睛跟踪的刻面光导组件的系统1500。在所描绘的示例中，系统1500包括显示子系统1502、渲染部件1504和一个或者多个眼睛跟踪部件，诸如，用于追踪左用户眼睛的第一眼睛跟踪部件1506和用于追踪右用户眼睛的第二眼睛跟踪部件1508中的一个或者两个。显示子系统1502包括安装在设备1514(例如，护目镜、眼镜、耳机、头戴式显示器(HMD))中的显示面板1510，该设备1514将显示器1510放置在左用户眼睛和右用户眼睛前面。
显示子系统1502包括跨越左视场1507的第一或者左刻面光导组件1503以及跨越右视场1509的第二或者右刻面光导组件1505。左刻面光导组件1503的左刻面朝向第一图像传感器1508-1在内部将从左眼反射的光指向到光导(没有编号)中。右刻面光导组件1505的右刻面朝向第二图像传感器1508-2在内部将从右眼反射的光指向到光导中。
还如图15所示，渲染部件104包括诸如所示的中央处理单元(CPU)1536和图形处理单元(GPU)1538、1540的一个或者多个处理器和诸如系统存储器1542的用于存储软件程序或者其它可执行指令的一个或者多个存储部件的集合，该软件程序或者其它可执行指令由处理器1536、1538、1540访问和执行以操纵处理器1536、1538、1540中的一个或者多个来执行本文所描述的各种任务。例如，这种软件程序包括渲染程序1544和眼睛跟踪程序1546，该渲染程序1544包括用于将内容提供至显示器1510的可执行指令，该眼睛跟踪程序1546包括用于眼睛跟踪过程的可执行指令。
在操作中，渲染部件1504接收来自本地或者远程内容源1560的渲染信息或者显示内容1548，其中，渲染信息1548表示图形数据、视频数据或者表示作为要渲染的图像的主题并且显示在显示子系统1502的对象或者场景的其它数据。使用渲染信息1548将绘画指令发送至GPU 1538来执行渲染程序1544、CPU 1536。作为该渲染过程的部分，CPU 1536可以接收来自惯性管理单元(IMU)1554的姿势信息1550，从而姿势信息1550表示显示子系统1502的姿势并且控制一个或者多个光场帧的渲染以将来自姿势的对象或者场景的视点发射到显示面板1510上。
渲染部件1504进一步可以使用来自眼睛跟踪部件1506、1508中的一个或者两个的眼睛姿势信息来控制显示在显示面板1510上的内容或者与该内容交互。为了这个目的，眼睛跟踪部件1506、1508每个可以包括用于用IR光照亮眼睛的一个或者多个红外(IR)光源1512(例如，IR照明灯、IR灯、IR LED)。眼睛信息1556被从相应眼睛收集以从图像传感器1508-1、1508-2所捕获的诸如合成眼睛图像的一个或者多个捕获眼睛图像确定当前位置、当前定向或者两者(在本文中单独或者统一称为“姿势”)。各种眼睛跟踪设备和技术中的任何一种都可以被实现作为追踪用户的一只或者两只眼睛的眼睛跟踪部件1546、148。
在至少一个实施例中，近眼显示系统1500可以将眼睛姿势确定为过去眼睛姿势、当前眼睛姿势或者预测(未来)眼睛姿势或者它们的组合。具体地，对未来眼睛姿势的预测可以提供改进的性能或者响应时间，并且各种眼睛运动预测算法中的任何一种都可以实施为预测未来眼睛姿势。此外，在某些实例中，眼睛跟踪部件可以使用场景信息(例如，脸在要渲染的图像内的位置或者显著性启发法)作为预测用户眼睛的未来注视时的输入以用于眼睛姿势计算。因此，本文所使用的术语“眼睛姿势”可能指的是之前的、当前的或者预测的眼睛姿势或者它们的组合。
在一些实施例中，上述技术的某些方面可以由执行软件的处理系统的一个或者多个处理器实施。软件包括存储或者有形地体现在非暂时性计算机可读介质上的可执行指令一个或多个集合。软件可以包括指令和某些数据，该指令和该某些数据在被一个或者多个处理器执行时操纵一个或者多个处理器执行上述技术的一个或者多个方面。非暂时性计算机可读存储介质可以包括例如磁盘或者光盘存储装置、固态存储装置，诸如，闪存、缓存、随机存取存储器(RAM)或者一个或者多个其它非易失性存储装置等。存储在非暂时性计算机可读存储介质中的可执行指令可以是由一个或者多个处理器解释或者执行的源代码、汇编语言代码、对象代码或者其它指令格式。
计算机可读存储介质可以包括任何存储介质或者存储介质的组合，该存储介质在使用期间由计算机系统可访问以向计算机系统提供指令和/或数据。这种存储介质可以包括但不限于光介质(例如，光盘(CD)、数字多用光盘(DVD)、蓝光光盘)、磁介质(例如，软盘、磁带或者磁性硬盘驱动器)、易失性存储器(例如，随机存取存储器(RAM)或者缓存)、非易失性存储器(例如，只读存储器(ROM)或者闪存)、或者基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以体现为计算系统(例如，系统RAM或者ROM)，该计算系统固定附接到计算系统(例如，磁性硬盘驱动器)，可移动地附接到计算系统(例如，光盘或者基于通用串行总线(USB)的闪存)或者经由有线或者无线网络(例如，网络访问存储(NAS))耦合至计算机系统。
要注意，并不是所有在上面一般描述中描述的活动或者元素都是必须的，特定活动或者装置的一部分可能不是必须的，并且可以执行一个或者多个另外的活动，或者包括除了描述的元素之外的元素。此外，列出活动的顺序不一定是它们被执行的顺序。同样，已经参考特定实施例描述了概念。然而，本领域的普通技术人员要了解，在不脱离如下面权利要求中阐述的本公开的范围的情况下，可以进行各种修改和改变。因此，说明书和附图被认为是说明性的而非限制性的含义，并且旨在将所有这种修改包括在本公开的范围内。
本公开的各个实施例说明了减小适眼距距离的眼睛跟踪系统的实施方式。系统包括至少光导，光导具有在内部反射光并且用定位为与光导的一侧相邻的图像传感器捕获光的刻面。具有与光导的表面互补的表面的补偿器可以放置为与光导相邻。刻面光导组件包括光导、IR反射器和补偿器。
上面已经关于特定实施例描述了益处、其它优点和问题的解决方案。然而，益处、优点、问题的解决方案、以及可能导致任何益处、优点或者解决方案产生或者变得更加明显的任何(一个或多个)特征不可以被解释为任何或者所有权利要求的关键的、必需的或者必要的特征。此外，上面公开的特定实施例是仅说明性的，因为所公开的主题可以以对于受益于本文中的教导的本领域技术人员来说明显的、不同但等效的方式修改和实践。除了下面的权利要求描述的之外，本文所示的构造或者设计的细节不受任何限制。因此很明显，上面公开的特定实施例可以更改或者修改并且所有这种变化都被视为在所公开的主题的范围内。因此，本文中要求的保护如下面的权利要求所阐述的。

Claims (27)

1.一种眼睛跟踪系统，包括：
光导，所述光导被配置为被设置在用户眼睛与显示器之间，所述光导包括透明主体，所述透明主体具有：
第一表面、与所述第一表面相对的第二表面、以及在所述第一表面与所述第二表面之间的第三表面；
所述第一表面由大体上平面的表面组成；以及
所述第二表面包括组合器区域，所述组合器区域具有多个刻面，所述多个刻面沿相对于所述第一表面具有非零角的平面布置并且被配置为将在所述第一表面的对应区域上入射的光在内部通过所述主体朝向所述第三表面反射。
2.根据权利要求1所述的眼睛跟踪系统，进一步包括：
至少一个光源，所述至少一个光源用于照亮所述用户眼睛；以及
成像传感器，所述成像传感器面向所述第三表面并且被配置为捕获所述眼睛的像，所述像表示来自所述至少一个光源的光，所述光是从所述用户眼睛反射并且在所述光导的所述第一表面上入射的。
3.根据权利要求2所述的眼睛跟踪系统，进一步包括：
第一光反射涂层，所述第一光反射涂层在所述光导的所述第二表面的所述组合器区域上，所述第一涂层用于沿所述光导的所述主体朝向所述光导的端刻面将光从所述用户眼睛朝向所述成像传感器反射，并且所述第一涂层被配置为允许可见光穿过所述第一涂层。
4.根据权利要求1至3中任一项所述的眼睛跟踪系统，进一步包括：
透明补偿器，所述透明补偿器被定位为接近所述光导的所述第二表面，所述补偿器包括与所述光导的所述第二表面互补成形的第一表面。
5.根据权利要求1至4中任一项所述的眼睛跟踪系统，进一步包括：
红外(IR)光源，所述IR光源被定位为将IR光指向所述用户眼睛上，所述IR光由所述第二表面的所述多个刻面反射到所述光导的所述主体中。
6.根据权利要求1至5中任一项所述的眼睛跟踪系统，其中，所述组合器区域针对所述用户眼睛具有零光功率。
7.根据权利要求1至6中任一项所述的眼睛跟踪系统，其中，所述多个刻面每个都具有相同的刻面间距。
8.根据权利要求1至6中任一项所述的眼睛跟踪系统，其中，所述多个刻面中的第一刻面的第一刻面间距与所述多个刻面中的其它刻面的所述刻面间距不同。
9.根据权利要求1至8中任一项所述的眼睛跟踪系统，进一步包括：
第二反射涂层，所述第二反射涂层在所述光导的所述第二表面上的所述组合器区域之外的第二区域上，所述第二反射涂层被配置为反射IR光。
10.根据权利要求1至9中任一项所述的眼睛跟踪系统，其中，所述光导被配置为经由全内反射将在所述第一表面的至少一部分上入射的光重新指向所述第三表面。
11.根据权利要求1所述的眼睛跟踪系统，其中：
所述多个刻面中的每个刻面都包括刻面表面和刻面间距角，并且被配置为将在用户眼睛上入射的红外(IR)光的一部分反射到所述光导的所述主体中并且朝向所述光导的所述第三表面反射；以及
所述系统进一步包括：
第一光反射材料，所述第一光反射材料被设置为靠近所述光导的所述第二表面的所述组合器区，所述第一光反射材料被配置为沿所述光导的所述主体朝向所述多个刻面中的收集刻面将来自所述用户眼睛的红外(IR)光朝向所述第三表面反射，并且所述第一光反射材料被配置为允许可见光的至少一部分穿过所述第一光反射材料；
图像传感器，所述图像传感器朝向所述光导的所述收集刻面定向；
处理器，所述处理器耦合到所述图像传感器；以及
存储部件，所述存储部件耦合到所述处理器并且被配置为存储可执行指令，所述可执行指令包括：
用于操纵所述处理器经由所述光导的所述收集刻面捕获所述用户眼睛的图像的指令；以及
用于操纵所述处理器在所述图像中定位所述用户眼睛的元素的指令。
12.根据权利要求11所述的眼睛跟踪系统，进一步包括被定位为接近所述光导的所述第二表面的透明补偿器，所述透明补偿器包括朝向所述光导的所述第二表面定向的第一表面和远离所述用户定向的第二表面。
13.根据权利要求11或者12所述的眼睛跟踪系统，进一步包括红外(IR)光源，所述IR光源朝向所述用户眼睛定向。
14.根据权利要求11至13中任一项所述的眼睛跟踪系统，进一步包括：
显示面板，所述显示面板被定位超过所述光导的所述第二表面，所述显示面板朝向所述用户眼睛定向，所述显示面板被配置为向所述用户眼睛提供电子图像。
15.根据权利要求11至14中任一项所述的系统，其中，所述光导被定位为跨越所述用户眼睛的视场(FOV)，并且其中，所述图像传感器被放置在所述用户眼睛的所述FOV之外的位置。
16.根据权利要求15所述的系统，其中，所述多个刻面中的至少两个刻面被定位在所述用户眼睛的所述FOV内。
17.根据权利要求11至16中任一项所述的系统，其中，所述多个刻面中的第一刻面的第一刻面间距角是与所述多个刻面中的第二刻面的第二间距角相同的间距角。
18.根据权利要求11至17中任一项所述的系统，其中，所述多个刻面中的第一刻面的第一刻面表面在整个所述第一刻面上都是平面的。
19.根据权利要求11至18中任一项所述的系统，其中，所述多个刻面中的第一刻面的第一刻面表面从所述用户眼睛的所述FOV的第一侧延伸到所述用户眼睛的所述FOV的第二且相对的第二侧。
20.一种眼睛跟踪光学器件，包括：
光导，所述光导具有
主体，
第一表面，所述第一表面被配置为面向眼睛，
第二表面，所述第二表面与所述第一表面相对，
所述光导的第三表面，所述第三表面在所述第一表面与所述第二表面之间，以及
多个刻面，所述多个刻面形成在组合器区域上的所述第二表面中，每个刻面都具有以相对于所述第一表面的刻面角定向的刻面表面，所述刻面中的每个刻面被配置为将在用户眼睛上入射的光的一部分朝向所述光导的所述第三表面反射到所述光导的所述主体中；以及
第一红外(IR)光反射器，所述第一IR光反射器被定位为与所述多个刻面的所述刻面表面相邻。
21.根据权利要求20所述的眼睛跟踪光学器件，进一步包括：
第二IR光反射器，所述第二IR光反射器被定位为与所述组合器区域的所述多个刻面与所述第三表面之间的所述光导的所述第二表面相邻，所述第二IR光反射器用于将IR光反射到所述光导的所述主体中。
22.根据权利要求20或者21所述的眼睛跟踪光学器件，其中，所述第一IR光反射器是施加到所述多个刻面中的至少一个刻面上的所述光导的所述第二表面上的涂层。
23.在近眼显示系统中，一种方法包括：
提供光导，所述光导被设置在第一用户眼睛与所述近眼显示系统的显示器之间，所述光导包括：主体；第一表面，所述第一表面被设置为朝向所述第一用户眼睛；第二表面，所述第二表面具有第一多个刻面，每个刻面都以相应的间距角被定向，从而在内部将光反射到所述光导的所述主体中并且朝向被设置在所述第一表面与所述第二表面之间的第三表面反射；
经由面向所述光导的所述第三表面的成像传感器，从反射自所述第一眼睛并且在所述光导的所述第一表面上入射的光捕获所述第一眼睛的图像；以及
至少部分地基于所述第一眼睛的所捕获图像来确定所述第一用户眼睛的姿势。
24.根据权利要求23所述的方法，其中，所述图像是从由被安装为接近所述用户眼睛的红外(IR)光源所提供的IR光得到的。
25.根据权利要求23或者24所述的方法，进一步包括：
基于所述用户眼睛的所述姿势来渲染像用于显示在显示面板处。
26.根据权利要求23至25中任一项所述的方法，进一步包括：
利用被定向在第二光导的第四表面处的第二图像传感器从所述光导的所述第二表面的第二多个刻面捕获第二图像，所述第二多个刻面中的每个刻面在相应的间距角处，从而在内部将光反射到所述光导的所述主体中并且朝向被设置在所述第一表面与所述第二表面之间的所述第四表面反射；以及
在确定所述第一用户眼睛的所述姿势之前，基于所述第二图像修改所述第一用户眼睛的所述图像。
27.根据权利要求23至26中任一项所述的方法，进一步包括：
利用被定向在第二光导的第四表面处的第二图像传感器，经由所述光导的所述第二表面的第二多个刻面，从反射自所述第二眼睛并且在所述光导的所述第一表面上入射的光捕获第二用户眼睛的第二图像，所述第二多个刻面中的每个刻面在相应的间距角处，从而在内部将光反射到所述光导的所述主体中并且朝向被设置在所述第一表面与所述第二表面之间的所述第四表面反射；以及
至少部分地基于所述第二眼睛的所捕获图像确定所述第二用户眼睛的姿势。
CN201880033352.3A 2017-10-02 2018-07-13 使用具有刻面组合器的光导的眼睛跟踪 Pending CN110741309A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/722,661 2017-10-02
US15/722,661 US10627627B2 (en) 2017-10-02 2017-10-02 Eye tracking using light guide with faceted combiner
PCT/US2018/041925 WO2019070327A1 (en) 2017-10-02 2018-07-13 OCULAR TRACKING USING A LIGHT GUIDE HAVING A FACET COMBINATOR

Publications (1)

Publication Number Publication Date
CN110741309A true CN110741309A (zh) 2020-01-31

Family

ID=63042132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880033352.3A Pending CN110741309A (zh) 2017-10-02 2018-07-13 使用具有刻面组合器的光导的眼睛跟踪

Country Status (5)

Country Link
US (1) US10627627B2 (zh)
EP (1) EP3590004B1 (zh)
CN (1) CN110741309A (zh)
TW (1) TWI708962B (zh)
WO (1) WO2019070327A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106908951A (zh) * 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US10788677B2 (en) * 2017-10-03 2020-09-29 Facebook Technologies, Llc Fresnel assembly for light redirection in eye tracking systems
US10845594B1 (en) * 2017-12-21 2020-11-24 Facebook Technologies, Llc Prism based light redirection system for eye tracking systems
TWI646356B (zh) * 2018-01-05 2019-01-01 宏碁股份有限公司 頭戴式顯示器
US10747009B1 (en) * 2018-07-20 2020-08-18 Facebook Technologies, Llc Symmetrical facet Fresnel combiner
US11914141B1 (en) * 2018-08-23 2024-02-27 Apple Inc. Electronic device with protected light sources
US11022809B1 (en) 2019-02-11 2021-06-01 Facebook Technologies, Llc Display devices with wavelength-dependent reflectors for eye tracking
CN114450136A (zh) * 2019-07-30 2022-05-06 奇跃公司 用于眼睛跟踪的成角度分段热镜
US20210132384A1 (en) * 2019-11-06 2021-05-06 Facebook Technologies, Llc Tilted In-Field Light Sources
US11360311B2 (en) * 2020-01-05 2022-06-14 Htc Corporation Head mounted display device
US11108977B1 (en) * 2020-02-20 2021-08-31 Facebook Technologies, Llc Dual wavelength eye imaging
TWI792033B (zh) * 2020-08-10 2023-02-11 見臻科技股份有限公司 穿戴式眼動追蹤系統
US12023106B2 (en) 2020-10-12 2024-07-02 Johnson & Johnson Surgical Vision, Inc. Virtual reality 3D eye-inspection by combining images from position-tracked optical visualization modalities
US20220122239A1 (en) * 2020-10-21 2022-04-21 Johnson & Johnson Surgical Vision, Inc. Visualizing an organ using multiple imaging modalities combined and displayed in virtual reality
SE2051559A1 (en) * 2020-12-23 2022-06-24 Tobii Ab Head-mounted display and method of optimisation
US11928257B2 (en) 2021-02-17 2024-03-12 Samsung Electronics Co., Ltd. Method and electronic device for tracking eye

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671100B1 (en) * 1999-10-14 2003-12-30 Stratos Product Development Llc Virtual imaging system
CN102385096A (zh) * 2010-09-03 2012-03-21 精工爱普生株式会社 导光板以及具备该导光板的虚像显示装置
US20160357016A1 (en) * 2015-06-04 2016-12-08 Google Inc. Efficient thin curved eyepiece for see-through head wearable display

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8998414B2 (en) * 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
IL219907A (en) * 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US9459451B2 (en) * 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system
US9915823B1 (en) * 2014-05-06 2018-03-13 Google Llc Lightguide optical combiner for head wearable display
US9874744B2 (en) * 2014-06-25 2018-01-23 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
US10088685B1 (en) * 2015-10-19 2018-10-02 Meta Company Apparatuses, methods and systems for multiple focal distance display
AU2016359149B2 (en) 2015-11-25 2018-08-23 Google Llc Prism-based eye tracking
US10215986B2 (en) * 2016-05-16 2019-02-26 Microsoft Technology Licensing, Llc Wedges for light transformation
KR20180072356A (ko) * 2016-12-21 2018-06-29 삼성전자주식회사 백라이트 유닛 및 이를 포함하는 홀로그래픽 디스플레이 장치
US20190056600A1 (en) * 2016-12-31 2019-02-21 Lumus Ltd Eye tracker based on retinal imaging via light-guide optical element
KR102409393B1 (ko) * 2017-08-14 2022-06-15 삼성전자주식회사 도광판, 백라이트 유닛 및 이를 포함한 홀로그래픽 디스플레이 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671100B1 (en) * 1999-10-14 2003-12-30 Stratos Product Development Llc Virtual imaging system
CN102385096A (zh) * 2010-09-03 2012-03-21 精工爱普生株式会社 导光板以及具备该导光板的虚像显示装置
US20160357016A1 (en) * 2015-06-04 2016-12-08 Google Inc. Efficient thin curved eyepiece for see-through head wearable display

Also Published As

Publication number Publication date
US20190101757A1 (en) 2019-04-04
EP3590004B1 (en) 2024-05-22
TWI708962B (zh) 2020-11-01
TW201917446A (zh) 2019-05-01
EP3590004A1 (en) 2020-01-08
US10627627B2 (en) 2020-04-21
WO2019070327A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
CN110741309A (zh) 使用具有刻面组合器的光导的眼睛跟踪
CN109597201B (zh) 用于眼睛跟踪系统中的光重定向的菲涅耳组件
US11125993B2 (en) Optical hyperfocal reflective systems and methods, and augmented reality and/or virtual reality displays incorporating same
US10365492B2 (en) Systems, devices, and methods for beam combining in wearable heads-up displays
US20180113508A1 (en) Eye tracking system
CN111512213A (zh) 具有针孔镜的增强现实光学系统
US9456744B2 (en) Apparatus for eye tracking
US20180330652A1 (en) Near-eye display with extended effective eyebox via eye tracking
US20220011570A1 (en) Optic and Assembly for Reduced Reflections
US10521658B2 (en) Embedded eye tracker with dichroic mirror
US10598928B1 (en) Light redirection structures for eye tracking systems
US20160097930A1 (en) Microdisplay optical system having two microlens arrays
US10609364B2 (en) Pupil swim corrected lens for head mounted display
US11579451B1 (en) Prism based light redirection system for eye tracking systems
US10191287B2 (en) Optical element and display device
US20200041790A1 (en) Catadioptric freeform head mounted display
CN105829951A (zh) 影像投射装置、头戴式显示器
US11841510B1 (en) Scene camera
CN112346558A (zh) 眼睛跟踪系统
US10488921B1 (en) Pellicle beamsplitter for eye tracking
US12007559B2 (en) Multi-layered thin combiner
US20230393399A1 (en) Zonal lenses for a head-mounted display (hmd) device
US20230144296A1 (en) Fresnel lenses with reduced optical artifacts
US20240004190A1 (en) Eye Imaging System
US20240069347A1 (en) System and method using eye tracking illumination

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination