CN114761859A - 用于增强或虚拟现实显示系统的增强眼睛跟踪 - Google Patents

用于增强或虚拟现实显示系统的增强眼睛跟踪 Download PDF

Info

Publication number
CN114761859A
CN114761859A CN202080081999.0A CN202080081999A CN114761859A CN 114761859 A CN114761859 A CN 114761859A CN 202080081999 A CN202080081999 A CN 202080081999A CN 114761859 A CN114761859 A CN 114761859A
Authority
CN
China
Prior art keywords
light
eye
display system
pattern
light intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080081999.0A
Other languages
English (en)
Inventor
N·阿伯莱
E·契瓦拉兹
P·德戈尔
J·加梅特
G·科森迪
S·A·甘珀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN114761859A publication Critical patent/CN114761859A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0808Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more diffracting elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/101Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0927Systems for changing the beam intensity distribution, e.g. Gaussian to top-hat
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938Using specific optical elements
    • G02B27/0944Diffractive optical elements, e.g. gratings, holograms
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938Using specific optical elements
    • G02B27/0977Reflective elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0123Head-up displays characterised by optical features comprising devices increasing the field of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD

Abstract

本文描述了用于显示系统(诸如增强或虚拟现实显示系统)的增强眼睛跟踪的方法和显示系统。该显示系统可包括:光源,其被配置为输出光;以及可移动衍射光栅,其被配置为反射来自光源的光,反射光在用户的眼睛上形成光图案;多个光检测器,其检测从眼睛反射的光;以及一个或多个处理器。该显示系统改变衍射光栅的取向,使得从衍射光栅反射的光图案沿着在眼睛上的轴扫描。光强度图案经由光检测器获得,其中光强度图案表示光检测器信号,通过在眼睛上扫描光图案时检测从眼睛反射的光而获得该光检测器信号。由于光如何由眼睛的不同部分反射中的差异,不同的眼睛姿势提供不同的光强度图案,并且眼睛姿势是基于检测到的光强度图案来确定的。

Description

用于增强或虚拟现实显示系统的增强眼睛跟踪
优先权要求
本申请要求于2019年11月26日提交的题为“ENHANCED EYE TRACKING FORAUGMENTED OR VIRTUAL REALITY DISPLAY SYSTEMS(用于增强或虚拟现实显示系统的增强眼睛跟踪)”的美国专利临时申请62/940,785的优先权。
通过引用并入
本申请通过引用合并于2017年3月24日提交、于2017年9月28日公开为美国专利申请公开No.2017/0276948的美国申请No.15/469,369的整体内容。
技术领域
本公开涉及显示系统,并且更具体地涉及增强和虚拟现实显示系统。
背景技术
现代计算和显示技术已经有助于用于所谓的“虚拟现实”或“增强现实”体验的系统的开发,其中,数字再现的图像或其部分以其看起来是真实的或可以被感知为真实的方式呈现给用户。虚拟现实或者“VR”场景典型地涉及数字或者虚拟图像信息的呈现,而对于其他实际现实世界视觉输入不透明;增强现实或“AR”场景典型地涉及将数字或者虚拟图像信息呈现为对用户周围的实际世界的可视化的增强。混合现实或“MR”场景是一种类型的AR场景,一般涉及被集成到自然世界中并对该自然世界做出响应的虚拟对象。例如,MR场景可包括似乎被现实世界中的对象阻挡或以其他方式被感知为与该对象相互作用的AR图像内容。
参考图1,描绘了增强现实场景10。AR技术的用户看到以背景中的人、树、建筑和混凝土平台30为特征的现实世界公园般的设置20。用户还感知他/她“看到”“虚拟内容”,诸如站在现实世界平台30上的机器人雕像40及飞行的卡通式的化身角色50,其似乎是大黄蜂的化身。这些元素50、40是“虚拟的”,因为它们不存在于现实世界中。由于人类视觉感知系统是复杂的,因此产生利于在其他虚拟或现实世界影像元素中间的虚拟图像元素的舒适的、感觉自然的、丰富呈现的AR技术是具挑战性的。
本文所公开的系统和方法解决与显示技术有关的各种挑战,包括AR和VR技术。
发明内容
在一些实施例中,提供了一种被配置为向用户呈现虚拟内容的显示系统。所述显示系统包括:光源,其被配置为输出光;可移动反射器,其被配置为将所输出的光反射到所述用户的眼睛,以在所述眼睛上扫描由所述光形成的图案;多个光检测器,其被配置为检测在所述眼睛上扫描的光的反射;以及一个或多个处理器,其被配置为执行操作。所述操作包括使得调整所述可移动反射器的取向,以使得在所述眼睛上扫描所反射的光。经由所述光检测器获得相应的光强度图案,其中,光强度图案表示不同时间处的光检测器信号,并且在所述眼睛上扫描所反射的光期间获得所述光检测器信号。基于所述光强度图案,确定所述眼睛的眼睛姿势,所述眼睛姿势表示所述眼睛的取向。
在一些实施例中,提供了一种由一个或多个处理器的显示系统实现的方法。所述显示系统被配置为至少部分地基于用户的眼睛的眼睛姿势向所述用户呈现虚拟内容。所述方法包括调整被引导到所述眼睛上的光图案的位置,以使得所述光图案在所述眼睛上移动。获得多个光强度图案,所述光强度图案表示在不同时间的光检测器信号,在调整所述光图案的位置期间从相应的光检测器获得所述光检测器信号。基于所述光强度图案,确定所述眼睛的所述眼睛姿势,所述眼睛姿势表示所述眼睛的取向。
在一些实施例中,提供了非暂态计算机存储介质。所述非暂态计算机存储介质存储指令,所述指令在由一个或多个处理器的显示系统执行时,使得所述一个或多个处理器执行操作。所述操作包括调整被引导到所述眼睛上的光图案的位置,以使得所述光图案在所述眼睛上移动。获得多个光强度图案,所述光强度图案表示在不同时间的光检测器信号,在调整所述光图案的位置期间从相应的光检测器获得所述光检测器信号。基于所述光强度图案,确定所述眼睛的所述眼睛姿势,所述眼睛姿势表示所述眼睛的取向。
在一些实施例中,提供了一种被配置为向用户呈现虚拟内容的显示系统。所述显示系统包括:光源,其被配置为输出光;可移动反射器,其被配置为将所输出的光反射到所述用户的眼睛,以在所述眼睛上扫描由所述光形成的图案;多个光检测器,其被配置为检测在所述眼睛上扫描的光的反射;以及一个或多个处理器,其被配置为执行操作。所述操作包括经由所述光检测器获得相应的光强度图案,其中,光强度图案表示在不同时间的光检测器信号,在所述眼睛上扫描所反射的光期间获得所述光检测器信号。基于所述光强度图案,确定所述眼睛的生理特征的大小和位置中的一者或两者。
下面提供了实施例的附加示例。
示例1.一种被配置为向用户呈现虚拟内容的显示系统,所述显示系统包括:
光源,其被配置为输出光;
可移动反射器,其被配置为将所输出的光反射到所述用户的眼睛,以在所述眼睛上扫描由所述光形成的图案;
多个光检测器,其被配置为检测在所述眼睛上扫描的光的反射;以及
一个或多个处理器,其被配置为执行包括以下各项的操作:
使得调整所述可移动反射器的取向,以使得在所述眼睛上扫描所反射的光;
经由所述光检测器获得相应的光强度图案,其中,光强度图案表示在不同时间的光检测器信号,在所述眼睛上扫描所反射的光期间获得所述光检测器信号;以及
基于所述光强度图案,确定所述眼睛的眼睛姿势,所述眼睛姿势表示所述眼睛的取向。
示例2.根据示例1所述的显示系统,其中,所述光源是二极管。
示例3.根据示例2所述的显示系统,其中,所述二极管是垂直腔面发射激光器。
示例4.根据示例1所述的显示系统,其中,所述可移动反射器包括衍射光栅,其中,所述衍射光栅被配置为将来自所述光源的入射光束转换成包括跨越所述眼睛的区域的多个光线的光图案。
示例5.根据示例1所述的显示系统,其中,所述可移动反射器包括衍射光栅,其中,所述衍射光栅被配置为将来自所述光源的入射光束转换成包括多个光束的光图案。
示例6.根据示例1所述的显示系统,其中,所述可移动反射器包括多个衍射光栅,每个衍射光栅被配置为形成用于在所述眼睛上扫描的不同光图案。
示例7.根据示例1所述的显示系统,其中,所述可移动反射器是微机电系统(MEMS)反射镜。
示例8.根据示例1所述的显示系统,其中,所述光检测器是光电二极管,并且其中,每个光强度图案表示电流相对与所述可移动反射器的位置相关联的位置信息的图。
示例9.根据示例8所述的显示系统,其中,所述衍射光栅位于MEMS反射镜上或构成其一部分,并且其中,所述位置信息指示所述MEMS反射镜的取向,所述MEMS能够由所述显示系统调整。
示例10.根据示例1所述的显示系统,其中,所述光源是被配置为将光输出到所述可移动反射器的两个光源中的一个,其中,所述光源中的每一个被配置为形成所述光图案的相应部分。
示例11.根据示例1所述的显示系统,其中,所述光检测器是光电二极管,并且其中,每个光强度图案表示电流相对时间的图。
示例12.根据示例1所述的显示系统,其中,所述光图案定义从所述眼睛的下部延伸到所述眼睛的上部的V形。
示例13.根据示例1所述的显示系统,其中,形成所述光图案的所述光包括多色光。
示例14.根据示例13所述的显示系统,其中,所述光图案包括在不同方向上延伸的两个部分。
示例15.根据示例14所述的显示系统,其中,所述两个部分中的每一个由不同颜色的光形成。
示例16.根据示例14所述的显示系统,其中,所述两个部分被配置为跨所述眼睛的垂直轴延伸,其中,所述两个部分沿着水平轴在相反的方向上延伸以形成V形。
示例17.根据示例1所述的显示系统,其中,所述光图案包括多个连续的光行。
示例18.根据示例17所述的显示系统,其中,不同的光行包括具有不同发散量的光束。
示例19.根据示例18所述的显示系统,其中,光行包括会聚光束,其中,所述光行中的另一个光行包括准直光束。
示例20.根据示例18所述的显示系统,其中,光行包括发散光束。
示例21.根据示例17所述的显示系统,其中,所述光行定义相对于所述眼睛的水平轴小于90°的角度。
示例22.根据示例1所述的显示系统,其中,所述光检测器的位置定义关于所述眼睛的矩形的角部。
示例23.根据示例1所述的显示系统,其中,所述光检测器定义光检测器的线性阵列。
示例24.根据示例1所述的显示系统,其中,所述操作还包括:使得在所述眼睛的第一部分与所述眼睛的第二部分之间的轴上连续扫描所述光图案。
示例25.根据示例24所述的显示系统,其中,所述轴是所述眼睛的水平轴,以使得所述第一部分是所述眼睛的最左侧部分或最右侧部分,并且所述第二部分是所述眼睛的所述最左侧部分或所述最右侧部分中的另一个。
示例26.根据示例1所述的显示系统,其中,确定所述眼睛姿势包括:
经由计算所述光强度图案的前向来传递应用机器学习模型,其中,所述机器学习模型的输出指示眼睛姿势。
示例27.根据示例1所述的显示系统,其中,确定所述眼睛姿势包括:
访问标识存储的光强度图案的信息,所述存储的光强度图案与相应的眼睛姿势相关联;
将所获得的光强度图案与所述存储的光强度图案进行比较;以及基于所述比较来识别所述眼睛姿势。
示例28.根据示例26所述的显示系统,其中,所述光检测器是光电二极管,其中,将所获得的光强度图案与所述存储的光强度图案进行比较是基于比较电流的峰值和/或谷值的位置,并且其中,所述位置指示所述光学图案在所述眼睛上的位置。
示例29.根据示例1所述的显示系统,其中,所述操作还包括:
确定所述用户的瞳孔间距;
基于所确定的瞳孔间距,确定在所述眼睛上扫描所述光图案的扫描距离;以及
在所述眼睛上以所述扫描距离扫描所述光图案。
示例30.根据示例1所述的显示系统,其中,所述操作还包括基于所述光强度图案,检测所述眼睛的虹膜和瞳孔中的一者或两者。
示例31.根据示例30所述的显示系统,其中,检测所述眼睛的所述虹膜和所述瞳孔中的一者或两者包括:确定所述眼睛的所述虹膜和所述瞳孔中的一者或两者的大小。
示例32.根据示例30所述的显示系统,其中,检测所述眼睛的所述虹膜和所述瞳孔中的一者或两者包括:确定所述眼睛的所述虹膜和所述瞳孔中的一者或两者的位置。
示例33.根据示例1所述的显示系统,其中,所述操作还包括:确定所述眼睛的扫视速度。
示例34.根据示例1所述的显示系统,还包括:波导,其包括耦出光学元件,所述耦出光学元件被配置为将光输出到所述用户的眼睛以形成所述虚拟内容。
示例35.根据示例29所述的显示系统,其中,所述波导是波导堆叠中的一个波导,其中,所述堆叠中的一些波导具有耦出光学元件,所述耦出光学元件被配置为输出波长发散量与所述堆叠中的其他波导的耦出光学元件不同的光,其中,所述不同的波前发散量对应于不同的深度平面。
示例36.一种由一个或多个处理器的显示系统实现的方法,所述显示系统被配置为至少部分地基于用户的眼睛的眼睛姿势,向所述用户呈现虚拟内容,其中,所述方法包括:
调整被引导到所述眼睛上的光图案的位置,以使得所述光图案在所述眼睛上移动;
获得多个光强度图案,所述光强度图案表示在不同时间的光检测器信号,在调整所述光图案的位置期间从相应的光检测器获得所述光检测器信号;以及
基于所述光强度图案,确定所述眼睛的所述眼睛姿势,所述眼睛姿势表示所述眼睛的取向。
示例37.根据示例36所述的方法,其中,调整所述光图案的所述位置包括:移动可移动镜,以使得所述光图案沿着轴从所述眼睛的第一部分移动到所述眼睛的第二部分。
示例38.根据示例37所述的方法,其中,所述可移动反射器包括衍射光栅,其中,所述衍射光栅被配置为将来自所述光源的入射光束转换成包括多个光束的光图案。
示例39.根据示例37所述的方法,其中,移动所述可移动反射器包括旋转所述衍射光栅所位于的微机电系统(MEMS)反射镜。
示例40.根据示例37所述的方法,其中,所述第一部分表示所述虹膜的末端,并且所述第二部分表示沿着所述轴的所述虹膜的相对末端。
示例41.根据示例37所述的方法,其中,所述轴是水平轴。
示例42.根据示例36所述的方法,其中,所述光图案沿着垂直轴从所述眼睛的下部延伸到所述眼睛的上部。
示例43.根据示例42所述的方法,其中,所述光图案包括两个部分,每个部分沿着垂直轴延伸,并且其中,所述两个部分沿着水平方向在相反的方向上延伸以形成V形。
示例44.根据示例36所述的方法,其中,确定眼睛姿势包括:
经由计算所述光强度图案的前向传递来应用机器学习模型,其中,所述机器学习模型的输出指示眼睛姿势。
示例45.根据示例36所述的方法,其中,确定眼睛姿势包括:
访问标识存储的光强度图案的信息,所述存储的光强度图案与相应的眼睛姿势相关联;
将所获得的光强度图案与所述存储的光强度图案进行比较;以及
基于所述比较来识别所述眼睛姿势。
示例46.根据示例45所述的方法,其中,将所获得的光强度图案与所述存储的光强度图案进行比较是基于比较所述光强度图案中的峰值和/或谷值的位置。
示例47.一种存储指令的非暂态计算机存储介质,所述指令在由一个或多个处理器的显示系统执行时使得所述一个或多个处理器执行包括以下各项的操作:
调整被引导到用户眼睛上的光图案的位置,以使得所述光图案在所述眼睛上移动;
获得多个光强度图案,所述光强度图案表示在不同时间的光检测器信号,在调整所述光图案的位置期间从相应的光检测器获得所述光检测器信号;以及
基于所述光强度图案,确定所述眼睛的所述眼睛姿势,所述眼睛姿势表示所述眼睛的取向。
示例48.根据示例47所述的计算机存储介质,其中,所述操作还包括:
使得经由具有衍射光栅的反射器将所述光图案投射到所述眼睛。
示例49.根据示例48所述的计算机存储介质,其中,所述衍射光栅的所述取向被调整为使得所述光图案从所述眼睛的第一部分移动到所述眼睛的第二部分。
示例50.根据示例49所述的计算机存储介质,其中,所述第一部分表示所述虹膜的末端,并且所述第二部分表示所述虹膜的相对末端。
示例51.根据示例47所述的计算机存储介质,其中,所述光图案沿着垂直轴从所述眼睛的下部延伸到所述眼睛的上部。
示例52.根据示例51所述的计算机存储介质,其中,所述光部分包括两个部分,每个部分沿着垂直轴在所述眼睛上延伸,并且其中,所述两个部分沿着水平轴在相反的方向上延伸。
示例53.根据示例47所述的计算机存储介质,其中,调整所述衍射光栅的取向包括:控制所述衍射光栅所位于的微机电系统(MEMS)反射镜的旋转。
示例54.根据示例47所述的计算机存储介质,其中,确定眼睛姿势包括:
经由计算所述光强度图案的前向传递来应用机器学习模型,其中,所述机器学习模型的输出指示眼睛姿势。
示例55.根据示例47所述的计算机存储介质,其中,确定眼睛姿势包括:
访问标识存储的光强度图案的信息,所述存储的光强度图案与相应的眼睛姿势相关联;
将所获得的光强度图案与所述存储的光强度图案进行比较;以及
基于所述比较来识别所述眼睛姿势。
示例56.根据示例55所述的计算机存储介质,其中,将所述获得的光强度图案与所述存储的光强度图案进行比较是基于比较峰值和/或谷值的位置。
示例57.一种被配置为向用户呈现虚拟内容的显示系统,所述显示系统包括:
光源,其被配置为输出光;
可移动反射器,其被配置为将所输出的光反射到所述用户的眼睛,以在所述眼睛上扫描由所述光形成的图案;
多个光检测器,其被配置为检测在所述眼睛上扫描的光的反射;以及
一个或多个处理器,其被配置为执行包括以下各项的操作:
经由所述光检测器获得相应的光强度图案,其中,光强度图案表示在不同时间的光检测器信号,在所述眼睛上扫描所反射的光期间获得所述光检测器信号;以及
基于所述光强度图案,确定所述眼睛的生理特征的大小和位置中的一者或两者。
示例58.根据示例57所述的显示系统,其中,所述生理特征是所述眼睛的瞳孔。
示例59.根据示例58所述的显示系统,其中,所述操作还包括:
基于所述光强度图案,确定所述眼睛的虹膜与瞳孔之间的第一界面。
示例60.根据示例59所述的显示系统,其中,确定所述第一界面是基于所述光强度图案中的峰值和/或谷值的位置。
示例61.根据示例59所述的显示系统,其中,所述操作还包括:
基于所述光强度图案,确定所述眼睛的虹膜与瞳孔之间的第二界面。
示例62.根据示例61所述的显示系统,其中,所述瞳孔的大小是基于所述第一界面和所述第二界面来确定的。
示例63.根据示例61所述的显示系统,其中,所述生理特征是所述瞳孔,并且其中,所述瞳孔的所述位置基于所述瞳孔的中心来确定的,所述中心是基于所述第一界面和所述第二界面来识别的。
示例64.根据示例57所述的显示系统,其中,所述生理特征是所述眼睛的虹膜与瞳孔之间的界面,并且其中,所述显示系统确定所述界面的位置。
示例65.一种由一个或多个处理器的显示系统实现的方法,所述显示系统被配置为至少部分地基于用户的眼睛的眼睛姿势,向所述用户呈现虚拟内容,其中,所述方法包括:
调整被引导到所述眼睛上的光图案的位置,以使得所述光图案在所述眼睛上移动;
获得多个光强度图案,所述光强度图案表示在不同时间的光检测器信号,在调整所述光图案的位置期间从相应的光检测器获得所述光检测器信号;以及
基于所述光强度图案,确定所述眼睛的生理特征的大小和/或位置。
示例66.根据示例65所述的方法,其中,所述生理特征是所述眼睛的瞳孔。
示例67.根据示例66所述的方法,还包括:
基于所述光强度图案,确定所述眼睛的虹膜与瞳孔之间的第一界面。
示例68.根据示例67所述的方法,其中,确定所述第一界面是基于所述光强度图案中的峰值和/或谷值的位置。
示例69.根据示例68所述的方法,还包括:
基于所述光强度图案,确定所述眼睛的虹膜与瞳孔之间的第二界面。
示例70.根据示例69所述的方法,其中,所述生理特征是所述瞳孔,并且其中,所述瞳孔的大小是基于所述第一界面和所述第二界面。
示例71.根据示例69所述的方法,其中,所述生理特征是所述瞳孔,并且其中,所述瞳孔的所述位置基于所述瞳孔的中心,所述中心是基于所述第一界面和所述第二界面来识别的。
示例72.根据示例65所述的方法,其中,所述生理特征是所述眼睛的虹膜与瞳孔之间的界面,并且其中,所述显示系统确定所述界面的位置。
示例73.一种存储指令的非暂态计算机存储介质,所述指令在由一个或多个处理器的显示系统执行时使得所述一个或多个处理器执行包括以下各项的操作:
调整被引导到用户眼睛上的光图案的位置,以使得所述光图案在所述眼睛上移动;
获得多个光强度图案,所述光强度图案表示在不同时间的光检测器信号,在调整所述光图案的位置期间从相应的光检测器获得所述光检测器信号;以及
基于所述光强度图案,确定所述眼睛的生理特征的大小和/或位置。
示例74.根据示例73所述的计算机存储介质,其中,所述操作还包括:
基于所述光强度图案,确定所述眼睛的虹膜与瞳孔之间的第一界面。
示例75.根据示例74所述的计算机存储介质,其中,确定所述界面是基于所述光强度图案中的峰值和/或谷值的位置。
示例76.根据示例74所述的计算机存储介质,其中,所述操作还包括:
基于所述光强度图案,确定所述眼睛的虹膜与瞳孔之间的第二界面。
示例77.根据示例76所述的计算机存储介质,其中,所述生理特征是所述瞳孔,并且其中,所述瞳孔的大小是基于所述第一界面和所述第二界面来确定的。
示例78.根据示例76所述的计算机存储介质,其中,所述生理特征是所述瞳孔,并且其中,所述瞳孔的所述位置是基于所述瞳孔的中心,所述中心是基于所述第一界面和所述第二界面来识别的。
示例79.根据示例73所述的计算机存储介质,其中,所述生理特征是所述眼睛的虹膜与瞳孔之间的界面,并且其中,所述显示系统确定所述界面的位置。
示例80.一种被配置为向用户呈现虚拟内容的显示系统,所述显示系统包括:
光源,其被配置为输出光;
可移动反射器,其被配置为将所输出的光反射到所述用户的眼睛,以在所述眼睛上扫描由所述光形成的图案;
多个光检测器,其被配置为检测在所述眼睛上扫描的光的反射;以及
一个或多个处理器,其被配置为执行包括以下各项的操作:
经由所述光检测器获得相应的光强度图案,其中,光强度图案表示在不同时间的光检测器信号,在所述眼睛上扫描所反射的光期间获得所述光检测器信号;以及
基于所述光强度图案,确定所述眼睛的旋转速度。
示例81.根据示例80所述的显示系统,其中,确定所述眼睛的所述旋转速度包括:确定所述眼睛的扫视速度。
示例82.根据示例81所述的显示系统,其中,所述操作还包括:基于所述扫视速度,预测所述眼睛的姿势。
示例83.一种由一个或多个处理器的显示系统实现的方法,所述显示系统被配置为至少部分地基于用户的眼睛的眼睛姿势,向所述用户呈现虚拟内容,其中,所述方法包括:
调整被引导到所述眼睛上的光图案的位置,以使得所述光图案在所述眼睛上移动;
获得多个光强度图案,所述光强度图案表示在不同时间的光检测器信号,在调整所述光图案的位置期间从相应的光检测器获得所述光检测器信号;以及
基于所述光强度图案,确定所述眼睛的旋转速度。
示例84.一种存储指令的非暂态计算机存储介质,所述指令在由一个或多个处理器的显示系统执行时使得所述一个或多个处理器执行包括以下各项的操作:
调整被引导到用户眼睛上的光图案的位置,以使得所述光图案在所述眼睛上移动;
获得多个光强度图案,所述光强度图案表示在不同时间的光检测器信号,在调整所述光图案的位置期间从相应的光检测器获得所述光检测器信号;以及
基于所述光强度图案,确定所述眼睛的旋转速度。
附图说明
图1示出了用户通过AR设备观看的增强现实(AR)场景的视图。
图2示出了用于为用户模拟三维影像的传统显示系统。
图3A至图3C示出了曲率半径与焦半径之间的关系。
图4A示出了人类视觉系统的调节-辐辏反应的表示。
图4B示出了用户的一对眼睛的不同的调节状态和辐辏状态的示例。
图4C示出了用户经由显示系统观看内容的俯视图的表示的示例。
图4D示出了用户经由显示系统观看内容的俯视图的表示的另一示例。
图5示出了用于通过修改波前发散来模拟三维影像的方法的各方面。
图6示出了用于向用户输出图像信息的波导堆叠的示例。
图7示出了由波导输出的出射光束的示例。
图8示出了堆叠波导组件的示例,其中每个深度平面包括使用多种不同分量颜色形成的图像。
图9A示出了各自包括耦入光学元件的堆叠波导组的示例的横截面侧视图。
图9B示出了图9A的多个堆叠波导的示例的透视图。
图9C示出了图9A和图9B的多个堆叠波导的示例的俯视平面图。
图9D示出了可穿戴显示系统的示例。
图10A示出了用于确定用户的眼睛姿势的系统和技术的平面图。
图10B示出了与用光图案扫描用户眼睛相关联的示例反射光强度图案。
图11示出了用于确定眼睛姿势的显示系统内的光检测器的示例定位。
图12示出了用于确定用户眼睛的眼睛姿势的过程的示例流程图。
图13A至图13C示出了光图案被投射到用户眼睛并在用户眼睛上被扫描的示例。
图14A至图14C示出了光图案被投射到用户眼睛上并在用户眼睛上扫描的另一示例,其中用户眼睛处于与图13A至图13C中所示的眼睛不同的姿势。
图15示出了用于在用户眼睛上扫描的光图案的示例。
图16示出了用于在用户眼睛上扫描的光图案的另一示例。
图17A至图17C示出了使用两个光源用于生成用于确定用户的眼睛姿势的光图案。
图18A示出了用于确定与眼睛相关联的生理信息的过程的示例流程图。
图18B-D示出了确定与一个或多个生理特征相关联的大小和/或位置信息的示例。
具体实施方式
AR和/或VR系统可以向用户或观看者显示虚拟内容。例如,该内容可以被显示在头戴式显示器上,例如,作为眼镜的一部分,其将图像信息投射到用户的眼睛。另外,在系统是AR系统的情况下,显示器还可以将来自周围环境的光透射到用户的眼睛,以允许查看该周围环境。如本文所使用的,将理解到,“头戴式”或“可头戴式”显示器是可以安装在观看者或用户的头部上的显示器。这样的显示器可以被理解为形成显示系统的一部分。
为了提供视觉上逼真的虚拟内容,显示系统准确地跟踪(例如,监测)用户的眼睛是有利的。例如,关于每只眼睛的取向(在本文中被称为眼睛姿势)的准确确定可以增强所呈现的虚拟内容的真实感。实际上,虚拟场景(例如,图1所示的增强现实场景10)可以由显示系统基于用户的眼睛被分配为用于场景的“渲染相机”来渲染。例如,可以将用户眼睛的中心分配为渲染相机。因此,虚拟场景内的虚拟内容的位置可以与用户眼睛的中心连同他们眼睛的注视方向和辐辏有关。随着用户移动他/她的眼睛,例如观看虚拟内容或现实世界内容,显示系统可以相应地调整虚拟内容。因此,用于跟踪用户眼睛的增强技术可以基本上增强这样的显示系统的功能并为用户提供更好的观看体验。
跟踪用户的眼睛可包括确定辐辏、注视方向、用户眼球的相应中心等。这些确定中的至少一些可以基于对用户眼睛的相应眼睛姿势的识别来实现。例如,基于眼睛的取向,显示系统可以确定从眼睛延伸的轴(例如,光轴和/或视轴)。该轴可以表示用户眼睛的注视方向。使用用于用户双眼的眼睛姿势,显示系统可以识别用户眼睛正接近的三维空间中的位置。
应当理解,注视方向跟踪可用于确定显示给用户的虚拟内容;例如,可以调整与现实世界相关的虚拟内容,以通过跟踪用户正在看的地方提供与现实世界的正确的对应关系。另外,在不同深度平面上提供虚拟内容的显示系统中,可以利用用户眼睛正接近的点来确定在其上显示虚拟内容的适当深度平面。
一些用于确定眼睛姿势的现有技术在跟踪速度方面受到了限制,使得可能约束对眼睛姿势的更新。这可能在更新待显示的内容时引起不期望的延迟或抖动。此外,用于确定眼睛姿势的一些现有技术具有高功率要求。而且,一些现有技术要求硬件和/或光学结构,这不期望地增加了用于形成具有这样的硬件或系统的显示系统的制造过程的复杂性。
例如,眼睛跟踪系统利用相机和捕获图像的分析来确定眼睛姿势可能在跟踪速度方面受到不期望的限制,可能利用大量功率,并且可能要求复杂且精确的相机和光源布置。这样的基于相机的系统可以使用多个发光二极管(LED)来将光投射在用户的眼睛处。LED可以被定位在显示系统上,使得来自LED的光从用户眼睛的特定部分(例如,瞳孔)反射。可以将相机定位在显示系统上以对眼睛进行成像并确定反射光的位置。随着用户移动他/她的眼睛(例如,改变眼睛姿势),反射光的图像和位置可能类似地改变。基于对眼睛的捕获图像的分析,显示系统可以确定眼睛姿势。
上文所描述的示例技术可以允许用户的眼睛姿势的准确确定。然而,它们提出了某些技术挑战。例如,眼睛跟踪速度可能由相机能够捕获和处理图像的速率(例如,以60Hz的速率)限制。作为示例,对跟踪速度的约束可以限制可以依赖当前确定的眼睛姿势的程度。作为示例,在眼睛的某些快速运动(例如,扫视运动)期间,跟踪速度可能滞后于眼睛的运动,使得显示的内容可能不匹配,例如,用户眼睛的注视方向或辐辏。此外,对跟踪速度的限制可能引入某些视觉伪影。例如,当呈现虚拟内容时,可能引入抖动。抖动可能至少部分由所确定的眼睛姿势在显示虚拟内容时周期性地不准确而引起。
除了呈现虚拟内容中的上文所描述的挑战之外,用于姿势确定的现有基于相机成像的技术可能具有电气和机械挑战。关于电气约束,功耗可能很高。实际上,要求驱动多个光源并且要求相机(例如,红外相机)来捕获用户眼睛的图像。由于图像信息的复杂性,添加了要求分析每个图像的能力的处理方面。该功率要求是对呈现虚拟内容所需功率的补充。因此,使用这样的基于相机成像的技术的显示器的便携性和电池寿命可能不期望地低。关于机械约束,可能存在与定位LED和相机相关联的复杂性。例如,可能需要对准LED,使得它们将光投射到用户眼睛的某些位置。作为另一示例,可能需要对准相机,使得它获得LED中的所有或部分在用户眼睛的每个图像中可见的图像而不管眼睛姿势。
如本文所讨论的,各种实施例提供了用于跟踪用户眼睛的增强技术和系统并且有利地解决了上述技术问题中的一个或多个。例如,眼睛跟踪技术可以以极高的速度(例如,1kHz、10kHz等)进行跟踪。在一些实施例中,本文所描述的眼睛跟踪技术可以针对每只眼睛仅使用一个光源。例如,二极管(例如,垂直腔面发射激光二极管)或其他发光器件可用于一只或多只眼睛。与相机的要求相反,本文所描述的技术可以使用阈值数量的光检测器(例如,光电二极管、光电晶体管等)来检测反射的入射光的量并处理由该反射光提供的光强度信号而不是对眼睛进行成像。因此,功率要求可以是基本上更少的(例如,一个数量级或更少)。此外,与上文所描述的技术相比较,二极管和光检测器的定位可能基本上更简单,因为姿势检测是基于检测到的光强度随时间变化的模式,而不是对捕获图像中的反射光的精确位置的图像分析。
为了确定用于用户眼睛的眼睛姿势,本文所描述的技术可以在用户眼睛上扫描光,诸如特定的光图案。作为示例,可以投射光图案,使得它沿着水平轴(其可以理解为延伸通过用户的左眼和右眼的中心)在用户的眼睛上扫描(例如,扫掠)。在一些实施例中,光图案可包括形成在用户眼睛上面以小于90°角度垂直延伸的线的光线或多个光斑。例如,光图案可以从用户眼睛的下部垂直延伸到眼睛的上部。然后可以沿着水平轴移动该光图案,使得其扫描用户眼睛的宽度或其一部分。在一些其他实施例中,在用户眼睛上扫描光图案可以涉及在用户眼睛的高度上沿着垂直轴移动光图案。
如下文将描述的,可移动反射器(例如,微机电系统(MEMS)反射镜)可用于使得扫描光图案。在一些实施例中,可移动反射器可以具有衍射光栅。来自光源的光可以被引导到衍射光栅(也被称为衍射光栅),使得创建特定的光图案。可移动反射器然后可以关于一个或多个轴移动(旋转),使得在用户的眼睛上扫描光图案,如上文所描述的。在一些实施例中,可移动反射器可以关于单个轴移动。例如,在一些这样的实施例中,可移动反射器可以是一维MEMS反射镜,并且所采用的光图案可以在至少一个其他维度上空间变化。
在一些实施例中,光图案可以是“V”图案。这样的光图案的示例在图10A至图10B中示出并且在本文中更详细地描述。该示例图案可包括各自从用户眼睛的下部沿着垂直轴延伸到上部的两个部分。然而,每个部分可以在用户眼睛的不同水平部分延伸。例如,每个部分可以是从同一下部在相反水平方向上延伸的成角度的线(例如,光图案的两个部分可以形成“V”)。
作为另一示例,光图案的第一部分可以在用户的眼睛上水平扫描,并且然后光图案的第二部分也可以在用户的眼睛上水平扫描。在一些实施例中,第一部分和第二部分可以是“V”图案的两条腿。例如,第一部分可以是“V”形的右腿,使得上端在眼睛上引导第一部分的下端(在本文中被称为“α”部分)。光图案的第二部分(“V”的左腿)可以类似地在用户的眼睛上水平扫描,使得下端引导第二部分的上端(在本文中被称为“β”部分)。应当理解,第一部分和第二部分在不同方向上延伸。在一些实施例中,“V”形可以被倒置以呈现“Λ”形状。
应当理解,可以使用其他光图案并且落入本文公开的范围内。在一些实施例中,反射器可以具有多个衍射光栅,这些衍射光栅取决于来自光源的光入射的衍射光栅提供不同的光图案。
用户的眼睛可以反射由可移动反射器在其上引导的光图案。为了确定眼睛姿势,显示系统可以使用光检测器来测量与反射相关联的信息(例如,入射到光检测器上的光的强度)。作为示例,显示系统可以使用光电二极管将接收到的光转换成相应的电流。这些光电二极管可以优选地在显示系统上相对于眼睛的不同位置处。图11示出了光电二极管的示例取向。当在眼睛上扫描光图案时,位于不同位置的每个光电二极管接收来自眼睛的不同反射光,并将不同的接收光转换成不同的图案或电流相对时间的图。为了便于参考,由光检测器在不同时间点检测到的反射光的强度,当光图案在眼睛上扫描时,在本文中被称为光强度图案。在一些实施例中,光强度图案可以对应于由扫描期间不同时间点或不同位置处的电流定义或导出的图案,其中反射光由将光转换为电流的光传感器(例如,光电二极管)检测。在一些实施例中,显示系统中的光检测器中的一个或多个中的每一个可以被电耦合以生成指示入射在相应光的检测器上的光的强度的电压。在这些实施例的至少一些中,一个或多个光电二极管、光电晶体管和/或光敏电阻可以用作显示系统中的光检测器。
因此,对于在用户眼睛上对光图案的每次扫描,可能存在大量的产生的光强度图案,由不同的光检测器检测每个图案。如本文所讨论的,显示系统可以使用这些光强度图案来确定用于用户眼睛的眼睛姿势。应当理解,用户眼睛的不同部分可能使得光被不同地反射(由于眼睛形状的非对称性和/或眼睛的不同部分的组成的差异)。因此,对于用户眼睛的给定取向,从不同光检测器获得的产生的光强度图案的集合可能是基本上唯一的;也就是说,给定的眼睛姿势可以具有由光强度图案集合定义的唯一“签名”集。使用阈值数量的这些光强度图案,显示系统可以通过确定与光强度图案相关联的眼睛姿势来确定眼睛姿势。
在一些实施例中,光强度图案可包括具有不同特性的光,以便在每次穿过眼睛时有效地提供多个不同的、差异化的信号。例如,图案的光可包括多个光行,每个光行具有例如不同的波长或不同的偏振。在一些实施例中,每个光行可以包括多个光束,例如,由会聚光束形成的光行、由准直光束形成的光行、和/或由发散光束形成的光行。
为了确定眼睛姿势,在一些实施例中,显示系统可以访问可用于使光强度图案与眼睛姿势相关的存储信息。例如,机器学习模型可用于基于光强度图案的输入来确定眼睛姿势。可选地,存储的信息可以表示已知与某些眼睛姿势相关联的光强度图案。在一些实施例中,显示系统可以基于分析光强度图案来确定眼睛姿势。例如,显示系统可以使用如在光强度图案中表示的峰、谷、曲率等来确定眼睛姿势。在该示例中,显示系统可以在不同的光强度图案之间进行关联以确定眼睛姿势。
因此,各种实施例提供了改进并解决了与显示系统中的眼睛跟踪或眼睛姿势确定相关联的技术挑战。如上文所描述的,本文所描述的技术可以允许技术效率。例如,可以增加确定眼睛姿势的频率或速率。当使用显示系统时,该增加的频率可以允许改进的视觉保真度、逼真感和观看舒适度。此外,可以降低功率要求和机械对准复杂性。
有利地,应当理解,光强度图案包含可用于其他目的的附加信息。例如,如本文所讨论的,眼睛的不同部分(例如,巩膜、虹膜和瞳孔)具有不同的反射率,这提供了不同水平的反射光强度。这些不同的反射倾向性可用于确定眼睛的生理特征(例如,虹膜和/或瞳孔)的位置和/或大小。另外,在一些实施例中,显示系统可以确定眼睛运动的速度,例如,扫视的速度,这对于预测扫视之后的眼睛的位置可能是有用的。在一些实施例中,该预测可以用作对检测到的眼睛姿势的检查。
现在将对附图进行参考,其中相似附图标记自始至终指代相似部件。除非另有明确说明,否则附图是示意性的并且不必按比例绘制。
示例显示系统
图2示出了用于为用户模拟三维影像的传统显示系统。应当理解,用户的眼睛相互隔开,并且当观看空间中的真实对象时,每只眼睛具有略微不同的对象视图,并且可能在每只眼睛的视网膜上的不同位置处形成对象的图像。这可被称为双眼像差,并且可被人类视觉系统用于提供深度感。传统显示系统通过呈现具有同一虚拟对象的略微不同的视图的两个有区别的图像190、200来模拟双眼像差,其中,每个眼睛210、220一个图像,这些图像对应于每只眼睛在所需深度处将虚拟对象看作真实对象的虚拟对象视图。这些图像提供双眼线索,用户的视觉系统可以解释这些线索以推断深度感。
继续参考图2,图像190、200沿z轴与眼睛210、220相隔距离230。z轴平行于眼睛注视在观看者的正前面的光学无限远处的对象的观看者的光轴。图像190、200是平坦的,并且位于距眼睛210、220的固定距离处。基于分别呈现给眼睛210、220的图像中的略微不同的虚拟对象视图,眼睛可以自然地转动,以使得对象的图像落在每只眼睛视网膜上的对应点上,从而保持单一的双眼视觉。该转动可以使每只眼睛210、220的视线会聚到虚拟对象被感知呈现的空间中的点上。因此,提供三维影像通常涉及提供双眼线索,这些线索可以操纵用户的眼睛210、220的辐辏,并且人类视觉系统解释这些线索以提供深度感。
然而,产生逼真和舒适的深度感是具有挑战性的。应当理解,来自相对于眼睛的不同距离处的对象的光具有不同发散量的波前。图3A至图3C示出了距离和光线发散之间的关系。对象与眼睛210之间的距离按照距离递减的次序由R1、R2和R3表示。如图3A至图3C所示,随着到对象的距离减小,光线变得更加发散。相反,随着距离的增加,光线变得更加准直。换句话说,将认为由点(对象或对象的一部分)产生的光场具有球面波前曲率,其是该点距用户眼睛的距离的函数。随着对象与眼睛210之间的距离减小,曲率增加。尽管为了在图3A至图3C和本文中的其它图中清楚地说明而仅示出单只眼睛210,但是有关眼睛210的讨论可以被应用于观看者的双眼210和220。
继续参考图3A至图3C,来自观看者眼睛所注视的对象的光可以具有不同程度的波前发散。由于波前发散量不同,光可以由眼睛晶状体进行不同的聚焦,这反过来可能需要晶状体呈现不同的形状以在眼睛视网膜上形成聚焦图像。在视网膜上没有形成聚焦图像的情况下,所产生的视网膜模糊充当调节线索,该调节引起眼睛晶状体形状的改变,直到在视网膜上形成聚焦图像。例如,调节线索可以触发眼睛的晶状体周围的睫状肌松弛或收缩,从而调节施加到保持晶状体的悬韧带的力,从而使眼睛晶状体的形状改变,直到消除或最小化注视的对象的视网膜模糊,从而在眼睛的视网膜(例如,中央凹)上形成注视的对象的聚焦图像。眼睛晶状体改变形状的过程可被称为调节,并且在眼睛视网膜(例如,中央凹)上形成注视对象的聚焦图像所需的眼睛晶状体形状可被称为调节状态。
现在参考图4A,示出了人类视觉系统的调节-辐辏响应的表示。眼睛移动以注视对象导致眼睛接收来自对象的光,其中,光在眼睛的每个视网膜上形成图像。在视网膜上形成的图像中存在视网膜模糊可以提供调节线索,并且图像在视网膜上的相对位置可以提供辐辏线索。调节线索导致调节的发生,从而使得眼睛晶状体各自呈现特定调节状态,该状态在眼睛的视网膜(例如,中央凹)上形成对象的聚焦图像。另一方面,辐辏线索导致辐辏运动(眼睛旋转)发生,以使得在每只眼睛的每个视网膜上形成的图像处于保持单一的双眼视觉的对应视网膜点处。在这些位置,可以认为眼睛已经呈现特定辐辏状态。继续参考图4A,调节可以被理解为眼睛实现特定调节状态的过程,并且辐辏可以被理解为眼睛实现特定辐辏状态的过程。如图4A所示,如果用户注视另一对象,则眼睛的调节和辐辏状态可能发生改变。例如,如果用户注视z轴上的不同深度处的新对象,则调节状态可能发生改变。
不受理论的限制,可以认为对象的观看者可能由于辐辏和调节的组合而将对象感知为“三维的”。如上所述,两只眼睛相对于彼此的辐辏运动(例如,使得瞳孔彼此靠近或远离彼此以使眼睛的视线会聚以注视对象的眼睛旋转)与眼睛晶状体的调节密切相关。在正常情况下,根据被称为“调节-辐辏反射”的关系,改变眼睛的晶状体的形状以将焦点从一个对象改变到不同距离处的另一对象将自动导致到同一距离的辐辏匹配变化。同样,在正常情况下,辐辏的变化将引发晶状体形状的匹配变化。
现在参考图4B,示出了眼睛的不同调节状态和辐辏状态的示例。一对眼睛222a注视光学无限远处的对象,而一对眼睛222b注视小于光学无限远处的对象221。值得注意的是,每对眼睛的辐辏状态是不同的,一对眼睛222a注视正前方,而一对眼睛222会聚在对象221上。形成每对眼睛222a和222b的眼睛的调节状态是也可以是不同的,如晶状体210a、220a的不同形状所表示的。
不期望地,传统“3-D”显示系统的许多用户发现这些传统系统并不舒适,或者根本不能感知到深度感,因为这些显示器中存在调节状态和辐辏状态之间的失配。如上所述,许多立体或“3-D”显示系统通过向每只眼睛提供略微不同的图像来显示场景。这样的系统对于许多观看者来说是不舒服的,因为其中一个因素是它们只提供不同的场景呈现并且引起眼睛辐辏状态的变化,而这些眼睛不会发生对应的调节状态变化。相反,图像由位于与眼睛相距固定距离处的显示器示出,以使得眼睛以单个调节状态查看所有图像信息。这种布置通过引起辐辏状态变化而没有匹配的调节状态变化,违背“调节-辐辏反射”关系起作用。可以认为这种失配导致观看者不适。提供调节和辐辏间的更好匹配的显示系统可以形成更逼真和舒适的三维图像模拟。
不受理论的限制,可以认为人眼通常可以解释有限数量的深度平面以提供深度感知。因此,可以通过向眼睛提供与这些有限数量的深度平面中的每一者对应的图像的不同呈现来实现高度可信的感知深度模拟。在一些实施例中,不同的呈现可以提供辐辏线索和匹配的调节线索,从而提供生理上正确的调节-辐辏匹配。
继续参考图4B,示出了两个深度平面240,这两个平面与空间中与眼睛210、220相距的不同距离相对应。对于给定的深度平面240,可以通过为每只眼睛210、220显示适当的不同视角的图像来提供辐辏线索。此外,对于给定深度平面240,形成提供给每只眼睛210、220的图像的光可以具有与由该深度平面240的该距离处的点产生的光场对应的波前发散。
在所示实施例中,包含点221的深度平面240沿z轴的距离是1m。如本文所使用的,可以利用位于用户眼睛的出射瞳孔处的零点来测量沿z轴的距离或深度。因此,位于1m深度处的深度平面240与在这些眼睛的视轴上与用户眼睛出射瞳孔相距1m的距离相对应,其中,眼睛指向光学无限远。作为近似,沿z轴的深度或距离可以被测量为:与用户眼睛前方的显示器(例如,从波导表面)相距的距离加上设备和用户眼睛出射瞳孔之间的距离值。该值可被称为出射瞳孔间隔,并且与用户眼睛出射瞳孔和用户眼睛前方的由用户穿戴的显示器之间的距离。在实践中,出射瞳孔间隔值可以是通常用于所有观看者的标准化值。例如,出射瞳孔间隔是20mm,则处于1m深度处的深度平面可以位于显示器前方980mm的距离处。
现在参考图4C和图4D,分别示出了匹配的调节-辐辏距离和失配的调节-辐辏距离的示例。如图4C所示,显示系统可以向每只眼睛210、220提供虚拟对象的图像。图像可以使眼睛210、220呈现辐辏状态,在该状态中眼睛会聚在深度平面240上的点15上。另外,图像可以由具有与深度平面240处的真实对象相对应的波前曲率的光形成。因此,眼睛210、220呈现调节状态,在该状态中图像聚焦在这些眼睛的视网膜上。因此,用户可以感知虚拟对象位于深度平面240上的点15处。
应当理解,眼睛210、220的调节状态和辐辏状态中的每一者都与z轴上的特定距离相关联。例如,距眼睛210、220特定距离处的对象使这些眼睛基于该对象的距离呈现特定的调节状态。与特定的调节状态相关联的距离可被称为调节距离Ad。类似地,存在与处于特定的辐辏状态的眼睛或彼此相对的位置相关联的特定的辐辏距离Vd。在调节距离和辐辏距离匹配的情况下,调节和辐辏之间的关系可被认为在生理上是正确的。对于观看者来说,这被认为是最舒适的情况。
然而,在立体显示器中,调节距离和辐辏距离可能并不总是匹配。例如,如图4D所示,显示给眼睛210、220的图像可以通过与深度平面240相对应的波前发散来显示,并且眼睛210、220可以呈现特定的调节状态,在该状态中聚焦于该深度平面上的点15a、15b。但是,显示给眼睛210、220的图像可能会提供辐辏线索,以使眼睛210、220会聚在未位于深度平面240上的点15上。因此,在一些实施例中,调节距离与从眼睛210、220的出射瞳孔到深度平面240的距离相对应,而辐辏距离与从眼睛210、220的出射瞳孔到点15的较大距离相对应。调节距离与辐辏距离不同。因此,存在调节-辐辏失配。这种失配被认为是不期望的并且可能引起用户的不舒服。应当理解,失配对应于距离(例如,Vd-Ad)并且可以使用屈光度来表征。
在一些实施例中,将理解可以使用眼睛210、220的出射瞳孔以外的参考点来确定用于确定调节-辐辏失配的距离,只要针对调节距离和辐辏距离使用相同的参考点即可。例如,可以测量从角膜到深度平面,从视网膜到深度平面,从目镜(例如,显示设备的波导)到深度平面等的距离。
不受理论的限制,可以认为在失配本身不引起明显不适的情况下,用户仍可将高达约0.25屈光度、高达约0.33屈光度和高达约0.5屈光度的调节-辐辏失配感知为是生理上正确的。在一些实施例中,本文公开的显示系统(例如,图6的显示系统250)向观看者呈现具有约0.5屈光度或更小的调节-辐辏失配的图像。在一些其它实施例中,由显示系统提供的图像的调节-辐辏失配为约0.33屈光度或更小。在另外一些实施例中,由显示系统提供的图像的调节-辐辏失配为约0.25屈光度或更小,包括约0.1屈光度或更小。
图5示出了用于通过修改波前发散来模拟三维图像的方法的各方面。该显示系统包括波导270,该波导270被配置为接收利用图像信息编码的光770,并将该光向用户眼睛210的输出。波导270可以输出具有限定量的波前发散的光650,该发散与由所需深度平面240上的点产生的光场的波前发散相对应。在一些实施例中,针对该深度平面上呈现的所有对象提供相同量的波前发散。另外,将示出的是可以向用户的另一只眼睛提供来自类似波导的图像信息。
在一些实施例中,单个波导可被配置为输出具有设定量的波前发散的光,该设定量的波前发散与单个深度平面或有限数量深度平面相对应,和/或波导可被配置为输出有限波长范围的光。因此,在一些实施例中,可以利用多个波导或波导堆叠来为不同的深度平面提供不同量的波前发散和/或输出具有不同波长范围的光。如本文所使用的,将理解到,深度平面可以是平面的或者可以遵循弯曲表面的轮廓。
图6示出了用于向用户输出图像信息的波导堆叠的示例。显示系统250包括波导的堆叠或堆叠的波导组件260,该波导组件可被用于使用多个波导270、280、290、300、310向眼睛/大脑提供三维感知。将理解,在一些实施例中,显示系统250可以被视为光场显示器。此外,波导组件260也可被称为目镜。
在一些实施例中,显示系统250可被配置为提供基本连续的辐辏线索和多个不连续的调节线索。可以通过向用户的每只眼睛显示不同的图像来提供辐辏线索,并且可以通过输出借助可选的离散量的波前发散形成图像的光来提供调节线索。换言之,显示系统250可被配置为输出具有可变波前发散水平的光。在一些实施例中,每个离散水平的波前发散对应于特定深度平面,并且可以由波导270、280、290、300、310中的特定一者提供。
继续参考图6,波导组件260还可以包括位于波导之间的多个特征320、330、340、350。在一些实施例中,特征320、330、340、350可以是一个或多个透镜。波导270、280、290、300、310和/或多个透镜320、330、340、350可被配置为以各种水平的波前曲率或光线发散度向眼睛发送图像信息。每个波导水平可以与特定深度平面相关联,并且可被配置为输出与该深度平面相对应的图像信息。图像注入装置360、370、380、390、400可被用作波导的光源,并且可被用于将图像信息注入波导270、280、290、300、310,如本文所述,每个波导可以被配置将入射光分布在每个相应的波导上以便朝着眼睛210输出。光从图像注入装置360、370、380、390、400的输出表面410、420、430、440、450射出,并且注入波导270、280、290、300、310的对应输入表面460、470、480、490、500中。在一些实施例中,输入表面460、470、480、490、500中的每一者可以是对应波导的边缘,或者可以是对应波导的主表面的一部分(即,直接面向世界510或观看者的眼睛210的波导表面中的一者)。在一些实施例中,可以将单个光束(例如准直光束)注入每个波导以输出整个克隆的准直光束场,这些准直光束以对应于与特定波导相关联的深度平面的特定角度(和发散量)引导向眼睛210。在一些实施例中,图像注入装置360、370、380、390、400的单一一者可以与波导270、280、290、300、310中的多个(三个)相关联并将光注入该多个波导中。
在一些实施例中,图像注入装置360、370、380、390、400是分立的显示器,每个显示器产生用于分别注入对应波导270、280、290、300、310的图像信息。在一些其它实施例中,图像注入装置360、370、380、390、400是单个多路复用显示器的输出端,这些显示器例如可以经由一个或多个光学导管(例如光纤电缆)将图像信息管道传输到图像注入装置360、370、380、390、400中的每一者。将理解,由图像注入装置360、370、380、390、400提供的图像信息可以包括不同波长或颜色(例如,本文所讨论的不同的分量颜色)的光。
在一些实施例中,注入到波导270、280、290、300、310中的光用图像信息编码并由光投射器系统1010提供,如本文进一步讨论的。在一些实施例中,光投射器系统1010可包括一个或多个发射像素阵列。应当理解,发射像素阵列可以各自包括多个发光像素,该发光像素可以被配置为发射不同强度和颜色的光。应当理解,图像注入装置360、370、380、390、400被示意性地示出,并且在一些实施例中,这些图像注入装置可以表示公共投射系统中的不同光学路径和位置,该公共投射系统被配置为将光输出到波导270、280、290、300、310中的关联的一者。在一些实施例中,波导组件260的波导可以充当理想的透镜,同时将注入波导中的光中继到用户眼睛。在该概念中,对象可以是光投射系统1010的像素阵列并且图像可以是深度平面上的图像。
控制器560控制堆叠波导组件260中的一者或多者的操作,其中包括图像注入装置360、370、380、390、400、光投射系统540的操作。在一些实施例中,控制器560是本地数据处理模块140的一部分。控制器560包括编程(例如,非暂时性介质中的指令),该编程根据例如本文公开的任何多种的方案调节图像信息到波导270、280、290、300、310的定时和提供。在一些实施例中,控制器可以是单个集成设备,或者是通过有线或无线通信信道连接的分布式系统。在一些实施例中,控制器560可以是处理模块140或150(图9D)的一部分。
继续参考图6,波导270、280、290、300、310可被配置为通过全内反射(TIR)在每个相应的波导内传播光。波导270、280、290、300、310可以各自是平面的或具有另一形状(例如,弯曲的),其具有顶部主表面和底部主表面以及在这些顶部主表面和底部主表面之间延伸的边缘。在所示的配置中,波导270、280、290、300、310可各自包括耦出光学元件570、580、590、600、610,这些耦出光学元件被配置为通过将在每个相应的波导内传播的光重定向到波导外部来从波导中提取光,从而向眼睛210输出图像信息。所提取的光也可被称为耦出光,并且耦出光学元件也可被称为光提取光学元件。在波导内传播的光照射光提取光学元件的位置处,可以由波导输出所提取的光束。耦出光学元件570、580、590、600、610例如可以是光栅,该光栅包括本文进一步所讨论的衍射光学特征。尽管为了便于描述和描绘清楚而示出了耦出光学元件570、580、590、600、610被设置在波导270、280、290、300、310的底部主表面处,但是在一些实施例中,如本文进一步所讨论的,耦出光学元件570、580、590、600、610可以被设置在顶部主表面和/或底部主表面,和/或可以被直接设置在波导270、280、290、300、310的体中。在一些实施例中,耦出光学元件570、580、590、600、610可以在附接到透明基板的材料层中形成,从而形成波导270、280、290、300、310。在一些其它实施例中,波导270、280、290、300、310可以是整块材料,并且耦出光学元件570、580、590、600、610可以形成在该块材料的表面上和/或内部。
继续参考图6,如本文所讨论的,每个波导270、280、290、300、310被配置为输出光以形成对应于特定深度平面的图像。例如,最靠近眼睛的波导270可被配置为将注入这样的波导270的准直光传递到眼睛210。该准直光可以代表光学无限远焦平面。下一上行波导280可被配置为发出在到达眼睛210之前传输通过第一透镜350(例如,负透镜)的准直光;这样的第一透镜350可被配置为产生微凸的波前曲率,以使得眼睛/大脑将来自该下一上行波导280的光解释为来自从光学无限远向内更靠近眼睛210的第一焦平面。类似地,第三上行波导290使其输出光在到达眼睛210之前传输通过第一透镜350和第二透镜340两者;第一透镜350和第二透镜340的组合光焦度可被配置为产生另一波前曲率增量,以使得眼睛/大脑将来自第三波导290的光解释为来自来自从光学无限远向内进一步更靠近人的第二焦平面,而不是来自下一上行波导280的光。
其它波导层300、310和透镜330、320被类似地配置,其中堆叠中的最高波导310通过其与眼睛之间的所有透镜发送其输出,以获得代表与人最接近的焦平面的总焦度。为了在观看/解释来自堆叠波导组件260的另一侧上的世界510的光时补偿透镜堆叠320、330、340、350,可以在堆叠的顶部设置补偿透镜层620以补偿下面的透镜堆叠320、330、340、350的总焦度。这种配置提供与可用的成对的波导/透镜一样多的感知焦平面。波导的耦出光学元件和透镜的聚焦方面都可以是静态的(即,不是动态的或电活性的)。在一些备选实施例中,通过使用电活性特征,波导的耦出光学元件和透镜的聚焦方面中的一者或两者可以是动态的。
在一些实施例中,波导270、280、290、300、310中的两者或更多者可具有相同的相关深度平面。例如,多个波导270、280、290、300、310可被配置为将图像集输出到相同的深度平面,或者波导270、280、290、300、310的多个子集可被配置为将图像集输出到相同的多个深度平面,每个深度平面一个集。这可以为形成平铺图像提供优势,以在那些深度平面处提供扩展视野。
继续参考图6,耦出光学元件570、580、590、600、610可被配置为既将光重定向到它们相应的波导之外,又针对与波导相关联的特定深度平面以适当的发散量或准直度输出该光。因此,具有不同相关深度平面的波导可以具有不同的耦出光学元件570、580、590、600、610的配置,这些配置根据关联的深度平面以不同的发散量输出光。在一些实施例中,耦出光学元件570、580、590、600、610可以是体特征或表面特征,其可被配置为以特定角度输出光。例如,耦出光学元件570、580、590、600、610可以是体全息、表面全息和/或衍射光栅。在一些实施例中,特征320、330、340、350可以不是透镜;相反,它们可以仅仅是间隔物(例如,包层和/或用于形成气隙的结构)。
在一些实施例中,耦出光学元件570、580、590、600、610是形成衍射图案的衍射特征,或“衍射光学元件”(在本文中也被称为“DOE”)。优选地,DOE具有足够低的衍射效率,以使得只有一部分光束借助DOE的每个交叉点向眼睛210偏转,而其余部分经由TIR继续通过波导。因此,携带图像信息的光被分成多个相关的出射光束,这些出射光束在多个位置处从波导出射,结果是针对在波导内四处弹跳的此特定准直光束,形成朝向眼睛210的相当均匀的出射图案。
在一些实施例中,一个或多个DOE可以在他们活跃地衍射的“接通”状态与不明显衍射的“关断”状态之间可切换。例如,可切换的DOE可以包括聚合物分散液晶层,其中,微滴在主体介质中包括衍射图案,并且微滴的折射率可以被切换为基本匹配主体材料的折射率(在这种情况下,图案不会明显地衍射入射光)或者微滴可以被切换到与主体介质的折射率失配的折射率(在这种情况下,图案活跃地衍射入射光)。
在一些实施例中,可提供相机组件630(例如,数码相机,包括可见光和红外光相机)以捕获眼睛210和/或眼睛210周围的组织的图像,以例如检测用户输入和/或监测用户的生理状态。如本文所使用的,相机可以是任何图像捕获设备。在一些实施例中,相机组件630可以包括图像捕获设备和光源,以将光(例如,红外光)投射到眼睛,然后光可以由眼睛反射并由图像捕获设备检测到。在一些实施例中,相机组件630可以被附接到框架80(图9D)并且可以与处理模块140和/或150电连通,处理模块140和/或150可以处理来自相机组件630的图像信息。在一些实施例中,可以针对每只眼睛可以使用一个相机组件630以分别监测每只眼睛。
现在参考图7,示出了由波导输出的出射光束的示例。示出了一个波导,但是应当理解,波导组件260(图6)中的其它波导可以发挥类似的作用,其中,波导组件260包括多个波导。光640在波导270的输入表面460处注入波导270中,并通过TIR在波导270内传播。在光640照射DOE 570上的点处,一部分光作为出射光束650从波导出射。出射光束650被示为基本上平行,但是如本文所讨论的,它们也可以被重定向为以一角度(例如,形成发散的出射光束)传播到眼睛210,该角度取决于与波导270相关联的深度平面。应当理解,基本上平行的出射光束可以指示具有耦出光学元件的波导,该耦出光学元件将光耦出以形成看起来设置在距离眼睛210较远距离(例如,光学无限远)处的深度平面上的图像。其它波导或耦出光学元件的其它集合可以输出更加发散的出射光束图案,这将需要眼睛210适应更近的距离以聚焦在视网膜上,并且这些光束图案可以被大脑解释为来自比光学无限远更靠近眼睛210的距离的光。
在一些实施例中,可以通过在每个分量颜色(例如,三种或更多种分量颜色)中的每一者中叠加图像来在每个深度平面处形成全色图像。图8示出了堆叠波导组件的示例,其中,每个深度平面包括使用多种不同分量颜色形成的图像。所示的实施例示出了深度平面240a至240f,但也可以构想更多或更少的深度。每个深度平面可以具有与其相关联的三种或更多种分量颜色图像,其中包括:第一颜色G的第一图像;第二颜色R的第二图像;以及第三颜色B的第三图像。不同的深度平面在图中通过字母G、R和B之后的不同屈光度(dpt)指示。仅作为示例,这些字母中的每个字母后面的数字表示屈光度(1/m),或该深度平面与观看者的距离的倒数,并且图中的每个框表示单独的分量彩色图像。在一些实施例中,为了考虑眼睛对不同波长的光的聚焦的差异,不同分量颜色的深度平面的精确放置可以变化。例如,给定深度平面的不同分量颜色图像可以被放置在与用户相距的不同距离相对应的深度平面上。这样的布置可以增加视敏度和用户舒适度,和/或可以减少色差。
在一些实施例中,每种分量颜色的光可以由单个专用波导输出,因此,每个深度平面可以具有与其相关联的多个波导。在这样的实施例中,图中包括字母G、R或B的每个框可以被理解为表示单独的波导,并且可以为每个深度平面提供三个波导,其中,为每个深度平面提供三个分量彩色图像。尽管为了便于描述,在此图中与每个深度平面相关联的波导被示出为彼此相邻,但是应当理解,在物理设备中,波导可以全部布置为每层具有一个波导的堆叠。在一些其它实施例中,多个分量颜色可以由相同的波导输出,以使得例如可以为每个深度平面仅提供单个波导。
继续参考图8,在一些实施例中,G是绿色,R是红色,B是蓝色。在一些其它实施例中,除了红色、绿色或蓝色之外,可以使用与其它波长的光相关联的其它颜色(包括品红色和青色),或者可以使用与其它波长的光相关联的其它颜色来替换红色、绿色或蓝色中的一种或多种。
应当理解,本公开通篇对给定颜色的光的引用将被理解为包括被观看者感知为具有该给定颜色的光波长范围内的一个或多个波长的光。例如,红光可以包括在约620nm至780nm范围内的一个或多个波长的光,绿光可以包括在约492nm至577nm范围内的一个或多个波长的光,蓝光可以包括一个或多个波长在约435nm至493nm的范围内。
在一些实施例中,光源530(图6)可被配置为发射观看者视觉感知范围之外的一个或多个波长(例如,红外和/或紫外波长)的光。此外,显示器250的波导的耦入、耦出和其它光重定向结构可被配置为将该光从显示器引导出并朝向用户的眼睛210发射,例如用于成像和/或用户刺激应用。
现在参考图9A,在一些实施例中,可能需要将照射在波导上的光重定向以将该光耦入到波导中。可以使用耦入光学元件将光重定向并且将光耦入到其对应的波导中。图9A示出了多个堆叠波导或堆叠波导组660的示例的横截面侧视图,其中,每个堆叠波导包括耦入光学元件。波导可被各自配置为输出一个或多个不同波长的光,或一个或多个不同波长范围的光。应当理解,堆叠660可以对应于堆叠260(图6),并且所示的堆叠660的波导可以与多个波导270、280、290、300、310的一部分相对应,除了来自图像注入装置360、370、380、390、400中的一者或多者的光从需要被重定向以耦入的位置被注入波导中之外。
所示的堆叠波导组660包括波导670、680和690。每个波导包括关联的耦入光学元件(其也可被称为波导上的光输入区域),例如,设置在波导670的主表面(例如,顶部主表面)上的耦入光学元件700、设置在波导680的主表面(例如,顶部主表面)上的耦入光学元件710,以及设置在波导690的主表面(例如,顶部主表面)上的耦入光学元件720。在一些实施例中,耦入光学元件700、710、720中的一者或多者可以设置在相应波导670、680、690的底部主表面上(特别是在一个或多个耦入光学元件是反射的偏转光学元件的情况下)。如图所示,耦入光学元件700、710、720可以设置在其相应波导670、680、690(或下一层波导的顶部)的顶部主表面上,特别是在这些耦入光学元件是透射的偏转光学元件的情况下。在一些实施例中,耦入光学元件700、710、720可以被设置在相应波导670、680、690的体中。在一些实施例中,如本文所讨论的,耦入光学元件700、710、720是波长选择性的,以使得它们选择性地重定向一个或多个波长的光,同时透射其它波长的光。尽管示出为在其相应波导670、680、690的一侧或角上,但是应当理解,在一些实施例中,耦入光学元件700、710、720可以被设置在其相应波导670、680、690的其它区域中。
如图所示,耦入光学元件700、710、720可以彼此横向偏移。在一些实施例中,每个耦入光学元件可以发生偏移,以使得该耦入元件接收光,而无需通过另一耦入光学元件。例如,每个耦入光学元件700、710、720可被配置为从不同的图像注入装置360、370、380、390和400接收光,如图6所示,并且可以与其它耦入光学元件700、710、720分开(例如,横向地间隔开),以使得该耦入光学元件基本上不接收来自耦入光学元件700、710、720中的其它光学元件的光。
每个波导还包括相关联的光分布元件,例如,设置在波导670的主表面(例如,顶部主表面)上的光分布元件730、设置在波导680的主表面(例如,顶部主表面)上的光分布元件740以及设置在波导690的主表面(例如,顶部主表面)上的光分布元件750。在一些其它实施例中,光分布元件730、740、750可以被分别设置在关联波导670、680、690的底部主表面上。在一些其它实施例中,光分布元件730、740、750可以被分别设置在关联波导670、680、690的顶部主表面和底部主表面上;或者,光分布元件730、740、750可以分别设置在不同的关联波导670、680、690中的顶部主表面和底部主表面中的不同主表面上。
波导670、680、690可以由例如气体、液体和/或固体材料层间隔开并分隔开。例如,如图所示,层760a可以隔开波导670和680;层760b可以隔开波导680和690。在一些实施例中,层760a和760b由低折射率材料(即,该材料的折射率低于形成波导670、680、690中的紧邻波导的材料)形成。优选地,形成层760a、760b的材料的折射率与形成波导670、680、690的材料的折射率相差0.05或更大,或者相差0.10或更小。有利地,低折射率层760a、760b可作为包层,其促进光通过波导670、680、690的全内反射(TIR)(例如,每个波导的顶部主表面与底部主表面之间的TIR)。在一些实施例中,层760a、760b由空气形成。尽管未示出,但应理解,所示的波导组660的顶部和底部可以包括紧邻的包层。
优选地,为了便于制造和出于其它考虑,形成波导670、680、690的材料相似或相同,并且形成层760a、760b的材料相似或相同。在一些实施例中,形成波导670、680、690的材料在一个或多个波导之间可以是不同的,和/或形成层760a、760b的材料可以是不同的,同时仍然保持上述各种折射率关系。
继续参考图9A,光线770、780、790入射在波导组660上。应当理解,光线770、780、790可以通过一个或多个图像注入装置360、370、380、390、400(图6)注入波导670、680、690中。
在一些实施例中,光线770、780、790旨在用于不同的波导(例如,被配置为输出具有不同波前发散量的光和/或被配置为输出具有不同特性(诸如不同波长或颜色)的光的波导)。因此,在一些实施例中,光线770、780、790可以具有不同的性质,例如,对应于不同的颜色的不同的波长或不同的波长范围。耦入光学元件700、710、720各自偏转入射光,以使得光通过TIR传播通过波导670、680、690中的相应一者。在一些实施例中,耦入光学元件700、710、720各自选择性地偏转一个或多个特定波长的光,同时将其它波长透射到下面的波导和关联的耦入光学元件。
例如,耦入光学元件700可被配置为偏转具有第一波长或波长范围的光线770,同时分别透射具有不同的第二波长或波长范围的光线780和第三波长或波长范围的光线790。透射光线780照射在耦入光学元件710上并被其偏转,该耦入光学元件710被配置为偏转第二波长或波长范围的光。光线790被耦入光学元件720偏转,该耦入光学元件720被配置为选择性地偏转第三波长或波长范围的光。
继续参考图9A,偏转的光线770、780、790被偏转为使得它们传播通过对应的波导670、680、690;也就是说,每个波导的耦入光学元件700、710、720将光偏转到该对应的波导670、680、690中,以将光耦入到该对应的波导中。光线770、780、790以一定角度偏转,该角度使光通过TIR传播通过相应的波导670、680、690。光线770、780、790通过TIR传播通过相应的波导670、680、690,直到照射到波导的对应的光分布元件730、740、750上。
现在参考图9B,示出了图9A的多个堆叠波导的示例的透视图。如上所述,耦入光线770、780、790分别被耦入光学元件700、710、720偏转,然后分别通过TIR在波导670、680、690内传播。然后,光线770、780、790分别照射在光分布元件730、740、750上。光分布元件730、740、750使光线770、780、790偏转,以使得它们分别朝向耦出光学元件800、810、820传播。
在一些实施例中,光分布元件730、740、750是正交光瞳扩展器(OPE)。在一些实施例中,OPE将光偏转或分布到耦出光学元件800、810、820,并且在一些实施例中,还可以在光向耦出光学元件传播时增加该光的光束或光斑尺寸。在一些实施例中,可以省略光分布元件730、740、750,并且可以将耦入光学元件700、710、720配置为将光直接偏转到耦出光学元件800、810、820。例如。参考图9A,光分布元件730、740、750可分别被耦出光学元件800、810、820代替。在一些实施例中,耦出光学元件800、810、820是出射光瞳(EP)或出射光瞳扩展器(EPE),其将光引导入观看者的眼睛210(图7)。应当理解,OPE可被配置为在至少一个轴上增加眼动范围(eye box)的尺寸,并且EPE可以在与OPE的轴相交(例如正交)的轴上增加眼动范围的尺寸。例如,每个OPE可被配置为将照射OPE的光的一部分重定向到同一波导的EPE,同时允许光的剩余部分继续沿波导传播。当再次照射OPE时,剩余光的另一部分被重定向到EPE,并且该部分的剩余部分继续沿波导进一步传播,以此类推。类似地,在照射EPE时,照射光的一部分被朝向用户导出波导,并且该光的剩余部分继续传播通过波导,直到它再次照射EP,此时照射光的另一部分被引导出波导,以此类推。因此,每当光的一部分被OPE或EPE重定向时,可以“复制”单束耦入光,从而形成克隆光束的场,如图6所示。在一些实施例中,OPE和/或EPE可被配置为修改光束的尺寸。
因此,参考图9A和9B,在一些实施例中,波导组660包括用于每种分量颜色的波导670、680、690;耦入光学元件700、710、720;光分布元件(例如,OPE)730、740、750;以及耦出光学元件(例如,EP)800、810、820。波导670、680、690可以堆叠有每个波导之间的气隙/包层。耦入光学元件700、710、720将入射光(其中,不同耦入光学元件接收不同波长的光)重定向或偏转到其波导中。然后光以一定角度传播,这将导致相应波导670、680、690内的TIR。在所示的示例中,光线770(例如,蓝光)以先前描述的方式被第一耦入光学元件700偏转,然后继续沿波导反弹,与光分布元件(例如,OPE)730和耦出光学元件(例如,EP)800相互作用。光线780和790(例如,分别为绿光和红光)将传播通过波导670,其中,光线780照射在耦入光学元件710上并被耦入光学元件710偏转。光线780然后经由TIR沿波导680反弹,继续传播到其光分布元件(例如,OPE)740,然后到达耦出光学元件(例如,EP)810。最后,光线790(例如,红光)传播通过波导690照射在波导690的耦入光学元件720上。耦入光学元件720偏转光线790,以使得该光线通过TIR传播到光分布元件(例如,OPE)750,然后通过TIR传播到耦出光学元件(例如,EP)820。然后,耦出光学元件820最终将光线790耦出到观看者,观看者还接收来自其它波导670、680的耦出光。
图9C示出了图9A和图9B的多个堆叠波导的示例的俯视平面图。如图所示,波导670、680、690以及每个波导的关联光分布元件730、740、750和关联耦出光学元件800、810、820可以垂直对齐。然而,如本文所讨论的,耦入光学元件700、710、720不是垂直对齐的;相反,耦入光学元件优选地是非重叠的(例如,如俯视图所示,横向地间隔开)。如本文进一步所讨论的,该非重叠的空间布置有助于将来自不同资源的光一对一地注入到不同波导中,从而允许特定光源唯一地耦合到特定波导。在一些实施例中,包括非重叠的空间分离的耦入光学元件的布置可被称为移位光瞳系统,并且这些布置内的耦入光学元件可以对应于子光瞳。
图9D示出了其中可以集成本文所公开的各种波导和相关系统的可穿戴显示系统60的示例。在一些实施例中,显示系统60是图6的系统250,图6更详细地示意性地示出了该系统60的一些部分。例如,图6的波导组件260可以是显示器70的一部分。
继续参考图9D,显示系统60包括显示器70,以及支持该显示器70的功能的各种机械和电子模块和系统。显示器70可以耦接到框架80,该框架可由显示系统用户或观看者90穿戴,并且被配置为将显示器70定位在用户90的眼前。在一些实施例中,显示器70可以被视为眼镜。在一些实施例中,扬声器100耦接到框架80并且被配置为定位在用户90的耳道附近(在一些实施例中,另一扬声器(未示出)可选择性地定位在用户的另一耳道附近以提供立体/可塑形的声音控制)。显示系统60还可以包括一个或多个麦克风110或其它检测声音的设备。在一些实施例中,麦克风被配置为允许用户向系统60提供输入或命令(例如,语音菜单命令的选择、自然语言问题等)和/或可以允许与其它人(例如,与类似显示系统的其他用户)进行音频通信。麦克风可被进一步配置为外围传感器以收集音频数据(例如,来自用户和/或环境的声音)。在一些实施例中,显示系统还可以包括外围传感器120a,其可以与框架80分离并且被附接到用户90的身体(例如,用户90的头部、躯干、四肢等上)。在一些实施例中,外围传感器120a可被配置为获取表征用户90的生理状态的数据。例如,传感器120a可以是电极。
继续参考图9D,显示器70通过通信链路130(诸如通过有线引线或无线连接)可操作地耦接到本地数据处理模块140,本地数据处理模块140可以以各种配置安装,例如固定地附接到框架80,固定地附接到用户戴的头盔或帽子,嵌入耳机中或以其它方式可移除地附接到用户90(例如,采取背包式配置,采取束带连接式配置)。类似地,传感器120a可以通过通信链路120b(例如通过有线引线或无线连接)可操作地耦接到本地处理和数据模块140。本地处理和数据模块140可以包括硬件处理器,以及数字存储器,诸如非易失性存储器(例如,闪存或硬盘驱动器),这两者都可用于辅助数据处理、缓存和存储。可选地,本地处理器和数据模块140可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、专用处理硬件等。这些数据包括a)通过传感器(例如,该传感器可被可操作地耦接到框架80或以其它方式附接到用户90)捕获的数据,这些传感器诸如图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电设备、陀螺仪和/或此处公开的其它传感器;和/或b)使用远程处理模块150和/或远程数据存储库160获取和/或处理的数据(包括有关虚拟内容的数据),这些数据可以在被执行完上述处理或检索之后传送到显示器70。本地处理和数据模块140可以通过通信链路170、180(诸如经由有线或无线通信链路)可操作地耦接到远程处理模块150和远程数据存储库160,以使得这些远程模块150、160可操作地彼此耦接,并且可用作本地处理和数据模块140的资源。在一些实施例中,本地处理和数据模块140可以包括图像捕获设备、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电设备和/或陀螺仪中的一者或多者。在一些其它实施例中,这些传感器中的一者或多者可以被附接到框架80,或者可以是通过有线或无线通信路径与本地处理和数据模块140通信的独立结构。
继续参考图9D,在一些实施例中,远程处理模块150可以包括被配置为分析和处理数据和/或图像信息的一个或多个处理器,例如,包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、专用处理硬件等。在一些实施例中,远程数据存储库160可以包括数字数据存储设施,该设施可以通过因特网或“云”资源配置中的其它网络配置获得。在一些实施例中,远程数据存储库160可以包括一个或多个远程服务器,这些服务器向本地处理和数据模块140和/或远程处理模块150提供信息,例如用于生成增强现实内容的信息。在一些实施例中,在本地处理和数据模块中存储所有数据并执行所有数据,允许从远程模块完全自主地使用。可选地,包括CPU、GPU等的外部系统(例如,一个或多个处理器、一个或多个计算机的系统)可以执行至少部分处理(例如,生成图像信息,处理数据),并且例如经由无线或有线连接将信息提供给模块140、150、160,以及从模块140、150、160接收信息。
增强眼睛姿势确定技术
本文所描述的显示系统(例如,显示系统60,图9D)可用于呈现增强或虚拟现实内容(在本文中称为虚拟内容)。为了呈现虚拟内容,显示系统可以监测用户眼睛的眼睛姿势。如本文所描述的,眼睛姿势可指示眼睛的取向,其可用于识别各种参数,诸如眼睛的特定轴(例如,光轴和/或视轴)。下面描述的是在一些实施例中可以被应用以增加可以确定眼睛姿势的速度的技术,同时附加地降低功率要求并且使能机械效率。
如上文所描述的,确定眼睛姿势可用于各种目的以改进与虚拟内容的呈现相关联的观看体验和功能。例如,眼睛姿势可以通知显示系统如何渲染虚拟内容。在该示例中,显示系统可以将渲染相机放置在用户眼球的相应中心,以提供虚拟内容的正确视图以呈现给用户。此外,显示系统可以使用快速的眼睛姿势确定来减少调节-辐辏失配。如图4A至图4D中所描述的,辐辏-调节失配可能存在于包括有限数量的深度平面的显示系统中。深度平面中的每一个可对应于距用户的特定深度范围。每个深度平面具有相关联的调节线索,并且可能存在与有限数量的深度平面相对应的可用调节线索。相反,可以经由调整虚拟内容的二分法呈现来更新辐辏线索。因此,在整个深度范围内的调节线索可能是相同的,而在整个该深度范围内可以调整辐辏线索。可以基于他们的眼睛正接近的数据平面来选择提供给用户的调节线索。通过提供不与眼睛的当前辐辏点(和平面)相对应的调节线索,滞后于眼睛的实际姿势的辐辏的确定可能不期望地引入调节-辐辏失配。通过实时准确地确定眼睛姿势,显示系统可以确定眼睛正接近的深度平面,从而允许显示系统为该深度平面提供调节线索,以将调节-辐辏失配保持在低水平处。
有利地,使用本文所描述的技术,与一些现有技术相比,可以以基本上更高的频率(例如,1kHz、10kHz等)确定眼睛姿势。此外,该确定可以使用比一些现有技术要求更少功率的部件来实现。例如,光(例如,红外或近红外光)可以从光源(例如,二极管,诸如VCSEL)引导到用户的眼睛上。在一些实施例中,光可以由具有衍射光栅的可移动反射器反射,其中衍射光栅提供光图案。在一些其他实施例中,可以在光源处形成光图案(例如,使用提供在光源的输出表面上的衍射光栅)。可移动反射器可以绕一个或多个轴旋转,使得反射光在用户的眼睛上扫描(例如,扫掠)。在一些实施例中,可以在用户眼睛的水平轴上扫描光,水平轴从一只眼睛的中心延伸到另一只眼睛的中心。如上文所提到的,在一些实施例中,可移动反射器可以绕单个轴旋转,使得在一个维度上在用户的眼睛上扫描(例如,扫掠)反射光。例如,在这些实施例中的至少一些实施例中,可移动反射器可以被配置和/或控制以使得反射光图案的位置在单个第一维度(例如,在用户眼睛的水平轴)上在时间上变化,而光图案本身在第二不同维度(例如,在用户眼睛的垂直轴)上展现出空间变化。还应当理解,在这些实施例中,可移动反射器可以不被配置为绕多于一个轴旋转,或者可移动反射器可以被配置为绕两个或两个以上轴旋转,但是以某种方式控制以便仅绕轴中的一个轴旋转。还应当理解,在这些实施例中,光图案本身可以在第一维度和第二维度上展现出空间变化。虽然本文所描述的特定轴是水平轴,但在一些其他实施例中,可以跨用户眼睛的垂直轴上扫描光。
在该扫描期间由眼睛反射的光可以通过关于显示系统定位的阈值数量的光检测器(例如,光电二极管)来测量。例如,可以测量反射光的光强度。当在眼睛上扫描光时,对应于在一段时间检测到的光强度的相对应的光强度图案可以被确定。在一些实施例中,光强度图案可以基于由每个光检测器生成的电流来形成。如本文所描述的,眼睛中的非均匀性可能导致对于不同眼睛姿势是唯一的光强度图案,并且因此可以基于对这些光强度图案的分析来确定眼睛姿势。例如,光强度图案可以与用于不同姿势的预期图案相匹配。
现在参考图10A,用于确定用户的眼睛姿势的系统和技术以平面图示出。在所示示例中,表示用户的眼睛1002A、1002B。用户可以是诸如显示系统60(图9D)的显示系统的用户,并且可能正在观看经由显示系统呈现的虚拟内容。因此,所示系统可以被理解为显示系统60的一部分。例如,光源1302、可移动反射器1006和光检测器1014可被附接到显示系统60的框架80。然而,为了便于说明和讨论,未示出框架80和显示系统60的剩余部分。另外,虽然示出了用于检测眼睛1002A的取向的系统,但是应当理解,可以为眼睛1002B提供类似的系统并且可以如本文针对眼睛1002A所讨论的那样确定眼睛1002B的取向。
为了确定眼睛1002A的眼睛姿势,眼睛照明系统1003可以被配置为将光1010引导到眼睛1002A上并且在眼睛1002A上扫描光1010。在一些实施例中,眼睛照明系统1003包括将光1004引导到可移动反射器1006上的光源1302,该可移动反射器1006将该光反射到眼睛1002A上。在一些实施例中,可移动反射器1006可以是微机电系统(MEMS)镜。如上文所提到的,在一些实施例中,可移动反射器1006可以是一维MEMS扫描反射镜。在一些实施例中,光源1302可以是发射光的二极管。作为示例,垂直腔面发射激光器(VCSEL)可用于输出光1004。在一些实施例中,可以使用其他二极管、包括其他相干光源的其他激光器等。
在一些实施例中,可移动反射器1006的反射表面可包括衍射光栅1008。光1004可以由可移动反射器1006上的衍射光栅1008反射,使得形成光图案1010。在一些实施例中,光1004可以是多色光(例如,红外和/或近红外光)。形成多色光的不同波长(或颜色)的光可以在不同方向上衍射,从而生成图案1010。在图10A的示例中,光图案1010包括在远离可移动反射器1006的不同方向上传播的两个部分1010A、1010B。
在一些实施例中,入射光1004可以是单色光(例如,红外或近红外光)。可以使用适当配置的衍射光栅(例如,衍射光栅可以包含具有不同取向、大小、几何形状等的多个部分,以实现在期望方向上的衍射)来形成两个部分1010A、1010B。
在该立面视图中,这两个部分1010A、1010B被示出为从可移动反射器1006朝向眼睛1002A投射。然而,应当理解,部分1010A、1010B可以被配置为使得它们在入射在眼睛1002A上时形成在垂直方向上跨越眼睛1002A的光行或光斑行。例如,部分1010A、1010B可以从眼睛1002A的下部延伸到眼睛1002A的上部。该光图案的不同透视图在图10B中示出,并且将在下面更详细地描述。
继续参考图10A,可移动反射器1006可以由显示系统控制以移动并且使得光图案1010沿着水平轴在眼睛1002A上被扫描。例如,并且关于图10A,光图案1010可以从眼睛1002A的左侧部分扫描到眼睛1002A的右侧部分。在一些实施例中,可以从眼睛的一侧扫描到眼睛的另一侧,在整个眼睛1002A的巩膜上并在虹膜和瞳孔上扫描光图案1010。在一些实施例中,扫描的广度可能更受限制。例如,在一些实施例中,显示系统可以被配置为在眼睛1002A的整个虹膜但小于沿着扫描进行的轴的眼睛的整个范围上扫描光图案1010。可移动反射器1006可以被调整为使得它绕一个或多个轴旋转。如上文所提到的,在一些实施例中,可移动反射器1006可以被调整为使得它绕单个轴旋转。应当理解,该旋转可以调整光1004入射在衍射光栅1008上的角度,从而改变光被反射到眼睛1002A的方向并且改变光入射在眼睛1002A上的最终位置。因此,可以通过反射器1006的运动在眼睛1002A上扫描光图案1010。
如图所示,光检测器1014可以接收反射光1012。应当理解,反射光1012是光1010A、1010B中入射在眼睛1002A上并从眼睛1002A反射到光检测器1014的部分。当可移动反射器1006使得在眼睛1002A的水平轴上扫描光图案1010时,反射光1012可以由光反射器1014接收。应当理解,眼睛1002A的不同生理特征可以不同地反射光。例如,角膜1016可以从眼睛的剩余部分突出以在与眼睛的其他部分不同的方向上反射光。另外,眼睛的不同部分可能具有不同的反射率。例如,巩膜(眼睛的“眼白”)可以被理解为比虹膜反射更多的光,虹膜可反射比瞳孔更多的光。作为另一示例,眼睛的不同部分可以与漫反射或镜面反射相关联。作为示例,巩膜可引起漫反射,使得例如图10B所示的产生的光强度图案可包括强度更逐渐增加或减少的光强度峰值,并达到比镜面反射更低的最大强度值。相反,镜面反射可能与“亮斑”相关联,并且导致强度的急剧增加或减少。在漫射光反射与镜面反射之间进行区分可以使能由眼睛的部分(诸如巩膜、虹膜和瞳孔(提供漫射反射))和与“亮斑”相关联的反射之间的区分,这可用于识别眼球/角膜曲率。因此,反射光1012可以在扫描期间在强度方面变化,其中强度的变化由光1010A、1010B入射的眼睛特征引起。取决于眼睛的取向,这些变化可能被期望在扫描期间发生在不同点处(例如,在不同的时间)。由反射光1012提供的光强度的图案因此可以表示代表眼睛1002A的特定眼睛姿势的签名。
光检测器1014可将反射光1012转换为电流。显示系统可以存储识别如针对时间或可移动反射器1006或入射光1010A、1010B的位置绘制的电流(或从电流导出的值)的信息,或者可以简单地具有与特定时间和/或位置(或从特定时间和/或位置导出的值)相关联的某些电流值(或从电流导出的值)。这样的图或值序列在本文中可以被称为光强度图案。图10B示出了示例光强度图案。优选地,利用从不同位置处的光检测器导出的多个光强度图案来增加最终确定眼睛姿势(或其他眼睛参数,如本文所讨论的)的准确度。
再次参考图10A,所示示例可包括多个光检测器1014,其被示意性地表示为单个块。然而,应当理解,光检测器1014可以位于显示系统中的不同位置。例如,该系统可包括以线性阵列布置的或者在各种形状的角部处的多个光检测器(例如,以关于用户的眼睛1002A的矩形配置定位的四个光检测器)。
优选地,光检测器位于眼睛1002A的前面,使得它们在扫描期间接收反射光1012。图11示出了这样的配置的示例。应当理解,图10B的光强度图案是使用单个光检测器1014检测的单个光强度图案的示例。所示的光检测器1104A-1104D中的每一个可以由于不同定位而具有不同的光强度图案,从而使得它们接收在不同方向上反射的光1012。
因此,光检测器中的每一个可以生成与在眼睛1002A上,例如在水平轴上,扫描光图案1010相关联的光强度图案。如本文所讨论的,光强度图案可由显示系统用于确定用于眼睛1002A的眼睛姿势。在一些实施例中,在在水平轴上扫描之后,可以在相反方向上扫描光图案1010。因此,可以可选地执行两次扫描。这两次扫描可以由显示系统用于确定用于眼睛1002A的眼睛姿势。在一些实施例中,仅当确定后续眼睛姿势时,可移动反射器1006通常可以使得在相反方向上扫描光图案1010。因此,用于眼睛1002A的眼睛姿势可以基于在水平轴上的方向(例如,从左到右)上的眼睛1002A的单次扫描来确定。用于眼睛1002A的后续眼睛姿势然后可以基于在沿着水平轴的相反方向(例如,从右到左)上的扫描来确定。因此,可移动反射器可能不需要针对每次扫描重置到相同位置,这使得从相同初始位置沿着相同水平方向进行扫描。以这种方式,允许在相反方向上发生扫描可以增加眼睛跟踪发生的速度。例如,与需要在针对每个眼睛姿势确定的相同方向上进行扫描相比较,眼睛跟踪速度可以加倍。
显示系统然后可以分析光强度图案以确定用于眼睛1002A的眼睛姿势。例如,光检测器1014和可移动反射器1006的位置可以为显示系统所知(例如,经由初始校准)。作为另一示例,光检测器1014的位置可以与用于生成可用于确定眼睛姿势的信息的光检测器相同。作为确定眼睛姿势的示例,每个光强度图案可以表示与眼睛1002A的取向相关联的特征图案。因此,这些光强度图案的聚合可用于以高准确度确定特定的眼睛姿势。
在一些实施例中,可以生成机器学习模型,该模型基于阈值数量的光强度图案的输入来输出识别眼睛姿势的信息。在该示例中,机器学习模型可能已经基于光检测器和可移动反射器的相同或类似放置进行训练。例如,对应于已知眼睛姿势的光强度图案可能已经使用显示系统内的光检测器和可移动反射器的类似放置来生成。在该示例中,机器学习模型然后可能已经被训练。作为另一示例,光强度图案连同识别光检测器和可移动反射器(例如,相对于眼睛)的放置的信息可能已经用作训练信息。在一些实施例中,训练信息可以附加地指示光源和/或可移动反射器的位置。
在一些实施例中,显示系统可以存储识别多个眼睛姿势中的每一个的光强度图案的信息。因此,显示系统可以确定来自光检测器1014的测量的光强度图案与存储的光强度图案之间的相似性度量。这些相似性度量可包括测量峰值、谷值、斜率、曲线拟合技术等方面的相似性。
作为示例,由特定光检测器测量的光强度图案可包括不同的峰值和谷值。这些峰值和谷值可以对应于光图案1010的两个部分1010A、1010B从眼睛1002A反射的相应时间或可移动反射器1006位置。因此,在特定时间或可移动反射器1006位置处可能存在“α”1010A峰值。此外,在随后的时间或可移动反射器1006位置处可能存在“β”1010B峰值。显示系统可以基于这些相应的峰值来确定眼睛姿势。例如,显示系统可以识别每个峰的时间或可移动反射器位置。显示系统可以使用用于光电二极管中的每一个的这些识别时间或MEMS位置来匹配与已知眼睛姿势相对应的参考光强度图案。
再次参考图10B,示出了与用光图案1010扫描用户眼睛1002A相关联的光强度图案1022的示例。如图10A中所描述的,可移动反射器1006可以形成光图案1010并利用衍射光栅1008将该图案引导到用户的眼睛1002A上。光检测器1014然后可以接收来自眼睛1002A的反射光1012。如上文所描述的,在关于眼睛1002A的不同位置中可能存在阈值数量的光检测器1014(例如,2、3、4、6或更多个光检测器)。因此,每个光检测器可以将相应的接收到的光转换成电流或信号(例如,数字或模拟信号)。该电流或信号可以由显示系统测量并存储为光强度图案1022。
在所示示例中,光图案1010(例如,“V”图案)在第一位置处被提供给用户的眼睛1002A。如图所示,光图案1010可以沿着用户眼睛1002A的垂直轴延伸。此外,光图案1010可包括与“β”部分1010B的角度相反成角度的“α”部分1010A。因此,部分1010A、1010B可以在扫描期间的任何给定时间处投射在用户眼睛1002A的不同部分上。这两个部分1010A、1010B可用于通知眼睛1002A的眼睛姿势,如下文所描述的。在一些实施例中,为了区分由每个部分1010A、1010B提供的不同反射光信号,部分可以各自由不同颜色的光(来自入射多色光,如本文所讨论的)形成。在一些其他实施例中,不同部分1010A、1010B可以由相同颜色的光形成,并且可以通过照亮可移动反射器1006的不同部分在不同时间被生成,可移动反射器1006在这些不同部分中可以具有不同的衍射光栅。在不同时间生成部分1010A、1010B允许由部分1010A、1010B提供的不同信号在时间上被区分。在一些其他实施例中,部分1010A、1010B可以由相同颜色的光形成并且可以在眼睛上被同时扫描。
继续参考图10b,在初始时间(例如,时间t0),可移动反射器1006可能处于其旋转范围的末端。例如,可移动反射器1006可以使得光图案1010处于眼睛1002A上的最左侧或最右侧的位置。在所示示例中,初始时间与光图案1010被投射到眼睛1002A的最左侧的部分上相对应。可以在该位置处测量从眼睛1002A反射的光。这样的初始测量结果1024A的示例反映在图10B中的光强度图案1022中。光图案1010可以通过可移动反射器1006被连续地或离散地在眼睛1002A上移动。
在随后的时间1020C,并且因此在不同的可移动反射器1006位置处,光图案1010可以如图10B所示移动。在可移动反射器1006的该位置,光图案1010的“α”部分1010A已经到达眼睛1002A瞳孔的末端(例如,最右侧的部分)。如光强度图案1022中所示,与图案1022相关联的对应光检测器定位为使得在随后的时间1020C,峰值1024C(由眼睛的亮斑引起)在光强度图案1022中被表示。相反,谷值1024B在较早的时间被包括在光强度图案1022中。例如,该谷值1024B可以表示可移动反射器1006,使得“α”部分1010A到达眼睛1002A瞳孔的相对末端(例如,最左侧的部分)。对于与谷值1024B相对应的该可移动反射器1006位置,与图案1022相关联的对应光检测器可能具有有限的反射光可见性和/或反射到光检测器的光可能从具有低反射率的眼睛的一部分反射。因此,谷值1024B可以在光强度图案1022中被表示。
光强度图案1022示出了在另一时间(例如,在可移动反射器1006的进一步调整处)的另一峰值1024D。峰值1024D可对应于“亮斑”(例如,镜面反射),在相同位置处具有导致峰值1024C的亮斑。该示例峰值1024D可以基于光图案1010的尾随“β”部分1010B被生成。例如,与图案1022相关联的对应光检测器可以在该另一时间对从“β”部分1010B反射的光具有基本上最大的可见性。作为非限制性示例,当“β”部分1010B通过眼睛1002A瞳孔的末端时,可能已经生成该峰值1024D。该末端可以是提供引起“α”部分1010A的峰值的亮斑的相同末端。在该示例中,峰值1024D可以对应于通过末端的“β”部分1010B并且峰值1024C可以对应于通过相同末端的“α”部分1010A。
继续参考图10b,处理设备1026可以接收光强度图案1022并使用图案1022来确定用于眼睛1002A的眼睛姿势。在一些实施例中,处理设备1026可以表示或包括在上文所描述的本地数据和处理模块140中。处理设备1026可以可选地获得识别与光图案1010的扫描相关联的方向的信息。例如,产生的光强度图案1022可以是基于光图案1010是否沿着水平轴在特定方向上移动。如上文所描述的,关于图10A,针对第一眼睛姿势,MEMS反射镜1006可以调整以使得光图案1010沿着第一方向移动。针对随后确定的第二眼睛姿势,MEMS反射镜1006然后可以在相反方向上旋转以使得光图案沿着相反的扫描方向移动。以这种方式,与要求沿着相同方向扫描相比较,MEMS反射镜1006可以增加眼睛跟踪速度。
处理设备1026可以从多个光检测器获得光强度图案。例如,在存在四个光检测器的情况下,可能存在与眼睛1002A的相同扫描相关联的至少四个光强度图案。这些光强度图案中的每一个可包括与入射在相关联的光检测器上的反射光的量相对应的唯一图案。例如,与“α”部分1010A对应的峰值1024C和谷值1024B可以位于不同的时间或以不同的光强度图案位于可移动反射器位置。因此,处理设备1026可以使用这些光强度图案来识别眼睛1002A的准确眼睛姿势。
由于可以调整MEMS反射镜1006的高速,以及光强度图案1022中包括的有限信息,处理设备1026可以快速确定眼睛姿势。在使用机器学习模型的实施例中,处理设备1026可以可选地计算神经网络的前向传递。神经网络可以可选地包括一个或多个密集(例如,完全连接)层。例如,可以将对应于电流和相关联的时间或可移动反射器位置的值提供给神经网络。神经网络可以可选地包括一个或多个卷积层,其利用光强度图案的时间序列性质。这些神经网络可能先前已经训练。例如,训练数据可包括已知的眼睛姿势和对应的光强度图案。在该示例中,可移动反射器1006和光电二极管的位置可以可选地与用于生成光强度图案1022的位置相同或相似。其他机器学习模型可以使用并且落入本文中的本公开的范围内。例如,可以使用支持向量机。
在一些实施例中,处理设备1026可以访问识别已知光强度图案和相关联的眼睛姿势的存储信息。处理设备1026然后可以使测量的光强度图案(例如,光强度图案1022)与存储的信息相关。测量的光强度图案中的峰值(例如,峰值1024C)和谷值(例如,谷值1024B)可以与存储信息中的峰值和谷值相关。如上文所描述的,可移动反射器1006可以可选地沿着第一方向或相反的第二方向在眼睛1002A上扫描。因此,处理设备1026可以取决于扫描的方向可选地对存储的光强度图案或测量的光强度图案进行反转(例如,反射)或以其他方式应用线性变换。
例如,处理设备1026可以访问为光检测器1014的特定光检测器存储的光强度图案。在该示例中,处理设备1026可以识别与用于特定光检测器的测量光强度图案最接近的特定存储光强度图案。虽然可以基于大量不同的度量来识别这样的特定的存储光强度图案,但是在一些实施例中,处理设备1026可以识别具有类似位置的峰值和谷值的特定光强度图案。关于光强度图案1022,处理设备1026可以识别存储光强度图案,该光强度图案在类似时间和/或类似的可移动反射器1006位置处具有峰值1024C-1024D和谷值1024B。
使用这些光强度图案1022的阈值数量,处理设备1026可以因此以高准确度确定眼睛1002A的眼睛姿势。如下文将进一步描述的,在一些实施例中,处理设备1026可以使用光强度图案来确定眼睛1002A的生理特征之间的界面。例如,虹膜到瞳孔界面可以由处理设备1026确定。
再次参考图11,如上文所讨论的,示出了用于确定眼睛姿势的显示系统1102内的光检测器1104A-1104D的位置的示例。光检测器1104A-1104D可以是例如光电二极管、光电晶体管、光敏电阻或其组合。从面向显示系统1102的用户的视角来说明示例表示。为了便于参考,用户的眼睛1002A在透视图内示出。多个光检测器1104A-1104D关于用户眼睛1002A定位。如本文所提到的,在一些实施例中,光检测器1104A-1104D可被附接到显示系统1102的框架。例如,光检测器1104A-1104D中的每一个可被附接到围绕目镜的框架的不同部分。在其他实施例中,光检测器1104A-1104D可以被附接到和/或嵌入位于邻近目镜(例如,用于目镜的保护盖)或目镜本身的材料层中。光可以被引导并在眼睛1002A上被扫描,如上文所描述的。例如,可以使用位于可移动反射器(例如,MEMS反射镜)上或可以其他方式由可移动反射器调整的衍射光栅来创建光图案。
由于光检测器1104A和110D的不同位置,当在眼睛上扫描光图案时,每个光检测器将接收变化的辐照度。以这种方式,每个光检测器可以生成不同的电流图案。在一些实施例中,光检测器可以生成与接收到的辐照度相关联的数字或模拟信号。对于给定的眼睛姿势,每个光检测器将创建光强度图案,该图案可以表示与眼睛姿势相关联的签名。如上文所描述的,关于图10A-图10B,测量的光强度图案因此可用于快速识别眼睛姿势。
该图示包括以矩形图案等距分开定位的四个光检测器1104A-1104D。然而,应当理解,可以使用不同的位置。例如,光检测器1104A-1104B可以更靠近地定位在一起。如上文所描述的,显示系统1102可以基于机器学习模型或识别已知光强度图案的存储信息,确定眼睛姿势。该信息可以基于类似配置的显示系统1102生成。因此,可以使用光检测器1104A-1104D的其他位置。例如,可以使用光检测器能够接收反射光的任何位置。另外,光检测器的数量可以是除四个之外的总数,如本文所讨论的。机器学习模型或存储的信息可以根据光检测器的特定配置被生成。如果显示系统1102也使用该相同的配置,那么显示系统1102可以基于机器学习模型或存储的信息来识别眼睛姿势。
现在参考图12,示出了用于确定用户眼睛的眼睛姿势的过程1200的流程图的示例。为了方便起见,过程1200将被描述为由具有一个或多个处理器的显示系统(例如,显示系统60,图9D)执行。
在框1202处,显示系统使得经由可移动反射器(例如,MEMS反射镜)投射光图案。如图10A所示,显示系统可以使用光源(例如,VCSEL)输出光。该输出光可以被提供给可移动反射器,该可移动反射器可以可选地在其反射表面上具有衍射光栅。衍射光栅可以使得光图案被提供到用户的眼睛上。在一些其他实施例中,可移动反射器是镜面反射器并且图案可以形成在可移动反射器的上游,例如在光源的输出处。
在框1204处,显示系统调整可移动反射器以在用户眼睛上扫描光图案。可移动反射器可以处于第一位置,使得光图案被投射在用户眼睛的第一部分处。例如,光图案可以被投射在用户眼睛的最左侧部分处。显示系统然后可以使得调整可移动反射器以使得沿着轴投射光图案。如上文所描述的,该轴可以是水平轴。光图案可以在用户眼睛的垂直部分上附加地延伸。此外,光图案可以可选地具有由基本上连续的光线形成的“V”形,如图10B所示。
在一些实施例中,光图案可以具有与由基本上连续的光线形成的“V”形不同的形状。例如,并且如图15所示并且将关于图15进一步讨论的,光图案可包括形成两个部分(例如,如上文所描述的“α”部分和“β”部分)的斑点或点而不是线。作为另一示例,并且如图16所示并且将关于图16进一步讨论的,光图案可以编码光学功能。光学功能可以增加光锥漫射或减小光斑大小以更好地区分由光检测器接收到的信号。
可选地,显示系统可以初始扫描用户的眼睛以找到瞳孔间距(IPD)。然后可以对光投射器进行调制,因此它在扫描期间仅照亮IPD区域。例如,可以仅使用IPD区域以及在任何眼睛取向上将光投射到用户眼睛上所要求的所有裕度。以这种方式,由于某些用户与其他用户相比较可能具有更小的IPD区域,因此可以降低显示系统功率。因此,显示系统可以使扫描符合每个用户。
继续参考图12,在框1206处,显示系统从阈值数量的光检测器(例如,光电二极管)获得光强度图案。由于可移动反射器使得在用户眼睛上扫描光图案,因此光检测器可以生成对应的电流或检测器信号。该电流或检测器信号可被表示为如上文所描述的光强度图案。
在框1208处,显示系统基于所获得的光强度图案确定眼睛姿势。如图10B中所描述的,显示系统可以使用机器学习技术将眼睛姿势分配给光强度图案。显示系统还可以确定所获得的光强度图案与已知光强度图案之间的相似性度量。在一些实施例中,已知的光强度图案可以被存储为表格数据,其中针对时间或可移动反射器位置绘图电流。在一些实施例中,已知的光强度模式可以被存储为根据分析已知的光强度图案生成的信息。例如,可以存储用于光图案的峰值、谷值、斜率等。在该示例中,并且关于“V”图案,用于“α”和“β”部分的峰值和谷值可以被连同可移动反射镜的对应位置一起存储。
在一些实施例中,并且如将在图18A-图18D中进一步描述的,显示系统可以确定眼睛的不同生理部分之间的界面。例如,光强度图案可包括指示这样的界面的信息。当跨越界面扫描光图案时,在由一个或多个光检测器生成的电流或信号中可能存在对应的变化。示例界面可包括虹膜与瞳孔之间的界面。显示系统可以基于虹膜与瞳孔之间的光吸收和反射率的差异来识别该示例界面。例如,在瞳孔中可能存在更大的光吸收和更低的反射率。在该示例中,当光图案从虹膜跨越到瞳孔时,产生的光强度图案可以反映电流或信号的下降。
关于虹膜/瞳孔界面,显示系统可以确定瞳孔的大小和/或位置。例如,显示系统可以确定如以一个或多个光强度图案表示的最左侧的界面和最右侧的界面。显示系统然后可以基于最左侧界面和最右侧界面之间的差异来确定瞳孔的大小。该确定可以基于可移动反射器。例如,显示系统可以基于可移动反射器的旋转速度来识别沿着水平轴从最左侧界面到最右侧界面的距离。
示例眼睛姿势
图13A至图13C示出了在眼睛的第一眼睛姿势上扫描光图案。类似地,图14A至图14C示出了在眼睛的第二眼睛姿势上扫描的图案。如本文所讨论的,这些不同的眼睛姿势将使得不同的光强度图案生成。
图13A至图13C示出了光图案1010被投射到用户眼睛1002A并被在用户眼睛1002A上扫描的示例。在所示示例中,光源1302(例如,VCSEL二极管)将光1004投射到可移动反射器1006上,该可移动反射器1006可以可选地具有衍射光栅1008。产生的光图案1010然后传播到眼睛1002A。如图所示,光图案的光的一部分然后作为反射光1012从眼睛1002A反射。如上文所描述的,光检测器(未示出)可以关于眼睛1002A定位以接收反射光1012。
图13A至图13C因此示出了通过调整可移动反射器1006的位置(例如,通过旋转可移动反射器1006)来在用户眼睛1002A上扫描光图案1010。应当理解,反射光1012取决于可移动反射器1006的位置在不同方向上被反射。因此,关于眼睛1002A定位的光检测器可以各自生成唯一的光强度图案。以这种方式,显示系统可以确定对应于图13A至图13C所示的眼睛姿势的特定眼睛姿势。
例如,图13A示出了在初始位置的可移动反射器1006。在该初始位置处,光图案1010被引导到眼睛1002A的对应初始位置上。对于该眼睛姿势,初始位置对应于眼睛1002A的左侧部分。用于该初始位置的反射光1012被示出为被朝向眼睛1002A的左侧反射。该反射光1012可以由光检测器接收并且可以对应地生成电流或信号。
在图13B中,可移动反射器1006已经将光图案1010扫描到眼睛1002A的基本上中心部分。在该示例中,反射光1012正朝向眼睛1002A的左侧和右侧反射。在一些实施例中,光检测器可以关于眼睛1002A定位(例如,如图11所示)。因此,与图13A中接收到的光相比较,位于眼睛1002A的右侧的光检测器可以接收到附加的光。
在图13C中,可移动反射器1006已经将光图案1010扫描到眼睛1002A的右侧部分。该右侧部分可以对应于可移动反射器1006的最终位置。对于该最终位置,反射光1012正朝向眼睛1002A的右侧反射。因此,可移动反射器1006可以经由从初始位置调整到最终位置来扫描光图案1010。在一些实施例中,可移动反射器1006可以通过绕一个或多个轴旋转来扫描光图案1010。如本文所提到的,在一些实施例中,可移动反射器1006可以通过绕单个轴旋转来扫描光图案1010。旋转量可以基于眼睛1002A的生理特征。例如,生理特征可包括巩膜、角膜、瞳孔等,并且旋转量可以基于特征的对应大小(例如,沿着水平轴的长度)。
随后,显示系统可以获得反映光图案1010从初始位置扫描到最终位置的光强度图案。如本文所描述的,这些光强度图案可用于确定图13A至图图13C所示的眼睛姿势。
图14A至图14C示出了光图案1010被投射到用户眼睛1002A上并在用户眼睛1002A上被扫描的另一示例,其中用户眼睛1002处于与图13A至图13C中所示的眼睛不同的姿势。在所示的眼睛姿势中,眼睛1002A的中心朝向图的右侧成角度。
在图14A中,可移动反射器1006处于初始位置。对于该眼睛姿势,光图案1010被提供到眼睛的左侧部分。由于与图13A至图13C中所示的眼睛姿势相比较,所示的眼睛姿势向右侧成角度,因此将光图案1010提供给眼睛1002A的不同部分。因此,反射光1012被与图13A所示的反射光不同地反射。关于眼睛1002A定位的光检测器将因此生成电流或信号的不同度量。
在图14B中,可移动反射器1006已被调整为使得光图案1010沿着水平轴在眼睛1002A上被进一步扫描。对于该示例眼睛姿势,光图案1010更接近眼睛1002A的角膜。相反,图13B中所示的眼睛姿势表示眼睛1002A直视前方。因此,在图13B中,光图案1010被提供到眼睛1002A的基本上中心部分。在图14C中,可移动反射器1006已经调整到最终位置。如图所示,光图案1010在眼睛1002A的角膜上已经被基本上扫描。
应当理解,与图13A至图13C所示的眼睛相比较,光图案1010已经跨眼睛1002A的不同部分上被扫描。因此,与由图13A至图13C所示的扫描产生的光强度图案相比较,产生的光强度图案将是唯一的。对于一些眼睛姿势,光图案1010可以在眼睛1002A的基本上类似部分上被扫描。例如,光图案1010可以在向前直视的眼睛和向下看的眼睛的类似部分上被扫描。然而,这些眼睛将在不同的取向上,使得眼睛的生理特征将在不同的取向上。例如,角膜将在不同的取向上。因此,反射光1012将导致生成唯一的光强度图案。以这种方式,显示系统可以基于这些光强度图案,确定眼睛姿势。
示例光图案
图15示出了用于在用户眼睛上扫描跨的光图案1502的示例。在该示例中,由衍射光栅1008创建的光图案1502由斑点或光点组成,而不是由连续的光线组成。因此,光图案1502可以表示在调整可移动反射器(例如,反射器1006,图10)的期间可以被投射到用户眼睛上的图案位移。在一些实施例中,可以蚀刻具有不同节距的多个衍射光栅以叠加不同的衍射图案,并因此创建足够接近以显示为线的“线”或点。
图16示出了用于在用户眼睛上扫描的光图案1602的另一示例。在一些实施例中,光图案1602可以包括多个光行1604、1606、1608,这些光行可以由形成单独行的不同的光线或光斑形成。如图所示,行1604、1606、1608可以各自定义相对于眼睛的水平轴小于90°的角度。为了区分由行1604、1606、1608中的每一个提供的反射光信号,形成光行的光可以具有不同的特性。例如,形成行1604、1606、1608中的不同行的光可以具有不同的颜色或波长、不同的偏振(例如,在使用偏振敏感光检测器的情况下)等。
在一些其他实施例中,形成不同行1604、1606、1608的光可以具有不同的相关联的光学功能。作为示例,光学功能可以增加光锥漫射(例如,可以提供发散光束)。作为另一示例,光学功能可以减小光斑大小(例如,提供会聚光束),这对于为光检测器提供高信噪比可能是有利的。作为又一示例,行可以由准直光束形成。在一些实施例中,期望水平的会聚、发散或准直可以由可移动反射器上的全息材料(例如,表面或体积HOE)提供,该可移动反射器提供透镜功(例如,准直、聚焦或发散透镜功能)能和向形成期望的行图案提供衍射。
两个光源
在一些实施例中,两个光源(例如,两个VCSEL)可用于确定眼睛的眼睛姿势。每个光源可以输出具有不同特性(例如,不同波长或颜色)的光。关于“V”图案的示例,第一光源可用于形成第一部分(例如,“α”部分1010A),并且第二光源可用于形成光图案的第二部分(例如,“β”部分1010B)。使用两个光源可以提供示例优点,诸如减少串扰。例如,在“α”部分与“β”部分之间可能没有串扰。作为另一示例,可以减少扫描时间。例如,可移动反射器(例如,MEMS反射镜1006)可能被要求执行较少的调整(例如,绕一个或多个轴旋转)以扫描用户的眼睛。
图17A示出了使用两个光源投射到用户眼睛上的光图案1010的示例。在图示的最左侧的部分中,光图案具有由第一光源形成的光图案1010的“α”部分1010A。例如,“β”部分1010B未由第二光源投射。多个光检测器因此可以在“α”部分1010A被投射时测量反射光。随后,并且关于图示的最右侧部分,“β”部分1010B被投射到用户的眼睛上。相反,“α”部分1010A并未被引导到用户的眼睛上。因此,当“β”部分1010B被引导到用户的眼睛上时,多个光检测器可以测量反射光。以这种方式,可以减少或消除这些部分之间的串扰。
显示系统可以可选地为每个光检测器生成两个光强度图案,一个用于“α”部分1010A,并且一个用于“β”部分1010B。作为示例,显示系统可以存储识别“α”部分1010A或“β”部分1010B正被投射的时间和/或MEMS镜位置的信息。在一些实施例中,显示系统可以生成代表“α”部分1010A和“β”部分1010B两者的单个光强度图案,并且可以可选地同时在眼睛上扫描部分1010A、1010B。
图17B示出了使用两个光源1702A、1702B示出的示例框图。在所示示例中,如本文所讨论的,向可移动反射器1006提供光,可移动反射器1006可以可选地具有衍射光栅1008。在一些实施例中,可移动反射器1006可包括用于生成期望光线的全息元件(例如,全息图可以是多路复用全息图,包括对于线“α”的一个波长选择性的一个全息图,以及对于线“β”的光的波长选择性的另一个全息图)。在一些其他实施例中,可移动反射器1006是镜面反射器,并且在光源1702A、1702B处形成期望的图案。组合器1704可用于将来自光源1702A、1702B的光引导到可移动反射器1006。
另一实施方式可包括在可移动反射器1006上具有两个区域。对于区域中的每一个,可以存在特定衍射光栅,其中光源中的每一个被配置为照亮区域中的一个。因此,可以创建不同的线(例如,“α”部分和“β”部分)。图17C示出了具有多个衍射区的这样的衍射光栅的示例。每个衍射区可包括不同配置的衍射光栅。例如,衍射区的衍射光栅可以具有不同的物理参数,包括形成光栅的单独结构(例如,横向延伸的材料线)的不同周期性和/或不同大小(例如,高度和/或宽度)。
确定生理特征的大小和/或位置
应当理解,光强度图案可包含可用于确定除了姿势之外的眼睛参数的信息。例如,显示系统可以被配置为使用本文所描述的光强度图案来确定用户眼睛的生理特征的大小和/或位置。示例生理特征可包括巩膜、虹膜、瞳孔、巩膜与虹膜之间的界面、虹膜与瞳孔之间的界面等。显示系统可以确定大小和/或位置作为确定眼睛姿势的替代方案或补充方案。
关于虹膜与瞳孔之间的界面,显示系统可以基于如一个或多个光强度图案中所表示的电流或信号的变化来确定其位置。例如,显示系统可以识别峰值或谷值(例如,导数的变化大于阈值)。关于瞳孔,显示系统可以基于识别瞳孔的边界来确定其大小。作为示例,边界可以对应于瞳孔与虹膜之间的最左侧的界面和最右侧的界面。
图18A示出了用于确定与用户的眼睛相关联的生理信息的过程1800的示例流程图。为了方便起见,过程1800将被描述为由一个或多个处理器的显示系统(例如,显示系统60)执行。
在框1802处,并且如上文关于图12的框1204所描述的,显示系统调整可移动反射器以在眼睛上扫描光图案。在框1804处,显示系统从阈值数量的光检测器获得光强度图案,类似于图12的框1206。如本文所描述的,显示系统可以获得表示由相应光检测器生成的电流或信号的度量的光强度图案。每个光强度图案可以将电流或信号映射到可移动反射器的时间和/或位置。
在框1806处,显示系统确定与眼睛的生理特征相关联的大小和/或位置。如本文所讨论的,在一些实施例中,可以利用机器学习和/或模式匹配来确定生理特征或边界的位置,并且可以根据这些确定的位置来计算大小。
现在将参考图18B至图18D,图18B至图18D示出了确定与一个或多个生理特征相关联的大小和/或位置信息的示例。
图18B示出了在眼睛1002A上扫描的光图案1010。在所示示例中,光图案具有“V”形,该“V”形可包括“α”1010a部分和“β”部分1010b。上文至少关于图10A至图10B更详细地描述了“V”形。示出了示例光强度图案1814,其指示来自在扫描期间接收从眼睛1002A反射光的光检测器的信号或电流的度量。示例光强度图案1814可以与关于眼睛1002A定位的多个光检测器中的一个相关联。图11示出了关于眼睛定位的光检测器的示例。
图18B表示的时间或可移动反射器位置处,光图案1010的“α”部分1010a在巩膜与虹膜之间的界面或边界1812处扫掠。随着光从高反射性白色巩膜传递到较暗、反射性较低的虹膜,该交点1812可示出由与图案1814相关联的光检测器接收的反射光的减少。反射光可以由光图案1010的漫反射产生,并且图案1814可以因此指示强度的逐渐减少。因此,光强度图案1814将该界面1812指示为相对于光强度图案1814的部分1816的信号的减少。
显示系统可以使用本文所描述的技术,诸如机器学习模型或存储的信息,来确定信号的该减少对应于巩膜与虹膜之间的生理界面1812。例如,显示系统可以使用阈值数量的光强度图案来实现确定。显示系统可以然后确定与该界面1812相关联的位置。例如,显示系统可以识别映射到部分1816的时间。在该示例中,显示系统可以基于可移动反射器调整的速度来确定位置。作为另一示例,显示系统可以识别与部分1816相关联的可移动反射器位置。基于识别可移动反射器的位置的信息,显示系统可以确定光图案1010入射的位置以及引起光强度图案1814的部分1816的位置。
图18C示出了在眼睛1002A上进一步扫描的光图案1010。在该示例中,“α”部分1010a扫掠通过虹膜与瞳孔之间的相交部1822。类似于上文,随着光从反射性更高的虹膜传递到较暗、反射性较低的虹膜,该相交部可示出到达与光强度图案1814相关联的光检测器的光的减少。因此,在光强度图案1814的部分1824处指示信号的减少。显示系统因此可以确定与如上文所描述的该界面1822相关联的位置。
图18D示出了光图案1010被进一步扫描直到在瞳孔与虹膜之间的另一个界面1832上扫描“α”部分1010a。该界面1832表示瞳孔与虹膜之间的最右侧的界面。相反,图18C中所描述的界面1822表示瞳孔与虹膜之间的最左侧的界面。类似于上文,显示系统可以确定与该界面1832相关联的位置。然而,在所示的光强度图案1814中,由亮斑引起的峰值1834与界面1832重合。应当理解,当在界面1834上扫描光图案1010时,亮斑提供大量的反射光(例如镜面反射光),这可能使使用所示光强度图案1814对界面1834的检测模糊。然而,如本文所讨论的,优选使用提供多个光强度图案的多个光检测器,并且这些其他光检测器中的至少一些将被预期记录由于界面1832处的反射率的变化导致的反射光强度的差异。例如,这些其他光强度图案(未示出)可以示出光强度图案1814的部分1824和1816的反面(reverse)并且可用于确定界面1832的位置。
基于图18C所示的界面1822和图18D所示的界面1832,显示系统可以确定与瞳孔相关联的大小。例如,大小可以表示沿着水平轴的大小。在该示例中,大小因此可以表示瞳孔沿着水平轴的长度,例如,瞳孔的宽度或直径。显示系统可以附加地确定瞳孔的位置。例如,显示系统可以计算如基于界面1822、1832确定的瞳孔的质心(例如,瞳孔宽度的中点)。
应当理解,虹膜与巩膜之间的界面或边界、以及虹膜的大小,可以如上文针对虹膜与瞳孔之间的界面和瞳孔的大小所讨论的那样确定。例如,可以基于检测到的反射光的减少和反射光水平高于瞳孔的较低反射光水平来确定虹膜的左界面和右界面的位置。
虽然上述描述识别显示系统可以在完成扫描之前确定界面(例如,界面1812),但是在一些实施例中,显示系统可以在完成扫描时确定界面。例如,显示系统可以获得光强度图案并基于光强度图案确定大小和/或位置信息。在该示例中,可以利用机器学习技术。例如,一个或多个机器学习模型可以被训练以基于光强度图案来识别(例如,标记)生理特征。
估计眼睛速度
在一些实施例中,显示系统可以确定用户眼睛的速度。例如,显示系统可以确定旋转速度。旋转速度可由显示系统用于不同的目的,诸如识别扫视的发生或估计在扫视期间眼睛将旋转的程度。如将描述的,显示系统可以基于比较一个或多个生理特征的运动或连续眼睛姿势之间的差异来确定旋转速度(例如,扫视速度)。
显示系统可以基于连续确定的眼睛姿势的差异来确定旋转速度。例如,在第一时间,显示系统可以执行用户眼睛的扫描。在该示例中,显示系统可以将基于扫描确定的第一眼睛姿势与该第一时间相关联。在第二时间,显示系统可以执行用户眼睛的后续扫描。显示系统然后可以将第二眼睛姿势与该第二时间相关联。可以确定第一眼睛姿势与第二眼睛姿势之间的眼睛姿势差异的一个或多个测量。示例测量可包括在第一眼睛姿势与第二姿势之间调整光轴或视轴。然后,显示系统可以使用所确定的光轴或视轴位置的差异以及第一时间与第二时间之间的时间差异来确定旋转速度。
显示系统还可以基于一个或多个生理特征的运动来确定旋转速度。例如,在第一时间,显示系统可以确定生理特征的第一位置(例如,虹膜与瞳孔之间的界面)。随后,在第二时间,显示系统可以确定生理特征的第二位置。可以识别生理特征已经例如沿着一个或多个轴移动的程度。然后,显示系统可以基于生理特征的确定位置的差异以及第一时间与第二时间之间的差异来确定旋转速度。
扫视可以理解为表示在两个或两个以上注视阶段之间的眼睛的快速运动。在扫视的发生期间,用户可能降低两个注视之间的可见性。在一些实施例中,显示系统可以调整虚拟内容的呈现以利用该降低的可见性。为了识别扫视的发生,显示系统可以确定眼睛的旋转速度是否超过阈值。由于本文所描述的技术,显示系统可以有利地以足够高的速率扫描眼睛以检测扫视(例如,1kHz、10kHz等)。因此,可以确定扫视的发生。该确定可用于影响多深度平面显示器中的深度平面切换,如例如在2017年9月28日公开的美国专利申请公开No.2017/0276948中所讨论的,其整体内容通过引用并入本文。
此外,应当理解,眼睛在扫视期间眼睛将旋转的程度可以基于眼睛的初始旋转速度(扫视速度)。例如,应当理解,眼睛的初始扫视速度、眼睛移动的角度和扫视后眼睛的最终取向是相关的。因此,如果初始速度和方向是已知的,则显示系统可以估计用户将在完成扫视时注视的最终位置。
应当理解,不同的用户可能具有不同的相关联的扫视速度。显示系统可以有利地使用机器学习技术来生成与特定用户的扫视速度相关联的模型。例如,显示系统可以识别与扫视相关联的初始速度和方向。在该示例中,显示系统然后可以识别在完成扫视时眼睛旋转的程度(例如,通过不断地扫描眼睛并确定如本文所描述的姿势)。基于该信息,显示系统可以训练或以其他方式更新现有的机器学习模型。例如,机器学习模型可以学习扫视速度、方向和特定用户眼睛的端点之间的准确相关性。
能够估计该端点可以允许确定最终的扫视后姿势。如本文所讨论的,显示系统可以在向用户呈现虚拟内容时使用该估计的姿势。在一些实施例中,估计的姿势可用于验证和/或确定使用本文所讨论的基于光扫描和光强度图案的姿势确定的姿势的置信水平。
其他实施例
所描述的实施例的各方面、实施例、实施方式或特征可以单独或以任何组合使用。所描述的实施例的各方面可以通过软件、硬件或硬件和软件的组合来实现。所描述的实施例还可以实现为计算机可读介质上用于控制制造操作的计算机可读代码或计算机可读介质上用于控制生产线的计算机可读代码。计算机可读介质是可以存储数据的任何数据存储设备,数据此后可以由计算机系统读取。计算机可读介质的示例包括只读存储器、随机存取存储器、CD-ROM、HDD、DVD、磁带和光学数据存储设备。计算机可读介质也可以分布在网络耦合的计算机系统上,使得计算机可读代码以分布式方式被存储和执行。
出于解释的目的,前述描述使用了特定的命名法来提供对所描述的实施例的透彻理解。然而,对于本领域技术人员来说显而易见的是,不要求特定细节来实践所描述的实施例。因此,出于说明和描述的目的,呈现了特定实施例的前述描述。它们不旨在穷举或将所描述的实施例限制为所公开的精确形式。鉴于上述教导,许多修改和变化可能对于本领域的普通技术人员来说是显而易见的。
将理解,在此描述和/或在附图中示出的处理、方法和算法中的每一者可以体现以下项中并通过以下项被全部或部分自动化:代码模块,其由一个或多个物理计算系统、硬件计算机处理器、专用电路执行,和/或电子硬件,其被配置为执行具体和特定计算机指令。例如,计算系统可以包括用具体计算机指令编程的通用计算机(例如,服务器)或专用计算机、专用电路等。代码模块可以被编译并链接到可执行程序中,安装在动态链接库中,或者可以用解译性编程语言编写。在一些实施例中,特定操作和方法可以由专用于给定功能的电路来执行。
此外,本公开的功能的某些实施例在数学上、计算上或技术上都足够复杂,以至于为了执行功能(例如由所涉及的计算量或复杂性决定)或为了基本实时地提供结果,必需专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)。例如,视频可以包括许多帧,每帧具有数百万个像素,并且需要专用编程的计算机硬件来处理视频数据以在商业上合理的时间内提供所需的图像处理任务或应用。
代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上,诸如物理计算机存储装置,其中包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储装置以及相同或相似元件的组合等。在一些实施例中,非暂时性计算机可读介质可以是本地处理和数据模块(140)、远程处理模块(150)和远程数据存储库(160)中的一者或多者的一部分。方法和模块(或数据)也可以在各种计算机可读传输介质上作为生成的数据信号(例如,作为载波或其它模拟或数字传播信号的一部分)传输,所述传输介质包括基于无线和基于导线/电缆的介质,可以采取多种形式(例如,作为单个或多路复用模拟信号的一部分,或者作为多个离散数字包或帧)。所公开的处理或处理步骤的结果可以持久地或以其它方式存储在任何类型的非暂时性有形计算机存储装置中,或者可以经由计算机可读传输介质来传送。
在此描述的和/或在附图中示出的流程图中的任何处理、方框、状态、步骤或功能应该被理解为潜在地表示代码模块、片段或代码部分,其包括用于实现处理中的特定功能(例如,逻辑或算术功能)或步骤的一个或多个可执行指令。各种处理、方框、状态、步骤或功能可以与本文提供的示例性示例一起执行以下操作:组合、重排、添加、删除、修改或其它改变。在一些实施例中,附加的或不同的计算系统或代码模块可以执行本文描述的功能中的部分或全部。本文描述的方法和处理也不限于任何特定的顺序,并且与其相关的方框、步骤或状态可以以其它合适的序列来执行,例如以串行、并行或某种其它方式执行。可以向所公开的示例实施例添加任务或事件或者从中移除任务或事件。此外,本文描述的实施例中的各种系统组件的分离是出于说明的目的,不应该被理解为在所有实施例中都需要这种分离。应该理解,所描述的程序组件、方法和系统通常可以一起集成在单个计算机产品中或者封装到多个计算机产品中。
在上述说明书中,已经参考本发明的特定实施例对其进行了描述。但是显而易见的是,在不脱离本发明的较广泛的精神和范围的情况下,可以对本发明做出各种修改和更改。因此,说明书和附图应该被视为出于说明的目的,而非限制的目的。例如,虽然有利地与跨多个深度平面提供图像的AR显示器一起使用,但是本文所公开的增强现实内容也可以由在单个深度平面上提供图像的系统显示。
实际上,将理解,本公开的系统和方法各自具有若干创新性方面,这些方面中的任一单个方面不单独负责本文所公开的期望特性或不是本文所公开的期望特性所必需的。上述各种特征和处理可以彼此独立地使用,或者可以以各种方式组合使用。所有可能的组合和子组合均旨在落入本公开的范围内。
本说明书中通过分开的实施例的上下文描述的某些特征也可以在单个实施例中组合地实现。相反地,在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独实施,或以任何合适的子组合实施。此外,尽管特征可以像上文描述的那样以特定组合起作用,甚至最初以此方式要求保护,但是在一些情况下,所要求保护的组合中的一个或多个特征可以从组合中剔除,并且所要求保护的组合可以涉及子组合或子组合的变体。对于每个实施例而言,没有任何单个特征或特征组是必需的或不可或缺的。
将理解,除非另有具体说明,或者在上下文中另有理解,否则在此使用的诸如“可”、“可以”、“可能”、“能够”、“例如”等条件语通常旨在表达某些实施例包括,而其它实施例不包括某些特征、元素和/或步骤。因此,这种条件语通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的,也不旨在暗示一个或多个实施例必然包括用于在具有或者没有程序设计者输入或提示的情况下决定这些特征、元素和/或步骤是否包括在或者是否将在任何具体实施例中执行的逻辑。术语“包括”、“包含”、“具有”等是同义词,并且以开放的方式包含性地使用,并且不排除其它元素、特征、动作、操作等。此外,术语“或”以其包含性含义(而非排他性含义)使用,因此,当被用于例如连接元素列表时,术语“或”意味着列表中的一个、一些或全部元素。另外,除非另有说明,否则在本申请和所附权利要求书中使用的冠词“一”、“一个”和“所述”应被解释为表示“一个或多个”或“至少一个”。类似地,尽管操作在附图中可以以特定顺序示出,但应认识到,这些操作不需要以所示的特定顺序或按顺序执行,或者执行所有示出的操作以实现所需的结果。此外,附图可以以流程图的形式示意性地示出一个或多个示例处理。然而,其它未示出的操作可以并入示意性示出的示例方法和处理中。例如,一个或多个附加操作可以在任何所示的操作之前、之后、同时或者期间。另外,在其它实施例中,操作可以被重新排列或排序。在某些情况下,多任务和并行处理是有利的。此外,上述实施例中的各种系统组件的分离不应该被理解为在所有实施例中都需要这种分离,且应该理解,所述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。另外,其它实施例在以下权利要求的范围内。在一些情况下,权利要求中列出的动作可以以不同的顺序执行并且仍能实现所需的结果。

Claims (84)

1.一种被配置为向用户呈现虚拟内容的显示系统,所述显示系统包括:
光源,其被配置为输出光;
可移动反射器,其被配置为将所输出的光反射到所述用户的眼睛,以在所述眼睛上扫描由所述光形成的图案;
多个光检测器,其被配置为检测在所述眼睛上扫描的光的反射;以及
一个或多个处理器,其被配置为执行包括以下各项的操作:
使得调整所述可移动反射器的取向,以使得在所述眼睛上扫描所反射的光;
经由所述光检测器获得相应的光强度图案,其中,光强度图案表示在不同时间的光检测器信号,在所述眼睛上扫描所反射的光期间获得所述光检测器信号;以及
基于所述光强度图案,确定所述眼睛的眼睛姿势,所述眼睛姿势表示所述眼睛的取向。
2.根据权利要求1所述的显示系统,其中,所述光源是二极管。
3.根据权利要求2所述的显示系统,其中,所述二极管是垂直腔面发射激光器。
4.根据权利要求1所述的显示系统,其中,所述可移动反射器包括衍射光栅,其中,所述衍射光栅被配置为将来自所述光源的入射光束转换成包括跨越所述眼睛的区域的多个光线的光图案。
5.根据权利要求1所述的显示系统,其中,所述可移动反射器包括衍射光栅,其中,所述衍射光栅被配置为将来自所述光源的入射光束转换成包括多个光束的光图案。
6.根据权利要求1所述的显示系统,其中,所述可移动反射器包括多个衍射光栅,每个衍射光栅被配置为形成用于在所述眼睛上扫描的不同光图案。
7.根据权利要求1所述的显示系统,其中,所述可移动反射器是微机电系统(MEMS)反射镜。
8.根据权利要求1所述的显示系统,其中,所述光检测器是光电二极管,并且其中,每个光强度图案表示电流相对与所述可移动反射器的位置相关联的位置信息的图。
9.根据权利要求8所述的显示系统,其中,所述衍射光栅位于MEMS反射镜上或构成其一部分,并且其中,所述位置信息指示所述MEMS反射镜的取向,所述MEMS能够由所述显示系统调整。
10.根据权利要求1所述的显示系统,其中,所述光源是被配置为将光输出到所述可移动反射器的两个光源中的一个,其中,所述光源中的每一个被配置为形成所述光图案的相应部分。
11.根据权利要求1所述的显示系统,其中,所述光检测器是光电二极管,并且其中,每个光强度图案表示电流相对时间的图。
12.根据权利要求1所述的显示系统,其中,所述光图案定义从所述眼睛的下部延伸到所述眼睛的上部的V形。
13.根据权利要求1所述的显示系统,其中,形成所述光图案的所述光包括多色光。
14.根据权利要求13所述的显示系统,其中,所述光图案包括在不同方向上延伸的两个部分。
15.根据权利要求14所述的显示系统,其中,所述两个部分中的每一个由不同颜色的光形成。
16.根据权利要求14所述的显示系统,其中,所述两个部分被配置为跨所述眼睛的垂直轴延伸,其中,所述两个部分沿着水平轴在相反的方向上延伸以形成V形。
17.根据权利要求1所述的显示系统,其中,所述光图案包括多个连续的光行。
18.根据权利要求17所述的显示系统,其中,不同的光行包括具有不同发散量的光束。
19.根据权利要求18所述的显示系统,其中,光行包括会聚光束,其中,所述光行中的另一个光行包括准直光束。
20.根据权利要求18所述的显示系统,其中,光行包括发散光束。
21.根据权利要求17所述的显示系统,其中,所述光行定义相对于所述眼睛的水平轴小于90°的角度。
22.根据权利要求1所述的显示系统,其中,所述光检测器的位置定义关于所述眼睛的矩形的角部。
23.根据权利要求1所述的显示系统,其中,所述光检测器定义光检测器的线性阵列。
24.根据权利要求1所述的显示系统,其中,所述操作还包括:使得在所述眼睛的第一部分与所述眼睛的第二部分之间的轴上连续扫描所述光图案。
25.根据权利要求24所述的显示系统,其中,所述轴是所述眼睛的水平轴,以使得所述第一部分是所述眼睛的最左侧部分或最右侧部分,并且所述第二部分是所述眼睛的所述最左侧部分或所述最右侧部分中的另一个。
26.根据权利要求1所述的显示系统,其中,确定所述眼睛姿势包括:
经由计算所述光强度图案的前向传递来应用机器学习模型,其中,所述机器学习模型的输出指示眼睛姿势。
27.根据权利要求1所述的显示系统,其中,确定所述眼睛姿势包括:
访问标识存储的光强度图案的信息,所述存储的光强度图案与相应的眼睛姿势相关联;
将所获得的光强度图案与所述存储的光强度图案进行比较;以及
基于所述比较来识别所述眼睛姿势。
28.根据权利要求26所述的显示系统,其中,所述光检测器是光电二极管,其中,将所获得的光强度图案与所述存储的光强度图案进行比较是基于比较电流的峰值和/或谷值的位置,并且其中,所述位置指示所述光学图案在所述眼睛上的位置。
29.根据权利要求1所述的显示系统,其中,所述操作还包括:
确定所述用户的瞳孔间距;
基于所确定的瞳孔间距,确定在所述眼睛上扫描所述光图案的扫描距离;以及
在所述眼睛上以所述扫描距离扫描所述光图案。
30.根据权利要求1所述的显示系统,其中,所述操作还包括基于所述光强度图案,检测所述眼睛的虹膜和瞳孔中的一者或两者。
31.根据权利要求30所述的显示系统,其中,检测所述眼睛的所述虹膜和所述瞳孔中的一者或两者包括:确定所述眼睛的所述虹膜和所述瞳孔中的一者或两者的大小。
32.根据权利要求30所述的显示系统,其中,检测所述眼睛的所述虹膜和所述瞳孔中的一者或两者包括:确定所述眼睛的所述虹膜和所述瞳孔中的一者或两者的位置。
33.根据权利要求1所述的显示系统,其中,所述操作还包括:确定所述眼睛的扫视速度。
34.根据权利要求1所述的显示系统,还包括:波导,其包括耦出光学元件,所述耦出光学元件被配置为将光输出到所述用户的眼睛以形成所述虚拟内容。
35.根据权利要求29所述的显示系统,其中,所述波导是波导堆叠中的一个波导,其中,所述堆叠中的一些波导具有耦出光学元件,所述耦出光学元件被配置为输出波长发散量与所述堆叠中的其他波导的耦出光学元件不同的光,其中,所述不同的波前发散量对应于不同的深度平面。
36.一种由一个或多个处理器的显示系统实现的方法,所述显示系统被配置为至少部分地基于用户的眼睛的眼睛姿势,向所述用户呈现虚拟内容,其中,所述方法包括:
调整被引导到所述眼睛上的光图案的位置,以使得所述光图案在所述眼睛上移动;
获得多个光强度图案,所述光强度图案表示在不同时间的光检测器信号,在调整所述光图案的位置期间从相应的光检测器获得所述光检测器信号;以及
基于所述光强度图案,确定所述眼睛的所述眼睛姿势,所述眼睛姿势表示所述眼睛的取向。
37.根据权利要求36所述的方法,其中,调整所述光图案的所述位置包括:移动可移动镜,以使得所述光图案沿着轴从所述眼睛的第一部分移动到所述眼睛的第二部分。
38.根据权利要求37所述的方法,其中,所述可移动反射器包括衍射光栅,其中,所述衍射光栅被配置为将来自所述光源的入射光束转换成包括多个光束的光图案。
39.根据权利要求37所述的方法,其中,移动所述可移动反射器包括旋转所述衍射光栅所位于的微机电系统(MEMS)反射镜。
40.根据权利要求37所述的方法,其中,所述第一部分表示所述虹膜的末端,并且所述第二部分表示沿着所述轴的所述虹膜的相对末端。
41.根据权利要求37所述的方法,其中,所述轴是水平轴。
42.根据权利要求36所述的方法,其中,所述光图案沿着垂直轴从所述眼睛的下部延伸到所述眼睛的上部。
43.根据权利要求42所述的方法,其中,所述光图案包括两个部分,每个部分沿着垂直轴延伸,并且其中,所述两个部分沿着水平方向在相反的方向上延伸以形成V形。
44.根据权利要求36所述的方法,其中,确定眼睛姿势包括:
经由计算所述光强度图案的前向传递来应用机器学习模型,其中,所述机器学习模型的输出指示眼睛姿势。
45.根据权利要求36所述的方法,其中,确定眼睛姿势包括:
访问标识存储的光强度图案的信息,所述存储的光强度图案与相应的眼睛姿势相关联;
将所获得的光强度图案与所述存储的光强度图案进行比较;以及
基于所述比较来识别所述眼睛姿势。
46.根据权利要求45所述的方法,其中,将所获得的光强度图案与所述存储的光强度图案进行比较是基于比较所述光强度图案中的峰值和/或谷值的位置。
47.一种存储指令的非暂态计算机存储介质,所述指令在由一个或多个处理器的显示系统执行时使得所述一个或多个处理器执行包括以下各项的操作:
调整被引导到用户眼睛上的光图案的位置,以使得所述光图案在所述眼睛上移动;
获得多个光强度图案,所述光强度图案表示在不同时间的光检测器信号,在调整所述光图案的位置期间从相应的光检测器获得所述光检测器信号;以及
基于所述光强度图案,确定所述眼睛的所述眼睛姿势,所述眼睛姿势表示所述眼睛的取向。
48.根据权利要求47所述的计算机存储介质,其中,所述操作还包括:
使得经由具有衍射光栅的反射器将所述光图案投射到所述眼睛。
49.根据权利要求48所述的计算机存储介质,其中,所述衍射光栅的所述取向被调整为使得所述光图案从所述眼睛的第一部分移动到所述眼睛的第二部分。
50.根据权利要求49所述的计算机存储介质,其中,所述第一部分表示所述虹膜的末端,并且所述第二部分表示所述虹膜的相对末端。
51.根据权利要求47所述的计算机存储介质,其中,所述光图案沿着垂直轴从所述眼睛的下部延伸到所述眼睛的上部。
52.根据权利要求51所述的计算机存储介质,其中,所述光部分包括两个部分,每个部分沿着垂直轴在所述眼睛上延伸,并且其中,所述两个部分沿着水平轴在相反的方向上延伸。
53.根据权利要求47所述的计算机存储介质,其中,调整所述衍射光栅的取向包括:控制所述衍射光栅所位于的微机电系统(MEMS)反射镜的旋转。
54.根据权利要求47所述的计算机存储介质,其中,确定眼睛姿势包括:
经由计算所述光强度图案的前向传递来应用机器学习模型,其中,所述机器学习模型的输出指示眼睛姿势。
55.根据权利要求47所述的计算机存储介质,其中,确定眼睛姿势包括:
访问标识存储的光强度图案的信息,所述存储的光强度图案与相应的眼睛姿势相关联;
将所获得的光强度图案与所述存储的光强度图案进行比较;以及
基于所述比较来识别所述眼睛姿势。
56.根据权利要求55所述的计算机存储介质,其中,将所述获得的光强度图案与所述存储的光强度图案进行比较是基于比较峰值和/或谷值的位置。
57.一种被配置为向用户呈现虚拟内容的显示系统,所述显示系统包括:
光源,其被配置为输出光;
可移动反射器,其被配置为将所输出的光反射到所述用户的眼睛,以在所述眼睛上扫描由所述光形成的图案;
多个光检测器,其被配置为检测在所述眼睛上扫描的光的反射;以及
一个或多个处理器,其被配置为执行包括以下各项的操作:
经由所述光检测器获得相应的光强度图案,其中,光强度图案表示在不同时间的光检测器信号,在所述眼睛上扫描所反射的光期间获得所述光检测器信号;以及
基于所述光强度图案,确定所述眼睛的生理特征的大小和位置中的一者或两者。
58.根据权利要求57所述的显示系统,其中,所述生理特征是所述眼睛的瞳孔。
59.根据权利要求58所述的显示系统,其中,所述操作还包括:
基于所述光强度图案,确定所述眼睛的虹膜与瞳孔之间的第一界面。
60.根据权利要求59所述的显示系统,其中,确定所述第一界面是基于所述光强度图案中的峰值和/或谷值的位置。
61.根据权利要求59所述的显示系统,其中,所述操作还包括:
基于所述光强度图案,确定所述眼睛的虹膜与瞳孔之间的第二界面。
62.根据权利要求61所述的显示系统,其中,所述瞳孔的大小是基于所述第一界面和所述第二界面来确定的。
63.根据权利要求61所述的显示系统,其中,所述生理特征是所述瞳孔,并且其中,所述瞳孔的所述位置是基于所述瞳孔的中心来确定的,所述中心是基于所述第一界面和所述第二界面来识别的。
64.根据权利要求57所述的显示系统,其中,所述生理特征是所述眼睛的虹膜与瞳孔之间的界面,并且其中,所述显示系统确定所述界面的位置。
65.一种由一个或多个处理器的显示系统实现的方法,所述显示系统被配置为至少部分地基于用户的眼睛的眼睛姿势,向所述用户呈现虚拟内容,其中,所述方法包括:
调整被引导到所述眼睛上的光图案的位置,以使得所述光图案在所述眼睛上移动;
获得多个光强度图案,所述光强度图案表示在不同时间的光检测器信号,在调整所述光图案的位置期间从相应的光检测器获得所述光检测器信号;以及
基于所述光强度图案,确定所述眼睛的生理特征的大小和/或位置。
66.根据权利要求65所述的方法,其中,所述生理特征是所述眼睛的瞳孔。
67.根据权利要求66所述的方法,还包括:
基于所述光强度图案,确定所述眼睛的虹膜与瞳孔之间的第一界面。
68.根据权利要求67所述的方法,其中,确定所述第一界面是基于所述光强度图案中的峰值和/或谷值的位置。
69.根据权利要求68所述的方法,还包括:
基于所述光强度图案,确定所述眼睛的虹膜与瞳孔之间的第二界面。
70.根据权利要求69所述的方法,其中,所述生理特征是所述瞳孔,并且其中,所述瞳孔的大小是基于所述第一界面和所述第二界面。
71.根据权利要求69所述的方法,其中,所述生理特征是所述瞳孔,并且其中,所述瞳孔的所述位置基于所述瞳孔的中心,所述中心是基于所述第一界面和所述第二界面来识别的。
72.根据权利要求65所述的方法,其中,所述生理特征是所述眼睛的虹膜与瞳孔之间的界面,并且其中,所述显示系统确定所述界面的位置。
73.一种存储指令的非暂态计算机存储介质,所述指令在由一个或多个处理器的显示系统执行时使得所述一个或多个处理器执行包括以下各项的操作:
调整被引导到用户眼睛上的光图案的位置,以使得所述光图案在所述眼睛上移动;
获得多个光强度图案,所述光强度图案表示在不同时间的光检测器信号,在调整所述光图案的位置期间从相应的光检测器获得所述光检测器信号;以及
基于所述光强度图案,确定所述眼睛的生理特征的大小和/或位置。
74.根据权利要求73所述的计算机存储介质,其中,所述操作还包括:
基于所述光强度图案,确定所述眼睛的虹膜与瞳孔之间的第一界面。
75.根据权利要求74所述的计算机存储介质,其中,确定所述界面是基于所述光强度图案中的峰值和/或谷值的位置。
76.根据权利要求74所述的计算机存储介质,其中,所述操作还包括:
基于所述光强度图案,确定所述眼睛的虹膜与瞳孔之间的第二界面。
77.根据权利要求76所述的计算机存储介质,其中,所述生理特征是所述瞳孔,并且其中,所述瞳孔的大小是基于所述第一界面和所述第二界面来确定的。
78.根据权利要求76所述的计算机存储介质,其中,所述生理特征是所述瞳孔,并且其中,所述瞳孔的所述位置是基于所述瞳孔的中心,所述中心是基于所述第一界面和所述第二界面来识别的。
79.根据权利要求73所述的计算机存储介质,其中,所述生理特征是所述眼睛的虹膜与瞳孔之间的界面,并且其中,所述显示系统确定所述界面的位置。
80.一种被配置为向用户呈现虚拟内容的显示系统,所述显示系统包括:
光源,其被配置为输出光;
可移动反射器,其被配置为将所输出的光反射到所述用户的眼睛,以在所述眼睛上扫描由所述光形成的图案;
多个光检测器,其被配置为检测在所述眼睛上扫描的光的反射;以及
一个或多个处理器,其被配置为执行包括以下各项的操作:
经由所述光检测器获得相应的光强度图案,其中,光强度图案表示在不同时间的光检测器信号,在所述眼睛上扫描所反射的光期间获得所述光检测器信号;以及
基于所述光强度图案,确定所述眼睛的旋转速度。
81.根据权利要求80所述的显示系统,其中,确定所述眼睛的所述旋转速度包括:确定所述眼睛的扫视速度。
82.根据权利要求81所述的显示系统,其中,所述操作还包括:基于所述扫视速度,预测所述眼睛的姿势。
83.一种由一个或多个处理器的显示系统实现的方法,所述显示系统被配置为至少部分地基于用户的眼睛的眼睛姿势,向所述用户呈现虚拟内容,其中,所述方法包括:
调整被引导到所述眼睛上的光图案的位置,以使得所述光图案在所述眼睛上移动;
获得多个光强度图案,所述光强度图案表示在不同时间的光检测器信号,在调整所述光图案的位置期间从相应的光检测器获得所述光检测器信号;以及
基于所述光强度图案,确定所述眼睛的旋转速度。
84.一种存储指令的非暂态计算机存储介质,所述指令在由一个或多个处理器的显示系统执行时使得所述一个或多个处理器执行包括以下各项的操作:
调整被引导到用户眼睛上的光图案的位置,以使得所述光图案在所述眼睛上移动;
获得多个光强度图案,所述光强度图案表示在不同时间的光检测器信号,在调整所述光图案的位置期间从相应的光检测器获得所述光检测器信号;以及
基于所述光强度图案,确定所述眼睛的旋转速度。
CN202080081999.0A 2019-11-26 2020-11-23 用于增强或虚拟现实显示系统的增强眼睛跟踪 Pending CN114761859A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962940785P 2019-11-26 2019-11-26
US62/940,785 2019-11-26
PCT/US2020/061860 WO2021108327A1 (en) 2019-11-26 2020-11-23 Enhanced eye tracking for augmented or virtual reality display systems

Publications (1)

Publication Number Publication Date
CN114761859A true CN114761859A (zh) 2022-07-15

Family

ID=75974054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080081999.0A Pending CN114761859A (zh) 2019-11-26 2020-11-23 用于增强或虚拟现实显示系统的增强眼睛跟踪

Country Status (5)

Country Link
US (1) US11681362B2 (zh)
EP (1) EP4066044A4 (zh)
JP (2) JP7467623B2 (zh)
CN (1) CN114761859A (zh)
WO (1) WO2021108327A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021247435A1 (en) * 2020-06-05 2021-12-09 Magic Leap, Inc. Enhanced eye tracking techniques based on neural network analysis of images

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US6396461B1 (en) * 1998-08-05 2002-05-28 Microvision, Inc. Personal display with vision tracking
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
AU2011220382A1 (en) * 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
JP6185844B2 (ja) 2010-12-24 2017-08-30 マジック リープ, インコーポレイテッド 人間工学的ヘッドマウントディスプレイデバイスおよび光学システム
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CN103635891B (zh) 2011-05-06 2017-10-27 奇跃公司 大量同时远程数字呈现世界
EP2760363A4 (en) 2011-09-29 2015-06-24 Magic Leap Inc TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION
BR112014010230A8 (pt) 2011-10-28 2017-06-20 Magic Leap Inc sistema e método para realidade virtual e aumentada
WO2013152205A1 (en) 2012-04-05 2013-10-10 Augmented Vision Inc. Wide-field of view (fov) imaging devices with active foveation capability
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
EP2895910A4 (en) 2012-09-11 2016-04-20 Magic Leap Inc ERGONOMIC HEAD-MOUNTED DISPLAY DEVICE AND OPTICAL SYSTEM
US10231614B2 (en) 2014-07-08 2019-03-19 Wesley W. O. Krueger Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
NZ751602A (en) 2013-03-15 2020-01-31 Magic Leap Inc Display system and method
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
EP3058418B1 (en) 2013-10-16 2023-10-04 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
KR102268462B1 (ko) 2013-11-27 2021-06-22 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20150324568A1 (en) 2014-05-09 2015-11-12 Eyefluence, Inc. Systems and methods for using eye signals with secure mobile communications
US10852838B2 (en) 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10317672B2 (en) * 2014-12-11 2019-06-11 AdHawk Microsystems Eye-tracking system and method therefor
EP3304172A4 (en) * 2015-05-28 2019-01-02 North Inc. Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays
WO2016195066A1 (ja) * 2015-06-05 2016-12-08 聖 星野 眼球の運動を検出する方法、そのプログラム、そのプログラムの記憶媒体、及び、眼球の運動を検出する装置
US9904051B2 (en) * 2015-10-23 2018-02-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking
US10372205B2 (en) * 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
EP3448234A4 (en) * 2016-04-30 2019-05-01 Envision Diagnostics, Inc. MEDICAL DEVICES, SYSTEMS AND METHODS FOR OPERATING OCULAR EXAMINATIONS AND OCULOMETRY
KR20230133940A (ko) 2016-07-25 2023-09-19 매직 립, 인코포레이티드 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화
US10698482B2 (en) 2016-12-01 2020-06-30 Varjo Technologies Oy Gaze tracking using non-circular lights
JP7424834B2 (ja) * 2017-03-21 2024-01-30 マジック リープ, インコーポレイテッド 空間光変調器を照明するための方法、デバイス、およびシステム
JP7273720B2 (ja) * 2017-03-21 2023-05-15 マジック リープ, インコーポレイテッド 光走査プロジェクタと連動した眼移動の追跡のための方法およびシステム
CN110494793B (zh) 2017-04-04 2022-01-18 国立大学法人福井大学 影像生成装置和影像生成方法
IL310727A (en) * 2017-04-27 2024-04-01 Magic Leap Inc Light emitting user output device
US10521658B2 (en) * 2017-07-07 2019-12-31 Facebook Technologies, Llc Embedded eye tracker with dichroic mirror
US20190019448A1 (en) * 2017-07-12 2019-01-17 Oculus Vr, Llc Redundant microleds of multiple rows for compensation of defective microled
US20190018483A1 (en) * 2017-07-17 2019-01-17 Thalmic Labs Inc. Dynamic calibration systems and methods for wearable heads-up displays
EP3462382A1 (en) * 2017-10-02 2019-04-03 Facebook Technologies, LLC Eye tracking system using dense structured light patterns
JP7390297B2 (ja) 2018-01-17 2023-12-01 マジック リープ, インコーポレイテッド 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け

Also Published As

Publication number Publication date
US11681362B2 (en) 2023-06-20
US20210157401A1 (en) 2021-05-27
JP2023502337A (ja) 2023-01-24
JP2024045580A (ja) 2024-04-02
EP4066044A1 (en) 2022-10-05
JP7467623B2 (ja) 2024-04-15
EP4066044A4 (en) 2023-12-27
WO2021108327A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
AU2022218527B2 (en) Augmented reality systems and methods with variable focus lens elements
US20220028175A1 (en) Multi-depth plane display system with reduced switching between depth planes
US11828946B2 (en) Systems and methods for retinal imaging and tracking
CN109154723B (zh) 虚拟和增强现实系统和方法
US11138793B2 (en) Multi-depth plane display system with reduced switching between depth planes
IL308780A (en) Improved positioning for a display device
US11954251B2 (en) Enhanced eye tracking techniques based on neural network analysis of images
JP2023126268A (ja) 低遅延瞳孔トラッカーを伴うディスプレイシステム
US11860370B2 (en) Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions for efficient light utilization
JP2024045580A (ja) 拡張または仮想現実ディスプレイシステムのための向上された眼追跡
CN113647085A (zh) 具有一维像素阵列和扫描镜的显示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination