CN107438796A - 近眼显示装置 - Google Patents

近眼显示装置 Download PDF

Info

Publication number
CN107438796A
CN107438796A CN201480084628.2A CN201480084628A CN107438796A CN 107438796 A CN107438796 A CN 107438796A CN 201480084628 A CN201480084628 A CN 201480084628A CN 107438796 A CN107438796 A CN 107438796A
Authority
CN
China
Prior art keywords
light
slm
eye display
display device
nearly eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480084628.2A
Other languages
English (en)
Other versions
CN107438796B (zh
Inventor
H·尤里
E·乌卢索伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CY Vision Inc
Original Assignee
CY Vision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CY Vision Inc filed Critical CY Vision Inc
Publication of CN107438796A publication Critical patent/CN107438796A/zh
Application granted granted Critical
Publication of CN107438796B publication Critical patent/CN107438796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B27/0103Head-up displays characterised by optical features comprising holographic elements
    • G02B2027/0105Holograms with particular structures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H2001/2223Particular relationship between light source, hologram and observer
    • G03H2001/2231Reflection reconstruction
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H2001/2223Particular relationship between light source, hologram and observer
    • G03H2001/2234Transmission reconstruction
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249Holobject properties
    • G03H2001/2252Location of the holobject
    • G03H2001/226Virtual or real
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00Active addressable light modulator
    • G03H2225/60Multiple SLMs
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2227/00Mechanical components or mechanical aspects not otherwise provided for
    • G03H2227/02Handheld portable device, e.g. holographic camera, mobile holographic display
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2227/00Mechanical components or mechanical aspects not otherwise provided for
    • G03H2227/05Support holding the holographic record
    • G03H2227/06Support including light source
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2270/00Substrate bearing the hologram
    • G03H2270/55Substrate bearing the hologram being an optical element, e.g. spectacles

Abstract

一种近眼显示装置包括一个空间光调制器。该空间光调制器调制照射波,以产生导入出射瞳平面的有效部位的虚拟场景波。较高级衍射及噪声光束被用户的瞳孔作为空间滤波器滤除。

Description

近眼显示装置
技术领域
本发明主要涉及光学系统,更具体地,涉及近眼显示装置。
背景技术
头戴式显示器(HWD)通常采用显示二维(2D)常规图像的微显示器。由于微显示器与眼睛之间的物理距离通常远小于25cm(人眼能正常聚焦的最小距离),除非中继光学器件被置于两者之间,否则会在视网膜上形成模糊图像。中继光学器件通常包括多个透镜,其用于形成超过25cm(大部分在无穷远处)的微显示器的放大的虚像,眼睛可以在其上聚焦并形成清晰的视网膜图像。
由于被插入以补偿相差的附加组件导致大FOV设计的重量和体积增加,故而采用微显示器的轻型HWD设计(例如仅使用单个放大镜透镜的设计)通常受限于具有小视野(FOV)的系统。例如,最近出现的Google眼镜(其具有相当薄的形状因数)基本由一个小的(~1cm对角线)微显示器和一个简单的正透镜组成,但FOV有限,超过该FOV后像差将变得严重。另一方面,高端军用显示器可以支持接近150度甚至更大的FOV,但其重达5kg或以上,且可能包含10个以上的不同的镜头,其中大部分镜头用于补偿由于FOV扩大所导致的像差。由于微显示器产生的信息在其产生的同时在空间中快速传播,因此不存在能够被设计成形成大尺寸微显示器的无相差图像的单一光学部件,故而拥有这么多镜头不仅仅是个技术问题,而是个根本问题。
基于微显示器的HWD设计也不能提供终极的三维(3D)视觉体验。这些HWD设计通常仅提供立体图像,这些立体图像基本上仅通过双目视差来产生3D感觉。单眼线索,尤其是调节,通常是不支持或是不正确的。立体系统用户通常遭受由所谓调节-会聚冲突引起的视觉疲劳,其中当调节被不正确地设定至屏幕时眼睛真正会聚于3D对象的表观位置以使视网膜图像变清晰。当虚拟物体近于50cm时视觉疲劳尤其严重。
附图说明
图1示出了近眼显示装置的透视图;
图2示出了图1的近眼显示装置的俯视图;
图3示出了一种手持式近眼显示装置;
图4示出了被照射并产生虚拟场景波的空间光调制器(SLM)的横截面;
图5示出了描绘用户所看到的虚拟场景的图4的横截面;
图6示出了具有像素化结构的空间光调制器;
图7示出了产生噪声波束和多个衍射级的SLM的横截面;
图8示出了图7的横截面,其中用户眼睛的瞳孔滤除了不想要的噪声束和衍射级;
图9、10和11示出了出射瞳平面上的多个衍射级及其有用部分;
图12示出了一种光学架构,其中SLM被放置于会聚光束路径上;
图13示出了一种光学架构,其中SLM被发散波前照射;
图14示出了具有点光源和SLM的光学架构,无其他具有屈光力的部件;
图15示出了一种光学架构,其中SLM以时间顺序方式由点光源阵列照射;
图16示出了具有针对相关发射锥体的多个光源和光阑的光学架构;
图17示出了反射SLM直接置于用户眼睛前面的光学架构;
图18,19和20示出了真实世界视觉不被SLM阻止的光学架构;
图21示出了反射SLM直接置于用户眼睛前面的光学架构;
图22-28示出了真实世界视觉不被SLM阻止的光学架构;
图29示出了SLM与反射器组合的光学架构;
图30示出了基于反射器的用于单个方向上调制的解决方案;
图31示出了具有SLM平铺的虚拟现实(VR)架构;
图32示出了具有SLM平铺的VR架构;
图33示出了VR显示架构;
图34示出了获得双重分辨率的两个拼接的SLM;
图35示出了具有高分辨率部分和低分辨率部分的近眼显示装置;
图36示出了用于中央凹视力的高分辨率图像和用于周边视力的较低分辨率;
图37示出了导入用户瞳孔位置的高分辨率图像;
图38和39示出了具有旋转全息图模块以形成可操控的高分辨率图像的显示系统;
图40示出了具有移动平台的近眼显示装置的一部分;
图41示出了装有SLM的移动平台;
图42示出了近眼显示装置的具有带有条阵列的移动平台的一部分;
图43示出了带有条阵列的移动平台,其中条阵列上装有多个SLM及微显示器;
图44示出了在两个维度上移动以提高分辨率的移动平台;
图45示出了具有变换器以与用户进行互动以用于校准的近眼显示装置;
图46示出了根据本发明的多个实施例的校准方法的流程图;
图47示出了校准时向用户展示的示例图像;
图48示出了根据本发明的多个实施例的校准方法的流程图;
图49示出了校准时向用户展示的示例图像;
图50示出了根据本发明的多个实施例的校准方法的流程图;
图51示出了校准时向用户展示的示例图像;
图52示出了根据本发明的多个实施例的校准方法的流程图;
图53示出了具有用于校准的致动器的近眼显示装置;
图54示出了用于校准的用户眼睛的图像;
图55示出了具有用于校准的致动器的图53所示的近眼显示装置;
图56示出了表示SLM数据计算的流程图;
图57-64示出了阐明计算程序基本原理的多个空间角(或空间-频率)分布;
图65示出了全息图快速计算;
图66示出了向用户的视网膜传送无斑点图像方法的基本原理;
图67示出了产生二维会聚光束的背光单元的透视图;
图68示出了图67所述背光单元的横截面,示出了散射点和线性排列的微镜阵列;
图69示出了图67所述背光单元的横截面,示出了布置成菲涅耳镜的光散射装置和反射光学元件;
图70示出了图67所述背光单元的横截面,示出了布置成自由形式凹面反射器的光散射装置和反射光学元件;
图71示出了图67所述背光单元的横截面,示出了散射点和非线性布置的微镜阵列;
图72示出了具有外部光源的背光单元;
图73示出了具有透射SLM的背光单元的横截面;
图74示出了具有反射SLM的背光单元的横截面;
图75示出了具有交叉偏振器的背光单元的横截面;
图76示出了具有反射镜的背光单元的横截面;
图77示出了具有光纤的背光单元的横截面;
图78示出了产生一维会聚光束的背光单元的透视图;
图79示出了产生准直光束的背光单元的透视图
图80示出了产生发散光束的背光单元的透视图;
图81示出了平板波导、楔形件和具有微镜阵列的部件的横截面;
图82示出了图81所示装置的俯视图;
图83示出了平板、楔形件、具有微镜阵列的部件以及沿着板排列的SLM的横截面;
图84示出了平板波导、楔形件、具有微镜阵列的部件以及位于楔形件和具有微镜阵列部件之间的SLM的横截面;
图85示出了平板波导、楔形件、具有微镜阵列的部件以及位于楔形件下方的SLM的横截面;
图86示出了平板波导、楔形件、具有微镜阵列的部件以及位于平板入口处的SLM的横截面;
图87示出了平板波导、楔形件、具有微镜阵列的补偿楔形件以及位于楔形件下方的SLM的横截面;
图88示出了具有90度弯曲的平板波导、楔形件、具有微镜阵列的光学部件以及SLM的横截面;
图89示出了平板波导、楔形件、以及用于眼动跟踪的相机的横截面;
图90示出了具有平板波导、楔形件、具有微镜阵列的部件、SLM以及用于眼动跟踪的相机的近眼显示装置;
图91示出了平板波导、弯曲楔形件以及补偿板;
图92示出了平板波导、弯曲楔形件以及位于会聚光束中的SLM;
图93示出了平板波导、弯曲楔形件以及位于平板顶部的SLM;
图94示出了平板波导、弯曲楔形件以及位于平板波导入口处的SLM;
图95示出了平板波导、弯曲楔形件以及用于眼动跟踪的相机;
图96示出了图91所示装置的透视图;
图97示出了具有平板波导、弯曲楔形件、SLM以及用于眼动跟踪的相机的近眼显示装置;
图98示出了具有移动平台组件的近眼显示装置;
图99示出了移动平台组件的横截面;
图100示出了移动平台组件的透视图;
图101示出了置于眼睛中的接触透镜的侧视图;
图102示出了图101所示接触透镜的正视图;
图103示出了眼睛中的接触透镜和移动平台组件的横截面;
图104示出了具有移动平台组件的近眼显示装置;
图105示出了具有旋转杆的近眼显示装置的透视图;
图106-108示出了具有旋转杆的近眼显示装置的正视图;
图109及110示出了旋转杆致动的实施例;
图111示出了具有在两个维度上移动的平台的近眼显示装置的正视图;
图112示出了无接触透镜的外部显示装置;
图113示出了包括LED阵列的近眼显示装置的透视图;
图114示出了二维LED阵列;
图115及116示出了使用多个LED进行瞳孔跟踪的俯视图;
图117示出了包括旋转SLM的近眼显示装置的透视图;
图118及119示出了使用旋转SLM进行瞳孔跟踪的俯视图;
图120示出了包括旋转SLM和LED阵列的近眼显示装置的透视图;
图121示出了用于小角度的旋转及用于大角度LED选择的流程图;
图122示出了用于小角度的旋转及用于大角度的衍射级选择的流程图;
图123示出了包括主动式光栅的近眼显示装置;
图124及125示出了使用SLM及主动式光栅进行瞳孔跟踪的俯视图;
图126示出了具有主动式光栅及LED阵列的组合的近眼显示装置;
图127示出了用于小角度的光栅驱动及用于大角度的LED选择的流程图;
图128示出了用于小角度的光栅驱动及用于大角度的衍射级选择的流程图;
图129及130示出了不同深度的虚拟场景的增强现实图;
图131示出了根据本发明的各个实施例的近眼显示装置的框图;以及,
图132示出了具有透明触摸感应层的近眼显示装置。
具体实施方式
下列详细描述中,对附图进行了参照,该附图通过图解方式示出了可实践本发明的具体实施方式。对这些实施例进行了详细描述,以使本领域技术人员能够实践本发明。应当理解,尽管本发明的各种实施例并不相同,但其不一定是相互排斥的。例如,本发明一个实施例中描述的特定特征、结构或特性可在不脱离本发明的范围的情况下,应用于其他实施例中。此外,应当理解,在不脱离本发明的范围的情况下,可以改动每个公开的实施例中的各个元件的位置或布置。因此,以下详细描述不应被认为是限制性的,并且本发明的保护范围仅由恰当解读的所附权利要求以及所附权利要求所享有的等同的全部范围来限定。在附图中,相同的附图标记在几个视图中指代相同或相似的功能。
图1示出了近眼显示装置的透视图。近眼显示装置100包括眼镜架形状的框架102。近眼显示装置100还包括空间光调制器(SLM)110、点光源120、电子模块160以及电缆170。在图1所示的实施例中,近眼显示装置是一种头戴式显示器(HWD),但这并非对本发明的限制。在一些实施例中,近眼显示装置并非头戴式的。下面将进一步讨论非头戴式近眼显示装置的多个实施例。
点光源120可包括任何类型的光源。例如,在一些实施例中,点光源120包括激光光源。再例如,在一些实施例中,点光源120包括紫外(UV)光源,红外线(IR)光源,或其他可见光或不可见光光源。
在操作中,近眼显示装置100向用户展示看起来位于眼镜外侧的2D或3D虚拟场景150的单色或全色视频。对于所显示的视频的每一帧,点光源120产生具有单一波长的相干光波,该相干光波照射安装在眼镜前部的空间光调制器(SLM 110)。SLM空间调制入射波的相位和/或幅度并将其反射至用户的眼睛,大体以130示出。在一些实施例中,近眼显示装置100为单色显示装置,且点光源120仅产生单色的相干光波。在其他实施例中,近眼显示装置100是全色显示装置,点光源120以时间顺序的方式产生不同波长的相干光波。
对于每个视频帧,SLM上的数据是计算机生成的虚拟场景的全息图像。SLM上的数据由计算机单元计算和馈送,计算机单元可以作为电子模块160装置在框架102上,或者可以通过电缆170或无线链接(未示出)连接至显示设备。
电子模块160可以包括任何合适的组件。例如,在一些实施例中,电子模块160包括用于驱动点光源120的驱动电路,以及用于存储SLM数据并使用该数据驱动SLM 110的数字处理组件。还例如,电子模块160可以包括处理器和存储器,或任何其它合适的电子部件。
在一些实施例中,SLM数据在显示的同时被实时计算。在这些实施例中,电子模块160计算SLM数据并且利用这些SLM数据驱动SLM 110以实时创建虚拟场景150。实时SLM数据可以是头部跟踪数据、瞳孔跟踪数据、环境数据(例如,环境光,用户视野中的对象等)的函数。
在其他实施例中,SLM数据经预先计算并存储以供在显示时间内检索。例如,用于整个虚拟环境的SLM数据可被预先计算并存储。当用户穿过虚拟环境时,合适的SLM数据将被提取并显示。在另外的实施例中,一部分SLM数据是预先计算的,一部分SLM数据是实时计算的。
点光源120示出于框架102的外部,且SLM 110是反射性的。在其他实施例中,点光源的位置不同,且SLM是透射式的。例如,在一些实施例中,点光源120安装于两个SLM之间的鼻梁上,并且由点光源120产生的光被馈送到背光单元,与如图1所示相比,背光单元从相反侧照射SLM。参考后面的图对上述及其他光学架构加以描述。
图2示出了图1的近眼显示装置的俯视图。由SLM 110反射的波130向用户的眼睛210传播,并在出射瞳平面220上形成光波分布,出射瞳平面220被定义为正好位于用户眼睛前方的平面,并且与用户的眼睛瞳孔212的预期位置相一致。在出射瞳平面上的形成的部分光波被用户的眼睛瞳孔212截取并传播到视网膜,并在视网膜上形成虚拟场景的3D图像。在一些实施例中,现实世界视图被叠加在虚拟场景上;在其他实施例中,现实世界视图被封锁,并且在视网膜上形成的唯一图像为虚拟场景。
通常,显示虚拟场景并阻止现实世界视图的系统被称为“虚拟现实”(VR)系统,并且,将现实世界视图与虚拟场景叠加的系统被称为“增强现实”(AR)系统。
图3示出了一种手持式近眼显示装置。本发明中,术语“近眼显示装置”指从小于人眼能正常聚焦的典型最小距离(例如,25厘米)的物理距离处在出射瞳平面上产生虚拟场景的光波分布的任何装置。近眼睛显示装置可以是手持式的,如图3所示,或者可以是图1那样的头戴式。近眼显示装置可以是静止的,以用于用户被期望将头部抵靠或靠近近眼显示装置的应用(例如,VR演示器)。
图3所示的是一对双筒望远镜形状的示例性手持式近眼显示装置,但这并非对本发明的限制。任何类型的近眼显示装置:头戴式、手持式(例如,照相机中的电子取景器、可折叠图像查看器、智能电话)或其它,均可包括本发明的实施例。
任何近眼显示装置(例如,近眼显示装置300)可包括本文所述的任何发明实施例。例如,任何近眼显示装置可包括本文所述的在出射瞳平面220上产生光波分布的任何实施例。
图4示出了被照射并产生虚拟场景波的SLM的横截面。SLM 410被示为透射SLM。照明光学模块440产生相干照射波442并通过该相干照射波442照射SLM 410。SLM 410调制光并产生虚拟场景波412。成像在用户的视网膜424上的3D虚拟场景编码于虚拟场景波412中。只有在出射瞳平面220上与用户瞳孔212相交的那部分虚拟场景波在视网膜上产生图像。虚拟场景波中的、落在用户瞳孔外的其他信息被过滤掉,且不会进入用户的眼睛。下面将详细讨论采用光瞳滤波的各种发明实施例。
这里所示的照明光学模块440产生会聚照射波。在一些实施例中,这是通过光源以及诸如反射镜、微镜阵列、透镜等光学部件实现的。下面将详细描述各实施例中的照明光学模块。在一些实施例中,照明光学模块不一定产生会聚照射波。例如,照明光学模块的一个简单示例是点光源120(图1)。在这种情况下,照射波是发散波。而在下面所示的其他实施例中,照射波由包含多个点光源的阵列产生。然而,无论如何,在足够大的SLM区域中,照射波必须具有一定程度的空间一致性。
SLM基本上是动态可编程的衍射光学元件。存在各种不同的SLM技术。基于向列液晶(LC)的SLM利用各向异性LC的电控折射率来调制入射光的偏振,强度或相位。调制类型取决于所使用的LC的模式。扭转向列型LC在受控范围内旋转入射光的偏振,与两侧的偏振器一起使用以构成适合于非相干光应用的强度调制器,常见于2D显示器中。平行排列向列(PAN)(或电控双折射(ECB))模式LC最适用于相干光应用,并且它们可用作仅多级相SLM。基于LC的透射性SLM具有大的像素间距,这是由于与每个像素相关联的电子电路都必须嵌入像素孔内。基于硅上晶体(LCoS)技术的反射性SLM可被制成具有更小的像素间距,因为电子器件可以被掩埋在像素之下。基于向列LC的SLM的一个优点是这些设备可执行多级调制。然而,其性能受像素串扰和低帧速率的限制,这可能成为彩色场序全息应用中的问题。基于铁电LC的SLM具有高得多的帧速率,其代价仅仅是在每个像素处进行二进制调制。
基于微机电系统(MEMS)的SLM在帧速率方面是有利的,且基本上无像素串扰。数字微镜设备(DMD)可用作SLM。然而,它只提供二进制调制。此外,这些器件的复杂像素结构使得其像素间距难以减小。其他MEMS SLM可以使用可变形膜结构、活塞式微镜阵列、如光栅光阀装置、电润湿和磁光克尔效应器件等的可编程衍射光栅或MEMS激光扫描器来实现。
本发明的各种实施例可以采用上述的任何SLM技术或其它技术,包括但不限于:光编址SLM,声光SLM,磁光SLM,MEMS反射镜等。
图5示出了描绘用户所看到的虚拟场景的图4的横截面。虚拟场景150包括一个虚拟对象:汽车的3D图。在不脱离本发明的范围的情况下,虚拟场景中可以包括任何数量的对象。在操作中,SLM 410将照射波转换成由虚拟场景150发出的虚拟场景波。
SLM的限制对本发明的各种实施例的性能、局限性和设计具有重要的意义。如上所述,且如图4所示,在操作中,SLM被相干波阵面照射,相干波阵面由作为照明光学模块440的一部分的光学部件及光源产生。显示在SLM上的由计算机产生的全息图像帮助将照射波转换成将由虚拟场景150发出的虚拟场景波。因此,SLM是将关于虚拟场景的信息馈送到被传递给用户眼睛的光波上的设备。然而,由于实际SLM的限制和局限性,SLM能够仅合成虚拟场景发出的一部分波,而入射波仅部分转换为虚拟场景所产生的波。
特别地,真正的SLM具有有限的空间大小,这限制了所显示的虚拟场景的大小(或虚拟场景在内部可见的视野(FOV)),也限制了空间带宽(像素间距通常为波长的几倍),其限制了每个虚拟场景点发出的波的可重建部分。
由于SLM的像素化结构,SLM还会产生更高的衍射级。这些衍射级对应于要显示的虚拟场景的转移复制物,如果允许其进入眼睛并传播到视网膜,则会显示为重像复制物。
此外,将照射波转换成由虚拟场景发出的波的、计算机生成的全息图像通常是模拟量和复值,而实际的SLM只能执行有限类型的调制:仅相位、幅度、二进制等;且仅提供有限数量的不同值。因此,被量化并编码理想复值的计算机生成的全息图像的、有限类型的计算机产生的全息图像在SLM上计算并显示。然而,除了期望波之外,该过程导致出现额外的非期望波束,我们称之为“噪声波束”。应该执行编码以使所产生的噪声光束不会进入眼睛,否则将在显示的图像上观察到背景噪声。
当SLM基本上提供实值调制(例如二进制SLM或纯振幅SLM)时,将形成共轭光束。这些共轭光束,对应于第二虚拟场景发出的波,也应被阻止进入眼睛,其中第二虚拟场景是实际虚拟场景相对于出射瞳平面的镜像。
此外,一些SLM留下未调制的入射波的分量。该分量,我们称之为未调制的“DC光束”,也应被阻止进入眼睛。
下面参考后面的附图进一步描述用于生成要在SLM上显示的全息图像的计算方法。
图6示出了具有像素化结构的SLM。SLM的像素化结构与光波的采样和插值密切相关。应用于SLM上的最终模拟光掩模结构可以通过对计划显示在SLM上的理想全息图像进行采样和重新得到。采样率由SLM的像素间距决定,SLM的像素孔径函数构成插值函数。众所周知,当信号在空间域内被采样时,其频谱在空间频域中周期性地重复。因此,抽样导致计划显示在SLM上的理想全息图像的信号重复,这些重复被称为“较高衍射级(HDO)”。由于实际SLM的像素孔径函数是空间限制函数(具有由衰减但非限制尾部构成的傅里叶变换),复制物在由SLM实现的最终模拟掩模的傅里叶变换中部分存活,导致可观察到的较高衍射级数。
作为一个简单的例子,图6示出了位于用户眼睛的良视距D处的、具有像素间距P的SLM。对于小角度,出射瞳平面上的衍射级之间的距离X可以近似为
其中λ为入射至SLM的光的波长。
如下面进一步讨论的,本发明的各种实施例中针对像素间距、视距、波长及其他参数选择不同数值,使得用户的眼睛瞳孔形成有效的空间滤波器。
图6以及其他附图中所示的SLM中的剖面线样式均不局限任何特定尺寸。剖面线样式,当被包含在图内时,被用于视觉辅助以将SLM与图中的其它光学部件区分开来,并不意味着暗示实际的像素间距尺寸。
图7示出了产生噪声波束和多个衍射级的SLM的横截面。SLM 710可以是透射式或反射式的。图7显示了由SLM调制的光,但未显示照射波。照射波可来自任意方向。落在出射瞳平面220上的光波包括虚拟场景波(第0级),较高衍射级(HDO)和噪声波束。
出射瞳平面的有用部分是仅理想地包括虚拟场景波而不包含无其他东西的那部分。如图7所示,噪声波束和HDO不包括在出射瞳平面的有用部分中。如下面所进一步描述的,当用户眼睛的瞳孔基本上与出射光瞳平面的有用部分对准时,由虚拟场景波所表示的正确的虚拟场景将被投影至用户的视网膜上。
图8示出了图7的横截面,其中用户眼睛的瞳孔滤除了不想要的噪声束和衍射级。图8所示实施例通过使用用户眼睛的瞳孔作为空间滤波器消除了HDO、噪声波束、DC波束、共轭波束及其它潜在的干扰波束。在这些实施例中,在近眼显示装置内,没有在不需要的波束到达出射瞳平面之前对它们进行消除的尝试(光学或计算地)。但通过设计系统的光学架构及计算SLM上的全息图像,使得在出射瞳平面上存在仅有虚拟场景波存在的有用部分,且所有其它不需要的光束均落在该区域之外。若该有用部分的大小至少与用户瞳孔大小相当,并且(如果需要的话),该有用部分跟随用户眼瞳的移动而移动,则不需要的波束将被用户瞳孔消除,且不会传播到视网膜。我们将这种技术称之为“瞳孔滤波”,这种技术有利于减少光学设计中的体积,但要求SLM像素间距足够小,或者要求SLM的空间带宽足够高(参见图6)。
在未使用光瞳滤波的一些实施例中,可在系统内使用滤光器(例如4f滤光片)在HDO和噪声光束到达出射瞳平面之前将其消除。然而,在这些实施例中,系统内体积增加。本文所描述的大多数本发明实施例采用瞳孔滤波,从而减小体积和重量。
图9、10和11示出了出射瞳平面上的多个衍射级及其有用部分。图9、10和11分别以黑点的形式示出了多个衍射级。最中心的衍射级是虚拟场景波,其包括期望传播到视网膜的信息。图9还示出了围绕虚拟场景波的噪声波束的示意图。在操作中,噪声波束是有限的分布,该分布未在图中示出。
出射瞳平面的理想的有用部分仅包括所有虚拟场景波,不包含其他东西。当用户的瞳孔基本上与出射瞳平面的有用部分对准时,瞳孔滤波工作,使得虚拟场景波被允许传播到视网膜,同时将其他一切滤出。实际上,并不是能总实现理想的瞳孔滤波。例如,在一些实施例中,用户的瞳孔基本上与出射瞳平面的有用部分重叠(图10)。这些实施例提供了不完美的瞳孔滤波。
一些实施例创造出足够大的出射瞳平面有用部分,使得其至少为预期的瞳孔大小。实际上,通常将最小瞳孔宽度假定为2mm。然而,我们关心的是,角膜(即眼睛的入射瞳孔)前方瞳孔图像的物理尺寸,由于角膜的透镜效应,其通常具有略大于2mm的宽度。三毫米可能是典型的最小值。因此,本发明的一些实施例创造宽度不小于约3mm的有用部分。如果有用部分的宽度小于3mm,则不需要的光束的某些部分可能进入瞳孔,降低视网膜的图像质量。此外,一些实施例将输送到眼睛的平均光功率的量保持在某一阈值之上,以便在使用显示装置时保证用户的瞳孔尺寸保持在较小的尺寸范围内。
图12-34示出了适用于本文所述的近眼显示装置中的各种光学架构。一些采用透射式SLM,一些采用反射式SLM。有些屏蔽了现实世界图像来创建虚拟现实,有些将现实世界图像叠加在虚拟场景上,以创造增强现实。本文所述的近眼显示装置不限于任何一个(或任何组合)的光学架构。通常,每个光学架构的子集可以被认为是照明光学模块的一部分(图4中的440)。此外,在下面的许多附图中所示出的光学结构是用于单只眼睛。在一些实施例中,它们被复制以创建显示器的两侧。此外,在一些实施例中,当它们被复制时,它们被镜像对称以提供对称性。
图12示出了一种光学架构,其中SLM被放置于会聚光束路径上,其中该会聚光束由放置于点光源120和投射性SLM 410之间的具有正折射力的光学部件(此处示为正透镜1210)从点光源120获得。注意,在该结构中,点光源实际上在出射瞳平面220上成像。因此,点光源在光学上位于出射瞳平面的共轭平面处。还应注意到SLM,假设其与眼睛的距离比人眼能正常聚焦的最小距离更近(25cm),其也不在与视网膜共轭的平面上。这种架构的一个优点是使得从SLM的每个像素发出的光波所直接形成的图案几乎与出射瞳平面完全重叠。因此,无论有用部分位于何处,均可从SLM的每个像素获得均匀的光功率。在该架构中,SLM用作光学掩模,该光学掩模将会聚照明光束转变为虚拟场景波的、传播到并填充出射瞳平面有用部分的一部分。对SLM空间带宽的要求是其与出射瞳平面的有用部分的宽度直接成比例。为了使瞳孔滤波技术起作用,SLM带宽必须足够大,使得有用部分至少大于用户眼睛瞳孔的预期最小尺寸。SLM的像素间距必须至少小于由点光源产生的光的波长与SLM、出射瞳平面之间的距离的乘积除以眼瞳最小尺寸的值。当SLM仅提供某种类型的限制调制时,需要更小的像素间距,以使得SLM的额外带宽可用于分离噪声波束。如果SLM提供实值调制(例如二进制幅度、或相位调制、或强度调制),则像素间距必须减半,因为一半带宽将被共轭波占用。在SLM产生未调制的DC光束的情况下,有用部分可以位于稍微偏离轴眼的位置,使得DC光束也可以被眼瞳滤除。最后,在实际实施中,将来自点光源的发散光聚焦到出射瞳平面的光学部件可以表示诸如椭圆镜、球面镜等的反射元件。这种部件既起到透镜的作用,也改变了光轴。
图13示出了一种光学架构,其中SLM被发散波前照射。由SLM调制的具有总体发散特性的光,随后由目镜1310收集并导向眼睛。点光源和出射瞳平面仍是共轭平面。SLM可在或不在视网膜的共轭平面上,这取决于其位置。在这种架构中,目镜透镜基本上形成SLM的图像,取决于SLM的位置,该图像可以是虚拟的或现实的。此处将SLM的这个图像称为“有效SLM”,并且其好像是被会聚波照射。因此,从有效SLM的角度来看,该架构相当于图12所示的架构。因此,如图12所述,若有效SLM的像素间距足够小,则瞳孔滤波技术生效。在实际的架构中,诸如椭圆形、球形等反射镜的反射面可作为此处所示目镜的光学等效物。这种架构是设计增强现实显示器的一个方便之选,尤其当SLM为反射性且非透明性时。在这种情况下,SLM可被放置在眼镜框架的侧面,且来自SLM的光可以通过半透明反射面导向眼睛,半透明反射面即是此处所示的目镜的光学等效物。这些结构在随后的附图中示出。
图14示出了具有点光源和SLM的光学架构,无其他具有屈光力的部件。与之前的两种情况相比,点光源不在出射瞳平面的光学共轭平面处,因为其不在出射瞳平面上成像。同理,SLM也并非视网膜的光共轭平面。这种架构的最大优点在于它的简单性,由于没有SLM和点光源以外的组件,因此其具有可在外形非常薄的情况下实现近眼显示装置的潜力。然而,由于SLM是被发散光照射,且来自SLM的光在出射瞳平面处保持其总体发散性,所以SLM的每个像素发出的光波所直接形成的图案在出射瞳平面上不重叠。因此,从SLM的每个像素截取的功率是变化的,导致虚拟场景上的类似变化。该变化可在计算显示于SLM上的全息图像时被部分降低。然而,不可避免地存在一些变化和黑区。
一些实施例使用具有较低填充因子的SLM。在这些实施例中,尽管存在光效率的损失,但是SLM的每个像素所直接形成的图案变得均匀,即,SLM像素光学上更接近各向同性点光源,且上述强度变化不再存在。此外,在SLM产生未调制的DC光束的实施例中,该光束并非聚焦到出射瞳平面上的单个点,而是在一个大范围内扩展开来。因此,其一部分进入有用部分。然而,由于能量在向外传播,只有未调制DC光束的一部分被截获,且若不可感知的话,视网膜上的相关背景噪声是极低的。
图15示出了一种架构,其中SLM以时间顺序方式由点光源阵列照射。作为示例,示出了五个点光源PS1至PS5,其中假定PS3为开的状态。当仅考虑点光源中的一个时,该架构与图14中所示架构相同,且存在图14中所讨论的非均匀亮度问题。然而,随着接通的点光源发生变化,SLM中为有用部分提供最大功率的部分发生了变化。或者,由SLM的特定部分贡献给有用部分的功率随着打开的点光源的变化而变化。特别地,点光源的数量和位置被设置为,当时间平均时,SLM的每个部分向有用部分发送的功率相同。因此,点光源阵列使得我们能够通过由不同点光源产生的视网膜图像的时间积分来获得视野中亮度的均匀变化。由图15表示的实施例要求比先前描述的实施例更高的帧速率SLM。更高的帧速率由点光源同步驱动,并调度多个点光源。此外,对于每个点光源而言,SLM上的全息图像需根据照射波的新位置更新。因此,需要为虚拟场景的每个视频帧计算多个全息图像。
一般来说,仅当所有光源都显著照射SLM的每一部分且通过不同点光源进行的再现过程中完全不容许串扰时,才打开点光源,并且每次打开一个。在可容忍一定弱水平串扰的一些实施例中,可以将光源分组且每次打开一组。例如,点光源PS1、PS3和PS5可组成第一组,PS2和PS4可可组成第二组。由于光源之间存在足够的间隔,因此任意组中的点光源之间的串扰很弱,并且从SLM的一部分接收的光功率由其中一个点光源主导。这样,对SLM帧速率的需求降低了。注意,在该策略中,SLM的每个区域上的全息图像是根据点光源计算的,该点光源将最高功率从该区域传送到有用部分。
图16示出了一种架构,其类似于图15所示的架构,不同之处在于所有点光源同时被打开,并且点光源的方向角被限制,可能是通过放置在点光源前的光阑来实现。在这种架构中,SLM表面被分成许多不重叠的区域(例如为举例所需标记为1-5),其中每个区域都仅被点光源之一基本照射。因此,有用部分中的光波通过来自多个点光源的波叠加形成。SLM的每个区域上的全息图像是根据相对应的光源计算得到的,且最终显示在SLM上的全息图像是通过将这些独立的全息图像连结得到的。该结构相对于图15所示的架构的优点之一是不需要更高的帧速率SLM,且每个视频帧的单个全息图像的计算都是足够的。然而,一个缺点是设置于点光源前的光阑稍微增加了系统的体积。此外,对于靠近或处在由不同点光源照明的SLM的边界区域方向上的虚拟场景点,将观察到一些衍射失真和相应的分辨率损失。
一些实施例使用散布有现有组的第二组点光源,使得第二组再次将SLM表面划分为非重叠区域,但是此时边界落入由第一组光源产生的区域的中间。在这些实施例中,第一和第二组光源以时间顺序的方式打开。靠近一组边界的对象点可能会在对应的光源组打开时被忽略,只有当另一组光源被打开时,它们才可能以两倍强度显示,以使平均功率保持一致。以这种方式,可以避免靠近边界区域的虚拟场景点的衍射失真和分辨率损失,然而,这要求SLM具有两倍的帧速率。
图17示出了反射SLM直接置于用户眼睛前面的光学架构。在图17中,反射式SLM110直接放置在眼睛的前面,并由安装在眼镜侧的点光源120所照射。该系统在光学上等同于图14所示的系统,且由于SLM阻挡了现实世界的视觉,所以该系统构成了非透视显示器。
图18示出了一种架构,其中SLM被放置使得现实世界的视觉不被阻止。在图18中,反射SLM 110被放置为使得真实世界的视觉不被阻挡的位置。SLM由安装在眼镜侧的点光源120所照射。从SLM 110反射的光被分束器1810导入到用户的眼睛。该系统在光学上等同于图14所示的系统,并且构成透视显示器。
在图19中,透射式SLM 410被直接放置在眼睛前方,使得现实世界的视觉不被阻挡,然而,由于现实世界的光通过SLM,现实世界的图像可能被稍微损坏。SLM由安装在眼镜侧上比SLM更远位置的点光源120照射。该系统在光学上等同于图14所示的系统,并且构成了具有现实世界画面有所弱化的透视显示器。
在图20中,将透射SLM 410放置在一个使得现实世界的视觉不受其存在影响的位置。SLM由安装在眼镜侧的点光源120所照射。由SLM发射的光被分束器1810导入到眼睛。该系统在光学上等同于图14所示的系统,并且构成透视显示器,而不会弱化现实世界画面。
图21示出了反射式SLM 110置于用户眼睛前面的光学架构。在图21中,使用反射型SLM实现查看式显示器。正透镜2110被放置在SLM之前。正透镜的焦距等于眼睛间隙距离。透镜将来自点光源120的发散波转换成准直光束,其以略微角度击中SLM,被调制和反射,并再次通过相同的透镜,该透镜此时充当目镜并将光导向瞳孔。该系统在光学上等同于图13中的系统。
图22-28示出了真实世界视觉不被SLM阻止的光学架构。在图22中,反射型SLM 110被放置在眼镜框架的侧面,使得反射型SLM不阻挡现实世界的视野。附加的分束器1810用于将SLM光导向用户的眼瞳。该系统在光学上等同于图12中的系统,并且构成透视显示器。
在图23中,通过透射型SLM 410实现了透视显示。来自点光源120的发散光波被正透镜1210转换成会聚波。会聚波通过SLM并被调制。SLM波采用分束器1810导入眼睛。虽然SLM 是透射型的,但是透镜和SLM都被放置在分束器之前,使得真实世界的视野不受其存在的影响。该系统在光学上等同于图12中的系统。
在图24中,通过透视型SLM实现透视显示。基本上,图23中的透镜和SLM的位置被互换。该系统在光学上等同于图13中的系统。
在图25中,示出了具有反射型SLM 110的透视显示。该系统在光学上等同于图13中的系统,其中目镜由放置在眼睛前方的半透明反射器2510代替。反射器2510可以是单件弯曲部件,例如椭圆或球面镜,或者它可以是具有不同倾斜角的微镜阵列的平坦部件。
在图26中,示出了具有反射型SLM的透视显示器。该系统在光学上等同于图13中的系统。右侧的分束器和透镜形成点光源的虚拟图像,且SLM由发散球面波照明,该发散球面波看似由所述点光源的虚拟图像产生。该波被调制,然后通过透镜和曲面镜的组合弯向眼瞳。该架构的优点在于其紧凑性,且提供不失真的透视视野。
在图27中,示出了具有透射型SLM 410的透视显示器。该系统在光学上等同于图13中的系统,且与图25所示系统不同之处仅在于SLM是透射型的。
在图28中,示出了具有透射型SLM 410的透视显示器。该系统与图13中的系统在光学上相当,且与图27所示系统不同之处仅在于包括分束器1810。
图29示出了示出了SLM与反射器组合的光学架构。如图29所示,SLM直接组装于半透明反射器上。来自点光源120的发散光照射直接组装于半透明反射体顶部的SLM。SLM反射器组合可视为一个单一的器件,其类似于LCoS SLM,但安装于透明基板上。因为SLM和反射器本质上是单个设备,所以任何击中SLM的光线也会在同一点上退出SLM。该系统在光学上等同于图13。
图30示出了基于反射器的用于单个方向上调制的解决方案。图30示出了本发明的一个实施例,其中透射型SLM 410被放置在半透明反射器2510与眼睛之间以构成透视显示器。在一些实施例中,反射器和SLM是分离的装置,其间具有相当大的空间。如果偏振器3020和3010不存在,则从点光源120发出的波将被透射型SLM调制两次:第一次为首次通过期间,第二次为被半透明反射器反射之后。这种双调制是不理想的,特别是当一些入射光线被SLM的不同部分调制时。为了消除这种双重调制,点光源发出的光波首先通过偏振片2920。作为透射型SLM,可以采用平行排列向列(PAN)模式的液晶SLM,其中液晶的LC指向轴正交于放置在点光源前面的偏振器3020的轴线。由此,由点源发出的光在首次通过期间不被SLM调制。在通过SLM之后,光波通过45度偏振旋转器3010,然后被半透明反射器2510反射,然后再次通过45度偏振旋转器3010,之后其偏振变得平行于SLM的LC导向器。然后波再次进入SLM,此时被调制。以这种方式,避免了双重调制,且入射光波仅在其第二次通过期间被SLM调制。
图31示出了SLM平铺的虚拟现实(VR)架构。来自点光源120的光由准直透镜3150准直,通过偏振器3130,并用分束器3114分成两部分。一部分被馈送到第一反射SLM 3110,另一部分被馈送到第二反射SLM 3120。来自SLM的调制光被分束器3112加入,然后通过普通目镜3140并被导入眼睛。当由于SLM包含电子控制电路的外部框架而无法并排放置时,该架构十分有用。架构中使用的SLM可以相同。
图32显示了SLM平铺的VR架构。该架构具有比图31中的架构更小的外形尺寸,但其要求SLM的LC导向器轴线彼此垂直。此外,需要满足R1=T2R2的条件,以便两个SLM接收到等量的光功率。
图33显示了VR显示架构。凹面镜3310,诸如在望远镜中所用到的凹面镜,具有开口。由两个点光源120发射的发散波通过反射镜转换成两段会聚波。会聚波照射反射型SLM110。由SLM调制的光通过反射镜之间的开口传播到出射瞳平面。
图34示出了双重分辨率的两个平铺SLM。两个相同的反射型SLM 110A和110B被放于分束器3420的两个相对面。SLM由来自照明光学器件模块3430的准直光照射。在3450处出现的光等于由通过增加两个SLM的复杂传输距离所得到的单个SLM产生的光。定位SLM使其在添加期间相对于彼此在横向平面上偏移半个像素间距。于是等效SLM 3410具有相当于每个反射型SLM的像素间距一半的像素间距。等效SLM的像素孔径函数与反射型SLM的像素孔径函数相同。由于有效SLM具有更高的像素间距,所以其带宽和衍射级之间的角度间隔增加。这种结构可以用于扩大可获得的有用部分的尺寸。
图35示出了具有高分辨率部分和低分辨率部分的近眼显示装置。高分辨率部分由插图3510提供,低分辨率部分由外围成像装置3520提供。在一些实施例中,外围成像装置3520包括微显示装置,例如有机发光二极管(OLED)显示器、液晶显示器(LCD)或反射式LCD。
在一些实施例中,高分辨率插图为上述向用户提供虚拟场景的SLM。在这些实施例中,SLM具有固定位置,所得显示器内的高分辨率插图也一样。在这些实施例中,近眼显示装置3500包括提供约30-40度高分辨率中心凹视觉的SLM以及提供低分辨率外围图像的常规2D显示。该想法建立在一个假设上:虽然人眼有一个大的FOV-大约170度–但这个FOV的很小一部分(大约6度)构成了一个时刻清晰的中心凹视图。在需要用到头部动作之前,人们通常会通过转动眼球将锐利中心凹视觉的FOV扩大至大约30-40度。因此,在30-40度的FOV范围内支持高质量的中心凹视野,并用低质量的周边加以补偿的显示器将是大FOV设计的经济之道。SLM提供的图像除了具有高分辨率之外,还带有所有自然深度线索。眼睛可以像自然视觉一样通过SLM聚焦于虚拟物体。由常规2D显示器提供的周边图像不会聚焦在视网膜上,且分辨率低。然而,其仍建立了一定程度的周边意识。
图36示出了中央凹视力的高分辨率图像和周边视力的较低分辨率。图像3600表示用户使用近眼显示装置3500看到的图像。落在FOV的中央视觉部分中的虚拟场景部分表现为高分辨率图像,而落在外围视觉部分的那部分虚拟场景部分显示为低分辨率和散焦图像。
图37示出了导入用户瞳孔位置的高分辨率图像。一些实施例提供了在视野范围内移动的高分辨率图像。这些实施例的示例参照下面的附图进行描述。图3700表示在FOV范围内,当用户瞳孔被跟踪到其看向右侧时用户所看到的图像。高分辨率插图被操纵以跟随用户的眼睛运动。
图38和39示出了具有旋转全息图模块以形成可操控的高分辨率图像的显示系统。在由图38和39所代表的一些实施例中,由SLM一次性提供的FOV仅6-10度。在其他实施例中,每次提供的多于6-10度。FOV的其余部分由常规2D显示屏覆盖。用户的瞳孔移动被跟踪,且基于这些移动来旋转全息图模块3810,以将SLM的光导向瞳孔。位于中央视觉区域内的2D显示图像部分暂时变黑,使得中央视觉仅由SLM形成,因此具有高分辨率。反射器被设计成无论眼瞳处于任何位置,SLM的光均被引向眼瞳。
旋转全息图模块3810示出为具有SLM、透镜、分束器和光源。在不脱离本发明范围的情况下,可以在旋转全息图模块3810内使用本文所述的任何光学架构。
在一些实施例中,LCD 3820用作外围成像装置3520(图35),并且旋转全息图模块3810照射LCD 3820的一部分以产生高分辨率插图3510(图35)。旋转全息图模块3810可以物理上位于近眼显示装置35的框架上。例如,旋转的全息图模块3810可以与点光源120共同定位。
图39示出了瞳孔跟踪器3910跟踪用户眼睛210和致动器3920旋转旋转全息图模块3810。当用户移动眼睛210时,瞳孔跟踪器3910向致动器3920发送信号以使全息图模块旋转。瞳孔跟踪器3910可以包括任何能够执行上述功能的合适组件。例如,瞳孔跟踪器3910可以包括一个或多个照相机、一个以上光源(例如,红外线)以及用于阐释瞳孔跟踪数据并命令致动器3920的处理元件。致动器3920可以包括任何能够执行上述功能的部件。例如,致动器3920可以是与旋转的全息图模块3810耦合的步进电动机或一系列步进电动机。
图40示出了具有移动平台的近眼显示装置的一部分。移动平台4010在用户的视野内移动。移动平台4010由安装在近眼显示装置上的电路(未示出)启动,或者通过电缆连接或无线连接方式连接到近眼显示装置上。在一些实施例中,移动平台包括光源和/或SLM。在这些实施例中,光源和/或SLM由安装在近眼显示装置上的电路(未示出)驱动,或者通过电缆连接或无线连接的方式连接到近眼显示装置。现在描述移动平台的各种实施例。
图41示出了移动平台,其上安装了覆盖约30-40度中心FOV的SLM杆以及两个LED条,每个LED条覆盖约30度的外围FOV。SLM条包括多个像素,其间距满足本文关于出射瞳平面有用部分所描述的标准。LED条可以包括任何数量的像素。在一些实施例中,LED条的分辨率小于SLM条的分辨率。整个平台4010可周期性地上下移动以扫描竖直方向。显示器被认为是透视式的,因为移动平台不会持续阻挡用户FOV的任何部分,而只能在短时间内阻挡。SLM条和LED条都具有很高的刷新率。
图42示出了带有条阵列的移动平台的近眼显示装置的一部分。移动平台4210包括在竖直方向上上下移动以填充FOV的多个条。在本文中,包括多个条的移动平台(例如平台4210)也称为“开槽平台”。移动平台4210与SLM数据被移动条4210上的各种SLM元件同步驱动。除了使用条阵列使每个条需要扫描竖直方向上的小范围区域以减轻SLM条和LED条上的帧速率约束之外,该想法与图40相似。
移动平台4210的一部分被认为包括微显示器。例如,包括LED的条4010的一部分以及条4010上方和下方的LED条构成微显示器。在一些实施例中,移动条上的微显示器具有比SLM条更低的分辨率。同样在一些实施例中,移动条上的微型显示器具有比SLM条更大的像素间距。
图43示出了带有条阵列的移动平台,条阵列上装有多个SLM及微显示器。移动平台4210包括相当于4010的多个条,以及仅包括LED的多个条。SLM条仅安装在中间条上,以便在竖直方向上覆盖30-40度的FOV。顶部和底部条仅由LED组成,因为它们不负责中心凹视觉,而只对外周视觉负责。
图44显示了一种更简单的设计,其中只有用于中心凹视觉的一个小SLM安装于中间条上,而另外两个LED条被放置以提供周边视觉。在同一时间内,SLM条只覆盖约6-7度的水平FOV。对于眼睛瞳孔的固定位置而言,该条也仅在竖直方向扫描以覆盖6-7度的垂直FOV。当眼瞳移动时,SLM条也在水平方向上移动以覆盖FOV的中央视觉部分。在一些实施例中,所示的所有条都如所述地移动,且在其他实施例中,仅具有SLM的中间条如所述移动。
图45示出了具有与用户进行校准互动的变换器的近眼显示装置。除了加入了调节旋钮4510之外,近眼显示装置4500与近眼显示装置100(图1)相似。调节旋钮4510是允许用户与近眼显示装置100交互的变换器的示例。例如,在一些实施例中,当用户被要求使用变换器进行反馈时,近睛显示装置4510可以执行校准动作。现在描述各种校准实施例。
图46、48、50和52示出了根据本发明各实施例的校准方法流程图。在一些实施例中,这些方法或相应部分由近眼显示装置执行,其实施例在本发明公开的图中示出并参照其作出描述。在其他实施例中,这些方法由计算机或电子系统执行。各种校准方法不受执行该方法的特定类型的装置的限制。此外,校准方法中所公开的动作可以按照呈现的顺序执行,或者可以以不同的顺序执行。而且,在一些实施例中,在执行方法实施例同省略了附图中列出的一些动作。
在根据图46的校准实施例中,提示用户识别任何视觉障碍的类型。提示用户的示例图像显示在4710(图47)。一旦用户进入了一种障碍状态,近眼显示装置可显示出用户可以进行选择的图表。例如,在图47所示的方法的示例执行中,用户已经选择近视,然后系统呈现图表,提示用户选择用户可以舒适地阅读的最小字母。在一些实施例中,用户可以通过观察来进行选择,在这种情况下,建立在瞳孔跟踪硬件中的情况可用于解释选择。在其他实施例中,用户可以与变换器,例如调节旋钮4510(图45)进行交互以进行选择,且在另外的实施例中,用户可以与近眼显示装置显示区域的触敏部分进行交互。
在4620处,修改光波分布以向用户呈现旨在确定用户所遭受的视觉障碍程度的至少一个测试图像。例如,在一些实施例中,向用户示出诸如4730(图47)所示的单个图像。在其他实施例中,向用户示出诸如图4920(图9)所示的多个图像。
在4630中,从用户接收关于至少一个测试图像的反馈。在一些实施例中,这相当于用户使用变换器选择图像。在其他实施例中,这相当于用户转动调节旋钮。例如,当用户与调节旋钮交互时,4730处的图像可以以不同的距离进行聚焦,直到用户的近视被克服。
在4640处,光波分布被修改以校正用户所遭受的视觉障碍。这在4740示出(图47)。如上所述,所显示的不同图像由SLM生成。可以通过SLM数据的计算来校正视觉障碍。下面进一步描述SLM数据的计算。
在根据图48的校准实施例中,光波分布被修改以向用户呈现旨在确定用户所遭受的视觉障碍(如果有的话)类型的多个测试图像。例如,在一些实施例中,向用户示出了诸如4910(图49)所示的图像。在4820处,从用户接收关于多个测试图像的反馈。在一些实施例中,这相当于用户使用变换器选择图像。在其他实施例中,这相当于用户转动调节旋钮。在另外的实施例中,这相当于用户与显示器的触敏部分交互。
在4830中,用户所遭受的视觉障碍的类型基于收到的反馈来确定。在图49所示的方法的示例执行中,用户已经选择了对应于近视的图像。
在4840中,修改光波分布以向用户呈现旨在确定用户所遭受的视觉障碍程度的第二组测试图像。例如,在一些实施例中,向用户示出了诸如图4920(图9)所示的多个图像。
在4850中,用户关于第二组测试图像的反馈被接收。在一些实施例中,这相当于用户使用变换器选择图像。在其他实施例中,这相当于用户转动调节旋钮或与触敏显示器交互。在一些实施例中,多次执行4840和4850以确定用于校正用户视觉障碍的恰当校正方法。
在4860中,光波分布被修改以校正用户所遭受的视觉障碍。这在4930示出(图49)。如上所述,所显示的不同图像由SLM生成。可以通过SLM数据的计算来校正视觉障碍。下面进一步描述SLM数据的计算。
在根据图50的校准实施例中,提示用户在5010处输入视觉障碍的类型和程度。5110和5120(图51)示出了用于提示用户的示例图像。一旦用户输入障碍类型及程度,近眼显示设备修改光波分布,以向用户呈现旨在校正用户5020中所遭受的视觉紊乱的至少一个测试图像。这在5130中示出。
在5030中,接收至少基于一个测试图像的用户反馈。在一些实施例中,这相当于用户使用变换器选择图像。在其他实施例中,这相当于用户转动调节旋钮或与触敏显示器交互。例如,当用户与调节旋钮交互时,5130处的图像可以以不同的距离聚焦,直到用户的近视被克服。
在5040中,光波分布被修改以校正用户所遭受的视觉障碍。这示出于5140(图51)。如上所述,所显示的不同图像由SLM生成。可以通过SLM数据的计算来校正视觉障碍。下面进一步描述SLM数据的计算。
在一些实施例中,用户档案被存储与近眼显示装置内以供稍后检索。同样在一些实施例中,所描述的校准方法还提供了允许亮度,对比度和颜色校正的动作。任何类型的视觉设置可被应用,且任何类型的图像增强可被并入而不脱离本发明的范围。
图52示出了根据本发明的各实施例的校准方法流程图。图52表示的方法与前述校准方法不同之处在于,由图52表示的方法与近眼显示装置上的一个或多个致动器相互作用以校正异常。
在5210,显示至少一个测试图像。这在图53中示出。请注意,在所有的校准实施例中,测试图像实际上并不显示在目镜上,而是使用上述SLM和光瞳滤波方法将测试图像制成虚拟场景的一部分。
在一些实施例中,用户被示出处于不同深度和横向位置的多个测试图像。在此过程中,两台摄像机(安装在HWD上并相对于彼此进行了良好校准)可以将其瞳孔的位置记录在5220处。如图53所示,摄像机可以是红外摄像机。可能记录下的示例图像如图54所示。
在5230处,记录的图像被用于分析查看3D图像时的用户特征,例如瞳距(IPD)和会聚特征。例如,可以分析由相机拍摄的眼睛的图像,以确定眼睛的会聚点。在一些实施例中,来自红外相机的图像被处理以精确推断眼睛间隙距离,相对于用户头部和眼睛的显示器位置、用户的瞳距等。特别地,虹膜,角膜缘以及普尔钦(Purkinje)图像之间的位置和距离(通过用户眼睛的不同层反射产生的红外光源的图像)被检测和分析,以获得目镜和用户眼睛之间的相对位置的最佳预测参数值。
基于该信息,近眼显示装置可促使致动器5310、5320和5330改变装置的物理特性以适应用户的物理特征。例如,近眼显示装置可以调整SLM位置、光源的位置、两个SLM之间的距离等。示例如图55所示。
本发明的各种实施例提供左右显示单元之间的精确校准,使其能够提供正确且舒适的3D视觉。一旦为用户校准显示器,她可以将参数保存在系统中存储的用户配置文件中。当她下一次穿戴显示器–在其他用户使用之后-她可以选择自己的配置文件。通过这种方式,显示器以便利的方式由多个用户共享。
此外,当用户佩戴显示器时,相机可快速拍摄眼睛的照片,并使用虹膜识别算法来识别已使用过显示器的用户。然后,执行针对该用户的显示器的自动重新校准。
图56示出了表示SLM数据计算的流程图。在一些实施例中,方法5600或其中的一部分,由近眼显示装置执行,其实施例已在先前的图中示出。在其他实施例中,方法5600由计算机或电子系统执行。方法5600不受执行该方法的特定类型的装置的限制。方法5600中的各动作可以按照呈现的顺序执行,也可以以不同的顺序执行。此外,在一些实施例中,方法5600中省略了图56中列出的某些动作。
如前所述,在本发明的各种实施例中,显示系统向有用部分传递将由虚拟场景产生的光波。特别地,SLM是一种组件,通过该组件将虚拟场景的信息施加于由显示器中的单个光源或多个光源产生的光波上。因此,SLM将对其进行照射的未承载信息的波转换为部分被传送至有用部分的信息承载波。由此看来,用于确定视频帧(用于通用架构)的SLM数据的主要计算步骤如下:
1.计算如5610所示的“有用部分虚拟场景波的二维复值图(two dimensionalcomplex valued profile)”。
2.如5620所示,将步骤1计算所得的“有用部分虚拟场景波的二维复值图”反向传播到SLM平面-可能通过中间组件向后传递-找到“SLM出口处的波的理想二维复值图”。
3.如5630所示,通过传播由点光源发射的波并通过可能存在的中间分量对其进行跟踪,找到“照射SLM的波的二维复值图”。
4.如5640所示,确定“理想二维模拟复值SLM透射率”,其作为透射率,SLM需实施为将步骤3计算所得“照射SLM的波的二维复值图”转化为步骤2所得“SLM出口处的波的理想二维复值图”的乘法掩模图。
5.如5650所示,对“理想二维模拟复值SLM透射率”进行适当预滤波,以补偿SLM结构(采样和插值)的影响,得到需要显示在SLM上的“理想二维复值离散SLM图像”。
6.如5660所示,根据SLM的调制能力,将步骤5中所得的理想“理想二维复值离散SLM图像”量化并编码为仅相位、二进制、仅振幅等的表示方式,并找到适合在SLM上显示的“2D实时数字SLM图像”。在此步骤中,采取措施确保产生的噪声光束落在出射瞳平面有用部分之外。
以下是计算步骤的详细说明。
1.“有用部分上虚拟场景波的二维复值图”的计算
在本发明的各种实施例中,用户通过截取传送到出射瞳平面有用部分的光波来看到虚拟场景。因此,计算过程开始于应该传送到有用部分的光波的计算,其在本文中被称为“有用部分上虚拟场景波的二维复值图”。该波载有关于虚拟场景的所有信息。理想情况下,显示系统在有用部分内只传送这个波,而无其他波。然而,如上所述,由于SLM的限制,SLM也产生若干不期望的波束,且它们传播到出射瞳平面,但有望落在有用部分之外。为了计算“有用部分上虚拟场景波的二维复值图”,首先,我们需要一个计算机图形模型来表示虚拟场景。文献中存在各种模型来表示计算机上的虚拟场景,从简单点云模型到更复杂的多边形网格模型。
在本发明的一些实施例中,使用点云模型来表示虚拟场景。在这个模型中,假设虚拟场景由有限数量的点光源组成。根据有用部分的位置,这些虚拟场景点中的一些可见,而其他一些虚拟场景点由于遮挡而不可见。可以通过将可见虚拟场景中每个可见虚拟场景发射的发散球波叠加在有用部分上来计算(对于单个波长)“有用部分上虚拟场景波的二维复值图”,如下所示:
其中:
Uvs(x,y)是有用部分上虚拟场景波的二维复值图,
M是可见虚拟场景点的数量,
Ii是虚拟场景点ith的强度,
φi是虚拟场景点ith的相位,
(xi,yi,zi)是虚拟场景点ith的位置,
λ是波长,且
根据上述公式的计算适用于单一颜色。因此,对于多色显示实施例中的所有不同颜色分量,应该重复计算。
根据上述公式的计算也仅适用于瞳孔的某个位置。在本发明的一些实施例中,在提供用户眼瞳的位置(作为眼睛或头部移动的结果)运动视差不是必要的或完全不需要的。在这些情况下,上述公式中的计算不需要更新,且仅需将眼瞳新位置的显示光导入既可,使用方法详述如下。
在本发明的一些其他实施例中,期望系统提供运动视差。在这种情况下,当眼瞳位置改变时,其相当于所观看到的虚拟场景的透视变化,需要识别变得可见的新的一组虚拟场景点,以及新的一组不可视的虚拟场景点。然后,如上所述重新计算“有用部分上虚拟场景波的二维复值图”。
在本发明的一些实施例中,多边形网格模型可能更合适,尤其当考虑到现有计算机图形硬件和软件的系统兼容性或可扩展性的情况下。在这种情况下,可以在图形处理单元(GPU)上完成大多数计算机图形相关任务,例如遮挡、阴影等。特别地,对于目标点(或对于有用部分的给定位置),由多边形网格模型表示的虚拟场景可由CPU呈现,其可处理任何遮挡,阴影等效果的GPU目前已经呈现为嵌入计算机、智能手机中的标准GPU。然后,最终渲染的RGB图像,以及深度或z缓冲数据(其为存储在GPU中的标准数据片段,并表示研究中每个渲染的虚拟场景点与视觉点之间的距离)可以从GPU导入。对于RGB图像的每个像素,可以将从z或深度缓冲区推断的点的深度位置发射的球面波项叠加以计算“有用部分上虚拟场景波的二维复值图”,如上所述。
2.“SLM出口处的波的理想二维复值图”的计算
该步骤涉及通过位于出射瞳平面和SLM之间的路径中的任何光学元件,包括自由空间的部分,数字反向传播“有用部分上虚拟场景波的二维复值图”,并确定“SLM出口处的波的理想二维复值图”。这里,标识符“理想”强调,如果该场存在于SLM的出口处,出射瞳平面上的光波分布将不由任何不期望的分量组成。
在本发明的一些实施例中,SLM被直接放置于用户眼睛的前方。因此,除了一段自由空间之外,无其他光学部件。在这种情况下,“SLM出口处的波的理想二维复值图”可以通过如下方法求得:
UExS(x,y)={Uvs(x,y)Wup(x,y)}**h-Der(x,y) (4)
其中:
UExS(x,y)是SLM出口处的波的理想,
Uvs(x,y)是有用部分虚拟场景波的二维复值图,
Wup(x,y)是有用部分的孔径函数,
hD(x,y)是自由空间传播的脉冲响应。
在本发明的一些实施例中,在SLM和出射瞳平面之间存在一些其它光学部件。在这种情况下,除了不同组件之间的自由空间传播计算之外,还应开发具体的波光学模型来解释组件的行为。这些模型应将入射侧的光波分布与组件出射侧的光波分布相关联。注意,当每个组件的模型足够详细时,由眼睛和SLM之间的组件引入的像差、变形、衍射效应和其他影响将自动并入计算。
3.“照射SLM的波的二维复值图”的计算
该步骤涉及针对位于点光源和SLM之间的通路中的部件的具体波光学模型的开发,以及传播由点光源发射的光波并使其通过相关部件。通过点光源和SLM之间的组件引入的像差以这种方式并入计算中。
4.“理想二维模拟复值SLM透射率”的计算
理想情况下,SLM应作为将步骤3计算所得“照射SLM的波的二维复值图”转化为步骤2所得“SLM出口处的波的理想二维复值图”的乘法掩模。因此,“理想二维模拟复值SLM透射率”可以通过将步骤2中计算的“SLM出口处的波的理想二维复值图”除以步骤3中计算出的“照射SLM的波的二维复值图”求得,假设后一种波在SLM的任何点上不消失消失。因此,
其中:
USLM(x,y)是理想二维模拟复值SLM透射率,
UExS(x,y)是SLM出口处的波的理想二维复值图,且
Uill(x,y)是照射SLM的波的二维复值图。
如果SLM具有亚微米像素并且是全面综合的,则可以直接对“理想二维模拟复值SLM透射率”进行采样并显示在SLM上。但是,SLM的限制因素需要进一步处理。
5.“理想二维模拟复值SLM透射率”的计算。
SLM的有限像素间距与“理想二维模拟复值SLM透射率”的采样相关联。为了避免混叠,在SLM的任何小区域上的“理想二维模拟复值SLM透射率”的带宽不能超过SLM像素间距的倒数。在满足该条件的假设下,“理想二维模拟复值SLM透射率”可被安全采样。然而,实际SLM具有有限的孔径函数,其为在SLM上实现的采样离散图像的内插函数。由于非脉冲内插函数对内插数字图像的频谱施加变化,因此在离散化之前将补偿预滤波应用于“理想二维模拟复值SLM透射率”。因此,通过首先应用补偿预滤波,然后对“理想二维模拟复值SLM透射率”进行采样,获得“理想二维模拟复值SLM透射率”。
6.“2D实时数字SLM图像”的计算
如上所述,实际SLM主要执行一些有限类型的调制,例如仅相位、振幅、二进制等。而且,实际SLM的每个像素通常具有有限数量的可用值。因此,“2D理想复值离散SLM图像”需要被量化并编码成适合于在SLM上显示的有限类型的图像。量化和编码过程将不可避免地产生一些噪声波束。然而,可以执行所提到的编码和量化以使得所得到的噪声光束尽可能地落在有用部分之外。这可以使用任何合适的方法进行,包括但不限于迭代傅立叶变换算法、Gerschberg-Saxton算法、无关的Fienup算法,误差扩散、直接二进制搜索等等,这些都是已知并使用中的算法。特别地,当将编码结果产生的噪声以空间频域分布到“2D理想复值离散SLM图像”支持之外的区域时,噪声波束在由SLM平面生成并传播到出射瞳平面之后,分布在有用部分之外。
包括移动SLM条(例如,图40、42)的实施例的计算是相同的,除了SLM被划分成多个片段,并且整个“2D实时数字SLM图像”以取决于SLM条扫描位置的时间顺序方式显示。扫描在为“2D实时数字SLM图像”的帧保留时间内完成。
图57-64示出了阐明计算基础过程的多个空间角(或空间-频率)分布。空间角分布是文献中众所周知的概念,并且作为光学系统中的各个平面上横向空间的函数阐明了射线的分布,并提供了洞察力。在图57-64中,假设SLM被从点光源和正透镜的组合获得的会聚球面照射,如图12所示。为了简单起见,假设全复杂SLM具有脉冲像素及2D空间,其中假设x表示横坐标,z表示纵向传播轴。每个射线的角度从z轴向+x轴测量。
在图57中,示出了在出射瞳平面上的“有用部分上虚拟场景波的二维复值图”的典型空间角分布,其中假设瞳孔围绕光轴居中。注意,空间范围由有用部分的大小给出,并且角度范围由期望的视场给出。
在图58中,示出了“SLM出口处的波的理想二维复值图”的空间角分布。由于两者之间的自由空间传播关系,此处的分布基本上等于图57所述分布的水平剪切版本。
接下来,在图59中,在假设图12所示透镜形成没有光学像差的完美会聚球面波形的情况下,示出了“照射SLM的波的二维复值图”的空间角分布。然后,在图60中,示出了通过将“SLM出口处的波的理想二维复值图”除以“照射SLM的波的二维复值图”所得到的“理想二维模拟复值SLM透射率”的空间角分布。示出了SLM所需的最小尺寸由显示器的FOV确定,且所需的最小像素速率由有用部分的宽度确定。
当对“理想二维模拟复值SLM透射率”进行采样以获得“理想二维复值离散SLM图像”时,获得图61中的空间分布,其中,作为采样的结果,图60中所示的分布以角度方向被复制。图62显示了在出射瞳平面上获得的最终分布。由于SLM的像素间距足够小,所以高阶复制物具有落在有用部分的空间范围之外的分布。
在图63中,在图12所示透镜的、形成具有球面像差的会聚球面波的更切合实际的行为的假设下,示出了“照射SLM的波的二维复值图”的空间角分布。然后,如图64所示,获得“理想二维模拟复值SLM透射率”的空间角分布,其中可以看出,在分布的边缘周围存在一些弯曲,以补偿在该分布内会聚波向SLM提供的球面像差的存在。由于任何点处的总体分布都适合于小于SLM的像素速率的频带,图12中的透镜的像差不会产生严重的后果,并且通过以图64所示的空间分布代替图60中的分布计算“理想二维复值离散SLM图像”而被自动修正。
图65显示了快速全息计算的方法。上面详述的计算步骤通常包括需要大存储器和高计算能力的波传播模拟。然而,在本发明的一些实施例中,存在能够跳过一般方法的一些步骤的某些数学关系。其中一种情况是SLM直接放置在眼前并被会聚球面波照射的实施例。在这种情况下,“理想二维模拟复值SLM透射率”与虚拟场景的每个平面截面之间的数学关系变得更简单和直接。为了证实这一点,我们首先假设会聚照射波由准直光束和具有由D给出的焦距(SLM和眼睛之间的距离)的薄正透镜产生,其紧贴SLM之前放置。其次,我们应该注意,可以改变SLM和透镜的顺序,因其都被假定为薄的乘法分量。因此,我们得到一个等效的系统,其中准直光照射SLM,然后通过目镜导入眼睛。最后,考虑图65所示的虚拟场景,特别是标注为平面4的平面截面。假定该平面距离眼睛相当远,该平面横截面上的每个点向有用部分发送几乎平行的射线。这些光线,当向后追溯到上述目镜并通过该目镜时,聚焦在位于deq4的平面上,并形成称为平面4的平面横截面的缩小图像。因此,由虚拟场景的平面4所负责的“理想二维模拟复值SLM透射率”部分实际上等同于依赖于deq4的平面4的缩小图像的衍射图案。虚拟场景的其他平面横截面与之类似。如图65所示,平面横截面的图像都具有相同的尺寸,并且这些图像的每个点仅将窄的光锥发送到几乎平行于光轴的SLM表面。因此,可以以更大的步长展开计算过程,并且具有普通且较小尺寸的模拟窗口,从而大大降低了存储器的需求。此外,通过众所周知的角度谱法并行完成每个平面截面的计算过程,因此在平面横截面上的点上不需要循环。
因此,在一些实施例中,在出射瞳平面有用部分上的虚拟场景波的二维复值图可以通过以下步骤确定:
将虚拟场景分割成以出射瞳平面的有用部分为球心的多个不同半径的同心球面;
为每个同心球面形成矩阵,其中矩阵上的每个元素与球面上特定的角位置相关联,且每个元素填充有球面上该角位置处的点源的复振幅;
对该矩阵进行傅里叶逆变换以创建结果;
将所得结果乘以具有与球面半径相等的焦距的共同发散透镜项;并
对每个同心球面重复分割、形成、傅里叶逆变换和乘法的步骤,并叠加以在出射瞳平面的有用部分上找到虚拟场景波的二维复值图。
图66示出了向用户的视网膜传送无斑点图像方法的基本原理。由于实际物体的表面不规则导致物体上的随机相分布的事实,用户在相干光下对真实物体成像时会观察到斑点噪声。特别地,由于来自眼瞳的衍射,真实物体点的每个点在视网膜上被成像为艾里盘(Airy disk)。因此,对象点的单个图像在视网膜上重叠。由于照明是相干的,所以这些单独的图像彼此干扰。实际物点上的随机相位使得这种干涉图形呈现出快速建构性和破坏性的干涉图案,这被视为真实物体图像上的斑点噪声。众所周知,斑点噪声取决于观察者的眼睛和成像对象之间的相对位置,并且斑点噪声图案随着眼睛的移动而改变。
本发明的各种实施例不是在相干照明下对真实物体进行成像。相反,它们使用相干照明将虚拟物体的图像传送至视网膜。这种情况与真实对象的情况不同,因为我们可以完全控制我们可以分配给虚拟对象点的相位分布。
在图66中,示出了两种情况下由多个点源组成的虚拟对象在视网膜上的图像。在这两种情况下,在视网膜上形成的最终连续强度函数作为虚拟对象点的离散图像的内插版本获得。事实上,假设矩形眼瞳具有尺寸wpx和wpy并以中心(xp,yp)为中心,以及放置与眼睛的距离为d处的平面虚拟对象,其由位于(xi,yi)的横向平面上的点源M组成,眼睛看到的有效强度分布变为:
其中:
IEO(x,y)是在眼瞳的当前位置由眼睛所看到的有效物体的强度,
ci是物体ith的复振幅,
(wpx,wpy)是瞳孔的尺寸—此处假设为矩形,
(xi,yi)是每个物体点的横向坐标。
在高强度情况下,随机相位变化被分配给对象点。结果,强度函数在虚拟对象点的离散图像之间表现出快速的强度变化。用户将这些快速变化视为斑点噪声。在低强度情况下,适当的相位分布已被分配给虚拟对象点。结果,在视网膜上形成的强度函数是虚拟对象点的离散图像的平滑内插版本。因此,由系统传递的图像类似于在不相干照明下可见的图像,没有斑点噪声。
特别地,如果各个虚拟物体点的光以相同的相位到达用户的视网膜,则在视网膜上形成的插值变得平滑。等价条件是来自每个物体的光波同相到达用户的瞳孔。因此,如果将与瞳孔中心距离为R的虚拟对象点分配到相位e-jkR,k表示波数,则来自所有虚拟对象点的光同相到达用户的瞳孔,并形成无斑点的视网膜图像。注意,所提及的相位分配针对于特定的瞳孔位置和波长。因此,当瞳孔位置改变时,且当针对不同颜色计算有用部分内的对象波时都需对其进行更新。
总之,在本发明的实施例中,在计算“有用部分上虚拟场景波的二维复值图”(见图66)时,应用此处所述的相位分配规则。以这种方式,虚拟对象被无斑点成像。
现在描述背光单元(BLU)的各种实施例。下面描述的许多BLU适用于诸如照明光学模块440(图4)的照明光学模块。各种BLU实施例产生可能会聚、发散或准直的相干光束。BLU也被描述为近眼显示设备的一部分。BLU可并入本文所述的任何近眼,包括例如附图1、35及53所描述的例子。
图67示出了产生二维会聚光束的背光单元的透视图。光线从透明基板发出并聚焦在会聚点上。背光单元6700包括发出会聚光束的第一面6710。背光单元6700还包括第二面6720。在一些实施例中,面6710和6720是平行的,但是这不是对本发明的限制。
装置6700的一部分被称为“背光单元”,因为它可用于会聚光束(或其他类型的光束)的“背光”SLM。光学上,背光单元6700等效于如图12所示的点光源120和透镜1210的组合;然而,与图12所示的系统相比,背光单元6700显著节省了空间。
图68示出背光单元的横截面。背光单元6800对应于背光单元6700(图67),该背光单元配置有光散射装置6830以及排列为平面微镜阵列6810的反射光学元件。本文所用的术语“平面微镜阵列”是指布置在平面上的各个反射镜,并不意在断定每个反射镜具有相同的倾斜角。从光散射装置6830发出的光击中微镜阵列,然后聚焦在会聚点上。阵列6810中的每个单独微镜的位置被布置成使得其将来自光散射装置6830的入射光反射到会聚点。为了具有透明基板,将微镜阵列6810埋入折射率匹配的介质中。在一些实施例中,微镜阵列的反射率可以通过切口涂覆、半反射薄金属涂层等来提供。
光散射装置6830将光从第一面6710散射,微镜阵列6810将来自散射装置6830的光反射到第一面6710,并产生会聚光束。在一些实施例中,光散射装置6830接收来自外部光源(未示出)的光,并且在其它实施例中,光散射装置6830与嵌入在背光单元内的一个或多个光源共同定位,并将光从第一面6710散射开。例如,在一些实施例中,有机发光二极管(OLED)嵌入在衬底内以向光散射装置6830提供光。同样例如,在一些实施例中,红色、绿色和蓝色(RGB)OLED包含于背光单元6800中。此外,在一些实施例中,诸如量子点的荧光分子作为光源嵌入在基板中。通常,本文所述的任何背光单元可以包括任何内部或外部光源。
在一些实施例中,光散射装置6830包括漫射材料,例如银环氧树脂或具有嵌入微粒的环氧树脂。此外,在一些实施例中,为所有颜色提供相同的散射装置。一些实施例包括多个散射装置(“源阵列”),以增加FOV。
图69示出了背光单元的横截面。背光单元6900对应于背光单元6700(图67),该背光单元配置有光散射装置6830以及排列为菲涅耳镜6910的反射光学元件。光散射装置6830将光从第一面6710散射开,然后菲涅耳镜6910将来自散射装置6830的光反射到第一面6710,并产生会聚光束。
图70示出背光单元的横截面。背光单元7000对应于背光单元6700(图67),该背光单元配置有光散射装置6830以及排列为自由形式的凹面反射器7010的反射光学元件。光散射装置6830将光从第一面6710散射开,并且反射器7010将来自散射装置6830的光反射到第一面6710并产生会聚光束。
图71示出了背光单元的横截面。背光单元7100对应于背光单元6700(图67),该背光单元配置有光散射装置6830以及排列为非平面微镜阵列7110的反射光学元件。光散射装置6830将光从第一面6710散射,且非平面微镜阵列7110将来自散射装置6830的光反射到第一面6710并产生会聚光束。非平面微镜阵列7110减小了平面微镜阵列的各个反射镜之间的遮蔽效应。
图72示出了背光单元和外部点光源的横截面。背光单元7200对应于背光单元6700(图67),该背光单元配置有光散射装置6830以及排列为平面微镜阵列6810的反射光学元件。光散射装置6830将光从第一面6710散射,且平面微镜阵列6810将来自散射装置6830的光反射到第一面6710,并产生会聚光束。光从外部点光源120发出,并聚焦在透明基板内部的光散射装置6830上。
可以将SLM和具有会聚光束输出的透明背光单元的组合作为近眼显示装置。图73示出了包括背光单元7300和透射型SLM 410的近眼显示装置。背光单元7300对应于背光单元6700(图67),该背光单元配置有光散射装置6830以及排列为平面微镜阵列6810的反射光学元件。光散射装置6830将光从第一面6710散射,微镜阵列6810将来自散射装置6830的光反射到第一面6710,以产生会聚光束。背光单元的输出处的会聚光束通过透射型SLM 410,然后聚焦在眼瞳上。在该配置中,SLM载有计算机生成的全息图以便在视网膜上构建所需的光场。
或者,可以使用反射型SLM 110代替图74所示的透射型SLM用于近眼显示装置。图74示出了近眼显示装置,其包括背光单元7400和反射型SLM110。背光单元7400对应于背光单元6700(图67),该背光单元配置有光散射装置6830和线性排列的半透反射微镜阵列7410。光散射装置6830将光从第一面6710散射开,且半透反射微镜阵列7410将来自光散射装置6830的光反射到第一面6710,在那里光被反射型SLM 110调制并反射。经调制的虚拟场景波通过半透反射微镜阵列7410返回,并作为会聚光束从第二面6720发出,聚焦于眼瞳上。在该配置中,SLM载有计算机生成的全息图以便在视网膜上构建所需的光场。
在近眼显示装置的应用中,从光散射装置的会聚点散射的光可以在视网膜上产生亮点。如图75所示,可以通过在光散射装置和会聚点之间使用交叉偏振器来阻止散射光中不想要的部分。背光单元7500对应于背光单元6700(图67),背光单元配置有光散射装置6830和微镜阵列6810。光散射装置6830将光从第一面6710散射,微镜阵列6810将来自散射装置6830的光反射到第一面6710,并产生会聚光束。背光单元7500还包括交叉偏振器7510。在一些实施例中,交叉偏振器7510是两个正交偏振光学元件,以阻挡光的通过。当包括交叉偏振器7510时,视网膜上不产生上述亮点。
或者,如图76所示,可以使用将光线反射回散射装置的掩埋曲面镜来代替交叉偏振器,使其更具光效率。图76示出了背光单元的横截面。背光单元7600对应于背光单元6700(图67),背光单元配置有光散射装置6830和排列为平面微镜阵列6810的反射光学元件。光散射装置6830将光从第一面6710散射,且平面微镜阵列6810将来自散射装置6830的光反射到第一面6710,并产生会聚光束。背光单元7600还包括反射镜7610。反射镜7610阻挡从微镜阵列6810反射的光,否则该光将在视网膜上产生亮点。当包括镜7610时,视网膜上不产生上述亮点。
图77示出了具有光纤的背光单元的横截面。由光纤携带的光照射45°角反射镜7730,并被引导到光散射装置6830,光散射装置6830用于增加光束立体角以完全覆盖微镜阵列。光散射装置6830将光从第一面6710散射开并朝向微镜阵列6810散射。然后,散射光从微镜阵列6810反射,并以会聚光束从第一面6710射出。
在一些实施例中,光散射装置6830可以通过使用高折射率透明纳米颗粒来实现。该系统的一个优点可以解释如下:不同的颜色可以耦合到相同的光纤中并被引导到相同的散射装置。因此,不同颜色的光源的有效位置相对于微镜阵列没有变化,这就降低了色差。在一些实施例中,光纤7710的端面以45°角被抛光并涂覆用于替代反射镜7730的金属。
背光单元可被排列以使得输出光束具有与会聚光束不同的光谱。例如,通过布置微镜阵列中各个反射镜的位置,可以产生如图78所示的一维会聚光束。类似地,可以产生准直光束和发散光束,分别如图79和图80所示。
现在描述基于楔形件的背光单元的各种实施例。许多基于楔形件的背光单元可以用于诸如照明光学模块440(图4)的照明光学模块中。基于楔形件的背光单元也被描述为近眼显示装置的一部分。基于楔形件的背光单元可以结合在本文描述的任何近眼显示装置中,包括附图1、3、35、53所述示例。
图81示出了平板波导、楔形件和具有微镜阵列的部件的横截面。装置8100包括平板波导8110、楔形件8120和具有微镜阵列8132的部件8130。平板波导8110包括输入端8112、输出端8114、第一表面8118和第二表面8116。第一表面8118和第二表面8116相互平行,使光以全内反射方式从输入端8112传播到输出端8114。
楔形件8120连接到平板波导8110的输出端8114。楔形件8120包括彼此不平行的第一表面8128和倾斜表面8126。第一表面8128和倾斜表面8126形成连续减小的厚度,以使得从平板波导8110接收的光从倾斜表面8126离开楔形件8120。在一些实施例中,第一表面8128平行于第一表面8118,并且在其它实施例中,倾斜表面8126平行于第一表面8118。
光学部件8130包括定向以平行于倾斜表面8126的面8138。此外,光学部件8130包括微镜阵列8132,以将通过面8138接收的光通过相同的面8138反射回去并通过楔形件8120。微镜阵列8132可以是任何类型微镜阵列,包括但不限于图68-76中所示及所述的微镜阵列。
在一些实施例中,光学部件8130作为补偿楔形的形状,具有穿透能力。在这些实施例中,光学部件8130被称为补偿楔形件。当作为补偿楔形件时,光学部件8130具有楔形形状,其与楔形件8120的形状互补,使得穿过楔形件和补偿楔形件的光所通过的介质的量相同。这消除所有棱镜效应,否则这些棱镜效应将被用户所察觉。光学部件8130定位成在倾斜表面8126和面8138之间以提供均匀的空气间隙8140。在具有半透明微镜阵列的实施例中,提供的是未失真的真实世界视图,因为楔形件和光学部件8130组合形成补偿楔形件。
在操作中,点光源120产生发散光束。发散光束在输入端8112进入平板波导8110,并通过平板波导8110内的全内反射传播到输出端8114,并由此进入楔形件8120。当光束在楔形件8120中传播时,由于厚度减小,内部入射角发生变化,从而允许光束从楔形件8120的倾斜表面8126几乎准直离开。然后光在面8138处进入光学部件8130并击中微镜阵列8132。从微镜阵列反射的光穿过楔形件8120,在表面8128处作为会聚波而离开,然后聚焦到出射瞳平面220上。
图82示出了图81的装置的俯视图。进入平板波导8110的光在横向方向上扩展并且通过全内反射被限制在竖直方向上。然后光进入楔形区域,并且射线开始离开楔形件,因为每次反射时入射角都减小。
图83-88将基于楔形件的背光单元与SLM组合以形成近眼显示装置。在操作中,它们执行照明光学模块440和SLM 410两者的功能(图4)。还描述了对近眼显示装置的直接应用。
图83示出了平板波导、楔形件、具有微镜阵列的光学部件和沿着平板波导定位的SLM的横截面。在这种结构中,当光场在平板波导8110中传播时,光场会击中反射型SLM110。虽然SLM 110被示出于图83中的平板波导8110的表面8118上,但这不是对本发明的限制。在一些实施例中,SLM被放置在表面8116上。SLM上的计算机生成的全息图在平板波导8110中传播时调制光,并且如上所述在出射瞳平面220的有用部分处产生预期的虚拟场景。
图84示出了平板波导、楔形件、具有微镜阵列的部件以及位于楔形件和具有微镜阵列的部件之间的SLM的横截面。透射型SLM 410放置在楔形件8120和光学部件8130之间。为了在出射瞳平面220处产生期望的光场,楔形件8120的输出处的准直光通过具有计算机产生的全息图的透射型SLM 410,并且击中微镜阵列8132。反射自微镜阵列8132的光场再次穿过透射型SLM 410,然后在出射瞳平面220上会聚。从眼瞳进入的光在视网膜上构建所需的内容。
图85示出了平板波导、楔形件、具有微镜阵列的部件以及楔形件下方的SLM的横截面。图85类似于图83,除了SLM在楔形件下方并且它是透射型的。图85的组合可以用作近眼显示装置。
图86示出了平板波导、楔形件、具有微镜阵列的部件以及板入口处的SLM的横截面。图86类似于图85,除了SLM位于平板波导的输入端。图86的组合可以用作近眼显示装置。
图87示出了平板波导、楔形件、具有微镜阵列的补偿楔形件以及楔形件下方的SLM的横截面。在由图87表示的实施例中,SLM 110是反射式的,微镜阵列8732是反射式的。光首先离开楔形件8120进入光学部件8730,且以会聚光束的形式被反射离开微镜阵列8732。然后会聚光束通过楔形件8120返回,以被反射型SLM 110反射和调制。从SLM 110反射的光通过光学部件8730返回,并在出射瞳平面220处会聚。
图88示出了具有90度弯曲的平板波导、楔形件、具有微镜阵列的光学部件以及SLM的横截面。图88所示的近眼显示装置类似于图85所示的近眼显示装置,除了平板波导8810在图88中具有90度弯曲。在平板波导8810中传播的光线通过转向镜8820耦合至楔形件8120。如图88所示,将至少平板波导的一部分垂直于楔形件的长轴放置,可以减小基于楔形件的近眼显示装置的波形因数。
如图89所示,可以构造基于楔形件的眼睛跟踪器。由光源8950提供的近红外(NIR)照明在通过分束器8910后耦合到板中,并且射线从楔形件射出。光转向膜8940被放置在楔形件上以将光束导向眼睛。从眼睛反射回来的光被耦合回到楔形件8120中并将在相机上形成眼睛的图像,这可用于眼睛跟踪。
相机8930被示出在平板波导8110的输入处并与分束器8910耦合。在一些实施例中,照相机8930被沿着平板波导定位于面8116或8118上,与图83中的SLM 110类似。
图90示出了具有平板波导、楔形件、具有微镜阵列的部件、SLM以及眼动跟踪相机的近眼显示装置。近眼显示装置9000是头戴式装置的形式,更具体地说是一对眼镜的形状,但这不是对本发明的限制。在一些实施例中,近眼显示装置9000是手持设备,并且在其他实施例中,近眼显示装置9000是用户向其靠近以形成恒定出瞳距离的固定设备。
近眼显示装置9000包括平板波导8810、楔形件8120、光学部件8130、光学部件9010、相机9020和光源120。近眼显示装置9000还在平板波导8810上示出了反射型SLM 110,虽然这不是对本发明的限制。透明型或反射型的任何SLM可以被定位在前述附图所示的任何地方而不脱离本发明的范围。例如,在一些实施例中,将反射型SLM放置在光学部件9010中,并且在其他实施例中,将透射型SLM放置在显示区域9030处。
在一些实施例中,近眼显示装置9000是允许真实世界光通过光学部件9010、8130和楔形件8120的增强现实设备。在这些实施例中,真实世界视图叠加在近眼显示装置所创建的任何虚拟场景上,为近眼显示装置9000的用户创建增强现实。
在一些实施例中,近眼显示装置9000包括向SLM提供SLM数据的电子设备。电子设备可以包括处理器和存储器,或者可以包括用于从外部接收数据的布线和传输电路。向SLM提供数据的方式不是对本发明的限制。
图91示出了平板波导、弯曲楔形件以及补偿板。设备9100包括平板波导8110、弯曲楔形件9120和弯曲补偿板9130。平板波导8110包括输入端8112、输出端8114、第一表面8118和第二表面8116。如上述附图81所述,第一表面8118与第二表面8116相互平行,以使光通过全内反射从输入端8112传播到输出端8114。
弯曲楔形件9120耦合到平板波导8110的输出端8114。弯曲楔形件9120包括形成连续减小的厚度的第一弯曲表面9128和第二弯曲表面9126。在一些实施例中,弯曲楔形件由具有渐变折射率(GRIN)的折射材料构成。选择弯曲楔形件9120的曲率和GRIN材料的折射率梯度,使得从平板波导8110接收的光从弯曲表面9128离开弯曲楔形件9120,以会聚光束的形式聚焦在出射瞳平面220上。
补偿楔形件9130包括具有与表面9126基本相同的曲率的表面9138,并且被定位成在弯曲表面9126和表面9138之间形成均匀的空气间隙9140。补偿楔形件9130具有楔形形状,其与楔形件9120的形状相补,使得穿过弯曲楔形件的光和穿过补偿楔件的光通过等量的类折射材料。这消除所有棱镜效应,否则这些棱镜效应将被用户所察觉。由于弯曲楔形件和补偿楔形件9130的组合,提供了未失真的真实世界视图。
在操作中,光束在输入端8112处进入平板波导8110,并通过平板波导8110内的全内反射传播到输出端8114,并由此进入楔形件9120。当光束在弯曲楔形件9120中传播时,由于厚度减小,入射角发生变化,并且由于渐变折射率的变化使临界角发生变化,从而允许光束以会聚波的形式离开弯曲楔形件9120的弯曲表面9128,并聚焦到出射瞳平面220上。
图92示出了平板波导、弯曲楔形件以及会聚光束中的SLM。装置9200包括平板波导8110、弯曲楔形件9120和透射型SLM 410。透射型SLM 410被置于会聚光束路径中并调制光束以在出射瞳平面220上产生虚拟场景光波分布。装置92还可以包括补偿楔形件,如补偿楔形件9130(图91)。
图93示出了平板波导,弯曲楔形件以及板上方的SLM。在这种配置中,当广场在平板波导8110中传播时,会击中反射型SLM 110。虽然SLM 110被示出于图93中的平板波导8110的表面8116上,但这不是对本发明的限制。在一些实施例中,SLM被置于表面8118上。当光在平板波导8110中传播时,SLM上计算机生成的全息图在对其进行调制,并且如上所述在出射瞳平面220的有用部分处产生预期的虚拟场景。
图94示出了平板波导、弯曲楔形件以及平板波导入口处的SLM。图94类似于图93,除了SLM 410位于平板波导的输入端,并且SLM 410是透射的。
图95示出了平板波导、弯曲楔形件以及眼动跟踪相机。由光源8950提供的NIR照明在通过分束器8910之后耦合到板中。该操作类似于关于图89中所描述的操作,其中从眼睛反射回来的光被耦合回到楔形件9120中,并在相机中形成眼睛的图像以可用于眼睛跟踪。
相机8930被示出在平板波导8110的输入端并与分束器8910耦合。在一些实施例中,照相机8930被沿着平板波导定位于面8116或8118上,与图83中的SLM 110类似。
图96示出了图91所示装置的透视图。图91示出了表示真实世界视图的光穿过补偿楔形件9130和弯曲楔形件9210。真实世界视图可以叠加在任何经过调制的光分布上,并呈现在出射瞳平面形成增强现实显示。
图97示出了具有平板波导、弯曲楔形件、SLM以及眼动跟踪相机的近眼显示装置。近眼显示装置9700是头戴式装置的形式,更具体地说是一对眼镜的形状,但这不是对本发明的限制。在一些实施例中,近眼显示装置9700是手持设备,并且在其他实施例中,近眼睛显示装置9700是用户向其靠近以形成恒定良视距的固定设备。
近眼显示装置9700包括平板波导8810、弯曲楔形件9120、补偿楔形件9130、相机9020和光源120。近眼显示装置9700被示出为具有如所述的包括90度弯曲的平板波导8810,见附图88和附图93。近眼显示装置9700还示出了平板波导8810上的反射型SLM 110,尽管这不是对本发明的限制。透明型或反射型的任何SLM可以被定位在前述附图所示的任何地方而不脱离本发明的范围。
在一些实施例中,近眼显示设备9700是阻止真实世界视图并且在出射瞳平面的有用部分处为用户提供虚拟场景的虚拟现实设备。在其他实施例中,近眼睛显示装置9700是增强现实设备,其允许真实世界的光通过补偿楔形件9130和弯曲的楔形件9120。在这些实施例中,真实世界视图叠加在通过近眼睛显示装置所创建的任何虚拟场景上以为近眼睛显示装置9700的用户创建增强现实。在这些实施例中,真实世界视图叠加在近眼显示装置所创建的任何虚拟场景上,为近眼显示装置9700的用户创建增强现实。
在一些实施例中,近眼显示装置9700包括向SLM提供SLM数据的电子设备。电子设备可以包括处理器和存储器,或者可以包括用于从外部接收数据的布线和传输电路。向SLM提供数据的方式不是对本发明的限制。
现在描述基于移动平台的近眼显示装置的各种实施例。图98示出了具有移动平台组件的近眼显示装置。近眼显示装置9800包括移动平台组件9802和电子模块160。近眼显示装置9800可以包括更多的组件,例如布线、敷设电缆、照相机等。为了清楚起见,有意省略了这些组件。此外,仅在一侧示出了近眼显示装置9800的移动平台组件9802,而在实践中,近眼显示装置9800可以具有两个移动杆组件9802—每侧一个。
移动平台组件9802包括移动平台9804和线圈9840。移动平台9804包括用于致动的LED阵列9810、LED驱动器9820和用于驱动的磁体9830。LED驱动器9820可以是固定到移动平台9804的集成电路。LED驱动器9820使得LED阵列9810中的单个LED响应于从电子模块160接收的电信号而发光。在一些实施例中,LED阵列9810可以是红色、绿色和蓝色LED的一维阵列。例如,LED阵列9810可以包括一排红色LED、一排绿色LED和一排蓝色LED。在其他实施例中,LED阵列9810可以是红色、绿色和蓝色LED的二维阵列。例如,LED阵列9810可以包括多行红色LED、多行绿色LED和多行蓝色LED。
在操作中,移动平台9804竖直移动穿过用户的视野。移动平台9804承载两个永磁体9830。电磁线圈9840的两个线性阵列附接到显示区域外的移动平台组件9802上。电流可以通过线圈9840的任何给定部分以驱动移动平台9804。电子模块160致动移动平台9804并同步驱动LED驱动器9820,以为用户创建透明图像。
移动平台组件9802的操作有效地在透明屏幕上创建了图像。透明屏幕所占据的区域在此被称为“显示区域”。
图99示出了移动平台组件9802和偏振膜9910的横截面。移动平台9804被示出为具有一维LED阵列的横截面。此外,沿箭头方向的致动是通过依次为线圈9840通电从而吸引或排斥磁体9830来实现的。线圈通电的时机与驱动LED同步,使得所显示图像为用户形成有效透明屏幕。
偏振膜9910被定向以使得由近眼显示装置9800的用户所看见的环境光通过偏振膜9910,并进一步定向成使得由多个光源产生的光不通过偏振膜。在一些实施例中,来自LED阵列9810的光也被偏振。在这些实施例中,穿过偏振器的光以第一取向偏振,并且从LED发出的光以与第一取向正交的第二取向偏振。在一些实施例中,省略了偏振膜9910。
图100示出了移动平台组件的透视图。所示移动平台组件9802具有框架11010、线圈9840和移动平台9804。框架11010和移动平台9804被示出为以柔性电缆11020互连。柔性电缆11020将信号从电子模块160(图98)传送到移动平台9804上的LED驱动器9820。如图100所示,移动平台9804包括具有安装在其上的光源阵列的一个移动杆。
图101示出了置于眼睛中的接触透镜的侧视图。接触透镜10100包括两个同心部分、周边部分10120和中心部分10110。中心部分10110具有高屈光度透镜,以允许用户在穿戴近眼显示装置时聚焦在移动平台9804上的多个光源的平面上。接触透镜的外围部分10120只允许以第一取向偏振的光通过,且接触透镜的中心部分10110仅允许与第一取向垂直的第二取向偏振的光通过。在一些实施例中,中心部分10110允许从LED阵列9810发射的偏振光通过,并且周边部分10120允许已通过偏振膜9910的偏振光通过。
图102出了图101所示接触透镜的正视图。图102示出了接触透镜10100的三种不同变型。变化形式A具有分成两个不同部分的中心部分10110;变化形式B具有分成三个不同部分的中心部分10110;并且变化形式C具有分成四个不同部分的中心部分10110。在特定的接触透镜中,中心部分10110的每个不同部分具有不同的滤色器,以分离从多个光源发出的光的不同颜色分量。
图103示出了眼睛中的接触透镜和移动平台组件的横截面。移动平台组件9802包括移动平台9804,移动平台9804承载多个光源以为用户形成透明显示。来自周围环境的光,通常示出为10310,通过偏振膜9910以第一取向偏振。来自多个光源的光以与第一取向正交的第二取向偏振。接触透镜的周边部分10120被构造成仅允许第一取向的光通过。接触透镜的中心部分10110被构造成仅允许第二取向的光通过。接触透镜的中心部分10110被分成多个部分,每个部分具有单独的滤色器以分离从多个光源发出的光的不同颜色分量。
来自多个光源的、穿过接触透镜中心部分10110中的高屈光度透镜的那部分光被适当地聚焦于用户的眼睛中。这使用户得以聚焦在具有多个光源的平面上。来自周围环境的、穿过接触透镜外围部分10120的那部分光使得用户能够以正常视觉来看待周围环境。
图104示出了具有移动平台组件的近眼显示装置。如图104所示,近眼显示装置10400包括移动平台组件10402,移动平台组件10402又包括具有多个杆的移动平台。在操作中,随着移动平台的移动,多个移动杆在整个用户的视场内竖直移动。每个杆可以包含一维或二维光源阵列。致动方式与上述附图98-100的描述相同。
图105示出了具有旋转杆的近眼显示装置的透视图。旋转杆10510包括多个光源并围绕枢转点10520旋转。旋转杆10510与为用户形成有效透明屏幕的光源信号同步驱动。
图106-108示出了具有旋转杆的近眼显示装置的正视图。图106示出了近眼显示装置10500的前视图,其示出了针对右眼而非左眼的细节。旋转杆10510围绕枢转点10520旋转并扫过10610所示的显示区域。在一些实施例中,旋转杆包括如上述附图所述的多个光源。
图107示出了具有围绕两个枢轴点旋转的旋转杆的近眼显示装置的前视图。旋转杆10710携带多个光源。旋转臂10720围绕第一枢转点旋转。旋转臂10720在第二枢转点处连接到旋转杆10710。旋转杆10710在整个运动中保持固定的方向,使得显示器能够更有效地运动。虚线划出了潜在的显示区域。
图108示出了近眼显示装置的前视图,该近眼显示装置具有穿过在用户视野竖直移动的移动杆。移动杆10830由围绕枢转点10520旋转的旋转臂10820致动。旋转臂10820附接到移动杆10830上的凹槽。旋转臂10820可以沿凹槽移动。移动杆10830由两个机械引导件10810约束以产生垂直运动。移动杆10830携带多个光源。虚线划出了潜在的显示区域。
图109示出了旋转杆致动实施例,其中永磁体10910被置于电磁线圈10930的内部。永磁体10910被附接到旋转杆10510并悬挂,使得在电磁线圈10930内部具有枢转点10520。当电流通过电磁线圈10930时,旋转杆10510将围绕枢转点10520旋转。小的稳定磁体10920被附接到电磁线圈10930内,以使旋转杆10510在未被致动时保持稳定。
图110示出了旋转杆致动实施例,其中永磁体10910被置于两个电磁线圈11030之间。永磁体10910被附接到旋转杆10510并被悬挂,使得旋转杆10510将围绕枢转点10520旋转。当电流通过电磁线圈11030时,旋转杆10510将围绕枢转点10520旋转。本发明的各个实施例不限于磁致动。例如,在一些实施例中,使用压电致动,并且在其它实施例中,采用任何类型的旋转或线性电动机的致动。
图111示出了具有在两个维度上移动的移动杆的近眼显示装置的正视图。移动杆11130在竖直方向上周期性地移动以为用户形成透明显示器,且同时在较短的距离内沿水平方向周期性地移动。水平运动的目的是将水平显示分辨率提高到高于由光源间隔决定的分辨率。
图112示出了无接触透镜的外部近眼显示装置11200。移动杆(未示出)在近眼显示装置中移动穿过另一透明区域。多个光源被排列以使得来自显示器的光可以到达除设备的用户之外的观察者。如果观察者从其眼睛可以聚焦到透明显示器上的内容的距离处观察透明显示器,则观察者看到图像11210。图112中示出了图像11210的两个示例。因为图像11210由光源生成,而该光源不面对近眼显示装置11200的用户,因此用户看不到图像11210。
现在描述瞳孔跟踪器单元的各种实施例。图113示出了包括LED阵列的近眼显示装置的透视图。近眼显示装置1130包括SLM 11320、红外(IR)照相机和光源11302以及LED阵列11310。近眼显示装置11300还可以包括附加组件,例如电子模块、电池、布线,等等。图中有意地省略了这些附加组件,以免所示组件混乱。此外,如本文所述的许多其它近眼显示装置一样,近眼显示装置11300仅显示设备的一侧(一只眼睛)的大部分组件。在一些实施例中,所有组件都被镜像复制以生成用于双眼的近眼显示装置。
在一些实施例中,用IR光源于照射用户瞳孔,并且使用相机来检测用户瞳孔的位置。在一些实施例中,如图113所示,相机位于框架上,尽管这不是对本发明的限制。例如,在一些实施例中,照相机安装在背光单元上或者如上所述耦合到光路中。用于瞳孔跟踪的相机可以置于本文描述的任何近眼显示装置的任何地方而不脱离本发明的范围。此外,在一些实施例中,IR光源与照相机共同定位,尽管这不是对本发明的限制。例如,在一些实施例中,IR光源与用于照射SLM的点光源共同定位。作为另一示例,IR光源可以与LED阵列11310共定位。
在操作中,用户的眼睛被用户所不可见的红外光照射。摄像机捕获用户眼睛的红外图像,并且使用现有的计算机视觉、模式识别和图像处理算法来检测瞳孔位置。
图114示出了二维LED阵列。LED阵列11310包括彩色光源的二维阵列,其中每个光源包括红色、绿色和蓝色LED。LED阵列11310还包括LED驱动器11410。当选择不同的LED以提供照射SLM 11320的光时,所得的虚拟场景波在出射瞳平面上轻微移动。如下所述,这种现象被用于引导出射瞳平面的有用部分跟随眼睛运动。
图115及116示出了运用多个LED进行瞳孔跟踪的俯视图。图115和116中的视图描绘了图113中的显著组件,并不一定按比例绘制。此外,简化起见,图115和116示出了三个LED的一维阵列,然而在实际系统中可以使用更多的LED,并且可以使用诸如图114所示的二维阵列。
SLM 11320是一个固定的SLM,它包括反射器11510,以将调制光反射为会聚光束。在一些实施例中,SLM 11320是会聚或发散光路中的透射型SLM。此外,在一些实施例中,SLM11320是会聚或发散光路中的反射型SLM。例如,SLM 11320可以被定向为如附图17-28中任一个所述的取向。
图115表示用户直视前方且中心LED被打开并用作点光源照射SLM的情况。图116表示用户将眼睛向右侧移动几度的情况。瞳孔跟踪器11610检测新的瞳孔位置,并且命令LED驱动器11410使用不同的LED来照射SLM,使得出射瞳平面的有用部分随用户瞳孔移动。
瞳孔跟踪器11610可以包括光源、照相机、处理器、存储在存储器中的指令以及许多其它组件。在一些实施例中,瞳孔跟踪器1160是组件的组合,这些组件在组合在一起时用于跟踪用户瞳孔的位置。当跟踪用户瞳孔时,瞳孔跟踪器11610采取一个或多个动作来引导出射瞳平面的有用部分跟随用户瞳孔移动。在近眼显示设备11300的情况下,瞳孔跟踪器11610命令不同的LED来照射SLM以引导出射瞳平面的有用部分跟随用户瞳孔移动。
图117示出了包括旋转SLM的近眼显示装置的透视图。近眼显示装置11700包括旋转SLM 11720、致动器11710、相机11302和点光源120。致动器11710在被致动时使得SLM11720旋转。在一些实施例中,致动器11710可以是能够控制SLM的旋转量的步进电机或类似装置。在一些实施例中,致动器11710被由作为瞳孔跟踪器(例如瞳孔跟踪器11610)的一部分的电子模块(未示出)命令进行操作。
图118和119示出了运用旋转SLM进行瞳孔跟踪的俯视图。图118和119中的图描绘了图117中的显著部件,并不一定按比例绘制。旋转SLM 11720包括反射器11510以将调制光反射为会聚光束。在一些实施例中,SLM 11720是会聚或发散光路中的透射型SLM。此外,在一些实施例中,SLM 11720是会聚或发散光路中的反射型SLM。例如,SLM 11720可以如附图17-28中任一个所示那样定向。
图118表示使用者直视前方的情况,且旋转SLM 11720被定向成使得出射瞳平面的有用部分与用户的瞳孔重叠。图119表示用户将眼睛向左侧移动几度的情况。瞳孔跟踪器11610检测新的瞳孔位置,并且命令致动器11710旋转SLM 11720,使得出射瞳平面的有用部分随用户瞳孔移动。
如上所述,瞳孔跟踪器11610可以采取多种形式,并且许多采取任何适当的动作来确保出射瞳平面的有用部分随用户的瞳孔移动。在近眼显示设备11700的情况下,瞳孔跟踪器11610命令致动器旋转SLM以引导出射瞳平面的有用部分随用户瞳孔移动。
图120示出了示出了包括旋转SLM和LED阵列的近眼显示装置的透视图。近眼显示装置12000包括LED阵列11310和具有致动器11710的旋转SLM 11720。近眼显示装置12000可以旋转SLM并且选择任何不同组合的LED以将出射瞳平面的有用部分引导用户瞳孔的位置。图121中提供了一个示例。
图121和122示出了根据本发明的各种实施例的方法的流程图。在一些实施例中,图121和122的方法或其一部分由近眼显示装置执行,近眼显示装置的实施例已在上述附图中示出。在其他实施例中,这些方法由计算机或电子系统执行。方法中的各种动作可以按照呈现的顺序执行,或者可以以不同的顺序执行。此外,在一些实施例中,省略了图121和122中列出的一些动作。
图121示出了小角度旋转及大角度LED选择的流程图。在12110中,用户瞳孔被跟踪。在一些实施例中,这对应于瞳孔跟踪器11610跟踪用户瞳孔位置。
当用户移动眼睛时,眼睛旋转,且瞳孔移动一个角度。在12120中,当瞳孔移动一个小角度时,可旋转SLM被旋转以将出射瞳平面的有用部分转向用户瞳孔的位置。在12130中,对于较大的角度,选择不同的光源将出射瞳平面的有用部分转向用户瞳孔的位置。当用户移动其眼睛时,该过程被重复,使其眼睛被近眼显示装置跟踪。
图122示出了小角度旋转及大角度衍射级选择的流程图。在12110中,用户瞳孔被跟踪。在一些实施例中,这对应于瞳孔跟踪器11610跟踪用户瞳孔位置。
在12120中,当瞳孔移动一个小角度时,可旋转SLM被旋转以将出射瞳平面的有用部分转向用户瞳孔的位置。在12230中,对于较大的角度,重新计算光波分布,使得较高的衍射级移入出射瞳平面的有用部分。当用户移动其眼睛时,该过程被重复,使其眼睛被近眼显示装置跟踪。
在12110中,用户瞳孔被跟踪。在一些实施例中,这对应于瞳孔跟踪器11610跟踪用户瞳孔位置。
当用户移动眼睛时,眼睛旋转,瞳孔移动一个角度。在12120中,当瞳孔移动一个小角度时,旋转SLM被旋转以将出射瞳平面的有用部分转向用户瞳孔的位置。在12130中,对于较大的角度,选择不同的光源引导出射瞳平面的有用部分转向用户瞳孔的位置。当用户移动其眼睛时,该过程被重复,使其眼睛被近眼显示装置跟踪。
图123示出了包括主动式光栅的近眼显示装置。近眼显示装置12300包括具有主动式光栅的SLM12320、致动器12310、照相机11302和点光源120。致动器12310在被致动时使SLM 12320内的主动式光栅改变其光学性能。在一些实施例中,致动器12310可以是能够控制施加至主动式光栅的电压的驱动电路。在一些实施例中,致动器12310被由作为瞳孔跟踪器(例如瞳孔跟踪器11610)的一部分的电子模块(未示出)命令进行操作。
图124和125示出了运用具有主动式光栅的SLM进行瞳孔跟踪的俯视图。图124和125中的图示出了图123中的显著组件,并不一定按比例绘制。具有主动式光栅12320的SLM包括主动式光栅12410和将调制光反射为会聚光束的反射器11510。在一些实施例中,主动式光栅12410是一个充当多段棱镜的基于定制液晶的装置。主动式光栅12410可以是仅包含电极且没有像素的LC器件。
在一些实施例中,SLM、主动式光栅和反射器是单独的器件。在这些实施例中,SLM12320可以是会聚或发散光路中的透射型SLM。此外,在一些实施例中,SLM 12320是会聚或发散光路中的反射型SLM。例如,SLM 12320可以如附图17-28中任一个所述那样定向。
图124表示用户直视前方的情况,并且控制主动式光栅12410使得出射瞳平面的有用部分与用户的瞳孔重叠。图119表示用户将眼睛向左侧移动几度的情况。瞳孔跟踪器11610检测新的瞳孔位置,并且命令致动器12310为主动式光栅12410功能,使得出射瞳平面的有用部分随用户瞳孔移动。
如上所述,瞳孔跟踪器11610可以采取许多形式,并且许多采取任何适当的动作来确保出射瞳平面的有用部分跟踪用户瞳孔。在近眼显示装置12300的情况下,瞳孔跟踪器11610命令致动器为主动式光栅供能以引导出射瞳平面的有用部分跟踪用户的瞳孔。
图126示出了具有主动式光栅及LED阵列组合的近眼显示装置。近眼显示装置12600包括具有LED阵列11310和带有致动器12310的带有主动式光栅的SLM 12320。近眼显示装置12600可为主动式光栅供能并选择任何不同组合的LED以使得出射瞳平面的有用部分随用户瞳孔移动。图127中提供了一个例子。
图127和128示出了根据本发明的各种实施例的方法的流程图。在一些实施例中,图127和128的方法或其一部分由近眼显示装置执行,近眼显示装置的实施例已在上述附图中示出。在其他实施例中,这些方法由计算机或电子系统执行。方法中的各种动作可以按照呈现的顺序执行,或者可以以不同的顺序执行。此外,在一些实施例中,省略了图127和128中列出的一些动作。
图127示出了小角度光栅致动及大角度LED选择的流程图。在12110中,用户瞳孔被跟踪。在一些实施例中,这对应于瞳孔跟踪器11610跟踪用户瞳孔位置。
当用户移动其眼睛时,眼睛旋转,瞳孔移动一个角度。在12720中,当瞳孔移动一个小角度时,主动式光栅被致动以将出射瞳平面的有用部分转向用户瞳孔的位置。在12730中,对于较大的角度,选择不同的光源引导出射瞳平面的有用部分转向用户瞳孔的位置。当用户移动其眼睛时,该过程被重复,使其眼睛被近眼显示装置跟踪。
图128示出了小角度光栅致动及大角度衍射级选择的流程图。在12110中,用户瞳孔被跟踪。在一些实施例中,这对应于瞳孔跟踪器11610跟踪用户瞳孔位置。
在12720中,当瞳孔移动一个小角度时,主动式光栅被供能以将出射瞳平面的有用部分转向用户瞳孔的位置。在12830中,对于较大的角度,重新计算光波分布以使得较高衍射级移入出射瞳平面的有用部分。当用户移动其眼睛时,该过程被重复,使其眼睛被近眼显示装置跟踪。
图129和130示出了不同深度的虚拟场景的增强现实图。图129和130中的图表示近眼显示装置的用户可能从同一只眼睛看到不同的情况。现在参考图129,现实世界视图包括前景12820中的对象以及背景12940中的对象。在图129的示例中,将用户调节设置为聚焦在前景上,因此现实世界前景12920显示为聚焦,现实世界背景12940显示略微偏离焦点。
图129还示出了叠加在真实世界视图上的虚拟场景。在图129的示例中,虚拟场景包括三个对象:虚拟对象12910、虚拟对象12930和虚拟对象12950。这些虚拟对象仅仅是文本,然而虚拟对象可以是任何东西,并且不限于文本。当虚拟场景被计算(参见图56-64)时,虚拟对象12910被设置在与真实世界前景的深度相对应的深度处,并且虚拟对象12930被设置在与真实世界的深度相对应的背景深度处。此外,两个虚拟对象12920和12930都在出射瞳平面的整个有用部分上重建。这使得仅当用户适应虚拟对象的深度时,虚拟对象12910和12930出现在用户的视网膜上。在图129的示例中,用户已经适应了真实世界前景的深度,因此虚拟对象12910也是聚焦的。
图130示出了与图129相同的现实世界视图和叠加的虚拟场景。现在唯一的区别是用户已经适应了现实背景的深度。结果是,现实世界背景12940和虚拟对象12930都聚焦,而现实世界前景12920和虚拟对象12910都未聚焦。
请注意,无论用户的如何调节,虚拟对象12950始终处于聚焦。这是因为虚拟对象1250是重建于出射瞳平面有用部分的较小区域上的,从而增加了深度。例如,在一些实施例中,以虚拟对象12950仅与瞳孔的一毫米部分重叠的方式来计算虚拟场景。
图129和130示出了被编程以显示出现在不同深度的虚拟对象的SLM的示例,而一些对象在所有深度上聚焦(即使眼睛调整到不同的深度也保持聚焦)。来自所显示的虚拟场景的第一组子部分的波在整个有用部分上重建,使得仅当用户适应该子部分的深度时,第一组部分中的每个子部分才出现并聚焦在视网膜上,并且来自所显示的虚拟场景的第二组子部分的波在有用部分的较小区域上重建,使得这些部分总是出现在视网膜上。
在一些实施例中,图129和130中示出的技术与双目视差组合以提供逼真的3D视觉体验,而不会由于调节-会聚冲突而引起视觉疲劳。当使用本文所述的近眼显示装置观看3D图像时,眼睛会聚到虚拟3D对象的表观位置,并且还针对与虚拟3D对象的表观位置对应的深度调整设置使每只眼睛适应。这产生了“自然3D”,其中若调节-会聚冲突没有完全消除也被大大降低,从而为用户提供了非常舒适的3D体验。
图131示出了本发明的各个实施例的近眼显示装置的框图。近眼显示装置13100包括处理器13102、存储器13110、光源13160、SLM 13162、光杆13164、照相机13166、致动器13168、传感器13170、全球定位系统(GPS)接收器13172、加速度计13174、罗盘13176、无线电台13178、图形处理单元(GPU)13180、陀螺仪13182、触摸屏13184和音频电路13186。近眼显示装置13100可以是本文所述的任何近眼显示装置。例如,在一些实施例中,移动设备300可以是执行光瞳滤波、瞳孔跟踪、散斑减少或本文所描述的任何其它功能的近眼显示装置。
处理器13102可以是能够执行存储在存储器13110中的指令且能够与图131所示的各种组件相连接的任何类型的处理器。例如,处理器13102可以是微处理器、数字信号处理器、专用处理器或类似物。在一些实施例中,处理器13102是诸如片上系统(SOC)专用集成电路(ASIC)的较大集成电路内的组件。
光源13160可以包括能够照射SLM的任何类型的光源。示例包括点光源120(图1)、照明光学模块440(图4)和图15和16所示的点光源阵列。在操作中,处理器13102可以命令光源13160打开和关闭。
SLM 13162是将信息传递给照射波以在出射瞳平面的有用部分中产生期望的光波分布的SLM。在操作中,处理器13102使用存储在存储器13110中的数据对SLM13162进行编程。在一些实施例中,处理器13102计算要在SLM上显示的SLM数据并将其存储在存储器13110中。在其它实施例中,SLM数据由独立设备计算,并将SLM数据提供给近眼显示装置13100以供稍后显示。
光条13164包括本文所述的任何光条和/或移动平台实施例。在操作中,处理器13102可以命令致动器使一个或多个光条移动。进一步的,处理器13102还可以命令光条上的一个或多个光源照射。
相机13166可以是能够捕获图像并将图像数据提供给处理器13102的任何类型的相机。例如,在一些实施例中,相机13166是用于校准的相机,在其他实施例中,相机13166是用于瞳孔跟踪的相机。
执行器13168是将能量从一种形式转换为另一种形式的装置。例如,致动器13168可以包括步进电机、磁体、电线圈等。致动器13168可以包括本文所述的任何致动器实施例。
传感器13170是将能量从一种形式转换为电力的装置。例如,调节旋钮4510(图45)是传感器的示例。在操作中,当用户与任何传感器13170交互时,处理器13102接收电子信号。
GPS 13172包括GPS接收机。在操作中,处理器13102从GPS 13172接收精细位置数据。在一些实施例中,该数据用于产生SLM数据或确定应显示存储于SLM中的什么样的数据。例如,在图120和130所示的实施例中,GPS数据可用于确定虚拟场景中应包括哪些虚拟对象。
加速度计13174是测量由于重力而施加到近眼显示装置13100的运动变化速率或力的方向的装置。在操作中,处理器13102在近眼显示装置13100被移动或其方向改变时接收加速度计数据。
指南针13176是测量近眼显示装置13100相对于磁北的取向的装置。在操作中,处理器13102从罗盘13176接收代表近眼显示装置13100相对于磁北的取向的数据。
无线电13178可以包括可以为近眼显示装置13100提供通信能力的任何类型的无线电。例如,无线电13178可以是蜂窝无线电、蓝牙无线电、NFC无线电、WiFi无线电等。
图形处理单元(GPU)13180是可以加速SLM数据生成期间执行的一些计算的设备。例如,GPU 13180可能用于渲染由多边形网格模型表示的虚拟场景。
陀螺仪13182提供关于近眼显示装置的移动的高分辨率数据。在操作中,处理器13102可以利用由陀螺仪13182提供的头部跟踪应用的数据。
触摸屏13184允许用户与近眼显示装置13100的显示面进行交互。下面参考附图132描述具有触摸屏界面的近眼显示装置示例。触摸屏13184是包括可接受用户的输入的触摸敏感表面、传感器或传感器组的装置。例如,触摸屏13184可以检测对象触摸屏幕的时间和位置,且可以检测对象在屏幕上的移动。触摸屏13184可以使用任何适用的显示技术制造,包括例如液晶显示器(LCD)、有源矩阵有机发光二极管(AMOLED)等。此外,触摸屏13184可以使用任何应用触敏输入技术来制造,包括例如电容式和电阻式触摸屏技术以及其它接近的传感器技术。
音频电路13186在处理器13102和用户之间提供音频接口(输入、输出或两者)。在一些实施例中,一个或多个应用使用音频电路13186来提供多感觉体验。例如,导游应用程序13143可以提供解释性音频以及沉浸式3D增强现实体验。在其他实施例中,音频电路13186包括允许用户记录音频或向近眼显示装置13100提供音频命令的麦克风。
存储器13110可以包括任何类型的存储器件。例如,存储器13110可以包括诸如静态随机存取存储器(SRAM)的非永久性存储器或诸如闪速存储器的永久性存储器。存储器13110被一个或多个软件模块(或指令集)编码(或存储在其中),当被处理器113102访问时,导致处理器13102执行各种功能。在一些实施例中,存储在存储器13110中的软件模块可以包括操作系统(OS)13120、近眼模块13130和应用程序13140。应用程序13140可以包括任何数量或类型的应用程序。图131中提供的示例包括游戏13141、地图13142、导游应用程序13143和视频播放器。以上参考附图129和130描述了导游应用的示例显示。存储器13110还可以包括应用于数据存储器13150的任何数量的空间。
操作系统13120可以是任何形式的操作系统,诸如用于控制移动电话的操作系统,平板计算机、嵌入式系统等之中的任何一个。如图131所示,操作系统13120包括用户接口组件13121和应用安装程序组件13122。在不脱离本发明的范围的情况下,操作系统13120可以包括许多其他组件。
用户界面组件13121包括使近视显示装置13100显示诸如对话框、警报和提示之类的用户交互组件的处理器指令。用户界面13121还包括显示菜单、移动图标以及管理显示环境其他部分的指令。
应用程序安装程序组件13122将应用程序安装到近眼显示装置13100。可以安装任何类型或数量的应用程序。目前安装在近眼显示装置上的示例应用包括游戏13141、地图13142、导游应用程序13143和视频播放器应用程序13144。
近眼模块13130包括校准13131、SLM计算13132、瞳孔跟踪13133和散斑减少13134。校准模块13131包括使处理器13102执行本文描述的校准实施例的指令。例如,校准模块13131可以使处理器13102使用照相机13166捕获图像,并且使用用户界面13121和传感器13170与用户交互。SLM计算模块包括执行上述参照附图56所述计算的指令。图131所示的近眼模块仅作为示例,在不脱离本发明范围的情况下,可以包括更多的近眼模块。通常,本文所述的任何方法可以包括近眼模块13130在内的模块组件。
瞳孔跟踪模块13133包括当由处理器13102执行时使得近眼显示装置13100转动出射瞳平面的有用部分以跟随用户瞳孔的指令。在一些实施例中,瞳孔跟踪模块13133、处理器13102、相机13166和光源13160(用于IR光)的组合构成上述瞳孔跟踪器11610。
散斑减少模块13134包括当由处理器13102执行时可使得以减少斑的指定相位项计算虚拟场景的指令。
数据存储13150存储不包括处理器指令的数据。例如,SLM数据13151被存储在数据存储器13150中,用户档案也一样。在一些实施例中,SLM数据13151包括静止图像,并且在其他实施例中,SLM数据13151包括形成视频数据的许多帧。此外,SLM数据13151可以表示用于虚拟现实显示应用或/和增强现实应用中的2D或3D虚拟场景。
上述每个应用和模块对应于用于执行上述一个或多个功能的一组指令。这些应用(指令集)不需要单独的软件程序、过程或模块来实现,并且如此这些应用的各种子集可以在各种实施例中组合或以其他方式重新排列。例如,SLM计算13132可以与散斑减少13134组合。此外,存储器13110可以存储附加的应用(例如,音频播放器、照相机应用等)和上面未描述的数据结构。
应当注意,装置13100被呈现为近眼显示装置的示例,并且装置13100可以具有比所示更多或更少的组件,可以组合两个或更多个组件,或者可以具有不同的组件的配置或排列。例如,设备13100可以包括更多的组件,如传感器(光学式、触摸式、近场式等)或适用于近眼显示装置的任何其它组件。
存储器13110表示能够存储指令的计算机可读介质,当由处理器13102访问时,该指令使得处理器如本文所述执行操作。例如,当处理器13102访问瞳孔跟踪模块13133内的指令时,处理器13102分析用户眼睛的图像,确定瞳孔位置,然后引导出射瞳平面的有用部分与用户瞳孔重叠。
图132示出了具有透明触敏层13210的近眼显示装置。在一些实施例中,近眼显示装置的前表面被允许用户交互的透明触敏层覆盖。例如,类似于在现有智能手机,平板电脑等上使用的触敏屏幕,使用近眼显示装置13200的用户可以使用其手指在显示项目13220(例如,一些图标/菜单项目)之间进行选择,或者执行诸如放大和缩小之类的动作,以及通过虚拟键盘输入文本数据,区别在于用户通过显示器的背面看到显示的内容,同时通过前面执行基于手指触摸的输入操作。
以下段落提供了各种发明实施例的进一步公开。每个实施例通过对相应段落的叙述来完全定义,并且对于该特定实施例不再认为其它要素是必不可少的。实施例包括:
1A1.一种近眼显示装置,包括:
至少一个点光源;以及
至少一个安装于近眼显示装置上的空间光调制器(SLM);
其中由所述至少一个点光源产生的光照射所述SLM并被调制以产生调制光,且所述调制光被导向包括有用部分的出射瞳平面,并且其中所述有用部分内的光波分布等于来自虚拟场景的计算光分布;
并且其中当近眼显示装置正在使用时,有用部分能够在出射瞳平面上改变位置(steerable)以跟随用户眼瞳的运动,使得用户的眼瞳充当空间滤光器以过滤SLM在出射瞳平面处产生的不需要的光束。
1A2.一种近眼显示装置,包括:
至少一个点光源;以及
至少一个安装在近眼显示装置上的空间光调制器(SLM);
其中由所述至少一个点光源产生的光照射所述SLM并被调制以产生调制光,且所述调制光被导向包括有用部分的出射瞳平面,并且其中所述有用部分内的光波分布等于来自虚拟场景的计算光分布;
并且其中当近眼显示装置正在使用时,有用部分被导入到用户眼瞳的预期位置,使得用户的眼瞳充当空间滤光器以过滤SLM在出射瞳平面处产生的不需要的光束。
1A3.一种近眼显示装置,包括:
至少一个点光源;以及
至少一个安装于近眼显示装置上的空间光调制器(SLM);
其中由所述至少一个点光源产生的光照射所述SLM并被调制以产生调制光,且所述调制光被导向包括有用部分的出射瞳平面,并且其中所述有用部分内的光波分布等于来自虚拟场景的计算光分布;
其中所述光波分布使用将受控相位变化加到虚拟场景点以减少斑点的计算来确定。
1A4.一种近眼显示装置,包括:
至少一个点光源;以及
至少一个安装于近眼显示装置上的空间光调制器(SLM);
其中由所述至少一个点光源产生的光照射所述SLM并被调制以产生调制光,且所述调制光被导向包括有用部分的出射瞳平面,并且其中所述有用部分内的光波分布等于来自虚拟场景的计算光分布;
且其中所述光波分布使用将相位延迟变化加到虚拟场景点以使得来自虚拟场景点的各个波同相到达有用部分以减少斑点的计算来确定。
1A5.一种近眼显示装置,包括:
至少一个点光源;以及
至少一个安装于近眼显示装置上的空间光调制器(SLM);
其中由所述至少一个点光源产生的光照射所述SLM并被调制以产生调制光,且所述调制光被导向包括有用部分的出射瞳平面,并且其中所述有用部分内的光波分布等于来自虚拟场景的计算光分布;
且其中所述光波分布使用将相位延迟变化加到虚拟场景点以使得有用部分与虚拟场景点之间的光路长度相差所述至少一个光源中心波长的整数倍的计算来确定。
1A6.一种近眼显示装置,包括:
至少一个点光源;以及
至少一个安装于近眼显示装置上的空间光调制器(SLM);
其中由所述至少一个点光源产生的光照射所述SLM并被调制以产生调制光,且所述调制光被导向包括有用部分的出射瞳平面,并且其中所述有用部分内的光波分布等于来自虚拟场景的计算光分布;
且其中通过出射瞳平面的有用部分观看的图像表现出由控制虚拟对象点的相位而产生的斑点减少。
1A7.一种近眼显示装置,包括:
至少一个点光源;以及
至少一个安装于近眼显示装置上的空间光调制器(SLM);
其中由所述至少一个点光源产生的光照射所述SLM并被调制以产生调制光,且所述调制光被导向包括有用部分的出射瞳平面,并且其中所述有用部分内的光波分布等于来自虚拟场景的计算光分布;
且其中所述光波分布使用补偿用户肉眼的光学相差的计算来确定。
1A8.一种近眼显示装置,包括:
至少一个点光源;以及
至少一个安装于近眼显示装置的空间光调制器(SLM);
其中由所述至少一个点光源产生的光照射所述SLM并被调制以产生调制光,且所述调制光被导向包括有用部分的出射瞳平面,并且其中所述有用部分内的光波分布等于来自虚拟场景的计算光分布;
且其中SLM数据使用补偿从所述至少一个点光源到出射瞳平面一个光路的光学相差的计算来确定。
1A9.一种近眼显示装置,包括:
至少一个点光源;以及
至少一个安装于近眼显示装置上的空间光调制器(SLM);
其中由所述至少一个点光源产生的光照射所述SLM并被调制以产生调制光,且所述调制光被导向包括有用部分的出射瞳平面,并且其中所述有用部分内的光波分布等于来自虚拟场景的计算光分布;
其中当近眼显示装置正在使用时,有用部分能够在出射瞳平面上转向以跟随用户眼瞳的运动;
用户的眼瞳充当空间滤光器以过滤SLM在出射瞳平面上产生的不需要的光束;
其中来自所显示的虚拟场景的多个第一子部分的波在整个有用部分上被重建,使得多个第一子部分中的每一个仅在用户适应该部分的深度时看上去聚焦在视网膜上;
且其中来自所显示的虚拟场景的第二子部分的波在有用部分的小范围内被重建,使得这些部分看上去始终聚焦在视网膜上。
1A10.根据段落1A1-1A34中任一项所述的装置,其中所述SLM产生落在有用部分之外的较高级衍射。
1A11.根据段落1A1-1A34中任一项所述的装置,其中所述SLM产生落在有用部分之外的量化噪音。
1A12.根据段落1A1-1A34中任一项所述的装置,其中所述SLM产生落在有用部分之外的共轭光束。
1A13.根据段落1A1-1A34中任一项所述的装置,其中所述SLM产生落在有用部分之外的DC光束。
1A14.根据段落1A1-1A34中任一项所述的装置,其中所述虚拟场景是二维的。
1A15.根据段落1A1-1A34中任一项所述的装置,其中所述虚拟场景是三维的。
1A16.根据段落1A1-1A34中任一项所述的装置,其中所述调制光聚焦于出射瞳平面。
1A17.根据段落1A1-1A34中任一项所述的装置,其中所述至少一个光源包括产生不同波长的光的多个光源。1A18.根据段落1A1-1A34中任一项所述的装置,其中所述至少一个光源包括红色光源、绿色光源和蓝色光源。
1A19.根据段落1A1-1A34中任一项所述的装置,其中,当近眼显示装置在使用中时,所述出射瞳平面的有用部分与用户的眼瞳基本上重叠。
1A20.根据段落1A1-1A34中任一项所述的装置,其中,当近眼显示装置在使用中时,所述出射瞳平面的有用部分至少与用户瞳孔的预期尺寸大小相当。
1A21.根据段落1A1-1A34中任一项所述的装置,其中,所述出射瞳平面的有用部分至少与用户瞳孔的预期尺寸相匹配。
1A22.根据段落1A1-1A34中任一项所述的装置,其中,所述照射所述空间光调制器的光会聚,且所述出射瞳平面的有用部分包含单个衍射级。
1A23.根据段落1A1-1A34中任一项所述的装置,其中所述近眼显示装置包括头戴式装置。
1A24.根据段落1A1-1A34中任一项所述的装置,其中所述空间光调制器与所述出射瞳平面之间的光学距离与所述像素间距之间的比大于预期瞳孔尺寸除以所述由至少一个点光源发射的光的最小波长的值。
1A25.根据段落1A1-1A34中任一项所述的装置,其中,当近眼显示装置在使用中时,所述空间光调制器位于所述至少一个点光源与光瞳之间且不位于用户视网膜的光共轭面内。
1A26.根据段落1A1-1A34中任一项所述的装置,其中透射到出射瞳平面上的光包括由空间光调制器产生的多个衍射级,且所述有用部分包括单个衍射级。
1A27.根据段落1A1-1A34中任一项所述的装置,其中所述有用部分的宽度大于用户眼瞳的预期宽度。
1A28.根据段落1A1-1A34中任一项所述的装置,其中所述有用部分的宽度大于3mm。
1A29.根据段落1A1-1A34中任一项所述的装置,其中所述投射在出射瞳平面上的光包括多个图像副本,且有用部分包括一个图像副本。
1A30.根据段落1A1-1A34中任一项所述的装置,其中所述空间光调制器仅调制所述照射所述SLM的光的相位。
1A31.根据段落1A1-1A34中任一项所述的装置,其中所述空间光调制器仅调制所述照射所述SLM的光的振幅。
1A32.根据段落1A1-1A34中任一项所述的装置,其中所述空间光调制器相位和振幅。
1A33.根据段落1A1-1A34中任一项所述的装置,其中所述空间光调制器是反射性的。
1A34.根据段落1A1-1A34中任一项所述的装置,其中所述空间光调制器是投射性的。
1A35.根据段落1A1-1A34中任一项所述的装置,其中当近眼显示装置正在使用时,有用部分能够在出射瞳平面上转向以跟随用户眼瞳的运动。
1A36.根据段落1A1-1A34中任一项所述的装置,其中当近眼显示装置正在使用时,有用部分能够转向至用户眼瞳的预期位置。
1A37.根据段落1A1-1A34中任一项所述的装置,其中所述光波分布使用将受控相位变化加到虚拟场景点以减少斑点的计算来确定。
1A38.根据段落1A1-1A34中任一项所述的装置,其中所述光波分布使用将相位延迟变化加到虚拟场景点以使得来自虚拟场景点的各个波同相到达有用部分以减少斑点的计算来确定。
1A39.根据段落1A1-1A34中任一项所述的装置,其中所述光波分布使用将相位延迟变化加到虚拟场景点以使得有用部分与虚拟场景点之间的光路长度相差所述至少一个光源的中心波长的整数倍的计算来确定。
1A40.根据段落1A1-1A34中任一项所述的装置,其中通过出射瞳平面的有用部分观看的图像表现出由控制虚拟对象点的相位而产生斑点减少的现象。
1A41.根据段落1A1-1A34中任一项所述的装置,其中所述光波分布使用补偿用户肉眼光学相差的计算来确定。
1A42.根据段落1A1-1A34中任一项所述的装置,其中SLM数据使用补偿从所述至少一个点光源到出射瞳平面一个光路的光学相差的计算来确定。
1B1.一种近眼显示装置,包括:
安装到近眼显示装置的点光源阵列;以及
以时间顺序方式被所述点光源阵列照射的空间光调制器,该空间光调制器具有当近眼显示装置在使用中时朝位于用户眼瞳的预期位置处的出射瞳平面投射发散光的多个部分。
其中空间光调制器和点光源阵列被定位,使得当阵列中相应的点光源打开时,所述多个部分中的每个部分使得出射瞳平面上的有用部分的光波具有最高光功率。
1B2.根据B1所述的近眼显示装置,其中所述点光源阵列包含多组点光源,每组含多个点光源,且每组中的点光源可被同时打开。
1B3.根据B1所述的近眼显示装置,其中所述近眼显示装置包含头戴式装置。
1B4.一种近眼显示装置,包括:
具有安装于近眼显示装置的限制发射锥体的点光源阵列;以及
由具有限制发射锥体的点光源阵列同时照射的空间光调制器,该空间光调制器具有当近眼显示装置在使用中时朝位于用户眼瞳的预期位置处的出射瞳平面投射发散光的多个部分。
其中空间光调制器和点光源阵列被定位,使得多个部分中的每个部分只被所述点光源阵列中的一个点光源照射。
1B5.根据1B4所述的近眼显示装置,进一步包括具有限制发射锥体的第二点光源阵列,其中所述点光源阵列和第二点光源阵列以不重叠边界的方式分隔SLM,且其中,点光源阵列和第二点光源阵列以时间顺序方式被打开。
1B6.根据1B4所述的近眼显示装置,其中所述近眼显示装置包含头戴式装置。
1B7.一种方法,包括:
确定要在包括点光源阵列的近眼显示装置中的空间光调制器(SLM)中编程的多个数据组,其中对于虚拟场景的视频帧,阵列中每个点光源的不同数据组均被计算;以及
在为视频帧分配的整个时间内,与对应的点光源同步地以时间顺序的方式在SLM上显示多个数据组。
1B8.一种方法,包括:
确定要在包括具有限制发射锥体的点光源阵列的近眼显示装置中的空间光调制器(SLM)中编程的多个数据组,其中阵列中的每个点光源照射SLM的不同部分,且其中对于虚拟场景的视频帧,SLM每个不同部分的数据组是根据照射SLM的该部分的点光源来计算的;以及
连接不同部分的多个数据组,获得视频帧的最终SLM数据。
1C1.一种近眼显示装置,包括:
一个点光源;
一个空间光调制器(SLM),其中所述点光源发出的光照射所述SLM且被调制产生调制光,且该调制光被导入包括有用部分的出射瞳平面,且其中有用部分的光波分布等同于来自虚拟场景的计算光分布;且
微显示器,位于近眼显示装置上,以在用户的视网膜上产生围绕由空间光调制器产生的聚焦图像的散焦外围图像。
1C2.一种近眼显示装置,包括:
一个点光源;
一个空间光调制器(SLM),其中所述点光源发出的光照射所述SLM且被调制产生调制光,且该调制光被导入包括有用部分在内的出射瞳平面,且其中有用部分的光波分布等同于来自虚拟场景的计算光分布;且
微显示器,固定于近眼显示装置上,以在用户的视网膜上产生围绕由空间光调制器产生的聚焦图像的散焦低分辨率图像。
1C3.如1C1-1C2中任一项所述的近眼显示装置,其中所述SLM具有第一分辨率,且所述微显示器具有低于所述第一分辨率的第二分辨率。
1C4.如1C1-1C2中任一项所述的近眼显示装置,其中所述SLM具有第一像素间距,且所述微显示器具有大于所述第一像素间距的第二像素间距。
1C5.如1C1-1C2中任一项所述的近眼显示装置,其中当所述近眼显示装置正在使用时,所述调制光在所述出射瞳平面上是可操纵以跟随所述眼瞳运动的。
1C6.如1C1-1C2中任一项所述的近眼显示装置,其中所述点光源包括发射不同波长的光的多个光源。
1C7.如1C1-1C2中任一项所述的近眼显示装置,其中所述多个光源按顺序发光。
1C8.如1C1-1C2中任一项所述的近眼显示装置,其中所述SLM安装于可移动平台上。
IC9.如1C1-1C2中任一项所述的近眼显示装置,其中所述SLM安装于开槽的可移动平台上。
IC10.如1C1-1C2中任一项所述的近眼显示装置,其中所述SLM包括至少一行像素。
IC11.如1C1-1C2中任一项所述的近眼显示装置,其中所述SLM具有至少2mm的垂直尺寸。
IC12.如1C1-1C2中任一项所述的近眼显示装置,其中所述SLM呈现大约30度的水平视野。
IC13.如1C1-1C2中任一项所述的近眼显示装置,其中所述SLM呈现大约40度的水平视野。
1C14.如1C1-1C2中任一项所述的近眼显示装置,其中所述微显示器安装于可移动平台上。
IC15.如1C1-1C2中任一项所述的近眼显示装置,其中所述微显示器安装于开槽的可移动平台上。
1C16.如1C1-1C2中任一项所述的近眼显示装置,其中所述微显示器可以选自有机发光二极管(OLED)显示器、投射型液晶显示器(LCD)或反射型LCD。
1C17.如1C1-1C2中任一项所述的近眼显示装置,其中所述近眼显示装置包括头戴式装置。
1C18.一种近眼显示装置,包括:
能够调制反射光或显示彩色像素的空间光调制器;和
用于跟踪用户瞳孔位置的瞳孔跟踪装置;和
空间光调制器驱动电路,响应于眼瞳跟踪装置以使空间光调制器调制用户视野中心区域中的反射光并将彩色像素显示于用户视野中心区域以外。
1C19.如1C18所述的近眼显示装置,其中所述近眼显示装置包括头戴式设备。
1D1.在一种近眼显示装置中,所述近眼显示装置包括调制入射光及将调制光导入包含有效区域的出射瞳平面的空间光调制器(SLM),其中有用部分的光波分布等同于来自虚拟场景的计算光分布,一种方法包括:
修改光波分布以向用户呈现旨在确定用户所遭受的视觉障碍的类型的多个测试图像;
接收用户关于所述多个测试图像的反馈;和
修改光波分布以向用户呈现多个第二测试图像以确定用户所遭受的视觉障碍的程度。
1D2.在一种近眼显示装置中,所述近眼显示装置包括调制入射光及将调制光导入包含有效区域的出射瞳平面的空间光调制器(SLM),其中有用部分的光波分布等同于来自虚拟场景的计算光分布,一种方法包括:
提示用户以识别用户的任何视觉障碍的类型;
修改光波分布以向用户呈现旨在确定视觉障碍的程度的至少一个测试图像;和
接收用户关于所述至少一个测试图像的反馈。
1D3.在一种近眼显示装置中,所述近眼显示装置包括调制入射光及将调制光导入包含有效区域的出射瞳平面的空间光调制器(SLM),其中有用部分的光波分布等同于来自虚拟场景的计算光分布,一种方法包括:
提示用户以识别用户的任何视觉障碍的类型和程度;
修改光波分布以向用户呈现旨在校正视觉障碍的至少一个测试图像;和
接收用户关于所述至少一个测试图像的反馈。
1D4.如1D1-1D3中任一项所述的方法,其中所述测试图像包括按顺序呈现的多个测试图像。
1D5.如1D1-1D3中任一项所述的方法,其中所述测试图像包括连续呈现的多个测试图像。
1D6.如1D1-1D3中任一项所述的方法,其中所述反馈包括选择所述多个测试图像之一。
1D7.如1D1-1D3中任一项所述的方法,其中所述接收反馈包括从传感器接收信息。
1D8.如1D7所述的方法,其中传感器包括调节按钮。
1D9.如1D1-1D3中任一项所述的方法,其中用户选择图像然后与传感器交互以提供反馈。
1D10.如1D1-1D3中任一项所述的方法,其中用户反馈用于调整瞳间距离变化。
1D11.如1D1-1D3中任一项所述的方法,其中用户反馈用于调整良视距变化。
1D12.如1D1-1D11中任一项所述的方法,进一步包括向用户提供校正图像。
1D13.如1D1-1D11中任一项所述的方法,其中所述近眼显示装置包括头戴式装置。
1D14.一种近眼显示装置,包括:
至少一个点光源;
至少一个安装于近眼显示装置的空间光调制器(SLM),其中所述至少一个点光源发出的光照射所述SLM且被调制产生调制光,且该调制光被导入包括有用部分在内的出射瞳平面,且其中有用部分的光波分布等同于来自虚拟场景的计算光分布;和
显示校准组件,用于基于用户对测试图像的选择来修改光波分布,以补充用户的一个或多个视觉障碍。
1D15.如1D14所述的近眼显示装置,进一步包括耦合到显示器校准部件以接收用户反馈的传感器。
1D16.如1D14所述的近眼显示装置,其中所述传感器包括调节旋钮。
1D17.如1D14所述的近眼显示装置,其中所述显示器校准部件包括处理器和存储器件,存储器件存储有在处理器执行显示校准时执行的指令。
1D18.如1D14所述的近眼显示装置,其中所述显示器校准部件修改光分布的相位值。
1D19.如1D14所述的近眼显示装置,其中所述显示器校准部件执行1D1-1D12的任何动作。
1D20.如1D14所述的近眼显示装置,其中所述近眼显示装置包括头戴式装置。
1E1.一种近眼显示装置,包括:
至少一个点光源;
至少一个安装于近眼显示装置的空间光调制器(SLM),其中所述点光源发出的光照射所述SLM且被调制产生调制光,且该调制光被导入包括有用部分在内的出射瞳平面,且其中有用部分的光波分布等同于来自虚拟场景的计算光分布;
相机;和
用于基于相机拍摄的图像来修改呈现给SLM的数据模式的显示校准组件。
1E2.一种近眼显示装置,包括:
至少一个点光源;
至少一个安装于近眼显示装置的空间光调制器(SLM),其中所述点光源发出的光照射所述SLM且被调制产生调制光,且该调制光被导入包括有用部分在内的出射瞳平面,且其中有用部分的光波分布等同于来自虚拟场景的计算光分布;
相机;
至少一个用于修改近眼显示装置的物理特性致动器;和
显示校准部件,耦合到所述至少一个致动器,以基于相机拍摄的图像来修正所述近眼显示装置的物理特性。
1E3.如1E1-1E2任一项所述的近眼显示装置,其中所述虚拟场景包括用于测量用户物理特性的测试图像。
1E4.如1E13所述的近眼显示装置,其中所述测试图像以不同的深度显示。
1E5.如1E13所述的近眼显示装置,其中所述测试图像显示在不同的横向位置。
1E6.如1E15所述的近眼显示装置,其中所述测试图像用于确定致动器设置以补偿瞳间距离的变化。
1E7.如1E1-1E2任一项所述的近眼显示装置,其中所述近眼显示装置包括头戴式装置。
1E8.在一种近眼显示装置中,所述近眼显示装置包括调制入射光及将调制光导入包含有效区域的出射瞳平面的空间光调制器(SLM),其中有用部分的光波分布等同于来自虚拟场景的计算光分布,一种方法包括:
显示至少一个测试图像;
在观看所述至少一个测试图像的同时记录用户的眼睛的图像;
分析所记录图像以获得用户特征;
与至少一个致动器相互作用以补偿用户特征。
1E9.如1E8所述的方法,其中记录用户的眼睛的图像包括用两个相机记录图像。
1E10.如1E8所述的方法,其中记录用户的眼睛的图像包括记录用户瞳孔的位置。
1E11.1如E8所述的方法,其中分析所记录图像以获得用户特征包括记录用户瞳孔之间的瞳间距离。
1E12.1E8所述的方法,其中分析所记录图像以获得用户特征包括测定用户眼睛的异常状况。
1E13.如1E8所述的方法,其中所述近眼显示装置包括头戴式装置。
1F1.一种方法,包括:
在出射瞳平面的有用部分确定虚拟场景波的二维复值图;
将出射瞳平面的有用部分上的虚拟场景波的二维复值图反向传播到空间光调制器平面,以确定空间光调制器出口处的理想二维复值波形(two dimensional complexvalued wave profile);
确定照射所述空间光调制器的照射波的二维复值图;
从空间光调制器的出口处的理想二维复值波形中提取照射波的二维复值波形,以获得二维理想模拟复值空间光调制器透射率;
将预滤波和采样应用于二维理想模拟复值空间光调制器透射率,以获得二维理想复值离散空间光调制器图像;并
将二维理想复值离散空间光调制器图像编码成适用于空间光调制器显示的二维实际数字空间光调制器图像,其中由空间光调制器引入的噪声被分配到有用部分之外的区域。
1F2.如1F1所述的方法,其中在出射瞳平面的有用部分上确定虚拟场景的二维复值图包括使用点云对象模型将虚拟对象表示为多个点光源。
1F3.如1F2所述的方法,其中在出射瞳平面的有用部分上确定虚拟场景的二维复值图包括为点光源中的每一组添加球面波项(spherical wave term)。
1F4.如1F1所述的方法,其中在出射瞳平面的有用部分上确定虚拟场景的二维复值图包括获取由图形处单元(GPU)呈现的用于视点的RGB图像与GPU提供的zBuffer数据,且将面向视点的物体表面表示为具有相应RGB值和深度位置的多个点光源。
1F5.如1F1所述的方法,其中在出射瞳平面的有用部分上确定虚拟场景的二维复值图包括:
将虚拟场景分割成以出射瞳平面的有用部分为球心的多个不同半径的同心球面;
为每个同心球面形成矩阵,其中矩阵上的每个元素与球上特定的角位置相关联,且每个元素填充有球面上该角位置处的点源的复振幅;
对矩阵进行逆傅里叶变换以创建结果;
将所得结果乘以具有与球半径相等的焦距的共同发散透镜项;以及
对每个同心球面重复分割、形成、傅里叶逆变换和乘法的步骤,并叠加以在出射瞳平面的有用部分上找到虚拟场景波的二维复值图。
1F6.如1F1所述的方法,其中反向传播包括结合自由空间传播和任何光学部件的波形光学模型,后者包括由空间光调制器和出射瞳平面的有用部分之间的部件引入的相差。
1F7.如1F1所述的方法,其中在出射瞳平面的有用部分上确定虚拟场景的二维复值图包括对包括像差在内的照明模块的组件执行自由空间传播和波形光学分析。
1F8.如1F1所述的方法,其中编码包括编码为仅相位全息图。
1F9.如1F1所述的方法,其中编码包括编码为仅振幅全息图。
1F10.如1F1所述的方法,其中编码包括编码为二进制全息图。
1F11.对于近于25cm的物体,有用部分的尺寸被认为小于2mm,典型值为1mm,使得这些物体的清晰图像也可使用针孔成像原理传送至视网膜。所述图像具有无限焦深。
1G1.一种方法,包括:
使用点云虚拟场景模型在出射瞳平面的有用部分上确定虚拟场景的二维复值图,将虚拟场景表示为多个虚拟场景点;
将相位值分配给多个虚拟场景点中的每一个以减少斑点;
将出射光瞳平面的有用部分上的虚拟场景波的二维复值图反向传播到空间光调制器平面,以确定空间光调制器的出口处的理想二维复值波形;
确定照射所述空间光调制器的照射波的二维复值图;
从空间光调制器的出口处的理想二维复值波形中提取照射波的二维复值波形,以获得二维理想模拟复值空间光调制器透射率;
将预滤波和采样应用于二维理想模拟复值空间光调制器透射率,以获得二维理想复值离散空间光调制器图像;以及
将二维理想复值离散空间光调制器图像编码成适用于空间光调制器显示的二维实际数字空间光调制器图像,其中由空间光调制器引入的噪声被分配到有用部分之外的区域。
1G2.如1G1所述的方法,其中将相位值分配给多个虚拟场景点中的每一个以减少斑点包括分配相位值以产生用户视网膜上多个点的平滑内插版本。
1G3.如1G1所述的方法,其中将相位值分配给多个虚拟场景点中的每一个以减少斑点包括分配相位值以使得从虚拟场景点到视网膜的光路与光源的中心波长相差整数倍。
1G4.如1G1所述的方法,其中将相位值分配给多个虚拟场景点中的每一个以减少斑点包括分配相位值以使得从多个虚拟场景点到瞳孔的光路与光源的中心波长相差整数倍。
1G5.如1G1所述的方法,其中在出射瞳平面的有用部分上确定虚拟场景波的理想二维复值波形包括为多个虚拟场景点中的每一个添加球波项。
1G6.如1G1所述的方法,其中反向传播包括将空间光调制器和出射光瞳平面的有用部分之间的任何光学部件的波光学模型合并。
1G7.如1G1所述的方法,其中确定照射波的二维复值图包括对照明模块内的组件进行波形光学分析。
1G8.如1G1所述的方法,其中编码包括仅相位掩膜编码。
2A1.一种装置,包括:
透明基板,具有相干光束照射穿过的第一面;
光散射装置,嵌入在所述基板中,光散射装置将光从所述第一面散射;和
反射光学元件,用于将来自散射装置的光反射到第一面并产生相干光束。
2A2.一种用于产生相干光束的装置,包括:
透明基板,具有面和嵌入式光散射装置;
光导向装置,定位在所述基板内,以从所述基板外部接收光并将所述光引导到所述嵌入式光散射装置;以及
反射光学元件,用于将由散射装置散射的光反射到面以产生相干光束。
2A3.一种包括近眼显示装置的装置,包括:
至少一个点光源;
透明基板,具有通过相干光束照射的第一面;
光散射装置,嵌入在所述基板中以接收来自所述至少一个点光源的光并将光从所述第一面散射开;
反射型光学元件,用于将来自散射装置的光反射到第一面以产生相干光束;以及
空间光调制器,安装在近眼显示装置上并由相干光束照射,其中所述空间光调制器不在使用近眼显示装置的用户的视网膜的光共轭平面中。
2A4.根据2A1-2A27中任一项所述的装置,其中所述相干光束包括会聚光束。
2A5.根据2A1-2A27中任一项所述的装置,其中所述相干光束包括发散光束。
2A6.根据2A1-2A27中任一项所述的装置,其中所述相干光束包括准直光束。
2A7.根据2A1-2A27中任一项所述的装置,其中所述反射光学元件包括微镜阵列。
2A8.根据2A1-2A27中任一项所述的装置,其中所述反射光学元件包括菲涅尔反射镜。
2A9.根据2A1-2A27中任一项所述的装置,其中所述反射光学元件包括自由形式的光学反射器。
2A10.根据2A1-2A27中任一项所述的装置,其中所述反射光学元件包括凹面镜。
2A11.根据2A1-2A27中任一项所述的装置,其中所述反射光学元件反射光以产生会聚在一个维度上的会聚光束。
2A12.根据2A1-2A27中任一项所述的装置,其中所述反射光学元件反射光以产生会聚在两个维度上的会聚光束。
2A13.根据2A1-2A27中任一项所述的装置,还包括耦合到所述透明基板的第一面的空间光调制器。
2A14.根据2A1-2A27中任一项所述的装置,其中所述空间光调制器是透射型的。
2A15.根据2A1-2A27中任一项所述的装置,其中所述空间光调制器是反射型的。
2A16.根据2A1-2A27中任一项所述的装置,还包括:
点光源;以及
光导,位于基板内以将来自点光源的光导向散射装置。
2A17.根据2A1-2A27中任一项所述的装置,还包括点光源,所述点光源位于所述基板内以向所述散射装置提供光。
2A18.根据2A1-2A27中任一项所述的装置,其中所述点光源包括有机发光二极管(OLED)。
2A19.根据2A1-2A27中任一项所述的装置,其中所述点光源包括红色有机发光二极管(OLED)、绿色OLED和蓝色OLED。
2A20.根据2A1-2A27中任一项所述的装置,其中所述点光源包括荧光分子。
2A21.根据2A20的装置,其中所述荧光分子包括量子点。
2A22.根据2A1-2A27中任一项所述的装置,其中所述反射型光学元件嵌入所述基板。
2A23.根据2A1-2A27中任一项所述的装置,其中所述反射型光学元件是半透反射型的。
2A24.根据2A1-2A27中任一项所述的装置,还包括用于向所述光导向装置提供光的点光源。
2A25.根据2A1-2A27中任一项所述的装置,其中所述至少一个点光源包括红色光源、绿色光源和蓝色光源。
2A26.根据2A1-2A27中任一项所述的装置,还包括光导,所述光导位于所述透明基板内,用于将来自所述至少一个点光源的光导向所述光散射装置。
2A27.根据2A1-2A27中任一项所述的装置,其中所述近眼显示装置包括头戴式装置。
2B1.一种装置,包括:
平板波导,具有输入端、输出端、第一表面和第二表面,第一表面和第二表面彼此平行以使光通过全内反射从输入端传播到输出端;
楔形件,耦合以从所述平板波导的输出端接收光,所述楔形件具有第一表面和倾斜表面,所述倾斜表面不平行于所述楔形件的第一表面以形成连续减小的厚度,以使光从倾斜的角度离开所述楔表面;以及
光学部件,具有平行于所述楔形件的倾斜表面的面,所述光学部件包括微镜阵列以将通过所述面接收的光反射穿过所述楔形件。
2B2.根据2B1所述的装置,其中楔形件的第一表面平行于平板波导的第一表面。
2B3.根据2B1所述的装置,还包括空间光调制器,其位于平板波导的第一表面上,以在光通过全内反射途径传播时调制光。
2B4.根据2B1所述的装置,还包括空间光调制器,其位于楔形件和微镜阵列之间,以在光离开倾斜表面之后调制光。
2B5.根据2B1所述的装置,还包括用于眼睛跟踪的相机。
2B6.根据2B5所述的装置,其中相机沿着平板波导定位。
2B7.一种装置,包括:
平板波导,具有输入端和输出端,所述输出端形成第一楔形件,所述第一楔形件包括第一倾斜表面,光在从所述输入端传播后通过全内反射通过所述第一倾斜表面离开;以及
补偿楔块,包括微镜阵列以反射离开第一楔形件的光。
2B8.根据2B7所述的装置,其中所述补偿楔形件包括平行于第一倾斜表面的第二倾斜表面。
2B9.根据2B7所述的装置,还包括空间光调制器,其沿着平板波导定位,以在光通过全内反射传播时调制光。
2B10.根据2B9的所述装置,还包括用于向输入端提供光的点光源。
2B11.根据2B7的所述装置,还包括空间光调制器,其位于第一楔形件和微镜阵列之间,以在光离开第一倾斜表面之后调制光。
2B12.根据2B7的装置还包括用于眼睛跟踪的相机。
2B13.根据2B12的装置,其中相机沿着平板波导定位。
2B14.一种近眼显示装置,包括:
点光源;
平板波导,具有输入端、输出端、第一表面和第二表面,第一表面和第二表面彼此平行以使得从点光源接收的光通过全内反射从输入端传播到输出端;
楔形件,耦合以从所述平板波导的输出端接收光,所述楔形件具有第一表面以及倾斜表面,所述倾斜表面不平行于所述楔形件第一表面,以形成连续减小的厚度使光从倾斜的角度离开所述楔表面;
光学部件,具有平行于所述楔形物的倾斜表面,所述光学部件包括微镜阵列,以将通过所述表面接收的光反射穿过所述楔形物以产生会聚光束;以及
由会聚光束照射的空间光调制器,其中所述空间光调制器不在使用近眼显示装置的用户的视网膜的光共轭平面中。
2B15.根据2B14的所述近眼显示装置,还包括空间光调制器,其位于平板波导的第一表面上,以在光通过全内反射传播时调制光。
2B16.根据2B14所述的近眼显示装置,还包括空间光调制器,其位于楔形件和微镜阵列之间,以在光离开倾斜表面之后调制光。
2B17.根据2B14所述的近眼显示装置,还包括用于眼睛跟踪的相机。
2B18.根据2B17所述的近眼显示装置,其中相机沿着平板波导定位。
2B19.根据2B14所述的近眼显示装置,其中光学部件包括补偿楔形件,所述补偿楔形件在与楔形件组合时产生均匀的厚度。
2B20.根据2B14所述的近眼显示装置,其中近眼显示装置包括头戴式装置。
2C1.一种装置,包括:
平板波导,具有输入端、输出端、第一表面和第二表面,第一表面和第二表面彼此平行,以使光通过全内反射从输入端传播到输出端;
弯曲楔形件,耦合以接收来自平板波导的输出端的光,所述弯曲楔形件具有连续减小的厚度,以使光从两个表面之一离开楔形件。
2C2.根据2C1所述的装置,还包括空间光调制器,其位于平板波导的第一表面上,以在光通过全内反射传播时调制光。
2C3.根据2C1所述的装置,还包括用于眼睛跟踪的相机。
2C4.根据2C3所述的装置,其中相机沿着平板波导定位。
2C5.一种装置,包括:
平板波导,具有输入端、输出端、第一和第二表面,第一和第二表面彼此平行,以使光通过全内反射从输入端传播到输出端;
弯曲楔形件,耦合以从平板波导的输出端接收光,所述弯曲楔形件具有连续减小的厚度,以使光从两个表面之一离开所述楔形件;以及
补偿弯曲楔形件,当光同时通过弯曲楔形件和补偿弯曲楔形件时为光提供均匀的光程长度。
2C6.根据2C5所述的装置,还包括沿着平板波导定位的空间光调制器,以在光通过全内反射传播时调制光。
2C7.根据2C5所述的装置,还包括点光源以向输入端提供光。
2C8.根据2C5所述的装置,还包括用于眼睛跟踪的相机。
2C9.根据2C8所述的装置,其中相机沿着平板波导定位。
2C10.一种近眼显示装置,包括:
点光源;
平板波导,具有输入端、输出端、第一和第二表面,第一和第二表面彼此平行,以使得从点光源接收的光通过全内反射从输入端传播到输出端;
弯曲楔形件,耦合以接收来自所述平板波导的输出端的光,所述楔形件具有第一和第二表面,所述第一和第二表面被定向以成形成连续减小的厚度,以使光从所述第一和第二表面之一离开所述弯曲楔形件并产生会聚光束;
由会聚光束照射的空间光调制器,其中所述空间光调制器不在使用所述近眼显示装置的用户的视网膜的光共轭平面内。
2C11.根据2C10所述的近眼显示装置,还包括补偿弯曲楔形件,其为通过弯曲楔形件和补偿弯曲楔形件的光提供均匀的光程长度。
2C12.根据2C10所述的近眼显示装置,还包括用于眼睛跟踪的相机。
2C13.根据2C10所述的近眼显示装置,其中相机沿平板波导定位。
2C14.根据2C10所述的近眼显示装置,其中近眼显示装置包括头戴式装置。
3A1.一种近眼显示装置,包括:
可移动平台,包括多个光源;以及
电路,用于调制多个光源并使调制与可移动平台的运动同步。
3A2.根据3A1所述的近眼显示装置,还包括偏振片,以使第一取向偏振的环境光通过,其中多个光源被定位以将光导向用户眼睛的预期位置。
3A3.根据3A1所述的近眼显示装置,其中多个光源被定位成将光引导离开用户眼睛的预期位置。
3A4.根据3A1所述的近眼显示装置,其中所述多个光源包括光源阵列。
3A5.根据3A4所述的近眼显示装置,其中所述光源阵列包括发光二极管阵列。
3A6.根据3A4所述的近眼显示装置,其中所述光源阵列包括至少两种不同颜色的光源。
3A7.根据3A4所述的近眼显示装置,其中所述光源阵列包括红色、绿色和蓝色光源。
3A8.根据3A4所述的近眼显示装置,其中所述光源阵列包括一维阵列。
3A9.根据3A4所述的近眼显示装置,其中所述光源阵列包括二维阵列。
3A10.根据3A4所述的近眼显示装置,其中所述可移动平台包括在一个维度上移动的杆。
3A11.根据3A4所述的近眼显示装置,其中所述可移动平台包括安装在枢轴点上的杆。
3A12.根据3A1所述的近眼显示装置,其中所述可移动平台包括在一个维度上移动的多个杆。
3A13.根据3A1所述的近眼显示装置,其中所述近眼显示装置包括头戴式装置。3A14.组合:
近眼显示装置,包括包含多个光源的可移动平台;以及
具有第一部分和第二部分的接触透镜,所述第一部分具有高屈光度透镜,以允许用户聚焦于所述多个光源的平面上。
3A15.根据3A14所述的组合,其中近眼显示装置包括头戴式装置。
3A16.根据3A14所述的组合,其中所述近眼显示装置还包括偏振片,所述偏振膜使得在第一取向中的光偏振,所述偏振膜被定向成使得所述近眼显示装置的用户所观看的环境光穿过偏振片,并且进一步定向成使得由多个光源产生的光不通过偏振膜。
3A17.根据3A16所述的组合,其中多个光源产生与第一取向不同的第二取向偏振的光。
3A18.根据3A14所述的组合,其中接触透镜的第一部分具有与偏振片相匹配的偏振,而第二部分具有与由多个光源产生的光相匹配的偏振。
3A19.根据3A14所述的组合,其中接触透镜的第二部分包括滤光片。
3A20.根据3A14所述的组合,其中接触透镜的第一部分和第二部分是同心的。
3A21.根据3A14所述的组合,其中多个光源位于在近眼显示装置的观看区域快速移动的可移动平台上。
3A22.根据3A21所述的组合,其中可移动平台包括在一个维度上移动的多个杆。
3A23.根据3A21所述的组合,其中可移动平台在一个维度上移动。
3A24.根据3A21所述的组合,其中可移动平台安装在近眼显示装置的枢轴点上。
3A25.根据3A14所述的组合,其中接触透镜的第二部分包括两个滤光片。
3A26.根据3A14所述的组合,其中接触透镜的第二部分包括三个滤光片。
3A27.根据3A14所述的组合,其中接触透镜的第二部分包括四个滤光片。
3A28.根据3A14所述的组合,其中可移动平台是磁力驱动的。
3A29.根据3A14所述的组合,其中可移动平台是压电致动的。
3A30.根据3A14所述的组合,其中可移动平台是电致动的。
3A31.一种近眼显示装置,包括:
点光源;以及
可移动平台,包括空间光调制器,空间光调制器被定位为被点光源照射,使得当可移动平台在用户的视野中快速移动时,当近眼显示装置在使用时,空间光调制器将光导向位于用户眼瞳预期位置的出射光瞳上,且其中出射瞳平面处于点光源的光学共轭位置。
3A32.根据3A31所述的近眼显示装置,其中空间光调制器包括单行像素。
3A33.根据3A31所述的近眼显示装置,其中空间光调制器包括多行像素。
3A34.根据3A31所述的近眼显示装置,其中点光源安装在移动平台上。
3A35.根据3A31所述的近眼显示装置,其中可移动平台包括在一个维度上移动的多个杆。
3A36.根据3A31所述的近眼显示装置,其中移动平台包括多个杆,每个杆包括至少一行空间光调制器像素。
3A37.根据3A31所述的近眼显示装置,还包括在使用时被时分复用的多个不同颜色的光源。
3A38.根据3A31所述的近眼显示装置,所述近眼显示装置包括头戴式装置。
4A1.一种近眼显示装置,包括:
点光源;
空间光调制器;
反射式光学元件,可旋转地安装至近眼显示装置,并被定位以被所述至少一个点光源照射,使得当近眼显示装置在使用时,将光投射至位于用户眼瞳预期位置的出射瞳平面上;
瞳孔跟踪装置,用于确定用户眼瞳位置的;以及
致动器,用于驱动响应用户眼瞳位置旋转的反射光学元件。
4A2.根据4A1所述的近眼显示装置,其中空间光调制器是反射型的。
4A3.根据4A1所述的近眼显示装置,其中空间光调制器是透射型的。
4A4.根据4A1所述的近眼显示装置,其中空间光调制器耦合到反射光学元件,使得空间光调制器和反射光学元件一起旋转。
4A5.根据所述近眼显示装置包括头戴式装置。
4A6.根据4A1所述的近眼显示装置,其中点光源安装于近眼显示装置的鼻梁上。
4A7.根据4A1所述的近眼显示装置,其中点光源安装于近眼显示装置的框架上。
4A8.根据4A1所述的近眼显示装置,其中致动器包括磁致动器。
4A9.根据4A1所述的近眼显示装置,其中致动器包括电动机。
4A10.根据4A1所述的近眼显示装置,其中投射到出射瞳平面上的光包括由空间光调制器产生的多个衍射级,且致动器使得其中一个衍射级跟随用户眼瞳的位置。
4A11.根据4A1所述的近眼显示装置,其中投射到出射瞳平面上的光包括由空间光调制器产生的多个衍射级,且致动器引起不同的衍射级以跟随用户眼瞳的位置变化。
4A12.根据4A1所述的近眼显示装置,还包括多个点光源和响应于光瞳跟踪装置的光选择部件。
4A13.一种方法,包括:
跟踪用户眼瞳的位置;
旋转产生多个衍射级的空间光调制器,使单个衍射级进入用户眼瞳。
4A14.根据4A13所述的方法,其中跟踪包括测量角度,且进一步包括为大于阈值的角度使用不同数据驱动空间光调制器以改变进入用户眼瞳的衍射级。
4A15.根据4A13所述的方法,其中跟踪包括测量角度,且进一步包括选择不同的光源以基于角度照射空间光调制器。
4B1.一种近眼显示装置,包括:
点光源;
空间光调制器;
有源光栅,实现设置在点光源和空间光调制器之间的多段棱镜,该有源光栅被定位成被点光源照射以将光引导到空间光调制器上,该空间光调制器被定位为由有源光栅引导的波光照射,以在近距离显示装置使用时将光定位在用户眼睛瞳孔的预期位置处的出射光瞳平面上;
瞳孔跟踪装置,用于确定用户眼睛瞳孔的位置;以及
控制电路,用于为响应用户眼瞳位置的主动式光栅供能。
4B2.一种近眼显示装置,包括:
点光源;
光学部件,包括空间光调制器、反射器和设置在所述反射器和所述空间光调制器之间的主动式光栅,所述光学部件被定位成被所述至少一个点光源照射使得当近眼显示装置在使用时,将光投射在位于用户眼瞳预期位置的出射瞳平面上;
瞳孔跟踪装置,用于确定用户眼瞳位置;以及
控制电路,用于为响应用户眼瞳位置的主动式光栅供能。
4B3.根据4B1-4B2中任一项所述的近眼显示装置,其中所述近眼显示装置包括头戴式装置。
4B4.一种方法,包括:
跟踪用户眼瞳的位置;
致动可编程衍射光栅,可编程衍射光栅将光导向产生多个衍射级的空间光调制器,使得单个衍射级进入用户眼瞳。
4B5.根据4B4所述的方法,其中跟踪包括测量角度,且进一步包括为大于阈值的角度使用不同数据驱动空间光调制器以改变进入用户眼瞳的衍射级。
4B6.根据4B4所述的方法,其中跟踪包括测量角度,且进一步包括选择不同的光源以基于角度照射空间光调制器。
虽然已经结合某些实施例描述了本发明,但是应当理解,在不脱离本领域技术人员容易理解的本发明的保护范围的情况下,可以对本发明进行修改和变化。这些修改和变化被认为在本发明和所附权利要求的范围内。

Claims (20)

1.一种近眼显示装置,包括:
至少一个点光源;以及
至少一个空间光调制器(SLM),安装在所述近眼显示装置上,
其中由所述至少一个点光源产生的光照射所述SLM并被调制以产生调制光,并且所述调制光被引导至包括有用部分的出射瞳平面上,并且所述有用部分内的光波分布等于来自虚拟场景的计算光分布;以及
其中当所述近眼显示装置正在使用时,所述有用部分能够在所述出射瞳平面上移动以跟随用户眼瞳的运动,使得所述用户眼瞳充当空间滤光器以过滤由所述SLM在所述出射瞳平面处产生的不需要的光束。
2.根据权利要求1所述的近眼显示装置,其中所述至少一个空间光调制器仅调制所述照射所述SLM的光的相位。
3.根据权利要求1所述的近眼显示装置,其中所述空间光调制器仅调制所述照射所述SLM的光的振幅。
4.根据权利要求1所述的近眼显示装置,其中所述至少一个空间光调制器仅调制所述照射所述SLM的光的相位和幅度。
5.根据权利要求1所述的近眼显示装置,其中所述至少一个空间光调制器是反射性的。
6.根据权利要求1所述的近眼显示装置,其中所述至少一个空间光调制器是透射性的。
7.根据权利要求1所述的近眼显示装置,其中所述有用部分的宽度大于所述用户眼瞳的预期宽度。
8.根据权利要求1所述的近眼显示装置,其中所述有用部分的宽度大于3mm。
9.根据权利要求1所述的近眼显示装置,其中投射在所述出射瞳平面上的光包括多个图像副本,且所述有用部分包括一个图像副本。
10.根据权利要求1所述的近眼显示装置,其中所述SLM产生落在所述有用部分之外的较高衍射级。
11.根据权利要求1所述的近眼显示装置,其中所述SLM产生落在所述有用部分之外的量化噪音。
12.根据权利要求1所述的近眼显示装置,其中所述SLM产生落在所述有用部分之外的共轭光束。
13.根据权利要求1所述的近眼显示装置,其中所述SLM产生落在所述有用部分之外的DC光束。
14.根据权利要求1所述的近眼显示装置,其中所述虚拟场景是二维的。
15.根据权利要求1所述的近眼显示装置,其中所述虚拟场景是三维的。
16.一种方法,包括:
在出射瞳平面的有用部分上确定虚拟场景波的二维复值图;
所述出射瞳平面的所述有用部分上的所述虚拟场景波的所述二维复值图反向传播到空间光调制器平面以确定所述空间光调制器的出口处的理想二维复值波形;
确定将照射所述空间光调制器的照射波的二维复值图;
从所述空间光调制器的所述出口处的所述理想二维复值波形中提取所述照射波的所述二维复值波形,以获得二维理想模拟复值空间光调制器透射率;
对所述二维理想模拟复值空间光调制器透射率施加预滤波和采样,以获得二维理想复值离散空间光调制器图像;以及
将所述二维理想复值离散空间光调制器图像编码成适用于由所述空间光调制器显示的二维实际数字空间光调制器图像,其中由所述空间光调制器引入的噪声被分配到所述有用部分之外的区域。
17.根据权利要求16所述的方法,其中,在出射瞳平面的有用部分上确定虚拟场景的二维复值图包括使用点云对象模型将虚拟场景表示为多个点光源,以及将所述多个点光源发射的波叠加。
18.根据权利要求16所述的方法,其中,在出射瞳平面的有用部分上确定虚拟场景的二维复值图包括将相位值分配给多个虚拟场景点中的每一个以减少斑点噪声。
19.根据权利要求16所述的方法,其中,在出射瞳平面的有用部分上确定虚拟场景波的二维复值图包括:
将所述虚拟场景分割成具有不同半径的多个同心球面,所述多个同心球面同心于所述出射瞳平面的所述有用部分的中心;
为所述多个同心球面中的每一个形成矩阵,其中所述矩阵的每个元素与球上特定的角位置相关联,且每个元素填充有所述球上所述角位置处的点源的复振幅;
对所述矩阵进行傅里叶逆变换以创建结果;
将所述结果乘以具有与所述球的半径相等的焦距的共同发散透镜项;以及
对所述多个同心球面中的每一个重复分割、形成、傅里叶逆变换和乘法的步骤,并叠加以在所述出射瞳平面的所述有用部分上找到所述虚拟场景波的二维复值图。
20.根据权利要求16所述的方法,其中,
来自所显示的虚拟场景的多个第一子部分的波在整个有用部分上被重建,使得所述多个第一子部分中的每一个仅在用户适应该子部分的深度时看上去聚焦在视网膜上;
来自所显示的虚拟场景的第二子部分的波在有用部分的小范围内被重建,使得这些部分看上去始终聚焦在所述视网膜上。
CN201480084628.2A 2014-12-26 2014-12-26 头戴式显示装置、近眼显示装置和方法 Active CN107438796B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/TR2014/000512 WO2016105281A1 (en) 2014-12-26 2014-12-26 Near-to-eye display device

Publications (2)

Publication Number Publication Date
CN107438796A true CN107438796A (zh) 2017-12-05
CN107438796B CN107438796B (zh) 2020-07-03

Family

ID=52774516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480084628.2A Active CN107438796B (zh) 2014-12-26 2014-12-26 头戴式显示装置、近眼显示装置和方法

Country Status (3)

Country Link
EP (1) EP3237957A1 (zh)
CN (1) CN107438796B (zh)
WO (1) WO2016105281A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109061883A (zh) * 2018-10-25 2018-12-21 杭州瞳创医疗科技有限公司 一种自动测量瞳距的头戴式显示设备和方法
CN109462924A (zh) * 2018-10-11 2019-03-12 北方信息控制研究院集团有限公司 一种多层空间光调制自适应光场的照明方法
CN109725462A (zh) * 2019-03-04 2019-05-07 京东方科技集团股份有限公司 显示器件、显示设备以及显示器件的驱动方法
TWI666483B (zh) * 2018-03-22 2019-07-21 醫百科技股份有限公司 可調焦之影像顯示眼鏡
CN110308566A (zh) * 2019-06-28 2019-10-08 上海慧希电子科技有限公司 显示系统及双目系统
WO2019228539A1 (zh) * 2018-05-28 2019-12-05 江苏慧光电子科技有限公司 成像方法和光学系统及其存储介质、芯片与组合
CN110824611A (zh) * 2019-11-21 2020-02-21 歌尔股份有限公司 均匀性补偿方法、光波导系统及增强现实设备
CN111458895A (zh) * 2020-04-28 2020-07-28 迪鹏光电科技股份有限公司 阵列式结构光图案投射装置
CN111624774A (zh) * 2020-06-30 2020-09-04 京东方科技集团股份有限公司 增强现实显示光学系统及显示方法
CN113383260A (zh) * 2019-01-31 2021-09-10 见真实股份有限公司 具有对于观看者的正确单目深度提示的光场混合现实系统
WO2022142602A1 (zh) * 2020-12-28 2022-07-07 上海慧希电子科技有限公司 光学器件、系统及光学设备
US11953689B2 (en) 2020-09-30 2024-04-09 Hes Ip Holdings, Llc Virtual image display system for virtual reality and augmented reality devices

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017145154A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. Wide field of view hybrid holographic display
US10788791B2 (en) 2016-02-22 2020-09-29 Real View Imaging Ltd. Method and system for displaying holographic images within a real object
US11663937B2 (en) 2016-02-22 2023-05-30 Real View Imaging Ltd. Pupil tracking in an image display system
WO2017145158A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. Zero order blocking and diverging for holographic imaging
US20170255020A1 (en) * 2016-03-04 2017-09-07 Sharp Kabushiki Kaisha Head mounted display with directional panel illumination unit
US9964768B2 (en) 2016-03-04 2018-05-08 Sharp Kabushiki Kaisha Head mounted display using spatial light modulator to generate a holographic image
CN106445167B (zh) * 2016-10-20 2019-09-20 网易(杭州)网络有限公司 单眼视界自适配调整方法及装置、头戴式可视设备
US11960083B2 (en) * 2016-11-15 2024-04-16 Creal Sa Near-eye sequential light-field projector with correct monocular depth cues
CN108152955B (zh) * 2016-12-06 2021-12-28 艾菲瑞斯特有限公司 用于近眼显示器的图像引导光学器件
DE102016124538A1 (de) 2016-12-15 2018-06-21 tooz technologies GmbH Datenbrille, Brillenglas für eine Datenbrille und Verfahren zum Generieren eines Bildes auf der Netzhaut
CN108882845B (zh) * 2016-12-31 2022-05-03 鲁姆斯有限公司 基于经由光导光学元件的视网膜成像的眼动追踪器
US10330936B2 (en) 2017-01-19 2019-06-25 Facebook Technologies, Llc Focal surface display
CN114594603A (zh) * 2017-01-19 2022-06-07 脸谱科技有限责任公司 焦面显示
US11294182B2 (en) * 2017-02-28 2022-04-05 Cy Vision Inc. Near-to-eye display device using a spatial light modulator
CN106842880B (zh) * 2017-03-27 2018-09-28 深圳市美誉镜界光电科技有限公司 全息图像生成方法、处理器及全息图像显示装置、设备
US11604352B2 (en) 2020-07-29 2023-03-14 Meta Platforms Technologies LLC Waveguide-based projector

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008065569A1 (en) * 2006-11-30 2008-06-05 Koninklijke Philips Electronics, N.V. Electronic imaging device and method of electronically rendering a wavefront
CN101743519A (zh) * 2007-05-16 2010-06-16 视瑞尔技术公司 全息显示装置
CN101794028A (zh) * 2010-03-04 2010-08-04 首都师范大学 光学实时三维立体显示装置及方法
TW201300834A (zh) * 2011-06-23 2013-01-01 Seereal Technologies Sa 顯示裝置,尤其是頭戴式顯示器或護目鏡
WO2014085734A1 (en) * 2012-11-28 2014-06-05 Microsoft Corporation Peripheral display for a near-eye display device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1505873A (en) * 1976-09-03 1978-03-30 British Aircraft Corp Ltd Optical display devices
JP4463567B2 (ja) * 2004-01-06 2010-05-19 浜松ホトニクス株式会社 三次元像表示装置および三次元像表示方法
JP5015950B2 (ja) * 2005-12-22 2012-09-05 シーリアル テクノロジーズ ソシエテ アノニム ホログラフィックに再構成されたシーンにおける不均一な輝度知覚を補償する方法
JP5927559B2 (ja) * 2011-04-27 2016-06-01 パナソニックIpマネジメント株式会社 表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008065569A1 (en) * 2006-11-30 2008-06-05 Koninklijke Philips Electronics, N.V. Electronic imaging device and method of electronically rendering a wavefront
CN101743519A (zh) * 2007-05-16 2010-06-16 视瑞尔技术公司 全息显示装置
CN101794028A (zh) * 2010-03-04 2010-08-04 首都师范大学 光学实时三维立体显示装置及方法
TW201300834A (zh) * 2011-06-23 2013-01-01 Seereal Technologies Sa 顯示裝置,尤其是頭戴式顯示器或護目鏡
WO2014085734A1 (en) * 2012-11-28 2014-06-05 Microsoft Corporation Peripheral display for a near-eye display device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
STEPHAN REICHELT ET AL: "Holographic 3-D Displays - Electro-holography within the Grasp of Commercialization", 《HTTP://WWW.INTECHOPEN.COM》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI666483B (zh) * 2018-03-22 2019-07-21 醫百科技股份有限公司 可調焦之影像顯示眼鏡
WO2019228539A1 (zh) * 2018-05-28 2019-12-05 江苏慧光电子科技有限公司 成像方法和光学系统及其存储介质、芯片与组合
CN109462924A (zh) * 2018-10-11 2019-03-12 北方信息控制研究院集团有限公司 一种多层空间光调制自适应光场的照明方法
CN109061883B (zh) * 2018-10-25 2020-12-04 杭州瞳创医疗科技有限公司 一种自动测量瞳距的头戴式显示设备和方法
CN109061883A (zh) * 2018-10-25 2018-12-21 杭州瞳创医疗科技有限公司 一种自动测量瞳距的头戴式显示设备和方法
CN113383260B (zh) * 2019-01-31 2023-08-25 见真实股份有限公司 具有对于观看者的正确单目深度提示的光场混合现实系统
CN113383260A (zh) * 2019-01-31 2021-09-10 见真实股份有限公司 具有对于观看者的正确单目深度提示的光场混合现实系统
CN109725462A (zh) * 2019-03-04 2019-05-07 京东方科技集团股份有限公司 显示器件、显示设备以及显示器件的驱动方法
CN109725462B (zh) * 2019-03-04 2022-11-04 京东方科技集团股份有限公司 显示器件、显示设备以及显示器件的驱动方法
CN110308566B (zh) * 2019-06-28 2021-12-03 上海慧希电子科技有限公司 显示系统及双目系统
CN110308566A (zh) * 2019-06-28 2019-10-08 上海慧希电子科技有限公司 显示系统及双目系统
CN110824611B (zh) * 2019-11-21 2021-02-05 歌尔股份有限公司 均匀性补偿方法、光波导系统及增强现实设备
CN110824611A (zh) * 2019-11-21 2020-02-21 歌尔股份有限公司 均匀性补偿方法、光波导系统及增强现实设备
CN111458895A (zh) * 2020-04-28 2020-07-28 迪鹏光电科技股份有限公司 阵列式结构光图案投射装置
CN111624774A (zh) * 2020-06-30 2020-09-04 京东方科技集团股份有限公司 增强现实显示光学系统及显示方法
US11953689B2 (en) 2020-09-30 2024-04-09 Hes Ip Holdings, Llc Virtual image display system for virtual reality and augmented reality devices
WO2022142602A1 (zh) * 2020-12-28 2022-07-07 上海慧希电子科技有限公司 光学器件、系统及光学设备

Also Published As

Publication number Publication date
EP3237957A1 (en) 2017-11-01
CN107438796B (zh) 2020-07-03
WO2016105281A1 (en) 2016-06-30

Similar Documents

Publication Publication Date Title
CN107438796A (zh) 近眼显示装置
US10571696B2 (en) Near-to-eye display device
US10241328B2 (en) Near-to-eye display device with variable resolution
JP6510014B2 (ja) 仮想現実および拡張現実のシステムおよび方法
CN106662731B (zh) 可佩戴3d增强现实显示器
US20210088968A1 (en) Dynamic fresnel projector
US7224526B2 (en) Three-dimensional free space image projection employing Fresnel lenses
DE102018002772A1 (de) Minimalistische Brille mit Glasfaser induziertem hoch aufgelösten integralen Lichtfeld zur Einblendung von erweiterten virtuellen Realitäten
CN106537219A (zh) 用于在虚拟和增强现实中产生焦平面的方法和系统
WO2016105282A1 (en) Near-to-eye display device with spatial light modulator and pupil tracker
WO2016105283A1 (en) Near-to-eye display device with moving light sources
KR20220101682A (ko) 조향가능 아이박스를 갖는 증강 현실 헤드업 디스플레이
WO2016105284A1 (en) Apparatus for generating a coherent beam illumination
JP2019521387A (ja) ハイブリッドフォトニックvr/arシステム
Hua 59‐1: Invited Paper: Recent Advances in Head‐Mounted Light Field Displays
Zhang Design and Prototyping of Wide Field of View Occlusion-capable Optical See-through Augmented Reality Displays by Using Paired Conical Reflectors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant