CN108431669A - 动态菲涅尔投影仪 - Google Patents

Abstract

一种用于生成多深度图像序列的系统包括调制阵列。调制阵列包括多个光调制器，所述光调制器可将入射在调制器上的光移位多个度。所述多个光调制器可根据调制位移图案协调地移位光。所述调制位移图案可以被配置为将入射光聚焦到体素上或形成3D图像。可以使一个或多个调制位移图案改变或循环通过，以将一个或多个图像深度平面中的一个或多个图像对象光栅化。

Description

动态菲涅尔投影仪

相关申请的交叉引用

本申请要求2016年1月7日提交的序列号为62/276,099、名称为“DYNAMIC FRESNELPROJECTOR(动态菲涅尔投影仪)”、代理案卷号为ML.30033.00的美国临时专利申请的优先权。上述专利申请的全部内容通过引用明确地并入此文。

背景技术

现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中数字再现的图像或其部分被呈现给用户并可以被感知为真实的。虚拟现实(“VR”)场景通常涉及以对其它实际的真实世界视觉输入不透明的方式呈现数字或虚拟图像信息。增强现实“AR”场景通常涉及数字或虚拟图像信息的呈现，作为对用户周围现实世界的可视化的增强。

例如，参照图1A，示出了增强现实场景100，其中，AR技术设备的用户看到以人、树木、背景中的建筑物和混凝土平台104为特征的真实世界公园状设置102。除了这些项之外，AR技术的用户还感知他/她“看到”站在真实世界平台104上的机器人雕像106，以及正在飞行的卡通式的化身角色108，尽管这些元素在真实世界中不存在。事实证明，人类视觉感知系统非常复杂，产生有助于虚拟图像元素在其他虚拟或现实世界图像元素中舒适、自然感觉、丰富的呈现的VR或AR技术是具有挑战性的。

参照图1B，已经开发了立体可穿戴眼镜112式配置，其一般以两个显示器(例如，114a、114b)为特征，这两个显示器被配置为显示具有稍微不同的元素呈现的图像，使得人类视觉系统感知到三维透视图。已经发现这类配置由于在三维中感知图像所必需克服的聚散度(vergence)与调节(accommodation)之间的失配而使许多用户不舒适。实际上，一些用户不能耐受立体配置。另外，在一些成像设备中，(例如，为显示器114a、114b)处理图像的一个或多个成像模块116可被集成到设备中。为了保持设备“可穿戴”，成像模块116通常一定是小的，因此可能存在图像质量与设备尺寸之间的权衡。例如，较大的成像模块可以在显示器(114a、114b)上产生较高质量的图像输出，同时导致眼镜112笨重和/或沉重。

参照图1C，以角膜120、虹膜122、晶状体124、巩膜126、脉络膜层128、黄斑130、视网膜132和通向大脑的视神经通路134为特征示出了人眼118的简化截面图。黄斑是视网膜的中心，被用于看中等细节。在黄斑的中心是“中心凹(fovea)”，其被用于看最精细的细节。中心凹包含比视网膜的任何其他部分更多的感光体(每视度约120个视锥)。

人类视觉系统不是被动传感器型的系统。人类视觉系统被配置为主动扫描环境。以某种程度上类似于用平板扫描仪扫描图像或用手指从纸上读取盲文的方式，眼睛的感光体响应于刺激的变化而触发，而不是持续地响应于持续的刺激状态。因此，需要向大脑呈现感光体信息的动作(如线性扫描仪阵列在平板扫描仪中扫过一张纸的动作，或手指划过压印在纸上的盲文字的动作)。

实际上，用诸如眼镜蛇毒液之类的用于麻痹眼睛肌肉的物质进行的实验已经表明，如果在他/她的眼睛张开的情况下定位，用由毒液导致麻痹的眼睛观看静止的场景，则受试人将会经历失明。换言之，在没有刺激变化的情况下，感光体不向大脑提供输入，并经历失明。据信，这至少是一个原因：即，正常人的眼睛已经被观察到在所谓的“微跳视”的左右运动中前后移动或抖动。

如上所述，视网膜的中心凹包含最大密度的感光体，并且，虽然人类通常认为他们在其整个视野中具有高分辨率的可视化能力，但他们通常实际上只有小的高分辨率中心以及对用中心凹新近捕获到的高分辨率信息的持久记忆，人类在该小的高分辨率中心周围大量机械扫掠。

以某种程度上类似的方式，眼睛的焦距控制机制(睫状肌，其以如下方式可操作地与晶状体相连：其中，睫状肌放松引起睫状结缔纤维紧张使晶状体变平以获得更远的焦距；睫状肌收缩引起睫状结缔纤维松弛，允许晶状体呈现更圆的几何形状以获得更近的焦距)以大约1/4到1/2的屈光度前后抖动，从而周期性地在目标焦距的近侧和远侧诱发少量所谓的“屈光模糊”。这被大脑的调节控制回路用作周期性的负反馈，其有助于不断纠正过程并保持注视对象的视网膜图像近似对焦。

大脑的可视化中心也从眼睛和其部件相对于彼此的动作得到有用的感知信息。两只眼睛相对于彼此的聚散运动(即，瞳孔向着彼此或远离彼此以会聚眼睛的视线来注视对象的转动动作)与眼睛的晶状体的聚焦(或“调节”)紧密相关。在正常情况下，根据已知的“调节-聚散度反射”关系，改变眼睛的晶状体的焦点或调节眼睛以聚焦在处于不同距离处的对象上会自动引起聚散度的与同一距离匹配的变化。同样，在正常情况下，聚散度变化会引发调节的匹配变化。已知违背此反射起作用(如大多数常规的立体AR或VR配置所做的那样)会使用户产生眼疲劳、头痛或其它形式的不适。

容纳眼睛的头部的运动也对对象的可视化具有关键影响。人类移动他们的头部以使他们周围的世界可视化。他们经常处于相对于所关注的对象重新定位和重新定向头部的相当恒定的状态。另外，在他们的眼睛注视需要移动距中心超过约20度以聚焦在特定对象上时，大多数人喜欢移动他们的头部(即，人们一般不喜欢“从眼角”看事物)。人类一般还根据声音扫描或移动他们的头部—以改善音频信号捕获并利用与头部相关联的耳朵的几何形状。人类视觉系统从所谓的“头部运动视差”获得有力的深度线索，“头部运动视差”作为头部运动与眼睛聚散距离的函数而与不同距离处的对象的相对运动有关(即，如果人左右移动他的头部并保持注视着对象，则距该对象更远的物体将在与头部相同的方向上移动；在该对象前面的事物将在与头部运动相反地移动。这些对于事物相对于人在环境中在空间上位于哪里是非常显著的线索—可能与立体视觉一样有力)。当然，头部运动也被用于环视对象。

另外，头部和眼睛的运动与所谓的“前庭-眼反射”相协调，“前庭-眼反射”在头部转动期间使与视网膜相关的图像信息稳定，从而保持对象图像信息大致居中在视网膜上。响应于头部的转动，眼睛反射性地并成比例地反向转动以保持稳定注视对象。作为这种补偿关系的结果，许多人可以在前后摆动他们的头部时读书(有趣的是，如果书以相同的速度前后晃动而头部近似静止，则通常情况并非如此—人不太可能阅读移动的书；前庭-眼反射是头部和眼睛运动协调中的一种，一般不发展用于手部运动)。此范例对于增强现实系统可能是重要的，由于用户的头部运动可能相对直接地与眼睛运动相关联，且系统将优选准备用此关系来工作。

本文所述的系统及技术被配置为用典型人类视觉配置来工作以解决这些挑战。

发明内容

在一个实施例中，一种用于生成多深度图像序列的系统包括一个或多个光源以及一个或多个调制阵列，所述调制阵列具有多个光调制器。所述一个或多个光源被配置为将光投影在所述多个光调制器中的至少一些上。所述多个光调制器被配置为将光聚焦在体素(voxel)上，以及通过对一个或多个图像深度平面上的不同深度处的多个体素进行光栅化(raster)来生成多深度图像序列。

在一个或多个实施例中，所述多个光调制器被配置为将光的相位移位多个度。所述多个光调制器还可被配置为根据调制位移图案移位光的相位。

在一个或多个实施例中，所述一个或多个光源包括绿色光源、红色光源和蓝色光源。所述一个或多个调制阵列可包括：第一调制阵列，其被配置为接收红光；第二调制阵列，其被配置为接收绿光；以及第三调制阵列，其被配置为接收蓝光。所述一个或多个调制阵列可以包括分区调制阵列，所述分区调制阵列包括：第一区，其被配置为接收红光；第二区，其被配置为接收绿光；以及第三区，其被配置为接收蓝光。

在一个或多个实施例中，所述系统还包括衍射光学组件，所述衍射光学组件包括一个或多个波导层，所述一个或多个波导层对应于不同图像深度平面。所述系统还可包括处理器，所述处理器被配置为引导所述多个光调制器以形成菲涅尔图案。所述处理器可被配置为引导所述多个光调制器以顺序地形成多个菲涅尔图案。所述多个菲涅尔图案中的至少两个可被配置为将光聚焦在不同图像深度处的相应不同体素上。

在另一个实施例中，一种用于生成多深度图像序列的系统包括光源和调制阵列，所述调制阵列包括多个光调制器。所述光源被配置为将光投影在所述多个光调制器中的至少一些上。所述多个光调制器被配置为将光的各部分聚焦以生成多深度图像。

在一个或多个实施例中，所述多个光调制器还被配置为生成多深度图像的序列。所述多个光调制器还可被配置为将光的相位移位多个度。所述多个光调制器还可被配置为根据调制位移图案来移位光的相位。

在一个或多个实施例中，所述光源是白光源。所述调制阵列可以是分区调制阵列，所述分区调制阵列包括：第一区，其被配置为接收红光；第二区，其被配置为接收绿光；以及第三区，其被配置为接收蓝光。

在一个或多个实施例中，所述系统还包括衍射光学组件，所述衍射光学组件包括一个或多个波导层，所述一个或多个波导层对应于不同图像深度平面。所述系统还可包括处理器，所述处理器被配置为引导所述多个光调制器以形成计算机生成的全息图。所述处理器可被配置为引导所述多个光调制器以顺序地形成多个计算机生成的全息图。所述调制阵列可以是8位LCOS。

本发明的其他目的、特征和优点将在具体实施方式、附图和权利要求中描述。

附图说明

附图示出了本发明的一些实施例的设计和效用。应当注意，附图未按比例绘制，并且在所有附图中，相似的结构或功能的元件由相同的参考标记表示。为了更好地理解如何获得本发明的各种实施例的上述和其它优点和目的，将通过参考在附图中示出的具体实施例来对上面简要描述的本发明进行更详细的描述。应当理解，这些附图仅描绘了本发明的典型实施例，因此不应被认为限制其范围，通过使用附图，本发明将用附加的特性和细节来进行描述和解释，在附图中：

图1A至图1C示出了用于虚拟和/或增强现实设备的方法和设备；

图2示出了根据一些实施例的用于生成多深度图像序列的系统，所述系统包括动态菲涅尔(Fresnel)模块和DOE组件；

图3A至图3B示出了根据一些实施例的在一个平面上具有成像对象的平面图像，以及具有被分到不同距离的深度平面中的成像对象的合成图像；

图4A至图4C示出了根据一些实施例的调制阵列、光调制器和调制位移图案；

图5A至图5C示出了根据一些实施例的生成体素的光源和调制阵列；

图6示出了根据一些实施例的可实现菲涅尔模块的成像系统架构；

图7示出了根据一些实施例的示例性系统架构；

图8至图11示出了根据一些实施例的用于生成多深度图像序列的各种系统，所述系统包括动态菲涅尔模块和DOE组件；

图12示出了根据一些实施例的一种用于生成多深度图像序列的系统以及与其相关联的各种图案，所述系统包括动态菲涅尔模块和DOE组件；

图13示出了根据一些实施例的目标对象；

图14A、图15A以及图16A示出了根据一些实施例的生成的图像；

图14B、图15B以及图16B示出了根据一些实施例的计算机生成的全息图。

具体实施方式

在下文中通过参考附图描述各种实施例。应当注意，附图未按比例绘制，并且在所有附图中，相似的结构或功能的元件由相同的参考标记表示。应当注意，附图仅旨在便于描述实施例。它们不旨在穷举描述本发明，也不作为对本发明的范围的限制。另外，所示实施例不需具有所示的全部方面或优点。结合特定实施例描述的方面或优点不必限于该实施例，且即使未如此示出，也可以在任何其他实施例中实践。

同样，贯穿本说明书，提及“一些实施例”或“其他实施例”意味着在至少一个实施例中包括结合该实施例描述的特定特征、结构、材料或特性。因此，贯穿本说明书，在各种地方出现的短语“在一些实施例中”或“在其他实施例中”不一定指相同的一个或多个实施例。另外，为了说明和解释的目的，以企业应用的上下文在各种实施例中描述本公开。然而，应当注意，本发明的范围不限于企业应用，实际上，本发明还可应用于其他类型的应用。

在描述几个附图中示例性示出的示例之前，提供一般性介绍以进一步理解。在一些实施例中，可以使用一个或多个光源生成多深度图像序列，所述一个或多个光源可被配置为将光照射在多个光调制器上，所述光调制器可进一步被配置为将光聚焦到体素上。在一些实施例中，体素是三维空间中的立体成像区域或点，体素可被用于生成三维图形对象。例如，图1A中的机器人雕像106可由一个或多个体素构成，所述一个或多个体素结合在一起，允许观看者“看见”空间中的机器人雕像。所述多个光调制器可以将光聚焦在不同深度处的一个或多个图像平面上的多个体素上。另外，所述多个光调制器能够在不同图像深度处对所有体素进行光栅化以创建图像对象，所述图像对象看起来像出现在距观看者不同深度处。

图2示出了根据一些实施例的用于生成多深度图像序列的系统200，该系统200包括动态菲涅尔模块202和DOE组件212。动态菲涅尔模块202可接收包含用于生成多深度图像序列的信息的输入信号210。例如，在一些实施例中，输入信号210可包括用于生成看起来在100米的距离处的机器人雕像106的信息，以及用于生成看起来在1米的距离处的卡通式化身角色108的信息。在一些实施例中，输入信号210被输入到阵列控制器206中。阵列控制器可包括调制阵列204和逻辑模块208。如下文进一步详细说明的，调制阵列204可包括多个光调制器(图2中未示出)，所述光调制器将光聚焦在或将光引导到体素或像素上以生成图像。在一些实施例中，阵列控制器模块206包括用于操纵和管理所述多个光调制器的控制代码。在一些实施例中，逻辑模块208接收输入信号210或图像信息，并将图像序列信息解释为阵列控制器206可遵循的指令以操纵调制阵列204对多深度图像序列进行光栅化。

在一些实施例中，动态菲涅尔模块202可光学耦接到衍射光学元件(DOE)组件212。例如，动态菲涅尔模块202和DOE组件212可彼此物理耦接或物理耦接到一个或多个共同结构。根据一些实施例，DOE组件212包括具有衍射光栅222a-22c(例如，耦入光栅“ICG”)的一个或多个堆叠的平面波导或DOE层214a-14c，所述衍射光栅沿着波导214a-214c的跨度使图像光偏转，并允许图像光224以模仿自然现实世界衍射效应的角度从波导214a-214c出射。另外，在一些实施例中，图像光224使用第二组衍射光栅(未示出)从DOE层214a-214c出射朝向观看者。在一些实施例中，每个DOE层214a-214c被配置为模仿从各种距离处的对象衍射的光。例如，DOE层214a可被配置为模拟来自1米远(例如，深度平面1(DP1)被设置为1米)的对象(例如，卡通式化身角色108)的衍射光。类似地，DOE层214b和DOE层214c可被配置为模拟来自不同距离(例如，深度平面2(“DP2”)可被设定为100米；深度平面3(“DP3”)可被设定为对于远处的对象光学无穷远)处的对象的衍射光。

关于DOE组件和光栅的更多细节在2013年11月27日提交的序列号为61/909,174、名称为“Virtual and augmented reality systems and methods(虚拟和增强现实系统和方法)”、代理案卷号为ML30011.00的美国临时专利申请，以及2014年5月30提交的序列号为62/005,807、名称为“Methods and systems for virtual and augmented reality(用于虚拟和增强现实的方法和系统)”、代理案卷号为ML30016.00的美国临时专利申请中进行了描述。为了所有目的，上述美国临时专利申请的内容通过引用明确地并入本文中。

图3A示出了说明性示例。该图中，平面图像300示出了人302、植根于地面306中的树304以及天空中的月亮308。在现实世界中，光会随着其传播而衍射或扩散。因此，从诸如月亮308的远处对象反射的光已经比从诸如人302的近处对象反射的光扩散得更多。如上所述，人类视觉系统以以下至少两种方式处理来自远处和近处对象的光：(1)通过调整视线(例如，聚散移动)；以及(2)通过聚焦。例如，当观看现实世界中的月亮时，眼睛通过会聚每只眼睛的视线以交叉在月亮所在的位置来调整。(类似地，如果人盯着他/她自己的鼻尖，则眼睛将再次调整，从而会聚每只眼睛的视线以交叉在鼻尖所在的位置，受试者将对外看起来是“对眼”。)

除了调整视线以外，每只眼睛必须聚焦其晶状体系统以解决光的扩散。例如，如果未聚焦，则从远处的月亮308反射的光可能看起来比从人302反射的光更“模糊”。因此，为了观看月亮，每只眼睛通过平坦化其晶状体来聚焦晶状体以越来越少地折射月光，这最终将使月亮聚焦。类似地，为了观看人，每只眼睛通过使其晶状体更圆来聚焦其晶状体，以便越来越多地折射入射光，直到人聚焦。如上所述，调整每只眼睛的视线和聚焦自动同时地一起发生，并且被称为“调节-聚散度反射”。

具有常规/传统的立体AR或VR配置的问题是违背调节-聚散度反射。例如，参照图3A中的平面图像300，如果常规/传统的立体AR或VR系统以不同的感知距离显示月亮308、树304和人302(例如，人看起来较近，而月亮看起来较远)，但是全部对焦，然后当看月亮或人时眼睛不需重新聚焦。这导致违背调节-聚散度反射而起作用的失配。如所提到的，已知这些种类的传统的方法的协调产生眼睛疲劳、头痛或其他形式的不适。

相比之下，多深度系统200通过以不同的深度平面显示近处和远处的对象来符合人类调节-聚散度反射。例如，图3B示出了分解成3个示例深度平面DP1、DP2、DP3以形成深度合成图像310的同一平面图像300(例如，人302、树304、地面306和月亮308)。打算在深度平面1(DP1)中显示最近处的对象(人320)，深度平面1已经被调整以模仿从1米远的对象扩散的光。在深度平面2(DP2)中显示中间对象(树304和地面306)，深度平面2已被调整以模仿从5米远的对象扩散的光。最后，在深度平面3(DP3)中显示最远的对象(月亮308)，深度平面3已被调整以模仿从384,400,000米远的对象扩散的光。(384,400,000米是从地球到月亮的近似距离。然而，对于超过特定距离的对象，通常简单地将诸如晶状体系统的图像系统调整为光学无穷远，从而入射光线近似为几乎平行的光线。)用这种方式，深度合成图像310的观看者在看不同深度平面中的对象时必须一起调整他/她的聚焦和视线会聚，从而不会发生头痛或不舒适。另外，为了生成图像序列或动画，在其它深度平面中的对象保持不变时可对一个深度平面进行光栅化或修改。例如，虽然树304、地面306和月亮308在它们各自的深度层中保持不变，但对应于深度层1中的人302的图像数据可以一秒更新多次，使得人看起来是“动画的”，例如可以朝月亮308(从观看者的角度)向上跳跃，或在树304的前面走过去。

图4A示出了根据一些实施例的调制阵列400。调整阵列400可包括多个光调制器402。光调制器402被配置为调制落在阵列的面(例如，多个光调制器402的面)上的入射光(例如，电磁波)。尽管多个光调制器402在图4A中示出为特定尺寸(相对于调制阵列400的总高度或宽度)，本领域中的普通技术人员理解，调制器的尺寸和彼此间的距离(例如，间距、点距)可以被增加或减小，以使分辨率相应地提高或降低。图4B示出了具有被分配给多个光调制器的代表性调制位移图案404的调制阵列400。在一些实施例中，在调制位移图案404中的亮带对应于180度相移(例如，将入射光移位180度)，且暗带对应于0度相移(例如，将入射光移位0度)，介于中间的灰度值对应于180度与0度之间的移位值。可调整这些带中的每一个之间的间隔，以使得在期望焦点处在反射光的分量之间产生相长干涉。

如图所示，调制过的位移图案404将入射在调制阵列400上的光聚焦到特定的成像区域或体素。然而，例如，调制过的位移图案406(其示出比调制过的位移图案404低的焦点部分或中心部分)将入射在调制阵列400上的光聚焦到不同的体素。因此，通过改变调制过的位移图案，调制阵列可以将入射光聚焦到不同的体素。以这种方式，调制阵列400可用作动态菲涅尔透镜。

图5A示出了根据一些实施例的将光照射在调制阵列500上的光源502，该调制阵列500正将光聚焦到体素{2,2,1}上。在一些实施例中，光源502可被配置为将光束投影到调制阵列500的至少一部分上。光源502可被配置为使所投影的光束主动或被动成形，以便从调制阵列500的表面或其特定部分反射出来，且在一些实施例中，光源502可以用作点光源。具体而言，如本领域公知的，光源502可以包括激光二极管、投影仪、LED、光纤光学器件或其它光束源或被引导的电磁辐射源。三维成像区504被示出为包括多个体素，所述多个体素通过它们相对于x轴508、y轴506、z轴510的相对位置来表示。例如，如图所示，调制阵列500正将光聚焦到体素{2,2,1}上，该体素{2,2,1}的x值为2(例如，"2over")，y值为2(例如，"2up")，z值为1(例如，"1back")。在一些实施例中，体素的大小与调制阵列500中的多个光调制器402的分布和大小成比例。例如，如果需要较小的体素以获得较高的分辨率，则可以增加光调制器402的数量和尺寸；类似地，在一些实施例中，可以减小光调制器之间的距离(例如，间距)来提高分辨率。

图5B示出了将光照射在调制阵列500上的光源502，该调制阵列500正将光聚焦到不同体素{3,2,2}上。调制阵列500通过改变其调制位移图案，不仅可以将光聚焦在XY维度中的不同体素上，而且还可以将光聚焦在位于不同z距离处的体素上。因此，第一z层中的体素(其中，第三体素z值全部为“1”，例如{_,_,1})可对应于DP1深度平面中的成像对象。类似地，第二z层中的体素(例如{__,__,2})可以对应于DP2深度平面中的成像对象，并且第三z层中的体素(例如{__,__,3})可以对应于DP3深度平面中的成像对象。相应地，来自图3B中的深度合成图像310的人302可以在第一z层中被光栅化，树304和地面306可以在第二z层中被光栅化，并且月亮可以在第三z层中被光栅化。在一些实施例中，通过逐个照亮体素来对图像进行光栅化。例如，为了对人302进行光栅化，调制阵列500可以首先使用第一调制位移图案生成用于{1,1,1}的体素(其在图5B中包含人的右腿和右脚)，然后使用第二调制位移图案生成用于{2,1,1}的体素(其在图5B中包含人的左腿和左脚)。在一些实施例中，在体素中不存在成像对象的情况下，调制阵列可以跳过该体素。因此，例如，不包含待成像的人302的任何部分的体素{3,1,1}可以被跳过以节省时间和成像系统的资源。在一些实施例中，可以生成每个体素，无论体素是否包含待成像的对象(例如物体)。因此，在一些实施例中，仍然可以聚焦于体素{3,1,1}上，但是可以替代地投影背景值或者根本不投影任何光。

图5C示出了根据一些实施例的具有三个深度平面(例如DP1、DP2和DP3)的调制阵列500。特别地，每个深度平面已被配置，因此它们不对齐。在这种配置中，深度平面可以对应于图2中所示的耦入光栅。例如，图5C中的DP1中的体素可以对应于耦入光栅222a，图5C中的DP2中的体素可以对应于耦入光栅222b，并且图5C中的DP3中的体素可以对应于耦入光栅222c。

尽管图5A至图5C将每个深度平面图示为3×3体素矩阵或张量，但本领域的普通技术人员应理解，可以增加体素的数量和尺寸以生成具有期望分辨率的最终图像输出。此外，尽管图中示出了一个光源(例如光源502)，但是本领域的普通技术人员应理解，可以实现一个或多个光源。在一些实施例中，可以实现三个光源(一个红光、一个绿光和一个蓝光)以生成RGB体素值，RGB体素值又可以被光栅化以生成彩色的多深度图像序列。在一些实施例中，实现三个调制阵列(每种颜色一个调制阵列)，以使得三个调制阵列协同工作以对具有RGB颜色空间值的一个三通道体素成像。在一些实施例中，实现一个分区调制阵列，其中该调制阵列的不同部分显示不同的调制位移图案。在一些实施例中，分区调制阵列可具有三个分区，每个分区被配置为接收不同颜色的光。

图6示出了根据一些实施例的实现DOE组件212和动态菲涅尔模块202的示例性AR系统。如图所示，该系统包括图像生成处理器602，图像生成处理器602具有存储器612、CPU616和GPU 614及用于生成和处理图像的其他电路。图像生成处理器602可以用呈现给AR系统用户的期望虚拟内容编程。应该理解，在一些实施例中，图像生成处理器602可以被容纳在可穿戴AR系统中。在其他实施例中，图像生成处理器和其他电路可以被容纳在耦接到可佩戴的光学器件的带包(belt pack)中。

由图像生成处理器602生成的虚拟内容或信息可以被传送到显示电路610。显示电路610可以包括接口电路632，接口电路632可以与图像生成处理器602通信，并且还可以与诸如最大芯片634、温度传感器636、压电驱动器/换能器638、红色光源640、蓝色光源642和绿色光源644的电路连接。在一些实施例中，光纤组合器对所产生的光进行组合，并用光纤(未示出)将光路由到动态菲涅尔模块202中的调制阵列的面上。然而，如所说明的，在一些实施例中，光源可以被集成到动态菲涅尔模块202中，动态菲涅尔模块202可以具有自己的专用控制电路以接收来自调制阵列上的一个或多个光源的图像信息和投影光。于是AR系统可以使用动态菲涅尔模块202来生成体素并将光导向DOE组件212中的一个或多个光栅。

系统架构概述

图7是适用于实现在此所述的发明的实施例的说明性计算系统700的框图。计算机系统700包括总线706或用于传递信息的其他通信机制，总线706或用于传递信息的其他通信机制使子系统与诸如处理器707、系统存储器708(例如RAM)、静态存储设备709(例如ROM)、盘驱动器710(例如磁盘驱动器或光盘驱动器)、通信接口714(例如调制解调器或以太网卡)、显示器711(例如CRT或LCD)、输入设备712(例如键盘)和光标控制器的设备互连。

根据本发明的一个实施例，计算机系统700通过处理器707执行包含在系统存储器708中的一个或多个指令的一个或多个序列，来执行特定操作。这样的指令可以从诸如静态存储设备709或盘驱动器710的另一计算机可读/可用介质而被读入系统存储器708中。在替代实施例中，可使用硬连线电路来代替软件指令或与软件指令组合以实现本发明。因此，本发明的实施例不限于硬件电路和/或软件的任何特定组合。在一个实施例中，术语“逻辑”将表示用于实现本发明的全部或部分的软件或硬件的任何组合。

本文使用的术语“计算机可读介质”或“计算机可用介质”是指参与向处理器707提供指令以供执行的任何介质。这样的介质可以采取许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质包括例如光盘或磁盘，例如盘驱动器710。易失性介质包括动态存储器，例如系统存储器708。

常见形式的计算机可读介质包括例如软盘、柔性盘、硬盘、磁带、任何其他磁介质、CD-ROM、任何其他光介质、穿孔卡、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EPROM(例如NAND闪存、NOR闪存)、任何其他存储器芯片或卡盘、或计算机可读取的任何其他介质。

在本发明的一个实施例中，由单个计算机系统700进行对用于实践本发明的指令序列的执行。根据本发明的其它实施例，通过通信链路715(例如LAN、PTSN或无线网络)耦合的两个或多个计算机系统700可以彼此协调地执行实践本发明所需的指令序列。

计算机系统700可以通过通信链路715和通信接口714发送和接收包括程序(即应用程序代码)的消息、数据和指令。接收到的程序代码可以在其被接收时由处理器707执行，和/或被存储在盘驱动器710或其他非易失性存储器中以供稍后执行。存储介质731中的数据库732可以被用于经由数据接口733存储可由系统700访问的数据。

动态菲涅尔投影仪的调制阵列的各个部分可以起到类似一个或多个平面菲涅尔透镜的作用。代替如常规透镜中的曲面，示例性菲涅尔透镜具有槽或脊，槽或脊操纵与菲涅尔透镜相互作用(例如，穿过和/或反射出)的光的特性(例如相位、幅度、方向等)，正如常规透镜那样。菲涅尔透镜是傅立叶透镜。动态菲涅尔投影仪的调制阵列具有通过形成一个或多个菲涅尔透镜来调制光的相位或幅度的能力。可以在本文所述的实施例中的一个或多个中使用的调制阵列的示例包括硅上液晶(“LCOS”)模块，以及至少部分地由电光材料形成的一个或多个模块。

逐体素系统

图8示出了根据一些实施例的用于生成多深度图像序列的系统800，该系统800包括动态菲涅尔模块802和DOE组件812。动态菲涅尔模块802反射并聚焦来自光源826的光828。在一些实施例中，动态菲涅尔模块802可以至少部分地由电光材料形成。例如，动态菲涅尔模块802可以包括磷化铟材料，磷化铟材料具有能够使菲涅尔图案以GHz范围内的速率刷新的性能。在其他实施例中，动态菲涅尔模块802可以是LCOS模块。

在任何给定的时间点，光828可对应于多深度图像序列的特定部分(例如体素)。更具体地，光828的各种特性(例如颜色和强度)可以对应于待显示的多深度图像序列的体素的颜色和强度。这样，可以在光栅扫描的过程中逐个体素地调整光828的颜色和强度。以这种方式，光828可以是其中光特性(颜色，强度等)随时间变化的动态光流。例如，在待显示机器人雕像106的场景中，光828可以在光栅扫描的过程中的任何给定时间点对应于这样的体素：该体素形成看起来在100米的距离处的机器人雕像106的图像的一部分。在该示例中，光828的颜色和强度可以改变，使得机器人雕像106的图像的每个体素以精确的方式显示。在待显示卡通式化身角色的另一示例中，光828可以在光栅扫描的过程中的任何给定时间点对应于这样的体素：该体素形成看起来在1米的距离处的卡通式化身角色108的一部分。

在一些实施例中，在阵列控制器806处接收与光828对应的输入信号。输入信号使来自光源826的光828的特性与动态菲涅尔模块802同步，以将光828向合适的位置投影以形成所需体素。阵列控制器可以包括调制阵列804和逻辑模块808。如上所述，调制阵列804可以包括多个光调制器(图8中未示出)，光调制器将光聚焦或引导到体素或像素上以生成图像或其部分。如下所述，调制阵列804可以具有1位寻址(例如二进制)。在一些实施例中，阵列控制器模块806包括用于操纵和管理多个光调制器的控制编码。在一些实施例中，逻辑模块808接收输入信号或图像信息，并将图像序列信息解释为阵列控制器806可遵循的指令，以操纵调制阵列804来光栅化多深度图像序列。在一些实施例中，阵列控制器806和逻辑模块808的功能中的一些或全部可以通过在逻辑和/或物理上与动态菲涅尔模块802分离的一个或多个模块(例如，容纳在被耦接到可穿戴光学器件的带包内的电路、一个或多个云计算设备等)提供。

在一些实施例中，动态菲涅尔模块802可以光学耦接到衍射光学元件(DOE)组件812。例如，动态菲涅尔模块802和DOE组件812可以彼此物理耦接或被物理耦接到一个或多个共同结构。根据一些实施例，DOE组件812包括具有衍射光栅822a-822c(例如ICG)的一个或多个堆叠的平面波导或DOE层814a-814c，衍射光栅沿着波导814a-814c的跨度使图像光偏转，并允许图像光824以模仿自然真实世界衍射效应的角度从波导814a-814c出射。此外，在一些实施例中，图像光824使用第二组衍射光栅(未示出)从DOE层814a-814c出射朝向观看者。在一些实施例中，每个DOE层814a-814c被配置为模仿从各种距离处的对象衍射的光。例如，DOE层814a可以被配置为模拟来自1米远(例如，深度平面1“DP1”被设置为1米)的对象(例如，卡通式化身角色108)的衍射光。类似地，DOE层814b和DOE层814c可以被配置为模拟来自不同距离处(例如，深度平面2“DP2”可以被设置在100米处；深度平面3“DP3”可以被设置在距对象光学无限远处)的对象的衍射光。

在图8中，从调制阵列804(其上具有菲涅尔图案830)反射出的光826聚焦到3D空间中的特定目标点(例如，体素)。菲涅尔图案830被配置为将来自光源826的已知位置的光826聚焦为目标体素处的图像光824。改变菲涅尔图案830会使目标体素的位置移动。通过快速改变调制阵列804上的菲涅尔图案830，动态菲涅尔模块802用作体素光栅化投影仪，其逐体素地生成3D图像。

逐帧系统

图9示出了根据一些实施例的用于生成多深度图像序列的系统900，该系统900包括动态菲涅尔模块902和DOE组件912。图9所示的系统900与图8所示的系统800类似。这两个系统800、900之间的基本区别在于：代替图8所示的系统800的逐体素光栅化以形成3D图像，图9中示出的系统900向波导914a-914c投影完整的3D图像。为了投影整个图像，菲涅尔图案930是计算机生成的全息图(“CGH”)930，而不是如图8中的简单菲涅尔图案830。

动态菲涅尔模块902反射和聚焦来自光源926的光928。更具体地，动态菲涅尔模块902可以包括阵列控制器906和逻辑模块908，阵列控制器906和逻辑模块908执行一个或多个操作以确定CGH 930，CGH930将由调制阵列904在任何给定的时间点呈现。调制阵列904中的CGH 930可以表示将入射光调制为多深度图像的图案。例如，CGH 930可以反射图像光924以形成图像，该图像包括看起来在100米距离处的机器人雕像106和看起来在1米距离处的卡通式化身角色108。在一些实施例中，调制阵列904可以是纯相位反射LCOS模块。如以下参照图14至图16所述，由系统900生成的多深度图像的质量可以取决于这样的LCOS的量化水平(即，LCOS中的每个反射器能够被置于的不同状态的总数)。例如，8位LCOS调制阵列(例如GAEA 4K Ultra HD 10MP纯相位LCOS)可能能够产生感知质量高于1位LCOS调制阵列的多深度图像。

源光928可以是在多帧或多图像的显示过程中保持恒定的颜色和强度的光流。在一些实施例中，源光928可以是包括在待显示的多深度图像中表示的颜色分量中的一些或全部的光流。例如，源光928可以是白光的静态流。在任何给定的时间点，CGH 930的几何形状可对应于多深度图像的特定帧。更具体地，CGH 930的几何形状和设计可以对应于多深度图像的特定帧，可以对应于待显示的帧的颜色和强度，以及待显示帧的每部分所在的三维空间中的位置。这样，可以在多深度图像序列的呈现过程中逐帧地调整CGH 930。这样，已从调制阵列400反射出的源光928的部分的特性(颜色、强度、3D位置等)将通过调制阵列904上的CGH 930的随着时间推移的改变而改变。CGH 930可以包括利用与那些菲涅尔透镜图案类似的原理的特定几何形状，以在三维空间中的特定位置处产生不期望波长的光之间的相消干涉。可以使用各种算法(例如，盖师贝格撒克斯通(Gerchberg-Saxton)算法)生成用于特定目标3D图像的CGH。系统900中的静态光源926比系统800中的动态(例如RGB)光源826尺寸更小且功率更小。但在一些实施例中，系统800中的光源826可以基本类似于系统900中的静态光源926。在这些实施例中，可以基于体素的期望焦点和体素的期望颜色来确定由调制阵列804显示的菲涅尔图案。

菲涅尔透镜/投影仪可以形成CGH以投影具有多个深度平面处的部分的3D图像。对于任何3D投影仪，光源与最终图像之间存在路径，该最终图像包括距离和图像的组合。可以使用CGH同时生成构成3D图像的体素中的一些或全部。对该结果的一种解释是菲涅尔透镜的子部分被聚焦到不同的深度平面。一个例子是有四个子部分，但是可以有更多的子部分。复合菲涅尔图案，其中调制阵列的不同部分将图像的对应的不同部分聚焦到不同深度。

另一种解释是，对于不同的深度，调制阵列的每个部分(例如LCOS)被用于幅度的不同部分。在数学上，CGH是复合的。调制阵列平面上的CGH可以表示目标3D图像到光源的傅立叶变换。在一些实施例中，最终呈现在调制阵列平面上的CGH可以是基于目标3D图像的傅立叶变换和与将目标3D图像的每一部分将被呈现于的三维空间中的特定位置相对应的菲涅尔图案化而生成的合成图案。空间信息在调制阵列平面处被转换成幅度，从而可以调制光源。结果是，菲涅尔调制阵列能够向用户的眼睛传送3D图像。

在图8和图9中示出的各个系统800、900具有不同的优点。在图8中，可以预先知道可由系统800创建的全部体素的位置。该系统可以生成在全部可能的位置生成(即，表示)体素所需的全部菲涅尔图案830，并将菲涅尔图案存储在系统存储器中(例如，在现场可编程门阵列和/或RAM中)。每当在特定位置处需要体素时，系统800都可以从系统存储器调出代表该位置的菲涅尔图案830。当来自光源826的光828反射出调制阵列804时，体素出现在目标位置处。

在图9中，代替一系列体素，由系统900生成整个3D图像。系统900借助调制阵列904的表面上的CGH 930而生成3D图像。如果系统900知道将要生成的图像(例如，对于3D电影)，则系统900可以预先生成全部CGH并在顺序显示之前存储它们。如果系统900不知道将要生成的图像，则它不能存储预先生成的CGH 930。使用图9中的CGH 930生成的3D图像可具有与使用图8中的菲涅尔图案830生成的光栅化的3D图像相比改善的分辨率。

示例性3D图像在每个深度处具有9MP图像。图8所示的系统800中，用于所有这些体素的位置的菲涅尔图案可以被存储在例如系统RAM上。为了生成3D图像，在给定处理器(例如，FPGA)和调制阵列804的速度限制的情况下，系统800尽可能快地循环通过所有那些体素。例如，以500-600MHz进行9MP图像光栅化可以产生感知质量相对较高的3D图像。因此，光栅化系统(如图8所示的系统)受处理器和调制阵列804的速度的限制。对于单像素光栅化系统(诸如图8所示的系统)，速率限制步骤/部件可以是调制阵列804的切换速率。

在一些实施例中，图9中的调制阵列904可以比图8中的调制阵列804运行速度低(例如，KHz切换速率下的LCOS)，这是因为在逐帧系统中显示帧的速率可能远低于在逐体素系统中扫描体素的速率，且仍然以相等或更高的速率转换成正在呈现的多深度图像。系统900预先生成对应于3D帧序列的一系列CGH。系统900可循环通过所述系列的CGH/3D帧以显示3D运动图形。具有预先生成的CGH的逐帧系统受高密度LCOS的帧速率限制。飞速(即，实时)生成CGH的逐帧系统受计算密集型步骤CGH生成步骤和处理器速度的限制。处理器速度可以与诸如尺寸、重量、热量等的其他度量相平衡。

图8和图9表示生成3D图像的两种方式：一次光栅化一个体素(图8)；或一次一个图像(图9)。相应的系统速度要求包括快速光栅化(图8)和快速生成代表每个3D图像的CGH(图9)。

图10和图11示意性示出了根据一些实施例的用于生成多深度图像序列的包括动态菲涅尔模块1002、1102的系统1000、1100的部件。图10中示出的系统1000与图8所示的系统800的相似之处在于，两个系统都通过光栅化一次一个体素地生成三维图像。包括图像信息的输入信号1032被输入到光源控制器1034，光源控制器1034指示动态光源1026根据生成与图像信息相对应的3D图像的体素来改变源光的特性。焦点位置确定单元1036确定该体素在3D图像中的位置。焦点位置确定单元1036将所确定的位置信息发送到调制图案确定单元1038，该调制图案确定单元1038生成或调用预先生成的用于在调制阵列1004上显示的菲涅尔图案，调制阵列1004将图像光聚焦到与位置信息对应的3D位置。这样，系统1000投影3D图像的一个体素。对所有体素进行光栅化而生成3D图像。对于其中调制阵列1004将来自光源1026的光反射到一个或多个DOE层的衍射光栅(例如，ICG)中的实施例，该一个或多个DOE层被配置为以模仿现实世界衍射效应的角度偏转并最终输出图像光，在调制阵列1004上显示的菲涅尔图案所对应的焦点的位置对于在同一深度处待显示的一个或多个体素而言可以是相同的。也就是说，因为向这样的衍射光栅提供光的角度可以决定三维空间内向观看者呈现这样的光的位置，所以在这些实施例中，调制阵列1004可以通过显示从调制阵列1004的表面上的不同位置将光导向DOE上的同一焦点处的菲涅尔图案而对位于同一深度平面内的体素进行光栅化。以这种方式，调制阵列1004可以操作以有效地调制提供作为用于向给定深度的DOE的输入的光的角度。图11中所示的系统1100与图9所示的系统900的相似之处在于，两个系统都可以使用调制阵列1104上的CGH生成完整的3D图像。光源控制器1134指示静态光源1126投影或不投影源光以生成3D图像。包括图像信息的输入信号1132被输入到焦点位置确定单元1136，该焦点位置确定单元1136确定3D图像的体素的位置。焦点位置确定单元1136将输入信号1132连同所确定的位置信息一起转发给调制图案确定单元1138，调制图案确定单元1138生成或调用预先生成的菲涅尔图案/CGH，预先生成的菲涅尔图案/CGH将部分图像光聚焦到各种3D位置以形成3D图像。这样，系统1100生成并投影3D图像作为单个帧。

使用诸如图9所示的系统900中示出的CGH 930可以潜在地将光源和调制阵列的系统部件最小化。这样的系统可以在没有透镜的情况下实现，从而减小这些系统的体积和重量。这些系统可以在没有任何波导的情况下实现(参见图11)。即使没有波导，菲涅尔调制阵列和光源也可以在没有其他光学部件(例如中继透镜、可变焦元件等)的情况下将光聚焦到用户的眼睛中。这些系统可包括弯月形透镜，其将菲涅尔调制阵列的输出导向用户的眼睛中。因此，这些系统可以足够小而被结合到常规的眼镜形式因素中。

图12示出了与图11示出的系统1100几乎相同的系统1200。也就是，元件1204-1238在系统1200中可以提供分别如1104-1138元件在系统1100中可以提供的效用类似的效用。系统1200是逐帧系统(例如，图9和图11)而不是逐体素系统(例如，图8和图10)。图12还示出了与系统1200的各个部分相关联的三个图案。目标图像1240(还参见图13)与输入信号1232相关联。目标图像1240表示系统1200正试图投影的图像。尽管在这个示例中目标图像1240是2D图像，但它可以是与上述类似的3D图像。CGH图像1242与调制阵列1204相关联。CGH图像1242模拟调制阵列1204的表面的一部分的外观，调制阵列1204被配置为生成/投影目标图像1240。投影图像1244与反射出调制阵列1204的图像光1224相关联。投影图像1244基于目标图像1240而模拟由系统1200(使用CGH图像1242)投影的图像的外观。

图14A至图16B示出了基于图13示出的目标图像1340的各种CGH图像1442、1542、1642和投影图像1444、1544、1644。图14A和14B模拟与使用1位LCOS的系统相关联的图案。图14A示出了模拟的投影图像1444。图14B示出了调制阵列处的模拟的CGH图像1442。对于1位LCOS，LCOS上的每个反射器处于两种状态之一(即，二进制或两级量化)。此限定的1位LCOS导致投影图像1444，该投影图像1444是失真的(例如，镜像和翻转)。因此，可以利用1位LCOS来提供对失真具有鲁棒性的AR系统(诸如逐体素系统)中的计算节省。

图15A和15B模拟与使用2位LCOS的系统相关联的图案。对于2位LCOS，LCOS上的每个反射器处于四种状态之一(即，四级量化)。如图15A所示，模拟的投影图像1544未被镜像或翻转，因此表示对模拟的投影图像1444的改进。图15B示出了调制阵列处的模拟CGH图像1542。

图16A和16B模拟与使用8位LCOS的系统相关联的图案。对于8位LCOS，LCOS上的每个反射器处于256种状态之一(即，256级量化)。如图16A所示，模拟的投影图像1644表示质量进一步高于模拟的投影图像1544的目标图像1340。图9所示的逐帧系统900包括8位LCOS904。图16B示出了调制阵列处的模拟CGH图像1642。

8位LCOS的CGH 1642比2位或1位LCOS的CGH 1542、1442更复杂。尽管这种较高位级的LCOS导致目标图像的较高质量表现，但较高位级的LCOS需要更多处理器周期/计算来生成更复杂的CGH。因此，可以利用8位LCOS来在具有足以处理相应计算负载的处理资源的AR系统中提供相对高质量的目标图像。其他LCOS可能包括16位、32位和64位，具体取决于处理器的速度和/或LCOS驱动电路的架构和功能。

在前述说明书中，参考其具体实施例描述了本发明。然而，显而易见的是，在不脱离本发明的更广泛的精神和范围的情况下可以对其做出各种修改和改变。例如，参照处理动作的特定顺序描述了上述处理流程。然而，可以改变很多所描述的过程动作的顺序而不影响本发明的范围或操作。相应地，说明书和附图被认为是说明性的而不是限制性的。

Claims (20)

1.一种用于生成多深度图像序列的系统，包括：

一个或多个光源；以及

一个或多个调制阵列，其包括多个光调制器，所述一个或多个光源被配置为将光投影在所述多个光调制器中的至少一些上，所述多个光调制器被配置为

将所述光聚焦在体素上；以及

通过对不同图像深度处的多个体素进行光栅化来生成多深度图像序列。

2.根据权利要求1所述的系统，其中，所述多个光调制器被配置为将所述光的相位移位多个度。

3.根据权利要求1所述的系统，其中，所述多个光调制器被配置为根据调制位移图案移位所述光的相位。

4.根据权利要求1所述的系统，其中，所述一个或多个光源包括绿色光源、红色光源和蓝色光源。

5.根据权利要求4所述的系统，其中，所述一个或多个调制阵列包括：第一调制阵列，其被配置为接收红光；第二调制阵列，其被配置为接收绿光；以及第三调制阵列，其被配置为接收蓝光。

6.根据权利要求4所述的系统，其中，所述一个或多个调制阵列包括分区调制阵列，所述分区调制阵列包括：第一区，其被配置为接收红光；第二区，其被配置为接收绿光；以及第三区，其被配置为接收蓝光。

7.根据权利要求1所述的系统，其进一步包括衍射光学组件，所述衍射光学组件包括一个或多个波导层，所述一个或多个波导层对应于不同图像深度平面。

8.根据权利要求1所述的系统，其进一步包括处理器，所述处理器被配置为引导所述多个光调制器以形成菲涅尔图案。

9.根据权利要求8所述的系统，其中，所述处理器被配置为引导所述多个光调制器以顺序地形成多个菲涅尔图案。

10.根据权利要求9所述的系统，其中，所述多个菲涅尔图案中的至少两个被配置为将所述光聚焦在不同图像深度处的相应不同体素上。

11.一种用于生成多深度图像序列的系统，包括：

光源；以及

调制阵列，其包括多个光调制器，所述光源被配置为将光投影在所述多个光调制器中的至少一些上，所述多个光调制器被配置为将所述光的各部分聚焦以生成多深度图像。

12.根据权利要求11所述的系统，其中，所述多个光调制器还被配置为生成多深度图像的序列。

13.根据权利要求11所述的系统，其中，所述多个光调制器被配置为将所述光的相位移位多个度。

14.根据权利要求11所述的系统，其中，所述多个光调制器被配置为根据调制位移图案来移位所述光的相位。

15.根据权利要求11所述的系统，其中，所述光源是白光源。

16.根据权利要求11所述的系统，其中，所述调制阵列是分区调制阵列，所述分区调制阵列包括：第一区，其被配置为接收红光；第二区，其被配置为接收绿光；以及第三区，其被配置为接收蓝光。

17.根据权利要求11所述的系统，其进一步包括衍射光学组件，所述衍射光学组件包括一个或多个波导层，所述一个或多个波导层对应于不同图像深度平面。

18.根据权利要求11所述的系统，其进一步包括处理器，所述处理器被配置为引导所述多个光调制器以形成计算机生成的全息图。

19.根据权利要求18所述的系统，所述处理器被配置为引导所述多个光调制器以顺序地形成多个计算机生成的全息图。

20.根据权利要求11所述的系统，其中，所述调制阵列是8位LCOS。