CN110168427B - 具有正确的单目深度线索的近眼顺序光场投影仪 - Google Patents

Abstract

一种用于将近眼投影的图像投影到用户眼睛的光场投影仪，包括：光源（28），其包括被配置用于顺序地发射多个入射光场（38、40）的多个照明点光（34、36）；空间光调制器（30），其被配置用于提供源图像序列；所述空间光调制器（30）此外被配置用于根据源图像来调制入射光场（38、40）中的每一个，诸如用于顺序地投影多个针孔孔径光场（16、18），每个针孔孔径光场（16、18）承载来自源图像的光场分量；其中每个顺序投影的针孔孔径光场（16、18）形成交叉虚拟针孔（20、22），可以通过所述交叉虚拟针孔看到来自源图像的分量，每个虚拟针孔（20、22）具有通过照明点光（34、36）的大小被确定的孔径光阑并且相对于彼此在空间上移位，所述近眼投影的图像通过所述多个虚拟针孔（20、22）被看到。

Description

具有正确的单目深度线索的近眼顺序光场投影仪

技术领域

本发明涉及一种用于将虚像投影到用户的眼睛、已经优化了单目深度线索（cue）的光场投影仪。本发明此外涉及一种包括所述光场投影仪的增强现实设备。

背景技术

常规的三维（3D）显示器和投影仪主要通过双目线索来提供所投影的图像中的深度的幻象，并且在具有运动追踪能力的头戴式显示器和近眼投影仪的情况中，还有运动线索。典型地也存在另一次要深度线索。立体3D显示器和投影仪向观看者的每只眼睛递送图像，所述图像对应于如从每只眼睛的不同视点所见到的3D场景的图像，并且如果可能的话，根据观看者头部的运动来改变图像以便在人工生成的3D场景中模仿他改变的视点。在常规3D显示器和投影仪中，双目和运动深度线索通常与单目深度线索冲突，所述单目深度线索诸如眼睛适应以及由于有限的场深度而相关联的图像模糊。

眼睛包含可变的晶状体，所述可变的晶状体在实际世界中必须聚焦在所观察的对象的距离上，以便将其锐利的图像投影到眼睛视网膜上。另一距离中的对象失焦并且其在视网膜上的像是模糊的。然而，常规的3D显示器和投影仪使用扫描激光射束或具有几乎为零的孔径光阑的光场从平面屏幕或通过直接的视网膜投影向每只眼睛提供图像。前者需要眼睛聚焦在光学系统中的平面屏幕的光学图像的距离上。此处并且在下文中，术语“光学图像”意指如通过光学系统所见的对象的视在定位。平面屏幕上所显示的图画要么全部锐利，要么在它们中已经存在模糊，并且不能利用眼睛适应来去掉模糊。当眼睛聚焦在除了显示的光学图像的距离之外的任何其它距离上的时候，所显示的图画的视网膜图像是模糊的。视网膜投影在视网膜上创建所投影的图画的随时聚焦（always-in-focus）的图像，并且眼睛适应仅仅影响图像的大小和定位。随时聚焦的光场承载所有瑕疵、诸如光学路径中的灰尘斑点的阴影。

建议用于在3D场景的人工投影的光中创建正确的单目深度线索的若干概念；包括（i）全息显示；（ii）近眼投影仪，其具有快速变焦的光学元件，诸如与显示器相组合的自由形式镜件，诸如数字微镜件设备（DMD）；（iii）具有光学器件的显示器，所述光学器件主动地控制显示的光学图像的距离，并且根据所测量的或所估计的眼睛焦距来在所显示的图画中产生对应的模糊；（iv）显示器，其通过微透镜阵列或点光阵列背光来在空间上复用所显示的图画。概念中的每一个具有某些优点和缺点。全息显示在理论上能够提供人工3D场景的全正确的光场，但是它们经受衍射和有色伪像，需要大量输入数据、相干光源、以及对光的高分辨率相位和幅度调制。快速变焦透镜和自由形式镜件是微妙的组件，其不是大量生产的，并且其光学性质遭受光学瑕疵影响。具有屏幕的光学图像的主动受控的距离和所显示的图画中的人工模糊的投影仪需要测量和估计眼睛的焦距，以及投影仪光学器件和数字模糊的随后适配。该概念经受通过单独的眼睛之间的差异被复杂化的测量误差，并且它实际上不提供正确的光场，它仅仅模仿光场的效应。通过微透镜阵列或点光背光与透明的空间光调制器、利用图像的空间复用的概念来实现商业上有吸引力的图像分辨率需要特殊的小节距高分辨率显示，因为人工场景的每个图像点在相同时刻被显示多次以便使得视网膜图像中的模糊正确地取决于眼睛的焦距。其在增强现实应用中作为透视（see-through）显示器的使用被以下事实复杂化：所述事实即微透镜阵列概念包括不透明的显示器并且点光阵列概念是庞大的。利用向列液晶或有机发光二极管显示器的基于图像的时间复用的多个其它概念经受这些显示器的小刷新时间。

常规显示器和投影仪不产生具有正确单目深度线索的光场。已知在开发下的光场显示器和投影仪基于特殊组件，没有令人满意的参数，或由于技术限制在不久的将来不是可做的。以下参见更多细节。

发明内容

本发明涉及数字地将经处理的信息投影到用户眼睛的电子和光学设备。更具体地，它涉及如下设备：所述设备创建可视场景的光，并且将所述光从眼睛的极邻近处投影到眼睛。所投影的光可以与从现实世界进入眼睛的自然光叠加。所投影的人造光具有这样的性质使得进行接收的眼睛可以自然地改变在所投影的可视场景中以及在现实世界中的对象的不同距离上的聚焦，并且可以观察其现实模糊和场深度。本发明还涉及如下设备：所述设备具有小形状因子并且可以被用作可每天佩戴的眼镜，其将上下文数字信息叠加到自然观察的现实世界中。

本发明的目的是创建人造光场并且将所述光场递送到观看者的眼睛。更具体地，以小形状因子设备来配置光场投影，所述小形状因子设备将光场从眼睛的邻近处投影到眼睛，并且能够将所投影的光场与从现实世界进入观看者眼睛瞳孔的光混合。

所公开的本发明是近眼光场投影仪，其向观看者提供正确的单目深度线索。投影仪通过时间复用并且顺序投影多个随时聚焦的光场分量到观看者瞳孔中而生成人造光场。由于自然的视觉等待时间，观看者感知所组成的光场，并且体验现实单目深度线索，诸如正确的眼睛适应和相关联的图像模糊。

在本发明中所公开的近眼光场投影仪产生具有现实单目深度线索的光场，其产生观看者对现实有限场深度的感知以及在人工生成的3D场景中的正确适应。光场投影仪提供实际上无限并且几乎连续的深度范围、高图像分辨率、低图像持久性，利用可靠的当前大量生产的组件可做，并且它可以被嵌入在用于增强现实应用的、具有薄透明眼镜的系统中。

投影仪将3D场景的光场提供到任何人类或动物的眼睛。

光场投影仪的用户体验所投影的光场中的现实单目深度线索。投影仪适合用于递送具有正确眼睛适应的舒适度的3D虚拟和增强现实信息。

附图说明

借助于作为示例被给出并且通过附图所图示的实施例的描述，将更好地理解本发明，在所述附图中：

图1a图示了根据实施例的针孔孔径（pinhole-aperture）光场的投影；

图1b图示了根据实施例的另一个针孔孔径光场的投影；

图1c图示了根据实施例的来自多个针孔孔径光场的宽孔径光场；

图2a示出了根据实施例的针孔孔径光场的视网膜图像；

图2b示出了根据实施例的另一个针孔孔径光场的视网膜图像；

图2c示出了根据实施例的由两个针孔孔径光场所组成的视网膜图像；

图2d示出了根据另一个实施例的由两个针孔孔径光场所组成的视网膜图像；

图2e示出了根据另一个实施例的由两个针孔孔径光场所组成的视网膜图像；

图3a示出了根据实施例的由九个针孔孔径光场所组成的光场的视网膜图像；

图3b示出了根据另一个实施例的由九个针孔孔径光场所组成的光场的视网膜图像；

图3c示出了根据另一个实施例的由九个针孔孔径光场所组成的光场的视网膜图像；

图3d示出了根据实施例的由成百的针孔孔径光场所组成的光场的视网膜图像；

图3e示出了根据另一个实施例的由成百的针孔孔径光场所组成的光场的视网膜图像；

图3f示出了根据另一个实施例的由成百的针孔孔径光场所组成的光场的视网膜图像；

图4a表示根据实施例的在照明步骤期间的光场投影仪的示意性视图；

图4b表示在另一个照明步骤期间图4a的光场投影仪的示意性视图；

图4c表示示出了多个照明步骤的图4a的光场投影仪的示意性视图；

图5a表示根据另一个实施例的光场投影仪；

图5b表示在顺序投影期间图5a的光场投影仪；

图6表示根据另一个实施例的光场投影仪；

图7a示出了根据实施例的顺序照明步骤；

图7b示出了根据实施例的四个半色调（halftone）图像分量；

图8示出了根据另一个实施例的顺序照明步骤；

图9示出了根据另一个实施例的光场投影仪；

图10表示根据实施例的增强现实设备；

图11a表示根据又一个实施例的光场投影仪；

图11b示出图11a的光场投影仪的顶视图；

图11c示出根据另一个实施例的光场投影仪的顶视图；

图11d示出根据另一个实施例的光场投影仪的顶视图；

图11e示出根据另一个实施例的光场投影仪的前视图；

图12a表示根据又一个实施例的光场投影仪；

图12b表示根据另一个实施例的光场投影仪的顶视图；

图12c表示根据另一个实施例的光场投影仪的顶视图；

图12d表示根据另一个实施例的光场投影仪的顶视图；

图12e表示根据又一个实施例的光场投影仪；

图12f表示根据另一个实施例的光场投影仪的顶视图；

图12g表示根据另一个实施例的光场投影仪的顶视图；

图13a表示根据实施例的在光场投影仪中包括点光源的元件；

图13b表示根据另一个实施例的元件；

图13c表示根据又一个实施例的元件；

图13d表示根据另一个实施例的元件；

图13e表示根据另一个实施例的元件；

图13f表示根据实施例的光场投影仪的透视箱；

图13g表示根据另一个实施例的光场投影仪的透视箱；

图14a示出根据实施例的光场投影仪的回射显示；

图14b示出根据另一个实施例的回射显示；

图14c示出根据又一个实施例的回射显示；

图14d示出根据又一个实施例的回射显示；

图15a示出根据另一个实施例的增强现实设备的前视图；

图15b示出根据另一个实施例的增强现实设备的后视图；

图15c示出根据另一个实施例的增强现实设备的前视图；并且

图15d示出根据另一个实施例的增强现实设备的后视图。

具体实施方式

图1a是根据实施例的针孔孔径光场16从具有对象12和14的3D场景通过虚拟针孔20到眼睛瞳孔10中和到视网膜24上的投影的图示。图1b是另一个针孔孔径光场18从具有对象12和14的3D场景通过另一个虚拟针孔22到眼睛瞳孔10中和到视网膜24上的投影的图示，并且图1c是来自多个针孔孔径光场的宽孔径光场26的组成的图示。

瞳孔10是具有在2到8mm之间的典型直径的眼睛瞳孔。远端对象12是以比近端对象14更大的距离位于虚拟3D场景中的任何对象。近端（或近眼）对象14是位于虚拟3D场景中的对象。针孔孔径光场16是径向光场，其具有由点光源或针孔滤光器的大小而确定的其孔径光阑的几乎为零的直径，并且其承载来自3D场景的、应通过虚拟针孔20而被看到的光场分量。另一个针孔孔径光场18是径向光场，其具有几乎为零的直径的孔径光阑，所述孔径光阑的虚拟针孔22在与虚拟针孔20不同的另一位置中。虚拟针孔20是径向针孔孔径光场16的射线的交点。它是点光源或针孔的经调制的图像。另一个虚拟针孔22是径向针孔孔径光场18的射线的交点。视网膜24是眼睛的感光部分。宽孔径光场26是具有足够大的孔径光阑使得其光至少部分地进入眼睛瞳孔10的光场。为了该目的，通过其孔径光阑的直径所给出的出射瞳优选地在5与100mm之间。

射线27是在从SLM的反射之后的光场的射线。

图2a示出了针孔孔径光场16的视网膜图像66（对应于所投影的图像），并且图2b示出了另一个针孔孔径光场18的视网膜图像68。图2c示出了当眼睛132聚焦在远端对象12上的时候由两个针孔孔径光场16和18所组成的视网膜图像70。图2d是当眼睛132聚焦在远端对象12与近端对象14之间的时候由两个针孔孔径光场16和18所组成的视网膜图像72。图2e是当眼睛132聚焦在近端对象14上的时候由两个针孔孔径光场16和18所组成的视网膜图像74。

图3a是当眼睛132聚焦在远端对象12上的时候由九个针孔孔径光场所组成的光场的视网膜图像76。图3b示出了当眼睛132聚焦在12与14之间的时候由九个针孔孔径光场所组成的光场的视网膜图像78。图3c示出了当眼睛132聚焦在近端对象14上的时候由九个针孔孔径光场所组成的光场的视网膜图像80。图3d示出了当眼睛132聚焦在远端对象12上的时候由成百的针孔孔径光场所组成的光场的视网膜图像82。图3e是当眼睛132聚焦在对象12与14之间的时候由成百的针孔孔径光场所组成的光场的视网膜图像84，并且图3f示出了当眼睛132聚焦在近端对象14上的时候由成百的针孔孔径光场所组成的光场的视网膜图像86。

图4a是一个照明步骤的图解，所述照明步骤根据入射径向光场38而产生针孔孔径光场16，所述入射径向光场38通过点光34产生，被引导通过光学器件32，并且通过从空间光调制器（SLM）30的反射而被调制。图4b是另一个照明步骤的图解，所述照明步骤根据入射径向光场40而产生针孔孔径光场18，所述入射径向光场40通过另一个点光36产生，被引导通过光学器件32，并且通过从SLM 30的反射而被调制。图4c是来自多个针孔孔径光场的顺序投影的宽孔径光场26的组成的图解。

点光阵列28是分布在二维平面上的点光源的阵列。在其它实施例中，点光阵列28还可以是一维或三维的。

SLM 30是快速反射性空间光调制器，诸如DMD或硅上的铁电液晶（FLCOS）。引导光学器件32是一组光学元件，其将来自点光阵列28的光引导到SLM 30以及到瞳孔10。点光34是具有小直径的光源，诸如具有针孔掩模的发光二极管，或光纤出口，或另一个小直径光源。另一个点光36是位于与点光34不同的另一个位置的具有小直径的光源。

入射光场38是从点光34发射的径向射线的光场。另一个入射光场40是从另一个点光36发射的径向射线的光场。

元件29是所组成的对象，其基本上包括光源34和全透明的镜件58或半透明的镜件59。多个元件29的阵列然后表示多个点光源28的阵列，并且同时表示反射性傅里叶滤光器，其执行傅里叶滤光器54的功能。

准直光源37例如是激光源或来自非相干点光源的准直光，其照射元件29中的漫射元件148，所述漫射元件将准直光束转换成均匀的径向光场。

射线41是来自光源（诸如34）的入射径向光场的射线。

图5a是光场投影仪的特定优选实施例，所述光场投影仪具有反射性SLM 30、全内反射棱镜44、准直器42与目镜光学器件46。图5b是通过反射来自显示虚点50的源图像的SLM30的入射光而顺序投影多个其射线来产生虚点对象48的光场的图解。

准直器42是可选的凸透镜，其将入射的径向窄孔径光场变换成具有平行射线以及因此平面波的光场。全内反射棱镜44是反射具有大于全反射角的光线的光学元件。目镜46是将入射光聚焦成至少部分地进入眼睛瞳孔10的光场锥的光学元件，诸如凸透镜、镜件、或者透镜或镜件集合。虚点对象48是虚拟3D场景中的任何点。虚点50的源图像是SLM 30上的虚点对象48的图像的序列。

图6是具有附加的光学器件52和56以及傅里叶滤光器54的光场投影仪的可替换实施例。

凸透镜52是执行进入它的光场的光学傅里叶变换的光学元件。调节透镜56是调节所投影的光场的传播并且改善所投影的光场的一些参数的任何光学元件。

图7a是在四个点光28和四个图像分量的示例上所示出的SLM 30的特定顺序照明的图解。

图7b是针对点光阵列28中的单独的活动点光而在SLM 30处所显示的四个半色调图像分量的示例。

图8示出了在照明序列之间SLM 30的照明的特定时间混合的图解。

图9示出了光场投影仪的可替换的实施例，所述光场投影仪具有倾斜的点光阵列28以及倾斜的镜件58，用于将投影仪并入在立体增强现实系统中，所述立体增强现实系统通过透明的眼镜来观察实际世界60（来自距离视觉处对象的远端图像）。

图10图示了增强现实设备，其具有在薄透明眼镜64上的小倾斜镜件58的阵列并且具有两个光场投影仪引擎62。

倾斜的镜件59（图13）和58是小直径的部分或全反射镜件（子镜件），其相应地被布置在其虚拟针孔的位置中反射针孔孔径光场的阵列中。倾斜的镜件的直径优选地在250和2000微米之间。现实世界60是实际世界。光场投影仪引擎62是一种投影仪，其利用有限孔径光阑、借助于具有其孔径光阑的几乎为零直径的多个光场的时间复用来产生光场。眼镜64是任何透明的或部分透明的眼镜，或一般地是固体透明盒或整块透明材料。

（图2）随时聚焦的视网膜图像66是如通过针孔孔径光场16投影在视网膜24上的虚拟场景的图像。另一个随时聚焦的视网膜图像68是如通过针孔孔径光场18投影在视网膜24上的虚拟场景的图像。注意到图像66和68上的远端对象12和近端对象14的图像的相互移位。视网膜图像70是当眼睛132聚焦在远端对象12上的时候由两个针孔孔径光场16和18所组成的图像。视网膜图像72是当眼睛132聚焦在远端对象12与近端对象14之间的时候由两个针孔孔径光场16和18所组成的图像。视网膜图像74是当眼睛132聚焦在近端对象14上的时候由两个针孔孔径光场16和18所组成的图像。

视网膜图像76（参见图3a）是当眼睛132聚焦在远端对象12上的时候利用由九个针孔孔径光场所组成的光场26投影的图像。点光阵列28在该情况中是三乘三个点光的矩形二维阵列。视网膜图像78（参见图3b）是当眼睛132聚焦在远端对象12与近端对象14之间的时候利用由九个针孔孔径光场所组成的光场26投影的图像。视网膜图像80（参见图3c）是当眼睛132聚焦在近端对象14上的时候利用由九个针孔孔径光场所组成的光场26投影的图像。

视网膜图像82（参见图3d）是当眼睛132聚焦在远端对象12上的时候利用由成百的针孔孔径光场所组成的光场26投影的图像。此处，点光阵列28具有被布置在矩形二维阵列中的十乘十个点光。视网膜图像84（参见图3e）是当眼睛132聚焦在对象12和14之间的时候利用由成百的针孔孔径光场所组成的光场投影的图像。视网膜图像86（参见图3e）是当眼睛132聚焦在近端对象14上的时候利用由成百的针孔孔径光场所组成的光场26投影的图像。

样例视网膜图像82、84和86图示了：如果以足够快的序列投影大量不同的针孔孔径光场，则它被观看者感知为宽孔径光场26，其在视网膜24上产生平滑的图像模糊，所述图像模糊取决于眼睛132的焦距。显示控制电子器件88（参见图4c）是产生、格式化并且导出在SLM 30上创建图像的信号的电路。照明控制电子器件90是一电路，其产生、格式化并且导出以特定的时间相关的方式为点光阵列28中的特定点光供电的信号。同步92是在显示器与点光控制电子器件88和90之间的通信，其控制哪个图像分量通过哪个特定的点光照射在SLM30上。图像信号94是在SLM 30上创建图像分量的序列的经调节的电子信号。照明信号96是引起来自点光阵列28中的点光的光发射的序列的经调节的电子信号。

活动点光98是在实际照明步骤（参见图7a）或序列（参见图8）中发射光的点光。非活动点光100是在实际步骤（图7）或序列（图8）中不发射光的点光。图像分量102的序列是一个接一个被显示在SLM 30上的图像的时间序列。照明开/关104是时间相关的信号，其确定从点光阵列28中的点光对SLM 30的照明的平均强度。活动点光106的定位是照明序列的图解，其示出了在实际图像帧中点光阵列28中的活动点光98的定位。图像帧108是一时间段，在其期间，一个点光以特定的平均光强度来照明一个图像分量。图像分量110是被显示在SLM 30上并且承载组成宽孔径光场26的信息的至少部分的图像。另一个图像分量112是承载组成宽孔径光场26的信息的另一部分的分量。照明步骤114是所述信号的一部分，其控制活动点光98的光发射以便确定其平均照明强度。另一个照明步骤114是所述信号的另一部分，其控制在另一个帧中另一个活动点光98的光发射。图像分量序列118的示例是表示在SLM 30上所显示的图像分量的示例的图像的序列。注意在所显示的图像分量120、122、124和126中的对象的相互（和夸大的）移位，及其与实际帧中活动点光98的定位的相互关联。所显示的图像分量120、122、124或126是被显示在图像帧中的图像的示例，诸如SLM 30上的108。图像序列128是组成光场126的一部分的照明和投影序列。另一个图像序列130是可选的补充或冗余的照明和投影序列，其完成或密化所投影的光场26。眼睛132是任何人类或动物的眼睛。

图11a表示光场投影仪的可替换实施例，所述光场投影仪被配置为小的透明透视箱134，其具有光场投影仪的嵌入式元件。图11b示出了图11a的光场投影仪的顶视图或侧视图，所述光场投影仪被配置为小透视箱134，其具有光场投影仪的嵌入式组件，并且具有从元件29之一内部的单个点光源穿过透镜52到SLM 30的针孔孔径光场38的径向椎体以及通过来自SLM 30通过透镜52到另一元件29的针孔孔径光场38的反射而被调制的针孔孔径光场16的包络的示例，其中针孔孔径光场16具有顶点并且至少部分地反射朝向眼睛视网膜24。

图11c示出了光场投影仪的又一个实施例的顶视图或侧视图，所述光场投影仪被配置为小透视箱134，其具有光场投影仪的嵌入式组件，并且具有从元件29之一内部的单个光源穿过透镜52到SLM 30的针孔孔径光场40以及通过来自SLM 30通过透镜52到另一元件29的反射而被调制的针孔孔径光场18的包络的示例，其中针孔孔径光场18具有顶点并且至少部分地反射朝向眼睛视网膜24。

图11d示出了光场投影仪的又一个实施例的顶视图或侧视图，所述光场投影仪被配置为小透视箱134，其具有光场投影仪的嵌入式组件，并且具有通过瞳孔10进入眼睛132并且抵达眼睛视网膜24的所组成的光场26的示例。

图11e示出了光场投影仪的又一个实施例的前或后视图，所述光场投影仪被配置为小透视箱134，其具有光场投影仪的嵌入式组件，并且具有从元件29之一内部的单个光源通过透镜52到SLM 30的光路径38以及从SLM 30通过透镜52到另一个元件29的经调制的针孔孔径光场18的路径的示例。

具有光场投影仪134的嵌入式组件的透视箱是适合用于混合人工投影的光场与从周围的自然世界进入眼睛瞳孔10的自然光场的透明透视设备的可替换实施例的基本部分。

图12a是光场投影仪的可替换实施例，所述光场投影仪被配置为小透视箱134，具有光场投影仪的嵌入式组件，其执行通过层系统136与SLM 30的组合而引起的回射的顺序空间光调制。

图12b示出了光场投影仪的又一个实施例的顶视图或侧视图，所述光场投影仪被配置为小透视箱134，具有光场投影仪的嵌入式组件并且具有径向针孔孔径光场38的示例，所述径向针孔孔径光场38通过层系统136与SLM 30的组合而被调制并且作为针孔孔径光场16回射回到活动元件29，所述活动元件29将针孔孔径光场16反射到眼睛瞳孔10以及反射到眼睛视网膜24。

图12c示出了光场投影仪的又一个实施例的顶视图或侧视图，所述光场投影仪被配置为小透视箱134，具有光场投影仪的嵌入式组件并且具有针孔孔径光场40的另一个径向椎体的示例，所述针孔孔径光场40的另一个径向椎体通过层系统136与SLM 30的组合而被调制并且作为针孔孔径光场18回射回到活动元件29，所述活动元件29将针孔孔径光场18反射到眼睛瞳孔10以及反射到眼睛视网膜24。

图12d示出了光场投影仪的又一个实施例的顶视图或侧视图，所述光场投影仪被配置为小透视箱134，其具有光场投影仪的嵌入式组件，并且具有顺序地组成光场26的多个径向针孔孔径光场。

图12e示出了光场投影仪的又一个实施例，所述光场投影仪被配置为小透视箱134，其具有在透明箱64内部的嵌入式元件29以及具有在箱64外部的层系统136和SLM 30。

图12f示出了光场投影仪的又一个实施例的顶视图或侧视图，所述光场投影仪被配置为小透视箱134，其具有在透明箱64内部的嵌入式元件29，具有在箱64外部的层系统136和SLM 30，并且具有顺序地组成光场26的多个径向针孔孔径光场。

图12g示出了光场投影仪的另一个可替换实施例的顶视图或侧视图，所述光场投影仪被配置为小透视箱134，其具有在透明箱64内部的嵌入式元件29，具有在箱64外部的层系统136和SLM 30，并且具有顺序地组成光场26的多个径向针孔孔径光场。

层系统136，其与反射性SLM 30相组合地构成回射显示器，可以包括例如微透镜阵列或者平行和垂直镜件的栅格，其相应地被放置在常规反射型显示器、诸如FLCOS或DMD的反射表面邻近处。层系统136与反射型SLM 30的组合充当回射显示器。

图13a表示理想化的元件29，其具有点光源34以及部分反射且部分透明的镜件59，并且具有不成比例的图示的SLM 30，所述SLM 30具有层系统136，所述层系统136一起引起来自SLM的入射光38的回射，其产生经调制的针孔孔径光场16，所述经调制的针孔孔径光场16具有在初始光源34中的椎体顶点，除此之外，针孔孔径光场16部分地反射向眼睛。

图13b示出了元件29的优选实施例，所述元件29具有在透明保持器150（第一透明保持器）中的点光源34，以及在透明保持器151（第二透明保持器）上的部分反射且部分透明的镜件59，其具有光吸收涂层138、光形成光学器件140和透明供电线142和144。

图13c示出了元件29的另一个实施例，所述元件29具有在透明保持器150中的点光源34，以及在透明保持器151或150上的全反射镜件58，其具有光吸收涂层138、光形成光学器件140和透明供电线142和144。

图13d示出了元件29的另一个实施例，所述元件29具有在透明保持器150内部的光漫射元件148，其中它被射束146照射，其中在透明保持器151或150上具有全反射镜件58并且具有光吸收涂层138。

图13e示出了元件29的另一个实施例，所述元件29具有在透明保持器150内部的光漫射元件148，其中它被射束146照射，其中在透明保持器151上具有部分反射且部分透明的镜件59并且具有光吸收涂层138。

图13f图示了从照明控制电子器件90到活动元件29以及显示控制电子器件88的样例位置的透明电极142和144的接线的示例。

图13g图示了通过外部准直光源37对元件29的外部照明的示例。

光吸收涂层138是任何涂层，其防止来自光源34的光线传播到不期望的方向，诸如直接到眼睛瞳孔10。光学元件140是如下任何元件：其使从光源34发射的光成形并且均质化成均匀径向光的椎体（诸如针孔孔径光场38）。光学元件140包括例如光漫射层，诸如在光源34的表面上的半透明涂层，以及在漫射层附近的针孔滤光器，或凸透镜，其利用小直径孔径光阑来投影经漫射的（经均质化的）光38并且均匀地照射SLM 30。光学元件140还可以包括中空的箱，其在内壁上涂覆有光反射和漫射层，并且具有开口来发射均质化的径向光锥、诸如光源34的针孔孔径光场38，所述光源34在所述中空的箱内部并且被涂覆有半透明的漫射层或以这样的方式被定向使得它不直接从中空的箱而是仅仅在从光漫射涂层的反射之后发射光。

根据实施例，图14a示出了透视图，并且图14b示出了当与空间光调制器30组合的时候充当回射显示器的层系统136的侧视图或顶视图。此处，空间光调制器30包括偏振旋转层156，诸如FLCOS的那个，并且层系统136包括偏振滤光器160以及具有透镜158的微透镜阵列，所述透镜158具有与在透镜和反射表面156之间的最小距离相等的焦距。图14b示出了偏振旋转层156的亮像素152和暗像素154（参见以下）。

根据另一个实施例，图14c示出了透视图，并且图14d示出了将与反射型SLM 30相组合地使用、诸如用于充当回射显示器的层系统136的侧视图或顶视图。此处，反射型SLM30包括倾斜的镜件162，诸如DMD的那些，并且层系统136包括固定的反射表面166的栅格，所述固定的反射表面166与彼此平行或垂直并且垂直于处于与活动亮像素对应的定位中的镜件162。亮像素的镜件与镜件166构成立方拐角回射器。

光源34和镜件58或部分透明的镜件59的透明保持器150和151一般是任何透明的对象，其将所述对象34、58、59物理地保持在所期望的定位和定向中。它可以例如是硅或丙烯酸玻璃的特别成形件。

反射型SLM 30的亮像素152是以使得所反射的射线变成经调制的针孔孔径光场（诸如16或18）以及最终所组成的光场26的所意图的部分的方式反射入射射线41的像素。反射型SLM的暗像素154是不以使得所反射的射线变成经调制的针孔孔径光场、诸如16或18以及最终所组成的光场26的所意图的部分的方式反射入射射线41的像素。从暗像素154反射的射线在眼睛视网膜24外被吸收。SLM的反射表面156是FLCOS、DMD或其它偏斜显示器的具有图像模式的镜件部分。作为微观透镜的微透镜158是微透镜阵列的一部分，其理想地具有与SLM 30的像素相同的周期性。微透镜158具有理想地与在微透镜中心和SLM 30的反射表面之间的最小距离相同的焦距。偏振滤光器160是一种滤光器，其吸收具有特定偏正定向的光，并且透射具有与被吸收的相平行的偏振的光。微镜件162是DMD SLM 30的机械地移动（倾斜）的镜件，其具有将入射光线反射到它们变成光场26的所意图的部分的方向上的定向。微镜件164是DMD SLM 30的机械地移动（倾斜）的镜件，其具有将入射光线反射到它们不变成光场26的部分的方向上的定向。射线168是被转向到它们不变成光场26的部分的方向上的光线。

图15a示出了增强现实或混合现实设备的可替换实施例上的前视图，所述增强现实或混合现实设备包括透视箱134，其具有光场投影仪的嵌入式组件，其中SLM位于透明箱的外侧上。

图15b示出了增强现实或混合现实设备的可替换实施例上的后视图，所述增强现实或混合现实设备包括透视箱134，其具有光场投影仪的嵌入式组件，其中SLM位于透明箱的外侧上。

图15c示出了增强现实或混合现实设备的可替换实施例上的前视图，所述增强现实或混合现实设备包括透视箱134，其具有光场投影仪的嵌入式组件，其中SLM位于透明箱的内侧上。

图15d示出了增强现实或混合现实设备的可替换实施例上的后视图，所述增强现实或混合现实设备包括透视箱134，其具有光场投影仪的嵌入式组件，其中SLM位于透明箱的内侧上。

眼镜170的臂是应安置在人耳上并且可以包含电子器件、电池或其它功能组件的机械结构。

本发明的总体结构的描述

在本发明中所公开的光场投影仪的总体结构包括两个基本组件：照明源（诸如二维点光阵列28）以及快速反射型SLM 30。SLM 30和点光阵列28的控制驱动器88和90被同步92，以便调制特定的入射光场（诸如38或40），其具有对应的图像，诸如SLM 30上的66、68、120、122、124或126。点光阵列28中的点光以及在SLM 30上所显示的图像的每个组合对应于宽孔径光场26的至少部分信息。例如，当利用以点光34所产生的入射光场38来照射SLM 30的时候，投影仪创建针孔孔径光场16。SLM 30上针对该点光34的图像必须包含人工场景的图像信息（诸如某个颜色的位平面）的至少部分，因为它应通过虚拟针孔20而被看到。引导光学器件32用于将来自点光阵列28的入射光引导到SLM 30，并且在从SLM 30的反射之后，引导到以宽孔径光场26的形式的输出。

本发明的所有特定的实施例包含以可替换的配置并且具有引导光学器件32的可替换实现的这些基本组件。例如，引导光学器件可以包含可选的透镜和滤光器，诸如图6中所示的，或者点光阵列28可以相对于投影仪的光轴而倾斜（或者是三维的），以便创建虚拟针孔（诸如20和22）的布置，其也相对于投影仪的光轴而倾斜（或三维的）。

所公开的本发明的可替换实施例被配置成组合人工投影的光场26与通过现实世界60所产生的自然光场。透视光场投影仪的最小形状因子实施例使用回射显示器，其包括SLM 30和层系统16，所述SLM 30和层系统136一起允许点光源28和滤波镜件58的位置与彼此重合。

在本发明的各部分之间的关系。

眼睛132的眼睛瞳孔10（参见图1）接收宽孔径光场26的一部分，所述宽孔径光场26由包括针孔孔径光场16和另一各针孔孔径光场18的多个针孔孔径光场组成。由宽孔光场26的孔径光阑所给出的出射瞳大于眼睛瞳孔10，以便将光场26的至少部分投影到瞳孔10中，甚至在瞳孔10相对于投影仪移动的情况中。宽孔径光场26承载多个对象、诸如远端对象12和近端对象14的图像，如通过所述多个虚拟针孔（诸如20和22）所见的。虚拟针孔20和22位于瞳孔10附近，并且具有技术上尽可能小的直径。视网膜24接收具有例如远端对象12和近端对象14的人工场景的像，并且感测图像模糊，所述图像模糊取决于所观察的对象的距离和眼睛132的焦距，如在图2和3中所图示的。光场投影仪引擎62（参见图10）包括二维点光阵列28，所述二维点光阵列28包括多个点光，其包括点光34和另一个点光36，其是入射光场（包括38和40）的源。多个点光（诸如34和36）在快速序列中一个接一个地通过引导光学器件32而照射反射型SLM 30。光学器件32包括位于点光阵列28与SLM 30之间的可选的准直透镜42，可选的全内反射棱镜44，所述全内反射棱镜44分离通过SLM 30所调制的期望的光场与其它光场分量。可选的光学元件、诸如透镜52和56用于引导从SLM 30反射的光场在它进入目镜46之前通过傅里叶滤光器54。傅里叶滤光器54在从SLM 30的反射之后从光场中移除例如衍射分量。

SLM 30和点光阵列28中的活动点光98经由在驱动器88与90之间的同步信号92而被同步，如在图7中在具有四个点光的示例上所图示的。利用点光阵列28的SLM 30照明的序列128和130优选地在每个后续序列中改变，如在图8中的示例上所图示的，以便最大地混合和密化宽孔径光场26中的信息。混合是重要的，因为在每个时刻，宽孔径光场的仅仅部分进入瞳孔10。在SLM 30上针对每个点光照明所显示的图像可以是图像的单色位平面，如在图7和8中所提出的，但是可以是SLM 30能够在快速序列中显示的另一部分信息。在二进制显示器、诸如DMD（数字微镜件设备）的情况中，光场可以由相同或相似强度的二进制单色图像（诸如图7中的图像120、122、124和126）或其中通过亮像素的密度来确定部分灰度信息（参见图7b）的二进制半色调图像组成。重叠利用二进制单色图像、尤其是半色调图像（参见图7b）所产生的所述多个光场产生颜色和强度尺度的幻象。此处，表述“二进制单色图像”和“半色调图像”应当被理解为“单色颤动图像”，例如以1位黑白空间所表示的具有颤动（dithering）（参见https://en.wikipedia.org/wiki/Dither）的灰度像。引导光学器件32可以被设置使得如从瞳孔的定位通过光学系统32所见的空间光调制器30的图像平面在观看者的适应范围外，例如在自瞳孔10的前方但是小于10cm，或在瞳孔10后方的大距离中。对于该设置的理由是观看者的眼睛132不能聚焦在SLM 30的图像平面上。在该布置中的每个图像分量的每个像素由于光学器件32的瑕疵而稍微模糊。结果得到的所组成的图像于是感觉起来自然地平滑。

对于本发明如何运作/运转的描述

图1图示了在本公开内容中所呈现的近眼式光场投影仪的底层原理。提供观看者对现实有限场深度的感知以及正确的眼睛适应的机制基于对全光场的近似，所述全光场应通过多个针孔孔径光场（诸如16和18）的组成从具有对象（诸如12和14）的虚拟3D场景进入眼睛瞳孔10。针孔孔径光场16和18中的每一个通过不同的虚拟针孔20和22进入瞳孔10。虚拟针孔20、22和另一个必须位于靠近眼睛瞳孔10处，使得通过它们的光场26至少部分地并且至少暂时地进入眼睛瞳孔10。

每个针孔孔径光场、诸如16和18在观看者的视网膜24上创建随时聚焦的图像、诸如图2a和2b中的66和68。诸如66和68之类的图像对应于具有对象12和14的虚拟3D场景的图像，如从对应的虚拟针孔20和22的视点所见的。图像66和68因此不相同。特别地，处于自眼睛瞳孔10的不同距离中的对象12和14的图像的定位相互地移位。通过68中的尺寸d所指示的该相互移位取决于虚拟对象12和14自虚拟针孔20和22的距离，并且取决于针孔20和22的相互距离。另外并且更重要地，在视网膜24上的图像66和68的总体定位取决于眼睛132的焦距。例如，当眼睛聚焦在远端对象12（房屋）的距离上的时候，该对象将通过针孔20和22二者被投影在视网膜24上的相同位置，而另一距离上的近端对象14（蚂蚁）的两个图像将被移位d。当针孔孔径光场16和18同时或在快速序列中进入瞳孔10的时候，视网膜24上结果得到的图像将包含图像66和68二者。在该情况中，当眼睛132聚焦在远端对象12（房屋）上的时候，视网膜24上的该对象12的图像将重叠并且出现仅一次，而较近的对象14（蚂蚁）的图像将成对出现，如在图2c中的图像70上所图示的。相反，当眼睛132聚焦在近端对象14（蚂蚁）的距离上的时候，结果得到的图像74将包含蚂蚁14的一个图像，以及远端房屋12的成对的图像，如图2e中所见。任何其它聚焦将产生图像，诸如72，其中两个对象都成对，如图2d中所图示的。

当多个针孔孔径光场被求和的时候，多个其单独的图像（诸如66、68、120、122、124、126）将在视网膜24上合并。结果得到的图像将因此取决于眼睛132上的焦距、对象自虚拟针孔的距离，并且取决于虚拟针孔的数目及其距离。示例为：当眼睛132聚焦在远端对象12上的时候，在图3a中看到结果得到的图像76，其中九个针孔布置在三乘三针孔的矩形阵列中，当眼睛132聚焦在远端对象12与近端对象14之间的时候，看到图3b中的图像78，并且当眼睛132聚焦在近端对象14上的时候看到图3c中的图像80。

最后，当光场26由高数量（诸如成百）的不同针孔孔径光场组成的时候，视网膜上结果得到的像将包含几乎自然的模糊，比如在以下各项中所见的：图3d中的图像82（聚焦在远端对象12上）、图3e中的图像84（聚焦在远端12和近端对象14之间），以及图3f中的图像86（聚焦在近端对象14上）。该原理允许眼睛132可以聚焦在眼睛132的适应范围内的任何距离中的任何对象上，这导致其在视网膜24上的图像的重叠，使得它们看似锐利，而它使另一距离中的对象的所组成的图像模糊。

在图4a-4c中的光场投影仪设备的示意图中，所述多个针孔孔径光场（诸如16和18）被时间复用，并且组成宽孔径光场26。光场26部分地重构全光场，所述全光场应进入观看者的眼睛瞳孔10。在图4a-4c的最简单的示意性实施例中，所述设备包括二维点光阵列28（其在图4a-4c中从一侧被观看）、快速反射型SLM 30以及光引导光学器件32。投影序列的每个步骤包括利用点光阵列28中的所选点光（诸如34或36）通过光学器件32对SLM 30的所定义的闪光照明，所述光学器件32引导入射径向点光场（诸如38和40）。SLM 30通过选择性反射来调制入射光场的幅度（以及可选地还有相位）。对于利用所选点光（诸如34和36）的每个照明步骤，反射模式对应于如通过对应的虚拟针孔20和22所见的虚拟场景的图像的一部分。光学器件32引导光场（诸如38和40）从SLM 30反射并且创建（或投影）经幅度调制的光场椎体16和18。传播通过虚拟针孔20的光场16理想地等同于来自虚拟3D场景的针孔孔径光场信息的至少部分（导致近眼投影的图像）。SLM 30上的图像由控制电子器件88经由图像信号94来控制，利用照明控制电路90、经由92来同步所述图像信号94，所述照明控制电路90经由信号96来控制点光阵列28的照明序列。

在图5a中示出在此处公开的光场投影仪的更特定的优选实施例。它包含二维点光阵列28（在图5a中从一侧所见）、可选地准直透镜42、可选地全内反射棱镜44、快速反射型SLM 30以及目镜光学器件、诸如透镜46。整个系统顺序地从点光阵列28通过光学器件42、44、30、46来将光投影到虚拟针孔（诸如20和22），其中光被SLM 30。

图5b图示了如何创建来自某个虚拟距离中的虚拟点对像48的光场。来自虚拟点对像48的光场是其在所述多个针孔孔径光场中的对应射线的总和，所述多个针孔孔径光场在投影序列期间一个接一个地被创建。对于来自阵列28的每个活动点光，在反射型SLM 30上显示不同的图像。虚拟点对象48顺序地在虚拟点50的源图像的位置处被显示在SLM 30上。作为结果，眼睛视网膜24在快速序列中从虚拟点对象48接收多个光线。在视网膜24上的虚拟点对象48的图像的定位取决于眼睛132的焦距。如果眼睛132聚焦在虚拟点对象48的距离上，则射线在视网膜24上、在一个斑点处重叠，如果眼睛132聚焦在另一距离上，则视网膜上的图像将包含靠近于彼此的多次虚拟点对象48的图像，其使得它看似模糊。在该过程中合并的图像的数目取决于进入瞳孔10的针孔孔径光场的数目。数目越高，图像模糊看起来越自然。

图7图示了利用点光阵列28对SLM 30的顺序照明的过程。图7中的示例仅仅包含四个点光和四个样例图像分量，但是实际的点光阵列28可以包含数千的点光和图像、数千的分量。所显示的图像分量102的序列说明了SLM 30显示帧、诸如108，在其期间，SLM 30显示图像分量、诸如110或112，所述图像分量利用对应的活动点光98来被照明，其中照明通过时间相关的函数、诸如114或116来被给出。样例图像分量118的序列示出了图像120、122、124和126，所述图像包含相互移位的对象，其根据它们自眼睛瞳孔10的虚拟距离、引导光学器件32的性质、以及点光阵列28中的活动点光98的定位。活动点光106的序列、以及照明序列104连同图像序列118在原则上可以是任意的，其取决于用于将虚拟场景分解成图像分量的过程。

然而，实际照明和显示序列为了特定的目的而被理想地优化，并且包含具有其正确的部分强度的最终图像的所有分量。所述序列可以由二进制图像组成，所述二进制图像对应于所有灰度位平面，从最高有效位（MSB）平面到最低有效位（LSB）平面，其具有阵列28中的对应活动点光98的颜色。单独点光的颜色可不同。最终图像中的位平面的部分强度由曝光相对于位平面帧108的长度的相对长度来被控制。照明的强度可以通过如序列104中的脉冲的长度来被实现，而且还通过脉宽调制、利用连续受控的强度、或其它手段来被实现。例如是具有针孔掩模的发光二极管（LED）的活动点光的定位通过序列106被说明。空的圆圈98图示了LED发射光。满的圆圈100意指LED被关断。在其中不确保对应于特定图像分量的光场进入观看者的瞳孔的现实应用中，合期望的是每个图像分量被投影若干次，每次利用不同的点光（据此，必须修改图像分量）。例如，在最终图像被分解成不同强度和颜色的单独位平面的情况中，每个位平面（https://en.wikipedia.org/wiki/Bit_plane）应当利用所有点光被理想地照明。然而，在大多数情形中，这是不现实的，并且因此必须优化针对其它点光的位平面重复的数目。不需要管理具有不同显著性的图像分量（诸如位平面分量的不同亮度）的合适途径是使用图7b中的半色调二进制像，其中通过亮像素的密度来定义灰度。所有这样的图像分量具有相同的显著性。

图8图示了在一个完整的图像的投影期间可以如何置乱（shuffle）照明和显示序列。示例假定点光28的十乘十矩形阵列，以及被分解成一个或多个8位图像分量的图像。空圆圈指示活动点光98，其在给定的序列128或130中一个接一个地按图8中的相邻数字所指示的次序来发射光。每个点光可以发射不同的颜色。关键点是，利用SLM 30的频闪点光照明所创建的结果得到的光场26在观看者的视觉延迟时段期间包含技术上尽可能多的针孔孔径光场。每针孔孔径光场的完整图像信息意指利用一个对应的点光来对所有颜色的所有位平面进行照明。为了实现这个，必须利用照明图案的预定义的变换、诸如在序列128和130之间的那个来重复照明序列，直到利用具有对应强度的所有点光照射所有位平面为止。在实际实现方式中，每点光的位平面的数目可以根据单独的情况的特定限制来被减少，例如由于受限的帧率、观看者的延迟、瞳孔孔径的大小、图像的类型（单色、灰度、RGB等等）所致。实际测试示出了所投影的信息的量可以如下那么多地被减少：减少到每点光一个位平面，其中具有可接受的结果得到的品质损失。

如已经在上文换言之所提及的，在每个照明步骤中通过SLM 30所显示的单独的图像还可以是二进制单色像，诸如图7b的半色调图像，其中通过亮像素的密度来确定亮度，所述亮像素利用不同的点光来被照明，所述不同的点光具有不同的颜色、但是具有相同或相似的强度。在视网膜24上重叠的图7b的多个半色调图像的结果得到的总和创建颜色或亮度的尺度。在当眼睛瞳孔10在每个时刻接收宽孔径光场26的未被指定的子集时的情形中，相同强度的二进制像的时间复用是便利的。

在图11中的所公开的透视混合现实设备的可替换实施例中，对人工投影的光场与来自现实世界的自然光的混合借助于通过点光源、诸如34对反射型SLM 30的顺序照明来被执行，所述点光源是点光源阵列28的部分，并且在图11中、而且还在图12中的实施例中，每个点光被嵌入在元件29中。通过透镜52来照射图11中的实施例中的SLM 30。当入射的针孔孔径光场（诸如38）从SLM 30反射的时候，所反射的针孔孔径光场16通过SLM 30上的图案被调制，并且再次、但是在相反的方向上传播、通过透镜52，所述透镜52将经调制的针孔孔径光场16聚集到顶点，或换言之聚集到虚拟针孔、诸如20，所述虚拟针孔在图11的实施例中位于元件29的镜件58或59的定位处。镜件58或59将经调制的针孔孔径光场16反射朝向眼睛瞳孔10。镜件58或59充当傅里叶滤光器，其滤掉由于从SLM 30处的小节距像素的周期性图案所反射的光的干扰所致的存在于经调制的光场16中的衍射附属物（diffractionsatellite）。源元件29和滤波元件29一般在不同的位置中，其对应于彼此在光学系统中的图像。滤波元件29的滤波镜件58或59可以从处于照明元件29的图像的位置处的理论上理想的定位离位，因为现实光源元件29没有理想为零的孔径，并且现实系统中的回射不理想，其使得源的一阶图像（在其光被SLM 30调制之后）在滤波元件29的位置处具有非零大小。

本发明的独特特征

近眼式光场投影仪引擎62提供自主光场26，所述自主光场26由随时聚焦的光场的经时间复用的序列组成。投影仪不需要关于观看者眼睛适应的任何信息以便提供现实单目深度线索。直接向眼睛瞳孔10及其附近的投影（以便覆盖瞳孔运动的区）与大型3D显示器相比减小必须被递送到投影仪并且从投影仪被投影的信息的量。除了自眼睛适应对图像深度的单目感知以及由于有限场深度所致的图像模糊之外，当瞳孔10移动的时候，观看者感测所观察的对象自近端14和远端12对象的小相互位移的距离。投影仪32的光学器件可以被设置使得所投影的对象具有相对于现实世界的确切定位。光学器件32和所投影的光场26可以被布置成减小或放大场深度的效应。

光场分量的快速顺序投影——尤其是当所述分量包括相同强度的单色二进制像的时候——支持对移动对象的现实感知。在常规显示器中，具有移动对象的每个帧通常包含其对应的运动模糊，其改善当观看者观察场景中的静态背景或静态对象的时候的视觉体验。然而，移动对象被感知为模糊的，甚至当眼睛追踪其运动的时候。在现实世界中，其定位被观看者的眼睛追踪的移动对象变得锐利，而相对于所追踪的对象移动的其它对象被感知为具有运动模糊。光场投影仪62以是常规显示器的数十倍快的速率来投影光场分量，这意味着眼睛接收光场分量，各自几乎没有运动模糊，而观看者所体验的运动模糊更现实，因为它取决于哪个对象被观看者追踪。

可以由相对低成本的、可靠的、大量生产的组件来构造光场投影仪。

与增强现实眼镜、诸如图9和图10中的可替换实施例中的那些相组合，光场投影仪62可以组合从现实世界60传入的光场与从镜件58反射的（或通过另一增强现实光学器件所递送的）光场26，其中具有所有对象的正确单目深度线索。

在光场26中可以被感知的距离的范围实际上是连续的，并且范围从零距离到无限。

当观看者的眼睛中的每一个从不同投影仪62接收对应的光场的时候，诸如在图9的布置中那样，利用投影仪62所产生的单目深度线索可以与立体深度线索相组合。立体投影仪中的正确的单目深度线索移除所谓的聚散适应冲突。

由所述多个图像分量来组成最终图像使得所组成的图像具有比每个图像分量更高的分辨率。

宽孔径光场26由针孔孔径光场组成这一事实允许通过对输入图像的数字处理来补偿光学器件32的瑕疵。光学误差的数字补偿可以显著降低光学器件的价格。

具有回射显示器的透视投影仪的实施例可以用于构造紧凑并且非常小形状因子的混合现实眼镜。

如何制成本发明

此处公开的本发明的优选实施例可以利用点光阵列28来产生，所述点光阵列28由多个颜色（诸如红色、绿色和蓝色）的多个发光二极管制成，所述发光二极管被掩模覆盖，所述掩模包含针孔阵列，所述针孔可以通过激光切割、微加工、或蚀刻来产生；或者每个二极管可以与光纤耦合，所述光纤的输出用作点光。可存在点光阵列的众多实施例，包括使用纤维光学拆分器、移动二极管、移动镜件等等。

SLM 30可以基于DMD（数字微镜件设备）或FLCOS（硅上的铁电液晶），可选地与全内反射棱镜44或偏振棱镜、以及适当焦距的常规准直透镜42组合。目镜46可以由具有相对小的焦距的单个透镜或镜件制成，所述二者可选地与球形和彩色像差误差的数字补偿相结合。目镜46可以基于更复杂的以及经优化的商业上生产的宽角度目镜。

可选的滤光器光学器件包含至少一个常规透镜52，其创建入射光场的傅里叶平面。具有针孔阵列的傅里叶滤光器54可以由光学非透明且非半透明的板制成，所述板具有经激光切割、钻孔或蚀刻的针孔或其它滤波图案。滤光器54可以可替换地以反射模式被布置，其中在图9、图10、图11、图12和图15中的实施例中，针孔或其它滤波图案被微镜件、诸如58代替。

元件29的阵列可以通过常规的微技术光刻步骤来被产生，所述步骤具有在透明保持器150和151中定向干法或湿法蚀刻用于光源的开口，以及材料沉积，诸如溅射或蒸发光吸收材料138、镜件58和59以及透明电极142和144。已经利用常规微技术型技术在商业上生产了微透镜158的阵列。镜件166的栅格可以通过如下来被产生：往透明基底中干法蚀刻沟槽，以及随后在沟槽的壁上化学或物理地沉积反射性材料（诸如铝），并且从基底的其它表面移除（抛光）所沉积的金属。

本发明的可替换实施例

图6图示了在本发明中所公开的光场投影仪的更具体的可替换实施例。反射型SLM30（诸如DMD或FLCOS）具有大约10μm的典型像素节距，其导致在所反射的光场中出现衍射分量。图6中的实施例因此包含附加的光学器件52，其在傅里叶滤光器54、以及目镜光学器件、诸如56和46的位置处产生点光阵列28的图像平面。傅里叶滤光器54透射经调制的针孔孔径光场，并且阻挡在点光阵列28与傅里叶滤光器54之间创建的光场的所有衍射分量。实际上，傅里叶滤光器54是固定的针孔阵列，其是点光阵列28的经缩放的图像。优选滤光器52上的针孔足够大以最小化其孔径处的衍射，例如多于300μm。另一方面，阵列28中的点光的大小可以尽可能小，只要它们提供足够的光强度。当通过傅里叶滤光器54确定了每个针孔孔径光场的孔径光阑的时候，阵列28中的点光可具有较大的直径。较大直径点光补偿DMD中微镜件的反射角的变化。

图9图示了在本发明中所公开的基本光场投影概念的多功能性。图9的实施例中的投影仪62是来自图5a的基本设计的修改。图9中的点光阵列28相对于光轴而倾斜，其使得点光的图像平面也倾斜，所述图像平面包含虚拟针孔、诸如20和22。该投影布置可以伴随有光学元件、诸如透镜52，其也相对于光轴倾斜，并且具有输入图像的对应变换。所投影的针孔孔径光场可以从虚拟针孔、诸如20和22的位置处的小倾斜镜件、诸如58被反射，并且指向观看者的眼睛132。镜件58可以被安置在表面上或被嵌入在透明眼镜内部，以便组合人造光场26与来自现实世界60的光场。这样的实施例构成增强现实系统。镜件58还用作傅里叶滤光器，其从光场26移除衍射分量。

图10是增强现实设备的实际布置的示例，包括两个光场投影仪62以及在薄透明眼镜64上的倾斜镜件58的两个阵列。宽孔径光场26还可以被注入到任何合适的波导中，所述波导将来自投影仪的光场26引导到眼睛瞳孔10。

图11是增强现实或混合现实设备的透视箱的可替换实施例，其中所述多个元件29中每一个的位置与具有透镜52以及SLM 30的反射表面的光学系统中的相同或另一元件29的图像的位置重合。由于每个元件29包括点光源、诸如34或36（而所有点光源构成点光阵列28）以及镜件58或半透明镜件59，每个元件29同时用作傅里叶滤光器54中的源和镜件。图11b示出了元件29中的点光源34发射径向针孔孔径光场38，所述径向针孔孔径光场38传播通过透镜52、从SLM 30反射并且作为经调制的光场16再次传播通过透镜52，至针孔孔径光场16的椎体的顶点。顶点是点光源34的图像，并且它是虚拟针孔20。其在该实施例中的位置与另一元件29中的镜件58或59的位置重合。另一元件29因此用作滤光器，所述滤光器从光场26中滤掉通过从SLM 30的反射所产生的较高阶衍射附属物，并且同时用作镜件，所述镜件以期望的角度将针孔孔径光场16偏转向眼睛瞳孔10。图11c示出了另一个点光源36在又一元件29的镜件58或59处产生其像以及虚拟针孔22。所述多个元件29因此同时充当照明源（点光阵列）以及傅里叶滤光器。

图12是增强或混合现实设备的透视箱的可替换实施例，其中每个元件29同时是其自己的光场的点光源和滤光器。图12b示出了元件29中的点光34发射光场38，所述光场38通过SLM 30被调制，并且由于存在层系统136，作为光场16被回射回到初始元件29。因此，点光源34、其图像、滤波镜件58或59以及虚拟针孔20的位置在相同的元件29处具有相同的位置。图12c示出了具有另一个点光源36的另一元件29具有相同的性质并且执行相同的操作，其具有入射光场40、经调制的光场18和虚拟针孔22。图12d示出了透视箱134的该可替换实施例，其中具有组成人工投影的光场26的同时所有针孔孔径光场的包络。在现实设备中，透明箱64中元件29的数目、密度和分布预期是不同的。特别地，元件29的数目和密度必须较高以便创建高品质光场26和宽视场。具有大量元件29的设备可以在如下模式中操作：在所述模式中，所有元件29的仅仅子集是活动的（执行重复的照明序列）并且自虚拟对象提供光场26，所述虚拟对象位于通过瞳孔10和活动元件29的定位所确定的视场中。该模式允许提供覆盖窄视场的所投影对象的高品质光场图像，并且同时提供通过改变活动元件29的子集来覆盖大视场的可能性。换言之，光场信息可以从大视场的任何区段被投影，但是仅有窄视场可以在给定时刻被填充有所投影的光场以便在特定的位置中提供对象的详细图像。可以就此方面来创建混合现实、增强现实或虚拟现实内容。特别地，混合现实应用可以利用以下事实：即观看者看到现实世界，并且虚拟对象在任何特定时刻可占据全视场的仅仅一小部分。在虚拟现实（而且还有混合现实）的情况中，可以针对全视场的窄区段来投影虚拟对象的高品质像，其中高密度的元件29是活动的，并且其中观看者在眼睛和思想上聚焦，而与观看者的周边视觉相对应的视场的区段仅仅利用低密度的活动元件29来被提供有低品质光场。后者可以通过使用眼睛追踪来被改善，所述眼睛追踪标识观看者的视觉注意力的方向。

图12e、12f和12g示出了透视光场投影仪134的可替换实施例，所述透视光场投影仪134具有回射显示器，所述回射显示器包括层系统136和SLM 30，所述层系统136和SLM 30位于透明箱64的外部，并且其中入射光、诸如38或40以及光场26在箱64外部传播。

图13描述了元件29的内部结构的若干样例实施例。图13a中的理想化的元件29包括点光源34以及部分透明且部分反射的圆形镜件59，其具有在50与500μm之间的直径。点光源发射径向光场38，所述径向光场38利用层系统136从SLM 30被调制并且回射，作为径向光场16。光场16从镜件59被反射到眼睛瞳孔10。从镜件59的反射从光场26中滤掉通过在SLM30上对入射光的调制所产生的衍射附属物。图13b中的元件29的实施例表示元件29的可能的实际实现，其中光源34、诸如单色LED、与光形成光学器件140、连同光吸收涂层138一起使径向光场38成形并且均质化，其中供电线142和144向LED 34提供电压和电流。这些元件被附连到透明保持器150或被沉积在透明保持器150上。光源34可以发射多色，其需要对应数目的供电线。例如，用于三色LED的四根线。半透明的镜件59可以被沉积在另一透明保持器151上，光源34通过所述半透明镜件59照射SLM 30，所述另一透明保持器151与透明保持器150接触。

图13c是元件29的实施例，其中全反射镜件58（尽管它在原则上也可以是半透明镜件）被安置在点光源34近旁，所述点光源34具有与图13b中的那个相同或相似的构造。镜件58从瞳孔10的视点理想地盖住光源。图13d和图13e中的元件29的实施例是对于图13b和图13c中的元件29的实施例的可替换方案。此处，点光源148不是有源电子供电的光源，而是漫射元件148，所述漫射元件148被来自源37的经集中的光束146照射，如图13g中所示。

在最后的结果中引起通过SLM 30被调制的光的回射的层系统136的两个基本实施例在图14中被示出。图14a和图14b中的层系统136包括微透镜158的阵列，所述微透镜具有与在微透镜158的中心和SLM 30的反射表面156之间的最小距离相对应的焦距。在该示例中的SLM 30假定是FLCOS，所述FLCOS因此需要在元件29与SLM 30的反射表面156之间的入射射线41和反射射线27的路径中存在偏振滤光器160。滤光器仅仅透射入射射线41的一个偏振分量，其传播通过微透镜158到SLM 30的反射表面156。入射射线41要么以相同的偏振从亮像素152被反射，其允许使所反射的射线27透射通过偏振滤光器27，或以旋转的偏振从暗像素154被反射，所述旋转的偏振使得所反射的射线被偏振滤光器160阻挡。图14b图示了射线在其从暗像素154的反射之后在偏振滤光器160中的吸收。

图14c和图14d图示了包括层系统136和反射型SLM 30的回射显示器的另一实现。该示例中的SLM 30假定为是DMD，但是原则上可以是任何反射型光调制器。层系统136包括镜件166的栅格，所述镜件与彼此平行和垂直，并且垂直于与亮像素相对应的镜件。

与SLM 30的亮像素对应的每个镜件162与镜件166一起构成立方拐角回射器。图14d还图示了入射射线41从与暗像素164对应的镜件的反射。镜件164不垂直于栅格166，并且不构成立方拐角回射器。射线168因此被偏转到如下方向上：在所述方向上它不参与光场26的形成。

SLM 30在原则上可以是任何反射型光调制器，并且所公开的实施例应该是说明性的而不是限制性的。事实上，SLM 30可以是与反射表面相组合的平坦透射型光调制器。

图15图示了透视光场投影仪134如何可以构成紧凑可佩戴的混合现实眼镜。具有必要的控制电子器件88和90的SLM 30可以位于眼镜的外侧上，如相应地在图15a和图15b中的眼镜的前和后视图中所见的，或可以位于眼镜的内侧上，如相应地在图15c和图15d中的前和后视图中所见的。

本实施例将被认为是说明性而不是限制性的，因为本发明不限于本文中给出的细节。参考标号和符号

Claims (39)

1.一种用于将近眼投影的图像投影到用户眼睛的光场投影仪，包括：

光源（28），其包括被配置用于顺序地发射多个入射光场（38、40）的多个照明点光（34、36）；

空间光调制器（30），其被配置用于提供源图像序列；

所述空间光调制器（30）此外被配置用于根据源图像来调制入射光场（38、40）中的每一个，以便用于顺序地投影多个针孔孔径光场（16、18），每个针孔孔径光场（16、18）承载来自源图像的光场分量；

多个投影的针孔孔径光场（16、18）形成交叉宽孔径光场（26）；

其中每个顺序投影的针孔孔径光场（16、18）形成交叉虚拟针孔（20、22），通过所述交叉虚拟针孔能够看到来自源图像的分量，每个虚拟针孔（20、22）具有通过照明点光（34、36）的大小被确定的孔径光阑并且相对于彼此在空间上移位，所述近眼投影的图像通过所述多个虚拟针孔（20、22）被看到；

其中所述光场投影仪包括透视箱和镜件（58、59），所述透视箱包括多个元件（29），每个元件包括使得所述多个元件形成点光源的照明点光（34、36）；以及

其中所述镜件（58、59）充当配置为从所述宽孔径光场（26）移除衍射分量的傅里叶滤光器，使得每个元件 (29) 同时充当点光源和傅里叶滤光器。

2.根据权利要求1所述的光场投影仪，其中所述多个顺序投影的针孔孔径光场（16、18）形成交叉宽孔径光场（26）。

3.根据权利要求2所述的光场投影仪，其中所述宽孔径光场（26）具有如下孔径光阑，所述孔径光阑通过照明点光（34、36）的大小被确定，并且足够大使得所述多个顺序投影的针孔孔径光场（16、18）能够至少部分地进入用户的眼睛瞳孔（10）。

4.根据权利要求3所述的光场投影仪，其中宽孔径光场（26）的出射瞳的直径在5mm和100mm之间。

5.根据权利要求1至4中任一项所述的光场投影仪，包括光学设备（32），所述光学设备（32）被配置用于将来自光源（28）的所述多个入射光场（38、40）引导到空间光调制器（30），并且用于在空间光调制器（30）与宽孔径光场（26）之间引导针孔孔径光场（16、18）。

6.根据权利要求1至4中任一项所述的光场投影仪，其中所述空间光调制器（30）包括快速反射型空间光调制器、数字微镜件设备、或硅上的铁电液晶。

7.根据权利要求1所述的光场投影仪，包括显示控制电子电路（88），其被配置用于在空间光调制器（30）上产生源图像（110、112）的序列。

8.根据权利要求1所述的光场投影仪，包括照明控制电子电路（90），其被配置用于提供信号来用于控制所述多个照明点光（34、36）。

9.根据权利要求1所述的光场投影仪，其中光源（28）的所述多个照明点光（34、36）被布置在一维、二维或三维阵列中。

10.根据权利要求8所述的光场投影仪，其中所述照明控制电子电路（90）被配置用于根据时间序列函数来照射所述多个照明点光（34、36）的子集。

11.根据权利要求5所述的光场投影仪，其中所述光学设备（32）包括准直器（42），所述准直器（42）被配置用于将入射光场（38、40）变换成平面波。

12.根据权利要求5所述的光场投影仪，其中所述光学设备（32）包括第一光学元件（44），所述第一光学元件（44）被配置用于反射具有比全反射角更大的反射角的针孔孔径光场（16、18）。

13.根据权利要求5所述的光场投影仪，其中所述光学设备（32）此外在空间光调制器（30）与宽孔径光场（26）之间包括傅里叶滤光器（54）。

14.根据权利要求5所述的光场投影仪，其中所述光学设备（32）此外包括凸透镜（52），所述凸透镜（52）被配置用于执行所反射的针孔孔径光场（16、18）的光学傅里叶变换。

15.根据权利要求5所述的光场投影仪，其中所述光学设备（32）此外包括第二光学元件（46），所述第二光学元件（46）被配置用于将所反射的针孔孔径光场（16、18）集中在宽孔径光场（26）内。

16.根据权利要求1所述的光场投影仪，其中所述源图像包括单色颤动像，其包括多个像素，亮像素的密度确定亮度。

17.一种用于由用户佩戴的增强现实设备，包括根据权利要求1至16中任一项所述的光场投影仪；

其中所述点光源（28）与空间光调制器（30）被布置使得当增强现实设备被佩戴的时候针孔孔径光场（16、18）沿着用户的至少一只眼睛（132）的视轴（172）被投影，以便抵达眼睛视网膜（24）。

18.根据权利要求17所述的增强现实设备，其中当由用户佩戴的时候，点光源（28）和空间光调制器（30）被布置在眼睛（132）的视场外；并且

其中所述光场投影仪包括镜件（58、59），所述镜件被配置用于沿着视轴（172）反射针孔孔径光场（16、18）。

19.根据权利要求18所述的增强现实设备，其中所述镜件（58、59）被包括在每个元件（29）中；

所述多个元件（29）被布置在透视箱（134）中使得针孔孔径光场（16、18）中的每一个由元件（29）之一中所包括的镜件（58、59）沿着视轴（172）反射。

20.根据权利要求18或19所述的增强现实设备，其中所述多个元件（29）中的每一个包括第一透明保持器（150），所述第一透明保持器（150）在第二透明保持器（151）上包含镜件（58、59）。

21.根据权利要求20所述的增强现实设备，其中第一透明保持器（150）包括光吸收涂层（138）和光形成光学器件（140）。

22.根据权利要求20所述的增强现实设备，其中第一透明保持器（150）包含被光束（146）照射的光漫射元件（148），并且镜件（58、59）包括光吸收涂层（138）。

23.根据权利要求18所述的增强现实设备，其中所述镜件（58）包括傅里叶滤光器，所述傅里叶滤光器被配置用于从宽孔径光场（26）中移除衍射分量。

24.根据权利要求18所述的增强现实设备，其中所述镜件（58）包括被布置在阵列中的多个部分或全反射子镜件，每个子镜件反射针孔孔径光场（16、18）之一。

25.根据权利要求24所述的增强现实设备，其中所述子镜件具有在250μm与2000μm之间的直径。

26.根据权利要求17所述的增强现实设备，其中所述空间光调制器（30）被包括在透视箱（134）的一侧处；并且

其中透镜（52）被包括在透视箱（134）与空间光调制器（30）之间，使得入射光场（38、40）在抵达空间光调制器（30）之前通过透镜（52）。

27.根据权利要求17所述的增强现实设备，其中所述透视箱（134）包括层系统（136），所述层系统（136）充当回射显示器，其结合空间光调制器（30）。

28.根据权利要求27所述的增强现实设备，其中所述层系统（136）被包括在透视箱（134）与空间光调制器（30）之间，使得入射光场（38、40）在抵达空间光调制器（30）之前被层系统（136）和空间光调制器（30）回射。

29.根据权利要求17所述的增强现实设备，其中所述空间光调制器（30）与透视箱（134）物理地分离。

30.根据权利要求27所述的增强现实设备，其中所述层系统（136）包括以下各项之一：微透镜阵列、平行和垂直镜件的栅格。

31.根据权利要求27所述的增强现实设备，其中所述空间光调制器（30）包括偏振旋转反射层（156）；并且

其中所述层系统（136）包括偏振滤光器（160）和具有微透镜（158）的微透镜阵列，所述透镜具有与在透镜和偏振旋转反射层（156）之间的最小距离相等的焦距。

32.根据权利要求27所述的增强现实设备，

其中所述空间光调制器（30）包括倾斜的镜件（162）；并且

其中所述层系统（136）包括固定的反射表面（166）的栅格，所述固定的反射表面（166）与彼此平行或垂直并且垂直于处于与活动亮像素对应的位置中的镜件（162）。

33.根据权利要求17所述的增强现实设备，

其中近眼投影的图像与远端图像可组合，所述远端图像由来自距离视觉（60）处的对象的光场形成。

34.根据权利要求33所述的增强现实设备，其中所述近眼投影的图像占据眼睛（132）的视场的一部分。

35.根据权利要求34所述的增强现实设备，被配置使得在相对于远端图像的预定位置处形成近眼投影的图像。

36.根据权利要求17所述的增强现实设备，包括眼镜，眼镜中的每片玻璃包括镜件（58、59）。

37.根据权利要求17所述的增强现实设备，包括眼镜，眼镜中的每片玻璃包括透视箱（134）。

38.一种用于操作根据权利要求17所述的增强现实设备的方法，包括：

在空间光调制器（30）上显示源图像（110、112）的序列；

利用入射光场（38、40）来照射所显示的源图像（110、112）；

其中根据时间序列函数来照射所述多个照明点光（34、36）的子集。

39.根据权利要求38所述的方法，其中近眼投影的图像与远端图像可组合，所述远端图像通过来自距离视觉（60）处的对象的光场形成；并且

其中所述近眼投影的图像通过利用入射光场（38、40）顺序地照射所显示的源图像（110、112）来与远端图像组合。

Images