CN112415880B - 全息投影 - Google Patents

全息投影 Download PDF

Info

Publication number
CN112415880B
CN112415880B CN202010855242.4A CN202010855242A CN112415880B CN 112415880 B CN112415880 B CN 112415880B CN 202010855242 A CN202010855242 A CN 202010855242A CN 112415880 B CN112415880 B CN 112415880B
Authority
CN
China
Prior art keywords
image
pixels
sampling window
pixel
hologram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010855242.4A
Other languages
English (en)
Other versions
CN112415880A (zh
Inventor
J.克里斯特马斯
M.温吉罗
N.加夫里拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dualitas Ltd
Original Assignee
Daqri Holographics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daqri Holographics Ltd filed Critical Daqri Holographics Ltd
Publication of CN112415880A publication Critical patent/CN112415880A/zh
Application granted granted Critical
Publication of CN112415880B publication Critical patent/CN112415880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/28—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique superimposed holograms only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H2001/2223—Particular relationship between light source, hologram and observer
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G03H2001/2297—Addressing the hologram to an active spatial light modulator using frame sequential, e.g. for reducing speckle noise
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/2645—Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
    • G03H2001/2655—Time multiplexing, i.e. consecutive records wherein the period between records is pertinent per se
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/30—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique discrete holograms only
    • G03H2001/303—Interleaved sub-holograms, e.g. three RGB sub-holograms having interleaved pixels for reconstructing coloured holobject
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/20—2D object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/20—2D object
    • G03H2210/22—2D SLM object wherein the object beam is formed of the light modulated by the SLM
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/44—Digital representation
    • G03H2210/441—Numerical processing applied to the object data other than numerical propagation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/45—Representation of the decomposed object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00—Active addressable light modulator
    • G03H2225/10—Shape or geometry
    • G03H2225/12—2D SLM
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/02—Computing or processing means, e.g. digital signal processor [DSP]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00—Hologram nature or properties
    • G03H2240/50—Parameters or numerical values associated with holography, e.g. peel strength
    • G03H2240/62—Sampling aspect applied to sensor or display

Abstract

全息投影仪包括图像处理引擎、全息图引擎、显示引擎和光源。图像处理引擎被布置为接收用于投影的源图像，并基于该源图像从初级图像生成多个次级图像。源图像包括多个像素。每个次级图像可以包括比源图像更少的像素。通过对初级图像进行采样来生成多个次级图像。全息图引擎被布置为确定(例如计算)与每个次级图像相对应的全息图以形成多个全息图。显示引擎被布置为在显示装置上显示每个全息图。光源被布置为在显示期间照射每个全息图，以在重放平面上形成与每个次级图像相对应的全息重建。初级图像选自包括源图像和中间图像的组。

Description

全息投影
技术领域
本公开涉及图像处理器和投影仪。更具体地，本公开涉及用于全息投影的全息投影仪、全息投影系统和图像处理器。本公开还涉及一种全息投影目标图像的方法以及一种全息投影视频图像的方法。一些实施例涉及平视显示器。
背景技术
从对象散射的光包含振幅和相位信息。可以通过众所周知的干涉技术在例如光敏板上捕获该振幅和相位信息，以形成包括干涉条纹的全息记录或“全息图”。可以通过用适当的光照射来重建全息图，以形成代表原始对象的二维或三维全息重建或重放图像。
计算机生成全息术可以在数值上模拟干涉过程。可以通过基于诸如菲涅耳或傅立叶变换的数学变换的技术来计算计算机生成全息图“CGH”。这些类型的全息图可以被称为菲涅耳或傅立叶全息图。傅立叶全息图可以被认为是对象的傅立叶域表示或对象的频域表示。例如，也可以通过相干射线追踪或点云技术来计算CGH。
CGH可以在空间光调制器“SLM”上编码，该空间光调制器被布置成调制入射光的振幅和/或相位。例如，可以使用电可寻址液晶、光学可寻址液晶或微镜来实现光调制。
SLM可以包括多个可单独寻址的像素，这些像素也可以称为盒(cell)或元件。光调制方案可以是二进制、多级或连续的。可替代地，设备可以是连续的(即，不包括像素)，因此光调制可以在整个设备上是连续的。SLM可以是反射性的，这意味着调制光从SLM以反射方式输出。SLM同样可以是透射的，这意味着从SLM输出的调制光是透射的。
可以使用所描述的技术来提供用于成像的全息投影仪。例如，这种投影仪已经应用于平视显示器“HUD”和头戴显示器“HMD”，包括近眼设备。
全息投影仪将图像投影到重放平面上的重放场上。当使用所描述的技术时，投影的图像由显示在SLM的像素(在本文中称为“SLM像素”)上的全息图形成。因此，SLM像素显示全息图的像素，在本文中称为“全息图像素”。投影的图像由“像点”(在此也称为“图像像素”)形成。图像像素具有有限的大小，并且重放场中的相邻图像像素会一起干扰或模糊。这里将其称为像素串扰。像素串扰的问题导致图像质量下降。
此外，全息图引擎花费时间来确定要从源图像显示的全息图。例如，全息图可以是使用至少一个傅立叶变换计算的傅立叶全息图。因此，计算全息图所花费的时间可以限制将全息图可以写入SLM的速率，从而可以限制将源图像的序列作为视频流投影的速率，在此称为“帧速率”。因此，可能难以以可接受的视频帧速率投影图像。
本公开涉及用于实现时间交错以优化重放平面上的源图像的全息重建的分辨率的技术。本文公开的一些实施例涉及放大图像的图像采样或子采样，并且一些实施例涉及有效补偿由用于对全息重建成像的光学系统引起的翘曲。
本文公开了一种改进的全息投影系统和方法。
发明内容
本公开的各方面在所附的独立权利要求中定义。
本文公开了一种全息投影仪，其被布置为通过投影全息地重建目标图像。全息投影仪包括图像处理引擎、全息图引擎、显示引擎和光源。图像处理引擎可以被布置为接收源图像或目标图像。图像处理引擎可以被布置为放大目标图像以形成源图像。源图像包括多个像素。图像处理引擎被布置为通过对基于源图像的初级图像进行采样来生成多个次级图像。例如，可以从包括源图像和从源图像得出的中间图像的组中选择初级图像。每个次级图像可以包括比源图像更少的像素。全息图引擎被布置为确定(例如计算)与每个次级图像相对应的全息图以形成多个全息图。显示引擎被布置为在显示装置上显示每个全息图。每个全息图可以依次显示在显示装置上。替代地或另外地，可以提供两个或更多个显示装置或同一显示装置内的两个或更多个区或区域，以基本同时显示两个或更多个相应的全息图。光源被布置为在显示期间照射每个全息图，以在重放平面上形成与每个次级图像相对应的全息重建。
放大目标图像以形成源图像可以包括在源图像的相应相邻像素组中重复目标图像的每个像素值，其中在目标图像的每个像素与源图像的具有相同像素值的对应像素组之间存在位置对应。
每个次级图像可以包括多个像素，该多个像素是基于在采样窗口的多个位置处的所述初级图像的对应的像素组而计算的。每个次级图像的每个像素值可以是基于对应的组而计算的，该对应的组包括在多个采样窗口位置中的相应一个采样窗口位置处落入采样窗口内的初级图像的多个像素。用于生成特定的次级图像的采样窗口的多个位置可以包括棋盘图案，其中每个采样窗口位置在x和y方向上均与其最近的采样窗口位置分开。可替代地，用于生成特定的次级图像的采样窗口的多个位置可以彼此连续(即，直接相邻并且不重叠)。用于生成第一次级图像的采样窗口的多个位置可以与用于生成同一源图像或目标图像的不同的第二次级图像的采样窗口的多个位置不同。例如，用于生成第一次级图像的棋盘图案可以与用于生成第二次级图像的棋盘图案相反。例如，用于生成第二次级图像的多个采样窗口位置可以与用于生成第一次级图像的多个位置偏移，例如沿对角线偏移。可以使用相同大小和形状的采样窗口，以生成用于次级图像的每个像素的像素值。可以使用相同大小和形状的采样窗口，以为同一源图像或目标图像的第一次级图像和第二次级图像的每个像素生成像素值。
发明人在本文中公开了一种方法，其中通过对初级图像进行采样来得出多个次级图像。初级图像可以对应于源图像或从源图像得出的图像(在此为“中间图像”)。确定全息图并针对每个次级图像显示全息图。因此，在重放平面上同时地或一个接一个地形成对应的多个全息重建。全息重建是在人眼的整合时间内形成的，因此观看者无法分辨出他们看到的投影图像是基于多个全息重建一个接一个地形成的和/或基于显示在多个相应显示区域或显示装置上的全息图形成的。因此，投影的图像看起来是源图像的忠实和完整的重建。由于采样技术的原因，每个次级图像的分辨率都可能低于初级图像。如果初级图像具有足够高的分辨率，则可以实现源图像的完整全息重建的期望分辨率。
根据一个方面，提供了一种全息投影仪，其中，全息投影仪被布置为投影目标图像。全息投影仪包括图像处理引擎，该图像处理引擎被布置为通过对从目标图像得出的初级图像进行采样来生成多个次级图像，其中每个次级图像可以包括比初级图像更少的像素。全息投影仪还包括：全息图引擎，其被布置为确定与每个次级图像相对应的全息图以形成多个全息图；以及显示引擎，其被布置为在显示装置上显示每个全息图。全息图可以依次显示在同一显示装置上和/或在不同的相应显示装置上和/或在共同的显示装置的不同的相应区或区域上。全息投影仪还包括光源，该光源布置成在显示期间照射每个全息图，以在重放平面上形成与每个次级图像相对应的全息重建。每个次级图像可以包括多个像素，该多个像素是基于采样窗口的多个位置处的初级图像的对应像素组计算出的，其中，次级图像的每个像素值可以基于对应的组计算出来，该对应的组包括在多个采样窗口位置中的相应一个采样窗口位置处初级图像落入采样窗口内的多个像素。用于生成第一次级图像的采样窗口的多个位置中的至少一些可以不同于用于生成第二不同次级图像的采样窗口的多个位置中的至少一些。
根据一个方面，提供了一种全息投影仪，其中，全息投影仪被布置为投影目标图像。全息投影仪包括图像处理引擎，该图像处理引擎被布置为通过对从目标图像得出的初级图像进行采样来生成多个次级图像，其中每个次级图像可以包括比初级图像更少的像素。全息投影仪还包括：全息图引擎，其布置为确定与每个次级图像相对应的全息图，以形成多个全息图；以及显示引擎，其布置为在一个或多个显示装置上显示每个全息图。全息图可以依次显示在同一显示装置上和/或在不同的相应显示装置上和/或在共同的显示装置的不同的相应区或区域上。全息投影仪还包括光源，该光源布置成在显示期间照射每个全息图，以在重放平面上形成与每个次级图像相对应的全息重建。每个次级图像包括多个像素，每个像素可以基于在采样窗口的多个相应位置处的初级图像的对应的像素组来计算。
根据该方面，采样可以包括通过分别加权初级图像的相应像素组的像素值来计算次级图像的每个像素的像素值，该相应像素组落在采样窗口的多个位置的一个相应位置处的采样窗口中，使得次级图像的每个像素与初级图像的相应像素组之间存在位置对应。第一组采样窗口位置可以用于计算第一次级图像，而第二组不同的采样窗口位置可以用于计算多个次级图像中的相应第二次级图像。第一组采样窗口位置可以相对于第二组采样窗口位置偏移，例如沿对角线偏移。相对于可以通过显示和照射与第二次级图像相对应的全息图而形成的第二全息重建，可以通过在重放平面上空间位移地显示和照明与第一次级图像相对应的全息图来形成第一全息重建，以使第一和第二全息重建交错。
根据一个方面，提供了一种全息投影仪，其中，该全息投影仪被布置为投影目标图像，该全息投影仪包括图像处理引擎，该图像处理引擎被布置为通过对从目标图像获得的初级图像进行采样来生成多个次级图像，其中每个次级图像可包含少于初级图像的像素。初级图像可以包括源图像或可以是从源图像得出的，其包括目标图像的放大版本。全息投影仪还可包括：全息图引擎，其布置为确定与每个次级图像相对应的全息图以形成多个全息图；以及显示引擎，其布置为在显示装置上显示每个全息图。全息图可以依次显示在同一显示装置上和/或在不同的相应显示装置上和/或在共同的显示装置的不同的相应区或区域上。全息投影仪还包括光源，该光源布置成在显示期间照射每个全息图，以在重放平面上形成与每个次级图像相对应的全息重建。
根据这个方面，每个次级图像可以包括多个像素，多个像素是基于在采样窗口的多个位置处的初级图像的对应像素组计算的，其中，采样包括基于初级图像的相应像素组(其落在采样窗口的多个位置的一个相应位置处的采样窗口中)计算次级图像的每个像素的像素值，使得所述次级图像的每个像素与初级图像的相应像素组之间存在位置对应。在目标图像的分辨率和源图像的分辨率之间可以存在第一比率，并且在每个次级图像的分辨率和源图像的分辨率之间可以存在第二不同比率。换一种说法，在与目标图像相对应的全息图中的像素数量和与源图像相对应的全息图中的像素数量之间可能存在第一比率，并且在与每个次级图像相对应的每个相应全息图中的像素数量和与源图像相对应的全息图中的像素数量之间存在第二不同比率。因此，可以实现目标图像的分辨率与一个或多个次级图像的分辨率之间的期望或要求的净比率。
本文描述的方法为该领域提供了重要的技术贡献。首先，改善了投影图像的质量。其次，增加了可更新投影图像的速度(即，帧速率)。第三，提供了一种更加灵活的全息投影仪。在以下各段中分别解释了这些技术贡献。
首先，本文公开的方法使得能够通过在不同时间或在不同的相应显示装置上(或在共同显示装置的不同的相应区或部分中)显示不同的图像像素使得能够管理像素串扰。更具体地，在不同时间或在不同的相应显示装置上(或在共同显示装置的不同的相应区或部分中)显示不同组的像点。例如，在第一时间形成的第一全息重建(对应于第一次级图像)可以包括图像帧的第一组图像像素(例如，每隔一个图像像素或通过在第一多个采样窗口位置处对初级图像进行采样而形成的像素)，并且在第二时间形成的第二全息重建(对应于第二次级图像)可以通过显示包含剩余图像像素(或通过在不同的第二多个采样窗口位置处对初级图像进行采样而形成的像素)的第二组来填充图像帧的间隙。由于第一组和第二组(例如，相邻像素组)的图像像素不同时显示，因此减少了像素间干扰和像素串扰。发明人因此公开了一种(在时间和/或空间上)交错多个全息重建以通过管理像素串扰来改善图像质量。
在本公开中，通过以多种不同方式对高分辨率源图像进行采样以获得相应的多个次级图像来实现新方法。因此，可以通过“放大”目标图像以形成源图像，并对源图像或基于源图像的中间图像进行采样，同时管理像素串扰，来实现交错的全息重建的期望分辨率。
其次，发明人在这里公开了适用于实时(即视频速率)处理的方法。具体而言，可以在视频的帧时间内确定并显示全息图。由于每个次级图像可能比源图像具有更少的像素，因此可以实现此技术贡献。尽管重建每个源图像需要更多的全息图，但是当次级图像的像素少于源图像时，可以更快地确定每个单独的全息图。例如，与计算包括2x的像素的一个全息图相比，使用傅立叶变换法计算包含x像素的两个全息图更快。因此，发明人已经公开了一种增加计算与源图像相对应的全息图的速度以使得能够以可接受的视频帧速率进行全息投影的技术。
从以下详细描述中将进一步领会本文公开的新方法的这些和其他优点。
术语“目标图像”在本文中用于指代本文描述的全息系统的输入。即，目标图像是全息系统需要投影到全息重放平面上的图像。目标图像可以是图像序列(例如图像的视频速率序列)中的一个图像。
术语“源图像”在本文中用于指代从目标图像得出的图像。源图像可以与目标图像相同，或者源图像可以是目标图像的放大版本。即，源图像可以包括比目标图像更多的像素。可以采用任何放大技术。在一些实施例中，如详细描述中所描述的，放大包括重复目标图像的像素值。在这些实施例中，计算引擎可以使用简单的映射方案来表示重复。
本文中使用的术语“翘曲”是指图像被光学系统(例如，光学中继系统)的光学器件所畸变的过程，该光学系统用于对全息重建成像。光学系统可包括具有不均匀光焦度的元件。“翘曲图”是一种数学函数或映射方案，其描述/定义了光学系统将如何改变(例如使图像失真)图像。具体地，翘曲图描述了光学系统如何改变(例如位移/平移)图像的离散点(例如像素或像素区域)。本文公开的全息系统可以使用翘曲图来预料/建模/预测将发生的翘曲。本文公开的一些技术需要翘曲图(或成对的翘曲图，例如x和y翘曲图)，但是确定/计算翘曲图的过程与本文公开的发明无关，但是示例是简要概述以帮助读者。在光学系统对每个全息重建成像并且在眼动范围(eye-box)区域内可见每个图像的示例中，1可以为多个眼动范围位置定义翘曲图对。
本文中，术语“初级图像”用于指代(1)源图像或(2)从源图像得出的中间图像。在实施例的描述中，术语“中间图像”在本文中用于指代根据翘曲图从源图像得出的图像。具体地，术语“中间图像”在本文中用于指代源图像的翘曲版本，即，使用翘曲图或一对翘曲图进行翘曲之后的源图像，其中，翘曲图表征由对应的光学系统所引起的失真。
本文中，术语“次级图像”用于指代从初级图像得出的多个图像之一。通过对初级图像进行子采样(也称为“采样”，也可以称为“欠采样”)形成每个次级图像。每个次级图像可以包括比源图像更少的像素。可选地，可以使用如详细描述中所述的加权技术，基于初级图像的几个像素值计算出次图像的每个像素值。值得注意的是，用于从目标图像形成源图像的放大过程与用于从初级图像形成每个次级图像的子采样技术不同。次级图像均与初级图像不同，但是，可选地，它们可以具有与初级图像相同的像素数或更多的像素。如果次级图像的像素少于源图像的像素，则次级图像的像素可包括来自源图像的每个像素的贡献。计算与每个次级图像相对应的全息图。
术语“全息图”用于指包含关于对象的振幅信息或相位信息或其某种组合的记录。术语“全息重建”用于指代通过照射全息图而形成的对象的光学重建。术语“重放平面”在本文中用于指代全息重建被完全形成的空间中的平面。本文使用术语“重放场”来指代重放平面的子区域，该子区域可以接收来自空间光调制器的空间调制光。术语“图像”、“重放图像”和“图像区域”指的是由形成全息重建的光照射的重放场的区域。在实施例中，“图像”可以包括离散斑点，其可以被称为“图像像素”。
术语“编码”、“写入”或“寻址”用于描述为SLM的多个像素提供分别确定每个像素的调制水平的相应多个控制值的过程。可以说，SLM的像素被配置为响应于接收到多个控制值而“显示”光调制分布。因此，可以说SLM“显示”了全息图。
已经发现，可以由仅包含与原始对象有关的相位信息的“全息图”来形成可接受质量的全息重建。这样的全息记录可以被称为纯相位全息图。实施例涉及纯相位全息图，但是本公开同样适用于纯振幅全息图。
本公开也同样适用于使用与原始对象有关的振幅和相位信息来形成全息重建。在一些在实施例中，这是通过使用所谓的完全合成全息图的合成调制来实现的，该全息图包含与原始对象有关的振幅和相位信息。因为分配给全息图的每个像素的值(灰度级)具有振幅和相位分量，所以这种全息图可以被称为全复合全息图。分配给每个像素的值(灰度级)可以表示为具有振幅和相位分量的复数。在一些实施例中，计算完全复合的计算机生成全息图。
可以参考相位值、相位分量、相位信息，或者简单地参考计算机生成全息图或空间光调制器的像素的相位，作为“相位延迟”的简写。即，所描述的任何相位值实际上是代表该像素提供的相位延迟量的数字(例如，在0至2π的范围内)。例如，描述为具有相位值π/2的空间光调制器的像素会将接收光的相位改变π/2弧度。在一些实施例中，空间光调制器的每个像素可在多个可能的调制值(例如，相位延迟值)之一中操作。术语“灰度级”可以用来指多个可用的调制级。例如，术语“灰度级”可以为了方便而用于指代纯相位调制器中的多个可用相位级，即使不同的相位级不提供不同的灰色阴影。为了方便起见，术语“灰度级”也可以用来指复合调制器中的多个可用复合调制水平。
尽管可以在下面的详细描述中分别公开不同的示例和实施例，但是任何示例或实施例的任何特征可以与任何示例或实施例的任何其他特征或特征的组合相结合。即，设想了本公开中公开的特征的所有可能的组合和置换。
附图说明
仅参考以下附图以示例的方式描述具体实施例：
图1是示出在屏幕上产生全息重建的反射式SLM的示意图；
图2A示出了示例Gerchberg-Saxton类型算法的第一迭代；
图2B示出了示例Gerchberg-Saxton类型算法的第二迭代和后续迭代；
图2C示出了示例Gerchberg-Saxton类型算法的第二迭代和后续迭代；
图3是反射式LCOS SLM的示意图；
图4示出了根据实施例的基于从源自用于全息投影仪进行投影的源图像的相应次级图像确定一对全息图的示例技术；
图5示出了根据实施例的，基于图4的示例技术的概括，通过顺序地显示一对全息图而产生的全息重建；
图6显示了示例源图像；
图7A示出了根据实施例的用于对图6的源图像进行采样以得出第一次级图像的示例技术；
图7B示出了根据实施例的用于对图6的源图像进行采样以得出相对于第一次级图像沿对角线偏移的第二次级图像的示例技术；
图8示出了在图7A和7B的采样技术中使用的示例内核；
图9示出了根据实施例的通过显示针对图7A和7B的相应的第一和第二次级图像确定的第一和第二全息图而形成的沿对角线偏移的第一和第二次交错的全息重建；
图10A示出了示例源图像；
图10B示出了示例的翘曲(warped)图像，称为中间图像；
图11A示出了根据实施例的对图10B的中间图像的采样以确定第一次级图像，并且图11B示出了第一次级图像；
图12示出了图11A的一部分的放大图；
图13A示出了根据实施例的对图10B的中间图像的采样以确定第二次级图像，并且图13B示出了第二次级图像；
图14示出了示例位移图；
图15示出了另一示例位移图；
图16A和图16B示出了根据一些实施例的用于投影的目标图像和目标图像的放大版本；
图17A示出了对放大的目标图像进行子采样的棋盘化方法；
图17B和17C示出棋盘格的不同区域是如何通过成像全息重放场的光学系统的光学器件来翘曲的；
图18示出了根据一些实施例的用于子采样的采样窗口
图19是示出根据实施例的全息投影仪的示意图。
在整个附图中将使用相同的附图标记指代相同或相似的部件。
具体实施方式
本发明不限于下面描述的实施例，而是延伸到所附权利要求的全部范围。也就是说，本发明可以以不同的形式实施，并且不应该被解释为限于所描述的实施例，这些实施例是为了说明的目的而阐述的。
除非另有说明，否则单数形式的术语可以包括复数形式。
被描述为形成在另外的结构的上部/下部或者在其他结构之上/之下的结构应当被解释为包括结构彼此接触的情况，并且此外包括第三结构设置在它们之间的情况。
在描述时间关系时，例如，当事件的时间顺序被描述为“之后”，“后续”，“下一个”，“之前”等时，除非另有说明，否则本公开应当被认为包括连续和非连续事件。例如，除非使用“就在”、“立即”或“直接”等措辞，否则描述应理解为包括不连续的情况。
虽然术语“第一”，“第二”等可以在此用于描述各种元素，但这些元素不受这些术语的限制。这些术语仅用于区分一种元素和另外的种元素。例如，在不脱离所附权利要求的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。
不同实施例的特征可以部分或全部彼此耦合或组合，并且可以彼此不同地相互操作。一些实施例可以彼此独立地执行，或者可以以相互依赖的关系一起执行。
光学配置
图1示出了一个实施例，其中计算机生成全息图被编码在单个空间光调制器上。计算机生成全息图是用于重建的对象的傅里叶变换。因此，可以说全息图是对象的傅里叶域或频域或谱域表示。在该实施例中，空间光调制器是反射式硅基液晶“LCOS”设备。全息图被编码在空间光调制器上，并且全息重建形成于重放场上，例如如屏幕或漫射体的光接收表面上。
光源110，例如激光器或激光二极管，被设置成通过准直透镜111照射SLM 140。准直透镜使得光的总体上平面的波前入射到SLM上。在图1中，波前的方向是偏离法线的(例如，偏离与透明层平面真正正交两到三度)。然而，在其他实施例中，总体上平面的波前以垂直入射提供，并且分束器布置被用于分离输入和输出光学路径。在图1所示的实施例中，该布置使得来自光源的光从SLM的镜射后表面反射，并与光调制层相互作用以形成出射波前112。出射波前112被应用于包括傅里叶变换透镜120的光学器件，其焦点在屏幕125上。更具体地，傅里叶变换透镜120接收来自SLM 140的调制光束，并执行频率空间变换以在屏幕125上产生全息重建。
值得注意的是，在这种全息术中，全息图的每个像素都有助于整个重建。重放场上的特定点(或图像像素)和特定光调制元件(或全息像素)之间没有一对一的相关性。换句话说，离开光调制层的调制光在整个重放场上分布。
在这些实施例中，全息重建在空间中的位置由傅里叶变换透镜的屈光(聚焦)度决定。在图1所示的实施例中，傅里叶变换透镜是物理透镜。即，傅里叶变换透镜是光学傅里叶变换透镜，并且傅里叶变换是光学地执行的。任何透镜都可以充当傅里叶变换透镜，但是透镜的性能会限制其执行傅里叶变换的精度。本领域技术人员理解如何使用透镜来执行光学傅里叶变换。
全息图计算
在一些实施例中，计算机生成全息图是傅里叶变换全息图，或者简单地是傅里叶全息图或基于傅里叶的全息图，其中通过利用正透镜的傅里叶变换特性在远场中重建图像。傅里叶全息图是通过将重放平面中的所需光场傅里叶变换回透镜平面来计算的。可以使用傅里叶变换来计算计算机生成的傅里叶全息图。
傅里叶变换全息图可以使用诸如Gerchberg-Saxton算法的算法来计算。此外，Gerchberg-Saxton算法可用于从空间域中的纯振幅信息(例如照片)计算傅里叶域中的全息图(即傅里叶变换全息图)。从空间域中的纯振幅信息中有效地“检索”与对象相关的相位信息。在一些实施例中，使用Gerchberg-Saxton算法或其变体从纯振幅信息计算计算机生成全息图。
Gerchberg-Saxton算法考虑了分别在平面A和平面B中的光束的亮度截面IA(x,y)和IB(x,y)是已知的并且IA(x,y)和IB(x,y)通过单个傅里叶变换相关的情况。对于给定的亮度截面，找到了分别在平面A和平面B中的相位分布ΨA(x,y)和ΨB(x,y)的近似值。Gerchberg-Saxton算法通过遵循迭代过程找到这个问题的解决方案。更具体地说，Gerchberg-Saxton算法迭代地应用空间和频谱约束，同时在空间域和傅里叶(频谱或频率)域之间重复传输代表IA(x,y)和IB(x,y)的数据集(振幅和相位)。通过算法的至少一次迭代获得频谱域中相应的计算机生成全息图。该算法是收敛的，并且被布置成产生表示输入图像的全息图。全息图可以是纯振幅全息图，纯相位全息图或完全复合的全息图。
在一些实施例中，使用基于Gerchberg-Saxton算法的算法来计算纯相位全息图，例如在英国专利2,498,170或2,501,112中描述的算法，在此通过引用将其全部并入。然而，这里公开的实施例仅通过示例的方式描述了计算纯相位全息图。在这些实施例中，Gerchberg-Saxton算法检索数据集的傅里叶变换的相位信息Ψ[u,v]，该相位信息产生已知的振幅信息T[x,y]，其中振幅信息T[x,y]代表目标图像(例如照片)。由于幅度和相位在傅里叶变换中本质上是结合在一起的，所以变换后的幅度和相位包含关于计算数据集的精度的有用信息。因此，可以迭代地使用该算法，同时反馈幅度和相位信息。然而，在这些实施例中，只有相位信息Ψ[u,v]被用作全息图，以在图像平面上形成代表目标图像的全息图。全息图是相位值的数据集(例如2D阵列)。
在其他实施例中，基于Gerchberg-Saxton算法的算法被用于计算完全复合全息图。完全复合全息图是具有幅度分量和相位分量的全息图。全息图是包括复合数据值阵列的数据集(例如2D阵列)，其中每个复合数据值包括幅度分量和相位分量。
在一些实施例中，该算法处理复合数据，并且傅里叶变换是复合傅里叶变换。复合数据可以被认为包括(i)实数分量和虚数分量，或者(ii)幅度分量和相位分量。在一些实施例中，复合数据的两个分量在算法的不同阶段被不同地处理。
图2A示出了根据一些实施例的用于计算纯相位全息图的算法的第一次迭代。算法的输入是包括像素或数据值的2D阵列的输入图像210，其中每个像素或数据值是幅度或振幅值。即，输入图像210的每个像素或数据值不具有相位分量。因此，输入图像210可以被认为是纯幅度或纯振幅或纯亮度分布。这种输入图像210的一个示例是照片或包括帧的时间序列的一个视频帧。该算法的第一次迭代从数据形成步骤202A开始，包括使用随机相位分布(或随机相位种子)230将随机相位值分配给输入图像的每个像素，以形成起始复合数据集，其中该集合的每个数据元素包括幅度和相位。可以说，起始复合数据集代表空间域中的输入图像。
第一处理块250接收起始复合数据集，并执行复合傅里叶变换以形成傅里叶变换的复合数据集。第二处理块253接收傅里叶变换的复合数据集并输出全息图280A。在一些实施例中，全息图280A是纯相位全息图。在这些实施例中，第二处理块253量化每个相位值并将每个振幅值设置为1，以便形成全息图280A。每个相位值根据可以在将用于“显示”纯相位全息图的空间光调制器的像素上表示的相位级来量化。例如，如果空间光调制器的每个像素提供256个不同的相位级，全息图的每个相位值被量化成256个可能相位级中的一个相位级。全息图280A是代表输入图像的纯相位傅里叶全息图。在其他实施例中，全息图280A是完全复合的全息图，包括从接收的傅里叶变换的复合数据集得出的复合数据值阵列(每个包括振幅分量和相位分量)。在一些实施例中，第二处理块253将每个复合数据值约束为多个允许的复合调制级别之一，以形成全息图280A。约束步骤可以包括将每个复合数据值设置为复合平面中最接近的允许复合调制级别。可以说全息图280A代表频谱域或傅里叶域或频率域中的输入图像。在一些实施例中，算法在这一点上停止。
然而，在其他实施例中，该算法继续，如图2A中的虚线箭头所示。换句话说，图2A中虚线箭头后面的步骤是可选的(即，不是所有实施例都必须的)。
第三处理块256从第二处理块253接收修改后的复合数据集，并执行傅里叶逆变换以形成傅里叶逆变换的复合数据集。可以说，傅里叶逆变换的复合数据集代表空间域中的输入图像。
第四处理块259接收傅里叶逆变换的复合数据集，并提取幅度值分布211A和相位值分布213A。可选地，第四处理块259评估幅度值的分布211A。具体而言，第四处理块259可以将傅里叶逆变换的复合数据集的幅度值分布211A与输入图像510进行比较，输入图像510本身当然是幅度值的分布。如果幅度值211A分布和输入图像210之间的差异足够小，则第四处理块259可以确定全息图280A是可接受的。也就是说，如果幅度值分布211A和输入图像210之间的差异足够小，则第四处理块259可以确定全息图280A足够精确地代表输入图像210。在一些实施例中，为了比较的目的，忽略傅里叶逆变换的复合数据集的相位值分布213A。应当理解，可以采用任何数量的不同方法来比较幅度值分布211A和输入图像210，并且本公开不限于任何特定方法。在一些实施例中，计算均方差，并且如果均方差小于阈值，全息图280A被认为是可接受的。如果第四处理块259确定全息图280A不可接受，则可以执行算法的进一步迭代。然而，该比较步骤不是必需的，并且在其他实施例中，所执行的算法的迭代次数是预定的或预设的或用户定义的。
图2B代表算法的第次级迭代和算法的任何进一步迭代。前一次迭代的相位值分布213A通过算法的处理块被反馈。拒绝幅度值分布211A，而优先考虑输入图像210的幅度值分布。在第一次迭代中，数据形成步骤202A通过将输入图像210的幅度值分布与随机相位分布230相结合来形成第一复合数据集。然而，在第二级和随后的迭代中，数据形成步骤202B包括通过将(i)来自算法的前一次迭代的相位值分布213A与(ii)输入图像210的幅度值分布相结合来形成复合数据集。
由图2B的数据形成步骤202B形成的复合数据集然后以参考图2A描述的相同方式被处理，以形成第二迭代全息图280B。因此，这里不再重复对该过程的解释。当已经计算出第二迭代全息图280B时，该算法可以停止。然而，可以执行算法的任何数量的进一步迭代。应当理解，只有当需要第四处理块259或者需要进一步迭代时，才需要第三处理块256。输出全息图280B通常随着每次迭代而变得更好。然而，在实践中，通常达到一个点，在该点上没有观察到可测量的改进，或者执行进一步迭代的积极益处被额外处理时间的负面影响抵消。因此，该算法被描述为迭代和收敛的。
图2C表示第二级和后续迭代的替代实施例。前一次迭代的相位值分布213A通过算法的处理块被反馈。拒绝幅度值分布211A，而优先考虑幅度值的替代分布。在该替代实施例中，从前一次迭代的幅度值分布211中得出幅度值的替代分布。具体地，处理块258从前一次迭代的幅度值分布211中减去输入图像210的幅度值分布，将该差值缩放增益因子α，并从输入图像210中减去缩放后的差值。这由以下等式数学表示，其中下标文本和数字表示迭代次数：
Rn+1[x,y]＝F'{exp(iψn[u,v])}
ψn[u,v]＝∠F{η·exp(i∠Rn[x,y])}
η＝T[x,y]-α(|Rn[x,y]|-T[x,y])
其中:
F’是傅里叶逆变换；
F是正向傅里叶变换；
R[x,y]是由第三处理块256输出的复合数据集；
T[x,y]是输入或目标图像；
∠是相位分量；
Ψ是纯相位全息图280B；
η是新的幅度值分布211B；和
α是增益因子。
增益因子α可以是固定的或可变的。在一些实施例中，增益因子α是基于传入目标图像数据的大小和速率来确定的。在一些实施例中，增益因子α取决于迭代次数。在一些实施例中，增益因子α仅是迭代次数的函数。
图2C的实施例在所有其他方面与图2A和图2B的实施例相同。可以说，纯相位全息图Ψ(u,v)包括频域或傅里叶域中的相位分布。
在一些实施例中，通过将透镜数据包括在全息图数据中在计算上来执行傅里叶变换。也就是说，全息图包括表示透镜的数据和表示对象的数据。在这些实施例中，可以省略图1的物理傅里叶变换透镜120。在计算机生成全息图的领域中，如何计算代表透镜的全息数据是已知的。代表透镜的全息数据可以被称为软件透镜。例如，可以通过计算由于其折射率和空间变化的光程长度而由透镜的每个点引起的相位延迟来形成纯相位透镜。例如，凸透镜中心的光程长度大于透镜边缘的光程长度。纯振幅透镜可以由菲涅耳波带片形成。在计算机生成全息图的领域中，已知如何将代表透镜的全息数据与代表对象的全息数据相结合，使得傅里叶变换可以在不需要物理傅里叶透镜的情况下执行。在一些实施例中，透镜数据通过简单的加法如简单的矢量加法与全息图结合。在一些实施例中，物理透镜与软件透镜结合使用来执行傅里叶变换。替代地，在其他实施例中，傅里叶变换透镜被完全省略，使得全息重建发生在远场中。在进一步的实施例中，全息图可以包括光栅数据，即是被布置来执行光栅函数(例如光束转向)的数据。同样，在计算机生成全息图的领域中知道如何计算这样的全息数据并且知道如何将其与代表对象的全息数据相结合。例如，可以通过为闪耀光栅表面上每个点引起的相位延迟建模来形成纯相位全息光栅。纯振幅全息光栅可以简单地与代表对象的纯振幅全息图叠加，以提供纯振幅全息图的角度转向。
在一些实施例中，傅里叶变换由物理傅里叶变换透镜和软件透镜共同执行。也就是说，有助于傅里叶变换的一些光焦度(optical power)由软件透镜提供，而有助于傅里叶变换的其余光焦度由一个或多个物理光学器件提供。
在一些实施例中，提供了实时引擎，该实时引擎被布置成接收图像数据并使用该算法实时计算全息图。在一些实施例中，图像数据是包括图像帧序列的视频。在其他实施例中，全息图是预先计算的，存储在计算机存储器中，并且根据需要被调用以显示在SLM上。也就是说，在一些实施例中，提供了预定全息图的储存库。
实施例仅作为示例涉及傅里叶全息术和Gerchberg-Saxton型算法。本公开同样适用于菲涅耳全息术和菲涅耳全息图，它们可以通过其他的技术计算，例如基于点云方法的技术。
光调制
空间光调制器可用于显示计算机生成全息图。如果全息图是纯相位全息图，则需要调制相位的空间光调制器。如果全息图是完全复合的全息图，可以使用调制相位和振幅的空间光调制器，或者可以使用调制相位的第一空间光调制器和调制振幅的第二空间光调制器。
在一些实施例中，空间光调制器的光调制元件(即，像素)是包含液晶的多个盒。也就是说，在一些实施例中，空间光调制器是液晶设备，其中光学活性部件是液晶。每个液晶盒被配置成选择性地提供多个光调制级别。也就是说，每个液晶盒在任一时间被配置成在从多个可能的光调制级别中选择的一个光调制级别下操作。每个液晶盒可动态地重新配置成与多个光调制级别不同的光调制级别。在一些实施例中，空间光调制器是反射式硅基液晶(LCOS)空间光调制器，但是本公开并不限制于这种类型的空间光调制器。
LCOS设备在小孔径(例如几厘米宽)内提供密集的光调制元件阵列或像素阵列。像素通常约为10微米或更小，这样会得到几度的衍射角，这意味着光学系统可以是紧凑的。与其他液晶设备的大孔径相比，更容易充分照射LCOS SLM的小孔径。LCOS设备通常是反射式的，这意味着驱动LCOS SLM的像素的电路可以埋在反射表面之下。这样得到较高的孔径比。换句话说，像素密集排列，意味着像素之间几乎没有死空间。这是有利的，因为它减少了重放场中的光学噪声。LCOS SLM使用硅背板，其优点是像素是光学平坦的。这对相位调制设备尤其重要。
下面参考图3，仅通过示例的方式描述合适的LCOS SLM。使用单晶硅基板302形成LCOS设备。它具有方形平面铝电极301的2D阵列，由间隙301a隔开，布置在基板的上表面上。每个电极301可以通过埋在基板302中的电路302a寻址。每个电极形成各自的平面镜。取向层303设置在电极阵列上，液晶层304设置在取向层303上。第二取向层305设置在例如玻璃的平面透明层306上。例如ITO的单个透明电极307设置在透明层306和第二取向层305之间。
每个电极301与透明电极307的足迹域和中间液晶材料一起限定可控相位调制元件308，通常称为像素。考虑到像素301a之间的空间，有效像素面积或填充因子是光学活性的总像素的一部分。通过相对于透明电极307控制施加到每个电极301的电压，可以改变各个相位调制元件的液晶材料的特性，从而为入射到其上的光提供可变延迟。其效果是为波前提供纯相位调制，即没有振幅效应发生。
所描述的LCOS SLM输出反射的空间调制光。反射式LCOS SLM的一个优点在于信号线、栅极线和晶体管位于镜面之下，这样得到高填充因子(通常大于90％)和高分辨率。使用反射式LCOS空间光调制器的另外一个优点是，液晶层的厚度可以是使用透射式设备时所需厚度的一半。这大大提高了液晶的切换速度(这是投影运动视频图像的关键优点)。然而，本公开的教导同样可以使用透射式LCOS SLM来实现。
从源图像生成多个全息图
以下实施例涉及特定技术，其可以包括：(1)根据目标图像计算源图像；(2)根据源图像确定初级图像；(3)根据初级图像确定多个次级图像；以及(4)计算与每个次级图像相对应的全息图。根据这些技术，计算与目标图像相对应的多个全息图。在一些实施例中(例如，目标图像具有足够高的分辨率)，源图像与目标图像相同。在一些实施例中(例如，忽略翘曲)，初级图像与源图像相同。步骤1可能包括放大。步骤3包括采样或子采样。放大和子采样过程是不同的-也就是说，它们不是彼此简单的反转或颠倒。因此，可以获得目标图像的分辨率与次级图像的分辨率之间的期望比率。
根据常规技术，计算与目标图像相对应的单个全息图。全息图以可以是HDMI帧的数据帧的形式被发送到空间光调制器的显示引擎。为图像确定的全息图的大小(即，全息图像素的数量)可以小于空间光调制器的大小(即，SLM像素的数量)。因此，在显示时，全息图可以仅占据SLM的表面区域的一部分(即，仅一些SLM像素)。在这种情况下，可以实现平铺引擎以根据平铺方案将全息图写入SLM的像素，以便使用更多的SLM像素。
在一些实施例中，用于投影的目标图像被“放大”以形成具有增加数量的像素的源图像。因此，提高了分辨率(就像素数而言)。图像的放大可以将像素数增加2的幂，因为像素数在x和y方向上都加倍。例如，图像可以在x和y方向上放大4倍。例如，每个单独的像素可以在放大图像中以4×4像素阵列(即具有相同像素值)被复制。结果，包括n×m像素阵列的图像被“放大”或“过采样”以获得形成图像的过采样或放大版本的4n×4m像素阵列。如下所述，过采样/放大的图像可以用作源图像。可以使用更复杂的放大目标图像的方法。
使用棋盘化进行子采样
图4示出了根据实施例的用于根据从初级图像得出的相应次级图像1和2来确定一对全息图H1和H2的示例技术。在本公开的这一部分中描述的实施例中，初级图像是源图像。为了简单起见，以下描述引用了源图像(而不是初级图像)。
参照图4，对包括4x8图像像素阵列的示例源图像(在图的顶部示出)进行处理(例如，通过图像处理引擎)以基于“棋盘”布局或图案生成一对次级图像1和2(在图的中间示出)。使用源图像的每隔一个图像像素以第一棋盘图案生成次级图像1，并用“零”填充其余像素。因此，次级图像1在位置(1，1)，(1，3)…(2，2)，(2，4)…(3，1)，(3，3)…和(4，2)…(4，8)处包括来自源图像的图像像素。使用源图像的与次级图像1相反或反转的图像像素生成次级图像2。因此，次级图像2是使用源图像的每隔一个图像像素以与第一棋盘图案相反(即，反转)的第二棋盘图案生成的，并用“零”填充其余像素。因此，次级图像2在位置(1，2)，(1，4)…(2，1)，(2，3)…(3，2)，(3，4)…和(4，1)…(4，7)处包括来自源图像的图像像素。然后(例如，通过全息图引擎)处理次级图像1和2中的每一个，以确定对应的全息图H1，H2(在图的底部示出)。可以使用任何合适的方法来计算全息图，例如上述算法。
图5示出了根据实施例的基于图4所示的示例技术的概括，通过顺序地显示全息图H1和H2而产生的全息重建。
特别地，图5以第一棋盘图案示出了通过次级图像1的第一全息图H1的第一全息重建而形成的像点的子集(显示在图的左侧)。图5以第二棋盘图案示出了对应于次级图像2的第二全息图H2的第二全息重建所形成的像点的子集(显示在图的中间)，该第二棋盘图案与第一棋盘图案相反或反转。通过使用第一个棋盘图案对源图像的像素(或像素组/像素簇)进行采样(例如，对奇数行中的奇数像素和偶数行中的偶数像素进行采样)来得出次级图像1，然后使其他(未采样)像素为零。通过使用第二个棋盘图案对源图像的像素(或像素组/像素簇)进行采样(例如，对奇数行中的偶数像素和偶数行中的奇数像素进行采样)来得出次级图像2，然后使其他(未采样)像素为零。图5进一步示出了通过在人眼的整合时间内依次形成第一和第二全息重建，呈现给观察者的组合的全息重建(在图的右侧示出)。
通过使用棋盘化方法，通过减少H1和H2中的全息像素数量，将图5所示的每个单独的全息重建的像点(或“图像像素”)之间的间距增加了一倍或两倍。可以说，每个全息重建的空间分辨率(重放场中像点的密度)降低了一倍或两倍。通过使用(例如添加)相位斜坡或软件光栅函数(如上所述)以将一个全息重建相对于另一个全息重建进行平移使得一个重建的像点填充另一个重建得像点之间的间隙，可以将两个全息重建及时地交织在一起。这是有利的，因为它有助于防止相邻像点之间的任何重叠(即，它减少或防止了“像素串扰”)。如上所述，相邻像点或图像像素的重叠会产生干扰，该干扰对于观看者来说是颗粒/噪声。通过对第一全息图H1和第二全息图H2的显示进行时间交织--依次形成第一全息重建和第二全息重建而不是同时形成第一全息重建和第二全息重建，可以使这种干扰最小化。
在实施例中，全息图H1和H2中的每一个可以以足够快的速度被顺序地写入到SLM上，并因此显示在SLM上，从而在人眼的整合时间内形成对应的全息重建。因此，观察其上形成有全息重建的重放场的观看者看到的是单个投影图像，而不是与一个接一个地形成的多个全息重建对应的动态变化的投影图像。因此，投影图像似乎是源图像的忠实和完整的重建。
或者，例如通过提供从每个SLM到全息重放平面的不同的相应光学路径，以使得对应的全息重建可以在全息图重放平面的公共区域中形成的布置，可以将全息图H1和H2基本上同时写入并因此显示在两个不同的相应的SLM上。因此，观察其上形成有全息重建的重放场的观看者看到的是单个投影图像，而不是对应于由不同的相应SLM形成的多个全息重建的两个单独的投影图像。因此，投影图像似乎是源图像的忠实和完整的重建。
如技术人员将理解的，尽管图4和图5示出了从源图像生成两个次级图像，但是有可能生成三个或更多个次级图像并计算相应的全息图。这可以使用通过增加源图像的采样图像像素(或像素组/像素群)之间的间隔(未采样像素数)从而增加棋盘图案的数量的“棋盘化”来实现。例如，可以使用三个棋盘图案(每个棋盘图案在每行中每隔两个像素进行采样)以从源图像生成三个次级图像，依此类推。
可以将上述棋盘化方法与用于从初级图像生成多个次图像的任何合适技术一起使用。下面提供了此类技术的示例。
利用内核进行子采样
图6至图9示出了使用所谓的“内核”来生成次级图像的技术。特别地，内核被用于对高分辨率图像的像素进行直接采样(或“子采样”)以得出多个次级图像。在本公开的该部分中描述的实施例中，每个次级图像包括的像素少于源图像的像素。然而，可以想到其他实施例，其中使用采样来产生具有与源图像相同数量的像素或者甚至比源图像更多的像素的次级图像。在本公开的这一部分中描述的实施例中，初级图像也与源图像相同。为了简单起见，以下描述引用了源图像(而不是初级图像)。
图6示出了高分辨率源图像的示例，其可以是由全息投影仪投影的放大的“目标图像”，如下面参考图16A和16B所描述的。特别地，源图像600包括像素P的n×m阵列，包括n行和m列。阵列中像素的数目具有比由全息投影仪投影的图像(全息重建)的期望分辨率更高的分辨率。例如，源图像可以具有期望分辨率的最小2倍，例如期望分辨率的4倍或8倍。以此方式，如下所述，当执行采样(子采样)时，即使与高分辨率源图像相比分辨率降低，源图像的全息再现也具有期望的分辨率。因此，可以说对目标图像进行“过采样”或“放大”以生成源图像，然后对源图像进行“采样”或“子采样”以获得图像(全息重建)的期望的净分辨率。根据图6至9，使用内核执行采样。
图7A示出了用于对图6的源图像进行采样以得出第一次级图像的示例技术，并且图7B示出了用于对图6的源图像进行采样以得出第二次级图像的示例技术，该第二次级图像相对第一次级图像沿对角线偏移。
参照图7A，使用所谓的“内核”对源图像700进行采样以得出第一次级图像750A。内核可被视为移动采样窗口。图8示出了通用内核800和示例的特定内核800'。在所示的示例中，内核包括用于4x4像素阵列(像素组)的采样窗口。根据当前公开的方法，内核充当用于从源图像的像素生成一个或多个次级图像的采样窗口。对于要被生成的每个次级图像，将内核增量移动到一系列采样窗口位置，这些位置覆盖源图像的连续(即相邻且不重叠)4x4像素阵列/像素组。可以说内核在源图像的连续4x4像素阵列上操作。对于每个连续的采样窗口位置，内核进行操作以为次级图像750A确定单个的子采样像素值A，其代表在其当前位置源图像在4x4采样窗口内的16个像素值P。在源图像内的采样窗口位置(它会产生一个特定的像素值)与在次级图像中被分配了该像素值的像素的位置之间存在对应关系。
作为非限制性示例，图7A(图的顶部)示出了在第一采样窗口位置710A处由内核采样的源图像的像素P11至P44，第一采样窗口位置710A覆盖从像素P11开始的4x4像素阵列(源图像的左上方)。在该第一采样窗口位置处，该阵列中的16个像素用于得出子采样图像(次级图像，图的底部)左上角的像素值A11。在此示例中，源图像上有12个连续的采样窗口位置。
内核可以基于将源图像的4x4像素阵列中16个像素中的每个像素的像素值P根据相应像素的内核权重K加权，在采样窗口位置确定次级图像的像素的像素值A，如下所述。因此，内核在每个采样窗口位置处进行操作，以确定多个对应的像素值，从而得出采样的(例如，子采样的)次级图像750A。在图7A中，采样图像750A包括以像素A的3×4阵列布置的12个像素，其中每个像素值A对应于源图像上的12个连续采样窗口位置之一。
图8示出了示例内核800'，其包括可以在图7A中使用的用于4×4像素阵列的采样窗口。
内核800是用于4x4像素阵列采样窗口大小(即4x4像素阵列内核大小)的通用内核。内核800包括4×4的内核像素阵列，每个内核像素定义用于采样窗口中源图像的4×4像素的对应像素的像素值P的权重K。在每个采样窗口位置处，(针对次级图像的)子采样像素值A可以被确定为(来自源图像的)内核加权的像素值P的平均值。因此，内核800定义与在第一采样窗口位置处源图像的像素值P11至P44相对应的内核权重K11至K44，并且欠采样图像的像素值A11被确定为1/16x((K11 x P11)+(K22 x P22)+..(K44 x P44))。
内核800'示出了通用内核800的示例，其在示例实施例中为像素内核定义了内核权重K。特别地，内核中心的内核像素的权重为“3”，而内核外围的内核像素的权重为“1”。因此，源图像的内部采样像素(即，采样窗口的中心处的像素)的像素值P具有比源图像的外部采样像素的像素值P更高的权重。如本领域技术人员将理解的，根据应用要求，内核权重值的许多变化是可能的。另外，可以根据应用需求选择与采样窗口相对应的任何内核形状和大小(排列、宽高比和内核像素数)。例如，可以选择内核权重以获得最佳的抗锯齿结果。
参照图7B，使用与上述图7A中的采样相同的内核对源图像700进行采样，以得出第二次级图像750B。因此，源图像700的连续的4×4像素阵列在连续的采样窗口位置处被欠采样。然而，用于得出第二次级图像750B的采样窗口位置与图7A中用于得出第一次级图像750A的采样窗口位置沿对角线偏移，但是部分重叠。特别地，在图7B中，第一采样窗口位置710B沿对角线偏移2x2像素位置(即，每个方向上两个像素)，使得其与图7A的第一采样窗口位置710A的右下象限2x2像素位置重叠。因此，图7B(图的顶部)显示了内核在第一采样窗口位置710B处从像素P33(源图像的左上角偏移2x2像素)开始采样的源图像的像素P33至P66，以得出包括像素B11至B34的子采样图像(次级图像)的像素值B11(图的底部)。
因此，通过使用采样方案(包括4×4阵列内核像素的内核)对源图像进行采样来生成与源图像相对应的多个次级图像。每个次级图像可以包括比源图像更少的像素。每个次级图像的每个像素可以包括源图像内的来自多个像素的贡献(例如可以包括多个像素的像素值的加权平均值)。此外，在图7A和7B所示的示例中，每个次级图像具有与各个其他次级图像中的每个次级图像相同数目的像素(3×4像素阵列)。为多个次级图像中的每个次级图像确定全息图，并且将每个全息图显示在显示装置上，以在重放平面上形成与每个次级图像相对应的全息重建。全息图可以由公共设备(即，由同一设备)依次显示，或者可以由两个不同的相应显示装置或在同一显示装置的两个分别不同的区或区域上基本上同时显示。
如上所述，当依次显示全息图时，在人眼的整合时间内在显示装置上依次显示多个全息图中的每一个，从而在重放平面上对其全息重建进行“交错”，并且看起来是对源/目标图像的忠实而完整的重建。
为了提高在重放场上感知到的全息重建的分辨率，相对于第一全息图的全息重建，第二全息图的全息重建在重放平面上在空间上移位。特别地，通过显示第一全息图和第二全息图而形成的全息重建之间的空间位移包括对角线偏移，使得第二全息重建的像点填充在第一全息重建的像点之间的间隙中。该技术在本文中被称为“对角交错”。在一些实施例中，这是通过向至少一个全息图添加相位斜坡(以上也称为光栅函数)以在重放平面上在空间上移位相应的重放场来实现的。
图9示出了通过使用对角交错依次显示第一全息图和第二全息图而形成的由观看者所看到的在重放平面上的组合的/整合的全息重建。特别地，图9包括通过显示从第一次级图像获得的第一全息图而形成的第一全息重建的像点(显示为空圈)，以及通过显示从第二次级图像得出的第二全息图而形成的第二全息重建的像点(显示为阴影圆圈)。相对于第一全息重建的像点，第二全息重建的像点在重放平面上以通过箭头X表示的对角线偏移在空间上位移。可以说第一全息重建和第二全息重建彼此沿对角线偏移。特别地，第二全息重建相对于第一全息重建在空间上沿对角线方向(例如45度)放置，并且以一定距离放置从而使得第二全息重建的像点填充在第一全息重建的像点之间的间隙中。例如，如图9所示，第二全息重建的每个像点位于第一全息重建的多达4个像点之间的中央。因此，在重放平面上的组合/整合全息重建具有增加的像素密度(重放场中的像点的数量)。
如本领域技术人员将理解的，可以通过控制显示装置以改变重放场的位置来实现第一全息重建和第二全息重建的对角线位移。这可以使用已知的技术来实现，该技术用于改变重放场在重放平面上的位置(例如，使用x和y相位斜坡)，有时被称为“波束转向”。选择每个方向上的位移量以对应于第一和第二次级图像之间的位移。
因此，提供了一种简单的技术，用于与源图像相对应的多个全息重建的“对角交错”，其中每个全息重建具有像点的棋盘图案。与对应于源图像的单个全息重建相比，每个全息重建具有更少的像点，并且因此具有更低的像点密度/分辨率，并且每个全息重建在不同的时间和/或通过不同的显示装置或通过在共同显示装置内的不同的区或区域来显示。这减少了像素间干扰和像素串扰的问题。此外，由于通过在重放平面上移动重放场而使得各全息重建的像点沿对角线发生位移，从而一个全息重建的像点填充了另一全息重建的像点之间的棋盘图案中的间隙，因此组合/整合的全息重建具有比单个全息重建中的任一个/任何一个更高的像点密度，因而具有更高的分辨率。
使用翘曲校正对中间图像进行子采样
图10至图15示出了用于生成次级图像的替代技术。该技术对源自高分辨率源图像的初级图像的像素进行采样(或“子采样”)，以补偿所谓的“翘曲”。采样过程得出多个次级图像，因此每个次级图像都可以包含比初级图像更少的像素。为了避免疑问，在本公开的此部分描述的实施例中，初级图像与源图像不同。初级图像是根据翘曲图或翘曲图对(例如x和y)从源图像得出的中间图像。
图10A示出了包括16个像素的示例源图像。如以下参考图16A和16B所描述的，源图像可以是用于投影的目标图像的放大版本。在某些系统中，例如平视显示器，会形成全息重建的图像(例如虚拟图像)。在平视显示器的示例中，可以从所谓的眼动范围观看全息重建的图像，该眼动范围是在其中可以看到图像的空间区域。重放场的图像可以由光学系统形成，例如光学中继系统，其可以包括具有光焦度的光学器件和/或图像组合器。由光学系统形成的图像可能会失真。可以通过考虑每个像素的单独位移(x和y)来对失真建模。在诸如平视显示器的实际应用中，这种失真可能是由从重放平面到眼动范围的光学路径中的放大光学器件、自由形式光学器件、挡风玻璃等引起的。这种效应被称为“翘曲”。
通常，图像预处理用于补偿翘曲效应。特别地，源图像被预失真(使用例如抗翘曲图)以补偿已知/测得的翘曲效应。因此，源图像的预处理版本被投影，其中该预处理图像或“抗翘曲图像”有效地包括了具有与翘曲效应相反效应的失真(例如，移位的像素)。
图10B示出了根据本公开的中间图像的示例，其中，中间图像是通过使源图像翘曲而形成的。如图10B中所示，这16个图像像素中的每一个的位置，与图10A中的源图像中它们各自的位置相比，在x-y平面中发生了平移。可以通过建立由翘曲引起的x和y方向的平移来确定中间图像中像素的位置。这可以通过以下来确定，即通过计算的从眼动范围回到重放平面的射线追踪，或通过使用摄像头在眼动范围处测量现实世界中的位移并将结果内插(如下文中与翘曲图相关的描述)。
在本公开的这部分中描述的实施例中，如图10B所示的翘曲图像(即，中间图像，而不是源图像或目标图像)被采样(例如，子采样)以生成多个次级图像。如之前的技术中那样，用于生成第一和第二次级图像的采样过程包括具有部分重叠的对角线偏移，如下所述。用于计算全息图的次级图像有效地补偿了光学系统原本会在源图像上产生的翘曲效应，因为次级图像是从中间图像(即，翘曲图像)而非源图像计算而来的。因此，除了如上所述的“对角交错”的优点之外，该技术还具有同时补偿由布置成将全息重建成像在重放平面上的光学中继系统引起的翘曲的附加优点。
参照图11A，使用一组四个对称布置的圆形采样窗口对图10B的翘曲图像进行采样，在所示布置中，圆形采样窗口覆盖整个翘曲图像以确定第一次级图像的像素值。在该示例中，每个次级图像仅具有2×2像素，但是本领域技术人员将理解，该方法可以按比例放大到任意数量的像素。每个采样窗口对应于子采样图像的单个像素。因此，在该示例中的采样将像素数量从(在源图像和中间图像中的)16个减少到(在每个次级图像中的)4个。图11B示出了第一次级图像，其包括具有从图11A中所示的采样得出的像素值C11，C12，C21，C22的四个像素。图12示出了对应于图11A的左上圆的第一采样窗口的放大图。第一采样窗口对具有像素值P1，P2，P5，P6和P9的五个不等距像素的组进行采样。如图11A所示，其他采样窗口对不同数量的不等距像素的组进行采样。在所示的示例中，假设每个像点的强度具有高斯分布。
因此，根据高斯分布，“内部像素”(即位于采样窗口的中心附近)的像素值P具有较高的权重(例如“5”)，而“外部像素”(即位于采样窗口的边缘附近)的像素值P具有较低的权重(例如“1”)。因此，可以计算次级图像的单个子采样像素值C11，其代表第一采样窗口内的翘曲图像的像素。例如，像素值C11可以被计算为像素值P1，P2，P5，P6和P9的函数，例如加权像素值P1，P2，P5，P6和P9的和或平均值。在一些实施例中，加权技术假设每个像素的强度根据高斯分布从采样窗口的中心减小。因此，该技术可以包括测量每个像素与采样窗口中心的距离，并基于该距离对分配给该像素的值进行加权(类似于内核方法)。例如，每个像素的灰度级可以乘以代表距离的因子(再次基于高斯分布)。如果距离小于阈值，则像素可以包括在采样窗口内。一些像素可以被包括在次级图像的一个以上像素的计算中。一些像素可以被包括在针对第一次级图像和第二次级图像的像素的计算中。所示的采样窗口是圆形的，但是可以采用其他形状。
图13A示出了对图10B的翘曲图像的采样以确定第二次级图像。特别地，使用与图11A中四个对称布置的圆形采样窗口(显示为圆形)的相同组对翘曲图像进行子采样。然而，用于得出第二次级图像的采样窗口组的位置与图11A中用来得出第一次级图像的采样窗口组的位置成对角线偏移，但部分重叠。图13B示出了第二次级图像，其包括从图13A所示的采样得出的四个像素值D11，D12，D21，D22。如上面参考图11A和12所描述的，以与确定第一次级图像的像素值C相同的方式，通过假设高斯分布来确定第二次级图像的每个像素值D。
翘曲图
图14示出了示例位移图，其可用于确定与源图像(例如，图10A)相对应的翘曲的中间图像(例如，图10B)。特别地，该图对应于重放场的区域，圆点对应于重放场上的特定位置。向下箭头表示由于翘曲引起的像素的负位移，向上箭头表示由于翘曲引起的像素的正位移，每个箭头的长度表示位移的大小。图14示出了由一个方向上得翘曲引起的位移(例如，在x方向上的位移)。应当理解，对于另一个方向(例如，在y方向上的位移)需要另一个位移图。因此，每个位移图可用于基于像素在源图像/目标图像内的相应位置来确定像素的位移的大小和方向(沿x和y方向)，以得出翘曲图像。如上所述，可以通过射线追踪等来确定位移图。在一些实施例中，通过投影圆点阵列并使用照相机来测量由光学系统形成的图像中的每个圆点的位移来创建位移图。在一些实施例中，该过程包括将显示未翘曲的圆点阵列的屏幕放置在光学系统的成像平面(例如，虚拟图像平面)上，并使用照相机测量每个光点相对于屏幕上的对应圆点的实际位移，以便提供图14中绘制的多个数据点。可变相位斜坡(软件光栅)函数可以用作测量过程的一部分，例如通过确定将圆点移到正确位置所需的相位斜坡函数的梯度。读者将理解，这样的过程需要精确的定位和校准。该过程的详细描述超出了本公开的范围，但是仍然在本领域技术人员的能力范围内。本文公开的技术需要翘曲图，并且这些翘曲图如何形成与本公开的技术无关。本领域技术人员将理解，在成像中通常设置有用于图像校正的翘曲图。
应当理解，图14中的位移测量仅提供与重放平面上的特定点有关的信息。在一些实施例中，内插被用来从图14得出完整的翘曲图。由此，可以将例如图10A的P1至P16得所有像素映射到相应的翘曲位置。
图15示出了示例完整的翘曲图，其可以用于确定与源图像相对应的翘曲的中间图像。特别地，该图示出了与重放场的区域相对应的表面，并且表面坐标(上/下或z方向)对应于该位置处的翘曲所引起的位移的方向和大小。图15示出了在一个方向上翘曲引起的位移(例如，在x方向上的位移)。应当理解，对于另一个方向(例如，在y方向上的位移)需要另一个位移图。因此，每个翘曲图可用于基于像素在源图像/目标图像内的相应位置来确定(在x方向和y方向上)像素位移的大小和方向，以得出翘曲图像，其可以用作本文所公开的补偿翘曲的方法的基础。如上所述，可以通过实际测量和内插来确定翘曲图。
如读者将理解的，可以为对应的多个眼动范围位置(例如，以容纳高或矮的观看者，不同的观看位置等)提供多个成对的(x和y)翘曲图。因此，实现方式可以响应于眼动追踪(eye-tracking)数据而选择多个翘曲图中的一个以用于对初级图像进行子采样。
因此，通过使用采样方案(圆形采样窗口)对中间图像进行采样(例如，子采样)来生成多个次级图像。在该示例中，每个次级图像包括比中间图像更少的像素，但是可以想到其他示例，其中，每个次级图像具有与中间图像相同的像素数或比中间图像更多的像素。此外，如图11B和图13B所示，在该示例中的每个次级图像具有与各个其他次级图像中的每个次级图像相同数目的像素(2×2像素阵列)。为多个次级图像中的每个确定全息图，并且在显示装置上显示每个全息图，以在重放平面上形成与每个次级图像相对应的全息重建。每个全息图可以依次显示在显示装置上。替代地或另外地，可以提供两个或更多个显示装置(或同一显示装置内的两个或更多个区或区域)，以同时显示两个或更多个相应的全息图。
当将多个全息图的每一个依次显示在显示装置上时，它们在人眼的整合时间内被显示，从而其在重放平面上的全息重建是“对角交错”并且看起来像是源图像的忠实的并且完整的重建。因此，对应于第二次级图像的第二全息图的全息重建相对于对应于第一次级图像的第一全息图的全息重建在重放平面上在空间上移位。特别地，通过显示第一全息图和第二全息图形成的全息重建之间的空间位移包括对角线偏移。如上所述，这可以实现。选择每个方向上的位移量以对应于第一和第二次级图像之间的位移。
当多个全息图中的每个全息图显示在不同的相应SLM上(或在同一SLM的不同的相应区或区域内)时，基本上同时，相应的全息重建可能会基本重叠。即，全息重建可以基本上同时在重放平面的公共区域中形成，并且可以如上所述被“对角交错”。因此，观看者观察其上形成有全息重建的重放场，看到的是单个投影图像，而不是对应于由不同的相应SLM形成的多个全息重建的两个单独的投影图像。因此，投影图像看起来是源图像的忠实和完整的重建。因此，在此公开了用于对与源图像相对应的多个全息重建进行“对角交错”的技术，可选地，同时通过对源图像(即中间图像)的翘曲版本进行子采样来补偿翘曲。由于交错，与对应于整个源图像的单个全息重建相比，每个全息重建具有更少的像点，并且因此具有更低的像点密度/分辨率。这减少了像素间干扰和像素串扰的问题。由于各个全息重建的像点在对角线上发生位移，因此通过在重放平面上移动重放场，从而一个全息重建的像点填充了另一个全息重建的像点之间的间隙，装置的感知分辨率不会因交错过程而减少。
因此，本文公开了一种全息投影方法。该方法接收用于投影的源图像，其中该源图像包括像素。该方法从源图像生成多个次级图像，其中每个次级图像可以包括比源图像更少的像素。通过对初级图像进行采样来生成每个次级图像，该初级图像包括以下之一：源图像和中间图像。该方法还计算与每个次级图像相对应的全息图，以形成多个全息图。该方法在诸如SLM的显示装置上显示每个全息图。每个全息图可以依次显示在显示装置上。替代地或另外地，可以提供两个或更多个显示装置(或具有共同的显示装置的两个或更多个区或区域)，以同时显示两个或更多个相应的全息图。该方法在显示期间照射每个全息图，以在重放平面上形成与每个次级图像相对应的全息重建。
由于较小的全息图的全息重建在相同的重放场尺寸下具有较少的像点，因此像点的密度以及图像分辨率低于较大的全息图。此外，如果根据所选择的平铺方案来显示较小全息图的更多平铺块，以提高像素均匀性，则信噪比(SNR)可能更高。
由于较小的全息图和较大的全息图之间的这些以及其他差异，与较大的全息图相比，对于较小的全息图使用不同的刷新率可能是合适的。例如，与为其生成较大全息图(具有较高的分辨率和较低的SNR)的源图像的一部分相比，可以以更高的速度或子帧速率刷新为其生成较小全息图(取决于所选择的平铺方案具有较低的分辨率和可能更高的SNR)的源图像的一部分。例如，在平视显示器(HUD)应用中(例如在移动的车辆中使用)，可能希望以相对较低的分辨率但相对较高的刷新率显示“近场”(看起来更靠近观察者)中的对象，同时以相对较高的分辨率但相对较低的刷新率显示“远场”(看起来更远离观察者)中的对象，反之亦然。如本领域技术人员将理解的，根据本公开，其他变型是可能的。
在一些实施例中，提供了一种诸如平视显示器的显示装置，其包括全息投影仪和光学中继系统。光学中继系统被布置为形成每个全息重建的虚拟图像。在一些实施例中，目标图像包括在目标图像的第一区域中的近场图像内容和在目标图像的第二区域中的远场图像内容。全息重建的近场内容的虚拟图像形成为距观看平面(例如，眼动范围)的第一虚拟图像距离，并且全息重建的远场内容的虚拟图像形成为与观看平面相距第二虚拟图像距离，其中第二虚拟图像距离大于第一虚拟图像距离。在一些实施例中，多个全息图中的一个全息图对应于将在近场中向用户显示的目标图像的图像内容(例如速度信息)，并且多个全息图中的另一个全息图对应于将被投影到远场的目标图像的图像内容(例如，地标指示符或导航指示符)。远场的图像内容的刷新频率可能比近场的图像内容刷新频率更高，反之亦然。
本文公开的方法提供了多个自由度，并且因此提供了更加灵活的全息投影仪。例如，定义如何从源图像得出次级图像的技术可以动态地变化。特别地，可以通过为多个眼动范围位置提供翘曲图或翘曲图对来响应于眼动追踪数据动态地改变初级图像。可以使用一个或多个翘曲图实时地形成中间图像(即，翘曲图像)。在下一部分中描述的实施例中，图像处理引擎可以基于应用需求和/或控制信号(例如眼动追踪数据)指示的外部因素，动态更改用于从源图像得出次级图像的方案。另外，可以使用不同的平铺方案。显示引擎(或其平铺引擎)可以根据应用要求和/或控制信号所指示的外部因素来动态改变用于显示全息图的平铺方案。这种灵活性在现实世界的投影仪中非常有价值，该投影仪可以在动态变化的环境中显示不同的源图像。例如，全息投影仪可以位于移动的车辆中。
基于翘曲图采样
图16至图18示出了根据另一示例的用于生成次级图像的技术。该技术还对形成初级图像的高分辨率图像(例如，“放大”或“过采样”图像)的像素进行采样(或“子采样”)。子采样过程从源图像得出多个次级图像，使得每个次级图像可以包括比源/初级图像更少的像素。为了避免疑问，在本公开的此部分描述的实施例中，初级图像与源图像相同。在本公开的该部分中使用术语“放大图像”来指代源/初级图像。
值得注意的是，在这些实施例中，基于翘曲图确定用于初级图像的像素的子采样组的采样窗口位置。
图16A示出了包括16个像素的示例目标图像1600。目标图像1600包括具有像素“1”至“16”的像素的4×4阵列。图16B示出了目标图像1600(在此为“放大图像”)的过采样版本1610。放大图像1610已经在x方向和y方向上被过采样(或放大)了四倍。特别地，目标图像的每个像素在放大图像1610中以相同像素值的4×4阵列(在此为“块”)重复或复制。因此，放大图像1610在16×16像素阵列中包括64个像素。16×16像素阵列包括16个相同像素的块，每个块中的像素复制源图像1600的相应像素。
如上所述，由于光学中继系统的部件而可能发生翘曲(由于像素移位而引起的图像失真)，该光学中继系统将在重放平面(例如，漫射器)上形成的全息重建成像到观看者的眼动范围区域。如图14和图15所示，位移或翘曲图可用于确定由翘曲引起的像素的位移。
因此，由于由翘曲效应引起的像素在x方向和y方向上的位移是已知的，所以位移位置可以用于子采样以补偿翘曲效应。因此，该技术在位移的像素位置处对放大(源)图像1610的像素组(例如，包括4×4像素阵列的块)进行采样(或子采样)，以补偿翘曲效应。
参考图17A，如上所述，使用棋盘格方法对放大图像1610进行子采样以得出多个次级图像。特别地，选择以第一棋盘图案(图中的深色阴影)布置的第一组八个块(4x4像素阵列)进行子采样以得出第一次级图像，以及选择以与第一棋盘图案相反或相对的第二棋盘图案(图中的浅色阴影)布置的第二组八个像素块(4x4像素阵列)进行子采样以得出第二次级图像。图17B示出了根据第一棋盘图案的第一组像素块的每个像素块的位移，如通过位移/翘曲图所确定的。类似地，图17C示出了根据第二棋盘图案的第二组像素块中的每个像素块的位移，如通过位移/翘曲图所确定的。在每种情况下，像素块(4x4像素阵列)在x和y方向上平移定义的量。例如，位移/翘曲图可用于定义翘曲图像中的一组坐标，该坐标可用于确定采样位置(例如，用于图像采样的采样窗口的起始位置)。因此，例如，翘曲图可以指示放大图像1610中的像素块“1”将通过光学中继系统在x方向和y方向上(在附图中向下和向右)移位。
在对应于图17B和17C所示的位移位置的一组采样窗口位置处使用4×4像素阵列的采样窗口对放大图像1610进行采样。在图17B中的位移位置处的采样产生第一次级图像，而在图17C中的位移位置处的采样产生第二次级图像。因此，从落入相应采样窗口内的放大图像1610的像素的像素值得出每个次级图像的每个像素的单个采样像素值。例如，可以将单个子采样像素值确定为包含在位移位置处的采样窗口内的放大图像1610的像素的像素值的(未加权)平均值。
如本领域技术人员将理解的，与其中可以预定义采样窗口位置的本文公开的其他技术相反，基于光学中继系统的位移/翘曲图来计算采样窗口位置。翘曲图可以是眼动范围位置的函数，因此采样窗口位置可以是动态可变的。
因此，使用图17B和17B所示的采样方案，生成第一和第二次级图像，每个次级图像包括与源图像相对应的4×2像素阵列。第一和第二次级图像借助于采样方案(即采样窗口的位置)自动补偿翘曲效应。如本文所述，使用第一和第二次级图像来计算第一和第二全息图H1和H2。第一和第二全息图H1和H2可以在人眼的整合时间内通过“对角交错”依次显示在空间光调制器上。可替代地，它们可以基本上同时显示在两个不同的各自的SLM上，或者显示在共同的SLM内的两个不同的区或区域上，并且被照射以在重放场的共同的区域上产生它们各自的全息重建，彼此基本上重叠。因此，因为通过全息重建在重放平面上的对角交错所形成的整合的全息重建补偿了光学中继系统(即从重放平面到眼动范围区域)的翘曲效应，因而在全息图投影仪的眼动范围区域中看起来忠实地重建了目标图像。
尽管在上述有关图17A至17C的示例中，棋盘格方法被用于得出次级图像，而传统的棋盘格采样位置通过翘曲图而被翘曲；也有可能将类似的技术应用于基于内核的方法来得出次级图像。也就是说，可以将翘曲图应用于多个“未翘曲”的连续采样窗口位置(例如，在本文的图6至图9的示例中由内核采用的那些)，以便得出“翘曲的”一组采样窗口位置，用于得出具有内置翘曲校正的次级图像，因此可将光学系统可能以其他方式引起的图像翘曲归因于源图像。
图18示出了覆盖有采样窗口1800或“内核”的一部分放大图像1610的示例。该放大图像1610是2x2目标图像(或“原始源图像”，本身未示出)的放大版本，其已经在x和y方向上被过采样(或放大)了四倍。如前所述，采样窗口1800捕获放大图像1610的像素块(4×4阵列)。图18示出了在第一“翘曲”采样窗口位置处的采样窗口1800，其对应于的第一像素块“1”的位移(并且因此对应于第一“未翘曲”采样窗口位置的位移)。因此，采样窗口1800除了覆盖像素块“1”的像素之外，还覆盖了三个相邻像素块“2”，“3”和“4”的像素。在所示的示例中，使用在该第一翘曲采样窗口位置处的采样窗口1800，将次级图像的第一像素值确定为包含在采样窗口内的放大图像1610的像素的像素值的平均值(即16个像素的值之和的1/16或1/16((3x1)+(1x2)+(9x3)+(3x4)))。可以根据落在其他每个翘曲的采样窗口位置处的采样窗口内的像素计算出次级图像的其他像素值。
在该示例中，放大图像1610是2x2目标图像(本身未示出)的放大版本，其已经在x方向和y方向上被过采样(或放大)四倍，并且采样窗口或“内核”是一个4x4阵列，对于它占据的每个采样窗口位置，生成次级图像的单个像素值。因此，内核的采样在x和y方向上都有效地将放大后的图像按比例缩小了四倍。结果，采样(即，次级)图像的单个像素对应于原始源图像1600(即，在过采样/放大之前)的单个像素。因此，维持了原始源图像1600的分辨率。应当理解，这仅仅是一个示例，并且可以将不同的缩放比例应用于原始源图像的缩放比例和/或可以使用不同的大小或形状的采样窗口，以实现原始源图像的分辨率与从中得出的次级图像的分辨率之间的期望的净比率。
另外，可以优化实现以比其他用于补偿翘曲的技术更有效地消耗内存和处理资源。特别地，由于用于得出放大图像的过采样技术复制了输入图像的像素，因此放大图像的各个像素值不需要存储在内存中。例如，考虑过采样的1024x1024像素的输入图像，以得出4096x4096像素的放大图像。将放大图像存储在内存中将不合需要地将内存使用增加16倍。但是，代替存储放大图像，可以创建一个简单的内存有效的寻址方案。特别地，放大图像的每个像素将具有16个可能的地址，X中为4，Y中为4(对应于4x4像素阵列)。因此，基于四位映射方案的两个最高有效位的寻址方案可用于识别放大图像中相同像素的每个块或4x4阵列。因此，通过对像素使用二进制映射方案来最小化内存资源的使用，该方案可以在子采样过程中使用。另外，对高分辨率图像进行采样的技术已经过采样为2的幂，例如本文所述的4的幂，涉及使用二进制算术的简单计算。例如，将16个像素的像素值相加(包含在4x4像素阵列的采样窗口中)涉及直接的二进制处理，该处理可以快速有效地执行，例如使用二进制加法器。同样，确定采样窗口内16个像素的像素值的平均值还涉及直接的二进制处理，该处理可以例如通过丢弃四个最低有效位来快速而有效地执行。
如本领域技术人员将理解的，可以对用于对初级图像进行子采样以生成多个次级图像的以上技术进行许多变化和修改。例如，尽管出于对角交错的目的而描述了具有对角线偏移的采样窗口位置，但是可以使用仅在一个方向(例如，x或y方向)上的方向偏移。
在本文描述的所有实施例中，内核和/或采样窗口的大小和形状可以与已经示出和描述的特定示例不同。内核或采样窗口不必具有规则的几何形状，也不必具有与要采样的初级图像/源图像中的像素配置类似的大小或形状，也不必必须具有类似于生成的次级图像中像素的配置的大小或形状。例如，如本文的图11A，图12和图13A所示，圆形内核/采样窗口可以在其他各个实施例中使用。可以应用任何合适的数学规则或映射方案，以在给定位置将一个或多个像素(或像素位置)与内核或采样窗口相关联。内核或采样窗口可以至少在某些布置中仅部分地覆盖或包含其正在采样的图像(或图像的一部分)或像素。
系统图
图19是示出根据实施例的全息系统的示意图。空间光调制器(SLM)940布置为显示从控制器930接收到的全息图。在操作中，光源910照射显示在SLM 940上的全息图，并且在重放平面925上的重放场中形成全息重建。控制器930从图像源920接收一个或多个图像。例如，图像源920可以是图像捕捉设备，例如被布置为捕捉单个静止图像的静止照相机或被布置为捕捉运动图像的视频序列的摄像机。
控制器930包括图像处理引擎950，全息图引擎960，数据帧生成器980和显示引擎990。图像处理引擎950从图像源920接收源图像。图像处理引擎950包括次级图像生成器955，次级图像生成器955被布置为根据在此描述的定义的方案，从基于源图像的初级图像生成多个次级图像。图像处理引擎950可以接收控制信号或以其他方式确定用于生成次级图像的方案。因此，每个次级图像可以包括比源图像更少的像素。图像处理引擎950可以使用源图像作为初级图像来生成多个次级图像。源图像可以是目标图像的按比例放大的版本，或者图像处理引擎可以如本文所述执行按比例放大。备选地，图像处理引擎950可以处理源图像以确定中间图像，并且将该中间图像用作初级图像。例如，如本文所述，中间图像可以是“翘曲图像”。可以使用位移图来确定翘曲图像，该位移图包括源图像的每个像素(例如，在x方向和y方向上)的位移值，该位移值表示由布置为每个全息重建成像的光学中继系统引起的图像失真。如本文所述，图像处理引擎950可以通过对初级图像进行采样来生成多个次级图像。图像处理引擎950可以确定第一次级图像和第二次级图像，其中，第一次级图像的每个像素的像素值是根据初级图像的第一组像素计算的，并且第二次级图像的每个像素的像素值是根据初级图像的第二组像素计算的。在一些实施方式中，用于选择第二组像素的采样窗口与用于选择第一组像素的采样窗口偏移和/或部分重叠。在其他实施方式中，在每种情况下，采样窗口位置可以以棋盘图案布置，其中对于每个次级图像使用不同的棋盘图案。在一些实施方式中，使用位移图来确定用于选择第一组像素和第二组像素的采样窗口位置。图像处理引擎950将多个次级图像传递给全息图引擎960。
如本文所述，全息图引擎960布置成确定与每个次级图像相对应的全息图。全息图引擎960将多个全息图传递到数据帧生成器980。数据帧生成器980被布置为生成包括多个全息图的数据帧(例如，HDMI帧)，如本文所述。具体地，数据帧生成器980生成数据帧，该数据帧包括用于多个全息图的每个全息图的全息图数据以及指示每个全息图的起始的指针。数据帧生成器980将数据帧传递给显示引擎990。显示引擎990被布置为在SLM 940上显示多个全息图的每个全息图。全息图可以依次显示和/或SLM 940实际上可以包括两个或多个的SLM，用于基本同时显示两个或多个相应的全息图，和/或两个或多个全息图可以同时显示在SLM940的两个或多个不同区域或部分上。显示引擎990包括全息图提取器992，平铺引擎970和软件光学器件994。显示引擎990使用全息图提取器992从数据帧中提取每个全息图，并根据平铺引擎970生成的平铺方案平铺全息图，如本文所述。特别地，平铺引擎970可以接收控制信号以确定平铺方案，或者可以另外基于全息图确定用于平铺的平铺方案。显示引擎990可以可选地使用软件光学器件994添加相位斜坡函数(软件光栅函数，也称为软件透镜)，以在重放平面上平移重放场的位置，如本文所述。因此，对于每个全息图，显示引擎990被布置为根据相应的平铺方案将驱动信号输出到SLM 940以显示多个全息图中的每个全息图，如本文所述。
如本文所述，控制器930可以动态地控制次级图像生成器955如何生成次级图像。控制器930可以动态地控制全息图的刷新率。如本文所述，刷新率可以被认为是全息图引擎基于图像处理引擎950从图像源920接收的序列中的下一源图像重新计算全息图的频率。如本文所述，可以基于由控制信号指示的外部因素来确定动态可控特征和参数。控制器930可以接收与此类外部因素有关的控制信号，或者可以包括用于确定此类外部因素并相应地生成此类控制信号的模块。
如本领域技术人员将理解的，控制器930的上述特征可以以软件、固件或硬件及其任意组合来实现。
附加功能
实施例仅通过示例的方式涉及电激活的LCOS空间光调制器。例如，本公开的教导可以等同地在能够显示根据本公开的计算机生成全息图的任何空间光调制器上实现，诸如任何电激活的SLM，光激活的SLM，数字微镜设备或微机电设备。
在一些实施例中，光源是诸如激光二极管的激光器。在一些实施例中，光接收表面是漫射表面或屏幕，例如漫射器。本公开的全息投影系统可以用于提供改进的平视显示器(HUD)或头戴式显示器。在一些实施例中，提供了一种车辆，其包括安装在车辆中以提供HUD的全息投影系统。车辆可以是诸如汽车，卡车，厢式货车，货车，摩托车，火车，飞机，船或轮船的机动车辆。
全息重建的质量可能受到所谓的零阶问题的影响，这是使用像素化空间光调制器的衍射性质的结果。这样的零阶光可以被认为是“噪声”，并且包括例如镜面反射光以及来自SLM的其他不需要的光。
在傅立叶全息术的示例中，这种“噪声”集中在傅立叶透镜的焦点上，从而导致全息重建中心处出现亮点。零阶光可以简单地被遮挡掉，但是这意味着用暗点代替亮点。一些实施例包括角度选择滤光器，以仅去除零级的准直射线。实施例还包括在欧洲专利2,030,072中描述的管理零阶的方法，该专利通过引用整体结合于此。
全息重放场的大小(即全息重建的物理或空间范围)由空间光调制器的像素间距(即空间光调制器的相邻光调制元件或像素之间的距离)确定。可以在重放场上形成的最小特征可以被称为“分辨率元素”，“像点”或“图像像素”。通常，空间光调制器的每个像素具有四边形形状。四边形孔径的傅立叶变换是Sinc函数，因此每个图像像素都是Sinc函数。更具体地，重放场上的每个图像像素的空间亮度分布是sinc函数。每个正弦函数可以被认为包括一个峰亮度的初级衍射阶和一系列沿径向远离初级阶的递减亮度的较高衍射阶。每个正弦函数的大小(即每个正弦函数的物理或空间范围)由空间光调制器的大小确定(即由光调制元件的阵列或空间光调制器像素的阵列形成的孔径的物理或空间范围)。具体地，由光调制像素的阵列形成的孔径越大，图像像素越小。通常希望具有小的图像像素。
在一些实施例中，实施“平铺”技术以提高图像质量。具体地，一些实施例实施平铺技术以最小化图像像素的尺寸，同时最大化进入全息重建的信号内容的量。
在一些实施例中，写入空间光调制器的全息图案包括至少一个完整的平铺块(即，完整的全息图)和平铺块的至少一小部分(即，全息图的像素的连续子集)。
全息重建是在空间光调制器定义的整个窗口的第零或初级衍射阶内创建的。优选的是，第一阶和后续阶被移位得足够远，从而不与图像重叠，并且因此可以使用空间滤波器来阻挡它们。
在实施例中，全息重建是彩色的。在本文公开的示例中，三个不同颜色的光源和三个对应的SLM用于提供复合颜色。这些示例可以被称为空间分离的颜色“SSC”。在本公开包含的变体中，每种颜色的不同全息图被显示在相同SLM的不同区域上，然后组合以形成合成彩色图像。然而，技术人员将理解，本公开的至少一些装置和方法同样可应用于提供合成彩色全息图像的其他方法。
这些方法之一被称为帧顺序颜色，“FSC”。在示例性FSC系统中，使用了三个激光器(红色，绿色和蓝色)，并且每个激光器在单个SLM处连续发射，以产生视频的每一帧。颜色以足够快的速率循环(红色，绿色，蓝色，红色，绿色，蓝色等)，以使人类观看者可以从由三个激光形成的图像组合中看到多色图像。因此，每个全息图都是特定于颜色的。例如，在每秒25帧的视频中，通过发射红色激光1/75秒来产生第一帧，然后发射绿色激光1/75秒，最后发射蓝色激光1/75秒。然后产生下一个帧，从红色激光开始，依此类推。
FSC方法的优点是，整个SLM用于每种颜色。这意味着所产生的三个颜色图像的质量不会受到影响，因为SLM的所有像素都用于每个颜色图像。然而，FSC方法的缺点在于，由于每个激光器仅使用三分之一的时间，因此所产生的整体图像将不会比通过SSC方法所产生的对应图像明亮约3倍。可以通过过度驱动激光器或使用更强大的激光器来解决此缺陷，但这将需要使用更多的功率，会带来更高的成本，并使系统的紧凑性降低。
SSC方法的优点是，由于同时发射所有三个激光，因此图像更亮。但是，如果由于空间限制而只需要使用一个SLM，则SLM的表面区域可以分为三个部分，实际上作为三个独立的SLM。这样做的缺点是，由于每个单色图像可用的SLM表面区域的减少，每个单色图像的质量都会降低。因此，多色图像的质量相应降低。SLM可用表区域的减少意味着SLM上可以使用的像素更少，从而降低了图像质量。由于降低了分辨率，因此降低了图像质量。实施例利用在英国专利2,496,108中公开的改进的SSC技术，该专利通过引用整体并入本文。
一些实施例仅通过示例的方式描述了二维全息重建。在其他实施例中，全息重建是3D全息重建。即，在一些实施例中，每个计算机生成全息图形成3D全息重建。
本文描述的方法和过程可以体现在计算机可读介质上。术语“计算机可读介质”包括被布置成临时或永久地存储数据的介质，诸如随机存取存储器(RAM)，只读存储器(ROM)，缓冲存储器，闪存和高速缓冲存储器。术语“计算机可读介质”也应被认为包括能够存储用于由机器执行的指令的任何介质或多种介质的组合，以使得当指令被一个或多个处理器执行时，使得该机器全部或部分执行本文所述的任何一种或多种方法。
术语“计算机可读介质”还涵盖基于云的存储系统。术语“计算机可读介质”包括但不限于固态存储器芯片，光盘，磁盘或其任何合适组合的示例形式的一个或多个有形和非暂时性数据存储库(例如，数据卷)。在一些示例实施例中，用于执行的指令可以由载体介质传达。这样的载体介质的示例包括瞬态介质(例如，传达指令的传播信号)。
对于本领域技术人员将显而易见的是，在不脱离所附权利要求的范围的情况下，可以进行各种修改和变型。本公开涵盖所附权利要求及其等同物的范围内的所有修改和变型。

Claims (29)

1.一种布置成投影目标图像的全息投影仪，该全息投影仪包括：
显示装置，被布置为显示全息图；
图像处理引擎，被布置为通过对从目标图像得出的初级图像进行采样来生成多个次级图像；
全息图引擎，被布置为确定与每个次级图像相对应的全息图以形成多个全息图；
显示引擎，被布置为在显示装置上显示每个全息图；以及
光源，被布置为在显示期间照射每个全息图，以在重放平面上形成与每个次级图像相对应的全息重建，
其中每个次级图像包括多个像素，所述多个像素是基于在采样窗口的多个位置处的所述初级图像的对应的像素组而计算的；并且
其中每个次级图像的每个像素值是基于对应的组而计算的，该对应的组包括在多个采样窗口位置中的相应一个采样窗口位置处落入采样窗口内的初级图像的多个像素。
2.根据权利要求1所述的全息投影仪，其中，所述显示引擎被布置为在装置上依次显示每个全息图；或者其中显示装置被布置为在显示装置的不同的相应区域上基本上同时显示每个全息图；或者其中提供了多个显示装置，并且其中显示引擎被布置为在多个显示装置中基本上同时在不同的相应显示装置上显示每个全息图。
3.根据权利要求1或2所述的全息投影仪，其中，所述次级图像的像素均少于所述初级图像的像素。
4.根据权利要求1所述的全息投影仪，其中，所述初级图像选自包括源图像和中间图像的组，其中，所述源图像是放大的目标图像，并且所述中间图像是翘曲的源图像。
5.根据权利要求1所述的全息投影仪，其中，所述采样包括：基于落在采样窗口内的初级图像的相应像素组来计算次级图像的每个像素的像素值，从而在次级图像的每个像素与初级图像的相应像素组和/或相应采样窗口之间存在位置对应。
6.根据权利要求5所述的全息投影仪，其中，通过分别加权落在相应采样窗口内的初级图像的相应像素组的像素值，来计算次级图像的每个像素值。
7.根据权利要求6所述的全息投影仪，其中，赋予给初级图像中相应像素组中的每个像素值的权重随着像素距采样窗口的中心的距离而减小。
8.根据权利要求5所述的全息投影仪，其中，第一次级图像的每个像素的像素值是基于在第一组采样窗口位置处落入采样窗口内的初级图像的第一像素组来计算的，并且第二次级图像的每个像素的像素值是基于在第二组采样窗口位置处落入采样窗口内的初级图像的第二像素组来计算的。
9.根据权利要求8所述的全息投影仪，其中，所述第一组采样窗口位置与所述第二组采样窗口位置沿对角线偏移。
10.根据权利要求8所述的全息投影仪，其中，用于所述第二像素组的采样窗口与用于第一像素组的采样窗口部分重叠。
11.根据权利要求1所述的全息投影仪，其中，所述图像处理引擎被布置为使用位移图来处理源图像，以形成中间图像作为初级图像，其中，所述位移图包括源图像的每个像素的位移值，该位移值代表由被布置为形成每个全息重建的图像的光学中继系统引起的图像失真。
12.根据权利要求11所述的全息投影仪，其中，所述采样包括：基于在一组对应的采样窗口位置处落入采样窗口内的中间图像的相应像素组，计算出次级图像的每个像素的像素值，使得在次级图像的每个像素与相应采样窗口之间存在位置对应。
13.根据权利要求4所述的全息投影仪，其中，赋予给次级图像的像素组中的每个像素的权重根据高斯函数随着距采样窗口的中心的距离而减小，可选地，采样窗口是圆形的。
14.根据权利要求4所述的全息投影仪，其中，用于计算次级图像的每个像素值的采样窗口的采样窗口位置是基于由布置为形成每个全息重建的图像的光学中继系统引起的位移来确定的，可选地，其中位移是使用位移图确定的。
15.根据权利要求14所述的全息投影仪，其中，基于诸如落在相应采样窗口内的初级图像的相应像素组的像素值的平均之类的函数，来计算次级图像的每个像素值。
16.根据权利要求1所述的全息投影仪，其中，所述多个次级图像包括第一次级图像和第二次级图像，
其中，所述第一次级图像的像素的像素值是基于在第一组采样窗口位置处落入采样窗口内的初级图像的第一组像素块来计算的，并且所述第二次级图像的像素的像素值是基于在第二组采样窗口位置处落入采样窗口内的初级图像的第二组像素块来计算的；
其中，初级图像的第一组像素块以第一棋盘图案布置，并且初级图像的第二组像素块以与第一棋盘图案相反的第二棋盘图案布置；以及
其中，可选地，第一组采样窗口位置对应于初级图像的第一组像素块的位移位置，并且第二组采样窗口位置对应于初级图像的第二组像素块的位移位置。
17.根据权利要求1所述的全息投影仪，其中，所述次级图像的数量大于两个。
18.根据权利要求1所述的全息投影仪，其中，所述多个全息图中的每个全息图以一定速度和/或在相对于各个其他全息图的位置显示，使得其全息重建在人眼的整合时间内形成。
19.根据权利要求1所述的全息投影仪，其中，相对于通过显示对应于第二次级图像的全息图形成的第二全息重建，将通过显示对应于第一次级图像的全息图形成的第一全息重建在重放平面上空间移位，以使全息重建交错，可选的，其中第一全息重建和第二全息重建在重放平面上相对于彼此沿对角线偏移。
20.一种将目标图像的重建进行全息投影的方法，该方法包括：
通过采样从目标图像获得的初级图像来生成多个次级图像，其中每个次级图像包括多个像素，所述多个像素是基于在采样窗口的多个位置处的所述初级图像的对应的像素组而计算的；
计算与每个次级图像相对应的全息图，以形成多个全息图；
在显示装置上显示每个全息图，以及
在显示期间照射每个全息图，以在重放平面上形成与每个次级图像相对应的全息重建，其中每个次级图像的每个像素值是基于对应的组而计算的，该对应的组包括在多个采样窗口位置中的相应一个采样窗口位置处落入采样窗口内的初级图像的多个像素。
21.根据权利要求20所述的方法，其中，在显示装置上显示每个全息图的步骤包括以下任一项或多项：在显示装置上依次显示每个全息图；或者在显示装置的不同相应区域上基本上同时显示每个全息图；或者在多个显示装置内在不同的相应显示装置上基本上同时显示每个全息图。
22.根据权利要求20所述的方法，其中，所生成的次级图像的像素均少于初级图像的像素。
23.根据权利要求20所述的方法，其中，生成多个次级图像的步骤包括：对于每个次级图像，基于在采样窗口的多个位置处的初级图像的对应的像素组计算多个像素；并且其中每个次级图像的每个像素值是基于对应的组而计算的，该对应的组包括在多个采样窗口位置中的相应一个采样窗口位置处落入采样窗口内的初级图像的多个像素。
24.根据权利要求20所述的方法，还包括：
接收用于投影的目标图像；和
放大目标图像以形成具有比目标图像更多像素的源图像，其中初级图像是从源图像得出的。
25.根据权利要求24所述的方法，其中放大包括在源图像的相应相邻像素组中重复目标图像的每个像素值，其中在所述目标图像的每个像素与源图像的具有相同像素值的对应像素组之间存在位置对应。
26.根据权利要求24所述的方法，其中，所述初级图像是源图像。
27.根据权利要求24所述的方法，还包括：使用位移图来处理源图像以形成中间图像作为初级图像，其中，所述位移图包括源图像的每个像素的位移值，该位移值代表由被布置为形成每个全息重建的图像的光学中继系统引起的图像失真。
28.根据权利要求20所述的方法，其中，通过分别加权落在相应采样窗口内的初级图像的相应像素组的像素值，来计算次级图像的每个像素值。
29.根据权利要求28所述的方法，包括：
基于在第一组采样窗口位置处落入采样窗口内的初级图像的相应第一像素组，计算第一次级图像的每个像素的像素值；
基于在第二组采样窗口位置处落入采样窗口内的初级图像的相应第二像素组，计算第二次级图像的每个像素的像素值，
其中第二组采样窗口位置与第一组采样窗口位置沿对角线偏移和/或第二组采样窗口位置处的每个采样窗口与第一组采样窗口位置处的对应采样窗口部分重叠。
CN202010855242.4A 2019-08-23 2020-08-24 全息投影 Active CN112415880B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1912168.0 2019-08-23
GB1912168.0A GB2586512B (en) 2019-08-23 2019-08-23 Holographic projection

Publications (2)

Publication Number Publication Date
CN112415880A CN112415880A (zh) 2021-02-26
CN112415880B true CN112415880B (zh) 2022-04-26

Family

ID=68108942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010855242.4A Active CN112415880B (zh) 2019-08-23 2020-08-24 全息投影

Country Status (7)

Country Link
US (2) US11765328B2 (zh)
EP (1) EP3783442B1 (zh)
KR (1) KR102445475B1 (zh)
CN (1) CN112415880B (zh)
GB (1) GB2586512B (zh)
MX (1) MX2020008789A (zh)
MY (1) MY195785A (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2586511B (en) * 2019-08-23 2021-12-01 Dualitas Ltd Holographic projector
GB2587400B (en) * 2019-09-27 2022-02-16 Dualitas Ltd Hologram display using a liquid crystal display device
GB2595696B (en) * 2020-06-04 2022-12-28 Envisics Ltd Forming a hologram of a target image for projection using data streaming
CN112212807B (zh) * 2020-10-14 2022-03-01 福建师范大学 基于单幅频谱强度图像动态采样进行迭代的相位加速读取方法和读取装置
GB2604402B (en) * 2021-03-05 2023-08-23 Envisics Ltd Head-up display
GB2604890B (en) * 2021-03-17 2024-01-31 Envisics Ltd Image projection
CN113066029B (zh) * 2021-03-31 2023-03-17 杭州三坛医疗科技有限公司 一种图像矫正方法及装置
US11328634B1 (en) * 2021-09-07 2022-05-10 Himax Display, Inc. Projection device and method with liquid crystal on silicon panel
CN114880953B (zh) * 2022-06-10 2023-08-11 中国科学院光电技术研究所 一种四台阶相位型菲涅尔波带片的快速波前复原方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018100394A1 (en) * 2016-12-02 2018-06-07 Dualitas Ltd. Holographic projector
CN108287414A (zh) * 2017-12-28 2018-07-17 上海慧希电子科技有限公司 图像显示方法及其存储介质和系统
CN108762033A (zh) * 2018-05-28 2018-11-06 江苏慧光电子科技有限公司 成像方法和光学系统及其存储介质、芯片与组合

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69836360T2 (de) * 1997-05-22 2007-08-23 Nippon Telegraph And Telephone Corp. System zur Anzeige von computergesteuerten holographischen Bildern
EP0881843A3 (en) * 1997-05-28 2005-04-06 Nippon Telegraph And Telephone Corporation Method and apparatus for transmitting or processing images.
US7568445B2 (en) 2000-11-17 2009-08-04 Lockheed Martin Corporation System and method for the holographic deposition of material
US7031518B2 (en) * 2002-07-01 2006-04-18 Xerox Corporation Segmentation method and system for Multiple Raster Content (MRC) representation of documents
KR100601256B1 (ko) * 2004-03-12 2006-07-14 주식회사 대우일렉트로닉스 홀로그래픽 디지털 데이터 시스템의 재생 방법 및 재생 장치
US20050280894A1 (en) * 2004-04-02 2005-12-22 David Hartkop Apparatus for creating a scanning-column backlight in a scanning aperture display device
JP4690066B2 (ja) * 2005-02-07 2011-06-01 株式会社リコー 加工方法、加工装置、回折光学素子の加工方法及びフォトニック結晶の加工方法
JP2007206356A (ja) * 2006-02-01 2007-08-16 Olympus Corp 映像表示システム
GB2438458A (en) 2006-05-11 2007-11-28 Univ Cambridge Tech Blocking zero-order light in phase shift hologram generation
GB0718607D0 (en) * 2007-05-16 2007-10-31 Seereal Technologies Sa Holograms
GB2455523B (en) * 2007-12-11 2010-02-03 Light Blue Optics Ltd Holographic image display systems
GB2461894B (en) * 2008-07-16 2010-06-23 Light Blue Optics Ltd Holographic image display systems
NL2003845A (en) 2008-12-19 2010-06-22 Asml Netherlands Bv Lithographic apparatus, and patterning device for use in a lithographic process.
CN101939703B (zh) * 2008-12-25 2011-08-31 深圳市泛彩溢实业有限公司 全息三维图像信息采集装置、方法及还原装置、方法
US8587703B2 (en) * 2009-12-01 2013-11-19 Aptina Imaging Corporation Systems and methods for image restoration
GB201011829D0 (en) 2010-07-14 2010-09-01 Two Trees Photonics Ltd Display system
US8760542B2 (en) * 2010-08-11 2014-06-24 Inview Technology Corporation Compensation of compressive imaging measurements based on measurements from power meter
CN102959477B (zh) * 2011-04-27 2016-10-19 松下知识产权经营株式会社 显示装置
GB2498170B (en) 2011-10-26 2014-01-08 Two Trees Photonics Ltd Frame inheritance
GB2496108B (en) 2011-10-26 2015-03-04 Two Trees Photonics Ltd Image production
GB2499579B (en) * 2012-02-07 2014-11-26 Two Trees Photonics Ltd Lighting device
GB2501112B (en) 2012-04-12 2014-04-16 Two Trees Photonics Ltd Phase retrieval
GB2509180B (en) 2012-12-21 2015-04-08 Two Trees Photonics Ltd Projector
GB2526275B (en) 2014-05-16 2017-12-13 Two Trees Photonics Ltd Display for reducing speckle
GB2526159B (en) 2014-05-16 2017-12-20 Two Trees Photonics Ltd Diffuser for head-up display
GB2526158B (en) 2014-05-16 2017-12-20 Two Trees Photonics Ltd Imaging device for moving a virtual image
GB2554575B (en) 2014-05-16 2018-09-26 Two Trees Photonics Ltd Diffuser for head-up display
KR102047545B1 (ko) 2015-12-30 2019-11-21 듀얼리타스 리미티드 동적 홀로그래피 포커스트-뎁스 인쇄장치
GB2561787B (en) 2015-12-30 2022-01-05 Dualitas Ltd Dynamic holography printing device
GB2547926B (en) 2016-03-03 2020-04-29 Dualitas Ltd Display system
GB2547929B (en) * 2016-03-03 2018-02-21 Daqri Holographics Ltd Display system
AU2017296073B2 (en) * 2016-07-15 2019-02-14 Light Field Lab, Inc. Energy propagation and transverse Anderson localization with two-dimensional, light field and holographic relays
CN106154800B (zh) * 2016-09-09 2018-12-25 京东方科技集团股份有限公司 全息显示装置及其全息显示方法
EP3472827B1 (en) 2016-10-27 2021-12-01 Dualitas Ltd. Method of operating a display driver
KR20180052357A (ko) * 2016-11-10 2018-05-18 삼성전자주식회사 확장된 시야창을 제공하는 홀로그래픽 디스플레이 장치
CN106940486B (zh) * 2017-04-25 2022-06-24 京东方科技集团股份有限公司 一种显示装置及其显示方法
GB2567410B (en) 2017-08-02 2020-08-19 Envisics Ltd A display device and system
GB2567409B (en) 2017-08-02 2020-08-26 Envisics Ltd A display device and system
US11231583B2 (en) 2017-08-02 2022-01-25 Envisics Ltd. Display device and system
GB2565834B (en) 2017-08-25 2020-05-20 Dualitas Ltd Display system
GB2569206B (en) 2018-05-25 2019-12-04 Dualitas Ltd A method of displaying a hologram on a display device comprising pixels
GB2569208B (en) 2018-07-19 2019-12-04 Envisics Ltd A head-up display
KR20200053319A (ko) * 2018-11-08 2020-05-18 삼성전자주식회사 백라이트 유닛 및 이를 포함하는 홀로그래픽 디스플레이 장치
KR20200053320A (ko) * 2018-11-08 2020-05-18 삼성전자주식회사 홀로그래픽 디스플레이 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018100394A1 (en) * 2016-12-02 2018-06-07 Dualitas Ltd. Holographic projector
CN108287414A (zh) * 2017-12-28 2018-07-17 上海慧希电子科技有限公司 图像显示方法及其存储介质和系统
CN108762033A (zh) * 2018-05-28 2018-11-06 江苏慧光电子科技有限公司 成像方法和光学系统及其存储介质、芯片与组合

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于多小波变换的图像融合研究;王海晖 等;《中国图像图形学报》;20040831;第1005页第4段 *
改进局部灰度特征的工件亚像素级边缘检测;张智凡 等;《软件导刊》;20190630;第159页第2段 *

Also Published As

Publication number Publication date
US11765328B2 (en) 2023-09-19
CN112415880A (zh) 2021-02-26
MX2020008789A (es) 2021-02-24
KR20210023697A (ko) 2021-03-04
KR102445475B1 (ko) 2022-09-19
EP3783442A1 (en) 2021-02-24
EP3783442B1 (en) 2023-12-13
GB2586512B (en) 2021-12-08
MY195785A (en) 2023-02-20
GB201912168D0 (en) 2019-10-09
GB2586512A (en) 2021-02-24
US20230308620A1 (en) 2023-09-28
US20210084270A1 (en) 2021-03-18

Similar Documents

Publication Publication Date Title
CN112415880B (zh) 全息投影
CN112558452B (zh) 全息投影
US11480919B2 (en) Holographic projector
CN111176092B (zh) 全息投影显示设备上的像素映射
CN113009710B (zh) 用于在多个平面上形成图像的投影仪
US11726432B2 (en) Holographic projector
EP4050423B1 (en) Holographic projection
KR102575670B1 (ko) 디스플레이 장치 및 시스템
US20220299940A1 (en) Image Projection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant