CN114967400A - 全息投影 - Google Patents

全息投影 Download PDF

Info

Publication number
CN114967400A
CN114967400A CN202210174822.6A CN202210174822A CN114967400A CN 114967400 A CN114967400 A CN 114967400A CN 202210174822 A CN202210174822 A CN 202210174822A CN 114967400 A CN114967400 A CN 114967400A
Authority
CN
China
Prior art keywords
image
pixels
array
hologram
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210174822.6A
Other languages
English (en)
Inventor
M.温吉罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Envisics Ltd
Original Assignee
Envisics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Envisics Ltd filed Critical Envisics Ltd
Publication of CN114967400A publication Critical patent/CN114967400A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H1/2205—Reconstruction geometries or arrangements using downstream optical component
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/32—Systems for obtaining speckle elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0088—Adaptation of holography to specific applications for video-holography, i.e. integrating hologram acquisition, transmission and display
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0825—Numerical processing in hologram space, e.g. combination of the CGH [computer generated hologram] with a numerical optical element
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H2001/2236—Details of the viewing window
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G03H2001/2297—Addressing the hologram to an active spatial light modulator using frame sequential, e.g. for reducing speckle noise
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/2645—Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
    • G03H2001/2655—Time multiplexing, i.e. consecutive records wherein the period between records is pertinent per se
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/44—Digital representation
    • G03H2210/441—Numerical processing applied to the object data other than numerical propagation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/45—Representation of the decomposed object
    • G03H2210/452—Representation of the decomposed object into points
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/02—Computing or processing means, e.g. digital signal processor [DSP]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00—Hologram nature or properties
    • G03H2240/50—Parameters or numerical values associated with holography, e.g. peel strength
    • G03H2240/62—Sampling aspect applied to sensor or display

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Holo Graphy (AREA)

Abstract

一种全息系统包括图像处理引擎、全息引擎和显示图像。图像处理引擎布置成通过在规则采样位置阵列对主图像的像素值进行采样来确定第一和第二次图像。全息引擎布置成确定每个次图像的全息图。显示引擎布置成在显示设备上第一和第二次快速连续地显示每个全息图，以便从相应的全息图重建每个次图像，使得对应于主图像的相应的第一和第二图像像素阵列是可感知的。在第一方向上，第二次图像的重建的图像像素被插入第一次图像的重建的图像像素之间。显示的孔径定向为使得其在第二方向上比在第一方向上更长，其中图像像素在第一方向上比在第二方向上更细长且更密集地填塞。

Description

全息投影
技术领域
本公开涉及投影仪和图像处理器。更具体地，本公开涉及全息投影仪、全息投影系统和用于全息投影的图像处理器。本公开还涉及全息投影目标图像的方法和全息投影视频图像的方法。一些实施例涉及平视显示器。
背景技术
从物体散射的光包含振幅和相位信息。可以通过众所周知的干涉技术在例如感光板上捕获该振幅和相位信息，以形成包括干涉条纹的全息记录或“全息图”。可以通过用合适的光照射来重建全息图，以形成代表原始物体的二维或三维全息重建或重放图像。
计算机生成的全息术可以在数值上模拟干涉过程。可以通过基于数学变换比如菲涅耳或傅立叶变换的技术来计算计算机生成的全息图。这些类型的全息图可被称为菲涅耳/傅立叶变换全息图或简称为菲涅耳/傅立叶全息图。傅立叶全息图可被认为是物体的傅立叶域/平面表示或物体的频域/平面表示。例如，还可以通过相干光线跟踪或点云技术来计算计算机生成的全息图。
可以在布置为调制入射光的振幅和/或相位的空间光调制器(SLM)上对计算机生成的全息图进行编码。例如，可以使用电可寻址液晶、光学可寻址液晶或微镜来实现光调制。
空间光调制器通常包括多个单独可寻址像素，其也可被称为单元或元素。光调制方案可以是二进制、多级或连续的。可替代地，该设备可以是连续的(即不包括像素)，因此光调制可以在设备上是连续的。空间光调制器可以是反射性的，这意味着调制光以反射输出。空间光调制器可以同样是透射性的，这意味着调制光以透射输出。
使用这里描述的系统可以提供全息投影仪。这种投影仪已经在平视显示器“HUD”和头戴式显示器“HMD”中得到应用，例如包括近眼设备。
全息投影仪将图像投影到重放平面上的重放场上。当使用所述技术时，投影图像由显示在SLM像素上的全息图形成，这里称为“SLM像素”。因此，SLM像素显示全息图的像素，这里称为“全息图像素”。投影图像由“图像点”形成，图像点在这里也称为“图像像素”。图像像素是全息过程的结果。从用于投影的像素化图像计算全息图。图像像素具有有限的尺寸，并且重放场中的相邻图像像素会相互干扰或模糊在一起。这在这里被称为像素串扰。像素串扰的问题导致图像质量降低。
投影图像的分辨率可以是在重放场形成的图像像素数量的量度。分辨率在这里也可以称为空间分辨率、图像点的密度或填充因子。对于高质量图像，希望形成密集填塞的图像像素，从而形成高分辨率图像。一些应用需要具有高纵横比的重放场，例如用于“宽屏幕”视频图像的投影。例如，重放场可以具有16:9或2:1的纵横比。然而，重放场通常是方形的，这可能对具有高纵横比的高分辨率图像的形成提出挑战。
全息引擎需要时间来从源图像确定用于显示的全息图。例如，全息图可以是使用至少一次傅立叶变换计算的傅立叶全息图。因此，计算全息图所花费的时间会限制可将全息图写入SLM的速率，从而限制将源图像序列投影为视频流的速率，这里称为“帧速率”。因此，很难以可接受的视频帧速率投影图像。
本公开涉及用于实现时间交错以优化重放平面上源图像的全息重建的分辨率的技术。特别地，所公开的技术可以用于在具有高纵横比的重放场上形成高分辨率图像。
这里公开了一种改进的全息投影系统和方法。
发明内容
在所附的独立权利要求中定义了本公开的一方面。
这里公开了全息系统。该系统包括图像处理引擎、全息引擎和显示引擎。图像处理引擎布置成从主图像确定多个次图像。通过在多个采样位置(例如规则阵列)对主图像的像素值进行采样来形成每个次图像。通过使用规则第一采样位置阵列进行采样来形成第一次图像，并且通过使用规则第二采样位置阵列进行采样来形成第二次图像。全息引擎布置成确定每个次图像的全息图。显示引擎布置成在显示设备上快速连续地显示每个全息图，以便从相应的全息图重建每个次图像，使得基本对应于主图像的第一图像像素阵列是可感知的。显示设备的孔径是矩形的，并且定向为使得它在第二方向上比在第一方向上更长。显示设备的孔径由显示的形状限定，例如显示设备的像素阵列的形状。因此，由此形成的图像像素在第一方向上比在第二方向上更细长和更密集地填塞。显示引擎还布置成在显示设备上第二次快速连续地显示每个全息图，以便从相应的全息图重建每个次图像，使得第二图像像素阵列是可感知的。第二图像像素阵列相对于第一图像像素阵列在第二方向上平移，以便第二图像像素阵列在第二方向上插入第一图像像素阵列。
显示设备的矩形孔径在第二方向(例如y方向)上比在第一方向(例如x方向)上更长。由于孔径的衍射效应，在重放平面上形成每个次图像的重建的图像像素在第一方向(例如x方向)上比在第二方向(例如y方向)上更长。特别地，图像像素被“拉伸”，并且在第一方向上变得更细长，在第二方向上变得更短。在第一方向上增加的图像像素长度意味着图像像素可以在第一方向上更密集地填塞。可以说，第一方向上的图像像素之间的间距可以减小。填充的密集程度可能受到降低图像质量的像素串扰效应的限制。图像点的这种密集填塞增加了在第一方向上形成在重放平面上的图像的分辨率。然而，图像像素在第二方向上的长度减小意味着图像像素在第二方向上可能不太密集地填塞。可以说在第二方向上的图像像素之间的间距可以增加。第二方向上的图像像素之间的这种增加的间距降低了第二方向上的图像像素的分辨率，并且第二方向上的图像像素之间可能出现间隙。这可能会对图像质量产生不利影响。
为了对此进行补偿，根据本发明，第二次快速连续地显示每个全息图，以便从相应的全息图重建每个次图像，但在第二方向上平移。因此，基本对应于主图像的第二图像像素阵列是可感知的，其复制了第一图像像素阵列。第二图像像素阵列相对于第一图像像素阵列在第二方向上平移，以便第二图像像素阵列在第二方向上插入第一图像像素阵列。因此，第二图像像素阵列在第二方向上填充第一图像像素阵列之间的间隙。可以说，第二图像像素阵列中的图像像素在第二方向(例如y方向)上扩展了第一图像像素阵列中的图像像素的点尺寸。具体而言，第二图像像素阵列的每个图像像素可能看起来与第一图像像素阵列的相应图像像素合并，以形成在第二方向上长度加倍的“组合”或“双重”图像像素。在一些实施例中，每个组合图像像素被感知为在第一和第二方向上大致对称。对应于主图像的次图像的复合重建的复制增加了在第二方向(例如y方向)上形成的图像像素数量。因此，图像像素在第二方向上被更密集地填塞。因此，图像分辨率(即图像点的密度或填充因子)在第二方向以及第一方向上增加，从而提高图像质量。如本领域技术人员将理解，通过将每个主图像(或“图像帧”)显示的全息图/次图像(或“子帧”)的数量加倍来实现主图像的合成重建的这种复制。
在实施例中，第一和第二采样位置在第一方向上被插入，以在第一方向上形成交替第一和第二采样位置行。第一和第二采样位置在垂直于第一方向的第二方向上对齐，使得第一方向上的交替第一和第二采样位置行在第二方向上对齐。特别地，用于形成第一次图像的规则第一采样位置阵列是在第一方向上的第一交替采样位置图案，并且用于形成第二次图像的规则第二采样位置阵列是在第一方向上的第二交替采样位置图案。第二图案与第一图案相反(即相反或互补)。第一次图像的重建的第一图像像素和第二次图像的重建的第二图像像素在第一方向(例如x方向)上插入，但在第二方向(例如y方向)上对齐。因此，对应于主图像的合成重建包括在第一方向上的交替第一和第二图像像素行，其具有分别使用在第一方向上的第一和第二采样位置采样的像素值。
在实施例中，通过相位斜坡或光栅函数，第二图像像素阵列相对于第一图像像素阵列在第二方向上平移。例如，与第一次相比，第二次可以向每个全息图添加第二方向光栅函数。可替代地，与第一次相比，当第二次显示每个全息图时，可以使用不同的光栅函数。如本领域技术人员将理解，其他实施例可以实现用于相对于第一图像像素阵列在第二方向上平移第二图像像素阵列的替代技术，例如用于所谓的“波束控制”的机械技术。
因此，对应于从主图像生成的多个次图像的第一全息图序列被快速连续地显示在SLM上，以形成对应的全息重建，这些全息重建组合以形成对应于重放平面上的主图像的合成全息重建。第一全息图序列在用于显示帧的时间周期的第一部分(即帧间隔)期间显示。此外，在SLM上快速连续地显示多个全息图的第二序列，以形成相应的全息重建，这些全息重建组合以形成对应于主图像的复制复合全息重建。第二全息图序列以不同于第一全息图序列的光栅函数显示，从而与原始复合全息重建相比，复制复合全息重建在重放平面上沿第二方向平移。
在一些实施例中，通过使用规则第三采样位置阵列进行子采样来形成第三次图像，并且通过使用规则第四采样位置阵列进行子采样来形成第四次图像。第三和第四采样位置在第一方向上插入，以在第一方向上形成第三和第四采样位置行。第三和第四采样位置在第二方向上对齐。第一和第二采样位置行以及第三和第四采样位置行在第一方向和第二方向上均匀地插入。
在实施例中，每个次图像包括比主图像少的像素。在实施例中，主图像的每个像素仅对应于一个次图像，使得次图像是可组合的，以便完全形成主图像的合成表示。
在实施例中，矩形孔径对应于显示设备的像素阵列的周界。每个全息重建的图像像素在矩形孔径/显示设备的短维度上可能更长。因此，在实施例中，图像像素在矩形孔径/显示设备的短维度上比其长维度上更密集地填塞。因此，每个全息图可以通过在矩形孔径/显示设备的长方向上的平移来第二次显示，以便至少部分地补偿由矩形孔径引起的图像像素的延长。
在实施例中，每个全息图显示在显示设备上并被快速连续地照明，使得多个图像像素基本同时地或在人眼的积分时间内形成在显示平面上。因此，观察者感知到对应于主图像的组合或复合重建。
在实施例中，每个次图像是方形的。特别地，图像处理引擎布置成使用方形采样位置阵列来确定每个次图像，使得每个次图像包括方形像素值阵列。
在实施例中，在显示主图像或帧期间在重放场上形成的图像像素阵列是具有高纵横比的矩形。例如，纵横比可以是16:9或2:1。这有利于在某些应用中形成宽屏幕图像或显示图像，例如挡风玻璃为横向或宽屏幕方向的汽车应用。
这里公开的方法为本领域提供了重要的技术贡献。
首先，提高了投影图像的质量。第二，投影图像可以更新的速度(即帧速率)增加了。第三，增加了投影图像的分辨率(例如对于高纵横比图像)。这些技术贡献将在以下段落中分别解释。
首先，本文公开的方法使得能够通过在不同时间显示不同的图像像素来管理像素串扰。更具体地，不同组图像像素在不同时间显示。例如，在第一次形成的第一全息重建(对应于第一次图像)可以包括帧的第一组图像像素(例如在第一方向上每隔一个图像像素)，并且在第二次的第二全息重建(对应于第二次图像)可以通过显示包括剩余图像像素的第二组来填充第一方向上的图像像素之间的间隙。由于第一和第二组(例如相邻像素组)的图像像素不同时显示，像素间干扰和像素串扰减少。类似地，在第三时间形成的复制第一全息重建可以包括帧的第三组图像像素，并且在第四时间形成的复制第二全息重建可以包括帧的第四组图像像素，其中第三和第四组图像像素一起填充第二方向上的图像像素之间的间隙。因此，发明人已经公开了一种通过管理像素串扰来交错(在时间上)多个全息重建以提高图像质量的技术。
在本公开中，通过以多种不同方式对高分辨率源图像进行欠采样以获得相应的多个次图像来实现新方法。因此，通过“放大”目标图像以形成源图像，并对源图像或基于源图像的中间图像进行欠采样，同时管理像素串扰，可以实现复合或交错全息重建的期望分辨率。
在一些实施例中，用于投影的目标图像被“放大”以形成具有增加数量的像素的源图像。因此，分辨率(就像素的数量而言)增加了。图像的放大可以将像素的数量增加2的幂，因为像素的数量在x和y方向上都是倍增的。例如，图像可以在x和y方向上放大4倍。例如，在放大的图像中，每个单独的像素可以在4×4像素阵列中被复制(即具有相同的像素值)。结果，包括n×m像素阵列的图像被“放大”或“过采样”，以获得形成图像的过采样或放大版本的4n×4m像素阵列。如下所述，过采样/放大的图像可以用作源图像(或主图像)。可以使用更复杂的放大目标图像的方法。
其次，发明人在此公开了一种适合实时(即视频速率)处理的方法。具体地，全息图可以在视频的帧时间内被确定和显示。这一技术贡献的实现是因为每个次图像比源图像具有更少的像素。虽然每个源图像需要更多的全息图，但每个单独的全息图可以更快地确定。例如，使用傅立叶变换方法计算包含x个像素的两个全息图比计算包含2x个像素的一个全息图更快。因此，发明人已经公开了一种提高计算对应于源图像的全息图的速度的技术，以使得能够以可接受的视频帧速率进行全息投影。
第三，发明人在此公开了一种提高投影图像分辨率(即图像点密度或填充因子)的方法。此外，该方法可用于实现具有高纵横比(例如16:9或2:1)的图像。具体而言，通过对次图像的子帧进行时间复用，并对由相应重建形成的图像像素进行对齐或交错，观察者所感知的图像具有更高的填充因子，从而具有更高的分辨率。
从下面的详细描述中将进一步理解这里公开的新方法的这些和其他优点。
这里使用的术语“引擎”是指用于执行一个或多个相关功能的处理部件。引擎可被实现为单个处理器或一组处理器或其部分，并且可以专用于执行相关的功能，或者可以是可配置/可编程的以执行多种功能。因此，多个不同的引擎可以在相同或不同的处理器中实现。
这里使用的术语“目标图像”是指这里描述的全息系统的输入。也就是说，目标图像是全息系统需要投影到全息重放平面上的图像。目标图像可以是图像序列中的一个图像，例如视频速率图像序列。
这里使用的术语“主图像”是指从目标图像导出的图像。主图像可以与目标图像相同，或者是目标图像的放大版本，或者是从目标图像导出的另一种类型的中间图像。当主图像是目标图像的放大版本时，主图像比目标图像包括更多的像素。可以采用任何放大技术。在一些实施例中，放大包括重复目标图像的像素值，如本文所述。在这些实施例中，计算引擎或处理器可以使用简单的映射方案来表示重复。
术语“次图像”在此用于指从主图像导出的多个图像之一。每个次图像是通过对主图像进行子采样(也称为“欠采样”)而形成的。每个次图像包括比源图像更少的像素。这里描述的次图像的像素值是通过在规则的采样位置阵列(比如棋盘阵列或其他采样位置图案)对主图像的像素值进行采样而导出的。值得注意的是，当主图像是目标图像的放大版本时，用于形成主图像的放大过程不同于用于从主图像形成每个次图像的子采样技术。次图像各自不同于主图像，但可选地，它们可以具有相同数量的像素。计算对应于每个次图像的全息图。
术语“全息图”用于指代包含关于物体的振幅信息或相位信息或其某种组合的记录。术语“全息重建”用于指代通过照射全息图而形成的物体的光学重建。本文中公开的系统被描述为“全息投影仪”，因为全息重建是真实图像并且与全息图在空间上分离。术语“重放场”用于指代在其内形成全息重建并完全聚焦的2D区域。如果将全息图显示在包括像素的空间光调制器上，则重放场将以多个衍射级的形式重复，其中每个衍射级是零级重放场的副本。零级重放场通常对应于优选或主重放场，因为它是最亮重放场。除非另有明确说明，术语“重放场”应被认为是指零级重放场。术语“重放平面”用于指代包含所有重放场的空间中的平面。术语“图像”、“重放图像”和“图像区域”指通过全息重建的光照射的重放场的区域。在一些实施例中，“图像”可包括离散点，其可被称为“图像点”，或仅出于方便起见而被称为“图像像素”。
术语“编码”、“写入”和“寻址”用于描述向SLM的多个像素提供分别确定每个像素的调制水平的相应多个控制值的过程。可以说，SLM的像素配置为响应于接收到多个控制值而“显示”光调制分布。因此，可以说SLM“显示”全息图，并且全息图可被认为是光调制值或水平的阵列。
已经发现，可以从仅包含与原始物体的傅立叶变换相关的相位信息的“全息图”形成可接受质量的全息重建。这样的全息记录可被称为纯相位全息图。实施例涉及纯相位全息图，但本公开同样适用于纯振幅全息图。
本公开也同样适用于使用与原始物体的傅立叶变换相关的振幅和相位信息来形成全息重建。在一些实施例中，这是通过使用包含与原始物体有关的振幅和相位信息的所谓全复数全息图的复数调制来实现的。因为分配给全息图的每个像素的值(灰度级)具有振幅和相位分量，所以这种全息图可被称为全复数全息图。分配给每个像素的值(灰度级)可以表示为具有振幅和相位分量的复数。在一些实施例中，计算全复数计算机生成的全息图。
可以参考计算机生成的全息图或空间光调制器的像素的相位值、相位分量、相位信息或者简单地说是相位，作为“相位延迟”的简写。即，所描述的任何相位值实际上是代表该像素提供的相位延迟量的数字(例如在0至2π范围内)。例如，空间光调制器的描述为具有π/2相位值的像素将使接收光的相位延迟π/2弧度。在一些实施例中，空间光调制器的每个像素可以多个可能的调制值(例如相位延迟值)中的一个操作。术语“灰度级”可以用来指多个可用的调制水平。例如，术语“灰度级”可以为了方便而用于指代纯相位调制器中的多个可用相位水平，即使不同的相位水平没有提供不同的灰色阴影。为了方便起见，术语“灰度级”也可以用来指复数调制器中的多个可用复数调制水平。
因此，全息图包括灰度级阵列，即光调制值阵列，比如相位延迟值或复数调制值阵列。全息图也被认为是衍射图案，因为它是当在空间光调制器上显示并且用波长相对于(通常小于)空间光调制器的像素间距的光照射时引起衍射的图案。本文中参考将全息图与其他衍射图案比如用作透镜或光栅的衍射图案组合。例如，可以将用作光栅的衍射图案与全息图组合以在重放平面上平移重放场，或者可以将用作透镜的衍射图案与全息图组合以将全息重建聚焦在近场中的重放平面上。
为了简单起见，在下面的描述中，提到由显示设备(例如空间光调制器(SLM))显示“全息图”时，意在包括衍射图案的显示，该衍射图案包括与光栅和/或透镜函数相结合的全息图。
尽管可以在下面的详细描述中分别公开不同的实施例和实施例组，但任何实施例或实施例组的任何特征可以与任何实施例或实施例组的任何其他特征或特征的组合相结合。即，设想了本公开中所公开的特征的所有可能的组合和置换。
附图说明
仅参考以下附图以示例的方式描述特定实施例：
图1是示出在屏幕上产生全息重建的反射型SLM的示意图；
图2A示出了示例Gerchberg-Saxton类型算法的第一迭代；
图2B示出了示例Gerchberg-Saxton类型算法的第二及后续迭代；
图2C示出了示例Gerchberg-Saxton类型算法的替代第二及后续迭代；
图3是反射型LCOS SLM的示意图；
图4示出了根据实施例的用于根据从用于投影的主图像导出的相应第一和第二次图像来确定一对全息图的示例技术；
图5示出了根据实施例的基于图4的示例技术的概括而通过顺序显示一对全息图产生的全息重建；
图6示出了根据比较示例的合成图像，其由多个全息图的全息重建的相应图像像素阵列形成，该多个全息图由从用于投影的主图像导出的相应次图像确定；
图7A示出了由一对全息图的全息重建的图像像素阵列形成的合成图像，该对全息图由从用于投影的主图像导出的相应次图像确定，其中相应图像像素阵列对齐成在第一方向上延伸的图像像素行；
图7B示出了根据实施例的由图7A的合成图像和在与第一方向正交的第二方向上平移的图7A的合成图像的复制形成的图像；
图8示出了类似于图7A的合成图像，其由两对全息图的全息重建的图像像素阵列形成，该两对全息图由从用于投影的主图像导出的相应次图像确定，其中每对全息图的相应图像像素阵列对齐成在第一方向上延伸的图像像素行；以及
图9示出了根据实施例的由图8的合成图像和沿第二方向平移的图8的合成图像的复制形成的图像。
在所有附图中，相同的附图标记将用于指代相同或相似的部分。
具体实施方式
本发明不限于以下描述的实施例，而是扩展到所附权利要求的全部范围。即，本发明可以不同的形式实施且不应被解释为限于所描述的实施例，实施例出于说明的目的而阐述。
除非另有说明，单数形式的术语可以包括复数形式。
描述为形成在另一结构的上部/下部或者在另一结构之上/之下的结构应被解释为包括结构彼此接触的情况，此外，还包括在它们之间设置第三结构的情况。
在描述时间关系时，例如当事件的时间顺序描述为“之后”、“随后”、“下一个”、“之前”等时，本公开应被认为包括连续和非连续事件，除非另有说明。例如，除非使用诸如“刚好”、“紧邻”或“直接”等措辞，否则描述应被视为包括不连续的情况。
尽管本文可以使用术语“第一”、“第二”等来描述各种元件，但这些元件不受这些术语的限制。这些术语仅用于区分各个元件。例如，在不脱离所附权利要求的范围的情况下，第一元件可被称为第二元件，类似地，第二元件可被称为第一元件。
不同实施例的特征可以部分或整体地彼此耦合或组合，并且可以彼此不同地互操作。一些实施例可以彼此独立地执行，或者可以相互依存的关系一起执行。
光学配置
图1示出了其中计算机生成的全息图被编码在单个空间光调制器上的实施例。计算机生成的全息图是用于重建的物体的傅立叶变换。因此，可以说全息图是物体的傅立叶域或频域或光谱域表示。在该实施例中，空间光调制器是反射型硅基液晶“LCOS”器件。全息图在空间光调制器上编码，并且在重放场(例如，诸如屏幕或漫射器的光接收表面)处形成全息重建。
光源110(例如激光或激光二极管)设置成经由准直透镜111照射SLM140。准直透镜使光的大致平面波前入射在SLM上。在图1中，波前的方向是偏离法线的(例如与真正正交于透明层的平面偏离两度或三度)。然而，在其他实施例中，大致平面波前以法向入射提供，并且分束器布置用于分离输入和输出光学路径。在图1所示的实施例中，该布置使得来自光源的光从SLM的镜面后表面反射出并与光调制层相互作用以形成出射波前112。出射波前112被施加到包括傅立叶变换透镜120的光学器件，傅立叶变换透镜120的焦点位于屏幕125处。更具体地，傅立叶变换透镜120接收来自SLM 140的调制光束，并执行频率-空间变换以在屏幕125处产生全息重建。
值得注意的是，在这种类型的全息图中，全息图的每个像素都有助于整个重建。重放场上的特定点(或图像像素)与特定的光调制元件(或全息图像素)之间没有一对一的相关性。换句话说，离开光调制层的调制光分布在整个重放场上。
在这些实施例中，全息重建在空间中的位置由傅立叶变换透镜的屈光度(聚焦)确定。在图1所示的实施例中，傅立叶变换透镜是物理透镜。即，傅立叶变换透镜是光学傅立叶变换透镜，并且以光学方式执行傅立叶变换。任何透镜都可以充当傅立叶变换透镜，但透镜的性能将限制其执行的傅立叶变换的准确性。技术人员理解如何使用透镜来执行光学傅立叶变换。
全息图计算
在一些实施例中，计算机生成的全息图是傅立叶变换全息图，或者简单地是傅立叶全息图或基于傅立叶的全息图，其中通过利用正透镜的傅立叶变换特性在远场中重建图像。通过将重放平面中的所需光场傅立叶变换回透镜平面来计算傅立叶全息图。可以使用傅立叶变换来计算计算机生成的傅立叶全息图。
可以使用算法(例如Gerchberg-Saxton算法)来计算傅立叶变换全息图。此外，Gerchberg-Saxton算法可用于根据空间域(比如照片)中的纯振幅信息来计算傅立叶域中的全息图(即傅立叶变换全息图)。从空间域中的纯振幅信息中有效地“检索出”与物体有关的相位信息。在一些实施例中，使用Gerchberg-Saxton算法或其变型从纯振幅信息计算计算机生成的全息图。
Gerchberg-Saxton算法考虑了当已知分别在平面A和B中的光束的强度截面IA(x,y)和IB(x,y)并且IA(x,y)和IB(x,y)通过单个傅立叶变换关联时的情况。对于给定的强度横截面，分别求出了平面A和B中的相位分布的近似值ΨA(x,y)和ΨB(x,y)。Gerchberg-Saxton算法通过遵循迭代过程求出该问题的解。更具体地，Gerchberg-Saxton算法迭代地应用空间和频谱约束，同时在空间域和傅立叶(频谱或频率)域之间重复传输代表IA(x,y)和IB(x,y)的数据集(振幅和相位)。通过算法的至少一次迭代获得频谱域中的相应计算机生成的全息图。该算法是收敛的并且布置为产生表示输入图像的全息图。全息图可以是纯振幅全息图、纯相位全息图或全复数全息图。
在一些实施例中，纯相位全息图是使用基于Gerchberg-Saxton算法的算法来计算的，比如在英国2,498,170或2,501,112号专利中描述的算法，所述专利的全部内容通过引用结合于此作为参考。然而，本文公开的实施例仅通过示例的方式描述计算纯相位全息图。在这些实施例中，Gerchberg-Saxton算法检索数据集的傅立叶变换的相位信息Ψ[u,v]，其产生已知的振幅信息T[x,y]，其中振幅信息T[x,y]代表目标图像(例如照片)。由于幅度和相位在傅立叶变换中本质上是结合的，因此变换后的幅度和相位包含有关计算数据集的准确性的有用信息。因此，算法可以与振幅和相位信息的反馈一起迭代使用。然而，在这些实施例中，纯相位信息Ψ[u,v]用作全息图，以在图像平面处形成目标图像的全息表示。全息图是相位值的数据集(例如2D阵列)。
在其他实施例中，基于Gerchberg-Saxton算法的算法用于计算全复数全息图。全复数全息图是具有幅度分量和相位分量的全息图。全息图是包括复数数据值阵列的数据集(例如2D阵列)，其中每个复数数据值包括幅度分量和相位分量。
在一些实施例中，算法处理复数数据，并且傅立叶变换是复数傅立叶变换。可以将复数数据视为包括(i)实数分量和虚数分量，或(ii)幅度分量和相位分量。在一些实施例中，复数数据的两个分量在算法的各个阶段被不同地处理。
图2A示出了根据一些实施例的用于计算纯相位全息图的算法的第一迭代。算法的输入是包括像素或数据值的2D阵列的输入图像210，其中每个像素或数据值是幅度值或振幅值。也就是说，输入图像210的每个像素或数据值不具有相位分量。因此，输入图像210可被视为仅幅度或纯振幅或仅强度分布。这样的输入图像210的示例是照片或包括帧时间序列的视频的一帧。算法的第一迭代从数据形成步骤202A开始，该步骤包括使用随机相位分布(或随机相位种子)230将随机相位值分配给输入图像的每个像素，以形成起始复数数据集，其中数据集的每个数据元素包括幅度和相位。可以说，起始复数数据集代表了空间域中的输入图像。
第一处理块250接收起始复数数据集并执行复数傅立叶变换以形成傅立叶变换的复数数据集。第二处理块253接收傅立叶变换的复数数据集并输出全息图280A。在一些实施例中，全息图280A是纯相位全息图。在这些实施例中，第二处理块253量化每个相位值并将每个振幅值设置为1，以便形成全息图280A。根据可以在空间光调制器的将用于“显示”纯相位全息图的像素上表示的相位水平来量化每个相位值。例如，如果空间光调制器的每个像素提供256个不同的相位水平，则将全息图的每个相位值量化为256个可能相位水平中的一个相位水平。全息图280A是代表输入图像的纯相位傅立叶全息图。在其他实施例中，全息图280A是全复数全息图，其包括从接收的傅立叶变换的复数数据集导出的复数数据值(每个包括振幅分量和相位分量)阵列。在一些实施例中，第二处理块253将每个复数数据值约束到多个可允许复数调制水平中的一个以形成全息图280A。约束步骤可以包括将每个复数数据值设置为复数平面中最接近的可允许复数调制水平。可以说全息图280A代表频谱或傅立叶或频域中的输入图像。在一些实施例中，算法在该点处停止。
然而，在其他实施例中，算法继续，如图2A中的虚线箭头所示。换句话说，遵循图2A中的虚线箭头的步骤是可选的(即并非对所有实施例都是必不可少的)。
第三处理块256从第二处理块253接收修改的复数数据集，并执行逆傅立叶变换以形成逆傅立叶变换的复数数据集。可以说逆傅立叶变换的复数数据集代表空间域中的输入图像。
第四处理块259接收逆傅立叶变换的复数数据集，并提取幅度值211A的分布和相位值213A的分布。可选地，第四处理块259评估幅度值211A的分布。具体地，第四处理块259可以将逆傅立叶变换的复数数据集的幅度值211A的分布与输入图像510进行比较，输入图像510本身当然是幅度值的分布。如果幅度值211A的分布与输入图像210之间的差足够小，则第四处理块259可以确定全息图280A是可接受的。也就是说，如果幅度值211A的分布与输入图像210之间的差足够小，则第四处理块259可以确定全息图280A是输入图像210的足够准确表示。在一些实施例中，为了比较的目的，忽略了逆傅立叶变换的复数数据集的相位值213A的分布。将理解的是，可以采用任何数量的不同方法来比较幅度值211A的分布和输入图像210，并且本公开不限于任何特定方法。在一些实施例中，计算均方差，并且如果均方差小于阈值，则认为全息图280A是可接受的。如果第四处理块259确定全息图280A是不可接受的，则可以执行算法的进一步迭代。然而，该比较步骤不是必需的，并且在其他实施例中，执行的算法的迭代次数是预定的或预设的或用户定义的。
图2B表示算法的第二迭代以及算法的任何进一步迭代。通过算法的处理块来反馈先前迭代的相位值213A的分布。拒绝幅度值211A的分布，有利于输入图像210的幅度值的分布。在第一迭代中，数据形成步骤202A通过将输入图像210的幅度值的分布与随机相位分布230相结合来形成第一复数数据集。然而，在第二和后续迭代中，数据形成步骤202B包括通过将(i)来自算法的先前迭代的相位值213A的分布与(ii)输入图像210的幅度值的分布相结合来形成复数数据集。
然后，以参照图2A描述的相同方式处理由图2B的数据形成步骤202B形成的复数数据集，以形成第二迭代全息图280B。因此，此处不重复对该过程的说明。当已经计算了第二迭代全息图280B时，算法可以停止。然而，可以执行该算法的任何数量的进一步迭代。将理解的是，仅在需要第四处理块259或需要进一步迭代时才需要第三处理块256。输出全息图280B通常随着每次迭代而变得更好。然而，实际上，通常会达到无法观察到可测量的改进的点，或者执行进一步迭代的正面好处被额外处理时间所带来的负面影响抵消。因此，该算法被描述为迭代和收敛的。
图2C表示第二和后续迭代的替代实施例。通过算法的处理块来反馈先前迭代的相位值213A的分布。拒绝幅度值211A的分布，有利于幅度值的替代分布。在该替代实施例中，幅度值的替代分布是从先前迭代的幅度值211的分布中导出的。具体地，处理块258从先前迭代的幅度值211的分布中减去输入图像210的幅度值的分布，通过增益因子α缩放该差，并从输入图像210中减去经缩放的差。这在数学上通过以下等式来表述，其中下标文本和数字表示迭代次数：
Rn+1[x,y]＝F'{exp(iψn[u,v])}
ψn[u,v]＝∠F{η·exp(i∠Rn[x,y])}
η＝T[x,y]-α(|Rn[x,y]|-T[x,y])
其中：
F'是逆傅立叶变换；
F是正向傅立叶变换；
R[x,y]是第三处理块256输出的复数数据集；
T[x,y]是输入或目标图像；
∠是相位分量；
Ψ是纯相位全息图280B；
η是幅度值211B的新分布；以及
α是增益因子。
增益因子α可以是固定的或可变的。在一些实施例中，基于输入目标图像数据的大小和速率来确定增益因子α。在一些实施例中，增益因子α取决于迭代次数。在一些实施例中，增益因子α仅是迭代次数的函数。
在所有其他方面，图2C的实施例与图2A和图2B的实施例相同。可以说，纯相位全息图Ψ(u,v)包括频率或傅立叶域中的相位分布。
在一些实施例中，使用空间光调制器执行傅立叶变换。具体地，全息图数据与提供光焦度的第二数据组合。也就是说，写入空间光调制的数据包括表示物体的全息图数据和表示透镜的透镜数据。当显示在空间光调制器上并用光照射时，透镜数据会模拟物理透镜—即它以与相应物理光学元件相同的方式将光聚焦。因此，透镜数据提供了光焦度或聚焦功率。在这些实施例中，可以省略图1的物理傅立叶变换透镜120。已知如何计算代表透镜的数据。代表透镜的数据可以称为软件透镜。例如，纯相位透镜可以通过计算由透镜的每个点由于其折射率和空间变化的光学路径长度而引起的相位延迟来形成。例如，在凸透镜的中心的光学路径长度大于透镜边缘处的光学路径长度。纯振幅透镜可以由菲涅耳波带片形成。在计算机生成的全息术领域中，还已知如何将代表透镜的数据与全息图相结合，从而可以在不需要物理傅立叶透镜的情况下执行全息图的傅立叶变换。在一些实施例中，通过简单的加法比如简单的矢量加法将透镜化数据与全息图结合。在一些实施例中，物理透镜与软件透镜结合使用以执行傅立叶变换。可替代地，在其他实施例中，完全省略傅立叶变换透镜，使得全息重建在远场中发生。在进一步的实施例中，全息图可以相同的方式与光栅数据—即布置成执行光栅函数(比如图像转向)的数据结合。同样，在本领域中已知如何计算这样的数据。例如，可以通过对由闪耀光栅的表面上的每个点引起的相位延迟进行建模来形成纯相位光栅。纯振幅光栅可以简单地与纯振幅全息图叠加以提供全息重建的角度转向。提供透镜化和/或转向的第二数据可被称为光处理函数或光处理图案，以与可被称为图像形成函数或图像形成图案的全息图数据区分开。
在一些实施例中，傅立叶变换由物理傅立叶变换透镜和软件透镜联合执行。也就是说，由软件透镜提供有助于傅立叶变换的一些光焦度，而由一个或多个物理光学器件提供有助于傅立叶变换的其余光焦度。
在一些实施例中，提供了一种实时引擎或处理器，其布置为使用算法接收图像数据并实时计算全息图。在一些实施例中，图像数据是包括图像帧序列的视频。在其他实施例中，全息图被预先计算，存储在计算机存储器中并且根据需要被调出以在SLM上显示。也就是说，在一些实施例中，提供了预定全息图的储存库。
实施例仅通过示例的方式涉及傅立叶全息术和Gerchberg-Saxton类型算法。本公开同样适用于可通过类似方法计算的菲涅耳全息术和菲涅耳全息图。本公开还可适用于通过其他技术计算的全息图，比如基于点云方法的技术。
光调制
可以使用空间光调制器来显示包括计算机生成的全息图的衍射图案。如果全息图是纯相位全息图，则需要调制相位的空间光调制器。如果全息图是全复数全息图，则可以使用调制相位和振幅的空间光调制器，或者可以使用调制相位的第一空间光调制器和调制振幅的第二空间光调制器。
在一些实施例中，空间光调制器的光调制元件(即像素)是包含液晶的单元。也就是说，在一些实施例中，空间光调制器是其中的光学活性成分是液晶的液晶装置。每个液晶单元配置为选择性地提供多个光调制水平。也就是说，每个液晶单元在任何时候配置为以从多个可能的光调制水平中选择的一个光调制水平操作。每个液晶单元可动态地重新配置为多个光调制水平中的另一个光调制水平。在一些实施例中，空间光调制器是反射型硅基液晶(LCOS)空间光调制器，但本公开不限于这种类型的空间光调制器。
LCOS器件在小孔径(例如几厘米宽)内提供密集的光调制元件或像素阵列。像素通常约为10微米或更小，这导致几度的衍射角，意味着光学系统可以是紧凑的。充分照射LCOSSLM的小孔径比其他液晶装置的大孔径要容易得多。LCOS器件通常是反射性的，这意味着驱动LCOS SLM像素的电路可以埋在反射表面下。这导致更高的孔径比。换句话说，像素密集地填塞，意味着像素之间几乎没有死区。这是有利的，因为它减少了重放场中的光学噪声。LCOS SLM使用硅背板，其优点是像素是光学平坦的。这对于相位调制装置特别重要。
下面仅以举例的方式，参考图3来描述合适的LCOS SLM。使用单晶硅基板302形成LCOS器件。它具有方形平面铝电极301的2D阵列，由间隙301a间隔开，布置在基板的上表面上。可以通过掩埋在基板302中的电路302a来对每个电极301进行寻址。每个电极形成各自的平面镜。取向层303设置在电极阵列上，液晶层304设置在取向层303上。第二取向层305设置在例如由玻璃制成的平面透明层306上。例如由ITO制成的单个透明电极307设置在透明层306和第二取向层305之间。
每个方形电极301与透明电极307的覆盖区域和中间液晶材料一起限定可控相位调制元件308，通常称为像素。考虑到像素301a之间的空间，有效像素面积或填充因子是光学上活性的总像素的百分比。通过控制相对于透明电极307施加到每个电极301的电压，可以改变各个相位调制元件的液晶材料的特性，从而为入射在其上的光提供可变延迟。效果是向波前提供纯相位调制，即不出现振幅效应。
所描述的LCOS SLM以反射方式输出空间调制光。反射型LCOS SLM具有的优势在于，信号线、光栅线和晶体管位于镜面之下，这导致高填充因子(通常大于90％)和高分辨率。使用反射型LCOS空间光调制器的另一优势在于，液晶层的厚度可以是使用透射型器件时所需厚度的一半。这大大提高了液晶的切换速度(投影运动视频图像的关键优势)。然而，本公开的教导同样可以使用透射型LCOS SLM来实现。
使用采样位置阵列进行采样
图4示出了根据实施例的用于根据从主图像导出的相应次图像1和2确定一对全息图H1和H2的示例技术。在该示例中，主图像是高分辨率源图像，其可以是如本文所述的目标图像的放大版本。为简单起见，下面的描述指的是源图像(而不是主图像)。
参考图4，包括4×8图像像素阵列的示例源图像(在图的顶部示出)被处理(例如通过图像处理引擎)以基于以“棋盘”布局或图案布置的采样位置阵列生成一对次图像1和2(在图的中间示出)。使用以第一棋盘图案的第一采样位置阵列来生成第一次图像1。因此，通过采样以第一棋盘图案的源图像的每隔一个图像像素的像素值并用“零”填充剩余像素来生成第一次图像1。在整个本公开中，术语“采样”和“子采样”可互换使用来表示相同意思。前缀“子”有时仅用于强调输出图像(即次图像)比输入图像(即主图像或源图像)具有更少的像素。因此，次图像1包括来自源图像在位置(1,1),(1,3)…(2,2),(2,4)…(3,1),(3,3)…和(4,2)…(4,8)处的图像像素值。使用以与第一棋盘图案对立或相反的第二棋盘图案的第二采样位置阵列来生成第二次图像2。因此，第二采样位置阵列对与第一采样位置阵列的源图像的对立、相反或互补的图像像素进行子采样。因此，通过对以与第一棋盘图案对立(即相反)的第二棋盘图案的源图像的每隔一个图像像素的像素值进行子采样并用“零”填充剩余像素来生成第二图像2。因此，次图像2包括来自源图像在位置(1,2),(1,4)…(2,1),(2,3)…(3,2),(3,4)…和(4,1)…(4,7)处的图像像素值。
因此，可以说，通过在对应于第一棋盘图案的规则采样位置阵列对源图像的像素值进行子采样并将其他(未采样的)像素值置零来生成第一次图像1，并且通过在对应于第二相反棋盘图案的规则采样位置阵列对主图像的像素值进行子采样并将其他(未采样的)像素值置零来生成第二次图像2。
然后，每个次图像1和2被处理(例如通过全息图引擎)以确定对应的全息图H1、H2(在附图的底部示出)。可以使用任何合适的方法来计算全息图，例如上述算法。
在所示的示例中，通过采样源图像的各个像素值来执行使用以棋盘图案的采样位置阵列的采样(即使用对应于棋盘图案的采样位置阵列的子采样)。如技术人员将理解，这可以扩展到使用对应于棋盘图案的采样位置阵列来采样源图像的像素值的组或簇(例如使用采样窗口和/或核等)。在2019年8月23日提交的共同未决的英国GB1912168.0号专利申请中描述了对源图像的像素值的组或簇进行采样的示例，其公开内容通过引用结合于此。此外，本领域技术人员将理解，采样位置图案不需要采取棋盘图案或布局的形式。相反，在每个采样位置阵列中使用的采样位置图案可以根据要在重放平面上形成的图像像素的期望数量和空间交错来选择，以再现原始图像。
图5示出了基于图4所示的示例技术的归纳而通过顺序显示全息图H1和H2产生的全息重建。
具体而言，图5示出了由对应于以第一棋盘图案的第一次图像1(在图的左手侧示出)的第一全息图H1的第一全息重建形成的图像像素子集。图5示出了由对应于以与第一棋盘图案对立或相反的第二棋盘图案的第二次图像2(在图的中间示出)的第二全息图H2的第二全息重建形成的图像像素子集。通过用第一棋盘图案采样源图像的像素(例如在奇数行中采样奇数像素，在偶数行中采样偶数像素)并将其他(未采样的)像素置零来导出第一次图像1。通过用第二棋盘图案对源图像的像素(或像素组/簇)进行采样(例如对奇数行中的偶数像素进行采样，对偶数行中的奇数像素进行采样)并将其他(未采样的)像素置零来导出第二次图像2。图5进一步示出了通过在人眼(在图的右侧示出)的积分时间内依次形成第一和第二全息重建而呈现给观察者的组合或复合全息重建。在图5所示的合成全息重建中，第一和第二全息重建的图像像素在重放场上空间交错。特别地，第二全息重建的图像像素与第一全息重建的图像像素对角交错。因此，第二全息重建的图像像素填充第一全息重建的图像像素之间的间隙。这可被称为“棋盘化”或“对角线交错”。
通过使用上述根据棋盘图案对源图像的交替图像像素进行子采样的方法，图5所示的每个单独全息重建的图像像素(或“图像像素”)之间的间距通过减少H1和H2中的全息图像素的数量增加了一倍或两倍。可以说每个全息重建的空间分辨率(即重放场中的图像像素密度)降低了两倍。如本文所述，通过使用(例如添加)相位斜坡或软件光栅函数，可以将两个全息重建交错在一起，以将一个全息重建相对于另一个平移，使得一个重建的图像像素填充另一个重建的图像像素之间的间隙。这是有利的，因为它有助于防止相邻图像像素之间的任何重叠(即它减少或防止“像素串扰”)。如上所述，相邻图像像素或图像像素的重叠会产生干扰，对观察者来说表现为颗粒/噪声。此外，通过使第一和第二全息图H1和H2的显示时间交错，依次而不是同时形成第一和第二全息重建，这种干涉可被最小化。
在实施例中，每个全息图H1和H2可以足够快的速度顺序写入SLM且因此显示在其上，从而在人眼的积分时间内形成相应的全息重建。为了便于描述，可以说全息图H1、H2的每个全息图是“快速连续地”显示在SLM上的。特别地，对应于多个次图像的全息图H1、H2在对应于一帧的时间段(“帧间隔”)内顺序显示在SLM上。因此，观看形成全息重建的重放场的观察者看到的是单个投影图像，而不是对应于一个接一个形成的多个全息重建的动态变化的投影图像。因此，投影图像看起来是源图像的忠实且完整的重建。
本领域技术人员将理解，虽然图4和5示出了从源图像生成两个次图像，但也可以生成三个或更多个次图像并计算相应的全息图。这可以通过增加源图像的采样图像像素(或像素组/簇)之间的间隔(未采样像素的数量)，从而增加采样位置的棋盘图案或阵列的数量，使用“棋盘化”或“对角交错”来实现。例如，可以使用采样位置的三个棋盘图案/阵列，每个棋盘图案在每行/列中每三个像素进行采样，以从源图像生成三个次图像，等等。
因此，可以通过使用以棋盘型图案布置的N个采样位置阵列对源图像进行子采样，从而对每第N个图像像素进行子采样，来生成次图像。因此，采样位置阵列内的每个采样位置与阵列内的相邻采样位置相隔(N-1)个像素。当使用“棋盘化”或“对角交错”时，每个阵列中的采样位置在x和y方向上都间隔开(N-1)个像素，以形成在x和y方向上都对称的棋盘型图案。然而，这种方法的变体包括其中采样位置之间的像素间距在x和y方向上不同的阵列。在此描述了示例，并在上文的共同未决专利申请GB1912168.0中公开。
上述“采样”(或“子采样”)方法可以与任何合适的技术一起使用，用于从主或源图像生成多个次图像。
如技术人员将认识到，对应于SLM的主图像的次图像的每个全息图的显示可被认为是一帧的子帧，其中该帧在帧间隔内显示主图像。每帧的子帧数量取决于在合成图像中时间交错(或时间复用)在一起的全息重建(或重放图像)的数量。在实施例中，子帧的数量可以与次图像/全息图的数量相同。
“交错方案”可以定义用于从对应于用于投影的目标图像的主图像中导出多个次图像的子采样方案。交错方案可以进一步定义对应于多个次图像的全息图或子帧的显示顺序或次序。最后，交错方案可以定义全息重建的图像像素的空间交错，即相对位置或位移，这由相位斜坡或软件光栅函数控制，如本文所述。
如本领域技术人员将理解，由对应于次图像的子帧形成的全息重建的空间交错导致在重放场的合成全息重建，其应该对应于主图像或帧。因此，根据在帧间隔中形成的子帧的图像像素的期望分辨率和空间交错来选择用于从主图像生成次图像的子采样方案(即子采样位置的阵列和像素的子采样类型)，以再现主图像。
比较示例
图6示出了比较示例的多个全息图的合成全息重建的图像像素子集。在比较示例中，显示设备在传统的“横向格式”配置中是矩形的(即x方向比y方向长)。图6示出了全息图的相应全息重建的四组图像像素610、620、630、640的子集，全息图对应于从用于投影的主图像中导出的四个次图像。因此，交错方案包括在SLM上快速连续显示四个全息图，这意味着每帧至少有四个不同的子帧。如本领域技术人员将理解，在刷新率足够快的情况下，可以每帧显示对应于四个全息图的附加复制子帧。
可以使用包括如上所述的N个采样位置阵列的子采样方法来导出每个次图像，其中N＝4。具体地，每个次图像可以根据对应于四个棋盘图案之一的采样位置阵列对主图像的像素值(或像素值组)进行子采样。阵列的采样位置的棋盘图案对应于全息重建的图像像素的空间交错，如图6所示。具体地说，成对相应全息重建是对角交错的，而不同对全息重建的图像像素是对齐的，这将在下面进一步描述。采样位置阵列的图案的进一步细节在此未揭示。在这个示例中，每个采样位置阵列布置成(n×n)方形阵列。阵列中的每个采样位置在第一方向上与相邻的采样位置相隔三个像素位置。换句话说，当对源图像的各个像素值进行采样时，在第一方向上对主图像的每第四个像素值进行采样，以形成每个次图像，并且其他(未采样的)像素从次图像中省略(或置零)。当在采样位置对源图像的像素值组进行采样时，从每组像素值确定次图像的单个像素值。因此，每个次图像包括(n×n)个像素，并且从次图像计算的每个全息图包括(n×n)个全息图像素。因此，每个全息重建在重放场中形成(n×n)图像像素阵列。
在图6的比较示例中，由于显示设备的矩形孔径在“横向格式”定向上的衍射，每个全息重建的图像像素在第二方向(即y方向)上比在第一方向(即x方向)上更长。此外，每个全息重建的图像像素在第二方向(即y方向)上比在第一方向(即x方向)上更密集地填塞。因此，在每个全息重建中，在第二方向(即y方向)上延伸的图像像素行之间存在间隙。例如，如图6所示，在第一全息重建的图像像素610的相邻列之间存在水平间隙。
图6所示的四个全息重建的空间交错导致每个全息重建的相邻图像像素行在第二方向(即y方向/列)上延伸，其他三个全息重建的三行图像像素插入其间。因此例如，第二、第三和第四全息重建的三列图像像素620、630、640插入第一全息重建的两个相邻列图像像素610之间。然而，在第一方向(即x方向/行)上延伸的每个全息重建的图像像素行的相邻图像像素具有插入其间的其他全息重建之一的图像像素。因此，在第一方向(即x方向)上延伸的一对全息重建的交替图像像素行在第二方向(即y方向)上对齐。因此，只有在第一方向上延伸的一对全息重建的一行交替图像像素插入在第一方向上延伸的另一对全息重建的相邻行交替图像像素之间。因此例如，包括第二和第四全息重建的交替图像像素620、640的单行图像像素插入在包括第一和第三全息重建的交替图像像素610、630的相邻图像像素行之间。
如本领域技术人员将理解，第一至第四全息重建的图像像素的上述空间交错与用于确定对应次图像的子采样方案一致，在此不详细描述。因此，全息重建的图像像素在重放场中的空间交错导致相应次图像的像素被正确地定位在合成全息重建中，从而与主图像相对应(即表示或再现主图像)。
如本文所述，通过使用相位斜坡或软件光栅函数来控制全息重建在重放平面上的位置，例如通过在第一方向(即x方向)添加光栅函数和在第二方向(即y方向)添加光栅函数，来实现相应第一至第四全息重建的图像像素的空间交错。
由于上述交错方案，复合重建在第一方向(即x方向)具有4n图像像素，在第二方向(即y方向)具有2n图像像素，这对应于高纵横比。然而，如上所述，复合重建的空间交错图像像素在第二方向(即y方向)上是伸长的。因此，各个图像像素不与在重放场中形成的图像像素的纵横比的定向对齐。
第一实施例–使用两个全息图的交错方案
参考图7A和7B描述了本公开的第一实施例。在第一实施例中，与上述比较示例相比，重放场或图像平面旋转了90度。这导致每个全息重建的图像像素在第一方向(即x方向)比在第二方向(即y方向)更长。这种旋转可以使用在第二方向(即y方向)比第一方向(即x方向)长的矩形孔径来实现，例如以“纵向格式”定向的矩形显示设备。
图7A示出了多个全息图的组合或复合全息重建的图像像素子集。具体而言，图7A示出了对应于从用于投影的主图像导出的第一和第二次图像的全息图的相应第一和第二全息重建的第一和第二组图像像素710、720的子集。因此，交错方案包括在SLM上快速连续地显示第一和第二全息图(即在一个帧间隔内)，这意味着每帧(至少)有两个子帧。
如上所述，可以通过使用规则采样位置阵列对主图像进行子采样来导出每个次图像。具体而言，通过使用第一采样位置阵列对主图像进行子采样以在第一方向上对第一交替像素位置处的单个像素或像素组进行子采样(例如奇数像素)来生成第一次图像，并且通过使用第二采样位置阵列对主图像进行子采样以在第一方向上对对立或相反交替像素位置处的单个像素或像素组进行子采样(例如偶数像素)来生成第二次图像。在这个示例中，每个阵列中在第一方向上延伸的采样位置行是相同的。因此，第一采样位置和第二采样位置在第一方向上插入，但在第二方向上对齐。这与图5中具有相反棋盘图案的一对阵列的采样位置形成对比，在图5中，第一采样位置和第二采样位置插入在第一和第二两个方向上。
根据所示实施例，每个第一和第二次图像包括(n×n)像素，因此每个全息图包括(n×n)全息图像素。如本文所述，在SLM上快速连续地(即在一帧间隔内)生成并显示对应于第一和第二次图像的全息图，直到在重放平面上形成第一和第二全息重建。因此，每个第一和第二全息重建在重放场中形成(n×n)图像像素阵列或图像像素。
如上所述，对应于第一次图像的第一全息图的第一全息重建的第一图像像素与对应于第二次图像的第二全息图的第二全息重建的第二图像像素在空间上交错，具体而言是在第一方向上插入或“横向交错”，使得合成全息重建对应于主图像。因此，主图像的合成全息重建包括(2n×n)图像像素阵列。因此，复合全息重建包括具有高纵横比的图像像素阵列(即第一/x方向上的像素多于第二/y方向上的像素)。此外，图像像素的形状与在重放场中形成的复合全息重建的图像像素阵列对齐。
第一和第二全息重建的复合全息重建包括在第一方向上插入第一全息重建的第一图像像素710之间的第二全息重建的第二图像像素720(反之亦然)。因此，在图7A所示的实施例中，合成全息重建包括多行交替的第一图像像素710和第二图像像素720。因为图像像素710、720在第一方向上较长，所以第一方向上的图像像素之间的间隔减小。可以说图像像素在第一方向上更密集地填塞。此外，在第一方向上延伸的多行交替的第一图像像素710和第二图像像素720在第二方向上对齐。因此，第一图像像素710和第二图像像素720在第二方向上不插入。因为图像像素710、720在第二方向上更短，所以在第二方向上图像像素之间的间隔增加。这导致在第一方向上延伸的插入图像像素710、720行之间的间隙在第二方向上扩展。可以说图像像素在第二方向上不太密集地填塞。因此，在图7A所示的实施例中，合成全息重建包括交替的第一图像像素710和第二图像像素720的对齐行之间的间隙。这种在第二方向上增加的间距是不希望的，因为它导致在第二方向上图像像素密度降低，并且可能出现间隙，从而导致图像质量降低。
发明人在此公开了一种新颖的交错方案。根据本公开的交错方案，SLM首先显示对应于从主图像生成的多个次图像的全息图序列，以形成对应于主图像的复合全息重建，并且随后(之后立即)显示全息图序列，以形成对应于主图像的复合全息重建的复制。复制复合全息重建相对于原始复合全息重建在重放平面上沿第二方向平移。因此，所公开的交错方案形成在第一方向上延伸的图像像素的复制行，其填充在第一方向上延伸的图像像素行之间的上述间隙，并且增加在第二方向上的像素的填充密度。特别地，复制复合全息重建的每个图像像素可以扩展原始复合全息重建的相应图像像素的长度。由于在复制复合全息重建的第一方向上的图像像素的复制行与在原始复合全息重建的第一方向上的图像像素行在不同的时间显示，像素间干扰或像素串扰被最小化。
图7B示出了应用于图7A的合成全息重建的图像像素子集的交错方案。特别地，图7B示出了对应于如图7A中的主图像的第一复合全息重建，以及对应于主图像的复制复合全息重建，其在重放平面上沿第二方向平移。
如上参考图7A所述，对应于主图像的原始复合全息重建包括对应于第一次图像的第一全息图的第一全息重建的第一图像像素710，其与对应于第二次图像的第二全息图的第二全息重建的第二图像像素720在空间上交错。此外，在图7B所示的第一实施例中，对应于主图像的复制复合全息重建包括对应于第一次图像的第一全息图的复制第一全息重建的第一图像像素710，其与对应于第二次图像的第二全息图的复制第二全息重建的第二图像像素720在空间上交错。与用于形成原始全息重建的衍射图案相比，在第二方向上的相位斜坡或光栅函数(例如y方向光栅)被添加到写入SLM的第一和第二全息图，以形成复制全息重建。因此，如图7B所示，复制复合全息重建在图7A所示的原始复合全息重建的每一行图像像素710、710下方形成了复制的交替第一和第二图像像素710、720行。因此，得到的对应于由交错方案形成的主图像的“双复合全息重建”包括(2n×n)图像像素阵列，其中图像像素在第二方向(即y方向)上被拉长。
如技术人员将理解，本公开的交错方案导致SLM每帧间隔显示的不同子帧的数量增加两倍，以产生对应于主图像的重复或复制复合全息重建。因此，在图7B的实施例中，每帧显示对应于两个全息图的(至少)四个不同的衍射图案—对每个全息图使用两个不同的软件光栅函数—而不是如图7A所示的两个。
如本领域技术人员将理解，第一实施例的交错方案可以扩展到这样的交错方案，其中SLM显示对应于从主图像生成的次图像的两个以上全息图，以实现图像像素的期望纵横比和填塞密度。
第二实施例–使用四个全息图的交错方案
参照图8和9描述了本公开的第二实施例。在根据第二实施例的交错方案中，子采样方案从主图像生成四个次图像，如图6的比较示例。这种交错方案可用于实现重建具有高纵横比(即第一/x方向上的像素多于第二/y方向上的像素)的主图像的图像像素阵列，与“宽屏”图像格式一致。
如同在第一实施例中，与图6的比较示例相比，第二实施例的重放场或图像平面旋转了90度。这导致每个全息重建的图像像素在第一方向(即x方向)比在第二方向(即y方向)更长。这种旋转可以使用在第二方向(即y方向)比第一方向(即x方向)更长的矩形孔径来实现。因此，如本文所述，图像像素的形状(即每个像素在第一/x方向比第二/y方向长)与在重放场中形成的图像像素阵列对齐(即该阵列在第一/x方向比第二/y方向具有更多像素)。
图8示出了多个四全息图的组合或复合全息重建的图像像素子集。具体而言，图8示出了对应于从用于投影的主图像导出的第一至第四次图像的全息图的相应第一至第四全息重建的第一至第四组图像像素810、820、830、840的子集。因此，交错方案包括在SLM上快速连续(即在一个帧间隔内)显示第一至第四全息图序列，这意味着每帧(至少)有四个子帧。
如上面参考图6所描述，第一至第四次图像中的每一个可以通过使用规则采样位置阵列对主图像进行子采样来导出。根据所示实施例，第一至第四次图像中的每一个包括(n×n)像素，因此每个全息图包括(n×n)全息图像素。对应于第一至第四次图像的全息图序列在SLM上快速连续(即在一个帧间隔内)产生并显示，从而在重放平面上形成第一至第四全息重建。因此，第一至第四全息重建中的每一个在重放场中形成(n×n)图像像素阵列。
如图8所示，第一至第四全息重建的空间交错形成了对应于主图像的合成全息重建。特别地，第一和第二全息重建的复合全息重建包括在第一方向上插入第一全息重建的第一图像像素810之间的第二全息重建的第二图像像素820(反之亦然)。此外，第三和第四全息重建的复合全息重建包括在第一方向上插入第三全息重建的第三图像像素830之间的第四全息重建的第四图像像素840(反之亦然)。因此，双复合全息重建包括(4n×2n)图像像素阵列。
与第一和第二全息重建的复合全息重建相比，第三和第四全息重建的复合全息重建在第二方向上空间偏移。因此，所得(或全部)复合全息重建包括在第一方向上延伸的多行交替的第三图像像素830和第四图像像素840，它们插入在第一方向上延伸的交替的第一图像像素810和第二图像像素820行之间。因此，这种方法结合了图像像素的横向交错和对角线交错。由于图像像素810、820、830和840在第一方向上较长，所以第一方向上的图像像素之间的间隔减小。可以说图像像素在第一方向上更密集地填塞。此外，在第一方向上延伸的多行交替的第一/第三图像像素和第二/第四图像像素在第二方向上对齐。因为图像像素810、820、830、840在第二方向上更短，所以在第二方向上图像像素行之间的间隔增加。可以说图像像素在第二方向上不太密集地填塞。这导致在第一方向上延伸的插入图像像素行之间的间隙在第二方向上扩展。因此，在图8所示的实施例中，合成全息重建包括交替的第一/第三图像像素和第二/第四图像像素的对齐行之间的间隙。
图9示出了如何在第二实施例中应用本公开的新颖交错方案。具体而言，图9示出了包括对应于图8中的主图像的第一至第四全息重建的第一复合全息重建，以及包括对应于在重放平面上沿第二方向平移的主图像的第一至第四全息重建的复制复合全息重建。
如上参考图8所述，原始复合全息重建包括在第一方向上延伸的多行交替的第三/第四图像像素830、840，它们插入在第一方向上延伸的多行交替的第一/第二图像像素810、820之间。此外，复制复合全息重建包括在第一方向上延伸的多行交替的第三/第四图像像素830、840，它们插入在第一方向上延伸的多行交替的第一/第二图像像素810、820之间。与用于形成原始全息重建的衍射图案相比，第二方向上的相位斜坡或光栅函数(例如y方向光栅)被添加到写入SLM的第一至第四全息图，以形成复制全息重建。因此，如图9所示，复制复合全息重建在图8所示的原始复合全息重建的每一行交替的第一和第二图像像素810、820之下形成复制行交替的第一和第二图像像素810、820，并且在每一行交替的第三和第四图像像素830、840之下形成复制行交替的第三和第四图像像素830、840。因此，得到的对应于由交错方案形成的主图像的“双复合全息重建”包括(4n×2n)图像像素阵列，其中图像像素在第二方向(即y方向)上被拉长。
这里公开的新颖的交错方案可以通过如上所述的全息投影仪来实现。特别地，显示设备可以包括具有矩形像素阵列的空间光调制器。图像处理引擎(或图像处理器)可以布置成从主图像确定多个次图像。如本文所述，可以通过使用相应规则采样位置阵列对主图像进行采样(或子采样)来形成每个次图像。全息图引擎(或全息图计算器)可以布置成确定每个次图像的全息图。例如，全息引擎可以使用如本文所述的合适算法从每个次图像计算全息图。显示引擎(或显示驱动器)可以布置成第一次和第二次在空间光调制器上快速连续地顺序显示每个全息图，并且照明每个全息图，以便在重放平面上从相应的全息图重建每个次图像。特别地，通过在重放平面上形成图像像素阵列来重建每个次图像。结果，基本对应于主图像的合成重建是可感知的。复合重建的图像像素在第一和第二正交方向上被更密集地填塞，从而增加图像分辨率。此外，复合重建中的相邻图像像素是在不同时间形成的，从而减少像素间干扰。
附加特征
实施例仅通过示例的方式涉及电激活的LCOS空间光调制器。本公开的教导可以等同地在能够显示根据本公开的计算机生成的全息图的任何空间光调制器上实现，例如任何电激活的SLM、光学激活的SLM、数字微镜设备或微机电设备。
在一些实施例中，光源是激光器，例如激光二极管。在一些实施例中，光接收表面是漫射器表面或屏幕，例如漫射器。本公开的全息投影系统可用于提供改进的平视显示器(HUD)或头戴式显示器。在一些实施例中，提供了一种车辆，其包括安装在车辆中以提供HUD的全息投影系统。车辆可以是机动车辆，比如汽车、卡车、厢式货车、运货卡车、摩托车、火车、飞机、船或轮船。
全息重建的质量可能受到所谓的零级问题的影响，这是使用像素化空间光调制器的衍射性质的结果。这种零级光可被认为是“噪声”，并且包括例如镜面反射光以及来自SLM的其他不需要的光。
在傅立叶全息术的示例中，这种“噪声”集中在傅立叶透镜的焦点上，从而导致全息重建中心处出现亮光斑。零级光可以简单地被遮挡掉，然而这意味着用暗光斑代替亮光斑。一些实施例包括角度选择性滤光器以仅去除零级的准直光线。实施例还包括在欧洲专利2,030,072中描述的管理零级的方法，该专利通过引用整体结合于此。
在一些实施例中，全息图的尺寸(每个方向上的像素数)等于空间光调制器的尺寸，使得全息图填充空间光调制器。也就是说，全息图使用空间光调制器的所有像素。在其他实施例中，全息图小于空间光调制器。更具体地，全息图像素的数量少于空间光调制器上可用的光调制像素的数量。在这些其他实施例的一些中，全息图的一部分(即全息图像素的连续子集)在未使用的像素中重复。这种技术可被称为“平铺”，其中空间光调制器的表面区域被分成多个“平铺块”，其中的每个代表全息图的至少一个子集。因此，每个平铺块的尺寸小于空间光调制器的尺寸。在一些实施例中，实施“平铺”技术来提高图像质量。具体地，一些实施例实施平铺技术以最小化图像像素的大小，同时最大化进入全息重建的信号内容的量。在一些实施例中，写入空间光调制器的全息图案包括至少一个完整平铺块(即完整全息图)和平铺块的至少一部分(即全息图像素的相邻子集)。
在实施例中，仅利用主回放场，并且系统包括物理块，比如挡板，其布置为限制更高级回放场通过系统的传播。
在实施例中，全息重建是彩色的。在一些实施例中，被称为空间分离的颜色“SSC”的方法用于提供彩色全息重建。在其他实施例中，使用被称为帧顺序颜色“FSC”的方法。
SSC方法对三个单色全息图使用三个空间分隔的光调制像素阵列。SSC方法的优点是图像可以非常明亮，因为所有三个全息重建都可以同时形成。然而，如果由于空间限制，在公共SLM上提供了三个空间分隔的光调制像素阵列，则每个单色图像的质量将是次佳的，因为每种颜色仅使用可用光调制像素的子集。因此，提供了相对低分辨率的彩色图像。
FSC的方法可以使用公共空间光调制器的所有像素来依次显示三个单色全息图。单色重建循环(例如红色、绿色、蓝色、红色、绿色、蓝色等)得足够快，使得人类观看者从三个单色图像的积分中感知到多色图像。FSC的优点是，每种颜色都可以使用整个SLM。这意味着产生的三个彩色图像的质量最佳，因为SLM的所有像素都用于每个彩色图像。然而，FSC方法的缺点是合成彩色图像的亮度比SSC方法低—约3倍—因为每个单色照射事件只能发生帧时间的三分之一。可以通过过度驱动激光器或使用更强大的激光器来解决此缺陷，但这需要更多的功率，从而导致更高的成本和系统尺寸的增加。
示例描述了用可见光照射SLM，但本领域技术人员将理解，光源和SLM同样可以用于引导红外光或紫外光，例如如本文所公开。例如，本领域技术人员将会知道为了向用户提供信息而将红外光和紫外光转换成可见光的技术。例如，本公开扩展到为此目的使用磷光体和/或量子点技术。
一些实施例仅通过示例的方式描述了2D全息重建。在其他实施例中，全息重建是3D全息重建。也就是说，在一些实施例中，每个计算机生成的全息图形成3D全息重建。
本文描述的方法和过程可以体现在计算机可读介质上。术语“计算机可读介质”包括布置为临时或永久地存储数据的介质，比如随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存和高速缓冲存储器。术语“计算机可读介质”也应被认为包括能够存储用于由机器执行的指令的任何介质或多种介质的组合，使得当指令被一个或多个处理器执行时使该机器整体地或部分地执行本文所述的任何一种或多种方法。
术语“计算机可读介质”还涵盖基于云的存储系统。术语“计算机可读介质”包括但不限于以固态存储芯片、光盘、磁盘或其任何合适的组合的示例形式的一个或多个有形和非暂时性数据存储库(例如数据卷)。在一些示例实施例中，用于执行的指令可以由载体介质传递。这样的载体介质的示例包括瞬态介质(例如传递指令的传播信号)。
对于本领域技术人员将显而易见的是，在不脱离所附权利要求的范围的情况下，可以进行各种修改和变型。本公开涵盖所附权利要求及其等同物的范围内的所有修改和变型。

Claims (18)

1.一种全息系统，包括：
图像处理引擎，其布置成从主图像确定多个次图像，每个次图像是通过在规则采样位置阵列对主图像的像素值进行采样而形成的，其中第一次图像是使用规则第一采样位置阵列形成的，第二次图像是使用规则第二采样位置阵列形成的，其中第二采样位置在第一方向上被插入第一采样位置之间；
全息引擎，其布置成确定每个次图像的全息图；
显示引擎，其布置成在显示设备上快速连续地显示每个全息图，以便从相应的全息图重建每个次图像，使得基本对应于主图像的第一图像像素阵列是可感知的，其中第二次图像的重建的图像像素在第一方向上被插入第一次图像的重建的图像像素之间；
其中显示引擎还布置为第二次快速连续地显示每个全息图，其中第二次紧接在第一次之后，以便从相应的全息图重建每个次图像，使得第二图像像素阵列是可感知的，其中第二图像像素阵列相对于第一图像像素阵列在第二方向上平移；并且
其中显示的孔径定向为使得它在第二方向上比在第一方向上更长，其中第二方向正交于第一方向，使得形成为重建每个次图像的图像像素在第一方向上比在第二方向上更细长和更密集地填塞。
2.如权利要求1所述的全息系统，其中，所述第二图像像素阵列相对于所述第一图像像素阵列在第二方向上平移，以便第二图像像素阵列在第二方向上插入第一图像像素阵列。
3.如权利要求1或2所述的全息系统，其中，所述显示引擎布置成在第二方向上利用光栅函数第二次显示每个全息图，使得所述第二图像像素阵列相对于所述第一图像像素阵列在第二方向上平移。
4.如权利要求1或2所述的全息系统，其中，第一采样位置在阵列的第二方向上与第二采样位置对齐，使得第二次图像的重建的图像像素在第二方向上与第一次图像的重建的图像像素对齐。
5.如权利要求1或2所述的全息系统，其中，所述图像处理引擎布置成使用规则第三采样位置阵列形成第三次图像，并使用规则第四采样位置阵列形成第四次图像。
6.如权利要求5所述的全息系统，其中，所述第四采样位置在第一方向上被插入所述第三采样位置之间。
7.如权利要求6所述的全息系统，其中，所述显示引擎还布置成在所述显示设备上快速连续地显示对应于第一至第四次图像的全息图序列，使得基本对应于所述主图像的所述第一图像像素阵列是可感知的，其中，所述第四次图像的重建的图像像素在第一方向上被插入所述第三次图像的重建的图像像素之间。
8.如权利要求6或7所述的全息系统，其中，规则第一采样位置阵列至规则第四采样位置阵列中的每个是不同的。
9.如权利要求1或2所述的全息系统，其中：
每个次图像包括比所述主图像少的像素，和/或
所述主图像的每个像素仅对应于一个次图像，使得次图像是可组合的，以便完全形成主图像的合成表示。
10.如权利要求1或2所述的全息系统，其中，每个全息图被显示在所述显示设备上，并且每个显示的全息图被快速连续地照明，使得所述第一图像像素阵列在人眼的积分时间内形成在显示平面上。
11.如权利要求10所述的全息系统，其中，所述显示设备是空间光调制器。
12.如权利要求11所述的全息系统，其中，所述显示设备是LCOS空间光调制器。
13.如权利要求1或2所述的全息系统，其中，所述显示设备的孔径包括显示设备的像素阵列的矩形周界。
14.如权利要求1或2所述的全息系统，其中，每个规则采样位置阵列是方形的采样位置像素阵列，使得每个次图像是方形的。
15.如权利要求1或2所述的全息系统，其中，所述图像像素阵列具有高纵横比。
16.如权利要求15所述的全息系统，其中，所述纵横比基本是2:1。
17.如权利要求1或2所述的全息系统，其中，所述图像处理引擎还布置成接收用于投影的目标图像并形成所述主图像。
18.如权利要求17所述的全息系统，其中，所述主图像是目标图像的放大版本。
CN202210174822.6A 2021-02-24 2022-02-24 全息投影 Pending CN114967400A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB2102613.3 2021-02-24
GB2102613.3A GB2604119B (en) 2021-02-24 2021-02-24 Holographic projection

Publications (1)

Publication Number Publication Date
CN114967400A true CN114967400A (zh) 2022-08-30

Family

ID=75339196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210174822.6A Pending CN114967400A (zh) 2021-02-24 2022-02-24 全息投影

Country Status (4)

Country Link
US (1) US20230116373A1 (zh)
EP (1) EP4050423B1 (zh)
CN (1) CN114967400A (zh)
GB (1) GB2604119B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160313556A1 (en) * 2010-11-08 2016-10-27 Seereal Technologies S.A. Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles
GB201900504D0 (en) * 2019-01-14 2019-03-06 Vividq Ltd Holographic display system and method
CN110531601A (zh) * 2018-05-25 2019-12-03 杜尔利塔斯有限公司 在包括像素的显示装置上显示全息图的方法
CN111176094A (zh) * 2020-01-14 2020-05-19 四川长虹电器股份有限公司 一种激光全息投影显示方法和装置
CN112204433A (zh) * 2018-08-29 2021-01-08 恩维世科斯有限公司 平视显示器

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2438458A (en) 2006-05-11 2007-11-28 Univ Cambridge Tech Blocking zero-order light in phase shift hologram generation
GB2498170B (en) 2011-10-26 2014-01-08 Two Trees Photonics Ltd Frame inheritance
GB2501112B (en) 2012-04-12 2014-04-16 Two Trees Photonics Ltd Phase retrieval
GB2578523B (en) * 2019-09-25 2021-08-11 Dualitas Ltd Holographic projection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160313556A1 (en) * 2010-11-08 2016-10-27 Seereal Technologies S.A. Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles
CN110531601A (zh) * 2018-05-25 2019-12-03 杜尔利塔斯有限公司 在包括像素的显示装置上显示全息图的方法
CN112204433A (zh) * 2018-08-29 2021-01-08 恩维世科斯有限公司 平视显示器
GB201900504D0 (en) * 2019-01-14 2019-03-06 Vividq Ltd Holographic display system and method
CN111176094A (zh) * 2020-01-14 2020-05-19 四川长虹电器股份有限公司 一种激光全息投影显示方法和装置

Also Published As

Publication number Publication date
GB202102613D0 (en) 2021-04-07
GB2604119B (en) 2023-10-11
EP4050423A1 (en) 2022-08-31
GB2604119A (en) 2022-08-31
US20230116373A1 (en) 2023-04-13
EP4050423B1 (en) 2024-03-20

Similar Documents

Publication Publication Date Title
US10871746B2 (en) Method of displaying a hologram on a display device comprising pixels
CN110612485B (zh) 全息投影仪
CN112415880B (zh) 全息投影
CN112558452B (zh) 全息投影
CN111176092B (zh) 全息投影显示设备上的像素映射
CN111176093B (zh) 用于全息投影的空间光调制器
CN113009710B (zh) 用于在多个平面上形成图像的投影仪
US11480919B2 (en) Holographic projector
KR102481541B1 (ko) 홀로그램 프로젝터
GB2597828A (en) A spatial light modulator for holographic projection
CN114967400A (zh) 全息投影
CN115113509A (zh) 图像投影
KR20240067814A (ko) 확장된 아이-박스

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination