CN111722514A - 用于处理三维全息图像的方法和装置 - Google Patents

用于处理三维全息图像的方法和装置 Download PDF

Info

Publication number
CN111722514A
CN111722514A CN202010171085.5A CN202010171085A CN111722514A CN 111722514 A CN111722514 A CN 111722514A CN 202010171085 A CN202010171085 A CN 202010171085A CN 111722514 A CN111722514 A CN 111722514A
Authority
CN
China
Prior art keywords
depth
sub
image
cgh
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010171085.5A
Other languages
English (en)
Inventor
宋薰
金辉
朴宗夏
金镐正
金容奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Korea University Research and Business Foundation
Original Assignee
Samsung Electronics Co Ltd
Korea University Research and Business Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190094536A external-priority patent/KR20200111598A/ko
Application filed by Samsung Electronics Co Ltd, Korea University Research and Business Foundation filed Critical Samsung Electronics Co Ltd
Publication of CN111722514A publication Critical patent/CN111722514A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0891—Processes or apparatus adapted to convert digital holographic data into a hologram
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0088—Adaptation of holography to specific applications for video-holography, i.e. integrating hologram acquisition, transmission and display
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0204—Object characteristics
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0825—Numerical processing in hologram space, e.g. combination of the CGH [computer generated hologram] with a numerical optical element
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/30—3D object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/30—3D object
    • G03H2210/33—3D/2D, i.e. the object is formed of stratified 2D planes, e.g. tomographic data
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/45—Representation of the decomposed object
    • G03H2210/454—Representation of the decomposed object into planes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Holo Graphy (AREA)

Abstract

一种用于处理三维全息图像的方法，包括：从三维物体的深度数据获得深度图像；将每个深度图像划分成预定数量的子图像；通过执行傅立叶变换以计算每个子图像中包括的物体数据在计算机生成的全息图(CGH)平面中的干涉图案来获得对应于每个子图像的CGH块的干涉图案；以及使用所获得的CGH块的干涉图案来生成三维物体的CGH。

Description

用于处理三维全息图像的方法和装置
相关申请的交叉引用
本申请要求韩国知识产权局中的于2019年8月2日提交的编号为10-2019-0094536和于2019年3月19日提交的编号为10-2019-0031465的韩国专利申请的优先权，其公开内容通过整体引用并入本文。
技术领域
本公开涉及用于处理三维(3D)全息图像的方法和装置，更具体地，涉及用于处理计算机生成的全息图(CGH，computer-generated hologram)的方法和装置。
背景技术
全息图是一种3D空间表示，由于物体的图像是通过控制光的振幅和相位在3D空间中再现的，所以它没有视场的限制并且几乎没有立体疲劳。因此，通过使用能够同时控制光的振幅和相位的复杂空间光调制器(spatial light modulator，SLM)，已经开发了实时实现高分辨率全息图的设备。全息图可以通过使用当物体波和参考波入射到相同位置时所形成的干涉图案来显示在3D空间中。最近，已经利用了计算机生成的全息图(CGH)技术。CGH技术可以通过处理用于再现全息视频的干涉图案在平板显示器上提供全息图。一种生成数字全息图的方法，例如CGH技术，通过近似光学信号和计算通过数学运算生成的干涉图案来生成全息图。一种生成数字全息图的方法，包括基于3D物体包括各种数据(诸如3D点、多边形或深度数据)的集合的事实，通过计算构成3D物体的数据来表示完成的全息图。
发明内容
提供了用于处理三维(3D)全息图像的方法和装置。然而，本公开的技术目标不限于此，并且可以从以下实施例推断出其他技术目标。
额外的方面将在随后的描述中部分地阐述，并且将从描述中部分地变得显而易见，或者可以通过实践本公开的实施例来了解。
根据本公开的方面，一种处理三维全息图像的方法包括：从三维物体的深度数据获得预定数量的深度层的多个深度图像，多个深度图像中的每个深度图像具有预定分辨率并且对应于预定数量的深度层中的相应深度层；将多个深度图像中的每个深度图像划分成预定数量的子图像，以由多个处理单元中的相应处理单元处理；通过对相应子图像中包括的物体数据执行傅立叶变换来计算与相应子图像对应的在CGH平面中的干涉图案，进而获得在计算机生成的全息图(CGH)平面中的多个CGH块的多个干涉图案，其中多个CGH块中的每个CGH块对应于预定数量的子图像中的至少一个相应子图像；以及使用所获得的多个干涉图案生成三维物体的CGH。
预定数量的子图像中的每个子图像可以具有至少两个像素的区域。
多个深度图像中的每个深度图像中的预定数量的子图像中的每个子图像的相应位置可以对应于多个CGH块中的每个CGH块在CGH平面中的相应块位置，以及从对应于多个深度图像中的每个深度图像中的相同块位置的一组子图像计算的一组干涉图案可以被映射到位于CGH平面中的相同块位置的多个CGH块中的CGH块。
生成CGH可以包括通过合并所获得的多个干涉图案以获得CGH平面的整个区域中的全局干涉图案来生成CGH。
获得多个干涉图案可以包括：针对多个深度图像中的每个深度图像，将预定数量的子图像中存在物体数据的子图像确定为感兴趣区域(ROI，region of interest)；以及通过对所确定的子图像执行傅立叶变换并且避免对预定数量的子图像中的剩余子图像执行傅立叶变换来获得多个干涉图案。
被确定为ROI的子图像可以基于子图像中存在的物体数据的值大于预定阈值来确定。
获得多个干涉图案还可以包括在被确定为ROI的子图像的边缘的预定范围内执行零填充，以形成零填充子图像；以及通过对零填充子图像执行傅立叶变换来获得多个干涉图案。
获得多个干涉图案还可以包括避免对多个深度图像中的不包括被确定为ROI的子图像的深度图像执行傅立叶变换。
傅立叶变换可以包括双级傅立叶变换，该双级傅立叶变换包括计算光波从观察者的视网膜平面到观察者的眼睛晶状体平面的传播的初级傅立叶变换和计算光波从眼睛晶状体平面到CGH平面的传播的次级傅立叶变换。
傅立叶变换可以计算光波从预定数量的深度层中的深度层到CGH平面的传播。
获得多个干涉图案可以包括：对预定数量的子图像中的对应于ROI的子图像执行球面波的卷积；在对应于ROI的子图像的边缘上在一定范围内执行零填充，以形成零填充子图像；通过对零填充子图像执行傅立叶变换来获得干涉图案；以及通过执行插值将所获得的干涉图案与空间光调制器(SLM)的采样网格进行匹配来获得多个干涉图案。
傅立叶变换可以包括混合傅立叶变换，混合傅立叶变换包括：对预定数量的深度层中具有大于阈值深度的第一深度的第一深度层的多个深度图像中的第一深度图像进行的单级傅立叶变换；以及对预定数量的深度层中具有小于阈值深度的第二深度的第二深度层的多个深度图像中的第二深度图像进行的双级傅立叶变换。
一种非暂时性计算机可读记录介质，其上可以记录有用于执行本公开的上述方面的方法的程序。
根据本公开的一个方面，一种用于处理三维全息图像的装置包括：存储器，其中存储至少一个程序；以及处理器，被配置成通过执行所述至少一个程序来处理三维全息图像，其中处理器还被配置成：从三维物体的深度数据获得预定数量的深度层的多个深度图像，多个深度图像中的每个深度图像具有预定分辨率并且对应于预定数量的深度层中的相应深度层，将多个深度图像中的每个深度图像划分成预定数量的子图像，以由多个处理单元中的相应处理单元处理，通过对相应子图像中包括的物体数据执行傅立叶变换以计算与相应子图像相对应的在CGH平面中的干涉图案，来获得计算机生成的全息图(CGH)平面中的多个CGH块的多个干涉图案，其中多个CGH块中的每个CGH块对应于预定数量的子图像中的至少一个相应子图像，以及使用所获得的多个干涉图案来生成三维物体的CGH。
预定数量的子图像中的每个子图像可以具有至少两个像素的区域。
多个深度图像中的每个深度图像中的预定数量的子图像中的每个子图像的相应位置可以对应于多个CGH块中的每个CGH块在CGH平面中的相应块位置，并且从对应于多个深度图像中的每个深度图像中的相同块位置的一组子图像计算的一组干涉图案可以被映射到位于CGH平面中的相同块位置的多个CGH块中的CGH块。
处理器还可以被配置成通过合并所获得的多个干涉图案以获得CGH平面的整个区域中的全局干涉图案来生成CGH。
处理器还可以被配置成：针对多个深度图像中的每个深度图像，将预定数量的子图像中的存在物体数据的子图像确定为感兴趣区域(ROI)，并且通过对所确定的子图像执行傅立叶变换并且避免对预定数量的子图像中的剩余子图像执行傅立叶变换来获得多个干涉图案。
被确定为ROI的子图像可以基于子图像中存在的物体数据的值大于预定阈值来确定。
处理器还可以被配置成：在被确定为ROI的子图像的边缘上的预定范围内执行零填充，以形成零填充子图像，以及通过对零填充子图像执行傅立叶变换来获得多个干涉图案。
处理器还可以被配置成：避免对多个深度图像中的不包括被确定为ROI的子图像的深度图像执行傅立叶变换。
傅立叶变换可以包括双级傅立叶变换，该双级傅立叶变换包括计算光波从观察者的视网膜平面到观察者的眼睛晶状体平面的传播的初级傅立叶变换和计算光波从眼睛晶状体平面到CGH平面的传播的次级傅立叶变换。
傅立叶变换可以计算光波从预定数量的深度层中的深度层到CGH平面的传播。
处理器还可以被配置成：对预定数量的子图像中的对应于ROI的子图像执行球面波的卷积，在对应于ROI的子图像的边缘上的预定范围内执行零填充，以形成零填充子图像，通过对零填充子图像执行傅立叶变换来获得干涉图案，以及通过执行插值将所获得的干涉图案与空间光调制器(SLM)的采样网格进行匹配来获得多个干涉图案。
傅立叶变换可以包括混合傅立叶变换，混合傅立叶变换包括：对预定数量的深度层中具有大于阈值深度的第一深度的第一深度层的多个深度图像中的第一深度图像进行的单级傅立叶变换；以及对预定数量的深度层中具有小于阈值深度的第二深度的第二深度层的多个深度图像中的第二深度图像进行的双级傅立叶变换。
根据本公开的一方面，一种用于处理三维全息图像的处理器包括：多个快速傅立叶变换(FFT，fast Fourier transform)核心，被配置成执行傅立叶操作；以及主控制单元(MCU，main control unit)，被配置成调度多个FFT核心的傅立叶操作，其中MCU还被配置成：从三维物体的深度数据获得预定数量的深度层的多个深度图像，所述多个深度图像中的每个深度图像具有预定分辨率并且对应于所述预定数量的深度层中的相应深度层，将多个深度图像中的每个深度图像划分成预定数量的子图像，以及通过分配多个FFT核心中的FFT核心对预定数量的子图像中的每个子图像执行傅立叶变换来调度多个FFT核心的傅立叶操作，其中多个FFT核心中的每个FFT核心被配置成对相应子图像中包括的物体数据执行傅立叶变换，以计算CGH平面中对应于相应子图像的CGH块的干涉图案，并且其中MCU还被配置成：通过基于多个FFT核心执行傅立叶变换的结果获得对应于预定数量的子图像的每个子图像的相应干涉图案来获得多个干涉图案，并且使用所获得的CGH块的多个干涉图案来生成三维物体的CGH。
MCU还可以被配置成：针对多个深度图像中的每个深度图像，将预定数量的子图像中存在物体数据的子图像确定为感兴趣区域(ROI)，并且将预定数量的子图像中被确定为ROI的相应子图像分配给所述多个FFT核心。
根据本公开的一方面，三维全息图像生成装置可以包括：存储器，其中存储至少一个程序；以及处理器，被配置成：接收关于三维物体的物体数据，该物体数据包括深度数据；根据深度数据将物体数据划分成多个深度图像，使得多个深度图像中的每个深度图像具有不同的深度；对于多个深度图像中的每个深度图像，将深度图像划分成多个子图像；对于多个子图像中的每个子图像，基于对应于该子图像的物体数据生成相应干涉图案；组合所生成的干涉图案以形成全局干涉图案；以及基于全局干涉图案在CGH平面处生成三维物体的计算机生成的CGH。
处理器还可以被配置成基于从CGH平面到对应于子图像的深度图像的距离大于预定距离，对与子图像相对应的物体数据执行第一傅立叶变换。
处理器还可以被配置成基于从CGH平面到对应于子图像的深度图像的距离小于预定距离，对与子图像相对应的物体数据执行第二傅立叶变换。
第一傅立叶变换可以包括单级傅立叶变换。
第一傅立叶变换可以包括单级傅立叶变换，并且第二傅立叶变换可以包括双级傅立叶变换。
处理器还可以被配置成：对于多个子图像中的每个子图像，在子图像周围执行零填充以形成相应零填充子图像；并且为每个零填充子图像生成相应干涉图案。
处理器还可以被配置成：对于多个子图像中的每个子图像，对子图像执行球面波的卷积，以形成相应卷积子图像；对于多个卷积子图像中的每个卷积子图像，在子图像周围执行零填充，以形成相应零填充子图像；以及为每个零填充子图像生成相应干涉图案。
预定距离可以基于CGH平面的采样间隔和对应于子图像的CGH块的采样间隔来确定。
附图说明
从以下结合附图的描述中，本公开的某些实施例的以上和其他方面、特征和优点将变得更加明显，其中：
图1是用于描述根据实施例的处理计算机生成的全息图(CGH)的原理的图；
图2A和图2B是用于描述根据实施例的三维(3D)物体的每个深度层的二维(2D)图像的图，该二维图像在通过使用深度图方法生成3D物体的CGH时使用；
图3是用于描述根据实施例的CGH处理的计算复杂度的图；
图4是根据实施例的3D全息图像处理装置的硬件配置的框图；
图5是用于描述根据实施例的通过深度图像细分降低计算复杂度的图；
图6是用于描述根据实施例的通过深度图像的m×n细分降低的CGH处理的计算复杂度的图；
图7A是用于描述根据实施例的在子图像中设置感兴趣区域(ROI)的图；
图7B是用于描述根据实施例的被确定为ROI的子图像的数量和位置可以根据用于划分深度图像的CGH块的数量(m×n)而改变的图；
图7C是用于描述根据实施例的用于确定块的最佳数量的仿真结果的图；
图7D是根据实施例的处理器的详细硬件配置的框图；
图7E是用于描述根据实施例的通过使用FFT核心块的FFT核心，对ROI执行快速傅立叶变换(FFT)操作的图；
图7F是用于描述根据另一实施例的通过将FFT核心块的FFT核心分配给特定位置处的像素来执行FFT操作的图；
图8A和图8B是用于描述根据实施例的子图像的零填充的图；
图9是用于比较和描述根据实施例的基于未零填充和零填充生成的CGH块的干涉图案的图；
图10是用于描述根据实施例的用于确定零填充的适当范围的仿真结果的图；
图11是用于描述根据实施例的双级傅立叶变换的图；
图12是用于描述根据实施例的混合傅立叶变换的图；
图13A是用于描述根据实施例的单级傅立叶变换的图；
图13B是用于描述根据实施例的3D空间中的球形载波的图；
图13C是用于描述当不考虑被省略的球形载波的影响时的仿真结果的图；
图13D和图13E是用于描述根据实施例的深度层和空间光调制器(SLM)平面(或CGH平面)之间的采样网格匹配的图；
图14A和图14B是根据实施例的用于描述当执行混合傅立叶变换时确定阈值深度的方法的图；
图15是根据实施例的通过将深度图像划分成子图像来执行CGH处理的方法的流程图；
图16A和图16B是根据实施例的通过将深度图像划分成子图像来基于混合傅立叶变换执行CGH处理的方法的流程图；
图17是根据实施例的处理3D全息图像的方法的流程图；
图18是用于比较根据实施例的使用未划分的深度图像的情况(全局方法)的计算复杂度和使用划分的深度图像的情况(局部方法)的计算复杂度的图；
图19是示出根据实施例的根据深度层的数量的全局方法和局部方法的2FFT计算时间的仿真结果的曲线图；
图20是示出根据实施例的在改变深度层的数量的同时计算阈值深度的结果的曲线图；和
图21是用于比较根据实施例的在各种傅立叶变换方案下根据深度层的数量的FFT计算时间的曲线图。
具体实施方式
针对本公开的实施例中所使用的术语，考虑到关于本公开的功能而选择当前和广泛使用的通用术语。然而，这些术语可以根据相关领域技术人员的意图、新技术的出现等而改变。在特定情况下，术语可以任意选择，并且在这种情况下，其定义将在相对应的公开的说明书中描述。因此，本说明书中使用的术语不一定必须被解释为术语的简单名，而是应该基于术语的含义和本公开的总体内容来定义。
术语“包括”或“包含”不应该被解释或理解为毫无例外地包括本说明书中公开的多个元件或多个步骤的全部。换句话说，应该理解，元件中的一些或步骤中的一些可以被不包括在内，或者额外的元件或步骤可以也包括在内。
下面将参考附图详细描述实施例。然而，本公开可以以各种方式实施，并且不限于本文描述的一个或多个实施例。
图1是用于描述根据实施例的处理计算机生成的全息图(CGH)的原理的图。参考图1，处理作为用于全息显示的3D图像内容的CGH的原理将简要描述如下。
观察者可以通过眼球识别空间中的物体。因为从物体反射的光折射通过眼球正面上的眼睛晶状体，并聚集在眼球后侧的视网膜上，所以观察者可以看到空间中的物体。使用该原理，可以实施CGH处理的原理。
当观察者的眼睛晶状体平面W(u,v)14的焦点对应于深度层L1、LM或LN时，可以假设深度层L1、LM或LN上的图像在视网膜平面Q(x2,y2)13上具有成像焦点(即聚焦在其上)。然后，可以通过将形成在视网膜平面13上的图像反向传播到空间光调制器(SLM)平面(或称为“CGH平面”)P(x1,y1)15来计算SLM平面(或CGH平面)15中的复合光波场，因此可以获得用于表达CGH的CGH干涉图案。
根据生成方法，CGH可以分为点云方法、多边形方法或深度图(depth map)(或基于层的)方法。在点云方法中，物体的表面用多个点来表示，并且计算每个点处的干涉图案，因此，可以表示精确的深度，但是计算量根据点的数量而大大增加。在多边形方法中，物体的表面被表达为多边形网格，并且计算每个多边形网格处的干涉图案，因此，虽然物体的精度降低，但计算量小。深度图方法是基于层的方法和使用2D强度图像和深度数据生成CGH的方法，并且计算量可以根据图像的分辨率来确定。
因为深度图方法是在将3D物体近似为多深度并建模之后计算CGH的方法，所以CGH计算的效率可能高于其他方法。此外，可以通过仅使用2D强度信息和深度信息(诸如一般图片)来生成CGH。
当根据深度图方法生成CGH时，傅立叶变换操作占据了CGH处理的大部分。CGH处理中的傅立叶变换是用于获得通过图像的菲涅耳衍射获得的衍射图像的分布的操作，并且对应于广义菲涅耳变换(GFT，generalized Fresnel transform)或菲涅耳变换。在实施例中，傅立叶变换可以包括傅立叶逆变换、快速傅立叶变换(FFT)、GFT变换、菲涅耳变换等，它们是使用傅立叶变换的操作。在FFT操作中，随着图像分辨率增加，计算量可能会呈指数级增加，因此，用于CGH处理的特定加速算法很重要。
根据实施例，为了通过使用深度图方法生成CGH，可以使用划分输入图像的区域的方法和能够在所划分的区域(即，块)上执行高效FFT操作的加速处理算法的方法。
图2A和图2B是用于描述根据实施例的3D物体的每个深度层的2D图像的图，该2D图像在通过使用深度图方法生成3D物体的CGH时使用。
参考图2A，3D物体200位于眼睛晶状体平面14和SLM平面(或CGH平面)15之间的空间中。在下文中，SLM平面15将被称为CGH平面。根据深度图方法，可以将空间设置为被划分成预定数量的深度层。在这种情况下，深度层的数量可以通过用户设置来改变。例如，深度层的数量可以是256或其他数量。
参考图2B，3D物体200可以被建模为与预定数量的深度层相对应的深度图像220。图2B所示的深度图像220分别包括3D物体200在对应深度的物体数据221至224。
在每个深度层的深度图像中，大多数区域可以具有0的深度值，并且其中存在物体数据的具有非零深度值的区域可能占据相对小的范围。由于深度图像的稀疏性，对深度图像的整个区域执行傅立叶变换可能是低效的。因此，可以希望考虑到图像稀疏性来增加CGH处理的计算效率。如上所述，可以基于深度值0来确定存在物体数据的区域和不存在物体数据的区域，但是本公开不限于此，并且参考深度值可以是除了0之外的相对较小的随机值。
图3是用于描述根据实施例的CGH处理的计算复杂度的图。
参考图3，深度图像310可以被假设为具有M×N的分辨率，具有M个像素和N个像素组成的像素阵列(其中，M和N是自然数)。通过对深度图像310执行各种类型的CGH处理(诸如傅立叶变换)来生成计算CGH 320。在这种情况下，可以如表达式1中那样计算CGH处理的计算复杂度，并且表达式1的计算复杂度对应于相对值。
[表达式1]
MNlog(MN)
也就是说，可以根据深度图像310的分辨率(即M×N)来确定CGH处理的计算复杂度。因此，随着图像分辨率的增加，计算复杂度可能相对地增加。
图4是根据实施例的3D全息图像处理装置100的硬件配置的框图。
参考图4，3D全息图像处理装置100包括处理器112和存储器114。在图4中示出的3D全息图像处理装置100中，仅示出了与实施例相关的组件。因此，除了图4中示出的组件之外，3D全息图像处理装置100还可以包括其他组件。
处理器112可以对应于在各种类型的计算设备中提供的处理器，各种类型的计算设备诸如个人计算机(PC)、服务器设备、电视机、移动设备(智能手机、平板设备等)、嵌入式设备、自主车辆、可穿戴设备、增强现实(AR，augmented reality)设备和物联网(IoT，Internet of things)设备。例如，处理器112可以对应于诸如中央处理单元(CPU)、图形处理单元(GPU)、应用处理器(AP)或神经处理单元(NPU)的处理器，但不限于此。
处理器112执行用于控制配备有处理器112的3D全息图像处理装置100的总体功能。处理器112可以通过执行存储在存储器114中的程序来控制3D全息图像处理装置100。例如，当3D全息图像处理装置100设置在显示装置150中时，处理器112可以控制由3D全息图像处理装置100进行的图像处理，从而控制显示设备150显示全息图像。
显示装置150可以对应于能够基于由3D全息图像处理装置100生成的CGH在3D空间中显示全息图像的设备。显示装置150可以包括用于全息图再现的硬件模块，例如空间光调制器(SLM)155，并且可以包括各种类型的显示面板，诸如LCD和OLED。也就是说，除了用于生成CGH的3D全息图像处理装置100之外，显示装置150可以包括用于显示全息图像的各种硬件模块和硬件配置。3D全息图像处理装置100可以是在显示装置150外部实施的单独的独立装置。在这种情况下，显示装置150可以接收由3D全息图像处理装置100生成的CGH数据，并基于接收到的CGH数据显示全息图像。然而，本公开不限于此，并且3D全息图像处理装置100可以与显示装置150集成。也就是说，3D全息图像处理装置100和显示装置150的实施方式不受任何一个实施例的限制。
存储器114是存储在处理器112中处理的各种数据的硬件。例如，存储器114可以存储在处理器112中已处理的CGH数据和要处理的CGH数据。存储器114还可以存储将由处理器112驱动的各种应用，例如全息回放应用、网页浏览应用、游戏应用和/或视频应用。
存储器114可以包括易失性存储器或非易失性存储器中的至少一个。非易失性存储器包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、相变随机存取存储器(PRAM)、磁RAM(MRAM)、电阻RAM(RRAM)、铁电RAM(FRAM)等。易失性存储器包括动态RAM(DRAM)、静态RAM(SRAM)、同步RAM(SDRAM)、相变RAM(PRAM)、磁RAM(MRAM)、电阻RAM(RRAM)、铁电RAM(FRAM)等。在实施例中，存储器114可以包括硬盘驱动器(HDD)、固态驱动器(SSD)、小型闪存(compact flash，CF)、安全数字(SD)、微型-SD、迷你-SD、极限数字(xD)或记忆棒中的至少一种。
处理器112读取将要从其生成全息图像的3D物体的2D强度图像和深度数据。处理器112从3D物体的深度数据获得预定数量的深度层的预定分辨率的多个深度图像。预定分辨率可以根据用户设置或输入图像格式进行不同的改变。在实施例中，假设预定分辨率是Mx N像素。
处理器112将深度图像中的每一个分成预定数量的子图像，这些子图像对应于用于在CGH平面中生成CGH块(或称为“SLM块”)的干涉图案的处理单元。预定数量可以由各种因素来确定和改变，诸如用户设置、深度图像的分辨率以及3D全息图像处理装置100的性能。
一个子图像的尺寸大于深度图像的分辨率的一个像素的尺寸。也就是说，子图像对应于深度图像中一些像素(即，多于一个像素)聚在一起的区域的图像。例如，处理器112可以通过将具有M×N分辨率的深度图像的整个区域划分成m×n块(其中m和n是自然数)来将深度图像划分成m×n个子图像。子图像中的每一个的尺寸可以彼此相等或不同。
CGH块的干涉图案对应于与CGH平面中每个局部区域的位置对应的部分CGH干涉图案，并且也可以被称为其他术语，诸如SLM块、局部CGH图案、局部SLM图案、子CGH或子SLM。对于将深度图像划分成子图像，CGH平面可以类似地被划分成采样网格的块。也就是说，类似于深度图像，CGH平面可以被划分成例如m×n个子CGH区域，并且CGH块的干涉图案中的每一个可以是与CGH平面上的子CGH区域中的每一个的位置相对应的干涉图案。
处理器112执行快速傅立叶变换FFT，用于以具有子图像尺寸的单独的单位为子图像中的每一个中包括的物体数据计算在CGH平面中的干涉图案，从而获得对应于子图像中的每一个的CGH块的干涉图案。
如上所述，深度图像中的子图像中的每一个的位置对应于CGH平面中CGH块的干涉图案中的每一个的位置。因此，从位于相同块位置的不同深度层中的不同子图像计算的干涉图案可以被映射到CGH平面中位于相同块位置的CGH块(或SLM块)。
处理器112通过使用所获得的CGH块的干涉图案来生成3D物体的整个CGH。也就是说，处理器112通过合并所获得的CGH块的干涉图案以获得CGH平面中的整个区域的全局CGH的干涉图案(即，全局干涉图案)来生成CGH。
也就是说，3D全息图像处理装置100通过将每个深度图像划分成子图像来执行CGH处理(例如，FFT)。这是因为，如图5所示，随着深度图像被划分成子图像，计算复杂度可以降低。此外，3D全息图像处理装置100可以在子图像内设置感兴趣区域(ROI)，或者对子图像执行单级傅立叶变换，以便对所划分的子图像执行更有效的CGH处理。这将参考附图进行更详细的描述。
图5是用于描述根据实施例的计算复杂度通过深度图像细分而被降低的图。
参考图5，例示了在深度图像未被划分成子图像的情况501下的计算复杂度和在深度图像被划分成子图像的情况502下的计算复杂度。在分辨率为M×N的深度图像没有被划分的情况501下，用于生成CGH处理(诸如FFT的操作)的计算复杂度如以上表达式1中所述。
然而，在分辨率为M×N的深度图像被划分成mx n个子图像并且对mxn个子图像执行CGH处理以生成mxn个CGH块(子CGH)的情况502下，计算复杂度可以如以下表达式2中那样降低。
[表达式2]
MN[log(MN)-log(mn)]
换句话说，由于m×n细分，与未细分的情况相比，CGH处理的计算复杂度可以相对降低。
图6是用于描述根据实施例的CGH处理的计算复杂度通过深度图像的m×n细分而被降低的图。
参考图6，假设具有M×N分辨率的深度图像600被划分成mx n个CGH块610。对于具有M×N分辨率的深度图像600，CGH处理的计算复杂度如以上表达式1所述。相反，考虑到m×n细分的计算复杂度计算过程将参考以下表达式3来描述。
[表达式3]
Figure BDA0002409207650000131
根据表达式3，当通过将M×N分辨率的计算范围局部化到mx n个CGH块中来执行傅立叶变换时，因为一个块的分辨率是
Figure BDA0002409207650000132
所以一个CGH块的计算复杂度可以表示为
Figure BDA0002409207650000133
当一个CGH块的计算复杂度乘以块的总数量(m×n)以获得总的CGH块的计算复杂度时，总的CGH块的计算复杂度为MNlog(MN)-MNlog(mn)。因此，通过将深度图像600划分成m×n个CGH块610(即子图像)，CGH处理(诸如FFT的操作)的计算复杂度可以降低MNlog(mn)。因此，随着深度图像的分辨率M×N增加和/或CGH块数量(mxn)增加，计算复杂度可以进一步降低。
图7A是用于描述根据实施例的在子图像中设置ROI的图。
参考图7A，在深度图像的m×n个子图像701中，可能存在其中存在物体数据710的子图像和其中不存在物体数据710的子图像。在这种情况下，物体数据710可以表示与其相对应的、3D物体在深度层中的深度值。例如，深度值可以表示为像素值。如上所述，可以基于深度值0来确定存在物体数据710的子图像和不存在物体数据710的子图像。然而，本公开不限于此，参考深度值可以是除了0之外的相对小的任何值。
针对深度图像中的每一个，图4中的处理器112将m×n个子图像701中存在物体数据710的子图像确定为ROI 720。也就是说，处理器112可以将m×n个子图像701中物体数据710的值大于预定阈值(例如，0)的子图像确定为ROI 720。在图7A的示例中，可以将m×n个子图像701中与物体数据710重叠的CGH块位置的14个子图像设置为ROI 720。
处理器112对被确定为ROI 720的子图像执行傅立叶变换。然而，处理器112跳过对未被确定为ROI 720的剩余子图像的傅立叶变换。这是因为由于在未被确定为ROI 720的剩余子图像中没有物体数据(也就是说，由于深度值或像素值为0)，所以没有必要对其执行傅立叶变换。结果，由于处理器112只需要对ROI 720的子图像执行傅立叶变换，所以可以减少计算量。处理器112基于对被确定为ROI 720的子图像进行傅立叶变换的结果，获得与ROI子图像相对应的CGH块的干涉图案。
处理器112可以跳过对不包括任何与ROI 720相对应的子图像的整个深度图像的傅立叶变换。
图7B是用于描述根据实施例的被确定为ROI的子图像的数量和位置可以根据用于划分深度图像的CGH块的数量(m×n)而改变的图。
参考图7B，具有大约4000×4000分辨率的原始图像被划分成256个深度层，并且示出了在256个深度层中的第180个深度层的深度图像中包括的物体数据731。深度图像的全分辨率下由物体数据731占据的像素数量非常少。
图7B示出了当深度图像被划分成例如10×10个块时的ROI 732和当深度图像被划分成例如40×40个CGH块时的ROI 733。由于图4中的处理器112在每种情况下都只需要对对应于ROI 732或733的子图像执行傅立叶变换，所以相比对整个深度图像执行傅立叶变换时，计算量可以减少更多。随着CGH块数量增加，整个ROI的范围可能减小，但是ROI中包括的单独的子图像的数量可能增加。相反，随着CGH块数量减少，整个ROI的范围可能会增加，但是ROI中包括的单独子图像的数量可能减少。也就是说，处理器112的计算量可以根据CGH块的数量来调整。
图7C是用于描述根据实施例的用于确定块的最佳数量的仿真结果的图。
参考图7C，示出了在给定的条件集740下，在增加CGH块的数量的同时测量FFT计算时间的结果。在图7C中示出的条件下，当深度图像被划分成32×32个CGH块时，计算速度最快。理论上，随着CGH块的数量增加，计算速度也增加，但是由于迭代计算而导致的计算负载也随着CGH块的数量的增加而生成。因此，考虑到影响计算速度的各种因素，可以确定适当的最佳的CGH块数量。图7C仅是给定条件740下的仿真结果，并且本公开不限于此，可以适当地确定针对使用条件最佳化的CGH块的数量。
图7D是根据实施例的处理器112的详细硬件配置的框图。
图7D中的处理器112对应于图4中示出的处理器112，并且如图7D中示出的，处理器112可以包括主控制单元MCU 1121和多个FFT核心1122_1、1122_2、...、1122_j-1和1122_j(其中j是自然数)。然而，图7D中示出的处理器112的详细硬件配置是一个示例，并且处理器112可以进一步包括其他硬件配置，或者可以被实施为具有与图7D所示的不同的硬件配置。也就是说，处理器112的详细硬件配置不限于图7D中示出的配置。
MCU 1121对应于控制单元，该控制单元通常控制处理器112的CGH处理操作。具体而言，MCU 1121可以从3D物体的深度数据获得预定数量的深度层的预定分辨率(例如M xN)的多个深度图像，并且可以将分辨率为M x N的给定深度图像划分成预定数量(例如mxn)的子图像(即CGH块)。此外，MCU 1121可以将子图像中的存在物体数据的一个或多个子图像确定为ROI，并且可以通过分配FFT核心对子图像中的每一个执行傅立叶操作来调度多个FFT核心1122_1、1122_2、...、1122_j-1和1122_j的操作，使得对所划分的子图像(即，CGH块)中的ROI执行高效的FFT操作。也就是说，处理器112的MCU 1121具有控制以上描述的CGH处理操作和以下将要描述的CGH处理操作的功能。
多个FFT核心1122_1、1122_2、...1122_j-1和1122_j分别对应于执行傅立叶操作(例如，FFT操作)的处理核心。傅立叶操作，诸如FFT操作，对应于占CGH处理操作的大部分的操作，并且处理器112可以通过多个FFT核心1122_1、1122_2、...1122_j-1和1122_j的并行处理来加速CGH处理，多个FFT核心1122_1、1122_2、...、1122_j-1和1122_j可以作为处理器112内的FFT核心块1122与MCU 1121区分开来。多个FFT核心1122_1、1122_2、...1122_j-1和1122_j中的每一个执行傅立叶变换，以计算在所分配的子图像单元中的子图像中的每一个中包括的物体数据在CGH平面中的干涉图案。换句话说，每个FFT核心可以在给定时间对单个子图像中包括的物体数据执行傅立叶变换。随后，MCU 1121基于通过FFT核心1122_1、1122_2、...、1122_j-1和1122_j执行傅立叶变换的结果来获得对应于子图像中的每一个的CGH块的干涉图案，并且通过使用所获得的CGH块的干涉图案来生成3D物体的CGH。
多个FFT核心1122_1、1122_2，...1122_j-1和1122_j中的每一个可以用电路逻辑来实施，其中用于执行FFT操作的移位寄存器、乘法器等被组合。处理器112中FFT核心1122_1、1122_2、...1122_j-1和1122_j的数量可以考虑到各种因素(诸如处理器112的性能、显示装置150的分辨率、图像的分辨率等)而进行各种改变。
多个FFT核心1122_1、1122_2、...1122_j-1和1122_j可以并行执行FFT操作，以执行双级傅立叶变换(初级傅立叶变换和次级傅立叶变换)、单级傅立叶变换或混合傅立叶变换，这将在下面进行描述。
图7E是用于描述根据实施例的通过使用FFT核心块的FFT核心对ROI执行FFT操作的图。
如以上参考图7D所述，处理器112的MCU 1121可以将子图像701中的存在物体数据的一个或多个子图像确定为ROI 720，并且可以调度多个FFT核心1122_1、1122_2、...、1122_j-1和1122_j的操作，使得对ROI 720执行高效的FFT操作。
具体地，MCU 1121可以将对应于ROI 720的每个子图像分配给每个FFT核心，从而调度FFT核心1122_1、1122_2、...、1122_j-1和1122_j的操作，使得FFT核心1122_1、1122_2，...、1122_j-1和1122_j并行地对ROI 720中的子图像执行FFT操作。
例如，FFT核心1122_1可以对ROI 720中第一行最左边的子图像执行FFT操作，FFT核心1122_2可以对位于ROI 720中第一行从左起第二列的子图像执行FFT操作，FFT核心1122_j-1可以对位于ROI 720中最后一行倒数第二列中的子图像执行FFT操作，以及FFT核心1122_j可以对位于ROI 720中最后一行最后一列中的子图像执行FFT操作。这样，FFT核心1122_1、1122_2、...1122_j-1和1122_j可以并行地对ROI 720的子图像执行FFT操作，使得对ROI 720执行高效的FFT操作。
为便于描述，图7E中示出ROI 720中的一个子图像被分配给一个FFT核心，但是分配给一个FFT核心的子图像的数量可以通过调度MCU 1121以各种方式改变。此外，尽管图7E中没有明确示出，但是根据对MCU 1121的调度，FFT核心1122_1、1122_2、...1122_j-1和1122_j可以对具有相同深度的子图像执行并行FFT操作，并且还可以对具有不同深度的深度图像中的ROI执行并行FFT操作。
图7F是根据另一实施例的用于描述通过将FFT核心块的FFT核心分配给特定位置处的像素来执行FFT操作的图。
参考图7F，FFT核心1122_1、1122_2、...、1122_j-1和1122_j中的每一个可以被映射到分辨率为M×N的第k个深度图像中的某个位置处的相应像素阵列，并且因此可以被分配为对所映射的像素阵列执行FFT操作。
具体而言，例如，当分辨率为M×N的深度图像被分组到2×2像素阵列时，2×2像素阵列中的每一个可以被分配给一个FFT核心，并且每个FFT核心可以对与其对应的2×2像素阵列执行FFT操作。
FFT核心块中的所有FFT核心可以被分配给一个深度图像中的像素阵列。然而，本公开不限于此，并且FFT核心块中的一些FFT核心可以被分配给某一深度的深度图像中的像素阵列，并且FFT核心块的剩余FFT核心可以被分配给另一深度的深度图像中的像素阵列。也就是说，要被映射的像素阵列的尺寸和要被映射到一个深度的深度图像的FFT核心的数量可以根据FFT核心块中提供的FFT核心的数量、FFT核心的处理性能等而进行各种改变。
结果，因为根据图7D所示的实施例使用处理器112中提供的FFT核心1122_1、1122_2、...、1122_j-1和1122_j并行处理FFT操作，所以可以执行高效的CGH处理。
图8A和图8B是用于描述根据实施例的子图像的零填充的图。
参考图8A，当通过傅立叶变换计算子图像的传播时，由于发生衍射，数据可能被生成到比原始子图像尺寸更宽的范围。也就是说，当CGH块的干涉图案被生成并以原始子图像尺寸彼此附着时，由于干涉图案中衍射超过子图像边缘的部分的数据丢失，所以在子图像边界处可能出现不正确的衍射图案。因此，为了获得正确的CGH块的干涉图案，需要使用比原始子图像的尺寸更宽的范围来计算传播。
因此，图4的处理器112在预定范围内对被确定为ROI的子图像810的边缘执行零填充820。然后，处理器112通过对零填充子图像执行傅立叶变换来获得CGH块的干涉图案。
参考图8B，示出了用于计算零填充的范围的方法。当图像传播时，衍射发生的范围可以根据传播距离、波长和像素尺寸来确定。例如，衍射发生的范围可以使用图8B中示出的等式来计算。Lk，min表示根据到第k深度层的距离的子图像尺寸的最小值。因此，通过从Lk，min减去原始子图像尺寸，可以获得所需的零填充的范围。当通过如上所述计算的衍射范围对子图像的边缘执行零填充，并然后计算传播时，该传播可以被计算为包括衍射超出原始子图像边缘的所有数据。随后，当通过零填充计算的相邻干涉图案的部分彼此重叠时，可以生成正确的CGH块的干涉图案。然而，随着零填充范围增加，分辨率也增加，这可能会影响计算量。因此，零填充范围可以被确定为适当的范围。
图9是用于比较和描述根据实施例的基于未零填充和零填充生成的CGH块的干涉图案的图。
参考图9，在基于未零填充生成的CGH块的干涉图案901中，衍射图案缺失，因此出现了缺陷现象。然而，相反，在基于零填充生成的CGH块的干涉图案902中，可以在零填充范围内生成完整的干涉图案。
图10是用于描述根据实施例的用于确定零填充的适当范围的仿真结果的图。
参考图10，在没有m×n划分的情况下生成CGH的方法(Global conv.)需要270.0919秒来生成CGH。此外，零填充范围被设置为100％(满)的包括m×n划分的方法需要226.4386秒来生成CGH，因此，两种方法的CGH生成时间几乎没有不同。另一方面，在零填充范围约为30％或更大的情况下，偏差几乎没有不同。因此，即使零填充的范围被设置为大约30％，也可以在计算时间和偏差方面获得高效的计算性能。
如参考图5至图10所述，图4中的处理器112可以将分辨率为M×N的深度图像划分成mx n个子图像(即块)，然后对子图像中的每一个单独地执行CGH处理(FFT操作等)。此外，处理器112可以在所划分的子图像中仅选择其中存在物体数据的ROI子图像来执行CGH处理。而且，处理器112可以在首先完成对ROI子图像的零填充之后再执行CGH处理。
图11是用于描述根据实施例的双级傅立叶变换的图。
参考图11，双级傅立叶变换针对聚焦在观察者的视网膜平面13上的图像(即深度图像)执行用于计算光波从观察者的视网膜平面13到观察者的眼睛晶状体平面14的传播的初级傅立叶变换和用于计算光波从眼睛晶状体平面14到CGH平面15的传播的次级傅立叶变换。
如上所述，CGH处理中的傅立叶变换是用于获得通过图像的菲涅耳衍射获得的衍射图像的分布的操作，并且对应于GFT或菲涅耳变换。在实施例中，傅立叶变换可以包括傅立叶逆变换、FFT、GFT、菲涅耳变换等，它们是使用傅立叶变换的操作。
分别在不同深度层LN、Lm和L1的深度图像中确定的ROI 1101、1102和1103可以独立或并行地处理。
具体地，针对投影到视网膜平面13上的、与深度层LN的深度图像的ROI1101相对应的子图像(在这种情况下，子图像可以表示零填充子图像)，图4的处理器112执行初级傅立叶变换，用于计算光波从视网膜平面13到眼睛晶状体平面14的传播。处理器112将眼睛晶状体平面14的相位轮廓(phase profile)应用(例如，相乘)到执行初级傅立叶变换的结果，然后执行次级傅立叶变换，用于计算光波从眼睛晶状体平面14到CGH平面15的传播。处理器112将投影透镜的相位轮廓应用(例如，相乘)到执行次级傅立叶变换的结果，然后基于应用投影透镜的相位轮廓的结果，获得在与深度图像的ROI1101的块位置相对应的CGH平面15上的块位置处的CGH块的干涉图案1111。处理器112对与深度层LM的深度图像的ROI 1102相对应的子图像和与深度层L1的深度图像的ROI 1103相对应的子图像执行相同的双级傅立叶变换，从而获得CGH块的干涉图案1112和1113。在这种情况下，如上所述，用于ROI 1101、1102和1103的CGH处理可以由处理器112中的不同处理核心(或处理单元)独立或并行地处理。
当获得ROI 1101、1102和1103中的全部的CGH块的干涉图案1111、1112和1113时，处理器112合并所获得的CGH块的干涉图案1111、1112和1113，以获得CGH平面15的整个区域中的全局CGH的干涉图案(即，全局干涉图案)，从而生成CGH。在这种情况下，在合并CGH块的干涉图案1111、1112和1113的过程中，零填充的范围可以彼此重叠。
尽管为便于描述，图11中仅示出三个深度层L1、Lm和LN，但是实施例不限于此，并且可以处理各种数量的深度层和各种数量的ROI以生成CGH。
图12是用于描述根据实施例的混合傅立叶变换的图。
参考图12，不同于图11的仅使用双级傅立叶变换的CGH处理操作，图4的处理器112可以通过使用混合傅立叶变换来获得CGH块的干涉图案。
混合傅立叶变换是指选择性地执行双级傅立叶变换和单级傅立叶变换的操作。具体而言，混合傅立叶变换是指对深度大于阈值深度1200的深度层的深度图像(即，ROI子图像)执行单级傅立叶变换，对深度小于阈值深度1200的深度层的深度图像(即，ROI子图像)执行双级傅立叶变换。在这种情况下，大于阈值深度1200的深度层是指在相对靠近眼球的深度处的深度层，而小于阈值深度1200的深度层是指在相对靠近CGH平面15的深度处的深度层。
阈值深度1200可以由各种因素来确定和改变，诸如用户设置、深度层的数量和3D全息图像处理装置100的性能。可选地，处理器112可以基于以下参考图14A描述的阈值深度条件来确定阈值深度1200。
将参考附图描述单级傅立叶变换。
图13A是用于描述根据实施例的单级傅立叶变换的图。
参考图13A，不同于执行两个傅立叶变换的双级傅立叶变换，首先从视网膜平面F(x2,y2)1301到眼睛晶状体平面G(u,v)1302，然后从眼睛晶状体平面G(u,v)1302到CGH平面H(x1,y1)1303，单级傅立叶变换是指仅通过从深度层Lt(ut,vt)1300直接到CGH平面1303的一个傅立叶变换来获得CGH块的干涉图案的操作。
由于CGH干涉图案是基于菲涅耳变换(傅立叶变换)生成的，所以可以仅针对图像的衍射范围彼此重叠的部分来计算CGH干涉图案。因此，由于参考图3(或图5的情况501)描述的没有m×n细分的深度图像的尺寸较大，所以只有当深度层显著远离CGH平面1303时，才可以计算从深度层到CGH平面1303的传播，以便充分发生衍射重叠。然而，对于小尺寸的子图像，诸如上述具有m×n细分的深度图像的子图像(例如，图5的情况502)，即使在距CGH平面1303较短的距离处，也可以直接计算CGH干涉图案。在实施例中，使用该原理的操作被定义为单级傅立叶变换。
以上参考图12描述的混合傅立叶变换是指基于阈值深度使用单级傅立叶变换和双级傅立叶变换的操作。
当ROI的确定完成时，图4的处理器112可以通过利用使用双级傅立叶变换的CGH处理、使用混合傅立叶变换的CGH处理和使用单级傅立叶变换的CGH处理中的至少一个来对ROI的子图像执行CGH处理。
图13B是用于描述根据实施例的3D空间中的球形载波的图。
参考图13B，球形载波是指在用于计算传播的傅立叶变换(即FFT)过程期间相位的大小和位置的改变。因为关于通过如图13B所示的区域F-Dk传播的球形载波的信息在单级傅立叶变换中被省略，所以图像可以被制作得更小而无需根据距眼球的距离被适当放大。因此，需要计算关于球形载波影响的卷积。
图13C是用于描述当不考虑被省略的球形载波的影响时的仿真结果的图。
参考图13C，示出了在不考虑通过区域F-Dk传播的球形载波的情况下生成CGH干涉图案的结果1330。由于图像没有被放大到最大尺寸，所以CGH块(SLM块)的尺寸小于子图像的尺寸。因此，即使标记(stamp)了CGH块的干涉图案(SLM块的干涉图案)，CGH块(SLM块)之间的间隔也会变宽，因为与子图像的尺寸相比，CGH块(SLM块)的尺寸相对较小。
由于深度图像中的每一个被划分成子图像，并且在子图像(或ROI子图像)中，通过由相对应的子图像的位置而不是由线性载波进行标记来确定CGH块(SLM块)的位置，所以球形载波的中心部分的相位按子图像尺寸被切割并乘以所有子图像。通过该计算，除了生成图像偏移的线性载波元件之外，可以仅使用球形载波元件来精确放大相应图像的尺寸。
图13D和图13E是用于描述根据实施例的深度层和CGH平面之间的采样网格匹配的图。
参考图13D，当通过单级傅立叶变换将图像从深度层传播到CGH平面来获得CGH块时，CGH块的尺寸由于衍射而增加。在这种情况下，当具有增加尺寸的CGH块按原样被标记在CGH平面上时，具有增加尺寸的CGH块与CGH平面不匹配，因此需要深度层和CGH平面之间的采样网格匹配。
参考图13D中示出的等式，CGH平面的块尺寸可以被表示为表达式4，CGH平面的总尺寸可以被表示为表达式5。此外，深度层的深度图像的总尺寸可以被表示为表达式6。
[表达式4]
Figure BDA0002409207650000221
(L：块尺寸，λ：波长，dk：平面之间的距离，以及Δ：像素尺寸)
[表达式5]
(Tx1，Ty1)＝(NxΔx1，NyΔy1)
(T：总尺寸，N：分辨率)
[表达式6]
Figure BDA0002409207650000222
(F：焦距，和Deye：眼睛晶状体和视网膜之间的距离)
参考图13E，由于生成的CGH块的采样网格根据到深度层的距离而具有不同的衍射重叠范围，并且对于每个深度层而言不同，并且也不同于CGH平面的尺寸，因此需要将采样网格与CGH平面进行匹配。因此，处理器112将生成的CGH块插值到适合CGH平面的采样网格的尺寸(也就是说，分辨率)，然后根据CGH平面的尺寸执行切割边缘的处理。
也就是说，处理器112通过对与ROI相对应的子图像执行球面波的卷积、在与ROI相对应的子图像的边缘上执行零填充到预定范围、以及对零填充子图像执行单级傅立叶变换来获得干涉图案，并且通过执行用于将干涉图案匹配到空间光调制器(SLM)的采样网格的插值来获得CGH块的干涉图案。
图14A和图14B是用于描述根据实施例的当执行混合傅立叶变换时确定阈值深度的方法的图。
参考图14A，当衍射重叠范围大于CGH平面的SLM块(CGH块)的尺寸时，可以应用单级傅立叶变换。也就是说，由于衍射重叠范围可能仅在深度层有点远离CGH平面时增加，所以可以应用单级傅立叶变换。因此，当图4中的处理器112执行混合傅立叶变换时，处理器112对在CGH平面和深度层之间具有短距离的深度层执行双级傅立叶变换，对在CGH平面和深度层之间具有长距离的深度层执行单级傅立叶变换。为了确定CGH平面和深度层之间的距离是短还是长，可以确定阈值深度。
如果衍射重叠范围大于CGH平面的尺寸，则意味着插值之前的SLM块(CGH块)的采样间隔的尺寸大于CGH平面的采样间隔的尺寸。因此，使用图14A中示出的等式，可以看出SLM块的采样间隔的尺寸如何根据从CGH平面到深度层的距离而改变。如图14B所示，当等式以曲线图表示时，SLM块(CGH块)的采样间隔随着与深度层的距离增加而增加，并且可以在SLM块(CGH块)的采样间隔大于CGH平面的采样间隔的点处开始执行单级傅立叶变换。因此，阈值深度可以基于图14A中示出的阈值深度条件1350来确定。
图15是根据实施例的通过将深度图像划分成子图像来执行CGH处理的方法的流程图。参考图15，由于执行CGH处理的方法与参考上述附图描述的实施例相关，所以即使在下文中被省略，参考上述附图给出的上述描述也可以应用于图15的方法。
在操作1501中，图4中的处理器112读取将根据其生成全息图像的3D物体的2D强度图像和深度数据。
在操作1502中，处理器112设置可以将从3D物体的深度数据获得的深度层的深度图像可以被划分成的块的数量(例如，m×n)。
在操作1503中，处理器112通过将深度图像划分成所设置数量(m×n)的CGH块来获得对应于块的子图像。
在操作1504中，处理器112为每个深度图像确定所获得的子图像中对应于ROI的一个或多个子图像。例如，可以确定ROI 1到ROI k(其中k是自然数)。
在操作1505中，处理器112对与ROI 1相对应的子图像执行零填充。
在操作1506中，处理器112对零填充子图像执行双级傅立叶变换(例如，FFT)，并且基于执行双级傅立叶变换的结果获得对应于ROI 1的CGH块的干涉图案。
在操作1507中，处理器112将获得的CGH块的干涉图案标记到CGH平面。
在操作1508至1510中，处理器112对与ROI 2相对应的子图像执行对应于操作1505至1507的CGH处理，从而在CGH平面上标记对应于ROI 2的CGH块的干涉图案。
在操作1511至1513中，处理器112对与ROI k相对应的子图像执行对应于操作1505至1507的CGH处理，从而在CGH平面上标记对应于ROI k的CGH块的干涉图案。
处理器112可以独立或并行地执行操作1505至1507的处理、操作1508至1510的处理以及操作1511至1513的处理。
在操作1514中，处理器112通过合并所标记的CGH块的干涉图案并获得在CGH平面的整个区域中的全局CGH的干涉图案(即，全局干涉图案)来生成CGH。
图16A和图16B是根据实施例的通过将深度图像划分成子图像来基于混合傅立叶变换执行CGH处理的方法的流程图。参考图16A和图16B，由于执行CGH处理的方法与参考上述附图描述的实施例相关，所以即使在下文中被省略，参考上述附图给出的上述描述也可以应用于图16A和图16B的方法。
在操作1601中，图4中的处理器112读取将根据其生成全息图像的3D物体的2D强度图像和深度数据。
在操作1602中，处理器112设置可以将从3D物体的深度数据获得的深度层的深度图像划分成的块的数量(例如，m×n)。
在操作1603中，处理器112通过将深度图像划分成所设置的数量(m×n)的CGH块来获得对应于块的子图像。
在操作1604中，处理器112为每个深度图像确定所获得的子图像中对应于ROI的一个或多个子图像。
在操作1605中，处理器112基于阈值深度确定每个深度图像的深度层是远离还是靠近CGH平面。如果确定每个深度图像的深度层是远离CGH平面，则处理器112执行操作1606和1611。然而，如果确定每个深度图像的深度层是靠近CGH平面，则处理器112执行图16B中示出的操作1616和1619。
在操作1606中，处理器112对与ROI 1相对应的子图像执行球面波的卷积。
在操作1607中，处理器112对卷积后的子图像执行零填充。
在操作1608中，处理器112对零填充子图像执行单级傅立叶变换(例如，FFT)。
在操作1609中，处理器112通过对执行单级傅立叶变换(例如，FFT)的结果执行插值来匹配采样网格。
在操作1610中，处理器112将网格匹配的CGH块的干涉图案标记到CGH平面。
在操作1611至1615中，处理器112对与ROI j相对应的子图像执行对应于操作1606至1610的CGH处理，从而在CGH平面上标记对应于ROI j的CGH块的干涉图案(其中j是自然数)。
在操作1616中，处理器112对与ROI j+1相对应的子图像执行零填充。
在操作1617中，处理器112对零填充子图像执行双级傅立叶变换(例如，FFT)，并且基于执行双级傅立叶变换的结果获得对应于ROI j+1的CGH块的干涉图案。
在操作1618中，处理器112将所获得的CGH块的干涉图案标记到CGH平面。
在操作1619至1621中，处理器112对与ROI k相对应的子图像执行对应于操作1616至1618的CGH处理，从而在CGH平面上标记对应于ROI k的CGH块的干涉图案。
处理器112可以独立或并行地执行操作1606至1610的处理、操作1611至1615的处理、操作1616至1618的处理以及操作1619至1621的处理。
在操作1622中，处理器112合并CGH块的标记的干涉图案，以获得CGH平面的整个区域中的全局CGH的干涉图案(即，全局干涉图案)，从而生成CGH。
图17是根据实施例的处理3D全息图像的方法的流程图。参考图17，由于3D全息图像处理方法与参考上述附图描述的实施例相关，所以即使在下文中被省略，参考上述附图给出的上述描述也可以应用于图17的方法。
在操作1701中，处理器112从3D物体的深度数据获得预定数量的深度层的预定分辨率的多个深度图像。
在操作1702中，处理器112将深度图像中的每一个划分成预定数量的子图像，每个子图像对应于用于在CGH平面中生成CGH块的干涉图案的处理单元。
在操作1703中，处理器112执行傅立叶变换，用于以子图像为单位(即单独地)计算在子图像中的每一个中包括的物体数据在CGH平面中的干涉图案，从而获得对应于子图像中的每一个的CGH块的干涉图案。
在操作1704中，处理器112通过使用所获得的CGH块的干涉图案生成3D物体的CGH。
图18是用于比较根据实施例的使用未划分的深度图像的情况(全局方法)的计算复杂度和使用划分的深度图像的情况(局部方法)的计算复杂度的图。图18示出了通过在增加图像分辨率的同时模拟全局方法的计算复杂度和局部方法的计算复杂度而获得的曲线图。曲线图显示了当深度层的数量(即深度水平)被不同地设置时的结果。显示了深度层的数量为1、4、16和256时的结果。深度层的数量越多以及图像分辨率越高，局部方法的计算效率越高。在图18中，2FFT是指双级傅立叶变换，以及1FFT是指单级傅立叶变换。
图19是示出根据实施例的根据深度层的数量的全局方法和局部方法的2FFT计算时间的仿真结果的图。参考图19，在全局方法中，计算时间随着深度层的数量增加而大大增加，但是在局部方法的情况下，不会发生相对较大的改变。此外，与全局方法相比，局部方法的计算时间显著减少。
图20是示出根据实施例的在改变深度层的数量的同时计算阈值深度的结果的曲线图。参考图20，线2000表示阈值深度。如图所示，阈值深度取决于深度层的数量。基于线2000，要对其执行双级傅立叶变换的深度层和要对其执行单级傅立叶变换的深度层可以彼此区分开来。
图21是用于比较根据实施例的在各种傅立叶变换方案下根据深度层的数量的FFT计算时间的图。参考图21，局部方法比全局方法快得多，并且执行混合傅立叶变换的局部方法(“局部混合”)比仅执行双级傅立叶变换的局部方法(“局部2FFT”)更快。当在给定条件下深度层的数量为256时，局部方法(“局部2FFT”)比全局方法快约30倍，且局部方法(“局部混合”)比全局方法快约36倍。
上述实施例可以在通用数字计算机中实施，以被编写为可以在计算机上执行的程序，并且使用计算机可读记录介质来操作该程序。此外，实施例中使用的数据结构可以经由各种单元记录在计算机可读记录介质上。计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)、光学记录介质(例如，CD-ROM或DVD)等。
应该理解，本文描述的实施例应该仅被认为是描述性的，而不是限制性的。每个实施例中的特征或方面的描述通常应被认为可用于其他实施例中的其他类似特征或方面。虽然已经参考附图描述了一个或多个实施例，但是本领域普通技术人员将理解，在不脱离由所附权利要求限定的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (27)

1.一种处理三维全息图像的方法，所述方法包括：
从三维物体的深度数据获得预定数量的深度层的多个深度图像，多个深度图像中的每个深度图像具有预定分辨率并且对应于预定数量的深度层中的相应深度层；
将多个深度图像中的每个深度图像划分成预定数量的子图像，以由多个处理单元中的相应处理单元处理；
通过对相应子图像中包括的物体数据执行傅立叶变换以计算对应于相应子图像的计算机生成的全息图CGH平面中的干涉图案，来获得在CGH平面中的多个CGH块的多个干涉图案，多个CGH块中的每个CGH块对应于预定数量的子图像中的至少一个相应子图像；和
使用所获得的多个干涉图案生成三维物体的CGH。
2.根据权利要求1所述的方法，其中，预定数量的子图像中的每个子图像具有至少两个像素的区域。
3.根据权利要求2所述的方法，其中，所述多个深度图像中的每个深度图像中的预定数量的子图像中的每个子图像的相应位置对应于所述多个CGH块中的每个CGH块在CGH平面中的相应块位置，以及
其中，从对应于多个深度图像中的每个深度图像中的相同块位置的一组子图像计算的一组干涉图案被映射到所述多个CGH块中位于所述CGH平面中的相同块位置的CGH块。
4.根据权利要求1所述的方法，其中，生成所述CGH包括：通过合并所获得的多个干涉图案以获得所述CGH平面的整个区域中的全局干涉图案来生成所述CGH。
5.根据权利要求1所述的方法，其中，获得多个干涉图案包括：
针对多个深度图像中的每个深度图像，将预定数量的子图像中的存在物体数据的子图像确定为感兴趣区域(ROI)；以及
通过对所确定的子图像执行傅立叶变换并且避免对预定数量的子图像中的剩余子图像执行傅立叶变换来获得多个干涉图案。
6.根据权利要求5所述的方法，其中，被确定为ROI的子图像基于子图像中存在的物体数据的值大于预定阈值来确定。
7.根据权利要求5所述的方法，其中，获得多个干涉图案还包括：
在被确定为ROI的子图像的边缘上的预定范围内执行零填充，以形成零填充子图像；以及
通过对零填充子图像执行傅立叶变换来获得多个干涉图案。
8.根据权利要求5所述的方法，其中，获得所述多个干涉图案还包括避免对所述多个深度图像中的不包括被确定为ROI的子图像的深度图像执行傅立叶变换。
9.根据权利要求1所述的方法，其中，所述傅立叶变换包括双级傅立叶变换，所述双级傅立叶变换包括计算光波从观察者的视网膜平面到观察者的眼睛晶状体平面的传播的初级傅立叶变换和计算光波从眼睛晶状体平面到CGH平面的传播的次级傅立叶变换。
10.根据权利要求1所述的方法，其中，所述傅立叶变换计算光波从预定数量的深度层中的深度层到所述CGH平面的传播。
11.根据权利要求10所述的方法，其中
获得多个干涉图案包括：
对预定数量的子图像中的对应于ROI的子图像执行球面波的卷积；
在对应于ROI的子图像的边缘上的预定范围内执行零填充，以形成零填充子图像；
通过对零填充子图像执行傅立叶变换来获得干涉图案；以及
通过执行插值将获得的干涉图案与空间光调制器(SLM)的采样网格进行匹配来获得多个干涉图案。
12.根据权利要求10所述的方法，其中，所述傅立叶变换包括混合傅立叶变换，所述混合傅立叶变换包括：
对预定数量的深度层中具有大于阈值深度的第一深度的第一深度层的多个深度图像中的第一深度图像进行的单级傅立叶变换；以及
对预定数量的深度层中具有小于阈值深度的第二深度的第二深度层的多个深度图像中的第二深度图像进行的双级傅立叶变换。
13.一种非暂时性计算机可读记录介质，其上记录有用于在计算机上执行权利要求1的方法的程序。
14.一种用于处理三维全息图像的装置，所述装置包括：
存储器，其中存储至少一个程序；以及
处理器，被配置成通过执行所述至少一个程序来处理三维全息图像，
其中所述处理器还被配置成：
从三维物体的深度数据获得预定数量的深度层的多个深度图像，多个深度图像中的每个深度图像具有预定分辨率并且对应于预定数量的深度层中的相应深度层，
将多个深度图像中的每个深度图像划分成预定数量的子图像，以由多个处理单元中的相应处理单元处理，
通过对相应子图像中包括的物体数据执行傅立叶变换以计算与相应子图像相对应的在计算机生成的全息图CGH平面中的干涉图案来获得CGH平面中的多个CGH块的多个干涉图案，多个CGH块中的每个CGH块对应于预定数量的子图像中的至少一个相应子图像，以及
使用所获得的多个干涉图案生成三维物体的CGH。
15.根据权利要求14所述的装置，其中，所述预定数量的子图像中的每个子图像具有至少两个像素的区域。
16.根据权利要求15所述的装置，其中，
所述多个深度图像中的每个深度图像中的预定数量的子图像中的每个子图像的相应位置对应于所述多个CGH块中的每个CGH块在所述CGH平面中的相应块位置，以及
其中，从对应于所述多个深度图像中的每个深度图像中的相同块位置的一组子图像计算的一组干涉图案被映射到位于所述CGH平面中的相同块位置的所述多个CGH块中的CGH块。
17.根据权利要求14所述的装置，其中，所述处理器还被配置成通过合并所获得的多个干涉图案以获得所述CGH平面的整个区域中的全局干涉图案来生成所述CGH。
18.根据权利要求14所述的装置，其中，所述处理器还被配置成：
针对多个深度图像中的每个深度图像，将预定数量的子图像中的存在物体数据的子图像确定为感兴趣区域ROI，以及
通过对所确定的子图像执行傅立叶变换并且避免对预定数量的子图像中的剩余子图像执行傅立叶变换来获得多个干涉图案。
19.根据权利要求18所述的装置，其中，被确定为ROI的子图像基于子图像中存在的物体数据的值大于预定阈值来确定。
20.根据权利要求18所述的装置，其中，所述处理器还被配置成：
在被确定为ROI的子图像的边缘上的预定范围内执行零填充，以形成零填充子图像，以及
通过对零填充子图像执行傅立叶变换来获得多个干涉图案。
21.根据权利要求18所述的装置，其中，所述处理器还被配置成避免对所述多个深度图像中的不包括被确定为ROI的子图像的深度图像执行傅立叶变换。
22.根据权利要求14所述的装置，其中，所述傅立叶变换包括双级傅立叶变换，所述双级傅立叶变换包括计算光波从观察者的视网膜平面到观察者的眼睛晶状体平面的传播的初级傅立叶变换和计算光波从眼睛晶状体平面到CGH平面的传播的次级傅立叶变换。
23.根据权利要求14所述的装置，其中，所述傅立叶变换计算光波从预定数量的深度层中的深度层到CGH平面的传播。
24.根据权利要求23所述的装置，其中，所述处理器还被配置成：
对预定数量的子图像中的对应于ROI的子图像执行球面波的卷积，
在对应于ROI的子图像的边缘上的预定范围内执行零填充，以形成零填充子图像，
通过对零填充子图像执行傅立叶变换来获得干涉图案，以及
通过执行插值将所获得的干涉图案与空间光调制器SLM的采样网格进行匹配来获得多个干涉图案。
25.根据权利要求23所述的装置，其中，所述傅立叶变换包括混合傅立叶变换，所述混合傅立叶变换包括：
对预定数量的深度层中具有大于阈值深度的第一深度的第一深度层的多个深度图像中的第一深度图像进行的单级傅立叶变换；以及
对预定数量的深度层中具有小于阈值深度的第二深度的第二深度层的多个深度图像中的第二深度图像进行的双级傅立叶变换。
26.一种用于处理三维全息图像的处理器，所述处理器包括：
多个快速傅立叶变换FFT核心，被配置成执行傅立叶操作；以及
主控制单元MCU，被配置成调度所述多个FFT核心的傅立叶操作，
其中，所述MCU还被配置成：
从三维物体的深度数据获得预定数量的深度层的多个深度图像，多个深度图像中的每个深度图像具有预定分辨率并且对应于预定数量的深度层中的相应深度层，
将多个深度图像中的每个深度图像划分成预定数量的子图像，以及
通过分配所述多个FFT核心中的FFT核心对预定数量的子图像中的每个子图像执行傅立叶操作来调度所述多个FFT核心的傅立叶操作，其中，所述多个FFT核心中的每个FFT核心被配置成对相应子图像中包括的物体数据执行傅立叶变换，以计算在CGH平面中对应于相应子图像的CGH块的干涉图案，并且
其中，所述MCU还被配置成：
通过基于所述多个FFT核心执行傅立叶变换的结果获得对应于预定数量的子图像中的每个子图像的相应干涉图案来获得多个干涉图案，以及
使用所获得的CGH块的多个干涉图案来生成三维物体的CGH。
27.根据权利要求26所述的处理器，其中，所述MCU还被配置成：
针对所述多个深度图像中的每个深度图像，将预定数量的子图像中存在物体数据的子图像确定为感兴趣区域ROI，以及
将预定数量的子图像中被确定为ROI的相应子图像分配给所述多个FFT核心。
CN202010171085.5A 2019-03-19 2020-03-12 用于处理三维全息图像的方法和装置 Pending CN111722514A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20190031465 2019-03-19
KR10-2019-0031465 2019-03-19
KR1020190094536A KR20200111598A (ko) 2019-03-19 2019-08-02 3차원 홀로그래픽 이미지를 처리하는 방법 및 장치
KR10-2019-0094536 2019-08-02

Publications (1)

Publication Number Publication Date
CN111722514A true CN111722514A (zh) 2020-09-29

Family

ID=69810654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010171085.5A Pending CN111722514A (zh) 2019-03-19 2020-03-12 用于处理三维全息图像的方法和装置

Country Status (3)

Country Link
US (2) US11747767B2 (zh)
EP (1) EP3712709A1 (zh)
CN (1) CN111722514A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210312607A1 (en) * 2018-11-02 2021-10-07 Hewlett-Packard Development Company, L.P. Print quality assessments
WO2023072669A1 (en) * 2021-10-28 2023-05-04 Interdigital Ce Patent Holdings, Sas Methods and apparatuses for encoding/decoding a volumetric content

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101563659A (zh) * 2006-12-01 2009-10-21 F.珀斯扎特胡有限公司 计算机生成全息图
US20160041524A1 (en) * 2014-08-06 2016-02-11 Samsung Electronics Co., Ltd. Method and apparatus for generating hologram
CN106412552A (zh) * 2015-08-03 2017-02-15 三星电子株式会社 用于处理全息图像的方法和装置
CN107623846A (zh) * 2016-07-13 2018-01-23 三星电子株式会社 用于处理三维（3d）图像的方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004063838A1 (de) 2004-12-23 2006-07-06 Seereal Technologies Gmbh Verfahren und Einrichtung zum Berechnen computer generierter Videohologramme
KR100586026B1 (ko) 2005-03-25 2006-06-02 한국전자통신연구원 디지털 홀로그램 부호화 또는/및 복호화 장치 및 그 방법
DE102007023738A1 (de) 2007-05-16 2009-01-08 Seereal Technologies S.A. Verfahren und Einrichtung zum Rekonstruieren einer dreidimensionalen Szene in einem holographischen Display
JP5488781B2 (ja) 2009-01-23 2014-05-14 大日本印刷株式会社 計算機合成ホログラムの再生シミュレーション方法、計算機合成ホログラム作製方法及び計算機合成ホログラム
KR101366116B1 (ko) 2012-10-31 2014-02-24 전자부품연구원 Ｆｆｔ 병렬 처리 방법, 이를 적용한 데이터 처리 방법 및 홀로그램 복원 장치
KR101960838B1 (ko) * 2012-11-26 2019-03-21 삼성전자주식회사 홀로그램 패턴 생성 장치 및 방법
KR20150066901A (ko) 2013-12-09 2015-06-17 삼성전자주식회사 디스플레이 패널의 구동 장치 및 구동 방법
KR102629583B1 (ko) * 2016-07-13 2024-01-25 삼성전자주식회사 3차원 이미지를 처리하는 방법 및 장치
KR102654862B1 (ko) 2016-08-31 2024-04-05 삼성전자주식회사 영상 처리 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101563659A (zh) * 2006-12-01 2009-10-21 F.珀斯扎特胡有限公司 计算机生成全息图
US20160041524A1 (en) * 2014-08-06 2016-02-11 Samsung Electronics Co., Ltd. Method and apparatus for generating hologram
CN106412552A (zh) * 2015-08-03 2017-02-15 三星电子株式会社 用于处理全息图像的方法和装置
CN107623846A (zh) * 2016-07-13 2018-01-23 三星电子株式会社 用于处理三维（3d）图像的方法和装置

Also Published As

Publication number Publication date
US20230359145A1 (en) 2023-11-09
US11747767B2 (en) 2023-09-05
US20200301361A1 (en) 2020-09-24
EP3712709A1 (en) 2020-09-23

Similar Documents

Publication Publication Date Title
US20210074052A1 (en) Three-dimensional (3d) rendering method and apparatus
RU2434258C2 (ru) Способ вычисления цифровых видеоголограмм и устройство для его осуществления
KR101289585B1 (ko) 컴퓨터 제작 비디오 홀로그램을 랜더링 및 생성하는 방법 및 장치
US20230359145A1 (en) Method and apparatus for processing three-dimensional holographic image
US10088802B2 (en) Method and apparatus for processing holographic image
KR20100024939A (ko) 3ｄ-렌더링 그래픽 파이프 라인의 확장을 위한 실시간 비디오 홀로그램 생성 방법
JP2022512082A (ja) 可変レートシェーディングとスーパーサンプリングシェーディングの統合
US9618902B2 (en) Apparatus and method for generating hologram pattern
KR20170038520A (ko) 푸리에 변환을 수행하는 방법 및 장치
US20220156887A1 (en) Kernel reshaping-powered splatting-based efficient image space lens blur
US20240027961A1 (en) Method and apparatus for generating computer-generated hologram
US20230324705A1 (en) Image Projection
US20230089872A1 (en) Information processing device, information processing method, and information processing program
US20140210942A1 (en) Fast processing of information represented in digital holograms
US11320784B2 (en) Method and apparatus for processing holographic image
CN116362966A (zh) 图像处理方法和装置
US11561511B2 (en) Method and apparatus for generating hologram with wide viewing angle
US11941782B2 (en) GPU-based lens blur rendering using depth maps
US20200192286A1 (en) Hologram image representation method and hologram image representation device
KR20200111598A (ko) 3차원 홀로그래픽 이미지를 처리하는 방법 및 장치
KR20220023953A (ko) Cgh를 처리하는 방법 및 시스템
KR102056985B1 (ko) 가상 현실 인터랙션 방법 및 그 장치
CN115035224A (zh) 图像处理和重构图像生成的方法和装置
US11740587B2 (en) Method and apparatus for generating computer-generated hologram
JP4028908B2 (ja) ホログラム作成装置、ホログラム作成方法およびホログラフィ表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination