CN106412552B - 用于处理全息图像的方法和装置 - Google Patents

用于处理全息图像的方法和装置 Download PDF

Info

Publication number
CN106412552B
CN106412552B CN201610630127.0A CN201610630127A CN106412552B CN 106412552 B CN106412552 B CN 106412552B CN 201610630127 A CN201610630127 A CN 201610630127A CN 106412552 B CN106412552 B CN 106412552B
Authority
CN
China
Prior art keywords
image
resolution
complex
eye
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610630127.0A
Other languages
English (en)
Other versions
CN106412552A (zh
Inventor
金允泰
金镐正
李泓锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN106412552A publication Critical patent/CN106412552A/zh
Application granted granted Critical
Publication of CN106412552B publication Critical patent/CN106412552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/16—Processes or apparatus for producing holograms using Fourier transform
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0825—Numerical processing in hologram space, e.g. combination of the CGH [computer generated hologram] with a numerical optical element
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00—Hologram nature or properties
    • G03H2240/50—Parameters or numerical values associated with holography, e.g. peel strength
    • G03H2240/56—Resolution
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00—Hologram nature or properties
    • G03H2240/50—Parameters or numerical values associated with holography, e.g. peel strength
    • G03H2240/62—Sampling aspect applied to sensor or display
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Holo Graphy (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种用于从低分辨率图像生成全息图像的方法和装置，其中该低分辨率图像被变换成低分辨率复图像，该低分辨率复图像被插值成高分辨率复图像。通过变换低分辨率图像的更少像素，可减少计算量并且可提高用于生成全息图像的处理速度。

Description

用于处理全息图像的方法和装置
相关申请的交叉引用
本申请要求2015年8月3日在韩国知识产权局递交的韩国专利申请10-2015-0109573号的优先权，在此通过引用将该申请的公开内容全部并入。
技术领域
符合示范性实施例的方法和装置涉及处理全息图像，更具体而言涉及用于从低分辨率图像生成计算机生成全息图(computer generated hologram，CGH)图像的方法和装置，其中该低分辨率图像被变换成低分辨率复图像，该低分辨率复图像被插值成高分辨率复图像。
背景技术
三维(3D)图形技术要求生成大量的立体图像来显示3D视频。然而，当观看通过使用大量3D图像生成的3D视频时，用户可经历各种问题，例如眼睛疲劳或者用户的视野可受到限制。
为了改善用户体验，通过使用全息图生成的3D视频最近受到了关注。具体而言，全息术是一种通过控制光的幅度和相位来在3D空间中再现物体的技术。全息术不限制用户的视野或引起眼睛疲劳，并且因此对用于通过生成例如计算机生成全息图(CGH)的数字全息图来实时地再现高分辨率全息图的技术已积极进行了研究。
发明内容
示范性实施例的一些方面涉及用于处理全息图像的方法和装置。
另外的方面一部分将在接下来的描述中详尽解释，一部分将从描述中清楚显现，或者可通过给出的示范性实施例的实践来获知。
根据示范性实施例的一方面，提供了一种处理全息图像的方法，该方法包括：通过对具有第一分辨率的输入图像数据执行频率变换来生成与第一分辨率相对应的第一复图像；把具有第一分辨率的第一复图像缩放成具有第二分辨率的第二复图像；把与已被缩放的第二复图像中的第二分辨率的像素分别相对应的复数值编码成整数值；以及通过使用编码的整数值生成具有第二分辨率的计算机生成全息图(CGH)图像。
第一分辨率可小于第二分辨率。
输入图像数据可包括具有第一分辨率的左眼二维(2D)图像和右眼2D图像中的每个像素的颜色数据和深度数据，并且第一复图像的生成可包括通过执行每个像素的颜色数据和深度数据的频率变换以变换成与每个像素相对应的复数值来生成第一复图像。
频率变换可包括广义菲涅耳变换(GFT)，并且第一复图像的生成可包括对具有第一分辨率的至少一个输入图像中的每个像素执行快速傅立叶变换(FFT)。
第一复图像的缩放可包括通过执行插值来将第一分辨率的第一复图像升尺度成第二分辨率的第二复图像。
第一复图像的缩放可包括：将第一复图像分离成与第一分辨率相对应的第一实图像和第一虚图像；通过分别对第一实图像和第一虚图像执行插值来生成与第二分辨率相对应的第二实图像和第二虚图像；以及通过将第二实图像和第二虚图像彼此合成来生成第二复图像。
编码可包括把复数值编码成8比特无符号整数值。
当输入图像是具有第二分辨率的并排格式或上下格式的立体图像时，该方法还可包括把立体图像预处理成第一分辨率的左眼2D图像和右眼2D图像，并且输入图像数据可包括第一分辨率的经预处理的左眼2D图像和经预处理的右眼2D图像中的像素的颜色数据和深度数据。
当输入图像具有大于第一分辨率的第三分辨率时，该方法还可包括把具有第三分辨率的输入图像降尺度成第一分辨率，并且输入图像数据可包括经降尺度的输入图像中的像素的颜色数据和深度数据。
根据示范性实施例的一方面，提供了一种非暂态计算机可读记录介质，其上记录有程序，该程序当被计算机运行时执行该方法。
根据示范性实施例的一方面，提供了一种用于处理全息图像的装置，该装置包括：频率变换操作器，其被配置为通过对具有第一分辨率的输入图像数据执行频率变换来生成与第一分辨率相对应的第一复图像；缩放操作器，其被配置为把具有第一分辨率的第一复图像缩放成具有第二分辨率的第二复图像；编码器，其被配置为把与经缩放的第二复图像中的第二分辨率的像素分别相对应的复数值编码成整数值；以及计算机生成全息图(CGH)图像生成器，其被配置为通过使用编码的整数值生成具有第二分辨率的CGH图像。
第一分辨率可小于第二分辨率。
输入图像数据可包括具有第一分辨率的左眼二维(2D)图像和右眼2D图像中的像素的颜色数据和深度数据，并且频率变换操作器可通过对像素的颜色数据和深度数据执行频率变换以变换成与像素相对应的复数值来生成第一复图像。
频率变换可包括广义菲涅耳变换，并且频率变换操作器可通过对具有第一分辨率的至少一个输入图像中的每个像素执行快速傅立叶变换(FFT)来生成第一复图像。
缩放操作器可通过执行插值来把第一分辨率的第一复图像升尺度成第二分辨率的第二复图像。
缩放操作器可以把第一复图像分离成与第一分辨率相对应的第一实图像和第一虚图像，通过对第一实图像和第一虚图像的每一者执行插值来生成与第二分辨率相对应的第二实图像和第二虚图像，并且通过合成第二实图像和第二虚图像来生成第二复图像。
编码器可以把复数值编码成8比特无符号整数值。
当输入图像是具有第二分辨率的并排格式或上下格式的立体图像时，缩放操作器可以把立体图像预处理成第一分辨率的左眼2D图像和右眼2D图像，并且输入图像数据可包括第一分辨率的经预处理的左眼2D图像和经预处理的右眼2D图像中的像素的颜色数据和深度数据。
当输入图像具有大于第一分辨率的第三分辨率时，缩放操作器可以把具有第三分辨率的输入图像降尺度成第一分辨率，并且输入图像数据可包括经降尺度的输入图像中的像素的颜色数据和深度数据。
第三分辨率可等于第二分辨率。
附图说明
从以下结合附图对示范性实施例的描述，上述和其它方面将变得清楚并且更容易领会，附图中：
图1是根据示范性实施描述使用计算设备对全息图像的显示的图；
图2是根据示范性实施例的计算设备的框图；
图3是根据示范性实施例的计算设备处理器的详细硬件配置的框图；
图4A是图示出根据示范性实施例的输入图像的图；
图4B是图示出根据示范性实施例的输入图像的图；
图5是根据示范性实施例图示出用于生成计算机生成全息图(CGH)图像的CGH处理的流程图；
图6是根据示范性实施例描述由频率变换操作器执行的频率变换的图；
图7是根据示范性实施例描述由缩放操作器执行的缩放操作的图；
图8是根据示范性实施例用于描述由编码器执行的编码的图；
图9A和图9B是根据另一示范性实施例示出缩放立体图像的图；
图10是根据示范性实施例示出高分辨率图像的处理的流程图；并且
图11是根据示范性实施例示出处理全息图像的方法的流程图。
具体实施方式
本文使用的术语是考虑到本公开的主题的功能从广泛使用的一般术语中选择的。然而，根据本领域普通技术人员的意图、先例和新技术的出现，术语可以有变化。另外，在特殊情况中，选择的术语的含义在下文描述。因此，本文使用的术语是基于与在整个说明书各处论述的内容有关的含义来定义的。
在本说明书中，当一构成元素“连接”或“被连接”到另一构成元素时，该构成元素不仅可直接接触或被连接到该另一构成元素，而且也可通过介于其间的至少一个其它构成元素以电气方式接触或被连接到该另一构成元素。另外，当一部件“包括”某一构成元素时，除非另有指明，否则不可被解释为排除另一构成元素，而是可被解释为还包括其它构成元素。在说明书中陈述的诸如“……单元”、“～模块”等等术语可表示用于处理至少一个功能或操作的单元并且该单元可由硬件、软件或硬件和软件的组合来体现。
诸如“包括”或“包含”之类的术语不可被解释为必定包括说明书中描述的任何和所有构成元素或步骤，而是可被解释为排除一些构成元素或步骤或者还包括额外的构成元素或步骤。
另外，诸如“第一”和“第二”之类的术语在本文中只是用于描述各种构成元素，但这些构成元素不受这些术语的限制。使用这种术语只是为了区分一个构成元素与另一构成元素。
参考附图以获得对本公开、其优点和通过这里的实现构思所达成的目标的充分理解。
如本文使用的，术语“和/或”包括关联的所列项目中的一个或多个的任意和所有组合。诸如“……中的至少一者”之类的表述当在元素的列表之前时修饰整个元素列表，而不修饰列表中的个体元素。
图1是根据示范性实施描述使用计算设备对全息图像的显示的图。
参考图1，计算设备10通过对输入图像21执行计算机生成全息图(CGH)处理来生成CGH图像23。计算设备10可将生成的CGH图像23显示为全息图像30，用户40可在三维(3D)空间中观看该全息图像30。计算设备10或者可将生成的CGH图像23输出到另一外部设备，该外部设备输出全息图像30。CGH处理可包括由计算设备10执行的用于生成CGH图像23的一系列处理。此外，全息图像30可包括静止图像，或者被再现为全息图的视频。
全息图是一种通过调整光的幅度和相位来在3D空间中再现物体的3D空间表示技术。因此，用户对于全息输出可具有不受限制的视野并且可不经历与3D图像观看相关联的传统视觉疲劳。可使用物体波与参考波之间的干涉图样在3D空间中显示全息图像。可利用通过处理用于再现全息视频的干涉图样来在平板显示器上提供全息图的CGH技术。
CGH技术通过近似光学信号并且计算由数学计算生成的干涉图样来生成全息图。因为3D对象由一组3D点构成，所以生成数字全息图的方法计算分别对应于构成3D对象的所有3D点的点全息图来表示完整的全息图。
计算设备10把低分辨率的输入图像21变换成高分辨率的CGH图像23以显示高分辨率的全息图像30。全息图像30可包括平面(二维(2D))全息图和体积(3D)全息图。以下，为了描述的方便，将假定低分辨率是具有1920×1080像素的分辨率的全高清(full highdefinition，FHD)并且高分辨率是具有3840×2160像素的分辨率的超HD(ultra HD，UHD)。然而，示范性实施例不限于此。例如，低分辨率图像可以是HD图像并且高分辨率可以是FHD图像，或者低分辨率可以是HD图像并且高分辨率图像可以是UHD图像。
低分辨率的输入图像21到高分辨率的CGH图像23的变换可通过包括各种计算的CGH处理来执行。CGH处理可包括用于计算3D空间中的每个点全息图的快速傅立叶变换(fast Fourier transformation，FFT)。主要影响用于执行CGH处理的计算量或计算速度的主要原因可能是FFT。在CGH处理中，对每个像素执行FFT。因此，分辨率越高，执行FFT所花费的处理越多。因此，随着要处理的输入图像的分辨率增大，用于CGH处理的计算量增大并且计算速度降低。因此，如果例如经降采样来减小要处理的像素的数目，则当更有效地执行FFT时，可以更高效地完成CGH处理。
以下，根据一个或多个示范性实施例的计算设备10可执行用于将低分辨率输入图像21转换成高分辨率CGH图像23的CGH处理。下文将详细描述CGH处理。
图2是根据示范性实施例的计算设备的框图。
参考图2，计算设备10可包括存储器110、处理器120、显示器130和接口140。在图2中，在计算设备10中只示出了与一个或多个示范性实施例有关的元素。因此，本领域普通技术人员将会明白，在计算设备10中还可包括除了图2所示的元素以外的元素。
计算设备10可例如是桌面型计算机、笔记本计算机、智能电话、个人数字助理(personal digital assistant，PDA)、便携式媒体播放器、视频游戏机、电视机顶盒、平板设备、电子书阅读器、可穿戴设备等等，但计算设备10不限于此。
处理器120是用于控制计算设备10的整体操作和功能的硬件电路。例如，处理器120可运行操作系统(operating system，OS)、用于执行CGH处理的图形应用编程接口(application programming interface，API)和用于显示全息图像的图形驱动器。此外，处理器120可运行存储器110中存储的各种应用，例如全息图再现应用、Web浏览应用、游戏应用、视频应用，等等。
同时，处理器120可执行用于将低分辨率输入图像21变换成高分辨率CGH图像23的CGH处理，如上所述。处理器120可被实现为中央处理单元(central processing unit，CPU)、微处理器、图形处理单元(graphic processing unit，GPU)、应用处理器(application processor，AP)等等中的一个或多个。
存储器110是用于存储被计算设备10的处理器120处理的各种数据的硬件电路。存储器110可存储已被处理器120处理的数据和将被处理器120处理的数据，或者可存储经由接口140接收的数据。例如，存储器110可存储低分辨率输入图像21和从低分辨率输入图像21获得的高分辨率CGH图像23。此外，存储器110可存储关于低分辨率输入图像21的元数据，诸如输入图像21中的像素的颜色值、坐标值、深度值等等，用于允许处理器120执行CGH处理，并且可存储通过执行CGH处理计算的广义菲涅耳变换(generalized Fresneltransformation，GFT)的结果，其中包括FFT和额外的内核操作的结果。
存储器110可包括以下各项的一者或多者：随机存取存储器(random accessmemory，RAM)(诸如动态RAM(dynamic RAM，DRAM)和静态RAM(static RAM，SRAM))、只读存储器(read-only memory，ROM)、电可擦除可编程ROM(electrically erasable programmableROM，EEPROM)、致密盘(compact-disc，CD)-ROM、蓝光或其它光盘存储装置、硬盘驱动器(hard disk drive，HDD)、固态驱动器(solid state drive，SSD)或者闪存，以及可存储计算设备10的数据的其它外部存储设备。
显示器130是用于基于CGH图像23在3D空间中显示全息图像30的硬件。显示器130可包括用于全息图的全息模块，诸如空间光调制器(spatial light modulator，SLM)，并且可包括各种显示面板，诸如液晶显示器(liquid crystal display，LCD)、有机发光二极管(organic light-emitting diode，OLED)等等。也就是说，显示器130可包括用于显示全息图像30的各种模块和配置。
接口140可被实现为用于使得计算设备10能够与其它外部设备通信的有线或无线接口的硬件。接口140可以是从例如外部服务器、其它设备等等接收要被变换成CGH图像23的输入图像21的有线或无线网络接口。此外，接口140可将关于CGH图像23的数据发送到外部服务器、其它设备等等，以使得全息图像30可在其它设备上被显示或再现。
图3是根据示范性实施例的计算设备处理器的详细硬件配置的框图。
参考图3，处理器120可包括频率变换操作器121、缩放操作器122、编码器123和CGH图像生成器124。在图3中，为了描述的方便只示出了处理器120的与一个或多个示范性实施例有关的元素，从而处理器120还可包括除了图3所示的元素以外的其它元素。频率变换操作器121、缩放操作器122、编码器123和CGH图像生成器124是根据其功能由单独的名称来区分的。频率变换操作器121、缩放操作器122、编码器123和CGH图像生成器124可被实现为一个处理器120。否则，频率变换操作器121、缩放操作器122、编码器123和CGH图像生成器124的每一者可对应于处理器120中的一个或多个处理模块(或子处理器)。或者，频率变换操作器121、缩放操作器122、编码器123和CGH图像生成器124可对应于根据其功能分类的软件功能。也就是说，处理器120中的频率变换操作器121、缩放操作器122、编码器123和CGH图像生成器124的实现形式不限于特定示例。
频率变换操作器121对例如低分辨率(例如，FHD)的输入图像数据执行频率变换以生成低分辨率复图像。复图像是具有实部和虚部的图像，这是对输入图像数据执行FFT的结果，如下所述。输入图像数据可包括2D左眼图像和2D右眼图像的数据、3D体元(boxel)数据、3D多边形数据，等等。
图4A是示出根据示范性实施例的输入图像的图。
参考图4A，输入图像可对应于2D左眼颜色图像410、2D左眼深度图像415、2D右眼颜色图像420和2D右眼深度图像425。2D左眼颜色图像410和2D右眼颜色图像420可以是使用双眼视差来再现一般3D图像的图像。2D左眼深度图像415和2D右眼深度图像425可以是2D左眼颜色图像410与2D右眼颜色图像420之间的差别图像。
图4B是示出根据示范性实施例的输入图像的图。
参考图4B，输入图像可对应于3D体元数据430。3D体元数据430可包括关于构成3D对象的体元的坐标、颜色值等等的数据。
输入图像数据不限于特定种类，诸如图4A的左眼图像和右眼图像以及图4B的体元数据，而是可以有变化。然而，在本示范性实施例中，为了描述的方便，假定输入图像包括2D左眼和右眼图像。
返回参考图3，频率变换操作器121通过对于低分辨率(例如，FHD)的2D左眼和右眼图像中包括的每个像素使用坐标数据(x,y数据)、RGB颜色数据和深度数据(z轴坐标数据)的至少一者来执行GFT。GFT或菲涅耳变换是用于获得经图像的菲涅耳衍射获得的衍射图像的分布的传统计算。
在GFT期间，频率变换操作器121对输入图像中包括的每个像素执行FFT以获得与每个像素相对应的复数值。与每个像素相对应的复数值可包括作为GFT的结果的关于相对于菲涅耳衍射图样的幅度和相位的信息。频率变换操作器121可基于与每个像素相对应的复数值生成复图像。也就是说，频率变换操作器121可通过使用低分辨率(例如，FHD)2D左眼和右眼图像生成低分辨率复图像。频率变换操作器121可将复图像存储在存储器110中。复图像可作为存储器110的第一区域中的实部图像数据和存储器110的第二区域中的虚部图像数据而被存储在存储器110中。
缩放操作器122将低分辨率复图像缩放成高分辨率(例如，UHD)复图像。详细地说，缩放操作器122对低分辨率复图像执行插值以将低分辨率复图像升尺度(up-scale)成高分辨率复图像。复图像的升尺度可包括对与每个像素相对应的复数值的实部和虚部执行插值。这里，为了执行升尺度，可使用最近邻插值、双线性插值、双三次插值等等。
如以上示例中所述，当低分辨率复图像具有1920×1080的分辨率并且高分辨率复图像具有3840×2160的分辨率时，缩放操作器122可执行2x升尺度。
在以上描述中，描述了CGH处理中的负担的最大部分是FFT。因为FFT是在CGH处理期间对每个像素执行的，所有随着输入图像数据的分辨率增大，计算量增大并且计算速度减小。根据本示范性实施例，在对低分辨率(例如，1920×1080)的像素执行FFT之后执行升尺度。因此，即使当处理器120最终生成高分辨率(例如，3840×2160)的图像时，也可不对高分辨率图像数据的所有像素执行FFT，而是对低分辨率图像数据的像素执行FFT。因此，可减少计算量并且可提高处理速度。也就是说，与执行从低分辨率(例如，1920×1080)图像数据到高分辨率(例如，3840×2160)图像数据的升尺度并随后对于高分辨率(例如，3840×2160)图像数据的像素执行FFT的处理相比，本示范性实施例可减少计算量以将计算速度提高了至少两倍。
缩放将被更详细描述如下。缩放操作器122将低分辨率的复图像分离成低分辨率的实图像和虚图像。例如，缩放操作器122可从存储器110读取复图像的实部数据以获得实图像，并且从存储器110读取复图像的虚部数据以获得复图像。随后，缩放操作器122对低分辨率复图像的实图像的实部数据和虚图像的虚部数据的每一者执行插值以生成与高分辨率的复图像相对应的实图像和虚图像。缩放操作器122将高分辨率的实图像和虚图像彼此合成以生成高分辨率的复图像。合成的实图像和虚图像可作为高分辨率复图像而被存储在存储器110中。
编码器123把高分辨率复图像的像素的复数值编码成整数值。例如，编码器123可将复图像的复数值编码成8比特无符号整数值。
CGH图像生成器124通过使用编码的整数值生成高分辨率(例如，UHD)的CGH图像。当处理器120如上所述执行CGH处理时，低分辨率的输入图像21(见图1)可被变换成CGH图像23(见图1)。这里，CGH图像可在复数SLM控制每个像素的相位值并且幅度SLM基于复数值控制每个像素的透射率时被输出。SLM的幅度或相位是从编码的整数值计算的，然后计算出的SLM的幅度被用于幅度SLM的相位控制并且计算出的SLM的相位被用于复数SLM的透射率控制。因此，编码的整数值可用于控制复数SLM和幅度SLM以输出CGH图像。
图5是根据示范性实施例用于描述用于生成CGH图像的CGH处理的流程图。
在操作501中，频率变换操作器121获得FHD左眼颜色图像510、FHD左眼深度图像515、FHD右眼颜色图像520和FHD右眼深度图像525，并且从上述图像510、515、520和525获得关于每个像素的RGB颜色数据和深度数据。虽然为了描述的方便假定在示范性实施例中使用2D图像，但如上所述可使用3D体元数据。
频率变换操作器121对每个像素执行GFT。具体地，频率变换操作器121可通过使用每个像素的像素值(例如，颜色值、深度值等等)作为FFT处理的输入来执行FFT。结果，频率变换操作器121获得与像素相对应的复数值，并且可基于获得的复数值生成FHD分辨率的复图像。因为频率变换操作器121获得FHD分辨率的图像，所以FFT是在FHD分辨率下对每个像素执行的。
在操作502中，缩放操作器122将FHD分辨率的复图像升尺度成与UHD分辨率(3840×2160)相对应的复图像。因为UHD分辨率是FHD分辨率的两倍那么大，所以缩放操作器122可执行2x升尺度。缩放操作器122通过对与FHD分辨率下的每个像素相对应的复数值进行插值来获得与UHD分辨率的每个像素相对应的复数值，并且生成UHD分辨率的复图像。这里，复数值的插值可与常规(实数)值的插值不同，从而复数值的实部和虚部被分开存储，实部和虚部被分别插值，并且对于实部和虚部的插值结果被收集并一起存储在单个存储器区域中。
处理器120继续对低分辨率图像数据的像素执行计算，直到操作502中的升尺度完成为止。如上所述，如果颠倒操作501和操作502的顺序(也就是说，如果在执行操作502之后执行操作501)，则频率变换操作器121处理已被缩放操作器122升尺度到UHD分辨率的像素。从而，在此情况下，频率变换操作器121对两倍那么多的像素(3840×2160)执行FFT。因此，计算的量不必要地大，并且CGH处理变得效率低下。
在操作503中，编码器123把与UHD分辨率的复图像中的像素相对应的复数值编码成与这些像素相对应的8比特无符号整数值。
在操作504中，CGH图像生成器124基于操作503的编码结果生成UHD左眼CGH图像550和UHD右眼CGH图像555。
此外，显示器130(见图2)可通过使用UHD左眼CGH图像550和UHD右眼CGH图像555在3D空间中显示全息图像30(见图1)。
图6是根据示范性实施例描述由频率变换操作器执行的频率变换的图。
参考图6，频率变换操作器121获得存储在存储器110(见图2)中的FHD左眼颜色图像510、FHD左眼深度图像515、FHD右眼颜色图像520和FHD右眼深度图像525。除了上述图像510、515、520和525本身以外，频率变换操作器121还可从存储器110(见图2)获得关于上述图像510、515、520和525中的每个像素的RGB颜色数据和深度数据。如果3D体元数据被用作输入图像数据，则频率变换操作器121可使用关于每个体元的RGB颜色数据和深度数据。
频率变换操作器121对FHD分辨率(例如，1920×1080)的每个像素执行频率变换601。频率变换601可以是GFT，并且在频率变换601期间，尤其可执行FFT。作为频率变换601的结果，可获得与像素相对应的复数值。因为执行了GFT，所以与每个像素相对应的复数值可表示关于相对于菲涅耳衍射图样的幅度和相位的信息。频率变换操作器121可基于与像素相对应的复数值生成FHD分辨率的复图像610。
图7是根据示范性实施例描述由缩放操作器执行的缩放操作的图。
参考图7，缩放操作器122对图6中所示的FHD分辨率的复图像610进行缩放。
在操作701中，缩放操作器122将复图像610分离成FHD分辨率的实图像620和虚图像625。也就是说，缩放操作器122将与复图像610中的像素相对应的复数值分离成实部的实数值和虚部的虚数值。复数值可对应于复图像610，实数值可对应于实图像620，并且虚数值可对应于虚图像625。
在操作702中，缩放操作器122对FHD分辨率的实图像620执行插值以将实图像620升尺度成UHD分辨率的实图像630(2x升尺度)。
在操作703中，缩放操作器122对FHD分辨率的虚图像625执行插值以将虚图像625升尺度成UHD分辨率的虚图像635(2x升尺度)。在本示范性实施例中，操作703是在执行操作702之后执行的，但操作702和操作703的顺序可颠倒。
在操作704中，缩放操作器122将UHD分辨率的实图像630与UHD分辨率的虚图像635合成以生成升尺度的UHD分辨率的复图像650(3840×2160)。这里，复图像650的生成可包括获得与UHD分辨率(3840×2160)的像素相对应的复数值。
图8是根据示范性实施例用于描述由编码器执行的编码的图。
参考图8，编码器123使用图7中所示的UHD分辨率的复图像650。
编码器123把与UHD分辨率的复图像650的像素相对应的复数值编码成8比特无符号整数810。例如，编码器123可以把与像素(x1,y1)相对应的复数值编码成“10….1”，把与像素(x2,y1)相对应的复数值编码成“00…1…1”，把与像素(x3,y1)相对应的复数值编码成“11….0”，并且把与其余像素相对应的其它复数值编码成8比特无符号整数。这种与像素相对应的8比特无符号整数是与UHD分辨率的CGH图像23(见图1)中的像素相对应的值，并且可对应于全息图像30(见图1)中的点全息图。
如上所述，处理器120可通过执行对低分辨率的像素执行频率变换(例如FFT)的CGH处理来高速地把低分辨率的输入图像21(见图1)变换成高分辨率的CGH图像23(见图1)。因此，显示器130可高效地显示高分辨率的全息图像30(见图1)。
图9A和9B是根据示范性实施例示出缩放立体图像的图。
参考图9A，输入图像可以是并排立体图像910。并排立体图像910是其中并排布置了2D左眼图像911和2D右眼图像913的图像。当输入图像是并排立体图像910时，缩放操作器122对并排立体图像910执行水平缩放。作为水平缩放的结果，并排立体图像910被重建为单独的图像：低分辨率(例如，FHD)的2D左眼图像920和低分辨率的2D右眼图像925。也就是说，在频率变换操作器121执行频率变换之前，缩放操作器122从并排立体图像910重建低分辨率的2D图像920和925。频率变换操作器121对重建的2D图像920和925执行频率变换，并且CGH处理被执行来生成高分辨率(例如，UHD)的CGH图像550和555(见图5)。从而，根据输入图像是并排立体图像的实施例，可执行预处理，即水平缩放。
参考图9B，输入图像可以是上下立体图像930。上下立体图像930是其中垂直布置了2D左眼图像931和2D右眼图像933的图像。当输入图像是上下立体图像930时，缩放操作器122对上下立体图像930执行垂直缩放。作为垂直缩放的结果，上下立体图像930被重建为单独的图像：低分辨率(例如，FHD)的2D左眼图像940和低分辨率的2D右眼图像945。也就是说，在频率变换操作器121执行频率变换之前，缩放操作器122从上下立体图像930重建低分辨率的2D图像940和945。频率变换操作器121对重建的2D图像940和945执行频率变换，并且CGH处理被执行来生成高分辨率(例如，UHD)的CGH图像550和555(见图5)。从而，根据输入图像是上下立体图像930的示范性实施例，可执行预处理，即垂直缩放。
图10是根据示范性实施例示出高分辨率图像的处理的流程图。
根据参考图10示出的本示范性实施例，输入图像的分辨率和要生成的CGH图像的分辨率可彼此相等。
与示出的上述示范性实施例不同，本示范性实施例中的输入图像的分辨率可以是与要生成的CGH图像的分辨率相等的高分辨率(例如，UHD)。
在操作1001中，缩放操作器122对高分辨率(例如，UHD)的左眼图像1010和高分辨率的右眼图像1015进行降尺度(down-scale)。也就是说，缩放操作器122可以把高分辨率图像1010和1015降尺度成低分辨率(例如，FHD)的左眼图像1020和低分辨率的右眼图像1025。这里，缩放操作器122可通过执行插值来对高分辨率图像1010和1015降尺度。如上所述，执行预处理也就是降尺度来减少频率变换操作器121执行的FFT计算的量并且因此减少GFT计算的量。当分辨率降低时，因为像素的数目减少了，所以FFT被相应地减少以对应于像素的数目。从而，可以减少频率变换操作器121执行的FFT计算的量。
CGH处理中包括的操作1002、1003、1004和1005分别对应于图5中所示的操作501、502、503和504，从而省略对其的冗余描述。
也就是说，即使当输入图像包括高分辨率图像1010和1015时，频率变换也是对低分辨率(例如，1920×1080)的像素执行的，而不是对高分辨率(例如，3840×2160)的像素执行的。因此，与对高分辨率的像素执行频率变换时(即，不执行降尺度的情况)相比，可减少处理器120的CGH计算的量。相应地，计算速度可提高。
图11是根据示范性实施例示出处理全息图像的方法的流程图。
参考图11，处理全息图像的方法包括参考上述附图描述的计算设备10(处理器120)按时序执行的处理。因此，以上给出的描述即使在下文中被省略也可应用到图11中所示的处理全息图像的方法。
在操作1110中，频率变换操作器121对具有第一分辨率(低分辨率，例如FHD)的输入图像数据执行频率变换以生成低分辨率复图像。
在操作1120中，缩放操作器122把第一分辨率的低分辨率复图像缩放成第二分辨率(高分辨率，例如UHD)的高分辨率复图像。
在操作1130中，编码器123把与已被缩放的第二复图像中的第二分辨率的像素分别对应的复数值编码成整数值。
在操作1140中，CGH图像生成器124通过使用编码的整数值生成第二分辨率的CGH图像。
根据以上描述，可以减少向用于生成CGH图像的CGH处理施加大量负担的GFT(尤其是FFT)计算的量，从而可高速地高效执行CGH处理。
示范性实施例可被编写为计算机程序并且在通用数字计算机中被实现，该通用数字计算机使用处理器读取并运行非暂态计算机可读记录介质中存储的计算机程序来运行程序。非暂态计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等等)、光记录介质(例如，CD-ROM或DVD)，等等。
应当理解，本文描述的示范性实施例应当仅在描述意义上来加以考虑，而不是为了限制。对每个示范性实施例内的特征或方面的描述通常应当被认为可用于其它示范性实施例中的其它类似的特征或方面。
虽然已参考附图描述了一个或多个示范性实施例，但本领域普通技术人员将会理解，在不脱离如所附权利要求限定的精神和范围的情况下，可对其进行形式和细节上的各种改变。

Claims (15)

1.一种处理全息图像的方法，该方法包括：
通过对包括具有第一分辨率的左眼二维(2D)图像和右眼2D图像中的每个像素的颜色数据和深度数据的输入图像数据执行频率变换来生成与所述第一分辨率相对应的第一复图像；
把具有所述第一分辨率的所述第一复图像升尺度成具有第二分辨率的第二复图像；
把与已被升尺度的所述第二复图像中的所述第二分辨率的像素分别相对应的复数值编码成整数值；以及
通过使用编码的整数值生成具有所述第二分辨率的与左眼图像和右眼图像中的每一个相对应的计算机生成全息图(CGH)图像；
显示与左眼图像相对应的计算机生成全息图像和与右眼图像相对应的计算机生成全息图像。
2.如权利要求1所述的方法，其中，所述第一分辨率小于所述第二分辨率。
3.如权利要求1所述的方法，其中，所述第一复图像的生成包括通过执行所述输入图像数据的左眼2D图像和右眼2D图像中的每个像素的颜色数据和深度数据的频率变换以将它们变换成与每个像素相对应的复数值来生成所述第一复图像。
4.如权利要求1所述的方法，其中，所述频率变换包括广义菲涅耳变换(GFT)，并且所述第一复图像的生成包括对具有所述第一分辨率的输入图像数据的左眼2D图像和右眼2D图像中的每个像素执行快速傅立叶变换(FFT)。
5.如权利要求1所述的方法，其中，所述第一复图像的升尺度包括通过执行插值来将所述第一分辨率的第一复图像升尺度成所述第二分辨率的第二复图像。
6.如权利要求5所述的方法，其中，所述第一复图像的升尺度包括：
将所述第一复图像分离成与所述第一分辨率相对应的第一实图像和第一虚图像；
通过分别对所述第一实图像和所述第一虚图像执行插值来生成与所述第二分辨率相对应的第二实图像和第二虚图像；以及
通过将所述第二实图像和所述第二虚图像彼此合成来生成所述第二复图像。
7.如权利要求1所述的方法，其中，所述编码包括把所述复数值编码成8比特无符号整数值。
8.如权利要求1所述的方法，当输入图像是具有所述第二分辨率的并排格式或上下格式的立体图像时，所述方法还包括把所述立体图像预处理成所述第一分辨率的左眼2D图像和右眼2D图像，
其中，所述输入图像数据包括所述第一分辨率的经预处理的左眼2D图像和经预处理的右眼2D图像中的像素的颜色数据和深度数据。
9.如权利要求1所述的方法，当输入图像具有大于所述第一分辨率的第三分辨率时，所述方法还包括把具有所述第三分辨率的输入图像降尺度成所述第一分辨率，
其中，所述输入图像数据包括经降尺度的输入图像中的像素的颜色数据和深度数据。
10.一种用于处理全息图像的装置，该装置包括：
处理器，被配置为实现：
频率变换操作器，其被配置为通过对包括具有第一分辨率的左眼二维(2D)图像和右眼2D图像中的每个像素的颜色数据和深度数据的输入图像数据执行频率变换来生成与所述第一分辨率相对应的第一复图像；
缩放操作器，其被配置为把具有所述第一分辨率的所述第一复图像升尺度成具有第二分辨率的第二复图像；
编码器，其被配置为把与经升尺度的第二复图像中的第二分辨率的与左眼图像和右眼图像中的每一个相对应的像素分别相对应的复数值编码成整数值；以及
计算机生成全息图(CGH)图像生成器，其被配置为通过使用编码的整数值生成具有所述第二分辨率的CGH图像，
其中，所述处理器还被配置为控制显示器显示与左眼图像相对应的计算机生成全息图像和与右眼图像相对应的计算机生成全息图像。
11.如权利要求10所述的装置，其中，所述第一分辨率小于所述第二分辨率。
12.如权利要求10所述的装置，其中，所述频率变换操作器通过对所述输入图像数据的左眼2D图像和右眼2D图像中的像素的颜色数据和深度数据执行频率变换以将它们变换成与像素相对应的复数值来生成所述第一复图像。
13.如权利要求10所述的装置，其中，所述缩放操作器通过执行插值来把所述第一分辨率的第一复图像升尺度成所述第二分辨率的第二复图像。
14.如权利要求13所述的装置，其中，所述缩放操作器把所述第一复图像分离成与所述第一分辨率相对应的第一实图像和第一虚图像，通过对所述第一实图像和所述第一虚图像的每一者执行插值来生成与所述第二分辨率相对应的第二实图像和第二虚图像，并且通过合成所述第二实图像和所述第二虚图像来生成所述第二复图像。
15.如权利要求10所述的装置，其中，当输入图像具有大于所述第一分辨率的第三分辨率时，所述缩放操作器把具有所述第三分辨率的输入图像降尺度成所述第一分辨率，并且所述输入图像数据包括经降尺度的输入图像中的像素的颜色数据和深度数据，并且
其中，所述第三分辨率等于所述第二分辨率。
CN201610630127.0A 2015-08-03 2016-08-03 用于处理全息图像的方法和装置 Active CN106412552B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150109573A KR102441587B1 (ko) 2015-08-03 2015-08-03 홀로그래픽 이미지를 처리하는 방법 및 장치
KR10-2015-0109573 2015-08-03

Publications (2)

Publication Number Publication Date
CN106412552A CN106412552A (zh) 2017-02-15
CN106412552B true CN106412552B (zh) 2020-03-03

Family

ID=56567515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610630127.0A Active CN106412552B (zh) 2015-08-03 2016-08-03 用于处理全息图像的方法和装置

Country Status (4)

Country Link
US (1) US10088802B2 (zh)
EP (1) EP3128377B1 (zh)
KR (1) KR102441587B1 (zh)
CN (1) CN106412552B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102250992B1 (ko) 2017-03-16 2021-05-12 한국전자통신연구원 디지털 홀로그램 데이터의 해상도를 변환하는 방법 및 장치
WO2018221019A1 (ja) * 2017-06-01 2018-12-06 富士フイルム株式会社 画像処理装置、撮像システム、画像処理方法、及び記録媒体
EP3740735A4 (en) 2018-01-16 2021-11-24 Pacific Light&Hologram, Inc. THREE-DIMENSIONAL DISPLAYS USING ELECTROMAGNETIC FIELD CALCULATIONS
KR102477098B1 (ko) 2018-02-23 2022-12-13 삼성전자주식회사 영상 데이터 처리 방법 및 장치
KR102577707B1 (ko) * 2018-04-30 2023-09-14 한국전자통신연구원 진폭 변조 홀로그램을 위한 홀로그램 인코딩 및 홀로그램 화질 평가 장치 및 그 방법
GB2569206B (en) 2018-05-25 2019-12-04 Dualitas Ltd A method of displaying a hologram on a display device comprising pixels
US11747767B2 (en) * 2019-03-19 2023-09-05 Samsung Electronics Co., Ltd. Method and apparatus for processing three-dimensional holographic image
KR102732451B1 (ko) * 2019-04-01 2024-11-21 삼성전자주식회사 홀로그램 영상 데이터를 처리하는 장치 및 방법
US11287655B2 (en) 2019-06-21 2022-03-29 Samsung Electronics Co.. Ltd. Holographic display apparatus and method for providing expanded viewing window
KR102754870B1 (ko) * 2019-07-25 2025-01-14 삼성전자주식회사 확장된 시야창을 제공하는 홀로그래픽 디스플레이 장치 및 디스플레이 방법
US11869167B2 (en) 2020-07-14 2024-01-09 Htc Corporation Method for transmitting reduced depth information and electronic device
JP7486381B2 (ja) * 2020-08-28 2024-05-17 日本放送協会 ホログラムデータ生成装置およびそのプログラム
US11347185B2 (en) 2020-09-17 2022-05-31 Pacific Light & Hologram, Inc. Displaying three-dimensional objects
KR20230112962A (ko) 2022-01-21 2023-07-28 삼성전자주식회사 홀로그램의 깊이를 변조하는 방법 및 장치와, 이를 이용하는 홀로그래픽 디스플레이
JP2023114496A (ja) * 2022-02-07 2023-08-18 日本放送協会 ホログラムデータ生成装置、電子ホログラフィ表示装置およびそれらのプログラム
US12236816B2 (en) 2023-05-12 2025-02-25 Pacific Light & Hologram, Inc. Holographically displaying live scenes including three-dimensional objects
US12230176B2 (en) 2023-05-12 2025-02-18 Pacific Light & Hologram, Inc. Holographically displaying three-dimensional objects
US12254798B2 (en) 2023-05-12 2025-03-18 Pacific Light & Hologram, Inc. Holographically displaying three-dimensional objects
US12315403B2 (en) 2023-05-12 2025-05-27 Pacific Light & Hologram, Inc. Holographically displaying three-dimensional objects
US12272279B2 (en) 2023-05-12 2025-04-08 Pacific Light & Hologram, Inc. Holographically displaying three-dimensional objects
US12374247B2 (en) 2023-05-12 2025-07-29 Pacific Light & Hologram, Inc. Holographically displaying live scenes including three-dimensional objects
US12293687B2 (en) 2023-05-12 2025-05-06 Pacific Light & Hologram, Inc. Holographically displaying live scenes including three-dimensional objects
US12266280B2 (en) 2023-05-12 2025-04-01 Pacific Light & Hologram, Inc. Holographically displaying three-dimensional objects
US11900842B1 (en) 2023-05-12 2024-02-13 Pacific Light & Hologram, Inc. Irregular devices
US12300132B2 (en) 2023-05-12 2025-05-13 Pacific Light & Hologram, Inc. Holographically displaying three-dimensional objects
US12266279B2 (en) 2023-05-12 2025-04-01 Pacific Light & Hologram, Inc. Holographically displaying three-dimensional objects with optical devices having in-coupling and out-coupling diffractive structures
US12254797B2 (en) 2023-05-12 2025-03-18 Pacific Light & Hologram, Inc. Holographically displaying live scenes including three-dimensional objects
US12288490B2 (en) 2023-05-12 2025-04-29 Pacific Light & Hologram, Inc. Holographically displaying three-dimensional objects
US12243453B2 (en) 2023-05-12 2025-03-04 Pacific Light & Hologram, Inc. Holographically displaying three-dimensional objects
GB2635320A (en) * 2023-10-30 2025-05-14 Envisics Ltd Hologram calculation method
US12281984B1 (en) 2023-12-21 2025-04-22 Pacific Light & Hologram, Inc. Optical measurements

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103329194A (zh) * 2011-01-25 2013-09-25 晶像股份有限公司 单个时钟域中深色视频的转换和处理
CN103632398A (zh) * 2012-07-20 2014-03-12 香港城市大学 产生全视差的数字全息图

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0329012D0 (en) 2003-12-15 2004-01-14 Univ Cambridge Tech Hologram viewing device
GB2438026A (en) 2006-05-11 2007-11-14 Univ Cambridge Tech Phase retrevial in hologram generation using amplitude and phase feedback
DE102007036127A1 (de) 2007-07-27 2009-01-29 Seereal Technologies S.A. Holographische Rekonstruktionseinrichtung
US20110126160A1 (en) * 2009-11-23 2011-05-26 Samsung Electronics Co., Ltd. Method of providing 3d image and 3d display apparatus using the same
KR101620969B1 (ko) * 2009-11-25 2016-05-24 삼성전자주식회사 디스플레이 장치 및 이에 적용되는 3ｄ 영상 미리보기 제공 방법, 그리고 3ｄ 영상 제공 시스템
WO2012005315A1 (ja) 2010-07-07 2012-01-12 兵庫県 ホログラフィック顕微鏡、微小被写体のホログラム画像記録方法、高分解能画像再生用ホログラム作成方法、および画像再生方法
JP2014211565A (ja) 2013-04-19 2014-11-13 東芝アルパイン・オートモティブテクノロジー株式会社 計算機ホログラムのデータ作成装置およびそのデータ作成方法
WO2014176827A1 (en) 2013-05-03 2014-11-06 City University Of Hong Kong Generation and display of holograms for low resolution devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103329194A (zh) * 2011-01-25 2013-09-25 晶像股份有限公司 单个时钟域中深色视频的转换和处理
CN103632398A (zh) * 2012-07-20 2014-03-12 香港城市大学 产生全视差的数字全息图

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Computer-aided design of diffractive optical elements;Nikolay L.Kazanskiy等;《SPIE》;19941001;第3156-3166页 *
Computer-generated holograms of 3-D objects composed of tilted planar segments;Detlef Leseberg等;《Applied Optics》;19880715;第3020-3024页 *

Also Published As

Publication number Publication date
EP3128377B1 (en) 2018-10-17
EP3128377A1 (en) 2017-02-08
KR102441587B1 (ko) 2022-09-07
KR20170016158A (ko) 2017-02-13
US10088802B2 (en) 2018-10-02
US20170038727A1 (en) 2017-02-09
CN106412552A (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
CN106412552B (zh) 用于处理全息图像的方法和装置
US11743443B2 (en) Layered scene decomposition CODEC with layered depth imaging
EP3270233B1 (en) Method and apparatus for processing three-dimensional image
EP3139278A1 (en) Apparatus and method of performing fourier transform
CN104821008A (zh) 用于处理三维场景的几何图像的方法和设备
CN103632398B (zh) 产生全视差的数字全息图
Greisen et al. Algorithm and VLSI architecture for real-time 1080p60 video retargeting
KR102581470B1 (ko) 영상 데이터를 처리하는 방법 및 장치
KR20170038526A (ko) 홀로그래픽 이미지 처리방법 및 장치
US10996627B2 (en) Image data processing method and apparatus
CN116912148B (zh) 图像增强方法、装置、计算机设备及计算机可读存储介质
US20240161236A1 (en) Method and apparatus with adaptive super sampling
WO2025199784A9 (zh) 多视点图像生成方法、训练数据获取方法以及神经网络训练方法
CN109873999B (zh) 图像数据处理方法和装置
US10915989B2 (en) Apparatus and method of processing image data using IFFT
US20200192286A1 (en) Hologram image representation method and hologram image representation device
JP2015103960A (ja) 画像奥行き指定方法、プログラム、および装置
RU2523980C2 (ru) Способ и система для визуализации набора мультимедиа объектов на 3d дисплее
WO2025250238A1 (en) Generating super-resolution training data with pairings of original and derivative images
Lo et al. Single image super-resolution using hybrid patch search and local self-similarity
Choe et al. Efficient CGH generation of three-dimensional objects using line-redundancy and novel-look-up table method
Lin et al. Hierarchical Interpolation-Based Disocclusion Region Recovery for Two-View to N-View Conversion System

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant