KR102496376B1 - 영상 데이터 처리 방법 및 장치 - Google Patents

영상 데이터 처리 방법 및 장치 Download PDF

Info

Publication number
KR102496376B1
KR102496376B1 KR1020170133473A KR20170133473A KR102496376B1 KR 102496376 B1 KR102496376 B1 KR 102496376B1 KR 1020170133473 A KR1020170133473 A KR 1020170133473A KR 20170133473 A KR20170133473 A KR 20170133473A KR 102496376 B1 KR102496376 B1 KR 102496376B1
Authority
KR
South Korea
Prior art keywords
constant
fast fourier
fourier transform
scaling
image data
Prior art date
Application number
KR1020170133473A
Other languages
English (en)
Other versions
KR20190041794A (ko
Inventor
김용규
김기철
김호정
박현식
이홍석
지현욱
Original Assignee
삼성전자주식회사
서울시립대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 서울시립대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020170133473A priority Critical patent/KR102496376B1/ko
Priority to US16/139,969 priority patent/US10996627B2/en
Publication of KR20190041794A publication Critical patent/KR20190041794A/ko
Application granted granted Critical
Publication of KR102496376B1 publication Critical patent/KR102496376B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/16—Processes or apparatus for producing holograms using Fourier transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0833—Look up table
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/30—3D object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/45—Representation of the decomposed object
    • G03H2210/454—Representation of the decomposed object into planes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/02—Computing or processing means, e.g. digital signal processor [DSP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Discrete Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Holo Graphy (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

영상 데이터를 처리와 관련하여, 복수회의 스케일링을 수행하여 영상 데이터를 처리하는 방법이 개시된다. 구체적으로 포커스 텀을 이용한 연산이 수행되기 전에 스케일링이 수행될 수 있다.

Description

영상 데이터 처리 방법 및 장치{Apparatus and Method of processing image data}
본 개시는 영상 데이터 처리 방법 및 장치에 관한 것이다.
최근 들어 3차원 영상에 관련된 기술이 많이 연구되고 있다. 빛의 진폭과 위상을 동시에 제어할 수 있는 복합 공간 광변조기(Complex Spatial Light Modulator, SLM)를 이용하여 실시간으로 고화질 홀로그램을 구현하는 장치에 대한 연구가 활발히 진행되고 있다.
최근에는 홀로그램 동영상을 재생하기 위해서 컴퓨터 생성 홀로그램(computer generated hologram, CGH)이 사용되고 있으며, 영상 데이터 처리 장치는 홀로그램 평면의 각 위치에 대한 홀로그램 값을 연산하는데, 연산량이 매우 방대하다. 일부 기술에 따른 영상 데이터 처리 장치는 공간상의 한 점을 표현하기 위해서 푸리에 변환(Fourier Transform) 등과 같은 복잡한 연산을 수행해야 한다.
TV, 모바일 디바이스 등의 영상 데이터 처리 장치는 홀로그램 영상을 재생하기 위해 영상 데이터를 처리할 수 있다. 이 경우, 영상 데이터 처리 장치는 영상 데이터에 대해 푸리에 변환을 수행하고, 변환된 데이터를 이용하여 영상을 재생할 수 있다.
영상 데이터 처리가 수행될 때, 많은 연산량에 따라 많은 시간이 소요된다. 특히, 모바일 디바이스와 같은 휴대용 디바이스들은 크기에 제한이 있고, 사용 가능한 전력(POWER)에도 제한이 있다. 따라서, 영상 데이터 처리가 수행될 때, 연산량 및 시간을 줄이기 위한 방법들이 요구된다.
보다 효율적으로 영상 데이터를 처리하는 방법 및 장치를 제공하는데 있다.
제 1 측면에 따른 영상 데이터 처리 장치는 대상체의 뎁스 정보와 색 정보를 포함하는 영상 데이터를 수신하는 수신기; 상기 영상 데이터에 대해서 제 1 거리에 기초하여 한 번 이상의 1D 패스트 푸리에 변환(Fast Fourier Transform)를 수행하고, 상기 한 번 이상의 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 제 1 상수를 이용하여 스케일링을 수행하고, 상기 스케일링으로 획득한 데이터에 상기 영상의 포커싱에 이용되는 포커스 텀을 이용한 연산을 수행하여 상기 대상체를 디스플레이하도록 디스플레이를 제어하는 프로세서; 및 상기 프로세서의 제어에 따라 상기 대상체를 디스플레이하는 디스플레이를 포함할 수 있다.
또한, 상기 프로세서는 상기 포커스 텀을 이용한 연산을 수행하여 획득한 데이터에 상기 제 1 상수에 기초하여 결정된 제 2 상수를 이용하여 스케일링을 수행하고, 상기 디스플레이는 상기 제 2 상수를 이용한 스케일링을 수행하여 획득한 데이터를 이용하여 상기 대상체를 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 프로세서는 상기 제 2 상수를 이용한 스케일링을 수행하여 획득한 데이터에 대해서 제 2 거리에 기초하여 한 번 이상의 1D 패스트 푸리에 변환을 수행하고, 상기 제 2 거리에 기초한 한 번 이상의 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 상기 제 1 상수 및 상기 제 2 상수에 기초하여 결정된 제 3 상수를 이용하여 스케일링을 수행하고, 상기 제 3 상수를 이용한 스케일링을 수행하여 획득한 데이터를 이용하여 상기 대상체를 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 프로세서는 상기 영상 데이터에 대해서, 가로 방향에 대한 1D 패스트 푸리에 변환을 수행하고, 상기 영상 데이터에 대해서, 세로 방향에 대한 1D 패스트 푸리에 변환을 수행할 수 있다.
또한, 상기 프로세서는 상기 영상 데이터에 대해서, 제 1 방향에 대한 1D 패스트 푸리에 변환을 수행하고, 상기 제 1 방향에 대한 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 제 4 상수를 이용하여 스케일링을 수행하고, 상기 제 4 상수를 이용한 스케일링을 수행하여 획득한 데이터에 대해서, 제 2 방향에 대한 1D 패스트 푸리에 변환을 수행할 수 있다.
또한, 상기 제 1 거리는 동공과 막막 사이의 거리에 대응될 수 있다.
또한, 상기 프로세서는 상기 제 2 상수를 이용한 스케일링을 수행하여 획득한 데이터에 대해서, 가로 방향에 대한 1D 패스트 푸리에 변환을 수행하고, 상기 제 2 상수를 이용한 스케일링을 수행하여 획득한 데이터에 대해서, 세로 방향에 대한 1D 패스트 푸리에 변환을 수행할 수 있다.
또한, 상기 제 2 거리는 상기 디스플레이와 동공 사이의 거리에 대응될 수 있다.
또한, 상기 프로세서는 상기 제 2 상수를 이용한 스케일링을 수행하여 획득한 데이터에 대해서, 제 1 방향에 대한 1D 패스트 푸리에 변환을 수행하고, 상기 제 1 방향에 대한 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 제 5 상수를 이용하여 스케일링을 수행하고, 상기 제 5 상수를 이용한 스케일링을 수행하여 획득한 데이터에 대해서, 제 2 방향에 대한 1D 패스트 푸리에 변환을 수행할 수 있다.
또한, 상기 제 1 상수, 상기 제 2 상수 및 상기 제 3 상수 중 적어도 하나는 상기 영상 데이터를 처리하는 과정에서 이용되는 메모리 크기에 따라 결정될 수 있다.
또한, 상기 프로세서는 상기 대상체에 대한 3차원 영상인 홀로그램 영상을 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
또한, 제 2 측면에 따른 영상 데이터 처리 방법은 대상체의 뎁스 정보와 색 정보를 포함하는 영상 데이터를 수신하는 단계; 상기 영상 데이터에 대해서 제 1 거리에 기초하여 한 번 이상의 1D 패스트 푸리에 변환을 수행하는 단계; 상기 한 번 이상의 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 제 1 상수를 이용하여 스케일링을 수행하는 단계; 및 상기 스케일링으로 획득한 데이터에 상기 영상의 포커싱에 이용되는 포커스 텀을 이용한 연산을 수행하여 상기 대상체를 디스플레이하는 단계를 포함할 수 있다.
또한, 제 2 측면에 따른, 영상 데이터 처리 방법을 컴퓨터에서 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 비일시적 기록 매체를 제공할 수 있다.
보다 효율적으로 영상 데이터를 처리하는 방법 및 장치가 제공된다.
도 1은 일 실시 예에 따른 영상 데이터 처리 장치의 구성을 나타내는 블록도이다.
도 2는 일 실시 예에 따른 영상 데이터 처리 장치가 영상 데이터를 처리하는 과정을 나타내는 흐름도이다.
도 3은 일 실시 예에 따른 영상 데이터 처리 장치가 영상 데이터에 대한 연산을 수행하는 방법을 설명하는 도면이다.
도 4는 일 실시 예에 따른 영상 데이터 처리 장치가 복수회의 푸리에 변환 또는 복수회의 역푸리에 변환을 수행하여 영상 데이터를 처리하는 방법을 설명하는 도면이다.
도 5는 일 실시 예에 따른 영상 데이터 처리 장치가 포커스 텀의 연산을 수행하기 전에 복수 회의 스케일링을 수행하여 영상 데이터를 처리하는 방법을 설명하는 흐름도이다.
도 6은 일 실시 예에 따른 영상 데이터 처리 장치가 제 1 방향에 대한 1D 패스트 푸리에 변환과 제 2 방향에 대한 1D 패스트 푸리에 변환을 수행하는 사이에 스케일링을 수행하여 영상 데이터를 처리하는 방법을 설명하는 흐름도이다.
도 7은 일 실시 예에 따른 영상 데이터 처리 장치가 포커스 텀을 이용한 연산을 수행하기 전에 스케일링을 수행하여 영상 데이터를 처리하는 방법을 설명하는 흐름도이다.
도 8은 일 실시 예에 따른 영상 데이터 처리 장치가 제 1 상수에 따라 결정된 제 2 상수에 따라 포커스 텀을 이용한 연산을 수행한 이후에 스케일링을 수행하여 영상 데이터를 처리하는 방법을 설명하는 흐름도이다.
이하 첨부된 도면을 참조하면서 오로지 예시를 위한 실시 예를 상세히 설명하기로 한다. 하기 실시 예는 기술적 내용을 구체화하기 위한 것일 뿐 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 상세한 설명 및 실시 예로부터 해당 기술분야의 전문가가 용이하게 유추할 수 있는 것은 권리범위에 속하는 것으로 해석된다.
본 명세서에서 사용되는 '구성된다' 또는 '포함한다' 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 '제 1' 또는 '제 2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 또한, 서수를 포함하는 용어는 다른 설명이 없는 한 상호 다른 도면에서는 다른 구성요소로 해석될 수 있으나, 이에 제한되지 않는다.
본 실시 예들은 렌더링 방법 및 장치에 관한 것으로서 이하의 실시 예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
이하에서는 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 일 실시 예에 따른 영상 데이터 처리 장치(100)의 구성을 나타내는 블록도이다. 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
도 1을 참조하면, 영상 데이터 처리 장치(100)는 수신기(110), 프로세서(120) 등을 포함할 수 있다. 또는 영상 데이터 처리 장치(100)는 메모리(130) 또는 디스플레이(140)를 포함할 수 있다. 디스플레이(140)는 프로세서(120)의 제어에 따라 영상을 디스플레이할 수 있다. 디스플레이(140)는 프로세서(120)로부터 데이터를 수신하여 영상을 디스플레이 할 수 있다. 또는 디스플레이(140)는 프로세서(120)의 제어에 따라 메모리(130)로부터 직접 수신한 데이터를 이용하여 영상을 디스플레이 할 수 있다.
일 실시 예에 따른 프로세서(120)는 레이어 기초 알고리즘(layer based algorithm)을 수행할 수 있다. 프로세서(120)는 홀로그램의 재생 영역을 뎁스(depth) 기준으로 분할하여 계산할 수 있다. 프로세서(120)는 분할된 각 레이어에 푸리에 변환, 패스트 푸리에 변환(Fast Fourier Transform, FFT), 역푸리에 변환 또는 역패스트 푸리에 변환(Inverse Fast Fourier Transform, IFFT)을 수행할 수 있다. 예를 들면, 프로세서(120)는 홀로그램 영상의 한 픽셀에 대한 데이터를 2번 이상의 패스트 푸리에 변환을 수행하여 획득할 수 있다. 이하에서 개시된 패스트 푸리에 변환은 푸리에 변환을 포함할 수 있다.
일 실시 예에 따른 좌표 값은 기준에 따라 달라질 수 있다. 따라서 동일한 픽셀에 대응되는 좌표 값이라도 기준에 따라 상이한 값을 가질 수 있다. 예를 들면, 디스플레이(140)의 위치에 대응되는 홀로그램 영상의 좌표 값이 제1 좌표 값(x1, y1)이고, 동공의 위치에 대응되는 홀로그램 영상의 좌표 값이 제2 좌표 값(u, v)이고, 망막의 위치에 대응되는 홀로그램 영상의 좌표 값이 제3 좌표 값(x2, y2)인 경우, 동일한 픽셀에 대응되는 제1 좌표 값(x1, y1), 제2 좌표 값(u, v) 및 제3 좌표 값(x2, y2)은 서로 상이할 수 있다.
일 실시 예에 따른 프로세서(120)가 영상 데이터를 처리할 때 포커스 텀을 이용할 수 있다. 일 실시 예에 따른 포커스 텀은 홀로그램 영상과 관련하여 포커싱에 이용될 수 있다. 프로세서(120)는 디스플레이(140)로부터 동공까지의 구간에 대한 패스트 푸리에 변환인 제 1 푸리에 변환을 수행할 수 있다. 또한, 프로세서(120)는 동공으로부터 망막까지의 구간에 대한 패스트 푸리에 변환인 제 2 푸리에 변환을 수행할 수 있다. 프로세서(120)는 제 1 푸리에 변환을 수행한 결과에 포커스 텀을 곱한 값을 제 2 푸리에 변환의 입력으로 이용할 수 있다. 일 실시 예에 따른 포커스 텀은 룩업테이블로부터 획득될 수 있다. 예를 들면, 프로세서(120)는 제 2 좌표 값(u, v)에 대응하는 포커스 텀을 메모리(130)에 저장된 룩업테이블로부터 로드할 수 있다.
일 실시 예에 따른 수신기(110)는 영상 데이터를 수신할 수 있다. 수신기(110)가 수신하는 영상 데이터는 대상체의 뎁스 정보와 색 정보를 포함할 수 있다. 예를 들면, 영상 데이터는 디스플레이하고자 하는 대상체의 각 픽셀에 대한 뎁스 정보와 색 정보를 포함할 수 있다.
이하에서는 패스트 푸리에 변환이 수행되는 경우의 실시 예에 대해서 주로 개시한다. 역패스트 푸리에 변환이 수행되는 경우의 실시 예는 실질적으로 패스트 푸리에 변환이 수행되는 경우의 역에 불과하므로, 생략될 수 있다.
일 실시 예에 따른 프로세서(120)는 수신기(110)가 수신한 영상 데이터에 대해서 제 1 거리에 기초하여 한 번 이상의 1D 패스트 푸리에 변환을 수행할 수 있다.
제 1 거리는 기설정된 거리일 수 있다. 예를 들면, 제 1 거리는 동공과 막막 사이의 거리에 대응될 수 있다.
일 실시 예에 따른 프로세서(120)는 수신기(110)가 수신한 영상 데이터에 대해서, 제 1 거리에 기초하여 제 1 방향에 대한 1D 패스트 푸리에 변환을 수행하고, 제 2 방향에 대한 1D 패스트 푸리에 변환을 수행할 수 있다. 예를 들면, 프로세서(120)는 가로 방향에 대한 1D 패스트 푸리에 변환을 수행하고, 세로 방향에 대한 1D 패스트 푸리에 변환을 수행할 수 있다. 다른 예로, 프로세서(120)는 세로 방향에 대한 1D 패스트 푸리에 변환을 수행하고, 가로 방향에 대한 1D 패스트 푸리에 변환을 수행할 수 있다.
또한, 후술하는 바와 같이 프로세서(120)는 제 1 방향에 대한 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 스케일링을 수행하고, 스케일링을 수행하여 획득한 데이터에 제 2 방향에 대한 1D 패스트 푸리에 변환을 수행할 수 있다.
일 실시 예에 따른 프로세서(120)는 제 1 거리에 기초하여 한 번 이상의 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 제 1 상수를 이용하여 스케일링을 수행할 수 있다.
예를 들면, 프로세서(120)는 제 1 거리에 기초하여 한 번 이상의 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 제 1 상수를 곱하는 연산을 수행할 수 있다.
일 실시 예에 따른 프로세서(120)는 스케일링을 수행할 때, 스케일링 수행 결과 얻게되는 데이터의 크기가 메모리 크기를 초과하지 않도록 할 수 있다. 예를 들면, 메모리 크기에 기초하여 제 1 상수의 값을 결정할 수 있다. 스케일링 수행 결과 얻게되는 데이터의 크기가 메모리 크기를 초과하지 않도록 제 1 상수를 결정함으로서, 오버플로우가 방지될 수 있다.
일 실시 예에 따른 프로세서(120)는 포커스 텀을 이용한 연산을 수행하기 전에 스케일링을 수행함으로써, 연산의 수행 과정에서 손실되는 데이터를 감소시킬 수 있다. 예를 들면, 패스트 푸리에 변환을 수행하는 경우 데이터 값이 작아질 수 있으므로, 프로세서(120)는 제 1 방향에 대한 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 제 1 상수에 따라 스케일링을 수행하고, 스케일링을 수행하여 획득한 데이터에 제 2 방향에 대한 1D 패스트 푸리에 변환을 수행할 수 있다. 그리고, 제 2 방향에 대한 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 포커스 텀을 이용한 연산을 수행하고, 포커스 텀을 이용한 연산을 수행하여 획득한 데이터에 제 2 상수에 따라 스케일링을 수행할 수 있다. 이 경우, 제 2 상수는 제 1 상수에 따라 결정될 수 있다. 예를 들면, 제 1 상수와 제 2 상수의 곱이 기설정된 값일 수 있다.
일 실시 예에 따른 프로세서(120)는 상술한 바와 같이 포커스 텀을 이용한 연산을 수행하기 전에도 스케일링을 수행함으로써, 동일한 메모리 크기에서 연산의 수행 과정에서 손실되는 데이터를 감소시킬 수 있다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 복수회의 1D 패스트 푸리에 변환을 수행함에 있어서, 1D 패스트 푸리에 변환들 사이에 스케일링을 수행함으로써, 연산의 수행 과정에서 손실되는 데이터를 감소시킬 수 있다. 예를 들면, 패스트 푸리에 변환을 수행하는 경우 데이터 값이 작아질 수 있으므로, 영상 데이터 처리 장치(100)는 제 1 방향(예: 가로 방향)에 대한 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 제 1 상수에 따라 스케일링을 수행하고, 스케일링을 수행하여 획득한 데이터에 제 2 방향(예: 세로 방향)에 대한 1D 패스트 푸리에 변환을 수행할 수 있다.
패스트 푸리에 변환을 수행하는 경우 데이터 값이 작아질 수 있다. 따라서, 제 1 방향(예: 가로 방향)에 대한 1D 패스트 푸리에 변환과 제 2 방향(예: 세로 방향)에 대한 1D 패스트 푸리에 변환이 연달아 수행될 경우, 연산 결과가 너무 작아져서 손실되는 데이터가 발생할 수 있다. 특히 고정 소수점(fixed point) 방식이 이용되는 경우 그 손실 정도가 높아질 수 있다. 따라서, 영상 데이터 처리 장치(100)는 제 1 방향(예: 가로 방향)에 대한 1D 패스트 푸리에 변환과 제 2 방향(예: 세로 방향)에 대한 1D 패스트 푸리에 변환 사이에 스케일링을 수행하여 연산 결과 값을 크게 조정함으로써 손실되는 데이터를 감소시킬 수 있다.
일 실시 예에 따른 프로세서(120)는 제 1 상수를 이용한 스케일링으로 획득한 데이터에 영상의 포커싱에 이용되는 포커스 텀을 이용한 연산을 수행하여 대상체를 디스플레이하도록 디스플레이(140)를 제어할 수 있다.
예를 들면, 프로세서(120)는 포커스 텀에 따른 연산을 수행한 후 스케일링, 한 번 이상의 1D 패스트 푸리에 변환, 스케일링을 각각 수행함으로써, 영상 데이터를 처리하여, 대상체를 디스플레이할 수 있다.
일 실시 예에 따른 디스플레이(140)는 프로세서(120)의 제어에 따라 대상체를 디스플레이할 수 있다. 일 실시 예에 따른 디스플레이(140)가 디스플레이하는 영상은 3차원 영상일 수 있다. 예를 들면, 디스플레이(140)는 대상체에 대한 3차원 영상인 홀로그램 영상을 디스플레이할 수 있다.
이하에서는 영상 데이터 처리 장치(100)가 복수 회의 스케일링을 수행하여 영상 데이터를 처리하는 방법을 개시한다. 특히 포커스 텀에 따른 연산을 수행하기 전 또는 복수회의 1D 패스트 푸리에 변환을 수행하는 중간에 스케일링을 수행함으로써, 연산의 수행 과정에서 손실되는 데이터를 감소시키는 방법이 개시된다.
도 2는 일 실시 예에 따른 영상 데이터 처리 장치(100)가 영상 데이터를 처리하는 과정을 나타내는 흐름도이다. 도 2를 참조하면, 영상 데이터 처리 장치(100)는 영상 데이터를 수신하고, 수신한 영상 데이터에 대응되는 영상을 출력할 수 있다.
도 2는 레이어 기초 알고리즘에 따라 영상 데이터가 처리되는 일 실시 예일 수 있으며, 이에 제한되지 않는다.
영상 데이터 처리 장치(100)는 홀로그램 영상을 생성할 수 있다. 일 실시 예에 따른 홀로그램 생성에 사용되는 홀로그래피 기술에 따라, 레이저에서 나온 빛이 피사체를 직접 비추어 반사된 물체파(Object Wave)와 반사경에 반사된 기준파(Reference Wave)의 간섭현상에 따른 간섭무늬 형태로 기록 매체에 영상 데이터가 기록될 수 있다. 홀로그래피 기술을 통해 만들어진 결과물을 홀로그램이라 할 수 있다. 홀로그램에 저장된 영상을 복원할 때 기록시와 동일한 파장과 위상을 가진 기준광이 다시 기록 매체에 조사될 수 있다. 홀로그램을 인위적으로 생성하는 것이 가능하다. 예를 들면, CGH(computer-Generated Holography)는 기존의 광학계 장치와 광학 변수들을 수학적으로 모델링하여 일반적인 컴퓨터로도 손쉽게 홀로그램을 만들어 낼 수 있는 기법이며, CGH는 실제 동일한 3D 영상 데이터를 담은 디지털 홀로그램을 실시간으로 생성하기 위해 이용될 수 있다. CGH 를 이용하여 홀로그램을 생성하려면 상당한 양의 데이터들을 실시간으로 연산해야 하므로 데이터의 고속 처리가 중요할 수 있다.
영상 데이터 처리 장치(100)는 디지털홀로그램을 실시간으로 계산하여 이를 빠른 속도로 생성하기 위한 다양한 종류의 알고리즘을 수행할 수 있다. 예를 들면, CGH를 계산하는 수학적 모델로는 포인트 클라우드(Point cloud) 알고리즘과, 폴리곤(Polygon) 알고리즘 그리고 레이어 기초 알고리즘 등이 있다. 포인트 클라우드 알고리즘은 3D 이미지를 점들의 공간적 집합으로 표현하는 방법으로 점들로 구성되기 때문에 다양한 표면을 갖는 물체를 표현하기에 적절하다. 폴리곤 알고리즘은 3D 이미지의 표면을 폴리곤들로 표현한 것이다. 폴리곤 알고리즘은 패스트 푸리에 변환을 사용하기 때문에 포인트 클라우드 알고리즘에 비해 상대적으로 계산량이 적다. 레이어 기초 알고리즘은 홀로그램의 재생영역을 뎁스(depth) 기준으로 분할하여 계산하는 방법이며, 분할된 각 레이어에 패스트 푸리에 변환 또는 역패스트 푸리에 변환을 수행하여 홀로그램을 생성할 수 있다.
레이어 기초 방식의 홀로그래픽 디스플레이를 영상으로 보기 위해서는 도 2와 같이, 뎁스 정보와 색 정보를 가진 입력된 영상 데이터를 레이어 기초 홀로그램(Layer based Hologram) 에 맞게 영상 데이터가 변환 보정되고, 각 뎁스 별로 2번의 패스트 푸리에 변환 연산을 하는 프로퍼게이션(Propagation) 동작이 수행될 수 있다. 그 후 영상을 디스플레이하기 위하여 인코딩(Encoding) 을 통하여, 콤플렉스 데이터(Complex data)를 인티저(Integer) 값으로 변환하여 영상이 출력될 수 있다.
도 2의 전체 알고리즘 중에서 단계 S230이 모든 연산의 80% 이상을 차지하고, 전력 소모 역시 가장 클 수 있다. 또한 단계 S230에서 화면과 동공 사이의 패스트 푸리에 변환 연산, 영상을 동공에 표현하기 위한 포커스 텀 연산 및, 동공과 망막 사이의 패스트 푸리에 변환 연산이 수행될 수 있다.
이하에서는 구체적으로 각 단계에 대해서 알아본다.
단계 S210에서, 영상 데이터 처리 장치(100)는 영상 데이터를 수신한다. 예를 들어, CGH(Computer-Generated Holography)연산에 있어서 레이어 기초 알고리즘을 영상 데이터에 적용하는 경우, 영상 데이터는 컬러 데이터(또는 컬러 영상), 뎁스 데이터(또는 뎁스 영상) 등일 수 있다. 컬러 데이터는 레이어마다 복수의 컬러들을 나타내는 데이터일 수 있다. 예를 들어, 컬러 데이터는 레드 데이터, 블루 데이터 및 그린 데이터 중 적어도 하나일 수 있다. 레이어 기초 알고리즘은 홀로그램의 재생 영역을 뎁스를 기준으로 분할하여 분할된 각 평면의 데이터를 처리하는 방법이다. 영상 데이터 처리 장치(100)는 홀로그램 영상을 생성 또는 디스플레이하는 과정에서 분할된 각 평면의 데이터를 푸리에 변환 또는 역푸리에 변환할 수 있다.
단계 S220에서, 영상 데이터 처리 장치(100)는 단계 S230에서 프로퍼게이션(propagation)을 수행하기 위해 단계 S210에서 수신한 영상 데이터의 형태를 변형할 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 단계 S210에서 수신한 데이터에 대해서 정규화(normalization)를 수행할 수 있다. 일 예로, 영상 데이터 처리 장치(100)는 0~255 중 하나의 값을 갖고 단계 S210에서 수신된 그린 데이터를 0~1 중 하나의 값에 대응시킬 수 있다.
또는 영상 데이터 처리 장치(100)는 단계 S220에서 화질 보정 및 필드 연산을 수행할 수 있다. 영상 데이터 처리 장치(100)는 영상 데이터의 화질을 향상시키기 위해 영상 데이터를 보정할 수 있다.
단계 S230에서, 영상 데이터 처리 장치(100)는 푸리에 변환(Fourier Transform), 패스트 푸리에 변환(Fast Fourier Transform, FFT), 역푸리에 변환(Inverse Fourier Transform, FFT) 또는 역패스트 푸리에 변환(Inverse Fast Fourier Transform, FFT)을 수행할 수 있다.
예를 들어, 영상 데이터 처리 장치(100)는 2D 매트릭스 형태의 영상 데이터를 푸리에 변환할 수 있다. 영상 데이터 처리 장치(100)는 2D 푸리에 변환을 위해 1D 푸리에 변환을 2회 수행할 수 있다. 영상 데이터 처리 장치(100)는 영상 데이터를 가로 방향(열 방향)으로 1D 푸리에 변환하고, 변환된 영상 데이터를 세로 방향(열 방향)으로 1D 푸리에 변환할 수 있다. 영상 데이터 처리 장치(100)는 푸리에 변환을 통해 홀로그래픽 영상을 생성한다.
다른 예로, 영상 데이터 처리 장치(100)는 복수번의 푸리에 또는 역푸리에 변환을 수행하는 과정에서 포커스 텀을 이용할 수 있다. 일 예로, 영상 데이터 처리 장치(100)는 제 1 패스트 푸리에 변환을 수행하고, 제 1 패스트 푸리에 변환 결과에 포커스 텀이 곱해진 결과를 제 2 패스트 푸리에 변환의 입력으로 이용할 수 있다. 다른 예로, 영상 데이터 처리 장치(100)는 제 1 역패스트 푸리에 변환을 수행하고, 제 1 역패스트 푸리에 변환 결과에 포커스 텀이 곱해진 결과를 제 2 역패스트 푸리에 변환의 입력으로 이용할 수 있다.
단계 S240에서, 영상 데이터 처리 장치(100)는 인코딩을 수행할 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 픽셀 인코딩을 통하여 화면에 입력될 데이터를 생성한다.
단계 S250에서, 영상 데이터 처리 장치(100)는 디스플레이로 영상을 출력한다. 디스플레이는 영상을 표시하는 장치를 폭넓게 지칭할 수 있다.
도 3은 일 실시 예에 따른 영상 데이터 처리 장치(100)가 영상 데이터에 대한 연산을 수행하는 방법을 설명하는 도면이다. 구체적으로 디스플레이(310)에서 디스플레이되는 영상이 동공(320)을 통해 망막(330)에서 인식되는 과정에서 수행되는 영상 데이터의 연산에 대해 설명한다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 홀로그램 영상을 처리하는 과정에서 복수 회의 푸리에 변환 또는 역푸리에 변환을 수행할 수 있다.
예를 들면, 영상 데이터 처리 장치(100)는 동공(320)에서부터 망막(330)까지의 구간인 제 1 거리(350)에 대한 푸리에 변환인 제 1 푸리에 변환을 수행할 수 있다. 또는 영상 데이터 처리 장치(100)는 제 1 거리(350)에 대한 역푸리에 변환인 제1 역푸리에 변환을 수행할 수 있다.
다른 예로, 영상 데이터 처리 장치(100)는 디스플레이(310)에서부터 동공(320)까지의 구간인 제 2 거리(340)에 대한 푸리에 변환인 제 2 푸리에 변환을 수행할 수 있다. 또는 영상 데이터 처리 장치(100)는 제 2 거리(340)에 대한 역푸리에 변환인 제 2 역푸리에 변환을 수행할 수 있다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 복수회의 푸리에 변환 또는 역푸리에 변환을 수행하는 과정에서 포커스 텀을 이용할 수 있다.
예를 들면, 제1 푸리에 변환으로 획득한 값과 포커스 텀의 연산 결과가 제 2 푸리에 변환의 입력으로 이용될 수 있다. 일 예로, 영상 데이터 처리 장치(100)는 제1 푸리에 변환으로 획득한 값과 포커스 텀을 곱하여 획득한 값을 제 2 푸리에 변환의 입력으로 인가하여 제 2 푸리에 변환을 수행할 수 있다. 또한, 제 2 푸리에 변환을 통해 획득한 데이터를 이용하여 홀로그램 영상에 이용되는 픽셀 값을 결정할 수 있다.
일 실시 예에 따른 좌표 값은 기준에 따라 달라질 수 있다. 따라서 동일한 픽셀에 대응되는 좌표 값이라도 기준에 따라 상이한 값을 가질 수 있다. 예를 들면, 디스플레이(140)의 위치에 대응되는 홀로그램 영상의 좌표 값이 제1 좌표 값(x1, y1)이고, 동공의 위치에 대응되는 홀로그램 영상의 좌표 값이 제2 좌표 값(u, v)이고, 망막의 위치에 대응되는 홀로그램 영상의 좌표 값이 제3 좌표 값(x2, y2)인 경우, 동일한 픽셀에 대응되는 제1 좌표 값(x1, y1), 제2 좌표 값(u, v) 및 제3 좌표 값(x2, y2)은 서로 상이할 수 있다.
도 4는 일 실시 예에 따른 영상 데이터 처리 장치(100)가 복수회의 푸리에 변환 또는 복수회의 역푸리에 변환을 수행하여 영상 데이터를 처리하는 방법을 설명하는 도면이다.
푸리에 변환 또는 역푸리에 변환은 가로 방향 또는 세로 방향으로 수행될 수 있다. 도 4를 참조하면, 영상 데이터 처리 장치(100)는 영상 데이터 처리 과정에서, 영상 데이터에 대해 2번 1D 패스트 푸리에 변환 또는 1D 역패스트 푸리에 변환을 수행할 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 영상 데이터를 가로 방향 및 세로 방향으로 각각 1번 1D 패스트 푸리에 변환(410)하여 제 1 데이터를 생성할 수 있다. 그리고 영상 데이터 처리 장치(100)는 제 1 데이터에 포커스 텀(420)을 곱한 값을 가로 방향 및 세로 방향으로 각각 1번 1D 패스트 푸리에 변환(430)하여 제2 데이터를 생성할 수 있다.
다른 예로, 영상 데이터 처리 장치(100)는 영상 데이터를 세로 방향 및 가로 방향으로 각각 1번 1D 패스트 푸리에 변환(410)하여 제 3 데이터를 생성할 수 있다. 그리고 영상 데이터 처리 장치(100)는 제 3 데이터에 포커스 텀(420)을 곱한 값을 세로 방향 및 가로 방향으로 각각 1번 1D 패스트 푸리에 변환(430)하여 제4 데이터를 생성할 수 있다.
도 5는 일 실시 예에 따른 영상 데이터 처리 장치(100)가 포커스 텀의 연산을 수행하기 전에 복수 회의 스케일링을 수행하여 영상 데이터를 처리하는 방법을 설명하는 흐름도이다.
단계 S510에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 1D 패스트 푸리에 변환을 수행한다. 1D 패스트 푸리에 변환은 기설정된 방향으로 수행될 수 있다. 예를 들면, 1D 패스트 푸리에 변환은 가로 방향 또는 세로 방향으로 수행될 수 있다. 다만 후술하는 바와 같이 단계 S530에서는 단계 S510에서 1D 패스트 푸리에 변환이 수행된 방향과 상이한 방향으로 1D 패스트 푸리에 변환이 수행될 수 있다.
또한, 단계 S510에서 1D 패스트 푸리에 변환이 수행된 결과 제 1 데이터(510)가 획득될 수 있다.
단계 S520에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 제 1 데이터(510)에 대해서 제 1 스케일링(C1)을 수행할 수 있다. 제 1 스케일링(C1)은 C1값에 따라 수행될 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 제 1 데이터(510)에 C1을 곱한 값을 획득할 수 있다.
또한 단계 S520에서 제 1 스케일링(C1)이 수행된 결과 제 2 데이터(520)가 획득될 수 있다.
단계 S530에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 1D 패스트 푸리에 변환을 수행한다. 1D 패스트 푸리에 변환은 기설정된 방향으로 수행될 수 있다. 예를 들면, 1D 패스트 푸리에 변환은 가로 방향 또는 세로 방향으로 수행될 수 있다. 단계 S530에서는 단계 S510에서 1D 패스트 푸리에 변환이 수행된 방향과 상이한 방향으로 1D 패스트 푸리에 변환이 수행될 수 있다. 예를 들면, 단계 S510에서 1D 패스트 푸리에 변환이 가로로 수행된 경우, 단계 S530에서는 1D 패스트 푸리에 변환이 세로로 수행될 수 있다.
또한, 단계 S530에서 1D 패스트 푸리에 변환이 수행된 결과 제 3 데이터(530)가 획득될 수 있다.
단계 S540에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 제 3 데이터(530)에 대해서 제 2 스케일링(C2)을 수행할 수 있다. 제 2 스케일링(C2)은 C2값에 따라 수행될 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 제 3 데이터(530)에 C2을 곱한 값을 획득할 수 있다.
또한 단계 S540에서 제 2 스케일링(C2)이 수행된 결과 제 4 데이터(540)가 획득될 수 있다.
단계 S550에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 제 4 데이터(540)에 대해서 포커스 텀에 따른 연산을 수행할 수 있다. 포커스 텀은 기설정된 값일 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 제 4 데이터(540)에 포커스 텀을 곱한 값을 획득할 수 있다.
또한 단계 S550에서 포커스 텀에 따른 연산이 수행된 결과 제 5 데이터(550)가 획득될 수 있다.
단계 S560에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 제 5 데이터(550)에 대해서 제 3 스케일링(C3)을 수행할 수 있다. 제 3 스케일링(C3)은 C3값에 따라 수행될 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 제 5 데이터(550)에 C3을 곱한 값을 획득할 수 있다.
또한 단계 S560에서 제 3 스케일링(C3)이 수행된 결과 제 6 데이터(560)가 획득될 수 있다.
단계 S570에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 뎁스 에디션을 수행할 수 있다. 영상 데이터 처리 장치(100)는 제 6 데이터(560)에 뎁스 에디션을 수행함으로써, 제 7 데이터(565)를 획득할 수 있다.
단계 S575에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 1D 패스트 푸리에 변환을 수행한다. 1D 패스트 푸리에 변환은 기설정된 방향으로 수행될 수 있다. 예를 들면, 1D 패스트 푸리에 변환은 가로 방향 또는 세로 방향으로 수행될 수 있다. 다만 후술하는 바와 같이 단계 S585에서는 단계 S575에서 1D 패스트 푸리에 변환이 수행된 방향과 상이한 방향으로 1D 패스트 푸리에 변환이 수행될 수 있다.
또한, 단계 S575에서 1D 패스트 푸리에 변환이 수행된 결과 제 8 데이터(570)가 획득될 수 있다.
단계 S580에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 제 8 데이터(570)에 대해서 제 4 스케일링(C4)을 수행할 수 있다. 제 4 스케일링(C4)은 C4값에 따라 수행될 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 제 8 데이터(580)에 C4을 곱한 값을 획득할 수 있다.
또한 단계 S520에서 제 4 스케일링(C4)이 수행된 결과 제 9 데이터(580)가 획득될 수 있다.
단계 S585에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 1D 패스트 푸리에 변환을 수행한다. 1D 패스트 푸리에 변환은 기설정된 방향으로 수행될 수 있다. 예를 들면, 1D 패스트 푸리에 변환은 가로 방향 또는 세로 방향으로 수행될 수 있다. 단계 S585에서는 단계 S575에서 1D 패스트 푸리에 변환이 수행된 방향과 상이한 방향으로 1D 패스트 푸리에 변환이 수행될 수 있다. 예를 들면, 단계 S575에서 1D 패스트 푸리에 변환이 가로로 수행된 경우, 단계 S585에서는 1D 패스트 푸리에 변환이 세로로 수행될 수 있다.
또한, 단계 S585에서 1D 패스트 푸리에 변환이 수행된 결과 제 10 데이터(590)가 획득될 수 있다.
단계 S590에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 제 10 데이터(590)에 대해서 제 5 스케일링(C5)을 수행할 수 있다. 제 5 스케일링(C5)은 C5값에 따라 수행될 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 제 10 데이터(590)에 C5를 곱한 값을 획득할 수 있다.
또한 단계 S590에서 제 5 스케일링(C5)이 수행된 결과 제 11 데이터(595)가 획득될 수 있다.
C1, C2, C3, C4 및 C5는 상호간의 값에 따라서 결정될 수 있다. 예를 들면, C1, C2 및 C3의 곱은 기설정된 값으로 유지될 수 있다. 다른 예로, C1, C2, C3, C4 및 C5의 곱은 기설정된 값으로 유지될 수 있다.
또한, 일 실시 예에 따른 영상 데이터 처리 장치(100)는 각각의 연산 결과 얻게 되는 데이터의 크기가 메모리 크기를 초과하지 않도록 C1 내지 C5의 값을 결정할 수 있다. 또는 영상 데이터 처리 장치(100)는 기설정된 메모리 크기를 고려할 때, 손실되는 데이터의 양이 적어지도록 C1 내지 C5의 값을 결정할 수 있다. 또는 영상 데이터 처리 장치(100)는 기설정된 메모리 크기를 고려할 때, 최종 출력되는 데이터에서 발생하는 데이터 손실량이 적어지도록 C1 내지 C5의 값을 결정할 수 있다. 예를 들면, 메모리 크기에 기초하여 제 1 데이터(510) 내지 제 11 데이터(595)의 크기가 메모리 크기를 초과하지 않도록 C1 내지 C5를 결정함으로서, 오버플로우가 방지될 수 있다.
도 5를 참조하면, 일 실시 예에 따른 영상 데이터 처리 장치(100)는 복수회에 걸쳐 스케일링을 수행할 수 있다.
구체적으로 일 실시 예에 따른 영상 데이터 처리 장치(100)는 포커스 텀을 이용한 연산을 수행하기 전에 스케일링을 수행함으로써, 연산의 수행 과정에서 손실되는 데이터를 감소시킬 수 있다.
패스트 푸리에 변환을 수행하는 경우 데이터 값이 작아질 수 있다. 따라서, 단계 S510에서의 패스트 푸리에 변환과 단계 S530에서의 패스트 푸리에 변환이 연달아 수행될 경우, 연산 결과가 너무 작아져서 손실되는 데이터가 발생할 수 있다. 특히 고정 소수점(fixed point) 방식이 이용되는 경우 그 정도가 높아질 수 있다. 고정 소수점 방식이 이용되는 경우, 1D FFT 수행에 따라 값이 작아지면, 기설정된 값 이하의 소수 값에 대한 데이터에 대해서 손실이 발생할 수 있다. 따라서, 영상 데이터 처리 장치(100)는 단계 S510에서 수행되는 패스트 푸리에 변환 수행 후에 제 1 스케일링(C1)을 수행함으로써 연산 결과 값을 크게 조정함으로써 손실되는 데이터를 감소시킬 수 있다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 메모리 크기를 고려하여 복수회의 스케일링을 적응적으로 수행함으로써, 손실되는 데이터를 감소시킬 수 있다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 인코딩 단계에서 수행될 스케일링 연산을 제 1 스케일링(C1) 내지 제 5 스케일링(C5)에서 수행함으로써, 인코딩 단계에서 수행되는 스케일링 연산을 감소 또는 생략하도록 할 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 감마 보정에서 수행되는 스케일링 연산을 제 1 스케일링(C1) 내지 제 5 스케일링(C5)에서 수행할 수 있다. 다른 예로, 영상 데이터 처리 장치(100)는 인코딩 단계에서 수행되는 스케일링을 제 1 스케일링(C1) 내지 제 5 스케일링(C5)에서 수행함으로써 노멀라이즈 블록(normalized block)에서의 연산을 생략할 수 있다.
도 6은 일 실시 예에 따른 영상 데이터 처리 장치(100)가 제 1 방향에 대한 1D 패스트 푸리에 변환과 제 2 방향에 대한 1D 패스트 푸리에 변환을 수행하는 사이에 스케일링을 수행하여 영상 데이터를 처리하는 방법을 설명하는 흐름도이다.
도 6와 관련하여 도 5에 개시된 내용이 참조될 수 있다. 도 6은 일 실시 예에 따른 영상 데이터 처리 장치(100)가 도 5에서의 단계 S540을 생략하고 영상 데이터를 처리하는 방법에 대해 도시한다.
단계 S620에서 스케일링에 이용되는 스케일링 상수가 제 6-1 상수이고, 단계 S650에서 스케일링에 이용되는 스케일링 상수가 제 6-2 상수이고, 단계 S680에서 스케일링에 이용되는 스케일링 상수가 제 6-3 상수이고, 단계 S695에서 스케일링에 이용되는 스케일링 상수가 제 6-4 상수인 경우, 제 6-1 상수 내지 제 6-4 상수는 상호간의 값에 따라서 결정될 수 있다. 예를 들면, 6-1 상수 및 6-2 상수의 곱은 기설정된 값으로 유지될 수 있다. 다른 예로, 6-3 상수 및 6-4 상수의 곱은 기설정된 값으로 유지될 수 있다. 다른 예로, 제 6-1 상수 내지 제 6-4 상수의 곱은 기설정된 값으로 유지될 수 있다.
도 6에서 단계 S610, S620, S630, S640, S650, S660, S670, S680, S690 및 S695는 각각 도 5의 단계 S510, S520, S530, S550, S560, S570, S575, S580, S585 및 S590에 대응되므로, 전체적인 설명을 간단히 하기 위해 상세한 설명은 생략한다.
도 7은 일 실시 예에 따른 영상 데이터 처리 장치(100)가 포커스 텀을 이용한 연산을 수행하기 전에 스케일링을 수행하여 영상 데이터를 처리하는 방법을 설명하는 흐름도이다.
단계 S710에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 대상체의 뎁스 정보와 색 정보를 포함하는 영상 데이터를 수신한다.
영상 데이터 처리 장치(100)가 수신하는 영상 데이터는 대상체의 뎁스 정보와 색 정보를 포함할 수 있다. 예를 들면, 영상 데이터는 디스플레이하고자 하는 대상체의 각 픽셀에 대한 뎁스 정보와 색 정보를 포함할 수 있다.
단계 S720에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 영상 데이터에 대해서 제 1 거리에 기초하여 한 번 이상의 1D 패스트 푸리에 변환을 수행한다.
제 1 거리는 기설정된 거리일 수 있다. 예를 들면, 제 1 거리는 동공과 막막 사이의 거리에 대응될 수 있다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 수신한 영상 데이터에 대해서, 제 1 거리에 기초하여 제 1 방향에 대한 1D 패스트 푸리에 변환을 수행하고, 제 2 방향에 대한 1D 패스트 푸리에 변환을 수행할 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 가로 방향에 대한 1D 패스트 푸리에 변환을 수행하고, 세로 방향에 대한 1D 패스트 푸리에 변환을 수행할 수 있다. 다른 예로, 영상 데이터 처리 장치(100)는 세로 방향에 대한 1D 패스트 푸리에 변환을 수행하고, 가로 방향에 대한 1D 패스트 푸리에 변환을 수행할 수 있다.
또한, 영상 데이터 처리 장치(100)는 제 1 방향에 대한 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 스케일링을 수행하고, 스케일링을 수행하여 획득한 데이터에 제 2 방향에 대한 1D 패스트 푸리에 변환을 수행할 수 있다.
단계 S730에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 단계 S720에서 한 번 이상의 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 제 1 상수를 이용하여 스케일링을 수행한다.
예를 들면, 영상 데이터 처리 장치(100)는 제 1 거리에 기초하여 한 번 이상의 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 제 1 상수를 곱하는 연산을 수행할 수 있다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 스케일링을 수행할 때, 스케일링 수행 결과 얻게되는 데이터의 크기가 메모리 크기를 초과하지 않도록 할 수 있다. 예를 들면, 메모리 크기에 기초하여 제 1 상수의 값을 결정할 수 있다. 스케일링 수행 결과 얻게되는 데이터의 크기가 메모리 크기를 초과하지 않도록 제 1 상수를 결정함으로서, 오버플로우가 방지될 수 있다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 포커스 텀을 이용한 연산을 수행하기 전에 스케일링을 수행함으로써, 연산의 수행 과정에서 손실되는 데이터를 감소시킬 수 있다. 예를 들면, 패스트 푸리에 변환을 수행하는 경우 데이터 값이 작아질 수 있으므로, 영상 데이터 처리 장치(100)는 제 1 방향(예: 가로 방향)에 대한 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 제 1 상수에 따라 스케일링을 수행하고, 스케일링을 수행하여 획득한 데이터에 제 2 방향(예: 세로 방향)에 대한 1D 패스트 푸리에 변환을 수행할 수 있다. 그리고, 제 2 방향에 대한 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 포커스 텀을 이용한 연산을 수행하고, 포커스 텀을 이용한 연산을 수행하여 획득한 데이터에 제 2 상수에 따라 스케일링을 수행할 수 있다. 이 경우, 제 2 상수는 제 1 상수에 따라 결정될 수 있다. 예를 들면, 제 1 상수와 제 2 상수의 곱이 기설정된 값일 수 있다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 상술한 바와 같이 포커스 텀을 이용한 연산을 수행하기 전에도 스케일링을 수행함으로써, 동일한 메모리 크기에서 연산의 수행 과정에서 손실되는 데이터를 감소시킬 수 있다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 복수회의 1D 패스트 푸리에 변환을 수행함에 있어서, 1D 패스트 푸리에 변환들 사이에 스케일링을 수행함으로써, 연산의 수행 과정에서 손실되는 데이터를 감소시킬 수 있다. 예를 들면, 패스트 푸리에 변환을 수행하는 경우 데이터 값이 작아질 수 있으므로, 영상 데이터 처리 장치(100)는 제 1 방향(예: 가로 방향)에 대한 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 제 1 상수에 따라 스케일링을 수행하고, 스케일링을 수행하여 획득한 데이터에 제 2 방향(예: 세로 방향)에 대한 1D 패스트 푸리에 변환을 수행할 수 있다.
패스트 푸리에 변환을 수행하는 경우 데이터 값이 작아질 수 있다. 따라서, 제 1 방향(예: 가로 방향)에 대한 1D 패스트 푸리에 변환과 제 2 방향(예: 세로 방향)에 대한 1D 패스트 푸리에 변환이 연달아 수행될 경우, 연산 결과가 너무 작아져서 손실되는 데이터가 발생할 수 있다. 특히 고정 소수점(fixed point) 방식이 이용되는 경우 그 손실 정도가 높아질 수 있다. 따라서, 영상 데이터 처리 장치(100)는 제 1 방향(예: 가로 방향)에 대한 1D 패스트 푸리에 변환과 제 2 방향(예: 세로 방향)에 대한 1D 패스트 푸리에 변환 사이에 스케일링을 수행하여 연산 결과 값을 크게 조정함으로써 손실되는 데이터를 감소시킬 수 있다.
단계 S740에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 스케일링으로 획득한 데이터에 영상의 포커싱에 이용되는 포커스 텀을 이용한 연산을 수행하여 대상체를 디스플레이한다.
예를 들면, 영상 데이터 처리 장치(100)는 포커스 텀에 따른 연산을 수행한 후 스케일링, 한 번 이상의 1D 패스트 푸리에 변환, 스케일링을 각각 수행함으로써, 영상 데이터를 처리하여, 대상체를 디스플레이할 수 있다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 대상체를 디스플레이할 수 있다. 일 실시 예에 따른 영상 데이터 처리 장치(100)가 디스플레이하는 영상은 3차원 영상일 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 대상체에 대한 3차원 영상인 홀로그램 영상을 디스플레이할 수 있다. 영상 데이터 처리 장치(100)는 디스플레이를 포함할 수 있다.
도 8은 일 실시 예에 따른 영상 데이터 처리 장치(100)가 제 1 상수에 따라 결정된 제 2 상수에 따라 포커스 텀을 이용한 연산을 수행한 이후에 스케일링을 수행하여 영상 데이터를 처리하는 방법을 설명하는 흐름도이다.
도 8과 관련하여 도 7에 개시된 내용이 참조될 수 있다. 도 8의 단계 S810, S820 및 S830은 각각 도 7의 단계 S710, S720 및 S730에 대응되므로, 전체적인 설명을 간단히 하기 위해 상세한 설명은 생략한다.
단계 S840에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 포커스 텀을 이용한 연산을 수행하여 획득한 데이터에 제 1 상수에 기초하여 결정된 제 2 상수를 이용하여 스케일링을 수행한다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 단계 S830에서 스케일링을 수행한 결과 획득된 데이터에 포커스 텀을 이용한 연산을 수행할 수 있다. 또한, 포커스 텀을 이용한 연산의 수행 결과 획득한 데이터에 제 2 상수를 이용한 스케일링을 수행할 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 포커스 텀을 이용한 연산의 수행 결과 획득한 값에 제 2 상수를 곱하는 연산을 수행할 수 있다.
단계 S850에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 단계 S840에서 제 2 상수를 이용한 스케일링을 수행하여 획득한 데이터를 이용하여 대상체를 디스플레이한다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 단계 S840에서 획득한 데이터인 제 2 상수를 이용한 스케일링을 수행하여 획득한 데이터에 대해서 제 2 거리에 기초하여 한 번 이상의 1D 패스트 푸리에 변환을 수행할 수 있다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 복수회의 1D 패스트 푸리에 변환을 수행함에 있어서, 1D 패스트 푸리에 변환들 사이에 스케일링을 수행함으로써, 연산의 수행 과정에서 손실되는 데이터를 감소시킬 수 있다. 예를 들면, 패스트 푸리에 변환을 수행하는 경우 데이터 값이 작아질 수 있으므로, 영상 데이터 처리 장치(100)는 제 1 방향(예: 가로 방향)에 대한 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 제 2 상수에 따라 스케일링을 수행하고, 스케일링을 수행하여 획득한 데이터에 제 2 방향(예: 세로 방향)에 대한 1D 패스트 푸리에 변환을 수행할 수 있다. 그리고, 제 2 방향에 대한 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 제 3 상수에 따라 스케일링을 수행할 수 있다. 이 경우, 제 3 상수는 제 1 상수 및 제 2 상수에 따라 결정될 수 있다. 예를 들면, 제 1 상수, 제 2 상수 및 제 3 상수의 곱이 기설정된 값일 수 있다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 제 3 상수를 이용한 스케일링을 수행하여 획득한 데이터를 이용하여 대상체를 디스플레이할 수 있다.
본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.

Claims (20)

  1. 영상 데이터를 처리하는 장치에 있어서,
    대상체의 뎁스 정보와 색 정보를 포함하는 영상 데이터를 수신하는 수신기; 및
    프로세서를 포함하고,
    상기 프로세서는
    상기 영상 데이터에 대해서, 동공과 막막 사이의 거리에 대응되는 제 1 거리에 기초하여 제 1 1D 패스트 푸리에 변환을 제 1 방향으로 수행하고,
    상기 제 1 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 대해, 메모리 크기에 기초하여 결정된 제 1 상수를 이용하여 스케일링을 수행하고,
    상기 제 1 상수를 이용하여 상기 스케일링으로 획득된 데이터에 대해, 제 2 1D 패스트 푸리에 변환을 상기 제 1 방향에 수직하는 제 2 방향으로 수행하고,
    상기 제 2 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 대해, 영상의 포커싱에 이용되는 포커스 텀을 이용한 연산을 수행하고,
    상기 포커스 텀을 이용한 상기 연산을 수행하여 획득한 데이터에 대해, 상기 제 1 상수에 기초하여 결정된 제 2 상수를 이용하여 스케일링을 수행하고,
    상기 제 2 상수를 이용한 상기 스케일링을 수행하여 획득한 데이터에 대해, 디스플레이와 상기 동공 사이의 거리에 대응되는 제 2 거리에 기초하여 한 번 이상의 1D 패스트 푸리에 변환을 수행하고,
    상기 제 2 거리에 기초한 상기 한 번 이상의 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 대해, 상기 제 1 상수 및 상기 제 2 상수에 기초하여 결정된 제 3 상수를 이용하여 스케일링을 수행하고,
    상기 제 3 상수를 이용한 상기 스케일링을 수행하여 획득한 데이터를 이용하여 상기 대상체를 디스플레이하도록 상기 디스플레이를 제어하고,
    상기 제 1 상수, 상기 제 2 상수 및 상기 제 3 상수의 곱은 기설정된 값인, 장치.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 프로세서는
    상기 영상 데이터에 대해서, 상기 제 1 방향에 해당하는 가로 방향에 대한 1D 패스트 푸리에 변환을 수행하고,
    상기 영상 데이터에 대해서, 상기 제 2 방향에 해당하는 세로 방향에 대한 1D 패스트 푸리에 변환을 수행하는 장치.
  5. 삭제
  6. 삭제
  7. 제 1 항에 있어서,
    상기 프로세서는
    상기 제 2 상수를 이용한 상기 스케일링을 수행하여 획득한 데이터에 대해서, 가로 방향에 대한 1D 패스트 푸리에 변환을 수행하고, 상기 제 2 상수를 이용한 상기 스케일링을 수행하여 획득한 데이터에 대해서, 세로 방향에 대한 1D 패스트 푸리에 변환을 수행하는 장치.
  8. 삭제
  9. 제 1 항에 있어서,
    상기 프로세서는
    상기 제 2 상수를 이용한 스케일링을 수행하여 획득한 데이터에 대해서 상기 제 1 방향에 대한 1D 패스트 푸리에 변환을 수행하고, 상기 제 1 방향에 대한 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 제 5 상수를 이용하여 스케일링을 수행하고, 상기 제 5 상수를 이용한 스케일링을 수행하여 획득한 데이터에 대해서 제 2 방향에 대한 1D 패스트 푸리에 변환을 수행하는 장치.
  10. 제 1 항에 있어서,
    상기 제 1 상수, 상기 제 2 상수 및 상기 제 3 상수 중 적어도 하나는 상기 영상 데이터를 처리하는 과정에서 이용되는 메모리 크기에 따라 결정되는 장치.
  11. 제 1 항에 있어서,
    상기 프로세서는
    상기 대상체에 대한 3차원 영상인 홀로그램 영상을 디스플레이하도록 상기 디스플레이를 제어하는 장치.
  12. 영상 데이터를 처리하는 방법에 있어서,
    대상체의 뎁스 정보와 색 정보를 포함하는 영상 데이터를 수신하는 단계;
    상기 영상 데이터에 대해서, 동공과 막막 사이의 거리에 대응되는 제 1 거리에 기초하여 제 1 1D 패스트 푸리에 변환을 제 1 방향으로 수행하는 단계;
    상기 제 1 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 대해, 메모리 크기에 기초하여 결정된 제 1 상수를 이용하여 스케일링을 수행하는 단계;
    상기 제 1 상수를 이용하여 상기 스케일링으로 획득된 데이터에 대해, 제 2 1D 패스트 푸리에 변환을 상기 제 1 방향에 수직하는 제 2 방향으로 수행하는 단계;
    상기 제 2 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 대해, 영상의 포커싱에 이용되는 포커스 텀을 이용한 연산을 수행하는 단계;
    상기 포커스 텀을 이용한 상기 연산을 수행하여 획득한 데이터에 대해, 상기 제 1 상수에 기초하여 결정된 제 2 상수를 이용하여 스케일링을 수행하는 단계;
    상기 제 2 상수를 이용한 상기 스케일링을 수행하여 획득한 데이터에 대해, 디스플레이와 상기 동공 사이의 거리에 대응되는 제 2 거리에 기초하여 한 번 이상의 1D 패스트 푸리에 변환을 수행하는 단계;
    상기 제 2 거리에 기초한 상기 한 번 이상의 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 대해, 상기 제 1 상수 및 상기 제 2 상수에 기초하여 결정된 제 3 상수를 이용하여 스케일링을 수행하는 단계;
    상기 제 3 상수를 이용한 상기 스케일링을 수행하여 획득한 데이터를 이용하여 상기 대상체를 디스플레이하도록 상기 디스플레이를 제어하는 단계를 포함하고,
    상기 제 1 상수, 상기 제 2 상수 및 상기 제 3 상수의 곱은 기설정된 값인, 방법.
  13. 삭제
  14. 삭제
  15. 제 12 항에 있어서,
    상기 제 1 1D 패스트 푸리에 변환을 제 1 방향으로 수행하는 단계는
    상기 영상 데이터에 대해서, 상기 제 1 방향에 해당하는 가로 방향에 대한 1D 패스트 푸리에 변환을 수행하는 단계를 포함하고,
    상기 제 2 1D 패스트 푸리에 변환을 상기 제 1 방향에 수직하는 제 2 방향으로 수행하는 단계는
    상기 제 1 상수를 이용하여 상기 스케일링으로 획득된 데이터에 대해서, 상기 제 2 방향에 해당하는 세로 방향에 대한 1D 패스트 푸리에 변환을 수행하는 단계를 포함하는 방법.
  16. 삭제
  17. 제 12 항에 있어서,
    상기 제 2 거리에 기초하여 한 번 이상의 1D 패스트 푸리에 변환을 수행하는 단계는
    상기 제 2 상수를 이용한 상기 스케일링을 수행하여 획득한 데이터에 대해서, 가로 방향에 대한 1D 패스트 푸리에 변환을 수행하는 단계; 및
    상기 제 2 상수를 이용한 상기 스케일링을 수행하여 획득한 데이터에 대해서, 세로 방향에 대한 1D 패스트 푸리에 변환을 수행하는 단계를 포함하는 방법.
  18. 제 12 항에 있어서,
    상기 제 2 거리에 기초하여 한 번 이상의 1D 패스트 푸리에 변환을 수행하는 단계는
    상기 제 2 상수를 이용한 스케일링을 수행하여 획득한 데이터에 대해서, 상기 제 1 방향에 대한 1D 패스트 푸리에 변환을 수행하는 단계;
    상기 제 2 상수를 이용한 스케일링을 수행하여 획득한 데이터에 대해서 상기 제 1 방향에 대한 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 제 5 상수를 이용하여 스케일링을 수행하는 단계; 및
    상기 제 5 상수를 이용한 스케일링을 수행하여 획득한 데이터에 대해서, 상기 제 2 방향에 대한 1D 패스트 푸리에 변환을 수행하는 단계를 포함하는 방법.
  19. 제 12 항에 있어서,
    상기 제 1 상수, 상기 제 2 상수 및 상기 제 3 상수 중 적어도 하나는 상기 영상 데이터를 처리하는 과정에서 이용되는 메모리 크기에 따라 결정되는 방법.
  20. 제 12 항, 제 15 항, 제 17 항 내지 제 19 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 비일시적인(non-transitory) 기록 매체.
KR1020170133473A 2017-10-13 2017-10-13 영상 데이터 처리 방법 및 장치 KR102496376B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170133473A KR102496376B1 (ko) 2017-10-13 2017-10-13 영상 데이터 처리 방법 및 장치
US16/139,969 US10996627B2 (en) 2017-10-13 2018-09-24 Image data processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170133473A KR102496376B1 (ko) 2017-10-13 2017-10-13 영상 데이터 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190041794A KR20190041794A (ko) 2019-04-23
KR102496376B1 true KR102496376B1 (ko) 2023-02-06

Family

ID=66096973

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170133473A KR102496376B1 (ko) 2017-10-13 2017-10-13 영상 데이터 처리 방법 및 장치

Country Status (2)

Country Link
US (1) US10996627B2 (ko)
KR (1) KR102496376B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020121162A (ja) * 2015-03-06 2020-08-13 エシコン エルエルシーＥｔｈｉｃｏｎ ＬＬＣ 測定の安定性要素、クリープ要素、及び粘弾性要素を決定するためのセンサデータの時間依存性評価

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090128619A1 (en) * 2005-06-14 2009-05-21 Light Blue Optics Ltd. Signal processing system for synthesizing holograms
US20090180165A1 (en) * 2005-12-22 2009-07-16 See Real Technologies S.A. Method for the Compensation of an Inhomogeneous Brightness Perception in Holographically Reconstructed Scenes
US20100091995A1 (en) * 2008-10-13 2010-04-15 Microsoft Corporation Simple protocol for tangible security

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004063838A1 (de) * 2004-12-23 2006-07-06 Seereal Technologies Gmbh Verfahren und Einrichtung zum Berechnen computer generierter Videohologramme
JP5096397B2 (ja) 2009-03-11 2012-12-12 日本放送協会 ホログラム記録再生方法およびホログラム記録再生装置
KR101325894B1 (ko) 2009-12-16 2013-11-07 한국전자통신연구원 복소수 상수 곱셈기, 상기 복소수 상수 곱셈기를 포함하는 고속 푸리에 변환 장치 및 방법
KR101366116B1 (ko) 2012-10-31 2014-02-24 전자부품연구원 Ｆｆｔ 병렬 처리 방법, 이를 적용한 데이터 처리 방법 및 홀로그램 복원 장치
KR102464363B1 (ko) 2015-09-30 2022-11-07 삼성전자주식회사 푸리에 변환을 수행하는 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090128619A1 (en) * 2005-06-14 2009-05-21 Light Blue Optics Ltd. Signal processing system for synthesizing holograms
US20090180165A1 (en) * 2005-12-22 2009-07-16 See Real Technologies S.A. Method for the Compensation of an Inhomogeneous Brightness Perception in Holographically Reconstructed Scenes
US20100091995A1 (en) * 2008-10-13 2010-04-15 Microsoft Corporation Simple protocol for tangible security

Also Published As

Publication number Publication date
US10996627B2 (en) 2021-05-04
KR20190041794A (ko) 2019-04-23
US20190113886A1 (en) 2019-04-18

Similar Documents

Publication Publication Date Title
US10088802B2 (en) Method and apparatus for processing holographic image
KR101800929B1 (ko) 홀로그래픽 디스플레이 왜곡 보정 방법 및 장치
US9965836B2 (en) Method and apparatus for performing fourier transformation
EP3270233B1 (en) Method and apparatus for processing three-dimensional image
US20160187850A1 (en) Data format for hologram, and apparatus and method for holographic video system
CN107301458B (zh) 基于强度传输方程的相位优化方法
US10775742B2 (en) Method and apparatus for processing holographic image
EP3139278A1 (en) Apparatus and method of performing fourier transform
KR102496376B1 (ko) 영상 데이터 처리 방법 및 장치
US20230089872A1 (en) Information processing device, information processing method, and information processing program
KR102526651B1 (ko) 영상 데이터 처리 방법 및 장치
US10901367B2 (en) Image data processing method and apparatus
KR102477098B1 (ko) 영상 데이터 처리 방법 및 장치
KR102612045B1 (ko) 디지털 홀로그램 구현 장치의 동작 방법
US20200192286A1 (en) Hologram image representation method and hologram image representation device
KR20200069492A (ko) 세그먼테이션을 이용한 홀로그램 생성 방법
KR20230101592A (ko) 홀로그래픽 디스플레이의 최적화 방법 및 그 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant