KR101602394B1 - 3d 깊이 정보를 기반으로 한 이미지 블러 - Google Patents

3d 깊이 정보를 기반으로 한 이미지 블러 Download PDF

Info

Publication number
KR101602394B1
KR101602394B1 KR1020130077357A KR20130077357A KR101602394B1 KR 101602394 B1 KR101602394 B1 KR 101602394B1 KR 1020130077357 A KR1020130077357 A KR 1020130077357A KR 20130077357 A KR20130077357 A KR 20130077357A KR 101602394 B1 KR101602394 B1 KR 101602394B1
Authority
KR
South Korea
Prior art keywords
image
subject
blur
distance
value
Prior art date
Application number
KR1020130077357A
Other languages
English (en)
Other versions
KR20140004592A (ko
Inventor
패트릭 스콧 캠프벨
초우다리 발리니두 애드수밀리
Original Assignee
고프로, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고프로, 인크. filed Critical 고프로, 인크.
Publication of KR20140004592A publication Critical patent/KR20140004592A/ko
Application granted granted Critical
Publication of KR101602394B1 publication Critical patent/KR101602394B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

블러링은 캡쳐된 이미지를 포스트 프로세싱하는 것에 대하여 시뮬레이션된다. 3D 이미지는 3D 카메라로부터 수신되며, 3D 이미지 내의 깊이 정보는 상기 이미지 내의 피사체의 상대적인 거리를 결정하는 데에 이용된다. 하나의 피사체는 상기 이미지의 목표물로 선택되고, 상기 이미지 내의 추가 피사체가 식별된다. 이미지 블러는, 3D 카메라와 목표 피사체 사이의 거리, 상기 목표 피사체와 상기 추가 피사체 사이의 거리, 가상의 초점 거리 및 가상의 f값을 바탕으로 상기 식별된 추가 피사체에 적용된다.

Description

3D 깊이 정보를 기반으로 한 이미지 블러{Image Blur Based on 3D Depth Information}
본 명세서는 일반적으로 광학 시스템 분야에 관한 것으로, 특히 3D 카메라로부터 획득한 깊이 정보를 바탕으로 블러 필터를 이미지에 적용하여 얕은 피사계심도(depth-of-field) 이미지를 캡쳐하는 광학 시스템의 효과를 시뮬레이션하는 것에 관한 것이다.
디지털 카메라가 각광받기 전에, 대부분의 사진과 영화들은 필름 상의 아날로그 카메라를 통해 캡쳐되었다. 그러한 아날로그 카메라의 센서는 통상적으로 디지털 카메라의 이미지 센서보다 크기때문에, 아날로그 카메라는 필름 상의 피사체에 초점을 적절히 맞추기 위한 큰 렌즈와 광학 시스템을 필요로 하였다. 아날로그 카메라와 관련된 상기 큰 광학 시스템은, 이미지의 일부분에 대해서만 초점이 맞추어지고 이미지의 나머지 부분이 블러(blur)된 경우 얕은 피사계심도(depth-of-field) 이미지를 캡쳐할 수 있다. 이러한 큰 광학 시스템에 자연스럽게 발생하는 블러링은 카메라 작동기에 사용되는데, 보는 사람이 이미지에서 초점이 맞추어진 한 부분에 주의를 갖도록 이끄는 데에 이용될 수 있기 때문이다. 예를 들어, 카메라는 한 장면의 전경에 있는 배우에 초점을 맞추고 배경에 있는 나무는 블러되도록 구성될 수 있다.
디지털 카메라의 이미지 센서에는 필름의 물리적 한계가 적용되지 않으므로, 디지털 센서는 디지털 이미징 기술에 새로운 진보가 이루어짐에 따라 크기 면에서 점차 축소되어가고 있다. 디지털 이미지 센서의 크기 축소와 상기 디지털 이미지 센서의 관련된 광학 시스템에 의해 필름 카메라보다 더욱 휴대용이하고 다용도 기능을 갖는 디지털 카메라가 발전되어 오게 된 반면, 작은 센서 크기로 인해 디지털 카메라는 얕은 피사계심도를 캡쳐할 수 없게 된다. 즉, 작은 디지털 카메라를 갖는 광학 시스템을 구성하여 보는 사람이 이미지의 한 부분에 주의를 갖도록 하는 것과 동일한 예술적인 블러링을 달성하는 것은 어렵다.
상세한 설명, 첨부된 청구항 및 이에 동반된 그림(또는 도면)을 통해 개시된 실시예의 다른 이점과 특징들을 더욱 명백히 하도록 한다. 도면의 간단한 설명은 아래와 같다.
도 1a는 일 실시예에 따라, 3D 카메라를 통해 캡쳐될 수 있는 3D 이미지의 한 예를 나타낸다.
도 1b 내지 도 1d는 일 실시예에 따라, 도 1a의 이미지에 나타난 각각의 피사체를 볼 때 3D 카메라의 센서 평면에 발생하는 거리 오프셋을 나타내는 다이어그램이다.
도 2는 일 실시예에 따라, 3D 이미지에 영화 블러(cinematic blur)를 적용하는 시스템을 나타내는 네트워크 다이어그램이다.
도 3은 일 실시예에 따라, 도 2의 영화 블러 모듈에 대한 상세도를 나타내는 상위 레벨 블록도이다.
도 4는 일 실시예에 따라, 카메라, 목표물, 추가 피사체 사이의 거리를 나타내는 다이어그램이다.
도 5는 일 실시예에 따라 목표물로부터 서로 다른 거리에서의 블러 지수 값을 나타내는 블러 함수에 대한 그래프다.
도 6은 일 실시예에 따라, 3D 카메라로부터 획득한 깊이 정보를 바탕으로 블러된 이미지를 생성하는 프로세스를 나타내는 순서도이다.
도면과 아래 설명은 오직 설명을 통해 바람직한 실시예와 연관된다. 아래의 논의로부터, 청구된 원리에서 벗어나지 않는 범위 내에서 적용될 수 있는 실행가능한 대안들로서, 본 명세서에 개시된 구조와 방법에 대한 대체 실시예들이 쉽게 인지될 수 있음이 이해되어야 한다.
동반된 도면들에 나타난 몇몇의 실시예들, 예시들을 구체화하기 위해 도면부호가 이용될 것이다. 실용적으로 유사하거나 비슷한 도면부호들은 도면 내의 어디에서든지 이용될 수 있으며, 비슷하거나 유사한 기능을 나타낼 수 있다. 상기 도면은 설명의 목적으로만 개시된 시스템(또는 방법)의 실시예들을 도시한다. 관련기술분야의 통상의 기술자는 아래의 설명으로부터 본 명세서에서 나타난 구조 및 방법들의 대체 실시예들이 본 명세서의 사상을 벗어나지 않는 범위내에서 적용될 수 있음을 쉽게 인지할 수 있을 것이다.
<구성의 개요>
큰 광학 시스템이 얕은 피사계심도 이미지를 캡쳐하는 데에 이용될 때 발생하는 블러링(blurring)은 컴퓨팅 시스템에서 구동되는 영화 블러(blur) 모듈에 대한 포스트 프로세싱에 시뮬레이션될 수 있다. 상기 영화 블러 모듈은 3D 카메라를 통해 캡처된 3차원 (3D) 이미지로부터 깊이 정보를 분석하여, 3D 이미지 내의 서로 다른 피사체와 3D 카메라 사이의 거리를 결정한다. 영화 블러 모듈은 상기 이미지 내의 피사체들 중 하나를 상기 이미지의 목표물로서 식별할 수도 있다. 상기 3D 이미지 내의 피사체들 간 거리를 결정한 후에, 피사체와 목표물 간 거리를 바탕으로 각 피사체에 대하여 블러 지수(factor)가 산출되고, 상기 블러 지수는 각 거리의 피사체에 적용되는 블러 필터에 대한 입력 파라미터로서 사용된다. 블러는 카메라의 광학 시스템에서보다 포스트 프로세싱에서 적용되므로, 작은 이미지 센서와 광학 시스템을 갖는 휴대가능한 3D 카메라는 원본 이미지를 캡쳐하는 데에 이용될 수 있다.
3D 카메라는 서로 평행하게 배치되어 동일한 방향을 바라보고 있는 두 개의 독립적인 카메라로 구현될 수 있다. 상기 두 개의 카메라는 근소하게 다른 위치에 배치되며, 카메라를 통해 캡쳐된 두 개의 이미지 내에 있는 피사체의 위치들 사이에는 거리 오프셋이 존재하는데, 거리 오프셋은 피사체와 3D 카메라 사이의 거리를 결정하는 데에 이용될 수 있다. 이러한 경우, (관련기술분야에서 시차 정보로 알려진) 오프셋은 피사체의 깊이 정보를 나타낸다.
일 실시예에서, 영화 블러 모듈은 두 개의 이미지를 수신하고 오프셋 정보를 이용하여 상기 이미지를 일련의 깊이 레이어로 분할하며, 이때 각 레이어는 카메라(깊이 단계로 불리움)로부터 고정된 간격만큼 떨어진 피사체들을 포함한다. 예를 들어, 하나의 레이어는 카메라로부터 2.4미터(meter) 및 2.5미터(meter) 사이에 있는 피사체들을 포함할 수 있다. 또한, 영화 블러 모듈은 패턴 인식과 사용자 입력을 조합하여 이미지의 목표물로서 하나의 피사체를 식별하며, 상기 레이어는 목표물 레이어로서 지정된 목표물을 포함한다.
상기 목표물 레이어가 식별된 후, 블러 지수는 각 레이어에 대하여 산출된다. 블러 지수는 상기 레이어와 목표물 레이어 사이의 거리, 3D 카메라와 목표물 레이어 사이의 거리, 사용자로부터 제공된 가상의 f값(f-number)과 초점 거리를 바탕으로 한다. 이에 따라, 사용자는 얕은 피사계심도 이미지를 캡쳐하는 큰 광학 시스템에 대응하는 가상의 f 값과 초점 거리를 제공할 수 있다는 점에서 유익하다. 블러 지수가 각 레이어에 대하여 산출된 후, 이미지 블러는 블러 지수를 바탕으로 각 레이어에 적용되며, 이어서, 각각의 블러된 이미지 레이어는 단일의 블러된 이미지를 생성하도록 병합된다.
본 명세서에서 이용된 바와 같이, 3D 이미지는 3D 카메라와 상기 이미지 내의 피사체 간의 거리를 결정하는 데에 이용될 수 있는 3D 깊이 정보를 포함하는 이미지를 지칭한다. 마찬가지로, 3D 카메라는 3D 깊이 정보를 캡쳐할 수 있는 카메라이다. 예를 들어, 도 1b내지 도 1d를 참고하면, 3D 카메라는 동일한 방향을 바라보며 이격하여 배치된 두 개의 디지털 카메라로 구현될 수 있다.
본 명세서에서 이용된 피사체(object)는 하나의 이미지의 일부분으로서, 카메라에 의해 캡쳐된 물리적인 개체이다. 피사체들은 카메라로부터 서로 상이한 거리에 위치 및/또는 프레임 내에서 서로 상이한 위치(예를 들어, 좌측, 중앙 또는 우측)에 배치된다. 그리고, 하나의 이미지 내의 하나의 피사체는 상기 이미지의 목표물로서 선택될 수 있다. 본 명세서에서 이용된 바와 같이, 이미지의 목표물은 초점이 맞추어져 있는 것으로 여겨진 피사체이며, 상기 이미지 내의 다른 피사체들은 추가 피사체들이다. 몇몇의 이미지들에서, 목표물은 보는 사람의 주의를 이끌기 위해 선택될 수 있다. 예를 들어, 나무 배경 앞에 있는 여배우를 도시하는 이미지에서, 상기 여배우는 목표물이고 상기 나무는 추가 피사체이다. 또는, 목표물은 오직 예술적인 이유에서 선택될 수 있다. 예를 들어, 앞선 예시에서 여배우가 뻗은 손으로 꽃을 들고 있으며 상기 여배우 신체의 나머지는 상기 여배우의 손의 뒤에 있고 카메라로부터 멀리 떨어져 있는 경우를 가정해보자. 사용자는 의도적으로 목표물인 여배우 보다는 꽃을 선택함으로서 여배우에 대한 주의를 이끌기를 원할 수 있다. 이어서, 사용자는 영화 블러 모듈을 통해 이미지 블러를 꽃이 아닌 여배우에게 적용하여, 보는 사람이 블러된 여배우에게 주의를 갖도록 할 수 있다.
본 명세서에서 이용된 블러 지수(factor)는 이미지 내의 피사체에 적용되는 블러 필터의 강도를 정의하는 파라미터이다. 블러 지수는 도 5에 도시된 블러 함수와 같은 블러 함수를 통해 산출될 수 있다. 목표물과 임의의 추가 피사체들이 카메라로부터 동일한 거리에 위치할 때, 상기 목표물은 1이라는 블러 지수를 가지도록 블러 함수가 구성되는데, 이것은 이미지 블러가 추가되지 않을 수 있다는 것을 의미한다. 이 경우, 추가적으로, 다른 거리에 있는 피사체들은 1보다 큰 블러 지수를 가지도록 블러 함수가 구성되는데, 이것은 얕은 피사계심도 이미지 효과를 시뮬레이션하도록 이미지 블러가 상기 피사체들에 추가될 수 있다는 것을 의미한다.
<피사체 거리를 결정하기 위한 시차 정보의 이용>
도 1a는 일 실시예에 따라 3D 카메라를 통해 캡쳐될 수 있는 예시적인 3D 이미지(100)이다. 좌측의 사이클리스트(104)는 도 1a의 실시예에 대한 이미지(100)의 목표물이다. 또한, 이미지(100)는 두 개의 추가 피사체(102, 106)을 포함한다. 토끼(102)는 이미지(100)의 우측에 있는 사이클리스트(104)보다 앞에 있으며, 나무(106)는 이미지의 중간에 있으며 사이클리스트(104)의 뒷 배경에 있다. 사이클리스트(104)는 이미지(100)의 목표물이기 때문에, 사용자는 사이클리스트(104)에 초점을 맞추는 한편 토끼(102)와 나무(106)가 블러되도록 얕은 피사계심도를 시뮬레이션하는 것을 원할 수 있다.
도 1b 내지 도 1d는 일 실시예에 따라, 도 1a의 3D 이미지(100) 예에 나타난 피사체들(102, 104, 106)을 볼 때, 3D 카메라의 센서 평면들(110A, 110B)에 발생하는 상대적인 측면 거리 오프셋을 나타내는 다이어그램이다. 상기 오프셋은 3D 카메라와 각 피사체들(102, 104, 106) 사이의 거리를 산출하는 데에 추후에 이용될 수 있는 3D 깊이 정보를 나타내며, 두 개의 센서(110A, 110B)에 의해 획득된 두 개의 이미지의 조합은 단일의 3D 이미지를 나타낸다.
예시적인 3D 카메라는 각 이미지의 좌측에 도시된다. 도 1b 내지 도 1d에 도시된 예시적인 3D 카메라는 두 개의 독립적인 카메라(왼쪽 카메라(108A)와 오른쪽 카메라(108B))로 구현되며, 각 카메라(108A, 108B)는 자체적인 이미지 센서(110A, 110B)와 자체적인 렌즈(108A, 108B)를 포함한다. 추가 렌즈나 조리개와 같은 추가 광학 컴포넌트는 간결함을 위해 도 1b 내지 도 1d에서 생략되어 있다. 다른 실시예에서, 3D 카메라는 두 개 이상의 렌즈를 갖는 단일의 카메라(예를 들어, 스테레오 카메라)를 포함할 수 있다.
설명된 실시예에서, 두 개의 카메라(112A, 112B)는 동일한 수직의 높이에 나란히 위치하며, 도 1b 내지 도 1d는 카메라들(112A, 112B)과 피사체들(102, 104, 106)의 평면도를 나타낸다. 다른 실시예에서, 카메라들(112A, 112B)은 서로 다른 방향을 바라보도록 배치될 수 있다. 예를 들어, 제 1 카메라(112A)는 제 2 카메라(112B) 위에 배치되거나, 두 개의 카메라(112A, 112B)가 대각선으로 배열될 수도 있다. 카메라들(112A, 112B)의 방향은 시간에 따라 달라질 수도 있다. 예를 들어, 두 개의 카메라(112A, 112B)가 스노우보더의 헬멧에 장착되는 경우, 카메라들(112A, 112B)의 방향은 스노우보더가 다양한 묘기와 속임수를 수행함에 따라 빠르게 달라질 수 있다. 카메라들(112A, 112B)의 방향은 두 개의 카메라(112A, 112B)가 동일한 방향을 가리키고 카메라들 사이의 거리를 알고 있는 한 3D 깊이 정보를 정확하게 캡쳐하기 위한 능력에 영향을 미치지 않는다.
도 1b는 도 1a의 이미지(100)에 도시된 토끼(102)에 대한 오프셋을 나타낸다. 토끼(102)는 이미지(100)의 우측에 있기 때문에, 우측 카메라(112B)의 바로 앞과 좌측 카메라(112A)의 우측에 위치한다. 그러므로, 토끼(102)는 우측 센서(110B)의 중앙과 좌측 센서(110A)의 왼쪽 가장자리에 나타나며, 이것은 토끼(102)의 오프셋이 이미지 센서(110A, 110B)의 폭의 절반에 걸쳐있음을 의미한다.
도 1c는 도 1a의 이미지(100) 내에 있는 사이클리스트(104)에 대한 오프셋을 나타낸다. 사이클리스트(104)는 이미지(100)의 좌측에 있으므로, 좌측 카메라(112A)의 앞과 우측 카메라(112B)의 왼쪽에 있게 된다. 그 결과, 사이클리스트(104)는 좌측 센서(110A)의 중앙과 우측 센서(110B의 우측에서 나타난다. 사이클리스트(104)는 카메라(112A, 112B)로부터 토끼(102)보다 매우 멀리 떨어져 있으므로, 우측과 좌측 센서(110A, 110B) 상의 사이클리스트 위치 사이의 오프셋은 토끼(102)의 오프셋보다 작다.
도 1D는 나무(106)에 대한 오프셋을 나타낸 것이다. 나무(106)는 이미지(100)의 중앙에 있으므로, 좌측 센서(110A)의 중앙에 대하여 근소하게 좌측으로 벗어난 영역과 우측 센서(110B)의 중앙에 대하여 근소하게 우측으로 벗어난 영역에 나타난다. 나무는 토끼(102)와 사이클리스트(104)보다 카메라(112A, 112B)로부터 멀리 떨어져 있기 때문에, 두 개의 이미지 센서(110A, 110B)에서의 나무의 위치들 간의 오프셋은 두 개의 가까운 피사체(102, 104)에 대한 오프셋 보다 작다.
도 1A 내지 도 1D를 참고하여 설명한 예시는 단지 설명을 위한 것으로서, 세 개의 피사체(102, 104, 106)에 대한 거리 오프셋을 강조하기 위하여 대응하는 도면들에서 특정한 관점이 과장되어 표현되어 있다. 대부분의 예시들에서, 두 개의 카메라(108A, 108B) 사이의 거리는 3D 이미지에 캡쳐된 실제 피사체들의 크기보다 더욱 작다. 그러나, 피사체의 거리와 이미지 센서에 대한 상기 피사체의 거리 오프셋 사이의 관계에 관해 본 명세서에서 설명된 일반적인 원리는 3D 카메라 시스템과 캡쳐된 피사체의 상대적인 크기와 무관하게 적용가능한 것이다.
일반적으로, 3D 카메라의 센서들에 대한 피사체의 위치들 간의 오프셋은 카메라와 피사체 사이의 거리가 증가함에 따라 감소하므로, 상기 오프셋은 카메라와 피사체 사이의 거리를 결정하는 데에 이용될 수 있다. 이러한 거리를 피사체 거리라고 지칭한다. 그러므로, (시차 정보라고 종래에 알려진) 오프셋은 3D 카메라 시스템에 의해 수집될 수 있는 3D 깊이 정보에 대한 하나의 예시이다. 피사체 거리를 결정하기 위해 시차 정보를 이용하는 프로세스는 레인징(ranging)이라고 지칭되며, 도 3의 거리 산출기(304)를 참고하여 구체적으로 설명된다. 또한, 레인징 프로세스는 “레인징 장치 또는 레인징 모듈을 이용하는 레인징 장치, 레인징 모듈 및 이미지 캡쳐링 장치(Ranging Device and Ranging Module and Image-Capturing Device using the Ranging Device or the Ranging Module)”이라는 제목의 미국공개특허 제 2011/0140086호에 설명되어 있으며, 본 명세서에서 전체로서 참조되어 포함된다. 하나의 이미지에 있는 피사체들 간의 거리와 피사체들과 카메라 간의 거리를 결정하기 위한 다른 적절한 방법들(예를 들어, 포커스 거리, 레이저 레인징 등)이 이용될 수 있으며, 본 명세서의 피사체 거리와 오프셋에 대한 나머지 설명들은 단순함을 위해 시차 정보를 활용하기 위한 실시예들에 한정될 것이다.
<예시적인 컴퓨팅 환경>
도 2는 일 실시예에 따라 3D 이미지(100)에 영화 블러를 적용하는 시스템(200)을 나타내는 네트워크 다이어그램이다. 시스템(200)은 두 개의 카메라(202A, 202B), 네트워크(216) 및 컴퓨팅 시스템(218)을 포함한다. 도 1b 내지 도 1d를 참조하여 설명한 바와 같이, 두 개의 카메라(202A, 202B)는 두 개의 서로 상이한 각도에서 이미지를 캡쳐함으로써 이미지 내의 피사체에 대한 시차 정보를 캡쳐하는 데에 이용된다. 카메라(202A, 202B)는 이격거리만큼 이격하여 동일한 방향을 바라보도록 서로 평행하게 배치되어 있다. 카메라(202A, 202B)의 평행 배치를 유지하기 위해, 카메라는 서로 상대적인 움직임이 일어나지 않도록 하는 단단한 기계적인 하우징 내에 배치될 수 있다.
각 카메라(202)는 광학 시스템(204), 이미지 센서(206), 프로세서(208), 메모리(210), 하나 이상의 사용자 입력 장치(212) 및 네트워크 모듈(214)를 포함한다. 또한, 각 카메라(202)는 디스플레이, 인공 조명장치(예를 들어, 플래시) 또는 삼각대와 같은 추가 컴포넌트를 포함할 수 있으나, 이러한 컴포넌트는 시스템(200)의 블러링 기능에 중요하지는 않으므로 간결함을 위해 도 2에서는 생략되어 있다.
광학 시스템(204)은 이미지 센서에 하나의 이미지를 집중시키기 위한 광학 컴포넌트를 포함한다. 광학 컴포넌트는 예를 들어, 입사동(an entrance pupil)의 직경을 변화시키는 조리개와 초점 거리를 변화시키는 하나 이상의 이동가능 렌즈를 포함한다. 입사동의 직경, 초점 거리 및 광학 시스템(204)의 다른 특징들은 카메라의 다른 컴포넌트들로부터 전자 신호에 의해 제어되거나, 광학 시스템의 기계적 제어와 함께 사용자의 물리적 상호작용에 의해 제어될 수 있다.
일반적으로, 임의의 광학 시스템의 구성은 카메라(202A, 202B)의 광학 시스템(204)을 포함하며, 두 가지 파라미터에 의해 특징될 수 있다 : 초점 거리 및 f 값. 초점 거리는 앞선 내용과 본 설명의 나머지 내용들에서 이용되는 것으로서, 조준된 광선(즉, 본질적으로 렌즈로부터 무한히 떨어진 피사체로부터의 광선)에 대한 렌즈의 초점과 렌즈 사이의 거리이다. 본 명세서에서 이용된 f 값(f-number)은 초점 거리와 입사동의 직경 사이의 비율이다. 즉, f# = f / D에서 f는 초점 거리이고, D는 입사동의 직경이며, f#은 f 값이다. 상기 방정식을 통해 f 값은 입사동의 직경에 역비례함을 알 수 있다. 즉, 작은 f값은 큰 입사동에 대응한다. 종래에 공지된 바와 같이, 카메라에 의해 캡쳐된 피사계심도는 카메라의 광학 시스템의 f 값을 줄이거나(즉, 입사동의 사이즈를 증가시키거나) 렌즈의 초점 거리를 증가시킴으로써 얕아 질 수 있다.
광학 시스템(204)은 초점 거리와 f 값에 대한 범위를 제한하는 기계적 한계를 가진다. 예를 들어, 광학 시스템(204)의 축방향 길이는 광학 시스템(204)의 초점 거리에 대한 최대값과 최소값을 설정할 수 있다. 마찬가지로, 조리개의 설계는 최대 및 최소 입사동 직경을 설정할 수 있으며, 최대 및 최소 입사동 직경은 f 값에 대한 광학 시스템의 범위를 제한할 수 있다. 그리고, 카메라(202)의 시야는 광학 시스템(204)의 초점 거리와 이미지 센서(206)의 폭에 따라 결정된다.
이미지 센서(206)는 상기 광학 이미지를 광학 시스템(204)으로부터 전자 이미지로 변환시키는 전자 컴포넌트이다. 이미지 블러는 포스트 프로세싱에 대하여 부가되기 때문에, 얕은 피사계심도 이미지를 캡쳐할 수 있는 이미지 센서(206)와 큰 광학 시스템(204)에 대한 필요를 줄일 수 있다. 그러므로, 소형화된 광학 시스템(204)와 이미지 센서(206)를 포함하는 한 쌍의 소형 휴대용 카메라(202A, 202B)는 영화 블러 모듈(230)에 의해 사용되는 시차 정보를 캡쳐하는 데에 이용될 수 있다.
프로세서(208)는 메모리(210)에 저장된 컴퓨터 판독가능 명령들을 실행하는 하드웨어 장치이다. 프로세서(208)는 실행된 명령들을 바탕으로 카메라의 다른 컴포넌트들을 제어한다. 예를 들어, 프로세서(208)는 광학 시스템(204)으로 전자 제어 신호를 전송하거나 네트워크(216)를 통해 컴퓨팅 시스템(218)이나 일부 다른 연결 장치에 데이터를 전송하기 위하여 네트워크 모듈(214)를 이용할 수 있다.
메모리(210)는 프로세서(208)에 의해 판독될 수 있는 비일시적(non-transitory) 저장 매체이다. 메모리(210)는 휘발성 메모리(예를 들어, RAM)과 비휘발성 메모리(예를 들어, 플래쉬 메모리, 하드 디스크 등)의 조합을 포함할 수 있으며, 다른 것들 중에서도, 이미지 센서(208)에 의해 캡쳐된 이미지 데이터와 프로세서(208)에 의해 실행될 컴퓨터 판독가능 명령들을 저장하는 데에 이용된다.
사용자 입력 장치(212)는 사용자가 카메라의 전자적 기능과 상호작용하도록 한다. 사용자 입력 장치(212)는 버튼, 다이얼 또는 터치스크린과 같은 물리적이거나 전자적 입력 장치들에 대한 임의의 조합을 포함할 수 있다. 사용자 입력 장치(212)는 예를 들어, 비디오를 기록하거나 정지 이미지를 캡쳐하는 외부 버튼, 탭-초점 맞추기(tap-to-focus) 기능을 가진 터치스크린과 카메라(202)의 메뉴 계층을 검색하는 다이얼/버튼 조합을 포함한다. 그리고, 사용자 입력 장치(212)는 카메라와 무선 통신하는 원격 제어기와 같은 원격 사용자 입력 장치를 포함할 수 있다.
네트워크 모듈(214)은 네트워크(216)을 통해 데이터를 전송하고 수신하여, 컴퓨팅 시스템(218)이나 다른 카메라(202)와 같은 다른 장치들과 통신한다. 특히, 네트워크 모듈(214)은 메모리(210)에 저장된 이미지 데이터를 프로세스될 컴퓨팅 시스템(218)에 전달하는 데에 이용될 수 있다. 또는, 네트워크 모듈(214)은 이미지 센서(206)에 의해 캡쳐된 이미지 데이터를 컴퓨팅 시스템에 실시간으로 전송하도록(이미지 데이터가 캡쳐되자마자 전송되도록) 구성될 수 있다.
다른 실시예에서, 시스템(200)은 카메라들(202)을 추가로 포함하거나 더 적은 개수로 포함한다. 예를 들어, 하나의 지점에 제 3 카메라가 추가될 수 있으며, 상기 제 3 카메라는 나머지 두 개의 카메라의 사각지대를 촬영할 수 있다. 또는, 두 개 이상의 광학 시스템(204)과 이미지 센서(206)를 포함하는 단일 카메라(202) (예를 들어, 스테레오 카메라)는 캡쳐된 이미지들 내에서 피사체들의 거리를 결정하는 데에 이용되는 시차 정보를 캡쳐하기 위해 이용될 수 있다. 이런 경우, 단일 카메라(202)의 하우징은 두 개의 광학 시스템(204)과 이미지 센서(206)가 평행하게 배치되어 동일한 방향을 바라보도록 구성될 수 있다.
네트워크(206)는 카메라(202)와 컴퓨팅 시스템(218)을 포함하는 연결 장치들이 서로 데이터를 교환할 수 있게 한다. 네트워크(206)는 무선 또는 유선 기술의 조합을 포함하며 USB, IEEE 1394, 이더넷(Ethernet), 802.11 또는 블루투스와 같은 다양한 연결 표준과 프로토콜을 이용할 수 있다. 또한, 네트워크(206)는 인터넷을 이용하여 연결 장치들 간에 데이터를 교환하며, CDMA, 3G, 4G 또는 디지털 서브스크라이버 라인(DSL : digital subscriber line)과 같은 링크 기술들을 포함할 수 있다. 대체 실시예에서, 네트워크(216)와 네트워크 모듈(214, 224)은 생략되고, 이미지 데이터는 카메라(202)에서 컴퓨터(218)로 비일시적인 컴퓨터 판독가능 매체(예를 들어, 떼어낼 수 있는 플래쉬 메모리 카드)를 물리적으로 전달함으로써 카메라(202)에서 컴퓨팅 시스템(218)으로 전달된다.
도 2는 또한 카메라(202)로부터 이미지 데이터를 수신하고 프로세스하는 컴퓨팅 시스템(218)의 상세도를 포함한다. 컴퓨팅 시스템(218)은 다른 컴포넌트들 중에서 프로세서(220), 메모리(222), 네트워크 모듈(224), 사용자 입력 장치들(226), 디스플레이(228) 및 영화 블러 모듈(230)을 포함한다. 전체적으로, 컴퓨팅 시스템(218)은 이러한 컴포넌트들(220, 222, 224, 226, 228, 230)을 포함하는 임의의 전자 장치가 될 수 있으며, 예를 들어, 데스크탑 컴퓨터, 휴대용 컴퓨터(즉, 랩탑), 태블릿 컴퓨터, 스마트폰 또는 또 다른 카메라가 될 수 있다.
카메라(202)의 프로세서(208)와 마찬가지로, 컴퓨팅 시스템의 프로세서(220)는 컴퓨터 판독가능 명령들을 실행하는 하드웨어 장치이다. 오직 하나의 프로세서(220)만이 도시되어 있으나, 컴퓨팅 시스템(218)은 서로 상이한 역할을 수행하는 복수 개의 프로세서(220)를 포함하거나, 동일한 역할을 수행하도록 병렬적으로 동작하는 복수 개의 프로세서(220)을 포함할 수도 있다.
메모리(222)는 프로세서(220)에 의해 판독가능한 비일시적인 저장 매체이다. 카메라(202)의 메모리(210)와 마찬가지로, 컴퓨팅 시스템(218)의 메모리(222)는 휘발성 메모리(예를 들어, RAM)와 비휘발성 메모리(예를 들어, SSD(solid state drive), 하드 디스크 드라이브, 광학 디스크, 떼어질 수 있는 플래쉬 메모리 등)의 조합을 포함할 수 있다.
네트워크 모듈(224)은 네트워크(216)를 통해 카메라(202)를 포함하는 다른 연결 장치들과 통신한다. 네트워크 모듈(224)은 카메라로부터 이미지 데이터를 수신하는 데에 이용될 수 있다. 이미지 데이터를 수신하자마자, 네트워크 모듈(224)은 나중에 액세스될 메모리(222)에 상기 이미지 데이터를 저장하거나, 상기 모듈(224)은 상기 데이터를 영화 블러 모듈(230)에 바로 전송할 수 있다. 사용자 입력 장치(226)는 컴퓨팅 시스템(218)의 사용자로부터 입력을 수신한다. 사용자 입력 장치(226)는 예를 들어, 키보드, 마우스 또는 터치스크린을 포함할 수 있다. 디스플레이(228)는 사용자에게 정보를 보여주는 시각 출력 장치(예를 들어, 모니터)이다. 특히, 디스플레이(228)는 카메라(202)로부터 수신한 상기 이미지들과 상기 영화 블러 모듈(230)에 의해 생성된 블러된 이미지들을 표시할 수 있다.
영화 블러 모듈(230)은 메모리(222)나 네트워크 모듈(224)로부터 3D 이미지 데이터를 수신하여, 얕은 피사계심도를 갖는 이미지를 캡쳐하는 큰 광학 시스템의 효과와 비슷한 부분적으로 블러된 이미지를 생성한다. 상위 레벨에서, 영화 블러 모듈은 3D 깊이 정보(예를 들어, 시차 정보)를 이용하여 목표물과 상기 이미지 내의 추가 피사체 사이의 거리(소위 “디포커스(defocus) 거리”라고 함)를 결정하며, 상기 관련된 디포커스 거리들을 바탕으로 블러 필터에 추가 피사체들을 적용한다. 상기 영화 블러 모듈(230)의 기능은 도 3을 참고하여 더욱 상세히 설명하도록 한다. 영화 블러 모듈(230)이 컴퓨팅 시스템(218) 안에서 구분된느 개체로서 도시되었으나, 상기 모듈(230)은 메모리에 저장된 컴퓨터 판독가능 명령들, 독립적인 하드웨어 모듈, 프로세서 내에 실장된 하드웨어 모듈 또는 상기 명령들과 모듈들의 조합들로 구현될 수 있다.
도 3은 일실시예에 따라, 도 2의 영화 블러 모듈(230)에 대한 상세도를 나타내는 상위 레벨 블록도이다. 영화 블러 모듈(230)은 목표물 식별 모듈(302), 거리 산출기(304), 레이어 생성기(306), 블러 지수 산출기(308) 및 블러 필터(310)을 포함한다. 목표물 식별 모듈(302)는 패턴 인식 모듈(302A)과 사용자 선택 모듈(302B)를 포함하며, 블러 필터(310)는 블러 지점 생성기(310A), 컨볼루션 모듈(310B), 투명도 모듈(310C) 및 레이어 합성 모듈(310D)를 포함한다.
목표물 식별 모듈(302)은 3D 이미지를 수신하고, 다양한 방법을 이용하여 상기 이미지 내의 하나의 피사체를 상기 이미지의 목표물로 식별한다. 패턴 인식 모듈(302A)은 보는 사람이 관심가질 수 있는 피사체를 식별하기 위해 패턴 인식 알고리즘을 이용한다. 예를 들어, 패턴 인식 모듈(302A)은 도 1a의 예시적인 이미지(100) 내의 사이클리스트(104)의 얼굴 특징을 식별하기 위해 얼굴 인식 알고리즘을 이용할 수 있다.
사용자 선택 모듈(302B)은 사용자가 수동적으로 하나의 피사체를 상기 이미지의 목표물로서 선택할 수 있게 한다. 일 실시예에서, 사용자 선택 모듈(302B)은 디스플레이(228) 내의 이미지를 표시하여 사용자가 사용자 입력 장치(226)을 이용하여 표시된 이미지 내에 있는 하나의 피사체를 목표물로 식별하도록 할 수 있다. 예를 들어, 패턴 인식 모듈(302A)이 사이클리스트(104)의 얼굴 특징을 인식할 수 없는 경우, 사용자는 사용자 입력 장치(226)을 이용하여 사이클리스트(104)를 선택할 수 있다. 사용자 선택 모듈(302B)은 사용자 입력을 프로세싱하여 사이클리스트(104)를 목표물로 지정한다.
패턴 인식 모듈(302A)과 사용자 선택 모듈(302B)은 3D 이미지의 시퀀스(예를 들어, 3D 비디오의 프레임들) 내에 목표물을 식별하도록 동작한다. 예를 들어, 사용자 선택 모듈(302B)은 (예를 들어, 고정된 1초 간격마다, 모든 키프레임마다 등의) 비디오의 특정한 프레임 내에 있는 목표물을 수동적으로 선택하도록 이용되는 반면, 패턴 인식 모듈(302A)은 사용자가 선택한 목표물이 있는 각 프레임에 따라서 사용자가 선택한 비디오 프레임 내의 목표물과 유사한 패턴을 즉시 식별하는 데에 이용된다.
또는, 모듈들(302A, 302B) 중의 하나는 생략될 수 있으며, 목표물 식별 모듈(302)은 영화 블러 모듈(230)의 목표물 식별 기능을 수행하기 위해 단일 모듈에 독점적으로 의존될 수 있다. 예를 들어, 목표물 식별 모듈(302)은 패턴 인식 모듈(302A)가 모든 이미지에 대하여 이용되도록 구성될 수 있다. 이러한 구성은 어떠한 중요한 사용자 입력없이도 매우 많은 이미지에 대한 목표물 식별 프로세스를 수행할 수 있다. 또는, 사용자 선택 모듈(302B)은 각 이미지의 목표물을 수동적으로 식별하는 데에 이용될 수 있다. 이러한 대체 구성은 사용자가 작은 개수의 이미지들을 캡쳐만하거나, 영화 블러 모듈이 제한된 컴퓨팅 자원을 가지고 컴퓨팅 시스템(218) 상에서 동작하는 경우에 유익할 수 있다. 그리고, 목표물 식별 모듈(302)은 패턴 인식 모듈(302A)과 사용자 선택 모듈(302B)를 대신하거나 상기 모듈들(302A, 302B)에 부가적으로 다른 모듈들을 포함할 수도 있다.
거리 산출기(304)는 3D 이미지 내의 3D 깊이 정보를 분석하여 3D 이미지 내의 피사체들과 3D 카메라 사이의 거리(즉, 피사체 거리)를 결정한다. 도 1a 내지 도 1d를 참고하여 설명한 바와 같이, 피사체 거리를 결정하기 위하여 3D 깊이 정보를 분석하는 프로세스는 “레인징(ranging)”이라고 불리운다. 일 실시예에서, 거리 산출기(304)는 두 개이 카메라(202A, 202B)로부터 두 개의 이미지를 수신하고, 이미지들의 시차정보를 분석함으로써 이미지들을 레인징한다. 특히, 거리 산출기(304)는 방정식
Figure 112013059580814-pat00001
를 이용하는데, 상기 방정식에서
Figure 112013059580814-pat00002
는 두 개의 카메라(202A, 202B) 사이의 이격 거리이고, f는 카메라의 광학 시스템(204A, 204B)의 초점 거리이고, s는 두 개의 이미지 센서(206A, 206B)에 대한 피사체의 위치들 사이의 오프셋(예를 들어 픽셀들 내의 오프셋)이며, d는 이미지 센서(206A, 206B)에 대한 하나의 픽셀의 폭이고, V는 3D 카메라와 레인징된 피사체 사이의 거리이다.
목표물 식별 모듈(302)이 이미지의 목표물을 식별한 후에, 거리 산출기(304)는 목표물과 각 추가 피사체 사이의 거리를 결정하는 데에 이용될 수도 있다. 이러한 거리는 “디포커스 거리”로 불리우며, 추가 피사체의 피사체 거리에서 목표물 거리(즉, 3D 카메라와 목표물 간의 거리 또는 목표물로서 식별된 피사체에 대한 피사체 거리)를 차감함으로써 산출될 수 있다. 디포커스 거리는 목표물 앞의 추가 피사체(즉, 3D 카메라와 목표물 사이의 추가 피사체)에 대하여 음이며(negative), 목표물 뒤의 추가 피사체(즉, 목표물보다 3D 카메라로부터 멀리 떨어진 추가 피사체)에 대하여는 양(positive)이다. 추가 피사체에 대한 디포커스 거리는 블러 지수 산출기(308)에서 이용되어, 추가 피사체에 대한 블러 지수를 산출한다.
레이어 생성기(306)는 3D 이미지를 일련의 깊이 단계들로 분할하고, 각 깊이 단계 내의 피사체들을 포함하는 하나의 레이어를 생성한다. 레이어 생성기(306)는 거리 산출기(304)에 의해 생성된 피사체 거리들을 이용하여 각 깊이 단계의 내용들을 결정한다. 예를 들어, 레이어 생성기(306)는 2.4미터와 2.5미터 사이의 피사체 거리를 갖는 모든 피사체들을 제 1 레이어에 할당하며, 2.5 미터와 2.6 미터 사이의 피사체 거리를 갖는 피사체들을 제 2 레이어에 할당하는 등의 동작을 수행한다. 이러한 경우, 제 1 레이어는 2.4 - 2.5 미터의 깊이 단계에 대응하며, 제 2 레이어는 2.5 - 2.6 미터의 깊이 단계에 대응한다. 하나의 레이어를 생성하기 위해, 레이어 생성기(306)는 투명 배경부터 시작하여 해당 깊이 단계로부터의 피사체들을 투명 배경의 상단에 배치한다. 이어서, 상기 피사체들을 포함하는 레이어의 영역은 불투명해지는 반면, 어떠한 피사체도 포함하지 않는 레이어의 영역은 투명하게 남는다.
레이어가 생성된 후, 블러 지수 산출기(308)와 블러 필터(310)는 각 레이어에 이미지 블러를 적용하도록 동작한다. 레이어 생성기(306)는 목표물에 대응하는 레이어를 목표물 레이어로서 식별할 수도 있으며, 블러 지수 산출기(308)와 블러 필터(310)는 이미지 블러를 목표물 레이어에 적용하지 않도록 구성될 수 있다.
레이어 생성기(306)는 레이어들에 대한 깊이 단계들의 크기가 3D 이미지의 내용에 따라 변화하도록 구성될 수 있다. 예를 들어, 도 1a의 예시 이미지(100)에 있는 토끼(102)가 2.5미터의 피사체 거리를 가지며 잔디로 둘러싸여 있다고 가정해보자. 토끼(102)를 포함하는 깊이 단계들은 주변 잔디들에 대한 깊이 단계들이 더욱 커지는(예를 들어, 2.35미터 내지 2.45미터와 2.55미터 내지 2.65미터) 반면 작아질 수 있다(예를 들어, 2.45미터 내지 2.5미터와 2.5미터 내지 2.55미터). 깊이 단계들의 크기를 변화시키는 것은 보는 사람의 주의를 이끌 수 있는 피사체에 대한 실제적인 블러 효과를 여전히 일으키면서, 리소스 사용의 절감을 이끌 수 있다.
추가적으로, 레이어 생성기(306)는 어떠한 피사체도 포함하지 않는 레이어들(예를 들어, 완전히 투명한 레이어들)을 생략할 수도 있다. 예를 들어, 카메라(202A, 202B)가 제 1 스카이다이버의 헬멧에 장착되어 있다고 가정하면, 제 1 스카이다이버는 제 2 스카이다이버의 전경과 비행기의 배경으로 구성된 이미지를 캡쳐한다. 제 2 스카이다이버가 목표물로 선택된 경우, 비행기는 상기 이미지 내에서 오직 하나의 추가 피사체가 될 수 있다. 이러한 경우, 카메라와 제 2 스카이다이버 사이, 그리고 제 2 스카이다이버와 비행기 사이의 비어있는 하늘에 대한 깊이 단계들은 완전하게 비어 있을 수 있으므로, 대응하는 레이어들은 어떠한 의미있는 이미지 데이터를 포함하지 않을 수 있다. 이러한 경우, 레이어 생성기(306)는 단지 블러 지수 산출기(308)와 블러 필터(310)의 리소스 사용을 줄이기 위해 해당하는 레이어들을 생략할 수 있다.
블러 지수 산출기(308)는 레이어 생성기(306)에 의해 생성된 각 이미지 레이어에 대한 블러 지수를 산출한다. 블러 지수는 이미지 레이어에 적용될 블러 필터의 강도를 결정한다. 일 실시예에서, 이미지 레이어에 대한 블러 지수는 다음과 같은 방정식으로 주어진다.
Figure 112013059580814-pat00003
상기 방정식에서, f는 초점 거리이며 f#은 가상의 광학 시스템(카메라(202A, 202B)의 광학 시스템(204A, 204B)가 아님)에 대한 f값이며, V는 목표물 거리이고, ΔV는 이미지 레이어와 연관된 깊이 단계의 디포커스 거리이고, β는 블러 지수이다. 가상의 광학 시스템에 대한 초점 거리와 f값은 사용자에 의해 선택될 수 있으며, 사용자는 선택된 피사계심도를 갖는 이미지를 생산하는 초점 거리와 f값을 선택하는 것이 유익해 진다. 목표물 거리와 디포커스 거리는 거리 산출기(304)에 의해 산출된다. 이러한 방정식은 광학 시스템의 동작을 모델링한다. 즉, 블러 지수는 디포커스 거리에 위치해 있는 포인트 소스가 특정한 초점 거리와 f값을 가진 가상의 광학 시스템을 통해 보여지는 경우 이미지 센서에 나타날 수 있는 블러 지점의 크기를 나타낸다. 그러므로, 이러한 방정식은 카메라(202A, 202B)의 광학 시스템(204A, 204B)과 동일한 초점 거리와 f값 한계에 의해 제약되지 않는 가상의 광학 시스템의 효과를 시뮬레이션하는 데에 유익하게 이용될 수 있다.
블러 필터(310)는 레이어 생성기(306)로부터 이미지 레이어를 수신하며 레이어의 블러 지수를 바탕으로 블러 필터를 이미지 레이어에 적용한다. 블러 지점 생성기(310A)는 블러 지점을 생성하기 위해 블러 지수를 이용한다. 블러 지수 산출기(308)를 참고하여 앞서 설명한 바와 같이, 블러 지점은, 사용자에 의해 특정된 초점 거리와 f값을 갖도록 구성된 광학 시스템이 이미지의 일부분을 차지하는 포인트 소스를 보는 데에 이용되고 이미지 레이어에 대응하는 디포커스 거리에 위치하는 경우에, 이미지 센서(206A, 206B)에 나타날 수 있는 이미지의 일부분이다. 블러 지점 생성기(310A)는 블러 지수가 1의 값을 갖는 경우에 임펄스 함수를 생성하도록 구성될 수 있다. 이러한 경우, 1이라는 값의 블러 지수는 블러 필터가 상기 레이어에 임의의 이미지 블러를 추가하지 않게 할 수 있다.
일 실시예에서, 블러 지점 생성기(310A)는 종래에 알려진 에어리 디스크(Airy disc) 형태로 근사화되는 가우시안 함수를 생성한다. 또 다른 실시예에서, 블러 지점 생성기(310A)는 균일한 디스크로 구성되는 블러 지점을 생선한다. 또 다른 실시예에서, 블러 지점 생성기(310A)는 비원형 조리개 효과를 시뮬레이션하도록 정오각형과 같은 비원형을 생성하도록 구성될 수 있다. 그러나, 블러 지점의 직경은 블러 지점의 형태와 무관하게 블러 지수의 값에 정비례한다. 즉, 블러 지수의 상승은 블러 지점 직경의 상승을 일으키며, 이것은 블러 지점이 가우시안 함수, 균일한 디스크 또는 오각형인지 여부와 무관하다.
컨볼루션 모델(310B)은 블러된 이미지 레이어를 생산하기 위해 이미지 레이어와 블러 지점을 컨볼루션한다(convolve). 전술한 바와 같이, 이미지 레이어는 피사체들을 포함하는 영역과 어떠한 피사체도 포함하지 않는 투명한 영역을 포함한다. 따라서, 상기 블러된 이미지 레이어는 블러된 피사체들을 포함하는 블러된 영역과 투명한 영역을 포함한다. 컨볼루션 동작은 이미지 블러가 이미지 레이어의 투명한 영역으로 확산시키도록 할 수 있다. 이어서, 블러된 이미지 레이어 내의 블러된 영역은 피사체들을 포함하는 블러되지 않은 이미지 레이어 내의 영역보다 지역 내에서 근소하게 더욱 클 수 있으며, 블러된 이미지 레이어 내의 투명한 영역은 블러되지 않은 이미지 레이어의 투명한 영역보다 지역 내에서 근소하게 더욱 작을 수 있다.
블러 지점이 임펄스 함수인 경우(예를 들어, 블러 지수가 1인 경우), 컨볼루션 동작은 이미지 레이어에 어떠한 블러도 부가하지 않는다. 컴퓨팅 시스템에 리소스 부하를 줄이기 위해, 컨볼루션 모듈(310B)은 블러 지점이 임펄스 함수인 경우에 컨볼루션 동작을 수행하지 않도록 구성될수 있다. 리소스 부하를 더욱 줄이기 위해, 컨볼루션 모듈(310B)은 피사체를 포함하는 이미지 레이어의 영역과 블러 지점을 컨볼루션만하도록 구성될 수도 있다. 예를 들어, 3D 이미지에 대한 하나의 이미지 레이어가 오로지 스카이다이버로 구성되는 경우, 컨볼루션 모듈(310B)는 스카이다이버를 포함하는 상기 이미지 레이어의 영역과 블러지점을 컨볼루션하고 상기 레이어의 투명한 영역을 생략할 수 있다. 컨볼루션 모듈(310B)에 의해 수행되는 2차원 컨볼루션 동작은 종래기술로서 잘 알려진 것이므로, 컨볼루션 동작의 구체적인 설명은 간결함을 위해 생략하도록 한다.
투명도 모듈(310C)은 블러된 이미지 레이어의 블러된 피사체가 다른 이미지 레이어의 피사체를 차단하는 것을 막도록 블러된 이미지 레이어의 투명도를 변화시킨다. 실제적인 이미지 블러를 생성하기 위해, 투명도 모듈(310C)은 블러 지점의 크기에 비례하여 이미지 레이어의 투명도를 상승시키도록 구성될 수 있다.
일 실시예에서, 블러 지점 생성기(310A)는 불투명한 블러 지점을 생성하고, 투명도 모듈(310C)은 컨볼루션 모듈(310B)에 의해 생성된 블러된 이미지 레이어 투명도 기능을 적용한다. 블러 지점이 불투명하기 때문에, 각 블러된 이미지 레이어는 블러된 피사체들을 포함하는 불투명한 영역과 어떠한 피사체들도 포함하지 않는 투명한 영역을 포함한다. 이러한 실시예에서, 투명도 모듈(310C)은 실제적인 이미지 블러를 시뮬레이션 하기 위해 불투명한 영역과 인접한 투명한 영역들 사이의 경계 영역에 투명도 기능을 적용한다. 예를 들어, 투명도 기능은 불투명한 영역의 가장자리에 상당히 큰 양의 투명도를 적용하고, 불투명한 영역의 가장자리로부터 멀리 떨어진 지점에 적용된 투명도 레벨을 줄일 수 있다.
대체 실시예에서, 투명도 모듈(310C)은 블러 지점이 이미지 레이어와 함께 컨볼루션 되기 전에 산출하고, 블러 지점에 투명도를 적용한다. 예를 들어, 블러 지점이 가우시안 함수인 경우, 투명도 모듈(310C)은 블러 지점이 중앙에서 불투명하고 중앙에서 멀어질수록 점점 더 투명해지록 구성될 수 있다.
레이어 합성 모듈(310D)은 적절한 투명도가 적용된 후에 상기 블러된 이미지 레이어를 수신하여 상기 블러된 이미지 레이어와 상기 이미지의 다른 블러된 레이어를 합성한다. 이것은 가상의 광학 시스템으로 전달된 이미지와 동일한 블러 패턴을 갖는 단일의 이미지를 생성하는데, 여기서 상기 가상의 광학 시스템은 사용자가 특정한 초점 거리와 f값을 갖도록 구성된다.
대체 실시예에서, 영화 블러 모듈의 전부 또는 일부는 독립적인 컴퓨팅 시스템(218) 대신 카메라(202A, 202B) 내에서 구현될 수 있다. 예를 들어, 카메라(202A, 202B) 내의 대응하는 모듈은 목표물 식별 모듈(302), 거리 산출기(304) 및 레이어 생성기의 기능을 수행하도록 구성될 수 있으며, 영화 블러 모듈(230)은 카메라로부터 이미지 데이터를 수신하자마자 즉시 블러 지수를 산출하고 각 레이어에 블러 필터를 적용하는 것을 시작할 수 있다. 전체의 영화 블러 모듈(230)이 카메라(202A, 202B)에 구현되는 경우, 컴퓨팅 시스템(218)은 도 2에 도시된 시스템(200)으로부터 생략될 수 있다. 그러나, 이미지 정보는 블러링 프로세스 동안 손실될 수 있기 때문에, 카메라(202A, 202B)에 의해 캡쳐된 블러되지 않은 이미지 데이터를 저장하고 포스트 프로세싱에 대한 블러링 프로세스를 수행하는 것이 바람직할 수 있다. 즉, 카메라(202A, 202B)가 이미지들을 캡쳐한 후와 원본 이미지들을 저장하기 전에 즉시 블러 필터를 상기 이미지들에 적용하는 경우, 다른 목적으로 이용하기 위한 본래의 블러되지 않은 이미지들을 되찾는 방법은 없다.
<블러 지수 산출>
도 4는 일 실시예에 따라, 3D 카메라(408), 목표물(404) 및 추가 피사체(402, 406) 사이의 거리를 나타낸 다이어그램이다. 도 4에 나타난 거리들은 각 피사체(402, 404, 406)에 대응하는 이미지 레이어들에 대한 블러 지수들을 산출하는 데에 이용된다. 제 1 거리(410) (즉, 목표물 거리)는 목표물(404)에 대응하는 레이어와 카메라(408) 사이의 이격 거리이다. 그리고, 제 2 거리(412) (즉, 디포커스 거리)는 제 1 추가 피사체 레이어(402)와 목표물 레이어(404)가 이격한 거리이며, 제 3 거리(416) (즉, 또 다른 디포커스 거리)는 목표물 레이어(404)와 제 2 추가 피사체 레이어(406) 사이의 거리이다.
비록 도 4의 각 피사체들이 단일의 레이어의 일부분으로서 도시되었으나, 하나 이상의 피사체들은 복수개의 레이어들을 차지할 수도 있다. 예를 들어, 토끼가 10cm의 깊이를 가지는 경우, 토끼는 2.45 - 2.50m의 깊이 단계에 대응하는 제 1 레이어와 2.50 - 2.55m에 대응하는 제 2 레이어를 차지한다. 이러한 경우, 각 피사체에 의해 차지되는 각 레이어에 대한 서로 상이한 디포커스 거리와 서로 상이한 블러 지수가 존재한다. 그리고, 잔디, 덤불 또는 도시된 세 개의 피사체들 사이에 있는 다른 작은 피사체들을 포함하는 레이어들(402, 404, 406) 사이에 이미지 레이어들이 있을 수도 있으나, 이러한 세 개의 추가 피사체들은 간결함을 위해 도 4에서 생략되었다.
도 5는 일 실시예에 따라, 도 4에 도시된 디포커스 거리에서 피사체(502, 506)에 대한 블러 지수의 값을 나타내는 블러 함수에 대한 그래프다. 블러 함수(510)는 초점 거리(f), f값(f#) 및 목표물 거리(V)를 파라미터로 수신하며, 함수(510)는 서로 상이한 디포커스 거리(ΔV)와 관련된 이미지 레이어들에 대한 블러 지수들(β)을 생성하는 데에 이용된다. 도 3을 참고하여 앞서 설명된 바와 같이, 블러 함수에 대한 유익한 하나의 예시는 다음과 같은 방정식이다.
Figure 112013059580814-pat00004
도 5에 도시된 함수(510)는 상기 방정식에 대한 그래프이다. 도 5에는 블러 함수(510)가 디포커스 거리 ΔV= 0일 때, β= 1라는 값을 가진다는 것이 나타나 있으며, 디포커스 거리 ΔV= 0은 사이클리스트(504)의 위치에 대응한다. 이때, 블러 필터(310)는 사이클리스트(504)를 포함하는 이미지 레이어에 어떠한 블러도 적용하지 않는다. 한편, 토끼(502)는 블러 함수가 β=β1,값을 가질때 ΔV = ΔV1인 0이 아닌 디포커스 거리에 위치하며, 나무는 β= β2인 대응하는 블러 지수를 갖는 ΔV = ΔV2인 디포커스 거리에 위치한다. 토끼(502)와 나무(506)에 대응하는 이미지 레이어의 블러 지수는 1보다 크며, 블러 필터(510)는 상기 두 개의 레이어에 이미지 블러를 적용한다.
블러 필터(510)는 토끼(502)와 나무(506)에 대응하는 이미지 레이어들에 투명도를 적용할 수도 있다. 도 3을 참고하여 앞서 설명한 바와 같이, 하나의 블러된 피사체가 3D 카메라(508)로부터 멀리 떨어진 피사체들을 방해하는 것을 막기 때문에, 투명도를 적용하는 것은 유익하다. 예를 들어, 블러 필터(510)는 토끼(502)의 블러된 이미지가 사이클리스트(504)나 나무(506)을 방해하는 것을 막기 위해 토끼(502)에 투명도를 적용할 수 있다. 일 실시예에서, 투명도 레벨은 블러 지수에 비례하므로, 더 큰 블러 지수와 연관된 이미지 레이어 내의 피사체들은 더욱 투명한 가장자리를 가진다.
도 5의 실시예의 블러 함수는 카메라(508)로부터 멀리 떨어지게 이동시키는 것과 비교하여 카메라(508) 쪽으로 이동시키는 경우에 더욱 가파른 경사로 상승한다는 것을 알 수 있다. 그러므로, 토끼(502)는 나무(506)가 더욱 큰 디포커스 거리에 위치하더라도 나무(506)보다 더욱 큰 블러 지수를 가진다. 도 5에 도시되고 상기 방정식으로 정의된 예시적인 블러 함수(510)는 카메라(508)에 대응하는 ΔV = -V의 디포커스 거리에서 수직의 점근선을 가진다.
도 4를 다시 참고하면, 이미지 레이어들(402, 404 ,406)과 도시되지 않은 임의의 레이어들은 블러 필터와 투명도가 각 레이어에 적용된 후에 단일의 블러된 이미지로 합성된다. 일 실시예에서, 모든 블러된 이미지 레이어는 상기 블러된 이미지 레이어들이 모두 생성된 후에 즉시 함께 합성될 수 있다. 또는, 블러된 이미지 레이어들은 한번에 하나씩 합성될 수 있다. 예를 들어, 영화 블러 모듈(230)은 목표물 레이어(404)와 제 1 추가 이미지 레이어(402)의 블러된 버전을 합성하여, 제 2 추가 피사체 레이어(406)에 이미지 블러를 적용하고, 이어서 블러된 제 2 레이어(406)와 두 개의 제1 레이어들을 합성한다.
<영화 이미지 블러를 적용하기 위한 3D 깊이 정보의 사용>
도 6은 일 실시예에 따라 3D 카메라로부터 깊이 정보를 바탕으로 블러된 이미지를 생성하기 위하여 영화 블러 모듈(230)을 이용하는 프로세스를 나타내는 순서도이다. 상기 프로세스는 3D 카메라가 복수 개의 피사체들에 대한 3D 깊이 정보를 포함하는 3D 이미지를 캡쳐(600)할 때에 시작된다. 도 1b 내지 도 1d를 참조하여 앞서 설명한 바와 같이, 예시적인 3D 카메라는 동일한 방향으로 위치한 두 개의 이격된 카메라(108A, 108B)로 구현될 수 있다. 이러한 경우, 카메라들의 두 개의 이미지 센서(110A, 110B)에 대한 피사체의 위치들 간의 오프셋은 상기 피사체에 대한 3D 깊이 정보를 나타낸다.
캡쳐된 3D 이미지는 네트워크(216)를 통해 컴퓨팅 시스템(218) 상의 영화 블러 모듈(230)으로 전달되며, 목표물 식별 모듈(302)은 3D 이미지 내의 피사체들 중 하나를 상기 이미지의 목표물로서 식별한다(605). 목표물 식별 모듈(302)은 패턴 인식 알고리즘과 사용자 입력을 조합하여 상기 이미지의 목표물을 식별한다. 목표물 식별 모듈(302)이 상기 3D 이미지의 목표물을 식별한 후(605), 거리 산출기(304)는 3D 이미지 내의 3D 깊이 정보를 이용하여, 3D 카메라와 모?물 사이의 제 1 거리(즉, 목표물 거리)를 결정한다(610). 도 1a에 도시된 예시적인 이미지(100)에 대하여, 거리 산출기(304)는 두 개의 이미지 내에 있는 사이클리스트의 위치 사이의 오프셋을 이용하여 도 4에 도시된 목표물 거리(420)를 산출할 수 있다.
거리 산출기(304)가 목표물 거리를 결정한 후(610), 레이어 생성기(306)는 제 1 추가 피사체를 포함하는 이미지 레이어와 목표물 사이의 제 2 거리(즉, 상기 레이어에 대한 디포커스 거리)를 결정한다(615). 디포커스 거리를 결정하기 위해, 거리 산출기(304)는 먼저, 제 1 추가 피사체의 3D 깊이 정보를 이용하여 3D 카메라와 제 1 추가 피사체 사이의 거리(즉, 피사체에 대한 피사체 거리)를 산출한다. 다음으로, 거리 산출기(304)는 피사체 거리에서 목표물 거리를 차감하여 상기 레이어에 대한 디포커스 거리를 찾는다. 그 결과, 3D 카메라와 목표물 사이의 이미지 레이어는 음의 디포커스 거리를 갖는 반면, 목표물 뒤의 레이어들은 양의 디포커스 거리를 갖는다.
다음으로, 컴퓨팅 시스템(218)의 사용자 입력 장치(26)는 사용자로부터 가상의 초점 거리와 f값을 수신한다(620). 블러 지수 산출기(308)는 제 1 거리(즉, 목표물 거리) 및 제 2 거리(즉, 디포커스 거리)와 함께 가상의 초점 거리와 f값을 이용하여 제 1 추가 피사체에 대응하는 이미지 레이어에 대한 블러 지수를 산출한다(625). 도 3을 참조하여 앞서 설명한 바와 같이, 블러 지수는 이미지 레이어에 적용될 블러 필터의 강도를 결정한다.
마지막으로, 블러 필터(310)는 블러 지수의 값을 바탕으로 이미지 레이어에 이미지 블러를 적용한다(630). 일 실시예에서, 블러 지점 생성기(310A)는 크기가 블러 지수와 비례하는 블러 지점을 생성하며, 컨볼루션 모듈(310B)은 블러 지점과 상기 이미지 레이어를 컨볼루션하여 블러된 이미지 레이어를 생성한다. 블러된 피사체가 이미지 내에서 뒤에 배치된 피사체들을 방해하는 것을 막기 위해, 투명도 모듈(310C)은 블러 지점을 투명하게 하거나 컨볼루션 후에 블러된 이미지 레이어에 투명도를 적용함으로써 블러된 이미지 레이어에 투명도를 부가한다.
영화 블러 모듈(230)이 3D 이미지들의 긴 시퀀스(예를 들어, 3D 비디오의 비디오 프레임)를 즉시 수신한 경우, 도 6에 도시된 프로세스는 동시에 또는 연속적으로 복수 개의 3D 이미지들에 대하여 수행될 수 있다. 즉, 상기 시퀀스 내의 모든 3D 이미지는 동시에 프로세스될 수 있으며, 상기 시퀀스 내의 이미지들은 한번에 하나씩 프로세스되거나, 3D 이미지들의 시퀀스는 동시에 프로세스되는 3D 이미지들에 대한 몇몇의 서브 시퀀스들로 분할 될 수 있다. 그리고, 디포커스 거리를 결정하는 단계(615), 블러 지수를 산출하는 단계(625) 및 이미지 블러를 적용하는 단계(625)는 통상적으로 3D 이미지에 대한 복수 개의 이미지 레이어에 대하여 수행되어 복수 개의 블러된 이미지 레이어들을 생성한다. 하나의3D 이미지에 대한 복수 개의 이미지 레이어들은 동시에, 순차적으로 또는 동시와 순차적의 조합으로 프로세스될 수도 있다.
<추가 구성에 대한 고려>
개시된 실시예들은 큰 광학 시스템에 구비된 종래의 카메라를 이용하지 않고도 얕은 피사계심도 이미지를 생성할 수 있게 한다는 점에서 유익하다. 블러된 배경과 전경이 보는 사람의 주의를 이미지의 초점이 맞추어진 단일 목표물에 두게하기 때문에 얕은 피사계심도가 바람직하다. 보통, 큰 광학 시스템과 큰 센서 평면을 갖는 카메라는 얕은 피사계심도 이미지를 캡쳐하는 데에 필요하다. 그러나, 얕은 피사계심도와 연관된 이미지 블러를 포스트 프로세싱에 있어서 생성함으로써, 원본 이미지는 3D 깊이 정보를 캡쳐할 수 있는 임의의 카메라로 캡쳐될 수 있다. 그러므로, 작은 광학 시스템과 이미지 센서를 갖는 3D 카메라가 이용될 수 있다.
본 명세서를 통하여, 복수의 예시들이 단일 예시로 서술된 컴포넌트들, 동작들 또는 구조들을 구현할 수 잇다. 하나 이상의 방법들에 대한 개별적인 동작들이 각각 독립적인 동작으로서 설명되고 서술되었으나, 하나 이상의 개별적인 동작들은 동시에 수행될 수 있으며, 여기서 설명된 순서로만 동작들이 수행되는 것은 아니다. 예시적인 구성들의 독립적인 컴포넌트들로서 제공된 구조들과 기능은 조합된 구조와 컴포넌트로서 구현될 수 있다. 마찬가지로, 단일 컴포넌트로 제공된 구조들과 기능은 독립적인 컴포넌트들로서 구현될 수 있다. 이러한 그리고 다른 변화, 수정, 부가 및 개선들은 본 명세서의 주제의 범위 내에서 이루어질 수 있다.
특정한 실시예들은 본 명세서에서 로직(logic) 또는 수많은 컴포넌트들, 모듈들 또는 매커니즘들을 포함하는 것으로 설명된다. 모듈들은 소프트웨어 모듈들(예를 들어, 기계로 판독가능한 매체 또는 전송 신호 내에 구현되는 코드) 또는 하드웨어 모듈들 중 어느 하나로 이루어질 수 있다. 하드웨어 모듈은 특정 동작들을 수행할 수 있는 유형의 유닛이며, 특정한 방식으로 구성되거나 배치될 수 있다. 예시적인 실시예들에서, 하나 이상의 컴퓨터 시스템(예를 들어, 독립적인 클라이언트 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템에 대한 하나 이상의 하드웨어 모듈들(예를 들어, 프로세서 또는 프로세서 그룹)은 소프트웨어(예를 들어, 어플리케이션 또는 어플리케이션 부분)에 의해, 본 명세서에서 설명된 특정 동작들을 수행하도록 동작하는 하드웨어 모듈로서 구성될 수 있다.
다양한 실시예들에서, 하드웨어 모듈은 기계적이거나 전자적으로 구현될 수 있다. 예를 들어, 하드웨어 모듈은 특정한 동작을 수행하도록 영구적으로 (예를 들어, FPGA(Field Programmable Gate Array) 또는 ASIC(Application-Specific Integrated Circuit)와 같은 특별한 목적의 프로세서로서) 구성되는 특정한 회로나 로직을 포함할 수 있다. 하드웨어 모듈은 소프트웨어에 의해 특정한 동작을 수행하도록 일시적으로 구성되는 (예를 들어, 일반적인 목적의 프로세서나 다른 프로그램 프로세서 내에 포함되는) 프로그램 로직이나 회로를 포함할 수도 있다.
하나 이상의 하드웨어 모듈은 ”클라우드 컴퓨팅“ 환경 내에서나 Saas(Software as a service)으로서 관련 동작 수행을 지원하도록 동작할 수도 있다. 예를 들어, 상기 동작들의 적어도 일부는 (프로세서들을 포함하는 예시적인 기계들로서) 컴퓨터 그룹에 의해 수행될 수 있으며, 이러한 동작들은 네트워크(예를 들어, 인터넷)나 하나 이상의 적절한 인터페이스(예를 들어, 어플리케이션 프로그램 인터페이스(APIs : application program interfaces))를 통해 액세스될 수 있다.
본 명세서의 일부분은 기계 메모리(예를 들어, 컴퓨터 메모리) 내부에 비트(bit)나 2진 디지털 신호로 저장되는 데이터에 대한 동작들의 상징적인 표현이나 알고리즘에 관하여 제공된다. 이러한 알고리즘이나 상징적인 표현은 데이터 프로세싱 기술의 통상적인 기술자에 의해 이용되는 예시적인 기술들로서, 상기 기술분야의 다른 기술자에게 상기 통상적인 기술자의 작업의 핵심을 전달하기 위한 것이다. 본 명세서에서 이용된 바와 같이, “알고리즘”은 일관성있는 동작의 시퀀스이거나 바람직한 결과를 이끄는 유사한 프로세싱이다. 이러한 문맥에서, 알고리즘과 동작들은 물리적인 수량의 물리적인 조작과 관련된다. 통상적으로, 반드시 그러하지는 아니하나, 그러한 수량은 전기적, 자기적이거나 광학적 신호의 형태로 이루어질 수 있으며, 상기 신호는 저장되거나, 액세스되거나, 전달되거나, 결합되거나, 비교되거나 기계에 의해 조작될 수 있다.
구체적으로 서술되지는 않았더라도, 본 명세서의 설명에서 이용된 “프로세싱”, “컴퓨팅”, “산출하는(calculating)”, “결정하는”, “제공하는”, “표시하는” 등과 같은 단어들은 하나 이상의 메모리(예를 들어, 휘발성 메모리, 비휘발성 메모리 또는 이들의 조합), 레지스터, 또는 정보를 수신, 저장, 전송하거나 표시하는 다른 기계 컴포넌트 내에서 물리적인(예를 들어, 전자적, 자기적이거나 광학적인) 수량으로서 나타나는 데이터를 조작하거나 변환하는 기계(예를 들어, 컴퓨터)의 동작이나 프로세스를 지칭할 수 있다.
본 명세서에서 이용된 바와 같이, “포함하다(comprises)”, “포함하는(comprising)”, “포함하다(includes)”, “포함하는(including)”, “가지다(has)”, “갖는(having)” 라는 용어와 이러한 용어들의 다른 임의의 변형은 비배타적인 포함을 의미한다. 예를 들어, 구성요소들의 리스트를 포함하는 프로세스, 방법, 물건 또는 장치는 이러한 구성요소들에만 반드시 한정되는 것은 아니므로, 그러한 프로세스, 방법, 물건 또는 장치에 내재하거나 명확히 리스트되지 않은 다른 구성요소들을 포함할 수 있다. 또한, 명확히 반대의 의미로 설명되지 않은 한, “또는(or)”은 포괄적인 “또는”을 지칭하는 것이며 배타적인 “또는”을 지칭하는 것이 아니다. 예를 들어, 조건 A 또는 B는 다음 중 임의의 하나를 만족한다 : A는 진실이며(또는 존재하며) B는 거짓이다(또는 존재하지 않는다), A는 거짓이며(또는 존재하지 않으며) B는 진실이다(또는 존재한다), A와 B 모두 진실이다(또는 존재한다).
본 명세서를 판독함에 따라, 당해 기술분야의 통상의 기술자는 본 명세서에 개시된 사상을 통해 3D 깊이 정보를 바탕으로 이미지 블러를 적용하는 시스템과 프로세스에 대한 추가적인 대체 구조 및 기능 설계를 인식할 수 있을 것이다. 그러므로, 특정한 실시예와 응용들이 서술되고 설명되었더라도, 개시된 실시예들은 본 명세서에 개시된 정확한 구성과 컴포넌트들에 한정되지 않음이 이해될 것이다. 다양한 수정, 변화 및 변형들이 당해 기술분야의 통상의 기술자에게 명백할 것이므로, 첨부된 청구항에서 정의된 사상과 범위를 벗어나지 않는 개시된 방법과 장치에 대한 배치, 동작 및 설명들을 통해 다양한 수정, 변화 및 변형들이 이루어질 수 있다.

Claims (23)

  1. 3D 카메라를 통해 캡쳐하여 복수 개의 피사체와 상기 복수 개의 피사체 각각에 대한 깊이 정보를 포함하는 3D 이미지를 수신하는 단계;
    상기 복수 개의 피사체 중 하나를 목표 피사체로 식별하는 단계;
    상기 목표 피사체와 관련된 상기 깊이 정보를 바탕으로 상기 3D 카메라와 상기 목표 피사체 간의 제 1 거리를 결정하는 단계;
    상기 복수 개의 피사체 중의 제 1 추가 피사체와 상기 목표 피사체 사이의 제 2 거리를, 상기 제 1 추가 피사체와 관련된 상기 깊이 정보와 상기 목표 피사체와 관련된 상기 깊이 정보를 바탕으로, 결정하는 단계;
    가상의 f 값(f-number)과 가상의 초점 거리를 수신하는 단계;
    상기 제 1 추가 피사체에 대한 제 1 블러 지수를 산출하는 단계에 있어서, 상기 제 1 블러 지수는 상수를 제 2 값에 더하여 획득되는 제 1 값의 제곱근에 비례하고, 상기 제 2 값은 제 3 값을 제 4 값과 곱하여 획득되며, 상기 제 3 값은 상기 제 2 거리를 제 5 값으로 나누어 획득되고, 상기 제 5 값은 상기 제 2 거리를 상기 제 1 거리에 더하여 획득되며, 상기 제 4 값은 상기 제 1 거리의 값, 상기 가상의 초점 거리의 값 및 상기 가상의 f 값에 의해 결정되는, 상기 제 1 블러 지수를 산출하는 단계; 및
    상기 제 1 블러 지수를 바탕으로 제 1 이미지 블러를 상기 제 1 추가 피사체에 적용하는 단계;
    를 포함하는 깊이 정보를 바탕으로 이미지 블러(blur)를 적용하는 방법.
  2. 제 1 항에 있어서,
    상기 3D 이미지는 제 1 이미지 및 제 2 이미지를 포함하며, 상기 제 1 이미지는 제 1 카메라에 의해 캡쳐되고 상기 제 2 이미지는 제 2 카메라에 의해 캡쳐된 것이며, 두 개의 카메라는 동일한 방향을 바라보며 이격거리만큼 이격된, 깊이 정보를 바탕으로 이미지 블러를 적용하는 방법.
  3. 제 2 항에 있어서,
    상기 3D 이미지의 복수 개의 피사체 각각에 대한 상기 깊이 정보는 상기 제 1 이미지 내에서 상기 피사체의 위치와 상기 제 2 이미지 내에서 상기 피사체의 위치 사이의 오프셋(offset)을 포함하는, 깊이 정보를 바탕으로 이미지 블러를 적용하는 방법.
  4. 제 1 항에 있어서,
    상기 복수 개의 피사체 각각에 대한 상기 깊이 정보는 상기 복수 개의 피사체 각각에 대한 시차(parallax) 정보를 포함하는, 깊이 정보를 바탕으로 이미지 블러를 적용하는 방법.
  5. 제 1 항에 있어서,
    상기 3D 이미지의 상기 제 1 피사체를 상기 목표 피사체로 식별하는 단계는 상기 제 1 피사체를 목표물로 식별하는 사용자 입력을 수신하는 단계를 포함하는, 깊이 정보를 바탕으로 이미지 블러를 적용하는 방법.
  6. 제 1 항에 있어서,
    상기 제 1 이미지 블러를 상기 제 1 추가 피사체에 적용하는 단계는,
    투명 영역과 상기 제 1 추가 피사체와 관련된 피사체 영역을 포함하는 이미지 레이어를 생성하는 단계;
    상기 제 1 블러 지수를 바탕으로 블러 지점과 상기 블러 지점의 크기를 생성하는 단계;
    상기 블러 지점과 상기 이미지 레이어를 컨볼루션하는(convolving) 단계로서, 상기 컨볼루션 동작은 투명 영역과 블러된 제 1 추가 피사체를 갖는 블러된 피사체 영역을 포함하는 블러된 이미지 레이어를 생성하는, 상기 블러 지점과 상기 이미지 레이어를 컨볼루션하는 단계; 및
    상기 블러된 피사체 영역과 상기 투명 영역 사이의 경계에 투명 기능을 적용하는 단계;를 포함하는, 깊이 정보를 바탕으로 이미지 블러를 적용하는 방법.
  7. 제 1 항에 있어서,
    상기 복수 개의 피사체 중에서 상기 목표 피사체와 제 2 추가 피사체 사이의 제 3 거리를, 상기 제 2 추가 피사체와 관련된 상기 깊이 정보와 상기 목표 피사체와 관련된 상기 깊이 정보를 바탕으로, 결정하는 단계;
    상기 제 2 추가 피사체에 대한 제 2 블러 지수를 상기 제 1 거리, 상기 제 3 거리, 상기 가상의 f 값 및 상기 가상의 초점 거리를 바탕으로 산출하는 단계; 및
    상기 제 2 블러 지수의 값을 바탕으로 제 2 이미지 블러를 상기 제 2 추가 피사체에 적용하는 단계;를 더 포함하는, 깊이 정보를 바탕으로 이미지 블러를 적용하는 방법.
  8. 제 7 항에 있어서,
    상기 제 1 추가 피사체는 상기 3D 카메라에 대한 거리에 있어서 상기 목표 피사체보다 가까우며, 상기 목표 피사체는 상기 3D 카메라에 대한 거리에 있어서 상기 제 2 추가 피사체보다 가까운, 깊이 정보를 바탕으로 이미지 블러를 적용하는 방법.
  9. 3D 카메라로부터 복수 개의 피사체와 각 피사체와 관련된 깊이 정보를 포함하는 3D 이미지를 수신하는 단계;
    상기 복수 개의 피사체 중 하나를 목표 피사체로 식별하는 단계;
    상기 목표 피사체와 관련된 상기 깊이 정보를 바탕으로 상기 3D 카메라와 상기 목표 피사체 간의 제 1 거리를 결정하는 단계;
    상기 복수 개의 피사체 중의 제 1 추가 피사체와 상기 목표 피사체 사이의 제 2 거리를, 상기 제 1 추가 피사체와 관련된 상기 깊이 정보와 상기 목표 피사체와 관련된 상기 깊이 정보를 바탕으로, 결정하는 단계;
    가상의 f 값(f-number)과 가상의 초점 거리를 수신하는 단계;
    상기 제 1 추가 피사체에 대한 제 1 블러 지수를 산출하는 단계에 있어서, 상기 제 1 블러 지수는 상수를 제 2 값에 더하여 획득되는 제 1 값의 제곱근에 비례하고, 상기 제 2 값은 제 3 값을 제 4 값과 곱하여 획득되며, 상기 제 3 값은 상기 제 2 거리를 제 5 값으로 나누어 획득되고, 상기 제 5 값은 상기 제 2 거리를 상기 제 1 거리에 더하여 획득되며, 상기 제 4 값은 상기 제 1 거리의 값, 상기 가상의 초점 거리의 값 및 상기 가상의 f 값에 의해 결정되는, 상기 제 1 블러 지수를 산출하는 단계; 및
    상기 제 1 블러 지수를 바탕으로 제 1 이미지 블러를 상기 제 1 추가 피사체에 적용하는 단계;에 대한 컴퓨터 프로그램 명령들을 저장하며, 프로세서에 의해 실행되는 비일시적인(non-transitory) 컴퓨터 판독가능 매체; 및
    상기 컴퓨터 프로그램 명령들을 실행하는 프로세서;
    를 포함하는 깊이 정보를 바탕으로 이미지 블러(blur)를 적용하는 시스템.
  10. 제 9 항에 있어서,
    상기 3D 카메라는 제 1 카메라와 제 2 카메라를 포함하며, 상기 두 개의 카메라는 동일한 방향을 바라보며 이격거리만큼 이격되고, 상기 두 개의 카메라 각각은 이미지 센서를 포함하는, 깊이 정보를 바탕으로 이미지 블러를 적용하는 시스템.
  11. 제 10 항에 있어서,
    상기 3D 이미지 내의 상기 복수 개의 피사체 각각에 대한 상기 3D 깊이 정보는 상기 제 1 카메라의 상기 이미지 센서와 관련한 상기 피사체의 위치와 상기 제 2 카메라의 상기 이미지 센서와 관련한 상기 피사체의 위치 사이의 오프셋을 포함하는, 깊이 정보를 바탕으로 이미지 블러를 적용하는 시스템.
  12. 제 9 항에 있어서,
    상기 3D 이미지의 상기 제 1 피사체를 상기 목표 피사체로 식별하는 단계는 상기 제 1 피사체를 식별하는 사용자 입력을 수신하는 단계를 포함하는, 깊이 정보를 바탕으로 이미지 블러를 적용하는 시스템.
  13. 제 9 항에 있어서,
    상기 제 1 이미지 블러를 상기 제 1 추가 피사체에 적용하는 단계는,
    투명 영역과 상기 제 1 추가 피사체와 관련된 피사체 영역을 포함하는 이미지 레이어를 생성하는 단계;
    상기 제 1 블러 지수를 바탕으로 블러 지점과 상기 블러 지점의 크기를 생성하는 단계;
    상기 블러 지점과 상기 이미지 레이어를 컨볼루션하는(convolving) 단계로서, 상기 컨볼루션 동작은 투명 영역과 블러된 제 1 추가 피사체를 갖는 블러된 피사체 영역을 포함하는 블러된 이미지 레이어를 생성하는, 상기 블러 지점과 상기 이미지 레이어를 컨볼루션하는 단계; 및
    상기 블러된 피사체 영역과 상기 투명 영역 사이의 경계에 투명 기능을 적용하는 단계;를 포함하는, 깊이 정보를 바탕으로 이미지 블러를 적용하는 시스템.
  14. 제 9 항에 있어서,
    상기 컴퓨터 판독가능 매체는,
    상기 복수 개의 피사체 중의 제 2 추가 피사체와 상기 목표 피사체 사이의 제 3 거리를, 상기 제 2 추가 피사체와 관련된 상기 깊이 정보와 상기 목표 피사체와 관련된 상기 깊이 정보를 바탕으로, 결정하는 단계;
    상기 제 2 추가 피사체에 대한 제 2 블러 지수를 상기 제 1 거리, 상기 제 3 거리, 상기 가상의 f 값 및 상기 가상의 초점 거리를 바탕으로 산출하는 단계; 및
    상기 제 2 블러 지수의 값을 바탕으로 제 2 이미지 블러를 상기 제 2 추가 피사체에 적용하는 단계;에 대한 명령들을 더 포함하는, 깊이 정보를 바탕으로 이미지 블러를 적용하는 시스템.
  15. 제 14 항에 있어서,
    상기 제 1 추가 피사체는 상기 3D 카메라에 대한 거리에 있어서 상기 목표 피사체보다 가까우며, 상기 목표 피사체는 상기 3D 카메라에 대한 거리에 있어서 상기 제 2 추가 피사체보다 가까운, 깊이 정보를 바탕으로 이미지 블러를 적용하는 시스템.
  16. 3D 카메라를 통해 캡쳐하여 복수 개의 피사체와 상기 복수 개의 피사체 각각에 대한 깊이 정보를 포함하는 3D 이미지를 수신하는 단계;
    상기 복수 개의 피사체 중 하나를 목표 피사체로 식별하는 단계;
    상기 목표 피사체와 관련된 상기 깊이 정보를 바탕으로 상기 3D 카메라와 상기 목표 피사체 간의 제 1 거리를 결정하는 단계;
    상기 복수 개의 피사체 중의 제 1 추가 피사체와 상기 목표 피사체 사이의 제 2 거리를, 상기 제 1 추가 피사체와 관련된 상기 깊이 정보와 상기 목표 피사체와 관련된 상기 깊이 정보를 바탕으로, 결정하는 단계;
    가상의 f 값(f-number)과 가상의 초점 거리를 수신하는 단계;
    상기 제 1 추가 피사체에 대한 제 1 블러 지수를 산출하는 단계에 있어서, 상기 제 1 블러 지수는 상수를 제 2 값에 더하여 획득되는 제 1 값의 제곱근에 비례하고, 상기 제 2 값은 제 3 값을 제 4 값과 곱하여 획득되며, 상기 제 3 값은 상기 제 2 거리를 제 5 값으로 나누어 획득되고, 상기 제 5 값은 상기 제 2 거리를 상기 제 1 거리에 더하여 획득되며, 상기 제 4 값은 상기 제 1 거리의 값, 상기 가상의 초점 거리의 값 및 상기 가상의 f 값에 의해 결정되는, 상기 제 1 블러 지수를 산출하는 단계; 및
    상기 제 1 블러 지수를 바탕으로 제 1 이미지 블러를 상기 제 1 추가 피사체에 적용하는 단계;에 대한 컴퓨터 프로그램 명령들을 저장하며,
    프로세서에 의해 실행되는 비일시적인(non-transitory) 컴퓨터 판독가능 매체.
  17. 제 16 항에 있어서,
    상기 3D 이미지는 제 1 이미지 및 제 2 이미지를 포함하며, 상기 제 1 이미지는 제 1 카메라에 의해 캡쳐되고 상기 제 2 이미지는 제 2 카메라에 의해 캡쳐된 것이며, 두 개의 카메라는 동일한 방향을 바라보며 이격거리만큼 이격된, 비일시적인 컴퓨터 판독가능 매체.
  18. 제 17 항에 있어서,
    상기 3D 이미지의 복수 개의 피사체 각각에 대한 상기 깊이 정보는 상기 제 1 이미지 내에서 상기 피사체의 위치와 상기 제 2 이미지 내에서 상기 피사체의 위치 사이의 오프셋(offset)을 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  19. 제 16 항에 있어서,
    상기 3D 이미지의 상기 제 1 피사체를 상기 목표 피사체로 식별하는 단계는 상기 제 1 피사체를 목표물로 식별하는 사용자 입력을 수신하는 단계를 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  20. 제 16 항에 있어서,
    상기 제 1 이미지 블러를 상기 제 1 추가 피사체에 적용하는 단계는,
    투명 영역과 상기 제 1 추가 피사체와 관련된 피사체 영역을 포함하는 이미지 레이어를 생성하는 단계;
    상기 제 1 블러 지수를 바탕으로 블러 지점과 상기 블러 지점의 크기를 생성하는 단계;
    상기 블러 지점과 상기 이미지 레이어를 컨볼루션하는(convolving) 단계로서, 상기 컨볼루션 동작은 투명 영역과 블러된 제 1 추가 피사체를 갖는 블러된 피사체 영역을 포함하는 블러된 이미지 레이어를 생성하는, 상기 블러 지점과 상기 이미지 레이어를 컨볼루션하는 단계; 및
    상기 블러된 피사체 영역과 상기 투명 영역 사이의 경계에 투명 기능을 적용하는 단계;를 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  21. 제 16 항에 있어서,
    상기 복수 개의 피사체 중에서 상기 목표 피사체와 제 2 추가 피사체 사이의 제 3 거리를 상기 제 2 추가 피사체와 관련된 상기 깊이 정보와 상기 목표 피사체와 관련된 상기 깊이 정보를 바탕으로 결정하는 단계;
    상기 제 2 추가 피사체에 대한 제 2 블러 지수를 상기 제 1 거리, 상기 제 3 거리, 상기 가상의 f 값 및 상기 가상의 초점 거리를 바탕으로 산출하는 단계; 및
    상기 제 2 블러 지수의 값을 바탕으로 제 2 이미지 블러를 상기 제 2 추가 피사체에 적용하는 단계;에 대한 명령들을 더 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  22. 제 21 항에 있어서,
    상기 제 1 추가 피사체는 상기 3D 카메라에 대한 거리에 있어서 상기 목표 피사체보다 가까우며, 상기 목표 피사체는 상기 3D 카메라에 대한 거리에 있어서 상기 제 2 추가 피사체보다 가까운, 비일시적인 컴퓨터 판독가능 매체.
  23. 복수 개의 피사체를 포함하는 이미지를 카메라를 통해 획득하여 수신하는 단계;
    상기 복수 개의 피사체 중 하나를 목표 피사체로 식별하는 단계;
    상기 카메라와 상기 목표 피사체 간의 제 1 거리를 결정하는 단계;
    상기 복수 개의 피사체 중의 제 1 추가 피사체와 상기 목표 피사체 사이의 제 2 거리를 결정하는 단계;
    가상의 f 값(f-number)과 가상의 초점 거리를 수신하는 단계; 및
    제1 블러 지수를 바탕으로 상기 제 1 추가 피사체에 제 1 이미지 블러를 적용하는 단계;
    를 포함하되,
    상기 제 1 블러 지수는 상수를 제 2 값에 더하여 획득되는 제 1 값의 제곱근에 비례하고, 상기 제 2 값은 제 3 값을 제 4 값과 곱하여 획득되며, 상기 제 3 값은 상기 제 2 거리를 제 5 값으로 나누어 획득되고, 상기 제 5 값은 상기 제 2 거리를 상기 제 1 거리에 더하여 획득되며, 상기 제 4 값은 상기 제 1 거리의 값, 상기 가상의 초점 거리의 값 및 상기 가상의 f 값에 의해 결정되는, 깊이 정보를 바탕으로 이미지 블러(blur)를 적용하는 방법.
KR1020130077357A 2012-07-03 2013-07-02 3d 깊이 정보를 기반으로 한 이미지 블러 KR101602394B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261667888P 2012-07-03 2012-07-03
US61/667,888 2012-07-03
US13/831,124 2013-03-14
US13/831,124 US9185387B2 (en) 2012-07-03 2013-03-14 Image blur based on 3D depth information

Publications (2)

Publication Number Publication Date
KR20140004592A KR20140004592A (ko) 2014-01-13
KR101602394B1 true KR101602394B1 (ko) 2016-03-10

Family

ID=48740823

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130077357A KR101602394B1 (ko) 2012-07-03 2013-07-02 3d 깊이 정보를 기반으로 한 이미지 블러

Country Status (4)

Country Link
US (2) US9185387B2 (ko)
EP (1) EP2683169A3 (ko)
JP (1) JP5871862B2 (ko)
KR (1) KR101602394B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200017172A (ko) * 2018-08-08 2020-02-18 삼성전자주식회사 복수의 이미지들이 합성된 이미지를 깊이 정보에 기반하여 흐림 처리하는 전자 장치 및 상기 전자 장치의 구동 방법
KR20200101741A (ko) * 2019-02-20 2020-08-28 삼성전자주식회사 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9858649B2 (en) * 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
JP6271990B2 (ja) * 2013-01-31 2018-01-31 キヤノン株式会社 画像処理装置、画像処理方法
CN108989647B (zh) * 2013-06-13 2020-10-20 核心光电有限公司 双孔径变焦数字摄影机
US20150116529A1 (en) * 2013-10-28 2015-04-30 Htc Corporation Automatic effect method for photography and electronic apparatus
JP6198590B2 (ja) * 2013-11-28 2017-09-20 キヤノン株式会社 画像処理装置、撮像装置および画像処理方法
US9552633B2 (en) 2014-03-07 2017-01-24 Qualcomm Incorporated Depth aware enhancement for stereo video
CN103945210B (zh) * 2014-05-09 2015-08-05 长江水利委员会长江科学院 一种实现浅景深效果的多摄像头拍摄方法
KR102155094B1 (ko) * 2014-08-28 2020-09-11 엘지전자 주식회사 이동 단말기 및 그 제어방법
EP2993901A1 (en) * 2014-09-03 2016-03-09 Samsung Electronics Co., Ltd. Method for displaying images and electronic device thereof
KR102244619B1 (ko) * 2014-09-30 2021-04-26 삼성전자 주식회사 가속 구조를 생성 및 탐색하는 방법
TWI606342B (zh) 2014-10-20 2017-11-21 愛克勝企業公司 分散式控制的系統及方法
KR102251483B1 (ko) 2014-10-23 2021-05-14 삼성전자주식회사 영상을 처리하는 전자 장치 및 방법
KR101671391B1 (ko) 2015-07-07 2016-11-02 한국과학기술연구원 레이어 블러 모델에 기반한 비디오 디블러링 방법, 이를 수행하기 위한 기록 매체 및 장치
US10192277B2 (en) 2015-07-14 2019-01-29 Axon Enterprise, Inc. Systems and methods for generating an audit trail for auditable devices
CN105354805B (zh) * 2015-10-26 2020-03-06 京东方科技集团股份有限公司 深度图像的去噪方法和去噪设备
US10613722B1 (en) * 2015-10-27 2020-04-07 Palantir Technologies Inc. Distorting a graph on a computer display to improve the computer's ability to display the graph to, and interact with, a user
FR3046228B1 (fr) * 2015-12-29 2018-01-05 Thales Procede de representation graphique tridimensionnelle d'une piste d'atterrissage sur un dispositif de visualisation d'aeronef
KR101829534B1 (ko) * 2016-05-25 2018-02-19 재단법인 다차원 스마트 아이티 융합시스템 연구단 멀티 초점 이미지를 이용하는 깊이 추출 카메라 시스템 및 그 동작 방법
CN107613199B (zh) * 2016-06-02 2020-03-13 Oppo广东移动通信有限公司 虚化照片生成方法、装置和移动终端
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
KR20180019806A (ko) * 2016-08-16 2018-02-27 삼성전자주식회사 종단 장치로부터 제공되는 부트 업 명령어에 기초하여 부팅 동작을 수행하도록 구성되는 전자 장치
JP6702148B2 (ja) * 2016-11-11 2020-05-27 株式会社デンソー 立体物認識装置
EP3488603B1 (en) * 2017-05-24 2021-07-28 SZ DJI Technology Co., Ltd. Methods and systems for processing an image
CN107038681B (zh) 2017-05-31 2020-01-10 Oppo广东移动通信有限公司 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN108055452B (zh) 2017-11-01 2020-09-18 Oppo广东移动通信有限公司 图像处理方法、装置及设备
CN108024054B (zh) * 2017-11-01 2021-07-13 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
CN107948500A (zh) * 2017-11-01 2018-04-20 广东欧珀移动通信有限公司 图像处理方法和装置
EP3486606A1 (de) * 2017-11-20 2019-05-22 Leica Geosystems AG Stereokamera und stereophotogrammetrisches verfahren
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
DK180130B1 (da) 2018-05-07 2020-06-02 Apple Inc. Multi-participant live communication user interface
CN108848367B (zh) * 2018-07-26 2020-08-07 宁波视睿迪光电有限公司 一种图像处理的方法、装置及移动终端
WO2020036468A1 (ko) * 2018-08-16 2020-02-20 주식회사 날비컴퍼니 이미지에 보케 효과를 적용하는 방법 및 기록매체
US10699383B2 (en) 2018-08-27 2020-06-30 Nvidia Corp. Computational blur for varifocal displays
US11128792B2 (en) * 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US10810707B2 (en) * 2018-11-29 2020-10-20 Adobe Inc. Depth-of-field blur effects generating techniques
CN109767466B (zh) * 2019-01-10 2021-07-13 深圳看到科技有限公司 画面渲染方法、装置、终端及对应的存储介质
JP7431527B2 (ja) * 2019-08-07 2024-02-15 キヤノン株式会社 深度情報生成装置、撮像装置、深度情報生成方法、画像処理装置、画像処理方法、及びプログラム
CN110969589B (zh) * 2019-12-03 2023-06-02 重庆大学 基于多流注意对抗网络的动态场景模糊图像盲复原方法
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11449188B1 (en) 2021-05-15 2022-09-20 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11812135B2 (en) 2021-09-24 2023-11-07 Apple Inc. Wide angle video conference
GB2620375A (en) * 2022-06-29 2024-01-10 Sony Interactive Entertainment Inc Visual perception assistance apparatus and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006053694A (ja) * 2004-08-10 2006-02-23 Riyuukoku Univ 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
JP2011188004A (ja) * 2010-03-04 2011-09-22 Victor Co Of Japan Ltd 立体映像撮像装置、立体映像処理装置および立体映像撮像方法
US20110242098A1 (en) * 2010-03-30 2011-10-06 Fujifilm Corporation Image processing apparatus, image processing method, and program

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09181966A (ja) 1995-12-22 1997-07-11 Olympus Optical Co Ltd 画像処理方法及び装置
US6633685B1 (en) 1998-08-05 2003-10-14 Canon Kabushiki Kaisha Method, apparatus, and storage media for image processing
US7047201B2 (en) 2001-05-04 2006-05-16 Ssi Corporation Real-time control of playback rates in presentations
US7970240B1 (en) * 2001-12-17 2011-06-28 Google Inc. Method and apparatus for archiving and visualizing digital images
KR100866790B1 (ko) 2002-06-29 2008-11-04 삼성전자주식회사 인터렉티브 모드에서의 포커싱 방법 및 그 장치
JP4117616B2 (ja) 2003-07-28 2008-07-16 ソニー株式会社 編集システム、その制御方法及び編集装置
US20050108031A1 (en) 2003-11-17 2005-05-19 Grosvenor Edwin S. Method and system for transmitting, selling and brokering educational content in streamed video form
JP3915988B2 (ja) 2004-02-24 2007-05-16 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP4125252B2 (ja) 2004-03-02 2008-07-30 株式会社東芝 画像生成装置、画像生成方法、及び画像生成プログラム
US7512886B1 (en) * 2004-04-15 2009-03-31 Magix Ag System and method of automatically aligning video scenes with an audio track
US8953908B2 (en) 2004-06-22 2015-02-10 Digimarc Corporation Metadata management and generation using perceptual features
JP4707368B2 (ja) 2004-06-25 2011-06-22 雅貴 ▲吉▼良 立体視画像作成方法および装置
US20060080286A1 (en) 2004-08-31 2006-04-13 Flashpoint Technology, Inc. System and method for storing and accessing images based on position data associated therewith
US8774560B2 (en) 2005-01-11 2014-07-08 University Of Central Florida Research Foundation, Inc. System for manipulation, modification and editing of images via remote device
US7735101B2 (en) 2006-03-28 2010-06-08 Cisco Technology, Inc. System allowing users to embed comments at specific points in time into media presentation
JP4565115B2 (ja) 2006-08-30 2010-10-20 独立行政法人産業技術総合研究所 多焦点撮像装置
US20080123976A1 (en) 2006-09-22 2008-05-29 Reuters Limited Remote Picture Editing
US7885426B2 (en) * 2006-09-26 2011-02-08 Fuji Xerox Co., Ltd. Method and system for assessing copyright fees based on the content being copied
JP5007563B2 (ja) * 2006-12-28 2012-08-22 ソニー株式会社 音楽編集装置および方法、並びに、プログラム
US8286069B2 (en) 2007-01-26 2012-10-09 Myspace Llc System and method for editing web-based video
US20090027499A1 (en) 2007-07-23 2009-01-29 David Henry Nicholl Portable multi-media surveillance device and method for delivering surveilled information
JP2009053748A (ja) 2007-08-23 2009-03-12 Nikon Corp 画像処理装置、画像処理プログラムおよびカメラ
WO2009040538A1 (en) 2007-09-25 2009-04-02 British Telecommunications Public Limited Company Multimedia content assembling for viral marketing purposes
JP2009117974A (ja) 2007-11-02 2009-05-28 Fujifilm Corp 興味情報作成方法、装置およびシステム
EP2216749B1 (en) 2007-12-03 2017-11-08 National University Corporation Hokkaido University Image classification device and image classification program
JP2009230822A (ja) 2008-03-24 2009-10-08 Sony Corp コンテンツ編集装置、コンテンツ編集方法及びプログラム
US8212237B2 (en) 2008-07-09 2012-07-03 Qunano Ab Nanostructured memory device
US8520979B2 (en) 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US20120014673A1 (en) * 2008-09-25 2012-01-19 Igruuv Pty Ltd Video and audio content system
KR101499498B1 (ko) 2008-10-08 2015-03-06 삼성전자주식회사 초고해상도 비디오 처리 장치 및 방법
US20100161720A1 (en) 2008-12-23 2010-06-24 Palm, Inc. System and method for providing content to a mobile device
US8641621B2 (en) * 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
US8412729B2 (en) 2009-04-22 2013-04-02 Genarts, Inc. Sharing of presets for visual effects or other computer-implemented effects
US8516101B2 (en) 2009-06-15 2013-08-20 Qualcomm Incorporated Resource management for a wireless device
US20120210205A1 (en) 2011-02-11 2012-08-16 Greg Sherwood System and method for using an application on a mobile device to transfer internet media content
JP5549230B2 (ja) 2010-01-13 2014-07-16 株式会社リコー 測距装置、測距用モジュール及びこれを用いた撮像装置
US20110206351A1 (en) 2010-02-25 2011-08-25 Tal Givoli Video processing system and a method for editing a video asset
US8606073B2 (en) 2010-05-12 2013-12-10 Woodman Labs, Inc. Broadcast management system
JP4865068B1 (ja) 2010-07-30 2012-02-01 株式会社東芝 録再装置及び録再装置のタグリスト生成方法及び録再装置の制御装置
US8849879B2 (en) 2010-07-30 2014-09-30 Avaya Inc. System and method for aggregating and presenting tags
US20140192238A1 (en) * 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US8705866B2 (en) 2010-12-07 2014-04-22 Sony Corporation Region description and modeling for image subscene recognition
WO2012086120A1 (ja) 2010-12-24 2012-06-28 パナソニック株式会社 画像処理装置、撮像装置、画像処理方法、プログラム
US9997196B2 (en) * 2011-02-16 2018-06-12 Apple Inc. Retiming media presentations
US8954386B2 (en) 2011-03-22 2015-02-10 Microsoft Corporation Locally editing a remotely stored image
WO2012154216A1 (en) 2011-05-06 2012-11-15 Sti Medical Systems, Llc Diagnosis support system providing guidance to a user by automated retrieval of similar cancer images with user feedback
KR101797041B1 (ko) 2012-01-17 2017-12-13 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
US10282055B2 (en) 2012-03-06 2019-05-07 Apple Inc. Ordered processing of edits for a media editing application
US8971623B2 (en) 2012-03-06 2015-03-03 Apple Inc. Overlaid user interface tools for applying effects to image
US20130330019A1 (en) 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd. Arrangement of image thumbnails in social image gallery
CN102768676B (zh) 2012-06-14 2014-03-12 腾讯科技（深圳）有限公司 一种格式未知文件的处理方法和装置
US9342376B2 (en) 2012-06-27 2016-05-17 Intel Corporation Method, system, and device for dynamic energy efficient job scheduling in a cloud computing environment
US20140152762A1 (en) 2012-06-28 2014-06-05 Nokia Corporation Method, apparatus and computer program product for processing media content
US20150156247A1 (en) 2012-09-13 2015-06-04 Google Inc. Client-Side Bulk Uploader
US8990328B1 (en) * 2012-10-02 2015-03-24 Amazon Technologies, Inc. Facilitating media streaming with social interaction
JP2014106637A (ja) 2012-11-26 2014-06-09 Sony Corp 情報処理装置および方法、並びにプログラム
US9307269B2 (en) 2013-03-14 2016-04-05 Google Inc. Determining interest levels in videos
KR102161230B1 (ko) 2013-05-28 2020-09-29 삼성전자주식회사 멀티미디어 콘텐츠 검색을 위한 사용자 인터페이스 방법 및 장치
US9542488B2 (en) * 2013-08-02 2017-01-10 Google Inc. Associating audio tracks with video content
US20150071547A1 (en) 2013-09-09 2015-03-12 Apple Inc. Automated Selection Of Keeper Images From A Burst Photo Captured Set
CN105981386B (zh) 2013-12-06 2019-02-26 华为技术有限公司 图像解码装置、图像编码装置及编码数据变换装置
JP6438046B2 (ja) 2014-04-04 2018-12-12 レッド．コム，エルエルシー キャプチャモード付きビデオカメラ
US9792502B2 (en) 2014-07-23 2017-10-17 Gopro, Inc. Generating video summaries for a video using video summary templates
US9418283B1 (en) 2014-08-20 2016-08-16 Amazon Technologies, Inc. Image processing using multiple aspect ratios
US20160094601A1 (en) 2014-09-30 2016-03-31 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
US20160189752A1 (en) 2014-12-30 2016-06-30 Yaron Galant Constrained system real-time capture and editing of video
JP6455232B2 (ja) 2015-03-02 2019-01-23 株式会社リコー 画像処理システム、処理実行制御装置、画像形成出力制御装置、画像処理システムの制御プログラム、画像処理システムの制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006053694A (ja) * 2004-08-10 2006-02-23 Riyuukoku Univ 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
JP2011188004A (ja) * 2010-03-04 2011-09-22 Victor Co Of Japan Ltd 立体映像撮像装置、立体映像処理装置および立体映像撮像方法
US20110242098A1 (en) * 2010-03-30 2011-10-06 Fujifilm Corporation Image processing apparatus, image processing method, and program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200017172A (ko) * 2018-08-08 2020-02-18 삼성전자주식회사 복수의 이미지들이 합성된 이미지를 깊이 정보에 기반하여 흐림 처리하는 전자 장치 및 상기 전자 장치의 구동 방법
KR102525000B1 (ko) * 2018-08-08 2023-04-24 삼성전자 주식회사 복수의 이미지들이 합성된 이미지를 깊이 정보에 기반하여 흐림 처리하는 전자 장치 및 상기 전자 장치의 구동 방법
KR20200101741A (ko) * 2019-02-20 2020-08-28 삼성전자주식회사 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법
KR102597518B1 (ko) 2019-02-20 2023-11-03 삼성전자주식회사 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
US10015469B2 (en) 2018-07-03
KR20140004592A (ko) 2014-01-13
EP2683169A3 (en) 2017-04-12
JP2014014076A (ja) 2014-01-23
US20140009585A1 (en) 2014-01-09
US20160029004A1 (en) 2016-01-28
EP2683169A2 (en) 2014-01-08
JP5871862B2 (ja) 2016-03-01
US9185387B2 (en) 2015-11-10

Similar Documents

Publication Publication Date Title
KR101602394B1 (ko) 3d 깊이 정보를 기반으로 한 이미지 블러
Wadhwa et al. Synthetic depth-of-field with a single-camera mobile phone
JP7003238B2 (ja) 画像処理方法、装置、及び、デバイス
US9900510B1 (en) Motion blur for light-field images
KR101893047B1 (ko) 이미지 처리 방법 및 이미지 처리 장치
KR102480245B1 (ko) 패닝 샷들의 자동 생성
WO2021030002A1 (en) Depth-aware photo editing
TWI474096B (zh) 用於影像處理的成像系統及其方法
US20140211045A1 (en) Image processing apparatus and image pickup apparatus
JP6319972B2 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2016024489A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US8810665B2 (en) Imaging device and method to detect distance information for blocks in secondary images by changing block size
CN102388617A (zh) 复眼摄像装置及其视差调整方法和程序
Kagawa et al. A three‐dimensional multifunctional compound‐eye endoscopic system with extended depth of field
Liu et al. Stereo-based bokeh effects for photography
JP6645711B2 (ja) 画像処理装置、画像処理方法、プログラム
US11792511B2 (en) Camera system utilizing auxiliary image sensors
JP6491442B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP6157238B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP7320400B2 (ja) 映像演出処理装置及びそのプログラム
US20140307977A1 (en) Image editing method and associated apparatus
WO2021035095A2 (en) Camera system utilizing auxiliary image sensors
JP2016103807A (ja) 画像処理装置、画像処理方法、およびプログラム
JP6488570B2 (ja) 撮影装置、撮影方法及びプログラム
Liang et al. High-Quality Light Field Acquisition and Processing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190222

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 5