KR102618495B1 - 영상 처리 장치 및 방법 - Google Patents

Abstract

일 실시예의 일 측면에 따르면, 서로 다른 줌 레벨의 복수의 영상들을 촬영하는 촬영부; 상기 복수의 영상들을 저장하는 저장부; 상기 복수의 영상들 중 제1 영상을 표시하는 표시부; 및 제어 입력에 기초하여, 상기 복수의 영상들 중 상기 제1 영상과 다른 줌 레벨의 제2 영상을 표시하도록 상기 표시부를 제어하는 처리부를 포함하는 영상 처리 장치가 제공된다.

Description

영상 처리 장치 및 방법{Apparatus and method for processing image}

개시된 실시예들은 영상 처리 장치, 영상 처리 방법, 및 상기 영상 처리 방법을 수행하는 프로그램 코드를 저장하는 컴퓨터로 판독할 수 있는 기록 매체에 관한 것이다.

리포커스 효과를 도출하기 위한 다양한 기술들이 제안되어 왔다. 예를 들면, 리포커스 효과를 도출하기 위하여 일반적인 카메라에서 이용되지 않는 라이트 필드(light field) 센서와 같은 특정한 센서를 이용할 수 있다. 그런데 라이트 필드 센서와 같은 추가적인 하드웨어 구성은 비용 발생을 야기하고, 제품 무게를 증가시키는 문제가 있다. 또한, 라이트 필드 센서를 이용하더라도, 동일 초점 면에 있는 객체들에 각각 리포커스할 수 없다는 문제점이 있다.

개시된 실시예들은, 라이트 필드 센서와 같은 특수한 센서 없이도, 복수의 줌 레벨에서 복수의 영상을 촬영하여, 리포커스 가능한 영상을 제공하기 위한 것이다.

또한, 개시된 실시예들은, 원거리에 배치되어 동일한 초점 면에 존재하는 것처럼 보이는 피사체들에 대한 초점 분해능을 향상시키기 위한 것이다.

일 실시예의 일 측면에 따르면,

서로 다른 줌 레벨의 복수의 영상들을 촬영하는 촬영부;

상기 복수의 영상들을 저장하는 저장부;

상기 복수의 영상들 중 제1 영상을 표시하는 표시부; 및

제어 입력에 기초하여, 상기 복수의 영상들 중 상기 제1 영상의 줌 레벨과 다른 줌 레벨의 제2 영상을 표시하도록 상기 표시부를 제어하는 처리부를 포함하는 영상 처리 장치가 제공된다.

상기 처리부는, 입력된 제어 신호에 의해 결정된 관심 영역을 포함하는 서로 다른 줌 레벨의 복수의 영상들을 촬영하도록 상기 촬영부를 제어할 수 있다.

상기 처리부는, 상기 촬영부에 의해 촬영된 입력 영상의 초점 값에 기초하여 적어도 하나의 관심 영역을 설정하고, 상기 적어도 하나의 관심 영역 각각에 대해 줌 인하여, 상기 적어도 하나의 관심 영역 각각에 대해 적어도 하나의 영상을 촬영하도록 상기 촬영부를 제어할 수 있다.

상기 처리부는, 상기 촬영부에 의해 촬영된 입력 영상으로부터 동일한 초점 면으로 귀결되는 복수의 객체들을 검출하고, 상기 복수의 객체들을 포함하는 영역에 대해 제1 줌 레벨로 줌 인하고, 상기 제1 줌 레벨에서 상기 복수의 객체들에 순차적으로 초점을 맞춰, 서로 다른 초점을 갖는 복수의 영상들을 촬영하도록 상기 촬영부를 제어할 수 있다.

상기 처리부는, 관심 영역을 결정하고, 상기 관심 영역이 FOV(field of view)의 중심부에 배치되도록 FOV를 조절하도록 하는 가이드 정보를 출력할 수 있다.

상기 표시부는, 서로 다른 줌 레벨을 갖는 복수의 영상을 표시할 수 있다.

상기 표시부는, 제1 줌 레벨의 상기 제1 영상을 표시하고, 상기 제1 영상 내에 포함된 적어도 하나의 관심 영역 각각에 대응하는 적어도 하나의 다른 줌 레벨 영상을 상기 제1 영상 상에 오버레이하여 표시할 수 있다.

상기 표시부는, 상기 제1 영상이 표시된 상태에서, 상기 제1 영상의 줌 레벨과 다른 줌 레벨의 영상의 FOV를 나타내는 표지를 상기 제1 영상 상에 표시할 수 있다.

상기 표시부는, 상기 제1 영상이 표시된 상태에서, 상기 제1 영상과 다른 초점을 갖는 영상에 대한 정보를 나타내는 표지를 상기 제1 영상 상에 표시할 수 있다.

상기 저장부는, 상기 서로 다른 줌 레벨의 복수의 영상들에 대한 식별 정보를 저장하고, 상기 서로 다른 줌 레벨의 복수의 영상들에 대한 줌 레벨 정보, FOV 정보, 및 초점 정보 중 적어도 하나를 저장할 수 있다.

일 실시예의 다른 측면에 따르면, 서로 다른 줌 레벨의 복수의 영상들을 촬영하는 단계; 상기 복수의 영상들 중 제1 영상을 표시하는 단계; 및 제어 입력에 기초하여, 상기 복수의 영상들 중 상기 제1 영상과 다른 줌 레벨의 제2 영상을 표시하는 단계를 포함하는 영상 처리 방법이 제공된다.

일 실시예의 또 다른 측면에 따르면, 프로세서에 의해 실행되었을 때, 상기 영상 처리 방법의 단계들을 수행하는 적어도 하나의 컴퓨터 프로그램 코드를 저장하는 컴퓨터로 판독할 수 있는 기록 매체가 제공된다.

일 실시예의 또 다른 측면에 따르면,

서로 다른 줌 레벨의 복수의 영상들을 촬영하는 촬영부;

상기 복수의 영상들 각각에 대해 리포커스 정보 및 영상 데이터를 포함하는 영상 파일을 생성하는 처리부; 및

상기 영상 파일을 저장하는 저장부를 포함하고,

상기 리포커스 정보는, 해당 영상 파일이 리포커스 가능한 영상이라는 정보, 및 리포커스 처리를 위해 참조할 파일의 경로를 포함하는 영상 처리 장치가 제공된다.

일 실시예의 또 다른 측면에 따르면,

서로 다른 줌 레벨의 복수의 영상들 및 리포커스 정보를 저장하는 저장부;

상기 복수의 영상들 중 제1 영상을 표시하는 표시부; 및

제어 입력이 입력되면, 상기 리포커스 정보에 기초하여, 상기 복수의 영상들 중 상기 제1 영상의 줌 레벨과 다른 줌 레벨의 제2 영상을 표시하도록 상기 표시부를 제어하는 처리부를 포함하고,

상기 리포커스 정보는, 해당 영상 파일이 리포커스 가능한 영상이라는 정보, 및 리포커스 처리를 위해 참조할 파일의 경로를 포함하는, 영상 처리 장치가 제공된다.

개시된 실시예들에 따르면, 라이트 필드 센서와 같은 특수한 센서 없이도, 복수의 줌 레벨에서 복수의 영상을 촬영하여, 리포커스 가능한 영상을 제공할 수 있는 효과가 있다.

또한, 개시된 실시예들에 따르면, 원거리에 배치되어 동일한 초점 면에 존재하는 것처럼 보이는 피사체들에 대한 초점 분해능을 향상시킬 수 있는 효과가 있다.

또한, 개시된 실시예들에 따르면, 동일한 초점면에 있는 객체들에 리포커스할 수 있는 효과가 있다.

도 1은 일 실시예에 따른 영상 처리 장치(100)의 블록도이다.
도 2는 일 실시예에 따라 서로 다른 줌 레벨의 복수의 영상을 촬영하는 과정을 나타낸 도면이다.
도 3은 일 실시예에 따라 촬영된 복수의 영상들 중 하나의 영상을 표시하는 과정을 나타낸 도면이다.
도 4는 일 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
도 5는 개시된 일 실시예에 따라, 영상 처리 장치(100)에서 복수의 이미지를 캡쳐하는 방법을 도시한 흐름도이다.
도 6은 일 실시예 따른 사용자에 의한 관심 영역의 선택을 나타낸 도면이다.
도 7은 개시된 일 실시예에 따라, 복수의 줌 레벨에서 복수개의 이미지를 캡쳐하기 위해 ROI를 선택하는 예시적인 순서도이다.
도 8은 일 실시예에 따라 자동으로 관심 영역을 결정하는 방법을 나타낸 흐름도이다.
도 9는 일 실시예에 따른 초점 값에 기초하여 하이 액티비티 영역(high activity area)을 관심 영역으로 결정하는 방식을 나타낸 도면이다.
도 10은 일 실시예에 따라 같은 줌 레벨에서 서로 다른 초점 영상을 촬영하는 과정을 설명하기 위한 도면이다.
도 11은 일 실시예에 따라 동일 초점 면에 위치하는 것으로 인식되는 복수의 객체를 포함하는 영역에 줌 인하는 과정을 설명하기 위한 도면이다.
도 12는 일 실시예에 따라 동일 초점 면에 위치하는 것으로 인식되는 복수의 객체를 포함하는 영역에 줌 인하는 과정을 설명하기 위한 도면이다.
도 13은 일 실시예에 따라 관심 영역을 중심으로 FOV(Field of View)를 조절하도록 사용자 가이드를 제공하는 동작을 설명하기 위한 도면이다.
도 14는 일 실시예에 따라 리포커스 가능한 영상을 저장하는 방식을 설명하기 위한 도면이다.
도 15는 일 실시예에 따라 리포커스 가능한 영상을 저장하는 방식을 설명하기 위한 도면이다.
도 16은 개시된 일 실시예에 따라, 영상 내 리포커싱에 대한 방법을 도시하는 흐름도이다.
도 17는 일 실시예에 따라 리포커스 가능한 영상을 표시하는 방법을 도시한 도면이다.
도 18는 일 실시예에 따른 리포커스 가능한 영상을 나타낸 도면이다.
도 19는 일 실시예에 따라 관심 영역을 선택하는 동작을 나타낸 도면이다.
도 20은 일 실시예에 따라 관심 영역을 선택하는 동작을 나타낸 도면이다.
도 21은 일 실시예에 따른 영상 처리 메커니즘을 나타낸 흐름도이다.
도 22는 일 실시예에 따른 후처리(post processing) 방식을 나타낸 도면이다.
도 23은 일 실시예에 따른 생체 인증(biometric authentication) 방법을 설명하기 위한 흐름도이다.
도 24는 일 실시예에 따른 생체 인증 방법을 설명하기 위한 도면이다.
도 25는 일 실시예에 따라 기가 픽셀 포토그래피(giga pixel photography) 영상을 제공하는 방법을 나타낸 도면이다.
도 26은 일 실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
도 27는 일 실시예에 따라 얼굴 영역을 촬영하는 동작을 나타낸 도면이다.
도 28는 일 실시예에 따른 영상 처리 장치(2800)의 블록도이다.
도 29는 개시된 일 실시예에 따라, 전자 디바이스 내에서 복수개의 이미지를 캡쳐하는 방법 및 시스템을 실시하는 컴퓨팅 환경을 도시한다.

본 명세서는 본원 청구항의 권리범위를 명확히 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 실시할 수 있도록, 본 발명의 원리를 설명하고, 실시예들을 개시한다. 개시된 실시예들은 다양한 형태로 구현될 수 있다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부' (part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부' 가 하나의 요소(unit, element)로 구현되거나, 하나의 '부' 가 복수의 요소들을 포함하는 것도 가능하다. 또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 이 용어들에 의해 한정되어서는 안 된다. 이 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용된다.

이하 첨부된 도면들을 참고하여 본 발명의 작동 원리 및 실시예들에 대해 설명한다.

도 1은 일 실시예에 따른 영상 처리 장치(100)의 블록도이다.

일 실시예에 따른 영상 처리 장치(100)는 촬영부(110), 처리부(120), 저장부(130), 및 표시부(140)를 포함할 수 있다. 일 실시예에 따라, 영상 처리 장치(100)는 사용자 입력부(미도시)를 더 포함할 수 있다.

일 실시예에 따른 영상 처리 장치(100)는 스마트폰, 태블릿 PC, 휴대폰, 카메라, 노트북, PDA(personal digital assistants) 등의 형태로 구현될 수 있으나, 이에 제한되지 않는다.

촬영부(110)는 서로 다른 줌(zoom) 레벨의 복수의 영상들을 촬영하여, 영상 데이터를 생성한다. 서로 다른 줌 레벨에서 촬영된 복수의 영상들은 리포커스 가능한 영상을 생성하기 위해 이용될 수 있다.

줌 레벨은 광각 및 초점거리에 의해 결정된다. 줌 레벨이 높아져 줌 인(zoom-in)되면, 광각이 좁아지고 초점 거리가 길어진다. 줌 레벨이 낮아져 줌 아웃(zoom-out)되면, 광각이 넓어지고 초점 거리가 짧아진다.

촬영부(110)는 렌즈, 조리개, 및 촬상 소자를 포함할 수 있다. 촬영부(110)는 처리부(120)로부터 입력된 제어 신호에 따라 렌즈, 조리개, 및 촬상 소자를 제어하여 서로 다른 줌 레벨의 복수의 영상들을 촬영한다. 촬영부(110)는 렌즈 구동부를 이용하여 렌즈의 위치를 변경하고, 조리개의 f 넘버를 조절하여 줌 레벨을 조절할 수 있다. 일 실시예에 따르면, 촬영부(110)는 촬상 소자로부터 신호를 읽어 들이는 액티브 영역을 조절함에 의해 FOV(field of view)를 조절할 수 있다. 또한, 일 실시예에 따른 촬영부(110)는 처리부(120)의 제어 신호에 따라, 복수의 객체들에 순차적으로 초점을 맞춰 촬영하여, 서로 다른 초점을 갖는 복수의 영상들을 생성할 수 있다.

일 실시예에 따르면, 촬영부(110)는 한 번의 셔터 릴리즈 신호 입력에 대응하여, 서로 다른 줌 레벨의 복수의 영상들을 연속 촬영할 수 있다. 각 촬영에서는 줌 레벨 및 FOV(field of view)가 정의된다. 줌 레벨 및 FOV에 대한 정보는 처리부(120)로부터 촬영부(110)로 전달될 수 있다. 본 실시예에 따르면, 영상 처리 장치(100)는 리포커스 가능한 영상(refocusable image)을 촬영하는 제1 모드를 정의하고, 처리부(120)는 제1 모드에서 셔터 릴리즈 신호가 입력되면, 복수의 줌 레벨을 결정한 후, 결정된 복수의 줌 레벨로 연속 촬영하도록 촬영부(110)를 제어할 수 있다. 촬영부(110)는 처리부(120)로부터 제어 신호에 기초하여, 렌즈의 위치 및 조리개의 개방을 조절하면서, 설정된 복수의 줌 레벨로 복수의 영상을 연속 촬영한다.

처리부(120)는, 영상 처리 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 처리부(120)는, 촬영부(110), 저장부(130), 표시부(140), 및 사용자 입력부(미도시) 등을 전반적으로 제어할 수 있다.

처리부(120)는 복수의 줌 레벨에서 복수의 영상을 촬영하도록 촬영부(110)를 제어한다. 복수의 영상의 FOV(field of view)는 관심 영역(ROI, region of interest)을 포함하도록 결정된다. 관심 영역은 사용자 입력에 기초하여 결정되거나, 자동으로 결정될 수 있다. 일 실시예에 따르면, 처리부(120)는 사용자 입력부를 통해 수신된 제어 신호에 따라 관심 영역을 설정할 수 있다. 다른 실시예에 따르면, 처리부(120)는 촬영부(110)에서 생성된 입력 영상으로부터 객체를 인식하고, 인식된 객체 각각에 대응되는 관심 영역을 설정할 수 있다.

상기 객체는 사람, 물건, 동물, 또는 건물 등을 포함할 수 있다. 상기 관심 영역은 영상에서 특정 영역으로 정의되어 인식될 수 있는 것으로서, 하나 이상의 객체를 포함할 수 있다. 일 실시예에 따라, 사용자는 적어도 하나의 관심 영역을 선택할 수 있다. 다른 실시예에 따라, 처리부(120)는 촬영부(110)에 의해 촬영된 입력 영상의 초점 값에 기초하여 적어도 하나의 관심 영역을 설정할 수 있다. 또한, 적어도 하나의 관심 영역 각각에 대해 줌 인하여, 적어도 하나의 관심 영역 각각에 대해 적어도 하나의 영상을 촬영하도록 촬영부(110)를 제어할 수 있다.

처리부(120)는 관심 영역이 결정되면, 관심 영역을 포함하도록 FOV를 결정하고, 결정된 적어도 하나의 FOV로 줌 인하여, 각각의 관심 영역에 대해 적어도 하나의 영상을 촬영하도록 촬영부(110)를 제어할 수 있다. 처리부(120)는 결정된 FOV에 따라 줌 레벨을 결정한다. 앞서 설명한 바와 같이, 처리부(120)는 한 번의 셔터 릴리즈 신호에 응답하여, 결정된 FOV들로 줌 인하여 복수의 영상들을 연속 촬영하도록 촬영부(110)를 제어할 수 있다. 셔터 릴리즈 신호는 사용자 입력부를 통해 입력될 수 있다.

추가적으로, 처리부(120)는 FOV를 조절하기 위한 가이드 정보, 촬영 프로세스 진행에 대한 정보, 설정된 FOV에 대한 정보, 및 촬영 모드에 대한 정보 중 적어도 하나 또는 이들의 조합을 생성하여 출력할 수 있다. 이러한 정보는 표시부(140)를 통한 GUI(graphic user interface) 출력, 오디오 출력, LED 점멸 출력, 진동 출력 등 다양한 형태 및 조합으로 출력될 수 있다. 예를 들면, 처리부(120)는 관심 영역을 포함하도록 FOV를 조절하도록 하는 가이드 정보를 출력할 수 있다. 다른 예로서, 처리부(120)는 선택된 관심 영역 또는 객체의 줌 레벨이 변경되면, 변경된 결과를 표시부(140)에 출력하여 표시할 수 있다.

처리부(120)는 후처리, 인코딩 등의 처리를 수행하여, 촬영된 복수의 영상들을 저장하기 위한 파일을 생성하고, 생성된 파일을 저장부(130)에 저장한다. 복수의 영상 파일들에 대한 인코딩 방식 및 파일 형식은 실시예에 따라 다양하게 결정될 수 있다.

처리부(120)는 복수의 줌 레벨에서 촬영된 복수의 영상들을 재생하여 표시부(140)에 표시할 수 있다. 처리부(120)는 복수의 영상들 중 제1 영상을 표시부(140)에 표시하고, 입력된 제어 신호에 따라 복수의 영상들 중 제1 영상과 다른 줌 레벨의 제2 영상을 표시부(140)에 표시할 수 있다. 제2 영상은 제1 영상과 줌 레벨이 다른 영상으로, 다른 FOV를 갖는다. 처리부(120)는 서로 다른 FOV의 제2 영상을 선택할 수 있는 사용자 인터페이스를 제공할 수 있다. 제2 영상의 선택은 줌 레벨의 선택, FOV의 선택, 자동 선택 등 다양한 방식으로 수행될 수 있다.

일 실시예에 따라, 처리부(120)는 상기 제1 영상이 표시된 상태에서, 제1 영상의 줌 레벨과 다른 줌 레벨의 영상의 FOV(Field of View)를 나타내는 표지 또는 제1 영상과 다른 초점을 갖는 영상에 대한 정보를 나타내는 표지를 제1 영상 상에 표시할 수 있다. 상기 제1 영상은, 관심 영역(ROI)을 포함하는 리포커스 가능한 영상일 수 있다.

제1 영상은 사용자 입력에 의해 선택되거나, 자동으로 선택될 수 있다. 일 실시예에 따르면, 사용자가 어떠한 영상을 선택하고, 선택된 영상이 복수의 줌 레벨에서 촬영된 리포커스 가능한 영상인 경우, 처리부(120)는 사용자가 선택한 영상을 표시부(140)에 표시하면서, 해당 영상이 리포커스 가능한 영상이라는 정보를 제공하거나, 선택 가능한 FOV에 대한 정보를 제공할 수 있다. 다른 실시예에 따르면, 리포커스 가능한 복수의 영상들에 대응하는 그룹이 설정되고, 사용자가 리포커스 가능한 영상들의 그룹을 선택하면, 처리부(120)는 해당 그룹의 대표 영상을 표시부(140)에 표시할 수 있다. 대표 영상은 예를 들면, 가장 넓은 FOV의 영상, 깊은 심도의 영상, 복수의 영상을 합성하여 생성된 영상 등 실시예에 따라 달라질 수 있다.

제2 영상이 표시되는 방식은, 화면 전환, 오버레이, 화면 분할 등 다양한 방식으로 구현될 수 있다.

표시부(140)는 서로 다른 줌 레벨을 갖는 복수의 영상들 중 적어도 하나를 표시할 수 있다. 표시부(140)는 예를 들면, 액정 표시 장치, 유기 전계 발광 표시 장치, PDP(Plasma Display Panel), 전자 종이 등을 이용하여 구현될 수 있다. 표시부(140)에 표시되는 영상은 처리부(120)에서 처리되어 출력된 영상이다. 처리부(120)는 표시부(140)에서 표시할 수 있는 형태(예를 들면 RGB 영상)로 영상을 처리하여 표시부(140)로 출력할 수 있다.

표시부(140)는 제1 영상이 표시된 상태에서, 제1 영상의 줌 레벨과 다른 줌 레벨의 영상의 FOV를 나타내는 표지를 제1 영상 상에 표시할 수 있다. 또한 표시부(140)는 처리부(120)로부터 전송된 제어 신호에 따라, 제1 영상과 다른 줌 레벨을 선택하거나, 제1 영상과 다른 줌 레벨의 제2 영상을 선택할 수 있는 GUI 화면을 표시할 수 있다. 또한 표시부(140)는 선택된 줌 레벨의 제2 영상, 또는 사용자가 선택한 제2 영상을 표시할 수 있다.

사용자 입력부(미도시)는 사용자 입력을 수신한다. 일 실시예에 따르면, 사용자 입력부(미도시)는 촬영을 지시하는 제어 신호(예를 들면, 셔터 릴리즈 신호) 및 적어도 하나의 관심 영역(ROI)을 선택하는 신호를 입력 받을 수 있다.

사용자 입력부(미도시)에는, 예를 들어, 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.

일 실시예에 따르면, 표시부(140)와 사용자 입력부(미도시)는 터치 스크린의 형태로 일체로 구성될 수 있다. 이러한 경우, 관심 영역의 선택은, 적어도 하나의 객체를 포함하는 소정의 영역을 선택하는 터치 입력일 수 있다. 예를 들면, 사용자는 라이브뷰 모드에서, 제스처 입력을 통하여, 관심 영역을 선택할 수 있다. 상기 사용자의 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그, 스와이프, 호버링 등이 있을 수 있다.

다른 실시예에 따르면, 사용자 입력부(미도시)는 마우스일 수 있다. 일 실시예에 따르면, 관심 영역의 선택은, 적어도 하나의 객체를 포함하는 소정의 영역을 클릭하는 마우스 입력일 수 있다. 예를 들면, 사용자는 선택할 관심 영역 상에 마우스 포인터를 위치시킨 후, 클릭하여, 복수의 관심 영역들 중 하나를 선택할 수 있다. 다른 실시예에 따르면, 상기 관심 영역의 선택은, 적어도 하나의 객체를 포함하는 소정의 영역을 직접 지정하는 마우스 드래그 입력일 수 있다. 예를 들면, 사용자는 마우스를 클릭한 상태에서 선택할 객체의 영역을 드래그하여, 관심 영역을 지정할 수 있다.

저장부(130)는 처리부(120)에서 생성된 영상 파일을 저장한다. 저장부(130)는 예를 들면, 플래시 메모리, SSD(Solid state diver), SD(secure digital) 카드, Micro SD 카드, 스마트미디어 카드(SMC), CF(compact flash) 카드, 메모리스틱, 또는 멀티미디어 픽처(extreme digital picture) 카드 등의 형태로 구현될 수 있다.

일 실시예에 따르면, 영상 처리 장치(100)는 통신부(미도시)를 더 포함할 수 있다. 영상 처리 장치(100)는 통신부를 통해, 리포커스 가능한 영상 파일을 다른 장치로 전송할 수 있다.

일 실시예에 따르면, 영상 처리 장치(100)는 촬영부(110), 처리부(120), 및 저장부(130)를 포함하여 구성될 수 있다. 본 실시예에 따르면, 촬영부(110)는 서로 다른 줌 레벨의 복수의 영상들을 촬영하고, 처리부(120)는 복수의 영상들 각각에 대해 리포커스 정보 및 영상 데이터를 포함하는 영상 파일을 생성한다. 저장부(130)는 처리부(120)에서 생성된 복수의 영상들 각각에 대한 영상 파일을 저장한다. 리포커스 정보는 해당 영상 파일의 재생 중, 리포커스 처리를 할 때 이용되는 정보로서, 해당 영상 파일이 리포커스 가능한 영상이라는 정보, 및 리포커스 처리를 위해 참조할 파일의 경로를 포함할 수 있다. 리포커스 처리를 위해 참조할 파일의 경로는 예를 들면, 리포커스 가능한 영상 그룹에 속하는 영상 파일의 경로, 또는 리포커스 처리를 할 때 이용되는 정보를 저장하는 별도의 리포커스 정보 파일의 경로일 수 있다.다른 실시예에 따르면, 영상 처리 장치(100)는 처리부(120), 저장부(130), 및 표시부(140)를 포함하여 구성될 수 있다. 본 실시예에 따르면, 저장부(130)는 서로 다른 줌 레벨의 복수의 영상들 및 리포커스 정보를 저장하고, 표시부(140)는 복수의 영상들 중 제1 영상을 표시한다. 처리부(120)는 제어 입력이 입력되면, 리포커스 정보에 기초하여 복수의 영상들 중 제1 영상의 줌 레벨과 다른 줌 레벨의 제2 영상을 표시하도록 표시부를 제어한다. 처리부(120)는 리포커스를 요청하는 제어 입력이 입력되면, 제1 영상을 저장한 영상 파일에 저장된 리포커스 정보에 기초하여, 사용자가 요청한 포커스에 해당하는 제2 영상을 검색하고, 제2 영상의 영상 파일을 저장부(130)부로부터 검색하여, 제2 영상의 영상 파일을 재생하고 표시부(140)에 표시할 수 있다.

도 2는 일 실시예에 따라 서로 다른 줌 레벨의 복수의 영상들을 촬영하는 과정을 나타낸 도면이다.

일 실시예에 따르면, 사용자는 복수의 객체들을 포함하는 제1 영상(210)을 촬영한다. 제1 영상(210)은 실시예에 따라, 라이브뷰 영상, 퀵 뷰 영상, 영상 파일로부터 재생된 영상 중 적어도 하나일 수 있다. 제1 영상(210) 내의 관심 영역(205)이 자동으로 또는 사용자에 의해 결정되면, 영상 처리 장치(100)는 관심 영역(205)을 중심으로 줌 인한다. 제2 영상(220)은 관심 영역(205)을 중심으로 줌 인하여 촬영한 영상이다. 제2 영상(220)내의 관심 영역(215)이 결정되면, 영상 처리 장치(100)는 관심 영역(215)를 중심으로 줌 인한다. 제3 영상(230)은 관심 영역(215)을 중심으로 줌 인하여 촬영한 영상이다. 앞서 예시로서, 점차적으로 줌 인하여 서로 다른 줌 레벨의 복수의 영상들을 촬영하는 과정을 설명하였으나, 이에 한정되는 것은 아니고, 줌 아웃하여 줌 레벨을 달라지게 하는 것도 가능하다.

도 3은 일 실시예에 따라 촬영된 복수의 영상들 중 하나의 영상을 표시하는 과정을 나타낸 도면이다.

일 실시예에 따르면, 단계 S302에서, 영상 처리 장치(100)의 표시부(140)는 앞서 도 2에서 살펴본 서로 다른 줌 레벨에서 촬영된 복수의 영상들 중 하나의 영상을 표시할 수 있다. 일 실시예에 따르면, 영상이 표시되는 동안, 관심 영역(310)을 나타내는 표지가 다양한 형태로 표시될 수 있다. 예를 들면, 사용자가 표시된 영상의 한 지점을 터치하는 입력을 함으로써, 터치된 한 지점을 포함하는 소정의 영역을 관심 영역(310)으로 하는 박스가 표시될 수 있다.

단계 S304에서, 영상 처리 장치(100)는 제어 입력에 기초하여, 앞서 표시된 단계 S302의 영상과는 다른 줌 레벨의 영상을 표시할 수 있다. 일 실시예에 따르면, 상기 다른 줌 레벨의 영상은 관심 영역(310)에 대해 줌 인하여 촬영된 영상일 수 있다. 상기 제어 입력은, 사용자가 관심 영역(310)을 선택하고, 선택된 관심 영역(310)에 대해 줌 인하도록 제어하는 터치 입력일 수 있다.

도 4는 일 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.

영상 처리 방법의 각 단계들은 영상 처리가 가능한 프로세서 및 저장매체를 구비하는 전자 장치에 의해 수행될 수 있다. 본 명세서에서는 개시된 실시예들에 따른 영상 처리 장치(100)가 영상 처리 방법을 수행하는 실시예를 중심으로 설명한다. 따라서 영상 처리 장치(100)에 대해 설명된 실시예들은 영상 처리 방법에 적용 가능하고, 반대로 영상 처리 방법에 대해 설명된 실시예들은 영상 처리 장치(100)에 대한 실시예들에 적용 가능하다. 개시된 실시예들에 따른 영상 처리 방법은 본 명세서에 개시된 영상 처리 장치(100)에 의해 수행되는 것으로 그 실시예가 한정되지 않고, 다양한 형태의 전자 장치에 의해 수행될 수 있다.

영상 처리 장치(100)는, 단계 S402에서, 서로 다른 줌 레벨의 복수의 영상들을 촬영한다. 단계 S402에 대해서는 도 2에서 설명한 바와 같다. 일 실시예에 따르면, 영상 처리 장치(100)는, 단계 S402에서, 줌 레벨 변경 이외에도, 포커싱 처리를 추가적으로 수행할 수 있다.

영상 처리 장치(100)는, 단계 S404에서, 복수의 영상들 중 제1 영상을 표시한다. 일 실시예에 따르면, 상기 제1 영상은, 리포커스 가능한 영상에 대응하는 영상들의 그룹 중, 가장 넓은 FOV를 가지는 영상일 수 있다. 단계 S404는 단계 S302와 대응되므로 구체적인 설명은 생략하기로 한다.

영상 처리 장치(100)는, 단계 S406에서, 제어 입력에 기초하여, 복수의 영상들 중 제1 영상과 다른 줌 레벨의 제2 영상을 표시한다. 상기 제2 영상은, 제1 영상을 선택된 관심 영역에 대해 줌 인한 영상일 수 있다.

도 5는 개시된 일 실시예에 따라, 영상 처리 장치(100)에서 복수의 이미지를 캡쳐하는 방법을 도시한 흐름도이다.

단계 S502에서, 영상 처리 장치(100)는 FOV 내의 복수개의 객체들을 인식한다. 일 실시예에 따르면, 영상 처리 장치(100)는 영상 처리 장치(100)에 구비된 센서를 이용하여 FOV 내 복수개의 객체들을 인식한다. 다른 실시예에 다르면, 영상 처리 장치(100)는 객체 인식 알고리즘을 이용하여 FOV 내에서 복수개의 객체들을 인식한다.

단계 S504에서, 영상 처리 장치(100)는 인식된 복수개의 객체들 중 하나 이상의 객체들에 대해 복수의 줌 레벨에서 줌 기능을 활성화한다. 일 실시예에 따르면, 영상 처리 장치(100)는 촬상 소자가 복수의 줌 레벨에서 객체들에 대해 줌 기능을 활성화하도록 한다.

단계 S506에서, 영상 처리 장치(100)는 각각의 줌 레벨에서 하나 이상의 객체들에 대해 하나 이상의 이미지를 캡쳐한다. 종래의 방법들과는 다르게, 영상 처리 장치(100)는 촬상 소자가 각각의 줌 레벨에서 객체들의 이미지를 캡쳐하도록 한다.

단계 S508에서, 영상 처리 장치(100)는 각각의 줌 레벨에서 캡쳐된 이미지들에 기초하여 리포커스 가능한 이미지를 생성한다. 영상 처리 장치(100)는 캡쳐된 이미지들에 기초하여 리포커스 가능한 이미지를 생성한다.

단계 S510에서, 영상 처리 장치(100)는 리포커스 가능한 이미지를 저장부(130)에 저장한다.

일 실시예에서, 객체들에 대해 리포커스 가능한 이미지는 동일한 줌 레벨에서 생성될 수 있다. 리포커스 가능한 이미지를 생성하기 위하여, 동일한 줌 레벨에서 복수개의 이미지들이 캡쳐된다. 일 실시예에 따르면, 영상 처리 장치(100)는 동일한 초점 면으로 귀결된 복수의 객체들이 서로 다른 초점 면에서 인지되도록, 복수의 객체들을 포함하는 FOV로 줌 인하고, 복수의 객체들(또는 ROI들)에 순차적으로 포커싱한다. 모든 캡쳐된 이미지들은 리포커스 효과를 가진 리포커스 가능한 이미지를 생성하기 위해 결합된다. 리포커스 효과를 제공함으로써, 사용자는 동일한 깊이 내의 각각의 객체를 선택하고, 각각의 객체들에 초점이 맞는(in focus) 객체를 볼 수 있다.

개시된 실시예들에 따르면, 동일한 초점 면 또는 깊이에 있는 것으로 인식되는 객체들에 대한 리포커스 가능한 효과가 있다. 이러한 경우, 촬상 소자는 객체들이 다른 초점 깊이에 있도록 하고, 리포커스를 위한 복수개의 이미지들을 캡쳐 하도록, 복수의 줌 레벨들로 자동적으로 줌 인한다.

도 6은 일 실시예 따른 사용자에 의한 관심 영역의 선택을 나타낸 도면이다.

단계 S602에서, 일 실시예에 따르면, 사용자는 촬영 전에 라이브뷰 모드에서 관심 영역을 선택할 수 있다. 처리부(120)는 라이브 뷰 모드에서, 소정의 기준에 의해 자동으로 결정된 관심 영역을 나타내는 프리뷰 박스(622, preview box)를 표시부(140)에 표시할 수 있다. 일 실시예에 따르면 자동으로 설정된 프리뷰 박스(622)의 중심(610)이 표시부(140)에 표시될 수 있다. 처리부(120)는 다양한 방법으로 프리뷰 박스(622)를 결정할 수 있다. 예를 들면, 처리부(120)는 객체 인식에 기반하여 인식된 객체 중 적어도 하나를 포함하도록 프리뷰 박스를 설정할 수 있다. 다른 예로서, 처리부(120)는 초점 값에 기초하여, 높은 초점 값을 갖는 영역을 중심으로 프리뷰 박스(622)를 설정할 수 있다. 다른 예로서, 처리부(120)는 얼굴 검출에 기초하여, 얼굴 영역을 포함하도록 프리뷰 박스(622)를 설정할 수 있다. 자동으로 결정된 프리뷰 박스(622)가 표시된 상태에서, 처리부(120)는 사용자 입력부를 통하여 프리뷰 박스(622)의 위치를 선택하는 사용자 입력을 수신할 수 있다. 예를 들면, 사용자는 줌 인하기 원하는 관심 영역을 나타내는 선택 박스의 중심(620)을 선택할 수 있다.

단계 S604에서, 촬영부(110)는 선택 박스의 중심(620)을 중심으로 하는 관심 영역에 대해 줌 인할 수 있다. 처리부(120)는 사용자의 선택에 의해 결정된 적어도 하나의 관심 영역 각각에 대해 적어도 하나의 영상을 촬영하도록 촬영부(110)를 제어한다.

도 7은 개시된 일 실시예에 따라, 복수의 줌 레벨에서 복수개의 이미지를 캡쳐하기 위해 ROI를 선택하는 예시적인 순서도이다. 도 7의 단계들의 시퀀스는 마이크로컨트롤러, 마이크로프로세서 또는 그와 같은 것에 의해 수행될 수 있다. 도 6을 참조하여 도 7의 각 단계의 동작을 설명한다.

단계 702에서, 영상 처리 장치(100)는 이미지를 캡쳐하는 동안에 FOV 내 복수개의 객체들을 인식하여 결정한다. 복수의 객체들이 인식되면, 사용자는 도 7에 도시된 바와 같이 바운딩 박스(bounding box)를 수동으로 선택할 수 있다.

단계 704에서, 자동으로 설정된 프리뷰 박스를 나타내는 바운딩 박스의 중심(610)과 사용자에 의해 선택된 바운딩 박스의 중심(620)간의 차이가 계산된다.

단계 706에서, 영상 처리 장치(100)는 사용자에 의해 선택된 바운딩 박스의 중심(620)으로 카메라 FOV의 중심을 조정하도록 사용자에게 안내한다.

단계 708에서, 바운딩 박스의 크기에 기초하여 줌 스케일이 계산된다. 예를 들면, 처리부(120)는 현재의 FOV의 크기 대비 바운딩 박스의 크기의 비율에 기초하여, 바운딩 박스로 FOV를 조절하기 위한 줌 레벨을 산출할 수 있다.

단계 710에서, 계산된 줌 레벨에 기초하여, 줌 기능이 활성화되고, 계산된 레벨로 줌 인된다.

단계 712에서, 도 6에 도시된 바와 같이, 계산된 스케일로 줌 인한 후에, 영상이 캡쳐된다.

도 7의 흐름도 내의 다양한 단계들은 도면에 도시된 순서로 수행되거나, 다른 순서로 수행되거나, 또는 동시에 수행될 수 있다. 더욱이, 일부 실시예들에서, 일부 동작들, 블록들, 단계들 또는 그와 같은 것들은 개시된 실시예들의 범위를 벗어나지 않고 생략되거나, 추가되거나, 수정되거나, 스킵되는 등 다양한 변형이 가능하다.

도 8은 일 실시예에 따라 자동으로 관심 영역을 결정하는 방법을 나타낸 흐름도이다.

단계 S802에서, 영상 처리 장치(100)는 입력 영상을 복수의 영역으로 분할한다. 일 실시예에 따르면, 영상 처리 장치(100)는 도 9에 도시된 바와 같이, 촬영부(110)에 의해 촬영된 입력 영상을 복수의 영역으로 분할할 수 있다. 각 영역의 크기 및 형태는 실시예에 따라 다양하게 결정될 수 있다. 또한 각각의 영역 마다 크기가 다를 수 있고, 모양도 다를 수 있다.

단계 S804에서, 영상 처리 장치(100)는 분할된 복수의 영역 각각에 대해 초점 값을 검출한다. 초점 값은 예를 들면, 광학 AF(auto focusing) 방식 또는 컨트라스트(contrast) AF 방식에 의해 산출될 수 있다. 광학 AF 방식에 따르면, AF 광학계로부터 검출된 신호에 기초하여 초점 값이 검출될 수 있다. 컨트라스트 AF 방식에 따르면, 입력 영상의 각 영역의 컨트라스트 값에 기초하여 초점 값이 검출될 수 있다.

단계 S806에서, 영상 처리 장치(100)는 초점 값의 변화가 있는 부분을 관심 영역으로 결정한다. 초점 값의 변화가 큰 부분은 하이 액티비티 영역(high activity area)으로서, 사용자가 관심 있을 가능성이 큰 부분이다. 따라서, 처리부(120)는 하이 액티비티 영역을 관심 영역으로 결정한다. 하이 액티비티 영역에 대해서는 도 9에서 보다 자세하게 살펴보기로 한다.

단계 S808에서, 영상 처리 장치(100)는 결정된 관심 영역에 대해 줌 인한다. 처리부(120)는 결정된 적어도 하나의 관심 영역 각각에 대해 적어도 하나의 영상을 촬영하도록 촬영부(110)를 제어한다.

도 9는 일 실시예에 따른 초점 값에 기초하여 하이 액티비티 영역(high activity area)을 관심 영역으로 결정하는 방식을 나타낸 도면이다. 도 8과 중복된 부분에 대해서는 구체적인 설명을 생략하기로 한다.

처리부(120)는 분할된 각각의 영역마다 초점 값을 검출할 수 있다. 또한, 처리부(120)는 검출된 초점 값의 변화가 큰 부분을 하이 액티비티 영역(920)으로 결정할 수 있고, 검출된 초점 값의 변화가 적은 부분을 로우 액티비티 영역(910)으로 결정할 수 있다. 여기서 초점 값의 변화가 크다고 함은, 인접한 영역들 사이에 초점 값의 차이가 큰 것을 의미한다. 도 9에 도시된 바와 같이, 하이 액티비티 영역(920)은 초점 값이 400, 520, 480, 및 460로서 변화가 큰 네 영역을 포함한 부분이다. 로우 액티비티 영역(910)은 초점 값이 모두 450인 세 영역을 포함한 부분이다. 하이 액티비티 영역(920)는 초점 값의 변화가 큰 부분으로서, 적어도 하나의 객체가 포함될 가능성이 높아, 사용자가 관심 있을 가능성이 높은 부분이다. 따라서, 영상 처리 장치(100)는 별도의 사용자 입력 없이도 자동으로, 하이 액티비티 영역(920)를 관심 영역으로 결정할 수 있다.

도 10은 일 실시예에 따라 같은 줌 레벨에서 서로 다른 초점 영상을 촬영하는 과정을 설명하기 위한 도면이다.

제1 영상(1010)과 제2 영상(1020)은 같은 줌 레벨에서 촬영된 서로 다른 초점을 갖는 영상들이다. 제1 영상(1010)은 가까운 뎁스(depth)의 제1 객체(1012)에 초점을 맞춰 촬영된 영상이고, 제2 영상(1020)은 먼 뎁스의 제2 객체(1016) 및 제3 객체(1018)에 초점을 맞춰 촬영된 영상이다. 뎁스는, 영상에서 소정 객체의 깊이감을 의미한다. 화살표(1014a)는 초점이 맞음(in-focus)을 나타내고, 화살표(1014b)는 초점이 맞지 않음(out-focus)을 나타낸다. 먼 뎁스의 제2 객체(1016) 및 제3 객체(1018)는 동일한 초점 면으로 귀결되어, 제1 영상(1010)에서와 같이 둘 다 초점이 맞지 않거나, 제2 영상(1020)에서와 같이 둘 다 초점이 맞는다. 동일 초점 면에 위치하는 것으로 인식되는 복수의 객체를 포함하는 영역(1030)은 도 11에서 자세히 살펴보기로 한다.

도 11은 일 실시예에 따라 동일 초점 면에 위치하는 것으로 인식되는 복수의 객체를 포함하는 영역에 줌 인하는 과정을 설명하기 위한 도면이다.

단계 S1102에서, 동일 초점 면에 위치하는 것으로 인식되는 복수의 객체를 포함하는 영역(1030)을 검출할 수 있다. 제2 객체(1016) 및 제3 객체(1018)가 동일 초점 면에 위치하는 것으로 인식되는 것은, 상기 객체들(1016, 1018)이 동일한 초점 면으로 귀결됨을 의미한다. 동일한 초점 면으로 귀결되는 복수의 객체들은 객체들 모두 초점이 맞거나, 초점이 맞지 않는다. 따라서, 제2 영상(1020)에서는 동일 초점 면에 위치하는 것으로 인식되는 제2 객체(1016) 및 제3 객체(1018) 모두 초점이 맞는다.

단계 S1104에서, 영상 처리 장치(100)는 동일 초점 면에 위치하는 것으로 인식되는 복수의 객체(1016, 1018)들을 포함하는 영역(1030)에 줌 인할 수 있다. 영상 처리 장치(100)가 동일한 초면 면으로 귀결된 제2 객체(1016) 및 제3 객체(1018)를 포함하는 영역(1030)에 줌 인 함으로써, 제2 객체(1016) 및 제3 객체(1018)는 서로 다른 초점 면으로 구분되므로, 복수의 객체들 각각에 초점을 맞출 수 있게 된다. 제3 영상(1110)은 가까운 거리의 제2 객체(1016)에 초점을 맞춰 촬영된 영상이고, 제4 영상(1120)은 먼 거리의 제3 객체(1018)에 초점을 맞춰 촬영된 영상이다.

줌 인한 제4 영상(1120)에는 복수의 객체를 포함하는 제3 객체(1018)가 존재하므로, 도 12에서 보다 자세히 살펴보겠다.

도 12는 일 실시예에 따라 동일 초점 면에 위치하는 것으로 인식되는 복수의 객체를 포함하는 영역에 줌 인하는 과정을 설명하기 위한 도면이다.

단계 S1202에서, 제4 영상(1120)에서 동일 초점 면에 위치하는 것으로 인식되는 제5 객체(1018a) 및 제6 객체(1018b)를 포함하는 영역(1130)이 검출될 수 있다. 동일 초점 면에 위치하는 것으로 인식되는 제5 객체(1018a) 및 제6 객체(1018b)는, 동일한 초점 면으로 귀결된다. 동일한 초점 면으로 귀결되는 복수의 객체들(1018a, 1018b)은 객체들 모두 초점이 맞거나, 초점이 맞지 않는다.

단계 S1204에서, 영상 처리 장치(100)는 동일 초점 면에 위치하는 것으로 인식되는 제5 객체(1018a) 및 제6 객체(1018b)를 포함하는 영역(1130)에 줌 인할 수 있다. 동일 초점 면에 위치하는 것으로 인식되는 제5 객체(1018a) 및 제6 객체(1018b)를 포함하는 영역(1130)에 줌 인 함으로써, 제5 객체(1018a) 및 제6 객체(1018b)는 서로 다른 초점 면에 있는 것으로 검출되어, 복수의 객체들 각각에 초점을 맞출 수 있게 된다. 제5 영상(1210)은 가까운 뎁스의 제5 객체(1018a)에 초점을 맞춰 촬영된 영상이고, 제6 영상(1220)은 먼 뎁스의 제6 객체(1018b)에 초점을 맞춰 촬영된 영상이다.

도 13은 일 실시예에 따라 관심 영역을 중심으로 FOV(Field of View)를 조절하도록 사용자 가이드를 제공하는 동작을 설명하기 위한 도면이다.

단계 S1302에서, 영상 처리 장치(100)는 관심 영역(1310)이 FOV의 중심으로 오도록, 사용자가 영상 처리 장치(100)를 이동시키는 행동을 유도하기 위한 가이드 정보를 출력한다. 가이드 정보는 FOV를 관심 영역(1310)으로 이동하기 위해 사용자가 취해야 할 동작에 대한 안내(1320, 1330), 현재 설정된 관심 영역(1310)을 나타내는 정보 등을 포함할 수 있다. 예를 들면, 가이드 정보는 사용자가 영상 처리 장치(100)를 이동시켜야할 방향을 나타내는 화살표(1330), 및 사용자의 동작을 설명하는 텍스트 메시지(1320) 등을 포함할 수 있다. 다른 실시예로서, 가이드 정보는 오디오, 동영상, 진동, LED 점멸 등 다양한 방식으로 출력될 수 있다. 영상 처리 장치(100)는 FOV가 변하는 동안, 관심 영역(1310)이 FOV의 중심에 위치하는지 여부를 판단한다. 이를 위해, 영상 처리 장치(100)는 설정된 관심 영역(1310)의 위치와 FOV의 위치의 차이가 기준 값 이하인지 여부를 판단할 수 있다.

관심 영역(1310)이 FOV의 중심에 오도록 FOV가 배치되면, 단계 S1304에서, 영상 처리 장치(100)는 관심 영역에 줌 인하고, 촬영을 수행한다. 일 실시예에 따르면, 영상 처리 장치(100)는 줌 인 동작 및 촬영 동작을 수행 중이라는 안내 메시지(1340)를 출력할 수 있다.

관심 영역으로 줌 인이 완료되면, 단계 S1306에서, 영상 처리 장치(100)는 관심 영역에 대응하는 FOV를 갖는 영상을 촬영한다. 일 실시예에 따르면, 영상 처리 장치(100)는 관심 영역으로 줌 인한 후, 관심 영역에 포함된 적어도 하나의 객체에 포커싱하는 동작을 추가로 수행할 수 있다. 일 실시예에 따르면, 영상 처리 장치(100)는 관심 영역에 두 개 이상의 객체가 있는 경우, 각 객체에 차례로 포커싱하면서 초점이 다른 둘 이상의 영상을 촬영할 수 있다.

도 14는 일 실시예에 따라 리포커스 가능한 영상을 저장하는 방식을 설명하기 위한 도면이다.

본 실시예에 따르면, 초점을 변경할 수 있는 영상과 관련된 복수의 영상 파일들의 헤더에 리포커스 정보(1440)를 포함할 수 있다. 리포커스 정보(1440)는 해당 영상이 리포커스 가능한 영상이라는 정보, 리포커스 처리를 위해 참조할 파일의 경로, 같은 그룹에 속하는 영상들(1410, 1420, 1430) 간의 관계, 줌 레벨 정보, 초점 정보, 및 FOV 정보 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 리포커스 가능한 영상은 서로 다른 FOV 또는 서로 다른 초점을 갖는 영상 파일들의 그룹에 의해 구현될 수 있다. 그룹에 속하는 영상 파일들은 각각 개별 파일로 생성되거나, 소정의 형식에 따라 하나의 파일로 생성될 수 있다.

사용자가 선택한 초점에 해당하는 영상을 표시하기 위해서는, 서로 다른 FOV 또는 서로 다른 초점을 갖는 영상 파일들 사이의 관계 및 각 파일에 대한 정보를 관리해야 한다. 이를 위해, 본 실시예에서는, 복수의 영상 파일들의 헤더에 리포커스 정보(1440)를 저장하여, 영상 파일의 재생 시, 사용자가 선택한 초점에 대응하는 영상 파일을 검색하고 재생한다. 본 명세서에서는 같은 그룹 내에 3개의 영상 파일이 속하는 경우를 예로 들어 설명한다. 그러나 실시예에 따라 같은 그룹 내에 속하는 영상 파일의 개수, 영상 파일들의 데이터 구조, 형식 등을 달라질 수 있다.

제1 영상 파일(1410), 제2 영상 파일(1420), 및 제3 영상 파일(1430)은 헤더(1412, 1422, 1432)에 해당 영상이 리포커스 가능한 영상이라는 정보, 영상들(1410, 1420, 1430) 간의 관계, 줌 레벨 정보, 초점 정보, FOV 정보 등을 저장할 수 있다.

해당 영상이 리포커스 가능한 영상이라는 정보는 해당 파일이 리포커스 가능한 영상임을 알려주는 정보이다.

리포커스 처리를 위해 참조할 파일의 경로는, 리포커스 가능한 영상 그룹에 속하는 다른 영상 파일의 경로를 나타낸다. 예를 들면, 제1 영상 파일(1410)은 리포커스 정보에 제2 영상 파일(1420)의 경로 및 제3 영상 파일(1430)의 경로를 포함할 수 있다.

영상들 간의 관계 정보는, 같은 그룹에 속하는 영상 파일들을 나타낸다. 또한 영상들 간의 관계 정보는, 해당 영상 파일 이외의 파일들의 FOV에 대한 정보, 줌 레벨에 대한 정보, 초점 정보, 객체 정보 등을 포함할 수 있다. 일 실시예에 따르면, 제1 영상 파일(1410), 제2 영상 파일(1420) 및 제3 영상 파일(1430) 중 적어도 어느 둘이 동일한 객체 또는 관심 영역을 포함하는 영상들이라는 관계가 있을 수 있다. 또한, 제1 영상 파일(1410), 제2 영상 파일(1420) 및 제3 영상 파일(1430) 중 적어도 어느 둘이 같은 줌 레벨에서 서로 다른 초점을 가지는 영상이라는 관계가 있을 수 있다.

줌 레벨 정보는 해당 영상 파일의 줌 레벨에 대한 정보를 나타낸다. 초점 정보는 해당 영상 파일이 영상 내의 어떠한 객체에 초점을 맞추었는지에 대한 정보를 나타낸다. FOV 정보는 해당 영상 파일의 FOV의 위치에 대한 정보를 나타낸다.

도 15는 일 실시예에 따라 리포커스 가능한 영상을 저장하는 방식을 설명하기 위한 도면이다.

일 실시예에 따르면, 리포커스 정보를 저장하는 별개의 리포커스 정보 파일(1560)을 생성하여 저장하고, 각 영상 파일들(1510, 1520, 1530)에 리포커스 정보 파일(1560)에 대한 정보를 저장할 수 있다. 리포커스 정보 파일(1560)에 대한 정보는 예를 들면, 리포커스 정보 파일(1560)의 파일명 및 경로 정보를 포함할 수 있다. 리포커스 정보는 예를 들면, 리포커스와 관련된 영상 파일들(1510, 1520, 1530)에 대한 정보, 각 영상 파일의 줌 레벨 정보, FOV 정보, 초점 정보 등을 포함할 수 있다. 리포커스와 관련된 영상 파일들(1510, 1520, 1530)에 대한 정보는 예를 들면, 각 파일의 파일명 및 경로 정보를 포함할 수 있다.

예를 들면, 도 15에 도시된 바와 같이, 각 영상 파일들 헤더(1510, 1520, 1530)에 해당 파일이 리포커스 가능한 영상이라는 정보 및 리포커스 정보 파일(1560)에 대한 정보를 저장할 수 있다. 따라서, 각 영상 파일들의 헤더만 살펴보아도, 리포커스 가능한 영상인지 알 수 있고, 리포커스 정보 파일이 어떤 경로에 위치하는지를 알 수 있다. 또한, 리포커스 정보 파일을 살펴보면, 어떤 영상 파일들이 리포커스 가능한 영상의 그룹에 포함되는지를 확인할 수 있다.

상기 별개의 리포커스 정보 파일을 생성하는 방식은, 리포커스 가능한 영상에 해당되는 영상 파일들이 많을 경우, 유용할 수 있다.

도 16은 개시된 일 실시예에 따라, 영상 내 리포커싱에 대한 방법을 도시하는 흐름도이다.

단계 S1602에서, 영상 처리 장치(100)는 복수개의 객체들을 포함하는 리포커스 가능한 영상을 디스플레이한다. 영상 처리 장치(100)는 표시부(140)가 복수개의 객체들을 포함하는 리포커스 가능한 영상을 디스플레이하도록 한다. 리포커스 가능한 영상은 소정의 줌 레벨에서 캡쳐된 각각의 객체에 대응하는 영상들을 포함한다.

단계 S1604에서, 영상 처리 장치(100)는 복수개의 객체들 중 어떠한 객체 상의 제스처를 검출한다. 영상 처리 장치(100)는 사용자 입력부가 복수개의 객체들 중 어떠한 객체 상의 제스처를 검출하도록 한다. 본 실시예에 따른 사용자 입력부는 터치 스크린, 터치 패널, 터치 패드, 트랙 볼, 자이로 센서, 가속도 센서 등을 포함할 수 있다. 처리부(120)는 사용자 입력부의 검출 신호에 근거하여, 제스처를 검출하고 인식한다. 일 실시예에 따르면, 적어도 하나의 객체에 대응하는 표시(indicia)가 적어도 하나의 객체에 초점을 맞추기 위해 표시된다. 일 실시예에 따르면, 제스처는 초점 도메인 내에서 객체를 지시한다. 초점 도메인은 근 초점 및 원 초점 중 하나이다. 단계 S1606에서, 영상 처리 장치(100)는 리포커스 가능한 영상 내의 객체에 대응하는 영상을 디스플레이한다. 처리부(120)는 제스처에 기초하여 객체 내의 적어도 하나의 포커스 가능한 점을 결정하고, 적어도 하나의 포커스 가능한 점에 기초하여 적어도 하나의 영상 내의 객체에 포커스 하도록 촬영부(110)를 제어한다.

도 17는 일 실시예에 따라 리포커스 가능한 영상을 표시하는 방법을 도시한 도면이다.

본 실시예에 따르면, 리포커스 가능한 영상을 표시할 때, 스크롤바(1716) 상에서 사용자가 줌 레벨을 선택하는 선택 아이콘(1714)을 이동시킴에 의해, 원하는 줌 레벨을 선택하도록 할 수 있다. 본 실시예에 따르면, 변경 가능한 줌 레벨의 전체 범위에 대응하는 스크롤 바(1716)가 표시되고, 사용자가 스크롤 바(1716) 상에서 선택 아이콘(1714)을 이동시킴에 의해, 사용자가 현재 표시되는 영상이 전체 표현 가능한 줌 레벨 중 어디에 해당하는지를 용이하게 파악할 수 있는 효과가 있다.

단계 S1702에서, 영상 처리 장치(100)는 제1 줌 레벨의 제1 영상(1710)을 표시한다. 제1 줌 레벨의 제1 영상(1710)은 선택 아이콘(1714)에 의해 설정된 줌 레벨에 대응하는 영상이다. 일 실시예에 따르면, 제1 줌 레벨의 제1 영상(1710)에서 줌 인되는 경우, 어느 영역으로 줌인 되는지를 나타내는 박스(1712)가 표시될 수 있다. 단계 S1702에서 선택 아이콘(1714)을 줌 인 방향, 즉 제1 아이콘(1717)이 표시된 방향으로 이동시키는 사용자 입력이 입력되면, 1712 박스의 영역에 대응하는 영역으로 줌 인된 제2 줌 레벨의 제2 영상(1720)이 표시된다(S1704). 제2 줌 레벨로부터 추가적으로 줌 인된 제3 영상이 존재하는 경우, 영상 처리 장치(100)는 제3 영역의 FOV에 대응하는 박스(1722)를 제2 영상(1720) 상에 표시한다. 사용자 입력에 따라 추가적으로 줌 인되는 경우, 1722 박스의 영역에 대응하는 제3 줌 레벨의 제3 영상(1730)이 표시된다(S1706).

또한, 사용자는 선택 아이콘(1714)을 줌 아웃 방향, 즉 제2 아이콘(1718)이 표시된 방향으로 이동시켜 현재 표시된 영상보다 낮은 줌 레벨의 영상이 표시되도록 할 수 있다.

도 18는 일 실시예에 따른 리포커스 가능한 영상을 나타낸 도면이다.

본 실시예에 따르면, 리포커스 가능한 제1 영상과 함께, 다른 줌 레벨 또는 다른 FOV의 영상이 표시될 수 있다. 다른 줌 레벨 또는 다른 FOV의 영상은 제1 영상 상에 팝업된 형태, 제1 영상의 대응하는 영역에 오버레이된 형태, 제1 영상(1800)과 별개의 영역에 표시된 형태 등 다양한 형태로 표시될 수 있다.

도 18은 제1 영상(1800) 상에 다른 줌 레벨 또는 다른 FOV의 영상이 팝업된 형태로 표시된 UI를 나타낸다. 본 실시예에 따르면, 제1 영상(1800)의 FOV 내에 포함되는 다른 FOV를 갖는 후보 영상들(1810a, 1810b, 1810c, 1810d)이 팝업 형태로 표시된다. 사용자는 팝업 형태로 표시된 후보 영상(1810a, 1810b, 1810c, 1810d)들 중 하나를 선택함에 의해, 선택된 영상을 큰 사이즈로 재생할 수 있다.

일 실시예에 따르면, 영상 처리 장치(100)는 제1 영상(1800)보다 더 큰 FOV를 갖는 후보 영상, 즉 제1 영상(1800)으로부터 줌 아웃된 후보 영상을 팝업 형태, 제1 영상(1800)과 별개의 영역에 표시된 형태 등으로 표시할 수 있다. 사용자는 제1 영상(1800)보다 더 큰 FOV의 후보 영상을 선택함에 의해, 더 큰 FOV의 영상을 큰 사이즈로 재생할 수 있다.

도 19는 일 실시예에 따라 관심 영역을 선택하는 동작을 나타낸 도면이다.

일 실시예에 따르면, 관심 영역을 선택하는 사용자 입력이 드래그(drag) 방식 또는 호버링(hovering) 방식으로 입력될 수 있다.

단계 S1902에서, 사용자는 제1 위치에서 화면을 터치하고, 제2 위치로 드래그한 후, 화면에서 손을 떼는 드래그 방식으로 관심 영역(1912)를 설정할 수 있다. 사용자의 드래그 제스처는 터치 스크린, 터치 패널, 터치 패드 등을 이용하여 검출될 수 있다.

다른 실시예에 따르면, 사용자는 화면을 터치하지 않고도 기계적 접촉 없이 화면의 근방에서, 제1 위치에서 제 2 위치까지 드래그한 후 홀드(hold)하는 호버링 방식으로 관심 영역(1912)을 설정할 수 있다. 사용자의 호버링 제스처는 근접 센서 등을 이용하여 검출될 수 있다.

단계 S1904에서, 영상 처리 장치(100)는 드래그 또는 호버링 방식에 의해 설정된 관심 영역으로 줌 인한 영상을 표시한다. 일 실시예에 따르면, 스크롤 바(1916) 및 현재 표시된 영상(1910 또는 1920)에 대응하는 줌 레벨을 나타내는 아이콘(1914)이 재생 영상과 함께 표시될 수 있다. 도 19에 도시된 바와 같이, 재생 영상이 줌 인되면, 변경된 줌 레벨에 따라 아이콘(1914)의 위치가 스크롤 바(1916) 상에서 변경될 수 있다.

일 실시예에 따르면, 드래그 방식, 호버링 방식 등으로 관심 영역을 선택하는 UI와 함께, 스크롤 바(1916)에서 아이콘(1914)을 이동시켜 줌 레벨을 변경하는 UI를 함께 제공하는 것도 가능하다.

도 20은 일 실시예에 따라 관심 영역을 선택하는 동작을 나타낸 도면이다.

일 실시예에 따르면, 영상 처리 장치(100)는 리포커스 가능한 FOV 영역을 나타내는 선택 박스(2018a, 2018b, 2018c)를 재생 영상(2010) 상에 표시할 수 있다. 선택 박스(2018a, 2018b, 2018c)는 리포커스 가능한 FOV를 나타낼 수 있다.

영상 처리 장치(100)는 단계 S2002에서, 선택 가능한 FOV를 나타내는 선택 박스들(2018a, 2018b, 2018c)을 제1 영상(2010) 상에 표시한다. 사용자가 선택 박스들(2018a, 2018b, 2018c) 중 하나를 선택하면(2012), 선택된 선택 박스(2018b)에 대응하는 영역으로 줌 인된 제2 영상(2020)이 표시된다(S2004). 표시된 영상의 줌 레벨이 변화함에 따라, 변화된 줌 레벨을 나타내는 아이콘(2014)이 스크롤 바(2016) 상에서 이동할 수 있다.

일 실시예에 따르면, 선택 박스를 선택하는 방식과 함께, 스크롤 바(1916)에서 아이콘(1914)을 이동시켜 줌 레벨을 변경하는 GUI를 함께 제공하는 것도 가능하다.

도 21은 일 실시예에 따른 영상 처리 메커니즘을 나타낸 흐름도이다.

단계 S2110에서, 복수의 줌 레벨에서 복수의 영상을 촬영할 수 있는지 여부를 판단한다. 여기서 복수의 줌 레벨에서 복수의 영상을 촬영할 수 있다고 함은, 입력 영상으로부터 적어도 하나의 객체가 검출된 경우, 적어도 하나의 하이 액티비티 영역이 검출된 경우, 얼굴이 검출된 경우 등일 수 있다.

복수의 줌 레벨에서 복수의 영상의 촬영 불가능한 경우, 단계 S2120에서, 영상 처리 장치(100)는 후 처리(post processing)로서, 기 촬영된 영상 내에서 하나 이상의 줌 인할 관심 영역을 결정한다. 관심 영역은 사용자의 선택에 의해서, 또는 초점 값의 변화를 감지하여 자동으로 결정될 수 있다.

단계 S2130에서, 영상 처리 장치(100)는 관심 영역 이외의 부분을 블러 처리한 하나 이상의 영상을 생성한다.

단계 S2140에서, 영상 처리 장치(100)는 영상 내의 복수의 줌 레벨에서 적어도 하나의 관심 영역에 대하여 리포커스 가능한 형태로 영상을 표시한다.

단계 S2150에서, 영상 처리 장치(100)는 사용자가 관심 영역을 선택하는지 판단한다.

사용자가 관심 영역을 선택한 경우, 영상 처리 장치(100)는 단계 S2160에서 사용자에 의해 선택된 관심 영역에 대해 자동으로 줌 인한다. 사용자의 관심 영역 선택 방식은 예를 들면, 앞서 도 19 및 도 20에서 설명된 실시예가 이용될 수 있다.

단계 S2170에서, 영상 처리 장치(100)는 복수의 줌 레벨에서 영상을 촬영한다.

사용자가 관심 영역을 선택하지 않은 경우, 영상 처리 장치(100)는 단계 S2180에서, 관심 영역을 자동으로 결정한다. 관심 영역을 자동으로 결정하는 방식은 예를 들면 도 8, 도 9에서 설명된 방식이 이용될 수 있다.

관심 영역이 결정되면, 영상 처리 장치(100)는, 단계 S2190에서, 자동으로 결정된 관심 영역에 대해 줌 인한다. 또한 영상 처리 장치(100)는 관심 영역들에 대해 복수의 줌 레벨에서 영상을 촬영하고(S2170), 리포커스 가능한 형태로 영상을 표시한다(S2140).

도 22는 일 실시예에 따른 후처리(post processing) 방식을 나타낸 도면이다.

본 실시예에 따르면, 촬영되어 저장된 영상들에 대해 후처리 함에 의해, 리포커스 가능한 영상을 생성할 수 있다. 본 실시예에 따르면, 저장부(130)에서 불러온 영상(2210)은 복수의 객체들을 포함하는 영상이다. 영상(2210) 내의 관심 영역들(2212, 2214)은 초점이 맞는 객체들을 포함한다. 사용자가 초점이 맞는 객체들 중 일부에만 관심이 있을 경우, 상기 일부의 객체를 제외하고는 블러(blur) 처리를 통해 리포커스 효과를 얻을 수 있다.

예를 들면, 영상 처리 장치(100)는 제1 관심 영역(2212)을 제외한 부분들을 블러 처리하여, 제1 관심 영역(2212)에 초점이 맞는 영상(2220)을 생성할 수 있다. 또한, 영상 처리 장치(100)는 제2 관심 영역(2214)을 제외한 부분들을 블러 처리하여, 제2 관심 영역(2214)에 초점이 맞는 영상(2230)을 생성할 수 있다.

도 23은 일 실시예에 따른 생체 인증(biometric authentication) 방법을 설명하기 위한 흐름도이다. 도 24는 일 실시예에 따른 생체 인증 방법을 설명하기 위한 도면이다.

단계 S2302에서, 영상 처리 장치(100)는 제1 줌 레벨의 입력 영상(2410)을 이용하여 얼굴 인증을 시도한다.

단계 S2304에서, 영상 처리 장치(100)는 제1 줌 레벨에서 촬영된 영상으로 얼굴 인증이 가능한지 판단한다. 예를 들면, 제1 줌 레벨에서 촬영된 영상의 얼굴 영역의 크기가 기준 값보다 작은 경우, 영상 처리 장치(100)는 얼굴 인증이 불가능하다고 판단될 수 있다. 다른 예로서, 제1 줌 레벨에서 촬영된 영상의 얼굴 영역에 초점이 맞지 않은 경우, 영상 처리 장치(100)는 얼굴 인증이 불가능하다고 판단할 수 있다.

얼굴 인증에 실패한 경우(S2304), 영상 처리 장치(100)는 얼굴 영역에 대응하는 FOV로 줌 인하여 재촬영한 후(S2306), 재촬영된 영상(2420)으로 얼굴 인증을 다시 수행한다(S2302). 일 실시예에 따르면, 리포커스 가능한 영상을 이용하여 얼굴 영역으로 리포커스하고, 리포커스된 영상으로부터 얼굴 인증을 수행할 수 있다.

얼굴 인증에 성공한 경우(S2304), 영상 처리 장치(100)는 입력 영상으로 홍채 인증을 수행할 수 있다(S2308). 홍채 인증에 실패한 경우(S2310), 영상 처리 장치(100)는 얼굴의 눈 영역에 대응하는 FOV로 재촬영한 후(S2312), 재촬영된 영상(2430)으로 홍채 인증을 다시 수행한다(S2308). 일 실시예에 따르면, 리포커스 가능한 영상을 이용하여 눈 영역으로 리포커스하고, 리포커스된 영상으로부터 홍채 인증을 수행할 수 있다.

도 25는 일 실시예에 따라 기가 픽셀 포토그래피(giga pixel photography) 영상을 제공하는 방법을 나타낸 도면이다.

영상 처리 장치(100)는 영상에서 복잡도가 높은 관심 영역에 대해 줌 인한 영상을 추가로 촬영하고 함께 저장함에 의해, 기가 픽셀 포토그래피 기능을 제공할 수 있다. 복잡도 높은 영역은 하나 이상의 객체를 포함하는 영역, 소정 개수 이상의 에지(edge)가 존재하는 영역, 텍스트가 존재하는 영역, 초점 값의 변화가 큰 영역 등으로 정의될 수 있다. 영상 처리 장치(100)는 자동으로 복잡도가 높은 관심 영역을 검출할 수 있고, 복수의 줌 레벨에서 리포커스 효과를 위해, 줌 인하여 촬영할 수 있다. 일 실시예에 따르면, 영상 처리 장치(100)는 자동으로 복잡도가 높은 영역을 관심 영역들(2512, 2514, 2516)으로 검출할 수 있다. 영상 처리 장치(100)는 검출한 관심 영역들(2512, 2514, 2516) 각각에 대하여 복수의 줌 레벨로 줌 인하여 촬영할 수 있다. 제2 영상(2520)은 제1 영상(2510)의 관심 영역(2512)에 대해 줌 인하여 촬영한 영상이고, 제3 영상(2530)은 제1 영상(2510)의 관심 영역(2514)에 대해 줌 인하여 촬영한 영상이고, 제4 영상(2540)은 제1 영상(2510)의 관심 영역(2516)에 대해 줌 인하여 촬영한 영상이다. 영상 처리 장치(100)는 제1 영상(2510), 제2 영상(2520), 제3 영상(2530), 및 제4 영상(2540)을 리포커스 가능한 영상의 그룹으로 함께 저장한다.

본 실시예에 따른 영상 처리 장치(100)는 제1 영상(2510)을 재생할 때, 사용자가 선택한 영역을 고해상도로 표시할 수 있다. 영상 처리 장치(100)는 사용자가 복잡도가 낮은 영역을 선택한 경우, 해당 영역을 확대하여 표시할 수 있다. 영상 처리 장치(100)는 사용자가 복잡도가 높은 영역을 선택한 경우, 해당 영역에 대해 줌 인하여 촬영한 다른 영상을 표시할 수 있다. 본 실시예에 따르면, 영상 처리 장치(100)는 복잡도가 높은 영역에 대해서도 영상이 깨지는 현상 없이 고해상도의 영상을 표시할 수 있는 효과가 있다.

도 26은 일 실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다. 도 27는 일 실시예에 따라 얼굴 영역을 촬영하는 동작을 나타낸 도면이다.

일 실시예에 따르면, 영상 처리 장치(100)는 얼굴 영역에 대해 줌 인하여 촬영된 영상을 추가적으로 저장하고, 얼굴 영역에 리포커스 가능한 영상을 제공할 수 있다. 본 실시예에 따른 영상 처리 장치(100)는 감시 카메라에서 얼굴을 검출하거나 인식하기 위해 이용될 수 있다.

영상 처리 장치(100)는 우선 입력 영상(2710)으로부터 얼굴 영역(2712, 2714)을 검출한다(S2602). 처리부(120)는 다양한 얼굴 검출 알고리즘을 이용하여 입력 영상으로부터 얼굴을 검출할 수 있다.

영상 처리 장치(100)는 입력 영상(2710)으로부터 얼굴 영역(2712, 2714)이 검출되면, 얼굴 영역에 대해 줌 인하여 재촬영하고(S2604), 줌 인하여 재촬영한 영상(2722, 2724)을 저장부(130)에 저장한다(S2606).

단계 S2602 및 단계 S2604는 얼굴이 충분히 잘 보여, 식별 가능할 때까지 반복될 수 있다.

재촬영한 영상(2722, 2724)에 복수의 얼굴 영역(2722, 2724)이 포함된 경우, 영상 처리 장치(100)는 각각의 얼굴 영역(2722, 2724)에 대해 줌 인하여, 각 얼굴 영역에 대한 복수의 영상(2730, 2740)을 추가적으로 촬영하고 저장할 수 있다.

도 28는 일 실시예에 따른 영상 처리 장치(2800)의 블록도이다.

도 28에 도시된 바와 같이, 일 실시예에 따른 영상 처리 장치(2800)는, 사용자 입력부(2810), 출력부(2820), 제어부(2830), 센싱부(2840), 통신부(2850), A/V 입력부(2860), 메모리(2870), 및 저장부(2880)를 포함할 수 있다. 그러나, 도 28에 도시된 구성 요소 모두가 영상 처리 장치(2800)의 필수 구성 요소인 것은 아니다. 도 28에 도시된 구성 요소보다 많은 구성 요소에 의해 영상 처리 장치(2800)가 구현될 수도 있고, 도 28에 도시된 구성 요소보다 적은 구성 요소에 의해 영상 처리 장치(2800)가 구현될 수도 있다. 도 28의 영상 처리 장치(2800)는 도 1의 영상 처리 장치(100)와 대응되므로 중복되는 설명은 생략한다.

사용자 입력부(2810)는, 앞서 언급한 영상 처리 장치(100)의 사용자 입력부(미도시)에 대응될 수 있다.

출력부(2820)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(2820)는 디스플레이부(2821), 음향 출력부(2822), 및 진동 모터(2833)를 포함할 수 있다.

디스플레이부(2821)는 영상 처리 장치(2800)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(1210)는, 라이브 뷰 모드에서 관심 영역 선택을 위한 선택 박스 사용자 인터페이스, 사용자 가이드, 촬영된 영상 등을 디스플레이 할 수 있다. 디스플레이부(2821)는 도 1의 표시부(140)에 대응될 수 있다.

한편, 디스플레이부(2821)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(2821)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(2821)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 영상 처리 장치(2800)의 구현 형태에 따라 영상 처리 장치(2800)는 디스플레이부(2821)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(2821)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.

음향 출력부(2832)는 통신부(2850)로부터 수신되거나 메모리(2870)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(2832)는 영상 처리 장치(2800)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(2832)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

진동 모터(2833)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(2833)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(2833)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.

제어부(2830)는, 통상적으로 영상 처리 장치(2800)의 전반적인 동작을 제어한다. 제어부(2830)는 하나 또는 그 이상의 프로세서 및 소정의 저장 공간(예를 들면, 캐시 메모리, 레지스터 등)을 포함할 수 있다. 예를 들어, 제어부(2830)는, 메모리(2870)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(2810), 출력부(2820), 센싱부(2840), 통신부(2850), A/V 입력부(2860) 등을 전반적으로 제어할 수 있다.

구체적으로, 제어부(2830)는, 도 1의 처리부(120)와 대응될 수 있다.

센싱부(2840)는, 영상 처리 장치(2800)의 상태 또는 영상 처리 장치(2800) 주변의 상태를 감지하고, 감지된 정보를 제어부(2830)로 전달할 수 있다.

센싱부(2840)는, 지자기 센서(Magnetic sensor)(2841), 가속도 센서(Acceleration sensor)(2842), 온/습도 센서(2843), 적외선 센서(2844), 자이로스코프 센서(2845), 위치 센서(예컨대, GPS)(2846), 기압 센서(2847), 근접 센서(2848), 및 RGB 센서(illuminance sensor)(2849) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.

통신부(2850)는, 영상 처리 장치(2800)와 서버(미도시) 또는 영상 처리 장치(2800)와 외부 기기(미도시) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(2850)는, 근거리 통신부(2851), 이동 통신부(2852), 방송 수신부(2853)를 포함할 수 있다.

근거리 통신부(short-range wireless communication unit)(2851)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

이동 통신부(2852)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

방송 수신부(2853)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 영상 처리 장치(2800)가 방송 수신부(2853)를 포함하지 않을 수도 있다.

또한, 통신부(2850)는, 필요한 정보를, 서버(미도시) 및 외부 기기(미도시)와 송수신할 수 있다.

A/V(Audio/Video) 입력부(2860)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(2861)와 마이크로폰(2862) 등이 포함될 수 있다. 카메라(2861)은 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지 영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 영상은 제어부(2862) 또는 별도의 영상 처리부(미도시)를 통해 처리될 수 있다.

카메라(2861)에서 처리된 화상 프레임은 메모리(2870)에 저장되거나 통신부(2850)를 통하여 외부로 전송될 수 있다. 카메라(2861)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.

카메라(2861)은 앞서 설명한 촬영부(110)와 대응되므로 구체적인 설명은 생략하기로 한다.

마이크로폰(2862)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(2862)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(2862)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.

메모리(2870)는, 제어부(2830)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 영상 처리 장치(2800)로 입력되거나 영상 처리 장치(2800)로부터 출력되는 데이터를 저장할 수도 있다.

메모리(2870)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

메모리(2870)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(2871), 터치 스크린 모듈(2872), 알림 모듈(2873) 등으로 분류될 수 있다.

UI 모듈(2871)은, 애플리케이션 별로 영상 처리 장치(2800)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(2872)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(2830)로 전달할 수 있다. 일부 실시예에 따른 터치 스크린 모듈(2872)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(2872)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.

터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.

또한, 터치스크린의 터치를 감지하기 위한 센서의 일례로 근접 센서가 있다.

근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다.

알림 모듈(2873)은 영상 처리 장치(2800)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 영상 처리 장치(2800)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(2873)은 디스플레이부(2821)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(2822)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(2823)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.

저장부(2880)은 앞서 설명한 도 1의 저장부(130)와 대응될 수 있다.

도 29는 개시된 일 실시예에 따라, 전자 디바이스 내에서 복수개의 이미지를 캡쳐하는 방법 및 시스템을 실시하는 컴퓨팅 환경을 도시한다.

도 29에 도시된 바와 같이, 컴퓨팅 환경(2902)은 제어부(2904) 및 ALU(arithmetric logic unit, 2906)를 갖춘 적어도 하나의 프로세서(2908), 메모리(2910), 저장부(2912), 복수의 네트워크 디바이스(2916) 및 입/출력부(2914)로 구성된다. 프로세서(2908)는 스킴(scheme)의 명령을 처리하는 역할을 한다. 프로세서(2908)는 제어부(2904)의 처리를 수행하기 위해 제어부(2904)로부터 명령을 수신한다. 또한, 명령의 실행과 연관된 논리적이고 산술적인 동작들은 ALU(2906)의 도움을 받아 산출된다.

전반적인 컴퓨팅 환경(2902)은 복수의 동종 또는 이종의 코어들, 다른 종류의 복수의 CPU들, 특정 미디어 및 다른 가속 장치(accelerator)로 구성될 수 있다. 프로세서(2908)는 스킴의 명령을 처리하는 역학을 한다. 또한, 복수의 프로세서(2908)들은 단일 칩 상에 걸쳐서 배치되거나, 또는 다중 칩에 걸쳐 배치될 수 있다.

구현을 위해 요구되는 명령어들 및 코드들로 이루어진 스킴은 메모리(2910) 또는 저장부(2912)에 저장되거나, 메모리(2910) 및 저장부(2912) 양쪽에 저장될 수 있다. 명령어가 실행될 때, 해당 명령어는 대응하는 메모리(2910) 또는 저장부(2912)로부터 불려지고, 프로세서(2908)에 의해 실행될 수 있다.

하드웨어 구현의 경우, 다양한 네트워크 디바이스(2916) 또는 외부의 I/O 디바이스(2914)가 네트워크 인터페이스 및 I/O 디바이스를 통한 구현을 지원하도록 컴퓨팅 환경에 연결될 수 있다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

1. 서로 다른 줌 레벨의 복수의 영상들을 촬영하는 촬영부;
   상기 복수의 영상들을 저장하는 저장부;
   상기 복수의 영상들 중 제1 영상을 표시하는 표시부; 및
   상기 제1 영상 내의 서로 다른 초점 면에 위치한 복수의 객체들의 복수의 영상을 촬영하도록 상기 촬영부를 제어하는 처리부를 포함하고,
   상기 처리부는, 관심 영역을 결정하고, 상기 관심 영역이 FOV(field of view)의 중앙에 위치하도록 FOV를 조절하기 위한 가이드 정보를 출력하고,
   상기 가이드 정보는, 사용자에 의해 수행될 동작 정보, 및 상기 관심 영역을 나타내는 정보를 포함하는, 영상 처리 장치.
2. 제1항에 있어서,
   상기 처리부는, 입력된 제어 신호에 의해 결정된 관심 영역을 포함하는 서로 다른 줌 레벨의 복수의 영상들을 촬영하도록 상기 촬영부를 제어하는, 영상 처리 장치.
3. 제1항에 있어서,
   상기 처리부는,
   상기 촬영부에 의해 촬영된 입력 영상의 초점 값에 기초하여 적어도 하나의 관심 영역을 설정하고,
   상기 적어도 하나의 관심 영역 각각에 대해 줌 인하여, 상기 적어도 하나의 관심 영역 각각에 대해 적어도 하나의 영상을 촬영하도록 상기 촬영부를 제어하는, 영상 처리 장치.
4. 제1항에 있어서,
   상기 처리부는,
   상기 촬영부에 의해 촬영된 입력 영상으로부터 동일한 초점 면으로 귀결되는 복수의 객체들을 검출하고,
   상기 복수의 객체들을 포함하는 영역에 대해 제1 줌 레벨로 줌 인하고, 상기 제1 줌 레벨에서 상기 복수의 객체들에 순차적으로 초점을 맞춰, 서로 다른 초점을 갖는 복수의 영상들을 촬영하도록 상기 촬영부를 제어하는, 영상 처리 장치.
5. 삭제
6. 제1항에 있어서,
   상기 표시부는, 서로 다른 줌 레벨을 갖는 복수의 영상을 표시하는, 영상 처리 장치.
7. 제6항에 있어서,
   상기 표시부는, 제1 줌 레벨의 상기 제1 영상을 표시하고, 상기 제1 영상 내에 포함된 적어도 하나의 관심 영역 각각에 대응하는 적어도 하나의 다른 줌 레벨 영상을 상기 제1 영상 상에 오버레이하여 표시하는, 영상 처리 장치.
8. 제1항에 있어서,
   상기 표시부는, 상기 제1 영상이 표시된 상태에서, 상기 제1 영상의 줌 레벨과 다른 줌 레벨의 영상의 FOV를 나타내는 표지를 상기 제1 영상 상에 표시하는, 영상 처리 장치.
9. 제1항에 있어서,
   상기 표시부는, 상기 제1 영상이 표시된 상태에서, 상기 제1 영상과 다른 초점을 갖는 영상에 대한 정보를 나타내는 표지를 상기 제1 영상 상에 표시하는, 영상 처리 장치.
10. ◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈

    제1항에 있어서,
    상기 저장부는,
    상기 서로 다른 줌 레벨의 복수의 영상들에 대한 식별 정보를 저장하고,
    상기 서로 다른 줌 레벨의 복수의 영상들에 대한 줌 레벨 정보, FOV 정보, 및 초점 정보 중 적어도 하나를 저장하는, 영상 처리 장치.
11. 서로 다른 줌 레벨의 복수의 영상들을 촬영하는 단계;
    상기 복수의 영상들 중 제1 영상을 표시하는 단계;
    상기 제1 영상 내의 서로 다른 초점 면에 위치한 복수의 객체들의 복수의 영상을 촬영하는 단계;
    관심 영역을 결정하는 단계; 및
    상기 관심 영역이 FOV(field of view)의 중앙에 위치하도록 FOV를 조절하기 위한 가이드 정보를 출력하는 단계를 포함하고,
    상기 가이드 정보는, 사용자에 의해 수행될 동작 정보, 및 상기 관심 영역을 나타내는 정보를 포함하는, 영상 처리 방법.
12. ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈

    제11항에 있어서,
    상기 촬영하는 단계는, 입력된 제어 신호에 의해 결정된 관심 영역에 대해, 서로 다른 줌 레벨의 복수의 영상들을 촬영하는 단계를 포함하는, 영상 처리 방법.
13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈

    제11항에 있어서,
    상기 영상 처리 방법은,
    입력 영상의 초점 값에 기초하여 적어도 하나의 관심 영역을 설정하는 단계를 더 포함하고,
    상기 촬영하는 단계는,
    상기 적어도 하나의 관심 영역 각각에 대해 줌 인하여, 상기 적어도 하나의 관심 영역 각각에 대해 적어도 하나의 영상을 촬영하는 단계를 포함하는, 영상 처리 방법.
14. ◈청구항 14은(는) 설정등록료 납부시 포기되었습니다.◈

    제11항에 있어서,
    상기 영상 처리 방법은,
    입력 영상으로부터 동일한 초점 면으로 귀결되는 복수의 객체들을 검출하는 단계를 더 포함하고,
    상기 촬영하는 단계는,
    상기 복수의 객체들을 포함하는 영역에 대해 제1 줌 레벨로 줌 인하는 단계; 및
    상기 제1 줌 레벨에서 상기 복수의 객체들에 순차적으로 초점을 맞춰, 서로 다른 초점을 갖는 복수의 영상들을 촬영하는 단계를 포함하는, 영상 처리 방법.
15. 삭제
16. ◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈

    제11항에 있어서,
    서로 다른 줌 레벨을 갖는 복수의 영상을 표시하는 단계를 더 포함하는, 영상 처리 방법.
17. ◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈

    제16항에 있어서,
    상기 복수의 영상들 중 적어도 하나의 영상을 표시하는 단계는,
    제1 줌 레벨의 상기 제1 영상을 표시하는 단계; 및
    상기 제1 영상 내에 포함된 적어도 하나의 관심 영역 각각에 대응하는 적어도 하나의 다른 줌 레벨 영상을 상기 제1 영상 상에 오버레이하여 표시하는 단계를 포함하는, 영상 처리 방법.
18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈

    제11항에 있어서,
    상기 제1 영상이 표시된 상태에서, 상기 제1 영상의 줌 레벨과 다른 줌 레벨의 영상의 FOV를 나타내는 표지를 상기 제1 영상 상에 표시하는 단계를 더 포함하는, 영상 처리 방법.
19. 서로 다른 줌 레벨의 복수의 영상들을 촬영하는 촬영부;
    상기 복수의 영상들 각각에 대해 리포커스 정보 및 영상 데이터를 포함하는 영상 파일을 생성하는 처리부; 및
    상기 영상 파일을 저장하는 저장부를 포함하고,
    상기 리포커스 정보는, 해당 영상 파일이 리포커스 가능한 영상이라는 정보, 및 리포커스 처리를 위해 참조할 파일의 경로를 포함하고,
    상기 처리부는,
    제1 영상 내의 서로 다른 초점 면에 위치한 복수의 객체들의 복수의 영상을 촬영하도록 상기 촬영부를 제어하고,
    관심 영역을 결정하고, 상기 관심 영역이 FOV(field of view)의 중앙에 위치하도록 FOV를 조절하기 위한 가이드 정보를 출력하고,
    상기 가이드 정보는, 사용자에 의해 수행될 동작 정보, 및 상기 관심 영역을 나타내는 정보를 포함하는, 영상 처리 장치.
20. 삭제

Images