KR102351542B1

KR102351542B1 - 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치

Info

Publication number: KR102351542B1
Application number: KR1020170079782A
Authority: KR
Inventors: 박동진; 강석재; 이지홍; 임준혁; 김채성
Original assignee: 삼성전자주식회사
Priority date: 2017-06-23
Filing date: 2017-06-23
Publication date: 2022-01-17
Also published as: US20180376122A1; US11228748B2; US20200137372A1; KR20190000591A; CN109120840A; US10616549B2

Abstract

디지털 촬영 장치는 복수의 카메라, 카메라 전환을 수행하는 애플리케이션 프로세서, 디스플레이를 포함한다. 애플리케이션 프로세서는 디스플레이에 출력되는 영상을 전환한다. 영상 전환 시, 전환 전 영상과 전환 후 영상 사이에는 가상시점 영상이 출력된다. 가상시점 영상은 전환 전 영상과 전환 후 영상 사이의 시차를 보간 하며 하나 이상 생성된다. 영상 전환 입력이 줌 배율 신호를 포함할 경우, 가상시점 영상은 입력된 줌 배율과 시차에 따라 보상 된 영상이다.

Description

시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치 {Application Processor including function of compensation of disparity, and digital photographing apparatus using the same}

본 개시는 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치에 관한 것이다.

디지털 촬영 장치로서 일반적으로 사용되는 스마트폰, 태블릿 PC, 디지털 카메라는 복수의 카메라를 포함할 수 있다.

디지털 촬영 장치의 전면에는 디스플레이가 배치되고, 후면에는 복수의 카메라가 배치될 수 있다.

디지털 촬영 장치의 후면에 배치된 복수의 카메라는 그 조합에 따라 광각 영상, 망원 영상을 선택적으로 촬영하여, 디스플레이 또는 저장할 수 있다.

복수의 카메라가 서로 다른 위치에 구비된 경우, 카메라 사이의 거리, 광축의 3차원 회전에 의해 복수의 카메라에서 촬영된 영상 사이에 시차(disparity)가 발생한다. 시차는 카메라와 피사체의 거리에 따라 다르게 나타난다.

디스플레이에 출력되는 영상의 촬영 수단을 어느 하나의 카메라에서 다른 카메라로 변경하는 경우, 양 카메라의 영상 사이의 시차로 인해 피사체의 위치가 갑자기 변하게 되므로, 부자연스러운 화면 전환이 발생한다.

본 개시에 따른 실시예들의 과제는 복수의 카메라에서 획득된 영상을 전환하여 출력할 때, 전환 전 영상과 전환 후 영상 사이의 시차를 보상하는 영상을 출력하여 자연스러운 영상 전환이 가능하도록 하는데 있다.

본 개시에 따른 실시예들의 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 개시에 따른 실시예들의 애플리케이션 프로세서는 제1 위치에서 제1 카메라로부터 획득한 제1 영상이 디스플레이 되고 있을 때, 제2 위치에서 제2 카메라로부터 획득한 제2 영상이 디스플레이 되도록 제어 신호를 발생시키고, 상기 제어 신호가 발생되면, 상기 제1 영상과 제2 영상을 이용하여 상기 제1 위치와 상기 제2 위치 사이의 하나 이상의 제3 위치로부터 획득할 수 있는 하나 이상의 제3 영상을 생성하여 순차적으로 디스플레이하고 난 후, 상기 제2 영상을 디스플레이 하도록 제어하는 중앙 처리 장치;를 포함할 수 있다.

본 개시에 따른 실시예들의 애플리케이션 프로세서는 줌 배율을 포함한 사용자 입력을 수신하는 입출력 인터페이스부; 제1 위치에서 제1 시야각을 갖는 제1 카메라에 의해 전경으로부터 획득한 제1 영상이 디스플레이 되고 있을 때, 제2 위치에서 제2 시야각을 갖는 제2 카메라에 의해 상기 전경으로부터 획득한 제2 영상이 디스플레이 되도록 제어 신호를 발생시키고, 제1 줌 배율과 제2 줌 배율 사이의 줌 배율에 따라 상기 제1 카메라로부터 획득되는 제1 줌 영상과 상기 제2 카메라로부터 획득되는 제2 줌 영상을 이용하여, 상기 제1 위치와 상기 제2 위치 사이의 하나 이상의 제3 위치에서 획득할 수 있는 하나 이상의 제3 영상을 생성하여 순차적으로 디스플레이하고, 상기 제2 줌 배율이 되면, 상기 제2 영상을 디스플레이 하도록 제어하는 중앙 처리 장치;를 포함할 수 있다.

본 개시에 따른 실시예들의 디지털 촬영 장치는 제1 위치에서 전경으로부터 광각 영상을 획득하는 광각 카메라; 제2 위치에서 전경으로부터 망원 영상을 획득하는 망원 카메라; 상기 광각 영상이 디스플레이 될 때, 상기 광각 영상 중 특정 영역에 대한 줌 요청 신호를 수신하여, 상기 광각 카메라에 의해 획득된 줌 광각 영상과 상기 망원 카메라에 의해 획득된 줌 망원 영상을 이용하여 상기 제1 위치와 상기 제2 위치 사이의 하나 이상의 제3 위치에서 획득할 수 있는 하나 이상의 제3 영상을 생성하여 디스플레이 하고 난 후, 상기 특정 영역에 대응하는 상기 줌 망원 영상을 디스플레이 하는 제어 신호를 발생시키는 애플리케이션 프로세서; 상기 제어 신호에 의해, 상기 광각 영상, 상기 줌 광각 영상, 상기 하나 이상의 제3 영상 및 상기 줌 망원 영상을 순차적으로 출력하는 디스플레이; 및 상기 제2 위치에서 획득한 줌 망원 영상과 상기 줌 망원 영상의 위치 정보, 방향 정보를 전송하고, 상기 줌 망원 영상에 매칭된 증강 정보를 수신하는 통신부를 구비할 수 있다.

본 개시에 따른 실시예들에 의하면, 복수의 카메라를 통해 촬영되어 시차를 갖는 영상을 자연스럽게 전환시켜 디스플레이 할 수 있다.

또한, 다양한 실시예들에 의하면, 출력 영상 전환 시의 전력 소모를 최소화할 수 있다.

또한, 다양한 실시예들에 의하면, 출력 영상 전환 속도를 높여, 영상 전환 처리의 신속성을 확보할 수 있다.

도 1은 본 개시의 일 실시예에 따른 애플리케이션 프로세서가 서로 다른 위치의 복수의 카메라를 통해 획득한 서로 다른 영상을 보여주는 도면이다.
도 2는 본 개시의 일 실시예에 따른 애플리케이션 프로세서가 서로 다른 위치의 복수의 카메라를 통해 획득한 서로 다른 영상 사이의 시차를 보여주는 도면이다.
도 3은 본 개시의 일 실시예에 따른 애플리케이션 프로세서에서 서로 다른 위치의 복수의 카메라를 통해 복수 개의 영상을 획득하고, 획득한 복수 개의 영상 사이의 위치에서 획득할 수 있는 가상시점 영상을 생성하는 것을 보여주는 도면이다.
도 4는 본 개시의 일 실시예에 따른 애플리케이션 프로세서를 포함하는 디지털 촬영 장치의 동작 방법의 흐름도이다.
도 5a, 도 5b는 본 개시의 일 실시예에 따른 애플리케이션 프로세서를 포함하는 디지털 촬영 장치가 카메라를 통해 획득한 영상을 기하학적으로 보정 처리하는 것과 깊이 맵을 작성하는 것을 보여주는 도면이다.
도 6a, 도 6b는 본 개시의 일 실시예에 따른 애플리케이션 프로세서의 구조를 설명하기 위한 블록도 및 시스템도이다.
도 7은 본 개시의 일 실시예에 따른 애플리케이션 프로세서가 줌 입력에 의해 서로 다른 위치에서 서로 다른 시야각을 갖는 복수의 카메라로 획득한 서로 다른 영상의 화질 차이, 시차를 보여주는 도면이다.
도 8은 본 개시의 일 실시예에 따른 애플리케이션 프로세서가 서로 다른 위치에서 서로 다른 시야각을 갖는 복수의 카메라를 통해 획득한 서로 다른 영상과, 획득한 서로 다른 영상 사이에 생성된 보간 영상으로서의 가상시점 영상을 보여주는 도면이다.
도 9, 도 10은 본 개시의 일 실시예에 따른 애플리케이션 프로세서를 포함하는 디지털 촬영 장치의 동작 방법의 흐름도이다.
도 11은 본 개시의 일 실시예에 따른 애플리케이션 프로세서가 줌 입력에 따라 카메라를 전환할 때, 디스플레이 되는 영상의 화질 변화와 소모 전력을 보여주는 도면이다.
도 12는 본 개시의 일 실시예에 따른 디지털 촬영 장치의 카메라 전환과 증강 정보 제공 방법의 단계를 보여주는 도면이다.
도 13a, 도 13b는 본 개시의 일 실시예에 따른 디지털 촬영 장치를 포함하는 전자 시스템의 증강 정보 제공부의 구성과 증강 정보 제공 순서를 설명하기 위한 도면이다.
도 14는 본 개시의 일 실시예에 따른 디지털 촬영 장치의 카메라 전환 방법을 보여주는 도면이다.

이하, 첨부된 도면을 참고로 하여 본 개시에 따른 실시예들의 디지털 촬영 장치 및 애플리케이션 프로세서를 설명한다.

본 개시의 일 실시예에 따른 애플리케이션 프로세서는 디지털 촬영 장치 등에 사용되는 반도체 장치이다. 디지털 촬영 장치는 디지털 카메라, 태블릿 PC, 스마트 폰, 노트북 및 웨어러블 장치 등의 기기나 이를 포함하는 장치일 수 있다. 디지털 촬영 장치는 CCD 이미지 센서나 CMOS 이미지 센서를 구비하는 복수 개의 카메라를 포함할 수 있다. 일 실시예에 따른 디지털 촬영 장치에 구비된 복수의 카메라는 서로 다른 위치에 배치되며, 서로 같은 종류이거나 서로 다른 종류의 조합일 수 있다.

도 1은 본 개시의 일 실시예에 따른 애플리케이션 프로세서가 서로 다른 위치의 복수의 카메라를 통해 획득한 서로 다른 영상을 보여주는 도면이다.

본 개시의 일 실시예에 따르면, 디지털 촬영 장치(100)에 포함된 카메라는 2개이고, 동일한 시야각(화각)을 가질 수 있다. 2개의 카메라는 제1 카메라(10), 제2 카메라(20)이고, 서로 다른 위치에 배치될 수 있다. 제1 카메라(10)는 제1 위치에서 제1 영상을 획득한다. 제2 카메라(20)는 제2 위치에서 제2 영상을 획득한다. 도 1을 참조하면, 제1 카메라(10)는 디지털 촬영 장치(100)에 배치된 좌 카메라이고, 제2 카메라(20)는 우 카메라이다. 제1 카메라(10)에서 획득한 제1 영상은 좌 영상(L)이고, 제2 카메라(20)에서 획득한 제2 영상은 우 영상(R)이다. 서로 다른 위치에 배치된 카메라로부터 획득한 좌 영상(L)과 우 영상(R)은 서로 같은 피사체를 포함하는 다른 영상일 수 있다.

도 2는 본 개시의 일 실시예에 따른 애플리케이션 프로세서가 서로 다른 위치의 복수의 카메라를 통해 획득한 서로 다른 영상 사이의 시차를 보여주는 도면이다.

도 2에서, 디스플레이(50) 상에 표시된 영상은 도 1의 좌 영상(L)와 우 영상(R)을 중첩하여 나타낸 것이다. 피사체가 상대적으로 우측에 존재하고 얇게 도시된 것이 좌 영상(L) 부분이다. 피사체가 상대적으로 좌측에 존재하고 두껍게 도시된 것이 우 영상(R) 부분이다. 도시된 바와 같이, 좌 영상(L)와 우 영상(R)에 포함된 동일한 피사체 사이에는 시차(disparity)가 존재할 수 있다. 시차는 좌 카메라와 우 카메라 사이의 거리, 광축의 방향에 따라 좌 영상(L)과 우 영상(R) 사이에서 피사체의 위치가 불일치하는 데서 발생한다.

디지털 촬영 장치(100)가 좌 카메라와 우 카메라 사이에서 카메라를 전환하는 사용자 입력을 수신하면, 애플리케이션 프로세서가 카메라 전환 제어 신호를 발생시켜 출력 영상을 획득하는 카메라를 좌 카메라에서 우 카메라로 또는 그 반대로 전환할 수 있다. 사용자 입력이 없는 경우에도, 설정된 조건에 따라 애플리케이션 프로세서가 카메자 전환 제어 신호를 발생시킬 수 있다. 카메라가 전환되면 좌 영상(L)에서 우 영상(R)으로 또는 우 영상(R)에서 좌 영상(L)으로 디스플레이(50)에 출력되는 영상도 전환될 수 있다.

도 3은 본 개시의 일 실시예에 따른 애플리케이션 프로세서에서 서로 다른 위치의 복수의 카메라를 통해 복수 개의 영상을 획득하고, 획득한 복수 개의 영상 사이의 위치에서 획득할 수 있는 가상시점 영상이 생성되는 것을 보여주는 도면이다.

도 3을 참조하면, 디지털 촬영 장치(100)는 동일한 시야각을 갖는 제1 카메라(10), 제2 카메라(20)를 포함할 수 있다. 제1 카메라(10)는 제1 위치에서 제1 영상을 획득하는 좌 카메라이고, 제2 카메라(20)는 제2 위치에서 제2 영상을 획득하는 우 카메라이다. 제1 카메라(10)에서 획득한 영상은 좌 영상(L)이고, 제2 카메라(20)에서 획득한 영상은 우 영상(R)이다.

본 개시의 일 실시예에 따르면, 제1 위치와 제2 위치 사이의 하나 이상의 가상의 제3 위치로부터 제3 영상을 획득할 수 있다. 제3 영상은 제3 위치에 배치되는 가상 카메라(30)에 의해 획득될 수 있는 가상시점 영상이다. 도시된 실시예에서, 가상시점 영상(V1, V2, V3)의 수는 3개이다. 가상시점 영상의 수는 좌 영상(L)와 우 영상(R)의 시차, 출력되는 영상의 FR(frame rate), 제3 영상을 출력하도록 설정된 시간에 따라 결정될 수 있다.

도 3의 하단에는 디지털 촬영 장치(100)가 디스플레이(50)에 출력하는 영상들이 순서대로 배열된 영상 열이 도시되어 있다. 제1 카메라(10)로부터 제2 카메라(20)로의 카메라 전환 제어 신호가 발생되면, 좌 영상(L)인 제1 영상, 복수의 가상시점 영상(V1, V2, V3)인 제3 영상, 우 영상(R)인 제2 영상이 순차적으로 디스플레이(50)에 출력될 수 있다. 제3 영상은 좌 영상(L)과 우 영상(R)을 합성한 것으로, 좌 영상(L)과 우 영상(R) 사이의 시차, 화질 차이 등을 보간 하는 보간 영상일 수 있다. 제1 영상, 복수의 제3 영상, 제2 영상이 순차 연속적으로 출력됨으로써, 제1 영상으로부터 제2 영상으로의 전환이 자연스럽게 수행될 수 있다.

도 3의 하단의 영상 열을 참조하면, 좌 영상(L)과 우 영상(R) 사이의 시차는 카메라와 피사체 사이의 거리 즉, 원근에 따라 피사체마다 서로 다르게 나타날 수 있다. 도시된 바와 같이, 영상 획득 위치인 제1 위치, 제2 위치에 상대적으로 가까이 위치한 피사체와 멀리 위치한 피사체의 시차는 서로 다르게 나타날 수 있다. 예를 들어, 도시된 실시예에서 남성에 대한 좌 영상(L)과 우 영상(R) 사이의 시차 량(D1)는 남성보다 멀리에 위치한 자동차에 대한 시차 량(D2)보다 크다.

"시차 량"은 제1 영상과 제2 영상에 포함된 동일한 피사체에 대한 시차의 총량을 의미하고, "보간 량"은 제1 영상과 제2 영상 중 시차 보상의 기준이 되는 영상에 대해 가상시점 영상이 갖는 가상의 시차 량을 의미한다.

도 3을 참고하면, 좌 영상(L)과 우 영상(R) 사이에 생성된 가상시점 영상(V1, V2, V3)은 3개이다. 가상시점 영상(V1, V2, V3)는 좌 영상(L)과 우 영상(R)을 이용하여, 양 영상(L, R) 사이의 각 피사체에 대한 시차를 균등하여 보간 함으로써 생성할 수 있다. 좌 영상(L)을 기준으로 하여, 남성에 대한 좌 영상(L)과 우 영상(R)의 총 시차 량(D1)을 100으로 가정한다. 첫 번째 가상시점 영상(V1)의 시차 보상 량은 25가 되며, 좌 영상(L)을 기준으로 피사체인 남성이 우 영상(R)에서의 피사체의 방향으로 25만큼 이동한다. 두 번째 가상시점 영상(V2)의 시차 보상 량은 50이 되고, 세 번째 가상시점 영상(V3)의 시차 보상 량은 75가 된다.

같은 방식으로, 좌 영상(L)을 기준으로 하여, 자동차에 대한 좌 영상(L)과 우 영상(R)의 총 시차 량(D2)을 40으로 가정한다. 좌 영상(L)에 가까운 가상시점 영상(V1)으로부터 각각의 가상시점 영상(V1, V2, V3)의 시차 보상 량이 10, 20, 30이 되도록 형성된다.

도 4는 본 개시의 일 실시예에 따른 애플리케이션 프로세서를 포함하는 디지털 촬영 장치의 동작 방법의 흐름도이다. 도 5a는 본 개시의 일 실시예에 따른 애플리케이션 프로세서를 포함하는 디지털 촬영 장치가 카메라를 통해 획득한 영상을 기하학적으로 보정하는 것을 보여주는 도면이다. 도 5b는 본 개시의 일 실시예에 따른 디지털 촬영 장치가 기하학적으로 보정된 영상을 이용하여 깊이 맵을 작성하는 것을 보여주는 도면이다.

일 실시예에 따르면, 디지털 촬영 장치(100)는 제1 카메라(10)로부터 제1 영상을 획득하고, 제2 카메라(20)로부터 제2 영상을 획득하여 제1 영상을 디스플레이(50)에 출력할 수 있다. 제1 카메라(10)와 제2 카메라(20)는 서로 다른 제1 위치, 제2 위치에 배치되고, 동일한 시야각을 가질 수 있다. 제1 영상과 제2 영상 사이에는 제1 위치와 제2 위치 사이의 거리로 인해 시차가 발생하고, 제1 영상과 제2 영상에 포함된 피사체의 원근에 따라 발생되는 시차 량이 다를 수 있다.

제1 카메라(10), 제2 카메라(20)는 영상을 획득할 때 이외에도 ON 상태를 유지할 수 있다. 본 개시의 실시예에 대한 설명에서 "영상을 획득하는 것"은 "디스플레이 되는 영상 또는 가상시점 영상 합성에 이용되는 영상을 카메라 촬영을 통해 얻는 것"을 의미한다.

단계 S110에서, 디지털 촬영 장치(100)는 제1 위치에서 제1 카메라(10)에 의해 제1 영상을 획득하여 디스플레이(50)에 출력할 수 있다.

단계 S120에서, 애플리케이션 프로세서는 제1 카메라(10)를 제2 카메라(20)로 전환하는 제어 신호를 발생할 수 있다. 카메라 전환 제어 신호는 사용자의 터치 조작, 줌 조작, 주시 등 사용자 입력에 대응하여 발생할 수 있다. 카메라 전환 제어 신호는 사용자 입력이 없는 경우에도, 설정된 조건에 따라 발생할 수 있다.

단계 S130에서, 애플리케이션 프로세서의 카메라 전환 제어 신호에 따라 제2 위치에서 제2 카메라(20)에 의해 제2 영상을 획득할 수 있다.

단계 S140에서, 애플리케이션 프로세서는 카메라 전환 제어 신호에 따라, 제1 영상과 제2 영상 사이의 가상시점 영상인 제3 영상을 생성할 수 있다. 제3 영상은 제1 위치와 제2 위치 사이의 복수의 가상시점인 제3 위치에서 획득될 수 있는 영상일 수 있다. 제3 영상은 제1 위치에서 제1 카메라(10)에 의해 획득한 제1 영상과 제2 위치에서 제2 카메라(20)에 의해 획득한 제2 영상을 합성하여 생성한 합성 영상일 수 있다. 생성된 제3 영상은 제1 영상과 제2 영상 사이의 시차를 보간 하는 가상시점 영상(V)일 수 있다. 단계 S140에서 생성된 제3 영상들은 설정된 시간 동안 연속적으로 디스플레이(50)에 출력될 수 있다.

도 5a를 참조하면, 제1 카메라(10)에 의해 획득된 원 좌 영상(L_R)과 제2 카메라(20)에 의해 획득된 원 우 영상(R_R)은 렌즈 속성에 따라 영상의 왜곡을 포함할 수 있다. 영상의 왜곡은 시야각에 따라 영상의 중심에서 외곽으로 갈수록 커질 수 있다. 왜곡을 포함하는 영상은 와핑(warping) 등에 의해 좌 영상(L)과 우 영상(R)으로 기하학적 보정될 수 있다. 영상의 왜곡이 보정된 후, 좌 영상(L)과 우 영상(R)의 수평 방향으로 행-정렬되도록 얼라인을 수행할 수 있다. 단계 S140 이후의 단계에서의 제1 영상, 제2 영상은 각각 왜곡이 보정되고, 복수 영상 사이의 얼라인을 맞추어 기하학적 보정 처리된 영상을 의미한다.

도 5b를 참조하면, 디지털 촬영 장치(100)는 제1 카메라(10)와 제2 카메라(20)에 의해 획득한 제1 영상, 제2 영상에 사이의 시차가 표시되는 시차 맵을 작성할 수 있다. 작성된 시차 맵에 기초하여 피사체의 원근을 나타내는 깊이 맵을 작성할 수 있다. 시차 맵의 시차와 깊이 맵의 깊이는 서로 반비례 관계이다.

작성된 시차 맵 또는 깊이 맵에 의해 획득한 제1 영상과 제2 영상 사이의 시차를 균등 또는 차등하여 보상한 1개 이상의 가상시점 영상(V)을 생성할 수 있다. 생성된 가상시점 영상(V)은 전환 전 영상인 제1 영상과 최소 시차를 갖도록 보정된 영상으로부터 최대 시차를 갖도록 보정된 영상 순으로 순차적, 연속적으로 출력될 수 있다.

단계 S150에서, 가상시점 영상(V)이 모두 출력된 후, 제2 위치에서 제2 카메라(20)에 의해 획득한 제2 영상을 출력할 수 있다. 제2 영상이 출력되기 전에 제1 영상, 제2 영상 사이에 시차를 보상할 수 있는 가상시점 영상(V)이 순차적, 연속적으로 출력됨으로써, 카메라 전환에 따른 이질감을 해소하고, 자연스러운 영상 전환을 수행할 수 있다.

도 6a, 도 6b는 각각 본 개시의 일 실시예에 따른 애플리케이션 프로세서의 구조를 설명하기 위한 블록도 및 시스템도이다.

일 실시예에 따른 디지털 촬영 장치(100)는 제1 카메라(10), 제2 카메라(20), 애플리케이션 프로세서(40), 디스플레이(50), 입력부(60)를 포함할 수 있다.

도 6a, 도 6b를 참조하면, 애플리케이션 프로세서(40)는 입출력 인터페이스부(42)를 통해 제1 카메라(10), 제2 카메라(20), 디스플레이(50), 입력부(60), GPS 수신부(70), 통신부(80) 등에 연결되어, 이들 주변 기기를 제어할 수 있다.

일 실시예에 따르면, 제1 카메라(10), 제2 카메라(20)는 각각 적어도 하나의 렌즈와 이미지 센서(미도시)를 포함할 수 있다. 이미지 센서로는 CCD 이미지 센서, CMOS 이미지 센서가 사용될 수 있다. 제1 카메라(10), 제2 카메라(20)는 동일한 시야각을 갖거나 서로 다른 시야각을 가질 수 있다. 예를 들어, 시야각이 서로 다른 광각 카메라와 망원 카메라를 조합하여 사용할 수 있다.

일 실시예에 따르면, 디지털 촬영 장치(100)에 구비된 복수의 카메라 중 어느 하나 이상은 디지털 촬영 장치(100)와 상대적으로 이동할 수 있다. 예를 들어, 디지털 촬영 장치(100)가 망원 카메라를 포함하는 경우, 사용자의 입력에 따라 변경되는 대상 영역을 촬영하도록 망원 카메라가 움직일 수 있다. 망원 카메라는 피에조 모터 등을 이용하여 상, 하, 좌, 우로 이동하거나 틸트하도록 구성될 수 있다.

제1 카메라(10), 제2 카메라(20)에 의해 획득된 영상은 이미지 신호 처리기(ISP - image signal processor, 43)에서 영상 처리된 후, 애플리케이션 프로세서(40)의 중앙 처리 장치(41)로 전송될 수 있다. 상기 이미지 신호 처리기(43)는 각각의 카메라(10, 20)에 개별적으로 연결되도록 카메라 수에 대응하여 구비될 수 있다. 이미지 신호 처리기(43)에 의해 각 카메라(10, 20)로부터 획득한 이미지의 초점, 노출, 화이트 밸런스를 제어하여, 선명한 영상을 획득할 수 있다. 이미지 신호 처리된 영상 신호는 중앙 처리 장치(41)에 전송될 수 있다. 도 6a의 실시예에서는 이미지 신호 처리기(43)가 애플리케이션 프로세서(40)에 포함되어 있으나, 본 개시의 실시예는 이에 한정되지 않는다. 이미지 신호 처리기(43)는 애플리케이션 프로세서(40)와 각 카메라(10, 20) 사이에 위치하거나, 각 카메라(10, 20)에 내장될 수 있다.

디스플레이(50)는 애플리케이션 프로세서(40)에 연결되고, 중앙 처리 장치(41)로부터 출력 영상 데이터와 출력 명령을 수신하여, 영상을 출력할 수 있다. 출력 영상은 카메라로부터 전달 받은 영상을 실시간으로 보여주는 라이브 뷰 영상일 수 있다.

입력부(60)는 애플리케이션 프로세서(40)에 연결되고, 사용자 입력을 수신하여, 중앙 처리 장치(41)에 전달할 수 있다. 입력부(60)는 예를 들어, 터치 스크린, 모션 인식 센서, 촉각 센서, 시선 검출 센서를 포함할 수 있다. 입력부(60)를 통해 획득한 사용자 입력은 중앙 처리 장치(41)에 전달될 수 있다.

애플리케이션 프로세서(40)는 카메라 등의 주변 기기와 중앙 처리 장치(41)를 연결하는 입출력 인터페이스부(42), 주변 기기를 제어하는 중앙 처리 장치(41)를 포함할 수 있다.

입출력 인터페이스부(42)는 주변 기기로부터의 입력을 수신하고, 중앙 처리 장치(41)로부터의 출력을 송신할 수 있다.

중앙 처리 장치(41)는 카메라 전환 제어 신호를 발생시키고, 가상시점 영상을 합성하여, 이를 디스플레이(50)에 출력되도록 제어할 수 있다.

일 실시예에 따르면, 중앙 처리 장치(41)는 CPU, GPU, GPGPU 등의 처리 유닛과 프로그램이 저장된 메모리의 조합으로 구현될 수도 있고, 다른 형태의 하드웨어로 구현될 수도 있다. 중앙 처리 장치(41)는 메모리에 저장된 카메라 전환 프로그램을 실행하거나, 별도의 디지털 신호 처리기(DSP)와 같은 카메라 전환 이미지 발생기를 포함할 수 있다. 중앙 처리 장치(41)는 디스플레이(50)와 연결되어, 카메라(10, 20)로부터 입력된 영상 신호나 합성된 가상시점 영상이 출력되도록 출력 영상 데이터와 출력 명령을 디스플레이(50)에 전송할 수 있다.

도 6a를 참고하면, 중앙 처리 장치(41)는 가상시점 영상(V)을 생성할 수 있다. 생성된 가상시점 영상(V)은 중앙 처리 장치(41)의 출력 명령에 따라 디스플레이(50)에 출력될 수 있다.

일 실시예에 따르면, 중앙 처리 장치(41)는 사용자로부터 카메라 전환 명령을 입력 받거나, 설정 조건이 충족될 경우 카메라 전환 제어 신호를 발생시킬 수 있다. 중앙 처리 장치(41)가 CPU와 메모리의 조합일 경우, CPU는 메모리에 저장된 카메라 전환 프로그램을 이용하여 가상시점 영상(V)을 생성할 수 있다. 중앙 처리 장치(41)는 별도의 하드웨어로서 카메라 전환 이미지 발생기를 포함할 수 있다. 카메라 전환 이미지 발생기는 카메라 전환 이미지를 생성하는 전용의 하드웨어이며, 신호 처리 프로세서(DSP)일 수 있다. 별도의 카메라 전환 이미지 발생기를 구비할 경우, 출력 영상의 전환 속도를 높여, 영상 전환 처리의 신속성을 확보할 수 있다.

일 실시에에 따르면, 카메라 전환 이미지 발생기는 기하학적 보정부, 시차 맵 생성부, 가상시점 영상 합성부를 포함할 수 있다.

기하학적 보정부에서는 왜곡 수정(distortion correction)이나 영상 교정 (image rectification)이 수행될 수 있다. 카메라로부터 획득하여 이미지 신호 처리된 영상의 왜곡은 도 5a에서 설명한 바와 같이, 워핑(warping)과 같은 기하학적 보정 방법에 의해 처리될 수 있다. 왜곡 보정 후에는 복수의 카메라(10, 20)에 의해 획득된 각 영상 사이의 얼라인(행-정렬)을 맞추도록 보정할 수 있다.

시차 맵 생성부는 기하학적 보정이 수행된 영상 사이의 시차를 표시하는 시차 맵을 작성할 수 있다. 도 5b를 참조하면, 좌 영상(L)과 우 영상(R)에서 SGM(Semi-Global Matching)을 이용하여 깊이 맵을 작성할 수 있다. 깊이 맵을 작성하는 다른 방법으로 블록 매칭(block matching) 기법, 신뢰 전파 알고리즘(belief propagation algorithm), 딥 러닝(deep learning) 기반 방식 등이 이용될 수 있다. 시차는 피사체와 촬영 위치 사이의 거리(깊이)에 반비례하므로, 촬영 위치에 가까운 피사체일수록 시차가 크게 표시된다.

영상 합성부는 좌 영상(L)과 우 영상(R) 사이의 가상시점 영상(V)을 1개 이상 합성하여 생성할 수 있다. 영상 합성부는 시차 맵 또는 깊이 맵으로부터 확인된 가장 큰 시차를 기준으로 합성할 가상시점 영상의 수(N)를 결정할 수 있다. 합성되는 가상시점 영상은 도 3의 영상 열에 도시된 바와 같이, 제1 영상(좌 영상, L) 측과 시차가 작은 순서로 각각 제N 가상시점 영상(VN)으로 지칭할 수 있다. 합성된 가상시점 영상은 내부 메모리에 저장될 수 있다.

기하학적 보정부, 시차 맵 생성부의 기능 중 어느 하나 이상은 애플리케이션 프로세서(40) 외부의 전용 하드웨어를 통해 수행될 수 있도 7은 디지털 촬영 장치가 줌 입력에 의해 서로 다른 위치에서 서로 다른 시야각(화각)을 갖는 복수의 카메라로 획득한 서로 다른 영상의 화질 차이, 시차를 보여주는 도면이다. 도 8은 본 개시의 일 실시예에 따른 디지털 촬영 장치가 서로 다른 위치에서 서로 다른 시야각을 갖는 복수의 카메라를 통해 획득한 서로 다른 영상과, 획득한 서로 다른 영상 사이에 생성된 보간 영상으로서의 가상시점 영상을 보여주는 도면이다.

도시된 실시예에 따르면, 디지털 촬영 장치(100)에 포함된 카메라는 2개이고, 서로 다른 시야각을 갖는다. 2개의 카메라는 제1 카메라(10), 제2 카메라(20)이고, 서로 다른 위치에 배치될 수 있다. 제1 카메라(10)는 제1 위치에서 제1 영상을 획득한다. 제2 카메라(20)는 제2 위치에서 제2 영상을 획득한다.

도 7을 참조하면, 제1 위치에서 광각 카메라인 제1 카메라(10)로부터 획득한 제1 영상은 광각 영상(W)이고, 제2 위치에서 망원 카메라인 제2 카메라(20)로부터 획득한 제2 영상은 망원 영상(T)일 수 있다. 디스플레이(50)에 광각 영상(W)이 출력되고 있을 때, 디지털 촬영 장치(100)에 망원 카메라로의 카메라 전환 신호가 입력되면, 중앙 처리 장치(41)에 의해 카메라 전환 제어 신호가 발생한다. 카메라 전환 제어 신호에 의해 디스플레이(50)에 출력되는 영상은 광각 영상(W)에서 가상시점 영상(V)을 거쳐 망원 영상(T)으로 전환될 수 있다. 사용자에 의한 카메라 전환 입력은 주밍(zooming) 동작일 수 있으며, 주밍은 영상의 확대(zoom in), 축소(zoom out) 입력을 포함할 수 있다.

카메라 전환 제어 신호는 주밍 신호와 카메라 전환 신호를 포함하여, 주밍 신호에 포함된 배율 정보에 따라 디지털 촬영 장치(100)에서 주밍과 카메라 전환이 수행될 수 있다.

도시된 실시예에서, 광각 영상(W)이 출력 중일 때, 사용자가 확대하고자 하는 대상 영역(Z)에 주밍 동작을 수행하면, 대상 영역(Z)을 기준으로 입력된 줌 배율 신호에 따라 광각 영상(W)이 확대될 수 있다. 도 7에 도시된 바와 같이, 사용자의 카메라 전환 입력에 포함되는 줌 배율 신호에 따라, 대상 영역(Z)을 중심으로 하여, 1.7배(×1.7), 2.5배(×2.5), 3배(×3) 디지털 줌으로 광각 영상(W)이 확대될 수 있다. 망원 카메라의 기본 배율이 3배인 경우, 광각 영상(W)은 3배까지만 디지털 줌에 의해 확대되어 출력되도록 설정될 수 있다. 디지털 줌에 의해 확대된 광각 영상(×W)은 해상도가 낮아지게 되므로, 화질이 저하(점선으로 표시)될 수 있다. 3배 보다 큰 줌 배율 신호가 발생하면, 카메라가 전환되고 망원 카메라를 통해 입력된 배율이 적용된 망원 영상(×T)이 획득되어 출력될 수 있다.

같은 줌 배율이 적용된 광각 영상(×W)과 망원 영상(×T)은 예를 들어, 도 7의 3배 광각 영상(×3W)와 3배 망원 영상(×3T)일 수 있다. 이 두 영상은 광각 카메라와 망원 카메라 사이의 거리에 의해 시차를 가질 수 있다. 광각 영상의 경우, 디지털 줌이 적용되어, 망원 영상에 비해 화질이 저하될 수 있다. 3배 광각 영상에서 3배 망원 영상으로의 전환(×3W → ×3T)시, 이러한 시차와 화질의 차이는 사용자에게 이질감과 불편감을 줄 수 있다.

도 8을 참조하면, 사용자의 주밍 동작에 의해 제1 카메라(10)에서 제 2 카메라(20)로 카메라가 전환되는 과정을 설명한다. 제1 카메라(10)는 광각 카메라이고, 제2 카메라(20)는 망원 카메라일 수 있다. 광각 카메라에 의해 획득한 광각 영상(W)이 디스플레이(50)에 출력 중일 때, 디지털 촬영 장치(100)에 사용자의 주밍 동작이 입력될 수 있다. 사용자 입력에 의해 도 7과 같이 주밍이 수행될 대상 영역(Z)이 지정되고, 대상 영역(Z) 내에 포함된 피사체는 디지털 줌에 의해 확대 또는 축소될 수 있다. 일정한 줌 배율 이상의 주밍 입력이 수신되면, 디지털 촬영 장치(100)는 망원 카메라로 카메라를 전환하여 영상을 출력할 수 있다.

도 8을 참조하면, 주밍 동작은 확대 입력이고, 입력된 줌 배율은 2.5배(×2.5), 망원 카메라의 기본 배율은 2배(×2)이다. 광각 영상(W)이 디스플레이(50)에 출력 중일 때, 사용자가 광각 영상(W) 내에서 대상 영역(Z)을 지정하여 2.5배 확대 주밍 동작을 수행하면, 광각 영상(W)은 디지털 줌에 의해 확대 되어 사용자 입력에 따라 영상이 확대될 수 있다. 도시되지는 않았으나 입력된 줌 배율에 따라, 광각 카메라의 기본 배율인 ×1부터 망원 카메라의 기본 배율인 ×2까지는 광각 영상(W)이 디지털 줌에 의해 확대되어 출력된다. 주밍 동작의 줌 배율 신호가 ×2를 초과하는 경우 광각 카메라에서 망원 카메라로 카메라가 전환되면, 도 7과 같은 시차와 화질 차이가 발생할 수 있다. 본 개시의 일실시예에 따른 디지털 촬영 장치(100)는 광각 영상(W)과 망원 영상(T)의 전환 시점에 가상시점 영상(V)을 생성하여 출력할 수 있다. 가상시점 영상(V)은 하나 이상일 수 있으며, 광각 영상(W)과 망원 영상(T) 사이의 시차, 화질 차이를 보간하는 보간 영상일 수 있다. 가상시점 영상(V)은 망원 카메라의 기본 배율인 ×2에서 설정된 전환 범위인 ×2.5까지 생성되도록 설정될 수 있다. 이하, ×2를 하한 배율(제1 줌 배율), ×2.5를 상한 배율(제2 줌 배율), ×2에서 ×2.5 사이를 전환 영역이라 한다.

도 8을 참조하면, 하단의 첫 번째 영상 열은 광각 카메라에 의해 획득된 ×2, ×2.1, ×2.3, ×2.4, ×2.5의 광각 영상(×W)이다. 두 번째 영상 열은 망원 카메라에 의해 획득된 ×2, ×2.1, ×2.3, ×2.4, ×2.5의 망원 영상(×T)이다. 세 번째 영상 열은 디스플레이(50)에 출력되는 영상을 순차적으로 나열한 것이다. 세 번째 영상 열에서 가장 먼저 출력되는 영상은 2배 광각 영상(×2W)이고, 가장 나중에 출력되는 영상은 2.5배 망원 영상(×2.5T)으로, ×2에서 ×2.5 영역 사이에서는 가상시점 영상(V)이 생성 및 출력된다. 2배 광각 영상(×2W)과 2.5배 망원 영상(×2.5T) 사이에 출력되는 영상은 가상시점 영상(V1, V2, V3)이다. 각각의 가상시점 영상(V1, V2, V3)들은 카메라 전환 영역인 ×2에서 ×2.5 사이의 동일 배율이 적용된 각각의 광각 영상(×W)과 망원 영상(×T)을 이용하여, 양 영상(×W, ×T) 사이의 화질과 시차를 보간 하여 생성될 수 있다. 보간 방법으로, 시차, 화질의 차이는 양 영상(×W, ×T) 중 어느 한 쪽을 기준으로 할 수 있으며, 하한 배율과 상한 배율 중 가까운 배율 쪽의 영상을 기준으로 보간 할 수 있다.

예를 들어, 가상시점 영상 (V1)은 2.1배 광각 영상(×2.1W)과 2.1배 망원 영상(×2.1T)을 합성하여 생성될 수 있다. 가상시점 영상(V1)의 배율 ×2.1은 하한 배율인 ×2에 가까우므로, 2.1배 광각 영상(×2.1W)을 기준으로 화질, 시차가 보상되도록 2.1배 광각 영상(×2.1W)과 2.1배 망원 영상(×2.1T)을 합성할 수 있다. 도시된 실시예에서, 가상시점 영상(V1)은 2.1배 광각 영상(×2.1W)과 2.1배 망원 영상(×2.1T) 중 2.1배 광각 영상(×2.1W)과 가장 작은 시차 량을 갖도록 보간 된 것이다. 도 8을 참조하면, 가상시점 영상(V1)은 자동차의 좌측 끝단 기준선(L1)이 2.1배 광각 영상(×2.1W)에 가깝다. 반대로, 가상시점 영상(V3)은 2.4배 망원 영상(×2.4T)에 가까운 시차 량을 갖도록 보간 된 것이다. 도 8을 참조하면, 가상시점 영상(V2)의 좌측 끝단 기준선(L2)은 동일 배율이 적용된 광각 영상(×W)과 망원 영상(×T)의 중앙을 기준으로 위치하고, 가상시점 영상(V3)의 좌측 끝단 기준선(L3)은 2.4배 망원 영상(×2.4T)에 가깝게 위치한다. 가상시점 영상(V)들의 화질 차이와 시차 량은 균등하여 보간하거나 다른 기준에 의해 보간 할 수도 있다.

도 8을 참고하면, 화질 차이를 보간하는 경우, 가상시점 영상(V)들의 합성 시 해상도가 높은 망원 영상(×T)을 기준으로 화질을 보간 할 수 있다.

도 3을 참조하면, 대상 영역이 복수의 피사체를 포함할 경우, 피사체들이 서로 다른 시차를 가질 수 있으므로, 각각의 가상시점 영상에서 피사체마다 보간 되는 시차 량이 다를 수 있다.

도 8의 출력 영상 열인 세 번째 영상 열을 참조하면, 사용자의 확대 주밍 동작 시, 전환 영역의 하한 배율까지는 광각 영상이 디지털 줌에 의해 확대 또는 축소되어 출력될 수 있다. 전환 영역의 하한 배율 보다 큰 배율이 입력되면, 디지털 줌에 의해 확대된 광각 영상(×W)과 광학 줌에 의해 확대된 망원 영상(×T)을 합성하여 가상시점 영상(V)들을 생성하고, 이를 순차적으로 출력되도록 할 수 있다. 전환 영역의 상한 배율 이상의 배율이 입력되면, 입력된 배율이 적용된 망원 영상(×T)이 출력될 수 있다. 전환 영역 내에서 가상시점 영상(V)들이 순차적으로 출력됨으로써, 전환 전후 영상 사이의 시차와 화질의 차이가 보간 되어, 자연스러운 출력 영상의 전환이 가능하다.

도 9은 본 개시의 일 실시예에 따른 애플리케이션 프로세서를 포함하는 디지털 촬영 장치의 동작 방법의 흐름도이다.

일 실시예에 따르면, 디지털 촬영 장치(100)는 제1 카메라(10)로부터 제1 영상을 획득하고, 제2 카메라(20)로부터 제2 영상을 획득하여 제1 영상을 디스플레이(50)에 출력할 수 있다. 제1 카메라(10)와 제2 카메라(20)는 서로 다른 제1 위치, 제2 위치에 배치되고, 서로 다른 시야각(화각)을 가질 수 있다. 제1 영상과 제2 영상 사이에는 제1 위치와 제2 위치 사이의 거리로 인해 시차가 발생하고, 시야각과 줌 배율에 따라 해상도의 차이가 발생할 수 있다.

도 9의 실시예에서 제1 카메라(10)는 광각 카메라이고, 제1 영상은 광각 영상이다. 제2 카메라(20)는 망원 카메라이고, 제2 영상은 망원 영상이다. 사용자의 카메라 전환 입력은 카메라 전환 신호와 줌 배율 신호를 포함할 수 있다. 제1 영상에서 제2 영상으로 전환되기 전에 가상시점 영상이 합성되어 출력되는 줌 배율 구간을 상한 배율과 하한 배율을 갖는 전환 영역이라 한다.

단계 S210에서, 디지털 촬영 장치(100)는 전환 영역의 하한 배율 신호가 입력될 때까지는 제1 위치에서 광각 카메라로부터 광각 영상(W)을 획득하여 디스플레이(50)에 출력할 수 있다. 예를 들어, 하한 배율이 ×2인 경우, ×2 이하의 줌 배율이 입력되면, 광각 카메라에 의해 입력된 줌 배율이 적용된 광각 영상(×W)이 획득되어 출력될 수 있다.

단계 S220에서, 디지털 촬영 장치(100)는 카메라 전환을 시작하는 사용자 입력을 수신할 수 있다. 사용자 입력은 전환 영역의 하한 배율을 초과하는 줌 배율 신호를 포함하는 주밍 동작일 수 있다. 예를 들어, 사용자는 터치 스크린인 디스플레이(50) 상에서 확대하고자 하는 피사체를 포함하는 대상 영역에 주밍 동작을 수행할 수 있다. 사용자 입력에 대응하여, 애플리케이션 프로세서(40)의 중앙 처리 장치(41)는 가상시점 영상을 생성하여 디스플레이(50)에 출력하도록 카메라 전환 제어 신호를 발생할 수 있다. 사용자가 입력한 줌 배율이 연속적으로 변하는 경우, S230 이후의 단계를 미리 준비하도록 설정될 수도 있다. 예를 들어, 1배 광각 영상(×1W)에서 사용자가 확대 주밍 동작을 수행하는 경우, 입력된 줌 배율이 전환 영역의 하한 배율을 향해 증가하는 것이 감지되면, 전환 영역 내에 포함되지 않더라도 S230 이후의 단계를 미리 준비하도록 설정될 수 있다.

단계 S230에서, 디지털 촬영 장치(100)는 단계 S220에서 입력된 줌 배율 신호에 따라, 제1 위치에서 광각 카메라를 통해 줌 배율이 적용된 광각 영상(×W, 제1 줌 영상)을 획득하고, 제2 위치에서 망원 카메라를 통해 줌 배율이 적용된 망원 영상(×T, 제2 줌 영상)을 획득할 수 있다. 망원 카메라는 사용자의 주밍 동작에 의해 지정된 대상 영역을 촬영하도록 디지털 촬영 장치와 상대적으로 이동할 수 있다. 예를 들어, 하한 배율을 초과한 줌 배율이 적용된 광각 영상(×W)은 광각 카메라의 디지털 줌을 통해 획득할 수 있다. 광각 영상(×W)과 동일한 배율이 적용된 망원 영상(×T)은 망원 카메라의 광학 줌을 통해 획득할 수 있다.

단계 S240에서, 줌 배율이 적용된 광각 영상(×W)과 줌 배율이 적용된 망원 영상(×T)을 이용하여, 제1 위치와 제2 위치 사이의 복수의 가상의 제3 위치에서 획득할 수 있는 가상시점 영상(V, 제3 영상)을 합성하여 디스플레이(50)에 출력할 수 있다. 가상시점 영상(V)은 광각 영상(×W)과 망원 영상(×T)을 기하학적으로 보정하고, 이로부터 시차 맵을 작성한 후, 시차를 보상하도록 양 영상(×W, ×T)을 합성하여 생성할 수 있다. 광각 영상(×W)과 망원 영상(×T) 사이의 시차가 클 경우에는, 생성되는 가상시점 영상의 수를 증가시킬 수 있다. 가상시점 영상들은 전환 전 영상인 하한 배율이 적용된 광각 영상(×W)에 가깝게 보상 된 영상으로부터 전환 후 영상인 상한 배율이 적용된 망원 영상(×T)에 가깝게 보상 된 영상의 순서로 출력될 수 있다. 가깝게 보상 되었다는 것은 보상의 기준의 되는 영상과 줌 배율 및 시차가 작게 보상 되었다는 것을 의미한다. 도 8을 참고하면, 가상시점 영상(V1)은 줌 배율이 ×2.1이 적용된 영상이다. 배율 ×2.1은 상한 배율인 ×2.5보다 하한 배율인 ×2에 가까우므로, 하한 배율 이하에서 출력되는 광각 영상과 더 작은 시차를 갖도록 보상될 수 있다. 예를 들어, 도 8과 같이, 2.1배 가상시점 영상(V1)은 2.1배 망원 영상(×2.1T) 영상에 비해 2.1배 광각 영상(×2.1W)과의 시차가 더 작도록 시차 보상될 수 있다.

단계 S250에서, 디지털 촬영 장치(100)는 카메라 전환을 완료하는 사용자 입력을 수신할 수 있다. 사용자 입력은 전환 영역의 상한 배율 이상의 줌 배율 신호를 포함하는 주밍 동작일 수 있다. 예를 들어, 상한 배율이 ×2.5인 경우, ×2.5 이상의 줌 배율이 입력되면, 망원 카메라에 의해 입력된 줌 배율이 적용된 망원 영상(×T)이 획득되어 출력될 수 있다.

단계 S260에서, 디지털 촬영 장치(100)는 입력된 줌 배율 신호에 따라 제2 위치에서 망원 카메라를 통해 입력된 줌 배율이 적용된 망원 영상을 출력할 수 있다.

입력된 줌 배율에 따라 광각 영상에서 망원 영상으로 출력 영상이 전환될 때, 줌 배율 및 시차가 보상된 가상시점 영상이 합성되어 출력됨으로써, 디스플레이에 출력되는 영상에 포함된 피사체의 크기 및 위치가 갑자기 변경되는 것을 방지할 수 있다.

도 10은 본 개시의 일 실시예에 따른 애플리케이션 프로세서를 포함하는 디지털 촬영 장치의 동작 방법의 흐름도이다.

도 10의 실시예에서 제1 카메라(10)는 망원 카메라이고 망원 영상(T)을 획득하며, 제2 카메라(20)은 광각 카메라이고 광각 영상(W)을 획득한다. 주밍 동작은 도 9의 실시예는 확대 주밍 동작이고, 도 10의 실시예는 축소 주밍 동작이다. 이외의 구성은 도 9의 실시예와 동일하다.

단계 S310에서, 디지털 촬영 장치(100)는 전환 영역의 상한 배율 신호가 입력될 때까지는 제1 위치에서 망원 카메라로부터 망원 영상(T)을 획득하여 디스플레이(50)에 출력할 수 있다. 예를 들어, 상한 배율이 ×2.5인 경우, ×2.5 이상의 줌 배율이 입력되면, 망원 카메라에 의해 입력된 줌 배율이 적용된 망원 영상(×T)이 획득되어 출력될 수 있다.

단계 S320에서, 디지털 촬영 장치(100)는 카메라 전환을 시작하는 사용자 입력을 수신할 수 있다. 사용자 입력은 전환 영역의 상한 배율보다 작은 줌 배율 신호를 포함할 수 있다.

단계 S330에서, 디지털 촬영 장치(100)는 단계 S320에서 입력된 줌 배율 신호에 따라, 제1 위치에서 망원 카메라를 통해 줌 배율이 적용된 망원 영상(×T)을 획득하고, 제2 위치에서 광각 카메라를 통해 줌 배율이 적용된 광각 영상(×W)을 획득할 수 있다.

단계 S340에서, 디지털 촬영 장치(100)는 줌 배율이 적용된 광각 영상(×W)과 줌 배율이 적용된 망원 영상(×T)을 이용하여, 제1 위치와 제2 위치 사이의 복수의 가상의 제3 위치에서 획득할 수 있는 가상시점 영상(V, 제3 영상)을 합성하여 디스플레이(50)에 출력할 수 있다.

단계 S350에서, 디지털 촬영 장치(100)는 카메라 전환을 완료하는 사용자 입력을 수신할 수 있다. 사용자 입력은 하한 배율 이하의 줌 배율 신호를 포함하는 주밍 동작일 수 있다.

단계 S360에서, 디지털 촬영 장치(100)는 입력된 줌 배율 신호에 따라 제2 위치에서 광각 카메라를 통해 입력된 줌 배율이 적용된 광각 영상을 출력할 수 있다.

도 11은 본 개시의 일 실시예에 따른 애플리케이션 프로세서(40)가 줌 입력에 의해 카메라를 전환할 때, 디스플레이 되는 영상의 화질 변화와 소모 전력을 보여주는 도면이다.

일 실시예에 따르면, 디지털 촬영 장치(100)는 광각 카메라와 망원 카메라를 구비할 수 있고, 광각 영상(W)과 망원 영상(T) 사이에는 카메라 사이의 거리에 따라 시차가 존재한다. 광각 영상(W)이 출력되고 있을 때, 사용자에 의해 확대 주밍(zoom in) 요청이 입력되면, 광각 영상(W)은 디지털 줌에 의한 확대가 수행된다. 사용자의 입력과 카메라 전환 설정에 따라, 출력 영상을 획득하는 카메라가 광각 카메라와 망원 카메라 사이에서 전환될 수 있다.

도 11을 참조하면, 디지털 줌과 같은 소프트웨어적 처리에 의해 확대된 영상은 확대 배율에 따라 화질 저하가 수반된다. 망원 카메라는 광학 줌이 수행되므로 화질이 거의 저하되지 않는다. 카메라 전환 시에는 전후 카메라를 통해 획득한 영상 사이의 화질(선명도) 차이가 현시되어 사용자에게 불편감을 줄 수 있다. 본 개시에 따른 실시예에서는 카메라 전환 시 망원 카메라의 기본 배율을 포함하는 일정 배율 영역을 전환 영역으로 설정하고, 전환 영역 내에서는 가상시점 영상을 합성하여 출력함으로써, 카메라 전환에 따른 사용자의 불편감을 줄일 수 있다.

예를 들어, 망원 카메라의 기본 배율인 ×2을 전환 영역의 하한 배율(Z_th1)로 설정하고, 임의로 ×2.5를 전환 영역의 상한 배율(Z_th2)로 설정할 수 있다. 전환 영역 밖의 줌 배율이 입력된 경우에는 각각 망원 영상, 광각 영상이 확대 또는 축소되어 입력된 줌 배율이 적용된 망원 영상, 광각 영상이 획득되어 출력되고, 카메라의 전환은 수행되지 않는다. 사용자의 카메라 전환 입력이 전환 영역 내의 배율 신호를 포함할 경우, 현재 출력 중인 영상의 카메라와 입력된 배율 신호에 의해 영상의 확대, 축소 및 카메라 전환 여부가 결정될 수 있다.

카메라 전환 시, 전환 영역에서는 가상시점 영상(V)을 합성하여 출력하므로, 전력 소모가 크다. 사용자에 의한 주밍 입력은 주밍 동작을 수행하는데 일정 시간이 소요되고, 동작 수행이 연속적, 반복적으로 계속될 수 있다. 사용자의 주밍 입력 동작에 의해 입력되는 줌 배율 신호가 전환 영역 내에 장시간 유지되는 경우가 발생할 수 있다. 이때, 디지털 촬영 장치(100)는 계속해서 가상시점 영상(V)을 합성하여 출력하여야 하므로, 소모 전력이 커질 수 있다. 디지털 촬영 장치(100)는 전환 영역 내에 포함되는 사용자의 줌 입력이 일정 시간 이상 존재할 경우, 광각 카메라와 망원 카메라 중 어느 하나의 카메라가 선택되도록 설정할 수 있다.

예를 들어, 도 11의 실시예에서 하한 배율(Z_th1)은 ×2이고, 상한 배율(Z_th2)이 ×2.5일 경우, 사용자의 줌 입력이 ×2.3일 수 있다. 전환 전 카메라가 광각 카메라일 경우, ×2.5 미만인 ×2.3 입력에서는 가상시점 영상(V)이 합성되도록 설정된다. 이때, 설정에 따라 ×2.3 입력이 5초 이상 지속될 경우, 입력된 줌 배율의 변화가 없더라도 디지털 촬영 장치(100)는 자동으로 망원 카메라로 전환되도록 할 수 있다. 반대로, 전환 전 카메라가 망원 카메라이고, ×2.4 입력이 5초 이상 지속될 경우, 자동으로 광각 카메라로 전환되도록 할 수 있다. 동일한 시야각을 갖는 좌 카메라와 우 카메라에 의한 좌 영상(L), 우 영상(R)의 경우에도 동일한 방법이 적용될 수 있다.

자동으로 카메라가 전환되면 사용자의 입력 신호는 더 이상 중앙 처리 장치에 전달되지 않도록 설정할 수 있다. 이 경우, 사용자는 다시 주밍 신호를 입력하기 위해 새로운 멀티 터치 동작을 수행할 수 있다. 이처럼, 전환 영역 내에 입력 신호가 장시간 머무를 때, 자동으로 카메라를 전환하도록 설정함으로써, 과도하게 전력이 소모되지 않도록 할 수 있다.

전환 영역 내에서 전력 소모를 줄이기 위한 또 다른 방법으로, FR(frame rate)을 조절할 수도 있다. 설정에 따라 전환 영역 전체에서 FR을 낮추거나, 배율에 따라 차등적으로 FR을 조절할 수 있다.

도 12는 본 개시의 일 실시예에 따른 전자 시스템의 카메라 전환과 증강 정보 제공 방법의 단계를 보여주는 도면이다.

본 개시의 일 실시예에 따른 디지털 촬영 장치(100)는 이 장치를 포함하는 전자 시스템에 적용될 수 있다. 전자 시스템은 증강 현실 시스템일 수 있고, 위치 정보 제공 서비스, 도로 주행 지원 서비스, 주차 지원 서비스 등에 활용될 수 있다. 디지털 촬영 장치의 디스플레이에 출력되는 영상에는 증강 정보가 포함될 수 있다.

일 실시예에 따르면 디지털 촬영 장치(100)는 광각 카메라와 망원 카메라를 포함하고, 각각으로부터 광각 영상(W)과 망원 영상(T)을 획득한다. 광각 영상(W)이 출력 중일 때, 사용자로부터 카메라 전환 입력을 수신하면 가상시점 영상(V)을 생성하여 출력한 후, 망원 카메라에서 획득한 망원 영상(T)을 출력할 수 있다.

도 12를 참조하면, 디지털 촬영 장치(100)는 증강현실을 이용한 실시간 정보제공 시스템에 사용될 수 있다. 광각 영상(W)이 출력된 상태로 사용자가 도로 주행 또는 도보 중에 특정 피사체에 대한 정보를 수신하기 위하여 화면 전환을 입력할 수 있다. 도시된 바와 같이, 도로 주행 중에 목적지 근처에서 특정 대상 영역(Z)으로서 목적지의 출입구(entrance) 부근을 확대하도록 해당 부분을 터치하여 줌 요청을 입력할 수 있다. 사용자의 이러한 터치 동작은 애플리케이션 프로세서(40)의 중앙 처리 장치(41)에서 카메라 전환 입력으로 해석되고, 중앙 처리 장치(41)는 이에 대응되는 카메라 전환 제어 신호를 발생시킬 수 있다.

애플리케이션 프로세서(40)는 자연스러운 화면 전환을 위해 전환 전 광각 영상(W)에서 대상 영역(Z)을 순차적으로 확대할 수 있다. 망원 카메라의 기본 배율에 해당하는 전환 영역의 하한 배율을 ×3으로 하고, 전환 영역의 상한 배율을 ×4로 한다. 광각 카메라에서 망원 카메라로의 카메라 전환 시 하한 배율은 전환 시작 신호가 되고, 상한 배율은 전환 완료 신호가 된다. 입력된 줌 배율이 적용된 광각 영상(×W_R)과 망원 영상(×T_R)에는 왜곡이 포함될 수 있고, 양 영상의 왜곡을 기하학적으로 보정한 후, 양 영상 사이의 얼라인(행-정렬)을 맞출 수 있다. 양 영상 사이에 얼라인을 맞춘 후, 입력된 줌 배율이 적용된 광각 영상(×W)과 망원 영상(×T)을 합성하여, 가상시점 영상들(V1, V2, V3)을 생성할 수 있다. 가상시점 영상들(V1, V2, V3)들은 각각 ×3.3, ×3.6, ×3.8의 줌 배율 입력에 대응하여 합성된 것이고, 줌 배율과 시차를 고려하여 생성할 수 있다. ×3 입력시점까지는 광각 영상이 디지털 줌으로 확대되고 출력된다. ×3에서 ×4까지는 광각 영상(×W)과 망원 영상(×T)에 의해 합성된 가상시점 영상(V)이 출력된다. ×4 이상에서는 망원 영상(×T)이 출력된다.

도시된 실시예에서는 최종적으로 ×4 배율이 입력되어, 목적지의 출입구 부근이 망원 영상(×4T)으로 출력되고, 출입구에 대한 정보가 함께 표시되어 사용자에게 실시간으로 정보를 제공할 수 있다. 출입구에 대한 정보로서 이용가능 시간, 출입구 진입 후의 이동 경로 맵이 포함될 수 있다.

도 13a, 도 13b는 본 개시의 일 실시예에 따른 디지털 촬영 장치를 구비한 전자 시스템의 증강 정보 제공부의 구성과 증강 정보 제공 순서를 설명하기 위한 도면이다.

도 13a를 참조하면, 증강 정보 제공부(200)는 증강 정보 저장부(210), 매칭부(220), 제어부(230), 통신부(240)을 포함할 수 있다.

증강 정보 저장부(210)는 맵 정보가 저장된 데이터베이스(Map DB)일 수 있다. 저장된 맵 정보는 맵에 포함된 건물이나 지형 지물에 대한 안내 정보, 깊이 정보, 위치 정보를 포함할 수 있다.

매칭부(220)는 디지털 촬영 장치에 출력되는 영상의 위치 정보와 저장된 맵 정보를 비교하여 제공해야 하는 정보를 선택할 수 있다.

제어부(230)는 통신부(240)를 통하여 디지털 촬영 장치(100)로부터 저장된 증강 정보 요청을 수신할 수 있다. 제어부(230)는 요청에 응답하여 디지털 촬영 장치(100)의 출력 영상에 대응되는 증강 정보를 디지털 촬영 장치(100)의 통신부(80)로 전송할 수 있다.

도 13b와 도 6a, 도 6b를 참조하면 S410 단계에서, 디지털 촬영 장치(100)의 애플리케이션 프로세서(40)는 카메라(10, 20)를 이용하여 실시간 영상 및 위치 정보를 획득한다. 실시간 영상은 디지털 촬영 장치(100)의 카메라로부터 획득된 영상이다. 위치 정보는 복수의 카메라를 통해 영상을 획득하는 위치에 관한 정보이다. 위치 정보는 애플리케이션 프로세서(40)에 연결된 GPS 수신부(70)를 통해 획득할 수 있다. 사용자는 디지털 촬영 장치(100)의 디스플레이(50)에 출력된 영상 중 특정 대상 영역을 확대하고자 하는 신호를 입력할 수 있다.

S420 단계에서, 디지털 촬영 장치(100)의 애플리케이션 프로세서(40)는 통신부(80)를 통해, 사용자에 의해 지정된 대상 영역(Z)과 이에 포함되는 피사체에 대한 증강 정보를 증강 정보 제공부(200)에 요청할 수 있다. 증강 정보 제공부(200)는 통신부(240)를 통해 증강 정보 제공 요청과 출력 영상의 위치 정보, 방향 정보, 획득한 실시간 영상을 수신할 수 있다.

S430 단계에서, 증강 정보 제공부(200)의 매칭부(220)는 수신한 실시간 영상 정보에 매칭되는 실사 맵을 비교할 수 있다.

S440 단계에서, 매칭부(220)는 수신한 실시간 영상과 대응되는 증강 정보를 결정할 수 있다.

S450 단계에서, 통신부(240)는 제어부(230)의 명령에 따라, 매칭되는 증강 정보를 디지털 촬영 장치(100)의 통신부(80)로 전송할 수 있다.

S460 단계에서, 디지털 촬영 장치(100)의 애플리케이션 프로세서(40)는 복수의 카메라를 통해 획득된 실시간 영상과 증강 정보 제공부(200)로부터 수신한 증강 정보를 합성한 합성 영상을 생성할 수 있다.

S470 단계에서, 디지털 촬영 장치(100)의 애플리케이션 프로세서(40)는 합성 영상이 디스플레이 되도록 제어할 수 있다. 합성 영상은 증강 정보 제공부(200)에서 합성되어 디지털 촬영 장치(100)로 전송되도록 할 수도 있다.

증강 정보 제공부(200)는 디지털 촬영 장치(100)로부터 원격에 위치한 서버로 구성되거나, 상기 디지털 촬영 장치(100) 내부에 형성될 수도 있다.

도 14는 본 개시의 일 실시예에 따른 디지털 촬영 장치를 구비한 전자 시스템의 카메라 전환 방법을 보여주는 도면이다.

일 실시예에 따르면, 디지털 촬영 장치(100)는 광각 카메라(WC)에 의해 광각 영상이 획득되고, 망원 카메라(TC)에 의해 망원 영상이 획득될 수 있다. 디스플레이(50)에 광각 영상이 출력 중일 때, 입력부(60)를 통해 사용자가 카메라 전환을 입력하면, 디스플레이되는 영상을 촬영하는 카메라를 광각 카메라(WC)에서 망원 카메라(TC)로 전환할 수 있다. 사용자의 영상 전환 입력 동작은 멀티 터치 동작일 수 있다. 사용자의 영상 전환 입력은 디스플레이상에 구현된 GUI를 통해 수행되거나 사용자의 생체 정보 감지를 통해 수행될 수도 있다.

도 14를 참조하면, 사용자가 광각 영상의 일부를 터치하여 특정 영역의 확대 명령(줌 요청)을 입력할 수 있다. 입력부(60)는 터치 스크린이다. 디지털 촬영 장치(100)의 애플리케이션 프로세서(40)의 중앙 처리 장치(41)는 사용자의 확대 입력을 수신한다. 수신된 사용자의 확대 입력은 카메라 전환 입력을 포함하는 것으로 해석되어, 이에 대응되는 카메라 전환 제어 신호가 생성될 수 있다. 카메라 전환 입력에 의해 사용자가 터치한 피사체에 대한 망원 영상으로 출력 영상이 전환 될 수 있다. 영상의 전환 시, 광각 영상을 망원 영상의 기본 배율까지 확대하여 출력한 후, 망원 영상으로 전환되도록 할 수 있다. 확대된 광각 영상과 망원 영상 사이에는 가상시점 영상이 생성되어, 전환 전후의 영상 사이에서 연속적, 순차적으로 출력될 수 있다.

일 실시예에 따르면, 사용자의 카메라 전환 입력의 방법에 따라서 영상 전환에 소요되는 시간을 단축시킬 수 있다. 카메라 전환 입력이 간단할수록 신속한 영상 전환이 수행될 수 있다. 예를 들어, 자동차의 주행 안내 시스템에서 긴급하게 멀리에 위치한 피사체를 확대할 필요가 있을 경우, 사용자의 1회 터치 조작만으로도 빠르게 피사체의 망원 영상을 출력할 수 있다.

사용자의 카메라 전환 입력 방법으로 시선 검출(gaze detection) 방법이 사용될 수도 있다. 디지털 촬영 장치(100)는 입력부(60)로서 사용자의 시선을 검출하는 센서를 포함할 수 있다. 애플리케이션 프로세서(40)는 사용자의 시선이 광각 영상의 일정 부분에 일정 시간 이상 머무른 것을 검출하여, 이를 카메라 전환 입력으로 해석할 수 있다.

이상, 첨부된 도면을 참조하여 본 발명의 기술적 사상에 따른 실시 예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해하여야 한다.

100 디지털 촬영 장치,
10 제1 카메라, 20 제2 카메라, 30 가상 카메라,
40 애플리케이션 프로세서, 41 중앙 처리 장치(CPU),
42 입출력 인터페이스부, 43 이미지 신호 처리기(ISP),
50 디스플레이, 60 입력부, 70 GPS 수신부, 80 통신부
L 좌 영상, R 우 영상, V 가상시점 영상,
W 광각 영상, T 망원 영상, 200 증강 정보 제공부

Claims

디지털 촬영 장치에 있어서,
상기 디지털 촬영 장치의 후면에 배치되고 제1 시야각를 가진 망원 카메라;
상기 디지털 촬영 장치의 상기 후면에 배치되고 제2 시야각을 가진 광각 카메라; 및
상기 망원 카메라 및 상기 광각 카메라와 연결된 애플리케이션 프로세서를 포함하고,
상기 애플리케이션 프로세서는:
상기 광각 카메라로부터 제1 영상을 받아 상기 제1 영상을 디스플레이 상에 디스플레이하고,
배율 정보를 받고,
상기 망원 카메라로부터 제2 영상을 받고,
상기 배율 정보에 따라 상기 제1 영상 및 상기 제2 영상을 이용하여 합성된 영상을 생성하고, 및
상기 배율 정보가 일정한 줌 배율보다 작으면 상기 배율 정보에 따라 상기 디스플레이 상에 상기 합성된 영상을 디스플레이하고, 및
상기 배율 정보가 상기 일정한 줌 배율과 같거나 크면 상기 정보에 따라 상기 디스플레이 상에 상기 제2 영상을 디스플레이하고, 및
상기 제2 시야 각은 상기 제1 시야 각보다 크고,
상기 일정한 줌 배율은 상기 망원 카메라의 기본 줌 배율보다 크며,
상기 합성된 영상에 적용되는 줌 배율이 상기 제1 영상과 가까운 경우, 상기 합성된 영상과 상기 제1 영상 사이의 시차는 상기 합성된 영상과 상기 제2 영상 사이의 시차보다 작게 보상되는 디지털 촬영 장치.
제1항에 있어서,
상기 제1 영상 및 상기 제2 영상은 실질적으로 동시에 획득되는 디지털 촬영 장치.
제2항에 있어서,
상기 망원 카메라의 광축은 상기 광각 카메라의 광축과 평행인 디지털 촬영 장치.
제3항에 있어서,
상기 애플리케이션 프로세서는 다수의 합성된 영상들을 생성하고 및 상기 디스플레이 상에 상기 다수의 합성된 영상들을 디스플레이하는 디지털 촬영 장치.
제4항에 있어서,
상기 애플리케이션 프로세서는 상기 제1 영상, 상기 다수의 합성된 영상들, 및 상기 제2 영상을 연속적으로 디스플레이하여 자연스러운 영상의 전환을 수행하는 디지털 촬영 장치.
제4항에 있어서,
상기 망원 카메라는 광각 카메라의 N배 확대된 영상을 획득하고, 상기 N배는 상기 일정한 줌 배율이고, 및
상기 N은 양수인 디지털 촬영 장치.
제6항에 있어서,
상기 광각 카메라는 디지털 주밍에 의해 상기 제1 영상을 상기 N배까지 확대하는 디지털 촬영 장치.
제6항에 있어서,
상기 망원 카메라는 제1 ISP (image signal processor)를 더 포함하고,
상기 광각 카메라는 제2 ISP를 더 포함하고, 및
상기 다수의 합성 영상들이 생성되기 전에 상기 제1 ISP 및 상기 제2 ISP는 각각, 상기 제1 영상 및 상기 제2 영상 상에 영상 신호 처리를 수행하는 디지털 촬영 장치.
제1 시야각을 가진 망원 카메라;
상기 제1 시야각보다 큰 제2 시야각을 가진 광각 카메라; 및
애플리케이션 프로세서를 포함하고,
상기 애플리케이션 프로세서는
상기 망원 카메라로부터 망원 영상을 받고,
상기 광각 카메라로부터 광각 영상을 받고, 및
상기 망원 영상과 상기 광각 영상을 이용하여 다수의 합성된 영상들을 생성하고,
제1 배율 정보에서 상기 광각 영상을 출력하고,
상기 제1 배율 정보보다 큰 제2 배율 정보에서 상기 망원 영상을 출력하고, 및
상기 제1 배율 정보와 상기 제2 배율 정보 사이의 적어도 하나의 제3 배율 정보들에서 상기 다수의 합성된 영상들을 출력하고,
상기 제2 배율 정보는 상기 망원 카메라의 기본 배율보다 크고,
상기 각 합성된 영상은 상기 적어도 하나의 제3 배율 정보들 중 대응하는 제3 배율 정보가 적용되며
상기 각 합성된 영상은 상기 광각 영상과 상기 망원 영상 사이의 시차를 균등 또는 차등하여 보상되는 디지털 촬영 장치.
제9항에 있어서,
상기 망원 카메라는 상기 광각 카메라의 N배 확대된 영상을 획득하고, 및 상기 N배는 상기 제2 배율 정보이고, 및
상기 N은 양수인 디지털 촬영 장치.
제10항에 있어서,
상기 광각 카메라는 디지털 주밍에 의해 상기 N배까지 상기 광각 영상을 확대하는 디지털 촬영 장치.
제9항에 있어서,
상기 제1 내지 제3 배율 정보들은 사용자 입력에 의해 결정되는 디지털 촬영 장치.
제12항에 있어서,
상기 애플리케이션 프로세서는,
상기 사용자 입력에 응답하여 제어 신호를 생성하고, 및
상기 제어 신호에 응답하여 상기 광각 영상, 상기 다수의 합성된 영상들, 및 상기 망원 영상을 연속적으로 출력하는 디지털 촬영 장치.
제13항에 있어서,
상기 사용자 입력은 디스플레이의 터치 조작인 디지털 촬영 장치.
제13항에 있어서,
상기 사용자 입력은 줌 조작인 디지털 촬영 장치.
제13항에 있어서,
상기 사용자 입력은 사용자의 주시인 디지털 촬영 장치.
제1 시야각을 가진 망원 카메라;
상기 제1 시야각보다 큰 제2 시야각을 가진 광각 카메라;
영상을 디스플레이하는 디스플레이; 및
애플리케이션 프로세서를 포함하고,
상기 애플리케이션 프로세서는
상기 망원 카메라로부터 망원 영상을 받고,
상기 광각 카메라로부터 광각 영상을 받고,
상기 디스플레이 상에 상기 광각 영상이 디스플레이되는 동안 상기 광각 영상의 일부를 터치 조작하는 것에 응답하여 디스플레이된 이미지를 상기 광각 영상으로부터 상기 망원 영상으로 전환하고, 및
상기 망원 카메라는 대상 영역을 획득하고 및 상기 망원 영상으로 상기 대상 영역을 출력하고,
상기 광각 영상으로부터 상기 망원 영상으로 전환하는 것은,
상기 터치 조작에 의해 입력된 줌 배율이 상기 망원 영상 카메라의 기본 배율보다 큰 경우, 상기 광각 영상으로부터 상기 망원 영상으로 전환하고,
상기 광각 영상과 상기 망원 영상 사이에서 가상시점 영상을 생성하며, 상기 가상시점 영상들은 상기 광각 영상과 상기 망원 영상 사이의 시차를 균등 또는 차등하여 보상되며 연속적으로 출력되는 디지털 촬영 장치.
제17항에 있어서,
상기 애플리케이션 프로세서는 상기 대상 영역을 점진적으로 확대하는 디지털 촬영 장치.
제18항에 있어서,
상기 디지털 촬영 장치는 증강 현실 시스템인 디지털 촬영 장치.