KR101324336B1 - 증강 현실 제공 단말기 - Google Patents

Abstract

본 발명은 사용자가 원하는 조건에 해당하는 객체들의 태그(Tag) 정보를 쉽게 확인할 수 있도록 하는 증강 현실 제공 단말기에 관한 것이다.
이를 위해, 본 발명은 증강 현실 제공 단말기가 증강 현실 모드의 실행에 따라 증강 현실 서비스를 제공할 때, 현재 위치 정보를 제공하는 위치 알림 레이아웃과, 현재 위치 정보에 의거하여 증강 현실 제공 서버로부터 수신한 복수의 태그정보를 카테고리별로 선택하여 표시하는 카테고리 선택 레이아웃과, 카테고리 선택 레이아웃을 통해 선택된 카테고리의 태그정보가 표시되었을 때, 표시된 태그정보를 제어하기 위한 태그정보 제어 레이아웃을 제공하되, 태그정보 제어 레이아웃을 통해 태그정보가 실시간 영상 화면에 부가되어 디스플레이되는 프리뷰 화면을 확대하거나, 확대된 프리뷰 화면을 축소하고, 프리뷰 화면에서 사용자로부터 지정받은 영역이 확대되어 프리뷰 화면이 확대 화면으로 전환되면, 확대 화면에 표시되는 복수의 태그정보를 순차적으로 선택하도록 구성되는 것이 바람직하다.
이에 따라, 본 발명은 사용자가 원하는 조건에 해당하는 객체들의 태그(Tag) 정보를 쉽게 확인할 수 있게 된다.

Description

증강 현실 제공 단말기{TERMINAL FOR PROVIDING AUGMENTED REALITY}

본 발명은 증강 현실 제공 단말기에 관한 것으로서, 특히 사용자가 원하는 조건에 해당하는 태그(Tag) 정보를 쉽게 확인할 수 있도록 하는 증강 현실 제공 단말기에 관한 것이다.

일반적으로 증강 현실(Augmented Reality)이라 함은 사용자 눈으로 보는 현실세계와 부가 정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 기술로, 증강 현실 기술을 이용하여 현실세계를 배경으로 가상세계를 합성하기 위해, 미리 설정된 패턴을 갖는 마커(Marker)를 사용하는 방법과 마커를 사용하지 않는 방법이 있다.

이 중에서, 마커를 사용하지 않는 방법에는 사용자의 현재 위치 정보와 방위 정보를 이용하여 증강 현실 서비스를 제공하는 방법, 카메라를 통해 획득한 이미지 내의 객체를 인식하여 증강 현실 서비스를 제공하는 방법 등이 있다.

전술한 바와 같이, 다양한 방법을 통해 증강 현실 서비스를 제공하는 경우, 단말기의 카메라를 통해 획득한 프리뷰 화면에 표시해야 할 태그(Tag) 정보가 무수히 많은 경우에는, 단말기에 구비된 화면의 크기가 한정되어 있기 때문에, 태그(Tag) 정보가 겹쳐져 보이게 된다.

전술한 바와 같이, 프리뷰 화면에 표시해야 할 태그정보가 많은 경우, 종래에는 태그정보가 겹쳐져 표시되므로, 태그정보들 간의 구분이 어렵고, 이에 따라 사용자가 원하는 조건에 해당하는 태그정보들을 쉽게 확인할 수 없는 문제점이 있다.

또한, 종래에는 태그정보를 제어할 수 있는 레이아웃을 프리뷰 화면을 통해서만 한계적으로 제공하므로, 국한된 정보만을 얻을 수 있고, 태그정보의 제어에도 제한이 있는 문제점이 있다.

본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로서, 프리뷰 화면을 확대하고, 태그정보를 제어할 수 있는 레이아웃을 단계별로 세분화하여 제공함으로써, 사용자가 원하는 조건에 해당하는 태그(Tag) 정보를 쉽게 확인하면서 종전보다 많은 정보를 얻을 수 있도록 하는 증강 현실 제공 단말기를 제공함에 그 목적이 있다.

전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 증강 현실 제공 단말기는, 증강 현실 모드에서 수신한 적어도 하나 이상의 태그정보를 카메라를 통해 획득한 실시간 영상 화면에 부가하여 디스플레이하는 증강 현실 제공 단말기에 있어서, 증강 현실 모드에서 상기 증강 현실 제공 서버로부터 수신한 적어도 하나 이상의 태그정보를 상기 카메라를 통해 획득한 실시간 영상 화면에 부가하여 화면 표시부에 디스플레이하는 영상 처리부와; 상기 태그정보가 실시간 영상 화면에 부가하여 디스플레이되는 화면상에, 태그정보를 제어하기 위한 레이아웃을 단계별로 세분화하여 제공하는 레이아웃 제공부를 포함하여 이루어지는 것이 바람직하다.

나아가, 상기 레이아웃 제공부는, 현재 위치 정보를 제공하는 위치 알림 레이아웃과; 현재 위치 정보에 의거하여 상기 증강 현실 제공 서버로부터 수신한 적어도 하나 이상의 태그정보를 카테고리별로 선택하여 표시하는 카테고리 선택 레이아웃과; 상기 카테고리 선택 레이아웃을 통해 선택된 카테고리의 태그정보가 표시되었을 때, 표시된 태그정보를 제어하기 위한 태그정보 제어 레이아웃을 제공하는 것이 바람직하다.

또한, 상기 레이아웃 제공부는, 인식된 객체에 대한 기본 정보를 제공하는 객체 알림 레이아웃과; 상기 인식된 객체와 관련하여 상기 증강 현실 제공 서버로부터 수신한 적어도 하나 이상의 태그정보를 카테고리별로 선택하여 표시하도록 하는 카테고리 선택 레이아웃과; 상기 카테고리 선택 레이아웃을 통해 선택된 카테고리의 태그정보가 표시되었을 때, 표시된 태그정보를 제어하기 위한 태그정보 제어 레이아웃을 제공하는 것이 바람직하다.

본 발명의 증강 현실 제공 단말기에 따르면, 사용자가 원하는 조건에 해당하는 태그(Tag) 정보를 쉽게 확인할 수 있게 된다.

또한, 단말기 사용자에게 단계별로 세분화된 레이아웃을 통해 종전보다 많은 정보를 제공함으로써, 단말기 사용자가 보다 많은 정보를 얻을 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 단말기의 구성을 개략적으로 보인 도면.
도 2 내지 도 13은 본 발명에 따라 제공되는 화면을 예시적으로 보인 도면.

이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따른 증강 현실 제공 단말기에 대해서 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 단말기의 구성을 개략적으로 보인 도이다.

도 1에서, 무선 통신부(110)는 증강 현실 모드의 실행에 따라 무선 통신망을 통해 증강 현실 제공 서버(미도시)에 접속한다.

정보 수신부(130)는 증강 현실 모드의 실행에 따라 구동되어, 무선 통신부(110)를 통해 접속된 증강 현실 제공 서버(미도시)로부터 적어도 하나 이상의 태그정보를 수신하여, 이를 영상 처리부(150)로 전달한다.

전술한, 정보 수신부(130)는 증강 현실 제공 단말기(100)가 증강 현실 제공 서버(미도시)로 전송한 증강 현실 제공 단말기(100)의 현재 위치 정보와 방위 정보에 의거하여 증강 현실 제공 서버(미도시)가 인식한 적어도 하나 이상의 태그정보를 수신하거나, 증강 현실 제공 단말기(100)가 증강 현실 제공 서버(미도시)로 전송한 카메라(140)를 통해 획득한 이미지 또는 이미지에서 추출한 특징점 등에 의거하여 증강 현실 제공 서버(미도시)가 인식한 객체와 관련되어 있는 적어도 하나 이상의 태그정보를 수신한다.

메모리부(120)는 정보 수신부(130)를 통해 증강 현실 제공 서버(미도시)로부터 수신한 태그정보를 저장한다.

영상 처리부(150)는 정보 수신부(130)로부터 전달받은 적어도 하나 이상의 태그정보를 카메라(140)를 통해 획득한 실시간 영상 화면에 부가하여 화면 표시부(160)에 디스플레이한다.

레이아웃 제공부(170)는 증강 현실 제공 서버(미도시)로부터 수신한 태그정보를 실시간 영상 화면에 부가하여 디스플레이하는 화면상에 단말기 사용자가 태그정보를 제어할 수 있도록 하기 위한 레이아웃을 단계별로 세분화하여 유기적으로 제공한다.

전술한, 레이아웃 제공부(170)는 단말기 사용자가 원하는 조건에 해당하는 태그정보에 대한 상세 정보를 제공하기 위해 3단계를 거치게 되는 레이아웃을 제공한다. 여기서, 3단계는 프리뷰 화면 단계, 확대 화면 단계, 상세 태그정보 화면 단계로 이루어진다.

이하에서는 도 2 내지 도 9를 참조하여 단계별로 세분화되어 유기적으로 제공되는 레이아웃에 대하여 설명한다.

우선, 증강 현실 모드가 실행되면 프리뷰 화면을 제공하게 되는 데, 위치 정보를 기반으로 증강 현실 서비스를 제공하는 경우, 프리뷰 화면 단계에서 레이아웃 제공부(170)는 도 2에 도시하는 바와 같이, 위치 알림 레이아웃(172), 카테고리 선택 레이아웃(173), 태그정보 제어 레이아웃(174), 태그정보 리스트 레이아웃(175), 방위 알림 레이아웃(176)을 제공한다.

각각의 레이아웃에 대한 설명에 앞서, 도 2의 태그정보(171)는 증강 현실 제공 단말기(100)가 사용자의 현재 위치 정보를 이용하여 증강 현실 제공 서버(미도시)로부터 수신한 적어도 하나 이상의 태그정보로, 객체의 이름과 같은 단순 정보만을 나타낸다.

전술한, 태그정보(171)는 증강 현실 제공 단말기(100)가 증강 현실 제공 서버(미도시)로부터 수신한 태그정보가 사물에 대한 것인 경우에는 같은 방향에 위치하는 적어도 하나 이상의 태그정보를 단말기 사용자와 거리가 가장 가까운 태그정보부터 앞에 위치하도록 순차적으로 표시하고, 증강 현실 제공 서버(미도시)로부터 수신한 태그정보가 사람에 대한 것인 경우에는 같은 방향에 위치하는 적어도 하나 이상의 태그정보를 객체가 정보를 등록한 시간이 가장 최근인 객체의 태그정보부터 앞에 위치하도록 순차적으로 표시하는 것이 바람직하다.

한편, 도 2에서 위치 알림 레이아웃(172)은 단말기 사용자의 현재 위치 정보를 알려주는 것으로, 단말기 사용자의 현재 위치 정보를 주소로 알려주거나, 위도 및 경도 등으로 알려준다. 즉, 단말기 사용자가 단말기 사용자의 현재 위치 주소를 표시하고 있는 위치 알림 레이아웃(172)을 터치하면, 토글 방식으로 단말기 사용자가 현재 위치한 곳의 위도와 경도를 제공한다.

카테고리 선택 레이아웃(173)은 단말기 사용자의 현재 위치 정보에 의거하여 증강 현실 제공 단말기(100)가 증강 현실 제공 서버(미도시)로부터 수신한 적어도 하나 이상의 태그정보를 카테고리별로 선택하여 표시하기 위한 것으로, 카테고리 선택 레이아웃(173)은 단말기 사용자가 검색하고자 하는 카테고리에 해당하는 태그정보를 필터링할 수 있도록 단말기 사용자가 선택할 수 있는 카테고리의 정보(예를 들어, 한식, 일식, 패스트푸드, 커피, 극장, 은행, 병원, 약국, 편의점/마트, 지하철, 남자, 여자, 친구, SNS 사용자 등)를 담고 있는 카테고리 정보 리스트를 제공한다.

이에 따라, 단말기 사용자는 카테고리 선택 레이아웃(173)을 통해 제공되는 카테고리 정보 리스트에서 원하는 카테고리 중에서 어느 하나를 선택하여 검색하고자 하는 카테고리에 해당하는 태그정보를 필터링할 수 있게 된다.

이때, 단말기 사용자에 의해 현재 선택된 카테고리는 다른 카테고리들과는 다른 색으로 구분되거나 체크 표시가 표시될 수 있다. 그리고, 세분화된 카테고리의 종류가 많아서 하나의 화면을 통해 모든 카테고리 정보를 제공하지 못하는 경우에는 플리킹(Flicking) 기능을 이용하여 카테고리 정보 리스트를 좌우로 이동시켜 현재의 화면에 표시되지 않은 다른 카테고리 정보들을 볼 수 있도록 한다.

한편, 태그정보 제어 레이아웃(174)은 프리뷰 화면을 확대하거나, 확대된 프리뷰 화면을 축소할 수 있도록 하는 조정 키(174-1)를 제공한다.

이에 따라, 단말기 사용자는 태그정보 제어 레이아웃(174)에 구비된 조정 키(174-1)를 조정하여 프리뷰 화면을 확대하거나, 확대된 프리뷰 화면을 축소할 수 있게 된다.

이와 같이, 단말기 사용자가 조정 키(174-1)를 조정하여, 프리뷰 화면을 확대하게 되면, 도 3에 도시하는 바와 같이 단말기 사용자에게 제공되는 태그정보(171)도 확대되어, 겹쳐 있는 태그정보(171)를 쉽게 확인할 수 있게 된다.

전술한, 태그정보 제어 레이아웃(174)은 다음 단계로 가기 키(>)(174-2)와 이전 단계로 가기 위한 뒤로 가기 키(<)(174-3)를 포함하는 데, 프리뷰 화면에서는 뒤로 가기 키(<)(174-3)가 비활성화되어 있다.

태그정보 리스트 레이아웃(175)은 증강 현실 제공 서버(미도시)로부터 수신한 적어도 하나 이상의 태그정보를 리스트로 제공한다.

전술한, 태그정보 리스트 레이아웃(175)은 태그정보 리스트를 숨겨놓고 있다가 단말기 사용자의 요청에 따라, 도 4에 도시하는 바와 같이 태그정보 리스트를 제공한다.

방위 알림 레이아웃(176)은 현재 단말기 사용자가 향해 있는 위치의 방위 정보를 알려준다.

한편, 도 2와 같은 프리뷰 화면 또는 도 3과 같은 확대된 프리뷰 화면에서 단말기 사용자가 드래그 등을 통해 특정 영역(예를 들어, 적어도 하나 이상의 태그정보가 겹쳐져 있는 영역)을 지정하게 되면, 단말기 사용자에 의해 지정된 영역을 도 5에 도시하는 바와 같이 확대 화면으로 제공한다.

전술한 바와 같이, 단말기 사용자의 영역 지정에 따라 프리뷰 화면이 확대 화면으로 전환되면, 태그정보 제어 레이아웃(174)은 조정 키(174-1)를 통해 사용자로부터 지정받은 영역에 겹쳐져 있는 적어도 하나 이상의 태그정보를 순차적으로 선택할 수 있도록 한다.

이에 따라, 단말기 사용자는 조정 키(174-1)를 이용하여 겹쳐져 있는 적어도 하나 이상의 태그정보를 순차적으로 선택할 수 있게 된다.

이때, 단말기 사용자가 조정 키(174-1)를 조정하게 되면, 도 6에 도시하는 바와 같이 겹쳐져 있는 적어도 하나 이상의 태그정보 중에서 맨 앞에 있던 태그정보가 맨 뒤로 보내지거나, 맨 뒤에 있던 태그정보가 맨 앞으로 옮겨지게 된다.

여기서, 겹쳐져 있는 적어도 하나 이상의 태그정보가 사물에 대한 태그정보인 경우에는, 겹쳐져 있는 적어도 하나 이상의 태그정보가 단말기 사용자와 가까이 위치해 있는 거리 순으로 표시되므로, 조정 키(174-1)가 상위로 가면 단말기 사용자와 가까이에 위치한 태그정보가 앞으로 오게 되고, 조정 키(174-1)가 하위로 가면 단말기 사용자와 가장 멀리 위치해 있는 태그정보가 앞으로 오게 된다.

그리고, 겹쳐져 있는 적어도 하나 이상의 태그정보가 사람에 대한 태그정보인 경우에는, 겹쳐져 있는 적어도 하나 이상의 태그정보가 정보 등록 시간 순으로 표시되므로, 조정 키(174-1)가 상위로 가면 가장 최근에 정보를 등록한 태그정보가 앞으로 오게 되고, 조정 키(174-1)가 하위로 가면 가장 오래전에 정보를 등록한 태그정보가 앞으로 오게 된다.

또한, 적어도 하나 이상의 태그정보가 겹쳐져 있는 모양에 따라, 겹쳐져 있는 적어도 하나 이상의 태그정보는 도 7에 도시하는 바와 같이 단말기 사용자의 조정 키(174-4) 조정에 따라 시계 방향이나 반 시계 방향으로 순환되면서 선택된다.

즉, 태그정보가 앞뒤로 밀집되게 겹쳐져 있는 경우에는 앞서 설명한 바와 같이 단말기 사용자가 조정 키(174-1)를 조정함에 따라, 맨 앞에 있던 태그정보가 맨 뒤로 보내지거나, 맨 뒤에 있던 태그정보가 맨 앞으로 옮겨지게 된다. 그러나, 도 7에 도시하는 바와 같이, 적어도 하나 이상의 태그정보가 좌우로 밀집되게 겹쳐져 있는 경우에는 단말기 사용자의 조정 키(174-1) 조정에 따라 태그정보가 시계 방향이나 반 시계 방향으로 순환되면서 선택될 수 있다.

본 발명의 실시예에서는 태그정보 제어 레이아웃(174)에 구비된 조정 키(174-4)를 통해 겹쳐져 있는 적어도 하나 이상의 태그정보를 순차적으로 선택하도록 구현하였으나, 이를 플리킹 기능을 이용하여 맨 앞에 위치한 태그정보를 앞뒤 또는 좌우로 이동시켜 뒤에 있는 태그정보가 앞으로 옮겨지도록 할 수도 있다.

한편, 도 7에 도시하는 바와 같이 프리뷰 화면이 확대 화면으로 전환된 상태에서, 단말기 사용자가 다음 단계로 가기 키(>)(174-2)를 누르게 되면, 맨 앞에 표시되어 있는 태그정보가 선택되어 해당 태그정보에 대한 상세 태그정보 화면으로 진행하게 되고, 단말기 사용자가 뒤로 가기 키(<)(174-3)를 누르게 되면, 프리뷰 화면으로 이동하게 된다.

한편, 도 7에 도시하는 바와 같이 프리뷰 화면이 확대 화면으로 전환되면, 레이아웃 제공부(170)는 거리 정보 레이아웃(177)을 제공하게 되는 데, 거리 정보 레이아웃(177)은 단말기 사용자로부터 지정받은 영역에 겹쳐져 있는 적어도 하나 이상의 태그정보 중에서 맨 앞에 표시된 태그정보가 단말기 사용자의 위치에서 얼마나 떨어져 있는 지를 나타낸다.

이상에서 살펴본 바와 같이, 단말기 사용자의 영역 지정에 따라 프리뷰 화면이 확대 화면으로 전환될 때, 화면 표시부(160)에 표시되는 영상 화면은 카메라(140)를 통해 획득한 실시간 영상 화면이 아니라, 단말기 사용자에 의해 지정된 영역을 캡쳐한 정지 화면이 표시되는 것이 바람직하다. 그리고, 화면 표시부(160)에 표시된 영상 화면에 부가되어 표시되는 태그정보는 도 5에 도시하는 바와 같이, 단말기 사용자에 의해 지정된 영역에 포함된 태그정보만을 표시한다. 이에 따라, 프리뷰 화면이 확대 화면으로 전환된 후에는 증강 현실 제공 단말기(100)가 움직이게 되더라도 화면 표시부(160)에는 단말기 사용자에 의해 지정된 영역을 캡쳐한 정지 화면과, 단말기 사용자에 의해 지정된 영역에 포함된 태그정보만이 표시된다.

한편, 도 5와 같은 확대 화면에서 단말기 사용자가 화면의 맨 앞에 위치한 태그정보를 선택하게 되면, 단말기 사용자에 의해 선택된 태그정보에 대한 상세 태그정보를 도 8에 도시하는 바와 같이 상세 태그정보 화면을 통해 제공한다.

전술한 바와 같이, 단말기 사용자의 태그정보 선택에 따라 확대 화면이 상세 태그정보 화면으로 전환되면, 레이아웃 제공부(170)는 상세 태그정보 레이아웃(178)을 제공하게 된다.

상세 태그정보 레이아웃(178)은 확대 화면에서 단말기 사용자로부터 선택받은 태그정보에 대한 상세 태그정보를 제공한다.

여기서, 확대 화면에서 단말기 사용자로부터 선택받은 태그정보가 사물에 대한 태그정보인 경우에는, 도 8에 도시하는 바와 같이 레이아웃 제공부(170)는 상세 태그정보 레이아웃(178)을 통해 홈 페이지 이동, 위치 보기, 전화 걸기, 정보 검색하기, 즐겨찾기 추가, 이메일 보내기 기능 등을 제공한다.

이에 따라, 단말기 사용자는 상세 태그정보 레이아웃(178)에 구비된 홈 페이지 이동, 위치 보기, 전화 걸기, 정보 검색, 즐겨찾기 추가, 이메일 보내기 기능들 중에서 어느 하나를 선택하여 원하는 기능을 바로 수행할 수 있게 된다. 예를 들어, 선택된 객체의 위치 정보를 확인하기 위해 위치 버튼을 누르면, 해당 객체의 위치가 표시된 지도가 제공되고, 선택된 객체에 대한 정보를 검색하기 위해 정보 검색 버튼을 누르면, 포털 사이트에 자동 접속하여 해당 객체에 대한 정보를 검색하게 된다.

그리고, 확대 화면에서 단말기 사용자로부터 선택받은 태그정보가 사람에 대한 태그정보인 경우에는, 도 9에 도시하는 바와 같이 레이아웃 제공부(170)는 상세 태그정보 레이아웃(178)을 통해 홈 페이지 이동, 문자 보내기, 전화 걸기, SNS(Social Network Services), 즐겨찾기 추가, 미니홈피, 이메일 보내기, 메신저 기능 등을 제공한다.

이에 따라, 단말기 사용자는 상세 태그정보 레이아웃(178)에 구비된 홈 페이지 이동, 문자 보내기, 전화 걸기, SNS, 즐겨찾기 추가, 미니홈피, 이메일 보내기, 메신저 기능 중에서 어느 하나를 선택하여 원하는 기능을 바로 수행할 수 있게 된다. 예를 들어, 선택된 객체에게 문자 메시지를 보내기 위해 문자 메시지 버튼을 누르면, 문자 메시지 작성 화면이 제공되고, 선택된 객체에게 전화를 걸기 위해 전화 걸기 버튼을 누르면, 해당 객체의 전화 번호를 이용하여 음성 통화 호 설정을 수행한다.

전술한, 상세 태그정보 레이아웃(178)은 객체가 사물이냐 사람이냐에 따라 홈 페이지 이동, 위치 보기, 문자 보내기, 전화 걸기, SNS, 정보 검색하기, 즐겨찾기 추가, 미니홈피, 이메일 보내기, 메신저 기능 등을 선택적으로 선택하여 단말기 사용자에게 제공하는 데, 선택 기능이 많아 한 번에 제공할 수 없는 경우에는 플리킹 기능을 이용하여 상세 태그정보 레이아웃(178)을 좌우로 이동시켜 현재의 화면에서 제공되지 않은 다른 기능들을 제공할 수도 있다.

한편, 상세 태그정보 화면에서 레이아웃 제공부(170)는 위치 알림 레이아웃(172)을 통해, 단말기 사용자로부터 선택된 객체의 이름과 주소 정보를 제공하는 데, 객체가 사물인 경우에는 사물의 이름(예를 들어, 식당 이름, 관공서 명칭, 병원이름, 약국 이름 등)과 해당 사물의 주소 정보를 제공하고, 객체가 사람인 경우에는 닉네임이나 사람 객체가 남긴 메시지 및 해당 메시지를 등록한 시간 등의 정보를 제공한다.

또한, 상세 태그정보 화면에서 레이아웃 제공부(170)는 태그정보 제어 레이아웃(174)의 조정 키(174-1)와 다음 단계로 가기 키(>)(174-2)는 비활성화시켜 단말기 사용자가 선택할 수 없게 하고, 뒤로 가기 키(<)(174-3)만 활성화시켜 태그정보를 잘못 선택했을 경우에 전 단계인 확대 화면으로 이동할 수 있게 한다.

그리고, 상세 태그정보 화면에서 레이아웃 제공부(170)는 프리뷰 화면과 확대 화면에서는 제공되던 태그정보 리스트 레이아웃(175), 방위 알림 레이아웃(176)을 제공하지 않는다.

한편, 증강 현실 서비스를 객체 인식 기반으로 제공하는 경우, 프리뷰 화면 단계에서 레이아웃 제공부(170)는 도 10에 도시하는 바와 같이, 객체 알림 레이아웃(181), 카테고리 선택 레이아웃(182), 태그정보 제어 레이아웃(183), 태그정보 리스트 레이아웃(175), 방위 알림 레이아웃(176)을 제공한다. 여기서, 태그정보 리스트 레이아웃(175), 방위 알림 레이아웃(176)은 위치 정보를 기반으로 증강 현실 서비스를 제공하는 경우에 제공되는 태그정보 리스트 레이아웃(175), 방위 알림 레이아웃(176)과 그 구성 및 동작이 동일하므로, 동일한 도면 번호를 부여하고 이에 대한 설명은 생략하기로 한다.

도 10에서 객체 알림 레이아웃(181)은 인식된 객체에 대한 기본 정보를 제공하는 것으로, 인식된 객체가 빌딩인 경우 해당 빌딩의 이름을 표시한다.

카테고리 선택 레이아웃(182)은 카메라를 통해 획득한 이미지 내에서 인식된 객체와 관련하여 증강 현실 제공 서버(미도시)로부터 수신한 적어도 하나 이상의 태그정보를 카테고리별로 선택하여 표시하기 위한 것으로, 카테고리 선택 레이아웃(182)은 단말기 사용자가 검색하고자 하는 카테고리에 해당하는 태그정보를 필터링할 수 있도록 단말기 사용자가 선택할 수 있는 카테고리의 정보(예를 들어, 한식, 일식, 패스트푸드, 커피, 극장, 은행, 병원, 약국, 편의점/마트, 지하철, 남자, 여자, 친구, SNS 사용자 등)를 담고 있는 카테고리 정보 리스트를 제공한다.

이에 따라, 단말기 사용자는 카테고리 선택 레이아웃(182)을 통해 제공되는 카테고리 정보 리스트에서 원하는 카테고리 중에서 어느 하나를 선택하여 검색하고자 하는 카테고리에 해당하는 태그정보를 필터링할 수 있게 된다.

한편, 태그정보 제어 레이아웃(183)은 프리뷰 화면을 확대하거나, 확대된 프리뷰 화면을 축소할 수 있도록 하는 조정 키(183-1)를 제공한다.

또한, 태그정보 제어 레이아웃(183)은 다음 단계로 가기 키(>)(183-2)와 이전 단계로 가기 위한 뒤로 가기 키(<)(183-3)를 제공하는 데, 프리뷰 화면에서는 뒤로 가기 키(<)(183-3)가 비활성화되어 있다.

전술한 바와 같이, 객체 인식 기반으로 증강 현실 서비스를 제공할 때, 인식된 객체가 적어도 하나 이상인 경우에는 도 10에 도시하는 바와 같이, 인식된 적어도 하나 이상의 객체에 대한 태그정보를 표시할 수도 있고, 도 11에 도시하는 바와 같이 선택된 객체에 대한 태그정보만을 표시할 수도 있다.

여기서, 인식된 적어도 하나 이상의 객체 중에서 어느 하나를 선택할 수 있도록, 레이아웃 제공부(170)는 태그정보 제어 레이아웃(183)의 조정 키(183-1)를 통해 적어도 하나 이상 인식된 객체를 순차적으로 선택할 수 있도록 하거나, 사용자로부터 직접 객체를 지정받아 선택할 수 있도록 한다.

전술한 바와 같이, 적어도 하나 이상 인식된 객체 중에서 어느 하나가 선택되면, 도 11에 도시하는 바와 같이 객체 알림 레이아웃(181)은 태그정보 제어 레이아웃(183)의 조정 키(183-1)를 통해 선택된 객체에 대한 기본 정보를 제공한다.

그리고, 카테고리 선택 레이아웃(182)은 태그정보 제어 레이아웃(183)의 조정 키(183-1)를 통해 선택된 객체와 관련하여 증강 현실 제공 서버(미도시)로부터 수신한 적어도 하나 이상의 태그정보를 카테고리별로 선택하여 표시하도록 한다.

한편, 도 10 또는 도 11과 같은 프리뷰 화면에서 단말기 사용자가 드래그 등을 통해 특정 영역(예를 들어, 인식된 객체가 표시되어 있는 영역, 적어도 하나 이상 인식된 객체 중에서 선택된 객체가 표시되어 있는 영역)을 지정하게 되면, 단말기 사용자에 의해 지정된 영역을 도 12에 도시하는 바와 같이 확대 화면으로 제공한다.

전술한 바와 같이, 단말기 사용자의 영역 지정에 따라 프리뷰 화면이 확대 화면으로 전환되면, 태그정보 제어 레이아웃(183)은 조정 키(183-1)를 통해 사용자로부터 지정받은 영역에 표시되어 있는 적어도 하나 이상의 태그정보를 순차적으로 선택할 수 있도록 한다.

이때, 단말기 사용자가 조정 키(183-1)를 조정하게 되면, 도 13에 도시하는 바와 같이 복수의 태그정보는 시계 방향이나 반 시계 방향으로 순환되면서 선택된다.

전술한 바와 같이, 프리뷰 화면이 확대 화면으로 전환되었을 때, 레이아웃 제공부(170)는 거리 정보 레이아웃(177)을 제공하게 되는 데, 거리 정보 레이아웃(177)은 조정 키(183-1)에 의해 선택된 태그정보가 단말기 사용자의 위치에서 얼마나 떨어져 있는 지를 나타낸다.

한편, 도 12와 같은 확대 화면에서 단말기 사용자가 조정 키(183-1)에 의해 선택된 태그정보를 선택하게 되면, 단말기 사용자에 의해 선택된 태그정보에 대한 상세 태그정보를 상세 태그정보 화면(미도시)을 통해 제공하는 데, 단말기 사용자의 태그정보 선택에 따라 확대 화면이 상세 태그정보 화면으로 전환되면, 레이아웃 제공부(170)는 상세 태그정보 레이아웃(178)을 제공하며, 상세 태그정보 레이아웃(178)은 위치 정보를 기반으로 증강 현실 서비스를 제공하는 경우에 제공되는 상세 태그정보 레이아웃(178)과 그 구성 및 동작이 동일하므로, 이에 대한 설명은 생략하기로 한다.

본 발명의 증강 현실 제공 단말기는 전술한 실시예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수 있다.

100. 증강 현실 제공 단말기, 110. 무선 통신부,
120. 메모리부, 130. 정보 수신부,
140. 카메라, 150. 영상 처리부,
160. 화면 표시부, 170. 레이아웃 제공부,
171. 태그정보, 172. 위치 알림 레이아웃,
173, 182. 카테고리 선택 레이아웃, 174, 183. 태그정보 제어 레이아웃,
175. 태그정보 리스트 레이아웃, 176. 방위 알림 레이아웃,
177. 거리 정보 레이아웃, 178. 상세 태그정보 레이아웃,
181. 객체 알림 레이아웃, 174-1, 183-1. 조정 키,
174-2, 183-2. 다음 단계로 가기 키, 174-3, 183-3. 뒤로 가기 키

Claims (15)

1. 실시간으로 영상을 획득하는 카메라부;
   상기 획득한 실시간 영상을 디스플레이하는 화면 표시부;
   증강 현실 제공 서버로부터 수신한 적어도 하나 이상의 태그정보를 상기 카메라부를 통해 획득한 실시간 영상에 부가하여 상기 화면 표시부에 디스플레이하는 영상 처리부; 및
   상기 수신한 적어도 하나 이상의 태그정보를 실시간 영상에 부가하여 디스플레이하는 화면 상에, 사용자 조건에 따라 상기 태그정보를 제어할 수 있도록 하기 위한 레이아웃을 제공하는 레이아웃 제공부를 포함하는 증강 현실 제공 단말기.
   
2. 제 1항에 있어서, 상기 레이아웃 제공부는,
   현재 위치 정보를 제공하는 위치 알림 레이아웃과;
   현재 위치 정보에 의거하여 상기 증강 현실 제공 서버로부터 수신한 적어도 하나 이상의 태그정보를 카테고리별로 선택하여 표시하는 카테고리 선택 레이아웃과;
   상기 카테고리 선택 레이아웃을 통해 선택된 카테고리의 태그정보가 표시되었을 때, 표시된 태그정보를 제어하기 위한 태그정보 제어 레이아웃을 제공하는 것을 특징으로 하는 증강 현실 제공 단말기.
   
3. 제 1항에 있어서, 상기 레이아웃 제공부는,
   인식된 객체에 대한 기본 정보를 제공하는 객체 알림 레이아웃과;
   상기 인식된 객체와 관련하여 상기 증강 현실 제공 서버로부터 수신한 적어도 하나 이상의 태그정보를 카테고리별로 선택하여 표시하도록 하는 카테고리 선택 레이아웃과;
   상기 카테고리 선택 레이아웃을 통해 선택된 카테고리의 태그정보가 표시되었을 때, 표시된 태그정보를 제어하기 위한 태그정보 제어 레이아웃을 제공하는 것을 특징으로 하는 증강 현실 제공 단말기.
   
4. 제 3항에 있어서, 상기 태그정보 제어 레이아웃은 인식된 적어도 하나 이상의 객체를 순차적으로 선택하도록 하고,
   상기 객체 알림 레이아웃은 상기 태그정보 제어 레이아웃을 통해 선택된 객체에 대한 기본 정보를 제공하며,
   상기 카테고리 선택 레이아웃은 상기 태그정보 제어 레이아웃을 통해 선택된 객체와 관련하여 상기 증강 현실 제공 서버로부터 수신한 적어도 하나 이상의 태그정보를 카테고리별로 선택하여 표시하도록 하는 것을 특징으로 하는 증강 현실 제공 단말기.
   
5. 제 2항 또는 제 3항에 있어서, 상기 레이아웃 제공부는,
   상기 증강 현실 제공 서버로부터 수신한 적어도 하나 이상의 태그정보를 리스트로 제공하는 태그정보 리스트 레이아웃과;
   방위 정보를 제공하는 방위 알림 레이아웃 중에서 적어도 하나 이상을 더 제공하는 것을 특징으로 하는 증강 현실 제공 단말기.
   
6. 제 2항 또는 제 3항에 있어서, 상기 태그정보 제어 레이아웃은,
   상기 태그정보가 실시간 영상 화면에 부가되어 디스플레이되는 프리뷰 화면을 확대하거나, 확대된 프리뷰 화면을 축소하고, 프리뷰 화면에서 사용자로부터 지정받은 영역이 확대되어 프리뷰 화면이 확대 화면으로 전환되면, 확대 화면에 표시되는 적어도 하나 이상의 태그정보를 순차적으로 선택하도록 하는 조정 키를 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 단말기.
   
7. 제 6항에 있어서, 상기 태그정보 제어 레이아웃은,
   다음 단계로 진행하기 위한 다음 단계로 가기 키와 이전 단계로 이동하기 위한 뒤로 가기 키를 더 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 단말기.
   
8. 제 6항에 있어서, 상기 조정 키의 조작에 따라, 상기 확대 화면에 표시되는 적어도 하나 이상의 태그정보 중에서 맨 앞에 있던 태그정보가 맨 뒤로 보내지거나, 맨 뒤에 있던 태그정보가 맨 앞으로 옮겨지는 것을 특징으로 하는 증강 현실 제공 단말기.
   
9. 제 6항에 있어서, 상기 조정 키의 조작에 따라, 상기 확대 화면에 표시되는 적어도 하나 이상의 태그정보가 시계 방향이나 반시계 방향으로 순환되면서 선택되는 것을 특징으로 하는 증강 현실 제공 단말기.
   
10. 제 2항 또는 제 3항에 있어서, 상기 레이아웃 제공부는,
    프리뷰 화면이 확대 화면으로 전환되었을 때, 상기 확대 화면에 표시되는 적어도 하나 이상의 태그정보 중에서 어느 하나가 선택되어 맨 앞에 표시되면, 맨 앞에 표시된 객체가 사용자의 위치에서 얼마나 떨어져 있는 지를 나타내는 거리 정보 레이아웃을 더 제공하는 것을 특징으로 하는 증강 현실 제공 단말기.
    
11. 제 2항 또는 제3항에 있어서, 상기 레이아웃 제공부는,
    확대 화면에서 맨 앞에 표시되는 태그정보를 사용자로부터 선택받아 확대 화면이 상세 태그정보 화면으로 전환되면, 선택받은 객체에 대한 상세 태그정보를 제공하는 상세 태그정보 레이아웃을 더 제공하는 것을 특징으로 하는 증강 현실 제공 단말기.
    
12. 제 11항에 있어서, 상기 상세 태그정보 레이아웃은,
    상기 선택받은 태그정보가 사물에 대한 태그정보이면, 홈페이지 이동, 위치 보기, 전화 걸기, 정보 검색, 즐겨찾기 추가, 이메일 보내기 기능 중에서 적어도 하나 이상을 제공하는 것을 특징으로 하는 증강 현실 제공 단말기.
    
13. 제 11항에 있어서, 상기 상세 태그정보 레이아웃은,
    상기 선택받은 태그정보가 사람에 대한 태그정보이면, 홈페이지 이동, 문자 보내기, 전화 걸기, SNS(Social Network Services), 즐겨찾기 추가, 이메일 보내기, 메신저 기능 중에서 적어도 하나 이상을 제공하는 것을 특징으로 하는 증강 현실 제공 단말기.
    
14. 제 1항에 있어서, 상기 태그정보는,
    사물에 대한 태그정보이면, 사용자와의 거리가 가장 가까운 태그정보가 맨 앞에 위치하도록 표시되고,
    사람에 대한 태그정보이면, 가장 최근에 정보를 등록한 태그정보가 맨 앞에 위치하도록 표시되는 것을 특징으로 하는 증강 현실 제공 단말기.
15. 제 1항에 있어서, 상기 레이아웃 제공부는,
    적어도 하나 이상의 레이아웃의 조합을 통해 상기 수신된 태그정보를 사용자 조건에 따라 선택적으로 제공하는 것을 특징으로 하는 증강 현실 제공 단말기.

Images