KR101350033B1 - 증강 현실 제공 단말기 및 방법 - Google Patents

증강 현실 제공 단말기 및 방법 Download PDF

Info

Publication number
KR101350033B1
KR101350033B1 KR1020100126633A KR20100126633A KR101350033B1 KR 101350033 B1 KR101350033 B1 KR 101350033B1 KR 1020100126633 A KR1020100126633 A KR 1020100126633A KR 20100126633 A KR20100126633 A KR 20100126633A KR 101350033 B1 KR101350033 B1 KR 101350033B1
Authority
KR
South Korea
Prior art keywords
information
user
augmented reality
distance
reality providing
Prior art date
Application number
KR1020100126633A
Other languages
English (en)
Other versions
KR20120065480A (ko
Inventor
성영주
하용구
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020100126633A priority Critical patent/KR101350033B1/ko
Priority to US13/224,053 priority patent/US8750559B2/en
Publication of KR20120065480A publication Critical patent/KR20120065480A/ko
Application granted granted Critical
Publication of KR101350033B1 publication Critical patent/KR101350033B1/ko
Priority to US14/292,085 priority patent/US8879784B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 사용자로 하여금 객체 정보의 검색 및 확인을 좀 더 쉽게 할 수 있도록 하는 증강 현실 제공 단말기 및 방법에 관한 것이다.
이를 위해, 본 발명은 증강 현실 모드에서 카메라의 줌 기능을 통해 줌 단계를 변경하면, 기본 검색 거리와 변경된 줌 단계에 의거하여 사용자의 가상 이동 거리 및 가상 이동 위치를 산출하고, 기본 검색 거리에서 가상 이동 거리를 뺀 거리를 검색 거리로 설정한 후, 가상 이동 위치와 검색 거리로 사용자 정보를 재설정하여 증강 현실 제공 서버로 전송하고, 증강 현실 제공 서버로부터 재설정된 사용자 정보에 의거하여 검색된 객체 정보를 수신하여, 이를 카메라를 통해 획득한 실시간 영상 화면에 겹쳐 표시하도록 구성되는 것이 바람직하다.
이에 따라, 본 발명은 줌 단계별로 일정 거리만큼 사용자의 위치를 가상 이동시킴으로써, 검색 범위를 좁혀서 객체의 인식 속도를 향상시킬 수 있게 되고, 겹쳐져 보이던 객체 정보가 서로 떨어져 보이게 되며, 객체 정보의 개수가 줄어들게 됨에 따라, 객체 정보의 확인이 보다 용이하게 된다.

Description

증강 현실 제공 단말기 및 방법{TERMINAL AND METHOD FOR PROVIDING AUGMENTED REALITY}
본 발명은 증강 현실 제공 단말기 및 방법에 관한 것으로서, 특히 사용자로 하여금 객체 정보의 검색 및 확인을 좀 더 쉽게 할 수 있도록 하는 증강 현실 제공 단말기 및 방법에 관한 것이다.
증강 현실(Augmented Reality) 기술은 카메라를 통해 들어오는 영상에 가상의 물체를 혼합해서 사용자에게 제공하는 것으로, 사용자가 실제 공간 위에서 가상의 물체와 상호작용할 수 있다.
전술한 증강 현실 기술에 대한 연구가 시작된 이래 다양한 분야에서 이 기술을 활용하려는 연구가 이어져 왔으며, 최근에는 스마트 폰의 확산과 더불어 증강 현실 기술이 위치 기반 서비스에 많이 활용되고 있다.
전술한 바와 같이, 증강 현실을 활용한 위치 기반 서비스를 제공하는 경우, 검색 범위 내의 객체 정보(POI:Points Of Interest)가 많아서 프리뷰 화면상에 표시해야 할 객체 정보가 무수히 많은 경우에는, 객체 정보가 겹쳐져 보이게 된다.
전술한 바와 같이, 검색 범위 내의 객체 정보가 많아서 프리뷰 화면상에 표시해야 할 객체 정보가 많은 경우, 종래에는 객체 정보가 겹쳐져 표시되므로, 객체 정보들 간의 구분이 어렵게 되는 문제점이 있다. 또한, 다른 객체 정보들에 가려 사용자의 눈에 보이지 않는 객체 정보들도 발생하게 되어, 사용자가 원하는 객체 정보를 쉽게 확인할 수 없게 되는 문제점이 있다. 또한, 검색 범위 내의 객체 정보가 많은 경우, 사용자가 원하지 않는 부분의 객체 정보도 함께 표시되므로, 사용자가 찾고자 하는 객체 정보를 검색하기가 어려운 문제점이 있다. 또한, 프리뷰 화면상에 표시되는 이미지가 너무 작아서 객체가 인식이 안 되는 경우가 발생하고, 프리뷰 화면상에 표시되는 객체의 수가 너무 많아서 객체 인식 속도가 느려지며, 객체 정보가 해당 객체에 정확하게 매핑되어 표시되지 않게 되는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로서, 줌 기능을 제공하고, 줌 단계별로 일정 거리만큼 사용자의 위치를 가상 이동시킴으로써, 검색 범위를 좁혀서 프리뷰 화면상에 표시되는 객체 정보를 필터링할 수 있도록 하는 증강 현실 제공 단말기 및 방법을 제공함에 그 목적이 있다.
본 발명의 다른 목적은 작아서 인식이 안 되던 객체를 줌 기능을 이용하여 프리뷰 화면상에 크게 보여지도록 함으로써, 객체 인식이 가능해지도록 하고, 줌 기능을 이용하여 프리뷰 화면상에 표시되는 객체의 수를 줄여 DB에서 검색해야 할 대상을 줄임으로써, 객체 인식 속도를 향상시킬 수 있도록 하는 증강 현실 제공 단말기 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 인식된 객체에 대한 객체 정보가 해당 객체의 위치에 정확하게 매칭되어 표시될 수 있도록 하는 증강 현실 제공 단말기 및 방법을 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 증강 현실 제공 단말기는, 단말기의 현재 위치 정보를 제공하는 위치 정보 제공부와; 증강 현실 모드에서 무선 통신부를 통해 접속된 증강 현실 제공 서버로 단말기의 현재 위치 정보와 기본 검색 거리를 포함하는 사용자 정보를 전송하고, 상기 증강 현실 제공 서버로부터 상기 사용자 정보에 의거하여 검색된 복수의 객체 정보를 수신하는 정보 송/수신부와; 상기 정보 송/수신부를 통해 수신한 객체 정보를 카메라를 통해 획득한 실시간 영상 화면에 겹쳐 화면 표시부에 표시하는 영상 처리부와; 상기 카메라의 줌 단계가 변경되면, 변경된 줌 단계에 의거하여 사용자의 가상 이동 거리 및 가상 이동 위치를 산출하고, 상기 가상 이동 위치로 상기 사용자 정보를 재설정하는 사용자 관점 분석부를 포함하여 이루어지는 것이 바람직하다.
한편, 본 발명의 다른 실시예에 따른 증강 현실 제공 단말기는, 단말기의 현재 위치 정보를 제공하는 위치 정보 제공부와; 증강 현실 모드에서 무선 통신부를 통해 접속된 증강 현실 제공 서버로 단말기의 현재 위치 정보와 프리뷰 화면에서 추출된 객체의 특징 정보를 전송하고, 상기 증강 현실 제공 서버로부터 상기 단말기의 현재 위치 정보와 특징 정보에 의거하여 검색된 객체 정보를 수신하는 정보 송/수신부와; 상기 정보 송/수신부를 통해 상기 증강 현실 제공 서버로부터 수신되는 객체 정보가 존재하는 경우, 수신된 객체 정보에 포함되어 있는 객체의 위치 정보에 의거하여 사용자와 객체 간의 거리를 구하고, 이 거리를 기준 거리로 설정하는 객체 인식 판단부와; 상기 정보 송/수신부를 통해 수신한 객체 정보를 카메라를 통해 획득한 실시간 영상 화면에 겹쳐 화면 표시부에 표시하는 영상 처리부와; 상기 카메라의 줌 단계가 변경되면, 상기 기준 거리와 변경된 줌 단계에 의거하여 사용자의 가상 이동 위치를 파악하고, 가상 이동 위치와 확대된 화면에서 추출된 객체의 특징 정보를 상기 정보 송/수신부로 전달하는 사용자 관점 분석부를 포함하여 이루어지는 것이 바람직하다.
한편, 본 발명의 일 실시예에 따른 증강 현실 제공 방법은, 증강 현실 제공 단말기에서 증강 현실 모드의 실행에 따라 증강 현실 제공 서버에 접속하여 사용자의 현재 위치 정보와 기본 검색 거리를 포함하는 사용자 정보를 전송하는 과정과; 상기 증강 현실 제공 서버로부터 상기 사용자 정보에 의거하여 검색된 복수의 객체 정보를 수신하고, 수신한 객체 정보를 카메라를 통해 획득한 실시간 영상 화면에 겹쳐 표시하는 과정과; 사용자의 조작에 따라 줌 단계가 변경되면, 변경된 줌 단계에 의거하여 사용자의 가상 이동 거리 및 가상 이동 위치를 산출하는 과정과; 상기 가상 이동 위치로 상기 사용자 정보를 재설정하여 상기 증강 현실 제공 서버로 전송하는 과정과; 상기 증강 현실 제공 서버로부터 상기 재설정된 사용자 정보에 의거하여 검색된 객체 정보를 수신하고, 수신한 객체 정보를 카메라를 통해 획득한 실시간 영상 화면에 겹쳐 표시하는 과정을 포함하여 이루어지는 것이 바람직하다.
한편, 본 발명의 다른 실시예에 따른 증강 현실 제공 방법은, 증강 현실 제공 단말기에서 증강 현실 모드의 실행에 따라 증강 현실 제공 서버에 접속하여 사용자의 현재 위치 정보와 프리뷰 화면에서 추출된 객체들의 특징 정보를 전송하는 과정과; 상기 증강 현실 제공 서버로부터 상기 사용자의 현재 위치 정보와 특징 정보에 의거하여 검색된 객체 정보를 수신하는 과정과; 상기 증강 현실 제공 서버로부터 수신되는 객체 정보가 존재하는 경우에는, 수신된 객체 정보에 포함되어 있는 객체의 위치 정보에 의거하여 사용자와 객체 간의 거리를 산출하고, 산출된 거리를 기준 거리로 설정하는 과정과; 사용자의 조작에 따라 줌 단계가 변경되면, 상기 기준 거리와 변경된 줌 단계에 의거하여 사용자의 가상 이동 위치를 파악하고, 줌 단계가 변경됨에 따라 확대된 화면에 표시되는 객체들의 특징 정보를 추출하는 과정과; 상기 증강 현실 제공 서버로 상기 사용자의 가상 이동 위치와 특징 정보를 전송하는 과정과; 상기 증강 현실 제공 서버로부터 상기 사용자의 가상 이동 위치와 특징 정보에 의거하여 검색된 객체 정보를 수신하는 과정과; 수신한 객체 정보를 카메라를 통해 획득한 실시간 영상 화면에 겹쳐 표시하되, 각 객체 정보를 각 객체의 위치에 매칭시켜 표시하는 과정을 포함하여 이루어지는 것이 바람직하다.
본 발명의 증강 현실 제공 단말기 및 방법에 따르면, 줌 단계별로 일정 거리만큼 사용자의 위치를 가상 이동시킴으로써, 검색 범위를 좁혀서 객체의 인식 속도를 향상시킬 수 있게 된다. 또한, 사용자의 가상 이동 위치를 기준으로 좁혀진 검색 범위 내에서 검색된 객체 정보를, 가상 이동 위치를 기준으로 재배치하여 표시함으로써, 겹쳐져 보이던 객체 정보가 서로 떨어져 보이게 되고, 객체 정보의 개수가 줄어들게 됨에 따라, 객체 정보의 확인이 보다 용이하게 된다. 또한, 작아서 인식이 안 되던 객체를 줌 기능을 이용하여 프리뷰 화면상에 크게 보여지도록 함으로써, 객체 인식이 가능해지도록 하고, 줌 기능을 이용하여 프리뷰 화면상에 표시되는 객체의 수를 줄여 DB에서 검색해야 할 대상을 줄임으로써, 객체 인식 속도를 향상시킬 수 있게 된다. 또한, 인식된 객체에 대한 객체 정보를 해당 객체의 위치에 정확하게 매칭시켜 표시할 수 있게 된다.
도 1은 본 발명이 적용되는 증강 현실 제공 시스템의 구성을 개략적으로 보인 도면.
도 2는 본 발명의 일 실시예에 따른 증강 현실 제공 단말기의 구성을 개략적으로 보인 도면.
도 3은 본 발명의 다른 실시예에 따른 증강 현실 제공 단말기의 구성을 개략적으로 보인 도면.
도 4는 본 발명의 일 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 처리도.
도 5 내지 도 10은 본 발명의 일 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 도면.
도 11은 본 발명의 다른 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 처리도.
도 12는 본 발명의 다른 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 도면.
도 13a 및 도 13b는 본 발명의 또 다른 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 처리도.
도 14는 본 발명의 또 다른 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 도면.
이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따른 증강 현실 제공 단말기 및 방법에 대해서 상세하게 설명한다.
도 1은 본 발명이 적용되는 증강 현실 제공 시스템의 구성을 개략적으로 보인 도이다.
도 1에서, 증강 현실 제공 단말기(100)는 증강 현실 모드의 실행에 따라 접속된 증강 현실 제공 서버(200)로 자신의 현재 위치 정보, 기본 검색 거리를 포함하는 사용자 정보를 전송하여, 증강 현실 제공 서버(200)로부터 사용자 정보에 의거하여 검색된 객체 정보를 수신하고, 수신한 객체 정보를 카메라를 통해 획득한 실시간 영상 화면에 겹쳐(overlap) 표시한다. 여기서, 증강 현실 제공 단말기(100)는 사용자 정보에 현재 방위 정보 및 카메라의 시야각 정보를 더 포함시켜 전송할 수 있다.
또한, 증강 현실 제공 단말기(100)는 증강 현실 제공 서버(200)로부터 수신한 객체 정보 중에서 자신의 현재 방위 정보에 의거하여 자신이 향하고 있는 방향의 객체 정보를 추출한 후, 추출된 객체 정보를 카메라를 통해 획득한 실시간 영상 화면에 겹쳐 표시한다.
전술한, 증강 현실 제공 단말기(100)는 증강 현실 모드에서 사용자의 조작에 따라 카메라의 줌 단계가 변경되면, 변경된 줌 단계에 의거하여 사용자의 가상 이동 거리 및 가상 이동 위치를 산출하고, 기본 검색 거리에서 가상 이동 거리를 뺀 거리를 검색 거리로 설정한 후, 사용자 정보를 가상 이동 위치와 검색 거리로 재설정하여 이를 증강 현실 제공 서버(200)로 전송한다.
또한, 증강 현실 제공 단말기(100)는 증강 현실 모드에서 사용자의 조작에 따라 카메라의 줌 단계가 변경되면, 줌 단계가 변경됨에 따라 확대된 프리뷰 화면에 표시되는 객체들의 특징 정보를 추출하여, 이를 재설정된 사용자 정보와 함께 증강 현실 제공 서버(200)로 전송하고, 증강 현실 제공 서버(200)로부터 재설정된 사용자 정보와 특징 정보에 의거하여 검색된 객체 정보를 수신한 후, 수신한 객체 정보를 카메라를 통해 획득한 실시간 영상 화면에 겹쳐 표시하되, 각 객체 정보를 각 객체의 위치에 매칭시켜 표시한다.
또한, 증강 현실 제공 단말기(100)는 증강 현실 모드의 실행에 따라 접속된 증강 현실 제공 서버(200)로 자신의 현재 위치 정보와 프리뷰 화면에서 추출된 객체의 특징 정보를 전송하여, 증강 현실 제공 서버(200)로부터 단말기의 현재 위치 정보와 특징 정보에 의거하여 검색된 객체 정보를 수신하되, 수신되는 객체 정보가 존재하는 경우에는, 수신된 객체 정보에 포함되어 있는 객체의 위치 정보에 의거하여 사용자와 객체 간의 거리를 구하고, 이 거리를 기준 거리로 설정한다.
그리고, 증강 현실 모드에서 사용자의 조작에 따라 카메라의 줌 단계가 변경되면, 기준 거리와 변경된 줌 단계에 의거하여 사용자의 가상 이동 위치를 산출하고, 증강 현실 제공 서버(200)로 자신의 가상 이동 위치와 확대된 화면에서 추출된 객체의 특징 정보를 전송하여, 증강 현실 제공 서버(200)로부터 가상 이동 위치와 특징 정보에 의거하여 검색된 객체 정보를 수신한다.
한편, 증강 현실 제공 서버(200)는 증강 현실 제공 단말기(100)로부터 수신한 사용자 정보에 의거하여 객체 정보를 검색하거나, 증강 현실 제공 단말기(100)로부터 수신한 사용자의 현재 위치 정보(또는 가상 이동 위치)와 특징 정보에 의거하여 객체 정보를 검색한 후, 검색된 객체 정보를 증강 현실 제공 단말기(100)로 전송한다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 제공 단말기의 구성을 개략적으로 보인 도이다.
도 2에서 무선 통신부(110)는 증강 현실 모드의 실행에 따라 무선 통신망을 통해 증강 현실 제공 서버(200)에 접속한다.
위치 정보 제공부(120)는 증강 현실 제공 단말기(100)의 현재 위치 정보를 제공한다.
전술한, 위치 정보 제공부(120)는 셀 정보 기반 위치 정보 또는 GPS 정보 기반 위치 정보를 제공한다.
방위 정보 제공부(130)는 증강 현실 제공 단말기(100)가 현재 향하고 있는 방향의 방위 정보를 제공한다.
전술한, 방위 정보 제공부(130)는 전자 나침반으로 구현될 수 있다.
정보 송/수신부(140)는 증강 현실 모드의 실행에 따라 구동되어, 무선 통신부(110)를 통해 증강 현실 제공 서버(200)에 접속되면, 증강 현실 제공 서버(200)로 위치 정보 제공부(120)로부터 제공받은 사용자의 현재 위치 정보와 기본 검색 거리(기본적으로 설정되어 있는 검색 거리 또는 사용자에 의해 설정된 검색 거리)를 포함하는 사용자 정보를 전송한다. 여기서, 사용자 정보는 현재 방위 정보 및 카메라(150)의 시야각 정보를 더 포함하여 이루어질 수 있다.
전술한, 정보 송/수신부(140)는 증강 현실 제공 서버(200)로부터 사용자 정보에 의거하여 검색된 복수의 객체 정보를 수신하여, 이를 영상 처리부(160)로 전달한다.
또한, 정보 송/수신부(140)는 증강 현실 제공 서버(200)로부터 수신한 객체 정보 중에서 방위 정보 제공부(130)로부터 제공받은 방위 정보에 의거하여 증강 현실 제공 단말기(100)가 향하고 있는 방향의 객체 정보를 추출한 후, 추출된 객체 정보를 영상 처리부(160)로 전달한다.
영상 처리부(160)는 정보 송/수신부(140)로부터 전달받은 객체 정보를 카메라(150)를 통해 획득한 실시간 영상 화면에 겹쳐 화면 표시부(170)에 표시한다.
사용자 관점 분석부(180)는 증강 현실 모드에서 사용자의 조작에 따라 카메라의 줌 단계가 변경되면, 변경된 줌 단계에 의거하여 사용자의 가상 이동 거리 및 가상 이동 위치를 산출하고, 기본 검색 거리에서 가상 이동 거리를 뺀 거리를 검색 거리로 설정한 후, 가상 이동 위치와 검색 거리를 사용자 정보로 재설정하여 이를 정보 송/수신부(140)로 전달한다. 여기서, 가상 이동 거리는 기본 검색 거리를 총 줌 단계로 나눈 값과 변경된 줌 단계의 곱으로 산출될 수 있다. 예를 들어, 기본 검색 거리가 1Km이고, 총 줌 단계가 5단계라고 가정했을 때, 줌 단계가 한 단계 올라갈 때마다 200m씩 사용자는 가상 이동하게 되므로, 줌 단계를 2단계 올린 경우 사용자는 현재의 위치에서 앞으로 400m 가상 이동하게 된 것이며, 이로 인해 검색 거리는 1Km에서 400m를 뺀 600m가 된다.
한편, 전술한 바와 같이 증강 현실 모드에서 사용자의 조작에 따라 카메라의 줌 단계가 변경되는 경우, 정보 송/수신부(140)는 줌 단계가 변경됨에 따라 확대된 프리뷰 화면에 표시되는 객체들의 특징 정보를 추출한 후, 추출한 특징 정보를 사용자 관점 분석부(180)로부터 전달받은 재설정된 사용자 정보와 함께 증강 현실 제공 서버(200)로 전송하고, 증강 현실 제공 서버(200)로부터 재설정된 사용자 정보와 특징 정보에 의거하여 검색된 객체 정보를 수신하여 영상 처리부(160)로 전달하고, 영상 처리부(160)는 정보 송/수신부(140)로부터 전달받은 객체 정보를 카메라(150)를 통해 획득한 실시간 영상 화면에 겹쳐 화면 표시부(170)에 표시하되, 각 객체 정보를 각 객체의 위치에 매칭시켜 표시한다.
도 3은 본 발명의 다른 실시예에 따른 증강 현실 제공 단말기의 구성을 개략적으로 보인 도이다.
본 발명의 다른 실시예에 따른 증강 현실 제공 단말기에 구비되는 무선 통신부(110), 위치 정보 제공부(120), 방위 정보 제공부(130), 카메라(150), 영상 처리부(160), 화면 표시부(170)는 본 발명의 일실시예에 따른 증강 현실 제공 단말기에 구비되는 무선 통신부(110), 위치 정보 제공부(120), 방위 정보 제공부(130), 카메라(150), 영상 처리부(160), 화면 표시부(170)와 그 구성 및 동작이 동일하므로, 동일한 도면 부호를 부여하고 이에 대한 설명은 생략하기로 한다.
다만, 정보 송/수신부(140)는 증강 현실 모드의 실행에 따라 구동되어, 무선 통신부(110)를 통해 증강 현실 제공 서버(200)에 접속되면, 증강 현실 제공 서버(200)로 위치 정보 제공부(120)로부터 제공받은 사용자의 현재 위치 정보와 프리뷰 화면에서 추출된 객체의 특징 정보를 전송한다. 그리고, 증강 현실 제공 서버(200)로부터 사용자의 현재 위치 정보와 특징 정보에 의거하여 검색된 객체 정보를 수신하여, 이를 영상 처리부(160)로 전달한다.
전술한, 정보 송/수신부(140)는 증강 현실 제공 서버(200)로 사용자의 현재 위치 정보와 프리뷰 화면에서 추출된 객체의 특징 정보를 전송할 때, 방위 정보 제공부(130)로부터 제공받은 방위 정보를 함께 전송할 수도 있다.
한편, 객체 인식 판단부(190)는 정보 송/수신부(140)를 통해 증강 현실 제공 서버(200)로부터 수신된 객체 정보가 존재하는 지의 여부를 확인하여, 수신된 객체 정보가 존재하는 경우에는 수신된 객체 정보에 포함되어 있는 객체의 위치 정보에 의거하여 사용자와 객체 간의 거리를 구하고, 이 거리를 기준 거리로 설정한다.
전술한, 객체 인식 판단부(190)는 증강 현실 제공 서버(200)로부터 수신한 객체 정보가 복수 개인 경우에는 수신된 객체 정보에 포함되어 있는 객체의 위치 정보에 의거하여 사용자와 객체 간의 평균 거리를 구하고, 이 평균 거리를 기준 거리로 설정한다.
또한, 객체 인식 판단부(190)는 증강 현실 제공 서버(200)로부터 수신한 객체 정보가 복수 개인 경우에는, 객체 정보를 수신한 복수 개의 객체 중에서 기준이 될 객체를 사용자로부터 지정받은 후, 지정받은 객체의 객체 정보에 포함되어 있는 위치 정보에 의거하여 사용자와 해당 객체 간의 거리를 구하고, 이 거리를 기준 거리로 설정한다.
한편, 사용자 관점 분석부(180)는 증강 현실 모드에서 사용자의 조작에 따라 카메라의 줌 단계가 변경되면, 기준 거리와 변경된 줌 단계에 의거하여 사용자의 가상 이동 위치를 산출하는 한편, 확대된 화면에 표시된 객체들의 특징 정보를 추출한 후, 이를 가상 이동 위치와 함께 정보 송/수신부(140)로 전달한다.
전술한, 사용자 관점 분석부(180)는 객체 인식 판단부(190)에서의 확인결과에 따라, 증강 현실 제공 서버(200)로부터 수신되는 객체 정보가 존재하지 않는 경우에는, 카메라(150)의 줌 단계가 변경되더라도 기준 거리를 알지 못하므로, 사용자의 현재 위치 정보를 변경하지 않고 그대로 유지시킨다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 처리도로, 도 5 내지 도 10을 참고하여 설명한다.
우선, 증강 현실 모드 실행에 따라 증강 현실 제공 단말기(100)가 무선 통신망을 통해 증강 현실 제공 서버(200)에 접속한 후, 증강 현실 제공 서버(200)로 사용자의 현재 위치 정보(GPS 기반 위치 정보 또는 셀 정보 기반 위치 정보)와 기본 검색 거리(기본적으로 설정되어 있는 검색 거리 또는 사용자에 의해 설정된 검색 거리)를 포함하는 사용자 정보를 전송한다(S10, S12).
상기한 과정 S12에서 증강 현실 제공 단말기(100)는 사용자 정보에 현재 방위 정보 및 카메라의 시야각 정보를 더 포함시켜 전송할 수 있다.
상기한 과정 S12를 통해 증강 현실 제공 단말기(100)로부터 사용자 정보를 수신한 증강 현실 제공 서버(200)는 사용자 정보에 의거하여 객체 정보를 검색한 후(S14), 검색된 객체 정보를 증강 현실 제공 단말기(100)로 전송한다(S16).
상기한 과정 S14에서 증강 현실 제공 단말기(100)로부터 사용자 정보를 수신한 증강 현실 제공 서버(200)가 사용자 정보(사용자의 현재 위치 정보, 기본 검색 거리, 현재 방위 정보, 카메라의 시야각 정보)에 의거하여 검색해야 할 검색 범위는 도 5와 같다.
상기한 과정 S16을 통해 증강 현실 제공 서버(200)로부터 사용자 정보에 의거하여 검색된 객체 정보를 수신한 증강 현실 제공 단말기(100)는 수신한 객체 정보를 도 6에 도시하는 바와 같이 카메라(150)를 통해 획득한 실시간 영상 화면에 겹쳐 화면 표시부(170)에 표시한다(S18).
상기한 과정 S18에서 증강 현실 제공 단말기(100)는 증강 현실 제공 서버(200)로부터 수신한 객체 정보 중에서 자신의 현재 방위 정보에 의거하여 자신이 향하고 있는 방향의 객체 정보를 추출한 후, 추출된 객체 정보를 카메라(150)를 통해 획득한 실시간 영상 화면에 겹쳐 표시할 수 있다.
이후, 사용자의 조작에 따라 카메라(150)의 줌 단계가 변경되면(S20), 증강 현실 제공 단말기(100)의 사용자 관점 분석부(180)는 기본 검색 거리와 변경된 줌 단계에 의거하여 사용자의 가상 이동 거리 및 가상 이동 위치를 산출한다(S22).
상기한 과정 S22에서 기본 검색 거리가 1Km이고, 총 줌 단계가 5단계라고 가정했을 때, 줌 단계별 사용자의 가상 이동 거리는 200m가 되므로, 줌 단계를 3단계 올린 경우 사용자는 현재의 위치에서 앞으로 600m 가상 이동한 것이 된다. 이와 같이, 가상 이동 거리가 구해지면, 이를 이용하여 가상 이동한 곳의 위치 정보(가상 이동 위치)를 구할 수 있게 된다.
상기한 과정 S22를 통해 가상 이동 거리와 가상 이동 위치를 산출한 후에는, 기본 검색 거리에서 가상 이동 거리를 뺀 거리를 검색 거리로 설정한다(S24). 이에 따라, 상기한 과정 S24를 통해 설정된 검색 거리는 기본 검색 거리 1Km에서 가상 이동 거리 600m를 뺀 400m가 된다.
이후에는 상기한 과정 S22를 통해 구한 가상 이동 위치와 상기한 과정 S24를 통해 설정된 검색 거리로 사용자 정보를 재설정한 후(S26), 재설정된 사용자 정보를 증강 현실 제공 서버(200)로 전송한다(S28).
상기한 과정 S28을 통해 증강 현실 제공 단말기(100)로부터 재설정된 사용자 정보를 전송받은 증강 현실 제공 서버(200)는 재설정된 사용자 정보에 의거하여 객체 정보를 검색한 후(S30), 검색된 객체 정보를 증강 현실 제공 단말기(100)로 전송한다(S32).
상기한 과정 S30에서 증강 현실 제공 서버(200)가 재설정된 사용자 정보(가상 이동 위치, 검색 거리, 방위 정보, 카메라의 시야각 정보)에 의거하여 검색해야 할 검색 범위는 도 7과 같이 줌 단계를 변경시키기 전보다 좁아지게 된다. 도 7a에 도시하는 바와 같이, 변경된 줌 단계에 따라 사용자가 600m 가상 이동된 경우, 사용자의 현재 위치(줌 0)에서 사용자의 가상 이동 위치(줌 3) 사이에 위치한 객체 정보는 검색 범위에 속하지 않고 필터링된다. 즉, 도 7b에 도시하는 바와 같이, 가상 이동 위치(줌 3)에서의 시야각에 속해 있는 객체 정보만이 검색된다.
상기한 과정 S32를 통해 증강 현실 제공 서버(200)로부터 재설정된 사용자 정보에 의거하여 검색된 객체 정보를 수신한 증강 현실 제공 단말기(100)는 수신한 객체 정보를 도 8에 도시하는 바와 같이 카메라(150)를 통해 획득한 실시간 영상 화면에 겹쳐 화면 표시부(170)에 표시한다(S34).
이상에서 살펴본 바와 같이, 카메라 줌 기능을 통해 증강 현실 모드에서 줌 단계를 변경시키면, 프리뷰 화면이 확대됨과 동시에 사용자의 위치를 객체와 가까워지도록 가상으로 이동시켜 줌으로써, 사용자의 현재 위치가 아닌 가상의 이동 위치에서 바라보는 객체 정보를 확인할 수 있게 된다. 이에 따라, 사용자의 현재 위치와 가상 이동 위치 사이에 존재하는 객체 정보가 필터링 되면서, 도 8에 도시하는 바와 같이, 다른 객체 정보에 가려져 확인이 어려웠던 객체 정보가 보이게 되고, 멀리 위치해 있는 객체와의 거리가 가까워짐에 따라 겹쳐서 보이던 객체 정보가 서로 떨어져 보이게 되어 객체 정보의 확인이 보다 용이하게 된다.
전술한 바와 같이, 줌 기능을 통해 가상 이동된 상태에서 사용자가 카메라의 방향을 바꿔 가면서 다시 줌 기능을 동작시키는 경우, 예를 들어, 줌 3의 위치로 가상 이동된 상태에서 사용자가 카메라의 방향을 바꾸고 줌 단계를 1단계 올리게 되면, 사용자는 도 9에 도시하는 바와 같이 줌 3의 위치에서 카메라가 향한 방향으로 200m 가상 이동한 줌 4의 위치로 가상 이동한 것이 된다. 이때의 검색 거리는 400m에서 200m를 뺀 값이 200m가 된다. 이와 같이, 사용자의 가상 위치가 줌 4의 위치로 가상 이동되면, 증강 현실 제공 단말기(100)의 프리뷰 화면에는 도 10에 도시하는 바와 같이 줌 3의 가상 이동 위치에서 검색되던 객체 정보와는 다른 방향과 다른 위치에 있는 객체 정보가 검색된다.
도 11은 본 발명의 다른 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 처리도로, 도 12를 참고하여 설명한다.
본 발명의 다른 실시예에서 과정 S10 내지 과정 S26은 본 발명의 일 실시예와 그 동작이 동일하므로, 이에 대한 설명은 생략하기로 한다.
상기한 과정 S20에서의 줌 단계 변경에 따라 사용자 정보를 재설정함과 더불어, 증강 현실 제공 단말기(100)는 확대된 화면에서 표시된 객체들의 특징 정보를 추출한다(S36).
그리고, 상기한 과정 S26을 통해 재설정된 사용자 정보와 상기한 과정 S36을 통해 추출한 특징 정보를 증강 현실 제공 서버(200)로 전송한다(S38).
상기한 과정 S38을 통해 증강 현실 제공 단말기(100)로부터 재설정된 사용자 정보와 특징 정보를 수신한 증강 현실 제공 서버(200)는 재설정된 사용자 정보와 특징 정보에 의거하여 객체 정보를 검색한 후(S40), 검색된 객체 정보를 증강 현실 제공 단말기(100)로 전송한다(S42).
상기한 과정 S40에서 증강 현실 제공 서버(200)가 재설정된 사용자 정보(가상 이동 위치, 검색 거리, 방위 정보, 카메라의 시야각 정보)와 특징 정보에 의거하여 객체 인식을 위해 검색해야 할 비교 검색 범위는 도 7과 같이 줌 단계를 변경시키기 전보다 좁아지게 된다. 이에 따라, 비교 검색해야 할 객체의 수가 줄어들어 객체 인식을 속도를 향상시킬 수 있게 된다.
상기한 과정 S42를 통해 증강 현실 제공 서버(200)로부터 재설정된 사용자 정보와 특징 정보에 의거하여 검색된 객체 정보를 수신한 증강 현실 제공 단말기(100)는 수신한 객체 정보를 도 12에 도시하는 바와 같이 카메라(150)를 통해 획득한 실시간 영상 화면에 겹쳐 화면 표시부(170)에 표시하되, 각 객체 정보를 각 객체의 위치에 매칭시켜 표시한다(S44).
도 13a 및 도 13b는 본 발명의 또 다른 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 처리도로, 도 14를 참고하여 설명한다.
우선, 증강 현실 모드 실행에 따라 증강 현실 제공 단말기(100)가 무선 통신망을 통해 증강 현실 제공 서버(200)에 접속한 후, 증강 현실 제공 서버(200)로 사용자의 현재 위치 정보(GPS 기반 위치 정보 또는 셀 정보 기반 위치 정보)와 프리뷰 화면에서 추출된 객체들의 특징 정보를 전송 전송한다(S50, S52).
상기한 과정 S52에서 증강 현실 제공 단말기(100)는 증강 현실 제공 서버(200)로 사용자의 현재 위치 정보와 특징 정보를 전송할 때, 현재 방위 정보를 함께 전송할 수 있다.
상기한 과정 S52를 통해 증강 현실 제공 단말기(100)로부터 사용자의 현재 위치 정보와 특징 정보를 수신한 증강 현실 제공 서버(200)는 사용자의 현재 위치 정보와 특징 정보에 의거하여 객체 정보를 검색한 후(S54), 검색된 객체 정보를 증강 현실 제공 단말기(100)로 전송한다(S56).
상기한 과정 S54에서 증강 현실 제공 서버(200)가 사용자의 현재 위치 정보와 특징 정보에 의거하여 객체 인식을 위해 검색해야 할 비교 검색 범위는 도 14의 ①와 같다.
상기한 과정 S56을 통해 증강 현실 제공 서버(200)로부터 사용자의 현재 위치 정보와 특징 정보에 의거하여 검색된 객체 정보를 수신한 증강 현실 제공 단말기(100)는 수신한 객체 정보를 카메라(150)를 통해 획득한 실시간 영상 화면에 겹쳐 화면 표시부(170)에 표시하게 되는 데, 이때 증강 현실 제공 단말기(100)는 증강 현실 제공 서버(200)로부터 수신되는 객체 정보가 존재하는 지의 여부를 확인하여(S58), 증강 현실 제공 서버(200)로부터 수신되는 객체 정보가 존재하는 경우에는, 수신한 객체 정보를 카메라(150)를 통해 획득한 실시간 영상 화면에 겹쳐 화면 표시부(170)에 표시하되, 각 객체 정보를 각 객체의 위치에 매칭시켜 표시하고(S60), 수신된 객체 정보에 포함되어 있는 객체의 위치 정보에 의거하여 사용자와 객체 간의 거리를 산출하고(S62), 산출된 거리를 기준 거리로 설정한다(S64).
상기한 과정 S62 및 과정 S64에서 증강 현실 제공 단말기(100)는 증강 현실 제공 서버(200)로부터 수신되는 객체 정보가 복수 개인 경우, 수신된 객체 정보에 포함되어 있는 객체의 위치 정보에 의거하여 사용자와 객체 간의 평균 거리를 구하고, 이 평균 거리를 기준 거리로 설정하는 것이 바람직하다.
이후, 사용자의 조작에 따라 카메라(150)의 줌 단계가 변경되면(S66), 증강 현실 제공 단말기(100)는 변경된 줌 단계에 의거하여 사용자의 가상 이동 거리 및 가상 이동 위치를 산출한다(S68).
상기한 과정 S68에서 기준 거리가 620m이고, 총 줌 단계가 5단계라고 가정했을 때, 줌 단계별 사용자의 가상 이동 거리는 124m가 되므로, 줌 단계를 3단계 올린 경우 사용자는 현재의 위치에서 앞으로 372m 가상 이동한 것이 된다. 이와 같이, 가상 이동 거리가 구해지면, 이를 이용하여 사용자가 가상 이동한 곳의 위치 정보(가상 이동 위치)를 구할 수 있게 된다.
이후, 증강 현실 제공 단말기(100)는 상기한 과정 S66을 통해 줌 단계가 변경됨에 따라 확대된 화면에서 표시되는 객체들의 특징 정보를 추출하고(S70), 상기한 과정 S68을 통해 구한 가상 이동 위치와 상기한 과정 S70을 통해 추출된 특징 정보를 증강 현실 제공 서버(200)로 전송한다(S72).
상기한 과정 S72를 통해 증강 현실 제공 단말기(100)로부터 사용자의 가상 이동 위치와 특징 정보를 수신한 증강 현실 제공 서버(200)는 사용자의 가상 이동 위치와 특징 정보에 의거하여 객체 정보를 검색한 후(S74), 검색된 객체 정보를 증강 현실 제공 단말기(100)로 전송한다(S76).
상기한 과정 S74에서 증강 현실 제공 서버(200)가 사용자의 가상 이동 위치와 특징 정보에 의거하여 객체 인식을 위해 검색해야 할 비교 검색 범위는 도 14의 ②와 같이 줌 단계를 변경시키기 전보다 좁아지게 된다. 이에 따라, 비교 검색해야 할 객체의 수가 줄어들어 객체 인식 속도를 향상시킬 수 있게 된다.
상기한 과정 S76을 통해 증강 현실 제공 서버(200)로부터 사용자의 가상 이동 위치와 특징 정보에 의거하여 검색된 객체 정보를 수신한 증강 현실 제공 단말기(100)는 수신한 객체 정보를 카메라(150)를 통해 획득한 실시간 영상 화면에 겹쳐 화면 표시부(170)에 표시하되, 각 객체 정보를 각 객체의 위치에 매칭시켜 표시한다(S78).
한편, 상기한 과정 S58의 확인결과 증강 현실 제공 서버(200)로부터 수신되는 객체 정보가 존재하지 않는 경우에는, 수신된 객체 정보가 없으므로 화면 표시부(170)에는 카메라(150)를 통해 획득한 실시간 영상 화면만이 디스플레이되는 데, 이때 사용자의 조작에 따라 카메라(150)의 줌 단계가 변경되면(S80), 줌 단계가 변경됨에 따라 확대된 화면에서 표시되는 객체들의 특징 정보를 추출하고(S82), 증강 현실 제공 서버(200)로 사용자의 현재 위치 정보와 상기한 과정 S82에서 추출된 특징 정보를 전송한다(S84).
상기한 과정 S84를 통해 증강 현실 제공 단말기(100)로부터 사용자의 현재 위치 정보와 확대된 화면에서 추출된 특징 정보를 수신한 증강 현실 제공 서버(200)는 사용자의 현재 위치 정보와 확대된 화면에서 추출된 특징 정보에 의거하여 객체 정보를 검색한 후(86), 검색된 객체 정보를 증강 현실 제공 단말기(100)로 전송한다(S88).
상기한 과정 S86을 통해 증강 현실 제공 서버(200)로부터 사용자의 현재 위치 정보와 확대된 화면에서 추출된 특징 정보에 의거하여 검색된 객체 정보를 수신하는 증강 현실 제공 단말기(100)는 상기한 과정 S58로 진행하여 증강 현실 제공 서버(200)로부터 수신되는 객체 정보가 존재하는 지의 여부를 확인한다.
상기한 과정 S58의 확인결과 증강 현실 제공 서버(200)로부터 수신되는 객체 정보가 존재하는 경우에는 상기한 과정 S60 내지 과정 S78을 반복 수행하고, 증강 현실 제공 서버(200)로부터 수신되는 객체 정보가 존재하지 않는 경우에는 상기한 과정 S80 내지 과정 S88을 반복 수행한다.
도 15는 본 발명의 또 다른 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 처리도이다.
우선, 증강 현실 모드 실행에 따라 증강 현실 제공 단말기(100)가 무선 통신망을 통해 증강 현실 제공 서버(200)에 접속한 후, 증강 현실 제공 서버(200)로 사용자의 현재 위치 정보(GPS 기반 위치 정보 또는 셀 정보 기반 위치 정보)와 기본 검색 거리를 포함하는 사용자 정보를 전송한다(S90, S92).
상기한 과정 S92를 통해 증강 현실 제공 단말기(100)로부터 사용자 정보를 수신한 증강 현실 제공 서버(200)는 사용자 정보에 의거하여 객체 정보를 검색한 후(S94), 검색된 객체 정보를 증강 현실 제공 단말기(100)로 전송한다(S96).
상기한 과정 S96을 통해 증강 현실 제공 서버(200)로부터 객체 정보를 수신한 증강 현실 제공 단말기(100)는 수신한 객체 정보를 카메라(150)를 통해 획득한 실시간 영상 화면에 겹쳐 화면 표시부(170)에 표시하고(S98), 수신된 객체 정보에 포함되어 있는 객체의 위치 정보에 의거하여 사용자와 객체 간의 거리를 산출한 후(S100), 산출된 거리를 기준 거리로 설정한다(S102).
상기한 과정 S100 및 과정 S102에서 증강 현실 제공 단말기(100)는 증강 현실 제공 서버(200)로부터 수신되는 객체 정보가 복수 개인 경우, 수신된 객체 정보에 포함되어 있는 객체의 위치 정보에 의거하여 사용자와 객체 간의 평균 거리를 구하고, 이 평균 거리를 기준 거리로 설정하는 것이 바람직하다.
이후, 사용자의 조작에 따라 카메라(150)의 줌 단계가 변경되면(S104), 증강 현실 제공 단말기(100)는 기준 거리와 변경된 줌 단계에 의거하여 사용자의 가상 이동 거리 및 가상 이동 위치를 산출한다(S106).
상기한 과정 S106에서 기준 거리가 890m이고, 총 줌 단계가 5단계라고 가정했을 때, 줌 단계별 사용자의 가상 이동 거리는 178m가 되므로, 줌 단계를 3단계 올린 경우 사용자는 현재의 위치에서 앞으로 534m 가상 이동한 것이 된다. 이와 같이, 가상 이동 거리가 구해지면, 이를 이용하여 사용자가 가상 이동한 곳의 위치 정보(가상 이동 위치)를 구할 수 있게 된다.
이후, 증강 현실 제공 단말기(100)는 기본 검색 거리에서 가상 이동 거리를 뺀 거리를 검색 거리로 설정한다(S108). 이에 따라, 상기한 과정 S108을 통해 설정된 검색 거리는 기본 검색 거리 1Km에서 가상 이동 거리 534m를 뺀 466m가 된다.
이후에는 상기한 과정 S106을 통해 구한 가상 이동 위치와 상기한 과정 S108을 통해 설정된 검색 거리로 사용자 정보를 재설정한 후(S110), 재설정된 사용자 정보를 증강 현실 제공 서버(200)로 전송한다(S112).
상기한 과정 S112를 통해 재설정된 사용자 정보를 수신한 증강 현실 제공 서버(200)는 재설정된 사용자 정보에 의거하여 객체 정보를 검색한 후(S114), 검색된 객체 정보를 증강 현실 제공 단말기(100)로 전송한다(S116).
상기한 과정 S116을 통해 증강 현실 제공 서버(200)로부터 객체 정보를 수신한 증강 현실 제공 단말기(100)는 수신한 객체 정보를 카메라(150)를 통해 획득한 실시간 영상 화면에 겹쳐 화면 표시부(170)에 표시한다(S118).
한편, 상기한 과정 S112에서 증강 현실 제공 단말기(100)는 재설정된 사용자 정보 대신에 상기한 과정 S106에서 구한 사용자의 가상 이동 위치와 확대된 화면에서 추출한 객체의 특징 정보를 증강 현실 제공 서버(200)로 전송할 수 있으며, 증강 현실 제공 서버(200)로부터 사용자의 가상 이동 위치와 특징 정보에 의거하여 검색된 객체 정보를 수신하여, 이를 객체 정보를 카메라(150)를 통해 획득한 실시간 영상 화면에 겹쳐 표시하되, 각 객체 정보를 각 객체의 위치에 매칭시켜 표시할 수도 있다.
본 발명의 증강 현실 제공 단말기 및 방법은 전술한 실시예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수 있다.
100. 증강 현실 제공 단말기, 110. 무선 통신부,
120. 위치 정보 제공부, 130. 방위 정보 제공부,
140. 정보 송/수신부, 150. 카메라,
160. 영상 처리부, 170. 화면 표시부,
180. 사용자 관점 분석부, 190. 객체 인식 판단부,
200. 증강 현실 제공 서버

Claims (16)

  1. 단말기의 현재 위치 정보를 제공하는 위치 정보 제공부와;
    증강 현실 모드에서 무선 통신부를 통해 접속된 증강 현실 제공 서버로 단말기의 현재 위치 정보와 기본 검색 거리를 포함하는 사용자 정보를 전송하고, 상기 증강 현실 제공 서버로부터 상기 사용자 정보에 의거하여 검색된 복수의 객체 정보를 수신하는 정보 송/수신부와;
    상기 정보 송/수신부를 통해 수신한 객체 정보를 카메라를 통해 획득한 실시간 영상 화면에 겹쳐(overlap) 화면 표시부에 표시하는 영상 처리부와;
    상기 카메라의 줌 단계가 변경되면, 변경된 줌 단계에 의거하여 사용자의 가상 이동 거리 및 가상 이동 위치를 산출하고, 상기 기본 검색 거리에서 상기 가상 이동 거리를 뺀 거리를 검색 거리로 설정한 후, 상기 사용자의 가상 이동 위치와 상기 검색 거리로 상기 사용자 정보를 재설정하는 사용자 관점 분석부를 포함하여 이루어지는 증강 현실 제공 단말기.
  2. 제 1항에 있어서, 상기 위치 정보 제공부는,
    셀 정보 기반 위치 정보와 GPS 정보 기반 위치 정보 중에서 어느 하나를 제공하는 것을 특징으로 하는 증강 현실 제공 단말기.
  3. 제 1항에 있어서, 상기 사용자 정보는,
    단말기의 현재 방위 정보를 더 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 단말기.
  4. 제 1항에 있어서, 상기 정보 송/수신부는 상기 카메라의 줌 단계가 변경됨에 따라 프리뷰 화면이 확대되면, 상기 사용자의 가상 이동 위치와 검색 거리로 재설정된 상기 사용자 정보와 함께 확대 화면에 표시되는 객체들의 특징 정보를 추출하여 증강 현실 제공 서버로 전송하고, 상기 증강 현실 제공 서버로부터 상기 사용자 정보와 특징 정보에 의거하여 검색된 객체 정보를 수신하고,
    상기 영상 처리부는 상기 수신한 객체 정보를 각 객체의 위치에 매칭시켜 표시하는 것을 특징으로 하는 증강 현실 제공 단말기.
  5. 제 1항에 있어서, 상기 가상 이동 거리는,
    기본 검색 거리를 총 줌 단계로 나눈 값과 변경된 줌 단계의 곱으로 산출되는 것을 특징으로 하는 증강 현실 제공 단말기.
  6. 제 1항에 있어서, 상기 사용자 관점 분석부는 수신된 객체 정보에 포함되어 있는 객체의 위치 정보에 의거하여 사용자와 객체 간의 거리를 산출하고, 이 거리를 기준 거리로 설정하며, 상기 카메라의 줌 단계가 변경되면, 상기 기준 거리와 변경된 줌 단계에 의거하여 사용자의 가상 이동 거리 및 가상 이동 위치를 산출하고, 상기 기본 검색 거리에서 상기 가상 이동 거리를 뺀 거리를 검색 거리로 설정한 후, 상기 가상 이동 위치와 검색 거리로 상기 사용자 정보를 재설정하는 것을 특징으로 하는 증강 현실 제공 단말기.
  7. 제 1항에 있어서, 상기 사용자 관점 분석부는 수신된 객체 정보에 포함되어 있는 객체의 위치 정보에 의거하여 사용자와 객체 간의 거리를 산출하고, 이 거리를 기준 거리로 설정하며, 상기 카메라의 줌 단계가 변경되면, 상기 기준 거리와 변경된 줌 단계에 의거하여 사용자의 가상 이동 위치를 산출한 후, 가상 이동 위치와 확대된 화면에서 추출된 객체의 특징 정보를 상기 정보 송/수신부로 전달하고,
    상기 영상 처리부는 수신한 객체 정보를 각 객체의 위치에 매칭시켜 표시하는 것을 특징으로 하는 증강 현실 제공 단말기.
  8. 단말기의 현재 위치 정보를 제공하는 위치 정보 제공부와;
    증강 현실 모드에서 무선 통신부를 통해 접속된 증강 현실 제공 서버로 단말기의 현재 위치 정보와 프리뷰 화면에서 추출된 객체의 특징 정보를 전송하고, 상기 증강 현실 제공 서버로부터 상기 단말기의 현재 위치 정보와 특징 정보에 의거하여 검색된 객체 정보를 수신하는 정보 송/수신부와;
    상기 정보 송/수신부를 통해 상기 증강 현실 제공 서버로부터 수신되는 객체 정보가 존재하는 경우, 수신된 객체 정보에 포함되어 있는 객체의 위치 정보에 의거하여 사용자와 객체 간의 거리를 구하고, 이 거리를 기준 거리로 설정하는 객체 인식 판단부와;
    상기 정보 송/수신부를 통해 수신한 객체 정보를 카메라를 통해 획득한 실시간 영상 화면에 겹쳐 화면 표시부에 표시하는 영상 처리부와;
    상기 카메라의 줌 단계가 변경되면, 상기 기준 거리와 변경된 줌 단계에 의거하여 사용자의 가상 이동 거리를 산출하고, 산출된 가상 이동 거리를 이용하여 사용자의 가상 이동 위치를 산출하며, 상기 사용자의 가상 이동 위치와 확대된 화면에서 추출된 객체의 특징 정보를 상기 정보 송/수신부로 전달하는 사용자 관점 분석부를 포함하여 이루어지고;
    상기 정보 송/수신부는 상기 카메라의 줌 단계가 변경됨에 따라 상기 사용자 관점 분석부로부터 전달받은 상기 사용자의 가상 이동 위치와 확대된 화면에서 추출된 객체의 특징 정보를 상기 증강 현실 제공 서버로 전송하고, 상기 증강 현실 제공 서버로부터 상기 사용자의 가상 이동 위치와 확대된 화면에서 추출된 객체의 특징 정보에 의거하여 검색된 객체 정보를 수신하는 증강 현실 제공 단말기.
  9. 제 8항에 있어서, 상기 객체 인식 판단부는,
    상기 증강 현실 제공 서버로부터 수신한 객체 정보가 복수 개인 경우, 수신된 객체 정보에 포함되어 있는 객체의 위치 정보에 의거하여 사용자와 객체 간의 평균 거리를 구하고, 이 평균 거리를 기준 거리로 설정하는 것을 특징으로 하는 증강 현실 제공 단말기.
  10. 제 8항에 있어서, 상기 사용자 관점 분석부는,
    상기 객체 인식 판단부에서의 확인결과 상기 증강 현실 제공 서버로부터 수신되는 객체 정보가 존재하지 않는 경우에는, 상기 카메라의 줌 단계가 변경되더라도 사용자의 현재 위치 정보를 변경하지 않고 그대로 유지시키는 것을 특징으로 하는 증강 현실 제공 단말기.
  11. 증강 현실 제공 단말기에서 증강 현실 모드의 실행에 따라 증강 현실 제공 서버에 접속하여 사용자의 현재 위치 정보와 기본 검색 거리를 포함하는 사용자 정보를 전송하는 과정과;
    상기 증강 현실 제공 서버로부터 상기 사용자 정보에 의거하여 검색된 복수의 객체 정보를 수신하고, 수신한 객체 정보를 카메라를 통해 획득한 실시간 영상 화면에 겹쳐 표시하는 과정과;
    사용자의 조작에 따라 줌 단계가 변경되면, 변경된 줌 단계에 의거하여 사용자의 가상 이동 거리 및 가상 이동 위치를 산출하는 과정과;
    상기 기본 검색 거리에서 상기 가상 이동 거리를 뺀 거리를 검색 거리로 설정하는 과정과;
    상기 사용자의 가상 이동 위치와 상기 검색 거리로 상기 사용자 정보를 재설정하여 상기 증강 현실 제공 서버로 전송하는 과정과;
    상기 증강 현실 제공 서버로부터 상기 재설정된 사용자 정보에 의거하여 검색된 객체 정보를 수신하고, 수신한 객체 정보를 카메라를 통해 획득한 실시간 영상 화면에 겹쳐 표시하는 과정을 포함하여 이루어지는 증강 현실 제공 방법.
  12. 제 11항에 있어서, 사용자의 조작에 따라 줌 단계가 변경됨에 따라 프리뷰 화면이 확대되면, 확대된 화면에 표시되는 객체들의 특징 정보를 추출하는 과정과;
    상기 증강 현실 제공 서버로 상기 가상 이동 위치와 검색 거리로 재설정된 사용자 정보와 특징 정보를 전송하는 과정과;
    상기 증강 현실 제공 서버로부터 상기 재설정된 사용자 정보와 특징 정보에 의거하여 검색된 객체 정보를 수신하는 과정과;
    수신한 객체 정보를 카메라를 통해 획득한 실시간 영상 화면에 겹쳐 표시하되, 각 객체 정보를 각 객체의 위치에 매칭시켜 표시하는 과정을 더 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 방법.
  13. 증강 현실 제공 단말기에서 증강 현실 모드의 실행에 따라 증강 현실 제공 서버에 접속하여 사용자의 현재 위치 정보와 프리뷰 화면에서 추출된 객체들의 특징 정보를 전송하는 과정과;
    상기 증강 현실 제공 서버로부터 상기 사용자의 현재 위치 정보와 특징 정보에 의거하여 검색된 객체 정보를 수신하는 과정과;
    상기 증강 현실 제공 서버로부터 수신되는 객체 정보가 존재하는 경우에는, 수신된 객체 정보에 포함되어 있는 객체의 위치 정보에 의거하여 사용자와 객체 간의 거리를 산출하고, 산출된 거리를 기준 거리로 설정하는 과정과;
    사용자의 조작에 따라 줌 단계가 변경되면, 상기 기준 거리와 변경된 줌 단계에 의거하여 사용자의 가상 이동 거리를 산출하고, 산출된 가상 이동 거리를 이용하여 사용자의 가상 이동 위치를 산출하며, 줌 단계가 변경됨에 따라 확대된 화면에 표시되는 객체들의 특징 정보를 추출하는 과정과;
    상기 증강 현실 제공 서버로 상기 사용자의 가상 이동 위치와 특징 정보를 전송하는 과정과;
    상기 증강 현실 제공 서버로부터 상기 사용자의 가상 이동 위치와 특징 정보에 의거하여 검색된 객체 정보를 수신하는 과정과;
    수신한 객체 정보를 카메라를 통해 획득한 실시간 영상 화면에 겹쳐 표시하되, 각 객체 정보를 각 객체의 위치에 매칭시켜 표시하는 과정을 포함하여 이루어지는 증강 현실 제공 방법.
  14. 제 13항에 있어서, 상기 증강 현실 제공 서버로부터 수신되는 객체 정보가 존재하지 않는 경우에는,
    사용자의 조작에 따라 줌 단계가 변경되면, 줌 단계가 변경됨에 따라 확대된 화면에 표시되는 객체들의 특징 정보를 추출하는 과정과;
    상기 증강 현실 제공 서버로 상기 사용자의 현재 위치 정보와 확대 화면에서 추출된 특징 정보를 전송하는 과정과;
    상기 증강 현실 제공 서버로부터 상기 사용자의 현재 위치 정보와 확대 화면에서 추출된 특징 정보에 의거하여 검색된 객체 정보를 수신하는 과정을 더 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 방법.
  15. 증강 현실 제공 단말기에서 증강 현실 모드의 실행에 따라 증강 현실 제공 서버에 접속하여 사용자의 현재 위치 정보와 기본 검색 거리를 포함하는 사용자 정보를 전송하는 과정과;
    상기 증강 현실 제공 서버로부터 상기 사용자 정보에 의거하여 검색된 복수의 객체 정보를 수신하고, 수신한 객체 정보를 카메라를 통해 획득한 실시간 영상 화면에 겹쳐 표시하는 과정과;
    수신된 객체 정보에 포함되어 있는 객체의 위치 정보에 의거하여 사용자와 객체 간의 거리를 산출하고, 산출된 거리를 기준 거리로 설정하는 과정과;
    사용자의 조작에 따라 줌 단계가 변경되면, 상기 기준 거리와 변경된 줌 단계에 의거하여 사용자의 가상 이동 거리 및 가상 이동 위치를 산출하고, 상기 기본 검색 거리에서 상기 가상 이동 거리를 뺀 거리를 검색 거리로 설정하는 과정과;
    상기 가상 이동 위치와 검색 거리로 상기 사용자 정보를 재설정하여 상기 증강 현실 제공 서버로 전송하는 과정과;
    상기 증강 현실 제공 서버로부터 상기 재설정된 사용자 정보에 의거하여 검색된 객체 정보를 수신하고, 수신한 객체 정보를 카메라를 통해 획득한 실시간 영상 화면에 겹쳐 표시하는 과정을 포함하여 이루어지는 증강 현실 제공 방법.
  16. 제 15항에 있어서, 사용자의 조작에 따라 줌 단계가 변경되면, 상기 기준 거리와 변경된 줌 단계에 의거하여 사용자의 가상 이동 위치를 산출하고, 줌 단계가 변경됨에 따라 확대된 화면에 표시되는 객체들의 특징 정보를 추출하는 과정과;
    상기 증강 현실 제공 서버로 상기 사용자의 가상 이동 위치와 특징 정보를 전송하는 과정과;
    상기 증강 현실 제공 서버로부터 상기 사용자의 가상 이동 위치와 특징 정보에 의거하여 검색된 객체 정보를 수신하는 과정과;
    수신한 객체 정보를 카메라를 통해 획득한 실시간 영상 화면에 겹쳐 표시하되, 각 객체 정보를 각 객체의 위치에 매칭시켜 표시하는 과정을 더 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 방법.
KR1020100126633A 2010-12-13 2010-12-13 증강 현실 제공 단말기 및 방법 KR101350033B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100126633A KR101350033B1 (ko) 2010-12-13 2010-12-13 증강 현실 제공 단말기 및 방법
US13/224,053 US8750559B2 (en) 2010-12-13 2011-09-01 Terminal and method for providing augmented reality
US14/292,085 US8879784B2 (en) 2010-12-13 2014-05-30 Terminal and method for providing augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100126633A KR101350033B1 (ko) 2010-12-13 2010-12-13 증강 현실 제공 단말기 및 방법

Publications (2)

Publication Number Publication Date
KR20120065480A KR20120065480A (ko) 2012-06-21
KR101350033B1 true KR101350033B1 (ko) 2014-01-14

Family

ID=46199427

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100126633A KR101350033B1 (ko) 2010-12-13 2010-12-13 증강 현실 제공 단말기 및 방법

Country Status (2)

Country Link
US (2) US8750559B2 (ko)
KR (1) KR101350033B1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8224078B2 (en) 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US7899243B2 (en) 2000-11-06 2011-03-01 Evryx Technologies, Inc. Image capture and identification system and process
US7565008B2 (en) 2000-11-06 2009-07-21 Evryx Technologies, Inc. Data capture and identification system and process
JP2013183433A (ja) * 2012-03-05 2013-09-12 Sony Corp クライアント端末、サーバ、およびプログラム
TWI519167B (zh) * 2012-04-23 2016-01-21 廣達電腦股份有限公司 運用後設資料來進行目標辨識與事件重現之系統
US9430876B1 (en) * 2012-05-10 2016-08-30 Aurasma Limited Intelligent method of determining trigger items in augmented reality environments
US20130339864A1 (en) * 2012-06-15 2013-12-19 Nokia Corporation Method and apparatus for providing mixed-reality connectivity assistance
US9646522B2 (en) * 2012-06-29 2017-05-09 Intel Corporation Enhanced information delivery using a transparent display
KR101350227B1 (ko) * 2012-07-17 2014-01-15 에스케이플래닛 주식회사 여행용 ｇｐｓ 카메라 장치 및 시스템
JP5751430B2 (ja) * 2012-12-19 2015-07-22 コニカミノルタ株式会社 画像処理端末、画像処理システム、および画像処理端末の制御プログラム
US20140168264A1 (en) 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
CN103105993B (zh) * 2013-01-25 2015-05-20 腾讯科技（深圳）有限公司 基于增强现实技术实现互动的方法和系统
JP6481456B2 (ja) * 2015-03-26 2019-03-13 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置
JP6344311B2 (ja) * 2015-05-26 2018-06-20 ソニー株式会社 表示装置、情報処理システム及び制御方法
CN105094335B (zh) * 2015-08-04 2019-05-10 天津锋时互动科技有限公司 场景提取方法、物体定位方法及其系统
JP6711033B2 (ja) * 2016-03-08 2020-06-17 富士通株式会社 表示制御方法、通信装置、表示制御プログラムおよび表示制御装置
JP6755728B2 (ja) * 2016-06-23 2020-09-16 本田技研工業株式会社 コンテンツ出力システム及び方法
JP6440910B2 (ja) * 2016-07-29 2018-12-19 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
JP6816492B2 (ja) * 2016-12-14 2021-01-20 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
KR102330829B1 (ko) * 2017-03-27 2021-11-24 삼성전자주식회사 전자 장치에서 증강현실 기능 제공 방법 및 장치
KR102085136B1 (ko) * 2018-05-28 2020-03-05 네이버랩스 주식회사 손상 오브젝트의 복원 방법 및 이를 위한 서버 장치
CN110717866B (zh) * 2019-09-03 2022-10-18 北京爱博同心医学科技有限公司 基于增强现实的图像锐化方法及增强现实眼镜
KR20220049907A (ko) 2020-10-15 2022-04-22 라인플러스 주식회사 위치 기반 아바타 메신저 서비스 제공 방법 및 장치
KR102638102B1 (ko) * 2023-08-09 2024-02-20 한국해양과학기술원 해양 경계감시를 위한 선박 인식 방법 및 모바일 단말

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990084348A (ko) * 1998-05-04 1999-12-06 정선종 증강현실을 이용한 헬기 운항 시스템 및 그방법
KR20070019813A (ko) * 2005-08-11 2007-02-15 서강대학교산학협력단 증강현실을 이용한 자동차 항법 시스템
KR20080084859A (ko) * 2006-01-09 2008-09-19 노키아 코포레이션 지리적 위치를 기반으로 하여 네트워크 객체들을 이동기기들에서 디스플레이
KR20100128490A (ko) * 2009-05-28 2010-12-08 엘지전자 주식회사 이동단말기 및 그 제어방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100755187B1 (ko) 2006-02-23 2007-09-03 주식회사 엔씨소프트 실제영상에 가상매체를 표시할 수 있는 디지털 기기 및 그표시방법
US20080147730A1 (en) * 2006-12-18 2008-06-19 Motorola, Inc. Method and system for providing location-specific image information
FR2911707B1 (fr) * 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
KR101405945B1 (ko) * 2007-10-15 2014-06-12 엘지전자 주식회사 통신 기기 및 통신 기기의 이동 히스토리 생성 방법
US20090315766A1 (en) * 2008-06-19 2009-12-24 Microsoft Corporation Source switching for devices supporting dynamic direction information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990084348A (ko) * 1998-05-04 1999-12-06 정선종 증강현실을 이용한 헬기 운항 시스템 및 그방법
KR20070019813A (ko) * 2005-08-11 2007-02-15 서강대학교산학협력단 증강현실을 이용한 자동차 항법 시스템
KR20080084859A (ko) * 2006-01-09 2008-09-19 노키아 코포레이션 지리적 위치를 기반으로 하여 네트워크 객체들을 이동기기들에서 디스플레이
KR20100128490A (ko) * 2009-05-28 2010-12-08 엘지전자 주식회사 이동단말기 및 그 제어방법

Also Published As

Publication number Publication date
US8879784B2 (en) 2014-11-04
US20120148106A1 (en) 2012-06-14
KR20120065480A (ko) 2012-06-21
US20140267421A1 (en) 2014-09-18
US8750559B2 (en) 2014-06-10

Similar Documents

Publication Publication Date Title
KR101350033B1 (ko) 증강 현실 제공 단말기 및 방법
CN106920279B (zh) 三维地图构建方法和装置
KR101303948B1 (ko) 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법
EP2302322B1 (en) Method and apparatus for providing location-based services using a sensor and image recognition in a portable terminal
CN102893129B (zh) 终端位置确定系统、移动终端以及终端位置确定方法
US20120140040A1 (en) Information display system, information display apparatus, information provision apparatus and non-transitory storage medium
JP2010118019A (ja) 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体
WO2013162140A1 (ko) 영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템
TW201140427A (en) Using a display to select a target object for communication
KR20120017293A (ko) 증강 현실 제공 장치 및 방법
KR100968837B1 (ko) 촬영된 객체에 대한 정보를 제공하는 휴대용 카메라 시스템
KR20120015923A (ko) 필터 정보를 이용한 객체 인식 장치 및 방법
EP2672455B1 (en) Apparatus and method for providing 3D map showing area of interest in real time
US20220076469A1 (en) Information display device and information display program
US9635234B2 (en) Server, client terminal, system, and program
KR101853691B1 (ko) 그린에서의 퍼팅정보 제공방법
KR101397873B1 (ko) 증강 현실 표시 장치 및 방법
CN107193820B (zh) 位置信息获取方法、装置及设备
JP5843288B2 (ja) 情報提示システム
JP6607987B2 (ja) 情報提供システム、サーバ装置、及び情報提供方法
Steinhoff et al. How computer vision can help in outdoor positioning
KR20130002663A (ko) 증강 현실 제공 시스템 및 방법
US9201498B2 (en) Information display system, information display apparatus and non-transitory storage medium
CN112153568A (zh) 基于业务场景的Wi-Fi识别、绑定方法、装置及设备
KR101601726B1 (ko) 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170627

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171205

Year of fee payment: 5