KR101413011B1 - 위치 정보 기반 증강현실 시스템 및 제공 방법 - Google Patents

위치 정보 기반 증강현실 시스템 및 제공 방법 Download PDF

Info

Publication number
KR101413011B1
KR101413011B1 KR1020130005245A KR20130005245A KR101413011B1 KR 101413011 B1 KR101413011 B1 KR 101413011B1 KR 1020130005245 A KR1020130005245 A KR 1020130005245A KR 20130005245 A KR20130005245 A KR 20130005245A KR 101413011 B1 KR101413011 B1 KR 101413011B1
Authority
KR
South Korea
Prior art keywords
augmented reality
information
smartphone
image
data
Prior art date
Application number
KR1020130005245A
Other languages
English (en)
Inventor
이영림
김상희
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020130005245A priority Critical patent/KR101413011B1/ko
Application granted granted Critical
Publication of KR101413011B1 publication Critical patent/KR101413011B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass

Abstract

본 발명의 위치 정보 기반 증강현실 시스템은 사용자가 스마트폰(10)의 카메라로 정보를 알고 싶은 고정시설을 화면 가운데에 맞추고 주시하여 해당 영상(T)을 획득하고, 영상(T)이 촬영된 스마트폰(10)의 위치와 자세, 방향, 카메라 초점거리 정보가 취득되어 증강현실 원격서버(100)로 전달되면, 증강현실 원격서버(100)에서는 촬영된 스마트폰(10)의 위치와 방향을 활용함으로써 기 구축한 수치지형고도자료 DB(130)로부터 지역의 수치지형고도자료가 선택되고, 선택된 수치지형고도자료와 함께 스마트폰(10)의 위치와 방향, 자세, 카메라 초점거리 정보에 일치될 수 있는 영상(T)의 고정시설 위치가 산출되어 부가자료 DB(150)로부터 부가자료가 획득됨으로써, 사용자는 스마트폰(10)에서 촬영된 영상(T)의 고정시설과 일치되는 증강현실영상을 확인할 수 있고, 특히 영상 매칭이 필요한 카메라 뷰 방식에서 나타났던 불필요한 주변 영상 제공이나 응답시간 지연등이 없이 증강현실영상이 제공되는 특징을 갖는다.

Description

위치 정보 기반 증강현실 시스템 및 제공 방법{Augmented Reality System based on Location Coordinates and Augmented Reality Image Providing Method thereof}
본 발명은 증강현실(Augmented Reality)에 관한 것으로, 특히 카메라 뷰를 이용한 영상매칭이 사용되지 않고 사용자 화면에 나타난 지점의 위치 추정을 통해 증강현실 영상이 제공될 수 있는 위치 정보 기반 증강현실 시스템 및 제공 방법에 관한 것이다.
일반적으로 증강현실(Augmented Reality)은 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계가 합쳐져 하나의 영상으로 생성되고, 이를 사용자에게 제공해주는 가상현실의 한 종류이며, 혼합현실로도 칭해진다.
상기와 같은 증강현실 기술은 다양한 분야와 기기에 적용되며, 특히 증강현실의 적용 범위가 넓어지면서 비약적인 발전과 사용량 증가에 있는 스마트 폰에 적합한 기술로 개발되고 있다.
이러한 스마트 폰 증강현실 기술의 일례로 부가정보의 식별자로 마커가 정의되고, 마커를 이용하여 사용자에게 증강현실이 제공될 수 있는 방식과 그 시스템을 들 수 있다.
이러한 증강현실 제공 시스템에서는 사용자가 특정 마커를 카메라 뷰에서 주시하면, 마커를 인지한 시스템은 인지된 마커의 위치와 방향에 맞춰 해당되는 부가정보(일례로, 3D 모델, 문자, 그래픽)를 선택하고, 이를 사용자가 보고 있는 카메라 뷰에 실사와 정합하여 보여주는 방식으로 구현된다.
상기와 같이 마커를 이용하는 방식은 마커를 추적함으로써 탐지가 쉬워 증강현실이 성공적으로 적용되는 장점이 있지만, 이는 역으로 증강현실이 구현되기 위해서는 마커가 반드시 필요하다는 불편이 있을 수밖에 없다.
국내특허공개 10-2010-0138863(2010년12월31일)
상기 특허문헌은 단말기에 대상물을 비추는 카메라를 내장하고, 코드와 마커리스 증강 현실을 결합함으로써 하나의 이미지가 코드에 따라 각기 다른 3차원 콘텐츠와 개인화된 콘텐츠를 연결해주는 기술의 예를 나타낸다.
하지만, 상기 특허문헌은 부가정보의 식별자인 마커를 이용하지 않아 증강현실을 제공 받고자 할 때는 반드시 마커가 있어야 하는 단점이 해소될 수 있지만, 카메라 뷰가 이용됨으로써 증강현실영상에 불필요한 부가 영상이 나타나거나 응답지연과 같은 또 다른 불편을 가져오게 된다.
일례로, 특정한 카페를 찾을 때 사용자가 카메라 뷰를 이용하여 카메라 뷰가 보고 있는 방향에 도시된 카페를 보여주면, 사용자의 위치와 방향 정보를 이용해 사용자가 원하는 카페 상점 정보와 함께 카메라 뷰가 보고 있는 방향에 모든 카페 상점 정보를 보여줌으로써 사용자는 불필요한 주변의 카페 상점 정보로 인해 혼란스러울 수 있다.
또 다른 일례로, 특정 건물을 찾을 때 주변지리에 미숙한 사용자가 카메라 뷰를 이용하여 카메라 뷰가 보고 있는 방향에 도시된 건물(혹은 장소)을 보여주면, 사용자의 위치와 방향 정보와 기 구축한 영상정보 데이터베이스를 이용하여 카메라 뷰에 나타날 수 있는 건물들의 후보군을 1차로 선별하고, 이를 카메라 뷰를 통해 보이는 실사와 매칭 연상한 다음, 실사와 가장 유사한 건물의 부가정보를 스마트폰 카메라 뷰에 현실이미지와 함께 정합하여 도시해줌으로써 사용자는 응답시간의 지연에 대한 불만을 느끼게 된다.
이 경우, 특히 실사의 건물(장소)을 식별하기 위해서는 사용자가 주시할 가능성이 있는 모든 건물에 대해 360도 전 방향에서 촬영된 영상을 사전에 구축하고 있어야 하고, 이로부터 선별된 후보군의 모든 영상자료와 현실 영상간의 유사성을 일일이 비교하고 난 뒤에야 증강현실을 제공할 수 있기 때문에 응답시간 지연이 더욱 심화될 수밖에 없다.
이에 상기와 같은 점을 감안하여 발명된 본 발명은 스마트폰의 위치와 자세 및 방향과 카메라 초점거리 정보등과 함께 수치지형고도자료가 활용됨으로써 영상자료의 사전 구축이 없이 지리적 정보만으로 증강현실이 구현될 수 있고, 특히 사용자 화면에 나타난 지점의 위치 추정이 수행됨으로써 영상 매칭이 필요한 카메라 뷰 방식에서 나타났던 불필요한 주변 영상 제공이나 응답시간 지연등이 모두 해소될 수 있는 위치 정보 기반 증강현실 시스템 및 제공 방법을 제공하는데 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 위치 정보 기반 증강현실 시스템은 유선이나 무선 송수신 네트워크와 접속되고, 카메라로 촬영된 영상정보가 상기 송수신 네트워크로 전송되며, 상기 송수신 네트워크를 통해 수신된 영상정보가 상기 촬영된 영상정보에 합성되어 증강현실영상으로 도시되는 스마트 폰과;
상기 송수신 네트워크를 통해 상기 스마트 폰의 상기 촬영된 영상정보가 인식되면, 상기 촬영된 영상정보에 포함된 고정시설의 2차원좌표로부터 3차원좌표가 계산되고, 상기 계산된 3차원좌표로 영상자료 없이 상기 촬영된 영상정보에 대한 지리적 정보가 검색된 후 상기 송수신 네트워크를 통해 상기 스마트 폰으로 전송되는 증강현실 원격서버; 가 포함된 것을 특징으로 한다.
상기 2차원좌표로부터 계산되는 3차원좌표는 임의의 높이에서 평면위치를 계산한 후 광선추적(ray-tracing)을 이용하여 3차원 위치가 추정되고, 지상의 3차원 절대좌표로 계산된다.
상기 스마트 폰은 상기 증강현실 원격서버와 송수신을 담당하는 통신부가 포함되고, 상기 통신부에는 상기 촬영된 영상정보를 제공하는 영상입력부와, 상기 촬영된 영상의 지역에 대한 정보가 힉득되는 센서정보 수집부와, 상기 촬영된 영상에 상기 증강현실 원격서버에서 제공된 부가정보가 합성되어 상기 증강현실영상으로 나타나도록 영상합성부가 함께 구성되고, 상기 증강현실영상은 상기 스마트 폰의 사용자에게 도시된다.
상기 센서정보 수집부에는 상기 촬영된 영상정보가 제공되는 상기 스마트폰의 방향 정보 및 자세정보가 검출되도록 GPS 수신기와, 상기 스마트폰의 방향 정보 및 자세정보를 획득하기 위해 절대적 방향이 측정될 수 있는 지자기 센서와, 상기 스마트폰의 카메라 뷰 방향이 측정될 수 있는 센서가 포함되고, 상기 센서는 가속도센서나 자이로센서이다.
상기 스마트 폰의 사용자에게 도시되는 상기 증강현실영상은 상기 영상합성부의 출력을 받는 영상출력부에서 구현되고, 상기 영상출력부가 상기 사용자가 인식하도록 상기 증강현실영상을 상기 스마트 폰에 도시해준다.
상기 증강현실 원격서버는 상기 스마트폰으로부터 위치와 자세, 방향, 카메라의 초점거리 정보를 수신하여 수신된 정보와 수치지형고도자료를 활용하여 알고자 하는 고정시설의 위치를 추정하고, 추정된 위치를 기반으로 해당하는 자료를 검색하여 알고자 하는 고정시설의 부가정보를 획득하고, 획득된 부가정보를 상기 스마트폰으로 전송하는 역할을 수행하는바 통신부가 구비되고, 상기 통신부에는 상기 스마트폰에서 전송된 상기 촬영된 영상정보로부터 상기 3차원좌표가 계산되는 좌표 추정부가 구비된다.
상기 좌표 추정부에서는 상기 스마트폰으로부터 수신된 위치, 자세등의 정보와 수치지형고도자료를 이용하여 알고자 하는 고정시설의 위치를 추정한다.
상기 좌표 추정부는 부가자료 DB와 함께 구성된 부가자료 검색부와 연결되고, 상기 부가자료 검색부는 상기 부가자료 DB로부터 상기 지리적 정보를 검색하여 상기 좌표 추정부로 제공해준다.
상기 부가자료 DB에는 지역의 건물과 다리 및 관광명소가 포함된 고정시설에 대한 자료가 상기 자료는 명칭과 좌표, 넓이, 높이, 주요기능, 식별부호, 층별 안내와 같은 속성자료가 각각 갖추어지고, 상기 속성자료에는 상기 고정시설의 모서리 좌표와 높이 정보가 반드시 포함된다.
또한, 상기와 같은 목적을 달성하기 위한 본 발명의 위치 정보 기반 증강현실 제공 방법에 있어서, (a) 스마트폰이 사용자가 정보를 알고 싶은 고정시설을 화면 가운데에 맞추고 주시하여 실사를 획득하는 단계;
(b) 상기 스마트폰이 실사를 획득한 곳의 위치, 자세, 방향, 카메라 초점 거리 정보를 수집하는 단계;
(c) 상기 스마트폰이 수집된 정보를 증강현실 원격 서버로 전달하는 단계; 가 포함된 것을 특징으로한다.
상기 (c) 단계 이후, (d) 송수신 네트워크로 연결된 증강현실 원격서버가 기 구축된 수치지형고도자료로부터 수신한 상기 스마트폰의 위치, 방향, 자세 정보를 활용하여 카메라 뷰에 실사될 수 있는 지역의 수치지형고도자료를 선택하는 단계;
(e) 상기 증강현실 원격 서버가 선택된 수치지형고도자료와 상기 스마트폰의 위치, 방향, 자세, 카메라 초점 거리 정보를 이용하여 고정시설의 위치를 추정하는 단계;
(f) 상기 증강현실 원격 서버가 부가자료 DB에서 추정된 위치를 기반으로 해당하는 상기 고정시설의 자료를 선택하는 단계;
(g) 상기 증강현실 원격 서버가 선택된 자료를 상기 스마트폰으로 전송하는 단계; 를 더 포함하는 것을 특징으로 한다.
상기 (g) 단계 이후, (h) 상기 스마트폰은 수신 받은 부가자료와 실사를 합성하여 증강현실 이미지를 생성하고, 사용자에게 출력하는 단계; 를 더 포함하는 것을 특징으로 한다.
이러한 본 발명은 스마트폰의 위치와 자세 및 방향과 카메라 초점거리 정보등과 함께 수치지형고도자료가 활용됨으로써 사용자의 추정된 위치에 대한 지리적 정보만으로 증강현실이 구현될 수 있고, 특히 지리적 정보에 대한 영상자료의 사전 구축도 요구되지 않는 효과가 있다.
또한, 본 발명은 사용자의 추정된 위치에 대한 지리적 정보만으로 증강현실이 구현됨으로써, 평시 접근이 어렵거나 불가능한 지역 등과 같이 영상정보를 미리 구축할 수 없는 지역에 대해서도 사용자에게 부가정보를 증강현실로 제공할 수 있는 효과가 있다.
또한, 본 발명은 수치지형고도자료를 활용하여 사용자 화면에 나타난 지점의 위치 추정을 통한 증강현실이 구현됨으로써, 필요한 카메라 뷰 방식에서 나타났던 불필요한 주변 영상 제공이 해소되고, 특히 선별 후보군 영상과 현실 영상간의 유사성 비교가 실시되지 않음으로써 사용자는 응답지연 없이 증강현실을 빠르게 제공받을 수 있는 효과가 있다.
또한, 본 발명은 사용자가 촬영하여 스마트폰을 통해 원격서버로 전송한 고정시설 영상이 부가자료 DB에 없을 경우, 이를 부가자료 DB의 새로운 영상정보로 등록함으로써 불특정 다수의 스마트폰 사용자로부터 영상정보가 업데이트될 수 있는 효과가 있다.
도 1 및 도 2는 본 발명에 따른 위치 정보 기반 증강현실 시스템 구성도이고, 도 3은 본 발명에 따른 위치 정보 기반 증강현실의 제공을 위한 동작 흐름순서이며, 도 4는 본 발명에 따른 위치 정보 기반 증강현실이 제공되는 스마트폰에 원하는 목표가 선택된 상태이고, 도 5는 본 발명에서 2차원 실사영상으로부터 3차원 위치를 결정하기 위한 광선 추적법(ray-tracing)의 개념도이며, 도 6은 본 발명에 적용된 광선 추적법(ray-tracing)의 구체적인 지상좌표 개념이고, 도 7은 도 6에 따른 지상좌표 계산흐름이며, 도 8은 도 6 및 도 7에 적용된 광선 추적법(ray-tracing)의 동작흐름 순서이다.
이하 본 발명의 실시예를 첨부된 예시도면을 참조로 상세히 설명하며, 이러한 실시예는 일례로서 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 여러 가지 상이한 형태로 구현될 수 있으므로, 여기에서 설명하는 실시예에 한정되지 않는다.
도 1 및 도 2는 본 실시예에 따른 위치 정보 기반 증강현실 시스템 구성을 나타낸다.
도 1을 참조하면, 위치 정보 기반 증강현실 시스템은 영상을 촬영하고 처리하는 기능이 포함된 스마트 폰(10)과, 스마트 폰(10)에서 제공된 위치 정보 만 이용해 사전 구축된 영상자료가 없더라도 지리적 정보만으로 증강현실을 스마트 폰(10)으로 제공해주는 증강현실 원격서버(100)와, 스마트 폰(10)에서 증강현실 원격서버(100)로 송수신하고 그 역으로 송수신가능하도록 구성된 송수신 네트워크(200)로 구성된다.
본 실시예에서, 상기 송수신 네트워크(200)는 유선 네트워크가 될 수 있고, 또는 무선 네트워크가 될 수 있다.
도 2는 본 실시예에 따른 스마트 폰(10)과 증강현실 원격서버(100)의 구체적인 구성 예를 나타낸다.
상기 스마트 폰(10)은 무선네트워크를 통하여 증강현실 원격서버(100)와 자료 송수신을 담당하는 통신부(13)가 포함되고, 상기 통신부(13)에는 영상입력부(11)로부터 촬영된 지역의 실사영상이 제공되고, 센서정보 수집부(12)로부터 실사 영상을 획득한 곳에 대한 다양한 정보가 제공되며, 부가정보와 실사를 중첩하여 증강현실영상을 생성하도록 영상합성부(14)로 정보를 출력한다.
그러므로, 상기 통신부(13)에서는 영상입력부(11)와 센서정보 수집부(12)로부터 위치와 자세, 방향, 카메라의 초점거리 정보를 전달받아 증강현실 원격서버(100)로 전달해주고, 증강현실 원격서버(100)로부터 사용자가 주시한 고정시설에 대한 부가정보를 전달받아 영상합성부(14)에 인가해 준다.
이를 위해, 상기 영상입력부(11)는 실사 및 초점 거리 정보를 획득하기 위한 카메라 센서가 포함된다.
상기 센서정보 수집부(12)는 GPS 수신기가 포함됨으로써 실사가 획득된 지역의 위치 정보와 함께 스마트폰(10)의 방향 정보 및 자세정보가 획득된다. 더불어 상기 센서정보 수집부(12)는 지자기 센서가 더 포함됨으로써 방향 정보 및 자세정보를 획득하기 위해 절대적 방향이 측정될 수 있다. 또한, 상기 센서정보 수집부(12)는 가속도센서나 자이로센서가 더 포함됨으로써 카메라 뷰 방향이 측정될 수 있다.
상기 센서 정보 수집부(12)는 4개의 위성을 이용하여 위치를 결정하여 그 정보를 제공하여 준다. 일례로 상기 센서 정보 수집부(12)에서 수집된 정보는 통신부(13)에서 사용되고, 또한 증강현실 원격서버(100)의 좌표 추정부(120)에서 스마트폰(10)의 위치 자세를 결정하는 정보로 취해질 수 있다.
상기 영상합성부(14)에서는 부가정보와 실사를 중첩하여 증강현실영상을 생성하는 역할을 하며, 생성된 증강현실 영상을 출력하여 준다.
이를 위해, 상기 영상합성부(14)에는 영상출력부(15)가 연결되고, 이를 통해 스마트 폰(10)에서는 증강현실영상이 표현되는 모든 기능이 포함된다.
그러므로, 상기 영상출력부(15)에서는 영상입력부(11)로부터 촬영된 지역의 실사영상과 통신부(13)를 통해 전달된 증강현실 원격서버(100)의 부가영상을 더해 증강현실영상으로 표현하고 이를 사용자가 보는 화면에 제공하여 준다.
이로부터, 상기 스마트폰(10)의 위치 자세는 스마트폰 내에서 결정되어 결정된 위치와 자세 정보가 증강현실 원격서버(100)로 전송됨으로써 증강현실 원격서버(100)에서는 스마트폰(10)의 위치와 자세정보를 이용할 수 있다. 특히, 스마트폰(10)의 위치와 자세 정보 + 수치지형고도자료를 광선추적방법을 이용하여 스마트폰에(10) 촬영된 영상의 중심에 해당되는 시설의 위치가 결정되며, 이는 이후 상세히 기술된다.
한편, 상기 증강현실 원격서버(100)에는 유무선의 송수신 네트워크(200)를 통해 접속된 스마트폰(10)으로부터 위치와 자세, 방향, 카메라의 초점거리 정보를 수신하여 수신된 정보와 수치지형고도자료를 활용하여 알고자 하는 고정시설의 위치를 추정하고, 추정된 위치를 기반으로 해당하는 자료를 검색하여 알고자 하는 고정시설의 부가정보를 획득하고, 획득된 부가정보를 스마트폰(10)으로 전송하는 역할을 수행하는바 통신부(110)가 포함된다.
상기 통신부(110)는 좌표 추정부(120)와 연결됨으로써 상기 좌표 추정부(120)가 스마트폰(10)이 실사한 영상 중심의 지상위치를 3차원 절대좌표로 추정하여 준다.
이를 위해, 상기 좌표 추정부(120)에서는 스마트폰(10)으로부터 수신한 위치와 자세, 방향 카메라의 초점거리 정보와 수치지형고도자료를 이용하여 스마트폰(10)이 실사한 영상 중심의 지상위치를 3차원 절대좌표가 정확하게 추정될 수 있다.
특히, 상기 좌표 추정부(120)에서는 2차원 실사영상으로부터 3차원 위치를 결정하는데 이용되는 직접법(Direct 또는 Top-Down Method)을 이용함으로써, 스마트폰(10)이 실사한 2차원 영상이 미지수를 직접 계산할 수 없는 ill-posed problem에 해당하더라도 수치지형고도자료로부터 절대좌표가 계산될 수 있다.
본 실시예에서 상기 직접법(Direct 또는 Top-Down Method)이 적용됨으로써 임의의 높이에서 평면위치를 계산한 후 광선추적(ray-tracing)을 이용하여 3차원 위치를 추정해 나가는 카메라 센서모델링 방식이 구현될 수 있고, 이로부터 스마트폰(10)이 실사한 2차원 영상에서 지상의 3차원 절대좌표가 계산되며, 이후 상세히 설명된다.
또한, 상기 증강현실 원격서버(100)에는 좌표 추정부(120)가 이용하는 수치지형고도자료 DB(130)가 구비됨으로써, 상기 수치지형고도자료 DB(130)에서 저장 및 관리하는 자료로부터 증강현실을 제공할 지역의 수치지형고도자료가 추출될 수 있다
또한, 상기 증강현실 원격서버(100)에는 부가자료 DB(150)와 함께 구성된 부가자료 검색부(140)가 더 구비됨으로써, 상기 부가자료 검색부(140)가 부가자료 DB(150)로부터 증강현실을 제공하고자 하는 지역의 고정시설(건물, 다리, 관광명소 등)에 대한 자료를 추출할 수 있고, 이를 통신부(110)로 제공할 수 있다.
상기 부가자료 DB(150)는 증강현실을 제공하고자 하는 지역의 고정시설(건물, 다리, 관광명소 등)에 대한 자료로써 복수개의 부가자료를 저장하며, 이들 각각의 부가자료는 여러 개의 속성자료(예를 들어 명칭, 좌표, 넓이, 높이, 주요기능, 식별부호, 층별 안내 등)로 구성 된다.
특히, 속성자료 중에는 고정시설의 모서리 좌표와 높이 정보가 필수적으로 저장되어 있고, 저장된 모서리 좌표와 높이 정보가 이용됨으로써 부가자료 DB(150)에 저장된 부가자료들 중에서 사용자가 필요로 하는 부가정보가 검색될 수 있다.
도 3은 본 실시예에 따른 위치 정보 기반 증강현실의 제공을 위한 동작 흐름순서를 나타낸다.
S10은 스마트폰이 사용자가 정보를 알고 싶은 고정시설을 화면 가운데에 맞추고 주시하여 실사를 획득하는 단계로서, 이를 통해 사용자가 증강현실로 제공받기 위한 최소한의 실사 영상정보가 생성된다.
이러한 과정은 도 2의 스마트폰(10)의 구성요소중 영상입력부(11)를 통해 이루어진다.
도 4는 스마트폰(10)을 이용하여 실사 영상정보가 촬영된 예로서, 도시된 바와 같이 사용자는 정보를 알고 싶은 고정시설(T)에 스마트폰(10)의 카메라로 대고 촬영함으로써 간단하게 수행된다. 이때, 사용자는 해당 영상정보가 스마트폰(10)의 화면 가운데에 맞춰지도록 카메라를 주시하여준다.
이어, S20은 스마트폰이 실사를 획득한 곳의 위치, 자세, 방향, 카메라 초점 거리 정보를 수집하는 단계로서, 이를 통해 영상정보가 촬영된 스마트폰의 위치와 자세, 방향, 카메라 초점거리에 대한 정보가 취득된다.
이러한 과정은 도 2의 스마트폰(10)의 구성 요소중 센서정보수집부(12)를 통해 이루어지고, 상기 영상입력부(11)와 상기 센서정보수집부(12)의 정보는 통신부(13)에서 종합된다.
이어, S30은 스마트폰이 수집된 정보를 증강현실 원격 서버로 전달하는 단계로서, 이를 통해 스마트폰에서 촬영된 영상정보와 함께 이를 촬영한 스마트폰의 위치와 자세, 방향, 카메라 초점거리에 대한 정보가 증강현실 원격서버로 전달된다.
이러한 과정은 도 2의 스마트폰(10)의 구성 요소중 센서정보수집부(12)의 정보를 종합한 통신부(13)가 송수신 네트워크(200)를 통해 유선 또는 무선으로 증강현실 원격서버(100)로 전달함으로써 수행된다.
상기 증강현실 원격서버(100)는 통신부(110)를 통해 스마트폰(10)의 정보가 입력된다.
이어, S40은 네트워크로 연결된 증강현실 원격서버가 기 구축된 수치지형고도자료를 수신한 스마트폰의 위치, 방향, 자세 정보를 활용하여 카메라 뷰에 실사될 수 있는 지역의 수치지형고도자료를 선택하는 단계로서, 이를 통해 증강현실 원격서버에서는 스마트폰에서 촬영된 영상정보와 일치되는 지역의 수치지형고도자료가 추출된다.
이러한 과정은 도 2의 증강현실 원격서버(100)의 구성 요소중 좌표추정부(120)가 수치지형고도자료 DB를 검색함으로써 수행된다.
이어, S50은 증강현실 원격 서버가 선택된 수치지형고도자료와 스마트폰의 위치, 방향, 자세, 카메라 초점 거리 정보를 이용하여 고정시설의 위치를 추정하는 단계로서, 이를 통해 증강현실 원격서버에서는 스마트폰에서 촬영된 영상정보에 있는 고정시설의 위치좌표가 판단된다.
전술한 바와 같이, 도 4에서 스마트폰(10)이 실사한 영상(T)은 2차원 영상이고, 이러한 영상은 도 5(가)와 같이 미지수에 비해 관측되는 방정식이 적기 때문에 미지수를 직접 계산할 수 없는 ill-posed problem을 가질 수밖에 없고, 이로부터 지상의 3차원 절대좌표가 계산될 수 없다.
그러므로, 본 실시예에서는 도 4에서 스마트폰(10)이 실사한 영상(T)이 도 5(나)와 같이 임의의 높이에서 평면위치를 계산한 후 광선추적(ray-tracing)을 이용하여 3차원 위치를 추정해 나가는 직접법(Direct 또는 Top-Down Method)이 적용되고, 이로부터 스마트폰(10)이 실사한 영상(T)에 있는 고정시설의 위치좌표가 판단된다.
도 6은 광선 추적법(ray-tracing)의 구체적인 지상좌표 개념이고, 도 7은 도 6에 따른 지상좌표 계산흐름을 나타낸다.
도 7을 참조하면, 카메라의 위치와 자세와 초점거리가 확인되고, 카메라의 자세정보를 이용하여 회전변환을 통해 카메라의 방향벡터를 계산됨으로써 다음과 같은 식이 구해진다.
식(1)
Figure 112013004695439-pat00001
,
Figure 112013004695439-pat00002
,
Figure 112013004695439-pat00003
식(2)
Figure 112013004695439-pat00004
식(3)
Figure 112013004695439-pat00005
식(4)
Figure 112013004695439-pat00006
상기 식(4)는 스마트폰 실사영상에서 중심좌표는 R이 orthogonal matrix임에 따라 벡터성분으로 변환됨을 의미한다.
이어, 지상 고도가 0m인 곳과 만나는 지점의 평면좌표(Xo,Yo)를 다음과 같은 식으로부터 계산한다.
식(5)
Figure 112013004695439-pat00007
이는, 카메라 중심과 지상점 (Xo,Yo,Zo)을 잇는 직선의 방정식이고, 공간상의 벡터
Figure 112013004695439-pat00008
가 지상고도 '0'인 XY 평면과 만남을 나타낸다.
식(5)로부터 Z=0으로 하면 다음과 같은 식(6)이 구해진다.
식(6)
Figure 112013004695439-pat00009
상기 식(6)으로부터 도 4의 스마트폰(10)에 찍힌 영상(T)에 나타난 고정시설에 대해 고도가 0(Z=0)이라고 가정했을 때의 X와 Y 좌표가 계산된다.
한편, 도 8은 광선추적 방법을 이용하여 3차원 위치를 결정하는 절차이고, 이러한 절차로부터 보다 상세한 수행절차를 알 수 있다.
먼저, S100에서 스마트폰의 위치와 자세정보를 확보하면, S110에서 화면의 중심에 위치한 고정시설에 대해 첫 번째로 Z0를 기준으로 설정하고, 센서모델링 식을 이용하여 광선추적법으로 (X0,Y0)좌표가 계산된다.
이어, S120에서 계산된 임의의(X0,Y0)좌표에 해당하는 위치의 수치지형고도자료의 높이값 (Z0+1)을 추출하고, S130에서 (Z = Zi)로 설정한 후 센서모델링 식을 이용하여 광선추적법으로 다시 (Xi,Yi)좌표를 계산하며, S140에서 (Xi,Yi)좌표에 해당하는 위치의 수치지형고도자료의 높이값 (Zi+1)을 추출한다.
이어, S150에서 (Zi)와 (Zi+1)이 수렴할 때까지 반복 수행함으로써 영상좌표에 해당하는 Z가 추출된다.
본 실시예에서 상기 계산된 좌표(X, Y, Z)와 스마트폰의 위치 정보는 도 2의 증강현실 원격서버(100)의 구성 요소중 부가자료 검색부(140)로 전달된다.
그러므로, 전술한 S50의 단계에서는 스마트폰에서 촬영된 영상정보에 선택된 고정시설의 좌표가 계산될 수 있고, 이러한 과정은 도 2의 증강현실 원격서버(100)의 구성 요소중 부가자료검색부(140)에서 수행된다.
다시 도 3을 참조하면, S60은 증강현실 원격 서버가 부가자료 DB에서 추정된 위치를 기반으로 해당하는 고정시설의 자료를 선택하는 단계로서, 이를 통해 증강현실 원격서버에서는 스마트폰에서 촬영된 영상정보에 선택된 고정시설의 부가자료가 추출된다.
이러한 과정은 도 2의 증강현실 원격서버(100)의 구성 요소중 부가자료검색부(140)가 부가자료 DB(150)를 검색함으로써 수행된다.
본 실시예에서 부가자료검색부(140)는 부가자료 DB(150)를 좌표추정부에서 계산된 좌표 기반으로 검색하고, 특히 계산된 좌표를 중심으로 일정 반경내에 포함되는 고정시설을 검색한다.
이어, 일정 반경내에 포함되는 고정시설이 검색되고 나면, 검색된 고정시설의 모서리 좌표와 높이를 기반으로 고정시설의 3차원 공간을 계산하고, 스마트폰의 위치와 좌표추정부에서 계산된 좌표를 잇는 직선과 첫 번째로 교차하는 고정시설을 계산함으로써 스마트폰(10)에서 촬영된 영상(T)의 고정시설에 대한 부가자료가 추출된다.
이후, 상기 선택된 고정시설의 부가자료는 부가자료검색부(140)에서 통신부(110)로 전송된다.
S70은 증강현실 원격 서버가 선택된 자료를 스마트폰으로 전송하는 단계로서, 이를 통해 증강현실 원격서버에서 검색된 정보가 스마트폰으로 전송될 수 있다.
S80은 스마트폰은 수신 받은 부가자료와 실사를 합성하여 증강현실 이미지를 생성하여, 사용자에게 출력하는 단계로서, 이를 통해 스마트폰에서는 증강현실 원격서버에서 제공된 정보를 실사 영상에 부가한 증강현실 정보가 제공된다.
이러한 과정은 도 2의 스마트폰(10)의 구성 요소중 영상합성부(14)가 영상입력부(11)에서 제공된 도 4의 영상(T)과 통신부(13)에서 제공된 고정시설의 부가자료를 서로 합쳐 줌으로써 증강현실영상이 만들어지고, 영상출력부(15)가 만들어진 증강현실영상을 스마트폰(10)에 표시해줌으로써 사용자가 보는 화면에 제공된다.
전술된 바와 같이, 본 실시예에 따른 위치 정보 기반 증강현실 시스템은 사용자가 스마트폰(10)의 카메라로 정보를 알고 싶은 고정시설을 화면 가운데에 맞추고 주시하여 해당 영상(T)을 획득하고, 영상(T)이 촬영된 스마트폰(10)의 위치와 자세, 방향, 카메라 초점거리 정보가 취득되어 증강현실 원격서버(100)로 전달되면, 증강현실 원격서버(100)에서는 촬영된 스마트폰(10)의 위치와 방향을 활용함으로써 기 구축한 수치지형고도자료 DB(130)로부터 지역의 수치지형고도자료가 선택되고, 선택된 수치지형고도자료와 함께 스마트폰(10)의 위치와 방향, 자세, 카메라 초점거리 정보에 일치될 수 있는 영상(T)의 고정시설 위치가 산출되어 부가자료 DB(150)로부터 부가자료가 획득됨으로써, 사용자는 스마트폰(10)에서 촬영된 영상(T)의 고정시설과 일치되는 증강현실영상을 확인하게 된다.
그러므로, 본 실시예에 따른 위치 정보 기반 증강현실 시스템에서 제공되는 방법은 영상 매칭이 필요한 카메라 뷰 방식에서 나타났던 불필요한 주변 영상 제공이나 응답시간 지연등이 모두 해소될 수 있다.
10 : 스마트 폰 11 : 영상입력부
12 : 센서정보 수집부 13 : 통신부
14 : 영상합성부 15 : 영상출력부
100 : 증강현실 원격서버 110 : 통신부
120 : 좌표 추정부 130 : 수치지형고도자료 DB
140 : 부가자료 검색부 150 : 부가자료 DB
200 : 송수신 네트워크

Claims (13)

  1. 유선이나 무선 송수신 네트워크와 접속되고, 카메라로 촬영된 영상정보가 상기 송수신 네트워크로 전송되며, 상기 송수신 네트워크를 통해 수신된 영상정보가 상기 촬영된 영상정보에 합성되어 증강현실영상으로 도시되는 스마트 폰과;
    상기 송수신 네트워크를 통해 상기 스마트 폰의 상기 촬영된 영상정보가 인식되면, 상기 촬영된 영상정보에 포함된 고정시설의 2차원좌표로부터 3차원좌표가 계산되고, 상기 계산된 3차원좌표로 영상자료 없이 상기 촬영된 영상정보에 대한 지리적 정보가 검색된 후 상기 송수신 네트워크를 통해 상기 스마트 폰으로 전송되는 증강현실 원격서버;
    가 포함된 것을 특징으로 하는 위치 정보 기반 증강현실 시스템.
  2. 청구항 1에 있어서, 상기 2차원좌표로부터 계산되는 3차원좌표는 임의의 높이에서 평면위치를 계산한 후 광선추적(ray-tracing)을 이용하여 3차원 위치가 추정되고, 지상의 3차원 절대좌표로 계산되는 것을 특징으로 하는 위치 정보 기반 증강현실 시스템.
  3. 청구항 1에 있어서, 상기 스마트 폰은 상기 증강현실 원격서버와 송수신을 담당하는 통신부가 포함되고, 상기 통신부에는 상기 촬영된 영상정보를 제공하는 영상입력부와, 상기 촬영된 영상의 지역에 대한 정보가 힉득되는 센서정보 수집부와, 상기 촬영된 영상에 상기 증강현실 원격서버에서 제공된 부가정보가 합성되어 상기 증강현실영상으로 나타나도록 영상합성부가 함께 구성되고, 상기 증강현실영상은 상기 스마트 폰의 사용자에게 도시되는 것을 특징으로 하는 위치 정보 기반 증강현실 시스템.
  4. 청구항 3에 있어서, 상기 센서정보 수집부에는 상기 촬영된 영상정보가 제공되는 상기 스마트폰의 방향 정보 및 자세정보가 검출되도록 GPS 수신기와, 상기 스마트폰의 방향 정보 및 자세정보를 획득하기 위해 절대적 방향이 측정될 수 있는 지자기 센서와, 상기 스마트폰의 카메라 뷰 방향이 측정될 수 있는 센서가 포함되는 것을 특징으로 하는 위치 정보 기반 증강현실 시스템.
  5. 청구항 4에 있어서, 상기 센서는 가속도센서나 자이로센서인 것을 특징으로 하는 위치 정보 기반 증강현실 시스템.
  6. 청구항 3에 있어서, 상기 스마트 폰의 사용자에게 도시되는 상기 증강현실영상은 상기 영상합성부의 출력을 받는 영상출력부에서 구현되고, 상기 영상출력부가 상기 사용자가 인식하도록 상기 증강현실영상을 상기 스마트 폰에 도시해주는 것을 특징으로 하는 위치 정보 기반 증강현실 시스템.
  7. 청구항 1에 있어서, 상기 증강현실 원격서버는 상기 스마트폰으로부터 위치와 자세, 방향, 카메라의 초점거리 정보를 수신하여 수신된 정보와 수치지형고도자료를 활용하여 알고자 하는 고정시설의 위치를 추정하고, 추정된 위치를 기반으로 해당하는 자료를 검색하여 알고자 하는 고정시설의 부가정보를 획득하고, 획득된 부가정보를 상기 스마트폰으로 전송하는 역할을 수행하는바 통신부가 구비되고, 상기 통신부에는 상기 스마트폰에서 전송된 상기 촬영된 영상정보로부터 상기 3차원좌표가 계산되는 좌표 추정부가 구비되는 것을 특징으로 하는 위치 정보 기반 증강현실 시스템.
  8. 청구항 7에 있어서, 상기 좌표 추정부에서는 상기 스마트폰으로부터 수신한 상기 스마트폰의 위치, 자세 정보와 수치지형고도자료를 이용하여 광선추적기법을 적용하여 상기 촬영된 시설의 3차원 위치를 결정하는 것을 특징으로 하는 위치 정보 기반 증강현실 시스템.
  9. 청구항 7에 있어서, 상기 좌표 추정부는 부가자료 DB와 함께 구성된 부가자료 검색부와 연결되고, 상기 부가자료 검색부는 상기 부가자료 DB로부터 상기 지리적 정보를 검색하여 상기 좌표 추정부로 제공해주는 것을 특징으로 하는 위치 정보 기반 증강현실 시스템.
  10. 청구항 9에 있어서, 상기 부가자료 DB에는 지역의 건물과 다리 및 관광명소가 포함된 고정시설에 대한 자료가 상기 자료는 명칭과 좌표, 넓이, 높이, 주요기능, 식별부호, 층별 안내와 같은 속성자료가 각각 갖추어지고, 상기 속성자료에는 상기 고정시설의 모서리 좌표와 높이 정보가 반드시 포함되어진 것을 특징으로 하는 위치 정보 기반 증강현실 시스템.
  11. 위치기반 증강현실 제공 방법에 있어서,
    (a) 스마트폰이 사용자가 정보를 알고 싶은 고정시설을 화면 가운데에 맞추고 주시하여 실사를 획득하는 단계;
    (b) 상기 스마트폰이 실사를 획득한 곳의 위치, 자세, 방향, 카메라 초점 거리 정보를 수집하는 단계;
    (c) 상기 스마트폰이 수집된 정보를 증강현실 원격 서버로 전달하는 단계;
    (d) 송수신 네트워크로 연결된 증강현실 원격서버가 기 구축된 수치지형고도자료를 수신한 상기 스마트폰의 위치, 방향, 자세 정보를 활용하여 카메라 뷰에 실사될 수 있는 지역의 수치지형고도자료를 선택하는 단계;
    (e) 상기 증강현실 원격 서버가 선택된 수치지형고도자료와 상기 스마트폰의 위치, 방향, 자세, 카메라 초점 거리 정보를 이용하여 고정시설의 위치를 추정하는 단계;
    가 포함된 것을 특징으로 하는 위치 정보 기반 증강현실 제공 방법.
  12. 청구항 11에 있어서, 상기 (e) 단계 이후,
    (f) 상기 증강현실 원격 서버가 부가자료 DB에서 추정된 위치를 기반으로 해당하는 상기 고정시설의 자료를 선택하는 단계;
    (g) 상기 증강현실 원격 서버가 선택된 자료를 상기 스마트폰으로 전송하는 단계;
    를 더 포함하는 것을 특징으로 하는 위치기반 증강현실 제공 방법.
  13. 청구항 12에 있어서, 상기 (g) 단계 이후,
    (h) 상기 스마트폰은 수신 받은 부가자료와 실사를 합성하여 증강현실 이미지를 생성하고, 사용자에게 출력하는 단계;
    를 더 포함하는 것을 특징으로 하는 위치기반 증강현실 제공 방법.

KR1020130005245A 2013-01-17 2013-01-17 위치 정보 기반 증강현실 시스템 및 제공 방법 KR101413011B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130005245A KR101413011B1 (ko) 2013-01-17 2013-01-17 위치 정보 기반 증강현실 시스템 및 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130005245A KR101413011B1 (ko) 2013-01-17 2013-01-17 위치 정보 기반 증강현실 시스템 및 제공 방법

Publications (1)

Publication Number Publication Date
KR101413011B1 true KR101413011B1 (ko) 2014-07-02

Family

ID=51740675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130005245A KR101413011B1 (ko) 2013-01-17 2013-01-17 위치 정보 기반 증강현실 시스템 및 제공 방법

Country Status (1)

Country Link
KR (1) KR101413011B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160020033A (ko) * 2014-08-12 2016-02-23 전자부품연구원 모바일 단말을 이용한 증강현실 기반의 항공 경로 안내 방법
CN106101684A (zh) * 2016-06-30 2016-11-09 深圳市虚拟现实科技有限公司 远程全景图像实时传输和流畅显示的方法
KR101704513B1 (ko) * 2016-06-14 2017-02-09 주식회사 엔토소프트 측위 정보를 기반으로 증강현실 영상을 구현하기 위한 서버 및 시스템
KR101835974B1 (ko) * 2016-05-24 2018-03-08 인하공업전문대학산학협력단 가상현실환경에서 사용자 단말들의 시점 동기화 장치 및 방법
KR101865111B1 (ko) 2017-03-24 2018-06-07 이성희 위치정보를 기반으로 한 보물찾기 게임식 홍보 방법
KR20190032791A (ko) * 2017-09-20 2019-03-28 (주)다스콘 실시간 위치 측위 시스템 및 이를 이용한 콘텐츠 제공 서비스 시스템
KR20200035586A (ko) * 2018-09-27 2020-04-06 월리엄 로렌조 스웽크 시차 적응을 위한 홈 어플라이언스
KR20210056087A (ko) * 2019-11-08 2021-05-18 한국건설기술연구원 증강현실 기반 철도시설물 점검업무 관리 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050078136A (ko) * 2004-01-30 2005-08-04 삼성전자주식회사 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
KR20090000186A (ko) * 2007-01-25 2009-01-07 삼성전자주식회사 증강현실을 이용한 관심 지점 표시 장치 및 방법
KR101153127B1 (ko) 2010-03-24 2012-06-04 (주)아이윈디 스마트 폰의 지리정보 표시장치
KR101180459B1 (ko) 2010-10-12 2012-09-06 강지영 스마트폰을 이용한 증강현실 구현 시스템 및 증강현실 구현 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050078136A (ko) * 2004-01-30 2005-08-04 삼성전자주식회사 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
KR20090000186A (ko) * 2007-01-25 2009-01-07 삼성전자주식회사 증강현실을 이용한 관심 지점 표시 장치 및 방법
KR101153127B1 (ko) 2010-03-24 2012-06-04 (주)아이윈디 스마트 폰의 지리정보 표시장치
KR101180459B1 (ko) 2010-10-12 2012-09-06 강지영 스마트폰을 이용한 증강현실 구현 시스템 및 증강현실 구현 방법

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160020033A (ko) * 2014-08-12 2016-02-23 전자부품연구원 모바일 단말을 이용한 증강현실 기반의 항공 경로 안내 방법
KR101994898B1 (ko) * 2014-08-12 2019-07-01 전자부품연구원 모바일 단말을 이용한 증강현실 기반의 항공 경로 안내 방법
KR101835974B1 (ko) * 2016-05-24 2018-03-08 인하공업전문대학산학협력단 가상현실환경에서 사용자 단말들의 시점 동기화 장치 및 방법
KR101704513B1 (ko) * 2016-06-14 2017-02-09 주식회사 엔토소프트 측위 정보를 기반으로 증강현실 영상을 구현하기 위한 서버 및 시스템
CN106101684A (zh) * 2016-06-30 2016-11-09 深圳市虚拟现实科技有限公司 远程全景图像实时传输和流畅显示的方法
KR101865111B1 (ko) 2017-03-24 2018-06-07 이성희 위치정보를 기반으로 한 보물찾기 게임식 홍보 방법
KR20190032791A (ko) * 2017-09-20 2019-03-28 (주)다스콘 실시간 위치 측위 시스템 및 이를 이용한 콘텐츠 제공 서비스 시스템
KR102035388B1 (ko) * 2017-09-20 2019-10-22 (주)다스콘 실시간 위치 측위 시스템 및 이를 이용한 콘텐츠 제공 서비스 시스템
KR20200035586A (ko) * 2018-09-27 2020-04-06 월리엄 로렌조 스웽크 시차 적응을 위한 홈 어플라이언스
KR102172346B1 (ko) * 2018-09-27 2020-10-30 월리엄 로렌조 스웽크 시차 적응을 위한 홈 어플라이언스
KR20210056087A (ko) * 2019-11-08 2021-05-18 한국건설기술연구원 증강현실 기반 철도시설물 점검업무 관리 시스템
KR102266990B1 (ko) * 2019-11-08 2021-06-18 한국건설기술연구원 증강현실 기반 철도시설물 점검업무 관리 시스템

Similar Documents

Publication Publication Date Title
KR101413011B1 (ko) 위치 정보 기반 증강현실 시스템 및 제공 방법
JP6635037B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
KR101285360B1 (ko) 증강현실을 이용한 관심 지점 표시 장치 및 방법
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
JP5255595B2 (ja) 端末位置特定システム、及び端末位置特定方法
WO2016017254A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN202502670U (zh) 图像处理装置
JP2017535792A (ja) 地球磁場を用いた自己位置推定とマップ作成の同時実行
KR100968837B1 (ko) 촬영된 객체에 대한 정보를 제공하는 휴대용 카메라 시스템
KR102622585B1 (ko) 실내 길안내 장치 및 그 방법
JP5274192B2 (ja) 位置推定システム、位置推定サーバおよび位置推定方法
CN107193820B (zh) 位置信息获取方法、装置及设备
US20120026324A1 (en) Image capturing terminal, data processing terminal, image capturing method, and data processing method
JP2006285546A (ja) 情報提供システム、データベースサーバー、及び携帯通信端末
KR20150077607A (ko) 증강현실을 이용한 공룡 유적지 체험 서비스 제공 시스템 및 그 방법
JP2013142956A (ja) 撮影対象検索システム
KR101601726B1 (ko) 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 방법 및 시스템
KR20130068463A (ko) 위치 기반 정보 서비스를 이용한 역사 정보 제공 시스템 및 방법
JP4733343B2 (ja) ナビゲーションシステム、ナビゲーション装置、ナビゲーション方法、及びナビゲーションプログラム
WO2006043319A1 (ja) 端末及びサーバ
JP2010276364A (ja) ナビ情報作成装置、ナビゲーションシステム、ナビゲーション情報作成方法、およびナビゲーション方法
JP7065455B2 (ja) スポット情報表示システム
CN110580275A (zh) 地图显示方法及装置
JP6523362B2 (ja) サーバ装置、端末装置及びプログラム
Huang et al. Ubiquitous indoor vision navigation using a smart device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170601

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190604

Year of fee payment: 6