KR101762349B1 - 실외환경에서의 증강현실 제공방법, 이를 수행하는 증강현실 제공서버, 및 이를 저장하는 기록매체 - Google Patents

실외환경에서의 증강현실 제공방법, 이를 수행하는 증강현실 제공서버, 및 이를 저장하는 기록매체 Download PDF

Info

Publication number
KR101762349B1
KR101762349B1 KR1020160033120A KR20160033120A KR101762349B1 KR 101762349 B1 KR101762349 B1 KR 101762349B1 KR 1020160033120 A KR1020160033120 A KR 1020160033120A KR 20160033120 A KR20160033120 A KR 20160033120A KR 101762349 B1 KR101762349 B1 KR 101762349B1
Authority
KR
South Korea
Prior art keywords
point
interest
content
augmented reality
image
Prior art date
Application number
KR1020160033120A
Other languages
English (en)
Inventor
정현기
임상민
권혁준
Original Assignee
(주)포스트미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)포스트미디어 filed Critical (주)포스트미디어
Priority to KR1020160033120A priority Critical patent/KR101762349B1/ko
Priority to CN201610179511.3A priority patent/CN107221030B/zh
Application granted granted Critical
Publication of KR101762349B1 publication Critical patent/KR101762349B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H04L29/06034—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality

Abstract

본 발명은 사용자 단말과 연동 가능한 증강현실 제공서버에서 수행되는 증강현실 제공방법에 있어서, (a) 상기 사용자 단말로부터 영상을 수신하는 단계; (b) 상기 영상에서 관찰 시점으로부터 소정 거리 이내에 있는 관심 지점을 결정하는 단계; (c) 상기 관심 지점에 대한 위치 정보를 기초로 상기 관심 지점의 3차원 위치를 설정하고, 상기 관심 지점에 대한 콘텐츠 정보를 기초로 상기 관심 지점의 특정 위치에 콘텐츠가 표시되도록 설정하는 단계; 및 (d) 상기 3차원 위치가 설정되고 콘텐츠가 표시된 관심 지점을 상기 영상에 중첩하여 증강현실 영상을 생성하는 단계를 포함한다.

Description

실외환경에서의 증강현실 제공방법, 이를 수행하는 증강현실 제공서버, 및 이를 저장하는 기록매체{METHOD FOR PROVIDING AUGMENTED REALITY IN OUTDOOR ENVIRONMENT, AUGMENTED REALITY PROVIDING SERVER PERFORMING THE SAME, AND STORAGE MEDIUM STORING THE SAME}
본 발명은 증강현실 제공 기술에 관한 것으로서, 영상 내의 관심 지점을 3차원으로 나타내고, 관심 지점에 대한 콘텐츠의 방향 정보 등을 고려하여, 다양한 각도에서 정확한 정보를 제공하는 실외환경에서의 증강현실 제공방법, 이를 수행하는 증강현실 제공서버, 및 이를 저장하는 기록매체에 관한 것이다.
일반적으로, 증강현실은 실외에서 발생하는 여러 가지 요소들로 인해 대부분 이미지 기반의 실내용 증강현실을 제공하며, 실외의 증강현실은 GPS 등을 이용하여 여러 관심 지점(Point Of Interest, POI)들의 위치를 대략적으로 나타내는 형태의 서비스만을 제공한다. 종래의 대표적인 증강현실을 제공하는 기술은 이미지기반 증강현실 및 센서기반 증강현실 기술이 있다.
이미지기반 증강현실은 이미지위에 정보를 표현하는 방법으로서 사전처리 후 정확한 정보를 정확한 위치에 제공 할 수 있는 장점이 있다. 그러나 이미지 기반 증강현실은 손떨림에 의해 심하게 흔들리는 현상이 있고, 실외환경에서는 날씨, 기후 등에 따라 원활하게 제공되지 못하는 단점이 있다.
센서기반 증강현실은 POI(Point Of Interest)들의 GPS정보 등을 기반하여 여러 POI들의 위치를 대략적으로 나타내어 증강하는 기술이다. 각 POI들의 정확한 위치를 파악하기 보다 대략적인 위치나 거리 등을 알려주는 형태로 제공한다. 센서기반 증강현실은 GPS정보만 있으면 표현할 수 있다는 장점이 있지만, GPS 특성상 여러 POI들의 위치를 정확하게 알려줄 수 없으며, 여러 콘텐츠들을 표현하기에는 어려움이 있다.
따라서, 종래의 증강현실을 제공하는 기술은 실외에서 발생하는 여러 가지 요소들로 인해 대부분 이미지 기반의 실내용 증강현실을 제공하며, 실외의 증강현실은 GPS 등을 이용하여 여러 POI들의 위치를 대략적으로 나타내는 형태의 서비스만을 제공하므로, 실외환경에서의 증강현실을 정확하게 제공하지 못하는 문제가 있다.
한국공개특허 제10-2012-0080826호
본 발명의 목적은 실외환경에서의 증강현실을 제공하기 위하여 3차원 맵 기반에서 공간좌표 및 콘텐츠의 방향 정보 등을 설정하여, 실외환경에서도 다양한 각도에서 정확하게 정보를 전달하는 증강현실 제공 방법을 제공하는데 있다.
본 발명의 목적은 사용자 단말로부터 수신한 영상에서 관심 지점을 특정하고, 관심 지점에 대한 위치 정보, 및 콘텐츠 정보를 기초로 3차원으로 표현된 관심 지점의 특정 위치에 콘텐츠를 표시하여 관심 지점에 대한 다양한 정보를 정확하게 제공하는 증강현실 제공 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 제1 측면은, 사용자 단말과 연동 가능한 증강현실 제공서버에서 수행되는 증강현실 제공방법에 있어서, (a) 상기 사용자 단말로부터 영상을 수신하는 단계; (b) 상기 영상에서 관찰 시점으로부터 소정 거리 이내에 있는 관심 지점을 결정하는 단계; (c) 상기 관심 지점에 대한 위치 정보를 기초로 상기 관심 지점의 3차원 위치를 설정하고, 상기 관심 지점에 대한 콘텐츠 정보를 기초로 상기 관심 지점의 특정 위치에 콘텐츠가 표시되도록 설정하는 단계; 및 (d) 상기 3차원 위치가 설정되고 콘텐츠가 표시된 관심 지점을 상기 영상에 중첩하여 증강현실 영상을 생성하는 단계를 포함한다.
바람직하게, 상기 (c) 단계는 상기 관심 지점에 대한 위치 정보 중 높이에 대한 정보를 이용하여 상기 관심 지점을 3차원 맵에서 표현하는 단계를 포함할 수 있다.
바람직하게, 상기 (c) 단계는 상기 관심 지점에 대한 콘텐츠 정보 중 콘텐츠의 위치 정보에 따라 상기 콘텐츠가 상기 관심 지점의 내부에 위치하는지 여부를 판단하는 단계를 포함할 수 있다.
바람직하게, 상기 (c) 단계는 상기 콘텐츠가 상기 관심 지점의 내부에 위치하는 경우에는, 상기 콘텐츠의 방향 정보에 따라 상기 콘텐츠의 관찰 가능 방향을 결정하는 단계; 및 상기 콘텐츠의 관찰 가능 방향이 상기 관찰 시점과 일치하면 상기 콘텐츠를 표시 가능 콘텐츠로 결정하고, 상기 콘텐츠의 관찰 가능 방향이 상기 관찰 시점과 일치하지 않으면 상기 콘텐츠를 표시 불가능 콘텐츠로 결정하는 단계를 포함할 수 있다.
바람직하게, 상기 (c) 단계는 상기 표시 가능 콘텐츠에 대한 위치, 명칭 또는 상세설명을 설정하는 단계를 포함하되, 상기 표시 가능 콘텐츠의 대한 위치는 높이 설정이 가능하며, 상기 상세설명은 텍스트, 이미지, 비디오, 또는 사운드 형태의 정보를 포함할 수 있다.
바람직하게, 상기 증강현실 영상을 상기 사용자 단말에 제공하는 단계를 더 포함할 수 있다.
바람직하게, 상기 콘텐츠 정보는 텍스트, 오디오, 이미지, 동영상, 또는 3차원 오브젝트 형태일 수 있다.
상기 목적을 달성하기 위한 본 발명의 제2 측면은, 사용자 단말과 연동 가능한 증강현실 제공서버에 있어서, 상기 사용자 단말로부터 영상을 수신하는 영상 수신부; 상기 영상에서 관찰 시점으로부터 소정 거리 이내에 있는 관심 지점을 결정하는 관심 지점 결정부; 상기 관심 지점에 대한 위치 정보를 기초로 상기 관심 지점의 3차원 위치를 설정하고, 상기 관심 지점에 대한 콘텐츠 정보를 기초로 상기 관심 지점의 특정 위치에 콘텐츠가 표시되도록 설정하는 관심 지점 설정부; 및 상기 3차원 위치가 설정되고 콘텐츠가 표시된 관심 지점을 상기 영상에 중첩하여 증강현실 영상을 생성하는 증강현실 영상 생성부를 포함한다.
바람직하게, 상기 관심 지점 설정부는 상기 관심 지점에 대한 위치 정보 중 높이에 대한 정보를 이용하여 상기 관심 지점을 3차원 맵에서 표현할 수 있다.
바람직하게, 상기 관심 지점 설정부는 상기 관심 지점에 대한 콘텐츠 정보 중 콘텐츠의 위치 정보에 따라 상기 콘텐츠가 상기 관심 지점의 내부에 위치하는지 여부를 판단할 수 있다.
바람직하게, 상기 관심 지점 설정부는 상기 콘텐츠가 상기 관심 지점의 내부에 위치하는 경우에는, 상기 콘텐츠의 방향 정보에 따라 상기 콘텐츠의 관찰 가능 방향을 결정하고, 상기 콘텐츠의 관찰 가능 방향이 상기 관찰 시점과 일치하면 상기 콘텐츠를 표시 가능 콘텐츠로 결정하고, 상기 콘텐츠의 관찰 가능 방향이 상기 관찰 시점과 일치하지 않으면 상기 콘텐츠를 표시 불가능 콘텐츠로 결정할 수 있다.
바람직하게, 상기 관심 지점 설정부는 상기 표시 가능 콘텐츠에 대한 위치, 명칭 또는 상세설명을 설정하되, 상기 표시 가능 콘텐츠의 대한 위치는 높이 설정이 가능하며, 상기 상세설명은 텍스트, 이미지, 비디오, 또는 사운드 형태의 정보를 포함할 수 있다.
바람직하게, 상기 증강현실 영상을 상기 사용자 단말에 제공하는 증강현실 영상 제공부를 더 포함할 수 있다.
상기한 바와 같이 본 발명에 의하면, 3차원 맵 기반에서 공간좌표 및 콘텐츠의 방향 정보 등을 설정하므로, 실외환경에서도 다양한 각도에서 정확하게 정보를 전달하는 증강현실 제공하는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 증강현실 제공 시스템에 대한 도면이다.
도 2는 도 1의 증강현실 제공서버에 대한 블록도이다.
도 3은 도 1의 증강현실 제공 시스템에서 수행되는 증강현실 제공방법을 나타내는 흐름도이다.
도 4는 본 발명의 일 실시예에 따라 관심 지점에 정보를 설정하는 과정의 예시이다.
도 5는 본 발명의 일 실시예에 따라 제공되는 증강현실의 예시이다.
이하, 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
또한, 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 “포함한다(comprises)" 및/또는 “포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
또한, 본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 증강현실 제공 시스템에 대한 도면이다.
도 1을 참조하면, 증강현실 제공 시스템(100)은 사용자 단말(110), 증강현실 제공서버(120), 및 데이터베이스(130)를 포함하고, 사용자 단말(110) 및 증강현실 제공서버(120)는 네트워크를 통하여 연결된다.
사용자 단말(110)은 영상을 촬영하고 촬영된 영상에 대하여 증강현실을 제공받는 장치이다. 바람직하게, 사용자 단말(110)은 증강현실 제공서버(120)에 영상을 제공하고 증강현실 제공서버(120)로부터 증강현실 영상을 제공받기 위한 어플리케이션을 실행할 수 있다.
예를 들어, 사용자 단말(110)은 데스크탑 PC, 노트북 PC 등 컴퓨터로서, 네트워크를 통하여 증강현실 제공서버(120)와 연결되어 증강현실을 제공받을 수 있는 모든 종류의 유무선 통신 장치일 수 있으며, 일반 핸드폰(일명 피처폰(feature phone)) 또는 사용자가 원하는 다양한 어플리케이션(Application) 프로그램을 다운로드 받아 자유롭게 사용하고 삭제가 가능한 오픈 운영체제를 기반으로 한 스마트폰(smart phone)일 수 있다. 또한, 사용자 단말(110)은 일반적으로 사용되는 음성/영상통화, 인터넷 데이터통신 등의 기능뿐만 아니라, 모바일 오피스 기능을 갖춘 모든 모바일 폰, 또는 음성통화 기능이 없으나 인터넷 접속 가능한 모든 인터넷폰 또는 테블릿 PC(Tablet PC)를 포함하는 통신기기로 이해함이 바람직하다.
증강현실 제공서버(120)는 사용자 단말(110)과 연결되어 증강현실 제공방법을 수행하는 장치이다. 바람직하게, 증강현실 제공서버(120)는 사용자 단말(110)로부터 영상을 수신하고, 해당 영상에서 관심 지점을 결정하며, 관심 지점에 대한 정보를 기초로 증강현실 영상을 생성할 수 있다. 또한, 증강현실 제공서버(120)는 데이터베이스(130)와 연결되어 데이터베이스(130)로부터 관심 지점의 위치 정보 및 콘텐츠 정보를 제공받아 증강현실을 생성할 수 있다.
데이터베이스(130)는 관심 지점에 대한 위치 정보 및 콘텐츠 정보를 저장 및 관리하는 장치로서, 증강현실 제공서버(120)로부터 특정 관심 지점에 대한 정보의 요청을 받으면, 특정 관심 지점에 대한 정보를 증강현실 제공서버(120)에 제공한다. 여기에서, 위치 정보는 관심 지점을 3차원 맵에 표현하기 위한 GPS 정보에 해당할 수 있고, 콘텐츠 정보는 관심 지점과 연관된 정보들로서, 예를 들어, 관심 지점이 경회루인 경우, 콘텐츠는 현판, 처마, 연못, 살구나무, 인왕상, 또는 하향정일 수 있고, 콘텐츠 정보는 콘텐츠에 대한 위치, 명칭, 또는 상세설명일 수 있으며, 콘텐츠 정보 텍스트, 오디오, 동영상, 또는 3차원 오브젝트 형태의 정보에 해당할 수 있다.
도 2는 도 1의 증강현실 제공서버에 대한 블록도이다.
도 2를 참조하면, 증강현실 제공서버(120)는 영상 수신부(210), 관심 지점 결정부(220), 관심 지점 설정부(230), 증강현실 영상 생성부(240), 및 제어부(250)를 포함한다.
영상 수신부(210)는 사용자 단말(110)로부터 영상을 수신한다. 바람직하게, 사용자 단말(110)은 사용자 단말(110)에 구비된 카메라로부터 촬영된 영상을 증강현실 제공방법을 수행하기 위한 어플리케이션을 통하여 증강현실 제공서버(120)에 전송할 수 있다.
관심 지점 결정부(220)는 영상 수신부(210)를 통하여 수신한 영상에서 관찰 시점으로부터 소정 거리 이내에 있는 관심 지점을 결정한다. 여기에서, 관찰 시점은 사용자 단말(110)이 영상을 촬영한 방향에 해당할 수 있다. 바람직하게, 관심 지점 결정부(220)는 영상에 복수개의 관심 지점들이 있는 경우에는 관찰 시점으로부터 가장 가깝게 위치하는 관심 지점을 결정하거나 또는 사용자로부터 특정 관심 지점을 선택 받아 결정할 수도 있다. 여기에서, 관심 지점 결정부(220)를 통하여 결정된 관심 지점은 증강현실을 제공하기 위한 대상이 된다.
일 실시예에서, 관심 지점 결정부(220)는 하나의 관심 지점을 결정하거나 또는 복수개의 관심 지점들을 결정할 수 있다. 복수개의 관심 지점들이 결정된 경우에는, 아래에서 설명될 관심 지점 결정부(220) 및 관심 지점 설정부(230)를 통하여 수행되는 동작들이 복수개의 관심 지점들 각각에 대하여 수행될 수 있다. 또한, 복수개의 관심 지점들에 대하여 생성된 증강현실은 사용자에게 하나의 영상 내에서 동시에 제공될 수 있다.
관심 지점 설정부(230)는 관심 지점 결정부(220)를 통하여 결정된 관심 지점에 대한 위치 정보를 기초로 관심 지점의 3차원 위치를 설정한다. 바람직하게, 관심 지점 설정부(230)는 관심 지점에 대한 위치 정보를 기초로 관심 지점을 3차원 맵에서 표현할 수 있다. 즉, 관심 지점 설정부(230)는 관심 지점에 대한 GPS 정보를 이용하여 관심 지점을 높이 정보를 가지는 3차원으로 나타낼 수 있다. 따라서, 기존의 GPS 정보를 이용한 평면적인 관심 지점을 나타내는 것이 아니라, 본 발명에 따르면, 관심 지점의 각각의 위치에 대한 GPS 정보와 높이 정보를 이용하여, 3차원으로 표현되는 관심 지점을 나타낼 수 있다.
관심 지점 설정부(230)는 관심 지점에 대한 콘텐츠 정보를 기초로 관심 지점의 특정 위치에 콘텐츠가 표시되도록 설정한다. 바람직하게, 관심 지점 설정부(230)는 콘텐츠 정보에 따라 해당 콘텐츠를 관심 지점에 나타낼지 여부, 또는 해당 콘텐츠를 어느 위치에서 어떠한 방식으로 나타낼지 여부를 설정할 수 있다.
보다 구체적으로, 관심 지점 설정부(230)는 관심 지점에 대한 콘텐츠 정보 중 콘텐츠의 위치 정보에 따라, 콘텐츠가 관심 지점의 내부에 위치하는지 여부를 판단할 수 있다. 예를 들어, 관심 지점이 경회루 이고 콘텐츠가 현판인 경우에, 현판의 위치 정보는 경회루 내부에 해당하므로, 관심 지점 설정부(230)는 콘텐츠가 관심 지점의 내부에 위치하는 것으로 판단할 수 있다.
바람직하게, 관심 지점 설정부(230)는 콘텐츠가 관심 지점의 내부에 위치하는 경우에는, 콘텐츠의 방향 정보에 따라 콘텐츠의 관찰 가능 방향을 결정할 수 있다. 예를 들어, 콘텐츠가 경회루에 있는 현판인 경우에는 사면에서 관찰 가능한 것이 아니라 정면을 포함한 일정 범위 내에서만 관찰이 가능하므로, 현판에 대한 방향정보는 정면으로부터 좌우 45°범위에 해당할 수 있다. 즉, 이 경우에 관심 지점 설정부(230)는 현판의 관찰 가능 방향을 정면으로부터 좌우 45°범위로 결정할 수 있다.
바람직하게, 관심 지점 설정부(230)는 콘텐츠의 관찰 가능 방향이 관찰 시점과 일치하면 콘텐츠를 표시 가능 콘텐츠로 결정하고, 콘텐츠의 관찰 가능 방향이 관찰 시점과 일치하지 않으면 콘텐츠를 표시 불가능 콘텐츠로 결정할 수 있다. 예를 들어, 콘텐츠의 관찰 가능 방향은 정면으로부터 좌우 45°범위이고, 영상에 대한 관찰 시점이 정면으로부터 우측으로 15°인 지점이면, 콘텐츠의 관찰 가능 방향은 관찰 시점에 포함된다. 즉, 관찰 시점에서 해당 콘텐츠는 관찰될 수 있는 것이다. 따라서, 관심 지점 설정부(230)는 해당 콘텐츠를 표시 가능 콘텐츠로 결정할 수 있다.
다른 예를 들어, 콘텐츠의 관찰 가능 방향이 정면으로부터 우측으로 90°인 지점이고, 영상에 대한 관찰 시점은 정면으로부터 우측으로 15°인 지점이면, 콘텐츠의 관찰 가능 방향이 관찰 시점과 일치하지 않는다. 즉, 관찰 시점에서 해당 콘텐츠는 관찰될 수 없다. 따라서, 관심 지점 설정부(230)는 해당 콘텐츠를 표시 불가 콘텐츠로 결정할 수 있다.
바람직하게, 관심 지점 설정부(230)는 표시 가능 콘텐츠에 대한 위치, 명칭, 또는 상세설명을 설정할 수 있다. 여기에서, 표시 가능 콘텐츠에 대한 위치는 높이가 설정될 수 있고, 상세설명은 텍스트, 이미지, 비디오 또는 사운드 형태의 정보를 포함할 수 있다. 일 실시예에서, 관심 지점 설정부(230)는 3차원 오브젝트를 통하여 표시 가능 콘텐츠를 관심 지점의 특정 위치에 정확하게 위치시킬 수 있다. 또한, 3차원 오브젝트를 통하여 콘텐츠의 위치가 지정되는 경우에, 사용자는 사용자 인터페이스, 예를 들어, 마우스를 이용하여 3차원 오브젝트를 특정 위치로 이동시키거나 3차원 오브젝트의 표현 방법을 설정할 수 있다.
본 발명에 따르면, 관심 지점은 높이 정보를 포함하는 3차원 맵에서 표현되고, 표시 가능 콘텐츠의 위치 또한 높이 설정이 가능하므로, 관심 지점의 특정 높이를 가지는 특정 위치에 표시 가능 콘텐츠가 정확하게 위치될 수 있다.
바람직하게, 증강현실 영상 생성부(240)는, 관심 지점 설정부(230)를 통하여 3차원 위치가 설정되고 콘텐츠가 표시된 관심 지점을 영상에 중첩하여 증강현실 영상을 생성할 수 있다. 즉, 증강현실 영상 생성부(240)는 3차원으로 표시되고 특정 위치에 콘텐츠가 표시된 관심 지점을 사용자 단말(110)로부터 수신된 영상에 중첩한다.
바람직하게, 증강현실 제공서버(120)는, 도면에 도시하지 않았으나, 증강현실 영상 제공부를 더 포함할 수 있고, 증강현실 영상 제공부는 사용자 단말(110)에 증강현실 영상 생성부(240)를 통하여 생성된 증강현실 영상을 제공한다. 또는, 증강현실 영상 제공부는 증강현실 영상을 데이터베이스(130)에 전송하고, 사용자 단말(110)은 데이터베이스(130)로부터 증강현실 영상을 제공받을 수 있다.
도 3은 도 1의 증강현실 제공 시스템에서 수행되는 증강현실 제공방법을 나타내는 흐름도이다.
영상 수신부(210)는 사용자 단말(110)로부터 영상을 수신하고(단계 S310), 관심 지점 결정부(220)는 영상에서 관찰 시점으로부터 소정 거리 이내에 있는 관심 지점을 결정한다(단계 S320). 바람직하게, 관심 지점 결정부(220)는 영상에서 하나 또는 복수개의 관심 지점을 결정할 수 있다. 여기에서, 관심 지점을 결정하는 방법은 사용자에 의하여 다양하게 설정될 수 있다. 예를 들어, 관찰 시점으로부터의 거리, 사용자에 의한 선택, 관심 지점들 각각의 평가 정보, 또는 관심 지점들 각각의 콘텐츠 정보에 따라 관심 지점이 결정될 수 있다.
관심 지점 설정부(230)는 관심 지점에 대한 위치 정보를 기초로 관심 지점의 3차원 위치를 설정하고, 관심 지점에 대한 콘텐츠 정보를 기초로 관심 지점의 특정 위치에 콘텐츠가 표시되도록 설정한다(단계 S330). 예를 들어, 도 4를 참조하면, 관심 지점은 높이 정보 및 GPS 위치 정보를 기초로 3차원 맵에 나타내어져 3차원으로 표시될 수 있다. 따라서, 관심 지점에 대한 정보를 표시할 경우에, 빨간색 원 내부에 표현된 흰색 오브젝트와 같이 특정 높이를 가지는 특정 위치를 정확하게 가리킬 수 있다.
또한, 관심 지점에 대한 콘텐츠 중에서 콘텐츠의 방향 정보에 따라 표시 가능 콘텐츠로 결정된 콘텐츠는 관심 지점의 특정 위치에 표시될 수 있다. 예를 들어, 도 4의 빨간색 원으로 표시된 부분을 참조하면, 콘텐츠의 위치는 3차원 오브젝트를 이용하여 정확하게 특정될 수 있다. 즉, 표시 가능 콘텐츠의 위치 또한 높이가 설정되므로, 관심 지점의 특정 높이의 특정 위치에 3차원 오브젝트가 정확하게 위치될 수 있고, 도 4의 빨간색 원 내부에 있는 2개의 3차원 오브젝트들 각각은 처마와 지붕의 특정 부분을 정확하게 가리키고 있다.
또한, 예를 들어, 도 4의 파란색 사각형으로 표시된 부분을 참조하면, 3차원 오브젝트 및 폴리라인(Polyline)을 이용하여 위치가 정확하게 특정될 수도 있다. 즉, 땅을 가리키고자 하는 경우에 3차원 오브젝트를 땅의 특정 위치에 위치시킬 수도 있지만, 3차원 오브젝트와 폴리라인을 이용하여 특정 높이에서 땅을 가리키도록 할 수도 있다. 또한, 콘텐츠의 위치를 나타내는 방식은 다양하게 변형 가능하며, 이에 한정되지 않는다. 이를 통하여, 창덕궁, 광화문 등과 같은 유적들의 정보들, 및 현판, 또는 어처귀와 같은 해당 유적에 포함된 정보를 나타낼 수 있다.
이에 더하여, 도 4의 왼쪽 상단의 녹색 사각형으로 표시된 부분을 참조하면, 콘텐츠의 위치를 설정한 다음에는 해당 콘텐츠에 대한 정보를 사용자로부터 입력 받거나 또는 데이터베이스(130)로부터 제공받을 수 있다. 콘텐츠에 대한 정보를 제공하는 방식은 다양하게 설정가능하며, 링크 방식으로 설정될 수도 있다.
증강현실 영상 생성부(240)는 3차원 위치가 설정되고 콘텐츠가 표시된 관심 지점을 영상에 중첩하여 증강현실 영상을 생성한다(단계 S340). 예를 들어, 도 5를 참조하면, 관심 지점 “경회루”에 대한 증강현실로서, “경회루”에 대한 현판, 처마, 어처구니에 해당하는 콘텐츠가 “경회루”의 특정 위치에 정확하게 표시되어 나타난다. 또한, 콘텐츠에 대한 상세 정보는 콘텐츠와 함께 증강현실에 나타나도록 할 수도 있고, 사용자 단말(110)에 제공된 증강현실 영상에 대한 사용자의 입력 데이터, 예를 들어, 사용자의 특정 콘텐츠의 클릭에 따라 제공되도록 할 수도 있다.
한편, 본 발명의 일 실시예에 따른 증강현실 제공방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성메모리(Flash Memory), 광 데이터 저장장치 등이 있다.
삭제
전술한 본 발명에 따른 증강현실 제공방법, 이를 수행하는 증강현실 제공서버, 및 이를 저장하는 기록매체에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.
100: 증강현실 제공 시스템
110: 사용자 단말
120: 증강현실 제공서버
130: 데이터베이스
210: 영상 수신부 220: 관심 지점 결정부
230: 관심 지점 설정부 240: 증강현실 영상 생성부
250: 제어부

Claims (14)

  1. 사용자 단말과 연동 가능한 증강현실 제공서버에서 수행되는 증강현실 제공방법에 있어서,
    (a) 상기 사용자 단말로부터 영상을 수신하는 단계;
    (b) 상기 영상에서 관찰 시점으로부터 소정 거리 이내에 있는 관심 지점을 결정하는 단계를 포함하되, 상기 관심 지점이 복수개 있는 경우에는 상기 관찰 시점으로부터 가장 가까운 위치에 존재하는 관심 지점이 결정되고;
    (c) 상기 관심 지점에 대한 위치 정보를 기초로 상기 관심 지점의 3차원 위치를 설정하고, 상기 관심 지점에 대한 콘텐츠 정보를 기초로 상기 관심 지점의 특정 위치에 콘텐츠가 표시되도록 설정하는 단계; 및
    (d) 상기 3차원 위치가 설정되고 콘텐츠가 표시된 관심 지점을 상기 영상에 중첩하여 증강현실 영상을 생성하는 단계를 포함하되,
    상기 (c) 단계는,
    상기 관심 지점에 대한 콘텐츠 정보 중 콘텐츠의 위치 정보에 따라 상기 콘텐츠가 상기 관심 지점의 내부에 위치하는지 여부를 판단하는 단계;
    상기 콘텐츠가 상기 관심 지점의 내부에 위치하는 경우에는, 상기 콘텐츠의 방향 정보에 따라 상기 콘텐츠의 관찰 가능 방향을 결정하는 단계; 및
    상기 콘텐츠의 관찰 가능 방향이 상기 관찰 시점과 일치하면 상기 콘텐츠를 표시 가능 콘텐츠로 결정하고, 상기 콘텐츠의 관찰 가능 방향이 상기 관찰 시점과 일치하지 않으면 상기 콘텐츠를 표시 불가능 콘텐츠로 결정하는 단계를 포함하는 증강현실 제공방법.
  2. 제1항에 있어서, 상기 (c) 단계는
    상기 관심 지점에 대한 위치 정보 중 높이에 대한 정보를 이용하여 상기 관심 지점을 3차원 맵에서 표현하는 단계를 포함하는 것을 특징으로 하는 증강현실 제공방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서, 상기 (c) 단계는
    상기 표시 가능 콘텐츠에 대한 위치, 명칭 또는 상세설명을 설정하는 단계를 포함하되,
    상기 표시 가능 콘텐츠의 대한 위치는 높이 설정이 가능하며, 상기 상세설명은 텍스트, 이미지, 비디오, 또는 사운드 형태의 정보를 포함하는 것을 특징으로 하는 증강현실 제공방법.
  6. 제1항에 있어서,
    상기 증강현실 영상을 상기 사용자 단말에 제공하는 단계를 더 포함하는 것을 특징으로 하는 증강현실 제공방법.
  7. 제1항에 있어서, 상기 콘텐츠 정보는
    텍스트, 오디오, 이미지, 동영상, 또는 3차원 오브젝트 형태인 것을 특징으로 하는 증강현실 제공방법.
  8. 사용자 단말과 연동 가능한 증강현실 제공서버에 있어서,
    상기 사용자 단말로부터 영상을 수신하는 영상 수신부;
    상기 영상에서 관찰 시점으로부터 소정 거리 이내에 있는 관심 지점을 결정하는 관심 지점 결정부를 포함하되, 상기 관심 지점이 복수개 있는 경우에는 상기 관찰 시점으로부터 가장 가까운 위치에 존재하는 관심 지점이 결정되고;
    상기 관심 지점에 대한 위치 정보를 기초로 상기 관심 지점의 3차원 위치를 설정하고, 상기 관심 지점에 대한 콘텐츠 정보를 기초로 상기 관심 지점의 특정 위치에 콘텐츠가 표시되도록 설정하는 관심 지점 설정부; 및
    상기 3차원 위치가 설정되고 콘텐츠가 표시된 관심 지점을 상기 영상에 중첩하여 증강현실 영상을 생성하는 증강현실 영상 생성부를 포함하되,
    상기 관심 지점 설정부는, 상기 관심 지점에 대한 콘텐츠 정보 중 콘텐츠의 위치 정보에 따라 상기 콘텐츠가 상기 관심 지점의 내부에 위치하는지 여부를 판단하고, 상기 콘텐츠가 상기 관심 지점의 내부에 위치하는 경우에는, 상기 콘텐츠의 방향 정보에 따라 상기 콘텐츠의 관찰 가능 방향을 결정하고, 상기 콘텐츠의 관찰 가능 방향이 상기 관찰 시점과 일치하면 상기 콘텐츠를 표시 가능 콘텐츠로 결정하고, 상기 콘텐츠의 관찰 가능 방향이 상기 관찰 시점과 일치하지 않으면 상기 콘텐츠를 표시 불가능 콘텐츠로 결정하는 것을 특징으로 하는 증강현실 제공서버.
  9. 제8항에 있어서, 상기 관심 지점 설정부는
    상기 관심 지점에 대한 위치 정보 중 높이에 대한 정보를 이용하여 상기 관심 지점을 3차원 맵에서 표현하는 것을 특징으로 하는 증강현실 제공서버.
  10. 삭제
  11. 삭제
  12. 제8항에 있어서, 상기 관심 지점 설정부는
    상기 표시 가능 콘텐츠에 대한 위치, 명칭 또는 상세설명을 설정하되, 상기 표시 가능 콘텐츠의 대한 위치는 높이 설정이 가능하며, 상기 상세설명은 텍스트, 이미지, 비디오, 또는 사운드 형태의 정보를 포함하는 것을 특징으로 하는 증강현실 제공서버.
  13. 제8항에 있어서,
    상기 증강현실 영상을 상기 사용자 단말에 제공하는 증강현실 영상 제공부를 더 포함하는 것을 특징으로 하는 증강현실 제공서버.
  14. 제1항, 제2항, 및 제5항 내지 제7항 중 어느 한 항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020160033120A 2016-03-21 2016-03-21 실외환경에서의 증강현실 제공방법, 이를 수행하는 증강현실 제공서버, 및 이를 저장하는 기록매체 KR101762349B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160033120A KR101762349B1 (ko) 2016-03-21 2016-03-21 실외환경에서의 증강현실 제공방법, 이를 수행하는 증강현실 제공서버, 및 이를 저장하는 기록매체
CN201610179511.3A CN107221030B (zh) 2016-03-21 2016-03-25 增强现实提供方法、增强现实提供服务器、以及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160033120A KR101762349B1 (ko) 2016-03-21 2016-03-21 실외환경에서의 증강현실 제공방법, 이를 수행하는 증강현실 제공서버, 및 이를 저장하는 기록매체

Publications (1)

Publication Number Publication Date
KR101762349B1 true KR101762349B1 (ko) 2017-07-28

Family

ID=59422108

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160033120A KR101762349B1 (ko) 2016-03-21 2016-03-21 실외환경에서의 증강현실 제공방법, 이를 수행하는 증강현실 제공서버, 및 이를 저장하는 기록매체

Country Status (2)

Country Link
KR (1) KR101762349B1 (ko)
CN (1) CN107221030B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102150074B1 (ko) * 2019-04-01 2020-08-31 주식회사 리모샷 Gps 기반 내비게이션 시스템
WO2024034755A1 (ko) * 2022-08-12 2024-02-15 네이버랩스 주식회사 기 설정된 커스텀 영역에 사용자 단말이 위치함에 기반하여 사용자 단말을 제어하는 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109669541B (zh) * 2018-09-04 2022-02-25 亮风台（上海）信息科技有限公司 一种用于配置增强现实内容的方法与设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002269593A (ja) * 2001-03-13 2002-09-20 Canon Inc 画像処理装置及び方法、並びに記憶媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101135186B1 (ko) * 2010-03-03 2012-04-16 광주과학기술원 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
CN103578141A (zh) * 2012-08-06 2014-02-12 北京图盟科技有限公司 基于三维地图系统的增强现实实现方法及装置
CN104504753B (zh) * 2014-12-18 2018-07-27 深圳先进技术研究院 一种基于增强现实的互联网三维ip地图系统及方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002269593A (ja) * 2001-03-13 2002-09-20 Canon Inc 画像処理装置及び方法、並びに記憶媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102150074B1 (ko) * 2019-04-01 2020-08-31 주식회사 리모샷 Gps 기반 내비게이션 시스템
WO2024034755A1 (ko) * 2022-08-12 2024-02-15 네이버랩스 주식회사 기 설정된 커스텀 영역에 사용자 단말이 위치함에 기반하여 사용자 단말을 제어하는 방법 및 장치

Also Published As

Publication number Publication date
CN107221030A (zh) 2017-09-29
CN107221030B (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
US11003943B2 (en) Systems and methods for processing images with edge detection and snap-to feature
KR102414587B1 (ko) 증강 현실 데이터 제시 방법, 장치, 기기 및 저장 매체
CN104350736B (zh) 附近位置信息的增强现实布置
US20180286098A1 (en) Annotation Transfer for Panoramic Image
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
ES2791823T3 (es) Correlación de contenido basado en dispositivo móvil para entorno de realidad aumentada
US9013505B1 (en) Mobile system representing virtual objects on live camera image
CN112396686A (zh) 三维场景工程模拟与实景融合系统及方法
US20120038670A1 (en) Apparatus and method for providing augmented reality information
US20160063671A1 (en) A method and apparatus for updating a field of view in a user interface
US8732273B2 (en) Data inquiry system and method for three-dimensional location-based image, video, and information
KR20120017293A (ko) 증강 현실 제공 장치 및 방법
TW201108037A (en) Information processing device, information processing method, and program
US20110183684A1 (en) Mobile communication terminal and method
US10997785B2 (en) System and method for collecting geospatial object data with mediated reality
WO2014078991A1 (zh) 一种信息处理方法和信息处理装置
KR101762349B1 (ko) 실외환경에서의 증강현실 제공방법, 이를 수행하는 증강현실 제공서버, 및 이를 저장하는 기록매체
CA3087871A1 (en) Apparatus, systems, and methods for tagging building features in a 3d space
CN107656961A (zh) 一种信息显示方法及装置
JP2017211811A (ja) 表示制御プログラム、表示制御方法および表示制御装置
WO2019085945A1 (zh) 探测装置、探测系统和探测方法
JP2010231741A (ja) 電子タグ作成表示システム、電子タグ作成表示装置およびそれらの方法
JP2017108356A (ja) 画像管理システム、画像管理方法、プログラム
JP5705793B2 (ja) 拡張現実表示装置、拡張現実表示システム、拡張現実表示方法、及び拡張現実表示プログラム
US20220101708A1 (en) Providing A Simulation of Fire Protection Features and Hazards to Aid the Fire Industry

Legal Events

Date Code Title Description
GRNT Written decision to grant