KR101627169B1

KR101627169B1 - 증강현실 컨텐츠 저작 및 제공 시스템

Info

Publication number: KR101627169B1
Application number: KR1020130115640A
Authority: KR
Inventors: 안상철; 고희동; 유병현
Original assignee: 한국과학기술연구원
Priority date: 2013-09-27
Filing date: 2013-09-27
Publication date: 2016-06-07
Anticipated expiration: 2033-09-27
Also published as: EP2854006A1; US9905048B2; US20150091942A1; KR20150035282A

Abstract

본 명세서에서는 고유의 물리적 공간을 표현하는 복수의 공간모델이 저장된 데이터 베이스, 사용자의 현재 위치를 결정하는 위치 결정부, 상기 데이터 베이스로부터 상기 사용자의 현재 위치에 대응되는 공간모델을 검색하여 로딩하는 공간모델 처리부 및 로딩된 공간모델 내 소정의 위치에, HTML문서를 통해 표현되는 가상객체를 배치시키는 가상객체 처리부를 포함하되, 상기 복수의 공간모델은 적어도 하나의 공간모델이 적어도 하나의 하위개념의 다른 공간모델을 갖도록 계층적으로 구조화되어 저장된 증강현실 컨텐츠 저작 및 제공 시스템이 개시된다.

Description

증강현실 컨텐츠 저작 및 제공 시스템{SYSTEM FOR AUTHORTING AND PROVIDING AUGMENTED REALITY COTENTS}

본 발명은 증강현실 컨텐츠 저작 및 제공 시스템에 관한 것으로, 더욱 구체적으로는 계층적으로 구분한 공간 모델을 이용하여 증강현실 컨텐츠 저작자가 공간모델 별로 별도의 레이아웃을 기초로 컨텐츠를 저작할 수 있고, 사용자는 공간모델에 해당되는 컨텐츠만을 선택적으로 제공받을 수 있도록 증강현실 컨텐츠 저작 및 제공 시스템에 관한 것이다.

증강현실(AR; Augmented Reality) 기술은 사용자가 존재하는 현실세계에 컴퓨터 그래픽으로 만들어진 가상객체를 중첩하여 사용자에게 제공하는 기술이다.

종래에 있어서 증강현실 기술을 통해 증강현실 컨텐츠의 저작은 3D 모델링 툴을 이용하여 저작된 컨텐츠를 저작 시스템으로 로딩하고 로딩된 컨텐츠가 증강될 위치, 방향, 크기 및 애니메이션 등을 저작하는 방식으로 이루어진다. 그러나 현실세계는 실시간으로 변화하고 있고 현실세계에는 수 많은 물리객체들(즉, POI(point of interest)로서 디스플레이에 표시되는 가상객체와 구별됨)이 존재하기 때문에, 증강현실 컨텐츠 저작을 위해 현실세계의 물리객체를 DB화 하는 작업 및 업데이트에 소요되는 비용 및 시간이 크게 드는 문제점이 있다.

또한, 기존의 HTML문서는 페이지(Page)라는 평면에서 자신이 담고 있는 컨텐츠의 배치(layout)을 잡아 시각화 하는데, 이를 위해 일반적으로 WGS84 지구타원체를 기준으로 한 위/경도 좌표로 물리공간 내에 컨텐츠를 정의하고 있으나 실내환경에서는 이 위치 모델을 적용하기에는 측위장치의 부재와 표기값의 직관성 결여 등 현실적인 문제가 존재한다. 또한 종래의 증강현실 컨텐츠의 저작자는 컨텐츠를 배치하기 위한 공간 범위와 특정한 공간 범위에서 사용자에게 제공하기 위한 컨텐츠의 범위를 컨텐츠의 종류 또는 사용자와의 거리를 기준으로 정하고 있어서, 특정한 공간 내에서만 필요한 컨텐츠만을 증강시키지 못하는 문제점이 있다.

특허출원공개 10-2010-0081725

위와 같은 문제점을 해결하기 위해서, 사용자에게 제공되어야 할 컨텐츠의 범위를 명확하게 하고 컨텐츠 저작시 가상객체의 제어 및 관리를 용이하게 하기 위해서 물리적인 공간을 의미별로 나누어서 관리할 필요성이 있다.

본 발명의 일 실시예에 따른 증강현실 컨텐츠 제공 시스템은, 고유의 물리적 공간을 표현하는 복수의 공간모델이 저장된 데이터 베이스, 사용자의 현재 위치를 결정하는 위치 결정부, 상기 데이터 베이스로부터 상기 사용자의 현재 위치에 대응되는 공간모델을 검색하여 로딩하는 공간모델 처리부 및 로딩된 공간모델 내 소정의 위치에, HTML문서를 통해 표현되는 가상객체를 배치시키는 가상객체 처리부를 포함하되, 상기 복수의 공간모델은 적어도 하나의 공간모델이 적어도 하나의 하위개념의 다른 공간모델을 갖도록 계층적으로 구조화되어 저장된 것을 특징으로 한다.

또한 상기 증강현실 컨텐츠 제공 시스템에서, 상기 공간모델 처리부는, 상기 사용자의 위치에 대응되는 공간모델이 복수개 존재하는 경우, 복수개의 공간모델 중에서 가장 하위 개념의 공간모델을 검색하여 로딩하는 것을 특징으로 할 수 있다.

또한 상기 증강현실 컨텐츠 제공 시스템에서, 상기 위치 결정부는, 상기 공간모델의 일 지점을 기준으로 결정된 상기 하위개념의 다른 공간모델 또는 가상객체의 상대적인 위치정보 및 상기 공간모델이 대응하는 고유의 물리적 공간의 절대적인 위치정보 중 적어도 하나를 이용하여 상기 사용자의 현재 위치를 결정하는 것을 특징으로 할 수 있다.

또한 상기 증강현실 컨텐츠 제공 시스템에서, 상기 가상객체 처리부는, 사용자에 의해 지정된 특정 이벤트에 대한 공간모델이 로딩되면, 가상객체가 배치된 상기 특정 이벤트에 대한 공간모델을 타 장치에 제공하는 것을 특징으로 할 수 있다.

또한 상기 증강현실 컨텐츠 제공 시스템에서, 상기 타 장치는, 상기 시스템 외부에 존재하는 다른 표시장치 또는 상기 시스템에 포함되는 표시장치인 것을 특징으로 할 수 있다.

또한 상기 증강현실 컨텐츠 제공 시스템에서, 상기 데이터베이스는, 상기 복수의 공간모델 각각에 대응하는, 가상공간상의 3차원 공간으로 표현되는 가상공간미디어를 더 저장하고,

상기 가상객체 처리부는, 스타일 시트를 이용하여 상기 가상공간미디어의 소정의 위치에 상기 가상객체를 배치하고, 소정의 가상공간미디어에 대응하는 공간모델이 로딩되면 로딩된 공간모델을 기초로 상기 소정의 가상공간미디어를 스케일링하는 것을 특징으로 할 수 있다.

또한 상기 증강현실 컨텐츠 제공 시스템에서, 사용자 단말기를 더 포함하고, 상기 위치 결정부는, 상기 사용자 단말기로부터 제공되는 영상 내 공간모델 또는 가상객체의 상대적인 위치정보를 이용하여 사용자의 현재 위치를 결정하는 것을 특징으로 할 수 있다.

본 발명의 다른 일 실시예에 따른 증강현실 컨텐츠 제공 시스템은, 고유의 물리적 공간을 표현하는 하나 이상의 공간모델 및 상기 하나 이상의 공간모델 각각에 대응하는 가상의 가상공간미디어가 저장된 데이터 베이스, 사용자의 현재 위치를 결정하는 위치 결정부, 상기 데이터 베이스로부터 상기 사용자의 현재 위치에 대응되는 공간모델을 검색하여 로딩하는 공간모델 처리부 및 사용자에 의해 선택된 특정 이벤트에 대한 공간모델이 로딩되면, 로딩된 공간모델에 대응하는 상기 가상공간미디어 내 소정의 위치에, HTML문서를 통해 표현되는 가상객체를 배치시키는 가상객체 처리부를 포함하는 것을 특징으로 한다.

또한 상기 증강현실 컨텐츠 제공 시스템에서, 상기 하나 이상의 공간모델은 적어도 하나의 공간모델이 적어도 하나의 하위개념의 다른 공간모델을 갖도록 계층적으로 구조화되어 저장된 것을 특징으로 할 수 있다.

또한 상기 증강현실 컨텐츠 제공 시스템에서, 상기 가상객체 처리부는, 스타일 시트를 이용하여 상기 가상공간미디어의 소정의 위치에 상기 가상객체를 배치하고, 소정의 가상공간미디어에 대응하는 공간모델이 로딩되면 로딩된 공간모델을 기초로 상기 소정의 가상공간미디어를 스케일링하는 것을 특징으로 할 수 있다.

사용자가 위치하는 하나의 공간에 대하여만 가상객체를 증강하여, 불필요한 가상객체의 로딩 및 제어를 하지 않아 컴퓨팅 효율을 높이고 사용자 선택의 효율을 높일 수 있다.

도1은 본 발명의 일 실시예에서 계층적 공간 구조를 설명하기 위한 개념도이다.
도2는 본 발명의 일 실시예에서 물리객체와 공간의 개념을 구분하기 위한 개념도이다.
도3은 본 발명의 일 실시예에 따른 증강현실 컨텐츠 제공 시스템의 구성도이다.
도4는 본 발명의 일 실시예에 따른 개별 공간모델을 설명하기 위한 도이다.
도5(a) 및 (b)는 2차원 페이지와 3차원 공간의 레이아웃을 설명하기 위한 도이다.
도6은 본 발명의 다른 일 실시예에 따른 공간모델 내 가상객체와 HTML문서와의 관계를 설명하기 위한 도이다.
도7은 본 발명의 일 실시예에 따른 증강현실 컨텐츠 시스템을 설명하기 위한 개념도이다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다

본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 본 명세서에서 부, 모듈, 장치 또는 시스템 등은 실행중인 프로세스, 프로세서, 객체(object), 실행 파일(executable), 실행 스레드(thread of execution), 프로그램(program), 및/또는 컴퓨터(computer)일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서의 부, 모듈, 장치 또는 시스템 등에 해당할 수 있다.

실시예들이 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다. 나아가, 본 발명의 일 실시예에 따른 방법은 일련의 과정들을 수행하기 위한 컴퓨터 프로그램의 형태로 구현될 수도 있으며, 상기 컴퓨터 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록될 수도 있다.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.

본 발명은 현실공간을 계층적으로 구분하고, 계층적으로 구분된 각 공간을 별개의 의미있는 공간(PLACE)으로 정의하고 이에 대한 구체적인 정보를 모델링한다. 계층적으로 구분된 각 현실공간에 대응되는 공간모델(PLACE model)이 정의되고, 상기 공간모델을 기준으로 가상객체가 배치된다.

도7을 우선적으로 참조하면, 일 실시예의 증강현실 컨텐츠 제공 시스템은 상하위 개념으로 계층적으로 구분되어 있는 각각의 의미있는 물리적인 공간을 표현하는 공간모델로 정의하고, 사용자의 위치 변화에 따라서 가장 하위 계층의 공간모델을 로딩할 수 있다. 또한 가상공간에서는 HTML문서를 통해 공간모델의 소정의 위치에 배치되도록 생성된 가상객체들이 증강현실 상황에서 나타날 수 있다.

다른 일 실시예의 증강현실 컨텐츠 제공 시스템에서 물리적인 공간을 표현하는 하나 이상의 공간모델이 존재하고, 각 공간모델에 대응하는 가상공간미디어가 정의될 수 있다. 이러한 가상공간 미디어는 3차원 가상공간으로 증강현실 컨텐츠 저작자는 이러한 가상공간 미디어에 HTML문서를 통해 가상객체를 배치할 수 있다. 여기서 가상공간 미디어는 하나의 공간모델에 대응된다.

여기서, 사용자가 특정 가상공간 미디어를 실행시키고, 실행된 가상공간 미디어에 대응되는 공간모델이 로딩되면(예컨대, 가상공간 미디어에 대응되는 공간에 사용자가 존재하는 경우), 증강현실 상황에서 공간모델과 가상공간 미디어가 매칭되어 가상객체들이 사용자에게 제공될 수 있다.

또 다른 실시예의 증강현실 컨텐츠 제공 시스템은 상술한 계층적 구조를 가진 복수의 공간모델과, 가상공간의 가상공간미디어를 이용하여 증강현실 상황에서 가상객체를 사용자에게 제공할 수 있다.

이와 같이 다양한 증강현실 컨텐츠 제공 시스템에 대하여 하기에서 구체적으로 설명하도록 한다.

도1은 본 발명의 일 실시예에서 계층적 공간 구조를 설명하기 위한 개념도이다. 본 발명의 일 실시예에서 복수의 공간 모델은 적어도 하나의 공간모델이 적어도 하나의 하위계층의 다른 공간모델을 갖도록 계층적으로 구조화되어 저장될 수 있다.

도1을 참조하면, 각 공간이 계층적으로 조직화된다. 최상위 계층에는 지구(Earth)가 있고, 그 다음 계층에는 한국(South Korea), 미국(USA)등이 있다. 또한 한국의 하위 공간으로 성북구(Seongbuk)가 있고, 성북구 내에 KIST 의 L1건물이 존재한다. 더 자세히 들어가면, L1 건물 내에는 오피스 1, 오피스 2 및 회의실 등이 존재한다. 도1에서 공간의 이름 좌측에 병기된 숫자는 예시적인 것으로 동일 레벨(level)에서 다른 공간과 구분하기 위해 지정된 참조숫자이다. 도1에서 나타난 조직 구조는 예시적인 것으로 본 발명이 이것에 한정되는 것은 아니다.

예컨대 사용자가 L1건물 밖에 위치하는 경우, 사용자에게 현실세계의 물리적 공간(PLACE)은 성북구이고, 사용자가 L1건물은 일반적인 물리객체(POI; Point of Interest, 본 명세서에서 상기 POI는 물리적인 객체로서 물체(physical object) 또는 위치(location)를 포함할 수 있다)로 인식된다. 그러나 사용자가 L1 건물로 들어가면 L1은 하나의 공간으로 취급되고, 오피스1 및 오피스2가 물리객체로서 취급된다. 또한, 일 실시예에서 사용자가 L1건물 밖에 있는 경우 오피스1 및 오피스2는 물리객체로 취급되지 않을 수 있다.

도2는 본 발명의 일 실시예에서 물리객체와 공간의 개념을 설명하기 위한 개념도이다. 도2에서 공간(42)은 공간(41)을 포함한다. 즉, 공간(42)은 공간(41)의 상위개념으로 도1을 예로 들면 공간(42)는 L1 건물이고, 공간(41)은 오피스1일 수 있다. 사용자가 공간(42)에 위치하는 경우 공간(41)은 하나의 물리객체로 취급되지만, 사용자가 공간(41)로 진입하는 경우, 공간(41)은 하나의 물리공간으로서 취급되고 객체(41)이 하나의 객체로 취급된다. 즉, 사용자가 속한 공간에 따라서 증강현실 어플리케이션에서 증강시킬 객체의 종류가 분리되어 구분된다.

도3은 본 발명의 일 실시예에 따른 증강현실 컨텐츠 제공 시스템의 구성도이다. 도3을 참조하면 증강현실 컨텐츠 제공 시스템(1000)은 데이터 베이스(DB, 100), 위치 결정부(200), 공간모델 처리부(300) 및 가상객체 처리부(400)를 포함할 수 있다.

본 발명의 일 실시예에 따른 증강현실 컨텐츠 제공 시스템(1000)은 HTML문서를 생성할 수 있는 기계적인 장치를 포함할 수 있다. 일 실시예에서 상술한 HTML문서는 바람직하게는 HTML5로 작성된 전자문서일 수 있다. 증강현실 컨텐츠 제공 시스템(1000)은 사용자의 조작 또는 명령에 의해 프로그램 코드를 생성할 수 있으며, 통신망을 경유하는 각종 데이터를 송수신할 수 있는 임의의 단말기 또는 서버일 수 있다. 예컨대, 시스템(1000)은 개인용 컴퓨터(Personal Computer), 랩탑(laptop), 태블릿 PC, 스마트 폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant), 스마트 TV 및 이동통신 단말기(Mobile Communication Terminal)등 중 어느 하나일 수 있으나, 이에 한정되는 것은 아니다.

일 실시예에서 데이터베이스(100;DB)는 고유의 물리적 공간을 표현하는 복수의 공간모델을 저장한다. 여기서 상기 복수의 공간모델은 적어도 하나의 공간모델이 적어도 하나의 하위개념의 다른 공간모델을 갖도록 계층적으로 구조화되어 저장될 수 있다. 즉, 도1을 참조하여 설명한 바와 같이, 상하위 관계를 가지게 되어 어느 공간모델은 다른 공간모델에 포함될 수 있다.

상기 공간모델은 고유의 물리적 공간(즉, 현실세계의 공간)에 대응되는 3차원 가상공간을 모델링한 것으로서 컨텐츠 저작자의 의도에 따라서 차원, 형태 및 크기가 임의적으로 정해질 수 있다. 예컨대 도1을 참조로 현실세계 공간 L1건물, 오피스1 및 오피스2에 대응되는 공간모델이 모델링 될 수 있다. 그리고 각 공간모델은 해당 공간모델에 포함되는 고유의 가상객체를 가지도록 저작될 수 있다.

또한 다른 일 실시예에서 데이터베이스는 고유의 물리적 공간을 표현하는 하나 이상의 공간모델 및 상기 하나 이상의 공간모델 각각에 대응하는 가상의 가상공간미디어를 저장할 수 있다. 이 경우 각각의 공간모델은 계층적 구조를 이루지 않을 수도 있다. 또한 상술한 바와 같이 HTML문서를 통해 배치되는 가상객체를 포함하는 가상의 3차원 공간을 표현하는 가상공간미디어를 포함할 수 있다. 이러한 가상공간미디어를 각각의 공간모델에 대응되어, 저작자는 가상공간미디어를 기준으로 증강현실 콘텐츠를 제작하고, 공간모델에 적용시킬 수 있다.

도4는 본 발명의 일 실시예에 따른 개별 공간모델을 설명하기 위한 도이다. 예컨대 도4에서 현실세계에 존재하는 룸 301호와 룸 302호는 별도의 공간모델로 모델링 될 수 있다. 그리고 저작자는 룸 301호에 존재하는 테이블(11)위에 증강되는 가상객체(11a)를 저작할 수 있다.

예컨대 가상객체(11a)는 사용자가 룸 301호 내에 존재할 때, 테이블(11)위에 증강되는 객체로서 사용자가 룸 302호에 존재하거나 룸 301호를 벗어나는 경우에는 증강되지 않기 때문에, 공간모델에 대응하는 고유의 가상객체에 해당된다.

일 실시예에서 데이터베이스(100)는 각 공간모델 내에 존재하는 고유의 가상객체가 배치되는 가상객체 정보 및 상기 공간모델이 대응되는 현실공간의 위치 정보를 가지고 있을 수 있다.

가상객체 정보는 공간모델 내에 가상객체가 증강되는(배치되는) 위치에 대한 정보를 포함한다. 가상객체가 증강되는 위치는 공간모델의 특정한 일 지점을 기준으로 거리 및 방향정보에 따라서 지정되거나, 공간모델 내에 존재하는 특정한 물리객체에 대한 이미지 인식을 기초로 특정한 물리객체 상에 증강되도록 지정될 수 있다. 이 경우 이미지 인식은 마커를 통한 특징점 추출을 통한 이미지 처리 과정으로 수행될 수 있다. 또한 가상객체 정보는 가상객체의 위치이동(translation), 회전, 크기 조정 등에 대한 정보를 포함할 수 있다.

데이터베이스(100)는 공간모델이 대응되는 현실공간의 위치 정보를 포함할 수 있다. 이러한 위치 정보는 GPS를 이용한 절대좌표값일 수 있다. 또는 현실세계 공간이 고층건물이거나 실내 공간인 경우에는 절대좌표값 및 건물내부에 존재하는 RFID 기술을 이용하여 정의된 위치 정보일 수 있다. 저작자는 이러한 위치 정보 및 현실 공간의 형태를 고려하여 공간모델을 모델링 할 수 있다.

또한 본 발명의 일 실시예에 따른 데이터베이스(100)는 상술한 가상객체 정보, 공간모델 및 위치 정보에 대한 데이터를 XML파일 형태 또는 JSON-LD 형태로 저장하고 있을 수 있다.

본 발명의 일 실시예에 따른 위치 결정부(200)는 사용자가 위치한 현재위치를 결정한다. 구체적으로 위치 결정부(200)는 사용자 단말기(500)로부터 제공되는 영상 내의 물리객체(POI) 또는 GPS등의 위치센서로부터 제공되는 위치정보를 인식함으로써 현재 위치를 결정할 수 있다. 물리객체를 인식하기 위해 상술한 바와 같이 마커 및 영상처리 기법이 이용될 수 있으며, 현재 위치를 결정하기 위해 상술한 위치정보를 이용할 수 있다.

다른 일 실시예에서, 위치 결정부(200)는 상기 공간모델의 일 지점을 기준으로 결정된 상기 하위개념의 다른 공간모델 또는 가상객체의 상대적인 위치정보 및 상기 공간모델이 대응하는 고유의 물리적 공간의 절대적인 위치정보 중 적어도 하나를 이용하여 상기 사용자의 현재 위치를 결정할 수 있다.

예컨대, 하위개념의 공간모델과 그 상위 개념의 공간모델 사이에 사용자가 존재하는 경우, 하위개념의 공간모델은 하나의 가상객체로 정의되고 취급될 수 있다.

위치 결정부(200)는 상술한 바와 같이 공간모델 내에 존재하는 각각의 가상객체들과 사용자간의 상대적인 거리정보 및 GPS, RFID와 같은 기술로 획득한 절대적인 거리정보를 이용하여 사용자의 위치를 결정할 수 있다. 상대적인 위치정보를 얻기 위해서, 사용자 단말에서 획득되는 영상 내 가상객체들 사이의 거리정보 또는 특정 POI 사이의 거리정보 등을 활용하여 공간모델 내 사용자의 위치를 정확하게 결정할 수 있다.

공간모델 처리부(300)는 상기 데이터 베이스로부터 상기 사용자의 현재 위치에 대응되는 공간모델을 검색하여 로딩할 수 있다. 구체적으로, 공간모델 처리부(300)는 데이터베이스(100)에 저장된 위치정보 및 공간모델 데이터 및 사용자의 현재위치 정보를 바탕으로 현재 위치에 해당되는 공간모델을 로딩한다. 로딩된 공간모델은 디스플레이에 바로 표시되지 않고, 가상객체 처리부의 판단에 따라서 특정한 조건이 만족된 경우 타 장치로 전달되거나 시스템 내 포함되는 가상객체 처리부(400)에서 가상객체를 표시하기 위한 좌표정보를 획득하기 위하여 사용될 수 있다.

일 실시예에서, 사용자의 위치가 하위개념의 공간에 존재할수록 검색되는 공간모델의 수는 많아질 수 있으므로, 공간모델 처리부(300)는 검색되는 다수의 공간모델 중에서 가장 하위 공간모델만을 로딩할 수 있다.

즉, 공간모델 처리부(300)는 사용자의 현재 위치에 대응되는 공간모델이 복수개 존재하는 경우, 복수개의 공간모델 중에서 가장 하위 공간모델을 검색하여 로딩할 수 있다. 도1을 참조하면 사용자가 오피스1에 위치하는 경우 사용자는 오피스1에 위치하는 동시에 L1건물 및 성북구라는 다른 상위 공간에도 존재하게 된다. 이 경우, 공간모델 처리부(300)는 다수의 공간모델 중에서 가장 하위 공간모델인 오피스1에 대응되는 공간모델만을 로딩할 수 있다.

다른 일 실시예에서, 공간모델 처리부(300)는 사용자의 현재 위치에 대응되는 URI(uniform resource identifier)를 이용하여 현재위치에 대응되는 공간 모델을 검색하고 로딩할 수 있다. 공간모델이 HTML(Hyper Text Markup Language)문서를 통해 저작된 경우, 공간모델에 대한 정보는 URI 이용하여 이용될 수 있다. 이 경우 사용자 단말기는 웹 페이지를 통해 HTML문서를 읽어 들여 현재 위치에 대응하는 공간모델을 디스플레이에 표시할 수 있다.

공간모델 처리부(300)는, 사용자의 현재 위치를 주기적으로 확인하여 현재 위치에 대응하는 3차원 공간모델을 동적으로 로딩할 수도 있다. 따라서 변화되는 사용자의 위치에 적합한 공간모델 및 가상객체가 제공될 수 있다.

가상객체 처리부(400)는 디스플레이를 통해 상기 로딩된 3차원 공간모델이 표현되는 가상공간 미디어를 사용자 단말기 또는 디스플레이부에 제공하되, 상기 가상공간 미디어는 상기 HTML문서를 통해 표현되는 상기 고유의 가상객체를 스타일 시트를 이용하여 로딩된 상기 3차원 공간모델에 표현할 수 있다. 상기 가상공간 미디어는 3차원 공간모델이 시각적으로 표현되는 웹 페이지 등일 수 있다.

가상객체 처리부(400)는 가상객체를 포함하는 공간모델을 표시하기 위해 기존의 CSS 미디어 타입에 3차원 공간을 확장시킨 미디어 타입(예컨대, 공간 미디어(Place Media))을 이용할 수 있다. 가상객체 처리부(400)는 WebGL, CSS 3D Transform 등 다양한 3차원 엔진으로 구현될 수 있다.

도5는 2차원 페이지와 3차원 공간의 레이아웃을 설명하기 위한 도이다. 종래에는 도5(a)와 같이 2차원 평면 페이지상에 멀티 미디어들을 배치하여 표시하였다. 그러나 증강현실 서비스는 3차원 현실공간에 관련된 3차원 가상객체를 증강시키기 위한 것으로 도5(b)와 같이 3차원 공간 모델이 필요하다. 본 발명에서 공간모델은 상하좌우앞뒤를 포함하는 육면체를 기본 단위로 하여 정의될 수 있다. 그리고 가상객체 처리부(400)는 컨텐츠 저작자가 HTML문서를 이용하여 공간모델을 정의하는 경우 아래 표1과 같은 프로퍼티(property)를 정의하여 공간모델의 크기 및 상태를 제어할 수 있다.

가상객체 처리부(400)는 공간이동을 처리하기 위해 추가적인 DOM 이벤트 타입을 추가할 수 있다. DOM 이벤트 타입은 기존의 웹에서 사용자 입력의 종류와 그 해석방법을 정의한 것으로 마우스와 키보드 등을 통한 입력에 대한 처리만이 정의되어있고, 최근에 스마트폰의 증가에 따라 터치 이벤트 등이 표준화 과정에 있다. 그러나 사용자가 상하위 개념의 공간모델을 들어가고 나오는 경우 가상객체 및 공간모델을 처리하고, HTML문서를 공간에 표시하고 브라우징 이벤트를 처리하기 위해서는 추가적인 이벤트 종류가 정의될 필요가 존재한다. 따라서 일 실시예에서 가상객체 처리부(400)는 위치이동 이벤트를 추가하여 사용자가 위치한 공간모델의 변경을 추가적인 DOM이벤트로 정의할 수 있다.

공간모델 처리부(300)는 위치 결정부(200)의 결과를 이용하여 사용자의 현재위치를 주기적으로 확인하고, 현재 위치에 해당되는 공간모델을 지속적으로 업데이트할 수 있다. 이에 따라서 사용자는 공간이동에 즉각 반응하여 변화하는 가상객체들을 제공받을 수 있다.

일 실시예에서, 가상객체 처리부(400)는 로딩된 공간모델에 포함되는 고유의 가상객체를 상기 공간모델 내 소정의 위치에 배치시킨다. 또한 다른 실시예에서 가상객체 처리부(400)는 로딩된 공간모델에 대응하는 가상공간미디어 내 소정의 위치에 고유의 가상객체를 배치할 수도 있다.

가상객체 처리부(400)는 목표지점(대상 물리객체 또는 공간모델 내 소정의 위치)에 가상객체를 증강시키고 가상객체 정보를 바탕으로 가상객체의 위치이동(translation), 회전, 크기 조정 등을 제어할 수 있다. 이러한 가상객체들은 멀티미디어 정보들로서 그림, 사진, 플래시, 동영상, 음악 등일 수 있다.

다른 일 실시예에서 위치 결정부(200), 상기 공간모델 처리부(300) 및 가상객체 처리부(400)는 HTML 문서에 구성된 어플리케이션 코드일 수 있으며, 사용자 단말기(500)는 웹 브라우저를 이용하여 상기 HTML 문서를 읽어 들여 렌더링하여 디스플레이에 표시할 수 있다. 또한 다른 일 실시예에서 위치 결정부(200), 상기 공간모델 처리부(300) 및 가상객체 처리부(400)는 HTML 문서를 통해서 하기의 기능을 수행하도록 만들어진 프로세서와 같은 임의의 모듈일 수 있다.

가상객체 처리부(400)는 사용자에 의해 지정된 특정 이벤트에 대한 공간모델이 로딩되면, 가상객체가 배치된 상기 특정 이벤트에 대한 공간모델을 타 장치에 제공할 수 있다. 여기서 상기 사용자에 의해 지정된 특정 이벤트는, 사용자가 URI등을 통해 HTML문서를 실행시킴으로써 실행되는 가상공간 미디어를 의미한다. 이렇게 실행된 가상공간 미디어는 상기 가상공간 미디어가 대응되는 공간모델이 로딩되면 타 장치에 제공되어 표시될 수 있다. 즉, 사용자가 지정한 위치에 사용자가 존재하는 경우와 같은 특정 이벤트가 발생될 경우에 이와 같이 가상공간미디어와 공간모델 사이의 융합이 수행될 수 있다. 또한 여기서 상기 타 장치는 가상객체가 배치된 공간모델 또는 가상공간미디어를 시각화할 수 있는 임의의 장치로서 상기 시스템 내에 존재하는 표시장치 이거나 시스템 외부에 존재하는 타 단말기 등의 표시장치일 수 있다. 즉, 본 발명의 증강현실 컨텐츠 제공 시스템은 사용자 단말기 이거나 별도의 서버일 수 있다.

다른 일 실시예에서, 상기 데이터베이스(100)는 상기 복수의 공간모델 각각에 대응하는 가상공간상의 3차원 공간으로 표현되는 가상공간미디어를 더 저장한 경우, 상기 가상객체 처리부(400)는, 스타일 시트를 이용하여 상기 가상공간미디어의 소정의 위치에 상기 가상객체를 배치하고, 소정의 가상공간미디어에 대응하는 공간모델이 로딩되면 로딩된 공간모델을 기초로 상기 소정의 가상공간미디어를 스케일링할 수 있다.

예컨대, 데이터베이스에 저장된 공간모델과 사용자가 증간현실 컨텐츠 저작을 위해 이용한 가상공간미디어의 크기, 형태, 방향 등이 상이할 수 있다. 이 경우, 가상객체 처리부(400)는 물리적 공간에 더 부합하는 공간모델을 기초로 가상공간 미디어를 스케일링할 수 있다.

또 다른 일 실시예에서, 증강현실 컨텐츠 제공 시스템(1000)은 사용자 단말기(500)를 더 포함하고, 상기 위치 결정부(200)는, 상기 사용자 단말기(500)로부터 제공되는 영상 내 공간모델 또는 가상객체의 상대적인 위치정보를 이용하여 사용자의 현재 위치를 결정할 수 있다. 이에 대한 구체적인 설명은 상술한 바와 같다.

일 실시예에서, 증강현실 컨텐츠 제공 시스템(1000)은 이와 같은 코드를 생성할 수 있는 프로그램(예컨대, 개발자 툴), 프로토콜을 저장하기 위한 메모리, 해당 어플리케이션을 실행하여 연산 및 제어하기 위한 마이크로 프로세서, 및 상기 HTML 문서를 목표 단말기로 전송할 수 있는 송신부를 포함할 수 있으며, 통신망을 통하여 HTML 문서(10)를 생성할 수 있는 클라우드 컴퓨팅(cloud computing)을 지원하는 클라우드 컴퓨팅 단말기일 수도 있다.

사용자 단말기는 카메라, GPS센서, RFID 인식장치 및 태그, 가속도센서, 지자기 센서 등을 포함할 수 있으며, 상기 HTML문서를 읽어 들여 HTML문서의 명령들을 실행시키고자 하는 대상이 되는 사용자 단말기이다. 사용자 단말기(500)는 통신망을 경유하여 각종 데이터를 송수신할 수 있는 임의의 단말기일 수 있으며, 예컨대, 태블릿 PC, 랩톱, 개인용 컴퓨터, 스마트폰, 개인휴대단말기(PDA), 및 이동통신 단말기(mobile communication terminal)들 중 어느 하나일 수 있으나, 이에 한정되는 것은 아니다.

사용자 단말기(500)는 HTML문서를 읽어 들이는 인터프리터가 구비할 수 있다. 예컨대, 사용자 단말기(500)는 사용자 단말기(500)에 의해 구동되는 웹 브라우저(web browser)에 의하여 HTML문서를 읽어 들이고, 웹 브라우저에 탑재된 자바스크립트 인터프리터를 이용하여 코드들의 명령을 실행할 수도 있다.

도6은 본 발명의 다른 일 실시예에따른 공간모델 내 가상객체와 HTML문서와의 관계를 설명하기 위한 도이다. 위치 결정부(200), 상기 공간모델 처리부(300) 및 가상객체 처리부(400)를 포함하는 HTML문서(60)는 공간모델(61) 및 공간모델(61)에 증강되는 가상객체들(62,63)을 웹리소스를 이용하여 정의할 수 있다. 증강현실 컨텐츠 저작자는 경계가 분명한 공간모델 별로 레이아웃을 정하여 가상객체를 배치하고 제어할 수 있어, 증간현실 컨텐츠 저작에 있어서 주제의 집중성을 높일 수 있다.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

데이터베이스: 100
위치 결정부: 200
공간모델 처리부: 300
가상객체 처리부: 400
사용자 단말기: 500
증강현실 컨텐츠 제공 시스템: 1000

Claims

고유의 물리적 공간을 표현하는 복수의 물리공간 모델이 저장된 데이터 베이스;
위치센서로부터 제공되는 위치정보를 인식함으로써, 사용자의 현재 위치를 결정하는 위치 결정부;
상기 데이터 베이스로부터 상기 사용자의 현재 위치에 대응되는 물리공간 모델을 검색하여 로딩하는 공간모델 처리부; 및
CSS 미디어 타입에 3차원 물리공간을 확장시킨 미디어 타입을 이용하여, 로딩된 물리공간 모델 내 소정의 위치에, HTML문서를 통해 표현되는 가상객체를 배치시키는 가상객체 처리부를 포함하되,
상기 복수의 물리공간 모델은, 적어도 하나의 물리공간 모델이 하위 계층의 적어도 하나의 다른 물리공간 모델을 포함하도록 계층적으로 구조화되어 상기 데이터 베이스에 저장된 것을 특징으로 하는 증강현실 컨텐츠 저작 및 제공 시스템.
제1항에 있어서,
상기 공간모델 처리부는,
상기 사용자의 위치에 대응되는 물리공간 모델이 복수개 존재하는 경우, 복수개의 물리공간 모델 중에서 가장 하위 계층의 물리공간 모델을 검색하여 로딩하는 것을 특징으로 하는 증강현실 컨텐츠 저작 및 제공 시스템.
제1항에 있어서,
상기 위치 결정부는,
상기 물리공간 모델의 일 지점을 기준으로 결정된 계층의 물리공간 모델 및 가상객체의 상대적인 위치정보; 및 상기 물리공간 모델이 대응하는 고유의 물리적 공간의 절대적인 위치정보; 중 적어도 하나를 이용하여 상기 사용자의 현재 위치를 결정하는 것을 특징으로 하는 증강현실 컨텐츠 저작 및 제공 시스템.
제1항에 있어서,
상기 가상객체 처리부는,
사용자에 의해 지정된 특정 이벤트에 대한 물리공간 모델이 로딩되면,
가상객체가 배치된 상기 특정 이벤트에 대한 물리공간 모델을 타 장치에 제공하는 것을 특징으로 하는 증강현실 컨텐츠 저작 및 제공 시스템.
제4항에 있어서,
상기 타 장치는,
상기 시스템 외부에 존재하는 다른 표시장치 또는 상기 시스템에 포함되는 표시장치인 것을 특징으로 하는 증강현실 컨텐츠 저작 및 제공 시스템.
제1항에 있어서,
상기 데이터베이스는,
상기 복수의 물리공간 모델 각각에 대응하는, 가상공간상의 3차원 공간으로 표현되는 가상공간미디어를 더 저장하고,
상기 가상객체 처리부는,
스타일 시트를 이용하여 상기 가상공간미디어의 소정의 위치에 상기 가상객체를 배치하고, 소정의 가상공간미디어에 대응하는 물리공간 모델이 로딩되면 로딩된 물리공간 모델을 기초로 상기 소정의 가상공간미디어를 스케일링하는 것을 특징으로 하는 증강현실 컨텐츠 저작 및 제공 시스템.
제1항에 있어서,
사용자 단말기를 더 포함하고,
상기 위치 결정부는, 상기 사용자 단말기로부터 제공되는 영상 내 물리공간 모델 또는 가상객체의 상대적인 위치정보를 이용하여 사용자의 현재 위치를 결정하는 것을 특징으로 하는 증강현실 컨텐츠 저작 및 제공 시스템.
고유의 물리적 공간을 표현하는 하나 이상의 물리공간 모델 및 상기 하나 이상의 물리공간 모델 각각에 대응하는 가상의 가상공간미디어가 저장된 데이터 베이스;
위치센서로부터 제공되는 위치정보를 인식함으로써, 사용자의 현재 위치를 결정하는 위치 결정부;
상기 데이터 베이스로부터 상기 사용자의 현재 위치에 대응되는 물리공간 모델을 검색하여 로딩하는 공간모델 처리부; 및
사용자에 의해 선택된 특정 이벤트에 대한 물리공간 모델이 로딩되면, CSS 미디어 타입에 3차원 물리공간을 확장시킨 미디어 타입을 이용하여, 로딩된 물리공간 모델에 대응하는 상기 가상공간미디어 내 소정의 위치에, HTML문서를 통해 표현되는 가상객체를 배치시키는 가상객체 처리부를 포함하는 것을 특징으로 하는 증강현실 컨텐츠 저작 및 제공 시스템.
제8항에 있어서,
상기 복수의 물리공간 모델은, 적어도 하나의 물리공간 모델이 하위 계층의 적어도 하나의 다른 물리공간 모델을 포함하도록 계층적으로 구조화되어 상기 데이터 베이스에 저장된 것을 특징으로 하는 증강현실 컨텐츠 저작 및 제공 시스템.
제8항에 있어서,
상기 공간모델 처리부는,
상기 사용자의 위치에 대응되는 물리공간 모델이 복수개 존재하는 경우, 복수개의 물리공간 모델 중에서 가장 하위 계층에 포함된 물리공간 모델을 검색하여 로딩하는 것을 특징으로 하는 증강현실 컨텐츠 저작 및 제공 시스템.
제8항에 있어서,
상기 위치 결정부는,
상기 복수의 물리공간 모델 중 사용자의 위치를 결정하기 위한 일 지점을 기준으로 결정된 계층의 물리공간 모델 및 가상객체의 상대적인 위치정보; 및 상기 물리공간 모델이 대응하는 고유의 물리적 공간의 절대적인 위치정보; 중 적어도 하나를 이용하여 상기 사용자의 현재 위치를 결정하는 것을 특징으로 하는 증강현실 컨텐츠 저작 및 제공 시스템.
제8항에 있어서,
상기 가상객체 처리부는,
사용자에 의해 지정된 특정 이벤트에 대한 물리공간 모델이 로딩되면,
가상객체가 배치된 상기 특정 이벤트에 대한 물리공간 모델을 타 장치에 제공하는 것을 특징으로 하는 증강현실 컨텐츠 저작 및 제공 시스템.
제12항에 있어서,
상기 타 장치는,
상기 시스템 외부에 존재하는 다른 표시장치 또는 상기 시스템에 포함되는 표시장치인 것을 특징으로 하는 증강현실 컨텐츠 저작 및 제공 시스템.
제8항에 있어서,
상기 가상객체 처리부는,
스타일 시트를 이용하여 상기 가상공간미디어의 소정의 위치에 상기 가상객체를 배치하고, 소정의 가상공간미디어에 대응하는 물리공간 모델이 로딩되면 로딩된 물리공간 모델을 기초로 상기 소정의 가상공간미디어를 스케일링하는 것을 특징으로 하는 증강현실 컨텐츠 저작 및 제공 시스템.
제8항에 있어서,
사용자 단말기를 더 포함하고,
상기 위치 결정부는, 상기 사용자 단말기로부터 제공되는 영상 내 물리공간 모델 또는 가상객체의 상대적인 위치정보를 이용하여 사용자의 현재 위치를 결정하는 것을 특징으로 하는 증강현실 컨텐츠 저작 및 제공 시스템.