KR20150126289A - 증강현실 기반 소셜 네트워크 서비스 정보를 제공하는 내비게이션 장치와 메타데이터 처리장치 및 그 방법 - Google Patents

Abstract

증강현실 기반 소셜 네트워크 서비스 정보를 제공하는 내비게이션 장치와 메타데이터 처리장치 및 그 방법이 개시된다. 본 발명의 일 실시 예에 따른 내비게이션 장치는 실 세계 영상을 실시간으로 획득하는 영상 획득부와, 획득된 실 세계 영상을 배경으로 가상의 맵을 생성하고 가상의 맵의 관심 지점에 증강된 형태의 소셜 네트워크 서비스(social network service: SNS, 이하 SNS라 칭함) 정보를 매핑하는 제어부와, 가상의 맵 상에 매핑된 SNS 정보를 실 세계 영상에 표시하는 출력부를 포함한다.

Description

증강현실 기반 소셜 네트워크 서비스 정보를 제공하는 내비게이션 장치와 메타데이터 처리장치 및 그 방법 {Navigation apparatus for providing social network service based on augmented reality, metadata processor and metadata processing method in the augmented reality navigation system}

본 발명은 데이터 처리 기술에 관한 것으로서, 보다 상세하게는 MPEG-4 BIFS(Binary Format for Scene)를 기반으로 구현된 맵 기반 증강현실 내비게이션 시스템에서 소셜 네트워크 서비스 정보를 제공하기 위한 기술에 관한 것이다.

증강현실(Augmented Reality: AR)이란 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 것, 즉 실 세계(real world)에 3차원 가상물체를 겹쳐 보여주는 기술을 말한다. 증강현실은 가상의 공간과 가상의 객체만을 대상으로 하는 기존의 가상현실(Virtual Reality: VR)과 달리, 실 세계의 기반 위에 가상의 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강하여 제공할 수 있다. 이러한 특징 때문에 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존의 가상현실과 달리 증강현실은 다양한 현실 환경에 응용이 가능하며 특히, 유비쿼터스(Ubiquitous) 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.

증강현실 내비게이션 서비스는 차량에 부착된 카메라를 이용하여 현재 주행중인 도로 영상을 촬영하고, 그 도로 영상 화면 위에 가상의 경로선을 오버레이하는 증강현실 기법을 이용하여 구현한 내비게이션을 말한다. 즉, 카메라를 통하여 보는 실 세계를 배경으로 목적지 또는 관심 있는 지점을 GPS 센서와 자기장 센서, 오리엔테이션 센서 등을 기반으로 표현하는 시스템이다.

한편, MPEG(Moving Picture Experts Group)란 동영상을 압축하고 코드로 표현하는 방법의 표준을 만드는 것을 목적으로 하는 동화상 전문가 그룹을 의미하는 것으로, 시간에 따라 연속적으로 변화하는 동영상 압축과 코드 표현을 통하여 정보의 전송이 이루어질 수 있는 방법을 연구하고 있다. 예를 들어, MPEG-1에서는 디지털 저장 매체에서 동영상과 동영상에 포함된 오디오에 대한 압축과 복원에 대한 표준화 기술을 다루고 있고, MPEG-2에서는 멀티미디어 데이터의 전송 기술에 초점을 맞추고 있으며, MPEG-4는 멀티미디어 데이터를 객체기반 구조로 정의하는 기술을 다루고 있고, MPEG-7은 멀티미디어 데이터의 내용에 대한 표현 방법에 관한 기술을 다루고 있으며, MPEG-21은 멀티미디어의 콘텐츠 제작, 유통, 보안 등 전 과정을 관리하는 기술을 다루고 있다.

MPEG에서는 기존의 MPEG-4 BIFS(Binary Format for Scene) 기술을 기반으로 증강현실 서비스를 제공할 수 있는 표준 기술을 정의하고 있다(ISO/IEC 23000-13). 본 표준에서 채택하고 있는 맵 관련 노드를 통하여 이러한 증강현실 내비게이션 시스템을 구현할 수 있다. ARAF(Augmented Reality Application Format)는 MPEG-4 BIFS의 확장 버전으로, 현재 MPEG-ARAF에 관한 기술규격에 대한 초판이 승인되었으며, 본 기술규격서 안에는 증강현실 내비게이션 시스템을 제공할 수 있는 맵(map) 관련 노드들이 정의되어 있다. 이 노드들은 가상의 맵을 설정하고 맵 위에 오버레이할 레이어를 설정한 후 각 레이어에 맵 마커(map marker)를 생성하는 방식으로 동작한다. 맵 마커는 맵 상의 관심지점(Point of Interest: POI)과 매칭이 되며, POI는 단순히 맵 상의 특정 지점을 표시할 뿐 다른 목적의 서비스를 표현하지는 못한다.

일 실시 예에 따라, 증강현실 기반 소셜 네트워크 서비스 정보를 제공하는 내비게이션 장치와 메타데이터 처리장치 및 그 방법을 제안한다.

일 실시 예에 따른 내비게이션 장치는, 실 세계 영상을 실시간으로 획득하는 영상 획득부와, 획득된 실 세계 영상을 배경으로 가상의 맵을 생성하고 가상의 맵의 관심 지점에 증강된 형태의 소셜 네트워크 서비스(social network service: SNS, 이하 SNS라 칭함) 정보를 매핑하는 제어부와, 가상의 맵 상에 매핑된 SNS 정보를 실 세계 영상에 표시하는 출력부를 포함한다.

일 실시 예에 따른 제어부는 SNS 정보를 SNS 컨테이너 노드로 매핑하고 SNS 컨테이너 노드를 통해 SNS 컨테이너 프로토를 참조하여 실 세계 영상의 증강 영역에 SNS 정보를 로딩하는 장면 처리부를 포함한다. 이때, SNS 컨테이너 프로토는 사용자의 정적 정보와 동적 정보를 포함하며, 정적 정보는 SNS 정보를 작성한 사용자 및 디바이스 관련 정보이고, 동적 정보는 사용자의 SNS 활동 정보일 수 있다.

일 실시 예에 따른 제어부는 사용자 선호정보 메타데이터를 이용하여 사용자 선호도가 반영된 SNS 정보를 로딩한다.

일 실시 예에 따른 내비게이션 장치는 SNS 제공 서버에 사용자 식별자 정보, 사용자 선호도 정보 및 사용자 위치정보를 제공하며, SNS 제공 서버가 내비게이션 장치로부터 수신된 정보들을 이용하여 요청한 사용자에 해당하는 SNS 정보를 검색하면, SNS 제공 서버로부터 검색된 SNS 정보를 수신하는 제1 통신부를 더 포함한다.

일 실시 예에 따른 내비게이션 장치는 장면 제공자로부터 SNS 제공 서버에 접속할 수 있는 접속 정보를 수신하는 제2 통신부를 더 포함하며, 제어부는 수신된 접속 정보를 이용하여 SNS 제공 서버에 접속한다.

다른 실시 예에 따른 메타데이터 처리장치는, 가상의 맵을 설정하기 위한 맵 노드를 정의하는 맵 노드 정의부와, 설정된 가상의 맵 위에 증강객체가 오버레이될 레이어를 설정하기 위한 맵 오버레이 노드를 정의하는 맵 오버레이 노드 정의부와, 설정된 레이어 위에 오버레이될 증강객체의 맵 상에서의 지점을 설정하기 위한 맵 마커 노드를 정의하는 맵 마커 노드 정의부와, 설정된 맵 상의 지점에 SNS 정보를 설정하기 위한 SNS 컨테이너 노드를 정의하는 SNS 컨테이너 노드 정의부와, 맵 노드 정의부에 의하여 정의된 맵 노드에 따라 가상의 맵을 로딩하고, 맵 오버레이 노드 정의부에 의하여 정의된 맵 오버레이 노드에 따라 레이어를 로딩하고, 맵 마커 노드 정의부에 의하여 정의된 맵 마커 노드에 따라 맵 마커를 로딩하며, SNS 노드 정의부에 의하여 정의된 SNS 컨테이너 노드에 따라 SNS 정보를 로딩하는 노드 처리부를 포함한다.

일 실시 예에 따른 SNS 컨테이터 노드 정의부는 맵 마커 노드를 수정하여 맵 마커 노드에 SNS 컨테이너 필드를 추가하고 SNS 정보를 표현하기 위한 SNS 컨테이너 프로토를 참조하여 SNS 정보를 설정한다.

일 실시 예에 따른 SNS 컨테이너 프로토는 SNS 정보를 작성한 사용자 및 디바이스에 대한 정보인 정적 정보 엘리먼트를 포함한다. 정적 정보 엘리먼트는 사용자의 이름, 사용자의 사진이 있는 위치, 사용자의 이메일 주소 정보, 사용자의 전화번호 정보, 사용자의 주소, 사용자의 홈페이지, 사용자의 성별, 사용자의 관심분야, 사용자의 결혼 상태, 사용자가 사용하는 언어, 사용자의 종교, 사용자의 정치 관점, 사용자의 직업, 사용자가 졸업하고나 다니는 학교, 사용자가 가지고 있는 기술 정보 중에서 하나 이상을 포함할 수 있다.

일 실시 예에 따른 SNS 컨테이너 프로토는 사용자의 SNS 활동 정보인 동적 정보 엘리먼트를 포함한다. 동적 정보 엘리먼트는 사용자가 포스팅한 위치, 사용자가 포스팅한 글의 제목, 사용자가 포스팅한 미디어가 있는 위치, 사용자가 포스팅한 미디어의 종류 중에서 하나 이상을 포함할 수 있다.

일 실시 예에 따른 메데이터 처리장치는 사용자의 선호정보를 메타데이터 형태로 저장하는 사용자 선호정보 메타데이터 저장부를 더 포함하고, 노드 처리부는 사용자 선호정보 메타데이터 저장부에 저장된 사용자 선호정보 메타데이터를 이용하여 사용자 선호도가 반영된 SNS 정보를 맵 마커에 함께 로딩한다.

일 실시 예에 따른 사용자 선호정보 메타데이터는 사용자를 중심으로 증강객체가 표현될 반경을 나타내는 정보, 사용자가 검색하고자 하는 관심 지점의 카테고리를 나타내는 정보, 사용자의 화면에 보여질 증강객체의 최대 숫자를 나타내는 정보, 사용자가 보기 원하는 맵 인스턴스의 업데이트된 시간 정보 중에서 하나 이상을 포함한다.

다른 실시 예에 따른 메타데이터 처리방법은, 맵 노드, 맵 오버레이 노드 및 맵 마커 노드를 정의하는 단계와, 맵 상의 지점에 SNS 정보를 설정하기 위한 SNS 컨테이너 노드를 정의하는 단계와, 맵 노드의 정의에 따라 가상의 맵을 로딩하고 맵 오버레이 노드의 정의에 따라 맵 위에 증강객체가 오버레이될 레이어를 로딩하고 맵 마커 노드의 정의에 따라 레이어 위에 맵 마커를 로딩하는 단계와, SNS 컨테이너 노드 정의에 따라 맵 마커에 SNS 정보를 로딩하는 단계를 포함한다.

일 실시 예에 따른 맵 마커에 SNS 정보를 로딩하는 단계는, 가상의 맵 상의 관심 지점에 SNS 정보를 설정하는 SNS 컨테이너 노드에 따라 SNS 정보를 로딩하고 SNS 컨테이너 노드는 사용자의 정적 정보와 동적 정보를 포함하는 SNS 컨테이너 프로토를 참조하여 SNS 정보를 표현하며, 정적 정보는 SNS 정보를 작성한 사용자 및 디바이스에 대한 정보이고, 동적 정보는 사용자의 SNS 활동 정보이다.

일 실시 예에 따른 메타데이터 처리방법은, 사용자의 선호정보를 메타데이터 형태로 저장하는 단계와, 사용자 선호정보 메타데이터를 이용하여 사용자 선호도가 반영된 SNS 정보를 맵 마커에 로딩하는 단계를 더 포함한다.

일 실시 예에 따르면, MPEG-4 BIFS(Binary Format for Scene)를 기반으로 구현된 맵 기반 증강현실 내비게이션 시스템에서 가상의 맵 위에 맵 지점을 표시하고 증강된 형태의 SNS 정보를 함께 표시할 수 있다. 예를 들어, 사용자가 카메라를 통하여 실 세계 영상을 보면서 사용자의 위치를 기반으로 주변의 친구들이 트위터나 페이스북 등에 등록한 게시글들을 볼 수 있도록 하는 서비스를 제공한다. 이에 따라, 사용자는 자신의 주변에서 친구들이 작성한 게시글들을 직관적으로 볼 수 있어서, 주변 친구들이 언제 어떻게 활동했는지를 쉽게 파악할 수 있게 된다.

나아가, 사용자 주변 위치에서 증강된 형태의 SNS 정보를 볼 수 있으므로 사용자가 위치한 지역에서의 트랜드나 관심영역을 쉽게 파악할 수 있으며 이로부터 재미를 느낄 수 있다. 이때, 사용자 주변에서의 SNS 정보를 생성하거나 사용하는 친구들과 소통 또는 공유를 할 수 있다. 이는 사회적 네트워크 서비스(social network service)가 지향하고 있는 사람과 사람간이 관계를 형성하고 공유와 소통의 공간을 형성하는 데 도움을 줄 수 있다.

일 실시 예에 따르면, MPEG-4 BIFS에 기반한 SNS 컨테이너 노드를 정의하고, SNS 컨테이너 프로토를 참조하여 SNS 정보를 표현함에 따라, 기존의 MPEG-4 BIFS에서 SNS 정보를 표현할 수 있고, 보다 간단하고 표준화된 구조의 증강현실 내비게이션 장치 및 방법을 제공할 수 있다.

일 실시 예에 따르면, 메타데이터 형태로 저장된 사용자 선호정보를 로딩하여 사용자 선호도가 반영된 증강 형태의 맞춤형 SNS 정보를 제공할 수 있다. 이 경우, 증강현실 내비게이션 시스템의 초기 셋팅을 자동 설정하고 이후에는 사용자가 주로 검색하는 SNS 정보의 카테고리를 보여주도록 할 수 있다. 따라서, 사용자가 증강현실 내비게이션 시스템을 구동시킬 때마다 매번 자신이 선호하는 형태로 세팅해야 할 필요가 없게 된다. 또한, 사용자의 정적 정보와 동적 정보를 이용하여 사용자에게 적합한 증강 형태의 맞춤형 SNS 정보를 제공하므로, 사용자는 사용자의 취향에 적합하고 실제로 관심을 가질만한 SNS 정보를 쉽게 파악할 수 있게 된다.

도 1은 본 발명의 일 실시 예에 따른 증강현실 기반 소셜 네트워크 서비스(social network service: SNS, 이하 SNS라 칭함) 정보를 제공하는 내비게이션 장치의 구성도,
MPEG-ARAF 브라우저(Moving Picture Experts Group Augmented Reality Application Format browser)를 통하여 구현되는 경우의 내비게이션 장치의 구성도,
도 3은 본 발명의 일 실시 예에 따른 증강현실 기반 SNS 정보를 제공하는 내비게이션 시스템의 구성도,
도 4는 본 발명의 다른 실시 예에 따른 증강현실 기반 SNS 정보를 제공하는 내비게이션 시스템의 구성도,
도 5는 본 발명의 일 실시 예에 따른 메타데이터 처리장치의 구성도,
도 6은 본 발명의 일 실시 예에 따른 MPEG-ARAF에 맵 기반 증강현실 서비스를 제공하기 위하여 정의하고 있는 맵 노드, 맵 오버레이 노드 및 맵 마커 노드 사이의 관계를 나타내는 도면,
도 7은 본 발명의 일 실시 예에서 정의한 맵 마커 메타데이터를 이용하여 초기 맵을 설정할 때 맵 지점 인스턴스를 생성하거나 또는 이미 생성된 맵 지점 인스턴스를 업데이트하는 예를 보여주는 도면,
도 8은 본 발명의 일 실시 예에 따라 수정된 맵 마커 노드의 프로토 타입을 도시한 도면,
도 9는 본 발명의 일 실시 예에 따른 SNS 컨테이너 프로토 타입을 도시한 도면,
도 10은 본 발명의 일 실시 예에 따른 도 9의 정적 정보인 User_Description_Static_Data 엘리먼트의 프로토 타입을 도시한 도면,
도 11은 본 발명의 일 실시 예에 따른 도 9의 동적 정보인 SNS_Activity 엘리먼트의 프로토 타입을 도시한 도면,
도 12는 본 발명의 일 실시 예에 따른 사용자 선호정보 메타데이터(user preference metadata)의 구조도,
도 13은 본 발명의 일 실시 예에 따른 메타데이터 처리방법을 도시한 흐름도이다.

이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시 예에 따른 증강현실 기반 소셜 네트워크 서비스(social network service: SNS, 이하 SNS라 칭함) 정보를 제공하는 내비게이션 장치의 구성도이다.

도 1을 참조하면, 내비게이션 장치(1)는 영상 획득부(10), 센서(11), 입력부(12), 제어부(13), 저장부(14), 출력부(15) 및 통신부(16)를 포함한다.

내비게이션 장치(1)는 다양한 방식으로 구현될 수 있다. 예를 들어, 차량에 장착되는 내비게이션 장치일 수 있고, 스마트폰 등과 같이 사용자가 휴대할 수 있는 모바일 단말일 수도 있다.

일 실시 예에 따른 내비게이션 장치(1)는 실 세계(real world)의 영상을 획득하고, 획득된 영상을 대상으로 증강현실 내비게이션 서비스를 제공한다. 증강현실 내비게이션 서비스는 카메라 등을 이용하여 사용자가 바라보는 실 세계 영상을 캡쳐하고, 캡쳐된 영상 화면 위에 가상의 맵을 오버랩(overlap)하는 증강현실 기법이 적용된 내비게이션 기술을 의미한다. 예를 들어, 사용자가 거리를 가다가 목적지의 위치를 알기 위하여 내비게이션 장치(1)의 카메라를 동작시키고, 증강 애플리케이션을 구동시키면 내비게이션 장치(1)의 위치와 방향을 파악하고, 카메라로 캡쳐된 실 세계 영상 위에 목적지의 방향을 표시한다.

일 실시 예에 따른 내비게이션 장치(1)는 증강현실 내비게이션 서비스를 제공할 때, 증강된 형태의 SNS 정보를 함께 제공한다. 이때, 내비게이션 장치(1)는 실 세계 영상을 기반으로 실 세계 영상 내 관심 지점에서 생성되거나 사용되는 SNS 정보를 제공한다. 예를 들어, 사용자가 카메라를 통하여 실 세계 영상을 보면서 사용자의 위치를 기반으로 주변의 친구들이 트위터나 페이스북 등에 등록한 게시글들을 볼 수 있도록 하는 서비스를 제공한다. 사용자는 자신의 주변에서 친구들이 작성한 게시글들을 직관적으로 볼 수 있어서, 주변 친구들이 언제 어떻게 활동했는지를 쉽게 파악할 수 있게 된다.

SNS 정보는 웹 커뮤니티를 통해 생성, 사용 또는 저장되는 멀티미디어 컨텐츠일 수 있다. 예를 들어, 이미지 컨텐츠(배경화면 이미지, 연예인 사진 이미지 등), 음악 컨텐츠(벨소리, MP3 음악 등), 동영상 컨텐츠(영화, 드라마 등), 게임 컨텐츠(고스톱 등), 실시간 정보 컨텐츠(뉴스, 증권, 스포츠 소식, 교통 정보 등) 등일 수 있으나, 이에 한정되지 않는다.

도 1에 도시되어 있는 내비게이션 장치(1)의 구성은 예시적인 것으로서, 내비게이션 장치(1)는 도 1에 개시되어 있는 모듈들의 일부만을 구비하거나 및/또는 그 동작을 위하여 필수적인 다른 모듈들을 추가로 구비할 수도 있다. 이하, 도 1을 참조로 하여 내비게이션 장치(1)의 각 구성에 대해 상세히 후술한다.

영상 획득부(10)는 실 세계 영상을 획득한다. 영상 획득부(10)는 카메라를 이용하여 실 세계 영상을 획득할 수 있다. 예를 들어, 카메라를 통해 사용자가 바라보는 실 세계 영상을 캡쳐하는 방식을 통해 획득할 수 있다.

센서(11)는 현재 사용자의 위치와 방향을 감지한다. 일 실시 예에 따른 센서(11)는 내비게이션 장치(1) 또는 내비게이션 장치(1)가 장착된 차량 등의 회전각 및 속도 등을 감지하여 그 값을 제어부(13)로 전달한다. 센서(11)는 GPS 센서, 자이로 센서, 나침반 센서, 지자기 센서, 속도 센서 등 그 종류가 다양하다. GPS 센서의 경우, 다수의 인공 위성으로부터 안테나를 통하여 수신되는 위성신호를 이용하여 내비게이션 장치(1)의 위치 값을 계산하고 그 위치 값을 제어부(13)로 전달한다.

입력부(12)는 내비게이션 장치(1)의 동작 제어를 위한 조작신호를 생성한다. 구체적으로, 입력부(12)를 통하여 내비게이션 서비스를 요청하는 명령을 입력받으면 내비게이션 서비스의 요청 조작신호를 생성하여 제어부(13)로 전달하고, 목적지 입력 등의 입력 조작신호, 실사 정보 요청 조작신호, 포인터 선택 조작신호 등을 생성하여 제어부(13)로 전달한다. 입력부(12)는 키패드, 터치 스크린 등을 이용하여 수행하는 것일 수 있다.

제어부(13)는 내비게이션 장치(1)의 전반적인 동작을 제어한다. 구체적으로, 제어부(13)는 입력부(12)로부터 전달되는 조작신호에 따라 센서(11)로부터 전달되는 내비게이션 장치(1)의 위치 값, 예를 들어, GPS 신호를 저장부(14)에 저장된 맵 데이터와 매핑한다. 그리고, 센서(11)로부터 전달되는 내비게이션 장치의 회전각 및 속도 등을 포함하는 값을 맵 데이터와 매핑시키고, 이를 출력부(15)를 통해 화면에 표시하도록 제어한다. 또한, 알람 신호, 음성 안내신호 등을 출력부(15)를 통해 출력하도록 제어한다.

일 실시 예에 따른 제어부(13)는 영상 획득부(10)를 통해 획득된 실 세계 영상을 대상으로 증강현실 기반 내비게이션 서비스를 제공하며, 서비스 제공 시에 증강된 형태의 SNS 정보를 함께 제공한다. 이를 위해, 제어부(13)는 영상 획득부(10)를 통해 획득된 실 세계 영상을 배경으로 가상의 맵을 생성한다. 그리고, 생성된 가상의 맵의 관심 지점에 증강된 형태의 SNS 정보를 매핑하며, 가상의 맵 상에 매핑된 SNS 정보를 출력부(15)를 통해 실 세계 영상에 표시하도록 제어한다. 전술한 제어부(13)의 기능은 내비게이션 장치(1)에 설치된 브라우저(browser)를 통해 구현될 수 있으며, 이에 대한 실시 예는 도 2를 참조로 하여 후술한다.

일 실시 예에 따른 제어부(13)는 사용자 선호정보 메타데이터를 이용하여 사용자 선호도가 반영된 SNS 정보를 증강 형태로 화면에 표시하도록 제어한다. 증강현실 내비게이션 시스템은 다수의 사용자들이 사용하고 있는 범용적인 시스템이며, 각 사용자마다 선호하는 셋팅 정보와 선호하는 증강정보가 다르다. 이를 위하여, 본 발명은 각 사용자가 증강현실 내비게이션 시스템을 구동시킬 때마다 사용자 자신이 선호하는 형태로 셋팅하기 보다는 사용자 선호정보를 메타데이터 형태로 저장부(14)에 저장해 두고, 이를 로딩하여 사용하게끔 하여 사용자에게 편리함을 제공한다. 예를 들어, 사용자가 선호하는 줌 레벨(zoom level)이라든지 사용자가 주로 검색하는 위치의 카테고리(category)라든지 등의 선호정보를 저장부(14)에 메타데이터 형태로 초기에 저장해 두고, 증강현실 내비게이션 장치(1)가 구동될 때 사용자 선호정보 메타데이터에 자동으로 로딩한다.

저장부(14)는 경로 탐색 및 내비게이션 서비스를 제공하기 위한 맵 정보, 음성 안내를 제공하기 위한 음성 안내정보 및 화면 표시 레벨정보 등이 저장된다. 또한, 저장부(14)는 저장된 정보들을 필요에 따라 추출하여 제어부(13)로 전달할 수 있다. 일 실시 예에 따른 저장부(14)에는 사용자 선호정보 메타데이터가 저장된다. 저장부(14)는 메모리, 하드디스크 드라이브(HDD) 등을 포함하는 저장 매체일 수 있으나, 이에 한정되지 않는다.

출력부(15)는 영상과 음성을 출력한다. 예를 들어, 출력부(15)는 영상을 출력하는 화면을 제공하고, 음성 또는 음향 신호를 출력한다. 일 실시 예에 따른 출력부(15)는 제어부(13)를 통해 가상의 맵 상에 매핑된 SNS 정보를 실 세계 영상에 표시한다.

통신부(16)는 제어부(13)로부터의 제어 신호에 따라 각종 유무선 통신 모듈을 통하여 다른 장치와 정보를 송신 또는 수신한다. 일 실시 예에 따른 통신부(16)는 장면 제공자(MAR experience creator)로부터 SNS 제공 서버(SNS provider server)에 접속할 수 있는 접속 정보, 예를 들어 URL을 제공받는다. 장면 제공자는 방송 사업자, 광고 사업자, 콘텐츠 사업자 등일 수 있으나 이에 한정되지 않는다. 일 실시 예에 따른 통신부(16)는 SNS 제공 서버에 사용자 식별자 정보, 사용자 선호도 정보 및 사용자 위치정보를 제공한다. 이때, SNS 제공 서버가 내비게이션 장치(1)로부터 수신된 정보들을 이용하여 요청한 사용자에 해당하는 SNS 정보를 검색하면, SNS 제공 서버로부터 검색된 SNS 정보를 수신한다.

도 2는 도 1의 내비게이션 장치(1)가 MPEG-ARAF 브라우저(Moving Picture Experts Group Augmented Reality Application Format browser: MPEG-ARAF browser)를 통하여 구현되는 경우의 내비게이션 장치의 구성도이다. MPEG-ARAF는 MPEG-BIFS(Binary Format for Scene)의 확장 버전이다.

도 2를 참조하면, 내비게이션 장치(1)의 MPEG-ARAF 브라우저(20)는 장면 처리부(Mixed Augmented reality scene processor: MAR scene processor)(200)와 좌표 매핑부(coordinate mapper)(210)를 포함한다. MPEG-ARAF 브라우저(20)는 내비게이션 장치(1)에 설치되어 실행 가능한 앱이다.

장면 처리부(200)는 장면 제공자(MAR experience creator)(2)로부터 SNS 제공 서버(SNS provider server)(3)에 접속할 수 있는 접속 정보, 예를 들어 URL을 제공받는다. 장면 제공자(2)는 방송 사업자, 광고 사업자, 콘텐츠 사업자 등일 수 있으나 이에 한정되지 않는다.

장면 처리부(200)는 장면 제공자(2)로부터 제공받은 접속 정보를 이용하여 SNS 제공 서버(3)에 접속하여, 사용자 위치(user location) 정보, 사용자 식별자(user ID) 정보, 사용자 선호도(user preference) 정보를 SNS 제공 서버(3)에 제공한다. 사용자 위치 정보는 GPS 센서, 지자기 센서(geomagnetic sensor) 등과 같은 센서로부터 얻어지며, 사용자 선호도 정보는 미리 저장된 사용자 선호정보 메타데이터로부터 읽어올 수 있다.

SNS 제공 서버(3)는 검색 엔진(search engine)(300)을 이용하여 SNS 정보를 요청한 내비게이션 장치(1) 사용자의 정보를 기반으로 자신에 등록된 SNS DB(310)를 검색하여 사용자에 해당하는 SNS 정보(SNS data)를 검색한다. 그리고, 검색된 SNS 정보를 내비게이션 장치(1)에 제공한다.

장면 처리부(200)는 SNS 제공 서버(3)로부터 SNS 정보를 제공받아 이를 SNS 컨테이너 노드(container node)로 매핑(mapping)하고 좌표 매핑부(210)는 글로벌 좌표(global coordinate) 정보를 로컬 좌표(local coordinate)로 변환한다. 장면 처리부(200)는 영상 획득부(10)를 통해 획득된 실 세계의 영상을 대상으로 증강 영역에 증강된 형태의 SNS 정보를 표시한다.

도 3은 본 발명의 일 실시 예에 따른 증강현실 기반 SNS 정보를 제공하는 내비게이션 시스템의 구성도이다.

도 3을 참조하면, 증강현실 기반 SNS 정보를 제공하기 위한 내비게이션 시스템은 내비게이션 장치(1) 내부에 메타데이터 처리장치(4)를 추가로 포함할 수 있다. 여기서, 메타데이터 처리장치(4)는 도 1을 참조로 하여 설명된 내비게이션 장치(1)에 포함되는 모듈들과 서로 데이터를 주고받을 수 있다. 예를 들어, 메타데이터 처리장치(4)는 메타데이터 처리 결과 값을 내비게이션 장치(1)의 제어부(13)에 제공할 수 있다. 메타데이터 처리장치(4)의 세부 구성에 대해서는 후술되는 도 5를 참조로 하여 자세히 설명한다.

도 4는 본 발명의 다른 실시 예에 따른 증강현실 기반 SNS 정보를 제공하는 내비게이션 시스템의 구성도이다.

도 4를 참조하면, 증강현실 기반 SNS 정보를 제공하기 위한 내비게이션 시스템은 내비게이션 장치(1)와 메타데이터 처리장치(4)를 포함한다. 그리고, 도 4에 도시되어 있는 내비게이션 서비스를 제공하기 위한 시스템의 구성은 예시적인 것으로서, 내비게이션 서비스 제공 시스템은 동작을 위하여 필수적인 다른 장치들을 추가로 구비할 수도 있다. 예를 들어, 내비게이션 장치(1)와 메타데이터 처리장치(4) 사이의 정보교환은 별도의 유선 또는 무선 통신망을 통하여 이루어질 수 있으며, 내비게이션 장치(1)와 메타데이터 처리장치(4)의 통신을 위한 통신 장치 등이 추가로 구비될 수 있다. 메타데이터 처리장치(4)의 세부 구성에 대해서는 후술되는 도 5를 참조로 하여 자세히 설명한다.

도 5는 본 발명의 일 실시 예에 따른 메타데이터 처리장치의 구성도이다.

도 5를 참조하면, 메타데이터 처리장치(4)는 맵 노드 정의부(400), 맵 오버레이 노드 정의부(410), 맵 마커 노드 정의부(420), SNS 컨테이너 노드 정의부(430) 및 노드 처리부(440)를 포함한다. 나아가, 사용자 선호정보 메타데이터 저장부(450)를 더 포함할 수 있다.

도 5에 도시되어 있는 메타데이터 처리장치(4)의 구성은 예시적인 것으로서, 메타데이터 처리장치(4)는 도 5에 개시되어 있는 모듈들의 일부만을 구비하거나 및/또는 그 동작을 위하여 필수적인 다른 모듈들을 추가로 구비할 수도 있다. 예를 들어, 메타데이터 처리장치(4)는 다른 장치와 통신을 위하여 통신 기능을 가지는 통신부 등을 추가로 구비할 수 있다.

기존 MPEG-ARAF(Augmented Reality Application Format)에서 정의하고 있는 맵 관련 노드는 맵 노드(map node), 맵 오버레이 노드(map overlay node) 및 맵 마커 노드(map marker node)이다. 이러한 노드들을 이용하여 맵을 설정하고 맵의 인스턴스를 그룹핑할 수 있는 레이어를 설정하며 맵 인스턴스를 정의하는 기능을 수행한다. 그러나, 이러한 맵 관련 노드만으로는 맵 상에 표현될 수 있는 다양한 형태의 정보, 예를 들어 증강된 형태의 SNS 정보를 표현하는 데에 한계가 있다. 그 이유는 전술한 맵 관련 노드는 단순히 맵 상에 특정 지점을 표현하기 위한 노드일 뿐이며, 그 위치에서 다양한 사람들이 활동한 흔적과 같은 SNS 정보는 표현할 방법이 없기 때문이다. 이를 해결하기 위해, 본 발명은 맵 상의 위치정보와 SNS 정보를 표현할 수 있는 새로운 노드인 SNS 컨테이너 노드를 정의한다. SNS 정보는 서비스를 제공하는 제공자에 따라 서로 다른 정보의 구조를 가지기 때문에, SNS 노드를 정의한다 할지라도 SNS 정보를 SNS 컨테이너 노드로 매핑하는 작업이 필요하다. 이러한 부분은 지원하는 SNS 서비스에 따른 내부 매핑 프로그램으로 해결한다.

또한, 증강현실 내비게이션 시스템은 대부분의 사용자들이 사용하고 있는 범용적인 시스템이며, 각 사용자마다 선호하는 셋팅정보와 선호하는 증강정보가 다르다. 이를 해결하기 위하여, 본 발명은 각 사용자가 증강현실 내비게이션 시스템을 구동시킬 때 마다 번번히 자신이 선호하는 형태로 셋팅하기 보다는 사용자 선호정보를 메타데이터 형태로 저장하고 이를 로딩하여 사용하도록 하여 사용자에게 편리함을 제공한다. 예를 들어, 사용자가 선호하는 줌 레벨, 사용자가 주로 검색하는 위치의 카테고리 등의 선호정보를 한번 저장하고, 이를 증강현실 내비게이션 시스템이 시동될 때 자동으로 로딩하여 셋팅하도록 한다.

본 발명은 MPEG-4 BIFS에서 SNS 정보를 표현할 수 있도록 하고, 이를 활용하여 맵 마커를 생성 또는 업데이트하거나, 내비게이션 장치의 초기 셋팅을 자동설정하고 사용자가 관심있는 SNS 정보의 카테고리를 표시하는 기술에 대한 것이다. 이를 위한 메타데이터 처리장치(4)의 구성에 대해 구체적으로 설명한다.

맵 노드 정의부(400)는 가상의 맵을 설정하기 위한 맵 노드를 정의한다. 맵 오버레이 노드 정의부(410)는 맵 노드 정의부(400)에 의하여 정의된 맵 노드에 따라 설정된 맵 위에 증강객체가 오버레이될 레이어를 설정하기 위한 맵 오버레이 노드를 정의한다. 맵 오버레이 노드는 다수의 맵 마커 노드를 자식 노드(Child Node)로 추가할 수 있다. 맵 오버레이 노드를 통하여 자식 노드 즉, 하위 노드인 맵 마커 노드를 전체적으로 제어할 수 있다. 예를 들어, 하위 노드인 맵 마커 노드를 일괄적으로 보이지 않게 제어하거나 또는 하위 노드인 맵 마커 노드에 대하여 일괄적으로 클릭 이벤트를 허용하도록 제어할 수 있다.

맵 마커 노드 정의부(420)는 맵 오버레이 노드 정의부(410)에 의하여 정의된 맵 오버레이 노드에 따라 설정된 레이어 위에 오버레이될 증강객체의 관심 지점(Point of Interest)을 설정하기 위한 맵 마커 노드를 정의한다. 맵 마커 노드는 맵 상의 지점을 나타내는 end node로 기본적으로 좌표정보와 지점의 이름을 포함한다.

SNS 컨테이너 노드 정의부(430)는 맵 마커 노드 정의부(420)에 의하여 설정된 맵 상의 지점에 SNS 정보를 설정하기 위한 SNS 정보 노드를 정의한다.

노드 처리부(440)는 맵 노드 정의부(400)에 의하여 정의된 맵 노드에 따라 가상의 맵을 로딩하고, 맵 오버레이 노드 정의부(410)에 의하여 정의된 맵 오버레이 노드에 따라 레이어를 로딩한다. 그리고, 맵 마커 노드 정의부(420)에 의하여 정의된 맵 마커 노드에 따라 맵 마커를 로딩하며, SNS 컨테이너 노드 정의부(430)에 의하여 정의된 SNS 컨테이너 노드에 따라 SNS 정보를 로딩한다.

SNS 정보를 SNS 컨테이너 노드로 매핑 후, 화면에 SNS 정보를 제공하는 방법은 두 가지가 있을 수 있다. 첫째, SNS 컨테이너 노드를 앱 인스턴스를 생성하는 맵 마커 노드 대신 사용하는 방법과, 맵 마커 노드를 일부 수정하여 SNS 컨테이너 노드를 콜 할 수 있도록 하는 방법이 그것이다. 도 8에서는 맵 마커 노드를 일부 수정하여 SNS 정보를 맵 마커를 통하여 표현하는 방법에 대해 후술한다.

일 실시 예에 따른 노드 처리부(440)는 사용자 선호정보 메타데이터 저장부(450)에 저장된 사용자 선호정보 메타데이터를 이용하여 사용자 선호정보가 반영된 SNS 정보를 맵 마커를 생성하고, 생성된 맵 마커를 로딩한다.

사용자 선호정보 메타데이터 저장부(450)에는 사용자 선호정보 메타데이터가 저장된다. 여기서, 메타데이터는 데이터에 관한 구조화된 데이터로 다른 데이터를 설명해 주는 데이터를 의미하며, 속성정보라고도 한다. 대량의 정보 가운데에서 찾고자 하는 정보를 효율적으로 찾아내어 이용하기 위하여 일정한 규칙에 따라 콘텐츠에 대하여 부여되는 데이터이다. 여기에는 콘텐츠의 위치, 내용, 작성자에 관한 정보, 권리 조건, 이용 조건, 이용 내력 등이 기록되어 있다. 컴퓨터에서는 보통 메타데이터를 데이터를 표현하기 위한 목적과 데이터를 빨리 찾기 위한 목적으로 사용하고 있다.

데이터를 표현하기 위한 목적으로 사용되는 메타데이터의 가장 좋은 예는 HTML 태그이다. 데이터에 관한 구조화라는 것은 HTML 태그 안에 head나 body가 있으며, body 안에는 table이 올 수 있고, table 안에는 tr이, tr 안에는 td가 올 수 있는 것처럼 데이터가 상위에서 하위로 나무(tree) 형태의 구조를 이루고 있다는 의미이다.

데이터를 빨리 찾기 위한 목적으로 사용되는 메타데이터는 컴퓨터에서 정보의 인덱스(Index) 역할을 한다. 데이터베이스도 이러한 메타데이터가 잘 구성되어 있기 때문에 데이터를 빨리 찾을 수 있다. 사용자는 메타데이터를 이용하여 자기가 원하는 특정 데이터를 검색엔진 등으로 쉽게 찾아낼 수 있다. 영화의 한 장면(scene)에 등장하는 배우의 데이터를 추출하거나 축구 경기의 비디오에서 골인 장면만을 뽑아낼 수 있고, 또 이 자료들을 편집할 수 있는 것도 메타데이터의 기능이다.

전자의 경우에서나 후자의 경우에 메타데이터는 데이터를 사용하는 사람에게는 보이지 않는다. 그러나 기계(컴퓨터)는 메타데이터의 내용을 이해하고 이를 이용한다. 곧, 웹 자료나 다른 것들에 관해 기계가 이해할 수 있는 정보가 메타데이터이다. 즉, 맵 마커 정보를 표준화된 방식으로 표현하기 위한 스키마(Schema)를 정의한 것이 맵 마커 메타데이터이고, 사용자 선호정보를 표준화된 방식으로 표현하기 위한 스키마(Schema)를 정의한 것이 사용자 선호정보 메타데이터이다.

도 6은 본 발명의 일 실시 예에 따른 MPEG-ARAF에 맵 기반 증강현실 서비스를 제공하기 위하여 정의하고 있는 맵 노드, 맵 오버레이 노드 및 맵 마커 노드 사이의 관계를 나타내는 도면이다.

도 5 및 도 6을 참조하면, 맵 노드 정의부(400)에 의하여 정의된 맵 노드에 따라 가상의 맵(600)을 설정한다. 맵 노드에 따라 맵(600)이 설정되면, 맵 오버레이 노드 정의부(410)에 의하여 정의된 맵 오버레이 노드에 따라 맵 위에 증강객체가 오버레이될 각 레이어(610)를 설정한다. 맵 오버레이 노드에 따라 각 레이어(610)가 설정되면, 맵 마커 노드 정의부(420)에 의하여 정의된 맵 마커 노드에 따라 각 레이어에 오버레이될 맵 마커(620)를 설정한다.

일 실시 예에 따른 맵 오버레이 노드는 다수의 맵 마커 노드를 자식 노드(Child Node)로 추가할 수 있다. 맵 오버레이 노드를 통하여 자식 노드 즉, 하위 노드인 맵 마커 노드를 전체적으로 제어할 수 있다. 예를 들어, 하위 노드인 맵 마커 노드를 일괄적으로 보이지 않게 제어하거나 또는 하위 노드인 맵 마커 노드에 대하여 일괄적으로 클릭 이벤트를 허용하도록 제어할 수 있다. 또한, 맵 마커 노드는 맵 상의 지점을 나타내는 노드로 기본적으로 좌표정보 및 지점의 이름을 포함할 수 있다.

도 7은 본 발명의 일 실시 예에서 정의한 맵 마커 메타데이터를 이용하여 초기 맵을 설정할 때 맵 지점 인스턴스를 생성하거나 또는 이미 생성된 맵 지점 인스턴스를 업데이트하는 예를 보여주는 도면이다.

도 7을 참조하면, 맵 마커 메타데이터(map marker metadata)(700)를 이용하여 맵 오버레이 노드(730)와 맵 마커 노드(740)를 제어할 수 있다. 사용자 선호정보 메타데이터(user preference metadata)(710)를 이용하여 맵 노드(720), 맵 오버레이 노드(730) 및 맵 마커 노드(740)를 제어할 수 있다. 또한, 사용자 선호정보 메타데이터(710)를 이용하여 해당 맵 마커 인스턴스의 가시화(Visibility) 속성을 활성화하거나(ON) 또는 비활성화(OFF)할 수 있다. 맵 오버레이 노드(730) 역시 맵 마커 메타데이터(700)를 이용하여 초기 맵 마커를 생성할 수 있으며, 사용자 선호정보 메타데이터(710)를 이용하여 해당 맵 오버레이에 속한 모든 맵 마커의 가시화(Visibility) 속성이나 활성화(Clickable) 속성을 활성화하거나(ON) 또는 비활성화(OFF)할 수 있다. 맵 노드(720)에서는 사용자 선호정보 메타데이터(710)를 이용하여 맵의 줌 레벨을 설정하거나 맵의 모드(예를 들어, SATELLITE, PLANE, ROADMAP, TERRAIN 등)를 설정할 수도 있다.

도 8은 본 발명의 일 실시 예에 따라 수정된 맵 마커 노드의 프로토 타입을 도시한 도면이다. 세부적으로, 도 8은 맵 마커(MapMarker) 노드의 필드 타입, 필드의 데이터 포맷, 필드 이름, 필드의 초기값을 차례로 기술한 것이다.

도 8을 참조하면, 맵 마커 노드를 수정하여 SNS 정보를 맵 마커를 통하여 표현한다. 수정된 맵 마커 노드는 기존의 맵 마커 노드에 SNS 컨테이너(snsContainer) 필드(800)를 추가하고, SNS 컨테이너 프로토(SNS_Container PROTO)를 참조하여 맵 마커를 통해 SNS 정보를 표현한다. SNS 컨테이너 프로토에 대해서는 도 9를 참조로 하여 후술한다.

도 9는 본 발명의 일 실시 예에 따른 SNS 컨테이너 프로토 타입을 도시한 도면이다.

도 9를 참조하면, SNS 컨테이너 프로토는 SNS 정보를 표현한다. 일 실시 예에 따른 SNS 컨테이너 프로토는, 정적 정보인 User_Description_Static_Data 엘리먼트와, 동적 정보인 SNS_Activity 엘리먼트를 포함한다. 정적 정보인 User_Description_Static_Data 엘리먼트는 사용자의 프로파일 중 쉽게 변하지 않는 정보를 나타내는 것으로, SNS 정보를 작성한 사용자에 대한 정보를 포함한다. 동적 정보인 SNS_Activity 엘리먼트는 사용자의 관심과 활동 등에 관련된 내용으로 사용자의 생활 패턴과 활동 등에 따라 언제든지 변할 수 있는 가변정보로서, 사용자가 SNS 서비스를 이용하면서 포스팅한 글이나 사진 등의 콘텐츠 등록과 같은 SNS 활동 정보를 포함한다.

도 10은 본 발명의 일 실시 예에 따른 도 9의 정적 정보인 User_Description_Static_Data 엘리먼트의 프로토 타입을 도시한 도면이다.

도 10을 참조하면, 정적 정보인 User Description Static Data PROTO는 SNS 정보를 작성한 사용자 및 디바이스에 대한 정보를 표현한다. 구체적으로, 이름(name) 정보는 사용자의 이름을 나타낸다. 사진(photo) 정보는 사용자의 사진이 있는 위치를 나타낸다. 이메일(email) 정보는 사용자의 이메일 주소를 나타낸다. 연락처(phone) 정보는 사용자의 전화번호를 나타낸다. 주소(address) 정보는 사용자의 주소를 나타낸다. 웹사이트(website) 정보는 사용자의 홈페이지를 나타낸다. 성별(sex) 정보는 사용자의 성별을 나타낸다. 관심사(interesting) 정보는 사용자의 관심분야를 나타낸다. 결혼(marriage) 정보는 사용자의 결혼 상태를 나타낸다. 언어(language) 정보는 사용자가 사용하는 언어를 나타낸다. 종교(religion) 정보는 사용자의 종교를 나타낸다. 정치관점(politicalView) 정보는 사용자의 정치 관점을 나타낸다. 직업(job) 정보는 사용자의 직업을 나타낸다. 대학교(college) 정보는 사용자가 졸업한 대학교를 나타낸다. 고등학교(highSchool) 정보는 사용자가 졸업한 고등학교를 나타낸다. 기술(skill) 정보는 사용자가 가지고 있는 기술을 나타낸다.

도 11은 본 발명의 일 실시 예에 따른 도 9의 동적 정보인 SNS Activity 엘리먼트의 프로토 타입을 도시한 도면이다.

도 11을 참조하면, 동적 정보인 SNS Activity PROTO는 SNS 활동 정보를 표현한다. 구체적으로, 포스팅 위치(snsPostLocation) 정보는 사용자가 포스팅한 위치를 나타낸다. 3개의 value 값의 의미는 각각 latitude, longitude, 그리고 altitude를 나타낸다. 포스팅 글 제목(snsPostTitle) 정보는 사용자가 포스팅한 글의 제목을 나타낸다. 포스팅미디어(snsPostMedia) 정보는 사용자가 포스팅한 미디어가 있는 위치를 나타낸다. 포스팅 미디어 타입(snsPostMediaType) 정보는 사용자가 포스팅한 미디어의 종류를 나타낸다.

도 12는 본 발명의 일 실시 예에 따른 사용자 선호정보 메타데이터(user preference metadata)의 구조도이다.

도 5와 도 12를 참조하면, 사용자 선호정보 메타데이터 저장부(450)는 사용자 입력 장치로부터 사용자의 선호도 정보를 입력받아 메타데이터 형태로 저장한다.

구체적으로, Radius 엘리먼트(1200)는 사용자를 중심으로 증강객체가 표현될 반경(미터 단위)을 나타낸다. Category 엘리먼트(1210)는 사용자가 검색하기 원하는 POI의 카테고리를 나타낸다. 예를 들어, 레스토랑, 주차장, 쇼핑센터, 테마파크 등이 될 수 있다. 표현방법은 ISO/IEC 15938-5에서 정의하고 있는 termReferenceType 형태로 표현될 수 있다. Time 엘리먼트(1220)는 사용자가 보기 원하는 맵 인스턴스의 업데이트된 시간으로, 여기에 기술된 시간 이전에 업데이트된 인스턴스만 보여진다. NumItem 엘리먼트(1230)는 사용자의 창에 보이는 증강객체의 최대 숫자를 나타낸다.

도 13은 본 발명의 일 실시 예에 따른 메타데이터 처리방법을 도시한 흐름도이다.

본 발명의 실시 예를 포함하여 이하에서 설명되는 절차는 다양한 형태로 구현하는 것이 가능하다. 도 13을 참조로 하여 설명하는 메타데이터 처리방법은 도 5의 메타데이터 처리장치(4) 또는 이를 구비하는 내비게이션 장치를 이용하여 메타데이터를 처리하는 방법일 수 있다. 따라서, 불필요한 반복을 피하기 위하여 메타데이터 처리방법에 관하여 간략히 설명하며, 여기에서 설명되지 않은 사항은 도 5를 참조하여 설명한 사항이 동일하게 적용될 수 있다.

도 5 및 도 13을 참조하면, 먼저 가상의 맵을 설정하기 위한 맵 노드를 정의한다(1300). 이어서, 맵 오버레이 노드를 정의한다(1310). 여기서, 맵 오버레이 노드는 정의된 맵 노드에 따라 설정된 맵 위에 증강객체가 오버레이될 레이어를 설정하기 위한 노드일 수 있다. 그리고, 맵 마커 노드를 정의한다(1320). 맵 마커 노드는 정의된 맵 오버레이 노드에 따라 설정된 레이어 위에 오버레이될 증강객체의 맵 상에서의 지점을 설정하기 위한 노드일 수 있다.

이어서, SNS 정보를 설정하기 위한 SNS 컨테이너 노드를 정의한다(1330). 일 실시 예에 따른 SNS 컨테이너 노드 정의 방법으로, 맵 마커 노드를 수정하여 SNS 정보를 맵 마커 노드를 통해 정의할 수 있다. 이때, 맵 마커 노드에 SNS 컨테이너 필드를 추가하고 SNS 정보를 표현하기 위한 SNS 컨테이너 프로토를 참조하여 SNS 정보를 설정할 수 있다.

일 실시 예에 따른 SNS 컨테이너 프로토는 동적 정보 엘리먼트와 정적 정보 엘리먼트를 포함한다. 정적 정보 엘리먼트는 SNS 정보를 작성한 사용자 및 디바이스에 대한 정보일 수 있다. 예를 들어, 정적 정보 엘리먼트는 사용자의 이름, 사용자의 사진이 있는 위치, 사용자의 이메일 주소 정보, 사용자의 전화번호 정보, 사용자의 주소, 사용자의 홈페이지, 사용자의 성별, 사용자의 관심분야, 사용자의 결혼 상태, 사용자가 사용하는 언어, 사용자의 종교, 사용자의 정치 관점, 사용자의 직업, 사용자가 졸업하고나 다니는 학교, 사용자가 가지고 있는 기술 정보 중에서 하나 이상을 포함할 수 있다. 동적 정보 엘리먼트는 사용자의 SNS 활동 정보일 수 있다. 예를 들어, 동적 정보 엘리먼트는 사용자가 포스팅한 위치, 사용자가 포스팅한 글의 제목, 사용자가 포스팅한 미디어가 있는 위치, 사용자가 포스팅한 미디어의 종류 중에서 하나 이상을 포함할 수 있다.

이어서, 정의된 맵 노드에 따라 맵을 로딩한다(1350). 여기서, 맵 노드는 사용자 선호정보 필드를 포함할 수 있다. 맵 노드는 사용자 선호정보 필드에서 저장된 사용자 선호정보 메타데이터를 참조하여, 맵의 줌 레벨 및 맵의 모드 중 하나 이상을 설정할 수 있다. 그리고, 정의된 맵 오버레이 노드에 따라 레이어를 로딩한다(1360). 여기서, 맵 오버레이 노드는 사용자 선호정보 필드를 포함할 수 있다. 맵 오버레이 노드는 사용자 선호정보 필드에서 저장된 사용자 선호정보 메타데이터를 참조하여, 맵 마커의 가시화(visibility) 및 활성화(clickable) 속성 중에서 하나 이상을 설정할 수 있다. 또는 맵 오버레이 노드는 관심지점 메타데이터 필드를 포함할 수 있다. 맵 오버레이 노드는 관심지점 메타데이터 필드에서 저장된 맵 마커 메타데이터를 참조하여, 맵 마커를 설정할 수 있다.

이어서, 정의된 맵 마커 노드에 따라 맵 마커를 로딩한다(1370). 여기서, 맵 마커 노드는 맵 마커 업데이트 필드를 포함할 수 있다. 맵 마커 노드는 맵 마커 업데이트 필드에서 저장된 맵 마커 메타데이터를 참조하여, 맵 마커를 업데이트할 수 있다.

이어서, 정의된 SNS 컨테이너 노드에 따라 맵 마커에 SNS 정보를 함께 로딩한다(1380). 이때, 가상의 맵 상의 관심 지점에 SNS 정보를 설정하는 SNS 컨테이너 노드에 따라 SNS 정보를 로딩할 수 있다.

한편, 일 실시 예에 따른 메타데이터 처리방법은, 사용자의 선호정보를 메타데이터 형태로 저장하는 단계(1340)를 더 포함한다. 사용자 선호정보 메타데이터는 사용자를 중심으로 증강객체가 표현될 반경을 나타내는 정보, 사용자가 검색하고자 하는 관심 지점의 카테고리를 나타내는 정보, 사용자의 화면에 보여질 증강객체의 최대 숫자를 나타내는 정보, 사용자가 보기 원하는 맵 인스턴스의 업데이트된 시간 정보 중에서 하나 이상을 포함할 수 있다. 이 경우, 맵 마커에 SNS 정보를 함께 로딩하는 단계(1380)에서, 사용자 선호정보 메타데이터를 이용하여 사용자 선호도가 반영된 SNS 정보를 맵 마커에 함께 로딩할 수 있다.

본 발명이 적용될 산업 분야로는 방송사업자, 광고사업자, 콘텐츠 사업자 등 방송프로그램이 적용되는 전반적인 산업에 적용이 가능하다.

또한, 이러한 메타데이터 처리방법은 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체에 저장될 수 있다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 제안된 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

1: 내비게이션 장치 2: 장면 제공자
3: SNS 제공 서버 4: 메타데이터 처리장치
10: 영상 획득부 11: 센서
12: 입력부 13: 제어부
14: 저장부 15: 출력부
16: 통신부 20: MPEG-ARAF 브라우저
200: 장면 처리부 210: 좌표 매핑부
400: 맵 노드 정의부 410: 맵 오버레이 노드 정의부
420: 맵 마커 노드 정의부 430: SNS 컨테이너 노드 정의부
440: 노드 처리부 450: 사용자 선호정보 메타데이터 저장부

Claims (17)

1. 실 세계 영상을 실시간으로 획득하는 영상 획득부;
   상기 획득된 실 세계 영상을 배경으로 가상의 맵을 생성하고 가상의 맵의 관심 지점에 증강된 형태의 소셜 네트워크 서비스(social network service: SNS, 이하 SNS라 칭함) 정보를 매핑하는 제어부; 및
   상기 가상의 맵 상에 매핑된 SNS 정보를 실 세계 영상에 표시하는 출력부;
   를 포함하는 것을 특징으로 하는 내비게이션 장치.
2. 제 1 항에 있어서, 상기 제어부는
   SNS 정보를 SNS 컨테이너 노드로 매핑하고 SNS 컨테이너 노드를 통해 SNS 컨테이너 프로토를 참조하여 실 세계 영상의 증강 영역에 SNS 정보를 로딩하는 장면 처리부;
   를 포함하는 것을 특징으로 하는 내비게이션 장치.
3. 제 2 항에 있어서,
   상기 SNS 컨테이너 프로토는 사용자의 정적 정보와 동적 정보를 포함하며,
   정적 정보는 SNS 정보를 작성한 사용자 및 디바이스 관련 정보이고, 동적 정보는 사용자의 SNS 활동 정보인 것을 특징으로 하는 내비게이션 장치.
4. 제 1 항에 있어서, 상기 제어부는
   사용자 선호정보 메타데이터를 이용하여 사용자 선호도가 반영된 SNS 정보를 로딩하는 것을 특징으로 하는 내비게이션 장치.
5. 제 1 항에 있어서, 상기 내비게이션 장치는
   SNS 제공 서버에 사용자 식별자 정보, 사용자 선호도 정보 및 사용자 위치정보를 제공하며, 상기 SNS 제공 서버가 상기 내비게이션 장치로부터 수신된 정보들을 이용하여 요청한 사용자에 해당하는 SNS 정보를 검색하면, 상기 SNS 제공 서버로부터 검색된 SNS 정보를 수신하는 제1 통신부;
   를 더 포함하는 것을 특징으로 하는 내비게이션 장치.
6. 제 1 항에 있어서, 상기 내비게이션 장치는
   장면 제공자로부터 SNS 제공 서버에 접속할 수 있는 접속 정보를 수신하는 제2 통신부;
   를 더 포함하며,
   상기 제어부는 수신된 접속 정보를 이용하여 SNS 제공 서버에 접속하는 것을 특징으로 하는 내비게이션 장치.
7. 가상의 맵을 설정하기 위한 맵 노드를 정의하는 맵 노드 정의부;
   설정된 가상의 맵 위에 증강객체가 오버레이될 레이어를 설정하기 위한 맵 오버레이 노드를 정의하는 맵 오버레이 노드 정의부;
   설정된 레이어 위에 오버레이될 증강객체의 맵 상에서의 지점을 설정하기 위한 맵 마커 노드를 정의하는 맵 마커 노드 정의부;
   설정된 맵 상의 지점에 SNS 정보를 설정하기 위한 SNS 컨테이너 노드를 정의하는 SNS 컨테이너 노드 정의부; 및
   상기 맵 노드 정의부에 의하여 정의된 맵 노드에 따라 가상의 맵을 로딩하고, 상기 맵 오버레이 노드 정의부에 의하여 정의된 맵 오버레이 노드에 따라 레이어를 로딩하고, 상기 맵 마커 노드 정의부에 의하여 정의된 맵 마커 노드에 따라 맵 마커를 로딩하며, 상기 SNS 노드 정의부에 의하여 정의된 SNS 컨테이너 노드에 따라 SNS 정보를 로딩하는 노드 처리부;
   를 포함하는 것을 특징으로 하는 메타데이터 처리장치.
8. 제 7 항에 있어서, 상기 SNS 컨테이터 노드 정의부는
   맵 마커 노드를 수정하여 맵 마커 노드에 SNS 컨테이너 필드를 추가하고 SNS 정보를 표현하기 위한 SNS 컨테이너 프로토를 참조하여 SNS 정보를 설정하는 것을 특징으로 하는 메타데이터 처리장치.
9. 제 8 항에 있어서,
   상기 SNS 컨테이너 프로토는 SNS 정보를 작성한 사용자 및 디바이스에 대한 정보인 정적 정보 엘리먼트를 포함하는 것을 특징으로 하는 메타데이터 처리장치.
10. 제 9 항에 있어서,
    상기 정적 정보 엘리먼트는 사용자의 이름, 사용자의 사진이 있는 위치, 사용자의 이메일 주소 정보, 사용자의 전화번호 정보, 사용자의 주소, 사용자의 홈페이지, 사용자의 성별, 사용자의 관심분야, 사용자의 결혼 상태, 사용자가 사용하는 언어, 사용자의 종교, 사용자의 정치 관점, 사용자의 직업, 사용자가 졸업하고나 다니는 학교, 사용자가 가지고 있는 기술 정보 중에서 하나 이상을 포함하는 것을 특징으로 하는 메타데이터 처리장치.
11. 제 8 항에 있어서,
    상기 SNS 컨테이너 프로토는 사용자의 SNS 활동 정보인 동적 정보 엘리먼트를 포함하는 것을 특징으로 하는 메타데이터 처리장치.
12. 제 11 항에 있어서, 상기 동적 정보 엘리먼트는
    사용자가 포스팅한 위치, 사용자가 포스팅한 글의 제목, 사용자가 포스팅한 미디어가 있는 위치, 사용자가 포스팅한 미디어의 종류 중에서 하나 이상을 포함하는 것을 특징으로 하는 메타데이터 처리장치.
13. 제 7 항에 있어서, 상기 메타데이터 처리장치는
    사용자의 선호정보를 메타데이터 형태로 저장하는 사용자 선호정보 메타데이터 저장부;
    를 더 포함하고,
    상기 노드 처리부는 상기 사용자 선호정보 메타데이터 저장부에 저장된 사용자 선호정보 메타데이터를 이용하여 사용자 선호도가 반영된 SNS 정보를 맵 마커에 함께 로딩하는 것을 특징으로 하는 메타데이터 처리장치.
14. 제 13 항에 있어서,
    사용자 선호정보 메타데이터는 사용자를 중심으로 증강객체가 표현될 반경을 나타내는 정보, 사용자가 검색하고자 하는 관심 지점의 카테고리를 나타내는 정보, 사용자의 화면에 보여질 증강객체의 최대 숫자를 나타내는 정보, 사용자가 보기 원하는 맵 인스턴스의 업데이트된 시간 정보 중에서 하나 이상을 포함하는 것을 특징으로 하는 메타데이터 처리장치.
15. 맵 노드, 맵 오버레이 노드 및 맵 마커 노드를 정의하는 단계;
    맵 상의 지점에 SNS 정보를 설정하기 위한 SNS 컨테이너 노드를 정의하는 단계;
    맵 노드의 정의에 따라 가상의 맵을 로딩하고, 맵 오버레이 노드의 정의에 따라 맵 위에 증강객체가 오버레이될 레이어를 로딩하고, 맵 마커 노드의 정의에 따라 레이어 위에 맵 마커를 로딩하는 단계; 및
    SNS 컨테이너 노드 정의에 따라 맵 마커에 SNS 정보를 로딩하는 단계;
    를 포함하는 것을 특징으로 하는 메타데이터 처리방법.
16. 제 15 항에 있어서, 상기 맵 마커에 SNS 정보를 로딩하는 단계는
    가상의 맵 상의 관심 지점에 SNS 정보를 설정하는 SNS 컨테이너 노드에 따라 SNS 정보를 로딩하고,
    상기 SNS 컨테이너 노드는 사용자의 정적 정보와 동적 정보를 포함하는 SNS 컨테이너 프로토를 참조하여 SNS 정보를 표현하며,
    상기 정적 정보는 SNS 정보를 작성한 사용자 및 디바이스에 대한 정보이고, 상기 동적 정보는 사용자의 SNS 활동 정보인 것을 특징으로 하는 메타데이터 처리방법.
17. 제 15 항에 있어서, 상기 메타데이터 처리방법은
    사용자의 선호정보를 메타데이터 형태로 저장하는 단계; 및
    사용자 선호정보 메타데이터를 이용하여 사용자 선호도가 반영된 SNS 정보를 맵 마커에 로딩하는 단계;
    를 더 포함하는 것을 특징으로 하는 메타데이터 처리방법.

Images