KR101985703B1 - 증강현실 서비스형 소프트웨어 기반의 증강현실운영시스템 - Google Patents

증강현실 서비스형 소프트웨어 기반의 증강현실운영시스템 Download PDF

Info

Publication number
KR101985703B1
KR101985703B1 KR1020180099262A KR20180099262A KR101985703B1 KR 101985703 B1 KR101985703 B1 KR 101985703B1 KR 1020180099262 A KR1020180099262 A KR 1020180099262A KR 20180099262 A KR20180099262 A KR 20180099262A KR 101985703 B1 KR101985703 B1 KR 101985703B1
Authority
KR
South Korea
Prior art keywords
augmented reality
virtual
management system
image
reality contents
Prior art date
Application number
KR1020180099262A
Other languages
English (en)
Inventor
하태진
김재인
박노영
김백선
하창수
길경원
Original Assignee
주식회사 버넥트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 버넥트 filed Critical 주식회사 버넥트
Priority to KR1020180099262A priority Critical patent/KR101985703B1/ko
Application granted granted Critical
Publication of KR101985703B1 publication Critical patent/KR101985703B1/ko
Priority to US16/531,742 priority patent/US10586397B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/04—Billing or invoicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06F17/248—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/322—Aspects of commerce using mobile devices [M-devices]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327—Short range or proximity payments by means of M-devices
    • G06Q20/3274—Short range or proximity payments by means of M-devices using a pictured code, e.g. barcode or QR-code, being displayed on the M-device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/001—Interfacing with vending machines using mobile or wearable devices
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/02—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus
    • G07F9/023—Arrangements for display, data presentation or advertising
    • G07F9/0235—Arrangements for display, data presentation or advertising the arrangements being full-front touchscreens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Abstract

증강현실 서비스형 소프트웨어 기반의 증강현실운영시스템은, 배포모드에서, URL(Uniform Resource Locator) 주소를 전송한 웹브라우저로 미리 할당된 3차원 가상영상을 제공하고, 저작모드에서, 증강현실 서비스형 소프트웨어 기반으로 증강현실 콘텐츠 제작을 지원함에 있어서, 관리자로써 인증된 웹브라우저 상에 상기 증강현실 콘텐츠를 제작하기 위한 템플릿을 제공하고, 사용한 템플릿의 종류에 따라 결제대금을 청구하는 증강현실 콘텐츠 관리시스템과, 배포모드에서, 설치된 웹브라우저를 통해 상기 URL(Uniform Resource Locator) 주소를 전송하여 상기 증강현실 콘텐츠 관리시스템으로부터 상기 3차원 가상영상을 제공받으며, 상기 웹브라우저에 표시되는 실제영상정보의 각 실제객체마다 미리 할당된 상기 3차원 가상영상의 가상객체를 증강하여 표시하는 사용자 단말기와, 저작모드에서, 설치된 웹브라우저를 통해 상기 증강현실 콘텐츠 관리시스템의 증강현실 서비스형 소프트웨어에 접속하여, 지도상에서 증강위치와, 증강위치에 존재하는 실제영상정보의 실제객체와, 실제객체에 할당되는 가상객체를 각각 설정하여 상기 증강현실 콘텐츠를 제작하는 관리자 단말기를 포함하는 것을 특징으로 한다.

Description

증강현실 서비스형 소프트웨어 기반의 증강현실운영시스템{Augmented reality service Software as a Service based Augmented Reality Operating System}
본 발명은 증강현실운영시스템에 관한 것으로서, 더 상세하게는 증강현실 서비스형 소프트웨어 기반의 증강현실운영시스템에 관한 것이다.
최근 카메라 모듈을 이용한 촬영 시 현실의 공간에 다양한 정보를 덧씌워 보여 주는 증강 현실(augmented reality) 기법을 이용한 콘텐츠 제공이 활발히 연구되고 있다.
증강현실(Augmented Reality, AR)이란 가상현실(Virtual Reality, VR)의 한 분야에 속하는 기술이며, 사용자가 감각으로 느끼는 실제환경에 가상환경을 합성하여 원래의 실제환경에 가상환경이 존재하는 것처럼 느끼게 하는 컴퓨터 기법이다.
이러한 증강 현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상현실과 달리 현실 세계의 기반에 가상사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 장점이 있다.
즉, 사용자가 보고 있는 실사 영상에 컴퓨터 그래픽으로 만들어진 가상환경, 예를 들면, 3차원 가상환경을 정합함으로써 구현된 현실을 증강현실이라고 할 수 있다. 여기서, 3차원 가상환경은 사용자가 바라보는 실사 영상에서 필요한 정보를 제공해주고, 3차원 가상영상은 실사영상과 정합되어 사용자의 몰입도를 높일 수 있다.
이러한 증강현실은 단순 가상현실 기술에 비하여 3차원 가상환경에 실사영상도 같이 제공하여 현실환경과 가상환경과의 구분이 모호해지게 함으로써, 보다 나은 현실감을 제공할 수 있다.
이와 같은 증강현실 시스템의 장점에 기인하여, 최근 세계적으로 증강현실을 접목한 기술에 대해 활발한 연구/개발이 진행되고 있다. 예를 들어, 증강 현실 기술은 방송, 광고, 전시, 게임, 테마 파크, 군용, 교육 및 프로모션 등의 분야에서 실용화가 진행 중인 상태이다.
이동 단말기는 최근 휴대폰, PDA(personal digital assistants), UMPC(ultra mobile personalcomputer) 등 모바일 기기의 컴퓨팅 능력 향상 및 무선 네트워크 장치의 발달로 핸드헬드(handheld) 증강현실시스템이 가능해 졌다.
이러한 시스템이 가능해지면서 모바일 기기를 사용한 증강현실 어플리케이션이 다수 개발되었다. 그리고 모바일 기기의 보급이 매우 빠르게 보편화되어 증강현실 어플리케이션을 접할 수 있는 환경이 조성되고 있는 상황이다.
더불어, 단말기의 증강현실을 이용한 다양한 부가서비스에 대한 사용자 요구가 증대하고 있으며, 이를 이용하여 단말기 사용자에게 다양한 증강현실 콘텐츠를 적용하려는 시도가 증가하고 있다.
한국특허 공개번호 제10-2016-0092292호는 "광고물에 대한 증강현실 서비스 제공 시스템 및 방법"에 관한 것으로서, 광고물에 증강현실을 적용하여 광고 대상에 관련된 정보들을 피광고자가 손쉽게 취득할 수 있고 흥미롭게 몰입하여 습득할 수 있도록 하는 등 효과적으로 전달할 수 있는 시스템을 제안하고 있다.
한편, 종래의 증강현실 시스템은 증강현실서버를 구축해야하고, 증강현실서버에 접속해서 증강현실을 구동할 애플리케이션까지 동시에 개발해야 했다. 즉, 종래에는 증강현실서비스를 구현하기 위해서 개별적으로 "서버 - 앱"을 구축해야 하므로 콘텐츠 창작보다는 시스템 구축에 보다 많은 비용을 들여야 하는 문제점이 있다.
KR 110-2016-0092292 A
본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 증강현실 서비스형 소프트웨어(Augmented reality Software as a Service, SaaS)를 활용하여 URL(Uniform Resource Locator) 주소 형태로 쉽고 빠르게 증강현실 콘텐츠를 생산하고 배포할 수 있는 증강현실운영시스템을 제공한다.
상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, URL(Uniform Resource Locator) 주소를 전송한 웹브라우저로 미리 할당된 3차원 가상영상을 제공하는 증강현실 콘텐츠 관리시스템과, 설치된 상기 웹브라우저를 통해 상기 URL(Uniform Resource Locator) 주소를 전송하여 상기 증강현실 콘텐츠 관리시스템으로부터 상기 3차원 가상영상을 제공받으며, 상기 웹브라우저에 표시되는 실제영상정보의 각 실제객체마다 미리 할당된 상기 3차원 가상영상의 가상객체를 증강하여 표시하는 사용자 단말기를 포함하는 증강현실운영시스템이 제공된다.
또한, 본 발명에 포함되는 상기 증강현실 콘텐츠 관리시스템은, 상기 사용자 단말기로부터 전송되는 현재위치정보와 상기 실제영상정보에 대응되는 상기 3차원 가상영상을 상기 사용자 단말기에 실시간으로 제공하되, 상기 실제영상정보의 실제객체를 식별하고 식별된 실제객체에 각각 할당된 상기 3차원 가상영상의 가상객체를 상기 사용자 단말기에 제공하는 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따르면, 설치된 웹브라우저를 통해 증강현실 콘텐츠 관리시스템의 증강현실 서비스형 소프트웨어에 접속하여, 지도상에서 증강위치와, 상기 증강위치에 존재하는 실제영상정보의 실제객체와, 상기 실제객체에 할당되는 가상객체를 각각 설정하여 증강현실 콘텐츠를 제작하는 관리자 단말기와, 상기 증강현실 서비스형 소프트웨어 기반으로 상기 증강현실 콘텐츠 제작을 지원함에 있어서, 관리자로써 인증된 상기 웹브라우저 상에 상기 증강현실 콘텐츠를 제작하기 위한 템플릿을 제공하고, 사용한 템플릿의 종류에 따라 결제대금을 청구하는 상기 증강현실 콘텐츠 관리시스템을 포함하는 증강현실운영시스템이 제공된다.
또한, 본 발명에 포함되는 상기 증강현실 콘텐츠 관리시스템은, 상기 관리자 단말기로부터 전송되는 현재위치정보와 상기 실제영상정보에 대응되는 3차원 가상영상을 상기 관리자 단말기에 실시간으로 제공하되, 상기 실제영상정보의 실제객체를 식별하고 식별된 실제객체에 각각 할당된 상기 3차원 가상영상의 가상객체를 상기 관리자 단말기의 제어에 따라 실시간 업데이트 하는 것을 특징으로 한다.
또한, 본 발명의 또 다른 실시예에 따르면, 배포모드에서, URL(Uniform Resource Locator) 주소를 전송한 웹브라우저로 미리 할당된 3차원 가상영상을 제공하고, 저작모드에서, 증강현실 서비스형 소프트웨어 기반으로 증강현실 콘텐츠 제작을 지원함에 있어서, 관리자로써 인증된 웹브라우저 상에 상기 증강현실 콘텐츠를 제작하기 위한 템플릿을 제공하고, 사용한 템플릿의 종류에 따라 결제대금을 청구하는 증강현실 콘텐츠 관리시스템과, 배포모드에서, 설치된 웹브라우저를 통해 상기 URL(Uniform Resource Locator) 주소를 전송하여 상기 증강현실 콘텐츠 관리시스템으로부터 상기 3차원 가상영상을 제공받으며, 상기 웹브라우저에 표시되는 실제영상정보의 각 실제객체마다 미리 할당된 상기 3차원 가상영상의 가상객체를 증강하여 표시하는 사용자 단말기와, 저작모드에서, 설치된 웹브라우저를 통해 상기 증강현실 콘텐츠 관리시스템의 증강현실 서비스형 소프트웨어에 접속하여, 지도상에서 증강위치와, 증강위치에 존재하는 실제영상정보의 실제객체와, 실제객체에 할당되는 가상객체를 각각 설정하여 상기 증강현실 콘텐츠를 제작하는 관리자 단말기를 포함하는 증강현실운영시스템이 제공된다.
또한, 본 발명에 포함되는 상기 증강현실 콘텐츠 관리시스템은, 상기 배포모드에서, 상기 사용자 단말기로부터 전송되는 현재위치정보와 실제영상정보에 대응되는 상기 3차원 가상영상을 상기 사용자 단말기에 실시간으로 제공하되, 실제영상정보의 실제객체를 식별하고 식별된 실제객체에 각각 할당된 상기 3차원 가상영상의 가상객체를 상기 사용자 단말기에 제공하고, 상기 저작모드에서, 상기 관리자 단말기로부터 전송되는 현재위치정보와 상기 실제영상정보에 대응되는 상기 3차원 가상영상을 상기 관리자 단말기에 실시간으로 제공하되, 상기 실제영상정보의 실제객체를 식별하고 식별된 실제객체에 각각 할당된 상기 3차원 가상영상의 가상객체를 상기 관리자 단말기의 제어에 따라 실시간 업데이트 하는 것을 특징으로 한다.
본 발명의 실시예에 따른 증강현실운영시스템은, 증강현실 서비스형 소프트웨어(Augmented reality Software as a Service, SaaS)를 활용하여 URL(Uniform Resource Locator) 주소 형태로 쉽고 빠르게 증강현실 콘텐츠를 생산하고 배포할 수 있다.
웹을 통해 비프로그래머(비전문가)도 쉽게 증강현실 콘텐츠의 제작, 관리, 분석 기능을 임대하여 사용할 수 있으며, 저작 기능, 노출 기간, 등록/조회 수, 용량, 그룹 권한 설정 등 필요 기능에 따른 과금을 개별적으로 책정할 수 있다.
따라서 콘텐츠 제작자체에 집중할 수 있으며, 구축 및 유지보수에 고가의 비용이 필요한 설치형 애플리케이션에 비해 초저가로 증강현실 콘텐츠의 생산/배포가 가능하다. 즉, 웹 기반 증강현실 콘텐츠 관리시스템을 통해 제작된 증강현실 콘텐츠는 URL(Uniform Resource Locator) 주소로 배포되므로, 인터넷 기사, 블로그, SNS에 쉽게 공유 가능하며, 별도의 앱 설치 없이 웹 브라우저를 통해서 콘텐츠를 체험할 수 있기 때문에 접근성 매우 높다.
도 1은 본 발명의 실시예에 따른 증강현실운영시스템(1)의 구성도
도 2는 증강현실운영시스템(1)의 배포모드에서의 동작 예시도
도 3 내지 도 5는 증강현실운영시스템(1)의 저작모드에서 동작 예시도
도 6은 증강현실운영시스템(1)의 증강현실 콘텐츠 관리시스템(100)의 구성도
도 7은 계층적 트리형 자료구조 기반의 실시간 이미지 검색방식의 예시도
도 8 및 도 8a는 증강현실운영시스템(1)에서 가상객체를 움직이는 예시를 나타낸 도면
도 9는 증강현실운영시스템(1)에서 가상객체를 움직이는 다른 예시를 나타낸 도면
도 10은 증강현실운영시스템(1)에서 가상객체를 선택하는 조건을 나타낸 도면
도 11은 증강현실운영시스템(1)에서 유사객체를 식별하기 위한 학습과정을 나타낸 순서도
도 11a는 증강현실운영시스템(1)에서 유사객체를 식별하기 위한 추가인식영역을 선정하는 과정을 도시한 구성도
도 12는 증강현실운영시스템(1)에서 유사객체를 식별하는 과정을 나타낸 순서도
도 13은 증강현실운영시스템(1)에서 유사객체를 식별하는 상태를 나타낸 제1 예시도
도 14는 증강현실운영시스템(1)에서 유사객체를 식별하는 상태를 나타낸 제2 예시도
도 15는 증강현실운영시스템(1)의 다른 동작원리를 나타낸 도면
도 16 및 도 16a는 증강현실운영시스템(1)의 또 다른 동작원리를 나타낸 도면
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 증강현실운영시스템(1)의 구성도이다.
본 실시예에 따른 증강현실운영시스템(1)은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.
도 1을 참조하면, 증강현실운영시스템(1)은 증강현실 콘텐츠 관리시스템(100)과, 사용자 단말기(200)와, 관리자 단말기(300)를 포함하여 구성된다.
상기와 같이 구성되는 증강현실운영시스템(1)의 구성과 주요동작을 살펴보면 다음과 같다.
도 2는 증강현실운영시스템(1)의 배포모드에서의 동작 예시도이다.
도 2를 참조하면, 배포모드에서 증강현실 콘텐츠 관리시스템(100)은 URL(Uniform Resource Locator) 주소를 전송한 웹브라우저로 미리 할당된 3차원 가상영상을 제공한다.
사용자 단말기(200)는 설치된 웹브라우저를 통해 URL(Uniform Resource Locator) 주소를 전송하여 증강현실 콘텐츠 관리시스템(100)으로부터 3차원 가상영상을 제공받는다.
즉, 사용자 단말기(200)는 웹브라우저에 표시되는 실제영상정보의 각 실제객체마다 미리 할당된 3차원 가상영상의 가상객체를 증강하여 표시한다. 도 2에는 사용자 단말기(200)의 웹브라우저를 통해 표시된 웹 페이지에서 사용자가 URL(Uniform Resource Locator) 주소에 연결된 버튼을 클릭할 경우, 웹브라우저에 증강현실 콘텐츠가 표시되는 체험화면을 도시한 것이다.
사용자 단말기(200)는 별도의 증강현실 애플리케이션을 실행시키지 않고, 설치되어 있는 웹브라우저에서 URL(Uniform Resource Locator) 주소를 통해 증강현실 콘텐츠를 전송받아 표시할 수 있다.
도 3 내지 도 5는 증강현실운영시스템(1)의 저작모드에서 동작 예시도이다.
도 3 내지 도 5를 참조하면, 저작모드에서 관리자 단말기(300)는 설치된 웹브라우저를 통해 증강현실 콘텐츠 관리시스템(100)의 증강현실 서비스형 소프트웨어(Augmented reality Software as a Service, SaaS)에 접속하여, 지도상에서 증강위치와, 증강위치에 존재하는 실제영상정보의 실제객체와, 실제객체에 할당되는 가상객체를 각각 설정하여 증강현실 콘텐츠를 제작한다.
이때, 증강현실 콘텐츠 관리시스템(100)은 증강현실 서비스형 소프트웨어(Augmented reality Software as a Service, SaaS) 기반으로 증강현실 콘텐츠 제작을 지원한다. 즉, 증강현실 콘텐츠 관리시스템(100)은 관리자로써 인증된 웹브라우저 상에 증강현실 콘텐츠를 제작하기 위한 템플릿을 제공하고, 사용한 템플릿의 종류에 따라 결제대금을 청구한다.
따라서 프로그래머가 아닌 비전문가가 보다 쉽게 템플릿을 선택하여 증강현실 콘텐츠를 제작할 수 있어 콘텐츠 제작에만 집중할 수 있다. 또한, 사용한 기능만큼의 비용만 지불할 수 있으므로 예산에 맞게 콘텐츠를 쉽게 제작할 수 있는 장점이 있다.
또한, 관리자는 저작모드의 관리 페이지에서 위치, 이미지, 사용자별 증강현실 콘텐츠 조회수 총합, 평균, 시계열, 교차분석, 패턴 분석을 확인할 수 있다. 관리 페이지는 통계 분석의 직관적 시각화를 위한 인포그래픽 기능이 적용된다.
한편, 증강현실 콘텐츠 관리시스템(100)은 배포모드에서, 사용자 단말기(200)로부터 전송되는 현재위치정보와 실제영상정보에 대응되는 3차원 가상영상을 사용자 단말기(200)에 실시간으로 제공하되, 실제영상정보의 실제객체를 식별하고 식별된 실제객체에 각각 할당된 3차원 가상영상의 가상객체를 사용자 단말기에 제공한다.
즉, 사용자 단말기(200)로부터 전송되는 현재위치정보와, 사용자 단말기(200)의 카메라에서 촬영된 실제영상정보가 증강현실 콘텐츠 관리시스템(100)으로 전송될 경우, 증강현실 콘텐츠 관리시스템(100)은 실제영상정보의 실제객체를 식별하고 식별된 실제객체에 각각 할당된 3차원 가상영상의 가상객체를 사용자 단말기(200)로 전송한다.
또한, 증강현실 콘텐츠 관리시스템(100)은 저작모드에서, 관리자 단말기(300)로부터 전송되는 현재위치정보와 실제영상정보에 대응되는 3차원 가상영상을 관리자 단말기(300)에 실시간으로 제공하되, 실제영상정보의 실제객체를 식별하고 식별된 실제객체에 각각 할당된 3차원 가상영상의 가상객체를 관리자 단말기의 제어에 따라 실시간 업데이트할 수 있다.
즉, 관리자는 관리자 단말기(300)를 이용하여 현장에서 증강된 가상객체를 확인하면서 가상객체를 대체하거나 위치를 변경하는 등 실시간으로 편집할 수 있다.
도 6은 증강현실운영시스템(1)의 증강현실 콘텐츠 관리시스템(100)의 구성도이다.
도 6을 참조하면, 증강현실운영시스템(1)은, 콘텐츠 서버, 웹 기반 증강현실 뷰어모듈, 이미지 인식 서버, 웹 기반 증강현실 콘텐츠 관리모듈을 포함하여 구성된다.
콘텐츠 서버는 객체의 위치정보와, 실제객체 및 가상객체에 대한 데이터베이스가 구축되어 있다. 또한, 웹 기반 증강현실 뷰어모듈은 웹브라우저로부터 실체객체 및 위치정보를 수신받아 실체객체에 할당된 가상객체를 전송한다. 또한, 이미지 인식 서버는 이미지의 특징을 식별하여 구분하는 역할을 수행하며, 웹 기반 증강현실 콘텐츠 관리모듈은 지도뷰를 제공하고, 증강현실의 저작모드에 대한 기능, 관리자 기능을 담당한다.
상술한, 증강현실운영시스템(1)은 누구나 쉽게 초저가로 증강현실 콘텐츠를 만들고 배포할 수 있는 시스템으로 정의된다.
즉, 증강현실 콘텐츠 생성 및 관리를 위한 웹 기반 증강현실 콘텐츠 관리시스템(100)을 제안하여 비전문가도 쉽게 증강현실 콘텐츠를 제작할 수 있다.
또한, 국내 최초 웹 기반 증강현실 특화 서비스형 소프트웨어(SaaS) 기반의 증강현실 콘텐츠 관리시스템이며, 비전문가가 쉽고 빠르게 초저가로 증강현실 콘텐츠를 생산/배포할 수 있다. 또한, 체험자는 웹 브라우저를 활용하여, 별도의 앱을 설치하지 않고 증강현실 콘텐츠를 체험할 수 있다. 또한, 체험자는 증강현실 장소에 방문하여 웹브라우저를 통해 증강된 가상객체를 체험할 수 있다. 이때 웹브라우저는 네비게이션 기능이 적용되어 증강현실 장소로 체험자를 안내할 수도 있다.
증강현실운영시스템(1)은 증강현실 서비스형 소프트웨어(Augmented reality Software as a Service, SaaS)기반의 임대형 소프트웨어(S/W)를 이용함으로써 초저가로 증강현실 콘텐츠 제작 및 관리가 가능하다.
또한, 증강현실 서비스형 소프트웨어(Augmented reality Software as a Service, SaaS)가 적용된 증강현실 콘텐츠 관리시스템을 활용하여 콘텐츠를 업데이트하면 자동으로 웹 기반 증강현실 뷰어모듈에 수정사항이 반영되기 때문에 유지보수가 용이하다. 따라서 고객사는 시스템 구축 방식보다 콘텐츠 창작 그 자체에 집중할 수 있다. 또한 증강현실 콘텐츠의 사용 정보를 분석하여 체험자가 원하는 콘텐츠의 유형 파악이 가능하므로 콘텐츠 제작의 방향성 설정에 기여할 수 있다.
공공기관, 기업, 개인이 직접 증강현실 콘텐츠를 창작하고 배포하고자 하는 수요가 증가하고 있으나, 높은 기술 진입 장벽과 초기구축/유지보수에 고비용이 소요되므로 증강현실 콘텐츠 확산이 어렵다.
증강현실운영시스템(1)은 이를 해결하기 위해 증강현실 콘텐츠를 코딩하지 않고 쉽게 제작, 관리, 분석할 수 있으며, 콘텐츠의 접근성을 높이기 위해서 별도의 앱 설치 없이 URL(Uniform Resource Locator) 주소를 통해서 쉽게 접근할 수 있는 방식이 적용되었다.
또한, 웹 기반 증강현실 서비스형 소프트웨어(Augmented reality Software as a Service, SaaS)형태로 증강현실 콘텐츠 관리시스템(Contents Management System, CMS)을 개발하여 필요 기능만 결제하여 사용하는 유연한 과금 정책이 적용되어 있다. 또한, 콘텐츠 빅데이터 수집 및 데이터마이닝을 통해 콘텐츠 제작/홍보 전략을 수립할 수 있도록 관리 페이지가 제공된다.
증강현실운영시스템(1)은 트래픽 메니저(Traffic Manager)가 적용되어 대용량 인식용 이미지(약 10만개) 처리 및 증강현실 콘텐츠 관리시스템의 네트워크 트래픽을 제어를 위한 CMS 서버와 증강현실 인식 서버가 추가된다.
또한, 증강현실운영시스템(1)은 위치 및 이미지 인식용 DB 설계 및 증강현실 학습 서버가 적용된다. 즉, 클라우드 기반 객체(공간)의 영상 특징 학습 기술, 위치 정보 기반 정합 좌표계 등록기술이 적용된다. 또한, 이미지 인식 후 증강하는 콘텐츠를 관리하는 증강현실 콘텐츠 데이터베이스(DB) 및 서버가 구비된다.
또한, 고객사의 계정/권한 관리 및 사용자 그룹 관리용 데이터베이스(DB) 및 서버가 구비된다. 또한, 사용자별 증강현실 콘텐츠 관리시스템의 리소스를 관리하는 데이터베이스(DB) 및 서버가 구비된다. 또한, 정보 분석 데이터베이스(DB) 및 서버 구비될 수 있다.
또한, 이미지 인식 및 콘텐츠&리소스의 트래픽을 관리하는 로드밸랜싱 및 트래픽 매니저 기술이 적용되며, 전역 DNS 부하 분산을 통하여, 라우팅 정책에 따라 들어오는 DNS 요청을 보고 정상적인 끝점(end-point)을 통해 응답할 수 있다.
또한, Layer7 부하 분산 기능을 통해, 트래픽의 라운드 로빈 배포, 쿠키 기반 세션 선호도, URL 패스 기반 라우팅 기능 지원할 수 있다. 또한, 모든 UDP 및 TCP 프로토콜에 대해 고성능, 지연율이 낮은 Layer4 Load Balance를 제공하고 및 인바운드&아웃바운드 연결 관리가 가능하다.
또한, 데이터베이스(DB)부하의 탄력적 대응이 가능한 DTU(Database Transaction Units) 및 eDTU(elastic DTU)로 데이터베이스(DB)가 구성된다. 또한, DTU를 통해 SQL 데이터베이스간 리소스의 상대적 성능 지표를 산출하고, eDTU를 통해 데이터베이스의 탄력적 풀을 구성하여, 다양하고 예측하기 힘든 성능 목표를 관리할 수 있다. 또한, Rest-ful API 기반의 증강현실 저작 정보 송수신이 가능하다.
증강현실운영시스템(1)의 기본적인 성능은 대용량 이미지 인식 및 처리(약 10만개)를 2초 이내 처리하고, 증강현실 콘텐츠 관리시스템의 리소스 로드의 반응시간은(Response Time) 3초 이내 처리될 수 있도록 구성된다.
상술한 바와 같이 증강현실운영시스템(1)은 증강현실 서비스형 소프트웨어 기반으로 증강현실 콘텐츠 제작을 지원한다.
즉, 지도 기반 GPS 좌표 설정. 콘텐츠 클러스터링 기능으로 체험 위치 설정이 가능하고, 체험 반경 설정 및 맵 내 반경을 표시하여 증강 반경을 설정한다.
또한, 파일 업로드, 이미지 인식률 표시하여 인식용 이미지 등록을 진행하고, 색상, 위치, 회전, 크기, 편집 기능 등으로 텍스트 콘텐츠 저작을 지원한다.
또한, 색상, 위치, 회전, 크기, Undo/Redu 기능 등으로 메모/드로잉 콘텐츠 저작을 지원한다. 또한, 위치, 회전, 크기 설정 기능 등으로 이미지, GIF 콘텐츠 저작을 지원한다. 또한, 스크린 좌표계 기준 화면 스킨 설정, 이미지 삽입, 크기 조정 등으로 화면 스킨 저작을 지원한다. 또한, 재생 버튼 삽입 기능 등으로 오디오 콘텐츠 저작을 지원한다. 또한, 비디오 포털 (유튜브) 링크 입력, 위치, 회전, 크기 등으로 비디오, 360도 비디오 콘텐츠 저작을 지원한다.
또한, 클릭 시 링크된 웹페이지가 나타날 수 있도록 웹 페이지 링크 입력을 추가하여 웹 페이지 링크 저작을 지원한다.
또한, 웹 기반 모델 로더, 애니메이션 제어 기능 구현, 위치, 크기 설정 등을 통해 3D모델 콘텐츠 저작을 지원한다.
또한, 증강현실 콘텐츠가 노출될 기간, 최대 조회 횟수 등을 설정할 수 있도록 구성되어 노출 기간/조회 횟수 관리 기능을 지원한다.
또한, 체험자가 증강현실 콘텐츠를 체험했을 때 제공할 리워드(이미지 또는 텍스트 콘텐츠)를 설정할 수 있고, 리워드 사용 기간 및 최대 발급 횟수를 정할 수 있도록 하여 리워드 등록, 관리 기능을 지원한다.
또한, 사용자 계정 정보 관리, 개별 저작 기능에 대한 권한관리, 증강현실 콘텐츠 체험 그룹 설정 기능, 사용자 그룹 설정 및 초대 기능 등을 통해 계정관리, 권한, 그룹 설정 기능을 지원한다. 또한, 저작 완료 후 서버 데이터베이스(DB)에 콘텐츠 저장 기능을 지원한다.
도 7은 계층적 트리형 자료구조 기반의 실시간 이미지 검색방식의 예시도이다.
도 7을 참조하면, 증강현실운영시스템(1)은 다수 이미지로부터 영상 특징점을 추출 및 매칭이 가능한 트리형 자료구조 형태로 학습한 후, 이를 기반으로 입력영상의 실시간 이미지를 인식 및 검출하는 기법이 적용된다. 즉, 이미지 검출 및 카메라 자세 획득 기술과 3차원 공간 추적 기술 연동된다.
BoW (Bag-of-visual words) 기반의 계층적 트리형 자료구조 동적 생성을 통해 대용량 이미지 학습을 위한 동적 학습 및 검색 트리 생성을 지원한다.
또한, 이진 특징기술자 (binary descriptor)의 bag-of-word 구성을 통한 영상쿼리 생성, class별 히스토그램 스코어링 기술을 통해 인식 속도 향상을 지원한다.
또한, 위치 및 사용자ID 별 소규모 영상 특징 군집화(clustering) 및 동적 자료구조 생성 기술을 통해 인식 속도 향상을 지원한다.
또한, 모바일 디바이스의 위치 정보를 기반으로 영상쿼리 생성 및 실시간 타겟 이미지 ID 및 매칭 데이터 취득을 지원한다.
또한, 데이터베이스(DB)를 통해 획득한 영상특징 정보와 입력영상을 매칭하여 2차원 평면사형변환 (Homography) 행렬 검출 및 카메라의 회전변환 (Rotation) 행렬 및 이동(Translation) 벡터 실시간 획득기술을 지원한다.
또한, 3차원 공간의 임의의 좌표계를 기준으로 실행되는 공간 추적 기술인 SLAM (Simultaneous Localizationnd Mapping), VIO (Visual Inertial Odometry)을 연동하여, 이미지 기반으로 획득한 카메라 자세를 실시간 연동하는 기술을 지원한다.
또한, 서버-클라이언트 모델 구성 시, 쿼리 생성 후 2초 이내 결과 도출 및 인식률 95% 이상 성능 확보되도록 다수 이미지 타겟 인식 기술이 적용된다. 또한, 이미지 타겟 검출 기술과 공간 추적 기술 연동 시 30 FPS 이상의 성능 확보할 수 있다.
또한 사용 로그 정보, 콘텐츠 시청 정보, 광고성 등의 빅데이터를 기록하고 분석하고, 패턴을 분석 할 수 있도록 지원된다. 즉, 빅데이터 분석결과는 사용성을 개선하고, 사용자들이 선호하는 콘텐츠를 발굴하고, 수익성을 높일 수 있는 전략을 수립하는 사용할 수 있다.
또한, 사용자그룹 분석 (교차 분석), 트래킹 링크(광고 채널), 국가, 날짜, OS버전, 교차 분석 변수 설정, 광고분석 / 트래킹 링크, 쉽고 간편한 트래킹 링크 발급 및 관리, 광고채널 통합 리포팅(ROI, LTV, Retention), 조건별 검색이 가능한 필터(채널, 랜딩URL, 속성, 관리자 별) 및 엑셀다운로드 기능, 협력사 권한 부여 및 관리, 다양한 매체사와의 포스트백 연동 기능 구현을 지원한다.
예시적으로 위치 및 이미지, 콘텐츠, 리워드 등록 건 수, 노출 기간 설정, 증강 반경 설정, 콘텐츠 저장 공간 설정, 월 단위 트래픽 한계 설정, 다운로드 속도, 공개/비공개, 그룹 설정을 지원한다.
또한, 서버 및 모바일 증강현실 콘텐츠 관리시스템, 증강현실 뷰어 앱 간의 증강현실 콘텐츠 연동과, 모바일 장치의 내장 센서 정보를 활용한 정합좌표계 보정 기술과, 센서 퓨전 기반 모바일 카메라 트래킹 기술을 지원한다.
한편, 증강현실운영시스템(1)의 또 다른 기능에 대한 설명을 기술하고자 한다.
사용자 단말기(200)는 사용자 주위의 영상을 촬영하여 실제영상정보를 획득하는 영상 카메라가 내장되며 디스플레이에 3차원 가상영상을 표시함에 있어서, 현재위치정보와 실제영상정보에 대응하는 3차원 가상영상을 웹브라우저를 통해 디스플레이에 표시한다.
증강현실 콘텐츠 관리시스템(100)은 사용자 단말기(200)로부터 전송되는 현재위치정보와 실제영상정보에 대응되는 3차원 가상영상을 사용자 단말기(200)에 실시간으로 제공한다.
사용자 단말기(200)는 기본적으로 위성위치정보를 현재위치정보로써 증강현실 콘텐츠 관리시스템(100)에 제공하도록 구성된다. 사용자 단말기(200)에 통신모듈이 포함되어 있을 경우, 위성위치정보 뿐만 아니라 주변의 와이파이(Wi-Fi) 중계기의 위치, 기지국 위치 등이 현재위치정보로써 증강현실 콘텐츠 관리시스템(100)에 추가로 제공될 수 있다.
예를 들어 특히 실내에서는 위성위치정보를 수신할 수 없는 경우가 많으므로, 사용자 단말기(200)는, 검색된 적어도 하나 이상의 와이파이(Wi-Fi) 중계기의 신호세기를 추가로 파악하여 증강현실 콘텐츠 관리시스템(100)로 전달할 수 있다. 즉 실내에 위치한 와이파이(Wi-Fi) 중계기의 절대위치는 미리 증강현실 콘텐츠 관리시스템(100)에 저장되어 있으므로, 사용자 단말기(200)가 검색된 와이파이(Wi-Fi) 중계기의 고유번호와 신호세기를 추가로 제공할 경우, 증강현실 콘텐츠 관리시스템(100)에서는 사용자 단말기(200)의 상대적인 이동경로를 파악할 수 있다.
즉, 사용자 단말기(200)와 와이파이(Wi-Fi) 중계기 사이의 상대적인 거리를 신호세기로써 확인할 수 있으며 이웃하는 와이파이(Wi-Fi) 중계기와의 신호세기 변화를 토대로 이동방향을 산출할 수 있다. 실내에서 현재위치정보를 획득하는 추가적인 방식에 대해서는 후술하기로 한다.
따라서 증강현실 콘텐츠 관리시스템(100)은 사용자 단말기(200)을 소지한 사용자의 현재위치정보와, 사용자 단말기(200)의 영상 카메라에서 촬영된 실제영상정보를 통해 각각의 실제객체에 할당된 가상객체를 파악하고, 이에 대한 정보를 사용자 단말기(200)로 실시간으로 전송한다.
증강현실 콘텐츠 관리시스템(100)은 실제영상정보의 실제객체를 식별하고 식별된 실제객체에 각각 할당된 3차원 가상영상의 가상객체를 사용자 단말기(200)에 제공하는데, 이때 사용자 단말기(200)는 9축 센서를 구비하여 자신의 3차원 자세정보를 획득하고, 사용자 단말기(200)에서 선택된 적어도 하나 이상의 가상객체의 자세는 3차원 자세정보에 동기되어 변경될 수 있다.
이때, 사용자 단말기(200)에서 선택된 적어도 하나 이상의 가상객체의 좌표는, 실제영상정보에 대한 공간 좌표계에서 사용자 단말기(200)의 모바일 좌표계로 변경되고, 선택 해제된 가상객체의 좌표는 사용자 단말기(200)의 모바일 좌표계에서 실제영상정보에 대한 공간 좌표계로 변경된다. 이에 대한 상세한 설명은 후술하기로 한다.
사용자가 사용자 단말기(200)을 3차원적으로 움직일 경우, 선택된 가상객체는 그 3차원적인 움직임에 동기되어 자세가 자동 변경된다. 참고적으로 9축 센서는 가속도 3축, 관성 3축, 지자기 3축으로 총 9축의 값이 측정되기 때문에 9축 센서라고 지칭되며, 온도값에 대한 보정을 위해 온도센서가 추가로 구비될 수 있다. 9축 센서는 모바일 단말기의 3차원적인 움직임을 감지할 뿐만 아니라 사용자의 응시방향, 이동방향, 기울기 등을 감지할 수 있다.
도 8 및 도 8a는 증강현실운영시스템(1)에서 가상객체를 움직이는 예시를 나타낸 도면이다.
도 8 및 도 8a를 참조하면, 제1 단계(STEP 1)에서 공간 좌표계를 기준으로 공간상에 가상객체들이 증강되어 사용자 단말기(200)의 디스플레이에 표시된다.
제2 단계(STEP 2)에서 사용자가 사용자 단말기(200)로 가상객체를 선택하는데, 사용자가 사용자 단말기(200)의 디스플레이(터치 스크린)에 표시된 어느 하나 이상의 가상객체를 터치하면, 선택된 가상객체가 사용자 단말기(200)과 연결된다. 여기에서 연결의 의미는 가상객체의 기준 좌표계를 공간 좌표계에서 사용자 단말기(200)의 좌표계로 변경하였다는 것을 의미한다.
제3 단계(STEP 3)에서 가상객체를 터치한 상태로 사용자 단말기(200)을 이동/회전하면, 사용자 단말기(200)에 연결된 가상객체의 이동/회전 정보가 사용자 단말기(200)의 3차원 움직임에 동기에 3차원적으로 변경된다.
제4 단계(STEP 4)에서 가상객체를 터치입력을 하지 않으면 가상객체가 사용자 단말기(200)에서 분리된다. 여기에서 분리는 가상객체의 기준 좌표계가 사용자 단말기(200)의 좌표계에서 공간 좌표계로 변경되었다는 것을 의미한다.
제5 단계(STEP 5)에서 사용자 단말기(200)의 3차원 자세정보에 동기되어 변경되는 가상객체의 자세변화영상은 저장되어 추후 재생 가능하다. 즉, 가상객체의 자세변화영상이 저장이 되었다면 추후에 재생 버튼을 눌러서 기록된 정보를 불러와 재생할 수 있다.
상술한 예시의 제2 단계(STEP 2) 내지 제4 단계(STEP 4)에서 가상객체가 터치된 상태를 유지하는 동안에만, 그 터치된 가상객체의 기준 좌표계가 공간 좌표계에서 사용자 단말기(200)의 좌표계로 변경되어 사용자 단말기(200)의 3차원 동작과 연동되는 예시를 설명하였으나,
실시예에 따라 가상객체를 소정의 시간이상 터치하면 가상객체가 선택되고, 다시 소정의 시간이상 터치하면 가상객체의 선택이 해제되는 방식이 적용될 수 있을 것이다.
도 9는 증강현실운영시스템(1)에서 가상객체를 움직이는 다른 예시를 나타낸 도면이다.
도 9를 참조하면, 사용자 단말기(200)에서 증강 콘텐츠가 로딩되어 가상객체가 표시되면, 사용자가 가상객체를 선택하여 해당 가상객체의 좌표계를 모바일 좌표계로 변경한다. 이후 사용자 단말기(200)의 3차원 움직임에 연동되어 선택된 가상객체가 움직이게 된다.
도 10은 증강현실운영시스템(1)에서 가상객체를 선택하는 조건을 나타낸 도면이다.
도 10을 참조하면, 사용자 단말기(200)의 디스플레이에 표시된 가상객체를 선택할 때, 가상객체를 소정의 시간(t0)이상 터치하면 가상객체가 선택되고, 다시 소정의 시간(t0)이상 터치하면 가상객체의 선택이 해제되는 방식이 적용될 수 있을 것이다.
이때, 디스플레이가 소정의 압력(k1)이상으로 터치되는 경우에만, 가상객체의 터치 유효구간으로 인정되도록 구성되는 것이 바람직하다.
즉, 가상객체를 소정의 시간(t0)이상 터치하면 가상객체가 선택되어 그 터치된 가상객체의 기준 좌표계가 공간 좌표계에서 사용자 단말기(200)의 좌표계로 변경되어 사용자 단말기(200)의 3차원 동작과 연동된다.
이때, 소정의 시간(t0)이상 터치된 이후의 지속시간에 따라 가상객체의 자세변화영상이 저장되는 시간이 자동 설정될 수 있다.
도 10에 도시된 바와 같이, 가상객체를 소정의 시간(t0)이상 터치한 이후에도 제1 시간(t1) 동안 터치를 지속하면 소정의 시간(t0)에서 제1 시간(t1)까지의 구간(P1)동안 저장시간이 자동 설정된다. 따라서 가상객체의 터치시간이 길어질수록 저장시간이 더욱 길어지며 터치시간의 배수형태로 저장시간이 설정된다. 이때, 저장시간은 가상객체의 최초 이동시점부터 카운트 된다.
이때 자동 설정된 저장시간은 디스플레이에 시간바 형태로 표시되며 그 소요시간이 실시간으로 표시된다. 이때 사용자가 시간바를 드레그 하여 좌우로 이동할 경우 소요시간이 길어지거나 짧아지게 동작한다. 즉, 사용자의 드레그 동작에 의해 자동 설정된 저장시간이 늘어나거나 줄어들 수 있다.
한편, 사용자 단말기(200)에는 디스플레이 방향으로 사용자의 얼굴을 촬영할 수 있는 추가 카메라가 구비될 수 있다. 이 카메라는 3차원 영상을 촬영할 수 있어 사용자의 신체, 특히 얼굴의 3차원 영상(깊이 영상)을 파악할 수 있다.
따라서 신체연동모드가 설정될 경우, 사용자의 머리 움직임이나, 손가락 움직임, 동공의 움직임 중 적어도 어느 하나 이상을 카메라가 3차원적으로 파악하여, 이러한 움직임에 동기되어 가상객체가 움직이도록 설정될 수 있다. 이때, 머리 움직임, 손가락 움직임, 동공의 움직임은 개별적으로 선택될 수 있고, 복수 개가 선택되어 움직임을 파악하도록 설정될 수 있을 것이다.
한편, 본 발명의 실시예에 따른 증강현실운영시스템(1)은 추가인식영역을 선정하고, 추가인식영역의 영상 차이점을 토대로 고유 식별자를 실제객체에 각각 부여하여 유사객체를 식별할 수 있다.
또한, 증강현실운영시스템(1)은 추가인식영역의 영상 차이점을 토대로 각각의 실제객체에 부여된 고유 식별자와, 각 실제객체의 현재위치정보를 모두 고려하여 각각의 실제객체를 식별할 수 있다.
따라서 유사성이 높은 실제객체가 배열되더라도 이를 식별하여 각각의 실제객체에 할당된 가상객체를 표시하여 사용자에게 혼동 없는 정보를 전달할 수 있다.
객체의 시각인지기술은 네 가지 단계로 구분할 수 있다. - DCRI (Detection, Classification, Recognition, and Identification) -
우선, 발견(Detection)은 객체가 있는지 없는지만 알 수 있는 단계이다.
다음으로, 분류(Classification)는 객체가 어떤 분류인지 알 수 있는 단계이다. - 예를 들면 사람인지 동물인지 분류할 수 있음 -
다음으로, 인식(Recognition)은 객체의 개략적인 특성을 알 수 있는 단계이다. - 예를 들면 사람이 입고 있는 옷의 간략한 정보를 알 수 있음 -
마지막으로, 식별(Identification)은 객체의 세밀한 특성을 알 수 있는 단계이다. - 예를 들면 어떤 사람의 얼굴을 구분할 수 있고, 자동차 번호판의 숫자를 알 수 있음 -
본원발명의 증강현실운영시스템(1)은 식별(Identification)단계가 구현되어 유사한 실제객체의 세부 특성을 구분할 수 있도록 동작한다.
예를 들면 증강현실운영시스템(1)은 유사한 모양을 갖는 설비(실제객체)에 부착된 문자를 인식하고 고유식별번호를 부여하거나, 차이가 있는 부분을 식별한 후 그 부분을 추가인식영역을 선정하고, 추가인식영역의 2D/3D 특징정보 차이와, 위성위치정보 및 와이파이 신호 등으로 계측된 현재위치정보를 모두 이용하여 유사도 값이 높은 실제객체를 각각 구분할 수 있도록 구성된다.
도 11은 증강현실운영시스템(1)에서 유사객체를 식별하기 위한 학습과정을 나타낸 순서도이고, 도 11a는 증강현실운영시스템(1)에서 유사객체를 식별하기 위한 추가인식영역을 선정하는 과정을 도시한 구성도이다.
도 11 및 도 11a를 참조하면, 증강현실 콘텐츠 관리시스템(100)은 실제영상정보의 실제객체를 식별하고 식별된 실제객체에 각각 할당된 3차원 가상영상의 가상객체를 사용자 단말기(200)에 제공하도록 동작한다.
즉, 증강현실 콘텐츠 관리시스템(100)은 실제영상정보에 존재하는 복수의 실제객체 중에서 소정의 영상 유사도 값(d) 이상을 갖는 실제객체들은 각각의 실제영상정보를 차분하여 추가인식영역을 선정하고, 추가인식영역의 영상 차이점을 토대로 고유 식별자를 실제객체에 각각 부여한다.
예를 들면 추가인식영역이 서로 다른 문자나, 숫자가 표시되어 있을 경우 증강현실 콘텐츠 관리시스템(100)은 추가인식영역의 차이점을 토대로 각각의 실제객체에 고유 식별자를 부여한 후 이를 데이터베이스화하여 저장하고, 고유 식별자에 할당된 가상객체를 추가 사용자 단말기(200)로 전송할 수 있다.
즉, 복수의 실제객체가 소정의 영상 유사도 값(d) 이상을 가질 경우, 영상을 추상화하고 영상을 차분화하여 추가인식영역(추가 학습영역)을 설정한 후, 추가인식영역의 차이점을 식별하여 각각의 고유 식별자를 부여하는 것이다.
도 12는 증강현실운영시스템(1)에서 유사객체를 식별하는 과정을 나타낸 순서도이고, 도 13은 증강현실운영시스템(1)에서 유사객체를 식별하는 상태를 나타낸 제1 예시도이다.
도 12 및 도 13을 참조하면, 사용자 단말기(200)로부터 실제영상정보가 전달되면, 증강현실 콘텐츠 관리시스템(100)은 실제영상정보의 실제객체를 구분한 후, 유사 이미지가 존재하지 않을 경우(유사한 모양의 실제객체가 존재하지 않을 경우)에는 식별된 이미지에 해당하는 가상객체를 각각 할당한다.
이때, 증강현실 콘텐츠 관리시스템(100)은 유사 이미지가 존재할 경우(유사한 모양의 실제객체가 존재할 경우) 추가인식영역의 정보를 비교하여 고유 식별자를 식별한 후, 고유 식별자에 해당하는 가상객체를 할당한다.
즉, 도 13에 도시된 바와 같이, 유사한 모양의 설비(실제객체)가 이웃한 위치에 배치될 경우, 증강현실 콘텐츠 관리시스템(100)은 사용자 단말기(200)로부터 전송된 실제영상정보에서 복수의 실제객체를 인식한 후, 각 실제객체의 추가인식영역의 정보를 비교하여 고유 식별자를 식별하고 고유 식별자에 해당하는 가상객체를 할당한다.
한편, 각 설비의 추가인식영역에 서로 다른 식별마커가 인쇄되어 있을 경우, 그 식별마커의 형태는 다음과 같이 구성될 수 있다.
식별마커는 제1 식별마커 영역과, 제2 식별마커 영역과, 제3 식별마커 영역과, 제4 식별마커 영역을 포함하여 구성될 수 있다.
즉, 식별마커는 제1 식별마커 영역, 제2 식별마커 영역, 제3 식별마커 영역 및 제4 식별마커 영역을 하나의 식별자로써 인식한다. 즉, 사용자 단말기(200)은 기본적으로 제1 내지 제4 식별마커를 모두 촬영하여 증강현실 콘텐츠 관리시스템(100)로 전송하고 증강현실 콘텐츠 관리시스템(100)은 인식된 식별마커를 하나의 고유 식별자로써 인식한다.
이때, 제1 식별마커 영역은 가시광선 영역의 파장을 반사하도록 구성된다. 즉, 제1 식별마커 영역은 일반적인 도료로 인쇄되며 사람이 시각적으로 구분할 수 있도록 인쇄된다.
또한, 제2 식별마커 영역은 제1 적외선 파장을 반사하는데, 제1 적외선 파장을 반사하는 도료로 인쇄되며 사람이 시각적으로 구분할 수 없다.
또한, 제3 식별마커 영역은 제1 적외선 파장 보다 긴 파장의 제2 적외선 파장을 반사하는데, 제2 적외선 파장을 반사하는 도료로 인쇄되며 사람이 시각적으로 구분할 수 없다.
또한, 제4 식별마커 영역은 제1 적외선 파장 및 제2 적외선 파장을 동시에 반사하는데, 제1 및 제2 적외선 파장을 반사하는 도료로 인쇄되며 사람이 시각적으로 구분할 수 없다.
이때, 식별마커를 영상 촬영하는 사용자 단말기(200)의 카메라는 적외선 투과파장을 조절하는 분광필터가 장착되어 적외선 파장 영역을 촬영하여 인식할 수 있도록 구성된다.
따라서 설비에 인쇄된 식별마커 중 제1 식별마커 영역만이 사람이 시각적으로 확인할 수 있으며, 제2 식별마커 영역, 제3 식별마커 영역 및 제4 식별마커 영역은 사람이 시각적으로 확인할 수 없고 사용자 단말기(200)의 카메라를 통해 촬영될 수 있다.
제1 식별마커 영역, 제2 식별마커 영역, 제3 식별마커 영역 및 제4 식별마커 영역의 상대적인 인쇄위치(좌우상하)도 하나의 구분자로써 이용될 수 있다. 식별마커 영역에는 숫자, 기호, 부호 등과 같이 다양한 문자들이 인쇄될 수도 있다. 또한, 식별마커는 QR 코드, 바코드 형태로 인쇄될 수도 있을 것이다.
도 14는 증강현실운영시스템(1)에서 유사객체를 식별하는 상태를 나타낸 제2 예시도이다.
도 14를 참조하면, 증강현실 콘텐츠 관리시스템(100)은 추가인식영역의 영상 차이점을 토대로 각각의 실제객체에 부여된 고유 식별자와, 각 실제객체의 현재위치정보를 모두 고려하여 각각의 실제객체를 식별할 수 있다. 즉, 사용자(사용자 단말기(200))의 현재위치정보를 추가적으로 고려하여 실제객체를 식별할 수 있다.
예를 들면 복수의 실제객체가 소정의 이격거리를 유지할 경우, 유사도 값이 높은 실제객체라 할지라도 사용자의 현재위치정보를 이용하여 이를 식별할 수 있다. 여기에서 현재위치정보는 사용자의 절대적인 위치정보, 상대적인 위치정보, 이동방향, 가속도 및 시선의 방향 등을 모두 포함한다고 가정한다.
이때, 증강현실 콘텐츠 관리시스템(100)은 현재위치정보로도 식별되지 않는 실제객체들을 추가적으로 식별하기 위해 추가인식영역을 선정하고 이 영역을 인식하여 실제객체들의 차이를 식별할 수도 있을 것이다.
또한, 증강현실 콘텐츠 관리시스템(100)은 각 실제객체의 현재위치정보를 토대로 추가인식영역의 후보위치를 결정할 수 있다.
즉, 도 14를 참조하면, 사용자가 제1 위치(P1)에 위치하고 정면에 위치한 실제객체를 응시할 경우,
증강현실 콘텐츠 관리시스템(100)은 실제영상정보를 토대로 해당 실제객체와 사용자와의 이격거리를 판단한 후, 그 실제객체의 공간상의 좌표(x1,y1,z1)를 검출한다.
공간상의 좌표(x1,y1,z1)에 위치하는 실제객체에는 복수의 추가인식영역이 미리 설정되어 있으므로, 증강현실 콘텐츠 관리시스템(100)은 실제객체의 공간상의 좌표(x1,y1,z1), 즉 실제객체의 현재위치정보를 토대로 추가인식영역의 후보위치를 결정할 수 있다.
증강현실 콘텐츠 관리시스템(100)은 공간상의 좌표(x1,y1,z1)에 미리 어떤 실제객체가 존재하는지와, 그 실제객체의 어떤 부분이 추가인식영역으로 지정되어 있는지를 미리 파악하고 있으므로, 단순히 추가인식영역의 후보위치만을 식별하여 객체를 식별할 수 있는 것이다. 이와 같은 방식은 추가인식영역을 식별하기 위한 연산량이 감소할 수 있는 장점이 있다.
참고적으로, 실내공간이라고 가정하고 조명의 방향이 모두 일정하다고 가정하면, 유사한 실제객체라 할지라도 그 조명에 의한 그림자의 위치 및 크기는 서로 달라질 수 있다. 따라서 증강현실 콘텐츠 관리시스템(100)은 사용자의 현재위치를 기준으로 각각의 실제객체의 그림자 위치 및 크기의 차이점을 추가정보로 이용하여 각각의 실제객체를 식별할 수도 있을 것이다.
한편, 실제영상정보의 실제객체에 각각 할당되어 표시되는 3차원 가상영상의 가상객체의 위치는, 실제객체와 소정의 이격거리를 유지하도록 자동 조절되어 사용자 단말기(200)에 표시된다.
또한, 각각의 가상객체 사이의 위치도 소정의 이격거리를 유지하도록 자동 조절되어 사용자 단말기(200)에 표시된다.
따라서 실제객체 및 가상객체간의 상호 위치관계를 고려하여 객체들이 서로 중첩되지 않도록 위치가 자동 조절되므로 사용자가 편리하게 원하는 가상객체의 정보를 확인할 수 있다. 즉, 가상객체를 집중력 있게 인지하는 시간이 길어지게 되어 광고효과가 상승할 수 있다.
도 15는 증강현실운영시스템(1)의 다른 동작원리를 나타낸 도면이다.
도 15를 참조하여 증강현실운영시스템(1)의 동작원리를 좀 더 상세히 설명하면 다음과 같다.
제1 가상객체(Virtual Object 1)와 실제객체(Physical Object) 사이의 이격거리(D2)는,
제1 가상객체(Virtual Object 1)의 중심점과 제1 가상객체(Virtual Object 1)의 최외곽영역 사이의 거리(R1)와, 실제객체(Physical Object)의 중심점과 실제객체(Physical Object)의 최외곽영역 사이의 거리(R3)의 합보다 더 긴 거리를 갖도록 자동 설정된다.
또한, 제2 가상객체(Virtual Object 2)와 실제객체(Physical Object) 사이의 이격거리(D1)는, 제2 가상객체(Virtual Object 2)의 중심점과 제2 가상객체(Virtual Object 2)의 최외곽영역 사이의 거리(R2)와, 실제객체(Physical Object)의 중심점과 실제객체(Physical Object)의 최외곽영역 사이의 거리(R3)의 합보다 더 긴 거리를 갖도록 자동 설정된다.
또한, 제1 가상객체(Virtual Object 1)와 제2 가상객체(Virtual Object 2) 사이의 이격거리(D1)는, 제1 가상객체(Virtual Object 1)의 중심점과 제1 가상객체(Virtual Object 1)의 최외곽영역 사이의 거리(R1)와, 제2 가상객체(Virtual Object 2)의 중심점과 제2 가상객체(Virtual Object 2)의 최외곽영역 사이의 거리(R2)의 합보다 더 긴 거리를 갖도록 자동 설정된다.
제1 가상객체(Virtual Object 1) 및 제2 가상객체(Virtual Object 2)는 수평방향 및 수직방향으로 이동하며, 다른 객체와 중복되어 사용자의 시야에서 벗어나지 않도록 3차원 공간상에서 위치가 자동 조절 - x , y , z 축을 기준으로 위치가 조절됨 - 된다.
한편, 실제객체(Physical Object) 및 제1 가상객체(Virtual Object 1) 사이와, 실제객체(Physical Object) 및 제2 가상객체(Virtual Object 2) 사이에는 각각의 가상선(L1, L2)이 동적으로 생성되어 표시된다.
가상선(L1, L2)은 많은 수의 가상객체가 화면상에 존재할 때, 실제객체(Physical Object)와의 연관성을 지시하기 위해 표시되며 가상선(L1, L2)의 굵기, 투명도, 색상은 사용자의 시선에 따라 자동으로 변경될 수 있다.
예를 들면 사용자가 제1 가상객체(Virtual Object 1)를 소정의 시간 이상 응시할 경우 사용자 단말기(200)이 제1 가상객체(Virtual Object 1)의 응시여부를 감지한 후, 실제객체(Physical Object)와 제1 가상객체(Virtual Object 1) 사이의 가상선(L1)의 굵기를 다른 가상선(L2)보다 더 굵게 변경하고, 투명도도 더 낮게 변경하고, 색상도 붉은색 등과 같이 강조될 수 있는 색상으로 자동 변경하도록 동작할 수도 있다.
이때, 실제객체(Physical Object)에 제1 가상객체(Virtual Object 1) 및 제2 가상객체(Virtual Object 2)가 모두 할당된다고 가정하면, 실제객체(Physical Object)에 할당된 복수의 가상객체의 거리는 상술한 바와 같이 소정의 이격거리(D2, D3)를 각각 유지하되, 더 세부적인 정보를 갖는 가상객체가 실제객체(Physical Object)에 상대적으로 더 가까이에 배치된다.
예를 들어 제1 가상객체(Virtual Object 1)의 정보가 더 세부적인 정보이고, 제2 가상객체(Virtual Object 2)의 정보는 상대적으로 개념적인 정보라고 가정하면,
제1 가상객체(Virtual Object 1)와 실제객체(Physical Object) 사이의 이격거리(D2)보다 제2 가상객체(Virtual Object 2)와 실제객체(Physical Object) 사이의 이격거리(D3)가 더 길게 자동 설정되어, 사용자가 세부적인 정보를 빠르게 인지할 수 있다.
또한, 실제객체(Physical Object)에 복수의 가상객체가 할당되어 있을 경우, 연관성이 높을수록 가상객체 사이의 거리가 더 가까이 배치되고, 연관성이 낮을수록 가상객체 사이의 거리가 더 멀리 자동 배치될 수 있다.
도 16 및 도 16a는 증강현실운영시스템(1)의 또 다른 동작원리를 나타낸 도면이다.
도 16 및 도 16a를 참조하면, 실제영상정보의 실제객체에 각각 할당되어 표시되는 3차원 가상영상의 가상객체의 정보량은, 실제객체와 사용자와의 거리에 따라 동적으로 자동 조절되어 사용자 단말기(200)에 표시될 수 있다.
따라서 사용자가 객체에 가까이 접근하였을 때 가상객체가 좀 더 세부적인 정보를 표시하므로, 사용자가 편리하게 원하는 가상객체의 정보를 확인할 수 있다. 즉, 사용자가 해당 가상객체를 집중력 있게 인지하는 시간이 길어지게 되어 정보전달 효과가 상승할 수 있다.
일반적으로 사용자는 관심있는 객체에 대한 정보를 좀 더 가까이에서 보려하는 경향이 있으므로, 사용자가 관심 객체와 멀리 떨어져 있을 때는 추상적으로 정보를 표시하고, 사용자가 관심 객체에 근접할 경우 좀 더 상세한 정보를 표시하도록 동작한다.
사용자와 실제객체 또는 가상객체 사이의 거리가 소정의 이격거리(D1) 내에 도달할 때부터 실제객체에 할당된 가상객체가 표시되기 시작하며, 사용자와 실제객체 또는 가상객체 사이의 거리가 가까워질수록 좀 더 세부적인 정보의 가상객체가 표시된다.
즉, 하나의 실제객체에 할당된 가상객체의 정보는 계층화되어 있다. 도 11a에 도시된 바와 같이,
가장 추상적인 가상객체(A)는 사용자가 소정의 이격거리(D1)에 진입할 때 표시되고, 사용자가 실제객체 또는 가상객체에 좀 더 접근(D2)할 경우 좀 더 구체적인 정보를 갖는 가상객체(A1, A2)가 표시된다. 또한, 사용자가 실제객체 또는 가상객체에 가장 가까이 접근(D3)할 경우 가장 구체적인 정보를 갖는 가상객체(A1-1, A1-2, A2-1, A2-2)가 표시된다.
예를 들어 사용자의 전방에 실제객체로써 자동 판매기가 배치되어 있다고 가정하면,
사용자가 소정의 이격거리(D1)내로 진입할 때, 자동 판매기에 할당된 가상객체가 표시된다. 여기에서 가상객체는 자동 판매기의 아이콘으로 가정한다.
다음으로 사용자가 자동 판매기에 좀 더 접근(D2)할 경우, 자판기에서 판매되고 있는 음료수 제품들의 아이콘이 더 상세한 정보의 가상객체로써 표시될 수 있다.
마지막으로 사용자가 자동 판매기에 가장 가까이 접근(D3)할 경우, 각 음료수 제품의 칼로리, 성분 등이 더 상세한 정보의 가상객체로써 표시될 수 있다.
다른 예를 들면, 사용자의 전방에 실제객체로써 자동차 판매점이 있다고 가정하면,
사용자가 소정의 이격거리(D1)내로 진입할 때, 자동차 판매점에 할당된 가상객체가 표시된다. 여기에서 가상객체는 판매되는 자동차 브랜드 아이콘으로 가정한다.
다음으로 사용자가 자동차 판매점에 좀 더 접근(D2)할 경우, 판매되고 있는 다양한 종류의 자동차 아이콘이 더 상세한 정보의 가상객체로써 표시될 수 있다. 이때, 현재 전시되어 있는 자동차, 즉 실제객체가 있을 경우 그 실제객체 주변에 가상객체가 표시될 수 있으며, 전시되어 있지 않는 자동차, 즉 실제객체가 없을 경우에도 주변영역에 가상객체가 표시될 수 있다.
마지막으로 사용자가 자동차 판매점에 가장 가까이 접근(D3)할 경우, 판매되고 있는 자동차의 제원, 가격, 예상 출고일 등이 좀 더 상세한 정보의 가상객체로써 표시될 수 있다.
한편, 사용자 단말기(200)은 사용자가 확인하고 싶은 가상객체 또는 실제객체를 응시한 상태에서 진동이 발생했을 경우, 진동의 변화율에 대응하는 이동거리를 산출한 후 응시방향과 산출된 이동거리를 토대로 가상객체의 정보량을 재설정하여 표시할 수 있다.
즉, 사용자가 직접 이동하지 않고 진동을 통해 가상으로 이동했다고 가정하거나, 진동으로 이동거리에 가중치를 부여하고, 그 가상 이동거리에 따라 가상객체의 정보량을 재설정하여 표시할 수 있다.
즉, 진동의 변화율이 크다는 것은 사용자가 달리거나 빠르게 움직이는 것이며, 진동의 변화율이 작다는 것은 사용자가 천천히 움직이는 것에 해당하는 것이므로, 이를 토대로 이동거리를 산출할 수 있다. 따라서 사용자가 실제 움직이지 않고 고개 등을 위 아래로 흔들면서 진동을 부여하여 가상의 이동거리를 반영할 수도 있을 것이다.
사용자가 확인하고 싶은 방향을 응시한 상태, 예를 들어 사용자가 오른쪽으로 고개를 돌리고 오른쪽을 바라보는 동시에 진동이 계속해서 발생할 경우, 사용자 단말기(200)은 사용자의 응시방향과 진동을 토대로 이동방향 및 이동거리를 산출한다.
즉, 사용자 단말기(200)은 내장된 센서를 통해 사용자의 머리 회전을 감지하고, 진동을 감지한 후 가상의 현재위치를 산출하는데, 걷거나 뛰는 행동을 진동의 변화율을 통해 그 이동거리를 파악한다.
사용자 단말기(200)은 사용자가 응시한 방향을 감지할 때, 머리의 회전방향을 토대로 응시방향을 감지하도록 구성될 수 있고, 눈동자의 이동방향을 감지하여 응시방향을 감지하도록 구성될 수 있을 것이다.
또한, 머리의 회전방향 및 눈동자의 이동방향을 동시에 감지하고, 두 감지결과에 우선비중을 달리하여 응시방향을 보다 정밀하게 산출할 수 있다. 즉, 머리의 회전으로 인한 회전각도 감지에 50% 내지 100%의 비중을 부여하고, 눈동자의 이동방향에 0% 내지 60%의 비중을 부여하여 응시방향을 산출하도록 구성될 수 있을 것이다.
또한, 사용자 단말기(200)에서 이동거리확장 설정모드를 선택하고 실행하여, 산출된 가상 이동거리의 2배 내지 100배의 거리 가중치가 반영되도록 사용자가 설정할 수도 있다.
또한, 사용자 단말기(200)은 진동의 변화율에 대응하는 이동거리를 산출함에 있어서, 노이즈 값을 제외하기 위해, 진동 크기의 상위값 10%와 하위값 20%를 제외하고, 나머지 진동값의 변화율을 토대로 이동거리를 산출할 수 있다.
결과적으로 사용자는 실제로 실제객체 또는 가상객체로 접근하지 않거나, 아주 조금 접근하더라도 실제객체 또는 가상객체 바로 앞에 접근한 것과 같은 정보량을 갖는 가상객체를 확인할 수 있다.
또한, 증강현실운영시스템(1)은 와이파이 통신모듈이 내장되며 실내의 공간에 일정한 간격으로 배치되는 복수의 센싱부 - 미도시됨 - 를 더 포함하여 구성될 수 있다.
복수의 센싱부는 실내에서 사용자 단말기(200)의 위치를 감지할 수 있도록 선택적으로 배치될 수 있으며,
복수의 센싱부는 사용자 단말기(200)에서 주기적으로 출력되는 와이파이 핫스팟(WIFI HOTSPOT) 신호를 감지할 때마다 그 감지정보를 증강현실 콘텐츠 관리시스템(100)로 전송하여, 증강현실 콘텐츠 관리시스템(100)에서 복수의 센싱부의 절대위치를 기준으로 사용자 단말기(200)의 상대적 위치를 파악할 수 있을 것이다.
상술한 바와 같이 제안한 시스템에서는 실외에서는 위성위치정보를 바탕으로 현재위치정보를 획득하고, 실내에서는 와이파이 신호를 이용하여 현재위치정보를 획득하는 방식을 설명하였다.
한편, 실내 및 실외에서 현재위치정보를 획득할 수 있는 추가적인 방식에 대해 설명하면 다음과 같다.
와이파이 신호를 이용하는 방식은 기본적으로 삼각측량 및 핑거 프린팅 방식으로 구분할 수 있다.
우선, 삼각측량은 3개 이상의 AP(Access Point)로부터 신호강도(Received Signal Strength, RSS)를 측정하고 신호강도를 거리로 환산한 후 방정식을 통해 위치를 계산하는 방식이다.
다음으로, 핑거 프린팅 방식은 실내 공간을 작은 셀(cell)로 나누고 각 셀에서 직접 신호강도 값을 수집하고 데이터베이스화하여 라디오맵(Radio Map)을 구축한 후, 사용자 위치에서 수신된 신호강도 값을 데이터베이스와 비교하여 가장 유사한 신호 패턴을 보이는 셀을 사용자의 위치로 추정하는 방식이다.
다음으로, 주변에 스마트폰을 가진 다수의 사용자로부터 직간접적으로 와이파이 신호를 교환하면서 각 스마트폰의 위치 데이터를 수집하는 방식을 사용할 수도 있다.
또한, 사용자 단말기(200)의 통신모듈은 블루투스 통신모듈을 포함하고 있으므로, 블루투스 통신을 이용하여 현재위치정보를 파악할 수 있다.
우선, 실내공간에 복수의 비콘을 배치시킨 후 어느 하나의 비콘과 통신을 진행할 때 그 비콘 주변에 사용자가 위치하고 있다고 추정하는 방식이 있다.
다음으로, 반구의 형태의 표면에 다수의 지향성 안테나가 배열된 수신기를 실내공간에 배치한 후, 사용자 단말기(200)에서 발신한 신호를 수신하는 특정 지향성 안테나의 식별을 통해 사용자의 위치를 추정하는 방식이 있다. 이때, 2개 이상의 수신기를 배치할 경우 사용자의 위치를 삼차원형태로 식별할 수도 있다.
또한, 위성위치정보를 토대로 사용자의 현재위치정보를 파악하고 있다가, 위성위치정보의 음영지역에 진입할 경우, 9축 센서 정보를 이용하여 속도 및 이동방향을 추정하는 방식이다. 즉, 걸음 수 측정(Step counting), 보폭 추정(Stride length estimation), 방향 추정(Heading estimation)을 통해 실내에서 사용자의 위치를 추정할 수 있다. 이때, 추정정보의 정확성을 높이기 위해 사용자의 신체조건(키, 몸무게, 보폭) 등의 정보를 입력받아 위치추정 연산에 사용할 수도 있다. 9축 센서의 정보를 이용할 때, 상술한 와이파이 통신을 이용한 위치추정기법을 결합하여 추정정보의 정확성을 향상시킬 수 있다.
즉, 와이파이 기법으로 다소 정확도가 낮더라도 전역적으로(globally) 절대적인 좌표(absolute position)를 계산하고, 9축 센서의 정보를 통해 지역적으로(locally) 높은 정확도의 상대 측위(relative position)를 결합하여 정확도를 향상 시킬 수 있다. 또한, 추가적으로 블루투스 통신방식을 적용하여 위치추정정보의 정확성을 보다 향상시킬 수도 있을 것이다.
또한, 실내공간에는 위치를 구분할 수 있는 고유의 자기장 정보가 형성되어 있으므로, 각 공간의 자기장맵을 구축한 후, 와이파이를 이용한 핑거 프린팅 방식과 유사하게 현재위치를 추정하는 방법이 적용될 수 있다. 이때, 사용자가 이동하면서 발생하는 자기장의 변화추세를 추가적인 정보로 이용할 수도 있다.
또한, 실내공간에 설치된 조명을 활용하는 방법이 있다. 즉, LED 조명을 사람이 식별할 수 없을 정도의 빠르기로 점멸하면서, 특정 위치 식별자를 출력하고 사용자 단말기(200)의 카메라가 특정 위치 식별자를 인식하여 위치를 추정하는 방식이 사용될 수 있다.
또한, 실내공간의 여러 위치와 다양한 각도에서 찍은 이미지들을 데이터베이스화 한 다음 사용자 위치에서 찍은 사진을 매칭하는 기법이 있으며, 실내 공간의 다양한 랜드마크(간판, 상표, 방 번호, 표지판 등)를 추가 식별함으로써 위치를 교정하는 방식이 사용될 수 있다.
참고적으로 실내공간에서 현재위치정보를 획득하는 방식은 상술한 방식을 적어도 하나 이상 조합하여 정확도를 향상시키는 것이 가장 바람직하다.
본 발명의 실시예에 따른 증강현실운영시스템은, 증강현실 서비스형 소프트웨어(Augmented reality Software as a Service, SaaS)를 활용하여 URL(Uniform Resource Locator) 주소 형태로 쉽고 빠르게 증강현실 콘텐츠를 생산하고 배포할 수 있다.
웹을 통해 비프로그래머(비전문가)도 쉽게 증강현실 콘텐츠의 제작, 관리, 분석 기능을 임대하여 사용할 수 있으며, 저작 기능, 노출 기간, 등록/조회 수, 용량, 그룹 권한 설정 등 필요 기능에 따른 과금을 책정할 수 있다.
따라서 콘텐츠 제작자체에 집중할 수 있으며, 구축 및 유지보수에 고가의 비용이 필요한 설치형 애플리케이션에 비해 초저가로 증강현실 콘텐츠의 생산/배포가 가능하다. 즉, 웹 기반 증강현실 콘텐츠 관리시스템을 통해 제작된 증강현실 콘텐츠는 URL(Uniform Resource Locator) 주소로 배포되므로, 인터넷 기사, 블로그, SNS에 쉽게 공유 가능하며, 별도의 앱 설치 없이 웹 브라우저를 통해서 콘텐츠를 체험할 수 있기 때문에 접근성 매우 높다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 증강현실 콘텐츠 관리시스템
200 : 사용자 단말기
300 : 관리자 단말기

Claims (6)

  1. 삭제
  2. 삭제
  3. 설치된 웹브라우저를 통해 증강현실 콘텐츠 관리시스템의 증강현실 서비스형 소프트웨어에 접속하여, 지도상에서 증강위치와, 상기 증강위치에 존재하는 실제영상정보의 실제객체와, 상기 실제객체에 할당되는 가상객체를 각각 설정하여 증강현실 콘텐츠를 제작하는 관리자 단말기; 및
    상기 증강현실 서비스형 소프트웨어 기반으로 상기 증강현실 콘텐츠 제작을 지원함에 있어서, 관리자로써 인증된 상기 웹브라우저 상에 상기 증강현실 콘텐츠를 제작하기 위한 템플릿을 제공하고, 사용한 템플릿의 종류에 따라 결제대금을 청구하는 상기 증강현실 콘텐츠 관리시스템;을 포함하고,
    상기 증강현실 콘텐츠 관리시스템은 다수의 이미지로부터 영상 특징점을 추출하고 매칭이 가능한 트리형 자료구조 형태로 학습한 후 이를 기반으로 입력되는 영상의 실시간 이미지를 인식 및 검출함에 있어서, BoW(Bag-of-visual words) 기반의 계층적 트리형 자료구조 동적생성을 통해 대용량 이미지 학습을 위한 검색트리생성을 지원하는 것을 특징으로 하는 증강현실운영시스템.
  4. 제3항에 있어서,
    상기 증강현실 콘텐츠 관리시스템은,
    상기 관리자 단말기로부터 전송되는 현재위치정보와 상기 실제영상정보에 대응되는 3차원 가상영상을 상기 관리자 단말기에 실시간으로 제공하되, 상기 실제영상정보의 실제객체를 식별하고 식별된 실제객체에 각각 할당된 상기 3차원 가상영상의 가상객체를 상기 관리자 단말기의 제어에 따라 실시간 업데이트 하는 것을 특징으로 하는 증강현실운영시스템.
  5. 배포모드에서, URL(Uniform Resource Locator) 주소를 전송한 웹브라우저로 미리 할당된 3차원 가상영상을 제공하고,
    저작모드에서, 증강현실 서비스형 소프트웨어 기반으로 증강현실 콘텐츠 제작을 지원함에 있어서, 관리자로써 인증된 웹브라우저 상에 상기 증강현실 콘텐츠를 제작하기 위한 템플릿을 제공하고, 사용한 템플릿의 종류에 따라 결제대금을 청구하는 증강현실 콘텐츠 관리시스템;
    배포모드에서, 설치된 웹브라우저를 통해 상기 URL(Uniform Resource Locator) 주소를 전송하여 상기 증강현실 콘텐츠 관리시스템으로부터 상기 3차원 가상영상을 제공받으며, 상기 웹브라우저에 표시되는 실제영상정보의 각 실제객체마다 미리 할당된 상기 3차원 가상영상의 가상객체를 증강하여 표시하는 사용자 단말기; 및
    저작모드에서, 설치된 웹브라우저를 통해 상기 증강현실 콘텐츠 관리시스템의 증강현실 서비스형 소프트웨어에 접속하여, 지도상에서 증강위치와, 증강위치에 존재하는 실제영상정보의 실제객체와, 실제객체에 할당되는 가상객체를 각각 설정하여 상기 증강현실 콘텐츠를 제작하는 관리자 단말기;를 포함하고,
    상기 증강현실 콘텐츠 관리시스템은 다수의 이미지로부터 영상 특징점을 추출하고 매칭이 가능한 트리형 자료구조 형태로 학습한 후 이를 기반으로 입력되는 영상의 실시간 이미지를 인식 및 검출함에 있어서, BoW(Bag-of-visual words) 기반의 계층적 트리형 자료구조 동적생성을 통해 대용량 이미지 학습을 위한 검색트리생성을 지원하는 것을 특징으로 하는 증강현실운영시스템.
  6. 제5항에 있어서,
    상기 증강현실 콘텐츠 관리시스템은,
    상기 배포모드에서, 상기 사용자 단말기로부터 전송되는 현재위치정보와 실제영상정보에 대응되는 상기 3차원 가상영상을 상기 사용자 단말기에 실시간으로 제공하되, 실제영상정보의 실제객체를 식별하고 식별된 실제객체에 각각 할당된 상기 3차원 가상영상의 가상객체를 상기 사용자 단말기에 제공하고,
    상기 저작모드에서, 상기 관리자 단말기로부터 전송되는 현재위치정보와 상기 실제영상정보에 대응되는 상기 3차원 가상영상을 상기 관리자 단말기에 실시간으로 제공하되, 상기 실제영상정보의 실제객체를 식별하고 식별된 실제객체에 각각 할당된 상기 3차원 가상영상의 가상객체를 상기 관리자 단말기의 제어에 따라 실시간 업데이트 하는 것을 특징으로 하는 증강현실운영시스템.
KR1020180099262A 2018-08-24 2018-08-24 증강현실 서비스형 소프트웨어 기반의 증강현실운영시스템 KR101985703B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180099262A KR101985703B1 (ko) 2018-08-24 2018-08-24 증강현실 서비스형 소프트웨어 기반의 증강현실운영시스템
US16/531,742 US10586397B1 (en) 2018-08-24 2019-08-05 Augmented reality service software as a service based augmented reality operating system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180099262A KR101985703B1 (ko) 2018-08-24 2018-08-24 증강현실 서비스형 소프트웨어 기반의 증강현실운영시스템

Publications (1)

Publication Number Publication Date
KR101985703B1 true KR101985703B1 (ko) 2019-06-04

Family

ID=66811137

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180099262A KR101985703B1 (ko) 2018-08-24 2018-08-24 증강현실 서비스형 소프트웨어 기반의 증강현실운영시스템

Country Status (2)

Country Link
US (1) US10586397B1 (ko)
KR (1) KR101985703B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021152394A1 (en) * 2020-01-30 2021-08-05 Leap Tools, Inc. Systems and methods for product visualization using a single-page application
WO2022045832A1 (ko) * 2020-08-28 2022-03-03 아맥스코리아 주식회사 혼합현실 기반 콘텐츠서비스장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210102820A1 (en) * 2018-02-23 2021-04-08 Google Llc Transitioning between map view and augmented reality view
EP3861387A4 (en) 2018-10-05 2022-05-25 Magic Leap, Inc. RENDERING LOCATION-SPECIFIC VIRTUAL CONTENT IN ANY LOCATION
US20200143354A1 (en) * 2018-11-05 2020-05-07 Arknet, Inc. Exploitation of augmented reality and cryptotoken economics in an information-centric network of smartphone users and other imaging cyborgs
US11137875B2 (en) 2019-02-22 2021-10-05 Microsoft Technology Licensing, Llc Mixed reality intelligent tether for dynamic attention direction
EP3716014B1 (de) * 2019-03-26 2023-09-13 Siemens Healthcare GmbH Übertragen eines zustands zwischen vr-umgebungen
US10755061B1 (en) * 2019-09-30 2020-08-25 Snap Inc. Product verification in a messaging system
WO2021118962A1 (en) * 2019-12-09 2021-06-17 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
US10777017B1 (en) * 2020-01-24 2020-09-15 Vertebrae Inc. Augmented reality presentation using a uniform resource identifier
US11194952B2 (en) * 2020-01-30 2021-12-07 Leap Tools, Inc. Systems and methods for product visualization using a single-page application
US10817648B1 (en) * 2020-01-30 2020-10-27 Leap Tools Inc. Systems and methods for product visualization using a single-page application
CN111046856B (zh) * 2020-03-13 2020-08-14 南京晓庄学院 基于动静态特征提取并行位姿跟踪与地图创建的方法
IT202000013612A1 (it) * 2020-06-08 2021-12-08 The B3Ring Company S R L Metodo per la visualizzazione di contenuti multimediali in realta’ aumentata
GB2612244A (en) * 2020-09-21 2023-04-26 Creote Studio Ltd Method and system for distributing augmented reality content and computer- readable storage medium
TWI764491B (zh) * 2020-12-31 2022-05-11 重量科技股份有限公司 文字資訊自動探勘方法及文字資訊自動探勘系統
CN116112469B (zh) * 2023-04-14 2023-06-06 杭州云缔盟科技有限公司 局域网内主机名信息上报方法、系统及其应用

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101380854B1 (ko) * 2013-03-21 2014-04-04 한국과학기술연구원 웹 정보구조에 기반한 증강현실 콘텐츠 제공장치 및 방법
KR20160092292A (ko) 2015-01-27 2016-08-04 주식회사 아이마카 광고물에 대한 증강현실 서비스 제공 시스템 및 방법
KR101793886B1 (ko) * 2017-01-04 2017-11-07 주식회사 더재미 개별사용권 보호가 가능한 증강 현실 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101330808B1 (ko) * 2011-01-27 2013-11-18 주식회사 팬택 증강 현실 편집 장치
KR101627169B1 (ko) * 2013-09-27 2016-06-07 한국과학기술연구원 증강현실 컨텐츠 저작 및 제공 시스템
KR20160112898A (ko) * 2015-03-20 2016-09-28 한국과학기술원 증강현실 기반 동적 서비스 제공 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101380854B1 (ko) * 2013-03-21 2014-04-04 한국과학기술연구원 웹 정보구조에 기반한 증강현실 콘텐츠 제공장치 및 방법
KR20160092292A (ko) 2015-01-27 2016-08-04 주식회사 아이마카 광고물에 대한 증강현실 서비스 제공 시스템 및 방법
KR101793886B1 (ko) * 2017-01-04 2017-11-07 주식회사 더재미 개별사용권 보호가 가능한 증강 현실 시스템 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021152394A1 (en) * 2020-01-30 2021-08-05 Leap Tools, Inc. Systems and methods for product visualization using a single-page application
WO2022045832A1 (ko) * 2020-08-28 2022-03-03 아맥스코리아 주식회사 혼합현실 기반 콘텐츠서비스장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
KR20220028322A (ko) * 2020-08-28 2022-03-08 아맥스코리아 주식회사 혼합현실 기반 콘텐츠서비스장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
KR102443515B1 (ko) * 2020-08-28 2022-09-15 김병걸 혼합현실 기반 콘텐츠서비스장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체

Also Published As

Publication number Publication date
US10586397B1 (en) 2020-03-10
US20200066050A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
KR101985703B1 (ko) 증강현실 서비스형 소프트웨어 기반의 증강현실운영시스템
US10083188B2 (en) Information processing device, map update method, program, and information processing system
US20200358984A1 (en) Method and System for Providing At Least One Image Captured By a Scene Camera of a Vehicle
US10140317B2 (en) Wide area augmented reality location-based services
US10665036B1 (en) Augmented reality system and method with dynamic representation technique of augmented images
US10949671B2 (en) Augmented reality system capable of manipulating an augmented reality object and an augmented reality method using the same
US10719993B1 (en) Augmented reality system and method with space and object recognition
US20170185823A1 (en) Apparatus And Method For Image-Based Positioning, Orientation And Situational Awareness
WO2013055980A1 (en) Method, system, and computer program product for obtaining images to enhance imagery coverage
KR102014761B1 (ko) 공간객체 검색결과 정렬 방법, 시스템 및 컴퓨터 독취가능 저장장치
KR102012835B1 (ko) 문자의 필기를 인식하고 증강현실 객체의 조작이 가능한 증강현실 시스템
CN110908504B (zh) 一种增强现实博物馆协作交互方法与系统
CN102567617A (zh) 用于提供增强现实信息的装置和方法
CN108151732A (zh) 一种远程的位置和行为估计方法
KR20190035798A (ko) 인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들
CN108551420B (zh) 增强现实设备及其信息处理方法
US11238665B2 (en) Multi-modality localization of users
KR102012831B1 (ko) 3차원 자세정보를 이용하여 증강현실 객체의 조작이 가능한 증강현실 시스템
CN112788443B (zh) 基于光通信装置的交互方法和系统
CN113259652A (zh) 提供增强现实显示的方法和系统
KR20200127107A (ko) 증강현실을 이용한 지역 상권 데이터 가시화 시스템
JP7266329B2 (ja) 現実空間で視認可能な位置に存在する副端末を特定する主端末、プログラム、システム及び方法
JP7130213B1 (ja) 現実空間における副端末との相対位置姿勢を仮想空間内で維持する主端末、プログラム、システム及び方法
WO2020244578A1 (zh) 基于光通信装置的交互方法和电子设备
JP2023056195A (ja) 副端末と同一の仮想空間へ参入する主端末、システム、プログラム及び方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant