KR102217198B1 - Html 컨텐츠를 표현하는 증강 현실 제공 장치 및 방법 - Google Patents

Html 컨텐츠를 표현하는 증강 현실 제공 장치 및 방법 Download PDF

Info

Publication number
KR102217198B1
KR102217198B1 KR1020150160141A KR20150160141A KR102217198B1 KR 102217198 B1 KR102217198 B1 KR 102217198B1 KR 1020150160141 A KR1020150160141 A KR 1020150160141A KR 20150160141 A KR20150160141 A KR 20150160141A KR 102217198 B1 KR102217198 B1 KR 102217198B1
Authority
KR
South Korea
Prior art keywords
augmented reality
html content
rendering
change information
tracking
Prior art date
Application number
KR1020150160141A
Other languages
English (en)
Other versions
KR20170056832A (ko
Inventor
강상철
전진수
조익환
송형주
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020150160141A priority Critical patent/KR102217198B1/ko
Publication of KR20170056832A publication Critical patent/KR20170056832A/ko
Application granted granted Critical
Publication of KR102217198B1 publication Critical patent/KR102217198B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Abstract

본 발명의 일 양상에 따른 증강 현실 제공 장치는 증강 현실로 구현되는 영상을 획득하는 획득부, 상기 획득된 영상에서 가상의 객체가 표시되는 대상을 인식하고 추적하는 인식 추적부, HTML 컨텐츠를 지원하며 상기 HTML 컨텐츠를 입력받는 웹브라우저부 및 상기 HTML 컨텐츠가 상기 증강 현실에서 상기 대상에 가상으로 표시되도록 렌더링하는 렌더링부를 포함한다.

Description

HTML 컨텐츠를 표현하는 증강 현실 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING AUGMENTED REALITY RENDERING HTML CONTENTS}
본 발명은 HTML 컨텐츠를 표현하는 증강 현실 제공 장치 및 방법에 관한 것이며, 보다 자세하게는 증강 현실을 제공하는 장치에서 HTML 컨텐츠를 표현하며 또한 해당 HTML 컨텐츠가 동적으로 변화하는 경우 이러한 변화를 증강 현실에 반영하여 표현하는 증강 현실 제공 장치 및 방법에 관한 것이다.
증강 현실(Augmented Reality, AR) 기술이란 사용자가 존재하는 현실 세계에 컴퓨터 그래픽으로 만들어진 가상의 객체를 중첩하여 사용자에게 제공하는 기술을 지칭한다. 예를 들면, 사용자가 스마트폰으로 집 내부의 벽면을 촬영하는 경우, 증강 현실 하에서는 촬영된 벽면의 영상에 가상의 벽난로 형상의 객체가 중첩되어 표현될 수 있다. 도 1을 참조하여 보다 자세하게 살펴보면, 스마트폰이나 스마트 패드와 같은 장치(10)에서 촬영부(11)를 통하여 특정 물건(20)을 촬영하는 경우, 이러한 특정 물건(20) 상에는 이미지나 영상과 같은 가상의 객체(30)가 표현될 수 있다. 이러한 가상의 객체(30)는 촬영된 특정 물건(20)의 위치 또는 해당 특정 물건(20)이 향하는 방향을 반영하여 마치 특정 물건(20) 상에 실제로 존재하는 것과 같이 표현될 수 있다.
그런데, 종래의 방식에서는 3D 컨텐츠의 경우 미리 3D 모델링 툴을 이용하여 가상의 컨텐츠(30)를 생성한 뒤, 이러한 가상의 컨텐츠(30)를 단순히 복사하여 영상에 붙여넣는 방식으로 증강 현실을 구현한다. 영상에 붙여넣어진 가상의 컨텐츠(30)는 복사된 순간의 고정된 형상을 가지거나, 미리 설정된 동작을 반복하거나, 별도의 스크립트 등을 이용하여 다른 동작을 수행할 수 있도록 프로그램을 기술 하여야 한다.
한편, HTML5(Hypertext Markup Language 5rd, hypertext markup language standard, the fifth edition, HTML standard version으로도 불림)는 1999년에 개발된 HTML 4.01와 XHTML1.0을 대체하기 위하여 제공되는 가장 최신의 HTML 프로토콜 표준을 가리킨다. 이러한 HTML5을 이용하면 추가적인 플러그인 없이도 애니메이션, 이미지, 음악이나 영화와 같은 멀티미디어를 웹브라우저에서 볼 수 있다.
그런데, 종래의 증강 현실 기술에 의해서는, HTML5와 같이 동적인 변화가 많은 HTML 객체를 증강 현실에서 가상의 객체로 표현하는 것이 어려웠다. 따라서, HTML 객체를 증강 현실에서 가상의 객체로 표현함과 동시에 HTML 객체에 발생하는 동적인 변화를 가상의 객체에 즉각적으로 반영하여 표현하는 기술에 대한 요구가 있다.
한국등록특허, 10-1380854 (2014.03.27.등록)
본 발명의 해결하고자 하는 과제는 HTML5와 같이 동적인 변화가 많은 HTML 객체를 증강 현실에서 가상의 객체로 표현하는 기술을 제공하는 것이다.
또한, HTML 객체에 발생하는 동적인 변화를 가상의 객체에 즉각적으로 반영하여 표현하는 기술을 제공하는 것이다.
다만, 본 발명의 해결하고자 하는 과제는 이에 한정되지 않는다.
본 발명의 일 양상에 따른 증강 현실 제공 장치는 증강 현실로 구현되는 영상을 획득하는 획득부, 상기 획득된 영상에서 가상의 객체가 표시되는 대상을 인식하고 추적하는 인식 추적부, HTML 컨텐츠를 지원하며 상기 HTML 컨텐츠를 입력받는 웹브라우저부 및 상기 HTML 컨텐츠가 상기 증강 현실에서 상기 대상에 가상으로 표시되도록 렌더링하는 렌더링부를 포함한다.
본 발명의 다른 양상에 따른 증강 현실 제공 방법의 단계를 수행하도록 프로그램된 컴퓨터 기록매체에 저장된 컴퓨터 프로그램은 증강 현실로 구현되는 영상을 획득하는 단계, 상기 획득된 영상에서 가상의 객체가 표시되는 대상을 인식하고 추적하는 단계, HTML 컨텐츠를 지원하며 상기 HTML 컨텐츠를 입력받는 단계 및 상기 HTML 컨텐츠가 상기 증강 현실에서 상기 대상에 가상으로 표시되도록 렌더링하는 단계를 수행하도록 프로그램된다.
본 발명의 일 실시예에 따르면, HTML5와 같이 동적인 변화가 많은 HTML 객체를 증강 현실에서 가상의 객체로 표현할 수 있으며, 또한 HTML 객체에 발생하는 동적인 변화를 가상의 객체에 즉각적으로 반영하여 표현할 수 있다.
도 1은 종래의 증강 현실 기술에 의하여 가상의 객체가 표현되는 것을 예시적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 제공 장치에 의하여 스마트 기기 등에서 HTML 컨텐츠가 가상의 객체로 표현되는 것을 예시적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 제공 장치의 구성을 예시적으로 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따라서 변경 정보가 반영되는 것을 예시적으로 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 증강 현실 제공 방법을 예시적으로 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따라서 증강 현실을 제공하는 절차를 예시적으로 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 제공 장치에 의하여 스마트 기기 등에서 HTML 컨텐츠가 가상의 객체로 표현되는 것을 예시적으로 도시한 도면이다.
도 2를 참조하면, 스마트폰이나 스마트 패드와 같은 장치(10)에서 촬영부(11)를 통하여 특정 물건(20)을 촬영하는 경우, 이러한 특정 물건(20) 상에는 가상의 객체(40)가 표현될 수 있다.
이 때, 본 발명의 일 실시예에 따른 증강 현실 제공 장치를 적용하는 경우, 특정 물건(20) 상에는 HTML5와 같은 HTML 객체가 가상의 객체(40)로 표현될 수 있다. 또한, 이러한 가상의 객체(40)는 해당 객체에 발생하는 시간에 따른 변화나 이벤트를 반영하는 가상의 객체(41)로 변화되어 표현될 수 있다. 즉, 본 발명의 일 실시예에 따르면 HTML5와 같이 동적인 변화가 많은 HTML 객체에 대해서도 증강 현실에서 가상의 객체로 표현할 수 있다. 이하에서는 이러한 일 실시예에 따른 증강 현실 제공 장치의 구성에 대하여 보다 자세하게 살펴보기로 한다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 제공 장치의 구성을 도시한 도면이다.
도 3을 참조하면, 일 실시예에 따른 증강 현실 제공 장치(100)는 획득부(110), 인식 추적부(120), 웹브라우저부(130) 및 렌더링부(140)를 포함하며, 추가로 저장부(150)를 더 포함할 수 있고, 다만 이는 일 실시예에 따른 것이므로 본 발명의 사상이 이에 한정되는 것은 아니다.
먼저, 증강 현실 제공 장치(100)는 도 2에 도시된 것과 같이 증강 현실로 구현되는 영상을 촬영하는 촬영부(11), 그리고 촬영된 영상을 증강 현실로 표시하는 디스플레이부(12)를 포함하는 도시된 장치(10)에 장착될 수 있다. 또는 증강 현실 제공 장치(100)는 이러한 장치(10)에 설치되는 컴퓨터 프로그램으로 구현될 수도 있다.
획득부(110)는 증강 현실로 구현되는 영상을 획득하며, 이러한 기능을 수행하도록 프로그램된 메모리 및 이러한 프로그램을 구동하는 마이크로프로세서에 의하여 구현될 수 있다. 이 때, 이러한 영상은 촬영부(11)가 촬영한 영상일 수 있다.
인식 추적부(120)는 획득부(110)에서 획득한 영상에서 가상의 객체가 표시되는 대상을 인식하고 추적하며, 이러한 기능을 수행하도록 프로그램된 메모리 및 이러한 프로그램을 구동하는 마이크로프로세서에 의하여 구현될 수 있다.
보다 구체적으로 살펴보면, 인식 추적부(120)는 획득부(110)에서 획득한 영상 중에서 가상의 객체가 표시될 대상을 인식한다. 이러한 대상은 사용자에 의하여 지정되어 인식되거나 또는 기 설정된 알고리즘에 의하여 지정되어 인식될 수 있으며, 예를 들면 영상 중에 존재하는 책상, 벽면, 천장이나 책 등 일 수 있다. 여기서, 인식 추적부(120)가 대상을 인식하는 기술은 증강 현실에서 대상을 인식하는 기 공지된 기술과 동일하므로 이에 관한 자세한 설명은 생략하기로 한다.
인식 추적부(120)는 인식된 대상을 추적한다. 이에 대하여 보다 구체적으로 살펴보면, 인식된 대상은 대상 또는 촬영부(11)(또는 촬영부(11)를 포함하는 장치(10))의 상대적인 움직임에 의하여 촬영된 영상에서 상이하게 표현될 수 있다. 예를 들면, 정면에서 촬영된 직사각형 모양의 그림은 좌측이나 우측에서 보면 사다리꼴 모양으로 표현될 수 있고, 이전보다 멀리에서 촬영된 직사각형 모양은 이전에 촬영된 직사각형보다 크기가 작은 직사각형으로 표현될 수 있다. 인식 추적부(120)는 이와 같이 인식된 대상이 대상이나 촬영부(11)의 상대적인 움직임에 의하여 상이하게 표현되는 것을 추적할 수 있다. 여기서, 인식 추적부(120)가 인식된 대상을 추적하는 기술은 증강 현실에서 대상을 인식하여 추적하는 기 공지된 기술과 동일하므로 이에 관한 보다 자세한 설명은 생략하기로 한다.
웹브라우저부(130)는 HTML5와 같은 HTML 컨텐츠를 지원한다. 이러한 웹브라우저는 예를 들면 WebView나 WebKit와 같은 웹브라우저 엔진 또는 자체적으로 제작된 웹브라우저 엔진일 수 있다. 또한, 웹브라우저부(130)는 가상의 객체로 표현될 HTML 컨텐츠를 입력받는다. 이 때, 웹브라우저부(130)는 인터넷을 통하여 HTML 컨텐츠를 입력받을 수 있으며 이와 달리 장치(10)로부터 HTML 컨텐츠를 입력받을 수도 있으나 이에 한정되는 것은 아니다. 여기서, HTML 컨텐츠로는 실시간으로 그 기사 내용이나 이미지 등이 변화하는 인터넷 포털 사이트, 이미지, 음악이나 영화와 같은 멀티미디어 등을 예로 들 수 있다.
렌더링부(140)는 증강 현실에서 객체가 대상에 가상으로 표시되도록 렌더링하며, 이러한 기능을 수행하도록 프로그램된 메모리 및 이러한 프로그램을 구동하는 마이크로프로세서에 의하여 구현될 수 있다. 이 때, 렌더링부(140)는 웹브라우저부(130)가 입력받은 HTML 컨텐츠를 렌더링할 수 있다. 보다 구체적으로 살펴보면, 렌더링부(140)는 증강 현실에서 인식 추적부(120)가 인식하여 추적한 대상에 HTML 컨텐츠와 같은 객체가 가상으로 표현될 수 있도록 해당 객체를 렌더링할 수 있다.
따라서, 본 발명의 일 실시예에 따르면 HTML 컨텐츠와 같은 객체가 증강 현실에서 표현될 수 있다.
이 때, 렌더링부(140)는 객체가 연속적으로 변화하는 경우, 이러한 변화를 즉각적으로 반영하여 렌더링할 수 있다. 이하에서는 이에 대하여 보다 구체적으로 살펴보기로 한다.
먼저, 웹브라우저부(130)가 HTML 객체를 입력받으면(또는 이를 HTML 객체를 로딩하는 것으로 표현할 수도 있음), HTML 문서에 대한 분석이 수행되고, 수행 결과 Document Object Model (DOM) 트리(tree)가 생성된다. 이러한 DOM 트리는 실질적인 컨텐츠를 나타내는 DOM 엘리먼트를 포함한다. DOM 엘리먼트는 HTML 객체를 구성하는 각 영역별로 존재한다. 각 영역은 실질적인 컨텐츠가 변화하면 이에 따라 즉시 변화한다.
이 후, DOM 트리와 맵핑되는 렌더 트리가 생성된다. 이러한 렌더 트리는 DOM 엘리먼트에 대응되는 렌더 텍스트를 포함한다. 렌더 텍스트 또한 HTML 객체를 구성하는 각 영역에 상응하도록 존재한다. 그리고 렌더 텍스트는 DOM 엘리먼트가 변화하면 이를 즉각적으로 반영하여 변화한다.
본 발명의 일 실시예에 따른 증강 현실 제공 장치(100)는 저장부(150)를 더 포함할 수 있다. 이러한 저장부(150)는 HTML 객체를 구성하는 각 영역에 상응하도록 존재하는 렌더 텍스트의 정보 중에서, 정보가 변경된 영역에 대한 변경 정보를 저장할 수 있다.
그리고 렌더링부(140)는 저장부(150)에 저장된 변경 정보를 기초로 HTML 객체에 변화가 발생하였는지를 확인하고 변화가 발생하였으면 그 즉시 이러한 변경 정보를 기초로 변화를 반영하여 HTML 객체에 대한 렌더링을 추가로 수행할 수 있다.
따라서, 본 발명의 일 실시예에 따르면 증강 현실 하에서 HTML 객체에 발생한 동적인 변화를 가상의 객체에 즉각적으로 반영하여 표현할 수 있다.
이 때, 렌더링부(140)가 렌더링을 추가로 수행하는 것은 인식 추적부(120)가 대상에 대한 추적을 완료한 경우이면서 변경 정보가 업데이트된 경우일 수 있다.
아울러, 렌더링부(140)가 저장부(150)에 저장된 변경 정보를 기초로 렌더링을 수행하는 경우, HTML 컨텐츠 전체에 대한 렌더링을 수행하는 것이 아니라 변경 정보를 기초로 변경 영역에 대해서만 렌더링을 수행할 수 있다. 이를 통해서, HTML 컨텐츠 중 특정 영역에만 변화가 있을 때 HTML 컨텐츠 전체가 아닌 변화가 있는 특정 영역에 대한 렌더링만이 수행되도록 함으로써 CPU나 GPU의 점유율을 낮추고 발열을 최소화할 수 있다.
한편, 렌더링부(140)가 변경 영역에 대해서 렌더링을 수행하고자 하는 경우, 동일 영역에 대한 변경 정보가 이미 복수의 횟수로 업데이트 된 경우가 있을 수 있다. 예를 들어서 살펴보면, 도 4에 도시된 바와 같이 렌더링부(140)가 마지막으로 렌더링을 수행하였을 때 영역(31)의 컨텐츠는 A이고 영역(32)의 컨텐츠는 B인 경우를 가정하자. 이 때, 영역(31)의 컨텐츠가 A에서 A'으로, 다시 A''으로 변화하고, 영역(32)의 컨텐츠가 B에서 B'으로 변화할 수 있으며, 이와 같이 변화할 때까지 렌더링부(140)가 렌더링을 수행하지 않을 수 있다.
이 경우, 렌더링부(140)는 저장부(150)에 저장된 변경 정보 중에서 렌더링을 수행하고자 하는 시점을 기준으로 마지막으로 업데이트된 변경 정보만을 기준으로 렌더링을 수행할 수 있다. 이 경우, 위의 예에서는 영역(31)은 A''으로 렌더링을 수행하고 영역(32)은 B'으로 렌더링을 수행하게 된다. 이와 같이 렌더링을 수행하는 것은 누적 비동기형 렌더링(accumulative asynchronous rendering)이라고 지칭될 수 있다. 이러한 누적 비동기형 렌더링에 의하면, HTML 객체의 모든 변화에 대하여 렌더링을 수행하지 않아도 되므로, CPU나 GPU의 점유율을 낮추고 발열을 최소화할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따르면 HTML 컨텐츠와 같은 객체가 증강 현실에서 표현될 수 있으며, 증강 현실 하에서 HTML 객체에 발생한 동적인 변화를 가상의 객체에 즉각적으로 반영하여 표현할 수 있다.
도 5는 본 발명의 일 실시예에 따른 증강 현실 제공 방법을 예시적으로 도시한 도면으로, 도 5에 도시된 증강 현실 제공 방법은 도 3에 도시된 증강 현실 제공 장치에 의하여 수행될 수 있다. 아울러, 도 5의 방법을 구성하는 각각의 절차는 실시예에 따라서 적어도 하나 이상이 수행되지 않거나 도시되지 않은 절차가 추가로 수행될 수 있으며, 절차가 수행되는 순서가 변경될 수 있다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 증강 현실 제공 방법은 증강 현실로 구현되는 영상을 획득하는 단계(S100), 획득된 영상에서 가상의 객체가 표시되는 대상을 인식하고 추적하는 단계(S110), HTML 컨텐츠를 지원하며 HTML 컨텐츠를 입력받는 단계(S120) 및 HTML 컨텐츠가 증강 현실에서 대상에 가상으로 표시되도록 렌더링하는 단계(S130)를 포함한다.
이하에서는 도 6을 도 2 내지 도 5와 함께 참조하면서 본 발명의 일 실시예에 대하여 보다 자세하게 살펴보기로 한다.
도 6은 본 발명의 일 실시예에 따라서 증강 현실을 제공하는 절차를 예시적으로 도시한 도면이다.
도 6을 참조하면, 스마트폰이나 스마트 패드와 같이 증강 현실을 표시하는 장치(10)는 그에 포함된 촬영부(11)를 이용하여 영상을 촬영할 수 있다(S200).
다음으로, 본 발명의 일 실시예에 따른 증강 현실 제공 장치(100)에 포함된 획득부(110)는 촬영부(11)가 촬영한 영상을 획득할 수 있다(S210). 이러한 영상은 증강 현실로 구현되는 영상이다.
다음으로, 인식 추적부(120)는 획득부(110)가 획득한 영상에서 가상의 객체가 표시되는 대상을 인식하며(S220), 인식된 대상의 위치와 방향을 추적한다(S230). 여기서 인식 추적부(120)가 대상을 인식하고 추적하는 기술은 전술한 바와 같이 증강 현실에서 대상을 인식하여 추적하는 기 공지된 기술과 동일하다.
인식 추적부(120)가 인식된 대상에 대하여 추적을 성공하는지 여부를 판단한다(S240). 추적을 성공하지 못한 경우에는 다시 S200으로 돌아가서 영상을 촬영할 수 있다. 그러나, 추적에 성공한 경우에는 가상의 객체로 표현될 HTML 객체가 이전에 로딩된 적이 있는지를 판단한다(S250).
HTML 객체가 이전에 로딩된 적이 없는 객체인 경우, HTML5와 같은 HTML 컨텐츠를 지원하는 웹브라우저부(130)는 HTML 컨텐츠를 입력받아서 로딩한다(S260). 로딩이 완료되지 않았으면(S270) 로딩될때까지 로딩을 수행한다.
그러나, 로딩이 완료되었으면(S270) 웹브라우저부(130)는 HTML 객체를 실행하여 분석한다(S280). 분석 결과 Document Object Model (DOM) 트리(tree)가 생성되고 업데이트된다(S290). 이러한 DOM 트리는 실질적인 컨텐츠를 나타내는 DOM 엘리먼트를 포함한다. DOM 엘리먼트는 HTML 객체를 구성하는 각 영역별로 존재한다. 이 후, DOM 트리와 맵핑되는 렌더 트리가 생성되고 업데이트된다(S300). 이러한 렌더 트리는 DOM 엘리먼트에 대응되는 렌더 텍스트를 포함한다. 렌더 텍스트 또한 HTML 객체를 구성하는 각 영역에 상응하도록 존재한다.
여기서, DOM 엘리먼트는 HTML 객체를 구성하는 각 영역의 실질적인 컨텐츠가 변화하면 이에 따라 즉시 변화하여 업데이트된다(S290). 렌더 텍스트 또한 DOM 엘리먼트가 변화하면 이를 즉각적으로 반영하여 변화하여 업데이트된다(S300). 저장부(150)는 렌더 텍스트의 정보 중에서, 정보가 변경된 영역에 대한 변경 정보를 저장한다(S310). 여기서, 단계 S280 내지 S310의 단계는 계속하여 반복수행되면서 HTML 객체에 변화가 발생하면, 이에 따른 변경 정보가 저장부(150)에 반영되어 저장되도록 할 수 있다.
렌더링부(140)는 증강 현실에서 객체가 대상에 가상으로 표시되도록 렌더링한다(S320). 이 때 렌더링부(140)는 저장부(150)에 저장된 변경 정보를 기초로 렌더링을 수행할 수 있는데, 변경 정보를 기초로 렌더링을 수행하는 것인 후술하기로 한다. 렌더링된 가상의 객체는 증강 현실에 표현된다(S330).
이 후, 인식 추적부(120)는 대상의 위치와 방향을 추적(S230)한다. 추적이 성공할 경우(S240), HTML 객체는 이미 로딩이 되었으므로(S250) 이러한 HTML 객체에 변화가 있는지를 체크한다(S350). HTML 객체에 변화가 있는지 여부는 저장부(150)에 저장된 변경 정보를 기초로 판단한다. 변화가 발생하였으면 그 즉시 이러한 변경 정보를 기초로(S360) 변화를 반영하여 HTML 객체에 대한 렌더링을 추가로 수행할 수 있다(S320). 따라서, 본 발명의 일 실시예에 따르면 증강 현실 하에서 HTML 객체에 발생한 동적인 변화를 가상의 객체에 즉각적으로 반영하여 표현할 수 있다.
이 때, 렌더링부(140)가 렌더링을 추가로 수행하는 것은 인식 추적부(120)가 대상에 대한 추적을 완료한 경우이면서 변경 정보가 업데이트된 경우일 수 있음은 전술한 바와 같다.
아울러, 렌더링부(140)가 저장부(150)에 저장된 변경 정보를 기초로 렌더링을 수행하는 경우, HTML 객체 전체에 대한 렌더링을 수행하는 것이 아니라 변경 정보를 기초로 변경 영역에 대해서만 렌더링을 수행할 수 있음은 전술한 바와 같다.
이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따르면 HTML 컨텐츠와 같은 객체가 증강 현실에서 표현될 수 있으며, 증강 현실 하에서 HTML 객체에 발생한 동적인 변화를 가상의 객체에 즉각적으로 반영하여 표현할 수 있다.
한편, 본 발명의 일 실시예에 따른 증강 현실 제공 방법은 이러한 방법에 포함된 각 단계를 수행하도록 프로그램된 컴퓨터 기록매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 실시예에 따르면 증강 현실에서 HTML5와 같은 HTML 객체를 표현할 수 있다. 아울러, 이러한 HTML 객체의 변화를 반영하여 렌더링함에 있어서 CPU나 GPU의 점유율을 낮추고 발열을 최소화할 수 있다.
100: 증강 현실 제공 장치
110: 획득부 120: 인식 추적부
130: 웹브라우저부 140: 렌더링부
150: 저장부

Claims (6)

  1. 증강 현실로 구현되는 영상을 획득하는 획득부;
    상기 획득된 영상에서 가상의 객체가 표시되는 대상을 인식하고 추적하는 인식 추적부;
    HTML 컨텐츠를 지원하며 상기 HTML 컨텐츠를 입력받는 웹브라우저부; 및
    상기 HTML 컨텐츠가 상기 증강 현실에서 상기 대상에 가상으로 표시되도록 렌더링하는 렌더링부를 포함하며,
    상기 HTML 컨텐츠를 구성하는 복수의 영역이 변화하면 상기 복수의 영역에 대응되는 DOM 엘리먼트 각각에 상기 변화가 반영되고, 상기 DOM 엘리먼트 각각에 반영된 변화는 상기 DOM 엘리먼트 각각에 대응되는 렌더 텍스트에 반영되며,
    상기 렌더링부는,
    상기 변화가 반영된 렌더 텍스트에 기초해서 상기 렌더링을 수행하는
    증강 현실 제공 장치.
  2. 제 1 항에 있어서,
    상기 증강 현실 제공 장치는 상기 HTML 컨텐츠를 구성하는 각 영역 중에서 변경된 영역에 대한 변경 정보를 저장하는 저장부를 더 포함하고,
    상기 렌더링부는,
    상기 인식 추적부가 상기 대상에 대한 추적을 완료하고 상기 변경 정보가 업데이트된 경우, 상기 업데이트된 변경 정보를 기초로 상기 HTML 컨텐츠를 렌더링하는
    증강 현실 제공 장치.
  3. 제 1 항에 있어서,
    상기 증강 현실 제공 장치는 상기 HTML 컨텐츠를 구성하는 각 영역 중에서 변경된 영역에 대한 변경 정보를 저장하는 저장부를 더 포함하고,
    상기 렌더링부는,
    상기 인식 추적부가 상기 대상에 대한 추적을 완료하고 상기 HTML 컨텐츠를 구성하는 각 영역 중에서 동일 영역에 대한 변경 정보가 복수의 횟수로 업데이트 된 경우, 상기 업데이트된 변경 정보 중에서 마지막으로 업데이트된 변경 정보를 기초로 상기 HTML 컨텐츠를 렌더링하는
    증강 현실 제공 장치.
  4. 증강 현실로 구현되는 영상을 획득하는 단계;
    상기 획득된 영상에서 가상의 객체가 표시되는 대상을 인식하고 추적하는 단계;
    HTML 컨텐츠를 지원하는 웹브라우저부로부터 상기 HTML 컨텐츠를 입력받는 단계; 및
    상기 입력받은 HTML 컨텐츠가 상기 증강 현실에서 상기 대상에 가상으로 표시되도록 렌더링하는 단계를 수행하도록 프로그램되며,
    상기 HTML 컨텐츠를 구성하는 복수의 영역이 변화하면 상기 복수의 영역에 대응되는 DOM 엘리먼트 각각에 상기 변화가 반영되고, 상기 DOM 엘리먼트 각각에 반영된 변화는 상기 DOM 엘리먼트 각각에 대응되는 렌더 텍스트에 반영되며,
    상기 렌더링하는 단계는,
    상기 변화가 반영된 렌더 텍스트에 기초해서 상기 렌더링을 수행하는
    컴퓨터 기록매체에 저장된 컴퓨터 프로그램.
  5. 제 4 항에 있어서,
    상기 컴퓨터 프로그램은 상기 HTML 컨텐츠를 구성하는 각 영역 중에서 변경된 영역에 대한 변경 정보를 저장하는 단계를 더 수행하도록 프로그램되고,
    상기 추적하는 단계에서 상기 대상에 대한 추적을 완료한 경우이면서 상기 변경 정보를 저장하는 단계에서의 상기 변경 정보가 업데이트된 경우,
    상기 렌더링하는 단계는,
    상기 업데이트된 변경 정보를 기초로 상기 HTML 컨텐츠를 렌더링하도록 프로그램된
    컴퓨터 기록매체에 저장된 컴퓨터 프로그램.
  6. 제 4 항에 있어서,
    상기 컴퓨터 프로그램은 상기 HTML 컨텐츠를 구성하는 각 영역 중에서 변경된 영역에 대한 변경 정보를 저장하는 단계를 더 수행하도록 프로그램되고,
    상기 추적하는 단계에서 상기 대상에 대한 추적을 완료한 경우이면서 상기 변경 정보를 저장하는 단계에서 상기 HTML 컨텐츠를 구성하는 각 영역 중에서 동일 영역에 대한 변경 정보가 복수의 횟수로 업데이트 된 경우,
    상기 렌더링하는 단계는,
    상기 업데이트된 변경 정보 중에서 마지막으로 업데이트된 변경 정보를 기초로 상기 HTML 컨텐츠를 렌더링하도록 프로그램된
    컴퓨터 기록매체에 저장된 컴퓨터 프로그램.
KR1020150160141A 2015-11-16 2015-11-16 Html 컨텐츠를 표현하는 증강 현실 제공 장치 및 방법 KR102217198B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150160141A KR102217198B1 (ko) 2015-11-16 2015-11-16 Html 컨텐츠를 표현하는 증강 현실 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150160141A KR102217198B1 (ko) 2015-11-16 2015-11-16 Html 컨텐츠를 표현하는 증강 현실 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170056832A KR20170056832A (ko) 2017-05-24
KR102217198B1 true KR102217198B1 (ko) 2021-02-18

Family

ID=59051546

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150160141A KR102217198B1 (ko) 2015-11-16 2015-11-16 Html 컨텐츠를 표현하는 증강 현실 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102217198B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101585245B1 (ko) * 2009-06-19 2016-01-13 엘지전자 주식회사 이미지 처리 방법 및 이를 적용한 이미지 표시 장치
KR101380854B1 (ko) 2013-03-21 2014-04-04 한국과학기술연구원 웹 정보구조에 기반한 증강현실 콘텐츠 제공장치 및 방법
KR101627169B1 (ko) * 2013-09-27 2016-06-07 한국과학기술연구원 증강현실 컨텐츠 저작 및 제공 시스템

Also Published As

Publication number Publication date
KR20170056832A (ko) 2017-05-24

Similar Documents

Publication Publication Date Title
US10863168B2 (en) 3D user interface—360-degree visualization of 2D webpage content
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
CN107832108B (zh) 3D canvas网页元素的渲染方法、装置及电子设备
US8644467B2 (en) Video conferencing system, method, and computer program storage device
US9240070B2 (en) Methods and systems for viewing dynamic high-resolution 3D imagery over a network
CN110969685B (zh) 使用渲染图的可定制渲染管线
US11003305B2 (en) 3D user interface
KR102433857B1 (ko) 혼합 현실에서 동적 가상 콘텐츠들을 생성하기 위한 디바이스 및 방법
JP7422876B2 (ja) 拡張現実に基づいた表示方法及び装置、並びに記憶媒体
US20140267407A1 (en) Segmentation of content delivery
JP2022550627A (ja) 拡張現実に基づいた表示方法、装置、及び記憶媒体
KR20210030384A (ko) 3d 전환
KR20150106846A (ko) 표시 장치에서의 그래픽 렌더링 및 그와 관련된 개선
US20190043247A1 (en) 3D User Interface - Non-native Stereoscopic Image Conversion
KR101308184B1 (ko) 윈도우 형태의 증강현실을 제공하는 장치 및 방법
JP2016500959A (ja) 画像キャプチャおよび容易なアノテーションのための方法およびシステム
KR102217198B1 (ko) Html 컨텐츠를 표현하는 증강 현실 제공 장치 및 방법
KR102367640B1 (ko) 실제 물체들의 인터랙티브 3d 표현들의 생성 및 디스플레이를 위한 시스템들 및 방법들
CN109427085B (zh) 一种图像数据的处理、渲染方法、服务器及客户端
KR102167273B1 (ko) 실제 객체를 증강하는 방법, 장치 및 컴퓨터 프로그램 제품
KR102293827B1 (ko) 증강 현실에서 표현되는 html 컨텐츠와의 인터액션을 제공하는 증강 현실 제공 장치 및 방법
KR101316789B1 (ko) 증강 현실 컨텐츠 재생 시스템 및 방법
JP6371547B2 (ja) 画像処理装置、方法、および、プログラム
JP2018151793A (ja) プログラム、情報処理装置
US20220343588A1 (en) Method and electronic device for selective magnification in three dimensional rendering systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right