KR20170056831A - 증강 현실에서 표현되는 html 컨텐츠와의 인터액션을 제공하는 증강 현실 제공 장치 및 방법 - Google Patents

증강 현실에서 표현되는 html 컨텐츠와의 인터액션을 제공하는 증강 현실 제공 장치 및 방법 Download PDF

Info

Publication number
KR20170056831A
KR20170056831A KR1020150160140A KR20150160140A KR20170056831A KR 20170056831 A KR20170056831 A KR 20170056831A KR 1020150160140 A KR1020150160140 A KR 1020150160140A KR 20150160140 A KR20150160140 A KR 20150160140A KR 20170056831 A KR20170056831 A KR 20170056831A
Authority
KR
South Korea
Prior art keywords
html content
unit
virtual
augmented reality
content
Prior art date
Application number
KR1020150160140A
Other languages
English (en)
Other versions
KR102293827B1 (ko
Inventor
강상철
전진수
조익환
송형주
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020150160140A priority Critical patent/KR102293827B1/ko
Publication of KR20170056831A publication Critical patent/KR20170056831A/ko
Application granted granted Critical
Publication of KR102293827B1 publication Critical patent/KR102293827B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Abstract

본 발명의 일 양상에 따른 증강 현실 제공 장치는 증강 현실로 구현되는 영상을 획득하는 획득부, 상기 획득된 영상에서 가상의 컨텐츠가 표시되는 대상을 인식하고 추적하는 인식 추적부, HTML 컨텐츠를 지원하며 상기 HTML 컨텐츠를 입력받는 웹브라우저부, 상기 입력받은 HTML 컨텐츠가 상기 증강 현실에서 가상의 HTML 컨텐츠로 표현되도록 렌더링하는 렌더링부, 상기 가상의 HTML 컨텐츠 상에 가해지는 이벤트를 입력받는 입력 인식부 및 상기 가상의 HTML 컨텐츠 상에 가해지는 이벤트가 상기 HTML 컨텐츠에 작용하도록 변환하며, 상기 변환된 이벤트를 상기 웹브라우저부에 전달하는 변환부를 포함한다.

Description

증강 현실에서 표현되는 HTML 컨텐츠와의 인터액션을 제공하는 증강 현실 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING INTERACTION WITH HTML CONTENTS DISPLAYED RENDERED IN AUGMENTED REALITY}
본 발명은 증강 현실에서 표현되는 HTML 컨텐츠와의 인터액션을 제공하는 증강 현실 제공 장치 및 방법에 관한 것이며, 보다 자세하게는 증강 현실을 제공하는 장치에서 표현되는 가상의 HTML 컨텐츠에 외부로부터의 인터액션이 가해지면 이를 HTML 컨텐츠에 전달하고, 전달된 인터액션에 대응하여 HTML 컨텐츠에 변화가 발생하면 이러한 변화를 가상의 HTML 컨텐츠에 반영할 수 있는 증강 현실 제공 장치 및 방법에 관한 것이다.
증강 현실(Augmented Reality, AR) 기술이란 사용자가 존재하는 현실 세계에 컴퓨터 그래픽으로 만들어진 가상의 컨텐츠를 중첩하여 사용자에게 제공하는 기술을 지칭한다. 예를 들면, 사용자가 스마트폰으로 집 내부의 벽면을 촬영하는 경우, 증강 현실에서는 촬영된 벽면의 영상에 가상의 벽난로 형상의 컨텐츠가 중첩되어 표현될 수 있다. 도 1을 참조하여 보다 자세하게 살펴보면, 스마트폰이나 스마트 패드와 같은 장치(10)에서 촬영부(11)를 통하여 특정 물건(20)을 촬영하는 경우, 이러한 특정 물건(20) 상에는 이미지나 영상과 같은 가상의 컨텐츠(30)가 표현될 수 있다. 이 때 가상의 컨텐츠(30)는 촬영된 특정 물건(20)의 위치 또는 해당 특정 물건(20)이 향하는 방향을 반영하여 마치 특정 물건(20) 상에 실제로 존재하는 것과 같이 표현될 수 있다.
그런데, 종래의 방식에서는 미리 3D 모델링 툴을 이용하여 가상의 컨텐츠(30)를 생성한 뒤, 이러한 가상의 컨텐츠(30)를 단순히 복사하여 영상에 붙여넣는 방식으로 증강 현실을 구현한다. 영상에 붙여넣어진 가상의 컨텐츠(30)는 복사된 순간의 고정된 형상만을 가질 수 있을 뿐이다. 따라서, 실제 컨텐츠에 변화가 발생하여도 가상의 컨텐츠(30)는 이를 반영하여 변화할 수 없다. 또한, 가상의 컨텐츠(30)는 외부에서 가해지는 이벤트를 인식할 수 없다. 따라서 가상의 컨텐츠(30)는 외부에서 가해지는 이러한 이벤트와 상호 작용을 하면서 변화할 수도 없다.
한편, HTML5(Hypertext Markup Language 5rd, hypertext markup language standard, the fifth edition, HTML standard version으로도 불림)는 1999년에 개발된 HTML 4.01와 XHTML1.0을 대체하기 위하여 제공되는 가장 최신의 HTML 프로토콜 표준을 가리킨다. 이러한 HTML5을 이용하면 추가적인 플러그인 없이도 애니메이션, 이미지, 음악이나 영화와 같은 멀티미디어를 웹브라우저에서 볼 수 있다.
이러한 HTML에서의 컨텐츠는 현재 스마트폰이나 스마트 패드와 같은 기기에서 2D로 구현되어 있다. 사용자는 기기에 구비된 터치스크린을 이용하여 HTML 컨텐츠에 클릭, 스와이프와 같은 이벤트를 발생시킬 수 있다. 즉, HTML 컨텐츠와 사용자 간의 인터액션이 가능하다. 이러한 이벤트에 대응하여 HTML 컨텐츠에는 페이지가 변경되거나 페이지가 스크롤 되는 등의 변화가 발생할 수 있다. 또는 텍스트 박스가 클릭이 되는 경우 키보드가 팝업될 수도 있다.
그런데, 가상의 컨텐츠가 종래의 방식의 증강 현실에서 표현되는 경우, 이러한 가상의 컨텐츠는 외부에서 가해지는 이러한 이벤트와 상호 작용을 하면서 변화할 수 없다. 즉, 종래의 방식에 의해서는 HTML 컨텐츠와 사용자 간의 인터액션이 불가능하다. 이에, 증강 현실에서 HTML 컨텐츠와 사용자 간의 인터액션을 가능하게 하는 기술에 대한 요구가 있다.
한국등록특허, 10-1380854 (2014.03.27.등록)
본 발명의 해결하고자 하는 과제는 HTML5와 같이 동적인 변화가 많은 HTML 컨텐츠와 사용자 간의 인터액션을 가능하게 하는 기술을 제공하는 것이다.
다만, 본 발명의 해결하고자 하는 과제는 이에 한정되지 않는다.
본 발명의 일 양상에 따른 증강 현실 제공 장치는 증강 현실로 구현되는 영상을 획득하는 획득부, 상기 획득된 영상에서 가상의 컨텐츠가 표시되는 대상을 인식하고 추적하는 인식 추적부, HTML 컨텐츠를 지원하며 상기 HTML 컨텐츠를 입력받는 웹브라우저부, 상기 입력받은 HTML 컨텐츠가 상기 증강 현실에서 가상의 HTML 컨텐츠로 표현되도록 렌더링하는 렌더링부, 상기 가상의 HTML 컨텐츠 상에 가해지는 이벤트를 입력받는 입력 인식부 및 상기 가상의 HTML 컨텐츠 상에 가해지는 이벤트가 상기 HTML 컨텐츠에 작용하도록 변환하며, 상기 변환된 이벤트를 상기 웹브라우저부에 전달하는 변환부를 포함한다.
본 발명의 다른 양상에 따른 컴퓨터 판독가능한 기록매체에 프로그램된 컴퓨터 프로그램은 증강 현실로 구현되는 영상을 획득하는 단계, 상기 획득된 영상에서 가상의 컨텐츠가 표시되는 대상을 인식하고 추적하는 단계, HTML 컨텐츠를 지원하는 웹브라우저부로부터 상기 HTML 컨텐츠를 입력받는 단계, 상기 입력받은 HTML 컨텐츠가 상기 증강 현실에서 가상의 HTML 컨텐츠로 표현되도록 렌더링하는 단계, 상기 가상의 HTML 컨텐츠 상에 가해지는 이벤트를 입력받는 단계, 상기 가상의 HTML 컨텐츠 상에 가해지는 이벤트가 상기 HTML 컨텐츠에 작용하도록 변환하는 단계 및 상기 변환된 이벤트를 상기 웹브라우저부에 전달하는 단계를 포함하도록 프로그램된다.
본 발명의 일 실시예에 따르면, 증강 현실에서 HTML5와 같이 동적인 변화가 많은 HTML 컨텐츠와 사용자 간의 인터액션을 가능하게 할 수 있다. 또한, 인터액션에 의하여 HTML 컨텐츠에 변화가 발생하면, 이러한 변화를 즉각적으로 가상의 HTML 컨텐츠에 반영할 수 있다.
도 1은 종래의 증강 현실 기술에 의하여 가상의 컨텐츠가 표현되는 것을 예시적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 제공 장치에 의하여 스마트 기기 등에서 HTML 컨텐츠가 가상의 컨텐츠로 표현되는 것을 예시적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 제공 장치에 의하여 스마트 기기 등에서 HTML 컨텐츠와 사용자 간에 인터액션이 일어나는 것을 예시적으로 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 제공 장치의 구성을 예시적으로 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 증강 현실 제공 방법을 예시적으로 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따라서 증강 현실을 제공하는 절차를 예시적으로 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 제공 장치에 의하여 스마트 기기 등에서 HTML 컨텐츠가 가상의 컨텐츠로 표현되는 것을 예시적으로 도시한 도면이다.
도 2를 참조하면, 스마트폰이나 스마트 패드와 같은 장치(10)에서 촬영부(11)를 통하여 특정 물건(20)을 촬영하는 경우, 이러한 특정 물건(20) 상에는 가상의 컨텐츠(40)가 표현될 수 있다.
이 때, 본 발명의 일 실시예에 따른 증강 현실 제공 장치를 적용하는 경우, 특정 물건(20) 상에는 HTML5와 같은 HTML 컨텐츠가 가상의 컨텐츠(40)로 표현될 수 있다. 또한, 이러한 가상의 컨텐츠(40)는 해당 컨텐츠에 발생하는 시간에 따른 변화나 이벤트가 반영된 가상의 컨텐츠(41)로 표현될 수 있다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 제공 장치에 의하여 스마트 기기 등에서 HTML 컨텐츠와 사용자 간에 인터액션이 일어나는 것을 예시적으로 도시한 도면이다.
도 3을 참조하면, 사용자는 스마트폰이나 스마트 패드와 같은 장치(10)에 표현된 가상의 컨텐츠(40)에 터치나 스크롤과 같은 이벤트를 가할 수 있다. 이 경우, 본 발명의 일 실시예에 따른 증강 현실 제공 장치를 적용하면, 전술한 가상의 컨텐츠(40)에 가해지는 이벤트는 가상의 컨텐츠(40)에 대응되는 실제 컨텐츠(42)에 작용하도록 변환될 수 있다. 즉, 도 3에 도시된 바와 같이 사용자가 가상의 컨텐츠(40)에서 대각선 방향으로 스와이프를 한 경우, 사용자가 수직으로 스와이프를 한 것으로 변환되어 실제 컨텐츠(42)에 작용할 수 있다. 이하에서는 이러한 일 실시예에 따른 증강 현실 제공 장치의 구성에 대하여 보다 자세하게 살펴보기로 한다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 제공 장치의 구성을 도시한 도면이다.
도 4를 참조하면, 일 실시예에 따른 증강 현실 제공 장치(100)는 획득부(110), 인식 추적부(120), 웹브라우저부(130), 렌더링부(140), 입력 인식부(150) 및 변환부(160)를 포함하며, 추가로 저장부(170)를 더 포함할 수 있고, 다만 이는 일 실시예에 따른 것이므로 본 발명의 사상이 이에 한정되는 것은 아니다.
먼저, 증강 현실 제공 장치(100)는 도 2 및 도 3에 도시된 것과 같이 증강 현실로 구현되는 영상을 촬영하는 촬영부(11), 그리고 촬영된 영상을 증강 현실로 표시하는 디스플레이부(12)를 포함하는 장치(10)에 장착될 수 있다. 또는 증강 현실 제공 장치(100)는 이러한 장치(10)에 설치되는 컴퓨터 프로그램으로 구현될 수도 있다.
획득부(110)는 증강 현실로 구현되는 영상을 획득하며, 이러한 기능을 수행하도록 프로그램된 메모리 및 이러한 프로그램을 구동하는 마이크로프로세서에 의하여 구현될 수 있다. 이 때, 이러한 영상은 촬영부(11)가 촬영한 영상일 수 있다.
인식 추적부(120)는 획득부(110)에서 획득한 영상에서 가상의 컨텐츠가 표시되는 대상을 인식하고 추적하며, 이러한 기능을 수행하도록 프로그램된 메모리 및 이러한 프로그램을 구동하는 마이크로프로세서에 의하여 구현될 수 있다.
보다 구체적으로 살펴보면, 인식 추적부(120)는 획득부(110)에서 획득한 영상 중에서 가상의 컨텐츠가 표시될 대상을 인식한다. 이러한 대상은 사용자에 의하여 지정되어 인식되거나 또는 기 설정된 알고리즘에 의하여 지정되어 인식될 수 있으며, 예를 들면 영상 중에 존재하는 책상, 벽면, 천장이나 책 등 일 수 있다. 여기서, 인식 추적부(120)가 대상을 인식하는 기술은 증강 현실에서 대상을 인식하는 기 공지된 기술과 동일하므로 이에 관한 자세한 설명은 생략하기로 한다.
인식 추적부(120)는 인식된 대상을 추적한다. 이에 대하여 보다 구체적으로 살펴보면, 인식된 대상은 대상 또는 촬영부(11)(또는 촬영부(11)를 포함하는 장치(10))의 상대적인 움직임에 의하여 촬영된 영상에서 상이하게 표현될 수 있다. 예를 들면, 정면에서 촬영된 직사각형 모양의 그림은 좌측이나 우측에서 보면 사다리꼴 모양으로 표현될 수 있고, 이전보다 멀리에서 촬영된 직사각형 모양은 이전에 촬영된 직사각형보다 크기가 작은 직사각형으로 표현될 수 있다. 인식 추적부(120)는 이와 같이 인식된 대상이 대상이나 촬영부(11)의 상대적인 움직임에 의하여 상이하게 표현되는 것을 추적할 수 있다. 여기서, 인식 추적부(120)가 인식된 대상을 추적하는 기술은 증강 현실에서 대상을 인식하여 추적하는 기 공지된 기술과 동일하므로 이에 관한 보다 자세한 설명은 생략하기로 한다.
웹브라우저부(130)는 HTML5와 같은 HTML 컨텐츠를 지원한다. 이러한 웹브라우저는 예를 들면 WebView나 WebKit와 같은 웹브라우저 엔진 또는 자체적으로 제작된 웹브라우저 엔진일 수 있다. 또한, 웹브라우저부(130)는 가상의 컨텐츠로 표현될 HTML 컨텐츠를 입력받는다. 이 때, 웹브라우저부(130)는 인터넷을 통하여 HTML 컨텐츠를 입력받을 수 있으며 이와 달리 장치(10)로부터 장치(10)에 기 저장된 HTML 컨텐츠를 입력받을 수도 있으나 이에 한정되는 것은 아니다. 여기서, HTML 컨텐츠로는 실시간으로 그 기사 내용이나 이미지 등이 변화하는 인터넷 포털 사이트 또는 이미지, 음악이나 영화와 같은 멀티미디어 등을 예로 들 수 있다.
렌더링부(140)는 증강 현실에서 컨텐츠가 대상에 가상으로 표시되도록 렌더링하며, 이러한 기능을 수행하도록 프로그램된 메모리 및 이러한 프로그램을 구동하는 마이크로프로세서에 의하여 구현될 수 있다. 이 때, 렌더링부(140)는 웹브라우저부(130)가 입력받은 HTML 컨텐츠를 렌더링할 수 있다. 보다 구체적으로 살펴보면, 렌더링부(140)는 증강 현실에서 인식 추적부(120)가 인식하여 추적한 대상에 HTML 컨텐츠와 같은 컨텐츠가 가상으로 표현될 수 있도록 해당 컨텐츠를 렌더링할 수 있다.
따라서, 본 발명의 일 실시예에 따르면 HTML 컨텐츠와 같은 컨텐츠가 증강 현실에서 표현될 수 있다.
이 때, 렌더링부(140)는 컨텐츠가 연속적으로 변화하는 경우, 이러한 변화를 즉각적으로 반영하여 렌더링할 수 있다. 이하에서는 이에 대하여 보다 구체적으로 살펴보기로 한다.
먼저, 웹브라우저부(130)가 HTML 컨텐츠를 입력받으면(웹브라우저부(130)가 HTML 컨텐츠를 입력받는 것은 HTML 컨텐츠를 로딩하는 것으로 표현될 수도 있음), HTML 문서에 대한 분석이 수행되고, 수행 결과 Document Object Model (DOM) 트리(tree)가 생성된다. 이러한 DOM 트리는 실질적인 컨텐츠를 나타내는 DOM 엘리먼트를 포함한다. DOM 엘리먼트는 HTML 컨텐츠를 구성하는 각 영역별로 존재한다. DOM 엘리먼트의 각 영역은 실질적인 컨텐츠가 변화하면 이에 따라 즉시 변화된다.
이 후, DOM 트리와 맵핑되는 렌더 트리가 생성된다. 이러한 렌더 트리는 DOM 엘리먼트에 대응되는 렌더 텍스트를 포함한다. 렌더 텍스트 또한 HTML 컨텐츠를 구성하는 각 영역에 상응하도록 존재한다. 그리고 렌더 텍스트는 DOM 엘리먼트가 변화하면 이를 즉각적으로 반영하여 변화된다.
입력 인식부(150)는 가상의 HTML 컨텐츠 상에 가해지는 이벤트를 입력받아서 인식하며, 이러한 기능을 수행하도록 프로그램된 메모리 및 이러한 프로그램을 구동하는 마이크로프로세서에 의하여 구현될 수 있다.
보다 구체적으로 살펴보면, 입력 인식부(150)는 장치(10)로부터 이벤트를 입력받아서 인식하거나 또는 기타 다른 외부의 이벤트 발생 장치로부터 이벤트를 입력받아서 인식할 수 있다. 이러한 이벤트로는 장치(10)에 구비된 디스플레이부(12)에 사용자가 가한 터치나 스와이프, 스크롤 등을 예로 들 수 있다. 이와 달리 도면에는 도시되지 않았지만 사용자의 모션을 인식하는 모션 인식 장치가 사용자의 모션을 인식하여 전달한 정보 등을 예로 들 수도 있다.
변환부(160)는 가상의 HTML 컨텐츠 상에 가해지는 이벤트가 HTML 컨텐츠에 작용하도록 변환하고 변환된 이벤트를 웹브라우저부(130)에 전달하며, 이러한 기능을 수행하도록 프로그램된 메모리 및 이러한 프로그램을 구동하는 마이크로프로세서에 의하여 구현될 수 있다.
보다 구체적으로 살펴보면, 변환부(160)는 가상의 HTML 컨텐츠 상에 가해진 이벤트가 실제의 HTML 컨텐츠에 적용될 수 있도록 변환한다.
이를 위하여 먼저, 변환부(160)는 입력 인식부(150)가 입력받아서 인식한 이벤트에 의하여 가상의 HTML 컨텐츠가 선택되었는지를 판단한다. 사용자가 장치(10)의 디스플레이부(12)를 터치한 경우를 예로 들어 보자. 입력 인식부(150)는 디스플레이부(12)의 터치 화면에서의 좌표(x,y)를 인식한다. 변환부(160)는 인식된 좌표(x,y)를 기준으로 사용자의 터치 지점이 가상의 HTML 컨텐츠를 선택하는지를 판단한다. 이 때, 인식된 좌표(x,y)가 가상의 HTML 컨텐츠를 선택하였는지 여부는 레이 캐스팅(ray casting)을 이용하여 판단할 수 있다. 레이 캐스팅이란 발사된 광선이 객체와 교차하는지 여부를 검사하는 기술을 지칭하는데, 본 발명의 실시예에서는 광선이 발사되는 곳은 촬영부이고 이러한 광선이 객체와 교차하는 지점은 광선과 가상의 HTML 컨텐츠가 교차하는 지점일 수 있다. 여기서, 레이 캐스팅 자체는 이미 공지된 기술이므로 이에 관한 보다 자세한 설명은 생략하기로 한다.
본 발명의 일 실시예에서의 이벤트는 '터치'를 수반할 수 있다. 따라서, 이러한 '터치' 지점에 대하여 인식된 좌표(x,y)가 가상의 HTML 컨텐츠와 교차되는지 여부를 이러한 레이 캐스팅을 이용하여 판단할 수 있으며, 이를 기초로 가상의 HTML 컨텐츠가 선택되었는지 여부를 판단할 수 있다.
가상의 HTML 컨텐츠가 선택된 것으로 판단되면, 변환부(160)는 인식된 좌표(x,y)를 HTML 컨텐츠에서의 좌표로 변환한다. 좌표(x,y)를 HTML 컨텐츠에서의 좌표로 변환한다는 것은 가상의 컨텐츠에서의 좌표를 실제 컨텐츠에서의 좌표로 변환한다는 것을 의미할 수 있다. 이와 같은 변환에 의하면, 도 3에 도시된 것과 같이 가상의 컨텐츠에서 사용자가 대각선 방향으로 스와이프한 것은 실제 컨텐츠에서는 사용자가 수직으로 스와이프한 것으로 변환될 수 있다.
변환부(160)는 변환된 좌표를 웹브라우저부(130)에 전달한다. 웹브라우저부(130)는 변환된 좌표를 인식할 수 있으며, 이러한 변환된 좌표에 따른 이벤트에 대응할 수 있다. 즉, 사용자가 가상의 HTML 컨텐츠에서 클릭을 수행한 경우, 웹브라우저부(130)는 변환부(160)가 제공한 변환된 좌표를 기초로 클릭을 인식하여, 이러한 클릭에 따라서 해당 부분이 클릭된 것으로 처리할 수 있다.
따라서, 본 발명의 일 실시예에 따르면 사용자가 HTML 컨텐츠에 클릭이나 스와이프와 같은 이벤트를 가하면, HTML 컨텐츠는 이러한 이벤트를 반영하여 변화할 수 있다.
한편, 본 발명의 일 실시예에 따른 증강 현실 제공 장치(100)는 저장부(170)를 더 포함할 수 있다. 이러한 저장부(170)는 HTML 컨텐츠를 구성하는 각 영역에 상응하도록 존재하는 렌더 텍스트의 정보 중에서, 정보가 변경된 영역에 대한 변경 정보를 저장할 수 있다.
그리고 렌더링부(140)는 저장부(170)에 저장된 변경 정보를 기초로 HTML 컨텐츠에 변화가 발생하였는지를 확인하고, 변화가 발생하였으면 그 즉시 이러한 변경 정보를 기초로 변화를 반영하여 HTML 컨텐츠에 대한 렌더링을 추가로 수행할 수 있다.
따라서, 본 발명의 일 실시예에 따르면 증강 현실에서 HTML 컨텐츠에 발생한 동적인 변화를 가상의 컨텐츠에 즉각적으로 반영하여 표현할 수 있다.
이 때, 렌더링부(140)가 렌더링을 추가로 수행하는 것은 인식 추적부(120)가 대상에 대한 추적을 완료한 경우이면서 변경 정보가 업데이트된 경우일 수 있다.
아울러, 렌더링부(140)가 저장부(170)에 저장된 변경 정보를 기초로 렌더링을 수행하는 경우, HTML 컨텐츠 전체에 대한 렌더링을 수행하는 것이 아니라 변경 정보를 기초로 변경 영역에 대해서만 렌더링을 수행할 수 있다. 이를 통해서, HTML 컨텐츠 중 특정 영역에만 변화가 있을 때 HTML 컨텐츠 전체가 아닌 변화가 있는 특정 영역에 대한 렌더링만이 수행되도록 함으로써 CPU나 GPU의 점유율을 낮추고 발열을 최소화할 수 있다.
한편, 렌더링부(140)가 변경 영역에 대해서 렌더링을 수행하고자 하는 경우, 동일 영역에 대한 변경 정보가 이미 복수의 횟수로 업데이트 된 경우가 있을 수 있다. 이 경우, 렌더링부(140)는 저장부(170)에 저장된 변경 정보 중에서 렌더링을 수행하고자 하는 시점을 기준으로 마지막으로 업데이트된 변경 정보만을 기준으로 렌더링을 수행할 수 있다. 이와 같이 렌더링을 수행하는 것은 누적 비동기형 렌더링(accumulative asynchronous rendering)이라고 지칭될 수 있다. 이러한 누적 비동기형 렌더링에 의하면, HTML 컨텐츠의 모든 변화에 대하여 렌더링을 수행하지 않아도 되므로, CPU나 GPU의 점유율을 낮추고 발열을 최소화할 수 있다.
한편, 웹브라우저부(130)가 변환부(160)로부터 변환된 좌표를 전달받아서 이러한 변환된 좌표에 따른 이벤트에 대응한 경우, 실제의 HTML 객체는 이러한 이벤트에 따라서 변화할 수 있다. 예를 들면, 현재 웹페이지가 다른 웹페이지로 이동되거나 현재 웹페이지 상에서 스크롤이 발생할 수 있다. 또는, 텍스트 박스에 대한 클릭이 발생한 경우, 키보드가 팝업될 수 있다. 이 경우, 이러한 변화는 렌더 텍스트의 정보 중에서 정보가 변경된 영역에 대한 변경 정보로써 반영될 수 있다. 그리고 저장부(170)는 이러한 변경 정보를 저장할 수 있다.
이에 렌더링부(140)는 저장부(170)에 저장된 변경 정보를 기초로 HTML 컨텐츠에 변화가 발생하였는지를 확인하고, 변화가 발생하였으면 그 즉시 이러한 변경 정보를 기초로 변화를 반영하여 HTML 컨텐츠에 대한 렌더링을 추가로 수행할 수 있다.
따라서, 본 발명의 일 실시예에 따르면 증강 현실에서 HTML 컨텐츠에 발생한 이벤트에 의한 동적인 변화를 가상의 컨텐츠에 즉각적으로 반영하여 표현할 수 있다.
이 때, 렌더링부(140)가 렌더링을 추가로 수행하는 것은 인식 추적부(120)가 대상에 대한 추적을 완료한 경우이면서 변경 정보가 업데이트된 경우일 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따르면 HTML 컨텐츠와 같은 컨텐츠가 증강 현실에서 표현될 수 있으며, 증강 현실에서 HTML 컨텐츠에 발생한 동적인 변화를 가상의 컨텐츠에 즉각적으로 반영하여 표현할 수 있다. 또한 사용자가 HTML 컨텐츠에 클릭이나 스와이프와 같은 이벤트를 가하면, HTML 컨텐츠는 이러한 이벤트를 반영하여 변화할 수 있으며, 이러한 이벤트에 의해서 HTML 컨텐츠에 발생한 동적인 변화를 가상의 컨텐츠에 즉각적으로 반영하여 표현할 수 있다.
도 5는 본 발명의 일 실시예에 따른 증강 현실 제공 방법을 예시적으로 도시한 도면으로, 도 5에 도시된 증강 현실 제공 방법은 도 4에 도시된 증강 현실 제공 장치에 의하여 수행될 수 있다. 아울러, 도 5의 방법을 구성하는 각각의 절차는 실시예에 따라서 적어도 하나 이상이 수행되지 않거나 도시되지 않은 절차가 추가로 수행될 수 있으며, 절차가 수행되는 순서가 변경될 수 있다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 증강 현실 제공 방법은 증강 현실로 구현되는 영상을 획득하는 단계(S100), 상기 획득된 영상에서 가상의 컨텐츠가 표시되는 대상을 인식하고 추적하는 단계(S110), HTML 컨텐츠를 지원하는 웹브라우저부로부터 상기 HTML 컨텐츠를 입력받는 단계(S120), 상기 입력받은 HTML 컨텐츠가 상기 증강 현실에서 가상의 HTML 컨텐츠로 표현되도록 렌더링하는 단계(S130), 상기 가상의 HTML 컨텐츠 상에 가해지는 이벤트를 입력받는 단계(S140), 상기 가상의 HTML 컨텐츠 상에 가해지는 이벤트가 상기 HTML 컨텐츠에 작용하도록 변환하는 단계(S150) 및 상기 변환된 이벤트를 상기 웹브라우저부에 전달하는 단계(160)를 포함할 수 있다.
이하에서는 도 6을 도 2 내지 도 5와 함께 참조하면서 본 발명의 일 실시예에 대하여 보다 자세하게 살펴보기로 한다.
도 6은 본 발명의 일 실시예에 따라서 증강 현실을 제공하는 절차를 예시적으로 도시한 도면이다.
도 6을 참조하면, 스마트폰이나 스마트 패드와 같이 증강 현실을 표시하는 장치(10)는 그에 포함된 촬영부(11)를 이용하여 영상을 촬영할 수 있다(S200).
다음으로, 획득부(110)는 촬영부(11)가 촬영한 영상을 획득할 수 있다(S210). 이러한 영상은 증강 현실로 구현되는 영상이다.
다음으로, 인식 추적부(120)는 획득부(110)가 획득한 영상에서 가상의 컨텐츠가 표시되는 대상을 인식하며(S220), 인식된 대상을 추적한다(S230). 여기서 인식 추적부(120)가 대상을 인식하고 추적하는 기술은 전술한 바와 같이 증강 현실에서 대상을 인식하여 추적하는 기 공지된 기술과 동일하다.
인식 추적부(120)는 인식된 대상에 대하여 추적을 성공하는지 여부를 판단한다(S240). 추적을 성공하지 못한 경우에는 다시 S200으로 돌아가서 영상을 촬영할 수 있다. 그러나, 추적에 성공한 경우에는 가상의 컨텐츠로 표현될 HTML 컨텐츠가 이전에 로딩된 적이 있는지를 판단한다(S250).
HTML 컨텐츠가 이전에 로딩된 적이 없는 컨텐츠인 경우, HTML5와 같은 HTML 컨텐츠를 지원하는 웹브라우저부(130)는 HTML 컨텐츠를 입력받아서 로딩한다(S260). 로딩이 완료되지 않았으면(S270) 로딩될때까지 로딩을 수행한다.
그러나, 로딩이 완료되었으면(S270) 웹브라우저부(130)는 HTML 컨텐츠를 실행하여 분석한다(S280). 분석 결과 Document Object Model (DOM) 트리(tree)가 생성되고 업데이트된다(S290). 이러한 DOM 트리는 실질적인 컨텐츠를 나타내는 DOM 엘리먼트를 포함한다. DOM 엘리먼트는 HTML 컨텐츠를 구성하는 각 영역별로 존재한다. 이 후, DOM 트리와 맵핑되는 렌더 트리가 생성되고 업데이트된다(S300). 이러한 렌더 트리는 DOM 엘리먼트에 대응되는 렌더 텍스트를 포함한다. 렌더 텍스트 또한 HTML 컨텐츠를 구성하는 각 영역에 상응하도록 존재한다.
여기서, DOM 엘리먼트는 HTML 컨텐츠를 구성하는 각 영역의 실질적인 컨텐츠가 변화하면 이에 따라 업데이트된다(S290). 렌더 텍스트 또한 DOM 엘리먼트가 변화하면 이에 따라 업데이트된다(S300). 저장부(170)는 렌더 텍스트의 정보 중에서 정보가 변경된 영역에 대한 변경 정보를 저장한다(S310). 여기서, 단계 S280 내지 S310의 단계는 계속하여 반복수행되며, 이에 따라 HTML 컨텐츠에 변화가 발생하면 이에 따른 변경 정보가 저장부(170)에 반영되어 저장되도록 한다.
렌더링부(140)는 증강 현실에서 컨텐츠가 대상에 가상으로 표시되도록 렌더링한다(S320). 이 때 렌더링부(140)는 저장부(170)에 저장된 변경 정보를 기초로 렌더링할 수 있다. 렌더링된 가상의 컨텐츠는 증강 현실에 표현된다(S330).
이 후, 인식 추적부(120)는 다시 대상의 위치와 방향을 추적(S230)할 수 있다. 추적이 성공할 경우(S240), HTML 컨텐츠는 이미 로딩이 되었으므로(S250) 이러한 로딩된 HTML 컨텐츠에 변화가 있는지를 체크한다(S340). HTML 컨텐츠에 변화가 있는지 여부는 저장부(170)에 저장된 변경 정보를 기초로 판단한다. 변화가 발생하였으면 그 즉시 이러한 변경 정보를 기초로(S350) 변화를 반영하여 HTML 컨텐츠에 대한 렌더링을 추가로 수행할 수 있다(S320). 따라서, 본 발명의 일 실시예에 따르면 증강 현실에서 HTML 컨텐츠에 발생한 동적인 변화를 가상의 컨텐츠에 즉각적으로 반영하여 표현할 수 있다.
이 때, 렌더링부(140)가 렌더링을 추가로 수행하는 것은 인식 추적부(120)가 대상에 대한 추적을 완료한 경우이면서 변경 정보가 업데이트된 경우일 수 있음은 전술한 바와 같다.
아울러, 렌더링부(140)가 저장부(170)에 저장된 변경 정보를 기초로 렌더링을 수행하는 경우, HTML 컨텐츠 전체에 대한 렌더링을 수행하는 것이 아니라 변경 정보를 기초로 변경 영역에 대해서만 렌더링을 수행할 수 있음은 전술한 바와 같다.
이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따르면 HTML 컨텐츠와 같은 컨텐츠가 증강 현실에서 표현될 수 있으며, 증강 현실에서 HTML 컨텐츠에 발생한 동적인 변화를 가상의 컨텐츠에 즉각적으로 반영하여 표현할 수 있다.
한편, 본 발명의 일 실시예에서 입력 인식부(150)는 가상의 HTML 컨텐츠 상에 가해지는 이벤트를 입력받아서 인식한다(S360). 이러한 이벤트로는 장치(10)에 구비된 디스플레이부(12)에 사용자가 가한 터치나 스와이프, 스크롤 등을 예로 들 수 있다. 이와 달리 도면에는 도시되지 않았지만 사용자의 모션을 인식하는 모션 인식 장치로부터 입력받은 사용자의 모션에 대한 정보를 예로 들 수도 있다.
다음으로, 변환부(160)는 인식된 이벤트에 의하여 가상의 HTML 컨텐츠가 선택되었는지 여부를 확인한다(S365). 이 때 레이 캐스팅 알고리즘을 이용하여 가상의 HTML 컨텐츠가 선택되었는지 여부를 확인할 수 있음은 전술한 바와 같다.
다음으로, 변환부(160)는 가상의 HTML 컨텐츠 상에 가해지는 이벤트가 HTML 컨텐츠에 작용하도록 변환한다(S370). 여기서 변환부(160)는 입력 인식부(150)가 입력받은 이벤트에 의하여 가상의 HTML 컨텐츠가 선택되었는지를 판단하며, 가상의 HTML 컨텐츠가 선택된 지점인 좌표(x,y)를 HTML 컨텐츠에서의 좌표로 변환함은 전술한 바와 같다.
다음으로, 변환부(160)는 변환된 좌표를 웹브라우저부(130)에 전달한다(S380). 이에 따라 웹브라우저부(130)는 변환된 좌표를 인식할 수 있으며, 이러한 변환된 좌표에 따른 이벤트에 대응할 수 있다. 즉, 사용자가 가상의 HTML 컨텐츠에서 클릭을 수행한 경우, 웹브라우저부(130)는 변환부(160)가 제공한 변환된 좌표를 기초로 클릭을 인식하여, 이러한 클릭에 따라서 해당 부분이 클릭된 것으로 처리할 수 있다.
따라서, 본 발명의 일 실시예에 따르면 사용자가 HTML 컨텐츠에 클릭이나 스와이프와 같은 이벤트를 가하면, HTML 컨텐츠는 이러한 이벤트를 반영하여 변화할 수 있다.
이 후에는, 실제의 HTML 객체는 이러한 이벤트에 따라서 변화할 수 있는데, 이러한 변화는 전술한 단계(S230 내지 S350)에 의하여 가상의 컨텐츠에 반영될 수 있다.
따라서, 본 발명의 일 실시예에 따르면 증강 현실에서 이벤트에 따라서 HTML 컨텐츠에 발생한 동적인 변화를 가상의 컨텐츠에 즉각적으로 반영하여 표현할 수 있다.
한편, 본 발명의 일 실시예에 따른 증강 현실 제공 방법은 이러한 방법에 포함된 각 단계를 수행하도록 프로그램된 컴퓨터 기록매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 실시예에 따르면 증강 현실에서 HTML5와 같은 HTML 컨텐츠를 표현함에 있어서 사용자와의 인터액션을 가능하게 함으로써, 다양한 산업 분야에서 증강 현실이 활용되도록 할 수 있다.
100: 증강 현실 제공 장치
110: 획득부 120: 인식 추적부
130: 웹브라우저부 140: 렌더링부
150: 입력 인식부 160: 변환부
170: 저장부

Claims (6)

  1. 증강 현실로 구현되는 영상을 획득하는 획득부;
    상기 획득된 영상에서 가상의 컨텐츠가 표시되는 대상을 인식하고 추적하는 인식 추적부;
    HTML 컨텐츠를 지원하며 상기 HTML 컨텐츠를 입력받는 웹브라우저부;
    상기 입력받은 HTML 컨텐츠가 상기 증강 현실에서 가상의 HTML 컨텐츠로 표현되도록 렌더링하는 렌더링부;
    상기 가상의 HTML 컨텐츠 상에 가해지는 이벤트를 입력받는 입력 인식부; 및
    상기 가상의 HTML 컨텐츠 상에 가해지는 이벤트가 상기 HTML 컨텐츠에 작용하도록 변환하며, 상기 변환된 이벤트를 상기 웹브라우저부에 전달하는 변환부를 포함하는
    증강 현실 제공 장치.
  2. 제 1 항에 있어서,
    상기 변환부는,
    상기 입력받은 이벤트에 의하여 상기 가상의 HTML 컨텐츠가 선택되는지를 판단하고, 상기 가상의 HTML 컨텐츠가 선택된 경우 상기 가상의 HTML 컨텐츠가 선택된 지점을 상기 HTML 컨텐츠에서의 좌표로 변환하며, 상기 좌표를 상기 웹브라우저에 전달하는
    증강 현실 제공 장치.
  3. 제 1 항에 있어서,
    상기 증강 현실 제공 장치는 상기 HTML 컨텐츠를 구성하는 각 영역 중에서 변경된 영역에 대한 변경 정보를 저장하는 저장부를 더 포함하고,
    상기 렌더링부는,
    상기 변환부가 상기 웹브라우저부에 상기 변환된 이벤트를 전달한 이후, 상기 인식 추적부가 상기 대상에 대한 추적을 완료한 경우이면서 상기 변경 정보가 업데이트되면, 상기 업데이트된 변경 정보를 기초로 상기 HTML 컨텐츠를 렌더링하는
    증강 현실 제공 장치.
  4. 증강 현실로 구현되는 영상을 획득하는 단계;
    상기 획득된 영상에서 가상의 컨텐츠가 표시되는 대상을 인식하고 추적하는 단계;
    HTML 컨텐츠를 지원하는 웹브라우저부로부터 상기 HTML 컨텐츠를 입력받는 단계;
    상기 입력받은 HTML 컨텐츠가 상기 증강 현실에서 가상의 HTML 컨텐츠로 표현되도록 렌더링하는 단계;
    상기 가상의 HTML 컨텐츠 상에 가해지는 이벤트를 입력받는 단계;
    상기 가상의 HTML 컨텐츠 상에 가해지는 이벤트가 상기 HTML 컨텐츠에 작용하도록 변환하는 단계; 및
    상기 변환된 이벤트를 상기 웹브라우저부에 전달하는 단계를 포함하도록 프로그램된
    컴퓨터 기록매체에 저장된 컴퓨터 프로그램.
  5. 제 4 항에 있어서,
    상기 변환하는 단계는,
    상기 입력받은 이벤트에 의하여 상기 가상의 HTML 컨텐츠가 선택되는지를 판단하는 단계; 및
    상기 가상의 HTML 컨텐츠가 선택된 경우 상기 가상의 HTML 컨텐츠가 선택된 지점을 상기 HTML 컨텐츠에서의 좌표로 변환하는 단계를 포함하도록 프로그램된
    컴퓨터 기록매체에 저장된 컴퓨터 프로그램.
  6. 제 4 항에 있어서,
    상기 컴퓨터 프로그램은 상기 HTML 컨텐츠를 구성하는 각 영역 중에서 변경된 영역에 대한 변경 정보를 저장하는 단계를 더 수행하도록 프로그램되고,
    상기 변환된 이벤트를 상기 웹브라우저부에 전달한 이후이면서, 상기 대상에 대한 추적을 완료한 경우이고 상기 저장된 변경 정보가 업데이트된 경우,
    상기 렌더링하는 단계는,
    상기 업데이트된 변경 정보를 기초로 상기 HTML 컨텐츠를 렌더링하는
    컴퓨터 기록매체에 저장된 컴퓨터 프로그램.
KR1020150160140A 2015-11-16 2015-11-16 증강 현실에서 표현되는 html 컨텐츠와의 인터액션을 제공하는 증강 현실 제공 장치 및 방법 KR102293827B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150160140A KR102293827B1 (ko) 2015-11-16 2015-11-16 증강 현실에서 표현되는 html 컨텐츠와의 인터액션을 제공하는 증강 현실 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150160140A KR102293827B1 (ko) 2015-11-16 2015-11-16 증강 현실에서 표현되는 html 컨텐츠와의 인터액션을 제공하는 증강 현실 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170056831A true KR20170056831A (ko) 2017-05-24
KR102293827B1 KR102293827B1 (ko) 2021-08-25

Family

ID=59051314

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150160140A KR102293827B1 (ko) 2015-11-16 2015-11-16 증강 현실에서 표현되는 html 컨텐츠와의 인터액션을 제공하는 증강 현실 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102293827B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100047990A (ko) * 2008-10-30 2010-05-11 한양대학교 산학협력단 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법
KR20120037735A (ko) * 2010-10-12 2012-04-20 강지영 스마트폰을 이용한 증강현실 구현 시스템 및 증강현실 구현 방법
KR101380854B1 (ko) 2013-03-21 2014-04-04 한국과학기술연구원 웹 정보구조에 기반한 증강현실 콘텐츠 제공장치 및 방법
KR20150035282A (ko) * 2013-09-27 2015-04-06 한국과학기술연구원 증강현실 컨텐츠 저작 및 제공 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100047990A (ko) * 2008-10-30 2010-05-11 한양대학교 산학협력단 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법
KR20120037735A (ko) * 2010-10-12 2012-04-20 강지영 스마트폰을 이용한 증강현실 구현 시스템 및 증강현실 구현 방법
KR101380854B1 (ko) 2013-03-21 2014-04-04 한국과학기술연구원 웹 정보구조에 기반한 증강현실 콘텐츠 제공장치 및 방법
KR20150035282A (ko) * 2013-09-27 2015-04-06 한국과학기술연구원 증강현실 컨텐츠 저작 및 제공 시스템

Also Published As

Publication number Publication date
KR102293827B1 (ko) 2021-08-25

Similar Documents

Publication Publication Date Title
US11099654B2 (en) Facilitate user manipulation of a virtual reality environment view using a computing device with a touch sensitive surface
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
US10587871B2 (en) 3D User Interface—360-degree visualization of 2D webpage content
US10685489B2 (en) System and method for authoring and sharing content in augmented reality
US9495802B2 (en) Position identification method and system
US9600166B2 (en) Asynchronous handling of a user interface manipulation
US9224237B2 (en) Simulating three-dimensional views using planes of content
US9437038B1 (en) Simulating three-dimensional views using depth relationships among planes of content
CN111414225B (zh) 三维模型远程展示方法、第一终端、电子设备及存储介质
US9240070B2 (en) Methods and systems for viewing dynamic high-resolution 3D imagery over a network
US9183672B1 (en) Embeddable three-dimensional (3D) image viewer
US20230152936A1 (en) 3D Interactions with Web Content
US11003305B2 (en) 3D user interface
JP7422876B2 (ja) 拡張現実に基づいた表示方法及び装置、並びに記憶媒体
KR101343182B1 (ko) 모바일용 혼합현실 어플리케이션 개발 장치 및 그 방법
KR20220080007A (ko) 증강 현실 기반 디스플레이 방법, 장치 및 저장 매체
JP2021128743A (ja) 制御パネル及び画面に注釈及びインターフェースを追加する拡張現実アプリケーションのための方法
US10623713B2 (en) 3D user interface—non-native stereoscopic image conversion
US11562538B2 (en) Method and system for providing a user interface for a 3D environment
CN109427085B (zh) 一种图像数据的处理、渲染方法、服务器及客户端
KR102293827B1 (ko) 증강 현실에서 표현되는 html 컨텐츠와의 인터액션을 제공하는 증강 현실 제공 장치 및 방법
KR102217198B1 (ko) Html 컨텐츠를 표현하는 증강 현실 제공 장치 및 방법
KR20140078083A (ko) 증강 현실이 구현된 만화책
EP3510440B1 (en) Electronic device and operation method thereof
Kumar et al. Using flutter to develop a hybrid application of augmented reality

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant