KR101940720B1 - 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법 - Google Patents

공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법 Download PDF

Info

Publication number
KR101940720B1
KR101940720B1 KR1020160105517A KR20160105517A KR101940720B1 KR 101940720 B1 KR101940720 B1 KR 101940720B1 KR 1020160105517 A KR1020160105517 A KR 1020160105517A KR 20160105517 A KR20160105517 A KR 20160105517A KR 101940720 B1 KR101940720 B1 KR 101940720B1
Authority
KR
South Korea
Prior art keywords
information
space
rgb
mesh
image
Prior art date
Application number
KR1020160105517A
Other languages
English (en)
Other versions
KR20180020725A (ko
Inventor
조현우
정성욱
지형근
길연희
김희권
유호영
이수웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160105517A priority Critical patent/KR101940720B1/ko
Publication of KR20180020725A publication Critical patent/KR20180020725A/ko
Application granted granted Critical
Publication of KR101940720B1 publication Critical patent/KR101940720B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Abstract

본 발명은 3차원 공간을 저작도구 상에 표현하고 가상 객체의 동작과 사용자 인터랙션을 시나리오에 따라 배치하여 공간 기반 증강현실 학습 시스템에서 구동되는 학습 콘텐츠를 제공하기 위한 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법에 관한 것으로서, 상기 장치는, RGB-D 카메라를 통해 입력되는 실내 공간(ex. 거실, 체험관)의 깊이(Depth) 영상을 3D 저작도구에서 사용 가능한 3D 메쉬(Mesh) 정보로 변환하고, RGB-D 영상 데이터와 상기 메쉬 정보를 바탕으로 실내 공간 정보를 인식하고, 인식된 공간 인식 정보와 RGB-D 영상, Mesh 정보를 전송하는 공간 인식 모듈; 및 상기 공간 인식 모듈로부터 전송된 RGB-D 영상 데이터를 이용하여 3D 가상 객체 배치, 사용자 인터랙션 생성, 객체 시뮬레이션 처리 등의 과정을 거쳐 최종 콘텐츠를 생성하는 저작 도구 모듈을 포함한다.

Description

공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법{Contents authoring tool for augmented reality based on space and thereof method}
본 발명은 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법에 관한 것으로서, 특히 3차원 공간을 저작도구 상에 표현하고 가상 객체의 동작과 사용자 인터랙션을 시나리오에 따라 배치하여 공간 기반 증강현실 학습 시스템에서 구동되는 학습 콘텐츠를 제공하기 위한 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법에 관한 것이다.
일반적으로, 공간 기반 증강현실 시스템은 RGB-D 카메라를 통해 실제 공간을 인식하여 가상 콘텐츠를 증강하고 실사 영상을 변형시키며, 가상객체와 사용자와의 인터랙션을 통해 실감나는 가상체험 서비스를 제공하는 시스템을 의미한다.
상기 공간 기반 증강현실 시스템에 있어서, RGB-D 카메라를 통해 입력되는 실제 공간의 3차원 이미지와 인식된 공간의 정보를 바탕으로 가상 콘텐츠로 체험 공간을 꾸미고 공간에서의 사용자의 동작에 따른 인터랙션 구현이 가능하도록 하는 3D 콘텐츠의 저작은 필수적이다.
이와 같은 공간 기반 증강현실 시스템이 과학관/박물관/테마파크 등에서 사용되기 위하여, 콘텐츠 기획자의 의도에 맞게 가상 콘텐츠가 공간상에 정합이 되어야 하며, 사용자의 인터랙션이 들어왔을 때 적절한 결과를 시스템이 제공할 수 있어야 한다.
또한, 공간 기반 증강현실 저작도구는 일반적인 3D 콘텐츠(게임, 애니메이션)이나 증강현실 콘텐츠의 저작과 다르게 실제 공간의 3차원 정보를 사용하기 때문에 공간 기반 증강현실 시스템에 맞는 전용 저작도구가 필요하며, 위와 같은 학습 콘텐츠를 생성하기 위한 새로운 기술이 필요하다.
따라서, 본 발명의 목적은, RGB-D 카메라를 이용한 공간 기반 증강현실 시스템에서 실내 공간에 가상의 3D 콘텐츠를 증강하고, 실사 영상을 변형시키며, 가상객체와 사용자 간의 인터랙션을 생성하여 체험 학습용 콘텐츠를 저작할 수 있도록 하는 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법을 제공함에 있다.
상기한 목적을 달성하기 위한 본 발명에 따른 공간 기반 증강현실을 위한 콘텐츠 저작 장치, RGB-D 카메라를 통해 입력되는 실내 공간(ex. 거실, 체험관)의 깊이(Depth) 영상을 3D 저작도구에서 사용 가능한 3D 메쉬(Mesh) 정보로 변환하고, RGB-D 영상 데이터와 상기 메쉬 정보를 바탕으로 실내 공간 정보를 인식하고, 인식된 공간 인식 정보와 RGB-D 영상, Mesh 정보를 전송하는 공간 인식 모듈; 및 상기 공간 인식 모듈로부터 전송된 RGB-D 영상 데이터를 이용하여 3D 가상 객체 배치, 사용자 인터랙션 생성, 객체 시뮬레이션 처리 등의 과정을 거쳐 최종 콘텐츠를 생성하는 저작 도구 모듈을 포함할 수 있다.
본 발명에 따르면, 공간 기반 증강현실을 위한 콘텐츠 저작 기법을 사용할 경우 RGB-D 기반의 공간 인식을 이용한 증강현실 콘텐츠를 효과적으로 저작할 수 있으며 가상 공간 생성, 객체 시뮬레이션 처리 등 공간 인식기반 증강현실 시스템에 특화된 콘텐츠 저작 기법을 활용할 수 있어, 콘텐츠 저작자의 의도에 맞게 다양한 콘텐츠 표현이 가능하다.
또한, 본 발명의 콘텐츠 저작 기법에 따르면, RGB-D 기반의 증강현실 시스템뿐 만 아니라 기존의 2D 카메라나 모바일 기기 등 다양한 증강현실 시스템의 콘텐츠 저작에도 활용이 가능하다.
도 1은 본 발명에 따른 공간 기반 증강현실을 위한 콘텐츠 저작 장치에 대한 블록 구성을 나타낸 도면.
도 2는 도 1에 도시된 공간 인식 모듈에 대한 상세 블록 구성을 나타낸 도면.
도 3은 도 1에 도시된 저작 도구 모듈에 대한 상세 블록 구성을 나타낸 도면.
도 4는 도 2에 도시된 메쉬 생성부에서 생성된 메쉬를 보여주는 이미지.
도 5는 가상 카메라의 배치와 입력 RGB 영상을 저작도구상에 표시하는 예를 보여주는 이미지.
도 6은 RGB 영상에 3D 메쉬를 정합하여 저작 도구 화면에 표시되는 예를 보여주는 이미지.
도 7은 도 3에 도시된 객체 시뮬레이션 처리부에서의 물 효과를 표현하는 화면의 이미지.
도 8은 도 3에 도시된 객체 시뮬레이션 처리부에서의 광원 및 그림자 효과를 표현하기 위한 이미지.
도 9는 본 발명에 따른 공간 기반 증강현실을 위한 콘텐츠 저작 방법에 대한 동작 플로우챠트를 나타낸 도면.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명에 따른 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법에 대하여 첨부된 도면을 참조하여 상세하게 설명하기로 한다.
도 1은 본 발명에 따른 공간 기반 증강현실을 위한 콘텐츠 저작 장치에 대한 블록 구성을 나타낸 도면이다. 도 2는 도 1에 도시된 공간 인식 모듈에 대한 상세 블록 구성을 나타낸 도면이며, 도 3은 도 1에 도시된 저작 도구 모듈에 대한 상세 블록 구성을 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명에 따른 공간 기반 증강현실을 위한 콘텐츠 저작 장치는, 공간 인식 모듈(10) 및 저작 도구 모듈(20)을 포함할 수 있다.
공간 인식 모듈(10)은 RGB-D 카메라를 통해 입력되는 실내 공간(ex. 거실, 체험관)의 깊이(Depth) 영상을 3D 저작도구에서 사용 가능한 3D 메쉬(Mesh) 정보로 변환한다.
그리고, 공간 인식 모듈(10)은 RGB-D 영상 데이터와 상기 메쉬 정보를 바탕으로 실내 공간 정보를 인식하고, 인식된 공간 인식 정보와 RGB-D 영상, Mesh 정보를 저작도구 모듈(20)으로 전송한다.
한편, 저작 도구 모듈(20)은 상기 공간 인식 모듈(10)로부터 전송된 RGB-D 영상 데이터를 이용하여 3D 가상 객체 배치, 사용자 인터랙션 생성, 객체 시뮬레이션 처리 등의 과정을 거쳐 최종 콘텐츠를 생성하는 것이다.
상기한 공간 인식 모듈(10)과 저장 도구 모듈(20)에 대한 상세 구성과 동작에 대하여 도2 및 도 3을 참조하여 설명해 보기로 하자.
도 2는 도 1에 도시된 공간 인식 모듈에 대한 상세 블록 구성을 나타낸 도면이다.
먼저, 도 2에 도시된 공간 인식 모듈(10)에 대하여 살펴보자.
도 2에 도시된 바와 같이 공간 인식 모듈(10)은 영상 입력부(11), 메쉬 생성부(12) 및 공간 인식부(13)를 포함할 수 있다.
공간 인식 모듈(10)의 영상입력부(11)에서는 RGB-D 카메라로부터 제공되는 실내 공간의 RGB-D 영상 데이터를 입력 받는다. 여기서, 공간 인식 모듈(10)은 RGB 데이터를 매 프레임 이미지 정보로 저장하고, 깊이(Depth) 정보는 실내 공간의 깊이 로우 데이터(Depth Raw Data)를 3차원 상의 포인트 클라우드(Point Cloud) 정보 (x, y, z)로 변환하여 저장한다. 또한, 공간 인식 모듈(10)은 깊이 영상으로부터 사용자의 스켈레톤(관절정보)도 추출하여 저장한다.
메쉬(Mesh) 생성부(12)는 상기 영상 입력부(11)로부터 입력받은 포인트 클라우드 정보를 3D 저작도구 및 게임엔진에서 가상객체-실 객체 간 가려짐 효과의 표현과 콘텐츠 개발의 편의성을 위해서 3D 메쉬 정보로 변환하여 저장한다. 여기서, 3D 메쉬 정보는 도 4에 도시된 바와 같이 포인트 클라우드의 각각의 점들을 평면(삼각형) 폴리곤(각 꼭지점 좌표와 인덱스로 구성)으로 구성하여 저작도구의 3D 공간에서 덩어리 감을 갖도록 변환된 정보를 뜻한다. 도 4는 도 2에 도시된 메쉬 생성부에서 생성된 메쉬의 예를 설명하기 위한 이미지이다.
공간 인식부(13)은 실내공간의 기하학적인 구성 정보를 인식하는 구성으로, 메쉬 정보를 이용하여 실내공간에 있는 객체의 영역과 각각의 객체에서 평면 정보를 추출한다.
추출하는 대표적인 실내공간 정보는 바닥, 벽면, 천장의 위치 및 평면 정보(Plane model coefficient), 평면으로 이루어진 객체(박스 형태, 테이블 등)의 위치 및 평면 정보(평면의 모서리, 꼭지점, 중심점, 법선 벡터)이다. 추출한 공간인식 정보와 RGB-D영상, 사용자 스켈레톤, 3D 메쉬 정보는 저작 도구 모듈(20)로 전송되는 것이다.
이어, 도 1에 도시된 저작 도구 모듈(20)에 대한 상세 구성 및 동작에 대하여 도 3을 참조하여 살펴보자.
도 3은 도 1에 도시된 저작 도구 모듈에 대한 상세 블록 구성을 나타낸 도면이다.
도 3에 도시된 바와 같이 저작 도구 모듈(20)의 공간 정보 수신부(21)는, 공간 인식 모듈(10)에서 추출한 정보를 사용하기 위해서 공유 메모리(Shared Memory)기법을 사용한다.
공간 정보 수신부(21)는 공간 인식 모듈(10)로부터 전송되는 RGB-D 영상 정보, 3D 메쉬 정보, 공간인식 정보를 공유 메모리의 특정 영역에 매 프레임 마다 기록하고, 실시간으로 해당 메모리 영역을 호출하기 때문에 모든 정보들을 저작도구 상에 실시간으로 반영 할 수 있다.
저작 도구 모듈(20)의 가상 공간 생성부(22)는 공간 기반 증강현실 환경을 저작도구 상에서 가상으로 구현하고 GUI 기반의 가상 객체의 배치를 통해 직관적인 콘텐츠 개발을 지원하는 역할을 수행한다. 즉, 도 5와 같이 실제 카메라를 통해 입력되는 영상을 가상 3D 환경에 가상 카메라를 배치하여 표현하는 것이다.
또한, 가상 공간 생성부(22)는 도 6과 같이 깊이 정보로부터 추출한 3D 메쉬 정보 역시 RGB 영상 위에 정합하여 표현할 수 있다.
한편, 도 6에서와 같이, 화면에 카메라의 RGB 영상과 실 공간의 3D 메쉬 정보가 디스플레이되어 있기 때문에 마우스 클릭, 드래그/드롭을 통해 GUI 기반으로 가상 콘텐츠를 직관적으로 배치 또는 변형할 수 있다. 그리고, 인식된 바닥, 테이블과 같은 객체정보는 가상의 3D 모델을 정합하여 표현한다. 예를 들어, 객체가 테이블인 경우 테이블 상단 평면이 인식 됐을 경우 저작도구 상에서 직사각형 3D 모델을 가상으로 정합하여 표현한다.
사용자 인터랙션 생성부(23)는 가상 공간 생성부(22)에서 배치한 가상 객체와 사용자 간의 인터랙션 저작을 지원한다.
그리고, 사용자 인터랙션 생성부(23)는 상기 각각의 객체에 GUI와 스크립트 작성을 통해 인터랙션 속성을 부여한다. 인터랙션은 객체터치, 객체 터치 후 주먹 쥐기, 사용자 제스쳐 인식을 지원한다. 가상 객체에는 객체 속성 부여 옵션을 통해 객체 터치, 객체 터치 후 주먹 쥐기 인터랙션을 부여할 수 있고, 콘텐츠 구동 시 인터랙션 해당 옵션이 활성화 되었을 경우에는 사용자가 가상 객체를 터치하거나 터치 후 주먹 쥐기 동작을 취하면 기 저작한 특정 이벤트가 실행된다. 사용자 객체에는 제스쳐 인식 인터랙션을 부여할 수 있으며, 제스쳐 인식은 미리 학습한 동작 (손 흔들기, 앉기, 점프하기 등)을 옵션으로 선택할 수 있다. 옵션이 활성화 되었을 때 콘텐츠를 구동하면, 기 학습된 제스쳐 동작을 취했을 경우 특정 이벤트가 실행된다.
객체 시뮬레이션 처리부(24)는 콘텐츠에 다양한 물리/특수 효과 저작을 지원한다. 적용 가능한 효과는 중력, 물(유체), 광원 및 그림자가 있으며, 중력 효과의 경우 공간 인식 정보 중 바닥평면 정보를 이용하여 중력의 방향을 설정할 수 있다.
도 7에 도시된 바와 같이, 객체 시뮬레이션 처리부(24)에서 물 효과를 적용하는 경우, 저작하고 있는 증강현실 씬에 물 효과를 적용시키면 실 객체(사용자, 사물)와 가상으로 증강된 물과 실 객체(사용자, 사물)/가상 객체 간에 충돌 효과를 표현할 수 있다. 여기서, 도 7은 객체 시뮬레이션 처리 부에서 물 효과 적용을 통해 사용자가 물을 터치하면 물이 출렁이는 효과가 적용된 화면이다.
한편, 객체 시뮬레이션 처리부(24)에서 도 8과 같이 광원 및 그림자 효과를 적용할 경우, 가상의 광원은 씬에 배치하면 가상 콘텐츠의 그림자가 표현된다. 그림자는 실 공간(바닥, 테이블 등의 실제 객체)에도 투영이 가능하다. 여기서, 도 8은 객체 시뮬레이션 처리부(24)에서 광원 및 그림자 효과 적용을 통해 가상 객체인 펭귄의 그림자가 실제 객체인 테이블에 투영되는 효과가 적용된 화면이다.
그리고, 저작 도구 모듈(20)의 실시간 에뮬레이션부(25)는 저작된 콘텐츠가 서비스될 화면에서 어떻게 보이고 동작할지 미리 보여주는 기능을 수행한다. 에뮬레이션 기능을 실행하면 저작한 콘텐츠가 임시적으로 실행되고 저작한 콘텐츠가 실제로 어떻게 동작하고 사용자에게 보여지는지 테스트 할 수 있다. 또한 에뮬레이션 컨트롤을 통해 가상으로 사용자 인터랙션을 테스트 해 볼 수 있다. 예를 들어 사용자의 객체 터치의 경우 마우스 클릭 이벤트를 통해 임시적으로 인터랙션을 테스트 할 수 있다. 에뮬레이션 기능을 통해 저작자는 시나리오의 의도대로 잘 저작이 되었는지, 예상치 못하게 잘못 동작하는 경우는 없는지 검증할 수 있다.
콘텐츠 생성부(26)는 최종으로 저작된 콘텐츠를 패키지 형태로 저장하는 역할을 수행한다. 콘텐츠 패키지는 이벤트 및 속성, 시나리오 정보가 들어있는 스크립트와 3D 콘텐츠, 사운드, 동영상, 애니메이션이 들어있는 리소스로 구성된다.
이하, 상기한 본 발명에 따른 공간 기반 증강현실을 위한 콘텐츠 저작 장치의 동작에 상응하는 본 발명에 따른 공간 기반 증강현실을 위한 콘텐츠 저작 방법에 대하여 도 9를 참조하여 단계적으로 살펴보기로 한다.
도 9는 본 발명에 따른 공간 기반 증강현실을 위한 콘텐츠 저작 방법에 대한 동작 플로우챠트를 나타낸 도면이다.
도 9에 도시된 바와 같이, 공간인식 모듈에서는 먼저, RGB-D 카메라로부터 RGB-D 영상이 입력되는지 판단한다(S901).
RGB-D 영상이 입력되는 경우, 입력되는 실내 공간의 RGB-D 영상 데이터 중 RGB 데이터는 매 프레임 이미지 정보로 저장되고, 깊이(Depth) 정보는 실내 공간의 깊이 로우 데이터(Depth Raw Data)를 3차원 상의 포인트 클라우드(Point Cloud) 정보 (x, y, z)로 변환하여 저장한다. 또한, 깊이 영상으로부터 사용자의 스켈레톤(관절정보)도 추출하여 저장한다.
그리고, 상기 포인트 클라우드 정보를 3D 저작도구 및 게임엔진에서 가상객체-실 객체 간 가려짐 효과의 표현과 콘텐츠 개발의 편의성을 위해서 3D 메쉬 정보로 변환하여 저장한다(S902). 여기서, 3D 메쉬 정보는 도 4에 도시된 바와 같이 포인트 클라우드의 각각의 점들을 평면(삼각형) 폴리곤(각 꼭지점 좌표와 인덱스로 구성)으로 구성하여 저작도구의 3D 공간에서 덩어리 감을 갖도록 변환된 정보를 뜻하는 것이다.
이어, 실내공간의 기하학적인 구성 정보를 인식하는 단계로 상기 깊이 정보를 이용하여 실내공간에 있는 객체의 영역과 각각의 객체에서 평면 정보를 추출한다. 즉, 생성된 메쉬 정보를 이용하여 실내 공간을 인식한다(S903). 여기서, 상기 추출하는 대표적인 실내공간 정보는 바닥, 벽면, 천장의 위치 및 평면 정보(Plane model coefficient), 평면으로 이루어진 객체(박스 형태, 테이블 등)의 위치 및 평면 정보(평면의 모서리, 꼭지점, 중심점, 법선 벡터)이다. 추출한 공간인식 정보와 RGB-D영상, 사용자 스켈레톤, 3D 메쉬 정보는 저작 도구 모듈로 전송하는 것이다.
저작 도구 모듈은 공간 인식 모듈로부터 전송되는 RGB-D 영상 정보, 3D 메쉬 정보, 공간인식 정보를 공유 메모리의 특정 영역에 매 프레임 마다 기록하고, 실시간으로 해당 메모리 영역을 호출하기 때문에 모든 정보들을 저작도구 상에 실시간으로 반영할 수 있다(S904).
저작 도구 모듈은 공간 기반 증강현실 환경을 저작도구 상에서 가상으로 구현하고 GUI 기반의 가상 객체의 배치를 통해 직관적인 콘텐츠 개발을 지원하는 역할을 수행한다. 즉, 도 5와 같이 실제 카메라를 통해 입력되는 영상을 가상 3D 환경에 가상 카메라를 배치하여 표현하는 것이다.
또한, 도 6과 같이 깊이 정보로부터 추출한 3D 메쉬 정보 역시 RGB 영상 위에 정합하여 표현할 수 있다.
한편, 도 6에서와 같이, 화면에 카메라의 RGB 영상과 실 공간의 3D 메쉬정보가 디스플레이되어 있기 때문에 마우스 클릭, 드래그/드롭을 통해 GUI 기반으로 가상 콘텐츠를 직관적으로 배치 또는 변형할 수 있다. 그리고, 인식된 바닥, 테이블과 같은 객체정보는 가상의 3D 모델을 정합하여 표현한다. 예를 들어, 객체가 테이블인 경우 테이블 상단 평면이 인식됐을 경우 저작도구 상에서 직사각형 3D 모델을 가상으로 정합하여 표현한다(S905).
이어, 가상 공간 생성부(22)에서 배치한 가상 객체와 사용자 간의 인터랙션을 생성한다(S906). 즉, 상기 각각의 객체에 GUI와 스크립트 작성을 통해 인터랙션 속성을 부여한다. 인터랙션은 객체터치, 객체 터치 후 주먹 쥐기, 사용자 제스쳐 인식을 지원한다. 가상 객체에는 객체 속성 부여 옵션을 통해 객체 터치, 객체 터치 후 주먹 쥐기 인터랙션을 부여할 수 있고, 콘텐츠 구동 시 인터랙션 해당 옵션이 활성화 되었을 경우에는 사용자가 가상 객체를 터치하거나 터치 후 주먹 쥐기 동작을 취하면 기 저작한 특정 이벤트가 실행된다. 사용자 객체에는 제스쳐 인식 인터랙션을 부여할 수 있으며, 제스쳐 인식은 미리 학습한 동작 (손 흔들기, 앉기, 점프하기 등)을 옵션으로 선택할 수 있다. 옵션이 활성화 되었을 때 콘텐츠를 구동하면, 기 학습된 제스쳐 동작을 취했을 경우 특정 이벤트가 실행된다.
이어, 콘텐츠에 다양한 물리/특수 효과 저작을 지원한다. 적용 가능한 효과는 중력, 물(유체), 광원 및 그림자가 있으며, 중력 효과의 경우 공간 인식 정보 중 바닥평면 정보를 이용하여 중력의 방향을 설정할 수 있다(S907).
도 7에 도시된 바와 같이, 객체 시뮬레이션 처리부(24)에서 물 효과를 적용하는 경우, 저작하고 있는 증강현실 씬에 물 효과를 적용시기면 실 객체(사용자, 사물)와 가상으로 증강된 물과 실 객체(사용자, 사물)/가상 객체 간에 충돌 효과를 표현 할 수 있다.
이어, 도 8과 같이 광원 및 그림자 효과를 적용할 경우, 가상의 광원은 씬에 배치하면 가상 콘텐츠의 그림자가 표현된다. 그림자는 실 공간(바닥, 테이블 등의 실제 객체)에도 투영이 가능하다.
한편, 저작 도구 모듈은 저작된 콘텐츠가 서비스될 화면에서 어떻게 보이고 동작할지 미리 보여주는 기능을 수행한다. 에뮬레이션 기능을 실행하면 저작한 콘텐츠가 임시적으로 실행되고 저작한 콘텐츠가 실제로 어떻게 동작하고 사용자에게 보여지는지 테스트 할 수 있다. 또한 에뮬레이션 컨트롤을 통해 가상으로 사용자 인터랙션을 테스트 해 볼 수 있다. 예를 들어 사용자의 객체 터치의 경우 마우스 클릭 이벤트를 통해 임시적으로 인터랙션을 테스트 할 수 있다. 에뮬레이션 기능을 통해 저작자는 시나리오의 의도대로 잘 저작이 되었는지, 예상치 못하게 잘못 동작하는 경우는 없는지 검증할 수 있다(S908).
이어, 저작 도구 모듈은, 최종으로 저작된 콘텐츠를 패키지 형태로 저장하는 역할을 수행한다(S909). 콘텐츠 패키지는 이벤트 및 속성, 시나리오 정보가 들어있는 스크립트와 3D 콘텐츠, 사운드, 동영상, 애니메이션이 들어있는 리소스로 구성된다.
본 발명에 따른 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법에 대하여 실시 예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
10 : 공간 인식 모듈
11 : 영상 입력부
12 : 메쉬 생성부
13 : 공간 인식부
20 : 저작 도구 모듈
21 : 공간 정보 수신부
22 : 가상 공간 생성부
23 : 사용자 인터랙션 생성부
24 : 객체 시뮬레이션 처리부
25 : 실시간 에뮬레이션부
26 : 콘텐츠 생성부

Claims (7)

  1. RGB-D 카메라를 통해 입력되는 실내 공간의 깊이(Depth) 영상을 3D 저작도구 에서 사용 가능한 3D 메쉬(Mesh) 정보로 변환하고, RGB-D 영상 데이터와 상기 3D 메쉬 정보를 바탕으로 실내 공간 정보를 인식하고, 인식된 공간 인식 정보와 RGB-D 영상, 상기 3D 메쉬 정보를 전송하는 공간 인식 모듈; 및 상기 공간 인식 모듈로부터 전송된 RGB-D 영상 데이터를 이용하여 3D 가상 객체 배치, 사용자 인터랙션 생성, 객체 시뮬레이션 처리의 과정을 거쳐 최종 콘텐 츠를 생성하는 저작 도구 모듈을 포함하고, 상기 저작 도구 모듈은, 상기 공간 인식 정보, 상기 RGB-D 영상, 상기 3D 메쉬 정보를 공유 메모리에 매 프레임마다 기록하는 공간 정보 수신부; 상기 공간 인식 정보를 기반으로 상기 객체를 저작도구 상에서 가상으로 구 현하는 가상 공간 생성부; 상기 가상 공간 생성부에 의해 구현된 가상 객체와 사용자 간의 인터랙션을 생성하는 사용자 인터랙션 생성부; 상기 인터랙션 생성부에 의해 인터랙션이 적용된 콘텐츠에 다양한 물리 혹은 특수 효과를 적용하는 객체 시뮬레이션 처리부; 상기 객체 시뮬레이션 처리부에 의한 물리 혹은 특수 효과가 적용되어 저작 된 콘텐츠가 서비스될 화면에서 어떻게 동작할지를 미리 보여주는 실시간 에뮬레이 션부; 및 상기 실시간 에뮬레이션부에 의한 검증을 통해 최종적으로 저작된 콘텐츠를 패키지 형태로 저장하는 콘텐츠 생성부; 를 포함하는 공간 기반 증강현실을 위한 콘텐츠 저작 장치.
  2. 제 1 항에 있어서,
    상기 공간 인식 모듈은,
    상기 RGB-D 카메라를 통해 입력되는 RGB-D 영상 데이터 중 RGB 데이터를 매 프레임 이미지 정보로 저장하고, 상기 RGB-D 영상 데이터 중 상기 실내 공간의 깊이 로우 데이터를 3차원 상의 포인트 클라우드 정보로 변환하여 저장하는 영상 입력부;
    상기 영상 입력부로부터의 포인트 클라우드 정보를 3D 메쉬 정보로 변환하여 저장하는 메쉬 생성부; 및
    상기 메쉬 정보를 이용하여 상기 실내 공간에 있는 객체의 영역과 각각의 객체에서 평면 정보를 인식하는 공간 인식부;
    를 포함하는 공간 기반 증강현실을 위한 콘텐츠 저작 장치.
  3. 삭제
  4. 삭제
  5. RGB-D 카메라를 통해 입력되는 실내 공간에 대한 RGB-D 영상 데이터 중 RGB 데이터를 매 프레임 이미지 정보로 저장하고, 상기 RGB-D 영상 데이터 중 깊이 정보인 깊이 로우 데이터를 3차원 상의 포인트 클라우드 정보로 변환하여 저장하는 단계;
    상기 포인트 클라우드 정보를 3D 메쉬 정보로 변환하여 저장하는 단계;
    상기 메쉬 정보를 이용하여 실내 공간을 인식하는 단계;
    상기 RGB-D 영상 데이터, 상기 3D 메쉬 정보 및 공간 인식 정보를 공유 메모리에 매 프레임마다 기록하는 단계;
    상기 공간 인식 정보를 기반으로 객체를 저작도구 상에서 가상으로 구현하는 단계;
    구현된 가상 객체와 사용자 간의 인터랙션을 생성하는 단계;
    인터랙션이 적용된 콘텐츠에 다양한 물리 혹은 특수 효과를 적용하는 단계;
    물리 혹은 특수 효과가 적용되어 저작된 콘텐츠가 서비스될 화면에서 어떻게 동작할지를 임시적으로 실행하여 테스트하는 단계; 및
    테스트를 통해 최종적으로 저작된 콘텐츠를 패키지 형태로 저장하는 단계;
    를 포함하는 공간 기반 증강현실을 위한 콘텐츠 저작 방법.
  6. 삭제
  7. 삭제
KR1020160105517A 2016-08-19 2016-08-19 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법 KR101940720B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160105517A KR101940720B1 (ko) 2016-08-19 2016-08-19 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160105517A KR101940720B1 (ko) 2016-08-19 2016-08-19 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20180020725A KR20180020725A (ko) 2018-02-28
KR101940720B1 true KR101940720B1 (ko) 2019-04-17

Family

ID=61401332

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160105517A KR101940720B1 (ko) 2016-08-19 2016-08-19 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101940720B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220099284A (ko) 2021-01-06 2022-07-13 주식회사 소프트그라운드 산업용 증강현실 콘텐츠 저작 시스템 및 이를 포함한 작업 가이드 플랫폼
KR102482053B1 (ko) 2021-08-24 2022-12-27 세종대학교산학협력단 증강현실 콘텐츠 저작 방법 및 장치
KR102597040B1 (ko) 2022-12-26 2023-10-31 세종대학교산학협력단 증강현실 콘텐츠 현장 저작 방법 및 그 장치

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102050825B1 (ko) * 2017-04-13 2019-12-03 한국과학기술원 주행 특징 분석방법 및 그를 위한 장치
KR102236957B1 (ko) * 2018-05-24 2021-04-08 티엠알더블유 파운데이션 아이피 앤드 홀딩 에스에이알엘 가상 세계를 통해 가상 현실 응용 프로그램을 개발, 테스트하고, 실제 세계로 배포하기 위한 시스템 및 방법
CN110531846B (zh) 2018-05-24 2023-05-23 卡兰控股有限公司 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作
US11077365B2 (en) 2018-06-27 2021-08-03 Niantic, Inc. Low latency datagram-responsive computer network protocol
KR102521221B1 (ko) * 2018-09-12 2023-04-13 주식회사 케이티 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램
KR20230132894A (ko) * 2019-02-25 2023-09-18 나이앤틱, 인크. 증강 현실 모바일 에지 컴퓨팅
CN111973979A (zh) 2019-05-23 2020-11-24 明日基金知识产权控股有限公司 经由持久性虚拟世界系统对现实世界进行实况管理
CN112100798A (zh) 2019-06-18 2020-12-18 明日基金知识产权控股有限公司 用于将现实世界元素的虚拟副本部署到持久性虚拟世界系统中的系统和方法
US11665317B2 (en) 2019-06-18 2023-05-30 The Calany Holding S. À R.L. Interacting with real-world items and corresponding databases through a virtual twin reality
CN110716646A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、设备及存储介质
US11645756B2 (en) 2019-11-14 2023-05-09 Samsung Electronics Co., Ltd. Image processing apparatus and method
JP2023507770A (ja) 2019-12-20 2023-02-27 ナイアンティック， インコーポレイテッド データ送信経路選択のためのデータヒエラルキープロトコル
KR102258610B1 (ko) * 2020-08-07 2021-05-31 대한민국 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화에 의한 인터페이스 향상 방법
KR102366847B1 (ko) * 2020-12-04 2022-02-25 한국전자기술연구원 가상 카메라를 이용한 증강현실 객체 생성 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130053466A (ko) * 2011-11-14 2013-05-24 한국전자통신연구원 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220099284A (ko) 2021-01-06 2022-07-13 주식회사 소프트그라운드 산업용 증강현실 콘텐츠 저작 시스템 및 이를 포함한 작업 가이드 플랫폼
KR102597124B1 (ko) 2021-01-06 2023-11-02 주식회사 소프트그라운드 산업용 증강현실 콘텐츠 저작 시스템 및 이를 포함한 작업 가이드 플랫폼
KR102482053B1 (ko) 2021-08-24 2022-12-27 세종대학교산학협력단 증강현실 콘텐츠 저작 방법 및 장치
KR102597040B1 (ko) 2022-12-26 2023-10-31 세종대학교산학협력단 증강현실 콘텐츠 현장 저작 방법 및 그 장치

Also Published As

Publication number Publication date
KR20180020725A (ko) 2018-02-28

Similar Documents

Publication Publication Date Title
KR101940720B1 (ko) 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법
Shi et al. A multiuser shared virtual environment for facility management
US20130120365A1 (en) Content playback apparatus and method for providing interactive augmented space
CN102270275B (zh) 在虚拟环境中选择对象的方法和多媒体终端
KR101947650B1 (ko) 게임 엔진 기반의 머신 러닝 학습이미지 생성 장치 및 방법
KR101723823B1 (ko) 인터랙티브 공간증강 체험전시를 위한 동적 객체와 가상 객체 간의 인터랙션 구현 장치
US20140267228A1 (en) Mapping augmented reality experience to various environments
US9588651B1 (en) Multiple virtual environments
CN102306065A (zh) 交互式光感触摸微型投影系统的实现方法
KR102075383B1 (ko) 스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증간현실 구현 방법
Sheldon et al. Putting the AR In (AR) chitecture
Diewald et al. Towards a holistic approach for mobile application development in intelligent environments
CN104615347A (zh) 一种实现虚实画面同步的方法及装置
CN112561071A (zh) 根据3d语义网格的对象关系估计
CN111047716B (zh) 三维场景的态势标绘方法、计算机存储介质及电子设备
CN115018975A (zh) 数据集生成方法、装置、电子设备及存储介质
Ahsan et al. Interactive white board using gestures with KINECT
KR101630257B1 (ko) 3d 이미지 제공 시스템 및 그 제공방법
KR20140078083A (ko) 증강 현실이 구현된 만화책
Mokhov et al. Agile forward-reverse requirements elicitation as a creative design process: A case study of Illimitable Space System v2
CN112233208A (zh) 机器人状态处理方法、装置、计算设备和存储介质
CN114931746B (zh) 基于笔式和触屏交互的3d游戏的交互方法、装置及介质
US20230368451A1 (en) System and method for ai assisted character pose authoring
Bhosale et al. Computer vision for green and secure cooperative augmented reality in Next Generation Converged Wireless Networks
Ji et al. Learning chinese characters with gestures

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant