KR102350226B1 - 증강현실 컨텐츠 배치 장치 및 방법 - Google Patents

증강현실 컨텐츠 배치 장치 및 방법 Download PDF

Info

Publication number
KR102350226B1
KR102350226B1 KR1020210040998A KR20210040998A KR102350226B1 KR 102350226 B1 KR102350226 B1 KR 102350226B1 KR 1020210040998 A KR1020210040998 A KR 1020210040998A KR 20210040998 A KR20210040998 A KR 20210040998A KR 102350226 B1 KR102350226 B1 KR 102350226B1
Authority
KR
South Korea
Prior art keywords
dimensional
virtual
content
virtual space
image
Prior art date
Application number
KR1020210040998A
Other languages
English (en)
Other versions
KR102350226B9 (ko
Inventor
허용석
김승리
조규성
박재완
Original Assignee
주식회사 맥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 맥스트 filed Critical 주식회사 맥스트
Priority to KR1020210040998A priority Critical patent/KR102350226B1/ko
Application granted granted Critical
Publication of KR102350226B1 publication Critical patent/KR102350226B1/ko
Publication of KR102350226B9 publication Critical patent/KR102350226B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0031—Geometric image transformation in the plane of the image for topological mapping of a higher dimensional structure on a lower dimensional surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Abstract

증강현실 컨텐츠 배치 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 증강현실 컨텐츠 배치 장치 및 방법은 3차원 공간의 일부를 촬영한 2차원 영상을 획득하고, 3차원 가상 공간 지도를 생성하는 수집 모듈, 사용자로부터 컨텐츠 배치 정보를 입력 받아 상기 3차원 가상 공간 지도에 가상 컨텐츠를 배치하는 배치 모듈, 상기 3차원 가상 공간 지도에 배치된 가상 컨텐츠를 상기 2차원 영상에 투영하는 투영 모듈 및 상기 가상 컨텐츠가 투영된 2차원 영상을 상기 사용자에게 제공하는 출력 모듈을 포함한다.

Description

증강현실 컨텐츠 배치 장치 및 방법{APPARATUS AND METHOD FOR ARRANGING AUGMENTED REALITY CONTENT}
본 발명의 실시예들은 증강현실 컨텐츠 배치 기술과 관련된다.
근래에 들어, 가상 현실 혹은 증강현실과 같이 가상의 정보를 이용하여 구현된 다양한 컨텐츠가 제안되고 있다. 일반적인 가상 현실(virtual reality, VR)은 컴퓨터 등을 사용하여 인공적인 기술로 만들어 낸 가상 공간으로서, 실제와 유사하지만 실제가 아닌 특징이 있다. 증강현실(augmented reality, AR)은 가상 현실의 한 분야로서, 사용자가 보는 현실의 객체에 가상의 정보를 합성하여, 가상의 정보를 현실의 일부로서 인식하도록 할 수 있는 기법을 가리킨다.
최근에는 모바일 관련 기술의 발달에 따라, AR 기술이 적용된 휴대용 전자 기기들이 상용화되고 있다. 예컨대, 스마트폰 등과 같이 촬영 기능을 가진 휴대용 전자 기기의 디스플레이에, 사용자가 촬영하는 실제의 영상에 가상의 정보를 오버랩하여 출력하는 기능은 현재 대중화되어 비교적 흔하게 체험할 수 있다. 여기서 가상의 정보라 함은 특정한 사람이나 동물, 혹은 건물이나 장소 등 실제의 사물에 대한 텍스트 정보나 이미지 정보 등이 될 수 있으며, 경우에 따라서는 음악 등 비 시각적 정보를 포함할 수도 있다. 이러한 AR 기술은 사용자에게 현실의 객체와 가상의 정보가 융합된 실감나는 컨텐츠를 제공할 수 있다는 장점을 갖는다.
이러한 AR 컨텐츠를 제작하기 위해서는, 실제의 사물인 객체를 모델링한 3차원 공간 내의 일정 위치에 가상 컨텐츠를 일정 자세로 배치하는 작업이 필수적으로 요구된다. 기존의 배치 방법에 의하면, AR 컨텐츠 제작 시에 저작자가 3차원 공간 내에 가상 컨텐츠를 수동으로 배치하게 된다.
그러나, 이러한 방법은 정확히 배치하기가 매우 번거로울 뿐만 아니라, 잘못 배치할 경우 가상 컨텐츠가 3차원 공간의 벽 혹은 사물과 겹쳐 보이게 되거나, 벽 혹은 사물의 뒤에 위치하게 되는 문제가 있다.
대한민국 등록특허공보 제10-1627169호 (2016.05.30.)
본 발명의 실시예들은 3차원 가상 공간 지도에 가상 컨텐츠를 배치할 수 있는 증강현실 컨텐츠 배치 장치를 제공하기 위한 것이다.
본 발명의 예시적인 실시예에 따르면, 3차원 공간의 일부를 촬영한 2차원 영상을 획득하고, 3차원 가상 공간 지도를 생성하는 수집 모듈, 사용자로부터 컨텐츠 배치 정보를 입력 받아 상기 3차원 가상 공간 지도에 가상 컨텐츠를 배치하는 배치 모듈, 상기 3차원 가상 공간 지도에 배치된 가상 컨텐츠를 상기 2차원 영상에 투영하는 투영 모듈 및 상기 가상 컨텐츠가 투영된 2차원 영상을 상기 사용자에게 제공하는 출력 모듈을 포함하는 증강현실 컨텐츠 배치 장치가 제공된다.
상기 수집 모듈은 상기 3차원 가상 공간 지도가 나타내는 3차원 공간의 일부를 서로 다른 구도로 촬영한 복수의 2차원 영상을 획득하고, SfM(Structure from Motion) 방법을 이용하여 상기 복수의 2차원 영상로부터 상기 3차원 가상 공간 지도를 생성할 수 있다.
상기 투영 모듈은 상기 복수의 2차원 영상 및 상기 3차원 가상 공간 지도를 기초로 각각 산출된 2차원 영상의 카메라 자세 정보를 기준으로 하여, 상기 3차원 가상 공간 지도에 배치된 가상 컨텐츠를 상기 복수의 2차원 영상에 각각 투영하며, 상기 출력 모듈은 상기 가상 컨텐츠가 각각 투영된 복수의 2차원 영상을 상기 사용자에게 제공할 수 있다.
상기 투영 모듈은 상기 2차원 영상의 카메라 자세 정보를 산출하고, 상기 산출된 카메라 자세 정보를 기준으로 하여 상기 가상 컨텐츠를 상기 2차원 영상에 투영할 수 있다.
상기 투영 모듈은 상기 2차원 영상 및 상기 3차원 가상 공간 지도를 기초로 상기 2차원 영상의 카메라 자세 정보를 산출하고, 상기 산출된 카메라 자세 정보 및 상기 컨텐츠 배치 정보를 기초로 상기 3차원 가상 공간 지도에 배치된 상기 가상 컨텐츠를 상기 2차원 영상에 투영할 수 있다.
상기 투영 모듈은 하기 수식을 이용하여 상기 3차원 가상 공간 지도에 배치된 상기 가상 컨텐츠를 상기 2차원 영상에 투영할 수 있다.
[수식]
Figure 112021037208557-pat00001
(여기서, Aimg는 3차원 가상 공간 지도에 배치된 가상 컨텐츠의 한 좌표(Xw, Yw, Zw)가 이미지 상에 투영된 좌표(x,y), P는 투영 정보, C는 카메라 자세 정보)
상기 투영 모듈은 상기 2차원 영상의 해상도(Resolution), 상기 2차원 영상의 시야각(Field of view) 및 상기 2차원 영상을 촬영한 카메라의 내부 파라미터 중 하나 이상을 이용하여 상기 컨텐츠 배치 정보에 따라 상기 3차원 가상 공간 지도에 배치된 상기 가상 컨텐츠를 2차원 영상에 투영할 수 있다.
상기 투영 모듈은 상기 카메라 자세 정보 및 투영 정보를 이용하여 상기 컨텐츠 배치 정보에 따라 상기 3차원 가상 공간 지도에 배치된 상기 가상 컨텐츠에 배치된 2차원 영상을 투영하며, 상기 투영 정보는 하기의 수식과 같이 표현될 수 있다.
[수식]
Figure 112021037208557-pat00002
(여기서, P는 투영 정보, aspect는 2차원 영상의 화면 비율, fov는 2차원 영상의 시야각, near는 카메라로부터 인접한 면까지의 거리, far는 카메라로부터 멀리 떨어진 면까지의 거리)
수집 모듈은 상기 사용자로부터 사용자 2차원 영상을 획득하며, 상기 투영 모듈은 위치 측정(Localization) 기술에 의해 상기 사용자 2차원 영상으로부터 카메라 자세 정보를 산출하고, 상기 산출된 카메라 자세 정보를 기준으로 하여 상기 컨텐츠 배치 정보를 기초로 상기 3차원 가상 공간 지도에 배치된 상기 가상 컨텐츠를 상기 사용자 2차원 영상에 투영할 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 증강현실 컨텐츠 배치 방법으로서, 3차원 공간의 적어도 일부를 촬영한 2차원 영상을 획득하고, 3차원 가상 공간 지도를 생성하는 단계, 사용자로부터 컨텐츠 배치 정보를 입력 받아 상기 3차원 가상 공간 지도에 가상 컨텐츠를 배치하는 단계, 상기 3차원 가상 공간 지도에 배치된 가상 컨텐츠를 상기 2차원 영상에 투영하는 단계 및 상기 가상 컨텐츠가 투영된 2차원 영상을 상기 사용자에게 제공하는 단계를 포함하는 증강현실 컨텐츠 배치 방법이 제공된다.
본 발명의 실시예들에 따르면, 3차원 가상 공간 지도에 배치된 가상 컨텐츠를 2차원 영상에 투영하여 가상 컨텐츠가 현실 공간에 배치된 모습을 제공함으로써, 가상 컨텐츠를 쉽고 직관적으로 배치할 수 있다.
또한, 본 발명의 실시예들에 따르면, 현실 공간의 다양한 시점에서 가상 컨텐츠가 배치된 모습을 제공함으로써, 대규모의 실내외 공간에서도 원하는 위치를 확인하여 가상 컨텐츠를 배치할 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 컨텐츠 배치 장치를 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에서 가상 컨텐츠가 배치된 결과를 나타내는 예시도
도 3은 3차원 가상 공간 지도와 2차원 영상 간의 관계를 설명하기 위한 도면
도 4는 본 발명의 일 실시예에서 가상 컨텐츠가 투영된 결과를 나타내는 예시도
도 5는 본 발명의 일 실시예에 따른 증강현실 컨텐츠 배치 방법을 설명하기 위한 흐름도
도 6은 본 발명의 다른 실시예에 따른 증강현실 컨텐츠 배치 방법을 설명하기 위한 흐름도
도 7은 본 발명의 다른 실시예에서 가상 컨텐츠가 투영된 결과를 나타내는 예시도
도 8은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 컨텐츠 배치 장치를 설명하기 위한 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 증강현실 컨텐츠 배치 장치(100)는 수집 모듈(110), 배치 모듈(120), 투영 모듈(130) 및 출력 모듈(140)을 포함할 수 있다.
수집 모듈(110)은 3차원 공간(현실)의 일부를 촬영한 2차원 영상을 획득할 수 있다. 수집 모듈(110)은 Structure-from-Motion(SfM)기법을 이용하여 2차원 영상들에서 3D Point Cloud를 추출할 수 있다. 수집 모듈(110)은 추출한 3D Point Cloud를 기반으로 3차원 가상 공간 지도를 생성할 수 있다.
여기서, 3차원 가상 공간 지도는 점과 선(Point or Line)으로 이루어진 현실의 3차원 공간을 2차원 영상을 이용하여 SfM(Structure from Motion), SLAM(Simultaneous Localization And Mapping), Depth Map Fusion 알고리즘 등을 통해 복원한 가상의 공간 지도를 의미할 수 있다. 예를 들어, 3차원 가상 공간 지도가 강남대로를 나타내는 가상 공간 지도인 경우, 2차원 영상은 강남대로의 일부를 3차원 가상 공간 지도의 구도와 동일한 구도로 촬영한 영상을 의미할 수도 있고, 측면에서 촬영한 영상을 의미할 수도 있다.
즉, 수집 모듈(110)이 획득하는 2차원 영상은 3차원 가상 공간 지도가 나타내는 3차원 공간의 일부를 별개의 구도(서로 다른 구도)로 촬영한 영상을 의미할 수 있다. 예를 들어, 2차원 영상은 촬영 장치(예를 들어, 핀홀(Pinhole) 카메라, 피쉬아이(Fisheye) 카메라, 및 360도 카메라 등)를 이용하여 촬영한 영상일 수 있다.
여기서는, 수집 모듈(110)이 2차원 영상을 획득하고, 획득한 2차원 영상에 기반하여 3차원 가상 공간 지도를 생성하는 것으로 설명하였으나, 이에 한정되는 것은 아니며 기 생성된 3차원 가상 공간 지도 자체를 획득할 수도 있다.
또한, 수집 모듈(110)은 사용자로부터 사용자 2차원 영상을 획득할 수 있다. 여기서, 사용자 2차원 영상은 사용자가 가상 컨텐츠를 배치하고자 하는 3차원 공간을 촬영한 영상일 수 있다.
한편, 본 발명에서는 2차원 영상 및 3차원 가상 공간 지도를 획득하는 것으로 기재하였으나, 이에 한정되는 것은 아니며, 2차원 영상 및 3차원 가상 공간 지도가 데이터 베이스 형태로 저장되어 있을 수 있다.
배치 모듈(120)는 사용자(예를 들어, 가상 컨텐츠의 저작자)로부터 일정한 명령을 수행할 것을 요청하는 입력을 받아 가상 컨텐츠를 배치할 수 있다. 여기서, 가상 컨텐츠는 3차원 가상 공간 지도에 3차원 모델링하여 배치함으로써 생성될 수 있다.
예시적인 실시예에서, 배치 모듈(120)은 사용자로부터 컨텐츠 배치 정보를 입력 받아 가상 컨텐츠를 3차원 가상 공간 지도에 배치할 수 있다. 여기서, 컨텐츠 배치 정보는 가상 컨텐츠가 배치된 3차원 가상 공간 지도의 좌표계(대표 좌표계) 상에서의 x축, y축, z축 좌표 및 요(yaw), 롤(roll), 피치(pitch) 값을 포함할 수 있다. 구체적으로, 배치 모듈(120)은 사용자로부터 가상 컨텐츠를 3차원 가상 공간 지도에 배치하기 위한 컨텐츠 배치 정보를 입력 장치(미도시)로부터 입력 받아 3차원 가상 공간 지도에 가상 컨텐츠를 배치할 수 있다.
예를 들어, 도 2와 같이, 사용자로부터 입력된 컨텐츠 배치 정보를 기반으로 3차원 가상 공간 지도에 가상 컨텐츠를 배치할 수 있다. 입력 장치는 키보드(keyboard), 마우스(mouse) 혹은 터치 패드(touch pad) 등의 입력 장치를 통해 구현될 수 있다.
또한, 배치 모듈(120)은 사용자로부터 입력된 컨텐츠 배치 정보에 기반하여 가상 컨텐츠를 2차원 가상 지도에 배치할 수도 있다. 여기서, 2차원 가상 지도는 3차원 가상 공간 지도를 위에서 바라본 평면 지도일 수 있다. 즉, 배치 모듈(120)은 3차원 가상 공간 지도를 2차원 좌표로 변환하여 2차원 가상 지도로 표시하고, 2차원 가상 지도에 가상 컨텐츠를 배치할 수 있다.
구체적으로, 배치 모듈(120)은 3차원 가상 공간 지도로부터 3차원 가상 공간 지도와 좌표 정보(예를 들어, GPS 정보, Beacon 정보)를 매칭하여 2차원 가상 지도로 표시할 수 있다. 또한, 배치 모듈(120)은 3차원 가상 공간 지도로부터 3차원 가상 공간 지도와 센서 정보(예를 들어, 라이다(Lidar), 깊이 카메라(depth camera) 등)를 이용하여 2차원 가상 지도로 표시할 수 있다. 예를 들어, 배치 모듈(120)은 특징 매칭(feature matching), ICP(iterative closest points) 기반의 매칭 방법을 이용하여 3차원 가상 공간 지도와 센서 정보를 매칭하여 2차원 가상 지도로 표시할 수 있다.
투영 모듈(130)은 3차원 가상 공간 지도에 배치된 가상 컨텐츠를 2차원 영상(3차원 가상 공간 지도를 생성하는데 사용된 2차원 영상)에 투영할 수 있다. 구체적으로, 투영 모듈(130)은 2차원 영상의 카메라 자세 정보를 산출할 수 있다. 또한, 투영 모듈(130)은 산출된 카메라 자세 정보 및 컨텐츠 배치 정보(가상 컨텐츠가 3차원 가상 공간 지도에 배치될 때 사용된 컨텐츠 배치 정보)를 기초로 3차원 가상 공간 지도에 배치된 가상 컨텐츠를 2차원 영상에 투영할 수 있다. 즉, 투영 모듈(130)은 카메라 자세 정보 및 컨텐츠 배치 정보를 바탕으로 해당 카메라 위치에서 보이는 가상 컨텐츠를 2차원 영상에 해당하는 평면에 투영할 수 있다.
도 3은 3차원 가상 공간 지도와 2차원 영상 간의 관계를 설명하기 위한 도면이다.
도 3을 참조하면, 투영 모듈(130)은 2차원 영상(3차원 가상 공간 지도를 생성하는데 사용된 2차원 영상) 및 3차원 가상 공간 지도를 기초로 2차원 영상의 카메라 자세 정보를 산출할 수 있다. 여기서, 카메라 자세 정보는 2차원 영상이 촬영된 카메라의 3차원 공간 상에서의 자세(pose)를 의미할 수 있다. 카메라 자세 정보는 3차원 가상 공간 지도의 좌표계(예를 들어, 월드 좌표계)를 기준으로 방향 관계를 나타내는 회전 행렬(Rotation Matrix) 및 3차원 가상 공간 지도의 좌표계를 기준으로 위치 관계를 나타내는 이동 행렬(Translation Matrix)을 포함할 수 있다. 예를 들어, 카메라 자세 정보(C)는 아래 수식 1과 같이, 3×3 회전 행렬(Rotation Matrix), 3×1 이동 행렬(Translation Matrix), 3×3 영 행렬(Zero Matrix) 및 1의 행렬로 표현될 수 있다.
[수식 1]
Figure 112021037208557-pat00003
또한, 투영 모듈(130)은 카메라 자세 정보를 기준으로 하여 컨텐츠 배치 정보에 따라 3차원 가상 공간 지도에 배치된 가상 컨텐츠를 2차원 영상에 투영할 수 있다. 투영 모듈(130)은 2차원 영상의 해상도(Resolution), 2차원 영상의 시야각(Field of view) 및 2차원 영상을 촬영한 카메라의 내부 파라미터 중 하나 이상을 이용하여 가상 컨텐츠를 2차원 영상에 투영할 수 있다. 구체적으로, 투영 모듈(130)은 카메라 자세 정보(C) 및 투영 정보(P)를 이용하여 컨텐츠 배치 정보에 따라 3차원 가상 공간 지도에 배치된 가상 컨텐츠를 2차원 영상에 투영할 수 있다. 여기서, 투영 정보(P)는 카메라 좌표계에서 원근감을 부여해주는 투영 행렬일 수 있다. 투영 정보(P)는 아래 수식 2와 같이 표현될 수 있다.
[수식 2]
Figure 112021037208557-pat00004
(여기서, aspect는 2차원 영상의 화면 비율, fov는 2차원 영상의 시야각, near는 카메라로부터 인접한 면(3차원 가상 공간 지도에 배치된 가상 컨텐츠의 인접한 면)까지의 거리, far는 카메라로부터 멀리 떨어진 면(3차원 가상 공간 지도에 배치된 가상 컨텐츠의 멀리 떨어진 면)까지의 거리)
이 때, aspect 및 fov는 2차원 영상의 해상도 및 2차원 영상을 촬영한 카메라의 내부 파라미터(intrinsic parameter)에 따라 조절될 수 있다. near와 far는 2차원 영상을 촬영한 카메라를 기준으로 어느 범위까지 렌더링(rendering) 할지에 따라 조절될 수 있다.
예를 들어, 가상 컨텐츠의 임의의 한 점(A)이 3차원 가상 공간 지도의 좌표계를 기준으로 (Xw, Yw, Zw)인 경우, 이미지 상의 좌표(Aimg=(x,y))는 하기 수식 3으로 산출될 수 있다.
[수식 3]
Figure 112021037208557-pat00005
(여기서, Aimg는 3차원 가상 공간 지도에 배치된 가상 컨텐츠의 한 좌표가 이미지 상에 투영된 좌표, P는 투영 정보, C는 카메라 자세 정보)
도 4는 본 발명의 일 실시예에서 가상 컨텐츠가 투영된 결과를 나타내는 예시도이다.
도 4를 참조하면, 투영 모듈(130)은 3차원 가상 공간 지도에 배치된 가상 컨텐츠를 복수의 2차원 영상에 투영할 수 있다. 즉, 3차원 가상 공간 지도에 배치된 가상 컨텐츠를 3차원 가상 공간 지도가 나타내는 3차원 공간을 서로 다른 구도로 촬영한 복수의 2차원 영상에 각각 투영할 수 있다. 구체적으로, 투영 모듈(130)은 가상 컨텐츠가 배치된 3차원 가상 공간에 대한 복수의 2차원 영상(3차원 가상 공간 지도가 나타내는 3차원 공간을 별개의 구도로 촬영한 복수의 2차원 영상)으로부터 각각의 2차원 영상의 카메라 자세 정보를 기준으로 하여 컨텐츠 배치 정보에 따라 3차원 가상 공간 지도에 배치된 3차원 컨텐츠를 각각 2차원 영상에 투영할 수 있다.
예를 들어, 도 4와 같이, 3차원 가상 공간 지도 상의 건물 위에 가상 컨텐츠를 배치하는 경우, 해당 3차원 가상 공간 지도가 나타내는 3차원 공간을 별개의 구도로 촬영한 2차원 영상(a, b, c, d)들에 각각 가상 컨텐츠를 투영할 수 있다.
다시 도 1을 참조하면, 투영 모듈(130)은 사용자로부터 획득한 사용자 2차원 영상에 가상 컨텐츠를 투영할 수 있다. 여기서, 사용자 2차원 영상은 사용자가 가상 컨텐츠를 배치하고자 하는 3차원 공간을 촬영한 영상일 수 있다. 구체적으로, 투영 모듈(130)은 위치 측정(Localization) 기술에 의해 사용자 2차원 영상으로부터 카메라 자세 정보를 산출할 수 있다. 여기서, 위치 측정 기술은 기 공지된 다양한 위치 측정 방법 예를 들어, 특징점 추출과 2D-3D 매칭을 통한 예측 방법, 이미지 인출(Image Retrieval) 기반의 예측 방법, 및 딥러닝(Deep Learning) 기반의 예측 방법 등을 이용할 수 있다. 또한, 투영 모듈(130)은 사용자 2차원 영상에 대한 카메라 자세 정보를 기준으로 하여 컨텐츠 배치 정보에 따라 3차원 가상 공간 지도에 배치된 3차원 컨텐츠를 사용자 2차원 영상에 투영할 수 있다.
출력 모듈(140)은 가상 컨텐츠가 투영된 2차원 영상을 출력할 수 있다. 즉, 출력 모듈(140)은 투영 결과를 출력하여 사용자에게 제공할 수 있다. 출력 모듈(140)은 예를 들어, 개인용 컴퓨터, 랩탑(Laptop Computer), 스마트폰, 태블릿 PC, 또는 스마트 밴드(Smart Band), 스마트 워치(Smart Watch) 등의 웨어러블 디바이스(Wearable Device일 수 있다.
또한, 출력 모듈(140)은 가상 컨텐츠가 투영된 사용자 2차원 영상을 출력할 수 있다.
도 5는 본 발명의 일 실시예에 따른 증강현실 컨텐츠 배치 방법을 설명하기 위한 흐름도이다. 도 5에 도시된 방법은 예를 들어, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에 의해 수행될 수 있다. 이를 위하여, 증강현실 컨텐츠 배치 방법은 하나 이상의 컴퓨터 실행 가능 명령어를 포함하는 프로그램 내지 소프트웨어의 형태로 구현되어 상기 메모리상에 저장될 수 있다.
또한, 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 5를 참조하면, 컴퓨팅 장치(12)는 3차원 공간(현실)의 적어도 일부를 촬영한 2차원 영상을 획득하고, 3차원 가상 공간 지도를 생성한다(S502). 구체적으로, 컴퓨팅 장치(12)는 Structure-from-Motion(SfM)기법을 이용하여 2차원 영상들에서 3D Point Cloud를 추출할 수 있다. 컴퓨팅 장치(12)는 추출한 3D Point Cloud를 기반으로 3차원 가상 공간 지도를 생성할 수 있다. 여기서, 3차원 가상 공간 지도는 점과 선(Point or Line)으로 이루어진 현실의 3차원 공간을 2차원 영상을 이용하여 SfM(Structure from Motion), SLAM(Simultaneous Localization And Mapping), Depth Map Fusion 알고리즘 등을 통해 복원한 가상의 공간 지도를 의미할 수 있다.
다음으로, 컴퓨팅 장치(12)는 컨텐츠 배치 정보를 기반으로 가상 컨텐츠를 3차원 가상 공간 지도에 배치한다(S504). 구체적으로, 컴퓨팅 장치(12)는 사용자로부터 가상 컨텐츠를 3차원 가상 공간 지도에 배치하기 위한 컨텐츠 배치 정보를 입력 장치로부터 입력 받아 3차원 가상 공간 지도에 가상 컨텐츠를 배치할 수 있다.
다음으로, 컴퓨팅 장치(12)는 3차원 가상 공간 지도에 배치된 가상 컨텐츠를 2차원 영상(3차원 가상 공간 지도를 생성하는데 사용된 2차원 영상)에 투영한다(S506). 구체적으로, 컴퓨팅 장치(12)는 2차원 영상의 카메라 자세 정보를 산출할 수 있다. 컴퓨팅 장치(12)는 산출된 카메라 자세 정보 및 컨텐츠 배치 정보(가상 컨텐츠가 3차원 가상 공간 지도에 배치될 때 사용된 컨텐츠 배치 정보)를 기초로 3차원 가상 공간 지도에 배치된 가상 컨텐츠를 2차원 영상에 투영할 수 있다. 즉, 컴퓨팅 장치(12)는 카메라 자세 정보 및 컨텐츠 배치 정보를 바탕으로 해당 카메라 위치에서 보이는 가상 컨텐츠를 2차원 영상에 해당하는 평면에 투영할 수 있다.
마지막으로, 컴퓨팅 장치(12)는 가상 컨텐츠가 투영된 2차원 영상을 사용자에게 제공한다(S508).
따라서, 본 발명의 실시예에 따른 증강현실 컨텐츠 배치 방법은 3차원 가상 공간 지도에 배치된 가상 컨텐츠를 2차원 영상에 투영하여 가상 컨텐츠가 현실 공간에 배치된 모습을 제공함으로써, 가상 컨텐츠를 쉽고 직관적으로 배치할 수 있다.
또한, 본 발명의 실시예에 따른 증강현실 컨텐츠 배치 방법은 현실 공간의 다양한 시점에서 가상 컨텐츠가 배치된 모습을 제공함으로써, 대규모의 실내외 공간에서도 원하는 위치를 확인하여 가상 컨텐츠를 배치할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 증강현실 컨텐츠 배치 방법을 설명하기 위한 흐름도이다. 도 6에 도시된 방법은 예를 들어, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에 의해 수행될 수 있다. 이를 위하여, 증강현실 컨텐츠 배치 방법은 하나 이상의 컴퓨터 실행 가능 명령어를 포함하는 프로그램 내지 소프트웨어의 형태로 구현되어 상기 메모리상에 저장될 수 있다.
또한, 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 6을 참조하면, 컴퓨팅 장치(12)는 3차원 공간(현실)의 적어도 일부를 촬영한 2차원 영상을 획득하고, 3차원 가상 공간 지도를 생성한다(S602). 구체적으로, 컴퓨팅 장치(12)는 Structure-from-Motion(SfM)기법을 이용하여 2차원 영상들에서 3D Point Cloud를 추출할 수 있다. 컴퓨팅 장치(12)는 추출한 3D Point Cloud를 기반으로 3차원 가상 공간 지도를 생성할 수 있다. 여기서, 3차원 가상 공간 지도는 점과 선(Point or Line)으로 이루어진 현실의 3차원 공간을 2차원 영상을 이용하여 SfM(Structure from Motion), SLAM(Simultaneous Localization And Mapping), Depth Map Fusion 알고리즘 등을 통해 복원한 가상의 공간 지도를 의미할 수 있다.
다음으로, 컴퓨팅 장치(12)는 컨텐츠 배치 정보를 기반으로 가상 컨텐츠를 3차원 가상 공간 지도에 배치한다(S604). 구체적으로, 컴퓨팅 장치(12)는 사용자로부터 가상 컨텐츠를 3차원 가상 공간 지도에 배치하기 위한 컨텐츠 배치 정보를 입력 장치로부터 입력 받아 3차원 가상 공간 지도에 가상 컨텐츠를 배치할 수 있다.
다음으로, 컴퓨팅 장치(12)는 사용자로부터 사용자 2차원 영상을 획득한다(S606). 여기서, 사용자 2차원 영상은 사용자가 가상 컨텐츠를 배치하고자 하는 3차원 공간을 촬영한 영상일 수 있다.
다음으로, 컴퓨팅 장치(12)는 3차원 가상 공간 지도에 배치된 가상 컨텐츠를 사용자 2차원 영상에 투영한다(S608). 구체적으로, 컴퓨팅 장치(12)는 위치 측정(Localization) 기술에 의해 사용자 2차원 영상으로부터 카메라 자세 정보를 산출할 수 있다. 컴퓨팅 장치(12)는 산출된 카메라 자세 정보 및 컨텐츠 배치 정보를 기초로 3차원 가상 공간 지도에 배치된 가상 컨텐츠를 사용자 2차원 영상에 투영할 수 있다. 즉, 컴퓨팅 장치(12)는 카메라 자세 정보 및 컨텐츠 배치 정보를 바탕으로 해당 카메라 위치에서 보이는 가상 컨텐츠를 사용자 2차원 영상에 해당하는 평면에 투영할 수 있다.
마지막으로, 컴퓨팅 장치(12)는 가상 컨텐츠가 투영된 사용자 2차원 영상을 사용자에게 제공한다(S610). 예를 들어, 도 7과 같이, 사용자로부터 사용자 2차원 영상(a)을 획득한 경우, 3차원 가상 공간 지도에 배치된 가상 컨텐츠를 사용자 2차원 영상에 투영(b)할 수 있다.
도 8은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 증강현실 컨텐츠 배치 장치(100)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 증강현실 컨텐츠 배치 장치
110 : 수집 모듈
120 : 배치 모듈
130 : 투영 모듈
140 : 출력 모듈

Claims (10)

  1. 3차원 공간의 일부를 촬영한 2차원 영상을 획득하고, 3차원 가상 공간 지도를 생성하는 수집 모듈;
    사용자로부터 컨텐츠 배치 정보를 입력 받아 상기 3차원 가상 공간 지도에 가상 컨텐츠를 배치하는 배치 모듈;
    상기 3차원 가상 공간 지도에 배치된 가상 컨텐츠를 상기 2차원 영상에 투영하는 투영 모듈; 및
    상기 가상 컨텐츠가 투영된 2차원 영상을 상기 사용자에게 제공하는 출력 모듈을 포함하며,
    상기 수집 모듈은,
    상기 3차원 가상 공간 지도가 나타내는 3차원 공간의 일부를 서로 다른 구도로 촬영한 복수의 2차원 영상을 획득하고, SfM(Structure from Motion) 방법을 이용하여 상기 복수의 2차원 영상로부터 상기 3차원 가상 공간 지도를 생성하며,
    상기 투영 모듈은,
    상기 복수의 2차원 영상 및 상기 3차원 가상 공간 지도를 기초로 상기 복수의 2차원 영상의 카메라 자세 정보를 각각 산출하고, 상기 산출된 카메라 자세 정보 및 상기 컨텐츠 배치 정보를 기초로 상기 3차원 가상 공간 지도에 배치된 상기 가상 컨텐츠를 상기 서로 다른 구도로 촬영한 복수의 2차원 영상에 각각 투영하며,
    상기 출력 모듈은, 상기 가상 컨텐츠가 각각 투영된 복수의 2차원 영상을 상기 사용자에게 제공하는, 증강현실 컨텐츠 배치 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 청구항 1에 있어서,
    상기 투영 모듈은,
    하기 수식을 이용하여 상기 3차원 가상 공간 지도에 배치된 상기 가상 컨텐츠를 상기 2차원 영상에 투영하는, 증강현실 컨텐츠 배치 장치.
    [수식]
    Figure 112021129234075-pat00006

    (여기서, Aimg는 3차원 가상 공간 지도에 배치된 가상 컨텐츠의 한 좌표(Xw, Yw, Zw)가 이미지 상에 투영된 좌표(x,y), P는 투영 정보, C는 카메라 자세 정보)
  7. 청구항 1에 있어서,
    상기 투영 모듈은,
    상기 2차원 영상의 해상도(Resolution), 상기 2차원 영상의 시야각(Field of view) 및 상기 2차원 영상을 촬영한 카메라의 내부 파라미터 중 하나 이상을 이용하여 상기 컨텐츠 배치 정보에 따라 상기 3차원 가상 공간 지도에 배치된 상기 가상 컨텐츠를 2차원 영상에 투영하는, 증강현실 컨텐츠 배치 장치.

  8. 청구항 7에 있어서,
    상기 투영 모듈은,
    상기 카메라 자세 정보 및 투영 정보를 이용하여 상기 컨텐츠 배치 정보에 따라 상기 3차원 가상 공간 지도에 배치된 상기 가상 컨텐츠에 배치된 2차원 영상을 투영하며,
    상기 투영 정보는, 하기의 수식과 같이 표현되는, 증강현실 컨텐츠 배치 장치.
    [수식]
    Figure 112021037208557-pat00007

    (여기서, P는 투영 정보, aspect는 2차원 영상의 화면 비율, fov는 2차원 영상의 시야각, near는 카메라로부터 인접한 면까지의 거리, far는 카메라로부터 멀리 떨어진 면까지의 거리)
  9. 청구항 1에 있어서,
    수집 모듈은,
    상기 사용자로부터 사용자 2차원 영상을 획득하며,
    상기 투영 모듈은,
    위치 측정(Localization) 기술에 의해 상기 사용자 2차원 영상으로부터 카메라 자세 정보를 산출하고, 상기 산출된 카메라 자세 정보를 기준으로 하여 상기 컨텐츠 배치 정보를 기초로 상기 3차원 가상 공간 지도에 배치된 상기 가상 컨텐츠를 상기 사용자 2차원 영상에 투영하는, 증강현실 컨텐츠 배치 장치.
  10. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 증강현실 컨텐츠 배치 방법으로서,
    3차원 공간의 적어도 일부를 촬영한 2차원 영상을 획득하고, 3차원 가상 공간 지도를 생성하는 단계;
    사용자로부터 컨텐츠 배치 정보를 입력 받아 상기 3차원 가상 공간 지도에 가상 컨텐츠를 배치하는 단계;
    상기 3차원 가상 공간 지도에 배치된 가상 컨텐츠를 상기 2차원 영상에 투영하는 단계; 및
    상기 가상 컨텐츠가 투영된 2차원 영상을 상기 사용자에게 제공하는 단계를 포함하며,
    상기 생성하는 단계는,
    상기 3차원 가상 공간 지도가 나타내는 3차원 공간의 일부를 서로 다른 구도로 촬영한 복수의 2차원 영상을 획득하는 단계; 및
    SfM(Structure from Motion) 방법을 이용하여 상기 복수의 2차원 영상로부터 상기 3차원 가상 공간 지도를 생성하는 단계를 더 포함하며,
    상기 투영하는 단계는,
    상기 복수의 2차원 영상 및 상기 3차원 가상 공간 지도를 기초로 상기 복수의 2차원 영상의 카메라 자세 정보를 각각 산출하는 단계; 및
    상기 산출된 카메라 자세 정보 및 상기 컨텐츠 배치 정보를 기초로 상기 3차원 가상 공간 지도에 배치된 상기 가상 컨텐츠를 상기 서로 다른 구도로 촬영한 복수의 2차원 영상에 각각 투영하는 단계를 포함하며,
    상기 제공하는 단계는,
    상기 가상 컨텐츠가 각각 투영된 복수의 2차원 영상을 상기 사용자에게 제공하는 단계를 더 포함하는, 증강현실 컨텐츠 배치 방법.
KR1020210040998A 2021-03-30 2021-03-30 증강현실 컨텐츠 배치 장치 및 방법 KR102350226B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210040998A KR102350226B1 (ko) 2021-03-30 2021-03-30 증강현실 컨텐츠 배치 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210040998A KR102350226B1 (ko) 2021-03-30 2021-03-30 증강현실 컨텐츠 배치 장치 및 방법

Publications (2)

Publication Number Publication Date
KR102350226B1 true KR102350226B1 (ko) 2022-01-12
KR102350226B9 KR102350226B9 (ko) 2023-04-12

Family

ID=79339667

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210040998A KR102350226B1 (ko) 2021-03-30 2021-03-30 증강현실 컨텐츠 배치 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102350226B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101627169B1 (ko) 2013-09-27 2016-06-07 한국과학기술연구원 증강현실 컨텐츠 저작 및 제공 시스템
KR101851303B1 (ko) * 2016-10-27 2018-04-23 주식회사 맥스트 3차원 공간 재구성 장치 및 방법
KR20180133052A (ko) * 2017-06-05 2018-12-13 한국과학기술원 360도 이미지 및 비디오 기반의 증강현실 콘텐츠 저작 방법
KR20200003597A (ko) * 2018-07-02 2020-01-10 한국전자통신연구원 증강현실 영상 보정 장치 및 방법
KR102159134B1 (ko) * 2019-09-27 2020-09-23 네이버시스템(주) 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101627169B1 (ko) 2013-09-27 2016-06-07 한국과학기술연구원 증강현실 컨텐츠 저작 및 제공 시스템
KR101851303B1 (ko) * 2016-10-27 2018-04-23 주식회사 맥스트 3차원 공간 재구성 장치 및 방법
KR20180133052A (ko) * 2017-06-05 2018-12-13 한국과학기술원 360도 이미지 및 비디오 기반의 증강현실 콘텐츠 저작 방법
KR20200003597A (ko) * 2018-07-02 2020-01-10 한국전자통신연구원 증강현실 영상 보정 장치 및 방법
KR102159134B1 (ko) * 2019-09-27 2020-09-23 네이버시스템(주) 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치

Also Published As

Publication number Publication date
KR102350226B9 (ko) 2023-04-12

Similar Documents

Publication Publication Date Title
US10964108B2 (en) Augmentation of captured 3D scenes with contextual information
US20230334798A1 (en) Systems and methods for presenting digital assets within artificial environments via a loosely coupled relocalization service and asset management service
US9424371B2 (en) Click to accept as built modeling
JP5093053B2 (ja) 電子カメラ
JP2006053694A (ja) 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
KR20120002261A (ko) 3차원 증강 현실 제공 장치 및 방법
KR102197615B1 (ko) 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버
KR102317182B1 (ko) 3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치
US10950056B2 (en) Apparatus and method for generating point cloud data
KR102097416B1 (ko) 표고차를 고려한 지하관로의 관리를 위한 증강 현실 표현 방법 및 이를 기록한 기록매체
US20190197711A1 (en) Method and system for recording spatial information
JP2021136017A (ja) 仮想オブジェクトを作成し、レンダリングするための視覚的オブジェクト認識及び記憶された幾何学形状を使用する拡張現実システム
WO2017041740A1 (en) Methods and systems for light field augmented reality/virtual reality on mobile devices
US20220129228A1 (en) Synchronizing positioning systems and content sharing between multiple devices
KR102350226B1 (ko) 증강현실 컨텐츠 배치 장치 및 방법
KR102347232B1 (ko) 실외 3차원 지도 정보를 기반으로 비주얼 로컬리제이션을 제공하기 위한 전자 장치 및 그의 동작 방법
KR102312531B1 (ko) 위치 추적 시스템 및 이를 수행하기 위한 컴퓨팅 장치
US11423609B2 (en) Apparatus and method for generating point cloud
KR102150954B1 (ko) 점군 정보 가공 장치 및 방법
US11615574B2 (en) System and method for rendering 6 degree-of-freedom virtual reality
US11727658B2 (en) Using camera feed to improve quality of reconstructed images
US11455777B2 (en) System and method for virtually attaching applications to and enabling interactions with dynamic objects
JP7186484B1 (ja) プログラム、情報処理装置、方法及びシステム
US20230186572A1 (en) Reality space-based content authoring device, content authoring system and method
Yee et al. Car advertisement for android application in augmented reality

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]