KR101851303B1 - 3차원 공간 재구성 장치 및 방법 - Google Patents

3차원 공간 재구성 장치 및 방법 Download PDF

Info

Publication number
KR101851303B1
KR101851303B1 KR1020160140810A KR20160140810A KR101851303B1 KR 101851303 B1 KR101851303 B1 KR 101851303B1 KR 1020160140810 A KR1020160140810 A KR 1020160140810A KR 20160140810 A KR20160140810 A KR 20160140810A KR 101851303 B1 KR101851303 B1 KR 101851303B1
Authority
KR
South Korea
Prior art keywords
reference image
camera
posture
dimensional
virtual
Prior art date
Application number
KR1020160140810A
Other languages
English (en)
Inventor
최진민
김승리
유한규
허용석
박재완
Original Assignee
주식회사 맥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 맥스트 filed Critical 주식회사 맥스트
Priority to KR1020160140810A priority Critical patent/KR101851303B1/ko
Application granted granted Critical
Publication of KR101851303B1 publication Critical patent/KR101851303B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/06—Curved planar reformation of 3D line structures

Abstract

3차원 공간 재구성 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 3차원 공간 재구성 장치는, 3차원 공간에 대한 2차원 이미지들을 생성하는 카메라, 상기 2차원 이미지들로부터 특징점들을 추출하는 특징점 추출부, 상기 추출된 특징점들을 이용하여, 상기 3차원 공간에 대한 3차원 점군 데이터(3-D point cloud) 생성하는 점군 데이터 생성부, 상기 추출된 특징점들을 이용하여, 상기 2차원 이미지들에 대한 카메라 자세를 추정하는 자세 추정부, 상기 카메라 자세에 기초하여 상기 2차원 이미지들 중 적어도 하나를 기준 이미지로 선택하고, 상기 기준 이미지와 상기 기준 이미지에 대한 카메라 자세를 포함하는 기준 이미지 세트를 생성하는 기준 이미지 선택부, 상기 3차원 점군 데이터 및 상기 기준 이미지 세트를 저장하는 저장부, 상기 3차원 점군 데이터에 포함된 각 점(point)을 정점(vertex)으로 하는 폴리곤 메시(polygon mesh)를 생성하는 폴리곤 메시 생성부 및 가상 카메라의 자세와 상기 기준 이미지 세트에 포함된 기준 이미지에 대한 카메라 자세에 기초하여, 가상 3차원 공간에서 상기 가상 카메라를 이용하여 바라본 상기 폴리곤 메시의 표면에 상기 기준 이미지를 텍스처로 맵핑하는 텍스처 맵핑부를 포함한다.

Description

3차원 공간 재구성 장치 및 방법{APPARATUS AND METHOD FOR RECONSTRUCTING 3D SPACE}
본 발명의 실시예들은 카메라에 의해 촬영된 이미지를 이용한 3차원 공간 재구성 기술과 관련된다.
증강현실(augmented reality)은 실제 공간에 가상물체를 합성하여, 가상물체가 마치 실제 공간에 존재하는 것처럼 보이도록 하는 것으로, 광학(optical see through) 방식과 비디오(video see through)으로 구분된다.
광학 방식은 투명 스크린에 가상물체를 표시하여 실제 공간과 가상물체를 겹쳐 보이도록 한다. 비디오 방식은 카메라로 실제 공간을 촬영하고, 가상물체를 촬영된 영상과 합성하여 스크린에 표시함으로써, 가상물체가 실제 공간에 놓여있는 듯이 보이도록 한다
상술한 두 가지 방식 모두 가상물체를 실제 공간의 어떤 위치에 표시할 것인지 정해주는 작업을 해야 한다. 실제 공간에 대해, 가상물체의 위치를 설정하는 작업을 저작(authoring)이라 정의한다.
저작하는 방법에는 마커(marker)나 2차원 이미지를 이용하는 방법이 있다. 마커 방식은 카메라로 마커를 인식하고, 마커의 3차원 공간상의 좌표를 기준으로 가상물체를 위치시켜서 가상물체와 현실세계를 융합한다.
이미지 방식은 정형화된 마커 대신 일반적인 이미지를 이용한다. 구체적으로, 이미지 방식은 카메라로 이미지를 인식하고, 이미지의 3차원 공간상의 좌표를 기준으로 가상물체를 위치시켜서 가상물체와 현실세계를 융합한다.
마커나 이미지처럼 2D 이미지를 이용하는 방식은, 평면에 가상물체를 놓을 때는 유용하지만, 곡면에 가상물체를 놓을 때는 오차가 크다. 곡면을 평면으로 가정하기 때문에 실제 공간과 가상물체가 제대로 정합되지 않는 문제가 있다. 실제 공간이 평면인 경우, 반드시 마커나 이미지를 평면에 놓거나 인쇄해야 가상물체를 증강시킬 수 있다는 단점도 있다.
실제 공간은 대부분 곡면이 포함되어있기 때문에 마커나 2D 이미지를 이용하여 저작하는 방식은 적합하지 않다. 따라서, 실제 공간을 3차원 공간 재구성(3D reconstruction) 방법을 이용하여 재구성하고, 재구성된 공간에 가상물체를 놓으면 오차를 최소화할 수 있다.
이때, 사람이 점군 데이터를 보고 실제 공간을 인식하기 위해서는 점(point)의 수가 충분히 많아야 하며, 사람이 실제공간 인식할 정도로 공간을 재구성하려면, 10만~100만개 정도 점이 필요하다. 점의 수가 많을 수록 더 정확하게 공간을 재구성할 수 있지만, 큰 계산량/메모리가 요구된다. 반면, 점의 수가 적을수록 메모리를 적은 계산량/메모리가 요구되나, 실제 공간과 재구성한 공간의 오차가 커지며, 실제 공간과 재구성한 공간의 오차가 크면, 가상 현실 컨텐츠를 저작할 때 가상물체를 정확한 위치에 놓을 수 없어서, 가상물체를 증강시킬 때 오차가 커지게 된다.
대한민국 공개특허공보 제10-2015-0128300호(2015.11.18. 공개)
본 발명의 실시예들은 카메라에 의해 촬영된 이미지를 이용하여 3차원 공간을 재구성하기 위한 장치 및 방법을 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 3차원 공간 재구성 장치는, 3차원 공간에 대한 2차원 이미지들을 생성하는 카메라, 상기 2차원 이미지들로부터 특징점들을 추출하는 특징점 추출부, 상기 추출된 특징점들을 이용하여, 상기 3차원 공간에 대한 3차원 점군 데이터(3-D point cloud) 생성하는 점군 데이터 생성부, 상기 추출된 특징점들을 이용하여, 상기 2차원 이미지들에 대한 카메라 자세를 추정하는 자세 추정부, 상기 카메라 자세에 기초하여 상기 2차원 이미지들 중 적어도 하나를 기준 이미지로 선택하고, 상기 기준 이미지와 상기 기준 이미지에 대한 카메라 자세를 포함하는 기준 이미지 세트를 생성하는 기준 이미지 선택부, 상기 3차원 점군 데이터 및 상기 기준 이미지 세트를 저장하는 저장부, 상기 3차원 점군 데이터에 포함된 각 점(point)을 정점(vertex)으로 하는 폴리곤 메시(polygon mesh)를 생성하는 폴리곤 메시 생성부 및 가상 카메라의 자세와 상기 기준 이미지 세트에 포함된 기준 이미지에 대한 카메라 자세에 기초하여, 가상 3차원 공간에서 상기 가상 카메라를 이용하여 바라본 상기 폴리곤 메시의 표면에 상기 기준 이미지를 텍스처로 맵핑하는 텍스처 맵핑부를 포함한다.
상기 텍스처 맵핑부는, 상기 가상 카메라의 자세가 변경되는 경우, 변경된 자세에 따라 맵핑되는 기준 이미지를 동적으로 변경할 수 있다.
상기 텍스처 맵핑부는, 상기 기준 이미지에 대한 카메라 자세가 가상 카메라의 자세와 동일하거나 가장 근접한 기준 이미지를 상기 텍스처로 맵핑할 수 있다.
상기 특징점들은 스파스하게(sparsely) 추출될 수 있다.
상기 기준 이미지 선택부는, 상기 2차원 이미지들 중 상기 추정된 카메라 자세가 상기 기준 이미지 세트에 포함된 기준 이미지에 대한 카메라 자세와 기 설정된 값 이상 차이가 나는 2차원 이미지를 상기 기준 이미지로 선택할 수 있다.
본 발명의 일 실시예에 따른 3차원 공간 재구성 방법은, 카메라로부터 3차원 공간을 연속적으로 촬영한 2차원 이미지들을 입력받는 단계, 상기 2차원 이미지들로부터 특징점들을 추출하는 단계, 상기 추출된 특징점들을 이용하여, 상기 3차원 공간에 대한 3차원 점군 데이터(3-D point cloud) 생성하고, 상기 2차원 이미지들에 대한 카메라 자세를 추정하는 단계, 상기 카메라 자세에 기초하여 상기 2차원 이미지들 중 적어도 하나를 기준 이미지로 선택하고, 상기 기준 이미지와 상기 기준 이미지에 대한 카메라 자세를 포함하는 기준 이미지 세트를 생성하는 단계, 상기 3차원 점군 데이터에 포함된 각 점(point)을 정점(vertex)으로 하는 폴리곤 메시(polygon mesh)를 생성하는 단계 및 가상 카메라의 자세와 상기 기준 이미지 세트에 포함된 기준 이미지에 대한 카메라 자세에 기초하여, 가상 3차원 공간에서 상기 가상 카메라를 이용하여 바라본 상기 폴리곤 메시의 표면에 상기 기준 이미지를 텍스처로 맵핑하는 단계를 포함한다.
상기 맵핑하는 단계는, 상기 가상 카메라의 자세가 변경되는 경우, 변경된 자세에 따라 맵핑되는 기준 이미지를 동적으로 변경할 수 있다.
상기 맵핑하는 단계는, 상기 기준 이미지에 대한 카메라 자세가 가상 카메라의 자세와 동일하거나 가장 근접한 기준 이미지를 상기 텍스처로 맵핑할 수 있다.
상기 특징점들은 스파스하게(sparsely) 추출될 수 있다.
상기 기준 이미지 세트를 생성하는 단계는, 상기 2차원 이미지들 중 상기 추정된 카메라 자세가 상기 기준 이미지 세트에 포함된 기준 이미지에 대한 카메라 자세와 기 설정된 값 이상 차이가 나는 2차원 이미지를 상기 기준 이미지로 선택할 수 있다.
본 발명의 일 실시예에 따른 장치는, 3차원 공간에 대한 2차원 이미지들을 생성하는 카메라, 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램은, 상기 2차원 이미지들로부터 특징점들을 추출하는 과정, 상기 추출된 특징점들을 이용하여, 상기 3차원 공간에 대한 3차원 점군 데이터(3-D point cloud) 생성하고, 상기 2차원 이미지들에 대한 카메라 자세를 추정하는 과정, 상기 카메라 자세에 기초하여 상기 2차원 이미지들 중 적어도 하나를 기준 이미지로 선택하고, 상기 기준 이미지와 상기 기준 이미지에 대한 카메라 자세를 포함하는 기준 이미지 세트를 생성하는 과정, 상기 3차원 점군 데이터에 포함된 각 점(point)을 정점(vertex)으로 하는 폴리곤 메시(polygon mesh)를 생성하는 과정 및 가상 카메라의 자세와 상기 기준 이미지 세트에 포함된 기준 이미지에 대한 카메라 자세에 기초하여, 가상 3차원 공간에서 상기 가상 카메라를 이용하여 바라본 상기 폴리곤 메시의 표면에 상기 기준 이미지를 텍스처로 맵핑하는 과정을 수행하기 위한 명령들을 포함한다.
상기 맵핑하는 과정은, 상기 가상 카메라의 자세가 변경되는 경우, 변경된 자세에 따라 맵핑되는 기준 이미지를 동적으로 변경할 수 있다.
상기 맵핑하는 과정은, 상기 기준 이미지에 대한 카메라 자세가 가상 카메라의 자세와 동일하거나 가장 근접한 기준 이미지를 상기 텍스처로 맵핑할 수 있다.
상기 특징점들은 스파스하게(sparsely) 추출될 수 있다.
상기 기준 이미지 세트를 생성하는 과정은, 상기 2차원 이미지들 중 상기 추정된 카메라 자세가 상기 기준 이미지 세트에 포함된 기준 이미지에 대한 카메라 자세와 기 설정된 값 이상 차이가 나는 2차원 이미지를 상기 기준 이미지로 선택할 수 있다.
본 발명의 실시예들에 따르면, 실제 촬영된 2차원 이미지를 이용하여 3차원 공간을 재구성함으로써, 재구성된 공간을 정확하게 인식할 수 있도록 한다.
또한, 본 발명의 실시예들에 따르면, 2차원 이미지로부터 스파스하게 추출된 특징점들을 이용하여 3차원 점군 데이터를 생성함으로써, 3차원 공간 재구성을 위해 요구되는 메모리 사용량 및 연산량을 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 공간 재구성 장치의 구성도
도 2는 2차원 이미지들로부터 추출되는 특징점들의 예를 나타낸 도면
도 3은 가상의 3차원 공간에서 가상 카메라를 이용하여 바라본 폴리곤 메시의 표면에 기준 이미지를 텍스처로 맵핑하여 3차원 공간을 재구성한 예를 나타낸 도면
도 4 및 도 5는 가상 카메라의 자세 변경에 따라 텍스처로 맵핑되는 기준 이미지를 변경하는 예를 설명하기 위한 도면
도 6은 본 발명의 일 실시예에 따른 3차원 공간 재구성 방법의 순서도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 3차원 공간 재구성 장치의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 3차원 공간 재구성 장치(100)는 카메라(110), 특징점 추출부(120), 점군 데이터 생성부(130), 자세 추정부(140), 기준 이미지 선택부(150), 저장부(160), 폴리곤 메시 생성부(170) 및 텍스처 맵핑부(180)를 포함한다.
3차원 공간 재구성 장치(100)는 3차원 공간에 대한 2차원 이미지를 이용하여 3차원 공간을 재구성하여, 증강 현실 컨텐츠를 저작(authoring)할 수 있도록 하기 위한 것이다. 3차원 공간 재구성 장치(100)는 예를 들어, 헤드 마운트 디스플레이(Head Mounted Display, HMD), 스마트 글래스(Smart Glass) 등과 같은 웨어러블 디바이스(Wearable Device), 스마트 폰, 패블릿(pablet), 태블릿 PC(tablet PC), PDA 등과 같은 모바일 디바이스와 같이 사용자가 착용 내지는 소지하여 이동할 수 있는 다양한 형태의 장치 내지는 해당 장치에 포함된 일 구성으로 구현될 수 있다.
카메라(110)는 실제 3차원 공간에 대한 2차원 이미지들을 생성한다. 이때, 2차원 이미지들은 예를 들어, 촬영 자세를 변경하면서 3차원 공간에 존재하는 3차원 객체를 연속적으로 촬영한 이미지들일 수 있다.
특징점 추출부(120)는 카메라(110)에 의해 생성된 2차원 이미지들로부터 특징점들을 추출한다. 이때, 특징점 추출을 위해 예를 들어, SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features), FAST(Features from Accelerated Segment Test), Harris-Coner Detector 등 공지된 다양한 방식의 알고리즘이 이용될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 2차원 이미지들로부터 추출되는 특징점들은 스파스하게(sparsely) 추출될 수 있다. 예를 들어, 특징점 추출부(120)는 각 2차원 이미지에서 코너 포인트(coner point)들을 특징점으로 추출할 수 있으며, 코너 포인트로 판단하기 위한 기준값을 높게 설정함으로써, 특징점들이 스파스하게 추출되도록 할 수 있다. 이때, 기준값은 메모리 용량 및 연산량을 고려하여 사용자에 의해 적절한 값으로 설정될 수 있다.
구체적으로, 도 2는 카메라(110)에 의해 촬영된 2차원 이미지들로부터 추출되는 특징점들의 예를 나타낸 도면이다. 도 2에서 (a) 내지 (f)는 카메라(110)의 자세를 변경하면서 자동차 엔진 룸을 연속적으로 촬영한 이미지들을 촬영 순서대로 나타낸 것이며, 보라색으로 표시된 포인트들은 각 이미지에서 추출된 특징점들을 나타낸다.
점군 데이터 생성부(130)는 특징점 추출부(120)에 의해 추출된 특징점들을 이용하여, 3차원 점군 데이터(3D point cloud)를 생성한다.
또한, 자세 추정부(140)는 특징점 추출부(120)에 의해 추출된 특징점들을 이용하여 카메라(110)에 의해 촬영된 2차원 이미지들에 대한 카메라 자세(pose)를 추정한다. 이때, 카메라 자세는 카메라의 촬영 위치 및 방향을 포함할 수 있다.
한편, 3차원 점군 데이터 생성 및 카메라 자세 추정은 예를 들어, PTAM(Parallel Tracking and Mapping) 등과 같은 비전 기반 SLAM(vision based Simultaneous localization And Mapping) 기술을 이용하여 수행될 수 있다.
기준 이미지 선택부(150)는 자세 추정부(140)에 의해 추정된 카메라 자세에 기초하여 카메라(110)에 의해 촬영된 2차원 이미지들 중 적어도 하나의 이미지를 기준 이미지로 선택하고, 선택된 기준 이미지 및 기준 이미지에 대한 카메라 자세를 포함하는 기준 이미지 세트를 생성한다.
예를 들어, 기준 이미지 선택부(150)는 카메라(110)에 의한 촬영이 시작된 경우, 초기 이미지를 기준 이미지로 선택하고, 초기 이미지와 초기 이미지에 대한 카메라 자세를 포함하는 기준 이미지 세트를 생성할 수 있다.
이후, 기준 이미지 선택부(150)는 카메라(110)에 의한 촬영이 종료될 때까지 카메라(110)에 의해 촬영된 현재 이미지에 대해 추정된 카메라 자세와 기준 이미지 세트에 포함된 기준 이미지에 대한 카메라 자세를 비교하여 기 설정된 값 이상 차이가 나는 경우, 현재 이미지와 현재 이미지에 대한 카메라 자세를 기준 이미지 세트에 추가할 수 있다.
저장부(160)는 점군 데이터 생성부(130)에 의해 생성된 3차원 점군 데이터 및 기준 이미지 선택부(150)에 의해 생성된 기준 이미지 세트를 저장한다.
폴리곤 메시 생성부(170)는 저장부(160)에 저장된 3차원 점군 데이터에 포함된 각 점(point)들을 정점(vertex)으로 하는 폴리곤 메시(polygon mesh)를 생성한다. 구체적으로, 폴리곤 메시 생성부(170)는 3차원 점군 데이터에 포함된 점들 중 인접한 점들을 연결하여, 다각형 형태의 폴리곤들로 구성된 폴리곤 메시를 생성할 수 있다.
텍스처 맵핑부(180)는 기준 이미지 세트에 포함된 기준 이미지를 폴리곤 메시의 표면에 텍스처로 맵핑할 수 있다. 구체적으로, 텍스처 맵핑부(180)는 가상 카메라의 자세와 기준 이미지 세트에 포함된 기준 이미지에 대한 카메라 자세에 기초하여, 가상의 3차원 공간에서 가상 카메라를 이용하여 바라본 폴리곤 메시 표면에 기준 이미지를 텍스처로 맵핑할 수 있다.
예를 들어, 텍스처 맵핑부(180)는 기준 이미지 세트에 포함된 기준 이미지 중 가상 카메라의 현재 자세에 대응되는 카메라 자세를 가지는 기준 이미지를 선택하고, 선택된 기준 이미지를 가상 카메라의 현재 자세에서 바라본 폴리곤 메시의 표면에 맵핑할 수 있다. 이때, 기준 이미지 세트에 포함된 기준 이미지 중 가상 카메라의 자세와 동일한 카메라 자세를 가지는 기준 이미지가 존재하는 경우, 해당 기준 이미지가 텍스처로 맵핑될 수 있다. 그러나, 기준 이미지 세트에 포함된 기준 이미지 중 가상 카메라의 자세와 동일한 카메라 자세를 가지는 기준 이미지가 존재하지 않는 경우, 가상 카메라의 자세와 가장 근접한 카메라 자세를 가지는 기준 이미지가 폴리곤 메시의 표면에 맵핑될 수 있다.
도 3은 가상의 3차원 공간에서 가상 카메라를 이용하여 바라본 폴리곤 메시의 표면에 기준 이미지를 텍스처로 맵핑하여 카메라(110)에 의해 촬영된 3차원 공간을 재구성한 예를 나타낸 도면이다. 도시된 예와 같이, 기준 이미지가 폴리곤 메시의 표면에 텍스처로 맵핑되어 3차원 공간이 재구성됨에 따라, 3차원 점구름을 구성하는 점들의 수가 작은 경우라도, 사용자가 대응되는 실제 3차원 공간을 명확하게 인식할 수 있게 된다. 따라서, 재구성된 3차원 공간을 이용하여 증강 현실 컨텐츠 저작 시 가상 객체를 정확한 위치에 배치할 수 있게 된다.
한편, 도 3에 도시된 예에서 텍스처로 맵핑된 기준 이미지를 유지한 채로 가상 카메라의 자세를 변경하는 경우, 도 4에 도시된 예와 같이 이미지의 뒤틀림(410)이 발생함을 확인할 수 있다. 이러한 이미지의 뒤틀림은 맵핑된 기준 이미지에 대한 카메라 자세와 가상 카메라의 자세 사이의 차이가 클수록 커지게 된다. 이러한 이미지의 뒤틀림을 없애기 위해서는 가상 카메라의 자세 변경에 따라 폴리곤 메시에 맵핑되는 기준 이미지를 변경할 필요가 있다.
따라서, 본 발명의 일 실시예에 따르면, 텍스처 맵핑부(180)는 가상 카메라의 자세 변경에 따라 폴리곤 메시에 맵핑되는 기준 이미지를 동적으로 변경할 수 있다. 구체적으로, 텍스처 맵핑부(180)는 기준 이미지 맵핑 후, 가상 카메라의 자세가 변경되는 경우, 기준 이미지 세트에 포함된 기준 이미지 중 변경된 가상 카메라의 자세와 일치하는 카메라 자세를 가지는 기준 이미지가 존재하는지 여부를 판단하고, 존재하는 경우, 해당 기준 이미지를 변경된 가상 카메라의 자세에서 바라본 폴리곤 메시의 표면에 맵핑할 수 있다. 이때, 일치하는 카메라 자세를 가지는 기준 이미지가 존재하지 않는 경우, 변경된 가상 카메라의 자세와 가장 근접한 카메라 자세를 가지는 기준 이미지가 폴리곤 메시의 표면에 맵핑되도록 할 수 있다.
구체적으로, 도 5는 도 4와 동일한 가상 카메라의 자세에서 텍스처로 맵핑되는 기준 이미지를 가상 카메라의 자세에 대응되는 기준 이미지로 변경한 예를 나타내는 예시도이다.
도 4 및 도 5를 참조하면, 도 5에 도시된 예에서는 도 4에 도시된 예와 달리 이미지의 뒤틀림이 사라진 것을 확인할 수 있다.
한편, 본 발명의 일 실시예에서, 특징점 추출부(120), 점군 데이터 생성부(130), 자세 추정부(140), 기준 이미지 선택부(150), 저장부(160), 폴리곤 메시 생성부(170) 및 텍스처 맵핑부(180)는 하나 이상의 프로세서 및 그 프로세서와 연결된 컴퓨터 판독 가능 기록 매체를 포함하는 컴퓨팅 장치 상에서 구현될 수 있다. 컴퓨터 판독 가능 기록 매체는 프로세서의 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다. 컴퓨팅 장치 내의 프로세서는 각 컴퓨팅 장치로 하여금 본 명세서에서 기술되는 예시적인 실시예에 따라 동작하도록 할 수 있다. 예를 들어, 프로세서는 컴퓨터 판독 가능 기록 매체에 저장된 명령어를 실행할 수 있고, 컴퓨터 판독 가능 기록 매체에 저장된 명령어는 프로세서에 의해 실행되는 경우 컴퓨팅 장치로 하여금 본 명세서에 기술되는 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
도 6은 본 발명의 일 실시예에 따른 3차원 공간 재구성 방법의 순서도이다.
도 6에 도시된 방법은 예를 들어, 도 1에 도시된 3차원 공간 재구성 장치 (100)에 의해 수행될 수 있다.
또한, 도 6에 도시된 순서도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다
도 6을 참조하면, 3차원 공간 재구성 장치(100)는 우선 카메라로부터 3차원 공간에 대한 2차원 이미지들을 입력 받는다(610). 이때, 카메라로부터 입력되는 2차원 이미지들은 예를 들어, 카메라의 자세를 변경하면서 3차원 공간에 존재하는 3차원 객체를 연속적으로 촬영한 2차원 이미지들일 수 있다.
이후, 3차원 공간 재구성 장치(100)는 카메라로부터 입력된 2차원 이미지들로부터 복수의 특징점을 추출한다(620).
이때, 특징점 추출을 위해 예를 들어, SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features), FAST(Features from Accelerated Segment Test), Harris-Coner Detector 등 공지된 다양한 방식의 알고리즘이 이용될 수 있다.
이후, 3차원 공간 재구성 장치(100)는 추출된 특징점들을 이용하여 3차원 공간에 대한 3차원 점군 데이터를 생성하고(630), 카메라로부터 입력되는 2차원 이미지들에 대한 카메라 자세를 추정한다(640).
한편, 3차원 점군 데이터 생성 및 카메라 자세 추정은 예를 들어, PTAM(Parallel Tracking and Mapping) 등과 같은 비전 기반 SLAM(vision based Simultaneous localization And Mapping) 기술을 이용하여 수행될 수 있다.
이후, 3차원 공간 재구성 장치(100)는 640 단계에서 추정된 카메라 자세에 기초하여 카메라로부터 입력되는 2차원 이미지들 중 적어도 하나를 기준 이미지로 선택하고, 선택된 기준 이미지와 기준 이미지에 대한 카메라 자세를 포함하는 기준 이미지 세트를 생성하여 저장한다(650).
이후, 3차원 공간 재구성 장치(100)는 3차원 점군 데이터에 포함된 각 점을 정점으로 하는 폴리곤 메시를 생성한다(660).
이후, 3차원 공간 재구성 장치(100)는 가상 카메라의 자세와 기준 이미지 세트에 포함된 기준 이미지에 대한 카메라 자세에 기초하여, 가상의 3차원 공간에서 가상 카메라를 이용하여 바라본 폴리곤 메시 표면에 기준 이미지를 텍스처로 맵핑한다(670).
예를 들어, 3차원 공간 재구성 장치(100)는 기준 이미지 세트에 포함된 기준 이미지 중 가상 카메라의 자세와 동일하거나 가장 근접한 카메라 자세를 가지는 기준 이미지를 텍스처로 맵핑될 수 있다.
또한, 3차원 공간 재구성 장치(100)는 가상 카메라의 자세가 변경된 경우, 변경된 자세에 따라 폴리곤 메시의 표면에 맵핑되는 기준 이미지를 동적으로 변경할 수 있다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 플로피 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 3차원 공간 재구성 장치
110: 카메라
120: 특징점 추출부
130: 점군 데이터 생성부
140: 자세 추정부
150: 기준 이미지 선택부
160: 저장부
170: 폴리곤 메시 생성부
180: 텍스처 맵핑부

Claims (15)

  1. 3차원 공간에 대한 2차원 이미지들을 생성하는 카메라;
    상기 2차원 이미지들로부터 특징점들을 추출하는 특징점 추출부;
    상기 추출된 특징점들을 이용하여, 상기 3차원 공간에 대한 3차원 점군 데이터(3-D point cloud) 생성하는 점군 데이터 생성부;
    상기 추출된 특징점들을 이용하여, 상기 2차원 이미지들에 대한 카메라 자세를 추정하는 자세 추정부;
    상기 카메라 자세에 기초하여 상기 2차원 이미지들 중 적어도 하나를 기준 이미지로 선택하고, 상기 기준 이미지와 상기 기준 이미지에 대한 카메라 자세를 포함하는 기준 이미지 세트를 생성하는 기준 이미지 선택부;
    상기 3차원 점군 데이터 및 상기 기준 이미지 세트를 저장하는 저장부;
    상기 3차원 점군 데이터에 포함된 점(point)들 중 인접한 점들을 연결하여, 각 점들을 정점(vertex)으로 하는 폴리곤 메시(polygon mesh)를 생성하는 폴리곤 메시 생성부; 및
    가상 카메라의 자세와 상기 기준 이미지 세트에 포함된 기준 이미지에 대한 카메라 자세에 기초하여, 가상 3차원 공간에서 상기 가상 카메라를 이용하여 바라본 상기 폴리곤 메시의 표면에 상기 기준 이미지를 텍스처로 맵핑하는 텍스처 맵핑부를 포함하고,
    상기 기준 이미지 선택부는, 상기 2차원 이미지들 중 상기 추정된 카메라 자세가 상기 기준 이미지 세트에 포함된 기준 이미지에 대한 카메라 자세와 기 설정된 값 이상 차이가 나는 2차원 이미지를 상기 기준 이미지로 선택하는 3차원 공간 재구성 장치.
  2. 청구항 1에 있어서,
    상기 텍스처 맵핑부는, 상기 가상 카메라의 자세가 변경되는 경우, 변경된 자세에 따라 맵핑되는 기준 이미지를 동적으로 변경하는 3차원 공간 재구성 장치.
  3. 청구항 1에 있어서,
    상기 텍스처 맵핑부는, 상기 기준 이미지에 대한 카메라 자세가 가상 카메라의 자세와 동일하거나 가장 근접한 기준 이미지를 상기 텍스처로 맵핑하는 3차원 공간 재구성 장치.
  4. 청구항 1에 있어서,
    상기 특징점들은 스파스하게(sparsely) 추출되는 3차원 공간 재구성 장치.
  5. 삭제
  6. 카메라로부터 3차원 공간을 연속적으로 촬영한 2차원 이미지들을 입력받는 단계;
    상기 2차원 이미지들로부터 특징점들을 추출하는 단계;
    상기 추출된 특징점들을 이용하여, 상기 3차원 공간에 대한 3차원 점군 데이터(3-D point cloud) 생성하고, 상기 2차원 이미지들에 대한 카메라 자세를 추정하는 단계;
    상기 카메라 자세에 기초하여 상기 2차원 이미지들 중 적어도 하나를 기준 이미지로 선택하고, 상기 기준 이미지와 상기 기준 이미지에 대한 카메라 자세를 포함하는 기준 이미지 세트를 생성하는 단계;
    상기 3차원 점군 데이터에 포함된 점(point)들 중 인접한 점들을 연결하여, 각 점들을 정점(vertex)으로 하는 폴리곤 메시(polygon mesh)를 생성하는 단계; 및
    가상 카메라의 자세와 상기 기준 이미지 세트에 포함된 기준 이미지에 대한 카메라 자세에 기초하여, 가상 3차원 공간에서 상기 가상 카메라를 이용하여 바라본 상기 폴리곤 메시의 표면에 상기 기준 이미지를 텍스처로 맵핑하는 단계를 포함하고,
    상기 기준 이미지 세트를 생성하는 단계는, 상기 2차원 이미지들 중 상기 추정된 카메라 자세가 상기 기준 이미지 세트에 포함된 기준 이미지에 대한 카메라 자세와 기 설정된 값 이상 차이가 나는 2차원 이미지를 상기 기준 이미지로 선택하는 3차원 공간 재구성 방법.
  7. 청구항 6에 있어서,
    상기 맵핑하는 단계는, 상기 가상 카메라의 자세가 변경되는 경우, 변경된 자세에 따라 맵핑되는 기준 이미지를 동적으로 변경하는 3차원 공간 재구성 방법.
  8. 청구항 6에 있어서,
    상기 맵핑하는 단계는, 상기 기준 이미지에 대한 카메라 자세가 가상 카메라의 자세와 동일하거나 가장 근접한 기준 이미지를 상기 텍스처로 맵핑하는 3차원 공간 재구성 방법.
  9. 청구항 6에 있어서,
    상기 특징점들은 스파스하게(sparsely) 추출되는 3차원 공간 재구성 방법.
  10. 삭제
  11. 3차원 공간에 대한 2차원 이미지들을 생성하는 카메라;
    하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하고,
    상기 하나 이상의 프로그램은,
    상기 2차원 이미지들로부터 특징점들을 추출하는 과정;
    상기 추출된 특징점들을 이용하여, 상기 3차원 공간에 대한 3차원 점군 데이터(3-D point cloud) 생성하고, 상기 2차원 이미지들에 대한 카메라 자세를 추정하는 과정;
    상기 카메라 자세에 기초하여 상기 2차원 이미지들 중 적어도 하나를 기준 이미지로 선택하고, 상기 기준 이미지와 상기 기준 이미지에 대한 카메라 자세를 포함하는 기준 이미지 세트를 생성하는 과정;
    상기 3차원 점군 데이터에 포함된 점(point)들 중 인접한 점들을 연결하여, 각 점들을 정점(vertex)으로 하는 폴리곤 메시(polygon mesh)를 생성하는 과정; 및
    가상 카메라의 자세와 상기 기준 이미지 세트에 포함된 기준 이미지에 대한 카메라 자세에 기초하여, 가상 3차원 공간에서 상기 가상 카메라를 이용하여 바라본 상기 폴리곤 메시의 표면에 상기 기준 이미지를 텍스처로 맵핑하는 과정을 수행하기 위한 명령들을 포함하고,
    상기 기준 이미지 세트를 생성하는 과정은, 상기 2차원 이미지들 중 상기 추정된 카메라 자세가 상기 기준 이미지 세트에 포함된 기준 이미지에 대한 카메라 자세와 기 설정된 값 이상 차이가 나는 2차원 이미지를 상기 기준 이미지로 선택하는 장치.
  12. 청구항 11에 있어서,
    상기 맵핑하는 과정은, 상기 가상 카메라의 자세가 변경되는 경우, 변경된 자세에 따라 맵핑되는 기준 이미지를 동적으로 변경하는 장치.
  13. 청구항 11에 있어서,
    상기 맵핑하는 과정은, 상기 기준 이미지에 대한 카메라 자세가 가상 카메라의 자세와 동일하거나 가장 근접한 기준 이미지를 상기 텍스처로 맵핑하는 장치.
  14. 청구항 11에 있어서,
    상기 특징점들은 스파스하게(sparsely) 추출되는 장치.
  15. 삭제
KR1020160140810A 2016-10-27 2016-10-27 3차원 공간 재구성 장치 및 방법 KR101851303B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160140810A KR101851303B1 (ko) 2016-10-27 2016-10-27 3차원 공간 재구성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160140810A KR101851303B1 (ko) 2016-10-27 2016-10-27 3차원 공간 재구성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101851303B1 true KR101851303B1 (ko) 2018-04-23

Family

ID=62089120

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160140810A KR101851303B1 (ko) 2016-10-27 2016-10-27 3차원 공간 재구성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101851303B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102158324B1 (ko) * 2019-05-07 2020-09-21 주식회사 맥스트 점군 정보 생성 장치 및 방법
KR20200122870A (ko) * 2019-04-19 2020-10-28 광운대학교 산학협력단 포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법
KR20210083745A (ko) * 2019-12-27 2021-07-07 주식회사 맥스트 점군 정보 생성 장치 및 방법
KR102350226B1 (ko) * 2021-03-30 2022-01-12 주식회사 맥스트 증강현실 컨텐츠 배치 장치 및 방법
WO2022045470A1 (ko) * 2020-08-25 2022-03-03 윤기식 가상의 그리드망을 통한 2차원 이미지의 3차원 모델링 생성 방법
WO2022050473A1 (ko) * 2020-09-01 2022-03-10 주식회사 맥스트 카메라 포즈 추정 장치 및 방법
WO2024034739A1 (ko) * 2022-08-09 2024-02-15 한국전자기술연구원 포인트 클라우드 기반 콘텐츠 스트리밍을 위한 영상 스트리밍 방법 및 장치

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157968A (ja) * 2002-04-18 2004-06-03 Canon Europa Nv ３次元コンピュータモデリング
WO2006084385A1 (en) 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
KR100751097B1 (ko) * 2006-04-04 2007-08-21 엠텍비젼 주식회사 가속도 센서를 이용한 파노라마 영상 촬상 장치
JP2008014940A (ja) 2006-06-08 2008-01-24 Fast:Kk 平面状被撮像物のカメラ計測のためのカメラキャリブレーション方法、および応用計測装置
CN101697233A (zh) 2009-10-16 2010-04-21 长春理工大学 一种基于结构光的三维物体表面重建方法
US20130100119A1 (en) 2011-10-25 2013-04-25 Microsoft Corporation Object refinement using many data sets
US20140160123A1 (en) 2012-12-12 2014-06-12 Microsoft Corporation Generation of a three-dimensional representation of a user
US20140249789A1 (en) 2013-03-04 2014-09-04 Jay White Virtual testing model for use in simulated aerodynamic testing
US20140285486A1 (en) 2013-03-20 2014-09-25 Siemens Product Lifecycle Management Software Inc. Image-based 3d panorama
US20140328519A1 (en) 2011-12-16 2014-11-06 Universitat Zu Lubeck Method and apparatus for estimating a pose
US20150009214A1 (en) 2013-07-08 2015-01-08 Vangogh Imaging, Inc. Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
US20150055085A1 (en) 2013-08-22 2015-02-26 Bespoke, Inc. Method and system to create products
WO2016030305A1 (en) * 2014-08-29 2016-03-03 Thomson Licensing Method and device for registering an image to a model
WO2016086266A1 (en) 2014-12-05 2016-06-09 Myfiziq Limited Imaging a body
JP2016156629A (ja) * 2015-02-23 2016-09-01 株式会社日立製作所 外界認識装置、方法および車両

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157968A (ja) * 2002-04-18 2004-06-03 Canon Europa Nv ３次元コンピュータモデリング
WO2006084385A1 (en) 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
KR100751097B1 (ko) * 2006-04-04 2007-08-21 엠텍비젼 주식회사 가속도 센서를 이용한 파노라마 영상 촬상 장치
JP2008014940A (ja) 2006-06-08 2008-01-24 Fast:Kk 平面状被撮像物のカメラ計測のためのカメラキャリブレーション方法、および応用計測装置
CN101697233A (zh) 2009-10-16 2010-04-21 长春理工大学 一种基于结构光的三维物体表面重建方法
US20130100119A1 (en) 2011-10-25 2013-04-25 Microsoft Corporation Object refinement using many data sets
US20140328519A1 (en) 2011-12-16 2014-11-06 Universitat Zu Lubeck Method and apparatus for estimating a pose
US20140160123A1 (en) 2012-12-12 2014-06-12 Microsoft Corporation Generation of a three-dimensional representation of a user
US20140249789A1 (en) 2013-03-04 2014-09-04 Jay White Virtual testing model for use in simulated aerodynamic testing
US20140285486A1 (en) 2013-03-20 2014-09-25 Siemens Product Lifecycle Management Software Inc. Image-based 3d panorama
US20150009214A1 (en) 2013-07-08 2015-01-08 Vangogh Imaging, Inc. Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
US20150055085A1 (en) 2013-08-22 2015-02-26 Bespoke, Inc. Method and system to create products
WO2016030305A1 (en) * 2014-08-29 2016-03-03 Thomson Licensing Method and device for registering an image to a model
WO2016086266A1 (en) 2014-12-05 2016-06-09 Myfiziq Limited Imaging a body
JP2016156629A (ja) * 2015-02-23 2016-09-01 株式会社日立製作所 外界認識装置、方法および車両

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200122870A (ko) * 2019-04-19 2020-10-28 광운대학교 산학협력단 포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법
KR102195762B1 (ko) * 2019-04-19 2020-12-29 광운대학교 산학협력단 포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법
KR102158324B1 (ko) * 2019-05-07 2020-09-21 주식회사 맥스트 점군 정보 생성 장치 및 방법
KR20210083745A (ko) * 2019-12-27 2021-07-07 주식회사 맥스트 점군 정보 생성 장치 및 방법
KR102399955B1 (ko) 2019-12-27 2022-05-20 주식회사 맥스트 점군 정보 생성 장치 및 방법
WO2022045470A1 (ko) * 2020-08-25 2022-03-03 윤기식 가상의 그리드망을 통한 2차원 이미지의 3차원 모델링 생성 방법
WO2022050473A1 (ko) * 2020-09-01 2022-03-10 주식회사 맥스트 카메라 포즈 추정 장치 및 방법
US11941845B2 (en) 2020-09-01 2024-03-26 Maxst Co., Ltd. Apparatus and method for estimating camera pose
KR102350226B1 (ko) * 2021-03-30 2022-01-12 주식회사 맥스트 증강현실 컨텐츠 배치 장치 및 방법
WO2024034739A1 (ko) * 2022-08-09 2024-02-15 한국전자기술연구원 포인트 클라우드 기반 콘텐츠 스트리밍을 위한 영상 스트리밍 방법 및 장치

Similar Documents

Publication Publication Date Title
KR101851303B1 (ko) 3차원 공간 재구성 장치 및 방법
US10977818B2 (en) Machine learning based model localization system
CN109671115B (zh) 使用深度值估计的图像处理方法和装置
KR102647351B1 (ko) 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
JP6050518B2 (ja) 実環境に仮想情報を表現する方法
EP1883052B1 (en) Generating images combining real and virtual images
US8487926B2 (en) Method and apparatus for generating 3D image using 2D photograph images
US10237531B2 (en) Discontinuity-aware reprojection
US20150243080A1 (en) Visual localisation
KR20170007102A (ko) 3차원 지도 생성 및 표시 장치 및 방법
US20130095920A1 (en) Generating free viewpoint video using stereo imaging
EP3338439A1 (en) Markerless multi-user multi-object augmented reality on mobile devices
US9361731B2 (en) Method and apparatus for displaying video on 3D map
JP2018091667A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
WO2016029939A1 (en) Method and system for determining at least one image feature in at least one image
CN107646109B (zh) 管理电子设备上的环境映射的特征数据
US10950056B2 (en) Apparatus and method for generating point cloud data
CN108028904B (zh) 移动设备上光场增强现实/虚拟现实的方法和系统
JP6017343B2 (ja) データベース生成装置、カメラ姿勢推定装置、データベース生成方法、カメラ姿勢推定方法、およびプログラム
CN107818596B (zh) 一种场景参数确定方法、装置及电子设备
KR101746648B1 (ko) 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법
US20200211275A1 (en) Information processing device, information processing method, and recording medium
Deepu et al. 3D Reconstruction from Single 2D Image
US11615574B2 (en) System and method for rendering 6 degree-of-freedom virtual reality
WO2021190655A1 (en) Method for merging multiple images and post-processing of panorama

Legal Events

Date Code Title Description
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant