KR20210083745A - 점군 정보 생성 장치 및 방법 - Google Patents

점군 정보 생성 장치 및 방법 Download PDF

Info

Publication number
KR20210083745A
KR20210083745A KR1020190176349A KR20190176349A KR20210083745A KR 20210083745 A KR20210083745 A KR 20210083745A KR 1020190176349 A KR1020190176349 A KR 1020190176349A KR 20190176349 A KR20190176349 A KR 20190176349A KR 20210083745 A KR20210083745 A KR 20210083745A
Authority
KR
South Korea
Prior art keywords
viewpoint
image
point cloud
generating
cloud information
Prior art date
Application number
KR1020190176349A
Other languages
English (en)
Other versions
KR102399955B1 (ko
Inventor
이형민
조규성
박재완
Original Assignee
주식회사 맥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 맥스트 filed Critical 주식회사 맥스트
Priority to KR1020190176349A priority Critical patent/KR102399955B1/ko
Priority to US16/806,137 priority patent/US11423609B2/en
Publication of KR20210083745A publication Critical patent/KR20210083745A/ko
Application granted granted Critical
Publication of KR102399955B1 publication Critical patent/KR102399955B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

점군(Point Cloud) 정보 생성 장치 및 방법이 개시된다. 일 실시예에 따른 점군 정보 생성 장치는, 3차원 공간에 대한 360도 이미지를 획득하는 360도 이미지 획득부, 상기 360도 이미지로부터 상기 3차원 공간에 대한 제1 점군 정보를 생성하는 점군 정보 생성부 및 상기 360도 이미지 내 기준 시점에 기초하여 상기 360도 이미지로부터 복수의 시점 방향 이미지를 생성하는 시점 방향 이미지 생성부를 포함하고, 상기 점군 정보 생성부는, 상기 복수의 시점 방향 이미지로부터 상기 3차원 공간에 대한 제2 점군 정보를 생성한다.

Description

점군 정보 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING POINT CLOUD}
개시되는 실시예들은 3차원 공간에 대한 점군(Point Cloud) 정보를 생성하는 기술과 관련된다.
일반적으로, 넓은 실내 공간이나 실외 공간과 같이 일정 크기 이상의 영역에 대하여 정밀한 3차원 복원을 하기 위한 방법으로 SFM(Structure from motion) 알고리즘이 이용된다. SFM 알고리즘은 이미지들의 특징점을 추출하는 과정, 이미지들 간의 특징점을 매칭하는 과정, 매칭된 특징점들을 삼각측량으로 계산하여 3차원 점(point)을 복원하는 과정을 가진다. 그리고, 각 과정에서의 세부적인 차이에 따라 다양한 방식의 SFM 알고리즘이 존재하게 된다. 또한, SFM 알고리즘은 주로 일상생활에서 가장 많이 사용하는 핀홀(Pinhole) 카메라에 의해 촬영된 이미지를 이용하지만, 필요에 따라 어안 렌즈(Fisheye lens)를 가지는 카메라에 의해 촬영된 이미지, 또는 360도 카메라에 의해 촬영된 이미지를 이용하기도 한다.
핀홀 카메라에 의해 촬영된 이미지들을 이용하여 SFM 알고리즘을 수행하는 경우, 안정적인 3차원 모델을 복원하기 위해 많은 양의 이미지가 필요하다. 이 경우, 밀도 높은 3차원 모델 복원이 가능하지만, SFM 알고리즘을 수행하는데 소요되는 시간이 상당히 길다. 또한, 이미지의 개수가 충분하지 않는 경우, 복원된 3차원 모델이 끊어지거나, 드리프트(drift) 에러와 같이 복원된 3차원 모델의 모양이 기하적으로 어긋나게 된다.
이러한 문제점을 해결하기 위해 360도 이미지를 이용하여 SFM 알고리즘을 수행하기도 한다. 360도 이미지는 핀홀 카메라에 의해 촬영된 이미지와 달리 촬영 영역 전체의 기하적인 모양을 하나의 이미지에 모두 담는다. 따라서, SFM 알고리즘을 수행하는데 있어서, 드리프트 에러가 날 확률이 현저히 떨어진다. 하지만, 360도 이미지는 상단 영역과 하단 영역의 왜곡이 심해 2차원 투영 이미지로 처리하는데 한계가 있다. 또한, 360도 이미지는 이미지에 포함된 정보에 비해 이미지의 해상도가 떨어져 밀도 높은 3차원 점군(Point Cloud)을 생성하기 어렵다.
한국등록특허 제10-1604037호 (2016.03.16. 공고)
개시되는 실시예들은 360도 이미지로부터 2단계의 점군 정보 생성 과정을 통해 3차원 복원을 수행하기 위한 점군 정보 생성 장치 및 방법을 제공하기 위한 것이다.
일 실시예에 따른 점군(Point Cloud) 정보 생성 장치는, 3차원 공간에 대한 360도 이미지를 획득하는 360도 이미지 획득부, 상기 360도 이미지로부터 상기 3차원 공간에 대한 제1 점군 정보를 생성하는 점군 정보 생성부 및 상기 360도 이미지 내 기준 시점에 기초하여 상기 360도 이미지로부터 복수의 시점 방향 이미지를 생성하는 시점 방향 이미지 생성부를 포함하고, 상기 점군 정보 생성부는, 상기 복수의 시점 방향 이미지로부터 상기 3차원 공간에 대한 제2 점군 정보를 생성한다.
상기 시점 방향 이미지는, 상기 360도 이미지 중 특정 시점에 대응되는 영역이 2차원 평면에 투영(projection)된 이미지일 수 있다.
상기 시점 방향 이미지 생성부는, 상기 기준 시점에 대응되는 시점 방향 이미지 및 상기 기준 시점을 기준으로 이동된 하나 이상의 시점 각각에 대응되는 시점 방향 이미지를 포함하는 복수의 시점 방향 이미지를 생성할 수 있다.
상기 시점 방향 이미지 생성부는, 기 설정된 이미지 해상도 및 시야(FoV: Field of View) 중 적어도 하나에 기초하여 상기 복수의 시점 방향 이미지를 생성할 수 있다.
상기 점군 정보 생성부는, 상기 복수의 시점 방향 이미지 각각에 대한 정보에 기초하여 상기 복수의 시점 방향 이미지 사이의 연관 관계를 산출하고, 상기 연관 관계에 기초하여 상기 제2 점군 정보를 생성할 수 있다.
상기 복수의 시점 방향 이미지 각각에 대한 정보는, 상기 복수의 시점 방향 이미지 각각의 위치 정보, 방향 정보 및 상기 복수의 시점 방향 이미지 각각에 대응되는 카메라 파라미터 중 적어도 하나를 포함할 수 있다.
상기 연관 관계는, 상기 복수의 시점 방향 이미지 각각에 대응되는 위치 사이의 거리 및 상기 복수의 시점 방향 이미지 각각의 시점 방향 사이의 각도 중 적어도 하나를 포함할 수 있다.
상기 점군 정보 생성 장치는, 상기 3차원 공간을 포함하는 지도에 상기 360도 이미지의 위치 정보를 매핑하는 매핑부를 더 포함할 수 있다.
상기 시점 방향 이미지 생성부는, 상기 지도의 좌표계를 기준으로 상기 복수의 시점 방향 이미지를 생성할 수 있다.
상기 점군 정보 생성부는, 상기 지도의 좌표계를 기준으로 상기 제2 점군 정보를 생성할 수 있다.
일 실시예에 따른 점군(Point Cloud) 정보 생성 방법은, 3차원 공간에 대한 360도 이미지를 획득하는 단계, 상기 360도 이미지로부터 상기 3차원 공간에 대한 제1 점군 정보를 생성하는 단계, 상기 360도 이미지 내 기준 시점에 기초하여 상기 360도 이미지로부터 복수의 시점 방향 이미지를 생성하는 단계 및 상기 복수의 시점 방향 이미지로부터 상기 3차원 공간에 대한 제2 점군 정보를 생성한다.
상기 시점 방향 이미지는, 상기 360도 이미지 중 특정 시점에 대응되는 영역이 2차원 평면에 투영(projection)된 이미지일 수 있다.
상기 시점 방향 이미지를 생성하는 단계는, 상기 기준 시점에 대응되는 시점 방향 이미지 및 상기 기준 시점을 기준으로 이동된 하나 이상의 시점 각각에 대응되는 시점 방향 이미지를 포함하는 복수의 시점 방향 이미지를 생성할 수 있다.
상기 시점 방향 이미지를 생성하는 단계는, 기 설정된 이미지 해상도 및 시야(FoV: Field of View) 중 적어도 하나에 기초하여 상기 복수의 시점 방향 이미지를 생성할 수 있다.
상기 제2 점군 정보를 생성하는 단계는, 상기 복수의 시점 방향 이미지 각각에 대한 정보에 기초하여 상기 복수의 시점 방향 이미지 사이의 연관 관계를 산출하는 단계 및 상기 연관 관계에 기초하여 상기 제2 점군 정보를 생성하는 단계를 포함할 수 있다.
상기 복수의 시점 방향 이미지 각각에 대한 정보는, 상기 복수의 시점 방향 이미지 각각의 위치 정보, 방향 정보 및 상기 복수의 시점 방향 이미지 각각에 대응되는 카메라 파라미터 중 적어도 하나를 포함할 수 있다.
상기 연관 관계는, 상기 복수의 시점 방향 이미지 각각에 대응되는 위치 사이의 거리 및 상기 복수의 시점 방향 이미지 각각의 시점 방향 사이의 각도 중 적어도 하나를 포함할 수 있다.
상기 점군 정보 생성 방법은, 상기 제1 점군 정보를 생성하는 단계 이후에, 상기 3차원 공간을 포함하는 지도에 상기 360도 이미지의 위치 정보를 매핑하는 단계를 더 포함할 수 있다.
상기 시점 방향 이미지를 생성하는 단계는, 상기 지도의 좌표계를 기준으로 상기 복수의 시점 방향 이미지를 생성할 수 있다.
상기 제2 점군 정보를 생성하는 단계는, 상기 지도의 좌표계를 기준으로 상기 제2 점군 정보를 생성할 수 있다.
개시되는 실시예들에 따르면, 3차원 공간에 대한 360도 이미지 및 360도 이미지로부터 생성된 시점 방향 이미지를 이용하여 3차원 공간에 대한 점군 정보를 생성함으로써, 3차원 공간에 대한 점군 정보를 생성하는데 소요되는 시간을 줄일 수 있고, 안정적이고 밀도 높은 점군 정보를 생성할 수 잇다.
도 1은 일 실시예에 따른 점군 정보 생성 장치의 구성도
도 2는 일 실시예에 따른 360도 이미지의 예시도
도 3은 일 실시예에 따른 기준 시점의 예시도
도 4는 일 실시예에 따른 기준 시점에 대응되는 시점 방향 이미지의 예시도
도 5는 일 실시예에 따른 기준 시점을 기준으로 이동된 하나 이상의 시점 각각에 대한 시점 방향 이미지의 예시도
도 6은 일 실시예에 따른 시야에 기초하여 생성된 시점 방향 이미지의 예시도
도 7은 추가적 실시예에 따른 점군 정보 생성 장치의 구성도
도 8은 일 실시예에 따른 지도에 매핑하는 예를 설명하기 위한 도면
도 9는 일 실시예에 따른 점군 정보 생성 방법의 순서도
도 10은 일 실시예에 따른 제2 점군 정보를 생성하는 방법의 순서도
도 11은 추가적 실시예에 따른 점군 정보 생성 방법의 순서도
도 12는 일 실시예에 따른 복수의 3차원 공간에 대한 1차 점군 정보의 예시도
도 13은 일 실시예에 따른 복수의 3차원 공간에 대한 1차 점군 정보 및 2차 점군 정보의 예시도
도 14는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 이에 제한되지 않는다.
실시예들을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 또한, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 일 실시예에 따른 점군(Point Cloud) 정보 생성 장치(100)의 구성도이다.
도 1을 참조하면, 점군 정보 생성 장치(100)는 360도 이미지 획득부(110), 점군 정보 생성부(130) 및 시점 방향 이미지 생성부(150)를 포함한다.
일 실시예에서, 360도 이미지 획득부(110), 점군 정보 생성부(130) 및 시점 방향 이미지 생성부(150)는 물리적으로 구분된 하나 이상의 장치를 이용하여 구현되거나, 하나 이상의 프로세서 또는 하나 이상의 프로세서 및 소프트웨어의 결합에 의해 구현될 수 있으며, 도시된 예와 달리 구체적 동작에 있어 명확히 구분되지 않을 수 있다.
이미지 획득부(110)는 3차원 공간에 대한 360도 이미지를 획득한다.
이때, 3차원 공간은 하나 이상의 3차원 객체로 이루어진 공간일 수 있다. 예를 들어, 3차원 공간은 길가, 공원 등과 같은 실외 공간뿐만 아니라, 아파트 내부, 빌딩 내부 등과 같은 실내 공간 등을 포함할 수 있다.
360도 이미지는 수평 방향을 기준으로 3차원 공간을 360도 전 방향으로 촬영한 이미지일 수 있다.
예를 들어, 도 2에 도시된 바와 같이 360도 이미지는 파노라마 형태의 이미지일 수 있다. 이때, 360도 이미지는 구형 파노라마 이미지 또는 원통형 파노라마 이미지일 수 있으나, 반드시 이에 한정되는 것은 아니고, 실시예에 따라 다양한 형태의 이미지일 수 있다.
한편, 360도 이미지는 360도 카메라에 의해 촬영된 이미지이거나, 하나 이상의 카메라에 의해 촬영된 3차원 공간에 대한 복수의 이미지가 결합된 것일 수 있다. 다만, 상술한 360도 이미지 생성 방식은 일 예시에 불과하며, 360도 이미지는 다양한 방식을 통해 생성된 것일 수 있다.
또한, 이미지 획득부(110)는 복수의 3차원 공간 각각에 대한 360도 이미지를 획득할 수 있다.
점군 정보 생성부(130)는 360도 이미지로부터 3차원 공간에 대한 제1 점군 정보를 생성한다.
일 실시예에서, 점군 정보 생성부(130)는 SFM(Structure from Motion) 알고리즘을 이용하여 제1 점군 정보를 생성할 수 있다.
이때, 제1 점군 정보는 360도 이미지로부터 생성된 점군들에 대한 위치 정보 등을 포함할 수 있다.
또한, 점군 정보 생성부(130)는 SFM 알고리즘을 이용하여 360도 이미지에 대한 위치 정보를 생성할 수 있다.
이때, 360도 이미지에 대한 위치 정보는 임의의 좌표계 상에서 360도 이미지가 촬영된 위치를 나타낸 정보일 수 있다.
시점 방향 이미지 생성부(150)는 360도 이미지 내 기준 시점에 기초하여 360도 이미지로부터 복수의 시점 방향 이미지를 생성한다.
이때, 기준 시점은 360도 이미지 내에서 시점 방향 이미지를 생성하기 위해 기준이 되는 시점일 수 있다.
예를 들어, 도 3에 도시된 바와 같이 사용자는 다양한 방식을 통해 360도 이미지 내에서 기준 시점을 설정할 수 있다.
도 3을 참조하면, 360도 이미지의 정중앙(310)이 기준 시점으로 설정될 수 있다. 다른 실시예에 따르면, 360도 이미지 내에서 360도 이미지를 촬영한 사람의 동선 방향(320)이 기준 시점으로 설정될 수 있다. 또한, 다른 실시예에 따르면, 360도 이미지 내에서 실제 3차원 공간의 방위를 기준으로 북쪽 방향(330)이 기준 시점으로 설정될 수 있다.
다만, 도 3에 도시된 기준 시점은 일 예시에 불과하며, 기준 시점은 사용자의 설정에 따라 다양한 기준으로 설정될 수 있다.
한편, 시점 방향 이미지는 360도 이미지 중 특정 시점에 대응되는 영역이 2차원 평면에 투영(projection)된 이미지일 수 있다.
예를 들어, 시점 방향 이미지 생성부(150)는 360도 이미지 상에서의 좌표계와 평면 이미지 상에서의 좌표계 사이의 관계를 고려하여 시점 방향 이미지를 생성할 수 있다.
이에 따라, 360도 이미지로부터 시점 방향 이미지를 생성함으로써, 360도 이미지에서 특정 시점에 대응되는 영역에 대하여 왜곡이 보정된 평면 이미지를 생성할 수 있다.
한편, 상술한 시점 방향 이미지 생성 방식은 일 예시에 불과하며, 실시예에 따라 시점 방향 이미지 생성 방식은 다양할 수 있다.
일 실시예에서, 시점 방향 이미지 생성부(150)는 기준 시점에 대응되는 시점 방향 이미지 및 기준 시점을 기준으로 이동된 하나 이상의 시점 각각에 대응되는 시점 방향 이미지를 포함하는 복수의 시점 방향 이미지를 생성할 수 있다.
예를 들어, 시점 방향 이미지 생성부(150)는 360도 이미지로부터 기준 시점에 대응되는 시점 방향 이미지를 생성할 수 있다. 이때, 기준 시점에 대응되는 시점 방향 이미지는 360도 이미지 중 기준 시점에 대응되는 영역이 2차원 평면에 투영된 이미지일 수 있다.
예를 들어, 360도 이미지의 정중앙(310)이 기준 시점으로 설정된 경우, 기준 시점에 대응되는 시점 방향 이미지는 도 4(a)에 도시된 이미지와 같이 생성될 수 있다.
다른 예로, 360도 이미지를 촬영한 사람의 동선 방향(320)이 기준 시점으로 설정된 경우, 기준 시점에 대응되는 시점 방향 이미지는 도 4(b)에 도시된 이미지와 같이 생성될 수 있다.
또 다른 예로, 실제 3차원 공간의 방위를 기준으로 북쪽 방향(330)이 기준 시점으로 설정된 경우, 기준 시점에 대응되는 시점 방향 이미지는 도 4(c)에 도시된 이미지와 같이 생성될 수 있다.
또한, 시점 방향 이미지 생성부(150)는 360도 이미지로부터 기준 시점을 기준으로 이동된 하나 이상의 시점 각각에 대응되는 시점 방향 이미지를 생성할 수 있다. 이때, 하나 이상의 시점은 기준 시점을 기준으로 일정한 간격에 따라 상하 또는 좌우로 이동된 시점일 수 있다.
예를 들어, 기준 시점에 대응되는 시점 방향 이미지가 도 5(a)에 도시된 이미지인 것으로 가정하면, 360도 이미지 내에서 기준 시점을 기준으로 오른쪽으로 이동된 시점에 대응되는 시점 방향 이미지는 도 5(b)에 도시된 이미지와 같이 생성될 수 있다. 또한, 360도 이미지 내에서 기준 시점을 기준으로 위쪽으로 이동된 시점에 대응되는 시점 방향 이미지는 도 5(c)에 도시된 이미지와 같이 생성될 수 있다.
한편, 상술한 예에서는 기준 시점을 기준으로 오른쪽 또는 위쪽으로 이동된 시점에 대응되는 시점 방향 이미지를 설명하였으나, 반드시 이에 한정되는 것은 아니다.
예를 들어, 기준 시점을 기준으로 이동된 하나 이상의 시점은 이동 방향 및 이동 간격에 따라 다양할 수 있다. 이에 따라, 기준 시점을 기준으로 이동된 하나 이상의 시점 각각에 대응되는 시점 방향 이미지도 다양할 수 있다.
구체적으로, 시점 방향 이미지 생성부(150)는 기준 시점 및 기준 시점을 기준으로 45도, 90도, 135도, 180도, 235도, 270도 및 315도만큼 이동된 복수의 시점 각각에 대응되는 시점 방향 이미지를 생성할 수 있다. 또한, 시점 방향 이미지 생성부(150)는 기준 시점을 기준으로 위쪽으로 이동된 시점 및 위쪽으로 이동된 시점을 기준으로 45도, 90도, 135도, 180도, 235도, 270도 및 315도만큼 이동된 복수의 시점 각각에 대응되는 시점 방향 이미지를 생성할 수 있다. 이 경우, 하나의 360도 이미지로부터 16개의 시점 방향 이미지가 생성될 수 있다.
다만, 상술한 예는 일 예시에 불과하며, 상술한 바와 같이 하나 이상의 시점을 설정하는 방식 및 시점 방향 이미지 생성 방식은 다양할 수 있다.
또한, 일 실시예에서, 시점 방향 이미지 생성부(130)는 기 설정된 이미지 해상도 및 시야(FoV: Field of View) 중 적어도 하나에 기초하여 복수의 시점 방향 이미지를 생성할 수 있다.
예를 들어, 사용자는 생성될 시점 방향 이미지의 해상도를 설정할 수 있다. 이 경우, 시점 방향 이미지 생성부(130)는 사용자에 의해 설정된 해상도를 가지는 시점 방향 이미지를 생성할 수 있다.
또한, 사용자는 생성될 시점 방향 이미지의 시야를 설정할 수 있다.
예를 들어, 도 6(a)에 도시된 바와 같이 사용자가 생성될 시점 방향 이미지의 시야를 60도로 설정하는 경우, 시점 방향 이미지는 60도의 시야를 가지는 이미지로 생성될 수 있다.
다른 예로, 도 6(b)에 도시된 바와 같이 사용자가 생성될 시점 방향 이미지의 시야를 90도로 설정하는 경우, 시점 방향 이미지는 90도의 시야를 가지는 이미지로 생성될 수 있다.
한편, 상술한 예에서는 시점 방향 이미지의 시야가 60도 또는 90도인 것으로 설명하였으나, 반드시 이에 한정되는 것은 아니고, 시점 방향 이미지의 시야는 설정에 따라 다양할 수 있다.
또한, 360도 이미지 획득부(110)에서 복수의 3차원 공간 각각에 대한 360도 이미지를 획득한 경우, 시점 방향 이미지 생성부(150)는 복수의 360도 이미지 각각으로부터 복수의 시점 방향 이미지를 생성할 수 있다. 이때, 시점 방향 이미지 생성부(110)는 복수의 360도 이미지 각각에 대한 기준 시점에 기초하여 복수의 시점 방향 이미지를 생성할 수 있다.
한편, 점군 정보 생성부(130)는 복수의 시점 방향 이미지로부터 3차원 공간에 대한 제2 점군 정보를 생성한다.
일 실시예에서, 점군 정보 생성부(130)는 SFM 알고리즘을 이용하여 제2 점군 정보를 생성할 수 있다.
이때, 제2 점군 정보는 복수의 시점 방향 이미지로부터 생성된 점군들에 대한 위치 정보 등을 포함할 수 있다.
따라서, 점군 정보 생성부(130)는 3차원 공간에 대한 360도 이미지로부터 3차원 공간에 대한 제1 점군 정보를 생성하고, 360도 이미지로부터 생성된 복수의 시점 방향 이미지로부터 제2 점군 정보를 생성함으로써, 2단계에 걸쳐 점군 정보를 생성할 수 있다. 이에 따라, 점군 정보 생성부(130)는 3차원 공간에 대한 안정적이고 밀도 높은 점군 정보를 생성할 수 있다.
일 실시예에서, 점군 정보 생성부(130)는 복수의 시점 방향 이미지 각각에 대한 정보에 기초하여 복수의 시점 방향 이미지 사이의 연관 관계를 산출하고, 산출된 연관 관계에 기초하여 제2 점군 정보를 생성할 수 있다.
이때, 복수의 시점 방향 이미지 각각에 대한 정보는 복수의 시점 방향 이미지 각각의 위치 정보, 방향 정보, 복수의 시점 방향 이미지 각각에 대응되는 카메라 파라미터 등과 같이 시점 방향 이미지와 관련된 다양한 정보를 포함할 수 있다.
구체적으로, 점군 정보 생성부(130)는 제1 점군 정보를 생성하기 위해 360도 이미지에 SFM 알고리즘을 적용하는 경우, 360도 이미지의 위치 정보도 함께 생성할 수 있다. 또한, 복수의 시점 방향 이미지는 설정에 따라 서로 상이한 시점, 시야 등에 기초하여 생성되거나, 서로 상이한 360도 이미지로부터 생성된 것일 수 있다. 따라서, 점군 정보 생성부(130)는 시점 방향 이미지가 포함된 360도 이미지의 위치 정보, 시점 방향 이미지 생성 시 기준 시점 및 시야 등에 기초하여 복수의 시점 방향 이미지 각각에 대한 정보를 생성할 수 있다.
또한, 복수의 시점 방향 이미지 사이의 연관 관계는 복수의 시점 방향 이미지가 서로 연관성이 있는지 여부를 판단하기 위한 정보일 수 있다.
예를 들어, 복수의 시점 방향 이미지 사이의 연관 관계는 복수의 시점 방향 이미지 각각에 대응되는 위치 사이의 거리, 복수의 시점 방향 이미지 각각의 시점 방향 사이의 각도 등을 포함할 수 있다.
구체적으로, 점군 정보 생성부(130)는 복수의 시점 방향 이미지 각각에 대한 정보에 기초하여 복수의 시점 방향 이미지 중 서로 연관성이 있는 시점 방향 이미지들을 결정하고, 서로 연관성이 시점 방향 이미지들 사이에 SFM 알고리즘을 적용하여 제2 점군 정보를 생성할 수 있다.
예를 들어, 복수의 시점 방향 이미지 중 제1 시점 방향 이미지 및 제2 시점 방향 이미지 사이의 거리, 제1 시점 방향 이미지 및 제2 시점 방향 이미지 각각의 시점 방향 등에 따라 제1 시점 방향 이미지 및 제2 시점 방향 이미지는 서로 겹치는 영역을 포함할 수 있다.
이때, 제1 시점 방향 이미지 및 제2 시점 방향 이미지에 포함된 겹치는 영역의 크기가 큰 경우, 점군 정보 생성부(130)는 제1 시점 방향 이미지 및 제2 시점 방향 이미지를 서로 연관성이 있는 이미지로 결정하여 제1 시점 방향 이미지 및 제2 시점 방향 이미지 사이에 SFM 알고리즘을 적용할 수 있다.
이와 달리. 제1 시점 방향 이미지 및 제2 시점 방향 이미지에 포함된 겹치는 영역의 크기가 작거나 겹치는 영역이 존재하지 않는 경우, 점군 정보 생성부(130)는 제1 시점 방향 이미지 및 제2 시점 방향 이미지를 서로 연관성이 없는 이미지로 결정하여 SFM 알고리즘을 수행하지 않을 수 있다.
이에 따라, 점군 정보 생성부(130)는 서로 연관성이 있는 시점 방향 이미지들 간에 SFM 알고리즘을 적용함으로써, SFM 알고리즘을 수행하는데 소요되는 시간을 단축시킬 수 있다.
도 7은 추가적 실시예에 따른 점군 정보 생성 장치(700)의 구성도이다.
도 7을 참조하면, 점군 정보 생성 장치(700)는 매핑부(710)를 더 포함한다. 도 7에 도시된 예에서, 360도 이미지 획득부(110), 점군 정보 생성부(130) 및 시점 방향 이미지 생성부(150)는 도 1에 도시된 구성과 동일한 구성이므로 이에 대한 중복적인 설명은 생략한다.
매핑부(710)는 3차원 공간을 포함하는 지도에 360도 이미지의 위치 정보를 매핑할 수 있다.
구체적으로, 지도는 실제 세계(real world)를 나타내는 지도로서, 위도와 경도를 포함하는 좌표계가 적용될 수 있다.
예를 들어, 3차원 공간이 '서울시 서초구 강남대로 51길'인 것으로 가정하면, 매핑부(710)는 지도에 '서울시 서초구 강남대로 51길'에서 촬영된 360도 이미지의 위치 정보를 매핑할 수 있다. 또한, 복수의 360도 이미지가 존재하는 경우, 매핑부(710)는 복수의 360도 이미지 각각의 위치 정보를 지도에 매핑할 수 있다.
일 실시예에서, 시점 방향 이미지 생성부(150)는 지도의 좌표계를 기준으로 복수의 시점 방향 이미지를 생성할 수 있다.
구체적으로, 지도의 좌표계를 기준으로 기준 시점이 설정될 수 있다.
예를 들어, 지도에서 기준이 되는 지점을 설정하는 경우, 360도 이미지가 촬영된 위치에서 기준이 되는 지점을 향하는 방향이 기준 시점으로 설정될 수 있다.
이 경우, 시점 방향 이미지 생성부(150)는 설정된 기준 시점을 기준으로 복수의 시점 방향 이미지를 생성할 수 있다. 이때, 시점 방향 이미지 생성 방식은 상술한 도 1에서 설명된 시점 방향 이미지 생성 방식과 동일한 방식이 그대로 적용될 수 있다.
한편, 상술한 예에서는 지도의 좌표계를 기준으로 기준 시점을 설정하는 것을 예시하였으나, 상술한 예 이외에 지도의 좌표계를 기준으로 복수의 시점 방향 이미지를 생성하는데 있어서 다양한 방식이 적용될 수 있다.
또한, 일 실시예에서, 점군 정보 생성부(150)는 지도의 좌표계를 기준으로 제2 점군 정보를 생성할 수 있다.
예를 들어, 점군 정보 생성부(150)는 지도의 좌표계를 기준으로 복수의 시점 방향 이미지 각각에 대한 위치 정보, 방향 정보, 카메라 파라미터 등을 생성할 수 있다. 또한, 점군 정보 생성부(150)는 복수의 시점 방향 이미지 각각에 대한 정보에 기초하여 지도의 좌표계를 기준으로 복수의 시점 방향 이미지 사이의 연관 관계를 산출하고, 산출된 연관 관계에 기초하여 제2 점군 정보를 생성할 수 있다.
이때, 제2 점군 정보 생성 방식은 상술한 도 1에서 설명된 제2 점군 정보 생성 방식과 동일한 방식이 그대로 적용될 수 있다.
한편, 상술한 예에서는 지도의 좌표계를 기준으로 복수의 시점 방향 이미지 각각에 대한 정보를 생성하는 예, 복수의 시점 방향 이미지 사이의 연관 관계를 산출하는 예 및 제2 점군 정보 생성하는 예를 설명하였으나, 상술한 예 이외에 지도의 좌표계를 기준으로 제2 점군 정보를 생성하는데 있어서 다양한 방식이 적용될 수 있다.
도 8은 일 실시예에서 지도에 매핑하는 예를 설명하기 위한 도면이다.
구체적으로, 도 8(a)는 복수의 3차원 공간을 포함하는 전체 경로에서 360도 카메라에 의해 촬영된 복수의 360도 이미지의 위치 정보가 매핑된 지도를 나타낸 것이다.
또한, 도 8(b)는 전체 경로 중 일부 경로에서 360도 카메라에 의해 촬영된 복수의 360도 이미지의 위치 정보가 매핑된 지도를 나타낸 것이다.
이때, 지도에 표시된 각 점들은 복수의 360도 이미지의 위치 정보가 매핑된 것을 표시한 것이다.
도 9는 일 실시예에 따른 점군 정보 생성 방법의 순서도이다.
도 9에 도시된 방법은 예를 들어, 도 1에 도시된 점군 정보 생성 장치(100)에 의해 수행될 수 있다.
도 9를 참조하면, 점군 정보 생성 장치(100)는 3차원 공간에 대한 360도 이미지를 획득한다(910).
이후, 점군 정보 생성 장치(100)는 360도 이미지로부터 3차원 공간에 대한 제1 점군 정보를 생성한다(920).
이후, 점군 정보 생성 장치(100)는 360도 이미지 내 기준 시점에 기초하여 360도 이미지로부터 복수의 시점 방향 이미지를 생성한다(930).
이때, 점군 정보 생성 장치(100)는 기준 시점에 대응되는 시점 방향 이미지 및 기준 시점을 기준으로 이동된 하나 이상의 시점 각각에 대응되는 시점 방향 이미지를 포함하는 복수의 시점 방향 이미지를 생성할 수 있다.
또한, 점군 정보 생성 장치(100)는 기 설정된 이미지 해상도 및 시야 중 적어도 하나에 기초하여 복수의 시점 방향 이미지를 생성할 수 있다.
이후, 점군 정보 생성 장치(100)는 복수의 시점 방향 이미지로부터 3차원 공간에 대한 제2 점군 정보를 생성한다(940).
도 10은 일 실시예에 따른 제2 점군 정보를 생성하는 방법의 순서도이다.
도 10에 도시된 방법은 예를 들어, 도 1에 도시된 점군 정보 생성 장치(100)에 의해 수행될 수 있다.
도 10을 참조하면, 점군 정보 생성 장치(100)는 복수의 시점 방향 이미지 각각에 대한 정보에 기초하여 복수의 시점 방향 이미지 사이의 연관 관계를 산출할 수 있다(1010).
이후, 점군 정보 생성 장치(100)는 연관 관계에 기초하여 제2 점군 정보를 생성할 수 있다(1020).
도 11은 추가적 실시예에 따른 점군 정보 생성 방법의 순서도이다.
도 11에 도시된 방법은 예를 들어, 도 7에 도시된 점군 정보 생성 장치(700)에 의해 수행될 수 있다.
도 11에 도시된 예에서, 1110 단계, 1120 단계, 1140 단계 및 1150 단계는 도 9에 도시된 910 단계 내지 940 단계와 동일하므로 이에 대한 중복적인 설명은 생략한다.
도 11을 참조하면, 점군 정보 생성 장치(700)는 3차원 공간을 포함하는 지도에 360도 이미지의 위치 정보를 매핑할 수 있다(1130).
이후, 점군 정보 생성 장치(700)는 지도의 좌표계를 기준으로 복수의 시점 방향 이미지를 생성할 수 있다(1140).
이후, 점군 정보 생성 장치(700)는 지도의 좌표계를 기준으로 제2 점군 정보를 생성할 수 있다(1150).
한편, 도 9 내지 11에 도시된 순서도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 12는 일 실시예에 따른 복수의 3차원 공간에 대한 제1 점군 정보의 예시도이다. 또한, 도 13은 일 실시예에 따른 복수의 3차원 공간에 대한 제1 점군 정보 및 제2 점군 정보의 예시도이다.
구체적으로, 도 12는 복수의 3차원 공간 각각에 대한 360도 이미지로부터 제1 점군 정보를 생성한 예를 나타낸 도면이다. 또한, 도 13은 복수의 3차원 공간 각각에 대한 360도 이미지로부터 제1 점군 정보를 생성하고, 복수의 360도 이미지 각각으로부터 생성된 복수의 시점 방향 이미지로부터 제2 점군 정보를 생성한 예를 나타낸 도면이다.
도 12와 도 13을 비교하였을 때, 도 12에 도시된 제1 점군 정보보다 도 13에 도시된 제1 점군 정보 및 제2 점군 정보의 밀도가 더 높은 것을 확인할 수 있다.
즉, 360도 이미지만을 이용하여 3차원 공간에 대한 점군 정보를 생성하는 것보다 360도 이미지와 복수의 시점 방향 이미지를 이용하여 3차원 공간에 대한 점군 정보를 생성하는 것이 더 밀도 높은 점군 정보를 생성할 수 있다는 것을 확인할 수 있다.
도 14는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 예를 들어, 도 1 또는 도 7에 도시된 점군 정보 생성 장치(100, 700)에 포함되는 하나 이상의 컴포넌트일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서는 실시예들을 중심으로 기술적 특징들을 설명하였다. 하지만, 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한고, 권리 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 권리범위에 포함된 것으로 해석되어야 할 것이다.
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100, 700: 점군 정보 생성 장치
110: 360도 이미지 획득부
130: 점군 정보 생성부
150: 시점 방향 이미지 생성부
710: 매핑부

Claims (20)

  1. 3차원 공간에 대한 360도 이미지를 획득하는 360도 이미지 획득부;
    상기 360도 이미지로부터 상기 3차원 공간에 대한 제1 점군(Point Cloud) 정보를 생성하는 점군 정보 생성부; 및
    상기 360도 이미지 내 기준 시점에 기초하여 상기 360도 이미지로부터 복수의 시점 방향 이미지를 생성하는 시점 방향 이미지 생성부를 포함하고,
    상기 점군 정보 생성부는, 상기 복수의 시점 방향 이미지로부터 상기 3차원 공간에 대한 제2 점군 정보를 생성하는 점군 정보 생성 장치.
  2. 청구항 1에 있어서,
    상기 시점 방향 이미지는, 상기 360도 이미지 중 특정 시점에 대응되는 영역이 2차원 평면에 투영(projection)된 이미지인 점군 정보 생성 장치.
  3. 청구항 1에 있어서,
    상기 시점 방향 이미지 생성부는, 상기 기준 시점에 대응되는 시점 방향 이미지 및 상기 기준 시점을 기준으로 이동된 하나 이상의 시점 각각에 대응되는 시점 방향 이미지를 포함하는 복수의 시점 방향 이미지를 생성하는 점군 정보 생성 장치.
  4. 청구항 1에 있어서,
    상기 시점 방향 이미지 생성부는, 기 설정된 이미지 해상도 및 시야(FoV: Field of View) 중 적어도 하나에 기초하여 상기 복수의 시점 방향 이미지를 생성하는 점군 정보 생성 장치.
  5. 청구항 1에 있어서,
    상기 점군 정보 생성부는, 상기 복수의 시점 방향 이미지 각각에 대한 정보에 기초하여 상기 복수의 시점 방향 이미지 사이의 연관 관계를 산출하고, 상기 연관 관계에 기초하여 상기 제2 점군 정보를 생성하는 점군 정보 생성 장치.
  6. 청구항 5에 있어서,
    상기 복수의 시점 방향 이미지 각각에 대한 정보는, 상기 복수의 시점 방향 이미지 각각의 위치 정보, 방향 정보 및 상기 복수의 시점 방향 이미지 각각에 대응되는 카메라 파라미터 중 적어도 하나를 포함하는 점군 정보 생성 장치.
  7. 청구항 5에 있어서,
    상기 연관 관계는, 상기 복수의 시점 방향 이미지 각각에 대응되는 위치 사이의 거리 및 상기 복수의 시점 방향 이미지 각각의 시점 방향 사이의 각도 중 적어도 하나를 포함하는 점군 정보 생성 장치.
  8. 청구항 1에 있어서,
    상기 3차원 공간을 포함하는 지도에 상기 360도 이미지의 위치 정보를 매핑하는 매핑부를 더 포함하는 점군 정보 생성 장치.
  9. 청구항 8에 있어서,
    상기 시점 방향 이미지 생성부는, 상기 지도의 좌표계를 기준으로 상기 복수의 시점 방향 이미지를 생성하는 점군 정보 생성 장치.
  10. 청구항 8에 있어서,
    상기 점군 정보 생성부는, 상기 지도의 좌표계를 기준으로 상기 제2 점군 정보를 생성하는 점군 정보 생성 장치.
  11. 3차원 공간에 대한 360도 이미지를 획득하는 단계;
    상기 360도 이미지로부터 상기 3차원 공간에 대한 제1 점군(Point Cloud) 정보를 생성하는 단계;
    상기 360도 이미지 내 기준 시점에 기초하여 상기 360도 이미지로부터 복수의 시점 방향 이미지를 생성하는 단계; 및
    상기 복수의 시점 방향 이미지로부터 상기 3차원 공간에 대한 제2 점군 정보를 생성하는 단계를 포함하는 점군 정보 생성 방법.
  12. 청구항 11에 있어서,
    상기 시점 방향 이미지는, 상기 360도 이미지 중 특정 시점에 대응되는 영역이 2차원 평면에 투영(projection)된 이미지인 점군 정보 생성 방법.
  13. 청구항 11에 있어서,
    상기 시점 방향 이미지를 생성하는 단계는, 상기 기준 시점에 대응되는 시점 방향 이미지 및 상기 기준 시점을 기준으로 이동된 하나 이상의 시점 각각에 대응되는 시점 방향 이미지를 포함하는 복수의 시점 방향 이미지를 생성하는 점군 정보 생성 방법.
  14. 청구항 11에 있어서,
    상기 시점 방향 이미지를 생성하는 단계는, 기 설정된 이미지 해상도 및 시야(FoV: Field of View) 중 적어도 하나에 기초하여 상기 복수의 시점 방향 이미지를 생성하는 점군 정보 생성 방법.
  15. 청구항 11에 있어서,
    상기 제2 점군 정보를 생성하는 단계는,
    상기 복수의 시점 방향 이미지 각각에 대한 정보에 기초하여 상기 복수의 시점 방향 이미지 사이의 연관 관계를 산출하는 단계; 및
    상기 연관 관계에 기초하여 상기 제2 점군 정보를 생성하는 단계를 포함하는 점군 정보 생성 방법.
  16. 청구항 15에 있어서,
    상기 복수의 시점 방향 이미지 각각에 대한 정보는, 상기 복수의 시점 방향 이미지 각각의 위치 정보, 방향 정보 및 상기 복수의 시점 방향 이미지 각각에 대응되는 카메라 파라미터 중 적어도 하나를 포함하는 점군 정보 생성 방법.
  17. 청구항 15에 있어서,
    상기 연관 관계는, 상기 복수의 시점 방향 이미지 각각에 대응되는 위치 사이의 거리 및 상기 복수의 시점 방향 이미지 각각의 시점 방향 사이의 각도 중 적어도 하나를 포함하는 점군 정보 생성 방법.
  18. 청구항 11에 있어서,
    상기 제1 점군 정보를 생성하는 단계 이후에, 상기 3차원 공간을 포함하는 지도에 상기 360도 이미지의 위치 정보를 매핑하는 단계를 더 포함하는 점군 정보 생성 방법.
  19. 청구항 18에 있어서,
    상기 시점 방향 이미지를 생성하는 단계는, 상기 지도의 좌표계를 기준으로 상기 복수의 시점 방향 이미지를 생성하는 점군 정보 생성 방법.
  20. 청구항 18에 있어서,
    상기 제2 점군 정보를 생성하는 단계는, 상기 지도의 좌표계를 기준으로 상기 제2 점군 정보를 생성하는 점군 정보 생성 방법.
KR1020190176349A 2019-12-27 2019-12-27 점군 정보 생성 장치 및 방법 KR102399955B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190176349A KR102399955B1 (ko) 2019-12-27 2019-12-27 점군 정보 생성 장치 및 방법
US16/806,137 US11423609B2 (en) 2019-12-27 2020-03-02 Apparatus and method for generating point cloud

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190176349A KR102399955B1 (ko) 2019-12-27 2019-12-27 점군 정보 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210083745A true KR20210083745A (ko) 2021-07-07
KR102399955B1 KR102399955B1 (ko) 2022-05-20

Family

ID=76546481

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190176349A KR102399955B1 (ko) 2019-12-27 2019-12-27 점군 정보 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US11423609B2 (ko)
KR (1) KR102399955B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102393345B1 (ko) * 2021-12-28 2022-05-02 주식회사 맥스트 3차원 점군 처리 시스템 및 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005056295A (ja) * 2003-08-07 2005-03-03 Iwane Kenkyusho:Kk ３６０度画像変換処理装置
JP2009523552A (ja) * 2006-01-20 2009-06-25 スリーエム イノベイティブ プロパティズ カンパニー 三次元データ取得の視覚化
KR20130094015A (ko) * 2012-02-15 2013-08-23 한국전자통신연구원 입체 모델 생성 장치 및 방법
KR101604037B1 (ko) 2014-05-09 2016-03-16 한국건설기술연구원 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
KR20160082158A (ko) * 2014-12-31 2016-07-08 한국과학기술연구원 다중 시야 창 인터페이스 장치 및 방법
KR101781994B1 (ko) * 2016-12-30 2017-09-26 공간정보기술 주식회사 다중 스테레오 카메라를 이용한 자유시점 실시간 3d 구현장치
WO2018030206A1 (ja) * 2016-08-10 2018-02-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ カメラワーク生成方法及び映像処理装置
KR101851303B1 (ko) * 2016-10-27 2018-04-23 주식회사 맥스트 3차원 공간 재구성 장치 및 방법
KR20190108721A (ko) * 2018-03-15 2019-09-25 세종대학교산학협력단 360도 카메라와 평면 거울을 이용한 다시점 영상 획득 장치 및 방법
KR20190134030A (ko) * 2018-05-24 2019-12-04 주식회사 이누씨 다시점 영상 정합을 이용한 아바타 생성 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727308A (zh) * 2017-10-30 2019-05-07 三纬国际立体列印科技股份有限公司 实体物件的三维点云模型生成设备及生成方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005056295A (ja) * 2003-08-07 2005-03-03 Iwane Kenkyusho:Kk ３６０度画像変換処理装置
JP2009523552A (ja) * 2006-01-20 2009-06-25 スリーエム イノベイティブ プロパティズ カンパニー 三次元データ取得の視覚化
KR20130094015A (ko) * 2012-02-15 2013-08-23 한국전자통신연구원 입체 모델 생성 장치 및 방법
KR101604037B1 (ko) 2014-05-09 2016-03-16 한국건설기술연구원 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
KR20160082158A (ko) * 2014-12-31 2016-07-08 한국과학기술연구원 다중 시야 창 인터페이스 장치 및 방법
WO2018030206A1 (ja) * 2016-08-10 2018-02-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ カメラワーク生成方法及び映像処理装置
KR101851303B1 (ko) * 2016-10-27 2018-04-23 주식회사 맥스트 3차원 공간 재구성 장치 및 방법
KR101781994B1 (ko) * 2016-12-30 2017-09-26 공간정보기술 주식회사 다중 스테레오 카메라를 이용한 자유시점 실시간 3d 구현장치
KR20190108721A (ko) * 2018-03-15 2019-09-25 세종대학교산학협력단 360도 카메라와 평면 거울을 이용한 다시점 영상 획득 장치 및 방법
KR20190134030A (ko) * 2018-05-24 2019-12-04 주식회사 이누씨 다시점 영상 정합을 이용한 아바타 생성 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102393345B1 (ko) * 2021-12-28 2022-05-02 주식회사 맥스트 3차원 점군 처리 시스템 및 방법

Also Published As

Publication number Publication date
US11423609B2 (en) 2022-08-23
US20210201567A1 (en) 2021-07-01
KR102399955B1 (ko) 2022-05-20

Similar Documents

Publication Publication Date Title
CN110383343B (zh) 不一致检测系统、混合现实系统、程序和不一致检测方法
JP6951595B2 (ja) 住宅のデータ収集およびモデル生成方法
CN111857329B (zh) 注视点计算方法、装置及设备
US20190012804A1 (en) Methods and apparatuses for panoramic image processing
US20190378330A1 (en) Method for data collection and model generation of house
US10580205B2 (en) 3D model generating system, 3D model generating method, and program
US20200334842A1 (en) Methods, devices and computer program products for global bundle adjustment of 3d images
TW200825984A (en) Modeling and texturing digital surface models in a mapping application
KR101126449B1 (ko) 증강 현실 서비스 시스템 및 방법
KR20180082170A (ko) 3차원 얼굴 모델 획득 방법 및 시스템
JP2016537901A (ja) ライトフィールド処理方法
WO2020151268A1 (zh) 一种3d小行星动态图的生成方法及便携式终端
KR102317182B1 (ko) 3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치
GB2567245A (en) Methods and apparatuses for depth rectification processing
KR102399955B1 (ko) 점군 정보 생성 장치 및 방법
CN114286066A (zh) 投影校正方法、装置、存储介质以及投影设备
KR20200103374A (ko) 2차원 이미지를 이용한 3차원 모델링 방법
US20200372704A1 (en) Finite aperture omni-directional stereo light transport
JP2016114445A (ja) ３次元位置算出装置およびそのプログラム、ならびに、ｃｇ合成装置
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
CN111292414B (zh) 生成物体三维图像的方法、装置、存储介质及电子设备
WO2018100230A1 (en) Method and apparatuses for determining positions of multi-directional image capture apparatuses
CN110148086B (zh) 稀疏深度图的深度补齐方法、装置及三维重建方法、装置
JP2014160405A (ja) 撮影位置決定装置、プログラム、および方法
KR102146839B1 (ko) 실시간 가상현실 구축을 위한 시스템 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant