KR102195762B1 - 포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법 - Google Patents

포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법 Download PDF

Info

Publication number
KR102195762B1
KR102195762B1 KR1020190046229A KR20190046229A KR102195762B1 KR 102195762 B1 KR102195762 B1 KR 102195762B1 KR 1020190046229 A KR1020190046229 A KR 1020190046229A KR 20190046229 A KR20190046229 A KR 20190046229A KR 102195762 B1 KR102195762 B1 KR 102195762B1
Authority
KR
South Korea
Prior art keywords
camera
rgb
processor
image
images
Prior art date
Application number
KR1020190046229A
Other languages
English (en)
Other versions
KR20200122870A (ko
Inventor
권순철
남정환
한화섭
자한젭
Original Assignee
광운대학교 산학협력단
(주)마노디자인그룹
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단, (주)마노디자인그룹 filed Critical 광운대학교 산학협력단
Priority to KR1020190046229A priority Critical patent/KR102195762B1/ko
Publication of KR20200122870A publication Critical patent/KR20200122870A/ko
Application granted granted Critical
Publication of KR102195762B1 publication Critical patent/KR102195762B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/002—Denoising; Smoothing
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

본 명세서는 고품질 3차원 공간 정보 획득 방법 및 장치를 개시한다. 본 명세서에 따른 3차원 공간 정보 획득 방법은 IR 패턴이 투영된 복수의 IR이미지 및 복수의 RGB이미지로부터 3차원 공간 정보를 획득하는 방법으로서, (a) 프로세서가 IR 패턴이 투영된 각각의 IR이미지로부터 특징점을 추출하는 단계; (b) 상기 프로세서가 복수의 IR이미지 및 복수의 RGB이미지에 대한 카메라 파라미터를 추출하는 단계; (c) 상기 프로세서가 상기 추출된 특징점과 상기 추출된 카메라 파라미터를 이용하여 3차원 포인트 클라우드를 생성하는 단계; (d) 상기 프로세서가 상기 생성된 3차원 포인트 클라우드로부터 매쉬를 재구성하는 단계; (e) 상기 프로세서가 상기 재구성된 매쉬에 RGB 이미지를 이용하여 재질을 투영하는 단계; 및 (f) 상기 프로세서가 재질이 투영된 매쉬로부터 3차원 공간 정보를 획득하는 단계;를 포함할 수 있다.

Description

포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법{ACQUISITION METHOD FOR HIGH QUALITY 3-DIMENSION SPATIAL INFORMATION USING PHOTOGRAMMETRY}
본 발명은 촬영된 사진 이미지로부터 3차원 공간 정보를 획득하는 방법에 관한 것이며, 보다 상세하게는 포토그래메트리를 이용하여 고품질 3차원 공간 정보를 획득하는 방법에 관한 것이다.
현재 3D 스캐닝 기술은 센서와 소프트웨어의 발전으로 상당한 진보를 이루어 내고 있다. 특히 유물과 건축물의 역설계 분야(Reverse engineering)와 품질 관리(Quality inspection)분야에 활용되고 있다.
일반적으로 3D스캐닝 기술은 사물에 접촉을 하면서 공간정보를 추출해 내는 접촉식(contact) 스캐닝 방식과 깊이 카메라, 센서, 레이저를 활용하여 위치 정보를 획득하는 비접촉(non-contact) 스캐닝 방식으로 구분된다.
비접촉 스캐닝 방식에서는 스캐너가 빛을 직접 조사하는 여부에 따라 능동형과 수동형으로 나뉠 수 있다. 비접촉식 능동형의 경우 비행시간법(TOF;Time of Flight), 삼각측량법(Triangulation), 구조광(Structure light), 변조광(Modulated light), 컴퓨터 단층촬영(CT;Computed Tomography), 마이크로 단층촬영(Micro Tomography) 으로 분류된다. 비접촉식 수동형의 경우 이미지 기반 모델링인 포토그래메트리(Photogrammetry), 스테레오스코픽(Stereoscopic), 실루엣(Silhouette)으로 분류된다.
일반적으로 스캐닝 기술은 곡면 부분과 반사 재질에 대한 스캐닝의 효율에 한계가 있으며 문제를 극복하기 위한 다양한 연구가 진행되고 있다. 특히 이미지를 기반으로 하는 스캐닝 방식인 포토그래메트리 방식은 사진측량법으로부터 시작된 오래된 기술이며 낮은 정밀도, 느린 작업속도에도 불구하고 기술 접근성이 용이하다. 따라서 지형 3D 매핑, 건축, 엔지니어링, 제조, 품질관리, 경찰수사, 지질학, 게임, 영화, 유적지 및 유물 복원, 의료, 예술 등 거의 생활 전반적인 분야에서 확장되고 있다.
한편, 포토그래메트리 방식은 다수의 이미지에서 특징점을 추출하는 과정이 선행되는데, 이때 추출된 특징점에 의해 공간 정보의 품질의 좌우된다. 특히, 공간정보에서 벽(wall) 등 특별한 특징점이 없는 영역을 촬영한 이미지에서는 특징점 추출이 어렵다. 따라서, 고품질의 3차원 공간 정보를 획득하기 위해 특징점을 보다 잘 추출할 수 있는 방법이 필요하다.
Deying Zhang, Guangping Zeng, Yan Zhang, Xing Liu, Shengde Wu, Yi Hua, Feng Liu, Peng Lu, Chuan Feng, Bin Qin, Jinhua Cai, Yuanyuan Zhang, Dawei He, Tao Lin, Guanghui Wei, "3D reconstruction computed tomography scan in diagnosis of bilateral wilm’s tumor with its embolus in right atrium", Journal of X-Ray Science&Technology, Vol. 24, Issue. 5, pp. 657-660, 2016.
본 명세서는 고품질 3차원 공간 정보 획득 방법 및 장치를 제공하는 것을 목적으로 한다.
본 명세서는 상기 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 명세서에 따른 3차원 공간 정보 획득 방법은 IR 패턴이 투영된 복수의 IR이미지 및 복수의 RGB이미지로부터 3차원 공간 정보를 획득하는 방법으로서, (a) 프로세서가 IR 패턴이 투영된 각각의 IR이미지로부터 특징점을 추출하는 단계; (b) 상기 프로세서가 복수의 IR이미지 및 복수의 RGB이미지에 대한 카메라 파라미터를 추출하는 단계; (c) 상기 프로세서가 상기 추출된 특징점과 상기 추출된 카메라 파라미터를 이용하여 3차원 포인트 클라우드를 생성하는 단계; (d) 상기 프로세서가 상기 생성된 3차원 포인트 클라우드로부터 매쉬를 재구성하는 단계; (e) 상기 프로세서가 상기 재구성된 매쉬에 RGB 이미지를 이용하여 재질을 투영하는 단계; 및 (f) 상기 프로세서가 재질이 투영된 매쉬로부터 3차원 공간 정보를 획득하는 단계;를 포함할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 복수의 IR이미지 중 어느 한 IR이미지와 상기 복수의 RGB이미지 중 어느 한 RGB 이미지는 스테레오 보정된 이미지이다. 이 경우, 상기 스테레오 보정된 IR이미지와 RGB이미지는 같은 촬영 좌표를 가진 이미지일 수 있다.
본 명세서의 일 실시예에 따르면, 상기 (b) 단계는 상기 프로세서가 스케일 불변 특징점 변환 또는 특징점 고속 향상 알고리즘을 사용하여 특징점을 추출하는 단계일 수 있다.
본 명세서의 일 실시예에 따르면, 상기 (d) 단계는 상기 프로세서가 생성된 매쉬에서 점들의 보간 과정 및 노이즈로 생성된 점들의 제거하는 단순화 작업을 더 수행하는 단계일 수 있다.
상술한 과제를 해결하기 위한 본 명세서에 따른 3차원 공간 정보 획득 장치는 IR 패턴이 투영된 복수의 IR이미지 및 복수의 RGB이미지를 저장하는 메모리; 및 상기 메모리에 저장된 이미지들로부터 포토그래메트리 방식에 의해 3차원 공간 정보를 생성하는 프로세서;를 포함하는 3차원 공간 정보 획득 장치로서, 상기 프로세서는 IR 패턴이 투영된 각각의 IR이미지로부터 특징점을 추출하고, 복수의 IR이미지 및 복수의 RGB이미지에 대한 카메라 파라미터를 추출하고, 상기 추출된 특징점과 상기 추출된 카메라 파라미터를 이용하여 3차원 포인트 클라우드를 생성하고, 상기 생성된 3차원 포인트 클라우드로부터 매쉬를 재구성하고, 상기 재구성된 매쉬에 RGB 이미지를 이용하여 재질을 투영하며, 재질이 투영된 매쉬로부터 3차원 공간 정보를 획득할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 명세서에 따르면, 고품질의 3차원 공간 정보를 획득할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 명세서에 따른 3차원 공간 정보 획득 장치의 블럭도이다.
도 2 및 도 3은 IR 패턴이 투영된 같은 공간을 RGB 카메라와 IR 카메라로 촬영하는 예시도이다.
도 4는 체크보드 촬영을 통한 스테레오 보정의 참고도이다.
도 5는 스테레오 보정(Stereo Calibration) 전 후 이미지 예시도이다.
도 6은 본 명세서에 따른 3차원 공간 정보 생성 방법의 흐름도이다.
본 명세서에 개시된 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 명세서가 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 명세서의 개시가 완전하도록 하고, 본 명세서가 속하는 기술 분야의 통상의 기술자(이하 '당업자')에게 본 명세서의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 명세서의 권리 범위는 청구항의 범주에 의해 정의될 뿐이다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 명세서에 따른 3차원 공간 정보 획득 장치의 블럭도이다.
도 1을 참조하면, 본 명세서에 따른 3차원 공간 정보 획득 장치(100)는 메모리(110) 및 프로세서(120)를 포함할 수 있다.
상기 메모리(110)는 IR 패턴이 투영된 복수의 IR이미지 및 복수의 RGB이미지를 저장할 수 있다.
상기 IR이미지는 적외선(InfraRed) 센서를 사용하여 적외선 영상을 생성할 수 있는 카메라로 촬영된 이미지를 의미한다. 상기 메모리(110)는 상기 IR카메라로부터 직접 IR이미지를 수신하거나, 다른 메모리 장치에 저장된 IR이미지 파일을 수신할 수 있다.
상기 IR 패턴은 예를 들어 격자(grid), 십자(cross), 사각(square) 등과 같은 다양한 모양과 다양한 크기를 가진 적외선 광으로 투영된 것을 의미한다. 상기 IR 패턴은 벽과 같은 영역에서 특징점을 보다 효과적으로 추출할 수 있도록 도움을 주는 역할을 한다. 이때 IR 패턴은 IR이미지에만 표시되고, RGB이미지에는 표시되지 않을 수 있다.
상기 RGB이미지는 일반적인 RGB카메라로 촬영된 이미지를 의미한다. 상기 메모리(110)는 상기 RGB카메라로부터 직접 RGB이미지를 수신하거나, 다른 메모리 장치에 저장된 RGB이미지 파일을 수신할 수 있다.
도 2 및 도 3은 IR 패턴이 투영된 같은 공간을 RGB 카메라와 IR 카메라로 촬영하는 예시도이다.
도 2 및 도 3을 참조하면, RGB 카메라와 IR 카메라가 설치된 공간을 확인할 수 있다. 상기 공간에는 IR 패턴을 투영할 수 있는 프로젝터가 함께 설치되어 있다. 도 2 및 도 3에 도시된 예시에서는, 공간 전체에 IR 패턴을 투영하도록 천장에 프로젝터가 설치된 것으로 도시하였지만, 상기 RGB 카메라와 IR 카메라와 인접한 위치에 설치될 수 있으며, 투영 영역도 상기 IR 카메라의 화각 영역에 대응하는 일부 영역에만 IR 패턴을 투영하는 장치일 수도 있다. 도 2를 참조하면, RGB 카메라는 IR 패턴이 없는 벽의 영상을 획득할 수 있다. 도 3을 참조하면, IR 카메라는 IR 패턴이 투영된 벽의 영상을 획득할 수 있다. 상기 2가지 영상은 이하에서 설명될 공간 정보 획득 과정에서 사용될 것이다.
본 명세서에 따른 3차원 공간 정보 획득 장치(100)는 포토그래메트리 방식을 사용하므로, 상기 메모리(110)에 저장된 IR이미지 및 RGB이미지는 각각 복수의 IR이미지 및 복수의 RGB이미지이다.
본 명세서에 따르면, 상기 복수의 IR이미지 중 어느 한 IR이미지와 상기 복수의 RGB이미지 중 어느 한 RGB 이미지는 스테레오 보정(Stereo Calibration) 및/또는 스테레오 조정(Stereo Rectification)된 이미지이다. 상기 IR이미지 및 RGB이미지는 같은 대상을 촬영한 이미지로서, 동시에 촬영될 수 있다. 이때, IR카메라와 RGB카메라 사이의 기하학적 관계를 고려하여 두 카메라가 촬영한 영상이 동일 평면상에 위치하도록 하는 스트레오 보정 및/또는 스테레오 조정을 하는 것이다. 물론, 상기 스테레오 보정된 IR이미지와 RGB이미지는 같은 촬영 좌표를 가진 이미지이다.
본 명세서의 일 실시예에 따르면, 체크보드 촬영을 통해 IR카메라와 RGB카메라 사이의 스테레오 보정을 할 수 있다.
도 4는 체크보드 촬영을 통한 스테레오 보정의 참고도이다.
도 4를 참조하면, IR카메라와 RGB카메라가 동일한 체크 보드를 촬영하는 것을 확인할 수 있다. 상기 프로세서(120)는 IR카메라가 촬영한 이미지에서 체크보드의 코너를 추출(Robust Conner Detection)하고, RGB카메라가 촬영한 이미지에서 체크보드의 코너를 추출(Robust Conner Detection)한다. 상기 IR카메라와 RGB카메라는 3차원 공간 내 서로 위치에서 동일한 체크 보드를 촬영하였기 때문에, 상기 두 이미지 내 체크 보드의 코너를 비교하여 IR카메라와 RGB카메라의 상대적 위치를 계산할 수 있다. 보다 구체적으로, 상기 프로세서(120)은 아래 수식을 사용하여 RGB 좌표계를 기준으로 IR 카메라에 좌표계 변환 또는 IR 카메라 좌표계를 기준으로 RGB 좌표계로 변환할 수 있다.
Figure 112019040643900-pat00001
상기 수식에서 [u, v, 1]T는 2D 이미지 좌표값, [xw, yx, zw, 1]T는 3D 실공간 좌표값, K는 카메라 내부파라미터, [R, T]는 카메라 외부파라미터로서, R은 회전에 관한 값이고 T는 이동에 관한 값이다.
도 5는 스테레오 보정(Stereo Calibration) 전 후 이미지 예시도이다. 도 5의 좌측에는 보정 전 이미지로서 IR 이미지와 RGB 이미지가 서로 일치하지 않는 것을 확인할 수 있다. 반면, 도 5의 우측에는 보정 후 이미지로서 IR 이미지와 RGB 이미지가 서로 일치하는 것을 확인할 수 있다.
상기 체크 보드는 상기 IR카메라와 RGB카메라 사이의 스테레오 보정을 위해 사용되며, 보정 이후 상기 체크 보드는 사용하지 않고 공간에 대한 이미지를 획득할 수 있다.
상기 메모리(110)는 상기 프로세서(120) 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 상기 프로세서(120)와 연결될 수 있다. 상기 메모리(110)는 RAM, ROM, EEPROM등 데이터를 기록하고 소거할 수 있다고 알려진 공지의 반도체 소자나 하드 디스크와 같은 대용량 저장매체로서, 디바이스의 종류에 상관없이 정보가 저장되는 디바이스를 총칭하는 것으로서 특정 메모리 디바이스를 지칭하는 것은 아니다.
상기 프로세서(120)는 상기 메모리(110)에 저장된 이미지들로부터 포토그래메트리 방식에 의해 3차원 공간 정보를 생성할 수 있다.
상기 프로세서(120)는, 산출 및 다양한 제어 로직을 실행하기 위해 본 발명이 속한 기술분야에 알려진 프로세서로서, ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로, 레지스터, 통신 모뎀, 데이터 처리 장치 등을 포함할 수 있다. 또한, 이하에서 설명될 방법이 소프트웨어로 구현될 때, 상기 프로세서(120)는 프로그램 모듈의 집합으로 구현될 수 있다. 이 때, 프로그램 모듈은 상기 메모리(110)에 저장되고, 상기 프로세서(120)에 의해 실행될 수 있다.
이하에서는 도 6을 참조하여, 본 명세서에 따른 3차원 공간 정보 생성 방법을 설명하도록 하겠다.
도 6은 본 명세서에 따른 3차원 공간 정보 생성 방법의 흐름도이다.
도 6을 참조하면, 먼저 단계 S100에서 상기 프로세서(120)가 IR 패턴이 투영된 각각의 IR이미지로부터 특징점을 추출할 수 있다.
조밀한 각도에서 다중 입력된 이미지들은 동일하거나 유사한 형태를 띄게 된다. 그러나 다중 이미지들을 분석하여 3차원 이미지를 추출할 경우 알고리즘에 따라 매칭이 잘 되지 않는 다양한 문제점들이 발생한다. 따라서 이런 문제들을 해결하기 위해 특징점(Point feature)을 기반으로 이미지를 추출하는 알고리즘을 활용할 수 있다. 이러한 알고리즘 중 대표적인 것으로는 스케일 불변 특징점 변환(SIFT;Scale Invariant Feature Transform)와 특징점 고속 향상(SURF;Speeded Up Robust Features) 알고리즘이 있다. 상기 알고리즘에 대해서는 본 명세서 출원 시점에 알려진 기술이므로 상세한 설명은 생략하도록 한다.
다음 단계 S110에서, 상기 프로세서(120)는 복수의 IR이미지 및 복수의 RGB이미지에대한 카메라 파라미터를 추출할 수 있다.
카메라 파라미터에는 카메라 내부 파라미터와 카메라 외부 파라미터가 있다.
내부 파라미터는 3차원 공간에 있는 객체를 카메라 내부의 2차원 평면에 투영시키기 위해 필요한 파라미터이다. 카메라는 렌즈를 통해 전하결합소자(CCD)에 맺힌 아날로그 객체를 컴퓨터가 이해할 수 있는 디지털 신호로 전환하여 영상을 만들어낸다. 여기서 렌즈는 동그란 형태를 띄고 있기 때문에 왜곡(distortion)이 생긴다. 따라서 왜곡은 캘리브레이션을 통해 해결할 수 있다. 또 다른 내부 파라미터는 전하결합소자(CCD)와 렌즈의 제 2주점 까지의 거리를 의미하는 초점거리(Focal Length)이다. 초점거리는 줌인(Zoom In), 줌아웃(Zoom Out)에 관여하고 있으며, 외부 파라미터를 구할 때 그 값이 결정된다. 마지막 내부 파라미터는 전하결합소자(CCD)에 객체가 맺힐 때 이미지의 중심점인 이미지 센터(image center)이다. 이미지 센터는 렌즈와 전하결합소자(CCD)패널의 중심이 정확하게 일치하는 것이 중요하며, 렌즈를 통해서 받은 빛과 신호로 바뀐 이미지의 중심을 일치시킬 때 필요한 정보이다.
외부 파라미터는 카메라가 실제의 중심 위치로부터 이동한 위치와 회전한 위치에 대한 정보이다. 이것은 물체의 이동과 회전을 행렬과 벡터를 활용하여 표현할 수 있다. 좌표로 표현된 카메라의 위치(C)는 C=R-1T=RTT로 표현될 수 있다. 여기서 T는 이동에 대한 벡터(Translation vector), R은 회전에 대한 행렬(Rotation matrix)이다. R, T는 3D 월드 좌표에서 3D 카메라 좌표로의 좌표계 변환을 나타내는 외부 파라미터이며 카메라 중심의 위치와 카메라의 방향을 월드 좌표로 정의한다. 여기서 T는 카메라 중심 좌표계이며 월드 좌표계의 원점 위치이다.
다음 단계 S120에서, 상기 프로세서(120)는 상기 추출된 특징점과 상기 추출된 카메라 파라미터를 이용하여 3차원 포인트 클라우드를 생성할 수 있다. 즉, 상기 프로세서(120)는 특징점을 추출한 뒤 매칭된 목록에서 카메라 파라미터(내부: 초점 거리 및 방사형 왜곡, 외부: 위치 및 방향)와 3D 특징점의 매칭 위치를 찾는 번들 조정(Bundle adjustment)을 거친다. 이 단계에서 상기 프로세서는 모션 기반 구조(SfM) 파라미터의 조인트 비선형 최적화를 사용하여 실행한다. 그 결과 밀도가 낮은 포인트 클라우드 개체가 생성될 수 있다. 상기 프로세서(120)는 밀도가 낮은 포인트 클라우드의 조밀한 재구성을 위해 패치 기반 멀티 뷰 스테레오 (PMVS;patch-based multi-view stereo) 또는 클러스터링 뷰 스테레오 (CMVS;clustering views for multi-view stereo) 기술을 사용하여 밀도가 높은 포인트 클라우드를 생성할 수 있다.
다음 단계 S130에서, 상기 프로세서(120)는 상기 생성된 3차원 포인트 클라우드로부터 매쉬를 재구성할 수 있다. 상기 프로세서(120)는 매쉬 재구성을 위해 모션 기반 구조(SfM)으로 재구성된 조밀한 포인트 클라우드로부터 다각형 매쉬를 얻기 위해 푸아송 표면 재구성(Poisson surface reconstruction) 알고리즘을 사용할 수 있다. 상기 프로세서(120)는 푸아송 표면 재구성 알고리즘을 사용하여 표면의 클라우드 포인트를 재구성하여 삼각형 매쉬를 생성할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 프로세서(120)는 생성된 매쉬에서 많은 점들의 보간(Interpopolates)과정을 더 수행할 수 있다. 나아가, 상기 프로세서(120)는 보간 과정을 거친 후 노이즈로 생긴 점들을 제거하는 3D 매쉬 단순화 작업을 더 수행할 수 있다.
다음 단계 S140에서, 상기 프로세서(120)는 상기 재구성된 매쉬에 RGB 이미지를 이용하여 재질을 투영할 수 있다. 즉, 상기 프로세서(120)는 표면의 마무리를 위하여 RGB 이미지를 이용해서 텍스쳐 맵핑(Texture mapping)을 수행할 수 있다. 상기 RGB 이미지는 상기 IR 패턴이 투영된 IR 이미지와 촬영 좌표가 동일하기 때문에, 3차원 매쉬의 텍스쳐로 사용될 수 있다. 또한, 상기 RGB이미지는 패턴이 투영되지 않은 대상 원본의 표면을 그대로 나타내고 있으므로, 보다 사실적인 포토그래메트리를 생성할 수 있다.
마지막 단계 S150에서, 상기 프로세서(120)는 재질이 투영된 매쉬로부터 3차원 공간 정보를 획득할 수 있다.
이상, 첨부된 도면을 참조로 하여 본 명세서의 실시예를 설명하였지만, 본 명세서가 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 3차원 공간 정보 획득 장치
110 : 메모리
120 : 프로세서

Claims (10)

  1. IR 패턴이 투영된 복수의 IR이미지 및 복수의 RGB이미지로부터 3차원 공간 정보를 획득하는 방법으로서,
    (a) 프로세서가 IR 패턴이 투영된 각각의 IR이미지로부터 특징점을 추출하는 단계;
    (b) 상기 프로세서가 복수의 IR이미지 및 복수의 RGB이미지에 대한 카메라 파라미터를 추출하는 단계;
    (c) 상기 프로세서가 상기 추출된 특징점과 상기 추출된 카메라 파라미터를 이용하여 3차원 포인트 클라우드를 생성하는 단계;
    (d) 상기 프로세서가 상기 생성된 3차원 포인트 클라우드로부터 매쉬를 재구성하는 단계;
    (e) 상기 프로세서가 상기 재구성된 매쉬에 RGB 이미지를 이용하여 재질을 투영하는 단계; 및
    (f) 상기 프로세서가 재질이 투영된 매쉬로부터 3차원 공간 정보를 획득하는 단계;를 포함하되,
    상기 복수의 IR이미지 중 어느 한 IR이미지와 상기 복수의 RGB이미지 중 어느 한 RGB 이미지는 스테레오 보정된 이미지이고,
    상기 스테레오 보정된 IR이미지와 RGB이미지는,
    (1) IR카메라와 RGB카메라가 동일한 체크 보드를 촬영하는 단계;
    (2) 상기 프로세서가 IR카메라가 촬영한 이미지에서 체크보드의 코너를 추출(Robust Conner Detection)하고, RGB카메라가 촬영한 이미지에서 체크보드의 코너를 추출(Robust Conner Detection)하는 단계; 및
    (3) 상기 프로세서가 아래 수식을 사용하여 RGB 좌표계를 기준으로 IR 카메라에 좌표계 변환 또는 IR 카메라 좌표계를 기준으로 RGB 좌표계로 변환하는 단계;을 포함하는 것을 특징으로 하는 3차원 공간 정보 획득 방법.
    Figure 112020503382333-pat00008

    [u, v, 1]T: 2D 이미지 좌표값, [xw, yx, zw, 1]T: 3D 실공간 좌표값, K: 카메라 내부파라미터, [R, T]: 카메라 외부파라미터, R: 회전에 관한 값, T: 이동에 관한 값
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 (a) 단계는, 상기 프로세서가 스케일 불변 특징점 변환 또는 특징점 고속 향상 알고리즘을 사용하여 특징점을 추출하는 단계인 3차원 공간 정보 획득 방법.
  5. 청구항 1에 있어서,
    상기 (d) 단계는, 상기 프로세서가 생성된 매쉬에서 점들의 보간 과정 및 노이즈로 생성된 점들의 제거하는 단순화 작업을 더 수행하는 단계인 3차원 공간 정보 획득 방법.
  6. IR 패턴이 투영된 복수의 IR이미지 및 복수의 RGB이미지를 저장하는 메모리; 및
    상기 메모리에 저장된 이미지들로부터 포토그래메트리 방식에 의해 3차원 공간 정보를 생성하는 프로세서;를 포함하는 3차원 공간 정보 획득 장치로서,
    상기 프로세서는,
    IR 패턴이 투영된 각각의 IR이미지로부터 특징점을 추출하고, 복수의 IR이미지 및 복수의 RGB이미지에 대한 카메라 파라미터를 추출하고, 상기 추출된 특징점과 상기 추출된 카메라 파라미터를 이용하여 3차원 포인트 클라우드를 생성하고, 상기 생성된 3차원 포인트 클라우드로부터 매쉬를 재구성하고, 상기 재구성된 매쉬에 RGB 이미지를 이용하여 재질을 투영하며, 재질이 투영된 매쉬로부터 3차원 공간 정보를 획득하고,
    상기 복수의 IR이미지 중 어느 한 IR이미지와 상기 복수의 RGB이미지 중 어느 한 RGB 이미지는 스테레오 보정된 이미지이고,
    상기 스테레오 보정된 IR이미지와 RGB이미지는,
    IR카메라와 RGB카메라가 동일한 체크 보드를 촬영하고, 상기 프로세서가 IR카메라가 촬영한 이미지에서 체크보드의 코너를 추출(Robust Conner Detection)하고, RGB카메라가 촬영한 이미지에서 체크보드의 코너를 추출(Robust Conner Detection)하고, 상기 프로세서가 아래 수식을 사용하여 RGB 좌표계를 기준으로 IR 카메라에 좌표계 변환 또는 IR 카메라 좌표계를 기준으로 RGB 좌표계로 변환한 것을 특징으로 하는 3차원 공간 정보 획득 장치.
    Figure 112020503382333-pat00009

    [u, v, 1]T: 2D 이미지 좌표값, [xw, yx, zw, 1]T: 3D 실공간 좌표값, K: 카메라 내부파라미터, [R, T]: 카메라 외부파라미터, R: 회전에 관한 값, T: 이동에 관한 값
  7. 삭제
  8. 삭제
  9. 청구항 6에 있어서,
    상기 프로세서는 스케일 불변 특징점 변환 또는 특징점 고속 향상 알고리즘을 사용하여 특징점을 추출하는 것을 특징으로 하는 3차원 공간 정보 획득 장치.
  10. 청구항 6에 있어서,
    상기 프로세서는 생성된 매쉬에서 점들의 보간 과정 및 노이즈로 생성된 점들의 제거하는 단순화 작업을 더 수행하는 것을 특징으로 하는 3차원 공간 정보 획득 장치.
KR1020190046229A 2019-04-19 2019-04-19 포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법 KR102195762B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190046229A KR102195762B1 (ko) 2019-04-19 2019-04-19 포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190046229A KR102195762B1 (ko) 2019-04-19 2019-04-19 포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법

Publications (2)

Publication Number Publication Date
KR20200122870A KR20200122870A (ko) 2020-10-28
KR102195762B1 true KR102195762B1 (ko) 2020-12-29

Family

ID=73018199

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190046229A KR102195762B1 (ko) 2019-04-19 2019-04-19 포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법

Country Status (1)

Country Link
KR (1) KR102195762B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634439B (zh) * 2020-12-25 2023-10-31 北京奇艺世纪科技有限公司 一种3d信息展示方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101851303B1 (ko) * 2016-10-27 2018-04-23 주식회사 맥스트 3차원 공간 재구성 장치 및 방법
JP2018520425A (ja) * 2015-05-27 2018-07-26 インペリアル カレッジ オブ サイエンス，テクノロジー アンド メディスン 三次元空間のモデリング

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120067888A (ko) * 2010-12-16 2012-06-26 한국전자통신연구원 스테레오 영상 처리 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018520425A (ja) * 2015-05-27 2018-07-26 インペリアル カレッジ オブ サイエンス，テクノロジー アンド メディスン 三次元空間のモデリング
KR101851303B1 (ko) * 2016-10-27 2018-04-23 주식회사 맥스트 3차원 공간 재구성 장치 및 방법

Also Published As

Publication number Publication date
KR20200122870A (ko) 2020-10-28

Similar Documents

Publication Publication Date Title
JP6426968B2 (ja) 情報処理装置およびその方法
Kersten et al. Image-based low-cost systems for automatic 3D recording and modelling of archaeological finds and objects
KR101643079B1 (ko) 데이터를 위치 맞춤하는 방법
JP6363863B2 (ja) 情報処理装置および情報処理方法
JP2010109783A (ja) 電子カメラ
WO2012029658A1 (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2016194895A (ja) 室内２ｄ平面図の生成方法、装置及びシステム
CN115035235A (zh) 三维重建方法及装置
CN116168143A (zh) 一种多视图三维重建的方法
CN110517211B (zh) 一种基于梯度域映射的图像融合方法
JP4354708B2 (ja) 多視点カメラシステム
JP6762570B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
KR102195762B1 (ko) 포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법
KR101000859B1 (ko) 어안렌즈를 이용한 ｈｄｒｉ파노라마 영상 생성장치 및 방법
JP2015019346A (ja) 視差画像生成装置
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
JP2020173726A (ja) 仮想視点変換装置及びプログラム
JP7298687B2 (ja) 物体認識装置及び物体認識方法
CN113034345B (zh) 一种基于sfm重建的人脸识别方法及系统
JP7251631B2 (ja) テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム
JP2022024688A (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
JP2015080190A (ja) 抽出方法、プログラム、抽出装置および画像投影装置
JP6838912B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2022102015A1 (ja) 画像情報取得装置、画像情報取得方法及びコンピュータープログラム
JP7195785B2 (ja) ３次元形状データを生成する装置、方法、及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant