KR102085228B1 - 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치 - Google Patents

깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치 Download PDF

Info

Publication number
KR102085228B1
KR102085228B1 KR1020140036346A KR20140036346A KR102085228B1 KR 102085228 B1 KR102085228 B1 KR 102085228B1 KR 1020140036346 A KR1020140036346 A KR 1020140036346A KR 20140036346 A KR20140036346 A KR 20140036346A KR 102085228 B1 KR102085228 B1 KR 102085228B1
Authority
KR
South Korea
Prior art keywords
depth
feature point
image plane
camera
projector
Prior art date
Application number
KR1020140036346A
Other languages
English (en)
Other versions
KR20150112362A (ko
Inventor
김재헌
추창우
차영미
최진성
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140036346A priority Critical patent/KR102085228B1/ko
Priority to US14/444,030 priority patent/US9858684B2/en
Publication of KR20150112362A publication Critical patent/KR20150112362A/ko
Application granted granted Critical
Publication of KR102085228B1 publication Critical patent/KR102085228B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치가 개시된다. 본 발명의 일 실시 예에 따른 이미지 처리방법은, 대상물체를 대상으로 깊이 센서를 통해 촬영된 깊이 이미지와 컬러 카메라를 통해 촬영된 컬러 이미지를 획득하는 단계와, 획득된 이미지들을 기초로 하여 깊이 센서의 프로젝터 및 깊이 카메라 간의 기하 관계를 보정하고 프로젝터의 이미지 평면의 특징점에 대응하는 깊이 카메라의 이미지 평면의 옳은 특징점을 계산하여 깊이 센서의 깊이를 보정하는 단계를 포함한다.

Description

깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치 {Imaging processing method and apparatus for calibrating depth of depth sensor}
본 발명은 이미지 처리기술에 관한 것으로, 세부적으로는 카메라 보정기술에 관한 것이다.
마이크로소프트 사의 키넥트(Kinect)와 같이 구조 광(structured light)을 이용하여 삼각측량(triangulation)하는 깊이 센서(depth sensor)는 생산 시의 조립 공차(tolerances in manufacturing) 및 광학 부분의 오차 등에 의해 최종 사용자가 사용하게 될 때 깊이의 오차를 내포한 결과를 얻게 된다. 또한 이러한 깊이 센서와 이외의 컬러 카메라(color camera)를 같이 사용하여 대상물체의 텍스처(texture)를 동시에 추출할 때, 깊이 센서와 컬러 카메라 사이의 기하학적인 관계를 정밀하게 구해도, 깊이 센서의 깊이의 오차를 보정하지 않으면 3차원 복원되는 대상에 대한 텍스처 정보도 오류가 있게 된다. 깊이 오류를 보정하는 방법으로, 깊이 센서에서 제공되는 스테레오 디스패러티(stereo disparity)나 깊이 값의 선형 변환을 취하여 깊이 값을 보정하는 방식 등이 있다. 그러나 해당 방식들은 사용하는 모델이 근사식에 의한 것이어서 정확도의 한계를 가진다.
깊이 카메라와 컬러 카메라를 동시에 이용하는 경우 깊이 이미지에 발생할 수 있는 오차를 정확하게 보정하기 위한 이미지 처리방법 및 그 장치를 제안한다.
일 실시 예에 따른 깊이 센서의 깊이 보정을 위한 이미지 처리방법은, 대상물체를 대상으로 깊이 센서를 통해 촬영된 깊이 이미지와 컬러 카메라를 통해 촬영된 컬러 이미지를 획득하는 단계와, 획득된 이미지들을 기초로 하여 깊이 센서의 프로젝터 및 깊이 카메라 간의 기하 관계를 보정하고 프로젝터의 이미지 평면의 특징점에 대응하는 깊이 카메라의 이미지 평면의 옳은 특징점을 계산하여 깊이 센서의 깊이를 보정하는 단계를 포함한다.
다른 실시 예에 따른 깊이 센서의 깊이 보정을 위한 이미지 처리장치는, 대상물체를 대상으로 깊이 카메라에 의해 촬영된 깊이 이미지와 컬러 카메라를 통해 촬영된 컬러 이미지를 획득하는 수신부와, 수신부를 통해 획득된 이미지들을 기초로 하여 깊이 센서의 프로젝터 및 깊이 카메라 간의 기하 관계를 보정하고 프로젝터의 이미지 평면의 특징점에 대응하는 깊이 카메라의 이미지 평면의 옳은 특징점을 계산하여 깊이 센서의 깊이를 보정하는 프로세서를 포함한다.
일 실시 예에 따르면, 깊이 센서를 컬러 카메라와 동시에 사용하여 대상물체에 대한 이미지를 획득할 때에, 깊이 센서의 생산 시의 조립 공차와 운송 중의 온도 변화와 진동 등에 의하여 최종 사용자가 사용하게 될 때 발생하는 깊이의 오차를 정확하게 보정하여 카메라의 정밀도를 향상시킨다.
도 1은 본 발명의 일 실시 예에 따른 깊이 센서의 깊이 보정을 위한 이미지 처리방법을 도시한 흐름도,
도 2는 본 발명의 일 실시 예에 따른 대상물체를 도시한 참조도,
도 3은 본 발명의 일 실시 예에 따른 뎁스 센서의 프로젝터와 뎁스 카메라를 이용한 측정 원리를 도시한 참조도,
도 4는 본 발명의 일 실시 예에 따른 옳은 대응점을 찾기 위한 개념을 설명하기 위해 필요한 에피폴라 라인과 점들의 예를 도시한 참조도,
도 5는 본 발명의 일 실시 예에 따른 이미지 처리장치의 구성도이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 깊이 센서의 깊이 보정을 위한 이미지 처리방법을 도시한 흐름도이다.
도 1을 참조하면, 카메라 보정을 위해 대상물체를 3차원 공간에 배치한다(100). 이어서, 대상물체를 대상으로 깊이 센서(depth sensor)의 깊이 카메라(depth camera)를 통해 촬영한 깊이 이미지와 컬러 카메라(color camera)를 통해 촬영한 컬러 이미지를 획득한다(110). 이때, 깊이 카메라와 컬러 카메라를 통해 동시에 실시간으로 촬영된 깊이 이미지와 컬러 이미지를 획득할 수 있다. 컬러 카메라는 고해상도를 가지며, 깊이 센서는 고해상도의 깊이 맵(depth map)을 획득할 수 있다.
삼각측량 방식을 이용하여 깊이를 측정하는 깊이 센서는 구조 광(structured light)을 투사하는 프로젝터(projector)와 투사된 구조 광을 촬영하는 카메라로 구성되며, 깊이 센서의 좌표계는 이 카메라의 좌표계와 일치한다. 이 카메라를 깊이 카메라(depth camera)로 명한다. 이때, 획득된 깊이 이미지, 컬러 이미지와 측정된 깊이 센서의 깊이 값(depth value)을 저장할 수 있다. 측정된 깊이 센서의 깊이 값은 깊이 카메라로부터 측정된 3차원 좌표까지의 깊이 또는 거리를 의미하는데, 생산 시의 조립 공차와 운송 중의 온도 변화와 진동 등에 의하여 최종 사용자가 사용하게 될 때 발생하는 깊이 오차를 가지며, 실제 깊이 값과 비교하여 깊이 오차만큼의 차이가 발생한다. 이후, 본 발명에 의해 측정된 깊이를 보정한 것이 실제 깊이이다.
획득된 이미지들을 기반으로 깊이 센서와 컬러 카메라 사이의 기하관계 및 각 카메라의 내부 파라미터를 계산할 수 있다. 계산 방식은 카메라 보정방법 중 하나를 이용할 수 있으나 이에 한정되지는 않는다. 또한, 카메라 보정방법을 통해 카메라와 대상물체 간의 기하관계도 계산할 수 있다.
이어서, 프로젝터 및 깊이 카메라 간의 기하 관계를 보정(120)하고, 프로젝터의 이미지 평면의 특징점에 대응하는 깊이 카메라의 이미지 평면의 옳은 특징점을 계산하여 깊이를 보정하며 실제 3차원 좌표를 획득한다(130). 실제 3차원 좌표는 깊이 카메라를 통해 측정된 3차원 좌표를 보정한 실제 좌표이다.
도 2는 본 발명의 일 실시 예에 따른 대상물체를 도시한 참조도이다.
도 2를 참조하면, 대상물체는 적어도 하나의 평면이 포함되는 보정용 물체이다. 예를 들어, 대상물체는 도 2의 (c)에 도시된 바와 같이 다수 개의 사각평면과 다수 개의 삼각평면의 조합으로 형성되는 다면체일 수 있다. 대상물체는 동일한 패턴이 반복되는 형태일 수 있다. 이하 대상물체를 보정패턴으로 한정하여 설명한다.
도 3은 본 발명의 일 실시 예에 따른 뎁스 센서의 프로젝터와 뎁스 카메라를 이용한 측정 원리를 도시한 참조도이다.
도 3을 참조하면, 뎁스 센서는 프로젝터와 뎁스 카메라를 포함하며, 프로젝터는 구조 광을 투사하고 뎁스 카메라는 구조 광을 촬영한다. 구조 광은 예를 들어 적외선(IR)일 수 있으나, 이에 한정되지는 않는다.
{P}를 프로젝터의 좌표계, {I}를 깊이 카메라의 좌표계, πP를 프로젝터의 이미지 평면, πI를 깊이 카메라의 이미지 평면이라 명한다. 또한, 3차원 공간상의 한점 X에 대해 πP 상의 이미지 포인트를 p, πI 상의 이미지 포인트를 x라 명한다. RPI, tPI를 {P}와 {I} 사이의 회전행렬(rotation matrix)과 병진벡터(translation vector)로 명한다. 뎁스 센서는 πP 상의 p에 대응하는 πI 상의 x를 추출함에 따라 삼각측량을 통하여 3차원 정보인 3차원 좌표 X를 획득한다.
RPI, tPI의 정확한 값을 계산하기 위해서, 우선 보정패턴이 투영되는 πI 상의 영역 내의 한 점 x에 대응하는 3차원 상의 한 점 X(=[X,Y,Z])를 식 1을 이용하여 계산한다.
Figure 112014029819514-pat00001
(식 1)
식 1에서, [u,v]는 x의 이미지 좌표를, Z는 이 x에 대해 깊이 센서가 제공하는 깊이를, KI는 깊이 카메라의 내부 파라미터(intrinsic parameter)를 의미한다. [u,v,1]은 행렬 계산을 위해 1이 추가된 확장 벡터(augmented vector)이고, [u,v,1]T는 [u,v,1]의 전치행렬(transposed matrix)이다.
일 실시 예에 따른 회전행렬 RPI와 병진벡터 tPI는 식 2 및 식 3과 같이 정의할 수 있다.
Figure 112014029819514-pat00002
(식 2)
Figure 112014029819514-pat00003
(식 3)
식 3에 있어서, 75mm는 프로젝터와 깊이 카메라 간의 거리를 의미하는 것으로, 사용자 설정에 따라 변경 가능하다.
이어서, X가 πP 상에 투영된 점 p를 식 4를 이용해서 계산한다.
Figure 112014029819514-pat00004
(식 4)
x가 속한 보정패턴이 투영되는 평면 πI는 카메라 보정방식을 통해 구한 카메라와 보정패턴 사이의 기하관계를 통해 계산할 수 있다. 이 평면의 {I}의 원점으로부터의 거리를 d, {I}를 대상으로 한 평면의 수직벡터를 N이라 한다. 그러면 식 5에서와 같이 2차원 호모그래피(homography) HPI를 계산할 수 있다.
Figure 112014029819514-pat00005
(식 5)
식 5에 있어서, 회전행렬
Figure 112014029819514-pat00006
, 병진벡터
Figure 112014029819514-pat00007
는 구해야 하는 회전행렬 RPI와 병진벡터 tPI에 대한 참값이고 변수이다. πI 상에는 보정패턴과 겹치는 많은 점이 존재할 것이므로 이 점들을 하나씩 구분하기 위해 이제부터 x 대신 xi로 표기하고, xi에 대응하는 점 p를 pi로 표기한다. 이 pi에 대해 식 6을 통해 새로운 대응점
Figure 112014029819514-pat00008
를 계산한다.
Figure 112014029819514-pat00009
(식 6)
식 6에 있어서, a, b, c는 식 5의 HPI를 이용하여 계산할 수 있다.
Figure 112014029819514-pat00010
(식 7)
여기서 계산하게 되는 새로운 대응점
Figure 112014029819514-pat00011
는
Figure 112014029819514-pat00012
,
Figure 112014029819514-pat00013
가 옳은 값이라고 할 때 결정되는 pi의 옳은 대응점이라고 할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 옳은 대응점을 찾기 위한 개념을 설명하기 위해 필요한 에피폴라 라인과 점들의 예를 도시한 참조도이다.
도 4를 참조하면, 깊이 센서는 pi의 대응점을 πI 상의 에피폴라 라인 lP 상에서 찾고, 찾은 결과가 xi이다. 그러나, 실제로는 보정 오차에 의해 에피폴라 라인이 틀리므로 대응점도 오차가 있게 된다. 옳은 대응점은 옳은 에피폴라 라인
Figure 112014029819514-pat00014
에 존재하며, 깊이 센서가 대응점을 xi로 구했다는 것은 lP 상의 점 중에서 옳은 대응점
Figure 112014029819514-pat00015
에 가장 가까운 점이 xi라는 의미이다. 따라서
Figure 112014029819514-pat00016
를 (
Figure 112014029819514-pat00017
,
Figure 112014029819514-pat00018
)라 두고 x를 (
Figure 112014029819514-pat00019
,
Figure 112014029819514-pat00020
)라 두면 도 4에 도시된 바와 같이
Figure 112014029819514-pat00021
=
Figure 112014029819514-pat00022
여야 함을 알 수 있다.
식 5 및 식 6에서 계산한
Figure 112014029819514-pat00023
에서
Figure 112014029819514-pat00024
는 변수
Figure 112014029819514-pat00025
,
Figure 112014029819514-pat00026
를 내포한다. 그러면 식 8과 같이 비용함수를 변수
Figure 112014029819514-pat00027
,
Figure 112014029819514-pat00028
에 대해 최소화하여 최적의
Figure 112014029819514-pat00029
,
Figure 112014029819514-pat00030
를 구할 수 있다.
Figure 112014029819514-pat00031
(식 8)
식 8에 있어서, N은 점 x의 개수이다. 이때 비용함수를 최소화는 방식은 최적화 분야에서 개발된 어떠한 비선형 최적화 방식을 써도 상관없다. 예를 들어, Levenberg-Marquardt 알고리즘을 이용하여 비용함수에 최적화를 수행할 수 있다.
Figure 112014029819514-pat00032
,
Figure 112014029819514-pat00033
는 RPI, tPI를 보정한 값이며,
Figure 112014029819514-pat00034
,
Figure 112014029819514-pat00035
을 이용하여 깊이 센서의 깊이 값을 보정할 수 있다. 이하, πI 상의 임의의 점 xi에 대해 대응하는 깊이 값을 보정하는 방법을 설명한다. 우선, xi에 대해 수식 1과 수식 4를 이용하여 πP 상의 pi를 계산한다. 이 pi와 위에서 계산한
Figure 112014029819514-pat00036
,
Figure 112014029819514-pat00037
를 이용하면 πI 상의 에피폴라 라인
Figure 112014029819514-pat00038
을 구할 수 있다. 이때, xi의 좌표를 (ui,vi)라 두면,
Figure 112014029819514-pat00039
=
Figure 112014029819514-pat00040
이므로
Figure 112014029819514-pat00041
상의 점 중에 첫 번째 좌표가 ui인 점을 구할 수 있다. 이 점을
Figure 112014029819514-pat00042
라 두면, p,
Figure 112014029819514-pat00043
,
Figure 112014029819514-pat00044
,
Figure 112014029819514-pat00045
, KI를 이용하면 삼각측량으로 새로운 3차원 상의 점을 구할 수 있고 이 점이 보정된 결과이다.
도 5는 본 발명의 일 실시 예에 따른 이미지 처리장치(5)의 구성도이다.
도 5를 참조하면, 이미지 처리장치(5)는 수신부(52), 프로세서(54) 및 저장부(56)를 포함한다. 수신부(52)는 대상물체를 대상으로 깊이 센서의 깊이 카메라가 촬영한 깊이 이미지와, 컬러 카메라를 통해 촬영한 컬러 이미지를 획득한다.
프로세서(54)는 수신부(52)를 통해 획득된 이미지들을 기초로 하여 깊이 센서의 프로젝터 및 깊이 카메라 간의 기하 관계를 보정하고, 프로젝터의 이미지 평면의 특징점에 대응하는 깊이 카메라의 이미지 평면의 옳은 특징점을 계산하여 깊이 센서의 깊이를 보정한다. 일 실시 예에 따른 프로세서(54)는 제1 계산부(541), 제2 계산부(542) 및 제3 계산부(543)를 포함한다.
제1 계산부(541)는 깊이 카메라의 이미지 평면에서 소정의 깊이 값을 갖는 특징점에 대응하는 프로젝터의 이미지 평면의 특징점을 계산한다. 일 실시 예에 따른 제1 계산부(541)는 깊이 카메라의 이미지 평면의 특징점에 대응하는 3차원 좌표를 계산한다. 그리고, 계산된 3차원 좌표가 프로젝터의 이미지 평면에 투영되는 특징점을 계산한다. 3차원 좌표를 계산 시에 프로젝터와 깊이 카메라 간의 상대자세를 알 수 있는 회전행렬 및 병진벡터와, 깊이 카메라의 내부 파라미터를 이용하여 3차원 좌표를 계산할 수 있다.
제2 계산부(542)는 추정된 올바른 프로젝터의 자세에서의 구조 광 투사 시에 제1 계산부(541)를 통해 계산된 프로젝터의 이미지 평면의 특징점에 대응하는 깊이 카메라의 이미지 평면의 옳은 특징점을 계산한다.
일 실시 예에 따른 제2 계산부(542)는 회전행렬 보정 값 및 병진벡터 보정 값을 계산한다. 그리고, 계산된 회전행렬 보정 값 및 병진벡터 보정 값과 제1 계산부(541)를 통해 계산된 프로젝터의 이미지 평면의 특징점을 이용하여 깊이 카메라의 이미지 평면 상에서 보정된 에피폴라 라인을 계산한다. 그리고, 보정된 에피폴라 라인 내에서 회전행렬 보정 값과 병진벡터 보정 값에 따라 프로젝터의 이미지 평면의 특징점에 대응하는 깊이 카메라의 이미지 평면의 옳은 특징점에 해당하는 새로운 특징점을 검색한다.
일 실시 예에 따른 제2 계산부(542)는 깊이 카메라의 이미지 평면의 보정된 에피폴라 라인 내에 형성되는 옳은 특징점과 보정 전 에피폴라 라인 내에 형성되는 특징점의 차를 나타내는 비용함수를 최소화하여 최적의 회전행렬 보정 값과 병진벡터 보정 값을 계산한다. 즉, 제2 계산부(542)는 깊이 카메라의 이미지 평면의 보정된 에피폴라 라인 내에서 수평 픽셀 좌표가 보정 전 에피폴라 라인 내에서 계산된 특징점의 수평 픽셀 좌표와 동일한 지점을 검색하여 검색된 지점을 옳은 특징점으로 선택한다. 검색된 지점은 보정 전 에피폴라 라인의 특징점의 수직선이 보정된 에피폴라 라인과 교차하는 지점이다.
제3 계산부(543)는 제2 계산부(542)를 통해 계산된 깊이 카메라의 이미지 평면의 옳은 특징점에 대한 실제 깊이 값을 계산한다. 일 실시 예에 따른 제3 계산부(543)는 계산된 프로젝터의 이미지 평면의 특징점, 계산된 프로젝터의 이미지 평면의 특징점과 대응하는 깊이 카메라의 이미지 평면의 옳은 특징점, 회전행렬 보정 값, 병진벡터 보정 값 및 깊이 카메라 내부 파라미터를 이용한 삼각측량을 통해 깊이 카메라의 이미지 평면의 옳은 특징점에 대한 실제 깊이 값 및 실제 3차원 좌표를 계산한다.
저장부(56)에는 깊이 센서를 통해 획득된 깊이 이미지와 컬러 카메라를 통해 획득된 컬러 이미지가 저장되며, 프로세서(54)를 통해 계산된 각종 정보 또는 프로세서(54)의 계산을 위해 필요한 정보들이 저장된다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
5: 이미지 처리장치 52: 수신부
54: 프로세서 56: 저장부
541: 제1 계산부 542: 제2 계산부
543: 제3 계산부

Claims (19)

  1. 대상물체를 대상으로 깊이 센서를 통해 촬영된 깊이 이미지와 컬러 카메라를 통해 촬영된 컬러 이미지를 획득하는 단계; 및
    획득된 이미지들을 기초로 하여 깊이 센서의 프로젝터 및 깊이 카메라 간의 기하 관계를 보정하고 프로젝터의 이미지 평면의 특징점에 대응하는 깊이 카메라의 이미지 평면의 옳은 특징점을 계산하여 깊이 센서의 깊이를 보정하는 단계;
    를 포함하고,
    상기 깊이 센서의 깊이를 보정하는 단계는
    깊이 카메라의 이미지 평면에서 소정의 깊이 값을 갖는 특징점에 대응하는 프로젝터의 이미지 평면의 특징점을 계산하는 단계;
    추정된 올바른 프로젝터의 자세에서의 구조 광 투사 시에 상기 계산된 프로젝터의 이미지 평면의 특징점에 대응하는 깊이 카메라의 이미지 평면의 옳은 특징점을 계산하는 단계; 및
    상기 계산된 깊이 카메라의 이미지 평면의 옳은 특징점에 대한 실제 깊이 값을 계산하는 단계를 포함하고,
    상기 깊이 카메라의 이미지 평면의 옳은 특징점을 계산하는 단계는
    회전행렬 보정 값 및 병진벡터 보정 값을 계산하는 단계;
    계산된 프로젝터의 이미지 평면의 특징점과 회전행렬 보정 값 및 병진벡터 보정 값을 이용하여 깊이 카메라의 이미지 평면 상에서 보정된 에피폴라 라인을 계산하는 단계; 및
    보정된 에피폴라 라인 내에서 회전행렬 보정 값과 병진벡터 보정 값에 따라 프로젝터의 이미지 평면의 특징점에 대응하는 깊이 카메라의 이미지 평면의 옳은 특징점에 해당하는 새로운 특징점을 검색하는 단계를 포함하는 것을 특징으로 하는 깊이 센서의 깊이 보정을 위한 이미지 처리방법.
  2. 제 1 항에 있어서, 상기 획득하는 단계는
    대상물체를 동시에 촬영하는 깊이 센서의 깊이 카메라와 컬러 카메라를 통해 깊이 이미지와 컬러 이미지를 동시에 획득하는 것을 특징으로 하는 깊이 센서의 깊이 보정을 위한 이미지 처리방법.
  3. 삭제
  4. 제 1 항에 있어서, 상기 프로젝터의 이미지 평면의 특징점을 계산하는 단계는
    깊이 카메라의 이미지 평면의 특징점에 대응하는 3차원 좌표를 계산하는 단계; 및
    계산된 3차원 좌표가 프로젝터의 이미지 평면에 투영되는 특징점을 계산하는 단계;
    를 포함하는 것을 특징으로 하는 깊이 센서의 깊이 보정을 위한 이미지 처리방법.
  5. 제 4 항에 있어서, 상기 3차원 좌표를 계산하는 단계는
    프로젝터와 깊이 카메라 간의 상대자세를 알 수 있는 회전행렬 및 병진벡터와, 깊이 카메라의 내부 파라미터를 이용하여 3차원 좌표를 계산하는 것을 특징으로 하는 깊이 센서의 깊이 보정을 위한 이미지 처리방법.
  6. 삭제
  7. 제 1 항에 있어서, 상기 회전행렬 보정 값 및 병진벡터 보정 값을 계산하는 단계는
    호모그래피를 계산하는 단계; 및
    비용함수를 최소화하는 회전행렬 보정 값과 병진벡터 보정 값을 계산하는 단계;
    를 포함하는 것을 특징으로 하는 깊이 센서의 깊이 보정을 위한 이미지 처리방법.
  8. 제 7 항에 있어서,
    상기 호모그래피는 회전행렬 보정 값과 병진벡터 보정 값을 이용하여 계산되는 것으로, 깊이 카메라의 이미지 평면의 옳은 특징점은 계산된 프로젝터의 이미지 평면의 특징점에 호모그래피를 곱 연산한 것인 것을 특징으로 하는 깊이 센서의 깊이 보정을 위한 이미지 처리방법.
  9. 제 7 항에 있어서, 상기 비용함수를 최소화하는 회전행렬 보정 값과 병진벡터 보정 값을 계산하는 단계는
    깊이 카메라의 이미지 평면의 보정된 에피폴라 라인 내에 형성되는 옳은 특징점과 보정 전 에피폴라 라인 내에 형성되는 특징점의 차를 나타내는 비용함수를 최소화하여 최적의 회전행렬 보정 값과 병진벡터 보정 값을 계산하는 것을 특징으로 하는 깊이 센서의 깊이 보정을 위한 이미지 처리방법.
  10. 제 1 항에 있어서, 상기 깊이 카메라의 이미지 평면의 옳은 특징점에 해당하는 새로운 특징점을 검색하는 단계는
    깊이 카메라의 이미지 평면의 보정된 에피폴라 라인 내에서 수평 픽셀 좌표가 보정 전 에피폴라 라인 내의 특징점의 수평 픽셀 좌표와 동일한 지점을 검색하여 검색된 지점을 옳은 특징점으로 선택하고, 검색된 지점은 보정 전 에피폴라 라인의 특징점의 수직선이 보정된 에피폴라 라인과 교차하는 지점인 것을 특징으로 하는 깊이 센서의 깊이 보정을 위한 이미지 처리방법.
  11. 제 1 항에 있어서, 상기 계산된 깊이 카메라의 이미지 평면의 옳은 특징점에 대한 실제 깊이 값을 계산하는 단계는
    계산된 프로젝터의 이미지 평면의 특징점, 계산된 프로젝터의 이미지 평면의 특징점과 대응하는 깊이 카메라의 이미지 평면의 옳은 특징점, 회전행렬 보정 값, 병진벡터 보정 값 및 깊이 카메라 내부 파라미터를 이용한 삼각측량을 통해 깊이 카메라의 이미지 평면의 실제 깊이 값을 계산하는 것을 특징으로 하는 깊이 센서의 깊이 보정을 위한 이미지 처리방법.
  12. 제 1 항에 있어서, 상기 깊이 센서의 깊이 보정을 위한 이미지 처리방법은,
    깊이 오차 보정에 기반하여 깊이 카메라에 의해 측정된 3차원 좌표를 보정하여 실제 3차원 좌표를 계산하는 단계;
    를 더 포함하는 것을 특징으로 하는 깊이 센서의 깊이 보정을 위한 이미지 처리방법.
  13. 대상물체를 대상으로 깊이 카메라에 의해 촬영된 깊이 이미지와 컬러 카메라를 통해 촬영된 컬러 이미지를 획득하는 수신부; 및
    상기 수신부를 통해 획득된 이미지들을 기초로 하여 깊이 센서의 프로젝터 및 깊이 카메라 간의 기하 관계를 보정하고 프로젝터의 이미지 평면의 특징점에 대응하는 깊이 카메라의 이미지 평면의 옳은 특징점을 계산하여 깊이 센서의 깊이를 보정하는 프로세서;
    를 포함하고,
    상기 프로세서는
    깊이 카메라의 이미지 평면에서 소정의 깊이 값을 갖는 특징점에 대응하는 프로젝터의 이미지 평면의 특징점을 계산하는 제1 계산부;
    추정된 올바른 프로젝터의 자세에서의 구조 광 투사 시에 상기 제1 계산부를 통해 계산된 프로젝터의 이미지 평면의 특징점에 대응하는 깊이 카메라의 이미지 평면의 옳은 특징점을 계산하는 제2 계산부; 및
    상기 제2 계산부를 통해 계산된 깊이 카메라의 이미지 평면의 옳은 특징점에 대한 실제 깊이 값 및 실제 3차원 좌표를 계산하는 제3 계산부를 포함하고,
    상기 제2 계산부는
    회전행렬 보정 값 및 병진벡터 보정 값을 계산하고, 계산된 회전행렬 보정 값 및 병진벡터 보정 값과 상기 제1 계산부를 통해 계산된 프로젝터의 이미지 평면의 특징점을 이용하여 깊이 카메라의 이미지 평면 상에서 보정된 에피폴라 라인을 계산하며, 보정된 에피폴라 라인 내에서 회전행렬 보정 값과 병진벡터 보정 값에 따라 프로젝터의 이미지 평면의 특징점에 대응하는 깊이 카메라의 이미지 평면의 옳은 특징점에 해당하는 새로운 특징점을 검색하는 것을 특징으로 하는 깊이 센서의 깊이 보정을 위한 이미지 처리장치.
  14. 삭제
  15. 제 13 항에 있어서, 상기 제1 계산부는
    깊이 카메라의 이미지 평면의 특징점에 대응하는 3차원 좌표를 계산하고, 계산된 3차원 좌표가 프로젝터의 이미지 평면에 투영되는 특징점을 계산하며, 3차원 좌표를 계산 시에 프로젝터와 깊이 카메라 간의 상대자세를 알 수 있는 회전행렬 및 병진벡터와, 깊이 카메라의 내부 파라미터를 이용하여 3차원 좌표를 계산하는 것을 특징으로 하는 깊이 센서의 깊이 보정을 위한 이미지 처리장치.
  16. 삭제
  17. 제 13 항에 있어서, 상기 제2 계산부는
    깊이 카메라의 이미지 평면의 보정된 에피폴라 라인 내에 형성되는 옳은 특징점과 보정 전 에피폴라 라인 내에 형성되는 특징점의 차를 나타내는 비용함수를 최소화하여 최적의 회전행렬 보정 값과 병진벡터 보정 값을 계산하는 것을 특징으로 하는 깊이 센서의 깊이 보정을 위한 이미지 처리장치.
  18. 제 17 항에 있어서, 상기 제2 계산부는
    깊이 카메라의 이미지 평면의 보정된 에피폴라 라인 내에서 수평 픽셀 좌표가 보정 전 에피폴라 라인 내의 특징점의 수평 픽셀 좌표와 동일한 지점을 검색하여 검색된 지점을 옳은 특징점으로 선택하고, 검색된 지점은 보정 전 에피폴라 라인의 특징점의 수직선이 보정된 에피폴라 라인과 교차하는 지점인 것을 특징으로 하는 깊이 센서의 깊이 보정을 위한 이미지 처리장치.
  19. 제 13 항에 있어서, 상기 제3 계산부는
    계산된 프로젝터의 이미지 평면의 특징점, 계산된 프로젝터의 이미지 평면의 특징점과 대응하는 깊이 카메라의 이미지 평면의 옳은 특징점, 회전행렬 보정 값, 병진벡터 보정 값 및 깊이 카메라 내부 파라미터를 이용한 삼각측량을 통해 깊이 카메라의 이미지 평면의 실제 깊이 값을 계산하는 것을 특징으로 하는 깊이 센서의 깊이 보정을 위한 이미지 처리장치.
KR1020140036346A 2014-03-27 2014-03-27 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치 KR102085228B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140036346A KR102085228B1 (ko) 2014-03-27 2014-03-27 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
US14/444,030 US9858684B2 (en) 2014-03-27 2014-07-28 Image processing method and apparatus for calibrating depth of depth sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140036346A KR102085228B1 (ko) 2014-03-27 2014-03-27 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20150112362A KR20150112362A (ko) 2015-10-07
KR102085228B1 true KR102085228B1 (ko) 2020-03-05

Family

ID=54191102

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140036346A KR102085228B1 (ko) 2014-03-27 2014-03-27 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치

Country Status (2)

Country Link
US (1) US9858684B2 (ko)
KR (1) KR102085228B1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9554121B2 (en) * 2015-01-30 2017-01-24 Electronics And Telecommunications Research Institute 3D scanning apparatus and method using lighting based on smart phone
JP6566768B2 (ja) * 2015-07-30 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US10769806B2 (en) * 2015-09-25 2020-09-08 Logical Turn Services, Inc. Dimensional acquisition of packages
US10096131B2 (en) * 2015-09-25 2018-10-09 Logical Turn Services Inc. Dimensional acquisition of packages
EP3722746A1 (en) * 2015-12-18 2020-10-14 Sony Corporation Image processing apparatus and method, data, and recording medium
DE112016006213T5 (de) * 2016-01-12 2018-10-18 Mitsubishi Electric Corporation System und Verfahren zum Fusionieren von Ausgängen von Sensoren, die unterschiedliche Auflösungen aufweisen
CN105976375A (zh) * 2016-05-06 2016-09-28 苏州中德睿博智能科技有限公司 一种基于rgb-d类传感器的托盘识别和定位方法
JP6702796B2 (ja) 2016-05-16 2020-06-03 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
GB201702118D0 (en) * 2017-02-09 2017-03-29 Cathx Ocean Ltd Method and system for calibrating imaging system
US10542245B2 (en) * 2017-05-24 2020-01-21 Lg Electronics Inc. Mobile terminal and method for controlling the same
CN107730561B (zh) * 2017-10-17 2021-07-06 奥比中光科技集团股份有限公司 深度相机温度误差校正方法及系统
CN109754427A (zh) * 2017-11-01 2019-05-14 虹软科技股份有限公司 一种用于标定的方法和装置
US10706505B2 (en) * 2018-01-24 2020-07-07 GM Global Technology Operations LLC Method and system for generating a range image using sparse depth data
WO2019175629A1 (en) * 2018-03-14 2019-09-19 Nokia Technologies Oy Camera calibration and/or use of a calibrated camera
CN108550169B (zh) * 2018-04-24 2021-08-10 中北大学 三维空间中象棋棋子位置的确定及其高度的计算方法
KR102093622B1 (ko) * 2018-07-02 2020-03-27 경희대학교 산학협력단 깊이 카메라를 이용한 실시간 프로젝터 영상 보정 방법 및 장치
JP6717887B2 (ja) * 2018-07-12 2020-07-08 ファナック株式会社 距離補正機能を有する測距装置
TWI680436B (zh) * 2018-12-07 2019-12-21 財團法人工業技術研究院 深度相機校正裝置及其方法
CN110570368B (zh) * 2019-08-21 2020-09-25 贝壳技术有限公司 深度图像的畸变矫正方法、装置、电子设备及存储介质
CN111028294B (zh) * 2019-10-20 2024-01-16 奥比中光科技集团股份有限公司 一种基于深度相机的多距离标定方法及系统
KR102438853B1 (ko) * 2019-12-10 2022-09-06 한국전자기술연구원 평면 정보를 활용한 깊이 영상 추정 방법 및 시스템
CN111127528A (zh) * 2019-12-10 2020-05-08 Oppo广东移动通信有限公司 图像配准方法、终端及存储介质
US11430142B2 (en) * 2020-04-28 2022-08-30 Snap Inc. Photometric-based 3D object modeling
US11748936B2 (en) * 2021-03-02 2023-09-05 GM Global Technology Operations LLC Using epipolar reprojection for virtual view perspective change
US11790606B2 (en) * 2021-07-06 2023-10-17 Bentley Systems, Incorporated Determining camera rotations based on known translations
US11770495B2 (en) * 2021-08-13 2023-09-26 GM Global Technology Operations LLC Generating virtual images based on captured image data
CN114708331B (zh) * 2022-02-24 2023-03-14 合肥的卢深视科技有限公司 深度相机的校准方法、装置、电子设备和存储介质
CN118019955A (zh) * 2022-09-09 2024-05-10 宁德时代新能源科技股份有限公司 一种测量尺寸的方法、装置和计算机可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212663B2 (en) * 2002-06-19 2007-05-01 Canesta, Inc. Coded-array technique for obtaining depth and other position information of an observed object
US8009930B2 (en) * 2008-03-26 2011-08-30 City University Of Hong Kong Auto-calibration method for a projector-camera system
CA2666256C (en) * 2008-05-23 2015-12-29 National Research Council Of Canada Deconvolution-based structured light system with geometrically plausible regularization
KR101221449B1 (ko) 2009-03-27 2013-01-11 한국전자통신연구원 카메라간 영상 보정 장치 및 방법
US9270974B2 (en) * 2011-07-08 2016-02-23 Microsoft Technology Licensing, Llc Calibration between depth and color sensors for depth cameras
DE102012108567B4 (de) * 2011-10-05 2017-04-27 Electronics And Telecommunications Research Institute Verfahren zum Erlangen von Tiefeninformationen unter Verwendung eines Lichtmusters

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3D with Kinect, 2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops), 2011.11.6-13*
Geometric Calibration of a Structured Light System using Circular Control Points, Proceedings of 3DPVT'08 - the Fourth International Symposium on 3D Data Processing, Visualization and Transmission, 20*

Also Published As

Publication number Publication date
US9858684B2 (en) 2018-01-02
US20150279016A1 (en) 2015-10-01
KR20150112362A (ko) 2015-10-07

Similar Documents

Publication Publication Date Title
KR102085228B1 (ko) 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
US20210063144A1 (en) Method for the three dimensional measurement of moving objects during a known movement
CN109961468B (zh) 基于双目视觉的体积测量方法、装置及存储介质
AU2013379669B2 (en) Apparatus and method for three dimensional surface measurement
CN111243002A (zh) 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法
US10165262B2 (en) Image processing device and markers
JP6359259B2 (ja) デプスセンサと撮影カメラとの間の関係に基づいたデプス映像補正装置及び方法
JP6413595B2 (ja) 画像処理装置、システム、画像処理方法およびプログラム
JP2007278845A (ja) 画像処理装置及びその処理方法
JP2015057876A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
CN109827521B (zh) 一种快速多线结构光视觉测量系统标定方法
KR101453143B1 (ko) 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체
WO2017056088A2 (en) Method and system for recalibrating sensing devices without familiar targets
US11222433B2 (en) 3 dimensional coordinates calculating apparatus and 3 dimensional coordinates calculating method using photo images
US11295478B2 (en) Stereo camera calibration method and image processing device for stereo camera
JP2024501731A (ja) 複数カメラによる速度測定方法及び速度測定装置
KR20130041440A (ko) 영상 처리 장치 및 방법
CN110232715B (zh) 一种多深度相机自校准的方法、装置及系统
CN112305524A (zh) 测距方法、测距系统和计算机可读存储介质
AU2009249001B2 (en) Stereoscopic measurement system and method
KR101770866B1 (ko) 뎁스 센서와 촬영 카메라 간의 관계에 기초한 뎁스 영상 보정 장치 및 방법
Bräuer-Burchardt et al. Calibration of stereo 3D scanners with minimal number of views using plane targets and vanishing points
KR20110095466A (ko) 3차원, 가시광 및 열적외선 정보를 갖는 3ｄ 모델링 방법
OA17428A (en) Apparatus and method for three dimensional surface measurement.
JP2016136114A (ja) 画像計測装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right