KR20140095838A

KR20140095838A - 3차원 정보 복원 장치 및 방법

Info

Publication number: KR20140095838A
Application number: KR1020130008725A
Authority: KR
Inventors: 조성익
Original assignee: 한국전자통신연구원
Priority date: 2013-01-25
Filing date: 2013-01-25
Publication date: 2014-08-04
Also published as: US20140210951A1

Abstract

본 발명은 두 개 이상의 스테레오 영상에 포함된 밝기 정보를 이용하여 정규 교차 상관(normalized cross correlation)의 값을 계산하는 한편, 국부적인 에지 정보를 이용하여 정규 에지 상관(normalized edge correlation)의 값을 계산하고, 두 종류의 정합 비용(matching cost)에 기초하여 생성한 합성 변이 영상으로부터 변이 곡면 정보(disparity surface information)를 추출하는 3차원 정보 복원 장치 및 방법에 대하여 개시한다.

Description

3차원 정보 복원 장치 및 방법{Apparatus and method for recovering three dimensional information}

본 발명은 스테레오 영상을 이용하여 3차원 정보를 복원하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 두 개 이상의 스테레오 영상에 포함된 밝기 정보를 이용하여 정규 교차 상관(normalized cross correlation)의 값을 계산하는 한편, 국부적인 에지 정보를 이용하여 정규 에지 상관(normalized edge correlation)의 값을 계산하고, 두 종류의 정합 비용(matching cost)에 기초하여 생성한 합성 변이 영상으로부터 변이 곡면 정보(disparity surface information)를 추출하는 3차원 정보 복원 장치 및 방법에 관한 것이다.

사람 같은 물체의 3차원 형상 및 움직임 복원은 많은 활용 가능성을 가지고 있다. 3차원 물체의 정보 복원을 위한 하나의 방법으로 스테레오 정합 방법이 이용될 수 있는데, 스테레오 정합이란 시차(parallax)를 가지는 2 이상의 영상에서 각 영상에 포함된 변이 정보(disparity information)를 추출하여 영상에 포함된 대상 물체의 깊이 정보(depth information)를 복원하는 일련의 처리 과정을 의미한다. 스테레오 영상에서 3차원 정보를 추출하는 일반적인 과정은, 2차원 스테레오 영상에서 산출한 정합 비용 계산(matching cost calculation) 결과를 이용하여 3차원 변이 공간 영상 생성, 3차원 변이 공간 영상 내에서 일정한 공간 범위에 포함된 정합 비용을 합산(matching cost aggregation), 변이 정보 계산 및 최적화, 변이 정보 세밀화의 4단계를 거치게 된다. 이때, 2차원 스테레오 영상의 일정 영역에 포함된 화소들의 밝기 값을 이용하거나, 에지 또는 특징 정보를 이용하거나, 센서스 또는 밝기 순위 정보를 이용하여 정합 비용을 계산하며, 정합 비용 계산 결과는 3차원 변이 공간 영상에서의 한 화소의 값이 된다(D. Scharstein and R. Szeliski, 2002, "A taxonomy and evaluation of dense two-frame stereo correspondence algorithms", International Journal of Computer Vision, Vol.47, No.1-3, pp.7-42 참조).

변이 공간을 구성할 때, 각 스테레오 영상에 포함된 하나의 화소의 위치는 변이 공간 또는 일반화된 변이 공간에서 하나의 화소의 위치에 대응되므로, 변이 공간에 생성되는 화소의 값은 이에 대응되는 스테레오 영상의 화소 값을 이용하여 구성할 수 있다. 이와 같이 변이 공간 영상에 생성되는 화소의 값은 스테레오 영상의 대응 화소들이 얼마나 유사한지를 나타내는 정합 비용에 해당된다. 정합 비용은 스테레오 영상에서 각 대응 화소의 국부적인 분포를 이용하여 계산을 하게 되며, 국부 정합, 특징 정합 또는 비모수 변환 등이 이용된다.

정합 비용 계산을 위해 국부 정합을 이용하는 경우에는 중심 화소와 주변 화소의 밝기 정보 분포를 이용하며, 통상적으로 정규 교차 상관(normalized cross correlation), 대응 화소들 사이의 절대값의 차이의 합(sum of absolute difference), 값 차이의 제곱의 합(sum of squared difference) 등을 이용한다.

국부 정합 계산에 참여하는 주변 화소의 범위는 사각형이나 원과 같은 고정된 영역을 설정할 수도 있지만, 입력되는 영상의 국부적인 밝기 분포를 이용하여 중심 화소마다 참여 영역이 서로 다르도록 하는 가변 영역을 정의하여 사용할 수도 있다. 이와 관련하여, Ke Zhang의 논문 "Cross-Based Local Stereo Matching Using Orthogonal" (IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 19, NO. 7, JULY 2009)에서는 국부 정합 계산에서 참여 영역을 가변적으로 적용하는 "Cross-based local support region"이라는 방법을 개시하고 있다.

정합 비용 계산을 위해 특징 정합을 이용하는 경우에는, 대한민국 공개특허 제2011-0064197호에 개시된 바와 같이 영상에 포함된 에지(edge) 또는 경사(gradient)와 같은 특징 정보를 직접 비교하여 성긴 3차원 정보(sparse 3D information)를 생성하거나, 대한민국 등록특허 제0899422호에 개시된 바와 같이 좌측영상의 기준픽셀부터 일정방향의 에지까지의 거리와 우측영상의 기준픽셀부터 일정방향의 에지까지의 거리의 차에 대한 절대값의 합을 이용하여 3차원 정보를 계산하기도 한다.

정합 비용을 계산한 결과로서 변이 공간 영상이 구성되며, 스테레오 영상을 이용한 3차원 정보 복원은 변이 공간 영상에서 전역적인 유사도가 가장 높은 곡면을 찾는 과정이라고 할 수 있다. 전역 변이 곡면은 전역적인 비용 함수(global cost function)가 최소화되는 유일한 곡면 또는 전역적인 유사도 측정 함수(global similarity measurement function)가 최대화되는 유일한 곡면과 동일하다. 통상적으로 전역적으로 최적화된 2.5 차원 곡면 탐색의 신뢰도를 높이기 위해 정합 비용의 합산을 수행한다. 이러한 과정은 적응적인 국부 가중치를 적용하는 방법(K.J. Yoon, I.S. Kweon, 2006, "Adaptive Support-Weight Approach for Correspondence Search", IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.28, No.4 참조.), 그래프컷(graph-cut)을 이용하는 방법(V. Kolmogorov and R. Zabih, 2001, "Computing visual correspondence with occlusions using graph cuts", International Conference on Computer Vision, Vol.2, pp. 508-515 참조.), 준전역 비용 합산 방법(H. Hirschmuller, 2005, "Accurate and efficient stereo processing by semi-global matching and mutual information", Computer Vision and Pattern Recognition, Vol.2, pp.807-814 참조.) 등에 의해 수행될 수 있다.

이와 같이, 스테레오 영상을 이용하여 3차원 정보를 복원하기 위한 다양한 스테레오 정합 알고리즘이 제안되어 왔다. 영상의 밝기 정보와 에지 정보가 가지는 장점을 동시에 활용하면 신뢰도가 높은 3차원 복원이 기대됨에도 불구하고 밝기 정보를 이용한 정합 방식과 에지 정보를 이용한 정합 방식을 같은 비중으로 결합할 수 있는 방법은 아직 존재하지 않으므로, 기존의 방법으로는 스테레오 영상에서 정밀한 3차원 정보 복원이 어렵다는 문제점이 존재하고 있다.

본 발명은, 스테레오 정합을 위해 구성되는 변이 공간에 포함된 변이 정보의 신뢰도가 낮아 스테레오 정합의 정밀도 향상에 어려움을 겪는 문제를 해소하기 위해, 밝기 정보를 이용한 국부 정합 방식과 동일한 특성을 가지도록 설계된 에지 정보를 이용한 국부 정합 방식을 이용하여, 3차원 공간 영상에서 정밀한 3차원 정보를 복원할 수 있는 기술을 제공하는 것을 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명에 따른 3차원 정보 복원 장치는, 물체에 대해 상호 간에 시차(parallax)를 갖는 두 개 이상의 영상들을 획득하는 스테레오 영상 획득부; 에지 연산자(edge operator)를 이용하여 상기 스테레오 영상들 각각에 대한 특징 정보인 에지 정보를 생성하는 에지 정보 생성부; 상기 스테레오 영상들 각각에 대해 생성된 에지 정보를 이용하여 상기 스테레오 영상들 간의 대응 화소들에 대한 정규 에지 상관 계수를 계산하는 정규 에지 상관 계산부; 상기 스테레오 영상들 간의 대응 화소들에 대해 계산된 정규 에지 상관 계수에 기초하여 3차원의 에지 변이 공간 영상을 생성하는 에지 변이 공간 영상 생성부; 및 상기 에지 변이 공간 영상을 이용하여 변이 곡면 정보를 추출하는 변이 정보 추출부를 포함하는 것을 특징으로 한다.

이때, 상기 에지 정보 생성부는, 상기 스테레오 영상들 간의 대응 화소들에 대해 에지 벡터들을 산출하여 상기 에지 정보를 생성할 수 있다.

이때, 상기 정규 에지 상관 계산부는, 상기 스테레오 영상들 간의 대응 화소들에 대해 산출된 에지 벡터들 사이의 기하학적 특성을 이용하여 상기 정규 에지 상관 계수를 계산할 수 있다.

이때, 상기 스테레오 영상들 간의 대응 화소들에 대해 산출된 에지 벡터들 사이의 기하학적 특성은 상기 에지 벡터들 사이의 각도일 수 있다.

이때, 본 발명에 따른 3차원 정보 복원 장치는, 상기 스테레오 영상들 각각에 대한 중심 화소와 상기 중심 화소를 기준으로 하는 주변 화소들의 밝기 정보를 이용하여 상기 스테레오 영상들 간의 대응 화소들에 대한 정규 교차 상관 계수를 계산하는 정규 교차 상관 계산부를 더 포함할 수 있다.

이때, 본 발명에 따른 3차원 정보 복원 장치는, 상기 스테레오 영상들 간의 대응 화소들에 대해 계산된 정규 교차 상관 계수에 기초하여 3차원의 밝기 변이 공간 영상을 생성하는 밝기 변이 공간 영상 생성부를 더 포함할 수 있다.

이때, 본 발명에 따른 3차원 정보 복원 장치는, 상기 에지 변이 공간 영상 생성부에 의해 생성된 상기 에지 변이 공간 영상과 상기 밝기 변이 공간 영상 생성부에 의해 생성된 밝기 변이 공간 영상을 하나의 3차원 공간 영상으로 합성하는 변이 공간 영상 합성부를 더 포함할 수 있다.

이때, 상기 변이 정보 추출부는, 상기 에지 변이 공간 영상과 상기 밝기 변이 공간 영상이 합성된 3차원 공간 영상으로부터 변이 곡면 정보를 추출할 수 있다.

또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 3차원 정보 복원 방법은, 스테레오 영상 획득부가 물체에 대해 상호 간에 시차를 갖는 스테레오 영상들을 획득하는 단계; 에지 정보 생성부가 에지 연산자를 이용하여 상기 스테레오 영상들 각각에 대한 특징 정보인 에지 정보를 생성하는 단계; 정규 에지 상관 계산부가 상기 스테레오 영상들 각각에 대해 생성된 에지 정보를 이용하여 상기 스테레오 영상들 간의 대응 화소들에 대한 정규 에지 상관 계수를 계산하는 단계; 에지 변이 공간 영상 생성부가 상기 스테레오 영상들 간의 대응 화소들에 대해 계산된 정규 에지 상관 계수에 기초하여 3차원의 에지 변이 공간 영상을 생성하는 단계; 및 변이 정보 추출부가 상기 에지 변이 공간 영상으로부터 변이 곡면 정보를 추출하는 단계를 포함할 수 있다.

이때, 상기 스테레오 영상들 각각에 대한 특징 정보인 에지 정보를 생성하는 단계는, 상기 스테레오 영상들 간의 대응 화소들에 대해 에지 벡터들을 산출하여 상기 에지 정보를 생성하는 단계를 포함할 수 있다.

이때, 상기 스테레오 영상들 간의 대응 화소들에 대한 정규 에지 상관 계수를 계산하는 단계는, 상기 스테레오 영상들 간의 대응 화소들에 대해 산출된 에지 벡터들 사이의 기하학적 특성을 이용하여 상기 정규 에지 상관 계수를 계산하는 단계를 포함할 수 있다.

또한, 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 3차원 정보 복원 방법은, 스테레오 영상 획득부가 물체에 대해 상호 간에 시차를 갖는 스테레오 영상을 획득하는 단계; 정규 교차 상관 계산부가 상기 스테레오 영상들 각각에 대한 중심 화소와 상기 중심 화소를 기준으로 하는 주변 화소들의 밝기 정보를 이용하여 상기 스테레오 영상들 간의 대응 화소들에 대한 정규 교차 상관 계수를 계산하는 단계; 밝기 변이 공간 영상 생성부가 상기 스테레오 영상들 간의 대응 화소들에 대해 계산된 정규 교차 상관 계수에 기초하여 3차원의 밝기 변이 공간 영상을 생성하는 단계; 에지 정보 생성부가 에지 연산자를 이용하여 상기 스테레오 영상들 각각에 대한 특징 정보인 에지 정보를 생성하는 단계; 정규 에지 상관 계산부가 상기 스테레오 영상들 각각에 대해 생성된 에지 정보를 이용하여 상기 스테레오 영상들 간의 대응 화소들에 대한 정규 에지 상관 계수를 계산하는 단계; 에지 변이 공간 영상 생성부가 상기 스테레오 영상들 간의 대응 화소들에 대해 계산된 정규 에지 상관 계수에 기초하여 3차원의 에지 변이 공간 영상을 생성하는 단계; 변이 공간 영상 합성부가 상기 밝기 변이 공간 영상 생성부에 의해 생성된 상기 밝기 변이 공간 영상과 상기 에지 변이 공간 영상 생성부에 의해 생성된 상기 에지 변이 공간 영상을 하나의 3차원 공간 영상으로 합성하는 단계; 및 상기 에지 변이 공간 영상과 상기 밝기 변이 공간 영상이 합성된 3차원 공간 영상으로부터 변이 곡면 정보를 추출하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 밝기 정보를 이용한 국부 정합 방식과 동일한 특성을 가지도록 설계된 에지 정보를 이용한 국부 정합 방식을 이용하여, 3차원 공간 영상에서 정밀한 3차원 정보를 복원할 수 있는 기술을 제공할 수 있는 효과가 있다.

또한, 본 발명에 따르면, 스테레오 영상에서 주변 화소의 밝기 분포의 영향을 미리 포함하고 있는 에지 정보로부터 계산한 정규 에지 상관 계수를 이용하여 정합 비용을 계산하는 방법을 이용함으로써, 통상적으로 사용되는 정규 교차 상관 계수를 이용한 방식과 비교하여 신뢰도가 높은 정합 결과를 제공할 수 있는 효과가 있다.

도 1은 본 발명에 따른 3차원 정보 복원 장치의 구성을 설명하기 위한 블록도이다.
도 2a 및 도 2b는 2개의 스테레오 영상 각각에서 대응 화소에 대해 계산되는 에지 벡터를 예시적으로 나타내는 도면이다.
도 3은 하나의 스테레오 영상의 대응 화소에 대한 에지 벡터와 다른 스테레오 영상의 대응 화소에 대한 에지 벡터 간의 기하학적 의미를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 3차원 정보 복원 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 3차원 정보 복원 방법을 설명하기 위한 흐름도이다.
도 6은 정규 교차 상관과 에지 상관 간의 매칭 오차를 예시적으로 나타내는 그래프이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 3차원 정보 복원 장치 및 방법에 대하여 설명하면 다음과 같다. 본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니된다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

이하에서는 도 1 내지 도 3을 참조하여, 본 발명에 따른 3차원 정보 복원 장치의 구성 및 그 동작에 대하여 설명하도록 한다.

도 1은 본 발명에 따른 3차원 정보 복원 장치의 구성을 설명하기 위한 블록도이다.

도 1을 참조하면, 본 발명에 따른 3차원 정보 복원 장치는, 스테레오 카메라 등과 같은 촬상 수단을 이용하여 시차를 가지도록 물체를 촬영한 두 개 이상의 영상들을 획득하는 스테레오 영상 획득부(100), 스테레오 영상들 각각의 모든 대응 화소들에 대해 정규 교차 상관(normalized cross correlation)의 정합 비용(matching cost)을 계산하여 밝기 변이 공간 영상(disparity space image)을 생성하는 밝기 변이 공간 생성부(200), 스테레오 영상들 각각의 모든 대응 화소들에 대해 정규 에지 상관(normalized edge correlation)의 정합 비용을 계산하여 에지 변이 공간 영상을 생성하는 에지 변이 공간 생성부(300), 상기 밝기 변이 공간 영상과 상기 에지 변이 공간 영상을 하나의 3차원 공간 영상으로 합성하는 변이 공간 영상 합성부(400) 및 에지 변이 공간 생성부(300)에 의해 생성된 에지 변이 공간 영상으로부터 변이 곡면 정보를 추출하거나 상기 변이 공간 영상 합성부(400)에 의해 합성된 3차원 공간 영상으로부터 변이 곡면 정보를 추출하는 변이 정보 추출부(500)로 구성된다. 이때, 밝기 변이 공간 생성부(200)는 정규 교차 상관 계산부(220)와 밝기 변이 공간 영상 생성부(240)를 포함하고, 에지 변이 공간 생성부(300)는 에지 정보 생성부(320), 정규 에지 상관 계산부(340) 및 에지 변이 공간 영상 생성부(360)를 포함한다.

스테레오 영상 획득부(100)는 통상적인 스테레오 카메라 또는 스테레오 비디오 카메라 등과 같은 다양한 촬상 수단을 이용하여 특정한 물체에 대해 상호 간에 시차(parallax)를 갖는 복수의 영상들을 획득한다. 이때, 스테레오 영상 획득부(100)는 2대 이상의 촬상 수단을 이용하여 동일 시점에서 시차를 갖는 영상들을 획득하거나, 1대의 촬상 수단을 이용하여 시간 차이(time difference)를 두고 영상들을 획득하여 이동 물체의 움직임이 시차를 갖는 영상들을 획득할 수 있다.

정규 교차 상관 계산부(220)는, 스테레오 영상 획득부(100)에 의해 획득된 상호 간에 시차를 갖는 스테레오 영상들에서 각각의 중심 화소와 중심 화소를 기준으로 하는 주변 화소들의 밝기 정보를 이용하여 스테레오 영상들 간에 대응되는 화소들에 대한 정규 교차 상관 계수를 계산한다. 즉, 정규 교차 상관 계산부(220)는 스테레오 영상 획득부(100)에 의해 획득된 상호 간에 시차를 갖는 2개의 스테레오 영상들 간의 대응점에 대한 정합 비용을 계산하기 위해 정규 교차 상관을 이용한다. 이때, 정규 교차 상관 계산부(220)가 2개의 스테레오 영상들에 각각의 중심 화소와 주변 화소들의 밝기 정보를 이용하여 산출하는 정규 교차 상관 계수 이하, 첨부된 도면을 참조하여 본 발명에 따른 3차원 정보 복원 장치 및 방법에 대하여 설명하면 다음과 같다. 본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니된다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

정규 교차 상관 계산부(220)는, 스테레오 영상 획득부(100)에 의해 획득된 상호 간에 시차를 갖는 스테레오 영상들에서 각각의 중심 화소와 중심 화소를 기준으로 하는 주변 화소들의 밝기 정보를 이용하여 스테레오 영상들 간에 대응되는 화소들에 대한 정규 교차 상관 계수를 계산한다. 즉, 정규 교차 상관 계산부(220)는 스테레오 영상 획득부(100)에 의해 획득된 상호 간에 시차를 갖는 2개의 스테레오 영상들 간의 대응점에 대한 정합 비용을 계산하기 위해 정규 교차 상관을 이용한다. 이때, 정규 교차 상관 계산부(220)가 2개의 스테레오 영상들에 각각의 중심 화소와 주변 화소들의 밝기 정보를 이용하여 산출하는 정규 교차 상관 계수

은 하기의 수학식 1에 의해 계산될 수 있다.

여기서, f와 g는 각각 2개의 스테레오 영상들에서 어느 하나의 스테레오 영상(이하, 'F'라 표현하기로 한다.)과 다른 하나의 스테레오 영상(이하, 'G'라 표현하기로 한다.)에 있는 특정한 중심 화소의 밝기 값과 그 주변 화소의 밝기 값을 의미하며, 2개의 스테레오 영상들 중 어느 하나의 스테레오 영상에서의 중심 화소의 위치 좌표가

이고, 예상되는 변이 값(disparity value)이 d라고 가정하면, f와 g는 각각

와

로 나타낼 수 있다. 또한,

는 중심 화소를 기준으로 하는 주변 화소들의 집합을 의미하며,

는 중심 화소의 위치 좌표를 중심으로

에 위치하는 화소를 원소(element)로 갖는다. 또한, 스테레오 영상 F에서

의 범위 내에 포함되는 화소들인

의 밝기 값의 평균 값은

으로 나타낼 수 있고, 스테레오 영상 G에서

의 범위 내에 포함되는 화소들인

의 밝기 값의 평균 값은

로 나타낼 수 있다.

한편, 정규 교차 상관 계수는 피어슨의 상관 계수(Pearson's correlation coefficient)로 불리기도 하며, 그 기하학적 의미는 2개의 스테레오 영상 F와 G에서

의 범위에 포함되는 화소들인

와

을 2차원 분포도(2-dimensional scattergram)로 표현하는 경우, 2개의 선형 회기선(linear regression line) 사이의 각도를 의미한다. 즉,

를

에 투영하여 얻은 선형 회기선을

라 하고,

를

에 투영하여 얻은 선형 회기선을

라 하는 경우, 피어슨의 상관 계수는

로 표현될 수 있다. 여기서,

는 2개의 선형 회기선 사이의 각도를 의미하며, 피어슨의 상관 계수는 2개의 선형 회기선 벡터의 내적(inner product)을 의미한다. 이때, 정규 교차 상관 계수는 -1.0와 +1.0 사이의 값을 가지며, 정규 교차 상관 계수가 +1.0인 경우에는 두 데이터 집합

와

가 2차원 영상에서 완전히 동일한 밝기 분포를 갖는다는 것을 의미한다.

밝기 변이 공간 영상 생성부(240)는 정규 교차 상관 계산부(220)에 의해 계산된 스테레오 영상들 간의 대응 화소들에 대한 정규 교차 상관 계수에 기초하여 3차원의 밝기 변이 공간 영상을 생성한다. 즉, 밝기 변이 공간 영상 생성부(240)는 정규 교차 상관 계산부(220)에서 계산된 스테레오 영상들의 모든 대응 화소들에 대한 정합 비용(정규 교차 상관 계수)을 이용하여 3차원의 변이 공간 영상을 생성한다. 보다 구체적으로, 정규 교차 상관 계산부(220)에 의해 2개의 스테레오 영상 F와 G에 포함되는 대응 화소인

와

에 대해 정합 비용인 정규 교차 상관 계수

가 계산됨에 따라, 2차원 스테레오 영상의 화소 위치인

각각에 대하여 모든 변이 위치 d에 대한 정합 비용이 계산되므로, 밝기 변이 공간 영상 생성부(240)는 3차원 좌표

에 의해 정의되는 밝기 변이 공간 영상을 생성한다.

에지 정보 생성부(320)는 에지 연산자(edge operator)를 이용하여 스테레오 영상 획득부(100)에 의해 획득된 스테레오 영상들 각각에 대한 특징 정보인 에지 정보(edge information)를 생성한다. 이때, 에지 정보 생성부(320)는 소벨 연산자(Sobel operator) 또는 프리위트 연산자(Prewitt operator) 등과 같은 에지 연산자를 이용하거나, 영상의 국부적인 밝기 분포를 평면으로 피팅(fitting)하여 2개의 스테레오 영상 F와 G 각각에 대해 에지 정보를 추출할 수 있다.

보다 구체적으로, 에지 정보 생성부(320)가 소벨 연산자를 이용하여 2개의 스테레오 영상 F와 G 각각에 대해 에지 정보를 추출하는 경우, 에지 정보 생성부(320)는 일반적으로 널리 알려진 3x3 소벨 연산자를 이용하여 하기의 수학식 2 및 수학식 3에 따라 에지 벡터를 계산할 수 있다.

여기서,

는 스테레오 영상 F에서

에 위치하는 화소점

에서

인 3x3 연산자를 이용하여 계산한 수평 방향의 에지 벡터의 크기를 의미한다. 또한,

는 스테레오 영상 F에서

에 위치하는 화소점

에서

인 3x3 연산자를 이용하여 계산한 수직 방향의 에지 벡터의 크기를 의미한다. 또한,

는 행열 형식으로 표현되는 소벨 커널(sobel kernel)을

에 적용하는 것을 의미하고,

는 에지 정보의 계산을 위해 사용되는 주변 화소의 범위(즉, 가중치인 커널의 크기)를 의미한다.

한편, 3X3 소벨 커널은 하기의 수학식 4에서 표현되는 바와 같이 분해가 가능하므로, 이러한 특성을 이용하여 소벨 커널을

인 3X3 소벨 커널 뿐만 아니라, 일반적인 크기로 확장이 가능하다.

예를 들어,

인 5X5 소벨 커널은 하기의 수학식 5와 같이 나타낼 수 있고,

인 7X7 소벨 커널은 하기의 수학식 6과 같이 나타낼 수 있다.

이때, 수학식 5 및 수학식 6에서 좌측에 표현되는 컬럼 벡터는 이항 계수로 표현된다.

또한, 에지 정보 생성부(320)는 에지 벡터를 계산하기 위해, 상대적으로 낮은 가중치(weighting factor)를 가지는 다른 형태의 소벨 커널로서,

인 경우에는 하기의 수학식 7과 같이 표현되는 5X5 소벨 커널을 이용할 수 있고,

인 경우에는 하기의 수학식 8과 같이 표현되는 5X5 소벨 커널을 이용할 수 있다.

한편, 에지 정보 생성부(320)가 프리위트 연산자를 이용하여 2개의 스테레오 영상 F와 G 각각에 대해 에지 정보를 추출하는 경우, 에지 정보 생성부(320)에서의 에지 벡터의 계산은 소벨 연산자의 커널에서 양수인 값을 1로 치환하고 음수인 값을 -1로 치환함으로써 수행될 수 있다.

에지 정보 생성부(320)가 영상의 국부적인 밝기 분포를 평면으로 피팅하여 2개의 스테레오 영상 F와 G 각각에 대해 에지 정보를 추출하는 경우, 에지 정보 생성부(320)는 2개의 스테레오 영상 F와 G의 국부적인 밝기 분포를 평면으로 피팅하여 수평 방향과 수직 방향에 대한 에지 벡터의 크기를 계산할 수 있다. 국부적인 밝기 분포에 따라 피팅되는 평면에 대한 방정식을

라 하면, u와 v는 중심 화소

의 주변에서 에지 벡터의 크기 계산에 참여하는 참여 영역

에 속하는 화소의 위치 좌표

의 좌표 값을 의미하고,

는 피팅되는 평면의 국부 위치 좌표에 따른 화소의 밝기 값을 의미한다. 여기서, A, B 및

는 국부적으로 피팅이 이루어진 평면의 파라미터를 의미한다. 이때, 국부적인 밝기 분포를 반영하는 평면의 방정식은 최소 제곱 피팅(least square fitting), 직교 회기 피팅(orthogonal regression fitting), 랜색 피팅(RANSAC fitting) 등과 같은 공지된 방식을 사용하여 산출할 수 있다. 영상에서 하나의 중심 화소

에 대해 에지 벡터의 크기 계산에 참여하는 참여 영역

를 이용하여 피팅한 평면의 방정식을

라 하면, 수평 방향의 위치 벡터의 크기와 수직 방향의 에지 벡터의 크기는 각각

와

가 된다. 이때, 에지 정보 생성부(320)가 평면 피팅 방식을 이용하여 에지 벡터의 크기를 구하는 과정에서, 에지 벡터의 크기 계산에 참여하는 참여 영역은 반드시 사각형의 형태로 고정될 필요는 없다. 예를 들어, Ke Zhang의 논문 "Cross-Based Local Stereo Matching Using Orthogonal" (IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 19, NO. 7, JULY 2009)에서 제시하고 있는 바와 같이, 각 중심 화소에 따라 가변적으로 변하는 참여 영역을 정의하고, 그 참여 영역에 포함된 화소들의 국부적인 밝기 분포를 이용하여 평면 피팅을 수행하고, 그 결과를 이용하여 에지 벡터의 크기를 계산할 수 있다.

정규 에지 상관 계산부(340)는 에지 정보 생성부(320)에 의해 스테레오 영상들 각각에 대해 생성된 에지 정보를 이용하여 스테레오 영상들 간의 대응 화소들에 대한 정규 에지 상관 계수를 계산한다. 즉, 정규 에지 상관 계산부(340)는 에지 정보 생성부(320)에 의해 계산된 수평 방향의 에지 벡터와 수직 방향의 에지 벡터의 기하학적 특성을 이용하여 정규 교차 상관과 같은 특성을 갖는 정합 비용을 계산한다. 예시적으로, 스테레오 영상 F의 대응 화소

에 대해 계산되는 에지 벡터가 도 2a와 같이 표현되고, 스테레오 영상 G의 대응 화소

에 대해 계산되는 에지 벡터가 도 2b와 같이 표현된다고 할 때, 스테레오 영상 F의 대응 화소에 대한 에지 벡터와 스테레오 영상 G의 대응 화소에 대한 에지 벡터 간의 기하학적 의미는 도 3과 같이 나타날 수 있다. 도 2a 및 도 2b를 참조하면, 스테레오 영상 F에서 중심 화소

와 주변 화소

의 밝기 정보를 이용하여 계산한 에지 벡터는

이고, 스테레오 영상 G에서 중심 화소

와 주변 화소

의 밝기 정보를 이용하여 계산한 에지 벡터는

이다. 스테레오 영상 F와 G에서

와

가 한 쌍의 대응 화소를 형성하므로, 해당 위치에서 스테레오 영상 F와 G의 에지 정보에 의한 매칭 비용은 도 3에 나타난 바와 같이 에지 벡터

와

사이의 각도인

에 의해 표현될 수 있다.

만약, 에지 벡터

와

의 방향이 서로 일치하여

라면, 스테레오 영상들의 대응 화소

및

와 주변 화소가 나타내는 스테레오 영상 F와 G의 밝기 특성이 서로 일치한다고 해석될 수 있다. 반면, 에지 벡터

와

의 방향이 크게 어긋나서

라면, 스테레오 영상 F와 G의 밝기 특성은 유사도가 거의 없다고 해석될 수 있다. 또한, 에지 벡터

와

의 방향이 서로 정반대여서

라면, 스테레오 영상 F와 G의 밝기 분포는 서로 정반대의 특성을 갖는다고 해석될 수 있다. 따라서, 피어슨의 상관 계수와 유사한 방식으로 정규 에지 상관(Normalized Edge Correlation)을 정의할 수 있다. 이를 위해, 정규화된 수직 방향의 에지 벡터와 수평 방향의 에지 벡터를 정의한다. 먼저, 한 화소

에 대한 에지 벡터 전체의 크기

는 수평 방향의 에지 벡터와 수직 방향의 에지 벡터의 크기를 이용하여 하기의 수학식 9와 같이 정의된다.

또한, 정규화된 수직 방향의 에지 벡터

를 하기의 수학식 10과 같이 정의하고, 정규화된 수평 방향의 에지 벡터

를 하기의 수학식 11과 같이 정의한다.

마지막으로, 정규 에지 상관 계수

를 하기의 수학식 12와 같이 정의한다.

여기서,

는

위치에서

범위 내에 포함되는 주변 화소들을 이용하여 계산한 스테레오 에지 벡터 사이의 각도에 대한 코사인 값을 의미하고,

는 주변 화소들의 정보를 취합하는 범위를 의미한다. 즉, 정규 에지 상관 계수의 계산 과정에서의

는 정규 교차 상관 계수의 계산 과정에서의

에 대응되는 의미를 갖는다.

정규 에지 상관에서의 코사인 값은 두 벡터의 내적(inner product)을 의미하므로

는 하기의 수학식 13과 같이 표현될 수 있다.

여기서,

,

이다. 정규 에지 상관 계수

는 정규 교차 상관 계수와 마찬가지로 -1.0와 +1.0 사이의 값을 가지며, 값이 +1.0인 경우 두 데이터 집합

와

는 2차원 영상에서 완전히 동일한 에지 정보를 가진다는 것을 의미한다.

에지 변이 공간 영상 생성부(360)는 스테레오 영상들 간의 대응 화소들에 대해 계산된 정규 에지 상관 계수에 기초하여 3차원의 에지 변이 공간 영상을 생성한다. 즉, 에지 변이 공간 영상 생성부(360)는 정규 에지 상관 계산부(340)에서 계산된 모든 대응 화소들에 대한 정합 비용을 이용하여 3차원의 변이 공간 영상 (disparity space image)을 생성한다. 보다 구체적으로, 정규 에지 상관 계산부(340)에 의해 스테레오 영상 F와 G에 포함되는 대응 화소인

와

에 대해 에지에 기반을 둔 정합 비용

가 계산됨에 따라, 2차원 스테레오 영상의 화소 위치인

각각에 대해 모든 변이 위치 d에 대한 정합 비용이 계산되므로, 에지 변이 공간 영상 생성부(360)는 3차원 좌표

에 의해 정의되는 에지 변이 공간 영상을 생성한다. 일반적으로, 정규 교차 상관 계수

를 계산하는 과정에서 주변 화소의 범위인

를 스테레오 영상 전체에 대하여 일정한 크기로 확정하여 사용한다. 정규 에지 상관 계수

를 계산을 위해 사용하는 주변 화소의 범위인

또한

와 동일한 범위를 갖도록 하거나, 스테레오 영상 전체에 대하여 일정한 범위로 확정할 수 있다. 그러나, 반드시 스테레오 영상 전체에 대하여 동일한 범위로 확정되어야 하는 것은 아니다. 에지 벡터의 전체 크기

는 스테레오 영상의 한 중심 화소

와 주변 화소들의 밝기 분포가 얼마나 급격히 변하고 있는지에 대한 정보를 반영하고 있으므로, 이 정보를 이용하여

와

의 범위를 가변적으로 지정할 수 있다. 즉, 주변 화소의 밝기 변화가 큰 영역에서는 상대적으로 좁은 범위로

와

의 범위를 지정하고, 주변 화소의 밝기 변화가 작은 영역에서는 상대적으로 넓은 범위로

와

의 범위를 지정할 수 있다. 이와 같은 가변적인 윈도우 크기(즉, 가변적인

와

의 범위)는 다음과 같은 수학식 14를 이용하여 지정할 수 있다.

여기서, S와 T는 미리 정해진 상수이며,

은 자연 로그(natural logarithm)를 의미하고,

는 에지 벡터의 전체 크기를 백분율로 나타낸 것이다. 이때, 에지 벡터의 전체 크기에 대한 백분율인

에 1을 더하는 이유는 자연 로그의 값이 0에서는 정의되지 않기 때문이다. 이때, 에지 벡터의 전체 크기에 대한 백분율

는 하기의 수학식 15에 의해 정의된다.

여기서,

는 중심 화소

에 대한 에지 벡터의 전체의 크기를 의미하고,

는 에지 커널 전체의 가중치에 영상의 최고 밝기값을 곱한 값을 의미한다. 에지 커널에서

인 경우,

는 커널 전체의 가중치의 합인 27(=2+4+6+8+2+1+2+3+2+1)에 영상의 최고 밝기 값을 곱한 값으로 정의된다. 예를 들어, 스테레오 영상의 한 화소가 8bit의 밝기 정보를 가지는 경우 영상의 최고 밝기 값은 255가 되므로

가 된다. S와 T는 미리 정해진 상수로써, S는

일 때 스테레오 영상에서 택스쳐(texture)가 거의 없는 영역에 할당 가능한 최대의 윈도우 크기를 의미하고, T는

일 때 밝기 변화가 가장 큰 영역에 할당 가능한 최소 윈도우 크기를 의미한다.

와

에 대하여 동일한 S와 T를 사용하는 것이 바람직하지만, 반드시 S와 T를 동일한 값으로 사용해야 하는 것은 아니다.

변이 공간 영상 합성부(400)는 밝기 변이 공간 영상 생성부(240)에 의해 생성된 밝기 변이 공간 영상과 에지 변이 공간 영상 생성부(360)에 의해 생성된 에지 변이 공간 영상을 하나의 3차원 공간 영상으로 합성한다. 즉, 변이 공간 영상 합성부(400)는 영상의 밝기 정보를 이용하는 정규 상관 정합 방식에 따라 밝기 변이 공간 영상 생성부(240)에 의해 생성된 3차원의 밝기 변이 공간 영상과 영상의 특징 정보를 이용하는 정규 에지 정합 방식에 따라 에지 변이 공간 영상 생성부(360)에 의해 생성된 3차원의 에지 변이 공간 영상을 하나의 3차원 공간 영상으로 합성한다. 두 종류의 3차원 변이 공간 영상의 합성이 논리적으로 가능한지 여부는 정규 교차 상관 계수와 정규 에지 상관 계수의 기하학적 의미로부터 분석이 가능하다. 이때, 정규 교차 상관의 계수인 피어슨 상관 계수는 하나의 스테레오 영상의 공간 및 밝기 특성을 다른 스테레오 영상에 투영하여 얻어지는 선형 회기식에 의한 직선 사이의 각도에 해당하는 기하학적 의미를 가지고, 정규 에지 상관 계수의 기하학적 의미는 피어슨의 상관 계수와의 비교를 통해 해석이 가능하다. 정규 에지 상관에서 계산되는 에지 벡터는 하나의 스테레오 영상의 공간 및 밝기 특성을 이용하여 중심 화소와 주변 위치들에 대한 밝기 분포를 대표할 수 있는 정보를 계산한 결과를 의미한다. 즉, 정규 에지 상관에서 계산되는 에지 벡터는 다른 스테레오 영상의 공간 및 밝기 특성을 참조하지 않은 상태에서 계산한 벡터이다. 정규 에지 상관은 하나의 스테레오 영상의 공간 및 밝기 특성을 다른 스테레오 영상에 투영하거나 선형 상관 관계를 구하지 않는다는 점에서는 피어슨 상관 계수에서의 회기식과 다른 개념을 갖는다. 그러나, 하나의 스테레오 영상의 공간 및 밝기 특성을 대표하는 벡터를 구하여 다른 스테레오 영상의 벡터와 내적을 구한다는 점에서는 두 상관 계수는 유사한 특성을 갖는다. 영상의 밝기 분포를 나타내는 스테레오 벡터의 내적을 계산한다는 점에서 정규 교차 상관과 정규 에지 상관은 동일한 기하학적 구조와 특성을 갖고, 정규 교차 상관 계수와 정규 에지 상관 계수의 범위는 -1.0과 +1.0의 사이로 한정되므로, 에지 변이 공간 영상과 밝기 변이 공간 영상의 합성이 가능하다.

한편, 밝기 변이 공간 영상에서의 하나의 화소의 값을

라 하고, 동일한 위치에서의 에지 변이 공간 영상의 화소의 값을

라 할 경우, 최종적으로 합성되는 변이 공간 영상의 화소의 값

는 하기의 수학식 16에 의해 정의된다.

여기서,

는 영상 전체에서 동일한 값을 가지도록 고정하거나, 각 화소의 밝기 분포 특성에 따라 다른 값을 가지도록 변동될 수 있다. 각 화소에서 다른 값을 가지도록

를 변동시키는 경우, 에지 벡터의 전체 크기를 백분율로 나타낸

를 이용하여 하기의 수학식 17과 같은 방정식에 따라

의 값을 정의할 수 있다.

여기서,

은 허용 가능한

의 최소값을 의미한다. 예를 들어

이면,

는 0.3 내지 0.7의 값을 갖게 된다. 스테레오 영상에 택스쳐가 거의 없어서

인 경우에는,

가 0.3의 값을 갖게 되므로,

가 되어 정규 교차 상관 계수에 0.7을 곱하고, 정규 에지 상관 계수에 0.3을 곱한 새로운 값이 합성되는 변이 공간 영상의 화소 값이 된다. 에지 정보가 강하여

인 경우에는,

가 0.58의 값을 갖게 되므로,

가 된다.

변이 정보 추출부(500)는 변이 공간 영상 합성부(400)에 의해 에지 변이 공간 영상과 밝기 변이 공간 영상이 합성된 3차원 공간 영상으로부터 변이 곡면 정보(disparity surface information)를 추출한다. 경우에 따라, 변이 정보 추출부(500)는, 변이 공간 영상 합성부(400)에 의해 생성된 3차원 공간 영상이 아닌, 에지 변이 공간 영상 생성부(360)에 의해 생성된 에지 변이 공간 영상만을 이용하여 변이 곡면 정보를 추출할 수 있다. 이때, 변이 정보 추출부(500)는 변이 공간 영상 합성부(400)에 의해 생성된 3차원 공간 영상, 또는 에지 변이 공간 영상 생성부(360)에 의해 생성된 에지 변이 공간 영상에서 국부적인 최적 해(locally optimized solution) 또는 전역적인 최적 해(globally optimized solution)를 찾아 변이 곡면 정보를 추출할 수 있다. 변이 정보 추출부(500)가 에지 변이 공간 영상과 밝기 변이 공간 영상이 합성된 3차원 공간 영상, 또는 에지 변이 공간 영상에서 국부적인 최적 해 또는 전역적인 최적 해를 찾는 방법은 일반적으로 널리 알려진 공지된 방법에 따라 이루어질 수 있다.

이하에서는 도 4 및 도 5를 참조하여, 본 발명에 따른 3차원 정보 복원 방법에 대하여 설명하도록 한다. 앞서, 도 1 내지 도 3을 참조하여 설명한 본 발명에 따른 3차원 정보 복원 장치의 동작과 일부 중복되는 부분은 생략하여 설명하기로 한다.

도 4는 본 발명의 일실시예에 따른 3차원 정보 복원 방법을 설명하기 위한 흐름도이다.

도 4를 참조하면, 본 발명의 일실시예에 따른 3차원 정보 복원 방법은, 스테레오 영상 획득부(100)가 물체에 대해 상호 간에 시차를 갖는 두 개 이상의 스테레오 영상들을 획득한다(S400).

그리고, 에지 정보 생성부(320)가 에지 연산자를 이용하여 상기 S400 단계에서 획득된 스테레오 영상들 각각에 대해 특징 정보인 에지 정보를 생성한다(S410). 이때, 에지 정보 생성부(320)는 스테레오 영상들 간의 대응 화소들에 대해 에지 벡터들을 산출하여 에지 정보를 생성할 수 있다.

그 다음으로, 정규 에지 상관 계산부(340)가 상기 S410 단계에서 스테레오 영상들 각각에 대해 생성된 에지 정보를 이용하여 스테레오 영상들 간의 대응 화소들에 대한 정규 에지 상관 계수를 계산한다(S420). 이때, 정규 에지 상관 계산부(340)는 스테레오 영상들 간의 대응 화소들에 대해 산출된 에지 벡터들 사이의 기하학적 특성인 에지 벡터들 사이의 각도를 이용하여 정규 에지 상관 계수를 계산할 수 있다.

그리고, 에지 변이 공간 영상 생성부(360)가 상기 S420 단계에서 스테레오 영상들 간의 대응 화소들에 대해 계산된 정규 에지 상관 계수에 기초하여 3차원의 에지 변이 공간 영상을 생성한다(S430).

마지막으로, 변이 정보 추출부(500)가 상기 S430 단계에서 생성된 에지 변이 공간 영상으로부터 변이 곡면 정보를 추출한다(S440).

도 5는 본 발명의 다른 실시예에 따른 3차원 정보 복원 방법을 설명하기 위한 흐름도이다.

도 5를 참조하면, 본 발명의 다른 실시예에 따른 3차원 정보 복원 방법은, 스테레오 영상 획득부(100)가 물체에 대해 상호 간에 시차를 갖는 두 개 이상의 스테레오 영상들을 획득한다(S500).

그리고, 정규 교차 상관 계산부(220)가 상기 S500 단계에서 획득된 스테레오 영상들 각각에 대한 중심 화소와 상기 중심 화소를 기준으로 하는 주변 화소들의 밝기 정보를 이용하여 스테레오 영상들 간의 대응 화소들에 대한 정규 교차 상관 계수를 계산한다(S510).

그 다음으로, 밝기 변이 공간 영상 생성부(240)가 상기 S510 단계에서 스테레오 영상들 간의 대응 화소들에 대해 계산된 정규 교차 상관 계수에 기초하여 3차원의 밝기 변이 공간 영상을 생성한다(S520).

한편, 에지 정보 생성부(320)는 에지 연산자를 이용하여 상기 S500 단계에서 획득된 스테레오 영상들 각각에 대해 특징 정보인 에지 정보를 생성한다(S530). 이때, 에지 정보 생성부(320)는 스테레오 영상들 간의 대응 화소들에 대해 에지 벡터들을 산출하여 에지 정보를 생성할 수 있다.

그 다음으로, 정규 에지 상관 계산부(340)가 상기 S530 단계에서 스테레오 영상들 각각에 대해 생성된 에지 정보를 이용하여 스테레오 영상들 간의 대응 화소들에 대한 정규 에지 상관 계수를 계산한다(S540). 이때, 정규 에지 상관 계산부(340)는 스테레오 영상들 간의 대응 화소들에 대해 산출된 에지 벡터들 사이의 기하학적 특성인 에지 벡터들 사이의 각도를 이용하여 정규 에지 상관 계수를 계산할 수 있다.

그리고, 에지 변이 공간 영상 생성부(360)가 상기 S530 단계에서 스테레오 영상들 간의 대응 화소들에 대해 계산된 정규 에지 상관 계수에 기초하여 3차원의 에지 변이 공간 영상을 생성한다(S550).

비록, 도 5에서는 상기 S510 단계 및 S520 단계가 수행된 이후에, 상기 S530 단계 내지 S550 단계가 수행되는 것으로 도시되었으나, 상기 S530 단계 내지 S550 단계는 상기 S510 단계 및 S520 단계와 병렬적으로 수행될 수 있다.

그리고, 변이 공간 영상 합성부(400)가 상기 S520 단계에서 밝기 변이 공간 영상 생성부(240)에 의해 생성된 밝기 변이 공간 영상과 상기 S550 단계에서 에지 변이 공간 영상 생성부(360)에 의해 생성된 에지 변이 공간 영상을 하나의 3차원 공간 영상으로 합성한다(S560).

마지막으로, 변이 정보 추출부(500)가 상기 S560 단계에서 변이 공간 영상 합성부(400)에 의해 합성된 3차원 공간 영상으로부터 변이 곡면 정보를 추출한다(S570).

이상과 같이 본 발명에서는, 스테레오 영상의 정합을 위해 구성되는 변이 공간에 포함된 변이 정보의 신뢰도가 낮아 스테레오 영상 정합의 정밀도 향상이 어렵다는 문제를 해결하기 위해, 스테레오 영상의 에지 상관 정보를 이용하여 정합 비용을 계산하는 방법을 사용한다. 정규 에지 상관(Normalized Edge Correlation, NEC)은 에지를 구하기 위한 윈도우와 정합 비용을 합산하기 위한 윈도우의 크기를 둘 다 조절할 수 있다는 장점이 있다. 이에 따라, 통상적인 정규 교차 상관 계수를 사용하는 과정에서 정합 비용을 합산하는 윈도우의 크기를 늘림에 따라 발생하는 흐림 효과(blurring effect)의 영향을 적게 받는다는 장점이 있다. 에지 정보에는 주변 화소의 밝기 분포의 영향을 미리 포함하고 있으므로 통상적으로 사용되는 정규 교차 상관(Normalized Cross Correlation, NCC)과 비교할 때 신뢰도가 높은 정합 결과를 제공한다는 장점이 있다. 또한, 에지 정규 상관 계수는 통상적으로 사용되는 정규 교차 상관 계수(normalized cross correlation coefficient)와 유사한 기하학적 특성을 가지고 있으므로, 두 계수를 구한 다음 하나의 변이 공간 영상으로 합성하여 변이 곡면 정보를 추출할 수 있다는 장점이 있다.

도 6은 정규 교차 상관(NCC)과 정규 에지 상관(NEC) 간의 매칭 오차를 예시적으로 나타내는 그래프이다. 도 6에서, NCC는 정규 교차 상관의 결과를 의미하고, NEC은 7X7 소벨 커널을 사용한 정규 에지 상관의 결과를 의미한다. 또한, 수직 축은 매칭 오차를 나타내고, 수평 축은 정합 비용을 합산하는 윈도우의 크기를 나타낸다. 도 6을 참조하면 알 수 있듯이, 정규 에지 상관(NEC)은 윈도우의 크기에 상관없이, 정규 교차 상관(NCC) 보다 오차가 적은 결과를 도출할 수 있다.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100 : 스테레오 영상 획득부
200 : 밝기 변이 공간 생성부
220 : 정규 교차 상관 계산부
240 : 밝기 변이 공간 영상 생성부
300 : 에지 변이 공간 생성부
320 : 에지 정보 생성부
340 : 정규 에지 상관 계산부
360 : 에지 변이 공간 영상 생성부
400 : 변이 공간 영상 합성부
500 : 변이 정보 추출부

Claims

물체에 대해 상호 간에 시차(parallax)를 갖는 스테레오 영상들을 획득하는 스테레오 영상 획득부;
에지 연산자(edge operator)를 이용하여 상기 스테레오 영상들 각각에 대한 특징 정보인 에지 정보를 생성하는 에지 정보 생성부;
상기 에지 정보를 이용하여 상기 스테레오 영상들 간의 대응 화소들에 대한 정규 에지 상관 계수를 계산하는 정규 에지 상관 계산부;
상기 정규 에지 상관 계수에 기초하여 3차원의 에지 변이 공간 영상을 생성하는 에지 변이 공간 영상 생성부; 및
상기 에지 변이 공간 영상을 이용하여 변이 곡면 정보를 추출하는 변이 정보 추출부를 포함하는 것을 특징으로 하는, 3차원 정보 복원 장치.
청구항 1에 있어서,
상기 에지 정보 생성부는,
상기 스테레오 영상들 간의 대응 화소들에 대해 에지 벡터들을 산출하여 상기 에지 정보를 생성하는 것을 특징으로 하는, 3차원 정보 복원 장치.
청구항 2에 있어서,
상기 정규 에지 상관 계산부는,
상기 스테레오 영상들의 대응 화소들에 대해 산출된 에지 벡터들 사이의 기하학적 특성을 이용하여 상기 정규 에지 상관 계수를 계산하는 것을 특징으로 하는, 3차원 정보 복원 장치.
청구항 3에 있어서,
상기 에지 벡터들 사이의 기하학적 특성은 상기 에지 벡터들 사이의 각도인 것을 특징으로 하는, 3차원 정보 복원 장치.
청구항 4에 있어서,
상기 스테레오 영상들 각각에 대한 중심 화소와 상기 중심 화소를 기준으로 하는 주변 화소들의 밝기 정보를 이용하여 상기 스테레오 영상들의 대응 화소들에 대한 정규 교차 상관 계수를 계산하는 정규 교차 상관 계산부를 더 포함하는 것을 특징으로 하는, 3차원 정보 복원 장치.
청구항 5에 있어서,
상기 정규 교차 상관 계수에 기초하여 3차원의 밝기 변이 공간 영상을 생성하는 밝기 변이 공간 영상 생성부를 더 포함하는 것을 특징으로 하는, 3차원 정보 복원 장치.
청구항 6에 있어서,
상기 에지 변이 공간 영상 생성부에 의해 생성된 상기 에지 변이 공간 영상과 상기 밝기 변이 공간 영상 생성부에 의해 생성된 밝기 변이 공간 영상을 하나의 3차원 공간 영상으로 합성하는 변이 공간 영상 합성부를 더 포함하는 것을 특징으로 하는, 3차원 정보 복원 장치.
청구항 7에 있어서,
상기 변이 정보 추출부는,
상기 에지 변이 공간 영상과 상기 밝기 변이 공간 영상이 합성된 3차원 공간 영상으로부터 변이 곡면 정보를 추출하는 것을 특징으로 하는, 3차원 정보 복원 장치.
스테레오 영상 획득부가 물체에 대해 상호 간에 시차를 갖는 스테레오 영상들을 획득하는 단계;
에지 정보 생성부가 에지 연산자를 이용하여 스테레오 영상들 각각에 대한 특징 정보인 에지 정보를 생성하는 단계;
정규 에지 상관 계산부가 상기 에지 정보를 이용하여 상기 스테레오 영상들 간의 대응 화소들에 대한 정규 에지 상관 계수를 계산하는 단계;
에지 변이 공간 영상 생성부가 상기 정규 에지 상관 계수에 기초하여 3차원의 에지 변이 공간 영상을 생성하는 단계; 및
변이 정보 추출부가 상기 에지 변이 공간 영상으로부터 변이 곡면 정보를 추출하는 단계를 포함하는 것을 특징으로 하는, 3차원 정보 복원 방법.
청구항 9에 있어서,
상기 스테레오 영상들 각각에 대한 특징 정보인 에지 정보를 생성하는 단계는,
상기 스테레오 영상들 간의 대응 화소들에 대해 에지 벡터들을 산출하여 상기 에지 정보를 생성하는 단계를 포함하는 것을 특징으로 하는, 3차원 정보 복원 방법.
청구항 10에 있어서,
상기 스테레오 영상들의 대응 화소들에 대한 정규 에지 상관 계수를 계산하는 단계는,
상기 스테레오 영상들의 대응 화소들에 대해 산출된 에지 벡터들 사이의 기하학적 특성을 이용하여 상기 정규 에지 상관 계수를 계산하는 단계를 포함하는 것을 특징으로 하는, 3차원 정보 복원 방법.
청구항 11에 있어서,
상기 에지 벡터들 사이의 기하학적 특성은 상기 에지 벡터들 사이의 각도인 것을 특징으로 하는, 3차원 정보 복원 방법.
스테레오 영상 획득부가 물체에 대해 상호 간에 시차를 갖는 스테레오 영상들을 획득하는 단계;
정규 교차 상관 계산부가 상기 스테레오 영상들 각각에 대한 중심 화소와 상기 중심 화소를 기준으로 하는 주변 화소들의 밝기 정보를 이용하여 상기 스테레오 영상들 간의 대응 화소들에 대한 정규 교차 상관 계수를 계산하는 단계;
밝기 변이 공간 영상 생성부가 상기 스테레오 영상들 간의 대응 화소들에 대해 계산된 정규 교차 상관 계수에 기초하여 3차원의 밝기 변이 공간 영상을 생성하는 단계;
에지 정보 생성부가 에지 연산자를 이용하여 상기 스테레오 영상들 각각에 대한 특징 정보인 에지 정보를 생성하는 단계;
정규 에지 상관 계산부가 상기 스테레오 영상들 각각에 대해 생성된 에지 정보를 이용하여 상기 스테레오 영상들 간의 대응 화소들에 대한 정규 에지 상관 계수를 계산하는 단계;
에지 변이 공간 영상 생성부가 상기 스테레오 영상들 간의 대응 화소들에 대해 계산된 정규 에지 상관 계수에 기초하여 3차원의 에지 변이 공간 영상을 생성하는 단계;
변이 공간 영상 합성부가 상기 밝기 변이 공간 영상 생성부에 의해 생성된 상기 밝기 변이 공간 영상과 상기 에지 변이 공간 영상 생성부에 의해 생성된 상기 에지 변이 공간 영상을 하나의 3차원 공간 영상으로 합성하는 단계; 및
상기 에지 변이 공간 영상과 상기 밝기 변이 공간 영상이 합성된 3차원 공간 영상으로부터 변이 곡면 정보를 추출하는 단계를 포함하는 것을 특징으로 하는, 3차원 정보 복원 방법.
청구항 13에 있어서,
상기 스테레오 영상들 각각에 대한 특징 정보인 에지 정보를 생성하는 단계는,
상기 스테레오 영상들 간의 대응 화소들에 대해 에지 벡터들을 산출하여 상기 에지 정보를 생성하는 단계를 포함하는 것을 특징으로 하는, 3차원 정보 복원 방법.
청구항 14에 있어서,
상기 스테레오 영상들 간의 대응 화소들에 대한 정규 에지 상관 계수를 계산하는 단계는,
상기 스테레오 영상들 간의 대응 화소들에 대해 산출된 에지 벡터들 사이의 기하학적 특성을 이용하여 상기 정규 에지 상관 계수를 계산하는 단계를 포함하는 것을 특징으로 하는, 3차원 정보 복원 방법.
청구항 15에 있어서,
상기 스테레오 영상들 간의 대응 화소들에 대해 산출된 에지 벡터들 사이의 기하학적 특성은 상기 에지 벡터들 사이의 각도인 것을 특징으로 하는, 3차원 정보 복원 방법.