KR100607072B1

KR100607072B1 - 2차원 영상신호를 3차원 영상신호로 변환하는 장치 및 방법

Info

Publication number: KR100607072B1
Application number: KR1020040046228A
Authority: KR
Inventors: 최명렬; 조화현
Original assignee: 최명렬; 조화현
Priority date: 2004-06-21
Filing date: 2004-06-21
Publication date: 2006-08-01
Also published as: KR20050121080A

Abstract

동영상신호는 물론 정지 영상신호를 3차원 영상신호로 변환하는 변환장치 및 방법을 제공한다.

각각의 프레임의 영상신호에서 픽셀들의 휘도신호의 값을 이용하여 에지검출 기준값을 추출하고, 추출한 소정 픽셀의 에지검출 기준값과 인접한 다른 픽셀의 에지검출 기준값의 크기를 이용하여 휘도신호의 각 픽셀들의 영역을 분할하며, 분할한 각 영역의 픽셀들 중에서 하나의 픽셀을 기준픽셀로 설정한 후 그 설정한 기준픽셀의 위치정보 값과 미리 설정된 임계값을 비교하여 비교 결과에 따라 해당 영역의 픽셀들의 시차 값을 결정하며, 결정한 시차 값에 따라 2차원 영상신호를 시차 처리하여 3차원 영상신호로 변환한다.

3차원, 입체 영상신호, 휘도신호, 시차, 에지검출, 기준픽셀, 영역분할

Description

2차원 영상신호를 3차원 영상신호로 변환하는 장치 및 방법{Apparatus and method for converting 2D image signal into 3D image signal}

도 1은 본 발명의 변환장치의 전체 구성을 보인 블록도.

도 2는 도 1의 에지검출 기준값 추출부의 상세 블록도.

도 3은 도 1의 영역 분할부의 상세 블록도.

도 4는 도 1의 시차지도 생성부의 상세 블록도.

도 5는 본 발명의 변환장치에서 에지검출 기준값 추출부가 에지검출 기준값을 추출하는 동작을 설명하기 위한 도면.

도 6a 내지 도 6c는 본 발명의 변환장치에서 영역 분할부, 기준픽셀 설정부 및 시차지도 생성부의 동작을 설명하기 위한 도면.

도 7a 내지 도 7c는 본 발명의 변환장치에서 시차 처리부가 설정된 시차 값에 따라 2차원 영상신호를 처리하여 3차원 영상신호로 변환하는 동작을 설명하기 위한 도면.

도 8은 본 발명의 변환방법을 보인 신호흐름도.

* 도면의 주요 부분에 대한 부호의 설명 *

100 : 휘도신호 추출부 110 : 프레임 분리수단

111 : 디멀티플렉서 113, 115 : 제 1 및 제 2 프레임메모리

117 : 멀티플렉서 120 : 시차 값 설정수단

121 : 에지검출 기준값 추출부 121-11∼121-19 : 버퍼

121-21∼121-29 : 곱셈기 121-31 : 가산기

123 : 영역 분할부 123-1 : 감산기

123-3 : 절대값 변환기 123-5, 127-1, 127-3 : 비교기

123-7 : 영역 결정부 125 : 기준픽셀 설정부

127 : 시차지도 생성부 127-5 : 시차값 결정부

130 : 시간 지연부 140 : 시차 처리부

본 발명은 2차원 영상신호를 3차원 영상신호로 변환하는 장치 및 방법에 관한 것으로 특히 각 프레임의 영상신호에서 픽셀들의 휘도신호의 값을 이용하여 2차원 영상신호를 3차원 영상신호로 변환하는 장치 및 방법에 관한 것이다.

3차원 영상기술은 차세대 정보통신 서비스의 총아로서 수요가 많고, 기술개발의 경쟁이 치열한 첨단의 고도화 기술중의 하나이다. 또한 3차원 영상기술은 정보통신, 방송, 의료, 교육 훈련, 군사, 게임, 애니메이션, 가상현실, CAD 및 산업기술 등을 비롯한 각종 분야에서 다양하게 사용할 수 있는 것으로서 응용 분야가 매우 다양하고, 여러 분야에서 공통적으로 요구하고 있는 차세대의 임장감을 제공하는 3차원 입체 멀티미디어 정보통신의 핵심 기반기술이라고 할 수 있다.

통상적으로 사람들이 실제로 두 눈을 통해 소정의 사물을 보는 정보는 입체영상이므로 영상시스템에서는 사람들이 일상적으로 보고 있는 자연계의 정경에 보다 가깝고, 자연스럽게 보이도록 하는 하는데 많은 노력을 기울이고 있다. 그리고 현재 세계 여러 국가에서는 '보고 듣는' 멀티미디어형의 서비스로부터 3차원 정보 중심의 '보다 자연스럽고 실감이 있도록 보고 즐길 수 있는' 실감형의 3차원 입체 멀티미디어 서비스를 개발하고 있는 추세이다.

3차원 정보기술은 차세대 고부가가치의 핵심기술로서 세계 여러 국가에서는 미래의 정보통신 시장에서의 기술선점이라는 차원에서 3차원 정보기술의 실용화에 경쟁적으로 나서고 있다. 또한 3차원 정보기술은 현재 전 세계적으로 기술 개발의 초기 단계에 있으므로 아직 해외기술의 의존도가 낮으며, 대한민국만의 독자적인 기술을 보유할 수 있는 유망 기술로 전망되고 있다.

따라서 대한민국에서 앞을 다투어 선점해야 할 3차원 정보기술 중의 하나로 2차원 영상신호를 자동으로 3차원 영상신호로 실시간 변환하는 기술이다.

사람들이 소정의 사물을 3차원으로 볼 수 있는 것은 양안시차(binocular disparity)에 의한 것으로, 양안시차는 인간이 동일 물체를 볼 때 우안과 좌안을 통해 서로 다른 영상을 보는 것이다. 이렇게 서로 다른 2가지의 영상을 뇌에서 하나의 입체 영상으로 만드는 것이다.

그러나 텔레비전 수상기 또는 모니터 등의 영상 표시기기들은 평면에 2차원 영상을 표시하는 것이므로 좌안과 우안이 모두 동일한 영상을 보게 되고, 이로 인하여 사용자가 일상적으로 사물을 볼 때의 입체효과를 느낄 수 없었다.

그러므로 텔레비전 수상기 또는 모니터 등으로 소정의 영상을 볼 경우에 사용자가 입체 효과를 느낄 수 있도록 하기 위해서 종래에는 바로 이전의 프레임 영상신호를 기준으로 하여 현재 프레임의 영상신호의 움직임 및 주변의 이동상태를 검출하여 분석하고, 분석한 결과를 이용하여 영상신호에 표시되는 각 물체들의 시차 값을 추출하며, 추출한 시차 값에 따라 적합한 시차 처리를 수행하여 입체감을 생성하였다.

그러나 상기한 종래의 기술은 프레임을 기반으로 영상신호를 입력받아 입체 영상으로 변환하는 것이므로 영상신호에 따른 화면이 다른 화면으로 전환될 때 오류가 발생하고, 또한 물체의 움직임 및 주변의 이동상태를 검출하여 시차 값을 추출하므로 움직임이 거의 없는 영상신호나 정지 영상신호에 대해서는 3차원 영상신호로 변환할 수 없었으며, 또한 다양한 화면의 구도를 가지는 영상신호에 대해서는 입체 영상으로 변환하기가 어려운 문제점이 있었다.

그러므로 본 발명의 목적은 동영상신호는 물론 정지 영상신호를 3차원 영상신호로 변환하는 2차원 영상신호를 3차원 영상신호로 변환하는 장치 및 방법을 제공하는데 있다.

이러한 목적을 가지는 본 발명의 2차원 영상신호를 3차원 영상신호로 변환하는 장치 및 방법은, 각각의 프레임의 영상신호에서 픽셀들의 휘도신호의 값을 이용하여 에지검출 기준값을 추출하고, 추출한 소정 픽셀의 에지검출 기준값과 인접한 다른 픽셀의 에지검출 기준값의 크기를 이용하여 휘도신호의 각 픽셀들의 영역을 분할하며, 분할한 각 영역의 픽셀들 중에서 하나의 픽셀을 기준픽셀로 설정한 후 그 설정한 기준픽셀의 위치정보 값과 미리 설정된 임계값을 비교하여 비교 결과에 따라 해당 영역의 픽셀들의 시차 값을 결정하며, 결정한 시차 값에 따라 2차원 영상신호를 시차 처리하여 3차원 영상신호로 변환한다.

이하, 첨부된 도면을 참조하여 본 발명의 2차원 영상신호를 3차원 영상신호로 변환하는 장치 및 방법을 상세히 설명한다.

도 1은 본 발명의 변환장치의 전체 구성을 보인 블록도이다. 이에 도시된 바와 같이 입력되는 2차원의 영상신호에서 휘도신호를 추출하는 휘도신호 추출부(100)와, 상기 휘도신호 추출부(100)가 추출한 휘도신호를 각각의 프레임으로 분리하는 프레임 분리수단(110)과, 상기 프레임 분리수단(110)에서 분리된 각 프레임의 휘도신호의 값으로 에지를 검출할 에지검출 기준값을 추출하고 추출한 에지검출 기준값의 크기 변화에 따라 영역을 분할하여 각 영역에서 기준픽셀을 설정하며 설정한 기준픽셀의 위치정보 값에 따라 해당 영역의 픽셀들의 시차 값을 설정하는 시차 값 설정수단(120)과, 상기 시차 값 설정수단(120)에서 시차 값이 설정될 때까지의 시간동안 상기 입력되는 2차원 영상신호를 지연시키는 시간 지연부(130)와, 상기 시간 지연부(130)에서 지연된 2차원 영상신호를 상기 시차 값 설정수단(120)에서 설정된 시차 값에 따라 시차 처리하여 3차원 영상신호로 변환하는 시차 처리부(140)로 구성하였다.

상기 프레임 분리수단(110)은, 상기 휘도신호 추출부(100)에서 추출한 휘도 신호를 각각의 프레임으로 분리하는 디멀티플렉서(111)와, 상기 디멀티플렉서(110)가 분리한 각 프레임의 휘도신호를 교대로 저장하는 제 1 및 제 2 프레임 메모리(113, 115)와, 상기 제 1 및 제 2 프레임 메모리(113, 115)에 교대로 저장된 각 프레임의 휘도신호를 교대로 선택하여 상기 시차 값 설정수단(120)으로 출력하는 멀티플렉서(117)로 구성된다.

상기 시차 값 설정수단(120)은, 상기 휘도신호 추출부(100)에서 출력되는 각 픽셀의 휘도신호 값 및 그 픽셀에 바로 인접한 픽셀들의 휘도신호의 값에 미리 설정한 계수 값을 각기 곱하고 합산하며, 그 합산한 값을 에지검출 기준값으로 추출하는 에지검출 기준값 추출부(121)와, 상기 에지검출 기준값 추출부(121)가 추출한 각 픽셀의 에지검출 기준값과 그 픽셀에 대하여 수평 및 수직 방향으로 인접한 픽셀의 에지검출 기준값의 차이값을 검출하고 검출한 차이 값과 미리 설정된 기준값을 비교하여 영역을 분할하는 영역 분할부(123)와, 상기 영역 분할부(123)에서 분할된 각 영역에서 하나의 기준픽셀을 설정하는 기준픽셀 설정부(125)와, 상기 기준픽셀 설정부(125)에서 설정한 각 영역의 기준픽셀의 에지검출 기준값과 미리 설정된 제 1 및 제 2 임계값을 비교하고 비교 결과에 따라 각 영역에 소정의 시차 값을 설정하여 시차지도를 생성하는 시차지도 생성부(127)로 구성하였다.

상기 에지검출 기준값 추출부(121)는 도 2에 도시된 바와 같이 상기 휘도신호 추출부(100)에서 출력되는 각 픽셀의 휘도신호 값(I5) 및 그 픽셀에 바로 인접한 픽셀들의 휘도신호의 값(I1∼I4, I6∼I9)을 일시 저장하는 복수의 버퍼(121-11∼121-19)와, 상기 복수의 버퍼(121-11∼121-19)에 저장된 휘도신호의 값에 미리 설정된 소정의 계수 값(W1∼W9)을 곱하는 복수의 곱셈기(121-21∼121-29)와, 상기 복수의 곱셈기(121-21∼121-29)의 출력신호 값을 합하여 각 픽셀에 대한 에지검출 기준값으로 출력하는 가산기(121-31)로 구성하였다.

상기 영역 분할부(123)는, 도 3에 도시된 바와 같이 소정의 픽셀의 에지검출 기준값(C_{M, N})과, 그 소정의 픽셀에 수평 방향으로 다음 위치에 인접한 픽셀의 에지검출 기준값(C_{M+1, N}) 또는 수직 방향으로 다음 위치에 인접한 픽셀의 에지검출 기준값(C_{M, N+1})의 차이값을 계산하는 감산기(123-1)와, 상기 감산기(123-1)의 출력 값을 절대값으로 변환하는 절대값 변환기(123-3)와, 상기 절대값 변환기(123-3)의 출력값을 미리 설정된 기준값과 크기를 비교하는 비교기(123-5)와, 상기 비교기(123-5)의 비교 결과 값에 따라 상기 소정 픽셀(C_{M, N})의 영역을 결정하는 영역 결정부(123-7)로 구성하였다.

상기 시차지도 생성부(127)는 도 4에 도시된 바와 같이 상기 기준픽셀 설정부(125)에서 설정된 각 영역의 기준픽셀의 위치정보 값과 미리 설정된 제 1 및 제 2 임계값을 각기 비교하는 비교기(127-1, 127-3)와, 상기 비교기(127-1, 127-3)의 비교 결과에 따라 기준픽셀이 속하는 해당 영역의 시차 값을 결정하는 시차 값 결정부(127-5)로 구성하였다.

이와 같이 구성된 본 발명의 2차원 영상신호를 3차원 영상신호로 변환하는 장치는 외부에서 입력되는 2차원 영상신호에서 휘도신호 추출부(100)가 휘도신호를 추출하고, 추출한 휘도신호는 프레임 분리수단(110)으로 입력된다.

상기 프레임 분리수단(110)은 상기 휘도신호 추출부(100)로부터 입력되는 휘도신호를 디멀티플렉서(111)가 프레임 단위로 분리하여 제 1 및 제 2 프레임 메모리(113, 115)에 교대로 저장하고, 그 저장한 프레임 단위의 휘도신호를 멀티플렉서(117)가 교대로 선택하여 시차 값 설정수단(120)으로 출력한다.

즉, 디멀티플렉서(111)가 프레임 단위로 휘도신호를 분리하여 제 1 프레임 메모리(113)에 저장하고, 제 1 프레임 메모리(113)에 저장이 완료될 경우에 다음 프레임의 휘도신호를 제 2 프레임 메모리(115)에 저장하며, 이 때, 멀티플렉서(117)는 제 1 프레임 메모리(113)에 저장된 휘도신호를 독출하여 시차 값 설정수단(120)으로 출력하며, 제 1 프레임 메모리(113)의 독출 및 제 2 프레임 메모리(115)의 저장이 완료될 경우에 디멀티플렉서(111)가 분리하는 프레임 단위의 휘도신호를 다시 제 1 프레임 메모리(113)에 저장하고, 제 2 프레임 메모리(115)에 저장된 휘도신호는 멀티플렉서(117)가 독출하여 시차 값 설정수단(120)으로 출력하는 것을 반복한다.

상기 시차 값 검출수단(120)은 에지검출 기준값 추출부(121)가, 각 픽셀의 휘도신호의 값 및 그 픽셀에 바로 인접한 픽셀들의 휘도신호의 값에 미리 설정한 계수 값을 각기 곱한 후 합산하고, 그 합산한 값을 에지검출 기준값으로 추출한다.

즉, 에지검출 기준값 추출부(121)는, 예를 들면, 도 5에 도시된 바와 같이 소정의 픽셀(P5)의 에지검출 기준값을 추출한다고 가정할 경우에 그 소정의 픽셀(P5)의 휘도신호의 값(I5)과, 픽셀(P5)의 주변에 바로 인접한 복수의 픽셀들(P1∼P4, P6∼P9)들의 휘도신호의 값(I1∼I4, I6∼I9)을 버퍼(121-11∼121- 19)에 각기 저장한 후 실험적으로 미리 구하여 설정한 소정의 계수 값(W1∼W9)을 각기 곱셈기(121-21∼121-29)에서 곱하고, 그 곱한 결과 값을 가산기(121-31)에서 모두 가산하여 소정의 픽셀(P5)에 대한 에지검출 기준값(C)으로 추출한다.

이와 같이 하여 각각의 픽셀에 대한 에지검출 기준값(C)의 추출이 완료되면, 영역 분할부(123)는 소정의 픽셀의 에지검출 기준값(C_{M, N})에서 그 소정의 픽셀에 수평 방향으로 다음 위치에 인접한 픽셀의 에지검출 기준값(C_{M+1, N})을 감산기(123-1)에서 감산한 후 절대값 변환기(123-3)에서 절대값으로 변환하고, 그 변환한 절대값과 미리 설정된 기준값을 비교기(123-5)로 비교하여 비교 결과에 따라 영역 결정부(123-7)가 영역을 분리한다.

예를 들면, 에지검출 기준값 추출부(121)에서 도 6a에 도시된 바와 같이 각각의 픽셀들(P1∼P100)에 대하여 각기 에지검출 기준값(C1∼C100)이 추출되었다고 가정할 경우에 영역 분할부(123)는 픽셀(P1)(P2)의 에지검출 기준값(C1)(C2)의 차이값 ｜C1-C2｜을 계산한 후 기준값과 비교하여 ｜C1-C2｜＜기준값일 경우에 상기 픽셀(P1)(P2)을 동일 영역으로 결정하고, ｜C1-C2｜＜기준값이 아닐 경우에 상기 픽셀(P1)(P2)을 다른 영역으로 결정한다. 다음에는 픽셀(P2)(P3)의 에지검출 기준값(C2)(C3)의 차이값 ｜C2-C3｜을 계산한 후 기준값과 비교하여 ｜C2-C3｜＜기준값일 경우에 상기 픽셀(P2)(P3)을 동일 영역으로 결정하고, ｜C2-C3｜＜기준값이 아닐 경우에 상기 픽셀(P2)(P3)을 다른 영역으로 결정하는 것을 계속 반복 수행한다.

그리고 하나의 수평 라인의 픽셀들(P1∼P10)에 대한 영역 결정이 완료되면, 다음의 수평라인에 존재하는 복수의 픽셀들(P11∼P20)(P21∼P30)(P31∼P40)(P41∼P50)(P51∼P60)(P61∼P70)(P71∼P80) (P81∼P90)(P91∼P100)에 대해서도 상기한 방법을 반복 수행하여 영역을 결정한다.

이와 같이 하여 각각의 수평라인에 대한 영역의 결정이 완료되면, 수직라인에 대해서도 수평라인과 동일하게 소정의 픽셀의 에지검출 기준값(C_{M, N})에서 그 소정의 픽셀에 수직 방향으로 다음 위치에 인접한 픽셀의 에지검출 기준값(C_{M, N+1})을 감산기(123-1)에서 감산한 후 절대값 변환기(123-3)에서 절대값으로 변환하고, 그 변환한 절대값과 미리 설정된 기준값을 비교기(123-5)로 비교하여 비교 결과에 따라 영역 결정부(123-7)가 영역의 분리 동작을 수행하여 예를 들면, 도 6b에 도시된 바와 같이 복수의 영역(V1∼V7)으로 구획한다.

여기서, 상기 영역은 예를 들면, 화면상에 표시되는 배경화면 및 등장인물 등을 비롯한 각종 피사체들의 영역에 해당된다.

이와 같이 하여 영역 분할부(123)에서 복수의 영역(V1∼V7)이 분할되면, 기준픽셀 설정부(125)는 상기 분할한 각각의 영역(V1∼V7)내에 존재하는 픽셀들 중에서 하나의 픽셀을 3차원 영상의 시차 값을 검출할 기준픽셀로 설정한다. 예를 들면, 도 6b와 같이 분할된 각각의 영역(V1∼V7) 내의 가장 아래에 위치하는 수평라인의 픽셀들 중에서 가장 좌측에 위치하는 픽셀들(P21, P37, P53, P61, P67, P91, P96)을 기준 픽셀로 각기 설정한다.

이와 같이 기준픽셀(P21, P37, P53, P61, P67, P91, P96)이 설정되면, 그 기 준 픽셀(P21, P37, P53, P61, P67, P91, P96)의 에지검출 기준값(C21, C37, C53, C61, C67, C91, C96)을 비교기(127-1)(127-3)가 미리 설정된 제 1 임계값 및 제 2 임계값과 비교하고, 비교 결과에 따라 시차 값 결정부(127-5)각 영역의 시차 값을 설정하여 시차지도를 생성한다. 예를 들면, 영역(V1)(V2)의 기준픽셀(P21)(P37)의 에지검출 기준값(C21)(C37)이 미리 설정된 제 1 임계값의 크기보다 작을 경우에 시차값 결정부(127-5)는 영역(V1)(V2)에 존재하는 모든 픽셀들(P1∼P7, P11∼P18, P21, P22, P24, P26∼P28, P37, P38)을 도 6c에 도시된 바와 같이 포지티브 시차(Positive Parallax)로 시차 값을 부여할 영역(V11)으로 결정하고, 영역(V3, V4, V5)의 기준픽셀(P53, P61, P67)의 에지검출 기준값(C53, C61, C67)이 미리 설정된 제 1 임계값의 크기보다는 크고, 제 2 임계값보다는 작을 경우에 시차값 결정부(127-5)는 영역(V3, V4, V5)에 존재하는 모든 픽셀들(P8∼P10, P19, P20, P23, P25, P29∼P36, P39∼P53, P56∼P63, P67, P68)을 제로 시차(Positive Parallax)로 시차 값을 부여할 영역(V12)으로 결정하며, 영역(V6, V7)의 기준픽셀(P91, P96)의 에지검출 기준값(C91, C96)이 미리 설정된 제 1 및 제 2 임계값의 크기보다는 클 경우에 시차값 결정부(127-5)는 영역(V6, V7)에 존재하는 모든 픽셀들(P54, P55, P64∼P66, P69∼P100)을 네가티브 시차(Minus Parallax)로 시차 값을 부여할 영역(V12)으로 결정한다.

한편, 외부에서 입력되는 2차원 영상신호가, 시차 값 검출수단(120)에서 시차 값을 검출할 때까지 소요되는 시간동안 시간 지연부(130)에서 시간 지연된 후 시차 처리부(140)로 입력되는 것으로 시차 처리부(140)는 3차원 영상신호의 각각의 픽셀들에 대하여 상기 시차 값 검출수단(120)의 시차값 결정부(127-5)에서 결정된 시차 값에 따라 시차 처리하여 3차원 영상신호로 변환한다. 예를 들면, 시간 지연부(130)로부터 입력되는 2차원 영상신호의 각각의 픽셀들 중에서 도 6c의 영역(V11)에 해당되는 픽셀들에 대해서는 도 7a에 도시된 바와 같이 초점이 화면의 뒤쪽에 위치하는 포지티브 시차 값으로 처리하고, 영역(V12)에 해당되는 픽셀들에 대해서는 도 7b에 도시된 바와 같이 초점이 화면상에 위치하도록 제로 시차 값으로 처리하며, 영역(V13)에 해당되는 픽셀들에 대해서는 도 7c에 도시된 바와 같이 초점이 화면의 앞에 위치하도록 네가티브 시차 값으로 처리하여 3차원 영상신호로 변환한다.

도 8은 본 발명의 변환방법을 보인 신호흐름도이다. 이에 도시된 바와 같이 단계(200)에서 외부로부터 2차원 영상신호를 입력받아 시간 지연부(130)가 시간 지연시킴과 아울러 휘도신호 추출부(100)가 휘도신호를 추출하고, 단계(202)에서 상기 추출한 휘도신호를 프레임 분리수단(110)이 프레임 단위로 분리하며, 단계(204)에서 상기 분리한 각 프레임의 휘도신호에 존재하는 각각의 픽셀들의 에지검출 기준값을 계산한다. 즉, 상술한 바와 같이 소정의 픽셀의 휘도신호 값과, 그 소정의 픽셀에 인접한 8개의 픽셀들의 휘도신호 값에 실험적으로 미리 결정한 소정의 계수 값을 각기 곱하고, 곱한 결과 값을 모두 가산하여 에지검출 기준값을 계산한다.

다음 단계(206)에서는 영역분할부(123)가 상기 추출한 각 픽셀들의 에지검출 기준값을 이용하여 영역을 분할한다. 즉, 소정 픽셀의 에지검출 기준값과, 그 소정 픽셀에 수평 또는 수직으로 바로 인접한 픽셀의 에지검출 기준값의 차이 값을 계산 하고, 계산한 차이값의 크기를 판단하여 복수의 픽셀들의 영역을 분할한다.

다음 단계(208)에서는 기준픽셀 설정부(125)가 상기 분할한 영역 내에서 하나의 픽셀 예를 들면, 분할된 각각의 영역 내의 가장 아래에 위치하는 수평라인의 픽셀들 중에서 가장 좌측에 위치하는 픽셀들을 각각의 영역의 기준 픽셀로 각기 설정한다.

다음 단계(210)에서 시차지도 생성부(127)가 상기 설정한 기준픽셀의 위치정보 값과 실험적으로 미리 설정한 제 1 및 제 2 임계값을 비교하고, 단계(212)에서 상기 비교 결과에 따라 해당 영역의 픽셀들의 시차 값을 계산하여 시차 지도를 생성하고, 단계(214)에서 상기 지연한 2차원 영상신호의 픽셀들을 상기 설정한 시차 값에 따라 시차 처리부(140)가 시차 처리하여 3차원 영상신호로 변환한다.

한편, 상기에서는 본 발명을 특정의 바람직한 실시 예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 마련되는 본 발명의 정신이나 분야를 이탈하지 않는 한도 내에서 본 발명이 다양하게 개조 및 변화될 수 있다는 것을 당 업계에서 통상의 지식을 가진 자는 용이하게 알 수 있다.

예를 들면, 상기에서는 2차원의 동영상신호를 3차원의 동영상 신호로 변환하는 것을 예로 들어 설명한 것으로서 본 발명은 이에 한정되지 않고, 1 프레임의 2차원 정지영상신호를 3차원 정지 영상신호로 변환할 수 있고, 이 경우에는 상기 프레임 분리수단을 사용하지 않을 수도 있다. 그리고 상기에서는 하나의 네가티브 시차, 제로시차 및 포지티브 시차로 시차 값을 설정하여 3차원 영상신호로 변환하는 것을 설명한 것으로서 본 발명에서는 상기 임계값을 복수 개 설정하여 복수의 시차 를 가지는 3차원 영상신호로 변환할 수 있는 등 여러 가지로 변환 실시할 수 있다.

이상에서 설명한 바와 같이 본 발명은 프레임의 영상신호에서 각 픽셀들의 휘도신호를 이용하여 시차 값을 설정하며, 설정한 시차값에 따라 2차원 영상신호를 3차원 영상신호로 변환하므로 움직임이 거의 없는 2차원의 동영상신호는 물론 2차원의 정지 영상신호를 간단히 3차원 영상신호로 변환할 수 있고, 또한 다양한 화면의 구도를 가지는 영상신호에 대해서는 3차원 영상신호로 간단히 변환할 수 있는 효과가 있다.

Claims

입력되는 2차원의 영상신호에서 각각의 픽셀들의 휘도신호를 추출하는 휘도신호 추출부;

상기 휘도신호 추출부가 각 픽셀들의 휘도신호의 값을 이용하여 픽셀들을 복수의 영역으로 분할하고 분할한 각 영역의 픽셀들의 시차 값을 설정하는 시차 값 설정수단;

상기 입력되는 2차원 영상신호가, 상기 휘도신호 추출부에서 픽셀들의 휘도신호가 추출되고 상기 시차 값 설정수단에서 시차 값이 설정될 때까지의 시간동안 상기 2차원 영상신호를 지연시켜 동기시키는 시간 지연부; 및

상기 시간 지연부에서 지연된 2차원 영상신호의 각 픽셀들을 상기 시차 값 설정수단에서 설정된 시차 값에 따라 시차 처리하여 3차원 영상신호로 변환하는 시차 처리부를 구비하고,

상기 시차 값 설정수단은;

각 픽셀의 휘도신호 값 및 그 픽셀에 바로 인접한 픽셀들의 휘도신호의 값에 미리 설정한 계수 값을 각기 곱한 후 합산하고, 그 합산한 값을 에지검출 기준값으로 추출하는 에지검출 기준값 추출부;

상기 에지검출 기준값 추출부가 추출한 각 픽셀의 에지검출 기준값과 그 픽셀에 대하여 수평 및 수직 방향으로 인접한 픽셀의 에지검출 기준값의 차이값을 검출하고 검출한 차이 값과 미리 설정된 기준값을 비교하여 영역을 분할하는 영역 분할부;

상기 영역 분할부에서 분할된 각 영역에서 하나의 기준픽셀을 설정하는 기준픽셀 설정부; 및

상기 기준픽셀 설정부에서 설정한 각 영역의 기준픽셀의 에지검출 기준값과 미리 설정된 제 1 및 제 2 임계값을 비교하고 비교 결과에 따라 각 영역에 소정의 시차 값을 설정하여 시차지도를 생성하는 시차지도 생성부를 포함하여 이루어지는 2차원 영상신호를 3차원 영상신호로 변환하는 장치.
제 1 항에 있어서, 상기 휘도신호 추출부와 시차 값 설정수단의 사이에;

상기 상기 휘도신호 추출부에서 추출된 휘도신호를 프레임 단위로 구분하여 시차 값 설정수단로 출력하는 프레임 분리수단을 더 구비하는 것을 특징으로 하는 2차원 영상신호를 3차원 영상신호로 변환하는 장치.
제 2 항에 있어서, 상기 프레임 분리수단은;

상기 휘도신호 추출부에서 추출된 휘도신호를 각각의 프레임으로 분리하는 디멀티플렉서;

상기 디멀티플렉서가 분리한 각 프레임의 휘도신호를 교대로 저장하는 제 1 및 제 2 프레임 메모리; 및

상기 제 1 및 제 2 프레임 메모리에 교대로 저장된 각 프레임의 휘도신호를 선택하여 상기 시차 값 설정수단으로 출력하는 멀티플렉서로 구성됨을 특징으로 하는 2차원 영상신호를 3차원 영상신호로 변환하는 장치.
삭제
제 1 항에 있어서, 상기 에지검출 기준값 추출부는;

상기 휘도신호 추출부에서 출력되는 각 픽셀의 휘도신호 값과, 상기 각 픽셀에 바로 인접한 픽셀들의 휘도신호의 값을 일시 저장하는 복수의 버퍼;

상기 복수의 버퍼에 저장된 휘도신호의 값들 각각에 미리 설정된 소정의 계수 값을 곱하는 복수의 곱셈기; 및

상기 복수의 곱셈기의 출력신호 값을 합하여 각 픽셀에 대한 에지검출 기준값으로 출력하는 가산기로 구성됨을 특징으로 하는 2차원 영상신호를 3차원 영상신호로 변환하는 장치.
제 1 항에 있어서, 상기 영역 분할부는;

소정의 픽셀의 에지검출 기준값과, 그 소정의 픽셀에 수평 또는 수직 방향으로 다음 위치에 인접한 픽셀의 에지검출 기준값의 차이값을 계산하는 감산기;

상기 감산기의 출력 값을 절대값으로 변환하는 절대값 변환기;

상기 절대값 변환기의 출력값을 미리 설정된 기준값과 크기를 비교하는 비교기; 및

상기 비교기의 비교 결과 절대값 변환기의 출력값이 미리 설정된 기준값보다 작을 경우에 상기 두 픽셀을 동일 영역으로 결정하고 절대값 변환기의 출력값이 미리 설정된 기준값보다 클 경우에 상기 두 픽셀을 서로 다른 영역으로 결정하는 영역 결정부로 구성됨을 특징으로 하는 2차원 영상신호를 3차원 영상신호로 변환하는 장치.
제 1 항에 있어서, 상기 기준픽셀 설정부는;

상기 영역 분할부에서 분할된 영역내의 픽셀들 중에서 가장 아래에 위치하는 수평라인의 픽셀들 중에서 가장 좌측에 위치하는 하나의 픽셀들을 기준 픽셀로 각기 설정하는 것을 특징으로 하는 2차원 영상신호를 3차원 영상신호로 변환하는 장치.
제 1 항에 있어서, 상기 시차지도 생성부는;

상기 기준픽셀 설정부에서 설정된 각 영역의 기준픽셀의 위치정보 값과 미리 설정된 제 1 및 제 2 임계값을 각기 비교하는 복수의 비교기; 및

상기 비교기의 비교 결과에 따라 기준픽셀이 속하는 해당 영역의 시차 값을 결정하는 시차 값 결정부로 구성됨을 특징으로 하는 2차원 영상신호를 3차원 영상신호로 변환하는 장치.
2차원 영상신호를 시간 지연부가 시간 지연함과 아울러 휘도신호 추출부가 휘도신호를 추출하는 제 10 과정;

상기 제 10 과정에서 추출한 휘도신호에서 에지검출 기준값 추출부가 각각의 픽셀들의 휘도신호 값을 이용하여 에지검출 기준값을 계산하는 제 20 과정;

상기 제 20 과정에서 계산한 소정 픽셀의 에지검출 기준값과, 그 소정 픽셀에 수평 또는 수직으로 바로 인접한 픽셀의 에지검출 기준값과의 차이 값을 영역 분할부가 계산하고, 계산한 차이값의 크기를 판단하여 복수의 픽셀들의 영역을 분할하는 제 30 과정;

상기 제 30 과정에서 분할한 각각의 영역에서 기준픽셀 설정부가 하나의 픽셀을 선택하여 기준 픽셀로 설정하는 제 40 과정;

상기 제 40 과정에서 설정한 기준픽셀의 위치정보 값과 미리 설정한 임계값을 시차지도 생성부가 비교하고, 비교 결과에 따라 해당 영역의 픽셀들의 시차 값을 계산하여 시차 지도를 생성하는 제 50 과정; 및

상기 제 50 과정에서 생성한 시차지도의 각 픽셀의 시차 값에 따라 상기 제 10 과정에서 시간 지연한 2차원 영상신호의 각 픽셀들을 시차 처리하여 3차원 영상신호로 변환하는 제 60 과정으로 이루어지고,

상기 제 20 과정은;

소정 픽셀의 휘도신호 값과, 그 소정의 픽셀에 인접한 8개의 픽셀들의 휘도신호 값에 실험적으로 미리 결정한 소정의 계수 값을 각기 곱하고, 곱한 결과 값을 모두 가산하여 에지검출 기준값을 계산하는 것으로 이루어지는 2차원 영상신호를 3차원 영상신호로 변환하는 방법.
제 9 항에 있어서, 상기 제 10 과정과 제 20 과정의 사이에는;

상기 분리한 휘도신호를 프레임 분리수단이 프레임 단위로 분리하는 과정이 더 포함되는 것을 특징으로 하는 2차원 영상신호를 3차원 영상신호로 변환하는 방법.
삭제
제 9 항에 있어서, 상기 제 40 과정의 기준픽셀 설정은;

상기 분할한 각각의 영역 내의 가장 아래에 위치하는 수평라인의 픽셀들 중에서 가장 좌측에 위치하는 하나의 픽셀들을 기준 픽셀로 각기 설정하는 것을 특징으로 하는 2차원 영상신호를 3차원 영상신호로 변환하는 방법.