KR100611179B1

KR100611179B1 - 영상처리장치

Info

Publication number: KR100611179B1
Application number: KR1020040047156A
Authority: KR
Inventors: 홍기현
Original assignee: 삼성전자주식회사
Priority date: 2004-06-23
Filing date: 2004-06-23
Publication date: 2006-08-10
Also published as: BRPI0502428A; CN1713268A; CN1713268B; US7756361B2; JP2006014336A; KR20050122026A; US20050286804A1; NL1029328C2; JP4216830B2; NL1029328A1

Abstract

영상처리장치가 개시된다. 본 발명에 따른 영상처리장치는, 제1해상도의 입력영상신호를 소정의 해상도 변환비율에 따라 제2해상도의 출력영상신호로 보간하는 영상 처리장치에 관한 것으로서, 입력영상신호의 주파수 변화량을 검출하여 입력영상신호에 대응되는 주파수 영역을 판단하는 주파수 검출부, 해상도 변환비율에 따라 입력영상신호에 대한 보간위치를 산출하는 제어부, 산출된 보간위치에 대응되는 보간계수를 구비하는 계수저장부, 계수저장부로부터 제공되는 보간계수를 입력받아 입력영상신호를 보간하는 보간필터 및 주파수 검출부에서 판단된 주파수 영역에 대한 정보를 토대로 보간필터에서 출력되는 입력영상신호에 대한 출력영상신호를 보정하는 보간값 보정부를 구비한다. 이러한 영상처리장치에 의하면, 입력영상을 다른 해상도로 변환시 입력영상신호의 주파수를 고려하여 보간필터의 출력값을 보정함으로서 오버-슈트 및 언더-슈트의 발생을 완화시킨다. 또한, 본 발명에 따른 영상처리장치는 보간필터에서 생성되는 보간데이터와 보간필터의 출력값 간의 차값을 산출하고, 상기 산출된 차값에 가중치를 곱하여 상기 보간값을 보정함으로서 오버-슈트 및 언더-슈트에 의한 화질 열화를 감소시킨다.

큐빅 컨벌루션, 8탭 필터, 인터폴레이션, 보간, 휘도레벨

Description

영상처리장치{Image interpolation apparatus}

도 1은 종래의 2탭(tab) 필터링을 적용하여 입력영상신호에 대한 보간을 수행하는 과정을 설명하기 위한 도면,

도 2는 큐빅 컨벌루션 보간방법에 따른 구형파의 응답특성을 도시한 그래프,

도 3은 본 발명의 바람직한 일 실시예에 따른 영상처리장치의 블록 개념도를 나타낸다.

도 4는 도 3의 제어부에서 산출된 보간위치에 의해 보간계수를 생성하는 방법을 설명하기 위한 도면을 나타낸다.

*도면의 주요 부분에 대한 부호의 설명*

200 : 주파수 판별부 300 : 제어부

400 : 계수 저장부 500 : 보간필터

500a ∼ 500g : 지연셀 501a ∼ 501h : 승산기

600 : 보간값 보정부

본 발명은 영상 처리장치 및 영상 처리방법에 관한 것으로, 특히 영상신호의 에지 부분에 대한 특성을 향상시키는 영상 처리장치 및 영상 처리방법에 관한 것이다.

일반적으로 영상 표시장치에 기설정된 해상도와 다른 해상도를 갖는 영상이 영상신호 제공원으로부터 입력되는 경우, 영상 표시장치는 입력되는 영상의 해상도를 영상 표시장치에 기설정된 해상도에 적합하도록 변환하여야 한다.

영상 표시장치에 입력되는 영상의 해상도가 영상 표시장치에 기 설정된 해상도와 다른 경우, 해상도의 변환은 입력되는 영상신호를 구성하는 화소수를 증감하여 영상신호의 해상도를 확대(Interpolation, Up-Scaling) 또는 축소(Decimation, Down-Scaling)하며, 이와 같은 영상처리를 스케일링 또는 포맷변환이라 한다. 특히, 기설정된 해상도보다 낮은 저해상도의 영상이 입력되는 경우, 영상 표시장치는 입력되는 영상의 해상도를 수직 또는 수평방향으로 확대하기 위해 소정의 선형 보간법을 적용한다.

선형 보간법으로는 양선형 보간(Bi-Linear Interpolation), 큐빅 회선 보간(Cubic Convolution Interpolation) 등이 있으며, 양선형 보간법 및 큐빅 회선 보간은 유한 임펄스 응답(Finite Impulse Response : FIR) 필터를 이용하는 보간으로서, 입력영상신호를 주파수 영역으로 변환한 후, 보간할 위치에 인접한 화소들의 가중치(Weighted)을 이용하여 필터링한다. 이로써 확대된 최종 보간데이터가 출력된다. 예를 들어, 양선형 보간법은 입력영상신호들에 대해 도 1의 (a)에 도시된 2탭(tab) 필터링을 적용하여 보간을 수행한다. 즉, 양선형 보간법은 보간을 수행할 위치의 주변화소 2개를 이용하여 보간을 수행한다. 한편, 큐빅 회선 보간법은 입 력영상신호들에 대해 도 1의 (b)에 도시된 4탭 필터링을 적용하여 보간을 수행한다. 즉, 큐빅 회선 보간법은 보간을 수행할 위치의 주변화소 4개를 이용하여 보간을 수행한다. 그러나, 종래의 영상보간장치는 하나의 보간법 즉, 기설정된 하나의 필터링을 적용하여 보간을 수행함으로써 영상신호의 주파수 영역별로 화질열화가 발생하는 경우가 있다. 예를 들어, 입력되는 영상신호에 대해 큐빅 회선 보간을 적용하면 고주파 성분이 없는 부분에서는 화질열화가 발생하지 않으나, 고주파 성분의 영상신호에 대해서는 화질열화가 발생한다.

대부분의 영상 표시장치에서는 큐빅 컨벌루션 보간법이나 싱크(sinc) 보간방법과 같은 컨벌루션 타입의 영상 보간법이 주로 적용되고 있으며, 양자를 함께 적용하는 경우도 있다. 큐빅 컨벌루션 보간방법이나 싱크 보간방법을 선택적으로 적용하여 영상을 재생하는 경우, 영상의 에지 부분에서 발생하는 블러링 현상을 감소시키기가 어려운 문제가 있다.

큐빅 컨벌루션 보간법의 경우 영상신호의 에지 영역에서의 링잉(ringing)현상의 발생이 적은 반면 영상의 에지 부분에서 블러링(bluring) 현상이 발생하는 단점이 있으며, 싱크(sinc) 보간방법은 저주파영역, 또는 영상의 변화가 적은 영역에서의 주파수 특성이 양호한 반면 에지 영역에서는 링잉(ringing)이 발생하는 단점이 있다. 도 2는 큐빅 컨벌루션 보간방법에 따른 구형파의 응답특성을 개념적으로 나타내는 도면으로서 구형파(A)에 대해 큐빅 컨벌루션 보간방법을 적용시, 그래프 "B"에 나타난 바와 같이 에지 부분의 파형이 뭉개져 버리는 블러링 현상이 발생함으로서 에지 부분의 화질을 열화시키며, 구형파(A)에 대해 싱크(sinc) 보간방법이 적용된 그래프 "C"는 에지 영역에서 링잉 현상이 발생함을 볼 수 있다.

이에 따라, 영상신호에 대해 큐빅 컨벌루션 보간방법과 싱크 보간방법을 선택적으로 적용하는 기존의 영상 재생장치에서 영상을 재생시, 큐빅 컨벌루션이 에지 부분에 적용될때 나타나는 블러링 현상을 감소시키는 대안이 필요하였다. 큐빅 컨벌루션 보간방법을 영상신호에 적용시 영상의 에지 영역에서 블러링이 발생하며, 이를 감소시키기 위해 싱크 보간방법의 하나인 8탭 폴리 페이즈 보간방법을 적용하여 에지 영역에서의 블러링 발생을 감소시킬 수 있으나 이 경우, 에지 영역에서 링잉 현상이 발생된다. 이에 본 출원인은 싱크 보간방법을 적용하여 블러링의 발생을 최소하 하되, 영상신호의 에지 영역에서의 발생되는 링잉 현상을 감소시킬 수 있는 영상처리장치를 제공하고자 한다.

상기한 바와 같이, 본 발명의 목적은 싱크 보간방법을 적용하여 에지 영역에서의 블러링 현상을 최소화 하되, 영상신호의 에지 영역에서의 링잉 현상을 감소시킬 수 있는 영상 처리장치를 제공함에 있다.

상기한 목적은 본 발명에 따라, 제1해상도의 입력영상신호를 소정의 해상도 변환비율에 따라 제2해상도의 출력영상신호로 보간하는 영상 처리장치에 있어서, 상기 입력영상신호의 주파수 변화량을 검출하여 상기 입력영상신호에 대응되는 주파수 영역을 판단하는 주파수 검출부, 상기 해상도 변환비율에 따라 상기 입력영상신호에 대한 보간위치를 산출하는 제어부, 산출된 상기 보간위치에 대응되는 보간 계수를 구비하는 계수저장부, 상기 계수저장부로부터 제공되는 상기 보간계수를 입력받아 상기 입력영상신호를 보간하는 보간필터 및 상기 주파수 검출부에서 판단된 주파수 영역에 대한 정보를 토대로 상기 보간필터에서 출력되는 상기 입력영상신호에 대한 출력영상신호를 보정하는 보간값 보정부에 의해 달성된다.

상기 보간필터는, 상기 입력영상신호를 소정 시간동안 지연시킨 후 출력하는 복수개의 지연기, 상기 복수개의 지연기로부터 각각 출력되는 상기 입력영상신호와 상기 계수 저장부로부터 출력되는 상기 보간계수를 각각 승산하여 복수개의 보간데이터를 출력하는 복수개의 승산기, 및 상기 복수개의 승산기로부터 출력되는 소정 개수의 상기 보간데이터를 가산하여 상기 출력영상신호를 생성하는 가산기를 포함하며, 상기 지연기들 중 적어도 두개의 승산기에서 출력되는 보간값은 상기 보간값 보정부로 제공되는 것이 바람직하다.

상기 적어도 두개의 승산기에서 출력되는 보간값은, 상기 영상신호에 대한 휘도값인 것이 바람직하다.

상기 보간값 보정부는, 상기 적어도 두개의 승산기에서 출력되는 보간값과, 상기 보간필터의 출력값 간의 차값을 산출하고, 상기 산출된 차값에 가중치를 곱하여 상기 보간값을 보정하는 것이 바람직하다.

상기 보간값 보정부는, 상기 보간필터의 출력값이 상기 적어도 두개의 승산기에서 출력되는 보간값 보다 큰 경우 상기 보간필터의 출력값을 언더-슈트(under-shoot)로 판단한다.

상기 보간값 보정부는, 상기 보간필터의 출력값이 상기 적어도 두개의 승산 기에서 출력되는 보간값 보다 작은 경우 상기 보간필터의 출력값을 오버-슈트(over-shoot)로 판단한다.

상기 가중치는, 0과 1사이의 값인 것이 바람직하다.

상기 보간값 보정부는, 상기 주파수 검출부의 검출결과에 따라 상기 입력영상신호를 고주파 영역, 및 저주파 영역 중 어느 하나로 판단한다.

상기 보간값 보정부는, 상기 입력영상신호가 고주파 영역으로 판단된 경우, 상기 보간필터의 출력값을 출력영상신호로 선택하는 것이 바람직하다.

이하, 도면을 참조하여 본 발명을 상세히 설명한다.

도시된 바와 같이 본 발명의 일 실시예에 따른 영상처리장치는, 주파수 선택부(200), 제어부(300), 계수저장부(400), 보간필터(500), 및 보간값 보정부(600)을 갖는다.

일반적으로 소정의 보간법에 의해 화소수를 증가시킴으로써 해상도를 확대하는 장치를 스케일러, 포맷변환장치, 영상확대장치 등 다양하게 칭할 수 있으나, 이하 본 발명에서는 이를 영상처리장치라 한다.

제어부(300)는 제1해상도를 갖는 입력영상신호를 기 설정된 해상도 변환비율에 따라 제2해상도의 출력영상신호로 업 스케일링 또는 다운 스케일링한다. 즉, 제어부(300)는 해상도 변환비율에 따라 입력영상신호과 출력영상신호의 크기비를 판단하고 판단결과에 따라 계수저장부(400)에 기 저장되어 있는 계수들을 선택한 다.

계수저장부(400)는 제어부(300)에서 선택된 계수를 보간필터(500)에 제공한다. 보간필터(500)는 8탭(tab) 폴리 페이저 필터인 것이 바람직하다. 8탭 폴리 페이저 필터는 8개의 입력영상신호가 보간에 관여하는 필터링 방식으로 당업자에게 보편화된 필터링 방식의 하나이므로 자세한 설명은 생략하기로 한다.

보간필터(500)는 복수개의 지연셀(500a ∼ 500g)과 승산기(501a ∼ 501h)로 구성되며, 계수저장부(400)에서 각 승산기별로 제공되는 계수와 지연셀(500a ∼ 500g)의 출력신호를 승산하고 이를 합산하여 입력영상신호에 대한 출력영상신호를 생성한다.

주파수 판별부(200)는 순차로 입력되는 입력영상신호 간의 휘도레벨 증감을 분석한다. 주파수 판별부(200)는 입력되는 입력영상신호의 휘도값이 급격히 변하는 회수를 토대로 입력영상신호를 고주파 영역과 저주파 영역으로 판단한다. 예를 들어, 주파수 판별부(200)에 입력되는 입력영상신호가 모자이크 타입의 영상이면 순차로 입력되는 입력영상신호의 휘도레벨이 여러번 크게 변하게 되며, 주파수 판별부(200)는 이와 같은 입력영상신호를 고주파 영역의 영상신호로 판단한다. 반대로 주파수 판별부(200)에 입력되는 입력영상신호의 변화가 적거나 영상의 에지 부분이면 휘도레벨의 변화는 거의 발생하지 않는다. 이와 같은 판별방법에 의해 주파수 판별부(200)는 입력영상신호 분석결과에 따라 입력영상신호가 저주파 영역의 신호라고 판단시, 논리 "하이"의 제어신호를 생성하고, 반대의 경우 논리 "로우"의 제어신호(SH_CONTL_FLAG)를 생성하여 이를 보간값 보정부(600)로 제공한다. 여기 서, 주파수 판별부(200)가 논리 "하이"와 "로우"를 예로서 설명하고 있으나 이는 어디까지나 본 실시예를 이해하기 용이하도록 함이며, 본 발명이 이에 한정되지 않음을 밝혀둔다.

보간값 보정부(600)는 주파수 판별부(200)에서 출력되는 제어신호(SH_CONTL_FLAG)의 값과 보간필터(500)를 구성하는 승산기(501a ∼ 501h)들 중 두개의 승산기(예컨데 501d ∼ 501e )에서 출력되는 보간데이터를 참조하여 보간필터(500)에서 출력되는 보간값을 보정한다. 보간값의 보정은 아래의 표 1과 같은 방법에 의해 수행될 수 있다.

SH_CONTL_FLAG = "ON" if PRO OUT > max{DI, D2} //over-shoot// DATA OUT = W * max {D1, D2} + (1-W) * PRO OUT if PRO OUT < min {DI, D2} //under-shoot// DATA OUT = W * min {D1, D2} + (1-W) * PRO OUT else DATA OUT = PRO OUT SH_CONTL_FLAG = "OFF" DATA OUT = PRO OUT

상기한 표 1은 주파수 판별부(200)에서 출력되는 제어신호가 논리 "하이", 즉 "ON"이면 보간값 보정부(600)가 승산기(510d, 510e)에서 출력되는 보간데이터의 최대값과 보간필터(500)의 출력값을 비교하고, 비교 결과 보간필터(500)의 출력값 이 더 크면 승산기(510d, 510e)에서 출력된 보간데이터에 가중치(W)를 곱한값과, (1-W)의 가중치에 보간필터(500)의 출력값을 곱한값을 더한값을 출력한다. 반대의 경우 보간값 보정부(600)는 승산기(510d, 510e)에서 출력되는 보간데이터의 최소값에 가중치를 곱하고, 이 값을 승산기(510d, 510e)에서 출력되는 보간데이터에 (1-W)가중치를 곱한값을 더하여 산출된 값을 출력영상신호로서 생성한다.

상기한 표 1을 참조하여 보간값 보정부(600)의 동작에 대한 일 예를 들면 다음과 같다.

먼저, D1 D2값이 각각 휘도레벨 100, 110이고, 보간필터에서 출력되는 보간값의 휘도레벨이 130이며, 가중치(W)가 0.5인 경우, D1과 D2값은 보간필터(500)의 출력값에 비해 오버-슈트(over-shoot)상태이므로 이를 상기한 표 1에 나타난 바대로 계산하면 D1과 D2값중 최대값인 D2의 휘도값 110을 가중치 0.5와 곱하고, 가중치(1-W)를 보간필터(500)의 출력값과 곱한값을 더하여 얻는다. 이를 수식으로 표현하면 아래의 수학식 1과 같다.

즉, 보간필터(500)의 출력값을 낮추어 오버-슈트 상태를 완화한다. 여기서, 보간필터(500)의 출력값과 보간데이터는 휘도값을 예시하였다.

반대로, D1, D2값이 각각 휘도레벨 140, 130이고, 보간필터에서 출력되는 보간값의 휘도레벨이 120이며, 가중치(W)가 0.5인 경우, D1과 D2값은 보간필터(500)의 출력값에 비해 언더-슈트(under-shoot)상태이므로 이를 상기한 표 1에 나타난 바대로 계산하면 D1과 D2값중 최소값인 D2의 휘도값 130을 가중치 0.5와 곱하고, 가중치(1-W)를 보간필터(500)의 출력값과 곱한값을 더하여 얻는다. 이를 수식으로 표현하면 아래의 수학식 2과 같다.

즉, 보간필터(500)의 출력값을 높여 언더-슈트 상태를 완화한다.

도 4는 도 3의 제어부(300)에서 산출된 보간위치에 의해 보간계수를 생성하는 방법을 설명하기 위한 도면을 나타낸다.

도 4를 참조하면, 8탭 커널은 8개의 입력영상신호가 보간에 관여한다. 또한, 복수의 보간위치가 (p-4), (p-3), (p-2), (p-1), (p), (p+1), (p+2) 및 (p+3)인 경우, 최종 보간데이터를 얻기 위해 필요한 복수의 보간계수는 f(p-4), f(p-3), f(p-2), f(p-1), f(p), f(p+1), f(p+2) 및 f(p+3)이다. 여기서 p는 각 탭 사이에서의 상대적 위치값이다.

이러한 보간계수는 8탭 커널에 의해 미리 산출되어 계수 저장부(400)에 저장되어 있다. 예를 들어, 각 탭 간의 간격을 32구간으로 분할할 경우, 탭 사이에서 보간위치는 0, 1/32, 2/32, 3/32, …, 31/32, 1 등의 상대적 위치값을 가지며, 각 보간위치에 대응되는 수직 및 수평 보간계수들이 미리 계산되어 계수 저장부(400)에 저장된다. 한편, 각 탭 간의 간격은 16구간, 64구간 등 다른 구간으로도 분할가능하다. 이러한, 해상도 변화비율에 따른 보간위치 및 각 보간위치에 대한 필터계수의 산출은 이미 공개된 기술로써 이 분야에서 종사하는 당업자라면 누구나 알 수 있는 기술분야이므로 그에 대한 상세한 설명은 생략한다.

상기한 바와 같이, 본 발명에 따른 영상처리장치는 소정 해상도로 입력되는 입력영상을 다른 해상도로 변환시 입력영상신호의 주파수를 고려하여 보간필터의 출력값을 보정함으로서 오버-슈트 및 언더-슈트의 발생을 완화시킨다. 또한, 본 발명에 따른 영상처리장치는 보간필터에서 생성되는 보간데이터와 보간필터의 출력값 간의 차값을 산출하고, 상기 산출된 차값에 가중치를 곱하여 상기 보간값을 보정함으로서 오버-슈트 및 언더-슈트에 의한 화질 열화를 감소시킨다.

이상에서는 본 발명의 바람직한 실시예에 대해서 도시하고 설명하였으나, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게된다.

Claims

제1해상도의 입력영상신호를 소정의 해상도 변환비율에 따라 제2해상도의 출력영상신호로 보간하는 영상 처리장치에 있어서,

상기 입력영상신호의 주파수 변화량을 검출하여 상기 입력영상신호에 대응되는 주파수 영역을 판단하는 주파수 검출부;

상기 해상도 변환비율에 따라 상기 입력영상신호에 대한 보간위치를 산출하는 제어부;

산출된 상기 보간위치에 대응되는 보간계수를 구비하는 계수저장부;

상기 계수저장부로부터 제공되는 상기 보간계수를 입력받아 상기 입력영상신호를 보간하는 보간필터; 및

상기 주파수 검출부에서 판단된 주파수 영역에 대한 정보를 토대로 상기 보간필터에서 출력되는 상기 입력영상신호에 대한 출력영상신호를 보정하는 보간값 보정부;를 포함하며,

상기 보간값보정부는 상기 보간필터에서 출력되는 보간값과 상기 보간필터의 출력값 간의 차값을 산출하고, 상기 산출된 차값에 가중치를 곱하여 상기 출력값을 보정하는 것을 특징으로 하는 영상 처리장치.
제1항에 있어서,

상기 보간필터는,

상기 입력영상신호를 소정 시간동안 지연시킨 후 출력하는 복수개의 지연기;

상기 복수개의 지연기로부터 각각 출력되는 상기 입력영상신호와 상기 계수 저장부로부터 출력되는 상기 보간계수를 각각 승산하여 복수개의 보간데이터를 출력하는 복수개의 승산기; 및

상기 복수개의 승산기로부터 출력되는 소정 개수의 상기 보간데이터를 가산하여 상기 출력영상신호를 생성하는 가산기;를 포함하며, 상기 지연기들 중 적어도 두개의 승산기에서 출력되는 보간값은 상기 보간값 보정부로 제공되는 것을 특징으로 하는 영상 처리장치.
제2항에 있어서,

상기 적어도 두개의 승산기에서 출력되는 보간값은,

상기 영상신호에 대한 휘도값인 것을 특징으로 하는 영상 처리장치.
삭제
제2항에 있어서,

상기 보간값 보정부는,

상기 보간필터의 출력값이 상기 적어도 두개의 승산기에서 출력되는 보간값 보다 큰 경우 상기 보간필터의 출력값을 언더-슈트(under-shoot)로 판단하는 것을 특징으로 하는 영상 처리장치.
제2항에 있어서,

상기 보간값 보정부는,

상기 보간필터의 출력값이 상기 적어도 두개의 승산기에서 출력되는 보간값 보다 작은 경우 상기 보간필터의 출력값을 오버-슈트(over-shoot)로 판단하는 것을 특징으로 하는 영상 처리장치.
제1항에 있어서,

상기 가중치는,

0과 1사이의 값인 것을 특징으로 하는 영상 처리장치.
제1항에 있어서,

상기 보간값 보정부는,

상기 주파수 검출부의 검출결과에 따라 상기 입력영상신호를 고주파 영역, 및 저주파 영역 중 어느 하나로 판단하는 것을 특징으로 하는 영상처리장치.
제8항에 있어서,

상기 보간값 보정부는,

상기 입력영상신호가 고주파 영역으로 판단된 경우, 상기 보간필터의 출력값을 출력영상신호로 선택하는 것을 특징으로 하는 영상처리장치.