KR100680471B1

KR100680471B1 - 보색 컬러 필터를 채택한 ＳｏＣ 카메라 시스템

Info

Publication number: KR100680471B1
Application number: KR1020040097138A
Authority: KR
Inventors: 송동섭; 정병근; 권오봉
Original assignee: 매그나칩 반도체 유한회사
Priority date: 2004-11-24
Filing date: 2004-11-24
Publication date: 2007-02-08
Also published as: KR20060057940A; US20060109358A1; JP2006148931A

Abstract

본 발명은 보색 컬러 필터를 채택한 SoC 카메라 시스템에 관한 것으로, 컬러 필터를 포함하여, 광학적으로 촬영된 영상을 전기적 아날로그 영상 신호로 변환하는 픽셀 어레이부; 상기 픽셀 어레이부로부터의 아날로그 영상 신호를 소정 레벨로 조정하여 디지털 영상 신호로 출력하는 아날로그 신호 처리부; 및 상기 디지털 영상 신호를 원래 영상과 가깝도록 백색 보정, 색채 수정하는 디지털 신호 처리부를 포함하고, 여기서 상기 디지털 신호 처리부는 상기 픽셀 어레이부 및 상기 아날로그 신호 처리부와 함께 집적화된 것을 특징으로 하며, 특히 상기 픽셀 어레이부로부터 아날로그 영상 신호를 얻기 위한 구동 방식으로 한번에 모든 화소를 읽어들여 색 신호를 출력하는 방식인 순차주사 방식을 적용함으로써 해상도 및 색감도가 증가되도록 하는 보색 컬러 필터를 채택한 SoC 카메라 시스템에 관한 것이다.

SoC, 카메라 시스템, 이미지 센서, 보색 필터, 순차주사, 픽셀 어레이

Description

보색 컬러 필터를 채택한 ＳｏＣ 카메라 시스템{SYSTEM ON A CHIP CAMERA SYSTEM EMPLOYING COMPLEMENTARY COLOR FILTER}

도1은 본 발명에 따른 SoC 카메라 시스템의 상세 블록도.

도2는 본 발명에 따른 SoC 카메라 시스템에서 백색 보정을 실행하는 방법을 개략적으로 도시한 도면.

도3a는 일반적인 원색 컬러 필터의 배열을 도시한 도면.

도3b는 일반적인 보색 컬러 필터의 배열을 도시한 도면.

도4는 도3b에 도시된 보색 컬러 필터를 채택한 이미지 센서에서 비월주사 방식을 이용하여 영상 신호를 복원하는 방법을 개략적으로 도시한 도면.

* 도면의 주요부분에 대한 부호의 설명

1: 카메라 시스템 2: 픽셀 어레이부

3: 신호 처리 회로부 4: 메모리

20: 보색 필터 21: 타이밍 발생부

30: 아날로그 신호 처리부 31: 디지털 신호 처리부

300: CDS & 컬럼 디코더 301: 프리-앰프

302: A/D 변환부 310: 보색-원색 변환부

311: AWB/AE 보정부 312: 색채 공간 변환부

313: 휘도 처리부 314: 색채 처리부

315: 출력부

본 발명은 보색 컬러 필터를 채택한 SoC 카메라 시스템에 관한 것으로, 보다 상세하게는 보색 컬러 필터를 채택한 CMOS 이미지 센서와 상기 이미지 센서로부터의 영상 신호를 처리하는 신호 처리 회로를 시스템 온 칩(System On a Chip)의 형태로 구현하고, 특히 상기 영상 신호를 얻기 위한 구동 방식으로 한번에 모든 화소를 읽어들여 색 신호를 출력하는 방식인 순차주사(Progressive Scanning) 방식을 적용함으로써 해상도 및 색감도가 증가되도록 하는 보색 컬러 필터를 채택한 SoC 카메라 시스템에 관한 것이다.

일반적으로, 이미지 센서는 광자를 전자로 전환하여 디스플레이 장치에 표시하거나 저장 장치에 저장할 수 있도록 하는 반도체 소자로서, CCD(Charge Coupled Device) 및 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등의 크게 2가지 종류가 있고, 또한 그 기능 특성에 따라 디지털 카메라나 비디오 카메라 등에 적용되는 영역(Area) 이미지 센서와 팩시밀리, 스캐너 및 다기능 사무 기기 등에 적용되는 선형(Linear) 이미지 센서로 나눌 수 있으며, 현재는 각종 카메라, 캠코더, 팩시밀리, 의료 기기 등에 이르기까지 광범위하게 적용되고 있다.

그 중에서도, 상기 CMOS 이미지 센서는 CCD에 비해 가격이 저렴하고, CCD의 1/10 정도로 전력소모가 적으며, 회로의 집적도가 높아서 주변 IC와 시스템 온 칩의 형태로 구현 가능하다는 장점을 가지고 있으므로, 특히 PC 등의 영상 입력을 위한 장치로 소형/경량화가 요구되는 디지털 카메라에 적합하고, 이 경우 CCD보다 유리하게 사용될 수 있다.

한편, 상기 이미지 센서에는 컬러 영상을 받아들여 색상을 인식하기 위해서 색 구분을 위한 컬러 필터가 부착되어야 하는데, 이러한 필터에는 도3a에 도시된 바와 같은 원색 컬러 필터(Primary Color Filter, 이하 "원색 필터"라 함)와 도3b에 도시된 바와 같은 보색 컬러 필터(Complementary Color Filter, 이하 "보색 필터"라 함)가 있다.

도3a는 일반적인 원색 필터의 배열을 도시한 도면으로, 상기 원색 필터는 R(Red), G(Green), B(Blue)와 같이 3개의 색 성분으로 구성되고, R-G-G-B(도3a의 점선부분 참조) 또는 G-R-B-G 또는 B-G-G-R 또는 G-B-R-G로 구성된 화소 배열(가로 2*세로 2=총 4)을 기본 단위로 주기적으로 배열되어 있다.

일반적으로, 가시 광선을 파장별로 크게 나누면 R, G, B로 등분되는데, 이미지 센서에 사용되는 컬러 필터는 특정 파장대의 빛만을 선택적으로 통과시키는 유기 물질로, R, G, B의 색 성분으로 구성되는 이러한 원색 필터는 R, G, B의 3원색을 그대로 통과시켜 정확한 색을 재현해 내지만, 아래에 설명하는 보색 필터와 비 교하여 볼 때 화소당 광량이 부족하여 선명도가 떨어진다는 단점이 있다.

도3b는 일반적인 보색 필터의 배열을 도시한 도면으로, 상기 보색 필터는 Cy(Cyan), Mg(Magenta), Ye(Yellow), Gr(Green)과 같이 4개의 색 성분으로 구성되고, Cy-Ye-Gr-Mg(도3b의 점선부분 참조) 또는 Ye-Cy-Mg-Gr 또는 Mg-Gr-Ye-Cy 또는 Gr-Mg-Cy-Ye로 구성된 화소 배열(가로 2*세로 2=총 4)을 기본 단위로 주기적으로 배열되어 있으며, 상기 보색 필터를 구성하는 색 성분인 Cy, Mg, Ye가 원색 필터를 구성하는 색 성분인 R, G, B와 보색 관계에 있으므로 보색 필터라고 한다.

이러한 보색 필터는 R, G, B 중 1가지의 색 성분을 통과시키지 않아서, 즉 Ye 필터는 R과 G의 색 성분을 통과시키고(즉, Ye = R + G), Cy 필터는 G와 B의 색 성분을 통과시키며(즉, Cy = G + B), Mg 필터는 R과 B의 색 성분을 통과시키고(즉, Mg = R + B), 그 자신의 색 성분은 흡수하여 통과시키지 않기 때문에, 이미지 센서에 입사하는 원색 신호의 광량이 크게 되어, 즉 1매의 필터로 상기 원색 필터보다 약 2배의 색 성분을 통과시켜 휘도 세기가 좋아지게 되고, 어두운 피사체를 촬영하는 경우에도 큰 영상 신호 출력을 얻을 수 있으며, 원색 필터의 경우와 같이 4개의 화소(Cy, Mg, Ye, Gr)에서 R, G, B 정보를 모두 추출해낼 수 있기 때문에 해상도 저하도 거의 없다는 장점을 가진다.

보다 상세하게는, 총 4화소(=가로 2*세로 2)를 기준으로 하여 살펴보면, 다음의 결과를 얻을 수 있어 보색 필터가 원색 필터보다 약 2배의 색 성분을 통과시킨다는 것을 쉽게 알 수 있다.

(원색 필터의 경우) R + G + G + B = 2G + R + B

(보색 필터의 경우) Cy + Mg + Ye + Gr = 3G + 2R + 2B

이와 같이, 원색 필터의 경우에는 광량이 줄어들기 때문에 이를 보상하기 위해 전기적으로 영상 신호를 증폭하다보면 노이즈도 함께 증가하게 되는데, 보색 필터는 원색 필터의 약 2배 정도로 원색 필터에 비해 투과율이 높아 보다 노이즈가 적은 영상을 만들어내어 그에 따라 감도가 높은 센서가 달성되기 때문에, 최근에는 감도가 중요시되는 비디오 카메라나 디지털 카메라와 같이 CMOS 이미지 센서를 이용한 카메라 시스템에서 원색 필터를 채택하지 않고 보색 필터를 일반적으로 사용하고 있다.

한편, 보색 필터를 채택한 이미지 센서에서 영상 신호를 복원하기 위해 비월주사 방식을 일반적으로 이용하고 있고, 이러한 보색 필터를 채택한 CMOS 이미지 센서를 이용한 카메라 시스템은 PC 등에서 R, G, B의 형태를 사용하므로 보색 신호(Cy, Mg, Ye, Gr)를 원색 신호(R, G, B)로 변환시켜주는 기능을 가져야 한다.

도4는 도3b에 도시된 보색 필터를 채택한 이미지 센서에서 비월주사 방식을 이용하여 영상 신호를 복원하는 방법을 개략적으로 도시하고 있는데, 상기 비월주사 방식은 하나의 필드로부터 R(Red), G(Green), B(Blue) 신호를 도출하여 하나의 색 신호를 구성하는 방법으로, 이하에서 보다 상세하게 설명된다.

먼저, 상기 보색 필터 배열의 2*2 영역 내의 Cy, Mg, Ye, Gr 값을 이용하여 Y(휘도), Cb(= B - Y, B에 대한 색도), Cr(= R - Y, R에 대한 색도) 값을 구한 다음, 이 값을 이용하여 다시 R, G, B 값을 도출하게 되는데, 다시 말하면

(제1 프레임에서) Cy + Mg, Ye + Gr, Cy + Mg, Ye + Gr, …

(제2 프레임에서) Gr + Cy, Mg + Ye, Gr + Cy, Mg + Ye, …

이 반복되어, 그에 따라 Y, Cb 및 Cr 값이 다음과 같이 구해진다.

(제1 프레임에서) Y = (Cy + Mg) + (Ye + Gr)

Cb = (Cy + Mg) - (Ye + Gr)

(제2 프레임에서) Y = (Gr + Cy) + (Mg + Ye)

Cr = (Mg + Ye) - (Gr + Cy)

그에 따라, 상기 Y, Cb 및 Cr 값으로부터 원색 신호로의 변환을 통해 다음과 같이 R, G, B 값이 도출된다.

R = 1/4·(Y - Cb - Cr)

G = 1/8·(Y - Cb + 3Cr) = 1/2·(G + Cr)

B = 1/8·(Y + 3Cr - Cr) = 1/2·(G + Cb)

그러나, 통상적으로 비월주사 방식은 우수(Even) 필드와 기수(Odd) 필드를 순차적으로 읽어들이는 방식, 즉 화면을 우수 필드와 기수 필드로 나누어 한번은 우수 필드를 표시하고 한번은 기수 필드를 표시하여 하나의 영상을 만들어주는 방식으로, 절반의 데이터로 비교적 안정된 영상이 얻어져 높은 재생률을 달성할 수 있지만, 화면을 2번에 나누어 주사하여 해상도가 반으로 줄어들게 되는 단점이 있으므로, 고밀도의 정보를 전송하기에는 부적합하다는 문제점이 있다.

종래에, 보색 필터를 채택한 이미지 센서를 이용한 카메라 시스템에서 디지털 신호 처리를 적용하여 해상도 및 색감도를 향상시킬 수 있는 방법들이 제안되기는 하였으나, 이러한 종래 기술은 모두 회로의 집적화를 달성할 수 없어 신호 처리 회로가 이미지 센서와 분리되어 있고, 그에 따라 소형/경량화를 만족시킬 수 없는 CCD 이미지 센서를 채택한 경우로, 적용 대상이 되는 디지털 카메라 등의 요구항목인 소형/경량화를 만족시킬 수 있고, 또한 해상도 및 색감도를 향상시킬 수 있는 카메라 시스템이 필요하게 되었다.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 색감도 저하를 보상하기 위해 보색 필터를 채택한 CMOS 이미지 센서와 상기 이미지 센서로부터의 영상 신호를 처리하는 신호 처리 회로를 시스템 온 칩의 형태로 구현하여, 소형/경량화를 달성할 수 있는 카메라 시스템을 제공하는데 그 목적이 있다.

또한, 본 발명의 목적은 영상 신호를 얻기 위한 구동 방식으로 한번에 모든 화소를 읽어들여 색 신호를 출력하는 순차주사 방식을 적용함으로써 해상도가 증가되도록 하는 카메라 시스템을 제공하는 것이다.

또한, 본 발명의 목적은 신호 처리 회로를 이용한 보색-원색 변환, 백색 보정, 색채 수정과 같은 영상 신호 처리로 색 정보가 정확히 재현되도록 하는 카메라 시스템을 제공하는 것이다.

이와 같은 본 발명의 목적은, Cy, Mg, Ye, Gr의 4개의 색 성분으로 구성된 보색 필터인 컬러 필터를 포함하여, 광학적으로 촬영된 영상을 전기적 아날로그 영상 신호로 변환하는 픽셀 어레이부; 상기 픽셀 어레이부로부터 출력된 영상 신호를 상관 이중 샘플링에 의해 저잡음 처리하는 CDS/컬럼 디코더와, 상기 저잡음 처리된 신호 레벨을 소정 레벨로 일정하게 조정하는 프리-앰프와, 상기 소정 레벨로 조정된 아날로그 영상 신호를 디지털 영상 신호로 변환하여 출력하는 A/D 변환부로 구성된 아날로그 신호 처리부; 및 상기 아날로그 처리부에서 출력된 상기 디지털 영상 신호인 Cy, Mg, Ye, Gr을 R, G, B의 3원색 신호로 변환하고, 색채 수정을 수행하는 보색-원색 변환부와, 광원에 따라 다른 색으로 나타나는 순백색의 물체를 흰색으로 백색 보정하는 AWB/AE 보정부와, 상기 원색계 신호인 R, G, B를 색차계 신호인 Y, Cb, Cr로 변환하는 색채 공간 변환부와, 원래 영상과 가깝도록 영상의 밝기 및 색상을 조정하는 휘도 처리부 및 색채 처리부와, 상기 신호 처리된 영상을 소정의 포맷으로 외부 장치로 출력하는 출력부로 구성되어 상기 디지털 영상 신호를 원래 영상과 가깝도록 백색 보정, 색채 수정하는 디지털 신호 처리부를 포함하고, 여기서 상기 디지털 신호 처리부는 상기 픽셀 어레이부 및 상기 아날로그 신호 처리부와 함께 집적화된 카메라 시스템에 의하여 달성된다.

이하, 본 발명의 바람직한 실시예들을 첨부한 도면을 참조하여 상세하게 설명하면 다음과 같다. 참고로 각 도면에 표시된 동일한 도면부호들은 동일한 구성요소를 나타낸다.

도1은 본 발명에 따른 SoC 카메라 시스템의 상세 블록도로, 상기 카메라 시스템(1)은 컬러 필터(20)가 부착된 픽셀 어레이부(2) 및 상기 픽셀 어레이부(2)를 제어하며 상기 픽셀 어레이부(2)로부터의 아날로그 영상 신호를 처리하기 위한 신호 처리 회로부(3)를 포함하고, 상기 카메라 시스템(1)의 구성요소들은 소형/경량화가 달성되도록 시스템 온 칩의 형태로 구현되어 있다.

먼저, 상기 픽셀 어레이부(2)는 일반적인 이미지 센서와 같이 광전(光電) 변환을 수행하는 구성요소로, 컬러 필터(20) 및 타이밍 발생부(21)로 구성되는데, 상기 픽셀 어레이부(2)의 상세 구성 및 동작은 본 발명의 특징이 아니고 또한 상기 구성요소 이외에 여타의 구성요소들은 일반적인 이미지 센서와 동일한 기능을 수행하므로 여기서는 상세하게 설명하지 않을 것이다.

또한, 상기 픽셀 어레이부(2)는 색감도 저하를 보상하기 위해 컬러 필터(20)로 보색 필터(20)를 채택하는 것이 바람직하고, 이러한 경우 본 발명에 적용된 보 색 필터(20)의 화소 배열은 Cy, Mg, Ye, Gr의 4개의 색 성분으로 구성되어 있고, 상기 화소 배열은 Ye-Cy-Gr-Mg 또는 Cy-Ye-Mg-Gr 또는 Mg-Gr-Cy-Ye 또는 Gr-Mg-Ye-Cy의 총 4화소(=가로 2화소*세로 2화소)를 기본 단위로 주기적으로 배열되어 있으나, 여기서는 Ye-Cy-Gr-Mg로 구성된 기본 단위(도1의 점선부분 참조)만을 참조하여 설명할 것이다.

상기 픽셀 어레이부(2)의 동작을 간략하게 설명하면, 상기 타이밍 발생부(21)에 의해 발생되는 구동펄스에 의해 동작하는데, 상기 타이밍 발생부(21)는 아래에 설명되는 AWB/AE 보정부(311)로부터의 제어 신호에 응답하여 상기 보색 필터(20)의 각 화소가 순차주사 방식으로 읽히도록 하고, 각 화소가 빛을 받아들이는 시간을 조절하며, 카메라 렌즈를 통해 피사체를 촬영한 영상 데이터가 입력되면 입력 영상은 픽셀 어레이부(2)에 특수하게 부착된 보색 필터(20)에 의해 분류되어 내부 광 다이오드에 의해 에너지를 가하여 광학적으로 촬영된 영상을 전기적 아날로그 영상 신호로 변환하고, 상기 전기적으로 변환된 아날로그 영상 신호를 상기 신호 처리 회로부(3)로 출력한다.

본 발명에 있어서, 상기 픽셀 어레이부(2)는 가격이 저렴하고, 전력소모가 적으며 회로의 집적도가 높아 시스템 온 칩의 형태로 구현이 가능한 CMOS 이미지 센서인 것이 바람직하다.

또한, 색감도 저하를 보상하기 위해서 보색 필터를 채택하였으나, 보색 필터 대신에 원색 필터를 채택하여 본 발명에 따른 카메라 시스템(1)을 구성할 수도 있고, 이러한 경우에는 보색 신호를 원색 신호로 변환하기 위한 신호 처리가 필요하 지 않게 된다.

상기 신호 처리 회로부(3)는 상기 보색 필터(20)를 채택한 상기 픽셀 어레이부(2)를 제어하고, 상기 픽셀 어레이부(2)로부터의 영상 신호를 처리하는 구성요소로, 아날로그 신호 처리부(30) 및 디지털 신호 처리부(31)를 포함하여 이루어지고, 이하 상기 신호 처리 회로부(3)의 구성요소를 참조하여 영상 신호의 복원부터 출력에 이르기까지 보다 상세하게 설명할 것이다.

상기 아날로그 신호 처리부(30)는 상기 픽셀 어레이부(2)로부터의 아날로그 영상 신호를 소정 레벨로 조정하여 디지털 영상 신호로 출력하는 구성요소로, CDS & 컬럼 디코더(300), 프리-앰프(301), A/D 변환부(302)로 구성된다.

상기 CDS & 컬럼 디코더(300)는 상기 픽셀 어레이부(2)의 보색 필터(20)로부터의 출력 신호를 저잡음 처리하는 구성요소로, 상기 픽셀 어레이부(2)에서는 제조 공정 상의 미세한 차이에 의해 오프셋 전압(Offset Voltage)에 의한 고정 패턴 잡음(Fixed Pattern Noise)이 발생하게 되는데, 상기 픽셀 어레이부(2)로부터 출력되는 데이터 성분과 잡음 성분이 혼합된 신호를 상관 이중 샘플링(Correlated Double Sampling), 즉 전기적 영상 신호를 입력, 잡음을 제거하여 저잡음 처리하고, 상기 잡음이 제거된 신호인 데이터만을 세로단별로 분리해서 출력하며, 멀티플렉서(도시되지 않음)를 통해 Cy, Mg, Ye 및 Gr로 분리하여 상기 프리-앰프(301)로 전달한다.

상기 프리-앰프(Pre-amp)(301)는 화면 밝기를 조절하는 구성요소로, 상기 디지털 신호 처리부(31)의 AWB/AE 보정부(311)로부터의 제어 신호에 대한 응답으로 화면의 밝기가 소정 레벨보다 높거나 또는 소정 레벨보다 낮으면 상기 화면 밝기를 적절하게 조절하기 위해 상기 CDS & 컬럼 디코더(300)로부터 멀티플렉서를 통해 입력되는 상기 잡음이 제거된 신호의 레벨을 소정 레벨로 일정하게 조정하여 A/D 변환부(302)로 상기 신호를 출력한다.

상기 A/D 변환부(302)는 아날로그 복합 영상 신호를 디지털 복합 영상 신호로 변환하는 구성요소로, 상기 프리-앰프(301)로부터 상기 픽셀 어레이부(2)의 보색 필터(20)에 의해 발생되어 소정 레벨로 일정하게 조정된 아날로그 영상 신호를 수신하고, 그것으로부터 오프셋 제어 신호에 의하여 제어되는 오프셋에 종속되는 디지털 영상 신호로 변환하여 상기 디지털 신호 처리부(31)로 출력한다.

상기 디지털 신호 처리부(31)는 상기 아날로그 신호 처리부(30)로부터 디지털 영상 신호를 수신하여 R, G, B 신호로의 변환, 백색 보정, 색차 신호를 발생시키기 위한 신호 처리와 같은 디지털 신호 처리를 하고, 출력 단자를 통해 외부의 기록/재생 장치(도시되지 않음) 등으로 출력하는 역할을 하는 구성요소로, 보색-원색 변환부(310), AWB/AE 보정부(311), 색채 공간 변환부(312), 휘도 처리부(313), 색채 처리부(314) 및 출력부(315)를 포함하여 이루어진다.

상기 보색-원색 변환부(310)는 3*3 또는 3*4 매트릭스 회로를 채택하여 상기 아날로그 신호 처리부(30)의 A/D 변환부(302)로부터 출력된 4종류의 디지털 영상 신호(Cy, Mg, Ye, Gr)를 R, G, B의 3원색 신호로 변환하고, 상기 변환된 R, G, B의 컬러 응답 특성을 국제 표준에 맞게 바꾸어 상기 픽셀 어레이부(2)에 의해 왜곡된 색상을 보정해 주는 색채 수정(color correction)을 수행한다.

상기 픽셀 어레이부(2)로부터 아날로그 영상 신호를 얻기 위한 구동 방식으 로 순차주사 방식을 적용하는 경우, 색채 보간을 할 필요가 없어지게 되는데, 색채 보간(Interpolation)이란 이웃한 화소들의 단일 색상값으로부터 해당 화소의 R, G, B 색상값을 유추하여 출력함으로써 이미지 센서의 저해상도 영상 데이터를 고해상도 영상 데이터로 변환하는 것으로, 본 발명에 있어서 상기 보색-원색 변환부(310)와 접속된 메모리(4)가 추가되어 상기 메모리(4)에 적어도 1라인 분량의 영상 데이터를 유지할 수 있으므로, 그에 따라 한번에 모든 화소를 읽어들여 필드마다 R, G, B가 모두 추출되어 색채 보간의 필요성이 없어지게 되는 것이다.

다시 말하면, 보색-원색 변환을 위해서 Cy, Mg, Ye, Gr의 4가지 디지털 영상 신호가 요구되는데, 제2 라인의 Gr, Mg 신호가 읽혀지고 있다면 제1 라인의 Ye, Cy 신호가 필요하므로, 상기 제1 라인의 Ye, Cy 신호를 저장하기 위해 적어도 1라인 메모리(4)가 추가되는 것이 바람직하다.

여기서, 도1에 도시된 픽셀 어레이부(2)의 보색 필터(20)로부터 출력된 Cy, Mg, Ye, Gr를 R, G, B 신호로 변환하는 방법에 대해 보다 상세하게 살펴보면, 본 발명에 있어서 상기 픽셀 어레이부(2)로부터 순차주사 방식으로 매 라인마다 다음과 같은 Y, Cr(= R - Y), Cb(= B - Y) 신호가 생성된다.

Y = (Cy + Gr + Ye + Mg)/4 = (2B + 3G + 2R)/4

Cr = (Mg + Ye) - (Gr + Cy) = (2R - G)

Cb = (Mg + Cy) - (Gr + Ye) = (2B - G)

그에 따라, 보색 필터(20)를 적용하였으므로 Mg = R + B, Ye = R + G, Cy = G + B라고 하면, 상기 보색-원색 변환부(310)의 3*4 매트릭스 회로에서의 변환을 통해 매 라인마다 Cy, Mg, Ye, Gr의 4개의 화소에서 다음과 같은 R, G, B 값이 도출된다.

R = 1/4·(Y - Cb - Cr)

G = 1/8·(Y - Cb + 3Cr) = 1/2·(G + Cr)

B = 1/8·(Y + 3Cr - Cr) = 1/2·(G + Cb)

이러한 결과는 도4를 참조하여 설명한 비월주사 방식으로 영상 신호를 복원하는 방법의 경우와 유사한데, 이는 하나의 필드로부터 도출된 R, G, B 신호로서, 실제로 화면을 우수 필드와 기수 필드로 나누어 한번은 우수 필드를 표시하고 한번은 기수 필드를 표시하여 하나의 영상을 만들어주는 방식인 비월주사 방식과 달리, 본 발명에 있어서는 메모리(4)를 추가하고, 순차주사 방식을 적용하여 하나의 필드와 상기 메모리(4)에 저장된 하나의 필드를 함께, 즉 우수와 기수 필드를 모두 한 화면에 표시하므로 고해상도의 영상을 얻을 수 있게 된다.

상기 AWB/AE(Auto White Balance/Auto Exposure) 보정부(311)는 예를 들어 태양광, 형광등, 백열등 등과 같은 광원에 따라 다른 색으로 나타나는 순백색의 물체를 흰색으로 나타나도록 해주는 구성요소인데, 일반적으로 태양광의 경우 시각과 기후, 그림자 등의 요소에 의해 색 온도가 미묘하게 변하고, 또한 태양광 아래에서의 사진과 형광등 아래서의 사진이 분위기가 사뭇 달라 사용자가 느끼는 색을 얻지 못하여 촬영을 해도 결국은 쓰지 못하게 되기 때문에, 최상의 화면을 촬영하기 위해서는 그 장소의 조명 상태에 따라 화이트 밸런스가 달라져야 하므로, 도2에 도시된 바와 같이 Cb와 Cr 값을 127 코드 가까이 조정하여 현재 화소의 색채 정보값을 목표값으로 변환함으로써 자동 화이트 밸런스를 수행한다.

또한, 상기 AWB/AE 보정부(311)는 소정 레벨의 일정한 밝기의 영상 신호를 얻기 위해서 휘도(luminance, Y) 값을 이용하여 제어 신호를 발생하고, 그에 따라 상기 타이밍 발생부(21)에 의해 각 화소가 빛을 받아들이는 시간인 노출 시간(integration time) 및 상기 프리-앰프(301)에서 화면 밝기, 즉 상기 픽셀 어레이부(2)로부터 출력되어 잡음이 제거된 신호의 레벨이 소정 레벨로 일정하게 조정되도록 한다.

상기 색채 공간 변환부(312)는 원색계 신호인 R, G, B 신호를 색차계 신호인 휘도(Y)와 색상 성분(Cb, Cr)으로 분리되는 컬러 공간으로 변환시켜주는 역할을 하는데, 여기서 Y는 휘도값(luminance), Cb는 푸른색에 대한 색도, Cr은 붉은 색에 대한 색도를 각각 나타낸다.

상기 휘도 처리부(313) 및 색채 처리부(314)는 각각 밝기와 색상을 조정하여 본래의 영상과 가깝게 영상 처리해주는 구성요소로, 상기 휘도 처리부(313)는 증폭회로에서 휘도 신호를 처리하고, 색채 처리부(314)는 색 매트릭스 회로의 출력신호에서 색차 신호용 휘도 신호(Y)를 이용하여 색차 신호를 발생한다.

상기 출력부(315)는 상기 디지털 신호 처리부(31)의 여타의 구성요소로부터 R, G, B 신호로의 변환, 백색 보정, 색차 신호를 발생시키기 위한 신호 처리와 같이 원래 영상과 유사하도록 디지털 신호 처리된 영상을 원하는 여러 가지 형태의 포맷으로 출력하는 구성요소로, 이를 통해 상기 영상 신호는 외부의 기록/재생 장치 등으로 전송되어 기록 또는 재생된다.

본 발명에 있어서, 아날로그 영상 신호를 얻기 위한 구동 방식으로 한번에 모든 화소를 읽어들여 색 신호를 출력하는 순차주사 방식을 적용하고, 신호 처리 회로를 이용한 보색-원색 변환, 자동 백색 보정, 색채 수정과 같은 영상 신호 처리로 색 정보가 정확히 재현되도록 함으로써 상기 출력부(315)를 통해 출력되어 재생되는 영상의 해상도가 증가될 수 있고, 이는 종래 기술에 따른 카메라 시스템과 본 발명에 따른 SoC 카메라 시스템의 출력 영상 신호의 비교 결과를 통해서 보다 명확하게 알 수 있다.

다음에, 표1에 기술된 바와 같은 조건을 갖는 종래 기술에 따른 카메라 시스템과 본 발명에 따른 SoC 카메라 시스템으로 시뮬레이션을 수행한 다음, 그 출력 영상 신호를 해상도 측면에서 비교한 결과에 대해 설명할 것이고, 여기서 표1의 조건은 시뮬레이션 실행 주체에 따라 변경될 수 있고, 단지 본 발명에 따른 SoC 카메라 시스템을 보다 구체적으로 설명하려는 목적을 가지는 것임을 주목해야 한다.

표1을 참조하면, 보색 필터와 순차주사 방식을 적용하고, 시스템 온 칩의 형태로 구현된 본 발명에 대한 비교예로서, 1) 원색 필터와 비월주사, 2) 원색 필터와 순차주사, 3) 보색 필터와 비월주사, 4) 보색 필터와 순차주사를 채택한 카메라 시스템을 이용하였고, 여기서 상기 4가지 경우는 모두 시스템 온 칩의 형태로 구현되지 못하고, 이미지 센서와 신호 처리 회로가 분리된 경우로 가정하였다.

항 목	조 건
항 목	컬러 필터	주사 방식	카메라 시스템 형태
1. 비교예 1	원색	비월	분리
2. 비교예 2	원색	순차	분리
3. 비교예 3	보색	비월	분리
4. 비교예 4	보색	순차	분리
5. 본 발명	보색	순차	시스템 온 칩

표1의 조건을 이용한 해상도 측면에서의 시뮬레이션의 결과, 보색 필터에 주사 방식으로 비월주사를 적용한 비교예 3과 비교하여 볼 때, 순차주사 방식을 적용하면 해상도가 약 2배 향상되었고, 특히 본 발명에 따른 SoC 카메라 시스템을 이용하면 영상 신호 처리에 의해 비교예 4의 경우보다도 해상도가 더욱 향상된다는 것을 알 수 있었다.

이와 같이, 본 발명에 따른 SoC 카메라 시스템에 따르면, 4종류의 Cy, Mg, Ye, Gr 신호의 변환을 통해 R, G, B 신호를 얻으므로, 위색 신호가 적고, 색 재현성이 양호한 우수한 품질의 화면을 얻을 수 있어 색감도의 저하를 보상할 수 있고, 해상도도 향상시킬 수 있게 된다.

또한, CMOS 이미지 센서와 신호 처리 회로를 시스템 온 칩 형태로 구현함으로써, 소형/경량화가 달성되어 PC 등의 영상 입력을 위한 장치로 소형/경량화가 요구되는 디지털 카메라에 특히 적합하다.

이상에서 살펴본 바와 같이, 본 발명에 따르면 영상 신호를 얻기 위한 구동 방식으로 한번에 모든 화소를 읽어들여 색 신호를 출력하는 순차주사 방식을 적용함으로써 고해상도 영상을 얻을 수 있고, 특히 메모리와 부가적인 신호 처리 회로 를 추가하여 2×2 영역에서 R, G, B가 모두 추출되므로 색채 보간의 필요성이 없어지게 된다.

또한, 색감도 저하를 보상하기 위한 보색 필터를 채택한 CMOS 이미지 센서와 상기 이미지 센서로부터의 영상 신호를 처리하는 신호 처리 회로를 시스템 온 칩의 형태로 구현하여 소형/경량화를 달성할 수 있고, 상기 신호 처리 회로가 아날로그 신호 처리 개념에 디지털 신호 처리 개념을 도입하여 보색 신호를 원색 신호로 변환하기 위한 복잡한 과정을 거치지 않고도 보색 신호를 색차 신호로 변환한 다음 원색 신호로 용이하게 변환함으로서 신호 처리가 간단해지며, 신호 처리 회로를 이용한 보색-원색 변환, 자동 백색 보정, 색채 수정과 같은 영상 신호 처리로 색 정보가 정확히 재현되는 효과가 있다.

Claims

Cy, Mg, Ye, Gr의 4개의 색 성분으로 구성된 보색 필터인 컬러 필터를 포함하여, 광학적으로 촬영된 영상을 전기적 아날로그 영상 신호로 변환하는 픽셀 어레이부;

상기 픽셀 어레이부로부터 출력된 영상 신호를 상관 이중 샘플링에 의해 저잡음 처리하는 CDS/컬럼 디코더와, 상기 저잡음 처리된 신호 레벨을 소정 레벨로 일정하게 조정하는 프리-앰프와, 상기 소정 레벨로 조정된 아날로그 영상 신호를 디지털 영상 신호로 변환하여 출력하는 A/D 변환부로 구성된 아날로그 신호 처리부; 및

상기 아날로그 처리부에서 출력된 상기 디지털 영상 신호인 Cy, Mg, Ye, Gr을 R, G, B의 3원색 신호로 변환하고, 색채 수정을 수행하는 보색-원색 변환부와, 광원에 따라 다른 색으로 나타나는 순백색의 물체를 흰색으로 백색 보정하는 AWB/AE 보정부와, 상기 원색계 신호인 R, G, B를 색차계 신호인 Y, Cb, Cr로 변환하는 색채 공간 변환부와, 원래 영상과 가깝도록 영상의 밝기 및 색상을 조정하는 휘도 처리부 및 색채 처리부와, 상기 신호 처리된 영상을 소정의 포맷으로 외부 장치로 출력하는 출력부로 구성되어 상기 디지털 영상 신호를 원래 영상과 가깝도록 백색 보정, 색채 수정하는 디지털 신호 처리부

를 포함하고,

여기서, 상기 디지털 신호 처리부는 상기 픽셀 어레이부 및 상기 아날로그 신호 처리부와 함께 집적화된

카메라 시스템.
제1항에 있어서,

상기 카메라 시스템은 CMOS 제조 공정에 의해 형성된

카메라 시스템.
삭제
제1항에 있어서,

상기 픽셀 어레이부를 제어하기 위한 타이밍 발생부를 더 포함하고, 상기 타이밍 발생부는 구동 펄스를 발생하여 상기 컬러 필터의 각 화소가 빛을 받아들이는 노출 시간을 조절하며, 아날로그 영상 신호를 얻기 위해 각 화소가 소정의 주사 방식으로 읽혀지도록 하는

카메라 시스템.
제1항 또는 제4항에 있어서,

상기 픽셀 어레이부로부터 아날로그 영상 신호를 얻기 위한 구동 방식은 순차주사(Progressive Scanning) 방식인

카메라 시스템.
삭제
제1항에 있어서,

상기 보색-원색 변환부는 3*4 매트릭스 회로로 구현되는

카메라 시스템.
제1항에 있어서,

상기 보색-원색 변환부와 접속되어, 영상 데이터를 유지하기 위한 메모리

를 더 포함하는 카메라 시스템.
제8항에 있어서,

상기 메모리는 적어도 1라인 분량의 영상 데이터를 유지하는

카메라 시스템.
제1항에 있어서,

상기 AWB/AE 보정부는 상기 컬러 필터의 각 화소가 빛을 받아들이는 노출 시간 및 화면 밝기를 조정하기 위해 휘도값으로 제어 신호를 발생하여 상기 타이밍 발생부 및 상기 프리-앰프를 제어하는

카메라 시스템.