JP2006174485A

JP2006174485A - カラーフィルタアレイのイメージデータを補間する方法及び装置

Info

Publication number: JP2006174485A
Application number: JP2005363931A
Authority: JP
Inventors: Timofei Uvarov; チモフェイウバロフ; Hyung-Geun Lee; 亨根李
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2004-12-16
Filing date: 2005-12-16
Publication date: 2006-06-29
Anticipated expiration: 2025-12-16
Also published as: DE102005061366A1; CN1812592A; TWI283930B; JP4664810B2; US20060133697A1; US7577315B2; TW200701480A; KR20060068503A; CN1812592B; KR100699831B1

Abstract

【課題】ベイヤーパターンのカラー信号を補間する方法及び補間器を提供する。
【解決手段】分類子計算部で計算された分類子によって、第１方向性補間器が線形補間されたＲ、Ｇ、Ｂデータから方向性補間されたＧデータを生成し、色差計算部が方向性補間されたＧデータを利用して色差成分を生成すれば、第２方向性補間器が方向性補間された色差データを生成し、ＲＧＢ生成部が方向性補間された色差データを利用して各ピクセルのために再構成されたＲ、Ｇ、Ｂデータを生成するカラー信号補間器である。
【選択図】図２

Description

本発明は、カラー信号を補間する装置及び方法に係り、特にベイヤーパターンのカラー信号を補間する装置及び方法に関する。

ＤＳＣ（ＤｉｇｉｔａｌＳｔｉｌｌＣａｍｅｒａ）や携帯電話カメラなど撮像システムは、ＡＰＳ（ＡｃｔｉｖｅＰｉｘｅｌＳｅｎｓｏｒ）アレイ形態の撮像素子を搭載し、撮像素子は、図１のようなベイヤーパターン形態に三色のＧ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）、Ｒ（Ｒｅｄ）カラーデジタル映像データを生成する。このようにベイヤーカラーフィルタアレイ（ＣｏｌｏｒＦｉｌｔｅｒＡｒｒａｙ：ＣＦＡ）を撮像素子に適用する場合に、各ピクセルのためのＣＩＳ（ＣＭＯＳＩｍａｇｅＳｅｎｓｏｒ）は、Ｇ、Ｂ、Ｒのうちいずれか一つのカラーに対応するデータを生成する。

かかるベイヤーＣＦＡの構造を撮像素子に適用するときには、撮像素子により生成された各ピクセルデータ自体のみでディスプレイすれば、表示される映像に多くの歪曲が現れ、画質が不良である。したがって、後続する補間器では、周囲データを利用して現在ピクセルデータについての残りの二つのカラー成分を得、これにより各ピクセルについての３色カラーデータによりディスプレイさせることによって画質を改善する。公知の補間方法としては、両線型補間法、‘ｓｍｏｏｔｈｈｕｅ−ｔｒａｎｓｉｔｉｏｎ’方法、ＰＥＩの方法、方向性補間法、Ａｄａｍｓの方法、Ａｄａｍｓ−ＰＥＩ方法、Ｋｉｍｍｅｌの方法などがある。

ベイヤーＣＦＡ適用時に、現在ピクセルの周囲のデータを利用した補間として、各ピクセルの残りの二つのカラーについてのピクセルデータを得る従来の補間方法については、特許文献１、２にも記載されている。

しかし、従来の補間方法では、まだ歪が十分に補償されないという問題点がある。改善されねばならない歪現象としては、境界でのジッパー効果であるエイリアシング、カラーモアレ、詳細に表示できないにじみ、正しくないカラー効果などがある。
米国特許第５，５０６，６１９号明細書韓国特許公開第２００３−００２３２９４号公報

本発明が解決しようとする課題は、カラーフィルタアレイに対応するイメージデータのカラー成分を取り出すとき、イメージの歪を最小化できる補間方法及び補間器を提供するところにある。

前記の課題を解決するための本発明の実施形態によるイメージデータ処理方法は、カラーフィルタアレイによって発生するイメージデータを処理し、前記イメージデータから分類子を発生させるステップ、前記分類子に依存して、前記イメージデータから所定のカラー成分を方向性補間するステップ、及び前記方向性補間された所定のカラー成分及び前記所定のカラー成分の周囲の少なくとも一つの他のカラー成分についてのイメージデータから色差成分を発生させるステップを含む。

前記の課題を解決するための本発明の他の実施形態によるイメージデータ処理装置は、カラーフィルタアレイによって発生するイメージデータを処理し、前記イメージデータから分類子を発生させる分類子計算器、前記分類子に依存して、前記イメージデータから所定のカラー成分を方向性補間する第１方向性補間器、及び前記方向性補間された所定のカラー成分及び前記所定のカラー成分の周囲の少なくとも一つの他のカラー成分についてのイメージデータから色差成分を発生させる色差計算器を備える。

本発明によるカラー信号補間器では、分類子及びＧチャンネルの補間されたデータを利用した色差計算及び色差の方向性補間によって、エイリアシング、カラーモアレ、にじみ、正しくないカラー効果などを最小化して画質を改善できる。

本発明と、本発明の動作上の利点及び本発明の実施によって達成される目的を十分に理解するためには、本発明の望ましい実施形態を例示する添付図面及び添付図面に記載された内容を参照しなければならない。
以下、添付した図面を参照して、本発明の望ましい実施形態をさらに詳細に説明する。各図面に付された同一参照符号は同一部材を示す。

図２は、本発明の一実施形態によるカラー信号補間器２００を示すブロック図である。カラー信号補間器２００は、線形補間器２１０、分類子計算部２２０、第１方向性補間器２３０、色差計算部２４０、第２方向性補間器２５０及びＲＧＢ生成部２６０を備える。

線形補間器２１０は、Ｒ、Ｇ、Ｂピクセルデータを受信して、周囲ピクセルデータを利用して線形補間し、各ピクセルのための線形補間されたＲ、Ｇ、Ｂデータを生成する。線形補間器２１０に入力されるＲ、Ｇ、Ｂピクセルデータは、ベイヤーＣＦＡパターンのピクセルデータである。かかるピクセルデータは、ベイヤーＣＦＡを適用する撮像素子から出力されうるが、これに限定されるものではなく、画質改善のためにベイヤーパターンの他のピクセルデータでありうる。

分類子計算部２２０は、線形補間器２１０から出力される線形補間されたＲ、Ｇ、Ｂデータから方向性分類子Ｈ、Ｖを生成する。分類子計算部２２０は、現在ピクセルを中心にした周囲データの水平変化率を表す水平分類子Ｈと、現在ピクセルを中心にした周囲データの垂直変化率を表す垂直分類子Ｖとを生成する。
補間されたイメージでのモアレ現象などは、Ｒ、Ｂカラー成分のエイリアシングのために発生する。Ｒ、Ｂカラー成分でのサンプリング周波数は、空間的な高周波部分を補償するのに十分でないのでエイリアシングを誘発しうる。

本発明の実施形態によれば、色差成分を補間するために、Ｇのような所定のカラーに対して方向性補間が行われる。このために、第１方向性補間器２３０は、分類子計算部２２０で生成される水平分類子Ｈ及び垂直分類子Ｖによって、線形補間器２１０から出力される線形補間されたＲ、Ｇ、Ｂピクセルイメージデータに対して方向性補間を行う。これにより、第１方向性補間器２３０は、方向性補間されたＧデータを生成する。

このとき、分類子計算部２２０は、第１方向性補間器２３０から出力される方向性補間されたＧデータのみを利用するか、または線形補間器２１０から出力されるＲ、Ｂデータ及び第１方向性補間器２３０からの方向性補間されたＧデータをいずれも利用して再計算した水平及び垂直分類子を水平分類子Ｈ及び垂直分類子Ｖとして出力できる。分類子計算部２２０での水平及び垂直分類子Ｖの再計算は、オプション事項である。かかる水平及び垂直分類子Ｖの再計算によって、画質をある程度さらに改善できる。

一方、色差計算部２４０は、線形補間器２１０から出力されるＲ、Ｂデータ及び第１方向性補間器２３０で生成された方向性補間されたＧデータから、現在ピクセルの周囲の第１色差成分Ｋｒ［＊］（／Ｋｂ［＊］）及び第２色差成分Ｋｂ［＊］（／Ｋｒ［＊］）を生成する。

第２方向性補間器２５０は、分類子計算部２２０からの水平分類子Ｈ及び垂直分類子Ｖによって、第１色差成分Ｋｒ［＊］（／Ｋｂ［＊］）及び第２色差成分Ｋｂ［＊］（／Ｋｒ［＊］）を方向性補間して、現在ピクセルの第１色差データＫｒ［ｃｕｒｒｅｎｔ］（／Ｋｂ［ｃｕｒｒｅｎｔ］）及び第２色差データＫｂ［ｃｕｒｒｅｎｔ］（／Ｋｒ［ｃｕｒｒｅｎｔ］）を生成する。

ＲＧＢ生成部２６０は、第２方向性補間器２５０からの方向性補間された第１色差データＫｒ［ｃｕｒｒｅｎｔ］（／Ｋｂ［ｃｕｒｒｅｎｔ］）及び第２色差データＫｂ［ｃｕｒｒｅｎｔ］（／Ｋｒ［ｃｕｒｒｅｎｔ］）を利用して、線形補間器２１０から出力される入力Ｒ、Ｂデータ及び第１方向性補間器２３０で生成された方向性補間されたＧデータから、ピクセルそれぞれについての残りの二成分を抽出して再構成されたＲ、Ｇ、Ｂデータを出力する。例えば、Ｒピクセルについて存在するＲデータ以外に残りのＧ、Ｂ成分のデータが再構成され、Ｇピクセルについて存在するＧデータ以外に残りのＲ、Ｂ成分のデータが再構成され、Ｂピクセルについて存在するＢデータ以外に残りのＲ、Ｇ成分のデータが再構成されることによって、各ピクセルについてのＲ、Ｇ、Ｂデータが出力される。

以下、図２のカラー信号補間器２００の動作説明のための図３のフローチャートを参照して、さらに詳細に説明する。

図３に示すように、まず、線形補間器２１０は、ベイヤーＣＦＡパターンの入力Ｒ、Ｇ、Ｂピクセルデータを受信する（Ｓ３１０）。これにより、線形補間器２１０は、周囲ピクセルデータを利用して線形補間する。例えば、図４Ａのように周囲のＧ２，Ｇ４，Ｇ６，Ｇ８データがある場合に、中心ＲまたはＢピクセルでの線形補間されたＧ５データは、Ｇ５＝（Ｇ２＋Ｇ８）／２またはＧ５＝（Ｇ４＋Ｇ６）／２でありうる（Ｓ３２０）。また、図４Ｂのように周囲のＲ１，Ｒ３，Ｒ７，Ｒ９データがある場合に、Ｇピクセルでの線形補間されたＲデータは、Ｒ２＝（Ｒ１＋Ｒ３）／２，Ｒ４＝（Ｒ１＋Ｒ７）／２，Ｒ６＝（Ｒ３＋Ｒ９）／２，Ｒ８＝（Ｒ７＋Ｒ９）／２のような方式で計算され、中心ＢピクセルでのＲ５は計算されない（Ｓ３３０）。Ｇピクセルでの線形補間されたＢデータは、図４Ｂで線形補間されたＲデータを計算する同じ方式で計算される（Ｓ３３０）。当然に、各ピクセル位置で自身のデータはその自体そのまま出力される。すなわち、線形補間器２１０は、受信された入力Ｒ、Ｇ、Ｂ各ピクセルデータと共に、前記のように、各ピクセルのための補間されたデータを線形補間されたＲ、Ｇ、Ｂデータとして出力する。

これにより、分類子計算部２２０は、線形補間器２１０から出力される線形補間されたＲ、Ｇ、Ｂピクセルイメージデータから水平分類子Ｈ及び垂直分類子Ｖを生成する（Ｓ３４０）。水平分類子Ｈは、図５Ａのように、現在ピクセル、その左側二つ及び右側二つの水平データの変化率を表す。例えば、現在ピクセルＲ３を含む５個の水平データがＲ１−Ｇ２−Ｒ３−Ｇ４−Ｒ５であれば、水平分類子Ｈ＝ｗ１＊ＡＢＳ（Ｇ２−Ｇ４）＋ｗ２＊ＡＢＳ（Ｒ１−２Ｒ３＋Ｒ５）でありうる。ＡＢＳ（）は絶対値を表し、ｗ１，ｗ２は加重値係数である。水平分類子Ｈが計算されるような方法で、現在ピクセルを含む５個の垂直データから垂直分類子Ｖが計算される。

分類子計算部２２０は、このように計算される分類子Ｈ，Ｖから方向が明確でないと判断すれば、分類子Ｈ，Ｖを平均化する（Ｓ３５０）。例えば、水平分類子Ｈと垂直分類子Ｖとの差が第１臨界値より小さければ、数式１のように、現在ピクセルの左側及び右側の水平分類子Ｈ［ｌｅｆｔ］，Ｈ［ｒｉｇｈｔ］を現在ピクセルの水平分類子Ｈ［ｃｕｒｒｅｎｔ］に合成して水平分類子Ｈとして生成し、現在ピクセルの上側及び下側の垂直分類子Ｖ［ｔｏｐ］，Ｖ［ｂｏｔｔｏｍ］を現在ピクセルの垂直分類子Ｖ［ｃｕｒｒｅｎｔ］に合成して垂直分類子Ｖとして生成する。かかる分類子Ｈ，Ｖの平均化のために、図５Ｂのように７×７ウィンドウのピクセルデータが要求されるということが分かる。数式１で、ｗ１，ｗ２は加重値係数である。

分類子Ｈ，Ｖの平均化によっても方向が明確でないと判断すれば、分類子計算部２２０は、平均化された分類子Ｈ，Ｖを再び平均化できる。例えば、水平分類子Ｈと垂直分類子Ｖとの差が第１臨界値より大きくて第２臨界値より小さければ、数式２のように、現在ピクセルの左側及び右側の垂直分類子Ｖ［ｌｅｆｔ］，Ｖ［ｒｉｇｈｔ］を現在ピクセルの垂直分類子Ｖ［ｃｕｒｒｅｎｔ］に合成して垂直分類子Ｖとして生成し、現在ピクセルの上側及び下側の水平分類子Ｈ［ｔｏｐ］，Ｈ［ｂｏｔｔｏｍ］を現在ピクセルの水平分類子Ｈ［ｃｕｒｒｅｎｔ］に合成して水平分類子Ｈとして生成する。かかる平均化された分類子Ｈ，Ｖの再平均化のために、図５Ｃのように７×７ウィンドウのピクセルデータが要求されるということが分かる。数式２で、ｗ１，ｗ２は加重値係数である。

第１方向性補間器２３０は、分類子計算部２２０で生成される水平分類子Ｈ及び垂直分類子Ｖによって、Ｇチャンネルに対して方向性補間を行う（Ｓ３６０）。Ｇチャンネルに対して方向性補間のために、線形補間器２１０から出力される線形補間されたＲ、Ｇ、Ｂピクセルイメージデータが利用される。ここで、Ｒ、Ｂピクセルそれぞれでの方向性補間されたＧデータが生成される。例えば、垂直分類子Ｖが水平分類子Ｈより大きければ、数式３のように、水平回旋値ＨＣ（ｃｕｒｒｅｎｔ）が方向性補間されたＧデータＧ［ｃｕｒｒｅｎｔ］として生成される。水平回旋値ＨＣ（ｃｕｒｒｅｎｔ）は、現在ピクセル、その左側二つ及び右側二つの水平データから計算される。例えば、現在ピクセルＲ３を含む５個の水平データがＲ１，Ｇ２，Ｒ３，Ｇ４，Ｒ５であれば、水平回旋値ＨＣ（ｃｕｒｒｅｎｔ）＝ｗ＊（Ｇ２＋Ｇ４）＋（ａ＊Ｒ１＋ｂ＊Ｒ３＋ａ＊Ｒ５）でありうる。ここで、ｗ，ａ，ｂは任意の加重値係数である。

垂直分類子Ｖが水平分類子Ｈより小さければ、数式４のように、垂直回旋値ＶＣ（ｃｕｒｒｅｎｔ）が方向性補間されたＧデータＧ［ｃｕｒｒｅｎｔ］として生成される。水平回旋値ＨＣ（ｃｕｒｒｅｎｔ）が計算される方法で、現在ピクセルを含む５個の垂直データから垂直回旋値ＶＣ（ｃｕｒｒｅｎｔ）が計算される。

垂直分類子Ｖが水平分類子Ｈと同一であるか、または類似すれば、数式５のように、水平回旋値ＨＣ（ｃｕｒｒｅｎｔ）と垂直回旋値ＶＣ（ｃｕｒｒｅｎｔ）との平均が方向性補間されたＧデータＧ［ｃｕｒｒｅｎｔ］として生成される。

このとき、オプション事項であるが、分類子計算部２２０は、方向性補間されたＧデータを利用して、水平分類子Ｈ及び垂直分類子Ｖを再計算及び平均化できる（Ｓ３７０）。分類子Ｈ，Ｖの再計算及び平均化は、ステップＳ３４０及びＳ３５０のような方法で計算される。分類子Ｈ，Ｖの再計算及び平均化では、第１方向性補間器２３０から出力される方向性補間されたＧデータのみを利用して計算されることが望ましい。このとき、図６のように１１×１１ウィンドウのピクセルデータが要求されるということが分かる。なぜならば、分類子Ｈ，Ｖの計算で現在ピクセルからの上下／左右二つのＧデータが要求されるので、ＲまたはＢピクセル位置でステップＳ３６０のような方法で方向性補間されたＧデータを求めるために、その位置で再び７×７ウィンドウのピクセルデータが要求されるためである。分類子Ｈ，Ｖの再計算及び平均化に方向性補間されたＧデータのみを利用してもよく、線形補間器２１０から出力されるＲ、Ｂデータ及び第１方向性補間器２３０からの方向性補間されたＧデータをいずれも利用してもよい。このときにも、ステップＳ３４０及びＳ３５０のような方法で分類子Ｈ，Ｖの再計算及び平均化が行われる。

一方、色差計算部２４０は、線形補間器２１０から出力されるＲ、Ｂデータ及び第１方向性補間器２３０で生成された方向性補間されたＧデータから、現在ピクセルの周囲の第１色差成分Ｋｒ［＊］（／Ｋｂ［＊］）及び第２色差成分Ｋｂ［＊］（／Ｋｒ［＊］）を生成する（Ｓ３８０）。例えば、図７Ａのように、現在のＲピクセルＲ［ｃｕｒｒｅｎｔ］について、色差計算部２４０は、現在ピクセルの上側、下側、左側及び右側のＧピクセル位置での第１色差成分Ｋｒ［ｔｏｐ］，Ｋｒ［ｂｏｔｔｏｍ］，Ｋｒ［ｌｅｆｔ］，Ｋｒ［ｒｉｇｈｔ］を生成し、現在ピクセルの左側上、右側上、左側下及び右側下のＢピクセル位置での第２色差成分Ｋｂ［ｌｔ］，Ｋｂ［ｒｔ］，Ｋｂ［ｌｂ］，Ｋｂ［ｒｂ］を生成する。かかる第１色差成分Ｋｒ［＊］は、数式６のようにＧピクセル位置の方向性補間されたＧデータ及び線形補間されたＲデータから計算され、第２色差成分Ｋｂ［＊］は、数式７のようにＢピクセル位置の方向性補間されたＧデータ及び線形補間されたＢデータから計算されうる。

図７Ｂのように、現在のＢピクセルＢ［ｃｕｒｒｅｎｔ］についても、色差計算部２４０は、前記の方式のように現在ピクセルの上側、下側、左側及び右側のＧピクセル位置での第１色差成分としてＫｂ［ｔｏｐ］，Ｋｂ［ｂｏｔｔｏｍ］，Ｋｂ［ｌｅｆｔ］，Ｋｂ［ｒｉｇｈｔ］を生成でき、現在ピクセルの左側上、右側上、左側下及び右側下のＲピクセル位置での第２色差成分としてＫｒ［ｌｔ］，Ｋｒ［ｒｔ］，Ｋｒ［ｌｂ］，Ｋｒ［ｒｂ］を生成できる。現在ピクセルがＧピクセルである場合にも、前記のような方式を応用して第１色差成分としてＫｂ［＊］を生成でき、第２色差成分としてＫｒ［＊］を生成できる。

一方、第２方向性補間器２５０は、分類子計算部２２０からの水平分類子Ｈ及び垂直分類子Ｖによって、第１色差成分Ｋｒ［＊］（／Ｋｂ［＊］）及び第２色差成分Ｋｂ［＊］（／Ｋｒ［＊］）をそれぞれ方向性補間して、現在ピクセルの第１色差データＫｒ［ｃｕｒｒｅｎｔ］（／Ｋｂ［ｃｕｒｒｅｎｔ］）及び第２色差データＫｂ［ｃｕｒｒｅｎｔ］（／Ｋｒ［ｃｕｒｒｅｎｔ］）を生成する（Ｓ３９０）。第１色差成分Ｋｒ［＊］（／Ｋｂ［＊］）は、現在ピクセル位置の上、下、左、右の成分であり、第２色差成分Ｋｂ［＊］（／Ｋｒ［＊］）は、現在ピクセル位置で対角線方向に存在する成分である。第１色差データＫｒ［ｃｕｒｒｅｎｔ］（／Ｋｂ［ｃｕｒｒｅｎｔ］）は、第１色差成分Ｋｒ［＊］（／Ｋｂ［＊］）を方向性補間して得られる。第２色差データＫｂ［ｃｕｒｒｅｎｔ］（／Ｋｒ［ｃｕｒｒｅｎｔ］）は、第２色差成分Ｋｂ［＊］（／Ｋｒ［＊］）を方向性補間して得られる。

例えば、現在のＲピクセルで、垂直分類子Ｖが水平分類子Ｈより大きければ、数式８のように現在ピクセルの左側及び右側の色差成分Ｋｒ［ｌｅｆｔ］，Ｋｒ［ｒｉｇｈｔ］の平均が方向性補間された第１色差データＫｒ［ｃｕｒｒｅｎｔ］として生成される。

現在のＲピクセルで、垂直分類子Ｖが水平分類子Ｈより小さければ、数式９のように現在ピクセルの上側及び下側の色差成分Ｋｒ［ｔｏｐ］，Ｋｒ［ｂｏｔｔｏｍ］の平均が方向性補間された第１色差データＫｒ［ｃｕｒｒｅｎｔ］として生成される。

現在のＲピクセルで、垂直分類子Ｖが水平分類子Ｈと同一であるか、または類似すれば、数式１０のように平均を再び平均した値が方向性補間された第１色差データＫｒ［ｃｕｒｒｅｎｔ］として生成される。

前記のような方式は、現在ピクセルがＢ、Ｇピクセルである場合にも適用されて、Ｂ、Ｇピクセルでの第１色差データＫｒ［ｃｕｒｒｅｎｔ］（／Ｋｂ［ｃｕｒｒｅｎｔ］）も得られる。

現在ピクセルの位置で対角線方向に存在する第２色差成分Ｋｂ［＊］（／Ｋｒ［＊］）から第２色差データＫｂ［ｃｕｒｒｅｎｔ］（／Ｋｒ［ｃｕｒｒｅｎｔ］）を得るためには、メディアンフィルタリングが行われる。例えば、現在のＲピクセルで、第２色差成分Ｋｂ［ｌｔ］，Ｋｂ［ｒｔ］，Ｋｂ［ｌｂ］，Ｋｂ［ｒｂ］をメディアンフィルタリングすれば、第２色差データＫｂ［ｃｕｒｒｅｎｔ］が生成される。第２色差成分Ｋｂ［ｌｔ］，Ｋｂ［ｒｔ］，Ｋｂ［ｌｂ］，Ｋｂ［ｒｂ］それぞれの値が８，３，１０，２であれば、メディアンフィルタリング値は（３＋８）／２と計算される。メディアンフィルタリングについては、公知のように、前記の例で全体成分８，３，１０，２中から最小２と最大１０とを除いた残りの平均値がメディアンフィルタリング値となる。その他にも、前記のようなメディアンフィルタリング方式は、現在ピクセルのＢ、Ｇピクセルでの対角線方向に存在する第２色差成分Ｋｂ［＊］（／Ｋｒ［＊］）に対しても適用されて、Ｂ、Ｇピクセルでの第２色差データＫｂ［ｃｕｒｒｅｎｔ］（／Ｋｒ［ｃｕｒｒｅｎｔ］）も得られる。

これにより、ＲＧＢ生成部２６０は、第２方向性補間器２５０からの方向性補間された第１色差データＫｒ［ｃｕｒｒｅｎｔ］（／Ｋｂ［ｃｕｒｒｅｎｔ］）及び第２色差データＫｂ［ｃｕｒｒｅｎｔ］（／Ｋｒ［ｃｕｒｒｅｎｔ］）を利用して、ピクセルそれぞれについての残りの二成分を抽出する（Ｓ４００）。残りの二成分を抽出するために、線形補間器２１０から出力される入力Ｒ、Ｂデータ及び第１方向性補間器２３０で生成された方向性補間されたＧデータが利用される。例えば、Ｒピクセルについて存在するＲデータＲ［ｃｕｒｒｅｎｔ］以外に、残りのＧ、Ｂ成分のデータＧ［ｃｕｒｒｅｎｔ］，Ｂ［ｃｕｒｒｅｎｔ］は、数式１１のように得られる。

Ｂ、Ｇピクセルについても同様な方法で残りの二成分が抽出され、再構成されたＲ、Ｇ、Ｂデータが続けて処理されて画面に映像としてディスプレイされうる（Ｓ４１０）。

以上のように、本発明の一実施形態によるカラー信号補間器２００では、分類子計算部２２０で計算された分類子Ｈ，Ｖによって、第１方向性補間器２３０が線形補間されたＲ、Ｇ、Ｂデータから方向性補間されたＧデータを生成し、色差計算部２４０が方向性補間されたＧデータを利用して色差成分Ｋｒ［＊］，Ｋｂ［＊］を生成すれば、第２方向性補間器２５０が方向性補間された色差データＫｒ［ｃｕｒｒｅｎｔ］，Ｋｂ［ｃｕｒｒｅｎｔ］を生成し、ＲＧＢ生成部２６０が前記方向性補間された色差データを利用して各ピクセルのために再構成されたＲ、Ｇ、Ｂデータを生成する。

以上、図面と明細書で最適の実施形態が開示された。ここで、特定の用語が使われたが、これは単に、本発明を説明するための目的で使われたものであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。したがって、当業者であれば、これから多様な変形及び均等な他の実施形態が可能であるという点を理解できるであろう。したがって、本発明の真の技術的な保護範囲は、特許請求の範囲の技術的思想により決まらなければならない。

本発明によるカラー信号補間方法及び装置は、ＤＳＣや携帯電話カメラなど撮像システムに適用可能である。

ベイヤーＣＦＡを示す図である。本発明の一実施形態によるカラー信号補間器を示すブロック図である。図２のカラー信号補間器の動作説明のためのフローチャートである。線形補間を説明するための図である。線形補間を説明するための図である。水平及び垂直分類子の計算を説明するための図である。分類子の平均化を説明するための図である。分類子の平均化を説明するための図である。１１ラインを利用した分類子の再計算を説明するための図である。色差成分の計算を説明するための図である。色差成分の計算を説明するための図である。

符号の説明

２００カラー信号補間器
２１０線形補間器
２２０分類子計算部
２３０第１方向性補間器
２４０色差計算部
２５０第２方向性補間器
２６０ＲＧＢ生成部

Claims

カラーフィルタアレイによって発生するイメージデータを処理する方法において、
前記イメージデータから分類子を発生させるステップと、
前記分類子に依存して、前記イメージデータから所定のカラー成分を方向性補間するステップと、
前記方向性補間された所定のカラー成分及び前記所定のカラー成分の周囲の少なくとも一つの他のカラー成分についてのイメージデータから色差成分を発生させるステップと、を含むことを特徴とするイメージデータ処理方法。
前記カラーフィルタアレイは、ベイヤーカラーフィルタパターンを含むことを特徴とする請求項１に記載のイメージデータ処理方法。
前記所定のカラー成分は、緑色についてのものであることを特徴とする請求項２に記載のイメージデータ処理方法。
前記イメージデータは、カラーフィルタアレイから発生したデータに対して線形補間されたデータであり、前記少なくとも一つの他のカラー成分は、赤色及び青色の線形補間されたイメージデータを備えることを特徴とする請求項３に記載のイメージデータ処理方法。
前記分類子を発生させるステップは、水平分類子及び垂直分類子を発生させるステップを含むことを特徴とする請求項１に記載のイメージデータ処理方法。
前記分類子を発生させるステップは、
現在ピクセルと前記現在ピクセルの左側及び右側の追加的なピクセルとについてのイメージデータを利用して、現在ピクセルについての前記水平分類子を計算するステップと、
現在ピクセルと前記現在ピクセルの上側及び下側の追加的なピクセルとについてのイメージデータを利用して、現在ピクセルについての前記垂直分類子を計算するステップと、を含むことを特徴とする請求項５に記載のイメージデータ処理方法。
前記現在ピクセルについての前記垂直分類子と前記水平分類子との差が臨界値より小さいとき、前記現在ピクセル及び隣接するピクセルの水平分類子を平均して前記水平分類子を調節し、前記現在ピクセル及び隣接するピクセルの垂直分類子を平均して前記垂直分類子を調整するステップをさらに含むことを特徴とする請求項６に記載のイメージデータ処理方法。
前記垂直分類子が前記水平分類子より大きければ、前記方向性補間された所定のカラー成分に対して水平コンボリューション値を計算するステップと、
前記垂直分類子が前記水平分類子より小さければ、前記方向性補間された所定のカラー成分に対して垂直コンボリューション値を計算するステップと、
前記垂直分類子が前記水平分類子と実質的に同一であれば、前記方向性補間された所定のカラー成分に対して前記垂直コンボリューション値と前記水平コンボリューション値とを平均するステップと、をさらに含むことを特徴とする請求項５に記載のイメージデータ処理方法。
前記方向性補間された所定のカラー成分を利用して、前記分類子を再計算するステップをさらに含むことを特徴とする請求項１に記載のイメージデータ処理方法。
前記分類子に依存して前記色差成分を方向性補間するステップと、
前記ピクセルの前記方向性補間された色差成分を利用して、ピクセルの少なくとも一つのカラー成分を抽出するステップと、をさらに含むことを特徴とする請求項１に記載のイメージデータ処理方法。
カラーフィルタアレイによって発生するイメージデータを処理する装置において、
前記イメージデータから分類子を発生させる分類子計算器と、
前記分類子に依存して、前記イメージデータから所定のカラー成分を方向性補間する第１方向性補間器と、
前記方向性補間された所定のカラー成分及び前記所定のカラー成分の周囲の少なくとも一つの他のカラー成分についてのイメージデータから色差成分を発生させる色差計算器と、を備えることを特徴とするイメージデータ処理装置。
前記カラーフィルタアレイは、ベイヤーカラーパターンを含むことを特徴とする請求項１１に記載のイメージデータ処理装置。
前記所定のカラー成分は、緑色についてのものであることを特徴とする請求項１２に記載のイメージデータ処理装置。
前記イメージデータは、カラーフィルタアレイから発生したデータに対して線形補間されたデータであり、前記少なくとも一つの他のカラー成分は、赤色及び青色の線形補間されたイメージデータを備えることを特徴とする請求項１３に記載のイメージデータ処理装置。
前記分類子計算器は、水平分類子及び垂直分類子を発生させることを特徴とする請求項１１に記載のイメージデータ処理装置。
前記分類子計算器は、
現在ピクセルと前記現在ピクセルの左側及び右側の追加的なピクセルとについてのイメージデータを利用して、現在ピクセルについての前記水平分類子を計算し、また、現在ピクセルと前記現在ピクセルの上側及び下側の追加的なピクセルとについてのイメージデータを利用して、現在ピクセルについての前記垂直分類子を計算することを特徴とする請求項１５に記載のイメージデータ処理装置。
前記分類子計算器は、
前記現在ピクセルについての前記垂直分類子と水平分類子との差が臨界値より小さいとき、前記現在ピクセル及び隣接するピクセルの水平分類子を平均して前記水平分類子を調節し、前記現在ピクセル及び隣接するピクセルの垂直分類子を平均して前記垂直分類子を調整することを特徴とする請求項１６に記載のイメージデータ処理装置。
前記第１方向性補間器は、
前記垂直分類子が前記水平分類子より大きければ、前記方向性補間された所定のカラー成分に対して水平コンボリューション値を計算し、前記垂直分類子が前記水平分類子より小さければ、前記方向性補間された所定のカラー成分に対して垂直コンボリューション値を計算し、また、前記垂直分類子が前記水平分類子と実質的に同一であれば、前記方向性補間された所定のカラー成分に対して前記垂直コンボリューション値と前記水平コンボリューション値とを平均することを特徴とする請求項１５に記載のイメージデータ処理装置。
前記分類子計算器は、前記方向性補間された所定のカラー成分を利用して前記分類子を再計算することを特徴とする請求項１１に記載のイメージデータ処理装置。
前記分類子に依存して前記色差成分を方向性補間する第２方向性補間器と、
前記ピクセルの前記方向性補間された色差成分を利用して、ピクセルの少なくとも一つのカラー成分を抽出するカラー成分発生器と、をさらに備えることを特徴とする請求項１１に記載のイメージデータ処理装置。