JP2000184391A - 画像データ処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 ホワイトバランス制御とモアレバランス制御
とを共通化する。 【解決手段】 色バラス制御回路２０で色成分毎のゲイ
ンをそろえた画像信号Ｄ２に対して、分離回路２２で補
色データＣ[Ye]、Ｃ[Mg]、Ｃ[Cy]を生成すると共に輝度
演算回路２７で輝度データＹを生成する。補色データＣ
[Ye]、Ｃ[Mg]、Ｃ[Cy]の内の２つを乗算回路２３ａ〜２
３ｃで乗算し、その積Ｐ[r]、Ｐ[g]、Ｐ[b]の平方根を
開平回路２４ａ〜２４ｃで算出する。その根Ｐ[R ]、Ｐ
[G]、Ｐ[B]を原色データと見なして色差マトリクス回路
２６に供給する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、補色成分を含む画
像データから色差データ及び輝度データを生成する画像
データ処理装置に関する。

【０００２】

【従来の技術】図９は、ＣＣＤイメージセンサを用いた
撮像装置の構成を示すブロック図であり、図１０は、Ｃ
ＣＤイメージセンサに装着されるモザイク型のカラーフ
ィルタの一例を示す平面図である。

【０００３】ＣＣＤイメージセンサ１は、複数の受光画
素、複数の垂直シフトレジスタ及び通常１つの水平シフ
トレジスタを有している。複数の受光画素は、受光面に
一定の間隔で行列配置され、それぞれ受光した被写体画
像に対応して情報電荷を発生して蓄積する。複数の垂直
シフトレジスタは、受光画素の各列に対応して配置さ
れ、各受光画素に蓄積された情報電荷を順次垂直方向へ
転送する。そして、水平シフトレジスタは、垂直シフト
レジスタの出力側に配置され、複数の垂直シフトレジス
タから転送出力される情報電荷を受け取り、１行単位で
転送出力する。これにより、各受光画素に蓄積された情
報電荷量に応じて電圧値を変化させる画像信号Ｉ0が出
力される。

【０００４】アナログ処理回路２は、ＣＣＤ１から入力
される画像信号Ｉ0に対し、サンプルホールド、レベル
クランプ等の処理を施し、所定のフォーマットに従う画
像信号Ｉ1を生成する。例えば、サンプルホールド処理
においては、ＣＣＤ１の出力動作に同期してリセットレ
ベルと信号レベルとが交互に繰り返される画像信号Ｉ0
から、信号レベルのみが取り出される。また、レベルク
ランプ処理においては、画像信号Ｉ0の水平走査期間の
終端に設定される黒基準レベルが各水平走査期間毎に所
定のレベルにクランプされる。Ａ／Ｄ変換回路３は、ア
ナログ処理回路２から入力される画像信号Ｉ1をアナロ
グ処理回路２の動作、即ち、ＣＣＤ１の出力動作に従う
タイミングで量子化し、ＣＣＤ１の各受光画素に対応す
る情報をデジタル値で表す画像データＤ１を生成する。

【０００５】デジタル処理回路４は、Ａ／Ｄ変換回路３
から入力される画像データＤ１に対して、色分離、マト
リクス演算等の処理を施し、輝度データＹ及び色差デー
タＵ、Ｖを生成する。例えば、色分離処理においては、
画像データＤ１が、ＣＣＤ１の各受光面に装着されるカ
ラーフィルタの色配列に従って振り分けられ、複数の色
成分データが生成される。また、マトリクス演算処理に
おいては、振り分けられた各色成分データから光の三原
色に対応した原色データが生成され、さらに、その原色
データを所定の割合で合成することにより色差データが
生成される。

【０００６】駆動回路５は、後述するタイミング制御回
路６からの各種タイミング信号に応答し、ＣＣＤ１の各
シフトレジスタに対して多相の駆動クロックを供給す
る。例えば、垂直シフトレジスタに対し、４相の垂直転
送クロックφvを供給し、水平シフトレジスタに対して
２相の水平転送クロックφhを供給する。タイミング制
御回路６は、一定周期の基準クロックに従い、ＣＣＤ１
の垂直走査のタイミングを決定する垂直タイミング信号
と水平走査のタイミングを決定する水平タイミング信号
とを生成し、駆動回路５に供給する。同時に、アナログ
処理回路２、Ａ／Ｄ変換回路３及びデジタル処理回路４
に対して、各回路の動作をＣＣＤ１の出力動作に同期さ
せるためのタイミングクロックＣＴを供給する。

【０００７】ところで、カラー撮像を行う場合、ＣＣＤ
１の各受光画素を所定の色成分に対応付けるため、受光
面に色分離用のカラーフィルタが装着される。このカラ
ーフィルタは、垂直方向につながる複数のセグメントが
配置されるストライブ型及び各受光画素毎に対応付けて
複数のセグメントが配置されるモザイク型があげられ
る。例えば、モザイク型のカラーフィルタは、図９に示
すように、ＣＣＤ１の受光部の各画素に対応して複数の
セグメントに分割され、各セグメントに、Ｙｅ（イエロ
ー）、Ｃｙ（シアン）、Ｗ（ホワイト）及びＧ（グリー
ン）の各色成分が周期的に割り当てられる。ここでは、
Ｗ及びＧの各成分が奇数行に交互に配置され、Ｙｅ及び
Ｃｙの各成分が偶数行に交互に配置されている。このよ
うなカラーフィルタが装着されたＣＣＤ１から得られる
画像信号は、奇数行の読み出しでＷ及びＧの各成分が繰
り返され、偶数行の読み出しではＹｅ及びＣｙの各成分
が繰り返される。

【０００８】図１１は、映像信号処理装置としてのデジ
タル信号処理部４の構成を示すブロック図であり、図１
２は、その動作を説明するタイミング図である。この図
においては、図１０に示すモザイク型のカラーフィルタ
がＣＣＤ１に装着された場合に対応している。

【０００９】色分離回路１１は、各色成分がカラーフィ
ルタの各セグメントの配列に対応する順序で連続する画
像データＤ１を各色成分毎に振り分けて色成分データＣ
[Ye]、Ｃ[Cy]、Ｃ[G]、Ｃ[W]を生成する。Ａ／Ｄ変換回
路３から入力される画像データＤ１は、図１０に示すよ
うに、奇数行（ＯＤＤ）の読み出し動作においては、Ｇ
成分及びＷ成分が交互に連続し、偶数行（ＥＶＥＮ）の
読み出しではＹｅ成分及びＣｙ成分が交互に連続する。
そこで、色分離回路１１は、画像データＤ１を少なくと
も１行分保持することにより、各行の読み出しの際に全
ての色成分データＣ[Ye]、Ｃ[C y]、Ｃ[G]、Ｃ[W]の出
力を可能にしている。即ち、奇数行の読み出しが行われ
ているときには、その行の画像データＤ１を振り分けて
色成分データＣ[G]、Ｃ[W]を出力し、同時に、１行前の
画像データＤ１を振り分けて色成分データＣ[Ye]、Ｃ[C
y]を出力するように構成される。さらに、シリアルに出
力される画像データＤ１の振り分けによって間欠的にな
る各色成分データＣ[Ye]、Ｃ[Cy]、Ｃ[G]、Ｃ[W]は、同
一データを連続して２度出力することによって補間され
る。

【００１０】色演算回路１２は、色分離回路１１から入
力される色成分データＣ[Ye]、Ｃ[Cy]、Ｃ[G]、Ｃ[W]に
対して、例えば、 Ｙｅ−Ｇ＝Ｒ Ｃｙ−Ｇ＝Ｂ Ｇ＝Ｇ の式に従う色演算処理を施し、光の三原色（Ｒ：赤、
Ｇ：緑、Ｂ：青）に対応する原色データＰ[R]、Ｐ[G]、
Ｐ[B]を生成する。

【００１１】ホワイトバランス制御回路１３は、色演算
回路１２から入力される原色データＰ[R]、Ｐ[G]、Ｐ
[B]に対して、各色毎に設定される固有のゲインを与え
ることにより、各色のバランスを調整する。即ち、ホワ
イトバランス制御回路１３では、ＣＣＤの受光画素にお
いて生じる色成分毎の感度の差を補償するため、原色デ
ータＰ[R]、Ｐ[G]、Ｐ[B]のゲインを色毎に個別に設定
することにより再生画面の色再現性を向上させている。

【００１２】色差マトリクス回路１４は、ホワイトバラ
ンス制御回路１３から入力される原色データＰ[R]、Ｐ
[G]、Ｐ[B]に対して色差データＵ、Ｖを生成する。即
ち、各原色データＰ[R]、Ｐ[G]、Ｐ[B]を３：６：１の
割合で合成することにより、輝度情報を生成し、この輝
度情報をＢ成分に対応する原色データＰ[B]から差し引
くことによって色差データＵを生成し、Ｒ成分に対応す
る原色データＰ[R]から差し引くことによって色差デー
タＶを生成する。

【００１３】モアレバランス制御回路１５は、色分離回
路１１に入力される画像データＤ１に含まれる色成分毎
の平均レベルをそろえるようにして各成分毎に固有のゲ
インを設定する。即ち、カラーフィルタの各色成分毎に
光の透過率にばらつきがあり、これに起因して、画像デ
ータにも色成分毎の平均レベルにばらつきが含まれてい
るため、このようなばらつきを補正するように各成分毎
に固有のゲインが与えられる。これにより、各色成分毎
の平均レベルがそろえられた画像データＤ２が生成され
る。

【００１４】輝度演算回路１６は、モアレバランス制御
回路１５から入力される画像データＤ２に含まれる４つ
の色成分を合成することにより、輝度データＹを生成す
る。即ち、Ｙｅ、Ｃｙ、Ｇ、Ｗの各成分を合成すれば、 Ｙｅ＋Ｃｙ＋Ｇ＋Ｗ＝（Ｂ＋Ｇ）＋（Ｒ＋Ｇ）＋Ｇ＋（Ｒ＋Ｇ＋Ｂ） ＝２Ｒ＋４Ｇ＋２Ｂ となり、Ｒ、Ｇ及びＢの各成分が１：２：１の割合で合
成された輝度データＹを得ることができる。本来、輝度
信号は、ＮＴＳＣ方式の規格によれば、Ｒ、Ｇ及びＢの
各成分を３：６：１の割合で合成して生成されるもので
あるが、これに近い割合で合成して生成したものであれ
ば、実用上問題はない。

【００１５】ガンマ補正回路１７は、再生画面上の発光
輝度と視覚的感度との線形性のずれを補正するため、非
線形変換を行う。アパーチャ回路１８は、輝度データＹ
に含まれる特定の周波数成分を強調してアパーチャデー
タを生成し、このアパーチャデータを輝度データＹに加
算する。即ち、被写体画像の輪郭を強調するため、画像
信号Ｉ１から画像データＤ１を得る際のサンプリング周
波数の１／４の周波数成分を強調するように画像データ
Ｄに対してフィルタリング処理を施し、アパーチャデー
タを生成するように構成される。このようにして生成さ
れる輝度データＹは、色差データＵ、Ｖと共に外部の表
示機器あるいは記録機器へ供給される。

【００１６】

【発明が解決しようとする課題】ホワイトバランス制御
回路１３において各原色データＰ[R]、Ｐ[G]、Ｐ[B]毎
に設定されるゲインは、原色データＰ[R]、Ｐ[G]、Ｐ
[B]を所定の期間にそれぞれ積分し、その積分値をそろ
えるようにして設定される。例えば、原色データＰ
[R]、Ｐ[G]、Ｐ[B]をそれぞれ１画面単位で積分し、原
色データＰ[G]の積分値Ｉ[G]に対して原色データＰ
[R]、Ｐ[B]の積分値Ｉ[R]、Ｉ[B]が一致するように、原
色データＰ[R]に対するゲインをＩ[G]／Ｉ[R]とし、原
色データＰ[B]に対するゲインをＩ[G]／Ｉ[R]として設
定するようにしている。また、モアレバランス制御回路
１５において画像データＤ１の各成分毎に設定されるゲ
インについても、ホワイトバランス制御回路１３におい
て設定されるゲインと同様に、画像データＤ１の各成分
毎の所定期間の成分値を算出し、その積分値に基づいて
設定するように構成される。これらの演算処理では、同
等の演算処理でありながらも、扱うデータが異なってい
るため共通化が困難であり、回路規模縮小の障害となっ
ている。

【００１７】そこで本発明は、ホワイトバランス制御と
モアレバランス制御とを共通化できるようにして、回路
規模の縮小を可能にすることを目的とする。

【００１８】

【課題を解決するための手段】本発明は、上述の課題を
解決するために成されたもので、その特徴とするところ
は、光の三原色に対する補色を表す第１乃至第３の補色
成分が所定の規則で繰り返される画像データを取り込
み、輝度データ及び第１及び第２の色差データを生成す
る画像データ処理装置であって、上記画像データに対し
て、各補色成分毎に固有のゲインを与えて、各補色成分
の所定期間内の平均レベルを整える色バランス制御回路
と、バランス調整された上記画像データを成分別に分離
して第１乃至第３の補色成分データを生成する分離回路
と、上記第１乃至第３の色成分データの内の２つを互い
に乗算して第１乃至第３の積を生成する乗算回路と、上
記第１乃至第３の積に基づいて上記第１及び第２の色差
データを生成する色差データ算出回路と、バランス調整
された上記画像データを合成して輝度データを生成する
輝度データ生成回路と、を備えたことにある。

【００１９】本発明によれば、色バランスを調整した
後、それぞれの色成分を互いに加算または減算すること
なく原色データが生成されるため、原色成分についても
色バランスは保たれ、ホワイトバランスの調整が不要に
なる。

【００２０】

【発明の実施の形態】図１は、本発明の画像データ処理
装置の構成を示すブロック図であり、図２は、その動作
を説明するタイミング図である。ここで、装置に入力さ
れる画像データＤは、例えば、光の三原色の補色（Ｙ
ｅ：イエロー、Ｍｇ：マゼンタ、Ｃｙ：シアン）からな
るストライプフィルタが装着されたイメージセンサから
得られるものであり、３種類の補色成分が繰り返される
ものとする。

【００２１】色バランス制御回路２０は、ゲイン算出回
路２１から供給されるゲインデータＧに基づいて、画像
データＤ１の各色成分毎に固有のゲインを与え、所定期
間内の各色成分の平均レベルを所定の範囲に収束させ
る。ゲイン算出回路２１は、画像データＤ１に対して色
成分毎に積分処理を施し、その積分値がそれぞれ所定の
適正範囲に納まるように各色成分毎のゲインを算出す
る。

【００２２】分離回路２２は、色バランス制御回路２０
から１画素単位で入力される画像データＤ２を色成分毎
に振り分け、Ｙｅ、Ｍｇ、Ｃｙに対応する補色データＣ
[Ye]、Ｃ[Mg]、Ｃ[Cy]を生成する。即ち、画像データＤ
２では、各補色成分が、例えば、Ｙｅ、Ｍｇ、Ｃｙの順
に１画素単位で繰り返されるため、一定の順序で３つに
振り分けることで、各補色成分を表す補色データＣ[Y
e]、Ｃ[Mg]、Ｃ[Cy]が生成される。第１〜第３のラッチ
回路２３ａ〜２３ｃは、色分離回路２２に対して並列に
接続され、色分離回路２２から入力される補色データＣ
[Ye]、Ｃ[Mg]、Ｃ[Cy]をそれぞれラッチし、色分離回路
２１から次のデータが出力されるまでラッチしたデータ
を繰り返し出力する。画像データＤ２を３つに分離して
得られる補色データＣ[Ye]、Ｃ[Mg]、Ｃ[Cy]の場合、デ
ータ量が画像データＤの１／３であり、それぞれ３画素
毎に１回更新されるため、連続する３画素は同じデータ
で表されることになる。

【００２３】第１の乗算回路２４ａは、第１及び第２の
ラッチ回路２３ａ、２３ｂに接続され、各ラッチ回路２
３ａ、２３ｂから得られる補色データＣ[Ye]、Ｃ[Mg]を
乗算して、第１の積Ｐ[r]を生成する。そして、第２の
乗算回路２４ｂは、第１及び第３のラッチ回路２３ａ、
２３ｃに接続され、各ラッチ回路２３ａ、２３ｃから得
られる補色データＣ[Y e]、Ｃ[Cy]を乗算して、第２の
積Ｐ[g]を生成する。さらに、第３の乗算回路２４ｃ
は、第２及び第３のラッチ回路２３ｂ、２３ｃに接続さ
れ、各ラッチ回路２３ｂ、２３ｃから得られる補色デー
タＣ[Mg]、Ｃ[Cy]を乗算して、第３の積Ｐ[b]を生成す
る。第１〜第３の開平回路２５ａ〜２５ｃは、それぞれ
第１〜第３の乗算回路２４ａ〜２４ｃに接続され、各乗
算回路２４ａ〜２４ｃから入力される第１〜第３の積Ｐ
[r]、Ｐ[g]、Ｐ[b]の平方根を算出し、第１〜第３の根
Ｐ[R]、Ｐ[G]、Ｐ[B]を出力する。これら第１〜第３の
根Ｐ[R]、Ｐ[G]、Ｐ[B]は、そのまま、光の三原色に対
応する３種類の原色データとして色差マトリクス回路２
６へ供給される。

【００２４】色差マトリクス回路２６は、ホワイトバラ
ンス制御回路２５から入力される原色データＰ[R]、Ｐ
[B]、Ｐ[G]に対して色差データＵ、Ｖを生成する。ここ
で、色差マトリクス回路２６に入力される原色データＰ
[R]、Ｐ[B]、Ｐ[G]は、色バランス制御回路２０におい
て所定期間の平均値がそろえられた補色データＣ[Ye]、
Ｃ[Mg]、Ｃ[Cy]に対して乗算及び開平処理を施したもの
であるため、ゲインのバランスは維持されている。即
ち、補色データＣ[Ye]、Ｃ[Mg]、Ｃ[Cy]から原色データ
Ｐ[R]、Ｐ[B]、Ｐ[G]を生成する過程において加算処理
あるいは減算処理を用いていないため、補色データＣ[Y
e]、Ｃ[Mg]、Ｃ[Cy]においてそろえられたゲインのバラ
ンスは、原色データＰ[R]、Ｐ[B]、Ｐ[G]においても維
持されている。従って、図１３に示すようなホワイトバ
ランス制御回路１３は必要ない。輝度演算回路２７は、
色バランス制御回路２０から入力される画像データＤ２
に含まれる４つの色成分を合成することにより、輝度デ
ータＹを生成する。ガンマ補正回路２８は、輝度データ
Ｙを非線形変換することにより、再生画面上の発光輝度
と視覚的感度との線形性を保つようにしている。そし
て、アパーチャ回路２９は、輝度データＹに含まれる特
定の周波数成分を強調することで、被写体画像の輪郭を
強調する。これらの輝度演算回路２７からアパーチャ回
路２９までの構成は、図１１に示す輝度演算回路１６か
らアパーチャ回路１８までの構成と一致する。

【００２５】ここで、画像データの処理方法について説
明する。

【００２６】図３は、光の三原色とそれらの補色とに対
応付けられたカラーフィルタの分光特性を示す図であ
る。

【００２７】一般に、光の三原色（Ｒ：レッド、Ｇ：グ
リーン、Ｂ：ブルー）に対応するカラーフィルタは、図
３の波線に示すような分光特性を示す。Ｒフィルタは、
波長の長い赤色の光に対応する部分で透過率が極大値を
示し、赤色よりも波長の短い光に対しては透過率が低下
する。逆に、Ｂフィルタは、波長の短い青色の光に対応
する部分で透過率が極大値を示し、青色よりも波長の長
い光に対しては透過率が低下する。そして、Ｇフィルタ
は、ＲフィルタとＧフィルタとの中間の特性を示す。

【００２８】これに対して、Ｒ、Ｇ、Ｂの補色（Ｙｅ、
Ｍｇ、Ｃｙ）に対応するフィルタは、図３の実線に示す
ような分光特性を示す。即ち、Ｒの補色となるＣｙフィ
ルタは、Ｒフィルタと相反する特性を示し、赤色の光に
対応する部分を除いた短波長側で透過率が高くなる。ま
た、Ｂの補色となるＹｅフィルタは、Ｂフィルタと相反
する特性を示し、青色の光に対応する部分を除いた長波
長側で透過率が高くなる。そして、Ｇの補色となるＭｇ
フィルタは、緑色の光に対応する部分を除いて透過率が
高くなる。

【００２９】ここで、Ｙｅフィルタを透過した光に応じ
て得られたＹｅ成分と、Ｍｇフィルタを透過した光に応
じて得られたＭｇ成分とを乗算すると、両成分に含まれ
ているＲ成分が強調され、一方の成分にしか含まれない
Ｂ成分及びＧ成分は減衰される。同様に、Ｍｇフィルタ
を透過した光に応じて得られたＭｇ成分と、Ｃｙフィル
タを透過した光に応じて得られたＣｙ成分とを乗算する
ことにより、両成分に含まれているＢ成分が強調され、
一方の成分にしか含まれないＧ成分及びＲ成分は減衰さ
れる。また、Ｃｙフィルタを透過した光に応じて得られ
たＣｙ成分と、Ｙｅフィルタを透過した光に応じて得ら
れたＹｅ成分とを乗算することにより、両成分に含まれ
ているＧ成分が強調され、一方の成分にしか含まれない
Ｒ成分及びＢ成分は減衰される。このようにして得られ
る各補色成分の積は、特定の原色成分に対応付けられる
が、補色成分の乗算により、実際の原色成分に対しては
二乗倍の値として表される。そこで、各積の平方根をと
ることにより、各原色成分を近似的に表すことができ
る。

【００３０】図４は、ゲイン算出回路２１の一例を示す
ブロックずである。この図においては、Ｙｅ、Ｍｇ、Ｃ
ｙの各成分が一定の規則で繰り返される画像信号Ｄ１に
対応するものであり、Ｙｅ成分を基準にしてＭｇ成分及
びＣｙ成分のゲインを決定する場合を示している。

【００３１】ゲイン算出回路２１は、分離回路３１、第
１〜第３の積分回路３２ａ〜３２ｃ及び第１、第２の除
算回路３３ａ、３３ｂにより構成される。分離回路３１
は、入力される画像データＤ１を色成分毎に分離し、第
１〜第３の分離データＤ[Ye]、Ｄ[Mg]、Ｄ[Cy]を生成す
る。第１〜第３の積分回路３２ａ〜３２ｃは、それぞれ
分離回路３１に接続され、第１〜第３の分離データＤ[Y
e]、Ｄ[Mg]、Ｄ[Cy]を所定の期間、例えば、１垂直走査
期間毎に積分し、第１〜第３の積分データＩ[Ye]、Ｉ[M
g]、Ｉ[Cy]を生成する。第１の除算回路３３ａは、第１
の積分データＩ[Ye]を第２の積分データＩ[Mg]で除算
し、Ｍｇ成分に対応する第１のゲインデータＧ[Mg]を生
成する。そして、第２の除算回路３３ｂは、第１の積分
データＩ[Ye]を第３の積分データＩ[Cy]で除算し、Ｃｙ
成分に対応する第２のゲインデータＧ[Cy]を生成する。
このようにして生成される第１、第２のゲインデータＧ
[Mg]、Ｇ[Cy]は、画像データＤ１に含まれるＭｇ成分及
びＣｙ成分の平均レベルをＹｅ成分にそろえる。

【００３２】図５は、本発明の処理方法を採用するのに
適したモザイク型のカラーフィルタの構成を示す平面図
であり、図６は、そのカラーフィルタを装着したイメー
ジセンサから得られた画像信号を各補色成分に分離する
分離部の構成を示すブロック図である。この分離部は、
図１に示す処理装置において、色分離回路２２及び第１
〜第３のラッチ回路２３ａ〜２３ｃに置き換えて用いる
ものである。

【００３３】カラーフィルタは、各セグメントがＹｅ、
Ｍｇ、Ｃｙ及びＧの各成分に対応付けられている。この
うち、Ｍｇ成分及びＧ成分が奇数行に交互に配置され、
Ｙｅ成分及びＣｙ成分が偶数行に交互に配置される。こ
こで、Ｙｅ、Ｍｇ、Ｃｙの各成分は、色情報の生成に加
えて、輝度情報の生成に用いられ、Ｇ成分は、輝度情報
の生成のみに用いられる。このようなカラーフィルタを
装着したイメージセンサでは、奇数行から読み出された
画像信号においてＭｇ成分とＧ成分とが交互に連続し、
偶数行から読み出された画像信号においてＹｅ成分とＣ
ｙ成分とが交互に連続することになる。

【００３４】分離部は、第１〜第３のラインメモリ４１
ａ〜４１ｃ、フィルタ演算回路４２及びセレクタ回路４
３より構成される。第１〜第３のラインメモリ４１ａ〜
４１ｃは、直列に接続され、画像データＤを３行分記憶
すると共に、各行の画像データＤ[L1]、Ｄ[L2]、Ｄ[L3]
を同時に読み出してフィルタ演算回路４２へ供給できる
できるように構成される。

【００３５】フィルタ演算回路４２は、第１〜第３のラ
インメモリ４１ａ〜４１ｃから入力される画像データＤ
[L1]、Ｄ[L2]、Ｄ[L3]を３列分保持し、３行×３列単位
のフィルタ演算によって、カラーフィルタの各セグメン
トに対応する色成分データＣ[1]、Ｃ[2]、Ｃ[3]、Ｃ[4]
を生成する。例えば、図５において、波線に示す９画素
に対しては、中心の画素を目標画素とし、目標画素のＭ
ｇ成分は、そのまま色成分データＣ[1]として出力され
る。そして、目標画素の左右に位置するＧ成分の２画素
から、それらの平均値が色成分データＣ[2]として出力
され、目標画素の上下に位置するＹｅ成分の２画素か
ら、それらの平均値が色成分データＣ[3]として出力さ
れる。さらに、４角に位置するＣｙ成分の４画素は、そ
れらの平均値が色成分データＣ[4]として出力される。
このような色成分データＣ[1]、Ｃ[2]、Ｃ[3]、Ｃ[4]と
各色成分Ｙｅ、Ｍｇ、Ｃｙ、Ｇとの対応関係は、目標画
素がずれる毎に切り換えられる。

【００３６】セレクタ回路４３は、色成分データＣ
[1]、Ｃ[2]、Ｃ[3]、Ｃ[4]の内、常にＹｅ、Ｍｇ及びＣ
ｙの各成分を表すものを選択し、補色データＣ[Ye]、Ｃ
[Mg]、Ｃ[Cy]として出力する。この選択動作は、目標画
素の色成分に応じて、４つのパターンが切り換えられ
る。従って、図１に示す第１〜第３のラッチ回路２３ａ
〜２３ｃと同様に、全ての期間で欠落することのない３
種類の補色データＣ[Ye]、Ｃ[Mg]、Ｃ[Cy]が出力され、
図１に示す処理装置において第１〜第３の乗算回路２４
ａ〜２４ｃにそれぞれ入力される。このような分離部に
よれば、モザイク型のカラーフィルタにおいても、本願
発明の処理装置を適用することが可能になる。

【００３７】図７は、図５に示すモザイクフィルタに対
応して得られる画像データＤ１に対応するように構成し
たゲイン算出回路２１の一例を示すブロックずである。
この図においては、Ｇ成分を基準にしてＹｅ成分、Ｍｇ
成分及びＣｙ成分のゲインを決定する場合を示してい
る。

【００３８】ゲイン算出回路２１は、分離回路５１、第
１〜第４の積分回路５２ａ〜５２ｄ、乗算回路５３及び
第１〜第３の除算回路５４ａ〜５４ｃにより構成され
る。分離回路５１は、入力される画像データＤ１を色成
分毎に分離し、第１〜第４の分離データ、Ｄ[Ye]、Ｄ[M
g]、Ｄ[Cy]、Ｄ[G]を生成する。第１〜第４の積分回路
５２ａ〜５２ｄは、それぞれ分離回路５１に接続され、
第１〜第４の分離データＤ[G]、Ｄ[Ye]、Ｄ[Mg]、Ｄ[C
y]を所定の期間、例えば、１垂直走査期間毎に積分し、
第１〜第４の積分データＩ[G]、Ｉ[Ye]、Ｉ[Mg]、Ｉ[C
y]を生成する。乗算回路５３は、積分データＩ[G]を２
倍する。この乗算回路５３による乗算処理は、補色系の
フィルタに対して光の透過率が半分程度になる原色系
（Ｇ）のフィルタの感度不足を補うためのものである。
第１の除算回路５４ａは、２倍された第１の積分データ
２Ｉ[G]を第２の積分データＩ[Ye]で除算し、Ｙｅ成分
に対応する第１のゲインデータＧ[Ye]を生成する。第２
の除算回路５４ｂは、２倍された第１の積分データ２Ｉ
[G]を第３の積分データＩ[Mg]で除算し、Ｍｇ成分に対
応する第２のゲインデータＧ[Mg]を生成する。そして、
第３の除算回路５４ｂは、２倍された第１の積分データ
２Ｉ[Ye]を第４の積分データＩ[Cy]で除算し、Ｃｙ成分
に対応する第３のゲインデータＧ[Cy]を生成する。この
ようにして生成される第１〜第３のゲインデータＧ[Y
e]、Ｇ[Mg]、Ｇ[Cy]は、画像データＤ１に含まれるＹｅ
成分、Ｍｇ成分及びＣｙ成分の平均レベルをＧ成分の２
倍にそろえる。

【００３９】図８は、乗算回路２４ａ〜２４ｃで生成さ
れる第１〜第３の積Ｐ[r]、Ｐ[g]、Ｐ[b]から色差デー
タＵ、Ｖを生成するための別の回路構成を示すブロック
図である。この図に示す色差データ生成回路は、図１に
おいて、第１〜第３の開平回路２５ａ〜２５ｃ及び色差
マトリクス回路２６に置き換えられるものである。

【００４０】色差データ生成回路は、第１、第２の減算
回路６１ａ、６１ｂ、第１、第２の絶対値回路６２ａ、
６２ｂ、第１、第２の開平回路６３ａ、６３ｂ、第１、
第２の符号付加回路６４ａ、６４ｂ及び色差マトリクス
回路６５により構成される。第１の減算回路６１ａは、
第１の積Ｐ[r]から第２の積Ｐ[g]を減算して第１の差Ｓ
[r]を生成する。第２の減算回路６１ｂは、第３の積Ｐ
[b]から第２の積Ｐ[g]を減算して第２の差Ｓ[b]を生成
する。

【００４１】第１及び第２の絶対値回路６２ａ、６２ｂ
は、それぞれ第１及び第２の減算回路６１ａ、６１ｂに
接続され、第１及び第２の絶対値Ａ[r]、Ａ[b]を生成す
る。同時に、第１及び第２の絶対値回路６２ａ、６２ｂ
は、第１及び第２の差Ｓ[r]、Ｓ[b]の正／負を示す第１
及び第２の符号Ｑ[r]、Ｑ[b]をそれぞれ取り出し、後述
する符号付加回路６４ａ、６４ｂへそれぞれ供給する。
第１及び第２の開平回路６３ａ、６３ｂは、それぞれ第
１及び第２の絶対値回路６２ａ、６２ｂに接続され、各
絶対値回路６２ａ、６２ｂから入力される第１及び第２
の絶対値Ａ[r]、Ａ[b]の平方根を算出し、第１、第２の
根Ｒ１[r]、Ｒ１[b]を生成する。そして、第１及び第２
の符号付加回路６４ａ、６４ｂは、第１及び第２の開平
回路６３ａ、６３ｂから入力される第１、第２の根Ｒ１
[r]、Ｒ１[b]に、第１及び第２の絶対値回路６２ａ、６
２ｂから供給される第１及び第２の符号Ｑ[r]、Ｑ[b]を
付加し、極性を有する第１、第２の根Ｒ２[r]、Ｒ２[b]
を生成する。

【００４２】色差マトリクス回路６５は、第１及び第２
の符号付加回路６４ａ、６４ｂに接続され、極性が付加
された第１、第２の根Ｒ２[r]、Ｒ２[b]を合成して色差
データＵ、Ｖを生成する。この色差マトリクス回路６４
においては、例えば、第２の根Ｒ２[b]に所定の乗数を
乗算し、その積を第１の根Ｒ２[r]に加算して色差デー
タＶを生成し、第１の根Ｒ２[r]に所定の乗数を乗算
し、その積を第２の根Ｒ２[g]に加算して色差データＵ
を生成するように構成される。この結果、図１に示す回
路構成の場合を同様に、色差データＵ、Ｖを得ることが
できる。

【００４３】以上の実施形態においては、イメージセン
サとしてＣＣＤを例示しているが、イメージセンサとし
ては、その他にＭＯＳセンサを用いることも可能であ
る。また、カラーフィルタの構成としては、少なくとも
３種類の補色（Ｙｅ、Ｍｇ、Ｃｙ）を備えていれば適用
可能であり、その他の色成分と組み合わせることも可能
である。

【００４４】

【発明の効果】本発明によれば、画像データの入力段階
で色バランスを調整し、その後、そのバランスを維持し
た状態で輝度データ及び色差データを生成することがで
きる。従って、色差データの生成過程でのホワイトバラ
ンス制御と輝度データの生成過程でのモアレバランス制
御とを共通化することができ、ホワイトバランス制御回
路と、そのゲインを算出するための回路を省略すること
が可能になる。

【図面の簡単な説明】

【図１】本発明の画像データ処理装置の構成を示すブロ
ック図である。

【図２】本発明の画像データ処理装置の動作を説明する
タイミング図である。

【図３】カラーフィルタの分光特性を示す図である。

【図４】ゲイン算出回路の構成の第１の例を示すブロッ
ク図である。

【図５】モザイク型カラーフィルタの一例を示す構成図
である。

【図６】モザイクフィルタに対応した色分離部の構成を
示すブロック図である。

【図７】ゲイン算出回路の構成の第２の例を示すブロッ
ク図である。

【図８】色差データ生成回路の別の構成例を示すブロッ
ク図である。

【図９】従来の固体撮像素子の構成を示すブロック図で
ある。

【図１０】モザイク型カラーフィルタの一例を示す構成
図である。

【図１１】従来の画像データ処理装置の構成を示すブロ
ック図である。

【図１２】従来の画像データ処理装置の動作を説明する
タイミング図である。

【符号の説明】

１ ＣＣＤイメージセンサ ２ アナログ処理回路 ３ Ａ／Ｄ変換回路 ４ デジタル処理回路 ５ 駆動回路 ６ タイミング制御回路 １１ 色分離回路 １２ 色演算回路 １３ ホワイトバランス制御回路 １４ 色差マトリクス回路 １５ モアレバランス制御回路 １６、２７ 輝度演算回路 １７、２８ ガンマ補正回路 １８、２９ アパーチャ回路 ２０ 色バランス制御回路 ２１ ゲイン算出回路 ２２ 分離回路 ２３ａ〜２３ｃ ラッチ回路 ２４ａ〜２４ｃ 乗算回路 ２５ａ〜２５ｃ、６３ａ、６３ｂ 開平回路 ２６、６５ 色差マトリクス回路 ３１、５３ 分離回路 ３２ａ〜３２ｃ、５２ａ〜５２ｄ 積分回路 ３３ａ、３３ｂ、５４ａ〜５４ｃ 除算回路 ４１ａ〜４１ｃ ラインメモリ ４２ フィルタ演算回路 ４３ セレクタ回路

Claims (3)

【特許請求の範囲】
1. 【請求項１】 光の三原色に対する補色を表す第１乃至
   第３の補色成分が所定の規則で繰り返される画像データ
   を取り込み、輝度データ及び第１及び第２の色差データ
   を生成する画像データ処理装置であって、上記画像デー
   タに対して、各補色成分毎に固有のゲインを与えて、各
   補色成分の所定期間内の平均レベルを整える色バランス
   制御回路と、バランス調整された上記画像データを成分
   別に分離して第１乃至第３の補色成分データを生成する
   分離回路と、上記第１乃至第３の色成分データの内の２
   つを互いに乗算して第１乃至第３の積を生成する乗算回
   路と、上記第１乃至第３の積に基づいて上記第１及び第
   ２の色差データを生成する色差データ算出回路と、バラ
   ンス調整された上記画像データを合成して輝度データを
   生成する輝度データ生成回路と、を備えたことを特徴と
   する画像データ処理装置。
2. 【請求項２】 上記色差データ算出回路は、上記第１乃
   至第３の積の平方根を算出して第１乃至第３の根を生成
   する開平回路と、上記第１乃至第３の根を光の三原色を
   表す第１乃至第３の原色データと見なし、それぞれ所定
   の割合で合成して第１及び第２の色差データを生成する
   マトリクス回路と、を含むことを特徴とする請求項１に
   記載の画像データ処理装置。
3. 【請求項３】 上記色差データ算出回路は、上記第１及
   び第３の積から上記第２の積をそれぞれ減算して第１及
   び第２の差を生成する減算回路と、上記第１及び第２の
   差の絶対値の平方根を算出して第１及び第２の根を生成
   する開平回路と、上記第１及び第２の根に上記第１及び
   第２の差の符号をそれぞれ付加する符号付加回路と、上
   記符号が付加された上記第１及び第２の根を合成して上
   記第１及び第２の色差データを生成する色差マトリクス
   回路と、を含むことを特徴とする請求項１に記載の画像
   データ処理装置。