JP2007074748A - 画像信号処理装置 - Google Patents

Abstract

【課題】 色演算処理で生じる誤差を再生画面上で目立ちにくくする。
【解決手段】 第１の色演算回路２２は、Ｙｅ成分及びＣｙ成分からそれぞれＧ成分を減算してＲ成分及びＢ成分を生成し、Ｇ成分をそのまま出力する。第２の色演算回路２３は、Ｗ成分からＣｙ成分及びＹｅ成分をそれぞれ減算してＲ成分を及びＢ成分を生成し、Ｃｙ成分とＹｅ成分との加算値からＷ成分を減算することでＧ成分を生成する。第１の色演算回路２２で生成される原色データＰ１[Ｒ]、Ｐ１[Ｂ]、Ｐ１[Ｇ]から第１の色差データＵ１、Ｖ１を生成し、第２の演算回路２３で生成される原色データＰ２[Ｒ]、Ｐ２[Ｂ]、Ｐ２[Ｇ]から第２の色差データＵ２、Ｖ２を生成した後、合成回路３０で各データを合成する。
【選択図】 図１

Description

本発明は、固体撮像素子から得られる複数の色成分を含む画像信号に対して色差信号を合成するための演算処理を施す画像信号処理装置に関する。

図６は、ＣＣＤイメージセンサを用いた撮像装置の構成を示すブロック図である。ＣＣＤイメージセンサ１は、複数の受光画素、複数の垂直転送レジスタ及び通常１つの水平シフトレジスタを有している。複数の受光画素は、受光面に一定の間隔で行列配置され、それぞれ受光した被写体画像に対応して情報電荷を発生して蓄積する。複数の垂直シフトレジスタは、受光画素の各列に対応して配置され、各受光画素に蓄積された情報電荷を順次垂直方向へ転送する。そして、水平シフトレジスタは、垂直シフトレジスタの出力側に配置され、複数の垂直シフトレジスタから転送出力される情報電荷を受け取り、１行単位で転送出力する。これにより、各受光画素に蓄積された情報電荷量に応じて電圧値を変化させる画像信号Ｉ０が出力される。

アナログ処理回路２は、ＣＣＤ１から入力される画像信号Ｉ０に対し、サンプルホールド、レベルクランプ等の処理を施し、所定のフォーマットに従う画像信号Ｉ１を生成する。例えば、サンプルホールド処理においては、ＣＣＤ１の出力動作に同期してリセットレベルと信号レベルとが交互に繰り返される画像信号Ｉ０から、信号レベルのみが取り出される。また、レベルクランプ処理においては、画像信号Ｉ０の水平走査期間の終端に設定される黒基準レベルが各水平走査期間毎に所定のレベルにクランプされる。Ａ／Ｄ変換回路３は、アナログ処理回路２から入力される画像信号Ｉ１をアナログ処理回路２の動作、即ち、ＣＣＤ１の出力動作に従うタイミングで量子化し、ＣＣＤ１の各受光画素に対応する情報をデジタル値で表す画像データＤを生成する。

デジタル処理回路４は、Ａ／Ｄ変換回路３から入力される画像データＤに対して、色分離、マトリクス演算等の処理を施し、輝度データＹ及び色差データＵ、Ｖを生成する。例えば、色分離処理においては、ＣＣＤ１の各受光面に装着されるカラーフィルタの色配列に従って画像データＤが振り分けられ、複数の色成分データが生成される。また、マトリクス演算処理においては、振り分けられた各色成分データから光の三原色に対応した原色データが生成され、さらに、その原色データを所定の割合で合成することにより色差データが生成される。

駆動回路５は、後述するタイミング制御回路６からの各種タイミング信号に応答し、ＣＣＤ１の各シフトレジスタに対して多相の駆動クロックを供給する。例えば、垂直シフトレジスタに対し、４相の垂直転送クロックΦｖを供給し、水平シフトレジスタに対して２相の水平転送クロックΦｈを供給する。タイミング制御回路６は、一定周期の基準クロックに従い、ＣＣＤ１の垂直走査のタイミングを決定する垂直タイミング信号と水平走査のタイミングを決定する水平タイミング信号とを生成し、駆動回路５に供給する。同時に、アナログ処理回路２、Ａ／Ｄ変換回路３及びデジタル処理回路４に対して、各回路の動作をＣＣＤ１の出力動作に同期させるためのタイミングクロックＣＴを供給する。

ところで、カラー撮像を行う場合、ＣＣＤ１の各受光画素を所定の色成分に対応付けるため、受光面に色分離用のカラーフィルタが装着される。このカラーフィルタは、モザイク型の場合、ストライプ型と比較してフィルタの構成が複雑になるが、水平解像度を高くすることができるという利点を有している。このため、高解像度化が望まれるビデオカメラ等においては、モザイク型のカラーフィルタが採用される傾向にある。

図７は、モザイク型のカラーフィルタの一例を示す平面図である。ＣＣＤ１の受光部の各画素に対応して複数のセグメントに分割され、各セグメントに例えば、Ｙｅ（イエロー）、Ｃｙ（シアン）、Ｗ（ホワイト）及びＧ（グリーン）の各色成分が周期的に割り当てられる。ここでは、Ｗ及びＧの各成分が奇数行に交互に配置され、Ｙｅ及びＣｙの各成分が偶数行に交互に配置されている。このようなカラーフィルタが装着されたＣＣＤ１から得られる画像信号は、奇数行の読み出しでＷ及びＧの各成分が繰り返され、偶数行の読み出しではＹｅ及びＣｙの各成分が繰り返される。

図８は、映像信号処理装置としてのデジタル信号処理部４の構成を示すブロック図であり、ＣＣＤ１に図７に示すカラーフィルタを装着した場合に対応している。色分離回路１１は、カラーフィルタの色成分の配列に対応する順序で連続する画像データＤを各色成分毎に振り分けて色成分データＣ[Ｙｅ]、Ｃ[Ｃｙ]、Ｃ[Ｇ]、Ｃ[Ｗ]を生成する。Ａ／Ｄ変換回路３から入力される画像データＤは、図９に示すように、奇数行の読み出し動作においては、Ｇ成分及びＷ成分が交互に連続し、偶数行の読み出しではＹｅ成分及びＣｙ成分が交互に連続する。そこで、色分離回路１１は、画像データＤを少なくとも１行分保持することにより、各行の読み出しの際に全ての色成分データＣ[Ｙｅ]、Ｃ[Ｃｙ]、Ｃ[Ｇ]、Ｃ[Ｗ]の出力を可能にしている。即ち、奇数行の読み出しが行われているときには、その行の画像データＤを振り分けて色成分データＣ[Ｇ]、Ｃ[Ｗ]を出力し、同時に、１行前の画像データＤを振り分けて色成分データＣ[Ｙｅ]、Ｃ[Ｃｙ]を出力するように構成される。さらに、シリアルに出力される画像データＤの振り分けによって間欠的になる各色成分データＣ[Ｙｅ]、Ｃ[Ｃｙ]、Ｃ[Ｇ]、Ｃ[Ｗ]は、同一データを連続して２度出力することによって補間される。

色演算回路１２は、色分離回路１１から入力される色成分データＣ[Ｙｅ]、Ｃ[Ｃｙ]、Ｃ[Ｇ]、Ｃ[Ｗ]に対して、例えば、
Ｙｅ-Ｇ＝Ｒ
Ｃｙ-Ｇ＝Ｂ
Ｇ＝Ｇ
の式に従う色演算処理を施し、光の三原色（Ｒ：赤、Ｂ：青、Ｇ：緑）に対応する原色データＰ[Ｒ]、Ｐ[Ｂ]、Ｐ[Ｇ]を生成する。

色バランス制御回路１３は、色演算回路１２から入力される原色データＰ[Ｒ]、Ｐ[Ｂ]、Ｐ[Ｇ]に対して、各色毎に設定される固有のゲインを与えることにより、各色のバランスを調整する。即ち、色バランス制御回路１３では、ＣＣＤの受光画素において生じる色成分毎の感度の差を補償するため、原色データＰ[Ｒ]、Ｐ[Ｂ]、Ｐ[Ｇ]のゲインを色毎に個別に設定することにより再生画面の色再現性を向上させている。

色差演算回路１４は、色バランス制御回路１３から入力される原色データＰ[Ｒ]、Ｐ[Ｂ]、Ｐ[Ｇ]に対して色差データＵ、Ｖを生成する。即ち、各原色データＰ[Ｒ]、Ｐ[Ｂ]、Ｐ[Ｇ]を３：６：１の割合で合成することにより、輝度データを生成し、この輝度データをＢ成分に対応する原色データＰ[Ｂ]から差し引くことによって色差データＵのうちの一方のデータＵを生成し、Ｒ成分に対応する原色データＰ[Ｒ]から差し引くことによって色差データのうちの他方のデータＶを生成する。

輝度演算回路１５は、色分離回路１１に入力される画像データＤに含まれる４つの色成分を合成することにより、輝度データＹを生成する。即ち、Ｙｅ、Ｃｙ、Ｇ、Ｗの各成分を合成すれば、
Ｙｅ＋Ｃｙ＋Ｇ＋Ｗ＝（Ｂ＋Ｇ）＋（Ｒ＋Ｇ）＋Ｇ＋（Ｒ＋Ｇ＋Ｂ） ＝２Ｒ＋４Ｇ＋２Ｂ
となり、Ｒ、Ｇ及びＢの各成分が１：２：１の割合で合成された輝度データＹを得ることができる。本来、輝度信号は、ＮＴＳＣ方式の規格によれば、Ｒ、Ｇ及びＢの各成分を３：６：１の割合で合成して生成されるものであるが、これに近い割合で合成して生成したものであれば、実用上問題はない。

アパーチャ回路１６は、輝度データＹに含まれる特定の周波数成分を強調してアパーチャデータを生成し、このアパーチャデータを輝度データＹに加算する。即ち、被写体画像の輪郭を強調するため、画像信号Ｙから画像データＤを得る際のサンプリング周波数の１／４の周波数成分を強調するように画像データＤに対してフィルタリング処理を施し、アパーチャデータを生成するように構成される。このようにして生成される輝度データＹは、色差データＵ、Ｖと共に外部の表示機器あるいは記録機器へ供給される。

色演算回路１２の色演算処理では、Ｒ成分及びＢ成分の生成の過程とＧ成分の生成の過程とが異なるため、ノイズに対する影響が色成分毎にばらつき、再生画面の画質を劣化させる要因となっている。例えば、Ｙｅ、Ｃｙ、Ｇ及びＷの各色成分に一様にノイズが含まれているような場合、Ｒ成分及びＢ成分の生成の際の減算処理においてノイズ成分が相殺されるのに対し、Ｇ成分にはノイズ成分がそのまま残されるため、ノイズ成分の影響が現れやすくなる。このようなノイズによる影響は、低輝度の被写体を撮像した際に強調されて再生画面上で目立ちやすくなる。

このようなノイズの影響については、色演算回路１２の色演算処理の方法を変更することによって低減することができる。例えば、Ｗ成分を表す色成分データＣ[Ｗ]からＹｅ成分を表す色成分データＣ[Ｙｅ]とＣｙ成分を表す色成分データＣ[Ｃｙ]とをそれぞれ減算することでＲ成分を表す原色データＰ[Ｒ]及びＢ成分を表す原色データＰ[Ｂ]を生成する。そして、Ｙｅ成分を表す色成分データＣ[Ｙｅ]とＣｙ成分を表す色成分データＣ[Ｃｙ]とを加算し、その加算データからＷ成分を表す色成分データＣ[Ｗ]を減算することにより、Ｇ成分を表す原色データＰ[Ｇ]を生成する。このような原色データＰ[Ｒ]、Ｐ[Ｂ]、Ｐ[Ｇ]の生成方法では、カラーフィルタの特性上、Ｗ成分を表す色成分データＣ[Ｗ]がその他の色成分よりも高いレベルとなりやすいため、色成分毎のノイズ成分のばらつきは目立ちにくくなる。

しかしながら、受光感度が高いＷ成分については、その他の色成分に比べて飽和レベルに達しやすいため、高輝度の被写体の撮像において、Ｒ成分及びＢ成分が不足するようになる。即ち、Ｗ成分が飽和すると、Ｗ成分からＹｅ成分またはＣｙ成分を差し引いてＲ成分またはＢ成分を得ているため、Ｒ成分及びＢ成分は実際のレベルよりも小さくなる。同時に、Ｙｅ成分とＣｙ成分との加算値からＷ成分を差し引いてＧ成分を得ているため、Ｇ成分は実際のレベルよりも大きくなり、結果的にＧ成分のみが強調されるようになる。従って、撮像素子のダイナミックレンジが狭くなり、これに対応させるために光学系に求められる制限がきつくなる。

そこで本発明は、低輝度の被写体の撮像でノイズの影響を目立ちにくくすると共に、高輝度の被写体の撮像で色バランスを維持できるようにすることを目的とする。

本発明は、上述の課題を解決するために、固体撮像素子から得られる複数の色成分データを含む画像信号に対して信号処理を施す画像信号処理装置であって、上記複数の色成分データに対して第１の色演算処理を施し、光の三原色に対応した第１の原色データを生成する第１の色演算回路と、上記第１の原色データに基づいて第１の色差データを生成する
第１の色差演算回路と、上記複数の色成分データに対して上記第１の色演算処理とは異なる色の組み合わせを用いた第２の色演算処理を施し、光の三原色に対応した第２の原色データを生成する第２の色演算回路と、上記第２の原色データに基づいて第２の色差データを生成する第２の色差演算回路と、上記第１の色差演算回路の出力と上記第２の色差演算回路の出力とを各成分毎に合成して出力データを生成する合成回路と、上記画像信号の輝度レベルを生成する輝度演算回路と、を備え、上記合成回路は上記第１の色差演算回路の出力と上記第２の色差演算回路の出力との合成割合を上記輝度レベルが高い場合は、上記第１の色差演算回路の出力の割合を高く、上記輝度レベルが低い場合は上記第２の色差演算回路の出力の割合を高くすること特徴とする。

本発明によれば、２種類（または３種類以上）の方法によって色演算処理を行って２種類（または３種類以上）の色差データを生成し、それらを合成して取り出すようにしたことで、特定の方法で生じるＳ／Ｎ比の劣化や演算誤差が、再生画面の画質に影響を与えにくくなる。従って、映像信号のＳ／Ｎ比の劣化を防止しながら、撮像装置のダイナミックレンジを広くすることができる。

また、カラーフィルタのセグメントをＹｅ、ＭＧ、Ｃｙ及びＷの各成分により構成した場合、三原色（Ｒ、Ｇ、Ｂ）を全て同一の演算処理によって生成することができるため、演算誤差が全ての色成分にほぼ均等に生じるようになる。従って、演算誤差による偽信号が発生しにくくなり、偽信号抑圧回路の構成を簡略化することができる。

図１は、本発明の画像信号処理装置の構成を示すブロック図である。尚、本実施形態において、装置に入力される画像データＤは、図８に示す画像信号処理装置に入力される画像データＤと同一のものである。色分離回路２１は、画像データＤを各色成分毎に振り分けて色成分データＣ[Ｙｅ]、Ｃ[Ｃｙ]、Ｃ[Ｇ]、Ｃ[Ｗ]を生成する。画像データＤは、奇数行の読み出しではＧ成分とＷ成分とが交互に連続し、偶数行の読み出しではＹｅ成分とＣｙ成分とが交互に連続する。そこで、色分離回路２１は、画像データＤを少なくとも１行分保持することにより、各行の読み出しの際に全ての色成分データＣ[Ｙｅ]、Ｃ[Ｃｙ]、Ｃ[Ｇ]、Ｃ[Ｗ]の出力を可能にしている。即ち、奇数行の読み出しが行われているときには、その行の画像データＤを振り分けて色成分データＣ[Ｇ]、Ｃ[Ｗ]を出力し、同時に、１行前の画像データＤを振り分けて色成分データＣ[Ｙｅ]、Ｃ[Ｃｙ]を出力するように構成される。

第１の色演算回路２２は、色分離回路２１から入力される色成分データＣ[Ｙｅ]、Ｃ[Ｃｙ]、Ｃ[Ｇ]、Ｃ[Ｗ]に対して第１の色演算処理を施し、光の三原色に対応する第１の原色データＰ１[Ｒ]、Ｐ１[Ｂ]、Ｐ１[Ｇ]を生成する。第１の色演算処理は、
Ｙｅ-Ｇ＝Ｒ
Ｃｙ-Ｇ＝Ｂ
Ｇ＝Ｇ
なる式に従い、Ｙｅ成分を示す色成分データＣ[Ｙｅ]及びＣｙ成分を表す色成分データＣ[Ｃｙ]からそれぞれＧ成分を表す色成分データＣ[Ｇ]を減算することでＲ成分を示す原色データＰ１[Ｒ]及びＢ成分を示す原色データＰ１[Ｂ]を生成する。そして、色成分データＣ[Ｇ]がそのままＧ成分を示す原色データＰ１[Ｇ]として出力される。ここで、原色データＰ１[Ｒ]、Ｐ１[Ｂ]、Ｐ１[Ｇ]は、第１の原色データを構成する。

第２の色演算回路２３は、色分離回路２１から入力される色成分データＣ[Ｙｅ]、Ｃ[Ｃｙ]、Ｃ[Ｇ]、Ｃ[Ｗ]に対して第１の色演算処理とは異なる第２の色演算処理を施し、光の三原色に対応する原色データＰ２[Ｒ]、Ｐ２[Ｂ]、Ｐ２[Ｇ]を生成する。第２の色演
算処理は、
Ｗ-Ｃｙ＝Ｒ
Ｗ-Ｙｅ＝Ｂ
Ｙｅ＋Ｃｙ-Ｗ＝Ｇ
なる式に従い、Ｗ成分を表す色成分データＣ[Ｗ]からＣｙ成分を表す色成分データＣ[Ｃｙ]及びＹｅ成分を示す色成分データＣ[Ｙｅ]をそれぞれ減算することでＲ成分を示す原色データＰ２[Ｒ]及びＢ成分を示す原色データＰ２[Ｂ]を生成する。そして、色成分データＣ[Ｃｙ]及び色成分データＣ[Ｙｅ]を加算し、その加算値から色成分データＣ[Ｗ]を減算することでＧ成分を示す原色データＰ２[Ｇ]を生成する。ここで、原色データＰ２[Ｒ]、Ｐ２[Ｂ]、Ｐ２[Ｇ]は、第２の原色データを構成する。

第１及び第２の色バランス制御回路２４、２５は、第１の色演算回路２２から入力される第１の原色データＰ１[Ｒ]、Ｐ１[Ｂ]、Ｐ１[Ｇ]及び第２の色演算回路２３から入力される第２の原色データＰ２[Ｒ]、Ｐ２[Ｂ]、Ｐ２[Ｇ]に対して、各色毎に設定される固有のゲインを与えることにより、各色のバランスをそれぞれ調整する。即ち、第１及び第２の色バランス制御回路２４、２５では、受光画素において生じる色成分毎の感度の差を補償するため、第１の原色データＰ１[Ｒ]、Ｐ１[Ｂ]、Ｐ１[Ｇ]及び第２の原色データＰ２[Ｒ]、Ｐ２[Ｂ]、Ｐ２[Ｇ]のゲインをそれぞれ色成分毎に個別に設定することにより、再生画面の色再現性を向上する。

第１及び第２の色差演算回路２６、２７は、第１のバランス制御回路２４から入力される第１の原色データＰ１[Ｒ]、Ｐ１[Ｂ]、Ｐ１[Ｇ]及び第２のバランス制御回路２５から入力される第２の原色データＰ２[Ｒ]、Ｐ２[Ｂ]、Ｐ２[Ｇ]をそれぞれ３：６：１の割合で合成することにより、輝度データを生成する。そして、その輝度データをＢ成分に対応する第１及び第２の原色データＰ１[Ｂ]、Ｐ２[Ｂ]から減算することによって第１及び第２の色差データのうちの一方のデータＵ１、Ｕ２を生成する。同様に、輝度データをＲ成分に対応する第１及び第２の原色データＰ１[Ｒ]、Ｐ２[Ｒ]から減算することによって第１及び第２の色差データのうちの他方のデータＶ１、Ｖ２を生成する。

第１及び第２の偽信号抑圧回路２８、２９は、色成分データＣ[Ｙｅ]、Ｃ[Ｃｙ]、Ｃ[Ｇ]、Ｃ[Ｗ]の何れかが飽和レベルに達した（または近付いた）とき、第１及び第２の色差演算回路２６、２７からそれぞれ入力される第１の色差データＵ１、Ｖ１及び第２の色差データＵ２、Ｖ２を減衰させる。即ち、色成分データＣ[Ｙｅ]、Ｃ[Ｃｙ]、Ｃ[Ｇ]、Ｃ[Ｗ]の何れかが飽和レベルに達して第１及び第２の色演算回路２２、２３での色演算処理が正しく行われなくなったとき、被写体の本来の色成分とは異なる値を示す偽信号が発生する。そこで、色成分データＣ[Ｙｅ]、Ｃ[Ｃｙ]、Ｃ[Ｇ]、Ｃ[Ｗ]の何れかが飽和レベル近くに設定される抑圧基準レベルを超えたときに、第１の色差データＵ１、Ｖ１及び第２の色差データＵ２、Ｖ２を抑圧して偽信号の発生を防止するようにしている。

合成回路３０は、輝度演算回路３１から供給される輝度レベルＬに応答して、第１の色差データＵ１、Ｖ１と第２の色差データＵ２、Ｖ２とを所定の割合で合成し、出力用の色差データＵ、Ｖを生成する。この合成回路３０では、被写体輝度が高いとき、色演算処理でＷ成分を使用していない第１の色差データＵ１、Ｖ１の割合が高く設定される。そして、被写体輝度が低いとき、色演算処理でノイズ成分の影響を受けにくい第２の色差データＵ２、Ｖ２の割合が高く設定される。

輝度演算回路３１は、色分離回路２１に入力される画像データＤに含まれる４つの色成分を合成することにより、輝度データＹを生成する。この輝度データＹの生成については、図８に示す輝度演算回路１５と同一である。また、輝度演算回路３１は、輝度データＹを適数個の受光画素からなるエリア単位で平均化して輝度レベルＬを生成し、その輝度レ
ベルＬを合成回路３０に供給する。尚、輝度レベルＬについては、１画素毎に判定してもよく、その場合には、輝度データＹの上位ビットが取り出される。アパーチャ回路３２は、図８に示すアパーチャ回路１６と同一のものであり、輝度データＹに含まれる特定の周波数成分を強調することにより、被写体画像の輪郭を強調する。

以上のようにして得られる色差データＵ、Ｖは、２種類の色演算処理を経て生成された第１及び第２の色差データＵ１、Ｖ１、Ｕ２、Ｖ２が合成されているため、一方の演算処理で演算誤差が生じた場合でも、その誤差の影響が再生画面上に表れにくい。さらには、被写体の輝度レベルに応じて、演算誤差が生じやすい色演算による色差データの割合を小さく設定するようにしたことで、演算誤差の影響はさらに小さくなる。

図２は、合成回路３０の構成を示すブロック図で、図３は、被写体輝度と色差データの合成割合を決定するゲインの値との関係を示す図である。合成回路３０は、第１〜第４の乗算器４１〜４４及び第１及び第２の加算器４５、４６により構成される。第１及び第３の乗算器４１、４３は、例えば、第１の偽信号抑圧回路２８から入力される第１の色差データＵ１、Ｖ１に対して、それぞれ、
Ｕ１＊（Ｇ＋８）／３２
Ｖ１＊（Ｇ＋８）／３２
に従う乗算処理を施す。また、第２及び第４の乗算器４２、４４は、例えば、第２の偽信号抑圧回路２９から入力される第２の色差データＵ２、Ｖ２に対して、それぞれ、
Ｕ２＊（２４-Ｇ）／３２
Ｖ２＊（２４-Ｇ）／３２
に従う演算処理を施す。ここで、Ｇは、輝度レベルＬに応じて決定されるゲインであり、輝度レベルＬに対するゲインＧの関係は図３に示すとおりである。

第１の加算器４５は、第１の乗算器４１の出力と第２の乗算器４２の出力とを加算して色差データのうちの一方のデータＵを生成する。同様に、第２の加算器４６は、第３の乗算器４３の出力と第４の乗算器４４の出力とを加算して色差データのうちの他方のデータＶを生成する。これにより、色差データＵ、Ｖは、
Ｕ＝（Ｕ１＊（Ｇ＋８）＋Ｕ２＊（２４-Ｇ））／３２
Ｖ＝（Ｖ１＊（Ｇ＋８）＋Ｖ２＊（２４-Ｇ））／３２
なる式により与えられるようになる。

ゲインＧについては、図３に示すように、輝度レベルＬの上昇に伴って減少するように設定され、輝度レベルＬが低いときには第１の色差データＵ１、Ｖ１の割合を大きくし、輝度レベルＬが高いときには第２の色差データＵ２、Ｖ２の割合を大きくするようにしている。例えば、輝度レベルＬが最低レベルｌ０のとき、Ｇ＝１６とすることで、第１の色差データＵ１、Ｖ１と第２の色差データＵ２、Ｖ２との合成比率は１：３となる。ゲインＧは、輝度レベルＬの上昇に伴って減少するように設定し、第１の色差データＵ１、Ｖ１と第２の色差データＵ２、Ｖ２との合成比率を１：１に近づける。輝度レベルＬが第１のレベルｌ１から第２のレベルｌ２までの間は、Ｇ＝８として固定し、第１の色差データＵ１、Ｖ１と第２の色差データＵ２、Ｖ２との合成比率を１：１とする。そして、輝度レベルＬが第２のレベルｌ２を超えると、輝度レベルＬの上昇に伴ってゲインＧをさらに減少させ、飽和レベルＬＳではＧ＝０とすることにより、最終的に、第１の色差データＵ１、Ｖ１と第２の色差データＵ２、Ｖ２との合成比率を３：１とする。以上のように第１の色差データＵ１、Ｖ１と第２の色差データＵ２、Ｖ２との合成比率を変更することにより、第１の色差データＵ１、Ｖ１の不具合と第２の色差データＵ２、Ｖ２の不具合とが独立して目立つことがなくなる。

ところで、撮像素子に装着するカラーフィルタの構成については、図７に示すようなセ
グメント構成の他、Ｙｅ（イエロー）、ＭＧ（マゼンタ）、Ｃｙ（シアン）及びＷ（ホワイト）のセグメントにより構成することも可能である。例えば、図４に示すように、奇数行にＷ成分とＹｅ成分とを交互に連続して配置し、偶数行にＣｙ成分とＭＧ成分とを交互に配置する。このようなカラーフィルタを装着した撮像素子から得られる画像データＤは、奇数行の読み出し動作においては、Ｗ成分及びＹｅ成分が交互に連続し、偶数行の読み出しではＣｙ成分及びＭＧ成分が交互に連続する。このような画像データＤは、色分離回路２１により各色成分に分離されて、各色成分に対応した色成分データＣ[Ｙｅ]、Ｃ[ＭＧ]、Ｃ[Ｃｙ]、Ｃ[Ｗ]として出力される。

このような色成分データＣ[Ｙｅ]、Ｃ[ＭＧ]、Ｃ[Ｃｙ]、Ｃ[Ｗ]に対しては、例えば、第１の色演算回路２２が、
（Ｙｅ＋ＭＧ-Ｃｙ）／２＝Ｒ
（ＭＧ＋Ｃｙ-Ｙｅ）／２＝Ｂ
（Ｃｙ＋Ｙｅ-ＭＧ）／２＝Ｇ
の式に従う色演算処理を施して第１の原色データＰ１[Ｒ]、Ｐ１[Ｂ]、Ｐ１[Ｇ]を生成する。そして、第２の演算回路２３が、
Ｗ-Ｃｙ＝Ｒ
Ｗ-Ｙｅ＝Ｂ
Ｗ-ＭＧ＝Ｇ
の式に従う色演算処理を施して第２の原色データＰ２[Ｒ]、Ｐ２[Ｂ]、Ｐ２[Ｇ]を生成する。第１及び第２のバランス制御回路２４、２５以降の処理については、色成分データＣ[Ｙｅ]、Ｃ[Ｃｙ]、Ｃ[Ｇ]、Ｃ[Ｗ]に基づいて得られる第１及び第２の原色データＰ１[Ｒ]、Ｐ１[Ｂ]、Ｐ１[Ｇ]、Ｐ２[Ｒ]、Ｐ２[Ｂ]、Ｐ２[Ｇ]に対する処理と同一である。

このような色演算処理よれば、Ｒ成分、Ｂ成分及びＧ成分がそれぞれ同じ演算処理を経て生成されるため、色成分データＣ[Ｙｅ]、Ｃ[ＭＧ]、Ｃ[Ｃｙ]、Ｃ[Ｗ]の飽和によって大きなレベルの偽信号が発生することはない。以上の実施形態においては、カラーフィルタをＹｅ、Ｃｙ、Ｇ、Ｗで構成した場合とＹｅ、ＭＧ、Ｃｙ、Ｗで構成した場合とを例示したが、その他の組み合わせを用いることも可能である。また、色演算処理については、２種類の方法のみに限らず、３種類以上の方法を用いて３種類以上の色差データを生成し、それらを合成するようにしてもよい。

本発明の映像信号処理装置の構成を示すブロック図である。 本発明の映像信号処理装置に用いる合成回路の構成を示すブロック図である。 合成回路で設定されるゲインの値の変化を示す図である。 カラーフィルタの構成のその他の例を示す平面図である。 図４に示すカラーフィルタに対応した画像データの処理過程を説明するタイミング図である。 固体撮像装置の構成を示すブロック図である。 カラーフィルタの構成の一例を示す平面図である。 従来の映像信号処理装置の構成を示すブロック図である。 図７に示すカラーフィルタに対応した画像データの処理過程を説明するタイミング図である。

符号の説明

１ ＣＣＤイメージセンサ
２ アナログ処理回路
３ Ａ／Ｄ変換回路
４ デジタル処理回路
５ 駆動回路
６ タイミング制御回路
１１、２１ 色分離回路
１２、２２、２３ 色演算回路
１３、２４、２５ 色バランス制御回路
１４、２６、２７ 色差演算回路
１５、３１ 輝度演算回路
１６、３２ アパーチャ回路
２８、２９ 偽信号抑圧回路
３０ 合成回路
４１〜４４ 乗算器
４５、４６ 加算器

Claims (4)

1. 固体撮像素子から得られる複数の色成分データを含む画像信号に対して信号処理を施す画像信号処理装置であって、上記複数の色成分データに対して第１の色演算処理を施し、光の三原色に対応した第１の原色データを生成する第１の色演算回路と、上記第１の原色データに基づいて第１の色差データを生成する第１の色差演算回路と、上記複数の色成分データに対して上記第１の色演算処理とは異なる色の組み合わせを用いた第２の色演算処理を施し、光の三原色に対応した第２の原色データを生成する第２の色演算回路と、上記第２の原色データに基づいて第２の色差データを生成する第２の色差演算回路と、上記第１の色差演算回路の出力と上記第２の色差演算回路の出力とを各成分毎に合成して出力データを生成する合成回路と、上記画像信号の輝度レベルを生成する輝度演算回路と、を備え、上記合成回路は上記第１の色差演算回路の出力と上記第２の色差演算回路の出力との合成割合を上記輝度レベルが高い場合は、上記第１の色差演算回路の出力の割合を高く、上記輝度レベルが低い場合は上記第２の色差演算回路の出力の割合を高くすること特徴とする画像信号処理装置。
2. 上記第１の原色データに対して色バランスを調整して上記第１の色差演算回路に出力する第１の色バランス制御回路と、上記第２の原色データに対して色バランスを調整して上記第２の色差演算回路に出力する第２の色バランス制御回路と、をさらに備えたことを特徴とする請求項１に記載の画像信号処理装置。
3. 上記複数の色成分データの何れかが所定のレベルを超えたときに上記第１の色差データを減衰させて上記合成回路に供給する第１の偽信号抑圧回路と、上記複数の色成分データの何れかが所定のレベルを超えたときに上記第２の色差データを減衰させて上記合成回路に供給する第２の偽信号抑圧回路と、をさらに備えたことを特徴とする請求項１に記載の画像信号処理装置。
4. 上記複数の色成分データは、イエロー、マゼンタ、シアン、及びホワイトの成分から構成されることを特徴とする請求項１乃至３のいずれか１項に記載の画像信号処理装置。

Images