JP2007088873A - 信号処理方法、信号処理回路およびこれを用いたカメラシステム - Google Patents

Abstract

【課題】
赤外光成分が画素信号に含まれても、輝度信号を補正して色再現性を良くする。
【解決手段】
入力画素信号から輝度信号を生成する前に、画素の色信号に混入された赤外光成分を色フィルタ毎に推定演算処理し、該推定演算処理した色信号の結果に応じて輝度信号を生成し、この生成された輝度信号と色差信号を用いて画像信号を発生することにより、赤外光が画素信号に混入しても色再現性を向上することができる。
【選択図】図５

Description

本発明は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子を用いた信号処理方法、信号処理回路およびこれを用いたカメラシステムに関し、特に低照度のとき色信号に対する赤外光の混入を補正して色再現性を良くする。

固体撮像素子を用いたカラー撮像装置における低照度時の感度向上の手法として、固体撮像素子の前面に配置されている赤外カットフィルタを取り外すことが一般に知られている。白黒の映像を生成する場合には大きな問題は発生しないが、この方法でカラーの映像を生成した場合、本来の色ではない赤外光成分が取り入れられて信号処理され、色再現性が著しく低下する。特に、夕方の場合、色温度が下がり赤外光成分が増えるため、色再現性が著しく劣化する。
これを解決するため、たとえば特許文献１（特開２００１−６９５１９号公報）において、近赤外光領域まで感度を持つＣＣＤ受光素子が２次元的に配列され、この受光素子には１対１にフィルタアレイが設けられている。
具体的には、撮像（受光）素子のＲ（赤），Ｇ（緑），Ｂ（青）上には近赤外光をカットするカラーフィルタを設け、受光素子のＹ（輝度）上には近赤外光を透過するようにするため、近赤外カット用のフィルタは設けていない。
すなわち、近赤外領域の光を透過するフィルタと近赤外領域の光を透過しないフィルタを備えた撮像素子を利用することにより、Ｙ信号は、近赤外領域の光を含むので高感度となり、クロマ（色）信号は、近赤外光を含まないので色再現性が良好である。
また、特許文献２（特開２０００-５９７９８号公報）には、赤外カットフィルタの位置を切り替える構成が開示されている。
レンズとＣＣＤ撮像素子間には、可視光カットフィルタは設けてなく、ＩＲ（赤外光）カットフィルタと光学ローパスフィルタを設け、このＩＲカットフィルタを切替機構により、撮像の光学経路に出し入れして（位置Ｐ１，Ｐ２）、近赤外光領域の感度と可視光領域の感度との両方を有効に活用して、近赤外光と可視光による撮影ができるようにしている。
さらに、特許文献３（特開２００３−７０００９号公報）には、ＣＣＤまたはＣＭＯＳの撮像素子、撮像駆動手段、信号処理手段、同期信号生成手段、レンズなどが開示され、この信号処理手段は色差信号生成部と輝度信号生成部を備えている。
赤外光の影響を排除するため、信号処理手段に構成された色差信号生成部で、赤外光の影響を受ける色差信号の値を減少させる補正を行う。
たとえば、赤外光の影響が大きいＣｒ（＝Ｙｅ＋Ｍｇ−（Ｃｙ＋Ｇ）；Ｙｅ黄色，Ｍｇマゼンタ，Ｃｙシアン，Ｇ緑）に対応する、色差信号のＲ−Ｙ信号の正負を検出し、Ｒ−Ｙ信号が負またはゼロの場合は補正を無効とし、正の場合にＲ−Ｙ信号に関する補正を行うことにより、色再現性を改善している。また、Ｒ−Ｙ信号の補正量にパラメータを乗算し、この値を輝度信号から減算して輝度信号を可変しているが、これは赤外光が混入した色差信号で輝度信号を処理する方法である。
特開２００１−６９５１９号公報 特開２０００−５９７９８号公報 特開２００３−７０００９号公報

しかしながら、上記特許文献１、２は、色再現性は向上するかもしれないが、コストダウンすることは難しいと思われる。一方、特許文献３は、Ｂ−Ｙ信号に混入した成分に関しては赤外光の成分を抑圧することはできない。
図１にＣＭＯＳ撮像素子の分光特性を示すように、ＩＲ（Ｉｎｆｒａｒｅｄ；赤外光）成分が混入するのはＲ（赤）フィルタだけでなく、Ｇ（緑）やＢ（青）フィルタにも混入していることが分かる。特に、７８０〜９００ｎｍの波長領域において赤外光の混入が著しい。
ここでＧＲは画素Ｒ（赤）の行に配列された画素Ｇ（緑）のスペクトル特性、またＧＢは画素Ｂ（青）の行に配列された画素Ｇのスペクトル特性をそれぞれ表している。この特性は撮像素子（センサ）により異なり、また環境光の分光特性によっても変わってくる。
特許文献３の方法では、色フィルタ毎に処理を行うのではなく、信号処理がほぼ完了したところで（色信号を生成した後）で対策を施しているので、効果が少ないと思われる。

本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、製造プロセスを複雑にすることなく、またＩＲカットフィルタなどの切り替えメカ構造に伴うコストアップをなくし、回路で効果的に色再現性を行う信号処理方法、信号処理回路およびこれを用いたカメラシステムを提供することにある。

本発明の信号処理方法は、入力画素信号から輝度信号を生成する前に、画素の色信号に混入された赤外光成分を色フィルタ毎に推定演算処理し、推定演算処理した色信号の結果に応じて輝度信号を生成し、該生成された輝度信号と色差信号を用いて画像信号を発生する。
本発明の信号処理回路は、入力画素信号から輝度信号を生成する前に、画素の色信号に混入している赤外光成分を色フィルタ毎に推定演算処理回路で補正し、色信号の補正結果に応じて輝度信号を生成し色差信号を用いて画像信号を発生する信号処理回路であって、前記推定演算処理回路は、色信号と輝度信号を制御信号により択一的に選択する選択回路と、前記選択回路から出力された出力信号が供給され、所定係数倍されて出力される乗算器と、前記色信号と前記乗算器から出力された信号が演算され、補正された色信号が出力される演算器とを有する。
本発明のカメラシステムは、近赤外領域まで感度を有する複数の受光素子が配列された撮像部から出力された信号を画像処理して出力する赤外光遮断フィルタを除去したカメラシステムにおいて、入力画素信号から輝度信号を生成する前に、画素の色信号に混入された赤外光成分を色フィルタ毎に推定演算処理し、推定演算処理した色信号の結果に応じて輝度信号を生成し、該生成された輝度信号と色差信号を用いて画像信号を発生するし、色再現性を向上させることを特徴とする。

本発明における信号処理方法、信号処理回路およびこれを用いたカメラシステムは、赤外光カットフィルタが完全に不要であるので、撮像素子上に赤外光カットフィルタと赤外光透過フィルタを備えたカメラ装置や、赤外光カットフィルタを撮像経路から入れ替えて赤外光の多い場合に対する色再現性を改善したカメラシステムと比較して、コストダウンが図れる。
また本発明は、色信号処理した後で補正するのではなく色信号処理前において、輝度（Ｙ）信号処理回路に赤外光（ＩＲ）推定処理回路を追加するだけで色再現性を向上させることができる。

図２に実施形態例であるカメラシステム１０のブロック構成を示す。
カメラシステム１０は、例えば、レンズ１１、撮像素子１２、ＣＤＳ（相関二重サンプリング）やプリアンプなどを有する前処理部１３、ＡＤ（アナログ・ディジタル）変換器１４と、補正処理部（２１）、輝度信号処理部（２２）、色信号処理部（２３）を有する信号処理部２０などで構成される。

レンズ１１は、被写体（図示せず）の画像を撮像素子１２の撮像面上に投写する。撮像素子１２は、例えば、ＣＣＤやＣＭＯＳなどからなり、レンズ１１を透過した画像を電気信号に変換し、画像信号としてＣＤＳ（相関二重サンプリング）やプリアンプなどを有する前処理部１３に供給する。

前処理部１３は、撮像素子１２からの画素信号をサンプルホールドして必要なデータを取り出すと共に、適正なレベルに合わせるためにゲインコントロール（ＡＧＣ）を行い、また黒レベル調整も行われる。この前処理部１３の出力信号は、後段のＡＤ変換器１４に出力される。

ＡＤ変換器１４は、画素（画像）信号を取り扱うため、１０〜１２Ｂｉｔｓ精度のものが採用され、前処理部１３から供給された出力信号をアナログ信号からディジタル信号に変換し、ディジタル信号を後段に接続された信号処理部２０に出力する。

信号処理部２０は、補正処理部２１、輝度信号処理部２２と色信号処理部２３などで構成され、ディジタル信号処理が行われる。以後各処理部で取り扱うディジタル信号を単にデータと称することとする。
補正処理部２１では、黒検出、ディジタルゲイン調整（Ｄｉｇｉｔａｌ Ｇａｉｎ Ｃｏｎｔｒｏｌ）、レンズ１１で生じるシェーディングの補正や、遅延線を用いて輝度信号（データ）と色信号（データ）を分離し、また遅延線を用いて画素欠陥の補正を行う。
輝度信号処理部２２はＹ（輝度）信号の垂直・水平（方向）輪郭補正（ＶＨアパーチャーコントロール）、Ｙ輝度信号と垂直・水平輪郭補正信号のＭｉｘ（混合；加算）処理、γ（ガンマ）補正、ルミナンス（輝度）キー処理、画像の一部領域を任意の輝度などに処理するソラリ、また画像を反転するネガ処理などの種々の画像処理を行う。
色信号処理部２３は、色分離やクランプ処理、色信号のノイズや色偽信号の除去、ＲＧＢマトリックス（Ｍａｔｒｉｘ）処理、Ｒ，Ｇ，Ｂの各色の係数を可変するホワイトバランス（ＷＢ）調整、γ（ガンマ）補正、Ｒ−Ｇ／Ｂ−Ｇ変換，色偽信号の抑圧処理、色差信号（Ｃｒ／Ｃｂ）の生成、クロマサプレス（抑制）処理，Ｈｕｅ／Ｇａｉｎ調整，モノトーン効果処理などを行う。

図３に本発明の実施形態例である、信号処理部５０（２０）のより詳細な構成を示す。
信号処理部（回路）５０は、前処理部（ＰＲＥ）６０、Ｙ−ブロック（輝度信号処理部）７０とＣ−ブロック（色信号処理部）８０の３つのブロックで構成されている。
前処理部６０は、黒検出部６１、加算器６２、ディジタルゲイン調整部６３、シェーディング補正部６４、遅延線／欠陥補正部６５などで構成されている。
黒検出器６１はＡＤ変換器１４から出力されたデータ（ＡＤｉｎ）を用いて、この入力データ（信号）の黒レベルを計算し、クランプレベルを計算するためのデータを出力する。
加算器６２は、入力データ（ＡＤｉｎ）から黒レベルを減算処理し、黒レベルを基準とした（黒レベルにクランプされた）新たな画素データを生成する。
ディジタルゲイン調整部６３は、加算器６２から出力された黒レベルにクランプされたデータの利得をディジタル的に可変して明るさを調整している。
シェーディング補正部６４は、レンズ１１の口径により画像の中心部に対して周辺部は輝度の差（ムラ）があり、この輝度ムラを補正するようにしている。
遅延線／欠陥補正部６５は、遅延線と演算（加算・減算）器を用いて入力データを輝度信号（データ）と色信号（データ）に分離する。また、遅延素子で入力データを、例えば１画素、２画素遅延させ、この遅延した画素値を演算器を用いて加算して欠陥画素の前後のデータを平均化した値を求め、欠陥画素と置換して、画素の欠陥補正を行っている。

遅延線／欠陥補正部６５で、欠陥補正され、さらに輝度信号と色信号に分離されたデータはそれぞれ輝度信号処理部（Ｙ−ブロック）７０と色信号処理部（Ｃ−ブロック）８０に供給される。

輝度信号処理部（Ｙ−ブロック）７０は、ＹＬＰＦ（輝度信号Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ；輝度信号ローパスフィルタ）７１、垂直・水平輪郭補正（ＶＨアパーチャーコントロール；ＶＨアパコン）部７２、輪郭補正加算器（輪郭補正Ｍｉｘ；アパーチャーコントロールＭｉｘ）７３、γ（ガンマ）補正部７４、画像エフェクト処理部７５、クロマサプレス用信号生成部７６などで構成される。
ＹＬＰＦ７１は、輝度信号に関するデータを加算演算処理して、等価的にノイズを除去している。
また、フィルタ機能以外に、ＩＲ（赤外光）に関する推定（演算）処理部を有し、そこで色信号（データ）号を補正して輝度信号を生成する機能も備えている。
輝度信号を構成するＲ（赤），ＧＲ（Ｒ行のグリーンデータ），Ｂ（青），ＧＢ（Ｂ行のグリーンデータ）に所定の係数を乗算し、夫々の色データ（信号）からこの乗算値を減算して、補正した色データを求め、この補正色データを用いて輝度信号を生成している。
またこれ以外にたとえば、輝度データ（Ｙ）に所定の係数を乗算し、夫々の色データＲ（赤），ＧＲ（Ｒ行のグリーンデータ），Ｂ（青），ＧＢ（Ｂ行のグリーンデータ）からこの乗算値を減算し、補正した色データを求めて、輝度信号を生成することもできる。
さらに、補正用の色信号を求める際、係数に対する被乗算値を色データ（信号）と同じ色データを用いるかあるいは輝度（Ｙ）データを用いるか任意に選択することもでき、光源などに対応した輝度信号を発生することもできる。
垂直・水平輪郭補正（ＶＨアパーチャーコントロール）部７２は、遅延素子と加算・減算処理する演算器を用いて、画像の水平方向の輪郭部を強調するパルスを生成し、また画像の垂直方向の輪郭部を強調するパルスも生成する。
輪郭補正加算器（輪郭補正Ｍｉｘ）７３は、垂直・水平輪郭補正部７２から出力された水平方向の輪郭補正パルスと垂直方向の輪郭補正パルスと、ＹＬＰＦ７１から供給された輝度データが供給され、加算処理がされて輪郭が強調された輝度データが出力される。
ガンマ（γ）補正部７４は、たとえば表示装置をＣＲＴ（Ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ；受像管）のとき、このＣＲＴのγ特性が２．２であるので、あらかじめ撮像側で１／γ＝０．４５と入出力特性のカーブを補正して、ＣＲＴ側で画像の階調が正しく再現されるようにし、正しい再生画像が得られるようにしている。
画像エフェクト処理部７５は、ルミナンス（輝度）キー処理、画像の一部領域を任意の輝度などに処理するソラリ処理、また画像を反転するネガ処理などを行う。
クロマサプレス用信号生成部７６は、垂直・水平輪郭補正部７２で生成したパルス信号から、画像輪郭部のパルスを用いて、クロマ（色）データを削除する制御信号を発生する。

次に色信号処理部（Ｃ−ブロック）８０について説明する。
色信号処理部８０は、遅延線／欠陥補正部６５で処理された色データが入力され、色分離／クランプ処理部８１、色（クロマ）信号ローパスフィルタ（ＣＬＰＦ）８２、ＲＧＢ Ｍａｔｒｉｘ（ＲＧＢマトリックス）８３、ホワイトバランス（ＷＢ）調整部８４、色信号オプティカルディテクタ８５、γ補正部８６、Ｒ−Ｇ／Ｂ−Ｇ変換，色偽抑圧処理部８７、Ｃｒ／Ｃｂ生成部８８、クロマサプレス，Ｈｕｅ（色相制御）／Ｇａｉｎ（ゲイン）調整，モノトーン効果処理部８９などで構成される。
遅延線／欠陥補正部６５から出力された画像信号（データ）は色分離／クランプ処理部８１に供給され、色分離されかつ所定の値にクランプされる。
クロマ信号ローパスフィルタ（ＣＬＰＦ）８２は、たとえばディジタルローパスフィルタで構成され、色分離された信号の偽色信号やノイズの除去を行っている。
ＲＧＢ Ｍａｔｒｉｘ（ＲＧＢマトリックス）８３はＣＬＰＦ８２からの出力データを演算処理してＲ，Ｇ，Ｂの３原色データを求め、ホワイトバランス（ＷＢ）調整部８４に出力する。
ホワイトバランス（ＷＢ）調整部８４は、Ｒ（赤），Ｇ（緑），Ｂ（青）の色信号（データ）に所定の係数を掛けて、目標の色温度に対する白色を設定するようにしている。ホワイトバランスのとれた色データをガンマ補正部８６と色信号オプティカルディテクタ（ＣＯＰＤ）８５に出力する。
色信号オプティカルディテクタ（ＣＯＰＤ）８５で３原色Ｒ，Ｇ，Ｂの色データが検出され、ＡＥ（自動露光）／ＡＷＢ（オートホワイトバランス）／ＯＰＤ（オプティカルディテクタ）部９５のＯＰＤ部でたとえば１フィールド、１フレーム期間積分される。
露光・自動ホワイトバランス（ＡＥ／ＡＷＢ Ｓ／Ｗ（ソフトウエアー））部９６において、ソフトウエアー処理により、前述の積分された各色データから色温度座標で色温度を求め、目標とする色温度に対する各色データの補正係数を求める。この値をホワイトバランス（ＷＢ）調整部８４にフィードバックしてホワイトバランスの調整を行う。
Ｒ−Ｇ／Ｂ−Ｇ変換，色偽抑圧処理部８７は、ホワイトバランス調整部８４から出力された色データをγ補正した後、撮像素子の画素間で他の色信号が混入したことによる色偽信号を抑圧し、そしてＲ（赤）−Ｇ（緑），Ｂ（青）−Ｇ（緑）の色信号に変換する。
Ｃｒ／Ｃｂ生成部８８は、Ｒ−ＹとＢ−Ｙの色差信号を発生する。ここで、Ｃｒ＝Ｒ−Ｙ，Ｃｂ＝Ｂ−Ｙ（Ｙは輝度信号）である。
クロマサプレス，Ｈｕｅ／Ｇａｉｎ調整，モノトーン効果処理部８９は、クロマサプレス用信号生成部７６から出力された制御信号により、Ｃｒ，Ｃｂの色差信号のデータが出力されることを阻止する。
また、色差信号のデータに関し、Ｈｕｅ（色相）の調整、Ｇａｉｎ（ゲイン；利得）の調整を行うと共に、色を消して白黒画像にするモノトーン効果の処理も行う。
そして、処理された（色）データは不図示のエンコーダに出力され、輝度信号処理部（Ｙ−ブロック）７０から出力される輝度（Ｙ）信号を用いてエンコードされてコンポーネントまたはコンポジットの画像信号が生成される。

次に、図３の信号処理部（回路）５０の動作について述べる。
前処理部１３から出力された画素のアナログ信号が、ＡＤ変換器１４で１０〜１２Ｂｉｔｓ精度のディジタルデータ（信号）に変換され、この変換されたデータが信号処理回路５０の前処理（ＰＲＥ）部６０に入力される。入力されたデータ（ＡＤｉｎ）は黒検出部６１と加算器６２の一方の入力端子に入力され、黒検出部６１で黒レベルの計算が行われ、その計算されたデータがクランプソフトウエアー（ＣＬＡＭＰ Ｓ／Ｗ）９７に供給され、クランプレベルがソフトウエアー処理により計算される。このクランプソフトウエアー９７から出力されたクランプデータが黒検出部６１に供給され、黒検出部６１から黒クランプレベルのデータが加算器６２に出力される。
加算器６２に入力されたデータ（ＡＤｉｎ）と黒レベルのクランプデータが減算処理され、ディジタルゲイン調整部６３に出力され、ゲインが可変されて明るさの調整が行われる。
ゲイン調整された画素データは、シェーディング補正部６４に供給され、カメラシステムの撮像素子前面に備えられたレンズに起因する輝度ムラが補正された後、遅延線／欠陥補正６７で画素の欠陥を補正し、また色データと輝度データに分離される。
分離された色データと輝度データに関し、輝度データは輝度信号処理部（Ｙ−ブロック（Ｂｌｏｃｋ））７０に、色データは色信号処理部（Ｃ−ブロック（Ｂｌｏｃｋ））８０にそれぞれ供給される。

次に、実施形態例である、ＹＬＰＦ７１の本発明に係るブロック回路を図４に示す。
図４に示したＹＬＰＦ１００（７１）はフィルタ（不図示）と推定演算処理回路を構成するＩＲ（赤外光）成分推定処理部１０１と輝度計算処理部１０２などで構成され、ＩＲ成分推定処理部１０１においてＩＲ成分の推定減算処理を行っている。また輝度計算処理部１０２では、ＩＲ成分推定処理部１０１で演算処理されて得られた各色の補正された値を用いて、輝度信号を生成している。
いま、カラーフィルタの配列をたとえば原色ベイヤー方式とし、さらに色データをＲ（赤）、Ｂ（青）、ＧＲ（Ｒ行の緑）とＧＢ（Ｂ行の緑）とすると、推定演算式は下記のように表される。
補正データに輝度（Ｙ）データのみを用いた場合は、
Ｒ'＝Ｒ−Ｋ_Ｒ＊Ｙ
Ｂ'＝Ｂ−Ｋ_Ｂ＊Ｙ
ＧＲ'＝ＧＲ−Ｋ_ＧＲ＊Ｙ
ＧＢ'＝ＧＢ−Ｋ_ＧＢ＊Ｙ ・・・（１）
と表される。
ここで、Ｋ_Ｒ，Ｋ_Ｂ，Ｋ_ＧＲ，Ｋ_ＧＢは各色データＲ，Ｂ，ＧＲ，ＧＢに関する補正係数であり、＊印は乗算記号を表し、またＹ＝（Ｒ＋Ｂ＋ＧＲ＋ＧＢ）／４である。
また、補正データに各色データを用いた場合は、
Ｒ'＝Ｒ−Ｋ_Ｒ＊Ｒ
Ｂ'＝Ｂ−Ｋ_Ｂ＊Ｂ
ＧＲ'＝ＧＲ−Ｋ_ＧＲ＊ＧＲ
ＧＢ'＝ＧＢ−Ｋ_ＧＢ＊ＧＢ ・・・（２）
と表される。
さらに、補正を環境光に合致するように設定した場合は、
Ｒ'＝Ｒ−Ｋ_Ｒ＊Ｒ
Ｂ'＝Ｂ−Ｋ_Ｂ＊Ｙ
ＧＲ'＝ＧＲ−Ｋ_ＧＲ＊Ｙ
ＧＢ'＝ＧＢ−Ｋ_ＧＢ＊Ｙ ・・・（３）
と表すことができる。
この例ではＲ'色データのみをＲデータに係数Ｋ_Ｒを掛けて補正した例を示したが、それ以外の色データについても適宜色データを用い、これら補正した色データを組み合わせることもできる。

ＩＲ成分推定処理部１０１で各色データを補正し、この補正したデータを用いて輝度計算処理部１０２で演算処理を行い輝度（Ｙ）信号を生成する。
具体的には、上述した式（１）、（２）または（３）のいずれかの一つの式のＲ'，Ｂ'，ＧＲ'，ＧＢ'の色信号の補正された色データを用いると、
Ｙ＝（Ｒ'＋Ｂ'＋ＧＲ'＋ＧＢ'）／４ ・・・（４）
と輝度データが計算（生成）され、この値が輝度信号として出力される。

生成された輝度信号（データ）と垂直・水平輪郭補正（ＶＨアパーチャーコントロール）部７２から出力された輪郭強調データが輪郭補正加算器７３に供給され、両データが加算され、その後γ補正される。
そして、ルミナンスキー処理、ソラリ／ネガ処理などの画像エフェクト処理が行われ、この画像エフェクト処理された信号が出力端子（ＹＯＵＴ）から導出される。

一方、色分離／クランプ処理部（８１）で、分離された色データは、ＣＬＰＦ（色（クロマ）信号ローパスフィルタ）８２で色信号より高域の周波数成分を除去し、ノイズと色偽信号を除去する。
ノイズと色偽信号が除去された色データはＲＧＢマトリックス８３でＲ，Ｇ，Ｂの３原色信号が求められ、ホワイトバランス（ＷＢ）調整部８４でホワイトバランス調整し、ガンマ補正部８６で色信号に関するガンマ（γ）補正を行う。またホワイトバランス（ＷＢ）調整部８４から出力されたデータは、色信号オプティカルディテクタ８５、ＡＥ／ＡＷＢ／ＯＰＤ部９５でハードウエアーを用いて色データを検出する。
この検出した色データをＡＥ／ＡＷＢ Ｓ／Ｗ部９６に供給してコンピュータまたは演算装置でソフトウエアー処理により、色信号（データ）に対する色温度を求め、また目標（白）色温度に対する各色の補正係数を計算し、そのデータをホワイトバランス（ＷＢ）調整部８４にフィードバックして自動的にホワイトバランスの調整を行う。

ガンマ補正された色データは、Ｒ−Ｇ／Ｂ−Ｇ変換，色偽抑圧処理部８７でＲ−Ｇ／Ｂ−Ｇの変換とまた色偽信号の抑圧処理が行われる。そして、Ｃｒ／Ｃｂ生成部８８でＲ−Ｇ／Ｂ−Ｇ変換（８７）で発生されたＲ−ＧとＢ−Ｇデータを用いてＣｒ＝Ｒ−ＹとＣｂ＝Ｂ−Ｙの色差信号の色データを生成する。
輝度Ｙデータは、
Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ ・・・（５）
と表されるので、
Ｃｒ＝Ｒ−Ｙ＝０．７０（Ｒ−Ｇ）−０．１１（Ｂ−Ｇ）・・・（６）
Ｃｂ＝Ｂ−Ｙ＝０．８９（Ｂ−Ｇ）−０．３０（Ｒ−Ｇ）・・・（７）
と変形できる。すなわち、Ｒ−ＧとＢ−Ｇの色データからＣｒ，Ｃｂの色差信号を式（６），（７）から求めることができる。
クロマサプレス用信号生成部７６から出力された制御信号とＣｒとＣｂの色差信号がクロマサプレス，Ｈｕｅ／Ｇａｉｎ調整，モノトーン効果処理部８９に供給され、クロマサプレス用の制御信号が供給されると色信号は消され、Ｈｕｅ／Ｇａｉｎ調整の処理を行うと色相や飽和度が可変され色信号が調整される。また、モノトーン効果を作動させると、色が消され白黒の画像に設定される。
クロマサプレス，Ｈｕｅ／Ｇａｉｎ調整，モノトーン効果処理部８９から出力された色データは出力（ＣＯＵＴ）され、上述した輝度信号処理部７０から出力（ＹＯＵＴ）された輝度信号と共にエンコーダ（不図示）に供給され、ＩＲ領域が補正された色再現性の良いコンポーネントまたはコンポジットの画像信号が生成される。
その結果、再現された色信号を、たとえばマクベスチャート（登録商標）を用いて色評価すると、ＩＲ推定演算（減算）処理が無い場合は、ＩＲ成分によりたとえば赤色（ｒｅｄ；カラー番号１５）に白色が混入した色となり、中程度の赤（Ｍｏｄｅｒａｔｅ ｒｅｄ；カラー番号９）やマジェンタ（ｍａｇｅｎｔａ；カラー番号１７）との差は少なくなり、識別しにくくなる。またこれ以外にもマクベスチャート上に表示された各色は全体に白身を帯びた色に変化して、本来の色は再現されていない。これに対して、ＩＲ推定演算処理がある場合、マクベスチャート全体の明るさはやや暗くなるものの、赤色（カラー番号１７）や中程度の赤（カラー番号９）などは元の色に再現され、これらの色は明確に識別でき色再現性が良くなる。

次に、図５に、他の実施形態例であるＹＬＰＦ（輝度信号ローパスフィルタ）７１の一部を構成する推定演算処理回路であるＩＲ推定処理回路１５０の回路構成を示す。
ＩＲ推定処理回路１５０は、Ｒ（赤）色データが入力端子Ｔ１に入力される。入力端子Ｔ１は加算器１５１の一方の入力とＳＥＬ（セレクタ；切替器）１５３の一方の端子と加算器１５５の＋（プラス）端子に接続される。加算器１５１の他方の入力は端子Ｔ２に接続され、この加算器１５１の出力は加算器１５２の一方の入力に接続される。また加算器１５２の他方の入力は加算器１７１の出力に接続され、出力は１／４演算器１５６の入力に接続される。
１／４演算器１５６の出力はＳＥＬ（セレクタ）１５３，１６１，１７２，１８１の他方の端子に接続され、輝度信号Ｙ（データ）を供給している。
ＳＥＬ１５３に制御信号Ｒ−ＳＥＬが供給され、入力のＲ色データまたはＹデータの切り替えを行っている。ＳＥＬ１５３の出力は、乗算器１５４の一方の入力に供給され、またこの乗算器１５４の他方の入力に係数Ｋ_Ｒが供給され、出力は加算器１５５の−（マイナス）端子に接続され、ここで減算処理されて出力からＲ信号（データ）の補正されたＲ'色データが導出される。

以下同様に、ＧＲ色データが入力される端子Ｔ２は、ＳＥＬ１６１の一方の入力と加算器１５１の他方の端子に接続され、また加算器１６３の＋（プラス）端子に接続されている。ＳＥＬ１６１の他方の端子は上述したように１／４演算器１５６の出力に接続され、ＧＲ−ＳＥＬ制御信号により切り替えられ、ＧＲ色データまたはＹ（輝度）データが選択される。またこのＳＥＬ１６１の出力は乗算器１６２の一方の入力に接続される。乗算器１６２の他方の入力は係数Ｋ_ＧＲが入力され、出力は加算器１６３の−（マイナス）端子に接続される。
加算器１６３の＋（プラス）端子は端子Ｔ２に接続され、出力からＧＲ信号（データ）の補正されたＧＲ'色データが導出される。
Ｂ色データが入力される端子Ｔ３は加算器１７１の一方の入力とＳＥＬ１７２の一方の入力と、加算器１７４の＋（プラス）端子に接続されている。ＳＥＬ１７２の他方の入力は１／４演算器１５６の出力に接続され、Ｂ−ＳＥＬ制御信号により切り換えられてＢ色データまたはＹデータが選択される。またＳＥＬ１７２の出力は乗算器１７３の一方の端子に接続され、この乗算器１７３の他方の入力は係数Ｋ_Ｂが入力され、出力は加算器１７４の−（マイナス）端子に接続される。そして、加算器１７４の出力からＢ信号（データ）の補正されたＢ'色データが導出される。
ＧＢ色データが入力されるＴ４は、加算器１７１他方の入力に接続され、さらにＳＥＬ１８１の一方の入力と加算器１８３の＋（プラス）端子に接続される。ＳＥＬ１８１にＧＢ−ＳＥＬの制御信号が供給され、ＧＢ色データまたはＹデータのどちらか一方が選択される。
ＳＥＬ１８１の出力は乗算器１８２の一方の端子に接続され、この乗算器１８２の他方の端子に係数Ｋ_ＧＢが供給され、出力は加算器１８３の−（マイナス）端子に接続される。加算器１８３の出力は、ＧＢ色信号（データ）の補正されたＧＢ'色データが導出される。

次に、ＩＲ推定処理回路１５０の動作について説明する。
Ｒ色データが端子Ｔ１に入力され、また端子Ｔ２からＧＲ色データが入力されると、加算器１５１の出力からＲ＋ＧＲ色データが導出される。また端子Ｔ３からＢ色データと端子Ｔ４からＧＢ色データが加算器１７１に入力されると、出力からＢ＋ＧＢ色データが導出され、このＢ＋ＧＢ色データが加算器１５２に出力される。
加算器１５２の入力には加算器１５１の出力からＲ＋ＧＲ色データと加算器１７１からのＢ＋ＧＢ色データが供給されるので、出力からＲ＋ＧＲ＋Ｂ＋ＧＢ色データが出力される。このＲ＋ＧＲ＋Ｂ＋ＧＢ色データは次段の１／４演算器１５６で１／４に演算処理されてＹ（輝度）データとして出力され、各ＳＥＬ１５３，１６１，１７２，１８１に供給される。

Ｒ−ＳＥＬの制御信号により、ＳＥＬ１５３の入力の一方の端子が選択されると、たとえば入力のＲ色データが選択され、出力される。このＲ色データが乗算器１５４に入力されると係数Ｋ_Ｒと乗算され、その結果、Ｋ_Ｒ＊Ｒが加算器１５５の−（マイナス）端子に入力される。一方、加算器１５５の＋（プラス）端子にはＲ色データが入力されるので、減算処理されて、Ｒ−Ｋ_Ｒ＊ＲがＲ'色データとして出力される。
また、Ｒ−ＳＥＬの制御信号により、ＳＥＬ１５３の入力の他方の端子が選択されると、入力のＹデータが選択される。このＹデータが乗算器１５４に入力されると係数Ｋ_Ｒと乗算され、その結果、Ｋ_Ｒ＊Ｙが加算器１５５の−（マイナス）端子に入力される。一方、加算器１５５の＋（プラス）端子にはＲ色データが入力されるので、減算処理されて、Ｒ−Ｋ_Ｒ＊ＹがＲ'色データとして出力される。

以下同様に、ＧＲ−ＳＥＬの制御信号により、ＳＥＬ１６１の入力の一方の端子が選択されると、入力のＧＲ色データが選択され、出力される。このＧＲ色データが乗算器１６２に入力されると係数Ｋ_ＧＲと乗算され、その結果、Ｋ_ＧＲ＊ＧＲが加算器１６３の−（マイナス）端子に入力される。一方、加算器１６３の＋（プラス）端子にはＧＲ色データが入力されるので、減算処理されて、ＧＲ−Ｋ_ＧＲ＊ＧＲがＧＲ'色データとして出力される。
また、ＧＲ−ＳＥＬの制御信号により、ＳＥＬ１６１の入力の他方の端子が選択されると、入力のＹデータが選択され、出力される。このＹデータが乗算器１６２に入力されると係数Ｋ_ＧＲと乗算され、その結果、Ｋ_ＧＲ＊Ｙが加算器１６３の−（マイナス）端子に入力される。一方、加算器１６３の＋（プラス）端子にはＧＲ色データが入力されるので、減算処理されて、ＧＲ−Ｋ_ＧＲ＊ＹがＧＲ'色データとして出力される。

次に、Ｂ−ＳＥＬの制御信号により、ＳＥＬ１７２の入力信号の一方の端子が選択されると、入力のＢ色データが選択され、出力される。このＢ色データが乗算器１７２に入力されると係数Ｋ_Ｂと乗算され、その結果、Ｋ_Ｂ＊Ｂが加算器１７４の−（マイナス）端子に入力される。一方、加算器１７４の＋（プラス）端子にはＢ色データが入力されるので、減算処理されて、Ｂ−Ｋ_Ｂ＊ＢがＢ'色データとして出力される。
また、Ｂ−ＳＥＬの制御信号により、ＳＥＬ１７２の入力の他方の端子が選択されると、入力のＹデータが選択され、出力される。このＹデータが乗算器１７３に入力されると係数Ｋ_Ｂと乗算され、その結果、Ｋ_Ｂ＊Ｙが加算器１７４の−（マイナス）端子に入力される。一方、加算器１７４の＋（プラス）端子にはＢ色データが入力されるので、減算処理されて、Ｂ−Ｋ_Ｂ＊ＹがＢ'色データとして出力される。

そして、ＧＢ−ＳＥＬの制御信号により、ＳＥＬ１８１の入力の一方の端子が選択されると、入力のＧＢ色データが選択され、出力される。このＧＢ色データが乗算器１８２に入力されると係数Ｋ_ＧＢと乗算され、その結果、Ｋ_ＧＢ＊ＧＢが加算器１８３の−（マイナス）端子に入力される。一方、加算器１８３の＋（プラス）端子にはＧＢ色データが入力されるので、減算処理されて、ＧＢ−Ｋ_ＧＢ＊ＧＢがＧＢ'色データとして出力される。
また、ＧＢ−ＳＥＬの制御信号により、ＳＥＬ１８１の入力の他方の端子が選択されると、入力のＹデータが選択され、出力される。このＹデータが乗算器１８２に入力されると、係数Ｋ_ＧＢと乗算され、その結果、Ｋ_ＧＢ＊Ｙが加算器１８３の−（マイナス）端子に入力される。一方、加算器１８３の＋（プラス）端子にはＧＢ色データが入力されるので、減算処理されて、ＧＢ−Ｋ_ＧＢ＊ＹがＧＢ'色データとして出力される。

このように、Ｒ−ＳＥＬ，ＧＲ−ＳＥＬ，Ｂ−ＳＥＬ，ＧＢ−ＳＥＬの制御信号によりＳＥＬ１５３，１６１，１７２，１８１で、Ｒ，ＧＲ，Ｂ，ＧＢの色データとＹデータを選択して、色データを補正するようにしている。
上述した制御信号により、係数Ｋ_Ｒ，Ｋ_ＧＲ，Ｋ_Ｂ，Ｋ_ＧＢに乗算されるデータとして色データあるいはＹデータを任意に選択することができ、色々な組み合わせができる。
補正した色データから輝度（Ｙ）データを生成し、輪郭補正加算器（輪郭補正Ｍｉｘ）７３、γ補正部７４、画像エフェクト処理部７５の各信号処理を得て、ＩＲ（赤外光）補正された輝度（Ｙ）データが出力（ＹＯＵＴ）される。
このＩＲ（赤外光）補正された輝度出力（ＹＯＵＴ）と色出力（ＣＯＵＴ）が不図示のエンコーダに供給され、演算されてたとえばコンポーネントまたはコンポジットの画像信号が出力される。

色信号を補正して輝度信号を生成（ＩＲ補正）し、コンポーネントまたはコンポジット画像信号を生成すると、輝度を減らしているためＩＲ推定減算処理をしない場合に比べて、表示画面は暗くなるが、色の濃さは明らかにＩＲ推定処理をした方が良い。さらに、ＩＲ補正は、輝度再現性を向上させることで、表示画面の画像の色再現性を改善させることができる。

次に、他の実施形態例について述べる。推定演算処理回路であるＩＲ成分推定処理部１０１において、ＩＲ推定処理演算に用いる補正係数Ｋ_Ｒ，Ｋ_ＧＲ，Ｋ_Ｂ，Ｋ_ＧＢに乗算されるデータとして色データあるいはＹデータを任意に選択することができ、色々な組み合わせができ、光源に対応した色補正データを生成することができる。
例えば、式（３）で、Ｒ色データに関して被乗算値としてＲ色データを選択し、Ｒ'＝Ｒ−Ｋ_Ｒ＊Ｒと表している。またそれ以外の色データに関して被乗算値として輝度（Ｙ）データを用いて、Ｂ'＝Ｂ−Ｋ_Ｂ＊Ｙ、ＧＲ'＝ＧＲ−Ｋ_ＧＲ＊Ｙ、ＧＢ'＝ＧＢ−Ｋ_ＧＢ＊Ｙと表している。
この例ではＲ'のみをＲ色データを用いて変形した例を示したが、それ以外の色データについても被乗算値に適宜色データか輝度（Ｙ）データのいずれかを選択して、組みあわせることもできる。
このように、環境光やセンサの分光特性などに応じて、（補正）係数、被乗算値や減算処理方法を決める必要がある。これを実現するために光源推定機能をカメラシステムに追加すると良い。
光源推定機能において、光源のスペクトルを測定し、たとえば、測定波長に対する光強度を測定し、ピーク値に対して正規化し、各波長に対する相対的な光強度をメモリなどの記憶装置に記憶する。これらの測定を、たとえばハロゲンランプ、蛍光灯、人工太陽、太陽光（８：００頃，１４：００頃，１５：３０頃）などの種々の光源に対して行い、データを蓄積し、必要なとき読み出せるようにしておく。
撮影時、Ｒ，Ｇ，Ｂなどの各撮像素子に入射する光を測定し、この測定した光データの相対値と記憶したスペクトルデータ（波長に対する光強度の相対的なスペクトルデータ）とを照合することにより光源を特定する。また測定用に新たに受光素子を設けても良い。
また、スペクトルを特定する時、全ての波長について検証する必要はなく、特徴のある波長を数点測定、評価してもよく、短時間に光源を特定できる。
このようにして、光源を特定すると、ソフトウエアー処理などにより光源に合った色データの補正係数や減算処理方法を採用することができ、色再現性がさらに向上する。

次に、他の実施形態例の推定演算処理回路であるＩＲ推定処理回路２００について図６を用いて説明する。
赤外カットフィルタを取り外す主な理由は感度向上をねらうことであり、低照度時に輝度を減算してしまうと表示画面が暗くなり特性が劣化するので、低照度を検出して、そこから推定減算した信号と何も加工していない信号を混合して徐々になにも加工していない信号を主成分にすることで違和感なく感度向上を図ることができる。
図６に、低照度時に色再現性を良くするＩＲ推定処理回路２００のブロック構成図を示す。
ＩＲ推定処理回路２００は、ＰＲＥ（前処理部）６０から輝度（Ｙ）データが端子Ｔ１０に供給される。この端子Ｔ１０は輝度計算処理部２０１の入力に接続され、この出力は利得制御部２０２に接続される。利得制御部２０２の出力は加算器２０３の一方に端子に接続される。
また端子Ｔ１０は、ＩＲ成分推定処理部２１０に接続され、この出力は輝度計算処理部２１１の入力に接続される。輝度計算処理部２１１の出力は利得制御部２１２の入力に接続され、出力は加算器２０３の他方の入力に接続される。
加算器２０３で利得制御部２０２，２１２から供給されたデータが加算処理され、その処理結果が端子Ｔ１１から出力される。ここで、利得制御部２０２，２１２はゲイン（Ｋ_Ｍｉｘ）を可変して暗い場合の混入比を決定している。
ＩＲ成分推定処理部２１０の各色データに関する推定計算式は、たとえば式（３）で表した計算式を用いても良い。

次に、ＩＲ推定処理回路２００の動作について説明する。
まず、明るい時の動作について説明する。端子Ｔ１０から色データが入力され、輝度計算処理部２０１で輝度（Ｙ）データが計算される。たとえばＹ＝（Ｒ＋ＧＲ＋Ｂ＋ＧＢ）／４と計算される。この計算処理された輝度（Ｙ）データは、利得制御部２０２に供給される。今明るい時の利得制御の係数Ｋ_Ｍｉｘを０．９とすると、利得制御部２０２の出力にはＹ＊（１−０．９）＝０．１＊Ｙが出力される。
一方、ＩＲ成分推定処理部２１０でたとえば式（３）に基く推定処理が行われ、補正された色データで演算処理し、輝度データＹ'が生成される。
この生成された輝度データＹ'が利得制御部２１２に供給され、Ｙ'＊Ｋ_Ｍｉｘ＝０．９＊Ｙ'の結果が得られ、加算器２０３に出力される。
加算器２０３には利得制御部２０２，２１２の出力データが供給されるので、その出力は、０．１＊Ｙ＋０．９＊Ｙ'となる。
このように、明るい時は、たとえばＩＲ成分推定処理回路２１０から出力された補正値を全体の９割、ＩＲ成分推定処理回路２１０なしのスルーの輝度計算処理部２０１のみを介した補正値を全体の１割として、ＩＲ補正を行っている。すなわち、明るい時は、ＩＲ成分推定処理回路２１０を用いた推定処理を主としている。
明るい時、輝度データが大きいので、ＩＲ補正による輝度の減少は色再現性に及ぼす影響は少ない。

次に、暗い時のＩＲ推定処理回路２００の動作について説明する。
端子Ｔ１０から入力された色データは、輝度計算処理部２０１で演算処理され、たとえば輝度（Ｙ）データがＹ＝（Ｒ＋ＧＲ＋Ｂ＋ＧＢ）／４と計算される。この計算処理された輝度（Ｙ）データは、利得制御部２０２に供給され、今暗い時の利得制御の係数Ｋ_Ｍｉｘを０．１とすると、利得制御部２０２の出力にはＹ＊（１−０．１）＝０．９＊Ｙが出力される。
一方、ＩＲ成分推定処理部２１０で式（３）に基く推定処理が行われ、輝度計算処理部２１１で演算処理され輝度データＹ'が生成される。
この生成された輝度データＹ'が利得制御部２１２に供給され、Ｙ'＊Ｋ_Ｍｉｘ＝０．１＊Ｙ'の結果が得られ、加算器２０３に出力される。
加算器２０３には利得制御部２０２，２１２の出力データが供給されるので、その出力は、０．９＊Ｙ＋０．１＊Ｙ'となる。
ここでは、Ｋ_Ｍｉｘを０．１の場合について説明したが、この係数は０．０〜１．０間の任意の値に設定することができる。
このように、暗い時は、ＩＲ成分推定処理部２１０から出力された補正値を全体に対する割合を小さくし、ＩＲ成分推定処理部２１０なしのスルーの輝度計算処理部２０１のみを介した補正値の割合を大きくし、ＩＲ補正を行っている。すなわち、暗い時は輝度データが小さいのでＩＲ成分推定処理部２１０回路なし（輝度（Ｙ）データが減少しない）の推定処理を主としている。
したがって、輝度（Ｙ）データの大きさに応じて、係数Ｋ_Ｍｉｘの値を可変することにより、輝度成分が減少することによる画質の劣化を防止している。
また係数Ｋ_Ｍｉｘを明るさに応じて、徐々に可変するようにして、明るさが変化したとき、色再現性に違和感が無いようにすることができる。

次に、他の実施形態例について図２を用いて説明する。
図２に、撮像素子１２とＡＤ変換器１４の間に前処理部１３が接続されている。この前処理部１３はＣＤＳ、Ｓ／Ｈ、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ；自動利得制御）などで構成され、ＣＣＤ撮像素子から供給されたセンサ信号をサンプルホールドして必要なデータを取り出し、ＡＧＣでゲインを制御して適正なレベルに設定している。
この前処理部１３に設けられたＡＧＣの制御を、暗くなった時ゲインを加え（大きくして）、明るさがＩＲ推定処理をしない場合と同じ程度に輝度（Ｙ）信号のレベルを設定する。
すなわち、前処理部１３でセンサ信号出力にゲインを付加して、輝度信号を相対的に大きくして、次段のＡＤ変換器１４に出力し、ディジタルデータに変換して、上述したＩＲ推定処理を行うことにより、暗い時にも色再現性の劣化を防ぐことができる。

以上のべたように、本発明の信号処理方法、信号処理回路およびこれを用いたカメラシステムは赤外光カットフィルタが完全に不要であるので、撮像素子上に赤外光カットフィルタと赤外光透過フィルタを備えたカメラ装置や赤外光カットフィルタを撮像経路から入れ替えて赤外光の多い場合に対する色再現性を改善したカメラシステムと比較して、コストダウンが図れる。
また、色信号処理した後で補正するのではなく、色信号処理前において、輝度（Ｙ）信号処理回路に、赤外光（ＩＲ）推定処理回路を追加するだけで、色再現性を向上させることができる。

ＣＭＯＳイメージセンサの分光特性を示す図である。 本発明のカメラシステムのブロック構成を示した図である。 本発明のカメラシステムの信号処理回路のブロックを示す図である。 輝度信号処理回路のブロックを示した図である。 赤外光推定処理回路の回路構成を示した図である。 他の赤外光推定処理回路の回路構成を示した図である。

符号の説明

１０…カメラシステム、１１…レンズ、１２…撮像素子（受光素子）、１３，６０…前処理部、１４…ＡＤ（アナログ・ディジタル）変換器、２０…信号処理部、２１…補正処理部、２２，７０…輝度信号処理部、２３，８０…色信号処理部、６１…黒検出部、６２，１５１，１５２，１５５，１６３，１７１，１７４，１８３，２０３…加算器、６３…ディジタルゲイン調整部、６４…シェーディング補正部、６５…遅延線／欠陥補正部、７１…輝度信号ローパスフィルタ（ＹＬＰＦ）、７２…垂直・水平輪郭補正部、７３…輪郭補正加算器（Ｍｉｘ）、７４，８６…ガンマ（γ）補正部、７５…画像エフェクト処理部、７６…クロマサプレス用信号生成部、８１…色分離／クランプ処理部、８２…色信号ローパスフィルタ（ＣＬＰＦ）、８３…ＲＧＢマトリックス、８４…ホワイトバランス（ＷＢ）調整部，８５…色信号オプティカルディテクタ（ＣＯＰＤ）、８７…Ｒ−Ｇ／Ｂ−Ｇ変換，色偽抑圧処理部、８８…Ｃｒ／Ｃｂ（色差信号）生成部、８９…クロマサプレス，Ｈｕｅ／Ｇａｉｎ調整，モノトーン効果処理部、１０１，２１０…ＩＲ（赤外光）成分推定処理部（回路）、１０２，２０１，２１１…輝度計算処理部、１５０，２００…ＩＲ推定処理回路、１５３，１６１，１７２，１８１…セレクタ（ＳＥＬ）、１５４，１６２，１７３，１８２…乗算器、１５６…１／４演算器、２０２，２１２…利得制御部。

Claims (15)

1. 入力画素信号から輝度信号を生成する前に、画素の色信号に混入された赤外光成分を色フィルタ毎に推定演算処理し、推定演算処理した色信号の結果に応じて輝度信号を生成し、該生成された輝度信号と色差信号を用いて画像信号を発生する信号処理方法。
2. 前記推定演算処理は、各色信号から前記輝度信号に所定係数を乗じた値を減算した値を色信号の補正値とする
   請求項１記載の信号処理方法。
3. 前記推定演算処理は、各色信号から該各色信号に所定係数を乗じた値を減算した値を色信号の補正値とする
   請求項１記載の信号処理方法。
4. 前記推定演算処理は、前記色フィルタ毎に輝度信号または色信号を用いて色信号の補正値を求め、該色信号補正値を任意に選択して推定値を切り替えることを特徴とする請求項２または３記載の信号処理方法。
5. 入力画素信号から輝度信号を生成する前に、画素の色信号に混入している赤外光成分を色フィルタ毎に推定演算処理回路で補正し、色信号の補正結果に応じて輝度信号を生成し色差信号を用いて画像信号を発生する信号処理回路であって、
   前記推定演算処理回路は、
   色信号と輝度信号を制御信号により択一的に選択する選択回路と、
   前記選択回路から出力された出力信号が供給され、所定係数倍されて出力される乗算器と、
   前記色信号と前記乗算器から出力された信号が演算され、補正された色信号が出力される演算器と
   を有する
   信号処理回路。
6. 前記推定演算処理回路は、各色信号から前記輝度信号に所定係数を乗じた値を減算した値を色信号の補正値とする
   請求項５記載の信号処理回路。
7. 前記推定演算処理回路は、各色信号から該各色信号に所定係数を乗じた値を減算した値を色信号の補正値とする
   請求項５記載の信号処理回路。
8. 前記推定演算処理回路は、前記色フィルタ毎に輝度信号または色信号を用いて色信号の補正値を求め、該色信号補正値を任意に選択して推定値を切り替えることを特徴とする請求項６または７記載の信号処理回路。
9. 近赤外領域まで感度を有する複数の受光素子が配列された撮像部から出力された信号を画像処理して出力する赤外光遮断フィルタを除去したカメラシステムにおいて、入力画素信号から輝度信号を生成する前に、画素の色信号に混入された赤外光成分を色フィルタ毎に推定演算処理し、推定演算処理した色信号の結果に応じて輝度信号を生成し、該生成された輝度信号と色差信号を用いて画像信号を発生し、色再現性を向上させることを特徴とするカメラシステム。
10. 前記推定演算処理は、各色信号から前記輝度信号に所定係数を乗じた値を減算した値を色信号の補正値とする
    請求項９記載のカメラシステム。
11. 前記推定演算処理は、各色信号から該各色信号に所定係数を乗じた値を減算した値を色信号の補正値とする
    請求項９記載のカメラシステム。
12. 前記推定演算処理は、前記色フィルタ毎に前記輝度信号または色信号を用いて色信号の補正値を求め、該色信号補正値を任意に選択して推定値を切り替えることを特徴とする請求項１０または１１記載のカメラシステム。
13. 前記推定演算処理は、光源推定機能を有し、光源により推定演算方法を切り替えることを特徴とする請求項９記載のカメラシステム。
14. 前記推定演算処理は、前記輝度信号のレベルが小さいとき、所定レベルを基準に推定減算した成分と入力信号を混合し、前記輝度信号のレベルが減少するに伴い該輝度信号を増加して主成分として出力する機能を有する請求項９記載のカメラシステム。
15. 前記カメラシステムは、所定照度以上のとき、前記推定演算処理を行う信号処理部に入力する信号が、あらかじめ未飽和状態の所定レベル以上にアナログＡＧＣを調整することを特徴とする請求項９記載のカメラシステム。

Images