JP2009105488A - 信号処理装置及びその制御方法 - Google Patents

Abstract

【課題】画素混合方式による新しい撮像読み出し方法においても混色を良好に補正することで、動作周波数の高速化及び高速、高感度な動画読み出し動作に対応できる撮像装置を提供する。
【解決手段】時間的に連続して読み出された信号間のクロトーク成分の補正を、その信号差の絶対値が所定値よりも大きい場合のみ行うように為した。また、時間的に連続して読み出された信号間のクロトーク成分の補正を、撮像装置の感度設定に応じて所定感度よりも低い場合、行うように為した。これにより、不必要にランダムノイズ成分を増長させることもなく、画像をぼけさせることもない。
【選択図】図１２

Description

本発明は、撮像素子で被写体像を撮像する撮像装置等における信号処理装置及びその制御方法に関する。

一般的に、個体撮像素子であるＣＣＤから時間的に連続して読み出された２画素間の信号で互いに干渉が起こり、本来の信号レベルとは異なってしまうことがある。この現象をクロストークと呼ぶ。クロストークの発生要因としては、ＣＣＤセンサにおける水平転送効率の劣化や、サンプルホールド回路でのスピード性能の不足、増幅回路における周波数特性の影響などがある。カラーＣＣＤの場合には、クロストークが混色を引き起こすことになるため、高速動作においてしばしば問題となる。

色配列が例えば図２０に示すような、原色Ｒ（赤），Ｇ（緑），Ｂ（青）のベイヤ色配列のカラーフィルタを持つＣＣＤを使用した場合を考える。図２０に示すように１ラインごとに、Ｇ信号／Ｂ信号が出力するライン（以下、Ｒラインと称す）とＲ信号／Ｂ信号が出力するライン（以下、Ｂラインと称す）が入れ替わる。赤い被写体を撮像した場合では、Ｇ信号／Ｂ信号がほとんど０に近いにもかかわらず、Ｒ信号はかなり大きくなる。

そのため、混色が起こると、ＲラインのＧ信号はＲ信号の影響を受けて信号レベルが大きくなるが、Ｇ信号とＢ信号とがほぼ等しいため、ＢラインのＧ信号はほとんど変化しない。この結果、ＲラインのＧ信号とＢラインのＧ信号では信号レベルが異なり、結果として、これらのＧ信号に基づいて信号処理を行っても、そのままでは良好な画像が再現されないことになる。

このような混色の問題を解消するために、例えば、特許文献１では、カラーＣＣＤの出力信号をサンプルホールドした後、デジタル化した信号を処理する信号処理回路において、時間的に連続する信号レベル間で差分を求める。その差分出力に所定の補正係数を掛け合わせた結果を補正量として、この補正量を元の信号に加算して出力することにより、混色を補正する方法が開示されている。

また、図２０に示すような通常のベイヤ配列の順番による読み出し方法に限れば、各種の適応補間処理（例えば、特許文献２参照）が、上述の混色の問題を軽減する上で、副次的に効果があることが判っている。これは、適応補間処理によって、被写体のコントラストが低い、つまり撮像素子のナイキスト周波数より十分に低い画像領域において、次のような処理が為されることによる。即ち、ＲラインのＧ信号とＢラインのＧ信号との間の差をより弱めるような平均化処理の重み付けが為されることによる。

一方、動画の撮影に係る解像度や動作スピードの向上を実現するために、最近では、駆動周波数の高速化以外の手段として、撮像素子の読み出し画素電荷を単純に間引くのではなく、複数画素電荷の加算により読み出し画素数を削減する。そうすることで、画質の劣化を抑え、撮影感度や動作スピードを向上させる撮像素子及び駆動方法が各種、提案されている。

例えば、特許文献３においては、水平、垂直方向にそれぞれ同色画素信号を３画素ずつ合計９画素から１つの混合画素を作り出して読み出すための固体撮像素子の電極構造及び読み出し駆動方法に関する技術が開示されている。さらに、特許文献４では、前記画素混合方式により読み出された画素信号から画像信号を形成するための再配列方法に関する技術が開示されている。
特開１１−１７７９９８号公報 特開２００２−２３２９０４号公報 特開２００４−１８０２８４号公報 特開２００５−３５４６５６号公報

（１）しかしながら、上述した特許文献１の従来例では、次のような問題点があった。

画像信号中にノイズ成分が混在していない場合には良好な処理結果が得られるが、通常、画像信号には１画素単位でレベルが変化するノイズ成分が混在している。このノイズ成分は、大きく、固定パターンノイズとランダムノイズとに分類される。そして、この２種類のノイズ成分のうち、画像信号中に混在するノイズ成分としてはランダムノイズが支配的である。

固定パターンノイズは、主に、画素を構成する例えばフォトダイオードの暗電流、画素の開口バラツキや開口ムラに起因して発生するノイズ成分である。これに対して、ランダムノイズは、入射光のフォトン数の揺らぎ、フォトダイオードや垂直転送部の暗電流の揺らぎ、ＦＤ（フローティングディフュージョン）をリセットするときに発生するｋＴＣノイズ、ＦＤに接続されたアンプのノイズなどである。即ち、ランダムノイズは画素単位でレベル差が生ずるものであり、隣接画素間には相関性を認めるのが難しい。

したがって、ある画素の信号レベルと直後の画素の信号レベルとを直接減算処理すると、両者にランダムノイズが重畳している場合、その減算値はクロストーク分とランダムノイズの差分の合算値になってしまう。このランダムノイズの差分は、隣接画素間には相関性を認めるのが難しいことから、当該差分の減算値への影響が無視できない。そのため、ランダムノイズの差分をそのまま補正値演算して補正処理を行うと、クロストーク成分の除去以上にノイズを増長させてしまう結果となる。

加えて、本従来例では、混色レベルが、隣接信号レベル差ΔＶに比例する場合の混色特性についてのみ言及しており、増幅回路に起因する非線形な混色特性の補正方法についての考慮が為されていない。

（２）上述の従来型の適応補完処理（例えば特許文献２）は、上述した画素混合方式による新しい読み出し方法に対しては、混色の問題を軽減する上で必ずしも効果を出し得ない。

本発明は上記従来の問題点に鑑み、次のような、信号処理装置及びその制御方法を提供することを目的とする。即ち、ランダムノイズ成分を不必要に増長させることなく、しかも、画素混合方式による新しい撮像読み出し方法においても混色を良好に補正することで、動作周波数の高速化及び高速、高感度な動画読み出し動作に対応できるようにする。

上記目的を達成するため、本発明の信号処理装置は、所定の色フィルタを受光面にもつ撮像素子と、前記撮像素子の出力をサンプルホールドするサンプルホールド手段と、前記サンプルホールド手段により時間的に連続して読み出された信号間のクロストーク成分を補正するクロストーク補正手段とを有する信号処理装置であって、前記サンプルホールド手段により時間的に連続して読み出された信号間の信号差を検出する信号差検出手段と、前記信号差検出手段により検出された信号差の絶対値が所定値よりも大きい場合、前記クロストーク補正手段を稼動させる手段とを備えたことを特徴とする。

また、本発明の信号処理装置は、所定の色フィルタを受光面に有する撮像素子と、前記撮像素子の出力をサンプルホールドするサンプルホールド手段と、前記サンプルホールド手段により時間的に連続して読み出された信号間のクロストーク成分を補正するクロストーク補正手段とを有する信号処理装置であって、前記撮像素子の感度を設定する手段と、前記設定された感度が所定値よりも低い場合、前記クロストーク補正手段を稼動させる手段とを備えたことを特徴とする。

また、本発明の信号処理装置の制御方法は、所定の色フィルタを受光面にもつ撮像素子と、前記撮像素子の出力をサンプルホールドするサンプルホールド手段と、前記サンプルホールド手段により時間的に連続して読み出された信号間のクロストーク成分を補正するクロストーク補正手段とを有する信号処理装置の制御方法であって、信号差検出手段が、前記サンプルホールド手段により時間的に連続して読み出された信号間の信号差を検出する工程と、補正稼動手段が、前記検出された信号差の絶対値が所定値よりも大きい場合、前記クロストーク補正手段を稼動させる工程とを有することを特徴とする。

また、本発明の信号処理装置の制御方法は、所定の色フィルタを受光面に有する撮像素子と、前記撮像素子の出力をサンプルホールドするサンプルホールド手段と、前記サンプルホールド手段により時間的に連続して読み出された信号間のクロストーク成分を補正するクロストーク補正手段とを有する信号処理装置の制御方法であって、感度切り換え手段が、前記撮像素子の感度を設定する工程と、補正稼動手段が、前記設定された感度が所定値よりも低い場合、前記クロストーク補正手段を稼動させる工程とを有することを特徴とする。

本発明によれば、不必要にランダムノイズ成分を増長させることなく、画像をぼけさせることもなく、良好な混色補正を行うことが可能になる。また、画素混合方式による新しい撮像読み出し方法においても混色を良好に補正することができ、動作周波数の高速化及び高速、高感度な動画読み出し動作に対応することが可能になる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

［第１の実施の形態］
＜全体構成＞
図１は、本発明の第１の実施の形態に係る信号処理装置の構成を示すブロック図である。

この信号処理装置は、図１に示すように、色フィルタを受光面にもつ固体撮像素子であるＣＣＤセンサ１を有する。その出力側には、ＣＤＳ（相関２重サンプリング）回路２、増幅回路３、ＡＤ変換器４、混色補正回路（クロストーク補正手段）５、及びＤＳＰ（デジタル信号処理回路）６が順次接続されている。さらに、各種のタイミング信号を生成するＴＧ（タイミングジェネレータ）７と、これら各モジュールの動作を制御するＣＰＵ（制御回路）８とを備えている。

ＣＣＤセンサ１から出力された撮像信号は、ＣＤＳ回路２に入力されてリセットノイズの除去及び波形整形がなされた後に、増幅回路３で後段のＡＤ変換器４の入力レンジに合わせて所定の信号レベルに増幅される。そして、ＡＤ変換器４によりデジタル信号に変換されて、混色補正回路５により混色成分の除去が行われた後に、さらに後段のＤＳＰ６に伝送される。

ＣＰＵ８は、ＴＧ７に対して通信制御により、ＣＣＤセンサ１の各読み出しモードに対応する複数の駆動信号の生成を指令し、ＴＧ７から生成されたこれらの駆動信号によりＣＣＤセンサ１からは、撮像信号が読み出される。ＴＧ７では、その他にも、ＣＤＳ２を駆動するためのサンプルホールドパルス、ＡＤ変換器４を駆動するクロック、及び混色補正回路５を駆動するためのタイミング信号などが生成される。

ＣＰＵ８は、その他にも、増幅回路３のゲイン制御、並びに混色補正回路５及びＤＳＰ６の各種制御を担う。動作の詳細は後述する。ＤＳＰ６は、不図示の表示器や記録媒体に対して画像を形成、出力するための各種信号処理を担う。

＜ＣＣＤセンサの構成及び動作＞
まず先に、ＣＣＤセンサ１の構成及び動作の詳細に関して説明する。

（ａ）ＣＣＤセンサ１の構成
図２は、ＣＣＤセンサ１の内部の概略構成を示すブロック図である。

本実施形態に含まれるＣＣＤセンサ１は、全画素同時独立読み出し方式を採用し、画素に対応して二次元状に配列された光電変換部１０２と、垂直転送部１０３と、水平転送部１０４とを備えている。垂直転送部１０３及び水平転送部１０４のそれぞれは、ＣＣＤにより構成される。光電変換部１０２としては、フォトダイオードが用いられる。光電変換部１０２の各々には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三色のカラーフィルタが配置されている。

本実施形態では、垂直・水平方向共に２画素おきにＲＧＢのそれぞれのフィルタが周期的に配置されている。例えば、図２に示すように、垂直方向２画素×水平方向２画素の計４画素を単位とすれば、左下の画素がＲ、右下及び左上の画素がＧ、右上の画素がＢとなるように、カラーフィルタが配置されている。

垂直転送部１０３は、垂直方向における光電変換部１０２の３行分を、一つの転送段とする。このような構成とすることにより、垂直転送部１０３内で、１画素おきの３行分の画素を加算できる。

（ｂ）水平方向の画素混合動作
次に、ＣＣＤセンサ１における水平方向の画素混合動作について説明する。

ＣＣＤセンサ１は、ＴＧ７から供給される駆動信号群が、垂直転送部１０３及び水平転送部１０４の転送動作を制御することにより、水平方向における１画素おきの３画素ごとの信号電荷を混合し、水平方向の画素数を１／３に削減する。

図３は、信号電荷を混合する画素の組み合わせを説明するための説明図である。

なお、混合される画素の組み合わせを、以下、混合画素群と称する。図３において、Ｒｘｙのように示した記号において、Ｒ、Ｇ、Ｂは当該画素のフィルタの色を表す。また、ｘは当該画素の垂直位置（水平転送部１０４に近い方から第１段，第２段，・・・とする）、ｙは混合画素群における当該画素の位置（水平転送部１０４の出力側に近い方から第１番目、第２番目、・・・とする）をそれぞれ表すものとする。

図３に示すように、ＣＣＤセンサ１は、例えば、Ｇ１１、Ｇ１２、Ｇ１３のように、１画素おきに３つずつの緑の画素を、第１の混合画素群とする。さらに、この第１の混合画素群によって生成される混合画素の重心と等間隔になるように、青の画素による混合画素群が決定されている。即ち、第１の混合画素群のＧ１２とＧ１３との間のＢ１１と、このＧ１３と隣りの混合画素群のＧ１１との間の画素であるＢ１２と、隣の混合画素群のＧ１１とＧ１２との間の画素であるＢ１３との３つの画素を、第２の混合画素群とする。 このように、水平方向において交互に配置された二色の画素を、１画素おきに３つずつ組み合わせて混合することにより、混合後の各色の画素重心が等間隔となるので、モワレや偽信号が生じない。

（ｃ）画素混合を行うための駆動手順
次に、図３に示す組み合わせで画素混合を行うためのＣＣＤセンサ１の駆動手順について、図４〜図９の状態遷移図を用いて説明する。

ＣＣＤセンサ１の垂直転送部１０３は、３列単位に構成されている。図４〜図９では、水平転送部１０４の信号電荷は向かって左側に出力されるものとし、この３列単位の垂直転送部１０３のそれぞれを、水平転送部１０４の出力側に近い方から順に、第１列、第２列、第３列とする（図中では、１列、２列、３列と表記する）。また、垂直転送部１０３において、水平転送部１０４に最も近い転送段を、以下、垂直最終段と称する。

上記３列単位に構成された垂直転送部１０３の垂直最終段のうち、第２列及び第３列の垂直最終段は、同じ列の他の転送段並びに他の列の垂直最終段のいずれとも別個に独立して転送を行えるようにそれぞれ構成されている。即ち、第１列及び第３列の垂直最終段に信号電荷を保持したままで、第２列の垂直最終段の信号電荷のみを水平転送部１０４へ転送することができる。また、第１列及び第２列の垂直最終段に信号電荷を保持したままで、第３列の垂直最終段の信号電荷のみを水平転送部１０４へ転送することができる。

まず、図４（ａ）に示すように、３列単位の垂直最終段のうち、第２列の垂直最終段のみを駆動することにより、図４（ａ）中に矢印で表したように、この第２列の垂直最終段のみの信号電荷を、水平転送部１０４へ転送する。

次に、図４（ｂ）に示すように、水平転送部１０４の信号電荷を、順方向へ２画素分だけ転送する。

次に、図５（ａ）に示すように、３列単位の垂直最終段のうち、第３列の垂直最終段のみを駆動することにより、図５（ａ）中に矢印で表したように、この第３列の垂直最終段のみの信号電荷を、水平転送部１０４へ転送する。

これにより、図５（ｂ）に示すように、Ｇ１２とＧ１３、及び、Ｂ１２とＢ１３の２画素ずつの信号電荷が、水平転送部１０４内でそれぞれ混合されることとなる。そして、さらに、図５（ｂ）に示すように、水平転送部１０４の信号電荷を、順方向へ２画素分だけ転送する。

次に、図６（ａ）に示すように、全ての垂直転送部１０３に１段分の垂直転送を行わせることにより、図６（ｂ）に示すように、Ｇ１１とＧ１２とＧ１３の３画素の信号電荷、及び、Ｂ１１とＢ１２とＢ１３の信号電荷が、水平転送部１０４内でそれぞれ混合される。このように、同じ段における二色の画素が、１画素おきに３画素ずつの組み合わせで混合されるので、水平方向における画素数が１／３に削減されることとなる。また、図６（ｂ）から分かるように、緑の混合画素と青の混合画素が等間隔になるので、モワレや偽信号が生じない。

さらに、図６（ｂ）に示した状態から、図４（ａ）〜図６（ａ）に示した動作と同じ転送動作を繰り返す。これによって、図６（ｂ）に示した状態において垂直最終段にあった信号電荷が、図７（ａ）に示すように、１画素おきに３画素ずつの組み合わせで、水平転送部１０４内で混合される。

さらに、図７（ｂ）に示した状態から、図４（ａ）〜図６（ａ）に示した動作と同じ転送動作を繰り返す。その結果、図７（ａ）に示した状態において垂直最終段にあった信号電荷が、図７（ｂ）に示すように、１画素おきに３画素ずつの組み合わせで、水平転送部１０４内で混合される。これにより、図３にａで示した３段分の全画素の信号電荷が、水平転送部１０４へ転送されたこととなる。

次に、図８（ａ）に示すように、水平転送部１０４内の信号電荷を順次出力することにより、ＣＣＤセンサ１から、３行分の信号電荷が、水平方向の画素数が１／３に削減された状態で出力される。

この後、上述と同様の転送動作を繰り返すことにより、図３にｂで示した３段分の全画素の信号電荷が、図８（ｂ）に示すような状態で水平転送部１０４へ転送され、図９に示すように、水平転送部１０４から順次出力される。

（ｄ）二次元的再配置
上述のように、ＣＣＤセンサ１の水平転送部１０４から出力される画像信号は、画素が１次元に配置されたものである。したがって、この信号を元の２次元配列に戻すために、ＣＣＤセンサ１の外部のＤＳＰ６において、水平転送部１０４からの出力信号を２次元的に再配置する処理が行われる。

例えば、図３にａ及びｂで示した３段分の画素が、それぞれ、図１０（ａ）に示すような順序で水平転送部１０４から出力されるものとする。なお、図１０（ａ）において、ｄｍ（ダミー画素）と表記されている部分は、垂直転送部１０３の周辺部に位置する画素であって、３画素分の信号電荷が混合されていないものを指す。また、図１０（ａ），（ｂ）に示したａ７〜ａ１２、ａ１３〜ａ１８、ｂ７〜ｂ１２、ｂ１３〜ｂ１８は、図８（ａ）及び図９にそれぞれ示したａ１〜ａ６及びｂ１〜ｂ６の繰り返しであり、２次元配置後の位置を分かり易くするため添字を変更したものである。また、配置された混合画素の色が分かるように、添字の下にＲＧＢの記号で示した。

図１０（ｂ）から分かるように、ＣＣＤセンサ１によれば、水平方向の画素数を１／３に削減した後も、画素の配置は元のとおりに保たれる。したがって、画質を劣化させることなく、ＣＣＤセンサ１からの映像信号の出力スピードを向上させることができる。

なお、図１１に示すように、水平方向に１画素おきの３画素を、垂直方向に１行おきの３行分、合計９画素を一つの混合画素群とすれば、全てのフォトダイオードの信号画素を捨てずに混合できるので、感度を向上させることができ、好ましい。この場合、ＲＧＢのそれぞれについての混合画素群の重心は、図１１に示したように、等間隔となる。したがって、解像度が高くモワレが少ない画像を得ることができる。

この場合、垂直方向において１行おきの３行分の信号電荷を混合する方法は、例えば、以下の通りである。

（１）まず、２行おきの１／３の画素の信号電荷を垂直転送部１０３へ読み出し、２画素分垂直転送する。

（２）次に、前回読み出した画素から順方向に２画素目の画素の信号電荷を垂直転送部１０３へ読み出し、前回読み出した画素と混合し、２画素分垂直転送する。

（３）さらに、残りの画素の信号電荷を垂直転送部１０３へ読み出し、１画素おきの３画素の信号電荷を混合する。

なお、垂直転送段を３画素分とする電極構造（６相）の場合、上記動作が可能である。また、垂直転送段を２画素分とする電極構造（４相）の場合、３段を１単位として、含まれる６画素に対応する読み出し電極を全て独立にする必要があるため、電極の総数は８相必要である。

前述したように、行を間引くことによって垂直方向の画素数も削減することにより、さらに信号出力スピードを向上させることも可能である。垂直方向の画素数を削減する方法としては、例えば次のような方法がある。即ち、画素を構成するフォトダイオードから垂直転送部１０３へ信号電荷を読み出す際に、不要な行の電荷を読み出さずにフォトダイオードに蓄積したままにしておくことにより、読み出さなかった行の画素を間引く方法がある。この場合、読み出されなかった信号電荷は、フォトダイオードから基板等に排出する構成とすれば良い。

＜第１の実施の形態に係る混色補正＞
（ａ）概要
ＣＣＤセンサ１からの出力は、前記のように、水平方向の画素混合動作時には、図１０（ａ）に示すような色信号の順序で水平転送部１０４から出力されることを説明した。また、従来の問題点として、時間的に連続して読み出された２画素間で混色を引き起こす例を説明した。

これに関連して本実施の形態で主として問題となるのは、図１０（ａ）で示すところのＧ信号が３回連続して読み出されるところの最初のＧ信号であり、その直前の色画素との間における混色である。つまり、本実施の形態では、同色信号の最初の画素信号に対してクロストーク成分の補正を行うものである。

ここで、Ｇ信号が３回連続して読み出されるところの最初のＧ信号をＧ１信号、２番目のＧ信号をＧ２信号、３番目のＧ信号をＧ３信号と呼ぶことにする。Ｇ３信号の直前の色信号は、ａライン出力の読み出し時にはＲ信号であり、ｂライン出力の読み出し時にはＢ信号である。ＣＣＤセンサ１のＲ，Ｇ、Ｂ信号に対する分光感度特性（波長帯域）を考慮すると、通常の被写体においては、Ｒ、Ｂ信号に比べると、Ｇ信号の出力が最も大きく出易い。

したがって、Ｇ１信号は、直前画素であるＲ信号、Ｂ信号との信号レベル差が大きく、他のＧ信号（Ｇ２、Ｇ３）に比べて、その分だけ混色の影響を受け易い。そのため、混色が生じると、均一階調である被写体に対して、本来、同レベルであるべきところのＧ信号が、Ｇ１信号と、Ｇ２信号、Ｇ３信号との間で、レベル格差を生じる結果となる。

具体的には、ａライン出力の読み出し時の添字ａ４、ａ１０、ａ１６と、ｂライン出力の読み出し時の添字ｂ７、ｂ１３で示されるＧ１信号がこれに相当する。

並べ替えにより元の色配置に戻した後の２次元色配置の結果は、図１０（ｂ）を見ると分かるように、Ｇ１信号は、ａライン出力の読み出し時とｂライン出力の読み出し時のそれぞれで垂直方向に３ラインごとに配置される構成となっている。そのため、混色によるＧ１信号と、Ｇ２信号及びＧ３信号との間のレベル格差は、３ライン周期の横スジ状のムラとして、撮像画像に影響を与える結果となる。

そこで、混色補正回路５の動作の目的とするところは、このＧ１信号に対して、Ｇ２信号及びＧ３信号との間で生じた信号レベル差を補正して、上記３ライン周期の横スジ状のムラを解消することにある。とりわけＧ信号のレベルが大きなハイライト領域においてＧレベル格差が大きくなり上記３ライン周期の横スジ状のムラが目立ち易い。そこで、前記従来例で挙げた混色の発生要因のうち、信号振幅差が大きいほど混色の度合いが大きくなる増幅回路の周波数特性による影響を主眼に、混色の補正を行うものである。

以下で、そのための混色補正回路５の構成及び動作の説明を行う。

（ｂ）混色補正回路５の構成
図１２は、図１の混色補正回路５の内部の回路構成図である。

図１２において、混色補正回路５は、大まかに、Ｄフリップフロップによる１画素遅延器２１と、混色補正演算回路２２と、信号レベル差検出回路（信号差検出手段）２３と、セレクタ２４とから構成される。さらに、混色補正演算回路２２は、減算器２５、混色補正量変換テーブル２６、及び加算器２７から構成される。信号レベル差検出回路２３は、絶対値回路２８、比較器２９、及びゲート回路３０から構成される。

混色補正量変換テーブル２６は、固体メモリで構成されアドレスを入力パラメータとし、そのアドレスに予め記録されているデータを出力とするテーブル参照方式のデータ変換器である。テーブルの内容については後述する。

ＡＤ変換器４から出力された混色成分を含むデジタル撮像信号（ｎ（正の整数）番目の画素信号Ｄｎ）は、混色補正演算回路２２に入力される。それと共に、１画素遅延器２１を介して１画素信号分だけ遅延された、即ち１画素分だけ過去の信号（ｎ−１番目の画素信号Ｄｎ−１）となり、混色補正演算回路２２に入力される。

混色補正演算回路２２では、時間的に連続して読み出された２画素間の信号レベル差が演算されてその出力がレベル差信号（Ｄｎ―Ｄｎ−１）として、混色補正量変換テーブル２６に入力されるとともに、信号レベル差検出回路２３に入力される。

混色補正量変換テーブル２６に入力されたレベル差信号（Ｄｎ―Ｄｎ−１）は、レベル差信号に対応する所定の混色補正値ΔＫＶとして変換出力されて、加算器２７に入力信号Ｄｎとともに入力される。そして、互いに加算されて、Ｄｎ＋ΔＫＶで表される混色補正信号３５としてセレクタ２４に入力される。

セレクタ２４には、他方で、混色補正されていないデジタル撮像信号３３（ｎ番目の画素信号Ｄｎ）がそのまま入力されており、信号レベル差検出回路２３の補正イネーブル出力３６がセレクト制御端子に接続されている。そして、ローレベルの場合に撮像信号３３が選択され、ハイレベルの場合に混色補正信号３４が選択される構成になっている。

また、信号レベル差検出回路２３に入力されたレベル差信号（Ｄｎ―Ｄｎ−１）は、絶対値回路２８に入力されて、その絶対値｜Ｄｎ―Ｄｎ−１｜が比較器２９の正極に入力される。比較器２９には所定の補正閾値３１（ＲＥＦ）が与えられており、補正のための比較条件
｜Ｄｎ―Ｄｎ−１｜＞ＲＥＦ
を満たす場合にハイレベル、それ以外はローレベルが、ゲート回路３０に対して出力される。

ゲート回路３０に入力された比較出力信号は、他方でＴＧ７からゲート回路３０に入力されたゲート信号３２に従い、ゲート信号３２がハイレベルの画素期間のみ、その出力が有効となる構成になっている。

（ｃ）混色補正回路５の動作
図１３及び図１４は、混色補正回路５の動作を説明するためのタイミング図である。

以下、図１３及び図１４を用いて、混色補正回路５の動作について説明する。

図１３は、先に図１０（ａ）を用いて説明したａライン出力時における混色補正回路５に入力された信号３３と、その１画素遅延出力３４と、ゲート信号３２とのタイミング関係を示している。特に、添字ａ１０で表されるＧ信号に着目して、動作説明の便宜上、これをｎ番目の画素信号Ｄｎとして扱い、時間的にその直前の信号を（ｎ−１）番目の画素信号Ｄｎ−１として扱う。

ＴＧ７から供給されるゲート信号３２は、図１３で示されるように、入力信号３３と連動しており、Ｇ信号が３回連続して読み出されるところの最初のＧ信号（Ｇ１信号）に対応して出力されるタイミング信号が設定されている。このとき、ｎ番目の画素信号ＤｎはＧ１信号であり、同時刻に対応する１画素遅延出力３４の信号は（ｎ−１）番目の画素信号Ｄｎ−１即ちＲ信号である。

そして、ゲート信号３２がハイレベルである期間の各部の信号レベルは、
入力信号３３ Ｄｎ＝Ｇ１
混色補正信号３５ Ｄｎ＋ΔＫＶ＝Ｇ１＋ΔＫＶ
補正のための比較条件式 ｜Ｄｎ―Ｄｎ−１｜＝ΔＶ＝｜Ｇ１−Ｒ｜＞ＲＥＦ
となり、上記の比較条件式の結果に従って、Ｇ１信号に対する補正の是非が決定される。

ａライン出力時の場合と同様に、図１４に、先に図１０（ａ）を用いて説明したｂライン出力時における混色補正回路５に入力された信号３３と、その１画素遅延出力３４と、ゲート信号３２とのタイミング関係を示した。

こちらは、添字ｂ７で表されるＧ信号に着目して、動作説明の便宜上、これをｎ番目の画素信号Ｄｎとして扱い、時間的にその直前の信号を（ｎ−１）番目の画素信号Ｄｎ−１として扱う。

ＴＧ７から供給されるゲート信号３２は、図１４で示されるように、入力信号３３と連動しており、Ｇ信号が３回連続して読み出されるところの最初のＧ信号（Ｇ１信号）に対応して出力されるタイミング信号が設定されている。このとき、ｎ番目の画素信号ＤｎはＧ１信号であり、同時刻に対応する１画素遅延出力３４の信号は（ｎ−１）番目の画素信号Ｄｎ−１即ちＢ信号である。

そして、ゲート信号３２がハイレベルである期間の各部の信号レベルは、
入力信号３３ Ｄｎ＝Ｇ１
混色補正信号３５ Ｄｎ＋ΔＫＶ＝Ｇ１＋ΔＫＶ
補正のための比較条件式 ｜Ｄｎ―Ｄｎ−１｜＝ΔＶ＝｜Ｇ１−Ｂ｜＞ＲＥＦ
となり、上記の比較条件式の結果に従って、Ｇ１信号に対する補正の是非が決定される。

図１３及び図１４には、併せて、一般的な均一階調の被写体を想定して、順次読み出される入力信号３３のＲ，Ｇ、Ｂ各色信号の信号レベルを模式的に示した。Ｇ信号のレベルがＲ信号、Ｂ信号に比べて大きい場合に、Ｇ信号が３回連続して読み出されるところの最初のＧ信号（Ｇ１信号）のみが、２番目のＧ信号（Ｇ２信号）、３番目のＧ信号（Ｇ３信号）と比較して少しだけ小さくなっている様を示した。これは、Ｇ１信号が直前のＲ信号もしくはＢ信号による混色の影響を受けるためである。

このＧ１信号に対して、Ｇ２信号及びＧ３信号との間で生じた信号レベル差を補正するためには、適切な混色補正テーブル及び補正閾値ＲＥＦを設定する必要がある。

図１５は、時間的に連続して読み出された２画素間で生じる混色レベルを示した特性図である。横軸は注目画素と直前の画素との信号振幅差（ΔＶ）であり、縦軸は注目画素に発生する混色レベルΔＫＶである。

図１５に示すように、混色レベルは、信号振幅差ΔＶが大きいほど混色の度合いが大きくなる増幅回路の周波数特性の影響により、信号振幅差ΔＶに依存して、かつ非線形に変化する。これらの関係は増幅回路の特性により決まる。

混色補正量変換テーブル２６の固体メモリには、図１５に示した信号振幅差ΔＶと混色レベルΔＫＶとの依存性が、忠実に、アドレスとデータの形で対応付けられて記録されている。

図１５に示すように、閾値ΔＧに対応する画素信号振幅差として補正閾値ＲＥＦを設定する。これによって、Ｇ１信号と、Ｇ２信号及びＧ３信号との間で生じたＧ信号レベル格差が閾値ΔＧ以上の領域において、且つ、このときのＧ１信号においてのみＧレベル差を補正する補正動作が行われる。

混色レベルΔＫＶは、もし補正が為されなければ、Ｇ１信号と、Ｇ２信号及びＧ３信号との間で生じたＧ信号レベル格差となって、３ライン周期の横スジ状のムラとして撮像画像に影響を与えることは既に説明した。しかしながら、このＧ信号レベル格差は、視覚的に、常に、画像で判読されるものではなく、その大きさにより判読のための閾値ΔＧが存在する。即ち、ΔＧ以下では、ＣＣＤのランダムノイズやＡＤ変換時の量子化ノイズ等に紛れて、画像で横スジ状のムラは見えない。

増幅回路の周波数特性による混色の影響は、直前の画素との信号振幅差ΔＶに対して、混色レベルΔＫＶがその２パーセント以上に及ぶとＧ信号レベル格差が顕在化して画像で横スジ状のムラが見えるようになることが経験上、確認されている。そして、上記のごとく設定された補正閾値ＲＥＦにより、補正動作は、（Ｇ信号レベルが大きい）画像のかなりハイライトな領域に限定して行われることになる。それ故に、隣接画素信号間の補正処理により、混色成分の除去以上に不必要にランダムノイズを増長させることがない。

以上のように本実施の形態によれば、時間的に連続して読み出された信号間のクロトーク成分の補正を、その信号差の絶対値が所定値よりも大きい場合のみ行うようにした。これにより、不必要にランダムノイズ成分を増長させることなく、画像をぼけさせることもなく、良好な混色補正ができる。また、画素混合方式による新しい撮像読み出し方法においても混色を良好に補正することができ、動作周波数の高速化及び高速、高感度な動画読み出し動作に対応することが可能になる。

＜第１の実施の形態に係る変形例＞
なお、上記実施の形態では、混色補正の対象画素として、Ｇ信号が３回連続して読み出されるところの最初のＧ信号（Ｇ１信号）に限定している。しかし、連続して読み出された２画素間の信号レベル差を検出し、所定の補正閾値に基づいて補正の是非を決定するという本発明の主旨に従えば必ずしもＧ１信号に限定されるものでなく、他の色画素信号が補正の対象であっても良い。そのために、図１２のゲート回路３０に入力されるゲート信号３２のタイミング変更により、容易に対象画素の選択範囲を変えることも可能である。

［第２の実施の形態］
第１の実施の形態が、混色補正（クロストーク補正）を時間的に連続して読み出される隣接２画素間の演算により行う方式である。これに対して、第２の実施の形態は、並べ替えにより元の色配置に戻した撮像画像に空間フィルタ処理を施すことにより前記Ｇ信号格差による３ライン周期の横スジ状のムラを除去する方式である。つまり、本実施の形態における混色補正は、同色信号の間で発生する周期性の段差成分を除去する空間周波数フィルタを用いて行う方式である。

＜混色補正回路の構成＞
図１６は、第２の実施の形態における混色補正回路５の内部の回路構成図である。

この混色補正回路５は、図１６に示すように、Ｄフリップフロップによる１画素遅延器６１、減算器６２、信号レベル差検出回路２３、マーキング回路６３、及びＤＳＰ（デジタル信号処理回路）６８を備えている。さらに加えて、メモリ６９、遅延回路７０、遅延回路７１、７２、７３，７４、加算器７５、乗算器７６、ゲート回路８４、及びセレクタ７７を備えている。また、信号レベル差検出回路２３の構成は、第１の実施の形態の図１２で説明したものと同じものである。

図１のＡＤ変換器４から出力された混色成分を含むデジタル撮像信号（ｎ番目の画素信号Ｄｎ）６４は、減算器６２の正極側及び１画素遅延器６１を介して１画素信号分だけ遅延された減算器６２の負極側に入力される。即ち、１画素分だけ過去の信号（ｎ−１番目の画素信号Ｄｎ−１）として減算器６２の負極側に入力される。

減算器６２から出力されたレベル差信号（Ｄｎ―Ｄｎ−１）は、信号レベル差検出回路２３に入力される。信号レベル差検出回路２３の内部では、入力されたレベル差信号（Ｄｎ―Ｄｎ−１）が、絶対値回路２８に入力されて、その絶対値｜Ｄｎ―Ｄｎ−１｜が比較器２９の正極に入力される。比較器２９には所定の補正閾値３１（ＲＥＦ）が与えられており、補正のための比較条件
｜Ｄｎ―Ｄｎ−１｜＞ＲＥＦ
を満たす場合にハイレベル、それ以外はローレベルが、ゲート回路３０に対して出力される。

ゲート回路３０に入力された比較出力信号は、他方でＴＧ７からゲート回路３０に入力されたゲート信号３２に従い、ゲート信号３２がハイレベルの期間のみ、その出力が有効となる構成になっている。ゲート信号３２から出力された補正イネーブル信号６６は、マーキング回路６３の制御端子に入力される。一方で、マーキング回路６３には、デジタル撮像信号６４が入力されており、入力されたデジタル撮像信号６４に対して混色補正識別ビットを付加するビット付加機能を有する。

補正識別ビットの付加されたマーキング回路６３の撮像出力６７は、ＤＳＰ６８に入力されて、ＤＳＰ６８からは、信号処理された撮像信号が加算器７５にそのまま入力されるとともに、遅延回路７０、７１、７２、７３，７４にそれぞれ入力される。そして、遅延回路７１、７２、７３，７４を介して遅延された撮像信号は同じく加算器７５に入力されて、加算器７５の加算出力は、乗算器７６に入力される。遅延回路７２の出力信号８１と乗算器７６の出力信号８２は、それぞれセレクタ７７のデータ入力端子に入力される。

ＤＳＰ６８から制御信号７８が遅延回路７０に入力されており、その遅延出力がゲート回路８４に入力されて、ゲート信号８５がハイレベルの画素期間のみ、その出力が有効となる。そして、ゲート回路８４の出力として、セレクタ７７の制御端子に入力される構成になっている。ＤＳＰ６８には、その他に、メモリ６９との間で、撮像信号を読み出し、書き込みするための複数の制御ライン、アドレスライン、データラインが接続されている。

＜第２の実施の形態に係る混色補正動作＞
次に、上記混色補正回路５の構成において、混色補正動作の説明を行う。

撮像信号６４から、信号レベル差検出回路２３の補正イネーブル出力６６（第１の実施の形態では３６）が出力されるに至る一連の動作は、第１の実施の形態の場合と同様であり、補正閾値ＲＥＦの設定の仕方も同様の考え方に従って行われるものとする。即ち、混色補正の対象となる画素信号の検出の仕方に関しては同じであるので、ここでは繰り返しの説明を省略し、マーキング回路６３以後の動作について主として説明する。

マーキング回路６３は、デジタル撮像信号の各画素信号に対して後処理により補正を行うために、予め、補正をする信号としない信号とを区分するための識別子を画素信号ごとに用意するためのものである。

具体的な構成手段としては、例えば、デジタル撮像信号６４が１２ビットのデジタルデータである場合に、このデータの最上位ビットに１ビットの識別ビットを付加して１３ビットのデジタルデータとするデータ長変換回路である。そして、マーキング回路６３の制御端子に入力された補正イネーブル信号６６がローレベルの場合に、この識別ビットをゼロにリセットし、ハイレベルの場合には１にセットする。

ＤＳＰ６８には、記録動作モードと読み出し動作モードの２つの動作モードがある。そして、まず、記録動作モードにおいて、ＤＳＰ６８では、マーキング回路６３の撮像出力６７を受けて、図１０（ａ）及び（ｂ）を用いて説明したものと同じ配置関係で、並べ替えによる２次元配置の処理が行われる。メモリ６９は、並べ替え処理のためのバッファメモリとして使用される。

ＤＳＰ６８では、撮像信号を補正識別ビットの付加された状態（１３ビット）のまま、上記の２次元配置の処理が完了した後に、今度は、読み出し動作モードに移行する。読み出し動作モードでは、２次元配置された画像の読み出し処理が行われる。補正識別ビットの付加された撮像信号（１３ビット）は、読み出し動作モード時に、識別ビット（１ビット）と撮像信号（１２ビット）とに分離される。そして、識別ビット信号は、補正イネーブル信号７８として出力される。これと対となる撮像信号７９（１２ビット）は、同時に、遅延回路７１、７２、７３，７４にそれぞれ入力される。

そして、これらの遅延信号は、遅延無しの撮像信号７９とともに加算器７５において加算されて、さらに（１／５）の係数をもつ乗算器７６で乗算されることにより、５つのエレメントの平均値が求められる。その結果は、２次元フィルタ処理の為された撮像信号８２として出力される。図１６の８３の部分が、２次元フィルタ回路の構成を為している。また、同時に、２次元フィルタ処理の為されていない撮像信号として、２次元フィルタ回路８３のエレメント中心に位置する遅延回路７２の出力信号８１が出力される。

図１７（ａ），（ｂ），（ｃ）は、第２の実施の形態の２次元フィルタによる混色補正の説明図である。

図１７（ａ）は、並べ替え処理によるＧ色配置の様子を示している。図１０（ｂ）と対応させて見ると判るように、ＣＣＤ読み出し時のａライン出力におけるＧ信号に対して、このとき連続して読み出されるＧの順番により、Ｇａ１、Ｇａ２、Ｇａ３と表記した。同様に、ＣＣＤ読み出し時のｂライン出力におけるＧ信号に対して、このとき連続して読み出されるＧの順番により、Ｇｂ１、Ｇｂ２、Ｇｂ３と表記した。

混色により発生したＧ１信号と、Ｇ２信号及びＧ３信号との間のＧ信号レベル差により、並べ替え処理後に、３ライン周期の横スジ状のムラとなって画像に影響を与えることは、第１の実施の形態で既に説明した通りである。図１７（ａ）で、Ｇａ１及びＧｂ１の配置された水平ラインがこの横スジの成分に相当する。

したがって、補正の対象となるＧａ１及びＧｂ１に対して、それぞれ、これらと近接する周辺のＧ信号で、かつＧレベル差のないＧ２、Ｇ３信号との間で所定のフィルタ処理を行うことで、前記横スジ成分を軽減或いは解消することが可能である。そのためのフィルタ処理の一例として、図１７（ｂ）に、２次元フィルタ処理を為す３ｘ３の画素マトリクス係数とその計算式を示す。

以下に、上記フィルタ処理を実現する図１６の２次元フィルタ回路８３の動作について説明する。

遅延無しの撮像信号７９から順次、出力される画素信号に対して、ある時刻における画素信号（Ａ００）に着目する。その他の各遅延回路７１、７２、７３、７４のそれぞれの出力は、同時刻に、撮像信号７９から遅延時間分だけ過去に遡って出力された画素信号を保持している。

即ち、着目する画素信号（Ａ００）の位置に対して、遅延回路７１の遅延量を垂直２画素で水平遅延無しの設定とした場合には、垂直２画素上に位置する画素信号（Ａ２０）となる。また、遅延回路７２の遅延量を垂直１画素で水平１画素とした場合には、垂直１画素上、水平１画素左に位置する画素信号（Ａ１１）となる。また、遅延回路７３の遅延量を垂直遅延無しで水平遅延２画素とした場合には、水平２画素左に位置する画素信号（Ａ０２）となる。また、遅延回路７４の遅延量を垂直２画素で水平２画素とした場合には、垂直２画素上で水平２画素左に位置する画素信号（Ａ２２）となる。

また、補正識別ビット信号の出力７８が遅延回路７２と同じ遅延時間をもつ遅延回路７０を介して遅延されることで、遅延後の補正識別ビット信号８０は、遅延回路７２から出力される画素信号と時間的に対応した補正識別ビット信号となる。遅延後の補正識別ビット信号８０は、後述するゲート信号８５がハイレベルの画素期間のみ、セレクタ７７の制御端子に伝達されて、ハイレベルの場合にはフィルタ処理８２の出力が選択される。ローレベルの場合には、フィルタ処理の為されていない遅延回路７２の出力信号８１が選択される。

図１７（ｃ）に示すように、撮像信号７９からＧａ２が出力された時刻に、加算器７５に対して、遅延回路７１からＧｂ３、遅延回路７２からＧａ１、遅延回路７３からＧａ２、遅延回路７４からＧｂ３がそれぞれ出力される。このときのフィルタ処理出力８２は、これら５つの画素信号の平均値である。

Ｇａ１’＝ （Ｇａ２＋Ｇｂ３＋Ｇａ１＋Ｇａ２＋Ｇｂ３）／５
となる。これと同時に、フィルタ処理の為されていない撮像信号８１にはＧａ１が出力され、補正識別ビット信号８０はこのＧａ１に対応した信号が出力される。

同様に、撮像信号７９からＧｂ２が出力された時刻に、加算器７５に対して、遅延回路７１からＧａ３、遅延回路７２からＧｂ１、遅延回路７３からＧｂ２、遅延回路７４からＧａ３がそれぞれ出力される。このときのフィルタ処理出力８２は、これら５つの画素信号の平均値である
Ｇｂ１’＝（Ｇｂ２＋Ｇａ３＋Ｇｂ１＋Ｇｂ２＋Ｇａ３）／５
となる。これと同時に、フィルタ処理の為されていない撮像信号８１には、Ｇｂ１が出力され、補正識別ビット信号８０はこのＧｂ１に対応した信号が出力される。

上記フィルタ処理により、Ｇａ１がもつＧａ２及びＧａ３との間の信号格差は、Ｇａ１’に置き換わることで、およそ５分の１に軽減される。同じく、Ｇｂ１がもつＧｂ２及びＧｂ３との間の信号格差も、Ｇｂ１’に置き換わることで、およそ５分の１に軽減される。

ところで、上記フィルタ処理は、近接画素間の平均化によるローパスフィルタであるため、処理された画素信号の高周波成分は失われることになる。高周波成分の損失は、例えば、中心画素と近接画素間の信号レベル差を調べて、そのレベル差が所定レベル以上であった場合には、当該画素信号が被写体の高周波成分をもつと判断してフィルタ処理を止めるなどの工夫により、ある程度、防ぐことができる。

上記動作を実現するための信号処理回路の一例を図１８に示す。

既に説明した図１６の二次元フィルタ回路８３に追加、接続する形で構成される。遅延回路７１、７２、７３、７４は、二次元フィルタ回路８３の内部のものをそのまま利用できる。遅延回路７１、７２、７３、７４の各出力は、加算器９０に入力され、その加算出力が（１／４）の係数の乗算器９１に入力されて、各エレメントの加算平均値が乗算器９１より出力される。

減算器９３において、遅延回路７２の出力信号８１から乗算器９１の出力信号９２が減じられて、その減算出力値は、絶対値回路９４を介して絶対値化される。絶対値回路９４の出力９５は、比較器９７において所定の補正閾値（ＲＥＦ２）と比較されて、その比較結果が補正の是非を決定するゲート信号８５として出力される。

撮像信号７９からＧａ２が出力された時刻を例に、図１８における回路の各部の信号値を示すと、遅延回路７１からＧａ３、遅延回路７２からＧｂ１、遅延回路７３からＧｂ２、遅延回路７４からＧａ３がそれぞれ出力される。このとき、遅延回路７２から出力されたＧｂ１を中心画素として、これに近接する周辺画素の加算平均値
Ｇａｖ＝（Ｇａ２＋Ｇｂ３＋Ｇａ２＋Ｇｂ３）／４
が、乗算器９１から出力される。そして、比較器９７には、絶対値｜Ｇａ１−Ｇａｖ｜が入力されて、この値と所定の補正閾値（ＲＥＦ２）の大小関係が比較される。そして、絶対値｜Ｇａ１−Ｇａｖ｜がＶＲＥＦ２より大きい場合には、フィルタ処理を禁止するためのゲート信号８５に、ローレベルが出力される。

補正閾値（ＲＥＦ２）には、混色に起因して想定されるＧ信号レベル格差の最大値を設定する。そうすることで、ＲＥＦ２を超える領域のＧ信号レベル格差に対しては、これを被写体の高周波成分であると判断して、混色によるＧ信号レベル格差と被写体の高周波成分とを区別することができる。

混色補正の対象となる画素信号の検出の仕方に関しては、第１の実施の形態の場合と同様であり、Ｇ信号レベル格差が顕在化して画像で横スジ状のムラが見える閾値ΔＧに対応する画素信号振幅差として補正閾値ＲＥＦを設定する。そうすることで、Ｇ１信号と、Ｇ２信号及びＧ３信号との間で生じたＧ信号レベル格差が閾値ΔＧ以上の領域において、且つ、このときのＧ１信号においてのみＧレベル差を補正する補正動作が行われる。

第１の実施の形態で説明した補正閾値ＲＥＦにより、（Ｇ信号レベルが大きい）画像のかなりハイライトな領域に限定してフィルタ処理による混色補正が行われることになる。さらに、補正閾値ＲＥＦ２を超える領域のＧ信号レベル格差に対しては、これを被写体の高周波成分であると判断して、フィルタ処理を止めることで、混色成分の除去以上に不必要に高周波成分が損なわれて画像がぼけることがない。

＜第２の実施の形態に係る変形例＞
なお、上記実施の形態では、混色補正の対象画素として、Ｇ信号が３回連続して読み出されるところの最初のＧ信号（Ｇ１信号）に限定している。しかし、連続して読み出された２画素間の信号レベル差を検出し、所定の補正閾値に基づいて補正の是非を決定するという本発明の主旨に従えば必ずしもＧ１信号に限定されるものでない。即ち、他の色画素信号が補正の対象であっても良いことは、第１の実施の形態の場合と同様である。

［第３の実施の形態］
信号振幅差が大きいほど混色の度合いが大きくなる増幅回路の周波数特性による影響を鑑みて、第１及び第２の実施の形態においては、時間的に連続して読み出された画素信号の信号差が所定値より大きい場合のみ混色補正処理を稼動させるようにした。ところで、時間的に連続して読み出された画素信号の信号差が大きくなる場合について、上記各実施の形態の場合のように画素信号間の演算で検出しなくても、感度切り換え手段を有する撮像回路の構成によっては感度設定条件に基づいて検出することが可能である。この点を考慮した第３の実施の形態について、以下説明する。

＜構成及び動作＞
そのための第３の実施の形態の構成は、第１の実施の形態で示した図１の基本構成図に包括される。この中で、第３の実施の形態に係る構成は、感度切り換え手段に関する部分である。

図１における構成及び動作の説明は第１の実施の形態において既に説明しているので、ここでは、上記感度切り換え手段の構成及び動作についてのみ説明する。

図１において、ＤＳＰ６の内部には、入力された撮像信号を増幅するためのデジタル乗算器で構成されたプログラマブルゲインアンプが内包されている。感度切り換えは、ＣＰＵ８からの制御に従って、ＤＳＰ６内部の上記プログラムゲインアンプで所定のゲイン設定が為されることで実現される。

図１９（ａ），（ｂ），（ｃ）には、上記感度切り換え手段によって設定された感度ごとに、各部の信号の状態を示した。一例として、ここでは、被写体照度と出力画像レベルとの関係において、ＩＳＯ１００、ＩＳＯ２００、ＩＳＯ４００の各フィルム感度に相当する撮像感度を例に挙げた。

図１９（ａ）は、ＣＤＳ２の出力波形であり、信号レベルＡは、ＣＤＳ出力段で見た適正露光状態における標準Ｇ信号レベルである。図１９（ａ）に示すように信号レベルＡは、ＩＳＯ１００を基準として、ＩＳＯ２００の時にはその２分の１である（Ａ／２）となり、ＩＳＯ４００の時にはその４分の１の値である（Ａ／４）となる。同図１９（ａ），（ｂ），（ｃ）では、横軸に時間をとり時刻ｔ０を境にして、Ｒ画素信号からＧ画素信号に切り換わる様を示した。

増幅回路３の増幅度は、ＡＤ変換器４の入力レンジで決まる適正レベルＢに対して、（Ｂ／Ａ）倍に設定されている。このとき、ＩＳＯ１００の場合の増幅回路３の標準Ｇ信号レベルはＢであり、ＩＳＯ２００の時にはその２分の１である（Ｂ／２）となり、ＩＳＯ４００の時にはその４分の１の値である（Ｂ／４）となる。

図１９（ｂ）は、このときの増幅回路３の出力波形であり、信号レベルＢの近傍で、増幅回路３の周波数特性によるリンギングが顕著に生じる。リンギングは出力振幅の大きさに非線形な特性で依存しており、信号レベルＢの半分以下の領域では非常に小さいという特徴がある。

図１９（ｃ）は、ＤＳＰ６内部のプログラムゲインアンプで感度切り換えによるゲインアップが行われた後の出力波形である。プログラムゲインアンプはＩＳＯ感度１００を基準（ゲイン１倍）として、ＩＳＯ２００の場合にはゲインが２倍化されて、ＩＳＯ４００の場合には４倍化される。そのため、図示されるように、ＩＳＯ１００で顕著なリンギングが、たとえ感度アップ（増幅）が為されたとしてもＩＳＯ２００及びＩＳＯ４００においては相対的に影響度が小さい。

そして、第３の実施の形態においては、ＣＰＵ８の制御に従って、感度設定値により混色補正回路５による補正動作を稼動させる。即ち、第１の実施の形態及び２における信号レベル差検出回路２３の出力に代えて、ＩＳＯ２００よりも感度が低い場合にのみハイレベルを出力する制御信号によって補正動作の是非を決定する。

以上のように本実施の形態によれば、時間的に連続して読み出された信号間のクロトーク成分の補正を、撮像装置の感度設定に応じて所定感度よりも低い場合のみ行うようにした。これにより、不必要にランダムノイズ成分を増長させることなく、画像をぼけさせることもなく、良好な混色補正ができる。

＜第３の実施の形態に係る変形例＞
混色補正の是非を、感度切り換え手段により設定された感度が所定値より低い場合のみ混色補正回路５を稼動させるという本実施の形態に従えば、補正のための手段としては、第１或いは第２の実施の形態で示したいずれの方法と組み合わせても良い。

また、画素混合方式による動画に適した読み出しモードに限定して、例えば動画撮影モード時にのみ、第１〜第３の実施の形態に示す混色補正動作を適用することも可能である。この場合、従来ながらのベイヤ配列読み出しを行う静止画撮影モード時には適用しないなどの方法も、動作モードごとの画質の最適化や高速化を実現する上で有用である。

さらに、また、第１の実施の形態〜３は、画素混合方式による動画に適した読み出し方法に対して最適な混色補正方法について言及したが、従来ながらのベイヤ配列読み出しに対しても有効なことは言うまでもない。

なお、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしても良い。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

本発明の実施の形態の全体構成を示すブロック図である。 ＣＣＤの構成を示すブロック図である。 ＣＣＤの混合画素の組み合わせを示す説明図である。 ＣＣＤの画素混合動作の一手順を示す説明図である。 ＣＣＤの画素混合動作の一手順を示す説明図である。 ＣＣＤの画素混合動作の一手順を示す説明図である。 ＣＣＤの画素混合動作の一手順を示す説明図である。 ＣＣＤの画素混合動作の一手順を示す説明図である。 ＣＣＤの画素混合動作の一手順を示す説明図である。 二次元的再配置を示す説明図である。 ＣＣＤの混合画素の組み合わせの一例を示す説明図である。 第１の実施の形態における混色補正回路の構成を示すブロック図である。 画素混合読み出し時のＣＣＤ出力レベルとタイミング図である。 画素混合読み出し時のＣＣＤ出力レベルとタイミング図である。 混色レベルの特性図である。 第２の実施の形態における混色補正回路の構成を示すブロック図である。 ２次元フィルタ処理の説明図である。 高周波成分検出回路の構成を示すブロック図である。 第３の実施の形態における感度設定別の各部の信号波形図である。 ＣＣＤのベイヤ色配列を示す説明図である。

符号の説明

１ ＣＣＤ
２ ＣＤＳ
３ 増幅回路
４ ＡＤ変換器
５ 混色補正回路
６ ＤＳＰ
７ ＴＧ
８ ＣＰＵ

Claims (7)

1. 所定の色フィルタを受光面にもつ撮像素子と、前記撮像素子の出力をサンプルホールドするサンプルホールド手段と、前記サンプルホールド手段により時間的に連続して読み出された信号間のクロストーク成分を補正するクロストーク補正手段とを有する信号処理装置であって、
   前記サンプルホールド手段により時間的に連続して読み出された信号間の信号差を検出する信号差検出手段と、
   前記信号差検出手段により検出された信号差の絶対値が所定値よりも大きい場合、前記クロストーク補正手段を稼動させる手段とを備えたことを特徴とする信号処理装置。
2. 所定の色フィルタを受光面に有する撮像素子と、前記撮像素子の出力をサンプルホールドするサンプルホールド手段と、前記サンプルホールド手段により時間的に連続して読み出された信号間のクロストーク成分を補正するクロストーク補正手段とを有する信号処理装置であって、
   前記撮像素子の感度を設定する手段と、
   前記設定された感度が所定値よりも低い場合、前記クロストーク補正手段を稼動させる手段とを備えたことを特徴とする信号処理装置。
3. 前記クロストーク補正手段は、前記サンプルホールド手段により時間的に連続して読み出された同色信号の最初の画素信号に対してクロストーク成分の補正を行うことを特徴とする請求項１または２に記載の信号処理装置。
4. 前記クロストーク補正手段は、前記サンプルホールド手段により時間的に連続して読み出されたｎ（正の整数）番目の信号と前記ｎ番目の信号の直前の信号との間の信号差に所定の係数を乗じた値を、前記ｎ番目の信号に加算することにより補正を行うことを特徴とする請求項１または２に記載の信号処理装置。
5. 前記クロストーク補正手段は、前記サンプルホールド手段により時間的に連続して読み出された信号間で発生したクロストーク成分により同色信号の間で発生する周期性の段差成分を除去する空間周波数フィルタであることを特徴とする請求項１または２に記載の信号処理装置。
6. 所定の色フィルタを受光面にもつ撮像素子と、前記撮像素子の出力をサンプルホールドするサンプルホールド手段と、前記サンプルホールド手段により時間的に連続して読み出された信号間のクロストーク成分を補正するクロストーク補正手段とを有する信号処理装置の制御方法であって、
   信号差検出手段が、前記サンプルホールド手段により時間的に連続して読み出された信号間の信号差を検出する工程と、
   稼動手段が、前記検出された信号差の絶対値が所定値よりも大きい場合、前記クロストーク補正手段を稼動させる工程とを有することを特徴とする信号処理装置の制御方法。
7. 所定の色フィルタを受光面に有する撮像素子と、前記撮像素子の出力をサンプルホールドするサンプルホールド手段と、前記サンプルホールド手段により時間的に連続して読み出された信号間のクロストーク成分を補正するクロストーク補正手段とを有する信号処理装置の制御方法であって、
   感度切り換え手段が、前記撮像素子の感度を設定する工程と、
   稼動手段が、前記設定された感度が所定値よりも低い場合、前記クロストーク補正手段を稼動させる工程とを有することを特徴とする信号処理装置の制御方法。

Images