JP2009135787A - ノイズ検出装置、撮像装置、およびノイズ検出方法 - Google Patents

Abstract

【課題】ＸＹアドレス走査型の固体撮像素子の特定のカラムからの出力信号に発生するランダムノイズを精度よく検出する。
【解決手段】固体撮像素子上で入射光を受光する有効画像領域からの出力信号を取り込む前に、固体撮像素子のカラムごとの出力信号系統に固体撮像素子への入射光に応じた信号成分を含まないように出力させた黒ダミー信号が、平均値算出部２１および差分平均値算出部２２に対してライン単位で取り込まれる。平均値算出部２１は、入力された黒ダミー信号の信号レベルの平均値を算出する。差分平均値算出部２２および比較判定部２３では、平均値が算出された後、入力された所定ライン数分の黒ダミー信号を基に、カラムごとの信号レベルと、平均値算出部２１からの基準値とを基に、ランダムノイズが発生しているカラムが判定される。
【選択図】図６

Description

本発明は、固体撮像素子からの出力信号からノイズを検出するノイズ検出装置、そのような機能を備えた撮像装置、およびノイズ検出方法に関し、特に、ＸＹアドレス走査型の固体撮像素子を用いた場合に好適なノイズ検出装置、撮像装置、およびノイズ検出方法に関する。

デジタル方式の撮像装置では、撮像装置上にオプティカルブラック（ＯＰＢ）領域と呼ばれる遮光された領域を設けておき、このＯＰＢ領域からの出力信号を基に有効画像領域の出力信号を補正することが行われている。その代表的な例としては、撮像時にＯＰＢ領域からの出力レベルの加算値や平均値などを検波し、その検波結果を用いて有効画像領域のデータの黒レベルを合わせる方法が知られている。

また、特にＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどのＸＹアドレス走査型の撮像素子を用いた場合には、有効画像領域に対して垂直方向に隣接するＯＰＢ領域（ＶＯＰＢ領域）での検波結果を用いて、カラムごとの特性バラツキによって生じる縦筋ノイズを除去する方法が提案されている。このような例として、ＶＯＰＢ領域の出力信号から欠陥画素を検出し、それらの欠陥画素を除いた画素からの出力信号を用いることで、縦筋ノイズを精度よく除去するようにしたものがあった（例えば、特許文献１参照）。
特開２００６−２５１４８号公報

ところで、ＸＹアドレス操作側の撮像素子では、カラムごとにＡ／ＤコンバータやＣＤＳ（Correlated Double Sampling）回路が設けられたものがある。そして、このような構成の撮像素子では、ある特定のカラムの出力段から出力される画素データが、画素ごとにランダムにバラツキを持つ現象が発見されている。この現象は、バラツキが出現するカラムは決まっているものの、そのカラム内のどこでどのタイミングでデータのバラツキが発生するのかがわからないといったものであり、その発生原因は、カラムの出力段に設けられたＡ／Ｄコンバータなどのトランジスタの動作に依存するものと考えられている。

この現象では、特に暗電流が少ない高ゲイン時の画像において、レベルのバラツキが目立ってしまうため、バラツキを適切に補正することが望まれている。しかし、バラツキが発生したカラムでは、そのカラムにおける画素レベルの出現頻度のピークよりレベルが高い画素と低い画素とがほぼ同じ数だけ発生するため、従来のように、そのカラムのＶＯＰＢ領域における画素データの加算値や平均値を基に検出しようとすると、バラツキが埋もれてしまって精度よく検出できないという問題があった。

本発明はこのような点に鑑みてなされたものであり、ＸＹアドレス走査型の固体撮像素子の特定のカラムからの出力信号に発生するランダムノイズを精度よく検出することが可能なノイズ検出装置、撮像装置、およびノイズ検出方法を提供することを目的とする。

本発明では上記課題を解決するために、ＸＹアドレス走査型の固体撮像素子からの出力信号からノイズを検出するノイズ検出装置において、前記固体撮像素子上で入射光を受光する有効画像領域からの出力信号を取り込む前に、前記固体撮像素子のカラムごとの出力信号系統に前記固体撮像素子への入射光に応じた信号成分を含まないように出力させた黒ダミー信号を、前記固体撮像素子上のライン単位で取り込む信号取り込み部と、前記黒ダミー信号の信号レベルの平均値に対応する基準値を取得する基準値取得部と、前記信号取り込み部から所定ライン数分の前記黒ダミー信号の入力を受け付け、当該黒ダミー信号のカラムごとの信号レベルと、前記基準値取得部からの前記基準値とを基に、ランダムノイズが発生しているカラムを判定するノイズ判定部と、を有することを特徴とするノイズ検出装置が提供される。

このようなノイズ検出装置では、固体撮像素子上で入射光を受光する有効画像領域からの出力信号を取り込む前に、固体撮像素子のカラムごとの出力信号系統に固体撮像素子への入射光に応じた信号成分を含まないように出力させた黒ダミー信号が、信号取り込み部によって固体撮像素子上のライン単位で取り込まれる。基準値取得部は、この黒ダミー信号の信号レベルの平均値に対応する基準値を取得する。ノイズ判定部は、信号取り込み部から所定ライン数分の黒ダミー信号の入力を受け付け、この黒ダミー信号のカラムごとの信号レベルと、基準値取得部からの基準値とを基に、ランダムノイズが発生しているカラムを判定する。

本発明のノイズ検出装置によれば、黒ダミー信号の信号レベルの平均値に対応する基準値と、入力された黒ダミー信号のカラムごとの信号レベルとを用いることで、固体撮像素子への入射光に応じた信号成分を含まないように出力された信号におけるカラムごとの信号レベルのバラツキ度合いを解析できるようになり、これによって、ランダムノイズが発生しているカラムを正確に検出できる。

以下、本発明の実施の形態を、図面を参照して詳細に説明する。
図１は、実施の形態に係る撮像装置の要部構成を示すブロック図である。
図１に示す撮像装置は、デジタルスチルカメラあるいはデジタルビデオカメラなどとして実現されるものである。この撮像装置は、カメラブロック１１、画像処理部１２、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１３、表示部１４、制御部１５、フラッシュメモリ１６、外部メモリコントローラ１７、および操作部１８を具備する。

カメラブロック１１には、被写体からの入射光を電気信号に変換するための撮像素子１１ａが設けられている。本実施の形態では、撮像素子１１ａとして、ＣＭＯＳイメージセンサなどのＸＹアドレス走査型の固体撮像素子が用いられる。カメラブロック１１にはさらに、被写体からの光を撮像素子１１ａに集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構、撮像素子１１ａを駆動するためのＴＧ（Timing Generator）、撮像素子の各画素からの出力信号をデジタル信号に変換するＡ／Ｄコンバータの回路などが設けられている。これらの機能は、制御部１５からの制御の下で動作する。

画像処理部１２は、カメラブロック１１から出力された画像信号に対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、各種画質補正処理のための検波処理や、検波情報に基づく制御部１５からの制御信号に応じた画素補間・混合・画質補正などの信号処理を施す。さらに、信号処理後の画像信号をＹ／Ｃｂ／Ｃｒなどの信号に変換して圧縮符号化処理を施し、記録用の画像ファイルを作成する。また、表示用の画像信号を生成して、表示部１４に出力する。なお、本実施の形態では、後述するノイズ検出・補正機能は、この画像処理部１２に設けられる。

この画像処理部１２の動作は、制御部１５によって制御される。また、画像処理部１２の処理で必要なパラメータなどのデータは、基本的にフラッシュメモリ１６に格納されており、これらのデータが必要に応じてＳＤＲＡＭ１３に読み込まれる。画像処理部１２は、このＳＤＲＡＭ１３をバッファとして使用しながら動作する。

表示部１４は、例えばＬＣＤ（Liquid Crystal Display）などからなり、画像処理部１２から出力される画像信号を基に画像を表示する。
制御部１５は、ＣＰＵ（Central Processing Unit）や、ＲＡＭ（Random Access Memory）などのメモリを備えるマイクロコンピュータとして構成される。この制御部１５は、フラッシュメモリ１６などに格納されたプログラムを実行することで、この撮像装置を統括的に制御する。

外部メモリコントローラ１７は、この撮像装置に装着される可搬型の外部メモリ１７ａに対するデータの読み書きを制御する。外部メモリ１７ａとしては、例えば、フラッシュメモリからなるメモリカードが適用される。この外部メモリ１７ａには、画像処理部１２によって生成された画像ファイルなどが書き込まれる。なお、画像ファイルを記録する可搬型記録媒体としては、他に、磁気テープ、光ディスクなどを利用してもよい。あるいは、ＨＤＤ（Hard Disk Drive）が用いられてもよい。

操作部１８は、各種の入力スイッチを備え、これらの入力スイッチに対するユーザによる操作入力に応じた制御信号を、制御部１５に出力する。
上記構成の撮像装置では、撮像素子１１ａによって受光されて光電変換された信号が、デジタル画像信号に変換されて、画像処理部１２に順次供給される。画像処理部１２は、カメラブロック１１から供給された画像信号を画質補正処理し、処理後の画像信号は表示用の画像信号に変換されて、表示部１４に供給される。これにより表示部１４のディスプレイには、現在撮像中の画像（モニタリング画像）が表示され、撮影者はこの画像を視認して画角を確認できるようになる。

また、この状態から、操作部１８のシャッタレリーズボタンが押下されることなどにより、制御部１５に対して画像の記録が指示されると、画像処理部１２は、画質補正後の画像信号を圧縮符号化処理して画像ファイルを生成する。生成された画像ファイルは、制御部１５および外部メモリコントローラ１７を介して、外部メモリ１７ａに格納される。画像処理部１２では、静止画像の記録の際には、入力された１フレーム分の画像信号を基に画像ファイルが生成され、動画像の記録の際には、入力される画像信号に対して連続的に圧縮符号化処理が施される。

図２は、カメラブロックにおける撮像素子およびその周辺回路の構成例を示す図である。
この図２では、撮像素子１１ａとしてＣＭＯＳイメージセンサが用いられた場合について示している。また、この例ではいわゆるベイヤ配列で色フィルタを配置しており、各画素のフォトダイオード１０１には、色フィルタの成分を示す“Ｒ”“Ｇｒ”“Ｇｂ”“Ｂ”の文字を記載している。

撮像素子１１ａにおいて、マトリクス状に配置された各画素の画素回路は、主に、光電変換により生成された電荷を蓄積するフォトダイオード１０１と、フォトダイオード１０１からの出力信号を増幅する増幅アンプ１０２と、増幅された信号の転送を制御する転送回路１０３とから構成される。また、転送回路１０３の出力は、カラム（列）転送線１０４に接続されている。転送回路１０３は、垂直走査回路１０５からライン（行）選択線１０６を通じて供給される制御電圧に応じて、信号の転送を行う。すなわち、ライン選択線１０６に制御電圧が印加されると、同じラインの各画素回路の転送回路１０３がオンになり、フォトダイオード１０１からの出力信号がカラム転送線１０４に出力される。垂直走査回路１０５により、受光面の上側から順にライン選択線１０６に制御電圧が印加されることで、各ラインの画素回路からの出力信号がカラム転送線１０４に順次出力される。

また、この図２の例では、各カラム転送線１０４の出力段にＡ／Ｄ変換回路１１０が個別に設けられた、いわゆるカラムＡ／Ｄ方式の回路が構成されている。Ａ／Ｄ変換回路１１０は、カラム転送線１０４の電圧を基準電圧Ｖｒｅｆと比較する比較器１１１と、比較器１１１の出力をカウントするカウンタ１１２と、カウンタ１１２の出力をラッチするラッチ回路１１３などを備えており、カラム転送線１０４に転送された各画素回路からの出力信号をデジタル信号に変換する。なお、ここではカラムごとにＡ／Ｄ変換回路が設けられた例を示したが、ＣＤＳ（Correlated Double Sampling）回路がカラムごとに設けられたり、あるいは、Ａ／Ｄ変換回路とＣＤＳ回路の両方がカラムごとに設けられてもよい。

Ａ／Ｄ変換回路１１０からの出力信号は、カラム選択回路１２１を介して出力信号線１２２に出力され、さらに出力アンプ１２３によって増幅された後、画像処理部１２に出力される。各カラムのカラム選択回路１２１は、水平走査回路１２４からのカラム選択線１２５を通じて供給される制御電圧に応じて、信号の出力を制御する。すなわち、水平走査回路１２４により、受光面の左側から順にカラム選択線１２５に制御電圧が印加されることで、各カラムにおける同じラインの画素回路からの出力信号が出力信号線１２２に順次出力される。

図３は、撮像素子の受光素子領域の構成を概略的に示す図である。
この図３に示すように、撮像素子１１ａの受光素子領域１５０には、入射光を受光する有効画像領域１５１と、この有効画像領域１５１の垂直方向側および水平方向側にそれぞれ隣接したＯＰＢ領域であるＶＯＰＢ領域１５２およびＨＯＰＢ領域１５３とが形成されている。これらのうち、ＶＯＰＢ領域１５２およびＨＯＰＢ領域１５３はともに遮光されており、これらの領域から出力される、入射光に応じた信号成分を含まない画素信号は、主に、画像処理部１２での黒レベルの補正のために用いられる。また、後述するように本実施の形態では、ＶＯＰＢ領域１５２から出力される画素信号は、カラムごとのノイズ検出のためにも用いられる。なお、画像処理部１２によって生成される画像ファイルや表示用画像信号は、図中の有効画像領域１５１からの画素信号を基に生成される。

［第１の実施の形態］
次に、撮像素子１１ａおよびその周辺回路において発生するランダムノイズを除去するための処理機能について説明する。本実施の形態では、この処理機能は画像処理部１２に設けられるものとする。また、ここで除去の対象とするランダムノイズは、上記のようにＸＹアドレス走査方式の撮像素子を使用し、かつ、カラムごとにＡ／Ｄ変換回路やＣＤＳ回路を設けた構成を適用した場合に、特定のカラムにおいてランダムに発生するものである。以下、このようなノイズを“カラムランダムノイズ”と呼ぶことにする。

このカラムランダムノイズは、主に、撮像素子の出力段に設けられたトランジスタで発生すると考えられている。具体的には、図２に示したＡ／Ｄ変換回路１１０のように、カラム転送線の出力段にカラムごとに設けられたＡ／Ｄ変換回路やＣＤＳ回路の内部のトランジスタにおいて発生すると考えられている。

本実施の形態では、基本的に、例えばＶＯＰＢ領域１５２からの出力信号など、入射光の影響を受けていない信号を基に、カラムランダムノイズの発生の有無および発生レベルを検出し、この検出結果に基づき、有効画像領域１５１からの出力信号のうち、ノイズが発生したカラムからの出力信号を補正する。

ただし、このようなカラムランダムノイズは、それぞれのカラムに出現するか否か、出現する場合でもそのカラム内のどの画素にどのようなレベルで出現するかを、予測できない。このため、カラムランダムノイズの発生の有無やそのレベルを検出するためには、すべてのカラムからの出力信号を検波する必要があるだけでなく、各カラムにおける垂直方向に対してもできるだけ多くの画素の信号を検波することが望ましい。例えば、カラムランダムノイズが発生したカラムであっても、数ライン程度の画素信号を検波するだけではノイズの発生画素を含まない可能性がある。

そこで、本実施の形態では、ノイズ検出のための検波を、ＶＯＰＢ領域１５２からの出力信号だけでなく、撮像素子１１ａの出力をカラ読みすることで得られるダミーデータも用いることで、より多くのラインから得た信号を基にカラムランダムノイズを精度よく検出する。

図４は、撮像素子における検波領域を模式的に示す図である。
図３で説明したように、撮像素子１１ａの受光素子領域１５０には、有効画像領域１５１、ＶＯＰＢ領域１５２、およびＨＯＰＢ領域１５３が形成されている。そして、この受光素子領域１５０においては、制御部１５の制御の下で、カメラブロック１１内のＴＧから発生されるタイミング信号に応じて、受光素子領域１５０の上側のラインから順に走査されて、画素信号が出力されていく。

さらに、本実施の形態では、受光素子領域１５０を走査する直前に、撮像素子１１ａの出力をカラ読みする領域であるダミー領域１６０を仮想的に形成する。このダミー領域１６０では、撮像素子１１ａへの入射光に応じた信号成分を含まない出力信号が、カメラブロック１１から画像処理部１２に対して出力される。

具体的には、図４の有効画像領域１５１からの１フレーム（またはフィールド）分の画像信号を画像処理部１２に取り込む場合には、ダミー領域１６０の先頭ラインからタイミング信号に応じて順次走査が開始され、ダミー領域１６０の各ラインの信号が順次、カメラブロック１１から出力される。この期間では、例えば、タイミング信号に応じて各カラムのＡ／Ｄ変換回路１１０のみが動作し、各カラムのＡ／Ｄ変換回路１１０は、入力がない状態のままで信号を出力する。このようにしてダミー領域１６０の走査が終了すると、次に受光素子領域１５０の走査が開始されて、受光素子領域１５０上の各画素のフォトダイオード１０１の蓄積電荷に応じた信号が出力される。

この結果、ダミー領域１６０からの出力信号は、ＶＯＰＢ領域１５２からの出力信号と同様に、撮像素子１１ａへの入射光に応じた信号成分を含まず、Ａ／Ｄ変換回路１１０以降の出力特性のみに依存した成分のみを含むものとなる。従って、ダミー領域１６０からの出力信号には、ＶＯＰＢ領域１５２からの出力信号と全く同じように、カラムランダムノイズが現れると考えることができる。

前述したように、カラムランダムノイズの検出のためには、できるだけ多くの画素信号を用いることが望ましい。ここで、撮像素子１１ａにあらかじめ設けられたＶＯＰＢ領域１５２は、通常、例えば数十ライン程度の領域であることが多く、この領域は当然固定的に設けられるもので、ライン数を変えることはできない。これに対して、ダミー領域１６０のライン数は、制御部１５の制御の下で任意に設定することができる。すなわち、ＶＯＰＢ領域１５２とダミー領域１６０とを合わせて、カラムランダムノイズの検出に十分なライン数が確保されるように、ダミー領域１６０が設定される。

なお、本実施の形態では、ＶＯＰＢ領域１５２とダミー領域１６０とを、カラムランダムノイズの検出のために使用するが、例えば、ＶＯＰＢ領域１５２のライン数がカラムランダムノイズの検出のために十分な数となっていれば、ダミー領域１６０の出力信号を用いる必要はない。また、ＶＯＰＢ領域１５２の出力信号を例えば黒レベルの検出のみのために利用し、カラムランダムノイズの検出のためには、ダミー領域１６０の出力信号のみを使用するようにしてもよい。すなわち、ＶＯＰＢ領域１５２やダミー領域１６０のように、入射光に応じた信号成分を含まない出力信号が、カラムランダムノイズの検出に必要なライン数だけ、撮像素子１１ａの出力段に配設されたデジタル信号出力回路から画像処理部１２に対して出力されるようにすればよい。

次に、カラムランダムノイズの検出方法について具体的に説明する。以下の検出方法の例では、基本的に、まず、ノイズ検出のための基準値として、特定の領域からの信号を基に平均値を算出し、その後に、さらに別の領域からの信号を取り込み、上記の基準値（平均値）からの信号レベルのバラツキ度合いを解析することで、カラムランダムノイズの発生の有無を判定する。図４に示すように、ダミー領域１６０の先頭ライン（ａｖｅ＿ｓｔａｒｔ）から所定のライン（ａｖｅ＿ｅｎｄ）までの領域は、平均値を算出するための平均算出用検波領域１７１とされ、ダミー領域１６０におけるその次のライン（ｄｅｔｅｃｔ＿ｓｔａｒｔ）からＶＯＰＢ領域１５２の最終ライン（ｄｅｔｅｃｔ＿ｅｎｄ）までの領域は、カラムごとにカラムランダムノイズの有無を判定するためのノイズ判定用検波領域１７２とされる。

図５は、ダミー領域およびＶＯＰＢ領域における画素信号レベルの度数分布の例を示す図である。
この図５は、ダミー領域１６０およびＶＯＰＢ領域１５２からの出力信号を基に、横軸に画素信号レベルの階級を、縦軸に画素数をそれぞれとったときの度数分布を示している。上段のグラフはカラムランダムノイズが発生していない場合の度数分布の例であり、下段のグラフはカラムランダムノイズが発生している場合の度数分布の例である。

ダミー領域１６０からの出力信号は、ＶＯＰＢ領域１５２からの出力信号とほぼ同じ特定を持つ。このため、カラムランダムノイズが発生していない場合には、ダミー領域１６０およびＶＯＰＢ領域１５２からの出力信号のレベルは、黒レベルの近傍となる。図５の上段の度数分布において、センターピークの位置は、これらの出力信号レベルの平均値にほぼ一致し、通常、この値が黒レベルに対応する。

これに対して、カラムランダムノイズが発生している場合には、度数分布に変化が見られることがわかっており、図５の下段に示すように、カラムランダムノイズの影響により、センターピークの上側（高レベル側）および下側（低レベル側）にサブピークが出現するような度数分布となる。また、センターピークと上側および下側の各サブピークとのレベル差は、ほぼ同じとなることがわかっている。

ここで、度数分布上のセンターピークの位置や幅は、得られた画像信号に与えるゲインや露光時間、そのときの温度などの撮影条件によって異なる。例えば、サブピーク間の幅より狭いセンターピークから一定幅の領域には、暗電流などに起因してカラムに関係なく発生するランダムノイズによってバラツキを生じた出力信号レベルが含まれている。一方、カラムランダムノイズはごく一部のカラムにしか発生せず、さらにセンターピークの上側および下側の両方にほぼ等しく発生する。このため、十分な数の画素からの出力を検波すれば、カラムランダムノイズの発生の有無に関係なく、同一の撮影条件であればセンターピークに対応する信号レベルはそれらの画素からの出力信号の平均レベルと同じになると考えられる。

そこで、本実施の形態では、ノイズ検出の基本的な手順として、まず上記の度数分布のセンターピークに対応する信号レベルを図４の平均算出用検波領域１７１からの出力信号の平均値として求めた後、この平均値を基準として、図４のノイズ判定用検波領域１７２内のカラムごとの出力信号レベルのバラツキ度合いを検出し、バラツキが大きいカラム（すなわち、平均値から離間した信号レベルを持つ画素が多いカラム）を、カラムランダムノイズが発生していると判定する。より具体的には、ノイズ判定用検波領域１７２の各画素からの出力信号と平均値との差分の絶対値をとり、それらの絶対値をカラムごとに加算して、加算結果をカラムごとに比較することで、カラムランダムノイズが発生したカラムを検出する。

また、カラムランダムノイズの発生の有無に関係なく、ある撮影タイミングにおいて十分な数の画素からの検波データが得られれば、ダミー領域１６０やＶＯＰＢ領域１５２における信号レベルの平均値は変わらないと予想されることから、平均算出用検波領域１７１の全体から色成分ごとに画素信号の平均値を演算する。近年の撮像素子１１ａは数千程度のカラム数を有するものが多く、このような撮像素子１１ａであれば、平均算出用検波領域１７１として数ライン確保することで、平均値演算に十分な数の画素信号を得ることができる。

一方、平均値を基準としてカラムごとに画素信号を比較するためのノイズ判定用検波領域１７２としては、カラムランダムノイズが発生した場合にこれを確実に検出できるように、例えば百ライン以上（ここでは２００ライン程度とする）といったより多くのライン数を確保する。

図６は、第１の実施の形態に係るノイズ除去処理部の構成を示すブロック図である。
前述のように、図６に示すノイズ除去処理部２０ａは、画像処理部１２の内部に設けられる。このノイズ除去処理部２０ａは、平均値算出部２１、差分平均値算出部２２、比較判定部２３、および信号補正部２４を備えている。

平均値算出部２１は、平均算出用検波領域１７１からの出力信号を基に、色成分ごとに信号レベルの平均値を算出する。前述のように、平均値の演算のためには、平均算出用検波領域１７１として数ライン程度が確保される。

ここでは例として、Ｒ成分の平均値をＲ＿ａｖｅとすると、この平均値Ｒ＿ａｖｅは次の式（１）によって求められる。なお、式（１）において、Ｒ＿ｓｕｍは、平均算出用検波領域１７１の画素のうちＲ成分の画素からの出力信号を加算した加算値を示し、Ｒ＿ｃｏｕｎｔ＿ａｖｅは、出力信号を加算した数を示す。
Ｒ＿ａｖｅ＝Ｒ＿ｓｕｍ／Ｒ＿ｃｏｕｎｔ＿ａｖｅ ……（１）
ただし、この平均値の演算では、欠陥画素からの出力信号を演算に含めてしまうと、正確な平均値が得られなくなる可能性がある。このため、例えば、平均値算出部２１への入力段において入力信号に対するしきい値判定を行い、所定の上限しきい値以上の信号を有する画素と、所定の下限しきい値以下の信号を持つ画素とを、平均値の演算から除外するようにする。また、事前に欠陥画素の位置が判明していれば、その位置の画素からの出力信号を演算から除外してもよい。このような欠陥画素の位置情報としては、欠陥補正部に読み込まれる情報を共用してもよい。

以上のように、平均値の演算においては、平均算出用検波領域１７１の同色成分画素のうち欠陥画素を除く画素が利用されるので、式（１）の加算数Ｒ＿ｃｏｕｎｔ＿ａｖｅには、演算に利用された画素の数が適用されることになる。なお、Ｇｒ成分，Ｇｂ成分、およびＢ成分についても、上記と同様の演算が行われる。そして、これらの色成分ごとの平均値は、差分平均値算出部２２に受け渡される。

平均算出用検波領域１７１からの出力信号に基づく平均値の演算が終了すると、次に、ノイズ判定用検波領域１７２からの出力信号が、差分平均値算出部２２に供給される。差分平均値算出部２２は、カラムごと、かつ色成分ごとに、各画素の信号レベルと対応する色成分の平均値との差分の絶対値を演算する。そして、各カラムにおける差分値（絶対値）の平均値を算出する。前述のように、この差分平均値の演算のためには、ノイズ判定用検波領域１７２として２００ライン程度が確保される。

ここでは例として、カラム番号ｘｘｘｘにおけるＲ成分の差分平均値をＲ＿ａｖｅ＿ｘｘｘｘとすると、まず次の式（２）によって、各画素の信号レベルと平均値との差分値を積算した積算値Ｒ＿ｓｕｍ＿ｘｘｘｘが求められた後、式（３）によって差分平均値Ｒ＿ａｖｅ＿ｘｘｘｘが求められる。なお、式（２）および式（３）において、Ｒ＿ｄａｔａは、入力される各画素の信号レベルを示し、Ｒ＿ｃｏｕｎｔ＿ｄｅｔは、式（２）の演算に用いた画素の数（すなわち、式（２）の右辺における加算の回数）を示す。
Ｒ＿ｓｕｍ＿ｘｘｘｘ＝ｓｕｍ（｜Ｒ＿ｄａｔａ−Ｒ＿ａｖｅ｜） ……（２）
Ｒ＿ａｖｅ＿ｘｘｘｘ＝Ｒ＿ｓｕｍ＿ｘｘｘｘ／Ｒ＿ｃｏｕｎｔ＿ｄｅｔ ……（３）
ここで、図７および図８は、カラムランダムノイズが発生していないカラム、および発生しているカラムのそれぞれにおける信号レベル分布の例を示す図である。

カラムランダムノイズが発生していない場合には、図７に示すように、１つのカラム上の各画素からの出力信号レベルは、平均値（Ｒ成分であれば上記のＲ＿ａｖｅ）を中心としたごく狭い領域に収まる。これに対して、カラムランダムノイズが発生している場合には、図８に示すように、平均値から比較的大きく離れた信号レベルを持つ画素が多くなる。

このため、差分平均値算出部２２においてカラムごとに２００ラインといった十分なライン数だけ、平均値との差分の絶対値の加算を繰り返すことで、カラムランダムノイズが発生しているカラムでは、発生していないカラムと比較して加算値が大きくなる。ただし、この演算からは欠陥画素からの出力信号が除外される必要があり、欠陥画素の個数はカラムごとに異なることから、上記の式（３）により、算出した加算値を有効な画素の数に対応する加算回数Ｒ＿ｃｏｕｎｔ＿ｄｅｔで除算し、正規化している。

差分平均値算出部２２では、上記と同様の演算により、すべてのカラムにおける色成分ごとの差分平均値が算出され、比較判定部２３に対して受け渡される。比較判定部２３は、求められた各カラムの色成分ごとの差分平均値を比較し、差分平均値が所定のしきい値より大きいカラムを、カラムランダムノイズが発生したと判定する。

ここでは例として、カラム番号ｘｘｘｘにおけるＲ成分の差分平均値が次の式（４）の条件を満たす場合に、カラムランダムノイズが発生したと判定する。
Ｒ＿ａｖｅ＿ｘｘｘｘ−Ｒ＿ａｖｅ＞Ｒ＿ｊｕｄｇｅ＿ｌｅｖｅｌ ……（４）
なお、１つのカラムに複数（この例では２つ）の色成分が含まれる場合には、比較判定部２３では、色成分ごとにしきい値との比較を行い、それらの比較結果を基に、最終的にそのカラムでカラムランダムノイズが発生したか否かを判定する。例えば、２つの色成分の両方について上記の式（４）に対応する条件が成立したときに、カラムランダムノイズが発生したと判定する。

また、比較に用いるしきい値として、色成分ごとに異なる値を設定してもよい。例えば、人間の視覚特性上目立ちやすいＧｒ成分およびＧｂ成分については、Ｒ成分およびＢ成分と比較してしきい値を小さく設定してもよい。

さらに、被写体の明るさなどに応じて画素信号に対して印加したゲインや撮影時の温度などの撮影条件によって、カラムランダムノイズの影響による信号レベルのバラツキ具合が変化する。このため、このような撮影条件に応じて各色成分の一部またはすべてのしきい値を変化させることで、ノイズ判定精度を高めることが可能となる。この場合、例えば、ノイズ除去処理部２０ａにゲインや温度に応じたしきい値をデータテーブルとしてあらかじめ記憶しておき、撮影時に制御部１５から通知されるゲインや温度の値に応じて、比較判定部２３の処理に適用するしきい値をデータテーブルから読み込むようにする。例としては、撮影時のＩＳＯ（International Organization for Standardization）感度が高いほど（すなわちゲインが高いほど）、しきい値を低く設定する。

なお、上記のような比較手法の他に、例えば、カラムごとの差分平均値のうち最小のものを求め、その最小値と各カラムの差分平均値との差分をしきい値と比較することによって、カラムランダムノイズが発生したか否かを判定するようにしてもよい。

以上の比較判定部２３の処理により、カラムランダムノイズが発生したと判定されたカラムが信号補正部２４に対して通知される。この通知は、例えば、カラムごとのフラグ信号などによって行われる。この後、信号補正部２４に対して有効画像領域１５１からの出力信号が入力されると、信号補正部２４は、カラムランダムノイズが発生したと判定されたカラムからの出力信号を、その近傍の画素の信号を基に補正する。

図９および図１０は、信号補正に用いる画素の位置を説明するための図である。図９は、補正対象の画素がＲ成分に対応する場合を、図１０はＧｂ成分に対応する場合をそれぞれ示している。

前述の処理により、カラムランダムノイズが発生したと考えられるカラムが特定されるが、そのカラムのどの画素にどれだけのカラムランダムノイズが発生しているのかを特定することはできない。このため、本実施の形態の信号補正部２４は、そのカラムの全画素のデータを、周辺の同色成分画素の信号レベルを基に生成した補間データで置き換える。補間演算の方法は種々考えられるが、例えば、補正対象画素と同色成分で最も近い周囲の画素のうち、欠陥でない画素の信号レベルを単純平均することで補間データを求める。そして、補正対象画素の信号レベルが、それらの周囲の画素の信号のうちの最大値以上か、または最小値以下の場合にのみ、補正対象画素のデータを補間データに置き換えるようにする。なお、より正確な補間データを求めるには、周囲の画素との相関を判別し、その判別結果に応じて補間演算を行うようにしてもよい。

図９および図１０では、補間演算に用いる周辺の画素の選択の仕方の例を示している。補正対象画素がＲ成分の画素である場合、図９に示すように、最も近い同色成分の画素は水平／垂直の各方向に２画素分だけ離れた位置に存在する。また、補正対象画素がＧｂ成分の画素である場合には、補間演算にはＧｒ成分の画素を用いることも可能である。従って、図１０に示すように、補正対象画素の斜め方向に隣接するＧｒ成分の画素の信号を補間演算に用いることが可能である。

なお、カラムランダムノイズが発生したと判定されたカラムでは、ノイズ発生の影響がより目立ちやすいと考えられるＧ成分（Ｇｂ成分またはＧｒ成分）の画素のみ、補間データによる置き換えを行うようにしてもよい。

また、カラムランダムノイズが生じた画素は、特に撮影時のゲインが高い場合に目視で目立つことがわかっている。このため、ゲインが所定値より低い場合には、カラムランダムノイズが発生したと判定されたカラムについても上記のような信号補正を行わず、ゲインが所定値を超えた場合にのみ信号補正を行うようにしてもよい。

また、上記のようなノイズ除去処理部２０ａは、画像処理部１２の画像信号の伝送系において、できるだけカメラブロック１１に近い位置に設けられることが望ましい。このような位置には、一般に例えば、ＶＯＰＢ領域１５２からの出力信号を基に有効画像領域１５１からの出力信号の黒レベルを補正する黒補正部や、撮像素子１１ａ上の欠陥画素を検出してこの画素の信号を補正する欠陥補正部などが設けられている。

ノイズ除去処理部２０ａは、黒補正部の前段に設けられてもよいが、例えば黒補正部の後段にノイズ除去処理部２０ａを設けて、黒レベルが補正された画像信号を基にカラムランダムノイズを検出することで、黒レベルの補正でも解消されない信号レベルのバラツキとしてカラムランダムノイズをより正確に検出できるようになる。一方、ノイズ除去処理部２０ａが備える信号補正機能（上記の信号補正部２４）は欠陥補正部の信号補正機能と共用することも可能であり、この場合には、欠陥補正部に近い位置（例えばその前段）にノイズ除去処理部２０ａのノイズ検出機能（上記の平均値算出部２１、差分平均値算出部２２、および比較判定部２３）を設けてもよい。

以上の第１の実施の形態によれば、まず、平均算出用検波領域１７１からの出力信号を基に、入射光の影響を受けないときの信号の平均値を算出した後、ノイズ判定用検波領域１７２からの出力信号を基に、それらの出力信号のレベルが平均値から離れている画素が多いと考えられるカラムについて、カラムランダムノイズが発生したと判定する。これによって、例えばＶＯＰＢ領域１５２における出力信号の平均値のみからでは検出できなかった、特定のカラムにおけるランダムノイズを検出できるようになる。

また、このようなノイズ検出を撮影のたびに実行することで、撮影条件に応じて信号レベルにずれが生じた場合でも、そのずれを考慮してカラムランダムノイズを確実に検出できる。

さらに、ＶＯＰＢ領域１５２だけでなく、ダミー領域１６０からの出力信号も利用することで、カラムごとのノイズ検出に必要なだけの十分なライン数を確保できるとともに、その先頭の数ラインのみをカラム共通の平均値の演算のために使用することで、ダミー領域１６０のライン数が抑制される。従って、１フレームの撮影に要する時間をできるだけ短縮しつつ、十分なノイズ検出精度を得ることが可能になる。

［第２の実施の形態］
ところで、第１の実施の形態で示したノイズ除去処理部２０ａの構成では、差分平均値算出部２２において減算や加算、除算のための演算回路が必要であった。これに対して、以下の第２の実施の形態では、平均値に対するカラムごとの信号レベルのバラツキ度合いを基にカラムランダムノイズの有無を判定する点では上記の第１の実施の形態と同様であるが、その判定のための演算処理手順を大幅に減らして、回路規模や演算処理負荷を抑制する。

図１１は、第２の実施の形態におけるノイズ検出手法の概要について説明するための図である。
この図１１には、ノイズ判定用検波領域１７２のカラムのうち、カラムランダムノイズが発生しているカラムからの出力信号レベルの度数分布の例を示している。前述のように、カラムランダムノイズが発生している場合の度数分布では、センターピークに対してその上側および下側にほぼ同じだけ離れた位置にサブピークが出現することがわかっている。本実施の形態では基本的に、このサブピークに該当する画素の数をカウントすることにより、カラムランダムノイズの発生の有無を判定する。

具体的には、センターピークの上下にそれぞれ所定の幅を持つノイズ検出範囲を設定し、出力信号レベルがこのノイズ検出範囲内にある画素の数をカラムごとにカウントして、その数が所定値以上である場合にカラムランダムノイズが発生したと判定する。図１２において、しきい値ｔｈｒｅｓｈ＿ＬＬからしきい値ｔｈｒｅｓｈ＿ＬＨまでが下側のノイズ検出範囲であり、しきい値ｔｈｒｅｓｈ＿ＨＬからしきい値ｔｈｒｅｓｈ＿ＨＨまでが上側のノイズ検出範囲である。なお、実際には、このようなノイズ検出範囲を用いた画素のカウントは色成分ごとに実行される。

ところで、前述のように、撮影条件に応じて上記のセンターピークの位置は変動し得る。そこで、本実施の形態では、第２の実施の形態と同様の手順で、センターピークの位置（信号レベル）を平均算出用検波領域１７１からの出力信号に基づく平均値として算出する。そして、この平均値を基準として、上記のノイズ検出範囲の上限、下限のしきい値をその都度設定する。すなわち、図１２において、平均値ａｖｅからノイズ検出範囲の各しきい値までのレベル差ｂａｎｄ＿ｍｉｎｕｓ０，ｂａｎｄ＿ｍｉｎｕｓ１，ｂａｎｄ＿ｐｌｕｓ０，ｂａｎｄ＿ｐｌｕｓ１をあらかじめ決めておき、平均値ａｖｅの算出結果にこれらのレベル差を加算あるいは減算することにより、各しきい値を算出する。

図１２は、第２の実施の形態に係るノイズ除去処理部の構成を示すブロック図である。
図１２に示すノイズ除去処理部２０ｂは、平均値算出部２１、検出範囲設定部２５、カウンタ２６、比較判定部２７、および信号補正部２４を具備する。これらのうち、平均値算出部２１および信号補正部２４は、図６で説明した対応するブロックと同じ機能を有するので、ここではそれらの説明を省略する。

第１の実施の形態と同様の手順で、平均値算出部２１によって、平均算出用検波領域１７１からの出力信号を基に色成分ごとに信号レベルの平均値が算出された後、これらの平均値が検出範囲設定部２５に受け渡される。検出範囲設定部２５は、これらの平均値を基に、前述のノイズ検出範囲を規定するしきい値ｔｈｒｅｓｈ＿ＬＬ，ｔｈｒｅｓｈ＿ＬＨ，ｔｈｒｅｓｈ＿ＨＬ，ｔｈｒｅｓｈ＿ＨＨを算出する。

ここでは例として、Ｒ成分の平均値をＲ＿ａｖｅ、Ｒ成分についての下側のノイズ検出範囲の下限、上限をそれぞれ算出するためのレベル差をＲ＿ｂａｎｄ＿ｍｉｎｕｓ１，Ｒ＿ｂａｎｄ＿ｍｉｎｕｓ０、上側のノイズ検出範囲の下限、上限をそれぞれ算出するためのレベル差をＲ＿ｂａｎｄ＿ｐｌｕｓ０，Ｒ＿ｂａｎｄ＿ｐｌｕｓ１とすると、Ｒ成分についての下側のノイズ検出範囲の下限、上限の各しきい値Ｒ＿ｔｈｒｅｓｈ＿ＬＬ，Ｒ＿ｔｈｒｅｓｈ＿ＬＨ、および上側のノイズ検出範囲の下限、上限の各しきい値Ｒ＿ｔｈｒｅｓｈ＿ＨＬ，Ｒ＿ｔｈｒｅｓｈ＿ＨＨは、次の式（５）〜式（８）によってそれぞれ求められる。
Ｒ＿ｔｈｒｅｓｈ＿ＬＬ＝Ｒ＿ａｖｅ−Ｒ＿ｂａｎｄ＿ｍｉｎｕｓ１ ……（５）
Ｒ＿ｔｈｒｅｓｈ＿ＬＨ＝Ｒ＿ａｖｅ−Ｒ＿ｂａｎｄ＿ｍｉｎｕｓ０ ……（６）
Ｒ＿ｔｈｒｅｓｈ＿ＨＬ＝Ｒ＿ａｖｅ＋Ｒ＿ｂａｎｄ＿ｐｌｕｓ０ ……（７）
Ｒ＿ｔｈｒｅｓｈ＿ＨＨ＝Ｒ＿ａｖｅ＋Ｒ＿ｂａｎｄ＿ｐｌｕｓ１ ……（８）
以上の処理により、検出範囲設定部２５は、色成分ごとにノイズ検出範囲のしきい値を算出し、カウンタ２６に設定する。次に、ノイズ判定用検波領域１７２からの出力信号が、カウンタ２６に対して供給される。カウンタ２６は、入力される各色成分の信号のレベルが、対応するノイズ検出範囲内にあるか否かを判定し、ノイズ検出範囲に含まれる信号レベルを持つ画素の数をカラムごと、かつ色成分ごとにカウントする。

ノイズ判定用検波領域１７２からの全出力信号が供給されると、カウンタ２６からは、各カラムにおける色成分ごとのカウント値が比較判定部２７に受け渡される。比較判定部２７は、これらのカウント値を所定の判定しきい値を比較し、カウント値が判定しきい値を超えている場合に、そのカラムでカラムランダムノイズが発生したと判定する。そして、ノイズ発生と判定されたカラムを信号補正部２４に対して通知する。

ここで、図１３および図１４は、カラムランダムノイズが発生していないカラム、および発生しているカラムのそれぞれにおける画素のカウント動作について説明するための図である。

図１３は、カラムランダムノイズが発生していないカラムにおける出力信号のレベル分布の例を示しており、図１４は、カラムランダムノイズが発生しているカラムにおける出力信号のレベル分布の例を示している。また、図中のしきい値ｔｈｒｅｓｈ＿ＬＬからしきい値ｔｈｒｅｓｈ＿ＬＨまでの領域が下側のノイズ検出範囲であり、およびしきい値ｔｈｒｅｓｈ＿ＨＬからｔｈｒｅｓｈ＿ＨＨまでの領域が上側のノイズ検出範囲である。そして、カウンタ２６では、このように設定されたノイズ検出範囲内の信号レベルを持つ画素の数を、カラムごとにカウントする。

図１３に示すように、カラムランダムノイズが発生していなければ、各画素の信号レベルは平均値ａｖｅの近傍に集まる。一方、図１４に示すように、カラムランダムノイズが発生している場合には、平均値ａｖｅから離れた信号レベルを持つ画素が存在するようになる。図１１で説明したように、カラムランダムノイズが発生した場合には、信号レベルの度数分布上にサブピークが出現するので、このサブピークの近傍範囲を含むようにノイズ検出範囲を設定することで、ノイズ検出範囲内の信号レベルを持つ画素が多いほど、カラムランダムノイズが発生している可能性が高いと判断できる。

なお、このような画素のカウントのためには、第１の実施の形態と同様に、カラムランダムノイズの発生画素が十分な数だけ含まれるように、ノイズ判定用検波領域１７２として百ライン以上といったある程度のライン数を確保しておく必要がある。一方、第１の実施の形態と同様に、平均算出用検波領域１７１については数ライン程度が確保されればよい。

ところで、比較判定部２７は、例えば、同一カラムかつ同一色成分についての上側および下側の各ノイズ検出範囲でのカウント値を加算した後、これらのカウント加算値を所定の判定しきい値と比較し、カウント加算値が判定しきい値を超えた場合にカラムランダムノイズが発生したと判定する。この場合の回路構成を、次の図１５において例示する。

図１５は、比較判定部における色成分ごとのノイズ判定回路の構成例を示す図である。
この図１５では、例としてＲ成分についてのノイズ発生の有無を判定するための、カラム番号ｘｘｘｘのための回路の構成例を示している。この図１５において、比較器２０１，２０２は、ノイズ判定用検波領域１７２からのＲ成分の入力データＲ＿ｄａｔａと、しきい値Ｒ＿ｔｈｒｅｓｈ＿ＬＬ，Ｒ＿ｔｈｒｅｓｈ＿ＨＨとをそれぞれ比較する。ＡＮＤゲート２０３は、比較器２０１，２０２の各出力の論理積をとる回路であり、セレクタ２０４は、入力データＲ＿ｄａｔａと“０”のいずれかを、ＡＮＤゲート２０３の出力値に応じて選択的に出力する。このような構成により、入力データＲ＿ｄａｔａが下側のノイズ検出範囲の下限より大きく、なおかつ上側のノイズ検出範囲の上限より小さい値をとるとき、ＡＮＤゲート２０３の出力がＨレベルになって、セレクタ２０４から入力データＲ＿ｄａｔａが出力される。

また、比較器２０５は、セレクタ２０４の出力値がしきい値Ｒ＿ｔｈｒｅｓｈ＿ＬＨより小さい場合に“１”の値を出力し、カウンタ２０６は、セレクタ２０４の出力値をカウントする。これにより、下側のノイズ検出範囲内の信号レベルを持つ画素の数が、カウント値Ｒ＿ｃｏｕｎｔ＿Ｌ＿ｘｘｘｘとしてカウントされる。また、比較器２０７は、セレクタ２０４の出力値がしきい値Ｒ＿ｔｈｒｅｓｈ＿ＨＬより大きい場合に“１”の値を出力し、カウンタ２０８は、比較器２０７の出力値をカウントする。これにより、上側のノイズ検出範囲内の信号レベルを持つ画素の数が、カウント数Ｒ＿ｃｏｕｎｔ＿Ｈ＿ｘｘｘｘとしてカウントされる。

加算器２０９は、ノイズ判定用検波領域１７２の全画素に対する検波が完了した時点で、カウンタ２０６，２０８からそれぞれ出力されるカウント数Ｒ＿ｃｏｕｎｔ＿Ｌ＿ｘｘｘｘ，Ｒ＿ｃｏｕｎｔ＿Ｈ＿ｘｘｘｘを加算する。比較器２１０は、加算器２０９からのカウント加算値が、ノイズ発生を判定するための判定しきい値Ｒ＿ｊｕｄｇｅ＿ｌｅｖｅｌより大きい場合に、このカラムにおいてカラムランダムノイズが発生している可能性があることを示すノイズフラグＲ＿ｎｏｉｓｅ＿ｆｌａｇ＿ｘｘｘｘを“１”とする。

なお、以上のように、上側および下側の各ノイズ検出範囲でのカウント値を加算した後、カウント加算値を判定しきい値と比較する構成の他に、例えば、同一カラムかつ同一色成分についての上側および下側のノイズ検出範囲でのカウント値を、それぞれ個別に判定しきい値と比較し、両方のカウント値が判定しきい値を超えた場合に、そのカラムでカラムランダムノイズが発生したと判定してもよい。

また、１つのカラムに複数の色成分が含まれる場合には、色成分ごとの判定結果（上記のノイズフラグに対応）を基に、最終的な判定結果を出力する必要がある。次の図１６に、このための最終判定回路の構成を例示する。

図１６は、比較判定部における最終判定回路の構成例を示す図である。
図１６において、ノイズフラグＲ＿ｎｏｉｓｅ＿ｆｌａｇ＿ｘｘｘｘ，Ｇｂ＿ｎｏｉｓｅ＿ｆｌａｇ＿ｘｘｘｘ，Ｇｒ＿ｎｏｉｓｅ＿ｆｌａｇ＿ｘｘｘｘ，Ｂ＿ｎｏｉｓｅ＿ｆｌａｇ＿ｘｘｘｘは、それぞれＲ成分、Ｇｂ成分、Ｇｒ成分、Ｂ成分についての比較判定部２７による判定結果を示す。すなわち、これらのフラグが“１”であるときに、カラムランダムノイズが発生していると判定されたことを示す。

ベイヤ配列の場合、例えば奇数カラムにＲ成分およびＧｂ成分が含まれる構成であれば、偶数カラムにはＧｒ成分およびＢ成分が含まれる。図１６の例では、奇数カラム、偶数カラムのそれぞれについてＡＮＤゲート２２１，２２２を設け、カラム上の両方の成分についてフラグの値が“１”であれば、最終的にそのカラムでカラムランダムノイズが発生していると判定し、最終的なカラムごとのノイズフラグｎｏｉｓｅ＿ｆｌａｇ＿ｘｘｘｘを“１”にしている。

また、最終判定回路の他の構成としては、例えば、１カラムにおける各色成分のノイズフラグの値を単純加算し、その加算値が所定の基準値を超えている場合にカラムランダムノイズが発生していると判定する構成としてもよい。

なお、検出範囲設定部２５においては、ノイズ検出範囲の下限や上限を決めるためのレベル差（ｂａｎｄ＿ｍｉｎｕｓ０，ｂａｎｄ＿ｍｉｎｕｓ１，ｂａｎｄ＿ｐｌｕｓ０，ｂａｎｄ＿ｐｌｕｓ１）の値を、色成分ごとに異なる値に設定してもよい。例えば、カラムランダムノイズの影響が比較的目立ちやすいと考えられるＧ成分（Ｇｂ成分およびＧｂ成分）については、レベル差ｂａｎｄ＿ｍｉｎｕｓ１，ｂａｎｄ＿ｐｌｕｓ０を小さくするなどして、ノイズ検出範囲をより広く設定してもよい。

また、被写体の明るさに応じて画素信号に対して印加したゲインや撮影時の温度などの撮影条件によって、各色成分についての一部またはすべてのレベル差（ｂａｎｄ＿ｍｉｎｕｓ０，ｂａｎｄ＿ｍｉｎｕｓ１，ｂａｎｄ＿ｐｌｕｓ０，ｂａｎｄ＿ｐｌｕｓ１）の値を変化させてもよい。例えば、撮影時のＩＳＯ感度が高いほど（すなわちゲインが高いほど）ノイズ発生の影響が目立ちやすくなることから、レベル差ｂａｎｄ＿ｍｉｎｕｓ１，ｂａｎｄ＿ｐｌｕｓ０を小さくするなどしてノイズ検出範囲を拡大してもよい。この場合、例えば、温度や露光時間などの諸条件に応じた各パラメータをテーブルデータとして保持しておき、撮影ごとにそのときの条件に応じたパラメータを設定すればよい。

以上の比較判定部２７の処理により、カラムランダムノイズが発生したカラムが信号補正部２４に対して通知される。この後、第１の実施の形態と同様に、信号補正部２４に対して有効画像領域１５１からの出力信号が入力されると、信号補正部２４は、カラムランダムノイズが発生したと判定されたカラムからの出力信号を、その近傍の画素の信号を基に補正する。この信号補正部２４での補正手法については、第１の実施の形態で説明した通りである。

また、信号補正部２４は欠陥画素の補正機能と共用されてもよい。さらに、本実施の形態においては、下側のノイズ検出範囲の下限を示すしきい値ｔｈｒｅｓｈ＿ＬＬと、上側のノイズ検出範囲の上限を示すしきい値ｔｈｒｅｓｈ＿ＨＨとは、欠陥画素を検出するためのしきい値としても利用できる。従って、製品出荷後に発生した欠陥画素の検出機能をノイズ除去処理部２０ｂによって兼用させることで、回路規模や製造コストを抑制することもできる。

以上の第２の実施の形態によれば、入射光の影響を受けないときの信号の平均値を基準としてノイズ検出範囲を設定した後、ノイズ判定用検波領域１７２の画素のうち信号レベルがノイズ検出範囲内にあるものをカウントすることで、カラムランダムノイズの発生の有無を確実に検出できるようになる。

また、平均値算出後のノイズ検出処理においては、色成分ごとにノイズ検出範囲を決定するための加算および減算を行った後、基本的に、カラムごとに信号レベルの比較とカウント動作のみが行われる。従って、第１の実施の形態のようにカラムごとに減算、加算、除算を行う場合と比較して、回路規模や処理負荷、処理時間、消費電力を大幅に抑制することができる。

さらに、撮影のたびに平均値を演算し、その平均値を基準としてノイズ検出範囲が設定されるので、撮影条件に応じて信号レベルにずれが生じた場合でも、そのずれによるカラムランダムノイズの誤検出発生の可能性を低減できる。

なお、以上の各実施の形態では、平均値の算出や、その後のカラムごとのノイズ検出などの処理を色成分ごとに行っていたが、これらの処理は必ずしも色成分ごとに行われる必要はない。すなわち、これらの処理のための検波は入射光に応じた成分を含まない信号から行われるので、色成分ごとの感度差はきわめて小さいと考えられる。

しかし、例えば、出力画像上でのカラムランダムノイズの影響は色ごとに異なると考えられることから、上記の処理を色成分ごとに行うことで、色成分ごとにノイズ判定に用いるしきい値を変化させるなど、色成分ごとの特性に応じたノイズ検出処理を行うことが可能となり、結果的にノイズ検出の精度を向上させることができる。

また、撮像素子の構造によっては、例えば色成分ごとにカラムの出力が独立している場合がある。あるいは、複数の同色成分画素からの出力信号を加算（混合）して出力可能な構成のものもある。このように、色成分ごとの出力については多種多様な出力方法が考えられるので、上記のように色成分ごとに処理を行ってノイズ判定結果を出力する構成としておくことで、このような出力構造の違いに応じて最終的な判定方法を変化させるなど、多様な構成に対して汎用性を持たせることもできる。

また、上記の各実施の形態で示したノイズ除去処理部２０ａ，２０ｂの機能の少なくとも一部は、画像処理部１２におけるハードウェア処理でなく、例えば制御部１５などでのソフトウェア処理によって実現されてもよい。

また、ノイズ検出の基準となる平均値については、この平均値が大きく変動しないと考えられれば、上記のように撮影ごとに演算して求めるのではなく、あらかじめ設定された値を読み込んで利用するようにしてもよい。特に、黒レベルを補正した後にカラムランダムノイズの検出を行う場合には、黒レベル補正によって暗電流などによる信号レベルのバラツキが有る程度抑制されるので、平均値を固定値としてもノイズ検出精度への影響が少ない可能性がある。また、平均値を撮影のたびに（例えばシャッタ操作に応じて画像を記録するたびに）求めるのではなく、一定時間ごとに、あるいは電源投入時に求めておいて、メモリなどに保持しておき、撮影時にこれを読み込む構成としてもよい。

また、上記の各実施の形態では、平均値の演算を、カラムに関係なく取り込んだ画素信号を基に行う構成としている。これは、図５などに示した度数分布上のセンターピークの位置が、主として暗電流などのカラムの位置にあまり関係しない原因によって決まることから、カラムごとのセンターピークの位置ずれをほぼ無視できるものと考えて、処理負荷や処理時間、回路規模などを抑制することを優先したものである。例えば、いくつかのカラムでダミー領域１６０の先頭の数ラインにカラムランダムノイズが発生したとしても、その成分は数千の画素の中のたかだか数個に含まれるだけなので、平均値を算出する際には、暗電流などのカラムに関係ないノイズ成分と比較して、カラムランダムノイズの成分の影響は無視できるほど小さくなると考えられる。これに対して、平均値の演算をカラムに関係なく、できるだけ少ないラインからの出力信号を基に行うことで、平均値演算の処理負荷の軽減や処理時間の短縮、演算結果を一時記憶するメモリなどの回路規模の縮小といった効果を得ることができる。

しかし、厳密には、撮像素子１１ａの出力段回路の特性バラツキなどの影響により、センターピークの位置はカラムごとにわずかに異なると考えられる。特に、第２の実施の形態で挙げた手法では、カラムランダムノイズの発生を判定するためにカウント対象とするノイズ検出範囲が、センターピークの位置を基準とした限定された範囲となる。このため、センターピークの位置ずれがノイズ検出精度に与える影響が比較的大きくなる可能性がある。これに対して、平均算出用検波領域１７１のライン数を増やして、平均値の演算をカラムごとの出力信号を基に行うようにすることで、カラムランダムノイズ検出のための基準値を最適化し、その検出精度を高めることが可能である。

実施の形態に係る撮像装置の要部構成を示すブロック図である。 カメラブロックにおける撮像素子およびその周辺回路の構成例を示す図である。 撮像素子の受光素子領域の構成を概略的に示す図である。 撮像素子における検波領域を模式的に示す図である。 ダミー領域およびＶＯＰＢ領域における画素信号レベルの度数分布の例を示す図である。 第１の実施の形態に係るノイズ除去処理部の構成を示すブロック図である。 カラムランダムノイズが発生していないカラムにおける信号レベル分布の例を示す図である。 カラムランダムノイズが発生しているカラムにおける信号レベル分布の例を示す図である。 補正対象の画素がＲ成分に対応する場合に、信号補正に用いる画素の位置を説明するための図である。 補正対象の画素がＧｂ成分に対応する場合に、信号補正に用いる画素の位置を説明するための図である。 第２の実施の形態におけるノイズ検出手法の概要について説明するための図である。 第２の実施の形態に係るノイズ除去処理部の構成を示すブロック図である。 カラムランダムノイズが発生していないカラムにおける画素のカウント動作について説明するための図である。 カラムランダムノイズが発生しているカラムにおける画素のカウント動作について説明するための図である。 比較判定部における色成分ごとのノイズ判定回路の構成例を示す図である。 比較判定部における最終判定回路の構成例を示す図である。

符号の説明

１１……カメラブロック、１１ａ……撮像素子、１２……画像処理部、１３……ＳＤＲＡＭ、１４……表示部、１５……制御部、１６……フラッシュメモリ、１７……外部メモリコントローラ、１７ａ……外部メモリ、１８……操作部、２０ａ，２０ｂ……ノイズ除去処理部、２１……平均値算出部、２２……差分平均値算出部、２３，２７……比較判定部、２４……信号補正部、２５……検出範囲設定部、２６……カウンタ

Claims (18)

1. ＸＹアドレス走査型の固体撮像素子からの出力信号からノイズを検出するノイズ検出装置において、
   前記固体撮像素子上で入射光を受光する有効画像領域からの出力信号を取り込む前に、前記固体撮像素子のカラムごとの出力信号系統に前記固体撮像素子への入射光に応じた信号成分を含まないように出力させた黒ダミー信号を、前記固体撮像素子上のライン単位で取り込む信号取り込み部と、
   前記黒ダミー信号の信号レベルの平均値に対応する基準値を取得する基準値取得部と、
   前記信号取り込み部から所定ライン数分の前記黒ダミー信号の入力を受け付け、当該黒ダミー信号のカラムごとの信号レベルと、前記基準値取得部からの前記基準値とを基に、ランダムノイズが発生しているカラムを判定するノイズ判定部と、
   を有することを特徴とするノイズ検出装置。
2. 前記ノイズ判定部は、入力された前記黒ダミー信号の信号レベルの前記基準値に対するバラツキ度合いが大きいカラムを、前記ランダムノイズが発生していると判定することを特徴とする請求項１記載のノイズ検出装置。
3. 前記ノイズ判定部は、前記所定ライン数分の前記黒ダミー信号のカラムごとの信号レベルと、前記基準値取得部からの前記基準値に応じて規定されるしきい値とを比較して、その比較結果を基に前記ランダムノイズが発生しているカラムを判定することを特徴とする請求項２記載のノイズ検出装置。
4. 前記ノイズ判定部は、前記基準値取得部からの前記基準値の上側および下側にそれぞれ所定の信号レベル分だけ離れた位置に、前記しきい値によって規定されるノイズ検出範囲を設定し、入力された前記黒ダミー信号を基に、前記ノイズ検出範囲内の出力信号レベルを持つ画素をカウントし、そのカウント値が所定の判定しきい値を超えたカラムを、前記ランダムノイズが発生していると判定することを特徴とする請求項３記載のノイズ検出装置。
5. 前記ノイズ判定部は、前記ノイズ検出範囲の上限または下限の少なくとも一方の、前記基準値に対する相対的なレベル差を、撮影条件に応じて変化させることを特徴とする請求項４記載のノイズ検出装置。
6. 前記基準値取得部は、前記基準値を色成分ごとに取得し、
   前記ノイズ判定部は、入力された前記黒ダミー信号の信号レベルと前記基準値とに基づく判定処理を色成分ごとに実行するとともに、前記ノイズ検出範囲を色成分ごとに異なる範囲に設定することを特徴とする請求項４記載のノイズ検出装置。
7. 前記ノイズ判定部は、前記所定ライン数分の前記黒ダミー信号の信号レベルと前記基準値との差分値を演算し、カラムごとの前記差分値を基に前記ランダムノイズが発生しているカラムを判定することを特徴とする請求項２記載のノイズ検出装置。
8. 前記ノイズ判定部は、カラムごとに前記差分値の平均である差分平均値を演算し、前記差分平均値が所定の判定しきい値を超えたカラムを、前記ランダムノイズが発生していると判定することを特徴とする請求項７記載のノイズ検出装置。
9. 前記ノイズ判定部は、前記判定しきい値を撮影条件に応じて変化させることを特徴とする請求項８記載のノイズ検出装置。
10. 前記基準値取得部は、前記基準値を色成分ごとに取得し、
    前記ノイズ判定部は、入力された前記黒ダミー信号の信号レベルと前記基準値とに基づく判定処理を色成分ごとに実行するとともに、前記判定しきい値を色成分ごとに異なる値に設定することを特徴とする請求項８記載のノイズ検出装置。
11. 前記基準値取得部は、前記ノイズ判定部に前記黒ダミー信号が入力される直前に、前記ノイズ判定部に入力されるライン数より少ないライン数の前記黒ダミー信号を前記信号取り込み部から受け付け、前記基準値を、当該黒ダミー信号の信号レベルの前記平均値を演算することで取得することを特徴とする請求項１記載のノイズ検出装置。
12. 前記固体撮像素子の出力段には、カラムごとにデジタル出力回路が個別に設けられていることを特徴とする請求項１記載のノイズ検出装置。
13. 前記信号取り込み部は、前記黒ダミー信号の少なくとも一部を、前記各デジタル出力回路に入力信号のない状態で出力させることで取り込むことを特徴とする請求項１２記載のノイズ検出装置。
14. 前記信号取り込み部により取り込まれる前記黒ダミー信号は、前記各デジタル出力回路に入力信号のない状態で出力させることで取り込んだ第１の信号と、前記第１の信号の取り込み直後に、前記固体撮像素子において前記有効画像領域の垂直方向に隣接した遮光領域の画素から出力された第２の信号とを含むことを特徴とする請求項１２記載のノイズ検出装置。
15. 前記基準値取得部は、前記ノイズ判定部に前記黒ダミー信号が入力される直前に、前記ノイズ判定部に入力されるライン数より少ないライン数の前記黒ダミー信号を前記信号取り込み部から受け付けて、前記基準値を、当該黒ダミー信号の信号レベルの前記平均値を演算することで取得し、
    前記基準値取得部には、前記黒ダミー信号として前記第１の信号が入力され、その後に、前記ノイズ判定部に対して、前記黒ダミー信号として前記第１の信号と前記第２の信号とが入力されることを特徴とする請求項１４記載のノイズ検出装置。
16. 前記ノイズ判定部への前記黒ダミー信号の入力の後に前記固体撮像素子の前記有効画像領域から出力される信号のうち、前記ノイズ判定部により前記ランダムノイズが発生していると判定されたカラムの信号を、その近傍の同色成分の画素からの出力信号を基に補正する信号補正部をさらに有することを特徴とする請求項１記載のノイズ検出装置。
17. ＸＹアドレス走査型の固体撮像素子を用いて画像を撮像する撮像装置において、
    前記固体撮像素子上で入射光を受光する有効画像領域からの出力信号を取り込む前に、前記固体撮像素子のカラムごとの出力信号系統に前記固体撮像素子への入射光に応じた信号成分を含まないように出力させた黒ダミー信号を、前記固体撮像素子上のライン単位で取り込む信号取り込み部と、
    前記黒ダミー信号の信号レベルの平均値に対応する基準値を取得する基準値取得部と、
    前記信号取り込み部から所定ライン数分の前記黒ダミー信号の入力を受け付け、当該黒ダミー信号のカラムごとの信号レベルと、前記基準値取得部からの前記基準値とを基に、ランダムノイズが発生しているカラムを判定するノイズ判定部と、
    を有することを特徴とする撮像装置。
18. ＸＹアドレス走査型の固体撮像素子からの出力信号からノイズを検出するためのノイズ検出方法において、
    信号取り込み部が、前記固体撮像素子上で入射光を受光する有効画像領域からの出力信号を取り込む前に、前記固体撮像素子のカラムごとの出力信号系統に前記固体撮像素子への入射光に応じた信号成分を含まないように出力させた黒ダミー信号を、前記固体撮像素子上のライン単位で取り込み、
    基準値取得部が、前記黒ダミー信号の信号レベルの平均値に対応する基準値を取得し、
    ノイズ判定部が、前記信号取り込み部から所定ライン数分の前記黒ダミー信号の入力を受け付け、当該黒ダミー信号のカラムごとの信号レベルと、前記基準値取得部からの前記基準値とを基に、ランダムノイズが発生しているカラムを判定する、
    ことを特徴とするノイズ検出方法。

Images