JP2008048191A

JP2008048191A - 固定パターンノイズ除去装置および撮像装置

Info

Publication number: JP2008048191A
Application number: JP2006222320A
Authority: JP
Inventors: Chikanori Sanhongi; 慎典三本木
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2006-08-17
Filing date: 2006-08-17
Publication date: 2008-02-28

Abstract

【課題】撮像素子の１画面よりも水平方向の画素数が少ない領域における固定ノイズパターンを除去する際に、メモリ容量の無駄を削減できる固定パターンノイズ除去装置および撮像装置を提供する。
【解決手段】撮像素子２２の有効画素領域２５の中で該領域よりも水平方向の画素数が少ない一部領域５Ａに発生する固定パターンノイズの除去装置であって、有効画素領域を遮光したときに、一部領域５Ａの少なくとも１つの水平ライン（指定エリア(５Ｃ)の水平ライン）から得られる遮光データを記憶する記憶手段と、有効画素領域を露光したときに、一部領域５Ａから得られる露光データの固定パターンノイズを前記遮光データに基づいて補正する補正手段とを備える。
【選択図】図４

Description

本発明は、撮像素子の出力に含まれる固定パターンノイズを除去する固定パターンノイズ除去装置および撮像装置に関する。

撮像素子の出力に含まれる固定パターンノイズを除去するために、少なくとも１画面分の遮光データを撮像素子から読み出してフレームメモリに記憶し、露光データからフレームメモリ内の遮光データを減算することが提案されている（例えば特許文献１を参照）。
特開平１１−１７７８９１号公報

しかし、固定パターンノイズは、撮像素子の有効画素領域（１画面）の全体に発生するとは限らず、１画面よりも小さい領域のみに発生することもある。例えば、ＣＣＤセンサのように各画素の電荷を垂直方向と水平方向とに転送して読み出す撮像素子の場合、固定パターンノイズは、水平転送用の駆動パルスの波形変化に起因し、１画面よりも水平方向の画素数が少ない領域に限定的に発生する。この場合、上記の装置と同様に、１画面分の遮光データを記憶すると、固定パターンノイズとは関係のない不要なデータも記憶することになり、その分だけメモリ容量が無駄になってしまう。

本発明の目的は、撮像素子の１画面よりも水平方向の画素数が少ない領域における固定ノイズパターンを除去する際に、メモリ容量の無駄を削減できる固定パターンノイズ除去装置および撮像装置を提供することにある。

本発明の固定パターンノイズ除去装置は、撮像素子の有効画素領域の中で該領域よりも水平方向の画素数が少ない一部領域に発生する固定パターンノイズの除去装置であって、前記有効画素領域を遮光したときに、前記一部領域の少なくとも１つの水平ラインから得られる遮光データを記憶する記憶手段と、前記有効画素領域を露光したときに、前記一部領域から得られる露光データの前記固定パターンノイズを、前記遮光データに基づいて補正する補正手段とを備えたものである。

また、上記の固定パターンノイズ除去装置において、前記記憶手段は、前記一部領域の中の一部の前記水平ラインから得られる前記遮光データを記憶するものである。
また、上記の固定パターンノイズ除去装置において、前記撮像素子を制御し、前記一部領域の複数の水平ラインの電荷を垂直方向に転送して加算した後、加算後の電荷を水平方向に転送することで、前記複数の水平ラインから前記遮光データを読み出す制御手段を備え、前記記憶手段は、前記複数の水平ラインから前記制御手段が読み出した前記遮光データを記憶するものである。

本発明の撮像装置は、被写体像を撮像する撮像素子と、前記撮像素子の後段に配置された上記の固定パターンノイズ除去装置とを備えたものである。

本発明によれば、撮像素子の１画面よりも水平方向の画素数が少ない領域における固定ノイズパターンを除去する際に、メモリ容量の無駄を削減することができる。

以下、図面を用いて本発明の実施形態を詳細に説明する。
本実施形態の固定パターンノイズ除去装置１０は、図１に示す通り、例えばデジタルカメラなどの撮像装置２０に組み込まれる。
撮像装置２０には、固定パターンノイズ除去装置１０の他、撮影レンズ２１や撮像素子２２などが設けられる。また、固定パターンノイズ除去装置１０は、撮像素子２２の後段に配置される。

撮像素子２２は、ＣＣＤセンサであり、その有効画素領域２５（図２）の各画素の電荷を垂直方向と水平方向とに転送した後、外部に出力する。撮像素子２２の出力は、不図示のＡ/Ｄ変換器などを介した後、デジタルデータとして固定パターンノイズ除去装置１０に導かれる。
撮像素子２２の出力に含まれる固定パターンノイズは、有効画素領域２５から水平転送路２６に転送された電荷を水平方向に高速転送する際、不図示のドライバから水平転送路２６に供給される駆動パルスの波形が正常でなくなったときに発生する。

また、このような水平転送用の駆動パルスの波形変化に起因する固定パターンノイズは、水平転送を開始した直後の電源回路の変動によって発生することが多い。水平転送を開始した直後、電源回路には急に負荷が掛かり、そのことによって電源回路が変動して、水平転送用の駆動パルスの波形が正常ではなくなる。そして、駆動パルスの波形変化によって固定パターンノイズが発生する。

このため、固定パターンノイズの発生箇所は、水平転送の開始位置、つまり、水平転送路２６の中で出力アンプ２７側に位置する一部領域６Ａに限定される。
さらに、上記の固定パターンノイズは、有効画素領域２５の各々の水平ラインの電荷を水平転送するごとに同じように（つまり水平転送の開始位置である一部領域６Ａにおいて繰り返し）発生する。

したがって、撮像素子２２の有効画素領域２５（１画面）の中では、上記した一部領域６Ａに対応する垂直方向に沿った帯状の一部領域５Ａが、固定パターンノイズの発生箇所となる。一部領域５Ａは、有効画素領域２５よりも小さく、有効画素領域２５よりも水平方向の画素数が少ない領域である。
有効画素領域２５の一部領域５Ａにおける固定パターンノイズのレベルは、垂直方向の各ライン内で略一定となる。また、固定パターンノイズのレベルは、撮像素子２２を用いた撮影の条件のうち温度に依存して変動すると考えられる。

なお、一部領域５Ａの大きさや位置は、撮像素子２２と電源回路(不図示)との組み合わせによって略決まる。このため、撮像装置２０の工場出荷前に予め固定パターンノイズの測定を行い、その発生箇所である一部領域５Ａの大きさや位置を特定するアドレス情報を撮像装置２０のメモリ内に予め記憶しておくことができる。
上記した一部領域５Ａにおける固定パターンノイズを除去するため、本実施形態の固定パターンノイズ除去装置１０には、図１に示す通り、切換部１１と、ラインメモリ１２と、補正データ算出部１３と、減算部１４と、制御部１５とが設けられる。

制御部１５は、撮像素子２２の前面に配置されたシャッタ２Ａの開閉制御のタイミング（図３）と同期して、撮像素子２２の読み出し制御を行い、切換部１１の切り換え制御も行う。切換部１１は、制御部１５からの指令に応じて撮像素子２２の出力先を切り換え、ラインメモリ１２または減算部１４に設定する。
撮像装置２０のレリーズ操作に応じたトリガの入力を検知すると、制御部１５は、撮像素子２２の出力先をラインメモリ１２の方に設定し、シャッタ２Ａを閉めて撮像素子２２の有効画素領域２５を遮光した状態で、撮像素子２２の読み出しを開始させる。撮像素子２２の出力は遮光データである。

そして、撮像素子２２の有効画素領域２５（図２）の中で、この領域２５よりも小さく、この領域２５よりも垂直方向の画素数（すなわちライン数）が少ない一部領域５Ｂ（図４(ａ)）に注目し、一部領域５Ｂの複数の水平ラインの遮光データを読み出した後、各々の水平ラインの先頭部分５Ｃ（図４(ｂ)）の遮光データを選択的にラインメモリ１２に記憶させる。

読み出し対象の一部領域５Ｂのライン数ｍと記憶対象の先頭部分５Ｃの画素数ｎは予め指定され、この指定エリア(ｍ×ｎ画素)から得られる遮光データのみがラインメモリ１２に記憶されたことになる。指定エリア(ｍ×ｎ画素)は、図４(ｂ)の先頭部分５Ｃに対応している。
本実施形態では、指定エリア(５Ｃ)のライン数ｍと同数のラインメモリ１２が予め用意される。そして、各々のラインメモリ１２に指定エリア(５Ｃ)の各々の水平ラインの遮光データが順に記憶される。各々のラインメモリ１２の容量は、指定エリア(５Ｃ)の各々の水平ラインの遮光データ（画素数ｎ）を記憶可能な最小限の容量とすることが好ましい。

指定エリア(５Ｃ)の水平方向の画素数ｎは、固定パターンノイズの発生箇所（一部領域５Ａ）の水平方向の画素数と同じである。指定エリア(５Ｃ)のライン数ｍは、後述の補正データ算出部１３における加算平均処理と併せて説明する。
指定エリア(５Ｃ)の複数の水平ラインの遮光データのプロファイルは、例えば図５(ａ)に示すように、固定パターンノイズ(FPN)と不図示のランダムノイズを含んでいる。図５(ａ)には４ライン分のプロファイル(1)〜(4)を例示した。図５(ａ)の横軸は位置、縦軸はレベルを表す。図中の実線は記憶データが存在することを表し、点線は記憶データが存在しないことを表している。

これらのプロファイル(1)〜(4)を比較すると分かるように、固定パターンノイズ(FPN)は、各ラインごとに略一定である。これに対し、ランダムノイズ(不図示)は、各ラインごとに異なる大きさで異なる位置に発生する。
本実施形態の固定パターンノイズ除去装置１０は、上記のようにして指定エリア(５Ｃ)の複数の水平ラインの遮光データ（図５(ａ)）をラインメモリ１２に記憶し終えると、各ラインメモリ１２の遮光データを補正データ算出部１３に出力する。

補正データ算出部１３では、まず、各ラインメモリ１２の遮光データのレベルを同一のアドレスどうしで加算し、図５(ｂ)に示すようなプロファイルのデータを生成する。次に、加算後のデータ（図５(ｂ)）の各レベルを指定エリア(５Ｃ)のライン数ｍで除算し、図５(ｃ)に示すようなプロファイルのデータを生成する。このように複数ラインの遮光データを加算して除算する処理は、複数ラインの遮光データに対する加算平均処理である。

複数ラインの遮光データに対して加算平均処理を施すことにより、指定エリア(５Ｃ)のライン数ｍに応じてランダムノイズを低減することができる。そして、ランダムノイズの低減された１ラインの遮光データ（図５(ｃ)）を補正データとして生成することができる。この補正データには固定パターンノイズ(FPN)に応じたレベル変化が現れている。
加算平均処理では、指定エリア(５Ｃ)のライン数ｍが多いほどランダムノイズを効果的に低減できる。例えば撮像素子２２の有効画素領域２５の水平ラインの総数が２０００本の場合、指定エリア(５Ｃ)のライン数ｍとしては３２本以上が好ましく、１２８本程度がより好ましい。ただし、ライン数ｍを増やすとラインメモリ１２の総容量も増えるため、許容できるランダムノイズのレベルに応じて最小限のライン数ｍとすることが好ましい。

補正データ算出部１３は、加算平均処理によって得られた１ラインの補正データ（図５(ｃ)）を後段の減算部１４に出力し、減算部１４のメモリに格納する。本実施形態では、概略、この補正データ（図５(ｃ)）を用いた減算処理によって、撮像素子２２の有効画素領域２５（図２）の中の一部領域５Ａに現れる固定パターンノイズの除去処理を行う。
一方、固定パターンノイズ除去装置１０の制御部１５は、撮像素子２２の有効画素領域２５の一部領域５Ｂ（図４(ａ)）から遮光データを読み出し終えると、シャッタ２Ａを開けて撮像素子２２を露光する（図３）。このとき、撮像素子２２の撮像面には撮影レンズ２１を介して被写体像が形成される。そして、撮像素子２２は撮像面の被写体像を撮像し、有効画素領域２５の各画素に被写体像に応じた電荷を蓄積する。

その後、制御部１５は、シャッタ２Ａを開放してから所定時間が経過すると、シャッタ２Ａを閉める。そして、切換部１１を制御して撮像素子２２の出力先を減算部１４の方に設定し、撮像素子２２の読み出しを開始させる。この場合、撮像素子２２の出力は、露光データであり、被写体像に応じたシグナル成分に固定パターンノイズ（一部領域５Ａ）が重畳したものとなる。この露光データは減算部１４に導かれる。

なお、上記した補正データ算出部１３における演算処理は、撮像素子２２の露光中（図３）に終了するため、撮像素子２２から露光データの読み出しが開始されたときには、既に、撮像素子２２の出力の固定パターンノイズ（一部領域５Ａ）に関わる１ラインの補正データ（図５(ｃ)）が減算部１４のメモリに格納されている。
このため、固定パターンノイズ除去装置１０の減算部１４では、撮像素子２２の有効画素領域２５から各々の水平ラインごとに順に露光データ（図６(ａ)）が読み出される間、メモリ内の補正データ（図５(ｃ)）を用いて各々の水平ラインの露光データ（図６(ａ)）に対する補正処理を行うことができる。

つまり、各々の水平ラインの露光データのうち、先頭部分（一部領域５Ａに対応）からメモリ内の補正データ（図５(ｃ)）を減算していく。その結果、各々の水平ラインの露光データの先頭部分（一部領域５Ａに対応）に重畳していた固定パターンノイズ(FPN)が除去され、被写体像に応じたシグナル成分からなる最終的な撮像データ（図６(ｂ)）を得ることができる。

なお、露光データに含まれる固定パターンノイズ(FPN)は、垂直方向の各ライン内で略一定と考えられる。このため、減算部１４のメモリ内の同じ補正データ（図５(ｃ)）を露光データの各々の水平ラインの減算処理に適用しても、露光データの全ての水平ラインで、そのノイズ成分を良好に除去することができる。
このように、本実施形態の固定パターンノイズ除去装置１０では、撮像素子２２の有効画素領域２５を遮光したときに、その一部領域５Ａ（固定パターンノイズの発生箇所）の中の指定エリア(５Ｃ)の水平ラインから得られる遮光データ（図４(ｂ),図５(ａ)）を記憶する。そして、有効画素領域２５を露光したときに、その一部領域５Ａから得られる露光データの固定パターンノイズ(FPN)を遮光データ（図４(ｂ),図５(ａ)）に基づいて補正し、これを除去する。

したがって、撮像素子２２の有効画素領域２５（１画面）よりも水平方向の画素数が少ない領域（一部領域５Ａ）における固定パターンノイズ(FPN)を除去する際に、固定パターンノイズと関係したデータのみを選択的に記憶することになり、固定パターンノイズとは関係のない不要なデータを記憶することがない。このため、メモリ容量の無駄を削減することができる。

また、本実施形態の固定パターンノイズ除去装置１０では、遮光データを記憶する際のバッファメモリの容量を節約できるため、部品の小型化、低コスト化、省電力を実現できる。本実施形態のノイズ除去装置１０で必要となるバッファメモリの容量は、概略、指定エリア(５Ｃ)のライン数ｍおよび画素数ｎに応じて決まる。
さらに、本実施形態の固定パターンノイズ除去装置１０では、有効画素領域２５の一部領域５Ａ（固定パターンノイズの発生箇所）の中の複数の水平ラインからの遮光データを記憶するため、加算平均処理によってランダムノイズの低減された１ラインの遮光データ（図５(ｃ)）を補正データとして生成することができる。このため、露光データに対する補正処理を良好に行うことができる。

ただし、加算平均処理を行わなくても遮光データのランダムノイズが許容できる場合には、一部領域５Ａ（固定パターンノイズの発生箇所）の中の１つの水平ラインの遮光データのみを記憶しても構わない。つまり、一部領域５Ａの中の少なくとも１つの水平ラインから得られる遮光データを記憶する場合に、本発明を適用できる。
また、本実施形態の固定パターンノイズ除去装置１０は、有効画素領域２５の一部領域５Ａ（固定パターンノイズの発生箇所）の中の一部の指定エリア(５Ｃ)から得られる遮光データを記憶するため、メモリ容量の無駄を大幅に削減することができる。

ただし、一部領域５Ａの全てを指定エリアとして、一部領域５Ａの全ての水平ラインの遮光データを記憶する場合でも、従来の装置（１画面分の遮光データを記憶）と比較してメモリ容量の無駄を削減することができる。
さらに、一部領域５Ａの中の一部を指定エリア(５Ｃ)とする場合には、１画面分の遮光データを読み出さず、指定エリア(５Ｃ)のライン数ｍに応じた一部領域５Ｂ（図４(ａ)）の水平ラインのみを読み出すことになる。このため、遮光データに関わる読み出し時間を短縮でき、固定パターンノイズの除去処理に掛かる時間を短縮できる。

（変形例）
なお、上記した実施形態では、露光データに対する補正処理の際に、各々の水平ラインの露光データの先頭部分（一部領域５Ａに対応）からメモリ内の補正データ（図５(ｃ)）を減算し、その他の部分について減算を行わなかったが、本発明はこれに限定されない。ランダムノイズに起因するＤＣ成分が補正データ（図５(ｃ)）に含まれる場合は、補正データ（図５(ｃ)）のＤＣ成分を各々の水平ラインの露光データの先頭部分以外から減算することが好ましい。このような減算処理を付加することで、より高品質な画像を得ることができる。

また、上記した実施形態では、有効画素領域２５の一部領域５Ａの指定エリア(５Ｃ)のライン数ｍと同数のラインメモリ１２に指定エリア(５Ｃ)の各々の水平ラインの遮光データをそれぞれ記憶し、積算されたプロファイルデータを作成するとしたが、本発明はこれに限定されるものではない。
例えば、読み出された遮光データの水平ラインを一時的に記憶するための第１のラインメモリ、および、順次読み出されて第１のラインメモリに記憶される各遮光データの水平ラインデータを順次積算した積算値を記憶する第２のラインメモリの２つのラインメモリを用意するとしてもよい。

補正データ算出部１３は、指定エリア(５Ｃ)のラインデータが読み出されて上記の第１のラインメモリに記憶されるたびに、第１のラインメモリと第２のラインメモリの遮光データを読み出して同一のアドレスどうしで加算したものを、再び、第２のラインメモリに書き直す。なお、読み出し開始時には、第２のラインメモリにはゼロの値が代入される。上記の処理をライン数ｍを読み込むまで繰り返すと、読み込み終了後、第２のラインメモリには、指定エリア(５Ｃ)のライン数ｍの積算値を示す図５(ｂ)のようなプロファイルデータが作成されることになる。これにより、ノイズ除去処理に必要なライン数を最小限に抑えることができる。

さらに、上記した実施形態では、撮像素子２０の露光前（レリーズ直後）に遮光データを読み出したが（図３）、遮光データの読み出しを露光後に行っても構わない。この場合でも、同様の効果を得ることができる。

固定パターンノイズ除去装置１０の全体構成を示すブロック図である。固定パターンノイズの発生箇所（一部領域５Ａ）を説明する図である。シャッタ２Ａの開閉制御と撮像素子２０の読み出し制御のタイミングを説明する図である。遮光データの読み出し対象（一部領域５Ｂ）と、記憶対象の指定エリア（先頭部分５Ｃ）を説明する図である。読み出された複数の遮光データと加算平均処理を説明する図である。減算部１４における減算処理を説明する図である。

符号の説明

１０固定パターンノイズ除去装置；１１切換部；１２ラインメモリ；
１３補正データ算出部；１４減算部；１５制御部；２０撮像装置；
２１撮影レンズ；２２撮像素子；２Ａシャッタ；２５有効画素領域；
２６水平転送路；５Ａ,５Ｂ,６Ａ一部領域；５Ｃ先頭部分（指定エリア）

Claims

撮像素子の有効画素領域の中で該領域よりも水平方向の画素数が少ない一部領域に発生する固定パターンノイズの除去装置であって、
前記有効画素領域を遮光したときに、前記一部領域の少なくとも１つの水平ラインから得られる遮光データを記憶する記憶手段と、
前記有効画素領域を露光したときに、前記一部領域から得られる露光データの前記固定パターンノイズを、前記遮光データに基づいて補正する補正手段とを備えた
ことを特徴とする固定パターンノイズ除去装置。
請求項１に記載の固定パターンノイズ除去装置において、
前記記憶手段は、前記一部領域の中の一部の前記水平ラインから得られる前記遮光データを記憶する
ことを特徴とする固定パターンノイズ除去装置。
請求項１または請求項２に記載の固定パターンノイズ除去装置において、
前記撮像素子を制御し、前記一部領域の複数の水平ラインの電荷を垂直方向に転送して加算した後、加算後の電荷を水平方向に転送することで、前記複数の水平ラインから前記遮光データを読み出す制御手段を備え、
前記記憶手段は、前記複数の水平ラインから前記制御手段が読み出した前記遮光データを記憶する
ことを特徴とする固定パターンノイズ除去装置。
被写体像を撮像する撮像素子と、
前記撮像素子の後段に配置された請求項１から請求項３の何れか１項に記載の固定パターンノイズ除去装置とを備えた
ことを特徴とする撮像装置。