JP2004208240A - 撮像装置 - Google Patents

Abstract

【課題】従来の固定パターンノイズ除去装置は、ビデオカメラなど連続的に撮像するシステムの場合、前段アンプの利得変化や、固体撮像素子の温度上昇による固定パターンノイズ変化に、追従することができなかった。
【解決手段】固体撮像素子２０１のオプティカルブラック領域２０１ａにおける一水平走査線分の出力信号を、フィールドまたはフレーム毎に、再帰型ディジタルフィルタ１１０に通し、これによって得られたデータを、補正データとして、上記固体撮像素子２０１の有効撮像領域における各水平走査線分の出力信号から、画素ごとに減算器１２０により減算する構成とした。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置に関し、特に固体撮像素子の固定パターンノイズを除去する方法に関するものである。
【０００２】
【従来の技術】
固体撮像素子はその出力を再生したとき、特定の部分に縦方向の縞模様が現れることがある。これは、各固体撮像素子毎に固定のパターンを有することが原因で生ずる場合や、あるいは、固体撮像素子の駆動パルスと同期した周波数成分を含んだ外来ノイズにより生ずる場合などがある。
【０００３】
以上のような、固体撮像素子の固定パターンノイズは、画面一面に現れるため、通常の固体撮像素子において構成されている、撮像面に定常的に光が入射しない領域（オプティカルブラック領域）においても、同様に発生している。また、縦方向の縞模様であるため、各水平走査線においては、同一水平位置に同レベルのノイズが発生していると考えられる。このような観点から、固体撮像素子のオプティカルブラック領域の走査線の出力信号から固定パターンノイズを検出し、除去、あるいは低減せしめんとする、従来の撮像素子の固定パターンノイズ除去装置は、固体撮像素子のオプティカルブラック領域の複数の水平走査線分の出力信号を、垂直走査方向に加算し平均した一水平走査線分の信号を記憶しておき、有効撮像領域における各水平走査線分の出力信号から、画素ごとに同じ水平タイミングの上記記憶された加算平均値を減算するようにしている。
【０００４】
この構成では、複数の水平走査線分の平均値を求め減算するため、ランダムノイズによる誤動作を防止することができる。
【０００５】
さらに、固体撮像素子の駆動パルスに対して非同期の周波数成分を含んだ、外来妨害によるパターン化されたノイズ（例えば、斜め方向に動きのある線ノイズ）に対しても、誤動作を防止できる構成となっている。
【０００６】
【特許文献１】
特開平１０−３１３４２８号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、上記特許文献１に記載の方法では、その効能をより高めるためには、多数の水平走査線分のオプティカルブラック領域、または多ビットの加算器およびメモリを設ける必要があり、効率的ではない。
【０００８】
また、撮像面の全面を一時的に光が入射しない状態を作り、その時の有効撮像領域の出力信号を、垂直走査方向に加算し平均した一水平走査線分の信号を記憶し、減算する手法の場合も、多数の水平走査線分の、または多ビットのメモリを設ける必要がある。
【０００９】
しかも、メモリに記憶させる動作を、工場出荷時または電源オン時に一時的に行う場合には、前段のアンプ利得や、前記固定パターンノイズの温度変化には、追従できないこととなる。
【００１０】
この発明は、上記のような従来の問題点を解消するためになされたもので、ランダムノイズによる誤動作、または固体撮像素子の駆動パルスに対して非同期の周波数成分を含んだ外来妨害によるノイズによる誤動作を、回避することができるとともに、ビデオカメラなどの連続的に撮像するシステムにおいても、被写体の照度変化に伴う前段アンプの利得変化、また固定パターンノイズの温度変化にも追従することのできる撮像装置を提供することを目的としている。
【００１１】
【課題を解決するための手段】
前記課題を解決するために、本発明（請求項１）にかかる撮像装置は、固体撮像素子のオプティカルブラック領域における一水平走査線分の出力信号を、所定のフィールドまたはフレーム周期で動作する再帰型ディジタルフィルタに通し、上記再帰型ディジタルフィルタ内のメモリの出力信号を、上記固体撮像素子の有効撮像領域における各水平走査線分の出力信号から、画素ごとに減算することを特徴としたものである。
【００１２】
本発明（請求項２）にかかる撮像装置は、請求項１記載の撮像装置において、上記再帰型デジタルフィルタは、現在のオプティカルブラック領域の一水平走査線の出力信号と上記メモリに蓄積された信号との平均値を求めて上記メモリに蓄積する、ものとしたものである。
【００１３】
これらの構成により、ランダムノイズによる誤動作、または固体撮像素子の駆動パルスに対して非同期の周波数成分を含んだ外来妨害によるノイズによる誤動作を、回避することができるものである。さらに、ビデオカメラなどの連続的な撮像中も、常時動作させることが可能であり、被写体の照度変化に伴う前段アンプの利得変化、また固定パターンノイズの温度変化にも追従することができるものである。
【００１４】
【発明の実施の形態】
本発明における撮像装置は、固体撮像素子のオプティカルブラック領域における一水平走査線分の出力信号を、所定のフィールドまたはフレーム周期で動作する再帰型ディジタルフィルタに通し、上記固体撮像素子の有効撮像領域における各水平走査線分の出力信号から、上記再帰形ディジタルフィルタ内のメモリの出力信号を、画素ごとに減算することを特徴とし、これにより、画像の固定パターンノイズを除去することができる、あるいは低減することができる作用を有する。
【００１５】
（実施の形態１）
以下、本発明の実施の形態について図面を参照しながら説明する。
図１（ａ）、（ｂ）、（ｃ）は本発明の実施の形態１による撮像装置を説明するためのものであり、（ａ）は本実施の形態１による撮像装置のブロック図、（ｂ）は本実施の形態１における再帰形ディジタルフィルタの動作を示す図、（ｃ）は本実施の形態１における、固体撮像素子の出力と、補正データとの関係を示す図である。
【００１６】
図１（ａ）において、２００は撮像系回路ブロック、１００は撮像系回路ブロック２００の出力信号に含まれる、固定パターンノイズを除去する固定パターンノイズ除去回路の回路ブロック、３００は撮像系回路ブロック２００、および固定パターンノイズ除去回路の回路ブロック１００を駆動するための駆動回路ブロックである。撮像系回路ブロック２００は、固体撮像素子２０１と、固体撮像素子２０１の出力信号を増幅させる第１のアンプ２０２と、該第１のアンプ２０２の出力信号をディジタル信号に変換するＡ／Ｄコンバータ２０３、とで構成される。なお、２０１ａは、固体撮像素子２０１に形成された一水平走査線分のオプティカルブラック領域を示している。
【００１７】
上記固定パターンノイズ除去回路の回路ブロック１００は、Ａ／Ｄコンバータ２０３の出力信号に対して動作する再帰形ディジタルフィルタ１１０と、Ａ／Ｄコンバータ２０３の出力信号から再帰形ディジタルフィルタ１１０の出力信号を差し引くための減算器１２０と、駆動系回路３００より基準信号を受け、再帰形ディジタルフィルタ１１０を制御するコントローラ１３０、とで構成される。
【００１８】
上記再帰形ディジタルフィルタ１１０は、Ａ／Ｄコンバータ２０３の出力信号を増幅する第２のアンプ１１１と、第２のアンプ１１１の出力信号と、後述の第４のアンプ１１４の出力信号とを加算する加算器１１２と、加算器１１２の出力信号を増幅する第３のアンプ１１３と、第３のアンプ１１３の出力信号の一水平走査線分を記憶するメモリ１１５と、メモリ１１５の出力信号を増幅する前記第４のアンプ１１４とで、構成される。
【００１９】
次に、本実施の形態１による撮像装置の動作について説明する。
本撮像装置は、おおまかには、減算器１２０が、固体撮像素子２０１の出力信号から固定パターンノイズを除去した映像信号を、その出力信号として出力し、それを後段に送出する動作を行うものである。
【００２０】
まず、本撮像装置における、固体撮像素子２０１の出力信号から固定パターンノイズを除去するための補正データを作成する動作について説明する。
【００２１】
上記補正データは、上記オプティカルブラック領域２０１ａを走査して得る一水平走査線分の出力信号を、各フィールドまたはフレームにおいて、上記オプティカルブラック領域２０１ａの期間だけ断続的に動作する再帰形ディジタルフィルタ１１０を通過させることによって作成され、再帰形ディジタルフィルタ１１０内のメモリ１１５に記憶される。
【００２２】
上記再帰形ディジタルフィルタ１１０は、以下のような動作を行う。
上記再帰形ディジタルフィルタ１１０におけるメモリ１１５は、上記固体撮像素子２０１の撮像動作と同期して動作を行い、固体撮像素子２０１からオプティカルブラック領域２０１ａの一水平走査線分の信号が出力される期間において、上記撮像系回路ブロック２００の出力信号を第２のアンプ１１１にて増幅した信号と、メモリ１１５に記憶されているデータを第４のアンプ１１４で増幅した信号とを、加算器１１２にて加算演算し、加算後のデータを第３のアンプ１１３にて正規化してメモリ１１５に書き込む。書き込むメモリアドレスは、水平走査線の１番目の画素の出力に対してはメモリ１１５の１番目のアドレスに、水平走査線の２番目の画素の出力に対してはメモリ１１５の２番目のアドレス、というように水平走査線の画素と対応していることが必要である。
【００２３】
図１（ｂ）はその動作を説明するものである。図中、Ａｎは、固体撮像素子のオプティカルブラック走査線の出力信号におけるｎ番目の画素のデータ、Ｂｎは、メモリに記憶された前記Ａｎと同一水平位置に対応するデータ、を示している。また、図１（ａ）と同一構成部品には同一番号を付し説明を略す。いま、第２のアンプ１１１の利得、第４のアンプ１１４の利得、第３のアンプ１１３の利得を、ａ：ｂ：ｃ、とすると、ｎ番目のメモリには、Ｂｎ＝（ｃ・（ａ・Ａｎ＋ｂ・Ｂｎ））というデータが書き込まれることになる。ただし、第３のアンプ１１３にて信号レベルを正規化するためには、ｃ＝１／（ａ＋ｂ）でなければならない。また、上記演算は、固体撮像素子のオプティカルブラック領域の一水平走査線の走査期間のみに実行され、その他の期間においては、上記演算動作は停止しているものである。
【００２４】
以上の演算動作を、周期的に、例えば毎フィールドまたは毎フレーム、実行することにより、各画素に発生するランダムノイズや、固体撮像素子の駆動周波数に非同期である外来ノイズは平均化され、各画素に常に発生する固定のノイズだけが抽出された、オプティカルブラック走査線の信号がメモリ１１５に記憶される。
【００２５】
固体撮像素子の固定パターンノイズは縦方向の縞模様であり画面一面に現れるため、有効撮像領域と同じくオプティカルブラック領域においても同様に発生しており、各水平走査線においては同一水平位置に同レベルのノイズが発生している。したがって、メモリ１１５に記憶されたオプティカルブラック走査線の信号は、各水平走査線に含まれる固定パターンノイズを抽出したものに相当するため、メモリ１１５に記憶された信号を各水平走査線の出力信号から差し引けば、固定パターンノイズを除去した映像信号が得られることになる。つまり、メモリ１１５に記憶されたオプティカルブラック走査線の信号が補正データである。
【００２６】
次に、上記オプティカルブラック領域２０１ａ以外の期間における、ノイズ除去動作について説明する。この期間において、メモリ１１５は書き込み動作は停止しているが、読み出し動作は固体撮像素子２０１と同期して動作させる。各水平走査線において、減算器１２０ではＡ／Ｄ変換器２０３の出力からメモリ１１５の出力信号を減算する。この場合も、上記ディジタルフィルタ１１０の動作と同様に、読み出すメモリアドレスは、水平走査線の１番目の画素の出力に対してはメモリ１１５の１番目のアドレスを、水平走査線の２番目の画素の出力に対してはメモリ１１５の２番目のアドレスというように、水平走査線の画素と対応していることが必要である。
【００２７】
この減算により、個体撮像素子２０１の出力信号から固定パターンノイズが取り除かれた映像出力信号を得ることができる。図１（ｃ）は、その減算動作を示すものである。図中、Ｃｎは、固体撮像素子２０１の有効撮像領域の走査線の出力信号におけるｎ番目の画素のデータ、Ｂｎは、メモリ１１５に記憶された前記Ｃｎと同一水平位置に対応するデータを示している。また、図１（ａ）と同一構成部品には同一番号を付し説明を略す。
【００２８】
メモリ１１５には、前述のように補正データが記憶されており、減算器１２０において全水平走査線について各画素毎に（Ｃｎ−Ｂｎ）の演算を行うことにより、固定パターンノイズが取り除かれた映像信号を得ることができる。
【００２９】
図２は、固体撮像素子の駆動周波数に非同期の外来ノイズを含んだ固定パターンノイズがある画像の一例を示すものであり、図中（ａ）は補正前の画像例を示し、（ｂ）はオプティカルブラック領域の一水平走査線分の信号における固定パターンノイズ成分を、（ｃ）はオプティカルブラック領域の一水平走査線分の信号における走査線の同期信号に同期していない非同期の外来ノイズ成分を、示すものであり、（ｄ）は再帰形ディジタルフィルタを通過させることによって得られた補正信号を示し、（ｅ）は補正後の画像を示すものである。
【００３０】
固体撮像素子の駆動周波数に非同期のノイズは、図２（ａ）のように、斜めパターンを持つ場合が多い。このような場合、オプティカルブラック走査線の出力信号において、固定パターンノイズの成分は、図２（ｂ）のように一定であるが、非同期のノイズ成分は、図２（ｃ）のように時間と共に変化する。上記のような２つのノイズ成分が含まれたオプティカルブラック走査線の出力信号を、再帰形ディジタルフィルタ１１０で演算を重ねることにより、時間と共に変化するノイズ成分は平均化され、メモリ１１５には、図２（ｄ）のように固定のノイズだけが記憶されることになる。したがって、補正後の画像は、図２（ｅ）のように固定パターンノイズだけが除去された映像を得ることができる。
【００３１】
一方、ビデオカメラなどにおいては、Ａ／Ｄコンバータ２０３への入力信号レベルを一定レベルに保つために、第１のアンプ２０２の利得を連続的に変化させることがあり、また一般に、固体撮像素子はその温度上昇によって固定パターンノイズを発することが知られているが、本実施の形態１においては、補正データを作成する演算を周期的に実行することにより、このような意図的にまたは外的要因で固定パターンノイズのレベルが変化したときにおいても、その時々における補正データを得ることができ、固定パターンノイズをダイナミックに補正することが可能である。
【００３２】
図３は本実施の形態１の撮像装置における、固体撮像素子の固定パターンノイズの補正の動作を示すものであり、第１のアンプ２０２の利得の変化や、温度変化による、新たな固定パターンノイズの発生による状態の変化への対応を、初期状態と状態変化後で対比して説明している。図中（ａ）は補正前の画像例を示し、（ｂ）はオプティカルブラック領域の一水平走査線分の信号レベルを示し、（ｃ）は再帰形ディジタルフィルタを通過させることによって得られた補正信号を示すものであり、（ｄ）は補正後の画像を示すものである。
【００３３】
図３は、初期状態と状態変化後とを対比しているが、これらはあくまでも定常の状態であり、状態の変化が瞬間に起こったときは、再帰形ディジタルフィルタ１１０には固有の応答速度が存在するため補正信号は瞬間には追従できない。つまり、第１のアンプ２０２の利得の変化や、温度変化による新たな固定パターンノイズの発生が再帰形ディジタルフィルタ１１０の応答速度よりも遅ければ、十分に補正を行うことができる。再帰形ディジタルフィルタ１１０の応答速度は、第２のアンプ１１１、第３のアンプ１１３、および第４のアンプ１１４の利得、及び動作周期（フィールドまたはフレーム）によって決まることは明らかである。
【００３４】
なお、本実施の形態１において、再帰形ディジタルフィルタ１１０を安定動作させるためには、第３のアンプ１１３の利得は、第２のアンプ１１１の利得と、第４のアンプ１１４の利得と、の和の逆数でなければならないことは言うまでもない。
【００３５】
また、本実施の形態１においては、再帰形ディジタルフィルタ１１０の出力信号はメモリ１１５から得るものとしたが、第４のアンプ１１４の出力信号を用いることも可能である。
【００３６】
さらに、上記補正動作はオプティカルブラック領域２０１ａ以外の期間すべてに必要ではなく、少なくとも固体撮像素子２０１の有効撮像領域だけ動作させるようにすればよい。
【００３７】
【発明の効果】
以上のように、本発明にかかる撮像装置によれば、固体撮像素子のオプティカルブラック領域の一水平走査線の出力信号を、所定のフィールドまたはフレーム周期で動作する再帰型ディジタルフィルタに通し、上記固体撮像素子の有効撮像領域における各水平走査線分の出力信号から、上記再帰型ディジタルフィルタ内のメモリの出力信号を、画素ごとに減算するようにしたので、撮像素子の駆動周波数に対して非同期の外来ノイズに対しては誤検出せずに、固定のノイズだけを検出した補正データを得ることができ、かつ、前段アンプの利得変化による固定パターンノイズのレベル変化、および温度変化により新たに発生した固定パターンノイズにも追従した固定パターンノイズの補正データを得ることができ、このようにして求めた補正データを記憶しておき、有効撮像領域においては固体撮像素子の各水平走査線毎に記憶された該補正データを減算することにより、固定パターンの無い映像信号を得ることができる効果が得られる。
【図面の簡単な説明】
【図１】（ａ）は本発明の実施の形態１による撮像装置のブロック図、（ｂ）は本実施の形態１における再帰形ディジタルフィルタの動作を示す図、（ｃ）は本実施の形態１における補正データ減算の動作を示す図である。
【図２】（ａ）は非同期の外来ノイズを含んだ固定パターンノイズ画像例を、（ｂ）は固定パターンノイズ成分を、（ｃ）は非同期の外来ノイズ成分を、（ｄ）は補正信号を、（ｅ）は補正後の画像を、示す図である。
【図３】（ａ）は状態の変化する固定パターンノイズ画像例を、（ｂ）は固定パターンノイズ成分を、（ｃ）は補正信号を、（ｄ）は補正後の画像を、示す図である。
【符号の説明】
２０１・・・固体撮像素子
２０１ａ・・・オプティカルブラック領域
２０２・・・第１のアンプ
２０３・・・Ａ／Ｄコンバータ
１１１・・・第２のアンプ
１１２・・・加算器
１１３・・・第３のアンプ
１１４・・・第４のアンプ
１１５・・・メモリ
１２０・・・減算器
１３０・・・コントローラ
３００・・・駆動回路

Claims (2)

1. 固体撮像素子のオプティカルブラック領域における一水平走査線分の出力信号を、所定のフィールドまたはフレーム周期で動作する再帰型ディジタルフィルタに通し、
   上記固体撮像素子の有効撮像領域における各水平走査線分の出力信号から、上記再帰型ディジタルフィルタ内のメモリの出力信号を、画素ごとに減算する、
   ことを特徴とする撮像装置。
2. 請求項１記載の撮像装置において、
   上記再帰型デジタルフィルタは、現在のオプティカルブラック領域の一水平走査線の出力信号と上記メモリに蓄積された信号との平均値を求めて上記メモリに蓄積するものである、
   ことを特徴とする撮像装置。

Images