JP2007214662A

JP2007214662A - 固体撮像装置

Info

Publication number: JP2007214662A
Application number: JP2006029794A
Authority: JP
Inventors: Daiyu Ishikawa; 大雄石河; Hiroshi Mizuno; 寛水野
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-02-07
Filing date: 2006-02-07
Publication date: 2007-08-23

Abstract

【課題】
フレーム積分処理ではテンポラルなノイズ成分が、フレーム積分回数Frに対し１/√Fr倍で低減していくのに対し、固定パターンノイズはそのまま残ってしまうため、固定パターンノイズが支配的になってくる積分回数でS/N比の改善効果は頭打ちになってしまうという問題があった。
【解決手段】
視軸ズレ量補正器１８において視軸制御装置１１から入力された視軸の駆動角度情報から計算した二次元光検出素子５の結像面上での視軸ズレ量に、（−１）を掛けた分だけ画像をずらしながらフレーム積分を掛けるようにした。
【選択図】図１

Description

この発明は、二次元光検出素子を用いた固体撮像装置において出力信号のS/N比を改善する技術に関するものである。

二次元光検出素子を用いた固体撮像装置においては、その画素間の特性（光入力に対する電気出力特性）バラツキにより発生した固定パターンノイズを除去・抑圧する補正処理方法が用いられる。(例えば、特許文献１参照)

特開平８−２２３４８４号公報

この種の固体撮像装置においては、オフセット補正、ゲイン補正、欠陥補正が施されて、固定パターンノイズが除去される。オフセット補正は、ある均一な光強度をもつ被写体を撮像した時の画素間の出力値のズレ（オフセット成分）を、予め補正データ格納用メモリに記憶しておき、二次元光検出素子の出力から除去することで均一化する。ゲイン補正は、光強度の変化に対する光感度のズレ（ゲイン成分）を、光強度の変化による出力変化分ΔＶ（ｘ,ｙ）にゲイン補正係数（＝全画素の平均出力変化ΔＶall／各画素の出力変化ΔＶ（ｘ,ｙ））を乗することで均一化する。欠陥補正は、光強度とは無関係に異常出力を呈する画素（欠陥画素）について、その近傍画素の出力を代替値として置き換える欠陥補正を施す。

このうちゲイン補正処理については、２種類の異なる均一な光強度をもつ被写体を撮像したときの各画素の出力変化ΔＶ（ｘ,ｙ）とその全画素の平均値との比を得て、ゲイン補正係数を計算する。このことからわかるように、二次元光検出素子の光感度特性が入射光に対して完全に線形に変化することを前提として補正処理を施すので、実際の二次元光検出素子の非線形な出力特性との差が、補正ズレと言われる固定パターンノイズの残渣として残る。このため、二次元光検出素子の出力ダイナミックレンジ内のあらゆる出力において、極力補正ズレ量を小さく抑えるように補正条件の最適化を図った上で、被写体に近い光強度をもつ均一面を用いて、その都度オフセット補正を掛けることが一般的である。

一方、二次元光検出素子を用いた固体撮像装置においては、光検出素子から発生するショットノイズ及び電子回路から発生する熱雑音などの白色雑音が、撮像装置の出力信号にノイズ成分として含まれる。監視システム等にこの固体撮像装置を用いる場合は、目標物の出力信号が微弱であるときに、ノイズの中から目標物を抽出するためにフレーム積分機能を用いてテンポラルなノイズ成分を低減する方法が用いられている。（例えば、特許文献２参照）

特開平５−２０４４５６号公報

この種の固体撮像装置においては、複数フレームにわたって各画素の出力信号を積分することによりテンポラルなノイズ成分は平滑化され低減されるが、目標物と背景との信号出力差はそのままであることからＳ／Ｎ比を改善することができ、フレーム積分回数を多くする程Ｓ／Ｎ比を改善することができる。

従来の監視システム等に用いられる固体撮像装置においては、既に述べたような各種の方法により、固定パターンノイズを極力小さく抑えつつ、フレーム積分回数をより増やすことで目標検出性能(S/N比)の改善を図っている。
しかしながら、フレーム積分処理ではテンポラルなノイズ成分がフレーム積分回数：Frに対し１/√Fr倍で低減していくのに対し、固定パターンノイズはそのまま残ってしまう。このため、固定パターンノイズが支配的になってくる積分回数でS/N比の改善効果は頭打ちになってしまうという問題があった。

また、所要の目標検出性能が必要な固体撮像装置においては、固定パターンノイズを小さくするために、例えば二次元光検出素子の出力ダイナミックレンジ範囲を複数領域に分割して各ゲイン補正領域を狭めることで、各ゲイン補正領域での補正ズレを小さくする、所謂多点補正方式を用いる必要があった。この場合、補正処理が複雑且つ大規模になっていくという問題があった。

この発明は係る問題を解決するためになされたものであり、多点補正方式のような複雑な画像補正処理を用いなくとも、固定パターンノイズを更に小さくすることができる、固体撮像装置を得ることを目的とする。

この発明による固体撮像装置は、受光面に結像した入射光が電気信号に変換される二次元光検出素子と、上記二次元光検出素子からの電気信号をデイジタル信号に変換するＡ/Ｄ変換部と、上記デイジタル信号における画像のばらつき成分を補正するための補正データを格納する補正データ格納用メモリと、上記補正データ格納用メモリに格納された補正データを用いて上記デイジタル信号を補正する補正用演算器と、上記補正用演算器で補正された信号に対しフレーム積分を行うフレーム積分用加算器と、上記フレーム積分用加算器によりフレーム積分された画像を格納するフレーム積分用メモリと、上記受光面における入射光の結像位置を、所定のずれ量分ずらす視軸駆動装置と、上記フレーム積分用メモリに格納されたフレーム積分画像の画素位置を、上記視軸駆動装置による結像位置のずれ量を相殺する方向に移動させて補正する視軸ズレ量補正器と、を備え、
上記フレーム積分用加算器は、上記補正用演算器で補正された信号と上記視軸ズレ量補正器
で補正された信号とを加算して、フレーム積分を行うものである。

また、上記フレーム積分用加算器による加算回数や、上記視軸駆動装置による所定のずれ量を外部から設定変更できるようにしても良い。

この発明によれば、固定パターンノイズ成分を面内で分散させ、ぼやけさせることによって、固定パターンノイズを抑圧することができる。

実施の形態１．
この発明に係る実施の形態１では、視軸制御装置により意図的に視軸ブレを誘発させ、その既知の視軸ブレ量を相殺するように、即ち像が正しく重ね合わせられるようにフレーム積分を掛けることで、固定パターンノイズ成分を面内で分散させ、ぼやけさせることによって、固定パターンノイズ成分を抑圧することを特徴とする。

以下、図を用いてこの発明に係る実施の形態１について説明する。
図１は、この発明の実施の形態１の固体撮像装置の構成を示す構成図である。図において、視軸駆動装置２、ミラー３、光学系４、二次元光検出素子５、Ａ／Ｄ変換部６、補正用演算器７、補正データ格納用メモリ８、フレーム積分用メモリ９、フレーム積分用加算器１０、視軸ズレ量補正器１８を備えて構成される。ミラー３、光学系４は光学装置を構成する。ミラー３は、上下方向（仰角方向）もしくは左右方向（旋回角方向）に回動出来るように、視軸駆動装置２に回転可能に取り付けられている。光学系４は、１つもしくは複数の集光レンズやフィルタ等の光学部品で構成され、集光作用を有する。二次元光検出素子５は、入射光を受光面上に集光・結像させ電気信号に変換する。

光学装置に入射した入射光１は、ミラー３で折り曲げられ（反射され）、光学系４で集光されて二次元光検出素子５に結像する。二次元光検出素子５から出力される電気信号はＡ/Ｄ変換部６で画像を生成するデイジタル信号に変換される。この変換されたデイジタル信号は、補正用演算器７によって補正演算が施され、補正画像信号として出力される。補正用演算器７は、補正データ格納用メモリ８内に予め用意されたオフセット、ゲイン、欠陥補正データを取り出し、取り出したデータを上記変換されたデイジタル信号に加算して、補正演算処理を行う。オフセット、ゲイン、欠陥補正データは、上記変換されたデイジタル信号によって生成される二次元の画像信号における、画素の面内ばらつき成分を補正するための画像補正データである。

補正用演算器７の出力した補正画像信号は、フレーム積分用加算器１０に入力される。フレーム積分用加算器１０は、補正画像信号に対しフレーム積分用メモリ９に格納した画像を次のフレームの補正画像信号と加算し、これを所要加算回数繰り返すフレーム積分処理を施して、フレーム積分画像信号として出力される。この積分処理を施すにより、フレーム積分画像信号を用いて後段で行われる目標検出処理において、目標検出性能(S/N比)が改善される。

視軸駆動装置２は、視軸制御装置１１からの制御信号に従ってミラー３を回転駆動する。ミラー３の駆動角度は、視軸駆動装置２内に用意された視軸方向センサによって計測される。視軸方向センサは、角速度ジャイロや角度検出器等で構成され、ミラー３の入射光１の視線（視軸）方向を計測し、計測結果を視軸の駆動角度情報として出力する。視軸駆動装置２により駆動されるミラー３の駆動角度に応じて、ミラー３への入射光１の視軸方向が変化する。これによって、二次元光検出素子５の結像面上で、ミラー３によって反射される入射光１の結像位置が所定のずれ量分ずれて視軸ズレ量となる。二次元光検出素子５の結像面上での視軸ズレ量は、予めミラー３の駆動角度に対して、一意に対応付けされている。すなわち、ミラー３の駆動角度情報に基づいて視軸ズレ量を求めることができる。例えば、ミラー３が上下方向に微小角度φ移動し、左右方向に微小角度θ移動した場合、二次元光検出素子５の結像面上での視軸ズレ量は、近似的に水平方向にｋφ、垂直方向にｋθ（ｋは定数）だけ位置ずれを生じる。

ここで、光学装置の各種構成により、視軸駆動装置２によるミラー３の駆動角度に応じた、二次元光検出素子５の結像面上での像の回転量・移動量は様々なものとなる。説明を簡単にするため、図２に示すような、ミラー３の視線方向（視軸）変化に応じて単純に像が横方向に移動する場合の例を用いて、実施の形態１による画像生成手順を説明する。この例では、画像の縦横をわかりやすくするために、２次元光検出素子の画素配列を縦横比の異なる横長のものとして描いてある。

図２において、像１２は、２次元光検出素子５から出力された、補正画像信号上に得られる像を示す。図２（ａ）〜（ｃ）は、ミラー３の視軸を駆動しながら撮像していく状況下で得られる画像を、時系列に図示している。

固体撮像装置はフレームレート1/Tおきに、画像を画像１３、１４、１５と更新する。そのサンプル時刻ｔがT0、T1、T2と進むにつれ、画像更新の度にミラー３の視軸中心が横方向に所定角度づつ移動する。これによって、二次元光検出素子５の結像面上でのミラー３による反射光の結像位置が所定量の位置ずれを生じる。その結果、画像１３、１４、１５上において像１２はその反対方向に移動し、各像１２は視軸ズレ量１６を生じることになる。各サンプル時刻ｔで得られる像１２を含んだ各フレームの画像は、フレームレート1/Tおきに、フレーム積分用メモリ９にその都度格納される。

また、ミラー３は予め設定された所定の駆動角度だけ移動するので、二次元光検出素子５の結像面上でのミラー３による反射光の結像位置は、予め設定された所定の位置ずれ量だけずれる。サンプル時刻ｔがT0、T1、T2と変化する際、ミラーの駆動に応じて各像１２は所定のずれ量分だけ一定方向に順次ずれていく。
ミラー３の可動角は有限であるので、ミラーの駆動角度の加算値が一定角度に達したら、ミラー３を反転させる。すなわち、ミラー３を一定の角度範囲内で往復動させる。例えば、サンプル時刻ｔ＝T0〜Tn-1の間はミラー３を一定の旋回角度θで順次正回転させ、サンプル時刻ｔ＝Tｎにおいてミラー３の駆動角度がｎ×θに至ったらミラー３を逆回転させる。続いて、サンプル時刻ｔ＝Tｎ〜T2n-1までの間はミラー３を一定の旋回角度−θで逆回転させ、サンプル時刻ｔ＝T2nにおいてミラー３の駆動角度が０に戻ったら、ミラー３を再び正回転させる。

視軸ズレ量補正器１８は、フレーム積分用メモリ９に格納された、例えば図２（ａ）（ｂ）（ｃ）に示すような各フレームの像１２を、正しく重ね合わせるように画像補正を行う。この際、各フレーム画像間での、二次元光検出素子５の結像面上での結像位置の視軸ズレ量１６を相殺するように、フレーム積分用メモリ９に格納された各画像を足し合わせていくことで、フレーム積分された像１７を得ることができる。例えば、ミラー３の駆動角度に応じた視軸ズレ量１６は既知であるので、視軸方向センサで計測されたミラー３の視軸の駆動角度情報に基づいて二次元光検出素子５の結像面上での結像位置の視軸ズレ量１６を求め、求められた所定の視軸ズレ量１６を相殺するように、フレーム積分用メモリ９に格納され次のフレーム積分加算時に取出されるフレーム積分画像の像位置をずらす。

図１を用いて上記処理を更に説明する。
フレーム積分を掛けるためにフレーム積分用メモリ９に格納されたフレーム積分画像信号は、フレーム積分用加算器１０に入力される。次いで、フレーム積分用加算器１０は、この入力されたフレーム積分画像信号を、次のフレームの補正画像信号と加算する。
このときに、視軸ズレ量補正器１８は、視軸制御装置１１から入力された視軸の駆動角度情報から計算した、二次元光検出素子５の結像面上での結像位置のズレに相当する視軸ズレ量に対して、（−１）を掛けた分だけフレーム積分用メモリ９から出力されたフレーム積分画像信号の画像での像の位置をずらす補正を行う。すなわち視軸ズレ量１６のずれ方向と反対方向に同じずれ量だけフレーム積分画像信号の画像内での像の位置をずらす。
このようにしてフレーム積分画像での像位置をずらした上で、フレーム積分用加算器１０は、補正用演算器７からの次のフレームの補正画像信号と、視軸ズレ量補正器１８で補正を行ったフレーム積分画像信号とを、加算するフレーム積分処理を行う。

以上説明したとおり、この実施の形態によれば、最終的に得られるフレーム積分信号における各画素の信号は、フレーム積分前の補正画像信号においては複数の画素で生成された信号の積分値となり、空間的にランダムな補正画像信号での平滑化処理が掛かることになる。

したがって、従来のフレーム積分処理では抑圧することができなかった固定パターンノイズ成分についても抑圧することが可能となる。その結果、固定パターンノイズについても、フレーム積分に関わった画素数：Pxに対し１/√Px倍で低減することができる。すなわち、従来固定パターンノイズが支配的になってくる積分回数で頭打ちになっていた目標検出性能(S/N比)の改善効果を、より一層高めることが可能となる。一方、従来所要の目標検出性能を得るために行われていた、多点補正方式などの複雑且つ大規模な補正処理が不要となり、補正処理を簡素化した固体撮像装置を得ることが可能となる。

図３は、この改善効果を説明するものである。
２次元光検出素子５からの補正画像信号上に像１２が写っており、同時に固定パターン１９も画像上に現れている。時刻がT0、T1、T2と進むにつれ、像１２は図３（ａ）（ｂ）（ｃ）のように、視軸ズレ量と反対方向に移動していく。しかし、固定パターン１９は同じ位置に現れるので、視軸ズレ補正を掛けたフレーム積分信号においては、逆に固定パターン１９の方が視軸ズレと同方向にずれていくこととなる。そのため、像が正しく重ね合わせられるように処理が施されたフレーム積分信号では、図３（ｄ）のように固定パターンはボケて全体的に小さい信号になる。

以上のようにこの実施の形態１では、ミラーによって反射され受光面に結像した入射光が電気信号に変換される二次元光検出素子と、上記二次元光検出素子からの電気信号をデイジタル信号に変換するＡ/Ｄ変換部と、上記デイジタル信号における画像のばらつき成分を補正するための補正データを格納する補正データ格納用メモリと、上記補正データ格納用メモリに格納された補正データを用いて上記デイジタル信号を補正する補正用演算器と、上記補正用演算器で補正された信号に対しフレーム積分を行うフレーム積分用加算器と、上記フレーム積分用加算器によりフレーム積分された画像を格納するフレーム積分用メモリと、上記ミラーを回転駆動して上記受光面における入射光の結像位置を所定のずれ量分ずらす視軸駆動装置と、上記フレーム積分用メモリに格納されたフレーム積分画像の画素位置を上記視軸駆動装置による結像位置のずれ量を相殺する方向に移動させて補正する視軸ズレ量補正器とを備えて、上記フレーム積分用加算器が上記補正用演算器で補正された信号と上記視軸ズレ量補正器
で補正された信号とを加算してフレーム積分を行うことにより、固定パターンノイズ成分を面内で分散させ、ぼやけさせることによって、固定パターンノイズを抑圧することができる。

実施の形態２．
以下、図を用いてこの発明に係る実施の形態２について説明する。
図４はこの発明の実施の形態２を示す構成図であり、実施の形態１に示した固体撮像装置において、フレーム積分の加算回数を外部から変更することができる加算回数可変器２０を追加したものである。

このように、加算回数可変器２０により外部から積分回数を変更できるようにすることで、検出したい目標の条件やその時々のノイズの発生状況の変化に対応した、適切な積分回数を使用することができる。このため、必要以上にフレーム積分を掛けることがなくなり、開始から終了までの積分処理におけるタイムラグの増大を防ぐことが可能となる。

実施の形態３．
以下、図を用いてこの発明に係る実施の形態３について説明する。
図５はこの発明の実施の形態３を示す構成図であり、実施の形態１の固体撮像装置に、視軸ブレ量を外部から変更することができるズレ量可変器２１を追加したものである。
なお、実施の形態２の固体撮像装置に、視軸ズレ量を外部から変更することができるズレ量可変器２１を追加しても良い。

既に述べたように、フレーム積分による固定パターンノイズ低減効果はフレーム積分に関わった画素数：Pxに対し１/√Px倍になると考えられるので、できる限りズレ量を大きく取ったほうが目標検出性能(S/N比)の改善効果も高くなる。しかし、ズレ量を大きく取るほど常に積分に関わることのできる画素領域即ち視野角は小さくなる。

そこで、ズレ量可変器２１を用いて、外部からズレ量を変更することにより、検出したい目標の条件やその時々のノイズ発生状況の変化に対応した適切なズレ量に設定をする。これによって、必要以上に視軸ズレを掛けることによる視野角の縮小を防ぐことが可能となる。ズレ量可変器２１は、例えば視軸制御装置１１によって駆動されるミラー３の駆動角度を適宜調整することによって、視軸ズレ量を調整する。

実施の形態４．
以下、図を用いてこの発明に係る実施の形態４について説明する。
図６はこの発明の実施の形態４を示す構成図であり、実施の形態１の固体撮像装置において、フレーム積分の加算回数を外部から変更することができる加算回数可変器２０と視軸ブレ量を外部から変更することができるズレ量可変器２１を追加したものである。

実施の形態２及び３で既に述べたように、検出したい目標の条件やその時々のノイズの発生状況の変化に対応した適切な加算回数及びズレ量に設定変更することで、視野角や積分処理のタイムラグの自由度を上げることが可能となる。

この発明の実施の形態１による撮像装置の構成を示す構成図である。この発明の実施の形態１による固体撮像装置における画像生成手順を示す図である。この発明の形態１による固体撮像装置における効果を示す図である。この発明の実施の形態２による撮像装置の構成を示す構成図である。この発明の実施の形態３による撮像装置の構成を示す構成図である。この発明の実施の形態４による撮像装置の構成を示す構成図である。

符号の説明

１入射光、２視軸駆動装置、３ミラー、４光学系、５二次元光検出素子、６Ａ/Ｄ変換部、７補正用演算器、８補正データ格納用メモリ、９フレーム積分用メモリ、１０フレーム積分用加算器、１１視軸制御装置、１２像、１３時刻T0での画像、１４時刻T1での画像、１５時刻T2での画像、１６視軸ズレ量、１７積分された像、１８視軸ズレ量補正器、１９固定パターン、２０加算回数可変器、
２１ズレ量可変器。

Claims

受光面に結像した入射光が電気信号に変換される二次元光検出素子と、
上記二次元光検出素子からの電気信号をデイジタル信号に変換するＡ/Ｄ変換部と、
上記デイジタル信号における画像のばらつき成分を補正するための補正データを格納する補正データ格納用メモリと、
上記補正データ格納用メモリに格納された補正データを用いて上記デイジタル信号を補正する補正用演算器と、
上記補正用演算器で補正された信号に対しフレーム積分を行うフレーム積分用加算器と、
上記フレーム積分用加算器によりフレーム積分された画像を格納するフレーム積分用メモリと、
上記受光面における入射光の結像位置を、所定のずれ量分ずらす視軸駆動装置と、
上記フレーム積分用メモリに格納されたフレーム積分画像の画素位置を、上記視軸駆動装置による結像位置のずれ量を相殺する方向に移動させて補正する視軸ズレ量補正器と、
を備え、
上記フレーム積分用加算器は、上記補正用演算器で補正された信号と上記視軸ズレ量補正器
で補正された信号とを加算して、フレーム積分を行うことを特徴とした固体撮像装置。
上記フレーム積分用加算器による加算回数を、外部から設定変更できる加算回数可変器を有したことを特徴とする請求項１記載の固体撮像装置。
上記視軸制御装置による所定のずれ量を、外部から設定変更できるズレ量可変器を有したことを特徴とする請求項１もしくは請求項２に記載の固体撮像装置。