JP2007019577A - 固体撮像装置 - Google Patents

Abstract

【課題】短時間で暗電流のによるノイズ成分をキャンセルする。
【解決手段】 被写体光学像を取込むシャッタと、
前記シャッタを介して入射した前記被写体光学像に基づく画像出力を出力する撮像素子と、
前記シャッタによる遮光状態時における前記撮像素子の出力を暗時出力として保持する記憶手段と、
前記被写体光学像を前記シャッタを介して取込む実撮影時の露光時間と前記記憶手段に記憶されている暗時出力とに基づいて実撮影時におけるノイズ成分を推定し、実撮影時における前記撮像素子の出力から推定した前記ノイズ成分を除去して出力する補正手段と、
を含む。
【選択図】 図１

Description

本発明は、高画質を維持しつつ撮影時間を短縮するようにした固体撮像装置に関する。

携帯電話、デジタルカメラ等に搭載される固体撮像装置として、ＣＣＤ（電荷結合素子）型のイメージセンサ（以下、ＣＣＤセンサという）と、ＣＭＯＳ型のイメージセンサ（以下、ＣＭＯＳセンサという）と、がある。さらに、高画質と低消費電力とを共に兼ね備えた閾値電圧変調方式のＭＯＳ型固体撮像装置（以下、基板変調型センサという）も提案されている。ＣＭＯＳセンサや基板変調型センサ（以下、ＣＭＯＳセンサ等という）は、ＣＣＤセンサよりも消費電力が少なく、プロセスコストが低いという利点から、近年開発が進んでいる。

これらのイメージセンサにおいては、シリコン基板の結晶欠陥によって暗電流が発生する。この暗電流によって、固定パターンノイズが発生してしまう。そこで、特許文献１等においては、この暗電流成分を除去する技術が開示されている。

一般的なイメージセンサは、ＡＥ（自動露光制御）機能を有しており、ＡＥの測定値によって露光時間が決定される。特許文献１の撮像装置においては、例えば、決定された露光時間に従った実際の撮影後において、実際の撮影時の露光時間と同一の電荷蓄積時間だけ、遮光状態において撮影を行う。そして、遮光時に得た画像データをゼロ基準として、実際の撮影による画像データをクランプする。これにより、暗電流によるノイズ成分を除去して、ノイズが少ない画像を得ている。
特開平８−３０７７７５号公報

しかしながら、特許文献１の技術では、暗電流によるノイズ成分を除去するために、実際の撮影時間と同一の時間だけ遮光状態での撮影を行う必要がある。従って、１回の撮影に比較的長時間を要する。１回の撮影に露光時間の２倍の時間が必要であることから、特に、長時間露光の撮影を行う場合には、撮影に要する時間が長くなり、次の撮影を俊敏に行うことができない。また撮影のたびに、遮光状態での暗時撮影結果を記憶するための電力が必要であり、消費電力が大きいという問題もあった。

本発明はかかる問題点に鑑みてなされたものであって、遮光状態の撮影時のサンプルに基づいて実際の撮影時の暗電流を演算によって求めてノイズの補正を行うことにより、ノイズ補正を行う場合でも撮影時間を短縮することができる固体撮像装置を提供することを目的とする。

本発明の実施形態に係る固体撮像装置は、
被写体光学像を取込むシャッタと、
前記シャッタを介して入射した前記被写体光学像に基づく画像出力を出力する撮像素子と、
前記シャッタによる遮光状態時における前記撮像素子の出力を暗時出力として保持する記憶手段と、
前記被写体光学像を前記シャッタを介して取込む実撮影時の露光時間と前記記憶手段に記憶されている暗時出力とに基づいて実撮影時におけるノイズ成分を推定し、実撮影時における前記撮像素子の出力から推定した前記ノイズ成分を除去して出力する補正手段と、
を含む。

上記の本発明の実施の形態によれば、例えば、先ず、遮光状態時において撮像素子の出力が検出され、暗時出力として記憶手段に保持される。暗時出力は例えば暗電流に基づくものであり、撮像素子の電荷蓄積時間に対応したレベルとなる。実撮影時の撮像素子の出力には暗電流によるノイズ成分が含まれる。暗電流によるノイズ成分は、実撮影時の露光時間（電荷蓄積時間）に対応したレベルとなる。即ち、暗電流によるノイズ成分は、暗時出力から推定することができる。補正手段は、実撮影時の露光時間と記憶手段に記憶されている暗時出力とに基づいて実撮影時におけるノイズ成分を推定する。補正手段は、実撮影時における撮像素子の出力から推定したノイズ成分を除去して、ノイズを除去した出力を出力する。暗時出力と実撮影時の露光時間とからノイズ成分を推定することができ、比較的短い電荷蓄積時間で検出した暗時出力から比較的長い露光時間の実撮影時のノイズを求めることができる。これにより、ノイズを除去する場合でも、撮影時間が長くなることを抑制することができる。

また、前記補正手段は、前記露光時間と前記暗時出力の積に基づいて前記ノイズ成分を推定する。

本発明の実施の形態によれば、暗時出力は電荷蓄積時間に略比例して変化するので、露光時間と暗時出力との積によってノイズ成分を推定することができる。

また、前記撮像素子は、単位時間当たりの暗時出力を保持し、
前記補正手段は、前記単位時間当たりの暗時出力と露光時間との積によって前記ノイズ成分を推定する。

本発明の実施の形態によれば、記憶手段は単位時間当たりの暗時出力を記憶するので、記憶されている暗時出力と露光時間との積によって、ノイズ成分を推定することができる。

また、前記記憶手段は、前記撮像素子の画素毎に前記暗時出力を保持し、
前記補正手段は、前記記憶手段に記憶されている前記暗時出力と前記実撮影時の露光時間とに基づいて、前記撮像素子の画素毎に前記ノイズ成分を推定する。

本発明の実施の形態によれば、暗時出力は画素毎に保持され、各画素毎にノイズ成分が推定される。これにより、各画素毎にノイズ成分を除去することができ、画素毎のばらつきを抑制しながら、ノイズ除去が可能である。

また、前記記憶手段は、前記撮像素子の画素毎の前記暗時出力の平均値を保持し、
前記補正手段は、前記記憶手段に記憶されている前記暗時出力の平均値と前記実撮影時の露光時間とに基づいて、前記撮像素子の画素毎に前記ノイズ成分を推定する。

本発明の実施の形態によれば、記憶手段は、画素毎に得られた暗時出力の平均値を保持すればよく、必要な記憶容量を低減可能であると共に、暗時出力の書き込み及び読み出しに要する時間を短縮することができる。

また、前記記憶手段は、電源投入直後において前記暗時出力を保持する。

本発明の実施の形態によれば、暗時出力の検出は電源投入直後の１回のみ行い、以後の実撮影時には、記憶手段に記憶されている暗時出力を利用してノイズ成分を推定すればよく、暗時出力の検出に要する時間の増大を防ぎ、撮影時間を短縮することができる。また、暗時出力の検出，保持に要する消費電力を低減することもできる。

また、前記撮像素子の温度を検出する温度検出回路を更に具備し、
前記補正手段は、前記実撮影時の露光時間、前記記憶手段に記憶されている暗時出力及び前記温度検出回路が検出した温度に基づいて実撮影時におけるノイズ成分を推定する。

本発明の実施の形態によれば、撮像素子の温度が変化した場合でも、確実にノイズ成分を推定することができ、ノイズキャンセル精度を向上させることができる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。図１は本発明の第１の実施の形態に係る固体撮像装置を示すブロック図である。

図１において、レンズ１は被写体の光学像を撮像素子の受光面に結像させる。シャッタ２は絞り機能とシャッタ機能とを備え、レンズ１からの被写体光学像を撮像素子３の受光面に導く。メカ・ドライバー４は、メカ系各部を駆動するためのものである。撮像素子３は、受光面に入射した被写体光学像を電気信号に変換して、画像信号をＣＤＳ回路（Correlated Double Sampling）５に出力する。ＣＤＳ回路５は、撮像素子４の出力からリセットノイズ成分を除去する相関２重サンプリング処理を行う。

ＣＤＳ回路５の出力はＰＧＡ回路（Programable Gain Control）６に与えられる。ＰＧＡ回路６は、撮像素子の出力にゲインを付与してＡＤＣ（アナログデジタル変換器）７の入力レンジに合わせるためのものである。ＡＤＣ７は入力されたアナログ画像信号をデジタル画像信号に変換して画像処理回路８に出力する。画像処理回路８は、入力された画像信号に対して、画像の色再現処理や補正等の各種画像信号処理を施す。画像処理回路８の出力は記録媒体９に与えられて、記録されるようになっている。なお、記録媒体９としては、メモリカードやハードディスクが用いられる。

ＣＰＵ１０は各部を制御する。例えば、ＣＰＵ１０は、ＰＧＡ回路６のゲインの設定のための制御信号を出力する共に、露光時間の設定等のためにメカ・ドライバー４に対して制御信号を出力する。ＡＥ回路１２は被写体の輝度を測光し、測光結果をＣＰＵ１０に出力する。ＣＰＵ１０は、測光結果に基づいて露光時間等を設定するようになっている。また、ＣＰＵ１０は、画像処理回路８における画像処理に必要な演算及び制御を行うと共に、記録媒体９に対する記録再生制御を行う。

本実施の形態においては、ＣＰＵ１０は、記憶手段としてのメモリ１１に対して、遮光状態における撮像素子３の出力値を保存させるようになっている。そして、ＣＰＵ１０は、ＡＥ回路１２の測光結果を用いて、メモリ１１に記憶されている値に対して演算を施し、撮影時における暗時出力を推測するようになっている。補正手段としてのＣＰＵ１０は演算によって求めた暗時出力と実撮影時の画像データとの差分を求めて、ノイズを除去した出力を得るようになっている。

次に、このように構成された実施の形態の動作について図２乃至図５を参照して説明する。図２は実施の形態の動作を説明するためのフローチャートであり、図３は実施の形態の動作を説明するためのタイミングチャートである。また、図４は横軸に時間をとり縦軸に出力レベルをとり、遮光状態における撮像素子の出力（以下、暗時出力という）を示すグラフである。図５は横軸に時間をとり縦軸に出力レベルをとり、実撮影時における撮像素子の出力（以下、実撮影時出力という）を示すグラフである。

装置の電源が投入されると、実撮影に先立って、図２のステップＳ１において、暗時撮影が行われる。即ち、ＣＰＵ１０は電源投入を検出すると、メカ・ドライバー４を制御して、シャッタ２を閉状態とする。この遮光状態、即ち、入射光が撮像素子３の受光面に入射しない状態で、ＣＰＵ１０は撮像素子３を動作させて、撮像素子３から画像信号を出力させる。このような遮光状態における撮影（暗時撮影）においても、暗電流の影響によって、遮光状態における撮像素子３の出力（暗時出力）は、図３に示すように、時間と共に増加する。

ＣＰＵ１０は、暗時撮影時間（電荷蓄積時間）Ｔｃにおける撮像素子３の出力をＣＤＳ回路５に出力させる。ＣＤＳ回路５は、相関２重サンプリング処理によってリセットノイズを除去する。更に、暗時出力はＰＧＡ回路６に与えられて、所定のゲインが付与され、ＡＤＣ７においてデジタル信号に変換される。

図４は暗時撮影時における撮像素子３の出力を説明するためのグラフである。図４のφreset1において、撮像素子３に残留電荷が排出されてリセットが行われる。図４に示すように、暗時出力のレベルは、暗時撮影の時間、即ち、光発生電荷を蓄積する期間に比例する。なお、Ｖoffは、画素ばらつきによりノイズ成分を示している。光発生電荷の蓄積時間は、実撮影時における露光時間に相当する。従って、図４の特性の傾きから、実撮影時における露光時間に応じた暗時出力を推定することができる。

ＣＰＵ１０はＡＤＣ７の出力から単位時間当たりの暗時出力を算出する。即ち、ＣＰＵ１０は、（暗時出力Ｖｉ／暗時撮影時間Ｔｃ）の演算を行って、単位時間における暗時出力Ｖdarkを求める。ＣＰＵ１０は求めたＶdarkをメモリ１１に記憶させる（ステップＳ２）。

ここで、撮影者が図示しないシャッタボタンの操作を行って撮影開始を命令するものとする。ＣＰＵ１０は、シャッタボタンの操作を検知すると、先ず、フレームシャッタモード時には撮像素子３の蓄積電荷をクリアし、図３の測光のハイレベル（以下、“Ｈ”という）にて示す測光期間に、ＡＥ回路１２を制御して、被写体の輝度を測定させる（ステップＳ３）。ＣＰＵ１０は図３の露光時間演算の“Ｈ”期間において、ＡＥ回路１２の測光値に基づいてシャッタ２の絞り値及びシャッタスピードを算出する（ステップＳ４）。

次に、ＣＰＵ１０はメカ・ドライバー４を制御して、算出した露光時間だけシャッタ２を開状態（図３の撮影で示す期間）として、撮影を行う（ステップＳ６）。レンズ１を介して入射した被写体光学像は、シャッタ２を介して撮像素子３の受光面に与えられる。撮像素子３は、露光時間だけ光電変化を行い、露光時間だけ光発生電荷を蓄積させ、蓄積した光発生電荷に基づく信号を出力する。

撮像素子３の出力は、ＣＤＳ回路５によりノイズが低減され、適当な出力レベルとなるようにＰＧＡ回路６で増幅された後、ＡＤＣ７に供給される。ＡＤＣ７は、入力された画像信号（実撮影時出力）をデジタル信号に変換してＣＰＵ１０に出力する。

上述したように、この実撮影時出力には暗電流によるノイズ成分が含まれている。ＣＰＵ１０はメモリ１１に記憶した単位時間当たりの暗時出力Ｖdarkを読み出して、実撮影時出力を補正する。即ち、ＣＰＵ１０は、ステップＳ５において、実撮影時における暗電流による暗時出力Ｖｄを下記（１）式によって推定する。なお、Ｔｓは、実撮影時における露光時間である。

Ｖｄ＝Ｖdark×Ｔｓ …（１）
そして、ＣＰＵ１０は、実撮影時の実撮影時出力Ｖｓｎから暗時出力Ｖｄを減算することで、補正後の出力Ｖｓを得る（ステップＳ７）。

図５はこれに対応しており、実線は、実撮影時出力Ｖｓｎを示している。この実撮影時出力Ｖｓｎは、暗電流によるノイズ成分Ｖｄを含んでいる。Ｖｄは、暗時出力の傾斜Ｖｉ／Ｔｃ（＝Ｖdark）に、露光時間Ｔｓを乗算することで推定することができる。こうして、Ｖｓｎ−Ｖｄにより、図５の破線にて示す、暗電流の影響を受けていない画像信号を得ることができる。

例えば、図３の１回目の実撮影時において、露光時間がＴｓ１で実撮影時出力がＶｓｎ１であるものとすると、ＣＰＵ１０は、補正後の出力Ｖｓ１として、
Ｖｓ１＝Ｖｓｎ１−Ｖdark・Ｔｓ１を得る。

同様に、図３の２回目の実撮影時において、露光時間がＴｓ２で実撮影時出力がＶｓｎ２であるものとすると、ＣＰＵ１０は、補正後の出力Ｖｓ２として、
Ｖｓ２＝Ｖｓｎ２−Ｖdark・Ｔｓ２を得る。

なお、暗時出力は、撮像素子３の各画素毎に得られる。ＣＰＵ１０は、各画素毎に単位時間当たりの暗時出力を求めて、各画素に対応させてメモリ１１に記憶させてもよく、また、各画素の暗時出力の平均を求め、求めた平均値をメモリ１１に記憶させるようにしてもよい。

画素毎に記憶させた暗時出力を用いることによって、画素毎の暗時出力Ｖｄを推定することができる。この場合には、実撮影時出力Ｓｎと推定した暗時出力Ｖｄとの減算を画素毎に行うことができ、画素毎に暗電流によるノイズ成分のキャンセルが可能である。これにより、画素バラツキを含めたノイズ成分の確実なキャンセルが可能となる。

例えば、撮像素子３としてＣＣＤを採用した場合には、ＣＣＤの発熱量が大きいことから、画面位置に応じて温度の差が大きく、画素毎に暗電流の差も大きい。従って、この場合には、暗時出力をフレームメモリに記憶させて、各画素毎に暗時出力の推定値を減算した方がよい。

また、各画素の暗時出力の平均値を用いて、ノイズキャンセルを行うことも可能である。この場合には、メモリ１１には１回に付き１つの値Ｖdarkを記憶させればよく、メモリ容量と書き込み及び読み出し時間の低減が可能である。

このように本実施の形態においては、実撮影に先立って、暗時出力を求めて記憶しておき、実撮影の露光時間に応じて、記憶した暗時出力の傾斜から実撮影時の暗電流によるノイズ成分を求めている。これにより、実撮影時において実撮影の露光時間と同一の時間を用いて暗時出力を求める必要はなく、短時間に実撮影時の出力から暗電流によるノイズ成分を除去した出力を得ることができる。

また、暗時出力の検出は、電源投入直後の１回のみ行えばよく、暗時出力の検出及び記憶に伴う消費電力の増大を抑制することができる。

なお、上記実施の形態においては、電源投入直後において、暗時撮影を行って暗時出力を求める例について説明したが、暗時出力は実撮影前或いは実撮影直後等のいずれのタイミングに行ってもよい。また、実撮影前又は後において、実撮影毎に暗時出力を求めるようにしてもよい。この場合においても、実撮影の露光時間よりも短い時間での暗時出力から、実撮影の露光時間と同一の露光時間の暗時出力を推定することができ、撮影時間を短縮することができる。

また、撮像素子の暗電流は、温度特性を有する。従って、温度変動に応じて暗時出力を補正することで、ノイズキャンセル精度を更に一層向上させることができる。即ち、図１の固体撮像装置に温度検出回路を内蔵させればよい。ＣＰＵが短時間当たりの暗時出力を基に実撮影の露光時間に応じた暗時出力を求めると共に、暗時撮影時における温度と実撮影時における温度とに応じて、求めた暗時出力を補正するのである。これにより、電源投入後の温度変動が比較的大きい場合でも、ノイズキャンセル精度を向上させることができる。特に、ＣＣＤ等のように、発熱量が大きい撮像素子を用いる場合には、各画素毎に温度変動に応じて暗時出力を補正した方か好ましい。

なお、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の第１の実施の形態に係る固体撮像装置を示すブロック図。 実施の形態の動作を説明するためのフローチャート。 実施の形態の動作を説明するためのタイミングチャート。 横軸に時間をとり縦軸に出力レベルをとり、遮光状態における撮像素子の出力暗時出力を示すグラフ。 横軸に時間をとり縦軸に出力レベルをとり、実撮影時における撮像素子の出力実撮影時出力を示すグラフ。

符号の説明

２…シャッタ、３…撮像素子、１０…ＣＰＵ、１１…メモリ、１２…ＡＥ回路。

Claims (7)

1. 被写体光学像を取込むシャッタと、
   前記シャッタを介して入射した前記被写体光学像に基づく画像出力を出力する撮像素子と、
   前記シャッタによる遮光状態時における前記撮像素子の出力を暗時出力として保持する記憶手段と、
   前記被写体光学像を前記シャッタを介して取込む実撮影時の露光時間と前記記憶手段に記憶されている暗時出力とに基づいて実撮影時におけるノイズ成分を推定し、実撮影時における前記撮像素子の出力から推定した前記ノイズ成分を除去して出力する補正手段と、
   を含む固体撮像装置。
2. 前記補正手段は、前記露光時間と前記暗時出力の積に基づいて前記ノイズ成分を推定する請求項１に記載の固体撮像装置。
3. 前記撮像素子は、単位時間当たりの暗時出力を保持し、
   前記補正手段は、前記単位時間当たりの暗時出力と露光時間との積によって前記ノイズ成分を推定する請求項１に記載の固体撮像装置。
4. 前記記憶手段は、前記撮像素子の画素毎に前記暗時出力を保持し、
   前記補正手段は、前記記憶手段に記憶されている前記暗時出力と前記実撮影時の露光時間とに基づいて、前記撮像素子の画素毎に前記ノイズ成分を推定する請求項１に記載の固体撮像装置。
5. 前記記憶手段は、前記撮像素子の画素毎の前記暗時出力の平均値を保持し、
   前記補正手段は、前記記憶手段に記憶されている前記暗時出力の平均値と前記実撮影時の露光時間とに基づいて、前記撮像素子の画素毎に前記ノイズ成分を推定する請求項１に記載の固体撮像装置。
6. 前記記憶手段は、電源投入直後において前記暗時出力を保持する請求項１に記載の固体撮像装置。
7. 前記撮像素子の温度を検出する温度検出回路を更に具備し、
   前記補正手段は、前記実撮影時の露光時間、前記記憶手段に記憶されている暗時出力及び前記温度検出回路が検出した温度に基づいて実撮影時におけるノイズ成分を推定する請求項１に記載の固体撮像装置。

Images