JP2010166479A - 撮像装置及び撮像画像の補正方法 - Google Patents

Abstract

【課題】暗電流を高精度に検出して画像中の縦スジ状のノイズを精度良く補正する。
【解決手段】半導体基板表面の第１方向に沿って延びる電荷転送路が第１方向と略直角の第２方向に平行に複数並置され各電荷転送路毎に複数の画素が配置された固体撮像素子で撮像された被写体画像の暗電流ノイズを補正する際に、電荷転送路を第１周期で転送駆動する第１駆動方法２５ａと、電荷転送路を第１周期より長い第２周期で転送駆動する第２駆動方法２５ｂとを用意しておき、被写体を撮像しない状態で第２駆動方法２５ｂにより電荷転送路を転送駆動し、固体撮像素子から出力された電荷転送路毎の信号の第２方向に対する高周波成分をローパスフィルタ処理部３２ｂによって求め、該高周波成分により、被写体を撮像した状態で第１駆動方法により電荷転送路を転送駆動し固体撮像素子から出力された信号を補正する。
【選択図】図３

Description

本発明は、垂直電荷転送路上で発生する暗電流に起因する縦スジ状のノイズを精度良く補正し高品質な撮像画像を得ることができる撮像装置及び撮像画像の補正方法に関する。

垂直電荷転送路（ＶＣＣＤ）を持つ固体撮像素子は、半導体基板表面部に二次元アレイ状に配列形成された多数の光電変換素子（フォトダイオード：以下、画素ともいう。）を有し、各画素が受光量に応じて検出した信号電荷を垂直電荷転送路に読み出し転送することで、信号電荷量に応じた撮像画像信号を出力する様になっている。

垂直電荷転送路を持つ固体撮像素子では、垂直電荷転送路上で暗電流ノイズが発生するため、固体撮像素子の出力信号中の暗電流成分（暗電流ノイズ）を精度良く検出して補正しないと、高品質な撮像画像を得ることができない。

暗電流ノイズは、水平電荷転送路に近い位置の有効画素から読み出された信号電荷より、遠い位置の有効画素から読み出された信号電荷ほど、即ち、垂直電荷転送路上で長い時間に渡って転送される信号電荷ほど大きく重畳する。このため、特許文献１記載の従来技術では、暗電流ノイズを垂直方向の各画素座標位置の一次関数に従って補正している。

補正に用いる一次関数は、有効画素領域の下辺部と水平電荷転送路との間に設けられたオプティカルブラック（ＯＢ）画素から読み出されたＯＢ信号の平均値と、有効画素領域の上辺の外側に設けられたＯＢ画素から読み出されたＯＢ信号の平均値と、固体撮像素子の検出温度とから算出され、暗電流ノイズの温度追従性も補正している。

特開２００８―１１３１４１号公報

上述した特許文献１では、暗電流ノイズを補正する一次関数を既知のものとして扱っているが、実際には、固体撮像素子の出力信号に含まれる暗電流成分を精度良く検出するのは困難である。

特に、垂直電荷転送路上で発生する暗電流ノイズは高温下で顕著に発生する一方で、常温下ではノイズレベルが低く、その検出が困難である。しかも、固体撮像素子に数千本も存在する垂直電荷転送路で発生する暗電流ノイズは垂直電荷転送路毎に異なり、補正に用いる一次関数も、垂直電荷転送路毎に異なる関数になってしまう。

更にまた、固体撮像素子の出力信号には、暗電流ノイズの他に、固体撮像素子の出力段に設けられた出力アンプのノイズや、後段に設けられた信号処理回路（アナログフロントエンド（ＡＦＥ））等の回路ノイズが重畳し、これ等のアンプノイズや回路ノイズから暗電流ノイズだけを弁別して抽出するのも困難である。

近年の固体撮像素子は、数百万画素以上を搭載するため１画素１画素が微細化されて信号電荷の飽和量が小さくなり、固体撮像素子の出力信号に対する暗電流ノイズの影響も大きくなってきており、精度良く暗電流ノイズを補正しないと、撮像画像中に縦スジ状のノイズとして残ってしまう。

本発明の目的は、常温下で暗電流成分を精度良く検出し、撮像画像を補正して高品質な撮像画像を得ることができる撮像装置及び撮像画像の補正方法を提供することにある。

本発明の撮像装置は、半導体基板表面の第１方向に沿って延びる電荷転送路が該第１方向と略直角の第２方向に複数平行に並置され各電荷転送路毎に複数の画素が配置された固体撮像素子と、
前記電荷転送路を第１周期で転送駆動する第１駆動手段と、
前記電荷転送路を前記第１周期より長い第２周期で転送駆動する第２駆動手段と、
被写体を撮像しない状態で前記第２駆動手段により前記電荷転送路を転送駆動し前記固体撮像素子から出力された前記電荷転送路毎の信号の前記第２方向に対する高周波成分によって、被写体を撮像した状態で前記第１駆動手段により前記電荷転送路を転送駆動し前記固体撮像素子から出力された信号を補正する補正手段とを備えることを特徴とする。

本発明の撮像画像の補正方法は、半導体基板表面の第１方向に沿って延びる電荷転送路が該第１方向と略直角の第２方向に複数平行に並置され各電荷転送路毎に複数の画素が配置された固体撮像素子で撮像された被写体画像の暗電流ノイズを補正する撮像画像の補正方法であって、前記電荷転送路を第１周期で転送駆動する第１駆動方法と、
前記電荷転送路を前記第１周期より長い第２周期で転送駆動する第２駆動方法とを用意しておき、
被写体を撮像しない状態で前記第２駆動方法により前記電荷転送路を転送駆動し前記固体撮像素子から出力された前記電荷転送路毎の信号の前記第２方向に対する高周波成分によって、被写体を撮像した状態で前記第１駆動方法により前記電荷転送路を転送駆動し前記固体撮像素子から出力された信号を補正することを特徴とする。

本発明によれば、暗電流を高精度に検出して画像中の縦スジ状のノイズを精度良く補正することができるため、高品質な被写体画像を得ることが可能となる。

本発明の一実施形態に係る撮像装置の機能ブロック構成図である。 図１に示す固体撮像素子の表面模式図である。 図１に示す撮像装置のうち暗電流検出，補正を行う部分の機能図である。 暗電流検出処理手順を示すフローチャートである。 暗電流ノイズの垂直方向の分布説明図である。 画像中の暗電流ノイズの説明図である。 暗電流補正処理手順を示すフローチャートである。 垂直電荷転送路の特性が１列置きに異なる場合の説明図である。

以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本実施形態の撮像装置のブロック構成図である。この撮像装置（この例ではデジタルスチルカメラ）１０は、ＣＣＤ型の固体撮像素子１１と、固体撮像素子１１の前段に置かれたメカニカルシャッタ１２，撮影レンズ１３，絞り（アイリス）１４と、固体撮像素子１１の出力信号（撮像画像信号）をアナログ信号処理するＣＤＳＡＭＰ（相関二重サンプリング（ＣＤＳ），利得制御増幅器（ＡＭＰ））１５と、ＣＤＳＡＭＰ１５の出力信号をデジタル信号に変換するアナログデジタル（Ａ／Ｄ）変換器１６とを備える。

撮像装置１０は、更に、Ａ／Ｄ変換器１６から出力されるデジタル信号でなる撮像画像信号を取り込む画像入力コントローラ２１と、この撮像装置１０の全体を統括制御する演算処理装置（ＣＰＵ）２２と、撮像画像信号を画像処理する画像信号処理回路２３と、露光量，ホワイトバランスを自動検出するＡＥ＆ＡＷＢ検出回路２４と、画像処理用ワークメモリとして使用したり後述の撮像素子駆動信号ファイルを予め保存しておく記憶手段としてのＳＤＲＡＭ２５と、画像処理後の撮像画像データをＪＰＥＧ画像やＭＰＥＧ画像等に圧縮する圧縮処理回路２６と、カメラ背面等に設けられた液晶表示装置２７に撮像画像やスルー画像を表示するビデオエンコーダ２８と、記録メディア２９に撮像画像データを保存するメディアコントローラ３０と、固体撮像素子１１の温度を検出する温度センサ３１と、暗電流補正用信号処理回路３２と、これらを相互接続するバス３３とを備える。

この撮像装置１０は、更に、メカニカルシャッタ１２の駆動モータ１２ａに駆動パルスを供給するモータドライバ３４と、撮影レンズ１３のフォーカスレンズ位置を駆動制御するモータ１３ａに駆動パルスを供給するモータドライバ３５と、絞り１４の絞り位置制御を行う駆動モータ１４ａに駆動パルスを供給するモータドライバ３６と、固体撮像素子１１に駆動タイミングパルス（電子シャッタパルス，読み出しパルス，転送パルス等）を供給するタイミングジェネレータ３７とを備え、これらは、ＣＰＵ２２から指令に基づいて動作する。また、ＣＤＳＡＭＰ１５もＣＰＵ２２からの指令に基づいて動作する。

ＣＰＵ２２には、更に、撮影モード／再生モードを切り換えるスイッチ３８と、２段シャッタ（Ｓ１，Ｓ２）のシャッタレリーズボタン３９とが接続され、これらスイッチ３８，３９から入力されるユーザ指示に基づき、ＣＰＵ２２は撮像装置１０を制御する。

図２は、図１に示す固体撮像素子１１の表面模式図である。この固体撮像素子１１は、半導体基板表面部に複数の画素４１が二次元アレイ状（この例では正方格子状）に配列形成されており、各画素列に沿って垂直電荷転送路（ＶＣＣＤ）４２が形成され、各垂直電荷転送路４２の転送方向端部に沿って水平電荷転送路（ＨＣＣＤ）４３が形成され、水平電荷転送路の転送方向端部に、転送されてきた電荷量に応じた電圧値信号を撮像画像信号として出力するアンプ４４が設けられている。

図示する例では、上側（ＨＣＣＤ側）２行と下側２行の画素４１にハッチングを施しているが、これは、これら画素が遮光膜に覆われた遮光画素（オプティカルブラック（ＯＢ）画素）であることを示しており、上ＯＢ部４５と、下ＯＢ部４６が設けられている。

尚、ＯＢ部は、有効画素領域（遮光膜で覆われていない感光画素が設けられた領域）の左右端部分にも設けられるが、本実施形態ではこの左右のＯＢ部については暗電流補正に用いないため、図示は省略している。また、「垂直」「水平」という用語を用いて説明したが、これは、半導体基板の表面に沿う「１方向」「この１方向に対して直交する方向」という意味である。

図３は、図１に示す構成部材のうちの、暗電流検出処理と暗電流補正処理を行う部分の機能構成図である。暗電流検出及び暗電流補正は、固体撮像素子１１と、Ａ／Ｄ変換器１６と、タイミングジェネレータ３７と、ＣＰＵ２２と、メモリ２５と、温度センサ３１と、暗電流補正用信号処理回路３２とで、詳細は後述するように処理される。

メモリ２５内には、固体撮像素子１１の駆動信号（読出パルス，垂直転送パルス，水平転送パルス，ＯＦＤ信号等）を生成するファイルとして２種類の駆動信号ファイル２５ａ，２５ｂが格納されている。また、メモリ２５内には、固体撮像素子１１から出力されＡ／Ｄ変換器１６でデジタルデータに変換されたままの所謂ＲＡＷデータのままの画像信号を保存する撮影ＲＡＷ保存領域２５ｃと、暗電流補正に用いる高周波成分・低周波成分保存領域２５ｄとが設けられている。

駆動信号ファイル２５ａは、被写体画像の撮影処理を行うときの通常駆動時の駆動信号ファイルであり、これに基づいて生成された駆動信号を第１駆動信号とする。駆動信号ファイル２５ｂは、暗電流を検出するときの駆動信号ファイルであり、これに基づいて生成された駆動信号を第２駆動信号とする。

この第２駆動信号は、第１駆動信号の周期に対して長い周期の信号とする。例えば、通常駆動時の垂直転送パルスの周期を、暗電流検出時には２倍や３倍等の定数倍の周期とし、転送速度を遅くする。この結果、通常駆動時に比べて暗電流検出時の電荷転送用電位パケットは、２倍，３倍などの時間だけ垂直電荷転送路上に存在することになり、暗電流成分が増加した状態で検出される。これは、高温環境下で増加する暗電流に似た状態のデータとなる。

また、第２駆動信号は、メカニカルシャッタ１２が「閉」となっている状態で垂直電荷転送路４２に印加され、更に、読出パルスは印加しない。メカニカルシャッタ１２で画素４１を遮光しているため、スミアの発生を防ぐことができ、また、画素４１の暗電流成分の混入を防いで、垂直電荷転送路４２だけの暗電流成分を検出することが可能となる。

タイミングジェネレータ３７は、メモリ２５から受け取った駆動信号ファイルを展開する駆動信号展開部３７ａと、展開された駆動信号ファイルに基づいて駆動信号を生成し固体撮像素子１１に出力する駆動信号出力部３７ｂとを備える。

ＣＰＵ２２は、メモリ２５内の２つの駆動信号ファイル２５ａ，２５ｂのいずれか一方を選択してタイミングジェネレータ３７の駆動信号展開部３７ａに渡す駆動方法選択部２２ａを備える。

暗電流補正用信号処理回路３２は、垂直方向平均値演算部３２ａと、水平方向ローパスフィルタ処理部３２ｂと、加減算処理部３２ｃとを備える。垂直方向平均値演算部３２ａは、撮影ＲＡＷ保存領域２５ｃから読み出された信号を受け取って垂直方向の平均値を演算し、演算結果を水平方向ローパスフィルタ処理部３２ｂに渡し、水平方向ローパスフィルタ処理部３２ｂは、後述するフィルタ処理の結果として得られる高周波成分，低周波成分をメモリ２５の保存領域２５ｄに格納する。

加減算処理部３２ｃは、撮影ＲＡＷ保存領域２５ｃから読み出された信号と、高・低周波成分保存領域２５ｄから読み出された高周波成分，低周波成分とを、温度センサ３１の検出温度を関数とする所要の演算式に基づいて加減算し、暗電流補正処理した撮像画像信号を出力する。

図４は、暗電流検出処理手順を示すフローチャートである。暗電流検出処理を開始すると、先ず、固体撮像素子１１の駆動信号として「第２駆動信号」を選択する（ステップＳ１）。

そして、メカニカルシャッタ１２の遮光状態下で、且つ、読出信号オフで撮影を行う（ステップＳ２）。即ち、真っ暗な状態で撮影を行い、且つ、画素４１の暗電流を垂直電荷転送路４２に読み出すことなく、垂直電荷転送路４２，水平電荷転送路４３を転送駆動し、アンプ４４から出力される信号（ＲＡＷデータ）をメモリ２５の保存領域２５ｃに格納する（ステップＳ３）。

この様にして保存領域２５ｃに格納されたデータは、ノイズ成分だけのデータとなる。第２駆動信号により、垂直電荷転送路４２は低速にて転送駆動され、電荷転送に用いる電位パケットが垂直電荷転送路４２上にとどまる時間は、通常撮影時と比較して長くなる。この結果、垂直電荷転送路４２上で発生する暗電流量も、低速になった分だけ増量される。

水平電荷転送路４３の転送速度は、垂直電荷転送路４２の転送速度より桁違いに高速であるため、水平電荷転送路４３の暗電流分は非常に少なく、考慮する必要はない。従って、保存領域２５ａに格納されたＲＡＷデータは、垂直電荷転送路４２上で発生した暗電流ノイズに、アンプ４４やＣＤＳＡＭＰ１５等で発生した回路ノイズが重畳したノイズ量を表すデータとなる。

次のステップＳ４では、保存されたＲＡＷデータの画素配列を、光学配置に並べ替える。即ち、同じ垂直電荷転送路４２で転送された画素が同じ列に来るように並べ替える。図２に示す例は、各画素を正方格子状に配列し、各画素列に沿って垂直電荷転送路を設けているため、画素配列の並べ替えは行う必要はない。

そして、次のステップＳ５で「ｘ＝感光画素領域の左端＝１」と設定する。感光画素領域とは、図２で説明した有効画素領域と同じであり、図２の各垂直電荷転送路に対して左側からｘ＝１，ｘ＝２，…と列番号を付けて、以下の処理を行う。

ステップＳ６では、暗電流レベルが垂直方向（垂直電荷転送路の転送方向）に分布を持つか否かを判定する。例えば、図５（ａ）に示す様に、垂直電荷転送路の転送方向の位置座標（転送段位置：図５（ａ）では横軸座標位置）にかかわらず暗電流レベルが所定閾値幅以内に収まるか、図５（ｂ）に示す様に、所定閾値幅を超えて分布するかを判定する。この場合には、ｘ＝１となる垂直電荷転送路の暗電流レベルが垂直方向に分布を持つか否かを判定する。

暗電流レベルが垂直方向に分布を持つ場合には、ステップＳ７に進み、垂直方向分布を、一次関数「Ｓｘ（Ｙ）＝Ａｘ＊Ｙ＋Ｂｘ」で近似する。ここで、Ａｘは図５（ｂ）の一次関数の傾斜を表し、Ｂｘは切片を表す。

傾斜Ａｘは、例えば、次の様にして求める。処理対象とする列番号の垂直電荷転送路の上ＯＢ部４５と下ＯＢ部４６との間に挟まれた垂直電荷転送路部分を上下に２分割し、上半分の暗電流レベルの平均値（Ｓ１）及び中心座標位置（ｙ１）と、下半分の暗電流レベルの平均値（Ｓ２）及び中心座標位置（ｙ２）を求め、２点（ｙ１，Ｓ１）（ｙ２，Ｓ２）を結ぶ直線式から算出する。切片Ｂｘは、下ＯＢ部４６の暗電流レベルとなる。この演算は、図３の垂直方向平均演算部３２ａが行う。

次のステップＳ８では、「ｘ＝感光画素領域の右端」か否かを判定する。右端の垂直電荷転送路まで処理が終わっていない場合には次にステップＳ９に進んで「ｘ＝ｘ＋１」としてステップＳ６に戻る。

ステップＳ６での判定の結果、処理対象とする垂直電荷転送路の転送方向に暗電流レベルが分布を持たない場合（図５（ａ））には、ステップＳ６からステップＳ１０に進み、一次関数式「Ｓｘ（Ｙ）＝Ａｘ＊Ｙ＋Ｂｘ」のＡｘを「Ａｘ＝０」とし、感光画素の信号レベル（実際には感光画素の信号は読み出さずに処理しているため、上ＯＢ部と下ＯＢ部との間に挟まれた垂直電荷転送路部分の暗電流レベル）を平均化して「平均値＝Ｂｘ」とし（ステップＳ１１）、次にステップＳ８に進む。

ステップＳ６〜Ｓ１１の処理を繰り返し行って垂直電荷転送路のｘ列番号が右端まで来たとき、ステップＳ８からステップＳ１２に進む。このステップＳ１２では、ステップＳ７，Ｓ１１で求めた垂直電荷転送路毎のＡｘ，Ｂｘの値を、ｘ順に並べて、即ち水平方向に並べて、ローパスフィルタをかけ、低周波成分を垂直電荷転送路毎に求める。このローパスフィルタ処理は、図３の水平方向ローパスフィルタ処理部３２ｂが行う。求めた低周波成分を、Ａlowｘ，Ｂlowｘとする。

図６は、暗電流ノイズを簡単なモデルで説明する図である。図６（ａ）は、暗電流ノイズだけの画像を示している。この画像中に、２本の縦スジ状のノイズａ，ｂが存在する。この画面において、水平方向線Ｘに沿った暗電流ノイズを求めると、図６（ｂ）に示す様になる。即ち、ベースとなる暗電流成分に、縦スジ状ノイズａ，ｂを対応する成分が重畳した形となる。ベースとなる成分が低周波成分であり、縦スジノイズに対応する成分が高周波成分となる。

図６の例は、説明を簡単にするために２本の縦スジ状ノイズａ，ｂしか示していないが、実際には、垂直電荷転送路毎に暗電流量が異なるため、多数の縦スジ状ノイズが、低周波成分に重畳することになる。高周波成分は縦スジ状のノイズに対応するが、低周波成分は、画面中の広い面積における輝度ムラとして観察される。

次のステップＳ１３では、垂直電荷転送路毎に、Ａｘ，Ｂｘの高周波成分Ａhiｘ，Ｂhiｘを求める。高周波成分は、例えば、Ａｘ，Ｂｘの値から、低周波成分を「Ａhiｘ＝Ａｘ−Ａlowｘ」「Ｂhiｘ＝Ｂｘ−Ｂlowｘ」の演算式で減算することで算出できる。

次のステップＳ１４では、ステップＳ１２，Ｓ１３で求めた各垂直電荷転送路毎の低周波成分Ａlowｘ，Ｂlowｘ、高周波成分Ａhiｘ，Ｂhiｘを、図３のメモリ２５に設けた保存領域２５ｄに格納し、この図４の暗電流検出処理を終了する。

図７は、暗電流補正処理手順を示すフローチャートである。暗電流補正は、被写体画像を撮影する本撮影後に行うため、先ずステップＳ２１で本撮影用に第１駆動信号を選択する。そして次のステップＳ２２で撮影処理を行い、固体撮像素子１１から撮像画像データ（ＲＡＷデータ）を読み出し、これをメモリ２５の保存領域２５ｃに格納する（ステップＳ２３）。本撮影では、暗電流が小さいほど高品質な被写体画像を得ることができるため、第１駆動信号を選択して、電位パケットが垂直電荷転送路上に待機する時間を短くする。

被写体画像データ（ＲＡＷデータ）の取得後に、温度補償を実施する。暗電流成分は、温度上昇に伴いレベルが上昇するため、ＯＢ部から検出したＯＢレベルの大小から、補正用の一次関数の傾きおよび切片の値を決めてもよい。また、固体撮像素子１１の温度を測定する温度センサ３１により温度を取得し、傾きと切片の大小を決定してもよい。どちらを選択するかの撮影条件を予め撮像装置に設定しておく。

そこで、次のステップＳ２４では、温度補償用の入力パラメータを、ＯＢ平均値とするか、測定温度とするかを判定する。判定結果が「ＯＢ平均値」の場合にはステップＳ２５に進んで下ＯＢ部４６の信号レベルの平均値を算出し、ステップＳ２７に進む。ステップＳ２４の判定結果が「測定温度」の場合にはステップＳ２６に進んで温度センサ３１の検出温度を取得し、ステップＳ２７に進む。

ステップＳ２７では、各垂直転送路毎に算出した傾きＡｘ，切片Ｂｘの低周波成分と高周波成分に乗じる適正な倍率を、その本撮影時の撮影条件や、暗電流を検出したときの撮影条件を勘案して算出する。低周波成分Ａlowｘ，Ｂlowｘの適正倍率をＮal，Ｎbl、高周波成分Ａhiｘ，Ｂhiｘの適正倍率をＮah，Ｎbhとする。

例えば、暗電流ノイズの高周波成分は、温度が高くなるほど増加し、電荷が垂直電荷転送路上に待機する時間が長くなるほど比例的に増加する。そこで、暗電流検出時の第２駆動信号と本撮影時の第１駆動信号における待機時間の大小関係やその時の測定温度の違いから、保存領域２５ｄに格納した値を用いて本撮影時の撮像画像データをどの程度の倍率で補正すれば良いかが決まる。

次のステップＳ２８では、ｘ＝１とする。即ち、処理対象とする垂直電荷転送路を感光画素領域の左端の垂直電荷転送路とする。そして、ステップＳ２９で、「Ａ’hiｘ＝Ａhiｘ＊Ｎah」「Ｂ’hiｘ＝Ｂhiｘ＊Ｎbh」とする。

次にステップＳ３０に進み、低周波成分による補正も実施するか否かを判定する。低周波成分の補正の実施の有無は、例えば、予めユーザからの低周波成分による補正の有無の設定入力があるか否か等で判定する。低周波成分の補正を実施しない場合にはステップＳ３１に進み、「Ａ’lowｘ＝０」「Ｂ’lowｘ＝０」とする。

ステップＳ３０の判定の結果、低周波成分による補正も実施する場合には、ステップＳ３２に進んで「Ａ’lowｘ＝Ａlowｘ＊Ｎal」とし、次のステップＳ３３で、Ｂ’lowを、本撮影で得られた撮像画像データのうちＯＢ部の暗電流レベル（ＯＢレベル）から算出するか否かを判定する。本撮影のＯＢレベルを用いるか否かは、予めユーザが設定入力する構成でも良く、あるいは、撮影条件等に基づいて撮像装置が自動的に決定しても良い。

本撮影で得られたＯＢレベルからＢ’lowｘの値を求める場合には、ステップＳ３３からステップＳ３４に進み、本撮影で得られた上ＯＢ部４５または下ＯＢ部４６の信号レベルの垂直方向平均値を求め、更に、ローパスフィルタをかけた値をＢ’lowｘとする。

本撮影で得られたＯＢレベルを用いない場合には、ステップＳ３３からステップＳ３５に進み、「Ｂ’lowｘ＝Ｂlowｘ＊Ｎbl」として算出する。

ステップＳ３１，Ｓ３４，Ｓ３５の次にステップＳ３６に進み、「ｘ＝感光画素領域の右端」まで処理が終了したか否かを判定する。右端の垂直電荷転送路まで処理が終わっていない場合には次にステップＳ３７に進んで「ｘ＝ｘ＋１」としてステップＳ２９に戻る。

垂直電荷転送路毎に行うステップＳ２９〜ステップＳ３１，Ｓ３４，Ｓ３５の処理が終了した場合には、ステップＳ３８に進み、暗電流補正演算処理を行い、この図５の処理を終了する。この暗電流補正演算処理は、図３に示す加減算処理部３２ｃが行い、本撮影され得られたＲＡＷデータの座標位置（Ｘ，Ｙ）の信号レベルから、「（Ａ’lowｘ＋Ａ’hiｘ）＊Ｙ＋（Ｂ’lowｘ＋Ｂ’hiｘ）」を減算することで行う。

本実施形態では、垂直転送周期の長い駆動の方が、周期の短い駆動に比べて暗電流量を多く取得することができるという現象を利用している。垂直転送周期が異なると、水平シェーディング特性など暗電流特性以外にも差が生じるが、取得した暗電流成分のデータに暗電流成分以外の成分が混じる危険性を回避するため、本実施形態では、垂直転送周期の長い駆動を用いて暗電流成分を抽出し、更に、ローパスフィルタを用いて高周波成分を抽出する構成としている。これにより、暗電流起因の縦スジ状のノイズ以外の成分が除去でき、暗電流成分を精度良く取得することが可能となる。

尚、上述した実施形態では、適正な倍率が乗じられた高周波成分を減算して被写体画像中に現れる縦スジ状のノイズを除去しているが、ステップＳ３０で低周波成分による補正も合わせて実施する処理パターンも用意している。低周波成分にも暗電流成分は含まれるが、相関二重サンプリング処理を行うＣＤＳＡＭＰ１５で垂直クランプを実施していた場合、低周波成分の増加の一部はクランプで吸収されてしまう。このため、ステップＳ２７で求める低周波成分の適正な倍率は、高周波成分の適正な倍率と異なる倍率となる。しかし、主成分が暗電流成分であれば、定数倍を減算することで低周波成分による補正は可能であり、より高精度な暗電流補正ができる。

図８は、図７のステップＳ３４で水平方向にローパスフィルタをかけるときの別実施形態を示す図である。ＣＣＤ型の固体撮像素子１１は、その形式あるいは製造方法等によって、垂直電荷転送路の特性が、１列置きに異なる場合がある。即ち、奇数列の暗電流成分の変化と、偶数列の暗電流成分の変化とが異なる場合がある。斯かる場合に、垂直電荷転送路の暗電流成分の変化を、図８（ｂ）に示す点線で結んだ変化としてローパルスフィルタをかけると、高周波成分が多くなってしまう。

そこで、斯かる固体撮像素子の場合には、偶数列の垂直電荷転送路のグループと、奇数列の垂直電荷転送路のグループとに分け、各グループ内で水平方向にローパスフィルタをかければ、適切な暗電流補正が可能となる。

尚、以上述べた実施形態では、暗電流ノイズの高周波成分を求めるために、ローパルスフィルタで低周波成分を求め、暗電流ノイズから低周波成分を減算した残りを高周波成分としたが、ハイパスフィルタを用いて高周波成分を直接的に求め、これを暗電流ノイズから減算して低周波成分も求める構成としても良い。

また、上述した実施形態では、全ての処理を、デジタルカメラ内で実施したが、デジタルカメラ外のパソコンなどで実施する構成としても良い。暗電流ノイズを得るための遮光した画像データ（ＲＡＷデータ）を、記録メディア２９に保存しても良く、また、デジタルカメラ内で上述した暗電流ノイズの傾きＡｘ，切片Ｂｘの高周波成分，低周波成分を算出し、これを本撮影したＲＡＷデータに添付して記録メディア２９に保存する構成としても良い。また、図４で求める暗電流の高周波成分，低周波成分を外部のパソコン等で算出し、得られた値をデジタルカメラ内の図３の保存領域２５ｄに格納する様にすることも可能である。

更に、上述した実施形態では、暗電流検出処理を行った後の本撮影で暗電流補正処理を行う例を説明したが、本撮影を行った直後に暗電流検出処理を行い、暗電流補正処理を行う構成としても良い。しかし、本撮影を行う毎に、毎回、その直前または直後に暗電流検出処理を行う構成だと、デジタルカメラの制御処理装置（ＣＰＵ２２，画像信号処理回路２３，暗電流補正用信号処理回路３２等）の処理負荷が高くなる。

そこで、温度センサ３１の検出温度を監視し、ある検出温度から所定温度範囲内では同じ暗電流検出処理で得られた暗電流ノイズの高周波成分，低周波成分の保存データを使用し（所定温度範囲内における温度変化に対しては、ステップＳ２７で説明した適正倍率で対処する）、検出温度が所定温度範囲から外れたとき、新たに暗電流検出処理を行って高周波成分，低周波成分の保存データを更新する構成としても良い。

上述した実施形態では、画素配列が図２に示される正方格子配列の固体撮像素子を例に説明したが、複数の平行な電荷転送路を持つ形式の固体撮像素子であればいずれの固体撮像素子にも上述した実施形態を適用可能である。例えば、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチづつずれ、垂直電荷転送路が画素を避ける様に蛇行して設けられた、例えば特開２０００―２２４５９９号公報に記載された様な所謂ハニカム画素配列の固体撮像素子にも適用可能である。

以上述べた様に、本実施形態の撮像装置及び撮像画像の補正方法は、半導体基板表面の第１方向に沿って延びる電荷転送路が該第１方向と略直角の第２方向に複数平行に並置され各電荷転送路毎に複数の画素が配置された固体撮像素子で撮像された被写体画像の暗電流ノイズを補正する撮像装置及び撮像画像の補正方法であって、前記電荷転送路を第１周期で転送駆動する第１駆動方法と、
前記電荷転送路を前記第１周期より長い第２周期で転送駆動する第２駆動方法とを用意しておき、
被写体を撮像しない状態で前記第２駆動方法により前記電荷転送路を転送駆動し前記固体撮像素子から出力された前記電荷転送路毎の信号の前記第２方向に対する高周波成分によって、被写体を撮像した状態で前記第１駆動方法により前記電荷転送路を転送駆動し前記固体撮像素子から出力された信号を補正することを特徴とする。

また、実施形態の撮像装置及び撮像画像の補正方法の上記固体撮像素子がＣＣＤ型であることを特徴とする。

また、実施形態の撮像装置及び撮像画像の補正方法は、前記被写体を撮像しない状態で前記第２駆動方法により前記電荷転送路を転送駆動するとき前記被写体からの入射光を遮光手段で遮光することを特徴とする。

また、実施形態の撮像装置及び撮像画像の補正方法の前記第２駆動方法は、前記第１駆動方法を時間軸上で定数倍した駆動方法であることを特徴とする。

また、実施形態の撮像装置及び撮像画像の補正方法は、被写体を撮像しない状態で前記第２駆動方法により前記電荷転送路を転送駆動し前記固体撮像素子から出力された前記電荷転送路毎の信号の前記第２方向に対する高周波成分をフィルタ手段で取り出すことを特徴とする。

また、実施形態の撮像装置及び撮像画像の補正方法は、被写体を撮像しない状態で前記第２駆動方法により前記電荷転送路を転送駆動し前記固体撮像素子から出力された前記電荷転送路毎の信号の前記第２方向に対する低周波成分をフィルタ手段で取り出すことを特徴とする。

また、実施形態の撮像装置及び撮像画像の補正方法は、前記半導体基板表面に設けた前記画素のうち有効画素領域から外れるオプティカルブラック画素からの信号を用いて前記低周波成分を求めることを特徴とする。

また、実施形態の撮像装置及び撮像画像の補正方法は、前記電荷転送路をグループ分けし各グループ毎に前記高周波成分または低周波成分を求めることを特徴とする。

また、実施形態の撮像装置及び撮像画像の補正方法は、前記高周波成分と前記低周波成分を用いて前記補正を行うことを特徴とする。

また、実施形態の撮像装置及び撮像画像の補正方法は、被写体を撮像しない状態で前記第２駆動方法により前記電荷転送路を転送駆動し、前記固体撮像素子から出力された前記電荷転送路毎の信号を、該電荷転送路の転送方向の座標による一次関数で近似することを特徴とする。

また、実施形態の撮像装置及び撮像画像の補正方法は、前記一次関数の傾きまたは切片が、前記半導体基板表面に設けた前記画素のうち有効画素領域から外れるオプティカルブラック画素からの信号の平均値の関数とすることを特徴とする。

また、実施形態の撮像装置及び撮像画像の補正方法は、前記一次関数の傾きまたは切片を、前記固体撮像素子の温度を検出する温度センサの検出温度の関数とすることを特徴とする。

また、実施形態の撮像装置及び撮像画像の補正方法は、予め求めた前記高周波成分をメモリに格納しておくことを特徴とする。

また、実施形態の撮像装置及び撮像画像の補正方法は、予め求めた前記低周波成分をメモリに格納しておくことを特徴とする。

また、実施形態の撮像装置及び撮像画像の補正方法は、被写体を撮像する本撮影の直前または直後に前記高周波成分を求める前記第２駆動方法による処理を行うことを特徴とする。

本実施形態は係る構成により、暗電流を高精度に検出して画像中の縦スジ状のノイズを精度良く補正でき、高品質な被写体画像を得ることができる。

本発明に係る撮像画像の補正方法及び撮像装置は、暗電流を高精度に検出して補正することができ、高品質な撮像画像を得ることができるため、デジタルスチルカメラ，デジタルビデオカメラ，カメラ付携帯電話機など固体撮像素子を用いて被写体画像を撮像できる電子機器一般に適用可能である。

１１ 固体撮像素子
１２ メカニカルシャッタ（遮光手段）
２２ ＣＰＵ
２２ａ 駆動方法選択部
２５ メモリ
２５ａ 第１駆動信号ファイル
２５ｂ 第２駆動信号ファイル
２５ｃ 撮影ＲＡＷ保存領域
２５ｄ 高周波成分・低周波成分保存領域
３１ 温度センサ
３２ 暗電流補正用信号処理回路
３２ａ 垂直方向平均演算部
３２ｂ 水平方向ローパスフィルタ処理部
３２ｃ 加減算処理部
３７ タイミングジェネレータ（第１駆動手段，第２駆動手段）
４１ 画素（フォトダイオード：光電変換素子）
４２ 垂直電荷転送路（ＶＣＣＤ）
４５ 上ＯＢ部
４６ 下ＯＢ部

Claims (30)

1. 半導体基板表面の第１方向に沿って延びる電荷転送路が該第１方向と略直角の第２方向に複数平行に並置され各電荷転送路毎に複数の画素が配置された固体撮像素子と、
   前記電荷転送路を第１周期で転送駆動する第１駆動手段と、
   前記電荷転送路を前記第１周期より長い第２周期で転送駆動する第２駆動手段と、
   被写体を撮像しない状態で前記第２駆動手段により前記電荷転送路を転送駆動し前記固体撮像素子から出力された前記電荷転送路毎の信号の前記第２方向に対する高周波成分によって、被写体を撮像した状態で前記第１駆動手段により前記電荷転送路を転送駆動し前記固体撮像素子から出力された信号を補正する補正手段とを備える撮像装置。
2. 請求項１に記載の撮像装置であって、前記固体撮像素子がＣＣＤ型である撮像装置。
3. 請求項１または請求項２に記載の撮像装置であって、前記被写体を撮像しない状態で前記第２駆動手段により前記電荷転送路を転送駆動するとき前記被写体からの入射光を遮光する遮光手段を備える撮像装置。
4. 請求項１乃至請求項３のいずれかの撮像装置であって、前記第２駆動手段は前記第１駆動手段を時間軸上で定数倍した駆動手段である撮像装置。
5. 請求項１乃至請求項４のいずれかに記載の撮像装置であって、被写体を撮像しない状態で前記第２駆動手段により前記電荷転送路を転送駆動し前記固体撮像素子から出力された前記電荷転送路毎の信号の前記第２方向に対する高周波成分を取り出すフィルタ手段を備える撮像装置。
6. 請求項１乃至請求項５のいずれかに記載の撮像装置であって、被写体を撮像しない状態で前記第２駆動手段により前記電荷転送路を転送駆動し前記固体撮像素子から出力された前記電荷転送路毎の信号の前記第２方向に対する低周波成分を取り出すフィルタ手段を備える撮像装置。
7. 請求項６に記載の撮像装置であって、前記半導体基板表面に設けた前記画素のうち有効画素領域から外れるオプティカルブラック画素からの信号を用いて前記低周波成分を求める撮像装置。
8. 請求項６または請求項７に記載の撮像装置であって、前記電荷転送路をグループ分けし各グループ毎に前記高周波成分または低周波成分を求める撮像装置。
9. 請求項６乃至請求項８のいずれかに記載の撮像装置であって、前記高周波成分と前記低周波成分を用いて前記補正を行う撮像装置。
10. 請求項１乃至請求項９のいずれかに記載の撮像装置であって、被写体を撮像しない状態で前記第２駆動手段により前記電荷転送路を転送駆動し、前記固体撮像素子から出力された前記電荷転送路毎の信号を、該電荷転送路の転送方向の座標による一次関数で近似する撮像装置。
11. 請求項１０に記載の撮像装置であって、前記一次関数の傾きまたは切片が、前記半導体基板表面に設けた前記画素のうち有効画素領域から外れるオプティカルブラック画素からの信号の平均値の関数である撮像装置。
12. 請求項１０に記載の撮像装置であって、前記固体撮像素子の温度を検出する温度センサを備え、前記一次関数の傾きまたは切片が前記温度センサの検出温度の関数である撮像装置。
13. 請求項１乃至請求項６のいずれかに記載の撮像装置であって、予め求めた前記高周波成分を格納しておくメモリを備える撮像装置。
14. 請求項７乃至請求項９のいずれかに記載の撮像装置であって、予め求めた前記低周波成分を格納しておくメモリを備える撮像装置。
15. 請求項１乃至請求項１４のいずれかに記載の撮像装置であって、被写体を撮像する本撮影の直前または直後に前記高周波成分を求める前記第２駆動手段による処理を行う撮像装置。
16. 半導体基板表面の第１方向に沿って延びる電荷転送路が該第１方向と略直角の第２方向に複数平行に並置され各電荷転送路毎に複数の画素が配置された固体撮像素子で撮像された被写体画像の暗電流ノイズを補正する撮像画像の補正方法であって、前記電荷転送路を第１周期で転送駆動する第１駆動方法と、
    前記電荷転送路を前記第１周期より長い第２周期で転送駆動する第２駆動方法とを用意しておき、
    被写体を撮像しない状態で前記第２駆動方法により前記電荷転送路を転送駆動し前記固体撮像素子から出力された前記電荷転送路毎の信号の前記第２方向に対する高周波成分によって、被写体を撮像した状態で前記第１駆動方法により前記電荷転送路を転送駆動し前記固体撮像素子から出力された信号を補正する撮像画像の補正方法。
17. 請求項１６に記載の撮像画像の補正方法であって、前記固体撮像素子がＣＣＤ型である撮像画像の補正方法。
18. 請求項１６または請求項１７に記載の撮像画像の補正方法であって、前記被写体を撮像しない状態で前記第２駆動方法により前記電荷転送路を転送駆動するとき前記被写体からの入射光を遮光手段で遮光する撮像画像の補正方法。
19. 請求項１６乃至請求項１８のいずれかの撮像画像の補正方法であって、前記第２駆動方法は前記第１駆動方法を時間軸上で定数倍した駆動方法である撮像画像の補正方法。
20. 請求項１６乃至請求項１９のいずれかに記載の撮像画像の補正方法であって、被写体を撮像しない状態で前記第２駆動方法により前記電荷転送路を転送駆動し前記固体撮像素子から出力された前記電荷転送路毎の信号の前記第２方向に対する高周波成分をフィルタ手段で取り出す撮像画像の補正方法。
21. 請求項１６乃至請求項２０のいずれかに記載の撮像画像の補正方法であって、被写体を撮像しない状態で前記第２駆動方法により前記電荷転送路を転送駆動し前記固体撮像素子から出力された前記電荷転送路毎の信号の前記第２方向に対する低周波成分をフィルタ手段で取り出す撮像画像の補正方法。
22. 請求項２１に記載の撮像画像の補正方法であって、前記半導体基板表面に設けた前記画素のうち有効画素領域から外れるオプティカルブラック画素からの信号を用いて前記低周波成分を求める撮像画像の補正方法。
23. 請求項２１または請求項２２に記載の撮像画像の補正方法であって、前記電荷転送路をグループ分けし各グループ毎に前記高周波成分または低周波成分を求める撮像画像の補正方法。
24. 請求項２１乃至請求項２３のいずれかに記載の撮像画像の補正方法であって、前記高周波成分と前記低周波成分を用いて前記補正を行う撮像画像の補正方法。
25. 請求項１６乃至請求項２４のいずれかに記載の撮像画像の補正方法であって、被写体を撮像しない状態で前記第２駆動方法により前記電荷転送路を転送駆動し、前記固体撮像素子から出力された前記電荷転送路毎の信号を、該電荷転送路の転送方向の座標による一次関数で近似する撮像画像の補正方法。
26. 請求項２５に記載の撮像画像の補正方法であって、前記一次関数の傾きまたは切片が、前記半導体基板表面に設けた前記画素のうち有効画素領域から外れるオプティカルブラック画素からの信号の平均値の関数とする撮像画像の補正方法。
27. 請求項２５に記載の撮像画像の補正方法であって、前記一次関数の傾きまたは切片を、前記固体撮像素子の温度を検出する温度センサの検出温度の関数とする撮像画像の補正方法。
28. 請求項１６乃至請求項２１のいずれかに記載の撮像画像の補正方法であって、予め求めた前記高周波成分をメモリに格納しておく撮像画像の補正方法。
29. 請求項２２乃至請求項２４のいずれかに記載の撮像画像の補正方法であって、予め求めた前記低周波成分をメモリに格納しておく撮像画像の補正方法。
30. 請求項１６乃至請求項２９のいずれかに記載の撮像画像の補正方法であって、被写体を撮像する本撮影の直前または直後に前記高周波成分を求める前記第２駆動方法による処理を行う撮像画像の補正方法。

Images