従来、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置においては、被写体を撮像する撮像手段としてCCDやCMOSセンサ等の固体撮像素子(以後、撮像素子と略称表記)が使用されている。
図11は、CMOS型の撮像素子の構成を示す回路図である。
図11において、CMOS型の撮像素子の画素19の内部には、フォトダイオード1、転送スイッチ2、リセットスイッチ3、画素アンプ10、行選択スイッチ6が設けられている。転送スイッチ2のゲートは、垂直走査回路14からの制御信号ΦTX(n)、ΦTX(n+1)の出力線に接続されている。リセットスイッチ3のゲートは、垂直走査回路14からの制御信号ΦRES(n)、ΦRES(n+1)の出力線に接続されている。行選択スイッチ6のゲートは、垂直走査回路14からの制御信号ΦSEL(n)、ΦSEL(n+1)の出力線に接続されている。
被写体の光学像を電気信号に変換する光電変換は、フォトダイオード1で行われる。フォトダイオード1に対する信号電荷(光量電荷)の蓄積期間中は、転送スイッチ2はオフ状態であり、画素アンプ10を構成するソースフォロアのゲート11には、フォトダイオード1で光電変換された信号電荷は転送されない。フォトダイオード1に対する信号電荷の蓄積開始前に、リセットスイッチ3がオンし、画素アンプ10を構成するソースフォロアのゲート11の寄生容量9は、適当な電圧に初期化されており、これがダークレベルとなる。
次に、リセットスイッチ3がオンまたは行選択スイッチ6がオン(もしくはリセットスイッチ3のオンと同時に行選択スイッチ6がオン)になると、負荷電流源7と画素アンプ10を構成するソースフォロア回路が動作状態になる。ここで、転送スイッチ2をオンさせることで、フォトダイオード1に蓄積されていた信号電荷は画素アンプ10を構成するソースフォロアのゲート11に転送される。尚、4はリセット電源、5は画素アンプ10を構成するソースフォロアを駆動する電源である。
信号電荷の転送動作により、撮像素子における選択された行の出力が各列の垂直出力線13上に発生する。この出力は、転送ゲート15a、15bを介して信号蓄積部15に一時蓄積される。信号蓄積部15に一時蓄積された出力は、水平走査回路16により順次、出力アンプ部20c(後述の図13)へ読み出される。尚、ここでは簡単のため画素数を2×2画素の場合を例に挙げているが、一般に画素領域は更に大きく、更にその一部をOB画素領域として遮光して画素を設けている。
図12は、図11の撮像素子の動作タイミングを示すタイミング図である。
図12において、撮像素子(CMOSセンサ)では、全画素リセット期間であるT1〜T2のタイミングで制御信号ΦTX(n)がアクティブになる。ここでは、第n行の制御信号ΦTX(n)しか示していないが、全画素リセット期間、全ての行の制御信号ΦTXがアクティブとなる。全画素のフォトダイオード1の信号電荷は、転送スイッチ2を介して画素アンプ10を構成するソースフォロアのゲートに転送される。これにより、フォトダイオード1はリセットされる。
この後、時刻T3で撮像対象画像の光量を導光する不図示のメカニカルシャッタ(以後、シャッタ)が開いて、全ての画素で同時に信号電荷の蓄積を開始する。シャッタは時刻T4で閉じる。この時刻T3〜時刻T4の時間がフォトダイオード1の信号電荷の蓄積期間となる。この状態ではフォトダイオード1に信号電荷が蓄積されている。
次に、撮像素子の各行毎に読み出しが開始される。以降、撮像素子の第n行の動作について説明する。
時刻T5で制御信号ΦSEL(n)がアクティブになり、行選択スイッチ6がオンとなり、第n行目に繋がっている全ての画素の画素アンプ10を構成するソースフォロア回路が動作状態になる。ここで、画素アンプ10を構成するソースフォロアのゲート11は時刻T6で制御信号ΦRES(n)がアクティブになり、リセットスイッチ3がオンとなり、ソースフォロアのゲート11は初期化される。即ち、垂直出力線13にはこのリセット直後のダークレベル信号が出力される。
時刻T7で制御信号ΦRES(n)がネゲートされた後、時刻T8で第1のサンプリング制御信号ΦTN(n)(17a)がアクティブになる。これにより、信号蓄積部15の転送ゲート15bがオンとなり、信号蓄積部15にダークレベル信号が保持される。この動作は、撮像素子においてn行に繋がっている全ての画素に対して同時に並列に実行される。尚、第1のサンプリング制御信号ΦTN(n)(17a)は、以後、制御信号ΦTN(n)(17a)と略称表記する。
信号蓄積部15に対するダークレベル信号の転送が終了した時刻T9の後、時刻T10で制御信号ΦTX(n)をアクティブとし、転送スイッチ2をオンとする。これにより、フォトダイオード1に蓄積されていた信号電荷を、画素アンプ10を構成するソースフォロアのゲート11に転送する。このとき、画素アンプ10を構成するソースフォロアのゲート11では、転送されてきた信号電荷に見合う分だけリセットレベルから電位が変動し、信号レベルが確定する。
信号電荷の転送が充分に終了した時刻T11で制御信号ΦTXをネゲートした後、時刻T12で第2のサンプリング制御信号ΦTS(17b)がアクティブになる。これにより、信号蓄積部15の転送ゲート15aがオンし、信号蓄積部15に信号レベルが保持される。この動作は、撮像素子においてn行に繋がっている全ての画素に対して同時に並列に実行される。尚、第2のサンプリング制御信号ΦTS(17b)は、以後、制御信号ΦTS(17b)と略称表記する。
信号蓄積部15は、撮像素子においてn行に繋がっている全ての画素のダークレベルと信号レベルを保持している。各画素間でのダークレベルと信号レベルの差を取ることで、ソースフォロアのスレッシュホールド電圧Vthのバラツキによる固定パターンノイズ(FPN)や、リセットスイッチ3のリセット時に発生するKTCノイズをキャンセルする。これにより、S/Nの高いノイズ成分が除去された信号が得られる。
フォトダイオード1を光学的に遮光したOB領域の画素からは、光信号は発生せず、フォトダイオード1の表面の正常でない状態等から生じる暗電流成分のみが出力される。信号蓄積部15に蓄積されたダークレベルと信号レベルの差信号を水平走査回路16により水平走査する。これにより、暗電流成分の信号が時系列的に時刻T14〜時刻T15のタイミングで出力される。尚、ここでは水平走査期間の駆動パルスの詳細については省略している。
以上で撮像素子におけるn行の出力は終了となる。同様に、制御信号ΦSEL(n+1)、ΦRES(n+1)、ΦTX(n+1)、ΦTN(17a)、ΦTS(17b)を、n行目と同様に時刻T4〜時刻T15までと同様に繰り返し駆動することで、n+1行目の信号を読み出すことができる。
図13は、撮像素子のチップの模式的な構成を示す図である。
図13において、撮像素子20のチップは、有効画素領域20a、画素部を光学的に遮光した無効画素領域(OB領域)20b、水平走査回路16にて駆動される信号蓄積部15の信号を増幅し出力するためのアンプ20c、出力端子20dを有する。
従来の撮像装置では、回路が有するオフセットを除去するために、OB(Optical Black)領域20bと呼ばれる光学的に遮光された領域を設け、この領域内の画素出力レベルをクランプする。撮像素子の回路、特に転送ゲート15a、15bのオフセット差や、信号蓄積部15が有する列ごとのオフセットは、固体差や温度ドリフト等の環境による変化が発生しやすく、出力の直流成分が変化することになる。
特に垂直方向に画素出力を転送する回路系でオフセット差があると、列ごとにオフセットがばらつき、画像では縦筋と言う形の固定パターンノイズとして現れる。固定パターンノイズは非常に視認されやすく、特に高感度の設定時には非常に見えやすくなるという問題がある。
この固定パターンノイズを低減する手法としては以下の手法が良く知られている。OB画素領域の出力を基に、各列に対応する補正データを算出して保存しておく。画像データを読み出した後に、この補正データを画像データから減算処理することにより、各列で異なるオフセット量、即ち縦筋として見える固定パターンノイズを低減する。
次に、後述の本発明の実施の形態で用いる図1を参照しながら、引き続き背景技術について説明する。撮像装置では、TG(タイミングジェネレータ)32が、信号処理部33の制御に基づき撮像素子20の制御を行うと共に、信号処理部33へ基準クロックを供給する。一方、撮像素子20の出力はA/D変換器31によりデジタル化され、信号処理部33へ転送される。
次に、信号処理部33によりOB領域20bの出力を用いて固定パターンノイズの除去方法について説明する。信号処理部33は、TG32を制御し、撮像素子20の出力をA/D変換器31を介して読み出す。この場合、OB部を指定すべく、OB領域20bの先頭行からOB領域20bの終了前の行までの間、各列ごとの出力を積算し、積算結果を読み出した行数で除算を行い平均化する。これにより、各列ごとのOB領域20bの平均値を算出し、これを各列ごとの補正データとする。図14に、この場合の平均値算出領域21を枠線で示す。
一方、信号処理部33は、撮像素子20から読み出した有効画素領域20aの出力から、対応する列ごとに上記補正データを減算処理する。こうして、各列で有する固有のオフセット値を減算し、固定パターンノイズを除去した結果を出力することが可能となる。
上記技術に関連するものとしては以下の技術が提案されている(例えば、特許文献1参照)。特許文献1では、上述した補正動作を行う際に、フォトダイオードの正常でない状態による異常出力ビットや、赤外光の半導体底面反射による出力がOB画素に発生した場合における、次のような問題の対策をとっている。即ち、誤ったレベルをクランプして開口画素における出力オフセットレベルが本来のレベルからずれるという問題の対策として、OB領域では光電変換素子からの信号の変換を抑止して出力手段から信号を読み出すよう制御している。
また、上記技術に関連するものとしては以下の技術が提案されている(例えば、特許文献2参照)。特許文献2では、OB領域においてはフォトダイオードを形成しないようにし、光信号も暗電流信号も共に蓄積できないような構成にしている。
特開2003−259223号公報
特開2007−015712号公報
以下、本発明の実施の形態を図面に基づいて説明する。
まず、第1乃至第4の実施の形態を説明する前に、第1乃至第4の実施の形態に共通の撮像装置と撮像素子の構成について図1と図11を参照しながら説明する。
図1は、本発明の第1乃至第4の実施の形態に係る撮像装置の要部の構成を示すブロック図である。
図1において、撮像装置は、撮像素子20、A/D変換器31、TG32、信号処理部33(第1の処理手段、第2の処理手段、取得手段、切替手段)、メモリ34、記録媒体35、表示部36、ビデオ出力端子37、シャッタ(不図示)を備える。
撮像素子20は、複数の画素が2次元に配列され、画素に光が入射する有効画素領域20a、画素に光が入射しないように遮光される無効画素領域(OB領域)20bを備えるCMOSセンサとして構成されている。尚、撮像素子20への入射光の制御は、不図示の制御部がシャッタにより行う。更に、撮像素子20は、アンプ20c、出力端子20d、信号蓄積部15(信号蓄積手段)、水平走査回路16を備える。
信号蓄積部15は(図11参照)、第1の制御信号ΦTN(17a)によりフォトダイオード1をリセットした後のフォトダイオード1の出力を保持する。また、信号蓄積部15は、第2の制御信号ΦTS(17b)によりフォトダイオード1をリセットした後に転送スイッチ2をオンとして信号電荷の転送動作を実行した後のフォトダイオード1の出力を保持する。そして、信号蓄積部15は、保持された2つの出力の差分を蓄積する。
撮像素子20のOB領域20bは、有効画素領域20aの各列に対応して設けられている。OB領域20bは、フォトダイオード1も形成された上で遮光部材にて遮光されている。また、OB領域20bの行数は、チップサイズに影響するほどの極端に大きなものではない。撮像素子20の各画素19には、被写体の光学像を光電変換するフォトダイオード1(光電変換素子)、信号電荷を転送するための転送スイッチ2(転送手段)、リセットスイッチ3、行選択スイッチ6、画素アンプ10が設けられている(図11参照)。
TG32は、上述したように撮像素子20を駆動するための制御信号を生成するものであり、信号処理部33の制御に基づき撮像素子20の制御を行うと共に信号処理部33へ基準クロックを供給する。
信号処理部33は、上述したようにTG32を制御し、撮像素子20の出力をA/D変換器31を介して読み出す。また、信号処理部33は、各列ごとのOB領域20bの平均値を算出し、算出した平均値を、画像に現れる固定パターンノイズを低減するための各列ごとの補正データとする。また、信号処理部33は、外付けのメモリ34を備えており、メモリ34を使用して信号処理を行う。信号処理部33は、信号処理の結果を、記録媒体35に記録し、表示部36に静止画像(あるいは動画像)として表示し、ビデオ信号に変換した上でビデオ出力端子37から出力する等の処理を行う。
上記の構成を有する撮像装置における制御の特徴を以下に列挙する。
信号処理部33は、撮像素子20に光が入射する状態において、転送スイッチ2をオフ(転送手段の動作を禁止)にして撮像素子20の平均値算出領域22を読み出し、読み出した結果に基づき撮像素子20の固定パターンノイズを算出する。更に、転送スイッチ2をオン(転送手段の動作を許可)にして撮像素子20の所望の領域を読み出した結果から算出結果を減じる。
また、信号処理部33は、撮像素子20に光が入射する状態において、転送スイッチ2をオフにしてΦTN(17a)、ΦTS(17b)の出力タイミングを第1の駆動パターンにて制御する。更に、平均値算出領域22(図5参照)を読み出した結果に基づき撮像素子20の固定パターンノイズを算出する。更に、転送スイッチ2をオンにしてΦTN(17a)、ΦTS(17b)の出力タイミングを第1の駆動パターンとは異なる第2の駆動パターンにて制御し、撮像素子20を読み出した結果から算出結果を減じる。
また、信号処理部33は、撮像素子20に光が入射する状態において、撮像素子20への入射光量に関する情報に基づき撮像素子20の読み出しを行う領域を切り替えて読み出しを行い、読み出した結果に基づき撮像素子20の固定パターンノイズを算出する。更に、撮像素子20の転送スイッチ2をオンにして撮像素子20を読み出した結果から算出結果を減じる。
また、信号処理部33は、以下の第1の状態と第2の状態のいずれかに切り替える。第1の状態は、撮像素子20の転送スイッチ2をオフにして平均値算出領域22を読み出す状態である。第2の状態は、転送スイッチ2をオンにして無効画素領域20bを読み出す状態である。
また、信号処理部33は、撮像素子に光が入射する状態において、撮像素子20への入射光量に関する情報に基づき撮像素子20の読み出しを行う領域を切り替えて読み出しを行い、読み出した結果に基づき撮像素子20の固定パターンノイズを算出する。更に、撮像素子20の転送スイッチ2をオンにしてΦTN(17a)、ΦTS(17b)の出力タイミングを所定の駆動パターンにて制御し、撮像素子20を読み出した結果から算出結果を減じる。
また、信号処理部33は、以下の第3の状態と第4の状態と第5の状態と第6の状態のいずれかに切り替える。第3の状態は、撮像素子20の転送スイッチ2をオフにしてΦTN(17a)、ΦTS(17b)の出力タイミングを所定の駆動パターンにて制御し、平均値算出領域22を読み出す状態である。第4の状態は、撮像素子20の転送スイッチ2をオフにしてΦTN(17a)、ΦTS(17b)の出力タイミングを所定の駆動パターンとは異なるパターンにて制御し、平均値算出領域22を読み出す状態である。第5の状態は、撮像素子20の転送スイッチ2をオンにしてΦTN(17a)、ΦTS(17b)の出力タイミングを所定の駆動パターンにて制御し、無効画素領域20bを読み出す状態である。
また、信号処理部33は、ΦTN(17a)、ΦTS(17b)の出力タイミングを所定の駆動パターンとは異なるパターンにて制御する際に、両制御信号がそれぞれアクティブになる時間間隔を所定の駆動パターンにて制御する場合よりも短い時間間隔とする。
また、信号処理部33は、ΦTN(17a)、ΦTS(17b)の出力タイミングを所定の駆動パターンとは異なるパターンにて制御する際に、両制御信号がそれぞれアクティブになるタイミングを同一のタイミングとする。
〔第1の実施の形態〕
本発明の第1の実施の形態では、図1の構成を有する撮像装置において図11の構成を有する撮像素子20の画素出力を読み出して補正データを算出する場合に、画素出力について短時間で必要精度の平均値を算出して補正データとする方法を提案する。
撮像素子20の読み出し方法が変更された場合は、読み出し方法の変更後の最初のフレームにて補正データを算出する。ここで、撮像素子20の駆動方法を通常の読み出し方法(図3の第2フレーム以降を読み出す方法)から変更する。撮像素子20の画素出力を読み出して補正データを作成するに当たり、全行(図3の第1行〜最終行)ともフォトダイオード1からの信号電荷の転送を行わないで読み出し動作を行う。この場合の撮像素子20の駆動パターンを図2に示す。
図2は、撮像素子20のフォトダイオード1からの信号電荷の転送を行わない場合の撮像素子20の動作タイミングを示すタイミング図である。
図2において、本実施の形態では、撮像素子20の駆動パターンは、先に図12で説明した従来の通常の読み出しの駆動パターンと比較し、時刻T10から時刻T11までの制御信号ΦTX(n)をアクティブにしていないという特徴を有する。このような読み出し方式により、フォトダイオード1に蓄積されている信号電荷は、ソースフォロワのゲート11に転送されない。これにより、遮光されているOB領域20bも、遮光されていない有効画素領域20aの画素出力も、被写体像が撮像素子20に入射しているにもかかわらず、ダーク相当の出力を得ることが可能となる。
次に、この場合の信号処理部33の固定パターンノイズの除去方法について図3を参照しながら説明する。
図3は、撮像素子20の補正データ取得シーケンスを示す図である。
図3において、第1行〜最終行は、撮像素子20の有効画素領域20a及びOB領域20bの行を示している。また、第1フレーム、第n+1フレームは、ダークフレームに相当する。第2フレーム、第3フレーム、第n+2フレームは、撮像素子20の駆動方法を通常の読み出し方法で読み出した際のフレームに相当する。
撮像装置により動画撮影を行う時に撮像素子20の読み出し方式が切り替わった場合や、あるいは動画撮影を開始した直後の第1フレーム(ダークフレーム)を読み出す時に、次の読み出し動作を行う。即ち、出力画像として第1フレームを読み出す時は、図示のように、指定領域(先頭の第1行から指定された行まで)についてフォトダイオード1からの信号電荷の転送無しで読み出し動作を行う。
ここで、信号処理部33は、撮像素子20の指定行数の画素出力に基づき各列ごとに画素出力を平均化する処理を行うことで、補正データとする。本実施の形態では、指定領域は通常の読み出し領域と同一である。この場合にはフォトダイオード1からの光信号成分や暗電流成分は出力に現れないので、補正データを算出するための領域はOB領域20bに制限されない。従って、撮像素子20の先頭の第1行から補正データを算出するに足りる画素数分の出力データを読み出して、補正データの作成にあてることが可能となる。本実施の形態では、撮像素子20の通常の読み出し領域と同一の領域を読み出し、補正データの作成にあてる。
次の出力画像として第2フレームの読み出しからは、上記の図12に示したように、通常どおりフォトダイオード1からの信号電荷の転送を行うようにTG32の設定を変更し、読み出しを繰り返す。読み出し周期は、例えば1秒間に30コマの画像を得る場合には1/30秒となる。このとき、信号処理部33は、撮像素子20からの読み出しを行うと共に、読み出した結果から先に演算した各列に対応した補正データを減算処理して出力する。その結果、わずか1フレームの間に充分な精度で補正データを算出することで、固定パターンノイズが除去された出力を得ることが可能となる。
一方、上記のように補正している各列ごとのオフセット量が温度の変動により変化する場合、動画撮影の開始直後と、動画撮影を続けて撮像素子20の温度が上昇した後では、そのオフセット量が変化してしまうことも想定される。このような場合に備えて、動画撮影中においても補正データの算出を行うことが可能である。
例えば、第1フレームの読み出しと同様にフォトダイオード1からの信号電荷の転送無しで所定の時間ごとに読み出すフレームを設定し、該フレームで読み出した画素出力を基に、信号処理部33は上記と同様の演算方法で補正データを再演算する。これにより、以前の温度条件の下で作成した補正データから最新の温度条件に対応した補正データに更新されることとなり、温度の影響により徐々に増加していた固定パターンノイズが再度除去されることとなる。
この処理動作を一定時間間隔あるいは任意のタイミングで行うことにより、温度の影響で変化するような成分を有する固定パターンノイズに対しても対応することが可能となる。この様子を図3の第n+1フレーム以降に示す。図示のように、先に説明した通り或るタイミングでフォトダイオード1からの信号電荷の転送を行わない状態で読み出しを行い、第1フレームの出力を得る。第1フレームの出力を用いて初期の補正データを作成し、該補正データに基づき、以降のフォトダイオード1からの信号電荷の転送を行うフレームについて補正処理を行う。
次に、第n+1フレームの読み出しを行う時に、再度、フォトダイオード1からの信号電荷の転送を行わない状態で読み出しを行い、補正データを作成する。ここで作成した補正データに基づき、以降のフォトダイオード1からの信号電荷の転送を行うフレームの補正処理を行う。
このように、フォトダイオード1からの信号電荷の転送を行わない状態で読み出しを行い補正データを作成するというシーケンスを、nフレームごとに繰り返し行う。これにより、上述した各列ごとのオフセット量が温度の変動により時間と共に変動する場合にも対応が可能となる。尚、「n」は、温度によるオフセットの変化量や撮像素子の消費電力に応じた発熱量などに従って設定する。勿論、上記シーケンスの繰り返し周期は、常に同じ繰返し周期であってもよいし、時間と共に変化するように変更する周期であってもよい。
また、上述したフォトダイオード1から信号電荷を転送しないで読み出す補正データ取得方法は、動画撮影中に1フレーム相当のダークフレームを生成することとなる。そのため、動画出力を行う信号処理部33では、補正データ算出のためのダークフレームを、直前の信号を読み出しているフレームに置き換える等の処理を行う必要がある。
以上詳細に説明したように、本実施の形態によれば、撮像素子に被写体像が入射している状態においても、画像に現れる固定パターンノイズを除去することが可能となる。これにより、従来のような固定パターンノイズ除去に所定時間を要するため撮像装置の操作感が低下する現象を解消できると共に、高品質な画像データを取得することが可能となる。
〔第2の実施の形態〕
本発明の第2の実施の形態は、上記第1の実施の形態に対して、以下で説明する点において相違する。本実施の形態の撮像装置及び撮像素子の構成は、上記の図1及び図11で詳述した通りであり説明を省略する。
上記第1の実施の形態では、補正データを算出するためのフレームがダークフレームとなるため、動画出力を行う際にはダークフレームの置き換えが必要であった。
本実施の形態では、ダークフレームの置き換えを必要としない他の方法について説明する。撮像素子20において例えば1秒間に30フレームといった所定のフレームレートでの読み出しに対して、撮像素子20の実際の読み出し時間に余裕がある場合は、以下の独立シーケンスを追加する。即ち、ブランキング時間に独立シーケンスとしてフォトダイオード1からの信号電荷の転送無しで読み出しを行う読み出しシーケンスを追加する。この様子を図4に示す。
図4は、本実施の形態に係る撮像素子20の補正データ取得シーケンスを示す図である。
図4において、撮像素子20の通常の読み出し動作は、フォトダイオード1からの信号電荷の転送を行いながら読み出しを行っていく。例えばある時刻の第1フレームの読み出しを完了した後に、フォトダイオード1からの信号電荷の転送を行わないで読み出し動作を行い、図示のように第1転送無しフレームのデータを取得する。この場合、露光時間は意味をなさないので、露光時間は通常読み出しの場合の露光時間と同じである必要は無く、通常読み出しフレームのコマ間隔の間で設定可能な時間で構わない。あるいは露光時間自体を確保する必要も無い。
また、露光時間を短くしても、通常読み出しフレームのコマ間隔の間で撮像素子20の全画素の出力を読み出す時間を確保することは困難である。そのため、フォトダイオード1からの信号電荷の転送を行わない場合は、撮像素子20の全画素のうち一部の画素の読み出しを行う。図4の場合は、撮像素子20において、上述した独立シーケンスとして追加した読み出しシーケンスの時間tに読み出すことができる行数は撮像素子20のおよそ上半分の行数である。この場合の読み出し領域及び補正データ作成領域のイメージを図5に枠線で示す。
図5は、撮像素子20の平均値算出領域22を示す図である。
図5において、撮像素子20には、平均値算出領域22(設定領域)が予め設定されている。撮像素子20の転送スイッチ2をオフにして読み出す平均値算出領域22は、有効画素領域20aとOB領域20bに重複した領域で且つOB領域20bよりも広い領域である。また、撮像素子20の転送スイッチ2をオフにして読み出す平均値算出領域22は、撮像素子20の転送スイッチ2をオンにして読み出す領域と同一の領域である。
撮像素子20から読み出し可能な行数は、通常読み出し時の読み出し周期と各フレームの読み出し時間との関係に基づき決定される。各フレームの読み出し時間を確保できれば、OB領域20bから多くの画素データを読み出すことが可能であり、補正データを作成するに当たって充分な精度を期待することが可能である。
尚、撮像素子20から読み出した転送無しフレームの出力は最終的な出力画像としては使用しないようにすれば、通常読み出しのフレームだけで所定の1秒間に30フレームのデータを得ているため、固定パターンノイズの低減が可能である。即ち、ダークフレームを直前の信号を読み出しているフレームに置き換えるシーケンスを行うことなく、動画撮影に影響を及ぼすことなく、且つ補正データも精度良く更新できることで、固定パターンノイズの低減が可能である。
勿論、この場合も上記第1の実施の形態と同様に、例えばnフレームごとに補正データを生成するシーケンスを追加することで、温度等の時間によって変動する成分に対しても有効に補正することが可能となる。この様子は図4の第n+1フレーム以降に記載しているが説明は省略する。
尚、本実施の形態では、上述したシーケンスを動画撮影時に適用した場合を例に挙げたが、動画撮影時に限定されるものではない。静止画撮影時においても、撮影前に信号電荷の転送無しでの読み出しシーケンスを追加し、補正データを取得するといった場合にも適用可能である。
以上詳細に説明したように、本実施の形態によれば、上記第1の実施の形態と同様に撮像装置の操作感が低下する現象を解消しながら、高品質な画像データの取得が可能となる。
〔第3の実施の形態〕
本発明の第3の実施の形態は、上記第1の実施の形態に対して、以下で説明する点において相違する。本実施の形態の撮像装置及び撮像素子の構成は、上記の図1及び図11で詳述した通りであり説明を省略する。
上記第1及び第2の実施の形態では、撮像装置においてシャッタが開いており撮像素子20に被写体の光学像が入射している状態であっても、フォトダイオード1からの信号電荷の転送を行わないようにした。これにより、撮像素子20の遮光しているOB領域以外の画素出力も使用して補正データを精度良く算出することが可能となった。
しかしながら、撮像素子20(CMOSセンサ)の構造によっては、撮像素子20に被写体の光学像が入射している状態では次のような問題が発生する場合も知られている。フォトダイオード1に非常に強い光が入射し電荷が飽和するような場合に、フォトダイオード1からの過剰電荷が何らかの理由で画素アンプ10のゲート11のゲート容量(寄生容量)9に到達してしまうと、光信号の影響を受けることになる。
これは以下の理由による。フォトダイオード1からの過剰電荷がゲート11に到達した場合に、信号蓄積部15にノイズ信号(ダーク信号)を読み出すタイミングと、光信号を読み出すタイミングが異なる。そのため、ノイズ信号(ダーク信号)を読み出すタイミングにゲート11に到達した過剰電荷量と、更に時間が経過して光信号を読み出すタイミングにゲート11に到達した過剰電荷量との差の成分が現れる。
本実施の形態では、上述した光信号の影響を避けるために次のような対応を行う。即ち、フォトダイオード1からの信号電荷の転送を行わない場合の信号蓄積部15に読み込むノイズ信号(ダーク信号)を読み出すタイミングと、光信号を読み出すタイミングとの時間差を次のように変化させる。フォトダイオード1からの信号電荷の転送を行う場合の信号蓄積部15に読み込むノイズ信号(ダーク信号)を読み出すタイミングと、光信号を読み出すタイミングとの時間差から変化させる。
上記のように時間差を変化させる第1の例と、更に変化させる第2の例を、それぞれ図6と図7に示す。
図6は、本実施の形態に係る撮像素子20のフォトダイオード1からの信号電荷の転送を行わない場合の撮像素子20の動作タイミング(第1の例)を示すタイミング図である。
図6において、本実施の形態では、フォトダイオード1からの信号電荷の転送を行わない場合に垂直走査回路14(図11参照)からの制御信号ΦTS(17b)(第2の制御信号)のタイミングを変化させる。従来は、時刻T12から時刻T13までの間、制御信号ΦTS(17b)をアクティブにしていた(破線)。これに対し、本実施の形態では、例えば時刻T10から時刻T11までの間、制御信号ΦTS(17b)をアクティブにするように変更する。これは、制御信号ΦTX(n)を出力しないことで可能となるものである。
このようにタイミングを変更することで以下のようになる。従来は、制御信号ΦTN(17a)(第1の制御信号)と制御信号ΦTS(17b)の間に、図12に示すように(T13−T9)の時間差があったものが、本実施の形態では、図6に示すように(T11−T9)の時間差に短縮される。これにより、フォトダイオード1からの過剰電荷の影響がその時間差に応じて低減されることになる。
図7は、撮像素子20のフォトダイオード1からの信号電荷の転送を行わない場合の撮像素子20の動作タイミング(第2の例)を示すタイミング図である。
図7において、制御信号ΦTS(17b)をアクティブにするタイミングとして制御信号ΦTN(17a)と同じタイミングに設定すると、フォトダイオード1からの過剰電荷の影響は受けないことになる。この場合には、他の制御信号もタイミングの変更が可能である。例えば制御信号ΦSEL(n)のアクティブ時間も短縮することが可能である。これにより、水平ブランキング時間を短縮できることから、フォトダイオード1からの信号電荷の転送を行わない場合には読み出し時間を短縮することができる。
このように撮像素子20の構造により、撮像素子20に被写体像が入射している状態でフォトダイオード1からの信号電荷の転送を行わない場合にフォトダイオード1で発生した過剰電荷の影響を受けるようなものであっても、本実施の形態では以下の制御を行う。
即ち、フォトダイオード1からの信号電荷の転送を行わない場合の信号蓄積部15に読み込むノイズ信号(ダーク信号)を読み出すタイミングΦTN(17a)と、光信号を読み出すタイミングΦTS(17b)との時間差を、次のように変化させる。フォトダイオード1からの信号電荷の転送を行う場合の信号蓄積部15に読み込むノイズ信号(ダーク信号)を読み出すタイミングと、光信号を読み出すタイミングとの時間差から変化させる。
厳密には、フォトダイオード1からの信号電荷の転送を行わない場合は、フォトダイオード1からの信号電荷の転送を行う場合に比べて、制御信号ΦTN(17a)と制御信号ΦTS(17b)との時間差を短く設定する。これにより、フォトダイオード1からの過剰電荷の影響を小さくすることが可能となる。
更には、上記の時間差を無くすことにより、フォトダイオード1からの過剰電荷の影響を受けないようにすることが可能である。つまり、シャッタを開いた状態で非常に高輝度の被写体が入射するような状況であっても、フォトダイオード1からの過剰電荷の影響を受けにくくなる、あるいは受けなくなることが可能である。
尚、本実施の形態で説明した上記処理以外の補正データの作成方法や、制御信号ΦTS(17b)のタイミング等は、上記第1及び第2の実施の形態と同様に実現することが可能である。
以上詳細に説明したように、本実施の形態によれば、上記第1の実施の形態と同様に撮像装置の操作感が低下する現象を解消しながら、高品質な画像データの取得が可能となる。
[第4の実施の形態]
本発明の第4の実施の形態は、上記第1の実施の形態に対して、以下で説明する点において相違する。本実施の形態の撮像装置及び撮像素子の構成は、上記の図1及び図11で詳述した通りであり説明を省略する。
上記第3の実施の形態では、フォトダイオード1からの信号電荷の転送を行わない場合には、光信号を読み出す制御信号ΦTS(17b)のタイミングを変更することを示した。撮像素子内部で過剰電荷の影響以外に制御信号ΦTN(17a)と制御信号ΦTS(17b)の時間差に依存する何らかの成分がある場合には、次の現象が生じる。即ち、通常の読み出し状態と、補正データの取得時にΦTS−ΦTNの時間差を変更すると、補正データの取得時と通常の読み出し時とで出力が変化し、正しく補正できないという現象が生じる。
例えば制御信号ΦTN(17a)、ΦTS(17b)以外の何れかの制御信号により、撮像素子内部の状態が大きく変化し、その状態が安定するまでの時間内に制御信号ΦTN(17a)、ΦTS(17b)をアクティブにするような場合は、次の変化がある。即ち、それぞれの制御信号ΦTN(17a)、ΦTS(17b)がアクティブになる時間差で撮像素子本来の出力値が変化する。このような場合は、上記第3の実施の形態に示す方法は、補正データ作成時と通常読み出し時とに時間差をつけると、撮像素子本来の出力値の変化の差が見えるため適用が難しい。
本実施の形態では、上記のような場合の対応策を提案する。撮像装置の信号処理部33は、各フレームの出力を処理する際に各フレームの輝度情報をチェックする。例えば撮像素子20のR・G・Bの各出力のうちG出力のみをモニタする。簡単な例として、G出力が所定以上の値を示す画素の個数を計数する。判定すべきは、フォトダイオード1が飽和し過剰電荷の影響があるか否かであるので、過剰電荷が出力される恐れがあるようなデジタル判定値、例えばA/D変換器31のデジタルデータの最大値近傍の数値などを設定する必要がある。
上記のように所定以上の値を示す(出力レベルを超える)画素の個数を計数することにより、対象となる1フレームの画素出力において高輝度な被写体がどの程度含まれているかを概略的にチェックすることが可能となる。
従って、ここで検出した高輝度出力画素の個数が所定のレベル以下であった場合は、フォトダイオード1からの過剰電荷の影響は無いものと考える。制御信号ΦTN(17a)、制御信号ΦTS(17b)とも、フォトダイオード1からの信号電荷の転送の有無にかかわらず同じタイミングで駆動する。
この場合は、当然、フォトダイオード1からの信号電荷の転送無しで補正データを作成したとしても、フォトダイオード1からの過剰電荷の影響を受けることも無い。また、制御信号ΦTN(17a)、制御信号ΦTS(17b)のタイミングの変更も行っていないため、電荷転送の有無でダーク出力に差は生じず、問題なく補正動作が可能となる。
一方、ここで検出した高輝度出力画素の個数が所定のレベル以上であった場合は、撮像素子20に高輝度の被写体像が入射しているものと判断し、別の動作を行う。別の動作例として次の2つの方法が考えられる。
第1の方法では、フォトダイオード1からの信号電荷の転送無しで補正データを作成するが、その際に制御信号ΦTN(17a)、制御信号ΦTS(17b)のタイミングの変更を行う。この場合、撮像素子によっては、ダーク相当出力に影響があり、補正データが正確には一致しない可能性があるが、フォトダイオード1からの過剰電荷の影響を受けるとことなく補正データを高速に作成することが可能となる。
第2の方法では、補正データを作成するにあたり、フォトダイオード1からの信号電荷の転送無しで補正データを作成することをあきらめ、従来どおり、遮光されているOB領域の出力を複数フレームにわたって平均化処理を行う。この場合、少ない行数のOB領域の出力で補正データを作成するため、複数フレームにわたって平均化処理を行う必要がある。制御信号の駆動タイミングは通常読み出し時と同一であり、且つ遮光されているOB領域の信号出力を用いて補正データを作成する。そのため、フォトダイオード1からの過剰電荷の影響や、補正データが合わなくなる影響を受けることは無くなる。
撮像素子20に高輝度の被写体像が入射しているか否かの判断は、撮像素子20の特性や撮像装置の目的に応じて判断することができる。
図8は、本実施の形態に係る補正データ取得シーケンスの切り替え処理(第1の例)を示すフローチャートである。図9は、撮像素子に高輝度の被写体が入射しているか否かを判定する処理を示すフローチャートである。
図8において、信号処理部33は、所定のフレームごとに補正データ生成のための読み出しシーケンスを行う際に、その直前のフレームの画像の評価結果を読み出し、輝度(入射光量に関する情報)をチェックする(ステップS100)。ステップS100における評価内容を図9のフローチャートに従い説明する。
図9において、まず、信号処理部33は、信号処理部内部の計数結果をクリアする(ステップS110)。次に、信号処理部33は、撮像素子20の画素出力(例えばG出力)を順次読み出し(ステップS111)、画素出力を予め設定されている判定値と比較する(ステップS112)。画素出力が判定値を超えていた場合は、信号処理部33は、計数結果を1加算する(ステップS113)。画素出力が判定値を超えていない場合は、信号処理部33は、全ての画素出力について判定値との比較を終了したかどうかを確認する(ステップS114)。
全ての画素出力について判定値との比較を終了していない場合は、信号処理部33は、ステップS111に戻り、撮像素子20の画素出力の読み出しと判定値との比較を繰り返す。全ての画素出力について判定値との比較を終了した場合は、信号処理部33は、計数結果が予め設定されている判定値を超えたかどうか確認する(ステップS115)。これは、撮像素子20に例えば正常でない画素が含まれているような場合は、光信号によらず非常に大きな出力となることがあるため、このような要因を除くために、一定以上の計数結果をもって、撮像した被写体が高輝度被写体であるか否かの判定を行う。
計数結果が判定値を超えている場合は、信号処理部33は、当該フレームは高輝度の被写体像が入射していると判断する(ステップS116)。計数結果が判定値を超えていない場合は、信号処理部33は、当該フレームは高輝度の被写体像が入射していないと判断する(ステップS117)。更に、信号処理部33は、ステップS116の判断結果またはステップS117の判断結果を、当該フレーム以降のフレームの読み出し直前に使用するため、メモリ34に記憶する(ステップS118)。これにより、本処理を終了する。
図8に戻り、信号処理部33は、上記のステップS100における直前のフレームの画像の評価結果を読み出し、高輝度の被写体像が入射しているかどうかを判定する(ステップS101)。高輝度の被写体像が入射していないと判定した場合は、信号処理部33は、補正データ取得時の動作モードをフォトダイオード1からの信号電荷の転送を行わない設定になるようTG32を設定し、タイミングの変更は行わない(ステップS102)。
高輝度の被写体像が入射していると判定した場合は、信号処理部33は、フォトダイオード1からの過剰電荷の影響を受けにくくなるように、次のようにTG32を設定する。即ち、補正データ取得時の動作モードをフォトダイオード1から信号電荷を転送しない設定になるよう、且つ制御信号ΦTN(17a)、ΦTS(17b)の時間差が通常よりも短くなるようTG32を設定し、タイミングの変更を行う(ステップS103)。
信号処理部33は、ステップS102またはステップS103で設定された読み出し方法により撮像素子20からの画像データの読み出しを実行し、補正データ取得用フレームを読み出す(ステップS104)。更に、信号処理部33は、平均値算出領域22(図5参照)の出力から補正データを作成し、以降の補正データとして設定する(ステップS105)。これにより、本処理を終了する。
本処理は、例えば動画撮影中に間引き率の異なる静止画を1枚撮影するような状況を考えた場合に、静止画撮影直前の補正データ取得時など直ちに補正データを取得する必要がある場合には、撮像素子によっては補正データが正確に一致しない可能性がある。しかし、フォトダイオード1からの過剰電荷の影響を受けるとことなく、高速に補正データを作成することが可能となり非常に有効である。
図10は、補正データ取得シーケンスの切り替え処理(第2の例)を示すフローチャートである。
図10において、直前のフレームの画像の評価結果の読み出し(ステップS100)、高輝度の被写体像の入射判定(ステップS101)、高輝度被写体が入射していない場合の処理(ステップS102〜ステップS105)は、図8と同様であり説明を省略する。以下では本処理に固有の動作を説明する。ステップS101で高輝度の被写体像が入射していると判定した場合、信号処理部33は、フォトダイオード1からの過剰電荷の影響を受けないように、補正データの作成には、遮光されているOB領域20bを用いる。
即ち、信号処理部33は、補正データ取得時の動作モードは従来と変えることはしないものの、複数フレームにわたってOB領域20bの平均化処理を行う(ステップS106)。更に、信号処理部33は、所定の画素領域の出力を複数フレームにわたって平均化処理を行うことで補正データを作成し、以降の補正データとして設定する(ステップS107)。これにより、本処理を終了する。
例えば動画撮影時であれば、複数フレームで補正データを作成したとしても、一定時間後には正確な補正値を算出することが可能となるため、動画撮影時には本処理が有効であるものと考えられる。
尚、本実施の形態では、補正データ取得シーケンスの切り替え処理として第1の例と第2の例を挙げたが、判断状況に応じてこれらを組み合わせても問題ない。また、本実施の形態では、直前のフレームに高輝度の被写体像が含まれているか否かの判断をソフトウェアで実現する場合を例に挙げたが、ハードウェアで構成しても構わない。
以上詳細に説明したように、本実施の形態によれば、上記第1の実施の形態と同様に撮像装置の操作感が低下する現象を解消しながら、高品質な画像データの取得が可能となる。
〔他の実施の形態〕
第1乃至第4の実施の形態では、撮像装置の撮像素子に関する制御について説明したが、本発明は各種の撮像装置(デジタルスチルカメラ、デジタルビデオカメラ)に適用することが可能である。
また、本発明の目的は、以下の処理を実行することにより達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出す処理である。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及びプログラムコードを記憶した記憶媒体は本発明を構成することになる。
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROM等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理により前述した実施形態の機能が実現される場合も含まれる。
更に、前述した実施形態の機能が以下の処理により実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う場合である。