(第1の実施形態)
図1は、本発明の第1の実施形態における撮像装置である電子カメラの構成例を示すブロック図である。図において、112はCMOSセンサー等である撮像素子114の露光量を制御するシャッターである。114は光学像を電気信号に変換する撮像素子であり、本実施形態上は撮像素子114としてCMOSセンサーを使用している。
116は撮像素子114から出力されるアナログ信号をディジタル信号に変換するA/D変換器である。118は撮像素子114、A/D変換器116およびD/A変換器126にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路122およびシステム制御部150によって制御される。
120は画像処理回路であり、A/D変換器116からのデータあるいはメモリ制御回路122からのデータに対して所定の画素補間処理や色変換処理を行う。画像処理回路120は必要に応じて撮像した画像データを用いて所定の演算処理を行う。測距制御部142および測光制御部146は、システム制御部150により、AF(オートフォーカス)処理、AE(自動露出)処理を行う。
122はメモリ制御回路であり、A/D変換器116、タイミング発生回路118、画像処理回路120、画像表示メモリ124、D/A変換器126、メモリ130を制御する。
A/D変換器116からのデータは、画像処理回路120およびメモリ制御回路122を介して、あるいは直接、メモリ制御回路122を介して画像表示メモリ124あるいはメモリ130に書き込まれる。
124は画像表示メモリ、126はD/A変換器である。128はTFT方式のLCDからなる画像表示部である。
130は撮影された静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を有している。
140は周知のシャッター112を制御するシャッター制御部である。142はAF(オートフォーカス)処理を行うための測距手段である測距制御部、144は撮影環境における周囲温度を測定するための温度計、146はAE(自動露出)処理を行うための測光手段である測光制御部である。
また、該測光制御部146はフラッシュ部148と連携することにより、フラッシュ撮影機能も有する。また、148は暗時の撮影に使用するフラッシュ部であり、AF補助光の投光機能等も兼ねている。
150は撮像装置全体を制御するシステム制御部であり、周知のCPUなどを内蔵する。
152はシステム制御部150の動作用の定数、変数、プログラムなどを記憶する記憶手段であるメモリであり、予め設定されているシェーディング補正データ等は該メモリ152に格納されている。
表示部128はシステム制御部150でのプログラムの実行に応じて、動作状態やメッセージなどを表示することができる。
156は後述するプログラムなどが格納された電気的に消去・記録可能なEEPROM等の記憶手段である不揮発性メモリである。
160はシステム制御部150の各種動作指示を入力するための周知のメインスイッチ(電源スイッチ)、シャッタースイッチ、モード設定ダイアル等を含んだ操作部である。これら操作部160には、シャッタースイッチ、モード設定ダイアル、単写/連写を切り替える単写/連写スイッチ、静止画/動画モード切り替えスイッチ、撮影感度(ISO感度)を設定するISO感度設定スイッチ、電源スイッチ等が含まれている。シャッタースイッチは、押し込むことで2つのスイッチ(SW1、SW2)が段階的にオンする。第1段階(SW1オン)でAF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュ調光)処理などの動作を行う。第2段階(SW2オン)でシャッター112等の制御をし、撮像素子114から読み出した信号をA/D変換器116、メモリ制御回路122を介してメモリ130に画像データを書き込む露光処理を行う。そして、画像処理回路120やメモリ制御回路122での演算を用いた現像処理、メモリ130から画像データを読み出し、圧縮を行い、記録媒体1200に画像データを書き込む記録処理という一連の処理を行わせる。モード設定ダイアルは、各種撮影モード(自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、夜景撮影モード、ポートレート撮影モード等)の切り替えを行う。電源スイッチは、各種システムに電源供給する。
なお、本発明の実施形態上、動画撮像モードという文言を使用するが、該動画撮像とは、動画記録に限ったものではなく、ビューファインダー等に画像をほぼリアルタイムで表示させる表示用動画撮像も含んだものである。
182は電池検出回路やDC−DCコンバータ等から構成されている電源制御部、186はアルカリ電池やリチウム電池などの一次電池、NiCd電池、NiMH電池、Li電池などの二次電池、ACアダプタなどからなる電源部である。1200はメモリカードやハードディスクなどの着脱可能な記録媒体である。
図5及び図6は本発明の第1の実施形態の撮像装置の撮影動作処理手順(撮像方法)を示すフローチャートである。
ステップS101では、電池交換などの電源投入により、システム制御部150はフラグや制御変数等を初期化し、撮像装置の各部に対して必要な所定の初期設定を行う。
ステップS102では、システム制御部150は、操作部160に含まれている電源スイッチの設定位置を判別し、電源スイッチが電源オフに設定されているか否かを判別する。
ステップS103では、電源スイッチが電源オフに設定されている場合、システム制御部150は、各表示部の表示を終了状態に変更し、フラグや制御変数などを含む必要なパラメータや設定値、設定モードを不揮発性メモリ156に記録する。そして、電源制御部182により画像表示部128を含む撮像装置各部の不要な電源を遮断する等の所定の終了処理を行った後、ステップS102の処理に戻る。
ステップS104では、ステップS102で電源スイッチが電源オンに設定されていた場合、システム制御部150は電源制御部182により電池などの電源186の残容量や動作状況が撮像装置の動作に問題があるか否かを判別する。問題があると判別された場合はステップS105へ、問題がないと判別された場合はステップS106へ移行する。
ステップS105では、システム制御部150は、表示部128に画像の表示や音声の出力により所定の警告を行った後、ステップS102の処理に戻る。
ステップS106では、システム制御部150は、操作部160に含まれているモードダイアルスイッチの設定位置を判断し、モードダイアルスイッチが撮影モードに設定されているか否かを判別する。モードダイアルスイッチがその他のモードに設定されている場合は、ステップS107へ、モードダイアルスイッチが撮影モードに設定されている場合はステップS108へ移行する。
ステップS107では、システム制御部150は、選択されたモードに応じた処理を実行し、実行後にステップS102の処理に戻る。
ステップS108では、システム制御部150は、記録媒体1200が装着されているか否かの判断、記録媒体1200に記録された画像データの管理情報の取得、および記録媒体1200の動作状態が撮像装置の動作に問題があるか否かを判別する。上記の撮像装置の動作は、特に記録媒体に対する画像データの記録再生動作である。問題があると判別された場合は既に説明済みであるステップS105へ、問題がないと判別された場合はステップS109へ移行する。
ステップS109では、システム制御部150は、表示部128を用いて画像や音声により撮像装置の各種設定状態の表示を行う。ここで、画像表示部128の画像表示スイッチがオンである場合に、画像表示部128を用いて画像や音声により撮像装置の各種設定状態を表示するようにしてもよい。
ステップS110では、システム制御部150は、シャッタースイッチSW1が押されているか否かを判別する。シャッタースイッチSW1が押されていない場合、ステップS102の処理に戻り、シャッタースイッチSW1が押されている場合は、ステップS111へ移行する。
ステップS111では、システム制御部150は、測距処理を行って撮影レンズの焦点を被写体に合わせ、測光処理を行って絞り値およびシャッター速度を決定する測距・測光処理を行う。
測光処理では、必要であればフラッシュの設定を行う。この測距・測光処理については周知の動作であるため、詳細の説明は割愛する。
ステップS112では、システム制御部150は、各種補正データ(水平ダークシェーディング補正に用いられる1次元補正データ等)を不揮発性メモリ156から読み出し、メモリ152に展開する。この補正データの展開終了後、ステップS113の処理に移行する。
ステップS113では、システム制御部150は、シャッタースイッチSW2が押されているか否かを判別する。シャッタースイッチSW2が押されていない場合はステップS114へ、シャッタースイッチSW2が押されている場合はステップS115へ移行する。
ステップS114では、システム制御部150は、シャッタースイッチSW1が離されたか否かを判別し、シャッタースイッチSW1が離されていない場合ステップS113へ戻り、シャッタースイッチSW1が離されるとステップS102へ移行する。
ステップS115では、システム制御部150は、撮影した画像データの記憶可能な画像記憶バッファ領域がメモリ130にあるか否かを判別する。メモリ130の画像記憶バッファ領域内に新たな画像データの記憶可能な領域がないと判別された場合はステップS116へ、新たな画像データの記憶可能な領域があると判別された場合はステップS117へ移行する。
ステップS116では、システム制御部150は、表示部128に画像の表示や音声の出力により所定の警告を行った後、ステップS102の処理に戻る。
ステップS117では、システム制御部150は、撮像素子114により所定時間の蓄積(撮像)をした撮像信号を、撮像素子114から読み出す。そして、A/D変換器116、画像処理回路120およびメモリ制御回路122を介して、あるいはA/D変換器116から直接、メモリ制御回路122を介して、メモリ130の所定領域に撮影した画像データを書き込む撮影処理を実行する。
なお、本発明の第1の実施形態においては、本ステップS117の蓄積動作中に、後述するダミーパルスの読み込み等の動作を行ない、水平ダークシェーディング補正値からのズレ分の補正値の算出およびメモリ152への記憶を行なっている。詳細は図2乃至図4にて説明する。
ステップS118では、システム制御部150は、メモリ130の所定領域に書き込まれた画像データの一部をメモリ制御回路122を介して読み出す。そして、現像処理を行うために必要なWB(ホワイトバランス)積分演算処理、OB(オプティカルブラック)積分演算処理を行い、演算結果をシステム制御部150の内部メモリあるいはメモリ152に記憶する。システム制御部150は、メモリ制御回路122、必要に応じて画像処理回路120を用いて、メモリ130の所定領域に書き込まれた撮影画像データを読み出す。そして、システム制御部150の内部メモリあるいはメモリ152に記憶した演算結果を用いて、AWB(オートホワイトバランス)処理、ガンマ変換処理、色変換処理を含む各種現像処理を行う。
現像処理では、水平ダークシェーディング補正データを用いて減算処理を行うことにより、撮像素子114の固定パターンノイズや暗電流ノイズ等を打ち消すダーク補正演算処理を併せて行う。
なお、水平ダークシェーディング補正は、補正初期値として不揮発性メモリ156に保存されている補正データに加え、ステップS112で蓄積動作中に求めた補正値からのズレ分を含めた補正を行う。
ステップS119では、システム制御部150は、メモリ130の所定領域に書き込まれた画像データを読み出して、設定されたモードに応じた画像圧縮処理を行う。そして、メモリ130の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みを行う。
ステップS120では、システム制御部150は、メモリ130の画像記憶バッファ領域に記憶された画像データを読み出し、メモリカードやコンパクトフラッシュ(登録商標)カード等の記録媒体1200に読み出した画像データを書き込む記録処理を開始する。
この記録開始処理は、メモリ130の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みが新たに行われる度に、その画像データに対して実行される。
尚、記録媒体1200に画像データの書き込みを行っている間、書き込み動作中であることを示すために、表示部128に例えばLEDを点滅させる等の記録媒体書き込み動作表示を行う。
ステップS121では、システム制御部150は、シャッタースイッチSW1が押されているか否かを判別し、シャッタースイッチSW1が離されるまで現在の処理を繰り返す。シャッタースイッチSW1が離された状態である場合はステップS102の処理に移行する。
本発明の第1の実施形態における該撮像素子114の構成を図2を用いて説明する。図2は該撮像素子114であるCMOSセンサーの等価回路図である。
同図において、S11は画素であり、該画素S11と同一構造の画素S21・・・Sm1は垂直出力線13に対して複数個接続されている。該画素内にはフォトダイオード(PD)1、転送スイッチ(TX)2、リセットスイッチ(TRES)3、画素アンプを構成するソースフォロア(SF)である増幅トランジスタ10および負荷電流源7ならびに第1のスイッチ8が設けられる。なお、負荷電流源7ならびに第1のスイッチ8は垂直出力線13に接続されている複数画素共通であるため、説明の便宜上、増幅トランジスタ10をソースフォロア(SF)10と称して説明する。
また、行選択スイッチ(TSEL)6が設けてあり、転送スイッチ(TX)2のゲートは信号ΦTXに接続され、リセットスイッチ3のゲートは信号ΦRESに接続され、行選択スイッチ6のゲートは信号ΦSELに接続されている。
なお、上記回路構成が複数列(画素S1乃至Smn、垂直出力線13乃至13n等)配設されている。
フォトダイオード(光電変換手段)1は、光電変換により信号を生成する。フォトダイオード1が光量電荷の蓄積期間中は転送スイッチ2はオフ状態(ΦTX=ハイレベル)であり、画素アンプを構成するソースフォロア10のゲートにはこのフォトダイオード1で光電変換された電荷は転送されない。該画素アンプを構成するソースフォロア10のゲートにあるフローティングディフュージョン領域(FD)11は、蓄積開始前に該リセットスイッチ3がオン(ΦRES=ローレベル)し、適当な電圧に初期化されている。すなわちこれがダークレベルとなる。次に又は同時に該行選択スイッチ6がオン(ΦSEL=ローレベル)になると、負荷電流源7とスイッチ8と該画素アンプを構成するソースフォロア10が動作状態になる。ここで該転送スイッチ2をオン(ΦTX=ローレベル)させることで該フォトダイオード1に蓄積されていた電荷は、該画素アンプを構成するソースフォロア10のゲートであるFD11に転送される。ここで4はリセット電源、5は該ソースフォロア10を駆動する電源である。
ここで、選択行の出力が垂直出力線13上に発生する。すなわち、垂直出力線13には、フォトダイオード1により生成された信号がソースフォロア10を介して出力される。垂直出力線13の信号は、転送ゲート15a,15bを介して、信号蓄積部16に蓄積される。信号蓄積部16に一時記憶された出力は不図示の水平走査回路によって順次出力アンプ部へ読み出される。すなわち、信号蓄積部(出力手段)16は、垂直出力線13の信号に応じて出力信号を出力する。
また、垂直出力線13乃至13nには、所定の出力を印加するための信号発生手段であるダミーパルス発生手段20が、スイッチ手段21−1乃至21−nを介して接続されている。そして、転送スイッチ2がオフ状態(ΦTX=ハイレベル)であるタイミングで、各垂直出力線13乃至13nに向けて、順次、ダミーパルスを出力する。
なお、該ダミーパルス発生手段20が出力する信号は、一律の電荷に限らず、例えば、暗レベルの電荷と光信号レベル(例えば、適露光時の電荷レベル)の複数パターンを備え、切り替え出力していくものである。ダミーパルス(ダミーパターン)発生手段20は、スイッチ手段21−1乃至21−nを介して、垂直出力線13乃至13nに対してダミーパターン信号を出力する。
該ダミーパルス発生手段20の出力タイミングについては、後述の図3及び図4を用いて説明する。
図3及び図4が図2の該CMOSセンサーの撮像動作の詳細タイミングチャートである。全画素リセット期間T1のタイミングで、信号ΦTX1乃至ΦTXmがアクティブになり、全画素の該フォトダイオード1の電荷は、該転送スイッチ2を介して該ソースフォロア10のゲートに転送され、該フォトダイオード1はリセットされる。同様のタイミング(T1期間)に、信号ΦRES1乃至ΦRESmをアクティブにすることで、ソースフォロア10のゲート(FD)11の電位=キャパシタ15の電位はリセット電源4とほぼ同等のレベルになり、リセットされた状況となる。
また、この状態はフォトダイオード1のカソード電荷がソースフォロア10のゲート(FD)11に移って平均化された状態である。ソースフォロア10のゲートのキャパシタの容量成分を大きくすることで、フォトダイオード1のカソードをリセットしたレベルと同様になる。
期間T1の終了と同時に、T2の期間、フォトダイオード1への蓄積を行う。この段階で、信号ΦPLSCTLをアクティブにすることで、スイッチ手段21−1乃至21−nを同時にアクティブにして、垂直出力線13に対してダミーパルス発生手段20の出力が印加可能な状態にする。
該T2期間の信号ΦPLSCTLの詳細動作は図4を用いて説明する。このとき、該ダミーパルス発生手段20は最初は基準電圧と第1のレベル(例えば暗レベル)である振幅Vpls1を持ったパルスを送り、基準各垂直出力線13乃至13nに出力する。該振幅Vpls1は暗レベルであるため0Vでもかまわない。
各々の信号レベルを信号蓄積部16に送るため、信号ΦTNおよびΦTSが各々期間T7_1乃至T7_mおよびT7_1’乃至T7_m’のタイミングでアクティブにする。すなわち、期間T7_1乃至T7_mのタイミングでは基準電圧時のレベルとして「N読み」(ノイズ成分読み込み)を行い、期間T7_1’乃至T7_m’のタイミングでは第1のレベルでの「S読み」(信号成分読み込み)を行う。
該「N読み」「S読み」で得た信号を信号蓄積部16を介し、差分信号として後段へ出力(出力1)する。
該ルーチンが終了し、各列分の第1のレベル時の差分信号を出力したら、ダミーパルス発生手段20は出力する信号レベルを基準電圧と第2のレベル(例えば適露光相当の電圧)である振幅Vpls2に切り替えて、同様の「N読み」「S読み」動作を行う。そして、信号蓄積部16を介し、差分信号として後段へ出力(出力2)する。
該出力信号(出力1乃至出力2)は、A/D変換器116、画像処理回路120、メモリ制御回路122を介してシステム制御部150に取り込まれる。システム制御部150は、該メモリ152に格納されているシェーディング補正初期値(生産時に調整され記憶されている補正初期値)等により補正した結果から、出力1による第1のレベルでの理想値からのズレ分の補正値1(=オフセット成分)を演算算出する。且つ、出力2および出力1の差分での理想値からのズレ分の補正値2(=ゲイン成分)を演算算出し、メモリ152に一時記憶する。
蓄積時間T2が終了すると、該フォトダイオード1の光電荷の蓄積を終了する。この状態では該フォトダイオード1に電荷が蓄積されている。
次に各ライン毎に読み出しがスタートする。すなわち、m−1行目を読み出してからN行目を読み出す。
時間T3の期間、信号ΦSEL(m)がアクティブになり該行選択スイッチ6がオンし、m行目につながっている全ての画素の該画素アンプで構成されるソースフォロア10が動作状態になる。
ここで、該画素アンプで構成されるソースフォロア10のゲートであるFD11はT4期間で信号ΦRES(m)がアクティブになり、リセットスイッチ3がオンとなり、該ソースフォロア10のゲート(FD)11はリセットされる。すなわち、該垂直出力線13にはこのダークレベルの信号が出力される。
次に信号ΦTNがアクティブになり、T4’期間に転送ゲート15bがオンし、該信号蓄積部16に保持される。この動作は、m行につながっている全ての画素に対して同時並列に実行される。
該ダークレベルの信号出力を該信号蓄積部16に保持する期間T4からT4’までの期間を「N読み」(ノイズ成分読み込み)という。
次に信号ΦTNをオフした後、T5期間、信号ΦTX(m)をアクティブにし、該フォトダイオード1に蓄積されている電荷を、FD11およびソースフォロア10を介して垂直出力線13に蓄積し、光信号レベルの信号を出力する。
続いて、T5’期間に転送ゲート15aがオンし、該信号蓄積部16に保持される。この動作は、m行につながっている全ての画素に対して同時並列に実行される。
ここで、信号ΦTSがT5’期間だけアクティブになり、転送ゲート15aがオンし、信号レベルが該信号蓄積部16に保持される。この動作は、n行につながっている全ての画素に対して同時並列に実行される。
該信号レベルの信号出力を該信号蓄積部16に保持するT5からT5’までの期間を「S読み」という。
該動作を終了した時点で、該信号蓄積部16は、n行につながっている全ての画素のダークレベルと信号レベルを保持している。そして、各画素間での信号レベルとダークレベルの差をとることでソースフォロア10のスレッシュホールド電圧(しきい値電圧)Vthバラツキによる固定パターンノイズ(FPN)や該リセットスイッチ3がリセット時に発生するKTCノイズをキャンセルする。これにより、S/Nの高いノイズ成分を除去した信号が得られる。
すなわち、該信号蓄積部16は信号成分に対してノイズ成分を差分する差分手段を備えている。
不図示の水平走査回路は、該信号蓄積部16に蓄積されたダークレベルと信号レベルの差信号を水平走査し、時系列的に出力する。これでm行の出力は終了である。同様に、信号ΦSEL(m+1),ΦRES(m+1),ΦTX(m+1),ΦTN,ΦTSを図3に示す様にm行目と同様に駆動することで、m+1行目の信号を読み出すことができる。
該信号蓄積部16から読み出された信号は、A/D変換器116および画像処理回路120において、補正および画像処理される。画像処理回路120は、該補正に含まれるシェーディング補正に関しては、予め該メモリ152に格納されているシェーディング補正初期値および蓄積動作T2期間中に取得され、該メモリ152に一時記憶した補正1及び補正2を用いて補正を行う。すなわち、画像処理回路120は、A/D変換器116を介して信号蓄積部16から出力された信号に対して、補正値1を加え、補正値2を乗算することにより補正を行う。但し、補正値1もしくは補正値2のいずれかのみの補正でも従来と比較して本実施形態の効果は得られるものである。
以上のように、期間T2では、図3に示すように信号ΦTX1〜TXmをローレベルにして転送スイッチ2をオフにし、図4に示すようにダミーパルス発生手段20がダミーパルス信号を出力する。ダミーパターン信号は、暗レベルVpls1及び信号レベルVpls2のダミーパターンを有する信号である。
期間T7_1乃至T7_mでは、信号ΦTNの転送ゲート15b乃至15bn及び信号ΦPLSCTLのスイッチ手段21−1乃至21−nがオンする。ダミーパルス発生手段20は、垂直出力線13乃至13nに基準電圧(例えば0V)のダミーパターン信号を出力する。信号蓄積部16は、その時の垂直出力線13乃至13nの信号を「N読み」として蓄積する。
次に、期間T7_1’乃至T7_m’では、信号ΦTSの転送ゲート15a乃至15an及び信号ΦPLSCTLのスイッチ手段21−1乃至21−nがオンする。ダミーパルス発生手段20は、垂直出力線13乃至13nに暗レベルVpls1のダミーパターン信号を出力する。信号蓄積部16は、その時の垂直出力線13乃至13nの信号を「S読み」として蓄積する。
次に、信号蓄積部16は、まず第1列に対して、転送ゲート15aのS読み出力信号と転送ゲート15bのN読み出力信号との差分信号を第1の出力信号として出力する。その後、同様に、信号蓄積部16は、第2列乃至第n列に対して、順次、転送ゲート15a2乃至15anのS読み出力信号と転送ゲート15b2乃至15bnのN読み出力信号との差分信号を第1の出力信号として出力する。
次に、期間T8_1乃至T8_mでは、信号ΦTNの転送ゲート15b乃至15bn及び信号ΦPLSCTLのスイッチ手段21−1乃至21−nがオンする。ダミーパルス発生手段20は、垂直出力線13乃至13nに基準電圧(例えば0V)のダミーパターン信号を出力する。信号蓄積部16は、その時の垂直出力線13乃至13nの信号を「N読み」として蓄積する。
次に、期間T8_1’乃至T8_m’では、信号ΦTSの転送ゲート15a乃至15an及び信号ΦPLSCTLのスイッチ手段21−1乃至21−nがオンする。ダミーパルス発生手段20は、垂直出力線13乃至13nに信号レベルVpls2のダミーパターン信号を出力する。信号蓄積部16は、その時の垂直出力線13乃至13nの信号を「S読み」として蓄積する。
次に、信号蓄積部16は、まず第1列に対して、転送ゲート15aのS読み出力信号と転送ゲート15bのN読み出力信号との差分信号を第2の出力信号として出力する。その後、同様に、信号蓄積部16は、第2列乃至第n列に対して、順次、転送ゲート15a2乃至15anのS読み出力信号と転送ゲート15b2乃至15bnのN読み出力信号との差分信号を第2の出力信号として出力する。
次に、図3に示すように、期間T4では、信号ΦRES1のリセットスイッチ3及び信号ΦSEL1の行選択スイッチ6をオンにし、FD11及び垂直出力線13乃至13nの信号をリセットする。
次に、期間T4’では、信号ΦTNの転送ゲート15b乃至15bnがオンする。信号蓄積部16は、その時の垂直出力線13乃至13nの信号を「N読み」として蓄積する。
次に、期間T5では、信号ΦTX1の転送スイッチ2をオンにし、フォトダイオード1に蓄積された信号を、ソースフォロア10を介して垂直出力線13乃至13nに出力する。なお、フォトダイオード1の信号蓄積時間は、リセット期間T1の後から転送パルス期間T5の終了までの時間である。
次に、期間T5’では、信号ΦTSの転送ゲート15a乃至15anがオンする。信号蓄積部16は、その時の垂直出力線13乃至13nの信号を「S読み」として蓄積する。
期間T3は、第1行の読み出し処理である。以下、同様に、第2乃至第m行の読み出し処理を行う。
次に、信号蓄積部16は、まず第1列に対して、転送ゲート15aのS読み出力信号と転送ゲート15bのN読み出力信号との差分信号を出力する。その後、同様に、信号蓄積部16は、第2列乃至第n列に対して、順次、転送ゲート15a2乃至15anのS読み出力信号と転送ゲート15b2乃至15bnのN読み出力信号との差分信号を出力する。
画像処理回路(補正手段)120は、ダミーパルス発生手段20のダミーパターン信号が垂直出力線13乃至13nに出力された際の信号蓄積部(出力手段)16の出力信号に応じて、補正する。すなわち、画像処理回路120は、フォトダイオード(光電変換手段)1により生成された信号が垂直出力線13乃至13nに出力された際の信号蓄積部16の出力信号を補正する。
具体的には、画像処理回路120は、ダミーパルス発生手段20のダミーパターン信号の暗レベルVpls1が垂直出力線13乃至13nに出力された際の信号蓄積部16の出力信号に応じて、補正する。すなわち、画像処理回路120は、フォトダイオード1により生成された信号が垂直出力線13乃至13nに出力された際の信号蓄積部16の出力信号に対してオフセット値を加算する。そして、画像処理回路120は、ダミーパルス発生手段20のダミーパターン信号の信号レベルVpls2が垂直出力線13乃至13nに出力された際の信号蓄積部16の出力信号に応じて、補正する。すなわち、画像処理回路120は、フォトダイオード1により生成された信号が垂直出力線13乃至13nに出力された際の信号蓄積部16の出力信号に対して増幅率を乗算する。
より具体的には、画像処理回路120は、第1の出力信号と第2の出力信号との差分信号に応じて、フォトダイオード1により生成された信号が垂直出力線13乃至13nに出力された際の信号蓄積部16の出力信号に対して増幅率を乗算する。上記の第1の出力信号は、ダミーパルス発生手段20のダミーパターン信号の暗レベルVpls1が垂直出力線13乃至13nに出力された際の信号蓄積部16の出力信号である。上記の第2の出力信号は、前記ダミーパターン信号の信号レベルVpls2が垂直出力線13乃至13nに出力された際の信号蓄積部16の出力信号である。
ダミーパルス発生手段20は、フォトダイオード1が信号を蓄積している期間T2に前記ダミーパターン信号を垂直出力線13乃至13nに出力する。
該動作を行うことで、生産時に取得した補正初期値に対して、撮影環境毎で発生するわずかなシェーディングも補正することが可能となり、より高画質な画像を得ることが可能となる。すなわち、画像処理回路120は、補正初期値を記憶し、前記補正初期値を基準に補正を行うことができる。
なお、本実施形態は、補正値作成のための読み込み行数は全行として説明しているが、本発明はそれに限ったものではなく、例えば、画像の中心になる所定行(例えば256行)のみ補正値抽出に使用することでも充分な効果を得ることが出来る。
(第2の実施形態)
上記本発明の第1の実施形態では、撮像動作時の蓄積中に補正値作成動作を行っているが、蓄積時間は撮影条件毎に変化するため、演算速度を考慮する必要がある。
そこで、本発明の第2の実施形態は、該補正値作成動作を、蓄積時間中ではなく、該撮像装置の電源投入時、すなわち、メインスイッチ(電源スイッチ)投入時に行うものである。
図7及び図8は本発明の第2の実施形態の撮像装置の撮影動作処理手順(撮像方法)を示すフローチャートである。
ステップS201では、電池交換などの電源投入により、システム制御部150はフラグや制御変数等を初期化し、撮像装置の各部に対して必要な所定の初期設定を行う。
ステップS202では、システム制御部150は、操作部160に含まれている電源スイッチの設定位置を判別し、電源スイッチが電源オフに設定されているか否かを判別する。
ステップS203では、電源スイッチが電源オフに設定されている場合、システム制御部150は、各表示部の表示を終了状態に変更し、フラグや制御変数などを含む必要なパラメータや設定値、設定モードを不揮発性メモリ156に記録する。そして、電源制御部182により画像表示部128を含む撮像装置各部の不要な電源を遮断する等の所定の終了処理を行った後、ステップS202の処理に戻る。
ステップS204では、ステップS202で電源スイッチが電源オンに設定されていた場合、システム制御部150は電源制御部182により電池などの電源186の残容量や動作状況が撮像装置の動作に問題があるか否かを判別する。問題があると判別された場合はステップS205へ、問題がないと判別された場合はステップS206へ移行する。
ステップS205では、システム制御部150は、表示部128に画像の表示や音声の出力により所定の警告を行った後、ステップS202の処理に戻る。
ステップS206では、システム制御部150は、第1の実施形態において蓄積動作中に行なったダミーパルスによる読み込みと同様の動作を実施し、水平ダークシェーディング補正値からのズレ分の補正値の算出およびメモリ152への記憶を行なっている。すなわち、電源投入時に実施することになる。
該動作では、信号ΦTXはオフ状態であることが必要であるため、明示しておく。なお、詳細の動作説明は図2乃至図4で既に説明済みであるため、ここでの説明は割愛する。
ステップS207では、システム制御部150は、操作部160に含まれているモードダイアルスイッチの設定位置を判断し、モードダイアルスイッチが撮影モードに設定されているか否かを判別する。モードダイアルスイッチがその他のモードに設定されている場合は、ステップS208へ、モードダイアルスイッチが撮影モードに設定されている場合はステップS209へ移行する。
ステップS208では、システム制御部150は、選択されたモードに応じた処理を実行し、実行後にステップS202の処理に戻る。
ステップS209では、システム制御部150は、記録媒体1200が装着されているか否かの判断、記録媒体1200に記録された画像データの管理情報の取得、および記録媒体1200の動作状態が撮像装置の動作に問題があるか否かを判別する。上記の撮像装置の動作は、特に記録媒体に対する画像データの記録再生動作である。問題があると判別された場合は既に説明済みであるステップS205へ、問題がないと判別された場合はステップS210へ移行する。
ステップS210では、システム制御部150は、表示部128を用いて画像や音声により撮像装置の各種設定状態の表示を行う。ここで、画像表示部128の画像表示スイッチがオンである場合に、画像表示部128を用いて画像や音声により撮像装置の各種設定状態を表示するようにしてもよい。
ステップS211では、システム制御部150は、シャッタースイッチSW1が押されているか否かを判別する。シャッタースイッチSW1が押されていない場合、ステップS202の処理に戻り、シャッタースイッチSW1が押されている場合は、ステップS212へ移行する。
ステップS212では、システム制御部150は、測距処理を行って撮影レンズの焦点を被写体に合わせ、測光処理を行って絞り値およびシャッター速度を決定する測距・測光処理を行う。
測光処理では、必要であればフラッシュの設定を行う。この測距・測光処理については周知の動作であるため、詳細の説明は割愛する。
ステップS213では、システム制御部150は、各種補正データ(水平ダークシェーディング補正に用いられる1次元補正データ等)を不揮発性メモリ156から読み出し、メモリ152に展開する。この補正データの展開終了後、ステップS214の処理に移行する。
ステップS214では、システム制御部150は、シャッタースイッチSW2が押されているか否かを判別する。シャッタースイッチSW2が押されていない場合はステップS215へ、シャッタースイッチSW2が押されている場合はステップS216へ移行する。
ステップS215では、システム制御部150は、シャッタースイッチSW1が離されたか否かを判別し、シャッタースイッチSW1が離されていない場合ステップS214へ戻り、シャッタースイッチSW1が離されるとステップS202へ移行する。
ステップS216では、システム制御部150は、撮影した画像データの記憶可能な画像記憶バッファ領域がメモリ130にあるか否かを判別する。メモリ130の画像記憶バッファ領域内に新たな画像データの記憶可能な領域がないと判別された場合はステップS217へ、新たな画像データの記憶可能な領域があると判別された場合はステップS218へ移行する。
ステップS217では、システム制御部150は、表示部128に画像の表示や音声の出力により所定の警告を行った後、ステップS202の処理に戻る。
ステップS218では、システム制御部150は、撮像素子114により所定時間の蓄積(撮像)をした撮像信号を、撮像素子114から読み出す。そして、A/D変換器116、画像処理回路120およびメモリ制御回路122を介して、あるいはA/D変換器116から直接、メモリ制御回路122を介して、メモリ130の所定領域に撮影した画像データを書き込む撮影処理を実行する。
なお、本発明の第2の実施形態においては、第1の実施形態のように蓄積動作中のダミーパルス発生及び水平ダークシェーディング補正値からのズレ分の補正値の算出・メモリ152への記憶をやらなくてもよい。但し、より精度を上げるために、初期補正値・電源投入時の算出補正値に加え、蓄積時間中にも第1の実施形態同様の動作を行い、水平ダークシェーディング補正値を求めても何ら問題ない。
ステップS219では、システム制御部150は、メモリ130の所定領域に書き込まれた画像データの一部をメモリ制御回路122を介して読み出す。そして、現像処理を行うために必要なWB(ホワイトバランス)積分演算処理、OB(オプティカルブラック)積分演算処理を行い、演算結果をシステム制御部150の内部メモリあるいはメモリ152に記憶する。システム制御部150は、メモリ制御回路122、必要に応じて画像処理回路120を用いて、メモリ130の所定領域に書き込まれた撮影画像データを読み出す。そして、システム制御部150の内部メモリあるいはメモリ152に記憶した演算結果を用いて、AWB(オートホワイトバランス)処理、ガンマ変換処理、色変換処理を含む各種現像処理を行う。
現像処理では、水平ダークシェーディング補正データを用いて減算処理を行うことにより、撮像素子114の固定パターンノイズや暗電流ノイズ等を打ち消すダーク補正演算処理を併せて行う。
なお、水平ダークシェーディング補正は、補正初期値として不揮発性メモリ156に保存されている補正データに加え、ステップS206で電源投入時に求めた補正値からのズレ分を含めた補正を行う。場合によっては、ステップS218の蓄積中に求めた補正値も含めた補正を行う。
ステップS220では、システム制御部150は、メモリ130の所定領域に書き込まれた画像データを読み出して、設定されたモードに応じた画像圧縮処理を行う。そして、メモリ130の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みを行う。
ステップS221では、システム制御部150は、メモリ130の画像記憶バッファ領域に記憶された画像データを読み出し、メモリカードやコンパクトフラッシュ(登録商標)カード等の記録媒体1200に読み出した画像データを書き込む記録処理を開始する。
この記録開始処理は、メモリ130の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みが新たに行われる度に、その画像データに対して実行される。
尚、記録媒体1200に画像データの書き込みを行っている間、書き込み動作中であることを示すために、表示部128に例えばLEDを点滅させる等の記録媒体書き込み動作表示を行う。
ステップS222では、システム制御部150は、シャッタースイッチSW1が押されているか否かを判別する。シャッタースイッチSW1が離されるまで現在の処理を繰り返し、シャッタースイッチSW1が離された状態である場合はステップS102の処理に移行する。
以上のように、ダミーパルス発生手段20は、撮像装置の電源投入時に前記ダミーパターン信号を垂直出力線13乃至13nに出力し、信号蓄積部16はその時の信号を出力する。
また、より効果をあげるため、第1の実施形態および第2の実施形態の動作を共に行っても何ら問題ない。
また、効果ならびに操作性・実用性を考慮し、設定された蓄積時間が所定より短ければ、第1の実施形態の動作を行わない。また、第1の実施形態を行わない場合は、第2の実施形態の補正値を使用する。また、第1の実施形態を行わなければ、生産時の補正初期値を使用する等の動作を行ってもよい。
以上のように、第1及び第2の実施形態では、該撮像素子の垂直出力線に対して、蓄積期間中もしくは電源投入時に、少なくとも暗レベルと所定の光信号レベルのパターン信号を生成できる。その生成された信号が垂直出力線に印加された際に発生する該撮像素子の出力信号から理想値とのズレを求め、補正を行うことで、生産時の補正状況から変化した、撮影環境変化による影響を補正する。
以上の構成により、環境温度等の変化で発生するシェーディング変化の影響を低減し、より高画質の画像を得ることができる。すなわち、CCDやCMOS型イメージセンサー等の撮像素子を用いた撮像装置において、特に動画等の連続的な撮像等での画質を向上させることができる。
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。