以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明は、例示のために特定の詳細な内容が含まれている。しかし、当業者であれば、以下に説明する詳細な内容に様々な変更を加えた場合であっても、本発明の範囲を超えないことは理解できるであろう。従って、以下に説明する本発明の例示的な実施形態は、権利を請求された発明に対して、一般性を失わせることなく、また、何ら限定をすることもなく、述べられたものである。
図1は、本実施形態における撮像装置の構成を示したブロック図である。ここに示した各構成要素は、ハードウェア的には、コンピュータのCPUやメモリをはじめとする素子で実現することができ、ソフトウェア的にはコンピュータプログラムなどによって実現されるものであるが、ここでは、これらの連携によって実現される機能ブロックとして示している。従って、これらの機能ブロックは、ハードウェア、ソフトウェアの組合せによって、様々な形式で実現できるということは、当業者には理解できるであろう。
図1に示した撮像装置100は、レンズ1と、撮像部2と、画像処理部3と、AF評価値演算部4と、AE評価値演算部5と、表示部6と、メモリーカード7と、手振れ検出部8と、手振れ補正部9と、撮像・露光制御部10と、AF制御部11と、カメラ操作部12と、カメラ制御部13と、を備えている。なお、図1に示した撮像装置100の構成要素であるメモリーカード7は、撮像装置100に対して着脱可能に構成されており、撮像装置100に固有の構成でなくてもよい。
レンズ1は、AF制御部11によってレンズ1内に備えるフォーカスレンズの駆動が制御され、被写体の光学像を撮像部2の撮像面に結像するための撮影レンズである。
撮像部2は、レンズ1によって結像された被写体の光学像を光電変換する固体撮像素子を備え、被写体光に応じた画像信号(デジタル信号)を出力する。また、撮像部2は、少なくとも、全画素の露光開始時刻および露光終了時刻を同一とするグローバルシャッター機能を有しており、撮像・露光制御部10による駆動制御によって、グローバルシャッター動作を行う。また、撮像部2は、例えば、画素の行単位または画素単位で、露光および画素信号の読み出しを順次行うローリングシャッター機能も有しており、撮像・露光制御部10による駆動制御によって、ローリングシャッター動作を行う。そして、撮像部2は、グローバルシャッター動作またはローリングシャッター動作によって得た画像信号を、画像処理部3、AF評価値演算部4、およびAE評価値演算部5に出力する。
画像処理部3は、撮像部2から出力された画像信号に種々のデジタル的な画像処理を行う。画像処理部3による画像処理には、例えば、画像信号を記録するための記録用の画像処理や、被写体の画像を表示部6に表示させるための表示用の画像処理が含まれる。そして、記録用の画像処理を行った画像信号をカメラ制御部13に、表示用の画像処理を行った画像信号を表示部6に出力する。
AF評価値演算部4は、撮像部2から出力された画像信号中の、例えば、被写体の明るさを表す輝度信号(あるいは輝度相当信号)などに基づいて、被写体に対する合焦の度合いなどを示すAF評価値を演算する。また、AF評価値演算部4は、算出したAF評価値を、カメラ制御部13に出力する。本実施形態の撮像装置100の合焦パラメータ(例えば、フォーカスレンズの位置など)は、AF評価値演算部4が演算したAF評価値に基づいて決定される。
AE評価値演算部5は、撮像部2から出力された画像信号中の、例えば、被写体の明るさを表す輝度信号(あるいは輝度相当信号)などに基づいて、取得した画像の明るさの度合いなどを示すAE評価値を演算する。また、AE評価値演算部5は、算出したAE評価値を、カメラ制御部13に出力する。本実施形態の撮像装置100の露出パラメータ(例えば、レンズ絞りやシャッター速など)は、AE評価値演算部5が演算したAE評価値に基づいて決定される。
表示部6は、例えば、LCD(Liquid Crystal Display)などの表示装置を備え、画像処理部3によって表示用の画像処理がされた画像信号に基づいた画像を表示する。表示部6は、撮像装置100が撮影した静止画像や、メモリーカード7に保存されている画像の再生表示をすることができる共に、撮像装置100が撮影する被撮像範囲をリアルタイムに表示するライブビュー画像の表示を行うことができる。
メモリーカード7は、撮像装置100によって撮影された静止画像を保存するための記録媒体である。メモリーカード7には、画像処理部3によって記録用の画像処理がされた画像信号に基づいて、カメラ制御部13が、例えば、圧縮処理などの画像処理を行った静止画像のデータが記録される。
手振れ検出部8は、例えば、ジャイロセンサーなどを備え、手振れなど、撮像装置100自体の動きを検出する。また、手振れ検出部8は、検出した撮像装置100自体の動きの情報(以下、「手振れ情報」という)を、カメラ制御部13に出力する。
手振れ補正部9は、手振れ検出部8によって検出された手振れ情報に基づいたカメラ制御部13からの手振れ補正の制御指令に応じて、撮像装置100が撮像する画像への手振れの影響を相殺するように、レンズ1や撮像部2の駆動を制御する「ブレ補正部」である。
撮像・露光制御部10は、カメラ制御部13から入力された撮像・露光指令に基づいて、撮像部2を駆動し、撮像部2による撮像および露光を制御する。
AF制御部11は、AF評価値算出部4からAF評価値を受けたカメラ制御部13から入力されたAF制御指令に基づいて、レンズ1に備えるフォーカスレンズを駆動し、撮像部2に結像される被写体像を合焦させる。
カメラ操作部12は、撮像装置100の使用者が、撮像装置100に対して各種の操作を入力するための操作部である。このカメラ操作部12に含まれる操作部材の例としては、撮像装置100の電源をオン/オフするための電源スイッチ、撮像装置100に静止画(被写体)の撮影を指示入力するための2段式押圧ボタンであるレリーズボタン、撮像装置100の撮影モードを単写モードと連写モードとに切り替えるための撮影モードスイッチ、撮像装置100のAFモードをシングルAFモードとコンティニュアスAFモードとに切り替えるためのAFモードスイッチなどがある。カメラ操作部12は、これらの操作部材によって設定されたカメラの操作情報を、カメラ制御部13に出力する。
カメラ制御部13は、撮像装置100の全体を制御する。カメラ制御部13は、AF評価値演算部4から入力されたAF評価値、AE評価値演算部5から入力されたAE評価値、手振れ検出部8から入力された手振れ情報、カメラ操作部12からの操作入力などに基づいて、画像処理部3、メモリーカード7、手振れ補正部9、撮像・露光制御部10、AF制御部11に対応した制御指令を出力する。
次に、本実施形態の撮像装置に備えた撮像部について説明する。図2は、本実施形態の撮像装置100における撮像部2のより詳細な構成を示したブロック図である。図2において、撮像部2は、グローバルシャッター機能を持った、例えば、MOS(Metal Oxide Semiconductor:金属酸化膜半導体)型の固体撮像素子21と、A/D(アナログ/デジタル)変換部22と、KTCノイズ除去部23と、を備えている。また、固体撮像素子21は、画素部24と、CDS(Correlated Double Sampling)部25と、垂直制御回路26と、水平走査回路27と、を備えている。
画素部24は、複数の画素28が、行方向および列方向(図2においては、9行9列)の2次元状に配列されている。なお、画素28の構成については後述する。
垂直制御回路26は、画素部24に配列された画素28を行(ライン)単位で制御するための制御信号を画素28の行毎に出力する垂直走査回路である。また、垂直制御回路26は、垂直走査回路の他に、画素28をリセットするためのリセット制御部、画素28から信号を読み出すための信号読出制御部を含んでいる。この垂直制御回路26によって選択された行の画素28から出力された信号は、列毎に設けられている画素28の出力信号線(後述する図3の垂直転送線VTL)に出力される。
CDS部25は、撮像・露光制御部10による駆動制御によって、撮像部2がローリングシャッター動作を行うときに、垂直転送線VTLを介して転送されてくる画素信号に、相関二重サンプリングの処理を行う。
水平走査回路27は、垂直制御回路26に選択され、垂直転送線VTLおよびCDS部25を介して転送されてきた1行分の画素信号を取り込む。そして、水平走査回路27は、画素28の水平方向の並び順で取り込んだ画素信号(アナログ画素信号)を、時系列にA/D変換部22に出力する。
A/D変換部22は、固体撮像素子21から出力されたアナログ画素信号を、デジタルの画素信号(デジタル画素信号)に変換する。そして、A/D変換部22は、変換したデジタル画像信号をKTCノイズ除去部23に出力する。
KTCノイズ除去部23は、撮像部2がグローバルシャッター動作を行うときに、A/D変換部22から出力されたデジタル画像信号に、KTCノイズ除去の処理を行う。このKTCノイズ除去の処理が行われたデジタル画像信号が、撮像部2から出力される被写体光に応じた画像信号として、画像処理部3、AF評価値演算部4、およびAE評価値演算部5に出力される。
<第1の画素構成>
次に、本実施形態の撮像装置に備えた撮像部における画素の構成例について説明する。図3は、本実施形態の撮像部2内の画素部24における画素28の第1の構成例をより詳細に示した回路図である。なお、図3では、2つの画素28を表している。図3に示した画素28は、フォトダイオードPD、電荷蓄積部FD、転送トランジスタMtx1、リセットトランジスタMtx2、増幅トランジスタMa、選択トランジスタMb、リセットトランジスタMrから構成される。図3に示した画素28では、電荷蓄積部FDを画素内メモリとして用いることにより、グローバルシャッター機能を可能としている。
フォトダイオードPDは、被写体光を光電変換して信号電荷を発生する光電変換部である。電荷蓄積部FDは、フォトダイオードPDで発生した信号電荷を一時的に保持する電荷蓄積部(フローティングディフュージョン)である。リセットトランジスタMtx2は、PDリセットパルスTX2に応じて、フォトダイオードPDで発生した信号電荷を、電圧源VDDのレベルにリセットする。転送トランジスタMtx1は、行転送パルスTX1に応じて、フォトダイオードPDで発生した信号電荷を電荷蓄積部FDに転送する。増幅トランジスタMaは、電荷蓄積部FDに保持された信号電荷を増幅して出力する。この増幅トランジスタMaは、電圧源VDDとでソースフォロアアンプが構成されている。選択トランジスタMbは、行選択パルスSELに応じて、増幅トランジスタMaによって増幅された信号電荷を選択し、画素28の出力信号線である垂直転送線VTLに出力する。リセットトランジスタMrは、FDリセットパルスRESに応じて、電荷蓄積部FDおよび増幅トランジスタMaの入力部を、電圧源VDDのレベルにリセットする。
なお、図3に示した画素28の構成例において、行転送パルスTX1とFDリセットパルスRESとを同時に印加し、転送トランジスタMtx1とリセットトランジスタMrとを同時にオンすることによって、電荷蓄積部FDをリセットするのみではなく、同時にフォトダイオードPDもリセットすることができる。このように、転送トランジスタMtx1とリセットトランジスタMrとの組み合わせによって、リセットトランジスタMtx2と同様に、フォトダイオードPDをリセットすることもできる。
<グローバルシャッター動作>
次に、本実施形態の撮像装置におけるグローバルシャッター動作について説明する。図4は、本実施形態の撮像装置100の第1の画素構成によるグローバルシャッター動作のタイミングを示したタイミングチャートである。図4に示したグローバルシャッター動作のタイミングは、撮像装置100が静止画像を撮影する際に、撮像・露光制御部10によって行われる撮像部2の駆動制御を示している。
なお、撮像部2は、撮像・露光制御部10によってその駆動が制御されるが、図4に示したグローバルシャッター動作のタイミングにおいては、撮像・露光制御部10による駆動制御に応じて垂直制御回路26から出力される画素部24の制御パルス(行選択パルスSEL、FDリセットパルスRES、行転送パルスTX1、PDリセットパルスTX2)を示す。
グローバルシャッター動作によって静止画像の露光を行う前に、まず、リセットデータ読出期間において、電荷蓄積部FDのリセット信号(リセットノイズ)の読み出しを行う。より具体的には、まず、画素部24の第1行目に配列された各画素28のリセットトランジスタMrに、“H”レベルのFDリセットパルスRESを印加して、第1行目の電荷蓄積部FDのリセットを行う。さらに、画素部24の第1行目に配列された各画素28の選択トランジスタMbに、“H”レベルの行選択パルスSELを印加する。これにより、画素部24の第1行目の各画素28に備えた電荷蓄積部FDのリセットレベルの信号が、増幅トランジスタMaによって増幅されたリセットノイズ(アナログリセットノイズ信号)として、垂直転送線VTLに読み出される。
同様に、画素部24の第2行目〜最終行目(図2に示した撮像部2においては、第9行目)の各画素28を駆動し、全ての画素28に備えた電荷蓄積部FDのリセットノイズを読み出す。このリセットノイズの読み出し動作によって読み出されたアナログリセットノイズ信号は、CDS部25、水平走査回路27を介してA/D変換部22に出力にされ、A/D変換部22によってデジタルのリセットノイズ(以下、「リセットデータ」という)に変換された後に、KTCノイズ除去部23に記憶される。なお、グローバルシャッター動作によるリセットノイズの読み出し動作においては、CDS部25による相関二重サンプリングの処理は行わない。
なお、リセットデータ読出期間において、行転送パルスTX1は“L”レベル、PDリセットパルスTX2は“H”レベルである。従って、画素部24の全ての画素28に備えたフォトダイオードPDはリセットされており、フォトダイオードPDのリセットされた信号電荷は、電荷蓄積部FDに転送されていない状態である。
続いて、露光期間において、グローバルシャッター動作による静止画像の露光を行う。より具体的には、まず、画素部24の全ての画素28のPDリセットパルスTX2を“L”レベルとする。これにより、全ての画素28に備えたリセットトランジスタMtx2がオフ状態(フォトダイオードPDのリセットが解除)となり、全ての画素28のフォトダイオードPDへの信号電荷の蓄積が開始される。つまり、全ての画素28の露光を同時に開始する。
その後、所定の露光時間が経過した後に、画素部24の全ての画素28に、“H”レベルの行転送パルスTX1を印加して、フォトダイオードPDに蓄積された信号電荷を、電荷蓄積部FDに転送する。つまり、全ての画素28の露光を同時に終了する。なお、露光の開始から終了までの露光期間は、AE評価値演算部5によって演算されたAE評価値に基づいて、カメラ制御部13が撮像装置100のシャッター速度を決定し、決定されたシャッター速度に応じて、撮像部2における露光時間が制御される。より具体的には、カメラ制御部13が決定したシャッター速度に基づいて、撮像・露光制御部10に撮像・露光指令を出力する。そして、撮像・露光制御部10は、カメラ制御部13から入力された撮像・露光指令に基づいて、撮像部2を駆動する。
続いて、画素データ読出期間において、露光した画素信号を読み出す。より具体的には、まず、画素部24の第1行目に配列された各画素28の選択トランジスタMbに、“H”レベルの行選択パルスSELを印加する。これにより、画素部24の第1行目の各画素28に備えた電荷蓄積部FDに転送された信号電荷が、増幅トランジスタMaによって増幅された画素信号(アナログ画素信号)として、選択トランジスタMbを介して垂直転送線VTLに読み出される。
同様に、画素部24の第2行目〜最終行目(図2に示した撮像部2においては、第9行目)の各画素28を駆動し、全ての画素28に備えた電荷蓄積部FDの信号電荷を、行(ライン)単位で、垂直転送線VTLへ順次読み出す。この画素信号の読み出し動作によって読み出されたアナログ画素信号は、CDS部25、水平走査回路27を介してA/D変換部22に出力にされ、A/D変換部22によってデジタルの画素信号(デジタル画素信号)に変換された後に、KTCノイズ除去部23に出力される。そして、KTCノイズ除去部23において、リセットデータ読出期間に記憶したリセットデータと、画素データ読出期間に読み出されたデジタル画素信号との差分処理を行う。このKTCノイズが除去されたデジタル画素信号を、撮像部2から出力する画素データとして、画像処理部3、AF評価値演算部4、およびAE評価値演算部5に出力する。なお、グローバルシャッター動作による画素信号の読み出し動作においても、CDS部25による相関二重サンプリングの処理は行わない。
<ライブビュー動作>
次に、本実施形態の撮像装置におけるライブビュー動作について説明する。ライブビュー動作は、画素28を行単位での露光および行単位での画素信号の読み出しを順次行う、ローリングシャッター動作によって、撮像部2からの画素データを取得する。図5は、本実施形態の撮像装置100の第1の画素構成においてライブビューのときに読み出される画素部24の行(ライン)の例を示した図である。図5においては、画素部24に備えられた画素28の全ての行(ライン)数が、3000ラインである場合を示している。また、図5では、全ラインの内、3ラインに1ラインの割合で、ライブビュー用の画素データの読み出しを行う例を示している。なお、図5においては、3Nライン(Nは0以上の整数)を、ライブビュー用の画素データを読み出すライン(以下、「LVライン」という)として選択している例を示しているが、LVラインとして、3Nライン、(3N+1)ライン、または(3N+2)ラインのいずれかを選択して読み出すようにすることもできる。
図5に示したようなライン数が3000ラインの画素部24から、ローリングシャッター動作の読み出し動作によって、全てのラインの画素データを読み出すのに要する時間が、例えば、100msである場合を考える。この場合、読み出した全てのラインの画素データに基づいて表示用の画像処理を行い、表示部6にライブビュー表示(以下、「LV表示」という)をすると、LV表示の更新は、1秒間に10回となる。このとき、図5に示したように、3ラインに1ラインの割合で画素部24のラインを間引きして、1000ラインのライブビュー用の画素データ(以下、「LVデータ」という)を読み出すようにすると、画素データの読み出しに要する時間が短縮(図5の例では、1/3に短縮)され、例えば、33.33msとなる。これは、LV表示の更新が、1秒間に30回、すなわち、毎秒30フレームとなることを表している。なお、画素部24のラインを間引きすることによって、LVデータは、全てのラインの画素データに比べて少なくなる。しかし、画素部24に備えた画素28の総数に対して、表示部6に備えた表示素子の総数は少ないため、表示部6への表示のみの目的であれば、画素部24のラインを間引きしてLVデータを取得しても問題とはならない。
<第1の駆動方法>
次に、本実施形態の撮像装置におけるライブビュー動作とグローバルシャッター動作との関係について説明する。図6は、本実施形態の撮像装置100の第1の画素構成においてライブビュー中に静止画像を撮像するための第1の駆動方法の例を示した図である。
第1の駆動方法においては、LV表示を行う際に、図5に示したように画素部24のラインを間引いて、例えば、毎秒30フレームでLVデータを取得し、取得したLVデータに基づいて表示用の画像処理をした後に、表示部6にLV表示を行う。そして、静止画(被写体)の撮影を行う際に、一旦LV表示を停止し、静止画用の画素データの取得が終了した後に、LVデータの取得およびLV表示を再開する。
より具体的には、図6に示すように、撮像装置100に静止画の撮影を指示入力するレリーズボタンの押圧(例えば、2段式押圧ボタンの2段目の押圧)がされるまで、LV表示を繰り返し行う。図6では、LVデータLV_A〜LV_Fを取得し、取得したLV_A〜LV_Fに基づいて表示用の画像処理を行い、次のフレームで表示部6にLV表示(A〜F)をする例を示している。
そして、ライブビューの表示を行っている最中に、レリーズボタンによって、静止画の撮影が指示されると、LVデータの取得を中止し、図4に示したグローバルシャッター動作による静止画像の撮像動作が行われる。この撮像動作を行っている最中は、LVデータが取得されないため、表示部6では、最後に取り込んだLVデータ(図6においては、LVデータLV_F)に基づいたLV表示が続けられる。すなわち、撮像動作を行っている間のLV表示が固定される(図6においては、LV表示(F)に固定)。なお、最後に取り込んだLVデータに基づいたLV表示を続ける代わりに、撮像動作のライブビュー表示を行わない(例えば、黒色の表示とする)ようにすることもできる。
その後、グローバルシャッター動作による静止画像の撮像動作が終了すると、再びLVデータを取得し、次のフレームから、取得したLVデータに基づいた表示部6のLV表示を再開する。なお、図6においては、LV表示が固定される期間を少なくするために、グローバルシャッター動作による静止画像の撮像動作が終了した次のフレームで、静止画像の撮像動作によって取得した静止画用の画素データに基づいて表示用の画像処理をしたLV表示(α)を、表示部6に表示する例を示している。
<第2の駆動方法>
図7は、本実施形態の撮像装置100の第1の画素構成においてライブビュー中に静止画像を撮像するための第2の駆動方法の例を示した図である。
第2の駆動方法においては、図5に示したように、画素部24のラインを複数のフィールド(図5においては、3つのフィールド)に分割したときのフィールド毎に、静止画用の画素データを取得する。図7に示す第2の駆動方法においては、図5に示したように、画素部24のラインを3つのフィールドに分割した撮像部2を駆動する場合について説明する。また、静止画用の画素データのそれぞれのフィールドは、例えば、図5に示した3Nラインをフィールド_1、(3N+1)ラインをフィールド_2、(3N+2)ラインをフィールド_3とする。
また、第2の駆動方法においては、静止画用の画素データを取得するフィールドの合間に、LVデータの取得を行うことによって、LV表示が固定される期間を少なくする。すなわち、撮像部2を図6に示した第1の駆動方法によって駆動する場合には、レリーズボタンが押されてから静止画像の撮像動作が終了するまでの間は、LVデータが取得されないために、LV表示が更新されない。これに対して、図7に示した第2の駆動方法によって撮像部2を駆動する場合には、レリーズボタンが押されてから静止画像の撮像動作が終了するまでの間においても、LVデータを取得し、LV表示の更新を行うようにする。なお、第1の駆動方法においては、LVデータを取得するフィールドが、例えば、フィールド_1に固定されていたが、第2の駆動方法においては、静止画用の画素データの取得が完了していないフィールドを用いてLVデータを取得する。
より具体的には、図7に示すように、撮像装置100に静止画の撮影を指示入力するレリーズボタンの押圧がされるまで、LV表示を繰り返し行う。図7では、図6に示した第1の駆動方法と同様に、LVデータLV_A〜LV_Fを取得し、次のフレームで表示部6にLV表示(A〜F)をする例を示している。
そして、ライブビューの表示を行っている最中に、レリーズボタンによって、静止画の撮影が指示されると、リセットデータの読み出しが行われるが、第2の駆動方法では、最初に、フィールド_1のリセットデータの読み出しを行う。そして、フィールド_1のリセットデータの読み出しが終了した後に、リセットデータの読み出しを行っていない、例えば、フィールド_3を用いてLVデータLV_Gを取得し、取得したLV_Gに基づいて表示用の画像処理をしたLV表示(G)を、表示部6に表示する。続いて、フィールド_2のリセットデータの読み出しを行う。フィールド_2のリセットデータの読み出しが終了した後に、リセットデータの読み出しを行っていない、例えば、フィールド_3を用いてLVデータLV_Hを取得し、取得したLV_Hに基づいて表示用の画像処理をしたLV表示(H)を、表示部6に表示する。そして、最後に、フィールド_3のリセットデータの読み出しを行う。
このように、静止画像の撮像動作において、画素部24の全てのラインのリセットデータの読み出しが終了するまでの間に、LVデータの取得を、1回以上行うことができる。そして、LVデータの取得に用いたフィールドの各ラインのリセットデータは、リセットデータ読出期間の最後に取得するようにする。また、図7に示したように、リセットデータ読出期間中に2回以上のLVデータの取得を行う場合には、リセットデータの読み出しの間に、LVデータを取得する。このようにすることによって、リセットデータ読出期間中に固定されていたLV表示を更新することができる。
その後、静止画像の露光期間において、図6に示した第1の駆動方法と同様に、画素部24内の全ての画素28の露光を同時に開始する。
続いて、静止画像の露光期間が終了すると、静止画用の画素データの読み出しが行われるが、第2の駆動方法では、最初に、フィールド_1の画素データの読み出しを行う。そして、フィールド_1の画素データの読み出しが終了した後に、画素データの読み出しが終了した、例えば、フィールド_1を用いてLVデータLV_Iを取得し、取得したLV_Iに基づいて表示用の画像処理をしたLV表示(I)を、表示部6に表示する。続いて、フィールド_2の画素データの読み出しを行う。フィールド_2の画素データの読み出しが終了した後に、画素データの読み出しが終了した、例えば、フィールド_1を用いてLVデータLV_Jを取得し、取得したLV_Jに基づいて表示用の画像処理をしたLV表示(J)を、表示部6に表示する。そして、最後に、フィールド_3の画素データの読み出しを行う。なお、図7においては、図6に示した第1の駆動方法と同様に、LV表示が固定される期間を少なくするために、静止画像の露光期間が終了した次のフレームで、フィールド_1の画素データに基づいて表示用の画像処理をしたLV表示(α)を、表示部6に表示する例を示している。
このように、静止画像の撮像動作において、画素部24の全てのラインの画素データの読み出しが終了するまでの間に、LVデータの取得を、1回以上行うことができる。なお、LVデータの取得は、画素データ読出期間の最初に静止画用の画素データを読み出したフィールドを用いて行うようにする。また、図7に示したように、画素データ読出期間中に2回以上のLVデータの取得を行う場合には、画素データの読み出しの間に、LVデータを取得する。このようにすることによって、画素データ読出期間中に固定されていたLV表示を少しでも多く更新することができる。
その後、静止画像の撮像動作が終了すると、図6に示した第1の駆動方法と同様に、再びLVデータを取得し、次のフレームから、取得したLVデータに基づいた表示部6のLV表示を再開する。
次に、本実施形態の撮像装置における手振れ補正機構のセンタリング動作について説明する。本実施形態の撮像装置100における静止画像の撮像動作期間では、手振れ検出部8が、撮像装置100自体の動きを検出し、検出した手振れ情報をカメラ制御部13に出力する。そして、カメラ制御部13は、静止画像の露光期間の前および露光期間中に、手振れ情報に基づいた手振れ補正のための制御指令を、手振れ補正部9に出力する。この制御指令に応じて、手振れ補正部9が、手振れ補正機構をシフト(移動)させることによって、静止画像に対する撮像装置100自体の動きの影響を相殺して、撮像される静止画像の手振れを防止している。なお、本実施形態の撮像装置100における手振れ補正機構とは、図1に示したレンズ1または撮像部2のいずれか1つを用いて手振れ補正を行う機構を指し示すものとする。従って、手振れ補正部9は、レンズ1または撮像部2のいずれか1つの手振れ補正機構をシフトさせることによって、撮像される静止画像の手振れを防止することとなる。
なお、本実施形態の撮像装置100においては、静止画像の撮像動作期間外は、手振れ検出部8による撮像装置100自体の動きの検出を行わないが、静止画像の撮像動作期間外でも、手振れ検出部8が撮像装置100自体の動きを検出し、手振れ情報をカメラ制御部13に出力することもできる。この場合であっても、本実施形態の撮像装置100においては、カメラ制御部13が手振れ補正のための制御指令を、手振れ補正部9に出力しないため、手振れ補正の処理は行われない。すなわち、本実施形態の撮像装置100においては、静止画像の撮像動作期間のみで、手振れ補正機構のシフトが行われる。
そして、センタリング動作では、カメラ制御部13が、手振れ補正部9によってシフト(移動)した手振れ補正機構を基準位置(光軸中心位置)に戻すための制御指令を、手振れ補正部9に出力する。この制御指令に応じて、手振れ補正部9が、手振れ補正機構を基準位置にシフト(移動)させることによって、センタリング動作が行われる。
<第2の駆動方法における従来のセンタリング動作タイミング>
図8は、本実施形態の撮像装置100の第1の画素構成の第2の駆動方法における手振れ補正処理の従来の例を示した図である。図8は、第1の画素構成の画素部24を第2の駆動方法で駆動しているときの静止画像の撮像動作期間を示している。そして、手振れ補正の処理において、手振れ補正機構を基準位置(光軸中心位置)に移動させるセンタリング動作を、従来のタイミングで行った場合を示している。
図8に示した従来の手振れ補正処理では、レリーズボタンが押された時点から手振れ検出部8による撮像装置100自体の動き検出(以下、「手振れ検出処理」という)が開始される。同時に、カメラ制御部13が、手振れ検出部8から出力された手振れ情報に基づいて、手振れ補正量を算出し、算出した手振れ補正量に基づいて、手振れ補正のための制御指令を手振れ補正部9に出力する。そして、手振れ補正部9は、カメラ制御部13から出力された制御指令に応じて、手振れ補正機構をシフトさせる。以下の説明においては、手振れ検出部8による動き検出、カメラ制御部13による制御指令の出力、および手振れ補正部9による手振れ補正機構をシフトなどの手振れ補正に関する処理を、「手振れ補正処理」という。この手振れ補正処理は、静止画像の撮像動作中の露光期間が開始する直前のタイミングから露光期間が終了する、すなわち、静止画像の露光動作が完了するまでの間行われる。
そして、従来のセンタリング動作の実施タイミングにおいては、画素部24の全てのフィールドの画素データの読み出しが終了した後、すなわち、画素データ読出期間が終了した後に、手振れ補正部9は、カメラ制御部13から出力された制御指令に応じて、手振れ補正処理によってシフトされていた手振れ補正機構を基準位置に戻す動作、すなわち、センタリング動作を行う。従って、従来のセンタリング動作の実施タイミングにおいては、手振れ補正機構のセンタリング動作が完了したときに、静止画の撮影の一連の処理および動作が完了することになる。
このように、従来のセンタリング動作の実施タイミングにおいては、静止画像の撮像動作が終了した後に、センタリング動作が行われ、その後、LV表示が再開されることとなる。このため、LV表示の再開や、次の静止画像の撮像動作を開始するタイミングが遅くなる。また、LV表示の再開や、次の静止画像の撮像動作を開始するタイミングは、例えば、手振れ補正機構をシフトした量などによって異なるセンタリング動作に要する時間によって変わってしまう。なお、手振れ検出部8の手振れ検出処理によって手振れが検出されなかった場合には、手振れ補正機構のシフトおよびセンタリング動作は行われないため、LV表示の再開や、次の静止画像の撮像動作を開始するタイミングが遅くなることはない。
<第2の駆動方法における本実施形態のセンタリング動作タイミング>
図9は、本実施形態の撮像装置100の第1の画素構成の第2の駆動方法における手振れ補正処理の例を示した図である。図9は、図8に示した従来のセンタリング動作の実施タイミングと同様に、第1の画素構成の画素部24を第2の駆動方法で駆動しているときの静止画像の撮像動作期間を示している。そして、手振れ補正の処理において、手振れ補正機構を基準位置(光軸中心位置)に移動させるセンタリング動作を、静止画像の撮像動作期間中に行う場合を示している。
図9に示した本実施形態のセンタリング動作の実施タイミングは、図8に示した従来のセンタリング動作の実施タイミングに対して、画素データ読出期間中にセンタリング動作を行っていることである。そして、図9に示した本実施形態のセンタリング動作の実施タイミングでは、センタリング動作を3回に分割し、各フィールドの画素データの読み出しと同時に行う場合を示している。
なお、図9に示した本実施形態のセンタリング動作の実施タイミングにおいても、手振れ補正機構をセンタリングする方法は、従来と変わりないが、以下の説明では、センタリング動作を行う動作期間の決定方法について、図10を参照して説明する。図10は、本実施形態の撮像装置100の第1の画素構成の第2の駆動方法における露光期間および手振れ補正機構の駆動期間とAE評価値との関係を示した図である。図10は、図9に示した手振れ補正処理の例に、LVデータに基づいてAE評価値演算部5が演算するAE評価値と、AE評価値に基づいて行う手振れ補正機構の駆動(シフトおよびセンタリング)させる制御指令との関係を併記して示している。すなわち、ライブビューのフレームデータ(LVデータ)の明るさの度合いを表すAE評価値が、静止画とライブビューの露光期間や手振れ補正機構の駆動期間(図9に示したセンタリング1〜3)に連動していることを示している。以下に、図9に示した本実施形態のセンタリング動作の実施タイミングにおけるセンタリング1〜3の動作期間の決定方法について説明する。
センタリング1は、フィールド_1の画素データの読み出し期間に行われるセンタリング動作である。このセンタリング1の期間は、静止画像の画素データの読み出しが終了した後から、その後にLVデータを取得するためのライブビューの第1フレームの第1ラインの露光を開始するまでの期間である。例えば、フィールド_1を用いてLVデータを取得する場合には、図5に示した2997ラインの画素データの読み出しが終了してから0ラインの露光を開始するまでの期間である。なお、このセンタリング1の期間は、ライブビュー用の露光を行う露光期間に依存する。そして、ライブビュー用の露光を行う露光期間は、静止画像の撮像動作に際して決定されたシャッター速度に応じて制御される。すなわち、ライブビュー用の露光期間は、静止画像の撮像動作を開始する前のLVデータから、AE評価値演算部5が演算したAE評価値に基づいて決定された露光時間(シャッター速度)を、ライブビュー用の露光期間として再度算出した期間となる。なお、画像処理部3において行われる記録用の画像処理と表示用の画像処理とでは、例えば、画素混合の度合いが異なるなど、画像処理の内容が異なる場合がある。このような場合においては、静止画像を取得するための露光時間に対して、予め定められた係数を乗じた時間を、ライブビュー用の露光時間とする。そして、センタリング1の期間は、再度算出したライブビュー用の露光期間が開始されるまでの期間となる。
センタリング2は、フィールド_2の画素データの読み出し期間に行われるセンタリング動作である。このセンタリング2の期間は、LVデータを取得するための第1フレームの最終ラインの読み出しが終了した後から、その後にLVデータを取得するためのライブビューの第2フレームの第1ラインの露光を開始するまでの期間である。なお、このセンタリング2の期間も、センタリング1の期間と同様に、ライブビュー用の露光を行う露光期間に依存する。そして、第2フレームのライブビュー用の露光を行う露光期間は、センタリング1の期間を決定する方法と同様の方法で決定される。ただし、センタリング1の期間は、静止画像の撮像動作を開始する前のLVデータから演算したAE評価値に基づいて決定されたライブビュー用の露光時間に基づいて決定されたのに対し、センタリング2の期間は、第1フレームのLVデータから演算したAE評価値に基づいて決定された第2フレームのライブビュー用の露光期間(シャッター速度)に基づいて決定される。
センタリング3は、フィールド_3の画素データの読み出し期間に行われるセンタリング動作である。このセンタリング3の期間は、センタリング2の期間と同様に、直前のライブビューのフレームの最終ラインの読み出しが終了した後から、当該ライブビューのフレームの第1ラインの露光を開始するまでの期間である。そして、このセンタリング3の期間も、センタリング2の期間と同様の方法で決定される。すなわち、センタリング2の期間は、第1フレームのLVデータのAE評価値に応じたライブビュー用の露光時間に基づいて決定されたのに対し、センタリング3の期間は、直前のフレーム(図9においては第2フレーム)のLVデータのAE評価値に応じたライブビュー用の露光時間に基づいて決定される。
このように、カメラ制御部13が、AE評価値演算部5が演算したAE評価値を用いて、センタリングの期間を決定することによって、手振れ補正部9がセンタリング動作を行う期間を決定することができる。そして、センタリング動作を複数回に分割して行うことができる。なお、センタリング動作は、必ずしも複数回に分割して行う必要はない。
例えば、手振れ補正機構をシフトした量が少なく、センタリング1の期間でセンタリング動作が完了すると判断される場合には、センタリング2およびセンタリング3の期間におけるセンタリング動作を行わないようにすることもできる。これにより、撮像装置100において手振れ補正機構の駆動に要する消費電力を抑えることができ、撮像装置100の電池寿命を延ばすことができる。なお、センタリング動作がセンタリング1の期間で完了するか否かの判断は、手振れ補正処理によって手振れ補正部9が手振れ補正機構をシフトした量と、センタリング1の期間の長さによって判断することができる。すなわち、センタリング動作によって手振れ補正機構を基準位置に戻すのに要する時間がセンタリング1の期間よりも短い場合には、センタリング動作がセンタリング1の期間で完了すると判断し、手振れ補正機構を基準位置に戻すのに要する時間がセンタリング1の期間よりも長い場合には、センタリング動作がセンタリング1の期間で完了しないと判断する。
また、例えば、センタリング1の期間を、センタリング動作のために使用することができない場合には、センタリング2の期間またはセンタリング3の期間を用いてセンタリング動作を行うことによって、撮像部2の撮像中心と光軸中心とを一致させ、次の静止画像の撮像動作に備えることができる。なお、この場合においても、例えば、センタリング2の期間でセンタリング動作が完了する場合には、センタリング3の期間におけるセンタリング動作を省略することができる。
なお、図9および図10に示した本実施形態のセンタリング動作の実施タイミングは、手振れ補正処理による手振れ補正機構のシフト量が大きく、センタリング動作を分割して行う必要がある場合の例を示している。すなわち、センタリング動作を分割してでも行わないと、次の静止画像の撮像動作のために、撮像部2の撮像中心と光軸中心とを一致させることができない場合の例である。このように、本実施形態のセンタリング動作では、手振れ補正処理による手振れ補正機構のシフト量が大きい場合でも、LV表示の再開や、次の静止画像の撮像動作を開始するタイミングに影響を与えることなく、効率的にセンタリング動作を行うことができる。
なお、センタリング動作を、静止画像の露光期間後の画素データ読出期間内の適当な期間に行わない理由は、センタリング動作と、ライブビュー用の露光期間や読出し期間とが重複し、LV表示をするためのライブビュー画像がボケたり、歪んだりする現象が起こってしまうことをなくすためである。
なお、実際に手振れが検出されて手振れ補正機構をシフトした後、静止画像の画素データ読出期間にセンタリング動作を分割して行う場合、各センタリング動作の合間に表示されるライブビュー画像(図9および図10では、第1フレームと第2フレームのフレームデータ)の視野範囲にズレが生じてしまう可能性がある。これは、図9および図10におけるセンタリング1およびセンタリング2によって、ライブビュー用の露光を行うときの光軸ズレによる視野範囲のズレである。この視野範囲のズレは、撮像装置100が撮影する被写体が動いているものであれば影響は少ないと考えられるが、被写体が静止しているものである場合などには、撮像装置100の使用者(撮影者)に違和感を覚える要因となる。
このような、撮像装置100の使用者(撮影者)に与える違和感を回避するため、本実施形態の撮像装置100では、以下のような方法で、手振れ補正機構のセンタリング動作の途中に発生するライブビュー画像の視野範囲のズレを軽減する。図11は、本実施形態の撮像装置100の第1の画素構成におけるライブビュー画像の視野範囲ズレの補正方法を模式的に示した図である。図11(a)には、各センタリング動作を行った後の光軸の位置の変化を示している。また、図11(b)には、光軸ズレを軽減したライブビュー画像の例を示している。
図11(a)に示すように、静止画の撮影における手振れ補正処理によって、手振れ補正機構の光軸の位置が、A点に移動している状態から、センタリング動作によって、最終的に、撮像部2の撮像中心と光軸中心とが一致するD点の位置にセンタリングする場合を考える。そして、光軸の位置がA点からD点にセンタリングされる際に、光軸の位置が、分割した第1センタリングによるB点、第2センタリングによるC点を経由するものとする。
本実施形態の撮像装置100では、手振れ補正機構の光軸位置(ズレ量)をカメラ制御部13が、が予め算出している。従って、分割した各センタリング動作によってセンタリングされた後の光軸位置、すなわち、ライブビュー用の露光を行うときの光軸ズレも、カメラ制御部13によって容易に算出することができる。カメラ制御部13は、算出したズレ量に基づいて、ライブビュー画像の中心と光軸とが一致するようにライブビュー画像を切り出すための制御指令を、画像処理部3に出力する。そして、画像処理部3は、各フレームのLVデータに対して表示用の画像処理を行う際に、カメラ制御部13から入力されたライブビュー画像を切り出すための制御指令に応じた画像処理を行う。画像処理部3では、例えば、LVデータに基づいて生成されるライブビュー画像の範囲から、光軸の位置を中心とした予め定められた範囲(表示部6に表示する範囲)を切り出す画像処理が行われる。
図11(b)には、第1センタリングによるB点、第2センタリングによるC点におけるライブビュー画像(切り出し画像)と、最終的に撮像部2の撮像中心と光軸中心とが一致するD点におけるライブビュー画像とを示している、図11(b)からは、B点およびC点の切り出し画像の範囲が、D点のライブビュー画像の範囲をほぼ同一であることがわかる。
このように、LVデータに基づいて生成されるライブビュー画像の範囲から、センタリングされた後の光軸ズレに応じたライブビュー画像(切り出し画像)を生成することによって、センタリング動作が途中(撮像部2の撮像中心と光軸中心とが一致する位置までの移動が完了していない)の状態で取得したライブビュー画像の視野範囲のズレを軽減することができる。
上記に述べたように、本実施形態のセンタリング動作タイミングでは、手振れ補正機構のセンタリング動作を分割し、分割したそれぞれのセンタリング動作を、静止画像の画素データ読出期間の各フィールドの画素データの読み出し動作中に行うことができる。これにより、静止画像の画素データ読出期間中のLV表示に影響を与えることなく、効率的にセンタリング動作を完了することができる。
また、センタリング動作を、静止画像の画素データ読出期間中に完了することができるので、センタリング動作が、次の静止画像の撮像動作を開始するタイミングに影響を与えることがなくなる。このため、撮像装置100では、手振れ補正処理の有無に関係なく、撮像期間が変わることがない撮影シーケンスを実現することができ、例えば、撮像装置100における静止画の連続撮影(連写)において、連写速度を一定に保った撮影が行える撮影シーケンスとすることができる。
<連写動作>
次に、本実施形態の撮像装置における連写時の動作について説明する。図12は、本実施形態の撮像装置100の第1の画素構成においてライブビュー中に静止画像を連続撮像(連写)する例を示した図である。図12は、レリーズボタンが押された時点から、N枚目の静止画像を取得するまでのタイミングを示している。図12に示すように、撮像装置100がライブビュー中に静止画像を連写する場合においても、それぞれの静止画像の画素データ読出期間の各フィールドの画素データの読み出し動作中に、センタリング動作を行うことができる。
また、撮像装置100の連写動作においては、例えば、手振れ補正処理による手振れ補正機構のシフト量が大きく、分割した全てのセンタリング動作が、静止画像の画素データ読出期間中に完了しなかった場合においても、次の静止画の撮影を行うときのリセットデータ読出期間を用いてセンタリング動作を行うことができる。例えば、図12に示した連写においては、センタリング動作を、静止画連写_1枚目の画素データ読出期間と静止画連写_2枚目のリセットデータ読出期間との両方の期間を用いて行うことによって、静止画連写_2枚目の撮影における手振れ補正処理に備えることができる。これは、撮像装置100が静止画像を撮影する際の露出条件によって、分割したセンタリング動作を連続的に行えない場合などに有効な手段である。
<第2の画素構成>
次に、本実施形態の撮像装置に備えた撮像部における画素の第2の構成例について説明する。図13は、本実施形態の撮像部2内の画素部24における画素28の第2の構成例をより詳細に示した回路図である。なお、図13では、2画素分の領域の画素28を表している。そして、図2に示した固体撮像素子21は、例えば、上下に隣接する2画素毎に、図13に示した画素28の構成をとなっている。以下の説明においては、第2の構成例の画素28を、「画素29」という。また、画素29の画素構成を備えた撮像装置100を、「撮像装置200」という。なお、本実施形態の撮像装置200の構成および撮像部2の構成は、図1および図2に示した撮像装置100のブロック図と同様であり、画素部24内の画素28に代わって、図13に示した画素29となっていることのみが異なる。従って、撮像装置200において撮像装置100と同様の構成要素には、同一の符号を付与し、詳細な説明は省略する。
図13に示した画素29は、フォトダイオードPD1およびPD2、転送トランジスタMtx1aおよびMtx1b、リセットトランジスタMtx2aおよびMtx2b、電荷蓄積部C1およびC2、PD転送トランジスタMtx3およびMtx4、電荷蓄積部FD、増幅トランジスタMa、選択トランジスタMb、リセットトランジスタMrから構成される。図13に示した画素29では、電荷蓄積部C1、C2および電荷蓄積部FDを画素内メモリとして用いることにより、グローバルシャッター機能を可能としている。
フォトダイオードPD1、PD2は、被写体光を光電変換して信号電荷を発生する光電変換部である。リセットトランジスタMtx2a、Mtx2bは、PDリセットパルスTX2に応じて、フォトダイオードPD1、PD2で発生した信号電荷を、それぞれ電圧源VDDのレベルにリセットする。転送トランジスタMtx1a、Mtx1bは、行転送パルスTX1に応じて、フォトダイオードPD1、PD2で発生した信号電荷を、それぞれ電荷蓄積部C1、C2に転送する。電荷蓄積部C1、C2は、フォトダイオードPD1、PD2のそれぞれで発生した信号電荷を、それぞれ一時的に保持する電荷蓄積部である。PD転送トランジスタMtx3は、PD転送パルスTX3に応じて、電荷蓄積部C1に保持しているフォトダイオードPD1が発生した信号電荷を電荷蓄積部FDに転送する。PD転送トランジスタMtx4は、PD転送パルスTX4に応じて、電荷蓄積部C2に保持しているフォトダイオードPD2が発生した信号電荷を電荷蓄積部FDに転送する。電荷蓄積部FD、増幅トランジスタMa、選択トランジスタMb、リセットトランジスタMrのそれぞれは、図3に示した第1の構成の画素28と同様であるため、詳細な説明は省略する。
<第2のグローバルシャッター動作>
次に、本実施形態の撮像装置において、第2の構成の画素29におけるグローバルシャッター動作について説明する。図14は、本実施形態の撮像装置200の第2の画素構成によるグローバルシャッター動作のタイミングを示したタイミングチャートである。図14に示したグローバルシャッター動作のタイミングは、撮像装置200が静止画像を撮影する際に、撮像・露光制御部10によって行われる撮像部2の駆動制御を示している。そして、図13に示した画素29の画素構成である固体撮像素子21は、グローバルシャッター動作が開始されると、最初に露光を行い、その後にリセットデータと画素データとを読み出すように制御される。
なお、撮像部2は、撮像・露光制御部10によってその駆動が制御されるが、図14に示したグローバルシャッター動作のタイミングにおいては、撮像・露光制御部10による駆動制御に応じて垂直制御回路26から出力される画素部24の制御パルス(FDリセットパルスRES、行転送パルスTX1、PDリセットパルスTX2、PD転送パルスTX3、PD転送パルスTX4)を示す。
カメラ操作部11のレリーズボタンが押圧され、グローバルシャッター動作が開始されると、露光期間において、グローバルシャッター動作による静止画像の露光を行う。より具体的には、まず、画素部24の全ての画素29のPDリセットパルスTX2を“L”レベルとする。これにより、全ての画素29に備えたリセットトランジスタMtx2a、Mtx2bが同時にオフ状態(フォトダイオードPD1およびPD2のリセットが解除)となり、全ての画素29のフォトダイオードPD1、PD2への信号電荷の蓄積が開始される。つまり、全ての画素29の露光を同時に開始する。
その後、所定の露光時間が経過した後に、画素部24の全ての画素29に、“H”レベルの行転送パルスTX1を印加して、フォトダイオードPD1、PD2にそれぞれ蓄積された信号電荷を、電荷蓄積部C1、C2にそれぞれ転送する。つまり、全ての画素29の露光を同時に終了する。なお、露光の開始から終了までの露光期間は、第1の構成の画素28を備えた撮像装置100と同様に、AE評価値演算部5によって演算されたAE評価値に基づいて決定されたシャッター速度に応じて、撮像部2における露光時間が制御される。
続いて、リセットデータおよび画素データ読出期間において、リセットデータおよび露光した画素信号を読み出す。より具体的には、まず、画素部24の第1行目および第2行目となる各画素29のリセットトランジスタMrに、“H”レベルのFDリセットパルスRESを印加して、第1行目および第2行目に共通の電荷蓄積部FDのリセットを行う。さらに、選択トランジスタMbに、“H”レベルの行選択パルスSELを印加する。これにより、画素部24の第1行目および第2行目の各画素29で共通に備えた電荷蓄積部FDのリセットレベルの信号が、増幅トランジスタMaによって増幅されたアナログリセットノイズ信号として、垂直転送線VTLに読み出される。
その直後に、画素部24の第1行目となる各画素29のPD転送トランジスタMtx3に“H”レベルのPD転送パルスTX3を印加する。これにより、画素部24の第1行目となる各画素29に備えた電荷蓄積部C1に蓄積されたフォトダイオードPD1の信号電荷を電荷蓄積部FDに転送する。さらに、画素部24の第1行目および第2行目の各画素29に共通に備えた選択トランジスタMbに、“H”レベルの行選択パルスSELを印加する。これにより、画素部24の第1行目となる各画素29に備えた電荷蓄積部FDに転送された信号電荷が、増幅トランジスタMaによって増幅されたアナログ画素信号として、選択トランジスタMbを介して垂直転送線VTLに読み出される。
このように、画素29においては、アナログリセットノイズ信号に続いてアナログ画素信号が垂直転送線VTLに読み出される。そして、CDS部25によって、アナログリセットノイズ信号が減算されたアナログ画素信号が、水平走査回路27を介してA/D変換部22に出力にされる。従って、図13に示した画素構成の画素29を備えた撮像部2においては、図2に示した撮像部2の構成要素であるKTCノイズ除去部23は、必ずしも必要な構成要素ではない。そして、図13に示した画素構成の画素29を備えた撮像部2は、A/D変換部22によって変換されたデジタル画素信号を、撮像部2から出力する画素データとして、画像処理部3、AF評価値演算部4、およびAE評価値演算部5に出力する。
同様に、画素部24の奇数行(第3行目〜最終行の1行前)の各画素29を駆動し、リセットノイズが除去された、全ての奇数行の画素データを画像処理部3、AF評価値演算部4、およびAE評価値演算部5に出力する。
その後、画素部24の偶数行(第2行目〜最終行目)の画素データを画像処理部3、AF評価値演算部4、およびAE評価値演算部5に出力する。より具体的には、まず、画素部24の第1行目および第2行目となる各画素29のリセットトランジスタMrに、“H”レベルのFDリセットパルスRESを印加して、第1行目および第2行目に共通の電荷蓄積部FDのリセットを行う。さらに、選択トランジスタMbに、“H”レベルの行選択パルスSELを印加する。これにより、画素部24の第1行目および第2行目の各画素29で共通に備えた電荷蓄積部FDのリセットレベルの信号が、増幅トランジスタMaによって増幅されたアナログリセットノイズ信号として、再度、垂直転送線VTLに読み出される。
その直後に、画素部24の第2行目となる各画素29のPD転送トランジスタMtx4に“H”レベルのPD転送パルスTX4を印加する。これにより、画素部24の第2行目となる各画素29に備えた電荷蓄積部C2に蓄積されたフォトダイオードPD2の信号電荷を電荷蓄積部FDに転送する。さらに、画素部24の第1行目および第2行目の各画素29に共通に備えた選択トランジスタMbに、“H”レベルの行選択パルスSELを印加する。これにより、画素部24の第2行目となる各画素29に備えた電荷蓄積部FDに転送された信号電荷が、増幅トランジスタMaによって増幅された2行目のアナログ画素信号として、選択トランジスタMbを介して垂直転送線VTLに読み出される。
そして、CDS部25によって、アナログリセットノイズ信号が減算された2行目のアナログ画素信号が、水平走査回路27を介してA/D変換部22に出力にされる。そして、A/D変換部22によって変換された2行目のデジタル画素信号が、撮像部2から出力する2行目の画素データとして、画像処理部3、AF評価値演算部4、およびAE評価値演算部5に出力される。
同様に、画素部24の偶数行(第2行目〜最終行目)の各画素29を駆動し、リセットノイズが除去された、全ての偶数行の画素データを画像処理部3、AF評価値演算部4、およびAE評価値演算部5に出力する。
<第3の駆動方法>
次に、本実施形態の撮像装置におけるライブビュー動作とグローバルシャッター動作との関係について説明する。図15は、本実施形態の撮像装置200の第2の画素構成においてライブビュー中に静止画像を撮像するための第3の駆動方法の例を示した図である。
第3の駆動方法においては、図7に示した第2の駆動方法と同様に、複数のフィールドに分割した画素部24から、静止画用の画素データを、分割したフィールド毎に取得する。なお、画素29の画素構成は、上述したように、例えば、上下に隣接する2画素が組となっている構成であるため、図7に示した第2の駆動方法と同様に画素部24のライン毎にフィールドを分割することができない。しかし、以下の説明においては、説明を容易にすること、および図7に示した第2の駆動方法との比較を容易に行えること、を考慮して、図7に示した第2の駆動方法と同様に画素部24を3つのフィールドに分割した撮像部2を駆動する場合について説明する。そして、分割したそれぞれのフィールドは、第1フィールドをフィールド_1、第2フィールドをフィールド_2、第3フィールドをフィールド_3とする。なお、上述したように、フィールド_1〜フィールド_3には、リセットデータと画素データとが含まれている。
また、第3の駆動方法においては、静止画用のリセットデータと画素データと(以下「静止画用データ」という)を取得するフィールドの合間に、図7に示した第2の駆動方法と同様に、LVデータの取得を行うことによって、LV表示が固定される期間を少なくする。
より具体的には、図15に示すように、撮像装置200に静止画の撮影を指示入力するレリーズボタンの押圧がされるまで、LV表示を繰り返し行う。図15では、図7に示した第2の駆動方法と同様に、LVデータLV_A〜LV_Hを取得し、次のフレームで表示部6にLV表示(A〜H)をする例を示している。
そして、ライブビューの表示を行っている最中に、レリーズボタンによって、静止画の撮影が指示されると、まず、静止画像の露光期間において、画素部24内の全ての画素29のフォトダイオードPD1およびPD2をリセットすることによって、全ての画素29の露光を同時に開始する。そして、全ての画素29のフォトダイオードPD1、PD2にそれぞれ蓄積された信号電荷を、電荷蓄積部C1、C2にそれぞれ同時に転送して、全ての画素29の露光を同時に終了する。
続いて、リセットデータおよび画素データ読出期間において、上述したように、リセットデータの読み出しと画素データの読み出しとの連続した読み出しを、フィールド_1に対して、最初に行う。このフィールド_1は、LV表示において、LVデータを取得していたフィールドである。そして、フィールド_1から読み出した静止画用データ内の画素データに基づいて表示用の画像処理をしたLV表示(α)を、直後の表示フレームで表示部6に表示する。
以降、図7に示した第2の駆動方法と同様に、フィールド_1を用いたLVデータの取得を、例えば、複数のライブビューの表示フレームに1回の割合で行う。ただし、上述したように、リセットデータおよび画素データ読出期間においては、LVデータの取得をライブビューの表示フレームに同期したタイミングで行う必要があるわけではない。
続いて、LVデータを取得していない期間に、図7に示した第2の駆動方法と同様に、各フィールド(非ライブビュー用フィールド)の静止画用データの読み出しを、所定の順序(例えば、ライン番号が若い順、奇数ラインを先に偶数ラインを後に、など)で行う。
その後、静止画像の撮像動作が終了すると、図7に示した第2の駆動方法と同様に、再びLVデータを取得し、次のフレームから、取得したLVデータに基づいた表示部6のLV表示を再開する。
次に、本実施形態の撮像装置200における手振れ補正機構のセンタリング動作について説明する。本実施形態の撮像装置200においても、本実施形態の撮像装置100と同様に、静止画像の撮像動作期間において、手振れ補正処理を行う。そして、同様にセンタリング動作が行われる。
<第3の駆動方法における従来のセンタリング動作タイミング>
図16は、本実施形態の撮像装置200の第2の画素構成の第3の駆動方法における手振れ補正処理の従来の例を示した図である。図16は、第2の画素構成の画素部24を第3の駆動方法で駆動しているときの静止画像の撮像動作期間を示している。そして、手振れ補正の処理において、手振れ補正機構を基準位置(光軸中心位置)に移動させるセンタリング動作を、従来のタイミングで行った場合を示している。なお、図16に示した第3の駆動方法における従来のセンタリング動作タイミングは、図8に示した従来の手振れ補正処理と同様であるため、詳細な説明は省略する。
図16に示した従来の手振れ補正処理では、図8に示した従来の手振れ補正処理と同様に、レリーズボタンが押された時点から手振れ検出部8による撮像装置200自体の手振れ検出処理が開始される。そして、静止画像の露光期間に入るまでのLVデータの読出し期間に、手振れ補正処理が行われて、静止画像の露光期間に合わせて手振れ補正機構のシフトが行われる。
そして、図8に示した従来の手振れ補正処理と同様に、リセットデータおよび画素データ読出期間で、静止画用データの読み出しが完了した後に、手振れ補正機構のセンタリング動作が行われる。
<第3の駆動方法における本実施形態のセンタリング動作タイミング>
図17は、本実施形態の撮像装置200の第2の画素構成の第3の駆動方法における手振れ補正処理の例を示した図である。図17は、図16に示した従来のセンタリング動作の実施タイミングと同様に、第2の画素構成の画素部24を第3の駆動方法で駆動しているときの静止画像の撮像動作期間を示している。そして、手振れ補正の処理において、手振れ補正機構を基準位置(光軸中心位置)に移動させるセンタリング動作を、静止画像の撮像動作期間中に行う場合を示している。
図17に示した本実施形態のセンタリング動作の実施タイミングは、図9に示したセンタリング動作の実施タイミングと同様に、図16に示した従来のセンタリング動作の実施タイミングに対して、リセットデータおよび画素データ読出期間中に、分割したセンタリング動作を行っている。なお、図17では、図9に示したセンタリング動作の実施タイミングと同様に、センタリング動作を3回に分割し、各フィールドの静止画用データの読み出しと同時に行う場合を示している。なお、図17に示した第3の駆動方法における本実施形態のセンタリング動作タイミングは、図9に示したセンタリング動作の実施タイミングと同様であるため、詳細な説明は省略する。また、図17に示した本実施形態のセンタリング動作の実施タイミングにおいても、リセットデータおよび画素データ読出期間中に、図11に示したライブビュー画像の視野範囲ズレの補正方法を用いて、ライブビュー画像の視野範囲のズレを軽減することができる。
上記に述べたように、本実施形態の撮像装置200におけるセンタリング動作タイミングでは、本実施形態の撮像装置100におけるセンタリング動作タイミングと同様に、手振れ補正機構のセンタリング動作を分割して、リセットデータおよび画素データ読出期間の各フィールドの静止画用データの読み出し動作中に行うことができる。これにより、本実施形態の撮像装置100と同様に、静止画像の画素データ読出期間中のLV表示に影響を与えることなく、効率的にセンタリング動作を完了することができ、センタリング動作が、次の静止画像の撮像動作を開始するタイミングに影響を与えることがなくなる。
上記に述べたように、本発明を実施するための形態によれば、撮像装置が、撮像動作を行っている期間内であっても、撮像シーケンスに影響を与えることなく、手振れ補正機構のセンタリングを確実に行うことができる。また、本発明を実施するための形態によれば、手振れ補正機構のシフトの有無に関係なく、撮像期間が変わることがない撮影シーケンスを実現することができ、例えば、撮像装置における静止画の連写においても、連写速度を一定に保った撮影を行うことができる。
なお、本発明のある態様に係る手振れ補正制御装置は、本実施形態においては、例えば、撮像部2の一部と、手振れ検出部8と、手振れ補正部9と、撮像・露光制御部10と、カメラ制御部13とに対応し、撮像制御部は、例えば、撮像・露光制御部10と、垂直制御回路26と、水平走査回路27とに対応する。
また、本発明を実施するための形態におけるセンタリング動作は、撮像装置に備えた手振れ補正機構が、例えば、レンズシフト型や撮像素子シフト型など、いかなるシフト型式の手振れ補正機構に対しても適用することができる。
なお、本発明を実施するための形態では、静止画像を3つのフィールドに分割して読み出したときの例について説明したが、静止画像を分割するフィールドの数は、本発明を実施するための形態に限定されるものではない。例えば、フィールドの分割数は、静止画およびライブビューの解像度、さらにはライブビューのフレームレートを鑑みて決定され、それに基づき、センタリング動作の分割数も変更することができる。
また、本発明を実施するための形態では、レリーズボタンが押されたことによって静止画の撮影が開始されたときから手振れ補正処理を開始している。例えば、撮像装置100では、少なくとも画素の露光期間の開始時から静止画像の画素データ読出期間の終了時までは、手振れ検出部8が検出した手振れ情報に基づいて、手振れ補正部9が手振れ補正機構をシフトさせるようになっている。また、撮像装置200では、カメラ制御部12が、PDリセットパルスTX2によるフォトダイオードPD1およびPD2のリセット解除(露光期間の開始)と、FDリセットパルスRESによる電荷蓄積部FDのリセット開始(アナログリセットノイズ信号の読み出し期間の開始)と、のいずれか遅くない方から、リセットデータおよび画素データ読出期間の終了時までは、少なくとも手振れ補正を行うように制御しているということができる。しかし、手振れ補正処理を開始するタイミングは、本発明を実施するための形態に限定されるものではなく、例えば、撮像装置の電源がオンされたときから手振れ補正処理を行うこともできる。そして、1枚目の静止画像の画素データの読み出し動作中に、センタリング動作を行うことができる。従って、従来の方式のセンタリング動作よりも、効率的にセンタリング動作を行うことができる。
なお、撮像装置においては、図8および図16に示した静止画像の撮像動作期間が終了した後にセンタリング動作を行う場合と、図9および図17に示した静止画像の撮像動作期間中にセンタリング動作を行う場合とを、例えば、撮像装置の撮影モードやAFモードなどのモード設定、あるいはその他の要因に応じて選択する構成とすることもできる。
なお、本発明を実施するための形態において、図16および図17に示した、レリーズボタンが押されてから静止画像の露光期間が開始されるまでの間にLVデータを取得する回数(図16および図17においては4回)は、一連の手振れ補正処理に必要となる期間を表すものではない。従って、実際には、レリーズボタンが押された直後に手振れ検出処理、手振れ補正量の算出が直ちに行われ、手振れ補正機構をシフトする処理に移行することにより、LVデータの取得を行うことなく、静止画像の露光を開始することができる。
なお、本発明における回路構成および駆動方式の具体的な構成は、本発明を実施するための形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更をすることができる。例えば、分割するフィールド数を増やすこともできる。また、画素の構成要素および駆動方法が変わった場合においても、例えば、撮像部2や固体撮像素子21内の構成要素や回路構成に応じて駆動方法を変更することによって対応することができる。
また、画素の行方向および列方向の配置は、本発明を実施するための形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において画素を配置する行方向および列方向の数を変更することができる。
以上、本発明を実施するための形態をもとに説明したが、各構成要素や各処理プロセスの任意の組み合わせ、本発明の表現をコンピュータプログラムプロダクトなどに変換したものもまた、本発明の態様として有効である。ここで、コンピュータプログラムプロダクトとは、プログラムコードが記録された記録媒体(DVD媒体、ハードディスク媒体、メモリ媒体など)、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム(例えば、サーバとクライアント端末を含むシステム)など、プログラムコードが記録された記録媒体、装置、機器やシステムをいう。この場合、上述した各構成要素や各処理プロセスは各モジュールで実装され、その実装されたモジュールからなるプログラムコードはコンピュータプログラムプロダクト内に記録される。
例えば、本発明のある態様に係るコンピュータプログラムプロダクトは、撮像素子上に配置された複数の画素を複数のグループに区分し、それぞれのグループに属する画素から、前記区分したグループ単位で静止画用信号を読み出し、さらに、前記区分したグループ単位に静止画用信号を読み出す期間の合間に、それぞれのグループに属する画素から、前記区分したグループ単位で動画用信号を読み出す撮像制御モジュールと、前記撮像素子を具備した撮像装置の動きを検出する手振れ検出モジュールと、前記手振れ検出部によって検出された動きに基づいて、前記動きを補正するための補正機構を動作させる手振れ補正モジュールと、をコンピュータに実行させるためのプログラムコードが記録されたコンピュータプログラムプロダクトであって、前記プログラムコードは、1枚の静止画像を生成するための前記静止画用信号を読み出す期間を、静止画周期期間と定義したとき、前記手振れ補正モジュールは、前記補正機構を基準位置に移動させるセンタリング動作を指示するセンタリング動作指示モジュールと、前記センタリング動作指示モジュールによる指示にしたがって、前記静止画周期期間から、少なくとも前記動画用信号の読み出し期間を除いた期間であるセンタリング動作可能期間内にセンタリング動作を行うセンタリング動作をモジュールと、を含む。
また、例えば、図1に示した撮像装置100の各構成要素による処理を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、撮像装置100に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
また、本発明のある態様に係る手振れ補正制御装置は、撮像素子上に配置された複数の画素を複数のグループに区分し、それぞれのグループに属する画素から、前記区分したグループ単位で静止画用信号を読み出し、さらに、前記区分したグループ単位に静止画用信号を読み出す期間の合間に、それぞれのグループに属する画素から、前記区分したグループ単位で動画用信号を読み出す撮像制御手段と、前記撮像素子を具備した撮像装置の動きを検出する手振れ検出手段と、前記手振れ検出手段によって検出された動きに基づいて、前記動きを補正するための補正機構を動作させる手振れ補正手段と、を備え、1枚の静止画像を生成するための前記静止画用信号を読み出す期間を、静止画周期期間と定義したとき、前記手振れ補正手段は、前記補正機構を基準位置に移動させるセンタリング動作を、前記静止画周期期間から、少なくとも前記動画用信号の読み出し期間を除いた期間であるセンタリング動作可能期間内に行う、ことを特徴とする手振れ補正制御装置であってもよい。
また、本発明のある態様に係る撮像装置は、入射光量に応じた信号電荷を発生させる光電変換手段と、前記光電変換手段が発生した信号電荷を蓄積する電荷蓄積手段と、を具備した画素を2次元状に複数配列した画素手段を有する固体撮像手段と、前記固体撮像手段の前記画素手段の全ての画素の露光開始タイミングと露光期間とを同一とするグローバルシャッター動作を行うとともに、前記固体撮像手段上に配置された複数の画素を複数のグループに区分し、それぞれのグループに属する画素から、前記区分したグループ単位で静止画用信号を読み出し、さらに、前記区分したグループ単位に静止画用信号を読み出す期間の合間に、それぞれのグループに属する画素から、前記区分したグループ単位で動画用信号を読み出す撮像制御手段と、前記固体撮像手段を具備した撮像装置の動きを検出する手振れ検出手段と、前記手振れ検出手段によって検出された動きに基づいて、前記動きを補正するための補正機構を動作させる手振れ補正手段と、を備え、1枚の静止画像を生成するための前記静止画用信号を読み出す期間を、静止画周期期間と定義したとき、前記手振れ補正手段は、前記補正機構を基準位置に移動させるセンタリング動作を、前記静止画周期期間から、少なくとも前記動画用信号の読み出し期間を除いた期間であるセンタリング動作可能期間内に行う、ことを特徴とする撮像装置であってもよい。
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の代替物、変形、等価物による変更を行うこともできる。従って、本発明の範囲は、上記の説明を参照して決められるものではなく、請求項によって決められるべきであり、均等物の全ての範囲も含まれる。また、上述した特徴は、いずれも、好ましいか否かを問わず、他の特徴と組み合わせてもよい。また、請求項において、明示的に断らない限り、各構成要素は1またはそれ以上の数量である。また、請求項において「〜のための手段」のような語句を用いて明示的に記載する場合を除いて、請求項が、ミーンズ・プラス・ファンクションの限定を含むものと解してはならない。