JP2018031907A - 撮像装置及びその制御方法、プログラム - Google Patents

Abstract

【課題】適切な条件でフォーカス処理および測光処理を行うと共に連続撮影を高速に行う。【解決手段】システム制御部２０１は、連続撮影を行なう際には、フォーカス・測光処理用センサ駆動と静止画用センサ駆動とを、交互に繰り返して撮像素子２０９を駆動する。システム制御部２０１は、Ｎ＋１枚目の静止画撮像用の算出絞り値と所定の絞り値とに基づいて決定絞り値を決定し、Ｎ枚目の静止画用の電荷の読み出し中に、絞り２０５を決定絞り値とするように、絞り制御を行う。【選択図】図２

Description

本発明は、視差画像信号を出力可能な撮像センサを有する撮像装置等に関する。

従来、被写体の動きや変化に応じてピント及び露出を合わせながら連続撮影することが可能な撮像装置が知られている。このような撮像装置では一般に、連続撮影中に、静止画用の撮像処理に加えてフォーカスレンズのピント位置を調整するフォーカス処理及び測光処理を行い、その結果を用いてフォーカスレンズ駆動及び絞り駆動を随時行うことで、ピント及び露出を合わせている。被写体距離に関する情報を取得するためのフォーカス処理及び測光処理として、次のような方法がある。すなわち、所謂位相差検出方式のフォーカス処理を実行するために、視差画像信号を出力可能な撮像センサを用い特定の駆動モードにより電荷の蓄積及び読み出しを行い、そこから得られた情報により被写体の距離や明るさを測定する方法がある。この撮像センサを用いて測距する方法は、コントラストＡＦ（フォーカスレンズを移動しながら複数回撮像してエッジを検出しピント調整を行う方法）よりも早くフォーカス処理が完了するため、高速なピント合わせが可能となる。ここで、上述した、撮像センサによるフォーカス処理及び測光処理の結果を用いて連続撮影を行う場合を考える。

撮像装置はまず、静止画用センサ駆動により電荷の蓄積及び読み出しを行って記録用静止画データを取得し、次にフォーカス・測光処理用センサ駆動により電荷の蓄積及び読み出しを行いフォーカス・測光処理用データを取得する。ここで、撮像装置は、取得した情報を用いて所定の演算処理を行うことで被写体の距離や明るさを求める。そして撮像装置は、被写体の距離に応じてフォーカスレンズを駆動してピントを合わせるとともに、被写体の明るさに応じて適切な露出値を決め、それを元に絞りを駆動する。これらの動作を繰り返し行うことで、被写体の動きや変化に応じてピント及び露出を合わせながら連続撮影することが可能となる。この方法により連続撮影する場合、静止画用の撮像処理を行う度にピント及び露出合わせのための様々な処理を行う必要があり、その分、連続撮影のスピードが遅くなってしまう。

特許文献１には、位相差ＡＦが可能な撮像センサを用いた撮像装置が開示されている。撮像装置では、静止画用の撮像処理により得られたデータを用いて被写体の距離や明るさを求め、さらに静止画用に蓄積した電荷の読み出し期間中にフォーカスレンズ及び絞りを駆動することで、連続撮影のスピードが遅くならないようにしている。

特開２０１６−１８０３３号公報

しかしながら、特許文献１では、静止画用の露出条件によっては適切なフォーカス処理が行えない場合がある。これは次の理由による。まず、撮像センサによる位相差検出方式のフォーカス処理を行う際には、絞りの開口径を小絞り側に変更するにつれてフォーカス処理の精度が低下してしまう。これに起因し、高いフォーカス処理精度を出すためには所定の絞り値よりも絞りを開放側に開いた状態で撮像センサに受光させる必要があるからである。静止画用の撮像処理時の絞り値が所定の絞り値よりも小絞り側となった場合、フォーカス処理に必要な評価値データを適切に得ることができない場合がある。

すなわち、特許文献１のように、静止画用の蓄積電荷の読み出し期間中に、次の静止画用の絞り値となるように絞りを駆動制御すれば、コマ間（静止画間）の時間は短縮される。しかし、その際の絞り値が所定の絞り値よりも小絞り側であると、フォーカス処理の精度（性能）が低下する。一方、フォーカス・測光処理用データを取得する際に、一律に、所定の絞り値よりも開放側の絞り値となるように制御した場合、フォーカス処理の精度は高い。しかしその後に、静止画用の電荷の蓄積のために、次の静止画用の絞り値となるように絞りを変更する必要が生じ得ることから、コマ間の時間間隔が長くなることがあり、高速連写が困難となる。

本発明は、適切な条件でフォーカス処理および測光処理を行うと共に連続撮影を高速に行うことである。

上記目的を達成するために本発明は、撮像センサを有する撮像装置であって、前記撮像センサを用いて複数の静止画を連続して取得する連続撮影を行なう際に、前記撮像センサでフォーカス処理および測光処理の少なくとも一方に用いる第１の画像信号を取得するために電荷の蓄積及び読み出しを行う第１駆動と、前記撮像センサで静止画用の第２の画像信号を取得するために電荷の蓄積及び読み出しを行う第２駆動とを、交互に繰り返して前記撮像センサを駆動する駆動手段と、前記撮像センサの前記第１駆動で読み出された電荷に基づいて測光処理を実行する測光手段と、前記測光手段による測光結果に基づいて、Ｎ＋１枚目の前記第２の画像信号を取得する際の絞り値を算出する算出手段と、前記算出手段により算出された絞り値と所定値とに基づいて、前記撮像センサの前記第２駆動によるＮ枚目の前記第２の画像信号を取得するための電荷の読み出し中に絞り制御を行う制御手段と、を有することを特徴とする。

本発明によれば、適切な条件でフォーカス処理および測光処理を行うと共に連続撮影を高速に行うことができる。

撮像装置のブロック図である。 連続撮影処理のフローチャートである。 連続撮影処理のタイミングチャートである。 連続撮影処理のフローチャートである。 連続撮影処理のタイミングチャートである。

以下、図面を参照して本発明の実施の形態を説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像装置のブロック図である。この撮像装置２００は、記録用の通常画像信号だけでなく、視差画像信号を出力可能なである撮像素子２０９を有している。したがって、撮像装置２００は、撮像素子２０９から出力された視差画像信号に基づいて所謂撮像面位相差ＡＦ（オートフォーカス）が可能である。なお、撮像装置２００は、静止画を取得するための通常撮影だけでなく、複数の静止画（コマ）を連続して取得するために被写体を撮像する連続撮影（いわゆる連写）を行うことが出来る。システム制御部２０１は、ＣＰＵ（ＭＰＵ）２２１、ＲＯＭ２２２のほか、ＤＲＡＭまたはＳＲＡＭ等で成るメモリ２２３を有する。ＲＯＭ２２２には、制御プログラム等の各種プログラムが格納される。メモリ２２３は、ＣＰＵ２２１がプログラムを実行する際のワークメモリとして利用される。システム制御部２０１は、各種処理（プログラム）を実行して撮像装置２００の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。また、システム制御部２０１は、ユーザからの操作を受け付ける操作部２０２からの操作信号に応じて、撮像装置２００の各ブロックを制御する。

操作部２０２は、例えば、電源ボタンやシャッタボタン等、撮影に関連する各種操作を入力するスイッチ類を有する。操作部２０２はまた、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等を有し、ユーザによりこれらのキーやボタンが操作されるとシステム制御部２０１に操作信号を送信する。フォーカスレンズ２０３は、撮像素子２０９に結像する光学像のピントを調整するためのレンズである。フォーカス制御部２０４は、システム制御部２０１からの指示を受けて、距離情報取得部２１２により得られた被写体の距離情報を元にフォーカスレンズ２０３を制御する。絞り２０５は、撮像素子２０９に取り込む光の量を調整し、適正な露出で画像を取得するために動作する。絞り制御部２０６は、システム制御部２０１からの指示を受けて、測光部２１３（測光手段）により得られた被写体の明るさ情報を元に絞り２０５を制御する。

シャッタ２０７は、撮像素子２０９に取り込む光を遮断するために動作する。シャッタ制御部２０８は、システム制御部２０１からの指示を受けてシャッタ２０７を駆動制御する。シャッタ制御部２０８は、静止画撮影の場合、撮像素子２０９に光を取り込み、電荷の蓄積を行う期間は通常、シャッタ２０７を開けるように制御し、蓄積電荷の読み出しを行う期間はシャッタ２０７を閉じるように制御する。なお、蓄積電荷の読み出しは、シャッタ２０７を閉じて行う場合と、シャッタ２０７は開けたまま電子式シャッタ制御により行う場合とがある。

撮像センサとしての撮像素子２０９は、ＣＭＯＳセンサとその周辺回路とを備え、レンズにより取り込まれた被写体の光学像を画像信号に変換し、アナログ−デジタル変換をして画像処理部２１１に送信する。撮像素子２０９には複数の駆動方式がある。駆動方式には、まず、撮像装置２００から被写体までの距離情報及び被写体の明るさに関する情報を取得するための評価値を取得する「フォーカス・測光処理用センサ駆動」（第１駆動）がある。このフォーカス・測光処理用センサ駆動では、フォーカス・測光処理に用いる第１の画像信号を取得するための電荷の蓄積及び読み出しが行われる。また、ユーザからの撮影指示に応じて記録用の静止画（第２の画像信号）を取得するための「静止画用センサ駆動」（第２駆動）がある。この静止画用センサ駆動では、静止画（第２の画像信号）を取得するために電荷の蓄積及び読み出しが行われる。このほか、撮影前にフレーミングを行うために所定のフレームレートで連続的に画像を生成する、「スルー画像用センサ駆動」（第３駆動）がある。

撮像素子２０９は、撮像面位相差タイプで、正面側（被写体側）に瞳分割手段としての不図示のマイクロレンズアレイが設けられ、各マイクロレンズに対応する単位画素セルの二次元配列構造を有している。そして、撮像素子２０９は、結像した被写体像を光電変換して撮像し、読み出し制御時において、単位画素を構成するＰＤに蓄積された電荷を順次電圧に変換して、Ａ／Ｄ変換部（不図示）に出力する。単体画素セルは、２つに瞳分割された画素（以下、分割画素（第１の光電変換部）ａ，分割画素（第２の光電変換部）ｂという。）を有している。分割画素ａ，ｂの位相差に基づく２つの像のずれ量からピントずれ量（デフォーカス量）を検出することで焦点検出が行われ、分割画素ａ，ｂを加算することにより静止画用の撮影画像が生成される。なお、特許文献１（特開２０１６−１８０３３号公報）等に示されるような公知の構成を採用し、撮像素子２０９として、撮影用画素と離散的に配置された焦点検出用画素とを有する構成であってもよい。

撮像素子２０９をフォーカス処理（被写体距離に関する情報を取得する処理）用に駆動することで、被写体距離を算出するための評価値を取得することができる。また、このときのセンサ駆動で同時に被写体の明るさも測定することができる。すなわち、撮像素子２０９を第１の駆動で駆動することにより取得した視差画像信号に基づいて、フォーカス及び測光の両処理を実行することが出来る。なお、撮像素子２０９によりフォーカス処理を行う際、絞りを絞りこんでいくにつれて（小絞りであるほど）フォーカス処理の精度が低下する。高精度のフォーカス処理を実行するには、絞り２０５の開口径に関する絞り値を、所定の絞り値（所定値：例えばＦ８）と同じかまたはそれよりも開放側に開いた状態に調整する必要がある。フォーカス・測光処理用センサ駆動により得られた評価値は距離情報取得部２１２及び測光部２１３へ送信される。

撮像制御部２１０は、撮像素子２０９の駆動方式の切り替えや、電荷の蓄積、読み出し等のタイミング等を制御する。画像処理部２１１は、入力されたデジタル信号に対して、設定値に基づいてホワイトバランス、色、明るさなどを調整する画質調整処理を行う。そして、画像処理部２１１で処理された画像信号は、表示用の表示画像として表示部（表示手段）２１４に送信されると共に、記録用として圧縮画像信号に符号化されて画像メモリ２１５へ送信される。さらに、画像処理部２１１は、入力されたデジタル信号に所定の画像解析処理を行うことで、画像内の被写体情報を抽出することも可能である。例えば、画像処理部２１１は、画像内に人物（顔）や物体などがあるかどうかを判別し、画像内のどの位置に被写体が存在するかを判別することができる。抽出された被写体情報は、システム制御部２０１に送信される。

距離情報取得部２１２は、撮像素子２０９のフォーカス・測光処理用センサ駆動により得られた評価値を元に被写体距離を取得する。具体的には、上述したように、システム制御部２０１は、撮像素子２０９から得られた２つの像のずれ量からピントずれ量を算出することで、被写体距離を取得する。測光部２１３は、撮像素子２０９のフォーカス・測光処理用センサ駆動により得られた評価値を元に測光、すなわち被写体の明るさを測定する。具体的には、測光部２１３は、撮像素子２０９から得られた画像信号より全体または所定の領域内の輝度を、積分回路等を使用して求めることで、被写体の明るさを測定する。

表示部２１４は、画像処理部２１１から送信された画像信号による映像や、撮像装置２００の操作をするための操作画面（メニュー画面）等を表示する。表示部２１４の構成は問わないが、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー等の表示デバイスである。画像メモリ２１５は、記録用として符号化された圧縮画像信号を一時的に記憶し、順次、記録部２１６に書き出していく。そして書き出された画像データは画像メモリ２１５から削除され、次の画像が記憶できるようになる。画像メモリ２１５はＤＲＡＭ等からなり、この容量が大きいほど多くの記録用画像を一時記憶可能であるので、記録部２１６への書き込み時間が長くかかる場合でも高速な連続撮影を継続して行うことができるようになる。記録部２１６は、画像メモリ２１５に蓄えられた圧縮画像信号を記録媒体に記録する。用いられる記録媒体は、撮像装置に内蔵された記録媒体でも取り外し可能な記録媒体でも良く、撮像装置２００で生成された圧縮画像信号及び各種データ等を記録することができれば良い。記録媒体には、例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ等のあらゆる方式の記録媒体が含まれる。

図２は、連続撮影処理のフローチャートである。図３は、連続撮影処理のタイミングチャートである。図２、図３を参照して、連続撮影の動作を説明する。図３に示すように、システム制御部２０１は、連続撮影を行なう際には、測距・測光用センサ駆動と静止画用センサ駆動とを、交互に繰り返して撮像素子２０９を駆動する。図２の処理において、システム制御部２０１は、本発明における駆動手段、算出手段、制御手段としての機能を果たす。

図２のフローチャートの処理は、ＲＯＭ２２２に格納されたプログラムをＣＰＵ２２１が実行することにより実現される。連続撮影モード時に、操作部２０２に含まれるシャッタボタンがユーザにより押されると、撮像装置２００の各ブロックに連続撮影開始の指示が送信され、図２の連続撮影処理が開始される。

まず、ステップＳ１００では、システム制御部２０１は、撮像素子２０９をフォーカス・測光処理用センサ駆動により駆動し、フォーカス・測光処理用の評価値を取得するための電荷の蓄積を行う。次に、ステップＳ１０１では、システム制御部２０１は、撮像素子２０９に蓄積された電荷の読み出しを行い、フォーカス・測光処理用の評価値を取得する。ここではシャッタ２０７は開けたまま電子式シャッタ制御により読み出しが行われる。なお、システム制御部２０１は、電子式シャッタ制御でなく、シャッタ制御部２０８によりシャッタ２０７を閉じるように制御して読み出しを行うようにしても良く、その場合は読み出し後にシャッタ２０７を開けるように制御する。

ステップＳ１０２では、システム制御部２０１は、得られたフォーカス・測光処理用の評価値を用いて、距離情報取得部２１２にフォーカス演算をさせると共に測光部２１３に測光演算をさせる。これによりフォーカス結果及び測光処理結果が出力される。ここでのフォーカス演算・測光演算では、画像処理部２１１により抽出された被写体情報を元に検出された被写体（人物・顔・物体）の位置に対して、最適なピント・露出合わせを行うように演算が行われる。例えば、距離情報取得部２１２は、検出された被写体に対してピントが合うように被写体の距離情報（フォーカス位置）を算出する。また、測光部２１３は、ピント合わせを行う被写体位置に対して測光の重み付けを大きくして測光し、被写体の明るさ情報を演算する。このように、被写体の検出結果をフォーカス演算・測光演算の両方に同時に用いることで、ピントを合わせる位置と露出合わせを行う位置とが一致し、より適切な画像を得ることができる。

ステップＳ１０３では、システム制御部２０１は、フォーカス演算により得られた被写体の距離情報を元に、フォーカス制御部２０４によりフォーカスレンズ２０３を駆動制御して、１コマ目の静止画撮影用にピント合わせを行う。また、システム制御部２０１は、測光演算により得られた被写体の明るさ情報を元に、静止画撮像用の絞り値を算出し、その絞り値となるよう絞り制御部２０６により絞り２０５を駆動制御して、１コマ目の静止画撮影用に適正な露出合わせを行う。なお、フォーカスレンズ２０３が既に１コマ目の静止画撮影用に最適なピント位置となっている場合、フォーカスレンズ２０３を動作させなくても良い。また、絞り２０５が既に１コマ目の静止画撮影用に最適な絞り位置になっている場合や、シャッタ速度やセンサ感度等の各種撮影パラメータの調整により絞り２０５を制御しなくても最適な露出で撮影ができる場合などは、絞り２０５の開口径を変更させなくても良い。

ステップＳ１０４では、システム制御部２０１は、撮像素子２０９を静止画用センサ駆動により駆動し、静止画用の画像データを取得するための電荷の蓄積を行う。ステップＳ１０５では、システム制御部２０１は、シャッタ制御部２０８によりシャッタ２０７を閉じるよう制御すると共に、撮像素子２０９に蓄積された静止画用の電荷の読み出しを行って静止画用の画像データを取得する。また、システム制御部２０１は、静止画用の電荷の読み出し中には、ステップＳ１０２で得られたフォーカス演算結果や連続撮影の開始前に取得したフォーカス処理の結果を元に、２コマ目の撮影タイミングにおける被写体のフォーカス位置を予測する。そしてシステム制御部２０１は、予測したフォーカス位置へとフォーカスレンズ２０３を制御する。例えば、システム制御部２０１は、連続撮影の開始前のある時刻ｔ１に取得したフォーカス処理の結果ａ１、ステップＳ１００での評価値の取得の時刻ｔ２、及び、時刻ｔ２で得られたフォーカス処理の結果ａ２を用いて被写体の移動速度を算出する。具体的には、システム制御部２０１は、被写体の距離の変化（ａ２−ａ１）と移動時間（ｔ２−ｔ１）を算出し、これらから被写体の移動速度を算出する。そしてシステム制御部２０１は、算出した移動速度と２コマ目の撮影タイミングまでの時間とを元に、被写体距離がどこまで変化するかを予測することで、２コマ目の静止画用のフォーカス位置を決定し、そのフォーカス位置へフォーカス制御する。

さらに、静止画用の電荷の読み出し中には、システム制御部２０１は、ステップＳ１０２で得られた測光結果を元に、後述するステップＳ１０７での評価値取得のために適切な絞り値となるように絞り２０５を制御する（絞り制御）。具体的には、システム制御部２０１は、「評価値取得のために実際に採用される絞り値」（以下、「決定絞り値」と記す）を決定し、決定絞り値となるように絞り２０５の開口径を変更するように制御する。ここで各絞り値を定義しておく。
（ａ）「所定の絞り値」は、精度の高い位相差ＡＦが可能な絞り値の限界値であり、本実施の形態ではＦ８であるとする
（ｂ）「評価値取得のために適切な絞り値」は、所定の絞り値と同じかまたはそれよりも開放側の値である
（ｃ）「静止画撮像用の絞り値」（以下、「算出絞り値」と記す）は、ステップＳ１０３または後述するステップＳ１１３で算出される値である
（ｄ）「決定絞り値」は、所定の絞り値と算出絞り値との比較により決定される値である

具体的には、「算出絞り値」＜「所定の絞り値」であれば、算出絞り値が決定絞り値として決定され、そうでなければ所定の絞り値が決定絞り値として決定される。例えば、次のコマの静止画撮影用の算出絞り値がＦ４であれば、所定の絞り値（Ｆ８）よりも開放側であるため、Ｆ４が決定絞り値として決定される。また、次のコマの静止画撮影用の算出絞り値がＦ１１であれば、所定の絞り値（Ｆ８）よりも小絞り側であるため、高いフォーカス処理精度を確保するためにＦ８が決定絞り値として決定される。図３でいえば、システム制御部２０１は、処理Ｔ１で、１コマ目の静止画用の電荷の読み出し中に、Ｆ４を決定絞り値として決定すると共に、絞り２０５の絞り値がＦ４となるように絞り制御を行う。ここで、Ｆ４は、「評価値取得のために適切な絞り値」に該当すると共に、静止画撮影用の算出絞り値にも該当する。従って、適切な評価値を取得できると共に、その直後に、静止画撮影用の算出絞り値へ絞り値を変更し直す必要がなく、無駄な時間が生じない。

ステップＳ１０６では、システム制御部２０１は、操作部２０２のシャッタボタンがユーザにより引き続き押されているかどうかをチェックすることで連続撮影を終了すべきか否かを判別する。そして、システム制御部２０１は、連続撮影を終了すべき場合は図２の処理を終了させ、連続撮影を終了すべきでない場合は処理をステップＳ１０７へ進める。ステップＳ１０７では、システム制御部２０１は、撮像素子２０９をフォーカス・測光処理用センサ駆動により駆動し、フォーカス・測光処理用の評価値を取得するための電荷の蓄積を行う。この時点で、絞り２０５の絞り値は、直前のステップＳ１０５またはステップＳ１１３で決定され制御された値になっている。次に、ステップＳ１０８では、システム制御部２０１は、撮像素子２０９に蓄積された電荷の読み出しを行い、フォーカス・測光処理用の評価値を取得する。そして、システム制御部２０１は、ステップＳ１０９で、ステップＳ１０８で取得された評価値のデータから画像処理部２１１により表示用画像を生成し、表示部２１４に表示用画像を表示させる。連続撮影時にはここで最新の撮像画像が表示されることで、ユーザは被写体を確認しながら撮影しやすくなる。

ステップＳ１１０では、システム制御部２０１は、現在の絞り２０５の絞り値が、静止画撮影用の算出絞り値となっているか否かを判別する。現在の絞り２０５の絞り値は、直前のステップＳ１０５またはステップＳ１１３で決定された決定絞り値である。従って、算出絞り値が決定絞り値として決定されていたならステップＳ１１０でＹＥＳとなり、処理はステップＳ１１２に進む。しかし、所定の絞り値が決定絞り値として決定されていたならステップＳ１１０でＮＯとなり、処理はステップＳ１１１に進む。

ステップＳ１１１では、システム制御部２０１は、静止画取得に適するようにするために、絞り２０５の絞り値を算出絞り値とするよう絞り制御を開始する。図３でいえば、３コマ目用の算出絞り値がＦ１１であったとする。この場合、システム制御部２０１は、処理Ｔ２（後述するＳ１１３）で、所定の絞り値（Ｆ８）を決定絞り値として決定し、２コマ目の静止画用の電荷の読み出し中に、絞り２０５の絞り値がＦ８となるように絞り制御を行っている。従ってこの場合、システム制御部２０１は、処理Ｔ３（Ｓ１１１）で、３コマ目の静止画用の電荷の蓄積開始前に、絞り２０５の絞り値が算出絞り値（Ｆ１１）となるように制御する。これにより、３コマ目の静止画撮影において適切な露出を確保できる。

一方、ステップＳ１１１を経ずにステップＳ１１２に移行した場合に該当するのは、図３でいえば、処理Ｔ４が実行された場合である。システム制御部２０１は、処理Ｔ４（後述するＳ１１３）では、処理Ｔ１と同様に、３コマ目の静止画用の電荷の読み出し中に、絞り２０５の絞り値が決定絞り値（算出絞り値でもあり、例えば、Ｆ４）となるように絞り制御を行う。

ステップＳ１１２では、システム制御部２０１は、撮像素子２０９を静止画用センサ駆動により駆動し、静止画用の画像データを取得するための電荷の蓄積を行う。また、システム制御部２０１は、この電荷の蓄積と並行して、直前に（ステップＳ１０８で）得られたフォーカス・測光処理用の評価値を用いて、距離情報取得部２１２にフォーカス演算をさせると共に測光部２１３に測光演算をさせる。これらの演算動作は静止画用の電荷の蓄積中に開始される。これによりフォーカス演算（処理）の結果及び測光結果が出力される。なお、ステップＳ１１１を経由していた場合は、システム制御部２０１は、ステップＳ１１１で開始した絞り制御を行いながら、フォーカス演算及び測光演算を行わせるようにしても良い。

ステップＳ１１３では、ステップＳ１０５と同様に、システム制御部２０１は、シャッタ制御部２０８によりシャッタ２０７を閉じるよう制御すると共に、撮像素子２０９に蓄積された静止画用の電荷の読み出しを行って静止画用の画像データを取得する。また、システム制御部２０１は、静止画用の電荷の読み出し中には、ステップＳ１１２で得られたフォーカス演算の結果やそれ以前に取得されたフォーカス演算の結果を元に、次のコマの撮影タイミングにおける被写体のフォーカス位置を予測する。そしてシステム制御部２０１は、予測したフォーカス位置へとフォーカスレンズ２０３を制御する。さらに、静止画用の電荷の読み出し中には、システム制御部２０１は、ステップＳ１１２で得られた測光結果を元に、次のステップＳ１０７での評価値取得のために適切な絞り値となるように絞り２０５を制御する（絞り制御）。すなわちシステム制御部２０１は、ステップＳ１０５と同様に、決定絞り値を決定し、決定絞り値となるように絞り２０５を制御する（図３の処理Ｔ２、Ｔ４）。その後、処理はステップＳ１０６へ戻る。

このように、システム制御部２０１は、Ｎ＋１枚目（Ｎは自然数）の静止画撮像用の算出絞り値と所定の絞り値とに基づいて決定絞り値を決定し、Ｎ枚目の静止画用の電荷の読み出し中に、絞り２０５を決定絞り値とするように、絞り制御を行う。具体例として、図３の１コマ目、２コマ目、３コマ目、４コマ目をそれぞれＮ、Ｎ＋１、Ｎ＋２、Ｎ＋３とする。

２コマ目（Ｎ＋１）用の算出絞り値がＦ４であるとすると、処理Ｔ１では、決定絞り値がＦ４とされ、１コマ目（Ｎ）の静止画用の電荷の読み出し中に、Ｆ４へ絞り制御される（Ｓ１０５）。この場合、Ｆ４のまま、その直後のフォーカス・測光処理用センサ駆動へ移行でき、絞りを改めて制御し直すことなく２コマ目の静止画の撮像を開始できるため、コマ間の時間が長くならず、連写の高速化に寄与する。また、３コマ目（Ｎ＋２）用の算出絞り値がＦ１１であるとすると、処理Ｔ２では、決定絞り値がＦ４とされ、２コマ目（Ｎ＋１）の静止画用の電荷の読み出し中に、Ｆ４へ絞り制御される（Ｓ１１３）。これにより、適切な条件で評価値の取得を行え、ピントや露出の追従性能を確保できる。その後、処理Ｔ３で、３コマ目（Ｎ＋２）の静止画用の電荷の蓄積開始前に、Ｆ１１へ絞り制御される（Ｓ１１１）。これにより、３コマ目の静止画撮影において適切な露出を確保できる。また、４コマ目（Ｎ＋３）用の算出絞り値がＦ４であるとすると、処理Ｔ４では、決定絞り値がＦ４とされ、３コマ目（Ｎ＋２）の静止画用の電荷の読み出し中に、Ｆ４へ絞り制御される（Ｓ１１３）。この場合、Ｆ４のまま、その直後のフォーカス・測光処理用センサ駆動へ移行できるので、コマ間の時間が長くならない。

本実施の形態によれば、Ｎ＋１枚目の静止画撮像用の算出絞り値と所定の絞り値とに基づいて、Ｎ枚目の静止画用の電荷の読み出し中に絞り制御が行われるので、適切な条件でフォーカス処理と測光処理を行うと共に連続撮影を高速に行うことができる。

また、算出絞り値が所定の絞り値より開放側である場合は、算出絞り値となるよう絞り制御されるので、算出絞り値のままで「静止画用センサ駆動」（第２駆動）へ移行でき、連続撮影が高速になる。さらに、算出絞り値が所定の絞り値より開放側でない場合は、所定の絞り値となるよう絞り制御されるので、適切な条件でフォーカス処理および測光処理を行って、フォーカス処理の精度が低下することを抑制することができる。また、所定の絞り値となるよう絞り制御を行った後の「フォーカス・測光処理用センサ駆動」（第１駆動）の完了後であって、上記絞り制御を行った後の「静止画用センサ駆動」（第２駆動）の開始前に、算出絞り値となるよう絞り制御される。これにより、次の静止画撮影において適切な露出を確保できる。

また、Ｎ＋１枚目の静止画用に決定されたフォーカス位置に基づき、Ｎ枚目の静止画用の電荷の読み出し中にフォーカス制御が行われる。これにより、フォーカス制御も静止画用の電荷の読み出しと並行になされるので時間の遅延が生じない。また、Ｎ＋１枚目の静止画撮像用の絞り値の算出が、Ｎ枚目の静止画用の電荷の蓄積中に開始されるので、並行動作により時間の遅延が回避される。

また、検出された被写体の位置に基づいて、静止画撮像用のフォーカス位置が決定されると共に測光もなされる。これにより、被写体検出結果をフォーカス演算・測光演算の両方に同時に用いることで、ピントを合わせる位置と露出合わせを行う位置とが一致し、最適な画像を得ることができる。

（第２の実施の形態）
図４は、第２の実施の形態における連続撮影処理のフローチャートである。図５は、連続撮影処理のタイミングチャートである。図４、図５を参照して、連続撮影の動作を説明する。本実施の形態でも、システム制御部２０１は、連続撮影を行なう際には、測距・測光用センサ駆動と静止画用センサ駆動とを、交互に繰り返して撮像素子２０９を駆動する。

図４のフローチャートの処理は、ＲＯＭ２２２に格納されたプログラムをＣＰＵ２２１が実行することにより実現される。連続撮影モード時に、操作部２０２に含まれるシャッタボタンがユーザにより押されると、撮像装置２００の各ブロックに連続撮影開始の指示が送信され、図４の連続撮影処理が開始される。

まず、ステップＳ１００〜Ｓ１０５の処理は、図２で説明したのと同じである。ステップＳ１０６では、システム制御部２０１は、連続撮影を終了すべき場合は図４の処理を終了させ、連続撮影を終了すべきでない場合は処理をステップＳ３００へ進める。ステップＳ３００では、システム制御部２０１は、次の静止画撮影が可能か否かを判別し、撮影可能であれば処理を前述した図２に図示したフローチャートのステップＳ１０７へ進め、撮影可能でなければ処理をステップＳ３０１へ進める。ここで、システム制御部２０１は、連続撮影中に次の静止画撮影が可能か、すなわち静止画用センサ駆動が可能であるかどうかを、画像メモリ２１５の残容量に基づき判別する。撮像装置２００は、連続撮影を行う際、記録用として符号化された圧縮画像信号を画像メモリ２１５に一時的に記憶させ、画像メモリ２１５から順次、記録部２１６に書き出していく。記録部２１６への画像の書き込みが完了する前に、連続撮影により次の画像が画像メモリ２１５に一時記憶されていくと、書き出し前の画像が画像メモリ２１５に溜まっていくことになる。そして画像メモリ２１５の空き容量が次の画像を一時記憶するために必要な容量よりも少なくなると次の静止画撮影ができなくなる。すなわち、連続撮影中に静止画用センサ駆動が可能でなくなる。よって、画像メモリ２１５の空き容量が所定未満となるか、または次の画像を記録するに足らなくなった場合に、次の静止画撮影が可能でないと判別される。

ステップＳ１０７〜Ｓ１１３の処理は図２で説明したのと同じである。ステップＳ３０１では、システム制御部２０１は、撮像素子２０９をスルー画像用センサ駆動により駆動し、所定のフレームレートで連続的に画像を生成して、スルー画像を表示部２１４に表示させる動作を開始する。これにより、次の撮影が可能になるまでの期間もフレーミングが可能になる。

ステップＳ３０２では、システム制御部２０１は、次の静止画撮影が可能となったか否かを再び判別する。システム制御部２０１は、次の静止画撮影が依然として可能でない場合は、処理をステップＳ３０３に進める。ステップＳ３０３では、システム制御部２０１は、操作部２０２のシャッタボタンがユーザにより引き続き押されているかどうかをチェックすることで連続撮影を終了すべきか否かを判別する。そしてシステム制御部２０１は、連続撮影を終了すべきでない場合は処理をステップＳ３０２に戻し、連続撮影を終了すべき場合は図４の処理を終了させる。

ステップＳ３０２で、画像メモリ２１５の空き容量が次の画像を一時記憶するために必要な容量分だけ空くと、システム制御部２０１は、次の静止画撮影が可能となったと判別して、処理をステップＳ３０４に進める。ステップＳ３０４では、システム制御部２０１は、次の撮影を開始するために、撮像素子２０９のスルー画像用センサ駆動を終了し、スルー画像生成処理及び表示処理を停止する。システム制御部２０１は、ステップＳ３０５、Ｓ３０６ではそれぞれ、ステップＳ１００、Ｓ１０１と同様の処理を実行する。次に、ステップＳ３０７では、システム制御部２０１は、ステップＳ３０６で取得された評価値用のデータから画像処理部２１１により表示用画像を生成し、表示部２１４に表示用画像を表示させる。

ステップＳ３０８〜Ｓ３１１では、システム制御部２０１は、ステップＳ１０２〜Ｓ１０５と同様の処理を実行する。ただし、ステップＳ３０９で行われるピント合わせ及び露出合わせは、次のコマ目の静止画撮影用である。また、ステップＳ３１１では、ステップＳ３０８で得られたフォーカス処理の結果や、それ以前に取得したフォーカス処理の結果を元に、次のコマの撮影タイミングにおける被写体のフォーカス位置が予測される。特に、ステップＳ３１１では、静止画用の電荷の読み出し中に、システム制御部２０１は、ステップＳ３０８で得られた測光結果を元に、次のステップＳ１０７での評価値取得のために適切な絞り値となるように絞り２０５を制御する（絞り制御）。ステップＳ３１１の後、処理はステップＳ１０６へ進む。

図５を用いて具体的事例を説明する。Ｎコマ目の静止画撮影を終えた時点で画像メモリ２１５の空き容量が不足したため、システム制御部２０１は、記録部２１６への書き出しによって次の画像を一時記憶するために必要な容量が画像メモリ２１５に確保されるまで待つ。画像メモリ２１５に必要な容量が確保できたら、Ｎ＋１コマ目の撮影を行うわけであるが、その時点でＮコマ目の撮影終了時から相当の時間が経過している。Ｎコマ目の静止画の読み出し中には、その時点で最適とされるフォーカス制御や絞り制御を行っていたが、Ｎ＋１コマ目の撮影時には時間が経過しているため、被写体に動きがあった場合にピントや露出が大きくずれるおそれがある。

そこでシステム制御部２０１は、Ｎ＋１コマ目の撮影を開始する前にフォーカス・測光処理用の評価値を取得し、フォーカス演算・測光演算を行い、さらにそれらの演算結果を元にフォーカスレンズ２０３と絞り２０５の制御を行う処理を完了させる。このようにすることで、被写体に動きがあった場合でも、Ｎ＋１コマ目の撮影直前のタイミングにおける最適なピント・露出合わせを行った上で、Ｎ＋１コマ目の撮影が行えるようになる。図４でいえば、ステップＳ３０５〜Ｓ３０９の処理が、ステップＳ３１０の前に実行される。

本実施の形態によれば、適切な条件でフォーカス処理および測光処理を行うと共に連続撮影を高速に行うことに関し、第１の実施の形態と同様の効果を奏することができる。また、連続撮影中に静止画用センサ駆動（第２駆動）が可能でなくなってから可能となった場合、その後の静止画用センサ駆動による静止画用の電荷の蓄積の開始前に、一連処理が実行され完了する。この一連の処理には、フォーカス処理・測光処理、算出絞り値の算出、決定絞り値の決定、絞り制御、フォーカス制御が含まれる。これにより、静止画用センサ駆動の再開までに時間が長く経過して被写体に動きがあった場合であっても、ピントや露出が大きくずれてしまうことを回避することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

２０１ システム制御部
２０５ 絞り
２０９ 撮像素子
２１３ 測光部

Claims (14)

1. 撮像センサを有する撮像装置であって、
   前記撮像センサを用いて複数の静止画を連続して取得する連続撮影を行なう際に、前記撮像センサでフォーカス処理および測光処理の少なくとも一方に用いる第１の画像信号を取得するために電荷の蓄積及び読み出しを行う第１駆動と、前記撮像センサで静止画用の第２の画像信号を取得するために電荷の蓄積及び読み出しを行う第２駆動とを、交互に繰り返して前記撮像センサを駆動する駆動手段と、
   前記撮像センサの前記第１駆動で読み出された電荷に基づいて測光処理を実行する測光手段と、
   前記測光手段による測光結果に基づいて、Ｎ＋１枚目の前記第２の画像信号を取得する際の絞り値を算出する算出手段と、
   前記算出手段により算出された絞り値と所定値とに基づいて、前記撮像センサの前記第２駆動によるＮ枚目の前記第２の画像信号を取得するための電荷の読み出し中に絞り制御を行う制御手段と、を有することを特徴とする撮像装置。
2. 前記第１の画像信号は視差画像信号であることを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記算出された絞り値が前記所定値より開放側である場合は、前記算出された絞り値となるよう前記絞り制御を行うことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記制御手段は、前記算出された絞り値が前記所定値より開放側でない場合は、前記所定値となるよう前記絞り制御を行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、前記所定値となるよう前記絞り制御を行った後の前記撮像センサの前記第１駆動の完了後であって、前記所定値となるよう前記絞り制御を行った後の前記撮像センサの前記第２駆動の開始前に、前記算出された絞り値となるよう前記絞り制御を行うことを特徴とする請求項４に記載の撮像装置。
6. 前記算出手段は、前記Ｎ＋１枚目の前記第２の画像信号を取得するための絞り値の算出を、前記撮像センサの前記第２駆動による前記Ｎ枚目の前記第２の画像信号を取得するための電荷の蓄積中に開始することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記制御手段は、前記撮像センサの前記第１駆動で読み出された電荷に基づいて前記Ｎ＋１枚目の前記第２の画像信号を取得する際のフォーカス位置を決定し、当該決定したフォーカス位置に基づき、前記撮像センサの前記第２駆動による前記Ｎ枚目の前記第２の画像信号を取得するための電荷の読み出し中にフォーカス制御を行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記撮像センサから得られた画像信号から被写体を検出する検出手段を有し、
   前記制御手段は、前記撮像センサの前記第１駆動で読み出された電荷と前記検出手段により検出された被写体の位置とに基づいて前記Ｎ＋１枚目の前記第２の画像信号を取得する際のフォーカス位置を決定し、
   前記測光手段は、前記撮像センサの前記第１駆動で読み出された電荷と前記検出された被写体の位置とに応じて測光処理を実行することを特徴とする請求項７に記載の撮像装置。
9. 前記制御手段は、前記撮像センサの前記第１駆動で読み出された電荷に基づく画像信号を表示画像として表示手段に表示させることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 連続撮影中に前記撮像センサの前記第２駆動が可能でなくなってから前記第２駆動が可能となった場合、その後であって前記撮像センサの前記第２駆動による次の前記第２の画像信号を取得するための電荷の蓄積の開始前に、次の前記第２の画像信号を取得する際の前記測光手段による測光処理、前記算出手段による前記絞り値の算出及び前記制御手段による前記絞り制御が完了することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記制御手段は、連続撮影中に前記撮像センサの前記第２駆動が可能でなくなってから前記第２駆動が可能となるまでの間、所定のフレームレートで連続的に画像を生成する第３駆動により前記撮像センサを駆動し、スルー画像を表示手段に表示させるように制御することを特徴とする請求項１０に記載の撮像装置。
12. 前記駆動手段は、前記第２駆動により取得された前記第２の画像信号を静止画として記憶可能なメモリに画像信号を記録できない状態では、前記撮像センサの前記第２駆動を実行させないことを特徴とする請求項１０又は１１に記載の撮像装置。
13. 撮像センサを有する撮像装置の制御方法であって、
    前記撮像センサを用いて複数の静止画を連続して取得する連続撮影を行なう際に、前記撮像センサでフォーカス処理および測光処理の少なくとも一方に用いる第１の画像信号を取得するために電荷の蓄積及び読み出しを行う第１駆動と、前記撮像センサで静止画用の第２の画像信号を取得するために電荷の蓄積及び読み出しを行う第２駆動とを、交互に繰り返して前記撮像センサを駆動する駆動ステップと、
    前記撮像センサの前記第１駆動で読み出された電荷に基づいて測光処理を実行する測光ステップと、
    前記測光ステップによる測光結果に基づいて、Ｎ＋１枚目の前記第２の画像信号を取得する際の絞り値を算出する算出ステップと、
    前記算出ステップにより算出された絞り値と所定値とに基づいて、前記撮像センサの前記第２駆動によるＮ枚目の前記第２の画像信号を取得するための電荷の読み出し中に絞り制御を行う制御ステップと、を有することを特徴とする撮像装置の制御方法。
14. 請求項１３に記載の撮像装置の制御方法をコンピュータに実行させることを特徴とするプログラム。
    

Images