JP2021004989A - 焦点調節装置および焦点調節方法 - Google Patents

Abstract

【課題】焦点調節を行いながら静止画を連写するにあたって、高速で連写を行いながら画質の劣化を防止するようにした焦点調節装置および焦点調節方法を提供する。【解決手段】静止画の連写中に、撮像素子から画像生成用の第１の撮像動作により出力される画素信号に基づく画像データを表示、または静止画として記録するための処理を行い（Ｔ１〜Ｔ２）、位相差検出用の第２の撮像動作により出力される画素信号に基づいて焦点検出を行って焦点調節データを生成し（Ｔ３〜Ｔ４）、フォーカス制御を実行し、焦点調節データに基づいてフォーカス移動量を演算し、フォーカス移動量が所定値より大きく、かつ、フォーカス移動量に基づくフォーカス制御と第１の撮像動作を並行して実行する場合は、第１の撮像動作の画素信号に基づく画像データに静止画として記録するための処理を禁止する（Ｔ４〜Ｔ１０）。【選択図】 図８

Description

本発明は、位相差検出用の焦点検出画素が設けられて撮像素子を有し、焦点検出画素からの画素信号に基づいて、フォーカスレンズの焦点調節を行う焦点調節装置および焦点調節方法に関する。

従来より、画像信号を出力する画像素子と、位相差検出用の焦点検出信号を出力する焦点検出画素を配置した撮像素子を有する焦点調節装置が提案されている。例えば、特許文献１は、焦点検出画素と画像画素の露光時間をライン毎に変えてそれぞれ読み出すことを提案している。また、特許文献２は、ライン毎に、焦点検出画素の内の分割画素のそれぞれを読み出す方法と、分割画素の出力を加算して読み出す方法を提案している。

さらに、特許文献３に開示の撮像装置は、自動焦点調節（ＡＦ）と静止画撮影を繰り返す連写動作において、フォーカス・測光処理用センサ駆動と静止画用センサ駆動を交互に繰り返している。この撮像装置は、静止画用の画素信号の読み出し中に、取得されたフォーカス演算の結果に基づいて、次のフレーム（コマ）の撮影タイミングにおける被写体のフォーカス位置を予測してフォーカスレンズを駆動し、駆動終了後に静止画撮像を行っている。

特開２０１５−１６１９０６号公報 特開２０１５−００５８５３号公報 特開２０１８−０３１９０７号公報

上述の特許文献１は、ライブビューにおける撮像素子からの読み出しについてのみの提案でしかなく、また静止画の画質の劣化を招くことから静止画撮影には適用できない。また、上述の特許文献２は、ライブビュー中の位相差情報の読み出しについてしか提案されていない。このため、特許文献２に開示の技術では、位相差情報を取得するにはライブビュー動作を行わなければならない。ライブビュー動作から静止画撮影動作へ切り替える際には、撮像駆動モードを切り替えなければならず、この切り替え時に無効フレームが発生するので、静止画連写を高速化することができない。さらに、上述の特許文献３は、静止画撮像とフォーカスレンズ駆動を並行動作させないように制御しているため、静止画連写の高速化に限界がある。このように、従来技術は、静止画を高速で連写する際の画質の劣化を防止することについては何ら提案がない。

本発明は、このような事情を鑑みてなされたものであり、焦点調節を行いながら静止画を連写するにあたって、高速で連写を行っても画質が劣化しないようにした焦点調節装置および焦点調節方法を提供することを目的とする。

上記目的を達成するため第１の発明に係る焦点調節装置は、１個のマイクロレンズに対して、所定の瞳分割方向に分割された複数のフォトダイオードを配置し、撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を上記フォトダイオードによって光電変換することによって画素信号を生成し、さらに上記瞳分割方向に対応する画素信号を合成した画素信号を生成し出力する第１の撮像動作と、上記瞳分割方向に対応する画素信号を生成し出力する第２の撮像動作とを交互に繰り返し実行する撮像モードを設定可能な撮像素子と、 静止画の連写中に、上記撮像素子から上記第１の撮像動作によって出力される画素信号に基づく画像データを表示、または静止画として記録するための処理を行い、上記第２の撮像動作によって出力される画素信号に基づいて焦点検出を行って焦点調節データを生成し、フォーカス制御を実行する制御部と、を具備し、上記制御部は、上記焦点調節データに基づいてフォーカス移動量を演算し、上記フォーカス移動量が所定値より大きく、かつ、上記フォーカス移動量に基づくフォーカス制御と上記第１の撮像動作を並行して実行する場合は、上記第１の撮像動作の画素信号に基づく画像データに静止画として記録するための処理を禁止する。

第２の発明に係る焦点調節装置は、上記第１の発明において、上記制御部は、上記フォーカス移動量にかかわらず、上記第１の撮像動作の画素信号に基づく画像データに表示を行うための処理を実行する。
第３の発明に係る焦点調節装置は、上記第１の発明において、上記制御部は、上記焦点調節データに基づき上記第１の撮像動作と並行して上記フォーカス制御を実行するか否かを判断し、上記繰り返し実行される第１の撮像動作のうちの現在の第１の撮像動作と並行して上記フォーカス制御を実行する場合に、続く第１の撮像動作と並行して上記フォーカス制御を実行しない。

第４の発明に係る焦点調節装置は、上記第１の発明において、上記制御部は、上記繰り返し実行される第１の撮像動作と並行して上記フォーカス制御を行う場合に、デフォーカス量の変化量を所定値以下に制限してフォーカス制御を行う。
第５の発明に係る焦点調節装置は、上記第１の発明において、上記制御部は、複数の上記焦点調節データに基づいて被写体に対応する像面移動速度を演算し、算出した像面移動速度に応じてフォーカス制御を行う。
第６の発明に係る焦点調節装置は、上記第１ないし第５の発明において、上記撮像光学系を含む交換レンズと該交換レンズを装着可能な本体とを有し、上記本体は、上記撮像素子と上記制御部を含み、上記交換レンズは、上記撮像光学系に含まれるフォーカスレンズの位置を制御するフォーカスレンズ制御部を含み、上記フォーカスレンズ制御部は、上記制御部と通信して上記撮像素子の第１の撮像動作および第２の撮像動作に同期して上記フォーカスレンズの位置制御を実行する。

第７の発明に係る焦点調節方法は、１個のマイクロレンズに対して、所定の瞳分割方向に分割された複数のフォトダイオードを配置し、撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を上記フォトダイオードによって光電変換することによって画素信号を生成する撮像素子を有する撮像装置の焦点調節装置において、上記瞳分割方向に対応する画素信号を合成した画素信号を生成し出力する第１の撮像動作と、上記瞳分割方向に対応する画素信号を生成し出力する第２の撮像動作とを交互に繰り返し実行し、静止画の連写中に、上記撮像素子から上記第１の撮像動作によって出力される画素信号に基づく画像データを表示、または静止画として記録するための処理を行い、上記第２の撮像動作によって出力される画素信号に基づいて焦点検出を行って焦点調節データを生成し、フォーカス制御を実行し、上記焦点調節データに基づいてフォーカス移動量を演算し、上記フォーカス移動量が所定値より大きく、かつ、上記フォーカス移動量に基づくフォーカス制御と上記第１の撮像動作を並行して実行する場合は、上記第１の撮像動作の画素信号に基づく画像データに静止画として記録するための処理を禁止する。

第８の発明に係る焦点調節装置は、１個のマイクロレンズに対して、所定の瞳分割方向に分割された複数のフォトダイオードを配置し、撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を上記フォトダイオードによって光電変換することによって画素信号を生成し、さらに上記瞳分割方向に対応する画素信号を合成した画素信号を生成し出力する第１の撮像動作と、上記瞳分割方向に対応する画素信号を生成し出力する第２の撮像動作とを交互に繰り返し実行する撮像モードを設定可能な撮像素子と、静止画の連写中に、上記撮像素子から上記第１の撮像動作によって出力される画素信号に基づく画像データを表示、または静止画として記録するための処理を行い、上記第２の撮像動作によって出力される画素信号に基づいて焦点検出を行って焦点調節データを生成し、フォーカス制御を実行する制御部と、上記撮像光学系に含まれる絞りを駆動する絞り駆動部と、を具備し、上記制御部は、上記焦点調節データに基づいてフォーカス移動量を演算し、上記フォーカス移動量が所定値より大きく、かつ、上記フォーカス移動量に基づくフォーカス制御と上記第１の撮像動作を並行して実行する場合、又は、上記絞り駆動中に上記第１の撮像動作を並行して実行する場合は、上記第１の撮像動作の画素信号に基づく画像データに静止画として記録するための処理を禁止する。

本発明によれば、焦点調節を行いながら静止画を連写するにあたって、高速で連写を行っても画質が劣化しないようにした焦点調節装置および焦点調節方法を提供することができる。

本発明の一実施形態に係る撮像装置の主として電気的構成を示すブロック図である。 本発明の一実施形態に係る撮像装置の撮像素子の主として電気的構成を示すブロック図である。 本発明の一実施形態に係る撮像装置において、２ＰＤ画素タイプの画素の構成を示す図である。 本発明の一実施形態に係る撮像装置において、４ＰＤ画素タイプの画素の構成を示す図である。 本発明の一実施形態に係る撮像装置において、静止画連写撮影時の露光動作を示すタイミングチャートである。 本発明の一実施形態に係る撮像装置において、撮像素子の画素加算の対象と、撮像素子の画素加算結果を示す図である。 本発明の一実施形態に係る撮像装置において、静止画連写撮影時におけるレンズ同期信号を示すタイミングチャートである。 本発明の一実施形態に係る撮像装置において、静止画連写撮影時において、フォーカスレンズを絶対駆動する場合の動作を示すタイミングチャートである。 本発明の一実施形態に係る撮像装置において、静止画連写撮影時において、フォーカスレンズをスキャン駆動する場合の動作を示すタイミングチャートである。 本発明の一実施形態に係る撮像装置において、静止画連写撮影時において、フォーカスレンズをスキャン駆動する際に、駆動速度を変更する場合の動作を示すタイミングチャートである。 本発明の一実施形態に係る撮像装置において、静止画連写撮影時において、フォーカスレンズを相対駆動する場合の動作を示すタイミングチャートである。 本発明の一実施形態に係る撮像装置において、静止画連写撮影時において、フォーカスレンズを相対駆動する場合の変形例の動作を示すタイミングチャートである。 本発明の一実施形態に係る撮像装置において、静止画連写撮影時の動作を示すフローチャートである。 本発明の一実施形態に係る撮像装置において、静止画連写撮影時の動作を示すフローチャートである。 本発明の一実施形態に係る撮像装置において、動体予測演算およびレンズ駆動指示の動作を示すフローチャートである。 本発明の一実施形態に係る撮像装置において、静止画の画像処理の動作を示すフローチャートである。 本発明の一実施形態に係る撮像装置において、静止画の画像処理の動作の変形例を示すフローチャートである。

以下、本発明の一実施形態に係る撮像装置について説明する。この撮像装置は、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面等に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することによって、構図やシャッタタイミングを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。

また、本実施形態に係る撮像装置の撮像部は、撮像用画素の二次元配列中に焦点検出用画素を配列し、撮像光学系によって結像された被写体像を撮像する。連写によって静止画を撮影する場合には、静止画のための本露光と本露光の間に、位相差検出のための露光を行う（例えば、図５参照）。この位相差検出用露光が終了した後に、位相差検出画素（焦点検出用画素）からの信号を読み出し（例えば、図１３ＢのＳ４３参照）、読出した画素信号を用いて、相関演算やピントずれ量を算出し、フォーカスレンズのピント合わせを行う（例えば、図１３ＢのＳ４５、Ｓ４７、Ｓ５３、Ｓ５５等参照）。

また、本実施形態に係る撮像装置は、相関演算結果やピントずれ量等に基づいて、被写体が大きく変化したか否か、被写体が等速移動しているか否か、移動速度が極微小であるか等を判定し、この判定結果に基づいて、絶対駆動（図８、図１４のＳ８７等参照）、スキャン駆動（図９、図１０、図１４のＳ８１等参照）、相対駆動（図１１、図１２、図１４のＳ８３等参照）等のフォーカスレンズの駆動方式を選択する。また、フォーカス移動量等が所定の条件に当てはまる場合には、静止画の記録を禁止している（図１５、図１６等参照）。

図１は、本発明の一実施形態に係る焦点検出装置を含む撮像装置（具体的には例えばデジタルカメラ）１の構成の一例を示すブロック図である。なお、図１中において、矢印付き実線はデータの流れを、矢印付き破線は制御信号の流れをそれぞれ示している。

撮像装置１は、交換式レンズ１００と、カメラ本体２００とを有する。交換式レンズ１００は、カメラ本体２００に着脱できるように構成されている。交換式レンズ１００とカメラ本体２００とは、交換式レンズ１００がカメラ本体２００に装着されたときに、互いに通信できるように接続される。なお、撮像装置１は、必ずしもレンズ交換式の撮像装置でなくてもよい。例えば、撮像装置１は、レンズ一体型の撮像装置であってもよい。また、スマートフォンのように、携帯機器内に設けられた撮像装置であってもよい。

交換式レンズ１００は、撮像光学系１０２と、駆動部１０４と、レンズＣＰＵ（Central Processing Unit）１０６と、レンズ側記憶部１０８とを備える。ここで、交換式レンズ１００の各ブロックは、例えばハードウェアによって構成されている。しかしながら、必ずしもハードウェアによって構成されている必要はなく、一部はソフトウェアによって構成されていてもよい。また、交換式レンズ１００の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又はソフトウェアによって構成されていてもよい。また、交換式レンズとカメラ本体が一体に構成されている場合には、レンズＣＰＵ１０６とＣＰＵ２１２が１つのＣＰＵで構成されていてもよい。

撮像光学系１０２は、被写体からの光束をカメラ本体２００の撮像素子２０８に結像させるための光学系である。撮像光学系１０２は、フォーカスレンズ１０２ａと、絞り１０２ｂとを有する。フォーカスレンズ１０２ａは、光軸方向に移動することによって、撮像光学系１０２の焦点位置を調節できるように構成されている。

絞り１０２ｂは、フォーカスレンズ１０２ａの光軸上に配置される。絞り１０２ｂの口径は可変である。絞り１０２ｂは、フォーカスレンズ１０２ａを通過して撮像素子２０８に入射する被写体からの光束の量を調節する。駆動部１０４は、駆動モータと駆動回路等を有し、レンズＣＰＵ１０６から出力される制御信号に基づいて、フォーカスレンズ１０２ａと絞り１０２ｂを駆動する。ここで、撮像光学系１０２は、ズームレンズとして構成されていてもよい。この場合、駆動部１０４がズーム駆動も行ってもよく、またユーザが手動操作によって焦点距離を変化させてもよい。駆動部１０４は、撮像光学系に含まれる絞りを駆動する絞り駆動部（アクチュエータ、ドライバ）として機能する。

レンズＣＰＵ１０６は、ＣＰＵとその周辺回路を含むプロセッサであり、レンズ側記憶部１０８に記憶されているプログラムに従って動作する。レンズＣＰＵ１０６は、インターフェース（Ｉ／Ｆ）１１０を通じてカメラ本体２００のＣＰＵ２１２との間で通信できるように構成されている。レンズＣＰＵ１０６は、カメラ本体２００のＣＰＵ２１２からの制御信号に従って駆動部１０４を制御する。また、レンズＣＰＵ１０６は、Ｉ／Ｆ１１０を通じて、絞り１０２ｂの絞り値（Ｆ値）及びレンズ側記憶部１０８に記憶されているレンズ情報等の各種情報をＣＰＵ２１２に送信する。レンズＣＰＵ１０６は、撮像光学系に含まれるフォーカスレンズの位置を制御するフォーカスレンズ制御部としての機能を果たす。このフォーカスレンズ制御部は、制御部と通信して撮像素子の第１の撮像動作および第２の撮像動作に同期してフォーカスレンズの位置制御を実行する（例えば、図７〜図１２参照）。

なお、レンズＣＰＵ１０６は、必ずしもＣＰＵとして構成されていなくてもよい。すなわち、レンズＣＰＵ１０６と同様の機能は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のプロセッサによって実現されてもよい。また、レンズＣＰＵ１０６と同様の機能は、ソフトウェアによって実現されてもよい。

レンズ側記憶部１０８は、電気的書き換え可能な不揮発性メモリを有し、上述のプログラム以外にも交換式レンズ１００に関するレンズ情報等を記憶している。レンズ情報は、例えば撮像光学系１０２の焦点距離の情報や収差の情報を含む。

カメラ本体２００は、メカシャッタ２０２と、駆動部２０４と、操作部２０６と、撮像素子２０８と、手振れ補正回路２１０と、ＣＰＵ２１２と、画像処理回路２１４と、画像圧縮展開部２１６と、焦点検出回路２１８と、露出制御回路２２０と、表示部２２２と、バス２２４と、ＤＲＡＭ（Dynamic Random Access Memory）２２６と、本体側記憶部２２８と、記録媒体２３０とを有する。ここで、カメラ本体２００の各ブロックは、例えばハードウェアによって構成されている。しかしながら、必ずしもハードウェアによって構成されている必要はなく、一部はソフトウェアによって構成されていてもよい。また、カメラ本体２００の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又はソフトウェアによって構成されていてもよい。

メカシャッタ２０２は、開閉自在に構成され、撮像素子２０８への被写体からの光束の入射時間（撮像素子２０８の露光時間）を調節する。メカシャッタ２０２としては、例えばフォーカルプレーンシャッタが採用される。このフォーカルプレーンシャッタ以外にも、レンズシャッタをレンズ鏡筒側に設けてもよい。駆動部２０４は、ＣＰＵ２１２からの制御信号に基づいてメカシャッタ２０２を駆動する。駆動部２０４は、メカシャッタ２０２を駆動するアクチュエータと、このアクチュエータの駆動回路等を有し、メカシャッタ２０２の開閉動作を行う。

操作部２０６は、ユーザの指示を撮像装置１に入力するためのインターフェースであり、電源ボタン、レリーズボタン、動画ボタン、モードダイヤル、再生ボタン、メニューボタン等の各種の操作ボタン及びタッチパネル等の各種の操作部材を含む。この操作部２０６は、各種の操作部材の操作状態を検知し、検知結果を示す信号をＣＰＵ２１２に出力する。

撮像素子２０８は、撮像光学系１０２の光軸上であって、メカシャッタ２０２の後方で、かつ、撮像光学系１０２によって被写体からの光束が結像される位置付近に配置されている。撮像素子２０８は、被写体を撮像して被写体に係る画素信号を生成する。

撮像素子２０８は、複数の画像用画素（撮像用画素）が２次元状に配列された画素部２２（図２参照）を有する。画像用画素は、マイクロレンズＬ（図３参照）に対応し、複数の焦点検出用画素に分割された構成となっている。焦点検出用画素は、撮像光学系である撮像レンズ２の射出瞳を複数に瞳分割した領域を通過する光束をそれぞれ光電変換して光電変換信号を生成する。画素部２２には、複数の焦点検出用画素が２次元状に配列されている。撮像素子２０８は、例えば、原色ベイヤ配列のカラーフィルタを備える単板式ＣＭＯＳ撮像素子として構成されているが、もちろんこの構成に限定されるものではない。撮像素子２０８の詳しい構成については、図２ないし図４を用いて後述する。

撮像素子２０８の各画素部は、１個のマイクロレンズに対して撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を光電変換して画素信号を生成するように、所定の瞳分割方向に分割された複数のフォトダイオードが配置されている。また、撮像素子２０８は、１個のマイクロレンズに対して撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を光電変換して画素信号を生成するように所定の瞳分割方向に分割された複数の受光部が配置されている画素部を有する。

この撮像素子２０８の画素部からの画素信号の読み出しにあたっては、瞳分割方向に対応する画素信号を合成した画素信号を生成し出力する第１の撮像動作と、瞳分割方向に対応する画素信号を生成し出力する第２の撮像動作がある。そして、撮像素子２０８は、第１撮像動作と第２撮像動作を交互に繰り返し実行する撮像モードが設定可能である。

第１撮像動作は、瞳分割方向に複数に分割されているフォトダイオードによって取得された複数の画素信号を合成（例えば、加算）する。この第１撮像動作によって取得された画素信号は、ライブビュー表示や記録用の静止画を生成する際に使用される。第２撮像動作は、瞳分割方向に複数に分割されているフォトダイオードによって取得された複数の画素信号を個々に出力する。例えば、後述する２ＰＤ画素構造の場合には、瞳分割によって左側開口信号（Ｌ信号）と右側開口信号（Ｒ信号）が、それぞれ出力される。この第２撮像作によって取得された画素信号は、位相差ＡＦによる焦点検出の際に使用される。なお、第２撮像動作としては、左側または右側開口信号のいずれか一方の開口信号と、左側および右側開口信号の加算信号を取得し、加算信号から開口信号を減算することによって、他方の開口信号を求めるようにしてもよい。いずれにしても、第２撮像動作は、位相差検出用の信号が取得できればよい。

撮像素子２０８は、１個のマイクロレンズに対して、所定の瞳分割方向に分割された複数のフォトダイオードを配置しており、撮像光学系の異なる射出瞳領域を通過するそれぞれの光束をフォトダイオードによって光電変換することによって画素信号を生成する。また、撮像素子２０８は、瞳分割方向に対応する画素信号を合成した画素信号を生成し出力する第１の撮像動作と、瞳分割方向に対応する画素信号を生成し出力する第２の撮像動作とを交互に繰り返し実行する撮像モードを設定可能である。

手振れ補正回路２１０は、カメラ本体２００に発生した手振れが抑制されるように、撮像素子２０８をその受光面と平行な方向に移動させる。手振れの動きを打ち消すように撮像素子２０８が移動されることによって、手振れに起因して画像データに発生する被写体像のぶれが抑制される。なお、手振れ補正回路は、交換式レンズ１００に設けられていてもよい。この場合の手振れ補正回路は、撮像光学系１０２に含まれる手振れ補正光学系を移動させるように構成される。

ＣＰＵ２１２は、ＣＰＵとその周辺回路を含むプロセッサであり、本体側記憶部２２８に記憶されているプログラムに従ってカメラ本体２００の全体制御を行う。ＣＰＵ２１２は、例えば撮像素子２０８による撮像動作（撮像駆動モード、読出モード等も含む）を制御する。また、ＣＰＵ２１２は、焦点検出回路２１８によって検出されたフォーカスレンズ１０２ａの焦点状態に応じて、フォーカスレンズ１０２ａを駆動するための制御信号をレンズＣＰＵ１０６に対して出力する。また、ＣＰＵ２１２は、露出制御回路２２０によって算出された露出設定値をレンズＣＰＵ１０６及び撮像素子２０８に対して出力する。ここで、ＣＰＵ２１２は、必ずしもＣＰＵとして構成されていなくてもよい。すなわち、ＣＰＵ２１２と同様の機能は、ＡＳＩＣ、ＦＰＧＡ等によって実現されてもよい。また、ＣＰＵ２１２と同様の機能は、ソフトウェアによって実現されてもよい。

ＣＰＵ２１２は、静止画の連写中に、撮像素子から第１の撮像動作によって出力される画素信号に基づく画像データを表示、または静止画として記録するための処理を行い、第２の撮像動作によって出力される画素信号に基づいて焦点検出を行って焦点調節データを生成し、フォーカス制御を実行する制御部としての機能を果たす（例えば、図７参照）。また、上述の制御部は、焦点調節データに基づいてフォーカス移動量を演算し、フォーカス移動量が所定値より大きく、かつ、フォーカス移動量に基づくフォーカス制御と第１の撮像動作を並行して実行する場合は、第１の撮像動作の画素信号に基づく画像データに静止画として記録するための処理を禁止する（例えば、図８の絶対駆動、図１４のＳ８７、図１５および図１６のＳ９５参照）。また、制御部は、焦点調節データに基づいてフォーカス移動量を演算し、フォーカス移動量が所定値より大きく、かつ、フォーカス移動量に基づくフォーカス制御と第１の撮像動作を並行して実行する場合、又は、絞り駆動中に第１の撮像動作を並行して実行する場合は、第１の撮像動作の画素信号に基づく画像データに静止画として記録するための処理を禁止する（例えば、図１３ＢのＳ５５、図１５のＳ９３Ｙｅｓ、図１６のＳ９３Ｙｅｓ等参照）。

上述の制御部は、フォーカス移動量にかかわらず、上記第１の撮像動作の画素信号に基づく画像データに表示を行うための処理を実行する（例えば、図８の絶対駆動参照）。上述の制御部は、焦点調節データに基づき第１の撮像動作と並行してフォーカス制御を実行するか否かを判断し、繰り返し実行される第１の撮像動作のうちの現在の第１の撮像動作と並行してフォーカス制御を実行する場合に、続く第１の撮像動作と並行してフォーカス制御を実行しない（例えば、図１１、図１４のＳ８３参照）。

上述の制御部は、繰り返し実行される第１の撮像動作と並行してフォーカス制御を行う場合に、デフォーカス量の変化量を所定値以下に制限してフォーカス制御を行う（例えば、図１２、図１６のＳ９６参照）。上述の制御部は、複数の上記焦点調節データに基づいて被写体に対応する像面移動速度を演算し、算出した像面移動速度に応じてフォーカス制御を行う（例えば、図１２参照）

画像処理回路２１４は、画素データに対して各種の画像処理を施す。例えば画像処理回路２１４は、静止画撮影（連写も含む）の際には、静止画記録用の画像処理を施し、静止画データを生成する。同様に、画像処理回路２１４は、動画撮影の際には、動画記録用の画像処理を施し、動画データを生成する。さらに、画像処理回路２１４は、ライブビュー表示時には、表示用の画像処理を施し、表示画像データを生成する。

画像圧縮展開部２１６は、画像圧縮回路および画像伸張回路を有する。画像圧縮展開部２１６は、画像データの記録時には、画像処理回路２１４で生成された画像データ（静止画データ又は動画データ）を圧縮する。また、画像データの再生時には、記録媒体２３０に圧縮状態で記録された画像データを伸張する。

焦点検出回路２１８は、撮像素子２０８の焦点検出用画素から出力される焦点検出画素データを用いた位相差方式によってフォーカスレンズ１０２ａの焦点検出を行う（例えば、後述する図１３ＡのＳ７、Ｓ９、Ｓ１９、Ｓ２１、図１３ＢのＳ４５、Ｓ４７等参照）。

露出制御回路２２０は、測光部としての機能を果たし、撮像素子２０８の画素データに基づいて露出設定値を算出する。この露出制御回路２２０は、撮像素子２０８の画素データから被写体輝度を測定し、測定した被写体輝度から撮影時の被写体の輝度を適正値にするために必要な露出設定値を算出する。露出設定値は、絞り１０２ｂの開口量（絞り値）、撮像素子２０８の露光時間（シャッタースピード）を含む。

表示部２２２は、液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイを有し、カメラ本体２００の背面等に配置され、または電子ビューファインダとして配置される。この表示部２２２は、ＣＰＵ２１２の制御に従って画像を表示する。表示部２２２は、ライブビュー表示や記録済み画像の再生表示等に使用される。

バス２２４は、撮像素子２０８、ＣＰＵ２１２、画像処理回路２１４、画像圧縮展開部２１６、焦点検出回路２１８、露出制御回路２２０、表示部２２２、ＤＲＡＭ２２６、本体側記憶部２２８、記録媒体２３０に接続され、これらのブロックで発生した各種のデータを転送するための転送路として動作する。

ＤＲＡＭ２２６は、電気的に書き換え可能な揮発性メモリであり、撮像素子２０８から出力される画素データ、静止画データ、動画データ、表示画像データ、ＣＰＵ２１２における処理データ等の各種データを一時的に記憶する。なお、一時記憶用としてＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が用いられてもよい。

本体側記憶部２２８は、電気的に書き換え可能な不揮発性メモリである。本体側記憶部２２８は、ＣＰＵ２１２で使用されるプログラムと、カメラ本体２００の調整値等の各種データを記憶する。記録媒体２３０は、電気的に書き換え可能な不揮発性メモリであり、カメラ本体２００に内蔵されるか又は装填されるように構成されている。記録媒体２３０は、記録用の画像データを所定の形式の画像ファイルとして記録する。なお、ＤＲＡＭ２２６、本体側記憶部２２８及び記録媒体２３０は、それぞれ１つのメモリ等で構成されてもよいし、複数のメモリ等が組み合わされて構成されてもよい。

次に、図２を用いて、撮像素子２０８の構成について説明する。撮像素子２０８は、画像用画素を有し、この画像用画素は複数の焦点検出用画素に分割されている。画像用画素は、焦点検出用画素によって光束を光電変換して生成された光電変換信号に基づいて画像用画素信号と焦点検出用画素信号を生成する。なお、後述するように、本実施形態における画像用画素は、フォトダイオードが使用されている。

撮像素子２０８は、図２に示す例において、垂直走査部２１と、画素部２２と、アナログ処理部２３と、ＡＤＣ処理部２４と、メモリ部２５と、水平走査部２６と、出力部２７と、入力部２８と、素子制御部２９と、を備えている。

画像用画素および焦点検出用画素は画素部２２に配列されている。画像用画素信号と焦点検出用画素信号は、被写体像を光電変換することによって生成され、この生成された信号の読み出しは、垂直走査部２１〜出力部２７までの少なくとも一部、および素子制御部２９などが行う。画素部２２に配置された各画素の構造については、図３および図４を用いて後述する。

垂直走査部２１は、垂直走査回路を有し、画素部２２の画素の水平方向の並び（行）を順次、選択することによって、走査を垂直方向に行う。この垂直走査部２１が、特定の行を選択して、選択された行にある各画素のリセットや転送を行うことで、画素の電荷蓄積時間（露光時間）が制御される。

アナログ処理部２３は、アナログ処理回路を有し、画素部２２から読み出されたアナログの画素信号をアナログ信号処理する回路である。このアナログ処理部２３は、例えば、画素信号を増幅するプリアンプ、画素信号からリセットノイズを低減する相関二重サンプリング（ＣＤＳ）回路などを含んでいる。

アナログ・デジタル変換処理部（ＡＤＣ処理部）２４は、ＡＤ変換回路を有し、アナログ処理部２３から出力されたアナログの画素信号をデジタルの画素データに変換する。このＡＤＣ処理部２４は、例えば、カラムＡＤＣに代表されるような、画素部２２から読み出された画素信号を列毎のアナログ・デジタル・コンバータ（ＡＤＣ）でＡＤ変換する構成が採用されている。

メモリ部２５は、メモリを有し、ＡＤＣ処理部２４で変換された画素データを一時的に保持する電気的書き換え可能な揮発性メモリ回路等で構成されている。水平走査部２６は、水平走査回路を有し、メモリ部２５から、画素データ（画像用画素データと焦点検出用画素データ）を列順に読み出す。

出力部２７は、出力回路を有し、水平走査部２６によって読み出された画素信号を配列して画素信号列を生成し、シリアル信号や差動信号などの出力信号形式に変換して出力する。なお、この出力部２７または上述したＡＤＣ処理部２４等は、増感処理（設定されているＩＳＯ感度に応じた信号増幅処理）を行う増感部としても機能するようになっている。

入力部２８は、入力回路を有し、ＣＰＵ２１２や不図示の撮像素子駆動部から、撮像素子２０８の制御に係る同期信号、基準クロック、動作設定の情報などを受信する。

素子制御部２９は、撮像制御回路を有し、入力部２８を介して受信した同期信号および基準クロックに合わせて、撮像素子２０８内の各ブロックを制御するものであり、読出方法選択部３０を備えている。また、素子制御部２９は、ＣＰＵ２１２から入力部２８を介して撮像駆動モードを切り換える指示等の動作設定指示を受信して、撮像素子２０８内の各ブロックを制御する。

読出方法選択部３０は、選択回路を有し、入力部２８を介して受信した動作設定の情報（例えば、静止画撮影、動画撮影、ライブビュー、ＡＦ等のカメラモード）に基づいて、撮像素子２０８からの読み出し方式を選択して設定する。読み出し方式としては、第１読出（単純読み出し方式）、第２読出（減算読み出し方式）、焦点検出画素の加算値を読み出す第３読出（位相差情報なし読み出し方式）等の全部または一部などを設けてもよい。第１読出は、光電変換信号に基づいて第１の瞳分割方向における一対の焦点検出用画素信号の両方を生成して読み出す。また、第２読出は、光電変換信号に基づいて第２の瞳分割方向における一対の焦点検出用画素信号の一方を生成すると共に、１つの画像用画素内で生成された全ての光電変換信号を加算することで画像用画素信号を生成し、生成した一方の焦点検出用画素信号および画像用画素信号を読み出す。さらに、第３読出は、１つの画像用画素内で生成された全ての光電変換信号を加算することで画像用画素信号を生成し、生成した画像用画素信号のみを読み出す。

いずれにしても、本実施形態においては、ライブビュー表示および静止画記録用の合成信号と、位相差検出用の個々の焦点検出画素信号が取得できればよい。素子制御部２９は、読出方法選択部３０によって設定された読み出し方式に応じて、撮像素子２０８内の各部を制御する。素子制御部２９および図１に示したＣＰＵ２１２等によって、撮像素子の読み出しを制御する制御部が構成されている。

なお、図２では、撮像素子２０８が垂直走査部２１および画素部２２を備えるだけでなく、さらに、アナログ処理部２３〜素子制御部２９を備える構成例を示している。しかし、これに限るものではなく、例えばアナログ処理部２３〜素子制御部２９の１つ以上を撮像素子２０８の外部に配置しても構わない。

次に、図３および図４を用いて、画素部２２に配置された焦点検出用画素および画像用画素の構造について説明する。画素部２２は、上述したように、画像用画素および焦点検出用画素が２次元状（例えば、垂直方向（列方向）および水平方向（行方向））に配列された画素アレイ部である。

図３は、２ＰＤ画素構造の例を示しており、この２ＰＤ構造は、１つのマイクロレンズＬｅに２つのフォトダイオードＰＤが配置される画素構造である。図３に示す２ＰＤ画素構造は、１つのマイクロレンズＬｅに対して、１つのカラーフィルタＦと２つのフォトダイオードＰＤ１、ＰＤ２を配置する。各画素は、図３の右側の図に示すように、物体側から像側へ向かう積層方向の順に、マイクロレンズＬｅとカラーフィルタＦとフォトダイオードＰＤ１、ＰＤ２とが配設された構成となっている。ここに、マイクロレンズＬｅは、光を集めることによって画像用画素に到達する光量を増加させ、画像用画素の開口率を実質的に大きくするものである。また、カラーフィルタＦは、例えば原色ベイヤ配列のカラーフィルタの場合には、赤色（Ｒ）フィルタ、緑色（Ｇ）フィルタ、または青色（Ｂ）フィルタの何れかが、その画素位置に応じて配設されている。

図３に示す２ＰＤ画素構造の場合には、１つのマイクロレンズＬｅの結像範囲に、フォトダイオードＰＤ１、ＰＤ２が、瞳分割方向に配設されている。２つのフォトダイオードＰＤ１、ＰＤ２は、水平方向の位相差を検出するためのものである場合には左右に２分割されており、垂直方向の位相差を検出するためのものである場合には上下に２分割されている。これによって１つの画素が、２つの焦点検出用画素を有する。図３の左側に示す図では、撮影レンズの左側を通過した光束Ｌを受光するフォトダイオードＰＤ１と、撮影レンズの右側を通過した光束Ｒを受光するフォトダイオードＰＤ２が配置されている。

次に、図４を用いて、４ＰＤ画素構造について説明する。４ＰＤ画素構造の画素部２２も、図３の場合と同様に、画像用画素および焦点検出用画素が２次元状（例えば、垂直方向（列方向）および水平方向（行方向））に配列された画素アレイ部である。４ＰＤ画素構造の場合には、１つのマイクロレンズＬｅの結像範囲に４つのフォトダイオードＰＤが配設されている。また、マイクロレンズＬｅと４つのフォトダイオードＰＤの間には、図３の場合と同様に、カラーフィルタＦが配置されている。カラーフィルタＦは、例えば原色ベイヤ配列のカラーフィルタの場合には、赤色（Ｒ）フィルタ、緑色（Ｇ）フィルタ、または青色（Ｂ）フィルタの何れかが、その画素位置に応じて配設されている。

４つのフォトダイオードＰＤは、水平方向および垂直方向の位相差を検出することができるように、上下左右に４分割されている。すなわち、４つのフォトダイオードＰＤが、左上、左下、右上、右下の位置にそれぞれ配置される。この構成によって１つの画素が、４つのフォトダイオードＰＤａ，ＰＤｂ，ＰＤｃ，ＰＤｄを有する。この場合には、瞳分割方向は、水平方向と垂直方向の２つである。

さらに、フォトダイオードＰＤの出力を垂直２画素加算する場合、つまり、図４における（ＰＤａ＋ＰＤｂ）と（ＰＤｃ＋ＰＤｄ）とを算出する場合には、水平方向の位相差を検出（縦線検知）するための焦点検出用画素信号となる。この結果、図４の右上側に示すように、左側の２画素加算値Ｌと、右側画素加算値Ｒが得られる。また、フォトダイオードＰＤの出力を同様に水平２画素加算する場合、つまり、（ＰＤａ＋ＰＤｃ）と（ＰＤｂ＋ＰＤｄ）とを算出する場合には、垂直方向の位相差を検出（横線検知）するための焦点検出用画素信号Ｔとなる。この場合には、図４の右下側に示すように、上側の２画素加算値Ｔと、下側の２画素加算値Ｂが得られる。

図４に示す４ＰＤ画素構造の場合には、縦線検知用の焦点検出用画素信号と、横線検知用の焦点検出用画素信号と、の内の、一方が第１の瞳分割方向における一対の焦点検出用画素信号、他方が第２の瞳分割方向における一対の焦点検出用画素信号となる。加えて、フォトダイオードＰＤの出力を同様に４画素加算する場合、つまり、（ＰＤａ＋ＰＤｂ＋ＰＤｃ＋ＰＤｄ）を算出する場合には、画像用画素信号となる。本実施形態においては、２ＰＤ画素構造でも、４ＰＤ画素構造でも、いずれのＰＤ画素構造を採用することができる。

次に、図５を用いて、本露光（静止画フレーム）とＡＦ露光（位相差フレーム）について説明する（後述する図１３ＢのＳ４３参照）。図５において、ＶＤは垂直同期信号のタイミングを示し、横軸方向のＴ１〜Ｔ１１は時刻を示す。時刻Ｔ１において、最初（１コマ目）の本露光が開始され、時刻Ｔ２において１ライン目の露光が終了し、以後、時刻Ｔ４において２コマ目の本露光が開始され、時刻Ｔ７において３コマ目の本露光が開始され、時刻Ｔ１０において４コマ目の本露光が開始される。それぞれの本露光において、静止画用の画像データとして、撮像素子１８から画像用画素信号のみの画像データが取得される。

また、本露光と本露光の間には、位相差検出用の焦点検出用画素の画素データが読み出される。すなわち、時刻Ｔ３において、最初（１コマ目）の位相差検出用の露光が開始され、時刻Ｔ４において１ライン目の露光が終了し、以後、時刻Ｔ６において２コマ目の位相差検出用の露光が開始され、時刻Ｔ９において３コマ目の位相差検出用の露光が開始される。それぞれの位相差検出用の露光において、位相差検出用の画像データとして、位相差検出用の画像データが取得される（前述の第１読出し参照）。なお、位相差検出時には、片側の開口に対応した位相差検出用画像データを取得し、例えば、直前の静止画フレームにて静止画用に取得した画像用画像データから、この位相差検出用画素データを減算することによって、他側の開口に対応した位相差検出画像データを求めてもよい（前述の第２読出し参照）。

このように、本実施形態においては、連写で静止画の画像データを取得する際に、静止画撮影用の本露光（静止画フレーム）と本露光の間に、位相差検出用の露光（位相差フレーム）を行っている。すなわち、記録のための画素信号を生成する撮像動作と、位相差検出用の画素信号を生成する撮像動作を交互に行うように設定した撮像素子の撮像モードを設けている。このため、無効フレームを発生することなく高速に記録のための画素信号と位相差検出用の画素信号とを、高速で読み出すことができる。したがって、ライブビューフレームが不要となるため、撮像駆動モードの切り換えや、それに伴う無効フレームの発生がなく、格段に連写速度を向上させることができる。また、記録用の画像が劣化することなく、また被写体の焦点検出を行うことができるため、高速連写中に、動く被写体であっても、ピントの合った画像を得ることができる。また、静止画フレームと位相差フレームを交互に繰り返し実行する撮像駆動モードを、予め撮像素子２０８の内部に設定しておいてもよい。この構成によって、ＣＰＵ２１２から撮像素子２０８への撮像駆動モードの切り換え指示等の通信量を削減することができる。

次に、図６を用いて、第１読出の際の画素加算の例について説明する。図６に示す例では、第１の瞳分割方向である水平方向については加算が行われずに、第２の瞳分割方向である垂直方向についてだけ加算が行われるように設定がされる。すなわち、水平方向については同一開口（左開口同士又は右開口同士）の画素信号を１／１画素加算（すなわち加算なしに）するように設定され、垂直方向については同一開口（左開口同士又は右開口同士）の画素信号を５／９画素加算するように設定されている。ここで、５／９画素加算は、垂直方向の９画素（図１４のｍ１例では、ｎ１からｎ１７に対応するＲｌ，またはｎ２からｎ１８に対応するＧｂｌのそれぞれ９画素）のうち、ｎ１からｎ９に対応するＲｌの５画素を加算する、またはｎ２からｎ１０に対応するＧｂｌの５画素を加算することをいう。画素信号の加算数は例えばフレームレートに応じて適宜に設定すればよい。

図６は、列毎の位相差フレームの位相差画素（焦点検出用画素）の加算画素を示す。図６の上側の図は、各画素の配置示す。この図で、位置（ｍ１、ｎ１）に配置されたＲｌは左側開口の赤色画素を意味し、位置（ｍ２、ｎ１）に配置されたＲｒは右側開口の赤色画素を意味する。また位置（ｍ１、ｎ２）に配置されたＧｂｌは左側開口の緑色画素を意味し、位置（ｍ２、ｎ２）に配置されたＧｂｒは右側開口の緑色画素を意味する。詳しくは説明しないが、「Ｂ」は青色画素を意味する。

図６の下側の図に示した例は、高速化や消費電力削減のため緑色（Ｇ）画素のみを抽出する場合を示す。例えば、ｍ１列では、図６の上側の図のｍ３列の左開口側のＧｒｌ画素ｎ１，ｎ３，ｎ５，ｎ７，ｎ９行の加算値Ｇｒ_Ｌが算出され、ｍ２列では、図６の上側の図のｍ４列の右開口側のＧｒｒ画素ｎ１，ｎ３，ｎ５，ｎ７，ｎ９の加算値Ｇｒ_Ｒが算出される。また、同じくｍ１列では、図６の上側の図のｍ１列の左開口側のＧｂｌ画素ｎ２、ｎ４、ｎ６、ｎ８、ｎ１０行の加算値Ｇｂ_Ｌが算出され、ｍ２列では、図６の上側の図のｍ２列の右開口側のＧｂｒ画素ｎ２、ｎ４、ｎ６、ｎ８、ｎ１０行の加算値Ｇｂ_Ｒが算出される。図６の下側の図に示すように、その他の加算画素値も同様な手順で加算処理され算出される。

このように、列毎に５画素のＧｒｌ、Ｇｒｒ画素、またはＧｂｌ、Ｇｂｒ画素の加算値Ｇｒ_Ｌ、Ｇｒ_Ｒ、Ｇｂ_Ｌ、Ｇｂ_Ｒが算出され、図６の下側の図表に示す形式でメモリに記憶される。この加算値Ｇｒ_ＬとＧｒ_Ｒ、Ｇｂ_ＬとＧｂ_Ｒを用いて、後述するステップＳ４５における相関演算等が実施される。なお、図６の下側の図は、図６の上側の図表のｍ２０列までの表記に対して、示されていないｍ４０列までの画素に対応する表記としている。たとえば、図６の下側の図表のｍ２０列、ｎ１〜ｎ９行のＲの画素Ｇｒは、図６の上側の図表に示されていないｍ４０列の右開口側のＧｒｒ画素ｎ１、ｎ３、ｎ５、ｎ７、ｎ９行の加算値Ｇｒ＿Ｒである。

図６に示すような５／９画素加算を行うことによって、画素信号の行数が圧縮される。画素信号の行数が減るため、画素信号の読み出し時間は短縮される。一方で、画素信号の列数は変わらないので水平方向の位相差の検出精度を確保することができる。また、画素信号に基づいて生成される焦点検出画素信号は、実質的に斜め方向の位相差の情報を有することになる。なお、図６に示す例では、垂直方向については５個の画素信号が加算されるように設定されているが、垂直方向の加算数は５画素以下が好ましい。例えば、垂直方向に９画素の内、１画素を加算するＶ１／９方式を採用してもよい。

図６に示すような画素読出しを設定の後、ＣＰＵ２１２は、撮像素子２０８に対して焦点検出画素信号（位相差検出用）を生成するために必要な露光時間での撮像を行うように制御信号を出力する。この露光時間は、被写体輝度等に基づいて設定される。また、ＣＰＵ２１２からの制御信号の入力を受けて、素子制御部２９は、画素部２２の行毎に撮像（電荷の蓄積）を開始させる。そして、素子制御部２９は、垂直走査部２１を制御し、撮像が完了した行の画素部２２から順次に画素信号を出力させる。

次に、図７を用いて、連写中における静止画読出しフレームと位相差フレームの交互読出しと、レンズの同期制御について説明する。図５を用いて説明したように、連写コンティニュアスＡＦ（ＣＡＦ）中に、撮像素子２０８から画素の交互読みを実施する。この交互読みは、静止画露光の読出しと位相差検出用露光（ＰＤ分割露光）の読出しを、交互に行うことをいう。すなわち、静止画撮影用の露光のタイミングでは、図３に示す２ＰＤ画素構造では、フォトダイオードＰＤ１、ＰＤ２の加算値を読み出す。図４に示す４ＰＤ画素構造では、フォトダイオードＰＤａ〜ＰＤｄの加算値を読み出す。また、位相差検出用の露光のタイミングでは、ＰＤ分割露光を行う。例えば、図３に示す２ＰＤ画素構造では、フォトダイオードＰＤ１、ＰＤ２を読み出す。図４に示す４ＰＤ分割構造では、フォトダイオードＰＤａ＋ＰＤｂ，ＰＤｃ＋ＰＤｄ、またはフォトダイオードＰＤａ＋ＰＤｃ，ＰＤｂ＋ＰＤｄの加算値を読み出す。

撮像素子２０８から、画素信号の読み出しにあたっては、カメラ本体２００が交換レンズ１００に、読み出し開始パルスＶＤに同期したレンズ同期信号を出力する。このレンズ同期信号は、読み出し開始パルスＶＤと周波数を合わせてもよく、また図７に示すように、読み出し開始パルスＶＤに対し、２倍の周期であってもよい。図７に示す例では、ＶＤは、時刻Ｔ１、Ｔ２、Ｔ４、Ｔ５、Ｔ７、Ｔ８、Ｔ１０、Ｔ１１、Ｔ１３のタイミングで出力される。一方、レンズ同期信号は、時刻ｔ１、ｔ４、ｔ７、ｔ１０、ｔ１３に出力され、ＶＤの２倍の周期である。なお、レンズ同期パルス（信号）は、ＶＤの等倍周期、２倍周期以外にも、他の周期であってもよい。また、レンズ同期信号の位相は、読み出し開始パルスＶＤの位相と完全に一致させてもよく、またずらしてもよい。図７に示す例では、両パルスの位相は完全に一致させている。

次に、図８を用いて、連写中における静止画読出しフレームと位相差フレームの交互読出しの際に行われる、駆動指示と状態送信について説明する。カメラ本体２００と交換レンズ１００との通信は、Ｉ／Ｆ１１０を通じて、シリアル通信で実行される。

カメラ本体２００は、所定のタイミングにおいて、状態送信Ｓｏを行う。状態送信は、レンズの状態（絞りやレンズ位置、ズーム状態など）を知るための通信であり、レンズＣＰＵ１０６は状態送信を受信すると、要求されたレンズ状態情報を、カメラ本体２００のＣＰＵ２１２に返信する。また、カメラ本体２００のＣＰＵ２１２は、所定のタイミングにおいて、駆動指示Ｄｉを、交換レンズ１００のレンズＣＰＵ１０６に送信する。通常、１同期当たり、状態信号を１回送信することで、フレーム毎のレンズ状態をカメラ本体２００側が把握することができる。

駆動指示Ｄｉは、駆動目標に関する絞り位置や、レンズ位置を指定し駆動開始を指示する通信である。レンズＣＰＵ１０６は、駆動指示Ｄｉを受信すると、レンズ同期信号を基準に指定されたタイミングで、レンズ駆動や絞り駆動を開始する。カメラ本体２００のＣＰＵ２１２から交換レンズ１００のレンズＣＰＵ１０６に駆動指示を送信すると、次の「レンズ同期信号」のタイミングで、交換レンズ１００は指定された駆動を行う。駆動指示は、指定した駆動を実行するタイミングを、レンズ同期信号を基準にして指示する。駆動の実行のタイミングを、レンズ同期信号を基準にして指示することができるので、レンズや絞りの駆動の実行の時刻を精密に実現することができる。カメラ本体２００と交換レンズ１００の間は、シリアル通信であることから、駆動指示の送信タイミングで駆動を開始させることは困難であるが、レンズ同期信号を基準としているので、レンズ駆動や絞り駆動のタイミングを精密に制御することができる。

また、図８に示す例では、レンズ駆動が「絶対駆動」によって実行されている。この例は、被写体が変わったり大きくぼけたりした場合であり、フォーカス移動量が所定値よりも大きい場合である。このような状態では、大きくフォーカスレンズを駆動することになる。そこで、本実施形態においては、カメラ本体２００のＣＰＵ２１２は、レンズＣＰＵ１０６に絶対駆動を指示する。「絶対駆動」は、動体予測演算等の演算結果に基づき被写体にピントが合う位置（絶対的な位置）に、フォーカスレンズを素早く（最速で）駆動する駆動方法である。絶対駆動によって撮影レンズ１０２ａが駆動されている場合には、露光中や画素信号の読出し中にピント位置が大きく変化してしまうので、静止画の画質が劣化してしまう。そこで、本実施形態においては、絶対駆動中に取得された画像データを静止画の画像データとして記録しない様にする。すなわち、撮像素子２０８から画素信号を読み出してライブビュー表示を行うが、静止画用の画像処理を実施せず、記録媒体２３０に記録しない。また、絞りを駆動する場合も、同様に、静止画としては記録せず、ライブビュー用にのみ画素信号情報を用いる。

図８に示す例では、駆動指示Ｄｉが、カメラ本体２００のＣＰＵ２１２から交換レンズ１００のレンズＣＰＵ１０６に出力される。このとき、駆動指示Ｄｉには絶対駆動であることが含まれており、更にレンズの駆動方向や目標位置等が含まれている。時刻ｔ４になると、レンズ同期信号がカメラ本体２００から交換レンズ１００に送信され、このレンズ同期信号を基準として、フォーカスレンズ１０２ａが絶対駆動される（後述する図１４のＳ８７参照）。

次に、図９を用いて、レンズ駆動が「スキャン駆動」によって実行される場合について説明する。「スキャン駆動」は、指定された移動速度となるようにフォーカスレンズ１０２ａの駆動速度を制御する駆動方法である。被写体が、一定速度で移動している間は、被写体移動速度に合わせて、レンズＣＰＵ１０６は、フォーカスレンズ１０２ａの位置を等速で駆動する。図９において、レンズ位置の欄に記載された点線は、被写体位置（レンズ位置に換算）であり、ＣＰＵ２１２は、この被写体位置の変化に合わせて、フォーカスレンズ位置を等速駆動する様に、レンズＣＰＵ１０６に指示する（後述する図１４のＳ８１参照）。また、被写体の移動に合わせて、フォーカスレンズ１０２ａを等速で移動させていることから、この時、取得される画像データの画質は静止画として十分である。そこで、図８に示した絶対駆動の場合には静止画の記録を行わず、ライブビュー表示のみであったが（図８のＴ４〜Ｔ９における露光を参照）、スキャン駆動する場合には、ライブビュー表示と共に、静止画の記録も行う（図８のＴ４〜Ｔ９における露光を参照）。

ただし、被写体が、例えば、５０ｍｍ／ｓで移動している場合でも、撮像素子２０８の像面における移動速度は、指数関数的に増加する。すなわち、被写体が近づいてくる場合には倍率も変わるため、被写体距離の２乗に比例して、移動速度が増加する。また、マクロでみれば等速で移動する被写体であっても、被写体が人物や動物等の場合には、足の踏み込みや胴体の使い方によって、ミクロで見ると移動速度は細かく変動する。そこで、被写体の移動速度が変わった場合や、デフォーカス量が変化した場合には、図１０に示すように、駆動速度を変更する。

図１０において、時刻ｔ４の手前のタイミングで、ＣＰＵ２１２はスキャン駆動指示ＤｉをレンズＣＰＵ１０６に出力する。このスキャン駆動指示に従って、レンズＣＰＵ１０６はフォーカスレンズ１０２ａの駆動速度を制御する。続いて、時刻ｔ７の手前のタイミングで、ＣＰＵ２１２は速度変更指示ＳｉをレンズＣＰＵ１０６に出力する。この速度変更指示に従って、レンズＣＰＵ１０６はフォーカスレンズ１０２ａの駆動速度を制御する。このように、ＣＰＵ２１２は、時刻Ｔ３〜Ｔ４における位相差検出とそれ以前の位相差検出結果等に基づいて、被写体の像面移動速度を算出し、この算出結果に変動がある場合には、速度変更指示ＳｉをレンズＣＰＵ１０６に出力する。

次に、図１１を用いて、レンズ駆動が「相対駆動」によって実行される場合について説明する。「相対駆動」は、相対的な駆動量とレンズ速度を指定する駆動方法である。例えば、被写体が前後に微小に移動する場合には、相対駆動によりレンズ駆動も微小な駆動を行って被写体に追従させる。また、被写体が一方向に移動する場合で、被写体移動速度がスキャン駆動で設定可能な下限の速度より遅い場合は、スキャン駆動で被写体に追従させることが困難である。このような場合は、相対駆動を間欠的に実行して被写体に追従させる制御を行う。例えば、位相差検出フレームを挟む静止画露光の連続する２フレームの内の一方のフレームでは相対駆動によるレンズ駆動を実施し、２フレームの内の他方のフレームでレンズ駆動を実施しない。相対駆動中の１回目の露光による画像データはライブビュー表示のみに用い、レンズ駆動を行わない２回目の露光の際に静止画露光を実施する。例えば、図１１に示す例においては、時刻Ｔ４〜Ｔ７の間には相対駆動を行い、この間の露光による画像データに基づいてライブビュー表示を行う。また、時刻Ｔ７〜Ｔ１０の間には駆動を行わず（すなわち、レンズ駆動禁止）、この間の露光による画像データに基づいて静止画の画像データを取得し、この画像データを記録する。

なお、この図１１に示す相対駆動は、後述する図１２に示す相対駆動よりも、連写速度は遅くなってしまう。しかし、画像処理を半分の量で実施できるので、画像処理能力の必要能力を減らすことができる 。このため、平均的な消費電力が減少することにより、電源電池の寿命が延び、発熱が低下し、連写継続枚数が多くなり、この点で有利である。また、図１１に示す例では、位相差検出フレームを挟む２フレームの内の一方のフレームでフォーカスレンズ駆動を行い、他方のフレームではフォーカスレンズ駆動を禁止している。しかし、フォーカスレンズを移動させるフレームと移動禁止のフレームの比率は１：１に限らず、１：２や２：１等、他の比率であってもよい。この場合も、相対駆動によりフォーカスレンズを移動させる場合には、フォーカスレンズ移動中の露光に基づく静止画記録を禁止する。

次に、図１２を用いて、「相対駆動」の変形例について説明する。この変形例は、図１１に示した相対駆動の派生であり、微小駆動を行うことにより、図１１に示した例の場合よりも更に高速連写を行うことが可能である。微小駆動は、静止画の画質として問題とならない微小な駆動量を相対駆動により実行する駆動方法である。たとえば、０〜±２Ｆδ程度（深度の２倍程度まで）の駆動量を相対駆動により実行する。なお、Ｆは絞り値、δは許容錯乱円径である。したがって、静止画露光中にフォーカスレンズの微小駆動を実行しても、静止画の画質に影響しない。連写中の静止画露光と並行して、微小駆動を実施することにより、ライブビュー用だけのフレーム（図１１）を含まず、位相差検出フレームを挟んで連続する静止画を記録することができる。すなわち、図１１に示した例では、時刻Ｔ４〜Ｔ７までの露光はライブビュー表示のみであり、一方、時刻Ｔ７〜Ｔ１０までの露光は静止画記録用であった。しかし、図１２に示す変形例では、時刻Ｔ４〜Ｔ７、および時刻Ｔ７〜Ｔ１０までの露光は、ライブビュー表示と静止画記録の両方に使用する。なお、図１２に連写操作中に絞り駆動を実行していないものとしている。

次に、図１３Ａおよび図１３Ｂに示すフローチャートを用いて、本実施形態に係る撮像装置１の動作を説明する。ここで、図１３Ａおよび図１３Ｂは、撮像装置１のＡＦモードがコンティニュアスＡＦモードであるときの動作を示している。コンティニュアスＡＦモードは、動く被写体に対して適したＡＦモードであり、被写体に追従するようにピント合わせを続けるＡＦモードである。なお、図１３Ａおよび図１３Ｂ（後述する図１４〜図１６も含む）に示すフローチャートは、カメラ本体２００内のＣＰＵ２１２が、本体側記憶部２２８に記憶されたプログラムに従って、カメラ本体２００および交換式レンズ１００内の各部を制御することによって実現する。

ユーザが撮像装置１の電源をオン操作したことが検出されると、図１３Ａに示すカメラ電源オンのフローが開始する。電源のオン操作が検出されると、まず、１ｓｔレリーズがオンか否かについて判定する（Ｓ１）。ここでは、ＣＰＵ２１２は、操作部２０６の内のレリーズボタンの１ｓｔレリーズスイッチがオンの状態であるか否かを判定する。１ｓｔレリーズスイッチは、例えばユーザによるレリーズボタンの半押し操作に応答してオンの状態となるスイッチである。ユーザは、被写体にピントを合わせ、露光を決定する場合には、レリーズボタンを半押しする。

ステップＳ１における判定の結果、１ｓｔレリーズスイッチがオンでない場合には、ライブビュー（ＬＶ）の取り込みを行う（Ｓ３）。ここでは、ＣＰＵ２１２は、メカシャッタ２０２を全開状態とするように駆動部２０４に対して制御信号を出力するとともに、絞り１０２ｂを所定量（例えば開放絞り）だけ駆動するようにレンズＣＰＵ１０６に対して制御信号を出力する。その後、ＣＰＵ２１２は、所定時間毎に（フレームレートで決まる時間）、撮像素子２０８に対して制御信号を出力し、撮像素子２０８によるＬＶ表示のための撮像を行う。ＬＶ表示のための撮像が完了する毎に、素子制御部２９は、画素部２２からの画素信号を読み出す。なお、画素信号の読み出しに際し、素子制御部２９は、画素部２２から出力される同一開口（同色）の画素信号を加算させるようにしてもよい。撮像素子２０８から出力された表示画素データは、ＤＲＡＭ２２６に記憶される。

また、ステップＳ３において、ＣＰＵ２１２はライブビュー（ＬＶ）表示を行う。このとき、ＣＰＵ２１２は、画像処理回路２１４に表示画像データを生成させる。画像処理回路２１４は、撮像素子２０８から読み出された画素データに対して必要な処理を行って表示のための表示画像データを生成する。表示画像データは、同一の画素部２２に属するフォトダイオードＰＤ１、ＰＤ２（４ＰＤ画素構造では、ＰＤａ〜ＰＤｄ）の画素データを加算平均することで得られる。ＣＰＵ２１２は、画像処理回路２１４で生成された表示画像データに基づいて表示部２２２にＬＶ画像を表示させる。ＬＶ表示を行うと、ステップＳ１に戻る。

ステップＳ１における判定の結果、１ｓｔレリーズスイッチがオンの場合には、ＡＦ＆ＬＶ用露光＆読出しを行う（Ｓ５）。ここでは、ＣＰＵ２１２は、オートフォーカス（ＡＦ）及びＬＶ表示のための撮像と読み出しを行う。ＡＦのための撮像と読み出しは、例えば、下記のように行ってもよい。すなわち、ＡＦのための撮像と読み出しは、撮像素子２０８から一対の焦点検出用画素信号Ａ，Ｂを読み出すことによって行い、ＬＶ表示のための撮像と読み出しは、一対の焦点検出用画素信号Ａ，Ｂの加算値を読み出すことによって行い、この読み出し処理を交互に行うようにしてもよい。あるいは、撮像素子２０８から、一対の焦点検出用画素信号Ａ，Ｂの何れか一方（ここでは例えば焦点検出用画素信号Ａであるものとする）と、一対の焦点検出用画素信号Ａ，Ｂを加算した画像用画素信号（Ａ＋Ｂ）を読み出す。そして、加算画像用画素信号（Ａ＋Ｂ）から焦点検出用画素信号Ａを減算することによって、焦点検出用画素信号Ｂを得ることができる。また、加算画像用画素信号（Ａ＋Ｂ）がＬＶ表示のために使用される。

このステップＳ５において算出された焦点検出用画素信号Ａ，Ｂを用いて位相差法による焦点検出を行うための焦点検出画素信号Ａ，ＢのデータがＤＲＡＭ２２６に記憶される。なお、４ＰＤ画素構造を採用している場合には、４ＰＤ画素毎に水平方向（左右方向）または垂直方向（上下方向）の一方について、一対の焦点検出用画素信号を算出できる。この一対の焦点検出用画素信号を使用して、それぞれの方向について、位相差を算出するために、この一対の焦点検出画素信号がＤＲＡＭ２２６に記憶されている。また、画像用画素信号（Ａ＋Ｂ）が、ＬＶのための表示画素データとしてＤＲＡＭ２２６に記憶される。ここで、ＤＲＡＭ２２６に記憶された表示用画素データに基づいて、ライブビュー表示がなされる。

続いて、相関演算および信頼性判定を行う（Ｓ７）。ここでは、ＣＰＵ２１２は、焦点検出回路２１８による焦点検出演算を実行させる。焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている焦点検出画素データのうちの対をなす焦点検出画素データ（焦点検出用画素信号Ａ，Ｂ）を用いて相関演算を行う。水平方向の位相差検出の場合の対をなす焦点検出画素データは左開口画素データＬと右開口画素データＲであり、垂直方向の位相差の検出の場合の対をなす焦点検出画素データは上開口画素データＴと下開口画素データＢである。相関演算の後、焦点検出回路２１８は、焦点検出の信頼性判定を行う。信頼性判定は、例えば画素データから得られるコントラスト、相関演算の結果として算出される相関値に基づいて判定される。

相関演算および信頼性判定を行うと、次に、ピントずれ量を検出する（Ｓ９）。ここでは、焦点検出回路２１８が、ピントずれ量演算を行う。すなわち、焦点検出回路２１８は、ステップＳ７における信頼性判定の結果、信頼性が高いと判定された焦点検出領域（複数の場合もある）における２像間隔値（相関値の極値に対応した像ずれ量）を用いて、フォーカスレンズ１０２ａの現在位置と合焦位置の間のピントずれ量を算出する。

ピントずれ量を検出すると、次に、エリアを選択する（Ｓ１１）。ここでは、焦点検出回路２１８は、フォーカスレンズ１０２ａの駆動に用いるフォーカスレンズ位置に対応する焦点検出領域を選択するためのエリア選択処理を行う。エリア選択処理は、例えば、最も近い被写体距離に対応した（すなわち最至近の）フォーカスレンズ位置に対応するピントずれ量を示す焦点検出領域を選択する。また、エリア選択処理は、人の顔が存在するエリアを選択してもよく、ユーザがマニュアルで選択したエリアであってもよい。なお、エリア選択は、ＣＰＵ２１２が行ってもよい。

エリア選択を行うと、次に、合焦状態か否かを判定する（Ｓ１３）。ここでは、ＣＰＵ２１２は、フォーカスレンズ１０２ａが合焦状態であるか否かを判定する。この判定は、例えばエリア選択処理において選択された焦点検出領域におけるピントずれ量が予め定められた許容範囲内であるか否かを判定する。ピントずれ量が許容範囲内であるときには合焦状態であると判定される。

ステップＳ１３における判定の結果、合焦状態でない場合には、フォーカスレンズを駆動する（Ｓ１５）。ここでは、ＣＰＵ２１２は、ステップＳ１１において選択された焦点検出領域について算出されたフォーカスレンズ位置に、フォーカスレンズ１０２ａが駆動されるよう、レンズＣＰＵ１０６に対して制御信号を出力する。レンズＣＰＵ１０６は、この制御信号を受けて、駆動部１０４を介してフォーカスレンズ１０２ａを駆動する。フォーカスレンズ１０２ａを駆動すると、ステップＳ１に戻る。

ステップＳ１３における判定の結果、合焦状態の場合には、ＡＦ＆ＬＶ用露光＆読出しを行う（Ｓ１７）。ここでは、ＣＰＵ２１２は、ステップＳ５と同様のオートフォーカス（ＡＦ）及びライブビュー（ＬＶ）表示のための撮像と読み出しを行う。前述したように撮像素子２０８から第１読出によって画素信号が読み出され、ＡＦのための焦点検出画素データがＤＲＡＭ２２６に記憶され、またＬＶのための表示画素データがＤＲＡＭ２２６に記憶される。また、ＬＶのための表示画素データを用いて、ライブビュー（ＬＶ）表示を行う。

続いて、相関演算および信頼性判定を行う（Ｓ１９）。ここでは、ＣＰＵ２１２は、ステップＳ１７において読み出した画素信号を用いて、ステップＳ７と同様に、焦点検出回路２１８による焦点検出演算を実行させる。焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている焦点検出画素データのうちの対をなす焦点検出画素データを用いて相関演算を行う。相関演算の後、焦点検出回路２１８は、焦点検出の信頼性判定を行う。相関演算および信頼性判定を行うと、次に、ステップＳ９と同様に、ピントずれ量を検出し（Ｓ２１）、ステップＳ１１と同様に、エリア選択を行う（Ｓ２３）。

エリア選択を行うと、次に、履歴情報を保存する（Ｓ２５）。ここでは、焦点検出回路２１８は、焦点検出に係る情報を履歴情報として例えばＤＲＡＭ２２６に保存する。焦点検出に係る情報は、例えばステップＳ２１で算出されたピントずれ量の情報及びステップＳ２３で選択された焦点検出領域の情報を含む。なお、履歴情報の保存は、ＣＰＵ２１２が、焦点検出に係る情報をＤＲＡＭ２２６に保存するようにしてもよい。

履歴情報を保存すると、次に、２ｎｄレリーズスイッチがオンか否かについて判定する（Ｓ３１）。ここでは、ＣＰＵ２１２は、操作部２０６の内の２ｎｄレリーズスイッチがオンされているか否かを判定する。２ｎｄレリーズスイッチは、例えばユーザによるレリーズボタンの全押し操作に応答してオンの状態となるスイッチである。ユーザは、静止画画像を撮影する場合には、レリーズボタンを全押しする。

ステップＳ３１における判定の結果、２ｎｄレリーズスイッチがオンでない場合には、次に、合焦状態か否かを判定する（Ｓ３３）。ここでは、ＣＰＵ２１２は、ステップＳ１３と同様にして、フォーカスレンズ１０２ａが合焦状態であるか否かを判定する。この判定の結果、合焦状態の場合には、ステップ１７に戻る。

ステップＳ３３における判定の結果、合焦状態でない場合には、フォーカスレンズを駆動する（Ｓ３５）。ここでは、ＣＰＵ２１２は、ステップＳ１５と同様に、フォーカスレンズ１０２ａをピントずれ量に基づいて適切なフォーカスレンズ位置に移動させる。フォーカスレンズ駆動を行うと、ステップ１７に戻る。

ステップＳ３１における判定の結果、２ｎｄレリーズスイッチがオンの場合には、次に、動体予測演算を行う（Ｓ３７）。ここでは、ＣＰＵ２１２は、焦点検出回路２１８に動体予測演算を実行させる。動体予測演算は、ステップＳ２５において記憶させた過去のピントずれ量演算の結果（フォーカスレンズ位置）の履歴に基づいて、今回の静止画の露光時におけるフォーカスレンズ１０２ａの駆動すべき位置を予測する。

動体予測演算を行うと、次に、シャッタ動作を開始する（Ｓ３９）。ここでは、ＣＰＵ２１２は、静止画取得のための撮像（本露光）を行うために、メカシャッタ２０２の動作を開始させる。このメカシャッタ２０２の動作は、本露光の前後のメカシャッタ２０２の開閉動作と、本露光の後でライブビュー及びＡＦのための撮像を開始するためのメカシャッタ２０２の全開動作とを含む。ＣＰＵ２１２は、まず、メカシャッタ２０２を全閉状態とするように駆動部２０４の制御信号を切り替える。そして、ステップＳ４３で本露光を行った後に、ＣＰＵ２１２は、メカシャッタ２０２を全開状態とするように駆動部２０４を制御する。

シャッタ動作を開始すると、絞りおよびレンズ駆動を同時に開始する（Ｓ４３）。ここでは、ＣＰＵ２１２は、レンズＣＰＵ１０６に対してフォーカスレンズ１０２ａ及び絞り１０２ｂを同時に駆動させるように指示し、両者の動作を開始させる。ここで、フォーカスレンズ１０２ａの駆動位置は、ステップＳ３７における動体予測演算において予測された位置である。また、絞り１０２ｂの開口量は、直前の測光演算によって測定された被写体輝度に基づいて算出された絞り値に応じた開口量である。

続いて、本露光およびＡＦ露光および読出しを行う（Ｓ４３）。ここでは、ＣＰＵ２１２は、本露光を開始させ、本露光の終了後に撮像素子２０８から画素信号を読み出す。ここでの読出しは、画素部ごとにフォトダイオードの出力値を加算した値とする。本露光は、記録用の画像データを取得するための撮像である。本露光において、ＣＰＵ２１２は、撮像素子２０８の撮像を開始させる。露光期間の終了後、ＣＰＵ２１２は、撮像素子２０８の各受光部から画素信号を静止画画素信号として読み出す。このステップで読み出された画素信号に対する画像処理はステップＳ５５において行う。

また、ステップＳ４３において、ＣＰＵ２１２は、図５を用いて説明したように、本露光＆読出し（静止画）とＡＦ露光＆読出し（位相差検出）を交互に継続する。ＡＦ露光は、焦点検出用画素に適正露光となる露出制御値（例えば、電子シャッタ速度およびＩＳＯ感度）で露光を行う。また、ＡＦ露光は、本露光と本露光の間に行われる。このＡＦ露光における画素信号の読み出しは、焦点検出用画素からの信号を読み出せばよい。また、本露光のために焦点検出用画素から画素信号の読み出しを行うと、この画素信号に基づいてライブビュー表示を行う。なお、ライブビュー表示は、ステップＳ５５において静止画用の画像処理を行う際に併せて行ってもよい。この場合、フレームによっては静止画記録用の画像処理を行わない場合もあるが、ライブビュー表示用の画像処理は毎フレーム実行する。

ステップＳ４３におけるＡＦ露光をおよび読出しを行うと、次に、相関演算および信頼性判断を行う（Ｓ４５）。ステップＳ４３において本露光と読出しを行った後に、ＡＦ露光と読出しを行い、ステップＳ４５からＳ５３の処理を行う。ステップＳ４５における相関演算および信頼性判断は、ステップＳ４３において取得した焦点検出用画素からの信号を用いて、ステップＳ７、Ｓ１９と同様に行う。

相関演算および信頼性判断を行うと、次にピントずれ量を検出する（Ｓ４７）。ここでは、ステップＳ４５において算出した相関演算に基づいて、ステップＳ９、Ｓ２１と同様に、ピントずれ量を検出する。続いて、エリア選択を行う（Ｓ４９）。ここでは、焦点検出回路２１８は、ステップＳ４７において検出したピントずれ量に基づいて、ステップＳ１１、Ｓ２３と同様に、エリア選択を行う。

エリア選択を行うと、履歴情報を保存する（Ｓ５１）。静止画の連写の前および連写中には、連続的にＡＦ露光が行われ（Ｓ１７、Ｓ４３参照）、ピントずれ量が検出される。焦点検出回路２１８（もしくはＣＰＵ２１２）は、焦点検出に係る情報を履歴情報として例えばＤＲＡＭ２２６に保存する。

履歴情報を保存すると、動体予測演算およびレンズ駆動指示を行う（Ｓ５３）。ここでは、ステップＳ３７と同様に、ＣＰＵ２１２は、焦点検出回路２１８に、ステップＳ５３において保存した履歴情報に基づいて動体予測演算を行わせる。また、ＣＰＵ２１２は、レンズＣＰＵ１０６に、レンズ駆動指示を行う。具体的には、図８〜図１２を用いて説明したように、ＣＰＵ２１２は、被写体の移動速度等に基づいて、フォーカスレンズの駆動方式、すなわち「絶対駆動」「スキャン駆動」または「相対駆動」のいずれかをレンズＣＰＵ１０６に指示する。また、この駆動指示には、動体予測演算結果に基づくフォーカスレンズの目標位置情報も含まれる。レンズＣＰＵ１０６は、駆動指示を受信すると、駆動部１０４等を制御し、駆動指示に従ってフォーカスレンズの駆動を行う。この動体予測演算及びレンズ駆動指示の動作の詳細については、図１４を用いて後述する。

ステップＳ５３において、動体予測演算等を行うと、次に、静止画の画像処理を行う（Ｓ５５）。ここでは、ＣＰＵ２１２は、ステップＳ４３において取得した画像データに対して、画像処理回路２１４に静止画記録用の画像処理を施させる。但し、図８において説明した絶対駆動の場合や、図１２において説明した相対駆動の場合には、静止画記録を行わないフレームがある。また、絞り駆動を行う場合にも、画質が劣化する場合があることから、静止画記録を行わない。このステップＳ５５では、これらの事情を考慮して静止画の画像処理を実行する。画像処理の完了後、ＣＰＵ２１２は、画像圧縮展開部２１６によって記録用の静止画データを圧縮する。圧縮の完了後、ＣＰＵ２１２は、圧縮された記録用の静止画データを画像ファイルとして記録媒体２３０に記録する。静止画用の画像処理の動作の詳細については、図１５および図１６を用いて後述する。

ステップＳ５５において、画像処理を行うと、次に、２ｎｄレリーズスイッチがオンか否かを判定する（Ｓ５７）。ユーザが連写を続行している場合には、レリーズボタンを全押ししたままである。このステップでは、ＣＰＵ２１２は、操作部２０６の内の２ｎｄレリーズスイッチがオンされているか否かを判定する。この判定の結果、２ｎｄレリーズスイッチがオンの場合には、ステップＳ４３に戻り、静止画の連写を続行する。

一方、ステップＳ５７における判定の結果、２ｎｄレリーズスイッチがオンでない場合には、次に、１ｓｔレリーズスイッチがオンか否について判定する（Ｓ５９）。ユここでは、ステップＳ１と同様に、ＣＰＵ２１２は、操作部２０６の内のレリーズボタンの１ｓｔレリーズスイッチがオンの状態であるか否かを判定する。この判定の結果、１ｓｔレリーズスイッチがオンの場合には、ステップＳ１７に戻り、前述の処理を実行する。

一方、ステップＳ５９における判定の結果、１ｓｔレリーズスイッチがオンでない場合には、カメラ電源がオフか否かを判定する（Ｓ６１）。ここでは、ＣＰＵ２１２は、カメラ本体２００の電源をオフするか否かを判定する。例えば、ユーザの操作部２０６の操作によって電源のオフが指示された場合又は所定時間のユーザの操作部２０６の操作がない場合には電源をオフすると判定される。この判定の結果、カメラ本体２００の電源をオフしないと判定されたときには、処理はステップＳ１に戻る。一方、ステップＳ６１において、カメラ本体２００の電源をオフすると判定されたときには、処理は終了する。

このように、図１３Ａおよび図１３Ｂにおけるフローにおいては、レリーズボタンが全押しされた場合には、本露光（静止画フレーム）とＡＦ露光（位相差検出フレーム）が交互に繰り返し実行される（Ｓ４３参照）。ＡＦ露光が行われた場合には、このＡＦ露光によって取得された焦点検出画素の画素信号に基づいて、相関演算やピントずれ量の検出がなされ、この検出結果に基づいて、動体予測およびフォーカスレンズ駆動がなされる。

また、動体予測演算の結果等に基づいて、ＣＰＵ２１２はフォーカスレンズを「絶対駆動」するか、「スキャン駆動」するか、「相対駆動」するの選択を行い、この選択結果に基づいて、レンズ駆動の指示を行う（Ｓ５３）。このレンズ駆動指示が、「絶対駆動」または相対駆動」の場合には、読み出した画像データに対して静止画の画像処理を行わず、画像データの記録を禁止する。

次に、図１４に示すフローチャートを用いて、ステップＳ５３の動体予測演算およびレンズ駆動指示の詳しい動作について説明する。動体予測演算及びレンズ駆動指示のフローが開始すると、まず、履歴情報から次回露光時の被写体位置を予測する（Ｓ７３）。ここでは、ＣＰＵ２１２は、ステップＳ５１において記憶した履歴情報を用いて、次回露光時の被写体を予測演算によって求める。この予測演算は、過去の各時刻に対応して記憶されたフォーカスレンズ位置を用いて線形演算によって、次回露光時のフォーカスレンズ位置を算出する。被写体位置は、フォーカスレンズ位置と１対１の関係にある。

次回露光時の被写体位置を求めると、次に、被写体が大きく変化したか否かを判定する（Ｓ７５）。ここでは、ＣＰＵ２１２は、前回の被写体位置と、ステップＳ７３において予測された次回の被写体位置を比較し、その差が所定値以上であるか否かに基づいて判定する。

ステップＳ７５における判定の結果、被写体が大きく変化していた場合には、絶対駆動を指示する（Ｓ８７）。ここでは、ＣＰＵ２１２は、ステップＳ７３において算出した、次回露光時の被写体位置に基づくフォーカスレンズ位置を、レンズＣＰＵ１０６に送信する。この送信の際に、図８を用いて説明した絶対駆動を、レンズＣＰＵ１０６に指示する。レンズＣＰＵ１０６は、ＣＰＵ２１２から指示されたフォーカスレンズ位置に、絶対駆動で制御する。

ステップＳ７５における判定の結果、被写体が大きく変化していない場合には、次に、被写体は等速移動か否かを判定する（Ｓ７７）。ここでは、ＣＰＵ２１２は、過去の被写体位置の変化を算出し、この変化から被写体が実質的に等速で移動しているか否かを判定する。すなわち、ＣＰＵ２１２は、今回と前回の被写体の位置の差、前回と前々回の被写体位置の差等に基づいて、速度を算出し、この速度に基づいて、被写体が等速で移動しているか否かを判定する。なお、速度の変化が、所定値以内であれば、実質的等速とみなせる。

ステップＳ７７における判定の結果、被写体が等速で移動していた場合には、次に、移動速度は極微小か否かを判定する（Ｓ７９）。ステップＳ７７において、ＣＰＵ２１２は過去から次回露光時までの被写体速度を算出している。このステップでは、算出された被写体速度（実質的に等速である）が所定値よりも小さいか否かに基づいて判定する。

ステップＳ７９における判定の結果、移動速度は極微小でない場合には、スキャン駆動を指示する（Ｓ８１）。ここでは、ＣＰＵ２１２は、ステップＳ７３において算出した、次回露光時の被写体位置に基づくフォーカスレンズ位置に関する情報を、レンズＣＰＵ１０６に送信する。この送信の際に、図９を用いて説明したスキャン駆動を、レンズＣＰＵ１０６に指示する。この場合、被写体の移動速度が変わった場合や、デフォーカス量が変化した場合には、図１０に示すように、スキャン駆動速度を変更する。レンズＣＰＵ１０６は、ＣＰＵ２１２から指示されたフォーカスレンズ位置に、スキャン駆動で制御する。

ステップＳ７９における判定の結果移動速度は極微小であった場合には、相対駆動を指示する（Ｓ８３）。ここでは、ＣＰＵ２１２は、ステップＳ７３において算出した、次回露光時の被写体位置に基づくフォーカスレンズ位置に関する情報を、レンズＣＰＵ１０６に送信する。この送信の際に、図１１または図１２を用いて説明した相対駆動を、レンズＣＰＵ１０６に指示する。図１１および図１２に示した相対駆動の内、いずれのタイプの相対駆動を指示するかは、カメラ本体２００および交換レンズ１００の特性等に応じて、自動的に選択してもよい。または、いずれか一方のタイプしか選択できない場合もあり、この場合には一律に決められるようにしてもよい。また、連写速度が高速の場合は、図１２に示した制御を用いておき、連写速度が１段階遅く、かつ、ライブビューのフレームレートを高速に設定する場合は、図１１に示した制御を用いる場合もある。図１１に示した相対駆動を行う場合には、例えば、位相差検出フレームを挟む奇数フレーム時のみ相対駆動を指示し、偶数フレーム時はフォーカス駆動を行わず、停止したままとする。レンズＣＰＵ１０６は、ＣＰＵ２１２から指示されたフォーカスレンズ位置に、フォーカスレンズを駆動する。

ステップＳ７７に戻り、このステップにおける判定の結果、被写体が等速で移動していない場合には、次に、被写体移動は極微小であるか否かを判定する（Ｓ８５）。ここでは、ＣＰＵ２１２は、前回と今回のフォーカス位置に基づいて、被写体の移動量を算出し、この移動量が所定値より小さく、極微小とみなせるか否かを判定する。

ステップＳ８５における判定の結果、被写体の移動量が極微小の場合には、前述した相対駆動を指示する（Ｓ８３）。被写体の移動速度が極微小、または被写体の移動量が極微小の場合には、被写体に追従させるためのフォーカスレンズ１０２ａの移動量が極微小となる。このような極微小量でフォーカスレンズを移動させると、オーバーシュート等が発生しやすく、目標位置に移動させることが困難な場合がある。そこで、本実施形態においては、図１１または図１２に示す相対駆動を行って被写体に追従させる。

ステップＳ８５における判定の結果、被写体の移動量が極微小でない場合には、前述した絶対駆動を指示する（Ｓ８７）。この場合は、被写体が大きく変化していないが、被写体が等速で移動しておらず、かつ被写体の移動量も極微小ではない。このような場合には、スキャン駆動も相対駆動も適していないことから、最速でフォーカスレンズ位置に移動させる絶対駆動による制御を行う。

ステップＳ８１においてスキャン駆動を指示すると、またはステップＳ８３において相対駆動を指示すると、またはステップＳ８７において絶対駆動を指示すると、元のフローに戻る。

このように、図１４に示す動体予測演算及びレンズ駆動指示のフローにおいては、フォーカスレンズ位置の履歴情報に基づいて、次回露光時の被写体の位置、被写体の移動速度、被写体の移動量等を判定し（Ｓ７５、Ｓ７７、Ｓ７９、Ｓ８５）、この判定結果に基づいて、絶対駆動、スキャン駆動、および相対駆動の内のいずれかの駆動で、フォーカスレンズの移動を制御するようにしている。このため、被写体の変化に応じて、適切なフォーカスレンズの駆動制御を行うことができる。

次に、図１５に示すフローチャートを用いて、ステップＳ５５の静止画用の画像処理の詳しい動作について説明する。図１５に示すフローチャートは、相対駆動として、図１１に示す相対駆動を行うことが前提となっているシステム、または図１１および図１２の相対駆動を行うシステムの両方が可能である場合に、図１１のシステムの相対駆動が選択された場合に適用される。図１２に示す相対駆動を行う場合には、後述する図１６に示すフローチャートを実行する。なお、図１５および図１６では、スキャン駆動を行う場合を除外している。スキャン駆動を実行する場合は、図９および図１０に示すようにスキャン駆動と並行して実施される静止画用フレームから静止画用画像処理を実行し、静止画データを記録する。

図１５に示す静止画用の画像処理のフローが開始すると、まず、奇数フレームか否かを判定する（Ｓ９２）。前述したように、図１１に示す相対駆動の場合には、連写開始後のフレーム番号が、奇数のフレームの場合には、静止画の画像データを記録しない。このステップでは、ＣＰＵ２１２が、連写開始後のフレーム番号に基づいて判定する。

ステップＳ９２における判定の結果、奇数フレームでない場合には、絞り駆動実施フレームか否かを判定する（Ｓ９３）。絞り１０２ｂを駆動している場合には、画質が劣化する場合があることから、静止画の画像データを記録しない。前述したように、ＣＰＵ２１２は、所定のタイミングにおいて状態送信Ｓｏを行い、レンズＣＰＵ１０６から絞りの状態情報を受信する。このステップでは、レンズＣＰＵ１０６から受信した情報に基づいて判定する。

ステップＳ９３における判定の結果、絞り実施フレームでない場合には、次に、絶対駆動実施フレームか否かを判定する（Ｓ９５）。ここでは、ＣＰＵ２１２が、ステップＳ５３において絶対駆動を指示したか否かを判定する。絶対駆動の場合には、図８を用いて説明したように、各フレームで取得した画像データを用いた静止画用の画像処理を実施せず、静止画の記録もしない。

ステップＳ９５における判定の結果、絞り駆動実施フレームでない場合、には、静止画用の画像処理を実施する（Ｓ９７）。ここでは、画像処理回路２１４が、撮像素子２０８から取得した画像データに対して、静止画用の画像処理を施し、記録媒体２３０に記録する。この記録を行うと、静止画用の画像処理のフローを終了し、元のフローに戻る。

一方、ステップＳ９２における判定の結果、奇数フレームであった場合、またはステップＳ９３における判定の結果、絞り駆動実施フレームであった場合、またはステップＳ９５における判定の結果、絶対駆動実施フレームであった場合には、静止画用の画像処理を実施することなく、静止画用の画像処理のフローを終了し、元のフローに戻る。図１１に示した相対駆動のタイミングチャートにおける動作と、図１４に示したフローチャートにおける処理は、以下のように対応する。図１５のステップＳ９２：Ｙは、図１１の時刻Ｔ４〜Ｔ６、Ｔ１０〜Ｔ１３に対応する。また、図１５のステップＳ９２：Ｎ→Ｓ９３：Ｎ→Ｓ９５：Ｎ→Ｓ９７は、図１１の時刻Ｔ７〜Ｔ１０に対応する。

このように、図１５に示す静止画用の画像処理のフローにおいては、相対駆動を行う場合の奇数フレーム、絞り駆動を行っているフレーム、および絶対駆動を行っている場合のフレームに対して、静止画用の画像処理を実施していない。これらの条件を満たす場合には、静止画用の画像処理を行わず静止画として記録していないので、十分な画質でない静止画を記録してしまうことを防止することができる。また、これらの画像処理を省略することから、画像処理による電源浪費を防止することができる。

次に、図１６に示すフローチャートを用いて、ステップＳ５５の静止画用の画像処理の変形例の詳しい動作について説明する。図１６に示すフローチャートは、前述したように、図１２に示す相対駆動を行うことが前提となっているシステムに適用される。この図１６に示すフローチャートは、図１５に示すフローチャートにおいて、ステップＳ９２を削除し、ステップＳ９６を追加した点で相違する。そこで、この相違点を中心に説明する。

図１６に示す静止画用の画像処理のフローが開始すると、まず、絞り駆動実施フレームか否かを判定する（Ｓ９３）。この判定の結果、絞り駆動実施フレームでない場合には、次に、絶対駆動実施フレームか否かを判定する（Ｓ９５）。

ステップＳ９５における判定の結果、絶対駆動実施フレームでない場合には、相対駆動量（像面移動量に換算）の絶対値が２Ｆδよりも大きいか否かを判定する（Ｓ９６）。図１２を用いて説明したように、焦点深度が所定値以下であれば、静止画の画質として問題とならない。ここでは、ＣＰＵ２１２が、相対駆動量（像面移動量に換算）の絶対値が２Ｆδ（焦点深度）より大きいか否かを判定している。なお、Ｆは絞り値、δは許容錯乱円径である。

ステップＳ９６における判定の結果、相対駆動量（像面移動量に換算）の絶対値が２Ｆδより大きくない場合には、静止画用の画像処理を実施する（Ｓ９７）。静止画用の画像処理を施し、静止画を記録すると、静止画用の画像処理のフローを終了し、元のフローに戻る。一方、ステップ９３における判定の結果、絞り実施フレームであった場合、またはステップＳ９５における判定の結果、絶対駆動実施フレームであった場合、または相対駆動量の絶対値が２Ｆδよりも大きい場合には、静止画用の画像処理を施すことなく、静止画用の画像処理のフローを終了し、元のフローに戻る。図１２に示した相対駆動のタイミングチャートにおける動作と、図１６に示したフローチャートにおける処理は、図１６のＳ９３：Ｎ→Ｓ９５：Ｎ→Ｓ９６：Ｎ→Ｓ９７を繰り返し実行する動作が対応する。

このように、図１６に示す静止画用の画像処理のフローにおいては、絞り駆動を行っているフレーム、絶対駆動を行っている場合のフレーム、および相対駆動量（像面移動量に換算）の絶対値が２Ｆδより大きいフレームに対して、静止画用の画像処理を実施していない。これらの条件を満たす場合には、静止画として記録していないので、十分な画質でない静止画を記録してしまうことを防止することができる。また、これらの画像処理を省略することから、画像処理のための電源浪費を防止することができる。図１５では偶数フレームのみに対して画像処理を実施していたが、図１６においては、偶数フレームも奇数フレームも画像処理を実施している。このため、図１６における連写速度は、図１５と比較して２倍速くなる。

このように、本発明の一実施形態においては、連写ＣＡＦ（コンティニュアスＡＦ）中に、交互読みを実施する。この場合の交互読み出しは、静止画露光の読出しと位相差検出用露光（ＰＤ分割露光）の読出しを交互に行うことをいう。撮像素子２０８と撮影レンズ１０２ａは、同期をとってレンズ駆動を実施する（図７のレンズ同期信号を参照）。そして、大きくフォーカスレンズを駆動する場合（絶対駆動、図８参照）や、絞り駆動する場合は、静止画として残さないようにしている。すなわち、画処理を実施しない（図１３ＢのＳ５５、図１５のＳ５５Ｙｅｓ、Ｓ９３Ｙｅｓの場合にＳ９７をスキップ参照）。これによって、画質を保証できないフレームに対して、画像処理を省略することから、画像処理のための電源浪費を防止することができる。また、不要な画像をメディア（記録媒体２３０）に保存しないことによって、ユーザがその不要な画像を削除する等の操作をしなくて済む。

また、本発明の一実施形態においては、レンズ駆動を実施する際に、被写体移動速度に合わせて、等速駆動指示（スキャン駆動指示）を行う（図９参照）。また、被写体の移動速度が変わった場合や、デフォーカス量が変化した場合は、駆動速度を変更する（図１０参照）。これによって、被写体の前後の移動速度に対してスキャン駆動指示を適宜更新することができ、きめ細かに追従することが可能となり、静止画画像の品位を確保することができる。

また、本発明の一実施形態においては、相対駆動の場合であって、フォーカスレンズの微小駆動を実施する場合は、静止画露光の２フレームに１回はレンズ駆動を実施せず、もう片方のフレームでレンズ駆動を実施する（図１１参照）。レンズ駆動中の静止画露光は、ライブビュー表示のみに用い、レンズ駆動を行わないフレームにて静止画露光を実施する（図１１、図１５のＳ９２、Ｓ９７参照）。

また、本発明の一実施形態においては、フォーカスレンズの極微小駆動を実施する場合は、毎フレーム、静止画露光を実施する（図１２、図１６参照）。

以上説明したように、本発明の一実施形態において、撮像素子は、１個のマイクロレンズに対して撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を光電変換して画素信号を生成するように、所定の瞳分割方向に分割された複数のフォトダイオードを配置している（図３、図４参照）。また、この撮像素子は、瞳分割方向に対応する画素信号を合成した画素信号を生成し出力する第１の撮像動作と、瞳分割方向に対応する画素信号を生成し出力する第２の撮像動作とを交互に繰り返し実行する撮像モードが設定することができる。例えば、図５に示すように、時刻Ｔ１〜Ｔ２、Ｔ４〜Ｔ５、Ｔ７〜Ｔ８、Ｔ１０〜Ｔ１１の静止画用の撮像動作と、時刻Ｔ３〜Ｔ４、Ｔ６〜Ｔ７、Ｔ９〜Ｔ１０の位相差検出用の撮像動作が実行される。前述した特許文献３では、フォーカス・測光処理用センサ駆動の画素信号を用いてＬＶ表示を行っており、フォーカス用に分割ＰＤに適正な露光制御を行うので、表示用としての品位が低下してしまう。しかし、本実施形態においては、フォーカス制御を行うための露光（位相差検出用の撮像動作）と、測光のための露光（静止画用の撮像動作）は、別々のタイミングで行うので、表示用の画像についても適正露光することができ、表示画像の品位が低下することがない。

また、本発明の一実施形態において、制御部（例えば、ＣＰＵ２１２）は、撮像素子から第１の撮像動作によって出力される画素信号に基づく画像データを表示、または静止画として記録するための処理を行い、第２の撮像動作によって出力される画素信号に基づいて焦点検出を行って焦点調節データを生成し、フォーカス制御を実行している。例えば、図５において、時刻Ｔ１〜Ｔ２、Ｔ４〜Ｔ５、Ｔ７〜Ｔ８、Ｔ１０〜Ｔ１１の静止画用の撮像動作を行い、時刻Ｔ３〜Ｔ４、Ｔ６〜Ｔ７、Ｔ９〜Ｔ１０の位相差検出用の撮像動作を行っている（例えば、図１３ＢのＳ４３参照）。すなわち、静止画記録用の処理と、フォーカス制御ための処理を、別々のタイミングで行っている。このため、静止画記録用の画像の品位を維持しつつ、位相差検出のための処理も最適化することができる。

また、本発明の一実施形態において、制御部（例えば、ＣＰＵ２１２）は、焦点調節データに基づいてフォーカス移動量を演算し、フォーカス移動量が所定値より大きく、かつ、フォーカス移動量に基づくフォーカス制御と第１の撮像動作を並行して実行する場合は、第１の撮像動作の画素信号に基づく画像データに静止画として記録するための処理を禁止している（例えば、図８の絶対駆動、図１５のＳ９２Ｙｅｓの場合にＳ９７をスキップ）。このため、高速で連写を行いながら静止画の画質の劣化を防止することができる。

また、本発明の一実施形態において、制御部（ＣＰＵ２１２）は、フォーカス移動量にかかわらず、第１の撮像動作の画素信号に基づく画像データに表示を行うための処理を実行している。例えば、図８において、時刻Ｔ４〜Ｔ５、時刻Ｔ７〜Ｔ８において取得した画像データに基づいて、静止画記録することは禁止しているが、ライブビュー表示は許可している。このため、連写している間であっても、ライブビュー表示が行われるので、ユーザは被写体を見ながら撮影することができる。

また、本発明の一実施形態において、制御部（ＣＰＵ２１２）は、焦点調節データに基づき第１の撮像動作と並行してフォーカス制御を実行するか否かを判断し、繰り返し実行される第１の撮像動作のうちの現在の第１の撮像動作と並行してフォーカス制御を実行する場合に、続く第１の撮像動作と並行してフォーカス制御を実行しないようにしている。例えば、図１１において、時刻Ｔ４〜Ｔ７はフォーカス駆動を行っているが、これに続く時刻Ｔ７〜Ｔ１０においてはフォーカス駆動を禁止している。フォーカス駆動量が微小量の場合には、オーバーシュートする等、制御が乱れることがあり、静止画の画質が劣化してしまうことがある。これに対して本実施形態においては、オーバーシュート等の制御が乱れない程度の駆動量で、動体を追随することが可能となる。

また、本発明の一実施形態において、制御部（ＣＰＵ２１２）は、繰り返し実行される第１の撮像動作と並行してフォーカス制御を行う場合に、デフォーカス量の変化量を所定値以下に制限してフォーカス制御を行うようにしている。例えば、図１２の相対駆動では、デフォーカス量の変化量を所定値以下になるようしている。所定値以上となった場合には、静止画の記録を禁止している（例えば、図１６のＳ９６参照）。このため、静止画の画質が低下してしまうようなフォーカス駆動量の場合には、静止画記録を実施しない。

また、本発明の一実施形態において、制御部（ＣＰＵ２１２）は、複数の焦点調節データに基づいて被写体に対応する像面移動速度を演算し、算出した像面移動速度に応じてフォーカス制御を行っている。例えば、図１０において、時刻Ｔ７で像面移動速度が変化すると、レンズの駆動速度を変更している。このため、被写体の移動速度の変化に合わせてフォーカスレンズの移動速度を変化でき、連写で撮影される静止画の画質が低下してしまうようなことがない。

また、本発明の一実施形態においては、交換レンズは、撮像光学系に含まれるフォーカスレンズの位置を制御するフォーカスレンズ制御部を含んでいる（例えば、レンズＣＰＵ１０６参照）。このフォーカスレンズ制御部は、制御部と通信して撮像素子の第１の撮像動作および第２の撮像動作に同期してフォーカスレンズの位置制御を実行している。例えば、図７に示すレンズ同期信号に基づいて、交換レンズにおけるフォーカスレンズ位置制御が行われている。このため、カメラ本体からは、レンズ同期信号を基準に、フォーカスレンズの制御タイミングを通信で知らせるだけで、撮像動作とフォーカス動作を同期することができる。

なお、本発明の一実施形態において、レンズ駆動指示を出力する際や、静止画用の画像処理を実施するか否かを判定するにあたって、被写体距離、被写体移動速度、像面移動速度に基づいて判定していた。これらの判定は、適宜、組み合わせを変え、更に他の条件等を追加して行ってもよい。また、撮像素子の画像用画素は、全て焦点検出用画素に分割された構成としていた。しかし、一部を焦点検出用画素に分割し、他を分割しなくてもよい。また、本発明の一実施形態において、フォーカスレンズにより焦点調節（フォーカス動作）を行っているが、撮像素子を移動する機構を備え、撮像素子を光軸方向に移動させてもよい。

また、本発明の一実施形態においては、焦点検出回路２１８、画像処理回路２１４、画像圧縮展開部２１６、露出制御回路２２０等の全部またはＣＰＵ２１２およびその周辺回路と一体化してもよい。また、焦点検出回路２１８、画像処理回路２１４、画像圧縮展開部２１６、露出制御回路２２０等は、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウェア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウェア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。

また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ、顕微鏡等の科学機器用のカメラ、自動車搭載用カメラ、監視用カメラでも構わない。いずれにしても、記録用の露光を行う際に、焦点検出用の露光も行う撮影のための機器であれば、本発明を適用することができる。例えば、遠隔視覚検査用の工業用内視鏡や工業用ビデオスコープや医療用の内視鏡に本発明を適用し、位置が固定された被写体に対してファイバーやケーブルの先端のカメラ部の移動による被写体距離の変化に応じてフォーカス調整を行うようにしてもよい。その際に、記憶させた過去のピントずれ量演算の結果（フォーカス位置）の履歴に基づいて、今回の静止画の露光時におけるフォーカス位置を予測することにより、位置が固定している被写体に対する先端カメラ部の移動に対応して相対的に動体予測演算を行って、フォーカス調整を実行してもよい。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせによって、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・撮像装置、２１・・・垂直走査部、２２・・・画素部、２３・・・アナログ処理部、２４・・・ＡＤＣ処理部、２５・・・メモリ部、２６・・・水平走査部、２７・・・出力部、２８・・・入力部、２９・・・素子制御部、３０・・・読出方法選択部、１００・・・交換式レンズ、１０２・・・撮像光学系、１０２ａ・・・フォーカスレンズ、１０２ｂ・・・絞り、１０４・・・駆動部、１０６・・・レンズＣＰＵ、１０８・・・レンズ側記憶部、２００・・・カメラ本体、２０２・・・メカシャッタ、２０４・・・駆動部、２０６・・・操作部、２０８・・・撮像素子、２１０・・・手振れ補正回路、２１２・・・ＣＰＵ、２１４・・・画像処理回路、２１６・・・画像圧縮展開部、２１８・・・焦点検出回路、２２０・・・露出制御回路、２２２・・・表示部、２２４・・・バス、２２６・・・ＤＲＡＭ、２２８・・・本体側記憶部、２３０・・・記録媒体

Claims (8)

1. １個のマイクロレンズに対して、所定の瞳分割方向に分割された複数のフォトダイオードを配置し、撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を上記フォトダイオードによって光電変換することによって画素信号を生成し、さらに上記瞳分割方向に対応する画素信号を合成した画素信号を生成し出力する第１の撮像動作と、上記瞳分割方向に対応する画素信号を生成し出力する第２の撮像動作とを交互に繰り返し実行する撮像モードを設定可能な撮像素子と、
   静止画の連写中に、上記撮像素子から上記第１の撮像動作によって出力される画素信号に基づく画像データを表示、または静止画として記録するための処理を行い、上記第２の撮像動作によって出力される画素信号に基づいて焦点検出を行って焦点調節データを生成し、フォーカス制御を実行する制御部と、
   を具備し、
   上記制御部は、上記焦点調節データに基づいてフォーカス移動量を演算し、上記フォーカス移動量が所定値より大きく、かつ、上記フォーカス移動量に基づくフォーカス制御と上記第１の撮像動作を並行して実行する場合は、上記第１の撮像動作の画素信号に基づく画像データに静止画として記録するための処理を禁止することを特徴とする焦点調節装置。
2. 上記制御部は、上記フォーカス移動量にかかわらず、上記第１の撮像動作の画素信号に基づく画像データに表示を行うための処理を実行することを特徴とする請求項１に記載の焦点調節装置。
3. 上記制御部は、上記焦点調節データに基づき上記第１の撮像動作と並行して上記フォーカス制御を実行するか否かを判断し、上記繰り返し実行される第１の撮像動作のうちの現在の第１の撮像動作と並行して上記フォーカス制御を実行する場合に、続く第１の撮像動作と並行して上記フォーカス制御を実行しないことを特徴とする請求項１に記載の焦点調節装置。
4. 上記制御部は、上記繰り返し実行される第１の撮像動作と並行して上記フォーカス制御を行う場合に、デフォーカス量の変化量を所定値以下に制限してフォーカス制御を行うことを特徴とする請求項１に記載の焦点調節装置。
5. 上記制御部は、複数の上記焦点調節データに基づいて被写体に対応する像面移動速度を演算し、算出した像面移動速度に応じてフォーカス制御を行うことを特徴とする請求項１に記載の焦点調節装置。
6. 上記撮像光学系を含む交換レンズと該交換レンズを装着可能な本体とを有し、
   上記本体は、上記撮像素子と上記制御部を含み、
   上記交換レンズは、上記撮像光学系に含まれるフォーカスレンズの位置を制御するフォーカスレンズ制御部を含み、上記フォーカスレンズ制御部は、上記制御部と通信して上記撮像素子の第１の撮像動作および第２の撮像動作に同期して上記フォーカスレンズの位置制御を実行することを特徴とする請求項１乃至５の焦点調節装置。
7. １個のマイクロレンズに対して、所定の瞳分割方向に分割された複数のフォトダイオードを配置し、撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を上記フォトダイオードによって光電変換することによって画素信号を生成する撮像素子を有する撮像装置の焦点調節装置において、
   上記瞳分割方向に対応する画素信号を合成した画素信号を生成し出力する第１の撮像動作と、上記瞳分割方向に対応する画素信号を生成し出力する第２の撮像動作とを交互に繰り返し実行し、
   静止画の連写中に、上記撮像素子から上記第１の撮像動作によって出力される画素信号に基づく画像データを表示、または静止画として記録するための処理を行い、上記第２の撮像動作によって出力される画素信号に基づいて焦点検出を行って焦点調節データを生成し、フォーカス制御を実行し、
   上記焦点調節データに基づいてフォーカス移動量を演算し、上記フォーカス移動量が所定値より大きく、かつ、上記フォーカス移動量に基づくフォーカス制御と上記第１の撮像動作を並行して実行する場合は、上記第１の撮像動作の画素信号に基づく画像データに静止画として記録するための処理を禁止する、
   ことを特徴とする焦点調節方法。
8. １個のマイクロレンズに対して、所定の瞳分割方向に分割された複数のフォトダイオードを配置し、撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を上記フォトダイオードによって光電変換することによって画素信号を生成し、さらに上記瞳分割方向に対応する画素信号を合成した画素信号を生成し出力する第１の撮像動作と、上記瞳分割方向に対応する画素信号を生成し出力する第２の撮像動作とを交互に繰り返し実行する撮像モードを設定可能な撮像素子と、
   静止画の連写中に、上記撮像素子から上記第１の撮像動作によって出力される画素信号に基づく画像データを表示、または静止画として記録するための処理を行い、上記第２の撮像動作によって出力される画素信号に基づいて焦点検出を行って焦点調節データを生成し、フォーカス制御を実行する制御部と、
   上記撮像光学系に含まれる絞りを駆動する絞り駆動部と、
   を具備し、
   上記制御部は、上記焦点調節データに基づいてフォーカス移動量を演算し、上記フォーカス移動量が所定値より大きく、かつ、上記フォーカス移動量に基づくフォーカス制御と上記第１の撮像動作を並行して実行する場合、又は、上記絞り駆動中に上記第１の撮像動作を並行して実行する場合は、上記第１の撮像動作の画素信号に基づく画像データに静止画として記録するための処理を禁止することを特徴とする焦点調節装置。

Images