JP2019040080A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】高精度なフォーカス制御が可能な撮像装置を提供すること。【解決手段】撮影レンズの射出瞳を通過した光束を分割する光束分割手段と、第１の光束を第１光電変換部に導くマイクロレンズを備える第１画素を備える第１撮像素子と、第２の光束を第２光電変換部に導くマイクロレンズを備える第２画素を備える第２撮像素子と、撮影レンズの収差情報と、第１および第２の光束の収差情報と、第１および第２画素の画素ピッチ、第１画素および第２画素の読み出しモード、第１および第２光電変換部の分割方向および第１および第２画素の分光感度の少なくとも１つに関する撮像特性情報と、射出瞳の異なる領域を通過した第１および第２の光束に基づく１対の焦点検出信号の特性情報と、に基づいて第１および第２の焦点調節補正量を算出する補正量算出手段と、第１および第２の焦点調節補正量に基づいて、焦点調節機構を制御する制御手段と、を有する。【選択図】図１

Description

本発明は、焦点調節を制御可能な撮像装置に関する。

近年、記録用または表示用の画像を取得するとともに、撮像面で位相差式の焦点検出を行う撮像素子、いわゆる撮像面位相差ＡＦ機能を有する撮像素子を複数備えた撮像装置が提案されている。

特許文献１では、動画撮影用と静止画撮影用に画素ピッチの異なる２つ撮像素子を有する撮像装置が開示されている。２つの撮像素子は互いに基線長の異なる焦点検出用の画素部を複数備えるため、焦点検出精度が異なり、一方の撮像素子を用いて画像を生成する場合は、他方の撮像素子を用いて焦点検出を行うことが開示されている。

特許文献２では、一方の撮像素子は撮影画面上の所定領域において水平方向に瞳分割する焦点検出用画素群を備え、他方の撮像素子は上記所定領域とは異なる領域において垂直方向に瞳分割する焦点検出用画素群を備える撮像装置が開示されている。焦点検出すべき被写体の位置（座標）や被写体の明暗パターンの方向性に応じて適切な焦点検出画素群を選択することで、多様な被写体に対して焦点検出性能を効率的に発揮することが可能である。

特許文献３では、被写体信号の特性、撮像信号の特性、および撮影光学系の収差の情報によって、焦点調節に用いる最適な補正値を算出する撮像装置が開示されている。

特許文献４では、一方の撮像素子から得られる焦点検出に関する情報から補正値を計算し、他方の撮像素子で得られる焦点検出結果を補正する撮像装置が開示されている。

特開２０１５−３４９１７号公報 特開２００８−１７７９０３号公報 特開２０１５−１３８２００号公報 特開２０１５−０４５８０４号公報

特許文献１の撮像装置で特許文献３に開示されている観点で焦点検出結果の補正を行う場合、２つの撮像素子で異なる撮像特性の記録画像（静止画、動画）を取得するため、最適な補正値は撮像素子ごとに異なる。また、特許文献２の撮像装置で特許文献３に開示されている観点で焦点検出結果の補正を行う場合、２つの撮像素子で異なる特性の焦点検出信号（縦方向、横方向）を取得するため、最適な補正値は焦点検出結果ごとに異なる。しかしながら、いずれの特許文献においても、異なる撮像特性や焦点検出信号の特性に応じて、焦点検出結果の補正を行う方法が開示されていない。

また、特許文献４の撮像装置においても、２つの撮像素子で同時に記録画像（静止画、動画）を取得する方法については開示されていない。また、いずれの特許文献においても、第１の撮像素子で受光される際の収差状態の変化、および第２の撮像素子で受光される際の収差状態の変化に応じて、焦点検出結果を補正する方法が開示されていない。

本発明は、高精度なフォーカス制御が可能な撮像装置およびその制御方法を提供することを目的とする。

本発明の一側面としての撮像装置は、焦点調節機構を有する撮影レンズの射出瞳を通過した光束を第１の光束と第２の光束に分割する光束分割手段と、第１光電変換部と、前記第１の光束を前記第１光電変換部に導くマイクロレンズと、を備える第１画素を複数備える第１撮像素子と、第２光電変換部と、前記第２の光束を前記第２光電変換部に導くマイクロレンズと、を備える第２画素を複数備える第２撮像素子と、前記撮影レンズの収差情報と、前記第１の光束の収差情報である第１の収差情報と、前記第１画素の画素ピッチ、前記第１画素の読み出しモード、前記第１光電変換部の分割方向および前記第１画素の分光感度の少なくとも１つに関する第１撮像特性情報と、前記射出瞳の異なる領域を通過した前記第１の光束を受光した前記第１撮像素子から取得される１対の焦点検出信号の第１特性情報と、に基づいて第１の焦点調節補正量を算出するとともに、前記撮影レンズの収差情報と、前記第２の光束の収差情報である第２の収差情報と、前記第２画素の画素ピッチ、前記第２画素の読み出しモード、前記第２光電変換部の分割方向および前記第２画素の分光感度の少なくとも１つに関する第２撮像特性情報と、前記射出瞳の異なる領域を通過した前記第２の光束を受光した前記第２撮像素子から取得される１対の焦点検出信号の第２特性情報と、に基づいて第２の焦点調節補正量を算出する補正量算出手段と、前記第１および第２の焦点調節補正量に基づいて、前記焦点調節機構を制御する制御手段と、を有することを特徴とする。

また、本発明の他の側面としての撮像装置は、光電変換部と、焦点調節機構を有する撮影レンズの射出瞳を通過した光束を前記光電変換部に導く画素を複数備える撮像素子と、前記撮影レンズの光路内に位置する第１の位置と、前記光路から退避する第２の位置との間を移動可能な光束分割手段と、前記撮影レンズの収差情報と、前記光束分割手段の収差情報である第１の収差情報と、前記画素の画素ピッチ、前記画素の読み出しモード、前記光電変換部の分割方向、前記画素の分光感度の少なくとも１つに関する撮像特性情報と、前記射出瞳の異なる領域を通過した前記光束を受光した前記撮像素子から取得される１対の焦点検出信号の特性情報と、に基づいて焦点調節補正量を算出する補正量算出手段と、前記焦点調節補正量に基づいて、前記焦点調節機構を制御する制御手段と、を有することを特徴とする。

また、本発明の他の側面としての撮像装置は、焦点調節機構を有する撮影レンズの射出瞳を通過した光束を第１の光束と第２の光束に分割する光束分割手段と、前記第１の光束を受光する第１撮像素子と、前記第２の光束を受光する第２撮像素子と、前記光束分割手段の形状パラメータと、前記撮影レンズおよび前記形状パラメータに関する補正情報と、に基づいて前記第１の撮像素子に対応する第１の焦点調節補正量および前記第２の撮像素子に対応する第２の焦点調節補正量を算出する補正量算出手段と、前記第１および第２の焦点調節補正量に基づいて、前記焦点調節機構を制御する制御手段と、を有することを特徴とする。

また、本発明の他の側面としての撮像装置の制御方法は、焦点調節機構を有する撮影レンズの射出瞳を通過した光束を第１の光束と第２の光束に分割する光束分割手段と、第１光電変換部と、前記第１の光束を前記第１光電変換部に導くマイクロレンズと、を備える第１画素を複数備える第１撮像素子と、第２光電変換部と、前記第２の光束を前記第２光電変換部に導くマイクロレンズと、を備える第２画素を複数備える第２撮像素子と、を有する撮像装置の制御方法であって、前記撮影レンズの収差情報と、前記第１の光束の収差情報である第１の収差情報と、前記第１画素の画素ピッチ、前記第１画素の読み出しモード、前記第１光電変換部の分割方向および前記第１画素の分光感度の少なくとも１つに関する第１撮像特性情報と、前記射出瞳の異なる領域を通過した前記第１の光束を受光した前記第１撮像素子から取得される１対の焦点検出信号の第１特性情報と、に基づいて第１の焦点調節補正量を算出するとともに、前記撮影レンズの収差情報と、前記第２の光束の収差情報である第２の収差情報と、前記第２画素の画素ピッチ、前記第２画素の読み出しモード、前記第２光電変換部の分割方向および前記第２画素の分光感度の少なくとも１つに関する第２撮像特性情報と、前記射出瞳の異なる領域を通過した前記第２の光束を受光した前記第２撮像素子から取得される１対の焦点検出信号の第２特性情報と、に基づいて第２の焦点調節補正量を算出する補正量算出ステップと、前記第１および第２の焦点調節補正量に基づいて、前記焦点調節機構を制御する制御ステップと、を有することを特徴とする。

また、本発明の他の側面としての撮像装置の制御方法は、光電変換部と、焦点調節機構を有する撮影レンズの射出瞳を通過した光束を前記光電変換部に導く画素を複数備える撮像素子と、前記撮影レンズの光路内に位置する第１の位置と、前記光路から退避する第２の位置との間を移動可能な光束分割手段と、を有する撮像装置の制御方法であって、前記撮影レンズの収差情報と、前記光束分割手段の収差情報である第１の収差情報と、前記画素の画素ピッチ、前記画素の読み出しモード、前記光電変換部の分割方向、前記画素の分光感度の少なくとも１つに関する撮像特性情報と、前記射出瞳の異なる領域を通過した前記光束を受光した前記撮像素子から取得される１対の焦点検出信号の特性情報と、に基づいて焦点調節補正量を算出する補正量算出ステップと、前記焦点調節補正量に基づいて、前記焦点調節機構を制御する制御ステップと、を有することを特徴とする。

また、本発明の他の側面としての撮像装置の制御方法は、焦点調節機構を有する撮影レンズの射出瞳を通過した光束を第１の光束と第２の光束に分割する光束分割手段と、前記第１の光束を受光する第１撮像素子と、前記第２の光束を受光する第２撮像素子と、を有する撮像装置の制御方法であって、前記光束分割手段の形状パラメータと、前記撮影レンズおよび前記形状パラメータに関する補正情報と、に基づいて前記第１の撮像素子に対応する第１の焦点調節補正量および前記第２の撮像素子に対応する第２の焦点調節補正量を算出する補正量算出ステップと、前記第１および第２の焦点調節補正量に基づいて、前記焦点調節機構を制御する制御ステップと、を有することを特徴とする。

本発明によれば、高精度なフォーカス制御が可能な撮像装置およびその制御方法を提供することができる。

撮像装置の構成図である（実施例１、２）。 第１撮像素子の構成図である。 第２撮像素子の構成図である。 射出瞳と焦点検出瞳の相対位置を説明する図である。 焦点検出領域を説明する図である。 撮影処理を示すメインフローチャートである。 焦点検出処理を示すフローチャートである。 被写体情報抽出処理を示すフローチャートである。 撮像素子で得られる被写体情報の例を説明する図である。 ＡＦ評価帯域および撮影画像評価帯域の算出の説明図である。 ＢＰ量算出処理を示すフローチャートである（実施例１）。 撮影レンズ収差情報の説明図である（実施例１）。 ハーフミラーの分光透過率の角度依存性の説明図である。 ハーフミラーへの入射角度の変化を説明する図である。 被写体情報抽出のタイミングの説明図である。 ＢＰ量算出処理を示すフローチャートである（実施例２）。 撮影レンズ収差情報の説明図である（実施例２）。 波面収差情報のデータ系列に関する説明図である（実施例２）。 撮像装置の構成図である（実施例３）。 撮影処理を示すフローチャートである（実施例３）。 焦点検出処理を示すフローチャートである（実施例３）。 ＢＰ量算出処理を示すフローチャートである（実施例３）。 ＢＰ量算出処理を示すフローチャートである（実施例４）。 撮影光学系の光路とハーフミラー情報を示す図である。 ハーフミラーの厚みとＢＰ量との関係図である。 厚みに対するハーフミラー情報を示す図である。 撓み状態の異なるハーフミラーを示す図である。 第２撮像素子への撮影光学系の光路を示す図である。 干渉縞本数の測定結果の一例を示す図である。 撓み方向を示す図である。 撓み量と、撓み量によって発生するＢＰ量との相関関係図である。 撓み量に対するハーフミラー情報を示す図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

（撮像装置の構成）
図１は、本発明を実施した撮像装置の一例としての、レンズ交換式デジタルカメラ本体（以下、カメラ本体という）１００、およびカメラ本体１００に対して着脱可能に取り付けられる撮影レンズ５００の構成図である。

撮影レンズ５００は、撮影光学系を有し、本実施例では、焦点距離が可変なズームレンズである。被写体からの光束は第１レンズ群５０１、第２レンズ群５０２、および第３レンズ群５０３を透過し、カメラ本体１００内の撮像面に被写体像が結像される。第２レンズ群５０２は、光軸に沿って進退して変倍を行うバリエータとして機能する。第３レンズ群５０３は、光軸に沿って進退して焦点調節を行うフォーカスレンズとして機能する。第３レンズ群５０３は、ステッピングモーターなどを用いたフォーカス駆動部５０４によって駆動される。虹彩絞り５０５は、撮影レンズ５００に入射する光量を調節するための複数の絞り羽根で構成されている。絞り駆動部５０６は、絞り羽根を所定のＦナンバになるまで絞り込み駆動する。レンズＣＰＵ５０７は、レンズ側通信端子５０８およびカメラ側通信端子１１３を介してカメラＣＰＵ１０４と通信し、各種情報を送受信するとともに、カメラＣＰＵ１０４からの指令に基づいてフォーカス駆動部５０４や絞り駆動部５０６を駆動制御する。

撮影レンズ５００のズームレンジや開放Ｆナンバは撮影意図に応じて設計されるが、本発明の実施例においては、開放Ｆナンバはズーム状態やフォーカス状態によらず、Ｆ２の一定値となるように構成されている。一方、射出瞳と撮像面間との距離、いわゆる射出瞳距離はズーム状態およびフォーカス状態に応じて変化する。

撮影レンズ５００内の各レンズ群を透過した光束は、カメラ本体１００に備え付けられた光束分割手段としてのビームスプリッタ１０３に入射する。ビームスプリッタ１０３はカメラ内に固定されており、本実施例においてはハーフミラーである。ビームスプリッタ１０３によって分割された光束の一方の光束はビームスプリッタ１０３を透過して第１の撮像面に被写体像を配置された第１撮像素子１０１に導かれる。他方の光束はビームスプリッタ１０３で反射して第２の撮像面に配置された第２撮像素子１０２に導かれる。なお、ビームスプリッタ１０３は、ハーフミラーと同様に入射する光束を分割することができるものであれば、必ずしもハーフミラーでなくてもよい。

第１および第２の撮像面は、撮影レンズ５００から見て光学的に等価な位置にある。言い換えると、第１の撮像面に配置された第１撮像素子１０１と第２の撮像面に配置された第２撮像素子１０２はそれぞれ、撮影レンズ５００を介して、被写体に対して光学的に共役な結像面にある。

第１および第２の撮像面には、ビームスプリッタ１０３の透過率および反射率に応じた明るさの被写体像が形成される。ハーフミラーは理想的な平面で、かつ光束が透過する領域の屈折率も一様であることが望ましいが、現実にはある程度のうねりや屈折率分布が生じているため、ビームスプリッタ１０３を透過および反射した光束により形成される画像は画質が低下する場合がある。そして、ハーフミラーが薄板ガラスで構成される場合、画質低下の程度は、透過した光束により形成される画像と比較し、反射した光束により形成される画像において相対的に大きい。そこで、本実施例では、透過側の第１撮像素子１０１を高解像度記録用撮像素子、すなわち主として静止画を撮影するための撮像素子とし、反射側の第２撮像素子１０２は静止画よりも記録画素数が少ない動画の撮影に用いる撮像素子としている。しかしながら、本発明はこの形態に限定されるものではなく、ビームスプリッタ１０３の特性やその他の条件に応じて第１撮像素子１０１と第２撮像素子１０２の位置を入れ替えてもよい。

ＣＭＯＳエリアセンサからなる第１撮像素子１０１および第２撮像素子１０２は、被写体像を電気信号に変換するマトリクス状に配置された画素部によって構成される。電気信号に変換された画素情報はカメラＣＰＵ１０４で画像信号や焦点検出信号を得るための各種補正処理や、得られた画像信号をライブビュー画像や記録画像に変換するための処理等が行われる。なお、本実施例においてはこれらの処理等をカメラＣＰＵ１０４で行っているが、これらの処理等は専用の回路を設けて当該回路によって処理してもよい。撮像素子駆動手段１１４は、第２撮像素子１０２を光軸方向へ移動させるための手段である。第１撮像素子１０１および第２撮像素子１０２は、上述のように、光学的に共役な結像面に配されるが、組立上の誤差や、後述する収差の影響による最良像面の差により、共役な面に配置することは困難で、所定の誤差を有する。２つの撮像素子で同時に画像を得る際に、撮影レンズ５００に設けられた焦点調節手段だけでは、２つの撮像素子に対して、ピント調整することができないため、撮像素子駆動手段１１４を設けている。撮像素子駆動手段１１４は、第２撮像素子１０２を駆動してもよいし、ビームスプリッタ１０３を移動してもよい。また、各撮像素子には、赤外カットフィルタや光学的ローパスフィルタなどが一体的に配置されている。

操作部材１０５は、カメラの撮影モードや撮影条件等を設定するための各種部材である。記憶媒体１０６は、フラッシュメモリであり、撮影した静止画や動画を記録するための媒体である。ファインダ内表示器１０７は、有機ＥＬディスプレイや液晶ディスプレイ等の小型で高精細な表示手段としてのディスプレイ１０８と接眼レンズ１０９とで構成される。外部表示器１１０は、裸眼視に適した画面サイズの有機ＥＬディスプレイや液晶ディスプレイが用いられる。カメラ本体１００の設定状態、ライブビュー画像、撮影済み画像等の各種情報は、ファインダ内表示器１０７や外部表示器１１０に表示される。

フォーカルプレンシャッタ１１１は、第１撮像素子１０１の前面に配置されている。シャッタ駆動部１１２は、例えば、モーターであり、シャッタの羽根を駆動制御することで、静止画を撮像する際の露光時間を制御する。カメラ側通信端子１１３は、撮影レンズ５００を装着するためのカメラマウント部に設けられている。カメラ側通信端子１１３は、レンズマウント部に設けられたレンズ側通信端子５０８とともにカメラＣＰＵ１０４とレンズＣＰＵ５０７の間でやりとりされる情報を送受信する。

図２は、第１撮像素子１０１の構成図である。本実施例では、第１および第２撮像素子１０１、１０２は、画素ピッチおよび１つのマイクロレンズに対応する光電変換部の数が異なる。それ以外の機能、構成については類似である。

図２（ａ）は、第１の撮像面の中央近傍（像高０付近）における一部の画素部を撮影レンズ５００側から見た平面図である。第１撮像素子１０１が有する複数の画素部はそれぞれ、撮像面上の水平方向（ｘ）、垂直方向（ｙ）ともに４μｍの大きさを有する正方形の画素部であり、画素部の構造は実質的にすべて同じである。第１撮像素子１０１は、画素部が水平方向に６０００画素、垂直方向に４０００画素配列された、有効画素数２４００万画素の撮像素子である。撮像領域の大きさは画素部の大きさ、すなわち画素ピッチに画素数を乗じれば求めることができ、この場合は水平方向に２４ｍｍ、垂直方向に１６ｍｍとなる。各画素部には、ＲＧＢのカラーフィルタがモザイク状に配列されている。

図２（ｂ）は、画素部の断面図である。ＣＭＯＳイメージセンサの基体を成すシリコン基板１０１ｄ内には、光電変換部１０１ａ、１０１ｂが設けられている。また、シリコン基板１０１ｄ内には、各光電変換部で発生した光電子を電圧に変換して外部に読み出す不図示のスイッチングトランジスタ等が形成され、光電変換後の出力信号は配線層１０１ｅによって読み出される。

配線層１０１ｅは、透明な層間膜１０１ｆによって絶縁されている。オンチップマイクロレンズ１０１ｃの下には、色分離用のカラーフィルタ１０１ｇが設けられている。オンチップマイクロレンズ１０１ｃの形状は、その焦点位置が光電変換部１０１ａ、１０１ｂの上面に略一致するように決められる。そのため、光電変換部１０１ａ、１０１ｂはオンチップマイクロレンズ１０１ｃを介して撮影光学系の射出瞳近傍に逆投影され、逆投影像が位相差検出方式の焦点検出を行う際の焦点検出瞳として機能する。位相差検出方式の焦点検出を行う際は、光電変換部１０１ａ、１０１ｂの出力信号を個別に処理して一対２像の位相差像を生成する。焦点検出手段としてのカメラＣＰＵ１０４は、２像の相対的な像ずれ量から撮像面における被写体像のデフォーカス量を算出する。また、加算制御手段としてのカメラＣＰＵ１０４は、光電変換部１０１ａ、１０１ｂの信号を加算して静止画または動画の記録用画像信号またはライブビュー用（表示用）の画像信号を得る。なお、加算処理は専用の回路を設けて行ってもよいし、光電変換部１０１ａ、１０１ｂから個別に出力された信号が第１撮像素子１０１内で加算され、出力されてもよい。

図３は、第２撮像素子１０２の構成図であり、第２の撮像面の中央近傍（像高０付近）における一部の画素部を撮影レンズ５００側から見た平面図である。第２撮像素子１０２が有する複数の画素部はそれぞれ、撮像面上の水平方向（ｘ）、垂直方向（ｙ）共に１２μｍの大きさを有する正方形の画素部であり、画素部の構造は実質的にすべて同じである。第２撮像素子１０２は、画素部が水平方向に２０００画素、垂直方向に１３３３画素配列された、有効画素数約２６７万画素の撮像素子である。撮像領域の大きさは画素部の大きさ、すなわち画素ピッチに画素数を乗じれば求めることができ、この場合は水平方向に２４ｍｍ、垂直方向に１６ｍｍとなる。各画素部には、ＲＧＢのカラーフィルタがモザイク状に配列されている。第１撮像素子１０１と比較して、画素ピッチが３倍となっているため、総画素数が１／３となっている。

第２撮像素子１０２の各画素部は、各配線層やオンチップマイクロレンズ、色分離用のカラーフィルタなどは、第１撮像素子１０１と同様に構成されている。第１撮像素子１０１と異なる点として、オンチップマイクロレンズ１０２ｊの下に、９つの光電変換部を有する。これにより、第１撮像素子１０１に対して、受光する光束の角度分解能を上げることができる。第１撮像素子１０１では、撮影光学系の射出瞳近傍に生成される逆投影像が、２つの光電変換部１０１ａ、１０１ｂに対応する。一方、第２撮像素子１０２では、撮影光学系の射出瞳近傍に生成される逆投影像が、９つの光電変換部１０２ａ〜１０２ｉに対応する。これにより、位相差検出方式の焦点検出を行う際の焦点検出瞳の構成方法が、水平方向に分割、垂直方向に分割など複数考えられる。焦点検出手段としてのカメラＣＰＵ１０４は、２像の相対的な像ずれ量から撮像面における被写体像のデフォーカス量を算出する。また、加算制御手段としてのカメラＣＰＵ１０４は、光電変換部１０２ａ〜１０１ｉの信号を全て、または選択的に加算して静止画または動画の記録用画像信号またはライブビュー用（表示用）の画像信号を得る。なお、加算処理は専用の回路を設けて行ってもよいし、光電変換部１０２ａ〜１０２ｉから個別に出力された信号が第２撮像素子１０２内で加算され、出力されてもよい。

本実施例の第１および第２撮像素子１０１、１０２は、２種類の読み出しモードを有する。第１の読み出しモードは、全画素読み出しモードと称するもので、記録用の静止画や動画を撮像するためのモードである。このモードでは、全画素部の信号が読み出される。第２の読み出しモードは、間引き読み出しモードと称するもので、記録用の静止画よりも画素数の少ないライブビュー画像の表示を行うためのモードである。ライブビュー画像とは、各撮像素子で取得された画像をファインダ内表示器１０７や外部表示器１１０にリアルタイムで表示するための画像である。ライブビューに必要な画素数は全画素数よりも少ないため、ｘ方向およびｙ方向ともに所定比率に間引いた画素部のみから信号を読み出すことで、信号処理回路の処理負荷を軽減するとともに、消費電力の低減にも寄与する。また、第１および第２のいずれの読み出しモードにおいても、各画素部が備える所定数の光電変換部の信号は独立して読み出しされるため、焦点検出のための信号生成が可能となっている。読み出しモードに応じて、読み出された信号の画素数・画素ピッチが変わる。

なお、本実施例では、第１撮像素子１０１は主として静止画撮影用に用いられるが、動画撮影に用いられてもよい。例えば、第２撮像素子１０２で動画撮影中に、第１撮像素子１０１は間引き読み画像を低解像度動画として記録することも可能である。同様に、第２撮像素子１０２は主として動画撮影用に用いられるが、静止画撮影に用いられてもよい。例えば、動画記録中に所望の１フレームを静止画として記録することも可能である。

次に、画素部の構造と焦点検出瞳について説明する。図４は、各撮像素子の光電変換部と焦点検出瞳の対応関係を説明する図である。

図４（ａ）および図４（ｂ）は、撮影光学系の射出瞳面と、像高ゼロすなわち像面中央近傍に配置された第１撮像素子１０１の光電変換部１０１ａ、１０１ｂとの共役関係を説明する図である。光電変換部と撮影光学系の射出瞳面は、オンチップマイクロレンズ１０１ｃによって共役関係となるように設計されている。撮影光学系の射出瞳は、一般的に光量調節用の虹彩絞りが置かれる面と略一致する。

本実施例の撮影レンズ５００は、変倍機能を有するズームレンズであるが、光学タイプによっては変倍操作を行うと、射出瞳の像面からの距離や大きさが変化する。図４（ａ）における撮影光学系は、焦点距離が広角端と望遠端の中間、すなわちＭｉｄｄｌｅの状態を示している。これを標準的な射出瞳距離Ｚｅｐと仮定して、オンチップマイクロレンズ１０１ｃの形状や、像高（Ｘ、Ｙ座標）に応じた偏心パラメータの最適設計がなされる。

図４（ａ）において、鏡筒部材５０１ｒ、５０３ｒはそれぞれ、第１レンズ群５０１および第３レンズ群５０３を保持する。開口板５０５ａは絞り開放時の開口径を規定し、絞り羽根５０５ｂは絞り込み時の開口径を調節するための絞り羽根である。なお、撮影レンズ５００を通過する光束の制限部材として作用する鏡筒部材５０１ｒ、開口板５０５ａ、絞り羽根５０５ｂ、および鏡筒部材５０３ｒは、像面から観察した場合の光学的な虚像を示している。また、絞り５０５の近傍における合成開口をレンズの射出瞳と定義し、前述のように像面から射出瞳までの距離をＺｅｐとする。

２つの光電変換部１０１ａ、１０１ｂは、オンチップマイクロレンズ１０１ｃによって撮影光学系の射出瞳面に投影される。換言すると、撮影光学系の射出瞳（投影像ＥＰ１ａ、ＥＰ１ｂ）は、オンチップマイクロレンズ１０１ｃを介して、光電変換部１０１ａ、１０１ｂの表面に投影される。

図４（ｂ）は、撮影光学系の射出瞳面上における、光電変換部の投影像を示しており、光電変換部１０１ａ、１０１ｂに対する投影像はそれぞれ、ＥＰ１ａ、ＥＰ１ｂとなる。また、本実施例において、第１撮像素子１０１は、２つの光電変換部１０１ａ、１０１ｂのいずれか一方の出力と、両方の和の出力を得ることができる画素部を有する。両方の和の出力は、撮影光学系の略全瞳領域である投影像ＥＰ１ａ、ＥＰ１ｂの両方の領域を通過した光束を光電変換して出力された信号である。

図４（ａ）において、撮影光学系を通過する光束（の最外部）をＬで示すと、光束Ｌは、開口板５０５ａで規制されており、投影像ＥＰ１ａ、ＥＰ１ｂは、撮影光学系においてケラレがほぼ発生していない。図４（ｂ）では、図４（ａ）の光束Ｌにより形成される円ＴＬの内部に、光電変換部１０１ａ、１０１ｂの投影像ＥＰ１ａ、ＥＰ１ｂの大部分が含まれていることからも、ケラレがほぼ発生していないことがわかる。光束Ｌは、開口板５０５ａでのみ制限されているため、円ＴＬは開口板５０５ａと言い換えることができる。この際、像面中央では投影像ＥＰ１ａ、ＥＰ１ｂのケラレ状態は、光軸に対して対称となり、光電変換部１０１ａ、１０１ｂが受光する光量は互いに等しい。

図４（ｃ）は、図４（ａ）に対して、第２撮像素子１０２の光電変換部１０２ａ〜１０２ｉに関連する部分のみが異なる。３つの光電変換部１０２ｄ、１０２ｅ、１０２ｆは、オンチップマイクロレンズ１０２ｎによって撮影光学系の射出瞳面に投影される。換言すると、撮影光学系の射出瞳（投影像ＥＰ２ｄ、ＥＰ２ｅ、ＥＰ２ｆ）は、オンチップマイクロレンズ１０２ｎを介して、光電変換部１０２ｄ、１０２ｅ、１０２ｆの表面に投影される。

図４（ｄ）は、撮影光学系の射出瞳面上における、光電変換部の投影像を示しており、光電変換部１０２ａ〜１０２ｉに対する投影像はそれぞれ、ＥＰ２ａ〜ＥＰ２ｉとなる。また、本実施例において、第２撮像素子１０２は、９つの光電変換部１０２ａ〜１０２ｉの各々の出力と、全ての和の出力を得ることができる画素部を有する。全ての和の出力は、撮影光学系の略全瞳領域である投影像ＥＰ２ａ〜ＥＰ２ｉの全領域を通過した光束を光電変換して出力された信号である。

図４（ｃ）において、撮影光学系を通過する光束（の最外部）をＬで示すと、光束Ｌは、開口板５０５ａで規制されており、投影像ＥＰ２ｄ、ＥＰ２ｅ、ＥＰ２ｆは、撮影光学系においてケラレがほぼ発生していない。図４（ｄ）では、図４（ｃ）の光束Ｌにより形成された円ＴＬの内部に、光電変換部１０２ａ〜１０２ｉの投影像ＥＰ２ａ〜ＥＰ２ｉの大部分が含まれていることからも、ケラレがほぼ発生していないことがわかる。光束Ｌは、開口板５０５ａでのみ制限されているため、円ＴＬは、開口板５０５ａと言い換えることができる。この際、像面中央では各投影像のケラレ状態は、光軸に対して対称となる。

ここで、位相差検出方式の焦点検出を行う場合の画素信号について説明する。本実施例では、オンチップマイクロレンズ１０１ｃと、分割された光電変換部１０１ａ、１０１ｂとにより、撮影光学系の射出光束を瞳分割する。そして、同一行上に配置された所定範囲内の複数の画素において、光電変換部１０１ａの出力をつなぎ合わせて編成したものをＡＦ用Ａ像とする。同様に、光電変換部１０１ｂの出力をつなぎ合わせて編成したものをＡＦ用Ｂ像とする。光電変換部１０１ａ、１０１ｂの出力は、ベイヤー配列の緑、赤、青、緑の出力を信号加算処理したものであり、疑似的に輝度（Ｙ）信号として算出されたものが用いられる。ただし、赤、青、緑の色ごとに、ＡＦ用Ａ像、Ｂ像を編成してもよい。このように生成したＡＦ用Ａ像とＢ像の相対的な像ずれ量を相関演算により検出することにより、所定領域の焦点ずれ量、すなわちデフォーカス量を検出することができる。

第２撮像素子１０２についても、１対の像信号を取得する。第２撮像素子１０２は、第１撮像素子１０１より瞳分割数が多いため、像信号の構成方法は、複数考えられる。例えば、光電変換部１０２ａ、１０２ｄ、１０２ｇの出力を加算し１つの信号とし、それをつなぎ合わせて編成したものをＡＦ用Ｃ像とする。同様に、光電変換部１０２ｃ、１０２ｆ、１０２ｉの出力を加算し１つの信号とし、それをつなぎ合わせて編成したものをＡＦ用Ｄ像とする。また、ＡＦ用Ｃ像のために光電変換部１０２ｄの出力、ＡＦ用Ｄ像のために光電変換部１０２ｆの出力を使用してもよい。また、ＡＦ用Ｃ像のために左側６個の光電変換部（１０２ａ、１０２ｂ、１０２ｄ、１０２ｅ、１０２ｇ、１０２ｈ）の出力、ＡＦ用Ｄ像のために右側６個の光電変換部（１０２ｂ、１０２ｃ、１０２ｅ、１０２ｆ、１０２ｈ、１０２ｉ）の出力を使用してもよい。また、ＡＦ用Ｃ像、Ｄ像に用いる光電変換部の個数は揃う必要はない。撮像素子上で像高が高い個所では、撮影光束のビネッティングが発生するため、ビネッティング状況に基づいて、ＡＦ用Ｃ像、Ｄ像に用いる光電変換部を選択してもよい。選択後の光量の差、すなわち信号出力の大きさの差があった場合でも、後述するシェーディング補正により、信号出力の大きさを略等しくするため、問題はない。第１撮像素子１０１のＡＦ用Ａ像、Ｂ像や第２撮像素子１０２のＡＦ用Ｃ像、Ｄ像の信号は、各撮像素子の水平方向へ像ずれが発生するように構成されている。ただし、第２撮像素子１０２は、垂直方向へ像ずれが発生する１対の像信号も取得できる。本実施例では、垂直方向へ像ずれが発生する１対の信号として、ＡＦ用Ｅ像、Ｆ像を取得する。ＡＦ用Ｅ像、Ｆ像に用いる光電変換出力として種々のものが考えられるのは上述のとおりである。
（共役関係の説明）
図２から図４を参照して説明したように、第１および第２撮像素子１０１、１０２は、撮像のみの機能だけではなく焦点検出装置としての機能も有する。また、焦点検出方法としては、射出瞳を分割した光束を受光する焦点検出用画素を備えているため、位相差検出方式の焦点検出を行うことが可能である。

次に、図５を参照して、本実施例の焦点検出領域について説明する。図５は、第１および第２撮像素子１０１、１０２の画素が形成された、点線で示される撮影範囲２１７内における焦点検出領域を示す図である。本実施例では、撮影範囲２１７の中央部と左右２箇所の計３箇所の焦点検出領域が設けられている。本実施例では、焦点検出領域内で第１および第２撮像素子１０１，１０２から得られた信号に基づいて、撮像面位相差ＡＦ（位相差検出方式ＡＦ）が行われる。図５の焦点検出領域は、第１撮像素子１０１の水平方向（横方向）へ瞳分割を行う画素を含む焦点検出部を備えている。また、第２撮像素子１０２の水平方向（横方向）および垂直方向（縦方向）へ瞳分割を行う画素を含む焦点検出部を備えている。

本実施例では、撮影範囲２１７を共通としているが、別々に分けてもよい。例えば、静止画撮影と動画撮影を、第１および第２撮像素子１０１、１０２で同時に行う場合などは、静止画像と動画像のアスペクト比など異なる撮影範囲を有してもよい。このような場合には、撮影画像を表示する際に、各撮像素子の撮影範囲を枠で明示するなどにより、撮影者に知らしめることができる。

撮影範囲２１７内には、撮像面位相差ＡＦを行う３つの横方向の焦点検出領域２１８ａｈ、２１８ｂｈ、２１８ｃｈと、縦方向の焦点検出領域２１８ａｖ、２１８ｂｖ、２１８ｃｖが設けられている。第１撮像素子１０１は、焦点検出領域２１８ａｈ、２１８ｂｈ、２１８ｃｈに対応する領域から焦点検出信号を得ることにより、被写体のコントラストを有する方向に関して、水平方向のみの焦点検出を行う。第２撮像素子１０２は、焦点検出領域２１８ａｈ、２１８ｂｈ、２１８ｃｈに対応する領域から焦点検出信号を得ることにより、被写体のコントラストを有する方向に関して、水平方向の焦点検出を行う。また、第２撮像素子１０２は、焦点検出領域２１８ａｖ、２１８ｂｖ、２１８ｃｖに対応する領域から焦点検出信号を得ることにより、被写体のコントラストを有する方向に関して、垂直方向の焦点検出を行う。

表示枠２１９ａ、２１９ｂ、２１９ｃは、外部表示器１１０における焦点検出領域の範囲を示している。表示枠を焦点検出領域と概ね同じサイズにすることにより、撮影者が表示枠内に配置した被写体に対して適切に焦点検出を行うことができる。
（撮影フロー）
図６を参照して、本実施例の撮影処理について説明する。図６は、本実施例における撮影処理を示すメインフローチャートである。撮影者がカメラ本体１００の電源スイッチをオン操作すると、カメラＣＰＵ１０４はカメラ本体１００内の各アクチュエータや第１および第２撮像素子１０１、１０２の動作確認を行うとともに、メモリ内容や実行プログラムの初期化を行う。

ステップＳ１０１では、カメラＣＰＵ１０４は、レンズＣＰＵ５０７と通信を行い、撮影レンズの開放Ｆナンバ、焦点距離、射出瞳距離ＰＬ、フォーカスレンズ繰り出し量とピント変化量の比例定数であるフォーカス敏感度等の情報を受信する。

ステップＳ１０２では、カメラＣＰＵ１０４は、カメラ本体１００が静止画撮影モード（静止画撮影のみを行うモード、または静止画／動画同時撮影モード）に設定されているか否かを判定する。静止画撮影モードに設定されている場合、ステップＳ１０３に進み、静止画撮影モードに設定されていない、すなわち動画のみ撮影するモードに設定されている場合、ステップＳ１０４に進む。

ステップＳ１０３では、カメラＣＰＵ１０４は、静止画撮影用の第１撮像素子１０１を被写体情報取得モードで駆動させ、動画撮影用の第２撮像素子１０２をライブビューモードで駆動させる。

ライブビューモードとは、撮像素子で取得された画像をファインダ内表示器１０７や外部表示器１１０にリアルタイムで表示するモードである。記録用画像の画素数に対して各表示器の画素数は水平方向および垂直方向ともに少ないため、ライブビューモードでは撮像素子から読み出す際に、水平方向および垂直方向ともに画素の間引きを行い、撮像素子や信号処理回路の消費電力を低く抑えている。また、ライブビューモードで読み出した画像信号を用いて位相差検出も行うが、焦点検出信号の分解能維持のため、焦点検出領域のみ間引き読みせずに全画素の情報を読み出してもよい。

被写体情報取得モードとは、被写体のパターンの空間周波数特性や分光、コントラストの方向などの被写体情報や、焦点検出情報を取得するためのモードである。焦点検出範囲が、複数あり、領域が広い場合には、第２の読み出しモードで駆動する。一方、撮影者の指示や被写体検出などにより、焦点検出領域が限定される場合には、第１の読み出しモードで焦点検出領域の近傍のみを、水平、垂直方向の間引きを行わずに、出力信号を得る。また、必要に応じて、フレームレートを上げ、情報取得の時間間隔を縮めることにより、より多くの被写体情報を得る。領域を限定して信号を取得することにより、撮像素子や信号処理回路の消費電力を低く抑えている。

ステップＳ１０４では、カメラＣＰＵ１０４は、動画のみの撮影に対応するため、第２撮像素子１０２を駆動する。本実施例では、動画のみの撮影では、静止画撮影用の第１撮像素子１０１を駆動させない。これは、動画撮影で得られる画像の解像度は第２撮像素子１０２の画素ピッチで制限されるため、より高周波の情報を得ても、有効に活用できない可能性があるためである。これにより消費電力の抑制が可能となる。ただし、静止画撮影用の第１撮像素子１０１を、動画撮影用の第２撮像素子１０２よりもフレームレートを上げるなどして、より多くの被写体情報を得るように構成してもよい。

ステップＳ１０５では、カメラＣＰＵ１０４は、第２撮像素子１０２で取得した信号を表示用信号に変換し、ファインダ内表示器１０７または外部表示器１１０に送信してライブビュー表示を開始する。

ステップＳ１０６では、カメラＣＰＵ１０４は、第２撮像素子１０２の駆動により得られる画像信号の明るさを判断し、ライブビュー時の絞り制御を行う。第２撮像素子１０２の蓄積時間や絞り制御は、どちらの記録画像を優先するかで決定すればよい。動画は、フレームレートを決定すると、記録画像における移動被写体の連続性に鑑みると、蓄積時間に制約が出る。そのため、適切な露光状態を調整するために、調節可能なパラメータは絞りと信号のゲイン調整のみとなる。静止画は、撮影画像に対する撮影者の設定はあるが、静止画撮影前の待機状態においては、絞り、蓄積時間、ゲインの設定に自由度がある。これらの要件を踏まえて、絞り制御を行う。

ステップＳ１０７では、カメラＣＰＵ１０４は、焦点検出処理を実行する。本実施例では、２つの撮像素子による焦点検出、および、被写体情報の取得を行う。また、被写体情報を用いて焦点検出結果の補正も行う。また、焦点検出結果に基づき、レンズ駆動や、合焦表示なども行う。

ステップＳ１０８では、カメラＣＰＵ１０４は、動画撮影トリガボタンがオン操作されたか否かを判断する。オン操作された場合、ステップＳ１０９に進み、オン操作されていない場合、ステップＳ１１０に進む。

ステップＳ１０９では、カメラＣＰＵ１０４は、動画用の画像処理を行い、動画の生成を開始する。生成された動画は、記録される。

ステップＳ１１０では、カメラＣＰＵ１０４は、静止画開始トリガボタンがオン操作されたか否かを判断する。本実施例では、動画用ライブビュー、または動画記録時に静止画撮影が指示されると、第１撮像素子１０１による静止画の記録を可能としている。オン操作された場合、ステップＳ１１１に進み、オン操作されていない場合、ステップＳ１１２に進む。なお、カメラ本体１００が動画のみを撮影するモードに設定されている場合、ステップＳ１１０の処理は省略してもよい。

ステップＳ１１１では、カメラＣＰＵ１０４は、静止画撮影を実行する。まず、カメラＣＰＵ１０４は、静止画撮影用のＦナンバをカメラ側通信端子１１３およびレンズ側通信端子５０８を介してレンズＣＰＵ５０７に送信する。次に、撮影レンズ５００は、絞り駆動部５０６を駆動制御し、虹彩絞りの開口径を静止画撮影用のＦナンバに対応する値に制御する。動画撮影優先の場合、この処理はスキップする。その後、ライブビュー用に開放状態となっていたフォーカルプレンシャッタを閉鎖状態にリセット駆動し、第１撮像素子１０１で静止画撮影を行うための電荷蓄積動作を開始する。次に、所定の露出演算プログラムで計算された静止画撮影用のシャッタ秒時に基づき、フォーカルプレンシャッタの先幕および後幕を駆動制御し、第１撮像素子１０１に所定の露光量を与える。フォーカルプレンシャッタの走行が完了すると、第１撮像素子１０１の蓄積動作を終了し、電荷転送を行う。

ステップＳ１１１で行われる静止画記録は、１枚の画像を記録する単写モードでもよいし、複数の画像を記録する連写モードでもよい。本実施例では、連写モードを想定して、以降の説明を行う。

ステップＳ１１２では、カメラＣＰＵ１０４は、動画撮影トリガボタンがオフ操作されたか否かを判断する。オフ操作されていない場合、すなわちオン状態が継続されている場合、ステップＳ１０５からステップＳ１１１までの処理を繰り返し実行し、動画用のＡＦ制御や動画記録を継続するとともに、静止画の割り込みも許可する。オフ操作された場合、撮影処理を終了する。

本実施例では、静止画撮影用と動画撮影用の２つの撮像素子から得た信号で、焦点検出や撮像を行う。焦点検出や撮像の指示は、静止画と動画で異なる操作部材を用意して対応する。これにより、静止画と動画の記録タイミングを独立して制御できるだけでなく、焦点検出の際も、静止画の焦点検出では、高速に焦点検出し、動画の焦点検出では低速に焦点検出するなどの、異なる制御を行うことができる。

次に、図７を参照して、本実施例の焦点検出処理（ＡＦ処理）について説明する。図６は、７焦点検出処理のフローチャートである。図７の各ステップは、主に、カメラＣＰＵ１０４により実行される。

ステップＳ９０１では、カメラＣＰＵ１０４は、焦点検出領域を設定する。本実施例では、カメラＣＰＵ１０４は、焦点検出領域２１９ａ、２１９ｂ、２１９ｃの選択を行う。選択は、撮影者の指示に基づいてもよいし、事前の焦点検出結果や被写体認識結果などに基づいてもよい。

ステップＳ９０２では、カメラＣＰＵ１０４は、選択された焦点検出領域に関して、像信号を取得する。カメラＣＰＵ１０４は、第１撮像素子１０１から、ＡＦ用Ａ像、Ｂ像、第２撮像素子１０２から、ＡＦ用Ｃ像、Ｄ像、Ｅ像、Ｆ像を取得する。

ステップＳ９０３では、カメラＣＰＵ１０４は、信号の各種補正とフィルタ処理を行う。カメラＣＰＵ１０４は、まず、信号出力特性に応じたオフセットやゲインの調整を行う。その後、各ＡＦ用信号の撮影レンズ５００のビネッティングの影響による光量差を補正する、いわゆるシェーディング補正を行う。撮影光学系の射出瞳の光軸上の位置、絞り値、光束を遮る枠情報から求まる光束の範囲と、光電変換部の角度ごとの強度情報から、１対のＡＦ用信号の光量比が求まる。シェーディング補正に用いる補正値は、この光量比の逆数とし、１対の信号に乗じることにより、補正を行う。シェーディング補正に用いる係数は、射出瞳の光軸上の位置、絞り値、光束を遮る枠情報などごとに、ルックアップテーブルを記憶しておけばよい。信号補正を終えると、焦点検出に用いる評価帯域に合わせたデジタルフィルタ処理を行う。一般に、高域を評価すると検出可能なデフォーカス領域が狭くなるため、複数種類の帯域を評価するため、複数のフィルタ処理を行う。第１撮像素子１０１から得られるＡＦ用Ａ像、Ｂ像は、第１撮像素子１０１の画素ピッチが細かいため、より高域評価が可能である。そのため、高域と中域に対応するフィルタ処理を行う。また、第２撮像素子１０２から得られるＡＦ用Ｃ像、Ｄ像、Ｅ像、Ｆ像を使用する場合、低域と超低域のフィルタ処理を行う。

ステップＳ９０４では、カメラＣＰＵ１０４は、対の信号Ｓ１と信号Ｓ２を用いて相関演算により２像の位相差からデフォーカス量を算出する。

相関量算出手段としてのカメラＣＰＵ１０４は、対の焦点検出信号の相関量を算出する。相関演算を行う際に、視野内データ数とシフトデータ数の設定を行う。視野内データとは、相関演算を行う際の窓に相当し、焦点検出を行う領域の広さを決定する。視野内データを大きくすると、より信頼性の高い相関演算結果が得られるが、距離の異なる被写体が同じ焦点検出領域内に存在する、いわゆる遠近競合が発生する頻度が高まる。そのため、被写体の大きさや撮影光学系の焦点距離などの情報をもとに、適切な大きさの焦点検出領域に相当する視野内データに設定する。シフトデータ数は、対の像の位置関係をずらしながら相関量を評価する際の最大ずらし量に相当する。対の像の位置関係のずらし量を大きくすると、より大きなデフォーカス状態の被写体の焦点検出を行うことができる。一方で、Ａ像とＢ像の位置関係のずらし量を大きくすることは、演算量増加につながり、焦点検出演算の時間が長くかかってしまう。そのため、検出したいデフォーカス量と精度に鑑みて、適切に設定する。相関演算に用いる相関量ＣＯＲ（ｈ）は、例えば、以下の式（１）で算出することができる。

式（１）において、対の焦点検出信号を、それぞれＳ１（ｋ）、Ｓ２（ｋ）（１≦ｋ≦Ｐ）としている。ＮＷ１は視野内データに相当し、ｈｍａｘはシフトデータ数に相当する。シフト量ｈについての相関量ＣＯＲ（ｈ）を求めた後、対の像の相関が最も高くなるシフト量ｈ、すなわち、相関量ＣＯＲが最小となるシフト量ｈの値を求める。なお、相関量ＣＯＲ（ｈ）の算出時におけるシフト量ｈは整数とするが、相関量ＣＯＲ（ｈ）が最小となるシフト量ｈを求める場合には、デフォーカス量の精度を向上させるため、適宜補間処理を行いサブピクセル単位の値（実数値）を求める。対の信号としては、ＡＦ用Ａ像とＢ像、ＡＦ用Ｃ像とＤ像、ＡＦ用Ｅ像とＦ像の組み合わせに関して、上記の位相差を算出する。

カメラＣＰＵ１０４は、相関量の算出と同時に、信頼性評価値を算出する。信頼性評価値とは、相関量の極小値が、精度よく算出可能な状況か否かを判定するための評価値である。例えば、相関量ＣＯＲの極小値が十分に小さく、焦点検出信号Ｓ１、Ｓ２の一致度が高いかどうか、相関量ＣＯＲの極小値近傍の相関量ＣＯＲの変化が大きいかどうかなどを評価値とする。また、焦点検出信号Ｓ１、Ｓ２のピークボトムを用いてもよい。

カメラＣＰＵ１０４は、相関量波形の極小値検出を行う。公知のサブピクセル演算等を行い、精度よく検出する。相関量の差分値ＤＣＯＲは、以下の式（２）に従って算出される。

ＤＣＯＲ（ｈ）＝ＣＯＲ（ｈ）−ＣＯＲ（ｈ−１） （２）
カメラＣＰＵ１０４は、相関量の差分値ＤＣＯＲを用いて、相関量ＣＯＲの差分量の符号が変化するシフト量ｄｈを、相関量ＣＯＲ（ｈ）が最小となるシフト量ｈとして算出する。差分量の符号が変化する直前のｈの値をｈ１、符号が変化したｈの値をｈ２（ｈ２＝ｈ１＋１）とすると、シフト量ｄｈは以下の式（３）に従って算出される。

ｄｈ＝ｈ１＋｜ＤＣＯＲ（ｈ１）｜／｜ＤＣＯＲ（ｈ１）−ＤＣＯＲ（ｈ２）｜ （３）
以上のようにして相関演算手段としてのカメラＣＰＵ１０４は、対の像の相関が最大となるシフト量ｄｈをサブピクセル単位で算出し、得られたシフト量ｄｈに対して、敏感度を乗じることにより、デフォーカス量に換算する。なお、２つの１次元像信号の位相差を算出する方法は、ここで説明したものに限らず、公知の任意の方法を用いることができる。

ステップＳ９０５では、カメラＣＰＵ１０４は、被写体情報を抽出する。被写体情報とは、後述する焦点検出結果の補正に用いる情報で、被写体の空間周波数特性や分光（色）やコントラストの方向などに関する情報である。

ステップＳ９０６では、カメラＣＰＵ１０４は、被写体情報に対応した補正量（ＢＰ量）を算出する。

ステップＳ９０７では、カメラＣＰＵ１０４は、検出したデフォーカス量に対して、補正を行う。

ステップＳ９０８では、カメラＣＰＵ１０４は、得られたデフォーカス量の中から信頼性の高い検出結果の選択を行う。本実施例では、第１撮像素子１０１から得られたＡＦ用Ａ像、Ｂ像から第１の焦点検出結果、第２撮像素子１０２から得られたＡＦ用Ｃ像、Ｄ像から第２の焦点検出結果、第２撮像素子１０２から得られたＡＦ用Ｅ像、Ｆ像から第３の焦点検出結果が得られる。カメラＣＰＵ１０４は、信頼性評価値から、信頼性の高い結果を選択するとともに、被写体情報に鑑みて、適切な検出結果を選択する。例えば、被写体情報として、高周波成分が多い場合、第１撮像素子１０１から得られる第１の焦点検出結果を優先し、コントラスト方向が垂直方向の成分が多い場合、第２撮像素子１０２から得られる第３の焦点検出結果を優先したりする。また、検出されるデフォーカス量が大きい場合は、評価帯域が低域の方が、信頼性が高いため、検出されたデフォーカス量から、どの焦点検出結果を用いるかを決定してもよい。

ステップＳ９０９では、カメラＣＰＵ１０４は、選択されたデフォーカス量に基づき、第３レンズ群５０３および第２撮像素子１０２の駆動を行う。本実施例では、第３レンズ群５０３の移動に加えて、第２撮像素子１０２の駆動によっても焦点調節が可能である。これは、ＢＰ量や組み付け時の誤差によって、２つ撮像素子の位置が光学的に共役ではないことに対応するものである。本ステップでは、第１撮像素子１０１から得られた焦点検出結果から、第３レンズ群５０３を駆動する。また、第２撮像素子１０２から得られた焦点検出結果から、第３レンズ群５０３の駆動による焦点調節の過不足分を、第２撮像素子１０２の駆動で補う。第２撮像素子１０２の駆動量は、第１撮像素子１０１から得られた焦点検出結果と、２つの撮像素子の組み付け誤差量やＢＰ量の差分から決定されてもよい。反対に、第３レンズ群５０３の駆動量は、第２の焦点検出結果を用いて決定されてもよい。

ステップＳ９１０では、カメラＣＰＵ１０４は、合焦した旨を撮影者に知らせるために、ディスプレイ１０８やファインダ内表示器１０７に、焦点検出領域に対応した枠などの表示を行う。
（被写体情報の抽出方法）
図８から図１０を参照して、図７のステップＳ９０５の被写体情報抽出処理について説明する。図８は、被写体情報抽出処理を示すフローチャートである。図８の各ステップは、主にカメラＣＰＵ１０４により実行される。カメラＣＰＵ１０４は、第１および第２撮像素子１０１、１０２から得られた信号から被写体情報抽出する、被写体情報抽出手段として機能する。

ステップＳ９０５１では、カメラＣＰＵ１０４は、第１撮像素子１０１から得られた信号を用いて、被写体情報を取得する。設定された焦点検出領域に対応する領域から得られる撮像信号（撮影光学系の略全瞳領域を通過した光束から得られる信号）が用いられる。ベイヤー状態で得られた信号を、ＲＧＢの色ごとに分離し、方向ごとの空間周波数特性が取得される。方向ごとの空間周波数特性を取得する方法として、２次元ＦＦＴを行ってもよいし、数種の帯域の異なるデジタルフィルタ処理を垂直方向に施した信号の信号量（パワー）と水平方向に施した信号の信号量を得てもよい。これにより、焦点検出を行う被写体の色味や周波数成分、コントラストの方向を得ることができる。第１撮像素子１０１では、焦点検出方向は、水平方向のみのため、第１撮像素子１０１のみ用いた焦点検出や撮像を行う場合には、垂直方向の被写体情報の抽出は省略してもよい。

ステップＳ９０５２では、カメラＣＰＵ１０４は、第２撮像素子１０２から得られた信号を用いて、被写体情報を取得する。

ここで、図９を参照して、第１および第２撮像素子１０１、１０２で得られる被写体情報の特性を説明する。

第１撮像素子１０１は、画素ピッチが細かいため、必要に応じて、被写体情報取得モードで駆動することにより、空間周波数帯域に関して高域から低域まで幅広い情報を得ることができる。また、被写体情報の取得に特化することにより、蓄積時間を短く設定することも可能で、手振れや被写体ぶれの影響による像信号の高周波成分の損失を抑えて、情報取得を行うことができる。また、コントラストの方向に関しては、上述の方法により、水平方向および垂直方向ともに取得可能である。ただし、焦点検出信号と信号補正処理やデジタルフィルタ処理などを共通に処理することを考える場合、焦点検出には用いない低域信号の算出や垂直方向のフィルタ処理は、別途必要となる。被写体情報の抽出に際し、各種処理を施された対の焦点検出信号の和を用いて行うことにより、演算量の低減を行うことができる。本実施例では、図９で「要演算」と書かれた項目について演算を省略する。

第２撮像素子１０２は、画素ピッチが相対的に大きいため、高域信号を得ることは不可能である。一方、焦点検出用に処理された信号を用いて、低域、超低域の被写体情報は、演算量を増やすことなく得ることができる。同様に、コントラストの方向に関しても、垂直方向の焦点検出信号を得ているため、演算量を増やすことなく、垂直方向の被写体情報を得ることができる。

本実施例では、上述のように、撮像素子の特性に合わせて、取得する被写体情報を分担することにより、演算量を増やすことなく、必要十分な情報を得ることができる。

ステップＳ９０５３では、カメラＣＰＵ１０４は、２つの撮像素子から得られた被写体情報を統合する。本実施例では、色３種類、コントラスト方向２種類、周波数４種類を乗じた２４種類のカテゴリーの情報量の大小関係を得ることができる。本実施例では、２つの撮像素子で得られる情報を異なるものとしたが、例えば、水平方向の中域の信号を、両方の撮像素子から得ることにより、互いの信号量の校正を行うことができる。

ステップＳ９０５４では、カメラＣＰＵ１０４は、焦点検出に用いられる信号の帯域の重み付け（ＡＦ評価帯域）を算出する。ＡＦ評価帯域は、被写体情報、撮影光学系、撮像素子のサンプリング、および評価に用いるデジタルフィルタの影響に鑑みて算出される。また、カメラＣＰＵ１０４は、撮影画像に用いられる信号の帯域の重み付け（撮影画像評価帯域）を算出する。撮影画像評価帯域は、被写体、撮影光学系、撮像素子のサンプリング、および撮影画像の鑑賞者の評価帯域の影響に鑑みて算出される。

図１０を参照して、ＡＦ評価帯域および撮影画像評価帯域の算出について説明する。ＡＦ評価帯域は、対の焦点検出信号ごとに算出される。また、撮影画像評価帯域は、２つの撮像素子ごとに算出される。図１０（ａ）〜（ｆ）はいずれも、空間周波数ごとの強度を示し、横軸に空間周波数、縦軸に強度を示している。

図１０（ａ）は、被写体の空間周波数特性（Ｉ）を示している。横軸上のＦ１、Ｆ２、Ｆ３、Ｆ４は、評価する空間周波数帯域で、Ｆ１からＦ４に向かうにつれ、高域となる。ステップＳ９０５３で取得された被写体情報の高域はＦ４、中域はＦ３、低域はＦ２、超低域はＦ１に相当する。同様の情報が、ＲＧＢごと、コントラスト方向ごとに存在するが、簡単のため、水平方向の緑色の被写体情報を示している。また、Ｎｑは、第１撮像素子１０１の画素ピッチに応じて決定されるナイキスト周波数である。同様に、Ｎｑ２は、第２撮像素子１０２の画素ピッチに応じて決定されるナイキスト周波数である。空間周波数Ｆ１〜Ｆ４、および、ナイキスト周波数Ｎｑについては、図１０（ｂ）〜（ｆ）にも同様に示されている。

本実施例では、被写体の空間周波数特性（Ｉ）は、ステップＳ９０５３で取得された被写体情報を用いる。図１０（ａ）では、被写体の空間周波数特性（Ｉ）は曲線で描かれているが、離散的に空間周波数Ｆ１、Ｆ２、Ｆ３、Ｆ４に対応した値を有し、それをＩ（ｎ）（１≦ｎ≦４）と表す。

図１０（ｂ）は、撮影光学系の合焦時の空間周波数特性（Ｏ）である。この情報は、レンズＣＰＵ５０７から取得してもよいし、カメラＣＰＵ１０４内のＲＡＭなどに記憶しておいてもよい。図１０（ｂ）において、撮影光学系の空間周波数特性（Ｏ）は曲線で描かれているが、離散的に空間周波数Ｆ１、Ｆ２、Ｆ３、Ｆ４に対応した値を有し、それをＯ（ｎ）（１≦ｎ≦４）と表す。

図１０（ｃ）は、光学的ローパスフィルタの空間周波数特性（Ｌ）である。この情報は、カメラＣＰＵ１０４内のＲＡＭに記憶されている。図１０（ｃ）において、光学的ローパスフィルタの空間周波数特性（Ｌ）は曲線で描かれているが、離散的に空間周波数Ｆ１、Ｆ２、Ｆ３、Ｆ４に対応した値を有し、それをＬ（ｎ）（１≦ｎ≦４）と表す。なお、２つの撮像素子間で、異なる光学的ローパスフィルタを用いる場合には、個別に、空間周波数特性を記憶しておく。

図１０（ｄ）は、信号生成による空間周波数特性（Ｍ１、Ｍ２）である。本実施例の撮像素子は、複数種類の読み出しモードを有する。第１の読み出しモード、すなわち全画素読み出しモードでは、信号生成時に空間周波数特性は変化しない。図１０（ｄ）中の空間周波数特性（Ｍ１）は、第１の読み出しモードの際の空間周波数特性である。一方、第２の読み出しモード、すなわち間引き読み出しモードの際には、信号生成時に空間周波数特性が変化する。Ｘ方向の間引きの際に信号の加算を行いＳ／Ｎの改善を図るため、加算によるローパス効果が発生する。図１０（ｄ）中の空間周波数特性（Ｍ２）は、第２の読み出しモードの際の信号生成時の空間周波数特性を示している。ここでは、間引きの影響は加味せず、加算によるローパス効果を示している。図１０（ｄ）において、信号生成による空間周波数特性（Ｍ１、Ｍ２）は曲線で描かれているが、離散的に空間周波数Ｆ１、Ｆ２、Ｆ３、Ｆ４に対応した値を有し、それをＭ１（ｎ）、Ｍ２（ｎ）（１≦ｎ≦４）と表す。

図１０（ｅ）は、撮影画像を鑑賞する際の空間周波数ごとの感度を示す空間周波数特性（Ｄ１）とＡＦ評価信号の処理時に用いるデジタルフィルタの空間周波数特性（Ｄ２）を示している。撮影画像を鑑賞する際の空間周波数ごとの感度は、鑑賞者の個人差や、画像サイズや鑑賞距離、明るさなどの鑑賞環境などにより影響を受ける。本実施例では、代表的な値として、鑑賞時の空間周波数ごとの感度を設定して記憶している。鑑賞距離は、ユーザーから記録画像が表示されるディスプレイまでの距離、ユーザーから記録画像が印字される紙までの距離を意味する。一方、第２の読み出しモードの際には、間引きの影響で、信号の周波数成分の折り返しノイズが発生する。空間周波数特性（Ｄ２）は、その影響を加味したデジタルフィルタの空間周波数特性である。図１０（ｅ）において、鑑賞時の空間周波数特性（Ｄ１）およびデジタルフィルタの空間周波数特性（Ｄ２）は曲線で描かれているが、離散的に空間周波数Ｆ１、Ｆ２、Ｆ３、Ｆ４に対応した値を有し、それをＤ１（ｎ）、Ｄ２（ｎ）（１≦ｎ≦４）と表す。

以上のように、種々の情報を、カメラまたはレンズのいずれかに記憶しておくことにより、撮影画像の評価帯域Ｗ１やＡＦ評価帯域Ｗ２が以下の式（４）、（５）を用いて算出される。

Ｗ１（ｎ）＝Ｉ（ｎ）×Ｏ（ｎ）×Ｌ（ｎ）×Ｍ１（ｎ）×Ｄ１（ｎ）（１≦ｎ≦４） （４）
Ｗ２（ｎ）＝Ｉ（ｎ）×Ｏ（ｎ）×Ｌ（ｎ）×Ｍ２（ｎ）×Ｄ２（ｎ）（１≦ｎ≦４） （５）
図１０（ｆ）は、撮影画像の評価帯域Ｗ１（撮像特性情報）およびＡＦ評価帯域Ｗ２（焦点検出信号の特性情報）を示している。式（４）、（５）で表される計算を行うことにより、撮影画像の合焦状態を決定する因子に対して、空間周波数ごとに、どの程度の影響度合いを有するかを定量化することができる。同様に、焦点検出結果が有する誤差が、空間周波数ごとに、どの程度の影響度合いを有するかを定量化することができる。本実施例では、撮影画像の評価帯域Ｗ１およびＡＦ評価帯域Ｗ２を、ＲＧＢの色ごと、水平と垂直のコントラスト方向に対応した６種類を各々算出する。

図１０では、説明を簡易にするため、４つの空間周波数（Ｆ１〜Ｆ４）を用いて説明したが、データを有する空間周波数の数は、多いほど、撮影画像やＡＦの評価帯域の空間周波数特性を正確に再現することができ、高精度な補正値を算出することができる。
（ＢＰ量の算出サブルーチン）
図１１から図１４を参照して、図７のステップＳ９０６のＢＰ量算出処理について説明する。図１１は、ＢＰ量算出処理を示すフローチャートである。図１１の各ステップは、主に、カメラＣＰＵ１０４により実行される。

ステップＳ９０６１では、カメラＣＰＵ１０４は、図６のステップＳ１０６で決定されている絞り情報を取得する。

ステップＳ９０６２では、カメラＣＰＵ１０４は、図７のステップＳ９０１で設定された焦点検出領域の情報を取得し、撮像素子上の像高を算出する。

ステップＳ９０６３では、カメラＣＰＵ１０４は、撮影レンズ収差情報を取得する。撮影レンズ収差情報は、カメラＣＰＵ１０４の要求に応じて、レンズＣＰＵ５０７から得られる情報であり、被写体の色ごと、コントラスト方向ごと、空間周波数ごとの撮影光学系の結像位置に関する情報である。被写体の色ごとの結像位置に関する情報は、主に色収差に関連する情報である。また、被写体のコントラスト方向ごとの結像位置に関する情報は、主に、非点収差に関連する情報である。また、被写体の空間周波数ごとの結像位置に関する情報は、主に、球面収差に関連する情報である。

図１２を参照して、不図示のレンズ内のメモリに格納されている撮影レンズ収差情報の一例を説明する。図１２（ａ）は、撮影光学系の特性である空間周波数ごとのデフォーカスＭＴＦの極大値を示すフォーカスレンズ位置を示している。横軸は、空間周波数で、図１０で説明した評価帯域（Ｆ１、Ｆ２、Ｆ３、Ｆ４）に対応している。縦軸は、デフォーカスＭＴＦの極大値に対応するフォーカスレンズ位置を示している。図１２（ａ）は、色が緑色で、コントラスト方向が水平方向に関する情報（ＭＴＦ＿ＧＨ）と、色が緑色で、コントラスト方向が垂直方向に関する情報（ＭＴＦ＿ＧＶ）と、を示している。同様に、赤と青に対応した情報を持ち、合計６種類のデフォーカスＭＴＦピーク情報を有する。情報ＭＴＦ＿ＧＨは、４つの周波数に対応して、ＰＧＨ１、ＰＧＨ２、ＰＧＨ３、ＰＧＨ４のフォーカスレンズ位置を情報として有する。情報ＭＴＦ＿ＧＶは、４つの周波数に対応して、ＰＧＶ１、ＰＧＶ２、ＰＧＶ３、ＰＧＶ４のフォーカスレンズ位置を情報として有する。赤（Ｒ）や青（Ｂ）についても同様である。本実施例では、緑色、水平方向の場合の撮影レンズ収差情報を、ＭＴＦ＿ＧＨ（ｎ）（１≦ｎ≦４）、緑色、垂直方向の場合の撮影レンズ収差情報をＭＴＦ＿ＧＶ（ｎ）と表す。また、赤色、水平方向の場合の撮影レンズ収差情報を、赤色、垂直方向の場合の撮影レンズ収差情報をＭＴＦ＿ＲＨ（ｎ）と表す。また、青色、水平方向の場合の撮影レンズ収差情報を、ＭＴＦ＿ＲＶ（ｎ）、青色、垂直方向の場合の撮影レンズ収差情報をＭＴＦ＿ＢＨ（ｎ）、ＭＴＦ＿ＢＶ（ｎ）と表す。

また、撮影レンズ収差情報は、ズームステート、フォーカスステート、絞り値、焦点検出領域の像高によって異なる値を記憶している。本ステップでは、事前に得た絞り値の情報、像高の情報を、レンズに送信し、レンズ側は、現在のズームステート、フォーカスステートと合わせて、撮影レンズ収差情報を選択し、カメラに通信する。例えば、撮影光学系のズーム位置とフォーカス位置と絞り値を８つのゾーンに分割し、その分割ゾーンごと像高に関して３分割して撮影レンズ収差情報を有する。ただし、本発明は、これらに限定されるものではない。

ステップＳ９０６４では、カメラＣＰＵ１０４は、ビームスプリッタ１０３（ハーフミラー）情報による撮影レンズ収差情報の加工を行う。図１２（ｂ）を用いて、撮影レンズ収差情報の加工について説明する。第２撮像素子１０２は、撮影レンズ５００を透過しハーフミラーで反射された光束を受光する。そのため、ハーフミラーが歪みなどを持たず、反射によって新たに収差が発生しない場合には、撮影レンズ収差情報は、加工することなく用いればよい。一方、撮影レンズ５００およびハーフミラーも透過し、第１撮像素子１０１により受光された光束は、所定の屈折率・分散を有する材質のハーフミラーにより、ハーフミラーに入射する光の角度、波長に応じて異なる屈折が発生する。撮影レンズ収差情報は、デフォーカスＭＴＦの極大値と対応するフォーカスレンズ位置情報を有するため、ハーフミラーを透過することで、極大値となるフォーカスレンズ位置がオフセットする。このオフセット量（第１の収差情報）は、色の波長や射出瞳距離や像高で決定するハーフミラーへの光束の入射角度から算出することができる。図１２（ｂ）では、オフセット前の撮影レンズ収差情報ＭＴＦ＿ＧＨ（波線）に対して、ハーフミラーの透過によりオフセットした撮影レンズ収差情報ＭＴＦ＿ＧＨ２を示している。同様に、他の撮影レンズ収差情報もオフセット量を算出し、オフセットした撮影レンズ収差情報ＭＴＦ＿ＧＶ２、ＭＴＦ＿ＲＨ２、ＭＴＦ＿ＲＶ２、ＭＴＦ＿ＢＨ２、ＭＴＦ＿ＢＶ２が算出される。

ステップＳ９０６５では、カメラＣＰＵ１０４は、図８のステップＳ９０５４で算出されたＡＦ評価帯域および撮像評価帯域を、カメラＣＰＵ１０４内のメモリから取得する。ＡＦ評価帯域としては、ＡＦ用Ａ像、Ｂ像に対して、Ｗ１＿ａ（ｎ）、ＡＦ用Ｃ像、Ｄ像に対して、Ｗ１＿ｂ（ｎ）、ＡＦ用Ｅ像、Ｆ像に対して、Ｗ１＿ｃ（ｎ）を取得する。撮像評価帯域としては、第１撮像素子１０１の記録画像に対応したＷ２＿ａ（ｎ）、第２撮像素子１０２の記録画像に対応したＷ２＿ｂ（ｎ）を取得する。これらの評価帯域は、各々が色３種（ＲＧＢ）×コントラスト方向２種（水平、垂直）の計６種ずつ有している。例えば、ＡＦ評価帯域Ｗ１＿ａ（ｎ）は、Ｗ１＿ａ＿ＲＨ（ｎ）、Ｗ１＿ａ＿ＲＶ（ｎ）、Ｗ１＿ａ＿ＧＨ（ｎ）、Ｗ１＿ａ＿ＧＶ（ｎ）、Ｗ１＿ａ＿ＢＨ（ｎ）、Ｗ１＿ａ＿ＢＶ（ｎ）の６種類から構成されている。これらの６種の係数は、各々が４つの周波数の成分を有し、合計２４の係数から構成される。これらの２４種の係数は、色、空間周波数、コントラスト方向ごとの情報量の大小関係を示している。本実施例では、この２４種の係数を、２４種の係数の総和が１となるように規格化して、被写体情報の重み付けとして用いる。

ステップＳ９０６６では、カメラＣＰＵ１０４は、ハーフミラーの分光反射率、および分光透過率に基づく分光分布を取得する。

ここで、図１３および図１４を参照して、ハーフミラーの分光反射率、および分光透過率の角度依存性について説明する。図１３は、ハーフミラーの分光透過率を光線の入射角度ごとに示している。横軸に波長、縦軸に透過率を示しており、分光反射率は、１００％から透過率を差し引いた値となる。誘電多層膜によりハーフミラーを構成した場合、光線の入射角度、波長によって透過率が変化する。図１３には、入射角が、３０度、４５度、６０度の場合の分光透過率を示している。本実施例では、カメラＣＰＵ１０４内のメモリに、撮像素子のカラーフィルタの主波長に対応したＲＧＢの３種類の分光透過率を、３０度、４５度、６０度について記憶している。

図１４は、撮影光学系の射出瞳距離と像高による、ハーフミラー（ビームスプリッタ１０３）への入射角度の変化の説明図である。本実施例のように、撮影レンズ５００が交換レンズであったり、ズームレンズであったりする場合には、射出瞳距離が変化する。図１４では、異なる射出瞳距離の例として、ＬＰＯ１、ＬＰＯ２を示しており、射出瞳の中心を通り、撮像素子上の像高ＩＨ１、ＩＨ２に到達する光線を図示している。像高ＩＨ１に到達する光線は、射出瞳距離ＬＰＯ１、ＬＰＯ２の位置から２本描かれているが、互いに、ハーフミラーへの入射角度が異なる。また、射出瞳距離ＬＰＯ１の位置から射出され、像高ＩＨ１、ＩＨ２に到達する光線が描かれているが、互いに、ハーフミラーへの入射角度が異なる。

ステップＳ９０６６では、カメラＣＰＵ１０４は、撮影光学系の射出瞳距離とＢＰ量演算を行う像高に基づき、ハーフミラーへの入射角度を計算する。その後、得られた入射角度から、各波長の反射率／透過率を補間などにより算出する。分光分布情報として、赤緑青の反射率をそれぞれ、Ｒｒ、Ｇｒ、Ｂｒとし、赤緑青の透過率をそれぞれ、Ｒｔ、Ｇｔ、Ｂｔとして取得する。なお、上述した反射率と透過率の関係より、いずれか一方を算出すればよい。

ステップＳ９０６７では、カメラＣＰＵ１０４は、ハーフミラーの分光透過率分布、分光反射率分布を用いた重み付けとＡＦ評価帯域と撮影レンズ収差情報を用いて、ＡＦ信号を想定した場合の焦点位置を算出する。ＡＦ用Ａ像、Ｂ像の相関演算（第１の相関演算）は、第１撮像素子１０１で行われるため、ハーフミラーを透過した光束により行われ、検出する信号は水平方向のみである。第１の相関演算における焦点検出信号で想定される焦点位置Ｐ_ＡＦ１は、以下の式（６）で算出される。

式（６）の計算により、撮影レンズ５００の収差情報を、被写体の分光分布、ハーフミラーの分光透過率に鑑みて、重み付けして加算することにより、第１の相関演算における焦点検出信号で想定される焦点位置Ｐ_ＡＦ１を算出することができる。焦点位置Ｐ_ＡＦ１は、撮影レンズ５００の収差情報において、焦点検出信号が評価する色の分布、空間周波数分布から想定されるデフォーカスＭＴＦピーク位置に相当する。

ＡＦ用Ｃ像、Ｄ像の相関演算（第２の相関演算）は、第２撮像素子１０２で行われるため、ハーフミラーを反射した光束により行われ、検出する信号は水平方向のみである。第２の相関演算における焦点検出信号で想定される焦点位置Ｐ_ＡＦ２は、以下の式（７）で算出される。

ＡＦ用Ｅ像、Ｆ像の相関演算（第３の相関演算）は、第２撮像素子１０２で行われるため、ハーフミラーを反射した光束により行われ、検出する信号は垂直方向のみである。第３の相関演算における焦点検出信号で想定される焦点位置Ｐ_ＡＦ３は、以下の式（８）で算出される。

ステップＳ９０６８では、カメラＣＰＵ１０４は、ハーフミラーの分光透過率分布、分光反射率分布を用いた重み付けと撮像評価帯域と撮影レンズ収差情報を用いて、撮像信号を想定した場合の焦点位置を算出する。

第１撮像素子１０１から得られる静止画像（第１の記録画像）は、ハーフミラーを透過した光束により行われる。また、焦点調節状態の評価は、水平方向および垂直方向のコントラストも評価することになる。そのため、第１の記録画像における焦点調節状態の評価で想定される焦点位置Ｐ_ＩＭＧ１は、以下の式（９）で算出される。

焦点位置Ｐ_ＩＭＧ１は、撮影レンズ５００の収差情報において、第１の記録画像で評価する色の分布、空間周波数分布、コントラスト方向の分布から想定されるデフォーカスＭＴＦピーク位置に相当する。

第２撮像素子１０２から得られる動画像（第２の記録画像）は、ハーフミラーを反射した光束により行われる。また、焦点調節状態の評価は、水平方向および垂直方向のコントラストも評価することになる。そのため、第２の記録画像における焦点調節状態の評価で想定される焦点位置Ｐ_ＩＭＧ２は、以下の式（１０）で算出される。

以上のように、ステップＳ９０６７、Ｓ９０６８では、焦点検出信号や、撮像信号の特性（分光、空間周波数分布、コントラスト方向の分布）から、撮影レンズ収差情報を用いて、想定されるデフォーカスＭＴＦピーク位置を算出する。

ステップＳ９０６９では、カメラＣＰＵ１０４は、ＢＰ量を算出する。ＢＰ量は、どの焦点検出結果を、どの記録画像の焦点調節に用いるかによって異なる。第１の焦点検出結果を、第１の記録画像に用いる場合のＢＰ量ＢＰ１、および第２の記録画像に用いる場合のＢＰ量ＢＰ２はそれぞれ、以下の式（１１）、（１２）で算出される。

ＢＰ１＝Ｐ＿ＩＭＧ１−Ｐ＿ＡＦ１ （１１）
ＢＰ２＝Ｐ＿ＩＭＧ２−Ｐ＿ＡＦ１ （１２）
第２の焦点検出結果を、第１の記録画像に用いる場合のＢＰ量ＢＰ３、および第２の記録画像に用いる場合のＢＰ量ＢＰ４は、以下の式（１３）、（１４）で算出される。

ＢＰ３＝Ｐ＿ＩＭＧ１‐Ｐ＿ＡＦ２ （１３）
ＢＰ４＝Ｐ＿ＩＭＧ２‐Ｐ＿ＡＦ２ （１４）
第３の焦点検出結果を、第１の記録画像に用いる場合のＢＰ量ＢＰ５、および第２の記録画像に用いる場合のＢＰ量ＢＰ６は、以下の式（１５）、（１６）で算出される。

ＢＰ５＝Ｐ＿ＩＭＧ１‐Ｐ＿ＡＦ３ （１５）
ＢＰ６＝Ｐ＿ＩＭＧ２‐Ｐ＿ＡＦ３ （１６）
算出されたＢＰ量は、撮影状態に応じて切り替えて用いられる。例えば、垂直方向のコントラスト成分が多く、第３の相関演算から得られる焦点検出結果の信頼性が高い場合、第１撮像素子１０１用のＢＰ量（第１の焦点調節補正量）として、ＢＰ量ＢＰ５を用いて焦点検出結果を補正し、フォーカスレンズ駆動量を設定する。一方、第２撮像素子１０２用のＢＰ量（第２の焦点調節補正量）として、ＢＰ量ＢＰ６を用いて焦点検出結果を補正し、第２撮像素子１０２の駆動量を設定する。

以上のように、撮像素子ごとに取得される信号から、焦点検出信号の特性に鑑みて、想定される焦点検出信号の焦点検出位置（Ｐ＿ＡＦ１，Ｐ＿ＡＦ２，Ｐ＿ＡＦ３）を算出する。
一方、撮像信号の特性に鑑みて、想定される撮像信号の焦点検出位置（Ｐ＿ＩＭＧ１,Ｐ＿ＩＭＧ２）を算出する。これらを用いて、ＢＰ量を算出することにより、信頼性の高い焦点検出結果を採用しながら、記録画像に合わせた焦点調節を行うことができる。

本実施例では、静止画記録用のＢＰ量と、動画記録用のＢＰ補正量が異なる値が算出されることに備えて、第２撮像素子１０２の位置を光軸に沿って調整することができる。すなわち、焦点調節機構としてのフォーカスレンズの駆動と光路長変更手段としての撮像素子の駆動により焦点調節を行うことが可能である。ただし、第２撮像素子１０２を駆動できないようにしてもよい。その場合、例えば、算出される２つのＢＰ量（第１の焦点調節補正量、第２の焦点調節補正量）の平均値（第３の焦点調節補正量）を用いて、フォーカスレンズ駆動による焦点調節を行えばよい。これにより、焦点調節精度は劣るが、コストダウンを実現できる。

第２撮像素子１０２が駆動できない場合、第１および第２撮像素子１０１、１０２から得られる記録画像の優先度に応じて、ＢＰ量を算出してもよい。例えば、静止画（第１撮像素子１０１の記録画像）優先の場合は、第１撮像素子１０１に対するＢＰ量と第２撮像素子１０２に対するＢＰ量を、４：１で重み付けした補正量を第３の焦点調節補正量として算出し、焦点調節を行ってもよい。また、ＢＰ量の大小は、撮影レンズ５００の収差情報により決定される。そのため、撮影レンズ収差情報から、収差量の大小を判定し、収差量が小さい場合には、ＢＰ量の算出を省略してもよい。

次に、図１５を用いて、第１および撮像素子１０１、１０２で図８のステップＳ９０５１、Ｓ９０５２で行う被写体情報抽出のタイミングについて説明する。図１５では、第１および第２撮像素子１０１、１０２の垂直同期信号（Ｖ１、Ｖ２、Ｖ３、Ｖ４）が同期している例を示している。第１および第２撮像素子１０１、１０２は、垂直同期のタイミングＶ１を境に、蓄積、読み出しを繰り返す。第２撮像素子１０２は、動画撮影用のため、第１撮像素子１０１の蓄積時間よりも蓄積時間が長く設定されている。ただし、記録画素数は少ないため、読出し時間は短い。第１撮像素子１０１は、被写体情報抽出手段として機能しているため、被写体ぶれや手振れの影響を低減するため、短い蓄積時間で駆動している。２つの撮像素子の信号の読み出しを終えると、取得した撮像素子の信号を用いて被写体情報が検出される。被写体情報検出を終えると、得られた被写体情報を用いて、ＢＰ量が算出される。このように構成することにより、おおよそ同じタイミングの被写体情報を、２つの撮像素子で得られるため、タイムラグによる被写体情報の変化の影響を受けにくく、信頼性の高い情報が得られる。第１撮像素子１０１の駆動は、被写体情報の抽出領域を狭めることなどにより、フレームレートを２倍などに上げて、より多くの情報を得てもよい。その際、半分のデータは、第２撮像素子１０２から得られる情報と同期が取れないが、第１撮像素子１０１から得られる情報から連続性を考慮するなどにより、より信頼性の高い被写体情報を抽出することができる。また、動画記録のフレームレートが高い場合などには、第１撮像素子１０１の駆動を間引いて、被写体情報の抽出間隔を長くしてもよい。得られる被写体情報は減るが、消費電力を低減することができる。

図１６から図１８を参照して、本実施例の構成について説明する。実施例１との主な違いは、補正量算出手段としてのカメラＣＰＵ１０４による図７のステップＳ９０６のＢＰ量処理である。実施例１では、ステップＳ９０６３において撮影レンズ収差情報をデフォーカスＭＴＦの極大値を示すフォーカスレンズ位置情報として取得し、ステップＳ９０６４においてハーフミラーの収差情報から撮影レンズ収差情報の加工を行った。本実施例では、撮影レンズ収差情報を波面収差情報として取得することで、ハーフミラーに歪みなどが生じ、収差状態が複雑に変化した場合でも対応することができる。

図１６は、本実施例のＢＰ量算出処理を示すフローチャートである。図１６の各ステップは、主に、カメラＣＰＵ１０４により実行される。

ステップＳ９０６１、Ｓ９０６２は実施例１と同様に、絞り情報、撮像素子上の像高を算出する。

ステップＳ９１０１では、カメラＣＰＵ１０４は、撮影レンズ収差情報の取得を行う。図１７を参照して、不図示のレンズ内のメモリに格納されている撮影レンズ収差情報の一例を説明する。ここでは、撮影レンズ収差情報は、撮影光学系の波面収差の情報である。図１７（ａ）は、理想の撮影レンズｉｄにおける光源の結像状態を表した図である。実線は、光を波としてとらえた場合の光の伝搬を表している。理想レンズ状態においては、図１７（ａ）のように光は伝搬し、一点に結像する。しかしながら、実際に収差が生じた図１７（ｂ）のような撮影レンズｒｅにおいては、レンズを通過した光は入射波と対称にはならない。図１７（ｃ）は、図１７（ａ）、図１７（ｂ）のレンズの射出瞳位置をＥｎ＿ｐｌａｎｅとし、撮影レンズｉｄの射出瞳位置Ｅｎ＿ｐｌａｎｅでの波面を点線、撮影レンズｒｅの射出瞳位置Ｅｎ＿ｐｌａｎｅでの波面を実線として重ねた図である。本ステップで取得される波面収差情報ＷＡ（ｘ，ｙ）とは、図１７（ｄ）のように、ＸＹ平面上での理想波面に対する光路差情報である。図１７（ｄ）では、波面収差情報ＷＡ（ｘ，ｙ）を６×６の離散データとして記憶する形式をとっているが、分割数はこれに限定されない。一般的に、分割数が多ければ多いほど精度は良い。また、ゼルニケ多項式による近似など、波面収差情報ＷＡ（ｘ，ｙ）を瞳位置座標（ｘ、ｙ）の関数として表し、関数の係数を記憶しておく、などとしてもよい。波面収差情報ＷＡ（ｘ，ｙ）は色波長、射出瞳距離ＰＬごとのデータ系列として記憶される。

ステップＳ９１０２では、カメラＣＰＵ１０４は、撮影レンズ収差情報として、ハーフミラー（ビームスプリッタ１０３）の波面収差情報を取得する。本実施例では、ハーフミラー特有の波面収差情報として、透過側と反射側それぞれについて、ステップＳ９１０１の撮影レンズ波面収差情報ＷＡ（Ｘ，Ｙ）と同様の形で図１７（ａ）に示される波面収差情報が取得される。ハーフミラーの透過側の波面収差情報（第１の収差情報）をＷＡ＿ＨＴ（Ｘ，Ｙ）、反射側の波面収差情報（第２の収差情報）をＷＡ＿ＨＲ（Ｘ，Ｙ）とする。波面収差情報ＷＡ＿ＨＴ（Ｘ，Ｙ）、ＷＡ＿ＨＲ（Ｘ，Ｙ）は、射出瞳距離ＰＬによって変化する値であるので、図６のステップＳ１０１で取得される射出瞳距離ＰＬに応じて、記憶された波面収差情報の中から選択して取得される。ハーフミラーの独立した波面収差情報ＷＡ＿ＨＴ（Ｘ，Ｙ）、ＷＡ＿ＨＲ（Ｘ，Ｙ）は、一般的な測定機器によって取得することも可能である。よって、製造工程において、波面収差情報ＷＡ＿ＨＴ（Ｘ，Ｙ）、ＷＡ＿ＨＲ（Ｘ，Ｙ）を取得し、カメラメモリへの書き込みを行うと、製造工程上のハーフミラーの曲がりや歪みを考慮した収差情報が取得可能である。このとき、ハーフミラーにも遮光部材による枠ケラレが存在する場合がある。ハーフミラーにおいて、壁面での反射防止などの理由から枠を設ける場合もある。ＸＹ平面内において、ハーフミラーに図１８（ｂ）のような枠（白が透過部、黒が遮光部）が設置されていたとする。この場合、図１８（ｃ）のように透過光量を分割数に応じた重みづけに変換し、波面収差情報のそれぞれに重みづけしてもよい。

ステップＳ９１０３では、カメラＣＰＵ１０４は、ハーフミラー収差情報の加算を行う。ハーフミラーを透過した透過波面収差情報ＷＡ＿Ｔ（Ｘ，Ｙ）は、ＷＡ（Ｘ，Ｙ）＋ＷＡ＿ＨＴ（Ｘ，Ｙ）、ハーフミラーを反射した反射波面収差情報ＷＡ＿Ｒ（Ｘ，Ｙ）は、ＷＡ（Ｘ，Ｙ）＋ＷＡ＿ＨＲ（Ｘ，Ｙ）として計算できる。このように、撮影光学系の波面収差情報ＷＡ（Ｘ，Ｙ）に、透過側または反射側の波面収差情報を加算することで、透過波面収差情報ＷＡ＿Ｔ（Ｘ，Ｙ）、反射波面収差情報ＷＡ＿Ｒ（Ｘ，Ｙ）を計算可能である。

ステップＳ９１０４では、カメラＣＰＵ１０４は、収差情報の加工を行う。本実施例では、透過波面収差情報ＷＡ＿Ｔ（Ｘ，Ｙ）および反射波面収差情報ＷＡ＿Ｒ（Ｘ，Ｙ）から、実施例１と同様のデフォーカスＭＴＦの極大値に対応するフォーカスレンズ位置情報に加工する方法を説明する。加工方法は、いずれの波面収差情報でも同様であるため、本実施例では、透過波面収差情報ＷＡ＿Ｔ（Ｘ，Ｙ）を使用する場合について説明する。撮影光学系の焦点距離が透過波面収差情報ＷＡ＿Ｔ（Ｘ，Ｙ）のＸＹにおける分解能に対して十分長い場合、入射瞳位置Ｅｎ＿Ｐｌａｎｅの透過波面収差情報ＷＡ＿Ｔ（Ｘ，Ｙ）はフーリエ変換により撮像面上での点像分布関数（以下、ＰＳＦ）の振幅となる。点像分布関数とは、光学系の点光源に対する応答を表す関数であり、理想レンズにおけるＰＳＦはインパルス応答となる。透過波面収差情報ＷＡ＿Ｔ（ｘ，ｙ）は、以下の式（７）によりＰＳＦ（ｘ，ｙ）に変換される。

図１７（ｅ）は、縦軸にｘ座標、横軸にＰＳＦの強度をとり、二次元情報としてＰＳＦを図示したものである。ＰＳＦ１、ＰＳＦ２は、デフォーカス状態の違いを表している。ＰＳＦは、合焦状態に近いほど、インパルス応答に近くなる。図１７（ｅ）上では、デフォーカス状態２であるＰＳＦ２よりもデフォーカス状態１であるＰＳＦ１の状態の方が合焦状態に近い。このＰＳＦを、さらに、以下の式（１８）を用いてそれぞれフーリエ変換すると、図１７（ｆ）に示す横軸に空間周波数、縦軸に強度をとるＭＴＦ特性になる。

一般的には、合焦状態に近いほど、縦軸の強度（ＭＴＦの応答）は高くなる。そのため、図１７（ｆ）のように空間周波数Ｆ１〜Ｎｑにおいて、デフォーカス状態１であるＰＳＦ１に対応するＭＴＦ１、デフォーカス状態２であるＰＳＦ２に対応するＭＴＦ２は図示したような変化を示す。図１７（ｇ）は、空間周波数Ｆ１〜Ｆ４において、横軸にデフォーカス状態、縦軸にＭＴＦ強度をとって図示したものである。これがデフォーカスＭＴＦに対応し、実施例１の収差情報はこのデフォーカスＭＴＦが極大値をとるフォーカスレンズ位置を示すものであった。図１７（ｇ）の横軸はデフォーカスであるが、これはフォーカスレンズ位置と１対１の関係を示す。図１７（ｇ）のデフォーカスＭＴＦの色をＧ（Ｇｒｅｅｎ）、方向をＨ（水平）とすれば、デフォーカスＭＴＦの極大値をとるフォーカスレンズ位置情報であるＰＧＨ１、ＰＧＨ２、ＰＧＨ３、ＰＧＨ４は図１７（ｇ）のフォーカスレンズ位置情報となる。これは、実施例１で前述した収差情報であるデフォーカスＭＴＦの極大値をとるフォーカスレンズ位置と同じ情報である。反射収差、他の色、方向に関しても同様に収差情報を求めることで、ステップＳ９０６５以降は実施例１と同様の処理になる。

このように、撮影レンズ収差情報を波面収差情報として取得することで、ハーフミラーに歪みなどが生じ、収差状態が複雑に変化した場合でも対応することができる。また、ハーフミラーの波面収差情報を独立して記憶させ、撮影光学系の波面収差情報と加算することで、透過側、反射側それぞれの収差状態を計算することが可能になる。そのため、撮影光学系の波面収差情報のみがレンズまたはカメラのメモリに記憶されている場合においても、高精度な補正が可能になる。交換レンズ系においては、複数種類のレンズにおいて、透過光路における撮影レンズの収差情報、反射光路における撮影レンズの収差情報の記憶が不要となるので、メモリ容量が大幅に削減できる。

以下、図１９−図２２を参照して、本実施例の構成について説明する。本実施例では、透過した光束を受光する第１撮像素子１０１のみが存在し、ハーフミラーが第１撮像素子１０１での露光時に退避可能である撮像装置の構成について説明する。
（撮像装置の構成）
本実施例の撮像装置の構成について、実施例１と構成が異なる部分のみを図１９を用いて説明する。ビームスプリッタ１０３は、撮影レンズ５００の光路内に位置する第１の位置と、光路から退避する第２の位置との間を移動可能である。撮像装置が図１９（ａ）の状態である場合に、アクチュエータ１５０は、カメラＣＰＵ１０４から指示を受けると、ビームスプリッタ１０３を撮影光学系の光路から退避させる。このとき、遮光部材１５１がビームスプリッタ１０３に追従して稼働し、ビームスプリッタ１０３の蓋をするように、ビームスプリッタ１０３退避時の光路中の反射光を防止する。図１９（ｂ）は、ビームスプリッタ１０３が光路から退避した後の撮像装置の構成を示している。なお、図１９では、ビームスプリッタ１０３の退避方向をカメラ上面で例示したが、退避方法、方向はこれに限定されない。

また、本実施例では、実施例１のような電子ファインダではなく、光学ファインダを想定している。プリズム１５２は、光束をファインダ１５３へ導く。この構成により、ユーザーはリアルタイムに光学ファインダで被写体を確認しながら、同時に第１撮像素子１０１で受光した光速により焦点検出が可能になる。
（撮影フロー）
図２０は、本実施例の撮影処理を示すフローチャートである。本実施例では、センサは１つで、静止画と動画の同時記録は行えないため、静止画記録の撮影フローとしている。図２０の各ステップは、主に、カメラＣＰＵ１０４により実行される。

ステップＳ３０１の処理は、図６のステップＳ１０１と同様の処理であるため、説明を省略する。

ステップＳ３０２では、カメラＣＰＵ１０４は、第１撮像素子１０１を駆動する。

ステップＳ３０３では、カメラＣＰＵ１０４は、第１撮像素子１０１で取得した信号を表示用信号に変換し、ファインダ内表示器１０７または外部表示器１１０に送信してライブビュー表示を開始する。

ステップＳ３０４では、カメラＣＰＵ１０４は、第１撮像素子１０１の駆動により得られる画像信号の明るさを判断し、ライブビュー時の絞り制御を行う。

ステップＳ３０７では、カメラＣＰＵ１０４は、焦点検出のサブルーチンを実行する。本実施例では、第１撮像素子１０１における焦点検出、および焦点検出結果の補正を行う。

ステップＳ３０８では、カメラＣＰＵ１０４は、ミラーアップを行う。本実施例では、アクチュエータ１５０を用いて、ビームスプリッタ１０３を撮影光学系の光路から退避させる。光路からビームスプリッタ１０３を退避させることで、透過による収差の発生分を抑制でき、より高精細な撮像画像を記録することができる。

ステップＳ３０７では、カメラＣＰＵ１０４は、静止画撮影を実行する。
（焦点検出処理）
図２１を参照して、本実施例の焦点検出処理（ＡＦ処理）について説明する。図２１は、本実施例の焦点検出処理を示すフローチャートである。図２１の各ステップは、主に、カメラＣＰＵ１０４により実行される。

ステップＳ９３１−Ｓ９３４、Ｓ９３６−Ｓ９３９の処理はそれぞれ、図７のステップＳ９０１−Ｓ９０４、Ｓ９０７−Ｓ９１０の処理と同様であるため、説明を省略する。

ステップＳ９３５におけるＢＰ量算出のサブルーチンの詳細については後述する。
（ＢＰ量の算出サブルーチン）
図２２を参照して、本実施例のＢＰ量算出処理について説明する。図２２は、本実施例におけるＢＰ量算出処理を示すフローチャートである。図２２の各ステップは、主に、カメラＣＰＵ１０４により実行される。

ステップＳ９３６１、Ｓ９３６２の処理はそれぞれ、図１１のステップＳ９０６１、Ｓ９０６２の処理と同様であるため、説明を省略する。

ステップＳ９３６３では、カメラＣＰＵ１０４は、撮影レンズ収差情報を取得する。撮影レンズ収差情報は、図１１のステップＳ９０６３で得られるデフォーカスＭＴＦの極大値に対応するフォーカスレンズ位置情報でもよいし、図１６のステップＳ９１０１で得られる波面収差情報でもよい。

ステップＳ９３６４では、カメラＣＰＵ１０４は、ハーフミラー情報による撮影レンズ収差情報を作成する。本ステップにおける処理は、図１１のステップＳ９０６４で実行されるハーフミラー情報による撮影レンズ収差情報の加工でもよいし、図１６のステップＳ９１０２からＳ９１０４で実行される撮影レンズ収差情報の加工であってもよい。ただし、本実施例では反射側の加工は必要ないため、透過側の収差情報の加工のみ行えばよい。

ステップＳ９３６５の処理は、図８のステップＳ９０５４と同様の処理であるため、説明を省略する。

ステップＳ９３６６では、カメラＣＰＵ１０４は、ハーフミラーの分光透過率に基づいた分光分布の取得を行う。また、ハーフミラーが配置されていない状態の通常の分光分布情報としてあらかじめ記憶されている赤緑青の透過率をそれぞれＲ、Ｇ、Ｂとして取得する。

ステップＳ９３６７では、カメラＣＰＵ１０４は、ハーフミラーの分光透過率分布を用いた重み付けとＡＦ評価帯域と、ステップＳ９３６４で計算されたハーフミラーを透過した撮影レンズ収差情報を用いて、ＡＦ信号を想定した場合の焦点位置を算出する。ＡＦ用Ａ像、Ｂ像の相関演算（第１の相関演算）は、第１撮像素子１０１で行われるため、ハーフミラーを透過した光束により行われ、検出する信号は水平方向のみである。ここでは、第１の相関演算における焦点検出信号で想定される焦点位置Ｐ＿ＡＦ１が式（６）で算出される。本実施例では反射側の加工は必要ないため、透過側のＡＦ信号想定の焦点位置のみ算出すればよい。

ステップＳ９３６８では、カメラＣＰＵ１０４は、ステップＳ９３６６で取得した分光分布情報、撮像評価帯域と撮影レンズ収差情報を用いて、撮像信号を想定した場合の焦点位置を算出する。ハーフミラーが配置されていない状態の記録画像における焦点調節状態の評価で想定される焦点位置Ｐ＿ＩＭＧは、以下の式（１９）で算出される。

ステップＳ３５０９では、カメラＣＰＵ１０４は、ＢＰ量を算出する。ＢＰ量は、ハーフミラーを透過した状態で焦点検出し、ハーフミラー無しで記録画像を撮影する本実施例に合わせて計算する。ここで計算されるＢＰ量をＢＰ４とすると、ＢＰ量は以下の式（２０）で求めることができる。

ＢＰ４＝Ｐ＿ＩＭＧ−Ｐ＿ＡＦ３ （２０）
このように、光学ファインダでリアルタイムに被写体を確認しながら、同時に第１撮像素子１０１で受光した光束により焦点検出が可能な撮像装置の構成においても、適切な焦点検出、ＢＰ補正が可能になる。

図２３−図３２を参照して、本実施例の構成について説明する。実施例１との主な違いは、補正量算出手段としてのカメラＣＰＵ１０４による図７のステップＳ９０７におけるＢＰ量算出方法である。実施例１では、図１１のステップＳ９０６３において撮影レンズ収差情報をデフォーカスＭＴＦの極大値に対応するフォーカスレンズ位置情報で取得し、ステップＳ９０６４においてハーフミラーの収差情報から撮影レンズ収差情報の加工を行った。本実施例では、ハーフミラー情報として、撮影レンズ５００とハーフミラーの形状パラメータに関する補正情報を取得する。ハーフミラーの形状パラメータを取得することで、ハーフミラーに歪みなどが生じ、収差状態が複雑に変化した場合でも対応することができる。
（ＢＰ量の算出サブルーチン）
図２３は、本実施例のＢＰ量算出処理を示すフローチャートである。図２３の各ステップは、主に、カメラＣＰＵ１０４により実行される。

ステップＳ９４６１では、カメラＣＰＵ１０４は、撮影情報として決定されている撮影レンズのズーム情報、第３レンズ群の情報、絞り情報を取得する。

ステップＳ９４６２では、カメラＣＰＵ１０４は、図７のステップＳ９０１で設定された焦点検出領域の情報を取得し、撮像素子上の像高を算出する。

ステップＳ９４６３では、カメラＣＰＵ１０４は、ハーフミラー情報を取得する。ここでのハーフミラー情報とは、例えば、ハーフミラーの厚み、撓みに関する情報であり、本実施例では、撮影レンズ５００とハーフミラーの形状パラメータに関する補正情報である。

図２４は、撮影光学系の光路とハーフミラー情報（厚みＤ）を示している。撮影レンズ５００からの光束は、ビームスプリッタ１０３が存在しない場合、点線のような光路をとり、第１撮像素子１０１に結像する。しかし、ビームスプリッタ１０３に厚みがある場合、空気とビームスプリッタ１０３の屈折率が異なるため、光束は実線のような光路をとり、結果として収差が発生する。このとき発生する収差に起因するＢＰ量は、厚みＤと相関関係にあり、図２５のような関係を示す。一般的に、ハーフミラーの厚みＤが厚いほど、第１撮像素子１０１上で発生するＢＰ量ＢＰ＿Ｔは増加し、式（２１）の相関関係を持つ。

ＢＰ＿Ｔ＝ａ＿Ｔ×Ｄ＋ＢＰ＿Ｔ（０） （２１）
ＢＰ＿Ｔ（０）は、図２５のｙ切片を表し、厚みＤが０である場合に発生するＢＰ量である。撮影レンズ５００は、ハーフミラーの厚みＤが０である場合でも無収差ではないことが一般的であるため、厚みＤが０であってもの切片ＢＰ＿Ｔ（０）の収差量を持つ。ａ＿Ｔは、厚みＤに対するＢＰ量ＢＰ＿Ｔの単位増加量を表すハーフミラー情報である。

本ステップでは、カメラＣＰＵ１０４は、例えば、図２６の厚みＤに対するハーフミラー情報を持ち、ステップＳ９４６１、Ｓ９４６２で取得された撮影情報（ズーム位置、フォーカス位置、Ｆ値、像高）に応じたハーフミラー情報ａ＿Ｔを取得する。ハーフミラーが存在しない場合の撮影光学系の状態でも撮影情報によって収差状態は変化し、ハーフミラーによる収差状態の変化の仕方も異なるため、撮影情報によってハーフミラー情報ａ＿Ｔを変化させることが望ましい。例えば、ズームがＺｏｏｍ３、フォーカスがＦｏｃｕｓ２、Ｆ値がＦ１、像高がｈ１である場合、ハーフミラーの厚みに関する補正情報として、ハーフミラー情報ａ＿Ｔ６が取得される。ここでは、厚みＤに対するＢＰ量ＢＰ＿Ｔの変化を一次関数としているが、関数形状はこれに限定されない。

次に、撓みＣに関するハーフミラー情報について説明する。図２７は、撓み状態の異なるハーフミラーを示している。図２７（ａ）は、ビームスプリッタ１０３上に３軸（ｍｘ、ｍｒ、ｍｚ）を取った場合、撓みのない状態を示している。ｍｘ，ｍｚ断面とｍｙ，ｍｚ断面は、図２７（ａ）の右図のようになり、一定値をとる平面形状である。図２７（ｂ）〜図２７（ｅ）は撓みのある形状を示している。図２７（ｂ）、図２７（ｃ）はｍｘ、ｍｙで同じ方向に撓みが生じる両凸、両凹形状のお椀形に撓みが生じている場合を示しており、図２７（ｄ）、図２７（ｅ）はｍｘ、ｍｙで異なる方向に撓みが生じる鞍点形状を示している。

図２８は、図２７（ｅ）のようにビームスプリッタ１０３が撓んでいる場合の第２撮像素子１０２への撮影光学系の光路を示している。撮影レンズ５００からの光束は、図２７（ａ）のようにビームスプリッタ１０３に撓みが存在しない場合、点線のような光路をとり、第２撮像素子１０２に結像する。しかし、図２７（ｅ）のような撓みがビームスプリッタ１０３に生じている場合、ハーフミラーの撓み形状の正負（図２７（ｅ）右図）によって光路が変化する。したがって、図２８の直線の光路に示すように、光線がハーフミラーのどの座標点を通過するかによって光線の結像位置が変化し、収差が生じる。このとき発生する収差に起因するＢＰ量は、撓み量Ｃと相関関係にある。撓み量は、例えば、干渉縞本数（ニュートンリング本数とも言われる）として定量化できる。

図２９は、図２８のように、ハーフミラーに撓み形状が生じている場合の干渉縞本数の測定結果の一例である。干渉縞の測定方法については、ハーフミラーの平面度を測定する方法の１つであり、光波の干渉によって起こる縞が多ければ多いほど平面度が低いことを表す。よって、図２７（ａ）のように、ビームスプリッタ１０３が完全に平面であれば、図２９（ａ）のようにビームスプリッタ１０３上に干渉縞は発生せず、干渉縞本数は０本となる。ハーフミラーの撓み方向によって、干渉縞の発生方向は異なり、図２７（ｂ）、図２７（ｃ）のように撓み方向が同一方向のお椀形状の場合には、図２９（ｂ）のような同心円状の干渉縞となる。図２７（ｄ）、図２７（ｅ）のように撓み方向が逆方向の鞍点形状の場合には、図２９（ｃ）のような放射方向の干渉縞が発生する。また、撓みの中心をサドルポイントと呼び、サドルポイントからの縞本数が多ければ多いほど、撓みが強いことを示す。例えば、図２９（ｂ）、図２９（ｃ）では、サドルポイントはハーフミラー中心である。図２９（ｂ）では、サドルポイントから、干渉縞に直行する方向に黒線を数えると、７本の干渉縞が発生している。図２９（ｃ）では、サドルポイントから、干渉縞に直行する方向に黒線を数えると、３本の干渉縞が発生している。ここでは、撓み量Ｃのパラメータの一例として、撓み方向と、干渉縞本数を用いる。撓み方向とは、光軸方向に対する撓みの向きを表し、例えば、図３０（ａ）の状態を正、図３０（ｂ）の状態を負とする。つまり、図２７（ｂ）と図２７（ｃ）、図２７（ｄ）と図２７（ｅ）は、発生する干渉縞本数は同数であるが、撓み量Ｃのパラメータとしては、符号が逆になる。撓みの発生方向によって収差の発生状態が変化するため、撓み量Ｃは符号を分けて定義することが望ましい。図３１は、撓み量Ｃと、撓み量Ｃによって発生するＢＰ量ＢＰ＿Ｈとの相関関係図である。一般的に、ハーフミラーの撓み量Ｃが強いほど、第２撮像素子１０２上で発生するＢＰ量ＢＰ＿Ｈは増加し、以下の式（２２）の相関関係を持つ。

ＢＰ＿Ｈ＝ａ＿Ｈ×Ｃ＋ＢＰ＿Ｈ（０） （２２）
ＢＰ＿Ｈ（０）は、図３１のｙ切片を表し、撓み量Ｃが０である場合に発生するＢＰ量である。撮影レンズ５００は、ハーフミラーの撓み量が０である場合でも無収差ではないことが一般的であるため、撓み量Ｃが０であっても切片ＢＰ＿Ｈ（０）の収差によるＢＰ量を持つ。また、ハーフミラーの撓み量Ｃによって発生する収差によるＢＰ量と、切片ＢＰ＿Ｈ（０）の符号が逆で打ち消しあう場合は、トータルのＢＰ量ＢＰ＿Ｈが減少することも考えられる。図３１中のハーフミラー情報ａ＿Ｈは、撓み量Ｃに対するＢＰ量ＢＰ＿Ｈの単位増加量である。本ステップでは、カメラＣＰＵ１０４は、例えば、図３２の撓み量Ｃに対するハーフミラー情報ａ＿Ｈを持ち、ステップＳ９０６１、Ｓ９０６２で取得された撮影情報（ズーム位置、フォーカス位置、Ｆ値、像高）に応じたハーフミラー情報ａ＿Ｈを取得する。ハーフミラーが存在しない場合の撮影光学系の状態でも撮影情報によって収差状態は変化し、ハーフミラーによる収差状態の変化の仕方も異なるため、撮影情報によってハーフミラー情報ａ＿Ｈを変化させることが望ましい。例えば、ズームがＺｏｏｍ３，フォーカスがＦｏｃｕｓ２、Ｆ値がＦ１、像高がｈ１である場合、ハーフミラーの撓み量に関する補正情報として、ハーフミラー情報ａ＿Ｈ６が取得される。ここでは、撓み量Ｃに対するＢＰ量ＢＰ＿Ｈの変化を一次関数として示したが、関数形状はこれに限定されない。また、サドルポイントに依存してＢＰ量ＢＰ＿Ｈが変化することも考えられるので、サドルポイントのハーフミラー位置座標ごとに図３１の関数、図３２の補正情報を変化させてもよい。

ステップＳ９４６４では、カメラＣＰＵ１０４は、ハーフミラーの形状パラメータを取得する。前述したように、ハーフミラーは、製造誤差等により、設計状態から厚み、撓み量などの変化を生じる。ここでは、例えば、ハーフミラーの特性を測定し、カメラ内のメモリに記憶された厚みＤ１、撓み量Ｃ１（撓み方向と干渉縞本数）などの形状パラメータを取得する。

ステップＳ９４６５では、カメラＣＰＵ１０４は、ＢＰ量を算出する。ＢＰ量ＢＰ＿Ｔ、ＢＰ＿Ｈはそれぞれ、ステップＳ９４６３で取得されたハーフミラーに関する補正情報ａ＿Ｔ６、ａ＿Ｈ６と、ステップＳ９４６４で取得されたハーフミラーの形状パラメータＤ１、Ｃ１を用いて、以下の式（２３）、（２４）から算出される。なお、本実施例では、ＢＰ量ＢＰ＿Ｔは、第１撮像素子１０１に関するＢＰ量である第１の焦点調節補正量であり、ＢＰ量ＢＰ＿Ｈは、第２撮像素子１０２に関するＢＰ量である第２の焦点調節補正量である。

ＢＰ＿Ｔ＝ａ＿Ｔ６×Ｄ１＋ＢＰ＿Ｔ（０） （２３）
ＢＰ＿Ｈ＝ａ＿Ｈ６×Ｃ１＋ＢＰ＿Ｈ（０） （２４）
本ステップで算出されたＢＰ量は、撮影状態に応じて切り替えて用いられる。例えば、第１の焦点検出結果の信頼性が高い場合、第１撮像素子１０１用のＢＰ量として、ＢＰ量ＢＰ＿Ｔを用いて焦点検出結果を補正し、フォーカスレンズ駆動量を設定する。第２の焦点検出結果の信頼性が高い場合、第２撮像素子１０２用のＢＰ量として、ＢＰ量ＢＰ＿Ｈを用いて、焦点検出結果を補正し、フォーカスレンズ駆動量または撮像素子駆動手段の駆動量を設定する。

以上のように、本実施例では、ハーフミラーの形状パラメータを取得し、形状パラメータとＢＰ量の相関関係を用いて、ＢＰ量を計算する。代表的なハーフミラーの形状パラメータのみを測定、記憶し、ＢＰ量の算出に用いることで、メモリの記憶容量、計算負荷を低減した上で、高精度な焦点検出が可能になる。また、製造誤差が生じた際のハーフミラーの形状に応じたＢＰ補正が可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
［その他の実施例]
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０１ 第１撮像素子
１０２ 第２撮像素子
１０３ ビームスプリッタ
１０４ カメラＣＰＵ
５００ 撮影レンズ

本発明の一側面としての撮像装置は、焦点調節機構を有する撮影レンズの射出瞳を通過した光束を第１の光束と第２の光束に分割する光束分割手段と、複数の第１光電変換部と、前記第１の光束のうち前記射出瞳の異なる領域を通過した光束を前記複数の第１光電変換部に導く１つのマイクロレンズと、を備える第１画素を複数備える第１撮像素子と、複数の第２光電変換部と、前記第２の光束のうち前記射出瞳の異なる領域を通過した光束を前記複数の第２光電変換部に導く１つのマイクロレンズと、を備える第２画素を複数備える第２撮像素子と、前記撮影レンズの収差情報と、前記第１の光束の収差情報である第１の収差情報と、前記第１撮像素子から取得される第１撮像信号の空間周波数特性に対する重み付け値と、前記第１撮像素子から取得される１対の焦点検出信号の空間周波数特性に対する重み付け値と、に基づいて、前記第１の撮像素子から取得される１対の焦点検出信号を用いて求められる第１の焦点位置を補正するための第１の焦点調節補正量を算出するとともに、前記撮影レンズの収差情報と、前記第２の光束の収差情報である第２の収差情報と、前記第２撮像素子から取得される第２撮像信号の空間周波数特性に対する重み付け値と、前記第２撮像素子から取得される１対の焦点検出信号の空間周波数特性に対する重み付け値と、に基づいて、前記第２の撮像素子から取得される１対の焦点検出信号を用いて求められる第２の焦点位置を補正するための第２の焦点調節補正量を算出する補正量算出手段と、前記第１および第２の焦点調節補正量に基づいて、前記焦点調節機構を制御する制御手段と、を有することを特徴とする。

また、本発明の他の側面としての撮像装置は、焦点調節機構を有する撮影レンズの光路内に位置する第１の位置と、前記光路から退避する第２の位置との間を移動可能な光束分割手段と、複数の光電変換部と、前記光束分割手段が前記第１の位置に位置する場合に前記光束分割手段を透過した光束のうち前記撮影レンズの射出瞳の異なる領域を通過した光束を前記複数の光電変換部に導く１つのマイクロレンズと、を備える画素を複数備える撮像素子と、前記光束分割手段が前記第１の位置に位置する場合、前記撮影レンズの収差情報と、前記光束分割手段の収差情報である第１の収差情報と、前記撮像素子から取得される撮像信号の空間周波数特性に対する重み付け値と、前記撮像素子から取得される１対の焦点検出信号の空間周波数特性に対する重み付け値と、に基づいて、前記撮像素子から取得される１対の焦点検出信号を用いて求められる焦点位置を補正するための焦点調節補正量を算出する補正量算出手段と、前記焦点調節補正量に基づいて、前記焦点調節機構を制御する制御手段と、を有することを特徴とする。

また、本発明の他の側面としての撮像装置は、焦点調節機構を有する撮影レンズの射出瞳を通過した光束を第１の光束と第２の光束に分割する光束分割手段と、複数の第１光電変換部と、前記第１の光束のうち前記射出瞳の異なる領域を通過した光束を前記複数の第１光電変換部に導く１つのマイクロレンズと、を備える第１画素を複数備える第１撮像素子と、複数の第２光電変換部と、前記第２の光束のうち前記射出瞳の異なる領域を通過した光束を前記複数の第２光電変換部に導く１つのマイクロレンズと、を備える第２画素を複数備える第２撮像素子と、前記光束分割手段の形状パラメータと、前記撮影レンズおよび前記形状パラメータに関する補正情報と、に基づいて前記第１の撮像素子から取得される１対の焦点検出信号を用いて求められる第１の焦点位置を補正するための第１の焦点調節補正量および前記第２の撮像素子から取得される１対の焦点検出信号を用いて求められる第２の焦点位置を補正するための第２の焦点調節補正量を算出する補正量算出手段と、前記第１および第２の焦点調節補正量に基づいて、前記焦点調節機構を制御する制御手段と、を有することを特徴とする。

また、本発明の他の側面としての撮像装置の制御方法は、焦点調節機構を有する撮影レンズの射出瞳を通過した光束を第１の光束と第２の光束に分割する光束分割手段と、複数の第１光電変換部と、前記第１の光束のうち前記射出瞳の異なる領域を通過した光束を前記第１光電変換部に導く１つのマイクロレンズと、を備える第１画素を複数備える第１撮像素子と、複数の第２光電変換部と、前記第２の光束のうち前記射出瞳の異なる領域を通過した光束を前記第２光電変換部に導く１つのマイクロレンズと、を備える第２画素を複数備える第２撮像素子と、を有する撮像装置の制御方法であって、前記撮影レンズの収差情報と、前記第１の光束の収差情報である第１の収差情報と、前記第１撮像素子から取得される第１撮像信号の空間周波数特性に対する重み付け値と、前記第１撮像素子から取得される１対の焦点検出信号の空間周波数特性に対する重み付け値と、に基づいて、前記第１の撮像素子から取得される１対の焦点検出信号を用いて求められる第１の焦点位置を補正するための第１の焦点調節補正量を算出するとともに、前記撮影レンズの収差情報と、前記第２の光束の収差情報である第２の収差情報と、前記第２撮像素子から取得される第２撮像信号の空間周波数特性に対する重み付け値と、前前記第２撮像素子から取得される１対の焦点検出信号の空間周波数特性に対する重み付け値と、に基づいて、前記第２の撮像素子から取得される１対の焦点検出信号を用いて求められる第２の焦点位置を補正するための第２の焦点調節補正量を算出する補正量算出ステップと、前記第１および第２の焦点調節補正量に基づいて、前記焦点調節機構を制御する制御ステップと、を有することを特徴とする。

また、本発明の他の側面としての撮像装置の制御方法は、焦点調節機構を有する撮影レンズの光路内に位置する第１の位置と、前記光路から退避する第２の位置との間を移動可能な光束分割手段と、複数の光電変換部と、前記光束分割手段が前記第１の位置に位置する場合に前記光束分割手段を透過した光束のうち前記撮影レンズの射出瞳の異なる領域を通過した光束を前記複数の光電変換部に導く１つのマイクロレンズと、を備える画素を複数備える撮像素子と、を有する撮像装置の制御方法であって、前記光束分割手段が前記第１の位置に位置する場合、前記撮影レンズの収差情報と、前記光束分割手段の収差情報である第１の収差情報と、前記撮像素子から取得される撮像信号の空間周波数特性に対する重み付け値と、前記撮像素子から取得される１対の焦点検出信号の空間周波数特性に対する重み付け値と、に基づいて、前記撮像素子から取得される１対の焦点検出信号を用いて求められる焦点位置を補正するための焦点調節補正量を算出する補正量算出ステップと、前記焦点調節補正量に基づいて、前記焦点調節機構を制御する制御ステップと、を有することを特徴とする。

また、本発明の他の側面としての撮像装置の制御方法は、焦点調節機構を有する撮影レンズの射出瞳を通過した光束を第１の光束と第２の光束に分割する光束分割手段と、複数の第１光電変換部と、前記第１の光束のうち前記射出瞳の異なる領域を通過した光束を前記複数の第１光電変換部に導く１つのマイクロレンズと、を備える第１画素を複数備える第１撮像素子と、複数の第２光電変換部と、前記第２の光束のうち前記射出瞳の異なる領域を通過した光束を前記複数の第２光電変換部に導く１つのマイクロレンズと、を備える第２画素を複数備える第２撮像素子と、を有する撮像装置の制御方法であって、前記光束分割手段の形状パラメータと、前記撮影レンズおよび前記形状パラメータに関する補正情報と、に基づいて前記第１の撮像素子から取得される１対の焦点検出信号を用いて求められる第１の焦点位置を補正するための第１の焦点調節補正量および前記第２の撮像素子から取得される１対の焦点検出信号を用いて求められる第２の焦点位置を補正するための第２の焦点調節補正量を算出する補正量算出ステップと、前記第１および第２の焦点調節補正量に基づいて、前記焦点調節機構を制御する制御ステップと、を有することを特徴とする。

Claims (12)

1. 焦点調節機構を有する撮影レンズの射出瞳を通過した光束を第１の光束と第２の光束に分割する光束分割手段と、
   第１光電変換部と、前記第１の光束を前記第１光電変換部に導くマイクロレンズと、を備える第１画素を複数備える第１撮像素子と、
   第２光電変換部と、前記第２の光束を前記第２光電変換部に導くマイクロレンズと、を備える第２画素を複数備える第２撮像素子と、
   前記撮影レンズの収差情報と、前記第１の光束の収差情報である第１の収差情報と、前記第１画素の画素ピッチ、前記第１画素の読み出しモード、前記第１光電変換部の分割方向および前記第１画素の分光感度の少なくとも１つに関する第１撮像特性情報と、前記射出瞳の異なる領域を通過した前記第１の光束を受光した前記第１撮像素子から取得される１対の焦点検出信号の第１特性情報と、に基づいて第１の焦点調節補正量を算出するとともに、前記撮影レンズの収差情報と、前記第２の光束の収差情報である第２の収差情報と、前記第２画素の画素ピッチ、前記第２画素の読み出しモード、前記第２光電変換部の分割方向および前記第２画素の分光感度の少なくとも１つに関する第２撮像特性情報と、前記射出瞳の異なる領域を通過した前記第２の光束を受光した前記第２撮像素子から取得される１対の焦点検出信号の第２特性情報と、に基づいて第２の焦点調節補正量を算出する補正量算出手段と、
   前記第１および第２の焦点調節補正量に基づいて、前記焦点調節機構を制御する制御手段と、を有することを特徴とする撮像装置。
2. 光電変換部と、焦点調節機構を有する撮影レンズの射出瞳を通過した光束を前記光電変換部に導く画素を複数備える撮像素子と、
   前記撮影レンズの光路内に位置する第１の位置と、前記光路から退避する第２の位置との間を移動可能な光束分割手段と、
   前記撮影レンズの収差情報と、前記光束分割手段の収差情報である第１の収差情報と、前記画素の画素ピッチ、前記画素の読み出しモード、前記光電変換部の分割方向、前記画素の分光感度の少なくとも１つに関する撮像特性情報と、前記射出瞳の異なる領域を通過した前記光束を受光した前記撮像素子から取得される１対の焦点検出信号の特性情報と、に基づいて焦点調節補正量を算出する補正量算出手段と、
   前記焦点調節補正量に基づいて、前記焦点調節機構を制御する制御手段と、を有することを特徴とする撮像装置。
3. 前記補正量算出手段は、前記光束分割手段が前記第２の位置に位置する場合、前記撮影レンズの収差情報と、前記撮像特性情報と、前記１対の焦点検出信号の特性情報と、に基づいて前記焦点調節補正量を算出することを特徴とする請求項２に記載の撮像装置。
4. 前記第１および第２の収差情報は、前記光束分割手段の遮光部材における透過光量に基づく値であることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記撮影レンズの収差情報は、波面収差情報であることを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 焦点調節機構を有する撮影レンズの射出瞳を通過した光束を第１の光束と第２の光束に分割する光束分割手段と、
   前記第１の光束を受光する第１撮像素子と、
   前記第２の光束を受光する第２撮像素子と、
   前記光束分割手段の形状パラメータと、前記撮影レンズおよび前記形状パラメータに関する補正情報と、に基づいて前記第１の撮像素子に対応する第１の焦点調節補正量および前記第２の撮像素子に対応する第２の焦点調節補正量を算出する補正量算出手段と、
   前記第１および第２の焦点調節補正量に基づいて、前記焦点調節機構を制御する制御手段と、を有することを特徴とする撮像装置。
7. 前記形状パラメータは、前記光束分割手段の厚みに関する情報であることを特徴とする請求項６に記載の撮像装置。
8. 前記形状パラメータは、前記光束分割手段の撓みに関する情報であることを特徴とする請求項６に記載の撮像装置。
9. 前記撓みに関する情報は、前記光束分割手段の干渉縞本数であることを特徴とする請求項８に記載の撮像装置。
10. 焦点調節機構を有する撮影レンズの射出瞳を通過した光束を第１の光束と第２の光束に分割する光束分割手段と、第１光電変換部と、前記第１の光束を前記第１光電変換部に導くマイクロレンズと、を備える第１画素を複数備える第１撮像素子と、第２光電変換部と、前記第２の光束を前記第２光電変換部に導くマイクロレンズと、を備える第２画素を複数備える第２撮像素子と、を有する撮像装置の制御方法であって、
    前記撮影レンズの収差情報と、前記第１の光束の収差情報である第１の収差情報と、前記第１画素の画素ピッチ、前記第１画素の読み出しモード、前記第１光電変換部の分割方向および前記第１画素の分光感度の少なくとも１つに関する第１撮像特性情報と、前記射出瞳の異なる領域を通過した前記第１の光束を受光した前記第１撮像素子から取得される１対の焦点検出信号の第１特性情報と、に基づいて第１の焦点調節補正量を算出するとともに、前記撮影レンズの収差情報と、前記第２の光束の収差情報である第２の収差情報と、前記第２画素の画素ピッチ、前記第２画素の読み出しモード、前記第２光電変換部の分割方向および前記第２画素の分光感度の少なくとも１つに関する第２撮像特性情報と、前記射出瞳の異なる領域を通過した前記第２の光束を受光した前記第２撮像素子から取得される１対の焦点検出信号の第２特性情報と、に基づいて第２の焦点調節補正量を算出する補正量算出ステップと、
    前記第１および第２の焦点調節補正量に基づいて、前記焦点調節機構を制御する制御ステップと、を有することを特徴とする撮像装置の制御方法。
11. 光電変換部と、焦点調節機構を有する撮影レンズの射出瞳を通過した光束を前記光電変換部に導く画素を複数備える撮像素子と、前記撮影レンズの光路内に位置する第１の位置と、前記光路から退避する第２の位置との間を移動可能な光束分割手段と、を有する撮像装置の制御方法であって、
    前記撮影レンズの収差情報と、前記光束分割手段の収差情報である第１の収差情報と、前記画素の画素ピッチ、前記画素の読み出しモード、前記光電変換部の分割方向、前記画素の分光感度の少なくとも１つに関する撮像特性情報と、前記射出瞳の異なる領域を通過した前記光束を受光した前記撮像素子から取得される１対の焦点検出信号の特性情報と、に基づいて焦点調節補正量を算出する補正量算出ステップと、
    前記焦点調節補正量に基づいて、前記焦点調節機構を制御する制御ステップと、を有することを特徴とする撮像装置の制御方法。
12. 焦点調節機構を有する撮影レンズの射出瞳を通過した光束を第１の光束と第２の光束に分割する光束分割手段と、前記第１の光束を受光する第１撮像素子と、前記第２の光束を受光する第２撮像素子と、を有する撮像装置の制御方法であって、
    前記光束分割手段の形状パラメータと、前記撮影レンズおよび前記形状パラメータに関する補正情報と、に基づいて前記第１の撮像素子に対応する第１の焦点調節補正量および前記第２の撮像素子に対応する第２の焦点調節補正量を算出する補正量算出ステップと、
    前記第１および第２の焦点調節補正量に基づいて、前記焦点調節機構を制御する制御ステップと、を有することを特徴とする撮像装置の制御方法。