JP2019035825A - 撮像装置 - Google Patents

Abstract

【課題】複数の撮像素子を有する撮像装置において、高精度な焦点調節制御を行う。【解決手段】第１の被写体像を撮像する第１の撮像素子１０１からの出力信号を用いて第１の撮像信号を生成し、第２の被写体像を撮像する第２の撮像素子１０２からの出力信号を用いて第２の撮像信号を生成する。少なくとも一方の撮像素子からの出力信号を用いて焦点検出信号を生成する。撮像光学系の収差情報と第１の撮像特性情報と焦点検出特性情報とを用いて第１の焦点調節補正量を取得し、収差情報と第２の撮像特性情報と焦点検出特性情報とを用いて第２の焦点調節補正量を取得する。焦点検出の結果と、第１および第２の焦点調節補正量とを用いて焦点調節制御を行う。【選択図】図１

Description

本発明は、フォーカス制御が可能な撮像装置に関する。

被写体像を撮像するための撮像素子を位相差センサとして用いて焦点検出を行う撮像面位相差ＡＦを行う撮像装置（以下、カメラという）として、特許文献１には動画撮像用と静止画撮像用の互いに画素ピッチが異なる２つ撮像素子を有するカメラが開示されている。また特許文献２には、２つの撮像素子のうち一方は撮像領域のうち所定領域にて水平方向に瞳分割を行う焦点検出画素群を有し、他方は上記所定領域と異なる領域にて垂直方向に瞳分割を行う焦点検出画素群を有するカメラが開示されている。このカメラでは、焦点検出対象である被写体の位置（座標）や明暗パターンの方向に応じて焦点検出画素群を選択する。

さらに特許文献３には、被写体情報（空間周波数、分光分布、コントラスト方向等）、撮像条件情報（画素ピッチ、画像処理内容、画像サイズ、表示サイズ等）および撮像光学系の収差情報を用いて焦点検出結果を補正するカメラが開示されている。

特開２０１５−０３４９１７号公報 特開２００８−１７７９０３号公報 特開２０１５−１３８２００号公報

しかしながら、特許文献１および特許文献２にて開示された２つの撮像素子を有するカメラにおいて特許文献３にて開示されているように焦点検出結果を補正する際に、最適な補正値が撮像素子ごとに異なる。すなわち、特許文献１のカメラでは、２つの撮像素子により互いに異なる撮像特性を有する記録画像として静止画と動画を取得するため、最適な焦点検出結果の補正値が撮像素子ごとに異なる。また特許文献２のカメラでも、２つの撮像素子により互いに異なる特性の焦点検出信号として縦方向と横方向の焦点検出信号を取得するため、最適な焦点検出結果の補正値が撮像素子ごとに異なる。特許文献１，２には、撮像特性や焦点検出信号の特性に応じて焦点検出結果を補正する方法が開示されていない。

本発明は、撮像特性が互いに異なる複数の撮像素子を有する場合に高精度なフォーカス制御が可能な撮像装置を提供する。

本発明の一側面としての撮像装置は、フォーカス素子を有する撮像光学系を通して撮像を行う。撮像装置は、撮像光学系の射出瞳を通過した光束を第１の光束と第２の光束に分割する光束分割手段と、第１の光束により形成される被写体像を撮像する第１の撮像素子と、第２の光束により形成される被写体像を撮像する第２の撮像素子と、第１の撮像素子からの出力信号を用いて第１の画像を生成するための第１の撮像信号を生成し、第２の撮像素子からの出力信号を用いて第２の画像を生成するための第２の撮像信号を生成し、第１および第２の撮像素子のうち少なくとも一方からの出力信号を用いて、位相差検出方式の焦点検出に用いられる焦点検出信号を生成する信号生成手段と、フォーカス素子および第２の撮像素子のうち少なくとも一方を移動させる焦点調節制御を行う制御手段とを有する。制御手段は、撮像光学系の収差情報と、第１の撮像信号の特性に関する第１の撮像特性情報と、焦点検出信号の特性に関する焦点検出特性情報とを用いて第１の焦点調節補正量を取得し、収差情報と、第２の撮像信号の特性に関する第２の撮像特性情報と、焦点検出特性情報とを用いて第２の焦点調節補正量を取得し、焦点検出の結果と、第１の焦点調節補正量および第２の焦点調節補正量とを用いて焦点調節制御を行うことを特徴とする。

本発明によれば、第１および第２の撮像素子を有する撮像装置において、高精度な焦点調節制御を行うことができる。

本発明の実施例１としてのカメラ本体を含むカメラシステムの構成を示すブロック図。 実施例１のカメラに設けられた第１の撮像素子および第２の撮像素子の構成を示す図。 実施例１における撮像光学系の射出瞳と焦点検出系の焦点検出瞳との相対位置関係を説明する図。 実施例１における焦点検出領域を説明する図。 実施例１における撮像処理を示すフローチャート。 実施例１における焦点検出処理を示すフローチャート。 実施例１における被写体情報抽出処理を示すフローチャート。 実施例１において各撮像素子で得られる被写体情報の例を示す図。 実施例１におけるＡＦ評価帯域および撮像画像評価帯域の算出を説明する図。 実施例１におけるＡＦ評価帯域および撮像画像評価帯域の算出を説明する別の図。 実施例１におけるＢＰ量算出処理を示すフローチャート。 実施例１における撮像レンズの収差情報の例を示す図。 実施例１におけるハーフミラーの分光透過率の角度依存性を説明する図。 実施例１におけるハーフミラーへの入射角度の変化を説明する図。 実施例１における被写体情報抽出タイミングを説明する図。

以下、本発明の実施例について図面を参照しながら説明する。

図１は、本発明の実施例１である撮像装置としてのレンズ交換式デジタルカメラ本体（以下、単にカメラ本体という）１００および交換レンズ装置としての撮像レンズ５００により構成されるカメラシステムの構成を示す。

撮像レンズ５００は、撮像光学系を有し、カメラ本体１００に取り外し可能に装着される。撮像光学系を透過した撮像光束は、カメラ本体１００に設けられた光束分割手段としてのビームスプリッタ１０３に入射する。ビームスプリッタ１０３は、本実施例ではハーフミラーにより構成されている。

ビームスプリッタ１０３は、入射した撮像光束をこれを透過する光束とこれにより反射する光束とに分割する。ビームスプリッタ１０３を透過した第１の光束は、第１の撮像素子１０１に向かう。一方、ビームスプリッタ１０３により反射された第２の光束は、第２の撮像素子と１０２に向かう。ビームスプリッタ１０３は、入射した光束を２つに分割することができればハーフミラー以外の光学素子であってもよい。

第１の撮像素子１０１の撮像面である第１の撮像面）と第２の撮像素子１０２の撮像面である第２の撮像面は、撮像レンズ５００から見て光学的に等価な位置にある。すなわち、第１の撮像面と第２の撮像面はそれぞれ、撮像レンズ５００を介して、被写体に対して光学的に共役な結像面である。

第１および第２の撮像面には、ビームスプリッタ１０３の透過率および反射率に応じた明るさの被写体像がそれぞれ形成される。ビームスプリッタ１０３としてのハーフミラーは、理想的な平面で、かつ撮像光束が透過する領域の屈折率が一様であることが望ましい。ただし、実際にはある程度のうねりや屈折率分布が生じている。このため、ビームスプリッタ１０３を透過および反射した第１および第２の光束のそれぞれにより形成される被写体像、つまりは第１および第２の撮像素子１０１，１０２により取得される撮像画像の画質が低下するおそれがある。

ここで、ハーフミラーが薄板ガラスにより構成される場合には、画質低下の程度は、これを透過した第１の光束により形成される被写体像に対応する撮像画像と比較して、これにより反射された第２の光束により形成される被写体像に対応する撮像画像の方が大きい。このため、本実施例では、第１の光束を受光する第１の撮像素子１０１を高解像度記録用、すなわち主として静止画撮像用の撮像素子として用いる。一方、第２の光束を受光する第２の撮像素子１０２を、静止画撮像よりも撮像画素数が少ない動画撮像用の撮像素子として用いる。ただし、ビームスプリッタ１０３の特性やその他の条件に応じて、第１の撮像素子１０１と第２の撮像素子１０２の位置を入れ替えてもよい。

それぞれＣＭＯＳセンサにより構成される第１の撮像素子１０１および第２の撮像素子１０２はいずれも、マトリクス状に配置されて被写体像を電気信号に変換する複数の画素を有する。各画素は、詳しくは後述するが、１つのマイクロレンズと、複数の光電変換部とを有する。

第１および第２の撮像素子１０１，１０２から出力される電気信号としての出力信号は、カメラＣＰＵ１０４に入力される。カメラＣＰＵ１０４は、出力信号に対して、画像信号や焦点検出信号（後述する位相差像信号）を得るための各種補正処理を行ったり、画像信号をリアルタイム表示画像であるライブビュー画像や記録用画像に変換するための画像処理を行ったりする。なお、これらの補正処理や画像処理をカメラＣＰＵ１０４とは別に設けられた専用回路によって行ってもよい。

撮像素子駆動部（撮像素子移動手段）１１４は、第２の撮像素子１０２を撮像光学系の光軸方向に移動させるセンサアクチュエータおよびその駆動回路を含む。上述したように、第１および第２の撮像素子１０１，１０２は基本的には光学的に共役な結像面に配置される。しかし、カメラ本体１００の組立誤差（第１および第２の撮像素子１０１，１０２の組付け誤差）や後述する収差の影響による最良像面の変位により、第１および第２の撮像素子１０１，１０２をともに誤差なく共役な結像面に配置することは困難である。このため、第１および第２の撮像素子１０１，１０２で同時に撮像画像を得る際に、撮像光学系に設けられたフォーカスレンズの光軸方向の移動だけで第１および第２の撮像素子１０１，１０２の両方に対してピントが合った被写体像を形成することができない。

したがって、撮像素子駆動部１１４により第２の撮像素子１０２を光軸方向に移動させることで、第１および第２の撮像素子１０１，１０２の両方に対してピントが合った被写体像を形成することを可能とする。なお、撮像素子駆動部１１４により、第２の撮像素子１０２ではなく、ビームスプリッタ１０３を光軸方向に移動させてもよい。

また、第１および第２の撮像素子１０１，１０２にはそれぞれ、赤外カットフィルタや光学ローパスフィルタ等が一体的に設けられている。

カメラ本体１００に設けられた操作部１０５は、撮像モードや撮像条件等を設定するためにユーザにより操作される各種操作部材を含む。記憶媒体１０６は、フラッシュメモリであり、撮像画像（静止画および動画）を記録する。ファインダ内表示器１０７は、有機ＥＬディスプレイや液晶ディスプレイ等により構成されるディスプレイデバイス１０８と接眼レンズ１０９とで構成される。

外部表示器１１０は、ユーザによる直視に適した画面サイズの有機ＥＬディスプレイや液晶ディスプレイが用いられる。撮像画像、ライブビュー画像およびカメラ本体１００の設定状態等を示す各種情報は、ファインダ内表示器１０７および外部表示器１１０に表示される。

フォーカルプレンシャッタ１１１は、第１の撮像素子１０１の前面に配置されている。シャッタ駆動部１１２は、モータおよびその駆動回路を含み、シャッタ１１１を駆動して静止画撮像時における第１の撮像素子１０１の露光時間を制御する。

カメラ側通信端子１１３は、撮像レンズ５００を装着するためのカメラマウント部に設けられている。カメラＣＰＵ１０４は、カメラ側通信端子１１３と撮像レンズ５００のレンズマウント部に設けられたレンズ側通信端子５０８とを介して、後述するレンズＣＰＵ５０７との間で通信を行う。

本実施例の撮像レンズ５００の撮像光学系は、焦点距離が可変であるズームレンズとして構成されている。被写体からの光束は、撮像光学系を構成する第１レンズ群５０１、第２レンズ群５０２および第３レンズ群５０３を透過してカメラ本体１００内に入射し、上述した被写体像を形成する。第２レンズ群５０２は、ユーザのマニュアル操作に応じて光軸方向に移動して変倍を行うバリエータレンズである。第３レンズ群５０３は、光軸方向に移動して焦点調節を行うフォーカスレンズ（フォーカス素子）である。フォーカスレンズ５０３は、ステッピングモータ等のフォーカスアクチュエータとその駆動回路を含むフォーカス駆動部５０４によって駆動される。また撮像光学系は、光量を調節する虹彩絞り５０５を含む。虹彩絞り５０５は、絞りアクチュエータおよびその駆動回路を含む絞り駆動部５０６により駆動される。本実施例では、虹彩絞り５０５が開放状態にあるときの開放Ｆナンバは、ズーム状態や焦点調節状態によらず、一定値（例えば、Ｆ２）となる。

レンズＣＰＵ５０７は、前述したようにレンズ側通信端子５０８とカメラ側通信端子１１３を介してカメラＣＰＵ１０４との間で各種情報を送受信したり、カメラＣＰＵ１０４からの指令に基づいてフォーカス駆動部５０４や絞り駆動部５０６を制御したりする。

本実施例では、撮像光学系の射出瞳と第１および第２の撮像面との間の距離である射出瞳距離は、ズーム状態および焦点調節状態に応じて変化する。

図２（ａ）は、第１の撮像素子１０１の構成を示している。本実施例では、第１の撮像素子１０１と第２の撮像素子１０２とは、画素ピッチおよび１つのマイクロレンズに対して設けられた複数の光電変換部の数が互いに異なり、それら以外の構成は同様である。第２の撮像素子１０２の構成については後述する。

図２（ａ）は、撮像面全体のうち中央（像高０）付近の領域に設けられた画素を撮像レンズ側から見ときの構成を示している。第１の撮像素子１０１の各画素は、水平（ｘ）方向および垂直（ｙ）方向とも４μｍのサイズを有する正方形の画素である。この正方形の画素が、撮像面全体に水平方向６０００画素×垂直方向４０００画素の計２４００万画素だけ配置されている。

第１の撮像素子１０１の撮像面の大きさは、各画素サイズ、すなわち画素ピッチに画素数を乗じれば求めることができる。本実施例では、撮像面は、水平方向に２４ｍｍ、垂直方向に１６ｍｍのサイズを有する。各画素には、Ｒ（赤）、Ｇ（緑）またはＢ（青）のカラーフィルタが設けられており、撮像面全体にＲ、ＧおよびＢのカラーフィルタが設けられたＲ画素、Ｇ画素およびＢ画素がベイヤー配列に従ってモザイク状に配列されている。

図２（ｂ）は、第１の撮像素子１０１の１つの画素の断面を示している。この画素において、シリコン基板１０１ｄ内には２つ（一対）の光電変換部１０１ａおよび光電変換部１０１ｂが設けられている。また、シリコン基板１０１ｄ内には光電変換部１０１ａ，１０１ｂで発生した光電子を電圧に変換して外部に読み出す不図示のスイッチングトランジスタ等が形成されている。各光電変換部での光電変換により生成された出力信号は、複数の配線層１０１ｅを通じて読み出される。

各配線層１０１ｅは、透明な層間膜１０１ｆによって絶縁されている。マイクロレンズ（オンチップマイクロレンズ）１０１ｃの下には、色分離用のカラーフィルタ１０１ｇが設けられている。マイクロレンズ１０１ｃの形状は、その焦点位置が光電変換部１０１ａ，１０１ｂの表面に一致するように決められる。マイクロレンズ１０１ｃは、撮像光学系の射出瞳における互いに異なる一対の領域（焦点検出瞳）を通過した一対の光束をそれぞれ、光電変換部１０１ａ，１０１ｂの表面に導く。これにより、光電変換部１０１ａ，１０１ｂの表面には、位相差検出方式の焦点検出に用いられる一対の像（以下、２像という）が形成される。なお、光電変換部１０１ａ，１０１ｂの像をマイクロレンズ１０１ｃを介して撮像光学系の射出瞳に逆投影したときに該逆投影像が形成される一対の領域が、上記一対の焦点検出瞳となる。撮像光学系の射出瞳において一対の焦点検出瞳が並ぶ方向（瞳分割方向）は、水平方向または垂直方向である。

カメラＣＰＵ１０４は、位相差検出方式の焦点検出を行う際に、一対の光電変換部１０１ａ，１０１ｂからの出力信号を個別に処理して一対の位相差像信号を生成する。そして、カメラＣＰＵ１０４は、上記２像のずれ量に対応する一対の位相差像信号の位相差から、第１の撮像素子１０１の撮像面に対する被写体像（言い換えれば撮像光学系）のデフォーカス量を算出する。また、カメラＣＰＵ１０４は、一対の光電変換部１０１ａ，１０１ｂからの出力信号を加算して、静止画（第１の画像）および動画（第２の画像）の記録に用いられる記録用画像信号もしくはライブビュー画像の生成に用いられる表示用画像信号を生成する。カメラＣＰＵ１０４は、焦点検出手段、信号生成手段および制御手段として機能する。

なお、一対の光電変換部１０１ａ，１０１ｂからの出力信号の加算処理は、カメラＣＰＵ１０４とは異なる加算回路によって行ってもよい。また、第１の撮像素子１０１が光電変換部１０１ａ，１０１ｂからの出力信号を個別に読み出した後に該第１の撮像素子１０１内に設けた加算回路で加算して出力してもよい。これらの場合、加算回路は信号生成手段に相当する。

図２（ｃ）は、撮像面全体のうち中央（像高０）付近の領域に設けられた画素を撮像レンズ側から見ときの構成を示している。第２の撮像素子１０２の各画素は、水平（ｘ）方向および垂直（ｙ）方向とも１２μｍのサイズを有する正方形の画素である。この正方形の画素が、撮像面全体に水平方向２０００画素×垂直方向１３３３画素の計２６７万画素だけ配置されている。なお、第２の撮像素子１０２は、第１の撮像素子１０１に対して画素ピッチが２倍であるため、総画素数は１／４となっている。

第２の撮像素子１０２の撮像面の大きさは、第１の撮像素子１０１と同様の計算から、水平方向に２４ｍｍ、垂直方向に１６ｍｍ、すなわち第１の撮像素子１０１と同じである。第２の撮像素子１０２においても、各画素には、Ｒ、ＧまたはＢのカラーフィルタが設けられており、撮像面全体にＲ、ＧおよびＢのカラーフィルタが設けられた画素がモザイク状に配列されている。

第２の撮像素子１０２の各画素は、配線層、マイクロレンズおよび色分離用カラーフィルタについては第１の撮像素子１０１と同様に構成されている。ただし、第２の撮像素子１０２では、各画素のマイクロレンズ１０２ｊの下に、第１の撮像素子１０１の各画素よりも多い９つの光電変換部１０２ａ〜１０２ｉを有する。これにより、第２の撮像素子１０２の各画素における入射光束の角度分解能を第１の撮像素子１０１に比べて増加させることができる。

上述したように第１の撮像素子１０１の各画素の光電変換部１０１ａ，１０１ｂの撮像光学系の射出瞳への逆投影像は２つであるが、第２の撮像素子１０２の各画素の光電変換部１０２ａ〜１０２ｉの撮像光学系の射出瞳への逆投影像は９つである。位相差検出方式の焦点検出を行う際に９つの光電変換部１０２ａ〜１０２ｉから２つ（一対）の光電変換部を選択することで、一対の焦点検出瞳が並ぶ瞳分割方向として、水平方向、垂直方向および斜め方向を選択することができる。

カメラＣＰＵ１０４は、第２の撮像素子１０２の各画素の一対の光電変換部から出力された出力信号を個別に処理して一対の位相差像信号を生成する。そして、カメラＣＰＵ１０４は、該一対の位相差像信号の位相差から、第２の撮像素子１０２の撮像面に対する被写体像（撮像光学系）のデフォーカス量を算出する。そして、該デフォーカス量に応じてフォーカスレンズ５０３および第２の撮像素子１０２のうち少なくとも一方を光軸方向に移動させる焦点調節制御を行う。

また、カメラＣＰＵ１０４は、一対の光電変換部からの出力信号を加算して、静止画および動画の記録に用いられる記録用画像信号もしくは表示画像としてのライブビュー画像の生成に用いられる表示用画像信号を得る。なお、第１の撮像素子１０１に対してと同様に、一対の光電変換部からの出力信号の加算処理は、カメラＣＰＵ１０４とは異なる加算回路によって行ってもよい。また、第２の撮像素子１０２が一対の光電変換部からの出力信号を個別に読み出した後に該第２の撮像素子１０２内に設けた加算回路で加算して出力してもよい。

本実施例の第１および第２の撮像素子１０１，１０２では、以下の２種類の読み出しモードで各画素からの出力信号を読み出すことができる。第１の読み出しモードは、全画素読み出しモードとも称され、記録用の静止画や動画を撮像する際に全画素から出力信号が読み出されるモードである。

第２の読み出しモードは、間引き読み出しモードとも称され、表示のみが行われるライブビュー画像を生成するために全画素数よりも少ない画素数の画素から出力信号が読み出されるモードである。この際、全画素のうちｘ方向およびｙ方向ともに所定比率に間引いた画素のみから出力信号を読み出すことで、信号処理回路の処理負荷を軽減するとともに、消費電力の低減にも寄与する。また、第１および第２の読み出しモードのいずれにおいても、各画素が有する光電変換部からの信号は独立して読み出しされるため、焦点検出のための一対の位相差像信号の生成が可能である。

なお、第１の撮像素子１０１を動画撮像に用いてもよい。例えば、第２の撮像素子１０２による動画撮像中に、第１の撮像素子１０１から間引き読み出しされた出力信号を用いて動画を生成してもよい。また、第２の撮像素子１０２を静止画撮像に用いてもよい。例えば、動画撮像中に１フレーム画像を静止画として記録してもよい。

次に、図３（ａ）〜（ｄ）を用いて、第１および第２の撮像素子１０１，１０２の光電変換部と焦点検出瞳との関係について説明する。図３（ａ），（ｂ）は、撮像光学系の射出瞳面と像面中央（像高０）近傍に配置された第１の撮像素子１０１の光電変換部との共役関係を示している。撮像光学系の射出瞳面と第１の撮像素子１０１の光電変換部とは、第１の撮像素子１０１のマイクロレンズによって共役関係となっている。撮像光学系の射出瞳は、一般に虹彩絞りが配置される位置に相当する。

本実施例の撮像光学系はズームレンズであるが、その光学タイプによっては変倍によって射出瞳から像面（撮像面）までの射出瞳距離や射出瞳の大きさが変化する。図３（ａ）に示す撮像光学系は、焦点距離が広角端と望遠端との間の中間ズーム状態にある。このときの射出瞳距離を基準となる射出瞳距離Ｚｅｐとして、マイクロレンズの形状や像高（Ｘ座標、Ｙ座標）に応じた偏心パラメータが最適化される。

図３（ａ）は、第１レンズ群５０１、第１レンズ群５０１を保持する鏡筒部材５０１ｒ、虹彩絞り５０５、フォーカスレンズ５０３、該フォーカスレンズ５０３を保持する鏡筒部材５０３ｒおよび第１の撮像素子１０１の１つの画素を示す。虹彩絞り５０５は、開放絞り開口径を決める開口を有する開口板５０５ａと、絞り開口径を調節するための絞り羽根５０５ｂとを有する。なお、撮像光学系を通過する光束の制限部材として機能する鏡筒部材５０１ｒ、開口板５０５ａ、絞り羽根５０５ｂおよび鏡筒部材５０３ｒは、像面側から観察した場合の光学的な虚像を示している。また、虹彩絞り５０５の近傍における合成開口を撮像光学系の射出瞳と定義し、射出瞳から像面までの射出瞳距離を上述したＺｅｐとする。

２つの光電変換部１０１ａ，１０１ｂは、マイクロレンズ１０１ｃによって撮像光学系の射出瞳面上に投影像ＥＰ１ａ，ＥＰ１ｂとして逆投影される。言い換えれば、逆投影像ＥＰ１ａ，ＥＰ１ｂが形成される焦点検出瞳の像は、マイクロレンズ１０１ｃを介して光電変換部１０１ａ，１０１ｂの表面に投影される。

図３（ｂ）は、撮像光学系の射出瞳面上における光電変換部１０１ａ，１０１ｂの逆投影像ＥＰ１ａ，ＥＰ１ｂを光軸方向から見て示す。第１の撮像素子１０１は、２つの光電変換部１０１ａ，１０１ｂのうち一方から信号を出力できる画素と、両方からの信号を加算して出力できる画素とを有する。加算して出力された信号は、焦点検出瞳ＥＰ１ａ，ＥＰ１ｂを通過した全ての光束を光電変換して得られた信号である。

図３（ａ）において、撮像光学系を通過した光束（図ではその外縁を直線で示している）Ｌは、虹彩絞り５０５の開口板５０５ａによって制限されている。図３（ｂ）では、図３（ａ）に示した光束Ｌ（の外縁）をＴＬとして示している。ＴＬで示される円（つまりは開口板５０５ａの開口）の内部に２つの光電変換部１０１ａ，１０１ｂの逆投影像ＥＰ１ａ，ＥＰ１ｂの大部分が含まれていることから、逆投影像ＥＰ１ａ，ＥＰ１ｂにはわずかなケラレしか発生していないことが分かる。この際、射出瞳面の中央では逆投影像ＥＰ１ａ，ＥＰ１ｂのケラレ状態は、撮像光学系の光軸（図中に一点鎖線で示す）に関して対称となり、光電変換部１０１ａ，１０１ｂが受光する光量は互いに等しい。

図３（ｃ），（ｄ）は、撮像光学系の射出瞳面と像面中央（像高０）近傍に配置された第２の撮像素子１０２の光電変換部との共役関係を示している。撮像光学系の射出瞳面と第２の撮像素子１０２の光電変換部とは、第２の撮像素子１０２のマイクロレンズによって共役関係となっている。図３（ｃ）は、上述した第１レンズ群５０１、鏡筒部材５０１ｒ、虹彩絞り５０５、フォーカスレンズ５０３、鏡筒部材５０３ｒおよび第２の撮像素子１０２の１つの画素を示す。

９つの光電変換部１０２ａ〜１０２ｉは、マイクロレンズ１０２ｊによって撮像光学系の射出瞳面上に投影像ＥＰ２ａ〜ＥＰ２ｉとして逆投影される。言い換えれば、逆投影像ＥＰ２ａ〜ＥＰ２ｉが形成される焦点検出瞳の像は、マイクロレンズ１０１ｃを介して光電変換部１０２ａ〜１０２ｉの表面に投影される。

図３（ｄ）は、撮像光学系の射出瞳面上における光電変換部１０２ａ〜１０２ｉの逆投影像ＥＰ２ａ〜ＥＰ２ｉを光軸方向から見て示す。第１の撮像素子１０１は、９つの光電変換部１０２ａ〜１０２ｉのそれぞれから信号を出力できる画素と、９つの光電変換部１０２ａ〜１０２ｉからの信号を加算して出力できる画素とを有する。加算して出力された信号は、焦点検出瞳ＥＰ２ａ〜ＥＰ２ｉを通過した全ての光束を光電変換して得られた信号である。

図３（ｃ）でも、撮像光学系を通過した光束Ｌは、虹彩絞り５０５の開口板５０５ａによって制限されている。また図３（ｄ）でも、図３（ｃ）に示した光束Ｌ（の外縁）をＴＬとして示している。ＴＬで示される円（つまりは開口板５０５ａの開口）の内部に９つの光電変換部１０２ａ〜１０２ｉの逆投影像ＥＰ２ａ〜ＥＰ２ｉの大部分が含まれていることから、逆投影像ＥＰ２ａ〜ＥＰ２ｉにはわずかなケラレしか発生していないことが分かる。この際、射出瞳面の中央では逆投影像ＥＰ２ａ〜ＥＰ２ｉのケラレ状態は、撮像光学系の光軸に関して対称となり、光電変換部１０２ａ〜１０２ｉが受光する光量は互いに等しい。

ここで、位相差検出方式の焦点検出に用いられる一対の位相差像信号について説明する。上述したように、第１の撮像素子１０１では、マイクロレンズ１０１ｃと２つの光電変換部１０１ａ，１０１ｂとによって撮像光学系の射出瞳を瞳分割する。そして、第１の撮像素子１０１の同一画素行に配置された焦点検出領域内の複数の焦点検出画素の光電変換部１０１ａからの出力信号を繋ぎ合わせることで、一対の位相差像信号うち一方の位相差像信号（以下、Ａ像信号という）が生成される。また、上記複数の焦点検出画素の光電変換部１０１ｂからの出力信号を繋ぎ合わせることで、一対の位相差像信号うち他方の位相差像信号（以下、Ｂ像信号という）が生成される。

Ａ像信号およびＢ像信号はともに、ベイヤー配列のＲ画素、Ｂ画素および２つのＧ画素からの出力信号を信号加算処理したものであり、疑似的に輝度（Ｙ）信号として算出される。ただし、Ｒ画素ごと、Ｂ画素ごとおよびＧ画素ごとにＡ像信号およびＢ像信号を生成してもよい。

このように生成したＡ像信号とＢ像信号の相対的なずれ量である位相差を相関演算により算出することにより、該位相差を用いて焦点検出領域におけるデフォーカス量を算出することができる。

また、第２の撮像素子１０２の出力信号からも、同様にして一対の位相差像信号としてのＣ像信号およびＤ像信号が生成される。第２の撮像素子１０２は、第１の撮像素子１０１よりも瞳分割数が多いため、Ｃ像信号およびＤ像信号の生成方法が複数考えられる。例えば、光電変換部１０２ａ，１０２ｄ，１０２ｇからの出力信号を加算して１つの加算信号とし、複数の焦点検出画素間で加算信号同士を繋ぎ合わせることでＣ像信号を生成する。また、光電変換部１０２ｃ，１０２ｆ，１０２ｉからの出力信号を加算して１つの加算信号とし、複数の焦点検出画素間で加算信号同士を繋ぎ合わせることでＤ像信号を生成する。

他の生成方法としては、例えば、複数の焦点検出画素間で光電変換部１０２ｄからの出力信号のみを繋ぎ合わせてＣ像信号を生成し、光電変換部１０２ｆからの出力信号のみを繋ぎ合わせてＤ像信号を生成してもよい。さらに別の生成方法としては、左側６つの光電変換部１０２ａ，１０２ｂ，１０２ｄ，１０２ｅ，１０２ｇ，１０２ｈからの出力信号を加算して１つの加算信号とし、複数の焦点検出画素間で加算信号同士を繋ぎ合わせることでＣ像信号を生成してもよい。この場合、右側６つの光電変換部１０２ｂ，１０２ｃ，１０２ｅ，１０２ｆ，１０２ｈ，１０２ｉからの出力信号を加算して１つの加算信号とし、複数の焦点検出画素間で加算信号同士を繋ぎ合わせることでＤ像信号を生成する。

なお、一対の位相差像信号のそれぞれの生成に用いる光電変換部の数は同じでなくてもよい。各撮像素子において像高が高い領域では、到達する光束にビネッティングが発生するため、ビネッティングを考慮して一対の位相差像信号の生成に用いる光電変換部を選択してもよい。一対の位相差像信号の生成に用いられる光電変換部間に受光量、すなわち出力信号の大きさに差がある場合でも、後述するシェーディング補正によって出力信号の大きさを同等にすることができるため、問題はない。

以下では、第１の撮像素子１０１から得られるＡ像およびＢ像信号と、第２の撮像素子１０２から得られるＣ像およびＤ像信号はともに、水平方向に位相差が発生するように構成されている場合について説明する。ただし、第２の撮像素子１０２は、垂直方向に位相差が発生するＣ像およびＤ像信号を生成することもできる。このため、本実施例では、第２の撮像素子１０２から、Ｃ像およびＤ像信号だけでなく、垂直方向に位相差が発生する一対の位相差像信号として、Ｅ像信号およびＦ像信号も生成する。Ｅ像およびＦ像信号の生成に用いられる光電変換部も、Ｃ像およびＤ像信号の生成に用いられる光電変換部と同様に様々に選択される。

以上説明したように、第１の撮像素子１０１および第２の撮像素子１０２はいずれも、撮像センサとしての機能のみではなく、位相差検出方式用の焦点検出センサとしての機能も有する。すなわち、本実施例のカメラ本体１００は、第１の撮像素子１０１または第２の撮像素子１０２を焦点検出センサとして用いて撮像面位相差ＡＦを行うことができる。

次に、図４を用いて、本実施例における焦点検出領域について説明する。第１の撮像素子１０１に対して、水平方向に瞳分割を行う複数の焦点検出画素を含む焦点検出領域が複数設定されている。また、第２の撮像素子１０２に対しては、水平方向および垂直方向のそれぞれに瞳分割を行う焦点検出領域が複数設定されている。

図４中に点線で示される長方形は、第１および第２の撮像素子１０１，１０２のそれぞれの撮像面（全画素領域）のうち撮像に用いる撮像領域２１７を示す。なお、ここでは第１および第２の撮像素子１０１，１０２の撮像領域２１７の大きさを共通としているが、互いに異ならせてもよい。例えば、第１の撮像素子１０１で静止画撮像を行い、第２の撮像素子で動画撮像を行う場合には、第１および第２の撮像素子１０１，１０２の撮像領域アスペクト比を異ならせてもよい。このような場合には、撮像画像を表示する際に、各撮像素子の撮像領域を枠で明示する等してユーザに認識させることが好ましい。

第１の撮像素子１０１の撮像領域２１７内には、水平方向に瞳分割を行う３つの焦点検出領域２１８ａｈ，２１８ｂｈ，２１８ｃｈがそれぞれ、撮像領域２１７の中央部と左右２箇所に設けられている。一方、第２の撮像素子１０２の撮像領域２１７内には、上記３つの焦点検出領域２１８ａｈ，２１８ｂｈ，２１８ｃｈと垂直方向に瞳分割を行う３つの焦点検出領域２１８ａｖ，２１８ｂｖ，２１８ｃｖとが撮像領域２１７の中央部と左右２箇所に設けられている。

第１の撮像素子１０１のうち焦点検出領域２１８ａｈ，２１８ｂｈ，２１８ｃｈに含まれる画素からの出力信号を用いてＡ像信号およびＢ像信号を得ることで、水平方向にコントラストを有する被写体に対する焦点検出を行うことができる。同様に、第２の撮像素子１０２のうち焦点検出領域２１８ａｈ，２１８ｂｈ，２１８ｃｈに含まれる画素からの出力信号を用いてＣ像信号およびＤ像信号を得ることで、水平方向にコントラストを有する被写体に対する焦点検出を行うことができる。さらに、第２の撮像素子１０２のうち焦点検出領域２１８ａｖ，２１８ｂｖ，２１８ｃｖからの出力信号を用いて、Ｃ像信号およびＤ像信号と同様にＥ像信号およびＦ像信号を得ることで、垂直方向にコントラストを有する被写体に対する焦点検出を行うことができる。以下の説明において、被写体がコントラストを有する方向を、コントラスト方向という。

また図４は、外部表示器１１０において焦点検出領域を表示するための表示枠２１９ａ，２１９ｂ，２１９ｃを破線で示している。これら表示枠２１９ａ，２１９ｂ，２１９ｃを各表示枠を、焦点検出領域と概ね同じサイズにすることにより、撮像者が表示枠内に配置した被写体に対して適切に焦点検出を行うことができる。

図５のフローチャートは、本実施例における撮像処理を示している。カメラＣＰＵ１０４は、コンピュータプログラムである撮像制御プログラムに従って本処理を実行する。以下の説明において、「Ｓ」はステップを意味する。

ユーザがカメラ本体１００に設けられた電源スイッチをオン操作すると、カメラＣＰＵ１０４は、Ｓ１０１においてレンズＣＰＵ５０７と通信を行い、撮像レンズ５００の開放Ｆナンバ、焦点距離、射出瞳距離ＰＬおよびフォーカス敏感度等の情報を受信する。フォーカス敏感度は、フォーカスレンズ５０３の移動量に対する像面の移動量を示す。

次にＳ１０２では、カメラＣＰＵ１０４は、ユーザにより現在設定されている撮像モードが静止画撮像と動画撮像とを同時に行う静止画・動画撮像モードか動画撮像のみを行う動画撮像モードかを判定する。カメラＣＰＵ１０４は、静止画・動画撮像モードである場合はＳ１０３に進み、動画撮像モードである場合はＳ１０４に進む。

Ｓ１０３では、カメラＣＰＵ１０４は、静止画撮像用の第１の撮像素子１０１を被写体情報取得モードで駆動し、動画撮像用の第２の撮像素子１０２はライブビューモードで駆動する。

ここで、被写体情報取得モードとは、後述する被写体情報や焦点検出情報（デフォーカス量）を取得するためのモードである。このモードにおいて、焦点検出領域が複数であったり広かったりする場合には、第１の撮像素子１０１を上述した第２の読み出しモードで駆動する。一方、ユーザの指示や被写体検出機能等によって焦点検出を行う焦点検出領域が限定される場合には、第１の撮像素子１０１を第１の読み出しモードで駆動する。

また、ライブビューモードとは、外部表示器１１０に表示するライブビュー画像を生成するためのモードである。記録用画像の画素数に対して外部表示器１１０の画素数が水平および垂直方向とも少ないため、ライブビューモードでは第１の撮像素子１０１を第２の読み出しモードで駆動する。また、ライブビューモードで位相差像信号を取得して焦点検出を行うこともできる。この場合は、位相差像信号の分解能を高くするため、第１の読み出しモードで駆動することが好ましい。

Ｓ１０４では、カメラＣＰＵ１０４は、動画撮像を行うために第２の撮像素子１０２を駆動する。この際、静止画撮像用の第１の撮像素子１０１を駆動しない。これは、動画撮像で得られる画像の解像度は第２の撮像素子１０２の画素ピッチによって制限されるため、第１の撮像素子１０１からより高周波の情報を得ても有効に活用できないためである。これにより消費電力の抑制が可能となる。ただし、静止画撮像用の第１の撮像素子１０１を動画撮像用の第２の撮像素子１０２よりもフレームレートを上げて駆動することにより、より多くの被写体情報を得るようにしてもよい。

次にＳ１０５では、カメラＣＰＵ１０４は、第２の撮像素子１０２からの出力信号を表示用画像信号に変換し、外部表示器１１０またはファインダ内表示器１０７送信してライブビュー画像の表示を開始する。

次にＳ１０６では、カメラＣＰＵ１０４は、各撮像素子の駆動により得られる画像信号の明るさを判断し、ライブビュー画像表示時の絞り制御を行う。

次にＳ１０７では、カメラＣＰＵ１０４は、焦点検出を行う。本実施例では、第１および第２の撮像素子１０１，１０２を用いて焦点検出を行うとともに被写体情報を取得する。また、被写体情報を用いて焦点検出結果（デフォーカス量）を補正する。さらに、カメラＣＰＵ１０４は、補正後の焦点検出結果に基づいてフォーカスレンズ５０３を駆動し、合焦表示も行う。焦点検出から合焦表示までのＡＦ処理の詳細については後述する。

次にＳ１０８では、カメラＣＰＵ１０４は、動画撮像トリガボタンがユーザによりオン操作されたか否かを判断する。オン操作されていた場合は、カメラＣＰＵ１０４はＳ１０９に進み、動画用の画像処理を行って動画の生成を開始する。これにより、生成された動画が記録される。この後、Ｓ１１０に進む。動画撮像トリガボタンがオン操作されていない場合は、カメラＣＰＵ１０４はＳ１０９をスキップしてＳ１１０に進む。

Ｓ１１０では、カメラＣＰＵ１０４は、静止画撮像トリガボタンがユーザによりオン操作されたか否かを判断する。カメラＣＰＵ１０４は、動画用ライブビューもしくは動画記録時に静止画撮像トリガボタンがオン操作されることに応じて、第１の撮像素子１０１による静止画の記録を行う。静止画撮像トリガボタンがオン操作された場合は、カメラＣＰＵ１０４はＳ１１１に進む。静止画撮像トリガボタンがオン操作されていない場合は、カメラＣＰＵ１０４はＳ１１１をスキップしてＳ１１２に進む。

Ｓ１１１では、カメラＣＰＵ１０４は、静止画撮像を行う。この際、カメラＣＰＵ１０４は、静止画撮像用のＦナンバをレンズＣＰＵ５０７に送信する。レンズＣＰＵ５０７は、絞り駆動部５０６を通じて虹彩絞り５０５の絞り開口径を静止画撮像用のＦナンバに対応する径に制御する。その後、カメラＣＰＵ１０４は、フォーカルプレンシャッタ１１１を開閉制御して第１の撮像素子１０１の露光を制御し、第１の撮像素子１０１から出力信号を読み出して記録用静止画を生成および記録する。ここで行う静止画撮像は、単写でも連写でもよいが、以下では連写が行われる場合について説明する。

次にＳ１１２では、カメラＣＰＵ１０４は、動画撮像トリガボタンがユーザによりオフ操作されたか否かを判断する。オフ操作されていない場合は、カメラＣＰＵ１０４はＳ１０５からＳ１１１の処理を繰り返して動画用のＡＦ処理や動画撮像を継続するとともに、静止画撮像の割り込みも許可する。動画撮像トリガボタンがオフ操作された場合は、カメラＣＰＵ１０４は本処理を終了する。

本実施例では、静止画撮像用の第１の撮像素子１０１と動画撮像用の第２の撮像素子１０２から得た出力信号を用いて焦点検出や撮像を行う。これら焦点検出や撮像を指示するために、静止画撮像トリガボタンと動画撮像トリガボタンという異なる操作部材を用意している。これにより、静止画撮像と動画撮像の開始タイミングを独立して制御できるだけでなく、焦点検出についても、静止画用の焦点検出を高速に行い、動画用の焦点検出を低速に行う等の異なる制御を行うことができる。

静止画撮影の際の焦点検出および焦点調節は、撮影準備動作であるため、なるべく速やかに終えることが望まれる。一方、動画撮影時の焦点検出および焦点調節は、その動作が記録されるため、焦点調節が高速すぎると撮影者の意図に合わない場合があるため、この場合はピント合わせを低速で行うことが望ましい。

次に、図６のフローチャートを用いて焦点検出処理およびこれを含むＡＦ処理について説明する。カメラＣＰＵ１０４は、Ｓ９０１にて図４に示した焦点検出領域２１９ａ〜２１９ｃからの実際に焦点検出を行う１または２以上の焦点検出領域を設定（選択）する。この設定は、ユーザの指示に応じて行ってもよいし、事前に行われた焦点検出の結果や顔認識等の被写体認識の結果等に基づいて行ってもよい。

次にＳ９０２では、カメラＣＰＵ１０４は、設定された焦点検出領域内の焦点検出画素から一対の位相差像信号を取得する。第１の撮像素子１０１からはＡ像およびＢ像信号を取得し、第２の撮像素子１０２からはＣ像およびＤ像信号と、Ｅ像およびＦ像信号を取得する。

次にＳ９０３では、カメラＣＰＵ１０４は、位相差像信号に対する補正処理とフィルタ処理を行う。補正処理としては、各撮像素子の信号出力特性に応じたオフセットやゲインを調整する処理を行う。また、撮像レンズ５００のビネッティングの影響による一対の位相差像信号間の光量差を補正するシェーディング補正も行う。フィルタ処理としては、焦点検出に用いる評価帯域に合わせたデジタルフィルタ処理を行う。一般に、高周波数帯域を評価すると検出可能なデフォーカス領域が狭くなる。このため、複数の周波数帯域を評価するために、複数のフィルタ処理を行う。

第１の撮像素子１０１から得られるＡ像およびＢ像信号は、第１の撮像素子１０１の画素ピッチが第２の撮像素子１０２よりも細かいため、より高周波数帯域での評価が可能である。このため、Ａ像およびＢ像信号には高周波数帯域と中周波数帯域に対応するフィルタ処理を行う。また、第２の撮像素子１０２から得られるＣ像およびＤ像信号とＥ像およびＦ像信号には、低周波数帯域と超低周波数帯域のフィルタ処理を行う。

次にＳ９０４では、カメラＣＰＵ１０４は、一対の位相差像信号（Ａ像およびＢ像信号、Ｃ像およびＤ像信号、Ｅ像およびＦ像信号）に対する相関演算を行って該一対の位相差像信号間の位相差を算出し、さらに該位相差からデフォーカス量を算出する。
相関演算は、例えば以下の式（１）に示す相関量ＣＯＲ（ｈ）を用いる。

式（１）においては、一対の位相差像信号をＳ１（ｋ）とＳ２（ｋ）（１≦ｋ≦Ｐ）で表している。NW1は焦点検出領域の広さを示す視野内データ数である。hmaxは一対の位相差像信号Ｓ１（ｋ），Ｓ２（ｋ）の位置関係をずらしながら（つまりはシフト量ｈを変えながら）相関量を評価する際の最大ずらし量を示すシフトデータ数である。各シフト量ｈでの相関量ＣＯＲ（ｈ）を求めた後、相関量ＣＯＲが最小となる（すなわち一対の位相差像信号の相関が最大となる）シフト量ｄｈを求める。このシフト量ｄｈが位相差に相当する。

カメラＣＰＵ１０４は、このようにして求めた位相差としてのシフト量ｄｈに、フォーカスレンズ５０３の単位移動量に対する像面移動量を示すフォーカス敏感度を乗じる等してデフォーカス量（焦点検出結果）を算出する。

こうして、カメラＣＰＵ１０４は、Ａ像およびＢ像信号から第１のデフォーカス量（第１の焦点検出結果）を取得し、Ｃ像およびＤ像信号から第２のデフォーカス量（第２の焦点検出結果）を取得する。さらに、Ｅ像およびＦ像信号から第３のデフォーカス量（第３の焦点検出結果）を取得する。

次にＳ９０５では、カメラＣＰＵ１０４は第１および第２の撮像素子１０２のそれぞれから得られた出力信号から被写体情報を抽出（取得）する。被写体情報とは、被写体の空間周波数特性、分光分布（色）、コントラスト方向等に関する情報である。被写体情報の抽出処理の詳細については後述する。被写体情報の抽出を終えると、カメラＣＰＵ１０４は、Ｓ９０６にて被写体情報に対応した補正量としてのベストピント（ＢＰ）補正量を算出する。

そしてＳ９０７では、カメラＣＰＵ１０４は、Ｓ９０４で算出した第１〜第３のデフォーカス量に対してＳ９０５で算出したＢＰ補正量を適用する補正を行う。ＢＰ補正量の算出方法の詳細については後述する。

次にＳ９０８では、Ｓ９０７で得られた補正後の第１〜第３のデフォーカス量から信頼性の高いデフォーカス量を選択する。例えば、被写体情報として高周波成分が多い場合には、第１の撮像素子１０１から得られた第１のデフォーカス量を選択する。また、コントラスト方向として垂直方向の成分が多い場合には、第２の撮像素子１０２から得られた第３のデフォーカス量を選択する。また、デフォーカス量が大きい場合には評価帯域が低周波数帯域である方が信頼性が高いため、第１〜第３のデフォーカス量の大きさからどれを選択するかを決定する。

次にＳ９０９では、カメラＣＰＵ１０４は、選択したデフォーカス量に基づいてフォーカスレンズ５０３および第２の撮像素子１０２を移動させる。本実施例では、フォーカスレンズ５０３の移動によるフォーカシングに加えて、第２の撮像素子１０２の移動によってもフォーカシングが可能である。これは、上述したＢＰ補正値や、第１および第２の撮像素子１０１，１０２の位置がそれらの組付け誤差により光学的に共役ではないこと等に対応するものである。

カメラＣＰＵ１０４は、第１の撮像素子１０１から得られた第１のデフォーカス量に基づいてフォーカスレンズ５０３を移動させる。さらに、フォーカスレンズ５０３の移動によるフォーカシングの過不足を第２の撮像素子１０２から得られた第２または第３のデフォーカス量に基づく第２の撮像素子１０２の移動で補う。カメラＣＰＵ１０４は、第２の撮像素子１０２の移動量を、撮像光学系の収差情報および後述する撮像画像評価帯域（第１の撮像特性情報および第２の撮像特性情報）のうち少なくとも１つの変更に応じて変更する。

第２の撮像素子１０２の移動量を、第１の撮像素子１０１から得られた第１のデフォーカス量と、第１および第２の撮像素子１０１，１０２の組み付け誤差量やＢＰ補正量の差分値からを決定してもよい。フォーカスレンズ５０３の移動量を第２のデフォーカス量を用いて決定してもよい。

こうして合焦状態が得られると、カメラＣＰＵ１０４は、Ｓ９１０においてファインダ内表示器１０７や外部表示器１１０に合焦状態が得られたことをユーザに知らせるための表示を行う。そして、本徐リフォーカスを終了する。

次に、図７から図９を用いて、図６のＳ９０５における被写体情報の抽出方法について説明する。図７のフローチャートは被写体情報抽出処理を示す。

まずＳ９０５１において、カメラＣＰＵ１０４は、第１の撮像素子１０１から得られた撮像信号（第１の撮像信号）を用いて被写体情報を抽出する。ここにいう撮像信号は、設定された焦点検出領域に含まれる画素が撮像光学系の射出瞳全域を通過した光束を光電変換することにより得られる信号である。言い換えれば、第１の撮像素子１０１の各画素の光電変換部１０１ａ，１０１ｂからの出力信号を加算して得られる信号である。

カメラＣＰＵ１０４は、ベイヤー配列に対応するモザイク撮像信号をＲ、ＧおよびＢの色信号に分離し、それぞれの色信号について水平方向および垂直方向での空間周波数特性を算出する。水平方向および垂直方向での空間周波数特性を得る方法として、２次元ＦＦＴを用いてもよい。また、互いに周波数帯域が異なる複数のデジタルフィルタ処理を垂直方向に行って得られた撮像信号の信号量（パワー）と該デジタルフィルタ処理を水平方向に行って得られた撮像信号の信号量とを得てもよい。これにより、焦点検出を行う被写体の色味、周波数成分およびコントラスト方向を得ることができる。

第１の撮像素子１０１では、焦点検出を行う際の瞳分割方向が水平方向のみであるため、第１の撮像素子１０１のみを用いた焦点検出や撮像を行う場合には、垂直方向の被写体情報の抽出を省略してもよい。

次にＳ９０５２では、カメラＣＰＵ１０４は、Ｓ９０５１と同様に、第２の撮像素子１０２から得られた撮像信号（第２の撮像信号）を用いて被写体情報を抽出する。ここにいう撮像信号は、第２の撮像素子１０２の各画素の光電変換部１０２ａ〜１０２ｉからの出力信号を加算して得られる信号である。

図８は、第１の撮像素子１０１と第２の撮像素子１０２で得られる被写体情報の特性を示している。第１の撮像素子１０１は、第２の撮像素子１０２に比べて画素ピッチが小さいため、必要に応じて上述した被写体情報取得モードで駆動することにより、空間周波数帯域に関して高周波数域から低周波数帯域までの幅広い周波数帯域で被写体情報を得ることができる。また、第１の撮像素子１０１の用途を被写体情報の取得に特化することにより、電荷蓄積時間を短く設定することも可能であり、手振れや被写体ぶれの影響による撮像信号の高周波成分の損失を抑えて被写体情報を取得することができる。また、コントラスト方向に関しては、上述した方法により、水平方向および垂直方向ともに取得することが可能である。

ただし、撮像信号に対する補正処理やデジタルフィルタ処理を位相差像信号と共通とする場合には、焦点検出には用いない低周波数帯域信号の算出や垂直方向のフィルタ処理が別途必要となる。本実施例では、図８において第１の撮像素子について「要演算」と記載された項目については、第２の撮像素子の計算結果を代用する。また、被写体情報の抽出に際して各種処理が行われた一対の位相差像信号の和の信号を用いて行うことにより、演算量を低減することができる。

一方、第２の撮像素子１０２は、第１の撮像素子１０１に比べて画素ピッチが大きいため、高周波数帯域の信号を得ることは不可能である。しかし、焦点検出用に処理された信号を用いて、低周波数帯域および超低周波数帯域の被写体情報を、演算量を増やすことなく得ることができる。コントラスト方向に関しても、垂直方向の位相差像信号を得ているため、演算量を増やすことなく垂直方向の被写体情報を得ることができる。

このように、本実施例では、第１および第２の撮像素子１０１，１０２のそれぞれの特性に応じてそれら撮像素子から取得する被写体情報を分ける。これにより、演算量を増やすことなく、必要十分な被写体情報を取得することができる。

次にＳ９０５３では、カメラＣＰＵ１０４は、第１および第２の撮像素子１０１，１０２から得られた被写体情報を統合する。これにより、色の数３、コントラスト方向の数２および周波数帯域の数４を乗じた２４のカテゴリーの被写体情報量の大小関係を得ることができる。

なお、第１および第２の撮像素子１０１，１０２から同じ被写体情報、例えば、水平方向における中周波数帯域の信号を得ることにより、それぞれから得られた信号間で校正を行うことができる。

次にＳ９０５４では、カメラＣＰＵ１０４は、焦点検出に用いられる位相差像信号に対する評価を行う周波数帯域（以下、ＡＦ評価帯域という）を算出する。カメラＣＰＵ１０４は、被写体情報、撮像光学系の光学特性、撮像素子のサンプリング周波数および評価に用いるデジタルフィルタの影響を考慮してＡＦ評価帯域を算出する。具体的ＡＦ評価帯域の算出方法については後述する。

また、カメラＣＰＵ１０４は、記録用画像（撮像画像）の生成に用いられる撮像信号の評価帯域（以下、撮像画像評価帯域という）を算出する。カメラＣＰＵ１０４は、被写体情報、撮像光学系の光学特性、撮像素子のサンプリング周波数および撮像画像を干渉する鑑賞者の評価帯域の影響を考慮して撮像画像評価帯域を算出する。

図９（ａ）〜（ｃ）および図１０（ａ）〜（ｃ）を用いてＡＦ評価帯域および撮像画像評価帯域の算出について説明する。カメラＣＰＵ１０４は、ＡＦ評価帯域を一対の位相差像信号ごとに算出し、撮像画像評価帯域を撮像素子ごとに算出する。ＡＦ評価帯域は、焦点検出信号の特性に関する焦点検出特性情報に相当し、焦点検出信号の評価周波数帯域、コントラスト方向および色のうち少なくとも１つに応じて異なる情報である。また、第１の撮像素子１０１に対して算出される撮像画像評価帯域が第１の撮像特性情報に相当し、第２の撮像素子１０２に対して算出される撮像画像評価帯域が第２の撮像特性情報に相当する。各撮像画像評価帯域は、各撮像信号の特性に関する情報である。各撮像画像評価帯域は、各撮像素子の画素ピッチ、画素ごとに設けられた光電変換部の数、各画素における瞳分割方向およびビームスプリッタ１０３の各撮像素子に対する分光特性（後述する分光透過率または分光反射率）等に応じて異なる情報である。

図９（ａ）〜（ｃ）および図１０（ａ）〜（ｃ）はいずれも空間周波数ごとの信号の強度を示し、横軸に空間周波数を、縦軸に強度を示す。

図９（ａ）は、被写体の空間周波数特性Ｉを示している。横軸上のＦ１，Ｆ２，Ｆ３およびＦ４は評価する空間周波数を示し、Ｆ１からＦ４に向かって高周波数となる。Ｓ９０５３で得られた被写体情報における高周波数帯域はＦ４に、中周波数帯域はＦ３に、低周波数帯域はＦ２に、超低周波数帯域はＦ１にそれぞれ相当する。

被写体情報は、Ｒ，Ｇ，Ｂの色ごとおよびコントラスト方向ごとに存在するが、ここでは、水平方向におけるＧの被写体情報のみを示している。また、Ｎｑは第１の撮像素子１０１の画素ピッチに応じて決定されるナイキスト周波数である。空間周波数Ｆ１〜Ｆ４およびナイキスト周波数Ｎｑについては、後述の図９（ｂ），（ｃ）および図１０（ａ）〜（ｃ）にも同様に示されている。

被写体の空間周波数特性Ｉは、Ｓ９０５３で得た被写体情報を用いる。図９（ａ）では被写体の空間周波数特性Ｉが曲線で描かれているが、実際には離散的に空間周波数Ｆ１，Ｆ２，Ｆ３およびＦ４に対応した値を有し、それをＩ（ｎ）（１≦ｎ≦４）と表す。

図９（ｂ）は、撮像光学系の合焦状態での空間周波数特性Ｏを示す。この空間周波数特性Ｏの情報はレンズＣＰＵ５０７から取得してもよいし、カメラＣＰＵ１０４内のＲＡＭ等のメモリ（以下、カメラメモリという）に記憶しておいてもよい。図９（ｂ）では撮像光学系の空間周波数特性Ｏは曲線で描かれているが、実際には離散的に空間周波数Ｆ１，Ｆ２，Ｆ３およびＦ４に対応した値を有し、それをＯ（ｎ）（１≦ｎ≦４）と表す。

図９（ｃ）は、光学ローパスフィルタの空間周波数特性Ｌを示す。この空間周波数特性Ｌの情報は、カメラメモリに記憶されている。図９（ｃ）では光学ローパスフィルタの空間周波数特性Ｌは曲線で描かれているが、実際には離散的に空間周波数Ｆ１，Ｆ２，Ｆ３，Ｆ４に対応した値を有し、それをＬ（ｎ）（１≦ｎ≦４）と表す。本実施例において、第１および第２の撮像素子１０１，１０２間で異なる光学ローパスフィルタを用いる場合には、それら光学ローパスフィルタの空間周波数特性を別々に記憶しておくことが望ましい。

図１０（ａ）は、信号生成に関する空間周波数特性Ｍ１，Ｍ２を示す。前述したように、第１および第２の撮像素子１０１，１０２から出力信号を読み出して位相差像信号としての焦点検出信号や撮像信号を生成する際の読み出しモードには、第１の読み出しモードと第２の読み出しモードがある。全画素読み出しモードである第１の読み出しモードで信号生成を行う場合には空間周波数特性は変化しない。図１０（ａ）中の空間周波数特性Ｍ１は、第１の読み出しモードで信号生成を行う場合の空間周波数特性である。

一方、間引き読み出しモードである第２の読み出しモードで信号生成を行う場合には、空間周波数特性が変化する。具体的には、Ｘ方向での間引きの際に信号加算を行ってＳ／Ｎの改善を図るため、この信号加算によるローパス効果が発生する。図１０（ａ）中の空間周波数特性Ｍ２は、第２の読み出しモードで信号生成を行う場合の空間周波数特性である。空間周波数特性Ｍ２は、間引きの影響は加味せず、信号加算によるローパス効果を示す。

図１０（ａ）において、信号生成に関する空間周波数特性Ｍ１，Ｍ２は曲線で描かれているが、実際には離散的に空間周波数Ｆ１，Ｆ２，Ｆ３およびＦ４に対応した値を有し、それをＭ１（ｎ），Ｍ２（ｎ）（１≦ｎ≦４）と表す。

図１０（ｂ）は、撮像画像を鑑賞する際の空間周波数ごとの感度を示す空間周波数特性Ｄ１とＡＦ評価信号の処理時に用いるデジタルフィルタの空間周波数特性Ｄ２を示している。撮像画像を鑑賞する際の空間周波数ごとの感度は、鑑賞者の個人差、画像サイズ、鑑賞距離、明るさ等の鑑賞環境により影響を受ける。本実施例では、代表的な値として、鑑賞時の空間周波数ごとの感度を設定してカメラメモリに記憶している。鑑賞距離は、ユーザから撮像画像が表示されるディスプレイデバイスまたは撮像画像が印刷されたシートまでの距離を意味する。

一方、第２の読み出しモードを用いる際には、間引きの影響によって信号の周波数成分の折り返しノイズが発生する。空間周波数特性Ｄ２は、その影響を加味したデジタルフィルタの空間周波数特性である。図１０（ｂ）において、空間周波数特性Ｄ１，Ｄ２は曲線で描かれているが、実際には離散的に空間周波数Ｆ１，Ｆ２，Ｆ３およびＦ４に対応した値を有し、それをＤ１（ｎ），Ｄ２（ｎ）（１≦ｎ≦４）と表す。

以上のように種々の空間周波数特性を予め記憶しておくことにより、撮像特性情報である撮像画像評価帯域Ｗ１および焦点検出特性情報であるＡＦ評価帯域Ｗ２を、以下の式（２），（３）を用いて算出する。式（２），（３）において、ｎは１≦ｎ≦４である。

Ｗ１（ｎ）＝Ｉ（ｎ）×Ｏ（ｎ）×Ｌ（ｎ）×Ｍ１（ｎ）×Ｄ１（ｎ） （２）
Ｗ２（ｎ）＝Ｉ（ｎ）×Ｏ（ｎ）×Ｌ（ｎ）×Ｍ２（ｎ）×Ｄ２（ｎ） （３）
図１０（ｃ）は、撮像画像評価帯域Ｗ１およびＡＦ評価帯域Ｗ２を示している。式（２），（３）で表される計算を行うことにより、撮像画像の合焦状態を決定する因子に対して、空間周波数ごとに、どの程度の影響度合いを有するかを定量化することができる。同様に、焦点検出結果としてのデフォーカス量が有する誤差が、空間周波数ごとに、どの程度の影響度合いを有するかを定量化することができる。本実施例では、撮像画像評価帯域Ｗ１およびＡＦ評価帯域Ｗ２を、Ｒ，Ｇ，Ｂの色ごとおよびコントラスト方向としての水平方向と垂直方向に対応した６つずつ算出する。

図１０（ａ）〜（ｃ）では、第１の撮像素子１０１のナイキスト周波数Ｎｑに対して、各周波数特性の説明を行ったが、第２の撮像素子１０２の周波数特性も同様に算出する。例えば、信号生成に関する空間周波数特性は、画素ピッチの違いに合わせて、第１の撮像素子１０１用の特性に対して変更する。また、撮像画像を鑑賞する際の空間周波数ごとの感度を示す空間周波数特性やＡＦ評価信号の処理時に用いるデジタルフィルタの空間周波数特性についても、第１の撮像素子１０１に対する第２の撮像素子１０２のナイキスト周波数の比に応じた修正を行う。その結果、第１の撮像素子１０１と第２の撮像素子１０２から、図１０（ｃ）に相当する撮像画像評価帯域Ｗ１およびＡＦ評価帯域Ｗ２は、異なる結果が得られる。

図９（ａ）〜（ｃ）および図１０（ａ）〜（ｃ）では４つ空間周波数Ｆ１〜Ｆ４を用いて説明したが、データを有する空間周波数の数は、多いほど撮像画像評価帯域Ｗ１およびＡＦ評価帯域Ｗ２の空間周波数特性を正確に再現することができる。このため、より高精度な補正値を算出することができる。

Ｓ９０５４での撮像画像評価帯域Ｗ１およびＡＦ評価帯域Ｗ２の算出を終えたカメラＣＰＵ１０４は、本処理を終了する。

次に、図１１から図１４を用いて、図６のＳ９０６でのＢＰ補正量の算出方法について説明する。図１１のフローチャートは、ＢＰ量算出処理を示す。Ｓ９０６１において、カメラＣＰＵ１０４は、図５のＳ１０６で行われた絞り制御において設定されたＦナンバを取得する。

次にＳ９０６２では、カメラＣＰＵ１０４は、Ｓ９０１で設定された焦点検出領域の情報を取得し、該焦点検出領域の撮像素子上での像高を算出する。

その後Ｓ９０６３では、カメラＣＰＵ１０４は、撮像光学系の収差情報を取得する。撮像光学系の収差情報は、カメラＣＰＵ１０４の要求に応じてレンズＣＰＵ５０７から通信により得られる情報であり、被写体の色ごと、コントラスト方向ごとおよび空間周波数ごとの撮像光学系の結像位置に関する情報である。被写体の色ごとの結像位置に関する情報は、主として色収差に関する情報である。被写体のコントラスト方向ごとの結像位置に関する情報は、主として非点収差に関する情報である。被写体の空間周波数ごとの結像位置に関する情報は、主として球面収差に関する情報である。

図１２（ａ），（ｂ）を用いて、撮像レンズ５００内の不図示のメモリ（以下、レンズメモリという）に格納されている撮像光学系の収差情報について具体的に説明する。図１２（ａ）は、撮像光学系の特性である空間周波数ごとのデフォーカスＭＴＦが極大値となるフォーカスレンズ５０３の位置を示している。横軸は、空間周波数を示し、Ｆ１，Ｆ２，Ｆ３およびＦ４は図９（ａ）〜（ｃ）および図１０（ａ）〜（ｃ）に示したＦ１，Ｆ２，Ｆ３およびＦ４に対応している。Ｎｑは第１の撮像素子１０２のナイキスト周波数であり、Ｎｑ２は第２の撮像素子１０２のナイキスト周波数である。縦軸は、デフォーカスＭＴＦが極大値となるフォーカスレンズ５０３の位置（以下、デフォーカスＭＴＦピーク位置という）を示す。

図１２（ａ）では、色がＧでコントラスト方向が水平方向である場合のデフォーカスＭＴＦピーク位置ＭＴＦ＿ＧＨと、色がＧでコントラスト方向が垂直方向である場合のデフォーカスＭＴＦピーク位置ＭＴＦ＿ＧＶを示している。赤と青に対応したデフォーカスＭＴＦピーク位置を含めると、レンズメモリには合計６つの異なる条件でのデフォーカスＭＴＦピーク位置の情報が格納されている。

ＭＴＦ＿ＧＨは、４つの空間周波数Ｆ１，Ｆ２，Ｆ３およびＦ４に対するデフォーカスＭＴＦピーク位置ＰＧＨ１，ＰＧＨ２，ＰＧＨ３，ＰＧＨ４を有する。ＭＴＦ＿ＧＶも、４つの空間周波数Ｆ１，Ｆ２，Ｆ３およびＦ４に対するデフォーカスＭＴＦピーク位置ＰＧＶ１，ＰＧＶ２，ＰＧＶ３，ＰＧＶ４を有する。これらは、ＲおよびＢについても同様である。

以下の説明では、空間周波数Ｆ１，Ｆ２，Ｆ３およびＦ４をＦ（ｎ）（１≦ｎ≦４）と表し、色がＧ，Ｒ，Ｂでコントラスト方向が水平方向である場合の撮像光学系の収差情報をそれぞれ、ＭＴＦ＿ＧＨ（ｎ），ＭＴＦ＿ＲＨ（ｎ），ＭＴＦ＿ＢＨ（ｎ）と表す。また、色がＧ，Ｒ，Ｂでコントラスト方向が垂直方向である場合の撮像光学系の収差情報をそれぞれ、ＭＴＦ＿ＧＶ（ｎ），ＭＴＦ＿ＲＶ（ｎ），ＭＴＦ＿ＢＶ（ｎ）と表す。レンズメモリには、撮像光学系の収差情報として、ズーム状態（焦点距離）、焦点調節状態（フォーカスレンズ５０３の位置）、Ｆナンバおよび焦点検出領域の像高によって情報が格納されている。例えば、ズーム状態と焦点調節状態とＦナンバを８つのゾーンに分割し、分割ゾーンごとに３分割した像高のそれぞれに対する収差情報が格納されている。ただし、これ以外の収差情報の格納方法を採用してもよい。

Ｓ９０６３では、カメラＣＰＵ１０４は、事前に得たＦナンバおよび焦点検出領域の像高の情報を、レンズＣＰＵ５０７に送信する。レンズＣＰＵ５０７は、レンズメモリからこれらＦナンバおよび焦点検出領域の像高と現在のズーム状態および焦点調節状態に対応する収差情報を選択し、カメラＣＰＵ１０４に送信する。

次にＳ９０６４では、カメラＣＰＵ１０４は、ハーフミラーであるビームスプリッタ１０３の光学情報を用いて撮像光学系の収差情報を加工する。図１２（ｂ）を用いて、この収差情報の加工について説明する。

撮像光学系を透過してハーフミラーで反射された光束が到達する第２の撮像素子１０２については、ハーフミラーが歪等を持たず、反射によって新たに収差が発生しない場合には、撮像光学系の収差情報を加工することなく用いればよい。しかし、撮像光学系を透過してハーフミラーも透過して第１の撮像素子１０１に到達する光束には、ハーフミラーの材質に応じた屈折率や分散によって、ハーフミラーへの入射角度や波長に応じて異なる屈折が発生する。収差情報は、デフォーカスＭＴＦの極大値と対応するフォーカスレンズ５０３の位置であるデフォーカスＭＴＦピーク位置の情報を有するため、光束がハーフミラーを透過することでデフォーカスＭＴＦピーク位置がオフセットする。このオフセット量は、色（波長）、射出瞳距離および像高で決まるハーフミラーへの光束の入射角度から算出することができる。

図１２（ｂ）では、オフセット前のＭＴＦ＿ＧＨ（破線で示す）に対して、ハーフミラーを透過することによりオフセットした収差情報であるＭＴＦ＿ＧＨ２を示している。図示はしないが、他の収差情報も同様にオフセット量を算出することで、ＭＴＦ＿ＧＶ２、ＭＴＦ＿ＲＨ２、ＭＴＦ＿ＲＶ２、ＭＴＦ＿ＢＨ２およびＭＴＦ＿ＢＶ２を算出することができる。

次にＳ９０６５では、カメラＣＰＵ１０４は、Ｓ９０５４で算出した撮像評価帯域Ｗ１とＡＦ評価帯域Ｗ２の情報を、カメラメモリから取得する。撮像評価帯域Ｗ１としては、第１の撮像素子１０１により取得された撮像画像に対応するＷ１＿ａ（ｎ）と、第２の撮像素子１０２により取得された撮像画像に対応するＷ１＿ｂ（ｎ）とを取得する。ＡＦ評価帯域Ｗ２としては、Ａ像およびＢ像信号に対してＷ２＿ａ（ｎ）を、Ｃ像およびＤ像信号に対してＷ２＿ｂ（ｎ）を、Ｅ像およびＦ像信号に対してＷ２＿ｃ（ｎ）をそれぞれ取得する。これらの評価帯域（係数）の情報はそれぞれ、３つの色（ＲＧＢ）×２つのコントラスト方向（水平および垂直方向）の計６つずつ取得される。例えば、Ｗ２＿ａ（ｎ）として、Ｗ２＿ａ＿ＲＨ（ｎ）、Ｗ２＿ａ＿ＲＶ（ｎ）、Ｗ２＿ａ＿ＧＨ（ｎ）、Ｗ２＿ａ＿ＧＶ（ｎ）、Ｗ２＿ａ＿ＢＨ（ｎ）およびＷ２＿ａ＿ＢＶ（ｎ）の６つが取得される。

さらにこれらの６つの係数がそれぞれ４つの空間周波数に対応した４つの係数を含むことで、計２４の係数が取得される。これらの２４の係数は、色、空間周波数およびコントラスト方向の組み合わせごとの情報量の大小関係を示す。本実施例では、これら２４の係数を、その総和が１となるように規格化して、被写体情報に対する重み付け用の重みとして用いる。

次にＳ９０６６では、カメラＣＰＵ１０４は、ハーフミラーの分光反射率および分光透過率に基づく分光分布の情報を取得する。図１３および図１４を用いて、ハーフミラーの分光反射率および分光透過率の角度依存性について説明する。図１３は、ハーフミラーの分光透過率を光線の入射角度ごとに示している。横軸に波長を、縦軸に透過率を示している。分光反射率は、１００％から分光透過率を差し引いた値となる。誘電多層膜によりハーフミラーを構成した場合、光線の入射角度および波長によって透過率が変化する。図１３には、入射角が３０度、４５度、６０度の場合の分光透過率を示している。カメラメモリには、撮像素子のカラーフィルタの主波長に対応したＲＧＢの３つの色の分光透過率として、入射角度３０度、４５度および６０度のそれぞれの分光透過率を記憶している。

図１４は、射出瞳距離と像高によってハーフミラー（ビームスプリッタ１０３）への入射角度が変化することを示す。本実施例のように撮像レンズ５００が交換可能であったりズームレンズであったりする場合には、交換や焦点距離に応じて射出瞳距離が変化する。図１４には、互いに異なる射出瞳距離の例として、ＬＰＯ１とＬＰＯ２を示しており、さらに撮像光学系囲の射出瞳の中心を通って第１の撮像素子１０１上の像高ＩＨ１，ＩＨ２に到達する光線を示している。

射出瞳距離ＬＰＯ１，ＬＰＯ２に対応する射出瞳のそれぞれから像高ＩＨ１に到達する光線を見れば分かるように、それらの光線は互いにハーフミラーに対する入射角度が異なる。また、射出瞳距離ＬＰＯ１に対応する射出瞳から像高ＩＨ１，ＩＨ２のそれぞれに到達する光線を見れば分かるように、それらの光線は互いにハーフミラーに対する入射角度が異なる。Ｓ９０６６では、カメラＣＰＵ１０４は、射出瞳距離とＢＰ補正量の演算を行う像高とに基づいて、ハーフミラーに対する光線の入射角度を計算する。その後、カメラＣＰＵ１０４は、得られた入射角度から各波長における反射率および透過率を補間演算等により算出する。

そして、カメラＣＰＵ１０４は、分光分布の情報として、Ｒ，ＧおよびＢの反射率（％）をそれぞれＲｒ，Ｇｒ，Ｂｒとし、透過率（％）をＲｔ，Ｇｔ，Ｂｔとして取得する。上述したように、Ｒｔ＝１００％−Ｒｒの関係にあるため、ＲｔとＲｒのうちいずれか一方を算出すればよい。

Ｓ９０６７では、カメラＣＰＵ１０４は、ハーフミラーの分光透過率（または分光反射率）とＡＦ評価帯域Ｗ２と撮像光学系の収差情報とを用いて、焦点検出信号により想定される焦点位置を算出する。ハーフミラーを透過した光束を受光する第１の撮像素子１０１から得られたＡ像およびＢ像信号間の相関演算（以下、第１の相関演算という）は水平方向でのみ行われる。カメラＣＰＵ１０４は、焦点検出信号により想定される焦点位置P_AF1を以下の式（４）を用いて算出する。

式（４）を用いた計算により、撮像光学系の収差情報を、被写体の分光分布およびハーフミラーの分光透過率に基づいて重み付け加算することにより、第１の相関演算を用いた焦点位置を算出することができる。P_AF1は、撮像光学系の収差情報において、焦点検出信号を構成する色の分布（分光特性）および空間周波数の分布（空間周波数特性）から想定されるデフォーカスＭＴＦピーク位置に相当する。また、ハーフミラーで反射した光束を受光する第２の撮像素子１０２から得られたＣ像およびＤ像信号間の相関演算（以下、第２の相関演算という）は水平方向でのみ行われる。カメラＣＰＵ１０４は、焦点検出信号で想定される焦点位置P_AF2を以下の式（５）を用いて算出する。

さらに、第２の撮像素子１０２から得られたＥ像およびＦ像信号間の相関演算（以下、第３の相関演算という）は垂直平方向でのみ行われる。カメラＣＰＵ１０４は、焦点検出信号で想定される焦点位置P_AF3を以下の式（６）を用いて算出する。

式（６）においては、垂直方向のコントラスト信号を用いて焦点位置の算出を行うため、撮像光学系の収差情報やＡＦ評価帯域の情報は垂直方向のものを用いる。

次にＳ９０６８では、カメラＣＰＵ１０４は、ハーフミラーの分光透過率と撮像評価帯域と撮像光学系の収差情報とを用いて、撮像信号を想定した場合の焦点位置を算出する。

第１の撮像素子１０１を用いて得られる静止画像（以下、第１の撮像画像という）は、ハーフミラーを透過した光束により形成された被写体像の光電変換により得られる。また、焦点調節状態の評価は、水平および垂直方向のコントラストも評価することで行われるこのため、第１の撮像画像における焦点調節状態の評価で想定される焦点位置P_IMG1を、以下の式（７）を用いて算出する。

P_IMG1は、撮像光学系の収差情報において、第１の撮像画像で評価する色の分布、空間周波数の分布およびコントラスト方向の分布から想定されるデフォーカスＭＴＦピーク位置に相当する。

また、第２の撮像素子１０１を用いて得られる動画像（以下、第２の撮像画像という）は、ハーフミラーで反射した光束により形成された被写体像の光電変換により得られる。また、焦点調節状態の評価は、水平および垂直方向のコントラストも評価することで行われる。このため、第２の撮像画像における焦点調節状態の評価で想定される焦点位置P_IMG2を、以下の式（８）を用いて算出する。

以上のように、Ｓ９０６７およびＳ９０６８では、カメラＣＰＵ１０４は、焦点検出信号や撮像信号の特性（色、空間周波数およびコントラスト方向）と撮像光学系の収差情報とを用いて、想定されるデフォーカスＭＴＦピーク位置を算出する。

次に、Ｓ９０６９では、カメラＣＰＵ１０４は、ＢＰ補正量を算出する。ＢＰ補正量は、どの焦点検出結果としてのデフォーカス量をどの撮像画像の焦点調節に用いるかによって異なる。第１のデフーカス量を第１の撮像画像の焦点調節に用いる場合のＢＰ補正量をＢＰ１とし、第２の撮像画像の焦点調節に用いる場合のＢＰ補正量をＢＰ２とすると、カメラＣＰＵ１０４はこれらを以下の式（９），（１０）を用いて算出する。
ＢＰ１＝Ｐ＿ＩＭＧ１−Ｐ＿ＡＦ１ （９）
ＢＰ２＝Ｐ＿ＩＭＧ２−Ｐ＿ＡＦ１ （１０）
また、第２のデフォーカス量を、第１の撮像画像の焦点調節に用いる場合のＢＰ補正量をＢＰ３とし、第２の撮像画像の焦点調節に用いる場合のＢＰ補正量をＢＰ４とすると、カメラＣＰＵ１０４はこれらを以下の式（１１），（１２）を用いて算出する。
ＢＰ３＝Ｐ＿ＩＭＧ１−Ｐ＿ＡＦ２ （１１）
ＢＰ４＝Ｐ＿ＩＭＧ２−Ｐ＿ＡＦ２ （１２）
さらに、第３の焦点検出結果を、第１の撮像画像の焦点調節に用いる場合のＢＰ補正量をＢＰ５とし、第２の撮像画像の焦点調節に用いる場合のＢＰ補正量をＢＰ６とすると、カメラＣＰＵ１０４はこれらを以下の式（１３），（１４）を用いて算出する。
ＢＰ５＝Ｐ＿ＩＭＧ１−Ｐ＿ＡＦ３ （１３）
ＢＰ６＝Ｐ＿ＩＭＧ２−Ｐ＿ＡＦ３ （１４）
カメラＣＰＵ１０４は、Ｓ９０６９で算出したＢＰ補正量ＢＰ１〜ＢＰ６を、被写体情報に応じて切り替えて用いる。例えば、被写体が垂直方向にコントラストを有し、第３の相関演算で得られる焦点検出結果の信頼性が高い場合は、第１の撮像素子１０１用のＢＰ補正量（第１の焦点調節補正量）としてＢＰ５を用いて焦点検出結果を補正する。そして、補正後の焦点検出結果を用いてフォーカスレンズ５０３の移動量を算出する。また、第２の撮像素子１０２用のＢＰ補正量（第２の焦点調節補正量）としてＢＰ６を用いて焦点検出結果を補正し、補正後の焦点検出結果を用いて第２の撮像素子１０２の移動量を算出する。第２の撮像素子１０２の移動量は、撮像光学系の収差情報、第１の撮像素子情報および第２の撮像素子情報のうち少なくとも１つの変更に伴って変更される。

以上のように、本実施例では、第１および第２の撮像素子１０１，１０２のそれぞれから取得される焦点検出信号の特性に応じて、想定される焦点位置（Ｐ＿ＡＦ１，Ｐ＿ＡＦ２，Ｐ＿ＡＦ３）を算出する。また、第１および第２の撮像素子１０１，１０２のそれぞれから取得される撮像信号の特性に応じて、想定される焦点位置（Ｐ＿ＩＭＧ１,Ｐ＿ＩＭＧ２）を算出する。そして、これら想定される焦点位置を用いてＢＰ補正量を算出することにより、信頼性の高い焦点検出結果を採用しながら、撮像画像の特性に応じた焦点調節を行うことができる。

本実施例では、静止画撮像用のＢＰ補正量と動画撮像用のＢＰ補正量として異なる値が算出されることに備えて、第２の撮像素子１０２を光軸方向に移動可能に構成した。すなわち、フォーカスレンズ５０３の移動と第２の撮像素子１０２の移動とにより焦点調節を行うように構成した。しかし、第２の撮像素子１０２は必ずしも移動できなくてもよい。この場合は、例えば、静止画撮像用のＢＰ補正量（第１の焦点調節補正量）と動画撮像用のＢＰ補正量（第２の焦点調節補正量）の平均値（第３の焦点調節補正量）を用いてフォーカスレンズ５０３を移動させて焦点調節を行えばよい。これにより、焦点調節精度は低下するが、第２の撮像素子１０２を移動させる機構が不要となる。

また、第２の撮像素子１０２を移動させない場合に、ユーザまたはカメラ本体１００の設定により、第１および第２の撮像素子１０１，１０２から得られる撮像画像の記録優先度を求め、その記録優先度に応じてＢＰ補正量（第３の焦点調節補正量）を設定してもよい。例えば、第１の撮像素子１０１により得られる静止画が優先度が高い場合は、第１の撮像素子１０１に対するＢＰ補正量と第２の撮像素子１０２に対するＢＰ補正量を４：１で重み付けしたＢＰ補正量を算出（設定）して焦点調節を行ってもよい。

また、上述したように、ＢＰ補正量の大小は撮像光学系の収差情報により決定される。このため、該収差情報から収差量の大小を判定し、収差量が小さい場合にはＢＰ補正量（第１または第２の焦点調節補正量）の算出を省略してもよい。

次に、図１５を用いて、カメラＣＰＵ１０４がＳ９０５１およびＳ９０５２で行う第１および第２の撮像素子１０１，１０２を用いた被写体情報の抽出タイミングについて説明する。図１５は、第１および第２の撮像素子１０１，１０２の垂直同期信号Ｖ１，Ｖ２，Ｖ３，Ｖ４，・・・が同期している例を示している。第１の撮像素子１０１は、Ｅａ１，Ｒａ１，Ｅａ２，Ｒａ２，・・・で示すように、垂直同期タイミングＶ１，Ｖ２，・・・を境として電荷蓄積と読み出しとを繰り返す。第２の撮像素子１０２は、Ｅｂ１，Ｒｂ１，Ｅｂ２，Ｒｂ２，・・・で示すように、垂直同期タイミングＶ１，Ｖ２，・・・を境として電荷蓄積と読み出しとを繰り返す。

第２の撮像素子１０２は、動画撮像用であるため、静止画撮像用の第１の撮像素子１０１よりも電荷蓄積時間が長く設定されている。ただし、第２の撮像素子１０２は第１の撮像素子１０１よりも画素数が少ないため、出力信号の読み出し時間は短い。第１の撮像素子１０１は、被写体情報抽出手段として機能しているため、手振れや被写体ぶれの影響を低減するために短い電荷蓄積時間で駆動される。

第１および第２の撮像素子１０１，１０２からの出力信号の読み出しを終えると、カメラＣＰＵ１０４は、取得した出力信号を用いて被写体情報の検出Ｄ１，Ｄ２，Ｄ３，・・・を行う。そして、被写体情報の検出を終えると、カメラＣＰＵ１０４は、得られた被写体情報を用いてＢＰ補正量の算出Ｃ１，Ｃ２，Ｃ３，・・・を行う。

このような処理を行うことにより、おおよそ同じタイミングでの被写体情報を第１および第２の撮像素子１０１，１０２を通して得られるため、タイムラグによる被写体情報の変化の影響を受けにくく、信頼性の高い被写体情報が得られる。

第１の撮像素子１０１における被写体情報の抽出領域を狭めることによって、第１の撮像素子１０１の駆動レート（フレームレート）を２倍等に上げて、より多くの情報を得てもよい。その際に、半分のデータは、第２の撮像素子１０２から得られる情報と同期がとれないが、第１の撮像素子１０１から得られる情報から連続性を判定する等により、より信頼性の高い被写体情報を抽出することができる。また、第２の撮像素子１０２の駆動レートが高い場合には、第１の撮像素子１０１の駆動を間引いて被写体情報の抽出間隔を長くしてもよい。これにより、得られる被写体情報は減るが、消費電力を低減することができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１００ カメラ本体
１０１ 第１の撮像素子
１０２ 第２の撮像素子
１０４ カメラＣＰＵ
５００ 撮像レンズ
５０３ フォーカスレンズ（第３レンズ群）
５０７ レンズＣＰＵ

Claims (12)

1. フォーカス素子を有する撮像光学系を通して撮像を行う撮像装置であって、
   前記撮像光学系の射出瞳を通過した光束を第１の光束と第２の光束に分割する光束分割手段と、
   前記第１の光束により形成される被写体像を撮像する第１の撮像素子と、
   前記第２の光束により形成される被写体像を撮像する第２の撮像素子と、
   前記第１の撮像素子からの出力信号を用いて第１の画像を生成するための第１の撮像信号を生成し、前記第２の撮像素子からの出力信号を用いて第２の画像を生成するための第２の撮像信号を生成し、前記第１および第２の撮像素子のうち少なくとも一方からの前記出力信号を用いて、位相差検出方式の焦点検出に用いられる焦点検出信号を生成する信号生成手段と、
   前記フォーカス素子および前記第２の撮像素子のうち少なくとも一方を移動させる焦点調節制御を行う制御手段とを有し、
   前記制御手段は、
   前記撮像光学系の収差情報と、前記第１の撮像信号の特性に関する第１の撮像特性情報と、前記焦点検出信号の特性に関する焦点検出特性情報とを用いて第１の焦点調節補正量を取得し、
   前記収差情報と、前記第２の撮像信号の特性に関する第２の撮像特性情報と、前記焦点検出特性情報とを用いて第２の焦点調節補正量を取得し、
   前記焦点検出の結果と、前記第１の焦点調節補正量および前記第２の焦点調節補正量とを用いて前記焦点調節制御を行うことを特徴とする撮像装置。
2. 前記第１の撮像素子と前記第２の撮像素子とは、少なくとも画素ピッチが異なることを特徴とする請求項１に記載の撮像装置。
3. 前記第１および第２の画像のうち一方の画像は静止画であり、他方の画像は動画であることを特徴とする請求項１または２に記載の撮像装置。
4. 前記第１の撮像特性情報および前記第２の撮像特性情報はそれぞれ、各撮像素子の画素ピッチ、画素ごとに設けられた光電変換部の数、各画素における瞳分割方向および前記光束分割手段の各撮像素子に対する分光特性のうち少なくとも１つに応じて異なる情報であることを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
5. 前記第１の撮像特性情報および前記第２の撮像特性情報において、前記画素ピッチ、前記光電変換部の数、前記瞳分割方向および前記分光特性のうち少なくとも１つが異なることを特徴とする請求項４に記載の撮像装置。
6. 前記焦点検出特性情報は、前記焦点検出信号の評価周波数帯域、コントラスト方向および色のうち少なくとも１つに応じて異なる情報であることを特徴とする請求項１から５のいずれか一項に記載の撮像装置。
7. 前記第２の撮像素子を移動させる撮像素子移動手段を有し、
   前記制御手段は、前記フォーカス素子の移動量を前記第１の焦点調節補正量を用いて算出し、前記撮像素子移動手段による前記第２の撮像素子の移動量を前記第２の焦点調節補正量を用いて算出することを特徴とする請求項１から６のいずれか一項に記載の撮像装置。
8. 前記制御手段は、前記撮像素子移動手段による前記第２の撮像素子の移動量を、前記収差情報、前記第１の撮像特性情報および前記第２の撮像特性情報のうち少なくとも１つの変更に応じて変更することを特徴とする請求項７に記載の撮像装置。
9. 前記制御手段は、前記第１の焦点調節補正量と前記第２の焦点調節補正量とを用いて算出される第３の焦点調節補正量を用いて前記焦点調節制御を行うことを特徴とする請求項１から６のいずれか一項に記載の撮像装置。
10. 前記制御手段は、
    前記第１および第２の撮像素子のそれぞれから得られる前記撮像信号を用いて生成される画像を記録する優先度を求め、
    該優先度に応じて前記第３の焦点調節補正量を設定することを特徴とする請求項９に記載の撮像装置。
11. フォーカス素子を有する撮像光学系を通して撮像を行う撮像装置であり、前記撮像光学系の射出瞳を通過した光束を分割して得られた第１の光束および第２の光束のうち前記第１の光束により形成される被写体像を撮像する第１の撮像素子と、前記第２の光束により形成される被写体像を撮像する第２の撮像素子とを有する撮像装置の制御方法であって、
    前記第１の撮像素子からの出力信号を用いて第１の画像を生成するための第１の撮像信号を生成し、前記第２の撮像素子からの出力信号を用いて第２の画像を生成するための第２の撮像信号を生成し、前記第１および第２の撮像素子のうち少なくとも一方からの前記出力信号を用いて、位相差検出方式の焦点検出に用いられる焦点検出信号を生成するステップと、
    前記フォーカス素子および前記第２の撮像素子のうち少なくとも一方を移動させる焦点調節制御を行う制御ステップとを有し、
    前記制御ステップにおいて、
    前記撮像光学系の収差情報と、前記第１の撮像信号の特性に関する第１の撮像特性情報と、前記焦点検出信号の特性に関する焦点検出特性情報とを用いて第１の焦点調節補正量を取得し、
    前記収差情報と、前記第２の撮像信号の特性に関する第２の撮像特性情報と、前記焦点検出特性情報とを用いて第２の焦点調節補正量を取得し、
    前記焦点検出の結果と、前記第１の焦点調節補正量および前記第２の焦点調節補正量とを用いて前記焦点調節制御を行うことを特徴とする撮像装置の制御方法。
12. コンピュータに、請求項１１に記載の撮像装置の制御方法に対応する処理を実行させるコンピュータプログラムであることを特徴とする撮像制御プログラム。