JP2016133595A - 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】高速かつ高品位な焦点検出が可能な制御装置を提供する。【解決手段】制御装置は、第１画素信号および第２画素信号から生成されたリフォーカス信号に基づいてフォーカス方向を判定する判定手段（１２１ｂ）と、フォーカス方向にレンズを駆動した後に得られた第１画素信号および第２画素信号に基づいて、位相差検出方式の焦点検出を行う焦点検出手段（１２１ａ）とを有する。【選択図】図１

Description

本発明は、撮像素子からの出力信号に基づいて自動焦点調節を行う撮像装置に関する。

従来から、焦点検出信号に基づいて位相差検出方式の焦点検出を行う撮像面位相差検出方式の焦点検出（撮像面位相差ＡＦ）、および、撮像信号のコントラスト値に基づくコントラスト検出方式の焦点検出（コントラストＡＦ）が知られている。

特許文献１には、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部とが形成されている２次元撮像素子を用いた撮像装置が開示されている。特許文献１の撮像装置は、分割された光電変換部を有する画素（焦点検出画素）から出力されたそれぞれの焦点検出信号から相関量を算出し、相関量から像ずれ量を求めることにより、位相差検出方式の焦点検出を行うことができる。

特許文献２には、位相差検出方式の焦点検出およびコントラスト値に基づくコントラスト検出方式の焦点検出を行う撮像装置が開示されている。特許文献２の撮像装置は、合焦位置の近傍まで位相差検出方式の焦点検出を行った後、コントラスト値に基づくコントラスト検出方式の焦点検出を行う。

米国特許４４１０８０４号 特開２０１３−２５２４６号公報

しかしながら、特許文献２に開示された撮像装置は、まず位相差検出方式の焦点検出を行うため、検出可能デフォーカス範囲外においては、被写体と異なる方向に焦点検出動作を開始する場合がある。その結果、高速な焦点検出動作が妨げられ、シャッターチャンス（撮影者が撮影したい場面）を逃してしまう可能性がある。また、被写体と異なる方向に焦点検出動作が開始すると、動作品位が劣化する。

一方、ウォブリング制御のようにコントラストＡＦで方向判定するには、撮影レンズを駆動する必要があるため、画像のボケや像倍率変動による像ブレなど動作品位が劣化する場合がある。

そこで本発明は、高速かつ高品位な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての制御装置は、第１画素信号および第２画素信号から生成されたリフォーカス信号に基づいてフォーカス方向を判定する判定手段と、前記フォーカス方向にレンズを駆動した後に得られた前記第１画素信号および前記第２画素信号に基づいて、位相差検出方式の焦点検出を行う焦点検出手段とを有する。

本発明の他の側面としての撮像装置は、位相差検出方式の焦点検出演算を行うための焦点検出信号を出力可能な第１画素および第２画素をそれぞれ複数有する撮像手段と、前記第１画素の第１画素信号および前記第２画素の第２画素信号から生成されたリフォーカス信号に基づいてフォーカス方向を判定する判定手段と、前記フォーカス方向にレンズを駆動した後に得られた前記第１画素信号および前記第２画素信号に基づいて、位相差検出方式の焦点検出を行う焦点検出手段とを有する。

本発明の他の側面としての制御方法は、第１画素信号および第２画素信号から生成されたリフォーカス信号に基づいてフォーカス方向を判定するステップと、前記フォーカス方向にレンズを駆動するステップと、前記第１画素信号および前記第２画素信号に基づいて位相差検出方式の焦点検出を行うステップとを有する。

本発明の他の側面としてのプログラムは、第１画素信号および第２画素信号から生成されたリフォーカス信号に基づいてフォーカス方向を判定するステップと、前記フォーカス方向にレンズを駆動するステップと、前記第１画素信号および前記第２画素信号に基づいて位相差検出方式の焦点検出を行うステップと、をコンピュータに実行させるように構成されている。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、高速かつ高品位な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

各実施例における撮像装置の構成図である。 各実施例における画素配列を示す図である。 各実施例における画素構造を示す図である。 各実施例における撮像素子および瞳分割機能の説明図である。 各実施例における撮像素子および瞳分割機能の説明図である。 各実施例におけるデフォーカス量と像ずれ量との関係図である。 各実施例における焦点検出領域の説明図である。 各実施例における位相差検出方式の焦点検出処理を示すフローチャートである。 各実施例におけるフィルタ処理の説明図である。 各実施例におけるリフォーカス処理の概略説明図である。 実施例１におけるフォーカス方向の判定処理を示すフローチャートである。 実施例１における焦点検出処理を示すフローチャートである。 各実施例における検出可能デフォーカス範囲とフォーカス位置との関係を示す図である。 実施例２におけるボケ評価値を算出する算出手段のブロック図である。 実施例２における画像信号のパワーとフォーカス位置の関係図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、図１を参照して、本発明の実施例１における撮像装置の概略構成について説明する。図１は、撮像装置１００の構成図である。撮像装置１００は、撮像素子１０７を備えた撮像装置本体（カメラ本体）と撮影光学系（撮影レンズ）とが一体的に構成されている。ただし本実施例は、これに限定されるものではなく、撮像装置本体と撮像装置本体に着脱可能なレンズ装置（撮影光学系）とを備えて構成される撮像装置にも適用可能である。また撮像装置１００は、動画および静止画を記録可能である。

第１レンズ群１０１は、撮影光学系（結像光学系）の先端に配置されており、光軸ＯＡの方向（光軸方向）に進退可能に保持されている。絞り兼用シャッタ１０２（絞り手段）は、その開口径を調節することにより、撮影時の光量調節を行う。また絞り兼用シャッタ１０２は、静止画撮影の際に露光秒時調節用シャッタとしての機能を有する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を実現する。第３レンズ群１０５（フォーカスレンズ）は、光軸方向に進退することにより、焦点調節を行う。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。

撮像素子１０７（撮像手段）は、２次元ＣＭＯＳフォトセンサとその周辺回路とを備えて構成され、撮影光学系の結像面に配置されている。このような構成により、撮像素子１０７は、撮影光学系を介して得られた被写体像（光学像）を光電変換して像信号を出力する。本実施例において、第１レンズ群１０１、絞り兼用シャッタ１０２、第２レンズ群１０３、第３レンズ群１０５、および、光学的ローパスフィルタ１０６により、撮影光学系（結像光学系）が構成される。

ズームアクチュエータ１１１は、不図示のカム筒を回動することにより、第１レンズ群１０１および第２レンズ群１０３を光軸方向に進退駆動し、変倍操作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節するとともに、静止画撮影の際に露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。

ＣＰＵ１２１（制御装置）は、カメラ本体の種々の制御を司るカメラＣＰＵ（カメラ制御部）であり、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、および、通信インターフェイス回路などを有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムに基づいて、カメラ本体の各種回路を駆動し、ＡＦ、撮影、画像処理、および、記録などの一連の動作を実行する。また本実施例において、ＣＰＵ１２１は、焦点検出手段１２１ａおよび判定手段１２１ｂを有する。焦点検出手段１２１ａは、撮像素子１０７からの出力信号に基づいて位相差検出方式の焦点検出を行う。判定手段１２１ｂは、リフォーカス処理によりフォーカス方向（焦点検出方向）を判定（算出）する。

撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、撮像素子１０７から出力された像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５は、撮像素子１０７から得られた像信号に対して、γ変換、カラー補間、および、ＪＰＥＧ圧縮などの画像処理を行う。

フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動制御して、絞り兼用シャッタ１０２の開口を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

表示器１３１は、ＬＣＤなどを備えて構成され、カメラ本体の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、および、撮影モード選択スイッチなどにより構成される。フラッシュメモリ１３３は、着脱可能なフラッシュメモリであり、撮影済み画像を記録する。

続いて、図２および図３を参照して、本実施例における撮像素子１０７の画素配列および画素構造について説明する。図２は、撮像素子１０７の画素配列を示す図である。図３は、撮像素子１０７の画素構造を示す図であり、図３（ａ）は撮像素子１０７の画素２００Ｇの平面図（＋ｚ方向から見た図）、図３（ｂ）は図３（ａ）中の線ａ−ａの断面図（−ｙ方向から見た図）をそれぞれ示している。

図２は、撮像素子１０７（２次元ＣＭＯＳセンサ）の画素配列（撮影画素の配列）を、４列×４行の範囲で示している。本実施例において、各々の撮像画素（画素２００Ｒ、２００Ｇ、２００Ｂ）は、焦点検出画素２０１、２０２（２つの瞳分割用の副画素）により構成されている。このため、図２には、焦点検出画素の配列が８列×４行の範囲で示されていることになる。

図２に示されるように、２列×２行の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂがベイヤー配列で配置されている。すなわち画素群２００のうち、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。各画素２００Ｒ、２００Ｇ、２００Ｂ（各撮像画素）は、２列×１行に配列された焦点検出画素２０１（第１焦点検出画素）および焦点検出画素２０２（第２焦点検出画素）により構成されている。焦点検出画素２０１は、結像光学系の第１瞳領域を通過した光束を受光する画素である。焦点検出画素２０２は、結像光学系の第２瞳領域を通過した光束を受光する画素である。図２に示されるように、撮像素子１０７は、４列×４行の撮像画素（８列×４行の焦点検出画素）を面上に多数配置して構成されており、撮像信号（焦点検出信号）を出力する。

本実施例の撮像素子１０７は、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、焦点検出画素の列方向周期ＰＡＦが２μｍ、焦点検出画素数ＮＡＦが横１１１５０列×縦３７２５行＝約４１５０万画素である。ただし本実施例は、これに限定されるものではない。

図３（ｂ）に示されるように、本実施例の画素２００Ｇには、画素の受光面側に入射光を集光するためのマイクロレンズ３０５が設けられている。マイクロレンズ３０５は、受光面からｚ軸方向（光軸ＯＡの方向）に所定の距離だけ離れた位置に配置されている。また画素２００Ｇには、ｘ方向にＮ_Ｈ分割（２分割）、ｙ方向にＮ_Ｖ分割（１分割）された光電変換部３０１、３０２（光電変換素子）が形成されている。光電変換部３０１および光電変換部３０２は、焦点検出画素２０１および焦点検出画素２０２にそれぞれ対応する。

光電変換部３０１および光電変換部３０２は、それぞれ、ｐ型層とｎ型層との間にイントリンシック層を挟んだｐｉｎ構造のフォトダイオードとして構成される。必要に応じて、イントリンシック層を省略し、ｐｎ接合のフォトダイオードとして構成してもよい。画素２００Ｇ（各画素）には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルタ３０６が設けられている。必要に応じて、副画素（焦点検出画素）ごとにカラーフィルタ３０６の分光透過率を変えることができ、またはカラーフィルタを省略してもよい。

図３に示されるように、画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光された後、光電変換部３０１、３０２で受光される。光電変換部３０１、３０２においては、受光量に応じて電子とホールとの対が生成され、それらが空乏層で分離された後、負電荷の電子はｎ型層に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて、撮像素子１０７の外部へ排出される。光電変換部３０１、３０２のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。

続いて、図４を参照して、撮像素子１０７の瞳分割機能について説明する。図４は、撮像素子１０７の瞳分割機能の説明図であり、１つの画素部における瞳分割の様子を示している。図４は、図３（ａ）に示される画素構造のａ−ａ断面を＋ｙ側から見た断面図、および、結像光学系の射出瞳面を示している。図４では、射出瞳面の座標軸と対応を取るため、断面図のｘ軸およびｙ軸を図３のｘ軸およびｙ軸に対してそれぞれ反転させている。

図４において、焦点検出画素２０１（第１焦点検出画素）の瞳部分領域５０１（第１瞳部分領域）は、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０１は、焦点検出画素２０１で受光可能な瞳領域を表している。焦点検出画素２０１の瞳部分領域５０１の重心は、瞳面上で＋ｘ側に偏心している。また、焦点検出画素２０２（第２焦点検出画素）の瞳部分領域５０２（第２瞳部分領域）は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０２は、焦点検出画素２０２で受光可能な瞳領域を表している。焦点検出画素２０２の瞳部分領域５０２の重心は、瞳面上で−ｘ側に偏心している。瞳領域５００は、光電変換部３０１、３０２（焦点検出画素２０１、２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。図４において、４００は結像光学系の射出瞳を示している。

図５は、撮像素子１０７と瞳分割機能の説明図である。結像光学系の瞳領域のうち互いに異なる瞳部分領域５０１、５０２を通過した光束は、撮像素子１０７の各画素に互いに異なる角度で撮像素子１０７の撮像面８００に入射し、２×１分割された焦点検出画素２０１および焦点検出画素２０２で受光される。本実施例では、瞳領域が水平方向に２つに瞳分割されている例について説明しているが、これに限定されるものではなく、必要に応じて垂直方向などの他の方向に瞳分割を行ってもよい。

また本実施例では、焦点検出画素２０１（第１焦点検出画素）および焦点検出画素２０２（第２焦点検出画素）から構成された撮像画素が複数配列されているが、本実施例はこれに限定されるものではない。必要に応じて、撮像画素、第１焦点検出画素、および、第２焦点検出画素を個別の画素構成とし、撮像画素配列の一部に、第１焦点検出画素および第２焦点検出画素を部分的に（離散的に）配置するように構成してもよい。

本実施例では、撮像素子１０７の各画素の焦点検出画素２０１（第１焦点検出画素）の受光信号を集めて第１焦点検出信号を生成し、各画素の焦点検出画素２０２（第２焦点検出画素）の受光信号を集めて第２焦点検出信号を生成して焦点検出を行う。また本実施例では、撮像素子１０７の画素ごとに、第１焦点検出画素および第２焦点検出画素の信号を加算することにより、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。

次に、図６を参照して、撮像素子１０７の焦点検出画素２０１から出力される焦点検出信号（第１焦点検出信号）および焦点検出画素２０２から出力される焦点検出信号（第２焦点検出信号）のデフォーカス量と像ずれ量との関係について説明する。図６は、デフォーカス量と像ずれ量との関係図である。図６において、撮像素子１０７は撮像面８００に配置されており、図４および図５と同様に、結像光学系の射出瞳が瞳部分領域５０１、５０２に２分割されている様子が示されている。

デフォーカス量ｄは、被写体の結像位置から撮像面８００までの距離を｜ｄ｜として定義される。またデフォーカス量ｄは、結像位置が撮像面８００よりも被写体側にある前ピン状態を負符号（ｄ＜０）、結像位置が撮像面８００よりも被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面８００（合焦位置）にある合焦状態において、デフォーカス量ｄ＝０が成立する。図６において、合焦状態（ｄ＝０）である被写体８０１、および、前ピン状態（ｄ＜０）である被写体８０２がそれぞれ示されている。前ピン状態（ｄ＜０）および後ピン状態（ｄ＞０）を併せて、デフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、瞳部分領域５０１（または瞳部分領域５０２）を通過した光束は、一度、集光する。その後、光束は、光束の重心位置ＧＴ１（ＧＴ２）を中心とする幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子１０７に配列された各画素を構成する焦点検出画素２０１（焦点検出画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。このため、第１焦点検出信号（第２焦点検出信号）は、撮像面８００上の重心位置ＧＴ１（ＧＴ２）に、被写体８０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１焦点検出信号と第２焦点検出信号との間の被写体像の像ずれ量ｐ（＝光束の重心位置の差ＧＴ１−ＧＴ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加する。後ピン状態（ｄ＞０）に関しても同様であるが、第１焦点検出信号と第２焦点検出信号と間の被写体像の像ずれ方向が前ピン状態と反対となる。

このように本実施例において、第１焦点検出信号と第２焦点検出信号、または、第１焦点検出信号と第２焦点検出信号とを加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号と間の像ずれ量の大きさは増加する。

次に、本実施例における焦点検出について説明する。本実施例では、第１焦点検出信号および第２焦点検出信号のデフォーカス量と像ずれ量との関係を利用する位相差検出方式の焦点検出と、リフォーカス原理に基づく方式（リフォーカス方式）による方向検出（フォーカス方向判定）を行う。主に、位相差検出方式によるデフォーカス量の算出が困難な検出可能デフォーカス範囲外では、リフォーカス方式によるフォーカス方向判定を行う。そしてフォーカス駆動を開始した後、位相差検出方式の検出の出力結果を用いて合焦状態まで焦点調節を行う。この詳細については、後述する。

まず、図７を参照して、第１焦点検出信号および第２焦点検出信号を取得する撮像素子１０７上の領域である焦点検出領域について説明する。図７は焦点検出領域の説明図であり、撮像素子１０７の有効画素領域１０００における焦点検出領域と、焦点検出の際に表示器１３１に表示される焦点検出領域を示す指標とを重ねて示している。

本実施例では、行方向に３つ、列方向に３つの、計９個の焦点検出領域が設定されている。行方向にｎ番目、列方向にｍ番目の焦点検出領域をＡ（ｎ，ｍ）と表し、この焦点検出領域内の焦点検出画素２０１および焦点検出画素２０２の信号を用いて、後述する第１焦点検出および第２焦点検出を行う。同様に、行方向にｎ番目、列方向にｍ番目の焦点検出領域の指標をＩ（ｎ，ｍ）と表す。なお本実施例では、行方向に３つ、列方向に３つの焦点検出領域を設定しているが、これに限定されるものではない。撮像素子１０７のように有効画素領域１０００のうちのいずれの画素からも第１焦点検出信号および第２焦点検出信号が得られる撮像素子においては、焦点検出領域の数、位置、サイズを適宜変更することができる。例えば、撮影者の指定した領域を中心とする所定の範囲を、焦点検出領域として設定してもよい。

次に、図８を参照して、本実施例における位相差検出方式の焦点検出について説明する。位相差検出方式の焦点検出では、第１焦点検出信号と第２焦点検出信号とを相対的にシフトさせて信号の一致度を表す相関量（第１評価値）を算出し、良好な相関（信号の一致度）が得られるシフト量に基づいて像ずれ量を検出する。撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間との像ずれ量の大きさが増加する関係に基づいて、像ずれ量を第１検出デフォーカス量に変換して焦点検出を行う。

図８は、位相差検出方式の焦点検出処理を示すフローチャートである。図８の各ステップは、主にＣＰＵ１２１により、または、ＣＰＵ１２１の指令に基づいて撮像素子１０７または画像処理回路１２５により実行される。

まずステップＳ１１０において、ＣＰＵ１２１は、撮像素子１０７の有効画素領域１０００の範囲内において、焦点調節を行うための焦点検出領域を設定する。そしてＣＰＵ１２１は、設定した焦点検出領域内の焦点検出画素２０１（第１焦点検出画素）の受光信号から第１焦点検出信号（Ａ像）を生成し、焦点検出領域内の焦点検出画素２０２（第２焦点検出画素）の受光信号から第２焦点検出信号（Ｂ像）を生成する。

続いてステップＳ１２０において、ＣＰＵ１２１は、第１焦点検出信号および第２焦点検出信号のそれぞれに対して、信号データ量を抑制するために列方向に３画素加算処理を行う。またＣＰＵ１２１は、ＲＧＢ信号を輝度Ｙ信号にするためにベイヤー（ＲＧＢ）加算処理を行う。本実施例では、これらの２つの加算処理を合わせて第１画素加算処理という。

続いてステップＳ１３０において、ＣＰＵ１２１は、第１焦点検出信号および第２焦点検出信号のそれぞれに対して、第１フィルタ処理を行う。図９は、第１フィルタ処理の説明図であり、本実施例の第１フィルタ処理における通過帯域例を実線で示している。本実施例では、位相差検出方式の焦点検出（第１焦点検出）により、検出可能デフォーカス範囲外での焦点検出を行うため、第１フィルタ処理の通過帯域は低周波帯域を含むように構成される。必要に応じて、検出可能デフォーカス範囲外から検出可能デフォーカス範囲内まで焦点調節を行う際に、デフォーカス状態に応じて、第１焦点検出の際の第１フィルタ処理の通過帯域を、図９に示される１点鎖線のように、より高周波帯域に調整してもよい。

続いてステップＳ１４０において、ＣＰＵ１２１は、第１フィルタ処理後の第１焦点検出信号と第２焦点検出信号とを相対的に瞳分割方向にシフトさせるシフト処理（第１シフト処理）を行い、信号の一致度を表す相関量（第１評価値）を算出する。ここで、第１フィルタ処理後のｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。第１シフト処理によるシフト量をｓ_１、シフト量ｓ_１のシフト範囲をΓ１とすると、相関量（第１評価値）ＣＯＲは、以下の式（１）により算出される。

ＣＰＵ１２１は、シフト量ｓ_１の第１シフト処理により、ｋ番目の第１焦点検出信号Ａ（ｋ）と（ｋ−ｓ_１）番目の第２焦点検出信号Ｂ（ｋ−ｓ_１）を対応させて減算し、シフト減算信号を生成する。そしてＣＰＵ１２１は、生成されたシフト減算信号の絶対値を算出し、焦点検出領域に対応する範囲Ｗ内で番号ｋの和を取り、第１評価値である相関量ＣＯＲ（ｓ_１）を算出する。必要に応じて、各行ごとに算出された相関量（第１評価値）を、シフト量ごとに複数行に渡って加算してもよい。

続いてステップＳ１５０において、ＣＰＵ１２１は、相関量（第１評価値）から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐ１を得る。そしてＣＰＵ１２１は、像ずれ量ｐ１に、焦点検出領域の像高、撮像レンズ（結像光学系）のＦ値、および、射出瞳距離に応じた第１変換係数Ｋ１を掛けて、第１デフォーカス量（Ｄｅｆ１）を検出する。このように本実施例において、ＣＰＵ１２１は、位相差検出方式の焦点検出処理により、第１焦点検出信号と第２焦点検出信号に対して、第１フィルタ処理および第１シフト処理を行う。そしてＣＰＵ１２１は、相関量を算出し、算出した相関量に基づいて第１デフォーカス量を検出する。

本実施例の撮像素子１０７においては、検出可能デフォーカス範囲外で、位相差検出方式の焦点検出の際の出力が低下し、デフォーカス検出ができない状態となり得る。この場合、位相差検出方式の焦点検出が不可であるとして出力を行う。なお、焦点検出領域を長くすれば、検出可能デフォーカス範囲外を焦点検出することができる。しかし、焦点検出領域を長くすると焦点検出範囲内に複数の被写体が異なる距離にある現象（所謂、遠近競合）が生じ、本来の被写体と異なる被写体に合焦する可能性が高まるため、好ましくない。

ここで、図１３を参照して、検出可能デフォーカス範囲について説明する。図１３は、検出可能デフォーカス範囲とフォーカス位置との関係を示す図である。図１３に示されるように、フォーカス位置が被写体位置を中心とする領域２の範囲内である場合、デフォーカス量は検出可能である。このため、領域２は検出可能デフォーカス範囲内である。一方、フォーカス位置が、被写体位置を基準として至近端（至近側）に離れた領域１、および、無限端（無限側）に離れた領域３の範囲内である場合、正確なデフォーカス量を検出することができない。このため、領域１、３はそれぞれ検出可能デフォーカス範囲外である。

次に、図１０および図１１を参照して、本実施例におけるリフォーカス方式（コントラスト検出方式）のフォーカス方向判定について説明する。本実施例のリフォーカス方式のフォーカス方向判定では、第１焦点検出信号と第２焦点検出信号とを相対的にシフトして加算し、シフト加算信号（リフォーカス信号）を生成する。そして、生成されたシフト加算信号（リフォーカス信号）のコントラスト評価値を算出し、コントラスト評価値に基づいてフォーカス方向を判定する。

図１０は、本実施例の撮像素子１０７により取得された第１焦点検出信号および第２焦点検出信号による１次元方向（列方向、水平方向）のリフォーカス処理の説明図である。図１０において、ｉを整数として、撮像面８００に配置された撮像素子１０７の列方向ｉ番目の画素の第１焦点検出信号をＡｉ、第２焦点検出信号をＢｉとして模式的に表している。第１焦点検出信号Ａｉは、（図５の瞳部分領域５０１に対応する）主光線角度θａでｉ番目の画素に入射した光束の受光信号である。第２焦点検出信号Ｂｉは、（図５の瞳部分領域５０２に対応する）主光線角度θｂでｉ番目の画素に入射した光束の受光信号である。

第１焦点検出信号Ａｉおよび第２焦点検出信号Ｂｉは、光強度分布情報だけでなく、入射角度情報も含む。このため、第１焦点検出信号Ａｉを角度θａに沿って仮想結像面８１０まで平行移動させ、第２焦点検出信号Ｂｉを角度θｂに沿って仮想結像面８１０まで平行移動させ、これらを加算することにより、仮想結像面８１０でのリフォーカス信号を生成できる。第１焦点検出信号Ａｉを角度θａに沿って仮想結像面８１０まで平行移動させることは、列方向に＋０．５画素シフトに対応し、第２焦点検出信号Ｂｉを角度θｂに沿って仮想結像面８１０まで平行移動させることは、列方向に−０．５画素シフトに対応する。したがって、第１焦点検出信号Ａｉと第２焦点検出信号Ｂｉとを相対的に＋１画素シフトさせ、第１焦点検出信号Ａｉと第２焦点検出信号（Ｂｉ＋１）とを対応させて加算することにより、仮想結像面８１０でのリフォーカス信号を生成できる。同様に、第１焦点検出信号Ａｉと第２焦点検出信号Ｂｉとを整数シフトさせて（画素整数個分だけシフトさせて）加算することにより、整数シフト量に応じた各仮想結像面でのシフト加算信号（リフォーカス信号）を生成できる。

ＣＰＵ１２１（判定手段１２１ｂ）は、生成されたシフト加算信号（リフォーカス信号）のコントラスト評価値を算出する。そしてＣＰＵ１２１（判定手段１２１ｂ）は、算出された複数のコントラスト評価値に基づいて被写体のフォーカス方向を算出することにより、リフォーカス方式のフォーカス方向検出を行う（フォーカス方向を判定する）。

図１１は、本実施例におけるフォーカス方向の判定処理を示すフローチャートである。図１１の各ステップは、主にＣＰＵ１２１により、または、ＣＰＵ１２１の指令に基づいて撮像素子１０７または画像処理回路１２５により実行される。

まずステップＳ２１０において、ＣＰＵ１２１は、撮像素子１０７の有効画素領域の範囲内において、焦点調節を行う焦点検出領域を設定する。そしてＣＰＵ１２１は、設定した焦点検出領域内の焦点検出画素２０１（第１焦点検出画素）の受光信号から第１焦点検出信号（Ａ像）を生成し、焦点検出領域内の焦点検出画素２０２（第２焦点検出画素）の受光信号から第２焦点検出信号（Ｂ像）を生成する。

続いてステップＳ２２０において、ＣＰＵ１２１は、第１焦点検出信号および第２焦点検出信号のそれぞれに対して、信号データ量を抑制するために列方向に３画素加算処理を行う。またＣＰＵ１２１は、ＲＧＢ信号を輝度Ｙ信号にするためにベイヤー（ＲＧＢ）加算処理を行う。本実施例では、これらの２つの加算処理を合わせて第２画素加算処理という。必要に応じて、３画素加算処理およびベイヤー（ＲＧＢ）加算処理のいずれか一方、または、これら両方の加算処理を省略してもよい。

続いてステップＳ２３０において、ＣＰＵ１２１は、第１焦点検出信号および第２焦点検出信号のそれぞれに対して、第２フィルタ処理を行う。図９は、第２フィルタ処理の説明図であり、本実施例の第２フィルタ処理における通過帯域例を破線で示している。本実施例において、ＣＰＵ１２１は、リフォーカス方式のフォーカス方向検出により、検出可能デフォーカス範囲外での方向検出を行う。このため、第２フィルタ処理の通過帯域は、第１フィルタ処理の通過帯域（図９中の実線または１点鎖線）よりも、低周波帯域を含むように設定される。第２フィルタ処理に際して、必要に応じて、被写体信号のエッジ抽出を行うラプラシアン型（２階微分型）［１、−２、１］フィルタを用いて、図９中の点線で示されるように第２フィルタ処理の通過帯域をより高周波帯域に移動させるように調整してもよい。被写体の高周波成分を抽出して第２焦点検出を行うことにより、焦点検出精度をより向上させることができる。

続いてステップＳ２４０において、ＣＰＵ１２１は、第２フィルタ処理後の第１焦点検出信号と第２焦点検出信号とを相対的に瞳分割方向にシフトさせるシフト処理（第２シフト処理）を行う。そしてＣＰＵ１２１は、それらの信号を加算してシフト加算信号（リフォーカス信号）を生成する。またＣＰＵ１２１は、生成されたシフト加算信号に基づいてコントラスト評価値（第２評価値）を算出する。

続いてステップＳ２５０において、ＣＰＵ１２１（判定手段１２１ｂ）は、異なる第２シフト処理で得られる複数のコントラスト評価値（第２評価値）に基づいてフォーカス方向を判定する。ＣＰＵ１２１（判定手段１２１ｂ）は、シフトした２点のコントラスト評価値を比較し、コントラスト評価値が高い方向をフォーカス方向（駆動方向）であると判定する。２点では信頼性に問題がある場合、複数のシフトしたコントラスト評価値に対して統計処理を行い、コントラストの高い方向を判定してもよい。

次に、図１２を参照して、本実施例における焦点検出処理について説明する。本実施例では、位相差検出方式による結像光学系のデフォーカス量を検出することができない場合、リフォーカス方式により判定されたフォーカス方向（駆動方向）にフォーカスレンズの駆動（レンズ駆動）を開始する。そして、レンズ駆動を行いながら位相差検出方式の焦点検出を行い、デフォーカス量に応じて最良合焦位置まで焦点調節を行う。

図１２は、焦点検出処理を示すフローチャートである。図１２の各ステップは、主に、ＣＰＵ１２１により、またはＣＰＵ１２１の指令に基づいてフォーカス駆動回路１２６により実行される。

まず、ステップＳ３１０において、フォーカスレンズは停止状態にある。ＣＰＵ１２１（焦点検出手段１２１ａ）は、図８に示される位相差検出方式による焦点検出を行い、デフォーカス量Ｄｅｆ１を算出する。続いてステップＳ３２０において、ＣＰＵ１２１は、ステップＳ３１０にてデフォーカス量Ｄｅｆ１が算出されているか否か（すなわち、位相差検出方式の焦点検出ができたか否か）を判定する。このときＣＰＵ１２１は、例えば、デフォーカス量Ｄｅｆ１が所定のデフォーカス量よりも大きい場合や、絞り値（Ｆ値）が所定の絞り値よりも小さい場合、デフォーカス量を算出可能でないと判定することができる。ただし本実施例はこれに限定されるものではなく、他の基準に基づいてデフォーカス量Ｄｅｆ１が算出可能であるか否か、または、正しいデフォーカス量Ｄｅｆ１が算出できたか否かを判定してもよい。

ステップＳ３２０にてデフォーカス量Ｄｅｆ１が算出された場合（焦点検出ができた場合）、ステップＳ３３０に進む。そしてステップＳ３３０において、ＣＰＵ１２１は、フォーカス駆動回路１２６を介して、ステップＳ３１０にて算出されたデフォーカス量Ｄｅｆ１に従ってレンズ駆動（デフォーカス駆動）を行う。

一方、ステップＳ３２０にてデフォーカス量Ｄｅｆ１が算出されない場合（焦点検出ができない場合）、ステップＳ３４０に進む。そしてステップＳ３４０において、ＣＰＵ１２１（判定手段１２１ｂ）は、リフォーカス方式によるフォーカス方向判定を行う。続いてステップＳ３５０において、ＣＰＵ１２１は、フォーカス駆動回路１２６を介して、ステップＳ３４０にて得られたフォーカス方向にレンズ駆動（サーチ駆動）を行う。

続いてステップＳ３６０において、ＣＰＵ１２１（焦点検出手段１２１ａ）は、ステップＳ３３０またはＳ３５０にて実行されたレンズ駆動後の状態で、図８に示される位相差検出方式の焦点検出（第１焦点検出）を行い、デフォーカス量Ｄｅｆ１を算出する。続いてステップＳ３７０において、ＣＰＵ１２１は、ステップＳ３６０にてデフォーカス量Ｄｅｆ１が算出されたか否か（すなわち、第１焦点検出を実行できたか否か）を判定する。デフォーカス量Ｄｅｆ１が算出された場合（第１焦点検出を実行できた場合）、ステップＳ３８０に進む。そしてステップＳ３８０において、ＣＰＵ１２１は、合焦位置であるか否か（すなわち、最良合焦位置近傍まで焦点調節されたか否か）を判定する。最良合焦位置近傍まで焦点調節されていると判定された場合、本フローは終了する。

一方、ステップＳ３７０にてデフォーカス量Ｄｅｆ１が算出されてない場合（第１焦点検出を実行できなかった場合）、または、ステップＳ３８０にて最良合焦位置近傍まで焦点調節されていないと判定された場合、ステップＳ３６０に戻る。

リフォーカス方式による方向検出（フォーカス方向判定）は、レンズ駆動を行う必要がないため、電力消費を低減し、高品位な動作が可能となる。また、レンズ駆動を必要としないため、レンズ駆動前に複数回の方向検出が可能であり、統計的な手法を用いてより確かな方向検出を行うこともできる。本実施例によれば、結像光学系が検出可能デフォーカス範囲外にあり被写体のデフォーカス方向を検出できない場合、リフォーカス方式により判定されたフォーカス方向に焦点検出動作を開始することができる。このため、高速かつ高品位な焦点検出動作が可能となる。

次に、本発明の実施例２における焦点検出について説明する。本実施例は、リフォーカス方式によるフォーカス方向判定を、コントラスト検出方式に代えてＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）方式により実行する点で、実施例１と異なる。それ以外の構成については実施例１と同様であるため、それらの説明は省略する。

本実施例におけるボケ評価値は、撮像画像のボケ状態を示す値であり、撮影光学系の点像強度分布関数の分散と相関を有する値である。ここで、点像強度分布関数は、点像がレンズを通過した後の広がり具合の関数である。また、撮影光学系の点像強度分布関数の分散は、被写体距離と相関を有する。すなわち、撮影光学系の点像強度分布関数の分散は、フォーカスレンズ位置と相関を有すると言い換えることができる。以上より、ボケ評価値とデフォーカス量との間には相関関係があることがわかる。

本実施例のリフォーカス方式によるフォーカス方向判定では、第１焦点検出信号と第２焦点検出信号とを相対的にシフトして加算し、シフト加算信号（リフォーカス信号）を生成する。そして、生成されたシフト加算信号（リフォーカス信号）のボケ評価値を算出し、算出したボケ評価値に基づいてフォーカス方向を検出（判定）する。

図１４を参照して、本実施例におけるボケ評価値について説明する。図１４は、ＣＰＵ１２１のうち、ボケ評価値を算出する算出手段（判定手段１２１ｂを含むＣＰＵ１２１、画像処理回路１２５）のブロック図である。実施例１で説明した第１焦点検出信号と第２焦点検出信号とを出力するための画像１、および、シフト処理されたリフォーカス画像（画像２）は、ＡＦ評価用信号処理部６０１に入力される。ＡＦ評価用信号処理部６０１は、入力された画像１および画像２を、輝度信号Ｙに変換し、低輝度成分を強調して高輝度成分を抑圧するガンマ補正処理を実行する。

ガンマ補正処理された輝度信号Ｙは、赤の輝度信号（ＲＹ）、緑の輝度信号（ＧＹ）、および、青の輝度信号（ＢＹ）の３色の輝度信号と、各輝度信号ＲＹ、ＧＹ、ＢＹを所定の重み付けして加算することにより得られたＹ信号とを含む。以下、赤、緑、青の各色をそれぞれＲ、Ｇ、Ｂと呼ぶ。ただし、ＡＦ評価用信号処理部６０１の出力信号である画像１の輝度信号Ｙは、ノイズ低減や精度向上を目的として、ＲＹ、ＧＹ、ＢＹ、Ｙ信号のいずれか一つを用いるか、または、複数の信号を組み合わせて複数のボケ評価値を算出してもよい。以下、ガンマ補正された画像１、画像２の輝度信号Ｙを、それぞれ、画像１の輝度信号６０２（Ｇ１）、画像２の輝度信号６０３（Ｇ２）と称する。

各輝度信号Ｇ１、Ｇ２は、領域設定部６１３により設定される横方向ｍ画素、縦方向ｎ画素のＡＦ評価範囲から切り出され、より小さい範囲の領域に設定される。具体的には、ＡＦ評価範囲の大きさを横方向Ｍ画素、縦方向Ｎ画素とすると、ＭとＮにそれぞれ後述するフィルタのタップ数Ｔａｐを考慮した項を足し合わせて、横方向（Ｍ＋Ｔａｐ）画素、縦方向（Ｎ＋Ｔａｐ）画素に領域設定される。輝度信号Ｇ１、Ｇ２は、横方向、縦方向に値をもつ（Ｍ＋Ｔａｐ）行、（Ｎ＋Ｔａｐ）列の２次元の信号であるため、それぞれ、Ｇ１（ｉ，ｊ）、Ｇ２（ｉ，ｊ）のように表すことができる。ただし、ｉ＝１〜Ｍ＋Ｔａｐ、ｊ＝１〜Ｎ＋Ｔａｐである。

ＢＰＦ部６０４は、入力された輝度信号Ｇ１から、特定の周波数成分を抽出し、信号Ｓ１として出力する。ここで、特定の周波数成分の抽出には、被写体のＤＣ成分や高周波成分などの除外も含まれる。輝度信号Ｇ１がＢＰＦ部６０４を通過することにより、被写体の空間周波数の依存性を低減する（好ましくは除去する）ことができる。

続いて、ＢＰＦ部６０４により行われる演算について説明する。ＢＰＦ部６０４は、まず、輝度信号Ｇ１に対して、２次元フィルタ（ＢＰＦ）の畳み込み演算を行う。畳み込み演算により、信号Ｓ１（ｉ，ｊ）は、以下の式（２）のように求められる。

ここで、畳み込み演算の結果としては、２次元フィルタ（ＢＰＦ）のサイズによって、正しくないデータが一部出力される。この正しく出力されない一部のデータは、フィルタのタップと呼ばれる。行方向のタップの数（Ｔａｐ）は、フィルタの行方向の要素数−１で求められる。同様に、列方向のＴａｐは、フィルタの列方向の要素数−１で求められる。以上のことから、正しいデータのみを出力するために畳み込み演算の結果である信号Ｓ１（ｉ，ｊ）から、Ｔａｐ分の信号を除外した信号Ｓ１（ｉ’，ｊ’）が、ＢＰＦ部６０４の出力信号となる。ただし、ｉ’＝１〜Ｍ、ｊ’＝１〜Ｎである。

輝度信号Ｇ２についても同様に、ＢＰＦ部６０５において、以下の式（３）で表されるような畳み込み演算を行った結果の信号Ｓ２（ｉ，ｊ）から、Ｔａｐ分の信号を除外した信号Ｓ１（ｉ’，ｊ’）が出力される。

なお、式（２）、（３）にて使用されるＢＰＦとしては、例えば以下の式（４）で表されるような２次元フィルタを用いればよい。ただし、ＢＰＦの要素数はその値は、抽出すべき周波数帯域に応じて変更可能である。

次に、二乗演算部６０６および領域内演算部６０８において、周波数空間における画像信号のパワーを求める。そのため、パーシバルの定理と呼ばれる式を用いて、周波数空間上の計算を実空間における計算により求める。パーシバルの定理とは、関数の平方の総和（積分）が、そのフーリエ変換の平方の総和（積分）と等しい、とする定理である。パーシバルの定理は一般に、以下の式（５）のように表され、波形ｓ（ｘ）が持つ全エネルギーの全実空間ｘについての総和と、その波形のエネルギーのフーリエ変換Ｓ（ｆ）の全周波数成分ｆについての総和とが等しいことを意味する。

以下、周波数空間における画像信号のパワーをＰと称し、画像１のパワーＰをＰ１、画像２のパワーＰをＰ２とする。パワーＰ１、Ｐ２を求めるために、まず二乗演算を行う。具体的には、二乗演算部６０６は、ＢＰＦ部６０４から出力されたＳ１に対して、以下の式（６）で表されるように二乗演算を行い、信号Ｔ１を生成する。同様に、二乗演算部６０７は、ＢＰＦ部６０５から出力された信号Ｓ２に対して、以下の式（７）式のように二乗演算を行い、信号Ｔ２を生成する。

続いて、パワーＰ１、Ｐ２を求めるために、領域内演算部６０８、６０９は、二乗演算部６０６、６０７からそれぞれ出力された信号Ｔ１、Ｔ２に対して、ＡＦ評価範囲の大きさである横方向Ｍ、縦方向Ｎの領域の積分演算を行う。領域内演算部６０８、６０９の出力信号Ｐ１、Ｐ２は、それぞれ、以下の式（８）、（９）のように求められる。

ただし、積分領域は、主被写体の位置や、主被写体以外の被写体の位置などに応じて、領域を狭くするか、または複数に分けてもよい。また、これらの演算は、後述するボケ評価値演算部６１２による演算の後に行ってもよい。

以上のように、画像１のパワーＰ１は、二乗演算部６０６および領域内演算部６０８により生成される。また、画像２のパワーＰ２は、二乗演算部６０７および領域内演算部６０９により生成される。

次に、図１５を参照して、画像信号のパワーＰ（パワーＰ１、Ｐ２）とフォーカス位置（フォーカスレンズの位置）との関係について説明する。図１５は、画像信号のパワーＰとフォーカス位置の関係図である。図１５に示されるように、画像信号のパワーＰは、合焦位置で最大値となる。これは、合焦位置が最も画像のコントラストがはっきりしているため、画像信号のパワーＰが最も強い状態となるためである。一方、合焦位置から無限側（無限端）や至近側（至近端）に向かってボケていくにつれて、パワーＰは徐々に小さくなる。これは、画像がボケるにつれて画像のコントラストが減っていくためである。

図１４において、差分演算部６１０は、領域内演算部６０８、６０９から出力されたパワーＰ１、Ｐ２の差分Ｐ２−Ｐ１を演算する。これは、画像１と画像２の周波数空間における信号のパワーＰ１、Ｐ２を比較し、２つの画像のボケ具合の違いを評価するためである。２つの画像のボケ具合が大きく異なる場合、差分Ｐ２−Ｐ１は大きくなる（例えば、図１５中のフォーカス位置Ｌ１’、Ｌ２’に対応するパワーＰ１’、Ｐ２’）。一方、２つの画像のボケ具合の差が小さい場合、差分Ｐ２−Ｐ１は小さくなる（例えば、図１５中の合焦位置Ｌ１、Ｌ２に対応するパワーＰ１、Ｐ２）。

積分演算部６１１は、領域内演算部６０８、６０９から出力されたパワーＰ１、Ｐ２の和Ｐ１＋Ｐ２を演算する。和Ｐ１＋Ｐ２は、後述するボケ評価値算出の際の規格化に用いられる。ボケ評価値演算部６１２は、差分演算部６１０の出力結果（Ｐ２−Ｐ１）を積分演算部６１１の出力結果（Ｐ１＋Ｐ２）で規格化することにより、以下の式（１０）で表されるようにボケ評価値Ｃを演算する。

図１５に示されるように、合焦位置が最も画像のコントラストがはっきりしているため、画像信号のパワーＰが最も強い状態となる。このためＣＰＵ１２１（判定手段１２１ｂ）は、ボケ評価値演算部６１２により算出されたボケ評価値Ｃを比較し、ボケ評価値Ｃが大きい方向がフォーカス方向であると判定する。

なお、式（１０）を以下の式（１１）で表されるように、パワーＰ１、Ｐ２の平均値で規格化するように変更してもよい。式（１１）は、式（１０）中の（Ｐ１＋Ｐ２）を（Ｐ１＋Ｐ２）／２に変更したものである。

また、焦点検出を行い易くするため、式（１１）の右辺に係数を付加してもよい。

本実施例の焦点検出処理は、基本的に、図１２を参照して説明した実施例１と同様である。ただし本実施例は、図１２中のステップＳ３４０（フォーカス方向判定）において、ＤＦＤ検出方式を用いている点で、コントラスト検出方式を用いる実施例１とは異なる。本実施例によれば、結像光学系が検出可能デフォーカス範囲外にあり被写体のデフォーカス方向を検出できない場合、リフォーカス方式により判定されたフォーカス方向に焦点検出動作を開始することができる。このため、高速かつ高品位な焦点検出動作が可能となる。

このように各実施例において、制御装置（ＣＰＵ１２１）は、焦点検出手段１２１ａおよび判定手段１２１ｂを有する。判定手段１２１ｂは、第１画素信号（第１焦点検出画素）および第２画素信号（第２焦点検出画素）から生成されたリフォーカス信号に基づいてフォーカス方向（デフォーカス量が小さくなる方向、合焦位置に近づく方向）を判定する。焦点検出手段１２１ａは、フォーカス方向にレンズを駆動した後に得られた第１画素信号および第２画素信号に基づいて、位相差検出方式の焦点検出を行う。

好ましくは、焦点検出手段は、位相差検出方式の焦点検出によりデフォーカス量を算出可能であるか否かを判定する（Ｓ３２０）。そして判定手段は、焦点検出手段がデフォーカス量を算出可能でないと判定した場合、リフォーカス信号に基づいてフォーカス方向を判定する（Ｓ３４０）。より好ましくは、焦点検出手段は、位相差検出方式の焦点検出により算出されたデフォーカス量が所定のデフォーカス量よりも大きい場合、デフォーカス量を算出可能でないと判定する。また好ましくは、焦点検出手段は、位相差検出方式の焦点検出の際における絞り値（Ｆ値）が所定の絞り値よりも小さい場合、デフォーカス量を算出可能でないと判定する。

好ましくは、リフォーカス信号は、第１画素信号と第２画素信号とを相対的にシフトして加算することにより得られたシフト加算信号を含む。より好ましくは、リフォーカス信号は、第１シフト加算信号および第２シフト加算信号を含む。第１シフト加算信号は、第１画素信号と第２画素信号とを相対的に第１シフト量（第１整数シフト量）だけシフトして加算することにより得られる。第２シフト加算信号は、第１画素信号と第２画素信号とを相対的に第２シフト量（第２整数シフト量）だけシフトして加算することにより得られる。なお、第１シフト量および第シフト量の一方のシフト量がゼロの場合も含まれる。

好ましくは、第１シフト加算信号および第２シフト加算信号は、第１仮想結像位置および第２仮想結像位置にそれぞれ対応するリフォーカス信号である。より好ましくは、第１仮想結像位置は、特定のレンズ位置（リフォーカス信号を生成する元となる第１画素信号および第２画素信号を取得した際のレンズ位置）を基準として無限側の位置に対応する。第２仮想結像位置は、このレンズ位置を基準として至近側の位置に対応している。より好ましくは、判定手段は、第１シフト加算信号および第２シフト加算信号の評価値に基づいてフォーカス方向を判定する。更に好ましくは、判定手段は、第１シフト加算信号と第２シフト加算信号との評価値を比較し、評価値のうち高い評価値である無限側または至近側の一方へレンズを駆動するようにフォーカス方向を判定する。

好ましくは、評価値は、第１シフト加算信号および第２シフト加算信号のコントラスト評価値である（実施例１）。また好ましくは、評価値は、第１シフト加算信号および第２シフト加算信号のボケ評価値（ＤＦＤ方式により得られた評価値）である（実施例２）。

好ましくは、第１画素信号は、結像光学系の第１瞳部分領域（瞳部分領域５０１）を通過する光束を受光する第１画素（第１焦点検出画素）から出力される信号である。第２画素信号は、第１の瞳部分領域とは異なる結像光学系の第２の瞳部分領域（瞳部分領域５０２）を通過する光束を受光する第２画素（第２焦点検出画素）から出力される信号である。

好ましくは、撮像装置１００は、位相差検出方式の焦点検出演算を行うための焦点検出信号を出力可能な第１画素および第２画素をそれぞれ複数有する撮像手段（撮像素子１０７）を備えている。また好ましくは、撮像手段は、１つのマイクロレンズに対して複数の光電変換素子（光電変換部３０１、３０２）を有し、このマイクロレンズが二次元状に配列されている。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、高速かつ高品位な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１２１ ＣＰＵ（制御装置）
１２１ａ 焦点検出手段
１２１ｂ 判定手段

Claims (18)

1. 第１画素信号および第２画素信号から生成されたリフォーカス信号に基づいてフォーカス方向を判定する判定手段と、
   前記フォーカス方向にレンズを駆動した後に得られた前記第１画素信号および前記第２画素信号に基づいて、位相差検出方式の焦点検出を行う焦点検出手段と、を有することを特徴とする制御装置。
2. 前記焦点検出手段は、前記位相差検出方式の焦点検出によりデフォーカス量を算出可能であるか否かを判定し、
   前記判定手段は、前記焦点検出手段が前記デフォーカス量を算出可能でないと判定した場合、前記リフォーカス信号に基づいて前記フォーカス方向を判定する、ことを特徴とする請求項１に記載の制御装置。
3. 前記焦点検出手段は、前記位相差検出方式の焦点検出により算出された前記デフォーカス量が所定のデフォーカス量よりも大きい場合、該デフォーカス量を算出可能でないと判定することを特徴とする請求項２に記載の制御装置。
4. 前記焦点検出手段は、前記位相差検出方式の焦点検出の際における絞り値が所定の絞り値よりも小さい場合、前記デフォーカス量を算出可能でないと判定することを特徴とする請求項２または３に記載の制御装置。
5. 前記リフォーカス信号は、前記第１画素信号と前記第２画素信号とを相対的にシフトして加算することにより得られたシフト加算信号を含むことを特徴とする請求項１乃至４のいずれか１項に記載の制御装置。
6. 前記リフォーカス信号は、
   前記第１画素信号と前記第２画素信号とを相対的に第１シフト量だけシフトして加算することにより得られた第１シフト加算信号と、
   前記第１画素信号と前記第２画素信号とを相対的に第２シフト量だけシフトして加算することにより得られた第２シフト加算信号と、を含むことを特徴とする請求項５に記載の制御装置。
7. 前記第１シフト加算信号および前記第２シフト加算信号は、第１仮想結像位置および第２仮想結像位置にそれぞれ対応するリフォーカス信号であることを特徴とする請求項６に記載の制御装置。
8. 前記第１仮想結像位置は、特定のレンズ位置を基準として無限側の位置に対応し、
   前記第２仮想結像位置は、前記レンズ位置を基準として至近側の位置に対応していることを特徴とする請求項７に記載の制御装置。
9. 前記判定手段は、前記第１シフト加算信号および前記第２シフト加算信号の評価値に基づいて前記フォーカス方向を判定することを特徴とする請求項８に記載の制御装置。
10. 前記判定手段は、
    前記第１シフト加算信号と前記第２シフト加算信号との前記評価値を比較し、
    前記評価値のうち高い評価値である前記無限側または前記至近側の一方へ前記レンズを駆動するように、前記フォーカス方向を判定することを特徴とする請求項９に記載の制御装置。
11. 前記評価値は、前記第１シフト加算信号および前記第２シフト加算信号のコントラスト評価値であることを特徴とする請求項９または１０に記載の制御装置。
12. 前記評価値は、前記第１シフト加算信号および前記第２シフト加算信号のボケ評価値であることを特徴とする請求項９または１０に記載の制御装置。
13. 前記第１画素信号は、結像光学系の第１瞳部分領域を通過する光束を受光する第１画素から出力される信号であり、
    前記第２画素信号は、前記第１の瞳部分領域とは異なる前記結像光学系の第２の瞳部分領域を通過する光束を受光する第２画素から出力される信号である、ことを特徴とする請求項１乃至１２のいずれか１項に記載の制御装置。
14. 位相差検出方式の焦点検出演算を行うための焦点検出信号を出力可能な第１画素および第２画素をそれぞれ複数有する撮像手段と、
    前記第１画素の第１画素信号および前記第２画素の第２画素信号から生成されたリフォーカス信号に基づいてフォーカス方向を判定する判定手段と、
    前記フォーカス方向にレンズを駆動した後に得られた前記第１画素信号および前記第２画素信号に基づいて、位相差検出方式の焦点検出を行う焦点検出手段と、を有することを特徴とする撮像装置。
15. 前記撮像手段は、１つのマイクロレンズに対して複数の光電変換素子を有し、該マイクロレンズが二次元状に配列されていることを特徴とする請求項１４に記載の撮像装置。
16. 第１画素信号および第２画素信号から生成されたリフォーカス信号に基づいてフォーカス方向を判定するステップと、
    前記フォーカス方向にレンズを駆動するステップと、
    前記第１画素信号および前記第２画素信号に基づいて位相差検出方式の焦点検出を行うステップと、を有することを特徴とする制御方法。
17. 第１画素信号および第２画素信号から生成されたリフォーカス信号に基づいてフォーカス方向を判定するステップと、
    前記フォーカス方向にレンズを駆動するステップと、
    前記第１画素信号および前記第２画素信号に基づいて位相差検出方式の焦点検出を行うステップと、をコンピュータに実行させるように構成されていることを特徴とするプログラム。
18. 請求項１７に記載のプログラムを記憶していることを特徴とする記憶媒体。