JP2018197771A - 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】安定的に高速かつ高精度な焦点調節が可能な制御装置を提供する。【解決手段】制御装置は、撮像光学系の互いに異なる瞳領域を通過した光束に対応する第１信号および第２信号に基づいてデフォーカス量を算出する算出手段（２０４）と、デフォーカス量に基づいて焦点調節動作を行う焦点調節手段（２１２）とを有し、焦点調節手段は、合焦可能範囲に応じて、デフォーカス量の算出に用いる第１信号および第２信号の周波数帯域を設定する。【選択図】図１２

Description

本発明は、焦点検出を行う撮像装置に関する。

近年、撮像素子を用いた位相差ＡＦ（撮像面位相差ＡＦ）として、撮像素子の画素を用いて撮影画像を取得するとともに焦点検出を行う手法が提案されている。撮像面位相差ＡＦによれば、同一の撮像素子から得られた信号に基づいて被写体検出および焦点調節を行うことができるため、高速かつ高精度な焦点調節が可能となる。

特許文献１には、１つのマイクロレンズに対応する複数のフォトダイオードを設け、各々のフォトダイオードが撮影レンズの互いに異なる瞳面の光を受光する構成が開示されている。このような構成により、２つのフォトダイオードの出力を比較して撮像面位相差ＡＦを行うことができる。

特許文献２には、撮像素子の一部の画素において、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させて瞳分割機能を付与する構成が開示されている。これらの画素を焦点検出用画素とし、焦点検出用画素を撮影用画素群の間に所定の間隔で配置することにより、撮像面位相差ＡＦを行うことができる。ここで、焦点検出用画素の配置箇所は、撮影用画素の欠損部に相当するため、周辺の撮影用画素の情報から補間して画像情報を生成する。このような構成により、撮像面で位相差検出を行うことができるため、電子ファインダ観察や動画撮影の際にも、高速かつ高精度な焦点調節を行うことが可能となる。

特開２００１−０８３４０７号公報 特開２００９−００３１２２号公報

ところで、実際には図２に示されるように相関演算に使用する信号波形の周波数帯域に応じて検出特性は大きく異なる。このため、例えば大ボケ時の方向検出動作の際には低域フィルタを適用した信号を使用して検出範囲を広くし、合焦近傍でのピント合わせ動作の際には高域フィルタを適用した信号を使用して検出精度を高くするなど、焦点調節動作の状態に応じた制御が必要となる。

しかし、図３に示されるように、ある周波数帯域において検出可能な範囲（マクロモード合焦可能範囲）が合焦可能範囲を超える場合が存在する。このような場合、その周波数帯域における演算は不要であり、その演算結果によるレンズ制御を行うと、焦点調整動作に時間がかかってしまう可能性がある。

そこで本発明は、安定的に高速かつ高精度な焦点調節が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することを目的とする。

本発明の一側面としての制御装置は、撮像光学系の互いに異なる瞳領域を通過した光束に対応する第１信号および第２信号に基づいてデフォーカス量を算出する算出手段と、前記デフォーカス量に基づいて焦点調節動作を行う焦点調節手段とを有し、前記焦点調節手段は、合焦可能範囲に応じて、前記デフォーカス量の算出に用いる前記第１信号および前記第２信号の周波数帯域を設定する。

本発明の他の側面としての撮像装置は、撮像光学系の互いに異なる瞳領域を通過した光束を受光する第１光電変換部および第２光電変換部を有する撮像素子と、前記制御装置とを有する。

本発明の他の側面としての制御方法は、撮像光学系の互いに異なる瞳領域を通過した光束に対応する第１信号および第２信号に基づいてデフォーカス量を算出するステップと、前記デフォーカス量に基づいて焦点調節動作を行うステップとを有し、前記焦点調節動作を行うステップは、合焦可能範囲に応じて、前記デフォーカス量の算出に用いる前記第１信号および前記第２信号の周波数帯域を設定するステップを含む。

本発明の他の側面としてのプログラムは、前記制御方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、安定的に高速かつ高精度な焦点調節が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

本実施形態における撮像装置のブロック図である。 ＡＦ用信号の帯域ごとの検出精度と検出デフォーカス量との関係図である。 合焦可能範囲と検出可能範囲の説明図である。 （ａ）非撮像面位相差方式および（ｂ）撮像面位相差方式の画素構成例を示す図である。 本実施形態における焦点調節動作を示すフローチャートである。 本実施形態における焦点検出処理を示すフローチャートである。 本実施形態における焦点検出領域の説明図である。 本実施形態におけるＡＦ用信号（一対の像信号）の説明図である。 本実施形態におけるＡＦ用信号のシフト量と相関量との関係の説明図である。 本実施形態におけるＡＦ用信号のシフト量と相関変化量との関係の説明図である。 本実施形態における評価帯域の設定に関する説明図である。 本実施形態における周波数帯域設定を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

（第１の実施形態）
まず、図１を参照して、本発明の第１の実施形態における撮像装置の構成について説明する。図１は、本実施形態における撮像装置１００（レンズ交換式カメラシステム）のブロック図である。撮像装置１００は、カメラ本体２０（撮像装置本体）と、カメラ本体２０に着脱可能なレンズユニット１０（交換レンズ）とを備えて構成されている。レンズユニット１０の全体の動作を統括制御するレンズ制御部１０６と、レンズユニット１０を含む撮像装置１００（カメラシステム）の全体の動作を統括するカメラ制御部２１２とは、レンズマウントに設けられた端子（不図示）を介して相互に通信可能である。なお本実施形態は、レンズユニットとカメラ本体とが一体的に構成された撮像装置にも適用可能である。

まず、レンズユニット１０の構成について説明する。固定レンズ１０１、絞り１０２、および、フォーカスレンズ１０３は、撮像光学系を構成する。絞り１０２は、絞り駆動部１０４により駆動され、後述する撮像素子２０１への入射光量を制御する。フォーカスレンズ１０３は、フォーカスレンズ駆動部１０５により駆動され、フォーカスレンズ１０３の位置に応じて撮像光学系の合焦距離が変化する。絞り駆動部１０４およびフォーカスレンズ駆動部１０５は、レンズ制御部１０６により制御され、絞り１０２の開口量およびフォーカスレンズ１０３の位置をそれぞれ決定する。

レンズ操作部１０７は、ＡＦ（オートフォーカス）／ＭＦ（マニュアルフォーカス）モードの切り替え、ＭＦによるフォーカスレンズ１０３の位置調整、手ブレ補正モードの設定など、ユーザがレンズユニット１０の動作に関する設定を行う入力デバイス群である。レンズ操作部１０７がユーザにより操作されると、レンズ制御部１０６はその操作に応じた制御を行う。レンズ制御部１０６は、後述するカメラ制御部２１２から受信した制御命令や制御情報に応じて絞り駆動部１０４やフォーカスレンズ駆動部１０５を制御する。またレンズ制御部１０６は、レンズ制御情報をカメラ制御部２１２に送信する。

次に、カメラ本体２０の構成について説明する。カメラ本体２０は、レンズユニット１０の撮像光学系を通過した光束から撮像信号を取得するように構成されている。撮像素子２０１は、ＣＣＤセンサやＣＭＯＳセンサなどを備え、レンズユニット１０の撮像光学系を介して形成された被写体像（光学像）を光電変換して画素信号（画像データ）を出力する。すなわち撮像光学系から入射した光束は、撮像素子２０１の受光面上に結像し、撮像素子２０１において配列された画素（フォトダイオード）により、入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、カメラ制御部２１２の指令に従い、タイミングジェネレータ２１４から出力される駆動パルスに基づいて、信号電荷に応じた電圧信号として撮像素子２０１から順次読み出される。

本実施形態で用いられる撮像素子２０１の各画素は、２つ（一対）のフォトダイオードＡ、Ｂとこれら一対のフォトダイオードＡ、Ｂに対して設けられた（フォトダイオードＡ、Ｂを共有する）１つのマイクロレンズとを備えて構成されている。すなわち撮像素子２０１は、１つのマイクロレンズに対し一対のフォトダイオード（第１光電変換部および第２光電変換部）を有し、複数のマイクロレンズが２次元状に配列されている。各画素は、入射する光をマイクロレンズで分割して一対のフォトダイオードＡ、Ｂ上に一対の光学像を形成し、この一対のフォトダイオードＡ、Ｂから後述するＡＦ用信号に用いられる一対の画素信号（Ａ像信号およびＢ像信号）を出力する。また、一対のフォトダイオードＡ、Ｂの出力を加算することにより、撮像用信号（Ａ＋Ｂ像信号）を得ることができる。

複数の画素から出力された複数のＡ像信号と複数のＢ像信号とをそれぞれ合成することにより、撮像面位相差検出方式によるＡＦ（撮像面位相差ＡＦ）に用いられるＡＦ用信号（焦点検出用信号）としての一対の像信号が得られる。後述するＡＦ信号処理部２０４は、一対の像信号に対する相関演算を行って、一対の像信号のずれ量である位相差（像ずれ量）を算出し、さらに像ずれ量から撮像光学系のデフォーカス量（およびデフォーカス方向）を算出する。

このように撮像素子２０１は、レンズユニット１０の撮像光学系を通過した光束を受光して形成された光学像を電気信号に光電変換して画像データ（像信号）を出力する。本実施形態の撮像素子２０１は、１つのマイクロレンズに対して２つのフォトダイオードが設けられており、撮像面位相差ＡＦ方式による焦点検出に用いる像信号を生成可能である。なお、１つのマイクロレンズに対して４つのフォトダイオードを設けるなど、１つのマイクロレンズを共有するフォトダイオード（分割ＰＤ）の個数を変更してもよい。

図４（ａ）は、撮像面位相差ＡＦ方式に対応していない画素の構成、図４（ｂ）は、撮像面位相差ＡＦ方式に対応した画素の構成例を模式的に示している。図４（ａ）、（ｂ）のいずれの画素構成でも、ベイヤー配列が用いられており、Ｒは赤のカラーフィルタを、Ｂは青のカラーフィルタを、Ｇｒ、Ｇｂは緑のカラーフィルタをそれぞれ示している。撮像面位相差ＡＦに対応する図４（ｂ）の画素構成では、図４（ａ）に示される撮像面位相差ＡＦ方式に非対応の画素構成における１画素（実線で示される画素）内に、図４（ｂ）の水平方向に２分割された２つのフォトダイオードＡ、Ｂが設けられている。フォトダイオードＡ、Ｂ（第１光電変換部、第２光電変換部）は、撮像光学系の互いに異なる瞳領域を通過した光束を受光する。フォトダイオードＡとフォトダイオードＢは、撮影光学系の射出瞳の異なる領域を通過した光束を受光するため、Ｂ像信号はＡ像信号に対して視差を有している。なお、図４（ｂ）に示される画素の分割方法は一例であり、図４（ｂ）の垂直方向に分割した構成や、水平方向および垂直方向に２分割ずつ（合計４分割）した構成などの他の構成を採用してもよい。また、同じ撮像素子内において互いに異なる分割方法で分割された複数種類の画素が含まれてもよい。

なお本実施形態では、１つのマイクロレンズに対して複数の光電変換部が配置され、瞳分割された光束が各光電変換部に入射される構成を示したが、本発明はこれに限定されるものではない。例えば焦点検出用画素の構成は、マイクロレンズ下に１つのＰＤを有し、遮光層により左右または上下を遮光することで瞳分割を行う構成でもよい。また、複数の撮像用画素の配列の中に一対の焦点検出用画素を離散的に配置し、その一対の焦点検出用画素から一対の像信号を取得する構成でもよい。

ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２は、撮像素子２０１から読み出されたＡＦ用信号および撮像用信号に対して、リセットノイズを除去するための相関二重サンプリング、ゲイン調節、および、ＡＤ変換を行う。ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２は、これらの処理を行った撮像用信号およびＡＦ用信号のそれぞれを画像入力コントローラ２０３およびＡＦ信号処理部２０４に出力する。

画像入力コントローラ２０３は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２から出力された撮像用信号を、バス２１を介してＳＤＲＡＭ２０９に画像信号として格納する。ＳＤＲＡＭ２０９に格納された画像信号は、バス２１を介して表示制御部２０５により読み出され、表示部２０６に表示される。画像信号の記録を行う録画モードにおいて、ＳＤＲＡＭ２０９に格納された画像信号は、記録媒体制御部２０７により半導体メモリなどの記録媒体２０８に記録される。ＲＯＭ２１０は、カメラ制御部２１２（焦点調節手段）により実行される制御プログラムや処理プログラム、および、これらのプログラムの実行に必要な各種データなどを格納している。フラッシュＲＯＭ２１１は、ユーザにより設定されたカメラ本体２０の動作に関する各種設定情報などを格納している。

カメラ制御部２１２の被写体検出部２１２１は、画像入力コントローラ２０３から入力された撮像用信号に基づいて特定の被写体を検出し、撮像用信号内での特定の被写体の位置を決定する。また被写体検出部２１２１は、画像入力コントローラ２０３から連続的に撮像用信号を入力し、検出した特定の被写体が移動した場合には移動先の被写体の位置を判定する。このように被写体検出部２１２１は、特定の被写体の位置を追従する。特定の被写体とは、例えば、顔被写体や、カメラ操作部２１３を介してユーザにより撮像画面内で指定された位置に存在する被写体などである。後述するように、検出した特定の被写体の位置や大きさに関する情報は、主にＡＦを行う領域（焦点検出領域）を設定するために用いられる。

ＡＦ信号処理部２０４（算出手段）は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２から出力されたＡＦ用信号である一対の像信号に対して相関演算を行い、一対の像信号の像ずれ量および信頼性を算出する。信頼性は、後述する二像（一対の像信号）の一致度と相関変化量の急峻度とを用いて算出される。またＡＦ信号処理部２０４は、撮像画面内で焦点検出およびＡＦを行う領域である焦点検出領域の位置および大きさを設定する。ＡＦ信号処理部２０４は、焦点検出領域において算出した像ずれ量（検出量）および信頼性に関する情報をカメラ制御部２１２に出力する。なお、ＡＦ信号処理部２０４が行う処理の詳細については後述する。

カメラ制御部２１２内のＡＦ制御部２１２２は、ＡＦ信号処理部２０４により算出された像ずれ量、信頼性、および、レンズユニット１０とカメラ本体２０との状態を示す情報に基づいて、必要に応じてＡＦ信号処理部２０４の設定を変更する。例えば、ＡＦ制御部２１２２は、像ずれ量が所定量以上である場合、相関演算を行う領域をＡＦ信号処理部２０４により設定された領域よりも広く設定し、または、一対の像信号のコントラストに応じてバンドパスフィルタの種類を変更する。またＡＦ制御部２１２２は、ＡＦ信号処理部２０４による焦点検出領域の設定のため、被写体検出部２１２１にて検出された特定の被写体や、カメラ操作部２１３を介してユーザにより撮像画面内で指定された位置をＡＦ信号処理部２０４に渡す。これにより、ＡＦ制御部２１２２およびＡＦ信号処理部２０４は、これらの情報に基づいて焦点検出領域の位置や範囲を設定することができる。

なお本実施形態において、カメラ制御部２１２は、撮像素子２０１から、撮像用信号（Ａ＋Ｂ像信号）およびＡＦ用信号である一対の像信号（Ａ像信号、Ｂ像信号）の計３つの信号を取得する。ただし、撮像素子２０１の負荷を考慮して、カメラ制御部２１２は、例えば撮像用信号（Ａ＋Ｂ像信号）と１つのＡＦ用信号（Ａ像信号）の計２つの信号を撮像素子２０１から取り出すように構成してもよい。この場合、カメラ制御部２１２は、取り出した撮像用信号とＡＦ用像信号との差分（（Ａ＋Ｂ像信号）−（Ａ像信号））を、他の１つのＡＦ用像信号（Ｂ像信号）として算出して用いることができる。なお、撮像用信号（Ａ＋Ｂ像信号）と一方の像信号（Ａ像信号またはＢ像信号）も視差を有する。

カメラ制御部２１２は、カメラ本体２０内の各部と情報のやり取りを行いながら各部を制御する。またカメラ制御部２１２は、ユーザの操作に基づくカメラ操作部２１３からの入力に応じて、電源のＯＮ／ＯＦＦ、各種設定の変更、撮像処理、ＡＦ処理、記録画像の再生処理など、ユーザ操作に対応する種々の処理を実行する。またカメラ制御部２１２は、レンズユニット１０（レンズ制御部１０６）に対する制御命令やカメラ本体２０の情報をレンズ制御部１０６に送信し、また、レンズユニット１０の情報をレンズ制御部１０６から取得する。カメラ制御部２１２は、マイクロコンピュータを備えて構成され、ＲＯＭ２１０に記憶されたコンピュータプログラムを実行することにより、レンズユニット１０を含むカメラシステム全体の制御を司る。またカメラ制御部２１２は、ＡＦ信号処理部２０４にて算出された焦点検出領域での像ずれ量を用いてデフォーカス量を算出し、算出したデフォーカス量に基づいてレンズ制御部１０６を介してフォーカスレンズ１０３の駆動を制御する。

次に、図５を参照して、本実施形態における焦点調節動作（フォーカス制御）について説明する。図５は、焦点調節動作の手順を示すフローチャートである。図５の各ステップは、カメラ制御部２１２（主にＡＦ制御部２１２２）によりコンピュータプログラム（撮像処理プログラム）に従って実行される。

まず、ステップＳ５０１において、カメラ制御部２１２は、カメラ本体２０の設定やカメラ操作部２１３からの入力信号に応じて、焦点調節動作を実行するか否かを判定する。焦点調節動作を開始するまで、ステップＳ５０１を繰り返す。カメラ制御部２１２が焦点調節動作を実行すると判定すると、ステップＳ５０２に進む。ステップＳ５０２において、カメラ制御部２１２は、撮像面位相差ＡＦに用いられるＡＦ用信号およびライブビュー表示用に用いられる撮像用信号を取得するため、撮像素子２０１への露光を行い、ライブビュー撮影を実行する。

続いてステップＳ５０３において、カメラ制御部２１２は、現在のカメラ本体２０の設定および焦点調節動作の制御状態（駆動モード）に応じて、適切な周波数帯域（焦点検出に用いる像信号の周波数帯域）を設定（選択または変更）する。なお、周波数帯域を設定（選択）する手順については後述する。

続いてステップＳ５０４において、ＡＦ信号処理部２０４は、カメラ制御部２１２（ＡＦ制御部２１２２）からの指令に基づいて、焦点検出処理を行う。焦点検出処理は、撮像面位相差ＡＦを行うためのデフォーカス量と信頼性（相関信頼性）に関する情報を取得する処理である。また、焦点検出処理において情報を取得する撮像画面内の領域（焦点検出領域）に関しても、カメラ本体２０の制御状態などに応じて設定される。

ここで、図６を参照して、ＡＦ信号処理部２０４により実行される焦点検出処理（図５のステップＳ５０４）について詳述する。図６は、焦点検出処理を示すフローチャートである。図６の各ステップは、主に、カメラ制御部２１２の指令に基づいてＡＦ信号処理部２０４により実行される。

まずステップＳ６０１において、ＡＦ信号処理部２０４は、撮像素子２０１の焦点検出領域に含まれる複数の画素からＡＦ用信号としての一対の像信号（像データ）を取得する。図７は、撮像素子２０１の画素アレイ７０１上での焦点検出領域７０２の説明図である。焦点検出領域７０２の両側のシフト領域７０３は、相関演算に必要な領域である。このため、焦点検出領域７０２とシフト領域７０３とを合わせた領域７０４が相関演算に必要な画素領域である。図７中のｐ、ｑ、ｓ、ｔはそれぞれ、水平方向（ｘ軸方向）での座標であり、ｐとｑはそれぞれ領域７０４（画素領域）の始点と終点のｘ座標、ｓとｔはそれぞれ焦点検出領域７０２の始点と終点のｘ座標をそれぞれ示している。

図８は、図７の焦点検出領域７０２に含まれる複数の画素から取得したＡＦ用信号（一対の像信号）の説明図である。図８において、実線８０１は一対の像信号のうちの一方（Ａ像信号）、破線８０２は一対の像信号のうち他方（Ｂ像信号）である。図８（ａ）はシフト前のＡ像信号およびＢ像信号を示し、図８（ｂ）、（ｃ）はそれぞれ、Ａ像信号およびＢ像信号を図８（ａ）の状態からプラス方向およびマイナス方向にシフトした状態を示している。

続いて、図６のステップＳ６０２において、ＡＦ信号処理部２０４は、ステップＳ６０１にて取得した一対の像信号（Ａ像信号、Ｂ像信号）を１画素（１ビット）ずつ相対的にシフトさせながら、一対の像信号の相関量（相関データ）を算出する。ＡＦ信号処理部２０４は、焦点検出領域内に設けられた複数の画素ライン（走査ライン）のそれぞれに関して、図８（ｂ）、（ｃ）に示されるようにＡ像信号８０１およびＢ像信号８０２の両方を矢印の方向に１ビットずつシフトする。またＡＦ信号処理部２０４は、複数の走査ラインのそれぞれに関して一対の像信号（Ａ像信号８０１、Ｂ像信号８０２）の相関量を算出し、複数の走査ラインの相関量を加算平均することにより、１つの相関量を算出する。

本実施形態では、相関量を算出する際に、一対の像信号を１画素ずつ相対的にシフトさせるように構成されているが、これに限定されるものではない。例えば、一対の像信号を２画素ずつ相対的にシフトさせるなど、より多くの画素単位でシフトさせるように構成してもよい。また本実施形態では、複数の走査ラインのそれぞれに関する相関量を加算平均することにより１つの相関量を算出しているが、これに限定されるものではない。例えば、複数の走査ラインのそれぞれに関する一対の像信号に対して加算平均を行い、その後、加算平均した一対の像信号に対して相関量の算出を行うように構成してもよい。

相関量ＣＯＲ［ｉ］は、以下の式（１）を用いて算出することができる。

式（１）において、ｉはシフト量、ｐ−ｓはマイナス方向の最大シフト量、ｑ−ｔはプラス方向の最大シフト量、ｘは焦点検出領域７０２の開始座標、ｙは焦点検出領域７０２の終了座標である。

ここで、図９を参照して、シフト量と相関量ＣＯＲとの関係について説明する。図９（ａ）、（ｂ）は、シフト量と相関量ＣＯＲとの関係の説明図である。図９（ｂ）は図９（ａ）の領域９０２の拡大図である。図９（ａ）において、横軸はシフト量、縦軸は相関量ＣＯＲをそれぞれ示している。シフト量とともに変化する相関量９０１における極値付近の領域９０２、９０３のうち、より小さい相関量に対応するシフト量において一対の像信号（Ａ像信号、Ｂ像信号）の一致度が最も高くなる。

続いて、図６のステップＳ６０３において、ＡＦ信号処理部２０４は、ステップＳ６０２にて算出した相関量に基づいて相関変化量を算出する。本実施形態では、図９（ａ）に示される相関量９０１の波形における１シフトおきの相関量の差を相関変化量として算出する。相関変化量ΔＣＯＲ［ｉ］は、以下の式（２）を用いて算出することができる。

続いて、ステップＳ６０４において、ＡＦ信号処理部２０４は、ステップＳ６０３にて算出した相関変化量を用いて像ずれ量を算出する。ここで、図１０を参照して、シフト量と相関変化量ΔＣＯＲとの関係について説明する。図１０（ａ）、（ｂ）は、シフト量と相関変化量ΔＣＯＲとの関係の説明図である。図１０（ｂ）は図１０（ａ）の領域１００２の拡大図である。図１０（ａ）において、横軸はシフト量、縦軸は相関変化量ΔＣＯＲをそれぞれ示している。シフト量とともに変化する相関変化量１００１は、領域１００２、１００３においてプラスからマイナスになる。相関変化量が０となる状態をゼロクロスと呼び、一対の像信号（Ａ像信号、Ｂ像信号）の一致度が最も高くなる。このため、ゼロクロスを与えるシフト量が像ずれ量となる。

図１０（ｂ）において、１００４は相関変化量１００１の一部である。ゼロクロスを与えるシフト量（ｋ−１＋α）は、整数部分β（＝ｋ−１）と小数部分αとに分けられる。小数部分αは、図１０（ｂ）中の三角形ＡＢＣと三角形ＡＤＥとの相似の関係から、以下の式（３）を用いて算出することができる。

整数部分βは、図１０（ｂ）より、以下の式（４）を用いて算出することができる。

すなわち、小数部分αと整数部分βとの和から像ずれ量ＰＲＤを算出することができる。図１０（ａ）に示されるように、相関変化量ΔＣＯＲのゼロクロスが複数存在する場合、その付近での相関変化量ΔＣＯＲの変化の急峻性がより大きい方を第１のゼロクロスとする。この急峻性はＡＦの行い易さを示す指標であり、その値が大きいほど高精度なＡＦを行い易い点であることを示す。急峻性ｍａｘｄｅｒは、以下の式（５）を用いて算出することができる。

本実施形態では、相関変化量のゼロクロスが複数存在する場合、その急峻性に基づいて第１のゼロクロスを決定し、第１のゼロクロスを与えるシフト量を像ずれ量とする。

続いて、図６のステップＳ６０５において、ＡＦ信号処理部２０４は、ステップＳ６０４にて算出された像ずれ量の信頼性の高さを表す信頼性（相関信頼性）を算出する。像ずれ量の信頼性は、一対の像信号（Ａ像信号、Ｂ像信号）の一致度（二像の一致度）ｆｎｃｌｖｌと、前述の相関変化量ΔＣＯＲの急峻性とにより定義することができる。二像の一致度は、像ずれ量の精度を表す指標であり、ここではその値が小さいほど精度が良いことを意味する。図９（ｂ）において、９０４は相関量９０１の一部である。二像の一致度ｆｎｃｌｖｌは、以下の式（６）を用いて算出することができる。

最後に、図６のステップＳ６０６において、ＡＦ信号処理部２０４は、ステップＳ６０４にて算出された像ずれ量を用いて、対象となる焦点検出領域に関するデフォーカス量を算出し、本フロー（焦点検出処理）を終了する。

続いて、図５のステップＳ５０５において、カメラ制御部２１２（ＡＦ制御部２１２２）は、各焦点検出領域に関する信頼性（相関信頼性）および検出デフォーカス量に基づいて、焦点調節動作の対象とすべき主領域（主焦点検出領域）を選択する。ステップＳ５０５は、主にＡＦモードがゾーンＡＦや自動選択ＡＦの場合に必要となる。主領域の選択方式は、顔位置優先、至近優先、中央優先などの種々の方式があるが、本実施形態では用途に応じて任意の方式を用いて選択することができる。なお、ＡＦモードが一点ＡＦや顔ＡＦであって一つの焦点検出領域のみが存在する場合、その一つの焦点検出領域を主領域として設定すればよい。

続いて、ステップＳ５０６〜Ｓ５０９において、カメラ制御部２１２は、焦点検出の信頼性および焦点検出により得られたデフォーカス量に応じて、制御状態（駆動モード）を選択する。ここでの選択結果は、次フレームで取得される画像に対する周波数帯域設定（ステップＳ５０３）の際に用いられる。ステップＳ５０６において、カメラ制御部２１２（ＡＦ制御部２１２２）は、ステップＳ５０５にて選択された主領域に関する信頼性が第２信頼性閾値以上であるか否かを判定する。信頼性は、前述した二像の一致度や像ずれ量の急峻性により求められる。本実施形態において、第２信頼性閾値としては、算出されたデフォーカス量を信頼することができない信頼性範囲の最高値を設定することが好ましい。なお、信頼性は、二像の一致度および像ずれ量の急峻性の両方または一方（すなわち少なくとも一方）を用いて求めることができる。また信頼性は、二像の信号レベルなどの他の指標を用いて求めてもよい。

ステップＳ５０６にて信頼性が第２信頼性閾値以上であると判定された場合、ステップＳ５０７へ進み、ＡＦ制御部２１２２は、信頼性が第２信頼性閾値よりも高い第１信頼性閾値以上であるか否かを判定する。第１信頼性閾値は、算出されたデフォーカス量の検出ばらつきに基づいて決定され、合焦精度を保証することができない信頼性範囲の最高値を設定することが好ましい。

ステップＳ５０７にて信頼性が第１信頼性閾値以上であると判定された場合、ステップＳ５０８へ進む。ステップＳ５０８において、ＡＦ制御部２１２２は、ステップＳ５０５にて選択された主領域に関して算出されたデフォーカス量（検出デフォーカス量）が第２デフォーカス閾値以内であるか否かを判定する。第２デフォーカス閾値は、算出されたデフォーカス量に基づいて決定され、前述の評価帯域をデフォーカス量の検出範囲の狭い高域に切り替えた場合でもデフォーカス量を検出可能なデフォーカス範囲の最高値を設定することが好ましい。

検出デフォーカス量が第２デフォーカス閾値以内であると判定された場合、ステップＳ５０９へ進み、ＡＦ制御部２１２２は、検出デフォーカス量が第２デフォーカス量閾値よりも小さい第１デフォーカス閾値以内であるか否かを判定する。第１デフォーカス閾値は、焦点深度に基づいて決定され、合焦状態であると判定可能なデフォーカス範囲の最高値を設定することが好ましい。

ステップＳ５０９にて検出デフォーカス量が第１デフォーカス閾値以内であると判定された場合、ステップＳ５１０へ進む。ステップＳ５１０において、ＡＦ制御部２１２２は、被写体に合焦させることができた（合焦状態である）と判定し、フォーカスレンズ１０３を停止する（合焦停止）。一方、検出デフォーカス量が第１デフォーカス閾値以内ではないと判定された場合、ステップＳ５１１へ進む。ステップＳ５１１において、ＡＦ制御部２１２２は、検出デフォーカス量に基づいてフォーカスレンズ１０３の駆動量を算出するとともに、フォーカスレンズ駆動部１０５を介してフォーカスレンズ１０３を間欠的に駆動するターゲット駆動を行う。ターゲット駆動は、焦点調節における検出精度および制御精度を高めるため、焦点検出処理とフォーカスレンズ制御（フォーカスレンズ駆動）とを排他的に行う駆動である。すなわちターゲット駆動では、フォーカスレンズが停止中に取得された画像信号を用いて焦点検出が行われる。

ステップＳ５０７にて信頼性が第１信頼性閾値以上でないと判定された場合、または、ステップＳ５０８にて検出デフォーカス量が第２デフォーカス閾値以内でないと判定された場合、ステップＳ５１２へ進む。ステップＳ５１２において、ＡＦ制御部２１２２は、検出デフォーカス量に基づいてフォーカスレンズ１０３の駆動量を算出するとともに、フォーカスレンズ駆動部１０５を介してフォーカスレンズ１０３を連続的に駆動するデフォーカス駆動を行う。デフォーカス駆動は、精度よりも速度を優先して、焦点検出処理とフォーカスレンズ制御（フォーカスレンズ駆動）とを並行して行う駆動である。すなわちデフォーカス駆動では、フォーカスレンズの駆動中に取得された画像信号を用いて焦点検出が行われる。

ステップＳ５０６にて信頼性が第２信頼性閾値以上でないと判定された場合、ステップＳ５１３へ進む。ステップＳ５１３において、ＡＦ制御部２１２２は、信頼性が高いデフォーカス量が得られるように、フォーカスレンズ１０３の駆動量を算出するとともに、フォーカスレンズ駆動部１０５を介してフォーカスレンズ１０３を駆動するサーチ駆動を行う。サーチ駆動は、算出したデフォーカス量を用いずに焦点深度に応じて駆動速度を決定し、焦点検出処理とフォーカスレンズ制御とを並行して行う駆動である。

ステップＳ５１０〜Ｓ５１３にて焦点調節動作の制御状態をそれぞれ設定すると、ステップＳ５１４へ進む。ステップＳ５１４において、カメラ制御部２１２は、カメラ本体２０の設定やカメラ操作部２１３からの入力、および、焦点調節動作の制御状態に応じて、焦点調節動作を終了するか否かを判定する。焦点調節動作を終了しないと判定されると、ステップＳ５０２へ戻る。一方、焦点調節動作を終了すると判定されると、本フローを終了する。このようにカメラ制御部２１２は、ＡＦ動作、ＡＦモード、および、焦点調節動作の制御状態に応じて、適切な周波数帯域（周波数特性）を設定して、焦点調節動作を行う。以上のように、本実施形態では、閾値を用いたフォーカスレンズ制御方法の選択について説明したが、各閾値は、ステップＳ５０３にて選択された周波数帯域設定に応じて切り替えてもよい。

次に、図１１および図１２を参照して、周波数帯域設定（図５のステップＳ５０３）について詳述する。図１１は、評価帯域（焦点検出特性）の設定に関する説明図である。図１２は、周波数帯域設定を示すフローチャートである。本実施形態では、図３に示されるように、マクロモード合焦可能範囲（マクロモードに設定されたことにより合焦可能範囲が制限された場合）を例として説明する。なお図１２の各ステップは、主に、カメラ制御部２１２により実行される。

まずステップＳ１２０１において、カメラ制御部２１２は、カメラ本体２０の設定に基づいて、合焦可能範囲が制限されているか否かを判定する。合焦可能範囲が制限されてない場合、ステップＳ１２０２へ進む。ステップＳ１２０２において、カメラ制御部２１２は、評価帯域を決定する。ここでは、例えば図１１に示されるように、ＡＦ動作、制御状態（駆動モード）、および、ＡＦモードの組み合わせ（焦点調節動作の種類）に基づいて、同時に焦点検出を行う焦点検出領域の数および使用する評価帯域（像信号の周波数帯域）を決定する。ＡＦ動作、ＡＦモードは、例えばユーザによる入力を受けて設定される。また、制御状態としては、前フレームにおける焦点検出結果を受けて選択される結果を用いる。

図１１において、ＡＦ動作は、ワンショットＡＦ、サーボＡＦ、および、コンティニュアスＡＦを含む。制御状態（駆動モード）は、合焦停止、ターゲット駆動、デフォーカス駆動、および、サーチ駆動を含む。ＡＦモードは、１点ＡＦ、顔ＡＦ、ゾーンＡＦ、および、自動選択ＡＦを含む。図１１において、１点や９点などの数は、同時に焦点検出を行う焦点検出領域の数を示している。焦点調節動作の評価帯域は、像信号に適用されるフィルタの種類に応じて変更することができ、本実施形態では、評価帯域として、高域、中域、および、低域の３つの帯域を有する。

高域、中域、低域とは、相関演算に用いられるＡＦ用信号（信号波形）の評価帯域（周波数帯域）である。ここで、図２を参照して、高域、中域、低域（高域信号、中域信号、低域信号）の特性について説明する。図２は、ＡＦ用信号の評価帯域ごとの検出精度と検出デフォーカス量との関係図であり、縦軸は検出精度、横軸は検出デフォーカス量をそれぞれ示している。図２に示されるように、高域信号は、検出精度は高いが、検出デフォーカス量の範囲（デフォーカス量の検出可能範囲）は狭い。このため高域信号は、合焦状態の近傍でのピント合わせに適して用いられる。一方、低域信号は、検出デフォーカス量の範囲は広いが、検出精度は低い。このため低域信号は、大ボケ時の方向検出動作に適して用いられる。また中域信号は、高域信号および低域信号の両方の中間の特性を有する。

図１１において、例えば、ＡＦ動作がワンショットＡＦであって、ＡＦモードが所定の一つの焦点検出領域に対して焦点調節動作を行う１点ＡＦや顔ＡＦに設定されている場合について着目する。このとき、演算対象領域は限られているため、カメラ制御部２１２は、焦点調節動作の制御状態によらず、高域、中域、および、低域の全ての評価帯域を所定の処理時間内に演算することが可能である。一方、同時に複数の焦点検出領域を演算しながら焦点調節動作と並行して主領域の選択動作を行う必要があるゾーンＡＦや自動選択ＡＦの場合、所定の処理時間内に全ての評価帯域を演算することは困難である。このため、制御状態に応じて、演算する評価帯域を効果的に切り替える（選択する）必要がある。

また、図１１において、例えばＡＦモードが顔ＡＦモードに設定されている場合について着目する。このとき、ＡＦ動作が焦点調節動作中に被写体が静止していることを想定したワンショットＡＦの場合、演算対象領域を限定することができる。このため、焦点調節動作の制御状態によらず、高域、中域、および、低域の全ての評価帯域を所定の処理時間内に演算することが可能である。一方、焦点調節動作中に被写体が動いていることを想定したサーボＡＦやコンティニュアスＡＦの場合、同時に複数の焦点検出領域を演算しながら焦点調節動作と並行して主領域選択動作を行う必要がある。このため、所定の処理時間内に全ての評価帯域を演算することは困難であり、制御状態に応じて演算する評価帯域を効果的に切り替える（選択する）必要がある。

なお本実施形態において、ＡＦ動作、制御状態、および、ＡＦモードの種類はこれらに限定されるものでなく、これらの一部を含まない構成や、他のＡＦ動作、制御状態、または、ＡＦモードを含む構成であってもよい。また本実施形態において、評価帯域は、高域、中域、および、低域の３つの帯域に限定されるものではなく、２つの帯域または４つ以上の帯域を有していてもよい。

一方、図１２のステップＳ１２０１にて合焦可能範囲が制限されている場合、ステップＳ１２０３へ進む。ステップＳ１２０３において、カメラ制御部２１２は、制限された合焦可能範囲を取得する。このときカメラ制御部２１２が取得する合焦可能範囲は、物理的な距離やデフォーカス量などに関する情報であるが、これらに限定されものではなく、比較対象となる検出範囲と同じ単位であれば他の種類の情報であってもよい。

続いてステップＳ１２０４において、カメラ制御部２１２は、バンドパスフィルタの設定を取得する。これは、像信号に施すバンドパスフィルタの周波数帯域に応じて検出デフォーカス量（検出範囲）が異なるためである。続いてステップＳ１２０５において、カメラ制御部２１２は、バンドパスフィルタの設定に基づいて、各周波数帯域（低域、中域、高域のそれぞれの信号）の検出範囲（検出可能範囲、すなわちＡＦ検出能力に関する情報）を取得する。

続いて、カメラ制御部２１２は、ステップＳ１２０５にて取得した各周波数帯域（低域、中域、高域のそれぞれの信号）の検出範囲（検出可能範囲）と、ステップＳ１２０３にて取得した合焦可能範囲とを比較する。具体的には、まずステップＳ１２０６において、カメラ制御部２１２は、低域信号の検出範囲（検出可能範囲）が合焦可能範囲を超えているか否かを判定する。低域信号の検出範囲が合焦可能範囲を超えていない場合、ステップＳ１２０８へ進む。ステップＳ１２０８において、カメラ制御部２１２は、高域、中域、および、低域の周波数帯域を選択し、本フローを終了する。一方、ステップＳ１２０６にて低域信号の検出範囲が合焦可能範囲を超えている場合、ステップＳ１２０７へ進む。ステップＳ１２０７において、カメラ制御部２１２は、中域信号の検出範囲が合焦可能範囲を超えているか否かを判定する。中域信号の検出範囲が合焦可能範囲を超えていない場合、ステップＳ１２０９へ進む。ステップＳ１２０９において、カメラ制御部２１２は、高域および中域の周波数帯域を選択し、本フローを終了する。一方、ステップＳ１２０７にて中域信号の検出範囲が合焦可能範囲を超えている場合、ステップＳ１２１０へ進む。ステップＳ１２１０において、カメラ制御部２１２は、高域の周波数帯域を選択し、本フローを終了する。

図１１の例では、低域信号の検出範囲が、マクロモード合焦可能範囲（マクロモードにより制限された合焦可能範囲）を超えている。このためステップＳ１２０６において、カメラ制御部２１２は、低域信号に基づく焦点検出は不要であると判定し、ステップＳ１２０７へ進む。続いてステップＳ１２０７において、中域信号の検出範囲は合焦可能範囲内であるため、ステップＳ１２０９へ進み、カメラ制御部２１２は高域および中域の周波数帯域を選択し、本フローを終了する。なお、図１１はマクロモードにより合焦可能範囲が制限されている場合を示しているが、合焦可能範囲が制限される場合としては、マクロモードに限定されるものではなく、その他の撮影モードやレンズにより制限される場合を含む。

図２に示されるように、各周波数帯域の検出精度は高域＞中域＞低域の順に高く、各周波数帯域の検出範囲は低域＞中域＞高域の順に広い。すなわち、焦点検出精度は、高域信号の焦点検出結果を用いたほうが高い。このため、合焦すべき範囲（合焦可能範囲）が高域信号の検出範囲に収まっている場合、図５における焦点調整動作を一回のフォーカスレンズ駆動で終了できる頻度を高めることが可能となる。また、上記の例において低域信号の焦点検出結果を用いると、合焦可能範囲外の被写体に対する焦点検出結果が含まれる可能性がある。その結果、演算が不要であるだけでなく、焦点検出領域外の被写体に対するフォーカスレンズ駆動が発生することにより焦点調整動作全体に時間がかかる可能性がある。

このように本実施形態において、制御装置は、算出手段（ＡＦ信号処理部２０４）および焦点調節手段（カメラ制御部２１２）を有する。算出手段は、撮像光学系の互いに異なる瞳領域を通過した光束（撮像素子２０１からの出力信号）に対応する第１信号（Ａ像信号に対応する信号）および第２信号（Ｂ像信号に対応する信号）に基づいてデフォーカス量を算出する。焦点調節手段は、デフォーカス量に基づいて焦点調節動作（フォーカス制御）を行う。また焦点調節手段は、合焦可能範囲に応じて、デフォーカス量の算出に用いる第１信号および第２信号の周波数帯域（周波数特性）を設定（変更）する。

好ましくは、焦点調節手段は、合焦可能範囲が制限されている場合、デフォーカス量の算出に用いる第１信号および第２信号の周波数帯域を変更する。本実施形態の合焦可能範囲は、マクロモードや遠景モードなどの撮影モードに応じて制限される。または、合焦可能範囲は、撮像光学系の種類に応じて制限される場合がある（フォーカスリミット）。また、本実施形態の合焦可能範囲は、距離に関する情報である。

好ましくは、焦点調節手段は、第１信号および第２信号に適用されるバンドパスフィルタに応じて、第１信号および第２信号の周波数帯域ごとに検出範囲（ＡＦ検出能力に関する情報）を取得する（Ｓ１２０４）。より好ましくは、焦点調節手段は、合焦可能範囲が検出範囲よりも狭い場合、デフォーカス量の算出に用いる第１信号および第２信号の周波数帯域を狭める（例えば、高域、中域、低域のうち低域の周波数帯域のみを選択する）。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態によれば、安定的に高速かつ高精度な焦点調節が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２０４ ＡＦ信号処理部（算出手段）
２１２ カメラ制御部（焦点調節手段）

Claims (12)

1. 撮像光学系の互いに異なる瞳領域を通過した光束に対応する第１信号および第２信号に基づいてデフォーカス量を算出する算出手段と、
   前記デフォーカス量に基づいて焦点調節動作を行う焦点調節手段と、を有し、
   前記焦点調節手段は、合焦可能範囲に応じて、前記デフォーカス量の算出に用いる前記第１信号および前記第２信号の周波数帯域を設定することを特徴とする制御装置。
2. 前記焦点調節手段は、前記合焦可能範囲が制限されている場合、前記デフォーカス量の算出に用いる前記第１信号および前記第２信号の前記周波数帯域を変更することを特徴とする請求項１に記載の制御装置。
3. 前記合焦可能範囲は、撮影モードに応じて制限されることを特徴とする請求項２に記載の制御装置。
4. 前記合焦可能範囲は、前記撮像光学系の種類に応じて制限されることを特徴とする請求項２に記載の制御装置。
5. 前記合焦可能範囲は、距離に関する情報であることを特徴とする請求項１乃至４のいずれか１項に記載の制御装置。
6. 前記焦点調節手段は、前記第１信号および前記第２信号に適用されるバンドパスフィルタに応じて、該第１信号および該第２信号の前記周波数帯域ごとに検出範囲を取得することを特徴とする請求項１乃至５のいずれか１項に記載の制御装置。
7. 前記焦点調節手段は、前記合焦可能範囲が前記検出範囲よりも狭い場合、前記デフォーカス量の算出に用いる前記第１信号および前記第２信号の前記周波数帯域を狭めることを特徴とする請求項６に記載の制御装置。
8. 撮像光学系の互いに異なる瞳領域を通過した光束を受光する第１光電変換部および第２光電変換部を有する撮像素子と、
   前記第１光電変換部および前記第２光電変換部からの出力信号のそれぞれに対応する第１信号および第２信号に基づいてデフォーカス量を算出する算出手段と、
   前記デフォーカス量に基づいて焦点調節動作を行う焦点調節手段と、を有し、
   前記焦点調節手段は、合焦可能範囲に応じて、前記デフォーカス量の算出に用いる前記第１信号および前記第２信号の周波数帯域を設定することを特徴とする撮像装置。
9. 前記撮像素子は、１つのマイクロレンズに対して前記第１光電変換部および前記第２光電変換部を有し、該マイクロレンズが２次元状に配列されていることを特徴とする請求項８に記載の撮像装置。
10. 撮像光学系の互いに異なる瞳領域を通過した光束に対応する第１信号および第２信号に基づいてデフォーカス量を算出するステップと、
    前記デフォーカス量に基づいて焦点調節動作を行うステップと、を有し、
    前記焦点調節動作を行うステップは、合焦可能範囲に応じて、前記デフォーカス量の算出に用いる前記第１信号および前記第２信号の周波数帯域を変更するステップを含むことを特徴とする制御方法。
11. 撮像光学系の互いに異なる瞳領域を通過した光束に対応する第１信号および第２信号に基づいてデフォーカス量を算出するステップと、
    前記デフォーカス量に基づいて焦点調節動作を行うステップと、をコンピュータに実行させるプログラムであって、
    前記焦点調節動作を行うステップは、合焦可能範囲に応じて、前記デフォーカス量の算出に用いる前記第１信号および前記第２信号の周波数帯域を設定するステップを含むことを特徴とするプログラム。
12. 請求項１１に記載のプログラムを記憶していることを特徴とする記憶媒体。