JP2019028403A - 焦点調節装置及び方法 - Google Patents

Abstract

【課題】 撮像面位相差検出方式の焦点検出において、より安定的に主被写体に合焦し続けるとともに、背景に焦点が貼り付いた状態となるのを防ぐこと。
【解決手段】 撮像素子から焦点検出信号を取得する取得手段と、一対の焦点検出信号の位相差を用いて、第１の領域の焦点状態を検出するとともに、第１の領域の焦点状態が、第１の範囲内に無い場合に、第２の領域から得られた一対の焦点検出信号の位相差を用いて焦点状態を検出する焦点検出手段と、焦点検出手段により検出された焦点状態に基づいて焦点調節をするように制御する制御手段とを有し、前記制御手段は、第２の領域の焦点状態が第２の範囲内にある場合に、第２の領域の焦点状態に基づいて焦点調節をするように制御し、より至近側に被写体がある場合に、第２の領域の焦点状態の検出の有無に関わらず、第１の領域の焦点状態に基づいて焦点を調節するように制御する。
【選択図】 図１１Ｃ

Description

本発明は、焦点調節装置及び方法に関し、特に、撮像面位相差方式で焦点検出を行う焦点調節装置及び方法に関する。

従来、自動焦点調節（ＡＦ）方式の１つとして、位相差検出方式の焦点調節を撮像素子面で行う撮像面位相差検出方式（撮像面位相差ＡＦ）がある。撮像面位相差ＡＦでは、撮影光学系における互いに異なる射出瞳領域を通過した光束を受光して得られた一対の像信号の位相差からデフォーカス量を算出する。そして、該デフォーカス量に相当する移動量だけフォーカスレンズを移動させることで合焦状態を得る。

焦点調節においては、合焦位置の特定方法とともに、焦点検出に用いる信号を取得するための領域（ＡＦ枠）の設定も重要である。動画撮影をする際、主被写体を画面中央に据える場合が多いことから、撮像画面の中央にＡＦ枠を設定し、その焦点検出結果を基にフォーカスレンズを駆動することで焦点調節制御を実行する手法をとるのが一般的である。しかしながら、多様な撮影構図や被写体の動作、撮影者の手振れ等があった場合に対応させて、被写体の合焦状態を維持するためには、ＡＦ枠を画面の広範囲に設定する必要がある。

また、撮像面位相差ＡＦでＡＦ枠を広範囲に設定するためには、より多くの焦点検出領域（測距点）を設定する必要がある。さらに、その中から合焦状態を得るまでのフォーカスレンズの移動量（合焦駆動量）の計算に使用するデフォーカス量を選択もしくは算出する方法が必要となる。

静止画撮影時の撮像面位相差ＡＦにおいては、主被写体を合焦状態に維持するための方法として、複数の焦点検出領域のうち、最も合焦に近いデフォーカス量を示す焦点検出領域を選択するピント優先方式がある。このピント優先方式において、予め設定しているＡＦ枠において主被写体が検出できない場合に、より広いＡＦ枠を設定することで被写体の追従性を上げる技術が提案されている（特許文献１参照）。

また、ユーザーが指定した任意の位置にＡＦ枠を設定する場合だけでなく、顔検出などの搭載により、カメラが自動的にＡＦ枠を設定する枠設定方法も行われている。さらに、顔検出の状態に応じて、ＡＦ枠の設定方法を通常のＡＦ枠と異なった形状や位置に設定させる技術が提案されている（特許文献２参照）。

特開昭６３−１７４１８号公報 特開２０１０−１０２０４１号公報

特許文献１の方法によれば、合焦中の被写体が検出できない場合に、より広いＡＦ枠を設定することで、撮像画面の広い範囲で合焦したまま被写体を維持することができる。しかし、動画撮影において、撮影者が意図する主被写体が切り替わるようなシーンでは、合焦中の主被写体から新しい主被写体に合焦位置を切り替える必要がある。ピント優先方式では、合焦に近いデフォーカス量が出ている限り合焦状態を維持してしまうため、広いＡＦ枠を設定することで主被写体に対するピント追従性は上がるが、主被写体が別の被写体に変わった場合に合焦位置を切り替えにくくなるといった課題がある。この課題が顕著に表れる例が、背景に合焦しているシーンである。背景は撮像画面の大部分を占めていることが多いため、新しい主被写体が登場しても広いＡＦエリアの中に背景が含まれている限り、主被写体に合焦位置が切り替わらない。

また、特許文献２の方法によれば、顔検出の状態に応じてＡＦ枠のサイズを変更している。この技術は、顔検出時の顔検出ＡＦ枠よりも顔非検出時のＡＦ枠が大きい場合においては有効であるが、中央重点ＡＦ方式などの、ある特定の部分にＡＦ枠を設定するようなＡＦ方式においては、効果がない。例えば、顔検出などにより主被写体が画面中央以外に位置している状態から、顔検出の一時的な消失により中央重点ＡＦ方式に切り替わる場合、中央に位置している違う被写体を捉えてしまうことがある。

また、マニュアルフォーカス操作においても同様の課題がある。例えば、中央重点ＡＦ中にユーザーが中央以外の領域にある被写体に一時的にマニュアルフォーカス操作により手動で合焦させ、操作を終了させた場合、再度、中央重点ＡＦ方式に切り替わるため、ＡＦ枠が中央に位置している違う被写体を捉えてしまうことがある。

本発明は上記問題点を鑑みてなされたものであり、撮像面位相差検出方式の焦点検出において、より安定的に主被写体に合焦し続けるとともに、背景に焦点が貼り付いた状態となるのを防ぐことを目的とする。

上記目的を達成するために、本発明の焦点調節装置は、撮像素子から、視差を有する一対の焦点検出信号を取得可能に、像信号を周期的に取得する取得手段と、前記一対の焦点検出信号の位相差を用いて、予め決められた第１の領域の焦点状態を検出するとともに、前記第１の領域の焦点状態が、予め決められた第１の範囲内に無い場合に、前記第１の領域の周辺領域に配置された第２の領域から得られた前記一対の焦点検出信号の位相差を用いて焦点状態を検出する焦点検出手段と、前記焦点検出手段により検出された焦点状態に基づいて焦点調節をするように制御する制御手段とを有し、前記制御手段は、前記第２の領域の焦点状態が予め決められた第２の範囲内にある場合に、前記第２の領域の焦点状態に基づいて焦点調節をするように制御し、前記焦点検出手段により前記第１の領域の焦点状態に基づいて、より至近側に被写体があることが判定された場合に、前記第２の領域の焦点状態の検出の有無に関わらず、前記第１の領域の焦点状態に基づいて焦点を調節するように制御する。

本発明によれば、撮像面位相差検出方式の焦点検出において、より安定的に主被写体に合焦し続けるとともに、背景に焦点が貼り付いた状態となるのを防ぐことができる。

本発明の実施形態におけるカメラシステムの概略構成を示すブロック図。 実施形態における撮像素子の一部の画素の構成例を示す図。 実施形態におけるＡＦ処理を示すフローチャート。 実施形態におけるＡＦ枠の一例を示す図。 実施形態における撮像面位相差ＡＦ処理を示すフローチャート。 実施形態におけるフォーカスモードの遷移図。 実施形態における合焦駆動情報算出処理を示すフローチャート。 第１の実施形態における重点枠計算処理を示すフローチャート。 実施形態における補助枠処理を示すフローチャート。 実施形態における補正枠処理を示すフローチャート 実施形態におけるリセットモードでのデフォーカス量選択処理を示すフローチャート。 実施形態における至近リセットモードでのデフォーカス量選択処理を示すフローチャート。 実施形態における待ちモードあるいは追従モードでのデフォーカス量選択処理を示すフローチャート。 実施形態における重点枠及び補助枠、補正枠の設定に関する概念図。 第２の実施形態の概要を説明する図。 第２の実施形態における重点枠計算処理を示すフローチャート。 第２の実施形態における重点枠選択処理を示すフローチャート。 第２の実施形態における合焦検出枠設定処理を示すフローチャート。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

＜第１の実施形態＞
まず、本発明の第１の実施形態について詳細に説明する。なお、以下の実施形態では、本発明にかかる焦点調節装置を備える撮像装置として、デジタルビデオカメラシステムを例に説明するが、これに限定されるものではない。また、以下の実施形態において、焦点を合わせようとする目的の被写体を「主被写体」、背景などの主被写体以外の被写体を「雑被写体」と呼ぶ。

図１は、本発明の実施形態におけるレンズユニット及びカメラ本体を備えたレンズ交換式カメラシステムの構成を示すブロック図である。図１に示すように、本実施形態におけるカメラシステムは、レンズユニット１０及びカメラ本体２０から構成されており、レンズユニット１０全体の動作を統括制御するレンズ制御部１０６と、カメラ全体の動作を統括するカメラ制御部２０７がデータを通信している。本実施形態において、カメラ制御部２０７は、ＣＰＵ、ＭＰＵ等のプロセッサとメモリ等の記憶部とで構成される。なお、カメラ制御部２０７に演算回路を備え、該演算回路でプロセッサが行う一部の演算機能を実行してもよい。なお、本実施形態ではレンズ交換式カメラを例に説明するが、レンズと一体型のカメラにおいても本発明を適用可能である。

まず、レンズユニット１０の構成について説明する。レンズユニット１０は、固定レンズ１０１、ズームレンズ１０８、絞り１０２、フォーカスレンズ１０３を備えて構成される撮影光学系を有する。絞り１０２は、絞り駆動部１０４によって駆動され、後述する撮像素子２０１への入射光量を制御する。フォーカスレンズ１０３は、フォーカスレンズ駆動部１０５によって駆動され、焦点調節を行う。ズームレンズ１０８は、ズームレンズ駆動部１０９によって駆動されることにより、ズームの調節を行う。なお、ズーム機能が無いレンズユニット１０を用いることもできる。

絞り駆動部１０４、フォーカスレンズ駆動部１０５、ズームレンズ駆動部１０９はレンズ制御部１０６によって制御され、絞り１０２の開口量や、フォーカスレンズ１０３及びズームレンズ１０８の位置が決定される。ユーザーによりレンズ操作部１０７を介して絞りやフォーカス、ズームなどの操作が行われた場合には、レンズ制御部１０６がユーザー操作に応じた制御を行う。また、レンズ制御部１０６は、後述するカメラ制御部２０７から受信した制御命令及び制御情報に応じて、絞り駆動部１０４やフォーカスレンズ駆動部１０５、ズームレンズ駆動部１０９の制御を行う。また、レンズ制御部１０６は、レンズ情報（例えば、撮影光学系についての情報）をカメラ制御部２０７に送信する。

次に、本実施形態に係る自動焦点調節機能を有するカメラ本体２０の構成について説明する。カメラ本体２０は、レンズユニット１０の撮影光学系を通過した光束から撮像信号を取得可能に構成されている。撮像素子２０１は、ＣＣＤやＣＭＯＳセンサを用いて構成される。撮影光学系を通過した光束が撮像素子２０１の受光面上に結像し、形成された被写体像がフォトダイオードによって入射光量に応じた電荷に変換（光電変換）される。各フォトダイオードに蓄積された電荷は、カメラ制御部２０７の指令に従ってタイミングジェネレータ２０９から与えられる駆動パルスに基づいて、電荷に応じた電圧信号として撮像素子２０１から順次読み出される。

図２は、撮像素子２０１の受光面の一部の画素の構成例を示している。図２において、ＧｒまたはＧｂは緑色の分光感度を有する画素、Ｒは赤色の分光感度を有する画素、Ｂは青色の分光感度を有する画素である。撮像面位相差ＡＦに対応しない撮像素子の場合、例えば図２（ａ）に示すようなベイヤ−配列の画素構成となる。一方、本実施形態の撮像素子２０１は、撮像面位相差ＡＦを行うために、図２（ｂ）に示すように１つの画素が複数（本実施形態では２つ）のフォトダイオードを保持している。この構成では、レンズユニット１０を介して入射する光束を、各画素に１つ設けられたマイクロレンズ（不図示）で分離し、２つのフォトダイオード（フォトダイオードＡ、Ｂ）のそれぞれに結像することで、撮像用とＡＦ用の２つの信号が取得可能となる。すなわち、２つのフォトダイオードの信号を加算した信号（像信号Ａ＋Ｂ）が撮像信号であり、個々のフォトダイオードの信号（像信号Ａ、像信号Ｂ）がＡＦ用の２つの像信号（焦点検出信号）になっている。それぞれのフォトダイオードは、撮影光学系の射出瞳の異なる領域を通過した光束を受光するため、像信号Ｂは像信号Ａに対して視差を有している。

なお、２つの像信号の取得方法は、２つの像信号のそれぞれを独立に読み出す方法に限られない。例えば、処理負荷を考慮して、２つのフォトダイオードの信号を加算した撮像信号（像信号Ａ＋Ｂ）と一方のフォトダイオードの信号（例えば像信号Ａ）を読み出し、２つの信号の差分から、もう一方の像信号（例えば像信号Ｂ）を取得してもよい。また、撮像信号（像信号Ａ＋Ｂ）とＡＦ用の２つの信号（像信号Ａ、像信号Ｂ）の計３つの信号をそれぞれ読み出してもよい。

そして、ＡＦ用の２つの像信号（ＡＦ用信号）に対し、後述するＡＦ信号処理部２０４において相関演算を行い、位相差検出方式の焦点検出を行うことで、像ずれ量や各種信頼性情報を算出することができる。

なお、本実施形態では１つの画素に２つのフォトダイオードを有する構成としているが、フォトダイオードの数は２つに限定されず、それ以上であってもよい。また、撮像面位相差ＡＦ対応の撮像素子２０１の構成として、上述のように１つの画素に複数のフォトダイオードを設ける構成に限らず、焦点検出用の画素（例えば、一対の画素の受光領域の互いに異なる領域を遮光した画素）を離散的に設ける構成であってもよい。

撮像素子２０１から読み出された撮像信号及びＡＦ用信号は、ＣＤＳ／ＡＧＣ回路２０２に入力され、リセットノイズを除去する為の相関二重サンプリング、ゲインの調節、信号のデジタル化を行う。ＣＤＳ／ＡＧＣ回路２０２は、撮像信号をカメラ信号処理部２０３、ＡＦ評価値生成部２１０及び顔検出処理部２１１に、また、ＡＦ用信号をＡＦ信号処理部２０４に出力する。

カメラ信号処理部２０３は、ＣＤＳ／ＡＧＣ回路２０２から出力された撮像信号を表示部２０５に送信する。表示部２０５は、ＬＣＤや有機ＥＬ等を用いて構成される表示デバイス（表示部材）であり、撮像信号に基づく画像を表示する。また、撮像信号の記録を行うモードの時には、撮像信号は記録部２０６に記録される。

ＡＦ信号処理部２０４は、ＣＤＳ／ＡＧＣ回路２０２から出力されたＡＦ用信号を基に相関演算を行い、像ずれ量と信頼性に関する情報を算出する。信頼性に関する情報としては、二像一致度、二像急峻度、コントラスト情報、飽和情報、キズ情報等を用いることができる。そして、算出した像ずれ量と信頼性情報をカメラ制御部２０７へ出力する。

ＡＦ評価値生成部２１０は、撮像信号から高周波成分を抽出して、公知のコントラスト検出方式の焦点検出に用いられるＡＦ評価値を生成し、カメラ制御部２０７に出力する。ＡＦ評価値は、撮像素子２０１からの出力信号に基づいて生成される画像の鮮鋭度（コントラスト状態）を表すものである。鮮鋭度は撮影光学系の焦点状態（合焦の程度）によって変化するので、結果的に撮影光学系の焦点状態を表す信号となる。なお、ＡＦ評価値を生成するのに用いる撮像素子２０１上の領域は、本実施形態では位相差検出用の像信号を生成するのに用いる領域と対応する領域を含むものとするが、別の領域に設定するようにしてもよい。

顔検出処理部２１１は、ＣＤＳ／ＡＧＣ回路２０２から出力された撮像信号に対して公知の顔認識処理を施して撮影画面内の人物の顔領域を検出する回路であり、その検出結果をカメラ制御部２０７に送信する。カメラ制御部２０７は、検出結果に基づき、撮影画面内の焦点検出に用いる領域を設定する。なお、顔認識処理としては、例えば、画像データで表される各画素の階調色から肌色領域を抽出し、予め用意された顔の輪郭プレートとのマッチング度で顔を検出する方法や、抽出された目、鼻、口等の顔の特徴点からパターン認識を行う方法等が知られている。

カメラ制御部２０７は、カメラ本体２０内の各構成と情報をやり取りして制御を行う。カメラ制御部２０７は、カメラ本体２０内の処理だけでなく、カメラ操作部２０８からの入力に応じて、電源のＯＮ／ＯＦＦ、設定の変更、記録の開始、フォーカス制御の開始、記録画像の確認等、ユーザーが操作したカメラ機能を実行する。また、上述したように、カメラ制御部２０７はレンズユニット１０内のレンズ制御部１０６と情報をやり取りし、撮影光学系の制御命令や制御情報を送ったり、レンズユニット１０内の情報を取得したりする。

次に、カメラ制御部２０７が実行するＡＦ処理全体のシーケンスについて図３を用いて説明する。以下で説明するＳ３０１〜Ｓ３０３の処理は、カメラの動作周期に基づいて周期的に実行される。

Ｓ３０１において、カメラ制御部２０７は、ユーザーの操作を受けて、ＡＦ枠の設定処理を行う。ＡＦ枠の設定処理は、撮像面位相差ＡＦに用いる信号を取得するためのＡＦ枠を設定する処理である。

図４は、Ｓ３０１で設定されるＡＦ枠の一例を示す図である。図４（ａ）において、撮像素子２０１上の画素領域２００にＡＦ枠４００が配置されている様子を示したものである。ＡＦ枠４００は、焦点検出を行う範囲を示す表示枠であり、ユーザーが表示部２０５等のモニターで確認することのできる枠である。しかし、実際には、図４（ｂ）に示すように、ＡＦ枠４００内部にＮ×Ｍ（図４（ｂ）に示す例では９×９）に分割した焦点検出領域４０１（測距点）が、ユーザーには見えないように配置される。

次に、Ｓ３０２において、カメラ制御部２０７は撮像面位相差ＡＦ処理を行う。撮像面位相差ＡＦ処理は、ＡＦ枠に対して、撮像面位相差方式による焦点検出と、その焦点検出結果に基づいて、フォーカスレンズ１０３を合焦位置に駆動するための合焦駆動量及び方向（合焦駆動情報）を算出し、合焦駆動を行う処理である。なお、撮像面位相差ＡＦ処理の詳細は、図５から図１２を用いて後述する。

Ｓ３０３において、カメラ制御部２０７は、ＡＦ枠の表示処理を行う。これは、ユーザーが指定したＡＦ枠を表示部２０５等のモニターに視覚的に表示し、焦点検出を行う領域をユーザーに対し明示的に示すことで、撮影対象の被写体をフレーミングし易くする目的で行う。なお、本実施形態では、ユーザーが指定したＡＦ枠に対し、ＡＦ枠の範囲を格子状の領域に分割した複数の焦点検出枠を内部で設定するが、表示部２０５には内部で設定した焦点検出枠は表示せずに、ユーザーが指定したＡＦ枠を表示する処理を行う。ＡＦ枠を表示する処理が終了すると、ＡＦ処理が終了する。

次に、図３のＳ３０２で行われる撮像面位相差ＡＦ処理について、図５のフローチャートを用いて説明する。

まず、Ｓ５０１では、Ｓ３０１で設定したＡＦ枠４００内に配置された複数の焦点検出領域４０１のうち、１つの焦点検出領域４０１からＡＦ用信号を取得する。Ｓ５０２では、Ｓ５０１で取得したＡＦ用信号を相対的にずらしていき、各ずらし位置における相関量を算出する。Ｓ５０３では、Ｓ５０２で算出した相関量の、単位ずらし量に対する変化量を示す相関変化量を算出する。Ｓ５０４では、Ｓ５０３で算出した相関変化量が最小値となる点のずらし位置までのずらし量を示すピントずれ量を算出する。Ｓ５０５では、Ｓ５０４で算出したピントずれ量がどれだけ信頼できるのかを表す信頼性を算出する。信頼性は、前述したように、像信号の二像一致度や二像急峻度等をもとに算出される値である。Ｓ５０６では、Ｓ５０４で算出したピントずれ量を、フォーカスレンズのデフォーカス量に変換する。

Ｓ５０７では、Ｓ３０１で設定したすべての焦点検出領域４０１に対して、Ｓ５０１からＳ５０６の処理が行われたかを判定する。すべての焦点検出領域４０１に対して処理が行われていない場合はＳ５０１へと戻り、処理されていない焦点検出領域４０１に対してＳ５０１からＳ５０６の処理を繰り返し行う。一方、すべての焦点検出領域４０１に対して処理が行われた場合はＳ５０８へと遷移する。

Ｓ５０８では、Ｓ３０１で設定した焦点検出領域４０１それぞれで算出されたデフォーカス量に基づいて合焦駆動情報の算出を行う。なお、合焦駆動情報算出処理の詳細は、図６から図１２を用いて後述する。

Ｓ５０９では、Ｓ５０８で算出した合焦駆動情報を用いてフォーカスレンズ１０３を駆動して、処理を終了する。

次にＳ５０８で行われる合焦駆動情報算出処理について、図６から図１２を用いて詳細に説明する。本実施形態ではフォーカスの制御状態（以下、「フォーカスモード」と呼ぶ。）として、「リセットモード」、「至近リセットモード」、「待ちモード」、「追従モード」の４つがある。これらのモードは、合焦駆動情報の算出で使用する焦点検出領域の設定方法や、複数の焦点検出領域において算出したデフォーカス量のうち、最終的に合焦駆動に使用するデフォーカス量を選択する方式が異なる。

リセットモードは、初期状態または主被写体が変わり、フォーカスレンズ１０３を比較的大きく駆動する場合に行われるモードである。リセットモードでは、ＡＦ枠４００の内部に図１２（ａ）で示すように設定された重点枠１２０１（第１の領域）に位置する３×３の焦点検出領域４０１のデフォーカス量のうち、標準偏差から大きく外れたデフォーカス量を除外する。そして、除外した残りのデフォーカス量の平均値を用いてフォーカスレンズ１０３を駆動させる。これにより、重点枠１２０１に位置する３×３の焦点検出領域４０１に入っている被写体の中でも面積の大きい被写体に対して安定して合焦させることができる。なお、重点枠１２０１としては、顔検出処理部２１１により人物の顔領域が選択されている場合には、顔領域を重点枠１２０１として設定することができる。また、顔領域に限らず、任意の被写体を検出し、その被写体領域を重点枠としたり、前回の焦点検出処理における主被写体の領域や、予め決められた領域（例えば、ＡＦ枠４００の中央部分等）等を重点枠１２０１としても良い。

追従モードは、主被写体を合焦付近で追従するために、フォーカスレンズ１０３を比較的小さく駆動するモードである。追従モードでは、図１２（ｂ）に示すＡＦ枠４００の内部に設定された重点枠１２０１と、その周辺領域に配置された補助枠１２０２（第２の領域）の焦点検出領域４０１におけるデフォーカス量を利用する。そして、重点枠１２０１と補助枠１２０２の焦点検出領域４０１におけるデフォーカス量のうち、現在の合焦状態を示すデフォーカス量付近のデフォーカス量を用いて、主被写体の合焦状態を維持するようにフォーカスレンズ１０３を駆動する。また、重点枠１２０１及び補助枠１２０２の焦点検出領域４０１のうち、合焦駆動情報の算出に使用できそうな（例えば、信頼性の高いピントずれ量を検出できた）焦点検出領域４０１の数が少ない場合には、次のように制御する。まず、ＡＦ枠４００の中から、現在の合焦状態を示すデフォーカス量付近のデフォーカス量が算出された焦点検出領域４０１を抽出する。そして、抽出した焦点検出領域４０１のデフォーカス量を合焦駆動情報の算出に使用することで、算出する合焦駆動情報の精度を高める。追従モードでは、重点枠１２０１だけでなく補助枠１２０２、更にはＡＦ枠４００の焦点検出領域４０１におけるデフォーカス量も使用して合焦駆動情報を算出することで、画面のある程度広い範囲で主被写体に対して合焦状態を維持することができる。なお、このときに重点枠１２０１におけるデフォーカス量から、至近方向に被写体があることが検出された場合には、至近リセットモードに遷移する。

待ちモードは、追従モードで追従する主被写体が重点枠１２０１及び補助枠１２０２の焦点検出領域４０１において一時的に検出されなくなった時に、追従モードから遷移するモードである。待ちモードでは、追従モードと同様に、ＡＦ枠４００の内部に設定された重点枠１２０１と補助枠１２０２の焦点検出領域４０１におけるデフォーカス量のうち、現在の合焦状態を示すデフォーカス量付近のデフォーカス量を用いて、主被写体の合焦状態を維持するようにフォーカスレンズ１０３を駆動させる。また、重点枠１２０１及び補助枠１２０２の焦点検出領域４０１のうち、合焦駆動情報の算出に使用できそうな（例えば、信頼性の高いピントずれ量を検出できた）焦点検出領域の数が少ない場合には、次のように制御する。まず、ＡＦ枠４００の中から、現在の合焦状態を示すデフォーカス量付近のデフォーカス量が算出された焦点検出領域４０１を抽出する。そして、抽出した焦点検出領域４０１のデフォーカス量を合焦駆動情報の算出に使用することで、算出する合焦駆動情報の精度を高める。主被写体が一定時間内に検出されれば、追従モードに遷移し、検出されないまま待ちモードが一定時間以上続いた場合は、主被写体が画面から外れたと判断し、リセットモードに遷移する。なお、このときに重点枠１２０１におけるデフォーカス量から、至近方向に被写体があることが検出された場合には、至近リセットモードに遷移する。

至近リセットモードは、本実施形態の特徴で、重点枠１２０１で捉えた主被写体が現在の合焦位置よりも至近側にあると判定された場合に、追従モードまたは待ちモードから遷移するモードである。本実施形態では、重点枠１２０１に位置する３×３の焦点検出領域４０１のデフォーカス量のうち、至近側のデフォーカス量を示す焦点検出領域４０１の数が所定の数よりも多いか否かにより、至近側に被写体があるか否かを判定する。そして、至近側に被写体があると判定した場合は、至近リセットモードにおいて、補助枠１２０２におけるデフォーカス量は使用せず、重点枠１２０１のデフォーカス量のみを使用して、合焦駆動情報を算出する。このように合焦駆動情報を算出する範囲を狭めることで、背景などの雑被写体に対して合焦し、一度追従モードに遷移してしまった場合でも、重点枠１２０１に主被写体を捉えることで主被写体に合焦させることができる。これにより、背景に対して合焦を維持してしまうといった問題を防ぐことができる。なお、至近側に被写体があるか否かの別の判定方法として、補助枠１２０２におけるデフォーカス量を使用して焦点調節を行っている場合に、次のようにして判定しても良い。すなわち、重点枠１２０１におけるデフォーカス量と補助枠１２０２におけるデフォーカス量を比較して、重点枠１２０１の方が至近側のデフォーカス量を示しているか否かで判定する。

また、図１２を参照して上述した説明において、重点枠１２０１は画面中央に、補助枠１２０２は重点枠１２０１に隣接する位置に設定するものとして説明したが、本発明はこれに限られるものではない。また、重点枠１２０１の大きさが補助枠１２０２よりも大きいものとして説明したが、同じであってもよいし、小さく設定してもよい。

次に、図６のフォーカスモード遷移図を用いて各フォーカスモード間の遷移について説明する。６０１及び６０２は、リセットモードまたは至近リセットモードから追従モードへの遷移を示す。この場合、合焦駆動情報算出処理の過程で算出される重点枠１２０１のデフォーカス量が、合焦を示す値から所定の焦点深度の範囲内に入ったことが判定された場合に遷移する。なお、ここで用いる所定の焦点深度は、固定値であっても、焦点距離や被写体距離、絞りの状態に応じて動的に変更するようにしてもよい。

６０３及び６０４は、追従モードと待ちモード間の遷移を示す。ここでは、重点枠１２０１及び補助枠１２０２の焦点検出領域４０１におけるデフォーカス量に基づき、主被写体が重点枠１２０１及び補助枠１２０２の範囲にあるかどうかを判定する。そして、待ちモードにおいて主被写体があると判定した場合は、６０３の遷移により追従モードへ、また、追従モードにおいて主被写体が無いと判定した場合は、６０４の遷移により待ちモードへと遷移する。

６０５及び６０６は、至近リセットモード及び待ちモードからリセットモードへの遷移を示す。ここでは、重点枠１２０１及び補助枠１２０２の焦点検出領域４０１におけるデフォーカス量に基づき、主被写体が重点枠１２０１及び補助枠１２０２の範囲にない状態が一定時間以上続いているかを判定し、一定時間以上ないと判定された場合に遷移する。ここでの一定時間は、手振れなどの影響で主被写体が重点枠１２０１及び補助枠１２０２の範囲を出たり入ったりした場合や、主被写体が範囲から抜けてもすぐに戻ってくる場合を考慮し、頻繁にリセットモードへ遷移しないような時間を設定することが望ましい。

６０７及び６０８は、待ちモード及び追従モードから至近リセットモードへの遷移であり、重点枠１２０１の範囲で捉えた被写体が現在の合焦位置よりも至近側にあると判定された場合に遷移する。

次に、図７のフローチャートを参照して、合焦駆動情報算出処理の流れについて詳細に説明する。なお、以下で説明するＳ７０１〜Ｓ７０７の処理は、カメラ制御部２０７において、カメラの動作周期に基づいて周期的に実行される。

Ｓ７０１では、重点枠計算処理を行う。ここでは、重点枠１２０１内の各焦点検出領域４０１のうち、信頼度の高いピントずれ量が算出されている焦点検出領域でのデフォーカス量をもとに、後述するＳ７０５で行うフォーカスモード別のデフォーカス量選択処理で選択するデフォーカス量を算出する。なお、Ｓ７０１の重点枠計算処理の詳細については図８を用いて後で説明する。

Ｓ７０２では、フォーカスモードが、上述した４つのフォーカスモードのうち、どのモードかを判定する。判定したフォーカスモードが追従モード及び待ちモードの場合はＳ７０３及びＳ７０４を実行し、リセットモード及び至近リセットモードの場合はＳ７０３及びＳ７０４を実行せずに、Ｓ７０５へと遷移する。

Ｓ７０３では、Ｓ７０１の重点枠計算処理の計算結果に応じて、補助枠１２０２を使用するか否かの判定を行う。補助枠１２０２を使用する場合は、補助枠１２０２内の焦点検出領域におけるデフォーカス量をもとに、後述するＳ７０５で行うフォーカスモード別のデフォーカス量選択処理で選択するデフォーカス量を算出する。なお、Ｓ７０３の補助枠処理の詳細については図９を用いて後で説明する。

Ｓ７０４では、Ｓ７０１で行った重点枠計算処理の計算結果に応じて、補正枠処理を行う。この補正枠処理の詳細については図１０を用いて詳細に後述するが、ここでは、補正枠のデフォーカス量を使用するか否か判定する。そして、使用する場合には、補正枠のデフォーカス量を算出する。なお、補正枠は、重点枠１２０１及び補助枠１２０２よりも広い領域であればよく、本実施形態では補正枠として、ＡＦ枠４００全体であるものとして説明する。

Ｓ７０５では、Ｓ７０１からＳ７０４で算出されるデフォーカス量のうち、フォーカスモードに応じて、どのステップで算出したデフォーカス量を使用するか、を選択するデフォーカス量選択処理を行う。さらに、レンズの駆動状態や合焦状態、算出されたデフォーカス量などに基づいて、次のフォーカスモードを選択する。なお、Ｓ７０５のフォーカスモード別のデフォーカス量選択処理の詳細については図１１Ａ〜図１１Ｃを用いて後述する。

Ｓ７０６では、Ｓ７０５で選択したデフォーカス量をもとに、フォーカスレンズ１０３を合焦位置に駆動させるための、レンズ駆動量や駆動方向などの合焦駆動情報を算出し、Ｓ７０７へ遷移する。Ｓ７０７では、Ｓ７０５で選択されたフォーカスモードを、次のフォーカスモードとして設定し、処理を終了する。

次に、Ｓ７０１で行われる重点枠計算処理の詳細について、図８を用いて説明する。Ｓ８０１では、重点枠１２０１内の焦点検出領域４０１のうち、信頼度の高いデフォーカス量が算出できた焦点検出領域を、これ以降の処理に採用する候補領域として設定し、Ｓ８０２へ遷移する。このように焦点検出結果の信頼度が低い焦点検出領域を除外し、安定した焦点検出結果が得られた焦点検出領域におけるデフォーカス量を選択することで、間違った位置や方向にフォーカスレンズ１０３を駆動させボケたりしないようにすることができる。また、処理時間を削減することができる。なお、ここでは具体的には、信頼度を予め決められた閾値と比較することにより、候補領域を設定する。

Ｓ８０２では、Ｓ８０１で設定した候補領域におけるデフォーカス量のうち、現在の焦点状態から所定焦点深度内のデフォーカス量が算出されている焦点検出領域数が閾値ＴＨ１以上あるか否かを判定する。閾値ＴＨ１以上ある場合は、Ｓ８０３へ、閾値ＴＨ１より少ない場合は、Ｓ８０５へと遷移する。閾値ＴＨ１は、上述したフォーカスモードの遷移のうち、リセットモードまたは至近リセットモードから追従モードへの遷移条件として、重点枠１２０１内の焦点検出領域数に対してどれくらいの焦点検出領域が合焦範囲に入ったか否かで判定するために設定する。本実施形態では、閾値ＴＨ１を３として説明するが、１〜重点枠１２０１内の焦点検出領域数（本実施形態では９）の範囲で、固定の値にしてもよいし、状況に応じて可変の値にしてもよい。なお、この閾値ＴＨ１の値が、例えば１の場合、重点枠１２０１内の焦点検出領域４０１のうち、１つでも合焦範囲に入れば追従モードに遷移することを表す。逆に閾値ＴＨ１の値が、例えば９の場合は、重点枠１２０１の焦点検出領域４０１の９つ全てが合焦範囲に入らない限り、追従モードに遷移しないことを表す。

Ｓ８０３では、Ｓ８０１で設定した候補領域のうち、現在の焦点状態から所定焦点深度外のデフォーカス量を算出している焦点検出領域を候補領域から除外する。これにより、候補領域におけるデフォーカス量が現在の焦点状態から所定焦点深度内の値のみとなり、主被写体を合焦付近で追従するために、フォーカスレンズ１０３を比較的小さく駆動する追従モードの実現が可能となる。

Ｓ８０４では、重点枠計算処理の計算結果としての返り値を１に設定し、Ｓ８０６へと遷移する。一方、Ｓ８０５では、重点枠計算処理の計算結果としての返り値を０に設定し、Ｓ８０６へと遷移する。なお、ここで設定した返り値に応じて、補助枠処理や補正枠処理などのフローが異なるが詳細については後述する。

Ｓ８０６では、候補領域の数が閾値ＴＨ２以上か否かを判定する。閾値ＴＨ２以上ある場合は、Ｓ８０７へ遷移し、閾値ＴＨ２より少ない場合は、Ｓ８１３へと遷移し、重点枠計算処理の計算結果としての返り値を−１に設定し、エラー状態として処理を終了する。閾値ＴＨ２は、重点枠計算処理に用いる候補領域の数が最低いくつ必要とするかを決定するための閾値として設定する。本実施形態では閾値ＴＨ２を２として説明するが、１から重点枠１２０１内の焦点検出領域４０１の数（本実施形態では９）の範囲で、固定の値にしてもよいし、状況に応じて可変の値にしてもよい。なお、この閾値ＴＨ２の値が小さい場合は、重点枠１２０１内の焦点検出領域４０１のうち、候補領域となる焦点検出領域が少ない場合に、エラーとして判定することを表す。

Ｓ８０７では、Ｓ８０６の時点で残っている候補領域の平均デフォーカス量ＤｅｆＡｖｅを算出し、Ｓ８０８へと遷移する。

Ｓ８０８では、各候補領域のデフォーカス量の全ての値が、Ｓ８０７で算出した平均デフォーカス量ＤｅｆＡｖｅに対して所定量以内に入っているか否かを判定する。所定量以内に入っていないと判定された場合は、Ｓ８０９へ、所定量以内に入っていると判定された場合は、Ｓ８１２へと遷移する。

Ｓ８０９では、Ｓ８０８の時点で残っている候補領域のうち、Ｓ８０７にて算出した平均デフォーカス量ＤｅｆＡｖｅとの差が最も大きいデフォーカス量の焦点検出領域を候補領域から除外し、Ｓ８１０へと遷移する。

Ｓ８１０では、Ｓ８０９の後に残っている候補領域の数が閾値ＴＨ２以下であるか否かを判定し、閾値ＴＨ２以下になるまではＳ８０７へと戻り、Ｓ８０７からＳ８０９を繰り返し、閾値ＴＨ２以下になった場合はＳ８１１へと遷移する。このＳ８０７からＳ８１０の処理を、候補領域の数が閾値ＴＨ２以下になるか、あるいはＳ８０８の判定条件である各候補領域のデフォーカス量の全ての値が、平均デフォーカス量ＤｅｆＡｖｅに対して所定量以内に入るまで繰り返す。これにより、各候補領域のデフォーカス量が被写体の遠近競合などによりばらついた場合でも、ある程度同じような焦点検出結果が得られた焦点検出領域において、主被写体らしい焦点検出結果を採用することができる。そのため、安定したデフォーカス量の算出を行うことが可能となる。

Ｓ８１１では、Ｓ８１０の時点で残っている候補領域の平均デフォーカス量ＤｅｆＡｖｅを算出し、Ｓ８１２へと遷移する。Ｓ８１２では、Ｓ８０４及びＳ８０５で設定した重点枠計算処理の計算結果としての返り値、Ｓ８０７からＳ８１１にて算出した平均デフォーカス量ＤｅｆＡｖｅをＤｅｆ１として、最終的に残った候補領域の数を返して処理を終了する。

次に、本発明の特徴である図７のＳ７０３で行う補助枠処理の詳細について、図９を用いて説明する。

Ｓ９０１では、図８のフローで設定した重点枠計算処理の返り値が０あるいは−１であるか否かを判定する。０あるいは−１であると判定された場合はＳ９０２へ遷移し、０あるいは−１でないと判定された場合はＳ９０７へと進み、補助枠有効フラグを０に設定して処理を終了する。

重点枠計算処理の返り値が０あるいは−１でない場合とは、次のような状態を表している。すなわち、重点枠１２０１内に合焦範囲内のデフォーカス量が出ている焦点検出領域がある状態で、フォーカスモードは追従モードで動作し、重点枠１２０１内に主被写体を捉え続けて合焦状態を維持している状態である。

一方、重点枠計算処理の返り値が０あるいは−１である場合とは、次のような状態を表している。すなわち、重点枠１２０１内に合焦範囲内のデフォーカス量が出ている焦点検出領域がない状態で、フォーカスモードはリセットモードで動作し、重点枠１２０１内の被写体に対してピントを合わせにいく合焦駆動を行っている状態である。また、フォーカスモードが追従モードか待ちモードで動作している状態で、重点枠１２０１から捉えていた被写体が抜けた場合も表しており、Ｓ９０２以降の処理を行うことにより補助枠１２０２を使って追従モードを維持するかどうかを切り替えることが可能となる。

Ｓ９０２では、重点枠１２０１に隣接する補助枠１２０２内の焦点検出領域４０１のうち、現在の焦点状態から所定焦点深度内のデフォーカス量が出ている焦点検出領域を候補領域とし、Ｓ９０３へ遷移する。Ｓ９０３では、Ｓ９０２で設定した候補領域が１つ以上あるか否かを判定し、１つ以上ある場合はＳ９０４へ遷移し、候補領域がない場合はＳ９０７へと進み、補助枠有効フラグを０に設定して処理を終了する。

Ｓ９０４では、Ｓ９０２で設定した補助枠１２０２内の候補領域の平均デフォーカス量Ｄｅｆ２を算出する。Ｓ９０５では、重点枠１２０１内の焦点検出領域４０１のうち、現在の焦点状態から所定焦点深度以上、至近側のデフォーカス量が出ている焦点検出領域の数が所定数以下であるか否かを判定する。所定数以下である場合はＳ９０６へ遷移し、所定数より多い場合はＳ９０７へと進み、補助枠有効フラグを０に設定して処理を終了する。所定焦点深度以上至近側のデフォーカス量が出ている焦点検出領域の数が多い場合は、重点枠１２０１において至近側に別の被写体が現れたことを表す。この場合には補助枠１２０２を使わずに重点枠１２０１内の焦点検出領域のデフォーカス量のみに基づいて合焦駆動させる。このようにすることで、背景などの雑被写体に合焦した状態で追従モードでの動作をしている場合に、至近リセットモードに遷移させ、至近の被写体にピントを合わせやすくすることができる。

Ｓ９０６では、補助枠有効フラグを１に設定し、処理を終了する。このように、条件に応じて補助枠１２０２のデフォーカス量も使って合焦駆動させることで、画面の広い範囲で合焦状態を維持することができる。

次に、本発明の特徴である図７のＳ７０４で行う補正枠処理の詳細について、図１０を用いて説明する。

Ｓ１００１では、図８のフローで設定した重点枠計算処理の返り値が１かつ候補領域の数が所定数以下であるか否かを判定し、条件を満たす場合はＳ１００２へ、条件を満たさない場合はＳ１００３へと遷移する。ここで、候補領域の数が所定数以下であるかを判定しているのは、以下の理由による。まず、候補領域が多い場合には、各焦点検出領域におけるデフォーカス量がばらついていても、最終的には平均した結果を用いるため、ある程度ばらつきを抑えることができる。一方、候補領域が少ない場合には、ばらつきの影響が大きくなるため、周辺の焦点検出領域の焦点検出結果を使って補正するか否かを判断するためである。なお、所定数は固定値でもよいし、フォーカスモードに応じて変えるようにしてもよい。例えば、補助枠１２０２の焦点検出結果を使う追従モードの場合とそれ以外のモードで変えるようにしてもよく、追従モードでは候補領域が少ない状態であるため、補正枠を使って焦点検出結果の補正をしやすいように所定数を大きめに設定する。リセットモードの場合は重点枠１２０１の焦点検出結果のみを使ってデフォーカス量を求めるのが望ましいので、補正枠を使用しないように所定数を小さめに設定する。

Ｓ１００２では、重点枠計算処理で算出した平均デフォーカス量Ｄｅｆ１に基づいて、後述するＳ１００７の処理で使用する閾値を設定する。

Ｓ１００３では、図９のフローで設定した補助枠有効フラグが１であるか否かを判定し、フラグが１の場合はＳ１００４へ、フラグが０の場合はＳ１００５へと遷移する。Ｓ１００４では、補助枠処理で算出した平均デフォーカス量Ｄｅｆ２に基づいてＳ１００７の処理で使用する閾値を設定する。

Ｓ１００５では、図８のフローで設定した重点枠計算処理の返り値が０あるいは−１であるか否かを判定し、条件を満たす場合はＳ１００６へ、条件を満たさない場合はＳ１０１１へと遷移する。Ｓ１００６では、所定焦点深度に基づいてＳ１００７の処理で使用する閾値を設定する。

Ｓ１００７では、補正枠内の焦点検出領域４０１のうち、Ｓ１００２、Ｓ１００４、Ｓ１００６のいずれかで設定した閾値以内のデフォーカス量が出ている焦点検出領域を候補領域として設定し、Ｓ１００８へと遷移する。なお、Ｓ１００２、Ｓ１００４、またはＳ１００６で設定した閾値は、補正枠の焦点検出領域におけるデフォーカス量のうち、現在捉えている被写体のデフォーカス量にどれくらい近い結果を使って補正するかを決める値である。閾値が小さい場合は、合焦状態に近いデフォーカス量のみを使って補正することを表す。

Ｓ１００８では、Ｓ１００７で設定した候補領域の数が所定数以上か否かを判定し、所定数以上の場合はＳ１００９へ、所定数より少ない場合はＳ１０１１へと遷移する。Ｓ１００９では、Ｓ１００７で設定した候補領域の平均デフォーカス量Ｄｅｆ３を算出する。

Ｓ１０１０では、補正枠の焦点検出結果を使ってデフォーカス量を算出したことを示すために補正枠有効フラグを１に設定し、処理を終了する。Ｓ１０１１では、補正枠の焦点検出結果を使ってデフォーカス量を算出しないことを示すために補正枠有効フラグを０に設定し、処理を終了する。

本実施形態では、補正枠における焦点検出結果も所定数より少ない場合は、補正枠フラグを０にして補正処理を行わず、重点枠１２０１の結果に基づいてその後の処理を行うが、フォーカスレンズを一時的に停止して焦点調節制御を行わないようにしてもよい。

次に、図７のＳ７０５で行うフォーカスモード別のデフォーカス量選択処理の詳細について、図１１Ａ〜図１１Ｃを用いて説明する。

図１１Ａはフォーカスモードがリセットモードの場合のデフォーカス量選択処理のフローチャート、図１１Ｂはフォーカスモードが至近リセットモードの場合のデフォーカス量選択処理のフローチャートである。また、図１１Ｃはフォーカスモードが待ちモードあるいは追従モードの場合のデフォーカス量選択処理のフローチャートである。以下、それぞれの処理について詳細に説明する。

図１１ＡのＳ１１０１では、図８のフローで設定した重点枠計算処理の返り値が０であるか否かを判定し、０であると判定された場合はＳ１１０２へ遷移し、０でないと判定された場合はＳ１１０３へと遷移する。

Ｓ１１０２では、フォーカスレンズ１０３を合焦位置に駆動させるためのレンズの駆動量や駆動方向などの合焦駆動情報を算出するためのデフォーカス量（選択デフォーカス量）として、重点枠計算処理で算出した平均デフォーカス量Ｄｅｆ１を選択する。

Ｓ１１０４では、Ｓ１１０２で選択したデフォーカス量が現在の焦点状態から所定焦点深度以内であるか否かを判定し、所定焦点深度以内である場合はＳ１１０５へ、所定焦点深度より大きい場合はＳ１１０６へと遷移する。Ｓ１１０５では、次のフォーカスモードとして追従モードを選択して処理を終了する。

一方、Ｓ１１０３では、選択デフォーカス量をエラーとして設定し、Ｓ１１０６へと遷移する。Ｓ１１０６では、次のフォーカスモードとしてリセットモードを選択して処理を終了する。

図１１ＢのＳ１１１１では、図８のフローで設定した重点枠計算処理の返り値が１であるか否かを判定し、１であると判定された場合はＳ１１１２へ遷移し、１でないと判定された場合はＳ１１１３へと遷移する。

Ｓ１１１２では、リセットモードの場合と同様に、選択デフォーカス量として、重点枠計算処理で算出した平均デフォーカス量Ｄｅｆ１を選択する。

Ｓ１１１４では、Ｓ１１１２で選択したデフォーカス量が現在の焦点状態から所定焦点深度以内であるか否かを判定し、所定焦点深度以内である場合はＳ１１１５へ、所定焦点深度より大きい場合はＳ１１１６へと遷移する。Ｓ１１１５では、次のフォーカスモードとして追従モードを選択して処理を終了し、Ｓ１１１６では、次のフォーカスモードとして至近リセットモードを選択して処理を終了する。

一方、Ｓ１１１３では、選択デフォーカス量をエラーとして設定し、Ｓ１１１７へと遷移する。Ｓ１１１７では、次のフォーカスモードとしてリセットモードを選択して処理を終了する。

図１１ＣのＳ１１２０では、図８のフローで設定した重点枠計算処理の返り値が１かつ候補領域の数が所定数以上であるか否かを判定し、条件を満たしている場合はＳ１１２１へ遷移し、条件を満たさない場合はＳ１１２２へと遷移する。Ｓ１１２１では、選択デフォーカス量として、重点枠処理で算出した平均デフォーカス量Ｄｅｆ１を選択し、Ｓ１１２６へ進む。

Ｓ１１２２では、補助枠有効フラグが１か否かを判定し、１である場合はＳ１１２３へ、１でない場合はＳ１１２４へ遷移する。Ｓ１１２３では、選択デフォーカス量として、補助枠処理で算出した平均デフォーカス量Ｄｅｆ２を選択し、Ｓ１１２６へ進む。

Ｓ１１２４では、補正枠有効フラグが１か否かを判定し、１である場合はＳ１１２５へ、１でない場合はＳ１１２７へ遷移する。Ｓ１１２５では、選択デフォーカス量として、補正枠処理で算出した平均デフォーカス量Ｄｅｆ３を選択し、Ｓ１１２６へ進む。Ｓ１１２６では、次のフォーカスモードとして追従モードを選択して、Ｓ１１３１へ遷移する。

Ｓ１１２７では、選択デフォーカス量をエラーとして設定し、Ｓ１１２８へと遷移する。Ｓ１１２８では、フォーカスモードが所定時間連続して待ちモードの状態か否かを判定し、条件を満たしている場合はＳ１１２９へと遷移し、条件を満たしていない場合はＳ１１３０へと遷移する。Ｓ１１２９では、次のフォーカスモードとして待ちモードを選択してＳ１１３１へ遷移する。一方、Ｓ１１３０では、次のフォーカスモードとしてリセットモードを選択して処理を終了する。

Ｓ１１３１では、重点枠１２０１内の焦点検出領域４０１のうち、現在の焦点状態から所定の焦点深度以上（第３の範囲以上）、至近側のデフォーカス量が出ている焦点検出領域の数が所定数以上あるか否かを判定する。所定数以上ある場合はＳ１１３２へ遷移し、所定数より少ない場合はＳ１１３３へ遷移する。Ｓ１１３２では、至近側に別の被写体が現れたことを示す至近判定フラグを１に設定する。Ｓ１１３３では、至近判定フラグを０に設定し、処理を終了する。

Ｓ１１３４では、Ｓ１１３２またはＳ１１３３で設定した至近判定フラグが１の状態が所定時間以上続いているか否かを判定し、所定時間以上続いている場合はＳ１１３５へと遷移し、所定時間より短い場合は処理を終了する。Ｓ１１３５では、次のフォーカスモードとして至近リセットモードを選択して処理を終了する。

以上説明したように第１の実施形態によれば、撮像面位相差検出方式の焦点検出において、画面の広い領域で焦点検出を行うことで、より安定的に主被写体に合焦し続けるとともに、背景に焦点が貼り付いた状態となるのを防ぐことができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について詳細に説明する。なお、第２の実施形態は、重点枠検出処理が、第１の実施形態で図８を参照して上述した処理とは異なる。それ以外は、第１の実施形態と同様であるため説明を省略し、以下、重点枠検出処理について説明する。

図１３（ａ）〜（ｃ）は、第２の実施形態で解決しようとする課題を説明する図である。図１３（ａ）は顔ＡＦ状態を示している。雑被写体１３００は、無限遠側の被写体であり、画面の中央付近に位置している。主被写体１３０１は人物であり、画面の中央から外れた場所に位置している。主被写体１３０１は、顔検出処理部２１１により顔検出され、顔ＡＦ枠１３０２をＡＦ枠として設定した状態である。

図１３（ｂ）は、図１３（ａ）の主被写体１３０１が横を向いた状態を示している。被写体が横になった場合、横顔での顔検出がうまくいかずに、顔ＡＦ枠１３０２が設定できない場合がある。この場合、ＡＦの制御は、顔ＡＦから中央重点ＡＦへと切り替わる。

図１３（ｃ）は、図１３（ｂ）の状態のまま、中央重点ＡＦに切り替わった状態を示している。図１２で説明したＡＦ枠４００と重点枠１２０１を画面中央に設定し、画面中央に位置する雑被写体１３００に対して合焦動作を行う。

以上説明したように、主被写体の顔が何らかの影響により一時的に検出されなくなった場合は、中央重点ＡＦに遷移してしまうため、主被写体があるにも関わらず、画面中央の雑被写体に合焦してしまうことがある。

図１３（ｄ）〜（ｆ）は、第２の実施形態における顔検出ＡＦ時の効果を説明する図である。図１３（ｄ）は顔ＡＦ状態を示している。図１３（ａ）と同じであるので、説明は省略する。

図１３（ｅ）は、図１３（ｄ）の主被写体１３０１が横を向いた状態を示している。この状態において、ＡＦ枠４００を配置し、各焦点検出領域４０１について焦点検出処理を行う。焦点検出結果から現在の合焦状態に近い焦点検出領域を選択する。図１３（ｅ）において網掛けで示した部分が、選択した焦点検出領域である合焦検出領域１３０４である。

図１３（ｆ）は、図１３（ｅ）の状態のまま、（中央）重点ＡＦに切り替わった状態を示している。従来であれば、重点枠１２０１が画面中央に配置されるが、本第２の実施形態では、図１３（ｅ）で検出された合焦検出領域１３０４の部分に、重点枠１３０５を配置する。これにより、横向きの主被写体１３０３に対して、ＡＦ制御を行うことが可能になる。

このように、ＡＦ制御の切り替わり時に、ＡＦ枠４００を配置し、合焦状態に近い枠を選択し、重点枠１２０１の位置を変更させることで、顔検出が不安定な状況でも、主被写体に合焦させ続けることが可能になる。

また、本第２の実施形態は、マニュアルフォーカスの操作においても効果がある。図１３（ｇ）〜（ｉ）は、マニュアルフォーカスの操作時の課題を説明する図である。

図１３（ｇ）は、雑被写体１３０７に対して、中央重点ＡＦにより合焦動作をしている状態を示している。主被写体１３０６は、至近側の被写体であり、画面の中央から外れた場所に位置している。主被写体１３０６は画面中央から外れているため、中央重点ＡＦでの対象となる被写体にはならない。

図１３（ｈ）は、図１３（ｇ）の主被写体１３０６に対して、外部からのマニュアルフォーカス操作により、合焦させようと制御している状態である。これは、レンズ操作部１０７により、ユーザーがフォーカスリング等を操作することにより、雑被写体１３０７から主被写体１３０６にピントを変更している状態である。この場合、領域１３０８で示した部分が合焦状態であるとユーザーが判断した場合、ユーザーはフォーカス操作を停止する。

図１３（ｉ）は、図１３（ｈ）の状態で、中央重点ＡＦに切り替わった状態を示している。図１２で説明した重点枠１２０１が画面中央に設定され、雑被写体１３０７に対して合焦動作を行う。

以上説明したように、ユーザーがフォーカス操作をして中央以外の被写体に合焦させた場合でも、フォーカス操作の終了により、中央重点ＡＦに戻ってしまうため、被写体があるにも関わらず、画面中央の雑被写体１３０７に合焦してしまうことがある。

続いて、図１３（ｊ）〜（ｌ）は、第２の実施形態のマニュアルフォーカスの操作時の効果を説明する図である。図１３（ｊ）は雑被写体１３０７に対して、中央重点ＡＦにより合焦動作をしている状態を示している。図１３（ｇ）と同じであるので、説明は省略する。

図１３（ｋ）は、図１３（ｊ）の主被写体１３０６に対してマニュアルフォーカス操作により、合焦させようと制御している状態である。この状態において、ＡＦ枠４００を配置し、焦点検出処理を行う。焦点検出結果から、現在の合焦状態に近い焦点検出領域を選択する。選択した焦点検出領域は複数あり、図１３（ｋ）の網掛けで示す領域が、合焦検出領域１３０９である。

図１３（ｌ）は、図１３（ｋ）の状態で、（中央）重点ＡＦに切り替わった状態を示している。図１３（ｋ）で検出された合焦検出領域１３０９の部分に、重点枠１２０１を配置する。これにより、マニュアルフォーカスの操作によって被写体を変更した場合においても、ユーザーが狙った被写体に対してＡＦ制御を行うことが可能になる。

このように、ＡＦ制御の切り替わり時及びフォーカス操作終了時に、現在の合焦状態に近い枠を選択し、重点枠１２０１の位置を変更させることで、ユーザーが狙った主被写体に対して合焦させ続けることが可能になる。

次に、上記制御を実現するための処理について、図１４〜図１６のフローチャートを用いて説明する。図１４は、重点枠計算処理を説明するためのフローチャートである。これは、前述した図８の処理に対して、Ｓ１４０１の重点枠選択処理が追加されたものである。それ以外の処理は図８における処理と同様であるため、同じステップ番号を付し、説明を省略する。

続いて、図１５を用いて、Ｓ１４０１で行われる重点枠選択処理について説明する。Ｓ１５００において、モードが切り替えられたかどうかを判定し、切り替えられていなければ、図１４の処理に戻り、切り替えられていれば、Ｓ１５０１に進む。Ｓ１５０１では、前回のモードが所定のモードであったかを判定する。第２の実施形態では、所定のモードに、顔検出ＡＦモード及びマニュアルフォーカス（ＭＦ）モードを含む。所定のモードであった場合は、Ｓ１５０２に遷移し、そうでない場合はＳ１５０４に遷移する。

Ｓ１５０２では、合焦検出枠を設定する処理を行う。ここでは、焦点検出領域４０１のうち、前回の焦点検出処理で合焦していた焦点検出領域を検出し、これに基づいて、合焦検出枠を設定する。なお、この処理に関しては、図１６を用いて、詳細に後述する。

Ｓ１５０３では、重点枠１２０１をＳ１５０２で設定された合焦検出枠に設定する。Ｓ１５０４では、重点枠１２０１が中央（初期位置）に設定されているかどうかの判定を行う。中央に設定されている場合は、処理を終了し、そうでない場合は、Ｓ１５０５に進む。

Ｓ１５０５では、設定された重点枠１２０１のデフォーカス量が、閾値以上かどうかの判定を行う。第２の実施形態では、閾値を焦点深度の５倍と設定し、焦点深度の５倍以上ボケている場合は、被写体が変わったと判定し、Ｓ１５０７に遷移する。閾値未満の場合は、Ｓ１５０６に遷移する。

Ｓ１５０６では、被写体が変わっていないと判定して、重点枠１２０１を維持し、処理を終了する。Ｓ１５０７では、被写体が変更になっている可能性があるため、重点枠１２０１を画面中央に戻し、処理を終了する。

続いて、図１６を用いて、Ｓ１５０２で行われる合焦検出枠設定処理について説明する。Ｓ１６０１では、前回のモードが顔検出ＡＦモードか否かを判定し、顔検出ＡＦモードである場合は、Ｓ１６０２に遷移し、そうでない場合は、Ｓ１６０８に遷移する。

Ｓ１６０２では、主被写体が画面内に留まっているか否かを判定する。この処理は、主被写体が画面内から画面外に移動したことにより、顔枠が消失したのか、主被写体が画面内に留まっているのかの判定を、顔の移動量と位置から判断する。判定は、下記２つの条件を両方満たしているかどうかで判断する。
判定（１）：顔枠の上下方向または左右方向の移動量が所定量を超えた場合
判定（２）：モード切り替え時の顔枠の位置が画面端であった場合

判定（１）は、人物の移動の有無を判定し、判定（２）は、移動した状態で画面外に消えたかの判定することを目的としている。

ここでは一例として、判定（１）の所定量を、画面内の１／３以上の変化があった場合とする。判定（１）と判定（２）を両方満たしていない場合、画面内に主被写体が留まっていると判定し、Ｓ１６０３に遷移し、そうでない場合は、Ｓ１６０７に遷移する。

Ｓ１６０３では、ＡＦ枠４００から、前回の顔枠の位置に相当する焦点検出領域のデフォーカス量を取得し、次のＳ１６０４では、Ｓ１６０３で取得したデフォーカス量から、合焦範囲内である焦点検出領域の数を検出する。Ｓ１６０５では、Ｓ１６０４で検出した焦点検出領域の数が所定数以上あるかどうかの判定を行う。これは、被写体の確からしさを検証する処理である。ここでは一例として、所定数を、顔枠の面積の半分以上に相当する枠数とする。Ｓ１６０４で検出した焦点検出領域の数が所定数以上である場合はＳ１６０６に遷移し、そうでない場合は、Ｓ１６０７に遷移する。

Ｓ１６０６では、顔枠の位置に相当する枠を中心として合焦検出枠（３ｘ３の焦点検出領域）を設定し、処理を終了する。Ｓ１６０７では、中央枠（３ｘ３の焦点検出領域）を合焦検出枠として設定する。

一方、Ｓ１６０８では、前回のモードがＭＦモードかどうかを判定し、ＭＦモードである場合は、Ｓ１６０９に遷移し、そうでない場合は、Ｓ１６０７に遷移する。

Ｓ１６０９では、ＡＦ枠４００の全焦点検出領域４０１（９ｘ９）のデフォーカス量を取得し、Ｓ１６１０において、全焦点検出領域４０１のうち、合焦範囲内の焦点検出領域を検出する。Ｓ１６１１では、所定数以上隣接した合焦範囲内の焦点検出領域があるかどうかの判定を行う。これは、被写体の確からしさを検証する処理である。ここでは一例として、所定数は２以上とする。所定数以上隣接した合焦範囲内の焦点検出領域がある場合は、Ｓ１６１４に遷移し、そうでない場合は、Ｓ１６１２に遷移する。

Ｓ１６１２では、全ての焦点検出領域４０１の焦点検出結果から、現在の焦点位置から所定の焦点深度内の焦点検出領域を検出する。ここでは一例として、所定の焦点深度内を３深度以内とする。これは、主被写体の移動などにより、モード切り替え時に合焦状態でなくなった主被写体に対する対応である。そして、Ｓ１６１３において、所定数以上の隣接した３深度以内の焦点検出領域があるかの判定を行う。ここでは一例として、所定数を２以上とする。所定数以上隣接した３深度以内の焦点検出領域枠がある場合は、Ｓ１６１４に遷移し、そうでない場合は、Ｓ１６０７に遷移する。

Ｓ１６１４では、所定数以上隣接した合焦範囲内または３深度以内の焦点検出領域の中心を中心とした合焦検出枠（３ｘ３の焦点検出領域）を設定し、処理を終了する。

なお、合焦検出枠は第２の実施形態では、３ｘ３枠としているが、これは重点枠１２０１と同じサイズに設定しているためであり、重点枠のサイズに応じて変更してもよい。

以上説明したように第２の実施形態によれば、顔検出モードやマニュアルフォーカスモードなどにより、主被写体が画面中央以外に位置されている状態から、例えば、中央重点ＡＦ方式に切り替わった場合においても、被写体を捉え続けることが可能になる。

＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明をその好適な実施形態に基づいて詳述したが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

２０：カメラ本体、１０３：フォーカスレンズ、１０６：レンズ制御部、２０１：撮像素子、２０４：ＡＦ信号処理部、２０５：表示部、２０７：カメラ制御部、２１０：ＡＦ信号生成部、２１１：顔検出処理部

Ｓ３０３において、カメラ制御部２０７は、ＡＦ枠の表示処理を行う。これは、ユーザーが指定したＡＦ枠を表示部２０５等のモニターに視覚的に表示し、焦点検出を行う領域をユーザーに対し明示的に示すことで、撮影対象の被写体をフレーミングし易くする目的で行う。なお、本実施形態では、ユーザーが指定したＡＦ枠に対し、ＡＦ枠の範囲を格子状の領域に分割した複数の焦点検出領域を内部で設定するが、表示部２０５には内部で設定した焦点検出領域は表示せずに、ユーザーが指定したＡＦ枠を表示する処理を行う。ＡＦ枠を表示する処理が終了すると、ＡＦ処理が終了する。

本実施形態では、補正枠における焦点検出結果も所定数より少ない場合は、補正枠有効フラグを０にして補正処理を行わず、重点枠１２０１の結果に基づいてその後の処理を行うが、フォーカスレンズを一時的に停止して焦点調節制御を行わないようにしてもよい。

Ｓ１６１２では、全ての焦点検出領域４０１の焦点検出結果から、現在の焦点位置から所定の焦点深度内の焦点検出領域を検出する。ここでは一例として、所定の焦点深度内を３深度以内とする。これは、主被写体の移動などにより、モード切り替え時に合焦状態でなくなった主被写体に対する対応である。そして、Ｓ１６１３において、所定数以上の隣接した３深度以内の焦点検出領域があるかの判定を行う。ここでは一例として、所定数を２以上とする。所定数以上隣接した３深度以内の焦点検出領域がある場合は、Ｓ１６１４に遷移し、そうでない場合は、Ｓ１６０７に遷移する。

Claims (19)

1. 撮像素子から、視差を有する一対の焦点検出信号を取得可能に、像信号を周期的に取得する取得手段と、
   前記一対の焦点検出信号の位相差を用いて、予め決められた第１の領域の焦点状態を検出するとともに、前記第１の領域の焦点状態が、予め決められた第１の範囲内に無い場合に、前記第１の領域の周辺領域に配置された第２の領域から得られた前記一対の焦点検出信号の位相差を用いて焦点状態を検出する焦点検出手段と、
   前記焦点検出手段により検出された焦点状態に基づいて焦点調節をするように制御する制御手段とを有し、
   前記制御手段は、前記第２の領域の焦点状態が予め決められた第２の範囲内にある場合に、前記第２の領域の焦点状態に基づいて焦点調節をするように制御し、前記焦点検出手段により前記第１の領域の焦点状態に基づいて、より至近側に被写体があることが判定された場合に、前記第２の領域の焦点状態の検出の有無に関わらず、前記第１の領域の焦点状態に基づいて焦点を調節するように制御することを特徴とする焦点調節装置。
2. 前記焦点検出手段は、前記第１の領域を複数の焦点検出領域に分割し、各焦点検出領域について前記一対の焦点検出信号の位相差を用いてデフォーカス量を求め、予め決められた第３の範囲以上、至近側を示すデフォーカス量を有する焦点検出領域の数が予め決められた数よりも多い場合に、より至近側に被写体があると判定することを特徴とする請求項１に記載の焦点調節装置。
3. 前記第３の範囲は、焦点深度に基づいて決められていることを特徴とする請求項２に記載の焦点調節装置。
4. 前記制御手段が、前記第２の領域の焦点状態に基づいて焦点調節をするように制御している場合に、前記焦点検出手段は、前記第１の領域および前記第２の領域それぞれについて前記一対の焦点検出信号の位相差を用いてデフォーカス量を求め、前記第２の領域のデフォーカス量よりも前記第１の領域のデフォーカス量が至近側のデフォーカス量を示す場合に、より至近側に被写体があると判定することを特徴とする請求項１に記載の焦点調節装置。
5. 前記焦点検出手段は、前記第２の領域のデフォーカス量よりも前記第１の領域のデフォーカス量が所定の焦点深度以上、至近側のデフォーカス量を示す場合に、より至近側に被写体があると判定することを特徴とする請求項４に記載の焦点調節装置。
6. 前記焦点検出手段は、前記第１の領域を複数の焦点検出領域に分割し、各焦点検出領域について前記一対の焦点検出信号の位相差を用いてデフォーカス量を求め、該デフォーカス量が前記第１の範囲内にある前記焦点検出領域の数が第１の閾値以上の場合に、デフォーカス量が前記第１の範囲内にある前記焦点検出領域のデフォーカス量を用いて焦点検出を行うことを特徴とする請求項１乃至５のいずれか１項に記載の焦点調節装置。
7. 前記焦点検出手段は、デフォーカス量が前記第１の範囲内にある前記焦点検出領域の数が前記第１の閾値未満の場合に、前記第２の領域を複数の焦点検出領域に分割し、各焦点検出領域について前記一対の焦点検出信号の位相差を用いてデフォーカス量を求め、該デフォーカス量が前記第２の範囲内にある前記第２の領域における前記焦点検出領域の数が第２の閾値以上の場合に、デフォーカス量が前記第２の範囲内にある前記焦点検出領域のデフォーカス量を用いて焦点検出を行うことを特徴とする請求項６に記載の焦点調節装置。
8. 前記焦点検出手段は、デフォーカス量が前記第２の範囲内にある前記第２の領域における前記焦点検出領域の数が前記第２の閾値未満の場合に、前記第１および第２の領域を含む第３の領域を複数の焦点検出領域に分割し、各焦点検出領域について前記一対の焦点検出信号の位相差を用いてデフォーカス量を求め、該デフォーカス量が予め決められた第４の範囲内にある前記第３の領域における前記焦点検出領域のデフォーカス量を用いて焦点検出を行うことを特徴とする請求項７に記載の焦点調節装置。
9. 前記焦点検出手段は、デフォーカス量が前記第４の範囲内にある前記第３の領域における前記焦点検出領域の数が第３の閾値未満である場合に、焦点検出ができなかったと判定することを特徴とする請求項８に記載の焦点調節装置。
10. 前記第１の範囲および前記第２の範囲は、焦点深度に基づいて決められていることを特徴とする請求項１乃至９のいずれか１項に記載の焦点調節装置。
11. 予め決められた被写体を検出し、該検出した被写体の領域の位置に前記第１の領域を設定する第１の設定手段を更に有することを特徴とする請求項６に記載の焦点調節装置。
12. 前記第１の設定手段は、前記被写体を検出できていた状態から、前記被写体を検出できなくなり、且つ、デフォーカス量が前記第１の範囲内にある前記焦点検出領域の数が前記第１の閾値より少ない場合に、前記第１の領域を予め決められた領域に変更することを特徴とする請求項１１に記載の焦点調節装置。
13. 外部より指定された位置に前記第１の領域を設定する第２の設定手段を更に有することを特徴とする請求項６、１１、１２のいずれか１項に記載の焦点調節装置。
14. 前記第２の設定手段は、前記外部より位置が指定されなくなった場合に、前記第１および第２の領域を含む第３の領域を複数の焦点検出領域に分割し、各焦点検出領域について前記一対の焦点検出信号の位相差を用いてデフォーカス量を求め、前記焦点検出領域が予め決められた条件を満たす場合に、前記条件を満たす前記焦点検出領域のデフォーカス量を用いて焦点検出を行うことを特徴とする請求項１３に記載の焦点調節装置。
15. 前記第２の設定手段は、前記条件を満たす焦点検出領域が無い場合に、前記第１の領域を予め決められた領域に設定することを特徴とする請求項１４に記載の焦点調節装置。
16. 前記条件は、該デフォーカス量が予め決められた第４の範囲内にある前記第３の領域における前記焦点検出領域が、予め決められた数以上隣接していることを特徴とする請求項１４または１５に記載の焦点調節装置。
17. 取得手段が、撮像素子から、視差を有する一対の焦点検出信号を取得可能に、像信号を周期的に取得する取得工程と、
    焦点検出手段が、前記一対の焦点検出信号の位相差を用いて、予め決められた第１の領域の焦点状態を検出する第１の焦点検出工程と、
    前記焦点検出手段が、前記第１の領域の焦点状態が、予め決められた第１の範囲内に無い場合に、前記第１の領域の周辺領域に配置された第２の領域から得られた前記一対の焦点検出信号の位相差を用いて焦点状態を検出する第２の焦点検出工程と、
    制御手段が、前記焦点検出手段により検出された焦点状態に基づいて焦点調節をするように制御する制御工程とを有し、
    前記制御工程では、前記第２の領域の焦点状態が予め決められた第２の範囲内にある場合に、前記第２の領域の焦点状態に基づいて焦点調節をするように制御し、前記焦点検出手段により前記第１の領域の焦点状態に基づいて、より至近側に被写体があることが判定された場合に、前記第２の領域の焦点状態の検出の有無に関わらず、前記第１の領域の焦点状態に基づいて焦点を調節するように制御することを特徴とする焦点調節方法。
18. コンピュータに、請求項１乃至１６のいずれか１項に記載の焦点調節装置の各手段として機能させるためのプログラム。
19. 請求項１８に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。