JP2017198943A

JP2017198943A - 撮像装置および撮像装置の制御方法

Info

Publication number: JP2017198943A
Application number: JP2016091585A
Authority: JP
Inventors: 英育本宮; Hideyasu Motomiya
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-04-28
Filing date: 2016-04-28
Publication date: 2017-11-02

Abstract

【課題】焦点検出が可能な領域が限られている場合に、被写体の移動が発生したとしても、被写体領域に対して安定した焦点検出を可能にする。【解決手段】撮像装置は、第１の領域に含まれる画素部から第１の信号を読み出す第１の読み出し制御と、第２の領域に含まれる画素部から第２の信号を読み出す第２の読み出し制御とが可能な撮像素子と、少なくとも第２の信号を用いて第１の周期で焦点検出する焦点検出手段と、第１の信号から検出された所定の被写体領域の情報を第２の周期で取得する取得手段と、所定の被写体領域の情報に基づいて、第２の領域を設定する設定手段とを有する。第２の領域は、第１の領域に含まれる領域であって、第１の周期が第２の周期よりも短い場合、設定手段は、取得手段により所定の被写体領域の情報が取得されるタイミングに応じて、第２の領域の設定を変更する。【選択図】図３

Description

本発明は、焦点検出に用いる信号を取得可能な撮像素子を備えた撮像装置に関するものである。

デジタルカメラなどの撮像装置で用いられる焦点検出の１つとして、撮像素子から取得された信号により位相差検出方式の焦点検出を行う撮像面位相差検出方式の焦点検出がある。撮像面位相差検出方式の焦点検出が可能な撮像素子の一例として、各画素部において１つのマイクロレンズに対応して複数のフォトダイオードを備えることにより、各フォトダイオードにおいて撮影光学系の異なる瞳領域を通過した光を受光する構成が知られている。この構成により、各フォトダイオードからの信号を用いて相関演算を行うことで焦点検出が可能となるとともに、複数のフォトダイオードの信号を合成して撮像信号を取得することができる。

上述のように各画素部が複数のフォトダイオードを有する場合には、全ての信号を読み出すのに長い時間を要してしまう。一方、近年の４Ｋや８Ｋカメラなどのように高解像度化や、高速撮影が可能なハイスピードカメラなどのようにフレームレートの高速化が進むにつれて、焦点検出信号を読み出す時間や、読み出した焦点検出信号の演算処理時間に対する制限が大きくなる。

このような課題に対して、特許文献１では、焦点検出に用いる信号を読み出す領域を、画面内の一部の領域に限定する構成が開示されている。

特開２０１６−０２１０５２号公報

人物の顔など特定の被写体にピントが合うように焦点調節制御を行う場合には、通常、取得された被写体領域の情報に基づいて焦点検出領域が設定され、焦点検出領域から取得された信号を用いて焦点検出が行われる。

しかしながら、特許文献１のように焦点検出用の信号を読み出す領域を限定すると、特に被写体の移動が発生した場合、被写体情報が取得されるタイミングによっては、焦点検出信号が読み出された領域に必ずしも被写体が含まれていないおそれがある。

上記課題に鑑みて、本発明は、焦点検出が可能な領域が限られている場合に、被写体の移動が発生したとしても、被写体領域に対して安定した焦点検出を可能にすることを目的とする。

上記目的を達成するために、本発明に係る撮像装置は、二次元状に配置された複数の画素部を備え、第１の領域に含まれる画素部から第１の信号を読み出す第１の読み出し制御と、第２の領域に含まれる画素部から第２の信号を読み出す第２の読み出し制御とが可能な撮像素子と、少なくとも前記第２の信号を用いて第１の周期で焦点検出する焦点検出手段と、前記第１の信号から検出された所定の被写体領域の情報を第２の周期で取得する取得手段と、前記所定の被写体領域の情報に基づいて、前記第２の領域を設定する設定手段と、を有し、前記第２の領域は、前記第１の領域に含まれる領域であって、前記第１の周期が前記第２の周期よりも短い場合、前記設定手段は、前記取得手段により前記所定の被写体領域の情報が取得されるタイミングに応じて、前記第２の領域の設定を変更することを特徴とする。

本発明によれば、焦点検出が可能な領域が限られている場合に、被写体の移動が発生したとしても、被写体領域に対して安定した焦点検出が可能になる。

本実施形態係る撮像装置の一例としてのレンズ交換式カメラの機能構成例を示すブロック図非撮像面位相差検出方式および撮像面位相差検出方式の画素部の配列を示す図本実施形態における像データの取得領域の設定を説明する図本実施形態における課題と本実施形態の概要を説明する図本実施形態における撮影処理を示すフローチャート本実施形態における初期化処理を示すフローチャート本実施形態における動画撮影処理を示すフローチャート本実施形態における焦点検出処理を示すフローチャート本実施形態における焦点検出処理で取り扱う焦点検出範囲と焦点検出領域の一例を模式的に示した図本実施形態における焦点検出領域から得られる像信号の例を示す図本実施形態における相関量波形および相関変化量波形を示す図図１１（ｂ）の相関変化量波形の一部および図１１（ａ）の相関量波形の一部を示す図本実施形態におけるＡＦ処理を示すフローチャート本実施形態におけるレンズ駆動設定処理を示すフローチャート本実施形態におけるレンズ駆動処理を示すフローチャート本実施形態におけるＡＦ再起動判定処理を示すフローチャート本実施形態におけるＡＦ領域算出処理を示すフローチャート本実施形態におけるＡＦ領域設定処理を示すフローチャート本実施形態におけるＡＦ領域一致度算出処理を示すフローチャート

以下、添付図面を参照して本発明の実施形態を詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明は以下の実施形態に限定されるものではない。

図１は、本実施形態に係る撮像装置の一例としてのレンズ交換式カメラの機能構成例を示すブロック図である。図１に示すように、本実施形態に係る撮像装置は、交換可能なレンズユニット１０及びカメラ本体２０から構成されている。レンズユニット全体の動作を統括制御するレンズ制御部１０６と、カメラシステム全体の動作を統括するカメラ制御部２１２とは、レンズマウントに設けられた端子を介して相互に情報を通信可能である。

まず、レンズユニット１０の構成について説明する。ズームレンズ１０１、絞り１０２、フォーカスレンズ１０３は撮影光学系を構成する。ズームレンズ１０１は、光軸方向に移動されることによって焦点距離が変更され、像の倍率を変更する（変倍）機能を有する。ズームレンズ１０１は不図示の操作部材を用いて手動で移動される構成としてもよいし、駆動部を設けて電動ズームを行う構成としてもよい。絞り１０２は、絞り駆動部１０４によって駆動され、後述する撮像素子２０１への入射光量を制御する。フォーカスレンズ１０３は、フォーカスレンズ駆動部１０５によって駆動され、後述する撮像素子２０１に結像する焦点位置の調節を行う。絞り駆動部１０４とフォーカスレンズ駆動部１０５は、レンズ制御部１０６によって制御され、絞り１０２の開口量や、フォーカスレンズ１０３の位置が決定される。

レンズ操作部１０７は、ユーザがレンズユニット１０の動作に関する設定を行うための入力デバイス群である。レンズ操作部１０７がユーザによって操作された場合、レンズ制御部１０６が操作に応じた制御を行う。レンズ制御部１０６は、後述するカメラ制御部２１２から受信した制御命令や制御情報に応じて絞り駆動部１０４やフォーカスレンズ駆動部１０５の制御を行い、また、レンズ制御情報をカメラ制御部２１２に送信する。

次に、カメラ本体２０の構成について説明する。カメラ本体２０は、レンズユニット１０の撮影光学系を通過した光束から撮像信号を取得できるように構成されている。撮像素子２０１は、ＣＣＤやＣＭＯＳセンサを備えて構成される。レンズユニット１０の撮影光学系を通過した光束は撮像素子２０１の受光面上に結像し、撮像素子２０１の画素部に設けられたフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、カメラ制御部２１２の指令に従ってタイミングジェネレータ２１５から与えられる駆動パルスにより、信号電荷に応じた電圧信号として撮像素子２０１から順次読み出される。

本実施形態の撮像素子２０１は、二次元状に複数の画素部が配置され、１つの画素部に複数のフォトダイオードが設けられており、撮像面位相差検出方式による自動焦点調節（以下、撮像面位相差ＡＦ）に用いる像信号を生成可能である。図２（ａ）は、撮像面位相差ＡＦに対応していない画素部の配列、図２（ｂ）は、撮像面位相差ＡＦに対応した画素部の配列を模式的に示している。なお、ここではいずれの場合もベイヤ配列の原色カラーフィルタが設けられているものとする。撮像面位相差ＡＦに対応した図２（ｂ）の画素部の配列では、図２（ａ）における１つの画素部が紙面水平方向に２分割されており、１つのマイクロレンズ（不図示）に対してＡＢ２つのフォトダイオードが設けられている。なお、図２（ｂ）に示した分割方法は一例であり、他の方法を用いたり、画素部によって異なる分割方法が適用されてもよい。

各画素部に入射する光束をマイクロレンズで分離し、画素部に設けられた２つのフォトダイオードで受光することで、１つの画素部で撮像用とＡＦ用（焦点検出用）の２つの信号が取得できる。つまり、画素部内の２つのフォトダイオードの信号を合成した信号（Ａ＋Ｂ）が撮像信号であり、個々のフォトダイオードで得られる信号（Ａ、Ｂ）がＡＦ用の２つの像信号である。撮像面位相差ＡＦで用いる１対の像信号は、複数のＡ画素部と複数のＢ画素部の出力から得られる。ＡＦ用信号を基に、後述するＡＦ信号処理部２０４で２つの像信号に対して相関演算を行い、像ずれ量や各種信頼性情報を算出する。

なお、撮像信号及び２つのＡＦ用像信号の計３信号を撮像素子２０１から読み出してもよいが、本実施形態はこのような方法に限定されない。撮像素子２０１の負荷を考慮し、撮像信号と１つのＡＦ用像信号（例えばＡ画素部の信号）を読み出し、撮像信号とＡＦ用信号の差分をもう１つのＡＦ用像信号として用いてもよい。

ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２は、撮像素子２０１から読み出された撮像信号及びＡＦ用信号に対し、リセットノイズを除去する為の相関二重サンプリング、ゲインの調節、信号のデジタル化を行う。ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２は、撮像信号を画像入力コントローラ２０３に、撮像面位相差ＡＦ用の信号をＡＦ信号処理部２０４にそれぞれ出力する。

画像入力コントローラ２０３は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２から出力された撮像信号をバス２１を介してＳＤＲＡＭ２０９に格納する。ＳＤＲＡＭ２０９に格納された画像信号は、バス２１を介して表示制御部２０５によって読み出され、表示部２０６に表示される。また、撮像信号の記録を行うモードでは、ＳＤＲＡＭ２０９に格納された画像信号は、記録媒体制御部２０７によって記録媒体２０８に記録される。

ＲＯＭ２１０には、カメラ制御部２１２が実行する制御プログラム及び制御に必要な各種データ等が格納されており、フラッシュＲＯＭ２１１には、ユーザ設定情報等のカメラ本体２０の動作に関する各種設定情報等が格納されている。

ＡＦ信号処理部２０４は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２から出力されたＡＦ用の２つの像信号に対して相関演算を行い、像ずれ量、信頼性情報（二像一致度、二像急峻度、コントラスト情報、飽和情報、キズ情報等）を算出する。ＡＦ信号処理部２０４は、算出した像ずれ量および信頼性情報をカメラ制御部２１２へ出力する。

カメラ制御部２１２は、ＡＦ信号処理部２０４が求めた像ずれ量や信頼性情報を基に、必要に応じてＡＦ信号処理部２０４の設定を変更する。例えば、像ずれ量が大きい場合に相関演算を行う領域を広く設定したり、コントラスト情報に応じてバンドパスフィルタの種類を変更したりする。相関演算の詳細については、図９から図１２を用いて後述する。

顔検出部２１６は、撮像信号に対して公知の顔検出処理を施して、撮影画面内の人物の顔を検出し、検出結果をカメラ制御部２１２に送信する。カメラ制御部２１２は、顔検出部２１６の検出結果に基づき、撮影画面内の顔を含む領域にＡＦ領域を設定するようにＡＦ信号処理部２０４へ情報を送信する。ここで、顔検出部２１６が複数の人物の顔を検出した場合には、不図示の主顔判定処理部によって最も優先と判断された顔を主顔とする。主顔を判断するための優先順位は、例えば顔の位置や顔のサイズ等に基づいて決定されるが、撮影者の指示によって優先順位を決めてもよい。例えば、撮影者の指示によって選択された顔の優先度を最も高く、続いて顔の位置が画面中央に近い程、顔のサイズが大きい程優先度が高くなるように判定を行う。但し、優先順位の決め方はこの限りではない。

なお、顔検出処理としては、例えば、画像データで表される各画素の階調色から肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法がある。あるいは、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法がある。本実施形態では、顔検出処理の方法については上述した方法に限られず、どのような方法であってもよい。

追尾処理部２１７は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２から出力された撮像信号から時刻の異なる画像を取得して画像の特徴量を抽出し、特徴量が類似する領域を探索する追尾処理を行う。基準画像が登録されていない初期動作時には、後述するカメラ操作部２１４の操作に基づく情報や顔検出部２１６の検出結果に基づく画像内の部分領域を基準画像とする。そして、追尾処理部２１７は、基準画像から色情報を抽出し、追尾する被写体の特徴量として登録する。追尾処理部２１７は、抽出した追尾対象被写体の特徴量を基に、現在のフレームにおける撮像信号の画像と基準画像とのマッチング処理を行う。追尾処理部２１７は、マッチング処理により、現在のフレームで取得された撮像信号に基づく画像において、基準画像と最も相関度が高い領域を目的とする特定の領域として抽出する。そして、追尾処理部２１７は、相関度に応じて追尾を継続するかどうかを判定する。また、追尾処理部２１７は、相関度に基づく追尾の状態を信頼度（追尾処理の信頼度）として算出してカメラ制御部２１２に送る。追尾状態の信頼度は、ＡＦ制御（フォーカス制御）のパラメータとして使用される。

カメラ制御部２１２は、カメラ本体２０内の各ブロックと情報をやり取りして制御を行う。カメラ制御部２１２は、カメラ本体２０内の処理だけでなく、カメラ操作部２１４からの入力に応じて、電源のＯＮ／ＯＦＦ、設定の変更、記録の開始、ＡＦ制御の開始、記録映像の確認等の、ユーザが操作した様々なカメラ機能を実行する。また、カメラ制御部２１２は、レンズユニット１０内のレンズ制御部１０６と情報を通信し、撮影光学系の制御命令や制御情報を送ったり、レンズユニット１０の情報を取得する。

次に、本実施形態の概要とその効果について、図３及び図４を用いて説明する。本実施形態では、撮像面位相差ＡＦを行う際に、撮像素子２０１で生成される信号の読み出しに制限があり、１フレーム期間に焦点検出に用いる信号（ＡＦ用像信号）を読み出すことが可能な領域が制限される場合を想定している。これは、高解像度化や高速撮影が可能なハイスピードカメラなどのようにフレームレートの高速化が進むにつれて、所定時間で読み出せるＡＦ用像信号に限りがあったり、読み出したＡＦ用像信号を用いた位相差方式の演算処理時間にも限りがあるためである。上述したように、撮像信号及び２つのＡＦ用像信号の計３信号を読み出す場合には、２つのＡＦ用像信号を読み出す領域が制限される。あるいは、撮像信号と１つのＡＦ用像信号を読み出し、これらの差分をもう１つのＡＦ用像信号とする場合には、１つのＡＦ用像信号を読み出す領域が制限される。なお、複数の異なるフレームレートが設定可能で、第１のフレームレートでは上記の制限が発生せず、第１のフレームレートよりも高い第２のフレームレートでは上記の制限が発生するような場合も本実施形態の範囲内である。

図３（ａ）〜（ｃ）では、顔検出部２１６によって検出された顔の領域と、焦点検出に使用する像データ（以下、単に像データとも言う）の読み出し領域を示している。図３（ａ）では、画面３０１の中に、顔検出部２１６によって検出された顔３０２がある。一般的なＡＦの場合、顔３０２の領域に基づいてＡＦ領域が設定されるが、上述したような制限があり、画面内の一部の領域（ここでは例として画面全体の約２０％とする）の像データしか読み出せないという制約がある。

そこで、図３（ｂ）に示すように、顔３０２に対応する領域３０３の像データを読み出してＡＦ領域３１２を設定する。あるいは、図３（ｃ）に示すように、画面全体に対して４％の領域を５本間引いて配置し、合計で２０％になるような領域３０５の像データを読み出す。この場合、ＡＦ領域３１２よりも大きいＡＦ領域３１３を設定することができる。図３（ｂ）の例では隙間なく像データを得ることができるので、高い精度の焦点検出結果が得られるが、検出領域が小さくなるため、大きなＡＦ領域が設定できない。一方、図３（ｃ）の例では、読み出し領域の間に隙間が空いてしまうことにより、焦点検出精度は低下するが、より広範囲の焦点検出結果を取得できるというメリットがある。

ここで、焦点検出に使用する像データの読み出しに制限がある場合の課題と本実施形態による効果について、図４を用いて説明する。図４では、焦点検出が行われる周期が、顔検出結果が取得される周期よりも短い場合を想定している。ここでは撮像周期で焦点検出の演算が行われる場合を例に説明するが、この限りではない。以下では、撮像周期を６０Ｈｚ（焦点検出もこの周期で行われる）、顔検出結果が取得される周期を３０Ｈｚとして説明する。

図４（ａ）は、顔検出を行う場合における、画像の読み出し、焦点検出演算、顔領域の取得のそれぞれのタイミングを示した図である。破線４０１は周期的に発生する垂直同期信号を示し、それに応じて１フレームの画像４０２が読み出される。また、顔検出部２１６により画像から検出された顔領域４０４が示されている。１フレーム期間において、上述した合成信号（Ａ＋Ｂ）の読み出しと、信号（Ａ）と信号（Ｂ）のうち少なくとも一方の読み出しが行われる。

まず、第一の顔４０３が含まれる画像を１フレーム目とすると、顔検出部２１６による検出結果（顔の位置とサイズ）は４フレーム目で第一の顔領域４０４として取得される。第一の顔領域４０４が取得された後、カメラ制御部２１２は、ＡＦ領域を決定するため、撮像素子２０１に対して領域４０５の像データを読み出すように設定し、５フレーム目において像データが読み出される。ここでは、図３（ｂ）で説明したように、像データを読み出す領域を間引かないように設定することとする。ＡＦ信号処理部２０４は、５フレーム目で読み出された像データを用いて演算処理４０６を行い、焦点検出結果が得られる。

ここで、第一の顔４０３が画面下のほうに移動した場合（移動後の顔を第二の顔４０８とする）、第二の顔４０８が含まれる画像を３フレーム目とすると、顔検出部２１６による検出結果として第二の顔領域４０９が取得されるのは６フレーム目である。この場合、第二の顔領域４０９と像データが読み出される領域４０５の範囲が異なる。そのため、６フレーム目で読み出される像データを用いた演算処理４０７においては、移動後の顔領域が取得されていながら、顔領域と異なる領域の焦点検出結果を算出することになり、適切な焦点検出結果を用いてＡＦすることができない。

これは、顔検出結果が取得される周期が焦点検出演算の周期より長いことと、像データを読み出す範囲を顔領域が取得された後に設定する必要があることに起因する。そのため、顔検出結果が更新されないタイミングで顔が移動した場合、最新の顔検出結果に対応して像データを読み出すべき領域と実際に設定される読み出し領域とでズレが生じてしまう可能性がある。

そこで、本実施形態では、顔検出結果が更新されないタイミングでは、次のフレームで、像データの読み出し領域を図３（ｃ）で説明したように拡大した領域（間引かれた領域）に設定し、顔の移動に対応できるようにする。図４（ｂ）では、６フレーム目において、拡大した読み出し領域４１３が設定される例を示している。この場合、移動後の第二の顔４０８の検出結果である第二の顔領域４０９に読み出し領域４１３の像データが含まれるので、６フレーム目で読み出された像信号を用いた演算処理４１４において、第二の顔領域４０９に対応する焦点検出結果が得られる。すなわち、顔領域が更新されないタイミングで、カメラ制御部２１２は、次のフレームで顔の移動に備えて像データを読み出す範囲を拡大して（間引いて）設定する。これにより、顔領域が更新されないタイミングで顔が移動した場合でも、焦点検出精度は落ちるものの、より確実に最新の顔領域に対応した焦点検出結果を取得することができる。

また、顔検出結果が更新されるタイミングで、カメラ制御部２１２は、次のフレームで、図４（ａ）と同様に、検出された顔領域に基づいて間引かずに像データの読み出し領域を設定する。これにより、最新の顔領域に基づいて、高い精度で焦点検出を行うことができる。

像データの読み出し領域は、さらに顔の移動量や顔のサイズ変化に応じて設定される。例えば、図３（ｄ）のように顔３０２が移動量３０７だけ移動して顔３０６になった場合、カメラ制御部２１２は、顔３０２の位置から移動量３０７分だけオフセットした位置に後述する仮ＡＦ領域３１４を設定する。そして、カメラ制御部２１２は、仮ＡＦ領域３１４に基づいて像データの読み出し領域３０８を設定する。これにより、移動後の顔３０２の領域に対応する領域の焦点検出結果を使用してＡＦすることができる。

また、図３（ｆ）のように顔３０２が顔３０９のように拡大した場合、カメラ制御部２１２は、顔３０２のサイズを拡大率３１０だけ拡大したサイズの仮ＡＦ領域３１５を設定する。そして、カメラ制御部２１２は、仮ＡＦ領域３１５に基づいて像データの読み出し領域３１１を設定する。これにより、拡大後の顔３０９に対応する領域の焦点検出結果を使用してＡＦすることができる。

以上説明したように、顔検出結果の取得タイミングに応じて像データの読み出し領域を変更することにより、像データの読み出し領域に制限があっても、最新の顔検出結果に基づくＡＦ制御が可能になる。なお、像データの読み出しが制限される場合を想定して説明を行ったが、演算処理に制限がある場合には、顔検出結果の取得に応じて焦点検出演算処理に使用する範囲を変更してもよい。これにより、本実施形態と同様の効果が得られる。

次に、本実施形態におけるカメラ本体２０の動作について説明する。

図５は、カメラ本体２０の撮影処理の手順を示すフローチャートである。Ｓ５０１でカメラ制御部２１２は、カメラの初期化処理を行い、Ｓ５０２へ処理を進める。初期化処理の詳細については図６で後述する。Ｓ５０２でカメラ制御部２１２は、カメラ本体２０の撮影モードが動画撮影モードか静止画撮影モードかを判定し、動画撮影モードである場合はＳ５０３へ、静止画撮影モードである場合はＳ５０４へ処理を進める。Ｓ５０３でカメラ制御部２１２は、動画撮影処理を行い、Ｓ５０５へ処理を進める。Ｓ５０３の動画撮影処理の詳細については図７で後述する。Ｓ５０２で静止画撮影モードであれば、Ｓ５０４でカメラ制御部２１２は、静止画撮影処理を行いＳ５０５へ処理を進める。Ｓ５０４の静止画撮影処理の詳細については省略する。

Ｓ５０３で動画撮影処理、若しくはＳ５０４で静止画撮影処理を行った後に進むＳ５０５でカメラ制御部２１２は、撮影処理が停止されたかどうかを判断し、停止されていない場合はＳ５０６へ処理を進め、停止された場合は撮影処理を終了する。撮影処理が停止されたときとは、カメラの電源が切断されたときや、カメラのユーザ設定処理、撮影画像・動画の確認のための再生処理等、撮影以外の動作が行われたときである。Ｓ５０５で撮影処理が停止されていないと判断した後に進むＳ５０６でカメラ制御部２１２は、撮影モードが変更されたかどうかを判断し、変更されている場合はＳ５０１へ、変更されていない場合はＳ５０２へ、処理を戻す。撮影モードが変更されていなければ、カメラ制御部２１２は現在の撮影モードの処理を継続して行い、撮影モードが変更された場合は、カメラ制御部２１２はＳ５０１で初期化処理を行った上で変更された撮影モードの処理を行う。

次に、図５のＳ５０１の初期化処理について図６のフローチャートを用いて説明する。Ｓ６０１でカメラ制御部２１２は、カメラの各種初期値設定を行いＳ６０２へ処理を進める。撮影処理を開始または撮影モードが変更された時点におけるユーザ設定や撮影モード等の情報を基に、カメラ制御部２１２は初期値を設定する。

Ｓ６０２でカメラ制御部２１２は、合焦停止フラグをオフにしてＳ６０３に処理を進める。Ｓ６０３でカメラ制御部２１２は、サーチ駆動フラグをオフにしてＳ６０４に処理を進める。Ｓ６０４でカメラ制御部２１２は、予測ＡＦ領域使用許可フラグをオフにしてＳ６０５に処理を進める。Ｓ６０５でカメラ制御部２１２は、ＡＦ駆動許可フラグをオフにして処理を終了する。

Ｓ６０２でカメラ制御部２１２が初期化する合焦停止フラグは、動画撮影中に合焦したと判定しフォーカスレンズを停止している場合はオン、未だ合焦していないと判定しフォーカスレンズを駆動している場合はオフとなる。合焦停止フラグのオン／オフを切り替えることで、現在フォーカスレンズを駆動している状態なのか、停止している状態なのかを判別することが可能である。

Ｓ６０３で初期化するサーチ駆動フラグは、フォーカスレンズを駆動する際、撮像面位相差検出方式で検出したデフォーカス量が信頼できる場合にはオフ、信頼できない場合にはオンとなる。デフォーカス量が信頼できる場合とは、デフォーカス量の精度が確かである場合、またはデフォーカス方向は確かである場合、すなわち信頼性がある程度より高い状態である。例えば、主被写体に対して合焦近傍と判断される状態や、すでに合焦している状態である。このような状態ではデフォーカス量を信頼してフォーカスレンズの駆動を行う。デフォーカス量が信頼できない場合とは、デフォーカス量及び方向がいずれも確かであると判定できない場合、すなわち信頼性がある程度より低い状態である。例えば、主被写体に対して大きくボケている状態のようにデフォーカス量が正しく算出できないような状態である。この場合には、デフォーカス量を信頼してフォーカスレンズを駆動すると適切な焦点調節ができないおそれがあるため、サーチ駆動（デフォーカス量を用いずにフォーカスレンズを一定方向に駆動して被写体を探す駆動）を行う。

Ｓ６０４で初期化する予測ＡＦ領域使用許可フラグは、通常のＡＦ領域を使用するか、後述する予測したＡＦ領域（予測ＡＦ領域）を使用するかを切り替えるフラグである。通常、ＡＦ領域は、カメラのＡＦ枠設定に従い、固定枠、顔枠、追尾枠などが設定される。固定枠の場合は、予め決められた範囲、あるいはユーザが指定した任意の範囲を含むようにＡＦ枠が設定される。顔枠／追尾枠の場合は、画像から検出された顔領域の少なくとも一部を含むようにＡＦ領域が自動設定され、逐次更新される。予測ＡＦ領域の設定については、図１７を用いて後述する。

Ｓ６０５で初期化するＡＦ駆動許可フラグは、ＡＦ制御を行うか否かを判定するフラグである。検出された顔領域／追尾領域と予測ＡＦ領域が一致していた場合にＡＦ駆動許可フラグがオンとなって、予測ＡＦ領域を使用してＡＦ制御が行われる。領域の一致の判断については、図１９を用いて後述する。

次に、図５のＳ５０３における動画撮影処理について、図７を用いて説明する。Ｓ７０１からＳ７０４でカメラ制御部２１２は、動画記録に関する制御を行う。Ｓ７０１でカメラ制御部２１２は、動画記録スイッチがオンされているかどうかを判断し、オンされている場合はＳ７０２へ処理を進め、オンされていない場合はＳ７０５へ処理を進める。Ｓ７０２でカメラ制御部２１２は、現在動画記録中かどうかを判断し、動画記録中でない場合はＳ７０３で動画記録を開始してＳ７０５へ処理を進め、動画記録中である場合はＳ７０４で動画記録を停止してＳ７０５へ処理を進める。本実施形態においては動画記録スイッチを押下するごとに動画の記録開始と停止を行うが、記録開始と停止とで異なるボタンを用いたり、切り替えスイッチを設ける等の他の方式によって記録開始と停止を行っても構わない。

Ｓ７０５でカメラ制御部２１２は、ＡＦ領域算出処理を行い、Ｓ７０６へ処理を進める。ＡＦ領域算出処理は、ＡＦ領域を決定するための処理であり、詳細は図１７を用いて後述する。

Ｓ７０６でカメラ制御部２１２は、焦点検出処理を行い、Ｓ７０７へ処理を進める。焦点検出処理は、カメラ制御部２１２及びＡＦ信号処理部２０４による、撮像面位相差ＡＦを行うためのデフォーカス情報及び信頼性情報を取得する処理であり、詳細は図８を用いて後述する。

Ｓ７０７でカメラ制御部２１２は、ＡＦ領域一致度算出処理を行い、Ｓ７０８へ処理を進める。ＡＦ領域一致度算出処理は、検出された顔領域／追尾領域が、予測したＡＦ領域と一致するかを判断する処理であり、詳細は図１９を用いて後述する。

Ｓ７０８でカメラ制御部２１２は、Ｓ７０７において設定されるＡＦ駆動許可フラグのオン／オフを監視し、オンである場合はＡＦ領域が一致しているのでＳ７０９に処理を進め、オフである場合はＡＦ領域が一致していないのでＳ７１２に処理を進める。Ｓ７１２でカメラ制御部２１２は、ＡＦ処理を行わずに、前回取得されたデフォーカス量に基づいてフォーカスレンズを駆動している場合はその処理を継続させる。

Ｓ７０９でカメラ制御部２１２は、現在合焦停止中かどうかを判断し、合焦停止中でない場合はＳ７１０へ処理を進め、合焦停止中である場合はＳ７１１へ処理を進める。合焦停止中かどうかは、先述した合焦停止フラグのオン／オフによって判断することができる。Ｓ７１０はＳ７０６で検出した情報を基にＡＦ制御を行うもので、詳細は図１３を用いて後述する。Ｓ７０９で合焦停止中だと判断した場合に進むＳ７１１でカメラ制御部２１２は、ＡＦ再起動判定処理を行い、動画撮影処理を終了する。ＡＦ再起動判定処理は、合焦停止中から主被写体が移動したり変わったとして再度ＡＦ制御を開始するかどうかの判定を行うもので、詳細は図１６を用いて後述する。

次に、図７のＳ７０６における焦点検出処理について、図８を用いて説明する。まず、Ｓ８０１でカメラ制御部２１２は、ＡＦ領域設定処理を行う。ＡＦ領域設定処理は、後述する撮像処理前に、像データを取得する領域を予め設定する処理である。これは、上述したように、本実施形態では撮像領域に対して一部の限られた領域のみでしか焦点検出ができないという制約があるためである。よって、全画素に対して焦点検出の処理を行うのではなく、予め焦点検出に必要な部分のみを設定し、効率よくＡＦ制御を行うためにＳ８０１の処理を行う。ＡＦ領域設定処理の詳細については、図１８を用いて後述する。

Ｓ８０２でカメラ制御部２１２は、撮像処理を行う。これは、タイミングジェネレータ２１５に命令を送り、撮像素子２０１に信号電荷を蓄積させる処理である。Ｓ８０３でＡＦ信号処理部２０４は、Ｓ８０１で設定されたＡＦ領域に含まれる画素部から焦点検出用の像信号を取得する。次に、Ｓ８０４でＡＦ信号処理部２０４は、Ｓ８０３で取得した像信号間の相関量を算出する。続いて、Ｓ８０５でＡＦ信号処理部２０４は、Ｓ８０４で算出した相関量から相関変化量を算出する。続いて、Ｓ８０６でＡＦ信号処理部２０４は、Ｓ８０５で算出した相関変化量からピントずれ量を算出する。続いて、Ｓ８０７でＡＦ信号処理部２０４は、Ｓ８０６で算出したピントずれ量がどれだけ信頼できるのかを表す信頼性を算出する。これらの処理を、ＡＦ領域内に存在する焦点検出領域の数だけ行う。そして、Ｓ８０８でＡＦ信号処理部２０４は、焦点検出領域毎にピントずれ量をデフォーカス量に変換し、焦点検出処理を終了する。

図９から図１２を用いて、図８で説明した焦点検出処理をさらに詳細に説明する。図９は、焦点検出処理で取り扱う焦点検出範囲と焦点検出領域の一例を模式的に表した図である。図９（ａ）は、撮像素子２０１の画素アレイ９０１における焦点検出範囲９０２の例を示している。シフト領域９０３は、相関演算に必要な領域である。したがって、焦点検出範囲９０２とシフト領域９０３を合わせた領域９０４が相関演算に必要な画素部の領域である。図中のｐ、ｑ、ｓ、ｔはそれぞれｘ軸方向の座標を表し、ｐおよびｑは領域９０４の始点及び終点のｘ座標を、ｓおよびｔは焦点検出範囲９０２の始点及び終点のｘ座標を表す。

図９（ｂ）は、焦点検出範囲９０２を５つの焦点検出領域９０５〜９０９に分割した例を示す図である。本実施形態ではこのように焦点検出範囲を分割した焦点検出領域毎にピントずれ量を算出し、最も信頼できる領域のピントずれ量を用いて焦点調節を行う。

図９（ｃ）は、図９（ｂ）の焦点検出領域９０５〜９０９を連結した仮の焦点検出領域９１０を示す図である。このように、焦点検出領域を連結した領域から算出したピントずれ量を用いても良い。焦点検出領域の配置の仕方、領域の広さ等は、ここで例示した構成に限られるものではなく、他の構成を用いても良い。

図１０は、図９で設定した焦点検出領域９０５〜９０９に含まれる画素部から取得したＡＦ用の像信号の例を示している。実線が像信号Ａ１００１、破線が像信号Ｂ１００２を示している。ｘからｙは、分割した１つ分の焦点検出領域を示している。

図１０（ａ）は、シフト前の像信号を波形で表した例を示している。図１０（ｂ）は、図１０（ａ）のシフト前の像波形に対しプラス方向にシフトした状態を、図１０（ｃ）は、図１０（ａ）のシフト前の像波形に対しマイナス方向にシフトした状態を示している。相関量を算出する際には、像信号Ａ１００１及び像信号Ｂ１００２の両方を、矢印の方向に１ビットずつシフトする。続いて相関量ＣＯＲの算出法について説明する。

まず、図１０（ｂ）および（ｃ）に示したように、像信号Ａ１００１と像信号Ｂ１００２を１ビットずつシフトし、その時の像信号Ａと像信号Ｂの差の絶対値の和を算出する。この時、シフト量をｉで表し、最小シフト数は図１０中のｐ−ｓ、最大シフト数は図１０中のｑ−ｔである。またｘは焦点検出領域の開始座標、ｙは焦点検出領域の終了座標である。これらを用い、相関量ＣＯＲは以下の式（１）によって算出することができる。

図１１（ａ）は、シフト量と相関量との関係例を示した図である。横軸はシフト量を示し、縦軸は相関量を示す。相関量波形１１０１における極値周辺１１０２、１１０３のうち、相関量が小さい方ほど、像信号Ａと像信号Ｂの一致度が高い。続いて相関変化量ΔＣＯＲの算出法について説明する。

まず、図１１（ａ）の相関量波形から、１シフト飛ばしの相関量の差から相関変化量を算出する。この時、シフト量をｉで表し、最小シフト数は図１０中のｐ−ｓ、最大シフト数は図１０中のｑ−ｔである。これらを用い、相関変化量ΔＣＯＲは以下の式（２）によって算出することができる。

図１１（ｂ）は、シフト量と相関変化量ΔＣＯＲの関係例を示した図である。横軸はシフト量を示し、縦軸は相関変化量を示す。相関変化量波形１１０４において、領域１１０５、１１０６は相関変化量がプラスからマイナスになる周辺である。この領域１１０５より相関変化量が０となる状態をゼロクロスと呼び、像信号間の一致度が最も高く、ゼロクロス時のシフト量がピントずれ量となる。

図１２（ａ）は、図１１（ｂ）の領域１１０５を拡大したもので、相関変化量波形１１０４の一部分１２０１を示している。図１２（ａ）を用いてピントずれ量ＰＲＤの算出法について説明する。

ここで、ピントずれ量は整数部分βと小数部分αに分けられる。小数部分αは、図中の三角形ＡＢＣと三角形ＡＤＥの相似の関係から、以下の式（３）によって算出することができる。

続いて整数部分βは、図１２（ａ）中より以下の式（４）によって算出することができる。

αとβの和からピントずれ量ＰＲＤを算出することができる。

また、図１１（ｂ）のように複数のゼロクロスが存在する場合は、ゼロクロスでの相関量変化の急峻性ｍａｘｄｅｒが大きいところを第１のゼロクロスとする。この急峻性はＡＦのし易さを示す指標で、値が大きいほどＡＦし易い点であることを示す。急峻性ｍａｘｄｅｒは以下の式（５）によって算出することができる。

以上のように、ゼロクロスが複数存在する場合は、急峻性によって第１のゼロクロスを決定する。続いてピントずれ量の信頼性（像信号の信頼性）の算出法について説明する。

信頼性は、上述した急峻性や、像信号Ａ、Ｂの２像の一致度ｆｎｃｌｖｌ（以下、２像一致度と呼ぶ）によって定義することができる。２像一致度はピントずれ量の精度を表す指標で、値が小さいほど精度が良い。

図１２（ｂ）は、図１１（ａ）の１１０２の部分を拡大したもので、相関量波形１１０１の一部分１２０２を示している。図１２（ｂ）を用いて、急峻性と２像一致度を算出する方法について説明する。

２像一致度ｆｎｃｌｖｌは以下の式（６）によって算出できる。

次に、図７のＳ７１０のＡＦ処理について、図１３のフローチャートを用いて説明する。ＡＦ処理は、合焦停止していない状態でのフォーカスレンズの駆動及び、合焦停止の判定を行う処理である。

Ｓ１３０１でカメラ制御部２１２は、デフォーカス量の大きさが深度内であり、かつ像信号の信頼性が所定より良い値を示しているかどうかを判断する。この条件に該当する場合はＳ１３０２へ処理を進め、そうでない場合はＳ１３０３へ処理を進める。本実施の形態では、Ｓ１３０１で用いる閾値を深度の１倍とするが、必要に応じて大きく設定したり、小さく設定したりしても構わない。

Ｓ１３０２でカメラ制御部２１２は、合焦停止フラグをオンにして処理を終了する。上述したように、被写体に合焦したと判断した場合は、フォーカスレンズを駆動している状態から停止している状態に移行した後、Ｓ７１１で再度フォーカスレンズを駆動するか否かの再起動判定を行う。

Ｓ１３０３でカメラ制御部２１２は、レンズ駆動速度や駆動方法の設定を行い、Ｓ１３０４へ処理を進める。Ｓ１３０３のレンズ駆動設定処理の詳細は図１４を用いて後述する。Ｓ１３０４でカメラ制御部２１２は、レンズ駆動処理を行い処理を終了する。Ｓ１３０４のレンズ駆動処理の詳細は図１５を用いて後述する。

次に、図１３のＳ１３０３のレンズ駆動設定処理について、図１４のフローチャートを用いて説明する。Ｓ１４０１でカメラ制御部２１２は、信頼性が所定値αより良い値かどうかを判断し、所定値αより良い値の場合はＳ１４０２へ処理を進め、そうでない場合はＳ１４０４へ処理を進める。Ｓ１４０２でカメラ制御部２１２は、サーチ駆動カウンタをリセットしてＳ１４０３へ処理を進める。Ｓ１４０３でカメラ制御部２１２は、レンズ駆動速度をＡに設定して、処理をＳ１４０８へ進める。

Ｓ１４０１で信頼性が所定値αより良い値でない場合に進むＳ１４０４でカメラ制御部２１２は、サーチ駆動移行カウンタを加算してＳ１４０５へ処理を進める。Ｓ１４０５でカメラ制御部２１２は、サーチ駆動移行カウンタが所定値以上かどうかを判断し、所定値以上である場合はＳ１４０６へ処理を進め、所定値より小さい場合はＳ１４０７へ処理を進める。Ｓ１４０６でカメラ制御部２１２は、サーチ駆動フラグをオンにしてＳ１４０８へ処理を進める。一方、Ｓ１４０７でカメラ制御部２１２は、レンズ駆動速度をＺに設定してＳ１４０８へ処理を進める。

Ｓ１４０３、Ｓ１４０６、Ｓ１４０７の処理の後に行うＳ１４０８でカメラ制御部２１２は、サーチ駆動フラグがオンかどうかを判断する。サーチ駆動フラグがオンである場合はＳ１４０９へ進み、オフである場合はレンズ駆動設定処理を終了する。Ｓ１４０９でカメラ制御部２１２は、レンズ駆動速度をＳに設定して、レンズ駆動設定処理を終了する。

Ｓ１４０１における信頼性の閾値αは、少なくともデフォーカス方向が信頼できる値を設定する。デフォーカス方向が信頼できる場合は、設定したレンズ駆動速度Ａでデフォーカス量を基にフォーカスレンズを駆動するようにする。

デフォーカス量の方向が信頼できない信頼性の状態が継続している場合は、サーチ駆動を行う。サーチ駆動とはデフォーカス量に関係なく、デフォーカス方向を設定してその方向に設定した速度でフォーカスレンズを駆動するものである。

Ｓ１４０１で、デフォーカス量の方向が信頼できない信頼性である場合、カメラ制御部２１２はＳ１４０４でサーチ駆動移行カウンタを加算する。Ｓ１４０５でカメラ制御部２１２サーチ駆動移行カウンタが所定値以上かどうかを判定することで、継続して信頼性が低く被写体がボケている可能性があると判断できる場合にのみサーチ駆動を行うようにする。サーチ駆動は、デフォーカス量を使用しない駆動であるため、一時的に大きくボケてしまうような品位の悪いフォーカス動作を行ってしまうことがある。そこで、信頼性が低くなってもすぐにサーチ駆動に移行させないようにすることで、ノイズ等の影響で不用意にサーチ駆動を行わないようにする。

カメラ制御部２１２は、Ｓ１４０５でサーチ駆動に移行すると判断した場合、Ｓ１４０６でサーチ駆動フラグをオンにし、Ｓ１４０８の判定によってＳ１４０９でサーチ駆動用のレンズ駆動速度Ｓを設定する。サーチ駆動速度Ｓは、駆動速度Ａよりも速い値である。Ｓ１４０５でサーチ駆動へ移行するか否かを判定している途中で、信頼性が所定値αより良い値になった場合は、Ｓ１４０２でカメラ制御部２１２はサーチ駆動移行カウンタをリセットする。また、Ｓ１４０５でサーチ駆動への移行を判定している途中で、未だサーチ駆動移行カウンタが所定閾値以上でない場合に進むＳ１４０７で設定するレンズ駆動速度Ｚは、極めて遅い値若しくはゼロを設定する。

図１４におけるレンズ駆動速度には以下の関係がある。
Ｚ＜Ａ＜Ｓ（Ｚが最も遅く、Ｓが最も速い）

サーチ駆動中は被写体が大きくボケている状態であることが想定されるため、いち早く被写体にピントを合わせるために、Ｓ１４０９で設定する駆動速度ＳはＳ１４０３で設定する駆動速度Ａよりも速い値を設定する。また、信頼性がαよりも悪くＳ１４０５でサーチ駆動移行を判断している途中の状態の場合は、デフォーカス検出精度が悪いため、不用意にレンズを駆動してしまうと品位が悪いフォーカス動作を行ってしまう。そこでＳ１４０７で設定する駆動速度Ｚには、極めて遅い値、若しくはゼロを設定することで、信頼性が悪い状態でも品位が悪いフォーカス動作が行われることを防ぐ。

次に、図１３のＳ１３０４におけるレンズ駆動処理について、図１５のフローチャートを用いて説明する。レンズ駆動処理は、図１４のレンズ駆動設定処理で設定したレンズ駆動速度やサーチ駆動フラグの設定などをもとにフォーカスレンズ１０３を駆動する処理である。

Ｓ１５０１でカメラ制御部２１２は、サーチ駆動フラグがオフかどうかを判断し、オフの場合はＳ１５０２へ処理を進め、オンの場合はＳ１５０３へ処理を進める。Ｓ１５０２でカメラ制御部２１２は、デフォーカス量を基に、レンズ駆動設定処理で設定した駆動速度でフォーカスレンズの駆動を行い、レンズ駆動処理を終了する。一方、サーチ駆動フラグがオンの場合、カメラ制御部２１２は、Ｓ１５０３〜Ｓ１５１２のサーチ駆動処理を行う。サーチ駆動処理は、図１４のＳ１４０６でサーチ駆動フラグがオンされた場合に行う処理である。

Ｓ１５０３でカメラ制御部２１２は、サーチ駆動が初回かどうかを判断し、初回である場合はＳ１５０４へ処理を進め、初回でない場合はＳ１５０７へ処理を進める。Ｓ１５０４〜Ｓ１５０６は駆動方向設定処理であり、サーチ駆動が初回である場合に、どちらにフォーカスレンズ１０３を駆動するかを決定する処理である。

Ｓ１５０４でカメラ制御部２１２は、現在のフォーカスレンズ１０３の位置が無限遠端よりも至近端に近いかどうかを判断し、至近端に近い場合はＳ１５０５へ処理を進め、無限遠端に近い場合はＳ１５０６へ処理を進める。Ｓ１５０５でカメラ制御部２１２は、サーチ駆動開始時のフォーカスレンズ１０３の駆動方向を至近方向に設定して駆動方向設定処理を終了する。Ｓ１５０６でカメラ制御部２１２は、サーチ駆動開始時のレンズの駆動方向を無限遠方向に設定して駆動方向設定処理を終了する。このように駆動方向を設定することで、フォーカスレンズ１０３の駆動領域全体をサーチ駆動する時間を短縮することができ、サーチ駆動によって被写体を発見するために要する最大の時間を短くできる。

Ｓ１５０７でカメラ制御部２１２は、レンズ制御部１０６を介して、設定した駆動方向及び駆動速度Ｓでフォーカスレンズ１０３を駆動し、Ｓ１５０８へ処理を進める。Ｓ１５０８でカメラ制御部２１２は、フォーカスレンズ１０３が至近端若しくは無限遠端に到達したかどうかを判断し、到達した場合はＳ１５０９へ処理を進め、到達していない場合はＳ１５１０へ処理を進める。Ｓ１５０９でカメラ制御部２１２は、フォーカスレンズ１０３の駆動方向を反転させてＳ１５１０へ進む。

Ｓ１５１０でカメラ制御部２１２は、像信号の信頼性が所定値αより良い値かどうかを判断し、所定値αより良い値の場合はＳ１５１１へ処理を進め、そうでない場合はＳ１５１２へ処理を進める。Ｓ１５１２でカメラ制御部２１２は、フォーカスレンズ１０３が至近端、無限遠端の両方に到達したかどうかを判断し、到達した場合はＳ１５１１へ処理を進め、到達していない場合はサーチ駆動処理を終了する。Ｓ１５１１でカメラ制御部２１２は、サーチ駆動フラグをオフにしてサーチ駆動処理を終了する。

サーチ駆動を終了する条件は、Ｓ１５１０で信頼性が所定値αより良い値になった場合、若しくはＳ１５１２でフォーカスレンズ１０３が至近端、無限遠端の両方に到達した場合である。Ｓ１５１０で設定する信頼性の閾値αは、図１４のＳ１４０１で設定した閾値αと同じであり、少なくともデフォーカス量の方向が信頼できる値である。信頼性が閾値αより良い値になったのであれば、被写体が合焦に近づいてきたと判断できるため、サーチ駆動をやめて再度デフォーカス量を基に駆動する制御に切り替える。また、Ｓ１５１２で至近端、無限遠端の両方に到達したと判断された場合とは、フォーカス駆動範囲の全域を駆動した場合であり、つまりは被写体が特定できなかった場合である。この場合はサーチ駆動フラグをオフにし、最初の処理の状態に戻す。なお、被写体が特定できない場合にはサーチ駆動フラグをオフにせずにサーチ駆動を継続させるようにしても良い。

次に、図７のＳ７１１におけるＡＦ再起動判定処理について、図１６のフローチャートを用いて説明する。ＡＦ再起動判定処理は、合焦していると判断してフォーカスレンズ１０３を停止している際に、再度フォーカスレンズ１０３を駆動するかどうかの判定をする処理である。

Ｓ１６０１でカメラ制御部２１２は、ＡＦ信号処理部２０４が算出したデフォーカス量が焦点深度の所定倍より小さいかどうかを判断し、小さい場合はＳ１６０２へ、小さくない場合はＳ１６０４へ処理を進める。Ｓ１６０２でカメラ制御部２１２は、ＡＦ信号処理部２０４が算出した信頼性が所定値より良い値かどうかを判断し、良い値を示す場合はＳ１６０３へ処理を進め、そうでない場合はＳ１６０４へ処理を進める。Ｓ１６０３でカメラ制御部２１２は、ＡＦ再起動カウンタをリセットし、Ｓ１６０５へ処理を進める。一方、Ｓ１６０４でカメラ制御部２１２は、ＡＦ再起動カウンタを加算しＳ１６０５へ処理を進める。

上述したように、デフォーカス量が所定量以上、または信頼性が所定値より悪い場合、撮影している主被写体が変化している可能性があるため、カメラ制御部２１２は、Ｓ１６０４でＡＦ再起動カウンタを加算してＡＦ再起動をする準備を行う。一方、デフォーカス量が所定値より小さく、信頼性も高い状態を維持している場合は、継続してフォーカスレンズを停止させておくために、カメラ制御部２１２は、Ｓ１６０３でＡＦ再起動カウンタをリセットする。

Ｓ１６０１で設定するデフォーカス量の閾値は、主被写体が変わったときにはＡＦ再起動が行われやすく、主被写体が変わっていないときには再起動が不用意にされにくくなるよう、経験的もしくは実験的に設定する。一例として、主被写体のボケが見えるようになる焦点深度の１倍を設定する。また、Ｓ１６０２で設定する信頼性の閾値は、例えばデフォーカス方向を信頼するのが困難なほど低い信頼性の場合にＡＦ再起動されるように設定する。このようにＳ１６０１、Ｓ１６０２の判定は、主被写体が変わったかどうかの判定処理とも言える。したがって、同様の判定が可能な任意の処理に置き換えることができ、処理の方法に応じて用いる閾値の種類や値を設定する。

Ｓ１６０５でカメラ制御部２１２は、ＡＦ再起動閾値を設定してＳ１６０６へ処理を進める。Ｓ１６０５のＡＦ再起動閾値設定処理は、応答性を重視する場合はＡＦ再起動しやすくなるように閾値を低く設定し、安定性を重視する場合はＡＦ再起動しにくくなるように閾値を高く設定する。閾値は任意の値を設定することが可能で、撮影モードなどに応じて可変にしてもよい。

Ｓ１６０６でカメラ制御部２１２は、ＡＦ再起動カウンタがＡＦ再起動閾値以上かどうかを判断し、ＡＦ再起動閾値以上の場合はＳ１６０７へ処理を進め、そうでない場合は処理を終了する。Ｓ１６０７でカメラ制御部２１２は、合焦停止フラグをオフにしてＡＦ再起動を行い、フォーカスレンズの駆動を再開するようにして処理を終了する。Ｓ１６０６でＡＦ再起動を決定するにあたってカメラ制御部２１２は、Ｓ１６０４で加算したＡＦ再起動カウンタの値がＳ１６０５で設定した閾値以上かどうかを判断する。本実施形態では、主被写体のピント面が実際に変わったかどうかを一定時間の間確認するように制御する。また、Ｓ１６０５で設定するＡＦ再起動閾値を条件に応じて可変することで、再起動判定する時間の長さを変えてもよい。

続いて、図７のＳ７０５のＡＦ領域算出処理について、図１７を用いて説明する。図１７の処理は、焦点検出の周期ごとに行われる。

Ｓ１７００でカメラ制御部２１２は、ＡＦ領域を設定するために、撮影モードが顔ＡＦモードまたは追尾ＡＦモードであるかの確認を行う。ここでは上記二つのモードか否かの判定を行っているが、判定の条件は、ＡＦ領域が自動的に更新されるか否かであればこの方法に限定されない。ＡＦ領域が自動的に更新される場合はＳ１７０２に処理を進め、画面中央などへの固定枠の設定（ＡＦ領域が移動しない設定）の場合はＳ１７０１に処理を進める。

Ｓ１７０１でカメラ制御部２１２は、固定枠の情報（位置とサイズ）を取得し、Ｓ１７０３に処理を進める。

Ｓ１７０２でカメラ制御部２１２は、顔検出部２１６または追尾処理部２１７により自動で検出された特定被写体の領域の情報（位置とサイズ）を取得し、Ｓ１７０６に処理を進める。

Ｓ１７０６でカメラ制御部２１２は、焦点検出周期が、顔／追尾領域検出の周期（顔／追尾領域の情報が取得される周期）よりも短いか否かを判定する。焦点検出周期が顔／追尾領域の検出周期よりも短い場合は、顔／追尾領域が更新されない期間に被写体が移動している可能性があるので、移動した顔／追尾領域を予測する必要がある。そこで、焦点検出周期が顔／追尾領域検出の周期よりも短い場合は、カメラ制御部２１２はＳ１７０７に遷移し、ＡＦ領域を予測する処理に進む。一方、焦点検出周期が顔／追尾領域の検出周期よりも短くない場合はＳ１７０３に遷移し、カメラ制御部２１２は、Ｓ１７０２で取得した検出領域に基づいてＡＦ領域を設定する。

なお、顔／追尾領域の検出には、数ｍｓの検出時間を要するため、取得された顔／追尾領域の位置と現在の顔／追尾領域の位置は必ずしも一致するものではない。そのため、焦点検出周期と顔／追尾領域の検出周期が一致している場合であっても、Ｓ１７０７に遷移して、予測ＡＦ枠を使用することに効果がないわけではない。また、顔／追尾領域の検出時間にはバラつきがあり、必ずしも一定の周期で行われるとは限らない。そのため、顔／追尾領域の検出周期は、検出時間の平均を取ったときの平均値としてもよい。

Ｓ１７０７でカメラ制御部２１２は、顔／追尾領域の検出結果が更新されたか否かを判定する。前述の通り、顔／追尾検出周期と焦点検出周期が異なるため、顔／追尾検出結果が更新されないタイミングがある。Ｓ１７０７はそれを判定する処理であり、検出結果が更新されている場合はＳ１７０３に処理を進め、検出結果が更新されていない場合はＳ１７０８に処理を進める。

Ｓ１７０８でカメラ制御部２１２は、ＡＦ領域の移動を判定する。ここでカメラ制御部２１２は、後述するＳ１７２０にて過去複数回記憶したＡＦ領域のサイズと位置の変化量を監視し、変化がある場合はＳ１７０９に処理を進め、そうでない場合はＳ１７０３に処理を進める。判定の方法としては、例えば変化量が所定値を超えたら変化があると判定するものとする。ＡＦ領域に変化がある場合はＡＦ領域を予測する必要があるが、変化がない場合（例えば、人物が同じ位置で静止しているなど）はＡＦ領域の予測を行わない方が安定したＡＦ制御を行うことができる。

Ｓ１７０３に進む場合、固定枠でのＡＦ、焦点検出周期が顔／追尾領域の検出周期よりも短くない、被写体の検出直後である、ＡＦ領域（被写体）の移動がない、のいずれかの場合である。そのため、カメラ制御部２１２は、ＡＦ領域の予測を行わず、検出された領域のサイズを通常通りのＡＦ領域（通常ＡＦ領域）のサイズとして記憶し、Ｓ１７０４に処理を進める。Ｓ１７０４でも同様に、カメラ制御部２１２は、検出された領域の中心位置を通常ＡＦ領域の中心位置として記憶し、Ｓ１７０５に処理を進める。なお、Ｓ１７０８でＡＦ領域（被写体）の移動がないと判定されてＳ１７０３及びＳ１７０４に進んだ場合、前回の顔／追尾領域に基づくＡＦ領域の位置とサイズが記憶されることとなる。Ｓ１７０５でカメラ制御部２１２は、予測ＡＦ領域許可フラグをオフにする処理を行い、Ｓ１７２０に処理を進める。

Ｓ１７０９〜１７１６において、カメラ制御部２１２は、ＡＦ領域の予測を行う。ＡＦ領域の予測においてカメラ制御部２１２は、前回のＡＦ領域に対する拡大率とオフセット量の算出を行い、ＡＦ領域を変更する。ここで、拡大率とは、被写体の動きを予測してＡＦ領域を拡大する割合を意味している。例えば、図３（ｆ）の顔３０２が拡大して顔３０９となった場合の拡大率を算出し、顔３０２に対応した像データの領域３０５に対して拡大率を乗算し、像データの領域３１１を算出して設定する。

Ｓ１７０９でカメラ制御部２１２は、ズームイン操作があるか否かの判定を行い、ズームイン操作がある場合はＳ１７１０に処理を進め、ない場合はＳ１７１１に処理を進める。ズームイン操作の判断方法としては、ズームレンズ１０１の位置を検出する方法や、ズームレンズ１０１の移動を指示する操作部材の操作を検出する方法などがあり、特定の方法に限定されない。Ｓ１７１０でカメラ制御部２１２は、ズームイン時の拡大率を算出する処理を行う。ここでは、式（７）を用いて、前回の焦点距離を基準として今回の焦点距離から拡大率Ａを予測し算出する。
拡大率Ａ＝今回の焦点距離÷前回の焦点距離（７）

Ｓ１７１１でカメラ制御部２１２は、近づき被写体か否かの判定を行い、近づき被写体である場合はＳ１７１２に処理を進め、そうでない場合はＳ１７１３に処理を進める。近づき被写体の判定方法については省略するが、例えば、顔／追尾領域のサイズが大きくなるように変化した場合に近づき被写体であると判定しても良い。あるいは、顔／追尾領域の焦点検出結果が徐々に小さくなっている（撮像装置に対する被写体までの距離が小さくなっている）場合に近づき被写体と判定しても良い。

Ｓ１７１２でカメラ制御部２１２は、近づき被写体の拡大率を算出する処理を行う。式（８）を用いて、前回の被写体サイズを基準として、今回の被写体サイズから拡大率Ｂを算出する。
拡大率Ｂ＝今回の被写体サイズ［ｐｉｘｅｌ］÷前回の被写体サイズ［ｐｉｘｅｌ］（８）

Ｓ１７１３でカメラ制御部２１２は、追尾ＡＦモードか否かの判定を行い、追尾ＡＦモードである場合はＳ１７１４に処理を進め、そうでない場合はＳ１７１５に処理を進める。

Ｓ１７１４でカメラ制御部２１２は、追尾ＡＦモードにおける拡大率を算出する処理を行う。この処理では、追尾の信頼度に応じて拡大率を算出する。追尾の信頼度が低い場合は、被写体が画面内を大きく動いた場合や、他の被写体で隠れてしまった場合などが考えられる。そこで、追尾の信頼度が低い場合は、信頼度が高い場合と比較して拡大したＡＦ領域を設定する必要がある。例えば信頼度Ｋが１０段階（１０→高い／１→低い）で取得できるシステムの場合の例として、式（９）を用いて拡大率Ｃを算出する。式（９）では、信頼度が１の場合の拡大率Ｃが、信頼度が１０の場合の拡大率Ｃの２倍程度になるように設定される。
拡大率Ｃ＝（２０−Ｋ）÷１０（９）

なお、追尾被写体を見失った場合には、画面全体をＡＦ領域とするように拡大率を設定し、追尾被写体を確実にカバーする設定としても良い。さらに、追尾のマッチングを行う範囲が追尾の状態に応じて変化する場合は、マッチングを行う範囲に合わせて拡大率を変更するような設定としても良い。

Ｓ１７１５でカメラ制御部２１２は、画面の上下方向（Ｙ方向）における被写体の移動があるか否かの判定を行い、上下方向の移動がある場合はＳ１７１６に処理を進め、そうでない場合はＳ１７１７に処理を進める。カメラ制御部２１２は、検出された被写体領域の位置を監視し、上下方向の移動があるか否かによって判定を行う。なお、画面の左右方向（Ｘ方向）に配置された画素部のラインがＸ方向に読み出されるため、被写体の左右方向の移動に対しては、読み出された像データに対してＡＦ領域をＸ方向にずらすことで対応できる。しかしながら、被写体がＹ方向（像データを読み出す方向と直交する方向）に移動した場合には、像データを読み出す領域の位置を予め設定しておかないと、Ｙ方向にＡＦ領域を移動することが不可能になる。そのため、Ｓ１７１５の処理において、被写体の上下の方向の移動の有無を判定する。

Ｓ１７１６でカメラ制御部２１２は、前回検出された顔／追尾領域の位置からの今回の顔／追尾領域の位置の変化量を算出して、式（１０）を用いて、オフセット量を算出する。
オフセット量＝今回の検出領域の位置（Ｙ座標）−前回の検出領域の位置（Ｙ座標）（１０）

続いてＳ１７１７においてカメラ制御部２１２は、予測ＡＦ領域のサイズを計算する。予測ＡＦ領域のサイズは、上述の拡大率Ａ、Ｂ、Ｃを乗算した拡大率Ｄを使用し、式（１１）を用いて算出する。
予測ＡＦ領域のサイズ＝前回ＡＦ領域のサイズ×拡大率Ｄ（１１）

なお、拡大率Ｄの上限値の処理については省略するが、拡大率Ｄによって予測ＡＦ領域のサイズが画面全体を超えるような場合は拡大率を制限することとする。

Ｓ１７１８においてカメラ制御部２１２は、予測ＡＦ領域の位置を計算する。予測ＡＦ領域の中心位置は、上述のオフセット量を使用し、式（１２）を用いて算出する。
予測ＡＦ領域の中心位置＝前回ＡＦ領域の中心位置＋オフセット量（１２）

Ｓ１７１９でカメラ制御部２１２は、予測ＡＦ領域許可フラグをオンにする処理を行い、Ｓ１７２０に処理を進める。

Ｓ１７２０においてカメラ制御部２１２は、被写体の移動判定や近づき判定のために、Ｓ１７０３とＳ１７０４、あるいはＳ１７１７とＳ１７１８で算出したＡＦ領域の位置とサイズを記憶し、処理を終了する。

続いて、図８のＳ８０１におけるＡＦ領域設定処理について、図１８を用いて説明する。

Ｓ１８０１は、上述した予測ＡＦ領域を使用するか否かの判定である。カメラ制御部２１２は、Ｓ１７０５またはＳ１７１９において設定された予測ＡＦ領域使用許可フラグを参照する。予測ＡＦ領域使用許可フラグがオンである場合はＳ１８０３に処理を進め、オフである場合はＳ１８０２に処理を進める。

Ｓ１８０２でカメラ制御部２１２は、Ｓ１７０３及びＳ１７０４で算出した通常ＡＦ領域のサイズと位置を取得し、Ｓ１８０４に処理を進める。Ｓ１８０３でカメラ制御部２１２は、Ｓ１７１７及びＳ１７１８で算出した予測ＡＦ領域のサイズと位置を取得し、Ｓ１８０４に処理を進める。

Ｓ１８０４でカメラ制御部２１２は、像データの取得領域を設定し、処理を終了する。ここでは、Ｓ１８０２またはＳ１８０３で取得されたＡＦ領域のサイズと位置に基づいて、ＡＦ領域を含むように像データの取得領域を設定するものとする。

続いて、図７のＳ７０７におけるＡＦ領域一致度算出処理について、図１９を用いて説明する。Ｓ１９０１でカメラ制御部２１２は、顔／追尾領域の検出結果が更新されているか否かを判定する。検出結果が更新されている場合はＳ１９０４に遷移し、そうでない場合はＳ１９０２に遷移する。

Ｓ１９０２でカメラ制御部２１２は、顔／追尾領域の検出結果が更新されていないため、Ｓ８０８で算出された焦点検出結果のうち、通常ＡＦ領域に対応する結果を取得して、Ｓ１９０３に処理を進める。Ｓ１９０３でカメラ制御部２１２は、ＡＦ駆動許可フラグをオンに設定して、処理を終了する。

一方、Ｓ１９０４でカメラ制御部２１２は、予測ＡＦ領域の情報を取得し、さらにＳ１９０５で更新された最新の顔／追尾領域の情報を取得し、Ｓ１９０６に処理を進める。Ｓ１９０６でカメラ制御部２１２は、予測ＡＦ領域と更新された顔／追尾領域の一致度（重なり度合い）を判定する。すなわち、顔／追尾領域が更新されていないタイミングで設定された予測ＡＦ領域と、予測ＡＦ領域の設定後に更新された顔／追尾領域との一致度を判定する。一致度が閾値以上の場合はＳ１９０７に処理を進め、そうでない場合はＳ１９０８に処理を進める。Ｓ１９０６における一致度判定は、例えば閾値を５０％とした場合、２つの領域の半分以上が一致していないとＡＦに使用するには十分な焦点検出結果が得られていないことを意味する。なお、一致度の判定方法は、面積に限定されず、像データを取得する信号ラインの本数でも良い。ここでの信号ラインとは、垂直方向に所定数加算されたラインでも良い。例えば、図３（ｃ）のように、画面全体の画素数の４％から成る信号ライン５本を離散的に配置する場合、拡大された予測ＡＦ領域に配置された信号ライン５本のうち３本以上が顔／追尾領域に含まれる場合に、両者が一致していると判定しても良い。また、安定したＡＦを行う場合には一致度の閾値を高く設定し、応答性を重視する場合は一致度の閾値を低く設定してフォーカス駆動をしやすくするように、ＡＦモードに応じて閾値を変更しても良い。

Ｓ１９０７でカメラ制御部２１２は、検出された顔／追尾領域と予測したＡＦ領域の一致している部分の焦点検出結果をＳ８０８で算出された焦点検出結果から取得し、Ｓ１９０３に遷移してＡＦ駆動許可フラグをオンに設定し、処理を終了する。

Ｓ１９０８でカメラ制御部２１２は、検出された顔／追尾領域と一致する予測ＡＦ領域がなく、ＡＦ制御を行うことができないため、ＡＦ駆動許可フラグをオフに設定して処理を終了する。

以上説明したように、本実施形態では、焦点検出が可能な領域が限られている構成において、被写体情報が取得される周期よりも焦点検出周期が短い場合に、被写体情報が取得されるタイミングに応じて、焦点検出に用いる信号を取得する領域の設定を変更する。例えば、被写体情報が取得されないタイミングにおいては、被写体領域を確実に含むように拡大した領域に、焦点検出に用いる信号を取得する領域を設定しておく。これにより、被写体情報が更新されないタイミングで被写体の移動が発生したとしても、被写体領域に対して安定した焦点検出が可能になる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

２０カメラ本体
２０１撮像素子
２０４ＡＦ信号処理部
２１２カメラ制御部
２１６顔検出部
２１７追尾処理部

Claims

二次元状に配置された複数の画素部を備え、第１の領域に含まれる画素部から第１の信号を読み出す第１の読み出し制御と、第２の領域に含まれる画素部から第２の信号を読み出す第２の読み出し制御とが可能な撮像素子と、
少なくとも前記第２の信号を用いて第１の周期で焦点検出する焦点検出手段と、
前記第１の信号から検出された所定の被写体領域の情報を第２の周期で取得する取得手段と、
前記所定の被写体領域の情報に基づいて、前記第２の領域を設定する設定手段と、を有し、
前記第２の領域は、前記第１の領域に含まれる領域であって、
前記第１の周期が前記第２の周期よりも短い場合、前記設定手段は、前記取得手段により前記所定の被写体領域の情報が取得されるタイミングに応じて、前記第２の領域の設定を変更することを特徴とする撮像装置。
前記設定手段は、第１のタイミングにおいて、前記所定の被写体領域の位置とサイズに基づいて前記第２の領域を設定し、前記第１のタイミングよりも後で、前記取得手段により前記所定の被写体領域の情報が更新されていない第２のタイミングにおいて、前記第１のタイミングで設定した前記第２の領域よりも拡大した前記第２の領域を設定することを特徴とする請求項１に記載の撮像装置。
前記設定手段は、前記所定の被写体領域の情報に基づいて焦点検出領域を設定し、当該焦点検出領域を含むように前記第２の領域を設定することを特徴とする請求項１または２に記載の撮像装置。
前記設定手段は、第１のタイミングにおいて、前記所定の被写体領域の位置とサイズに基づいて前記焦点検出領域を設定し、前記第１のタイミングよりも後の第２のタイミングにおいて、前記取得手段により前記所定の被写体領域の情報が更新されていない場合、前記第１のタイミングにおいて設定した前記焦点検出領域よりも拡大した前記焦点検出領域を設定することを特徴とする請求項３に記載の撮像装置。
前記取得手段により前記所定の被写体領域の情報が更新されていない場合、前記設定手段は、前回の前記所定の被写体領域の情報に基づいて設定された前記焦点検出領域の位置とサイズの少なくとも一方を変更して新しい前記焦点検出領域を設定し、当該焦点検出領域に基づいて前記第２の領域を設定することを特徴とする請求項３または４に記載の撮像装置。
ズームイン操作が行われた場合、前記設定手段は、前記ズームイン操作が行われていない場合と比較して、前記焦点検出領域のサイズが大きくなるように前記焦点検出領域を設定することを特徴とする請求項５に記載の撮像装置。
過去に検出された前記所定の被写体領域の情報に基づいて、前記所定の被写体が近づいていることが判定された場合、前記設定手段は、前記所定の被写体が近づいていることが判定されていない場合と比較して、前記焦点検出領域のサイズが大きくなるように前記焦点検出領域を設定することを特徴とする請求項５または６に記載の撮像装置。
前記取得手段は、基準画像から抽出された特徴量に基づいて前記第１の信号から前記基準画像と相関度が高い領域を検出する追尾処理によって前記所定の被写体領域の情報を取得し、
前記設定手段は、前記追尾処理の信頼度が低いほど前記焦点検出領域のサイズが大きくなるように前記焦点検出領域を設定することを特徴とする請求項５乃至７のいずれか１項に記載の撮像装置。
前記撮像素子から信号を読み出す方向と直交する方向において前記所定の被写体領域が移動している場合、前記設定手段は、当該直交する方向における前記所定の被写体領域の移動量に応じて、前記焦点検出領域の位置を変更することを特徴とする請求項５乃至８のいずれか１項に記載の撮像装置。
前記所定の被写体領域が移動していない場合、前記設定手段は、前回の前記所定の被写体領域の情報に基づいて設定された前記焦点検出領域の位置とサイズを変更せずに、当該焦点検出領域に基づいて前記第２の領域を設定することを特徴とする請求項５乃至９のいずれか１項に記載の撮像装置。
前記取得手段により前記所定の被写体領域の情報が更新された場合、前記設定手段は、更新された前記所定の被写体領域の位置とサイズに基づいて前記焦点検出領域を設定し、当該焦点検出領域に基づいて前記第２の領域を設定することを特徴とする請求項５乃至１０のいずれか１項に記載の撮像装置。
前記焦点検出手段による焦点検出結果に基づいてフォーカス制御を行うフォーカス制御手段を有し、
前記取得手段により前記所定の被写体領域の情報が更新されていない場合に設定された前記焦点検出領域と、当該焦点検出領域の設定後に更新された前記所定の被写体領域との重なり度合いが閾値以上の場合に、前記フォーカス制御手段は、重なっている領域の焦点検出結果に基づいてフォーカス制御を行うことを特徴とする請求項５乃至１１のいずれか１項に記載の撮像装置。
前記取得手段により前記所定の被写体領域の情報が更新されていない場合に設定された前記焦点検出領域と、当該焦点検出領域の設定後に更新された前記所定の被写体領域との重なり度合いが前記閾値よりも小さい場合に、前記フォーカス制御手段は、焦点検出結果に基づいてフォーカス制御を行わないことを特徴とする請求項１２に記載の撮像装置。
１フレーム期間において前記第２の読み出し制御により前記第２の信号が読み出される画素部の数は、所定の数に制限されており、
前記設定手段によって設定された前記第２の領域に含まれる画素部の数が前記所定の数を超える場合、前記第２の信号が読み出される画素部の数が前記所定の数に収まるように、前記焦点検出信号が読み出される領域が前記第２の領域内に間引かれて配置されることを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
１フレーム期間において、前記第２の読み出し制御により前記第２の信号が読み出される画素部の数は、前記第１の読み出し制御により前記第１の信号が読み出される画素部の数よりも少ないことを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
前記画素部はそれぞれ複数のフォトダイオードを有し、前記第１の読み出し制御において前記複数のフォトダイオードの信号を合成した信号である前記第１の信号が読み出され、前記第２の読み出し制御においていずれかのフォトダイオードの信号である前記第２の信号が読み出されることを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
前記焦点検出手段は、前記第２の読み出し制御において読み出された前記第２の信号と、当該第２の信号と前記第１の読み出し制御において読み出された前記第１の信号との差分として取得される第３の信号とを用いて相関演算を行うことにより、焦点検出を行うことを特徴とする請求項１６に記載の撮像装置。
二次元状に配置された複数の画素部を備えた撮像素子を有する撮像装置の制御方法であって、
第１の領域に含まれる画素部から第１の信号を読み出す第１の読み出し制御と、第２の領域に含まれる画素部から第２の信号を読み出す第２の読み出し制御とが可能で、
前記撮像素子から信号を読み出す読み出し工程と、
少なくとも前記第２の信号を用いて第１の周期で焦点検出する焦点検出工程と、
前記第１の信号から検出された所定の被写体領域の情報を第２の周期で取得する取得工程と、
前記所定の被写体領域の情報に基づいて、前記第２の領域を設定する設定工程と、を有し、
前記第２の領域は、前記第１の領域に含まれる領域であって、
前記第１の周期が前記第２の周期よりも短い場合、前記設定工程において、前記取得工程により前記所定の被写体領域の情報が取得されるタイミングに応じて、前記第２の領域の設定を変更することを特徴とする撮像装置の制御方法。