JP2022170554A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】 任意選択ＡＦで正確に被写体へフレーミングしなくても正確に被写体にピントを合わせることができる撮像装置を提供すること。【解決手段】 撮像光学系を介して撮像する撮像素子から画像信号を得る信号生成手段を有する撮像装置の制御方法であって、前記画像信号内で任意領域を設定できる任意領域設定工程と、前記任意領域外の前記画像信号を含めた領域を複数に分割した算出領域からデフォーカス量を検出する焦点検出工程と、前記画像信号から被写体が存在する被写体領域を特定する被写体領域特定工程と、前記任意領域と前記被写体領域から合焦領域を選択する合焦領域選択工程を有することを特徴とする。【選択図】 図７

Description

本発明は、焦点調節機能を備えた撮像装置に関するものである。

従来、合焦させる領域を選択する手段として、矩形などで表された撮影画面内の任意の領域（ＡＦ枠）に合焦させる任意選択ＡＦがある。

任意選択ＡＦでは、撮影画面内に人物などの被写体が複数あっても、ユーザが合焦させたい被写体がＡＦ枠に含まれるようにＡＦ枠の位置やサイズを設定することで、ユーザが合焦させたい任意の被写体へ合焦させることができる。あるいは予め設定したＡＦ枠に被写体が含まれるように撮像装置自体を動かすといった操作をすることで、ユーザが合焦させたい任意の被写体へ合焦させることができる。

しかし、素早く動く被写体を撮影する場合、ユーザが撮影したい被写体に対し任意に設定したＡＦ枠の位置を正しく捉え続けることが難しくピントを外してしまうことがある。また反対にＡＦ枠内に障害物が入り込んでしまった場合、その障害物にＡＦを合わせてしまい意図した位置にピントが合っていないという現象が発生してしまう。

特許文献１では、所定の領域よりも広い範囲をデフォーカス検出する機能を備え、そのデフォーカスの値をもとにクラスタリングを行い、所定領域の外側近辺に障害物被写体がいるかどうかを判定し、障害物にはフォーカスを合わせないようにレンズ制御を行う。

また、特許文献２では、被写体認識機能を備え、被写体認識領域から得たデフォーカス量が所定以下だった場合、そのデフォーカス量を用いてフォーカスレンズを制御して被写体に合焦させる。一方、被写体認識領域から得たデフォーカス量が所定以上だった場合、ＡＦ枠といった被写体認識領域以外の領域から得られるデフォーカス量を用いてフォーカスレンズ制御を行う。撮影画面の表示に関するものとして、特許文献３では、特許文献２と同様に被写体認識領域から得たデフォーカス量が所定以下だった場合、ＡＦ枠を非表示にして被写体認識領域を示す枠を表示させる。一方、被写体認識領域から得たデフォーカス量が所定以上だった場合、ＡＦ枠を表示させて被写体認識領域を示す枠を非表示にする。

特開２００２－２０７１５６号公報 特許第５４４７５４９号 特開２０２１－２１８５７号公報

しかしながら、特許文献１に開示された従来技術では、フレーミングを外して正解の被写体が所定領域の外側付近に存在する場合、その位置をＡＦする位置として選択することができず、異なる位置にピントを合わせてしまう問題が生じてしまう。

また、特許文献２，３に開示された従来技術では、ＡＦ枠を用いて任意の被写体に合焦させたいときでも、ユーザの意図しない被写体を認識してしまい、ユーザが意図した被写体に合焦させることができない場合があった。ユーザの意図しない被写体の被写体認識領域から得たデフォーカス量が小さかった場合は、その被写体認識領域を示す枠を表示、ＡＦ枠を非表示にして、被写体認識領域から得たデフォーカス量を用いてフォーカスレンズを制御してしまうためである。また、これを回避するために従来技術を用いずに任意選択ＡＦを行った場合、ＡＦ枠に合焦させたい被写体を正確に合わせ続ける必要がある。しかしながら、被写体のサイズが小さい、移動速度が速いなどの理由によって、ＡＦ枠から被写体を外してしまった場合は、被写体に合焦させることができない。

以上から、本発明の目的は、任意選択ＡＦで設定している枠にユーザが正しく被写体を捉えられなくても、ユーザが合焦させたい被写体に合焦させる方法を提供することである。

上記目的を達成するために、本発明は、撮像光学系を介して撮像する撮像素子から画像信号を得る信号生成手段を有する撮像装置の制御方法であって、前記画像信号内で任意領域を設定できる任意領域設定工程と、前記任意領域外の前記画像信号を含めた領域を複数に分割した算出領域からデフォーカス量を検出する焦点検出工程と、前記画像信号から被写体が存在する被写体領域を特定する被写体領域特定工程と、前記任意領域と前記被写体領域から合焦領域を選択する合焦領域選択工程を有することを特徴とする。

本発明によれば自動焦点調節機能を有する撮像装置においてユーザが合焦させたい被写体にＡＦ枠を正確に合わせなくても被写体に合焦させる方法を提供することができる。

実施例における撮像装置のブロック図である。 実施例における画素配列の概略図である。 実施例における画素の概略平面図と概略断面図である。 実施例における画素と瞳分割の概略説明図である。 実施例における撮像素子と瞳分割の概略説明図である。 実施例におけるデフォーカス量と像ずれ量の概略関係図である。 実施例における全体制御フローである。 実施例におけるデフォーカス領域設定概略図である。 実施例における被写体検出クラスを優先した主被写体領域選択フローである。 被写体認識位置を優先した主被写体領域選択フローである。 被写体認識領域とＡＦ枠内の領域との重複シーンを表す図である。 被写体認識領域とＡＦ枠内の領域との重複の有無における表示例を表す図である。 重複判定における測距枠との関係を表す図である。 優先順位の高い部位を重複したと判定するシーンを表す図である。 優先順位の高い部位を重複したと判定したシーンの表示例を表す図である。 クラス分類を説明するための図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

＜実施例１＞
（撮像装置の構成）
まず、図１を参照して、本発明の実施例１におけるカメラシステムの構成について説明する。図１は、本実施例におけるカメラシステム１０（レンズ交換可能な一眼レフタイプのデジタルカメラ）のブロック図である。カメラシステム１０は、交換レンズであるレンズユニット１００と撮像装置であるカメラ本体１２０とを有するカメラシステムである。レンズユニット１００は、図１中の点線で示されるマウントＭを介して、カメラ本体１２０と着脱可能に取り付けられる。ただし本実施例は、これに限定されるものではなく、レンズユニット（撮像光学系）とカメラ本体とが一体的に構成されたデジタルカメラにも適用可能である。また本実施例は、デジタルカメラに限定されるものではなく、ビデオカメラなど他の撮像装置にも適用可能である。

レンズユニット１００は、光学系としての第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」という）１０４、および、駆動／制御系とを有する。このようにレンズユニット１００は、フォーカスレンズ１０４を含み、被写体像を形成する撮影レンズ（撮像光学系）である。

第１レンズ群１０１は、レンズユニット１００の先端に配置され、光軸方向ＯＡに進退可能に保持される。絞り１０２は、その開口径を調節することで撮影時の光量調節を行い、また静止画撮影時においては露光秒時調節用シヤッタとして機能する。絞り１０２および第２レンズ群１０３は、一体的に光軸方向ＯＡに移動可能であり、第１レンズ群１０１の進退動作との連動によりズーム機能を実現する。フォーカスレンズ１０４は、光軸方向ＯＡに移動可能であり、その位置に応じてレンズユニット１００が合焦する被写体距離（合焦距離）が変化する。フォーカスレンズ１０４の光軸方向ＯＡにおける位置を制御することにより、レンズユニット１００の合焦距離を調節する焦点調節（フォーカス制御）が可能である。

駆動／制御系は、ズームアクチュエータ１１１、絞りアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動回路１１４、絞り駆動回路１１５、フォーカス駆動回路１１６、レンズＭＰＵ１１７、及び、レンズメモリ１１８を有する。ズーム駆動回路１１４は、ズームアクチュエータ１１１を用いて第１レンズ群１０１や第３レンズ群１０３を光軸方向ＯＡに駆動し、レンズユニット１００の光学系の画角を制御する（ズーム操作を行う）。絞り駆動回路１１５は、絞りアクチュエータ１１２を用いて絞り１０２を駆動し、絞り１０２の開口径や開閉動作を制御する。フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４を光軸方向ＯＡに駆動し、レンズユニット１００の光学系の合焦距離を制御する（フォーカス制御を行う）。また、フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４の現在位置（レンズ位置）を検出する位置検出部としての機能を有する。

レンズＭＰＵ（プロセッサ）１１７は、レンズユニット１００に係る全ての演算、制御を行い、ズーム駆動回路１１４、絞り駆動回路１１５、および、フォーカス駆動回路１１６を制御する。また、レンズＭＰＵ１１７は、マウントＭを通じてカメラＭＰＵ１２５と接続され、コマンドやデータを通信する。例えば、レンズＭＰＵ１１７はフォーカスレンズ１０４の位置を検出し、カメラＭＰＵ１２５からの要求に対してレンズ位置情報を通知する。このレンズ位置情報は、フォーカスレンズ１０４の光軸方向ＯＡにおける位置、光学系が移動していない状態の射出瞳の光軸方向ＯＡにおける位置および直径、および、射出瞳の光束を制限するレンズ枠の光軸方向ＯＡにおける位置および直径などの情報を含む。またレンズＭＰＵ１１７は、カメラＭＰＵ１２５からの要求に応じて、ズーム駆動回路１１４、絞り駆動回路１１５、および、フォーカス駆動回路１１６を制御する。レンズメモリ１１８は、自動焦点調節（ＡＦ制御）に必要な光学情報を記憶している。カメラＭＰＵ１２５は、例えば内蔵の不揮発性メモリやレンズメモリ１１８に記憶されているプログラムを実行することにより、レンズユニット１００の動作を制御する。

カメラ本体１２０は、光学的ローパスフィルタ１２１、撮像素子１２２、および、駆動／制御系を有する。光学的ローパスフィルタ１２１および撮像素子１２２は、レンズユニット１００を介して形成された被写体像（光学像）を光電変換し、画像データを出力する撮像部（撮像手段）として機能する。本実施例において、撮像素子１２２は、撮影光学系を介して形成された被写体像を光電変換し、画像データとして、撮像信号および焦点検出信号をそれぞれ出力する。また本実施例において、第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ１０４、および、光学的ローパスフィルタ１２１は、撮像光学系を構成する。

光学的ローパスフィルタ１２１は、撮影画像の偽色やモアレを軽減する。撮像素子１２２は、ＣＭＯＳイメージセンサおよびその周辺回路で構成され、横方向ｍ画素、縦方向ｎ画素（ｍ、ｎは２以上の整数）が配置されている。本実施例の撮像素子１２２は焦点検出素子の役割も果たし、瞳分割機能を有し、画像データ（画像信号）を用いた位相差検出方式の焦点検出（位相差ＡＦ）が可能な瞳分割画素を有する。画像処理回路１２４は、撮像素子１２２から出力される画像データに基づいて、位相差ＡＦ用のデータと、表示、記録、および、被写体検出用の画像データとを生成する。

駆動／制御系は、撮像素子駆動回路１２３、画像処理回路１２４、カメラＭＰＵ１２５、表示器１２６、操作スイッチ群（操作ＳＷ）１２７、メモリ１２８を有する。さらに、位相差ＡＦ部１２９（撮像面位相差焦点検出部、制御手段）、ＡＥ部１３０（制御手段）、ホワイトバランス調整部１３１（制御手段）および被写体検出部１３２（検出手段）を有する。撮像素子駆動回路１２３は、撮像素子１２２の動作を制御するとともに、撮像素子１２２から出力された画像信号（画像データ）をＡ／Ｄ変換し、カメラＭＰＵ１２５に送信する。画像処理回路１２４は、撮像素子１２２から出力された画像信号に対して、γ変換、色補間処理、圧縮符号化処理など、デジタルカメラで行われる一般的な画像処理を行う。また画像処理回路１２４は、位相差ＡＦ用の信号、ＡＥ用の信号、ホワイトバランス調整用の信号、および、被写体検出用の信号を生成する。本実施例では、位相差ＡＦ用の信号、ＡＥ用の信号、ホワイトバランス調整用の信号、および、被写体検出用の信号をそれぞれ生成しているが、例えばＡＥ用の信号、ホワイトバランス調整用の信号、被写体検出用の信号を共通の信号として生成してもよい。また、共通とする信号の組み合わせはこの限りではない。

カメラＭＰＵ１２５（プロセッサ、制御装置）は、カメラ本体１２０に係る全ての演算および制御を行う。すなわちカメラＭＰＵ１２５は、撮像素子駆動回路１２３、画像処理回路１２４、表示器１２６、操作スイッチ群１２７、メモリ１２８、位相差ＡＦ部１２９、ＡＥ部１３０、ホワイトバランス調整部１３１および、被写体検出部１３２を制御する。カメラＭＰＵ１２５は、マウントＭの信号線を介してレンズＭＰＵ１１７と接続され、レンズＭＰＵ１１７とコマンドやデータを通信する。カメラＭＰＵ１２５は、レンズＭＰＵ１１７に対して、レンズ位置の取得や所定の駆動量でのレンズ駆動要求を発行し、また、レンズＭＰＵ１１７からレンズユニット１００に固有の光学情報の取得要求などを発行する。

カメラＭＰＵ１２５には、カメラ本体１２０の動作を制御するプログラムを格納したＲＯＭ１２５ａ、変数を記憶するＲＡＭ１２５ｂ（カメラメモリ）、および、各種のパラメータを記憶するＥＥＰＲＯＭ１２５ｃが内蔵されている。またカメラＭＰＵ１２５は、ＲＯＭ１２５ａに格納されているプログラムに基づいて、焦点検出処理を実行する。焦点検出処理においては、撮像光学系の互いに異なる瞳領域（瞳部分領域）を通過した光束により形成される光学像を光電変換した対の像信号を用いて、公知の相関演算処理が実行される。

表示器１２６はＬＣＤなどから構成され、撮像装置１０の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群１２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチなどで構成される。メモリ１２８（記録手段）は、着脱可能なフラッシュメモリであり、撮影済み画像を記録する。

位相差ＡＦ部１２９は、撮像素子１２２および画像処理回路１２４から得られる焦点検出用画像データの像信号（位相差ＡＦ用の信号）に基づいて、位相差検出方式による焦点検出処理を行う。より具体的には、画像処理回路１２４は、撮像光学系の一対の瞳領域を通過する光束で形成される一対の像データを焦点検出用データとして生成し、位相差ＡＦ部１２９は、一対の像データのずれ量に基づいて焦点ずれ量を検出する。このように、本実施例の位相差ＡＦ部１２９は、専用のＡＦセンサを用いず、撮像素子１２２の出力に基づく位相差ＡＦ（撮像面位相差ＡＦ）を行う。本実施例において、位相差ＡＦ部１２９は、取得手段１２９ａおよび算出手段１２９ｂを有する。これらの各手段の動作については後述する。なお、位相差ＡＦ部１２９の少なくとも一部の手段（取得手段１２９ａまたは算出手段１２９ｂの一部）を、カメラＭＰＵ１２５に設けてもよい。なお、位相差ＡＦ部１２９の動作の詳細については後述する。位相差ＡＦ部１２９は、焦点検出結果を用いてフォーカスレンズ１０４の位置を制御するフォーカス制御手段として機能する。

ＡＥ部１３０は、撮像素子１２２および画像処理回路１２４から得られるＡＥ用の信号に基づいて測光を行うことで、撮影条件を適切にする露光調整処理を行う。具体的には、ＡＥ用の信号に基づいて測光を行い、設定中の絞り値、シヤッタスピード、ＩＳＯ感度での露光量を算出する。算出した露光量と、あらかじめ定められた適露光量との差から、撮影時に設定する適切な絞り値、シヤッタスピード、ＩＳＯ感度を演算し撮影条件として設定することで露光調整処理を行う。ＡＥ部１３０は、測光結果を用いて撮影時の露光条件を算出し、絞り１０２の絞り値、シヤッタスピード、ＩＳＯ感度を制御する露光調整手段として機能する。

ホワイトバランス調整部１３１は、撮像素子１２２および画像処理回路１２４から得られるホワイトバランス調整用の信号に基づいてホワイトバランス調整処理を行う。具体的には、ホワイトバランス調整用の信号のホワイトバランスを算出し、あらかじめ定められた適切なホワイトバランスとの差に基づいて、色の重みを調整することで、ホワイトバランス調整処理を行う。

被写体検出部１３２は、画像処理回路１２４により生成される被写体検出用の信号に基づいて、被写体検出処理を行う。被写体検出処理により、被写体の種類や状態（検出タイプ）、被写体の位置と大きさ（検出領域）が検出される。なお、被写体検出部１３２の動作の詳細については後述する。

このように、本実施例のカメラシステム１０は、位相差ＡＦ、測光（露光調整）、ホワイトバランス調整と、被写体検出を組み合わせて実行可能である。よって、被写体検出の結果に応じて、位相差ＡＦ、測光、ホワイトバランス調整を行う位置（像高範囲）を選択することができる。

（撮像素子）
本実施例１における撮像素子の撮像画素（及び焦点検出画素）の配列の概略図を図２に示す。図２は、本実施例１の２次元ＣＭＯＳセンサー（撮像素子）の画素（撮像画素）配列を４列×４行の範囲で、焦点検出画素配列を８列×４行の範囲で示したものである。実施例１において、図２に示した２列×２行の画素群２００は、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各画素は２列×１行に配列された第１焦点検出画素２０１と第２焦点検出画素２０２により構成されている。

図２に示した４列×４行の画素（８列×４行の焦点検出画素）を面上に多数配置し、撮像画像（焦点検出信号）の取得を可能としている。本実施例１では、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、焦点検出画素の列方向周期ＰＡＦが２μｍ、焦点検出画素数ＮＡＦが横１１１５０列×縦３７２５行＝約４１５０万画素の撮像素子として説明を行う。

図２に示した撮像素子の１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た平面図を図３（ａ）に示し、図３（ａ）のａ－ａ断面を－ｙ側から見た断面図を図３（ｂ）に示す。

図３に示すように、本実施例１の画素２００Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部３０１と光電変換部３０２が形成される。光電変換部３０１と光電変換部３０２が、それぞれ、第１焦点検出画素２０１と第２焦点検出画素２０２に対応する。

光電変換部３０１と光電変換部３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしても良いし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしても良い。各画素には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルター３０６が形成される。また、必要に応じて、副画素毎にカラーフィルターの分光透過率を変えても良いし、カラーフィルターを省略しても良い。

図３に示した画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルター３０６で分光されたのち、光電変換部３０１と光電変換部３０２で受光される。光電変換部３０１と光電変換部３０２では、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積され、一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子外部へ排出される。光電変換部３０１と光電変換部３０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。

図３に示した本実施例１の画素構造と瞳分割との対応関係を示した概略説明図を図４に示す。図４は、図３（ａ）に示した本実施例１の画素構造のａ－ａ断面を＋ｙ側から見た断面図と撮像素子の瞳面（瞳距離ＤＳ）である。図４では、撮像素子の瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３に対して反転させている。

図４で、第１焦点検出画素２０１の第１瞳部分領域５０１は、重心が－ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズによって、概ね、共役関係になっており、第１焦点検出画素２０１で受光可能な瞳領域を表している。第１焦点検出画素２０１の第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心している。図４で、第２焦点検出画素２０２の第２瞳部分領域５０２は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズによって、概ね、共役関係になっており、第２焦点検出画素２０２で受光可能な瞳領域を表している。第２焦点検出画素２０２の第２瞳部分領域５０２は、瞳面上で－Ｘ側に重心が偏心している。また、図４で、瞳領域５００は、光電変換部３０１と光電変換部３０２（第１焦点検出画素２０１と第２焦点検出画素２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。

撮像面位相差ＡＦでは、撮像素子のマイクロレンズを利用して瞳分割するため回折の影響を受ける。図４で、撮像素子の瞳面までの瞳距離が数１０ｍｍであるのに対し、マイクロレンズの直径は数μｍである。そのため、マイクロレンズの絞り値が数万となり、数１０ｍｍレベルの回折ボケが生じる。よって、光電変換部の受光面の像は、明瞭な瞳領域や瞳部分領域とはならずに、受光感度特性（受光率の入射角分布）となる。

本実施例１の撮像素子と瞳分割との対応関係を示した概略図を図５に示す。第１瞳部分領域５０１と第２瞳部分領域５０２の異なる瞳部分領域を通過した光束は、撮像素子の各画素に、それぞれ、異なる角度で入射し、２×１分割された第１焦点検出画素２０１と第２焦点検出画素２０２で受光される。本実施例１は、瞳領域が水平方向に２つに瞳分割されている例である。必要に応じて、垂直方向に瞳分割を行っても良い。

本実施例１の撮像素子は、第１焦点検出画素と、第２焦点検出画素とを有する撮像画素が複数配列されている。第１焦点検出画素は、撮影光学系の第１瞳部分領域を通過する光束を受光する。また、第２焦点検出画素は、第１瞳部分領域と異なる撮影光学系の第２瞳部分領域を通過する光束を受光する。また、撮像画素は、撮影光学系の第１瞳部分領域と第２瞳部分領域を合わせた瞳領域を通過する光束を受光する。

本実施例１の撮像素子では、それぞれの撮像画素が第１焦点検出画素と第２焦点検出画素から構成されている。必要に応じて、撮像画素と第１焦点検出画素、第２焦点検出画素を個別の画素構成とし、撮像画素配列の一部に、第１焦点検出画素と第２焦点検出画素を部分的に配置する構成としても良い。

本実施例１では、撮像素子の各画素の第１焦点検出画素２０１の受光信号を集めて第１焦点信号を生成し、各画素の第２焦点検出画素２０２の受光信号を集めて第２焦点信号を生成して焦点検出を行う。また、撮像素子の画素毎に、第１焦点検出画素２０１と第２焦点検出画素２０２の信号を加算することで、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。各信号の生成方法は、本実施例１での実施形態に限らず、例えば、第２焦点検出信号は、撮像信号と第１焦点信号の差分から生成してもよい。

（デフォーカス量と像ずれ量の関係）
以下、本実施例１の撮像素子により取得される第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量の関係について説明する。

図６に、第１焦点検出信号と第２焦点検出信号のデフォーカス量と第１焦点検出信号と第２焦点検出信号間の像ずれ量の概略関係図を示す。撮像面８００に本実施例１の撮像素子（不図示）が配置され、図４、図５と同様に、撮像素子の瞳面が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。デフォーカス量ｄは、被写体の結像位置から撮像面までの距離を大きさ｜ｄ｜とし、被写体の結像位置が撮像面より被写体側にある前ピン状態を負符号（ｄ＜０）として定義される。また、被写体の結像位置が撮像面より被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面（合焦位置）にある合焦状態はｄ＝０である。図６で、被写体８０１は合焦状態（ｄ＝０）の例を示しており、被写体８０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（第２瞳部分領域５０２）を通過した光束は、一度、集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子に配列された各画素を構成する第１焦点検出画素２０１（第２焦点検出画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。よって、第１焦点検出信号（第２焦点検出信号）は、撮像面８００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１－Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。

第１焦点検出信号と第２焦点検出信号、もしくは、第１焦点検出信号と第２焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する。したがって、本実施例１で位相差ＡＦ部１２９は、撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する関係性から、基線長に基づいて算出された変換係数により、像ずれ量を検出デフォーカス量に変換する。

（全体処理フロー）
以下、図７、図８を参照して、本実施形態の撮影時の全体制御方法を説明する。

Ｓ７０１において、位相差ＡＦ部１２９で算出するデフォーカス量算出領域を設定する。このとき、図８（ａ）に示すように撮影画面８０１に対して、ユーザが選択する任意のＡＦ枠８０２（任意領域）を中心にＡＦ枠よりも広い範囲を多点でデフォーカス演算できるように算出領域８０３を設定する。

Ｓ７０２において、Ｓ７０１で設定したデフォーカス量算出領域において、各々のデフォーカス量を算出する。

Ｓ７０３において、Ｓ７０２で算出した各々のデフォーカス量をクラス分類する。このクラス分類にはデフォーカス量のヒストグラムを作成し、被写体が属するクラスをフレーム間マッチングにて特定することで、図８（ｂ）の被写体クラス領域８０４のようなデフォーカス量が所定範囲内である領域を取得する。Ｓ７０４において、被写体認識検出を行う。これらの検出方法は公知の機械学習による学習手法や画像処理手段による認識処理などを用いる。機械学習による学習手法では被写体（人、動物等）の各部位（顔・瞳・全身）の特徴量を事前に学習しておき、撮像画像から事前に学習した被写体を認識し、その領域を取得する。

例えば、機械学習の種類としては、以下がある。

（１）サポートベクターマシーン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）
（２）畳み込みニューラルネットワーク（Ｃｏｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）
（３）再起型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）
また、認識処理の例としては、画像データで表される各画素の階調色から肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法が知られている。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法なども周知である。さらに、本発明に適用可能な主要領域の検出手法については、これらの手法に限るものではなく、他の手法を用いてもよい。

Ｓ７０５では、Ｓ７０４の被写体認識検出で被写体を認識できた場合は、Ｓ７０６に進み、被写体を認識できなかった場合はＳ７０７に進む。

Ｓ７０６では、Ｓ７０３で算出した被写体検出クラスの有無を確認する。被写体検出クラスありの場合はＳ７０８に進み、被写体検出クラスが無い場合はＳ７０９に進む。

Ｓ７０８では、Ｓ７０３で算出した被写体検出クラスを優先した主被写体領域選択を行い、撮影画面上のどの位置でＡＦを行うかを決定する。この主被写体領域選択処理の詳細は後述に記載する。

Ｓ７０９では、Ｓ７０４で検出した被写体認識位置を優先した主被写体領域選択を行い、撮影画面上のどの位置でＡＦを行うかを決定する。この主被写体領域選択処理の詳細は後述に記載する。

また、Ｓ７０７では、Ｓ７０３で算出した被写体検出クラスの有無を確認する。被写体検出クラスありの場合はＳ７１０に進み、被写体検出クラスが無い場合はＳ７１１に進む。被写体認識よりも被写体検出クラスを優先する理由は次の通りである。例えばバスケットの競技中の撮影において、図８（Ｃ）のように複数の被写体がいて、それまで被写体８０４にピントを合わせていて、その後に被写体８０５がＡＦ枠に入ってくるようなシーンでは、ＡＦ枠に被写体８０５がいても、焦点調節を継続的に行っている状態では被写体８０４に合わせ続けたい。そのため被写体検出クラスを被写体８０４に対して検出できている場合、被写体８０４を含む被写体検出クラスを主被写体領域選択として優先する。

Ｓ７１０では、Ｓ７０３で算出した被写体検出クラスを優先した主被写体領域選択を行い、撮影画面上のどの位置でＡＦを行うかを決定する。この主被写体領域選択処理の詳細は後述に記載する。

Ｓ７１１では、任意選択でユーザが指定したＡＦ枠の中心位置を主被写体領域に設定する。

Ｓ７１２では、Ｓ７０８～Ｓ７１１のいずれかの手段で選択した主被写体領域位置に対して、フォーカス駆動を行うかどうかの判定を行う。これまで主被写体領域選択で選択した領域に対するデフォーカス量算出結果から得られる被写体の光軸方向の像面位置の履歴から、今回のデフォーカス量算出のタイミングにおける像面位置を最小二乗法等により推定した。そして、主被写体領域として選択した被写体位置との差が所定の範囲外であれば、ユーザがフレーミングを外したか、障害物が入ってきたと判断しフォーカスレンズ１０４の駆動を止める。所定閾値の範囲内であれば、主被写体領域のデフォーカス量の結果を用いてフォーカスレンズ１０４を駆動する。また、主被写体領域の位置がＡＦ枠の範囲外である場合は、ユーザがフレーミングを外しているのでレンズ駆動を停止して、フレーミングが復帰するのを待つ。

Ｓ７１３では、Ｓ７１２で判定したフォーカス駆動判定でフォーカス駆動すると判定した場合にはＳ７１４に進み、フォーカス駆動しないと判定した場合には、Ｓ７１５に進む。

Ｓ７１４では、Ｓ７０８～Ｓ７１１のいずれかの手段で選択した主被写体領域位置のデフォーカス量に基づき、レンズの駆動量を計算し、フォーカスアクチュエータ１１３によりフォーカスレンズ１０４を動かし焦点調節を行う。

（被写体クラス）
ここで、前述のクラス分類について、より具体的に、図１６を用いて説明する。図１６（ａ１）～（ａ２）は、フレーム１～フレーム２における被写体の様子を表している。図１６（ｂ１）～（ｂ２）は、デフォーカス量のヒストグラムを表している。フレーム１からフレーム２にかけて、被写体８０４が至近側（前側）に動き、被写体８０５は停止しているシーンにおける例である。Ｓ７０２で算出した各々のデフォーカス量を用いて、フレーム１において特定された主被写体８０４の位置を、フレーム２以降でも特定することができる。

まず、フレーム１において、図１６（ｂ１）のヒストグラムを算出する。横軸はデフォーカス量で、左側が無限遠側、右側が至近側である。縦軸は該当クラスに属する算出領域の頻度である。ヒストグラム算出時のビン間隔（各クラスの間隔）と範囲は、被写体距離、被写体サイズ、絞り値から換算した、像面上での被写体奥行きサイズに応じて設定する。被写体奥行きサイズに応じて設定することで、被写体をヒストグラム上で表現する際の解像度を条件に寄らず適切に設定できる。本実施例では、撮影条件に応じて、ヒストグラムのビン間隔と範囲を設定したが、あらかじめ決められたビン間隔と範囲で算出してもよい。図１６（ｂ１）のクラス８４１は、フレーム１で特定した被写体クラスである。

次に、フレーム２において、前フレームであるフレーム１のヒストグラム（図１６（ｂ１））と現フレームであるフレーム２のヒストグラム（図１６（ｂ２））を取得する。各ヒストグラムの左側の山が被写体８０４に、右側の山が被写体８０５に対応している。フレーム２では、フレーム１よりも被写体８０４が至近側に近づき、画角内のサイズも大きくなっているため、被写体８０４に対応する左側の山が至近側（右側）に移動し、大きくなっている。フレーム間で、被写体の前および後ろに存在するものは、大きく変化しないことを利用して被写体クラスを特定することができる。

（被写体検出クラスを優先した主被写体領域選択）
以下、図９を参照して、本実施形態の被写体検出クラスを優先した主被写体領域選択方法を説明する。

Ｓ９０１では、被写体の像面位置の履歴から予想デフォーカス量を算出する。具体的には過去の主被写体領域の光軸方向の像面上の被写体位置を履歴として記憶し、デフォーカス量を算出したタイミングの時刻における像面上の被写体位置を最小二乗法等で予想する。その後、予想した被写体位置とデフォーカス量を算出した時刻のレンズ位置から過去の履歴に基づいた予想デフォーカス量を算出する。

Ｓ９０２では、ＡＦ枠内の算出領域において算出された各々のデフォーカス量とＳ９０１で算出した予想デフォーカス量を比較し差が閾値ＴＨ１以上である算出領域の割合が、閾値ＴＨ２以上あるかどうかを判定する。図８（ｂ）では、ＡＦ枠内に５×４の合計２０個の算出領域があるが、大半の算出領域は正しく被写体を捉えることができていない。このようなシーンでは正しい被写体位置をＡＦ枠外に対しても探索する必要がある。そのため、ＡＦ枠内に過去の被写体位置との履歴から連続性のない（閾値ＴＨ１以上のデフォーカス差がある）算出領域が所定割合ＴＨ２以上存在するかどうかを確認し、存在する場合はＳ９０３に進み、存在しない場合はＳ９０７に進む。

Ｓ９０３では、Ｓ７０３で算出した被写体検出クラスが存在するかどうかを判定する。被写体検出クラスが存在する場合はＳ９０４に進み、存在しない場合はＳ９０７に進む。

Ｓ９０４では、Ｓ７０３で算出した被写体検出クラスがＡＦ枠範囲内に存在するかどうか判定する。範囲外の場合はＳ９０５に進み、範囲内の場合はＳ９０６に進む。

Ｓ９０５では、被写体検出クラス内の算出領域で一番予想デフォーカス量に近い算出領域を主被写体領域に設定する。

Ｓ９０６では、ＡＦ枠内の被写体検出クラス内の算出領域で一番予想デフォーカス量に近い算出領域を主被写体領域に設定する。

Ｓ９０７では、ＡＦ枠内の一番予想デフォーカス量に近い算出領域を主被写体領域に設定する。

（被写体認識位置を優先した主被写体領域選択）
図１０のフローチャートを参照して、図７のＳ７０８の被写体認識位置を優先した主被写体領域選択の処理について説明する。まず、Ｓ１００１でＡＦ枠内の領域と被写体認識領域との重複領域を特定する。重複領域について図１１を用いて説明する。図１１（ａ）および（ｂ）の１１０１は撮影領域（撮影画面）、１１０２の黒枠はＡＦ枠、１１０３の二重枠は被写体認識領域を示す指標である被写体認識枠、１１０４は被写体、１１０５は背景の木であり、図３（ｂ）の１１０６の斜線部は重複領域である。被写体認識枠１１０３は、被写体１１０４の瞳を検出したときの被写体認識枠であり、図１１（ｂ）では被写体認識枠１１０３とＡＦ枠１１０２が重なっているため、重複領域１１０６が存在する。次に、Ｓ１１０２にて重複領域が下限重複サイズ以上の大きさか判定する。下限重複サイズとは、ＡＦ枠と被写体認識枠が重複していることを判定するための基準となるサイズであり、重複領域が下限重複サイズ以上の大きさのときは、ＡＦ枠と被写体認識枠が重複していると判定して、Ｓ１００４に進む。Ｓ１１０２にて重複領域が下限重複サイズより小さいときは、ＡＦ枠と被写体認識枠が重複していないと判定し、Ｓ１００３に進む。このＳ１１０２の判定を重複判定と呼ぶ。図１１（ａ）では、被写体認識枠１１０３とＡＦ枠１１０２が重なっておらず、重複領域は存在しないため、重複していないと判定される。図１１（ｂ）では、重複領域１１０６が存在するため、この重複領域が下限重複サイズの大きさ以上のとき、重複していると判定される。重複していると判定された場合は、Ｓ１００４にて被写体認識枠内の領域から主被写体領域を選択する。重複していない場合は、Ｓ１００３にてＡＦ枠内の領域から主被写体領域を選択する。Ｓ１００５では、Ｓ１００４にて選択した主被写体領域のデフォーカス量と被写体の像面位置の履歴から予測した被写体のデフォーカス量との差が所定より大きい場合、Ｓ１００３に遷移してＡＦ枠内の領域から主被写体領域選択を行う。Ｓ１００８では、被写体認識枠を表示する設定かどうかを判定する。被写体認識枠を表示しない場合は、ＡＦ枠が表示された状態で図７のＳ７０８の被写体認識位置を優先した主被写体領域選択の処理を終了する。被写体認識枠を表示する場合であり、かつ被写体認識領域から主被写体領域を選択した場合はＳ１００６に進み、ＡＦ枠を非アクティブ枠にして、被写体認識枠をアクティブ枠にする。被写体認識枠を表示する場合であり、かつＡＦ枠の領域から主被写体領域を選択した場合はＳ１００７に進み、ＡＦ枠をアクティブ枠にして、被写体認識枠を非アクティブ枠にする。ここで、アクティブ枠とは主被写体領域を選択するのに用いる領域を撮影画面表示で表したものであり、図１２（ａ）ではＡＦ枠のアクティブ枠である１２０１や、図１２（ｂ）では被写体認識枠のアクティブ枠である１２０４のように実線で表示される。非アクティブ枠とは主被写体領域を選択するのに用いない領域を撮影画面表示で表したものであり、図１２（ａ）ではＡＦ枠の非アクティブ枠である１２０３や、図１２（ｂ）では被写体認識枠の非アクティブ枠である１２０２のようにグレーの線で表示される。アクティブ枠と非アクティブ枠は、図１２の実線やグレーの線に限らず、他の表示形式をとってもよい。以上により、ＡＦ枠内の領域と被写体認識領域のどちらの領域から主被写体領域選択するか選択して、選択された算出領域から得た主被写体領域のデフォーカス量を用いてフォーカスレンズを制御することができる。ＡＦ枠内の領域が選択された場合は、撮影領域内の任意の領域をＡＦ枠で指定して合焦させることができ、被写体認識領域が選択された場合は、正確に被写体をＡＦ枠に合わせなくても、被写体に合焦させることができる。

図１０のＳ１００２で行う重複判定は、ユーザが合焦させたい領域がＡＦ枠内にあるのか被写体認識領域内にあるのかを判断して選択する重要な判定であり、下限重複サイズの大きさを下記のように定義してよい。図１３の（ａ）は図１１の（ｂ）に図７のＳ７０１で設定したデフォーカス量算出領域を重畳して表示したものである。ここで、Ｓ７０１で設定したデフォーカス量算出領域を単に算出領域と呼ぶ。図１３（ａ）の１３０１の四角が算出領域１つ分の領域、１３０２の円弧が算出領域の横の長さ、１３０３の円弧が算出領域の縦の長さである。図１３の（ｂ）は、図１３（ａ）の顔を囲んだ点線の領域を拡大したものであり、１３０４の円弧はＡＦ枠内の領域と被写体認識領域の重複領域の横の長さ、１３０５の円弧は重複領域の縦の長さである。重複判定では、ＡＦ枠内の領域と被写体認識領域が重なったと判定する重複領域の大きさを、重複領域と算出領域の縦横それぞれの長さを比較して重複領域の方がどちらも長いと定義することができる。図１３を参照して説明すると、重複領域の横の長さ１３０４は算出領域の横の長さ１３０２より長く、かつ重複領域の縦の長さ１３０５は算出領域の縦の長さ１３０３よりも長い場合、重なっていると判定できる。この重複判定の定義では、ユーザが合焦させたい領域を表すＡＦ枠内に、被写体のデフォーカス量を検出する算出領域が１つ以上あることが保証でき、ユーザが合焦させたい領域は被写体認識枠内の領域であると推定できる。これにより、ユーザが合焦させたい領域が、ＡＦ枠内の領域なのか被写体認識領域なのか判断して選択することができる。

図１０のＳ１００２で行う重複判定で、下限重複サイズの大きさが小さければ、少しでもＡＦ枠内の領域と被写体認識領域が重なれば被写体認識領域を用いることができ、被写体にＡＦ枠を合わせ続ける難易度を落とすことができる。一方で、下限重複サイズの大きさが大きければ、ＡＦ枠内の領域と被写体認識領域が少し重なってもＡＦ枠内の領域にピントを合わせることができ、ユーザがＡＦ枠を用いて狙った領域に合焦させることができる。つまり、下限重複サイズの大きさによって、被写体にＡＦ枠を合わせ続ける難易度を落とすことと、ユーザがＡＦ枠を用いて狙った領域に合焦させることのバランスをとることができる。したがって、このバランスを考慮して、下限重複サイズの大きさを調節しても良い。例えば、レンズユニット１００の焦点距離が所定の焦点距離より長い場合、短い場合よりも下限重複サイズを小さくしてもよい。これは、焦点距離が長いほうが手ブレしやすく、ＡＦ枠に被写体を合わせ続けることが難しいからである。また、被写体の移動速度が所定の速度より速い場合、速度が遅い場合よりも下限重複サイズを小さくしても良い。これは被写体の移動速度が速いほどＡＦ枠に被写体を合わせ続けるのが難しいからである。ここで、被写体の移動速度は、撮影中に連続して認識された被写体の被写体認識領域が撮影領域内を縦横方向に移動する速度から推定できる。また、ＡＦ枠が所定のサイズより小さい場合は、サイズが大きい場合よりも下限重複サイズを小さくしても良い。これは、ＡＦ枠サイズが小さい場合は、少しの手ブレでもＡＦ枠に含まれる領域が大きく変化するため、ＡＦ枠に被写体を合わせ続けるのが難しいからである。また、被写体のサイズが所定より小さい場合は、サイズが大きい場合よりも下限重複サイズを小さくしても良い。これは、小さい被写体は少しの手ブレでもＡＦ枠外に出やすく、ＡＦ枠に被写体を合わせ続けるのが難しいからである。ここで、被写体のサイズは、被写体の被写体認識領域のサイズから推定できる。また、被写体と撮像装置との距離が所定より遠い場合は、距離が近い場合よりも下限重複サイズを小さくしても良い。これは、被写体と撮像装置との距離が遠い場合、少しの手ブレでもＡＦ枠に含まれる領域が大きく変化するため、ＡＦ枠に被写体を合わせ続けるのが難しいからである。また、動画を撮影する場合は、静止画を撮影する場合よりも下限重複サイズを小さくしても良い。これは、ピント位置が頻繁に変わると、動画としては品位が悪いとして好まれない傾向があり、主被写体領域の位置を被写体に安定させることで、ピント位置を安定させることができるからである。以上により、算出領域と重複領域の大きさや、被写体にＡＦ枠を合わせ続ける難易度を落とすことと、ユーザがＡＦ枠を用いて狙った領域に合焦させることのバランスを考慮して重複判定を行える。これにより、ＡＦ枠内の領域と被写体認識領域のどちらを用いて主被写体領域選択するか選択することができる。

重複判定で重複したと判定された被写体認識領域内の算出領域よりも、同一被写体の中で優先して合焦させたい部位が存在する場合がある。例えば車を認識して、重複判定で重複したと判定できたのが車全体を表す被写体認識領域でも、同時に車のヘッド部分も認識できており、ヘッド部分に優先して合焦させたい場合などである。この時、優先したい部位に合焦させることができれば、被写体にＡＦ枠を合わせ続ける難易度を落とす効果をさらに向上させることができる。したがって、同一被写体の中で検出した部位の優先順位によって、重複判定で重複したと判定した部位を変更しても良い。ただし、より優先順位の高い部位の被写体認識領域とＡＦ枠内の領域との重複領域は下限重複サイズより小さくても良いものとする。さらにより優先順位の高い部位の被写体認識領域とＡＦ枠内の領域との重複領域を持たない場合でも、重複したと判定する部位をより優先順位の高い部位の被写体認識領域に変更しても良い。図１４の１４０１は被写体である車、１４０２はＡＦ枠、１４０３は車全体の被写体認識領域を示す指標である被写体認識枠である。また、１４０４はヘッド部分の被写体認識領域を示す指標である被写体認識枠、１４０５はＡＦ枠内の領域と車全体の被写体認識領域との重複領域である。図１４の例では車の全体とヘッド部分が認識されており、重複領域１４０５は下限重複サイズより大きいとする。この時、ＡＦ枠内の領域と重複しているのは車全体の被写体認識領域１４０３だが、車全体よりもヘッド部分の優先順位が高いとすると、重複判定により重複したと判定する被写体認識領域をヘッド部分の被写体認識領枠１４０４に対応する領域にすることができる。この時、図１４のように優先順位の高いヘッド部分の被写体認識枠に対応する領域１４０４とＡＦ枠内の領域との重複領域がない、あるいは重複部分が下限重複サイズよりも小さくても、ヘッド部分の被写体認識枠１４０４の領域が重複したと判定することができる。

また、表示に関して、優先順位の高い部位の被写体認識枠をアクティブ枠とし、重複しているが優先順位の低い部位の被写体認識枠とＡＦ枠を非アクティブ枠として表示しても良い。図１５は、図１４のシーンでのＡＦ枠と被写体認識枠の表示の例である。図１５の１５０１は被写体である車、１５０２は非アクティブ枠のＡＦ枠、１５０３は非アクティブ枠の車全体の被写体認識枠、１５０４はアクティブ枠のヘッド部分の被写体認識枠である。図１５は表示例であり、アクティブ枠と非アクティブ枠は他の表示形式を取っても良い。また、主被写体領域選択に用いられる領域が、被写体認識枠１５０４に対応する領域である場合、同一被写体で別の部位の被写体認識枠である１５０３は非表示としても良い。これにより、被写体のより合焦させたい部位について、被写体にＡＦ枠を合わせ続ける難易度を落として合焦させることができる。

なお、被写体認識枠を表示しない場合と被写体認識枠を表示する場合のユーザによる撮影準備指示操作（ＳＷ１）前後の表示処理としては後述のとおりになる。まず、「被写体認識枠を表示しない場合」の処理としては、ＡＦ枠と被写体認識枠の重なりに関わらず被写体認識枠は非表示とし、ＡＦ枠のみ白枠で表示する。ＳＷ１押下時には、ＡＦ枠と被写体認識枠が重なっていれば被写体認識枠を使い、重なっていなければＡＦ枠を使って合焦させ、サーボＡＦ時のＳＷ１保持中も同じように追従させる。一方、「被写体認識枠を表示する場合」の処理としては、ＡＦ枠と被写体認識枠が重なっていないときはＡＦ枠が白枠で、被写体認識枠がグレー枠で表示される。この時ＳＷ１が押下されると被写体認識枠が非表示になり、ＡＦ枠内のモノに合焦される。サーボＡＦの場合、合焦させた後のＳＷ１保持中はＡＦ枠が非表示になり、合焦させたモノに被写体認識枠が付き、ＡＦを追従させる。ＡＦ枠と被写体認識枠が重なっているときはＡＦ枠がグレー枠で、被写体認識枠が白枠で表示される。この時ＳＷ１が押下されるとＡＦ枠が非表示になり被写体認識枠内の被写体に合焦される。サーボＡＦの場合、合焦させた後のＳＷ１保持中は、被写体認識枠を使ってＡＦを追従させる。

上述の実施例によれば、任意選択ＡＦで正確に被写体へフレーミングしなくても正確に被写体にピントを合わせることができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (12)

1. 撮像光学系を介して撮像する撮像素子から画像信号を得る信号生成手段と、
   前記画像信号内で任意領域を設定できる任意領域設定手段と、
   前記任意領域外の前記画像信号を含めた領域を複数に分割した算出領域からデフォーカス量を検出する焦点検出手段と、
   前記画像信号から被写体が存在する被写体領域を特定する被写体領域特定手段と、
   前記任意領域と前記被写体領域から合焦領域を選択する合焦領域選択手段を有し、
   前記被写体領域特定手段は、前記画像信号から検出した特定の被写体が存在する被写体認識領域を前記被写体領域とする第１の被写体領域特定手段を有し、
   前記合焦領域選択手段は、前記任意領域と前記被写体認識領域が重なっていることを判定する重複判定手段を有し、
   前記重複判定手段により重なったと判定した場合は、前記被写体認識領域に含まれる前記算出領域の前記デフォーカス量に基づいてフォーカスレンズを制御し、
   前記重複判定手段により重なっていないと判定した場合は、前記任意領域に含まれる前記算出領域の前記デフォーカス量に基づいてフォーカスレンズを制御することを特徴とする撮像装置。
2. 前記任意領域と前記被写体認識領域のそれぞれが前記合焦領域だった場合と、前記合焦領域でなかった場合で表示形式を変えることを特徴とする請求項１に記載の撮像装置。
3. 前記重複判定手段は、前記任意領域と前記被写体認識領域が重なったと判定するための大きさである下限重複サイズよりも、前記任意領域と前記被写体認識領域が重なっている領域である重複領域が大きければ、前記任意領域と前記被写体認識領域が重なったと判定することを特徴とする請求項１に記載の撮像装置。
4. 前記重複判定手段は、前記下限重複サイズを前記算出領域１つ分の大きさとすることを特徴とする請求項３に記載の撮像装置。
5. 前記重複判定手段は、前記撮像光学系の焦点距離が長いほど前記下限重複サイズを小さくし、
   前記焦点距離が短いほど前記下限重複サイズを大きくすることを特徴とする請求項３に記載の撮像装置。
6. 前記重複判定手段は、前記第１の被写体領域特定手段で検出した被写体の移動速度が速いほど前記下限重複サイズを小さくし、
   前記移動速度が遅いほど前記下限重複サイズを大きくすることを特徴とする請求項３に記載の撮像装置。
7. 前記重複判定は、撮像装置が動画を記録する場合は前記下限重複サイズを小さくし、
   静止画を記録する場合は前記下限重複サイズを大きくすることを特徴とする請求項３に記載の撮像装置。
8. 前記重複判定は、前記任意領域が小さいほど前記下限重複サイズを小さくし、
   前記任意領域が大きいほど前記下限重複サイズを大きくすることを特徴とする請求項３に記載の撮像装置。
9. 前記重複判定は、前記被写体認識領域が小さいほど前記下限重複サイズを小さくし、
   前記被写体認識領域が大きいほど前記下限重複サイズを大きくすることを特徴とする請求項３に記載の撮像装置。
10. 前記重複判定は、前記第１の被写体領域特定手段で検出した被写体と撮像装置との距離が遠いほど前記下限重複サイズを小さくし、
    前記第１の被写体領域特定手段で検出した被写体と撮像装置との距離が近いほど前記下限重複サイズを大きくすることを特徴とする請求項３に記載の撮像装置。
11. 被写体の像面位置の履歴から被写体位置のデフォーカス量を予測する被写体デフォーカス量予測手段を有することを特徴とする請求項１に記載の撮像装置。
12. 撮像光学系を介して撮像する撮像素子から画像信号を得る信号生成手段を有する撮像装置の制御方法であって、
    前記画像信号内で任意領域を設定できる任意領域設定工程と、
    前記任意領域外の前記画像信号を含めた領域を複数に分割した算出領域からデフォーカス量を検出する焦点検出工程と、
    前記画像信号から被写体が存在する被写体領域を特定する被写体領域特定工程と、
    前記任意領域と前記被写体領域から合焦領域を選択する合焦領域選択工程を有し、
    前記被写体領域特定工程は、前記画像信号から検出した特定の被写体が存在する被写体認識領域を前記被写体領域とする第１の被写体領域特定工程を有し、
    前記合焦領域選択工程は、前記任意領域と前記被写体認識領域が重なっていることを判定する重複判定工程を有し、
    前記重複判定工程により重なったと判定した場合は、前記被写体認識領域に含まれる前記算出領域の前記デフォーカス量に基づいてフォーカスレンズを制御し、
    前記重複判定工程により重なっていないと判定した場合は、前記任意領域に含まれる前記算出領域の前記デフォーカス量に基づいてフォーカスレンズを制御することを特徴とする撮像装置の制御方法。

Images