JP2021179527A - 撮影制御装置、撮像装置、撮影制御方法、及びプログラム - Google Patents

Abstract

【課題】検出対象の被写体を部分的に含んだ被写体検出領域に基づく撮影制御の精度を向上させる。【解決手段】検出対象の被写体を部分的に含んだ被写体領域を検出し、被写体領域を含む測距領域内の複数の測距点のデフォーカス量に基づいて測距領域を複数の部分領域に分類し（Ｓ９０４）、さらに複数の部分領域の各々は複数のデフォーカス量の範囲における異なる部分範囲に対応させて分類し（Ｓ９０５）、複数の部分領域の各々と被写体領域との間の幾何学的な関係に基づいて、複数の部分領域の各々について検出対象の被写体が存在する可能性を示す被写体度合いを判定し（Ｓ９０６）、複数の部分領域に基づいて撮影制御を行う。その際、第１の被写体度合いを持つ部分領域の寄与が第１の被写体度合いより小さい第２の被写体度合いを持つ部分領域の寄与よりも大きくなるように撮影制御する（Ｓ９０７）。【選択図】図９

Description

本発明は、撮影制御装置、撮像装置、撮影制御方法、及びプログラムに関する。

従来、被写体を検出して検出箇所で測距演算を行うことにより焦点調節を行う方法が知られている。特許文献１の技術では、検出した被写体の部位に応じて、焦点検出信号の検出方向を決定することで、被写体に応じた最適な測距を行うことができる。

特開２００９−１９２７７４号公報

一般的な被写体検出処理では、検出対象の被写体が存在する領域と存在しない領域とが厳密に区別される訳ではなく、検出対象の被写体が存在しない領域（例えば背景領域）も含んだ領域が被写体領域として検出される。そのため、例えば被写体領域に基づいて焦点調節（フォーカス制御）を行った場合でも、検出対象の被写体が存在しない領域（例えば背景領域）に合焦する可能性がある。この点はフォーカス制御以外の撮影制御（例えば露光制御）を行う場合でも同様であり、被写体領域に基づいて撮影制御を行った場合でも、必ずしも検出対象の被写体に適した制御結果が得られるとは限らない。

本発明はこのような状況に鑑みてなされたものであり、検出対象の被写体を部分的に含んだ被写体検出領域に基づく撮影制御の精度を向上させる技術を提供することを目的とする。

上記課題を解決するために、本発明は、撮影範囲において検出対象の被写体を部分的に含んだ被写体領域を検出する検出手段と、前記被写体領域を含む測距領域内の複数の測距点に対応する複数のデフォーカス量を取得する取得手段と、前記複数のデフォーカス量に基づいて前記測距領域を複数の部分領域に分類する分類手段であって、前記複数の部分領域の各々は前記複数のデフォーカス量の範囲における異なる部分範囲に対応する、分類手段と、前記複数の部分領域の各々と前記被写体領域との間の幾何学的な関係に基づいて、前記複数の部分領域の各々について前記検出対象の被写体が存在する可能性を示す被写体度合いを判定する判定手段と、前記複数の部分領域に基づいて撮影制御を行う制御手段であって、第１の被写体度合いを持つ部分領域の寄与が前記第１の被写体度合いより小さい第２の被写体度合いを持つ部分領域の寄与よりも大きくなるように前記撮影制御を行う、制御手段と、を備えることを特徴とする撮影制御装置を提供する。

本発明によれば、検出対象の被写体を部分的に含んだ被写体検出領域に基づく撮影制御の精度を向上させることが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

撮像制御装置を備える撮像装置１０の構成を示すブロック図。 撮像素子１２２の撮像画素（及び焦点検出画素）の配列の概略図。 （ａ）図２に示した撮像素子１２２の１つの画素２００Ｇを、撮像素子１２２の受光面側（＋ｚ側）から見た平面図、（ｂ）図３（ａ）のａ−ａ断面を−ｙ側から見た断面図。 図３に示した本実施形態の画素構造と瞳分割との対応関係を示した概略説明図。 撮像素子１２２と瞳分割との対応関係を示した概略図。 第１焦点検出信号と第２焦点検出信号に基づくデフォーカス量と第１焦点検出信号と第２焦点検出信号との間の像ずれ量との概略関係図。 撮影処理のフローチャート。 被写体（検出対象）と検出領域（被写体領域）との概略関係図。 図７のＳ７０３における焦点調節処理の詳細を示すフローチャート。 被写体領域８０１〜８０６それぞれに関して、被写体領域の位置及び大きさを基準に設定された測距領域の概略説明図。 図１０の測距領域内のデフォーカス量をクラス分類した状態を示す概略説明図。 Ｓ９０５において検出されるクラス領域の概略説明図。 図７のＳ７０５におけるホワイトバランス調整処理の詳細を示すフローチャート。 図７のＳ７０６における露光調節処理の詳細を示すフローチャート。 図９のＳ９０６における被写体度合いの判定処理の詳細を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
（撮像装置１０の構成）
図１は、撮像制御装置を備える撮像装置１０の構成を示すブロック図である。図１の例においては、撮像装置１０は、レンズ交換可能な一眼レフタイプのデジタルカメラである。撮像装置１０は、レンズユニット１００（交換レンズ）とカメラ本体１２０とを有するカメラシステムの形態を持つ。レンズユニット１００は、図１において点線で示されるマウントＭを介して、カメラ本体１２０と着脱可能に取り付けられる。但し、本実施形態は、図１に示す構成に限定されるものではなく、レンズユニット（撮像光学系）とカメラ本体とが一体的に構成された撮像装置（デジタルカメラ）にも適用可能である。また、本実施形態は、デジタルカメラに限定されるものではなく、ビデオカメラなど他の撮像装置にも適用可能である。

レンズユニット１００は、光学系としての第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」という）１０４、及び、駆動／制御系とを有する。このようにレンズユニット１００は、フォーカスレンズ１０４を含み、被写体像を形成する撮影レンズ（撮像光学系）である。

第１レンズ群１０１は、レンズユニット１００の先端に配置され、光軸方向ＯＡに進退可能に保持される。絞り１０２は、その開口径を調節することで撮影時の光量調節を行い、また静止画撮影時においては露光秒時調節用シャッタとして機能する。絞り１０２及び第２レンズ群１０３は、一体的に光軸方向ＯＡに移動可能であり、第１レンズ群１０１の進退動作との連動によりズーム機能を実現する。フォーカスレンズ１０４は、光軸方向ＯＡに移動可能であり、その位置に応じてレンズユニット１００が合焦する被写体距離（合焦距離）が変化する。フォーカスレンズ１０４の光軸方向ＯＡにおける位置を制御することにより、レンズユニット１００の合焦距離を調節する焦点調節（フォーカス制御）が可能である。

駆動／制御系は、ズームアクチュエータ１１１、絞りアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動回路１１４、絞り駆動回路１１５、フォーカス駆動回路１１６、レンズＭＰＵ１１７、及び、レンズメモリ１１８を有する。ズーム駆動回路１１４は、ズームアクチュエータ１１１を用いて第１レンズ群１０１や第２レンズ群１０３を光軸方向ＯＡに駆動し、レンズユニット１００の光学系の画角を制御する（ズーム操作を行う）。絞り駆動回路１１５は、絞りアクチュエータ１１２を用いて絞り１０２を駆動し、絞り１０２の開口径や開閉動作を制御する。フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４を光軸方向ＯＡに駆動し、レンズユニット１００の光学系の合焦距離を制御する（フォーカス制御を行う）。また、フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４の現在位置（レンズ位置）を検出する位置検出部としての機能を有する。

レンズＭＰＵ１１７（プロセッサ）は、レンズユニット１００に係る全ての演算、制御を行い、ズーム駆動回路１１４、絞り駆動回路１１５、及び、フォーカス駆動回路１１６を制御する。また、レンズＭＰＵ１１７は、マウントＭを通じてカメラＭＰＵ１２５と接続され、コマンドやデータを通信する。例えば、レンズＭＰＵ１１７はフォーカスレンズ１０４の位置を検出し、カメラＭＰＵ１２５からの要求に対してレンズ位置情報を通知する。このレンズ位置情報は、フォーカスレンズ１０４の光軸方向ＯＡにおける位置、光学系が移動していない状態の射出瞳の光軸方向ＯＡにおける位置及び直径、及び、射出瞳の光束を制限するレンズ枠の光軸方向ＯＡにおける位置及び直径などの情報を含む。またレンズＭＰＵ１１７は、カメラＭＰＵ１２５からの要求に応じて、ズーム駆動回路１１４、絞り駆動回路１１５、及び、フォーカス駆動回路１１６を制御する。レンズメモリ１１８は、自動焦点調節（ＡＦ制御）に必要な光学情報を記憶している。カメラＭＰＵ１２５は、例えば内蔵の不揮発性メモリやレンズメモリ１１８に記憶されているプログラムを実行することにより、レンズユニット１００の動作を制御する。

カメラ本体１２０は、光学的ローパスフィルタ１２１、撮像素子１２２、及び、駆動／制御系を有する。光学的ローパスフィルタ１２１及び撮像素子１２２は、レンズユニット１００を介して形成された被写体像（光学像）を光電変換し、画像データを出力する撮像部（撮像部）として機能する。本実施形態において、撮像素子１２２は、撮影光学系を介して形成された被写体像を光電変換し、画像データとして、撮像信号及び焦点検出信号をそれぞれ出力する。また本実施形態において、第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ１０４、及び、光学的ローパスフィルタ１２１は、撮像光学系を構成する。

光学的ローパスフィルタ１２１は、撮影画像の偽色やモアレを軽減する。撮像素子１２２は、ＣＭＯＳイメージセンサ及びその周辺回路で構成され、横方向ｍ画素、縦方向ｎ画素（ｍ、ｎは２以上の整数）が配置されている。本実施形態の撮像素子１２２は焦点検出素子の役割も果たし、瞳分割機能を有し、画像データ（画像信号）を用いた位相差検出方式の焦点検出（位相差ＡＦ）が可能な瞳分割画素を有する。画像処理回路１２４は、撮像素子１２２から出力される画像データに基づいて、位相差ＡＦ用のデータと、表示、記録、及び、被写体検出用の画像データとを生成する。

駆動／制御系は、撮像素子駆動回路１２３、画像処理回路１２４、カメラＭＰＵ１２５、表示器１２６、操作スイッチ群（操作ＳＷ）１２７、メモリ１２８、位相差ＡＦ部１２９（撮像面位相差焦点検出部、制御部）、ＡＥ部１３０（制御部）、ホワイトバランス調整部１３１（制御部）、及び被写体検出部１３２（検出部）を有する。撮像素子駆動回路１２３は、撮像素子１２２の動作を制御するとともに、撮像素子１２２から出力された画像信号（画像データ）をＡ／Ｄ変換し、カメラＭＰＵ１２５に送信する。画像処理回路１２４は、撮像素子１２２から出力された画像信号に対して、γ変換、色補間処理、圧縮符号化処理など、デジタルカメラで行われる一般的な画像処理を行う。また画像処理回路１２４は、位相差ＡＦ用の信号、ＡＥ用の信号、ホワイトバランス調整用の信号、及び、被写体検出用の信号を生成する。本実施形態では、位相差ＡＦ用の信号、ＡＥ用の信号、ホワイトバランス調整用の信号、及び、被写体検出用の信号をそれぞれ生成しているが、例えばＡＥ用の信号、ホワイトバランス調整用の信号、被写体検出用の信号を共通の信号として生成してもよい。また、共通とする信号の組み合わせはこの限りではない。

カメラＭＰＵ１２５（プロセッサ、制御装置）は、カメラ本体１２０に係る全ての演算及び制御を行う。即ちカメラＭＰＵ１２５は、撮像素子駆動回路１２３、画像処理回路１２４、表示器１２６、操作スイッチ群１２７、メモリ１２８、位相差ＡＦ部１２９、ＡＥ部１３０、ホワイトバランス調整部１３１、及び、被写体検出部１３２を制御する。カメラＭＰＵ１２５は、マウントＭの信号線を介してレンズＭＰＵ１１７と接続され、レンズＭＰＵ１１７とコマンドやデータを通信する。カメラＭＰＵ１２５は、レンズＭＰＵ１１７に対して、レンズ位置の取得や所定の駆動量でのレンズ駆動要求を発行し、また、レンズＭＰＵ１１７からレンズユニット１００に固有の光学情報の取得要求などを発行する。

カメラＭＰＵ１２５には、カメラ本体１２０の動作を制御するプログラムを格納したＲＯＭ１２５ａ、変数を記憶するＲＡＭ１２５ｂ（カメラメモリ）、及び、各種のパラメータを記憶するＥＥＰＲＯＭ１２５ｃが内蔵されている。またカメラＭＰＵ１２５は、ＲＯＭ１２５ａに格納されているプログラムに基づいて、焦点検出処理を実行する。焦点検出処理においては、撮像光学系の互いに異なる瞳領域（瞳部分領域）を通過した光束により形成される光学像を光電変換した対の像信号を用いて、公知の相関演算処理が実行される。

表示器１２６はＬＣＤなどから構成され、撮像装置１０の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群１２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチなどで構成される。メモリ１２８（記録部）は、着脱可能なフラッシュメモリであり、撮影済み画像を記録する。

位相差ＡＦ部１２９は、撮像素子１２２及び画像処理回路１２４から得られる焦点検出用画像データの像信号（位相差ＡＦ用の信号）に基づいて、位相差検出方式による焦点検出処理を行う。より具体的には、画像処理回路１２４は、撮像光学系の一対の瞳領域を通過する光束で形成される一対の像データを焦点検出用データとして生成し、位相差ＡＦ部１２９は、一対の像データのずれ量に基づいて焦点ずれ量を検出する。このように、本実施形態の位相差ＡＦ部１２９は、専用のＡＦセンサを用いず、撮像素子１２２の出力に基づく位相差ＡＦ（撮像面位相差ＡＦ）を行う。本実施形態において、位相差ＡＦ部１２９は、取得部１２９ａ及び算出部１２９ｂを有する。これらの各部の動作については後述する。

なお、位相差ＡＦ部１２９の少なくとも一部（取得部１２９ａ又は算出部１２９ｂの一部）を、カメラＭＰＵ１２５に設けてもよい。位相差ＡＦ部１２９の動作の詳細については後述する。位相差ＡＦ部１２９は、焦点検出結果を用いてフォーカスレンズ１０４の位置を制御するフォーカス制御部として機能する。

ＡＥ部１３０は、撮像素子１２２及び画像処理回路１２４から得られるＡＥ用の信号に基づいて測光を行うことで、撮影条件を適切にする露光調整処理を行う。具体的には、ＡＥ用の信号に基づいて測光を行い、設定中の絞り値、シャッタスピード、ＩＳＯ感度での露光量を算出する。算出した露光量と、予め定められた適正露光量との差から、撮影時に設定する適切な絞り値、シャッタスピード、ＩＳＯ感度を演算し撮影条件として設定することで露光調整処理を行う。ＡＥ部１３０は、測光結果を用いて撮影時の露光条件を算出し、絞り１０２の絞り値、シャッタスピード、ＩＳＯ感度を制御する露光調整部として機能する。

ホワイトバランス調整部１３１は、撮像素子１２２及び画像処理回路１２４から得られるホワイトバランス調整用の信号に基づいてホワイトバランス調整処理を行う。具体的には、ホワイトバランス調整用の信号のホワイトバランスを算出し、予め定められた適切なホワイトバランスとの差に基づいて、色の重みを調整することで、ホワイトバランス調整処理を行う。

被写体検出部１３２は、画像処理回路１２４により生成される被写体検出用の信号に基づいて、被写体検出処理を行う。被写体検出処理により、被写体の種類や状態（検出属性）、被写体の位置と大きさ（検出領域）が検出される。なお、被写体検出部１３２の動作の詳細については後述する。

このように、本実施形態の撮像装置１０は、位相差ＡＦ、測光（露光調整）、ホワイトバランス調整と、被写体検出を組み合わせて実行可能であり、被写体検出の結果に応じて、位相差ＡＦ、測光、ホワイトバランス調整を行う位置（像高範囲）を選択することができる。

（撮像素子１２２の構成）
図２は、撮像素子１２２の撮像画素（及び焦点検出画素）の配列の概略図である。図２は、本実施形態の２次元ＣＭＯＳセンサー（撮像素子１２２）の画素（撮像画素）配列を４列×４行の範囲で、焦点検出画素配列を８列×４行の範囲で示したものである。第１の実施形態において、図２に示した２列×２行の画素群２００は、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。更に、各画素は２列×１行に配列された第１焦点検出画素２０１と第２焦点検出画素２０２により構成されている。

図２に示した４列×４行の画素（８列×４行の焦点検出画素）を面上に多数配置し、撮像画像（焦点検出信号）の取得を可能としている。本実施形態では、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、焦点検出画素の列方向周期ＰＡＦが２μｍ、焦点検出画素数ＮＡＦが横１１１５０列×縦３７２５行＝約４１５０万画素であるものとする。

図３（ａ）は、図２に示した撮像素子１２２の１つの画素２００Ｇを、撮像素子１２２の受光面側（＋ｚ側）から見た平面図であり、図３（ｂ）は、図３（ａ）のａ−ａ断面を−ｙ側から見た断面図である。

図３に示すように、本実施形態の画素２００Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部３０１と光電変換部３０２が形成される。光電変換部３０１と光電変換部３０２が、それぞれ、第１焦点検出画素２０１と第２焦点検出画素２０２に対応する。

光電変換部３０１と光電変換部３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードであってもよいし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードであってもよい。各画素には、マイクロレンズ３０５と、光電変換部３０１及び光電変換部３０２との間に、カラーフィルター３０６が形成される。また、必要に応じて、副画素毎にカラーフィルター３０６の分光透過率を変えてもよいし、カラーフィルター３０６を省略してもよい。

図３に示した画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルター３０６で分光されたのち、光電変換部３０１と光電変換部３０２で受光される。光電変換部３０１と光電変換部３０２では、受光量に応じて電子とホールが対生成され、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子１２２の外部へ排出される。光電変換部３０１と光電変換部３０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。

図４は、図３に示した本実施形態の画素構造と瞳分割との対応関係を示した概略説明図である。図４には、図３（ａ）に示した本実施形態の画素構造のａ−ａ断面を＋ｙ側から見た断面図と撮像素子１２２の瞳面（瞳距離Ｄｓ）とが示されている。図４では、撮像素子１２２の瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３に対して反転させている。

図４において、第１焦点検出画素２０１の第１瞳部分領域５０１は、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズによって、概ね、共役関係になっており、第１焦点検出画素２０１で受光可能な瞳領域を表している。第１焦点検出画素２０１の第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心している。図４で、第２焦点検出画素２０２の第２瞳部分領域５０２は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズによって、概ね、共役関係になっており、第２焦点検出画素２０２で受光可能な瞳領域を表している。第２焦点検出画素２０２の第２瞳部分領域５０２は、瞳面上で−Ｘ側に重心が偏心している。また、図４で、瞳領域５００は、光電変換部３０１と光電変換部３０２（第１焦点検出画素２０１と第２焦点検出画素２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。

撮像面位相差ＡＦでは、撮像素子のマイクロレンズを利用して瞳分割するため回折の影響を受ける。図４で、撮像素子の瞳面までの瞳距離が数１０ｍｍであるのに対し、マイクロレンズの直径は数μｍである。そのため、マイクロレンズの絞り値が数万となり、数１０ｍｍレベルの回折ボケが生じる。よって、光電変換部の受光面の像は、明瞭な瞳領域や瞳部分領域とはならずに、受光感度特性（受光率の入射角分布）となる。

図５は、撮像素子１２２と瞳分割との対応関係を示した概略図である。撮像面６００に撮像素子１２２が配置される。第１瞳部分領域５０１と第２瞳部分領域５０２の異なる瞳部分領域を通過した光束は、撮像素子１２２の各画素に、それぞれ、異なる角度で入射し、２×１分割された第１焦点検出画素２０１と第２焦点検出画素２０２で受光される。本実施形態は、瞳領域が水平方向に２つに瞳分割されている例である。必要に応じて、垂直方向に瞳分割を行ってもよい。

本実施形態の撮像素子１２２では、第１焦点検出画素２０１と、第２焦点検出画素２０２とを有する撮像画素が複数配列されている。第１焦点検出画素２０１は、撮影光学系の第１瞳部分領域５０１を通過する光束を受光する。また、第２焦点検出画素２０２は、第１瞳部分領域５０１と異なる撮影光学系の第２瞳部分領域５０２を通過する光束を受光する。また、撮像画素は、撮影光学系の第１瞳部分領域５０１と第２瞳部分領域５０２を合わせた瞳領域を通過する光束を受光する。

本実施形態の撮像素子１２２では、それぞれの撮像画素が第１焦点検出画素２０１と第２焦点検出画素２０２から構成されている。必要に応じて、撮像画素と第１焦点検出画素２０１、第２焦点検出画素２０２を個別の画素構成とし、撮像画素配列の一部に、第１焦点検出画素２０１と第２焦点検出画素２０２を部分的に配置する構成としてもよい。

本実施形態では、撮像素子１２２の各画素の第１焦点検出画素２０１の受光信号を集めて第１焦点信号を生成し、各画素の第２焦点検出画素２０２の受光信号を集めて第２焦点信号を生成して焦点検出を行う。また、撮像素子１２２の画素毎に、第１焦点検出画素２０１と第２焦点検出画素２０２の信号を加算することで、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。各信号の生成方法は、前述の方法に限らず、例えば、第２焦点検出信号は、撮像信号と第１焦点信号の差分から生成してもよい。

（デフォーカス量と像ずれ量の関係）
以下、本実施形態の撮像素子１２２により取得される第１焦点検出信号と第２焦点検出信号に基づくデフォーカス量と像ずれ量の関係について説明する。

図６は、第１焦点検出信号と第２焦点検出信号に基づくデフォーカス量と第１焦点検出信号と第２焦点検出信号との間の像ずれ量との概略関係図である。撮像面６００に撮像素子１２２が配置される。図４及び図５と同様に、撮像素子１２２の瞳面が、第１瞳部分領域５０１と第２瞳部分領域５０２とに２分割される。

デフォーカス量ｄは、被写体の結像位置から撮像面までの距離を大きさ｜ｄ｜とし、被写体の結像位置が撮像面より被写体側にある前ピン状態を負符号（ｄ＜０）として定義される。また、被写体の結像位置が撮像面より被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面（合焦位置）にある合焦状態において、ｄ＝０である。図６において、被写体６０１は合焦状態（ｄ＝０）の例を示しており、被写体６０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。

前ピン状態（ｄ＜０）では、被写体６０２からの光束のうち、第１瞳部分領域５０１（第２瞳部分領域５０２）を通過した光束は、一度、集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面６００でボケた像となる。ボケた像は、撮像素子１２２に配列された各画素を構成する第１焦点検出画素２０１（第２焦点検出画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。よって、第１焦点検出信号（第２焦点検出信号）は、撮像面６００上の重心位置Ｇ１（Ｇ２）に、被写体６０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、第１焦点検出信号と第２焦点検出信号との間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号との間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。

第１焦点検出信号と第２焦点検出信号、又は、第１焦点検出信号と第２焦点検出信号とを加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号との間の像ずれ量の大きさが増加する。従って、本実施形態で位相差ＡＦ部１２９は、撮像信号のデフォーカス量の大きさが増加するのに伴って第１焦点検出信号と第２焦点検出信号との間の像ずれ量の大きさが増加する関係性を利用し、基線長に基づいて算出された変換係数により、像ずれ量を検出デフォーカス量に変換する。

（撮影処理の流れ）
図７は、撮影処理のフローチャートである。この撮影処理は、カメラＭＰＵ１２５によって実行される。また、必要に応じてレンズＭＰＵ１１７が処理の一部を分担する。

Ｓ７０１で、カメラＭＰＵ１２５は、撮像素子１２２により生成された撮像データ（例えば、ライブビュー撮影により得られたデータ）に基づいて、被写体検出部１３２を制御し被写体検出を実行する。以下、本実施形態の被写体検出部１３２により検出される被写体の位置及び大きさ（被写体領域）について説明する。

図８は、被写体（検出対象）と検出領域（被写体領域）との概略関係図である。図８において被写体領域８０１〜８０６は、被写体検出部１３２が検出した被写体領域である。図８から理解できるように、被写体領域は、検出対象の被写体（図８の例では犬）を部分的に含んだ領域である。換言すると、被写体領域は、検出対象の被写体を含まない領域（例えば、ポールや背景などの領域）も含んでいる。即ち、本実施形態において「被写体検出」又は「被写体を検出する」のように言う場合、厳密に特定の被写体のみを含んだ領域が検出される訳ではなく、検出対象の被写体を部分的に含んだ領域が検出される。

各被写体領域の位置及び大きさは、表１のように表される。被写体検出部１３２は、画像処理回路１２４により生成される被写体検出用の信号に基づいて、撮影範囲において被写体領域の検出を行う。被写体領域には、検出対象の被写体と検出対象外の被写体の両方が含まれる。

図８において、符号８１０、８２０、８３０、８４０、８５０、及び８６０は、背景（検出対象外の被写体）を示す。符号８１１、８２１、８３１、８４１、８５１、及び８６１は、犬（検出対象の被写体）を示す。符号８１２〜８１７は、ポール（検出対象外の被写体）を示し、符号８２２、８２３、及び８５２は、三角コーン（検出対象外の被写体）を示し、符号８３２、８３３、及び８５３は、犬が通り抜ける輪（検出対象外の被写体）を示す。符号８４２は、犬（検出対象の被写体）よりも大きい檻（検出対象外の被写体）を示し、符号８６２は、犬（検出対象の被写体）と同程度の大きさの檻（検出対象外の被写体）を示す。

図８の例では、１つの被写体検出用の信号から検出対象の被写体に関する複数の被写体領域が検出されている。しかしながら、被写体検出部１３２は、主被写体である可能性が最も高い被写体領域のみを検出してもよい。また、ここでは、犬を被写体として検出するものとしたが、猫や鳥などの他の動物や、車や飛行機などの乗り物を検出してもよい。また、ここでは、犬の全身を被写体として検出するものとしたが、顔や瞳などの特定部位を検出してもよい。また、乗り物の運転者や運転者の頭部などの特定部分を検出してもよい。

図７に戻り、Ｓ７０２で、カメラＭＰＵ１２５は、Ｓ７０１で検出された被写体の中から主被写体を選択する。主被写体は、予め定められた被写体領域（位置、大きさ）の優先順位に応じて選択（決定）される。例えば、被写体領域の位置が中央像高ほど優先順位を高く設定し、位置が同じ場合（中央像高からの距離が同じ場合）には、被写体領域の大きさが大きいものほど優先順位を高く設定する。

Ｓ７０３で、カメラＭＰＵ１２５は、位相差ＡＦ部１２９を制御し焦点調節（フォーカス制御）を実行する。焦点調節の詳細については後述する。

Ｓ７０４で、カメラＭＰＵ１２５は、合焦判定を実施する。合焦と判定された場合、処理はＳ７０５へ進み、合焦でないと判定された場合、処理はＳ７０１へ戻る。

Ｓ７０５で、カメラＭＰＵ１２５は、ホワイトバランス調整部１３１を制御しホワイトバランス調整（ホワイトバランス制御）を実行する。ホワイトバランス調整の詳細については後述する。

Ｓ７０６で、カメラＭＰＵ１２５は、ＡＥ部１３０を制御し露光調節（露光制御）を実行する。露光調節の詳細については後述する。

Ｓ７０７で、カメラＭＰＵ１２５は、本撮影（記録用画像の撮影）を実行する。

（Ｓ７０３の焦点調節処理の詳細）
図９は、図７のＳ７０３における焦点調節処理の詳細を示すフローチャートである。なお、図９の処理は、カメラＭＰＵ１２５及び位相差ＡＦ部１２９によって実行される。

Ｓ９０１で、位相差ＡＦ部１２９は、Ｓ７０１〜Ｓ７０２で検出した主被写体の被写体検出結果（被写体領域）を取得する。

Ｓ９０２で、位相差ＡＦ部１２９は、Ｓ９０１で取得した被写体領域の位置及び大きさを基準に、測距領域（デフォーカス量算出領域）を設定する。

図１０は、被写体領域８０１〜８０６それぞれに関して、被写体領域の位置及び大きさを基準に設定された測距領域の概略説明図である。図１０（ａ）は、被写体領域８０１、図１０（ｂ）は、被写体領域８０２、図１０（ｃ）は、被写体領域８０３、図１０（ｄ）は、被写体領域８０４、図１０（ｅ）は、被写体領域８０５、図１０（ｆ）は、被写体領域８０６にそれぞれ対応する。符号１０１０、１０２０、１０３０、１０４０、１０５０、及び１０６０は測距領域を示す。

図１０の例では、位相差ＡＦ部１２９は、被写体領域８０１〜８０６それぞれに関して、被写体領域の位置を基準に測距領域の中心を設定し、被写体領域の縦方向及び横方向それぞれの大きさを３倍した大きさで測距領域の範囲を設定している。本実施形態では、被写体領域を３倍した大きさで測距領域の範囲を設定したが、その限りではなく、他の倍率で被写体領域の大きさに応じた測距領域の範囲を設定してもよい。図１０の例では測距領域は被写体領域より大きく被写体領域の全体を包含しているが、測距領域は被写体領域の一部のみを含んでもよいし、また、測距領域は被写体領域より小さくてもよい。符号１００１＿ｎ〜１００６＿ｎは、各測距領域の測距点の１つである。

このように、被写体領域の位置を基準に測距領域を設定することで、同時に演算可能な測距点数が限られていた場合においても、主被写体近傍の測距結果を高密度に得ることができる。そして、得られた測距結果の中から最適な測距結果を選択することで、主被写体へ適切に合焦させることが可能となる。また、被写体領域の大きさに対する倍率で測距領域範囲を設定することで、被写体度合いを判定する際に、被写体領域に対して常に同じ倍率の測距領域範囲の結果を用いることができ、被写体度合いの判定精度が向上する。

図９に戻り、Ｓ９０３で、位相差ＡＦ部１２９は、Ｓ９０２で設定した測距領域内の各測距点のデフォーカス量を算出する。

Ｓ９０４で、カメラＭＰＵ１２５は、Ｓ９０３で算出したデフォーカス量をクラス分類する。

図１１は、図１０の測距領域内のデフォーカス量をクラス分類した状態を示す概略説明図である。図１１において、横軸はデフォーカス量を示し、縦軸はデフォーカス量の頻度を示す。図１１（ａ）は、測距領域１０１０、図１１（ｂ）は、測距領域１０２０、図１１（ｃ）は、測距領域１０３０、図１１（ｄ）は、測距領域１０４０、図１１（ｅ）は、測距領域１０５０、図１１（ｆ）は、測距領域１０６０にそれぞれ対応する。

符号１１１０、１１２０、１１３０、１１４０、１１５０、１１６０は、背景８１０、８２０、８３０、８４０、８５０、８６０のデフォーカス量のクラスを示す。符号１１１１、１１２１、１１３１、１１４１、１１５１、１１６１は、被写体８１１、８２１、８３１、８４１、８５１、８６１のデフォーカス量のクラスを示す。符号１１１２〜１１１７は、ポール８１２〜８１７のデフォーカス量のクラスを示す。符号１１２２、１１２３、１１５２は、三角コーン８２２、８２３、８５２のデフォーカス量のクラスを示す。符号１１３２、１１３３、１１５３は、犬が通り抜ける輪８３２、８３３、８５３のデフォーカス量のクラスを示す。符号１１４２は、犬（検出対象の被写体）よりも大きい檻８４２のデフォーカス量のクラスを示す。符号１１６２は、犬（検出対象の被写体）と同程度の大きさの檻８６２のデフォーカス量のクラスを示す。

このように、Ｓ９０４では、デフォーカス量をクラス分類する（複数の測距点に対応する複数のデフォーカス量の範囲を複数の部分範囲に分類する）ことで、被写体領域内を光軸方向（デフォーカス方向）に区分する処理が行われる。

図９に戻り、Ｓ９０５で、カメラＭＰＵ１２５は、Ｓ９０２で設定した測距領域において、Ｓ９０４で得られた各クラスに対応するクラス領域を検出する。クラス領域は、対応するクラスに属するデフォーカス量を持つ画素の集合である。クラス領域内（部分領域内）の画素の位置は連続している必要はなく、離散的であってもよい。

図１２は、Ｓ９０５において検出されるクラス領域の概略説明図である。図１２（ａ）は、測距領域１０１０、図１２（ｂ）は、測距領域１０２０、図１２（ｃ）は、測距領域１０３０、図１２（ｄ）は、測距領域１０４０、図１２（ｅ）は、測距領域１０５０、図１２（ｆ）は、測距領域１０６０にそれぞれ対応する。灰色部分が各クラスに対応するクラス領域を示している。このように、測距領域は、複数のクラス領域（部分領域）に分類され、複数のクラス領域（部分領域）の各々は異なるデフォーカス量のクラス（複数の測距点に対応する複数のデフォーカス量の範囲における異なる部分範囲）に対応する。

符号１０１１、１０２１、１０３１、１０４１、１０５１、１０６１は、被写体度合いを判定する際に算出する評価値を規格化する範囲を示しており、被写体領域の中心位置を基準として被写体領域の縦方向及び横方向それぞれの大きさのβ倍の範囲で設定される。図１２の例では、β＝２である。

符号１２１０、１２２０、１２３０、１２４０、１２５０、１２６０は、背景８１０、８２０、８３０、８４０、８５０、８６０に対応するクラス１１１０、１１２０、１１３０、１１４０、１１５０、１１６０に対応するクラス領域を示す。符号１２１１、１２２１、１２３１、１２４１、１２５１、１２６１は、被写体８１１、８２１、８３１、８４１、８５１、８６１に対応するクラス１１１１、１１２１、１１３１、１１４１、１１５１、１１６１に対応するクラス領域を示す。符号１２１２〜１２１７は、ポール８１２〜８１７に対応するクラス１１１２〜１１１７に対応するクラス領域を示す。符号１２２２、１２２３、１２５２は、三角コーン８２２、８２３、８５２に対応するクラス１１２２、１１２３、１１５２に対応するクラス領域を示す。符号１２３２、１２３３、１２５３は、犬が通り抜ける輪８３２、８３３、８５３に対応するクラス１１３２、１１３３、１１５３に対応するクラス領域を示す。符号１２４２は、犬（検出対象の被写体）よりも大きい檻８４２に対応するクラス１１４２に対応するクラス領域を示す。符号１２６２は、犬（検出対象の被写体）と同程度の大きさの檻８６２に対応するクラス１１６２に対応するクラス領域を示す。

このように、Ｓ９０５でクラス領域を検出する（測距領域を複数のクラス領域に分類する）ことで、デフォーカス量の各クラスが測距領域内でどのように分布しているかを把握することができる。

図９に戻り、Ｓ９０６で、カメラＭＰＵ１２５は、Ｓ９０１で取得した被写体領域とＳ９０５で検出した各クラス領域とに基づいて、各クラス領域について検出対象の被写体が存在する可能性を示す被写体度合いを判定する。各クラス領域の被写体度合いの判定は、例えば、各クラス領域と被写体領域との間の幾何学的な関係（以下の例では、位置関係と大きさの関係）に基づいて行われる。或いは、各クラス領域の被写体度合いの判定は、幾何学的な関係に加えて、各クラス領域の形状に基づいて行われてもよい。

図１５を参照して、被写体度合いの判定処理について説明する。なお、図１５の処理は、カメラＭＰＵ１２５によって実行される。

Ｓ１５０１で、カメラＭＰＵ１２５は、各クラス領域に対して、位置、大きさ、形状の各項目の評価値を算出する。各項目の評価値（位置：Ｅ１、大きさ：Ｅ２、形状：Ｅ３）は、以下の式で算出される。以下の式において、クラス領域の重心位置を（ｘ_ｃ，ｙ_ｃ）、被写体領域の大きさで規格化したクラス領域の大きさ（最大ｘ座標、最大ｙ座標）を（ｗ_ｃ，ｈ_ｃ）、クラス領域の面積をＳ_ｃで表す。なお、クラス領域の重心位置を（ｘ_ｃ，ｙ_ｃ）は、被写体領域の中心位置に対する相対位置であり、被写体領域の右上隅（１，１）、左下隅が（−１，−１）となるように規格化されている。

位置の評価値Ｅ１は、クラス領域の重心位置（ｘ_ｃ，ｙ_ｃ）が、被写体領域の中心位置に近いほど１（１００％）に近づき、離れるほど０（０％）に近づく。被写体領域の中心位置とクラス領域の重心位置（ｘ_ｃ，ｙ_ｃ）との間の距離が評価値を規格化するβを超えると、評価値Ｅ１は０（０％）となる。図１２（ａ）の例で言えば、クラス領域の重心位置（ｘ_ｃ，ｙ_ｃ）が、規格化範囲１０１１の内接円の中に入らない場合に、評価値Ｅ１は０（０％）となる。

大きさの評価値Ｅ２は、クラス領域の大きさ（ｗ_ｃ，ｈ_ｃ）が、被写体領域の大きさに近いほど１（１００％）に近づき、離れるほど０（０％）に近づき、評価値を規格化するβを超えると０（０％）となる。また、評価値Ｅ２は、（ｗ_ｃ，ｈ_ｃ）のうち、被写体領域の大きさとの差が大きい方を用いて算出される。

形状の評価値Ｅ３は、クラス領域を外接するように囲む矩形領域内におけるクラス領域の密度を表しており、密であるほど１（１００％）に近づき、疎であるほど０（０％）に近づく。

次に、Ｓ１５０２で、カメラＭＰＵ１２５は、Ｓ１５０１で算出した各クラス領域の評価値Ｅ１〜Ｅ３を参照し、評価値＝０％の項目を持つクラス領域について、被写体度合いを０％と判定する。従って、例えば（Ｅ１＝９３％，Ｅ２＝０％，Ｅ３＝８８％）のように、１つの項目でも評価値が０％となっている場合には、他の項目の評価値に関わらず、検出対象の被写体である可能性が実質的にないと判定される。

Ｓ１５０３で、カメラＭＰＵ１２５は、各項目の評価値について、評価値が５０％以上のクラス領域の数（被写体度合い＝０％と判定済みのクラス領域を除く）を判定する。

Ｓ１５０４で、カメラＭＰＵ１２５は、評価値が５０％以上のクラス領域の数が１である項目が１つだけ存在するか否かを判定する。そのような項目が１つだけ存在する場合、処理はＳ１５０５に進み、そうでない場合、処理はＳ１５０６に進む。Ｓ１５０４の判定における評価値の閾値は５０％に限定されず、他の値（例えば、６０％）を閾値としてもよい。

Ｓ１５０５で、カメラＭＰＵ１２５は、評価値が５０％以上のクラス領域の数が１である項目の評価値に基づいて、各クラス領域（被写体度合い＝０％と判定済みのクラス領域を除く）の被写体度合いを判定する。例えば、カメラＭＰＵ１２５は、そのような項目の評価値をそのまま被写体度合いとして用いる。評価値が５０％以上のクラス領域の数が１である項目が１つだけ存在する場合、その項目の評価値が５０％以上であるクラス領域が検出対象の被写体である可能性が高いと考えられるため、その項目以外の項目は使用せずに被写体度合いの判定が行われる。

Ｓ１５０６では、カメラＭＰＵ１２５は、Ｓ１５０１で算出した全項目の評価値に基づいて、各クラス領域（被写体度合い＝０％と判定済みのクラス領域を除く）の被写体度合いを判定する。例えば、カメラＭＰＵ１２５は、全項目の評価値の平均値を被写体度合いとして用いる。或いは、カメラＭＰＵ１２５は、全項目の評価値を重みづけ平均することにより被写体度合いを判定してもよい。重みづけは、予め定められた各項目の重要度に基づいて設定してもよいし、他の項目と評価値の差が大きい項目の重みを大きくしたり、評価値が大きい項目の重みを大きく設定したりするようにしてもよい。

ここで、図１２及び図１５を参照して、被写体領域８０１〜８０６それぞれに対応するクラス領域について、被写体度合いの判定処理の具体例を説明する。

まず、図１２（ａ）を参照して、被写体領域８０１のクラス領域に対する被写体度合いの判定処理について説明する。表２は、被写体領域８０１の位置及び大きさにより規格化された各クラス領域の位置及び大きさと、Ｓ１５０１において各クラス領域に対して算出された各項目の評価値と、各クラス領域の被写体度合いとを示す。

表２において、クラス領域１２１０の大きさの評価値が０％、クラス領域１２１７の位置の評価値が０％である。そのため、Ｓ１５０２で、クラス領域１２１０及びクラス領域１２１７の被写体度合いが０％と判定される。

Ｓ１５０３以降の処理は、被写体度合いが未判定であるクラス領域１２１１〜１２１６に対して行われる。位置及び形状の評価値については、５０％以上の評価値を持つクラス領域の数が２以上である。大きさの評価値については、５０％以上の評価値を持つクラス領域の数が１である（クラス領域１２１１）。そのため、５０％以上の評価値を持つクラス領域の数が１である項目が１つだけ存在する（大きさの評価値）。従って、クラス領域１２１１〜１２１６については、Ｓ１５０５において大きさの評価値が被写体度合いとして判定される。

このようにして、検出対象の被写体に対応するクラス領域１２１１の被写体度合いを正しく高いと判定できる。

次に、図１２（ｂ）を参照して、被写体領域８０２のクラス領域に対する被写体度合いの判定処理について説明する。表３は、被写体領域８０２の位置及び大きさにより規格化された各クラス領域の位置及び大きさと、Ｓ１５０１において各クラス領域に対して算出された各項目の評価値と、各クラス領域の被写体度合いとを示す。

表３において、クラス領域１２２０の大きさの評価値が０％である。そのため、Ｓ１５０２で、クラス領域１２２０の被写体度合いが０％と判定される。

Ｓ１５０３以降の処理は、被写体度合いが未判定であるクラス領域１２２１〜１２２３に対して行われる。大きさの評価値については、５０％以上の評価値を持つクラス領域の数が２以上である。形状の評価値については、５０％以上の評価値を持つクラス領域が存在しない。位置の評価値については、５０％以上の評価値を持つクラス領域の数が１である（クラス領域１２２１）。そのため、５０％以上の評価値を持つクラス領域の数が１である項目が１つだけ存在する（位置の評価値）。従って、クラス領域１２２１〜１２２３については、Ｓ１５０５において位置の評価値が被写体度合いとして判定される。

このようにして、検出対象の被写体に対応するクラス領域１２２１の被写体度合いを正しく高いと判定できる。

次に、図１２（ｃ）を参照して、被写体領域８０３のクラス領域に対する被写体度合いの判定処理について説明する。表４は、被写体領域８０３の位置及び大きさにより規格化された各クラス領域の位置及び大きさと、Ｓ１５０１において各クラス領域に対して算出された各項目の評価値と、各クラス領域の被写体度合いとを示す。

表４において、クラス領域１２３０の大きさの評価値が０％である。そのため、Ｓ１５０２で、クラス領域１２３０の被写体度合いが０％と判定される。

Ｓ１５０３以降の処理は、被写体度合いが未判定であるクラス領域１２３１〜１２３３に対して行われる。位置及び大きさの評価値については、５０％以上の評価値を持つクラス領域の数が２以上である。形状の評価値については、５０％以上の評価値を持つクラス領域数が１である（クラス領域１２３１）。そのため、５０％以上の評価値を持つクラス領域の数が１である項目が１つだけ存在する（形状の評価値）。従って、クラス領域１２３１〜１２３３については、Ｓ１５０５において形状の評価値が被写体度合いとして判定される。

このようにして、検出対象の被写体に対応するクラス領域１２３１の被写体度合いを正しく高いと判定できる。

次に、図１２（ｄ）を参照して、被写体領域８０４のクラス領域に対する被写体度合いの判定処理について説明する。表５は、被写体領域８０４の位置及び大きさにより規格化された各クラス領域の位置及び大きさと、Ｓ１５０１において各クラス領域に対して算出された各項目の評価値と、各クラス領域の被写体度合いとを示す。

表５において、クラス領域１２４０及びクラス領域１２４２の大きさの評価値が０％である。そのため、Ｓ１５０２で、クラス領域１２４０及びクラス領域１２４２の被写体度合いが０％と判定される。

Ｓ１５０３以降の処理は、被写体度合いが未判定であるクラス領域１２４１に対して行われる。形状の評価値については、５０％以上の評価値を持つクラス領域が存在しない。位置及び大きさの評価値については、５０％以上の評価値を持つクラス領域の数が１である（クラス領域１２４１）。そのため、５０％以上の評価値を持つクラス領域の数が１である項目が２つ存在する（位置及び大きさの評価値）。従って、クラス領域１２４１については、Ｓ１５０５において全項目の評価値の平均値が被写体度合いとして判定される。

このようにして、検出対象の被写体に対応するクラス領域１２４１の被写体度合いを正しく高いと判定できる。

次に、図１２（ｅ）を参照して、被写体領域８０５のクラス領域に対する被写体度合いの判定処理について説明する。表６は、被写体領域８０５の位置及び大きさにより規格化された各クラス領域の位置及び大きさと、Ｓ１５０１において各クラス領域に対して算出された各項目の評価値と、各クラス領域の被写体度合いとを示す。

表６において、クラス領域１２５０の大きさの評価値が０％である。そのため、Ｓ１５０２で、クラス領域１２５０の被写体度合いが０％と判定される。

Ｓ１５０３以降の処理は、被写体度合いが未判定であるクラス領域１２５１〜１２５３に対して行われる。位置及び大きさの評価値については、５０％以上の評価値を持つクラス領域の数が２以上である。形状の評価値については、５０％以上の評価値を持つクラス領域が存在しない。そのため、５０％以上の評価値を持つクラス領域の数が１である項目が存在しない。従って、クラス領域１２５１〜１２５３については、Ｓ１５０５において全項目の評価値の平均値が被写体度合いとして判定される。

このようにして、検出対象の被写体に対応するクラス領域１２５１の被写体度合いを正しく高いと判定できる。

次に、図１２（ｆ）を参照して、被写体領域８０６のクラス領域に対する被写体度合いの判定処理について説明する。表７は、被写体領域８０６の位置及び大きさにより規格化された各クラス領域の位置及び大きさと、Ｓ１５０１において各クラス領域に対して算出された各項目の評価値と、各クラス領域の被写体度合いとを示す。

表７において、クラス領域１２６０の大きさの評価値が０％である。そのため、Ｓ１５０２で、クラス領域１２６０の被写体度合いが０％と判定される。

Ｓ１５０３以降の処理は、被写体度合いが未判定であるクラス領域１２６１〜１２６２に対して行われる。全項目の評価値について、５０％以上の評価値を持つクラス領域の数が２以上である。そのため、５０％以上の評価値を持つクラス領域の数が１である項目が存在しない。従って、クラス領域１２６１〜１２６２については、Ｓ１５０５において全項目の評価値の平均値が被写体度合いとして判定される。

このようにして、検出対象の被写体に対応するクラス領域１２６１の被写体度合いを正しく高いと判定できる。

以上のように被写体度合いを判定することにより、被写体領域内に検出対象外の被写体が存在する場合にも、検出対象の被写体に対応するクラス領域を高精度で識別することが可能になる。なお、上の説明では、クラス領域の被写体度合いを判定したが、クラス領域が属するクラスの被写体度合いを判定してもよい。

図９に戻り、Ｓ９０７で、位相差ＡＦ部１２９は、Ｓ９０６で判定した被写体度合いに基づいて測距点を選択する。位相差ＡＦ部１２９は、被写体度合いが最高のクラス領域内に、測距結果の信頼性（デフォーカス量の信頼性）が所定閾値より高い測距点が存在すれば、その中で被写体領域中心に近い測距点を選択する。換言すると、位相差ＡＦ部１２９は、最高の被写体度合いを持つクラス領域内の複数の測距点に対応する複数のデフォーカス量（第１の複数のデフォーカス量）の中から、信頼度閾値以上の信頼度を持つ第１のデフォーカス量（例えば被写体領域中心に近い測距点のデフォーカス量）を選択する。

被写体度合いが最高のクラス領域内に、信頼性が所定閾値より高い測距点が存在しない場合、位相差ＡＦ部１２９は、被写体度合いが２番目に高いクラス領域において選択を行う。即ち、位相差ＡＦ部１２９は、被写体度合いが２番目に高いクラス領域内に、信頼性が所定閾値より高い測距点が存在すれば、その中で被写体領域中心に近い測距点を選択する。換言すると、位相差ＡＦ部１２９は、最高の被写体度合いの次に高い被写体度合いを持つクラス領域内の複数の測距点に対応する複数のデフォーカス量（第２の複数のデフォーカス量）の中から、信頼度閾値以上の信頼度を持つ第２のデフォーカス量（例えば被写体領域中心に近い測距点のデフォーカス量）を選択する。

被写体度合いが２番目に高いクラス領域内に、信頼性が所定閾値より高い測距点が存在しない場合、以下同様に、３番目以降に高い被写体度合いを持つクラス領域において測距点（デフォーカス量）の選択が行われる。

被写体度合いが等しいクラス領域が複数存在する場合には、位相差ＡＦ部１２９は、最至近でないクラス領域から測距点を選択する。被写体度合いが等しくなるような状況では、検出対象の被写体の前（至近側）に障害物等がある可能性が高く、最至近のクラス領域は障害物に対応する可能性が高いと考えられるため、測距点選択の優先度を下げる。また、最至近でないクラス領域で、被写体度合いが等しいクラス領域が複数存在する場合は、位相差ＡＦ部１２９は、クラスの代表デフォーカス量が至近側に近いクラス領域から順に、選択可能な測距点（信頼性が所定閾値より高い測距点）を探す。

このように、被写体度合いの高い領域の中から優先的に測距点を選択することで、検出対象の被写体である確率の高い領域における測距点を選択することができる。従って、被写体領域内に検出対象外の被写体が含まれる場合においても、検出対象の被写体に対して適切なフォーカス制御を行うことが可能となる。

Ｓ９０８で、位相差ＡＦ部１２９は、Ｓ９０８で選択した測距点において検出されたデフォーカス量に基づいて、フォーカスレンズ駆動量を算出する。なお、Ｓ９０７及びＳ９０８の説明において、被写体度合いの高いクラス領域において、信頼性が所定閾値より高い測距点の中で被写体領域中心に近い測距点を選択し、選択した測距点のデフォーカス量を使用するものとした。しかしながら、本実施形態はこの構成に限定されず、被写体度合いの高いクラス領域の属するクラスの代表デフォーカス量を使用してもよい。代表デフォーカス量は、クラスの平均デフォーカス量や中心デフォーカス量などである。

Ｓ９０９で、位相差ＡＦ部１２９は、Ｓ９０８で算出したフォーカスレンズ駆動量に基づいて、フォーカスレンズ１０４を駆動するための制御を行う。

（Ｓ７０５のホワイトバランス調整処理の詳細）
図１３は、図７のＳ７０５におけるホワイトバランス調整処理の詳細を示すフローチャートである。なお、図１３の処理は、カメラＭＰＵ１２５により制御されるホワイトバランス調整部１３１によって実行される。

Ｓ１３０１で、ホワイトバランス調整部１３１は、Ｓ７０１〜Ｓ７０２で検出した主被写体の被写体検出結果（被写体領域）を取得する。

Ｓ１３０２で、ホワイトバランス調整部１３１は、Ｓ９０６で判定した、各クラス領域の被写体度合いを取得する。

Ｓ１３０３で、ホワイトバランス調整部１３１は、Ｓ１３０２で取得した各クラス領域の被写体度合いに基づいてホワイトバランスを算出する。ホワイトバランス調整部１３１は、クラス領域毎にホワイトバランスを算出し、Ｓ１３０２で取得した被写体度合いで各クラス領域のホワイトバランスを重みづけすることにより、現在のホワイトバランスを算出する。ホワイトバランス算出に用いる重みは、被写体度合いの値をそのまま用いてもよい。従って、ここでのホワイトバランス調整（ホワイトバランス制御）は、複数のクラス領域の各々を対象のクラス領域として、対象のクラス領域の画素値を対象のクラス領域の被写体度合いで重みづけする演算を含む。このような重みづけの演算による撮影制御は、前述した焦点調節（フォーカス制御）及び後述する露光調節（露光制御）に対しても同様に適用可能である。

なお、ホワイトバランスの算出方法は特に限定されず、例えば、ホワイトバランス調整部１３１は、被写体度合いが最高のクラス領域のホワイトバランスを現在のホワイトバランスとして算出してもよい。換言すると、ホワイトバランス調整部１３１は、複数のクラス領域のうちの最高の被写体度合いを持つクラス領域のみに基づいてホワイトバランス制御を行ってもよい。このような最高の被写体度合いを持つクラス領域のみに基づく撮影制御は、前述した焦点調節（フォーカス制御）及び後述する露光調節（露光制御）に対しても同様に適用可能である。

また、被写体度合いが等しいクラス領域が複数存在する場合には、その中に最至近のクラス領域があれば、最至近のクラス領域の重みをその中で一番小さく設定し、残りのクラス領域については、至近側に近いほど重みを大きく設定するようにしてもよい。

Ｓ１３０４で、ホワイトバランス調整部１３１は、予め定められた適切なホワイトバランスを取得する。

Ｓ１３０５で、ホワイトバランス調整部１３１は、Ｓ１３０３で算出した現在のホワイトバランスと、Ｓ１３０４で取得した適切なホワイトバランスとの差を演算し、撮像データ（撮像信号）に対するホワイトバランスを調整する。

（Ｓ７０６の露光調節処理の詳細）
図１４は、図７のＳ７０６における露光調節処理の詳細を示すフローチャートである。なお、図１４の処理は、カメラＭＰＵ１２５により制御されるＡＥ部１３０によって実行される。

Ｓ１４０１で、ＡＥ部１３０は、Ｓ７０１〜Ｓ７０２で検出した主被写体の被写体検出結果（被写体領域）を取得する。

Ｓ１４０２で、ＡＥ部１３０は、Ｓ９０６で判定した、各クラス領域の被写体度合いを取得する。

Ｓ１４０３で、ＡＥ部１３０は、Ｓ１４０２で取得した各クラス領域の被写体度合いに基づいて各クラス領域の測光結果を重みづけすることにより露光量を算出する。露光量算出に用いる重みは、被写体度合いの最高のクラス領域を１、他のクラス領域を０としてもよい。また、被写体度合いが等しいクラス領域が複数存在する場合には、その中に最至近のクラス領域があれば、最至近のクラス領域の重みをその中で一番小さく設定し、残りのクラス領域については、至近側に近いほど重みを大きく設定するようにしてもよい。また、ホワイトバランス算出（Ｓ１３０３）と露光量算出（Ｓ１４０３）とで同じ重みを用いてもよいし、異なる重みを用いてもよい。

Ｓ１４０４で、ＡＥ部１３０は、予め定められた適切な露光量を取得する。

Ｓ１４０５で、ＡＥ部１３０は、Ｓ１４０３で算出した露光量と、Ｓ１４０４で取得した露光量との差を演算し、撮影時の露光条件を調整する。

以上説明したように、第１の実施形態によれば、撮像装置１０は、撮影範囲において検出対象の被写体を部分的に含んだ被写体領域を検出し、被写体領域を含む測距領域内の複数の測距点に対応する複数のデフォーカス量を取得する。そして、撮像装置１０は、複数のデフォーカス量に基づいて測距領域を複数のクラス領域に分類する。複数のクラス領域の各々は異なるデフォーカス量のクラス（複数のデフォーカス量の範囲における異なる部分範囲）に対応する。撮像装置１０は、複数のクラス領域の各々と被写体領域との間の幾何学的な関係（例えば、位置関係と大きさの関係とのうちの少なくとも一方）に基づいて、複数のクラス領域の各々について被写体度合いを判定する。そして、撮像装置１０は、第１の被写体度合いを持つクラス領域の寄与が前記第１の被写体度合いより小さい第２の被写体度合いを持つクラス領域の寄与よりも大きくなるように、複数のクラス領域に基づいて撮影制御を行う。そのような撮影制御の具体例として、図９に示す焦点調節（フォーカス制御）、図１２に示すホワイトバランス調整（ホワイトバランス制御）、図１４に示す露光調節（露光制御）などがあるが、本実施形態の撮影制御はこれらの具体例に限定されない。

本実施形態は、上述の構成により、検出対象の被写体を部分的に含んだ被写体検出領域に基づく撮影制御の精度を向上させることが可能である。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０…撮像装置、１００…レンズユニット、１２０…カメラ本体、１２２…撮像素子、１２５…カメラＭＰＵ、１２９…位相差ＡＦ部、１３０…ＡＥ部、１３１…ホワイトバランス調整部、１３２…被写体検出部

Claims (13)

1. 撮影範囲において検出対象の被写体を部分的に含んだ被写体領域を検出する検出手段と、
   前記被写体領域を含む測距領域内の複数の測距点に対応する複数のデフォーカス量を取得する取得手段と、
   前記複数のデフォーカス量に基づいて前記測距領域を複数の部分領域に分類する分類手段であって、前記複数の部分領域の各々は前記複数のデフォーカス量の範囲における異なる部分範囲に対応する、分類手段と、
   前記複数の部分領域の各々と前記被写体領域との間の幾何学的な関係に基づいて、前記複数の部分領域の各々について前記検出対象の被写体が存在する可能性を示す被写体度合いを判定する判定手段と、
   前記複数の部分領域に基づいて撮影制御を行う制御手段であって、第１の被写体度合いを持つ部分領域の寄与が前記第１の被写体度合いより小さい第２の被写体度合いを持つ部分領域の寄与よりも大きくなるように前記撮影制御を行う、制御手段と、
   を備えることを特徴とする撮影制御装置。
2. 前記複数の部分領域の各々と前記被写体領域との間の幾何学的な関係は、位置関係と大きさの関係とのうちの少なくとも一方を含む
   ことを特徴とする請求項１に記載の撮影制御装置。
3. 前記判定手段は、前記複数の部分領域の各々と前記被写体領域との間の幾何学的な関係に加えて、前記複数の部分領域の各々の形状に基づいて、前記複数の部分領域の各々の被写体度合いを判定する
   ことを特徴とする請求項１又は２に記載の撮影制御装置。
4. 前記判定手段は、
   前記複数の部分領域の各々と前記被写体領域との間の位置関係に基づいて、前記複数の部分領域の各々の第１の評価値を算出し、
   前記複数の部分領域の各々と前記被写体領域との間の大きさの関係に基づいて、前記複数の部分領域の各々の第２の評価値を算出し、
   前記複数の部分領域の各々の形状に基づいて、前記複数の部分領域の各々の第３の評価値を算出し、
   前記複数の部分領域の各々の前記第１の評価値と前記第２の評価値と前記第３の評価値とに基づいて、前記複数の部分領域の各々の被写体度合いを判定する
   ことを特徴とする請求項１に記載の撮影制御装置。
5. 前記測距領域は、前記被写体領域より大きく前記被写体領域の全体を包含する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮影制御装置。
6. 前記制御手段は、前記複数の部分領域のうちの最高の被写体度合いを持つ部分領域のみに基づいて前記撮影制御を行う
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮影制御装置。
7. 前記撮影制御は、前記複数の部分領域の各々を対象の部分領域として、前記対象の部分領域の画素値を前記対象の部分領域の被写体度合いで重みづけする演算を含む
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮影制御装置。
8. 前記撮影制御は、フォーカス制御、ホワイトバランス制御、又は露光制御である
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮影制御装置。
9. 前記撮影制御は、フォーカス制御であり、
   前記制御手段は、
   前記複数の部分領域のうちの最高の被写体度合いを持つ部分領域内の複数の測距点に対応する第１の複数のデフォーカス量の中から、信頼度閾値以上の信頼度を持つ第１のデフォーカス量を選択し、
   前記第１のデフォーカス量に基づいて前記フォーカス制御を行う
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮影制御装置。
10. 前記第１の複数のデフォーカス量の中に前記信頼度閾値以上の信頼度を持つデフォーカス量が存在しない場合、前記制御手段は、
    前記複数の部分領域のうちの前記最高の被写体度合いの次に高い被写体度合いを持つ部分領域内の複数の測距点に対応する第２の複数のデフォーカス量の中から、前記信頼度閾値以上の信頼度を持つ第２のデフォーカス量を選択し、
    前記第２のデフォーカス量に基づいて前記フォーカス制御を行う
    ことを特徴とする請求項９に記載の撮影制御装置。
11. 請求項１乃至１０のいずれか１項に記載の撮影制御装置と、
    撮像手段と、
    を備えることを特徴とする撮像装置。
12. 撮影制御装置が実行する撮影制御方法であって、
    撮影範囲において検出対象の被写体を部分的に含んだ被写体領域を検出する検出工程と、
    前記被写体領域を含む測距領域内の複数の測距点に対応する複数のデフォーカス量を取得する取得工程と、
    前記複数のデフォーカス量に基づいて前記測距領域を複数の部分領域に分類する分類工程であって、前記複数の部分領域の各々は前記複数のデフォーカス量の範囲における異なる部分範囲に対応する、分類工程と、
    前記複数の部分領域の各々と前記被写体領域との間の幾何学的な関係に基づいて、前記複数の部分領域の各々について前記検出対象の被写体が存在する可能性を示す被写体度合いを判定する判定工程と、
    前記複数の部分領域に基づいて撮影制御を行う制御工程であって、第１の被写体度合いを持つ部分領域の寄与が前記第１の被写体度合いより小さい第２の被写体度合いを持つ部分領域の寄与よりも大きくなるように前記撮影制御を行う、制御工程と、
    を備えることを特徴とする撮影制御方法。
13. コンピュータを、請求項１乃至１０のいずれか１項に記載の撮影制御装置の各手段として機能させるためのプログラム。

Images