JP2021152600A - 撮像装置及びその制御方法、プログラム、並びに記憶媒体 - Google Patents

Abstract

【課題】検出対象の被写体に対して適切な処理を行う。【解決手段】撮像装置は、被写体像を撮像して画像信号を生成する撮像手段と、前記撮像手段により撮像された異なる視差の画像信号を用いて焦点検出を行う焦点調節手段と、前記画像信号を用いて被写体を検出する被写体検出手段と、前記被写体検出手段により検出された被写体の状態および／または焦点調節動作のモードに基づいて、前記焦点検出を含む処理を行う領域の位置及びサイズを設定する設定手段と、を有する。【選択図】図１

Description

本発明は、画像中の被写体に焦点検出を含む処理を行う技術に関する。

特許文献１には、検出した被写体の位置とサイズに基づいて、焦点検出に用いる画像信号を読み出す位置と視野長を設定することで、被写体の位置とサイズに応じた適切な焦点調節を行う技術が提案されている。

特許文献２には、検出した被写体の部位に応じて、焦点検出信号の検出方向を決定することで、被写体に応じた最適な測距を行う技術が提案されている。

特開２０１５−２２０５８号公報 特開２００９−１９２７７４号公報

特許文献１において、焦点検出可能な測距点数に制限がある場合、視野長と測距領域の広さはトレードオフの関係にある。被写体に合わせて視野長を短くすると、測距領域が狭くなり、被写体が動いている場合に、タイムラグなどで被写体が測距領域から外れやすくなる。また、被写体に対して測距領域を広くすると、被写体に対する視野長が長くなり、検出対象以外の被写体（背景など）が含まれやすくなるので、正しい焦点検出結果が得られない可能性が高くなる。そのため、単に被写体のサイズに基づいて視野長を設定すると、検出対象の被写体に対して適切な焦点調節を行うことができない場合がある。

また、特許文献２では、焦点検出領域内に検出対象以外の被写体が含まれる場合、焦点検出信号の検出方向を切り替えるだけでは、検出対象の被写体に対して適切な測距を行うことができない場合がある。

本発明は、上記課題に鑑みてなされ、その目的は、検出対象の被写体に対して適切な処理を行うことができる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、被写体像を撮像して画像信号を生成する撮像手段と、前記撮像手段により撮像された異なる視差の画像信号を用いて焦点検出を行う焦点調節手段と、前記画像信号を用いて被写体を検出する被写体検出手段と、前記被写体検出手段により検出された被写体の状態および／または焦点調節動作のモードに基づいて、前記焦点検出を含む処理を行う領域の位置及びサイズを設定する設定手段と、を有する。

また、本発明の撮像装置は、被写体像を撮像して画像信号を生成する撮像手段と、前記撮像手段により撮像された異なる視差の画像信号を用いて焦点検出を行う焦点調節手段と、前記画像信号を用いて被写体を検出する被写体検出手段と、前記被写体検出手段による被写体検出結果に基づいて前記焦点検出を行うデフォーカス範囲を取得する取得手段と、少なくとも前記デフォーカス範囲内の被写体の領域を前記焦点検出を含む処理を行う領域として設定する設定手段と、を有する。

本発明によれば、検出対象の被写体に対して適切な処理を行うことができるようになる。

実施形態１、２の撮像装置の構成を示すブロック図。 実施形態１、２の撮像素子の画素配列を示す図。 実施形態１、２の画素の平面図（ａ）と（ａ）のａ−ａ断面図。 実施形態１、２の画素と瞳分割の関係を説明する図。 実施形態１、２の撮像素子と瞳分割の関係を説明する図。 実施形態１、２のデフォーカス量と像ずれ量の関係を説明する図。 実施形態１、２の撮影時の処理を示すフローチャート。 実施形態１の検出対象と検出領域の関係を示す図。 実施形態１の焦点調節処理を示すフローチャート。 実施形態１の倍率に基づく測距領域の設定例を説明する図。 実施形態２の検出対象と検出領域の関係を示す図。 実施形態２の焦点調節処理を示すフローチャート。 実施形態２の被写体奥行き倍率を説明する図。 実施形態２の第１領域および第２領域の説明図。 実施形態２のホワイトバランス調整処理を示すフローチャート。 実施形態２の露光調節処理を示すフローチャート。 実施形態２のデフォーカス量算出処理を示すフローチャート。 実施形態２の相関量の極値選択の説明図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

本実施形態では、撮像装置の一例として、撮像面位相差方式の自動焦点調節（オートフォーカス:ＡＦ）機能を有するレンズ交換式の一眼レフデジタルカメラにより実現した例について説明する。しかしながら、本実施形態として適用可能な撮像装置は、レンズ交換式ではないデジタルカメラやデジタルビデオカメラ、パーソナルコンピュータやその一種であるタブレット、携帯電話やその一種であるスマートフォン、監視カメラ、車載カメラ、医療用カメラなどに適用可能である。

＜装置構成＞まず、図１を参照して、本実施形態の撮像装置の構成および機能について説明する。

本実施形態の撮像装置１０はレンズ交換式の一眼レフデジタルカメラであり、レンズユニット１００とカメラ本体１２０とを有する。レンズユニット１００は図の中央の点線で示されるマウントＭを介して、カメラ本体１２０に対して着脱可能に接続される。

被写体像を結像させるレンズユニット１００は、第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ群（以下、フォーカスレンズ）１０４、および後述する駆動部および制御部を有する。レンズユニット１００は、フォーカスレンズ１０４を含み且つ被写体の像を形成する撮影光学系をなす。

被写体像を結像させるレンズユニット１００は、第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ群（以下、フォーカスレンズ）１０４、および後述する駆動／制御系を有する。レンズユニット１００は、フォーカスレンズ１０４を含み且つ被写体の光学像を形成する撮影光学系をなす。

第１レンズ群１０１は、レンズユニット１００の先端に配置され、光軸方向ＯＡに進退可能に保持される。以下では、光軸方向ＯＡをＺ方向とし、カメラから被写体側を見る方向を正方向とする。また、本実施形態において、Ｚ方向の軸の原点０は、後述するカメラ本体１２０の撮像素子１２２の位置に対応するものとする。

絞り１０２は、その開口径を調節することで撮影時の光量調節を行う。また、絞り１０２は、静止画撮影時には露出時間を制御するメカニカルシャッタとしても機能する。絞り１０２および第２レンズ群１０３は一体として光軸方向ＯＡに進退可能であり、第１レンズ群１０１と連動して移動することによりズーム機能を実現する。

フォーカスレンズ１０４は、光軸方向ＯＡに進退可能であり、その位置に応じてレンズユニット１００が合焦する被写体距離（合焦距離）が変化する。本実施形態では、フォーカスレンズ１０４の光軸方向ＯＡの位置を制御することにより、被写体距離の検出（焦点検出）および合焦距離を調節するオートフォーカス機能を実現する。

レンズユニット１００の駆動／制御系（機器、回路、プログラムコードその他のものを含む）は、駆動系としてズームアクチュエータ１１１、絞り／シャッターアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動部１１４、絞り／シャッター駆動部１１５、フォーカス駆動部１１６を有する。また、駆動系を制御する制御系として、レンズＭＰＵ１１７とレンズメモリ１１８を有する。

ズームアクチュエータ１１１は、第１レンズ群１０１や第２レンズ群１０３を光軸方向ＯＡに進退駆動し、撮影光学系の画角を変更するズーム制御を行う。絞り／シャッターアクチュエータ１１２は、絞り１０２の開口径を制御して撮影光量を調節すると共に、絞り１０２の開閉動作を制御して撮影時の露光時間制御を行う。フォーカスアクチュエータ１１３は、フォーカスレンズ１０４を光軸方向ＯＡに進退駆動してオートフォーカス動作を行うと共に、フォーカスレンズ１０４の現在位置を検出する機能も有している。

ズーム駆動部１１４は、撮影者のズーム操作またはレンズＭＰＵ１１７の制御値に応じて、ズームアクチュエータ１１１を駆動する。絞り／シャッター駆動部１１５は、絞り／シャッターアクチュエータ１１２を駆動して絞り１０２の開口径または開閉動作を制御する。フォーカス駆動部１１６は、フォーカスアクチュエータ１１３を駆動し、フォーカスレンズ１０４を光軸方向ＯＡに進退駆動してオートフォーカス動作（焦点調節動作）を行う。

レンズＭＰＵ１１７は、撮影光学系に係る全ての演算、制御を行い、ズーム駆動部１１４、絞り／シャッター駆動部１１５、フォーカス駆動部１１６、レンズメモリ１１８を制御する。レンズＭＰＵ１１７は、マウントＭを介してカメラＭＰＵ１２５との間でコマンドやデータの通信が可能に接続される。例えば、レンズＭＰＵ１１７は、フォーカスレンズ１０４の現在の位置を検出し、カメラＭＰＵ１２５からの要求に対してレンズ位置情報を通知する。このレンズ位置情報は、フォーカスレンズ１０４の光軸方向ＯＡにおける位置、光学系が移動していない状態の射出瞳の光軸方向ＯＡにおける位置および直径、射出瞳の光束を制限するレンズ枠の光軸方向ＯＡにおける位置および直径などの情報を含む。また、レンズＭＰＵ１１７は、カメラＭＰＵ１２５からの要求に応じて、ズーム駆動部１１４、絞り／シャッター駆動部１１５、フォーカス駆動部１１６を制御する。レンズメモリ１１８には、本実施形態の撮像面位相差ＡＦに必要な光学情報が予め記憶されている。また、レンズメモリ１１８には、例えば、フォーカスレンズ１０４の位置や移動量とデフォーカス量との対応関係を示すデフォーカスマップが格納されている。なお、デフォーカスマップは、後述するように第１焦点検出信号と第２焦点検出信号の各画素位置での像ずれ量を相関演算により算出し、像ずれ量をデフォーカス量に換算することで生成される。これにより、レンズＭＰＵ１１７は、カメラＭＰＵ１２５からデフォーカス量を所定量だけ変更する要求を受けた場合に、レンズメモリ１１８に記憶されたデフォーカスマップを参照し、所定のデフォーカス量に対応する距離だけフォーカスレンズ１０４を移動するようにフォーカスアクチュエータ１１３を制御することが可能である。カメラＭＰＵ１２５は、例えばＲＯＭ１２５ａやレンズメモリ１１８に格納されているプログラムを実行することで、レンズユニット１００の動作を制御する。また、レンズメモリ１１８には、本実施形態の撮影光学系の光学情報なども格納されている。

カメラ本体１２０は、光学的ローパスフィルタ１２１、撮像素子１２２、後述する駆動／制御系を有する。光学的ローパスフィルタ１２１は、撮影画像の偽色やモアレを軽減する。

撮像素子１２２は、例えばＣＭＯＳイメージセンサとその周辺回路で構成されている。ＣＭＯＳイメージセンサは、光を受光する各画素に光電変換素子が設けられており、各画素を単位画素として複数の単位画素が二次元状に配列された画素群（撮像面）を有する。撮像素子１２２は、撮像光学系の異なる瞳領域をそれぞれ通過する光束を受光する複数の焦点検出画素を有し、画素ごとに独立した信号出力が可能である。これにより、撮像面位相差ＡＦによるデフォーカス量の算出が可能である。また、撮像素子１２２は、被写体の像を形成する撮影光学系の射出瞳の全域を通る光束を各画素で受光して被写体の画像信号を生成する複数の撮像用画素を有する。

カメラ本体１２０の駆動／制御系は、撮像素子駆動部１２３、画像処理部１２４、カメラ本体１２０全体を制御するカメラＭＰＵ１２５、表示部１２６、操作スイッチ１２７、メモリ１２８、第１焦点検出部１２９、第２焦点検出部１３０を有する。撮像素子駆動部１２３は、撮像素子１２２の電荷蓄積動作を制御すると共に、撮像素子１２２から読み出した画像信号をデジタル信号に変換してカメラＭＰＵ１２５に送出する。画像処理部１２４は、撮像素子１２２から読み出された画像信号にガンマ変換、色補間、ＪＰＥＧ圧縮等の各種画像処理を行う。また、画像処理部１２４は、後述する撮像面位相差方式による焦点検出用の信号、露光調節用の信号、ホワイトバランス調整用の信号、および、被写体検出用の信号を生成する。なお、本実施形態では、焦点検出用（位相差ＡＦ用）の信号、露光調節用の信号、ホワイトバランス調整用の信号、および、被写体検出用の信号を生成しているが、例えば露光調節用の信号、ホワイトバランス調整用の信号、被写体検出用の信号を共通の信号として生成してもよい。また、共通とする信号の組み合わせはこの限りではない。

カメラＭＰＵ１２５はマイクロプロセッサを有し、カメラ本体１２０に係る全ての演算、制御を行う。これにより、撮像素子駆動部１２３、画像処理部１２４、表示部１２６、操作スイッチ１２７、メモリ１２８、第１焦点検出部１２９、第２焦点検出部１３０を制御する。カメラＭＰＵ１２５はマウントＭに配置された信号線を介してレンズＭＰＵ１１７と接続されている。これにより、レンズＭＰＵ１１７に対して、レンズ位置を取得する要求を発行したり、所定の駆動量でのズーム駆動や絞り駆動やレンズ駆動の要求を発行したり、レンズユニット１００に固有の光学情報を取得する要求を発行する。

カメラＭＰＵ１２５には、カメラの動作を制御するためのプログラムを格納したＲＯＭ１２５ａ、変数を記憶するＲＡＭ１２５ｂ、各種パラメータを記憶するＥＥＰＲＯＭ１２５ｃが内蔵されている。カメラＭＰＵ１２５は、ＲＯＭ１２５ａに格納されたプログラムを読み出してＲＡＭ１２５ｂに展開して実行することで、後述する焦点検出処理、被写体検出処理、露光調節処理、ホワイトバランス調整処理を実行する。

表示部１２６はＬＣＤ（液晶）パネルや有機ＥＬなどの表示デバイスを有し、カメラの各動作モードに関する各種の情報を表示する。カメラの動作モードは、例えば、静止画や動画を撮影する撮影モード、メモリ１２８に格納されている撮影済みの画像を再生する再生モードを含む。撮影モードの場合は、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態画像などを表示する。また、撮影中の動画を逐次表示する。

操作スイッチ１２７は、シャッタースイッチ、電源スイッチ、ズームスイッチ、モード切替スイッチなどを含む。メモリ１２８は、カメラに着脱可能なフラッシュメモリであり、撮影済み画像を記録する。

焦点調節部１２９は、撮像素子１２２および画像処理部１２４から得られる焦点検出用の一対の異なる視差の像信号（位相差ＡＦ用の信号）に基づいて、位相差検出方式による焦点検出処理を行う。画像処理部１２４は、撮像光学系の一対の瞳領域を通過する光束で形成される異なる視差の一対の像データを生成し、焦点調節部１２９が、一対の像データのずれ量に基づいて焦点ずれ量（デフォーカス量）を算出する。このように、焦点調節部１２９は、専用のＡＦセンサを用いることなく、撮像素子１２２の出力信号により位相差ＡＦ（撮像面位相差ＡＦ）を行う。

焦点調節部１２９は、取得ブロック１２９ａおよび算出ブロック１２９ｂを有する。これらの動作については後述する。なお、焦点調節部１２９の少なくとも一部（取得ブロック１２９ａまたは算出ブロック１２９ｂの一部）を、カメラＭＰＵ１２５に設けてもよい。なお、焦点調節部１２９が実行する焦点調節動作については後述する。焦点調節部１２９は、焦点検出結果を用いてフォーカスレンズ１０４の位置を制御する自動焦点調節（ＡＦ）機能を有する。

被写体検出部１３０は、画像処理部１２４により生成される被写体検出用の信号に基づいて、被写体の種類や部位や状態（検出タイプ）、被写体の位置やサイズ（検出領域）などを検出する被写体検出処理を行う。被写体検出部１３０の処理については後述する。

露光調節部１３１は、撮像素子１２２および画像処理部１２４から得られる露光調節用（ＡＥ用）の信号に基づいて測光を行うことで撮影条件を適切に制御する。露光調節部１３１は、露出調節用の信号に基づいて測光を行い、設定中の絞り値、シヤッタスピード、ＩＳＯ感度での露光量を算出し、算出した露光量と、予め定められた適正露光量との差に基づき撮影時の適切な絞り値、シヤッタスピード、ＩＳＯ感度を演算し、撮影条件として設定する。露光調節部１３１は、測光結果を用いて撮影時の露光条件を算出し、絞り１０２の絞り値、シヤッタスピード、ＩＳＯ感度を制御する自動露出調節（ＡＥ）機能を有する。

ホワイトバランス調整部１３２は、撮像素子１２２および画像処理部１２４から得られるホワイトバランス調整用の信号に基づいてホワイトバランス調整処理を行う。ホワイトバランス調整部１３２は、ホワイトバランス調整用の信号から取得したホワイトバランスのパラメータと予め定められた適切なホワイトバランスのパラメータとの差に基づき色の重みづけを調整する自動ホワイトバランス調整（ＡＷＢ）機能を有する。

本実施形態の撮像装置１０は、焦点調節（ＡＦ）、露光調節（ＡＥ）、ホワイトバランス調整（ＡＷＢ）と、被写体検出とを組み合わせて実行可能であり、被写体検出結果に応じて、焦点調節（ＡＦ）、露光調節（ＡＥ）、ホワイトバランス調整（ＡＷＢ）を行う位置（像高範囲）を選択することができる。

＜撮像素子の構成＞次に、図２を参照して、実施形態１の撮像素子１２２の撮像画素（および焦点検出画素）の配列について説明する。

図２は、実施形態１の２次元ＣＭＯＳセンサ（撮像素子１２２）の画素（撮像画素）配列を４列×４行の範囲で、焦点検出画素配列を８列×４行の範囲で示している。

実施形態１において、図２に示した２列×２行の画素群２００は、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各画素は２列×１行に配列された第１焦点検出画素２０１と第２焦点検出画素２０２により構成されている。

図２に示した４列×４行の画素（８列×４行の焦点検出画素）を面上に多数配置し、撮像画像（焦点検出信号）の取得を可能としている。実施形態１では、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、焦点検出画素の列方向周期ＰＡＦが２μｍ、焦点検出画素数ＮＡＦが横１１１５０列×縦３７２５行＝約４１５０万画素の撮像素子１２２として説明を行う。

図３（ａ）は、図２に示した撮像素子１２２の１つの画素２００Ｇを、撮像素子１２２の受光面側（＋ｚ側）から見た平面図であり、図３（ｂ）は、図３（ａ）のａ−ａ断面を−ｙ側から見た断面図である。

図３に示すように、実施形態１の画素２００Ｇは、各画素の受光側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部３０１と光電変換部３０２が形成される。光電変換部３０１と光電変換部３０２が、それぞれ、第１焦点検出画素２０１と第２焦点検出画素２０２に対応する。

光電変換部３０１と光電変換部３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしてもよいし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしてもよい。各画素には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルター３０６が形成される。また、必要に応じて、副画素毎にカラーフィルターの分光透過率を変えてもよいし、カラーフィルターを省略してもよい。

図３に示した画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルター３０６で分光されたのち、光電変換部３０１と光電変換部３０２で受光される。

光電変換部３０１と光電変換部３０２では、受光量に応じて電子とホールが対生成され、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積され、一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子１２２外部へ排出される。

光電変換部３０１と光電変換部３０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。

図４は、図３に示した実施形態１の撮像素子１２２の画素構造と瞳分割との対応関係を示している。図４は、図３（ａ）に示した撮像素子１２２の画素構造を＋ｙ側から見た断面図（ａ）と撮像素子１２２の瞳面（瞳距離Ｄｓ）（ｂ）を示している。図４では、撮像素子１２２の瞳面の座標軸と対応を取るために、断面図（ａ）のｘ軸とｙ軸を図３に対して反転させている。

図４において、第１焦点検出画素２０１の第１瞳部分領域５０１は、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズによって、概ね、共役関係になっており、第１焦点検出画素２０１で受光可能な瞳領域を示している。第１焦点検出画素２０１の第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心している。図４において、第２焦点検出画素２０２の第２瞳部分領域５０２は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズによって、概ね、共役関係になっており、第２焦点検出画素２０２で受光可能な瞳領域を示している。第２焦点検出画素２０２の第２瞳部分領域５０２は、瞳面上で−Ｘ側に重心が偏心している。また、図４において、瞳領域５００は、光電変換部３０１と光電変換部３０２（第１焦点検出画素２０１と第２焦点検出画素２０２）を全て合わせたときの画素２００Ｇ全体で受光可能な瞳領域である。

撮像面位相差ＡＦでは、撮像素子１２２のマイクロレンズを利用して瞳分割するため回折の影響を受ける。図４において、撮像素子１２２の瞳面までの瞳距離が数１０ｍｍであるのに対し、マイクロレンズの直径は数μｍである。そのため、マイクロレンズの絞り値が数万となり、数１０ｍｍレベルの回折ボケが生じる。よって、光電変換部の受光面の像は、明瞭な瞳領域や瞳部分領域とはならずに、受光感度特性（受光率の入射角分布）となる。

図５は、実施形態１の撮像素子１２２と瞳分割との対応関係を示している。第１瞳部分領域５０１と第２瞳部分領域５０２の異なる瞳部分領域を通過した光束は、撮像素子１２２の各画素に、それぞれ、異なる角度で入射し、２×１分割された第１焦点検出画素２０１と第２焦点検出画素２０２で受光される。図５は、瞳領域が水平方向に２つに瞳分割されている例を示しているが、必要に応じて、垂直方向に瞳分割を行ってもよい。

撮像素子１２２は、第１焦点検出画素２０１と、第２焦点検出画素２０２とを有する撮像画素が複数配列されている。第１焦点検出画素２０１は、撮影光学系の第１瞳部分領域を通過する光束を受光する。また、第２焦点検出画素２０２は、第１瞳部分領域と異なる撮影光学系の第２瞳部分領域を通過する光束を受光する。また、撮像画素は、撮影光学系の第１瞳部分領域と第２瞳部分領域を合わせた瞳領域を通過する光束を受光する。

撮像素子１２２は、それぞれの撮像画素が第１焦点検出画素２０１と第２焦点検出画素２０２から構成されている。必要に応じて、撮像画素と第１焦点検出画素２０１、第２焦点検出画素２０２を個別の画素構成とし、撮像画素配列の一部に、第１焦点検出画素２０１と第２焦点検出画素２０２を部分的に配置する構成としてもよい。

実施形態１では、撮像素子１２２の各画素の第１焦点検出画素２０１の受光信号を集めて第１焦点信号を生成し、各画素の第２焦点検出画素２０２の受光信号を集めて第２焦点信号を生成して焦点検出を行う。また、撮像素子１２２の画素ごとに、第１焦点検出画素２０１と第２焦点検出画素２０２の信号を加算することで、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。各信号の生成方法は、上述した方法に限らず、例えば、第２焦点検出信号を、撮像信号と第１焦点信号の差分から生成してもよい。

＜デフォーカス量と像ずれ量の関係＞次に、図６を参照して、撮像素子１２２により取得される第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量の関係について説明する。

図６は、第１焦点検出信号と第２焦点検出信号のデフォーカス量と第１焦点検出信号と第２焦点検出信号間の像ずれ量の関係を示している。撮像面８００に撮像素子１２２（不図示）が配置され、図４および図５と同様に、撮像素子１２２の瞳面が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。デフォーカス量ｄは、被写体の結像位置から撮像面までの距離を大きさ｜ｄ｜とし、被写体の結像位置が撮像面より被写体側にある前ピン状態を負符号（ｄ＜０）として定義される。また、被写体の結像位置が撮像面より被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面（合焦位置）にある合焦状態はｄ＝０である。図６において、被写体８０１は合焦状態（ｄ＝０）の例を示しており、被写体８０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（第２瞳部分領域５０２）を通過した光束は、一度、集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子１２２に配列された各画素を構成する第１焦点検出画素２０１（第２焦点検出画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。よって、第１焦点検出信号（第２焦点検出信号）は、撮像面８００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。

第１焦点検出信号と第２焦点検出信号、もしくは、第１焦点検出信号と第２焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する。焦点調節部１２９は、撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する関係性から、基線長に基づいて算出された変換係数により像ずれ量をデフォーカス量ｄに変換する。

＜撮影時の処理＞次に、図７から図１０を参照して、実施形態１の撮影時の処理について説明する。

図７は、実施形態１の撮像装置１０による撮影時の処理のフローチャートを示している。なお、図７の処理は、カメラＭＰＵ１２５およびレンズＭＰＵ１１７がプログラムを実行し、レンズユニット１００およびカメラ本体１２０の各部を制御することにより実現される。

ステップＳ７０１では、カメラＭＰＵ１２５は、被写体検出部１３２を制御し被写体検出を実行する。

ここで、図８を参照して、実施形態１の被写体検出部１３２により検出される被写体の種類、部位および状態（検出タイプ）、被写体の位置およびサイズ（検出領域）について説明する。

図８は、被写体（検出対象）と、被写体の検出領域の関係を示している。図８の８０１〜８０８は、被写体検出部１３２が検出した被写体の検出領域であり、各被写体８０１〜８０８の検出タイプ（種類、部位、状態）と検出領域（位置、サイズ）は、表１に示す通りである。

このように、被写体検出部１３２は、画像処理部１２４により生成される被写体検出用の信号に基づいて、検出タイプと検出領域の検出を行う。

実施形態１では、１つの被写体検出用の信号から複数の被写体に関する検出タイプと検出領域を取得したが、最も主らしい被写体の検出タイプと検出領域のみを取得してもよい。また、検出タイプは種類、部位、状態の全てに限らず、種類、部位、状態の少なくとも１つ、種類だけ、部位だけ、状態だけでもよいし、別の指標であってもよい。
（表１）

ステップＳ７０２では、カメラＭＰＵ１２５は、ステップＳ７０１で検出された被写体の中から、主被写体を選択する。主被写体の選択方法は、予め定められた検出タイプ（種類、部位、状態）および検出領域（位置、サイズ）の優先順位に応じて決定される。例えば、撮影頻度の高いものほど優先順位を高く設定し、検出タイプの種類は、人、犬、鳥、車、飛行機の順、検出タイプの状態は、走り、飛行、静止の順、検出領域の位置は、中央像高ほど、検出領域のサイズは、大きいものほど優先順位を高く設定する。

ステップＳ７０３では、カメラＭＰＵ１２５は、焦点調節部１２９を制御し、Ｓ７０２で選択された主被写体に対して焦点調節を実行する。焦点調節処理については後述する。

ステップＳ７０４では、カメラＭＰＵ１２５は、合焦判定を行う。合焦と判定された場合はステップＳ７０５へ進み、合焦でないと判定された場合はステップＳ７０１へ進める。

ステップＳ７０５では、カメラＭＰＵ１２５は、ホワイトバランス調整部１３２を制御し、Ｓ７０２で選択された主被写体に対してホワイトバランス調整処理を実行する。ホワイトバランス調整処理については後述する。

ステップＳ７０６では、カメラＭＰＵ１２５は、露光調節部１３１を制御し、Ｓ７０２で選択された主被写体に対して露光調節処理を実行する。露光調節処理については後述する。

ステップＳ７０７では、カメラＭＰＵ１２５は、撮影を実行する。ステップＳ７０７を終えると処理を終了する。

＜焦点調節処理＞次に、図７のステップＳ７０３における焦点調節処理について説明する。

図９は、実施形態１の焦点調節処理のフローチャートを示している。なお、図９の処理は、焦点調節部１２９によって実行される。

ステップＳ９０１では、焦点調節部１２９は、取得ブロック１２９ａが、図７のステップＳ７０１〜Ｓ７０２で検出した主被写体の被写体検出結果（検出タイプ、検出領域）を取得する。

ステップＳ９０２では、焦点調節部１２９は、取得ブロック１２９ａが、焦点調節動作のモードとしてＡＦモード（ワンショットＡＦまたはサーボＡＦ）を取得する。ワンショットＡＦは、静止している被写体にピントを固定するＡＦモードであり、サーボＡＦは、動いている被写体にピントを合わせ続けるＡＦモードである。

ステップＳ９０３では、焦点調節部１２９は、取得ブロック１２９ａが、ステップＳ９０１で取得した被写体検出結果と、ステップＳ９０２で取得したＡＦモードに応じた測距領域設定倍率を取得する。表１は、被写体検出結果の検出タイプ（被写体の種類、部位、状態（動き）、ＡＦモード（ワンショットＡＦ、サーボＡＦ）ごとの測距領域設定倍率β１〜β１６を示している。ステップＳ９０３では、β１〜β１６の測距領域設定倍率を、被写体検出結果とＡＦモードに応じて取得する。

ステップＳ９０４では、焦点調節部１２９は、ステップＳ９０１で取得した主被写体の位置およびサイズと、ステップＳ９０３で取得した測距領域設定倍率とに基づいて測距領域を設定する。

図１０は、図９のステップＳ９０４で設定される測距領域を示している。図１０（ａ）は、図８の８０１でＡＦモードがワンショットＡＦ時に対して、測距領域を設定した様子を示している。図１０（ｂ）は、図８の８０３でＡＦモードがワンショットＡＦ時に対して、測距領域を設定した様子を示している。図１０（ｃ）は、図８の８０４でＡＦモードがワンショットＡＦ時に対して、測距領域を設定した様子を示している。図１０（ｄ）は、図８の８０４でＡＦモードがサーボＡＦ時に対して、測距領域を設定した様子を示している。図１０（ｅ）は、図８の８０８でＡＦモードがサーボＡＦ時に対して、測距領域を設定した様子を示している。

図１０（ａ）は、被写体状態が静止で、ＡＦモードがワンショットＡＦであるため、測距領域設定倍率β１は小さく設定されている。

図１０（ｂ）は、被写体種類が犬、被写体状態が静止、ＡＦモードがワンショットＡＦで図１０（ａ）と同じであるが、被写体部位が全身であるため、測距領域設定倍率β３はβ１よりさらに小さく設定されている。全身は顔よりも大きくなるため、検出サイズに対する被写体の移動量は、全身の方が小さくなる。そのため、測距領域設定倍率β３はβ１よりさらに小さく設定するのが適している。

図１０（ｃ）は、被写体種類が犬、被写体部位が全身、ＡＦモードがワンショットＡＦで、図１０（ｂ）と同じであるが、被写体状態が走りであるため、測距領域設定倍率β４はβ３より大きく設定されている。被写体状態が走りの場合は、検出サイズに対する被写体の移動量は大きくなる。そのため、測距領域設定倍率β４はβ３より大きく設定するのが適している。

図１０（ｄ）は、被写体種類が犬、被写体部位が全身、被写体状態が走りで、図１０（ｃ）と同じであるが、ＡＦモードがサーボＡＦであるため、測距領域設定倍率β１２はβ４よりさらに大きく設定されている。ＡＦモードがサーボＡＦの場合は、ユーザがフレーミングのためにカメラを動かしている可能性が高く、検出サイズに対する被写体の移動量は大きくなる可能性が高い。そのため、測距領域設定倍率β１２はβ４より大きく設定するのが適している。

図１０（ｅ）は、被写体部位が全身、ＡＦモードがサーボＡＦで、図１０（ｄ）と同じであるが、被写体種類が鳥、被写体状態が飛行である点が異なる。犬が走っている場合よりも、鳥が飛行している場合の方が、検出サイズに対する被写体の移動量は大きくなりやすいため、測距領域設定倍率β１６はβ１２よりさらに大きく設定するのが適している。

このように、被写体の種類や状態（動き）に応じて測距領域設定倍率を設定する。例えば、検出領域のサイズに対する被写体の移動量が小さい場合には、測距領域設定倍率が小さくなるように設定することで、測距領域が狭くなり（視野長が短くなり）、遠近競合が低減される。また、検出領域のサイズに対する被写体の移動量が大きい場合には、測距領域設定倍率が大きくなるように設定することで、測距領域が広くなり、視野長が長くなるものの、被写体の位置ずれに対応できるようになる。

本実施形態では、被写体検出部１３２が検出した被写体の状態に応じた測距領域設定倍率を取得したが、これに限定されるものではない。例えば、焦点調節部１２９が算出したデフォーカス量の変化から被写体の状態（動体か静止体かなど）を判定し、被写体の状態に応じた測距領域設定倍率を取得してもよい。また、不図示の動きベクトル検出部が検出した被写体位置情報の時間変化と、ジャイロセンサなどで検出した手振れ量やパンニング量から判定した被写体の状態に応じた測距領域設定倍率を取得してもよい。

ステップＳ９０５では、焦点調節部１２９は、算出ブロック１２９ｂが、ステップＳ９０４で設定された測距領域内の各測距点のデフォーカス量を算出する。

ステップＳ９０６では、焦点調節部１２９は、ステップＳ９０５で算出された各測距点のデフォーカス量に基づいて測距点を選択する。

ステップＳ９０７では、焦点調節部１２９は、算出ブロック１２９ｂが、ステップＳ９０６で選択された測距点のデフォーカス量に基づいてフォーカスレンズ駆動量を算出する。

ステップＳ９０８では、焦点調節部１２９は、ステップＳ９０７で算出されたフォーカスレンズ駆動量に基づいてフォーカスレンズを駆動する。ステップＳ９０８を終えると処理を終了する。

以上のように、実施形態１によれば、被写体検出結果（被写体の種類、部位、状態）および／またはＡＦモードに基づいて測距領域の位置およびサイズが設定される。詳しくは、被写体検出結果（被写体の種類、部位、状態）やＡＦモードに応じて測距領域設定倍率を取得し、測距領域設定倍率に基づいて処理（焦点調節、ホワイトバランス調整、露光調節）を行う被写体領域を設定する。これにより、検出対象の被写体に対して適切な処理を行うことが可能となる。

［実施形態２］以下、実施形態２について説明する。

実施形態１では、被写体検出結果やＡＦモードに応じて測距領域設定倍率を設定し、測距領域設定倍率に基づいて設定される測距領域内の測距点のデフォーカス量を用いて主被写体に対する焦点調節を行う構成について説明した。これに対して、実施形態２では、被写体検出性能のデフォーカス耐性から設定されるデフォーカス範囲内または被写体サイズから想定される被写体奥行き情報から設定されるデフォーカス範囲内の領域を主被写体の検出領域とそれ以外の領域に設定し、主被写体領域の測距点のデフォーカス量を用いて主被写体に対する処理（焦点調節、ホワイトバランス調整、露光調節）を行う構成について説明する。

なお、実施形態２の撮像装置１０の構成、撮像素子１２２の構成、焦点検出方法、被写体検出方法、撮影時の処理は、実施形態１の図１から図７と同様である。

まず、図７のＳ７０１において、実施形態２の被写体検出部１３２により検出される被写体の種類（検出タイプ）、被写体の位置およびサイズ（検出領域）、被写体検出が可能なデフォーカス範囲（被写体検出性能のデフォーカス耐性）や被写体の奥行き倍率について説明する。

図１１は、被写体（検出対象）と検出領域の関係を示している。図１１の１１０１〜１１０６は、被写体検出部１３２が検出した被写体の検出領域である。各被写体１１０１〜１１０６の検出タイプ（被写体の種類）、検出領域（被写体の位置とサイズ）、被写体検出性能のデフォーカス耐性、被写体の奥行き倍率は、表２に示す通りである。

このように、被写体検出部１３２は、画像処理部１２４により生成される被写体検出用の信号に基づいて、主被写体の検出タイプと検出領域を取得する。

実施形態２では、１つの被写体検出用の信号から複数の被写体に関する検出タイプと検出領域を取得したが、最も主らしい被写体の検出タイプと検出領域のみを取得してもよい。また、検出タイプは種類を取得したが、これに限らず、別の指標であってもよい。また、実施形態２では、犬や鳥の全身、車や飛行機の全体を検出タイプの種類として取得したが、犬や鳥の顔や瞳などの特定部位や、車や飛行機の運転者や運転者の頭部などの特定部分を取得してもよい。
（表２）

次に、図１２から図１８を参照して、実施形態２の焦点調節処理、ホワイトバランス調整処理、露光調節処理について説明する。

＜焦点調節処理＞図１２を参照して、実施形態２の焦点調節処理（図７のステップＳ７０３）について説明する。

図１２は、実施形態２の焦点調節処理のフローチャートを示している。なお、図１２の処理は、焦点調節部１２９によって実行される。

ステップＳ１２０１において、焦点調節部１２９は、取得ブロック１２９ａが、図７のステップＳ７０１〜ステップＳ７０２で検出した主被写体の被写体検出結果（検出タイプ、検出領域）を取得する。

ステップＳ１２０２では、焦点調節部１２９は、ステップＳ１２０１で取得した主被写体の検出領域の中心位置を基準に測距領域を設定する。主被写体位置を基準に測距領域を設定することで、同時に演算可能な測距点数が限られていた場合であっても、主被写体近傍の測距結果を高密度に得ることができる。そして、その中から最適な測距結果を選択することで、主被写体へ適切に合焦させることが可能となる。被写体が非検出の状態の場合には、中央像高を中心位置として測距領域を設定する。

ステップＳ１２０３では、焦点調節部１２９は、算出ブロック１２９ｂが、ステップＳ１２０２で設定した測距領域内の各測距点のデフォーカス量を算出する。デフォーカス量算出処理については後述する。

ステップＳ１２０４では、焦点調節部１２９は、ステップＳ１２０１で取得した被写体検出結果の検出状態が、被写体を検出した状態か非検出の状態かを判定する。非検出の状態の場合はステップＳ１２０５へ進み、ステップＳ１２０５では、画像の全範囲を対象としたデフォーカス範囲を取得する。被写体を検出した状態の場合はステップＳ１２０６へ進む。

ステップＳ１２０６では、焦点調節部１２９は、ＡＦモードがサーボＡＦであるか否かを判定する。サーボＡＦの場合は、被写体の動きに合わせてＡＦ制御を継続するため、基本的に被写体近傍にピントが合っている状態である。サーボＡＦでない場合はステップＳ１２０７へ進み、ステップＳ１２０１で取得した被写体検出結果に応じたデフォーカス耐性に基づくデフォーカス範囲を取得する。被写体検出結果に応じたデフォーカス耐性に基づくデフォーカス範囲は、表２に示すように、被写体の種類、位置、サイズによって異なる。なお、実施形態２では、被写体の種類、位置、サイズによって異なるデフォーカス範囲を設定しているが、これに限らず、被写体の種類のみに基づいてデフォーカス範囲を設定してもよい。被写体の検出状態では、被写体は、被写体検出性能のデフォーカス耐性よりも大きいデフォーカス量とはならない。言い換えれば、被写体がデフォーカス耐性よりも大きいデフォーカス量であった場合、被写体検出結果は非検出状態となる。そのため、デフォーカス耐性に基づくデフォーカス範囲は、被写体の可能性が高いデフォーカス範囲であることを意味する。ステップＳ１２０６でサーボＡＦの場合はステップＳ１２０８に進む。

ステップＳ１２０８では、焦点調節部１２９は、取得ブロック１２９ａが、被写体検出結果に応じた被写体奥行き倍率を取得する。被写体検出結果に応じた被写体奥行き倍率は、表２に示すように、被写体種類によって異なる。なお、実施形態２では、被写体の種類によって異なる奥行き倍率を設定しているが、これに限らず、被写体の位置やサイズによって異なる奥行き倍率を設定してもよい。被写体奥行き倍率は、被写体サイズに対する被写体の奥行きを倍率で表したものである。図１３は被写体奥行き倍率の説明図であり、図１１の被写体１１０１に対して、最大の被写体サイズ（ｈ１、ｗ１）に対する被写体奥行き倍率がγ１倍であることを示している。実施形態２では、最大の被写体サイズ（ｈ１、ｗ１）に対する倍率により被写体奥行きを表しているが、これに限らず、ｈ１、ｗ１のいずれかに対する倍率で表してもよいし、（ｈ１、ｗ１）の大きい方と同サイズ（γ１＝１）としてもよい。

ステップＳ１２０９では、焦点調節部１２９は、取得ブロック１２９ａが、レンズユニット１００の光学情報を取得する。

ステップＳ１２１０では、焦点調節部１２９は、算出ブロック１２９ｂが、ステップＳ１２０１で取得した被写体検出結果の被写体サイズ、ステップＳ１２０８で取得した被写体奥行き倍率、ステップＳ１２０９で取得した光学情報の焦点距離と現在の被写体距離から、実空間上での被写体の想定奥行きサイズを算出する。被写体サイズを（ｈ、ｗ）、被写体奥行き倍率をγ、焦点距離をｆ、被写体距離をｚとすると想定被写体奥行きサイズΔｚは式１で表される。
（式１）
Δｚ＝（ｚ／ｆ）ｍａｘ（ｈ，ｗ）γ
ステップＳ１２１１では、焦点調節部１２９は、算出ブロック１２９ｂが、ステップＳ１２１０で算出した想定奥行きサイズに基づいてデフォーカス範囲を算出する。焦点調節部１２９は、実空間上での想定奥行きサイズΔｚから、像面上での被写体内深度差Δｄｅｆを算出し、被写体内深度差Δｄｅｆをデフォーカス範囲として取得する。被写体内深度差Δｄｅｆは式２で表される。
（式２）
Δｄｅｆ＝（ｆ／ｚ）2Δｚ＝（ｆ／ｚ）ｍａｘ（ｈ，ｗ）γ
ステップＳ１２１２では、焦点調節部１２９は、ステップＳ１２０１で取得した被写体領域のうち、ステップＳ１２０５、ステップＳ１２０７、ステップＳ１２１１のいずれかで取得したデフォーカス範囲内の検出領域を第１領域に、それ以外の検出領域を第２領域に設定する。図１４は、第１領域、第２領域の説明図である。図１４の１４０１、１４０２は、図１１の被写体領域１１０２に対して、ステップＳ１２０１で取得した被写体領域、ステップＳ１２０５、ステップＳ１２０７、ステップＳ１２１１のいずれかで取得したデフォーカス範囲から設定された測距領域内の第１領域、第２領域を示している。図１４の１４００＿ｎはステップＳ１２０２で設定された測距領域内の測距点である。図１４（ａ）は、各測距点から取得した信号に対して第１領域、第２領域の設定した状態を示している。図１４（ｂ）は、ステップＳ１２０２で測距領域を設定しステップＳ１２０３で算出したデフォーカス量（ｄｅｆ）に基づいて、測距点分布を３段階（ｄｅｆ＜Ｄｅｆ２、−Ｄｅｆ２≦ｄｅｆ≦Ｄｅｆ２、−Ｄｅｆ２＜ｄｅｆ）で分類した状態を示している。図１４（ａ）で花の部分は、図１４（ｂ）で、ｄｅｆ＜Ｄｅｆ２となっており、ステップＳ１２０５、ステップＳ１２０７、ステップＳ１２１１のいずれかで取得したデフォーカス範囲よりも至近側となっている。図１４（ａ）で背景の部分は、図１４（ｂ）で、−Ｄｅｆ２＜ｄｅｆとなっており、ステップＳ１２０５、ステップＳ１２０７、ステップＳ１２１１のいずれかで取得したデフォーカス範囲よりも無限遠側となっている。このように、花や背景は、ステップＳ１２０５、ステップＳ１２０７、ステップＳ１２１１のいずれかで取得したデフォーカス範囲外となっており、第２領域として設定される。

ステップＳ１２１３では、焦点調節部１２９は、ステップＳ１２１２で設定した、第１領域、第２領域の優先順位に基づいて測距点を選択する。まず、最も優先順位の高い第１領域内の測距点の中で、被写体検出結果の信頼性が所定の閾値より高い測距点が存在する場合、その中で最至近のデフォーカス量を検出している測距点を選択する。次に、第１領域内に、信頼性が所定の閾値より高い測距点が存在しない場合、次に優先順位の高い第２領域の測距点の中で、信頼性が所定の閾値より高い測距点の中で最至近のデフォーカス量を検出している測距点を選択する。このように、優先順位の高い領域の中から優先して測距点を選択することで、被写体（検出対象）である領域における測距点を選択することができ、検出領域内に、検出対象以外が含まれる場合でも被写体（検出対象）に対して適切な測距を行うことが可能となる。

本実施形態では、第１領域内で最至近のデフォーカス量を検出している測距点を選択したが、これに限定されるものではない。例えば、ステップＳ１２１２で設定した第１領域内のデフォーカス量のヒストグラムを算出し、ヒストグラムの最頻値のデフォーカス量を検出している測距点を選択してもよい。また、本実施形態では、ステップＳ１２０５、ステップＳ１２０７、ステップＳ１２１１のいずれかで取得したデフォーカス範囲に基づいて、第１領域を設定し、第１領域内から測距点選択を行ったが、これに限定されるものではない。例えば、第１領域を設定せずに、測距領域全体からデフォーカス量のヒストグラムを算出し、ヒストグラム算出の際に、ステップＳ１２０５、ステップＳ１２０７、ステップＳ１２１１のいずれかで取得したデフォーカス範囲外のデフォーカス量は、ヒストグラム算出から除外する（頻度カウントしない）としてもよい。

ステップＳ１２１４では、焦点調節部１２９は、算出ブロック１２９ｂが、ステップＳ１２１３で選択した測距点のデフォーカス量に基づいてフォーカスレンズ駆動量を算出する。

ステップＳ１２１５では、焦点調節部１２９は、ステップＳ１２１４で算出したフォーカスレンズ駆動量に基づいてフォーカスレンズを駆動する。ステップＳ１２１５を終えると処理を終了する。

＜ホワイトバランス調整処理＞次に、図１５を参照して、実施形態２のホワイトバランス調整処理（図７のステップＳ７０５）について説明する。

図１５は、実施形態２のホワイトバランス調整処理のフローチャートを示している。なお、図１５の処理は、ホワイトバランス調整部１３２によって実行される。

ステップＳ１５０１では、ホワイトバランス調整部１３２は、図７のステップＳ７０１〜ステップＳ７０２で検出した主被写体の被写体検出結果を取得する。

ステップＳ１５０２では、ホワイトバランス調整部１３２は、図１２のステップＳ１２１２で設定された第１領域をカメラＭＰＵ１２５から取得する。

ステップＳ１５０３では、ホワイトバランス調整部１３２は、ステップＳ１５０２で取得した第１領域内のホワイトバランスのパラメータを算出する。本実施形態では、第１領域内のホワイトバランスのパラメータを算出したが、これに限らず、第１領域と第２領域に重みをつけてホワイトバランスのパラメータを算出してもよい。

ステップＳ１５０４では、ホワイトバランス調整部１３２は、予め定められた適切なホワイトバランスのパラメータを取得する。

ステップＳ１５０５では、ホワイトバランス調整部１３２は、ステップＳ１５０３で算出したホワイトバランスのパラメータと、ステップＳ１５０４で取得したホワイトのパラメータの差に基づき、撮像信号に対するホワイトバランスを調整する。ステップＳ１５０５を終えると処理を終了する。

＜露光調節処理＞次に、図１６を参照して、実施形態２の露光調節処理（図７のＳ７０６）について説明する。

図１６は、実施形態２の露光調節処理のフローチャートを示している。なお、図１６の処理は、露光調節部１３１によって実行される。

ステップＳ１６０４では、露光調節部１３１は、図７のステップＳ７０１〜ステップＳ７０２で検出した主被写体の被写体検出結果を取得する。

ステップＳ１６０２では、露光調節部１３１は、図１２のステップＳ１２１２で設定した第１領域、第２領域をカメラＭＰＵ１２５から取得する。

ステップＳ１６０３では、露光調節部１３１は、ステップＳ１６０２で取得した第１領域、第２領域に重みづけを設定する。

ステップＳ１６０４では、露光調節部１３１は、ステップＳ１６０３で設定した第１領域、第２領域の重みづけに応じて、第１領域、第２領域の測光結果を重みづけして露光量を算出する。本実施形態では、第１領域、第２領域に重みづけして露光量を算出したが、これに限らず、第１領域のみから露光量を算出してもよい。

ステップＳ１６０５では、露光調節部１３１は、予め定められた適切な露光量を取得する。

ステップＳ１６０６では、露光調節部１３１は、ステップＳ１６０４で算出した露光量と、ステップＳ１６０５で取得した露光量の差を演算し、撮影時の露光条件を調整する。ステップＳ１６０６を終えると処理を終了する。

＜デフォーカス量算出処理＞次に、図１７を参照して、図１２のステップＳ１２０３におけるデフォーカス量算出処理について説明する。

図１７は、実施形態２のデフォーカス量算出処理のフローチャートを示している。なお、図１７の処理は、焦点調節部１２９によって実行される。

ステップＳ１７０１では、焦点調節部１２９は、取得ブロック１２９ａが、焦点検出信号、被写体検出結果を取得する。

ステップＳ１７０２では、焦点調節部１２９は、ステップＳ１７０１で取得した焦点検出信号に対してフィルタ処理を行う。

ステップＳ１７０３では、焦点調節部１２９は、算出ブロック１２９ｂが、ステップＳ１７０２でフィルタ処理を行った焦点検出信号に対して相関演算を行う。

ステップＳ１７０４では、焦点調節部１２９は、ステップＳ１７０１で取得した被写体検出結果が、被写体を検出した状態であるか、非検出の状態であるかを判定する。非検出の場合はステップ１４９０５へ進み、ステップＳ１７０５では、画像の全範囲を対象としたデフォーカス範囲を取得する。被写体を検出した状態の場合はステップＳ１７０６に進む。

ステップＳ１７０６では、焦点調節部１２９は、ＡＦモードがサーボＡＦであるか否かを判定する。サーボＡＦでない場合はステップＳ１７０７へ進み、ステップＳ１７０１で取得した被写体検出結果に応じたデフォーカス耐性に基づくデフォーカス範囲を取得する。サーボＡＦの場合はステップＳ１７０８へ進む。

ステップＳ１７０８では、焦点調節部１２９は、取得ブロック１２９ａが、被写体検出結果に応じた被写体奥行き倍率を取得する。

ステップＳ１７０９では、焦点調節部１２９は、取得ブロック１２９ａが、レンズユニット１００の光学情報を取得する。

ステップＳ１７１０では、焦点調節部１２９は、算出ブロック１２９ｂが、ステップＳ１７０１で取得した被写体検出結果の被写体サイズ、ステップＳ１７０８で取得した被写体奥行き倍率、ステップＳ１７０９で取得した光学情報の焦点距離と現在の被写体距離から、実空間上での被写体の想定奥行きサイズを式１により算出する。

ステップＳ１７１１では、焦点調節部１２９は、取得ブロック１２９ａが、ステップＳ１７１０で算出した実空間上での想定奥行きサイズから、像面上での被写体内深度差Δｄｅｆを式２により算出し、被写体内深度差Δｄｅｆをデフォーカス範囲として取得する。

ステップＳ１７１２では、焦点調節部１２９は、ステップＳ１７０３の相関演算で算出された相関値の中から、ステップＳ１７０５、ステップＳ１７０７、ステップＳ１７１１のいずれかで取得したデフォーカス範囲内で、信頼性最大極値を選択する。

図１８は、ステップＳ１７１２で選択される相関量の極値の説明図である。図１８の１８０１は相関演算で算出された相関値であり、図１８の１８０２は、ステップＳ１７０５、ステップＳ１７０７、ステップＳ１７１１のいずれかで取得したデフォーカス範囲、図１８の１８０３、１８０４は相関量の極小値である。実施形態２では、図１１の被写体１１０２が検出された場合の−Ｄｅｆ２≦ｄｅｆ≦Ｄｅｆ２の例を説明する。１つの測距点内に被写体と、被写体とは距離の異なる障害物などが混在している場合、図１８の１８０３、１８０４ように相関量の極小値が２つとなる場合がある。このような場合、どちらが被写体かを判別できない。そこで、実施形態２では、ステップＳ１７０５、ステップＳ１７０７、ステップＳ１７１１のいずれかで取得したデフォーカス範囲に限定して極小値を選択することで、明らかに被写体ではない極小値１８０４を選択から除外することが可能となる。

ステップＳ１７１３では、焦点調節部１２９は、ステップＳ１７１２で選択した極値のデフォーカス量を算出する。ステップＳ１７１３を終えると処理を終了する。

以上のように、実施形態２によれば、被写体検出性能のデフォーカス耐性から設定されるデフォーカス範囲内または被写体サイズから想定される被写体奥行き情報からデフォーカス範囲を取得し、デフォーカス範囲内の領域とそれ以外の領域の優先順位に基づいて処理（焦点調節、ホワイトバランス調整、露光調節）を行う被写体領域を選択する。これにより、検出領域内に検出対象以外の被写体が含まれる場合であっても、検出対象の被写体に対して適切な処理を行うことが可能となる。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０…撮像装置、１００…レンズユニット、１１７…レンズＭＰＵ、１２０…カメラ本体、１２５…カメラＭＰＵ、１２９…焦点調節部、１３０…被写体検出部、１３１…露光調節部、１３２…ホワイトバランス調整部

Claims (19)

1. 被写体像を撮像して画像信号を生成する撮像手段と、
   前記撮像手段により撮像された異なる視差の画像信号を用いて焦点検出を行う焦点調節手段と、
   前記画像信号を用いて被写体を検出する被写体検出手段と、
   前記被写体検出手段により検出された被写体の状態および／または焦点調節動作のモードに基づいて、前記焦点検出を含む処理を行う領域の位置及びサイズを設定する設定手段と、を有することを特徴とする撮像装置。
2. 前記設定手段は、前記被写体検出手段により検出された被写体の状態および／または前記焦点調節動作のモードに基づいて前記焦点検出を行う被写体の領域の倍率を取得し、前記被写体の位置およびサイズと、前記倍率とに基づいて前記焦点検出を含む処理を行う被写体の領域を設定することを特徴とする請求項１に記載の撮像装置。
3. 前記被写体の状態は被写体の動きを含み、
   前記焦点調節動作のモードは、静止している被写体にピントを固定するワンショットＡＦと、動いている被写体にピントを合わせ続けるサーボＡＦを含み、
   前記倍率は、前記被写体の種類、部位、状態、焦点調節動作のモードごとに設定されていることを特徴とする請求項２に記載の撮像装置。
4. 前記設定手段は、前記倍率に基づいて前記焦点検出を行う被写体の視野長を設定することを特徴とする請求項２または３に記載の撮像装置。
5. 前記設定手段は、被写体の移動量が所定より小さい場合には前記倍率を小さくして前記視野長が短くなるように設定し、被写体の移動量が所定より大きい場合には前記倍率を大きくして前記視野長が長くなるように設定することを特徴とする請求項４に記載の撮像装置。
6. 被写体像を撮像して画像信号を生成する撮像手段と、
   前記撮像手段により撮像された異なる視差の画像信号を用いて焦点検出を行う焦点調節手段と、
   前記画像信号を用いて被写体を検出する被写体検出手段と、
   前記被写体検出手段による被写体検出結果に基づいて前記焦点検出を行うデフォーカス範囲を取得する取得手段と、
   少なくとも前記デフォーカス範囲内の被写体の領域を前記焦点検出を含む処理を行う領域として設定する設定手段と、を有することを特徴とする撮像装置。
7. 前記取得手段は、前記焦点検出を行うデフォーカス範囲を、前記被写体検出手段による被写体検出が可能なデフォーカス範囲または前記被写体検出手段による被写体検出結果に応じた被写体の奥行き情報に基づいて取得することを特徴とする請求項６に記載の撮像装置。
8. 前記被写体検出結果は、被写体の状態、位置、サイズの少なくとも１つを含むことを特徴とする請求項６または７に記載の撮像装置。
9. 前記取得手段は、前記被写体検出手段により被写体が検出された場合に前記焦点検出を行うデフォーカス範囲を取得することを特徴とする請求項６から８のいずれか１項に記載の撮像装置。
10. 前記奥行き情報は、前記被写体像を結像する光学系の光学情報と被写体のサイズに基づいて算出されることを特徴とする請求項７に記載の撮像装置。
11. 前記焦点調節手段は、前記焦点検出を行うデフォーカス範囲におけるデフォーカス量を示す相関量の極値から信頼性が最大となる値を選択することを特徴とする請求項６から１０のいずれか１項に記載の撮像装置。
12. 前記設定手段は、前記焦点検出を行うデフォーカス範囲内の領域を第１領域に設定し、それ以外を第２領域に設定し、
    前記第１領域と前記第２領域の優先順位に基づいて前記焦点検出を含む処理を行う領域を選択することを特徴とする請求項６から１１のいずれか１項に記載の撮像装置。
13. 前記設定手段は、前記第１領域の優先順位を前記第２領域の優先順位よりも高く設定し、
    優先順位が高い順に前記被写体検出結果の信頼性が所定より高い領域を選択することを特徴とする請求項１２に記載の撮像装置。
14. 前記焦点検出を含む処理は、ホワイトバランス調整および露光調節を含むことを特徴とする請求項１から１３のいずれか１項に記載の撮像装置。
15. 前記焦点調節手段は、前記撮像手段における光学系の互いに異なる瞳領域を通過する光束を受光する第１光電変換部の信号および第２光電変換部の信号に基づいて前記焦点検出を行うことを特徴とする請求項１から１４のいずれか１項に記載の撮像装置。
16. 被写体像を撮像して画像信号を生成する撮像手段と、前記撮像手段により撮像された異なる視差の画像信号を用いて焦点検出を行う焦点調節手段と、を有する撮像装置の制御方法であって、
    前記画像信号を用いて被写体を検出するステップと、
    検出された被写体の状態および／または焦点調節動作のモードに基づいて、前記焦点検出を含む処理を行う領域の位置及びサイズを設定するステップと、を有することを特徴とする制御方法。
17. 被写体像を撮像して画像信号を生成する撮像手段と、前記撮像手段により撮像された異なる視差の画像信号を用いて焦点検出を行う焦点調節手段と、を有する撮像装置の制御方法であって、
    前記画像信号を用いて被写体を検出するステップと、
    被写体検出結果に基づいて前記焦点検出を行うデフォーカス範囲を取得するステップと、
    少なくとも前記デフォーカス範囲内の被写体の領域を前記焦点検出を含む処理を行う領域として設定するステップと、を有することを特徴とする制御方法。
18. コンピュータを、請求項１から１５のいずれか１項に記載された撮像装置として機能させるためのプログラム。
19. コンピュータを、請求項１から１５のいずれか１項に記載された撮像装置として機能させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。

Images