JP2022171437A - 被写体追跡装置、撮像装置、被写体追跡方法、及びプログラム - Google Patents

Abstract

【課題】撮影画像間で被写体を高精度に追跡する技術を提供する。【解決手段】第１撮影画像の複数の測距点に対応する複数のデフォーカス量の第１ヒストグラムと、追跡対象の被写体の第１撮影画像におけるデフォーカス量が属する第１ヒストグラムの第１被写体クラスと、第１撮影画像よりも後に撮影された第２撮影画像の第２ヒストグラムと、を取得する取得手段と、第１ヒストグラムにおける第１被写体クラスの第１タイプの特徴量と、第２ヒストグラムにおける第１の複数のクラスの複数の第１タイプの特徴量と、を算出する算出手段と、第２ヒストグラムの第１の複数のクラスのうちから、第１被写体クラスの第１タイプの特徴量に基づいて特定の第１クラスを検出する検出手段と、特定の第１クラスに基づいて、追跡対象の被写体の第２撮影画像におけるデフォーカス量が属する第２ヒストグラムの第２被写体クラスを特定する特定手段と、を備える被写体追跡装置。【選択図】図８Ｂ

Description

本発明は、被写体追跡装置、撮像装置、被写体追跡方法、及びプログラムに関する。

特許文献１は、被写体距離（デフォーカス量）の頻度分布（ヒストグラム）を求め、出現頻度のピークに基づいて複数の被写体距離を選択し、各被写体距離に合焦させた複数の撮像画像を取得する技術を開示している。

特開２０１４－２３２１８１号公報

サーボＡＦによる連写撮影を行う場合、ユーザは一般的に、特定の１つの被写体に合焦した、時間方向に連続した複数の撮影画像を取得することを望む。しかしながら、特許文献１に記載された技術では、特定の１つの被写体に合焦した、時間方向に連続した撮影画像を取得することができない。

本発明はこのような状況に鑑みてなされたものであり、撮影画像間（フレーム間）で被写体を高精度で追跡することを可能にする技術を提供することを目的とする。

上記課題を解決するために、本発明は、第１の撮影画像の複数の測距点に対応する複数のデフォーカス量の第１のヒストグラムと、追跡対象の被写体の前記第１の撮影画像におけるデフォーカス量が属する前記第１のヒストグラムのクラスである第１の被写体クラスと、前記第１の撮影画像よりも後に撮影された第２の撮影画像の複数の測距点に対応する複数のデフォーカス量の第２のヒストグラムと、を取得する取得手段と、前記第１のヒストグラムにおける前記第１の被写体クラスの第１タイプの特徴量と、前記第２のヒストグラムにおける前記第２のヒストグラムの第１の複数のクラスの複数の前記第１タイプの特徴量と、を算出する算出手段と、前記第２のヒストグラムの前記第１の複数のクラスのうちから、前記第１の被写体クラスの前記第１タイプの前記特徴量に基づいて特定の第１のクラスを検出する検出手段と、前記特定の第１のクラスに基づいて、前記追跡対象の被写体の前記第２の撮影画像におけるデフォーカス量が属する前記第２のヒストグラムのクラスである第２の被写体クラスを特定する特定手段と、を備えることを特徴とする被写体追跡装置を提供する。

本発明によれば、撮影画像間（フレーム間）で被写体を高精度で追跡することが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

撮像制御装置を備える撮像装置１０の構成を示すブロック図。 撮像素子１２２の撮像画素（及び焦点検出画素）の配列の概略図。 （ａ）図２に示した撮像素子１２２の１つの画素２００Ｇを、撮像素子１２２の受光面側（＋ｚ側）から見た平面図、（ｂ）図３（ａ）のａ－ａ断面を－ｙ側から見た断面図。 図３に示した本実施形態の画素構造と瞳分割との対応関係を示した概略説明図。 撮像素子１２２と瞳分割との対応関係を示した概略図。 第１焦点検出信号と第２焦点検出信号に基づくデフォーカス量と第１焦点検出信号と第２焦点検出信号との間の像ずれ量との概略関係図。 ＡＦ動作のフローチャート。 ＡＦ動作のフローチャート。 フレーム１～フレーム４における、被写体及びヒストグラムの概念図。 フレーム１～フレーム４における、前後関係の特徴量のマッチング、及び形状の特徴量のマッチングの概念図。 （ａ）各フレームのヒストグラム全体に関する形状の評価値を示す図、（ｂ）各フレームの形状変化の評価値を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
（撮像装置１０の構成）
図１は、被写体追跡装置を備える撮像装置１０の構成を示すブロック図である。図１の例においては、撮像装置１０は、レンズ交換可能な一眼レフタイプのデジタルカメラである。撮像装置１０は、レンズユニット１００（交換レンズ）とカメラ本体１２０とを有するカメラシステムの形態を持つ。レンズユニット１００は、図１において点線で示されるマウントＭを介して、カメラ本体１２０と着脱可能に取り付けられる。但し、本実施形態は、図１に示す構成に限定されるものではなく、レンズユニット（撮像光学系）とカメラ本体とが一体的に構成された撮像装置（デジタルカメラ）にも適用可能である。また、本実施形態は、デジタルカメラに限定されるものではなく、ビデオカメラなど他の撮像装置にも適用可能である。

レンズユニット１００は、光学系としての第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」という）１０４、及び、駆動／制御系とを有する。このようにレンズユニット１００は、フォーカスレンズ１０４を含み、被写体像を形成する撮影レンズ（撮像光学系）である。

第１レンズ群１０１は、レンズユニット１００の先端に配置され、光軸方向ＯＡに進退可能に保持される。絞り１０２は、その開口径を調節することで撮影時の光量調節を行い、また静止画撮影時においては露光秒時調節用シャッタとして機能する。絞り１０２及び第２レンズ群１０３は、一体的に光軸方向ＯＡに移動可能であり、第１レンズ群１０１の進退動作との連動によりズーム機能を実現する。フォーカスレンズ１０４は、光軸方向ＯＡに移動可能であり、その位置に応じてレンズユニット１００が合焦する被写体距離（合焦距離）が変化する。フォーカスレンズ１０４の光軸方向ＯＡにおける位置を制御することにより、レンズユニット１００の合焦距離を調節する焦点調節（フォーカス制御）が可能である。

駆動／制御系は、ズームアクチュエータ１１１、絞りアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動回路１１４、絞り駆動回路１１５、フォーカス駆動回路１１６、レンズＭＰＵ１１７、及び、レンズメモリ１１８を有する。ズーム駆動回路１１４は、ズームアクチュエータ１１１を用いて第１レンズ群１０１や第２レンズ群１０３を光軸方向ＯＡに駆動し、レンズユニット１００の光学系の画角を制御する（ズーム操作を行う）。絞り駆動回路１１５は、絞りアクチュエータ１１２を用いて絞り１０２を駆動し、絞り１０２の開口径や開閉動作を制御する。フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４を光軸方向ＯＡに駆動し、レンズユニット１００の光学系の合焦距離を制御する（フォーカス制御を行う）。また、フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４の現在位置（レンズ位置）を検出する位置検出部としての機能を有する。

レンズＭＰＵ１１７（プロセッサ）は、レンズユニット１００に係る全ての演算、制御を行い、ズーム駆動回路１１４、絞り駆動回路１１５、及び、フォーカス駆動回路１１６を制御する。また、レンズＭＰＵ１１７は、マウントＭを通じてカメラＭＰＵ１２５と接続され、コマンドやデータを通信する。例えば、レンズＭＰＵ１１７はフォーカスレンズ１０４の位置を検出し、カメラＭＰＵ１２５からの要求に対してレンズ位置情報を通知する。このレンズ位置情報は、フォーカスレンズ１０４の光軸方向ＯＡにおける位置、光学系が移動していない状態の射出瞳の光軸方向ＯＡにおける位置及び直径、及び、射出瞳の光束を制限するレンズ枠の光軸方向ＯＡにおける位置及び直径などの情報を含む。またレンズＭＰＵ１１７は、カメラＭＰＵ１２５からの要求に応じて、ズーム駆動回路１１４、絞り駆動回路１１５、及び、フォーカス駆動回路１１６を制御する。レンズメモリ１１８は、自動焦点調節（ＡＦ制御）に必要な光学情報を記憶している。カメラＭＰＵ１２５は、例えば内蔵の不揮発性メモリやレンズメモリ１１８に記憶されているプログラムを実行することにより、レンズユニット１００の動作を制御する。

カメラ本体１２０は、光学的ローパスフィルタ１２１、撮像素子１２２、及び、駆動／制御系を有する。光学的ローパスフィルタ１２１及び撮像素子１２２は、レンズユニット１００を介して形成された被写体像（光学像）を光電変換し、画像データを出力する撮像部として機能する。本実施形態において、撮像素子１２２は、撮影光学系を介して形成された被写体像を光電変換し、画像データとして、撮像信号及び焦点検出信号をそれぞれ出力する。また本実施形態において、第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ１０４、及び、光学的ローパスフィルタ１２１は、撮像光学系を構成する。

光学的ローパスフィルタ１２１は、撮影画像の偽色やモアレを軽減する。撮像素子１２２は、ＣＭＯＳイメージセンサ及びその周辺回路で構成され、横方向ｍ画素、縦方向ｎ画素（ｍ、ｎは２以上の整数）が配置されている。本実施形態の撮像素子１２２は焦点検出素子の役割も果たし、瞳分割機能を有し、画像データ（画像信号）を用いた位相差検出方式の焦点検出（位相差ＡＦ）が可能な瞳分割画素を有する。画像処理回路１２４は、撮像素子１２２から出力される画像データに基づいて、位相差ＡＦ用のデータと、表示、記録、及び、被写体検出用の画像データとを生成する。

駆動／制御系は、撮像素子駆動回路１２３、画像処理回路１２４、カメラＭＰＵ１２５、表示器１２６、操作スイッチ群（操作ＳＷ）１２７、メモリ１２８、位相差ＡＦ部１２９（撮像面位相差焦点検出部、制御部）、ＡＥ部１３０（制御部）、ホワイトバランス調整部１３１（制御部）、及び被写体検出部１３２（検出部）を有する。撮像素子駆動回路１２３は、撮像素子１２２の動作を制御するとともに、撮像素子１２２から出力された画像信号（画像データ）をＡ／Ｄ変換し、カメラＭＰＵ１２５に送信する。画像処理回路１２４は、撮像素子１２２から出力された画像信号に対して、γ変換、色補間処理、圧縮符号化処理など、デジタルカメラで行われる一般的な画像処理を行う。また画像処理回路１２４は、位相差ＡＦ用の信号、ＡＥ用の信号、ホワイトバランス調整用の信号、及び、被写体検出用の信号を生成する。本実施形態では、位相差ＡＦ用の信号、ＡＥ用の信号、ホワイトバランス調整用の信号、及び、被写体検出用の信号をそれぞれ生成しているが、例えばＡＥ用の信号、ホワイトバランス調整用の信号、被写体検出用の信号を共通の信号として生成してもよい。また、共通とする信号の組み合わせはこの限りではない。

カメラＭＰＵ１２５（プロセッサ、制御装置）は、カメラ本体１２０に係る全ての演算及び制御を行う。即ちカメラＭＰＵ１２５は、撮像素子駆動回路１２３、画像処理回路１２４、表示器１２６、操作スイッチ群１２７、メモリ１２８、位相差ＡＦ部１２９、ＡＥ部１３０、ホワイトバランス調整部１３１、及び、被写体検出部１３２を制御する。カメラＭＰＵ１２５は、マウントＭの信号線を介してレンズＭＰＵ１１７と接続され、レンズＭＰＵ１１７とコマンドやデータを通信する。カメラＭＰＵ１２５は、レンズＭＰＵ１１７に対して、レンズ位置の取得や所定の駆動量でのレンズ駆動要求を発行し、また、レンズＭＰＵ１１７からレンズユニット１００に固有の光学情報の取得要求などを発行する。

カメラＭＰＵ１２５には、カメラ本体１２０の動作を制御するプログラムを格納したＲＯＭ１２５ａ、変数を記憶するＲＡＭ１２５ｂ（カメラメモリ）、及び、各種のパラメータを記憶するＥＥＰＲＯＭ１２５ｃが内蔵されている。またカメラＭＰＵ１２５は、ＲＯＭ１２５ａに格納されているプログラムに基づいて、焦点検出処理を実行する。焦点検出処理においては、撮像光学系の互いに異なる瞳領域（瞳部分領域）を通過した光束により形成される光学像を光電変換した対の像信号を用いて、公知の相関演算処理が実行される。

表示器１２６はＬＣＤなどから構成され、撮像装置１０の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群１２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチなどで構成される。メモリ１２８（記録部）は、着脱可能なフラッシュメモリであり、撮影済み画像を記録する。

位相差ＡＦ部１２９は、撮像素子１２２及び画像処理回路１２４から得られる焦点検出用画像データの像信号（位相差ＡＦ用の信号）に基づいて、位相差検出方式による焦点検出処理を行う。より具体的には、画像処理回路１２４は、撮像光学系の一対の瞳領域を通過する光束で形成される一対の像データを焦点検出用データとして生成し、位相差ＡＦ部１２９は、一対の像データのずれ量に基づいて焦点ずれ量を検出する。このように、本実施形態の位相差ＡＦ部１２９は、専用のＡＦセンサを用いず、撮像素子１２２の出力に基づく位相差ＡＦ（撮像面位相差ＡＦ）を行う。本実施形態において、位相差ＡＦ部１２９は、取得部１２９ａ及び算出部１２９ｂを有する。これらの各部の動作については後述する。

なお、位相差ＡＦ部１２９の少なくとも一部（取得部１２９ａ又は算出部１２９ｂの一部）を、カメラＭＰＵ１２５に設けてもよい。位相差ＡＦ部１２９の動作の詳細については後述する。位相差ＡＦ部１２９は、焦点検出結果を用いてフォーカスレンズ１０４の位置を制御するフォーカス制御部として機能する。

ＡＥ部１３０は、撮像素子１２２及び画像処理回路１２４から得られるＡＥ用の信号に基づいて測光を行うことで、撮影条件を適切にする露光調整処理を行う。具体的には、ＡＥ用の信号に基づいて測光を行い、設定中の絞り値、シャッタスピード、ＩＳＯ感度での露光量を算出する。算出した露光量と、予め定められた適正露光量との差から、撮影時に設定する適切な絞り値、シャッタスピード、ＩＳＯ感度を演算し撮影条件として設定することで露光調整処理を行う。ＡＥ部１３０は、測光結果を用いて撮影時の露光条件を算出し、絞り１０２の絞り値、シャッタスピード、ＩＳＯ感度を制御する露光調整部として機能する。

ホワイトバランス調整部１３１は、撮像素子１２２及び画像処理回路１２４から得られるホワイトバランス調整用の信号に基づいてホワイトバランス調整処理を行う。具体的には、ホワイトバランス調整用の信号のホワイトバランスを算出し、予め定められた適切なホワイトバランスとの差に基づいて、色の重みを調整することで、ホワイトバランス調整処理を行う。

被写体検出部１３２は、画像処理回路１２４により生成される被写体検出用の信号に基づいて、被写体検出処理を行う。被写体検出処理により、被写体の種類や状態（検出属性）、被写体の位置と大きさ（検出領域）が検出される。なお、被写体検出部１３２の動作の詳細については後述する。

このように、本実施形態の撮像装置１０は、位相差ＡＦ、測光（露光調整）、ホワイトバランス調整と、被写体検出を組み合わせて実行可能であり、被写体検出の結果に応じて、位相差ＡＦ、測光、ホワイトバランス調整を行う位置（像高範囲）を選択することができる。

（撮像素子１２２の構成）
図２は、撮像素子１２２の撮像画素（及び焦点検出画素）の配列の概略図である。図２は、本実施形態の２次元ＣＭＯＳセンサー（撮像素子１２２）の画素（撮像画素）配列を４列×４行の範囲で、焦点検出画素配列を８列×４行の範囲で示したものである。第１の実施形態において、図２に示した２列×２行の画素群２００は、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。更に、各画素は２列×１行に配列された第１焦点検出画素２０１と第２焦点検出画素２０２により構成されている。

図２に示した４列×４行の画素（８列×４行の焦点検出画素）を面上に多数配置し、撮像画像（焦点検出信号）の取得を可能としている。本実施形態では、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、焦点検出画素の列方向周期ＰＡＦが２μｍ、焦点検出画素数ＮＡＦが横１１１５０列×縦３７２５行＝約４１５０万画素であるものとする。

図３（ａ）は、図２に示した撮像素子１２２の１つの画素２００Ｇを、撮像素子１２２の受光面側（＋ｚ側）から見た平面図であり、図３（ｂ）は、図３（ａ）のａ－ａ断面を－ｙ側から見た断面図である。

図３に示すように、本実施形態の画素２００Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部３０１と光電変換部３０２が形成される。光電変換部３０１と光電変換部３０２が、それぞれ、第１焦点検出画素２０１と第２焦点検出画素２０２に対応する。

光電変換部３０１と光電変換部３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードであってもよいし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードであってもよい。各画素には、マイクロレンズ３０５と、光電変換部３０１及び光電変換部３０２との間に、カラーフィルター３０６が形成される。また、必要に応じて、副画素毎にカラーフィルター３０６の分光透過率を変えてもよいし、カラーフィルター３０６を省略してもよい。

図３に示した画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルター３０６で分光されたのち、光電変換部３０１と光電変換部３０２で受光される。光電変換部３０１と光電変換部３０２では、受光量に応じて電子とホールが対生成され、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子１２２の外部へ排出される。光電変換部３０１と光電変換部３０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。

図４は、図３に示した本実施形態の画素構造と瞳分割との対応関係を示した概略説明図である。図４には、図３（ａ）に示した本実施形態の画素構造のａ－ａ断面を＋ｙ側から見た断面図と撮像素子１２２の瞳面（瞳距離Ｄｓ）とが示されている。図４では、撮像素子１２２の瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３に対して反転させている。

図４において、第１焦点検出画素２０１の第１瞳部分領域５０１は、重心が－ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズによって、概ね、共役関係になっており、第１焦点検出画素２０１で受光可能な瞳領域を表している。第１焦点検出画素２０１の第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心している。図４で、第２焦点検出画素２０２の第２瞳部分領域５０２は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズによって、概ね、共役関係になっており、第２焦点検出画素２０２で受光可能な瞳領域を表している。第２焦点検出画素２０２の第２瞳部分領域５０２は、瞳面上で－Ｘ側に重心が偏心している。また、図４で、瞳領域５００は、光電変換部３０１と光電変換部３０２（第１焦点検出画素２０１と第２焦点検出画素２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。

撮像面位相差ＡＦでは、撮像素子のマイクロレンズを利用して瞳分割するため回折の影響を受ける。図４で、撮像素子の瞳面までの瞳距離が数１０ｍｍであるのに対し、マイクロレンズの直径は数μｍである。そのため、マイクロレンズの絞り値が数万となり、数１０ｍｍレベルの回折ボケが生じる。よって、光電変換部の受光面の像は、明瞭な瞳領域や瞳部分領域とはならずに、受光感度特性（受光率の入射角分布）となる。

図５は、撮像素子１２２と瞳分割との対応関係を示した概略図である。撮像面６００に撮像素子１２２が配置される。第１瞳部分領域５０１と第２瞳部分領域５０２の異なる瞳部分領域を通過した光束は、撮像素子１２２の各画素に、それぞれ、異なる角度で入射し、２×１分割された第１焦点検出画素２０１と第２焦点検出画素２０２で受光される。本実施形態は、瞳領域が水平方向に２つに瞳分割されている例である。必要に応じて、垂直方向に瞳分割を行ってもよい。

本実施形態の撮像素子１２２では、第１焦点検出画素２０１と、第２焦点検出画素２０２とを有する撮像画素が複数配列されている。第１焦点検出画素２０１は、撮影光学系の第１瞳部分領域５０１を通過する光束を受光する。また、第２焦点検出画素２０２は、第１瞳部分領域５０１と異なる撮影光学系の第２瞳部分領域５０２を通過する光束を受光する。また、撮像画素は、撮影光学系の第１瞳部分領域５０１と第２瞳部分領域５０２を合わせた瞳領域を通過する光束を受光する。

本実施形態の撮像素子１２２では、それぞれの撮像画素が第１焦点検出画素２０１と第２焦点検出画素２０２から構成されている。必要に応じて、撮像画素と第１焦点検出画素２０１、第２焦点検出画素２０２を個別の画素構成とし、撮像画素配列の一部に、第１焦点検出画素２０１と第２焦点検出画素２０２を部分的に配置する構成としてもよい。

本実施形態では、撮像素子１２２の各画素の第１焦点検出画素２０１の受光信号を集めて第１焦点信号を生成し、各画素の第２焦点検出画素２０２の受光信号を集めて第２焦点信号を生成して焦点検出を行う。また、撮像素子１２２の画素毎に、第１焦点検出画素２０１と第２焦点検出画素２０２の信号を加算することで、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。各信号の生成方法は、前述の方法に限らず、例えば、第２焦点検出信号は、撮像信号と第１焦点信号の差分から生成してもよい。

（デフォーカス量と像ずれ量の関係）
以下、本実施形態の撮像素子１２２により取得される第１焦点検出信号と第２焦点検出信号に基づくデフォーカス量と像ずれ量の関係について説明する。

図６は、第１焦点検出信号と第２焦点検出信号に基づくデフォーカス量と第１焦点検出信号と第２焦点検出信号との間の像ずれ量との概略関係図である。撮像面６００に撮像素子１２２が配置される。図４及び図５と同様に、撮像素子１２２の瞳面が、第１瞳部分領域５０１と第２瞳部分領域５０２とに２分割される。

デフォーカス量ｄは、被写体の結像位置から撮像面までの距離を大きさ｜ｄ｜とし、被写体の結像位置が撮像面より被写体側にある前ピン状態を負符号（ｄ＜０）として定義される。また、被写体の結像位置が撮像面より被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面（合焦位置）にある合焦状態において、ｄ＝０である。図６において、被写体６０１は合焦状態（ｄ＝０）の例を示しており、被写体６０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。

前ピン状態（ｄ＜０）では、被写体６０２からの光束のうち、第１瞳部分領域５０１（第２瞳部分領域５０２）を通過した光束は、一度、集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面６００でボケた像となる。ボケた像は、撮像素子１２２に配列された各画素を構成する第１焦点検出画素２０１（第２焦点検出画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。よって、第１焦点検出信号（第２焦点検出信号）は、撮像面６００上の重心位置Ｇ１（Ｇ２）に、被写体６０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、第１焦点検出信号と第２焦点検出信号との間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１－Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号との間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。

第１焦点検出信号と第２焦点検出信号、又は、第１焦点検出信号と第２焦点検出信号とを加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号との間の像ずれ量の大きさが増加する。従って、本実施形態で位相差ＡＦ部１２９は、撮像信号のデフォーカス量の大きさが増加するのに伴って第１焦点検出信号と第２焦点検出信号との間の像ずれ量の大きさが増加する関係性を利用し、基線長に基づいて算出された変換係数により、像ずれ量を検出デフォーカス量に変換する。

（ＡＦ動作の流れ）
図７Ａ及び図７Ｂは、ＡＦ動作のフローチャートである。このＡＦ動作は、カメラＭＰＵ１２５によってフレーム毎に実行される。このＡＦ動作のために、カメラＭＰＵ１２５は、必要に応じてレンズＭＰＵ１１７と協働する。

図８Ａ及び図８Ｂは、フレーム１～フレーム４における、被写体、ヒストグラム、前後関係の特徴量のマッチング、及び形状の特徴量のマッチングの概念図である。フレーム１からフレーム４にかけて、被写体８０１（追跡対象（追尾対象）の被写体）は至近側（前側）へ移動し、被写体８０２は停止しているものとする。フレーム１において、撮像装置１０は、表示ＡＦ枠８００に基づいて被写体８０１に対する合焦動作を行う。フレーム２以降では、撮像装置１０は、ヒストグラムを利用して被写体８０１の位置を追跡し、被写体８０１に対する合焦動作を行う。但し、後述する通り、フレーム４については、現フレーム（フレーム４）と前（フレーム）との間のヒストグラムの変化が大きいため、ヒストグラムを利用する被写体追跡は行われない。

図７Ａ及び図７Ｂのフローチャートに従って、フレーム１からフレーム４までの各フレームにおける処理を説明する。

（１）フレーム１
Ｓ７０１において、カメラＭＰＵ１２５は、画角全体をデフォーカス量算出領域として設定する。なお、デフォーカス量算出領域は、画角全体でなくてもよい。例えば、カメラＭＰＵ１２５は、表示ＡＦ枠８００のサイズ、又は検出された被写体領域などを基準に、画角の一部をデフォーカス量算出領域として設定してもよい。

Ｓ７０２では、カメラＭＰＵ１２５は、Ｓ７０１で設定したデフォーカス量算出領域の複数の測距点それぞれについて、デフォーカス量を算出する。

Ｓ７０３では、カメラＭＰＵ１２５は、Ｓ７０２で算出した各測距点のデフォーカス量に基づいて、ヒストグラムを算出する。図８Ａのヒストグラムにおいて、横軸はデフォーカス量を示す。横軸の左側が無限遠であり、横軸の右側が至近である。縦軸は各クラスに属するデフォーカス量の頻度を示す。なお、ヒストグラムのビン間隔（各クラスの幅）及び範囲については、カメラＭＰＵ１２５は、被写体距離（被写体の奥行き方向の距離）、被写体の大きさ、及び、撮影時の絞り値のうちの少なくとも１つに基づいて設定する。撮影時の絞り値は、値の換算により像面上での被写体奥行きサイズを算出するために使用可能である。絞り値に基づく被写体奥行きサイズに応じてビン間隔の設定を行うことにより、被写体をヒストグラム上で表現する際の解像度を条件に拠らずに適切な設定を行うことができる。なお、ヒストグラムのビン間隔及び範囲の設定方法はこれに限定されず、例えば、カメラＭＰＵ１２５は、予め決められたビン間隔及び範囲を用いてヒストグラムを算出してもよい。

Ｓ７０４では、カメラＭＰＵ１２５は、処理対象のフレームが１フレーム目かどうかの判定を行う。フレーム１は、１フレーム目に該当するので、カメラＭＰＵ１２５は処理ステップをＳ７１５に進める。

Ｓ７１６では、カメラＭＰＵ１２５は、通常の測距点選択を行う。ここでの通常の測距点選択とは、表示ＡＦ枠８００の中心の測距点を選択することであるものとするが、その限りではない。例えば、カメラＭＰＵ１２５は、表示ＡＦ枠８００内の最至近のデフォーカス量を示す測距点、画角中央近傍領域内で最至近の測距点、又は前回選択された測距点に近い測距点などを選択してもよい。

Ｓ７１７では、カメラＭＰＵ１２５は、Ｓ７１６で選択した測距点が属するヒストグラムのクラスを、フレーム１の被写体クラスとして特定する。ここでは、フレーム１のヒストグラムのクラス８４１が、フレーム１の被写体クラスとして特定されたものとする。

Ｓ７１８では、カメラＭＰＵ１２５は、Ｓ７１６で選択した測距点のデフォーカス量に基づいてフォーカスレンズ１０４を駆動させる（フォーカスレンズ１０４の駆動制御を行う）。

以上の処理により、フレーム１のＡＦ動作が終了する。

（２）フレーム２
次に、フレーム２について説明する。Ｓ７０１～Ｓ７０３の処理は、フレーム１と同様なため説明を割愛する。Ｓ７０４では、フレーム２は１フレーム目ではないため、カメラＭＰＵ１２５は処理ステップをＳ７０５へ進める。

Ｓ７０５では、カメラＭＰＵ１２５は、前フレームであるフレーム１のヒストグラムと、現フレームであるフレーム２のヒストグラムとを取得する。各ヒストグラムにおいて、左側の山が被写体８０１に対応し、右側の山が被写体８０２に対応している。フレーム２では、フレーム１よりも被写体８０１が至近側に近づき、画角内のサイズも大きくなっているため、被写体８０１に対応する左側の山が至近側（右側）に移動し、大きくなっている。フレーム１のヒストグラムのクラス８４１は、フレーム１で特定した被写体クラスである。

Ｓ７０６では、カメラＭＰＵ１２５は、前フレームと現フレームとの間のヒストグラムの変化（形状変化）が大きいかどうかの判定を行う。ヒストグラムの変化が大きい場合には、ヒストグラムのマッチング処理（比較処理）により被写体クラスを特定することができないため、カメラＭＰＵ１２５は、本ステップにて、マッチング処理を行うかどうかの判定をする。

図９は、各フレームのヒストグラム全体に関する形状の評価値と、各フレームの形状変化の評価値とを示す。図９（ａ）は、各フレームのヒストグラム全体に関する形状の評価値を示しており、形状の評価値は、各フレームのヒストグラムの隣接ビンの差分の２乗和である。但し、形状の評価値は、隣接ビンの差分の２乗和に限定されず、例えば、隣接ビンの差分の絶対値和などでもよい。図９（ｂ）は、各フレームの形状変化の評価値を示しており、形状変化の評価値は、現フレームと前フレームとの間の形状の評価値の差分絶対値である。

図９（ｂ）に示す閾値９０１（第２の閾値）は、形状変化が大きいかどうかを判定するための閾値である。形状変化の評価値が閾値９０１より大きい場合には、カメラＭＰＵ１２５は、形状変化が大きいと判定して、マッチング処理を行わない。フレーム２の形状変化の評価値は、図９（ｂ）の一番左に対応し、閾値９０１よりも小さい。従って、カメラＭＰＵ１２５は、形状変化は大きくないと判定し、マッチング処理を行うための処理ステップをＳ７０７へ進める。

Ｓ７０７では、カメラＭＰＵ１２５は、前フレームであるフレーム１の被写体クラスの特徴量を算出する。ここでは、２種類の特徴量（前後関係の特徴量、及び形状の特徴量）が算出される。

フレーム１の被写体クラス（クラス８４１）の前後関係の特徴量（第２タイプの特徴量）は、ヒストグラムにおいてクラス８４１よりも至近側の範囲の各クラスの頻度の和であり、図８Ｂの前後関係特徴量８２１である。但し、前後関係の特徴量の構成はこれに限定されず、例えば、前後関係の特徴量は、ヒストグラムにおいてクラス８４１よりも無限遠側の範囲の各クラスの頻度の和であってもよい。ヒストグラム全領域の総和は、測距点数となるため、至近側か無限遠側の片方について頻度の和を算出することにより、被写体とそれ以外の障害物等との間の前後関係を把握することができる。

フレーム１の被写体クラス（クラス８４１）の形状の特徴量（第１タイプの特徴量）は、ヒストグラムのクラス８４１±ｘ１の範囲の各クラスの頻度の和である。±ｘ１は、被写体の奥行きサイズに関連する値であり、クラス８４１±ｘ１の範囲の頻度の和によって、被写体の奥行き分布がわかる。カメラＭＰＵ１２５は、例えば、被写体距離（被写体の奥行き方向の距離）、被写体の大きさ、及び、撮影時の絞り値のうちの少なくとも１つに基づいてｘ１の値を決定する。撮影時の絞り値は、値の換算により像面上での被写体奥行きサイズを算出するために使用可能である。被写体距離及び被写体の大きさも、被写体の奥行きサイズに関連する。なお、形状の特徴量の構成はこれに限定されず、例えば、形状の特徴量は、被写体クラス（クラス８４１）の頻度とクラス８４１±ｘ１の範囲の各クラスとの差分絶対値和などであってもよい。

Ｓ７０８では、カメラＭＰＵ１２５は、現フレームであるフレーム２の各クラスの特徴量を算出する。ここでは、Ｓ７０７と同様に、２種類の特徴量（前後関係の特徴量、及び形状の特徴量）が算出される。但し、Ｓ７０７では、被写体クラスに対してのみ特徴量が算出されたが、Ｓ７０８では、各クラスに対して特徴量が算出される。

Ｓ７０９では、カメラＭＰＵ１２５は、Ｓ７０７及びＳ７０８で算出した前フレーム（フレーム１）及び現フレーム（フレーム２）の前後関係の特徴量についてマッチング処理を行う。図８Ｂにおいて、前後関係特徴量８２１は、フレーム１の被写体クラスに対する前後関係の特徴量を示し、前後関係特徴量８１２は、フレーム２の各クラスにおける前後関係の特徴量を示す。本ステップでは、カメラＭＰＵ１２５は、フレーム２の前後関係特徴量８１２において、フレーム１の前後関係特徴量８２１とマッチングする（値が最も近くなる）クラス（図８Ｂの例ではクラス８３２）を特定する。このステップでは、特定の被写体の前後に存在する被写体は、フレーム間で大きく変化しないことを利用して、特定の被写体の移動先を特定している。

Ｓ７１０では、カメラＭＰＵ１２５は、Ｓ７０７及びＳ７０８で算出した前フレーム（フレーム１）及び現フレーム（フレーム２）の形状の特徴量についてマッチング処理を行う。図８Ｂにおいて、相関値８６２は、フレーム１の被写体クラスの形状の特徴量と、フレーム２の各クラスの形状の特徴量との差分絶対値を示し、値が小さいほど、マッチング度合いが高い。

Ｓ７１１では、カメラＭＰＵ１２５は、現フレーム（フレーム２）の被写体クラス候補を選択する。具体的には、カメラＭＰＵ１２５は、Ｓ７０９で特定したクラス８３２の近傍であるクラス８３２±ｘ２の範囲内（第１の複数のクラス）から、相関値８６２に基づいて被写体クラス候補を選択する。被写体クラス候補の選択範囲をクラス８３２±ｘ２の範囲内に制限することにより、離れた位置の似た形状を除外することができる。ｘ２の値は、例えば予め定められており、ＲＯＭ１２５ａに格納されている。特定の値をｘ２として用いることができる。次に、カメラＭＰＵ１２５は、選択範囲内に似た形状が複数存在する場合を考慮して、相関値８６２の最小値のｘ３倍の値として相関閾値８５２（第１の閾値）を算出する。ｘ３の値は、例えば予め定められており、ＲＯＭ１２５ａに格納されている。そして、カメラＭＰＵ１２５は、相関値８６２の選択範囲内において相関閾値８５２よりも小さい相関値を示すクラスを、被写体クラス候補として選択する。フレーム２では、相関値８６２の選択範囲内において相関閾値８５２より小さい相関値を示すクラスはクラス８４２のみなので、カメラＭＰＵ１２５は、クラス８４２を被写体クラス候補として選択する。

なお、被写体クラスの特定精度の向上よりも処理負荷の低減を優先する場合、カメラＭＰＵ１２５は、前後関係の特徴量のマッチング処理に基づいて被写体クラス候補の選択範囲を制限する処理を省略してもよい。この場合、カメラＭＰＵ１２５は、ヒストグラムの全範囲（選択範囲の制限が行われない場合の第１の複数のクラス）から、相関値８６２及び相関閾値８５２に基づいて被写体クラス候補を選択する。

また、カメラＭＰＵ１２５は、相関閾値８５２に基づいて被写体クラス候補を選択する処理を省略してもよい。この場合、カメラＭＰＵ１２５は、選択範囲（又は全範囲）において相関値８６２の最小値に対応するクラス（即ち、前フレームの被写体クラスの形状の特徴量に最も近い形状の特徴量を持つクラス）を検出し、検出したクラスを現フレームの被写体クラスとして特定してもよい。

また、カメラＭＰＵ１２５は、前後関係の特徴量の用途と、形状の特徴量の用途とを、反対に入れ替えてもよい。即ち、カメラＭＰＵ１２５は、形状の特徴量のマッチングに基づいて選択範囲を制限し、選択範囲における前後関係の特徴量のマッチングに基づいて被写体クラス候補を選択してもよい。

また、カメラＭＰＵ１２５は、形状の特徴量を用いずに、前後関係の特徴量のマッチングに基づいて被写体クラス候補を選択してもよい。この場合、図８Ｂに示すクラス８３２（又はクラス８３２の近傍の複数のクラス）が、被写体クラス候補として選択される。

Ｓ７１２では、カメラＭＰＵ１２５は、被写体クラス候補が複数存在するかどうかの判定を行う。フレーム２では被写体クラス候補が１つなので、カメラＭＰＵ１２５は、処理ステップをＳ７１４へ処理を進める。

Ｓ７１４では、カメラＭＰＵ１２５は、現フレームの被写体クラスを特定する。フレーム２では被写体クラス候補がクラス８４２だけなので、カメラＭＰＵ１２５は、クラス８４２を現フレームの被写体クラスとして特定する。

Ｓ７１５では、カメラＭＰＵ１２５は、Ｓ７１４で特定した被写体クラスに属する測距点の中から１つの測距点を選択する。

Ｓ７１８では、カメラＭＰＵ１２５は、Ｓ７１５で選択した測距点のデフォーカス量に基づいてフォーカスレンズ１０４を駆動する。

以上の処理により、フレーム２のＡＦ動作が終了する。

なお、上では、Ｓ７１５で測距点を選択し、Ｓ７１８で選択した測距点のデフォーカス量に基づいてフォーカスレンズ１０４の駆動制御を行う構成について説明したが、本実施形態はこの構成に限定されない。例えば、Ｓ７１４で特定した被写体クラスの代表デフォーカス量、平均デフォーカス量、又は最至近デフォーカス量に基づいてフォーカスレンズ１０４の駆動制御を行う構成を採用してもよい。

（３）フレーム３
次に、フレーム３について説明する。Ｓ７０１～Ｓ７１０の処理は、フレーム２と同様なため説明を割愛する。但し、フレーム３については、「前フレーム」はフレーム２に対応し、「現フレーム」はフレーム３に対応する。従って、前後関係の特徴量については、Ｓ７０７では、前フレーム（フレーム２）の被写体クラスの前後関係の特徴量として、図８Ｂに示す前後関係特徴量８２２が算出される。また、Ｓ７０８では、現フレーム（フレーム３）の各クラスにおける前後関係の特徴量として、図８Ｂに示す前後関係特徴量８１３が算出される。また、Ｓ７０９では、マッチング処理により、図８Ｂに示すクラス８３３が特定される。形状の特徴量についても同様に、Ｓ７０７、Ｓ７０８、及びＳ７１０において、前フレーム（フレーム２）及び現フレーム（フレーム３）に対する処理が行われる。

Ｓ７１１では、カメラＭＰＵ１２５は、現フレーム（フレーム３）の被写体クラス候補を選択する。フレーム２の場合と同様に、カメラＭＰＵ１２５は、Ｓ７０９で特定したクラス８３３の近傍であるクラス８３３±ｘ２の範囲内から、相関値８６３に基づいて被写体クラス候補を選択する。次に、フレーム２の場合と同様に、カメラＭＰＵ１２５は、相関値８６３の最小値のｘ３倍の値として相関閾値８５３（第１の閾値）を算出する。そして、カメラＭＰＵ１２５は、相関値８６３の選択範囲内において相関閾値８５２よりも小さい相関値を示すクラスを、被写体クラス候補として選択する。フレーム３では、相関値８６３の選択範囲内において相関閾値８５３より小さい相関値を示すクラスはクラス８４３ａ（第１のクラス）及びクラス８４３ｂ（第２のクラス）なので、カメラＭＰＵ１２５は、クラス８４３ａ及びクラス８４３ｂを被写体クラス候補として選択する。

Ｓ７１２では、カメラＭＰＵ１２５は、被写体クラス候補が複数存在するかどうかの判定を行う。フレーム３では、被写体クラス候補が２つなので、カメラＭＰＵ１２５は、処理ステップをＳ７１３へ進める。

Ｓ７１３では、カメラＭＰＵ１２５は、被写体の前フレームにおける（又は過去の複数のフレームにおける）デフォーカス量に基づいて、現フレームのデフォーカス量を予測することにより、予測デフォーカス量を取得する。

Ｓ７１４では、カメラＭＰＵ１２５は、Ｓ７１１で選択した被写体クラス候補（クラス８４３ａ及びクラス８４３ｂ）のうちの、Ｓ７１３で取得した予測デフォーカス量に最も近いデフォーカス量に対応する被写体クラス候補（例えば、クラス８４３ａ）を、現フレームの被写体クラスとして特定する。

Ｓ７１５及びＳ７１８の処理は、フレーム２と同様なため説明を割愛する。以上の処理により、フレーム３のＡＦ動作が終了する。

（４）フレーム４
次に、フレーム４について説明する。Ｓ７０１～Ｓ７０５の処理は、フレーム２と同様なため説明を割愛する。但し、フレーム４については、「前フレーム」はフレーム３に対応し、「現フレーム」はフレーム４に対応する。

Ｓ７０６では、カメラＭＰＵ１２５は、前フレームと現フレームとの間のヒストグラムの形状変化が大きいかどうかの判定を行う。ヒストグラムの形状変化が大きい場合には、ヒストグラムのマッチング処理により被写体クラスを特定することができないため、カメラＭＰＵ１２５は、本ステップにて、マッチング処理を行うかどうかの判定をする。

フレーム２について前述した通り、図９（ｂ）に示す閾値９０１は、形状変化が大きいかどうかを判定するための閾値である。形状変化の評価値が閾値９０１より大きい場合には、カメラＭＰＵ１２５は、形状変化が大きいと判定して、マッチング処理を行わない。フレーム４の形状変化の評価値は、図９（ｂ）の一番右に対応し、閾値９０１よりも大きい。従って、カメラＭＰＵ１２５は、形状変化は大きいと判定し、処理ステップをＳ７１６へ進める。即ち、フレーム４については、マッチング処理は行われず、ヒストグラムを利用する被写体追跡（Ｓ７１４に示す、ヒストグラムのマッチング処理に基づく現フレームの被写体クラスの特定）は行われない。

Ｓ７１６では、カメラＭＰＵ１２５は、通常の測距点選択を行う。ここでの通常の測距点選択とは、前回選択された測距点に近い測距点を選択することであるものとする。

Ｓ７１７では、カメラＭＰＵ１２５は、Ｓ７１６で選択した測距点が属するヒストグラムのクラスを、フレーム４の被写体クラスとして特定する。

Ｓ７１８では、カメラＭＰＵ１２５は、Ｓ７１６で選択した測距点のデフォーカス量に基づいてフォーカスレンズ１０４を駆動させる。

以上の処理により、フレーム４のＡＦ動作が終了する。

以上説明したように、第１の実施形態によれば、撮像装置１０は、第１の撮影画像（例えば、図８Ａのフレーム１）の複数の測距点に対応する複数のデフォーカス量の第１のヒストグラムを取得する。また、撮像装置１０は、追跡対象の被写体の第１の撮影画像におけるデフォーカス量が属する第１のヒストグラムのクラスである第１の被写体クラス（例えば、図８Ａのクラス８４１）を取得する。また、撮像装置１０は、第１の撮影画像よりも後に撮影された第２の撮影画像（例えば、図８Ａのフレーム２）の複数の測距点に対応する複数のデフォーカス量の第２のヒストグラムを取得する。次に、撮像装置１０は、第１のヒストグラムにおける第１の被写体クラスの第１タイプの特徴量（例えば、形状の特徴量）を算出する。また、撮像装置１０は、第２のヒストグラムにおける第２のヒストグラムの第１の複数のクラス（例えば、第２のヒストグラムの全範囲の各クラス）の複数の第１タイプの特徴量（例えば、形状の特徴量）を算出する。その後、撮像装置１０は、第２のヒストグラムの第１の複数のクラス（例えば、第２のヒストグラムの全範囲の各クラス）のうちの、第１の被写体クラスの第１タイプの特徴量に最も近い第１タイプの特徴量を持つ第１のクラス（例えば、図８Ｂのクラス８４２）を検出する。そして、撮像装置１０は、第１のクラスに基づいて、追跡対象の被写体の第２の撮影画像におけるデフォーカス量が属する第２のヒストグラムのクラスである第２の被写体クラス（例えば、図８Ｂのクラス８４２）を特定する。これにより、撮影画像間（フレーム間）で被写体を高精度で追跡することが可能になる。

なお、上記の第１のクラスは、必ずしも第１の被写体クラスの第１タイプの特徴量に最も近い第１タイプの特徴量を持つクラスでなくてもよい。例えば、撮像装置１０は、第２のヒストグラムの第１の複数のクラス（例えば、第２のヒストグラムの全範囲の各クラス）のうちから、第１の被写体クラスの第１タイプの特徴量に基づいて特定の第１のクラスを検出してもよい。

また、例えば図８Ｂにおいてクラス８３２±ｘ２の範囲として示されるように、撮像装置１０は、第１のクラスの検出範囲を第２のヒストグラムの特定の範囲に制限してもよい。この場合、撮像装置１０は、第１の被写体クラスの第２タイプの特徴量（例えば、前後関係の特徴量）、及び、第２のヒストグラムの第２の複数のクラス（例えば、第２のヒストグラムの全範囲の各クラス）の複数の第２タイプの特徴量（例えば、前後関係の特徴量）のマッチング処理に基づいて、制限を行うことができる。これにより、被写体の検出精度を更に向上させることが可能になる。

また、本実施形態では、被写体の奥行方向の位置(距離)に関する距離情報としてデフォーカス量を用いた。しかし距離情報としてはさまざまな実施形態での適用が可能である。すなわち、距離情報は画像内における被写体の奥行方向の距離値を直接的に表し、または距離値に対応する情報を間接的に表していればよく、具体的には像ずれ量であったり、被写体までの距離である被写体距離であったりしてもよい。

即ち、取得部は像ずれ量、デフォーカス量あるいは被写体距離の分布情報に対応する、像ずれマップ、デフォーカスマップ、あるいは被写体距離マップの少なくともいずれか１つを取得し、対応するヒストグラムを算出（取得）すればよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０…撮像装置、１００…レンズユニット、１２０…カメラ本体、１２２…撮像素子、１２５…カメラＭＰＵ、１２９…位相差ＡＦ部、１３０…ＡＥ部、１３１…ホワイトバランス調整部、１３２…被写体検出部

Claims (19)

1. 第１の撮影画像の複数の測距点に対応する複数のデフォーカス量の第１のヒストグラムと、追跡対象の被写体の前記第１の撮影画像におけるデフォーカス量が属する前記第１のヒストグラムのクラスである第１の被写体クラスと、前記第１の撮影画像よりも後に撮影された第２の撮影画像の複数の測距点に対応する複数のデフォーカス量の第２のヒストグラムと、を取得する取得手段と、
   前記第１のヒストグラムにおける前記第１の被写体クラスの第１タイプの特徴量と、前記第２のヒストグラムにおける前記第２のヒストグラムの第１の複数のクラスの複数の前記第１タイプの特徴量と、を算出する算出手段と、
   前記第２のヒストグラムの前記第１の複数のクラスのうちから、前記第１の被写体クラスの前記第１タイプの前記特徴量に基づいて特定の第１のクラスを検出する検出手段と、
   前記特定の第１のクラスに基づいて、前記追跡対象の被写体の前記第２の撮影画像におけるデフォーカス量が属する前記第２のヒストグラムのクラスである第２の被写体クラスを特定する特定手段と、
   を備えることを特徴とする被写体追跡装置。
2. 前記検出手段は、前記第２のヒストグラムの前記第１の複数のクラスのうちの、前記第１の被写体クラスの前記第１タイプの前記特徴量に最も近い前記第１タイプの特徴量を持つクラスを、第１のクラスとして検出する
   ことを特徴とする請求項１に記載の被写体追跡装置。
3. 前記特定手段は、前記第１のクラスを前記第２の被写体クラスとして特定する
   ことを特徴とする請求項２に記載の被写体追跡装置。
4. 前記第２のヒストグラムの前記第１の複数のクラスのうちの、前記第１のクラスの前記第１タイプの前記特徴量に最も近い前記第１タイプの特徴量を持つ第２のクラスについて、前記第２のクラスの前記第１タイプの前記特徴量と前記第１のクラスの前記第１タイプの前記特徴量との差が第１の閾値より大きい場合、前記特定手段は、前記第１のクラスを前記第２の被写体クラスとして特定し、
   前記第２のクラスの前記第１タイプの前記特徴量と前記第１のクラスの前記第１タイプの前記特徴量との前記差が前記第１の閾値より小さい場合、前記特定手段は、所定の基準に基づいて、前記第１のクラス又は前記第２のクラスを前記第２の被写体クラスとして特定する
   ことを特徴とする請求項２に記載の被写体追跡装置。
5. 前記追跡対象の被写体の前記第１の撮影画像におけるデフォーカス量に基づいて前記追跡対象の被写体の前記第２の撮影画像におけるデフォーカス量を予測する予測手段を更に備え、
   前記所定の基準は、前記第１のクラス及び前記第２のクラスのうちの前記予測されたデフォーカス量に近いデフォーカス量に対応するクラスが、前記第２の被写体クラスとして特定されるように構成される
   ことを特徴とする請求項４に記載の被写体追跡装置。
6. 前記第１タイプの個別の特徴量は、当該個別の特徴量に対応するクラスを含むヒストグラムの、当該対応するクラスを含む第１の範囲における形状の特徴を表す
   ことを特徴とする請求項１乃至５のいずれか１項に記載の被写体追跡装置。
7. 前記第１タイプの個別の特徴量は、当該個別の特徴量に対応するクラスを含むヒストグラムの、当該対応するクラスを含む第１の範囲内の各クラスの頻度の和である
   ことを特徴とする請求項１乃至５のいずれか１項に記載の被写体追跡装置。
8. 前記第１の被写体クラスの前記第１タイプの前記特徴量に対応する前記第１の範囲の大きさは、前記第１の撮影画像における前記追跡対象の被写体の奥行き方向の距離、前記第１の撮影画像における前記追跡対象の被写体の大きさ、及び前記第１の撮影画像の撮影時の絞り値のうちの少なくとも１つに基づく
   ことを特徴とする請求項６又は７に記載の被写体追跡装置。
9. 前記第１のヒストグラムのビン間隔は、前記第１の撮影画像における前記追跡対象の被写体の奥行き方向の距離、前記第１の撮影画像における前記追跡対象の被写体の大きさ、及び前記第１の撮影画像の撮影時の絞り値のうちの少なくとも１つに基づく
   ことを特徴とする請求項１乃至８のいずれか１項に記載の被写体追跡装置。
10. 前記算出手段は、前記第１のヒストグラムにおける前記第１の被写体クラスの第２タイプの特徴量と、前記第２のヒストグラムにおける前記第２のヒストグラムの第２の複数のクラスの複数の前記第２タイプの特徴量と、を算出し、
    前記被写体追跡装置は、前記第２のヒストグラムの前記第２の複数のクラスのうちの、前記第１の被写体クラスの前記第２タイプの前記特徴量に最も近い前記第２タイプの特徴量を持つクラスを含む第２の範囲内の複数のクラスを、前記第２のヒストグラムの前記第１の複数のクラスとして選択する選択手段を更に備える
    ことを特徴とする請求項１乃至９のいずれか１項に記載の被写体追跡装置。
11. 前記第２タイプの個別の特徴量は、当該個別の特徴量に対応するクラスを含むヒストグラムにおいて当該対応するクラスよりも至近側の範囲又は無限遠側の範囲の各クラスの頻度の和である
    ことを特徴とする請求項１０に記載の被写体追跡装置。
12. 前記第１のヒストグラムと前記第２のヒストグラムとの間の形状変化が第２の閾値より小さいか否かを判定する判定手段を更に備え、
    前記特定手段は、前記形状変化が前記第２の閾値より小さい場合に、前記第２の被写体クラスの特定を行う
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の被写体追跡装置。
13. 前記第２の撮影画像の前記複数の測距点に対応する前記複数のデフォーカス量のうちの、前記第２の被写体クラスに属するデフォーカス量に基づいてフォーカスレンズの駆動制御を行う制御手段を更に備える
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の被写体追跡装置。
14. 第１及び第２の撮影画像と、該第１及び第２の撮影画像の複数の領域における奥行方向の距離情報を取得する取得手段と、
    前記第１及び第２の撮影画像の距離情報に基づいて、前記第１及び第２の撮影画像における追跡対象の被写体を特定する特定手段と、を有し、
    前記特定手段は、前記第１及び第２の撮影画像における距離情報のヒストグラムを比較することで、前記第１の撮影画像において追尾対象の被写体とした領域に対応する、前記第２の撮影画像における追尾対象の被写体の領域を特定することを特徴とする被写体追跡装置。
15. 前記特定手段は、前記第１の撮影画像における追尾対象の被写体の距離情報が属する、前記第１の撮影画像のヒストグラムのクラスの特徴量と、前記第２の撮影画像のヒストグラムの各クラスの特徴量との相関をとった結果から、前記第２の撮影画像における追尾対象の被写体のクラスと特定することを特徴とする請求項１４に記載の被写体追跡装置。
16. 前記特定手段は、前記第２の撮影画像における前記追尾対象の被写体のクラスと特定されたクラスに対応する領域を、前記第２の撮影画像における前記追尾対象の被写体の領域として特定することを特徴とする請求項１５に記載の被写体追跡装置。
17. 請求項１乃至１６のいずれか１項に記載の被写体追跡装置と、
    個別の撮影画像を生成する撮像手段と、
    を備えることを特徴とする撮像装置。
18. 被写体追跡装置が実行する被写体追跡方法であって、
    第１の撮影画像の複数の測距点に対応する複数のデフォーカス量の第１のヒストグラムと、追跡対象の被写体の前記第１の撮影画像におけるデフォーカス量が属する前記第１のヒストグラムのクラスである第１の被写体クラスと、前記第１の撮影画像よりも後に撮影された第２の撮影画像の複数の測距点に対応する複数のデフォーカス量の第２のヒストグラムと、を取得する取得工程と、
    前記第１のヒストグラムにおける前記第１の被写体クラスの第１タイプの特徴量と、前記第２のヒストグラムにおける前記第２のヒストグラムの第１の複数のクラスの複数の前記第１タイプの特徴量と、を算出する算出工程と、
    前記第２のヒストグラムの前記第１の複数のクラスのうちから、前記第１の被写体クラスの前記第１タイプの前記特徴量に基づいて特定の第１のクラスを検出する検出工程と、
    前記特定の第１のクラスに基づいて、前記追跡対象の被写体の前記第２の撮影画像におけるデフォーカス量が属する前記第２のヒストグラムのクラスである第２の被写体クラスを特定する特定工程と、
    を備えることを特徴とする被写体追跡方法。
19. コンピュータを、請求項１乃至１６のいずれか１項に記載の被写体追跡装置の各手段として機能させるためのプログラム。

Images