JP2014216830A - 画像追尾装置、画像追尾方法及びプログラム - Google Patents

Abstract

【課題】被写体の追尾精度を向上させる。【解決手段】画像追尾装置１は、時系列に入力される複数のフレーム画像中の一つのフレーム画像の中から特定被写体の一部を含む追尾領域を抽出する抽出手段２２と、一つのフレーム画像とは異なるフレーム画像から抽出された比較領域の各々と追尾領域との間の類似度を各々演算して類似度の組を出力する類似度演算手段（２４，２５，２６）と、類似度を補正する補正手段（３２、３３，３４）と、を備える。補正手段は、基準位置に対応する位置からの各比較領域の距離に関する値と、異なるフレーム画像を生成する際の画角とに基づいて類似度の組を補正する第１の補正部と、第１の位置に対応する位置からの各比較領域の方向に基づいて類似度の組を補正する第２の補正部と、のうち少なくともいずれかを備える。【選択図】 図３

Description

本発明は、画像追尾装置、画像追尾方法及びプログラムに関する。

近年、デジタルカメラにより撮像された画像の中から被写体の一部（例えば「顔」）を抽出し、該被写体の一部を自動的に追尾する技術が提案されている。被写体の追尾の精度を向上させるため、下記特許文献１の技術は、マッチング演算の結果であるスコア値（相関値）を、参照フレーム画像の注目画素領域の位置に対応する現フレーム画像の位置からの距離が小さい位置ほど小さな重み係数を有する相関度補正マップ（図７の６ｇ）で補正する補正手段を備えている。
特開２００８−２８８９０号公報

しかしながら、上記特許文献１に記載の技術では、様々な撮影状況に対して、追従精度の向上が図れるとは限らなかった。

本発明は、上記事実に鑑みなされたもので、被写体の追尾精度を向上することを目的としてなされたものである。

上記課題を解決するため、本発明は、時系列に入力される複数のフレーム画像内の特定被写体を追尾する画像追尾装置であって、入力された前記複数のフレーム画像のうち一つのフレーム画像の中から、前記特定被写体の少なくとも一部を含む追尾領域を抽出する抽出手段と、前記一つのフレーム画像の次に入力された異なるフレーム画像から比較領域を順次抽出し、該比較領域の各々と前記追尾領域との間の類似度を各々演算して類似度の組を出力する類似度演算手段と、前記類似度の組を補正する補正手段と、前記補正手段により補正された類似度の組に基づいて前記異なるフレーム画像における追尾領域を決定する追尾領域決定手段と、を備え、前記補正手段は、前記一つのフレーム画像の前記追尾領域の位置に対応する前記異なるフレーム画像における基準位置からの前記比較領域の各々の距離に関する値と、前記異なるフレーム画像を生成する際の画角又は画角に関する値とに基づいて前記類似度の組を補正する第１の補正部と、前記異なるフレーム画像における前記基準位置からの前記比較領域の各々の方向に基づいて前記類似度の組を補正する第２の補正部と、のうち少なくともいずれかを備えることを特徴として構成したものである。

時系列に入力される複数のフレーム画像は、撮影時刻の古い順番、新しい順番のいずれの順番に並べられていてもよい。また、複数のフレーム画像は、デジタルカメラの撮像素子等から順次転送されてきた時系列画像であっても、或いは、予めメモリ等に記憶されている時系列画像を読み込むことで取得されてもよい。

本発明では、先ず、抽出手段が、入力された複数のフレーム画像のうち一つのフレーム画像の中から、特定被写体の少なくとも一部を含む追尾領域を抽出する。類似度演算部は、一つのフレーム画像の次に入力された異なるフレーム画像から比較領域を順次抽出し、該比較領域の各々と前記追尾領域との間の類似度を各々演算して類似度の組を出力する。類似度を表す値としては、相関値等が挙げられるが、本発明は、この例に限定されず、異なるフレーム画像において追尾領域を判定可能な類似度を示すものであれば、任意の演算量を用いることができる。また、類似度演算手段は、追尾領域と比較領域とのマッチング方法として、テンプレートマッチングやブロックマッチングなど様々な方法を採用することができるが、これらのマッチング例に限定されるものではない。
補正手段は、類似度の組を補正する。追尾領域決定手段は、補正手段で補正された類似度の組に基づいて異なるフレーム画像における追尾領域を決定する。

本発明の第１の補正部は、抽出手段により抽出された一つのフレーム画像の追尾領域の位置に対応する異なるフレーム画像における基準位置からの比較領域の各々の距離に関する値と、異なるフレーム画像を生成する際の画角とに基づいて類似度の組を補正する。その一例としての第１の距離補正では、比較領域の各々の類似度を、距離に関する値の増加に応じて減少させると共に、画角が大きくなった場合に、該画角が大きくなる前と比較して、距離に関する値の増加に応じて減少された類似度をさらに減少させる。また、その一例としての第２の距離補正では、比較領域の各々の類似度を、距離に関する値の増加に応じて減少させると共に、画角が小さくなった場合に、該画角が小さくなる前と比較して、距離に関する値の増加に応じて減少された類似度を増加させる。第１及び第２の距離補正を両方とも適用するのが好ましいが、いずれか一方を適用してもよい。

ここで、画角は、異なるフレーム画像を生成するときに使用した撮影レンズの焦点距離、及び、クロップ領域のサイズのうち少なくともいずれかに基づいて決定される。補正手段は、「画角又は画角に関する値」として焦点距離の値やクロップ領域のサイズを直接使用して類似度を補正する態様、或いは、焦点距離及びクロップ領域のサイズを撮像素子のサイズを考慮して画角に換算した値若しくは拡大／縮小率に換算した値等を使用する態様のいずれも含んでいる。「画角に関する値」は、「画角」を反映する限り如何なる表現による値も含んでおり、画角を決定する要素の値のみならず、当該要素の様々な表現、当該要素の組み合わせによる様々な表現による値を含んでいる。

また、第１の補正部における、「画角が大きくなった場合」とは、焦点距離が小さくなったことにより、より広角側の画角となった場合、クロップ領域のサイズがより大きくなった場合、或いは、その両方の総合的な効果の結果として画角が広くなった場合のいずれをも含んでいる。一方、「画角が小さくなった場合」とは、焦点距離が大きくなり、より望遠側の画角となった場合、クロップ領域のサイズがより小さくなった場合、或いは、その両方の総合的な効果の結果として画角が狭くなった場合のいずれをも含んでいる。なお、クロップ領域は、撮影時に撮影者が指定することで撮影画面をクロップした場合や、時系列画像から追尾位置の周囲の領域を切り取って新たな動画を生成する場合等、様々な状況で指定され得る。

本発明の第２の補正部は、前記基準位置からの方向が画面横方向範囲にある比較領域の類似度を、前記基準位置からの方向が画面縦方向範囲にある比較領域の類似度に対して相対的に大きくする。この態様は、通常、被写体が水平方向すなわち画面上では横方向範囲に動きやすいという事実を利用したものである。

前記特定被写体の移動方向を決定する移動方向予測手段を更に備えている場合、前記第２の補正部は、前記基準位置からの方向が前記特定被写体の移動方向から所定範囲内にある比較領域の類似度を、前記移動方向から所定範囲外にある比較領域の類似度に対して相対的に大きくする。

好ましくは、前記類似度演算手段は、前記異なるフレーム画像の探索範囲にある比較領域の各々と前記追尾領域との間の類似度を演算するものであり、前記探索範囲は、前記画角又は画角に関する値及び前記特定被写体の移動方向の少なくともいずれかに基づいて決定される。類似度演算の対象となる異なるフレーム画像の範囲を探索範囲に限定することによって、演算量を軽減することができ、処理の高速化が図れる。さらに探索範囲が画角及び前記特定被写体の移動方向の少なくともいずれかに基づいて決定される。例えば、画角が大きくなった場合には、探索範囲のサイズを小さくし、画角が小さくなった場合には、探索範囲のサイズを大きくする。また、探索範囲を被写体の移動方向にずれた位置範囲に設定する。

好ましくは、前記補正手段は、前記異なるフレーム画像を生成する際の画像の振れ量と、前記異なるフレーム画像を生成する際の画角又は画角に関する値とに基づいて、前記類似度の組を補正する第３の補正部を更に備える。

第１、第２及び第３の補正部による補正は、各々単独でも、組み合わせて使用してもよい。

本発明の好ましい態様は、前記異なるフレーム画像における前記比較領域の各々の類似度に基づいて該異なるフレーム画像の追尾領域を検出する追尾領域検出手段と、前記異なるフレーム画像において検出された追尾領域の類似度が所定値より小さい場合、タイムアウト時間を設定する設定手段と、前記タイムアウト時間以内に、次に続く異なるフレーム画像において検出された追尾領域の類似度が前記所定値よりも大きくならない場合は、被写体追尾を中止する処理を行う中止手段と、を備え、前記設定手段は、前記画角が減少したとき、前記タイムアウト時間をより長くし、前記画角が増加したとき、前記タイムアウト時間をより短く設定する。

本発明の上記態様に係るタイムアウト処理では、設定手段は、異なるフレーム画像において検出された追尾領域の類似度が所定値より小さい場合に被写体がフレームアウトしたとみなし、画角に応じたタイムアウト時間を設定し、タイムアウト時間内で追尾を続行させる。設定手段は、画角が減少したとき、タイムアウト時間をより長くし、画角が増加したとき、タイムアウト時間をより短く設定する。このため、被写体がフレームインしたときに再び被写体を捕捉できるチャンスを保持することができる。また、タイムアウト時間を過ぎると、中止手段により、追尾が中止されるため、偽の被写体を長時間に亘って追尾する不具合な状況を回避することができる。

前記画像追尾装置は、デジタルカメラ、デジタルカメラボディ、ビデオカメラ、コンピュータ、画像解析装置、携帯電話、スマートフォン、又は、タブレット型端末に実装されたものとして実現することができる。

本発明の別の態様は、時系列に入力される複数のフレーム画像内の特定被写体を追尾する画像追尾方法であって、入力された前記複数のフレーム画像のうち一つのフレーム画像の中から、前記特定被写体の少なくとも一部を含む追尾領域を抽出する抽出工程と、前記一つのフレーム画像の次に入力された異なるフレーム画像から比較領域を順次抽出し、該比較領域の各々と前記追尾領域との間の類似度を各々演算して類似度の組を出力する類似度演算工程と、前記類似度の組を補正する補正工程と、前記補正工程で補正された類似度の組に基づいて前記異なるフレーム画像における追尾領域を決定する追尾領域決定工程と、を備え、前記補正工程は、前記一つのフレーム画像の前記追尾領域の位置に対応する前記異なるフレーム画像における基準位置からの前記比較領域の各々の距離に関する値と、前記異なるフレーム画像を生成する際の画角又は画角に関する値とに基づいて前記類似度の組を補正する第１の補正工程と、前記異なるフレーム画像における前記基準位置からの前記比較領域の各々の方向に基づいて前記類似度の組を補正する第２の補正工程と、のうち少なくともいずれかを備えることを特徴とする。

好ましい画像追尾方法によれば、前記追尾領域が決定された前記異なるフレーム画像を新たな一つのフレーム画像として、前記抽出工程、前記類似度演算工程、前記補正工程及び前記追尾領域決定工程が繰り返し実行される。これによって、複数のフレーム画像で順次追尾領域が決定される。

本発明の画像追尾方法の各態様は、上記画像処理装置の各態様と同様に提供される。
本発明の更に別の態様は、上記画像処理方法を画像情報処理装置に実行させるためのプログラムとして提供される。当該プログラムは、インターネット等からダウンロードされたものでも、記憶媒体に記憶されたもののいずれでも提供することができる。

以上説明した通り、本発明によれば、被写体の追尾精度を向上させることができる。

図１は、本発明の実施形態に係る画像追尾装置、画像追尾方法及びプログラムが適用されるデジタルカメラの概略構成図である。 図２は、図１のデジタルカメラの回路ブロック図である。 図３は、図１のデジタルカメラのＣＰＵユニットが本発明の画像追尾方法である被写体追尾モードを実行している場合の機能ブロック図である。 図４は、図３の補正テーブル演算部の機能ブロック図である。 図５は、本発明の実施形態に係る画像追尾装置及び方法の処理の流れを示すフローチャートである。 図６は、本発明の実施形態に係る画像追尾装置の処理の対象となる時系列画像を説明するための図である。 図７は、異なる焦点距離（広角及び望遠）に起因した画角の相違、並びに、相関値に与える距離の評価を説明するための図である。 図８は、焦点距離の相違による、フレーム画像における被写体の存在確率分布の相違を説明するための概念図であって、（Ａ）は基準となる焦点距離を使用した場合、（Ｂ）は広角レンズを使用した場合、（Ｃ）は望遠レンズを使用した場合における、被写体の存在確率分布を各々示す。 図９は、本発明の実施形態に係る画像追尾装置、方法及びプログラムで使用される、補正テーブルを示す図であって、（Ａ）は基準となる焦点距離を使用した場合、（Ｂ）は広角レンズを使用した場合、（Ｃ）は望遠レンズを使用した場合における、補正テーブルの具体的な数値例を示す。 図１０は、被写体が移動したときのフレーム画像における被写体の存在確率分布を説明するための概念図である。 図１１は、被写体の移動方向を反映した補正テーブルの具体的な数値例を示す。 図１２は、テンプレートマッチングの概要を説明するための図である。 図１３（Ａ）は、テンプレートマッチングによる相関値演算結果の具体的数値例を示し、（Ｂ）は、図１３（Ａ）の相関値演算結果に、図９（Ａ）の補正テーブルを適用した補正相関値演算の具体的数値例を示す。 図１４（Ａ）、（Ｂ）及び（Ｃ）は、被写体追尾において撮影者による手振れの影響を軽減するための補正テーブルの具体的数値例を示す。 本発明の実施形態に係るタイムアウト処理の流れを示すフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。

図１には、本発明の実施形態に係る画像追尾装置、画像追尾方法及びプログラムが適用されるデジタルカメラの概略構成図が示されている。

図１に示されるデジタルカメラ１０は、カメラボディ１１と、カメラボディ１１に交換可能に着脱された撮影レンズ１２と、を備えている。撮影レンズ１２は、カメラボディ１１に固定されたものであってもよいが、本実施形態では撮影レンズ１２を交換レンズとして説明する。

カメラボディ１１は、デジタルカメラ１０全体を制御するＣＰＵユニット１と、画像処理ユニット２と、ＣＣＤやＣＭＯＳ等で構成される撮像素子５と、撮像素子５により撮影された画像、撮影情報、各種操作系などを表示するディスプレイ６と、無線通信部９とを備えている。

デジタルカメラ１０は、自動的に被写体の合焦を行う自動合焦（ＡＦ）を可能としている。その合焦方式としては、例えば、コントラスト式ＡＦ、位相差検出式ＡＦ、或いは両者を併用した合焦方式が採用される。コントラスト式ＡＦは撮像素子５の出力に基づいて実行される。位相差検出式ＡＦは、図示しないＡＦセンサモジュール、或いは、撮像素子５に埋め込まれた位相差検出ＡＦセンサを用いて実行される。

撮影レンズ１２は、自動合焦を実行するように駆動制御される合焦レンズ群１５と、手振れを防止するように駆動制御される防振レンズ群１６と、を備えている。なお、本実施形態では、デジタルカメラ１０が「光学式手振れ補正機能」を有するものとして説明するが、本発明は、光学式手振れ補正機能が存在しない態様も含んでいる（この場合には、防振レンズ群１６は省略される）。本発明は、光学式手振れ補正機能の代わりに、所謂「電子式手振れ補正機能」を含んでいてもよく、或いは、光学式及び電子式の両方の手振れ補正機能を含んでいてもよい。

図２には、デジタルカメラ１０の各構成要件の接続態様を示す回路ブロック図が示されている。同図に示されるように、前述したＣＰＵユニット１、画像処理ユニット２、撮像素子５、ディスプレイ６、無線通信部９及び撮像レンズ１２は、双方向に通信可能にシステムバス３に接続されている。更に、デジタルカメラ１０（カメラボディ１１）は、操作インターフェース部７及びメモリカードインターフェース部８を備えている。これらの構成要素も、上記した構成要素と共に双方向に通信可能にシステムバス３に接続されている。

ＣＰＵユニット１は、少なくとも、ＣＰＵ１ａ、ＲＡＭ１ｂ、ＲＯＭ１ｃ、及び、フラッシュメモリ１ｄを備えている。これらの構成要素は、内部バス１ｅを介して双方向に通信可能に接続され、内部バス１ｅは、システムバス３に接続されている。ＣＰＵ１ａは、ＲＯＭ１ｃ又はフラッシュメモリ１ｄに予め格納されているプログラムに基づいて所定の処理、例えば後述する本願発明の被写体追尾を実行する。ＣＰＵ１ａは、内部バス１ｅ及びシステムバス３を介して他の構成要素にコマンドを送信することによって、当該他の構成要素を制御する。また、当該他の構成要素からのデータ、例えば画像処理ユニット２から送信された画像データは、システムバス３及び内部バス１ｅを介してＲＡＭ１ｂに送られ、ＲＡＭ１ｂに格納される。また、ＲＯＭ１ｃは、例えば、撮像素子５のセンサーサイズ等のデジタルカメラ１０に関する情報も格納している。

画像処理ユニット２は、少なくとも、ＣＰＵ２ａ、画像バッファ２ｂ、及び、ＲＯＭ２ｃを備えている。これらの構成要素は、内部バス２ｄを介して双方向に通信可能に接続され、内部バス２ｄは、システムバス３に接続されている。撮像素子５によって取得された画像データは、システムバス３及び内部バス２ｄを介して、画像バッファ２ｂに転送される。ＣＰＵ２ａは、ＲＯＭ２ｃに格納されているプログラムに基づいて、画像バッファ２ｂに格納された画像データに対して所定の画像処理、例えばホワイトバランス処理、ガンマ補正処理、レンズ収差の補正処理、ノイズ低減処理、ダイナミックレンジの拡大処理、画像データのリサイズ処理、ＲＡＷデータからＪＰＥＧ等の圧縮データへの変換処理などを実行する。

撮像素子５は、静止画撮影に加え、所定のフレームレートでの連写撮影及び動画撮影が可能な構成とされている。撮影された画像のデータは、システムバス３を介して画像処理ユニット２及びディスプレイ６に転送される。

ディスプレイ６は、撮影された静止画または動画をリアルタイムに表示できる他、記憶媒体に記憶された静止画または動画を再生表示することもできる。さらにディスプレイ６は、タッチパネルセンサを備えていてもよく、撮影者がディスプレイ６に表示された画面上の一部をタッチするだけで、合焦部分を指定できるようにしてもよい。

操作インターフェース部７は、デジタルカメラ１０に備えられた図示しないダイヤル、ボタン、タッチパネル等から送られてきた撮影者の操作指令をシステムバス３を介してＣＰＵユニット１に伝達する。ＣＰＵユニット１のＣＰＵ１ａは、操作インターフェース部７から伝達された操作指令に基づいて、システムバス３に接続された各構成要素を制御する。また、操作インターフェース部７は、撮影者により指定されたクロップ領域の位置とサイズをシステムバス３及び内部バス１ｅを介してＣＰＵ１ａに伝達する。

メモリカードインターフェース部８は、デジタルカメラ１０に挿入されたメモリカード１３に記憶されている画像データ、プログラム、ファームウェアなどを読み取ったり、撮像素子５により撮影され、画像処理ユニット２により画像処理された画像データをメモリカード１３に書き込むための処理を実行する。また、メモリカードインターフェース部８は、ＣＰＵユニット１の指令により、メモリカード１３に記憶されているプログラムやファームウェアを、システムバス３を介してＣＰＵユニット１に転送することもできる。ＣＰＵユニット１のＣＰＵ１ａは、転送されてきたプログラム等がフラッシュメモリ１ｄに書き込まれるようにフラッシュメモリ１ｄを制御する。ＣＰＵ１ａは、更新されたプログラムやファームウェアにより、所定の処理、例えば本願発明の後述する被写体追尾処理を実行する。

無線通信部９は、例えばWiFi（登録商標）機能を備えており、デジタルカメラ１０を無線でインターネットなどのネットワークに接続する際の通信を制御する。例えば、無線通信部９は、ＣＰＵユニット１の指令により、インターネット上で提供されるプログラムやファームウェアをダウンロードし、ダウンロードしたプログラム等を、システムバス３を介してＣＰＵユニット１に転送する。ＣＰＵユニット１のＣＰＵ１ａは、転送されてきたプログラム等がフラッシュメモリ１ｄに書き込まれるようにフラッシュメモリ１ｄを制御する。ＣＰＵ１ａは、更新されたプログラムやファームウェアにより、所定の処理、例えば本願発明の後述する被写体追尾処理を実行する。

また、無線通信部９は、スマートフォンやタブレット型端末などの携帯通信端末との間の双方向の通信を制御する。例えば無線通信部９は、画像処理ユニット２により画像処理された画像データを携帯通信端末に送信したり、携帯通信端末からの画像データを受信して画像処理ユニット２やディスプレイ６に転送することができる。また、無線通信部９は、携帯通信端末から送られてきたコマンドやプログラムを受信してＣＰＵユニット１に転送する。ＣＰＵユニット１は、携帯通信端末から送られてきたコマンドやプログラムに基づいてデジタルカメラ１０を制御することもできる。

撮影レンズ１２は、ＣＰＵユニット１からの指令に応じて撮影レンズ１２の後述する各構成要件を制御するレンズＣＰＵ１２ａと、撮影レンズ１２の焦点距離（撮影レンズ１２が単焦点レンズの場合）、開放Ｆ値及び収差情報などのレンズ情報を記憶するレンズＲＯＭ１２ｂと、撮影レンズ１２の各構成要件が接続された内部バス１２ｋと、を備えている。レンズＲＯＭ１２ｂに記憶されたレンズ情報は、内部バス１２ｋ及びシステムバス３を介してＣＰＵユニット１及び画像処理ユニット２に送られる。ＣＰＵユニット１は、撮影レンズ１２の焦点距離の情報に基づいて所定の処理、例えば本願発明の後述する被写体追尾処理を実行する。また、画像処理ユニット２のＣＰＵ２ａは、当該レンズ情報を所定の画像処理に用いる他、コマ毎の画像データ撮影情報領域に記憶させる。

また、撮影レンズ１２は、合焦モータ１２ｃと、防振レンズ群１６を駆動させるための防振駆動部１２ｄと、を備えている。レンズＣＰＵ１２ａは、ＣＰＵユニット１からの指令に従って、合焦レンズ群１５（図１）を合焦位置まで移動させるように合焦モータ１２ｃを制御する。

更に、撮影レンズ１２は、合焦レンズ群１５の合焦位置を検出することにより撮像素子５から被写体までの距離を検出する距離エンコーダ１２ｅと、撮影レンズ１２がズームレンズの場合、撮影レンズ１２の焦点距離に対応するズームリングの位置を検出する焦点距離エンコーダ１２ｆとを備えている。検出された被写体までの距離及び焦点距離に関する情報は、内部バス１２ｋ及びシステムバス３を介してＣＰＵユニット１に送られる。ＣＰＵユニット１は、検出された被写体までの距離及び焦点距離に基づいて所定の処理、例えば本願発明の後述する被写体追尾処理を実行する。

また、撮影レンズ１２は、撮影者の手振れ量を検出するための手振れ検出センサ１２ｇを備えている。手振れ検出センサ１２ｇにより検出された手振れ量を示す信号は、内部バス１２ｋ及びシステムバス３を介してＣＰＵユニット１に送られる。ＣＰＵユニット１は、検出された手振れ量を打ち消すための防振レンズ群１６の制御量を計算し、当該制御量をレンズＣＰＵ１２ａに伝達する。レンズＣＰＵ１２ａは、防振駆動部１２ｄを制御することにより、手振れ量を打ち消すように防振レンズ群１６を駆動させる。

手振れ検出センサ１２ｇは、デジタルカメラ１０の角速度を手振れ（角度振れ）として検出する角速度センサ１７ａ、１７ｂ（図１）を含む。また、手振れ検出センサ１２ｇは、近距離撮影時に特に問題となる直線方向の振れ（所謂「シフト振れ」）も防止するため加速度センサ１８ａ、１８ｂ（図１）も含んでいてもよい。

本発明の実施形態が適用されるデジタルカメラは、図１に示すようなミラーレスのカメラには限定されず、一眼レフカメラや、ビデオカメラにも同様に適用可能である。また、携帯電話、スマートフォン、多機能情報通信端末等に備えられたデジタルカメラやビデオカメラにも適用可能である。
図３には、デジタルカメラ１０のＣＰＵユニット１の機能ブロック図が示されている。

図３に示すように、ＣＰＵユニット１は、画像処理ユニット２から転送されてきた時系列画像の画像データを記憶する時系列画像メモリ２０と、時系列画像を構成するフレーム画像のうち最初に入力されたフレーム画像（以下、「参照フレーム画像」という）を記憶する参照画像メモリ２１と、参照フレーム画像より時間的に後に入力された時系列画像のフレーム画像（以下、「照合フレーム画像」という）の画像データを記憶する照合画像メモリ２４と、を備えている。メモリ２０、２１及び２４は、図２のＲＡＭ１ｂのメモリ領域として実現できる。

ＣＰＵユニット１は、参照フレーム画像と照合フレーム画像との間で相関演算を行う。この相関演算のため、ＣＰＵユニット１は、参照フレーム画像から、追尾するべき被写体の少なくとも一部の領域（以下、「追尾領域」）の画像データを抽出する追尾領域抽出部２２と、照合フレーム画像において設定された探索範囲内で、追尾領域と照合する比較領域の画像データを照合フレーム画像から順次抽出する照合領域抽出部２５と、追尾領域の画像データと比較領域の画像データとの間で相関演算を行い、相関演算結果２７を出力するマッチング部２６と、を備えている。なお、ＣＰＵ１ａがプログラムに基づいてこの相関演算を実行するが、高速演算のため専用の相関演算モジュールをＣＰＵユニット１内に設けてもよい。

本実施形態では、ＣＰＵユニット１は、上記相関演算結果２７に対して画角や被写体の移動方向を反映した補正を行うことを特徴としている。この補正に必要な情報を得るため、ＣＰＵユニット１は、撮影時の画角を演算する画角演算部２８と、過去に追尾した画像データ等に基づいて被写体の移動方向を予測する移動方向予測部３０と、を備えている。画角演算部２８は、撮影レンズ１２の焦点距離の情報と予め記憶された撮像素子５のサイズとに基づいて撮影画角を演算する。撮影領域がクロップされた場合には、画角演算部２８は、撮影レンズ１２の焦点距離と撮像素子５上で換算したクロップ領域のサイズとに基づいて撮影画角を演算する。画角演算部２８は、撮影レンズ１２の焦点距離を、撮影レンズ１２から直接送られてきた情報又は画像データ撮影情報領域に記憶された情報を検索することによって取得する。ここで、クロップとは、撮影画面若しくは再生画面の一部を切り取って撮影若しくは再生表示することをいう。クロップ領域の指定方法としては、例えば複数の固定枠の中から撮影者が選択する方式（例えば３５ｍｍフルサイズ領域からＡＰＳ−Ｃサイズ領域、焦点距離換算１．２倍サイズ領域等への変更）、タッチパネル機能付き電子ファインダー上などで撮影者が操作指定する方式などが挙げられる。移動方向の予測方法に関しては詳細を後述する。

ＣＰＵユニット１は、追尾領域抽出部２２により抽出された追尾領域の位置を基点とし、上記のようにして演算された画角及び被写体の予測移動方向に基づいて照合フレーム画像の探索範囲を決定する探索範囲決定部３１を備えている。探索範囲決定部３１により決定された探索範囲は、照合領域抽出部２５に伝達され、照合領域抽出部２５は、決定された探索範囲に基づいて上述した抽出処理を行う。

ＣＰＵユニット１は、上記のようにして演算された画角及び被写体の予測移動方向に基づいて相関演算結果２７を補正する。この補正手段として、ＣＰＵユニット１は、補正テーブルデータベース３２に格納されている補正テーブルを参照して画角や被写体の移動方向を反映した補正テーブルを演算する補正テーブル演算部３３と、相関演算結果２７に対して補正テーブル演算部３３で演算された補正テーブルを乗じることにより画角や被写体の移動方向を反映した補正演算結果３５を演算する補正演算部３４と、を備えている。

ＣＰＵユニット１は、補正演算結果３５に基づく追尾処理を実行する。この追尾処理のため、ＣＰＵユニット１は、補正演算結果３５から照合フレーム画像における追尾領域を決定する追尾領域決定部３６と、決定された追尾領域に基づいてデジタルカメラを制御するための制御信号を出力する追尾制御部３７とを備えている。デジタルカメラ１０は、追尾制御部３７からの制御信号により、ディスプレイ６上に表示された画像の追尾領域に対応する位置に追尾枠を順次表示させ、当該追尾位置の領域に対応する被写体に合焦させるための動作を実行する。

ここで、マッチング部２６による演算を図１２を用いて詳しく説明する。図１２において、８０は、抽出された参照フレーム画像の追尾領域の画像データ（テンプレート）であり、８２はマッチングの対象となるフレーム画像ｆｋの探索範囲内にある画像データである。図３の照合領域抽出部２５は、探索範囲の画像データ８２を走査し、追尾領域の画像データ８０と同じ画像サイズの比較領域８４の画像データを順次抽出する。例えば、照合領域抽出部２５は、最初に探索範囲８２の左上端の画像データを抽出し、次に１画素分Ｘ方向にずれた位置で同サイズの画像データを抽出する。照合領域抽出部２５は、このような抽出処理を繰り返してＸ方向の走査を終了し、次に探索開始位置をＹ方向に１画素分ずらした状態で、再びＸ方向に同様の処理を繰り返す。このように照合領域抽出部２５は、Ｘ方向及びＹ方向に画素をずらしながら探索範囲全体に亘ってデータを抽出することで、探索範囲内から、参照フレーム画像の追尾領域と照合されるべき複数の比較領域の画像データを抽出する。これらの比較領域のいずれが最も参照フレーム画像の追尾領域に類似しているかを判定するため、即ち、当該照合フレーム画像のどの領域が参照フレーム画像の追尾領域に相当するかを判定するため、本実施形態のマッチング部２６は、上記の抽出処理と並行して、次式で表される相関値Ｓ_ijを演算する。
Ｓ_ij＝ΣΣ｜ｈ_ijpq−ｇ_pq｜ （１）
ここで、Ｓ_ijは、Ｘ方向にi番目、Ｙ方向にj番目の比較領域８４（以下、比較領域（i,j））と追尾領域との間の相関値を示している。また、ｈ_ijpqは、比較領域（i,j）を構成する画素のうちＸ方向にp番目、Ｙ方向にq番目の画素のデータ値（階調値）を示している。ｇ_pqは参照フレーム画像の追尾領域の画像データ８０を構成する画素のうちＸ方向にp番目、Ｙ方向にq番目の画素のデータ値（階調値）を示している。なお、（１）式におけるΣΣは、全てのp=1,2,・₀, 及び、全てのq=1,2,・₁,に関して総和を取ることを意味している。

相関値Ｓ_ijは、小さい値ほど類似度が大きい（すなわち、より類似している）ことを意味している。よって、補正テーブルによる相関演算結果の補正が無ければ、追尾領域決定部３６は、最小の相関値Ｓ_ijを持つ比較領域（i,j）を当該照合フレーム画像における追尾領域として決定することができる。なお、類似度の算出方法は、相関値を与える（１）式に限定されるものでなく、類似度を表すことができる限り任意好適の演算式を使用することが可能である。

なお、（１）式では、画素単位に演算を行う例について説明したが、隣接する複数の画素を１つのブロックとして、ブロック単位で演算を行うことも可能である。例えば、画像データ８０（テンプレート）が２１画素×２１画素の場合、１ブロックを７画素×７画素とし、当該１ブロックの画素値を、当該１ブロックを構成する全画素の画素値の平均値又は総和値とすることでテンプレートを３ブロック×３ブロックで表すことが可能となり、（１）式によるマッチング演算量を大幅に低減させることができる。

次に、補正テーブル演算部３３の内部構成を図４の機能ブロック図を用いて説明する。図４に示されるように、補正テーブル演算部３３は、距離補正テーブル演算部７０と、方向補正テーブル７２と、振れ補正テーブル７４と、を備えている。

距離補正テーブル演算部７０は、照合フレーム画像内において参照フレーム画像の追尾領域に対応する位置からの（照合フレーム画像内での）距離が大きくなるほど追尾対象の存在する確率が低くなるという経験事実に鑑みて相関演算結果２７に対して上記距離が大きいほど相関値を増大させる補正を適用するものである。本実施形態の距離補正テーブル７０は、画角（撮影レンズ１２の焦点距離、及び／又は、クロップ領域のサイズ）、及び、撮影距離の少なくともいずれかに基づいて、補正テーブルにおける上記距離に応じた相関値増大補正を変更して距離補正テーブルを演算することを特徴としている。その変更方法の詳細に関しては後述する。

方向補正テーブル演算部７２は、照合フレーム画像内において参照フレーム画像の追尾領域に対応する位置からの比較領域の方向が移動方向予測部３０により予測された被写体の移動方向に近いほど相関値が小さく（遠いほど相関値が大きく）なるように当該比較領域の相関値を補正するための方向補正テーブルを演算する。方向補正テーブル演算部７２は、デジタルカメラ１０自体が動くことによる被写体の画像上での移動方向を予測するためにセンサ１７ａ、１７ｂ、１８ａ，１８ｂにより検出された角速度／加速度を使用してもよい。方向補正テーブルの演算方法の詳細については後述する。

振れ補正テーブル演算部７４は、光学式手振れ補正がオフのときに手振れによる追尾対象検出への影響を軽減するための振れ補正テーブルを演算する。振れ補正テーブルの演算方法の詳細については後述する。

補正テーブル演算部３３は、演算された距離補正テーブル、方向補正テーブル及び振れ補正テーブルを掛け合わせて補正テーブル７６を生成するための演算子７５を更に備えている。

次に、デジタルカメラ１０の被写体追尾モードにおける処理の流れを図５のフローチャートに沿い、図２、図３、図６及び図１３を参照しながら説明する。なお、図５は、ＣＰＵユニット１の処理手順の一例を示すフローチャートである。図５に示す処理手順のプログラムは、上述したようにＣＰＵユニット１内のＲＯＭ１ｃ又はフラッシュメモリ１ｄに記録されている。

図５に示されるようにＣＰＵユニット１は、時系列画像を取得する（ステップ１００）。図６には、時系列画像４０の一例が示されている。時系列画像４０は、時系列的に並べられた複数のフレーム画像ｆ_１、ｆ_２、．．．ｆ_ｎである。時系列画像４０は時系列画像メモリ２０に順次格納される。なお、ステップ１００の時系列画像の取得は、次のステップ１０２の実行前に完了されても、或いは、ステップ１０２以降のステップが実行されている間に並列に実行されてもよい。

次に、ＣＰＵユニット１は、最初に入力されたフレーム番号ｆ_１の参照フレーム画像を時系列画像メモリ２０から読み出し、参照画像メモリ２１に格納する。図３の追尾領域抽出部２２は、参照画像メモリ２１の画像データ（参照フレーム画像ｆ_１）から、追尾するべき被写体の少なくとも一部を含む追尾領域を特定し、当該追尾領域の画像データを内部メモリ（図２のＲＡＭ１ｂ）に格納する（ステップ１０２）。被写体の追尾領域の特定方法としては、ＣＰＵ１ａが、ディスプレイ６のタッチパネルに撮影者が触れた箇所若しくはディスプレイ６上で指定されたＡＦフレームの位置を追尾領域として特定する方法や、参照フレーム画像を検索して「顔」などの特定箇所を自動認識して追尾領域として特定する方法などが挙げられる。図６の例では、参照フレーム画像ｆ_１において被写体の一部５０（例えば人物の顔）が特定され、当該被写体５０の追尾領域５２が示されている。

次に、ＣＰＵユニット１（図３の画角演算部２８）は、時系列画像４０の撮影時の画角を決定する（ステップ１０４）。なお、画角演算部２８は、クロップをしない場合には、撮影レンズ１２から送られてきた焦点距離情報又は画像データ撮影情報領域に記憶されている「焦点距離」情報を「画角」として直接出力してもよい。

次に、ＣＰＵユニット１（図３の探索範囲決定部３１）は、画角演算部２８から出力された画角（焦点距離）等に基づいて探索範囲を決定する（ステップ１０６）。後述するマッチング演算を行う範囲を、この探索範囲の画像データに限定することによって演算量を大幅に軽減することが可能となる。この探索範囲の決定方法を図６を用いて説明する。追尾領域抽出部２２は、参照フレーム画像ｆ_１において特定された追尾領域の中心の画素の座標位置を決定する。この位置は、図６では参照フレーム画像ｆ_１において位置Ａとして示されている。また、照合フレーム画像ｆ_２においてもこれと同じ座標位置が基準位置Ａとして示されている。探索範囲決定部３１は、照合フレーム画像ｆ_２において、例えば、基準位置Ａを中心として水平方向及び垂直方向に所定の画素数の領域を探索範囲５６として決定する。後述するように探索範囲決定部３１は、探索範囲の大きさ（縦横の画素数）を画角（焦点距離）に応じて増減させる。

次に、ＣＰＵユニット１（補正テーブル演算部３３）は、画角演算部２８から出力された画角（焦点距離）に基づいて補正テーブル（図４の７６）を演算する（ステップ１０８）。このような補正テーブルの例が、図９（Ａ）、（Ｂ）、（Ｃ）、図１１に示されている。補正テーブルの詳細に関しては後述する。

次に、ＣＰＵユニット１は、フレーム番号ｋを１だけインクリメントする（ステップ１１０）。ＣＰＵユニット１は、フレーム画像ｆ_ｋ（この場合、ステップ１１０でｋ＝２となるため、フレーム画像ｆ_ｋは参照フレーム画像の次に入力されたフレーム画像ｆ_２となる）を時系列画像メモリ２０から読み出し、照合画像メモリ２１に格納する（ステップ１１２）。

次に、マッチング部２６が、参照フレーム画像から抽出された追尾領域５２の画像と照合フレーム画像ｆ_ｋとの間でマッチング演算を実行し、相関演算結果２７を出力する（ステップ１１４）。相関演算結果２７は、フレーム画像ｆ_ｋに関して、全ての比較領域（i,j）の相関値の組（類似度の組）として与えられる。この相関演算結果２７の具体的数値例を図１３（Ａ）に示す。図１３（Ａ）の中央の値５０に付けられた（Ａ）は、この相関値を与えた比較領域の中心位置が上記位置Ａであることを示している。この位置Ａは、図１２でも示されており、この相関値５０は、位置Ａを中心とする比較領域８４とテンプレート８０との間の相関値を示している。
次に、ＣＰＵユニット１（補正演算部３４）が、ステップ１０８で演算された補正テーブルを用いてフレーム画像ｆ_２の相関演算結果２７を補正し、補正演算結果３５（補正された類似度の組）を出力する（ステップ１１６）。この補正相関演算結果３５の具体的数値例を、図１３（Ｂ）に示す。図１３（Ｂ）の補正相関演算結果は、図１３（Ａ）の演算結果の各値に対して図９（Ａ）の補正テーブルで対応位置の値を各々乗算した結果である。

次に、ＣＰＵユニット１（追尾領域決定部３６）が、補正演算結果３５を検索することにより、フレーム画像ｆ_２から参照フレーム画像ｆ_１の追尾領域に最も類似した領域（相関値最小の領域）を新たな追尾領域として決定する（ステップ１１８）。図１３（Ｂ）の補正相関演算結果の例では、最小の相関値４０を与えるのは、位置Ａを中心とする比較領域から右方向に２番目の比較領域であり、この比較領域の位置に被写体が移動したとみなすことができる。なお、相関値（類似度）が上位にある複数の位置を候補として選択し、複数の候補の中から、他の条件を考慮して追尾位置を決定するようにしてもよい。
ＣＰＵユニット１は、フレーム番号ｋが所定のフレーム追尾制限数ｎに達しているか否かを判定し（ステップ１２０）、フレーム番号ｋがｎに達した場合、追尾を完了する。

フレーム番号ｋが所定のフレーム追尾制限数ｎに達していない場合、移動方向予測部３０が追尾領域の移動方向を予測する（ステップ１２２）。移動方向予測部３０は、例えば、直前のフレーム画像（最初のループでは、参照フレーム画像ｆ_１）で抽出された追尾領域の位置から、ステップ１１８で決定された現段階での照合フレーム画像（最初のループでは、ｆ_２）の追尾領域の位置までの方向を被写体の移動方向と予測する。例えば、図６では、フレーム画像ｆ_２における被写体５０の位置は、フレーム画像ｆ_１における被写体５０の位置Ａよりも画面に向かって右側に移動している。この場合は、移動方向予測部３０は、例えば、次のフレーム画像ｆ_３においても、被写体５０が右方向に移動していると予測する。なお、移動方向予測部３０は、過去の複数のフレーム画像の被写体の位置が与えられた場合には、これらの複数の位置から最小二乗法などを用いて被写体の移動方向を予測してもよい。

移動方向が予測されると、ＣＰＵユニット１は処理をステップ１０６に戻し、探索範囲決定部３１が、探索範囲を決定する。最初のループのときは、探索範囲決定部３１は、フレーム画像ｆ_２におけるフレーム画像ｆ_１での被写体の位置Ａが探索範囲の中心となるように、画角（焦点距離）に応じたサイズの探索範囲を決定していた。２回目のループでは、探索範囲決定部３１は、フレーム画像ｆ_３において、フレーム画像ｆ_２の追尾領域５２に対応する位置から、予測移動方向にずれた探索範囲を設定する。

２回目のループにおいては、被写体の移動方向の情報が得られているため、ステップ１０８において、方向補正テーブル演算部７２（図４）が予測移動方向に基づいて方向補正テーブルを演算する。補正テーブル演算部３３は、新たに演算された方向補正テーブルと最初のループで演算された距離補正テーブルとを掛け合わせることによって画角（焦点距離）及び移動方向の両方を考慮した補正テーブル７６を出力する。

ＣＰＵユニット１は、図３の参照画像メモリ２１に、照合画像メモリ２４に格納されているフレーム画像ｆ_２の画像データを転送／上書きする。すなわち、フレーム画像ｆ_２を新たな参照画像とする。また、ＣＰＵユニット１は、照合画像メモリ２４に、時系列画像メモリ２０に格納されているフレーム画像ｆ_３の画像データを転送／上書きする。追尾領域抽出部２２は、追尾領域決定部３６により決定されたフレーム画像ｆ_２の追尾領域５２の画像データを抽出する。マッチング部２６は、フレーム画像ｆ_２の追尾領域５２の画像データとフレーム画像ｆ_３とのマッチング演算を実行し、フレーム画像ｆ_３における相関演算結果２７を出力する（ステップ１１４）。補正演算部３４が、新たな補正テーブルを用いてフレーム画像ｆ_３の相関演算結果２７を補正し、補正演算結果３５を出力する（ステップ１１６）。次に、追尾領域決定部３６が、補正演算結果３５を検索することにより、フレーム画像ｆ_３から参照フレーム画像ｆ_２の追尾領域に最も類似した領域を新たな追尾領域として決定する（ステップ１１８）。
以上の処理を繰り返すことにより、時系列画像の各フレーム画像において順次、追尾領域が検出される。追尾制御部３７は、追尾領域決定部３６が決定した追尾領域の情報に基づいて、ディスプレイ６上に表示された画像の追尾領域に対応する位置に追尾枠を順次表示させ、当該追尾位置の領域に合焦させるための動作を実行するようにデジタルカメラ１０を制御する。

なお、図５の被写体追尾処理で用いられる補正テーブルは、補正演算部３３が距離補正テーブルと方向補正テーブルとに基づいて生成したものであるが、振れ補正テーブルを考慮した補正テーブルも同様に適用可能である。

ここで補正演算部３４の作用及びステップ１０８において演算された補正テーブルの作用に関して、図４、図７乃至図１１を用いて詳しく説明する。

画角に基づいて生成される補正テーブルに関連して、図７には、撮影レンズの焦点距離が広角の場合と望遠の場合との画角の相違が示されている。被写体５０が同一の撮影距離Ｌ_１において矢印５８の方向に同じ移動量で移動する場合（矢印５８の長さが移動量を表すものとする）を想定する。広角レンズで撮影した場合、広い画角により撮影距離Ｌ_１における撮影範囲６０が広くなるため、当該撮影範囲６０に対する被写体移動距離の比は望遠の場合よりも小さくなる。これに対して望遠レンズで撮影した場合、狭い画角により撮影距離Ｌ_１における撮影範囲６２が狭くなるため、当該撮影範囲６２に対する被写体移動距離の比は広角の場合よりも大きくなる。この状況は、撮影レンズの焦点距離が同一であっても、撮影領域の一部をクロップすることにより望遠効果をもたせる場合にも当てはまる。

図８は、位置Ａを中心とした照合フレーム画像において、被写体が存在する確率の分布を基準画角、広角、望遠の各々について示している。これらの図において「確率大」と示された領域は、「確率小」と示された領域よりも、被写体が存在する確率が高いことを示している。図８（Ａ）の基準画角での確率分布に示すように、一般に、被写体は位置Ａの近傍に留まる方が周辺に存在するよりも確率が高くなる。一方、図８（Ａ）の基準画角よりも広角側で撮影する場合、図８（Ｂ）に示すように、被写体が存在する確率が高くなる「確率大」の領域は、図８（Ａ）の「確率大」の領域よりも小さくなる。この理由は、図７で説明したように、撮影範囲６０に対する被写体移動距離５８の比が小さくなるからである。逆に、図８（Ａ）の基準画角よりも望遠側で撮影する場合、図８（Ｃ）に示すように、被写体が存在する確率が高くなる「確率大」の領域は、図８（Ａ）の「確率大」の領域よりも大きくなる。この理由は、図７で説明したように、撮影範囲６２に対する被写体移動距離５８の比が大きくなるからである。そのため、画角（焦点距離）に応じて変化する確率分布に適合するように、相関値（類似度）の分布（相関演算結果３５）を補正することによって、被写体をより正確に追尾することができることが理解できる。すなわち、「確率大」の領域では、演算された相関値が相対的に小さくなり（類似度が相対的に大きくなり）、「確率小」の領域では、演算された相関値が相対的に大きくなる（類似度が相対的に小さくなる）ように、画角（焦点距離）に応じて相関演算結果３５を補正する。この点に関して、前述した図９の補正テーブルを例にして説明する。

図９（Ａ）には、基準画角に対応した補正テーブルが示されている。この補正テーブルの各数値は、図１３（Ａ）に示されるような相関演算結果２７の各々対応する位置の相関値に乗算される。すなわち、補正テーブルの各数値は相関値の重み係数である。補正テーブルには、位置Ａからの距離が大きいほど大きな重み係数値が記載されている。そのため、補正演算結果３５の各相関値は、当該距離が大きいほど最初に演算された相関演算結果２７の相関値よりも増加される割合が大きくなり、類似度が小さいと判断される可能性が高くなる。これによって追尾領域決定部３６が本来追尾したい被写体の周辺部に存在する領域を誤って追尾領域と誤認識する可能性は大幅に減少する。これは、図８（Ａ）に示した状況に対応している。図９（Ａ）の補正テーブルの各値は、位置Ａの係数を１とし、それ以外は１画素を１単位として位置Ａからの距離を２倍した値を採用している。例えば位置Ａから水平方向に２画素、垂直方向に１画素ずれた領域の重み係数は２√５となる。勿論、距離補正テーブル演算部７０は、位置Ａからの距離に応じて増大する限り、任意の値を重み係数として採用可能である。また距離補正テーブル演算部７０は、平方根の計算を省略して演算量を軽減するため、例えば位置Ａから水平方向に２画素、垂直方向に１画素ずれた場合の距離を２＋１＝３と考えて、重み係数を設定してもよい。

図９（Ｂ）には、広角に対応した補正テーブルが示されている。この補正テーブルの各重み係数は、図９（Ａ）の補正テーブルの各重み係数を２倍した値に対応している（位置Ａ除く）。図９（Ｂ）の重み係数は、位置Ａからの距離が大きいほど大きくなるが、図９（Ａ）に比べてより大きい重み係数が設定されるため、被写体が位置Ａのより近傍に存在し得る図８（Ｂ）の状況を想定したものとなっている。

図９（Ｃ）には、望遠に対応した補正テーブルが示されている。この補正テーブルの各重み係数は、図９（Ａ）の補正テーブルの各重み係数を１／２倍した値に対応している（位置Ａ除く）。図９（Ｃ）の重み係数は、位置Ａからの距離が大きいほど大きくなるが、図９（Ａ）に比べてより小さい重み係数が設定されるため、被写体が位置Ａから離れた領域まで存在し得る図８（Ｃ）の状況を想定したものとなっている。

従って、補正テーブル演算部３３は、焦点距離を小さくして、あるいはクロップ領域のサイズを大きくして画角を広くする場合には、図９（Ｂ）に示すように重み係数の分布の分散・標準偏差を小さくする。補正テーブル演算部３３は、焦点距離を大きくするか或いはクロップすることで画角を狭くする場合には、図９（Ｃ）に示すように重み係数の分布の分散・標準偏差を大きくする。

補正テーブルを画角に応じて変更する具体的構成として、例えば、図４に示すように、距離補正テーブル演算部７０が、入力された画角（焦点距離、クロップ領域サイズ）に応じた係数を演算し、補正テーブルデータベース３２に格納された図９（Ａ）の補正テーブルの各値に乗算することによって画角を考慮した距離補正テーブルを生成する構成が考えられる。また、補正テーブルデータベース３２に、例えば特定の複数の焦点距離に対応する補正テーブルを記憶し、距離補正テーブル演算部７０が設定された焦点距離に応じて補正テーブルを読み込むようにしてもよい。この場合、記憶されていない焦点距離情報が与えられた場合には、距離補正テーブル演算部７０は、補間演算によって、入力された焦点距離に対応する補正テーブルを求める。なお、距離補正テーブル演算部７０は、画角（焦点距離）毎に補正内容を設定しても、画角（焦点距離）の変化量に応じて、補正内容を設定・変更してもよい。また、上記画角（焦点距離）情報は、時系列画像撮影時に撮影レンズから得られる情報を用いるものであっても、時系列画像データに関連付けて記憶されている撮影時の画角（焦点距離）情報を用いるもののいずれであっても構わない。

距離補正テーブル演算部７０の他の実施形態は、画角のみならず、被写体との撮影距離も考慮して距離補正テーブルを生成する。図７に示されるように、被写体５０が撮影距離Ｌ_１よりも撮影者により近い距離Ｌ_２に存在する場合、距離Ｌ_２での撮影範囲６１、６３は、距離Ｌ_１での撮影範囲６０、６２よりも各々小さくなり、被写体が同じ距離移動したとしても、その移動距離が撮影範囲６１、６３に対して占める割合は、大きくなる。このため、補正テーブルの重み係数を小さくし、位置Ａから比較的離れた領域まで類似度が大きくなることを可能にする。逆に、撮影距離が遠くなった場合は、位置Ａから離れた領域では類似度を小さく抑えるように補正テーブルの重み係数を大きくする。中遠距離の場合は、画角情報のみで距離補正テーブルを生成し、近距離時のみ、画角情報及び撮影距離の両方を考慮して距離補正テーブルを生成するようにしてもよい。

被写体の移動方向に基づいて生成される補正テーブルに関連して、図１０は、一例として被写体が水平右方向に移動する場合の被写体の存在確率の分布を示している。この例の場合、図１０に示されるように、中心位置から水平右方向に、被写体が存在する確率が大きい「確率大」の領域が存在し、当該方向以外の領域には、被写体が存在する確率が小さい「確率小」の領域が存在する。そのため、被写体の移動方向に応じて変化する確率分布に適合するように、相関値（類似度）の分布（相関演算結果３５）を補正することによって、被写体をより正確に追尾することができることが理解できる。このような被写体の移動方向に応じて相関値を補正するための補正テーブルの例が図１１に示されている。図１１の補正テーブルでは、位置Ａより右側の重み係数が左側の重み係数よりも小さくなり、非対称となっている。これによって、水平右方向にある比較領域ほど相関値の増加が小さく、即ち類似度が大きくなりやすく、追尾領域対象として抽出される可能性が高くなる。勿論、これ以外の移動方向においても、当該他の移動方向に重み係数が小さい補正テーブルを生成することによって、対応することができる。

図１１の補正テーブルは、特定方向に関してだけでなく、位置Ａからの距離に応じて重み係数を大きくするテーブル内容となっている。しかし、図４の方向補正テーブル演算部７２は、この例に限定されず、位置Ａからの距離にはよらず特定の移動方向にのみ重み係数を小さくした補正テーブルを生成することもできる。方向のみを考慮した方向補正テーブルと、距離補正テーブル演算部７０により生成された距離補正テーブルとを、演算子７５で掛け合わすことによって、方向と距離の両方に対応した補正テーブル７６を生成することができるからである。また、距離補正テーブル演算部７０で距離補正テーブルを生成せず、方向補正テーブルを補正テーブル７６として使用することも可能である。例えば被写体が一定の方向に速度を変えながら移動している場合、当該方向に沿って被写体が存在することは確実であるが、位置Ａからのどの距離にあるかが不確実である場合など、方向補正テーブルのみで相関演算結果を補正することで被写体追尾により的確に対応することができる。

また、一般的に追尾対象被写体は、撮影画面上の横方向（水平な方向）に移動することが多い。このため、方向補正テーブル演算部７２は、位置Ａからの方向が画面横方向範囲にある比較領域の類似度を、位置Ａからの方向が画面縦方向範囲にある比較領域の類似度よりも相対的に増加させるような補正テーブルを生成してもよい。すなわち、撮影画面上の横方向の重み係数の分布の標準偏差を、縦方向の重み係数の分布の標準偏差より大きくする。この横方向重点補正テーブルは、被写体の移動方向を検出しない場合にも、適用することができるし、被写体の移動方向を考慮した上記補正テーブルと結合させて適用することもできる。

方向補正テーブル演算部７２の他の実施形態は、移動方向予測部３０により決定された移動方向だけではなく、センサ１７ａ，１７ｂ及び１８ａ、１８ｂにより検出された加速度／角速度情報に基づいて移動方向を決定する。被写体が静止している場合（例えば人物の姿勢認識で静止していると判断された場合など）、構図を変えるためカメラを一定方向に回転させると、被写体自体は移動してなくても撮影画面上では被写体が移動する。２つの角速度センサ１７ａ、１７ｂにより検出された角速度に基づけば撮像素子上の被写体の像の移動方向を推定することができるため、この移動方向を考慮した方向補正テーブルを生成することが可能となる。また、加速度センサ１８ａ、１８ｂにより加速度が検出された場合にも、方向補正テーブル演算部７２は、被写体が検出された加速度及び被写体までの撮影距離に応じた移動量で移動すると判定できる。２つの加速度センサ１８ａ、１８ｂにより検出された加速度に基づけば撮像素子上の被写体の像の移動方向を推定することができるため、この移動方向を考慮した方向補正テーブルを生成することも可能となる。逆に、移動方向予測部３０で被写体が移動していると判断されても、手振れ以外に起因する角速度等が検出されなければ、その移動は被写体自身によるものと判定することができる。

次に、図４の振れ補正テーブル演算部７４の作用について説明する。
デジタルカメラ１０の光学式手振れ補正モードがオンのとき、センサ１７ａ，１７ｂ及び１８ａ、１８ｂにより検出された加速度／角速度情報から撮影者の手振れ量を検出し、当該手振れ量を打ち消すように防振レンズ群１６を動作させる。この場合、撮影画像上には手振れによる影響は表れないため、振れ補正テーブル演算部７４は、手振れを考慮した補正テーブルを生成する必要はない。振れ補正テーブル演算部７４は、光学式手振れ補正モードがオフのときは、電子振れ補正がオンであったとしても補正テーブルを生成する。なお、検出された加速度／角速度情報の中には、上述のような手振れでない一方向の移動を反映した情報もあるが、手振れに起因する振動と一方向の移動とは一方向の加速度／角速度の変動成分を遮断し手振れ付近の振動成分を通過させるフィルターを用いて分離することができる。

デジタルカメラ１０の光学式手振れ補正モードがオフのとき、追尾対象被写体の移動とは無関係に手振れによる画像の揺れが発生し、被写体追尾に悪影響を与えるおそれがある。そこで、振れ補正テーブル演算部７４は、手振れ補正モードオフ時に手振れに起因する角速度又は加速度が検出されたとき、この手振れ範囲に相当する領域の補正量を小さくした揺れ補正テーブルを生成する。図１４（Ａ）には、揺れ補正テーブルの一例が示されている。図１４（Ａ）の例では、振れ補正テーブル演算部７４は、位置Ａの周囲に、位置Ａと同じ重み係数が１の範囲を設け、手振れによりこの範囲に被写体位置がずれたとしても追尾精度に影響がないように値を設定している。図１４（Ａ）の場合よりもさらに焦点距離が大きくなるか或いはクロップされるなどして画角が狭くなった場合、振れ補正テーブル演算部７４は、図１４（Ｂ）に示すように、より広い範囲で重み係数を小さくする。或いは、振れ補正テーブル演算部７４は、図１４（Ｃ）に示すようにより広い範囲の重み係数を位置Ａでの係数と同じ１にする。逆に、図１４（Ａ）の場合よりもさらに焦点距離が小さくなるか或いはクロップ領域がより大きく設定されるなどして画角が広くなった場合、振れ補正テーブル演算部７４は、重み係数が小さく設定された範囲を縮小する。これによって、任意の画角で手振れの影響を防止することができる。なお、手振れ範囲は、画角のみならず、検出された角速度又は加速度の大きさ、角度振れ／シフト振れの別、撮影距離に応じて異なるので、これらを考慮して振れ補正テーブル内の手振れ対応範囲を設定するのがより好ましい。

手振れと一定方向の加速度／角速度が同時に存在している場合は、方向補正テーブル演算部７２及び振れ補正テーブル演算部７４が方向補正テーブル及び振れ補正テーブルを各々演算し、これらのテーブルを演算子７５が結合することによって、手振れと一定方向の加速度／角速度の両方に対応した補正テーブル７６を生成することができる。
次に、図５のステップ１０６の具体的内容に関して説明する。

上述したように、ステップ１０６では、探索範囲決定部３１は、探索範囲を、位置Ａを中心として水平方向及び垂直方向に所定の画素数の領域として設定した。例えば図１２では、位置Ａが中心位置となるように探索範囲（８２）を設定している。しかし、図６の例のように、被写体５０が水平右方向に移動する場合には、探索範囲決定部３１は、位置Ａが中心位置よりも被写体移動方向とは反対の方向にずれた位置となるように探索範囲５６を設定するのが好ましい。すなわち、探索範囲決定部３１は、被写体移動方向に、より広い範囲を取る非対称の探索範囲とする。これによって、マッチング部２６が、被写体が存在する確率がほとんどない領域までマッチング演算する必要はなくなり、追尾領域検出精度の向上、並びに、追尾処理の高速化を図ることができる。なお、図６では、右方向に被写体が移動する例が示されているが、探索範囲決定部３１は、左方向、上下方向に移動する場合や斜め方向に移動する場合であっても、移動方向にずれた探索範囲を設定することができる。

また、探索範囲決定部３１は、探索範囲のサイズを画角及び撮影距離等に応じて変えるのが好ましい。探索範囲決定部３１は、例えば画角が狭い場合、探索範囲をより広く取り、画角が広い場合には、探索範囲をより狭くする。また、探索範囲決定部３１は、被写体までの撮影距離が小さい場合、探索範囲をより広く取り、撮影距離が大きい場合には、探索範囲をより狭くする。さらに、探索範囲決定部３１は、相関演算結果２７に基づいて探索範囲を決定してもよい。例えば探索範囲決定部３１は、相関値が小さい領域が広い場合は探索範囲を広く取り、相関値が小さい領域が狭い場合は探索範囲を狭く取る。

なお、図５のフローチャートでは、取得された時系列画像の全てに対して追尾処理を行っている。しかし、被写体がフレームアウトすることもあるので、この場合には、被写体追尾ができなくなる。一方、被写体がフレームアウトしたとしても再度フレームインすることもあるため、フレームイン時に再度追尾対象を捕捉可能にするため追尾処理を続行することが要求されている。しかし、再度フレームインするかもしれない被写体を待っていると、その間、追尾枠が画面上を移動することになり、見た目が好ましくない上に、その追尾枠の点に合焦し続けることとなる。

上記点に鑑みて本発明の実施形態では、検出された追尾領域の相関値が大きい場合に、タイムアウト時間を設定し、タイムアウト時間以内に相関値が小さくならない場合には、被写体追尾を中止する処理を行う。図１５には、ＣＰＵユニット１のＣＰＵ１ａが実行するタイムアウト処理の一例が示されている。このタイムアウト処理は、図５の処理と並列に実行され、追尾を中止するときは、図５の処理に割り込みをかける。なお、タイムアウト処理のプログラムは、ＣＰＵユニット１のＲＯＭ１ｃ又はフラッシュメモリ１ｄに格納されている。

図１５に示されるように、ＣＰＵ１ａは、図５のステップ１１８で決定されたフレーム画像ｆ_ｋの追尾領域（追尾対象候補）の相関値Ｓが所定の閾値Ｔｈを超えるまで待機する（ステップ２００）。ＣＰＵ１ａは、相関値Ｓが閾値Ｔｈを超えたと判定した場合（ステップ２００肯定判定）、すなわち、相関値が大きいと判定した場合、当該追尾対象候補は、真の追尾領域ではなく、被写体がフレームアウトした可能性が高いとみなし、タイムカウントを開始する（ステップ２０１）。すなわち、タイムカウント値Ｔ_countが逐次更新される。以後、バックグラウンドでカウントが進行する。次にＣＰＵ１ａは、画角等に応じたタイムアウト時間Ｔ_outを設定する（ステップ２０２）。例えば焦点距離が長い場合には、撮影範囲が小さくなるので、手振れなどにより、被写体がフレームアウトした場合に、再度撮影範囲内に追尾対象被写体を捉えるのは難しくなる。従って、焦点距離が長いほど、タイムアウト時間を長く設定する構成とするのが好ましい。

ＣＰＵ１ａは、追尾対象候補の相関値Ｓを監視し（ステップ２０４）、相関値Ｓが所定の閾値Ｔｈを超えたか否かを判定する（ステップ２０６）。ＣＰＵ１ａは、相関値Ｓが閾値Ｔｈを超えていると判定した場合（ステップ２０６肯定判定）、タイムカウント値Ｔ_countがステップ２０２で設定されたタイムアウト時間Ｔ_outを超えたか否かを判定する（ステップ２０８）。ＣＰＵ１ａは、タイムカウント値Ｔ_countがタイムアウト時間Ｔ_outを超えていないと判定した場合（ステップ２０８否定判定）、ステップ２０４に戻り、追尾対象候補の相関値Ｓの監視を続行する。ＣＰＵ１ａは、タイムカウント値Ｔ_countがタイムアウト時間Ｔ_outを超えたと判定した場合（ステップ２０８肯定判定）、図５の被写体追尾を中止するための割り込み信号を生成し、リターンする。

一方、ＣＰＵ１ａは、タイムアウト時間内で、追尾対象候補の相関値Ｓが閾値Ｔｈ以下となったと判定した場合（ステップ２０６否定判定）、すなわち、類似度が大きくなったと判定した場合、被写体がフレームインした可能性が高いとみなし、タイムカウント値Ｔ_countをクリアし、再カウントを開始する（ステップ２１２）。ＣＰＵ１ａは、再びステップ２０２に戻り、時系列画像の追尾が終了するまで同様の処理を繰り返す。なお、ステップ２０６では、一度でも相関値Ｓが小さくなると、被写体がフレームインしたとみなしているが、フレームインの判定条件はこれに限定されず、例えば連続的に複数のフレーム画像に亘って相関値Ｓが小さい状況が続いたときに、ステップ２１２を実行するようにしてもよい。

本発明の実施形態に係るタイムアウト処理では、被写体がフレームアウトした場合に、画角に応じたタイムアウト時間内で追尾を続行するため、被写体がフレームインしたときに再び被写体を捕捉できるチャンスを保持することができる。また、タイムアウト時間を過ぎると、追尾を中止するため、偽の被写体を長時間に亘って追尾する不具合な状況を回避することができる。

以上が本発明の実施形態であるが、本発明は上記例にのみ限定されるものではなく、本発明の範囲内で任意好適に変更可能である。

例えば、本発明の画像追尾装置及び方法をデジタルカメラ１０を例にして説明したが、本発明は、デジタルカメラへの応用には限定されない。例えば、コンピュータ、専用の画像解析装置、携帯型情報処理端末（携帯電話、スマートフォン、タブレット型端末などを含む）等を始めとした画像情報処理装置にも、カメラ機能の有無によらず、広く適用可能である。本発明には、カメラ機能を有していないか或いはカメラ機能を使用しない場合でも、時系列画像を入力することによって本発明の画像追尾方法を実行可能な全ての装置が含まれる。

図５のステップ１００において、ＣＰＵユニット１は、時系列画像４０として、デジタルカメラ１０により静止画として連続撮影若しくは動画撮影されて画像処理ユニット２から送られてきたデータを直接、取得してもよい。或いは、ＣＰＵユニット１は、時系列画像として、媒体に記憶され若しくはダウンロードされた複数の撮影画像を使用してもよい。また、ＣＰＵユニット１は、後の処理の演算省力化のために、撮影時よりも小さい画像サイズにリサイズされた時系列画像４０を用いてもよい。時系列画像４０のフレーム画像ｆ_１、ｆ_２、．．．ｆ_ｎは、古い順（即ち、フレーム番号が大きいほど後の時刻で撮影されたもの）でも、新しい順（即ち、フレーム番号が大きいほど、以前の時刻に遡って撮影されたものである）のいずれの順で並べられていてもよい。後者の場合は、時系列画像は撮影済であり、時間的に過去に遡って被写体追尾することになる。

また、本発明は、本発明の画像処理方法を上記画像情報処理装置に実行させるためのプログラムの形態で提供されてもよい。当該プログラムは、インターネット等からダウンロードする電子データの形態、記憶媒体に記憶された形態、ソースコードで記述された形態のいずれでも本発明の範囲内に含まれる。

さらに、本発明の類似度を示すものとして、（１）式で表される相関値を例にしたが、上述の通り類似度を示す演算値であれば任意の値を用いることができるのは勿論のこと、演算値が大きいほど類似度が大きいことを示すものであってもよい。この場合、上記補正テーブルの例とは逆に、大きい類似度の領域では補正テーブルの重み係数を大きくし、小さい類似度の領域では重み係数を小さくする。また、マッチングの仕方も変更可能であり、例えば図１２のマッチング演算では比較領域８４を１画素ずらしながら、相関値を演算していたが、２画素以上ずらしながら演算することもできる。

図５の処理の流れは、一例であって、本発明の範囲内において変更可能である。例えば、図５では、ＣＰＵユニット１が、参照フレーム画像の追尾領域を直前に追尾位置が決定されたフレーム画像の追尾領域に順次置き換え、探索範囲決定部がこの更新された追尾位置に基づいて探索範囲を決定していた。しかし、ＣＰＵユニット１は、時系列画像４０の追尾処理において一旦特定した参照フレーム画像の追尾領域とその位置Ａを変更せずにマッチング演算及び探索範囲の決定に使用してもよい。また、マッチング部が、参照フレーム画像ｆ１の画像データをマッチング演算にそのまま用い（すなわち、ｆ１とｆ２、ｆ１とｆ３、ｆ１とｆ４．．．との間でマッチングを行う）、探索範囲決定部が、更新された照合フレーム画像の追尾領域の位置に基づいて探索範囲を決定してもよい。

また、図５の処理では、画角等に基づいて補正テーブルを決定し（ステップ１０４〜１０６）、その後の照合フレーム画像とのマッチングのループ（ステップ１２２〜１２２）では、決定された補正テーブルを変更せずに使用している。これは、フレーム画像（ｆ_１〜ｆ_ｎ）において焦点距離が一定、すなわち画角が一定であることを仮定したものである。本発明は、この例に限定されず、照合フレーム画像の途中で焦点距離（画角）が変化する態様も含んでいる。この場合、焦点距離の変化によって被写体領域の大きさが変化するため、追尾精度を維持するためには、テンプレートの画像サイズを焦点距離に応じて変化させるのが好ましい。例えば、焦点距離が広角側に変化したときは、テンプレートの画像サイズを大きくし、望遠側に変化したときはテンプレートの画像サイズを小さくする（画素をビニングする）。テンプレートの画像サイズの変更に応じて、補正テーブルの重み係数の分布を調整するのが好ましい。このような形態は、フレーム番号ｋが所定のフレーム追尾制限数ｎに達していない場合に、図５のステップ１２２の処理の実行の後に、ステップ１０４に戻る構成とすることにより実現できる。このような構成とすれば、時系列画像取得時に、画角が変化したような場合であっても、適切な補正テーブルの演算を行うことができる。

また、上記図１１の説明においては、被写体の移動方向に基づいて生成される補正テーブルについて説明したが、被写体の移動方向、及び被写体の予測位置に基づいて補正テーブルを生成する構成としてもよい。この場合、図１１中の（Ａ）で示される画素を、被写体の予測位置に対応させる。ここで、被写体の予測位置は、過去の複数回の追尾処理の結果得られた被写体の動きベクトルの方向、及び大きさをもとに算出することができる。

さらには、上記実施形態においては、補正テーブルデータベース３２から読み出した補正テーブルを、補正テーブル演算部３３で演算する例について示したが、補正演算部４３で演算に用いられる補正テーブルを、補正テーブルデータベース３２から補正テーブルを読み出すことなく、補正テーブル演算部３３で直接生成する構成としてもよい。

上記実施形態における「画角」は、「対角線画角」で表すことができるが、状況に応じて「水平画角」又は「垂直画角」を使用することができる。また、クロップしない場合は、撮像素子のサイズは一定なので、撮影レンズの「焦点距離値」そのものを画角として使用することができる（この場合、「画角が大きくなる」とは「焦点距離が小さくなる」ことに対応し、「画角が小さくなる」とは「焦点距離が大きくなる」ことに対応する）。クロップする場合は、クロップしないときの元の撮影面積をクロップ領域の面積で除算した値の平方根（クロップによる拡大率）を撮影レンズの焦点距離に乗算した値（換算焦点距離）を画角として使用してもよい（この場合、「画角が大きくなる」とは「換算焦点距離が小さくなる」ことに対応し、「画角が小さくなる」とは「換算焦点距離が大きくなる」ことに対応する）。しかし、クロップ領域は、様々なアスペクト比を持ち得るので、アスペクト比に応じても補正テーブルの作り方を変えることが好ましい。従って、この場合には画角の情報として、「アスペクト比」も含まれる。

上記実施例では、デジタルカメラ１０が「光学式手振れ補正機能」を有するものとして説明したが、撮像素子５をシフトすることによって手振れを補正する「撮像素子シフト式手振れ補正機能」を有する実施例にも適用可能である。この場合、振れ補正テーブル演算部７４は、撮像素子シフト振れ補正モードがオフのときは、電子振れ補正がオンであったとしても補正テーブルを生成する。

１ ＣＰＵユニット
２ 画像処理ユニット
５ 撮像素子
６ ディスプレイ
１０ デジタルカメラ
１２ 撮影レンズ
１４ レンズ制御部
１５ 合焦レンズ群
１６ 防振レンズ群
１７ａ、１７ｂ 角速度センサ
１８ａ、１８ｂ 加速度センサ
２０ 時系列画像メモリ
２１ 参照画像メモリ
２２ 追尾領域抽出部
２３ 追尾領域位置検出部
２４ 照合画像メモリ
２５ 照合領域抽出部
２６ マッチング部
２７ 相関演算結果
２８ 画角演算部
３０ 移動方向予測部
３１ 探索範囲決定部
３２ 補正テーブルデータベース
３３ 補正テーブル演算部
３４ 補正演算部
３５ 補正演算結果
３６ 追尾領域決定部
３７ 追尾制御部
４０ 時系列画像
５０ 被写体
５２ 追尾領域
５６ 探索範囲
５８ 移動方向
７０ 距離補正テーブル演算部
７２ 方向補正テーブル演算部
７４ 振れ補正テーブル演算部
７５ 演算子
７６ 補正テーブル
８０ 追尾領域（テンプレートの画像データ）
８２ 探索範囲（画像データ）
８４ 比較領域（画像データ）

Claims (21)

1. 時系列に入力される複数のフレーム画像内の特定被写体を追尾する画像追尾装置であって、
   入力された前記複数のフレーム画像のうち一つのフレーム画像の中から、前記特定被写体の少なくとも一部を含む追尾領域を抽出する抽出手段と、
   前記一つのフレーム画像の次に入力された異なるフレーム画像から比較領域を順次抽出し、該比較領域の各々と前記追尾領域との間の類似度を各々演算して類似度の組を出力する類似度演算手段と、
   前記類似度の組を補正する補正手段と、
   前記補正手段により補正された類似度の組に基づいて前記異なるフレーム画像における追尾領域を決定する追尾領域決定手段と、
   を備え、
   前記補正手段は、
   前記一つのフレーム画像の前記追尾領域の位置に対応する前記異なるフレーム画像における基準位置からの前記比較領域の各々の距離に関する値と、前記異なるフレーム画像を生成する際の画角又は画角に関する値とに基づいて前記類似度の組を補正する第１の補正部と、
   前記異なるフレーム画像における前記基準位置からの前記比較領域の各々の方向に基づいて前記類似度の組を補正する第２の補正部と、
   のうち少なくともいずれかを備えることを特徴とする、画像追尾装置。
2. 前記第１の補正部は、
   前記比較領域の各々の類似度を、前記距離に関する値の増加に応じて減少させると共に、前記画角が大きくなった場合に、該画角が大きくなる前と比較して、前記距離に関する値の増加に応じて減少された類似度をさらに減少させる、請求項１に記載の画像追尾装置。
3. 前記第１の補正部は、
   前記比較領域の各々の類似度を、前記距離に関する値の増加に応じて減少させると共に、前記画角が小さくなった場合に、該画角が小さくなる前と比較して、前記距離に関する値の増加に応じて減少された類似度を増加させる、請求項１又は２に記載の画像追尾装置。
4. 前記第２の補正部は、
   前記基準位置からの方向が画面横方向範囲にある比較領域の類似度を、前記基準位置からの方向が画面縦方向範囲にある比較領域の類似度に対して相対的に大きくする、請求項１乃至３のいずれか１項に記載の画像追尾装置。
5. 前記特定被写体の移動方向を決定する移動方向予測手段を更に備え、
   前記第２の補正部は、
   前記基準位置からの方向が前記特定被写体の移動方向から所定範囲内にある比較領域の類似度を、前記移動方向から所定範囲外にある比較領域の類似度に対して相対的に大きくする、請求項１乃至４のいずれか１項に記載の画像追尾装置。
6. 前記類似度演算手段は、前記異なるフレーム画像の探索範囲にある比較領域の各々と前記追尾領域との間の類似度を演算するものであり、
   前記探索範囲は、前記画角又は画角に関する値及び前記特定被写体の移動方向の少なくともいずれかに基づいて決定される、請求項１乃至５のいずれか１項に記載の画像追尾装置。
7. 前記補正手段は、
   前記異なるフレーム画像を生成する際の画像の振れ量と、前記異なるフレーム画像を生成する際の画角又は画角に関する値とに基づいて、前記類似度の組を補正する第３の補正部を更に備える、請求項１乃至６のいずれか１項に記載の画像追尾装置。
8. 前記異なるフレーム画像における前記比較領域の各々の類似度に基づいて該異なるフレーム画像の追尾領域を検出する追尾領域検出手段と、
   前記異なるフレーム画像において検出された追尾領域の類似度が所定値より小さい場合、タイムアウト時間を設定する設定手段と、
   前記タイムアウト時間以内に、次に続く異なるフレーム画像において検出された追尾領域の類似度が前記所定値よりも大きくならない場合は、被写体追尾を中止する処理を行う中止手段と、
   を備え、
   前記設定手段は、前記画角が減少したとき、前記タイムアウト時間をより長くし、前記画角が増加したとき、前記タイムアウト時間をより短く設定する、請求項１乃至７のいずれか１項に記載の画像追尾装置。
9. 前記画角は、前記異なるフレーム画像を生成するときに使用した撮影レンズの焦点距離、及び、クロップ領域のサイズのうち少なくともいずれかに基づいて決定される、請求項１乃至８のいずれか１項に記載の画像追尾装置。
10. 時系列に入力される複数のフレーム画像内の特定被写体を追尾する画像追尾方法であって、
    入力された前記複数のフレーム画像のうち一つのフレーム画像の中から、前記特定被写体の少なくとも一部を含む追尾領域を抽出する抽出工程と、
    前記一つのフレーム画像の次に入力された異なるフレーム画像から比較領域を順次抽出し、該比較領域の各々と前記追尾領域との間の類似度を各々演算して類似度の組を出力する類似度演算工程と、
    前記類似度の組を補正する補正工程と、
    前記補正工程で補正された類似度の組に基づいて前記異なるフレーム画像における追尾領域を決定する追尾領域決定工程と、
    を備え、
    前記補正工程は、
    前記一つのフレーム画像の前記追尾領域の位置に対応する前記異なるフレーム画像における基準位置からの前記比較領域の各々の距離に関する値と、前記異なるフレーム画像を生成する際の画角又は画角に関する値とに基づいて前記類似度の組を補正する第１の補正工程と、
    前記異なるフレーム画像における前記基準位置からの前記比較領域の各々の方向に基づいて前記類似度の組を補正する第２の補正工程と、
    のうち少なくともいずれかを備えることを特徴とする、画像追尾方法。
11. 前記第１の補正工程は、
    前記比較領域の各々の類似度を、前記距離に関する値の増加に応じて減少させると共に、前記画角が大きくなった場合に、該画角が大きくなる前と比較して、前記距離に関する値の増加に応じて減少された類似度をさらに減少させる、請求項１０に記載の画像追尾方法。
12. 前記第１の補正工程は、
    前記比較領域の各々の類似度を、前記距離に関する値の増加に応じて減少させると共に、前記画角が小さくなった場合に、該画角が小さくなる前と比較して、前記距離に関する値の増加に応じて減少された類似度を増加させる、請求項１０又は１１に記載の画像追尾方法。
13. 前記第２の補正工程は、
    前記基準位置からの方向が画面横方向範囲にある比較領域の類似度を、前記基準位置からの方向が画面縦方向範囲にある比較領域の類似度に対して相対的に大きくする、請求項１０乃至１２のいずれか１項に記載の画像追尾方法。
14. 前記特定被写体の移動方向を決定する移動方向予測工程を更に備え、
    前記第２の補正工程は、
    前記基準位置からの方向が前記特定被写体の移動方向から所定範囲内にある比較領域の類似度を、前記移動方向から所定範囲外にある比較領域の類似度に対して相対的に大きくする、請求項１０乃至１３のいずれか１項に記載の画像追尾方法。
15. 前記類似度演算工程は、前記異なるフレーム画像の探索範囲にある比較領域の各々と前記追尾領域との間の類似度を演算するものであり、
    前記探索範囲は、前記画角又は画角に関する値及び前記特定被写体の移動方向の少なくともいずれかに基づいて決定される、請求項１０乃至１４のいずれか１項に記載の画像追尾方法。
16. 前記補正工程は、
    前記異なるフレーム画像を生成する際の画像の振れ量と、前記異なるフレーム画像を生成する際の画角又は画角に関する値とに基づいて、前記類似度の組を補正する第３の補正工程を更に備える、請求項１０乃至１５のいずれか１項に記載の画像追尾方法。
17. 前記異なるフレーム画像における前記比較領域の各々の類似度に基づいて該異なるフレーム画像の追尾領域を検出する追尾領域検出工程と、
    前記異なるフレーム画像において検出された追尾領域の類似度が所定値より小さい場合、タイムアウト時間を設定する設定工程と、
    前記タイムアウト時間以内に、次に続く異なるフレーム画像において検出された追尾領域の類似度が前記所定値よりも大きくならない場合は、被写体追尾を中止する処理を行う中止工程と、
    を備え、
    前記設定工程は、前記画角が減少したとき、前記タイムアウト時間をより長くし、前記画角が増加したとき、前記タイムアウト時間をより短く設定する、請求項１０乃至１６のいずれか１項に記載の画像追尾方法。
18. 前記画角は、前記異なるフレーム画像を生成するときに使用した撮影レンズの焦点距離、及び、クロップ領域のサイズのうち少なくともいずれかに基づいて決定される、請求項１０乃至１７のいずれか１項に記載の画像追尾方法。
19. 前記追尾領域が決定された前記異なるフレーム画像を新たな一つのフレーム画像として、前記抽出工程、前記類似度演算工程、前記補正工程及び前記追尾領域決定工程が繰り返し実行される、請求項１０乃至１８のいずれか１項に記載の画像追尾方法。
20. 請求項１０乃至１９のいずれか１項に記載の画像処理方法を画像情報処理装置に実行させるためのプログラム。
21. 請求項１乃至９のいずれか１項に記載の画像追尾装置を備える、デジタルカメラ。

Images