JP2011160379A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】より安定して被写体を追尾できるようにする。
【解決手段】被写体マップ生成部７１は、入力画像の各画素が有する特徴毎の、入力画像の各領域における特徴量を示す特徴量マップについて、画素毎に、特徴量マップのいずれか１つの特徴量を選択することで、入力画像の各領域における被写体らしさを示す被写体マップを生成し、被写体領域選択部７３は、被写体マップを用いて、被写体マップにおいて最も被写体らしい領域である被写体領域を特定することで、入力画像上の被写体が含まれる領域を特定する。本発明は、撮像装置に適用することができる。
【選択図】図２

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、被写体をより安定して追尾できるようにした画像処理装置および方法、並びにプログラムに関する。

近年、シャッタ操作がされる前にユーザに対して提示される、いわゆるプレビュー画像を撮像する場合など、複数の画像が連続して撮像される場合に、撮像された画像上にある、ユーザにより選択された被写体を追尾する機能を有する撮像装置が知られている。そのような撮像装置には、追尾された被写体の位置に応じて、焦点位置や明るさ等の撮像に関するパラメータを最適なものに調整する機能を有するものもある。

被写体を追尾する手法としては、例えば入力画像の所定のフレームにおいて、最初にユーザにより選択された被写体の一部の領域から輝度情報や色情報等の特徴量を抽出し、それ以降の後のフレームにおいて、その特徴量と一致する特徴量を有する領域を検索する手法がある（例えば、特許文献１参照）。すなわち、この手法では、後のフレームの入力画像において、最初に被写体として選択された領域と同じ位置の領域近傍から、被写体の領域の特徴量と一致する特徴量の領域が検索され、その結果得られた領域が後のフレームの被写体の領域とされる。

特開２００６−７２３３２号公報

しかしながら、上述した手法では、最初にユーザによって選択された被写体の一部の領域から抽出された特徴量を基に被写体を追尾するので、被写体全体の何れかの位置の座標または一部の領域しか同定できず、被写体全体を安定して追尾することはできなかった。

また、被写体の撮像時には、被写体への照明光（例えば、色温度、照度等）や被写体の姿勢、入力画像上の被写体のサイズ（撮像装置と被写体との距離）等の被写体の状態が変化する場合もある。そのような場合、ユーザにより選択された被写体のうち、追尾に用いられる部位の領域から得られる特徴量が変化すると、入力画像上における被写体の領域を特定することができなくなり、被写体の追尾に失敗してしまう。

例えば、特徴量として、ユーザにより選択された被写体の一部の領域から色情報が抽出される場合、その色情報を有する領域が被写体として追尾されることになる。ところが、被写体が回転する等して、追尾に用いられる領域が隠れてしまうと、その色情報を有する領域が入力画像上に存在しなくなり、被写体を追尾できなくなってしまう。このような追尾の失敗は、特徴量としての輝度情報や色情報の出にくい低照度の環境下でも起こり得る。

本発明は、このような状況に鑑みてなされたものであり、より安定して被写体を追尾することができるようにするものである。

本発明の一側面の画像処理装置は、連続する複数フレームの入力画像のそれぞれについて、前記入力画像上の特定の被写体が含まれる領域を特定する画像処理装置であって、前記入力画像の各画素が有する特徴毎の、前記入力画像の各領域における特徴量を示す特徴量マップについて、画素毎に、前記特徴量マップのいずれか１つの前記特徴量を選択することで、前記入力画像の各領域における前記被写体らしさを示す被写体マップを生成する被写体マップ生成手段と、前記被写体マップを用いて、前記被写体マップにおいて最も前記被写体らしい領域である被写体領域を特定することで、前記入力画像上の前記被写体が含まれる領域を特定する被写体領域特定手段とを備える。

前記画像処理装置には、処理対象フレームよりも前のフレームの前記被写体領域に対応する、前記処理対象フレームの前記特徴量マップ上の対応領域を含む近傍領域における前記特徴量の分散の度合に基づいて、前記特徴量マップ上の前記対応領域に前記被写体が含まれることの指標である信頼度を算出する信頼度算出手段をさらに設け、前記被写体マップ生成手段には、画素毎に、前記特徴量マップそれぞれの前記信頼度に基づいて、前記特徴量マップのいずれか１つの前記特徴量を選択することで、前記被写体マップを生成させることができる。

前記画像処理装置には、前記特徴量マップにおける前記被写体領域と同じ位置の領域を、リファレンスマップとして保持するリファレンスマップ保持手段と、前記処理対象フレームの前記特徴量マップ上において、前記前のフレームの前記リファレンスマップと最も相関の高い最大類似領域を検索するマッチング処理手段とをさらに設け、前記信頼度算出手段には、前記処理対象フレームの前記特徴量マップ上の前記最大類似領域を含む前記近傍領域における前記特徴量の分散の度合に基づいて、前記特徴量マップ上の前記最大類似領域に前記被写体が含まれることの指標である前記信頼度を算出させることができる。

前記被写体マップ生成手段には、画素毎に、前記信頼度が所定の閾値より大きい前記特徴量マップのいずれか１つの前記特徴量を選択することで、前記被写体マップを生成させることができる。

前記被写体マップ生成手段には、前記入力画像から前記特徴量を抽出して、前記入力画像の各領域における前記特徴量マップを生成する特徴量マップ生成手段と、複数の帯域毎に、前記特徴量マップから前記帯域の成分を抽出して、前記帯域の成分を示す前記特徴量マップである帯域特徴量マップを生成する帯域特徴量マップ生成手段と、前記特徴量毎に、前記帯域特徴量マップを合成することで、合成特徴量マップを生成する帯域特徴量マップ合成手段と、前記合成特徴量マップを合成することで、他の前記特徴量マップである前記被写体マップを生成する合成特徴量マップ合成手段とを設け、前記信頼度算出手段には、前記前のフレームの前記被写体領域に対応する、前記処理対象フレームの前記合成特徴量マップ上の前記近傍領域における合成特徴量の分散の度合に基づいて、前記合成特徴量マップの前記信頼度を算出させ、前記合成特徴量マップ合成手段には、画素毎に、前記合成特徴量マップそれぞれの前記信頼度に基づいて、前記合成特徴量マップのいずれか１つの前記合成特徴量を選択し、全ての画素について合成することで、前記被写体マップを生成させることができる。

前記信頼度算出手段には、前記前のフレームの前記被写体領域に対応する、前記処理対象フレームの前記帯域特徴量マップ上の前記近傍領域における帯域特徴量の分散の度合に基づいて、前記帯域特徴量マップの前記信頼度を算出させ、前記帯域特徴量マップ合成手段には、画素毎に、前記帯域特徴量マップそれぞれの前記信頼度に基づいて、前記帯域特徴量マップのいずれか１つの前記帯域特徴量を選択し、全ての画素について合成することで、前記合成特徴量マップを生成させることができる。

前記被写体マップ生成手段には、画素毎に、前記特徴量マップ間の前記特徴量の最大値を選択することで、前記被写体マップを生成させることができる。

本発明の一側面の画像処理方法は、連続する複数フレームの入力画像のそれぞれについて、前記入力画像上の特定の被写体が含まれる領域を特定する画像処理装置の画像処理方法であって、前記被写体マップ生成手段が、前記入力画像の各画素が有する特徴毎の、前記入力画像の各領域における特徴量を示す特徴量マップについて、画素毎に、前記特徴量マップのいずれか１つの前記特徴量を選択することで、前記入力画像の各領域における前記被写体らしさを示す被写体マップを生成する被写体マップ生成ステップと、前記被写体領域特定手段が、前記被写体マップを用いて、前記被写体マップにおいて最も前記被写体らしい領域である被写体領域を特定することで、前記入力画像上の前記被写体が含まれる領域を特定する被写体領域特定ステップとを含む。

本発明の一側面のプログラムは、連続する複数フレームの入力画像のそれぞれについて、前記入力画像上の特定の被写体が含まれる領域を特定する画像処理用のプログラムであって、前記被写体マップ生成手段が、前記入力画像の各画素が有する特徴毎の、前記入力画像の各領域における特徴量を示す特徴量マップについて、画素毎に、前記特徴量マップのいずれか１つの前記特徴量を選択することで、前記入力画像の各領域における前記被写体らしさを示す被写体マップを生成する被写体マップ生成ステップと、前記被写体領域特定手段が、前記被写体マップを用いて、前記被写体マップにおいて最も前記被写体らしい領域である被写体領域を特定することで、前記入力画像上の前記被写体が含まれる領域を特定する被写体領域特定ステップとを含む処理をコンピュータに実行させる。

本発明の一側面においては、入力画像の各画素が有する特徴毎の、入力画像の各領域における特徴量を示す特徴量マップについて、画素毎に、特徴量マップのいずれか１つの特徴量が選択されることで、入力画像の各領域における被写体らしさを示す被写体マップが生成され、被写体マップを用いて、被写体マップにおいて最も被写体らしい領域である被写体領域を特定することで、入力画像上の被写体が含まれる領域が特定される。

本発明の一側面によれば、より安定して被写体を追尾することができる。

本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。 被写体追尾部の構成例を示すブロック図である。 被写体マップ生成部の構成例を示すブロック図である。 帯域特徴量マップ合成部の構成例を示すブロック図である。 合成特徴量マップ合成部の構成例を示すブロック図である。 被写体候補領域矩形化部の構成例を示すブロック図である。 被写体領域選択部の構成例を示すブロック図である。 信頼度指標算出部の構成例を示すブロック図である。 被写体追尾処理について説明するフローチャートである。 被写体マップ生成処理について説明するフローチャートである。 被写体マップ生成処理の具体例を示す図である。 リファレンスマップについて説明する図である。 マッチング処理について説明する図である。 マッチング処理の結果の例を示す図である。 信頼度指標算出処理について説明するフローチャートである。 マッチング処理の結果の他の例を示す図である。 帯域特徴量マップ合成処理について説明するフローチャートである。 帯域特徴量マップ合成処理の具体例を示す図である。 合成特徴量マップ合成処理について説明するフローチャートである。 合成特徴量マップ合成処理の具体例を示す図である。 被写体候補領域矩形化処理について説明するフローチャートである。 被写体候補領域矩形化処理の具体例について説明する図である。 被写体領域選択処理について説明するフローチャートである。 コンピュータのハードウェアの構成例を示すブロック図である。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

［画像処理装置の構成例］
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。

画像処理装置１１は、例えば、動きのある被写体を撮影するデジタルビデオカメラや、デジタルスチルカメラなどの撮像装置に備えられる。

画像処理装置１１は、光学系３１、イメージャ３２、デジタル信号処理部３３、制御部３４、レンズ駆動部３５、インタフェース制御部３６、およびユーザインタフェース３７から構成される。

光学系３１は、図示せぬ撮像レンズを含む光学系などからなり、光学系３１に入射した光は、CCD（Charge Coupled Device）等の撮像素子で構成されるイメージャ３２に入射する。イメージャ３２は、光学系３１から入射した光を光電変換することで、被写体を撮像する。撮像により得られた電気信号（アナログ信号）は、図示せぬA/D（Analog to Digital）変換部によりデジタル信号の画像データに変換され、デジタル信号処理部３３に供給される。

デジタル信号処理部３３は、イメージャ３２からの画像データに対して所定の信号処理を施し、図示せぬ符号化処理部やメモリ、制御部３４などに画像データを出力する。デジタル信号処理部３３は、前処理部５１、デモザイク処理部５２、YC生成部５３、解像度変換部５４、および被写体追尾部５５を備えている。

前処理部５１は、前処理として、イメージャ３２からの画像データに対し、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を施す。デモザイク処理部５２は、前処理部５１により前処理された画像データに対し、画像データの各画素がＲ，Ｇ，Ｂ全ての色成分を有するように、画素の色成分を補完するデモザイク処理を施す。

YC生成部５３は、デモザイク処理部５２によりデモザイク処理された、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。解像度変換部５４は、YC生成部５３で処理された画像データに対して、解像度変換処理を実行し、制御部３４や図示せぬ符号化処理部に供給する。

被写体追尾部５５は、YC生成部５３によって生成された輝度信号および色信号からなる画像データに基づいて、画像データにより表示される入力画像から被写体を検出し、被写体を追尾する被写体追尾処理を実行する。

被写体追尾部５５は、被写体追尾処理の結果得られた、入力画像における被写体が含まれる領域を表す被写体枠についての情報を制御部３４に供給する。

制御部３４は、インタフェース制御部３６から供給される制御信号に応じて、画像処理装置１１の各部を制御する。

例えば、制御部３４は、デジタル信号処理部３３に、各種の信号処理に用いられるパラメータ等を供給するとともに、デジタル信号処理部３３からの、各種の信号処理の結果得られたデータ（画像データを含む）を取得し、インタフェース制御部３６に供給する。

また、制御部３４は、光学系３１を構成する撮像レンズを駆動させたり、絞りなどを調節させたりするための制御信号をレンズ駆動部３５に供給する。さらに制御部３４は、イメージャ３２による入力画像の撮像も制御する。

ユーザインタフェース３７は、ユーザが画像処理装置１１に対する指示を入力するときに操作されるボタンやスイッチ等の入力装置、ユーザに対して情報を提供（表示）するLCD（Liquid Crystal Display）やマイクロホン等の出力装置などから構成される。

例えば、ユーザインタフェース３７は、ユーザインタフェース３７としてのボタンが操作されると、その操作に応じた制御信号を、インタフェース制御部３６を介して制御部３４に供給する。また、ユーザインタフェース３７は、インタフェース制御部３６を介して制御部３４から供給された制御信号（データ）に応じた情報を、ユーザインタフェース３７としてのLCDに表示する。例えば、LCDには、入力画像と、入力画像上の被写体を対象とした被写体追尾処理の結果である被写体枠とが表示される。

［被写体追尾部の構成例］
次に、図２を参照して、図１の被写体追尾部５５の構成例について説明する。

図２の被写体追尾部５５は、被写体マップ生成部７１、被写体候補領域矩形化部７２、被写体領域選択部７３、リファレンスマップ保持部７４、マッチング処理部７５、および信頼度指標算出部７６から構成される。

被写体マップ生成部７１には、図１のイメージャ３２により時間的に連続して撮像され、前処理部５１乃至YC生成部５３により処理された複数の入力画像が順次供給される。

被写体マップ生成部７１は、入力画像の各画素が有する輝度や色等の予め定められた特徴毎に、入力画像の各領域における特徴の特徴量を示す特徴量マップを生成し、リファレンスマップ保持部７４およびマッチング処理部７５に供給する。また、被写体マップ生成部７１は、生成した特徴量マップと、信頼度指標算出部７６から供給される信頼度指標とに基づいて、入力画像の各領域における被写体らしさを示す被写体マップを生成する。

具体的には、被写体マップ生成部７１は、互いに異なる複数の帯域（空間周波数帯域）について、各特徴について生成した特徴量マップから、それらの帯域成分を抽出して帯域特徴量マップを生成し、リファレンスマップ保持部７４およびマッチング処理部７５に供給する。

この帯域特徴量マップは、入力画像の各領域における特徴の特徴量の特定帯域成分を示す特徴量マップである。換言すれば、帯域特徴量マップは、入力画像の特定の帯域成分に含まれる特徴の特徴量を示している。

また、被写体マップ生成部７１は、生成した特徴毎の各帯域の帯域特徴量マップについて、入力画像の各画素に対応する位置毎に、信頼度指標算出部７６から供給される信頼度指標に基づいて、各帯域の帯域特徴量マップのいずれか１つの特徴量を選択する。

ここで、以下においては、特徴量マップ（帯域特徴量マップ、後述する合成特徴量マップを含む）や被写体マップにおいて、入力画像の各画素に対応する領域（位置）を、単に、画素ということとする。

被写体マップ生成部７１は、特徴毎の各帯域の帯域特徴量マップから画素毎に選択した特徴量を、特徴量毎に、全画素について合成することにより、合成特徴量マップを生成し、リファレンスマップ保持部７４およびマッチング処理部７５に供給する。

この合成特徴量マップは、各特徴の特徴量から求まる入力画像の各領域における被写体らしさを示す特徴量マップである。なお、ここでいう被写体とは、ユーザが入力画像を一瞥した場合に、ユーザが注目すると推定される入力画像上の物体、つまりユーザが目を向けると推定される物体をいう。したがって、被写体は必ずしも人物に限られる訳ではない。

また、被写体マップ生成部７１は、特徴毎の合成特徴量マップについて、画素毎に、信頼度指標算出部７６から供給される信頼度指標に基づいて、合成特徴量マップのいずれか１つを選択し、全画素について合成することにより、被写体マップを生成する。被写体マップ生成部７１は、生成した被写体マップを被写体候補領域矩形化部７２に供給する。このようにして得られる被写体マップの各領域（画素）の情報（値）は、入力画像の各領域の被写体らしさを示している。

なお、信頼度指標算出部７６から供給される信頼度指標の詳細については後述する。

被写体候補領域矩形化部７２は、被写体マップ生成部７１からの被写体マップにおいて、被写体の候補となる領域、つまり被写体らしい領域を含む矩形領域（以下、被写体候補領域とも称する）を求め、その矩形領域の位置を示す座標情報を生成する。

また、被写体候補領域矩形化部７２は、被写体マップを用いて、各被写体候補領域が有する特定の特徴の特徴量を示す領域情報を生成し、各被写体候補領域の座標情報と領域情報を被写体領域選択部７３に供給する。

被写体領域選択部７３は、被写体候補領域矩形化部７２からの座標情報および領域情報を用いて、被写体候補領域のうちの何れかを、追尾対象となる被写体が含まれる領域（以下、被写体領域と称する）として選択する。被写体領域選択部７３は、被写体領域の位置を示す座標情報を、制御部３４およびリファレンスマップ保持部７４に供給する。

被写体領域選択部７３から出力される座標情報により示される被写体領域は、被写体マップにおいて、最も追尾対象の被写体らしい領域である。すなわち、被写体追尾部５５では、被写体マップ上において、ユーザが注目すると推定される任意の被写体らしい領域が、ユーザにより指定された追尾対象の被写体の領域の候補（被写体候補領域）とされる。そして、それらの被写体候補領域のなかから、最も追尾対象の被写体らしい領域が、被写体領域として選択され、被写体マップ上の被写体領域と同じ位置にある入力画像の領域が、追尾対象の被写体が含まれる領域として特定される。

なお、以下においては、被写体マップ上の被写体領域と同じ位置にある入力画像上の領域を、単に被写体領域とも称することとする。また、追尾対象となる被写体は、ユーザにより指定されたものに限らず、最初のフレームにおいて、被写体候補領域のうち、例えば領域の面積が最大であるなど、最も被写体らしさの評価が高いものが被写体領域とされ、その被写体領域に含まれる被写体が追尾対象とされてもよい。

リファレンスマップ保持部７４は、メモリ８１を備えており、被写体マップ生成部７１からの帯域特徴量マップおよび合成特徴量マップと、被写体領域選択部７３からの座標情報とを用いてリファレンスマップを生成し、メモリ８１に記録させる。

具体的には、リファレンスマップ保持部７４は、帯域特徴量マップにおける被写体領域と同じ位置の領域を切り出して、切り出された領域を帯域特徴量マップのリファレンスマップとする。同様に、リファレンスマップ保持部７４は、合成特徴量マップにおける被写体領域と同じ位置の領域を切り出して、切り出された領域を合成特徴量マップのリファレンスマップとする。

なお、以下、帯域特徴量マップおよび合成特徴量マップのリファレンスマップを、それぞれ帯域リファレンスマップ、および合成リファレンスマップとも称する。

マッチング処理部７５は、メモリ８１に記録されたリファレンスマップを用いてマッチング処理を行い、被写体マップ生成部７１からの帯域特徴量マップおよび合成特徴量マップから、リファレンスマップと最も相関の高い（類似する）領域を検索する。

すなわち、処理対象の現フレームの帯域特徴量マップにおいて、現フレームの１つ前の前フレームの帯域リファレンスマップと最も類似する領域が検索される。また、現フレームの合成特徴量マップにおいて、前フレームの合成リファレンスマップと最も類似する領域が検索される。

ここで、以下においては、現フレームの帯域特徴量マップおよび合成特徴量マップにおいて、前フレームの帯域リファレンスマップおよび合成リファレンスマップとそれぞれ最も類似する領域を、最大類似領域と称する。

マッチング処理部７５は、帯域特徴量マップおよび合成特徴量マップについてのマッチング処理の結果を信頼度指標算出部７６に供給する。

信頼度指標算出部７６は、マッチング処理部７５からのマッチング処理の結果に基づいて、現フレームの帯域特徴量マップおよび合成特徴量マップ上の最大類似領域を含む近傍領域における特徴量の分散の度合を算出する。

信頼度指標算出部７６は、現フレームの帯域特徴量マップ上の最大類似領域を含む近傍領域における特徴量の分散の度合に基づいて、現フレームの帯域特徴量マップ上の最大類似領域に被写体が含まれることの指標である信頼度指標を計算し、被写体マップ生成部７１に供給する。

また、信頼度指標算出部７６は、現フレームの合成特徴量マップ上の最大類似領域を含む近傍領域における特徴量の分散の度合に基づいて、現フレームの合成特徴量マップ上の最大類似領域に被写体が含まれることの指標である信頼度指標を計算し、被写体マップ生成部７１に供給する。

なお、以下においては、適宜、現フレームの帯域特徴量マップについての信頼度指標を、帯域信頼度指標と称し、合成特徴量マップについての信頼度指標を、合成信頼度指標と称することとする。

［被写体マップ生成部の構成例］
次に、図３を参照して、図２の被写体マップ生成部７１のより詳細な構成例について説明する。

被写体マップ生成部７１は、特徴量マップ生成部１１１、帯域特徴量マップ生成部１１２、帯域特徴量マップ合成部１１３、および合成特徴量マップ合成部１１４から構成される。

特徴量マップ生成部１１１は、入力画像の各領域から、輝度や色などの特徴の特徴量を抽出して、抽出した特徴量を示す特徴量マップを生成し、帯域特徴量マップ生成部１１２に供給する。

帯域特徴量マップ生成部１１２は、特徴量マップ生成部１１１からの各特徴量マップについて、特徴量マップから特定の帯域成分を抽出して帯域特徴量マップを生成し、帯域特徴量マップ合成部１１３、リファレンスマップ保持部７４、およびマッチング処理部７５に供給する。帯域特徴量マップは、各特徴について、帯域毎に生成される。

帯域特徴量マップ合成部１１３は、帯域特徴量マップ生成部１１２からの特徴量毎の帯域特徴量マップについて、画素毎に、信頼度指標算出部７６からの帯域信頼度指標に基づいて、帯域特徴量マップのいずれか１つの特徴量を選択する。帯域特徴量マップ合成部１１３は、選択した画素毎の特徴量を、全画素について合成する（各画素の特徴量として採用する）ことで、合成特徴量マップを生成する。すなわち、同じ特徴の帯域特徴量マップが、帯域信頼度指標に基づいて合成され、その特徴毎の合成特徴量マップとされる。

帯域特徴量マップ合成部１１３は、特徴毎に生成した合成特徴量マップを、合成特徴量マップ合成部１１４、リファレンスマップ保持部７４、およびマッチング処理部７５に供給する。

合成特徴量マップ合成部１１４は、帯域特徴量マップ合成部１１３からの合成特徴量マップについて、画素毎に、信頼度指標算出部７６からの合成信頼度指標に基づいて、合成特徴量マップのいずれか１つの特徴量を選択する。合成特徴量マップ合成部１１４は、選択した画素毎の特徴量を、全画素について合成する（各画素の特徴量として採用する）ことで、被写体マップを生成する。合成特徴量マップ合成部１１４は、生成した被写体マップを被写体候補領域矩形化部７２に供給する。

ここで、図４および図５を参照して、図２の帯域特徴量マップ合成部１１３および合成特徴量マップ合成部１１４の詳細な構成について説明する。

［帯域特徴量マップ合成部の構成例］
図２の帯域特徴量マップ合成部１１３は、より詳細には、図４に示すように構成される。

すなわち、帯域特徴量マップ合成部１１３は、候補マップ決定部１２１、マップ間最大値選択部１２２、および合成特徴量マップ生成部１２３から構成される。

候補マップ決定部１２１は、帯域特徴量マップ生成部１１２からの特徴量毎の帯域特徴量マップから、信頼度指標算出部７６からの帯域信頼度指標に基づいて、合成特徴量マップに合成される候補である候補マップを決定する。候補マップ決定部１２１は、決定した候補マップ（以下、帯域候補マップとも称する）を、マップ間最大値選択部１２２に供給する。

マップ間最大値選択部１２２は、候補マップ決定部１２１から供給された帯域候補マップについて、画素毎に、帯域候補マップ間の特徴量の最大値を選択し、これを全画素について行う。

合成特徴量マップ生成部１２３は、マップ間最大値選択部１２２によって選択された、各画素についての帯域候補マップ間の特徴量の最大値を、全画素について合成する（各画素の特徴量として採用する）ことで、合成特徴量マップを生成し、合成特徴量マップ合成部１１４、リファレンスマップ保持部７４、およびマッチング処理部７５に供給する。

［合成特徴量マップ合成部の構成例］
図２の合成特徴量マップ合成部１１４は、より詳細には、図５に示すように構成される。

すなわち、合成特徴量マップ合成部１１４は、候補マップ決定部１２４、マップ間最大値選択部１２５、および被写体マップ生成部１２６から構成される。

候補マップ決定部１２４は、帯域特徴量マップ合成部１１３からの合成特徴量マップから、信頼度指標算出部７６からの合成信頼度指標に基づいて、被写体マップに合成される候補である候補マップを決定する。候補マップ決定部１２４は、決定した候補マップ（以下、合成候補マップとも称する）を、マップ間最大値選択部１２５に供給する。

マップ間最大値選択部１２５は、候補マップ決定部１２４から供給された合成候補マップについて、画素毎に、合成候補マップ間の特徴量の最大値を選択し、これを全画素について行う。

被写体マップ生成部１２６は、マップ間最大値選択部１２５によって選択された、各画素についての合成候補マップ間の特徴量の最大値を、全画素について合成する（各画素の特徴量として採用する）ことで、被写体マップを生成し、被写体候補領域矩形化部７２に供給する。

［被写体候補領域矩形化部の構成例］
次に、図６を参照して、図２の被写体候補領域矩形化部７２のより詳細な構成例について説明する。

被写体候補領域矩形化部７２は、２値化処理部１３１、ラベリング処理部１３２、矩形領域座標算出部１３３、および領域情報算出部１３４から構成される。

２値化処理部１３１は、被写体マップ生成部７１の合成特徴量マップ合成部１１４から供給された被写体マップにおける、入力画像の各画素に対応する情報を、所定の閾値に基づいて０または１の何れかの値に２値化し、ラベリング処理部１３２に供給する。

なお、以下においては、被写体マップ、特徴量マップ、帯域特徴量マップ、および合成特徴量マップのそれぞれにおける各領域（画素）に対応する情報（値）を、適宜、画素値ということとする。

例えば、被写体マップの画素の画素値は、その画素と同じ位置にある入力画像の画素（領域）の被写体らしさの度合を示している。特に、２値化後の被写体マップにおいては、画素値が「１」である画素が、被写体らしい領域であり、画素値が「０」である画素は、被写体ではない領域（例えば、背景の領域）であるとされる。つまり、２値化後の被写体マップは、入力画像における被写体らしい領域を示している。

ラベリング処理部１３２は、２値化処理部１３１から供給された、２値化された被写体マップにおいて、互いに隣接する、画素値が「１」である画素からなる領域を連結領域とし、各連結領域に対してラベリングを行う。連結領域は、被写体領域の候補となる領域であり、例えばラベリングでは、各連結領域に対して、それらの連結領域を特定する番号が付加される。ラベリング処理部１３２は、ラベリングされた被写体マップを矩形領域座標算出部１３３に供給する。

矩形領域座標算出部１３３は、ラベリング処理部１３２からの被写体マップにおいて、連結領域を含む（囲む）矩形領域を被写体候補領域とし、各被写体候補領域の位置を示す座標情報を領域情報算出部１３４に供給する。

領域情報算出部１３４は、矩形領域座標算出部１３３からの座標情報と、合成特徴量マップ合成部１１４からの被写体マップとを用いて、被写体候補領域ごとに領域情報を生成し、各被写体候補領域の座標情報と領域情報を被写体領域選択部７３に供給する。

［被写体領域選択部の構成例］
次に、図７を参照して、図２の被写体領域選択部７３の構成例について説明する。

被写体領域選択部７３は、領域情報比較部１５１、被写体領域決定部１５２、および領域情報記録部１５３から構成される。

領域情報比較部１５１は、領域情報算出部１３４から供給された、処理対象の現フレームの各被写体候補領域の領域情報と、領域情報記録部１５３に記録されている、現フレームの１フレーム前の被写体領域の領域情報とを比較する。また、領域情報比較部１５１は、各被写体候補領域についての領域情報の比較結果と、領域情報算出部１３４からの座標情報とを被写体領域決定部１５２に供給する。

被写体領域決定部１５２は、領域情報比較部１５１からの比較結果に基づいて、現フレームの被写体候補領域のうち、１フレーム前の被写体領域の領域情報と最も近い領域情報を有する被写体候補領域を、現フレームの被写体領域とする。すなわち、領域情報を指標とした場合に、前フレームの被写体領域と最も相関の高い（類似する）被写体候補領域が、現フレームの被写体領域とされる。

被写体領域決定部１５２は、決定した現フレームの被写体領域の座標情報を制御部３４およびリファレンスマップ保持部７４に供給するとともに、現フレームの被写体領域の領域情報を、領域情報記録部１５３に供給する。領域情報記録部１５３は、被写体領域決定部１５２からの領域情報を記録するとともに、記録している領域情報を領域情報比較部１５１に供給する。

［被写体領域選択部の構成例］
次に、図８を参照して、図２の信頼度指標算出部７６の構成例について説明する。

信頼度指標算出部７６は、類似度算出部１７１、最大類似度決定部１７２、類似度正規化部１７３、先鋭度算出部１７４、最大先鋭度決定部１７５、先鋭度正規化部１７６、および信頼度指標計算部１７７から構成される。

類似度算出部１７１は、マッチング処理部７５からのマッチング処理の結果に基づいて、現フレームの各特徴量マップ（帯域特徴量マップおよび合成特徴量マップ）上の最大類似領域と前フレームのリファレンスマップとの類似度を算出し、最大類似度決定部１７２に供給する。

なお、最大類似領域とリファレンスマップとの類似度は、特徴量マップ上の最大類似領域を含む近傍領域における特徴量の分散の度合を表す値の１つであるが、その算出の詳細については、図１５を参照して後述する。

最大類似度決定部１７２は、類似度算出部１７１からの各特徴量マップについての類似度から、最大の類似度となる最大類似度を決定し、各特徴量マップについての類似度とともに、類似度正規化部１７３に供給する。

類似度正規化部１７３は、最大類似度決定部１７２からの最大類似度に基づいて、各特徴量マップについての類似度を正規化し、信頼度指標計算部１７７に供給する。

先鋭度算出部１７４は、マッチング処理部７５からのマッチング結果に基づいて、現フレームの各特徴量マップについての先鋭度を算出し、最大先鋭度決定部１７５に供給する。

なお、特徴量マップについての先鋭度は、特徴量マップ上の最大類似領域を含む近傍領域における特徴量の分散の度合を表す値の１つであるが、その算出の詳細については、図１５を参照して後述する。

最大先鋭度決定部１７５は、先鋭度算出部１７４からの各特徴量マップについての先鋭度から、最大の類似度となる最大先鋭度を決定し、各特徴量マップについての先鋭度とともに、先鋭度正規化部１７６に供給する。

先鋭度正規化部１７６は、最大先鋭度決定部１７５からの最大先鋭度に基づいて、各特徴量マップについての先鋭度を正規化し、信頼度指標計算部１７７に供給する。

信頼度指標計算部１７７は、類似度正規化部１７３からの各特徴量マップについての正規化された類似度、および、先鋭度正規化部１７６からの各特徴量マップについての正規化された先鋭度に基づいて、各特徴量マップについての信頼度指標を計算し、被写体マップ生成部７１に供給する。

［被写体追尾処理の説明］
ところで、ユーザが画像処理装置１１に画像を撮像させようとする場合、ユーザは、ユーザインタフェース３７を操作して、画像を撮像する処理の開始を指示する。すると、制御部３４は、インタフェース制御部３６を介してユーザインタフェース３７から供給された制御信号に応じて、画像処理装置１１の各部を動作させる。

例えば、制御部３４は、イメージャ３２に入力画像を撮像させるとともに、デジタル信号処理部３３に入力画像に対する前処理等の各種の処理を実行させ、デジタル信号処理部３３から入力画像を取得する。そして、制御部３４は、取得した各フレームの入力画像を、順次、インタフェース制御部３６を介してユーザインタフェース３７に供給し、表示させる。

これにより、ユーザは、いわゆるプレビュー画像として、ユーザインタフェース３７に表示された入力画像を見ながら構図を決定し、ユーザインタフェース３７を操作して、静止画像等の撮像を指示することができる。

このとき、ユーザは、ユーザインタフェース３７としてのボタンを操作して、画像処理装置１１の動作モードを、追尾すべき被写体を囲む枠が表示される被写体追尾処理モードに遷移させることができる。被写体追尾処理モードへの遷移が指示され、ユーザにより入力画像上の所定の領域が、被写体の領域として指定されると、被写体追尾部５５は、指定された領域の被写体を追尾する被写体追尾処理を開始し、入力画像の各フレームにおける被写体領域を特定する。

そして、制御部３４は、被写体追尾部５５から、被写体領域の位置を示す座標情報の供給を受けると、その座標情報に基づいて、被写体領域を表す枠を、ユーザインタフェース３７に供給し、表示させる。これにより、ユーザインタフェース３７には、入力画像とともに被写体領域の枠が表示されることになる。

次に、図９のフローチャートを参照して、被写体追尾部５５により行なわれる被写体追尾処理について説明する。この被写体追尾処理は、上述したように、被写体追尾処理モードにおいて、ユーザにより被写体の領域が指定されると開始される。

ステップＳ１１において、被写体マップ生成部７１は、被写体マップ生成処理を行って被写体マップを生成し、被写体候補領域矩形化部７２に供給する。

ここで、図１０乃至図２０を参照して、ステップＳ１１の処理に対応する被写体マップ生成処理の詳細について説明する。図１０は、被写体マップ生成処理について説明するフローチャートである。

図１０のステップＳ３１において、被写体マップ生成部７１の特徴量マップ生成部１１１は、処理対象の現フレームの入力画像から、輝度や色等の特徴毎に特徴量マップを生成し、帯域特徴量マップ生成部１１２に供給する。

具体的には、図１１に示されるように、入力画像２００から、輝度に関する情報を示す輝度の特徴量マップＦ_１、色に関する情報を示す色の特徴量マップＦ_２乃至Ｆ_Ｋ、エッジに関する情報を示すエッジの特徴量マップＦ_{（Ｋ＋１）}乃至Ｆ_Ｍの合計Ｍ種類の特徴量マップが生成される。

例えば、輝度の特徴量マップＦ_１においては、入力画像の各画素から得られる輝度成分（輝度信号）Ｙが、入力画像の画素と同じ位置にある特徴量マップＦ_１の画素の画素値とされる。つまり、輝度の特徴量マップＦ_１は、輝度を特徴とする、入力画像の各領域の輝度値を示す特徴量マップである。

また、色の特徴量マップＦ_２乃至Ｆ_Ｋにおいては、例えば、入力画像の各画素から得られる色成分（色信号）Ｒ，Ｇ，Ｂが、入力画像の画素と同じ位置にある特徴量マップの画素の画素値とされる。この場合、Ｋ＝４とされ、特徴量マップＦ_２乃至Ｆ_４のそれぞれは、入力画像の画素のＲ成分、Ｇ成分、およびＢ成分のそれぞれを特徴とする、入力画像の各領域の各色成分の画素値を示す特徴量マップとされる。

さらに、エッジの特徴量マップＦ_{（Ｋ＋１）}乃至Ｆ_Ｍにおいては、例えば、入力画像の各画素における０度、４５度、９０度、および１３５度の方向のエッジ強度が、入力画像の画素と同じ位置にある特徴量マップの画素の画素値とされる。この場合、４つのエッジの方向ごとに、その方向のエッジの強さを特徴とする、入力画像の各領域のエッジ強度を示す特徴量マップが生成される。

なお、上述した特徴量マップについて、画素のＲ，Ｇ，Ｂの各成分の値の平均値を特徴量マップＦ_１の特徴量としてもよいし、色差成分Ｃｒ，Ｃｂや、Lab色空間におけるａ*座標成分およびｂ*座標成分を色の特徴量マップＦ_２乃至Ｆ_Ｋの特徴量としてもよい。また、０度、４５度、９０度、および１３５度以外の方向のエッジ強度をエッジの特徴量マップＦ_{（Ｋ＋１）}乃至Ｆ_Ｍの特徴量としてもよい。

ステップＳ３２において、帯域特徴量マップ生成部１１２は、各特徴量マップについて、特徴量マップから特定の帯域成分を抽出して帯域特徴量マップを生成し、帯域特徴量マップ合成部１１３、リファレンスマップ保持部７４、およびマッチング処理部７５に供給する。

具体的には、図１１に示されるように、輝度の特徴量マップＦ_１における輝度情報（画素値）から、所定の帯域１乃至帯域Ｎの輝度情報が抽出され、それらの帯域の輝度情報を示す帯域特徴量マップＲ_１１乃至Ｒ_１Ｎが生成される。

また、色の特徴量マップＦ_２乃至Ｆ_Ｋにおける色情報（画素値）から、所定の帯域１乃至帯域Ｎの色情報が抽出され、それらの帯域の色情報を示す帯域特徴量マップＲ_２１乃至Ｒ_２Ｎ，…，Ｒ_Ｋ１乃至Ｒ_ＫＮが生成される。

さらに、エッジの特徴量マップＦ_{（Ｋ＋１）}乃至Ｆ_Ｍにおけるエッジ情報（画素値）から、所定の帯域１乃至帯域Ｎのエッジ情報が抽出され、それらの帯域のエッジ情報を示す帯域特徴量マップＲ_{（Ｋ＋１）１}乃至Ｒ_{（Ｋ＋１）Ｎ}，…，Ｒ_Ｍ１乃至Ｒ_ＭＮが生成される。このように、帯域特徴量マップ生成部１１２は、（Ｍ×Ｎ）種類の帯域特徴量マップを生成する。

ここで、帯域特徴量マップ生成部１１２の処理の一例について説明する。

例えば、帯域特徴量マップ生成部１１２は、特徴量マップを用いて、互いに解像度の異なる複数の特徴量マップを生成し、それらの特徴量マップをその特徴量のピラミッド画像とする。例えば、レベルＬ１乃至レベルＬ８までの８つの解像度の階層のピラミッド画像が生成され、レベルＬ１のピラミッド画像が最も解像度が高く、レベルＬ１からレベルＬ８まで順番にピラミッド画像の解像度が低くなるものとする。

この場合、特徴量マップ生成部１１１により生成された特徴量マップが、レベルＬ１のピラミッド画像とされる。また、レベルＬｉ（但し、１≦ｉ≦７）のピラミッド画像における、互いに隣接する４つの画素の画素値の平均値が、それらの画素と対応するレベルＬ（ｉ＋１）のピラミッド画像の１つの画素の画素値とされる。したがって、レベルＬ（ｉ＋１）のピラミッド画像は、レベルＬｉのピラミッド画像に対して縦横半分（割り切れない場合は切り捨て）の画像となる。

また、帯域特徴量マップ生成部１１２は、複数のピラミッド画像のうち、互いに階層の異なる２つのピラミッド画像を選択し、選択したピラミッド画像の差分を求めて各特徴量の差分画像をＮ枚生成する。なお、各階層のピラミッド画像は、それぞれ大きさ（画素数）が異なるので、差分画像の生成時には、より小さい方のピラミッド画像が、より大きいピラミッド画像に合わせてアップコンバートされる。

例えば、帯域特徴量マップ生成部１１２は、各階層の特徴量のピラミッド画像のうち、レベルＬ６およびレベルＬ３、レベルＬ７およびレベルＬ３、レベルＬ７およびレベルＬ４、レベルＬ８およびレベルＬ４、並びにレベルＬ８およびレベルＬ５の各階層の組み合わせのピラミッド画像の差分を求める。これにより、合計５つの特徴量の差分画像が得られる。

具体的には、例えば、レベルＬ６およびレベルＬ３の組み合わせの差分画像が生成される場合、レベルＬ６のピラミッド画像が、レベルＬ３のピラミッド画像の大きさに合わせてアップコンバートされる。つまり、アップコンバート前のレベルＬ６のピラミッド画像の１つの画素の画素値が、その画素に対応する、アップコンバート後のレベルＬ６のピラミッド画像の互いに隣接するいくつかの画素の画素値とされる。そして、レベルＬ６のピラミッド画像の画素の画素値と、その画素と同じ位置にあるレベルＬ３のピラミッド画像の画素の画素値との差分が求められ、その差分が差分画像の画素の画素値とされる。

このようにして得られたＮ個の差分画像のそれぞれが、さらに必要に応じて入力画像と同じ大きさにアップコンバートされ、帯域１乃至帯域Ｎの帯域特徴量マップとされる。

このように、差分画像を生成することで、特徴量マップにバンドパスフィルタを用いたフィルタ処理を施すように、特徴量マップから特定の帯域成分の特徴量を抽出することができる。このようにして得られた差分画像の画素の画素値は、各レベルのピラミッド画像の画素値の差、つまり入力画像における所定の画素における特徴の特徴量と、その画素の周囲の平均的な特徴量との差分を示している。

例えば、特徴が輝度である場合には、差分画像（帯域特徴量マップ）の画素値は、入力画像の所定領域の輝度と、その周囲の領域の平均的な輝度の差を示している。一般的に、画像において周囲との輝度の差分の大きい領域は、その画像を見る人の目を引く領域であるので、その領域は被写体の領域である可能性が高い。したがって、各差分画像（帯域特徴量マップ）において、より画素値の大きい画素が、より被写体の領域である可能性の高い領域であることを示しているということができる。同様に、他の特徴についても、周囲と比べて特徴量の差が大きい領域は、ユーザの目を引く領域であるので、より被写体らしい領域であるといえる。

なお、以上の説明において、特徴量マップから抽出される帯域の幅は、差分画像を生成する際のピラミッド画像の各階層の組み合わせによって決まるが、この組み合わせは任意に決定される。また、所定の帯域成分の特徴量の抽出は、上述した差分画像による手法に限らず、他の手法を用いるようにしてもよい。

図１０のフローチャートの説明に戻り、ステップＳ３３において、マッチング処理部７５は、帯域特徴量マップ生成部１１２から供給された帯域特徴量マップＲ_ｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）と、メモリ８１に記録されている帯域リファレンスマップとのマッチング処理を行う。

例えば、図１２に示すように、帯域特徴量マップ生成部１１２では、Ｍ種類の各特徴について、Ｎ個の帯域毎に、合計（Ｍ×Ｎ）個の帯域特徴量マップＲ_ｍｎが得られる。また、帯域特徴量マップ合成部１１３では、Ｍ種類の各特徴について、帯域特徴量マップが合成されて得られた合成特徴量マップＣ_ｍ（但し、１≦ｍ≦Ｍ）が得られる。

そして、リファレンスマップ保持部７４のメモリ８１には、各合成特徴量マップＣ_ｍにおける入力画像上の被写体領域ＣＲと同じ位置の領域が、合成リファレンスマップＲＦＣ_ｍ（但し、１≦ｍ≦Ｍ）として記録されている。また、メモリ８１には、各帯域特徴量マップＲ_ｍｎにおける入力画像上の被写体領域ＣＲと同じ位置の領域が、帯域リファレンスマップＲＦＲ_ｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）として記録されている。

ここで、メモリ８１に記録されている帯域リファレンスマップおよび合成リファレンスマップは、処理対象の現フレームよりも１つ前のフレームの帯域特徴量マップと合成特徴量マップから得られたものである。

マッチング処理部７５は、帯域特徴量マップ生成部１１２から、現フレームの帯域特徴量マップＲ_ｍｎが供給されると、その帯域特徴量マップＲ_ｍｎから、メモリ８１から読み出した前フレームの帯域リファレンスマップＲＦＲ_ｍｎと最も類似する領域を検索する。

例えば、図１３に示すように、マッチング処理部７５は、帯域特徴量マップＲ_ｍｎ上の処理対象となる領域ＥＲ_ｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）の位置を図中、左上から右下までずらしながら、各領域ＥＲ_ｍｎと帯域リファレンスマップＲＦＲ_ｍｎとのマッチングを行う。

具体的には、マッチング処理部７５は、領域ＥＲ_ｍｎ内の各画素について、領域ＥＲ_ｍｎの画素の画素値と、その画素と同じ位置にある帯域リファレンスマップＲＦＲ_ｍｎの画素の画素値との差分の絶対値を求め、各画素について求めた差分絶対値の総和（差分絶対値和）を求める。

マッチング処理部７５は、帯域特徴量マップＲ_ｍｎの各領域ＥＲ_ｍｎのうち、帯域リファレンスマップとの差分絶対値和が最小となる領域を、最大類似領域ＭＥＲ_ｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）とする。そして、マッチング処理部７５は、最大類似領域ＭＥＲ_ｍｎの位置を示す情報と、帯域特徴量マップＲ_ｍｎの各領域ＥＲ_ｍｎについて求めた差分絶対値和とを、マッチング処理の結果として信頼度指標算出部７６に供給する。

図１４は、マッチング処理の結果としての、帯域特徴量マップＲ_ｍｎの各領域ＥＲ_ｍｎについて求めた差分絶対値和の例を示している。

図１４において、ｘ軸とｙ軸とで構成されるｘｙ座標平面は、帯域特徴量マップ全体の領域を表している。また、図１４において、ｘｙ座標平面と垂直なｚ軸は、帯域特徴量マップについての差分絶対値和の大きさを表しており、ｚ軸には０乃至6000の目盛が振られている。つまり、図１４のｘｙｚ座標空間上に示される図形ＳＡＤは、帯域特徴量マップＲ_ｍｎの各領域ＥＲ_ｍｎについて求められた差分絶対値和を示している。なお、以下においては、図形ＳＡＤを差分絶対値和ＳＡＤと称する。

図１４に示されるように、帯域特徴量マップ全体についての差分絶対値和は、約1500乃至約5800の値を示しているが、帯域特徴量マップの縁辺部では4000以上の値を示しており、中心付近では2000以下の値を示している。特に、帯域特徴量マップの中心付近の領域（差分絶対値和ＳＡＤの尖った部分）は、差分絶対値和の最小値（ピーク値）を示している。すなわち、図１４の差分絶対値和ＳＡＤは、帯域特徴量マップの中心付近の領域が最大類似領域であることを示している。

このようにして、マッチング処理の結果として、（Ｍ×Ｎ）個の帯域特徴量マップＲ_ｍｎについての差分絶対値和が求められ、また、（Ｍ×Ｎ）個の帯域特徴量マップＲ_ｍｎについて、それぞれ最大類似領域ＭＥＲ_ｍｎが特定される。そして、それぞれの帯域特徴量マップについての差分絶対値和と最大類似領域の位置を示す情報とが、信頼度指標算出部７６に供給される。

なお、マッチング処理として、差分絶対値和を利用する場合を例として説明したが、その他、差分二乗和等を利用したマッチング処理や、ヒストグラムマッチング、テンプレートマッチングなど、帯域リファレンスマップと最も類似する領域が特定できれば、どのような処理であってもよい。

図１０のフローチャートの説明に戻り、ステップＳ３４において、信頼度指標算出部７６は、信頼度指標算出処理を行って、現フレームの帯域特徴量マップについての信頼度指標（帯域信頼度指標）を算出し、被写体マップ生成部７１に供給する。

ここで、図１５のフローチャートを参照して、ステップＳ３４の処理に対応する信頼度指標算出処理の詳細について説明する。

ステップＳ５１において、類似度算出部１７１は、マッチング処理部７５からのマッチング処理の結果に基づいて、現フレームの（Ｍ×Ｎ）個の帯域特徴量マップＲ_ｍｎについての最大類似領域ＭＥＲ_ｍｎと前フレームの帯域リファレンスマップＲＦＲ_ｍｎとの類似度ＬＲ_ｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）を算出し、最大類似度決定部１７２に供給する。

ここで、上述で説明したように、マッチング処理において差分絶対値和を利用した場合、類似度ＬＲ_ｍｎは、図１４で示された差分絶対値和ＳＡＤにおける最小値（ピーク値）をＳＡＤ_ｍｉｎとすると、最小値ＳＡＤ_ｍｉｎが小さいほど、大きくなるように与えられる。具体的には、例えば、類似度ＬＲ_ｍｎは、帯域特徴量マップの差分絶対値和の最小値の逆数１／ＡＤ_ｍｉｎで与えられる。

ステップＳ５２において、最大類似度決定部１７２は、類似度算出部１７１からの各帯域特徴量マップについての類似度ＬＲ_ｍｎから、Ｍ種類の特徴量毎に、Ｍ個の最大類似度ＭＬＲ_ｍ（但し、１≦ｍ≦Ｍ）を決定し、各帯域特徴量マップについての類似度ＬＲ_ｍｎとともに、類似度正規化部１７３に供給する。

ステップＳ５３において、類似度正規化部１７３は、最大類似度決定部１７２からのＭ種類の特徴量毎の最大類似度ＭＬＲ_ｍに基づいて、各帯域特徴量マップについての類似度ＬＲ_ｍｎを正規化し、信頼度指標計算部１７７に供給する。具体的には、Ｍ種類の特徴量毎に、各帯域特徴量マップについての類似度ＬＲ_ｍｎを、最大類似度ＭＬＲ_ｍで割った値（ＬＲ_ｍｎ／ＭＬＲ_ｍ）が、正規化された類似度ＳＬＲ_ｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）として、信頼度指標計算部１７７に供給される。なお、正規化された類似度ＳＬＲ_ｍｎは、０＜ＳＬＲ_ｍｎ≦１の値をとる。

例えば、ｍ＝１の場合については、輝度の帯域特徴量マップＲ_１１乃至Ｒ_１Ｎについての類似度ＬＲ_１１乃至ＬＲ_１Ｎを、最大類似度ＭＬＲ_１で割った値（ＬＲ_１１／ＭＬＲ_１）乃至（ＬＲ_１Ｎ／ＭＬＲ_１）が、Ｎ個の正規化された類似度ＳＬＲ_１Ｎとして得られる。同様の処理が、ｍ＝２，…，Ｍのそれぞれについて行われることで、（Ｍ×Ｎ）個の正規化された類似度ＳＬＲ_ｍｎが求められる。

なお、各帯域特徴量マップについての類似度ＬＲ_ｍｎは、最大類似度ＭＬＲ_ｍによって正規化されるようにしたが、他の代表値によって正規化されるようにしてももちろんよい。

ステップＳ５４において、先鋭度算出部１７４は、マッチング処理部７５からのマッチング処理の結果に基づいて、現フレームの（Ｍ×Ｎ）個の帯域特徴量マップＲ_ｍｎについての先鋭度ＴＲ_ｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）を算出し、最大先鋭度決定部１７２に供給する。

ここで、上述で説明したように、マッチング処理において差分絶対値和を利用した場合、先鋭度ＴＲ_ｍｎは、図１４で示された差分絶対値和ＳＡＤにおける最小値ＳＡＤ_ｍｉｎと、最大類似領域を含む近傍領域の差分絶対値和の平均値ＳＡＤ_ａｖｅとの差（ＳＡＤ_ａｖｅ−ＳＡＤ_ｍｉｎ）で与えられる。この先鋭度ＴＲ_ｍｎが大きいほど、図１４で示された差分絶対値和ＳＡＤは、最小値をとる領域においてより尖った形状を示し、先鋭度ＴＲ_ｍｎが小さいほど、鈍った形状を示す。

ステップＳ５５において、最大先鋭度決定部１７２は、先鋭度算出部１７４からの各帯域特徴量マップについての先鋭度ＴＲ_ｍｎから、Ｍ種類の特徴量毎に、Ｍ個の最大先鋭度ＭＴＲ_ｍ（但し、１≦ｍ≦Ｍ）を決定し、各帯域特徴量マップについての先鋭度ＴＲ_ｍｎとともに、先鋭度正規化部１７６に供給する。

ステップＳ５６において、先鋭度正規化部１７６は、最大先鋭度決定部１７５からのＭ種類の特徴量毎の最大先鋭度ＭＴＲ_ｍに基づいて、各帯域特徴量マップについての先鋭度ＴＲ_ｍｎを正規化し、信頼度指標計算部１７７に供給する。具体的には、Ｍ種類の特徴量毎に、各帯域特徴量マップについての先鋭度ＴＲ_ｍｎを、最大先鋭度ＭＴＲ_ｍで割った値ＴＲ_ｍｎ／ＭＴＲ_ｍ）が、正規化された先鋭度ＳＴＲ_ｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）として、信頼度指標計算部１７７に供給される。なお、正規化された先鋭度ＳＴＲ_ｍｎは、０＜ＳＴＲ_ｍｎ≦１の値をとる。

例えば、ｍ＝１の場合については、帯域特徴量マップＲ_１１乃至Ｒ_１Ｎについての先鋭度ＴＲ_１１乃至ＴＲ_１Ｎを、最大先鋭度ＭＴＲ_１で割った値ＴＲ_１１／ＭＴＲ_１乃至ＴＲ_１Ｎ／ＭＴＲ_１が、Ｎ個の正規化された先鋭度ＳＴＲ_１Ｎとして得られる。同様の処理を、ｍ＝２，…，Ｍのそれぞれについて行うことで、（Ｍ×Ｎ）個の正規化された先鋭度ＳＴＲ_ｍｎが求められる。

なお、各帯域特徴量マップについての先鋭度ＴＲ_ｍｎは、最大先鋭度ＭＴＲ_ｍによって正規化されるようにしたが、他の代表値によって正規化されるようにしてももちろんよい。

ステップＳ５７において、信頼度指標計算部１７７は、類似度正規化部１７３からの正規化された類似度ＳＬＲ_ｍｎ、および、先鋭度正規化部１７６からの正規化された先鋭度ＳＴＲ_ｍｎに基づいて、各帯域特徴量マップについての帯域信頼度指標ｓ_ｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）を計算する。帯域信頼度指標ｓ_ｍｎは、正規化された類似度ＳＬ_ｍｎ、および、正規化された先鋭度ＳＴ_ｍｎを用いて、以下の式（１）のように与えられる。

ｓ_ｍｎ＝ｆ（ＳＬ_ｍｎ，ＴＬ_ｍｎ）
・・・（１）

ここで、式（１）において、ｆ（Ａ，Ｂ）は、値Ａ，Ｂの関数であることを示している。具体的には、例えば、帯域信頼度指標ｓ_ｍｎは、以下の式（２）で与えられる。

ｓ_ｍｎ＝αＳＬ_ｍｎ＋βＴＬ_ｍｎ
・・・（２）

なお、式（２）において、値α，βは、予め定められた値とする。

式（２）によれば、類似度と先鋭度が大きいほど、帯域信頼度指標ｓ_ｍｎは大きい値をとる。すなわち、図１４で示された差分絶対値和ＳＡＤにおいて、最小値ＳＡＤ_ｍｉｎが小さく、かつ、最小値をとる領域においてより尖った形状をしているほど、帯域信頼度指標ｓ_ｍｎは大きい値をとる。

一方、図１６に示される帯域特徴量マップの差分絶対値和ＳＡＤ’において、最小値は、図１４の差分絶対値和の最小値と比較して小さい値を示しているが、最小値をとる領域においては鈍った形状をしている。すなわち、類似度は大きいが、先鋭度は小さいので、帯域信頼度指標ｓ_ｍｎは小さい値となる。

このようにして、（Ｍ×Ｎ）個の帯域特徴量マップＲ_ｍｎについての、（Ｍ×Ｎ）個の帯域信頼度指標ｓ_ｍｎが求められ、帯域信頼度指標群Ｓ_Ｒとして、被写体マップ生成部７１の帯域特徴量マップ合成部１１３に供給される。

なお、帯域信頼度指標ｓ_ｍｎを決定する値αおよびβは、（Ｍ×Ｎ）個の帯域特徴量マップＲ_ｍｎ毎に同じ値とされてもよいし、特徴毎や帯域毎に異なる値とされてもよい。

図１０のフローチャートの説明に戻り、ステップＳ３５において、帯域特徴量マップ合成部１１３は、帯域特徴量マップ合成処理を行って、図１１に示されるように、帯域特徴量マップ生成部１１２からの帯域特徴量マップＲ_ｍｎから、信頼度指標算出部７６からの帯域信頼度指標群Ｓ_Ｒに基づいて、合成特徴量マップＣ_ｍを生成し、合成特徴量マップ合成部１１４、リファレンスマップ保持部７４、およびマッチング処理部７５に供給する。

ここで、図１７のフローチャートを参照して、ステップＳ３５の処理に対応する帯域特徴量マップ合成処理の詳細について説明する。帯域特徴量マップ合成処理は、Ｍ種類の特徴量それぞれについて実行される。

ステップＳ７１において、候補マップ決定部１２１は、帯域特徴量マップ生成部１１２からの帯域特徴量マップＲ_ｍｎのうち、信頼度指標算出部７６からの帯域信頼度指標ｓ_ｍｎが所定の閾値より大きい帯域特徴量マップを、候補マップ（帯域候補マップ）に決定する。候補マップ決定部１２１は、決定した帯域候補マップをマップ間最大値選択部１２２に供給する。

具体的には、例えば、図１８に示されるように、輝度の帯域特徴量マップＲ_１１乃至Ｒ_１Ｎのうち、帯域信頼度指標ｓ_１１乃至ｓ_１Ｎが所定の閾値より大きい帯域特徴量マップＲ_１ｊ，…，Ｒ_１ｋが帯域候補マップに決定される。

ステップＳ７２において、マップ間最大値選択部１２２は、候補マップ決定部１２１からの帯域候補マップについて、画素毎に、帯域候補マップ間の特徴量（画素値）の最大値を選択し、これを全画素について行う。

具体的には、マップ間最大値選択部１２２は、図１８に示された帯域候補マップＲ_１ｊ，…，Ｒ_１ｋについて、各帯域候補マップにおける同一位置の画素に注目し、それぞれの画素の中から画素値が最大となる画素を選択し、これを全画素について行う。

ステップＳ７３において、合成特徴量マップ生成部１２３は、マップ間最大値選択部１２２によって選択された、各画素についての帯域候補マップ間の画素値の最大値に基づいて、合成特徴量マップを生成する。

具体的には、図１８に示された帯域候補マップＲ_１ｊ，…，Ｒ_１ｋの画素毎の画素値の最大値が、全画素について合成される（各画素の画素値として採用される）ことで、合成特徴量マップＣ_ｍが生成され、合成特徴量マップ合成部１１４、リファレンスマップ保持部７４、およびマッチング処理部７５に供給される。

このように、帯域特徴量マップ合成部１１３は、Ｍ種類の合成特徴量マップＣ_ｍを生成する。なお、より詳細には、各合成特徴量マップは、画素の画素値が、例えば０から２５５までの間の値となるように正規化される。また、１回目の被写体マップ生成処理においては、帯域信頼度指標群Ｓ_Ｒの各帯域信頼度指標ｓ_ｍｎは全て１とされ、特徴量毎の各帯域特徴量マップについて、画素毎の最大値が選択される。

図１０のフローチャートの説明に戻り、ステップＳ３６において、マッチング処理部７５は、帯域特徴量マップ合成部１１３から供給された合成特徴量マップＣ_ｍ（但し、１≦ｍ≦Ｍ）と、メモリ８１に記録されている合成リファレンスマップＲＦＣ_ｍ（但し、１≦ｍ≦Ｍ）とのマッチング処理を行う。

ここで、合成特徴量マップＣ_ｍのマッチング処理では、帯域特徴量マップのマッチング処理と同様の処理が行われる。

すなわち、例えば、マッチング処理部７５は、合成特徴量マップＣ_ｍ上の処理対象となる領域ＥＣ_ｍ（但し、１≦ｍ≦Ｍ）の位置をずらしながら、領域ＥＣ_ｍと合成リファレンスマップＲＦＣ_ｍとの画素の画素値の差分絶対値和を求める。そして、マッチング処理部７５は、合成特徴量マップＣ_ｍの各領域ＥＣ_ｍのうち、合成リファレンスマップとの差分絶対値和が最小となる領域を、最大類似領域ＭＥＣ_ｍ（但し、１≦ｍ≦Ｍ）とする。マッチング処理部７５は、最大類似領域ＭＥＣ_ｍの位置を示す情報と、合成特徴量マップＣ_ｍの各領域ＥＣ_ｍについて求めた差分絶対値和とを、マッチング処理の結果として信頼度指標算出部７６に供給する。

ステップＳ３７において、信頼度指標算出部７６は、信頼度指標算出処理を行って、現フレームの合成特徴量マップについての信頼度指標（合成信頼度指標）を算出し、被写体マップ生成部７１に供給する。

ここで、合成特徴量マップの信頼度指標算出処理は、図１５のフローチャートを参照して説明した帯域特徴量マップの信頼度指標算出処理と基本的に同様の処理が行われるので、その詳細な説明は省略する。

すなわち、帯域特徴量マップの信頼度指標算出処理においては、まず、マッチング処理部７５からのマッチング処理の結果に基づいて、現フレームのＭ個の合成特徴量マップＣ_ｍについての最大類似領域ＭＥＣ_ｍと前フレームのリファレンスマップとの類似度ＬＣ_ｍ（但し、１≦ｍ≦Ｍ）が算出される。次に、各合成特徴量マップについての類似度ＬＣ_ｍから、最大類似度ＭＬＣ_ｍを決定し、これに基づいて、Ｍ個の正規化された類似度ＳＬＣ_ｍが求められる。

一方、マッチング処理部７５からのマッチング処理の結果に基づいて、現フレームのＭ個の合成特徴量マップＣ_ｍについての先鋭度ＴＣ_ｍ（但し、１≦ｍ≦Ｍ）が算出される。次に、各合成特徴量マップについての先鋭度ＴＣ_ｍから、最大先鋭度ＭＴＣ_ｍを決定し、これに基づいて、Ｍ個の正規化された先鋭度ＳＴＣ_ｍが求められる。

そして、正規化された類似度ＳＬＣ_ｍおよび正規化された先鋭度ＳＴＣ_ｍに基づいて、各合成特徴量マップについての合成信頼度指標ｓ_ｍ（但し、１≦ｍ≦Ｍ）が求められる。

このようにして、Ｍ個の合成特徴量マップについての、Ｍ個の合成信頼度指標ｓ_ｍが求められ、合成信頼度指標群Ｓ_Ｃとして、被写体マップ生成部７１の合成特徴量マップ合成部１１４に供給される。

ステップＳ３８において、合成特徴量マップ合成部１１４は、合成特徴量マップ合成処理を行って、図１１に示されるように、帯域特徴量マップ合成部１１３からの合成特徴量マップＣ_ｍから、信頼度指標算出部７６からの合成信頼度指標群Ｓ_Ｃに基づいて、被写体マップ２０１を生成し、被写体候補領域矩形化部７２に供給する。

ここで、図１９のフローチャートを参照して、ステップＳ３８の処理に対応する合成特徴量マップ合成処理の詳細について説明する。

ステップＳ９１において、候補マップ決定部１２４は、帯域特徴量マップ合成部１１３からの合成特徴量マップＣ_ｍのうち、信頼度指標算出部７６からの合成信頼度指標ｓ_ｍが所定の閾値より大きい合成特徴量マップを、候補マップ（合成候補マップ）に決定する。候補マップ決定部１２４は、決定した合成候補マップをマップ間最大値選択部１２５に供給する。

具体的には、例えば、図２０に示されるように、Ｍ個の合成特徴量マップＣ_１乃至Ｃ_Ｍのうち、合成信頼度指標ｓ_１乃至ｓ_Ｍが所定の閾値より大きい合成特徴量マップＣ_１，Ｃ_３，Ｃ_４，…が合成候補マップに決定される。

ステップＳ９２において、マップ間最大値選択部１２５は、候補マップ決定部１２４からの合成候補マップについて、画素毎に、合成候補マップ間の特徴量（画素値）の最大値を選択し、これを全画素について行う。

具体的には、マップ間最大値選択部１２５は、図２０に示された合成候補マップＣ_１，Ｃ_３，Ｃ_４，…について、各合成候補マップにおける同一位置の画素に注目し、それぞれの画素の中から画素値が最大となる画素を選択し、これを全画素について行う。

ステップＳ９３において、被写体マップ生成部１２６は、マップ間最大値選択部１２５によって選択された、各画素についての合成候補マップ間の画素値の最大値に基づいて、被写体マップを生成する。

具体的には、図２０に示された合成候補マップＣ_１，Ｃ_３，Ｃ_４，…の画素毎の画素値の最大値が、全画素について合成される（各画素の画素値として採用される）ことで、被写体マップ２０１が生成され、被写体候補領域矩形化部７２に供給される。

このようにして求められた被写体マップの各画素の画素値は、例えば０から２５５までの間の値となるように正規化されて、最終的な被写体マップとされる。

なお、１回目の被写体マップ生成処理においては、合成信頼度指標群Ｓ_Ｃの各合成信頼度指標ｓ_ｍは全て１とされ、各合成特徴量マップについて、画素毎の最大値が選択される。

被写体マップが生成されると、被写体マップ生成処理は終了し、その後、処理は、図９のステップＳ１２に進む。

図９のフローチャートの説明に戻り、ステップＳ１２において、被写体候補領域矩形化部７２は、被写体候補領域矩形化処理を行って、被写体マップ生成部７１から供給された被写体マップ上の被写体候補領域を決定する。

ここで、図２１および図２２を参照して、被写体候補領域矩形化処理の詳細について説明する。図２１は、被写体候補領域矩形化処理について説明するフローチャートであり、図２２は、被写体候補領域矩形化処理の具体例を示す図である。

図２１のフローチャートのステップＳ１５１において、被写体候補領域矩形化部７２の２値化処理部１３１は、合成特徴量マップ合成部１１４から供給された被写体マップの各画素の画素値を閾値処理により２値化し、ラベリング処理部１３２に供給する。

より具体的には、２値化処理部１３１は、図２２に示すように、０から２５５までの間の値である被写体マップ２０１の各画素の画素値に対して、例えば、閾値「１２７」より小さい値の画素値を０とし、閾値「１２７」より大きい値の画素値を１とする。

これにより、図２２の上から２番目に示される２値化マップ２０２が得られる。図２２で示される２値化マップ２０２は、２値化された被写体マップであり、２値化マップ２０２においては、白で示される部分が、画素値が１である画素を示しており、黒で示される部分が、画素値が０である画素を示している。なお、ここでは、閾値を１２７であるものとしたが、他の値であってもよい。

ステップＳ１５２において、ラベリング処理部１３２は、２値化処理部１３１からの２値化マップ２０２に対してモルフォロジー演算等を行って、２値化マップ２０２上の被写体の領域を矩形化し、得られた連結領域に対してラベリングを行う。

すなわち、ラベリング処理部１３２は、２値化マップ２０２（２値化された被写体マップ）において、互いに隣接する、画素値が１である画素からなる連結領域に対してラベリングを行う。例えば、図２２の上から３番目に示されるように、２値化マップ２０２上の連結領域２１１にラベル「１」が付加され、連結領域２１２にラベル「２」が付加される。ラベリング処理部１３２は、ラベリングされた２値化マップ（被写体マップ）を、矩形領域座標算出部１３３に供給する。

ステップＳ１５３において、矩形領域座標算出部１３３は、ラベリング処理部１３２から供給された２値化マップ２０２上の各連結領域を囲む矩形領域を被写体候補領域とし、被写体候補領域の位置を示す座標情報を生成する。

具体的には、図２２の上から４番目に示されるように、２値化マップ２０２において、ラベル「１」が付加された連結領域２１１を外側から囲む矩形枠（外接枠）２２１が検出され、被写体候補領域とされる。そして、例えば、その被写体候補領域の図中、左上および右下の頂点の座標が求められ、その座標が座標情報とされる。

また、ラベル「２」が付加された連結領域２１２を外側から囲む矩形枠２２２が検出されて被写体候補領域とされ、その被写体候補領域の図中、左上および右下の頂点の座標が座標情報として生成される。

矩形領域座標算出部１３３は、各被写体候補領域の座標情報を生成すると、それらの座標情報を領域情報算出部１３４に供給する。

ステップＳ１５４において、領域情報算出部１３４は、矩形領域座標算出部１３３からの座標情報と、合成特徴量マップ合成部１１４からの被写体マップとを用いて、各被写体候補領域の領域情報を算出する。

例えば、領域情報算出部１３４は、被写体候補領域のサイズ（大きさ）や、被写体マップにおける被写体候補領域の中心位置の座標を領域情報として算出する。

また、領域情報算出部１３４は、被写体マップ上の被写体候補領域内の画素の画素値の積分値（総和）や、被写体マップ上の被写体候補領域内の画素の画素値のピーク値（最大値）を、領域情報として算出する。

領域情報算出部１３４は、各被写体候補領域について領域情報を算出すると、得られた各被写体候補領域の領域情報と座標情報を被写体領域選択部７３に供給し、被写体候補領域矩形化処理は終了する。そして、その後、処理は、図９のステップＳ１３へと進む。

図９のフローチャートの説明に戻り、ステップＳ１３において、被写体領域選択部７３は、被写体領域選択処理を行って、被写体候補領域のなかから被写体領域とするものを選択する。

ここで、図２３のフローチャートを参照して、ステップＳ１３の被写体領域選択処理の詳細について説明する。

ステップＳ１７１において、領域情報比較部１５１は、領域情報算出部１３４からの各被写体候補領域の領域情報と、領域情報記録部１５３に記録されている１フレーム前の被写体領域の領域情報とを比較する。そして、領域情報比較部１５１は、その比較結果と、領域情報算出部１３４からの各被写体候補領域の座標情報とを、被写体領域決定部１５２に供給する。

具体的には、例えば、領域情報として、被写体候補領域のサイズが算出された場合、領域情報比較部１５１は、各被写体候補領域のサイズ、つまり被写体候補領域を囲む矩形枠の大きさと、１フレーム前の被写体領域のサイズとを比較する。この場合、例えば、被写体候補領域のサイズと、被写体領域のサイズの差の絶対値が比較結果として得られる。

また、例えば、領域情報として、被写体候補領域の中心位置の座標が求められ、その中心位置の座標と、１フレーム前の被写体領域の中心位置の座標が比較された場合、それらの中心位置間の距離が、比較結果として得られる。

さらに、領域情報として、被写体候補領域内の画素の画素値のピーク値や積分値が求められた場合には、それらの被写体候補領域のピーク値や積分値と、１フレーム前の被写体領域のピーク値や積分値との差の絶対値が、比較の結果として得られることになる。

ステップＳ１７２において、被写体領域決定部１５２は、領域情報比較部１５１からの比較結果に基づいて、被写体候補領域の何れかを、処理対象の現フレームにおける被写体領域として選択する。すなわち、特定の特徴、つまり領域情報を指標とした場合に、現フレームの被写体候補領域のうち、前フレームの被写体領域との相関が最も高い被写体候補領域が、現フレームの被写体領域とされる。

具体的には、例えば、比較の結果として得られた、被写体領域に対する被写体候補領域のサイズの差、中心位置間の距離、ピーク値の差、積分値の差などの領域情報の差の絶対値が最も小さい被写体候補領域が、被写体領域として選択される。

また、被写体領域決定部１５２は、現フレームの被写体領域を決定すると、領域情報比較部１５１から供給された、被写体領域とされた被写体候補領域の座標情報を、制御部３４およびリファレンスマップ保持部７４に供給する。さらに、被写体領域決定部１５２は、その被写体領域の領域情報を領域情報記録部１５３に供給して記録させ、被写体領域選択処理は終了する。そして、その後、処理は図９のステップＳ１４に進む。

なお、１回目の被写体領域選択処理においては、領域情報記録部１５３には、１フレーム前の被写体領域の領域情報は記録されていないので、被写体追尾処理の開始時にユーザによって選択された初期選択領域を含む被写体候補領域が被写体領域とされる。

図９のフローチャートの説明に戻り、ステップＳ１４において、リファレンスマップ保持部７４は、帯域特徴量マップ生成部１１２から供給された帯域特徴量マップと、被写体領域決定部１５２からの被写体領域の座標情報とを用いて、帯域リファレンスマップを生成する。

具体的には、リファレンスマップ保持部７４は、図１２を参照して説明したように、現フレームの帯域特徴量マップＲ_ｍｎにおける入力画像上の被写体領域と同じ領域を切り出して、帯域リファレンスマップＲＦＲ_ｍｎ（但し、１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）とする。リファレンスマップ保持部７４は、生成した帯域リファレンスマップをメモリ８１に供給し、記録させる。この帯域リファレンスマップは、次フレームの帯域信頼度指標の算出に用いられる。

ステップＳ１５において、リファレンスマップ保持部７４は、帯域特徴量マップ合成部１１３から供給された合成特徴量マップと、被写体領域決定部１５２からの被写体領域の座標情報とを用いて、合成リファレンスマップを生成する。

すなわち、帯域リファレンスマップの生成と同様に、リファレンスマップ保持部７４は、現フレームの合成特徴量マップＣ_ｍにおける入力画像上の被写体領域と同じ領域を切り出して、合成リファレンスマップＲＦＣ_ｍ（但し、１≦ｍ≦Ｍ）とする。リファレンスマップ保持部７４は、生成した合成リファレンスマップをメモリ８１に供給し、記録させる。この合成リファレンスマップは、次フレームの合成信頼度指標の算出に用いられる。

ステップＳ１５において、合成リファレンスマップが生成されると、その後、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、次のフレームについての被写体追尾処理が実行され、この処理が１フレームごとに繰り返される。

以上の処理によれば、フレーム毎に、そのフレームの各特徴量マップについて、それらのマップにおける前フレームの被写体領域と相関の高い領域が検出され、その検出結果に応じて、マップについての信頼度指標が算出され、信頼度指標の大きい特徴量マップの画素毎の最大値から被写体マップが生成される。

この被写体マップを用いた被写体の検出では、直前のフレームの被写体領域とより相関の高い領域が、適応的に重要視され続ける。そのため、被写体に照射される光が変化する場合や、被写体の姿勢が変化する場合など、被写体の状態が変動するような環境下でも、最初に指定された領域の特徴量を用いて追尾を行う従来の手法と比べて、被写体をより安定して追尾することができる。

しかも、被写体マップは、入力画像から抽出された複数の特徴の特徴量から生成されるため、いくつかの特徴の特徴量が大きく変化しても、他の特徴の特徴量の変化が小さければ、十分な精度で被写体を検出することができ、安定した追尾が可能となる。

また、被写体領域は、被写体全体を含むように決定されるので、被写体の一部の領域の状態が変動するような環境下でも、被写体をより安定して追尾することができる。

特に、従来の被写体追尾の手法において、被写体領域内の何れかの座標（またはその座標を含む一部領域）が同定されるような場合では、被写体全体を追尾することができず、AF（Auto Focus）やAE（Auto Exposure）、ACC（Auto Color Control）の検波枠を正しく設定することができなかった。また、被写体領域内で特徴量が同一である同一特徴量領域が同定されるような場合では、上述の場合よりは検波枠を設定する精度を上げることができるが、同一特徴量領域は、被写体領域のごく一部に過ぎないことが多く、充分な検波精度は得られなかった。

一方、本発明の被写体追尾処理によれば、被写体全体を含む被写体領域を同定できるので、検波精度を上げることができ、ひいては、追尾結果を様々なアプリケーションに適用することが可能となる。

また、従来の被写体追尾の手法には、例えば、人間の全体像を学習により辞書に登録する等して、人間を検出・追尾するものもあるが、辞書に登録されていない人間以外の被写体を追尾することはできない。さらに、辞書に登録される情報（画像）の量は膨大な量となるため、装置規模が大きくなってしまう。

これに対して、本発明の被写体追尾処理によれば、任意の被写体を検出・追尾することができる上に、辞書等に膨大な量の情報を登録する必要がないので、装置規模をコンパクトにすることができる。

また、例えば、被写体マップ生成処理の帯域特徴量マップ生成処理において生成された特定の帯域の帯域特徴量マップが、単純な線形結合によって合成されるようにした場合、帯域特徴量マップにおいて、元々減衰されやすい被写体の直流付近の成分（すなわち、テクスチャの少ない領域の特徴量）は、単純な線形結合によってさらに減衰されてしまう。この場合、比較的単純な形状の被写体ほど、その被写体領域の特に中心付近で、特徴量のレベルが出にくい状態に陥りやすく、後段の被写体候補領域矩形化処理の２値化処理において、正確な連結領域が得られなくなるという悪影響を及ぼす恐れがある。

しかしながら、本発明の被写体追尾処理においては、特徴量マップ間の画素のいずれか１つを選択することで、被写体マップを生成するようにしたので、被写体マップの被写体領域において、何らかの特徴量を得ることができる。したがって、比較的単純な形状の被写体であっても、被写体部分で特徴量が出にくい状態を避けることができるので、２値化処理において、正確な連結領域を特定することができ、ひいては、安定した被写体の追尾が可能となる。

さらに、本発明の被写体追尾処理においては、特徴量マップにおける前フレームの被写体領域と相関の高い領域（最大類似領域）を検出し、その検出結果に応じて、特徴量マップについての信頼度指標を求め、この信頼度指標が所定の閾値より大きい特徴量マップ（候補マップ）から被写体マップを生成するようにしたので、信頼度指標が所定の閾値より小さい、すなわち、前フレームの被写体領域と相関の低い特徴量マップを、被写体マップ生成処理から除くことができる。したがって、実際の被写体領域とは異なる領域を被写体領域としてしまう可能性を下げることができ、より正確に被写体を特定することが可能となる。

また、帯域特徴量マップ合成処理や合成特徴量マップ合成処理において、各特徴量マップについての信頼度指標に対して閾値処理を行うことで、候補マップを決定するようにしたが、信頼度指標に対する閾値処理を、各特徴量マップの画素単位に行うようにして、合成特徴量マップまたは被写体マップに合成される候補である候補画素を決定するようにしてもよい。

この場合、処理対象の画素が、特徴量マップ上の最大類似領域に含まれるか否かによって閾値を変えるようにする。具体的には、最大類似領域に含まれない画素については、閾値を高く設定することで、信頼度指標が比較的高い特徴量マップの画素であっても、その画素は、被写体領域である可能性が低いので、その画素を候補画素から除くことができる。一方、最大類似領域に含まれる画素については、閾値を低く設定することで、信頼度指標が比較的低い特徴量マップの画素であっても、その画素は、被写体領域である可能性が高いので、その画素を候補画素として採用することができる。このようにして、決定された候補画素から、画素毎の最大値が選択され、最大値となる画素に基づいて合成特徴量マップまたは被写体マップが生成される。これにより、実際の被写体領域とは異なる領域を被写体領域としてしまう可能性をより確実に下げることができ、より一層正確に被写体を特定することが可能となる。

さらに、帯域特徴量マップ合成処理や合成特徴量マップ合成処理においては、候補マップについて、画素毎に、候補マップ間の特徴量の最大値を選択するようにしたが、最大値に限らず、候補マップ間の画素毎の特徴量において２番目に大きい値や中央値（median）などを選択するようにしてもよい。これにより、被写体領域でないにもかかわらず、外乱により局所的に大きい特徴量を有する画素を除くことができる。

なお、上述した説明においては、特徴量として、輝度成分、色成分、およびエッジ強度を用いるものとしたが、これに限らず、例えば、動き情報等を加えるようにしてもよい。また、用いられる特徴量は、例えば、輝度成分と色成分のような、相補的な関係にあるものが好適であり、適宜、選択されるようにしてもよい。

また、以上においては、（Ｍ×Ｎ）個の帯域特徴量マップ、およびＭ個の合成特徴量マップのそれぞれについて、信頼度指標を算出するようにしたが、一部のマップ信頼度指標のみを、適宜算出するようにしてもよい。例えば、合成特徴量マップＣ_１乃至Ｃ_ＭのＭ個の合成特徴量マップの合成信頼度指標のみを算出するようにしてもよい。このような場合、画像処理装置１１における演算量を抑えることができる。

さらに、以上においては、特徴量マップの差分絶対値和から類似度および先鋭度を算出し、これらに基づいて信頼度指標を算出するようにしたが、マッチング処理において差分絶対値和を利用しない場合には、そのマッチング処理の結果に基づいて、所定の統計学的手法を用いることで、処理対象フレームの特徴量マップ上の最大類似領域の近傍における特徴量の分散の度合を求め、分散の度合が小さいほど大きい値の信頼度指標を算出するようにしてもよい。

さらに、処理対象の現フレームにおいて、前フレームの被写体領域を含む所定の大きさの領域のみを処理対象領域として、帯域特徴量マップや合成特徴量マップのマッチング処理を行うようにしてもよい。そのような場合、処理対象領域の大きさや位置を、前フレームにおける追尾すべき被写体のサイズ（大きさ）や、被写体の移動速度に応じて変化させれば、より効率よく、かつより確実に相関の高い領域を検出することができる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図２４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。

バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインタフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１ 画像処理装置， ５５ 被写体追尾部， ７１ 被写体マップ生成部， ７２ 被写体候補領域矩形化部， ７３ 被写体領域選択部， ７４ リファレンスマップ保持部， ７５ マッチング処理部， ７６ 信頼度指標算出部， １１１ 特徴量マップ生成部， １１２ 帯域特徴量マップ生成部， １１３ 帯域特徴量マップ合成部， １１４ 合成特徴量マップ合成部， １２１ 候補マップ決定部， １２２ マップ間最大値選択部， １２３ 合成特徴量マップ生成部， １２４ 候補マップ決定部， １２５ マップ間最大値選択部， １２６ 被写体マップ生成部， １７１ 類似度算出部， １７２ 最大類似度決定部， １７３ 類似度正規化部， １７４ 先鋭度算出部， １７５ 最大先鋭度決定部， １７６ 先鋭度正規化部， １７７ 信頼度指標計算部

Claims (9)

1. 連続する複数フレームの入力画像のそれぞれについて、前記入力画像上の特定の被写体が含まれる領域を特定する画像処理装置において、
   前記入力画像の各画素が有する特徴毎の、前記入力画像の各領域における特徴量を示す特徴量マップについて、画素毎に、前記特徴量マップのいずれか１つの前記特徴量を選択することで、前記入力画像の各領域における前記被写体らしさを示す被写体マップを生成する被写体マップ生成手段と、
   前記被写体マップを用いて、前記被写体マップにおいて最も前記被写体らしい領域である被写体領域を特定することで、前記入力画像上の前記被写体が含まれる領域を特定する被写体領域特定手段と
   を備える画像処理装置。
2. 処理対象フレームよりも前のフレームの前記被写体領域に対応する、前記処理対象フレームの前記特徴量マップ上の対応領域を含む近傍領域における前記特徴量の分散の度合に基づいて、前記特徴量マップ上の前記対応領域に前記被写体が含まれることの指標である信頼度を算出する信頼度算出手段をさらに備え、
   前記被写体マップ生成手段は、画素毎に、前記特徴量マップそれぞれの前記信頼度に基づいて、前記特徴量マップのいずれか１つの前記特徴量を選択することで、前記被写体マップを生成する
   請求項１に記載の画像処理装置。
3. 前記特徴量マップにおける前記被写体領域と同じ位置の領域を、リファレンスマップとして保持するリファレンスマップ保持手段と、
   前記処理対象フレームの前記特徴量マップ上において、前記前のフレームの前記リファレンスマップと最も相関の高い最大類似領域を検索するマッチング処理手段とをさらに備え、
   前記信頼度算出手段は、前記処理対象フレームの前記特徴量マップ上の前記最大類似領域を含む前記近傍領域における前記特徴量の分散の度合に基づいて、前記特徴量マップ上の前記最大類似領域に前記被写体が含まれることの指標である前記信頼度を算出する
   請求項２に記載の画像処理装置。
4. 前記被写体マップ生成手段は、画素毎に、前記信頼度が所定の閾値より大きい前記特徴量マップのいずれか１つの前記特徴量を選択することで、前記被写体マップを生成する
   請求項２に記載の画像処理装置。
5. 前記被写体マップ生成手段は、
   前記入力画像から前記特徴量を抽出して、前記入力画像の各領域における前記特徴量マップを生成する特徴量マップ生成手段と、
   複数の帯域毎に、前記特徴量マップから前記帯域の成分を抽出して、前記帯域の成分を示す前記特徴量マップである帯域特徴量マップを生成する帯域特徴量マップ生成手段と、
   前記特徴量毎に、前記帯域特徴量マップを合成することで、合成特徴量マップを生成する帯域特徴量マップ合成手段と、
   前記合成特徴量マップを合成することで、他の前記特徴量マップである前記被写体マップを生成する合成特徴量マップ合成手段と
   を備え、
   前記信頼度算出手段は、前記前のフレームの前記被写体領域に対応する、前記処理対象フレームの前記合成特徴量マップ上の前記近傍領域における合成特徴量の分散の度合に基づいて、前記合成特徴量マップの前記信頼度を算出し、
   前記合成特徴量マップ合成手段は、画素毎に、前記合成特徴量マップそれぞれの前記信頼度に基づいて、前記合成特徴量マップのいずれか１つの前記合成特徴量を選択し、全ての画素について合成することで、前記被写体マップを生成する
   請求項２に記載の画像処理装置。
6. 前記信頼度算出手段は、前記前のフレームの前記被写体領域に対応する、前記処理対象フレームの前記帯域特徴量マップ上の前記近傍領域における帯域特徴量の分散の度合に基づいて、前記帯域特徴量マップの前記信頼度を算出し、
   前記帯域特徴量マップ合成手段は、画素毎に、前記帯域特徴量マップそれぞれの前記信頼度に基づいて、前記帯域特徴量マップのいずれか１つの前記帯域特徴量を選択し、全ての画素について合成することで、前記合成特徴量マップを生成する
   請求項５に記載の画像処理装置。
7. 前記被写体マップ生成手段は、画素毎に、前記特徴量マップ間の前記特徴量の最大値を選択することで、前記被写体マップを生成する
   請求項１に記載の画像処理装置。
8. 連続する複数フレームの入力画像のそれぞれについて、前記入力画像上の特定の被写体が含まれる領域を特定する画像処理装置であって、
   前記入力画像の各画素が有する特徴毎の、前記入力画像の各領域における特徴量を示す特徴量マップについて、画素毎に、前記特徴量マップのいずれか１つの前記特徴量を選択することで、前記入力画像の各領域における前記被写体らしさを示す被写体マップを生成する被写体マップ生成手段と、
   前記被写体マップを用いて、前記被写体マップにおいて最も前記被写体らしい領域である被写体領域を特定することで、前記入力画像上の前記被写体が含まれる領域を特定する被写体領域特定手段と
   を備える画像処理装置の画像処理方法において、
   前記被写体マップ生成手段が、前記入力画像の各画素が有する特徴毎の、前記入力画像の各領域における特徴量を示す特徴量マップについて、画素毎に、前記特徴量マップのいずれか１つの前記特徴量を選択することで、前記入力画像の各領域における前記被写体らしさを示す被写体マップを生成する被写体マップ生成ステップと、
   前記被写体領域特定手段が、前記被写体マップを用いて、前記被写体マップにおいて最も前記被写体らしい領域である被写体領域を特定することで、前記入力画像上の前記被写体が含まれる領域を特定する被写体領域特定ステップと
   を含む画像処理方法。
9. 連続する複数フレームの入力画像のそれぞれについて、前記入力画像上の特定の被写体が含まれる領域を特定する画像処理用のプログラムにおいて、
   前記入力画像の各画素が有する特徴毎の、前記入力画像の各領域における特徴量を示す特徴量マップについて、画素毎に、前記特徴量マップのいずれか１つの前記特徴量を選択することで、前記入力画像の各領域における前記被写体らしさを示す被写体マップを生成する被写体マップ生成ステップと、
   前記被写体マップを用いて、前記被写体マップにおいて最も前記被写体らしい領域である被写体領域を特定することで、前記入力画像上の前記被写体が含まれる領域を特定する被写体領域特定ステップと
   を含む処理をコンピュータに実行させるプログラム。

Images