JP2010257441A - 人物追跡装置及び人物追跡方法並びに人物追跡処理プログラム - Google Patents

Abstract

【課題】動画像に写された人物の動きを高精度に追跡できる人物追跡装置及び方法を提供する。
【解決手段】入力されたフレーム画像を蓄積する画像メモリ１０７と、入力されたフレーム画像に写された人物を検出する人物検出部１０１と、検出済みの人物を候補者として登録する候補者登録部１０６と、入力されたフレーム画像において検出された人物と、登録されている候補者との同一性を示す同一性指数を、全ての人物と候補者との組み合わせに関して、蓄積されているフレーム画像を基に２種類以上のパラメータについて算出する同一性指数算出部１０２と、各同一性指数を正規化する正規化部１０３と、検出された人物と候補者との組み合わせごとに、正規化した同一性指数を統合する統合部１０４と、統合した同一性指数に基づいて、任意の候補者と同一の人物を特定するトラッキング部１０５とを有する。
【選択図】図１

Description

本発明は、動画像に写された人物の動きを追跡する人物追跡装置及び人物追跡方法並びに人物追跡処理プログラムに関する。

動画像に写された不特定多数の人物を検出し、各人物の動きを追跡する「人物追跡」処理は、施設等への入退場人数を計測する用途などに用いられている。

人物追跡処理に関連する技術としては、特許文献１に開示される「動画像データに基づく移動物体追跡方法及び装置」がある。
特許文献１に開示される発明は、過去のフレームにおける追跡物体位置を基に予測位置を求め、今回のフレームにおける画像データから候補物体を抽出し、予測位置により近い候補物体を追跡物体として割り当てるものである。

このような人物追跡処理においては、任意のフレーム画像に写された人物に関して、前のフレームに写された人物との同一性を判断し、同一と判断した人物の位置の変化を検出することによって人物を追跡する。

しかし、特許文献１に開示される発明は、人物追跡に用いているパラメータが一つだけであるため、人物の同一性の判断の精度が低い。このため、人物追跡の精度も低くなってしまうという問題があった。

また、人物追跡に複数のパラメータを用いるものとしては、特許文献２に開示される発明がある。特許文献２に開示される発明は、つながり方、速度、及び画像の尤度に基づいて算出した尤度を基に人物の追跡を行うものである。

特開２００４−４６６４７号公報 ＵＳ２００５／０１０４９５９Ａ１

しかし、特許文献２に開示される発明は、つながり方、速度、画像の類似度といった意味合いが全く異なるパラメータを等価的に扱っている（［０１２８］参照）。したがって、これを基にして算出される尤度は信頼性が高いとは言えない。よって、これを基に行われる人物の追跡結果の精度も低くなってしまう。

本発明は係る問題に鑑みてなされたものであり、動画像に写された人物の動きを高精度に追跡できる人物追跡装置及び方法を提供することを目的とする。

上記目的を達成するため、本発明は、第１の態様として、入力されたフレーム画像を蓄積する手段と、入力されたフレーム画像に写された人物を検出する手段と、検出済みの人物を候補者として登録する手段と、入力されたフレーム画像において検出された人物と、そのフレームの時点で登録されている候補者との同一性を示す指数を、全ての人物と候補者との組み合わせに関して、蓄積されているフレーム画像を基に２種類以上のパラメータについて算出する手段と、算出した同一性を示す各指数を正規化する手段と、入力されたフレーム画像において検出された人物と候補者との組み合わせごとに、正規化した同一性を示す指数を統合する手段と、統合した同一性を示す指数に基づいて、任意の候補者と同一の人物を特定するトラッキング手段とを有することを特徴とする人物追跡装置を提供するものである。

また、上記目的を達成するため、本発明は、第２の態様として、入力されたフレーム画像に写された人物を検出する工程と、入力されたフレーム画像において検出された人物と、そのフレームの時点で候補者として登録されている検出済みの人物との同一性を示す指数を、全ての人物と候補者との組み合わせに関して、蓄積されているフレーム画像を基に２種類以上のパラメータについて算出する工程と、算出した同一性を示す各指数を正規化する工程と、入力されたフレーム画像において検出された人物と候補者との組み合わせごとに、正規化した同一性を示す指数を統合する工程と、統合した同一性を示す指数に基づいて、任意の候補者と同一の人物を特定する工程とを有することを特徴とする人物追跡方法を提供するものである。

また、上記目的を達成するため、本発明は、第３の態様として、上記本発明の第２の態様に係る人物追跡方法をコンピュータに実行させることを特徴とする人物追跡処理プログラムを提供するものである。

本発明によれば、動画像に写された人物の動きを高精度に追跡できる人物追跡装置及び方法を提供できる。

本発明を好適に実施した第１の実施形態に係る人物トラッキング装置の構成を示す図である。 第１の実施形態に係る人物トラッキング装置の動作の流れを示す図である。 フレーム間での人物の移動距離の一例を示す図である。 予測した人物の位置と実際の位置との差の一例を示す図である。 フレーム間での人物の頭部の大きさの差の一例を示す図である。 胸部領域における色成分のヒストグラム分布の一例を示す図である。 フレーム間での頭部の向きの差の一例を示す図である。 予測した人物の移動方向と実際の移動方向との差の一例を示す図である。 トラッキング処理の一例を示す図である。 トラッキング処理の一例を示す図である。 トラッキング処理の一例を示す図である。 トラッキング処理の一例を示す図である。 トラッキング処理の一例を示す図である。 本発明を好適に実施した第２の実施形態に係る人物トラッキング装置の構成を示す図である。

〔第１の実施形態〕
本発明を好適に実施した第１の実施形態について説明する。
図１に、本発明を好適に実施した第１の実施形態に係る人物トラッキング装置の構成を示す。人物トラッキング装置１００は、人物検出部１０１、同一性指数算出部１０２、正規化部１０３、統合部１０４、トラッキング部１０５、及び候補者登録部１０６を有する。

人物検出部１０１は、入力されたフレーム画像を解析して、その中に写されている人物を検出する。人物を検出する処理としては、任意の公知の方法を適用可能である。同一性指数算出部１０２は、入力フレーム画像に写されていた人物と、それ以前のフレーム画像に写されていて候補者登録部１０６に登録されている人物との同一性を複数のパラメータに関して数値化して指数（同一性指数）として算出する。正規化部１０３は、同一性指数算出部１０２が算出した意味合いの異なる同一性の指数の各々を同じ意味合いとなるように変換する。統合部１０４は、正規化された同一性の指数を合成した値を算出する。トラッキング部１０５は、統合された同一性指数を基に、入力されたフレーム画像において検出された人物を、それ以前のフレームにおいて検出されている人物のうちのどれと一致するかを判断する。また、入力されたフレームにおいて検出した人物を次以降に入力されるフレームにおける候補者として候補者登録部１０６に記録する。候補者登録部１０６は、入力されたフレーム画像の写されている人物と同一人物のなりうる候補者に関する情報が記録される。人物検出部１０１、同一性指数算出部１０２、正規化部１０３、統合部１０４、及びトラッキング部１０５は、ソフトウェア処理によってコンピュータ制御装置上に実現可能である。

人物検出部１０１が動画像の入力フレーム画像から人物を検出する方法としては、人体の頭部を検出処理を用いる。頭部を検出する処理には公知の顔検出方法を適用可能である。検出した人物は、それまでに検出されている人物（候補者）と同一ではないとトラッキング部１０５において判断されると、ユニークなＩＤが付与された上で候補者登録部１０６へ登録され、以降のフレームにおける同一人物の候補となる。

本実施形態に係る人物追跡装置は、人物の同一性を複数の異なる方法で数値化して指数とし、各々の指数を正規化した上で統合し、統合後の指数に基づいて人物を追跡する。

以下の説明においては、人物の頭部の中心の位置を追跡する場合を例とする。

図２に、人物トラッキング装置１００の動作の流れを示す。
フレーム画像が入力されると、人物検出部１０１は、そのフレーム画像に写されている人物を検出する（ステップＳ１０１）。

次に、同一性指数算出部１０２は、人物検出部１０１が検出した人物と、候補者登録部１０６に登録されている候補者との全ての組み合わせについて、人物の同一性を示す指数（同一性指数）を複数のパラメータに関して算出する（ステップＳ１０２）。同一性指数の算出に必要となる以前のフレーム画像は、画像メモリ１０７から取得する。
人物の同一性を判定するためのパラメータとしては、下記のものが考えられる。ただし、これらのパラメータに限定されることはない。

＜移動距離＞
通常、同一人物の位置は、連続するフレーム間で急激に変化しない。例えば、図３に示すように、ｎ−１番目のフレームにおける任意の候補者の位置を（ｘ_n-1，ｙ_n-1）、ｎ番目のフレームにおける人物の位置を（ｘ_n，ｙ_n）とした場合に、これらの２点間の距離
diff_dist1＝｛（ｘ_n-1−ｘ_n）²＋（ｙ_n-1−ｙ_n）²｝^1/2
が、小さいほど人物の同一性が高いと考えられる。

＜予測位置との比較＞
あるフレームの画像に写っている人物が次のフレームの画像においてどの位置に移動するかは、予測可能である。例えば、ｎ−１番目のフレームの画像に写っている人物が次のｎ番目のフレームでどの位置へ移動するかは、ｎ−１番目のフレームの画像及びｎ−２番目以前のフレームの画像から予測可能である。ここで、図４に示すように、ｎ−１番目のフレームにおいて予測したｎ番目のフレーム画像での人物の位置を（predict_x，predict_y）、ｎ番目のフレームにおける実際の位置を（ｘ_n，ｙ_n）とすると、これらの２点間の距離
diff_dist2＝｛（predict_x−ｘ_n）²＋（predict_y−ｙ_n）²｝^1/2
が小さいほど人物の同一性が高いと考えられる。

＜頭部の大きさ＞
通常、同一人物の頭部の大きさは、連続するフレーム間で急激に変化しない。従って、図５に示すようにｎ−１番目のフレームにおける任意の人物の頭部の大きさをｈ_(n-1)、ｎ番目のフレームにおける頭部の大きさをｈ_nとすると、頭部の大きさの差
diff_head-size＝｛ｍａｘ（ｈ_n-1，ｈ_n）−ｍｉｎ（ｈ_n-1，ｈ_n）｝／ｍａｘ（ｈ_n-1，ｈ_n）
が小さいほど人物の同一性が高いと考えられる。

＜服装の共通性＞
同一人物の衣服は、連続するフレーム間で急激に変化しない。よって、フレーム画像に写っている人物の服装を基に、人物の同一性を判定可能である。図６に示すように、フレーム画像において人物の頭部を検出した場合、その直下の部分はその人物の胸部であると推定できる。したがって、あるフレーム画像における人物の頭部の直下の部分（胸部領域）における色成分のヒストグラム分布と、その後のフレームに画像における胸部領域における色成分のヒストグラム分布とは、同一人物であればほぼ同じとなる。
ここで、ｎ番目のフレームでの胸部領域における色成分のヒストグラム分布と、ｎ−１番目のフレームでの胸部領域における色成分のヒストグラム分布の仕方の違いは、例えばＫＬ情報量（Kullback-Leibler divergence）として数値化することが可能である。すなわち、ｎ−１フレームにおける色成分のヒストグラム分布をＨｉｓｔ_n-1、ｎフレームにおける色成分のヒストグラム分布をＨｉｓｔ_nとすると、色成分のヒストグラム分布の差、
diff_color1＝ＫＬ（Ｈｉｓｔ_n-1，Ｈｉｓｔ_n）
が小さいほど人物の同一性が高いと考えられる。

しかし、ある人物の前を別の人物を通過するなどして、特定のフレームの胸部領域における色成分のヒストグラム分布が他のフレームと異なる場合もある。したがって、ｎ番目のフレームでの胸部領域における色成分のヒストグラム分布と、ｎ−１番目のフレームまでの胸部領域における色成分のヒストグラム分布平均とを比較することによっても人物の同一性を判定する。この場合も、上記同様にＫＬ情報量として数値化する。
ｎ−１番目のフレームまでの色成分のヒストグラム分布の平均をＨｉｓｔ_avg、ｎフレームにおける色成分のヒストグラム分布をＨｉｓｔ_nとすると、
diff_color2＝ＫＬ（Ｈｉｓｔ_avg，Ｈｉｓｔ_n）
が小さいほど人物の同一性が高いと考えられる。
このような処理の一例は、Changjiang Yang, Ramani Duraiswami and Larry Davis, Fast Multiple Object Tracking via a Hierarchical Particle Filter, "Proceedings of the Tenth IEEE International Conference on Computer Vision", 2005 の3.1 Color Rectangle Featuresに記載されている。

＜頭部の向き＞
一般的に、人間は一定の方向を向いて移動するため、あるフレームにおける頭部の向きとその次のフレームにおける頭部の向きとが極端に異なることはまれである。よって、ｎ−１番目のフレームにおける頭部の向きとｎ番目のフレームにおける頭部の向きとを比較することで、人物の同一性を判定可能である。図７に示すように、ｎ−１番目のフレームにおける頭部の向きをＯ_n-1、ｎ番目のフレームにおける頭部の向きをＯ_nとすると
diff_orientation1＝｜Ｏ_n-1−Ｏ_n｜
が小さいほど人物の同一性が高いと考えられる。

また、移動時に頭部が向いている方向は、その人物の進行方向と一致すると考えられる。したがって、ｎ−１番目のフレームの頭部の向きから予測した移動方向と、ｎ−１番目のフレームからｎ番目のフレームの間に移動した方向とを比較することによって人物の同一性を判定できる。
図８に示すように、ｎ−１番目のフレームにおける頭部の向きをＯ_n-1、ｎ−１番目のフレームからｎ番目のフレームの間に移動した方向をｍ_nとすると、
diff_orientation2＝｜Ｏ_n-1−ｍ_n｜
が小さいほど人物の同一性が高いと考えられる。

＜顔の類似度＞
同一人物の顔は、連続するフレーム間で急激に変化しない。よって、フレーム画像に写っている人物の顔を基に、人物の同一性を判定可能である。
フレーム間での人物の顔の相違は、テンプレートマッチング（Sum of Squared Difference：ＳＳＤ、Sum of Absolute Difference：ＳＡＤ）やＰＣＡ（Principal Component Analysis）空間上でのユークリッド距離によって数値化できる。
これらの方法で数値化した値をdiff_faceとすると、その値が小さいほど人物の同一性が高いと考えられる。

＜性別度＞
同一人物の顔の女性らしさ（男性らしさ）は、連続するフレーム間で急激に変化しない。よって、フレーム画像に写っている人物の女性らしさ（男性らしさ）を基に、人物の同一性を判定可能である。
ここで、女性らしさ（男性らしさ）を性別度として定義すると、性別度は認識器（識別器）によって顔画像を基に出力可能である。例えば、フレーム画像に写っている人物の顔が女性らしいほど０に近い値を出力し、男性らしいほど１に近い値を出力するようにすればよい。
上記のように性別度を出力する場合、ｎ−１番目のフレームにおける性別度をｇ_n-1、ｎ番目のフレームにおける性別度をｇ_nとすると、
diff_gender＝｜ｇ_n-1−ｇ_n｜
が小さいほど人物の同一性が高いと考えられる。

＜年齢＞
同一人物の年齢は、連続するフレーム間で急激に変化しない。よって、フレーム画像に写っている人物の年齢を基に、人物の同一性を判定可能である。
人物の年齢は連続量を扱う（換言すると回帰問題を扱う）識別器によって、顔画像を基に推定することが可能である。
ｎ−１番目のフレームにおいて推定された年齢をｇ_n-1、ｎ番目のフレームにおいて推定された年齢をｇ_nとすると、
diff_age＝｜ａｇｅ_n-1−ａｇｅ_n｜
が小さいほど人物の同一性が高いと考えられる。

上記のような各パラメータに関しては、人物の追跡に用いるか否かを個別に設定可能である。

人物の同一性の判定に用いる各同一性指数はそれぞれ意味合いが異なるため、異なる同一性指数を比較しても人物の同一性を評価できない。よって、正規化部１０３は、各同一性指数に個別の所定の閾値で同一性指数の値を除することによって、各同一性指数を正規化する（ステップＳ１０３）。なお、所定の閾値は、同一人物と判定する最大の値とする。移動距離を例とすると、フレーム間の移動距離がＬを超える場合には同一人物と判定しないのであれば、実際の移動距離ＸをＬで除することによって正規化する。以下、正規化した値をスコアという。スコアは、同一人物である可能性の高さを０から１の範囲で示す値であり、０に近いほど同一人物の可能性が高い。これは基となった同一性指数によらず共通である。

統合部１０４は、ある人物とある候補者との組み合わせに関して、各スコアの相加平均することにより、その人物と候補者との組み合わせに関して各同一性指数による同一性の判定結果を統合した値を算出する（ステップＳ１０４）。
なお、同一性指数ごとに重みを変えて重み付け平均した値を算出することも可能である。例えば、Ａ〜Ｄの四つのスコアを統合する場合、０．２５Ａ＋０．２５Ｂ＋０．２５Ｃ＋０．２５Ｄとしてスコアを統合すれば、各同一性指数の重みは同一である。一方、０．４Ａ＋０．２Ｂ＋０．２Ｃ＋０．２Ｄとしてスコアを統合すれば、スコアＡの基となった同一性指数に他の同一性指数の２倍の重みを与えることができる。

以上のようにして算出されるスコアは、ｎ番目のフレームにおいて検出された全ての人物と、同一人物と判定しうる全ての候補に関して算出する。例えば、図９に示すように、ｎ番目のフレームには４人の人物（Ｗ、Ｘ、Ｙ、Ｚ）が検出されており、その時点において同一人物の候補として３人（Ａ、Ｂ、Ｃ）が登録されている場合は、４×３＝１２通りのスコアを算出する。なお、Ｗ_n、Ｘ_n、Ｙ_n、Ｚ_nは、人物Ｗ、Ｘ、Ｙ、Ｚがｎ番目のフレームにおいて検出されたことを示しており、Ａ_n-1、Ｂ_n-1、Ｃ_n-1は、候補者Ａ、Ｂ、Ｃがｎ−１番目のフレームにおいて検出されていることを示している。

トラッキング部１０５は、統合されたスコアを基に、以下の手順で人物と候補者とを対応させる（ステップＳ１０５）。
まず、トラッキング部１０５は、統合部１０４が統合したスコアのうち最小の値を検出し、同一人物と判定する。ここでは、Ｂ_n-1とＸ_nとの組み合わせにおけるスコアが最小値をとるため、図１０に示すようにトラッキング部１０５はｎ番目のフレームにおいて検出されたＸは、候補者Ｂであると判定する。

次に、トラッキング部１０５は、人物Ｂ及び人物Ｘとは関連のないスコアの中から最小の値を検出し、同一人物と判定する。ここでは、Ｃ_n-1とＺ_nとの組み合わせにおけるスコアが最小値をとるため、図１１に示すようにトラッキング部１０５は、ｎ番目のフレームにおいて検出されたＺは、候補者Ｃであると判定する。

その後、トラッキング部１０５は、人物Ｂ、Ｃ、Ｘ及びＺとは関連のないスコアの中から最小の値を検出し、同一人物と判定する。ここでは、Ａ_n-1とＷ_nとの組み合わせにおけるスコアが最小値をとるため、図１２に示すようにトラッキング部１０５はｎ番目のフレームにおいて検出されたＷは、候補者Ａであると判定する。

この段階で、登録済みの候補者と同一の人物は全て検出されたため、図１３に示すようにトラッキング部１０５は残った人物Ｙは新規の人物であると判断する。トラッキング部１０５は、人物Ｙを以降のトラッキング処理における候補者として候補者登録部１０６に登録する。なお、人物検出部１０１が人物以外のものを誤って人物と検出する可能性もあるため、トラッキング部１０５は、所定回数続けて残った人物のみを新規の人物として候補者登録部１０６へ登録することが好ましい。

候補者登録部１０６に登録されているにもかかわらず、追跡できなかった候補者が存在する場合（例えば、人物検出部１０１が入力フレーム画像から検出した人物の数が、候補者登録部１０６に登録されている候補者の数よりも少なかった場合）は、トラッキング部１０５は追跡できなかった候補者はフレームアウトしたものと判断する。なお、ある人物の前を別の人物を通過するなどして、人物がフレーム内に存在するにもかかわらず人物検出部１０１が人物の検出に失敗することも考えられるため、トラッキング部１０５が所定回数続けて追跡できなかった候補者をフレームアウトしたと判断することが好ましい。

人物トラッキング１００は、上記の処理を所定のフレーム数ごとに繰り返すことにより、動画像に映された人物を追跡する。

なお、ここでは同一人物の候補が全てｎ−１番目のフレームにおいて検出されている場合を例としたが、ｎ−１番目のフレームにおいて検出されない候補がいる場合は、その候補者については、同一性指数算出部１０２が直前に検出されたフレームの画像（ｎ−２番目のフレームなど）を画像メモリ１０７から取得して、入力フレーム画像との差分から同一性指数を算出する。

このように、本実施形態に係る人物トラッキング装置は、複数のパラメータに関して同一性指数を算出し、それらを正規化した上で統合するため、動画像に写された人物の動きを高精度に追跡できる。

〔第２の実施形態〕
本発明を好適に実施した第２の実施形態について説明する。図１４に、本実施形態に係る人物トラッキング装置の構成を示す。人物トラッキング装置１００が軌跡描画部１０８を備えている点で第１の実施形態と相違する。
軌跡描画部１０８は、フレーム画像のデータと、トラッキング部１０５による人物追跡結果とが入力され、人物追跡結果に基づいてフレーム画像上に各人物の移動の軌跡を描画する。軌跡描画部１０８は、ソフトウェア処理によってコンピュータ制御装置上に実現可能である。

軌跡描画部１０８から軌跡付き画像を出力することにより、不図示の表示装置等において軌跡が付与された画像を表示できる。

この他の点については上記第１の実施形態と同様であるため、重複する説明は省略する。

なお、上記各実施形態は本発明の好適な実施の一例であり、本発明はこれに限定されることなく様々な変形が可能である。

１００ 人物トラッキング装置
１０１ 人物検出部
１０２ 同一性指数算出部
１０３ 正規化部
１０４ 統合部
１０５ トラッキング部
１０６ 候補者登録部
１０７ 画像メモリ
１０８ 軌跡描画部

Claims (17)

1. 入力されたフレーム画像を蓄積する手段と、
   入力されたフレーム画像に写された人物を検出する手段と、
   検出済みの人物を候補者として登録する手段と、
   前記入力されたフレーム画像において検出された人物と、そのフレームの時点で登録されている前記候補者との同一性を示す指数を、全ての前記人物と前記候補者との組み合わせに関して、蓄積されているフレーム画像を基に２種類以上のパラメータについて算出する手段と、
   算出した同一性を示す各指数を正規化する手段と、
   前記入力されたフレーム画像において検出された人物と前記候補者との組み合わせごとに、正規化した同一性を示す指数を統合する手段と、
   統合した同一性を示す指数に基づいて、任意の前記候補者と同一の人物を特定するトラッキング手段とを有することを特徴とする人物追跡装置。
2. 前記各パラメータについて、前記入力されたフレーム画像において検出された人物と、前記候補者とを同一の人物と見なしうる最大の差異に相当する値を閾値として正規化を行うことを特徴とする請求項１記載の人物追跡装置。
3. 前記パラメータの一つは、前記入力されたフレーム画像における人物の位置と、前記候補者が検出された際のフレーム画像における該候補者の位置との差分であることを特徴とする請求項１又は２記載の人物追跡装置。
4. 前記パラメータの一つは、過去のフレーム画像における前記人物の位置を基に予測される前記入力されたフレーム画像における該人物の位置と、該入力されたフレーム画像において前記人物が実際に検出された位置との差分であることを特徴とする請求項１から３のいずれか１項記載の人物追跡装置。
5. 前記パラメータの一つは、前記入力されたフレーム画像における人物の大きさと、前記候補者が検出された際のフレーム画像における該候補者の大きさとの差分であることを特徴とする請求項１から４のいずれか１項記載の人物追跡装置。
6. 前記パラメータの一つは、前記入力されたフレーム画像において人物が占める領域内の色の分布と、前記候補者が検出されたフレーム画像において該候補者が占める領域内の色の分布との差分であることを特徴とする請求項１から５のいずれか１項記載の人物追跡装置。
7. 前記パラメータの一つは、前記入力されたフレーム画像において人物が占める領域内の色の分布と、前記候補者が検出された２以上のフレーム画像における該候補者が占める領域内の色の分布の平均との差分であることを特徴とする請求項１から６のいずれか１項記載の人物追跡装置。
8. 前記パラメータの一つは、前記入力されたフレーム画像における人物の向きと、前記候補者が検出された際のフレーム画像における該候補者の向きとの差分であることを特徴とする請求項１から７のいずれか１項記載の人物追跡装置。
9. 前記パラメータの一つは、過去のフレーム画像における前記人物の向きを基に予測される前記入力されたフレーム画像での該人物の移動方向と、該入力されたフレーム画像で実際に検出された前記人物の移動方向との差分であることを特徴とする請求項１から８のいずれか１項記載の人物追跡装置。
10. 前記パラメータの一つは、前記入力されたフレーム画像における人物の形状と、前記候補者が検出された際のフレーム画像における該候補者の形状との差分であることを特徴とする請求項１から９のいずれか１項記載の人物追跡装置。
11. 候補者との同一性を示す指数をするか否かを、前記各パラメータに個別に設定可能であることを特徴とする請求項１から１０のいずれか１項記載の人物追跡装置。
12. 前記統合した同一性を示す指数のうち、最も同一性が高いことを示す値の前記人物と前記候補者との組み合わせに係る人物と候補者とを同一人物として特定し、
    残りの前記統合した同一性を示す指数のうち、先に同一人物と特定した人物及び候補者を含まないそれぞれの組み合わせに関して、最も同一性が高いことを示す値の前記人物と前記候補者との組み合わせに係る人物と候補者とを同一人物として順次特定することを特徴とする請求項１から１１のいずれか１項記載の人物追跡装置。
13. 前記トラッキング手段の特定結果に基づいて、前記入力されたフレーム画像上に、そのフレーム画像において検出された人物の軌跡を描画する手段を有することを特徴とする請求項１から１２のいずれか１項記載の人物追跡装置。
14. 入力されたフレーム画像に写された人物を検出する工程と、
    前記入力されたフレーム画像において検出された人物と、そのフレームの時点で候補者として登録されている検出済みの人物との同一性を示す指数を、全ての前記人物と前記候補者との組み合わせに関して、蓄積されているフレーム画像を基に２種類以上のパラメータについて算出する工程と、
    算出した同一性を示す各指数を正規化する工程と、
    前記入力されたフレーム画像において検出された人物と前記候補者との組み合わせごとに、正規化した同一性を示す指数を統合する工程と、
    統合した同一性を示す指数に基づいて、任意の前記候補者と同一の人物を特定する工程とを有することを特徴とする人物追跡方法。
15. 前記各パラメータについて、前記入力されたフレーム画像において検出された人物と、前記候補者とを同一の人物と見なしうる最大の差異に相当する値を閾値として正規化を行うことを特徴とする請求項１４記載の人物追跡方法。
16. 前記統合した同一性を示す指数のうち、最も同一性が高いことを示す値の前記人物と前記候補者との組み合わせに係る人物と候補者とを同一人物として特定し、
    残りの前記統合した同一性を示す指数のうち、先に同一人物と特定した人物及び候補者を含まないそれぞれの組み合わせに関して、最も同一性が高いことを示す値の前記人物と前記候補者との組み合わせに係る人物と候補者とを同一人物として順次特定することを特徴とする請求項１４又は１５記載の人物追跡方法。
17. 請求項１４から１６のいずれか１項記載の人物追跡方法をコンピュータに実行させることを特徴とする人物追跡処理プログラム。

Images