JP2006163452A - 追跡装置および追跡方法 - Google Patents

Abstract

【課題】処理負荷の軽い方法で動画像からの人などの移動対象の実時間追跡を実現すると共に、追跡を通して特徴を学習し、より精度の高い追跡を実現する追跡装置および追跡方法を提供すること。
【解決手段】追跡装置は、入力された動画像データを部分画像（短冊状あるいは矩形状）に分割し、追跡対象の含まれていない背景画像と現在の画像とを比較することにより追跡対象が存在する分割画像を抽出する。また、追跡対象の識別を行うために色と形の特徴を一度に抽出できるカラー高次局所自己相関特徴データを算出し、登録されている追跡対象の特徴データとの距離に基づき識別を行う。更に背景画像や登録特徴データを直近のものに更新する。追跡対象を追跡しながら特徴を獲得し、その特徴を利用して対象を識別するので頑健で高精度な追跡を実現できる。
【選択図】図２

Description

本発明は、動画像を取り込んで対象を追跡する追跡装置および追跡方法に関するものである。

近年、生活支援に利用できる人間協調・共存型ロボットや情報機器の必要性が高まっている。共存型ロボットには環境と人間のアクションを認識させる必要があり、動いているものを目で追うという人間の視覚機能をシステムとして実現しなければならない。また、犯罪率の増加に伴い、監視カメラや録画しておいた映像を調べるビデオサーベランスといった、動いている人の情報を的確にすばやく取得することのできるシステムの需要が増えている。

上記したような用途に必要な移動物体の自動追跡技術に関しては、既に多くの研究がなされている。フレーム間差分画像から追跡対象である移動物体のエッジ部分を抽出することによって移動物体の領域を抽出して追跡するものや、画像中のある点や図形が次の瞬間にどのような方向へ、どの程度の距離を移動するかを示す速度ベクトルであるオプティカルフローを用い、フローが大きい画素のみを移動物体の領域として選択する方法などがある。

例えば下記特許文献１には、オプティカルフローとテンプレート画像との相関（マッチング）による動き情報の双方を使用する物体追跡方法が開示されている。
特開２００４−２４０７６２号公報

上記した従来の自動追跡方式においては、対象領域の画像の類似性に注目し、その類似度の高いものを追跡することに主眼を置いてきた。しかし、追跡対象の隠れや交差、向きや大きさの変化等が起きた場合、画像の類似性によってのみ追跡するだけではどうしても対象の識別精度が不十分であり、追跡動作が不安定になるという問題があった。また、従来の自動追跡方式においては、計算量が膨大で実時間追跡には不向きであり、雑音に対して弱いという問題点もあった。

本発明の目的はこのような問題点を解決し、できるだけ処理負荷の軽い方法で実時間追跡を実現すると共に、追跡を通して対象の特徴を逐次学習し、更新することにより、認識レベルでのより精度の高い追跡を実現する追跡装置および追跡方法を提供する点にある。

本発明においては、従来手法の多くに見られる画像(画素) レベルのマッチング(相関)
ではなく、対象特有の特徴を利用して、対象の識別を行いながら追跡を行う。このために、顔の形や色の特徴を一度に抽出できるカラー高次局所自己相関特徴を利用した追跡手法を用いる。

本発明の追跡装置は、入力された動画像データを分割して分割画像データを生成する画像分割手段と、前記分割画像データから背景画像データと異なる部分の非背景画像データを抽出する抽出手段と、前記抽出手段の出力に基づき、前記分割画像に追跡対象の少なくとも一部が含まれているか否かを判定する対象有無判定手段と、対象有りと判定された非背景画像データについて、カラー高次局所自己相関特徴データを算出する特徴データ計算手段と、対象有りと判定された分割画像について、隣接する分割画像をまとめて追跡対象の位置を決定する対象位置決定手段と、まとめられた非背景画像データの前記特徴データを加算合成する加算合成手段と、登録されている追跡対象の特徴データと前記加算合成手段の出力との距離に基づき追跡対象を識別する識別手段とを備えたことを主要な特徴とする。

あるいは、本発明の追跡装置は、入力された動画像データを分割して分割画像データを生成する画像分割手段と、前記分割画像データから背景画像データと異なる部分の非背景画像データを抽出する抽出手段と、非背景画像データについてカラー高次局所自己相関特徴データを算出する特徴データ計算手段と、カラー高次局所自己相関特徴データから特徴データベクトルの長さであるノルムを算出するノルム算出手段と、ノルム算出手段の出力に基づき、分割画像に追跡対象の少なくとも一部が含まれているか否かを判定する対象有無判定手段と、対象有りと判定された分割画像について、隣接する分割画像をまとめて対象の位置を決定する対象位置決定手段と、まとめられた非背景画像データの前記特徴データを加算合成する加算合成手段と、登録されている追跡対象の特徴データと前記加算合成手段の出力との距離に基づき追跡対象を識別する識別手段とを備えたことを主要な特徴とする。

また、前記した追跡装置において、前記対象有無判定手段によって追跡対象が無いと判定された分割画像に基づき背景画像を更新する背景画像更新手段を備えていてもよい。

また、前記した追跡装置において、前記識別手段は、追跡対象毎に直近の複数個の特徴データを保存する保存手段と、保存されている全ての特徴データと、検出された対象の特徴データとの距離をそれぞれ計算し、距離が最も近い奇数個の特徴データを抽出する最近特徴データ抽出手段と、検出された対象が、抽出された奇数個の特徴データの内で特徴データの数が最も多い追跡対象に属するものと判定する対象識別手段とを備えていてもよい。更に、前記した追跡装置において、前記識別手段の識別結果に基づき、登録されている追跡対象の特徴データを更新する登録対象更新手段を備えていてもよい。

高次局所自己相関特徴は、従来の研究において顔認識等の個人識別に対して有効な特徴であることが知られている。本発明においては、この高次局所自己相関特徴を更にカラーに拡張し、形と色の情報を同時に抽出するカラー高次局所自己相関特徴を使用する。このカラー高次局所自己相関特徴は、画像内における位置不変性があり、追跡対象が分割画像内のどこにあっても正確に認識可能である。従って従来の画像マッチングのように対象そのものの位置（輪郭）を正確に検出あるいは予測する必要がなく、追跡対象を特徴レベルで識別しながら追跡を行うことで、より頑健で高精度な追跡を実現できるという効果がある。

本発明の方式は、追跡する処理と追跡対象から情報を獲得する処理を同時に行うことに相当する。従って、対象の隠れや他の対象との交差等によって対象の認識ができない状態が発生しても、その状態が解消された後は対象を識別することにより、問題なく追跡を継続できる。

また、特徴抽出のための計算量が少なく、実時間処理が可能であるという効果もある。更に各分割画像について並行処理が可能であるので、ＰＣクラスターなどを用いて並行処理することにより、更に処理速度を向上させることが可能であるという効果もある。

更に、本発明の方式はテンプレート画像との比較を行わないので、テンプレートを予め用意する必要がなく、このことによって汎用性が向上すると共に、新たに検出された対象の正確な特徴データを直ちに取得可能であり、対象の画像上における大きさや動きに依存せず、時間と共に位置のみならず、形、色、大きさが変化しても高精度で追跡可能であるという効果もある。

本発明では、追跡対象の位置を推定するために以下の処理を行う。まず、画像を短冊状（または矩形）に分割し、短冊型の各分割画像を調べることで、追跡対象が存在する分割画像を抽出する。

追跡対象の抽出法には様々な方法があるが、本発明では、追跡対象の含まれていない背景画像と現在の画像とを比較することにより、追跡対象が存在する分割画像を抽出する。追跡対象の存在する分割画像について隣接するものをまとめることで、追跡対象の現在位置を取得することができる。また、追跡対象の特徴データを生成し、登録データと比較して追跡対象の識別を行う。追跡対象を追跡しながら特徴を獲得、その特徴を利用して対象を識別し、高精度な追跡を実現する。

図１は、本発明による追跡装置の構成を示すブロック図である。ビデオカメラ１０は対象となる人や装置のカラー動画像フレームデータをリアルタイムで出力する。カラー動画像データは例えばＲＧＢ各２５６階調であってもよい。ＰＣ（パソコン）などのコンピュータ１２は、外付けあるいは内蔵の、動画像を取り込むためのビデオキャプチャー装置１１を介して、ビデオカメラ１０からカラー動画像フレームデータをリアルタイムで取り込む。

コンピュータ１２は周知のモニタ装置１３、キーボード１４、マウス１５、ＬＡＮ２０に接続されている。ＬＡＮ２０にはＰＣ２１、２２の他、ルータ２３を介してインターネット３０が接続されており、コンピュータ１２はＬＡＮ上の他のＰＣ２１、２２やインターネット上のＰＣ３１と通信可能である。本発明の追跡装置は、パソコンなどの周知の任意のコンピュータ１１に後述する処理を実行するプログラムを作成してインストール、起動することにより実現される。

他のＰＣ２１、２２、３１は、追跡処理における並列処理装置として、あるいは追跡結果の遠隔表示に使用可能である。なお、実施例においては、例えばビデオカメラ１０から入力された動画像データを実時間で処理する例を開示するが、一旦動画像ファイルに保存してから順次読み出して処理してもよい。

図２は、コンピュータ１２において実行される本発明の対象追跡処理の内容を示すフローチャートである。なお、実施例においては追跡対象として人を追跡する例を開示するが、本発明は任意の追跡対象に適用可能である。Ｓ１０においては、ビデオキャプチャー装置１１を使用してビデオカメラ１０から画像フレームデータをリアルタイムで取り込む。

Ｓ１１においては、入力した画像データをＮ個の短冊型（垂直にのみ分割）または矩形（水平および垂直に分割）の画像へ分割する。分割境界では、後述する特徴データ算出のため、境界線よりも１画素余分に重複して切り出す。分割画像の大きさは対象と同程度かより小さい程度とする。対象が多数存在する場合には分割画像の大きさを小さくすることにより、対象の分離精度がより向上する。

画像を分割した後の各短冊画像での処理は全て並列に行うことができ、実時間処理を実現するのに好都合である。また本発明で使用する対象を識別するための特徴データは加法性を持っており、画像の分割、結合に対して極めて相性が良い。以下実施例においては、短冊型（垂直にのみ分割）に分割した場合について説明する。また、実施例においては画像の分割数を例えば４０とする。図４はコンピュータ１２に入力し、短冊状に分割した画像例を示す説明図である。

Ｓ１２においては、分割画像データを１つ取り出す。Ｓ１３においては、背景画像との差分を取り、非背景画像を抽出する。追跡対象抽出手法としては、オプティカルフローを用いる方法、フレーム間差分法、背景差分法を用いる方法等がある。しかし、オプティカルフローを用いる方法は計算量が多く、雑音に対しても弱いため、追跡対象の抽出にはあまり適切ではない。また、フレーム間差分法は、対象が静止してしまうと対象を抽出できなくなるという問題点がある。これに対して背景差分法は追跡対象がたとえ静止したとしても正確に抽出することができる。よって、本発明においては背景差分法を用いる。

背景差分法とは、予めなんらかの方法で用意した背景画像と現在の入力画像との差分を取ることにより、処理すべき対象を得る方法である。背景画像としては予め追跡対象を含まない画像を入力し、保存すればよい。しかし、実際の場面では、道路や人通りが多い場所など常に追跡対象が存在しており、追跡対象が含まれない画像を取得するのが難しい場合が多い。このような場合にも追跡対象を含まない背景画像を推定する必要がある。そこで、背景画像をそのまま使うのではなく、複数の背景画像の各画素について時系列上の中央値を取ってもよい。なお、本発明においては、後述するように、短冊単位で追跡対象がない画像を背景画像として置き換えることにより背景画像を更新している。

図５は複数の分割画像から抽出した非背景画像（全体）例を示す説明図である。図中○で囲んだ部分のように、追跡対象が存在しないにもかかわらず抽出されている「雑音」が存在する。この雑音を極力減らすために、次のような処理を行う。各短冊において、背景画像をＢ_ij(x)、現在の画像をＦ_ij(x)（x=r,g,b）、閾値εを小さな値として、差分画像Ｇ_ij(x)を以下のようにして算出する。

この処理をＲＧＢに関して行い、差分画像Ｇijを生成する。この処理により、わずかな変化は検出しないので雑音が減り、対象の検出精度が向上する。なお、照明や日射し、影などの影響により背景画像が時間と共に変化する。このような変化については上記した処理だけでは対応できないので、後述する処理によって背景画像を常に更新する。

Ｓ１４においては、非背景面積を求める。即ち、背景部分においては差分画素値は０であるので、短冊状の差分画像における０以外の画素数を計数する。Ｓ１４の計数処理はＳ１３の画素毎の判定処理と同時に処理してもよい。
Ｓ１５においては、各短冊毎の非背景面積（画素数）の値が所定の閾値より大きいか否かによって対象が存在する可能性が大きいか否かが判定され、判定結果が否定の場合にはＳ１７に移行するが、肯定の場合にはＳ１６に移行する。所定の閾値の最適値は、実験により決定すればよいが、対象が隣の短冊と分割されている場合にも検出する必要があるので、追跡対象（人）の画像全体の画素数の１／２０〜１／５程度とする。

Ｓ１６においては、カラー高次局所自己相関特徴を計算して保存する。本発明においては、形の情報を抽出でき、個人識別に実績のある特徴である高次局所自己相関特徴をカラーに拡張し、色と形の両方の情報を同時に抽出できるようにした。高次自己相関特徴は、自己相関特徴を高次へと拡張したものであり、画面内の対象画像をｆ(r)とすると、 高次局所自己相関特徴は変位方向（ａ₁,…,ａ_N）に対して次式２で定義される。

高次局所自己相関特徴は、次数や変位方向（ａ₁,…,ａ_N）の取り方により無数に考えられる。しかし、画像は局所的な相関が大きいので局所に限り、組み合わせ爆発を避ける。また局所に限ることにより加法性を持つ。従来の高次局所自己相関特徴は２値画像や濃淡画像から抽出していたが、本発明においてはカラー画像に適用するために高次局所自己相関をカラーに拡張する。

今、カラー画像を｛ｆ(i,j)＝(r(i,j),g(i,j),b(i,j))|i∈I,j∈J｝とする。ただし、r(i,j)、g(i,j)、b(i,j)は、それぞれ画素(i,j)における赤（ｒ）、緑（ｇ）、青（ｂ）成分の輝度を表す。実施例においてはカラー高次局所自己相関の次数を、高々１までとするが、２以上を採用してもよい。カラー画像に対する０次の自己相関は、画素数で正規化した場合、

で定義される。これらは画像の赤、緑、青成分の平均値である。これにより３個の特徴が得られる（図３（ａ））。

また、１次の自己相関特徴は、変位方向をａ＝（ａ_m,ａ_n）とすると、

で定義される。変位方向の取り方により、無数の可能性が考えられるが、ここでは簡単のため、それを参照点ｒのまわりの局所的な３×３の局所領域に限定する。つまり、変位ベクトルａは、(0,0)、(0,1)、(1,0)、(1,1)、…のような値をとる。

局所領域の平行移動により等価となる変位ベクトルパターンを除くと、変位ベクトルの種類は図３（ｂ）〜（ｆ）に示す５種類に限定される。このパターンから、０次と同じパターン（ｂ）については同じ画素値を乗算するために重複する値が３組あるので６種類、他の４つのパターン（ｃ）〜（ｆ）については各９種類の独立な特徴データが計算される。従って、合計４２個の１次の局所自己相関特徴が得らえる。そして、０次と１次の特徴データを合せると、画像から全体として４５個のデータが得られる。特徴データはこの４５個の値からなり、４５次元特徴ベクトルデータとみなすこともできる。

各特徴の計算は、「数３」および「数４」に示すように、局所パターンの対応する画素の値の積を全矩形画像について加算する。この特徴抽出は、認識のための非可逆な情報圧縮であるが、対象の形および色に関して、画像内における対象の位置に寄らない本質的な情報を抽出し、無関係な情報を捨象する。この情報圧縮によって、入力画像における対象の少々の変動に対して頑健性が期待される。

こうして計算された特徴データは、次のような性質を持つ。
（１）位置に関して不変である。背景が一様であれば、対象が画像中のどこにあっても特徴値は同じとなる。従って、対象が画像中で平行移動しても、画像全体から計算される特徴量は同じである。
（２）画面に関する加法性を満たす。画像全体の特徴量は画像中の各対象の特徴量の和になる。言い替えれば、対象の各部位の特徴の和が対象全体の特徴と等しくなる。
（３）計算量が少ない。
（４）認識課題に依存しない一般的な特徴である。特徴抽出の際に認識対象を特定する必要がない。この性質によりシステムの汎用性が確保される。

Ｓ１７においては、各短冊毎の非背景面積（画素数）の値が所定の第二の閾値より大きいか否かによって雑音が存在しているか否かが判定され、判定結果が否定の場合にはＳ１８に移行するが、肯定の場合にはＳ１９に移行する。

Ｓ１８においては、対象が存在せず雑音もほとんどない背景データを用いて背景データを更新する。更新方法としては、単純に上書きして置き換えてもよいし、直近の複数個の背景データの画素値の中央値を採用してもよい。Ｓ１９においては、分割画像データが全て処理完了したか否かが判定され、判定結果が否定の場合にはＳ１２に移行するが、肯定の場合にはＳ２０に移行する。

Ｓ２０においては、分割画像に対象の少なくとも一部が含まれているか否かを判定して、対象有りと判定された分割画像について、隣接する分割画像をまとめて対象の位置を決定すると共に、それらの隣接する分割画像の特徴データを全て加算して対象の特徴データを合成する。

例えば人が歩いている状態を考えてみると、足を前後に開いた状態と直立に近い状態を交互に繰り返している。足先に注目してみると、足先のみの短冊画像はあたかも大きい雑音の様なものであり、雑音と足先との区別がつかない。

そこで、Ｓ１５において対象有りと判定された短冊画像を非背景面積の大きさによって更に「大」、「中」の２つに分け、隣接する短冊画像の非背景面積の大きさ（「大」、「中」、「小」（対象無し））によって、対象の一部か雑音かを判定する。即ち、「大」は対象の一部であるものと見なし、隣接する「大」または「中」と加算する。「中」は、隣接する「大」があれば対象の一部と見なし、隣接する「大」と加算するが、両隣が「中」または「小」である場合には雑音と見なす。

なお、「大」１つのみなどの場合には対象である人とは異なる追跡対象（例えば鳥など）である可能性がある。この場合には、例えば非背景面積の大きさや特徴ベクトルの長さ等に基づき、対象か否かを判定するようにしてもよい。「大」と「中」の閾値の最適値は追跡対象や入力画像の大きさ、分割方法等によるので実験により決めればよい。

以上の処理により、対象を含む複数の隣接する短冊状画像が抽出され、その短冊状画像の位置に対象が存在することが認識できる。また、対象が存在する短冊画像において既に各々抽出されている特徴データを足し合わせるだけで、対象全体の特徴データを獲得することができる。これは特徴データが加法性を持つためである。

Ｓ２１においては、既に登録されている対象の特徴データとの距離を計算し、対象を識別する。識別を行う前に、得られた特徴データ（ベクトルｘ）の正規化を行う。ここでの正規化とはノルムが１となるように処理する、具体的には特徴ベクトルｘの各要素の値をノルムの値で除算することを示す。ノルム（norm）は下記の数式５により定義される特徴ベクトルの長さである。

すなわち、抽出した対象の特徴を特徴空間上にプロットした点が、特徴空間上において原点を中心とした単位球上に乗るようにする。このようにすると、全く同一の特徴データであれば距離が０となり、原点との距離が１となる。つまり距離が０に近ければ近いほど類似度が高いという簡単な処理で識別できるようになる。またそれによって、対象の距離による大小の変動にも頑健な識別となる。

実施例において対象の識別に採用するk-ＮＮ法は、最近の検出された全ての対象について、それぞれ数個の特徴データをそのまま保持・更新しながら、判別したい特徴ベクトルからもっとも近いｋ個の特徴データを抽出し、その内で最も多数の特徴データが抽出された対象に属するものと判定する方法である。これによって、歩行などの動きによる対象の形の変化にも頑健な識別が可能となる。

k-ＮＮ法は、対象毎に複数の特徴データをそのまま登録してそれぞれとの距離を比較するので、追跡対象が人物である場合には、歩行中の異なる姿勢の複数の特徴データが登録されることになり、gait(歩様)も識別に利用することができる。

以下、k-ＮＮ法について説明する。今、対象Ａ、Ｂについてそれぞれｎ個の特徴データが所属するクラス（＝対象ＩＤ、ＡまたはＢ）と共に登録されているとする。画像から検出した対象の特徴データｘと、上記登録されている特徴データそれぞれとの距離を算出し、距離の小さい順に並べる。そして最初のｋ個（ｋは奇数）を取り出し、その特徴データのクラスの多数決を取って最も数の多いクラスを対象が属するクラスとする。

例えばｋが５であり、最も近い５個の特徴データのクラスが、Ａが３個、Ｂが２個であれば対象のクラスをＡと決定する。なお、最も小さい距離が所定値よりも大きい場合には現在登録されているいずれの対象にも属さないものと判定し、新たな対象として登録する。この手法では追跡対象の直近の情報を複数個保持し続けるため、安定して追跡することができる。なお、登録情報は対象が新たに追加される毎に増加していくので、一定時間経ってもその登録情報に属する対象が検出されなかった登録情報は削除するようにしてもよい。

Ｓ２２においては、追跡結果を出力する。結果としては、例えば現在の画像上の対象の位置やその対象の軌跡等の情報である。Ｓ２３においては、登録特徴データを更新する。対象のクラスが決定した場合には、そのクラスの登録データの最古のものを削除し、最新の特徴データを登録して特徴データを更新する。Ｓ２４においては、例えば管理者の終了操作の有無に基づき、処理を終了するか否かが判定され、判定結果が否定の場合にはＳ１０に移行するが、肯定の場合には処理を終了する。

次に第２実施例について説明する。第１実施例においては、分割画像の非背景面積に基づいて対象の有無等を判断したが、第２実施例においては、全ての分割画像の背景差分画像から特徴データを算出し、特徴データに基づいて対象の有無等を判断する。

図６は、本発明の第２実施例の対象追跡処理の内容を示すフローチャートである。第１実施例と異なる処理は、Ｓ３４〜Ｓ３７およびＳ３９であるので、この部分の処理について説明する。Ｓ３４においては、図２のＳ１６と同様の処理により、カラー高次局所自己相関特徴を計算して保存する。この処理は全ての分割画像に対して行われる。Ｓ３５においては、前述したノルムを計算する。

Ｓ３６においては、ノルムが所定値以上であるか否かによって、対象の少なくとも一部が分割画像内に存在する可能性が無いか否かが判定され、判定結果が否定の場合にはＳ３８に移行するが、肯定の場合にはＳ３７に移行する。Ｓ３７においては、Ｓ１８と同様に、対象が存在せず雑音もほとんどない背景データを用いて背景データを更新する。

Ｓ３９においては、対象の位置の推定のためにノルムを用いる。背景差分を行い、生成された非背景画像から得られる特徴のノルムは、追跡対象が存在する画像では大きく、そうでない画像では小さくなっている。つまり、各短冊画像のノルムの大きさを比較すれば、どの短冊画像に追跡対象が存在するかがわかる。

そこで、ノルムを、ノルムが０に近いもの、中程度のもの、大きいものの３つに分ける。大きいものは追跡対象が存在する短冊画像、０に近いものは追跡対象が存在しない短冊画像、中程度のものは大きい雑音かあるいは追跡対象（の一部）がある短冊画像となる。そして、ノルムが大きい短冊画像に隣接する短冊画像で、中程度のノルムを持つものを対象の一部が存在するものとみなし、大きいノルムの短冊とは離れている中程度のノルムを持つ短冊を雑音とみなす。

このようにすれば追跡対象が人物のように時刻によって幅が変化するものであっても正確に追従できる。また、対象の特徴を獲得する際には、追跡対象が存在する短冊画像において既に各々抽出されている特徴データを足し合わせるだけで、対象全体の特徴を獲得することができる。

次に、実験結果について説明する。本発明者がカラー動画を用いて行った実験の結果、基本的に対象の追跡が可能であり、単純な隠れについて問題なく追跡できることが検証できた。また、追跡対象が隠れ状態から復帰した時、別の対象（人）に入れ替わっている場合についても実験を行った。その結果、隠れ状態から復帰した人物が入れ替わっていた時は別人だと判断し、その後、元の人物が登場した時に正しく判別しながら追跡を行うことができ、対象が急に入れ替わった場合でもそれを正しく判別し、追跡を行うことができることが検証できた。更に対象者が別の人物と交差する場合、交差中は追跡対象が存在する短冊画像がつながり、うまく認識できない（手前の人物と識別されることが多い）が、交差が終了すると対象の識別がうまく働き、問題なく追跡を続行できた。

以上、人などの移動対象の追跡を行う実施例について説明したが、本発明には以下のような変形例も考えられる。実施例においては、検出した対象の位置情報を次の追跡処理には利用していない。そこで、追跡対象が今どこに存在し、次にどの位置に移動しそうか、ということを記憶しておき、後の識別に有効に利用する行動予測による対象の位置推定機能を追加してもよい。これによって更に大幅な計算量の削減が図れる。

また、実施例では色と姿形の情報をカラー高次局所自己相関特徴という形で抽出し、gaitといった時間軸上の特徴をk-ＮＮ識別法で利用しているが、更に「重み」を用いるようにしてもよい。即ち、実施例においては、色、形、動き方（gait）といった複合的な特徴をある所定の割合（重み）で使って総合的に識別を行っているが、状況によっては、特徴の重要度に応じて重みを変える（掛ける）ことで、より信頼度の高い識別も可能となる。

本発明による追跡装置の構成を示すブロック図である。 本発明の対象追跡処理の内容を示すフローチャートである。 カラー高次局所自己相関の変位ベクトルの種類を示す説明図である。 短冊状に分割した入力画像例を示す説明図である。 非背景画像例（全体）を示す説明図である。 本発明の第２実施例の追跡処理の内容を示すフローチャートである。

符号の説明

１０…ビデオカメラ
１１…ビデオキャプチャ装置
１２…コンピュータ
１３…モニタ装置
１４…キーボード
１５…マウス
２０…ＬＡＮ
２１、２２、３１…ＰＣ
２３…ルータ
３０…インターネット

Claims (9)

1. 入力された動画像データを分割して分割画像データを生成する画像分割手段と、
   前記分割画像データから背景画像データと異なる部分の非背景画像データを抽出する抽出手段と、
   前記抽出手段の出力に基づき、前記分割画像に追跡対象の少なくとも一部が含まれているか否かを判定する対象有無判定手段と、
   対象有りと判定された非背景画像データについて、カラー高次局所自己相関特徴データを算出する特徴データ計算手段と、
   対象有りと判定された分割画像について、隣接する分割画像をまとめて追跡対象の位置を決定する対象位置決定手段と、
   まとめられた非背景画像データの前記特徴データを加算合成する加算合成手段と、
   登録されている追跡対象の特徴データと前記加算合成手段の出力との距離に基づき追跡対象を識別する識別手段と、
   を備えたことを特徴とする追跡装置。
2. 入力された動画像データを分割して分割画像データを生成する画像分割手段と、
   前記分割画像データから背景画像データと異なる部分の非背景画像データを抽出する抽出手段と、
   非背景画像データについてカラー高次局所自己相関特徴データを算出する特徴データ計算手段と、
   カラー高次局所自己相関特徴データから特徴データベクトルの長さであるノルムを算出するノルム算出手段と、
   ノルム算出手段の出力に基づき、分割画像に追跡対象の少なくとも一部が含まれているか否かを判定する対象有無判定手段と、
   対象有りと判定された分割画像について、隣接する分割画像をまとめて対象の位置を決定する対象位置決定手段と、
   まとめられた非背景画像データの前記特徴データを加算合成する加算合成手段と、
   登録されている追跡対象の特徴データと前記加算合成手段の出力との距離に基づき追跡対象を識別する識別手段と、
   を備えたことを特徴とする追跡装置。
3. 前記対象有無判定手段によって追跡対象が無いと判定された分割画像に基づき背景画像を更新する背景画像更新手段を備えたことを特徴とする請求項１または２のいずれかに記載の追跡装置。
4. 前記識別手段は、
   追跡対象毎に直近の複数個の特徴データを保存する保存手段と、
   保存されている全ての特徴データと、検出された対象の特徴データとの距離をそれぞれ計算し、距離が最も近い奇数個の特徴データを抽出する最近特徴データ抽出手段と、
   検出された対象が、抽出された奇数個の特徴データの内で特徴データの数が最も多い追跡対象に属するものと判定する対象識別手段と
   を備えたことを特徴とする請求項１または２のいずれかに記載の追跡装置。
5. 前記識別手段の識別結果に基づき、登録されている追跡対象の特徴データを更新する登録対象更新手段を備えたことを特徴とする請求項１または２のいずれかに記載の追跡装置。
6. コンピュータを、
   入力された動画像データを分割して分割画像データを生成する画像分割手段、
   前記分割画像データから背景画像データと異なる部分の非背景画像データを抽出する抽出手段、
   前記抽出手段の出力に基づき、前記分割画像に追跡対象の少なくとも一部が含まれているか否かを判定する対象有無判定手段、
   対象有りと判定された非背景画像データについて、カラー高次局所自己相関特徴データを算出する特徴データ計算手段、
   対象有りと判定された分割画像について、隣接する分割画像をまとめて対象の位置を決定する対象位置決定手段、
   まとめられた非背景画像データの前記特徴データを加算合成する加算合成手段、
   登録されている追跡対象の特徴データと前記加算合成手段の出力との距離に基づき追跡対象を識別する識別手段
   として機能させることを特徴とする追跡プログラム。
7. コンピュータを、
   入力された動画像データを分割して分割画像データを生成する画像分割手段、
   前記分割画像データから背景画像データと異なる部分の非背景画像データを抽出する抽出手段、
   非背景画像データについてカラー高次局所自己相関特徴データを算出する特徴データ計算手段、
   カラー高次局所自己相関特徴データから特徴データベクトルの長さであるノルムを算出するノルム算出手段、
   ノルム算出手段の出力に基づき、分割画像に追跡対象の少なくとも一部が含まれているか否かを判定する対象有無判定手段、
   対象有りと判定された分割画像について、隣接する分割画像をまとめて対象の位置を決定する対象位置決定手段、
   まとめられた非背景画像データの前記特徴データを加算合成する加算合成手段、
   登録されている追跡対象の特徴データと前記加算合成手段の出力との距離に基づき追跡対象を識別する識別手段
   として機能させることを特徴とする追跡プログラム。
8. 入力された動画像データを分割して分割画像データを生成するステップ、
   前記分割画像データから背景画像データと異なる部分の非背景画像データを抽出するステップ、
   前記分割画像に追跡対象の少なくとも一部が含まれているか否かを判定するステップ、
   対象有りと判定された非背景画像データについて、カラー高次局所自己相関特徴データを算出するステップ、
   対象有りと判定された分割画像について、隣接する分割画像をまとめて対象の位置を決定するステップ、
   まとめられた非背景画像データの前記特徴データを加算合成するステップ、
   登録されている追跡対象の特徴データと前記加算合成出力との距離に基づき追跡対象を識別するステップ
   を含むことを特徴とする追跡方法。
9. 入力された動画像データを分割して分割画像データを生成するステップ、
   前記分割画像データから背景画像データと異なる部分の非背景画像データを抽出するステップ、
   非背景画像データについてカラー高次局所自己相関特徴データを算出するステップ、
   カラー高次局所自己相関特徴データから特徴データベクトルの長さであるノルムを算出するステップ、
   ノルムに基づき、分割画像に追跡対象の少なくとも一部が含まれているか否かを判定するステップ、
   対象有りと判定された分割画像について、隣接する分割画像をまとめて対象の位置を決定するステップ、
   まとめられた非背景画像データの前記特徴データを加算合成するステップ、
   登録されている追跡対象の特徴データと前記加算合成出力との距離に基づき追跡対象を識別するステップ
   を含むことを特徴とする追跡方法。