JP2004096402A - 物体追跡装置、物体追跡方法および物体追跡プログラム - Google Patents

Abstract

【課題】複数の物体が画像上で重なり合った状態から分離してもなお画像領域に複数の物体が存在する場合や、分離する前後において画像上で重なり合う物体の組み合わせが入れ替わった場合でも、物体と物体領域との対応付けを誤ることのない物体追跡装置を提供する。
【解決手段】物体領域抽出部１２は、画像入力端子１１を介して画像情報を入力し、入力された画像情報から物体領域を抽出する。特徴量生成部１４は、物体の特徴量と物体領域の特徴量とを生成する。特徴量合成部１５は、複数の物体の特徴量を合成して合成特徴量を生成する。対応付け部１７は、物体領域の特徴量と合成特徴量との類似度を算出して、算出した類似度に基づいて最適な物体と物体領域との対応付けを行う。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像情報に基づいて物体を追跡する物体追跡装置、物体追跡方法、および物体追跡プログラムに関し、特に、複数の物体が画像上で重なった場合にも追跡を継続できる物体追跡装置、物体追跡方法、および物体追跡プログラムに関する。
【０００２】
【従来の技術】
ビデオカメラ等から時々刻々と入力される画像情報に基づいて人などの物体を追跡する物体追跡装置は、複数の物体が画像上で重なり合った場合にも追跡対象の物体の追跡を継続する必要がある。例えば、特開平０６−１６９４５８号公報には、追跡中に複数の物体が交差した場合にも物体の追跡を継続できる物体追跡装置が記載されている。
【０００３】
図１４は、特開平０６−１６９４５８号公報に記載された従来の物体追跡装置の構成を示すブロック図である。この物体追跡装置は、図１４に示すように、画像入力端子４０にビデオカメラ等から定期的に入力される画像情報から物体領域を抽出する物体領域抽出手段４１、抽出された物体領域と後述する領域選択手段４５が出力する追跡対象の物体領域とを比較して追跡対象の物体の状態を検出する追尾状態検出手段４２、画像情報と追跡対象の物体領域とに基づいて物体の特徴量を生成する特徴量生成手段４３、画像情報と物体領域抽出手段４１が抽出した物体領域とに基づいて全ての物体領域の特徴量を生成するとともに、特徴量生成手段４３から入力された物体の特徴量に最も近い特徴量の物体領域を選択する物体同定手段４４、および追跡対象の物体領域を出力する領域選択手段４５を含む。
【０００４】
ここで、物体領域とは、画像における物体を含む領域である。追尾状態検出手段４２が出力する追跡対象の物体の状態には、追跡対象の物体が他の物体と交差している状態である重なり状態と、追跡対象の物体が単独で存在し追跡されている状態である追跡状態とがある。また、特徴量生成手段４３は、生成した特徴量を記憶する記憶手段を有し、さらに記憶手段が記憶する特徴量を更新する更新手段を含む。特徴量生成手段４３は、物体の状態が追跡状態の場合には、記憶手段が記憶する特徴量を更新する。しかし、特徴量生成手段４３は、物体の状態が重なり状態の場合には、記憶手段が記憶する特徴量を維持する。
【０００５】
物体同定手段４４は、物体の状態が重なり状態の場合にのみ、特徴量生成手段４３が記憶している物体領域の特徴量に最も近い特徴量の物体領域を選択する。そして、領域選択手段４５は、物体の状態が重なり状態から追跡状態に変化した場合に、物体同定手段４４が選択した物体領域を追跡対象の物体領域として選択する。物体の状態が重なり状態から追跡状態に変化した場合以外の場合には、領域選択手段４５は、物体領域抽出手段４１が新たに抽出した全ての物体領域のうち、前回の追跡対象の物体領域の位置に最も近い位置にある物体領域を選択して出力する。そして、領域選択手段４５は、選択した物体領域を新たな追跡対象の物体領域として出力する。なお、前回の追跡対象の物体領域とは、例えば、ビデオカメラ等から新たに入力された画像情報の１フレーム分前の画像情報に基づいて決定された追跡対象の物体領域である。
【０００６】
このように、物体追跡装置は、物体の状態が追跡状態である場合には、新たに入力される画像情報を用いて物体領域の追跡を継続する。また、物体の状態が追跡状態から重なり状態に変化したときには、変化する直前の物体の特徴量が保存される。そして、物体の状態が重なり状態から追跡状態に変化したときに、物体同定手段４４が選択していた物体領域を追跡対象の物体領域として、物体領域の追跡を継続する。従って、物体の状態が追跡状態から重なり状態に変化し、その後追跡状態に戻った場合に、物体領域の追跡を継続することができる。
【０００７】
以上のように、従来の物体追跡装置は、重なり状態が解消したときに、重なり状態に変化する直前の物体の特徴量に基づいて物体と物体領域とを対応付けることによって、複数の物体が交差した場合でも物体領域の追跡を継続することができる。
【０００８】
なお、Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　Ｆｏｕｒｔｈ　ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　　Ａｕｔｏｍａｔｉｃ　Ｆａｃｅ　ａｎｄ　Ｇｅｓｔｕｒｅ　Ｒｅｃｏｇｎｉｔｉｏｎ　Ｍａｒｃｈ　２８−３０，　２０００のｐ．３４８−ｐ．３５３　に記載のＴｒａｃｋｉｎｇ　Ｉｎｔｅｒａｃｔｉｎｇ　Ｐｅｏｐｌｅ　（Ｓ．Ｊ．ＭｃＫｅｎｎａ，　Ｓ．Ｊａｂｒｉ，　Ｚ．Ｄｕｒｉｃ，　Ｈ．Ｗｅｃｈｓｌｅｒ　）には、交差中の物体が分離して重なり状態が解消された場合に、物体が各物体領域に属する確率を算出して、算出した確率が最も大きくなる物体領域に物体を対応付けることによって物体の追跡を継続する方法が記載されている。
【０００９】
【発明が解決しようとする課題】
しかし、複数の個々の物体が交差して重なり状態になった後に重なり状態が解消したときに１つの物体領域に複数の物体が存在する場合や、重なり状態になる前と後とで１つの物体領域に存在する物体が入れ替わった場合には、重なり状態に変化する直前の物体の特徴量が、重なり状態が解消したとき後のいずれの物体の特徴量とも一致しないので、従来の物体追跡装置は、物体と物体領域との対応付けを誤る。例えば４人の個々の人間（Ａ，Ｂ，Ｃ，Ｄ）が交差し、その後２人ずつのグループ（Ａ，ＢのグループとＣ，Ｄのグループ）に分かれた場合や、２人の人間（Ａ，Ｂ）と１人の人間（Ｃ）が交差した後に人間の組み合わせが入れ替わって１人（Ａ）と２人（Ｂ，Ｃ）になった場合には、物体追跡装置は、物体と物体領域との対応付けを誤る。また、従来の物体追跡装置は個々の物体に対して最も類似している領域を選択しているが、物体全体として整合のとれた対応付けになるとは限らない。
【００１０】
そこで、本発明の目的は、複数の物体が画像上で重なり合った状態から分離してもなお画像領域に複数の物体が存在する場合や、分離する前後において画像上で重なり合う物体の組み合わせが入れ替わった場合でも、物体と物体領域との対応付けを誤ることのない物体追跡装置、物体追跡方法および物体追跡プログラムを提供することを目的とする。また、物体と物体領域とを対応付ける際に、物体全体として最適な対応付けを選択できるようにすることも本発明の目的である。
【００１１】
【課題を解決するための手段】
本発明による物体追跡装置は、画像情報に基づいて物体を追跡する物体追跡装置において、画像情報に含まれる各物体の特徴量を示す物体特徴量を合成して合成特徴量を生成する特徴量合成手段と、画像情報から抽出された領域であって物体を含む領域である物体領域の特徴量と合成特徴量との類似度に基づいて物体領域と物体とを対応付ける対応付け手段とを備えたことを特徴とする。
【００１２】
特徴量合成手段が、複数の物体の必要な全ての組み合わせについて特徴量を合成して各合成特徴量を生成し、対応付け手段が、特徴量合成手段が生成した各合成特徴量と物体領域の特徴量を示す領域特徴量とを比較することによって物体と物体領域とを対応付けることが好ましい。そのような構成によれば、物体と物体領域とを対応付ける際に、最適な物体と物体領域との対応関係を選択できる。
【００１３】
物体追跡装置が、画像情報から物体領域を抽出して物体領域の画像情報を含む物体領域情報を出力する物体領域抽出手段と、他の物体との相対的な位置関係を表す追跡状態を物体毎または物体領域毎に判定する追跡状態判定手段と、画像情報、物体領域情報および追跡状態判定手段の判定結果を用いて、領域特徴量および物体特徴量を生成する特徴量生成手段とを備え、特徴量合成手段が、物体特徴量および追跡状態判定手段の判定結果を用いて合成特徴量を生成するものであることが好ましい。そのような構成によれば、他の物体との相対的な位置関係に基づいて合成特徴量を生成できる。
【００１４】
追跡状態判定手段が、物体領域情報と、現時刻以前の物体領域と物体との対応関係を示す確定対応情報とから、追跡状態を物体毎または物体領域毎に判定し、物体領域および物体と追跡状態との対応関係を示す第１の領域対応情報を出力し、特徴量生成手段が、現時刻の画像情報、物体領域情報、第１の領域対応情報および確定対応情報から、領域特徴量と物体特徴量とを生成し、特徴量合成手段が、物体特徴量と第１の領域対応情報とから、物体領域に対応付けられる候補となる各合成特徴量を生成し（すなわち、物体領域について物体の特徴量を合成し）、合成特徴量および合成特徴量生成のために用いられた物体と合成特徴量との対応関係を含む情報である合成特徴量情報を出力し、対応付け手段が、第１の領域対応情報、領域特徴量を示す情報である領域特徴量情報および合成特徴量情報から物体と物体領域とを対応付け、現時刻に対する確定対応情報を出力する対応確定手段を含むものであることが好ましい。そのような構成によれば、物体分離後に複数の物体が存在する場合や交差時に物体が入れ替わった場合に、物体と物体領域との対応づけを誤らないようにすることができる。
【００１５】
物体追跡装置において、追跡状態が、物体領域内に１つの物体のみが存在する単独状態、物体領域内に複数の物体が対応する重なり状態、または物体領域が複数の物体領域に分かれる過渡的な状態である分離状態であることが好ましい。そのようにすれば、他の物体との相対的な位置関係を判定することができる。
【００１６】
特徴量生成手段が、物体領域の色ヒストグラム、面積、画像テンプレートおよび面積で正規化された色ヒストグラムのいずれかまたはそれらの組み合わせを領域特徴量として生成し、物体に対応する物体領域を第１の領域対応情報から求め、その物体領域に対する色ヒストグラム、面積、画像テンプレートおよび面積で正規化された色ヒストグラムのいずれかまたはそれらの組み合わせを物体特徴量として生成するものであってもよい。
【００１７】
追跡状態判定手段が、物体領域情報を記憶する物体領域記憶手段と、物体領域情報、確定対応情報、および物体領域記憶手段から出力される現時刻以前の物体領域情報とから物体を追跡し、物体と物体領域との対応を示す第２の領域対応情報を出力する物体追跡手段と、第２の領域対応情報、物体領域情報および現時刻以前の物体領域情報とから物体の追跡状態を判定し、第１の領域対応情報を出力する状態判定手段とを含むものであってもよい。
【００１８】
状態判定手段が、第２の領域対応情報と物体領域情報とから、物体と物体領域との対応、物体領域間の距離、物体領域の分離中の継続時間のいずれかまたはそれらの組み合わせに基づいて、対応する物体領域に共通の領域が存在する物体同士をまとめ、これらの物体と対応する物体領域を１つのクラスに分類し、対応する物体領域がどの物体とも異なる物体については、その物体と対応する物体領域を１つのクラスに分類することによって、物体および物体領域を複数のクラスに分類し、分類したクラスに基づいて追跡状態を判定するものであってもよい。
【００１９】
追跡状態が、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、状態判定手段が、分類したクラスに２以上の物体領域が含まれる場合に、クラスは分離状態である条件を満たすと判断し、クラスが分離状態である条件を満たす場合に、クラスに含まれる物体および物体領域の追跡状態を分離状態と判定するものであってもよい。
【００２０】
状態判定手段が、分類したクラスが分離状態である条件を満たし、さらに、クラスに２以上の物体が含まれること、クラスに含まれる物体領域間の距離が予め決められた閾値以上であること、クラスに含まれる物体領域の分離中の継続時間が予め決められた閾値以上であることのいずれかまたはそれらの組み合わせを満たす場合に、クラスに含まれる物体および物体領域の追跡状態を分離状態と判定するように構成されていてもよい。そのような構成によれば、他の物体との相対的な位置関係が分離状態であると誤って判定するのを防止できる。
【００２１】
追跡状態が、分離状態と物体領域内に１つの物体のみが存在する単独状態とを含み、状態判定手段が、分類したクラスが１つの物体を含み、クラスに含まれる物体および物体領域の追跡状態が分離状態でない場合に、クラスに含まれる物体および物体領域の追跡状態を単独状態と判定するように構成されていてもよい。
【００２２】
追跡状態が、分離状態と、物体領域内に複数の物体が対応する重なり状態とを含み、状態判定手段が、分類したクラスが２以上の物体を含み、クラスに含まれる物体および物体領域の追跡状態が分離状態でない場合に、クラスに含まれる物体および物体領域の追跡状態を重なり状態と判定するように構成されていてもよい。
【００２３】
特徴量生成手段が、画像情報と物体領域情報と第１の領域対応情報とから領域特徴量を抽出し、領域特徴量を示す情報である領域特徴量情報を出力する特徴量抽出手段と、物体特徴量を記憶し、要求に応じて、記憶する物体特徴量を選択する特徴量記憶手段と、領域特徴量情報、第１の領域対応情報あるいは確定対応情報および現時刻より以前に生成した物体特徴量とから、特徴量記憶手段が記憶する物体特徴量を更新する特徴量更新手段とを含むように構成されていてもよい。
【００２４】
追跡状態が、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、特徴量抽出手段が、追跡状態が分離状態以外である場合には、物体との対応付けが不要であることを示す情報を領域特徴量情報に含め、対応確定手段が、領域特徴量情報によって物体との対応付けが不要であることが示されている物体領域を対応付けの対象から除外するように構成されていてもよい。そのような構成によれば、類似度の算出のための計算量を削減できる。
【００２５】
追跡状態が、物体領域内に１つの物体のみが存在する単独状態を含み、特徴量更新手段が、第１の領域対応情報あるいは確定対応情報から物体の追跡状態が単独状態であるかを判定し、物体の追跡状態が単独状態以外の場合には、特徴量記憶手段が記憶する物体特徴量を更新しないように構成されていてもよい。
【００２６】
特徴量合成手段が、特徴量生成手段が生成する物体特徴量と第１の領域対応情報とに基づいて、組み合わせが可能な物体と物体領域との全ての組み合わせを決定し、決定した物体と物体領域との組み合わせについてのみ、物体特徴量を合成して合成特徴量を生成するように構成されていてもよい。そのような構成によれば、不要な合成特徴量の生成の処理を削減できる。
【００２７】
特徴量合成手段が、物体特徴量を合成する割合を補正するための係数である合成比率を求め、合成比率と物体特徴量とから合成特徴量を生成するように構成されていてもよい。そのような構成によれば、画像上での物体の大きさが実際の物体の大きさとは異なる場合に、物体の大きさに基づく誤差を補正できる。
【００２８】
特徴量合成手段は、特徴量生成手段から物体特徴量とともに領域特徴量を入力し、入力した領域特徴量情報と物体の特徴量とに基づいて任意の合成比率に応じて合成特徴量を算出し、算出した合成特徴量と領域特徴量との類似度が最も高くなる場合の合成比率に応じた合成特徴量を出力するように構成されていてもよい。そのような構成によれば、物体と物体領域との各組み合わせに対して１つの合成特徴量のみに基づいて類似度を算出すればよく、無駄な算出処理を省くことができる。
【００２９】
追跡状態が、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、特徴量合成手段が、追跡状態が分離状態であることが示されている物体領域についてのみ合成特徴量を生成するように構成されていてもよい。そのような構成によれば、不要な合成特徴量の生成の処理を削減できる。
【００３０】
物体特徴量が、物体の面積を含み、特徴量合成手段が、物体特徴量に含まれる物体の面積から物体特徴量を合成する割合を補正するための係数である合成比率を求め、合成比率と物体特徴量とから合成特徴量を生成するように構成されていてもよい。そのような構成によれば、合成比率の算出のための計算量を削減できる。
【００３１】
特徴量合成手段が、合成比率を、物体の面積の変化に基づく所定範囲内に制限するように構成されていてもよい。そのような構成によれば、画像上での物体の面積が変化する場合でも、正しい合成比率を求めることができる。
【００３２】
特徴量合成手段は、特徴量生成手段から物体特徴量とともに領域特徴量を入力し、入力された領域特徴量と物体特徴量とから、物体の面積変化の範囲内で合成特徴量を生成し、物体領域との類似度が最も高くなる合成特徴量を出力するように構成されていてもよい。そのような構成によれば、物体の各組み合わせに対して１つの合成特徴量を出力するだけでよく、無駄な処理を省くことができる。
【００３３】
物体特徴量が、画像テンプレートを含み、特徴量合成手段が、画像テンプレートと領域特徴量とから各物体の前後関係を判定し、判定した各物体の前後関係に基づいて画像テンプレートを合成するように構成されていてもよい。そのような構成によれば、物体が他の物体の背後に部分的に隠れている場合でも、物体と物体領域の対応関係を正しく算出することができる。
【００３４】
対応確定手段が、合成特徴量情報、領域特徴量情報および第１の領域対応情報に基づいて、物体と物体領域との組み合わせのうち対応付けられる可能性のある全ての可能な組み合わせから最も類似した組み合わせを求め、求められた物体と物体領域との組み合わせを最適な対応付けとして選択して、物体と物体領域との最適な対応関係を示す最適対応情報を生成する対応計算手段と、第１の領域対応情報および最適対応情報に基づいて、物体と物体領域との対応関係を確定し、確定した物体と物体領域との対応関係を含む情報である確定対応情報を出力する対応決定手段とを含むように構成されていてもよい。そのような構成によれば、物体と物体領域とを対応付ける際に、最適な物体と物体領域との対応関係を選択できる。
【００３５】
対応計算手段が、物体と物体領域との全ての可能な組み合わせについて、各組み合わせにおける物体領域の特徴量と合成特徴量との類似度の合計である合計類似度を求め、全ての可能な組み合わせのうち、合計類似度が最大となる組み合わせを最も類似した組み合わせとするように構成されていてもよい。
【００３６】
第１の領域対応情報が、物体領域が静止している状態であるか動作している状態であるかを示す静動状態の情報を含み、対応計算手段が、静動状態の情報によって静止している状態であることが示されている物体領域と物体との組み合わせを、全ての可能な組み合わせから除外するように構成されていてもよい。そのような構成によれば、静動状態が静止状態を示す物体領域がどの物体とも対応付かない組み合わせのみ計算することにより、対応計算手段の計算量を削減することができる。
【００３７】
対応計算手段が、最も類似した組み合わせとして決定した組み合わせを構成する物体と物体領域との組の類似度から得られる組み合わせ類似度が予め決められた閾値以下である場合には、物体と物体領域との全ての可能な組み合わせのうち、組み合わせ類似度が最大となる組み合わせの組み合わせ類似度から予め決められた閾値以内の組み合わせ類似度を持つ組み合わせを選択し、選択した組み合わせに共通して存在する物体と物体領域との対応関係を、最適な対応付けとして最適対応情報に含め、共通して存在する物体と物体領域との対応関係に含まれない物体と物体領域については、物体と物体領域には最適な対応がないことを示す情報を最適対応情報に含め、対応決定手段が、最適な物体と物体領域との対応関係がない旨が最適対応情報に示されていない物体については、その最適対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力し、最適な物体と物体領域との対応関係がない旨が最適対応情報に示されている物体については、第１の領域対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力するように構成されてもよい。そのような構成によれば、誤った物体と物体領域との対応関係を選択するのを防止できる。
【００３８】
追跡状態が、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、対応決定手段が、追跡状態として分離状態が示されている物体領域についてのみ、最適対応情報に示される物体と物体領域との対応関係を確定するように構成されていてもよい。そのような構成によれば、物体と物体領域との対応関係の確定の処理を削減できる。
【００３９】
追跡状態が、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、対応決定手段が、追跡状態として分離状態以外の状態が示されている物体領域についてのみ、第１の領域対応情報に含まれる物体と物体領域との対応を確定対応情報として出力するように構成されていてもよい。そのような構成によれば、物体と物体領域との対応関係の確定の処理を削減できる。
【００４０】
本発明による物体追跡方法は、画像情報に基づいて物体を追跡する物体追跡方法において、画像情報に含まれる各物体の特徴量を示す物体特徴量を合成して合成特徴量を生成し、画像情報から抽出された領域であって物体を含む領域である物体領域の特徴量と合成特徴量との類似度に基づいて物体領域と物体とを対応付けることを特徴とする。
【００４１】
物体追跡方法は、複数の物体の必要な全ての組み合わせについて特徴量を合成して各合成特徴量を生成し、生成された各合成特徴量と物体領域の特徴量を示す領域特徴量とを比較することによって物体と物体領域とを対応付けることが好ましい。そのような方法によれば、物体と物体領域とを対応付ける際に、最適な物体と物体領域との対応関係を選択できる。
【００４２】
物体追跡方法は、画像情報から物体領域を抽出して物体領域の画像情報を含む物体領域情報を出力し、他の物体との相対的な位置関係を表す追跡状態を物体毎または物体領域毎に判定し、画像情報、物体領域情報および判定結果を用いて、領域特徴量および物体特徴量を生成し、物体特徴量および判定結果を用いて合成特徴量を生成することが好ましい。そのような方法によれば、他の物体との相対的な位置関係に基づいて、合成特徴量を生成できる。
【００４３】
物体追跡方法は、物体領域情報と、現時刻以前の物体領域と物体との対応関係を示す確定対応情報とから、追跡状態を物体毎または物体領域毎に判定し、物体領域および物体と追跡状態との対応関係を示す第１の領域対応情報を出力し、現時刻の画像情報、領域特徴量を示す情報である領域特徴量情報、第１の領域対応情報および確定対応情報から、領域特徴量と物体特徴量とを生成し、物体特徴量と第１の領域対応情報とから、物体領域に対応付けられる候補となる各合成特徴量を生成して、合成特徴量および合成特徴量生成のために用いられた物体と合成特徴量との対応関係を含む情報である合成特徴量情報を出力し、第１の領域対応情報、領域特徴量情報および合成特徴量情報から物体と物体領域とを対応付け、現時刻に対する確定対応情報を出力することが好ましい。そのような方法によれば、物体分離後に複数の物体が存在する場合や交差時に物体が入れ替わった場合に、物体と物体領域との対応づけを誤らないようにすることができる。
【００４４】
物体追跡方法において、追跡状態は、物体領域内に１つの物体のみが存在する単独状態、物体領域内に複数の物体が対応する重なり状態、または物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含む。
【００４５】
物体追跡方法は、物体領域の色ヒストグラム、面積、画像テンプレートおよび面積で正規化された色ヒストグラムのいずれかまたはそれらの組み合わせを領域特徴量として生成し、物体に対応する物体領域を第１の領域対応情報から求め、その物体領域に対する色ヒストグラム、面積、画像テンプレートおよび面積で正規化された色ヒストグラムのいずれかまたはそれらの組み合わせを物体特徴量として生成するように構成されていてもよい。
【００４６】
物体追跡方法は、物体領域情報を記憶し、物体領域情報、確定対応情報、および現時刻以前の物体領域情報とから物体を追跡し、物体と物体領域との対応を示す第２の領域対応情報を出力し、第２の領域対応情報、物体領域情報および現時刻以前の物体領域情報とから物体の追跡状態を判定して第１の領域対応情報を出力するように構成されていてもよい。
【００４７】
物体追跡方法は、第２の領域対応情報と物体領域情報とから、物体と物体領域との対応、物体領域間の距離、物体領域の分離中の継続時間のいずれかまたはそれらの組み合わせに基づいて、対応する物体領域に共通の領域が存在する物体同士をまとめ、これらの物体と対応する物体領域を１つのクラスに分類し、対応する物体領域がどの物体とも異なる物体については、その物体と対応する物体領域を１つのクラスに分類することによって、物体および物体領域を複数のクラスに分類し、分類したクラスに基づいて追跡状態を判定するように構成されていてもよい。
【００４８】
追跡状態は、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、物体追跡方法は、分類したクラスに２以上の物体領域が含まれる場合に、クラスは分離状態である条件を満たすと判断し、クラスが分離状態である条件を満たす場合に、クラスに含まれる物体および物体領域の追跡状態を分離状態と判定するように構成されていてもよい。
【００４９】
物体追跡方法は、分類したクラスが分離状態である条件を満たし、さらに、クラスに２以上の物体が含まれること、クラスに含まれる物体領域間の距離が予め決められた閾値以上であること、クラスに含まれる物体領域の分離中の継続時間が予め決められた閾値以上であることのいずれかまたはそれらの組み合わせを満たす場合に、クラスに含まれる物体および物体領域の追跡状態を分離状態と判定するように構成されていてもよい。そのような方法によれば、他の物体との相対的な位置関係が分離状態であると誤って判定するのを防止できる。
【００５０】
追跡状態は、分離状態と、物体領域内に１つの物体のみが存在する単独状態とを含み、物体追跡方法は、分類したクラスが１つの物体を含み、クラスに含まれる物体および物体領域の追跡状態が分離状態でない場合に、クラスに含まれる物体および物体領域の追跡状態を単独状態と判定するように構成されていてもよい。
【００５１】
追跡状態は、分離状態と、物体領域内に複数の物体が対応する重なり状態とを含み、物体追跡方法は、分類したクラスが２以上の物体を含み、クラスに含まれる物体および物体領域の追跡状態が分離状態でない場合に、クラスに含まれる物体および物体領域の追跡状態を重なり状態と判定するように構成されていてもよい。
【００５２】
物体追跡方法は、画像情報と物体領域情報と第１の領域対応情報とから領域特徴量を抽出し、領域特徴量を示す情報である領域特徴量情報を出力し、物体特徴量を記憶し、要求に応じて、記憶している物体特徴量を選択して出力し、領域特徴量情報と、第１の領域対応情報あるいは確定対応情報に基づいて記憶する物体特徴量を選択し、領域特徴量情報と確定対応情報と現時刻より以前に生成した物体特徴量とから、記憶される物体特徴量を更新するように構成されていてもよい。
【００５３】
物体追跡方法は、追跡状態が、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、追跡状態が分離状態以外である場合には、物体との対応付けが不要であることを示す情報を領域特徴量情報に含め、領域特徴量情報によって物体との対応付けが不要であることが示されている物体領域を対応付けの対象から除外するように構成されていてもよい。そのような方法によれば、類似度の算出のための計算量を削減できる。
【００５４】
物体追跡方法は、追跡状態が物体領域内に１つの物体のみが存在する単独状態を含み、第１の領域対応情報あるいは確定対応情報から物体の追跡状態が単独状態であるかを判定し、物体の追跡状態が単独状態でない場合には、記憶される物体特徴量を更新しないように構成されていてもよい。そのような方法によれば、不要な物体特徴量の更新の処理を削減できる。
【００５５】
物体追跡方法は、生成された物体特徴量と第１の領域対応情報とに基づいて、組み合わせが可能な物体と物体領域との全ての組み合わせを決定し、決定した物体と物体領域との組み合わせについてのみ、物体特徴量を合成して合成特徴量を生成するように構成されていてもよい。そのような方法によれば、不要な合成特徴量の生成の処理を削減できる。
【００５６】
物体追跡方法は、物体特徴量を合成する割合を補正するための係数である合成比率を求め、合成比率と物体特徴量とから合成特徴量を生成するように構成されていてもよい。そのような方法によれば、画像上での物体の大きさが実際の物体の大きさとは異なる場合に、物体の大きさに基づく誤差を補正できる。
【００５７】
物体追跡方法は、物体特徴量とともに領域特徴量を入力し、入力した領域特徴量情報と物体の特徴量とに基づいて任意の合成比率に応じて合成特徴量を算出し、算出した合成特徴量と領域特徴量との類似度が最も高くなる場合の合成比率に応じた合成特徴量を出力するように構成されていてもよい。そのような構成によれば、物体と物体領域との各組み合わせに対して１つの合成特徴量のみに基づいて類似度を算出すればよく、無駄な算出処理を省くことができる。
【００５８】
物体追跡方法は、追跡状態が物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、追跡状態が分離状態であることが示されている物体領域についてのみ合成特徴量を生成するように構成されていてもよい。そのような方法によれば、不要な合成特徴量の生成の処理を削減できる。
【００５９】
物体追跡方法は、物体特徴量が物体の面積を含み、物体特徴量に含まれる物体の面積から物体特徴量を合成する割合を補正するための係数である合成比率を求め、合成比率と物体特徴量とから合成特徴量を生成するように構成されていてもよい。そのような方法によれば、合成比率の算出のための計算量を削減できる。
【００６０】
物体追跡方法は、合成比率を、物体の面積の変化に基づく所定範囲内に制限するように構成されていてもよい。そのような方法によれば、画像上での物体の面積が変化する場合でも、正しい合成比率を求めることができる。
【００６１】
物体追跡方法は、物体特徴量とともに領域特徴量を入力し、入力された領域特徴量と物体特徴量とから、物体の面積変化の範囲内で合成特徴量を生成し、物体領域との類似度が最も高くなる合成特徴量を出力するように構成されていてもよい。そのような構成によれば、物体の各組み合わせに対して１つの合成特徴量を出力するだけでよく、無駄な処理を省くことができる。
【００６２】
物体追跡方法は、物体特徴量が画像テンプレートを含み、特徴量合成手段が、画像テンプレートと領域特徴量とから各物体の前後関係を判定し、判定した各物体の前後関係に基づいて画像テンプレートを合成するように構成されていてもよい。そのような構成によれば、物体が他の物体の背後に部分的に隠れている場合でも、物体と物体領域の対応関係を正しく算出することができる。
【００６３】
物体追跡方法は、合成特徴量情報、領域特徴量情報および第１の領域対応情報に基づいて、物体と物体領域との組み合わせのうち対応付けられる可能性のある全ての可能な組み合わせから最も類似した組み合わせを求め、求められた物体と物体領域との組み合わせを最適な対応付けとして選択して、物体と物体領域との最適な対応関係を示す最適対応情報を生成し、第１の領域対応情報および最適対応情報に基づいて、物体と物体領域との対応関係を確定し、確定した物体と物体領域との対応関係を含む情報である確定対応情報を出力するように構成されていてもよい。
【００６４】
物体追跡方法は、物体と物体領域との全ての可能な組み合わせについて、各組み合わせにおける物体領域の特徴量と合成特徴量との類似度の合計である合計類似度を求め、全ての可能な組み合わせのうち、合計類似度が最大となる組み合わせを最も類似した組み合わせとするように構成されていてもよい。
【００６５】
物体追跡方法は、第１の領域対応情報が、物体領域が静止している状態であるか動作している状態であるかを示す静動状態の情報を含み、静動状態の情報によって静止している状態であることが示されている物体領域と物体との組み合わせを、全ての可能な組み合わせから除外するように構成されていてもよい。そのような構成によれば、静動状態が静止状態を示す物体領域がどの物体とも対応付かない組み合わせのみ計算することにより、計算量を削減することができる。
【００６６】
物体追跡方法は、最も類似した組み合わせとして決定した組み合わせを構成する物体と物体領域との組の類似度から得られる組み合わせ類似度が予め決められた閾値以下である場合には、物体と物体領域との全ての可能な組み合わせのうち、組み合わせ類似度が最大となる組み合わせの組み合わせ類似度から予め決められた閾値以内の組み合わせ類似度を持つ組み合わせを選択し、選択した組み合わせに共通して存在する物体と物体領域との対応関係を、最適な対応付けとして最適対応情報に含め、共通して存在する物体と物体領域との対応関係に含まれない物体と物体領域については、物体と物体領域には最適な対応がないことを示す情報を最適対応情報に含め、最適な物体と物体領域との対応関係がない旨が最適対応情報に示されていない物体については、その最適対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力し、最適な物体と物体領域との対応関係がない旨が最適対応情報に示されている物体については、第１の領域対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力するように構成されていてもよい。そのような方法によれば、誤った物体と物体領域との対応関係を選択するのを防止できる。
【００６７】
物体追跡方法は、追跡状態として分離状態が示されている物体領域についてのみ、最適対応情報に示される物体と物体領域との対応関係を確定するように構成されていてもよい。そのような方法によれば、物体と物体領域との対応関係の確定の処理を削減できる。
【００６８】
物体追跡方法は、追跡状態として分離状態以外の状態が示されている物体領域についてのみ、第１の領域対応情報に含まれる物体と物体領域との対応を確定対応情報として出力するように構成されていてもよい。そのような方法によれば、物体と物体領域との対応関係の確定の処理を削減できる。
【００６９】
本発明による物体追跡プログラムは、画像情報に基づいて物体を追跡する物体追跡プログラムであって、コンピュータに、画像情報を入力する処理と、入力された画像情報に含まれる各物体の特徴量を示す物体特徴量を合成して合成特徴量を生成する処理と、画像情報から抽出された領域であって物体を含む領域である物体領域の特徴量と合成特徴量との類似度に基づいて物体領域と物体とを対応付ける処理とを実行させることを特徴とする。
【００７０】
本発明による他の態様の物体追跡プログラムは、入力された画像情報における物体と物体領域とを対応付ける物体追跡プログラムであって、コンピュータに、画像情報を入力する処理と、入力された画像情報から物体領域を抽出して物体領域の画像情報を含む物体領域情報を出力する処理と、物体領域情報と、現時刻以前の物体領域と物体との対応関係を示す確定対応情報とから、追跡状態を物体毎または物体領域毎に判定し、物体領域および物体と追跡状態との対応関係を示す第１の領域対応情報を出力する処理と、画像情報、物体領域情報および第１の領域対応情報を用いて、物体領域の特徴量を示す領域特徴量および物体の特徴量を示す物体特徴量を生成する処理と、物体特徴量と第１の領域対応情報とから、複数の物体の必要な全ての組み合わせについて特徴量を合成して各合成特徴量を生成し、合成特徴量および合成特徴量生成のために用いられた物体と合成特徴量との対応関係を含む情報である合成特徴量情報を出力する処理と、第１の領域対応情報、領域特徴量情報および合成特徴量情報から物体と物体領域とを対応付け、現時刻に対する確定対応情報を出力する処理とを実行させるように構成されていてもよい。
【００７１】
本発明によるさらに他の態様の物体追跡プログラムは、入力された画像情報における物体と物体領域とを対応付ける物体追跡プログラムであって、コンピュータに、画像情報を入力する処理と、物体領域情報と、現時刻以前の物体領域と物体との対応関係を示す確定対応情報とから、追跡状態を物体毎または物体領域毎に判定し、物体領域および物体と追跡状態との対応関係を示す第１の領域対応情報を出力する処理と、画像情報、物体領域情報および第１の領域対応情報を用いて、物体領域の特徴量を示す領域特徴量および物体の特徴量を示す物体特徴量を生成する処理と、各物体を対象として、追跡状態が、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態以外の状態であると判定されている物体について、第１の領域対応情報に含まれる物体と物体領域との対応を、物体と物体領域との対応として確定し、追跡状態が分離状態であると判定されている物体について、物体特徴量と第１の領域対応情報とから複数の物体の必要な全ての組み合わせについて特徴量を合成して各合成特徴量を生成し、各合成特徴量と領域特徴量とを比較し、最も類似度が高い合成特徴量に対応した物体と物体領域とを対応付ける処理とを実行させるように構成されていてもよい。
【００７２】
【発明の実施の形態】
実施の形態１．
本発明の第１の実施の形態を図面を用いて説明する。図１は、本発明による物体追跡装置の構成の一例を示すブロック図である。図１に示すように、物体追跡装置は、ビデオカメラ等から時々刻々と画像情報が入力される画像入力端子１１、画像入力端子１１に入力される画像情報から物体領域を抽出する物体領域抽出部１２、画像入力端子１１に入力される画像情報に基づいて物体の特徴量と物体領域の特徴量とを生成する特徴量生成部１４、複数の物体の特徴量を合成して新たな特徴量を生成する特徴量合成部１５、および物体と物体領域との対応付けを行う対応付け部１７を含む。
【００７３】
なお、物体領域抽出部１２、特徴量生成部１４、特徴量合成部１５および対応付け部１７は、ハードウェアでも実現可能であるが、ソフトウェアでも実現可能である。すなわち、物体領域抽出部１２、特徴量生成部１４、特徴量合成部１５および対応付け部１７を、プログラムに基づいて処理を実行するＣＰＵと、以下に説明する物体領域抽出部１２、特徴量生成部１４、特徴量合成部１５および対応付け部１７の機能を実現するために記憶装置に格納されているプログラムとで実現することができる。
【００７４】
物体追跡装置は、ビデオカメラなどを用いて予め特定された範囲（以下、追跡範囲という。）の画像を連続して撮影して、撮影した画像内に映る物体を認識することによって物体を追跡する。
【００７５】
例えば、ビデオカメラは動かないように固定され、ビデオカメラは予め決められた範囲の画像を連続して撮影する。なお、ビデオカメラは、上下方向や左右方向に撮影範囲を変更することができるものであってもよい。また、ビデオカメラを用いて画像を連続して撮影するのでなく、一定の時間の間隔で画像を撮像する他の撮像装置を用いてもよい。例えば、デジタルカメラなど静止画として画像情報を取り込む装置を用いてもよい。
【００７６】
物体領域とは、画像における物体を含む領域である。物体領域は、例えば、以下のようにして抽出される。すなわち、ビデオカメラ等に、予め全く物体が存在していないときに追跡範囲を撮影させ、物体領域抽出部１２は、撮影された画像の情報を背景画像情報として背景画像記憶部に記憶する。そして、物体領域抽出部１２は、画像入力端子１１に入力される画像情報と背景画像記憶部に記憶されている背景画像情報とを画素単位で比較し画素値の差分を算出して、算出した差分が予め決められた閾値以上である画素（以下、物体画素という。）を抽出する。物体領域抽出部１２は、抽出した物体画素のうち互いに隣接する物体画素を全て選択する。物体領域抽出部１２は、選択した物体画素同士をつなぎ合わせて領域を抽出する。そして、物体領域抽出部１２は、抽出した領域に領域番号を付与して物体領域として出力する。
【００７７】
なお、背景画像記憶部は、背景画像情報を１つだけ記憶するのでなく、複数の背景画像情報を記憶してもよい。例えば、追跡範囲が屋外である場合には、背景画像記憶部は、日中に撮像した背景画像情報（以下、日中画像という。）と夜間に撮像した背景画像情報（以下、夜間画像という。）とを記憶し、日中は日中画像を用い、夜間は夜間画像を用いるようにしてもよい。
【００７８】
追跡対象の物体の形状などの特徴が既知である場合には、物体追跡装置は、背景画像記憶部を有するのではなく、予め物体の形状や色や動作などの情報を物体モデルの情報として記憶する物体モデル記憶装置を有してもよい。そして、物体領域抽出部１２は、入力された画像情報と物体モデル記憶装置が記憶する物体モデルとを照合し、物体モデルに整合する領域を物体領域として抽出してもよい。
【００７９】
特徴量とは、物体と物体領域とを対応付ける際に用いられる量である。特徴量には、物体領域の特徴量と物体の特徴量との２種類が存在する。物体領域の特徴量は、各物体領域から求められる特徴量を示し、物体の特徴量は物体を構成する物体領域の集合から求められる特徴量を示す。
【００８０】
特徴量生成部１４は、例えば、物体領域の色ヒストグラムを算出する。そして、算出した物体領域の色ヒストグラムを物体領域の特徴量として出力する。なお、物体領域の特徴量は、物体領域の面積であってもよく、また、画像テンプレートなどでもよい。また、面積で正規化した色ヒストグラムでもよい。さらに、色ヒストグラム、面積、画像テンプレートおよび面積で正規化された色ヒストグラムのうちの２つ以上の組み合わせであってもよい。
【００８１】
物体の特徴量は物体を構成する物体領域の集合から求められる特徴量であるから、物体の特徴量も、色ヒストグラム、面積、画像テンプレートおよび面積で正規化された色ヒストグラムのいずれかまたはそれらの組み合わせで表される。
【００８２】
特徴量生成部１４は、物体領域の特徴量に基づいて物体の特徴量を算出する。物体領域の特徴量は各物体領域から求められる特徴量であり、物体の特徴量は物体を構成する物体領域の集合から求められる特徴量である。すなわち、物体が１つの物体領域に対応している場合には、物体の特徴量は、物体領域の特徴量に基づいて決定され、物体が複数の物体領域から構成されている場合には、物体の特徴量は、それらの物体領域の特徴量を合成したものから決定される。
【００８３】
なお、物体領域抽出部１２は、画像情報から物体領域を抽出して物体領域の画像情報を含む物体領域情報を出力する物体領域抽出手段の具体的な一例（具体例）である。また、特徴量生成部１４は、領域特徴量および物体特徴量を生成する特徴量生成手段の具体例であり、特徴量合成部１５は、複数の物体の必要な全ての組み合わせについて特徴量を合成して各合成特徴量を生成する特徴量合成手段の具体例である。
【００８４】
図２は、対応付け部１７の構成の一例を示すブロック図である。図２に示すように、対応付け部１７は、追跡状態判定部１３と対応確定部１６とを含む。追跡状態判定部１３は、物体と物体領域との対応付けを行って追跡状態を判定する。対応確定部１６は、物体の追跡状態に基づいて物体と物体領域との対応付けを確定する。
【００８５】
なお、追跡状態とは、他の物体との重なりや分離などの他の物体との相対的な位置関係を示す状態である。追跡状態として、例えば、物体領域内に１つの物体のみが存在する単独状態、物体領域内に複数の物体が対応する重なり状態、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態がある。すなわち、本実施の形態では、追跡状態には、単独状態、重なり状態および分離状態が含まれる。一般に、重なり状態から分離状態を経て単独状態に遷移する。
【００８６】
また、追跡状態判定部１３は、他の物体との相対的な位置関係を表す追跡状態を物体毎または物体領域毎に判定する追跡状態判定手段の具体例である。また、対応確定部１６は、物体を含む領域である物体領域の特徴量と合成特徴量との類似度に基づいて物体領域と物体とを対応付ける対応付け手段、および現時刻に対する確定対応情報を出力する対応確定手段の具体例である。
【００８７】
本実施の形態では、以下に説明するように、物体の特徴量を用いて物体領域に対応する特徴量を合成し、物体と物体領域の対応付けを行うことによって、合成しない場合に比べて物体領域中の物体判定の信頼性を高めることができる。また、特に、重なり状態が解消された際の物体と物体領域との対応付けにおいて、複数の物体の特徴量を合成し、合成特徴量を用いて分離後の物体領域に複数の物体が存在した場合の物体と物体領域との特徴量の類似度を求めるので、分離後の領域に複数の物体が存在する場合や物体の交差時に物体が入れ替わった場合でも、物体と物体領域との対応づけを誤らない。
【００８８】
次に、図３のフローチャートを参照して本実施の形態の動作を説明する。図３は、本発明による物体追跡装置の処理経過の一例を示すフローチャートである。
【００８９】
物体領域抽出部１２は、画像入力端子１１を介して画像情報を入力する（ステップＳ３０１）。物体領域抽出部１２は、入力された画像情報から物体領域を抽出する（ステップＳ３０２）。そして、物体領域抽出部１２は、物体領域の画像情報（物体領域画像情報）を含む物体領域情報を出力する。
【００９０】
追跡状態判定部１３は、物体領域抽出部１２が出力する物体領域情報を記憶する。追跡状態判定部１３は、物体領域抽出部１２が出力した現時刻の物体領域情報と、追跡状態判定部１３自身が記憶する過去の物体領域情報と、対応確定部１６から入力される過去の確定対応情報とに基づいて、物体を追跡することで物体と物体領域とを対応付け、物体と物体領域との追跡状態を物体毎に、または物体領域毎に判定する。なお、以下、物体を着目しているときには物体の追跡状態と表現し、物体領域に着目しているときには物体領域の追跡状態と表現するが、物体と物体領域とが対応付けされている場合には、それらの表現は実質的に同義である。
【００９１】
そして、追跡状態判定部１３は、第１の領域対応情報を出力する（ステップＳ３０３）。第１の領域対応情報は、物体と物体領域との対応関係と、追跡状態とを示す情報（物体領域および物体と追跡状態との対応関係を示す情報）である。また、確定対応情報とは、対応確定部１６によって確定された物体と物体領域との対応関係を示す情報である。対応確定部１６が物体と物体領域との対応関係を確定する手順は後述する。
【００９２】
図４は、第１の領域対応情報の例を示す説明図である。第１の領域対応情報は、例えば、物体領域情報にα，β，γの３つの物体領域の画像情報が存在し、４つの物体Ａ，Ｂ，Ｃ，Ｄの存在している場合，図４（ｃ）に示すような物体領域α、β、γと物体Ａ、Ｂ、Ｃ、Ｄとの対応を示すために、各物体領域に対する物体および追跡状態との対応関係を示す図４（ａ）に示すような情報である。また、例えば図４（ｂ）に示すような各物体に対する物体領域および追跡状態との対応関係を示す情報でもよい。
【００９３】
また、物体の追跡は、追跡している物体と物体領域とを対応付けることであり、例えば過去の物体に対応する物体領域から物体の位置を求め、物体の位置から最も近い物体領域を求め、求められた物体領域と追跡している物体とを対応付けるといった方法で実現できる。ここで、例えば物体領域の重心位置を物体の位置とする。物体と物体領域の対応付け方法については後述する。
【００９４】
特徴量生成部１４は、画像入力端子１１を介して入力された画像情報と物体領域抽出部１２から入力された物体領域情報とに基づいて、物体領域の特徴量を生成し（ステップＳ３０４）、領域特徴量情報を特徴量合成部１５および対応付け部１７に出力する。領域特徴量情報とは、物体領域抽出部１２が抽出した各物体領域の特徴量（領域特徴量）を示す情報である。また、特徴量生成部１４は、追跡状態判定部１３が出力する第１の領域対応情報とステップＳ３０４で生成した物体領域の特徴量とに基づいて、物体の特徴量を決定し、記憶する物体の特徴量を更新する（ステップＳ３０５）。そして、特徴量生成部１４は、特徴量合成部１５からの要求に応じて物体の特徴量を出力する。
【００９５】
なお、特徴量生成部１４は、追跡状態判定部１３が出力する第１の領域対応情報において追跡状態が単独状態である物体の特徴量を更新する。画像上で物体が重なり合っている場合には正確な物体の特徴量の算出はできないので、特徴量生成部１４は、追跡状態が単独状態以外の状態である場合には、記憶される特徴量の更新を行わない。物体の特徴量の更新は、例えば、式（１）に基づいて行われる。
【００９６】
【数１】

【００９７】
ここで、Ｈ_ｉｎは物体の現在観測された特徴量（物体を構成する現時刻の物体領域の集合から求められた特徴量）を示す。Ｈ_ｔ　，Ｈ_ｔ−１　は、特徴量生成部１４が記憶する物体の特徴量のうち時刻ｔと時刻ｔ−１とにおいて記憶される物体の特徴量を示し、Ｈ_ｔ　が更新後の物体の特徴量を示す。また、ηは物体の特徴量の更新係数を示す。
【００９８】
特徴量合成部１５は、特徴量生成部１４に記憶された物体の特徴量と追跡状態判定部１３が出力する第１の領域対応情報とに基づいて、複数の物体の必要な全ての組み合わせについて物体の特徴量を合成した特徴量（以下、合成特徴量という。）を算出する（ステップＳ３０６）。すなわち、特徴量合成部１５は、特徴量生成部１４が生成する物体の特徴量と第１の領域対応情報とに基づいて、組み合わせが可能な物体と物体領域との全ての組み合わせを決定し、決定した物体と物体領域との組み合わせについてのみ合成特徴量（物体単体の物体特徴量を含む概念）を生成する。そして、特徴量合成部１５は、算出した合成特徴量を含む合成特徴量情報を出力する。合成特徴量情報とは、算出した合成特徴量と、合成特徴量算出のために用いられた物体と合成特徴量との対応関係とを含む情報である。なお、特徴量生成部１４は、特徴量合成部１５の要求に応じて、記憶している物体の特徴量を選択し、選択した物体の特徴量を特徴量合成部１５に出力する。特徴量合成部１５は、第１の領域対応情報に基づいて、特徴量生成部１４に要求する物体の特徴量を決める。
【００９９】
複数の物体の必要な全ての組み合わせとは、例えば物体Ａ，Ｂ，Ｃが画像上で重なり合った状態（すなわち、重なり状態）になった後、いくつかの物体が分離して２つの物体領域α，βに分離した状態（すなわち、分離状態）になった場合には、物体と物体領域との組み合わせは、（α，β）＝（ＡＢＣ，Φ），（Φ，ＡＢＣ），（Ａ，ＢＣ），（Ｂ，ＣＡ），（Ｃ，ＡＢ），（ＢＣ，Ａ），（ＣＡ，Ｂ），（ＡＢ，Ｃ）の８通りの組み合わせが発生しうるので、特徴量合成部１５は、Ａ，Ｂ，Ｃ，ＡＢ，ＢＣ，ＣＡ，ＡＢＣの組み合わせについての物体の合成特徴量を生成する。なお、例えば（α，β）＝（ＡＢ，Ｃ）は、物体領域αに物体Ａ，Ｂが存在し、物体領域βに物体Ｃが存在することを示す。また、Φは、対応付けられる物体がないことを示す。合成特徴量情報は、例えば、ＡＢの合成特徴量と、算出されたＡＢの合成特徴量に対応付けられる物体は物体Ａおよび物体Ｂであることを示す情報とを含む。
【０１００】
対応確定部１６は、特徴量生成部１４が出力する領域特徴量情報と、特徴量合成部１５が出力する合成特徴量情報と、追跡状態判定部１３が出力する第１の領域対応情報とに基づいて、物体と物体領域との対応関係を確定する（ステップＳ３０７）。そして、対応確定部１６は、確定対応情報を出力する。
【０１０１】
対応確定部１６は、追跡状態判定部１３が出力する第１の領域対応情報において追跡状態が分離状態であることが示されている物体については、領域特徴量情報と合成特徴量情報とに基づいて物体と物体領域との対応関係を確定する。また、第１の領域対応情報において追跡状態が分離状態以外であることが示されている物体については、追跡状態判定部１３が出力する第１の領域対応情報に含まれる物体領域との対応関係の情報を、物体と物体領域との対応関係として確定する。そして、対応確定部１６は、確定した物体と物体領域との対応関係の情報を確定対応情報とする。
【０１０２】
追跡状態判定部１３は、物体の追跡状態が、単独状態、重なり状態または分離状態であるかを以下のような方法で判定する。追跡状態判定部１３は、物体領域抽出部１２からの現時刻の物体領域情報と、追跡状態判定部１３自身が記憶している過去の物体領域情報と、対応確定部１６が出力する過去の確定対応情報とに基づいて、物体および物体領域を全体としてクラス分けをする。
【０１０３】
例えば、確定対応情報において物体Ａと物体領域αとが対応付けられている場合には、追跡状態判定部１３は、物体Ａと物体領域αとをクラスＸにクラス分けをする。また、物体Ｂと物体領域βとが対応付けられている場合には、追跡状態判定部１３は、クラスＸとは別のクラスＹに物体Ｂと物体領域βとをクラス分けする。さらに、物体Ａと物体Ｂとが物体領域γにも対応付けられている場合には、追跡状態判定部１３は、クラスＸに含まれる物体ＡとクラスＹに含まれる物体Ｂとが対応付けられているとして、物体領域γとクラスＸに含まれる全ての要素とクラスＹに含まれる全ての要素とを同じクラスに属させる。すなわち、クラスＸに、物体領域γとクラスＹの要素である物体Ｂおよび物体領域βとを属させる。その結果、クラスＹは削除され、クラスＸには、物体Ａ，Ｂと物体領域α，β，γとが属することになる。このように、１つのクラスでは各物体と各物体領域とが少なくとも１つの他の物体または他の物体領域と対応付けられているように、クラス分けを行う。
【０１０４】
物体および物体領域のクラス分けを行うと、追跡状態判定部１３は、各クラスの要素の数に基づいて、追跡状態が、単独状態、重なり状態または分離状態であるかを判定する。クラスの要素中に物体の要素が１個のみ含まれる場合には、追跡状態判定部１３は、追跡状態を単独状態と判定する。クラスの要素中に物体の要素が２個以上含まれ、かつ、物体領域の要素が１個のみ含まれる場合には、追跡状態判定部１３は、追跡状態を重なり状態と判定する。クラスの要素中に物体の要素が２個以上含まれ、かつ、物体領域の要素が２個以上含まれている場合には、追跡状態判定部１３は、追跡状態を分離状態と判定する。
【０１０５】
次に、特徴量の合成から領域と物体の選択までの一連の処理について説明する。対応確定部１６は、物体と物体領域との全ての組み合わせについて組み合わせ類似度を算出する。そして、対応確定部１６は、組み合わせ類似度が最も高い物体と物体領域との組み合わせを選択する。選択された組み合わせが、物体と物体領域との対応付けである。ここで、組み合わせ類似度とは、組み合わせを構成する物体と物体領域との組の類似度から得られる、組み合わせの妥当性を示す指標である。組み合わせ類似度が高いと、組み合わせが妥当であり、組み合わせを構成する物体と物体領域との組が類似していることを示す。なお、ここでは、組み合わせ類似度として、それぞれの組み合わせにおける物体領域の特徴量と合成特徴量との類似度の合計である合計類似度を使用するが、組み合わせ類似度は、類似度の合計に限られない。
【０１０６】
例えば、物体Ａ，Ｂ，Ｃが重なった後に分離した場合には、（α，β）＝（ＡＢＣ，Φ），（Φ，ＡＢＣ），（Ａ，ＢＣ），（Ｂ，ＣＡ），（Ｃ，ＡＢ），（ＢＣ，Ａ），（ＣＡ，Ｂ），（ＡＢ，Ｃ）の８通りの物体と物体領域との組み合わせについて、物体領域の特徴量と合成特徴量とから組み合わせ類似度を算出する。そして、対応確定部１６は、算出した組み合わせ類似度が最も大きくなる場合の物体と物体領域との組み合わせを最適な対応付けとする。
【０１０７】
例えば、物体領域αに対応しうる物体がＡおよびＢで、物体領域βに対応しうる物体がＡ、ＢおよびＣの場合のように、物体Ｃと物体領域αが対応付かないのが明らかな場合には、対応確定部１６は、（α，β）＝（ＡＢ，Ｃ），（Φ，ＡＢＣ），（Ａ，ＢＣ），（Ｂ，ＣＡ）の４通りの組み合わせについてのみ組み合わせ類似度を算出してもよい。そうすることにより、対応確定部１６は、類似度の算出の計算量を削減することができる。
【０１０８】
組み合わせ類似度を算出するために、対応確定部１６は、物体の合成特徴量と物体領域の特徴量との距離（以下、特徴量間の距離という。）を算出し、特徴量間の距離から組み合わせの距離を算出する。対応確定部１６は、算出した組み合わせの距離が小さい場合には組み合わせ類似度が高いと判定し、算出した組み合わせの距離が大きい場合には組み合わせ類似度が低いと判定する。組み合わせの距離は例えば特徴量間の距離の和とし、式（２）のように算出される。
【０１０９】
【数２】

【０１１０】
ここで、ｉは物体領域の番号、ｋは物体と物体領域との組み合わせ番号、Ｈｒ_ｉはｉ番目の物体領域の特徴量、Ｈｇ_ｋｉはｋ番目の組み合わせにおけるｉ番目の物体領域に対応させる物体の合成特徴量を示す。Ｄ_ｋはｋ番目の組み合わせにおける組み合わせの距離を示す。
【０１１１】
上記の（α，β）＝（ＡＢＣ，Φ），（Φ，ＡＢＣ），（Ａ，ＢＣ），（Ｂ，ＣＡ），（Ｃ，ＡＢ），（ＢＣ，Ａ），（ＣＡ，Ｂ），（ＡＢ，Ｃ）の８通りの物体と物体領域との組み合わせの場合には、ｉ＝１，２であり、ｋ＝１〜８である。すなわち、対応確定部１６は、全ての可能な組み合わせ（この例では８通りの組み合わせ）について物体領域と物体との各組（（α，β）＝（Ａ，ＢＣ）を例にすると、αとＡとからなる組と、βとＢＣとからなる組）の特徴量間の距離から組み合わせの距離（Ｄ_ｋ）を求めて（α，β）＝（Ａ，ＢＣ）の組み合わせを例にすると、αとＡの距離と、βとＢＣの距離との合計）、全ての可能な組み合わせのうち、組み合わせの距離が最小となる組み合わせを最も類似した組み合わせとする。
【０１１２】
特徴量合成部１５は、任意の合成比率εに応じて合成特徴量を算出することが好ましい。そして、対応確定部１６は、合成比率εに応じて算出された合成特徴量に基づいて組み合わせ類似度を算出して、最適な物体と物体領域との組み合わせを選択する。合成比率εとは、物体領域に含まれる各物体の特徴量の割合を補正するための係数である。例えば、物体間でカメラからの距離が異なるために画像上での見かけ上の物体の大きさが異なる場合がある。この場合に、単純に物体の特徴量を合計して合成特徴量を算出すると、算出した合成特徴量が現実の物体領域の特徴量と異なるので、対応確定部１６は、正しく物体と物体領域との対応付けを確定できない。特徴量合成部１５が所定の合成比率εに応じて合成特徴量を算出することによって、対応確定部１６は、物体と物体領域との誤った対応付けを確定するのを防止できる。
【０１１３】
例えば、物体Ａ，Ｂの２つの物体の特徴量を合成する場合には、特徴量合成部１５は、式（３）に基づいて合成特徴量を生成する。そして、対応確定部１６は、式（４）に基づいて、組み合わせの距離を算出する。
【０１１４】
【数３】

【０１１５】
【数４】

【０１１６】
特徴量合成部１５は、合成比率εを０から１まで変化させて（例えば、合成比率を０から１まで０．１間隔に変化させて）、変化させた全ての合成比率εの値に基づいて合成特徴量を算出する。対応確定部１６は、物体領域の特徴量と物体の合成特徴量との特徴量間の距離が最小となる合成特徴量を選択する。そして、対応確定部１６は、選択した合成特徴量に基づいて式（４）のように組み合わせの距離を算出し、組み合わせの距離が最も小さくなる場合の物体と物体領域との組み合わせを最適な対応付けとする。
【０１１７】
なお、本例では、対応確定部１６は、Ｌ２ノルムに基づいて特徴量間の距離を算出したが、類似度の算出ができる計算手法であれば、他の距離尺度に基づいて特徴量間の距離を算出してもよい。Ｌ２ノルムとは、式（２）および式（４）に示される差分二乗和によって算出される距離尺度をいう。
【０１１８】
以上のように、本発明による物体追跡装置は、重なり状態の物体の合成特徴量を算出して、物体領域の特徴量と合成特徴量との類似度を算出し、算出した類似度に基づいて物体と物体領域の対応付けを行うことによって、複数の物体が交差した後に分離してもなお複数の物体の組が存在する場合や、交差の前後において交差する物体の組み合わせが入れ替わった場合でも、追跡対象の物体の追跡を継続することができる。
【０１１９】
また、本発明による物体追跡装置は、物体と物体領域との全ての組み合わせについて物体領域の特徴量と合成特徴量との類似度を算出して、算出した類似度に基づいて最適な物体と物体領域との組み合わせを選択するので、追跡対象の物体と追跡対象の物体が存在する領域とを対応付ける際に、物体全体として最適な対応付けを選択できる。
【０１２０】
次に、追跡状態判定部１３、特徴量生成部１４および対応確定部１６の詳細な構成について説明する。まず、追跡状態判定部１３の構成を説明する。図５は、追跡状態判定部１３の構成の一例を示すブロック図である。図５に示す例では、追跡状態判定部１３は、物体追跡部１３１、状態判定部１３２および物体領域情報記憶部１３３を含む。
【０１２１】
なお、物体追跡部１３１は、物体領域情報、確定対応情報、および物体領域記憶手段から出力される過去の物体領域情報とから物体を追跡して物体と物体領域との対応を示す第２の領域対応情報を出力する物体追跡手段の具体例である。また、物体領域情報記憶部１３３は、物体領域情報と第１の領域対応情報とを記憶する物体領域記憶手段の具体例であり、状態判定部１３２は、第２の領域対応情報、物体領域情報および過去の物体領域情報とから物体の追跡状態を判定し、第１の領域対応情報を出力する状態判定手段の具体例である。
【０１２２】
物体追跡部１３１は、物体領域抽出部１２が出力する現時刻の物体領域情報、物体領域情報記憶部１３３が記憶する過去の物体領域情報、および対応確定部１６が出力する過去の確定対応情報に基づいて物体を追跡し物体と物体領域とを対応付ける。そして、物体追跡部１３１は、第２の領域対応情報を生成して、生成した第２の領域対応情報を状態判定部１３２に出力する。
【０１２３】
第２の領域対応情報とは、物体と物体領域の対応関係を示す情報である。第２の領域対応情報は、第１の領域対応情報と異なり追跡状態の情報が含まれない。図６は、第２の領域対応情報の例を示す説明図である。第２の領域対応情報は、例えば、物体領域情報にα，β，γの３つの物体領域の画像情報が存在し、過去の確定対応情報として４つの物体Ａ，Ｂ，Ｃ，Ｄが存在していることを認識した場合には，図６（ｃ）に示すような物体領域α、β、γと物体Ａ、Ｂ、Ｃ、Ｄとの対応を示すために、各物体領域と物体の対応関係を示す図６（ａ）に示すような情報である。また、例えば図６（ｂ）に示すような各物体と物体領域との対応関係を示す情報でもよい。
【０１２４】
状態判定部１３２は、物体領域抽出部１２が出力した物体領域情報と物体追跡部１３１が出力した第２の領域対応情報とに基づいて、物体の追跡状態の判定を行う。そして、状態判定部１３２は、第２の領域対応情報と判定結果とに基づいて第１の領域対応情報を出力する。
【０１２５】
物体領域情報記憶部１３３は、物体領域抽出部１２が出力する物体領域情報を記憶する。物体領域情報記憶部１３３が記憶する物体領域情報は、次時刻において第２の領域対応情報の生成に用いられる過去の物体領域情報となる。
【０１２６】
図７は、特徴量生成部１４の構成の一例を示すブロック図である。図７に示す例では、特徴量生成部１４は、特徴量抽出部１４１、特徴量更新部１４２および特徴量記憶部１４３を含む。
【０１２７】
なお、特徴量抽出部１４１は、画像情報と物体領域情報と第１の領域対応情報とから領域特徴量を抽出し領域特徴量を含む情報である領域特徴量情報を出力する特徴量抽出手段の具体例である。また、特徴量記憶部１４３は、要求に応じて記憶する物体特徴量を選択して出力する特徴量記憶手段の具体例であり、特徴量更新部１４２は、領域特徴量情報、第１の領域対応情報および現時刻より以前に生成した物体特徴量とから、特徴量記憶手段が記憶する物体特徴量を更新する特徴量更新手段の具体例である。
【０１２８】
特徴量抽出部１４１は、画像入力端子１１を介して入力された画像情報と物体領域抽出部１２が出力した物体領域情報とに基づいて各物体領域の特徴量を算出する。そして、特徴量抽出部１４１は、算出した物体領域の特徴量を含む領域特徴量情報を出力する。出力された領域特徴量情報は、特徴量更新部１４２と対応確定部１６とに入力される。
【０１２９】
特徴量更新部１４２は、第１の領域対応情報において追跡状態が単独状態であることが示されている物体については、特徴量抽出部１４１が出力した領域特徴量情報に基づいて特徴量記憶部１４３に記憶される特徴量を更新する。特徴量更新部１４２は、第１の領域対応情報において追跡状態が単独状態以外の状態が示されている物体については、特徴量記憶部１４３に記憶される特徴量を更新しない。特徴量記憶部１４３が記憶する物体の特徴量は、特徴量合成部１５が合成特徴量を生成するために用いられる。すなわち、特徴量合成部１５の要求に応じて、記憶している物体の特徴量を選択し、選択した物体の特徴量を特徴量合成部１５に出力する。
【０１３０】
図８は、対応確定部１６の構成の一例を示すブロック図である。図８に示す例では、対応確定部１６は、対応計算部１６１および対応決定部１６２を含む。
【０１３１】
なお、対応計算部１６１は、物体と物体領域との最適な対応関係を示す最適対応情報を生成する対応計算手段の具体例である。また、対応決定部１６２は、確定した物体と物体領域との対応関係を含む情報である確定対応情報を出力する対応決定手段の具体例である。
【０１３２】
対応計算部１６１は、特徴量生成部１４が出力した領域特徴量情報、特徴量合成部１５が出力した合成特徴量情報、および追跡状態判定部１３が出力した第１の領域対応情報に基づいて、物体と物体領域との組み合わせのうち対応付けられる可能性のある全ての組み合わせについて、物体領域の特徴量と合成特徴量との類似度を算出し、組み合わせ類似度を算出する。そして、対応計算部１６１は、組み合わせ類似度が最も大きくなる物体と物体領域との組み合わせを最適な対応付けとして選択して、最適対応情報を生成し、最適対応情報を出力する。なお、最適対応情報とは、物体と物体領域との最適な対応関係（組み合わせ類似度が最も大きくなる場合の物体と物体領域との組み合わせ）を示す情報である。
【０１３３】
対応決定部１６２は、追跡状態判定部１３が出力した第１の領域対応情報において追跡状態が分離状態であることが示されている物体については、対応計算部１６１が出力した最適対応情報に含まれる物体領域との対応関係の情報を、この物体と物体領域との対応関係の情報として確定する。分離状態以外の状態であることが示されている物体については、対応決定部１６２は、追跡状態判定部１３が出力した第１の領域対応情報に含まれる物体領域との対応関係の情報を、この物体と物体領域との対応関係の情報として確定する。
【０１３４】
また、対応決定部１６２は、第１の領域対応情報に含まれる物体の情報と、確定した物体と物体領域との対応付けの情報とを比較し、第１の領域対応情報に含まれるいずれの物体とも対応付けられない未対応物体領域が発生した場合には、新しい物体を生成し未対応物体領域と対応付ける。そして、対応決定部１６２は、確定された物体と物体領域との対応関係の情報を確定対応情報として出力する。
【０１３５】
例えば、物体領域αにＡ，Ｂの２つの物体が完全に重なった状態で存在していたために、物体追跡装置は、物体領域αに１つの物体Ａの存在しか認識できなかった場合がある。この場合に、物体Ａと物体Ｂとが分離状態に遷移すると、物体領域αから未対応物体領域としての新たな物体領域βが分離する。しかし、物体追跡装置は、物体Ｂの存在を認識していないため、いずれの物体にも対応付けられない物体領域βが発生することになる。従って、対応決定部１６２は、新たに物体Ｂを生成して、物体Ｂを物体領域βに対応付ける。
【０１３６】
なお、図１、図２、図５、図７および図８に示された構成は、ソフトウェアによって実現可能である。すなわち、本実施の形態では、コンピュータに、画像情報を入力する画像入力処理と、入力された画像情報から物体領域を抽出して物体領域の画像情報を含む物体領域情報を出力する物体領域抽出処理と、物体領域情報と、現時刻以前の物体領域と物体との対応関係を示す確定対応情報とから、追跡状態を物体毎または物体領域毎に判定し、物体領域および物体と追跡状態との対応関係を示す第１の領域対応情報を出力する追跡状態判定処理と、画像情報、物体領域情報および追跡状態判定手段の判定結果を用いて、物体領域の特徴量を示す領域特徴量および物体の特徴量を示す物体特徴量を生成する特徴量生成処理と、物体特徴量と第１の領域対応情報とから、複数の物体の必要な全ての組み合わせについて特徴量を合成して各合成特徴量を生成し、合成特徴量および合成特徴量生成のために用いられた物体と合成特徴量との対応関係を含む情報である合成特徴量情報を出力する特徴量合成処理と、物体領域情報、第１の領域対応情報、領域特徴量情報および合成特徴量情報から物体と物体領域とを対応付け、現時刻に対する確定対応情報を出力する対応確定処理とを実行させるための物体追跡プログラムによって物体追跡装置を実現することが可能である。
【０１３７】
（変形例１）追跡状態判定部１３は、以下に述べる判定方法に基づいて物体の追跡状態を判定してもよい。例えば、始めに物体が重なっていたために物体領域に一つの物体のみ対応付けられている場合には追跡状態は単独状態であると判定される。その状態から物体領域が複数に分かれた際に物体は一つであるために重なり状態から分離状態に遷移したとは判定されず、単独状態のままであると判定される可能性がある。単独状態の物体から複数の物体が分離することに対処するために、追跡状態判定部１３は、クラスに含まれる物体の要素が１つであってもクラスに物体領域の要素が２個以上含まれる場合には、追跡状態を分離状態と判定してもよい。
【０１３８】
上記の実施の形態では、物体領域抽出部１２が、物体領域を抽出する方法として、画像入力端子１１を介して入力された画像情報と予め撮像した背景画像情報との画素値の差分を算出する例を示した。画素値の差分を算出する際に、物体が背景と類似した特徴（例えば、物体の色と背景の色が類似している場合）を持つなどの原因によって、物体領域抽出部１２が、正しく物体領域の抽出が行えない場合がある。物体領域の抽出が正しく行えない場合には、追跡状態判定部１３の状態判定部１３２は、追跡状態が分離状態に遷移したと誤って判断する可能性がある。このような場合に正しく物体領域の抽出をおこなうために、状態判定部１３２は、物体領域間の空間的な距離を用いて対処すればよい。
【０１３９】
すなわち、状態判定部１３２は、物体および物体領域のクラス分けをする際に、物体領域間の距離がある閾値以下である物体領域については、それらの物体領域と各物体領域に対応付けられる物体とを全て同じクラスにクラス分けする。例えば、物体Ａ，Ｂと物体領域α，βとがある場合に、物体領域αと物体Ａとが対応付けられ、物体領域βと物体Ｂとが対応付けられている場合を考える。上記の実施の形態で示された方法では、状態判定部１３２は、物体領域αと物体Ａとが属するクラスと、物体領域βと物体Ｂとが属するクラスと２つのクラスを生成する。これに対して、物体領域αと物体領域βとの間の距離が予め決められた閾値以下である場合には、状態判定部１３２は、物体領域α，βと物体Ａ，Ｂとを全てまとめて１つのクラスとしてもよい。
【０１４０】
まとめて１つのクラスにすることにより、状態判定部１３２は、追跡状態を判定する際に、物体が２個以上含まれるクラスにおいて物体領域が２個以上に分離しても物体領域間の距離が閾値以下の場合には、追跡状態は重なり状態のまま変化しないと判定することができる。そして、状態判定部１３２は、物体領域間の距離が閾値を超えた時点で、追跡状態は分離状態であると判定する。
【０１４１】
（変形例２）さらに、状態判定部１３２は、物体領域の分離中継続期間に基づいて物体領域が一部偶然に分離する場合に対処するようにしてもよい。分離中継続期間とは、以前は１つであった物体領域が分離するときに，分離した物体領域間の距離がある閾値（０でもよい。）以上であるときに物体領域が分離可能な状態とした場合の、物体領域が分離可能な状態の継続時間を示す。この場合、状態判定部１３２は、クラス分けをする際に、分離中継続時間がある閾値未満の物体領域および物体領域に対応する物体を同じクラスに属させ、以前の追跡状態を維持するようにする。そして、状態判定部１３２は、分離中継続期間が閾値を超えた場合には、追跡状態を分離状態と判定する。
【０１４２】
分離中継続期間は、以下のように更新されて記憶される。分離中継続期間は、物体領域情報記憶部１３３に記憶される。物体追跡部１３１は、物体領域情報記憶部１３３が記憶する分離中継続期間を取得し、各物体領域に分離中継続期間を対応付け、新たな分離中継続期間を算出する。そして、物体追跡部１３１は、物体領域情報記憶部１３３が記憶する分離中継続期間を更新する。
【０１４３】
物体追跡部１３１は、以下のように物体領域と分離中継続期間との対応付けを行う。物体追跡部１３１は、物体領域抽出部１２が出力する物体領域情報に含まれる現時刻の物体領域と対応確定部１６が出力する過去の確定対応情報とに基づいて、現在の物体領域と過去の物体領域との対応付けを行う。そして、物体追跡部１３１は、物体領域情報記憶部１３３が記憶する過去の物体領域に対応する分離中継続期間を当該過去の物体領域に対応する現在の物体領域に対応付ける。対応付けられた分離中継続期間が複数ある場合には、物体追跡部１３１は、複数ある分離中継続期間のうち最大の分離中継続期間を物体領域に対応付ける。なお、物体追跡部１３１は、複数ある分離中継続期間のうち最小の分離中継続期間を現在の物体領域に対応付けてもよい。また、物体追跡部１３１は、分離中継続期間の平均時間を算出して、算出した平均時間を現在の物体領域に対応付けてもよい。
【０１４４】
状態判定部１３２は、物体領域情報記憶部１３３から分離中継続期間を取得する。また、状態判定部１３２は、物体領域の追跡状態を判定する。そして、状態判定部１３２は、判定結果に基づいて物体領域情報記憶部１３３が記憶する分離中継続期間を更新する。例えば、状態判定部１３２は、物体領域の追跡状態が分離可能な状態であると判定した場合には、物体領域情報記憶部１３３が記憶する分離中継続期間を当該分離中継続期間と現在の時刻とに基づいて更新する。また、状態判定部１３２は、物体領域の追跡状態が分離可能な状態でない場合には、分離中継続期間をリセットする。また、分離中継続期間を記憶する代わりに分離が開始した時刻を示す分離開始時刻を記憶してもよい。このとき、分離中継続期間は現在の時刻と分離開始時刻との差をとることにより求めることができる。
【０１４５】
また、物体追跡部１３１は、分離中継続期間を物体領域情報記憶部１３３に記憶するのでなく、分離中継続期間を含んだ第２の領域対応情報を生成してもよい。このとき、状態判定部１３２は分離中継続時間を第２の領域対応情報から取得する。このように、物体領域情報記憶部１３３を介さずに物体追跡部１３１から状態判定部１３２へ分離中継続時間を直接的に送受信することで、物体領域情報記憶部１３３の処理を削減できるという利点がある。
【０１４６】
なお、第１の実施の形態、変形例１および変形例２の方法を組み合わせて使用してもよい。すなわち、物体と物体領域との対応、物体領域間の距離、物体領域の分離中の継続時間の組み合わせに基づいて、対応する物体領域に共通の領域が存在する物体同士をまとめ、これらの物体と対応する物体領域を１つのクラスに分類するようにしてもよい。また、分類したクラスが分離状態である条件を満たし、さらに、クラスに２以上の物体が含まれること、クラスに含まれる物体領域間の距離が予め決められた閾値以上であること、およびクラスに含まれる物体領域の分離中の継続時間が予め決められた閾値以上であることのうちのいずれかまたはそれらの組み合わせを満たす場合に、クラスに含まれる物体および物体領域の追跡状態を分離状態と判定するようにしてもよい。
【０１４７】
（変形例３）物体追跡装置は、以下のような方法によって、物体の特徴量の合成を行って、物体と物体領域との対応付けを行ってもよい。すなわち、特徴量合成部１５は、特徴量生成部１４から物体の特徴量だけでなく領域特徴量情報も取得する。特徴量合成部１５は、特徴量生成部１４が出力する領域特徴量情報と物体の特徴量とに基づいて任意の合成比率εに応じて合成特徴量を算出する。そして、特徴量合成部１５は、算出した合成特徴量と領域特徴量情報に含まれる物体領域の特徴量との類似度が最も高くなる場合の合成比率εに応じた合成特徴量を出力する。対応確定部１６は、出力された合成特徴量に基づいて物体と物体領域との各組み合わせの物体領域の特徴量と合成特徴量との類似度を算出し、組み合わせ類似度を算出する。
【０１４８】
特徴量生成部１４が物体と物体領域との類似度が最も高くなる合成比率εに応じた合成特徴量を出力することによって、対応確定部１６は、物体と物体領域との各組み合わせに対して１つの合成特徴量のみに基づいて類似度を算出すればよい。従って、対応確定部１６は、無駄な算出処理を省くことができる。
【０１４９】
（変形例４）また、物体追跡装置は、以下のような方法によって、特徴量の合成を行い物体と物体領域との対応付けを行ってもよい。すなわち、特徴量合成部１５は、特徴量生成部１４から物体の特徴量だけでなく領域特徴量情報も取得し、式（５）〜（７）に従って距離を最小にする合成比率εの値を算出する。式（５）は、特徴量生成部１４が出力した領域特徴量情報と物体の特徴量とに基づいて、物体の特徴量と物体領域の特徴量との距離ｆ（ε）を算出する式である。特徴量合成部１５は、式（６）と式（７）とに示すように、距離ｆ（ε）を合成比率εで偏微分した式が「０」となる場合の合成比率εの値を算出する。すなわち、特徴量合成部１５は、距離ｆ（ε）が最小となる合成比率εを算出する。特徴量合成部１５は、算出した合成比率εに基づいて、式（３）によって合成特徴量を生成する。そして、対応確定部１６は、生成された合成特徴量に基づいて類似度を算出する。なお、ここでは、物体Ａ，Ｂについての合成特徴量を例にする。
【０１５０】
【数５】

【０１５１】
【数６】

【０１５２】
【数７】

【０１５３】
ここで、Ｈｇ_ｋｉ　は物体Ａの特徴量Ｈ_Ａと物体Ｂの特徴量Ｈ_Ｂとの合成特徴量、Ｈｒ_ｉは物体領域の特徴量を示す。また、例えば特徴量が色ヒストグラムで、色ヒストグラムの階級（ビン）の数がｎ個である場合には、特徴量Ｈ_Ａ，Ｈ_Ｂ，Ｈｒ_ｉ，Ｈｇ_ｋｉはそれぞれｎ次元ベクトルであり、Ｈ_Ａ＝（ａ_１，ａ_２，．．．，ａ_ｎ），Ｈ_Ｂ＝（ｂ_１，ｂ_２，．．．，ｂ_ｎ），Ｈｒ_ｉ＝（χ_１，χ_２，．．．，χ_ｎ），Ｈｇ_ｋｉ＝（χ_ｋ１，χ_ｋ２，．．．，χ_ｋｎ）と表現される。
【０１５４】
式（７）によって算出された合成比率εが０未満であるか、または１より大きな値となった場合には、０または１のうち式（７）によって算出された合成比率εの値に近い値を選択して合成比率εの値とする。特徴量合成部１５は、算出した合成比率εに基づいて合成特徴量を生成する。対応確定部１６は、生成された合成特徴量に基づいて、式（２）に示す組み合わせの距離を求め、組み合わせの距離を最小化する物体と物体領域との組み合わせを、最適な対応付けとして確定する。
【０１５５】
式（５），（６），（７）を用いることにより、特徴量合成部１５は、特定の合成比率εに対してのみ合成特徴量を生成すればよい。従って、様々な合成比率εに対して合成特徴量を生成する場合と比較して、類似度の算出のための計算量を削減することができる。なお、特徴量合成部１５は、物体が３つ以上重なった場合にも、上述した方法と同様の方法で合成特徴量を生成できる。また、ここでは、特徴量合成部１５は、特徴量間の距離尺度としてＬ２ノルムを用いたが、他の距離尺度を用いてもよい。
【０１５６】
また、物体追跡装置は、以下のような方法によって、特徴量の合成を行い領域と物体との選択を行うものであってもよい。すなわち、特徴量合成部１５は、物体の面積比を合成比率として用いて合成特徴量を生成する。そして、対応確定部１６は、生成された合成特徴量に基づいて類似度を算出する。この方法は、物体の重なり時の特徴量の合成比率は、物体と物体との面積の比にほぼ等しいという事実に基づく方法である。物体の面積比を合成比率とすることにより、特徴量合成部１５は、合成比率の算出のための計算を削減することができる。合成特徴量は、式（８）によって算出される。
【０１５７】
【数８】

【０１５８】
Ｈ_Ａ，Ｈ_Ｂは、それぞれ物体Ａ，Ｂの特徴量を示す。Ｓ_Ａ，Ｓ_Ｂは、それぞれ物体Ａ，Ｂの画像情報上での面積を示す。また、Ｈｇ　は合成特徴量である。対応確定部１６は、生成された合成特徴量Ｈｇ　を用いて、式（２）に示す距離の和を求め、距離の和を最小化する物体と物体領域との組み合わせを最適な対応付けとして確定する。
【０１５９】
例えば、特徴量生成部１４は、物体領域の画像に含まれる画素数を物体の面積とし、その面積を物体の特徴量に加えたものを、他の物体の特徴量と同様に生成する。そして、特徴量生成部１４の特徴量記憶部１４３は、面積を加えた特徴量を記憶し、第１の領域対応情報において追跡状態が重なり状態以外の状態を示している場合に、面積を加えた特徴量を更新する。
【０１６０】
さらに、物体追跡装置は、以下のような方法によって、特徴量の合成を行い物体と物体領域との対応付けを行ってもよい。すなわち、重なっている物体のそれぞれの面積がＳ_１からＳ_２の範囲で変化する可能性があるとし、特徴量合成部１５は、その変化範囲内で式（９）によって合成特徴量を生成する。式（９）は、物体Ａの特徴量と物体Ｂの特徴量との合成特徴量を算出する式である。そして、対応確定部１６は、式（１０）によって、生成された合成特徴量のうち領域特徴量との類似度が最も高くなる合成特徴量に基づいて物体と物体領域との類似度を算出し、組み合わせ類似度を算出する。
【０１６１】
【数９】

【０１６２】
【数１０】

【０１６３】
ΔＳは、物体Ａと物体Ｂとが重なる直前からの物体Ａの面積の変化量を示す。物体の面積の変化量を考慮した合成特徴量を算出することにより、物体の面積に多少変化があった場合にも、特徴量合成部１５は、実際とはかけはなれた合成比率を選択することを回避することができ、正しい合成比率に基づいて合成特徴量を生成することができる。その結果、対応確定部１６は、最適な物体と物体領域との対応付けを確定することができる。
【０１６４】
（変形例５）また、特徴量合成部１５は、特徴量生成部１４から物体の特徴量だけでなく領域特徴量情報も取得して、特徴量生成部１４から入力された領域特徴量情報と物体の特徴量とから、面積変化の範囲内で合成特徴量を生成し、物体領域との類似度が最も高くなる合成特徴量を出力し、対応確定部１６が合成特徴量に基づいて物体と物体領域との各組み合わせの組み合わせ類似度を求めるようにしてもよい。すなわち、合成比率εを、物体の面積の変化に基づく所定範囲内に制限してもよい。そのようにしても、特徴量合成部１５は、物体の各組み合わせに対して１つの合成特徴量を出力するだけでよく、様々な合成比率εに対して合成特徴量を生成する場合に比べて、無駄な処理を省くことができる。
【０１６５】
（変形例６）また、特徴量合成部１５は、物体のテンプレートを特徴量として用いて、合成特徴量を求めてもよい。ここで、テンプレートとは、画像中から物体に相当する部分を抽出して得られる部分画像であり、物体の形状や色を記述されたもの相当する。テンプレートは、物体と物体領域との対応関係に基づいて画像中の物体に相当する領域を抽出することによって生成される。また、標準顔画像などのように、予めモデル化された画像がテンプレートとして用いられてもよい。
【０１６６】
例えば、２つの物体が１つの物体領域にある場合には、特徴量合成部１５は、テンプレートを物体領域内で走査させて、物体領域内の各位置におけるテンプレートと物体領域との類似度を算出する。特徴量合成部１５は、類似度が最大となる位置を求める。特徴量合成部１５は、式（１１）と式（１２）とによって類似度を算出する。
【０１６７】
【数１１】

【０１６８】
【数１２】

【０１６９】
Ｍ_ｉ（ｘ，ｙ）はｉ番目のテンプレートの座標を示し、Ｒ（ｘ，ｙ）は物体領域の座標を示す。また、ｍ_ｉはｉ番目のテンプレートＭ_ｉ（ｘ，ｙ）の領域全体を示す。特徴量合成部１５は、式（１１）に示すように、テンプレートと物体領域との画素値の差分二乗和を特徴量間の距離として算出する。そして、式（１２）に示すように、特徴量間の距離が最小となる場合をテンプレートと物体領域との類似度が最大であると判定する。また、特徴量合成部１５は、テンプレートと物体領域との類似度が最大となる位置（ａ，ｂ）を物体の位置とする。
【０１７０】
次に、特徴量合成部１５は、テンプレートと物体領域との類似度に基づいて、重なっている物体の前後関係を判定する。特徴量合成部１５は、物体領域との類似度の高いテンプレートが物体領域との類似度の低いテンプレートを遮蔽していると判定する。そして、特徴量合成部１５は、テンプレートを合成することによって合成特徴量に相当する合成テンプレートを生成する。このように、特徴量合成部１５は、画像テンプレートと物体領域の特徴量とから各物体の前後関係を判定し、判定した各物体の前後関係に基づいて画像テンプレートを合成して合成特徴量を得るようにしてもよい。
【０１７１】
また、特徴量合成部１５は、物体領域との類似度の最大値が最大であるテンプレートを選択し、選択されたテンプレートが選択されないテンプレートを遮蔽していると判定してもよい。このとき、物体領域と選択されたテンプレート（類似度が最大となる場合のテンプレート）とが重複する領域を物体領域から除外し、残った物体領域と選択されなかったテンプレートとに基づいて、テンプレートと物体領域との類似度の算出、類似度が最大となるテンプレートの選択、類似度が最大となる場合のテンプレートの位置の算出、および遮蔽の判定を繰り返し行ってもよい。
【０１７２】
図９は、テンプレートを用いて合成特徴量を生成する概念を示した説明図である。図９（ａ）に示すように、特徴量合成部１５は、物体領域αにおいてテンプレートＡとテンプレートＢとを走査する。テンプレートＢと物体領域αとの類似度の最大値がテンプレートＡと物体領域αとの類似度の最大値より大きくなるので、特徴量合成部１５は、テンプレートＢがテンプレートＡを遮蔽していると判断できる。図９（ｂ）に示すように、特徴量合成部１５は、物体領域との類似度が最大となるそれぞれの位置でテンプレートＡとテンプレートＢとを合成して、合成テンプレートＸを生成する。合成テンプレートＸを生成する際に、特徴量合成部１５は、テンプレートＡとテンプレートＢとが重なっている部分については、テンプレートＢの値を用いて合成を行う。なお、（ａ_１，ｂ_１）がテンプレートＡと物体領域との類似度が最大となる位置であり、（ａ_２，ｂ_２）がテンプレートＢと物体領域との類似度が最大となる位置である。
【０１７３】
対応確定部１６は、合成テンプレート内の色ヒストグラムに基づいて、式（２）によって物体領域の特徴量と合成特徴量との類似度を算出し、組み合わせ類似度を算出することができる。また、対応確定部１６は、式（１２）と同様に、物体領域と合成テンプレートとを照合することによって物体領域の特徴量と合成特徴量との類似度を算出し、組み合わせ類似度を算出してもよい。テンプレートを用いることにより、物体が他の物体の背後に部分的に隠れている場合でも、物体と物体領域の対応関係を正しく算出することができる。
【０１７４】
（変形例７）また、上述した各方法において、物体と物体領域との対応付けを行う際に、対応確定部１６は、組み合わせ類似度が低い場合にも強制的に対応付けを行うので、物体と物体領域との対応付けが正しく行われない場合がある。そこで、対応確定部１６は、最適な組み合わせの組み合わせ類似度（すなわち、組み合わせ類似度が最大となる組み合わせの組み合わせ類似度）が低い場合には、物体と物体領域との対応付けを行わないようにしてもよい。その場合に、対応計算部１６１は、物体と物体領域との最適な組み合わせについて、組み合わせ類似度が予め決められた閾値以下であるときには、組み合わせを構成する物体に対応する最適な物体領域は無いと判断する。そして、対応計算部１６１は、最適な物体と物体領域との対応関係が無いことを示す情報を含んだ最適対応情報を出力する。対応決定部１６２は、最適対応情報が、物体に対応する最適な物体領域が無いことを示す情報を含む場合には、その物体については、第１の領域対応情報に含まれる物体と物体領域との対応関係の情報をそのまま物体と物体領域との対応関係として確定し、確定対応情報として出力する。そうでない場合には、最適対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力する。例えば、対応計算部１６１が、（α，β）＝（Ａ，ＢＣ）を最適な組み合わせとした場合を例にすると、対応計算部１６１は、αとＡとからなる組の類似度、およびβとＢＣとからなる組の類似度から組み合わせ類似度を算出し、組み合わせ類似度が閾値以下であるか否か判断する。そして、組み合わせ類似度が閾値以下であれば、対応決定部１６２は、物体Ａおよび物体Ｂおよび物体Ｃに対応する物体領域として、第１の領域対応情報に含まれる物体Ａおよび物体Ｂおよび物体Ｃと物体領域との対応関係の情報をそのまま物体Ａおよび物体Ｂおよび物体Ｃと物体領域との対応関係として確定する。
【０１７５】
（変形例８）また、上述した各方法において、物体と物体領域との対応付けを行う際に、対応確定部１６は、組み合わせ類似度が低い場合にも強制的に対応付けを行うので、物体と物体領域との対応付けが正しく行われない場合がある。そこで、対応確定部１６は、最適な組み合わせの組み合わせ類似度（すなわち、組み合わせ類似度が最大となる組み合わせの組み合わせ類似度）が低い場合には、物体と物体領域との対応付けを行わないようにしてもよい。その場合に、対応計算部１６１は、物体と物体領域との最適な組み合わせについて、物体領域と物体の組の類似度が予め決められた閾値以下であるときには、その物体に対応する最適な物体領域は無いと判断する。そして、対応計算部１６１は、最適な物体と物体領域との対応関係が無いことを示す情報を含んだ最適対応情報を出力する。対応決定部１６２は、最適対応情報が、物体に対応する最適な物体領域が無いことを示す情報を含む場合には、その物体については、第１の領域対応情報に含まれる物体と物体領域との対応関係の情報をそのまま物体と物体領域との対応関係として確定し、確定対応情報として出力する。そうでない場合には、最適対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力する。例えば、対応計算部１６１が、（α，β）＝（Ａ，ＢＣ）を最適な組み合わせとした場合を例にすると、対応計算部１６１は、αとＡとからなる組の類似度、およびβとＢＣとからなる組の類似度が閾値以下であるか否か判断する。そして、αとＡとの類似度が閾値以下であれば、対応決定部１６２は、物体Ａに対応する物体領域として、第１の領域対応情報に含まれる物体Ａと物体領域との対応関係の情報をそのまま物体Ａと物体領域との対応関係として確定する。
【０１７６】
（変形例９）対応計算部１６１は、最適な物体と物体領域との組み合わせのうち、明らかに判別が可能な物体のみを物体領域と対応付けるようにしてもよい。その場合、対応計算部１６１は、全ての物体と物体領域との組み合わせについて組み合わせ類似度の値が高い順番に並べる。そして、上位の組み合わせ間の組み合わせ類似度の値の差が小さく（例えば、予め決められたある閾値以下）、上位の組み合わせに共通する物体と物体領域とが存在する場合には、対応計算部１６１は、その物体と物体領域との組み合わせのみを最適な対応付けとする。対応計算部１６１は、その物体と物体領域との組み合わせのみの情報を含んだ最適対応情報を出力する。従って、最適対応情報には、他の物体と他の物体領域とには最適な対応関係となる組み合わせが無いことを示す情報が含まれることになる。
【０１７７】
例えば、物体Ａ，Ｂ，Ｃと物体領域α，β，γとの対応付けにおいて、組み合わせ類似度の値の高い上位３つの組み合わせが（α，β，γ）＝（Ａ，Ｂ，Ｃ），（ＡＢ，Φ，Ｃ），（Ｂ，Ａ，Ｃ）である場合には、対応計算部１６１は、物体Ｃと物体領域γとの組み合わせのみを最適な対応関係とする。そして、対応計算部１６１は、物体Ｃと物体領域γとの組み合わせのみを最適な対応関係とする情報を含んだ最適対応情報を出力する。なお、この方法を、変形例７と組み合わせてもよい。すなわち、物体と物体領域との最適な組み合わせについて物体領域と物体の組の類似度が予め決められた閾値以下である場合に、上位の組み合わせ間の合計類似度の値の差が小さく（例えば、予め決められたある閾値以下）、上位の組み合わせに共通する物体と物体領域とが存在しないときには、対応計算部１６１は、最適対応情報に、他の物体と他の物体領域とには最適な対応関係となる組み合わせが無いことを示す情報を含めるようにしてもよい。
【０１７８】
対応決定部１６２は、最適対応情報において最適な対応関係が無いことが示されている物体についてには、第１の領域対応情報に含まれる物体と物体領域との対応関係を、物体と物体領域との対応関係として確定する。
【０１７９】
以上のように、対応計算部１６１は、全ての可能な組み合わせのうち、組み合わせ類似度が最大となる組み合わせの組み合わせ類似度から予め決められた閾値以内の組み合わせ類似度を持つ組み合わせについて、組み合わせ類似度が最大となる組み合わせの組み合わせ類似度から予め決められた閾値以内の組み合わせ類似度を持つ組み合わせを選択し、選択した組み合わせに共通して存在する物体と物体領域との対応関係を、最適な対応付けとして最適対応情報に含め、共通して存在する物体と物体領域との対応関係に含まれない物体と物体領域については、最適な対応がないことを示す情報を最適対応情報に含め、対応決定部１６２は、最適な物体と物体領域との対応関係がない旨が最適対応情報に示されていない物体については、その最適対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力し、最適な物体と物体領域との対応関係がない旨が最適対応情報に示されている物体については、第１の領域対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力するようにしてもよい。
【０１８０】
（変形例１０）また、上述した各方法において、特徴量生成部１４は、追跡状態に応じて対応確定部１６に出力する領域特徴量情報に含む情報を変更してもよい。その場合、例えば、追跡状態判定部１３が出力する第１の領域対応情報には、追跡状態が分離状態であることが示されている物体領域の特徴量を含む。また、追跡状態が分離状態以外の状態であることが示されている物体領域については、特徴量を含んでいてもよいが、対応確定部１６ではその特徴量を必要としないので何も含まなくてもよい。また、特徴量を含まない代わりに対応付けが不要であることを示す情報を含んでいてもよい。対応確定部１６は、領域特徴量情報によって物体との対応付けが不要であることが示されている物体領域を対応付けの対象から除外する。これにより、対応確定部１６の計算量を削減することができる。
【０１８１】
（変形例１１）また、特徴量合成部１５は、特徴量記憶部１４２が記憶する全ての物体の特徴量を取得するのでなく、追跡状態判定部１３が出力する第１の領域対応情報において追跡状態が分離状態であることが示されている物体についてのみ、特徴量記憶部１４２が記憶する物体の特徴量を取得してもよい。そうすることにより、合成特徴量の生成に必要のない物体の特徴量を取得するという無駄な処理を省くことができ、特徴量合成部１５は、合成特徴量生成の処理の迅速化を図ることができる。
【０１８２】
（変形例１２）また、上述した各方法において、追跡状態が分離状態以外の状態である物体については、第１の領域対応情報と確定対応情報とは同じになるので、対応確定部１６から追跡状態判定部１３にフィードバックされる確定対応情報に含まれる情報を、分離状態の物体のみについての対応関係に限定してもよい。その場合、それ以外の物体については、追跡状態判定部１３は、確定対応情報の代わりに、追跡状態判定部１３自身が過去に求めた（第１の領域対応情報に含まれる）対応関係を用いるようにする。そのようにしても、上述した各方法を用いた物体追跡装置と等価な装置を実現できる。
【０１８３】
（変形例１３）また、上述した各方法において、特徴量更新部１４２は第１の領域対応情報に基づいて物体の特徴量を更新したが、第１の領域対応情報ではなく確定対応情報に基づいて物体の特徴量を更新してもよい。その場合には、特徴量抽出部１４１は、特徴量更新部１４２に出力する領域特徴量情報に、第１の領域対応情報において追跡状態が単独状態または分離状態であることが示されている物体領域の特徴量を含める。特徴量更新部１４２は、対応確定部１６が物体と物体領域との対応付けを確定した後に、対応確定部１６が出力する確定対応情報に基づいて物体の追跡状態を判定する。そして、特徴量更新部１４２は、追跡状態が単独状態である物体についてのみ、特徴量抽出部１４１が出力する物体領域の特徴量情報に基づいて特徴量記憶部１４３が記憶する物体の特徴量を更新する。そのようにしても、上述した各方法を用いた物体追跡装置と等価な装置を実現できる。
【０１８４】
（変形例１４）また、特徴量更新部１４２が確定対応情報に基づいて物体の追跡状態を判定するのでなく、対応確定部１６が、物体の追跡状態を判定してもよい。その場合、対応確定部１６は、判定した物体の追跡状態の情報を含んだ確定対応情報を出力する。そうすることにより、特徴量更新部１４２が、物体の追跡状態を判定する処理を省くことができる。そのようにしても、上述した各方法を用いた物体追跡装置と等価な装置を実現できる。
【０１８５】
（変形例１５）特徴量更新部１４２は、第１の領域対応情報のみに基づいて特徴量記憶部１４３が記憶する物体の特徴量を更新するのでなく、第１の領域対応情報と確定対応情報とに基づいて特徴量記憶部１４３が記憶する物体の特徴量を更新してもよい。その場合、特徴量抽出部１４１は、特徴量更新部１４２に出力する領域特徴量情報に、第１の領域対応情報において単独状態または分離状態であることが示されている物体領域の特徴量を含める。特徴量更新部１４２は、特徴量抽出部１４１が出力する領域特徴量情報と追跡状態判定部１３が出力する第１の領域対応情報とに基づいて、追跡状態が単独状態であることが示されている物体についてのみ、特徴量記憶部１４３が記憶する物体の特徴量を更新する。特徴量更新部１４２は、対応確定部１６が物体と物体領域との対応付けを確定した後に、対応確定部１６が出力する確定対応情報に基づいて物体の追跡状態を判定し、追跡状態が分離状態から単独状態に遷移した物体についてのみ、特徴量抽出部１４１が出力する領域特徴量情報に基づいて、特徴量記憶部１４３が記憶する物体の特徴量を更新する。
【０１８６】
この場合にも、さらに、特徴量更新部１４２が確定対応情報に基づいて物体の追跡状態を判定するのでなく、対応確定部１６が、物体の追跡状態を判定してもよい。そして、対応確定部１６は、判定した物体の追跡状態の情報を含んだ確定対応情報を出力する。そうすることにより、特徴量更新部１４２が、物体の追跡状態を判定する処理を省くことができる。
【０１８７】
実施の形態２．
次に、本発明の第２の実施の形態を図面を参照して説明する。本実施の形態における第１の領域対応情報は、物体領域が静止している状態であるか動作している状態であるかを示す静動状態の情報を含む。静動状態には、物体領域が静止していることを示す静止状態と物体領域が動作していることを示す動作状態とがある。物体追跡装置は、静動状態が静止状態である物体領域を背景として取り扱う。
【０１８８】
また、第１の領域対応情報は、物体領域を背景として取り扱うか否かを示す背景更新情報を含む。背景更新情報は、例えば、「０」と「１」の２値で表現される。物体領域の背景更新情報が「１」である場合には、物体量領域は背景として取り扱われる。物体領域の背景更新情報が「０」である場合には、物体領域を背景とはしない。
【０１８９】
例えば、人物を追跡する物体追跡装置である場合に、人物から分離した静止物体を背景と見なすことにより、物体追跡装置は、人物のみを追跡対象とすることができる。静動状態の判定方法として、例えば、抽出した物体領域のうち静止している状態の継続時間（以下、静止継続期間という。）が予め決められた閾値以上になった場合には、その物体領域は静止状態であると判定し、静止継続期間が予め決められた閾値より小さい場合には、その物体領域の静動状態を動作状態であると判定する方法を用いる。
【０１９０】
物体追跡装置は、背景更新情報を導入することによって、背景とみなした物体領域を追跡が不要な物体領域とみなして追跡対象から除外して、追跡が必要な物体のみを追跡対象とすることができる。すなわち、静動状態の情報によって、静止している状態であることが示されている物体領域と物体との組み合わせを、全ての可能な組み合わせから除外する。例えば、物体領域のうち、静止継続期間が予め決められた閾値を超え、かつ静動状態が静止状態であり、さらに確定対応情報に基づいて対応付けられる物体が存在しないと判断される物体領域についてのみ、物体追跡装置は、物体領域を背景の一部とみなして取り扱う。また、背景であるかの判定のために閾値を設けることによって、物体の追跡に失敗した場合にも、物体追跡装置は、追跡対象の物体が存在する物体領域を誤って背景とみなすことを防止することができる。
【０１９１】
図１０は、本発明による物体追跡装置の第２の実施の形態を示すブロック図である。図１０に示すように、物体追跡装置の構成要素は、第１の実施の形態の場合と同じであるが、物体領域抽出部１２は、画像入力端子１１を介して入力される画像情報だけでなく、画像情報と対応付け部１７からの確定対応情報とに基づいて、物体領域の抽出を行う。なお、対応付け部１７の構成は図２に示された構成と同じであり、追跡状態判定部１３の構成は図５に示された構成と同じであり、特徴量生成部１４の構成は図７に示された構成と同じであり、対応確定部１６の構成は図８に示された構成と同じである。
【０１９２】
物体領域情報記憶部１３３は、物体領域の静止継続期間を記憶する。物体追跡部１３１は、物体領域情報記憶部１３３が記憶する過去の各物体領域の静止継続期間と現時刻の物体領域とを対応付ける。そして、物体追跡部１３１は、現時刻における静止継続期間を算出する。物体領域情報記憶部１３３は、算出された現時刻における物体領域の静止継続期間を記憶する。
【０１９３】
最新の静止継続期間の算出の際に、物体領域に対応付けられる過去の静止継続期間が複数存在する場合も考えられる。過去の静止継続期間が複数存在する場合には、物体追跡部１３１は、複数存在する過去の静止継続期間のうち最大の静止継続期間を選択して、現時刻における静止継続期間に対応付ける。なお、最短の静止継続期間を選択して現時刻における静止継続期間に対応付けてもよいし、静止継続期間の平均時間を算出し、算出した平均時間を現時刻における静止継続期間に対応付けてもよい。
【０１９４】
そして、物体追跡部１３１は、静止継続期間の更新を以下の手順により行うことで現時刻における静止継続期間を算出する。物体追跡部１３１は、各物体領域について過去の物体領域の重心と最新の物体領域の重心との差分ベクトルを求める。差分ベクトルの大きさが予め決められた閾値以下である場合には、物体追跡部１３１は、物体は静止していると判断して、静止継続期間を更新する。差分ベクトルの大きさが予め決められた閾値を超える場合には、物体追跡部１３１は、物体領域が動いていると判断して、静止継続期間をリセットする。
【０１９５】
状態判定部１３２は、物体領域情報記憶部１３３に記憶される物体領域の静止継続期間に基づいて物体領域の静動状態を判定する。そして、状態判定部１３２は、物体領域の静止継続時間と静動状態の情報を含んだ第１の領域対応情報を出力する。また、物体領域情報記憶部１３３は、状態判定部１３２の判定に基づいて物体領域の静動状態を更新する。
【０１９６】
第１の実施の形態では、対応計算部１６１は、物体と物体領域との組み合わせのうち対応付けられる可能性のある全ての組み合わせ（全ての可能な組み合わせ）について、物体領域の特徴量と合成特徴量との類似度を計算したが、本実施の形態では、静動状態が静止状態を示す物体領域がどの物体とも対応付かない組み合わせのみについて計算する。すなわち、静動状態が静止を示す物体領域に物体を対応付ける組み合わせを、全ての可能な組み合わせから除外する。そうすることにより、対応計算部１６１は、物体と物体領域との類似度の算出のための計算量を削減することができる。
【０１９７】
対応確定部１６２は、物体追跡部１３１が算出する物体領域の静止継続期間の情報を含んだ確定対応情報を出力する。対応確定部１６２は、静止継続期間の情報と静動状態の情報とに基づいて物体領域が背景とみなせるかを判定する。具体的には、静止継続期間が予め決められた閾値を超え、かつ静動状態が静止状態であり、さらに確定対応情報に基づいて対応付けられる物体が存在しない場合に、物体領域が背景とみなせると判定する。物体領域を背景とみなせる場合には、対応確定部１６２は、物体領域内の背景を更新することを示す背景更新情報を確定対応情報に含める。
【０１９８】
確定対応情報が物体領域内の背景を更新することを示す背景更新情報を含んでいる場合には、物体領域抽出部１２は、物体領域情報と画像入力端子１１を介して入力された画像情報と対応付け部１７が出力する確定対応情報とに基づいて、物体領域の領域内の背景の画像を更新する。物体領域抽出部１２は、式（１３）に基づいて背景の画像の更新を行う。
【０１９９】
【数１３】

【０２００】
ここで、（ｘ，ｙ）は画素の座標を示し、Ｉ_ｔ０（ｘ，ｙ）は座標（ｘ，ｙ）における画像情報の画素値を示す。Ｂ_ｔ（ｘ，ｙ）とＢ_ｔ−１（ｘ，ｙ）とはそれぞれ座標（ｘ，ｙ）における時刻ｔ，ｔ−１の背景画像の画素値を示す。また、μは更新係数を示す。
【０２０１】
以上のように、状態判定部１３２が物体領域の静止継続時間と静動状態の情報を含んだ第１の領域対応情報を出力し、対応付け部１７が背景更新情報を含んだ確定対応情報を出力することによって、物体と背景とを区別することができる。そして、第１の領域対応情報が静動状態の情報を含むことにより、物体追跡装置は、静止している物体を物体領域と対応付けられる候補から除外する。その結果、対応計算部１６１が行う類似度の算出のための計算量を低減することができる。また、動作中の物体のみを追跡することができる。
【０２０２】
なお、物体領域情報記憶部１３３が静止継続期間を記憶して、物体領域情報記憶部１３３が記憶する静止継続期間を状態判定部１３２が取得するのでなく、物体追跡部１３１が静止継続期間の情報を含んだ第２の領域対応情報を状態判定部１３２に出力してもよい。そうすることにより、状態判定部１３２は、物体領域情報記憶部１３３を介することなく静止継続期間の情報を取得できる。
【０２０３】
また、特徴量抽出部１４１は、追跡状態が分離状態であることが示され、かつ静動状態が静止状態であることが示されている物体領域については、領域特徴量情報に特徴量を含んでもよいが、対応計算部１６１では不要なため、何も含まなくてもよい。あるいは、何も含まない代わりに対応付けが不要であることを示す情報を含んでもよい。これにより、不要な特徴量を出力する無駄を省くことができる。
【０２０４】
実施の形態３．
次に、本発明の第３の実施の形態を図面を参照して説明する。図１１は、本発明による物体追跡装置の第３の実施の形態を示す構成図である。図１１に示すように、物体追跡装置は、画像入力端子２１、第１の制御部２２、物体領域抽出部２３、特徴量生成部２４および特徴量合成部２５を含む。
【０２０５】
第１の制御部２２は、画像入力端子２１、物体領域抽出部２３、特徴量生成部２４および特徴量合成部２５に接続され、それらを制御する。また、第１の制御部２２は、物体と物体領域との対応付けを行って、確定対応情報を出力する。
【０２０６】
物体領域抽出部２３は、第１の制御部２２からの画像情報に基づいて物体領域を抽出し、領域番号を付与した物体領域の画像情報を含む物体領域情報を第１の制御部２２に出力する。
【０２０７】
特徴量生成部２４は、第１の制御部２２からの画像情報と物体領域情報とに基づいて物体領域の特徴量を抽出する。そして、抽出した物体領域の特徴量を含む領域特徴量情報を第１の制御部２２に出力する。
【０２０８】
特徴量合成部２５は、第１の制御部２２からの領域特徴量情報と第１の領域対応情報とに基づいて、複数の物体の必要な全ての組み合わせについて物体の特徴量を合成した合成特徴量を算出するそして、特徴量合成部２５は、合成特徴量を含んだ合成特徴量情報を第１の制御部２２に出力する。
【０２０９】
なお、第１の領域対応情報は、第１の実施の形態と同様に、物体と物体領域との対応関係の情報と物体の追跡状態の情報とを含む。また、本実施の形態では、第１の制御部２２が、第１の領域対応情報を生成する。
【０２１０】
ビデオカメラ等から、画像信号が入力される画像入力端子２１を介して、第１の制御部２２は画像情報を入力する。第１の制御部２２は、画像情報を物体領域抽出部２３に出力し、物体領域抽出部２３が出力する物体領域情報を入力する。また、物体領域情報と過去の確定対応情報とに基づいて、第１の領域対応情報を生成し、生成した第１の領域対応情報、画像情報および物体領域情報を特徴量生成部２４に出力する。さらに、特徴量生成部２４が出力する領域特徴量情報を入力し、領域特徴量情報および第１の領域対応情報を特徴量合成部２５に出力する。また、特徴量合成部２５が出力する合成特徴量情報を入力する。
【０２１１】
第１の制御部２２は、領域特徴量情報に含まれる物体領域の特徴量と合成特徴量情報に含まれる合成特徴量との類似度を算出し、組み合わせ類似度を算出して、物体と物体領域との最適な対応付けを確定する。そして、確定した物体と物体領域との対応関係の情報を確定対応情報として出力する。
【０２１２】
図１２は、第１の制御部２２の構成の一例を示すブロック図である。図１２に示すように、第１の制御部２２は、第２の制御部２２１、物体追跡部２２２、状態判定部２２３および対応計算部２２４を含む。
【０２１３】
なお、第１の制御部２２（第２の制御部２２１、物体追跡部２２２、状態判定部２２３および対応計算部２２４）、物体領域抽出部２３、特徴量生成部２４および特徴量合成部２５は、ハードウェアでも実現可能であるが、ソフトウェアでも実現可能である。すなわち、第１の制御部２２、物体領域抽出部２３、特徴量生成部２４および特徴量合成部２５を、プログラムに基づいて処理を実行するＣＰＵと、以下に説明する第１の制御部２２、物体領域抽出部２３、特徴量生成部２４および特徴量合成部２５の機能を実現するために記憶装置に格納されているプログラムとで実現することができる。
【０２１４】
第２の制御部２２１は、画像入力端子２１を介して画像情報が入力されると、画像情報を物体領域抽出部２３に出力する。また、第２の制御部２２１は、物体領域抽出部２３が出力した現時刻の物体領域情報と、第２の制御部２２１自身が記憶する過去の物体領域情報と、第２の制御部２２１自身が記憶する過去の確定対応情報とを物体追跡部２２２に出力する。さらに、第２の制御部２２１は、画像入力端子２１を介して入力された画像情報と、物体領域抽出部２３が出力した物体領域情報とを領域特徴量生成部２４に出力する。なお、確定対応情報の内容は、第１の実施の形態の場合と同じである。
【０２１５】
また、第２の制御部２２１は、物体追跡部２２２から第２の領域対応情報が入力されると、第２の領域対応情報と物体領域情報とを状態判定部２２３に出力する。なお、第２の領域対応情報の内容は、第１の実施の形態の場合と同じである。
【０２１６】
また、第２の制御部２２１は、状態判定部２２３から第１の領域対応情報が入力されると、第１の領域対応情報において追跡状態が分離状態であることが示されている物体領域についてのみ、物体の特徴量と第１の領域対応情報とを特徴量合成部２５に出力する。なお、第１の領域対応情報の内容は、第１の実施の形態の場合と同じである。
【０２１７】
さらに、第２の制御部２２１は、特徴量合成部２５から合成特徴量情報が入力されると、領域特徴量情報と合成特徴量情報と第１の領域対応情報とを対応計算部２２４に出力する。また、状態判定部２２３が出力する第１の領域対応情報において追跡状態が分離状態以外の状態であることが示されている物体については、第１の領域対応情報に含まれる物体領域との対応を、この物体と物体領域との対応関係として確定する。第１の領域対応情報において追跡状態が分離状態であることが示されている物体については、対応計算部２２４が出力する最適対応情報に含まれる物体領域との対応を、この物体と物体領域との対応関係として確定する。なお、対応計算部２２４が出力する最適対応情報の内容は、第１の実施の形態の場合と同じである。
【０２１８】
物体追跡部２２２は、第２の制御部２２１から入力された現時刻の物体領域情報と、第２の制御部２２１が記憶する過去の物体領域情報と、過去の確定対応情報とに基づいて物体を追跡し、第２の領域対応情報を第２の制御部２２１に出力する。なお、物体追跡部２２２が物体を追跡する方法は、第１の実施の形態における物体を追跡する方法と同じである。
【０２１９】
状態判定部２２３は、第２の制御部２２１から入力された第２の領域対応情報と物体領域情報とに基づいて物体の追跡状態の判定を行い、第１の領域対応情報を第２の制御部２２１に出力する。
【０２２０】
対応計算部２２４は、第２の制御部２２１から入力された領域特徴量情報と、合成特徴量情報と、第１の領域対応情報とに基づいて、物体と物体領域との全ての可能な組み合わせについて物体の合成特徴量と物体領域の特徴量との類似度を算出し、組み合わせ類似度を算出し、組み合わせ類似度が最も高くなる物体と物体領域との組み合わせを最適な物体と物体領域との対応付けと確定して、最適対応情報を生成する。そして、最適対応情報を第２の制御部２２１に出力する。
【０２２１】
次に、第３の実施の形態による物体追跡装置の動作を説明する。図１３は、物体追跡装置の処理経過の一例を示すフローチャートである。画像入力端子２１を介して画像情報が入力されると（ステップＳ１４０１）、物体領域抽出部２３は、画像情報から物体領域を抽出する（ステップＳ１４０２）。そして、物体領域の画像情報を含む物体領域情報を出力する。
【０２２２】
物体追跡部２２２は、物体を追跡して物体と物体領域とを対応付け、第２の領域対応情報を出力する。状態判定部２２３は、第２の領域対応情報と物体領域情報とに基づいて物体の追跡状態を判定する（ステップＳ１４０３）。特徴量生成部２４は、物体領域の特徴量を算出する（ステップＳ１４０４）。
【０２２３】
第２の制御部２２１は、カウンタｉを有する。第２の制御部２２１は、物体の数をカウンタｉに設定する（ステップＳ１４０５）。第２の制御部２２１は、カウンタｉの値が「０」であるかを判定して（ステップＳ１４０６）、カウンタｉの値が「０」である場合には処理を終了する。カウンタｉの値が「０」でない場合には、第２の制御部２２１は、状態判定部２２３に次のステップＳ１４０７の処理の実行を指示する。
【０２２４】
状態判定部２２３は、物体の追跡状態が分離状態であるかを判定する（ステップＳ１４０７）。状態判定部２２３が物体の追跡状態が分離状態であると判定した場合には、特徴量合成部２５は、複数の物体の必要な全ての組み合わせについて物体の特徴量を合成して合成特徴量を生成する（ステップＳ１４０８）。
【０２２５】
対応計算部２２４は、物体と物体領域との全ての可能な組み合わせについて物体の合成特徴量と物体領域の特徴量との類似度を算出し、組み合わせ類似度を算出する。第２の制御部２２１は、対応計算部２２４が算出した組み合わせ類似度が最も高くなる物体と物体領域との組み合わせを最適な物体と物体領域との対応関係として確定する（ステップＳ１４０９）。
【０２２６】
ステップＳ１４０７において、追跡状態が分離状態以外の状態であると状態判定部２２３が判定した場合には、第２の制御部２２１は、第１の領域対応情報に含まれる物体と物体領域との対応を、最適な物体と物体領域との対応関係として確定する（ステップＳ１４０９）。
【０２２７】
特徴量生成部１４は、対応が確定した物体の特徴量を更新する（ステップＳ１４１０）。ただし、特徴量生成部１４は、追跡状態が単独状態であることが示されている物体についてのみ、特徴量を更新する。
【０２２８】
次いで、第２の制御部２２１は、カウンタの値を「１」減らす（ステップＳ１４１１）。そして、ステップＳ１４０６において、カウンタの値が「０」と判断されるまでステップＳ１４０７からステップＳ１４１０までの処理が繰り返し実行される。すなわち、全ての物体について、最適な物体領域との対応関係が確定するまでステップＳ１４０７からステップＳ１４１０までの処理が実行される。全ての物体について物体領域との対応関係を確定するための処理（ステップＳ１４０７〜Ｓ１４１０）が終了したら、再び、ステップＳ１４０１から処理を実行する。
【０２２９】
以上のように物体追跡装置を構成することにより、第１の実施の形態と同様の機能を有する物体追跡装置を実現することができる。
【０２３０】
なお、図１１および図１２に示された構成は、ソフトウェアによって実現可能である。すなわち、本実施の形態では、画像情報を入力する画像入力処理と、物体領域情報と、現時刻以前の物体領域と物体との対応関係を示す確定対応情報とから、追跡状態を物体毎または物体領域毎に判定し、物体領域および物体と追跡状態との対応関係を示す第１の領域対応情報を出力する追跡状態判定処理と、画像情報、物体領域情報および追跡状態判定手段の判定結果を用いて、物体領域の特徴量を示す領域特徴量および物体の特徴量を示す物体特徴量を生成する特徴量生成処理と、各物体を対象として、追跡状態が、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態以外の状態であると判定されている物体について、第１の領域対応情報に含まれる物体と物体領域との対応を、物体と物体領域との対応として確定し、追跡状態が分離状態であると判定されている物体について、物体特徴量と第１の領域対応情報とから複数の物体の必要な全ての組み合わせについて特徴量を合成して各合成特徴量を生成し、各合成特徴量と領域特徴量とを比較し、最も類似度が高い合成特徴量に対応した物体と物体領域とを対応付ける対応付け処理とを実行させるための物体追跡プログラムによって物体追跡装置を実現可能である。
【０２３１】
【発明の効果】
以上に説明したように、本発明によれば、複数の物体の特徴量を合成し、合成特徴量を用いて物体と物体領域との特徴量の類似度を求めるので、物体分離後に複数の物体が存在する場合や交差時に物体が入れ替わった場合に、物体と物体領域との対応づけを誤らないようにすることができる。特に、重なり状態が解消された際の物体と物体領域との対応付けにおいて、物体と物体領域との対応づけを誤らないようにすることができる。
【０２３２】
また、領域と物体との組み合わせを考え、各組み合わせについて類似度を求めることによって、物体と領域を対応付ける際に、全体として最適となる対応付けを選択できる。
【図面の簡単な説明】
【図１】本発明による物体追跡装置の構成の一例を示すブロック図である。
【図２】対応付け部の構成の一例を示すブロック図である。
【図３】本発明による物体追跡装置の処理経過の一例を示すフローチャートである。
【図４】第１の領域対応情報の一例を示す説明図である。
【図５】追跡状態判定部の構成の一例を示すブロック図である。
【図６】第２の領域対応情報の一例を示す説明図である。
【図７】特徴量生成部の構成の一例を示すブロック図である。
【図８】対応確定部の構成の一例を示すブロック図である。
【図９】テンプレートを用いた特徴量の合成方法の一例を示す説明図である。
【図１０】本発明による物体追跡装置の構成の他の例を示すブロック図である。
【図１１】本発明による物体追跡装置の構成のさらに他の例を示すブロック図である。
【図１２】第１の制御部の構成の一例を示すブロック図である。
【図１３】本発明による物体追跡装置の処理経過の他の例を示すフローチャートである。
【図１４】従来の物体追跡装置の構成を示すブロック図である。
【符号の説明】
１１，２１　画像入力端子
１２，２３　物体領域抽出部
１３　追跡状態判定部
１３１，２２２　物体追跡部
１３２，２２３　状態判定部
１３３　物体領域情報記憶部
１４，２４　特徴量生成部
１４１　特徴量抽出部
１４２　特徴量更新部
１４３　特徴量記憶部
１５，２５　特徴量合成部
１６　対応確定部
１６１，２２４　対応計算部
１６２　対応決定部
１７　対応付け部
２２　第１の制御部
２２１　第２の制御部

Claims (61)

1. 画像情報に基づいて物体を追跡する物体追跡装置において、
   前記画像情報に含まれる各物体の特徴量を示す物体特徴量を合成して合成特徴量を生成する特徴量合成手段と、
   前記画像情報から抽出された領域であって物体を含む領域である物体領域の特徴量と前記合成特徴量との類似度に基づいて物体領域と物体とを対応付ける対応付け手段と
   を備えたことを特徴とする物体追跡装置。
2. 特徴量合成手段は、複数の物体の必要な全ての組み合わせについて特徴量を合成して各合成特徴量を生成し、
   対応付け手段は、前記特徴量合成手段が生成した各合成特徴量と物体領域の特徴量を示す領域特徴量とを比較することによって物体と物体領域とを対応付ける
   請求項１記載の物体追跡装置。
3. 画像情報から物体領域を抽出して物体領域の画像情報を含む物体領域情報を出力する物体領域抽出手段と、
   他の物体との相対的な位置関係を表す追跡状態を物体毎または物体領域毎に判定する追跡状態判定手段と、
   前記画像情報、前記物体領域情報および前記追跡状態判定手段の判定結果を用いて、領域特徴量および物体特徴量を生成する特徴量生成手段とを備え、
   特徴量合成手段は、前記物体特徴量および前記追跡状態判定手段の判定結果を用いて合成特徴量を生成する
   請求項２記載の物体追跡装置。
4. 追跡状態判定手段は、物体領域情報と、現時刻以前の物体領域と物体との対応関係を示す確定対応情報とから、追跡状態を物体毎または物体領域毎に判定し、物体領域および物体と追跡状態との対応関係を示す第１の領域対応情報を出力し、
   特徴量生成手段は、現時刻の画像情報、前記物体領域情報、前記第１の領域対応情報および前記確定対応情報から、領域特徴量と物体特徴量とを生成し、
   特徴量合成手段は、前記物体特徴量と前記第１の領域対応情報とから、物体領域に対応付けられる候補となる各合成特徴量を生成し、合成特徴量および合成特徴量生成のために用いられた物体と合成特徴量との対応関係を含む情報である合成特徴量情報を出力し、
   対応付け手段は、前記第１の領域対応情報、前記領域特徴量を示す情報である領域特徴量情報および前記合成特徴量情報から物体と物体領域とを対応付け、現時刻に対する前記確定対応情報を出力する対応確定手段を含む
   請求項３記載の物体追跡装置。
5. 追跡状態には、物体領域内に１つの物体のみが存在する単独状態、物体領域内に複数の物体が対応する重なり状態、および物体領域が複数の物体領域に分かれる過渡的な状態である分離状態が含まれる
   請求項３または請求項４記載の物体追跡装置。
6. 特徴量生成手段は、
   物体領域の色ヒストグラム、面積、画像テンプレートおよび面積で正規化された色ヒストグラムのいずれかまたはそれらの組み合わせを領域特徴量として生成し、
   前記物体に対応する物体領域を前記第１の領域対応情報から求め、その物体領域に対する色ヒストグラム、面積、画像テンプレートおよび面積で正規化された色ヒストグラムのいずれかまたはそれらの組み合わせを物体特徴量として生成する
   請求項４記載の物体追跡装置。
7. 追跡状態判定手段は、
   物体領域情報を記憶する物体領域記憶手段と、
   前記物体領域情報、確定対応情報、および前記物体領域記憶手段から出力される現時刻以前の物体領域情報とから物体を追跡し、物体と物体領域との対応を示す第２の領域対応情報を出力する物体追跡手段と、
   前記第２の領域対応情報、前記物体領域情報および現時刻以前の前記物体領域情報とから物体の追跡状態を判定し、前記第１の領域対応情報を出力する状態判定手段とを含む
   請求項４記載の物体追跡装置。
8. 状態判定手段は、
   第２の領域対応情報と物体領域情報とから、物体と物体領域との対応、物体領域間の距離、物体領域の分離中の継続時間のいずれかまたはそれらの組み合わせに基づいて、対応する前記物体領域に共通の領域が存在する物体同士をまとめ、これらの物体と対応する物体領域を１つのクラスに分類し、対応する物体領域がどの物体とも異なる物体については、その物体と対応する物体領域を１つのクラスに分類することによって、物体および物体領域を複数のクラスに分類し、分類したクラスに基づいて追跡状態を判定する
   請求項７記載の物体追跡装置。
9. 追跡状態は、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、
   状態判定手段は、
   分類したクラスに２以上の物体領域が含まれる場合に、そのクラスは分離状態である条件を満たすと判断し、
   クラスが分離状態である条件を満たす場合に、そのクラスに含まれる物体および物体領域の追跡状態を分離状態と判定する
   請求項８記載の物体追跡装置。
10. 状態判定手段は、
    分類したクラスが分離状態である条件を満たし、さらに、
    前記クラスに２以上の物体が含まれること、前記クラスに含まれる物体領域間の距離が予め決められた閾値以上であること、前記クラスに含まれる物体領域の分離中の継続時間が予め決められた閾値以上であることのいずれかまたはそれらの組み合わせを満たす場合に、前記クラスに含まれる物体および物体領域の追跡状態を分離状態と判定する
    請求項９記載の物体追跡装置。
11. 追跡状態は、分離状態と、物体領域内に１つの物体のみが存在する単独状態とを含み、
    状態判定手段は、分類したクラスが１つの物体を含み、前記クラスに含まれる物体および物体領域の追跡状態が分離状態でない場合に、前記クラスに含まれる物体および物体領域の追跡状態を単独状態と判定する
    請求項９または請求項１０記載の物体追跡装置。
12. 追跡状態は、分離状態と、物体領域内に複数の物体が対応する重なり状態とを含み、
    状態判定手段は、分類したクラスが２以上の物体を含み、前記クラスに含まれる物体および物体領域の追跡状態が分離状態でない場合に、前記クラスに含まれる物体および物体領域の追跡状態を重なり状態と判定する
    請求項９または請求項１０記載の物体追跡装置。
13. 特徴量生成手段は、
    画像情報と物体領域情報と第１の領域対応情報とから領域特徴量を抽出し、前記領域特徴量を示す情報である領域特徴量情報を出力する特徴量抽出手段と、
    物体特徴量を記憶し、要求に応じて、記憶する物体特徴量を選択して出力する特徴量記憶手段と、
    前記領域特徴量情報、前記第１の領域対応情報あるいは確定対応情報および現時刻より以前に生成した物体特徴量とから、特徴量記憶手段が記憶する前記物体特徴量を更新する特徴量更新手段とを含む
    請求項４記載の物体追跡装置。
14. 追跡状態は、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、
    特徴量抽出手段は、追跡状態として分離状態以外の状態が示されている物体領域については、物体との対応付けが不要であることを示す情報を領域特徴量情報に含め、
    対応確定手段は、前記領域特徴量情報によって物体との対応付けが不要であることが示されている物体領域を対応付けの対象から除外する
    請求項１３記載の物体追跡装置。
15. 追跡状態は、物体領域内に１つの物体のみが存在する単独状態を含み、
    特徴量更新手段は、
    第１の領域対応情報あるいは確定対応情報から物体の追跡状態が単独状態であるかを判定し、
    物体の追跡状態が単独状態以外の場合には、特徴量記憶手段が記憶する物体特徴量を更新しない
    請求項１３記載の物体追跡装置。
16. 特徴量合成手段は、
    特徴量生成手段が生成する物体特徴量と第１の領域対応情報とに基づいて、組み合わせが可能な物体と物体領域との全ての組み合わせを決定し、
    決定した物体と物体領域との組み合わせについてのみ、物体特徴量を合成して合成特徴量を生成する
    請求項４記載の物体追跡装置。
17. 特徴量合成手段は、物体特徴量を合成する割合を補正するための係数である合成比率を求め、前記合成比率と物体特徴量とから合成特徴量を生成する
    請求項４記載の物体追跡装置。
18. 特徴量合成手段は、特徴量生成手段から物体特徴量とともに領域特徴量を入力し、入力した領域特徴量情報と物体の特徴量とに基づいて任意の合成比率に応じて合成特徴量を算出し、算出した合成特徴量と領域特徴量との類似度が最も高くなる場合の合成比率に応じた合成特徴量を出力する
    請求項４記載の物体追跡装置。
19. 追跡状態は、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、
    特徴量合成手段は、追跡状態として分離状態であることが示されている物体領域についてのみ合成特徴量を生成する
    請求項４記載の物体追跡装置。
20. 物体特徴量は、物体の面積を含み、
    特徴量合成手段は、前記物体特徴量に含まれる物体の面積から物体特徴量を合成する割合を補正するための係数である合成比率を求め、前記合成比率と前記物体特徴量とから合成特徴量を生成する
    請求項４記載の物体追跡装置。
21. 特徴量合成手段は、合成比率を、物体の面積の変化に基づく所定範囲内に制限する
    請求項２０記載の物体追跡装置。
22. 特徴量合成手段は、特徴量生成手段から物体特徴量とともに領域特徴量を入力し、入力された領域特徴量と物体特徴量とから、物体の面積変化の範囲内で合成特徴量を生成し、物体領域との類似度が最も高くなる合成特徴量を出力する
    請求項４記載の物体追跡装置。
23. 物体特徴量は、物体の形状や色を記述した画像テンプレートを含み、
    特徴量合成手段は、画像テンプレートと領域特徴量とから各物体の前後関係を判定し、判定した各物体の前後関係に基づいて画像テンプレートを合成して合成特徴量を得る
    請求項４記載の物体追跡装置。
24. 対応確定手段は、
    合成特徴量情報、領域特徴量情報および第１の領域対応情報に基づいて、物体と物体領域との組み合わせのうち対応付けられる可能性のある全ての可能な組み合わせから最も類似した組み合わせを求め、求められた物体と物体領域との組み合わせを最適な対応付けとして選択して、物体と物体領域との最適な対応関係を示す最適対応情報を生成する対応計算手段と、
    前記第１の領域対応情報および前記最適対応情報に基づいて、物体と物体領域との対応関係を確定し、確定した物体と物体領域との対応関係を含む情報である確定対応情報を出力する対応決定手段とを含む
    請求項４記載の物体追跡装置。
25. 対応計算手段は、物体と物体領域との全ての可能な組み合わせについて、各組み合わせにおける物体領域の特徴量と合成特徴量との類似度の合計である合計類似度を求め、前記全ての可能な組み合わせのうち、合計類似度が最大となる組み合わせを最も類似した組み合わせとする
    請求項２４記載の物体追跡装置。
26. 第１の領域対応情報は、物体領域が静止している状態であるか動作している状態であるかを示す静動状態の情報を含み、
    対応計算手段は、前記静動状態の情報によって、静止している状態であることが示されている物体領域と物体との組み合わせを、全ての可能な組み合わせから除外する
    請求項２４記載の物体追跡装置。
27. 対応計算手段は、最も類似した組み合わせとして決定した組み合わせを構成する物体と物体領域との組の類似度から得られる組み合わせ類似度が予め決められた閾値以下である場合には、物体と物体領域との全ての可能な組み合わせのうち、組み合わせ類似度が最大となる組み合わせの組み合わせ類似度から予め決められた閾値以内の組み合わせ類似度を持つ組み合わせを選択し、選択した組み合わせに共通して存在する物体と物体領域との対応関係を、最適な対応付けとして最適対応情報に含め、前記共通して存在する物体と物体領域との対応関係に含まれない物体と物体領域については、物体と物体領域には最適な対応がないことを示す情報を最適対応情報に含め、
    対応決定手段は、
    最適な物体と物体領域との対応関係がない旨が前記最適対応情報に示されていない物体については、その最適対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力し、
    最適な物体と物体領域との対応関係がない旨が前記最適対応情報に示されている物体については、第１の領域対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力する
    請求項２４または請求項２５記載の物体追跡装置。
28. 追跡状態は、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、
    対応決定手段は、追跡状態として分離状態が示されている物体領域についてのみ、最適対応情報に示される物体と物体領域との対応関係を確定する
    請求項２４記載の物体追跡装置。
29. 追跡状態は、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、
    対応決定手段は、追跡状態として分離状態以外の状態が示されている物体領域についてのみ、第１の領域対応情報に含まれる物体と物体領域との対応を確定対応情報として出力する
    請求項２４記載の物体追跡装置。
30. 画像情報に基づいて物体を追跡する物体追跡方法において、前記画像情報に含まれる各物体の特徴量を示す物体特徴量を合成して合成特徴量を生成し、
    前記画像情報から抽出された領域であって物体を含む領域である物体領域の特徴量と前記合成特徴量との類似度に基づいて物体領域と物体とを対応付ける
    ことを特徴とする物体追跡方法。
31. 複数の物体の必要な全ての組み合わせについて特徴量を合成して各合成特徴量を生成し、
    生成された各合成特徴量と物体領域の特徴量を示す領域特徴量とを比較することによって物体と物体領域とを対応付ける
    請求項３０記載の物体追跡方法。
32. 画像情報から物体領域を抽出して物体領域の画像情報を含む物体領域情報を出力し、
    他の物体との相対的な位置関係を表す追跡状態を物体毎または物体領域毎に判定し、
    前記画像情報、前記物体領域情報および前記判定結果を用いて、領域特徴量および物体特徴量を生成し、
    前記物体特徴量および前記判定結果を用いて合成特徴量を生成する
    請求項３１記載の物体追跡方法。
33. 物体領域情報と、現時刻以前の物体領域と物体との対応関係を示す確定対応情報とから、追跡状態を物体毎または物体領域毎に判定し、物体領域および物体と追跡状態との対応関係を示す第１の領域対応情報を出力し、
    現時刻の画像情報、前記物体領域情報、前記第１の領域対応情報および前記確定対応情報から、領域特徴量と物体特徴量とを生成し、
    前記物体特徴量と前記第１の領域対応情報とから、物体領域に対応付けられる候補となる各合成特徴量を生成し、合成特徴量および合成特徴量生成のために用いられた物体と合成特徴量との対応関係を含む情報である合成特徴量情報を出力し、
    前記第１の領域対応情報、前記領域特徴量を示す情報である領域特徴量情報および前記合成特徴量情報から物体と物体領域とを対応付け、現時刻に対する前記確定対応情報を出力する
    請求項３２記載の物体追跡方法。
34. 追跡状態には、物体領域内に１つの物体のみが存在する単独状態、物体領域内に複数の物体が対応する重なり状態、および物体領域が複数の物体領域に分かれる過渡的な状態である分離状態が含まれる
    請求項３２または請求項３３記載の物体追跡方法。
35. 物体領域の色ヒストグラム、面積、画像テンプレートおよび面積で正規化された色ヒストグラムのいずれかまたはそれらの組み合わせを領域特徴量として生成し、
    前記物体に対応する物体領域を前記第１の領域対応情報から求め、その物体領域に対する色ヒストグラム、面積、画像テンプレートおよび面積で正規化された色ヒストグラムのいずれかまたはそれらの組み合わせを物体特徴量として生成する
    請求項３３記載の物体追跡方法。
36. 物体領域情報を記憶し、
    前記物体領域情報、確定対応情報、および現時刻以前の物体領域情報とから物体を追跡し、物体と物体領域との対応を示す第２の領域対応情報を出力し、
    前記第２の領域対応情報、前記物体領域情報および現時刻以前の前記物体領域情報とから物体の追跡状態を判定し、前記第１の領域対応情報を出力する
    請求項３３記載の物体追跡方法。
37. 第２の領域対応情報と物体領域情報とから、物体と物体領域との対応、物体領域間の距離、物体領域の分離中の継続時間のいずれかまたはそれらの組み合わせに基づいて、対応する前記物体領域に共通の領域が存在する物体同士をまとめ、これらの物体と対応する物体領域を１つのクラスに分類し、対応する物体領域がどの物体とも異なる物体については、その物体と対応する物体領域を１つのクラスに分類することによって、物体および物体領域を複数のクラスに分類し、
    分類したクラスに基づいて追跡状態を判定する
    請求項３６記載の物体追跡方法。
38. 追跡状態は、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、
    分類したクラスに２以上の物体領域が含まれる場合に、そのクラスは分離状態である条件を満たすと判断し、
    クラスが分離状態である条件を満たす場合に、そのクラスに含まれる物体および物体領域の追跡状態を分離状態と判定する
    請求項３７記載の物体追跡方法。
39. 分類したクラスが分離状態である条件を満たし、さらに、前記クラスに２以上の物体が含まれること、前記クラスに含まれる物体領域間の距離が予め決められた閾値以上であること、前記クラスに含まれる物体領域の分離中の継続時間が予め決められた閾値以上であることのいずれかまたはそれらの組み合わせを満たす場合に、前記クラスに含まれる物体および物体領域の追跡状態を分離状態と判定する
    請求項３８記載の物体追跡方法。
40. 追跡状態は、分離状態と、物体領域内に１つの物体のみが存在する単独状態とを含み、
    分類したクラスが１つの物体を含み、前記クラスに含まれる物体および物体領域の追跡状態が分離状態でない場合に、前記クラスに含まれる物体および物体領域の追跡状態を単独状態と判定する
    請求項３８または請求項３９記載の物体追跡方法。
41. 追跡状態は、分離状態と、物体領域内に複数の物体が対応する重なり状態とを含み、
    分類したクラスが２以上の物体を含み、前記クラスに含まれる物体および物体領域の追跡状態が分離状態でない場合に、前記クラスに含まれる物体および物体領域の追跡状態を重なり状態と判定する
    請求項３８または請求項３９記載の物体追跡方法。
42. 画像情報と物体領域情報と第１の領域対応情報とから領域特徴量を抽出し、前記領域特徴量を示す情報である領域特徴量情報を出力し、
    物体特徴量を記憶し、要求に応じて、記憶している物体特徴量を選択して出力し、
    前記領域特徴量情報と、第１の領域対応情報あるいは確定対応情報と、現時刻より以前に生成した物体特徴量とから、記憶される前記物体特徴量を更新する
    請求項３３記載の物体追跡方法。
43. 追跡状態は、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、
    追跡状態として分離状態以外の状態が示されている物体領域については、物体との対応付けが不要であることを示す情報を領域特徴量情報に含め、
    前記領域対応情報によって物体との対応付けが不要であることが示されている物体領域を対応付けの対象から除外する
    請求項４２記載の物体追跡方法。
44. 追跡状態は、物体領域内に１つの物体のみが存在する単独状態を含み、
    第１の領域対応情報あるいは確定対応情報から物体の追跡状態が単独状態であるかを判定し、
    物体の追跡状態が単独状態以外の場合には、記憶される物体特徴量を更新しない
    請求項４２記載の物体追跡方法。
45. 物体特徴量と第１の領域対応情報とに基づいて、組み合わせが可能な物体と物体領域との全ての組み合わせを決定し、
    決定した物体と物体領域との組み合わせについてのみ、物体特徴量を合成して合成特徴量を生成する
    請求項３３記載の物体追跡方法。
46. 物体特徴量を合成する割合を補正するための係数である合成比率を求め、
    前記合成比率と物体特徴量とから合成特徴量を生成する
    請求項３３記載の物体追跡方法。
47. 物体特徴量とともに領域特徴量を入力し、入力した領域特徴量情報と物体の特徴量とに基づいて任意の合成比率に応じて合成特徴量を算出し、算出した合成特徴量と領域特徴量との類似度が最も高くなる場合の合成比率に応じた合成特徴量を出力する
    請求項３３記載の物体追跡方法。
48. 追跡状態は、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、
    追跡状態として分離状態であることが示されている物体領域についてのみ合成特徴量を生成する
    請求項３３記載の物体追跡方法。
49. 物体特徴量は、物体の面積を含み、
    物体の面積に基づいて物体特徴量を合成する割合を補正するための係数である合成比率を求め、求められた合成比率と物体特徴量とから合成特徴量を生成する
    請求項３３記載の物体追跡方法。
50. 合成比率を、物体の面積の変化に基づく所定範囲内に制限する
    請求項４９記載の物体追跡方法。
51. 物体特徴量とともに領域特徴量を入力し、入力された領域特徴量と物体特徴量とから、物体の面積変化の範囲内で合成特徴量を生成し、物体領域との類似度が最も高くなる合成特徴量を出力する
    請求項３３記載の物体追跡装置。
52. 物体特徴量が物体の形状や色を記述した画像テンプレートを含み、
    画像テンプレートと領域特徴量とから各物体の前後関係を判定し、判定した各物体の前後関係に基づいて画像テンプレートを合成して合成特徴量を得る
    請求項３３記載の物体追跡方法。
53. 合成特徴量情報、領域特徴量情報および第１の領域対応情報に基づいて、物体と物体領域との組み合わせのうち対応付けられる可能性のある全ての可能な組み合わせから最も類似した組み合わせを求め、求められた物体と物体領域との組み合わせを最適な対応付けとして選択して、物体と物体領域との最適な対応関係を示す最適対応情報を生成し、
    前記第１の領域対応情報および前記最適対応情報に基づいて、物体と物体領域との対応関係を確定し、確定した物体と物体領域との対応関係を含む情報である確定対応情報を出力する
    請求項３３記載の物体追跡方法。
54. 物体と物体領域との全ての可能な組み合わせについて、各組み合わせにおける物体領域の特徴量と合成特徴量との類似度の合計である合計類似度を求め、前記全ての可能な組み合わせのうち、合計類似度が最大となる組み合わせを最も類似した組み合わせとする
    請求項５３記載の物体追跡方法。
55. 第１の領域対応情報が、物体領域が静止している状態であるか動作している状態であるかを示す静動状態の情報を含み、
    前記静動状態の情報によって、静止している状態であることが示されている物体領域と物体との組み合わせを、全ての可能な組み合わせから除外する
    請求項５３記載の物体追跡方法。
56. 最も類似した組み合わせとして決定した組み合わせを構成する物体と物体領域との組の類似度から得られる組み合わせ類似度が予め決められた閾値以下である場合には、物体と物体領域との全ての可能な組み合わせのうち、組み合わせ類似度が最大となる組み合わせの組み合わせ類似度から予め決められた閾値以内の組み合わせ類似度を持つ組み合わせを選択し、選択した組み合わせに共通して存在する物体と物体領域との対応関係を、最適な対応付けとして最適対応情報に含め、前記共通して存在する物体と物体領域との対応関係に含まれない物体と物体領域については、物体と物体領域には最適な対応がないことを示す情報を最適対応情報に含め、
    最適な物体と物体領域との対応関係がない旨が前記最適対応情報に示されていない物体については、その最適対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力し、
    最適な物体と物体領域との対応関係がない旨が前記最適対応情報に示されている物体については、第１の領域対応情報に含まれる物体と物体領域との対応関係を示す情報を確定対応情報として出力する
    請求項５３または請求項５４記載の物体追跡方法。
57. 追跡状態は、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、
    追跡状態として分離状態が示されている物体領域についてのみ、最適対応情報に示される物体と物体領域との対応関係を確定する
    請求項５３記載の物体追跡方法。
58. 追跡状態は、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態を含み、
    追跡状態として分離状態以外の状態が示されている物体領域についてのみ、第１の領域対応情報に含まれる物体と物体領域との対応を確定対応情報として出力する
    請求項５３記載の物体追跡方法。
59. 画像情報に基づいて物体を追跡する物体追跡プログラムであって、
    コンピュータに、
    画像情報を入力する処理と、
    入力された前記画像情報に含まれる各物体の特徴量を示す物体特徴量を合成して合成特徴量を生成する処理と、
    前記画像情報から抽出された領域であって物体を含む領域である物体領域の特徴量と前記合成特徴量との類似度に基づいて物体領域と物体とを対応付ける処理と
    を実行させるための物体追跡プログラム。
60. 入力された画像情報における物体と物体領域とを対応付ける物体追跡プログラムであって、
    コンピュータに、
    画像情報を入力する処理と、
    入力された前記画像情報から物体領域を抽出して物体領域の画像情報を含む物体領域情報を出力する処理と、
    前記物体領域情報と、現時刻以前の物体領域と物体との対応関係を示す確定対応情報とから、追跡状態を物体毎または物体領域毎に判定し、前記物体領域および前記物体と前記追跡状態との対応関係を示す第１の領域対応情報を出力する処理と、
    前記画像情報、前記物体領域情報および前記第１の領域対応情報を用いて、物体領域の特徴量を示す領域特徴量および物体の特徴量を示す物体特徴量を生成する処理と、
    前記物体特徴量と前記第１の領域対応情報とから、複数の物体の必要な全ての組み合わせについて特徴量を合成して各合成特徴量を生成し、合成特徴量および合成特徴量生成のために用いられた物体と合成特徴量との対応関係を含む情報である合成特徴量情報を出力する処理と、
    前記第１の領域対応情報、前記領域特徴量情報および前記合成特徴量情報から物体と物体領域とを対応付け、現時刻に対する前記確定対応情報を出力する処理と
    を実行させるための物体追跡プログラム。
61. 入力された画像情報における物体と物体領域とを対応付ける物体追跡プログラムであって、
    コンピュータに、
    画像情報を入力する処理と、
    前記物体領域情報と、現時刻以前の物体領域と物体との対応関係を示す確定対応情報とから、追跡状態を物体毎または物体領域毎に判定し、物体領域および物体と追跡状態との対応関係を示す第１の領域対応情報を出力する処理と、
    前記画像情報、前記物体領域情報および前記第１の領域対応情報を用いて、物体領域の特徴量を示す領域特徴量および物体の特徴量を示す物体特徴量を生成する処理と、
    各物体を対象として、追跡状態が、物体領域が複数の物体領域に分かれる過渡的な状態である分離状態以外の状態であると判定されている物体について、前記第１の領域対応情報に含まれる物体と物体領域との対応を、物体と物体領域との対応として確定し、追跡状態が分離状態であると判定されている物体について、前記物体特徴量と前記第１の領域対応情報とから複数の物体の必要な全ての組み合わせについて特徴量を合成して各合成特徴量を生成し、各合成特徴量と領域特徴量とを比較し、最も類似度が高い合成特徴量に対応した物体と物体領域とを対応付ける処理と
    を実行させるための物体追跡プログラム。

Images