JP2011043863A - 対象領域判定・追跡装置、方法、プログラム及び対象領域判定装置 - Google Patents

Abstract

【課題】観察すべき対象の付近に類似の対象がある場合のドリフト現象、対象同士の重なり、対象の部分遮蔽がある場合の観察すべき対象の測定欠損の発生を防止する。
【解決手段】ある領域内に存在する対象物と該対象物を含む対象領域を判定し追跡する対象領域判定・追跡装置に、対象物を含む領域を関心領域として取得する関心領域取得部１１０と、ある対象物と該対象物を含む対象領域とを対応付けて記録する対象領域情報記録部１２０と、対象領域情報記録部に記録されている対象物の対象領域の組合わせと配置を生成する配置生成部１３０と、関心領域取得部で取得された関心領域の境界と、配置生成部で配置が生成された対象領域の境界とを重ねて共有境界での合致度を計算し、最大の合致度の対象領域が関心領域に存在すると判定する領域合致計算部１４０とを備える。
【選択図】図１

Description

本発明はカメラにより撮像された画像から対象を検出し追跡する装置に関する。特に、本発明は、対象の隠れ、重なりが発生した場合対象の占める領域を判定し、追跡できる対象領域判定・追跡装置、方法、プログラム及び対象領域判定装置に関する。

従来、カメラにより撮像された画像から、対象を検出し追跡する装置が複数存在しているが、対象を検出・追跡する手法として大きく２つのアプローチがある。
第１のアプローチはアピアランスを用いたアプローチであり、予め追跡対象の基本図形を記録しておき、この基本図形を入力画像の中から探し出すという方法である。
第２のアプローチは背景モデルを用いたアプローチであり、予め背景画像を保持しておき、入力画像と背景画像との差分をとることにより、移動体を検出するという方法である。以下に、第１のアプローチ及び第２のアプローチについて、従来技術の説明を行う。

先ず、第１のアプローチについて説明を行う。
従来、重複領域を持つ複数物体の関係を判定し、そのテンプレートの最適マッチング位置を探索して精度良く物体を追跡することができる画像認識装置を提供するため、撮像装置から得た撮像時間の異なる画像を現フレームメモリと前フレームメモリにそれぞれ保持し、フロー推定部でオプティカルフローを求め、テンプレート記憶メモリに登録されているテンプレートのマッチングをテンプレートマッチング部で行い、テンプレート重なり判定部で相互に重なるテンプレート同士の関係を判定し、新しくオプティカルフローが塊状に発生した領域を新規テンプレートとしてテンプレート記憶メモリに登録し、描画部からディスプレイへ追跡結果を出力することにより、精度良く物体の追跡を行うことができるものがある（例えば、特許文献１参照）。

上記特許文献１では、基本図形の取得には、オプティカルフローと呼ばれる動き場を用いている。すなわち、異なるタイミングで取得された複数毎の画像をブロック分割し、そのブロックが次の画像ではどこに移動したのかを、画像間で、ブロック毎の相関を計算することにより推測する。このオプティカルフローが塊状に発生した場合、この領域を、追跡対象を表す連続領域と判断し、対象の基本図形として登録する。

追跡には、過去画像の追跡対象の速度、位置を基に、入力画像の検索領域を定め、検索領域内でテンプレートを摂動させ、テンプレートマッチングを行い、スコアの高い場所へ対象の移動先を定める。
また、テンプレートマッチングの代用として人の頭・肩、脚などの特徴量を予め学習させた識別器を用いて、追跡対象の位置を推定する手法などもある（例えば、非特許文献１）。

第１のアプローチであるアピアランスを用いた追跡手法は、基本図形を能動的に摂動させ、対象を探しにいくことが可能であり、静止物体の検出も行えるという特徴がある一方、部分領域のスコア算出の計算コストが高い問題、さらに、見え方に基づいた処理なので、対象の領域付近に偶然基本図形に似たパターンがある場合、そのパターンとマッチしてしまい、実際の対象の位置と大きく外れて対象を見失ってしまう、いわゆる、ドリフト現象とよばれる現象が発生する問題がある。ドリフト現象は、特に非剛体である追跡対象同士が重なったり、対象の一部がある物体の背後に隠れて見えなくなったりする際に多発する。

以下に例を図示して説明を行う。
図２４は従来のアピアランスを用いた追跡手法によるテンプレートマッチングの成功例を表す画像を示す図であり、図２５は従来のアピアランスを用いた追跡手法によるテンプレートマッチングの失敗例を表す画像を示す図である。
図２４、図２５において、非剛体である人の基本図形を枠１８０で、入力画像の追跡対象の位置付近の探索領域の中で最も類似度の高い対象領域を枠１９０で表す。

図２４に示すように、枠１８０と枠１９０はほぼ一致していることにより、追跡対象の位置と、テンプレートマッチングによる対象領域がほぼ一致しており、この対象領域を測定入力として対象の追跡に成功している。
しかしながら、図２５に示すように、入力画像中の街灯の柱と歩行者との間の輝度パターンに高い類似が見られてしまい、誤って対象領域が街灯付近に張り付いてしまう。追跡装置は、マッチングスコアの高い街灯付近に対象が存在すると誤解し、誤った位置情報を取り込んでしまい、枠１８０と枠１９０にはずれが生じる。結果として、対象の移動モデルの予測が不正確になり、対象がテンプレートマッチングの探索領域の範囲外に移動してしまい、追跡に失敗する。

上記特許文献１では、この問題に対処するために、対象同士の重なり時の前後関係を把握し、手前側に存在する対象とのテンプレートマッチングを行うことで、追跡精度の向上を図っている。
しかしながら、テンプレートマッチングに基づく対象の移動予測を行い、それを基に対象の重複領域の抽出を行っている点、対象の前後関係の把握にも、アピアランスを用いた手法に基づく相関関数を用いている点を鑑みると、対象と背景が似たパターンを持つ場合、根本的にドリフト現象に対応できない。

さらに、上記非特許文献１では、「ｅｄｇｅｌｅｔ」と呼ばれる特徴量に基づく人識別器を、体全体、頭・肩、胴体、脚とに分けて適用することにより、ある部位の識別に失敗した場合でも全体を見失うことなく追跡を続行できるような特徴を持つ。
しかしながら、対象を細かい部位に分けると、部位の識別に失敗する確率が高まる。そのため、部位識別に対してドリフト現象の発生が高まるという問題がある。

すなわち、第１のアプローチであるアピアランスを用いた追跡手法は、ドリフト現象が起き、追跡精度の低下が起きる点、また、テンプレート、人識別の摂動の計算コストが高い点が問題であると結論づけることができる。
次に、第２のアプローチについて説明を行う。
第２のアプローチでは、背景画像は、例えば、追跡対象が存在しない複数の過去の画像から各画素ごとに輝度の平均と分散を求めて作成する。対象の検出には、入力画像と背景画像の差分を取り、輝度が画素の通常変動幅を超えて変動する連結領域を用いる。対象の追跡には、下記特許文献２で提案されている領域の重心位置を計算し逐次更新していく手法などが知られている。

従来、動画像から動物体を検出する動物体検出部と、前記動物体検出部により検出した動物体毎の重心位置を抽出する動物体特徴抽出部と、前記動物体特徴抽出部の出力を動物体毎にその重心位置を順次更新・記憶する動物体特徴記憶部と、前記動物体特徴抽出部の出力と前記動物体特徴記憶部の内容とを比較して前記動物体検出部により検出した動物体を対応付けて追跡し、追跡結果を出力する動物体対応付け部と、前記動物体が静止したことを判定する静止判定部と、前記静止判定部により判定した静止動物体の重心位置を抽出する静止物体特徴抽出部と、前記静止物体の重心位置を記憶する静止物体特徴記憶部と、前記動物体特徴記憶部の内容と前記静止物体特徴記憶部の内容とを比較して静止物体が再び動物体として動き出したかを判定し、その対応付け結果を出力する静止物体対応付け部とを備えるものもある（例えば、特許文献２参照）。

第２のアプローチである背景モデルを用いた手法は、画素毎の輝度変動に基づいて移動体を検出するので、アピアランスを用いた手法のベースに見られるようなドリフト現象は発生しない。一方で対象同士が重なっている場合、前景として扱われる領域が、連結成分として結合してしまい、分離不可能になってしまうという問題（過結合）も見られる。
また、対象の一部分が隠れている場合など、対象領域が過剰に分割されて検出されてしまうという現象（過分割）も見受けられる。

対象同士の重なり、一部分の隠れによる過結合・過分割が発生すると、本来観察されるべき対象領域に欠損が生じるため、同一対象の入力画像間での対応付けが困難になる。測定欠損が続くと移動予測に失敗し、追跡精度が低下するという問題が見られる。
以上をまとめると、第１のアピアランスを用いた従来手法では、対象の見え方に依存した追跡手法なので、観察すべき対象の付近に類似の対象が存在する場合に類似の対象にマッチングするドリフト現象がが発生し、追跡精度が低下する。

また、スコア算出に部分領域の摂動が必要なため、計算コストが高い。
一方で、第２の背景モデルを用いた従来手法は画素変動に着目するため、ドリフト現象は発生しないが、対象同士の重なり、対象の部分遮蔽がある場合、すなわち、観察すべき対象に一部でも欠損が生じた場合に、対象領域の測定欠損が発生し、追跡精度が低下するという問題があった。

さらに、上記対象領域判定・追跡に関連して以下の従来技術がある。
従来、フレーム間差分処理を用いたときに、移動物体が静止、または移動量が小さい場合においても、常に、正確な追跡を実現する動画像処理装置の提供を行うため、動画像を入力する画像入力部と、入力した画像データを格納する画像格納部と、画像格納部に格納
されている時刻の異なる画像データに対して時間差分処理を行い、予め定められた閾値で二値化した二値時間差分画像を出力する画像間演算部と、１フレーム前に検出された動物体領域を現在の画像中で探索する動領域探索部と、二値時間差分画像から移動物体の存在している動物体領域を検出し出力する動領域整形部と、動領域整形部によって確定した動物体領域の結果と、動物体探索部によって探索された動物体領域の結果を統合して同一の移動物体領域を一つにまとめる動領域統合部と、を備えるものがある（例えば、特許文献３参照）。

しかしながら、上記特許文献３では、移動物体が静止、または移動量が小さい場合においても正確な追跡を実現するが、観察すべき対象の付近に類似の対象がある場合のドリフト現象、対象同士の重なり、対象の部分遮蔽がある場合の観察すべき対象の測定欠損の発生を防止するものではない。
また、従来、広範囲の種類の映像に適用でき、良好な操作性をもって効率的、高精度に移動物体の追跡を行い得る移動物体追跡装置を提供するため、入力映像中の複数のフレームを映像フレーム入力手段で順次取り込み、各フレームから移動物体のみを移動物体切り出し手段で切り出し、移動物体の映像に対して追跡パラメータ初期値設定手段で追跡枠、追跡枠の大きさ、探索範囲を含む追跡パラメータを設定し、複数のマッチング手段を段階的に適用して、追跡枠内の移動物体の映像データのマッチング度を算出し、マッチング度が最大になるように探索範囲内で追跡枠の位置を移動制御し、追跡枠内におけるマッチングが良く一致したものであるか否かを判定し、判定結果に基づきフレームの取り込み速度を制御するものもある（例えば、特許文献４参照）。

しかしながら、上記特許文献４では、移動体物体の追跡を行うものであるが、前述のように、観察すべき対象の付近に類似の対象がある場合のドリフト現象、対象同士の重なり、対象の部分遮蔽がある場合の観察すべき対象の測定欠損の発生を防止するものではない。
また、従来、背景画像を簡単な処理で獲得できる方法を提供するにあるため、移動物体を含む動画からサンプリングした画像を正方形で同一の大きさの小領域に切り分け、各小領域について直前にサンプリングした画像との相関値の計算を一定時間ごとにサンプリングされる画像に対して繰り返して、その値から直前の画像からの変化の有無を判定し、その時間推移から小領域に写っている画像が背景であるかどうかを判断することにより、背景画像を獲得することを特徴とするものもある（例えば、特許文献５参照）。

しかしながら、上記特許文献５では、背景画像を簡単な処理で獲得するものであるが、前述のように、観察すべき対象の付近に類似の対象がある場合のドリフト現象、対象同士の重なり、対象の部分遮蔽がある場合の観察すべき対象の測定欠損の発生を防止するものではない。
また、従来、人物領域の安定化蓄積処理を実行して、腕部や脚部の先端付近に相当する不安定な領域の検出を抑制し、安定な動きをする主要部に相当する領域だけを抽出し、該領域に対してフレーム間の対応付けを行うことによって、確実に人物追跡を行うことができるようにするため、撮影された画像をメモリに記憶し、前記画像から人物領域を抽出し、抽出された人物領域の安定化蓄積処理を実行し、安定化蓄積領域についてフレーム間の対応付け関係を判定する領域対応付け処理を実行するものもある（例えば、特許文献６参照）。

しかしながら、上記特許文献６では、人物追跡を行うものであるが、前述のように、観察すべき対象の付近に類似の対象がある場合のドリフト現象、対象同士の重なり、対象の部分遮蔽がある場合の観察すべき対象の測定欠損の発生を防止するものではない。
また、従来、単数の物体を含むテンプレートを追跡することによって、物体を個々に追跡することが可能である物体追跡装置、その制御方法、および画像認識システムを提供するため、最新画像を入力される最新画像記憶手段、上記最新フレーム画像記憶装置に入力された画像の直前の画像を記憶する直前画像記憶手段、動いている物体の存在する画像領域である動体領域を検出する動体検出手段、上記動体領域をテンプレートとして記憶するテンプレート登録手段、および上記テンプレート登録手段に記憶されたテンプレートを分割対象のテンプレートとして入力とし、上記分割対象のテンプレートに含まれる物体の個数を検出し、検出された物体の個数が複数の場合に、分割対象のテンプレートを検出された物体を含む画像領域毎に分割するテンプレート分割手段によって構成されるものもある（例えば、特許文献７参照）。

しかしながら、上記特許文献７では、単数の物体を含むテンプレートを追跡することによって、物体を個々に追跡するものであるが、前述のように、観察すべき対象の付近に類似の対象がある場合のドリフト現象、対象同士の重なり、対象の部分遮蔽がある場合の観察すべき対象の測定欠損の発生を防止するものではない。
また、従来、空間内の移動体位置を正確に特定するとともに、当該位置特定された移動体の時間経過に伴う移動情報を正確に取得できるようにするため、ステレオ基線に配置された２台の撮影装置により時刻同期をとって撮影した複数の時系列的なステレオ静止画像に基づき、各移動体が占める空間領域を特定し、当該ステレオ静止画像の背景画像に対する差分領域を抽出し、全画像領域に対する当該差分領域の面積率を算出し、当該面積率に基づいて移動体の混雑レベルを特定し、当該混雑レベルに応じた移動体テンプレートを上記特定した移動体の空間領域に割り当てて移動体を特定し、複数の時系列的なステレオ静止画像に基づいて移動体の動きを追跡し、同一移動体の移動体テンプレートに同じ色を付して各移動体の動きを記録し、当該色に基づいて移動体の移動情報を取得するものもある（例えば、特許文献８参照）。

しかしながら、上記特許文献８では、空間内の移動体位置を正確に特定するとともに、当該位置特定された移動体の時間経過に伴う移動情報を正確に取得できるものであるが、前述のように、観察すべき対象の付近に類似の対象がある場合のドリフト現象、対象同士の重なり、対象の部分遮蔽がある場合の観察すべき対象の測定欠損の発生を防止するものではない。

また、従来、撮像画像に基づいて、移動体を検出するため、追跡可能領域検出部は、撮像部により撮像された画像を複数の領域に区分し、各領域ごとに、移動体を追跡可能な追跡可能領域を検出し、局所領域追跡部は、異なるタイミングで撮像された２つの画像に基づいて、追跡可能領域を追跡し、移動領域検出部は、局所領域追跡部によって追跡可能領域を追跡中に、追跡可能領域に写っている物体が他の領域に写っている物体によって隠蔽されたと判断すると、隠蔽した領域が撮像画像上に現れた追跡開始位置と、画像上の消失点位置とに基づいて、追跡可能領域に写っている物体が移動体であるか否かを判定するものもある（例えば、特許文献９参照）。

しかしながら、上記特許文献９では、撮像画像に基づいて、移動体を検出するものであるが、前述のように、観察すべき対象の付近に類似の対象がある場合のドリフト現象、対象同士の重なり、対象の部分遮蔽がある場合の観察すべき対象の測定欠損の発生を防止するものではない。
また、従来、撮像画像上における同一物が写されている領域を判定するため、追跡可能領域検出部は、撮像部により撮像された画像を複数の領域に区分し、各領域ごとに、移動体を追跡可能な追跡可能領域を検出し、高さ比算出部は、追跡可能領域検出部により検出された異なる２つの追跡可能領域の撮像画像上のｙ座標の比を算出し、領域分類部は、高さ比算出部によって算出されたｙ座標の比の時間変化量が所定のしきい値以下の領域を同一物が写っている領域として検出するものもある（例えば、特許文献１０参照）。

しかしながら、上記特許文献１０では、移動体を追跡可能なものとするが、前述のように、観察すべき対象の付近に類似の対象がある場合のドリフト現象、対象同士の重なり、対象の部分遮蔽がある場合の観察すべき対象の測定欠損の発生を防止するものではない。
また、従来、処理負荷の軽い方法で動画像からの人などの移動対象の実時間追跡を実現すると共に、追跡を通して特徴を学習し、より精度の高い追跡を実現する追跡装置および追跡方法を提供するため、追跡装置は、入力された動画像データを部分画像（短冊状あるいは矩形状）に分割し、追跡対象の含まれていない背景画像と現在の画像とを比較することにより追跡対象が存在する分割画像を抽出し、また、追跡対象の識別を行うために色と形の特徴を一度に抽出できるカラー高次局所自己相関特徴データを算出し、登録されている追跡対象の特徴データとの距離に基づき識別を行い、更に背景画像や登録特徴データを直近のものに更新する。追跡対象を追跡しながら特徴を獲得し、その特徴を利用して対象を識別するので頑健で高精度な追跡を実現できるものもある（例えば、特許文献１１参照）。

しかしながら、上記特許文献１１では、動画像からの人などの移動対象の実時間追跡を実現するものであるが、前述のように、観察すべき対象の付近に類似の対象がある場合のドリフト現象、対象同士の重なり、対象の部分遮蔽がある場合の観察すべき対象の測定欠損の発生を防止するものではない。

特開２００２−３７３３３２号公報 特許第３８９２０５９号公報 特開２０００−０８２１４６号公報 特開２００１−１５５１６４号公報 特開２００２−１５０２９４号公報 特開２００３−３４６１５９号公報 特開２００４−０１３６１４号公報 特開２００５−２３５１０４号公報 特開２００６−０４８３３８号公報 特開２００６−０７９１８８号公報 特開２００６−１６３４５２号公報 Bo Wu and Ram Nevatia, Tracking ofMultiple, Partially, Occluded Humans based on Static Body Part detection, CVPR2006: Proceedings of the 2006 IEEE computer society Conference on ComputerVision and Pattern Recognition, 2006, pp 951-958

したがって、本発明は上記問題点に鑑みて、観察すべき対象の付近に類似の対象がある場合のドリフト現象、対象同士の重なり、対象の部分遮蔽がある場合の観察すべき対象の測定欠損の発生を防止することを可能とする対象領域判定・追跡装置、方法、プログラム及び対象領域判定装置を提供することを目的とする。

本発明は前記問題点を解決するために、ある領域内に存在する対象物と該対象物を含む対象領域を判定し追跡する対象領域判定・追跡装置において、対象物を含む領域を関心領域として取得する関心領域取得部と、ある対象物と該対象物を含む対象領域とを対応付けて記録する対象領域情報記録部と、前記対象領域情報記録部に記録されている対象物の対象領域の組合わせと配置を生成する配置生成部と、前記関心領域取得部で取得された関心領域の境界と、前記配置生成部で配置が生成された対象領域の境界とを重ねて共有境界での合致度を計算し、最大の合致度を含む上位の合致度の対象領域が関心領域に存在すると判定する領域合致計算部とを備えることを特徴とする対象領域判定・追跡装置を提供する。

さらに、前記関心領域取得部により取得される関心領域は対象領域の少なくとも一部を含む。
さらに、前記関心領域取得部により取得される関心領域は対象領域と少なくとも一部の境界を共有する。
さらに、前記対象領域情報記憶部は、対象物と部分対象領域を対応付けて記録すること。

さらに、前記対象領域情報記憶部は、対象物と対象領域を複数のタイミングの順番に対応付けて記録する。
さらに、前記配置生成部は、ある対象物に対して、部分の対象領域が複数ある場合、部分の対象領域を組み合わせて、全体の対象領域とする。
さらに、前記配置生成部では、可能性の少ない全体の対象領域となる部分の対象領域の組み合わせが予め除去される。

さらに、前記配置生成部は、前記対象領域情報記録部に複数のタイミングの順番で記録された対象物の対象領域を配置する場合、関心領域に存在すると過去の履歴を考慮して判定した対象領域を基に、今回判定すべき対象物の配置を選定する。
さらに、前記関心領域取得部により取得された関心領域は背景差分により算出された領域である。

さらに、前記対象領域情報記録部に記憶される対象領域は対象物を含む矩形である。
さらに、前記対象領域情報記録部に記憶される対象領域は対象物を含む輪郭である。
さらに、前記領域合致計算部は前記共有境界のスコアと対象領域の遷移スコアの重み和で合致度を計算する。
さらに、前記領域合致計算部は前記共有境界のスコアと関心領域と対象領域のアピアランスに基づくスコアの重み和で合致度を計算する。

さらに、前記領域合致計算部は前記共有境界のスコアと関心領域と対象領域の相関に基づくスコアの重み和で合致度を計算する。
さらに、前記領域合致計算部は前記共有境界のスコアと関心領域と対象領域の共有面積の大きさに基づくスコアの重み和で合致度を計算する。
さらに、前記領域合致計算部は前記共有境界のスコアと関心領域と対象領域間の重心の距離に基づくスコアの重み和で合致度を計算する。

さらに、前記領域合致計算部は関心領域に対象領域が存在すると判定する毎に対象領域の移動軌跡データを生成し対象領域の追跡を行う。
さらに、前記配置生成部は、前記領域合致計算部で関心領域に存在すると判定された対象領域の配置の時系列を基に対象領域の配置の生成を行う。
さらに、本発明は、ある領域内に存在する対象物と該対象物を含む対象領域を判定し追跡する対象領域判定・追跡方法において、対象物を含む領域を関心領域として取得する工程と、ある対象物と該対象物を含む対象領域とを対応付けて記録している対象物の対象領域の組合わせと配置を生成する工程と、取得された関心領域の境界と、配置が生成された対象領域の境界とを重ねて共有境界での合致度を計算し、最大の合致度を含む上位の合致度の対象領域が関心領域に存在すると判定する工程とを備えることを特徴とする対象領域判定・追跡方法を提供する。

さらに、本発明は、ある領域内に存在する対象物と該対象物を含む対象領域を判定し追跡する対象領域判定・追跡プログラムにおいて、対象物を含む領域を関心領域として取得する手順と、ある対象物と該対象物を含む対象領域とを対応付けて記録している対象物の対象領域の組合わせと配置を生成する手順と、取得された関心領域の境界と、配置が生成された対象領域の境界とを重ねて共有境界での合致度を計算し、最大の合致度を含む上位の合致度の対象領域が関心領域に存在すると判定する手順とを備えることを特徴とする対象領域判定・追跡プログラムを提供する。

さらに、本発明は、ある領域内に存在する対象物と該対象物を含む対象領域を判定する対象領域判定装置において、ある対象物と該対象物を含む対象領域とを対応付けて記録している対象物の対象領域を組合わせる対象領域組合せ部と、前記対象領域組合せ部により組合わされた対象領域の配置を生成する対象領域配置部と、対象物を含む領域を関心領域とし関心領域の境界と、前記対象領域配置部で配置が生成された対象領域の境界とを重ねて共有境界での合致度を計算し、最大の合致度を含む上位の合致度の対象領域が関心領域に存在すると判定する領域合致計算部とを備えることを特徴とする対象領域判定装置を提供する。

以上説明したように、本発明によれば、対象物を含む領域を関心領域として取得し、ある対象物と該対象物を含む対象領域とを対応付けて記録している対象物の対象領域の組合わせと配置を生成し、取得された関心領域の境界と、配置が生成された対象領域の境界とを重ねて共有境界での合致度を計算し、最大の合致度を含む上位の合致度の対象領域が関心領域に存在するようにしたので、観察すべき対象の付近に類似の対象がある場合のドリフト現象、対象同士の重なり、対象の部分遮蔽がある場合の観察すべき対象の測定欠損の発生を防止することを可能とする。

また、関心領域に含まれている対象領域の共有境界を複数タイミングの順番で把握することが可能になり、これにより対象物の移動軌跡データを高速かつ精度よく生成することが可能になる。
配置生成部の配置処理が高速になる。

以下、本発明の実施の形態について図面を参照して説明する。
図１は本発明に係る対象領域判定・追跡装置の論理構造を表す模式的なブロック図である。本図に示すように、対象領域判定・追跡装置１００は関心領域取得部１１０、対象領域情報記録部１２０、配置生成部１３０及び領域合致計算部１４０からなり、対象物とその対象領域を判定し、対象物を追跡するプログラムで動作する。

なお、対象物とは、例えば、人、車等であり、ある領域を自由に移動し、対象領域とは、その対象物を含む領域である。
ここに、関心領域取得部１１０は対象物を含む領域を関心領域として取得し、対象領域情報記録部１２０は対象物と対象領域とを対応付けて記録し、配置生成部１３０は関心領域取得部１１０から得られた関心領域に対して対象領域情報記録部１２０に記録されている対象物の対象領域の組み合わせと配置を生成し、領域合致計算部１４０は関心領域取得部１１０により取得された関心領域に対応した、複数の対象領域の配置データを配置生成部１３０より受け取り、関心領域とそれに対応する配置データのそれぞれに対して、合致度を計算し、関心領域にどのように対象領域が配置されるかを判定する。

まず、対象物、対象領域について、以下に詳細な説明を行う。
図２は対象物の対象領域例を示す模式図であり、図３は対象物の対象領域の矩形を示す模式図である。図２に示すように、対象領域４１０では、対象物としてある女性、対象領域４２０では、対象物としてある男性を示す。対象領域は前述したように対象物を含む領域であり、対象領域の境界は、図２に示すように、対象物の輪郭線であり、また、図３の対象領域５１０、対象領域５２０で示されるように対象物を囲む矩形であってもよい。

さらに、ある対象物を含むのであれば、以下のように、対象領域は複数あってもよい。
図４は対象物の対象領域の集合を示す模式図であり、図５は対象物の対象領域の矩形の集合を示す模式図である。例えば、図４に示されるように、ある対象物の部分の対象領域１０３０−１０８０であり、図５に示されるように、対象物の一部を含む矩形の対象領域１１３０−１１８０であってもよい。

以下に、関心領域取得部１１０が取得する関心領域について詳細に説明を行う。
図６は図１における関心領域取得部１１０に取得される関心領域の一例を示す模式図である。本図に示すように、関心領域取得部１１０が取得する関心領域８１０は、ある境界を持った領域であるが、その領域に対象物がどのような位置に配置されているか分からない領域である。

本図の関心領域８１０は２つ以上の対象領域が重なった対象領域であり、一方、単独の対象領域であってもよい。さらに、関心領域８１０は対象物全体の対象領域であり、一方、対象物の一部の対象領域でもよい。さらに、関心領域８１０は対象物全体の対象領域の境界であり、一方、対象物の一部の対象領域の境界であってもよい。
図７は図６の関心領域の矩形の一例を示す模式図である。本図に示すように、関心領域取得部１１０が取得する関心領域９１０はある対象物が含まれている対象領域の矩形であってもよい。

本図の関心領域９１０では関心領域８１０を含む矩形である。
より具体的には、この関心領域８１０、９１０は、ある領域をカメラで撮影し、得られた撮像を用いて、例えば、適応的背景差分モデルを用いて取得した、移動体のシルエット画像、移動体を囲む矩形などが考えられる。

結果として、関心領域８１０、９１０は、背景差分モデルを用いるので、従来技術のように、ドリフト現象は生じない。
図８は図１における対象領域情報記録部１２０の概略構成を示すブロック図である。本図に示すように、対象領域情報記録部１２０は部分対象領域情報記録部１２０Ａ及び時刻可変対象領域情報記録部１２０Ｂを有する。対象領域情報記録部１２０は対象物と対象領域を対応付けて記録し、部分対象領域情報記録部１２０Ａは対象物と部分対象領域を対応付けて記録し、時刻可変対象領域情報記録部１２０Ｂは対象物と該対象物を含む対象領域とを複数タイミングの順番に対応付けて記録する。

図９は対象領域情報記録部１２０、部分対象領域情報記録部１２０Ａに記録されているデータ構造例を示す模式図である。本図に示すように、対象領域情報記録部１２０には２人の対象物とそれに対応付けられた対象領域、一例として、項目タエコの列には、対象物タエコとその対象領域１０１０が、項目ヤスオの列には、対象物ヤスオとその対象領域１０２０が記録される。さらに、部分対象領域情報記録部１２０Ａには、本図に示すように、項目ノリオの列には、対象物ノリオとその部分対象領域１０３０−１０８０が、それぞれ対応付けて記録している。このように、対象物と対象領域は、必ずしも１対１対応でなくてもよく、項目ノリオの列のように、対応付けされた対象領域が複数あってもよい。

図１０は対象領域情報記録部１２０、部分対象領域情報記録部１２０Ａに記録されている別のデータ構造例を示す模式図である。本図に示すように、また、対象領域がその対象物を含む矩形であってもよく、図９と比較して、対象領域情報記録部１２０には２人の対象物とそれに対応付けられた対象領域、一例として、項目タエコの列には、対象物タエコとその対象領域１１１０が、項目ヤスオの列には、対象物ヤスオとその対象領域１１２０が記録されている。さらに、部分対象領域情報記録部１２０Ａには、本図に示すように、項目ノリオの列には、対象物ノリオとその部分対象領域１１３０−１１８０が、それぞれ対応付けて記録している。このように、対象物と対象領域は、必ずしも１対１対応でなくともよく、項目ノリオの例のように、対応付けされた対象領域が複数あってもよい。

図１１は時刻可変対象領域情報記録部１２０Ｂに記録されているデータ構造例を示す模式図である。本図に示すように、時刻可変対象領域情報記録部１２０Ｂは、項目ケンジの列には、異なる時刻１−時刻４における対象物の対象領域１２４０−１２１０を対象物とそれぞれ対応付けて記録してもよい。このように対象物が歩行者の場合、対象領域１２１０−１２４０へと対象領域の形が大きく異なる。対象物が非剛体である場合、対象領域の形が刻々と変わるので、時刻可変対象領域情報記録部１２０Ｂにおいて、異なる時刻における対象領域を記録することは有効である。

図１２は図１における配置生成部１３０の概略構成を示すブロック図である。本図に示すように、配置生成部１３０は対象領域組合せ部１３０Ａ及び対象領域配置部１３０Ｂを有する。
対象領域組合せ部１３０Ａは対象領域情報記録部１２０に記録されている対象物の対象領域、一例として、｛タエコ｝、｛ヤスオ｝、｛ノリオ｝を組み合わせ、関心領域取得部１１０から得られた関心領域８１０（図６参照）に存在する｛タエコ｝、｛ヤスオ｝、｛ノリオ｝、｛タエコ、ヤスオ｝、｛タエコ、ノリオ｝、｛ヤスオ、ノリオ｝、｛タエコ、ヤスオ、ノリオ｝の７通りを生成する。

図１３は図１２における対象領域配置部１３０Ｂの生成する配置の例を示した模式図である。本図に示すように、対象領域配置部１３０Ｂは、対象領域組合せ部１３０Ａによる組み合わせそれぞれに対して、対象物の対象領域をどの配置に置くかを決め、以下に、組み合わせ｛タエコ、ヤスオ｝に対する配置の例を説明する。
対象物ヤスオに対し対象物タエコを、上方配置１３３０、下方配置１３７０、左方配置１３１０、右方配置１３５０、左上方配置１３２０、右上方配置１３４０、左下方配置１３８０、右下方配置１３６０に配置する。

図１４は図１２における対象領域組合せ部１３０Ａの組み合わせた部分対象領域の例を示した模式図である。本図に示すように、ある対象物に対して、部分対象領域が複数ある場合、それらを組み合わせて、それを対象物と対応付けられた全体対象領域とするため、対象領域組合せ部１３０Ａにおける複数の部分対象領域の組み合わせ例を以下に説明する。

対象物ノリオへは、対象領域１０３０−１０８０（図９参照）の６つの対象領域が対応付けされている。これに対して対象領域組合せ部１３０Ａは、まず、対象領域１０３０−１０８０の６つの部分対象領域の組み合わせを考え、対象物ノリオに対応付けされる対象領域を複数生成する。部分対象領域の組み合わせによる全体対象領域の例が対象領域１４１０−１４４０等である。

図１５は図１２における対象領域配置部１３０Ｂの生成する配置の例を示した模式図である。本図に示すように、対象領域配置部１３０Ｂは図１４でそれぞれ組み合わされた全体対象領域を対象物の対象領域とし、一例として、組み合わせ｛タエコ、ノリオ｝の配置例を説明する。
対象領域配置部１３０Ｂは、対象物ノリオの任意の部分対象領域を組み合わせて生成された全体対象領域１４１０−１４４０のそれぞれに対して、組み合わせ｛タエコ、ノリオ｝に対する配置を生成する。

すなわち、対象領域１４１０−１４４０が生成される対象物ノリオの対象領域であり、それぞれに対して対象物タエコとの配置を生成する。なお、これらの配置の生成例は、図１３と比較して、対象物タエコに対し、対象物ヤスオの左方配置１６１０、左上方配置１６２０、上方配置１６３０のように配置されることが考えられる。なお、下方配置、右方配置、右上方配置、左下方配置、右下方配置についても同様に配置されるが、図示を省略する。

ある対象物に対して複数の部分対象領域が存在する場合、対象領域組合せ部１３０Ａが、図１４に示すように、部分対象領域の組み合わせから該対象物の全体対象領域を生成し、図１５に示すような配置例を生成する対象領域配置部１３０Ｂは、対象物が非剛体である場合、特に有効である。
対象物が非剛体である場合、ある時刻において対象領域情報記録部１２０に対象物と対応付けて記録している対象領域が、必ずしも、異なる時刻に取得された関心領域に存在する対象領域と一致しないため、これを部分対象領域と組み合わせることで、非剛体の異なる時刻による対象領域の変形に対応することが可能である。

例えば、図１４の全体対象領域１４１０は部分対象領域から生成された仁王立ちの姿勢であり、全体対象領域１４２０は左足を踏み出して歩き出した姿勢、全体対象領域１４３０は右足を踏み出して歩き出した姿勢である。
また、全体対象領域１４４０は下半身と顔が組み合わされたものであるが、このような顔、下半身が直接接合されている組み合わせは、対象物がヒトと分かっている場合、まずありえない組み合わせである。そのため、対象物の性質が考慮できる場合、こういった組み合わせを予め除去し、処理の高速化を行うことができる。

また、上記の実施の形態では、対象領域の境界として、対象物の輪郭線を用いたが、図３に示されるように、対象領域として対象物を含む矩形、対象物を含む閉曲線（例えばベジエ曲線）など、後述するように、共有境界のスコアを算出できるものであれば、任意の形で構わない。
なお、配置生成部１３０は、対象領域情報記録部１２０の情報を基に、とくに、図１１に示されるような複数のタイミングの順番で記録された対象物の対象領域を配置する場合、関心領域８１０に存在すると前回、前々回、…と過去の履歴を考慮して判定した対象領域の形、配置を参考にして、今回判定すべき対象物の存在、配置を予測し、対象領域の配置を選定することが可能である。これにより配置生成部１３０の配置処理が高速になる。

さらに、対象領域の配置の選定例を説明する。
図１６は配置生成部１３０の生成する予測を用いた対象領域の配置の例を示した模式図である。本図に示すように、ある短い時間間隔の順番、時刻１−３において、時刻１、時刻２で、対象物タエコと対象物ヤスオが並木道を寄り添って歩いていたと分かっている対象領域の配置２３１０を行っていた場合、時刻３において、対象物の存在が突然代わり、対象物ヤスオに代わって対象物ノリオが発生する対象領域の配置２３２０の配置の可能性、対象物の配置が、突然代わり、対象物ヤスオの配置と対象物タエコの配置が入れ替わる対象領域の配置２３３０の配置の可能性も低い。

そのため、配置生成部１３０は後述する領域合致計算部１４０の処理に基づき時刻１、時刻２の配置から時刻３の配置の候補を絞る。すなわち、配置生成部１３０では、時刻３の配置の発生確率を算出し、可能性の低い対象領域の配置２３２０、２３３０を除去し、配置の候補を絞り、対象領域の配置２３１０を選定することが可能である。これにより、配置生成部１３０の配置の生成処理が高速になる。

以下に、領域合致計算部１４０について、例を用いて、詳細に説明を行う。
まず、関心領域取得部１１０により取得された図６の関心領域８１０で示される関心領域に対して、配置生成部１３０は配置データとして図１３の対象領域の配置１３１０−１３８０を生成する。領域合致計算部１４０はこれらの配置データを配置生成部１３０より受け取る。

領域合致計算部１４０は関心領域８１０と、それに対応する配置データのそれぞれに対して、合致度を計算し、関心領域８１０にどのように対象領域が配置されるべきかを判定する。
図６の関心領域８１０と図１３の配置データである対象領域の配置１３１０−１３８０を用いて合致度の計算例を以下に説明する。合致度は、関心領域と配置が生成された対象領域との共有境界スコアに基づく。

領域合致計算部１４０による境界スコアの算出式は以下のとおりである。
本式に示すように、共有境界スコアの計算には、関心領域と、配置対象領域の論理積の和を計算する。ここで、Ｐ［ｉ］はある対象領域Ｐに含まれる点を表す。

Ｂｏｕｎｄａｒｙ関数は、ある対象領域Ｒ［ｉ］の点を入力として、その点が対象領域の境界にある場合は、「１」を、そうでない場合は、「０」を返す関数とする。
したがって、Ｓｃｏｒｅ（Ｐ，Ｑ）は、ある対象領域Ｐ，Ｑの対象領域の重なりの度合いを計算する式となる。以下に対象領域の配置の共有境界のスコアを説明する。
図１７は領域合致計算部１４０による境界スコアの算出例を示した模式図である。本図に示すように、領域合致計算部１４０は関心領域８１０の関心領域境界１８１０を点線で示されるように抽出する。

次に、領域合致計算部１４０は、配置生成部１３０によって生成された対象領域の配置に基づく対象領域境界１８２０を抽出する。
領域合致計算部１４０は抽出された点線の関心領域境界１８１０と抽出された対象領域境界１８２０を重ねて共有境界１８３０を形成する。
共有境界１８３０での共有境界スコアは、演算子１８４０を用いて、計算される。ここで、演算子１８４０は上記算出式で表される。共有境界１８３０では関心領域境界１８１０と対象領域境界１８２０が良く一致しているので、結果の共有境界スコアは「９８」と高いスコアになる。

図１８は領域合致計算部１４０による境界スコアの算出例を示した模式図である。本図に示すように、図１５と比較して、領域合致計算部１４０は、配置生成部１３０によって生成された配置に基づく対象領域境界１９２０を抽出したとする。
領域合致計算部１４０は抽出された点線の関心領域境界１８１０と抽出された対象領域１９２０の境界を重ねて共有境界１９３０を形成する。

共有境界１９３０の共有境界スコアは、演算子１８４０を用いて、計算される。共有境界１９３０では関心領域境界１８１０と対象領域１９２０が良く一致していない。したがって、結果の共有境界スコアは「４７」と低いスコアとなる。
このような共有境界スコアの算出を、配置生成部１３０が生成した配置の対象領域それぞれに対して行い、算出された共有境界スコアを合致度とし、対象領域の配置の中で、最大の合致度を含む上位の合致度の対象領域が、関心領域に存在する対象領域と判定する。

さらに、従来のように対象同士が重なっても、関心領域に存在する対象領域の判定ができれば観測すべき対象である組み合わせの対象領域は明確であり、測定欠損は生じない。
さらに、従来のように対象の部分遮蔽があっても、関心領域に存在する対象領域の判定ができれば観測すべき対象である組み合わせの対象領域が明確であり、測定欠損は生じない。

図１９は図１における領域合致計算部１４０の一連の動作を説明するフローチャートである。本図に示すように、ステップＳ２０１において、領域合致計算部１４０では、関心領域８１０と左方配置１３１０の対象領域との共有境界スコア３１０を算出する。
ステップＳ２０２において、関心領域８１０と左上方配置１３２０の共有境界スコア３１０を算出する。
…
ステップＳ２０３において、関心領域８１０と左下方配置１３８０の対象領域との共有境界スコア３８０を算出する。

ステップＳ２０４において、共有境界スコア３１０−３８０のうち最大となる右方配置１３５０の対象領域を関心領域８１０に存在する対象領域と判定する。
なお、領域合致計算部１４０では共有境界スコアの合致度の算出で関心領域８１０に対象領域の配置が存在すると判定する毎に、該当する対象領域の配置に対して時系列の遷移を保存し、配置生成部１３０の配置生成処理、領域合致計算部１４０の追跡処理に資する。

すなわち、配置生成部１３０では、領域合致計算部１４０から関心領域８１０に存在すると判定された対象領域の配置の時系列の遷移情報により、前述したように、可能性の低い対象領域の配置を除去し、対象領域の配置の生成を行うことが可能になる。
さらに、図１の領域合致計算部１４０に追跡部１４０Ａ（図示しない）を設け、追跡部１４０Ａは関心領域に存在すると判定した対象領域の配置の時系列の遷移情報を基に、複数のタイミングの順番に対応付けて、判定した対象領域の配置について移動軌跡データを生成し追跡を行う。

なお、追跡部１４０Ａは判定した対象領域の配置について追跡を行う時には、関心領域８１０に存在する対象領域の配置に変化がある場合には、対象領域の配置のみの変化であるか、又は、対象領域の組み合わせの変化に伴う対象領域の配置の変化であるかを判断する。
追跡部１４０Ａは対象領域の配置のみの変化の場合には追跡する対象領域は同一であると判断し、対象領域の組み合わせの変化を伴う場合には追跡する対象領域が異なったと判断する。

また、領域合致計算部１４０は、関心領域８１０に存在する対象領域が存在しないと判定した場合には、追跡部１４０は追跡失敗と判断する。
図２０は図１における対象領域判定・追跡装置の一連の動作を説明するフローチャートである。本図に示すように、ステップＳ２１１において、関心領域取得部１１０では関心領域８１０又は９１０を取得する。

ステップＳ２１２において、対象領域情報記録部１２０に記録されている対象領域を組み合わせる。
ステップＳ２１３において、配置生成部１３０では対象領域情報記録部１２０に記録されている対象領域に部分対象領域を含むか否かを判断し含まない場合にはステップＳ２１５に進む。

ステップＳ２１４において、配置生成部１３０では、部分対象領域を含む場合には部分対象領域を完全対象領域の組み合わせを追加する。
ステップＳ２１５において、配置生成部１３０では対象領域情報記録部１２０に時間可変対象領域を含むか否かを判断し、含まない場合にはステップＳ２１７に進む。
ステップＳ２１６において、配置生成部１３０では時間可変対象領域を含む場合には時間可変対象領域の組み合わせを追加する。

ステップＳ２１７において、配置生成部１３０では組み合わされた対象領域の配置を生成する。
ステップＳ２１８において、領域合致計算部１４０では取得された関心領域８１０又は９１０と生成された配置の対象領域との共有境界スコアをそれぞれ算出し、最大となる供給境界スコアの対象領域を関心領域８１０又は９１０に存在する対象領域と判定する。

したがって、本発明によれば、対象物の存在、位置が不明な関心領域に対して、対象物と対応付けて記録している対象領域との共有境界に基づく合致度を計算することにより、関心領域に存在する対象物とその対象領域を判定するので、観察すべき対象の付近に類似の対象がある場合のドリフト現象、対象同士の重なり、対象の部分遮蔽がある場合の観察すべき対象の測定欠損の発生を防止することを可能とする。また、関心領域に含まれている対象領域の共有境界を複数タイミングの順番で把握することが可能になり、これにより対象物の移動軌跡データを高速かつ精度よく生成することが可能になる。

次に合致度のスコア算出のバリエーションを説明する。合致度のスコア算出には前述した共有境界スコアＳｃｏｒｅ（Ｐ，Ｑ）だけでなく、対象領域の遷移スコアＳ１、関心領域と対象領域のアピアランスに基づくスコアＳ２、関心領域と対象領域の相関に基づくスコアＳ３、関心領域と対象領域の共有面積の大きさに基づくスコアＳ４、関心領域と対象領域間の重心の距離に基づくスコアＳ５を算出し、共有境界スコアＳｃｏｒｅ（Ｐ，Ｑ）とそれらの重み付きの和を以下のように取るなどして計算してもよい。

ＳＳ１＝Ａ＊Ｓｃｏｒｅ（Ｐ，Ｑ）＋Ｂ＊Ｓ１
ＳＳ２＝Ａ＊Ｓｃｏｒｅ（Ｐ，Ｑ）＋Ｂ＊Ｓ２
ＳＳ３＝Ａ＊Ｓｃｏｒｅ（Ｐ，Ｑ）＋Ｂ＊Ｓ３
ＳＳ４＝Ａ＊Ｓｃｏｒｅ（Ｐ，Ｑ）＋Ｂ＊Ｓ４
ＳＳ５＝Ａ＊Ｓｃｏｒｅ（Ｐ，Ｑ）＋Ｂ＊Ｓ５
ここに、Ａ，Ｂは重み係数であり、Ａ＋Ｂ＝１である。

領域合致計算部１４０は状況に応じて上記式の１を選択して合致度のスコアを算出するようにしてもよい。
以下に対象領域の遷移スコアの例について説明を行う。他のスコア算出は従来技術であるので説明を省略

図２１は対象領域と関心領域の遷移を示した模式図であり、図２２は関心領域内の対象領域の構成を示した模式図であり、図２３は遷移スコアを表した模式図である。
まず、図２１に示す関心領域９１０は矩形であり、その関心領域９１０に存在する少なくとも１つの矩形の対象領域は、境界を共有するものとする。
図２１に示すように、ある時刻ｔにおいて、点線で示される関心領域９１０と、関心領域９１０内に存在する２つの対象領域３０１０、３０２０が、それぞれ実線と２重線で表されているとする。

このとき、時刻ｔ＋１の関心領域９１０が関心領域取得部１１０により点線で表されるように取得されたとする。
この時点では、関心領域９１０内にどのように対象領域が存在するか不明である。配置生成部１３０は対象領域情報記録部１２０からの対象領域情報を基に配置データを生成する。

領域合致計算部１４０は、時刻ｔから時刻ｔ＋１への遷移スコアも考慮にいれての合致度を算出する。
領域合致計算部１４０は、時刻ｔにおける関心領域９１０に存在する対象領域を把握しているので、例えば、図２１において、ある関心領域９１０を構成し、配置が生成された対象領域が２つの対象領域からなると把握している。

図２１において、関心領域９１０とその関心領域９１０に存在する少なくとも１つの対象領域は、境界を共有するという前提がある場合、関心領域９１０内の対象領域の構成の仕方は、図２２に示されるように高々１６通りしかない。
時刻ｔにおける関心領域９１０に存在する２つの対象領域は、図２２の要素（（２）、ｃ）の配置２１１０に示されるように、関心領域９１０の上辺、右辺が、対象領域３０２０によって共有されており、関心領域９１０の左辺と下辺が対象領域３０１０に共有されている。

ある短い時間間隔後の時刻ｔ＋１において、図２２の配置２１１０からの遷移を考えると、要素（（３）、ｂ）の配置２１２０に示されるように、関心領域９１０の辺を共有している対象領域が入れ替わって移動する可能性は低い。さらに、対象物が人であること、移動速度・方向、重なり方等を考慮に入れると配置２１１０からの遷移スコアは、例えば、図２３のようになる。

図２３では、移動速度と位置関係から図２１の対象領域３０２０が対象領域３０１０を背後から追い抜くことを想定した対象領域の遷移スコアとなっている。例えば、配置２１１０が要素（（２）、ｃ）を維持する遷移スコアは「１０」とすると、配置２１１０が要素（（３）、ｂ）に遷移する遷移スコアは「７」となる。
このような対象領域の共有境界のスコア、対象領域の遷移スコアを計算し、それらの重み付き和を合致度とする。これにより対象物の移動軌跡データをより高速かつ精度よく生成することが可能になる。

本発明は撮像、レンジファインダによる対象物の対象領域判定・追跡装置の用途に適用可能であり、さらに、対象物の追跡装置にも適用できる。

本発明に係る対象領域判定・追跡装置の論理構造を表す模式的なブロック図である。 対象物の対象領域例を示す模式図である。 対象物の対象領域の矩形を示す模式図である。 対象物の対象領域の集合を示す模式図である。 対象物の対象領域の矩形の集合を示す模式図である。 図１における関心領域取得部１１０に取得される関心領域の一例を示す模式図である。 図６の関心領域の矩形の一例を示す模式図である。 図１における対象領域情報記録部１２０の概略構成を示すブロック図である。 対象領域情報記録部１２０、部分対象領域情報記録部１２０Ａに記録されているデータ構造例を示す模式図である。 対象領域情報記録部１２０、部分対象領域情報記録部１２０Ａに記録されている別のデータ構造例を示す模式図である。 時刻可変対象領域情報記録部１２０Ｂに記録されているデータ構造例を示す模式図である。 図１における配置生成部１３０の概略構成を示すブロック図である。 図１２における対象領域配置部１３０Ｂの生成する配置の例を示した模式図である。 図１２における対象領域組合せ部１３０Ａの組み合わせた部分対象領域の例を示した模式図である。 図１２における対象領域配置部１３０Ｂの生成する配置の例を示した模式図である。 配置生成部１３０の生成する予測を用いた配置の例を示した模式図である。 領域合致計算部１４０による境界スコアの算出例を示した模式図である。 領域合致計算部１４０による境界スコアの算出例を示した模式図である。 図１における領域合致計算部１４０の一連の動作を説明するフローチャートである。 図２０は図１における対象領域判定・追跡装置の一連の動作を説明するフローチャートである。 図２１は対象領域と関心領域の遷移を示した模式図である。 関心領域内の対象領域の構成を示した模式図である。 遷移スコアを表した模式図である。 従来のアピアランスを用いた追跡手法によるテンプレートマッチングの成功例を表す画像を示す図である。 従来のアピアランスを用いた追跡手法によるテンプレートマッチングの失敗例を表す画像を示す図である。

符号の説明

１００…対象領域判定・追跡装置
１１０…関心領域取得部
１２０…対象領域情報記録部
１２０Ａ…部分対象領域情報記録部
１２０Ｂ…及び時刻可変対象領域記録部
１３０…配置生成部
１３０Ａ…対象領域組合せ部
１３０Ｂ…対象領域配置部
１４０…領域合致計算部
１８０…基本図形の枠
１９０…類似度の高い探索領域の枠
４１０、４２０…対象領域
５１０、５２０…対象領域
８１０、９１０…関心領域
１０１０、１０２０…対象領域
１１１０、１１２０…対象領域
１０３０−１０８０…部分の対象領域
１１３０−１１８０…部分の対象領域
１２１０−１２４０…対象領域
１３１０…左方配置
１３２０…左上方配置
１３３０…上方配置
１３４０…右上配置
１３５０…右方配置
１３６０…右下方配置
１３７０…下方配置
１３８０…左下方配置
１４１０−１４４０…全体の対象領域
１６１０…左方配置
１６２０…左上方配置
１６３０…上方配置
１８１０…関心領域境界
１８２０…対象領域境界
１８３０、１９３０…共有境界
１８４０…演算子
２１１０、２１２０、２２１０…要素の配置
２３１０−２３３０…対象領域の配置
３０１０、３０２０…対象領域

Claims (21)

1. ある領域内に存在する対象物と該対象物を含む対象領域を判定し追跡する対象領域判定・追跡装置において、
   対象物を含む領域を関心領域として取得する関心領域取得部と、
   ある対象物と該対象物を含む対象領域とを対応付けて記録する対象領域情報記録部と、
   前記対象領域情報記録部に記録されている対象物の対象領域の組合わせと配置を生成する配置生成部と、
   前記関心領域取得部で取得された関心領域の境界と、前記配置生成部で配置が生成された対象領域の境界とを重ねて共有境界での合致度を計算し、最大の合致度を含む上位の合致度の対象領域が関心領域に存在すると判定する領域合致計算部とを備えることを特徴とする対象領域判定・追跡装置。
2. 前記関心領域取得部により取得される関心領域は対象領域の少なくとも一部を含むことを特徴とする、請求項１に記載の対象領域判定・追跡装置。
3. 前記関心領域取得部により取得される関心領域は対象領域と少なくとも一部の境界を共有することを特徴とする、請求項１に記載の対象領域判定・追跡装置。
4. 前記対象領域情報記憶部は、対象物と部分対象領域を対応付けて記録することを特徴とする、請求項１に記載の対象領域判定・追跡装置。
5. 前記対象領域情報記憶部は、対象物と対象領域を複数のタイミングの順番に対応付けて記録することを特徴とする、請求項１に記載の対象領域判定・追跡装置。
6. 前記配置生成部は、ある対象物に対して、部分の対象領域が複数ある場合、部分の対象領域を組み合わせて、全体の対象領域とすることを特徴とする、請求項１に記載の対象領域判定・追跡装置。
7. 前記配置生成部では、可能性の少ない全体の対象領域となる部分の対象領域の組み合わせが予め除去されることを特徴とする、請求項６に記載の対象領域判定・追跡装置。
8. 前記配置生成部は、前記対象領域情報記録部に複数のタイミングの順番で記録された対象物の対象領域を配置する場合、関心領域に存在すると過去の履歴を考慮して判定した対象領域を基に、今回判定すべき対象物の配置を選定することを特徴とする、請求項１に記載の対象領域判定・追跡装置。
9. 前記関心領域取得部により取得された関心領域は背景差分により算出された領域であることを特徴とする、請求項１に記載の対象領域判定・追跡装置。
10. 前記対象領域情報記録部に記憶される対象領域は対象物を含む矩形であることを特徴とする、請求項１に記載の対象領域判定・追跡装置。
11. 前記対象領域情報記録部に記憶される対象領域は対象物を含む輪郭であることを特徴とする、請求項１に記載の対象領域判定・追跡装置。
12. 前記領域合致計算部は前記共有境界のスコアと対象領域の遷移スコアの重み和で合致度を計算することを特徴とする、請求項１に記載の対象領域判定・追跡装置。
13. 前記領域合致計算部は前記共有境界のスコアと関心領域と対象領域のアピアランスに基づくスコアの重み和で合致度を計算することを特徴とする、請求項１に記載の対象領域判定・追跡装置。
14. 前記領域合致計算部は前記共有境界のスコアと関心領域と対象領域の相関に基づくスコアの重み和で合致度を計算することを特徴とする、請求項１に記載の対象領域判定・追跡装置。
15. 前記領域合致計算部は前記共有境界のスコアと関心領域と対象領域の共有面積の大きさに基づくスコアの重み和で合致度を計算することを特徴とする、請求項１に記載の対象領域判定・追跡装置。
16. 前記領域合致計算部は前記共有境界のスコアと関心領域と対象領域間の重心の距離に基づくスコアの重み和で合致度を計算することを特徴とする、請求項１に記載の対象領域判定・追跡装置。
17. 前記領域合致計算部は関心領域に対象領域が存在すると判定する毎に対象領域の移動軌跡データを生成し対象領域の追跡を行うことを特徴とする、請求項１に記載の対象領域判定・追跡装置。
18. 前記配置生成部は、前記領域合致計算部で関心領域に存在すると判定された対象領域の配置の時系列を基に対象領域の配置の生成を行うことを特徴とする、請求項１に記載の対象領域判定・追跡装置。
19. ある領域内に存在する対象物と該対象物を含む対象領域を判定し追跡する対象領域判定・追跡方法において、
    対象物を含む領域を関心領域として取得する工程と、
    ある対象物と該対象物を含む対象領域とを対応付けて記録している対象物の対象領域の組合わせと配置を生成する工程と、
    取得された関心領域の境界と、配置が生成された対象領域の境界とを重ねて共有境界での合致度を計算し、最大の合致度を含む上位の合致度の対象領域が関心領域に存在すると判定する工程とを備えることを特徴とする対象領域判定・追跡方法。
20. ある領域内に存在する対象物と該対象物を含む対象領域を判定し追跡する対象領域判定・追跡プログラムにおいて、
    対象物を含む領域を関心領域として取得する手順と、
    ある対象物と該対象物を含む対象領域とを対応付けて記録している対象物の対象領域の組合わせと配置を生成する手順と、
    取得された関心領域の境界と、配置が生成された対象領域の境界とを重ねて共有境界での合致度を計算し、最大の合致度を含む上位の合致度の対象領域が関心領域に存在すると判定する手順とを備えることを特徴とする対象領域判定・追跡プログラム。
21. ある領域内に存在する対象物と該対象物を含む対象領域を判定する対象領域判定装置において、
    ある対象物と該対象物を含む対象領域とを対応付けて記録している対象物の対象領域を組合わせる対象領域組合せ部と、
    前記対象領域組合せ部により組合わされた対象領域の配置を生成する対象領域配置部と、
    対象物を含む領域を関心領域とし関心領域の境界と、前記対象領域配置部で配置が生成された対象領域の境界とを重ねて共有境界での合致度を計算し、最大の合致度を含む上位の合致度の対象領域が関心領域に存在すると判定する領域合致計算部とを備えることを特徴とする対象領域判定装置。