JP2010068466A - 移動体追跡装置及び移動体追跡方法 - Google Patents

Abstract

【課題】従来の移動追跡装置では、監視カメラシステムが数百台以上であって、監視カメラの領域から移動体が消失した場合、現実的な時間内にて全ての監視カメラの探索を終えることは困難であった。
【解決手段】本発明の移動追跡装置では、特徴抽出部３は移動観測部２から送信された移動体に対する管理IDの追跡を実施するとともに、追跡中の移動体の一部に、グローバルIDを付与するとともに、追跡中の移動体と対応づけて保持する。移動体管理部４は、特徴抽出部３から送信された消失情報及び当該移動体の特徴量データに基づき、消失した移動体と同一の移動体であると判断される移動体につき、移動体観測部２のいずれから探索して決定する。以上より、計算コストを抑えつつ、移動体の移動速度を反映した探索方法を実施し、取りこぼしが少ない移動体の探索を行うことができる。
【選択図】 図１

Description

本発明は、多数の監視カメラが結合された監視システムであって、複数の監視カメラ間での人物を追跡する移動体追跡装置に関するものである。

安心安全意識の高まりによって、大規模な監視カメラシステムの需要が高まりつつある。監視カメラシステムに求められている機能の一つには、不審者又は怪我人・急病者等の人物を追跡することがある。

従来、単一カメラ内での人物追跡には、ステレオ画像処理による物体検出による方法や背景差分による動領域検出による方法やパーティフィルタによる高密度領域探索による方法がある。これら方法により、単一カメラ内での人物追跡は一定の成果を挙げている。一方、監視領域が非連結なカメラ間での人物追跡技術には、色彩情報を用いて同定を行う技術が散見される(例えば、特許文献１参照)。
特開２００７−１１６９６号

しかしながら、多カメラ内での人物追跡には、一般化している方法は存在しない。その主な原因として、第一には多カメラ環境においては、システム全体での人物の一意性を管理する方法が存在しないことが挙げられる。

単一のカメラ内での人物の追跡は、同一性を保つことが可能である。その上で２つのカメラ間の追跡であれば、両カメラ間の人物を対応づけて記録すれば十分である。しかし現実的なシステムでは３個以上のカメラの間での移動履歴を保存する必要があるが、カメラ内の一意性しかないシステムでは、当該人物が過去にどのような移動履歴を持つのかを遡ることができない。

また、第２の原因としては、類似度計算を行う対象が存在する監視カメラを決定することが困難であることがある。特定人物を特定する手段として、移動体間の類似度計算を行うのが一般的であり、その際、判断対象の移動体を選び出す前提として、対象となる監視カメラを選び出す必要がある。

ここで、監視カメラの領域から移動体が消失した場合、小規模の施設に導入されているシステムであれば、全ての監視カメラを探索の対象とすればよいが、現在運用されている監視カメラシステムの場合では数百台以上の場合があり、現実的な時間内にて全ての監視カメラの探索を終えることは困難であり、効率的な探索方法が必要となっている。

本発明は、第１の課題を解決するために、移動体観測部にて観測している移動体の管理IDを時間経過順に保存して、移動体観測部間の移動履歴を管理することで、移動体の移動速度を反映した探索方法を実行でき、取りこぼしが少ない移動体の探索が可能である移動体追跡装置を提供することを目的とする。

さらに、本発明は、第２の課題を解決するために、入力された移動体観測部間のトポロジグラフに基づき、移動体が消失した移動体観測部から他の移動体観測部に対する最短距離を算出するとともに、時間経過とともに平滑化する重み分布を用いて探索する移動体監視部を決定することにより、計算コストを抑えつつ、移動体の移動速度を反映した探索方法を実行でき、取りこぼしが少ない移動体の探索を行うことができる移動体追跡装置を提供することを目的とする。

上記目的を達成するために、本発明の移動体追跡装置は、「移動体の画像を受信し、かつ前記移動体を特定するとともに、前記特定された移動体に対して、監視可能な範囲内にて有効である管理ＩＤを付与する複数の移動体観測部と、前記移動体観測部から送信された画像に基づき、移動体の特徴量データを収集するとともに、前記移動体に付与された前記管理IDを追跡し、前記追跡中の移動体が監視可能である範囲内から離脱した場合に消失情報を送信し、かつ前記消失した移動体に関する前記複数の移動体観測部のいずれにて有効であるグローバルＩＤを付与して前記管理ＩＤを対応づける特徴抽出部と、前記特徴抽出部から送信された前記追跡中の移動体の消失情報及び前記追跡中の移動体の特徴量データに基づき、前記追跡中の前記移動体と同一の移動体であると判断される移動体を探索して決定するととともに、決定した移動体について前記特徴抽出部にて対応づけられたグローバルID及び管理ＩＤを保存する移動体管理部と、前記移動体管理部から送信された前記追跡中の前記移動体と同一の移動体と対応づけられた移動体のグローバルＩＤ及び管理ＩＤを表示する監視状況表示部と、を具備する」ことを特徴としている。

また、本発明の移動体追跡方法は、「移動体の画像を受信し、かつ前記移動体を特定するとともに、前記特定された移動体に対して、監視可能である範囲内にて有効である管理ＩＤを付与する工程と、送信された画像に基づき、移動体の特徴量データを収集するとともに、前記移動体に付与された前記管理IDを追跡し、前記追跡中の移動体が監視可能である範囲内から離脱した場合に消失情報を送信し、かつ前記消失した移動体に対していずれにて有効であるグローバルＩＤと前記管理ＩＤを対応づける工程と、前記追跡中の移動体の消失情報及び前記追跡中の移動体の特徴量データに基づき、前記追跡中の前記移動体と同一の移動体であると判断される移動体を探索して決定するととともに、決定した移動体のグローバルIDを付与して管理ＩＤを対応付けて保存する工程と、前記追跡中の前記移動体と同一の移動体と対応づけられた移動体のグローバルＩＤ及び管理ＩＤを表示する工程と、を具備する」ことを特徴としている。

本発明によれば、計算コストを抑えつつ、移動体の移動速度を反映した探索方法を実行でき、取りこぼしが少ない移動体の探索を行うことができる。

本発明の実施形態に係る移動体追跡装置の概要について、以下の図面を参照しながら詳細に説明する。

本発明の実施形態に係る移動体追跡装置の一実施態様は図１に示すとおりのものである。

図１に示すように、移動体追跡装置１は、１〜N個の移動体観測部２、１〜N個の特徴抽出部３、移動体管理部４、監視状況表示部５を備えている。

移動観測部２は、ビデオカメラ・レーザ測量器等の移動物体を追跡することが可能なセンサーを備えている。ここで、移動体観測部２は、当該画面内の移動体の追跡を行うことが可能であり、ビデオカメラであればステレオ処理・背景差分等の画像処理により実施可能である。

図２を参照して、移動観測部２の移動体の追跡手段を説明する。

図２に示すように、移動観測部２は、画像データを受信した後、２台のカメラ映像をキャプチャする画像キャプチャ処理を行う(Ｓ１)。その後、移動観測部２は、撮像範囲の３次元情報（x,y,z）を複数枚の画像から獲得する３次元情報獲得処理を行う(Ｓ２)。さらに、移動観測部２は、３次元情報（x,y,z）の分布状態を解析し、人間の固まりを抽出する人間抽出処理を行う(Ｓ３)。具体的には、３次元情報（x,y,z）から人間形状に近い固まりを抽出する。最後に、移動観測部２は、２次元画像と３次元情報などの特徴量を用いて、時系列のマッチングを行い、歩行者位置を決定する人間追跡処理を行う(Ｓ４)。具体的には、時刻Ｔ０と時刻Ｔ１の画像から抽出された人間間でマッチングを行い、相関度の高い組合せを同一人物とみなす処理を行う。この処理によって、移動体座標が演算される。

さらに、移動観測部２は、監視対象範囲内の移動体に対し、管理IDを発行し、移動体を特定している。ここで、管理IDとは、１つの移動体観測部２の監視対象範囲内での同一性を保持するものであって、別の移動体観測部２が担当する監視範囲では有効ではないものとする。

図３を参照して、移動観測部２内の管理ＩＤの内容を説明する。図３に示すように、移動観測部２は、追跡対象の管理ＩＤ(Cid)及び静止画を保持している。例えば、管理ＩＤがＣｉ１の場合には、サラリーマンの男性の画像が保持されている。

ここで、移動観測部２は、観測された画像データ及び管理ＩＤを関連づけて特徴抽出部３に出力する。

特徴抽出部３は、移動体観測部２ごとに存在するものであり、移動観測部２から送信された監視対象範囲内の移動体に対する管理ID(Cid)の追跡を実施する。また、特徴抽出部３は、一定時間ごとに、追跡中の移動体の特徴量のデータを収集する。

また特徴抽出部３は、追跡中の移動体の一部に、グローバルID(Gid)を付与するとともに、追跡中の移動体と対応づけて保持している。ここで、グローバルIDとは、前述した管理ＩＤとは異なり、移動体観測部２のいずれでも有効であるIDであって、異なった移動体観測部２においても同一性を保持するものである。このグローバルIDは、移動体管理部４で管理されており、ある移動体の同一性の保持や、ある移動体の履歴管理が実施される。

ここで、図４を参照して、特徴抽出部３における追跡対象の移動体が自由歩行者の場合の例を説明する。

図４に示すように、特徴抽出部３は、図４に示すように，監視範囲内の追跡中の移動体の管理ＩＤ(Cid)及びグローバルID(Cid)を関連付けて保持している。例えば、管理ＩＤがＣｉｄ０１であって、グローバルＩＤがＧｉｄ００２である場合は、サラリーマンの男性の画像が関連付けられている。

追跡中である移動体が移動体監視部２の監視範囲から離脱した場合、特徴抽出部３は、その消失情報を当該移動体の特徴量のデータとともに、移動体管理部４に送信する。

ここで、図５を参照して、移動体管理部４について、以下、詳細に説明する。

図５に示すように、移動体管理部４は、認証実行部６、グローバルＩＤ記憶部７、探索対象決定部８、配置トポロジー記憶部９を備えている。

認証実行部６は、特徴抽出部３から送信された移動体の消失情報及び当該移動体の特徴量のデータに基づき、所定の特徴量を用いて、消失した移動体と同一の移動体であると判断される移動体を、移動体観測部２全体から探索して決定する。ここで、消失した移動体と同一の移動体であるかどうかの判断には、判断対象の移動体の特徴量との類似度計算を実行し、計算した類似度が一定の条件を満たす場合に同一の移動体であると認めることとなる。消失した移動体と同一の移動体であると認められた場合には、判断対象の移動体が存在する特徴抽出部３に対して、判断対象の移動体に消失した移動体のグローバルIDを付与する命令を送信する。

ここで、特徴抽出部３は、認証実行部６から判断対象の移動体に消失したグローバルＩＤを付与する命令を受け取った後、判断対象の移動体に、消失した移動体のグローバルＩＤを付与する。さらに、特徴抽出部３は、消失した移動体のグローバルＩＤが付与された判断対象の移動体のグローバルＩＤ及び管理ＩＤを認証実行部６に送信する。

また同様に、認証実行部６は、特徴抽出部３から送信された判断対象の移動体のグローバルＩＤ及び管理ＩＤをグローバルID記憶部７に送信し、当該移動体の移動履歴に最新情報として追加する。

ここで、図６にて、グローバルＩＤ記憶部７の内容について説明する。

図６に示すように、グローバルＩＤ記憶部７には、グローバルＩＤ(Ｇｉｄ)と出現場所とを関連づけて、各移動体のデータが保存されている。例えば、グローバルＩＤがＧｉｄ００２であって、出現場所２の場合には、管理ＩＤがＣｉｄ０１であるサラリーマンの男性が保存されている。

探索対象決定部８は、認証実行部６と連携し、動的に変化する確率分布を用いて、消失した移動体が存在する可能性の高い領域について重み分布を参照して探索することで、計算時間を抑えた効果的な探索を行うことを実現している。

図７を参照して、グローバルID記憶部７に存在する移動体が消失した場合の探索対象決定部８及び認証実行部６の動作手順を説明する。

図７に示すように、まず、認証実行部６は、特徴抽出部３から、消失した移動体が存在した消失情報を受け取ったかどうかを判断する(Ｓ１０)。

もし、特徴抽出部３から消失した移動体の情報を受け取っていない場合には(Ｓ１０のＮｏ)、認証実行部６は、特徴抽出部３から送信される移動体が消失した消失情報を受け取るまで処理を待機する。

もし、特徴抽出部３から消失した移動体の情報を受け取った場合には(Ｓ１０のＹｅｓ)、探索対象決定部８は、最初の探索対象であるK個の移動体観測部２を、ある確率分布fμ,σ(X)を用いたK回の非復元抽出によって選択する(Ｓ１１)。ここで、Kは１回の探索で対象とする移動体観測部２の台数とする。

さらに、探索対象決定部８は、配置トポロジー記憶部９に保存されている移動観測部２間のトポロジグラフの構造を参照する。

図８を参照して、移動体追跡配置トポロジー格納部９の内容にて説明する。

図８に示すように、配置トポロジー記憶部９には、移動観測部２間のトポロジグラフの構造が予め保存されている。各グラフの頂点は移動観測部２に対応しており、枝の重みは頂点である移動観測部２間の移動コストとして定義されている。移動コストは時間だけでなく、人流等の観測データから確率的に作成しても良い。

探索対象決定部８は、配置トポロジー記憶部９に格納されているトポロジグラフの情報を用いることにより、消失した移動体観測部２から他の移動体観測部２への最短距離を計算することが可能になる。これら最短距離を算出するグラフアルゴリズムはDijkstra法等が知られている。

ここで、探索対象決定部８は、消失した移動体観測部２から他の移動体観測部２への最短距離に基づき、各移動体観測部２を1次元のベクトル空間Xに付置することが可能になり、当該ベクトル空間を多変数確率変数の空間とみなすことで、確率分布fμ,σ(X)を用いたランダムサンプリングが可能になる。なお、サンプリングはそれぞれの移動体を対象として行ってもよいが、移動体観測部２の最短距離でクラスタリングした結果のクラスタについて実行し、当該クラスタ内で再サンプリングを実施する多段階抽出を行っても良い。

探索対象決定部８は、ランダムサンプリングにより抽出されたK個の移動体観測部２のリストを、認証実行部６に送信する。

認証実行部６は、図７に示すように、それらK個の移動体観測部２が追跡中の移動体に対して、消失した移動体との同一性を計算し判定する(Ｓ１２)。

ここで、認証実行部８は、K個の移動体観測部２によって追跡されている移動体が、複数であることが想定されるが、消失した移動体との同一性を計算する対象としては、追跡中の全部の移動体であってもよく、何らかの確率分布を乱数源としたサンプリングによっても良い。ここで、消失した移動体との同一性を計算する例としては、移動観測部２がカラー画像を使用可能なビデオカメラの場合、２つの移動体のカラー画像を切り出し、画像中で使用されている各色の値を集計することで得られるヒストグラムを用いたものが考えられる。２つの移動体から得られたヒストグラムをA,Bとする。A,Bのi番目のカテゴリの値をai,biとし，合計数をNとすると，類似度S(A,B)は以下のヒストグラムインタセクションで計算できる。

また同様にBhattacharyya係数

や，離散値に対するKL情報量

の逆数を取ることで計算可能である．なお、類似度S(A,B)としては，ユークリッド距離の逆数や、内積を使用が使用できる。

ここで、消失した移動体との同一性の類似度計算を行った結果、一定の閾値を超えているものが存在すれば、同一の移動体として扱うものとする。通常は、消失した移動体との同一性の類似度が最も大きい結果によって同一の移動体として採用されるが、事前の条件設定により所定の順位にて同一の移動体として採用する場合や、乱数によって上位の移動体から選択する方法も実施可能である。また、全ての移動体が閾値以下であれば、同一の移動体は存在しないとして扱うものとする。

もし、消失した移動体との同一性の類似計算を行って同一の移動体ではないと判断された場合には(Ｓ１２のＮｏ)、前述した確率分布fμ,σ(X)のパラメータμ,σをμ'=μ+Δμ,σ'=σ+Δσに基づき、更新する(Ｓ１４)。

ここで、認証実行部６は、得られた分布fμ',σ'(X)を用いて、再びK個の移動体観測部２の非復元抽出を実行し(Ｓ１１)、同様の処理を繰り返す(Ｓ１２〜Ｓ１３)。消失した移動体と同一の移動体が発見されない場合であっても、この処理をN回まで繰り返す(Ｓ１３)。Nはシステムに対して入力として与える状況が想定されるが、システムのハードウェア制約等から自動的に決定されてもよい。

もし、この処理をN回まで繰り返しても発見されなかった場合、認証実行部６は、グローバルＩＤ記憶部７に対して、対象消失としてNULL値が履歴に記録されることとなる(図６の“出現場所４”参照)。

もし、消失した移動体の同一性の類似計算を行って同一の移動体であると判断された場合には(Ｓ１２のＹｅｓ)、認証実行部６は、同一の移動体として判断された移動体に関する情報につき、消失した移動体のグローバルＩＤ及び管理ＩＤを対応付けて、グローバルＩＤ記憶部７を更新する(Ｓ１５)。さらに、認証実行部６は、監視状況表示部５の表示内容を更新する(Ｓ１６)。最後に、探索対象決定部８及び認証実行部６は動作を終了する(Ｓ１７)。

ここで、図７のＳ１１にて、ある確率分布fμ,σ(X)のμ,σを更新した場合、図９に示すように、最初は移動体が消失した移動体観測部２の付近を重点的に探索するが、処理が進むにつれて全体を均等に探索することができるようになる。これにより、移動体が消失した移動観測部２付近でとどまっていた場合にも対応することが可能となる。ここで、ある確率分布fμ,σ(X)として使用可能な確率分布の種類としては、図１０に示す正規分布や、図１１に示す指数分布が想定されるが、平均と分散をパラメータとして持つものであればよい。

監視状態表示部５は、消失した移動体と同一の移動体が存在すると判断された場合には、認証実行部６から、消失した移動体と同一の移動体について更新されたグローバルＩＤ記憶部７のグローバルＩＤ及び管理ＩＤを取得して表示する。

図１２に、監視状態表示部５の内容を示す。

図１２に示すように、監視状態表示部５では、グローバルID記憶部７の内容をモニターすることが可能である。具体的には、監視状況表示部５では、特定の移動体の移動履歴、つまり通過した移動体の時系列、または全移動体の現在状況が確認できるようになっている。例えば、図１２に示しているように、監視状況表示部５は、移動観測部２毎に画面が分割された大型モニターとなって表示されている。

以上から、本発明の移動体追跡装置によれば、入力された移動体観測部２間のトポロジグラフに基づき、移動体が消失した移動体観測部２から他の移動体観測部２に対する最短距離を算出するとともに、時間経過とともに平滑化する重み分布を用いて探索を行う移動体観測部２の集合を決定することにより、計算コストを抑えつつ、移動体の移動速度を反映した探索方法に実施して、取りこぼしが少ない移動体の探索を行うことができる。

なお、本発明は、上記した各実施の形態には限定されず、種々変形して実施できることは言うまでもない。

例えば、本発明の実施の形態では、多数の監視カメラが結合された監視システムであったが、それに限定されるものではなく、例えば、百貨店・スタジアム等の不特定多数が来訪する施設の広域監視システムであってもよい。本発明をこのような広域監視システムにて実施することにより、効率的な不審者，または要注意人物の探索を実現することが可能になる。

また、工場・物流基地等の自動運転ビークルの監視システムであってもよい。本発明をこのようなシステムにて実施することにより、監視遠隔操作の不調等により所在不明になった場合、本発明の履歴検索機能により速やかに発見することが可能になる。

要するに、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の形態を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を省略してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の実施例に係る移動体追跡装置の構成図。 本発明の実施例に係る移動観測部の移動体の追跡手段を示す概略図。 本発明の実施例に係る移動観測部内の管理ＩＤの内容を示すテーブル。 本発明の実施例に係る特徴抽出部における追跡対象の移動体が自由歩行者の場合の例を示す概略図。 本発明の実施例に係る移動体管理部の構成図。 本発明の実施例に係るグローバルＩＤ記憶部の内容を示すテーブル。 本発明の実施例に係るグローバルID記憶部に存在する移動体が消失した場合の探索対象決定部及び認証実行部の動作手順を示すフローチャート図。 本発明の実施例に係る配置トポロジー記憶部の内容を示す概略図。 本発明の実施例に係る探索実施時の乱数生成を行う確率分布の変化を説明する概略図。 本発明の実施例に係る探索実施時の乱数生成を行う確率分布として正規分布を変化させた場合の概略図。 本発明の実施例に係る探索実施時の乱数生成を行う確率分布として指数分布を変化させた場合の概略図。 本発明の実施例に係る監視状況表示部の概略図。

符号の説明

１…移動体追跡装置
２…移動体観測部
３…特徴抽出部
４…移動体管理部
５…監視状況表示部
６…認証実行部
７…グローバルＩＤ記憶部
８…探索対象決定部
９…配置トポロジー格納部

Claims (4)

1. 移動体の画像を受信し、かつ前記移動体を特定するとともに、前記特定された移動体に対して、監視可能な範囲内にて有効である管理ＩＤを付与する複数の移動体観測部と、
   前記移動体観測部から送信された画像に基づき、移動体の特徴量データを収集するとともに、前記移動体に付与された前記管理IDを追跡し、前記追跡中の移動体が監視可能である範囲内から離脱した場合に消失情報を送信し、かつ前記消失した移動体に関する前記複数の移動体観測部のいずれにて有効であるグローバルＩＤを付与して前記管理ＩＤを対応づける特徴抽出部と、
   前記特徴抽出部から送信された前記追跡中の移動体の消失情報及び前記追跡中の移動体の特徴量データに基づき、前記追跡中の前記移動体と同一の移動体であると判断される移動体を探索して決定するととともに、決定した移動体について前記特徴抽出部にて対応づけられたグローバルID及び管理ＩＤを保存する移動体管理部と、
   前記移動体管理部から送信された前記追跡中の前記移動体と同一の移動体と対応づけられた移動体のグローバルＩＤ及び管理ＩＤを表示する監視状況表示部と、
   を具備することを特徴とする移動体追跡装置。
   
2. 前記移動体管理部は、
   移動体のグローバルＩＤと前記移動体観測部とを関連付けて記憶するグローバルＩＤ記憶部と、
   前記移動体観測部を表す頂点と、前記移動体観測部間の距離を表す枝にて構成されたトポロジグラフを予め保存している配置トポロジー記憶部と、
   前記配置トポロジー記憶部に保存されたトポロジグラフに基づき、前記移動体の消失点を起点として前記移動体観測部の最短距離を算出するとともに、予め保存されている前記移動体観測部間の重み分布を用いて、探索する前記移動体観測部を決定するとともに、前記決定した前記移動体観測部のリストを送信する探索対象決定部と、
   前記探索対象決定部にて決定された前記移動体観測部のリストに基づき、追跡中の前記移動体と同一の移動体が存在するかどうかを判断し、前記グローバルＩＤ記憶部に前記消失した前記移動体のグローバルＩＤ及び管理ＩＤを送信する認証実行部と、
   を具備することを特徴とする請求項１記載の移動体追跡装置。
   
3. 前記移動体管理部は、移動体が観測された前記移動体観測部の順序に従って、時間順に前記グローバルIDと前記管理IDを対応付けて、前記グローバルＩＤ記憶部に保存することを特徴とする請求項１記載の移動体追跡装置。
   
4. 移動体の画像を受信し、かつ前記移動体を特定するとともに、前記特定された移動体に対して、監視可能である範囲内にて有効である管理ＩＤを付与する工程と、
   送信された画像に基づき、移動体の特徴量データを収集するとともに、前記移動体に付与された前記管理IDを追跡し、前記追跡中の移動体が監視可能である範囲内から離脱した場合に消失情報を送信し、かつ前記消失した移動体に対していずれにて有効であるグローバルＩＤと前記管理ＩＤを対応づける工程と、
   前記追跡中の移動体の消失情報及び前記追跡中の移動体の特徴量データに基づき、前記追跡中の前記移動体と同一の移動体であると判断される移動体を探索して決定するととともに、決定した移動体のグローバルIDを付与して管理ＩＤを対応付けて保存する工程と、
   前記追跡中の前記移動体と同一の移動体と対応づけられた移動体のグローバルＩＤ及び管理ＩＤを表示する工程と、
   を具備することを特徴とする移動体追跡方法。

Images