JP2009055139A - 人物追跡システム、人物追跡装置および人物追跡プログラム - Google Patents

Abstract

【課題】遮蔽物が存在する空間においても精度良く人物の移動軌跡を追跡する。
【解決手段】撮像方向が床面に向けられた複数のカメラを天井に設置し、複数のカメラによりそれぞれ撮像された撮像画像のうち、重複して撮像された重複撮像領域の少なくとも一部に基づいて、重複撮像領域に写し出された物体の視差を算出し、算出された視差が予め定められた閾値以上の物体を人物として検出し、検出された人物が含まれるパタン画像を抽出し、抽出されたパタン画像と、カメラにより撮像された画像とのパタンマッチングにより、人物が移動する軌跡を追跡する。
【選択図】図１

Description

本発明は、人物追跡装置システム、人物追跡装置および人物追跡プログラムに関し、特に屋内の天井に設置することが可能で、ビルや店舗内の人物の移動軌跡を計測するのに好適な人物追跡技術に関する。

人物の移動軌跡の計測は、セキュリティ対策、交通量調査、店舗内の顧客嗜好調査等の目的で行われることがある。

例えば、下記の特許文献１には、店舗内に設置された多数のカメラにより来店客を撮影し、撮影されたフレーム画像毎に性別や年齢や服装等の特徴を認識して、認識した特徴を利用して他のカメラの人物との同定処理を行い、店内における人物の移動軌跡を取得する技術が開示されている。また、下記の特許文献２には、人物の同定に顔認識処理を用いる技術が開示されている。
特開２００４−３４８６１８公報 特開２００６−２０９５８５公報

しかしながら、従来の技術では、１つのカメラがカバーする範囲を広くするために、カメラを天井付近に浅い俯角で設置することが多く、例えば小売店舗のように遮蔽物が多く混雑する空間では、人物が物もしくは他の人物により隠れてしまい、人物の移動軌跡を正確に追跡できなくなることがあった。

この点、従来の技術では、人物の画像から得られた性別、年齢、服装等の特徴又は顔認識処理の結果を用いて人物の同定処理を行っているが、これらの顔認識処理や特徴量を抽出するには人物を高精細に撮影する必要があり、高性能のカメラ若しくは多数のカメラが必要となってしまうほか、人物の顔向きや姿勢によっては同定処理にミスが生じることがあるため、人物の移動軌跡の追跡精度が悪くなってしまうことがあった。

本発明の目的の一つは、遮蔽物が存在する空間においても精度良く人物の移動軌跡を追跡することができる人物追跡システム、人物追跡装置および人物追跡プログラムを提供することにある。

本発明に係る人物追跡システムは、天井に設置され、撮像方向が床面に向けられた複数のカメラと、前記複数のカメラによりそれぞれ撮像された撮像画像のうち、重複して撮像された重複撮像領域の少なくとも一部に基づいて、前記重複撮像領域に写し出された物体の視差を算出する手段と、前記算出された視差が予め定められた閾値以上の物体を人物として検出する手段と、前記検出された人物が含まれるパタン画像を抽出する手段と、前記抽出されたパタン画像と、前記カメラにより撮像された画像とのパタンマッチングにより、前記人物が移動する軌跡を追跡する手段と、を含む、ことを特徴とする。

また、本発明の一態様に係る人物追跡システムは、前記検出された人物が含まれるパタン画像の位置と、当該人物について算出された前記視差とに基づいて、当該人物の前記床面における位置座標を演算する演算手段をさらに含む、ことを特徴とする。

また、本発明の一態様に係る人物追跡システムは、前記検出された人物毎に、前記抽出されたパタン画像を記憶する記憶手段と、前記パタンマッチングの結果に基づいて、前記記憶手段に記憶されるパタン画像を更新する更新手段と、をさらに含む、ことを特徴とする。

また、本発明の一態様に係る人物追跡システムは、前記記憶手段は、前記パタン画像に関連づけて当該パタン画像の前記床面における位置座標をさらに記憶し、前記更新手段は、前記記憶されるパタン画像が前記重複撮像領域に含まれる場合に、当該重複撮像領域から検出される人物の画像領域に基づいて、当該パタン画像を更新する、ことを特徴とする。

また、本発明の一態様に係る人物追跡システムは、前記更新手段は、前記記憶されるパタン画像が前記重複撮像領域に含まれ、かつ当該重複撮像領域から人物が検出されない場合には、当該パタン画像を削除する、ことを特徴とする。

また、本発明の一態様に係る人物追跡システムは、前記パタン画像から特徴量データを抽出する手段をさらに含み、前記抽出された特徴量データを前記パタンマッチングに用いる、ことを特徴とする。

また、本発明の一態様に係る人物追跡システムは、前記特徴量データは、輝度パタン、色ヒストグラム、色成分の比率、エッジヒストグラム、フーリエスペクトル、フーリエメリンスペクトルの少なくとも１つである、ことを特徴とする。

また、本発明の一態様に係る人物追跡システムは、前記複数のカメラの撮像範囲毎に、前記検出された人物が移動した軌跡を生成する手段をさらに含む、ことを特徴とする。

また、本発明の一態様に係る人物追跡システムは、前記生成された軌跡を前記検出された人物毎に統合する手段をさらに含む、ことを特徴とする。

また、本発明の一態様に係る人物追跡システムは、前記複数のカメラはそれぞれ、鉛直下方向に向けて撮像角度が調整される、ことを特徴とする。

また、本発明の一態様に係る人物追跡システムは、前記検出された人物について取得された属性情報を、当該人物について取得された軌跡に関連づけて記憶する手段をさらに含む、ことを特徴とする。

また、本発明の一態様に係る人物追跡システムは、前記属性情報は、前記人物に備え付けられた非接触無線タグの情報を読み取ることにより取得される、ことを特徴とする。

また、本発明に係る人物追跡装置は、天井に設置され、撮像方向が床面に向けられた複数のカメラにより撮像された画像を取得する手段と、前記複数のカメラによりそれぞれ撮像された撮像画像のうち、重複して撮像された重複撮像領域の少なくとも一部に基づいて、前記重複撮像領域に写し出された物体の視差を算出する手段と、前記算出された視差が予め定められた閾値以上の物体を人物として検出する手段と、前記検出された人物が含まれるパタン画像を抽出する手段と、前記抽出されたパタン画像と、前記カメラにより撮像された画像とのパタンマッチングにより、前記人物が移動する軌跡を追跡する手段と、を含む、ことを特徴とする。

また、本発明に係る人物追跡プログラムは、天井に設置され、撮像方向が床面に向けられた複数のカメラにより撮像された画像を取得する手段、前記複数のカメラによりそれぞれ撮像された撮像画像のうち、重複して撮像された重複撮像領域の少なくとも一部に基づいて、前記重複撮像領域に写し出された物体の視差を算出する手段、前記算出された視差が予め定められた閾値以上の物体を人物として検出する手段、前記検出された人物が含まれるパタン画像を抽出する手段、及び、前記抽出されたパタン画像と、前記カメラにより撮像された画像とのパタンマッチングにより、前記人物が移動する軌跡を追跡する手段、としてコンピュータを機能させることを特徴とする。

本発明によれば、遮蔽物が存在する空間においても精度良く人物の移動軌跡を追跡することができる。

また、本発明の一態様によれば、撮像エリアが重なり合う複数のカメラによる撮像画像に基づいて人物を検出し、その人物の位置を視差に基づく透視変換により、床面における位置座標として取得するため、高い精度で人物の移動軌跡を追跡できる。

また、本発明の一態様によれば、カメラは鉛直下方向の床面に向けて撮像方向が調整されるため、人物の位置を撮像画像から床面の座標系に透視変換する際の誤差が小さくでき、高い精度で人物の移動軌跡を追跡できる。

また、本発明の一態様によれば、カメラは天井に設置され床面を撮像するため、カメラの近傍にいる人物により遠方の人物の遮蔽が起こりにくく、また、視差を利用したステレオ計測の範囲（重複撮像領域）も天井から床面までの狭い範囲に限られるので、高い精度で人物の移動軌跡を追跡できる。

また、本発明の一態様によれば、一部のステレオ計測の範囲（重複撮像領域）で人物を検出した後は、それ以外の領域では、検出した人物のパタン画像を用いたパタンマッチング処理により人物を追跡するので、処理負荷を軽減することができる。

以下、本発明の好適な実施の形態（以下、実施形態）を、図面を参照しながら説明する。

図１は本発明の実施形態である人物追跡システム１を示す図である。図１に示されるように、人物追跡システム１には、ローカル装置１１，１２，・・・１９等の複数のローカル装置が含まれる。各ローカル装置は、広角なカメラを１台ずつ有しており、それぞれのカメラは計測対象となる建物内の天井に設置され、建物の床面にほぼ正対するように撮像角度が調整される。

各ローカル装置は、カメラにより取得される画像を１フレームずつ順次処理して、カメラにより写し出された物体（人物）が撮像エリア内を移動する軌跡を追跡する。追跡された軌跡のデータは、例えば１秒または３０フレーム等の所定の時間ごとに、人物追跡システム管理装置３０に送信される。ローカル装置と人物追跡システム管理装置３０へのデータの送受信は専用の信号線で構成することとしてもよいし、ＴＣＰ／ＩＰ等のプロトコルを用いたネットワークにより構成することとしてもよい。

ローカル装置により取得される軌跡データは、ローカル装置のカメラが撮像する床面領域の一箇所を原点とする座標系（以後フロア座標系という）により表されているものとする。なお、各ローカル装置により検出された人物のフロア座標系における位置座標は、公知の透視変換処理により演算することとしてよい。

人物追跡システム管理装置３０は、軌跡統合部３０１、及び軌跡データベース３０２を備える。軌跡統合部３０１は、所定の時間ごとに受信したローカル装置ごとの軌跡データを同一の人物について連結統合する。統合された一連の軌跡データは、軌跡データベース３０２に格納される。軌跡データの軌跡データベース３０２への格納は、所定の時間ごとに行うこととしてよい。

本実施形態では、ローカル装置には２種類のタイプが存在し、それぞれタイプＡ、タイプＢとする。

図２には、タイプＡのローカル装置の一例を示す。タイプＡのローカル装置は、空間の天井に設置され、撮像方向が床面にほぼ正対するように調整された広角カメラ１０１、パタン保持部１０２、パタン照合部１０３、及びローカル軌跡生成部１０４を含み構成される。

パタン保持部１０２は、検出された人物が写し出された画像領域から特徴量データを抽出して保持する。抽出する特徴量データとしては、輝度分布、ＲＥＤ，ＧＲＥＥＮ，ＢＬＵＥ等の色成分の比率、人物の輪郭の局所的な向きを近傍８方向に分類した際の各方向成分の比率、画像領域のフーリエスペクトル、フーリエメリンスペクトル等の各種の情報を用いることとしてよい。抽出された特徴量データは、検出された人物を識別する人物ＩＤに関連づけたパタンデータテーブルとしてメモリに格納される。

人物ＩＤは、ローカル装置ごとに人物の追跡が開始される際に付与される識別情報である。人物ＩＤは、ローカル装置毎に順に番号を振ることより付与してもよいし、ローカル装置のＩＤ、人物の追跡を開始した時刻、及びフロア座標により生成した番号により、人物追跡システムの全体において固有のＩＤを各人物に付与することとしてもよい。

パタン照合部１０３は、パタン保持部１０２においてテーブルデータ化されて保持されるパタンをテンプレートとして、広角カメラ１０１により撮像された画像に対してパタンマッチング処理を行う。パタン照合部１０３は、パタンマッチング処理の結果、テンプレートの特徴に最も類似する領域の中心を人物のフロア座標系における新たな位置座標とし、この位置座標をローカル軌跡生成部１０４に出力する。また、パタン照合部１０３は、フロア座標系における位置座標とともに、新たな位置座標に基づいて画像から切り出されたパタン画像の輝度パタンデータおよびそのパタン画像から抽出した色、エッジ、スペクトル等に関する特徴量をパタン保持部１０２に出力する。

パタン保持部１０２は、パタン照合部１０３から入力されたデータに基づいて、パタンデータテーブルを更新する。また、パタン保持部１０２は隣接するローカル装置のパタン照合部１０３からも、広角カメラ１０１の視野に入る物体に関して位置座標とともに輝度パタンを初めとする各種特徴量の入力を受け付ける。パタン保持部は、上記入力を受け付けたデータに基づいて、新たな人物ＩＤ及びその特徴量をパタンデータテーブルに追加して更新する。

ローカル軌跡生成部１０４は、１秒または３０フレーム分など所定の時間毎にパタン保持部１０２にテーブルデータ化された人物ＩＤの移動軌跡を生成し、所定の時間間隔で人物追跡システム管理装置３０に出力する。パタン照合部１０３におけるパタンマッチング処理としてたとえば走査画像とテンプレート間での相関係数を求めて１に最も近い領域を照合結果とする。相関係数は、ＲＥＤ，ＧＲＥＥＮ，ＢＬＵＥの各色の相関係数をそれぞれ求めてから各色の相関係数を所定の重みで加算して算出してもよい。また、相関係数を用いた照合方法には公知の正規化相関を用いることとしてよい。

図３はタイプＢのローカル装置の機能ブロックの一例を示す図である。図３に示されるように、タイプＢのローカル装置は、床面に正対する広角カメラ１０１、パタン保持部２０２、パタン照合部２０３、ローカル軌跡生成部２０４、パタン更新部２０５、人物候補保持部２０６、視差計測部２０７、人物候補保持部２０８、および視差計測部２０９を含み構成される。パタン保持部２０２、パタン照合部２０３、ローカル軌跡生成部２０４の動作はそれぞれ、パタン保持部１０２、パタン照合部１０３、ローカル軌跡生成部１０４の動作と同様であるため、説明を省略する。

視差計測部２０７および視差計測部２０９は、広角カメラ１０１と隣接する他のカメラの画像で重複する撮像エリアについて計測される視差に基づいて、視差画像を生成する。

人物候補保持部２０６と人物候補保持部２０８は、それぞれ、視差計測部２０７と視差計測部２０９により生成された視差画像を所定の閾値を用いて二値化することにより、人物の上半身の候補領域の中心座標と、当該候補領域の縦横サイズの人物候補リストを保持する。なお、候補領域は人物の上半身画像の外接矩形としてよい。

パタン更新部２０５の詳細は後述するが、人物候補保持部２０６および２０８の保持する人物候補リストと、パタン保持部２０２の保持するパタンデータテーブルと、追跡中の人物の位置と外接矩形の縦横サイズに不整合を生じる場合は人物候補保持部２０６および２０８の保持する人物候補リストに基づいて、パタン保持部２０２に保持される追跡中の人物について保持されたパタンデータを更新する。

また、人物候補保持部２０６および２０８の保持する人物候補リストに存在するにもかかわらず、パタン保持部２０２の保持する追跡中人物のパタンデータテーブルにない場合は、新たに撮像エリアに進入してきた人物として、パタン保持部２０２の保持する追跡中人物のパタンデータテーブルに追加する。この際の新たな人物ＩＤは、ローカル装置のＩＤ、その人物の追跡を開始した時刻、及びフロア座標を接頭とする番号を付与して命名することとしてよい。

なお、人物追跡システム１に含まれる各装置は、それぞれ図示しない媒体読み取り装置によりコンピュータが読み取り可能な記録媒体（ＤＶＤ−ＲＯＭ，ＣＤ−ＲＯＭ，フラッシュメモリ等）に格納されたプログラムを読み込むことにより、上述した各機能を実現することとしてよい。

ここで、図４には、小売り店舗に人物追跡システム１を適用した際の、各ローカル装置の配置の一例を示す。図４では、小売り店舗の俯瞰図に各ローカル装置の有する広角カメラの撮像エリアが円で描かれている。この場合、俯瞰図上方に店舗入り口があり、左側にレジカウンタがある。斜線のある矩形は高さのある陳列棚を示していて、広角カメラの撮像エリアである円内であっても円の中心から外れて陳列棚上または反対側はその陳列棚に遮蔽されて見えないものとする。

図４においては、ローカル装置１１，１２，・・・，１９の９台が設置されているものとし、各ローカル装置の有する広角カメラの撮像範囲１１１〜１１９を円により示している。また、隣接カメラの撮像エリアの重複領域はステレオ計測領域４００として十字パタンで示している。

図５は、人物追跡システム１におけるローカル装置の組み合わせの一例を示す図である。図５に示される組み合わせでは、広角カメラ１０１を有するタイプＢのローカル装置１２に隣接してタイプＢのローカル装置１１および１３が配置されている。基本的に広角カメラによる撮像エリアの中心付近はパタンマッチング処理により人物を追跡し、撮像エリアの外周付近等の他のカメラの撮像エリアとの重複領域では、ステレオ計測により立体形状を確認した上で人物を追跡する。撮像エリアの重複領域（ステレオ計測領域）では、人物の検出及び追跡に背景差分法またはフレーム間差分法を用いずに済むため、動きの遅い人物や滞留している人物でも的確に検出や追跡ができる。

また、人物追跡システム１におけるローカル装置の組み合わせは、上述した例に限られるものではなく、図６に示されるように、ローカル装置の一部に、例えばタイプＡのローカル装置１４を組み込むこととしてもよい。人物追跡システム１にタイプＡのローカル装置を組み込むことにより、人物追跡システム１全体における視差計測の負荷を減じることができる。タイプＡのローカル装置は、人物の出入りが少ないような箇所に対応して設置することで、人物追跡システム１全体としての人物の検出精度を劣化させずに、処理の負荷を低減させることができる。

図７は視差計測部２０７および２０９の出力である視差画像の例を説明する図である。図７には、影を伴う移動人物の例が示されている。図７（ａ）は、ローカル装置の有する広角カメラの俯瞰画像の例であって、図７（ｂ）の人物を上方から見た図である。図示しないが隣接するカメラにも同一の人物が映り、その立ち位置のフロア座標は透視変換することで得られる。しかしフロアからの高さが増すにつれて画像のずれ量が大きくなり、脚部から腹部、肩部、頭部と次第にずれが大きくなる。このずれ量に基づいて、頭部と、肩部と、脚部のパタンを変えて表示した図７（ｃ）が視差画像の例である。影の部分は床に生じる視差の大きさと同じなので、所定の大きさ以上の視差を有する領域を抽出することで影や床の映りこみによる誤検出を防止する。図７（ｄ）及び（ｅ）については後述する。

図８（ａ）は人物候補保持部２０６および２０８の処理を説明する図である。人物候補保持部２０６および２０８では、視差計測部２０７または２０９により生成された視差画像について以下に説明する処理が行われて、人物候補リストが更新される。

人物候補保持部２０６は、視差計測部２０７により生成された視差画像を所定の閾値との比較により二値化する（Ｓ１１）。閾値は検出する人物の高さに応じて変更することとしてよく、たとえば、閾値を高く設定すると身長の高い大人が検出の対象となり、閾値を低く設定すると身長の低い子供も検出することができるようになる。

次に二値画像にモホロジカル処理（膨張伸縮処理）を施して、切れた物体の連結、孤立点の除去、物体中の穴埋め等の補正処理を行う（Ｓ１２）。モホロジカル処理を施して得られた二値画像に対してラベリング処理をする。ラベリング処理は、画素の４近傍または８近傍の連結状態に応じて二値化画素を画素群に分け、画素群毎にラベルを振ることで行われる（Ｓ１３）。そして、ラベリング処理により分けられた画素群を取り囲む外接矩形を設定する。ラベルごとに設定された外接矩形の中心座標を計測し、さらに外接矩形の縦横の画素サイズを計測して、人物候補リストを更新する（Ｓ１４）。

図８（ｂ）はモホロジカル処理後の画像であり、斜線で示した領域がラベリング処理により分けられた画素群を示している。また、図８（ｃ）はラベリング処理による各画素群とともに、その外接矩形を重ねて描いた図である。ここで、図７（ｄ）は視差画像に対して図８（ａ）の一連の処理を施した後の画像であり、図７（ｅ）は図７（ａ）の俯瞰画像に対して図７（ｄ）をマスク画像として用いたマスク処理後の画像である。ここでは高さのある上半身部分の輝度情報のみが残されて、床の影など高さのない部分の輝度情報はゼロとマスクされている。図７（ｅ）ではゼロとマスクされている領域は黒で示している。後述のパタン保持部ではこのゼロ以外の領域を輝度パタンとして保持する。

図９は、パタン保持部１０２および２０２の保持するパタンデータテーブルの例を示す。パタンデータテーブルは、人物ＩＤ毎に座標情報、輝度パタン、色ヒストグラム、エッジヒストグラム、フーリエスペクトルを関連づけて格納したレコードにより構成される。人物ＩＤには、異なる軌跡の人物が同じ番号とならないようにローカル装置により管理された識別番号が付与される。なお、同一人物が一端視野からはずれて再び現れた場合にも、その人物には別の番号が付与される。座標情報には、各パタンの外接矩形の中心座標及び外接矩形の縦横の画素数を含むこととしてよい。また、上記の例では、パタンデータテーブルには、輝度パタン、色ヒストグラム、エッジヒストグラム、フーリエスペクトルをパタン画像の特徴量として格納することとしているが、これらの一部のみを格納することとしてもよいし、他の特徴量を格納することとしても構わない。

図１０はパタン照合部１０３および２０３の処理フローを示す図である。広角カメラ１０１が画像１フレームを入力する度に１サイクル処理する構成である。広角カメラは、撮像した画像の１フレームをパタン照合部１０３に入力する（Ｓ１０１）。

パタン照合部１０３は、パタン保持部１０２または２０２に保持されたパタンデータテーブルを検索し（Ｓ１０２）、検索が終了していなければパタンデータテーブルに格納されたテーブルから１つのパタン、例えば輝度パタンを読み込む（Ｓ１０３）。パタン照合部１０３は、読み込んだ輝度パタンで入力された画像を走査して、輝度パタンとの相関が最も高い画像領域を抽出する（Ｓ１０４）。パタンの相関の計算にはたとえば、公知の正規化相関演算を用いることとしてよい。なお、相関演算には、フーリエスペクトルの輝度パタン、色ヒストグラム、エッジヒストグラムを用いてもよいし、それらの値の平均値や、ヒストグラムの総和による規格化を行った後に、相関を求めることとしてもよい。

パタン照合部１０３は、演算された相関が所定の値以上の画像領域を候補パタンとする（Ｓ１０５）。以上のようにＳ１０２からＳ１０５を繰り返し、パタンデータテーブルの検索が終了すると、候補パタンの検証処理を行う（Ｓ１０６）。ここでは１つのパタンに複数の候補パタンがあるか否かを確認し（Ｓ１０７）、候補パタンが複数ある場合には色ヒストグラム、エッジヒストグラム、フーリエスペクトルの相関の高低に基づいて、最終的に１つの候補に絞り込む（Ｓ１０８）。候補が最終的に１つに決定されると、その候補領域に基づいて、輝度パタン、色ヒストグラム、エッジヒストグラム、フーリエスペクトル等の特徴量を算出して、算出された特徴量を用いてパタンデータテーブルを更新する（Ｓ１０９）。

更新されたパタンデータテーブルは、パタン保持部２０２に出力される（Ｓ１１０）。ローカル軌跡生成部１０４および２０４には、パタンデータテーブルのうち人物ＩＤと中心座標のみが出力される。また、パタンのサイズは、初期のパタンのサイズを維持してもよいし、カメラの視野の場所に応じてサイズのテーブルを作成しておき、このテーブルに基づいてパタンサイズを変更することとしてもよい。

図１１はパタン更新部２０５の処理フローを示す図である。まず、パタン保持部２０２からパタンデータテーブルを読み込む（Ｓ２０１）。パタンデータテーブルに格納されたパタンのうち未処理のパタンがあるか否かを判断する（Ｓ２０２）。そして、未処理のパタンがある場合には（Ｓ２０２；Ｙ）、そのパタンを読み込み（Ｓ２０３）、その位置座標が重複領域にあるか否かを判断する（Ｓ２０４）。重複領域とは、例えば図４における撮像エリア１１１と１１２とが重複するステレオ計測領域（重複撮像領域）４００である。パタンがステレオ計測領域４００に含まれると判断される場合には、そのパタンと人物候補保持部２０６に保持されているパタンと照合する（Ｓ２０５）。照合の結果、該当するパタンがあれば（Ｓ２０６；Ｙ）、そのパタンによりパタンデータテーブルのパタン画像の座標と、その外接矩形の縦横の画素数とを更新する（Ｓ２０７）。一方で、ステレオ計測領域４００に該当するパタンが存在しない場合には（Ｓ２０６；Ｎ）、そのパタンを削除する（Ｓ２０８）。また、Ｓ２０４で、パタンがステレオ計測領域４００の内部に含まれないと判定される場合には、処理Ｓ２０２に戻り処理を繰り返す。

そして、全てのパタンについて処理が終了すると（Ｓ２０２；Ｎ）、人物候補の中でパタンデータテーブルと照合しないものがあるか否かを判断する（Ｓ２０９）。未照合の人物候補がある場合は、新たに検出された人物としてパタンデータテーブルにレコードを追加する（Ｓ２１０）。以上の処理により削除、修正、追加されたパタンデータテーブルの座標と外接矩形の縦横画素数に基づいて、輝度パタン等の特徴量を抽出して（Ｓ２１１）、パタン更新部の処理を終了する。

図１２はローカル軌跡生成部１０４および２０４が軌跡統合部３０１へ出力するデータの一例を示した図である。ローカル軌跡生成部１０４および２０４は、予め定められた数のフレーム（例えば３０フレーム）における人物の位置座標を、人物ＩＤをインデクスとして所定の時間（例えば１秒）ごとに送信する。軌跡統合部３０１では、各フレームの同一人物の位置座標を直線又は曲線により連結することにより、その人物の移動軌跡が得られる。

図１２において、広角カメラの撮像エリア内を人物が移動しているものとする。上述したように、人物が撮像エリアから一端外れて再び撮像エリアに進入してきた場合には、同一人物であっても新たな人物ＩＤが割り当てられることになる。図１２の例では、人物ＩＤを１〜１２の番号で示しているが、他にも、カメラのＩＤ、軌跡が最初に検出された時刻、フレーム番号、最初に検出した場所のフロア座標系による座標値から生成される一意の数値を人物ＩＤとすることとしてもよい。

図１２（ａ）には、ローカル軌跡生成部１０４，２０４により生成される軌跡データの一例を示す。軌跡データは、人物ＩＤ毎の３０フレームにおける座標位置を含むものであり、所定の時間間隔で（時刻ｓ１，ｓ２，・・・）、人物追跡システム管理装置３０に送信される。図１２（ａ）に示される軌跡データは、各時刻に送信されたデータが順次蓄積されたものとなっている。

図１２（ｂ）は、上記送信された軌跡データに基づいて可視化された人物の軌跡の一例を表す図である。図１２（ｂ）では、時刻ｓ１のタイミングで送信される軌跡データに基づいて、人物ＩＤ「１」，「２」，そして「１２」の軌跡を示している。

図１３はローカル装置１１において生成された３０フレームを単位とした軌跡データを４回送信した場合に、その軌跡データに基づいて人物追跡システム管理装置３０により描画される軌跡の様子を示したものである。人物追跡システム管理装置３０では、各ローカル装置により付与された人物ＩＤを、「ローカル装置により付与された人物ＩＤ」＋「ローカル装置のＩＤ」という形式に変換する。ローカル装置１１，１２，・・・，１９のそれぞれのＩＤを、ＣＡＭ１，ＣＡＭ２，・・・，ＣＡＭ９とすると、ローカル装置１１の人物ＩＤ「１２」は、「１２ＣＡＭ１」と変換される。人物追跡システム管理装置３０の軌跡統合部３０１では、この様に同一の人物ＩＤで送られてくる軌跡データに含まれる各座標値を連結して一連の軌跡を形成する。

以上に説明した軌跡データ通信処理と軌跡統合処理によって、各ローカル装置に属する広角カメラの撮像範囲内における各人物の移動軌跡が生成される。

次に図１４乃至１６を参照しつつ、各ローカル装置による撮像エリアにおける人物の移動軌跡を統合して、人物追跡システム管理装置３０による人物の移動軌跡を統合する処理について説明する。

図１４は軌跡統合部３０１の処理フローを示す図である。まず、人物追跡システム管理装置３０は、各ローカル装置のローカル軌跡生成部により生成された軌跡データを受信する（Ｓ３０１）。各軌跡データはフロア座標系で表されているものとする。

つぎに人物追跡システム管理装置３０は、受信した各軌跡データに基づいて、各ローカル装置の撮像エリア毎の軌跡を生成する。そして、所定単位（例えば３０フレーム）の軌跡データの処理が終了するまで（Ｓ３０２；Ｎ）、生成された軌跡のうち、重なり合い、又は近接する部分を有する軌跡は同一人物のものであるとして人物ＩＤを編集する（Ｓ３０３）。こうして、所定単位の軌跡データの処理が終了すると（Ｓ３０２；Ｙ）、人物ＩＤを編集した軌跡データを軌跡データベース３０２に保存する（Ｓ３０４）。軌跡統合部３０１は、軌跡データを受信するごとに以上の処理を繰り返す。

図１５は、上述した人物および軌跡の統合処理を説明するための図である。図１５では、受信した軌跡データに基づいて各人物の軌跡が描画されている。図１５の例では、時刻ｋ−１〜ｋにおいてローカル装置１１により生成された軌跡データと、時刻ｋ〜ｋ＋２においてローカル装置１４により生成された軌跡データに基づいて描画された軌跡が示されている。

人物ＩＤが「１２ＣＡＭ１」の軌跡と、人物ＩＤが「３４ＣＡＭ４」の軌跡において、時刻ｋにおいて各軌跡は接近している。このように接近している場合は同一人物の軌跡であるとしてそれぞれの人物及び軌跡を統合する。軌跡が接近しているか否かは、時刻ｋにおける各軌跡のフロア座標の距離を計測し、その距離が予め定められた範囲内（例えば４０ｃｍ以内）に継続して収まる場合に“接近している”ものとして判断する。前記範囲は人物追跡装置を設置する環境に応じて変更することとしてよい。たとえば、ローカル装置の広角カメラのレンズ歪が小さく、人物の位置座標の計測精度がよい場合は範囲をさらに小さくすることとしてもよい。

図１６は、軌跡統合部３０１により統合された軌跡を表す統合軌跡データを説明する図である。統合軌跡データは、受信時刻、時刻、各ローカル装置のローカル軌跡生成部による軌跡データ、そして統合される軌跡及びその時刻を表す軌跡統合情報を含むデータである。

図１６においては、人物ＩＤ「１１ＣＡＭ１」，「１２ＣＡＭ１」，「３３ＣＡＭ４」，「３４ＣＡＭ４」について位置座標が取得された期間を両端矢印で示している。以上の内容からなる、軌跡統合部３０１の統合軌跡データが本発明の、人物追跡システム１による最終的な出力結果である。このような出力結果に基づいて、計測空間についての人物の移動軌跡がほぼリアルタイムに出力される。

以上説明した本実施形態に係る人物追跡システム１によれば、遮蔽物が存在する空間においても精度良く人物の移動軌跡を追跡することができる。また、人物毎の移動軌跡から人物毎の移動方向、移動速度、滞留時間などをほぼリアルタイムに知ることが可能であり、これらの条件に応じて画面上に注意すべき人物に印をつけたり、警報を出したりのセキュリティ装置として利用することもできる。

また、本実施形態に係る人物追跡システム１は、非接触ＩＣタグ等の機器を使用しないため、店舗以外のオープンスペースでも使用可能であり、カメラが天井から床面を見下ろす構成のため近傍の人物による遠方人物の遮蔽が起こりにくく、天井が低い状況でも設置が可能である。

また、以上に説明した本実施形態に係る人物追跡システム１は、個人を特定することなく各人物の移動軌跡を計測記録するものであるから、各個人のプライバシーを侵害するおそれがない。なお、個人を特定して移動軌跡を追跡する場合には、各人物に非接触無線タグを保持させて、特定のエリアに無線タグリーダを設置し、特定エリアの入口または出口などのポイントで各人物の非接触無線タグを読み取ることで特定したユーザ情報を軌跡に関連づけて記憶することで、容易に対応可能である。

なお、本発明は上記の実施形態に限定されるものではない。例えば、上記の実施形態において、軌跡統合部３０１は出力データを軌跡データベース３０２に格納することも可能で、かようにすれば過去の軌跡データを再生することもできる。本発明の人物追跡システム１は、外部の情報提供サーバに接続することで、店舗の顧客の移動経路や来店者数を計測するマーケティングシステム、又は滞留や往復を繰り返す挙動不審者を検出するセキュリティシステムに用いることができる。

また、本実施形態に係る人物追跡システム１は、多数の人物の移動軌跡を途切れることなく計測できるので、例えば店舗の出入り口またはレジカウンタにて、店員の目視あるいは自動判定装置により顧客の性別、年齢などの属性を一度入力すれば、顧客の性別や年齢に応じた経路情報を取得することができ、客層の情報を収集する顧客情報収集システムにも容易に適用可能である。

本実施形態に係る人物追跡システムのシステム構成図である。 タイプＡのローカル装置の機能ブロック図である。 タイプＢのローカル装置の機能ブロック図である。 ローカル装置の配置の一例を示す図である。 ローカル装置の組み合わせの一例を示す図である。 ローカル装置の、組み合わせの他の一例を示す図である。 視差計測部の出力例を示す図である。 人物候補保持部の処理のフロー図である。 パタン保持部の保持するパタンデータテーブルの一例を示す図である。 パタン照合部の処理のフロー図である。 パタン更新部の処理のフロー図である。 ローカル軌跡生成部の出力を説明する図である。 軌跡の統合処理の一例を示す図である。 軌跡統合部の処理のフロー図である。 重複物体を統合し、人物ＩＤを編集する処理の一例を示す図である。 軌跡統合部の出力データを説明する図である。

符号の説明

１ 人物追跡システム、１１〜１９ ローカル装置、３０ 人物追跡システム管理装置、 １０１ 広角カメラ、１０２ パタン保持部、１０３ パタン照合部、１０４ ローカル軌跡生成部、２０２ パタン保持部、２０３ パタン照合部、２０４ ローカル軌跡生成部、２０５ パタン更新部、２０６ 人物候補保持部、２０７ 視差計測部、２０８ 人物候補保持部、２０９ 視差計測部、１１１〜１１９ 撮像エリア、３０１ 軌跡統合部、３０２ 軌跡データベース、４００ ステレオ計測領域。

Claims (14)

1. 天井に設置され、撮像方向が床面に向けられた複数のカメラと、
   前記複数のカメラによりそれぞれ撮像された撮像画像のうち、重複して撮像された重複撮像領域の少なくとも一部に基づいて、前記重複撮像領域に写し出された物体の視差を算出する手段と、
   前記算出された視差が予め定められた閾値以上の物体を人物として検出する手段と、
   前記検出された人物が含まれるパタン画像を抽出する手段と、
   前記抽出されたパタン画像と、前記カメラにより撮像された画像とのパタンマッチングにより、前記人物が移動する軌跡を追跡する手段と、を含む、
   ことを特徴とする人物追跡システム。
2. 前記検出された人物が含まれるパタン画像の位置と、当該人物について算出された前記視差とに基づいて、当該人物の前記床面における位置座標を演算する演算手段をさらに含む、
   ことを特徴とする請求項１に記載の人物追跡システム。
3. 前記検出された人物毎に、前記抽出されたパタン画像を記憶する記憶手段と、
   前記パタンマッチングの結果に基づいて、前記記憶手段に記憶されるパタン画像を更新する更新手段と、をさらに含む、
   ことを特徴とする請求項１又は２に記載の人物追跡システム。
4. 前記記憶手段は、前記パタン画像に関連づけて当該パタン画像の前記床面における位置座標をさらに記憶し、
   前記更新手段は、前記記憶されるパタン画像が前記重複撮像領域に含まれる場合に、当該重複撮像領域から検出される人物の画像領域に基づいて、当該パタン画像を更新する、
   ことを特徴とする請求項３に記載の人物追跡システム。
5. 前記更新手段は、前記記憶されるパタン画像が前記重複撮像領域に含まれ、かつ当該重複撮像領域から人物が検出されない場合には、当該パタン画像を削除する、
   ことを特徴とする請求項４に記載の人物追跡システム。
6. 前記パタン画像から特徴量データを抽出する手段をさらに含み、
   前記抽出された特徴量データを前記パタンマッチングに用いる、
   ことを特徴とする請求項１乃至５のいずれかに記載の人物追跡システム。
7. 前記特徴量データは、輝度パタン、色ヒストグラム、色成分の比率、エッジヒストグラム、フーリエスペクトル、フーリエメリンスペクトルの少なくとも１つである、
   ことを特徴とする請求項６に記載の人物追跡システム。
8. 前記複数のカメラの撮像範囲毎に、前記検出された人物が移動した軌跡を生成する手段をさらに含む、
   ことを特徴とする請求項１乃至７に記載の人物追跡システム。
9. 前記生成された軌跡を前記検出された人物毎に統合する手段をさらに含む、
   ことを特徴とする請求項８に記載の人物追跡システム。
10. 前記複数のカメラはそれぞれ、鉛直下方向に向けて撮像角度が調整される、
    ことを特徴とする請求項１乃至９のいずれかに記載の人物追跡システム。
11. 前記検出された人物について取得された属性情報を、当該人物について取得された軌跡に関連づけて記憶する手段をさらに含む、
    ことを特徴とする請求項１乃至１０のいずれかに記載の人物追跡システム。
12. 前記属性情報は、前記人物に備え付けられた非接触無線タグの情報を読み取ることにより取得される、
    ことを特徴とする請求項１１に記載の人物追跡システム。
13. 天井に設置され、撮像方向が床面に向けられた複数のカメラにより撮像された画像を取得する手段と、
    前記複数のカメラによりそれぞれ撮像された撮像画像のうち、重複して撮像された重複撮像領域の少なくとも一部に基づいて、前記重複撮像領域に写し出された物体の視差を算出する手段と、
    前記算出された視差が予め定められた閾値以上の物体を人物として検出する手段と、
    前記検出された人物が含まれるパタン画像を抽出する手段と、
    前記抽出されたパタン画像と、前記カメラにより撮像された画像とのパタンマッチングにより、前記人物が移動する軌跡を追跡する手段と、を含む、
    ことを特徴とする人物追跡装置。
14. 天井に設置され、撮像方向が床面に向けられた複数のカメラにより撮像された画像を取得する手段、
    前記複数のカメラによりそれぞれ撮像された撮像画像のうち、重複して撮像された重複撮像領域の少なくとも一部に基づいて、前記重複撮像領域に写し出された物体の視差を算出する手段、
    前記算出された視差が予め定められた閾値以上の物体を人物として検出する手段、
    前記検出された人物が含まれるパタン画像を抽出する手段、及び、
    前記抽出されたパタン画像と、前記カメラにより撮像された画像とのパタンマッチングにより、前記人物が移動する軌跡を追跡する手段、
    としてコンピュータを機能させることを特徴とする人物追跡プログラム。

Images