JP2004191095A

JP2004191095A - Passenger track extraction device and system

Info

Publication number: JP2004191095A
Application number: JP2002356885A
Authority: JP
Inventors: Ryosuke Shibazaki; 亮介柴崎; 卉菁 ▲趙▼; Kisei Cho
Original assignee: Foundation for the Promotion of Industrial Science
Current assignee: Foundation for the Promotion of Industrial Science
Priority date: 2002-12-09
Filing date: 2002-12-09
Publication date: 2004-07-08
Anticipated expiration: 2022-12-09
Also published as: JP4012952B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a passenger track extraction device for extracting a passenger track simultaneously in a wide range, by detecting the position coordinate of the passenger by a plurality of laser sensors, and by performing coordinate transformation and integrating detection data by a server. <P>SOLUTION: The server 1 synchronizes all the clients. The laser sensors 21-23 detects a peripheral article in the first place, and transmits it to the server 1 to the clients 11-13 respectively. The server 1 visually determines measured data to a common fixed article, and matches and integrates the data into one data. The server 1 determines a parameter for transforming each coordinate system of the clients 11-13. The clients 11-13 extract moving body data from data detected respectively by the laser sensors 21-23, and transmit the data to the server 1. The server 1 integrates into the same coordinate system based on the determined parameter. The server 1 determines the passenger track from the moving body data subjected to the coordinate transformation. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、広範囲にわたって通行人の数や行動を計測する際に用いられる通行人軌跡抽出装置およびシステムに関する。
【０００２】
【従来の技術】
通行人の数や行動を非接触で計測することは、建物のセキュリティやマーケティングなど多くの分野で要求が高まっている。従来、人物の位置情報を非接触で計測する方法の多くは、ビデオ画像を利用していた。しかしビデオ画像では、人間が交錯するときなどにうまくトラッキングできないなど、データの抽出に際して問題があった。そこで近年、距離や速度を直接測ることができる、レーザセンサを用いた計測方法が用いられている。
レーザセンサはレーザ波の拡散が小さいために、解像度が非常に高い。また、測定できる範囲が非常に大きく、測定誤差も非常に小さい。
レーザセンサを用いた従来の技術では、被測定物に異なるパターンの反射板を巻きつけて、１台のレーザセンサにより位置を計測するものもある（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開平１１−２１１８３１号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、多数の通行人の居る場所において、人が互いに重なり合うため、１台のレーザセンサではうまく抽出できない。また、計測できる範囲も１台のレーザセンサでは限界がある。
この発明はこのような点を鑑みてなされたもので、複数のレーザセンサにより通行人の位置座標を検知し、サーバがその検知データを座標変換してデータを統合し、リアルタイムかつ広範囲での通行人の軌跡の抽出を行う、通行人軌跡抽出装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記した目的を達成するために、請求項１記載の通行人軌跡抽出装置は、通行人の位置や物体を検知する複数の検知手段に対応して設けられた複数のクライアントを制御する、通行人軌跡抽出装置において、前記複数の検知手段の検知時間を同期する同期手段と、前記複数の検知手段によって検知したデータから、前記複数のクライアントが抽出した通行人の位置座標を１つの座標系に統合する統合手段と、前記統合手段によって得られた通行人の位置座標から該通行人の移動軌跡を抽出する軌跡抽出手段とを有する。
【０００６】
請求項２記載の発明は、請求項１記載の通行人軌跡抽出装置において、前記検知手段がレーザセンサであって、地面近くに水平にスキャンし、通行人の足を検知することを特徴とする。
【０００７】
請求項３記載の発明は、請求項１あるいは２記載の通行人軌跡抽出装置において、前記軌跡抽出手段が、前記検知手段によって検知した通行人の２本の足データをグループ化し、前記２本の足データの重心点を抽出し、前記足データが重なっているグループを抽出し、抽出した前記グループの２本の足データの重心点を結んで該通行人の移動軌跡を抽出し、前記通行人の移動速度や方向を設定することを特徴とする。
【０００８】
請求項４記載の発明は、請求項１あるいは２記載の通行人軌跡抽出装置において、前記軌跡抽出手段が、前記検知手段によって検知した通行人の足の歩行モデルを定義し、前記通行人の移動速度や方向、足振り位相の状態をカルマンフィルタによって計算し前記通行人の移動軌跡を抽出することを特徴とする
【０００９】
請求項５記載の通行人軌跡抽出システムは、通行人の位置や物体を検知する複数の検知手段と、前記複数の検知手段に対応して設けられ、各検知手段から出力される検知データから通行人の位置座標を抽出する複数のクライアントと、前記複数のクライアントを制御するサーバとを具備し、前記サーバは、前記検知手段の検知時間を同期する同期手段と、前記複数のクライアントから送信される通行人の位置座標を１つの座標系に統合する統合手段と、前記統合手段によって得られた通行人の位置座標から該通行人の移動軌跡を抽出する軌跡抽出手段とを有することを特徴とする。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明の一実施形態に係る通行人軌跡抽出装置の概略構成を示すブロック図である。１はサーバであり、ネットワークＮを介してクライアント１１〜１３を制御する。クライアント１１〜１３は、それぞれレーザセンサ２１〜２３（検知手段）を制御する。
レーザセンサ２１〜２３は、それぞれ異なる場所の床に設置され、地面から約２０ｃｍの高さの水平面でスキャンし、最大半径７０ｍの範囲内の通行人を検知する。このとき、レーザ光は通行人の足に当たることになる。またレーザセンサ２１〜２３は、角度２７０度の範囲でスキャンし、０．２５度の刻みで、周辺物（固定物と移動物）までの距離を直接計測し、それぞれクライアント１１〜１３にデータを送る。
【００１１】
次に、上記構成におけるサーバ１とクライアント１１〜１３の動作について、図２と図３を参照して説明する。図２はサーバ１の動作、図３はクライアント１１〜１３の動作を示す。
まず、サーバ１はクライアント１１〜１３に同期信号を送る（ステップＳａ１）。クライアント１１〜１３はその信号を受信すると（ステップＳａ１１）時刻同期を行う（ステップＳａ１２）。
サーバ１はクライアント１１〜１３にデータをリクエストするリクエスト信号を送信する（ステップＳａ２）。クライアント１１〜１３がそのリクエスト信号を受信すると（ステップＳａ１３）、それぞれ対応したレーザセンサ２１〜２３は１回スキャンし周辺物を検知する。クライアント１１〜１３はその１スキャンのデータを取得し、サンプルデータとしてサーバ１に送る（ステップＳａ１４）。
【００１２】
このとき、レーザセンサ２１〜２３は、隣接する少なくとも２つのレーザセンサで共通な固定物を検知するよう、検知範囲がお互いに若干重複するように設置されている。また、レーザセンサ２１〜２３が計測したレーザデータはレーザセンサ２１〜２３それぞれ独自に設定したローカル座標系に相対している。
サーバ１はクライアント１１〜１３からサンプルデータを受信し（ステップＳａ３）、各サンプルデータから、共通な固定物に対する計測データを視覚的に判断してそれらをマッチングし、１つのデータに統合する。そして、クライアント毎の座標系変換パラメータを決定する（ステップＳａ４）。
このようにして同一時刻かつ同一座標系に統合したデータを１フレームとする。
【００１３】
次に、サーバ１はクライアント１１〜１３に計測開始信号を送る（ステップＳａ５）。クライアント１１がその計測開始信号を受信すると（ステップＳａ１５）、レーザセンサ２１は周辺物をスキャンする。クライアント１１はスキャンしたデータを取得する（ステップＳａ１６）。
レーザセンサ２１は、固定物に対して常に同じ角度で同じ距離値を計測している。クライアント１１は、レーザセンサ２１がスキャンした２００のデータを時系列ごとに重ねる。そして、時間とともに変化しない固定物を抽出し、背景データを生成する。この背景データは１時間おきに更新される（ステップＳａ１７）。クライアント１１はレーザセンサ２１の計測したデータから、背景差分により移動物に当たる動体データを抽出し（ステップＳａ１８）、動体データをサーバ１に送る（ステップＳａ１９）。ステップＳａ１６からステップＳａ１９の動作は、計測終了まで繰り返される。
クライアント１２、１３と対応するレーザセンサ２２、２３もそれぞれ同様の動作を行う。
【００１４】
サーバ１はクライアント１１〜１３から動体データを受信し（ステップＳａ６）、ステップＳａ４で計算した座標系変換パラメータによって同一座標系に統合し、１フレームのデータを作成する（ステップＳａ７）。そして、サーバ１は座標変換した動体データから通行人の軌跡を求める（ステップＳａ８）。軌跡の求め方はサブルーチンとして後に述べる。
サーバ１が軌跡の測定を終了したら（ステップＳａ９）、クライアント１１〜１３に計測終了信号を送信する（ステップＳａ１０）。クライアント１１〜１３はその計測終了信号を受信すると（ステップＳａ２０）、処理を終了する。
以上により、サーバ１は統合したデータ上で通行人の軌跡を検出することができる。
【００１５】
次に、ステップＳａ８において通行人の軌跡を求めるサーバ１の動作を、図４を参照して説明する。
【００１６】
通行人の足１本にはレーザ光が数点当たる。サーバ１は、ステップＳａ７で座標変換された動体データが、半径１０ｃｍ以内に集まっているものを、１本の足にあたるデータとしてクラスタ化し、半径１０ｃｍの円にして足断面データとする（ステップＳｂ１）。次にサーバ１は、３０ｃｍ以内の距離にある足断面データ全てを２個づつグループ化し、通行人の候補とみなす。次にサーバ１は、グループ化した２つの足断面データの中点を取り、通行人候補の重心点とする（ステップＳｂ２）。図１１にクラスタ化とグループ化の例を示す。
【００１７】
サーバ１は、ステップＳｂ２で抽出した重心点を利用して、前の時刻におけるフレームで登録された既存の軌跡を現在フレームまで延長する（ステップＳｂ３）。このステップＳｂ３における軌跡の延長手法について図５を参照して説明する。
サーバ１は、前の時刻におけるフレームで登録された既存の軌跡に対して、通行人の重心点の移動速度や方向などによって、現在フレームにおける重心点の探索範囲を定める（ステップＳｃ１）。次にサーバ１は、その探索範囲において、通行人候補の重心点を探索する（ステップＳｃ２）。重心点が見つかった場合（ステップＳｃ３で「Ｙｅｓ」）、通行人の重心点の移動速度や方向などで予測される、最も近い重心点まで軌跡を延長する（ステップＳｃ４）。また、その重心点を結んで通行人の歩いた軌跡とする。そしてサーバ１は、通行人の重心点の位置、移動速度、方向などを更新する。
サーバ１は、重心点が見つからなかった回数を数えるカウンタを有する。重心点が見つからなかった場合（ステップＳｃ３で「Ｎｏ」）、カウンタが４以下であれば（ステップＳｃ５で「Ｎｏ」）、カウンタに１を加算する（ステップＳｃ６）。カウンタが５以上であれば（ステップＳｃ５で「Ｙｅｓ」）、該当軌跡の追跡を終了する（ステップＳｃ７）。
続けて、前の時刻におけるフレームで登録された他の既存の軌跡を現在フレームまで延長する場合は（ステップＳｃ８で「Ｙｅｓ」）、ステップＳｃ１の処理に戻る。
【００１８】
図４に戻って、人間は、歩行する際に両足を交互に移動するので、足断面データが重なっている足のグループを、時系列上連続したフレームから抽出すれば、通行人１人が歩行しているとみなすことができる（図１２を参照）。サーバ１は、前の時刻におけるフレームで登録された既存の軌跡に属していない足のグループに対して、連続３つ以上のフレームに足断面データが重なっているグループを抽出する（ステップＳｂ４）。次にサーバ１は、それぞれの足のグループにおける重心点を抽出し、それら重心点を結び、新たな軌跡として登録する（ステップＳｂ５）。
【００１９】
次に、カルマンフィルタを用いて通行人の軌跡を求めるサーバ１の動作を説明する。まず、図６に全体の動作を示す。各計測時刻に、まず各クライアントから動体データを収集し、座標系統合を行う（ステップＳｄ１）。半径１０ｃｍ以内に集まっている動体データを足断面データとしてクラスタ化し（図１１を参照）、その中心点を足の位置データとして求める（ステップＳｄ２）。既に抽出された軌跡データをカルマンフィルタ手法によって現在フレームに延長する（ステップＳｄ３）。既に抽出された軌跡に属しない足データに対して、３０ｃｍ以内の距離にあるものをグループ化し（ステップＳｄ４）、足データが重なっているグループが３つ以上連続なフレームから検出されるならば、新規軌跡として抽出し（ステップＳｄ５）、カルマンフィルタ（新規軌跡）の初期状態を設定する。この過程を軌跡測定終了まで繰り返す。
【００２０】
ステップＳｄ３において、既に抽出された軌跡データをカルマンフィルタによって現在フレームまで延長する手法を図７に示す。各軌跡データに対して、まず前フレーム目までの軌跡データによって現在計測フレームにおける状態ベクトルと計測データ（両足の位置）を予測して、探索範囲を決める（ステップＳｅ１）。この詳細については後に述べる。次に、探索範囲に該当足の計測データを探索する（ステップＳｅ２）。足データが見つかった場合（ステップＳｅ３で「Ｙｅｓ」）、予測した計測データに最も近い足データを現在フレームにおける計測データとする（ステップＳｅ４）。足データが見つからなかった場合、見つからなかった回数を数えるカウンタが５以上ならば（ステップＳｅ５で「Ｙｅｓ」）、この軌跡が終了したと考え（ステップＳｅ８）、その他の軌跡を検討する。カウンタが４以下ならば（ステップＳｅ５で「Ｎｏ」）、カウンタに１を加算し（ステップＳｅ６）、予測した計測データを現在フレームにおける計測データとする（ステップＳｅ７）。最後に現在フレームにおける計測データを利用して、予測された状態ベクトルを更新する（ステップＳｅ９）。この詳細については後に述べる。
続けて、前フレーム目までの他の既存の軌跡を現在フレームまで延長する場合は（ステップＳｅ１０で「Ｙｅｓ」）、ステップＳｅ１の処理に戻る。
【００２１】
ここで、歩行者モデルを検討する。人間は、歩行する際に両足を交互に移動する。片方の足が着陸してからもう片方の足が振りはじめる。それが単純化した例を図８に示してある。
両足の運びに４つの位相を定義する。両足とも静止の状態から、右足だけが加速して、両足の位置が揃った地点までを位相１と定義する。それから右足が減速し、着地するまでを位相２と定義する。着地する時点に両足の移動速度がほぼ静止の状態に戻る。同じく左足だけの加速を位相３、減速を位相４と定義する。両足に施す加速度は足の筋肉などからの力によって決められる。
【００２２】
歩行者モデルを左足と右足が水平面（統合座標系）に置ける速度（ｖ_Ｌとｖ_Ｒ）、加速度（ａ_Ｌとａ_Ｒ）、位置（ｐ_Ｌとｐ_Ｒ）によって評価する。そこで、歩行者モデルを計測時刻によって変化するパラメータ（位置、速度）と足振り位相によって変化するパラメータ（加速度）に分けて、離散型カルマンフィルタを定義する。
【００２３】
【数１】

【００２４】
ｓ_ｋ，ｎは計測時刻ｋ（ｋフレーム）に歩行者ｎの両足の位置、速度による状態ベクトルである。ｕ_ｋ，ｎは計測時刻ｋ（ｋフレーム）に歩行者ｎの両足の加速度ベクトルである。ωは状態モデル誤差である。本例ではωが定数であると仮定して、ある経験値によって設定する。
【００２５】
【数２】

【００２６】
Φは両足の位置、速度に関する既存知識によって現在時刻にある両足の位置、速度を推定する行列関係式である。Ψは加速度によって位置、速度の変化を表す行列関係式である。それぞれを［数３］［数４］式に定義する。ここで、Δｔは計測間隔であり、本例では、Δｔはほぼ０．１ｓｅｃである。
【００２７】
【数３】

【００２８】
【数４】

【００２９】
状態ベクトルｓ_ｋ，ｎを［数５］式のように計測値と関連づける。また状態ベクトルｕ_ｋ，ｎは足振り位相を検出することによって更新される。
【００３０】
【数５】

【００３１】
ここで、ｍ_ｋ，ｎは計測時刻ｋに歩行者ｎを計測された両足の位置データである。Ｈは状態ベクトルｓ_ｋ，ｎと計測データｍ_ｋ，ｎとの関係式である。εは計測誤差である。本例ではεが定数であると仮定して、ある経験値によって設定する。
【００３２】
【数６】

【００３３】
【数７】

【００３４】
図９には状態モデルの予測を示してある。歩行者ｎの歩行軌跡を、
Ｔｎ＝ｓ_１，ｎ，ｓ_２，ｎ，…，ｓ_{ｋ−１，ｎ}
によって定義する。計測時刻ｋにおける状態モデルの予測は図１３のアルゴリズムで行われる。
Ｑ＝Ｅ［ωω^Ｔ］とＰ⁻＝Ｅ［（ｓ−ｓ⁻）（ｓ−ｓ⁻）^Ｔ］はそれぞれ状態モデル誤差と事前推定誤差の共分散行列である。また、加速度に関する状態ベクトルｕ⁻ _ｋ，ｎに対する予測は、図１４のアルゴリズムで行われる。図１４において、ｆ_Ｒとｆ_Ｌは両足の加速度関数である。本例では両足に施す加（減）速度が等しく、また各位相は一定な常数であると単純化する。
【００３５】
予測された現在フレームにおける計測データによって探索範囲を決めて、該当する計測された両足のデータを探索し、更新する（図７のステップＳｅ２〜Ｓｅ８参照）。それによって現在フレームにおける状態ベクトルを図１５のように求める（図１０参照）。ここで、Ｋはカルマンゲイン、Ｒ＝Ｅ［εε^Ｔ］とＰ＝Ｅ［（ｓ−ｓ）（ｓ−ｓ）^Ｔ］はそれぞれ計測誤差と事後推定誤差の共分散行列である。
【００３６】
以上説明したように、本実施形態によれば、複数のレーザセンサで通行人を検出することによって、広範囲にわたる検出を行うことができる。また、複数のレーザセンサの検出データから、それぞれ１台ずつ接続されたクライアントが動体データを抽出し、それをサーバが座標変換することで１つの座標系に統合し、軌跡を抽出することで、膨大な計算量を並列処理することができ、リアルタイムで通行人の軌跡を追うことができる。
【００３７】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００３８】
上記実施形態では、地表近くの水平面にレーザをスキャンして通行人を検知する構成としたが、例えば、入口のドアなど、地表と垂直にレーザをスキャンして、その入口に入った人数を検知したり、身長の差で男女、大人と子供を検知したりする構成としてもよい。
また、通行人の検知だけでなく、スーパーなどのショッピングカートや自動車を検知する構成としてもよい。
また、ビデオカメラの画像とレーザの軌跡データを組み合わせて、通行人の軌跡を映像として表示しても良い。
【００３９】
【発明の効果】
以上の説明で明らかなように、本発明によれば、複数の検知手段で通行人を検知し、同期手段によって検知時間の同期を行い、統合手段によって複数のクライアントが抽出した通行人の位置座標を１つの座標系に統合することで、広範囲にわたる通行人の移動軌跡を検出できる。また、複数の検知手段を複数のクライアントが個々に制御することで、計算量が少なくて済み、リアルタイムで通行人の移動軌跡を追うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る通行人軌跡計測システムの概略構成を示すブロック図である。
【図２】同実施形態におけるサーバ１の動作を示すフローチャートである。
【図３】同実施形態におけるクライアントの動作を示すフローチャートである。
【図４】同実施形態における重心点を用いた軌跡抽出の動作を示すフローチャートである。
【図５】同実施形態における重心点を用いた軌跡の延長方法の動作を示すフローチャートである。
【図６】同実施形態におけるカルマンフィルタを用いた軌跡抽出の動作を示すフローチャートである。
【図７】同実施形態におけるカルマンフィルタを用いた軌跡の延長方法の動作を示すフローチャートである。
【図８】同実施形態における通行人の歩行モデルの例である。
【図９】同実施形態におけるカルマンフィルタを用いた状態モデルの予測を示すフローチャートである。
【図１０】同実施形態におけるカルマンフィルタを用いた状態モデルの更新を示すフローチャートである。
【図１１】同実施形態における通行人の足を判別するクラスタ化とグループ化の例を示す。
【図１２】同実施形態における通行人の両足が交互に移動するパターンの判別による新規軌跡の抽出の例を示す。
【図１３】同実施形態におけるカルマンフィルタを用いた状態モデルの予測を示すアルゴリズムである。
【図１４】同実施形態における足振り位相の判別による加速度に関する状態ベクトルの予測を示すアルゴリズムである。
【図１５】同実施形態におけるカルマンフィルタを用いた状態ベクトルの更新を示すアルゴリズムである。
【符号の説明】
１…サーバ、１１〜１３…クライアント、２１〜２３…レーザセンサ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a pedestrian trajectory extraction device and system used when measuring the number and behavior of pedestrians over a wide range.
[0002]
[Prior art]
Contactless measurement of the number and behavior of pedestrians is increasing in many fields, such as building security and marketing. Conventionally, many methods for measuring position information of a person in a non-contact manner have used video images. However, video images have a problem in data extraction, such as difficulty in tracking when humans intersect. Therefore, in recent years, a measurement method using a laser sensor, which can directly measure a distance or a speed, has been used.
The resolution of the laser sensor is very high because the diffusion of the laser wave is small. Further, the measurable range is very large, and the measurement error is very small.
In a conventional technique using a laser sensor, there is a technique in which a reflector having a different pattern is wound around an object to be measured and the position is measured by one laser sensor (for example, see Patent Document 1).
[0003]
[Patent Document 1]
JP-A-11-211831
[Problems to be solved by the invention]
However, in a place where many passers-by exist, people overlap with each other, so that a single laser sensor cannot extract well. Also, there is a limit to the range that can be measured with one laser sensor.
The present invention has been made in view of such a point, and a plurality of laser sensors detect the position coordinates of a pedestrian, a server converts the detected data into coordinates, integrates the data, and allows real-time and wide-area traffic. An object of the present invention is to provide a trajectory extraction device for extracting a trajectory of a person.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, a passer-by trajectory extraction device according to claim 1 controls a plurality of clients provided in correspondence with a plurality of detecting means for detecting a position or an object of a passer-by. In the trajectory extraction device, a synchronization means for synchronizing detection times of the plurality of detection means, and position coordinates of a pedestrian extracted by the plurality of clients from data detected by the plurality of detection means are integrated into one coordinate system. And trajectory extracting means for extracting a trajectory of the pedestrian from the position coordinates of the pedestrian obtained by the integrating means.
[0006]
According to a second aspect of the present invention, in the trajectory extraction device according to the first aspect, the detection means is a laser sensor, and scans horizontally near the ground to detect a foot of a pedestrian. .
[0007]
According to a third aspect of the present invention, in the trajectory trajectory extraction apparatus according to the first or second aspect, the trajectory extraction means groups two foot data of the pedestrian detected by the detection means, and Extracting the center of gravity of the foot data, extracting the group where the foot data overlaps, connecting the center of gravity of the two foot data of the extracted group to extract the movement trajectory of the passer, It is characterized by setting the moving speed and direction of the moving object.
[0008]
According to a fourth aspect of the present invention, in the trajectory trajectory extraction device according to the first or second aspect, the trajectory extraction means defines a walking model of a pedestrian's foot detected by the detection means, and The state of speed, direction, and foot swing phase is calculated by a Kalman filter, and the trajectory of the pedestrian is extracted.
6. The passer-trajectory extraction system according to claim 5, wherein a plurality of detecting means for detecting a position or an object of the passer-by are provided in correspondence with the plurality of detecting means, and the passer-by is used based on detection data output from each detecting means. A plurality of clients for extracting position coordinates of a person; and a server for controlling the plurality of clients, wherein the server is transmitted from the plurality of clients and a synchronization unit for synchronizing the detection time of the detection unit. Integrating means for integrating the position coordinates of the passer-by into one coordinate system, and trajectory extracting means for extracting the trajectory of the passer-by from the position coordinates of the passer obtained by the integrating means. .
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a schematic configuration of a trajectory extraction device according to an embodiment of the present invention. Reference numeral 1 denotes a server, which controls the clients 11 to 13 via the network N. The clients 11 to 13 control the laser sensors 21 to 23 (detection means), respectively.
The laser sensors 21 to 23 are installed on floors in different places, respectively, scan on a horizontal plane at a height of about 20 cm from the ground, and detect a pedestrian within a range of a maximum radius of 70 m. At this time, the laser light hits the foot of the passerby. The laser sensors 21 to 23 scan at an angle of 270 degrees, directly measure distances to peripheral objects (fixed objects and moving objects) at intervals of 0.25 degrees, and send data to the clients 11 to 13, respectively. send.
[0011]
Next, operations of the server 1 and the clients 11 to 13 in the above configuration will be described with reference to FIGS. 2 shows the operation of the server 1, and FIG. 3 shows the operation of the clients 11 to 13.
First, the server 1 sends a synchronization signal to the clients 11 to 13 (step Sa1). Upon receiving the signal (step Sa11), the clients 11 to 13 perform time synchronization (step Sa12).
The server 1 transmits a request signal for requesting data to the clients 11 to 13 (step Sa2). When the clients 11 to 13 receive the request signal (step Sa13), the corresponding laser sensors 21 to 23 scan once to detect peripheral objects. The clients 11 to 13 acquire the data of one scan and send them to the server 1 as sample data (step Sa14).
[0012]
At this time, the laser sensors 21 to 23 are installed so that their detection ranges slightly overlap each other so that at least two adjacent laser sensors detect a common fixed object. Further, the laser data measured by the laser sensors 21 to 23 are relative to the local coordinate system uniquely set for each of the laser sensors 21 to 23.
The server 1 receives the sample data from the clients 11 to 13 (step Sa3), visually judges measurement data for a common fixed object from each sample data, matches them, and integrates them into one data. Then, a coordinate system conversion parameter for each client is determined (step Sa4).
Data integrated at the same time and in the same coordinate system in this manner is defined as one frame.
[0013]
Next, the server 1 sends a measurement start signal to the clients 11 to 13 (step Sa5). When the client 11 receives the measurement start signal (step Sa15), the laser sensor 21 scans the surroundings. The client 11 acquires the scanned data (Step Sa16).
The laser sensor 21 always measures the same distance value at the same angle with respect to the fixed object. The client 11 superimposes the 200 data scanned by the laser sensor 21 in time series. Then, a fixed object that does not change with time is extracted to generate background data. This background data is updated every hour (step Sa17). The client 11 extracts the moving object data corresponding to the moving object from the data measured by the laser sensor 21 based on the background difference (step Sa18), and sends the moving object data to the server 1 (step Sa19). The operation from step Sa16 to step Sa19 is repeated until the measurement is completed.
The

laser sensors

22 and 23 corresponding to the

clients

12 and 13 respectively perform the same operation.
[0014]
The server 1 receives the moving object data from the clients 11 to 13 (step Sa6), integrates them into the same coordinate system using the coordinate system conversion parameters calculated in step Sa4, and creates one frame of data (step Sa7). Then, the server 1 obtains the trajectory of the pedestrian from the moving body data subjected to the coordinate conversion (step Sa8). The method of obtaining the trajectory will be described later as a subroutine.
When the server 1 ends the measurement of the trajectory (step Sa9), it transmits a measurement end signal to the clients 11 to 13 (step Sa10). Upon receiving the measurement end signal (step Sa20), the clients 11 to 13 end the processing.
As described above, the server 1 can detect the trajectory of the passerby on the integrated data.
[0015]
Next, the operation of the server 1 for obtaining the trajectory of the pedestrian in step Sa8 will be described with reference to FIG.
[0016]
A laser beam hits one leg of a passerby. The server 1 clusters the moving object data subjected to the coordinate conversion in step Sa7 within a radius of 10 cm as data corresponding to one foot, and forms a circle having a radius of 10 cm as foot sectional data (step Sb1). . Next, the server 1 groups all the foot cross-section data within a distance of 30 cm or less into two groups and regards them as passer-by candidates. Next, the server 1 takes the midpoint of the two grouped foot cross-section data and sets it as the center of gravity of the passerby candidate (step Sb2). FIG. 11 shows an example of clustering and grouping.
[0017]
The server 1 extends the existing trajectory registered in the frame at the previous time to the current frame by using the center of gravity extracted in step Sb2 (step Sb3). The method of extending the trajectory in step Sb3 will be described with reference to FIG.
The server 1 determines the search range of the center of gravity of the current frame with respect to the existing locus registered in the frame at the previous time, based on the moving speed and direction of the center of gravity of the passerby (step Sc1). Next, the server 1 searches for the center of gravity of the passerby candidate in the search range (step Sc2). If the center of gravity is found (“Yes” in step Sc3), the trajectory is extended to the nearest center of gravity predicted by the moving speed and direction of the pedestrian's center of gravity (step Sc4). In addition, the center of gravity is connected to the path of the pedestrian walking. Then, the server 1 updates the position, the moving speed, and the direction of the center of gravity of the passerby.
The server 1 has a counter for counting the number of times that the center of gravity is not found. When the center of gravity is not found (“No” in step Sc3), if the counter is 4 or less (“No” in step Sc5), 1 is added to the counter (step Sc6). If the counter is 5 or more (“Yes” in step Sc5), the tracking of the corresponding trajectory ends (step Sc7).
Subsequently, if another existing trajectory registered in the frame at the previous time is extended to the current frame (“Yes” in step Sc8), the process returns to step Sc1.
[0018]
Returning to FIG. 4, since the human alternately moves both feet when walking, if a group of feet with overlapping foot cross-sectional data is extracted from a time-series continuous frame, one passerby can walk. (See FIG. 12). The server 1 extracts a group in which foot cross-section data overlaps three or more consecutive frames with respect to a group of feet that do not belong to the existing trajectory registered in the frame at the previous time (step Sb4). Next, the server 1 extracts the center of gravity of each foot group, connects the centers of gravity, and registers it as a new trajectory (step Sb5).
[0019]
Next, the operation of the server 1 for obtaining the trajectory of the passerby using the Kalman filter will be described. First, FIG. 6 shows the overall operation. At each measurement time, first, moving object data is collected from each client, and coordinate system integration is performed (step Sd1). Moving object data collected within a radius of 10 cm is clustered as foot cross-sectional data (see FIG. 11), and the center point is obtained as foot position data (step Sd2). The trajectory data already extracted is extended to the current frame by the Kalman filter technique (step Sd3). For foot data that does not belong to the already extracted trajectory, those that are within a distance of 30 cm are grouped (step Sd4). If a group where foot data overlaps is detected from three or more consecutive frames, It is extracted as a new trajectory (step Sd5), and the initial state of the Kalman filter (new trajectory) is set. This process is repeated until the trajectory measurement is completed.
[0020]
FIG. 7 shows a method for extending the already extracted trajectory data to the current frame by the Kalman filter in step Sd3. For each trajectory data, first, the state vector and the measurement data (the position of both feet) in the current measurement frame are predicted based on the trajectory data up to the previous frame, and the search range is determined (step Se1). The details will be described later. Next, the measurement data of the corresponding foot is searched in the search range (Step Se2). When the foot data is found (“Yes” in step Se3), the foot data closest to the predicted measurement data is set as the measurement data in the current frame (step Se4). When the foot data is not found, if the counter for counting the number of times that the foot data is not found is 5 or more (“Yes” in step Se5), it is considered that this trajectory has ended (step Se8), and other trajectories are examined. If the counter is 4 or less ("No" in step Se5), 1 is added to the counter (step Se6), and the predicted measurement data is used as the measurement data in the current frame (step Se7). Finally, the predicted state vector is updated using the measurement data in the current frame (step Se9). The details will be described later.
Subsequently, when extending another existing trajectory up to the previous frame to the current frame (“Yes” in step Se10), the process returns to step Se1.
[0021]
Now consider the pedestrian model. Humans move their feet alternately when walking. After one foot lands, the other starts to swing. An example of a simplification is shown in FIG.
Four phases are defined for carrying both feet. Phase 1 is defined as a state from a state where both feet are still, to a point where only the right foot accelerates and both feet are aligned. Then, the phase until the right foot decelerates and lands is defined as phase 2. At the time of landing, the movement speed of both feet returns to a state of almost still. Similarly, acceleration of only the left foot is defined as phase 3, and deceleration is defined as phase 4. The acceleration applied to both feet is determined by the force from the muscles of the feet.
[0022]
The pedestrian model is evaluated based on the speed (v _L and v _R ), acceleration (a _L and a _R ), and position (p _L and p _R ) at which the left foot and the right foot can be placed on a horizontal plane (integrated coordinate system). Therefore, the discrete Kalman filter is defined by dividing the pedestrian model into parameters (position and speed) that change according to the measurement time and parameters (acceleration) that change according to the phase of foot swing.
[0023]
(Equation 1)

[0024]
_{sk, n} is a state vector based on the position and speed of both feet of the pedestrian _n at the measurement time k (k frame). u _{k, n} are acceleration vectors of both feet of pedestrian _n at measurement time k (k frame). ω is a state model error. In this example, it is assumed that ω is a constant, and is set by a certain empirical value.
[0025]
(Equation 2)

[0026]
Φ is a matrix relational expression for estimating the position and speed of both feet at the current time based on existing knowledge about the position and speed of both feet. Ψ is a matrix relational expression representing a change in position and speed according to acceleration. Each of them is defined by

Expressions

3 and 4. Here, Δt is a measurement interval, and in this example, Δt is approximately 0.1 sec.
[0027]
[Equation 3]

[0028]
(Equation 4)

[0029]
The state vector _{sk, n} is related to the measured value as in [Equation 5]. The state vector uk _{, n} is updated by detecting the foot swing phase.
[0030]
(Equation 5)

[0031]
Here, _{mk, n} are the position data of both feet at which the pedestrian n was measured at the measurement time k. H is a relational expression between the state vector _{sk, n} and the measurement data _{mk, n} . ε is a measurement error. In this example, it is assumed that ε is a constant, and is set by a certain empirical value.
[0032]
(Equation 6)

[0033]
(Equation 7)

[0034]
FIG. 9 shows the prediction of the state model. The walking locus of pedestrian n
Tn = s _{1, n} , s _{2, n} , ..., _{sk-1, n}
Defined by The prediction of the state model at the measurement time k is performed by the algorithm in FIG.
Q = E [ωω ^T ] and P ⁻ = E [(s−s ⁻ ) (s−s ⁻ ) ^T ] are the covariance matrices of the state model error and the prior estimation error, respectively. The state vector ^u about acceleration _- predictions for _{k, n} is performed in the algorithm of FIG. 14. In FIG. 14, f _R and f _L are acceleration functions of both feet. In this example, the acceleration (deceleration) applied to both feet is the same, and each phase is a constant constant for simplification.
[0035]
The search range is determined based on the predicted measurement data in the current frame, and the corresponding measured data of both feet is searched and updated (see steps Se2 to Se8 in FIG. 7). Thereby, the state vector in the current frame is obtained as shown in FIG. 15 (see FIG. 10). Here, K is the Kalman gain, and R = E [εε ^T ] and P = E [(s−s) (s−s) ^T ] are the covariance matrices of the measurement error and the posterior estimation error, respectively.
[0036]
As described above, according to the present embodiment, a wide range of detection can be performed by detecting a pedestrian with a plurality of laser sensors. Also, from the detection data of the plurality of laser sensors, a client connected one by one extracts moving body data, and the server converts the moving body data into a single coordinate system by performing coordinate conversion, and extracts a trajectory. An enormous amount of calculation can be performed in parallel, and the trajectory of a passerby can be followed in real time.
[0037]
As described above, the embodiments of the present invention have been described in detail with reference to the drawings. However, the specific configuration is not limited to the embodiments, and may include a design change or the like without departing from the gist of the present invention.
[0038]
In the above embodiment, the laser is scanned on a horizontal plane near the ground surface to detect a pedestrian.For example, the laser is scanned perpendicularly to the ground surface, such as an entrance door, and the number of persons entering the entrance is detected. It is also possible to adopt a configuration in which a male or female, an adult and a child are detected based on a difference in height.
Further, a configuration may be adopted in which a shopping cart or a car such as a supermarket is detected as well as a pedestrian.
Alternatively, the trajectory of a passerby may be displayed as an image by combining the image of the video camera and the trajectory data of the laser.
[0039]
【The invention's effect】
As is apparent from the above description, according to the present invention, a plurality of detecting means detect a passerby, a synchronizing means synchronizes the detection time, and a plurality of clients extract the position coordinates of the passerby the integrating means. Is integrated into one coordinate system, so that the trajectory of the pedestrian over a wide range can be detected. In addition, since a plurality of clients individually control a plurality of detecting means, the amount of calculation is small, and the trajectory of a pedestrian can be tracked in real time.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of a pedestrian track measurement system according to an embodiment of the present invention.
FIG. 2 is a flowchart showing an operation of the server 1 in the embodiment.
FIG. 3 is a flowchart showing an operation of the client in the embodiment.
FIG. 4 is a flowchart showing an operation of trajectory extraction using a center of gravity in the embodiment.
FIG. 5 is a flowchart showing an operation of a method of extending a trajectory using a center of gravity in the embodiment.
FIG. 6 is a flowchart showing an operation of trajectory extraction using a Kalman filter in the embodiment.
FIG. 7 is a flowchart showing an operation of a trajectory extending method using a Kalman filter in the embodiment.
FIG. 8 is an example of a pedestrian walking model in the embodiment.
FIG. 9 is a flowchart showing prediction of a state model using a Kalman filter in the embodiment.
FIG. 10 is a flowchart showing updating of a state model using a Kalman filter in the embodiment.
FIG. 11 shows an example of clustering and grouping for discriminating a foot of a passer-by in the embodiment.
FIG. 12 shows an example of extraction of a new trajectory by discriminating a pattern in which both feet of a passerby move alternately in the embodiment.
FIG. 13 is an algorithm showing prediction of a state model using a Kalman filter in the embodiment.
FIG. 14 is an algorithm showing prediction of a state vector relating to acceleration by discrimination of a foot swing phase in the embodiment.
FIG. 15 is an algorithm showing updating of a state vector using a Kalman filter in the embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Server, 11-13 ... Client, 21-23 ... Laser sensor

Claims

In a passer trajectory extraction device, which controls a plurality of clients provided in correspondence with a plurality of detection means for detecting a position or an object of a passer,
Synchronization means for synchronizing the detection times of the plurality of detection means,
Integrating means for integrating the position coordinates of the pedestrian extracted by the plurality of clients into one coordinate system from the data detected by the plurality of detecting means;
Trajectory extraction means for extracting a trajectory of a pedestrian from the position coordinates of the pedestrian obtained by the integration means.

2. A trajectory extraction device according to claim 1, wherein said detection means is a laser sensor, and scans horizontally near the ground to detect a foot of a pedestrian.

The trajectory extraction means groups the two foot data of passersby detected by the detection means,
Extract the center of gravity of the two foot data,
Extract the group where the foot data overlaps,
3. The traffic according to claim 1, wherein the trajectory of the passer is extracted by connecting the center of gravity of the two foot data of the extracted group, and the moving speed and direction of the passer are set. Human trajectory extraction device.

The trajectory extraction unit defines a walking model of a foot of a passerby detected by the detection unit,
3. The passer trajectory extraction device according to claim 1, wherein the passer's movement speed, direction and foot swing phase are calculated by a Kalman filter to extract the passer's movement trajectory.

A plurality of detection means for detecting the position and objects of passers-by;
A plurality of clients provided corresponding to the plurality of detection means, for extracting position coordinates of a pedestrian from detection data output from each detection means,
A server that controls the plurality of clients,
The server comprises:
Synchronization means for synchronizing the detection time of the detection means,
Integrating means for integrating the position coordinates of the passerby transmitted from the plurality of clients into one coordinate system;
Trajectory extraction means for extracting a trajectory of the pedestrian from the position coordinates of the pedestrian obtained by the integration means.