JP2005011057A - Spatial information distribution device - Google Patents

Spatial information distribution device Download PDF

Info

Publication number
JP2005011057A
JP2005011057A JP2003174302A JP2003174302A JP2005011057A JP 2005011057 A JP2005011057 A JP 2005011057A JP 2003174302 A JP2003174302 A JP 2003174302A JP 2003174302 A JP2003174302 A JP 2003174302A JP 2005011057 A JP2005011057 A JP 2005011057A
Authority
JP
Japan
Prior art keywords
information
spatial
spatial information
unit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003174302A
Other languages
Japanese (ja)
Other versions
JP4286074B2 (en
Inventor
Ikuko Takanashi
郁子 高梨
Koji Wakimoto
浩司 脇本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2003174302A priority Critical patent/JP4286074B2/en
Publication of JP2005011057A publication Critical patent/JP2005011057A/en
Application granted granted Critical
Publication of JP4286074B2 publication Critical patent/JP4286074B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To acquire detailed dynamic information, which cannot be grasped by image information of a camera and the like alone, about a person/object and to merge the detailed dynamic information for performing display according to a level and distributing the merged information. <P>SOLUTION: This spatial information distribution device extracting characteristics from input information for detecting an abnormal condition by the input information is provided with a characteristic quantity extraction part 1a extracting characteristics of inputted image information and identification information obtained from individual detection objects, a sensor cooperation part 2a merging the image information and the identification information together, a distribution part 4a distributing characteristic quantity of spatial information obtained by merging, and a spatial information visualizing part leveling a type of the spatial information according to the degree of detail and display contents for acquiring leveled visible information, and the leveled visible information is distributed from the distribution part. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
この発明は、カメラ及びそれ以外のセンサー等との複数情報に基いて、空間上の情報を収集、分析して、受け取る側の状態や要求に応じて、空間情報を配信する空間情報配信装置に関するものである。
【0002】
【従来の技術】
従来の情報配信装置の例として、例えば特許文献1によれば、道路上の異常を検出する、異常事象検出装置がある。この装置によれば、道路をカメラで撮影し、その画像を解析することによって、対象となる車の速度、台数、の計測、停止物の検出などが可能で、渋滞度に応じて補正する。
速度、台数計測、異常走行監視機能、停止物検出、渋滞度計測機能を有し、速度、台数計測及び異常走行監視機能で得られる速度、台数に関するデータを渋滞度に応じてデータ補正する局所総合判断部を有することを特徴とする。
更に、背景差分特徴を抽出し、車両を追跡し、この結果交通流を計測(台数、速度)する。また、入力画像に対し、フレームの特徴を抽出し、停止車両を検出する。また、入力画像に対し、空間微分、時間微分の特徴を抽出し、渋滞度を計測する。これらの結果を局所総合判定部で総合判定し、異常事象の有無を判定する。
【0003】
各地点の渋滞度を平面的にプロットし、渋滞度の変化の度合いや、車線ごとの渋滞度などを空間的に捕らえることで、カメラ視野外の領域についての異常を推定する。
カメラ視野内の全ての区間で渋滞の場合は、計測範囲以外での異常、慢性的に渋滞が発生する場所なら慢性的な渋滞と判断する。計測範囲内で一部だけ渋滞している場合は、異常と判断する。
車線に対してどの範囲に車が多く走行しているか、速度の急激な変化を調べることで、異常走行や、落下物の検出などが可能である。
【0004】
【特許文献1】
特開平6−76195号公報
【0005】
【発明が解決しようとする課題】
従来の異常事象検出装置は以上のように構成されており、カメラからの画像(映像)だけを情報源とするため、撮影可能な車の検出や車の動きを捉えることができたが、画像解析だけでは抽出しにくい、人間の動きや、モノの動きには対応できない。特にカメラに映った人間の数が多い場合に、各人の動きを把握するのは困難であるという課題がある。
また、道路の混雑状況など車のマクロな動きを捕らえることができても、一台一台の動きなど、ミクロな動きに対応できない。
【0006】
この発明は上記のような課題を解決するためになされたもので、カメラだけでは把握できない、個々の詳細な動態情報を取得し、有用な情報に可視化して、利用することを目的とする。
【0007】
【課題を解決するための手段】
この発明に係る空間情報配信装置は、入力情報からその特徴を抽出してその入力情報により異常を検出する装置において、
入力の映像情報と、識別情報の特徴を抽出する特徴量抽出部と、
この映像情報と識別情報を融合するセンサー協調部と、
この融合して得られた空間情報の特徴量を配信する配信部とを備えた。
【0008】
【発明の実施の形態】
実施の形態1.
図1は、この発明の実施の形態1における空間情報配信装置を用いたシステムの例を示す図である。図において、無線付カメラ8からの映像情報以外に、新たに無線ICタグ6a、6bからの情報や、携帯端末(電話)等に装備されたGPS携帯端末7aからの情報を受け取る特徴量抽出部1aを備え、これらの複数の情報をセンサー協調部2aにより融合し、その結果を最新データベース(DB)12aに蓄積する。
ここで、融合とは、カメラからの映像やICタグからのID等の情報を分析した上で合成することである。
融合された情報を、ユーザに配信するが、その際に、空間情報配信部4aで情報の内容や状況により、配信すべきユーザを決定し、さらに配信先の端末、通信状況などを判断して、適切な可視化情報の生成を空間情報可視化部5aに依頼し、この空間情報可視化部5aから取得した可視化情報を上記ユーザに配信する。
【0009】
次に動作を説明する。図2の処理フローに基いて説明する。
図1における無線ICタグは、会社など、あるエリアに入門を許可された人につける。ICタグは、それぞれのIDを発信する。
またある間隔ごとに、または人の通過状況を監視したい場所に、無線付きカメラと、無線基地局装置を設置する。
無線基地局装置は、通過した人のICタグのIDを受信し、ステップ100aでセンターに送る。また、無線付カメラからの映像をステップ100cでセンターに送る。
たとえば、エリアXの近くを通過した人が持つICタグ6aの情報が無線基地局装置20a経由でセンターの空間情報配信装置21aに送信され、さらに、無線付カメラ8aの映像が送信される。
同様に、無線基地局装置20b経由でエリアYを通過する人が持つICタグ6bの情報、さらに、無線付カメラ8bの映像情報が送信される。
【0010】
空間情報配信装置21aでは、特徴量抽出部1aが、ステップ101で送信されたICタグのIDや映像の特徴量を抽出する。
エリアごとに、受信したICタグのIDと、入出時間を記録し、図3に示すように、最新DB12aに蓄積する。これは、各人の経路情報として利用できる。
また、時間ごと(例えば1秒毎)に認識したICタグの数、つまり通過した人の数をカウントし、蓄積する。
カメラ映像からは、人間を抽出する公知の技術を用いて画像中に動くオブジェクトを認識することで、通過した人の動きを抽出する。オブジェクトの動きベクトルを抽出することで、動きの速度、向きを特定できる。またICタグの場合と同様、オブジェクトの動きベクトルより時間毎(例えば1秒毎)の通過人数をカウントできる。
これらの情報から、通過した人数をカウントでき、例えば時間帯によって、通過する人が多い、留まる人が多くて混雑している、人の行き来がまったくない、などのマクロな動態情報を取得できる。
ここで得られた特徴量は、ステップ101aで最新DB12aに蓄積する。
【0011】
また、GPS等の位置検出センサー、および無線機能がある携帯端末7aを事前に登録しておけば、無線基地局装置20の近くを通った際に、無線基地局装置から、位置情報発信を依頼すると、携帯端末(電話)のGPS機能で捕らえた位置情報を無線基地局装置20に送信することで、ICタグをつけていなくても、ステップ100bで位置情報を把握できる。
【0012】
センサー協調部2aでは、カメラやセンサー等からの情報を解析した後、ステップ102で時間軸上で、それらの情報を融合する。
ところで、ICタグは、周波数の違いや、受信機の感度や発信機の出力の調整によって、受信できる距離に違いが出る。また、カメラは、向いている方向、ズーム、解像度などにより、カメラの位置から映像として捕らえられる範囲が変わる。
カメラの視野及びICタグの情報が獲得可能なエリアの例を図4に示す。
その場所で使っているICタグの性能、カメラの性能、設置条件、ICタグを付けた人が入ってくる方向などにより上記エリアの大きさが違う為、起動時から通過した人のデータを記録し、それによってICタグとカメラのずれを自動計算する。また、システムを切替えるたびに、ICタグとカメラのずれを自動計算する。
【0013】
このICタグとカメラのずれの自動計算について、以下に説明する。
この際、まず人の進む方向を認識して分類する必要がある。
最新DB12aに、各無線基地局の位置情報と、カメラの位置情報を保持している。さらに、エリアごとに、各ICタグの入出情報が保持されている。これにより、各ICタグの経路がわかり、これから進む方向もある程度予測できる。
例えば、エリアX,エリアY,エリアZが、図4のように直線上にあり、あるタグ0812が、エリアZ、エリアY、と言う方向に歩いていて、エリアYを退出した時点で、その方向から、エリアZの反対側にあるエリアXに行く可能性が高いと予測できる。
そして実際にエリアXで0812を受信すれば、エリアYの方向から来たICタグと推定できる。
複数の人の、ICタグの進む方向と入出時間を調べ、無線基地局間の距離、位置関係などをもとに突出した異常データを除く、複数の確からしいデータを平均化することで、進む方向と入出時間を求めて記録する。
さらにカメラでの認識情報と融合することで、センサーごとのずれを計算する。
【0014】
以上について詳細に説明する。
図4のように、A,Bというタグを持った人が互いに反対の方向に進む場合に、カメラと無線基地局によって捉えられるタイミングを時間軸であらわした例を、図5に示す。
図5(A)は、図4中の右方向であるAの方向に進む人を、センサーとカメラがそれぞれ捉える様子、図5(B)は同じく左方向であるBの方向に進む人の場合を示す。図5(A)と、図5(B)は、人が来る方向によって、ICタグを受信するタイミングとカメラで捕らえるタイミングが違うことを示している。図5(A)の方向で、人がICタグ受信範囲内E2に入る場合、カメラの視野内E1に近いため、ずれPが大きくないが、図5(B)の場合は、カメラの視野内E1より遠いため、ずれRが大きい。
反対に、エリアから出る場合には、図5(B)のずれSの方が図5(A)のずれQより小さいことがわかる。
【0015】
以上のように、(A),(B)、それぞれの方向で、タグとカメラによって捉える時間の侵入時と退出時のずれ時間の平均値を出す。
このずれ時間を使って、基地局が捉えたIDと、カメラが捉えた人を対応付ける。
例えば、複数人が少しずつずれてエリアE2に入った場合を考える。各タグがE2へ侵入した時間と、カメラで人を捉えた時間、捉えた位置、人の動きの向き、速度、および計算された「ずれ時間」をもとに、カメラで認識した人と、IDとを対応付ける。
このようにして、基地局で捉えたIDと、カメラで捉えた人を対応付けることで、その場の動態情報を収集して、解析を可能とする。また、カメラの映像上で顔がはっきり見えない等、顔の認識ができない場合でも、各人を認識することが可能となる。
なお、例では、A,Bの二つの方向だけについて説明したが、動きを調査して「ずれ時間」を計算する方向を3つ以上設定して計算することも可能で、精度の高い対応付けが可能になる。ただし、初期にデータを蓄積する人数を多くする必要がある。また、計算量も多くなる。
また、ずれの時間P,Q,R,Sを計測するために動きを計測する人数の設定、またはデータを収集する時間を設定することができる。
人の移動方向を特定するのに、カメラ映像を画像解析する手段も利用できる。
さらに、携帯電話のGPSでの位置取得など、他の手段による情報に関しても、同様に調整を行うことができる。
【0016】
また、ICタグで特定した人数と、カメラで特定した人数が違う場合で、カメラでの認識人数が少ない場合、他の人の影になる等、画像上で認識することができず、カウントし損ねた場合が考えられる。
反対に、カメラで認識した人数の方が多い場合は、ICタグをつけていない人が通過した可能性が考えられる。しかし、カメラ映像を解析し、人間がある場所を移動したということが特定できれば、ICタグを付けていない、入門の許可がない不審人物が通ったという判断が可能になる。
【0017】
カメラだけで人の動きや、通過した人数を把握しようとしても、人数が多くてカメラでは正確な人数を特定できない場合や、カメラの角度により、重なった人の顔を検出できない場合などがある。しかし、以上の実施形態では、ICタグの情報を有効に利用し、カメラや各種センサーの情報と融合することで、データを補正できるという効果があり、自動車以外の人や、荷物などの動態情報を得ることができる。段ボール箱が重なって移動されるような場合にも、ダンボール箱にICタグを貼付けておいて、このICタグのID情報を受信できれば、各々の箱の認識が可能である。例えば、温度センサーであれば、箱の温度変化と箱の動きの両方を監視できる。即ち、複数種類のセンサーを併用すれば、温度を識別情報の一部とすることもできる。
また、登録しておいた人物の顔認証が可能になってきたが、サングラスやマスクなどをしていることで各人の顔の特定が出来ない場合でも、ICタグのID情報により、誰が通ったかを特定できるため、人のマクロな動きだけでなく、一人一人の動きについて情報を取得可能となる。
【0018】
このように、カメラとICタグなどの各種センサーの情報を融合することにより、カメラ、またはセンサー単独では見逃してしまうような動態情報を取得可能である。
センサーの識別情報として、温度といっても、室温、気温、体温、など様々な温度があるし、他に、電波、赤外等の周波数の分布、強度や、気圧、水圧、等の圧力や、磁場の分布、強度や、風の向き、速度、水位、流量、流速、日照・日射、降雨量、積雪量、感震、傾斜など、また、ある物体や人の居る位置情報、など、あらゆるセンシング情報を対象とし得る。
例えば、エアコンが作動している部屋の中で、壁につけた様々なセンサーによって、室内のあらゆる場所における気温、温度、風の向き、日照・日射量等を測り、さらに、ビデオによる人の動きの速度や向きを監視し、赤外線により、人の身体の温まり具合を監視する。
このように、あ3次元空間における様々なセンシング情報を取得、監視し、その状況に応じて、異常個所を検出、または、快適な状態に戻すために必要な情報を配信する。
また、通常はセンサーで人数をカウントし、その結果、異常な可能性があると判断した場合に限り、その際の映像を画像処理して確認する、というような処理によって画像処理の負荷を減らすという方法も考えられる。
カメラと無線基地局装置は同じ間隔で設置しなくてもよい。その場合は、カメラが無線で自位置を無線基地局装置に送信することで、調整が可能である。
【0019】
次に、このようにして得られた様々なセンサーの融合情報を、可視化して配信する。
空間情報配信部4aでは、配信先の端末や、通信状況に応じて、可視化するレベルを設定して、空間情報可視化部5aに可視化を指示する。
例えば、3段階のレベルの可視化を設定していた場合、セキュリティ監視センターのように、広帯域で、大型ディスプレイがあるような配信先には、以下に説明するAレベルの情報を、インターネット情報としては、同じくBレベルの情報を、無線で情報を配信する携帯端末等には、同じくCレベルの情報を配信する。
また、空間情報配信部4aは、同じ映像を送る場合などでも、配信する端末や通信事情に応じて、映像データを変換する機能も備える。
【0020】
空間情報可視化部5aにおけるステップ105での可視化において、例えば、Aレベル:各エリアにおける、通過する人数のグラフを地図上の各エリアにマッピングする。
Bレベル:ユーザが地図上で選択したエリアに関してのみ、通過人数をグラフで表示。
Cレベル:選択エリアのグラフの代わりに、数字で表示する。
【0021】
以上の実施の形態1では、センサーやカメラにより、人やモノの動きを捕らえ、各データを協調させて有用な情報を取得し、配信できるため、カメラ単体、センサーのみ利用という場合に比べて、上述のような様々な効果が期待できる。
また取得した情報を、可視化して配信するため、文字などだけで情報を送る場合に比べ、瞬時に状況を判断しやすい。
【0022】
実施の形態2.
実施の形態2の構成図を図6に示す。これは、実施の形態1と比べて、特徴量抽出部、センター協調部を各エリアの基地局に設置し、空間情報配信部は、融合後の情報を受信して記憶、特徴分析して配信する。
各エリアには、無線付きカメラと共に、基地局22が設置される。また、基地局22には、無線基地局装置20c、特徴量抽出部1c、センサー協調部2cが設けられる。
【0023】
各々の装置、部の基本的な動作については、実施の形態1とほぼ同じであるが、特徴量抽出部1c、センサー協調部2cが、センターではなく、ローカルな基地局装置に分散して設置される。
各エリアにおいて、無線基地局装置20cが受け取った、センサー、カメラからの情報を特徴量抽出部1cで特徴抽出する。センサー協調部2cでは、それらのセンサー情報を融合する。
【0024】
融合されたセンサー情報は、基地局22からセンターの空間情報配信装置21bに送られる。これらのセンサー情報は、エリアA、エリアBなど、それぞれの場所における通過人数と通過した時間の情報が送られる。空間情報配信装置21bの空間情報可視化部5bで、エリアごとの通過人数が時間ごとに可視化され、空間情報配信部4bからユーザに配信される。
通信容量が少ない場合は、空間情報配信装置21bを経由せずに、近くを通った無線機能付き携帯電話に配信することも可能である。
上記実施の形態2では、各エリアで特徴抽出とセンサー協調を行うことで、映像等をセンターに送信するための通信量が少なくなる。従って、通信容量が少ない場合に、効果を発揮する。基地局装置で得た情報を、センターを経由せずに、直接、無線付き携帯電話などに配信するということも可能となる。
【0025】
実施の形態3.
構成は、実施の形態1と同じ図1で示される。また、各部における動作も、実施の形態1とほぼ同じであるが、センサー協調部の動作が異なる。センサー協調部において、時間的なデータの融合だけでなく、空間的な融合も行うことができる。
例えば、空間情報配信装置21aの特徴量抽出部1aで、センサー、またはカメラ映像の解析から、動いている人やモノの速度を計算する。
センサー協調部2aにおいて、各エリアのデータを空間的に融合する。例えば、あるエリアにおいてのみ、他と比べて異常に通過速度が遅い場合、そこに何か異常があると判断する。異常と判断された場合は、そこの近くにあるビデオカメラの映像を監視センターや監視員の携帯電話に配信し、警告する。
【0026】
以上のように、空間的な情報として各センサーからの情報を捕らえるため、各エリアの独立した情報だけではわからない、ある会社の構内、駅のホームなど、空間的な情報を捕らえることで、そのエリアで起こっている異常状態等を検出できる効果がある。
また、無線タグは、IDを発信して基地局で受信することにより、どのIDの無線タグが、どの基地局の近くにいるかということがわかるが、詳細な位置情報は不明である。
例えば、無線タグ0195が、図4の無線基地局装置20aに受信されたら、ID=0195は、E2の範囲内にいることがわかるが、それ以上高精度の位置情報は不明である。
しかし、センサー協調部2aでは、この人がカメラで捕らえる範囲E1に入るタイミングを計算できるため、最新DB12aに蓄えた、タグの経路情報からわかる、この人の進行方向に関する情報も含めて、画像上の人を特定することができる。これにより、範囲E2という大まかな位置情報から、ピンポイントの情報に絞り込むことができる。
【0027】
同様の動作から、センサー協調部2aは、カメラ映像上の人の顔を特定できる機能も保持する。
無線タグ受信範囲内E2に侵入するタイミングとカメラで捕らえるタイミングの調整により、カメラに映った人のIDを特定できる。
また、このタイミングから大きくずれがあり、かつ、カメラに映った人の数とICタグとの数が合わない場合は、ICタグを持たない不審者であると判断できる。
複数のエリアでICタグを付けていない人がいることがわかれば、その人の顔を、不審者の可能性ありということで、警告を発することが可能で、その経路をチェックすることで、進む方向を推測、追跡が可能となる。
以上のように、近くにある基地局からの情報、センサーやカメラで得られた情報を空間的に補間することで、ある人の進む方向を予測して追跡したり、正確な位置情報を絞り込んだりすることができる。
【0028】
次に空間情報可視化装置の動作に関して述べる。
実施の形態1において、Aレベルの可視化で、通過人数をエリアごとにグラフで表示すると記述したが、混雑度を空間的に把握しやすいように可視化することも可能である。
通過する人数の変化を図7に示す。通過する人の混雑度は、もちろんグラフでエリアごとに表現できるが、全体的な流れとしては瞬時に理解しにくい。そこで、人数の多さを「少ない」「平均的」「多い」「異常」のように分類する。
そして、人数の多さを、地図上などに線の太さや密度の違いで表現する。流れの方向を違う色で表現すると、なおわかりやすい。このような可視化を行うことにより、各エリア独立した情報に比べて、どこからどこに人が流れているか等、空間上の動態情報を一目で判断しやすい。
このように可視化し、配信先の端末や通信事情によって、可視化の内容を変えた例を、図8(A),(B),(C)に示す。
図8(A)は、混雑度を線の密度で可視化した図、図8(B)は、混雑度を線の太さで可視化した図、図8(C)は、携帯電話に配信する例を示す図である。
以上の実施の形態3では、空間的に融合された情報を可視化するため、各エリアにおける情報など、独立した情報を受け取る場合に比べ、空間全体における状況を判断しやすい。
実施の形態1において、可視化のレベルを判断するにあたり、人の人数である混雑度をパラメータとしたが、映像上の、人や物の動きベクトルの向きとその位置、または時間帯、または天気などのように、複数のパラメータの条件をもとに、設定することも可能である。
図7は、2次元グラフであり、これにレベルを設けて可視化の手法を分けているが、3次元的な情報をもとに、可視化を設定することも可能である。
実施の形態1においては、4つのレベルに分類したが、必要に応じて更にたくさんのレベル、例えば、数十というような細かなレベルに分けて、可視化の内容を変えることも可能である。
【0029】
実施の形態4.
本実施の形態における構成を図9に示す。
本構成は、図1の構成と比べて、センサー協調部2と空間情報配信部4の間に特徴量分析部3が入る。特徴量分析部3は、抽出した特徴量を用いて、パターン分析する。最新DB12は、センサー協調部2で融合した特徴量と、特徴量分析部3の結果である特徴パターンを蓄える。累積データベース13は、これまでの累積データのパターンを蓄える。
【0030】
次に動作について処理フローを表わす図10を用いて説明する。
例えば、ある駅への入場者を調べた場合に、時間をキーとして、他のパラメータのパターンを分析して、過去の累積データをパターン分類する。
時間ごとの人数の変化が、図7にように得られたとすると、例えば、人数を「少ない」「平均的」「多い」「異常」のように、時間を「T1」〜「T9」のように分類する。
そして、図7の場合は、T2の時間帯は、午前中で一番人数が多く、T8の時間帯が一日で一番多い。T3が午前中で一番人が少なく、T6が一日のうちで一番人数が少ない。ということがわかる。
同様に、平均速度等についてもパターン分析を行うことで、時間帯T2は人が多くて速度が速い、しかしT8は人数が多いが、速度は遅い、のようなパターン解析を行うことが可能となる。
その他、移動の向き、移動している人の性別、天気、など様々な要素を加えて、パターン解析を行うことで、様々な条件を考慮したパターン分類を行うことも可能である。
このように累積データをパターン分析し、得られたパターンを蓄える。
【0031】
リアルタイムで入手したデータについてもパターン分析を行い、累積データのパターンと比較する。ここでいうパターンとの比較とは、もっと詳細には、累積データの結果を、あるパラメータ値に応じて分類する、平均するなど、ある分析処理をした結果を、入手したデータと比較することをいう。又は、入手データについて処理したものと、上記累積データの処理結果と比較することをいう。
例えば、普段は人の出入りが少ないような時間にたくさんの人が入場した、普段の平均的な人数と比べて異常に出入りする人が多く移動速度も速い、普段人が進むべき方向と違う方向に大勢の人が進む、一箇所に異常に多くの人が密集して動かない、という風に、複数のパラメータの条件をもとに、パターンを分類し、滅多に起こらない状況を検出した場合などに警告する。
また、パターンの違い、パラメータの閾値情報などをもとに、警告のレベルを可変にすることも可能である。
可視化レベルを決定するために利用した図7の時間帯と混雑度のグラフを使ってパターン分類を行う例を示したが、可視化のレベルを決定するパラメータ情報と、パターン分類のためのパラメータ情報は、全く別のものでもよい。
また、図7は、2次元グラフであるが、3次元的な情報をもとに、パターンを分類することも可能である。
また、車の場合などでは、通常は蛇行しないような場所で、多くの車が蛇行する場合、車が急激に速度を上げて走り出した場合、等が挙げられる。蛇行した場合には、そこに障害物がある可能性もあるので、撮影画像を監視センターに送ることで確認を仰ぐことができる。
【0032】
単純なパターン分析を行い、パターンの出現頻度などを解析することで、通常に起こるパターン、定期的に起こるパターン、滅多にないパターンなどのように分析する。または、出現頻度以外に、統計的な手法を利用することで、異常なパターンや滅多にないパターンなど、注目するパターンを検出する。
このような自動的な判断以外に、パターン分類の結果、人間が異常とするパターンを設定することも可能である。
またリアルタイムデータとして蓄えるデータは、用途や状況に応じて一日分、一週間分などを設定する。累積データは、リアルタイムデータが古くなる度に累積されたデータであり、随時蓄えられる。累積データのパターン分析は、これも設定により、1週間に1回、1ヶ月に1回のように、定期的に行われるものとする。
上述の例では、パターン2,3に分類したが、必要に応じた更にたくさんの細かなレベルに分けて分類することも可能である。
【0033】
累積データだけをパターン分類して、リアルタイムデータをそこに割り当てることで、現在の状態を判断する。
他に、累積データと共に、リアルタイムデータを混ぜ合わせて、パターン分類をするやり方もある。後者の方が精度の高い分類ができるが、時間が掛かる。
【0034】
実施の形態4では、以上のような構成であるので、カメラ、ICタグなど様々なセンサーからの情報を収集して、パターン分析を行い、監視している状況が普段と比べて異常、または注目すべきであることを判断し、警告を発することができる。
また、累積データと比較することで、今後の予測を行うことができる。
【0035】
【発明の効果】
以上のようにこの発明によれば、入力の映像情報と識別情報を同時に特徴抽出する特徴量抽出部と、これらを融合するセンサー協調部と、融合した空間情報を配信する配信部とを備えたので、識別対象の正確な情報を把握して、レベル別に配信できる効果がある。
【図面の簡単な説明】
【図1】この発明の実施の形態1における空間情報配信装置と、それを用いたシステムの構成を示す図である。
【図2】実施の形態1における空間情報配信装置が行なう処理動作フローを示す図である。
【図3】実施の形態1における最新データベースが持つ識別タグのデータ例を示す図である。
【図4】実施の形態1におけるセンサー協調部が得る入力情報範囲を説明する図である。
【図5】実施の形態1におけるセンサー協調部が得る入力情報例を示す図である。
【図6】この発明の実施の形態2における空間情報配信装置と、それを用いたシステムの構成を示す図である。
【図7】この発明の実施の形態3における空間情報配信装置が配信する時間経過で示される空間データ例の図である。
【図8】実施の形態3における空間情報配信装置が配信する所定エリアでの空間データの例を示す図である。
【図9】この発明の実施の形態4における空間情報配信装置と、それを用いたシステムの構成を示す図である。
【図10】実施の形態4における空間情報配信装置が行なう処理動作フローを示す図である。
【符号の説明】
1,1a,1c 特徴量抽出部、2,2a,2c センサー協調部、4,4a,4b 空間情報配信部、5,5a,5b 空間情報可視化部、6,6a,6bICタグ、7,7a GPS携帯端末、8,8a,8b 無線付カメラ、12,12a 最新データベース、13 累積データベース、20a,20b,20c 無線基地局装置、21,21a,21b 空間情報配信装置、22,222a,222b 基地局。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a spatial information distribution device that collects and analyzes information on a space based on a plurality of information with a camera and other sensors, and distributes the spatial information according to the receiving side's state and request. Is.
[0002]
[Prior art]
As an example of a conventional information distribution apparatus, for example, according to Patent Document 1, there is an abnormal event detection apparatus that detects an abnormality on a road. According to this device, a road is photographed with a camera, and by analyzing the image, it is possible to measure the speed and number of vehicles, and to detect a stop, etc., and correct according to the degree of congestion.
Local synthesis that has speed, number measurement, abnormal running monitoring function, stop object detection, and congestion level measurement function, and corrects data related to speed and number obtained by speed, number measurement and abnormal driving monitoring function according to the congestion level It has a judgment part.
Furthermore, the background difference feature is extracted, the vehicle is tracked, and as a result, the traffic flow is measured (number, speed). Further, the feature of the frame is extracted from the input image, and the stopped vehicle is detected. Also, features of spatial differentiation and time differentiation are extracted from the input image, and the degree of congestion is measured. These results are comprehensively determined by the local comprehensive determination unit, and the presence or absence of an abnormal event is determined.
[0003]
By plotting the degree of congestion at each point in a plane and capturing the degree of change in the degree of congestion and the degree of congestion for each lane spatially, abnormalities in areas outside the camera's field of view are estimated.
In the case of traffic jams in all sections in the camera field of view, it is judged as chronic traffic jams if there is an abnormality outside the measurement range, or where chronic traffic jams occur. If there is only a part of the traffic in the measurement range, it is judged as abnormal.
Abnormal driving, detection of falling objects, and the like can be performed by examining a rapid change in speed in which range the vehicle is traveling with respect to the lane.
[0004]
[Patent Document 1]
JP-A-6-76195
[0005]
[Problems to be solved by the invention]
The conventional abnormal event detection apparatus is configured as described above, and since only the image (video) from the camera is used as the information source, it was possible to detect the car that can be photographed and capture the movement of the car. It cannot cope with human movements and movements that are difficult to extract by analysis alone. In particular, there is a problem that it is difficult to grasp the movement of each person when the number of people reflected on the camera is large.
In addition, even if it can capture macro movements of the car such as road congestion, it cannot respond to micro movements such as individual movements.
[0006]
The present invention has been made in order to solve the above-described problems. It is an object of the present invention to acquire individual detailed dynamic information that cannot be grasped only by a camera, visualize it as useful information, and use it.
[0007]
[Means for Solving the Problems]
The spatial information distribution device according to the present invention is a device that extracts features from input information and detects an abnormality from the input information.
A feature amount extraction unit for extracting features of the input video information and identification information;
Sensor cooperation unit that fuses this video information and identification information,
And a distribution unit that distributes feature quantities of the spatial information obtained by the fusion.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
FIG. 1 is a diagram showing an example of a system using the spatial information distribution apparatus according to Embodiment 1 of the present invention. In the figure, in addition to the video information from the wireless camera 8, a feature amount extraction unit for newly receiving information from the wireless IC tags 6 a and 6 b and information from the GPS portable terminal 7 a equipped in a portable terminal (phone) or the like. 1a, and a plurality of pieces of information are merged by the sensor cooperation unit 2a, and the result is stored in the latest database (DB) 12a.
Here, the term “fusion” refers to combining after analyzing information such as an image from a camera and an ID from an IC tag.
The fused information is distributed to the user. At that time, the spatial information distribution unit 4a determines the user to be distributed according to the content and status of the information, and further determines the terminal of the distribution destination, the communication status, etc. The spatial information visualization unit 5a is requested to generate appropriate visualization information, and the visualization information acquired from the spatial information visualization unit 5a is distributed to the user.
[0009]
Next, the operation will be described. This will be described based on the processing flow of FIG.
The wireless IC tag in FIG. 1 is attached to a person who is permitted to enter a certain area such as a company. The IC tag transmits each ID.
In addition, a wireless camera and a wireless base station device are installed at certain intervals or in places where it is desired to monitor the passage of people.
The radio base station apparatus receives the ID of the IC tag of the person who has passed, and sends it to the center in step 100a. Also, the video from the wireless camera is sent to the center in step 100c.
For example, the information of the IC tag 6a possessed by a person who has passed near the area X is transmitted to the center spatial information distribution device 21a via the radio base station device 20a, and further the video of the wireless camera 8a is transmitted.
Similarly, information on the IC tag 6b possessed by a person who passes through the area Y via the radio base station apparatus 20b and video information on the wireless camera 8b are transmitted.
[0010]
In the spatial information distribution device 21a, the feature amount extraction unit 1a extracts the ID of the IC tag and the feature amount of the video transmitted in step 101.
The ID of the received IC tag and the entry / exit time are recorded for each area, and are stored in the latest DB 12a as shown in FIG. This can be used as route information for each person.
Further, the number of IC tags recognized every time (for example, every second), that is, the number of people who have passed is counted and accumulated.
From the camera video, the motion of a person who has passed is extracted by recognizing a moving object in the image using a known technique for extracting a person. By extracting the motion vector of the object, the speed and direction of the motion can be specified. Similarly to the case of the IC tag, the number of passing people can be counted every time (for example, every second) from the motion vector of the object.
From these pieces of information, it is possible to count the number of people who have passed, and it is possible to acquire macro dynamic information such as, for example, that there are many people who pass through, there are many people who are staying, and there are no people coming and going.
The feature amount obtained here is accumulated in the latest DB 12a in step 101a.
[0011]
In addition, if a position detection sensor such as GPS and a mobile terminal 7a having a wireless function are registered in advance, when the wireless base station device 20 is passed, a request for position information transmission is made from the wireless base station device. Then, by transmitting the position information captured by the GPS function of the mobile terminal (telephone) to the radio base station apparatus 20, it is possible to grasp the position information in step 100b even if no IC tag is attached.
[0012]
The sensor cooperation unit 2a analyzes information from a camera, a sensor, and the like, and then fuses the information on the time axis in step 102.
By the way, an IC tag has a difference in the receivable distance depending on the difference in frequency, the sensitivity of the receiver and the output of the transmitter. In addition, the range that the camera captures as an image changes depending on the direction in which it is facing, zoom, resolution, and the like.
FIG. 4 shows an example of an area where the camera field of view and IC tag information can be acquired.
Records the data of people who have passed since the start because the size of the above area is different depending on the performance of the IC tag used in the place, the performance of the camera, installation conditions, the direction in which the person with the IC tag enters. Thus, the deviation between the IC tag and the camera is automatically calculated. Also, every time the system is switched, the deviation between the IC tag and the camera is automatically calculated.
[0013]
The automatic calculation of the deviation between the IC tag and the camera will be described below.
At this time, it is necessary to first recognize and classify the direction in which the person travels.
The latest DB 12a holds the position information of each wireless base station and the position information of the camera. Furthermore, the entry / exit information of each IC tag is held for each area. As a result, the route of each IC tag can be known, and the direction in which it will proceed can be predicted to some extent.
For example, when area X, area Y, and area Z are on a straight line as shown in FIG. 4 and a tag 0812 is walking in the direction of area Z and area Y and exits area Y, From the direction, it can be predicted that the possibility of going to the area X on the opposite side of the area Z is high.
If 0812 is actually received in the area X, it can be estimated that the IC tag comes from the direction of the area Y.
Check the direction and entry / exit times of multiple people's IC tags, and proceed by averaging multiple probable data, excluding abnormal data that protrudes based on the distance and positional relationship between wireless base stations. Record directions and entry / exit times.
Furthermore, by combining with the recognition information from the camera, the deviation for each sensor is calculated.
[0014]
The above will be described in detail.
FIG. 5 shows an example in which the timing captured by the camera and the radio base station is represented on the time axis when a person with tags A and B moves in opposite directions as shown in FIG.
FIG. 5A shows how the sensor and the camera each capture a person who moves in the direction A, which is the right direction in FIG. 4, and FIG. 5B shows a case where the person moves in the direction B, which is also the left direction. Indicates. FIG. 5A and FIG. 5B show that the timing at which the IC tag is received and the timing at which it is captured by the camera are different depending on the direction in which the person comes. When a person enters the IC tag reception range E2 in the direction of FIG. 5A, the shift P is not large because it is close to the camera visual field E1, but in the case of FIG. Since the distance is farther than E1, the deviation R is large.
On the other hand, when leaving the area, it can be seen that the deviation S in FIG. 5B is smaller than the deviation Q in FIG.
[0015]
As described above, in each of the directions (A) and (B), the average value of the shift time at the time of entry and exit of the time captured by the tag and the camera is obtained.
Using this shift time, the ID captured by the base station is associated with the person captured by the camera.
For example, consider a case where a plurality of persons enter the area E2 with a slight shift. Based on the time when each tag entered E2, the time when the person was captured by the camera, the captured position, the direction of movement of the person, the speed, and the calculated "deviation time", Corresponds to ID.
In this way, by associating the ID captured by the base station with the person captured by the camera, the dynamic information on the spot can be collected and analyzed. In addition, it is possible to recognize each person even when the face cannot be recognized because the face cannot be clearly seen on the camera image.
In the example, only the two directions A and B have been described. However, it is possible to set and calculate three or more directions for calculating the “deviation time” by examining the movement, so that the correspondence is highly accurate. Is possible. However, it is necessary to increase the number of people who initially accumulate data. In addition, the calculation amount increases.
In addition, it is possible to set the number of persons for measuring movements or the time for collecting data in order to measure the deviation times P, Q, R, and S.
In order to specify the moving direction of the person, a means for analyzing the image of the camera video can also be used.
Furthermore, adjustments can be made in the same manner with respect to information obtained by other means such as acquisition of the position of the mobile phone by GPS.
[0016]
In addition, if the number of people specified by the IC tag and the number of people specified by the camera are different, and the number of people recognized by the camera is small, it may not be recognized on the image, such as being a shadow of another person, and will be counted. It may be a case of damage.
On the other hand, if there are more people recognized by the camera, there is a possibility that a person without an IC tag has passed. However, if the camera video is analyzed and it is possible to determine that a person has moved from a certain place, it is possible to determine that a suspicious person who does not have an IC tag and does not have permission to enter has passed.
[0017]
There are cases where there are many people who cannot identify the exact number of people because the number of people is large and the camera cannot identify the exact number of people, or the face of the overlapping person cannot be detected depending on the angle of the camera. However, in the above embodiment, there is an effect that the data can be corrected by effectively using the information of the IC tag and fusing it with the information of the camera and various sensors. Can be obtained. Even when the cardboard boxes are overlapped and moved, if the IC tag is attached to the cardboard box and the ID information of the IC tag can be received, each box can be recognized. For example, a temperature sensor can monitor both box temperature changes and box movement. That is, if a plurality of types of sensors are used in combination, the temperature can be made a part of the identification information.
In addition, face authentication of registered persons has become possible, but even if the face of each person cannot be identified due to wearing sunglasses or a mask, who passes through the ID information of the IC tag? It is possible to acquire information about each person's movements as well as macro movements.
[0018]
In this way, by integrating information from various sensors such as a camera and an IC tag, it is possible to acquire dynamic information that may be missed by the camera or the sensor alone.
There are various temperatures such as room temperature, air temperature, body temperature, etc. as sensor identification information. In addition, frequency distribution such as radio waves and infrared, intensity, pressure such as atmospheric pressure, water pressure, etc. , Magnetic field distribution, strength, wind direction, speed, water level, flow rate, flow velocity, sunshine / sunshine, rainfall, snow cover, seismic, tilt, etc. Sensing information can be targeted.
For example, in a room where an air conditioner is operating, various sensors attached to the wall measure the temperature, temperature, direction of wind, amount of sunshine and solar radiation, etc. The speed and direction are monitored, and the temperature of the person's body is monitored by infrared rays.
In this manner, various sensing information in the three-dimensional space is acquired and monitored, and information necessary for detecting an abnormal part or returning to a comfortable state is distributed according to the situation.
In addition, the number of people is usually counted by a sensor, and as a result, only when it is determined that there is a possibility of abnormality, the image processing at that time is confirmed by image processing, thereby reducing the image processing load. The method of thinking is also conceivable.
The camera and the wireless base station device may not be installed at the same interval. In that case, adjustment is possible by the camera transmitting its position wirelessly to the wireless base station device.
[0019]
Next, the fusion information of various sensors obtained in this way is visualized and distributed.
In the spatial information distribution unit 4a, the level to be visualized is set according to the terminal of the distribution destination and the communication status, and the visualization is instructed to the spatial information visualization unit 5a.
For example, when 3 levels of visualization are set, the A level information described below is used as the Internet information for a distribution destination with a wide band and a large display like the security monitoring center. Similarly, C level information is also distributed to portable terminals that distribute B level information wirelessly.
The spatial information distribution unit 4a also has a function of converting video data according to a terminal to be distributed and communication circumstances even when the same video is transmitted.
[0020]
In the visualization in step 105 in the spatial information visualization unit 5a, for example, the graph of the number of passing persons in each area is mapped to each area on the map.
B level: The number of passing people is displayed in a graph only for the area selected by the user on the map.
C level: Displayed in numbers instead of the graph in the selected area.
[0021]
In Embodiment 1 above, the movement of people and things can be captured by sensors and cameras, and useful information can be acquired and distributed by coordinating each data. Various effects as described above can be expected.
In addition, since the acquired information is visualized and distributed, it is easier to judge the situation instantaneously than when sending information only with characters.
[0022]
Embodiment 2. FIG.
FIG. 6 shows a configuration diagram of the second embodiment. Compared to the first embodiment, the feature amount extraction unit and the center cooperation unit are installed in the base stations in each area, and the spatial information distribution unit receives, stores, and analyzes and distributes the information after fusion. To do.
In each area, a base station 22 is installed together with a wireless camera. The base station 22 is provided with a radio base station device 20c, a feature amount extraction unit 1c, and a sensor cooperation unit 2c.
[0023]
The basic operation of each device and unit is almost the same as in the first embodiment, but the feature amount extraction unit 1c and the sensor cooperation unit 2c are distributed and installed in local base station devices instead of the center. Is done.
In each area, information from the sensor and camera received by the radio base station apparatus 20c is extracted by the feature amount extraction unit 1c. The sensor cooperation unit 2c fuses the sensor information.
[0024]
The merged sensor information is sent from the base station 22 to the center spatial information distribution device 21b. As the sensor information, information on the number of people passing through each place, such as Area A and Area B, and the time of passage are sent. In the spatial information visualization unit 5b of the spatial information distribution device 21b, the number of passing people for each area is visualized for each time, and distributed from the spatial information distribution unit 4b to the user.
When the communication capacity is small, it is possible to distribute to a mobile phone with a wireless function that passes nearby without passing through the spatial information distribution device 21b.
In the second embodiment, feature extraction and sensor cooperation are performed in each area, thereby reducing the amount of communication for transmitting video and the like to the center. Therefore, it is effective when the communication capacity is small. It is also possible to directly distribute information obtained by the base station device to a wireless mobile phone or the like without going through the center.
[0025]
Embodiment 3 FIG.
The configuration is shown in FIG. 1 which is the same as in the first embodiment. The operation in each unit is almost the same as in the first embodiment, but the operation of the sensor cooperation unit is different. In the sensor cooperation unit, not only temporal data fusion but also spatial fusion can be performed.
For example, the feature amount extraction unit 1a of the spatial information distribution device 21a calculates the speed of a moving person or object from analysis of a sensor or camera video.
In the sensor cooperation unit 2a, the data of each area is spatially fused. For example, only in a certain area, when the passing speed is abnormally slow compared to other areas, it is determined that something is abnormal. If it is determined that there is an abnormality, the video from a nearby video camera is distributed to the monitoring center or the mobile phone of the monitoring person to warn.
[0026]
As described above, since information from each sensor is captured as spatial information, it is not possible to know only by independent information in each area. It is possible to detect an abnormal state or the like occurring in
Further, the wireless tag can know which ID wireless tag is near to which base station by transmitting the ID and receiving it at the base station, but the detailed position information is unknown.
For example, if the wireless tag 0195 is received by the wireless base station device 20a of FIG. 4, it can be seen that ID = 0195 is within the range of E2, but the position information with higher accuracy is unknown.
However, since the sensor cooperation unit 2a can calculate the timing when the person enters the range E1 captured by the camera, the information including the information about the traveling direction of the person, which is known from the tag route information stored in the latest DB 12a, Can be identified. As a result, it is possible to narrow down the pinpoint information from the rough position information of the range E2.
[0027]
From the same operation, the sensor cooperation unit 2a also has a function of specifying a human face on the camera image.
By adjusting the timing of entering the wireless tag reception range E2 and the timing captured by the camera, the ID of the person reflected in the camera can be specified.
Further, when there is a large deviation from this timing and the number of people reflected on the camera does not match the number of IC tags, it can be determined that the person is a suspicious person without an IC tag.
If you know that there is a person who does not have an IC tag in multiple areas, you can issue a warning that the person's face may be a suspicious person, and by checking the route, The direction of travel can be estimated and tracked.
As described above, by spatially interpolating information from nearby base stations and information obtained from sensors and cameras, it is possible to predict and track a person's direction of travel, and to narrow down accurate position information. Can be drunk.
[0028]
Next, the operation of the spatial information visualization apparatus will be described.
In the first embodiment, it is described that the number of passing people is displayed in a graph for each area by visualization at the A level, but it is also possible to visualize so that the degree of congestion can be easily grasped spatially.
The change in the number of people passing is shown in FIG. The congestion level of people who pass through can be expressed on a graph-by-area basis, but the overall flow is difficult to understand instantly. Therefore, the number of people is classified as “small”, “average”, “large”, or “abnormal”.
The large number of people is represented on the map by the difference in line thickness and density. If the flow direction is expressed in a different color, it is still easy to understand. By performing such visualization, it is easier to determine at a glance dynamic information in the space, such as from where to where people are flowing, compared to information independent of each area.
FIGS. 8A, 8B, and 8C show examples in which visualization is made in this way and the contents of visualization are changed depending on the terminal of the distribution destination and communication circumstances.
8A is a diagram in which the degree of congestion is visualized by line density, FIG. 8B is a diagram in which the degree of congestion is visualized by line thickness, and FIG. 8C is an example of delivery to a mobile phone. FIG.
In the third embodiment described above, since the spatially merged information is visualized, it is easier to determine the situation in the entire space than when receiving independent information such as information in each area.
In the first embodiment, in determining the level of visualization, the degree of congestion, which is the number of people, is used as a parameter. However, the direction and position of a motion vector of a person or an object on the video, its time zone, weather, or the like As described above, it is also possible to set based on the conditions of a plurality of parameters.
FIG. 7 is a two-dimensional graph. The visualization method is divided by providing a level to this graph. However, visualization can be set based on three-dimensional information.
In the first embodiment, the level is classified into four levels, but it is also possible to change the contents of visualization into more levels such as several tens of levels as necessary.
[0029]
Embodiment 4 FIG.
A configuration in the present embodiment is shown in FIG.
Compared with the configuration of FIG. 1, this configuration includes a feature amount analysis unit 3 between the sensor cooperation unit 2 and the spatial information distribution unit 4. The feature amount analysis unit 3 performs pattern analysis using the extracted feature amount. The latest DB 12 stores the feature amount fused by the sensor cooperation unit 2 and the feature pattern that is the result of the feature amount analysis unit 3. The accumulation database 13 stores patterns of accumulated data so far.
[0030]
Next, the operation will be described with reference to FIG.
For example, when a visitor to a certain station is examined, patterns of other parameters are analyzed using time as a key, and past accumulated data is classified into patterns.
If the change in the number of people per time is obtained as shown in FIG. 7, for example, the number of people is “small”, “average”, “large”, “abnormal”, and the time is “T1” to “T9”. Classify into:
In the case of FIG. 7, the time zone of T2 has the largest number of people in the morning, and the time zone of T8 has the most time in the day. T3 has the least number of people in the morning, and T6 has the least number of people in the day. I understand that.
Similarly, by performing pattern analysis on the average speed, etc., it is possible to perform pattern analysis such that time zone T2 has many people and fast speed, but T8 has many people but slow speed. Become.
In addition, it is possible to perform pattern classification considering various conditions by adding various elements such as the direction of movement, the sex of the moving person, the weather, and the like.
In this way, the accumulated data is subjected to pattern analysis and the obtained pattern is stored.
[0031]
Pattern analysis is also performed on data obtained in real time and compared with the pattern of accumulated data. More specifically, the comparison with the pattern here means that the result of a certain analysis process such as classification or averaging of the result of accumulated data according to a certain parameter value is compared with the obtained data. Say. Alternatively, it means that the obtained data is processed and compared with the processing result of the accumulated data.
For example, many people entered at times when there were usually few people going in and out, many people entered and exited abnormally compared to the usual average number of people, and the movement speed was fast, a direction different from the direction that ordinary people should go When a large number of people advance, or an unusually large number of people move together in one place, the patterns are classified based on multiple parameter conditions and rarely occur Warn.
It is also possible to make the warning level variable based on pattern differences, parameter threshold information, and the like.
Although an example in which pattern classification is performed using the time zone and congestion degree graph of FIG. 7 used for determining the visualization level is shown, parameter information for determining the visualization level and parameter information for pattern classification are as follows: It can be completely different.
FIG. 7 shows a two-dimensional graph, but patterns can be classified based on three-dimensional information.
Moreover, in the case of a car, etc., there are cases where many cars meander in a place where they do not meander, or the car suddenly increases its speed and starts running. In the case of meandering, there may be an obstacle there, so confirmation can be obtained by sending the captured image to the monitoring center.
[0032]
By performing simple pattern analysis and analyzing the appearance frequency of patterns, etc., patterns such as normal patterns, regularly occurring patterns, and rare patterns are analyzed. Alternatively, in addition to the appearance frequency, a statistical method is used to detect an attention pattern such as an abnormal pattern or a rare pattern.
In addition to such automatic determination, it is also possible to set a pattern that is abnormal by a human as a result of pattern classification.
The data stored as real-time data is set for one day, one week, etc. according to the usage and situation. The accumulated data is data that is accumulated every time the real-time data becomes old and is stored as needed. It is assumed that the pattern analysis of the accumulated data is periodically performed once a week or once a month depending on the setting.
In the above-described example, the patterns are classified into the patterns 2 and 3. However, it is possible to classify them into more detailed levels as required.
[0033]
The current state is determined by classifying only the accumulated data and assigning real-time data thereto.
Another method is to classify patterns by mixing real-time data with accumulated data. The latter can be classified with higher accuracy but takes more time.
[0034]
In the fourth embodiment, since the configuration is as described above, information from various sensors such as a camera and an IC tag is collected, pattern analysis is performed, and the monitored situation is abnormal or noticeable compared to usual. You can decide what to do and issue a warning.
Moreover, future prediction can be performed by comparing with cumulative data.
[0035]
【The invention's effect】
As described above, according to the present invention, it is provided with a feature amount extraction unit that simultaneously extracts features of input video information and identification information, a sensor cooperation unit that combines these, and a distribution unit that distributes the combined spatial information. Therefore, there is an effect that the accurate information of the identification target can be grasped and distributed by level.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a spatial information distribution apparatus and a system using the same in Embodiment 1 of the present invention.
FIG. 2 is a diagram showing a processing operation flow performed by the spatial information distribution apparatus in the first embodiment.
3 is a diagram illustrating an example of identification tag data included in the latest database according to Embodiment 1. FIG.
FIG. 4 is a diagram illustrating an input information range obtained by a sensor cooperation unit according to the first embodiment.
FIG. 5 is a diagram illustrating an example of input information obtained by the sensor cooperation unit according to the first embodiment.
FIG. 6 is a diagram showing a configuration of a spatial information distribution apparatus and a system using the same in the second embodiment of the present invention.
[Fig. 7] Fig. 7 is a diagram of an example of spatial data indicated by the passage of time distributed by the spatial information distribution device according to Embodiment 3 of the present invention.
FIG. 8 is a diagram illustrating an example of spatial data in a predetermined area distributed by the spatial information distribution device according to the third embodiment.
FIG. 9 is a diagram showing a configuration of a spatial information distribution apparatus and a system using the same in the fourth embodiment of the present invention.
FIG. 10 is a diagram showing a processing operation flow performed by the spatial information distribution apparatus in the fourth embodiment.
[Explanation of symbols]
1, 1a, 1c Feature extraction unit, 2, 2a, 2c Sensor cooperation unit, 4, 4a, 4b Spatial information distribution unit, 5, 5a, 5b Spatial information visualization unit, 6, 6a, 6b IC tag, 7, 7a GPS Mobile terminal, 8, 8a, 8b Wireless camera, 12, 12a Latest database, 13 Cumulative database, 20a, 20b, 20c Wireless base station device, 21, 21a, 21b Spatial information distribution device, 22, 222a, 222b Base station.

Claims (7)

入力情報からその特徴を抽出して該入力情報により異常を検出する装置において、
入力の映像情報と、識別情報の特徴を抽出する特徴量抽出部と、
上記映像情報と識別情報を融合するセンサー協調部と、
上記融合して得られた空間情報の特徴量を配信する配信部とを備えたことを特徴とする空間情報配信装置。
In the device that extracts the feature from the input information and detects the abnormality by the input information,
A feature amount extraction unit for extracting features of the input video information and identification information;
A sensor cooperation unit that fuses the video information and the identification information;
A spatial information distribution apparatus comprising: a distribution unit that distributes feature quantities of the spatial information obtained by the fusion.
空間情報の種類を詳細度と表示内容でレベル化して該レベル化した可視情報を得る空間情報可視化部を備え、該レベル化可視情報を配信部から配信するようにしたことを特徴とする請求項1記載の空間情報配信装置。A spatial information visualization unit that obtains the leveled visual information by leveling the type of spatial information with the level of detail and display content, and delivering the leveled visible information from the distribution unit. The spatial information distribution device according to 1. 特徴量抽出部は、ある検出エリアにおける映像情報及び識別情報を融合して時間毎に得るようにしたことを特徴とする請求項1記載の空間情報配信装置。2. The spatial information distribution apparatus according to claim 1, wherein the feature amount extraction unit fuses video information and identification information in a certain detection area and obtains the information every time. 空間情報可視化部は、ある検出エリアにおける映像情報及び識別情報を、所定時間毎に多次元空間データとして得るようにしたことを特徴とする請求項2記載の空間情報配信装置。The spatial information distribution apparatus according to claim 2, wherein the spatial information visualization unit obtains video information and identification information in a certain detection area as multidimensional spatial data at predetermined time intervals. 過去のデータを蓄積する累積データベースを備えて、最新の入力情報が上記累積データベースが持つ情報と比べて所定の基準に達する場合は、警告を出す特徴量分析部を備えたことを特徴とする請求項1記載の空間情報配信装置。A cumulative database that accumulates past data is provided, and a feature amount analysis unit that issues a warning when the latest input information reaches a predetermined standard as compared with the information of the cumulative database is provided. Item 2. The spatial information distribution device according to item 1. 識別情報として無線タグを用い、特徴抽出部は、該タグ情報の複数からの入力情報に基づいて対象を識別するようにしたことを特徴とする請求項1記載の空間情報配信装置。The spatial information distribution apparatus according to claim 1, wherein a wireless tag is used as identification information, and the feature extraction unit identifies a target based on input information from a plurality of the tag information. 配信部は、配信先のレベル対応を知り、該レベル対応に応じて所定の可視情報を配信するようにしたことを特徴とする請求項2記載の空間情報配信装置。3. The spatial information distribution apparatus according to claim 2, wherein the distribution unit knows the level correspondence of the distribution destination and distributes predetermined visible information according to the level correspondence.
JP2003174302A 2003-06-19 2003-06-19 Spatial information distribution device Expired - Fee Related JP4286074B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003174302A JP4286074B2 (en) 2003-06-19 2003-06-19 Spatial information distribution device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003174302A JP4286074B2 (en) 2003-06-19 2003-06-19 Spatial information distribution device

Publications (2)

Publication Number Publication Date
JP2005011057A true JP2005011057A (en) 2005-01-13
JP4286074B2 JP4286074B2 (en) 2009-06-24

Family

ID=34097821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003174302A Expired - Fee Related JP4286074B2 (en) 2003-06-19 2003-06-19 Spatial information distribution device

Country Status (1)

Country Link
JP (1) JP4286074B2 (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007046464A1 (en) * 2005-10-21 2007-04-26 Pioneer Corporation Traffic jam information generating apparatus, traffic jam information providing apparatus, traffic jam information generating method, traffic jam information providing method, programs for causing computer to execute those methods, and recording medium in which that program has been recorded
JP2007179373A (en) * 2005-12-28 2007-07-12 Nissan Motor Co Ltd Navigation information system and vehicle terminal for the same
JP2007221693A (en) * 2006-02-20 2007-08-30 Mitsubishi Electric Corp Video monitor system and video concentrator
WO2007138811A1 (en) 2006-05-31 2007-12-06 Nec Corporation Device and method for detecting suspicious activity, program, and recording medium
US7430186B1 (en) 2007-12-14 2008-09-30 International Business Machines Corporation Spatial-driven context zones for sensor networks and device infrastructures
JP2008269169A (en) * 2007-04-18 2008-11-06 Mitsubishi Electric Corp Monitoring device
JP2009507295A (en) * 2005-09-02 2009-02-19 インテリヴィド コーポレイション Object tracking and alarm
JP2009087316A (en) * 2007-09-11 2009-04-23 Hitachi Ltd Traffic flow measurement system
JP2010072782A (en) * 2008-09-17 2010-04-02 Secom Co Ltd Abnormal behavior detector
JP2010237890A (en) * 2009-03-31 2010-10-21 Toshiba Corp Device and method for estimating number of in-room staying persons
US7852217B2 (en) 2005-12-28 2010-12-14 Panasonic Corporation Object detecting device, object detecting method and object detecting computer program
JP2012099136A (en) * 2012-01-10 2012-05-24 Toshiba Corp Estimation device and estimation method for number of persons in room
JP2014164524A (en) * 2013-02-25 2014-09-08 East Nippon Expressway Co Ltd Vehicle accident prediction (dangerous traveling vehicle detection) device
JP2015018336A (en) * 2013-07-09 2015-01-29 株式会社ゼンリンデータコム Information processing apparatus, information processing method, and program for specifying congestion degree pattern and predicting congestion degree
JP2015103104A (en) * 2013-11-26 2015-06-04 キヤノン株式会社 Information processing apparatus, information processing method, and information processing system
JP2017227513A (en) * 2016-06-21 2017-12-28 株式会社日立製作所 Traffic information distribution system and traffic information distribution method
WO2019181332A1 (en) * 2018-03-23 2019-09-26 株式会社日立国際電気 Monitoring system and monitoring device
US11308346B2 (en) 2018-02-02 2022-04-19 Nec Corporation Sensor information integration system, sensor information integration method, and program

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009507295A (en) * 2005-09-02 2009-02-19 インテリヴィド コーポレイション Object tracking and alarm
US9881216B2 (en) 2005-09-02 2018-01-30 Sensormatic Electronics, LLC Object tracking and alerts
US9407878B2 (en) 2005-09-02 2016-08-02 Sensormatic Electronics, LLC Object tracking and alerts
US9036028B2 (en) 2005-09-02 2015-05-19 Sensormatic Electronics, LLC Object tracking and alerts
WO2007046464A1 (en) * 2005-10-21 2007-04-26 Pioneer Corporation Traffic jam information generating apparatus, traffic jam information providing apparatus, traffic jam information generating method, traffic jam information providing method, programs for causing computer to execute those methods, and recording medium in which that program has been recorded
US7852217B2 (en) 2005-12-28 2010-12-14 Panasonic Corporation Object detecting device, object detecting method and object detecting computer program
JP2007179373A (en) * 2005-12-28 2007-07-12 Nissan Motor Co Ltd Navigation information system and vehicle terminal for the same
JP2007221693A (en) * 2006-02-20 2007-08-30 Mitsubishi Electric Corp Video monitor system and video concentrator
WO2007138811A1 (en) 2006-05-31 2007-12-06 Nec Corporation Device and method for detecting suspicious activity, program, and recording medium
EP2037426A1 (en) * 2006-05-31 2009-03-18 NEC Corporation Device and method for detecting suspicious activity, program, and recording medium
EP2037426A4 (en) * 2006-05-31 2010-07-07 Nec Corp Device and method for detecting suspicious activity, program, and recording medium
US7973656B2 (en) 2006-05-31 2011-07-05 Nec Corporation Suspicious activity detection apparatus and method, and program and recording medium
JP2008269169A (en) * 2007-04-18 2008-11-06 Mitsubishi Electric Corp Monitoring device
JP2009087316A (en) * 2007-09-11 2009-04-23 Hitachi Ltd Traffic flow measurement system
US7430186B1 (en) 2007-12-14 2008-09-30 International Business Machines Corporation Spatial-driven context zones for sensor networks and device infrastructures
JP2010072782A (en) * 2008-09-17 2010-04-02 Secom Co Ltd Abnormal behavior detector
JP2010237890A (en) * 2009-03-31 2010-10-21 Toshiba Corp Device and method for estimating number of in-room staying persons
JP2012099136A (en) * 2012-01-10 2012-05-24 Toshiba Corp Estimation device and estimation method for number of persons in room
JP2014164524A (en) * 2013-02-25 2014-09-08 East Nippon Expressway Co Ltd Vehicle accident prediction (dangerous traveling vehicle detection) device
JP2015018336A (en) * 2013-07-09 2015-01-29 株式会社ゼンリンデータコム Information processing apparatus, information processing method, and program for specifying congestion degree pattern and predicting congestion degree
JP2015103104A (en) * 2013-11-26 2015-06-04 キヤノン株式会社 Information processing apparatus, information processing method, and information processing system
JP2017227513A (en) * 2016-06-21 2017-12-28 株式会社日立製作所 Traffic information distribution system and traffic information distribution method
US11308346B2 (en) 2018-02-02 2022-04-19 Nec Corporation Sensor information integration system, sensor information integration method, and program
WO2019181332A1 (en) * 2018-03-23 2019-09-26 株式会社日立国際電気 Monitoring system and monitoring device
JPWO2019181332A1 (en) * 2018-03-23 2021-03-11 株式会社日立国際電気 Monitoring system

Also Published As

Publication number Publication date
JP4286074B2 (en) 2009-06-24

Similar Documents

Publication Publication Date Title
JP4286074B2 (en) Spatial information distribution device
CN107888877B (en) Method and system for vehicle tracking and road traffic information acquisition
Avatefipour et al. Traffic management system using IoT technology-A comparative review
KR102105162B1 (en) A smart overspeeding vehicle oversee apparatus for analyzing vehicle speed, vehicle location and traffic volume using radar, for detecting vehicles that violate the rules, and for storing information on them as videos and images, a smart traffic signal violation vehicle oversee apparatus for the same, and a smart city solution apparatus for the same
CN106030666B (en) Traffic monitoring and monitoring system and method and corresponding traffic violations record system and unmanned plane
Bommes et al. Video based intelligent transportation systems–state of the art and future development
KR100578041B1 (en) Network camera apparatus having a traffic information collection and addition function and the traffic information process method
KR101745551B1 (en) Apparatus and method for monitoring overspeed-vehicle using CCTV image information
KR100695348B1 (en) System In Bar of Tunnel Disaster That Use Speed-Sensing System and a Method Using Thereof
KR101803891B1 (en) The apparatus and method for smart reporting of traffic information with traffic factor and object tracking
KR20090030666A (en) High-speed weight in motion
KR101131693B1 (en) Notice system for accidented vehicle and notice method using the same
KR100969324B1 (en) System for collecting traffic information using multi-function sensor module
CN113574574B (en) Mobile object monitoring system, control server for mobile object monitoring system, and mobile object monitoring method
EP0928465B1 (en) Detection system
Liu et al. Evaluation of floating car technologies for travel time estimation
CN109102695A (en) Intelligent transportation service station, intelligent transportation method of servicing and system
KR102228403B1 (en) Vehicles information collecting system and method
JP2007047875A (en) Vehicle behavior acquisition system
KR20140144047A (en) System and method for estimating traffic characteristics information in the road network on a real-time basis
KR100814028B1 (en) System for measuring weight a traveling car automatically
KR100782205B1 (en) Apparatus and system for displaying speed of car using image detection
KR102434154B1 (en) Method for tracking multi target in traffic image-monitoring-system
KR20220074335A (en) Apparatus and Method for Object Counting by Type Using Artificial Intelligence-Based Edge Computing
KR20210055940A (en) system and method for monitoring floating population and traffic device and method

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Effective date: 20041026

Free format text: JAPANESE INTERMEDIATE CODE: A7424

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080507

A521 Written amendment

Effective date: 20080702

Free format text: JAPANESE INTERMEDIATE CODE: A523

A131 Notification of reasons for refusal

Effective date: 20090127

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090324

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Effective date: 20090324

Free format text: JAPANESE INTERMEDIATE CODE: A61

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120403

Year of fee payment: 3

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 3

Free format text: PAYMENT UNTIL: 20120403

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 4

Free format text: PAYMENT UNTIL: 20130403

LAPS Cancellation because of no payment of annual fees