JP2009519510A - 異常な群集の行動の検出 - Google Patents
異常な群集の行動の検出 Download PDFInfo
- Publication number
- JP2009519510A JP2009519510A JP2008543360A JP2008543360A JP2009519510A JP 2009519510 A JP2009519510 A JP 2009519510A JP 2008543360 A JP2008543360 A JP 2008543360A JP 2008543360 A JP2008543360 A JP 2008543360A JP 2009519510 A JP2009519510 A JP 2009519510A
- Authority
- JP
- Japan
- Prior art keywords
- entropy
- value
- entropy value
- calculated
- blob
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
システム及び方法は、ビデオシーン内の2人以上の人物又は他の動いている対象の意図及び/又は動因を検出する。一実施の形態では、システムは、2人以上の人物のブロブを形成し、当該ブロブの周囲に境界ボックスを描き、当該ブロブに関してエントロピー値を計算し、2人以上の人物が喧嘩又は他の口論に関与しているか否かを判断するために、そのエントロピー値を閾値と比較する。
Description
様々な実施の形態は、ビデオデータ処理の分野に関し、詳細には、限定としてではなく、コンテキストベースのシーン解釈及び行動分析に関する。
ビデオ監視システムは様々な応用例において、環境内の対象を検出及び監視するために使用される。セキュリティの応用例では、例えば、このようなシステムは時として、ビル施設若しくはセキュリティゲートに出入りする個人若しくは車両を検出及び追跡するため、又は、店、オフィスビル、病院、若しくは、他のこのような、占有者の健康及び/若しくは安全性が懸念される場合のある設定内で個人を監視するために使用される。さらなる一例は航空産業である。航空産業では、例えば、このようなシステムは、空港内の重要な場所、セキュリティゲート又は駐車場等で、個人の存在を検出するために使用されてきた。ビデオ監視のさらに別の例は、群集の行動を監視するために大勢の群集のエリアにおいてビデオセンサを設置することである。また、ビデオ監視は、例えば駐車場、病院又は銀行をカバーするカメラのネットワークを使用することができる。
近年、ビデオ監視システムは、ビデオシーンの単純な人間による監視からプロセッサによるデジタル画像の自動監視にまで進歩してきた。そのようなシステムでは、ビデオカメラ又は他のセンサはリアルタイムのビデオ画像を取得し、監視システムは画像処理アルゴリズムを実行する。画像処理アルゴリズムは、動作検出、動作追跡、及び対象分類を含むことができる。
動作検出、動作追跡、及び対象分類は、ビデオ監視の分野において幾らか一般的になってきており、群集監視を含む多くの状況に現在適用されているが、現在の技術は、視覚観察のみに基づいてビデオシーン内の2つ以上の対象間の相互作用の意図を推定及び/又は予測する知能を有するシステムを含まない。例えば、現在の技術は、ビデオシーン内の人物の意図又は行動(例えばビデオシーケンス内の2人以上の人物が、喧嘩に関与してるか、会話に関与しているか、又は他の何らかの行動に関与しているか)を判断及び/又は解釈する能力を提供しない。現在の技術水準は、少なくとも、2人の人物が争っているときに、現在のビデオ動作検出システムが、2つの対象の意図を判断することができない1つのブロブ(blob)しか検出しないという理由によって、そのような検出を可能にしない。
米国特許出願第10/907,877号
"Detecting Pedestrians Using Patterns of Motion and Appearance"、International Conference on Computer Vision, October 13, 2003)
したがって、当該技術分野では、単純な動作検出、動作追跡、及び対象分類を超えると共に、ビデオシーン内の人物の動因及び/又は意図をインテリジェントに判断するビデオ監視システムが必要とされている。
一実施の形態では、システム及び方法は、ビデオ画像の視野内の2人以上の人物の意図を検出するために、多状態の組み合わせ(サブ状態の時系列)を使用する。すなわち、本明細書に開示される1つ又は複数の方法は、人物のグループを検出及び追跡し、グループ行動パターンを認識する。特定の一実施の形態では、システムは、視野内の2人以上の人物が喧嘩又は類似の口論に関与しているか否かを判断する。第1のサブ状態において、システムはまず、画像センサの視野内の対象を追跡する。第2のサブ状態において、人間である追跡される対象を識別するためにこれらの対象を分類する。第3のサブ状態において、システムは、追跡される2人以上の人物が1つのグループになるか否か及び1つのグループになるときを判断する。2人以上の人物のグループ化が検出される場合、形成されたグループ内の全ての人物を追跡するためにグループ追跡が使用される。第4のサブ状態において、システムは閾値と比較されるグループの位置及び速度(例えば、喧嘩において特徴的な腕の速く且つ反復する動作の速度)の両方を調べる。その後、第5のサブ状態において、システムは、画像の空間及び時間におけるエントロピーを計算し、そのエントロピーを正規化し、喧嘩若しくは他の口論が起こっているか否か、又は他の或る社会的相互作用がそのシーン内で起こっているか否かを判断するために正規化エントロピーを閾値と比較する。
以下の詳細な説明では、本発明を実践することができる特定の実施形態を例示として示す添付の図面が参照される。これらの実施形態は、本発明を当業者が実施することを可能にするのに十分詳細に説明される。本発明の様々な実施形態は、異なってはいるが、必ずしも相互に排他的ではないことを理解されたい。例えば、一実施形態に関連して本明細書に記載される特定の機能、構造又は特徴は、本発明の範囲から逸脱することなく他の実施形態内で実施してもよい。さらに、開示される各実施形態内の個々の要素の位置又は配置は、本発明の範囲から逸脱することなく変更することができることを理解すべきである。したがって、以下の詳細な説明は限定するものとして捉えられず、本発明の範囲は添付の特許請求の範囲によってのみ規定され、特許請求の範囲の権利が与えられる均等物の全範囲と共に適切に解釈される。図面では、同様の参照符号が、幾つかの図を通じて同じか又は類似の機能を指す。
図1は、ビデオシーン内の2人以上の人物の意図、動因及び/又は行動を判断するシステム及び方法100の一例の実施形態を示す。この一例の実施形態は、ビデオシーン内の2人以上の人物の意図が、その個人間の喧嘩又は類似の口論を含むか否かを判断することを対象としている。しかし、本発明の範囲はそのように限定されず、様々な実施形態を、2人以上の個人間の他の接触についてのインテリジェントな検出に適用することができる。
図1の実施形態を参照すると、システム100は、動作検出モジュール101及び動作追跡モジュール103を有する。当該技術分野では移動対象検出又はバックグラウンド除去とも呼ばれる動作検出モジュール101は、カメラの視野内の前景を自動的に見分ける。前景は通常、人物、車両及び動物のような監視下にある対象物体を含む。動作追跡モジュール103は、連続するフレーム間の移動対象間の相関を決定する。動作追跡モジュール103は、追跡される対象がシーンに入るときからシーンから出るときまで、追跡される対象に一意の識別子(追跡ID)を割り当てる。追跡される対象は、追跡される人物又は追跡される車両のような単一の物理的対象とすることができる。追跡される対象は、人物のグループとすることもできる。ビデオセンサの視野内で対象の動きを検出及び追跡するために、2つ以上のシステム及び方法が当該技術分野で利用可能であり、本発明の実施形態との関連で使用するのにどのシステム及び方法を選択するかは重要ではないことに留意すべきである。
一実施形態では、動作追跡オペレーション103の出力は追跡される対象のグループである(111)、すなわち、個々の対象は別個に追跡することができない。そのような場合では、オペレーション113において人物検出アルゴリズムを実行する。一実施形態では、人物検出のモジュールは、人物の検出のためのAdaboost法を使用してトレーニングされる(参照により本明細書にその全体が援用される「Detecting Pedestrians Using Patterns of Motion and Appearance」、International Conference on Computer Vision, October 13, 2003)。この実施形態では、人物を検出するために、全てのスケールにおける画像全体にわたる網羅的な検索は必要ない。オペレーション103の出力に対する検索のみが実行される。すなわち、検索される対象の領域は追跡される対象のグループである。オペレーション113の出力は、追跡されるグループが2人以上の人物を含むことが分かるということである。
別の実施形態では、動作追跡モジュール103の出力は単一の追跡される対象である(105)。この場合、オペレーション107において、追跡される対象が1人の人物であることを確認するために人物検出アルゴリズムを実行する。追跡される対象が1人の人物である場合、システムは、その人物がビデオシーンから出るか又はオペレーション109において別の人物と近密に接触するまで、その人物を追跡し続ける。すなわち、或る時点において、システムは、オペレーション109において、動作検出モジュール及び動作追跡モジュールが2人以上の人物を1つのブロブとして検出するほど十分に、視野内の2人以上の人物が互いに近づいたことを検出することができる。
上述した2つの状況、すなわち、個々の対象が追跡される状況又は対象のグループが追跡される状況のうちのいずれかにおいて、本発明の実施形態は、2人以上の人物が一緒になってオペレーション115において共に検出され、その後オペレーション120において追跡される1つのブロブとなるあり得る場合をカバーする。その後、システムは喧嘩検出機能を始動させる。
一実施形態では、システム100はその後、オペレーション125において、ブロブの中心が視野内でフレーム間で概ね静止しているか否かを判断する。オペレーション125においてブロブの中心が概ね静止していると判断される場合、これは、少なくとも、ビデオシーン内の2人以上の人物が互いに非常に近接したままであることを示し、2人以上の人物は場合によっては口論に関与している可能性があることをさらに示す。
システム100が、オペレーション125において、複数の個人が喧嘩に関与している可能性があると判断する場合、オペレーション135において境界ボックス(境界箱、境界枠、bounding box)がブロブの周囲に描かれる。一実施形態では、オペレーション140において、対象の領域は、最小境界領域よりも概ね25%大きいように設定される。最小境界領域の外側で対象領域を概ね25%に設定することによって、システムは、口論に関与している複数の個人の最小境界領域内の一定量の動作を考慮する。これは、ビデオセンサ及び特に視野が動かない実施形態において有用である。その後、ブロブの中心が対象領域の外側へと動く場合であっても、1人又は複数の人物の腕又は脚は(この実施形態では変化しない)対象領域内に依然として存在することができる。対象領域の25%の拡大は一例の実施形態に過ぎず、他の百分率を使用することができる(0%を含む)。最小境界領域における百分率による拡大の選択は、多くの工学用途におけるようにトレードオフを伴う。対象領域を拡大することは、より大きい分析用シーンを取得するが、システムの計算負荷を増大させる。
オペレーション140における対象領域の設定の後に、オペレーション145において対象領域全体にわたってエントロピーが計算される。一実施形態では、この計算は以下の通りである。I(x,y,t)を時刻tにおける画像座標(x,y)での強度とする。ε−無反応エントロピー(Epsilon-Insensitive Entropy)と呼ばれることがあるエントロピーは、2つの態様、すなわちピクセル毎のレベル又はサブウィンドウのレベルのいずれかにおいて計算することができる。
ピクセル毎にε−無反応エントロピーを計算するために、全てのピクセル(x,y)∈Bに関して、以下の式を実行する。
D(x,y,t)は、各ピクセルの強度の有意な変化を表し、εは統計的分散であり、τは時間間隔である。以下の式では、SBは、対象領域Bのサイズであるように示され、Tは正規化の後に計算されるエントロピーの持続時間であるように示される。一実施形態では、Tは行動の時間範囲を包含するのに十分に長くあるべきである。
ピクセル毎のエントロピーの計算は、画像内の人物のサイズが(視野のサイズと比較して)、20×40ピクセルのように小さい状況において適切である。これは図2Aにおいて示される。図2Aでは、対象領域230内の人物240が、視野全体と比較して比較的小さく、そのような個人としてピクセル220を比較において使用することができる。
別の実施形態では、エントロピーはサブウィンドウについて計算される。この実施形態では、対象領域及び人物は視野と比較して比較的大きい。すなわち、ピクセル内の人物の画像は、100×200ピクセルのように比較的大きい。そのような実施形態では、入力ビデオフレームは図2Bにおけるようにサブウィンドウに分割される。図2Bの実施形態では、4行及び4列のピクセル220がサブウィンドウ210内に存在する。図2Bは、対象240が視野と比較して比較的大きく、且つピクセル220と比較しても比較的大きい対象領域230を示す。図2Bの状況のような状況の一例では、対象領域230のサイズが160ピクセルである場合、1つのサブウィンドウのサイズは16ピクセルとすることができ、対象領域230は10個のサブウィンドウを有するであろう。したがって、nsub−windowがサブウィンドウの数であり、且つiがサブウィンドウのインデックスであり、且つi∈[1,nsub−window]である場合、mi(t)は、時刻tにおけるサブウィンドウiの平均強度値として示すことができる。したがって、以下の式が与えられる。
したがって、対象領域内のサブウィンドウ210毎に、そのサブウィンドウ内の全てのピクセルの強度が加算され、そのサブウィンドウに対する平均ピクセル強度が計算される。その後、サブウィンドウレベルでエントロピーが計算される。
対象領域内のサブウィンドウ毎にエントロピーを計算した後、オペレーション150においてこれらのエントロピーは、空間及び時間にわたって正規化される。詳細には、一実施形態では、正規化エントロピーは以下の式に従って計算される。
一例において、ビデオシステムが30フレーム/秒で作動する場合、τの値は5フレームとすることができる。一実施形態では、Tは、行動の時間範囲を包含するよう十分に長くあるべきである。例えば、行動が2人以上の人物の間での喧嘩であり、且つビデオシステムが30フレーム/秒で機能する場合、Tの値は約40フレーム〜60フレームとすることができる。この実施形態では、行動、この場合、喧嘩は1秒よりも長く続くと仮定される。
特定の時間期間中のビデオシーンに関して、正規化エントロピーをピクセル毎又はサブウィンドウ毎に計算した後、オペレーション155において、正規化エントロピーは閾値エントロピーと比較される。一実施形態では、閾値エントロピーは、互いに隣り合って立っていると共に普通の会話に関与している2人の人物(すなわち、喧嘩に関与していない2人の人物)の参照シーンを使用して、上述した態様のうちの1つで計算される。互いに非常に近接して立っており、喧嘩はしていない2人以上の人物に関する正規化閾値エントロピーは、2人以上の人物が喧嘩しているときに計算される正規化エントロピー値よりも低くなる。したがって、正規化エントロピーが参照エントロピー閾値よりも大きい場合、システム100は、オペレーション165において、ビデオシーン内の人物が喧嘩又は高速/高エネルギーを伴う他の争いに関与していると結論を下す。正規化エントロピーが閾値エントロピー以下である場合、システム100は、オペレーション160において、ビデオ内の人物が喧嘩又は高速/高エネルギーを伴う他の争いに関与していないと判断する。別の実施形態では、正規化エントロピーが閾値エントロピーよりも或る特定の百分率だけ大きい場合、システムは、人物が喧嘩に関与していると判断する。図3は、喧嘩を含む画像シーケンス及び喧嘩を含まない画像シーケンスに関するエントロピーの例を示すグラフ300である。喧嘩を含まない3つのシーケンスに関する正規化エントロピーは、310a、310b及び310cに示される。喧嘩を含む3つのシーケンスに関する正規化エントロピーは、320a、320b及び320cに示される。上記で説明したように、画像シーケンスに関する正規化エントロピーは、参照シーケンスに関する正規化エントロピーよりも大きいため、又は画像シーケンスに関する正規化エントロピーは参照シーケンス閾値(reference sequence threshold)に関する正規化エントロピーよりも或る特定の百分率だけ大きいため、これらの結果は、喧嘩がシナリオ1、2又は3内に存在することを示すことができる(320a、320b、320c)。
別の実施形態では、図1のシステム及び方法は、ビデオセンサ、及び特にビデオセンサの視野のピクセル素子をビデオ画像の実世界座標と相関させる。そのようなシステムは、Systems and Methods for Transforming 2D Image Domain Data Into A 3D Dense Range Mapと題する米国特許出願第10/907,877号(「‘877出願」)に記載されており、当該出願は全ての目的のために本明細書にその全体が援用される。本発明の実施形態は、‘877出願の教示と関連して、2人以上の人物が喧嘩に関与しているか否かを判断することができるだけでなく、これらの人物の実世界における位置を求めることもでき、したがって、その口論を処理するために、当局及び/又は関連する人物をその位置に派遣することができる。そのような実施形態は、追跡される対象の「接触点」を含む。追跡される対象が単一の人物/又は人物のグループである場合、接触点は、追跡される人物の境界ボックス内の中央下のピクセルである。そして、接触点のピクセル値を、3D実世界座標系にマッピングすることができる。さらに、銀行又は地下鉄のような、位置の3D現場情報が存在すると仮定することができる。したがって、システムは、2人の人物が喧嘩に関与しているというようなグループの行動を検出することができるだけでなく、人物のグループがエスカレータの入り口に立っており、それによってエスカレータへの入り口を塞いでいるというような行動も検出することができる。
図4は、コンピュータシステム400の例示的な形態における機械の概略図である。当該機械内では、上記で説明した方法論のうちのいずれか1つを当該機械に実行させるための命令のセットを実行することができる。代替の実施形態では、機械は、ネットワークルータ、ネットワークスイッチ、ネットワークブリッジ、携帯情報端末(PDA)、携帯電話、ウェブ家電、又は自身が行う動作を指定する命令のシーケンスを実行することができるあらゆる機械を含むことができる。
コンピュータシステム400は、バス408を介して互いに通信するプロセッサ402と、メインメモリ404と、静的メモリ406とを備える。コンピュータシステム400は、ビデオディスプレイユニット410(例えば、液晶ディスプレイ(LCD)又はブラウン管(CRT))をさらに備えることができる。コンピュータシステム400は、英数字入力装置412(例えばキーボード)、カーソル制御装置414(例えばマウス)、ディスクドライブユニット416、信号生成装置420(例えばスピーカ)、及びネットワークインターフェース装置422も備える。
ディスクドライブユニット416は、上述した方法論のうちのいずれか1つ又は全てを具現する命令のセット(すなわち、ソフトウェア)426が記憶される機械可読媒体424を備える。ソフトウェア426はまた、メインメモリ404内及び/又はプロセッサ402内に、完全に又は少なくとも部分的に存在するように示される。ソフトウェア426はさらに、ネットワークインターフェース装置422を介して送受信することができる。本明細書の目的のために、用語「機械可読媒体」は、機械によって実行されると共に本発明の方法論のうちのいずれか1つを機械に実行させるための命令のシーケンスを、記憶又は符号化することができるあらゆる媒体を含むように捉えられるべきである。したがって、用語「機械可読媒体」は、固体メモリ、光ディスク及び磁気ディスク、並びに搬送波信号を含むように捉えられるべきであるが、これらに限定されない。
このようにして、ビデオデータ内の動作検出、ビデオデータの対象分類、及びビデオデータの解釈用の、システム及び方法が説明された。本発明は、特定の例示的な実施形態を参照して説明されたが、本発明のより広い範囲から逸脱することなく、これらの実施形態に対して様々な修正及び変更を行うことができることは明らかであろう。したがって、本明細書及び図面は、限定ではなく例示としてみなされるべきである。
さらに、本発明の実施形態の上記の詳細な説明において、様々な特徴が、本開示を簡潔にするために1つ又は複数の実施形態においてまとめられている。開示のこの方法は、本発明の特許請求される実施形態が、各請求項において明確に記載される特徴よりも多い特徴を必要とするという意図を示すものとして解釈されるべきではない。むしろ、添付の特許請求の範囲が示すように、本発明の主題は、開示される単一の実施形態の全ての特徴よりも少ない特徴にある。したがって、添付の特許請求の範囲は、本明細書において、本発明の実施形態の詳細な説明に援用され、各請求項は別個の実施形態として独立している。上記の説明は例示として意図され、限定として意図されないことが理解される。添付の特許請求の範囲において規定されるように本発明の範囲内に含まれることができるような全ての代替形態、変更形態及び均等物を包含することが意図される。他の多くの実施形態は上記の説明を検討すると、当業者には明らかとなるであろう。したがって本発明の範囲は、添付の特許請求の範囲に準拠して、そのような特許請求の範囲の権利を与えられる均等物の全範囲と共に定められるべきである。添付の特許請求の範囲では、用語「含む(including)」及び「ここで(in which)」が、各用語「備える(comprising)」及び「ここで(wherein)」の平易な英語における均等物としてそれぞれ使用される。さらに、用語「第1の」、「第2の」及び「第3の」等は識別表示としてのみ使用され、それらの対象に数字的な要件を課すようには意図されない。
要約書は、読者が技術的開示の性質及び要点を速やかに確認することができるように、米国特許法施行規則第1.72条(b)項に従うように提供される。要約書は、特許請求の範囲の範囲又は意味を解釈又は限定するために使用されるのではないという理解と共に提示される。
Claims (20)
- ビデオシーン内の2つ以上の動いている対象を追跡するステップ、
前記2つ以上の動いている対象のブロブを形成するステップ、
前記ブロブの周囲に境界ボックスを形成するステップ、及び
前記境界ボックスに関してエントロピー値を計算するステップを含む方法。 - 前記エントロピー値が閾値よりも大きいか否かを判断するステップをさらに含む、請求項1に記載の方法。
- 前記エントロピー値が閾値の特定の百分率内にあるか否かを判断するステップをさらに含む、請求項1に記載の方法。
- 前記エントロピー値が前記閾値よりも大きいか否かを判断する前記ステップは、前記2つ以上の動いている対象が喧嘩に関与しているステップを示す、請求項2に記載の方法。
- 前記境界ボックスの周囲に対象領域を設定するステップをさらに含む、請求項1に記載の方法。
- 前記対象領域は前記境界ボックスよりも約25%大きい、請求項5に記載の方法。
- 前記エントロピー値は前記対象領域に関して計算される、請求項6に記載の方法。
- 前記エントロピー値を正規化するステップをさらに含む、請求項1に記載の方法。
- 前記ビデオシーン内の前記2つ以上の動いている対象の実世界における位置を求めるステップをさらに含む、請求項1に記載の方法。
- 前記エントロピー値は平均強度を含む、請求項1に記載の方法。
- ビデオシーン内の2つ以上の動いている対象を追跡する追跡モジュールと、
前記2つ以上の動いている対象のブロブを形成するモジュールと、
前記ブロブの周囲に境界ボックスを形成するモジュールと、
前記境界ボックスに関してエントロピー値を計算する計算モジュールとを備えるシステム。 - 前記ブロブの周囲に対象領域を設定し、
前記対象領域に関して前記エントロピー値を計算し、且つ
前記エントロピー値を正規化するモジュールをさらに備える、請求項13に記載のシステム。 - 機械可読媒体であって、
ビデオシーン内の2つ以上の動いている対象を追跡するステップ、
前記2つ以上の動いている対象のブロブを形成するステップ、
前記ブロブの周囲に境界ボックスを形成するステップ、及び
前記境界ボックスに関してエントロピー値を計算するステップを含むプロセスを実行するための命令を含む、機械可読媒体。 - 前記エントロピー値を閾値と比較するステップであって、前記エントロピー値が前記閾値よりも大きいか否か、又は該エントロピー値が該閾値の或る特定の百分率内にあるか否かを判断する、比較するステップをさらに含む、請求項17に記載の機械可読媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/287,627 US7558404B2 (en) | 2005-11-28 | 2005-11-28 | Detection of abnormal crowd behavior |
PCT/US2006/045330 WO2007064559A1 (en) | 2005-11-28 | 2006-11-22 | Detection of abnormal crowd behavior |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009519510A true JP2009519510A (ja) | 2009-05-14 |
Family
ID=37837044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008543360A Withdrawn JP2009519510A (ja) | 2005-11-28 | 2006-11-22 | 異常な群集の行動の検出 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7558404B2 (ja) |
EP (1) | EP1955285B1 (ja) |
JP (1) | JP2009519510A (ja) |
WO (1) | WO2007064559A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013232181A (ja) * | 2012-04-06 | 2013-11-14 | Canon Inc | 画像処理装置、画像処理方法 |
JP2023536875A (ja) * | 2020-08-19 | 2023-08-30 | 日本電気株式会社 | 因果相互作用検出装置、制御方法、及びプログラム |
Families Citing this family (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE470920T1 (de) * | 2006-10-16 | 2010-06-15 | Bae Systems Plc | Verbesserungen bei der erkennung von ereignissen |
JP2008278128A (ja) * | 2007-04-27 | 2008-11-13 | Toshiba Corp | 監視システム、監視方法およびプログラム |
US8195598B2 (en) * | 2007-11-16 | 2012-06-05 | Agilence, Inc. | Method of and system for hierarchical human/crowd behavior detection |
US8010601B2 (en) | 2007-12-21 | 2011-08-30 | Waldeck Technology, Llc | Contiguous location-based user networks |
US20090195401A1 (en) * | 2008-01-31 | 2009-08-06 | Andrew Maroney | Apparatus and method for surveillance system using sensor arrays |
US8284249B2 (en) | 2008-03-25 | 2012-10-09 | International Business Machines Corporation | Real time processing of video frames for triggering an alert |
US8284990B2 (en) * | 2008-05-21 | 2012-10-09 | Honeywell International Inc. | Social network construction based on data association |
US8107740B2 (en) * | 2008-08-15 | 2012-01-31 | Honeywell International Inc. | Apparatus and method for efficient indexing and querying of images in security systems and other systems |
CN101770648B (zh) * | 2009-01-06 | 2013-04-17 | 贵阳中星电子有限公司 | 一种基于视频监控的徘徊检测系统及方法 |
US9098723B2 (en) * | 2009-02-02 | 2015-08-04 | Waldeck Technology, Llc | Forming crowds and providing access to crowd data in a mobile environment |
US20120047087A1 (en) | 2009-03-25 | 2012-02-23 | Waldeck Technology Llc | Smart encounters |
TWI386039B (zh) * | 2009-03-26 | 2013-02-11 | Hon Hai Prec Ind Co Ltd | 攝像裝置及其動態偵測方法 |
US20120046995A1 (en) | 2009-04-29 | 2012-02-23 | Waldeck Technology, Llc | Anonymous crowd comparison |
JP5272886B2 (ja) * | 2009-05-14 | 2013-08-28 | ソニー株式会社 | 動体検出装置と動体検出方法およびコンピュータ・プログラム |
US20120135744A1 (en) | 2009-07-21 | 2012-05-31 | Kota Enterprises, Llc | Systems and methods for generating and managing communication rules associated with geographic locations |
US8560608B2 (en) | 2009-11-06 | 2013-10-15 | Waldeck Technology, Llc | Crowd formation based on physical boundaries and other rules |
US20120063367A1 (en) | 2009-12-22 | 2012-03-15 | Waldeck Technology, Llc | Crowd and profile based communication addresses |
US20120066303A1 (en) | 2010-03-03 | 2012-03-15 | Waldeck Technology, Llc | Synchronized group location updates |
SE534706C2 (sv) * | 2010-04-16 | 2011-11-22 | Metod för videoövervakning av ett område med beteendeanalys och datorsystem för genomförande av metoden | |
US8483481B2 (en) * | 2010-07-27 | 2013-07-09 | International Business Machines Corporation | Foreground analysis based on tracking information |
US9886727B2 (en) | 2010-11-11 | 2018-02-06 | Ikorongo Technology, LLC | Automatic check-ins and status updates |
US9432639B2 (en) * | 2010-11-19 | 2016-08-30 | Honeywell International Inc. | Security video detection of personal distress and gesture commands |
AU2010257454B2 (en) * | 2010-12-24 | 2014-03-06 | Canon Kabushiki Kaisha | Summary view of video objects sharing common attributes |
KR20130129471A (ko) * | 2011-04-11 | 2013-11-28 | 인텔 코오퍼레이션 | 관심 객체 기반 이미지 처리 |
US8959042B1 (en) | 2011-04-18 | 2015-02-17 | The Boeing Company | Methods and systems for estimating subject cost from surveillance |
WO2013057904A1 (ja) * | 2011-10-19 | 2013-04-25 | パナソニック株式会社 | 蝟集判定装置及び蝟集判定方法 |
US9183512B2 (en) | 2011-12-15 | 2015-11-10 | Northeastern University | Real-time anomaly detection of crowd behavior using multi-sensor information |
CN102663776B (zh) * | 2012-03-31 | 2014-10-29 | 北京智安邦科技有限公司 | 基于特征点分析的剧烈运动检测的方法及装置 |
US10700944B2 (en) | 2012-06-07 | 2020-06-30 | Wormhole Labs, Inc. | Sensor data aggregation system |
US10649613B2 (en) | 2012-06-07 | 2020-05-12 | Wormhole Labs, Inc. | Remote experience interfaces, systems and methods |
US10489389B2 (en) | 2012-06-07 | 2019-11-26 | Wormhole Labs, Inc. | Experience analytic objects, systems and methods |
CN103020591B (zh) * | 2012-11-21 | 2015-09-16 | 燕山大学 | 一种基于因果网络分析的中等规模人群异常行为检测方法 |
CN103077375B (zh) * | 2012-12-30 | 2016-01-20 | 信帧电子技术(北京)有限公司 | 检测打架行为的方法 |
CN103077373B (zh) * | 2012-12-30 | 2015-08-26 | 信帧电子技术(北京)有限公司 | 基于上肢推搡检测打架行为的方法 |
US10223580B2 (en) * | 2013-03-26 | 2019-03-05 | Disney Enterprises, Inc. | Methods and systems for action recognition using poselet keyframes |
WO2014174738A1 (ja) * | 2013-04-26 | 2014-10-30 | 日本電気株式会社 | 監視装置、監視方法および監視用プログラム |
CN103279737B (zh) * | 2013-05-06 | 2016-09-07 | 上海交通大学 | 一种基于时空兴趣点的打架行为检测方法 |
CN103258193B (zh) * | 2013-05-21 | 2016-06-22 | 西南科技大学 | 一种基于kod能量特征的群体异常行为识别方法 |
CN104363414A (zh) * | 2014-10-31 | 2015-02-18 | 无锡悟莘科技有限公司 | 一种智能视频的分析方法 |
CN104732236B (zh) * | 2015-03-23 | 2018-08-24 | 中国民航大学 | 一种基于分层处理的人群异常行为智能检测方法 |
US20170220799A1 (en) * | 2015-05-29 | 2017-08-03 | Kuni Ahi LLC | Behavior-Based Network Management Implementations |
US11468101B2 (en) | 2015-05-29 | 2022-10-11 | Kuni Ahi LLC | Context-rich key framework implementations for global concept management |
CN108604403B (zh) * | 2015-12-15 | 2020-06-16 | 飞利浦照明控股有限公司 | 事件预测系统 |
CN106250820B (zh) * | 2016-07-20 | 2019-06-18 | 华南理工大学 | 一种基于图像处理的扶梯口客流拥堵检测方法 |
JP6415795B1 (ja) * | 2017-01-25 | 2018-10-31 | 三菱電機株式会社 | 混雑予測装置及び混雑予測方法 |
US10972860B2 (en) | 2017-05-25 | 2021-04-06 | International Business Machines Corporation | Responding to changes in social traffic in a geofenced area |
CN107766814A (zh) * | 2017-10-18 | 2018-03-06 | 山东科技大学 | 一种基于Adaboost算法的视频中人群行为的识别方法 |
US20210072718A1 (en) * | 2018-04-09 | 2021-03-11 | Carrier Corporation | Detecting abnormal behavior in smart buildings |
WO2019196934A1 (en) * | 2018-04-13 | 2019-10-17 | Shanghai Truthvision Information Technology Co., Ltd. | System and method for abnormal scene detection |
CN110348343A (zh) * | 2019-06-27 | 2019-10-18 | 深圳市中电数通智慧安全科技股份有限公司 | 一种暴力行为监测方法、装置、存储介质及终端设备 |
CN112668377A (zh) * | 2019-10-16 | 2021-04-16 | 清华大学 | 信息识别系统及其方法 |
US11361592B2 (en) * | 2020-01-13 | 2022-06-14 | Nec Corporation Of America | System and method for a monitoring system |
CN111445678A (zh) * | 2020-04-27 | 2020-07-24 | 南京瑞宇环保科技有限公司 | 一种基于物联网的人群聚集监控及劝阻系统 |
CN111582122B (zh) * | 2020-04-29 | 2021-03-16 | 成都信息工程大学 | 一种监控视频多维度行人行为智能分析系统及方法 |
TR202022665A2 (tr) * | 2020-12-31 | 2022-07-21 | Xena Vision Yazilim Savunma Anonim Sirketi | Kamera takip yöntemi |
CN113112528A (zh) * | 2021-04-26 | 2021-07-13 | 中南财经政法大学 | 异常行为监控方法、装置、设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6118887A (en) * | 1997-10-10 | 2000-09-12 | At&T Corp. | Robust multi-modal method for recognizing objects |
US6721454B1 (en) * | 1998-10-09 | 2004-04-13 | Sharp Laboratories Of America, Inc. | Method for automatic extraction of semantically significant events from video |
US7133537B1 (en) * | 1999-05-28 | 2006-11-07 | It Brokerage Services Pty Limited | Method and apparatus for tracking a moving object |
US6678413B1 (en) | 2000-11-24 | 2004-01-13 | Yiqing Liang | System and method for object identification and behavior characterization using video analysis |
US7202791B2 (en) | 2001-09-27 | 2007-04-10 | Koninklijke Philips N.V. | Method and apparatus for modeling behavior using a probability distrubution function |
US20030058111A1 (en) * | 2001-09-27 | 2003-03-27 | Koninklijke Philips Electronics N.V. | Computer vision based elderly care monitoring system |
US7127083B2 (en) * | 2003-11-17 | 2006-10-24 | Vidient Systems, Inc. | Video surveillance system with object detection and probability scoring based on object class |
US20060233461A1 (en) * | 2005-04-19 | 2006-10-19 | Honeywell International Inc. | Systems and methods for transforming 2d image domain data into a 3d dense range map |
-
2005
- 2005-11-28 US US11/287,627 patent/US7558404B2/en active Active
-
2006
- 2006-11-22 EP EP06838349.6A patent/EP1955285B1/en not_active Ceased
- 2006-11-22 JP JP2008543360A patent/JP2009519510A/ja not_active Withdrawn
- 2006-11-22 WO PCT/US2006/045330 patent/WO2007064559A1/en active Application Filing
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013232181A (ja) * | 2012-04-06 | 2013-11-14 | Canon Inc | 画像処理装置、画像処理方法 |
JP2023536875A (ja) * | 2020-08-19 | 2023-08-30 | 日本電気株式会社 | 因果相互作用検出装置、制御方法、及びプログラム |
JP7491462B2 (ja) | 2020-08-19 | 2024-05-28 | 日本電気株式会社 | 因果相互作用検出装置、制御方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2007064559A1 (en) | 2007-06-07 |
US20070121999A1 (en) | 2007-05-31 |
EP1955285A1 (en) | 2008-08-13 |
US7558404B2 (en) | 2009-07-07 |
EP1955285B1 (en) | 2018-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009519510A (ja) | 異常な群集の行動の検出 | |
Chauhan et al. | Moving object tracking using gaussian mixture model and optical flow | |
Shehzed et al. | Multi-person tracking in smart surveillance system for crowd counting and normal/abnormal events detection | |
Lim et al. | iSurveillance: Intelligent framework for multiple events detection in surveillance videos | |
JP6233624B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
Zin et al. | Unattended object intelligent analyzer for consumer video surveillance | |
Abdo et al. | Fall detection based on RetinaNet and MobileNet convolutional neural networks | |
WO2019220589A1 (ja) | 映像解析装置、映像解析方法、及びプログラム | |
KR101062225B1 (ko) | 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템 | |
KR20210129043A (ko) | 이벤트 기반 센서로부터의 정보를 처리하는 방법 | |
Roy et al. | Suspicious and violent activity detection of humans using HOG features and SVM classifier in surveillance videos | |
Sun et al. | Indoor occupancy measurement by the fusion of motion detection and static estimation | |
Sharma | Human detection and tracking using background subtraction in visual surveillance | |
Murali et al. | Segmentation of motion objects from surveillance video sequences using temporal differencing combined with multiple correlation | |
Dwivedi et al. | An approach for unattended object detection through contour formation using background subtraction | |
Alqaysi et al. | Detection of abnormal behavior in dynamic crowded gatherings | |
KR20160056107A (ko) | 지정된 사물 및 영역에 대한 감시시스템 및 감시방법 | |
CN103049748A (zh) | 行为监测方法及装置 | |
Chauhan et al. | Study of moving object detection and tracking for video surveillance | |
Park et al. | A track-based human movement analysis and privacy protection system adaptive to environmental contexts | |
Satybaldina et al. | Development of an algorithm for abnormal human behavior detection in intelligent video surveillance system | |
Elarbi-Boudihir et al. | Intelligent video surveillance system architecture for abnormal activity detection | |
JP7214437B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
Sugimoto et al. | Robust rule-based method for human activity recognition | |
Sehairi et al. | Real-time implementation of human action recognition system based on motion analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20100202 |