JP2009506468A - イベント検出に関する改善 - Google Patents

Abstract

【解決手段】 群衆内でのイベントの発生を検出するためのイベント検出方法が開示される。本方法は、一連の画像フレームを含んだ群衆の映像フッテージを提供する工程と、群衆ダイナミクスを表現する一連の値を一連の画像フレームに基づいて計算する工程と、一連の値を分析して一連の値の中で生じた不一致を識別する工程と、不一致を識別したことに応答して、イベントが検出されたことを運用者に知らせる出力信号を供給する工程と、を具備する。好ましい実施形態では、当該一連の値は、群衆の動きの複雑性と関連付けされている。このような方法を実行するのに適した装置もまた開示される。
【選択図】 図２

Description

本発明は、（クローズド・サーキット・テレビ（ＣＣＴＶ）・フッテージ（動画素材）のような）映像フッテージにおいて捕捉される、群衆の中でイベント（event）が発生したことを検出するための方法および装置に関する。本発明は、映像フッテージをリアルタイムで監視してイベントが発生したときに運用者に知らせるために用いられるか、イベントを検出するために以前に記録された映像フッテージを分析するために用いられ得る。

テロ対策や反社会的行動に向けられた安全保障システムによって検出するに値する多くの「イベント」が存在する。１つの重要な部分集合は、群衆内またはその近くで発生するイベントの部分集合である。なぜなら、検出が望まれるイベント（events of interest）にとって、群衆は、多くの場合、標的または理由であるからである。検出することが望まれる多様なイベントが存在する。特に関心が寄せられる領域および関心事項は、不測のイベントを検出する問題である。なぜなら、先験的に、どのようなタイプのイベントを検出することが望まれるのかさえ分からないからである。理解されているイベントまたは予想されるイベントは、発見的規則の組を用いて検出することが可能であるが、検出すべきイベントが分からない場合は検出することはできず、さらに、多くの異なるタイプのイベントを検出したい場合には非実用的である。検出が望まれるイベントには、テロリストの攻撃、火事、地震、他の災害、社会的騒乱の始まり、不審な包み、または不審な行動を取っている人さえも含まれる。

システム内の自由度の実効的な数、つまりデータセットの次元数に関連する良く知られた複雑性測定値が多く存在する。既知の複雑性測定値の1つは、Springer-Verlag (2001)による「Artificial Neural Networks − ICANN 2001」の第８５７乃至８６４ページにおいて発表されるとともにG. Dorffner、H. Bischof、K. Hornikによって編集された文書「A Generalisable Measure of Self-Organisation and Emergence」においてW. A. Wright、R. E. Smith、M Danek、P. Greenwayによって説明されている。ライト（Wright)らは、突発的な振る舞いを見せるシステムの能力を、彼らの複雑性測定値の、システム・パラメータの滑らかな変化に比べて唐突な遷移に結び付けている。この文章では、突発的な振る舞いには、例えば捕食者が現れたことに対して魚群が突然に散らばることが含まれている。ライトらは、自分達の測定値を用いて、人口神経システム、進化的計算システム、強化学習システムを含む様々な複雑なシステムにおける、望ましい振る舞いを評価したり促進したりすることができるということを提案している。しかし、残念ながら、ライトらは、彼らの複雑性測定値がどのように他の分野に適用可能かについて気づいていない。

本発明の目的は、改善されたイベント検出方法および装置を提供することである。本発明のさらなる目的は、既知のイベント検出システムおよび方法にまつわる上記の問題の少なくとも幾つかを克服し、または少なくとも緩和する、イベント検出方法およびシステムを提供することである。

大まかには、本発明は、群衆ダイナミクス（crowd dynamics）を分析することを、群衆の中で発生するイベントの検出に応用できるという認識に属する。このことによって、イベントを直接観察することによってではなくイベントに対する群衆の反応を通じて、検出が望まれるイベントを検出することができる。よって、本発明に従ったイベント検出システムおよび方法は、多様なイベントに対する感度を有している。すなわち、本発明によって、群衆の動きを通じて映し出されるが故に、イベントの具体的なタイプではなく群衆の反応の仕方に対して感度を有するイベント検出器が提供される。

よって、本発明の第１の側面に従えば、
（ａ）一連の画像フレームを具備する群衆の映像フッテージを提供する工程と、
（ｂ）前記一連の画像フレームの各々について、前記群衆のダイナミクスを表現する値を前記一連の画像フレームに基づいて算出して、一連の値を算出する工程と、
（ｃ）前記一連の値を分析して前記一連の値の中で生じた不一致を識別する工程と、
（ｄ）不一致を識別したことに応答して、イベントが検出されたことを運用者に知らせる出力信号を供給する工程と、
を具備する、群衆内でのイベントの発生を検出する方法が提供される。

こうして、イベントに対する群衆の反応は、群衆ダイナミクスの点から分析され、このイベントの発生を検出するために用いられる。群衆は、その周囲を監視するのに用いる多数の近接する（proximal）視点（points of view）を有する。また、群衆は、煙のような匂いや、警報または爆発のような聞き取り可能な合図に反応し得る。このような匂いおよび聞き取り可能な合図は、映像監視システムによって直接検出することができない。その上、群衆は、遠くから見た場合に信頼に足る程度を持って読み取ることができない体の動きのような微妙な合図を用いて、おかしなまたは異常な振る舞いを認識できる。東京の地下鉄に対する攻撃は、イベントの一例である。それは、毒ガスの放出であって、毒ガスに晒された人々の反応を通じて間接的に検出されることが可能だったのであるが、映像フッテージを介して直接検出されなかった。群衆ダイナミクスを分析し、ダイナミクスを表現する幾つかの値を用いることを通じてリアルタイムにこのダイナミクスを監視することによって、本発明は、多様なイベントを、ダイナミクスを表現する値の不一致として検出することを可能にする。

一連の値を分析することは、値の正常範囲を提供することを具備する。そして、値が正常範囲外にあるとき不一致が識別される。正常範囲は、所定の範囲であり、または前記一連の値の平均または標準偏差に基づいて決定され得る。有利なことに、このことは、不一致を見つける処理を簡略化し、コンピュータのような適切な処理手段によって容易に自動で実行される。

一実施形態では、前記方法は、前記群衆内の移動する多数の標的を追跡して多数の標的軌跡を決定する工程と、連続する画像フレームの各々に応答して前記標的軌跡を更新する工程と、をさらに具備し、前記一連の値を算出する工程は、前記更新された標的軌跡に基づいて値を決定することを具備する。更新された標的軌跡は、群衆ダイナミクスの直接的な測定値であり、よって、一連の画像を処理する際に有用な情報が若干失われる。前記一連の値を算出する工程は、標的軌跡を表現する行を具備する軌跡行列を形成する工程と、前記軌跡行列についてライトの複雑性メトリックを評価する工程と、を具備することが便利である。本明細書において、「ライトの複雑性測定値」という文言は、ライトらの先に引用した文章から導かれる複雑性測定値を指すために用いられる。

または、前記一連の値を算出する工程は、前記一連の画像フレームに基づいて一連の差分画像を算出することを具備し得、現在の画像についての前記差分画像は、現在の画像フレームと先行する画像フレームとの間の差分に関連付けされている。前記先行する画像フレームは、前記一連の画像フレーム内の前記現在の画像フレームの直前の画像フレームであることが便利である。一連の標的軌跡からではなく一連の差分画像からの群衆ダイナミクスの一連の値を算出することによって、群衆内の個々の標的を追跡するための複雑な追跡技術を必要とする問題が回避され、ひいてはイベント検出方法が簡略化される。

前記一連の値を算出する工程は、前記一連の値の各々について、各々が前記一連の差分画像の１つを表現する複数の行を具備する差分行列を形成する工程と、前記差分画像についてライトの複雑性メトリックを評価して前記一連の値の各々を提供する工程と、を具備することが便利である。前記方法は、前記一連の値を算出する前に前記一連の画像フレームの少なくとも１つの解像度を減ずる工程をさらに具備し、これにより、有利なことに、差分行列の処理効率が向上する。

任意によって、前記方法は、リアルタイムで実行される。

前記一連の値は一連の複雑性値を具備することが便利である。複雑性値は、群衆ダイナミクスが示す実効的な自由度の数と関連付けされることが可能である。複雑性値は、容易に監視可能なスカラー量である。

本発明は、コンピュータ読み取り可能な命令を具備し、且つビデオ・カメラと協働可能なコンピュータに挿入されると先行する請求項のいずれかの方法を実行するように動作可能な、コンピュータ・プログラム製品まで拡がっている。

本発明の第２の視点によれば、ビデオ・カメラと、プロセッサと、警報手段と、を具備するイベント検出システムであって、前記ビデオ・カメラは、一連の画像フレームからなる映像フッテージを記録し且つ前記映像フッテージを前記プロセッサに送信するように動作可能であって、前記プロセッサは、前記一連の画像フレームの各々について前記一連の画像フレームの各々に基づいて計算される群衆ダイナミクスを表現する値を計算して一連の値を計算する計算手段と、前記一連の値を分析して一連の複雑性値内で生じる不一致を識別する分析手段と、を具備し、前記警報手段は、前記プロセッサによって不一致が識別されたことに応答して運用者に警報を出すように構成される、イベント検出システムが提供される。

本発明の上記のおよびさらなる特徴は、添付の請求項に記載されており、添付の図面に描かれている様々な具体的な実施形態を参照して、あくまで例として、以下に説明される。

まず、図１を参照すると、本発明の第１実施形態に従った装置１００が示される。装置１００は、ビデオ・カメラ１１０、プロセッサ１２０、警報手段１３０を具備する。ビデオ・カメラ１１０は、群衆のいる監視対象領域（area of interest）を監視するように配置されている。監視対象領域は、混雑している本通り、または空港ターミナルであり得、交通の流れている通りでさえもあり得る。よって、本明細書で使用されている「群衆」という文言は、監視対象物（targets of interest）の集合のあらゆるものを含み、また、ある領域を通過する監視対象物の集合を含むように広く解釈されるべきである。各監視対象物がその領域に同時に存在しているかは問題とされない。カメラ１１０は、当業者であれば分かるように、視野の一連の画像を記録するように動作可能なあらゆるタイプの装置であり得るが、この具体的な実施形態では、カメラ１１０はＣＣＴＶカメラである。

一連の画像フレームの形態たる映像フッテージが、カメラ１１０からプロセッサ１２０に出力される。本実施形態では、プロセッサ１２０は、自身がリアルタイムに受信する画像群を、イベントの発生を検出するために監視する。各受信画像について、複雑性値が算出される。このため、プロセッサ１２０は、一連の複雑性値を算出する。複雑性は、群衆ダイナミクスを表現するものであるため、測定することが有用な量である。より具体的には、複雑性は、群衆の成員の動きの中の自由度の実効的な数に関連する。システム１１０が大きなホールの中の群衆を監視している簡単な状況について考えてみる。正常な状況下では、おおむね、群衆内の人々は、各個人が取る経路が相互にほとんど相関することなく不規則に移動するであろう。しかしながら、例えば、この部屋の一端で例えば火事が発生すると、群衆の中の人々は出口に向って移動し始め、群衆内の各個人の動き相互間にずっと大きな相関が生じるであろう。後者の状況では、群衆の動きの自由度の実効的な数は低下し、こうして火事がイベントとして検出される。なお、火事がカメラ１１０の視野の中になくても、イベントが検出されるであろう。複雑性値の算出方法は、後に詳細に説明される。

一連の複雑性値の標準偏差および平均が算出され、平均の各側の２つの標準偏差として正常範囲が定義される。所与の画像フレームについての算出値がこの正常範囲の外側にあると、プロセッサ１２０は警報手段１３０を介して運用者に信号を発する。この具体的な実施形態では、警報手段１３０は、可聴警報である。既に説明したように、複雑性値の正常範囲から逸脱することは、検出が望まれるイベントの発生に関係がある可能性があり、運用者に対して発せられた警報によって、運用者はより詳しく調査を行なうことができる。例えば、運用者がカメラ１１０からの出力だけでなく数個のカメラを監視しなければならない場合、警報によって、運用者はカメラ１１０によって記録されたフッテージをより念入りに見なければならなくなり得る。

プロセッサ１２０の動作は、フロー図２００に概略的に示されている。フロー図２００は、新たな画像フレームの受信に応答して警報が発せられるべきかを決定する際にプロセッサ１２０によって実行されるステップを示している。よって、フロー図２００は、開始時点で、プロセッサ１２０からの新たな画像を受信する。このステップは、ステップ２１０に示されている。以降、この新たに受信された画像は、現在画像フレームと称される。ステップ２２０において、差分画像が算出される。差分画像は、現在画像が、先行フレームに対してどのように変化したかを示している。画像は、ピクセル値の行列の形で表現されることができる。そして、差分画像は、現在画像フレームを表現する行列から、現在画像フレームの直前に受信された画像フレームを表現する行列を減じることによって求められる。

ステップ２２０において差分画像を得ることによって、画像に対して行なわれる後続の計算が大幅に簡略化される。２つのフレームの間で不変のピクセルは皆、差分画像において、値ゼロを有する行列要素によって表現されるからである。さらに、これによって、現在画像フレームから、重複する背景情報が除去される。閾値を差分画像行列に適用することによって、例として所定の閾値を下回る値を有する画素には値０が与えられるとともに所定の閾値を超える値を有する画素には値１が与えられることによって、処理をより簡略化することができる。そして、差分画像行列は、２値行列へとマッピングされ、１または０の値を有する画素から構成される。状況によっては、特にフレーム間で数個のピクセルのみ値が変化している場合には、画素を交換すること、例として以前に値０を有していた画素を値１を有する画素へと変化させ、逆の場合も同様にすることが好都合である。なぜなら、行列が多くの０値画素を有するような後述の複雑性の計算において（また特に特異値分解のステップにおいて）、計算が不安定になることがあるからである。

ステップ２３０において、複雑性値が、プロセッサ１００によって保持されている数多くの差分画像からのデータと、現在画像フレームから算出された差分画像からのデータと、を用いて算出される。この保存されている差分画像は、現在画像フレームの直前の画像である。プロセッサ１２０は、一定数の差分画像を保持しており、この結果、（ステップ２１０において）現在画像フレームが受信されたこと、および（ステップ２２０において）関連する差分画像が算出されたことを受けて、最古の保持されている差分画像が消去される。本実施形態では、２０個の差分画像が同時に保持されている。次いで、複雑性値が、以下に定義される差分行列Ｚから算出される。

ここで、ｘ^ｎ _ｔ＝ｊは、ｔ＝ｊにおいて保存された差分画像内のｎ番目のピクセルの値である。よって、ｔ＝ｊにおける差分画像を表現する行列は、ピクセル値の行へと変換され、差分行列Ｚは現在画像フレームの直前に受信された一連の１９個の連続する画像フレームから算出された差分画像を表現する１９個の行、および現在画像フレームについて算出された差分画像から構成される。この現在画像フレームから算出された差分画像は、ｔ＝Ｔとラベル付けされた差分画像であり、最古の差分画像はｔ＝ｔ_０とラベル付けされた差分画像である。

よって、実際には、新たな差分画像の各々が計算される度に、複雑性値は、画像フレームのウィンドウを用いて評価される。このウィンドウは、一定の大きさ（Ｔ−ｔ_０）であって、この具体的な実施形態では、２０個の画像フレームである。当業者にとって明らかなように、時刻の添え字は、受信された画像フレームの数の点から測定されている。また、当業者にとって明らかなように、監視が始まった時点で差分行列Ｚを初期化することが必要であるが、これをどのように行なうかは重要ではない。初期化手順は、（Ｔ−ｔ_０）個を超える画像がビデオ・カメラ１１０によっていったん記録された後では、計算に影響を与えないからである。本実施形態において用いることができる初期化技術の１つは、適当な大きさですべての値が揃っている初期行列Ｚ_０を定義することである。

複雑性値は、以下のライトの複雑性メトリックを用いて算出される。

Ω＝２^Ｓ
ここで、

であり、σ´_ｉは、差分画像Ｚのｉ番目の正規化された特異値である。この正規化された特異値は特異値分解を用いて得られる。特異値分解は、元の行列の特異値である対角成分を有する対角行列を作り出すあらゆる行列に適用可能な周知の技術である。実行列Ａについて、特異値は、行列Ａ^＊Ａの固有値の平方根である。Ａ^＊は、行列Ａの転置行列を意味する。これらの値は、行列Ｚの最大の特異値を１にスケーリングする簡単なスケーリング手順を用いて正規化される。複雑性行列Ωは、上で引用したライトらの書類において導き出されており、群衆が示す自由度の実効的な数を表すものと見ることができる。

Ωの算出、具体的にはσ´_ｉにつながる特異値分解は数的に長く、画像フレーム内のピクセル数が大きくなり得る。この計算に必要な処理時間は、画像フレームの解像度を下げて、ピクセル数を減じることによって短くすることができる。差分行列Ｚ内の各画素は、差分画像内のピクセルと関連しているので、差分行列Ｚの各行内の画素数、よって差分行列Ｚの全体の大きさは、入力画像フレームの解像度を下げることによって小さくすることができる。このことによって、Ωの算出に必要な処理時間の総量が短くなる。その主な理由は、特異値分解のステップに必要な時間の総量が減ることである。画像の解像度をどの程度減じることができるかは、試行錯誤によって決定することができる。しかしながら、処理速度と、群衆ダイナミクスに関連する情報を捉えるのに十分な解像度と、の競合する要件の両方が満たされなければならないことに留意されたい。

ステップ２４０において、ステップ２３０において評価された複雑性が正常範囲と比較される。正常範囲は、上記のように、運用者によって設定される所定の複数の閾値の間と定義される。閾値は、一連の複雑性値の標準偏差に従って変化する。この具体的な実施形態では、正常範囲は、複雑性値の平均の各側の２つの標準偏差の範囲であるとして選択される。ステップ２３０で評価された複雑性値が正常範囲内にある場合、プロセッサ１２０は、ステップ２１０に戻り、さらなる画像フレームを待つ。複雑性値が正常範囲外にある場合、ステップ２５０において、プロセッサ１２０は、警報手段１３０に出力を供給し、これによって、運用者は、一連の複雑性値における不一致についての警告を受ける。そして、運用者は、例えばカメラ１１０からの出力に注意を向けることによって、この不一致の原因を調査することができる。

駐車場からのサンプル・データを用いて、図２に示されるフロー図２００によって示される方法が首尾よく機能することが示された。試験期間のほぼ半分に亘って、「かかし（scarecrow）」を駐車場に置くことで人工的なイベントが作り出された。図３は、複雑性測定値の時間に沿った変化を視覚的に表現したものであり、本発明の第２実施形態に従った方法を用いて測定されたものである。かかしが存在することによって、駐車場を横断する歩行者が取る経路が変化し、このことは、時間に沿った複雑性の変化の遷移（３１０が付されている）として、図３のグラフ３００において見てとれる。

遷移３１０は、明らかに、自動化された手段によって容易に検出可能な統計的に有意な遷移の類である。実際、駐車場にかかしを配置したことに対する平均複雑性値の変化は、１３の標準偏差にほぼ等しい。この複雑性測定値は、この例では、フレーム当たり約５００ピクセルに等しい１人当たり約１ピクセルの画像解像度を用いて評価された。このような解像度は、計算上、十分に効率的であり、満足のいくイベント検出を可能とする。さらに解像度を下げることは、複雑性測定値における遷移３１０の度合いが減る効果があることが見出された。なぜなら、一連の複雑性値の標準偏差が増加したからである。よって、画像フレームの解像度を下げることによって、一連の値の中の不一致が発見しにくくなる。

上記のように、ライトらによって導かれた複雑性測定値は、それが適用される物体のダイナミクスと関連している。よって、ライトの複雑性メトリックを、ピクセル値を表現する成分からなる行列Ｚに適用すると有意義な値を得る結果になることは驚くべきことである。しかしながら、実際に、差分画像は、複雑性メトリックを適用することによって抽出可能な、群衆ダイナミクスについての情報をいくらか保持していると思われ、この情報は複雑性メトリックを適用することによって抽出できる。差分画像内に含まれている情報は、連続するフレーム間で変化した値を有するピクセルにのみ関わっている。これらの変化したピクセルは、明らかに、群衆内での動きを表している。このような動きは、どのようなものであっても、ピクセル値を変化させることになるからである。よって、差分行列Ｚは、イベントを検出するために、複雑性測定値と組み合わせて、うまく用いることができる。

さらに、駐車されている車の横にかかしが出現する上記の駐車場の例での「イベント」は全くの人工的ではある一方、当業者は、検出する価値の有るイベントに対して群衆が同様に反応する多くの状況があることを理解するであろう。例えば、群衆は、不審な、持ち主不明の荷物に対して反応を示すであろう。すなわち、群衆内の各個人は、この荷物から離れるために経路を変えるであろう。このような反応は、本発明の第１実施形態に従ったシステムによって検出されるであろう。なお、検出されるのは、不審な荷物の存在ではなく群衆の反応である。このようなイベントを自動で検出することができるシステムは、自国保安の分野において明らかな有用性を有する。

本発明のさらなる実施形態に従った方法が、図４に示すフローチャート４００によって概略的に示されている。この実施形態の方法は、図１に示す装置１００を用いており、複雑性測定値を算出するのに用いられる画像データの処理を除いて、図２に示すフロー図２００によって概略的に示される実施形態の方法と同様である。図４のフロー図４００において、ステップ４１０は、新たな画像フレームが、プロセッサ１２０（図１）によって受信されることを表している。この画像は、多数の監視対象の標的（target of interest）が存在する領域として撮影される。この標的は、例えば、交通量の多い通りを行く移動中の車である。標的は、プロセッサ１２０によってその動きを追われ、その軌跡は、新たな画像フレームの各々を受信したことに応答して記録および更新される。標的の軌跡を更新するステップは、フロー図４００内のステップ４２０として表されている。この標的は、あらゆる既知の追跡アルゴリズムを用いて追跡できる。例えば、（Transactions of the ASME Journal of Engineeringの第３３乃至４５ページ（１９６０年）に発表された「A New approach to linear filtering and prediction problems」において、R. E. Kalmanによって開示された）カルマン・フィルタ・アルゴリズム、または、（IEE Proc. Fのvolume 140, no.2の第１０７乃至１１３ページ（１９９３年）に発表された「Novel Approach to non-linear/non-Gaussian Bayesian State Estimation」において、N. Gordon, D. Salmond, A. Smithらによって開示された）粒子フィルタ・アルゴリズムを、例えばテンプレート・マッチング技術のような適切な標的検出法と組み合わせることである。テンプレート・マッチング技術によって、プロセッサが、前もって獲得したテンプレートを受信画像の一部と比較することを試みることを求められる。一致があった場所で、標的が識別される。

ステップ４３０において、軌跡の複雑性は、上で定義されたライトの複雑性測定値Ωを用いて評価される。ここでは、行列Ｚは、差分画像からのデータではなく標的の軌跡を表現するデータの行からなり、以下、軌跡行列と称する。よって、例えば、各行は、各標的の画像フレーム内の複数の座標からなり、新たな画像の各々が受信される度に新たな行が付加されて軌跡の時間経過が記録される。そして、複雑性値が、上記のように、ライトの複雑性メトリックを用いて算出される。複雑性値の算出の前に画像の解像度を下げることは、この場合には不要であることに留意されたい。画像の解像度と軌跡行列の大きさとの間に何の関係も無いからである。実際、画像の解像度を下げることは、映像フッテージを介して標的を追跡するのに用いられる追跡アルゴリズムの信頼性が低下する好ましくない影響を有することが予想される。ステップ４４０において、複雑性値が、図１に示すフロー図２００のステップ２４０に関連して上記した、定義済みの正常範囲内に収まっているか否かが判定される。複雑性値が正常範囲内にある場合、処理は４１０に戻る。正常範囲外にある場合、ステップ４５０において不一致が運用者に知らされ、処理はステップ４１０に戻る。

図４に示す実施形態の方法は、車以外の標的にも適用可能で、具体的には群衆に適用可能である。よって、本方法は図２に示す方法と定量的に比較されることが可能であり、発明者らは図４の方法が図２の方法よりも良い結果を生むことが可能であることを示した。比較試験、すなわち図２に示す同じ映像データを図４に示す実施形態の方法を用いて分析すると、駐車場にかかしを配置したことに対して１３ではなくシフト２２の複雑性の標準偏差の変化を示した。このことは、軌跡データがピクセルに基づいたデータよりも標的の群衆ダイナミクスに対してより密接に関係しているためと思われる。しかしながら、この例では、駐車場を横切って動く人々を追跡することは、既知の追跡アルゴリズムのいずれも用いずに手動で実行された。既知の追跡アルゴリズムは、しばしば、人々を追跡するのに信頼性が低いからである。人々は、動くに連れて形状が変化し得、カメラに向っている面が回転したり変化したりすることによって見た目が大きく変わり得、フレーム内の物体によって一部または完全に見えなくされ得るからである。このように、標的検出にまつわる問題故に、人を一連の画像フォームを通じて首尾よく追跡することは非常に困難であり得る。（上に簡単に説明したような）テンプレート・マッチング技術が用いられてもよい。例えば、モデルベース・データベース技術であって、そこでは、骨格系の予備的知識と、その動き方が用いられて、標的検出に制約が課される。しかしながら、このような技術は、かなりの処理能力を必要とする。

本発明のさらに別の実施形態に従った方法が、図５に示すフロー図５００において概略的に示されている。この方法は、図１に示す装置１００を用いて実行することができる。ここで、カメラ１１０は、カラー画像フレームをプロセッサ１２０に出力するように動作可能である。フロー図５００に示すステップは、差分画像および複雑性値が算出される前に画像がステップ５２０において色量子化されることを除いて図２に示すフロー図２００内に示すステップと同様である。よって、ステップ５１０において、（図１に示す）プロセッサ１２０において新たな画像フレームが受信される。ステップ５２０において、画像フレームが色量子化される。カラー画像フレームにおいて、各ピクセルは色値を有する。色量子化処理では、ピクセルの色が色値の所定の範囲に収まっているかに応じて値１または値０が各ピクセルに対して割り当てられる。よって、多くの色量子化された画像メトリックが生成され得、カメラ１１０が感知可能な色のスペクトルが網羅される。次に、ステップ５３０において、色量子化された画像の各々について差分画像が算出され、各色範囲について差分行列が生成され得る。よって、新たな画像フレームの各々が多くの差分メトリック、複雑性値を生成する。複雑性値は、ステップ５４０において、上記のライトらの複雑性メトリックを用いて評価される。各差分メトリックについての様々な複雑性値が、この画像フレームについての複雑性値が１つになるように、加算される。ステップ５５０において、この１つの複雑性値が、（フロー図２００に示す方法の中のステップ２４０においてなされたのと同じ方法で）正常範囲内にあるか否かが判定される。複雑性値が正常範囲内にある場合、プロセッサはステップ５１０に戻り、新たな画像フレームを待つ。複雑性値が正常範囲外にある場合、ステップ５６０において運用者に警告がなされる。色量子化を含めることは、実際のフッテージを用いた幾つかの実験で、より効果的なイベント検出方法であることが見出された。

様々な具体的な実施形態を参照して本発明を説明したが、これらの実施形態は、全て例示的なものとして抽出されていることに留意されたい。添付の請求項において定義される本発明の範疇から逸脱することなく変形や改良を行なうことが可能である。このような変形や改良を行なうことは、当業者にとってすぐに明らかになるであろう。例えば、一連の複雑性値の平均および標準偏差の観点から正常範囲が定義されることを説明したが、運用者が所定の閾値を設けたり、２つ（またはそれ以上）の画像フレーム間で値の変化が所定量を超えている場合に不一致であると認めたりすることももちろん可能である。

また、これまで、ライトの複雑性メトリックΩを用いて、一連の画像フレームに基づいて一連の複雑性値を計算することを説明した。しかしながら、他の複雑性測定値、すなわち群衆ダイナミクスを表現するあらゆる測定値をライトの複雑性測定値Ωの代わりに用いてもよいことは、当業者によってすぐに認められるであろう。このような値は、実効的な自由度の数に関連する別の値であってもよいし、周辺的な統計的値（marginal statistical values）であってもよい。例には、リアプノフ指数、群衆を構成する監視対象物の平均速度、または群衆を構成する監視対象物の平均直線経路の長さ、が含まれる。さらに、本発明は、上記のように運用者にイベントの発生を知らせるためにリアルタイムで適用されてもよいし、時間的に先に捉えられた映像フッテージを後に分析する際に適用されてもよいことが理解されるべきである。以前に得られた映像フッテージを分析できる能力は、保安用カメラによって捉えられたフッテージに対して有用である。なぜなら、フッテージ内の監視対象物の連なりを見つけるのに必要な人手による作業の量が減少するからである。

最後に、あらゆる実施形態との関連で上記した特徴のいずれもが、単独または記載されている別の特徴との組合せで用いられてもよいし、別のあらゆる実施形態の１つまたはそれ以上の特徴との組合せまたは他のあらゆる実施形態との組合せで用いられてもよいことがはっきりと理解されるべきであることにも留意されたい。

本発明の第１実施形態に従った装置の概略的な図である。 図１の実施形態の動作において実行される説明用のステップを概略的に示すフロー図である。 図２のフロー図において描かれる方法の試験の間に記録されるデータを示すグラフである。 本発明のさらなる実施形態に従った方法の一部として実行されるステップを概略的に示すフロー図である。 本発明のさらに別の実施形態に従った方法を示すフロー図。

Claims (16)

1. （ａ）一連の画像フレームを具備する群衆の映像フッテージを提供する工程と、
   （ｂ）前記一連の画像フレームの各々について、前記群衆のダイナミクスを表現する値を前記一連の画像フレームに基づいて算出して、一連の値を算出する工程と、
   （ｃ）前記一連の値を分析して前記一連の値の中で生じた不一致を識別する工程と、
   （ｄ）不一致を識別したことに応答して、イベントが検出されたことを運用者に知らせる出力信号を供給する工程と、
   を具備する、群衆内でのイベントの発生を検出する方法。
2. 前記一連の値を分析する工程は、値の正常範囲を提供する工程を具備し、
   前記値が前記正常範囲外にある場合に不一致が識別される、
   請求項１の方法。
3. 前記範囲は、前記一連の値の平均および標準偏差に基づいて決定される、請求項２の方法。
4. 前記群衆内の移動する多数の標的を追跡して多数の標的軌跡を決定する工程と、
   連続する画像フレームの各々に応答して前記標的軌跡を更新する工程と、
   をさらに具備し、
   前記一連の値を算出する工程は、前記更新された標的軌跡に基づいて値を決定することを具備する、
   先行するいずれかの請求項のいずれか１項の方法。
5. 前記一連の値を算出する工程は、
   標的軌跡を表現する行を具備する軌跡行列を形成する工程と、
   前記軌跡行列についてライトの複雑性メトリックを評価する工程と、
   を具備する、請求項４の方法。
6. 前記一連の値を算出する工程は、前記一連の画像フレームに基づいて一連の差分画像を算出することを具備し、
   現在の画像についての前記差分画像は、現在の画像フレームと先行する画像フレームとの間の差分に関連付けされている、
   請求項１乃至３のいずれか１項の方法。
7. 前記先行する画像フレームは、前記一連の画像フレーム内の前記現在の画像フレームの直前の画像フレームである、請求項６の方法。
8. 前記一連の値を算出する工程は、前記一連の値の各々について、
   各々が前記一連の差分画像の１つを表現する複数の行を具備する差分行列を形成する工程と、
   前記差分画像についてライトの複雑性メトリックを評価して前記一連の値の各々を提供する工程と、
   を具備する、請求項６または７の方法。
9. 前記一連の値を算出する前に前記一連の画像フレームの少なくとも１つの解像度を減ずる工程をさらに具備する請求項６乃至８のいずれか１項の方法。
10. 前記方法はリアルタイムで行なわれる、先行する請求項のいずれか１項の方法。
11. 前記一連の値は一連の複雑性値を具備する、先行する請求項のいずれか１項の方法。
12. 添付の図面を参照して本明細書に開示されるものと実質的に同じイベント検出方法。
13. コンピュータ読み取り可能な命令を具備し、且つビデオ・カメラと協働可能なコンピュータに挿入されると先行する請求項のいずれかの方法を実行するように動作可能な、コンピュータ・プログラム製品。
14. ビデオ・カメラと、プロセッサと、警報手段と、を具備するイベント検出システムであって、
    前記ビデオ・カメラは、一連の画像フレームからなる映像フッテージを記録し且つ前記映像フッテージを前記プロセッサに送信するように動作可能であって、
    前記プロセッサは、前記一連の画像フレームの各々について前記一連の画像フレームの各々に基づいて計算される群衆ダイナミクスを表現する値を計算して一連の値を計算する計算手段と、前記一連の値を分析して一連の複雑性値内で生じる不一致を識別する分析手段と、を具備し、
    前記警報手段は、前記プロセッサによって不一致が識別されたことに応答して運用者に警報を出すように構成される、
    イベント検出システム。
15. リアルタイムで動作するように構成された請求項１３のイベント検出システム。
16. 添付の図面を参照して本明細書に開示されるものと実質的に同じイベント検出システム。

Images