JP2011139453A - 時系列データに基づいてカメラを方向付けるための方法及びシステム - Google Patents
時系列データに基づいてカメラを方向付けるための方法及びシステム Download PDFInfo
- Publication number
- JP2011139453A JP2011139453A JP2010277583A JP2010277583A JP2011139453A JP 2011139453 A JP2011139453 A JP 2011139453A JP 2010277583 A JP2010277583 A JP 2010277583A JP 2010277583 A JP2010277583 A JP 2010277583A JP 2011139453 A JP2011139453 A JP 2011139453A
- Authority
- JP
- Japan
- Prior art keywords
- activity
- atomic
- camera
- primitive
- series data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】時系列データに基づいてカメラを方向付けるためのシステムおよび方法を提供する。
【解決手段】指定されたアトミックアクティビティーの時空間的パターンを与えるステップであって、該時空間的パターンは前記アトミックアクティビティーの時間及びロケーションのみに基づき、それによって前記アトミックアクティビティーの時空間的シーケンスが指定されたプリミティブアクティビティーを形成し、与えるステップと、時系列データにおいて、結果を生成するために、前記時空間的パターンに対応する検知されたプリミティブアクティビティーを検出するステップと、前記結果に基づいてカメラを方向付けるステップとを含む。
【選択図】図2
【解決手段】指定されたアトミックアクティビティーの時空間的パターンを与えるステップであって、該時空間的パターンは前記アトミックアクティビティーの時間及びロケーションのみに基づき、それによって前記アトミックアクティビティーの時空間的シーケンスが指定されたプリミティブアクティビティーを形成し、与えるステップと、時系列データにおいて、結果を生成するために、前記時空間的パターンに対応する検知されたプリミティブアクティビティーを検出するステップと、前記結果に基づいてカメラを方向付けるステップとを含む。
【選択図】図2
Description
本発明は包括的には監視システムに関し、より詳細には、環境から入手される時系列監視データに基づいてカメラを方向付けることに関する。
環境をより安全にかつ効率的にするために、監視及びセンサシステムが用いられる。典型的には、監視システムは環境から入手される信号においてイベントを検出する。それらのイベントは、人々、動物、乗物、又は環境そのものの変化に起因する可能性がある。それらの信号は複合的信号、たとえば視覚信号及び聴覚信号とすることができるか、又はそれらの信号は、環境内の温度、動き及び湿度を検知することができる。
検出は、イベントが生じるのに応じてリアルタイムに行なうことができるか、又はイベントが生じた後にオフラインで行なうことができる。いくつかのリアルタイム処理及びオフライン処理は、記録されたイベントを格納する手段、探索する手段、及び検索する手段を必要とする場合もある。監視データの処理を自動化して、有意なイベントを検出することが望ましい。
近年、屋内環境及び屋外環境の監視及びモニタリングの重要性が高まってきた。現在、監視システムは、多種多様の環境、たとえば、家庭、事務所、空港及び産業設備において使用されている。大部分の従来の監視システムは単一の形式、たとえばビデオを基にしており、場合によっては音声によって補われる。そのようなビデオを基にするシステムは、大量のビデオデータを生成する。ビデオ内のイベントを格納し、検索し、検出することは難問である。イベント又は人を検出するように構成されるコンピュータービジョン手順は、リアルタイムシステムにおいて使用するほど十分に速くないか、又は信頼性のある検出を行なうだけの十分な精度を持たない。さらに、ビデオは、その環境の占有者のプライバシーを侵害する。たとえば、指定された空間からビデオを入手することは違法である場合もある。
いくつかの用途の場合に、監視データ内のパターン、たとえば、人の運動パターンを検出すること、及びそれらの対象となるパターンを特定し、選択するためのインターフェースを提供することが望ましい。
本発明の一実施形態は、時系列データにおいてイベントを検出するための方法を開示する。該時系列データは環境内のセンサによって検知されるアトミックアクティビティーを表し、各アトミックアクティビティーは、各アトミックアクティビティーが検知される時間及びロケーションを含む。方法は、指定されたアトミックアクティビティーの時空間的パターンを与えるステップであって、該時空間的パターンは前記アトミックアクティビティーの前記時間及び前記ロケーションのみに基づき、それによって前記アトミックアクティビティーの時空間的シーケンスが指定されたプリミティブアクティビティーを形成する、与えるステップと、前記時系列データにおいて、前記時空間的パターンに対応する検知されたプリミティブアクティビティーを検出するステップであって、結果を生成し、該検出はプロセッサによって実行される、検出するステップと、前記結果に基づいて前記カメラを方向付けるステップとを含む。
本発明の別の実施形態は、時系列データにおいてイベントを検出するためのシステムを開示する。該時系列データは環境内のセンサによって検知されるアトミックアクティビティーを表し、各アトミックアクティビティーは、該アトミックアクティビティーが検知される時間及びロケーションを含む。本システムは、指定されたアトミックアクティビティーの時空間的パターンを与える手段であって、該時空間的パターンは前記アトミックアクティビティーの前記時間及び前記ロケーションのみに基づき、それによって前記アトミックアクティビティーの時空間的シーケンスが指定されたプリミティブアクティビティーを形成する、与える手段と、前記時系列データにおいて、前記時空間的パターンに対応する検知されたプリミティブアクティビティーを検出し、結果を生成するように構成される制御モジュールと、前記結果に基づいて前記カメラを方向付ける手段とを備える。
システム
図1Aは、本発明の実施形態による、環境105から入手される時系列データにおいてイベントを検出するためのシステム及び方法を示す。本システムは、プロセッサ111、入力及び出力インターフェース122を含む制御モジュール110を備える。そのインターフェースは、グラフィカルユーザーインターフェース121及び入力デバイス140、たとえば、マウス又はキーボードを有する表示デバイス120に接続される。
図1Aは、本発明の実施形態による、環境105から入手される時系列データにおいてイベントを検出するためのシステム及び方法を示す。本システムは、プロセッサ111、入力及び出力インターフェース122を含む制御モジュール110を備える。そのインターフェースは、グラフィカルユーザーインターフェース121及び入力デバイス140、たとえば、マウス又はキーボードを有する表示デバイス120に接続される。
いくつかの実施形態では、本システムは監視データベース130を含む。プロセッサ111は従来通りであり、メモリ、バス、及びI/Oインターフェースを含む。環境105は、監視データ131を入手するためのセンサ129を含む。以下で説明されるように、センサは、限定はしないが、ビデオセンサ、たとえば、カメラ及び動きセンサを含む。それらのセンサは、該センサのロケーションが特定されるように、見取り図220、たとえば、屋内空間のための間取り図に従って環境内に配置される。
制御モジュールは、センサから時系列監視データ131を受信する。時系列データは、環境内のセンサによって検知されるアトミックアクティビティを表す。各アトミックアクティビティはセンサのうちのいずれか1つによって検知され、そのアトミックアクティビティが検知される時間及びロケーションを含む。アトミックアクティビティの例は、1つの動きセンサによって検知されるか、又は1つのカメラによって入手される1つの画像内で観測することができるような1つの動きである。アトミックアクティビティのロケーションは典型的には、見取り図220上のセンサのロケーションに基づいて確定される。一実施形態では、センサ及びアトミックアクティビティのロケーションは、監視データベースに格納される。
図1Bに示されるように、本発明のいくつかの実施形態は、アトミックアクティビティ150を1つのパターン122にグループ化する。そのパターンは、プリミティブアクティビティ160及び/又はイベント170を含む。プリミティブアクティビティはアトミックアクティビティと、アトミックアクティビティに対する制約165とを含み、該アトミックアクティビティに対する制約は時空間的、かつ逐次的である。イベントはプリミティブアクティビティと、プリミティブアクティビティに対する制約175とを含み、プリミティブアクティビティに対する制約は、時空間的、逐次的、かつ/又は同時発生的である。いくつかの実施形態では、イベントはペトリネット(PN)にマッピングされる。
制御モジュールは、時系列データ131においてパターン122を検出し、結果190を生成する。一実施形態では、そのパターンはインターフェース121を介して入手される。典型的には、そのパターンは、入力デバイス140を介してユーザーによって指定される。
その結果に基づいて、コマンドが実行される。そのコマンドのタイプは、ユーザーによって指定されることができる。コマンドの非限定的な例には、関連するビデオをインターフェース上に表示すること、カメラを制御する、たとえば方向付けること、アラームを送出すること、及び/又はメッセージを送信することがある。
一実施形態では、制御モジュールは時系列データ131から直接リアルタイムにパターンを検出する。別の実施形態では、時系列データは監視データベースに格納され、制御モジュールはデータベースに問い合わせる。一実施形態では、制御モジュールは、アトミックアクティビティを受信すると、パターンを検出する。さらに別の実施形態では、制御モジュールは周期的にパターンを検出する。
センサ
時系列データ131はセンサ129のネットワークによって入手される。センサは異種又は同種にすることができる。センサ129は、ビデオカメラ及び動き検出器を含むことができる。当該技術分野において知られているような他のタイプのセンサ、たとえば、温度センサ及び煙感知器を含むこともできる。
時系列データ131はセンサ129のネットワークによって入手される。センサは異種又は同種にすることができる。センサ129は、ビデオカメラ及び動き検出器を含むことができる。当該技術分野において知られているような他のタイプのセンサ、たとえば、温度センサ及び煙感知器を含むこともできる。
カメラのコストは相対的に高く、センサのコストは低いので、センサの数をカメラの数よりも大幅に増やすことができる。すなわち、環境内でカメラは疎らに配置され、検出器は密に配置される。たとえば、1台のカメラによって視認される或るエリアが、数十個の検出器を含むことができる。大きな建物では、数百台のカメラが存在する可能性があるが、検出器は無数に存在する場合がある。カメラの数に比べて、センサの数を相対的に多くすることができる場合であっても、センサによって入手されるデータの量は、ビデオデータと比べて少ない。
一実施形態では、カメラは固定された視野内で検知されるアクティビティに対して応答するのではなく、その環境の画像を単に記録する。それらのビデオは、従来のコンピュータービジョン技法を用いて解析することができることに留意されたい。これはリアルタイムに行なうことができるか、又はビデオが入手された後にオフラインで行なうことができる。コンピュータービジョン技法は、物体検出、物体追跡、物体認識、顔検出及び顔認識を含む。たとえば、本システムは、人がその環境内の特定のエリアに入ったか否かを判断することができ、これをタイムスタンプ付きのイベントとしてデータベースに記録することができる。
しかしながら、別の実施形態では、カメラは、センサによって検出されるアトミックアクティビティーに応答して、カメラを配向すると共にズーム調整するように構成されるパンチルトズーム(PTZ)カメラを含む。
アトミックアクティビティー
図2は、本発明の一実施形態によるインターフェース121を示す。そのインターフェースは、左上にビデオ再生ウインドウ210、右上に間取り図ウインドウ220、そして画面の水平な下側部分に沿ってイベントタイムラインウインドウ230を含む。ビデオ再生ウインドウ210は、任意の数のカメラからのビデオストリームを提示することができる。選択されたビデオは、インターフェース121を介してユーザーによって特定されたアトミックアクティビティー233に対応することができる。
図2は、本発明の一実施形態によるインターフェース121を示す。そのインターフェースは、左上にビデオ再生ウインドウ210、右上に間取り図ウインドウ220、そして画面の水平な下側部分に沿ってイベントタイムラインウインドウ230を含む。ビデオ再生ウインドウ210は、任意の数のカメラからのビデオストリームを提示することができる。選択されたビデオは、インターフェース121を介してユーザーによって特定されたアトミックアクティビティー233に対応することができる。
タイムライン230は、「自動ピアノロール」形式においてアトミックアクティビティーを表示し、時間は左から右に進む。現在時間は、垂直線221によってマークされる。種々の検出器のためのアトミックアクティビティーが垂直軸に沿って配列される。長方形122は、或る時間(水平位置及び長さ)にアクティブであるアトミックアクティビティー(垂直位置)を表す。或る特定のセンサのための水平方向の各配列上には、長方形ブロック125によって輪郭を描かれるトラックがある。
ビデオの視覚化は一般的な強調表示方式である。アトミックアクティビティー233のロケーションは、間取り図220上で色を付けて強調表示することができる。アトミックアクティビティーに対応するセンサは、同じ色において表される水平バー123によってタイムライン上に指示される。或る特定の時間、及び環境の或る特定のエリアにおけるイベントに対応するビデオを再生することができる。
プリミティブアクティビティー
一実施形態によれば、アトミックアクティビティーを空間的及び時間的に関連付けて、プリミティブアクティビティーを形成する。たとえば、人が廊下を歩くときに、その人の速度に応じて、天井に取り付けられた動きセンサのサブセットが、予測可能な時間間隔で順次にアトミックアクティビティーをシグナリングする。
一実施形態によれば、アトミックアクティビティーを空間的及び時間的に関連付けて、プリミティブアクティビティーを形成する。たとえば、人が廊下を歩くときに、その人の速度に応じて、天井に取り付けられた動きセンサのサブセットが、予測可能な時間間隔で順次にアトミックアクティビティーをシグナリングする。
図3は環境の一例を示す。センサ129のロケーションは長方形によって指示される。破線310はセンサの検知範囲を近似的に示す。そのシステムは、その検知範囲が指定されたプリミティブアクティビティーを横切るセンサを選択する。カメラのロケーションは三角形302によって示される。ユーザーは、インターフェース上でセンサの対応するサブセット、たとえば、黒塗りの長方形を選択することによって、プリミティブアクティビティー160、たとえば、或る通路から特定の事務所まで人が移動するために進むことになる経路を指定することができる。
図4は、プリミティブアクティビティー160を指定するためのユーザーインターフェースの一例を示す。たとえば、プリミティブアクティビティーは、センサのサブセットを選択することによって、又は見取り図の一部を指定することによって指定することができる。プリミティブアクティビティーが検出されるとき、一実施形態では、関連するビデオ410及び420が表示される。
ライブアラーム
オンライン監視システムの1つの要件は、「ライブアラーム」を設定し、直ちに送出することができることである。環境内でアクティビティーが生じるのに応じて、ライブアラームによって、ユーザーは対象となるアクティビティーの視覚的な証拠を入手することができるようになる。それらのアラームは、誰かが許可されていない空間に入ること等の異常なアクティビティーに対応することができるか、又は日中にプリンタールームを利用する人数を数えること等の他の作業を実行することに向けての中間的なステップに対応することができる。
オンライン監視システムの1つの要件は、「ライブアラーム」を設定し、直ちに送出することができることである。環境内でアクティビティーが生じるのに応じて、ライブアラームによって、ユーザーは対象となるアクティビティーの視覚的な証拠を入手することができるようになる。それらのアラームは、誰かが許可されていない空間に入ること等の異常なアクティビティーに対応することができるか、又は日中にプリンタールームを利用する人数を数えること等の他の作業を実行することに向けての中間的なステップに対応することができる。
一実施形態は、動きセンサを用いて、プリミティブアクティビティーを検出すると共に対象となるアクティビティーにPTZカメラを方向付ける。典型的には、プリミティブアクティビティーは、センサの起動シーケンスに対応する。その起動シーケンスは、ユーザーによって、見取り図上で対象となる経路160を辿り、センサのサブセットの順序付けられたシーケンスを形成することによって指定することができる。その経路に沿って、指定された配列で起動されるときはいつでも、そのアラームは「停止する」。
一実施形態では、プリミティブアクティビティーは有限状態機械(FSM)としてモデル化され、各センサが入力としての役割を果たし、指定された配列がFSMによってパースされる。入ってくるセンサデータに対して、全ての指定されたFSMが更新される。FSMのうちの1つが指定された配列を検出するとき、アラームが送出され、制御モジュールにコマンドが送信され、カメラがアラームを引き起こしたセンサのロケーションに方向付けられる。カメラ(複数可)が適切なロケーションに方向付けられた後に、さらに画像解析するために、そのシーンにおけるアクティビティーの視覚的な証拠が入手される。
図5は、アラームを送出するように構成されるシステムの一例を示す。そのシステムは、カメラ510と、センサ520と、制御モジュール110とを備える。種々の実施形態において、カメラ510は固定されるか又は移動可能であり、たとえば、ウエブ対応のPTZビデオカメラである。そのシステムは、1台又は複数台のカメラを備える。センサは種々のタイプの検知デバイス、たとえば、動きセンサを含む。センサは、アトミックアクティビティーを検出し、それを、有線又は無線リンクを介して制御モジュールに送信するように構成することができる。
制御モジュールは、アトミックアクティビティーを受信すると、プリミティブアクティビティーを検出し、カメラに対してコマンド535を出力する。そのコマンドは、対象となるアクティビティーを入手するのに最適なカメラのナビゲーションパラメーターを含む場合がある。一実施形態では、制御モジュールはポリシーモジュール540を用いて、コマンドを確定する。別の実施形態では、制御モジュールは監視データベース130に問い合わせて、コマンドを確定する。コマンドの一例は、センサ520によって検知されたユーザー550の運動を追跡することである。
以下でさらに詳細に説明されるように、一実施形態では、制御モジュールはイベントを検出してコマンドを発行する。
ポリシーモジュール
図9は、カメラをスケジュールするためのポリシーの一例を示す。いくつかの実施形態では、センサによって検知されるアクティビティーは資源要求と見なされ、その資源はカメラ930、たとえば、PTZカメラである。入ってくる全ての要求が待ち行列922及び923に編成される。或る時間間隔、たとえば、約10ms毎に、制御モジュールは、その時間間隔内でアクティブである1組のセンサを確定する。最新の要求は、tを中心にした時間窓中に起動されるセンサ910の集合A(t)に追加される。起動集合Ai (t)内のセンサ毎に、可視集合vis(Ai (t))が確定される。
図9は、カメラをスケジュールするためのポリシーの一例を示す。いくつかの実施形態では、センサによって検知されるアクティビティーは資源要求と見なされ、その資源はカメラ930、たとえば、PTZカメラである。入ってくる全ての要求が待ち行列922及び923に編成される。或る時間間隔、たとえば、約10ms毎に、制御モジュールは、その時間間隔内でアクティブである1組のセンサを確定する。最新の要求は、tを中心にした時間窓中に起動されるセンサ910の集合A(t)に追加される。起動集合Ai (t)内のセンサ毎に、可視集合vis(Ai (t))が確定される。
一般的に、アクティビティーの対応するロケーションを観測することができる2台以上のカメラ930及び931が存在する。センサ起動及びカメラの順序付けられた対毎に、割当て920のコストが定義される。カメラが可視集合Ai (t)内に存在しない場合には、割当てのコストは無限大である。可視集合vis(Ai (t))内のカメラの場合、割当てコストは、センサによって検知されるアクティビティーを得るために必要とされるPTZパラメーターの変化であり、すなわち、検知されたプリミティブアクティビティーを得るために必要とされるカメラの状態変化である。
Sk (t)がカメラCk∈vis(Ai (t))の現在の状態である場合には、
はセンサを観測するために必要とされる状態である。一実施形態では、
は較正データベースから確定される。その際、割当てのコストは、以下の通りである。
ただし、d(.)はカメラの状態空間上の距離メトリックである。
別の実施形態では、カメラの状態は、現在のPTZ値として定義される。すなわち、Sk (t)=(p,t,z)である。この実施形態の1つの変形では、ズームパラメーターの代わりに、画像解析を用いて、顔の画像の解像度を高める。したがって、距離メトリックd(,)は現在のパンチルト値と要求されるパンチルト値との間のユークリッドノルムと定義される。したがって、第iのイベントAi (t)を観測するために必要とされるパラメーターは以下の通りであり、
そのコストは以下の通りである。
イベント
いくつかの実施形態では、さらに複雑なパターンを指定することが望ましい。本明細書において定義されるように、イベントは、複数のプリミティブアクティビティーとプリミティブアクティビティーに対する制約とを含むアクティビティーのパターンであり、プリミティブアクティビティーに対する制約は、時空間的、逐次的、かつ/又は同時発生的である。いくつかの実施形態では、イベントは、以下に説明されるようにペトリネット(PN)にマッピングされる。
いくつかの実施形態では、さらに複雑なパターンを指定することが望ましい。本明細書において定義されるように、イベントは、複数のプリミティブアクティビティーとプリミティブアクティビティーに対する制約とを含むアクティビティーのパターンであり、プリミティブアクティビティーに対する制約は、時空間的、逐次的、かつ/又は同時発生的である。いくつかの実施形態では、イベントは、以下に説明されるようにペトリネット(PN)にマッピングされる。
屋内環境及び屋外環境における一般的なアクティビティーは多くの場合に、複数の人々及び物体を含み、通常、或る形の時間的な順序付け及び調整を伴う。たとえば、2人が大きな事務所スペースの待合室において会って、物、たとえばブリーフケースを交換するアクティビティーは、いくつかのプリミティブを含む。
2人が独立して待合室に入り;
その2人が互いの近くに立ち止まり;
一方から他方の人に物が渡され;そして、
2人が別れる。
2人が独立して待合室に入り;
その2人が互いの近くに立ち止まり;
一方から他方の人に物が渡され;そして、
2人が別れる。
そのアクティビティーは、同時に生じる2つの独立した運動によって開始する。それらの運動は時間的な同期点に達し、その時点でスーツケースが交換され、その後、2人が部屋から出るときに、再び2つの独立した動きに分かれる。そのように、独立した流れからの観測が時間的な離散点において同期に達する状況は、本発明の実施形態によって、ペトリネットの形式を用いてモデル化される。
ペトリネット
ペトリネット(PN)は、条件とイベントとの間の関係を記述する手段である。或る実施形態はPNを用いて、同時発生、同期及び資源共用のような挙動をモデル化及び解析する。
ペトリネット(PN)は、条件とイベントとの間の関係を記述する手段である。或る実施形態はPNを用いて、同時発生、同期及び資源共用のような挙動をモデル化及び解析する。
形式的に、ペトリネットは以下のように定義される。
PN={P,T,→}
PN={P,T,→}
ただし、P及びTはそれぞれ、プレース及びトランジションの有限の互いに素な集合であり、すなわちP∩T=φであり、演算子→は、プレースとトランジションとの間の関係であり、すなわち、
→⊆(P×T)∪(T×P)
である。
→⊆(P×T)∪(T×P)
である。
また、PNでは、少なくとも1つの終了プレース及び少なくとも開始プレースが存在する。ノードx∈P∪Tの前集合は集合x={y|y→x}である。ノードx∈P∪Tの後集合は集合x={y|x→y}である。
図8A及び図8Bはそれぞれ、同時発生及び同期の事例に対応する発火プロセスを示す。ペトリネットの動態(dynamics)はマーキングによって表される。マーキングは、ペトリネットのプレース、たとえば、入力プレース820及び出力プレース830へのトークンの割当てである。ペトリネットの実行は、現在のマーキングによって制御される。
トランジション850は、全ての入力プレースが1つのトークンを有する場合に限って発火可能である。トランジションが発火可能であるとき、そのトランジションは発火することができる。発火は、ペトリネットを記述する際に用いられる技術用語である。最も簡単な事例では、全ての発火可能なトランジションが発火することができる。また、それらの実施形態が満たされるべき他の制約を関連付けた後に、発火可能なトランジションが発火することができる。1つのトランジションが発火するとき、全ての発火許可(enabling)トークンが移動され、そのトークンはトランジションの各出力プレースに置かれる(後集合)。
図7は、PN700にマッピングされる同時発生、同期及び順序付け制約の一例を示す。このPNでは、プレースはp1...p6を付され、トランジションはt1...t4を付される。プレースP1711及びP2712は開始プレースであり、P6713は終了プレースである。人Aが開始プレース711において検出されるとき、プレースP1にトークンが置かれる。それに応じて、トランジションt1721が発火可能になるが、トランジションt1に関連付けられる制約が満たされるまで、たとえば、その人が事務所待合室に入るまで発火しない。これが生じた後に、トークンがプレースp1から移動され、プレースp3731に置かれる。同様に、別の人Bが開始プレース712において検出されるとき、プレースP2にトークンが置かれ、その人Bがラウンジに入った後に、トランジションt2722が発火する。それに応じて、プレースp2からトークンが移動され、プレースp4732に置かれる。
トランジションt3740の発火許可プレース731及び732がそれぞれトークンを有するとき、トランジションt3は、関連付けられる制約が生じるとき、すなわち、A及びB2人が互いに接近するときに発火することができる状態になる。
その後、トランジションt3が発火し、両方のトークンが移動され、出力プレースp5750にトークンが置かれる。ここで、トランジションt4760は発火可能であり、発火することができる状態になる。2人の間でブリーフケースが交換されるときにトランジションt4が発火し、プレースp5からトークンが移動され、終了プレースp6に置かれる。トークンが終了プレースに達するとき、PN700は完了する。
ペトリネットは、いくつかの実施形態によって、時系列データ内のイベントを表現及び認識するために用いられる。それらの実施形態は、プリミティブアクションと、それらのアクションに対する制約とに基づいてイベントを定義する。その実施形態では、プリミティブアクションは人間の運動パターンであり、それはセンサを用いて検出される。いくつかの実施形態では、制約は結合演算子、たとえば、「AND」、「OR」、「AFTER」、「BEFORE」を用いて記述される。イベント及び制約はペトリネットにマッピングされる。
図6は、イベントを指定するように構成されるインターフェース121の一例を示す。このインターフェースを用いて、ユーザーはプリミティブアクティビティー610及び620を選択し、制約630、たとえば、「AFTER」を指定することができる。すなわち、プリミティブアクティビティー620は、プリミティブアクティビティー610の後に生じる。一実施形態では、イベントが検出される場合、アラーム640がトリガーされる。
本発明の精神及び範囲内で種々の他の適合及び変更が加えられる場合があることは理解されたい。それゆえ、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るような全ての変形及び変更を包含することである。
Claims (20)
- 時系列データに基づいてカメラを方向付けるための方法であって、該時系列データは、環境内のセンサによって検知されるアトミックアクティビティーを表し、各該アトミックアクティビティーは、各該アトミックアクティビティーが検知される時間及びロケーションを含み、該方法は、
指定されたアトミックアクティビティーの時空間的パターンを与えるステップであって、該時空間的パターンは前記アトミックアクティビティーの前記時間及び前記ロケーションのみに基づき、それによって前記アトミックアクティビティーの時空間的シーケンスが指定されたプリミティブアクティビティーを形成する、与えるステップと、
前記時系列データにおいて、結果を生成するために、前記時空間的パターンに対応する検知されたプリミティブアクティビティーを検出するステップであって、該検出はプロセッサによって実行される、検出するステップと、
前記結果に基づいて前記カメラを方向付けるステップとを含む、時系列データに基づいてカメラを方向付けるための方法。 - 前記アトミックアクティビティーは、前記時間において前記センサによって検知される動きであり、前記ロケーションは前記センサのロケーションである、請求項1に記載の方法。
- 前記方向付けることは、
ポリシーに基づいて前記カメラを方向付けることをさらに含む、請求項1に記載の方法。 - 新たなアトミックアクティビティーを検知すると、前記時空間的パターンをリアルタイムに検出することをさらに含む、請求項1に記載の方法。
- 前記時系列データは監視データベース内に格納され、前記方法は、
前記監視データベースに問い合わせて、前記時空間的パターンを検出することをさらに含む、請求項1に記載の方法。 - 前記センサは異種のセンサから成るネットワークを形成する、請求項1に記載の方法。
- 前記指定されたプリミティブアクティビティーを指定するように構成されるインターフェースを提供することをさらに含む、請求項1に記載の方法。
- 前記インターフェースは前記センサを特定し、それによって、前記センサのサブセットを指定することによって前記指定されたプリミティブアクティビティーが選択される、請求項7に記載の方法。
- 前記インターフェースは見取り図を特定し、それによって、前記見取り図の一部を指定することによって前記指定されたプリミティブアクティビティーが選択される、請求項7に記載の方法。
- 前記指定されたプリミティブアクティビティーを前記センサのサブセットのシーケンスの有限状態機械(FSM)としてモデル化することをさらに含み、前記サブセット内の各前記センサは前記FSMへの入力である、請求項1に記載の方法。
- 前記時空間的シーケンスを、前記センサのサブセットの順序付けられたシーケンスとして指定することをさらに含む、請求項1に記載の方法。
- 前記時空間的パターンは複数の指定されたアトミックアクティビティーを含む、請求項1に記載の方法。
- 「AND」、「OR」、「AFTER」、「BEFORE」演算子を含む結合演算子を用いて、前記複数の指定されたアトミックアクティビティーに対する制約を指定することをさらに含む、請求項12に記載の方法。
- 前記カメラはパンチルトズーム(PTZ)カメラであり、前記方向付けることは、
前記結果に基づいて前記カメラを配向すること及び/又はズーム調整することをさらに含む、請求項1に記載の方法。 - 前記検知されたプリミティブアクティビティーを待ち行列に追加すること、
前記検知されたプリミティブアクティビティーが前記カメラの視界内に入るように、1組のカメラから1つのカメラを確定すること、及び
前記検知されたプリミティブアクティビティーを入手するのに最適な前記カメラのパラメーターを求めること
をさらに含む、請求項14に記載の方法。 - 前記カメラはPTZパラメーターを有するパンチルトズーム(PTZ)カメラであり、前記方向付けることは、
前記検知されたプリミティブアクティビティーを入手するのに必要とされる前記PTZパラメーターの変化のコストを割り当てること、及び
前記コストに基づいて前記PTZパラメーターを変更すること
をさらに含む、請求項3に記載の方法。 - 時系列データに基づいてカメラを方向付けるためのシステムであって、該時系列データは、環境内のセンサによって検知されるアトミックアクティビティーを表し、各該アトミックアクティビティーは、各該アトミックアクティビティーが検知される時間及びロケーションを含み、該システムは、
指定されたアトミックアクティビティーの時空間的パターンを与える手段であって、該時空間的パターンは前記アトミックアクティビティーの前記時間及び前記ロケーションのみに基づき、それによって前記アトミックアクティビティーの時空間的シーケンスが指定されたプリミティブアクティビティーを形成する、与える手段と、
前記時系列データにおいて、前記時空間的パターンに対応する検知されたプリミティブアクティビティーを検出し、結果を生成するように構成される制御モジュールと、
前記結果に基づいて前記カメラを方向付ける手段と
を備える、時系列データに基づいてカメラを方向付けるためのシステム。 - 前記カメラを方向付けるためのポリシーを生成するポリシーモジュールをさらに備える、請求項17に記載のシステム。
- 前記指定されたアトミックアクティビティーを指定するのに適したインターフェースを表示するように構成される表示デバイスをさらに備える、請求項17に記載のシステム。
- 前記時系列データを格納するための監視データベースをさらに備える、請求項17に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/647,844 | 2009-12-28 | ||
US12/647,844 US20110157431A1 (en) | 2009-12-28 | 2009-12-28 | Method and System for Directing Cameras |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011139453A true JP2011139453A (ja) | 2011-07-14 |
Family
ID=44187089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010277583A Withdrawn JP2011139453A (ja) | 2009-12-28 | 2010-12-14 | 時系列データに基づいてカメラを方向付けるための方法及びシステム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20110157431A1 (ja) |
JP (1) | JP2011139453A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015041945A (ja) * | 2013-08-23 | 2015-03-02 | 国立大学法人山梨大学 | 映像内活動度可視化装置、方法及びプログラム |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102174839B1 (ko) * | 2014-12-26 | 2020-11-05 | 삼성전자주식회사 | 보안 시스템 및 그 운영 방법 및 장치 |
US20160321892A1 (en) * | 2015-04-29 | 2016-11-03 | Honeywell International Inc. | Monitoring system and method for combining detector and camera outputs |
WO2017094241A1 (en) * | 2015-12-02 | 2017-06-08 | Canon Kabushiki Kaisha | Display processing apparatus, display processing method, and computer-readable medium for executing display processing method |
US11252323B2 (en) * | 2017-10-31 | 2022-02-15 | The Hong Kong University Of Science And Technology | Facilitation of visual tracking |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8009863B1 (en) * | 2008-06-30 | 2011-08-30 | Videomining Corporation | Method and system for analyzing shopping behavior using multiple sensor tracking |
US8180107B2 (en) * | 2009-02-13 | 2012-05-15 | Sri International | Active coordinated tracking for multi-camera systems |
-
2009
- 2009-12-28 US US12/647,844 patent/US20110157431A1/en not_active Abandoned
-
2010
- 2010-12-14 JP JP2010277583A patent/JP2011139453A/ja not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015041945A (ja) * | 2013-08-23 | 2015-03-02 | 国立大学法人山梨大学 | 映像内活動度可視化装置、方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20110157431A1 (en) | 2011-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10950103B2 (en) | Virtual enhancement of security monitoring | |
JP4829290B2 (ja) | インテリジェントなカメラ選択および対象追跡 | |
Natarajan et al. | Multi-camera coordination and control in surveillance systems: A survey | |
US10192414B2 (en) | System and method for overlap detection in surveillance camera network | |
US10613728B2 (en) | System and method for virtual region based access control operations using BIM | |
CN105554440B (zh) | 监控方法和设备 | |
EP2274654B1 (en) | Method for controlling an alarm management system | |
US11657616B2 (en) | Space management monitoring and reporting using video analytics | |
JP2011139452A (ja) | 時系列データにおけるイベントを検出するための方法及びシステム | |
CN110089104A (zh) | 事件存储装置、事件搜索装置和事件警报装置 | |
JP2007299381A (ja) | 監視データベースへの問合せ方法 | |
US11983827B2 (en) | Enhancing monitoring system with augmented reality | |
JP4722537B2 (ja) | 監視装置 | |
JP2018032950A (ja) | 情報処理装置及びその方法、コンピュータプログラム | |
JP2011139453A (ja) | 時系列データに基づいてカメラを方向付けるための方法及びシステム | |
JP4610005B2 (ja) | 画像処理による侵入物体検出装置および方法およびプログラム | |
WO2018201121A1 (en) | Computer vision based monitoring system and method | |
JP2007243270A (ja) | 映像監視システムおよび方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140304 |