JP2009516480A - ビデオ監視システムを動作させるための方法およびシステム - Google Patents
ビデオ監視システムを動作させるための方法およびシステム Download PDFInfo
- Publication number
- JP2009516480A JP2009516480A JP2008541314A JP2008541314A JP2009516480A JP 2009516480 A JP2009516480 A JP 2009516480A JP 2008541314 A JP2008541314 A JP 2008541314A JP 2008541314 A JP2008541314 A JP 2008541314A JP 2009516480 A JP2009516480 A JP 2009516480A
- Authority
- JP
- Japan
- Prior art keywords
- target
- camera
- video
- video camera
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
- G08B29/18—Prevention or correction of operating errors
- G08B29/20—Calibration, including self-calibrating arrangements
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Burglar Alarm Systems (AREA)
Abstract
【課題】ビデオ監視システムのための方法およびシステムを提供する。
【解決手段】ビデオ監視システムのための方法およびシステムは、個々に視野を備えた複数のビデオカメラを備えており、カメラは、カメラ視野を変更するためのズーム、水平チルト軸の周りにカメラを回転させるためのチルト、および垂直パン軸の周りにカメラを回転させるためのパン、のうちの少なくとも1つを実施するように構成されている。システムは、さらに、少なくとも1つのビデオカメラの視野内の画像を表す信号を受け取り、受け取った信号を使用してターゲットを認識し、そのターゲットを認識しているカメラからそのターゲットへの方向を決定し、かつ、決定した方向を複数のビデオカメラのうちの他のカメラに送信するように構成されたプロセッサを備えている。
【選択図】図1
【解決手段】ビデオ監視システムのための方法およびシステムは、個々に視野を備えた複数のビデオカメラを備えており、カメラは、カメラ視野を変更するためのズーム、水平チルト軸の周りにカメラを回転させるためのチルト、および垂直パン軸の周りにカメラを回転させるためのパン、のうちの少なくとも1つを実施するように構成されている。システムは、さらに、少なくとも1つのビデオカメラの視野内の画像を表す信号を受け取り、受け取った信号を使用してターゲットを認識し、そのターゲットを認識しているカメラからそのターゲットへの方向を決定し、かつ、決定した方向を複数のビデオカメラのうちの他のカメラに送信するように構成されたプロセッサを備えている。
【選択図】図1
Description
本発明は一般にビデオ監視システムに関し、より詳細には空間格子内における複数のパン、チルトおよびズームカメラアセンブリの位置の決定に関する。
知られている少なくともいくつかのビデオ監視システムは、個々のパン、チルトおよびズーム(PTZ)アセンブリと共にハウジング内に取り付けられた複数のビデオカメラを備えている。PTZにより、カメラの動きを制御し、カメラの観察領域と重要な対象または重要なロケーションを整列させることができる。メカニズムのズーム部分を使用してカメラの視野を調節することができる。ハウジングは、通常、エンクロージャおよび透明または半透明の半球ドームを備えている。ハウジングは、カメラおよびPTZアセンブリが取り付けられるロケーションの環境からカメラを保護している。
米国特許第5,243,418号公報
米国特許第5,867,584号公報
米国特許第6437819号公報
米国特許第6789039号公報
米国特許出願公開第20050104958号公報
国際特許出願公開第03044458号公報
多くの視線妨害物が存在する広い領域をビデオで網羅するために、いくつかのアプリケーションでは複数のカメラがコーディネートされている。この広い領域は、たとえば、小売店の内部、倉庫の内部、構内の建物の内部および外部にカメラが配置された商業地域であってもよい。障害物は、場合によっては、領域を通って移動する重要なターゲットの追跡を困難にしている。また、ターゲットの追跡をある1つのカメラから他のカメラへ手動で切り換えるためには、どのカメラの視野にそのターゲットが移動するかを、領域内における個々の移動点毎に決定しなければならない。大型システムの場合、このような決定は厄介であり、また、場合によってはターゲットがすべてのカメラの視界から消えてしまうことがあるため、ターゲットの追跡を継続するためには、その前に複数のカメラのうちの少なくとも1つでそのターゲットを再度捕獲しなければならない。さらに、柱、円柱、積み重ねられた箱、衣類のラックあるいは他の小売商品などの障害物も場合によってはターゲットの追跡を困難にしている。
一実施形態では、ビデオ監視システムは、個々に視野を備えた複数のビデオカメラを備えており、カメラは、カメラ視野を変更するためのズーム、水平チルト軸の周りにカメラを回転させるためのチルト、および垂直パン軸の周りにカメラを回転させるためのパン、のうちの少なくとも1つを実施するように構成されている。システムは、さらに、少なくとも1つのビデオカメラの視野内の画像を表す信号を受け取り、受け取った信号を使用してターゲットを認識し、そのターゲットを認識しているカメラからそのターゲットへの方向を決定し、かつ、決定した方向を複数のビデオカメラのうちの他のカメラに送信するように構成されたプロセッサを備えている。
他の実施形態では、複数のビデオカメラを備えたビデオ監視システムを動作させる方法には、第2のビデオカメラに通信可能に結合された第1のビデオカメラを提供するステップと、第1のビデオカメラを使用してターゲットを認識するステップと、ターゲットの少なくとも1つの特徴を第1のビデオカメラから第2のビデオカメラへ送信するステップと、第2のビデオカメラを使用して、送信された特徴からターゲットを認識するステップとが含まれている。
さらに他の実施形態では、コンピュータ可読媒体の上に具体化された、ビデオ監視システムを動作させるためのコンピュータプログラムが提供される。システムは、第2のビデオカメラに通信可能に結合された第1のビデオカメラを備えており、プログラムには、第1のビデオカメラから受け取った信号からターゲットを認識し、次に、ターゲットの少なくとも1つの特徴を第1のビデオカメラから第2のビデオカメラへ送信し、かつ、第2のビデオカメラから受け取った信号から、送信された特徴を使用してターゲットを認識する少なくとも1つの命令セグメントが含まれている。
本明細書において使用されているように、単数形で表現されている構成要素またはステップは、それが単数の構成要素またはステップであることが明記されていない場合、複数の構成要素またはステップが包含されているものとして理解されたい。また、本発明の「一実施形態」という表現の参照は、記述されている特徴を同じく組み込んだ実施形態がそれ以外には存在していないものとして解釈してはならない。
図1は、本発明の一実施形態による例示的ビデオ監視システム100を略図で示したものである。ビデオ監視システム100は、制御パネル102、ディスプレイモニタ104およびパン、チルトおよびズーム(PTZ)アセンブリ105を備えている。通常、カメラ106は、カメラ106が配置される環境からカメラ106を保護するためのドーム110を有するエンクロージャ108内に収納されている。一実施形態では、ドーム110は、カメラ106がエンクロージャ108の外側の環境の画像を捕獲することができ、かつ、カメラ106によって観察されている環境中の個人によるカメラ106の配向の決定を阻止することができるよう、着色されている。様々な代替実施形態では、ドーム110は着色されていない。例示的実施形態では、カメラ106は、垂直軸112の周りにパンさせる機能、水平軸114の周りにチルトさせる機能、およびレンズアセンブリ116を制御してカメラ106をズームさせる機能を備えている。たとえば、PTZアセンブリ105は、パン電動機およびエンコーダ113ならびにチルト電動機およびエンコーダ115を備えている。これらのエンコーダによってパン電動機およびチルト電動機の角位置が決定され、視野内の領域を決定するためにズーム設定値と共に使用される位置信号が生成される。矢印118は、カメラ106のパニング運動を表しており、矢印120は、カメラ106のチルティング運動を表している。また、矢印122は、カメラ106のレンズアセンブリ116の焦点距離の変化すなわちズーミングを表している。座標系124を参照して示されているように、パニング運動は、x軸に沿った運動を追跡することができ、チルティング運動は、y軸に沿った運動を追跡することができる。また、焦点距離調整を使用してz軸に沿った運動を追跡することができる。このような機能を制御するためのコマンドを表す信号は、制御パネル102から制御データ線路126を介して送信される。画像データ信号は、カメラ106からビデオデータ線路130を介してディスプレイモニタ104および記憶装置128へ送信される。
レンズアセンブリ116は、制御パネル102から離れたロケーションであってもよい、視野134内に存在している、レンズアセンブリ116の視軸136に沿ったロケーション132の領域を見ている。ロケーション132の画像は、カメラ106によって電気ビデオ信号に変換され、ディスプレイモニタ104に送信される。
例示的実施形態では、制御パネル102は、パンコマンドおよびチルトコマンドを生成するために使用されるX−Y制御ジョイスティック140を備えている。複数のロッカー型スイッチ142を使用して、レンズアセンブリ116のズーム144、焦点146およびアイリス148が制御される。代替実施形態では、ジョイスティック140は、カメラ106のズームを制御するために使用されるツイストアクチュエーションを備えている。また、ジョイスティック140は、システム100に関連する様々な制御の操作を容易にするためのトリガおよび/またはボタンを組み込むことも可能である。制御パネル102は、さらに、数字および値を入力するための数値キーパッド150を備えている。代替実施形態では、制御パネル102は、テキストならびに数字を入力するための英字キーパッドまたは英数字キーパッド(図示せず)を備えることができる。制御パネル102は、さらに、カメラ106および/またはレンズアセンブリ116の動作を自動的に制御するマクロを実行するようにプログラムすることができる複数のプリセットスイッチ152を備えている。たとえば所定の制御機能および/またはユーザ定義機能、たとえばマルチカメラビデオ監視システムにおけるカメラ選択のために複数のボタン154を使用することができる。ディスプレイ156を使用して、ビデオ監視システム100の状態を表示することができ、あるいはディスプレイ156を使用して、選択されたカメラに関連するパラメータを表示することができる。
例示的実施形態では、ビデオ監視システム100は、単一カメラアプリケーションであるが、より広い監視領域またはより複雑な監視領域をカバーするために、追加カメラ(カメラは静止型カメラまたは可動カメラのいずれであってもよく、あるいはそれらの何らかの組合せであってもよい)を有するより大型の監視システムに本発明の様々な実施形態を使用することができる。代替実施形態では、カメラ13およびシステム100内の他のカメラによって捕獲されたビデオ画像を記録するために、制御パネル32に1つまたは複数のビデオレコーダ(図示せず)が接続されている。
図2は、ビデオ監視システム100(図1に示すシステム)の代替実施形態を略平面図で示したものである。ビデオ監視システム200はシステム100の拡張バージョンであり、監視中の領域212の周りに間隔を隔てて配置された複数のビデオカメラ202、204、206、208および210を備えている。システム200のコンポーネントで、システム100(図1に示すシステム)のコンポーネントと全く同じコンポーネントは、図2には、図1に使用されている参照数表示と同じ参照数表示を使用して識別されている。システム200に含まれているカメラは、もっと多くすることも、あるいはもっと少なくすることも可能である。
システム200は、システム200を制御するためのコンポーネントが配置され、また、ユーザが位置する制御室214を備えている。個々のカメラは、制御パネル102およびディスプレイモニタ104に通信可能に結合されている。例示的実施形態では、監視中の領域212は倉庫として示されているが、システム200を使用して任意の商業施設、住宅施設または工業施設を監視することも可能である。例示的実施形態では、監視中の領域212は、監視中の領域212の内部の周囲を画定している壁216、および内部を部屋220に分割している壁218を備えている。棚ユニット222などの他の障害物は、通常、カメラ106、202、204、206、208および210の視野の少なくとも一部を遮っている。
動作中、ネットワーク内の複数のビデオカメラの性能は、個々のカメラの空間座標(X、Y、Z)が分かり、かつ、個々のカメラのカバレージが較正されると改善される。このような情報は、複数のカメラを使用して異なる角度から同じターゲットの位置を個別に突き止める場合に使用される。例示的実施形態では、複数のカメラの較正は、大まかな訓練段階と洗練段階の2段階で実行される。
カメラのネットワークの大まかな訓練は、模擬ターゲット224を使用して実行される。例示的実施形態では、ターゲット224は、その環境に固有の特徴、たとえばターゲット224の形、大きさ、色、パターンなどを有する球のクラスタを備えている。個々の球の大きさは、直径約2フィートである。ターゲット224の例示的実施形態は、カメラがターゲットを指している間に、ターゲットの視点からのカメラの角度をそのカメラからの画像から引き出すことができる特性を有している。この角度は、ターゲット−カメラ角と呼ばれており、方位および仰角としてより一般的に知られている垂直成分および水平成分が含まれている。
ターゲット224は、ネットワーク内の複数のカメラのうちの任意の1つ、この実施例ではカメラ106の視野領域226内に所定の正規ターゲット距離228で配置されている。ターゲット224の位置を突き止めるためのコマンドがカメラ106に送信され、カメラ106は、候補ターゲットが見つかるまで視野領域226の探索を実行する。探索は、カメラ106からビデオ信号を受信している間に実行されるパンコマンド、チルトコマンドおよび/またはズームコマンドの事前プログラム済みセットまたは動的セットである。ビデオ信号とメモリに記憶されているターゲットの特徴が比較され、比較の結果が所定の閾値基準と合致すると、ターゲット候補としてその識別された対象にタグが振られ、引き続いて完了するまで探索が継続される。個々のカメラは、ユーザが選択することができ、もしくは探索の最適化を容易にするために使用される学習アルゴリズムが選択することができ、あるいは人間オペレータの支援を得て選択することができる、記憶されている所定の探索コマンドのセットを有することができる。探索は、パンコマンド、チルトコマンドおよび/またはズームコマンドのプログラム済みセットの最後のコマンドを実行することによって終了させることができ、あるいは任意の時間、たとえば1つまたは複数のターゲット候補が識別された時点で終了させることができる。ターゲット224の捕獲は、ターゲット224を視野領域226内を移動させることによって確認される。カメラ106は、カメラ106がターゲット224を捕獲している場合、ターゲット224が視野領域226内を移動している間、ターゲット224を指した状態を維持する。基準ターゲットの捕獲が確認されると、カメラ106は、ターゲット224の形、大きさ、色およびパターンなどのターゲット224の特徴をネットワーク内の少なくとも1つの他のカメラに送信する。
カメラ106に対する大まかな訓練が完了すると、ネットワークを較正するためのコマンドがシステム100のすべてのカメラに送られる。ビデオカメラ202、204、206、208および210の各々は、それぞれの視野領域内のターゲット224を探索するコマンドを実行する。ターゲット224は、ターゲット224が個々のビデオカメラ202、204、206、208および210の視野領域を通過する際に、個々のカメラがターゲット224を検出し、かつ、認識するよう、監視中の領域212内に再配置される。ビデオカメラ202、204、206、208および210の各々のターゲット−カメラ角パラメータ、パンパラメータ、チルトパラメータおよびズームパラメータは、ネットワーク内のビデオカメラどうしで互いに送信される。様々な実施形態では、ターゲット−カメラ角パラメータ、パンパラメータ、チルトパラメータおよびズームパラメータは、ビデオカメラどうしで互いに実時間で連続的に送信される。本明細書において使用されているように、実時間とは、結果に影響を及ぼす入力が変化した後の実質的に短期間の間に生じる結果を意味している。この期間は、定期的に繰り返されるタスクの反復と反復の間の時間の量であってもよい。このような反復タスクは、周期タスクと呼ばれている。この時間期間は、結果の重要性および/または結果を生成するために入力の処理を実施するシステムの能力に基づいて選択することができる実時間システムの設計パラメータであり、あるいはシステムを構成しているコンポーネントに固有の遅延であってもよい。他の実施形態では、ターゲット−カメラ角パラメータ、パンパラメータ、チルトパラメータおよびズームパラメータは、ビデオカメラどうしで互いに周期的に送信される。個々のカメラのパンパラメータ、チルトパラメータおよびズームパラメータをカメラどうしで互いに送信することにより、ターゲット224の位置を突き止めるために指し示す方向を個々のビデオカメラが決定することができる。
空間格子位置決め手順の洗練段階にはターゲット224は不要であり、カメラネットワークを使用してシステム100によって自動的に実行される。個々のカメラは、大まかな訓練段階で、ネットワーク内における相互のカメラに対して、空間格子内におけるその位置を大まかに決定する。ターゲット224を捕獲することができた複数のカメラは、位置データをさらに洗練するために、異なる角度からの画像を同時に登録する。相対位置データを洗練するために、ズーム係数が反復して増加され、画像がさらに相関される。一対のカメラがそれらの視野内の2つの対象の位置を突き止めると、カメラとカメラの間の距離および相対角度を決定することができる。ターゲット224の位置を同時に突き止めることができたカメラのあらゆる組合せの複数の対のカメラの較正が継続される。次に、制限マッピングを使用して、カメラとカメラの間の距離の値が格子中に統合される。格子は、カメラが置かれている場所および個々のカメラがカバーする大まかな領域を示している。空間格子位置決め手順によって生成されたデータベースを参照することにより、複数のカメラが、カバーされている領域内のターゲットの位置を自動的に突き止め、かつ、観察することができる。
図3は、ターゲット224(図2に示されている)の一例示的実施形態を方位0°、仰角5°の配向から見た斜視図である。図4は、ターゲット224(図3に示されている)の例示的実施形態を方位45°、仰角5°の配向から見た他の斜視図である。図5は、ターゲット224(図3に示されている)の例示的実施形態を方位0°、仰角90°の配向から見たさらに他の斜視図である。図6は、ターゲット224(図3に示されている)の例示的実施形態を方位45°、仰角90°の配向から見たさらに他の斜視図である。
図7は、カメラ106(図1に示されている)の一例示的実施形態を略ブロック図で示したものである。プロセッサ310は、プログラムされた命令をソフトウェアまたはファームウェアから受け取り、また、メモリ308からデータを受け取り、受け取ったデータおよび命令を使用して様々な演算を実行している。プロセッサ310は、算術演算および論理演算を実行する論理演算装置(ALU)、およびメモリ308から命令を引き出し、かつ、引き出した命令を解読し、必要に応じてALUを呼び出して実行する制御ユニットを備えることができる。メモリ308は、通常、ランダムアクセスメモリ(RAM)およびリードオンリメモリ(ROM)を備えているが、場合によっては、プログラマブルリードオンリメモリ(PROM)、消去可能プログラマブルリードオンリメモリ(EPROM)および電気的消去可能プログラマブルリードオンリメモリ(EEPROM)などの他のタイプのメモリも存在している。また、メモリ308は、プロセッサ310上で実行するオペレーティングシステムを備えることも可能である。オペレーティングシステムは、入力の認識、出力装置への出力の送信、ファイルおよびディレクトリのトラックの維持、および様々な周辺装置の制御を始めとする基本タスクを実行する。
画像アセンブリ312は、レンズアセンブリ116を介して受け取る光を視野134の画像を表す電気信号に変換している。この電気信号は、プロセッサ310を介してモニタ104または記憶装置128に送信される。本明細書において使用されているように、プロセッサという用語は、中央処理装置、マイクロプロセッサ、マイクロコントローラ、縮小命令セット回路(RISC)、専用集積回路(ASIC)、論理回路および本明細書において説明されている機能を実行することができる他の任意の回路またはプロセッサを意味している。メモリ308は、複数のプリセットスイッチ142のうちの1つを使用してアクセスすることができるプリセットマクロ命令のための記憶位置を備えることができる。
本明細書において使用されているように、「ソフトウェア」および「ファームウェア」という用語は、交換可能であり、プロセッサ310によって実行するために、たとえばRAMメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリおよび不揮発性RAM(NVRAM)メモリを始めとするメモリに記憶されているあらゆるコンピュータプログラムが含まれている。上に挙げたタイプのメモリは、単に例示的なものにすぎず、したがってコンピュータプログラムを記憶するために使用することができるタイプのメモリに限定されない。
様々な実施形態では、プロセッサ310およびメモリ308は、カメラ106の外部に配置されており、たとえば制御パネル102の中、あるいは本明細書において説明されている機能を実行することができるPCもしくは他の独立型コンピュータシステムまたはメインフレームコンピュータシステムの中に配置されている。
図8は、個々のカメラの空間座標(X、YおよびZ)を決定し、かつ、カメラのネットワーク内における個々のカメラのカバレージを較正するための一例示的方法400の流れ図である。このような情報は、複数のカメラを使用して異なる角度から同じターゲットの位置を個別に突き止める場合に使用される。例示的実施形態では、複数のカメラの較正は、大まかな訓練段階と洗練段階の2段階で実行される。
模擬ターゲット224を使用してカメラのネットワークの大まかな訓練402が実行される。例示的実施形態では、ターゲット224は、丸い物体のクラスタであり、その環境に固有の特徴、たとえば形、大きさ、色およびパターンなどを有している。模擬ターゲットは、カメラからターゲットまでの角度を予測することができる特性を有している。この角度は、方位および仰角としてより一般的に知られている垂直成分および水平成分を有している。
ネットワーク内の複数のカメラのうちの任意の1つ、この実施例ではカメラ106の視野領域226内に所定の正規ターゲット距離228でターゲット224が配置される404。ターゲット224の位置を突き止めるためのコマンドがカメラ106に送信され、カメラ106が、候補ターゲットが見つかるまで視野領域226の探索を実行する406。探索は、カメラ106からビデオ信号を受信している間に実行されるパンコマンド、チルトコマンドおよび/またはズームコマンドのプログラム済みセットである。このビデオ信号とメモリに記憶されているターゲットの特徴が比較され408、比較の結果が所定の閾値基準と合致すると、ターゲット候補としてその識別された対象にタグが振られ410、引き続いて完了するまで探索が継続される412。個々のカメラは、ユーザが選択することができ、あるいは探索の最適化を容易にするために使用される学習アルゴリズムが選択することができる、記憶されている所定の探索コマンドのセットを有することができる。探索は、パンコマンド、チルトコマンドおよび/またはズームコマンドのプログラム済みセットの最後のコマンドを実行することによって終了させることができ、あるいは任意の時間、たとえば1つまたは複数のターゲット候補が識別された時点で終了させることができる。ターゲット224を視野領域226内を移動させることによってターゲット224の捕獲が確認される414。カメラ106は、カメラ106がターゲット224を捕獲している場合、ターゲット224が視野領域226内を移動している間、ターゲット224を指した状態を維持する。基準ターゲットの捕獲が確認されると、カメラ106は、ターゲット224の形、大きさ、色、パターンおよび移動速度などのターゲット224の特徴をネットワーク内の少なくとも1つの他のカメラに送信する416。
カメラ106に対する訓練が完了すると、ネットワークを較正するためのコマンドがシステム100のすべてのカメラに送信される418。ビデオカメラ202、204、206、208および210の各々が、それぞれの視野領域内のターゲット224を探索するコマンドを実行する420。ターゲット224が個々のビデオカメラ202、204、206、208および210の視野領域を通過する際に、個々のカメラがターゲット224を検出し、かつ、認識する424よう、ターゲット224が監視中の領域212内に再配置される422。ビデオカメラ202、204、206、208および210の各々のパンパラメータ、チルトパラメータおよびズームパラメータが、ネットワーク内のビデオカメラどうしで互いに送信される426。様々な実施形態では、パンパラメータ、チルトパラメータおよびズームパラメータは、ビデオカメラどうしで互いに実時間で連続的に送信される。本明細書において使用されているように、実時間とは、結果に影響を及ぼす入力が変化した後の実質的に短期間の間に生じる結果を意味している。この期間は、定期的に繰り返されるタスクの反復と反復の間の時間の量であってもよい。このような反復タスクは、周期タスクと呼ばれている。この時間期間は、結果の重要性および/または結果を生成するために入力の処理を実施するシステムの能力に基づいて選択することができる実時間システムの設計パラメータであり、あるいはシステムを構成しているコンポーネントに固有の遅延であってもよい。他の実施形態では、パンパラメータ、チルトパラメータおよびズームパラメータは、ビデオカメラどうしで互いに周期的に送信される。個々のカメラのパンパラメータ、チルトパラメータおよびズームパラメータをカメラどうしで互いに送信することにより、ターゲット224の位置を突き止めるために指し示す方向を個々のビデオカメラが決定することができる428。また、個々のビデオカメラは、ターゲット224の捕獲を容易にするターゲット224の速度を送信することができる。
空間格子位置決め手順の洗練段階にはターゲット224は不要であり、カメラネットワークを使用してシステム100によって自動的に実行される430。個々のカメラは、大まかな訓練段階で、ネットワーク内における相互のカメラに対して、空間格子内におけるその位置を大まかに決定する。ターゲット224を捕獲することができた複数のカメラは、位置データをさらに洗練するために、異なる角度からの画像を同時に登録する432。相対位置データを洗練するために、ズーム係数が反復して増加され434、かつ、画像がさらに相関される。一対のカメラがそれらの視野内の2つの対象の位置を突き止める436と、それらの間の距離が決定される。ターゲット224の位置を同時に突き止めることができたカメラのあらゆる組合せの複数の対のカメラの較正が継続される438。次に、制限マッピングを使用して、カメラとカメラの間の距離および角度の値が格子中に統合される440。格子が、カメラの位置および個々のカメラがカバーする大まかな領域を示す442。空間格子位置決め手順によって生成されたデータベースを参照することにより、複数のカメラが、カバーされている領域内のターゲットの位置を自動的に突き止め、かつ、観察することができる444。
本明細書において説明されている実施形態は、ビデオ監視システムに関連して説明されているが、本明細書において説明されている、空間格子内における複数のアセンブリの位置を突き止める方法は、他の機械システムおよび電気機械システムと共に使用することができることを理解されたい。
上で説明したビデオ監視システムの実施形態によれば、オペレータによる1台のカメラを使用したターゲットの位置決めを可能にし、かつ、利用可能な他のすべてのカメラを使用した同じターゲットの自動位置決めを可能にするための、費用有効性が高く、かつ、信頼性の高い手段が提供される。
以上、ビデオ監視システムおよび装置の例示的実施形態について詳細に説明した。上で説明したビデオ監視システムコンポーネントは、本明細書において説明されている特定の実施形態に限定されず、それどころか、個々のシステムのコンポーネントは、本明細書において説明されている他のコンポーネントとは独立して、個別に利用することが可能である。たとえば、上で説明したビデオ監視システムコンポーネントは、異なるビデオ監視システムコンポーネントと組み合わせて使用することも可能である。
本明細書において説明されているシステムおよび方法の様々な実施形態の技術効果によれば、ターゲット認識を使用して、システム内における複数のカメラの相対位置が分かり、かつ、ターゲットを認識している個々のカメラがターゲット位置などのターゲットの特徴を他のカメラに送信するように複数のカメラを較正することにより、容易にビデオ監視システムを操作することができる。
以上、本発明について、様々な特定の実施形態に関連して説明したが、特許請求の範囲の各請求項の精神および範囲内の修正を加えて本発明を実践することができることは当業者には認識されよう。
Claims (20)
- ビデオ監視システムであって、
個々に視野を備えた複数のビデオカメラであって、前記カメラが、前記カメラ視野を変更するためのズーム、水平チルト軸の周りに前記カメラを回転させるためのチルト、および垂直パン軸の周りに前記カメラを回転させるためのパン、のうちの少なくとも1つを実施するように構成された複数のビデオカメラと、
プロセッサであって、
少なくとも1つのビデオカメラの前記視野内の画像を表す信号を受け取り、
前記受け取った信号を使用してターゲットを認識し、
前記ターゲットを認識している前記カメラから前記ターゲットへの方向を決定し、
前記ターゲットから前記カメラへの方向を決定し、
前記カメラからの前記ターゲットの前記決定された方向および前記ターゲットからの前記カメラの前記決定された方向を前記複数のビデオカメラのうちの他のカメラに送信する
ように構成されたプロセッサと
を備えたビデオ監視システム。 - 前記複数のビデオカメラが、前記複数のビデオカメラのうちの少なくともいくつかのビデオカメラの前記視野の少なくとも一部と、前記複数のビデオカメラのうちの少なくともいくつかの他のビデオカメラの前記視野の少なくとも一部が重畳するように、監視中の領域の周りに間隔を隔てて配置された、請求項1記載のシステム。
- 前記プロセッサが、前記ターゲットの少なくとも1つの特徴を認識するように構成された、請求項1記載のシステム。
- 前記プロセッサが、前記ターゲットの形、大きさ、色およびパターンのうちの少なくとも1つを認識するように構成された、請求項3記載のシステム。
- 前記プロセッサが、前記ターゲットの所定の特徴を使用して、複数の可能ターゲットからターゲットを自動的に選択するように構成された、請求項1記載のシステム。
- 前記プロセッサが、前記ビデオカメラの視野内の前記ターゲットの維持を容易にするカメラ移動コマンドを生成するように構成された、請求項1記載のシステム。
- 前記プロセッサが、相互のビデオカメラの探索パターンを画定するカメラ移動コマンドを生成するように構成された、請求項1記載のシステム。
- 前記プロセッサが、前記ターゲットに対する前記決定された方向を探索する前記複数のビデオカメラのうちの所定のビデオカメラに対する探索パターンを生成するように構成された、請求項1記載のシステム。
- 前記プロセッサが、前記ビデオ監視システムの相互のカメラに対する個々のカメラの相対位置を含むデータベースを生成するように構成された、請求項1記載のシステム。
- 複数のビデオカメラを備えたビデオ監視システムを動作させる方法であって、
第2のビデオカメラに通信可能に結合された第1のビデオカメラを提供するステップと、
前記第1のビデオカメラを使用してターゲットを認識するステップと、
前記ターゲットの少なくとも1つの特徴を前記第1のビデオカメラから前記第2のビデオカメラへ送信するステップと、
前記第2のビデオカメラを使用して、前記送信された特徴から前記ターゲットを認識するステップと
を含む方法。 - 第2のビデオカメラに通信可能に結合された第1のビデオカメラを提供するステップが、ビデオ監視システムプロセッサを介して前記第1のビデオカメラと第2のビデオカメラの間で通信するステップを含む、請求項10記載の方法。
- 前記第1のビデオカメラを使用してターゲットを認識するステップが、前記ターゲットの形、大きさ、色、パターンおよび移動速度のうちの少なくとも1つを決定するステップを含む、請求項10記載の方法。
- 前記第1のビデオカメラを使用してターゲットを認識するステップが、前記ターゲットの所定の特徴を使用して、複数の可能ターゲットからターゲットを自動的に選択するステップを含む、請求項10記載の方法。
- 前記第1のビデオカメラを使用してターゲットを認識するステップが、前記第1のビデオカメラの視野内の前記ターゲットの維持を容易にするカメラ移動コマンドを生成するステップを含む、請求項10記載の方法。
- 前記第2のビデオカメラを使用して、前記送信された特徴から前記ターゲットを認識するステップが、第2のビデオカメラに対する探索パターンを画定するカメラ移動コマンドを生成するステップを含む、請求項10記載の方法。
- 前記第2のビデオカメラを使用して、前記送信された特徴から前記ターゲットを認識するステップが、前記第2のビデオカメラの視野領域の前記ターゲットの探索を実行するステップを含み、前記視野領域が、すべてのパン位置、チルト位置およびズーム位置におけるカメラ視野を表す、請求項10記載の方法。
- 前記第1のビデオカメラおよび前記第2のビデオカメラを同時に使用して前記ターゲットを認識するステップと、
前記第1のビデオカメラおよび前記第2のビデオカメラの視野のベクトルを決定するステップと、
前記第1のビデオカメラおよび前記第2のビデオカメラの相互の相対位置を前記決定されたベクトルを使用して決定するステップと
をさらに含む、請求項10記載の方法。 - 前記複数のビデオカメラの相互のビデオカメラに対する相対位置を決定するために、
前記複数のビデオカメラの視野領域を通って前記ターゲットを移動させるステップと、
前記複数のビデオカメラのうちの少なくとも2つを同時に使用して前記ターゲットを認識するステップと、
前記ビデオカメラの前記視野のベクトルを決定するステップと、
前記ビデオカメラの相互の相対位置を前記決定されたベクトルを使用して決定するステップと
を反復して実行するステップをさらに含む、請求項17記載の方法。 - コンピュータ可読媒体の上に具体化された、第2のビデオカメラに通信可能に結合された第1のビデオカメラを備えたビデオ監視システムを動作させるためのコンピュータプログラムであって、前記第1のビデオカメラから受け取った信号からターゲットを認識し、次に、
前記ターゲットの少なくとも1つの特徴を前記第1のビデオカメラから前記第2のビデオカメラへ送信し、かつ、
前記第2のビデオカメラから受け取った信号から、前記送信された特徴を使用して前記ターゲットを認識する
少なくとも1つの命令セグメントを含むコンピュータプログラム。 - 前記ターゲットの決定された形、大きさ、色、パターンおよび移動速度のうちの少なくとも1つを使用して前記ターゲットを認識する少なくとも1つの命令セグメントをさらに含む、請求項19記載のコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/283,161 US8279283B2 (en) | 2005-11-18 | 2005-11-18 | Methods and systems for operating a video surveillance system |
PCT/US2006/044372 WO2007061724A1 (en) | 2005-11-18 | 2006-11-15 | Methods and systems for operating a video surveillance system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009516480A true JP2009516480A (ja) | 2009-04-16 |
JP2009516480A5 JP2009516480A5 (ja) | 2010-01-14 |
Family
ID=37885239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008541314A Withdrawn JP2009516480A (ja) | 2005-11-18 | 2006-11-15 | ビデオ監視システムを動作させるための方法およびシステム |
Country Status (7)
Country | Link |
---|---|
US (1) | US8279283B2 (ja) |
EP (1) | EP1952367B1 (ja) |
JP (1) | JP2009516480A (ja) |
CN (1) | CN101313343B (ja) |
AT (1) | ATE458235T1 (ja) |
DE (1) | DE602006012356D1 (ja) |
WO (1) | WO2007061724A1 (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080101789A1 (en) * | 2006-10-30 | 2008-05-01 | Tyco Safety Products Canada Ltd. | Method and apparatus for setting camera viewpoint based on alarm event or condition |
US8947526B2 (en) * | 2006-12-07 | 2015-02-03 | Sensormatic Electronics, LLC | Video surveillance system having communication acknowledgement nod |
US20080153516A1 (en) * | 2006-12-20 | 2008-06-26 | Via Technologies, Inc. | Visual Positioning System and Method for Mobile User Equipment |
US8203590B2 (en) | 2007-09-04 | 2012-06-19 | Hewlett-Packard Development Company, L.P. | Video camera calibration system and method |
US8605151B2 (en) * | 2007-09-21 | 2013-12-10 | Utc Fire & Security Americas Corporation, Inc. | Methods and systems for operating a video surveillance system |
KR101187909B1 (ko) * | 2007-10-04 | 2012-10-05 | 삼성테크윈 주식회사 | 감시 카메라 시스템 |
US9619589B2 (en) * | 2009-03-28 | 2017-04-11 | The Boeing Company | Method of determining optical sensor coverage |
JP5457546B2 (ja) * | 2009-04-29 | 2014-04-02 | コーニンクレッカ フィリップス エヌ ヴェ | カメラの最適視角位置を選択する方法 |
CN101742255B (zh) * | 2009-12-04 | 2012-01-25 | 福建省电力有限公司 | 电力现场作业视频自动监控系统 |
JP5235910B2 (ja) | 2010-01-06 | 2013-07-10 | キヤノン株式会社 | カメラ雲台システム |
CN102906360B (zh) * | 2010-03-02 | 2016-07-06 | Utc消防及保安公司 | 无缝认证系统 |
CA2741510A1 (en) * | 2010-05-26 | 2011-11-26 | James H. Lacey | Door mountable camera surveillance device and method |
US9686452B2 (en) * | 2011-02-16 | 2017-06-20 | Robert Bosch Gmbh | Surveillance camera with integral large-domain sensor |
US9030562B2 (en) | 2011-12-02 | 2015-05-12 | Robert Bosch Gmbh | Use of a two- or three-dimensional barcode as a diagnostic device and a security device |
US8805010B2 (en) * | 2012-01-18 | 2014-08-12 | Microsoft Corporation | Gesture identification using an ad-hoc multidevice network |
EP2817777A4 (en) * | 2012-02-22 | 2016-07-13 | Elwha Llc | SYSTEMS AND METHODS FOR ACCESSING CAMERA SYSTEMS |
WO2013131036A1 (en) * | 2012-03-01 | 2013-09-06 | H4 Engineering, Inc. | Apparatus and method for automatic video recording |
US9612131B2 (en) * | 2012-04-09 | 2017-04-04 | The Boeing Company | Identifying and configuring controls on a control panel |
CN103713652B (zh) * | 2012-09-28 | 2016-05-04 | 浙江大华技术股份有限公司 | 一种云台转速的控制方法、设备和系统 |
US9294539B2 (en) | 2013-03-14 | 2016-03-22 | Microsoft Technology Licensing, Llc | Cooperative federation of digital devices via proxemics and device micro-mobility |
CN105164698A (zh) * | 2013-05-07 | 2015-12-16 | 皇家飞利浦有限公司 | 视频分析设备和操作视频分析设备的方法 |
JP2017512398A (ja) * | 2014-02-27 | 2017-05-18 | トムソン ライセンシングThomson Licensing | 映像を提示する方法及び装置 |
WO2016077057A2 (en) * | 2014-10-24 | 2016-05-19 | Bounce Imaging, Inc. | Imaging systems and methods |
US9886633B2 (en) * | 2015-02-23 | 2018-02-06 | Vivint, Inc. | Techniques for identifying and indexing distinguishing features in a video feed |
CN104754302B (zh) * | 2015-03-20 | 2017-08-08 | 安徽大学 | 一种基于枪球联动系统的目标检测跟踪方法 |
TWI541767B (zh) | 2015-04-07 | 2016-07-11 | 群暉科技股份有限公司 | 藉助於自動產生之巡邏路徑控制一監視系統之方法與裝置 |
CN105227929A (zh) * | 2015-10-16 | 2016-01-06 | 中国民航科学技术研究院 | 一种用于机场的安全监控装置 |
US10419681B2 (en) | 2016-10-26 | 2019-09-17 | Robert Bosch Gmbh | Variable field of view multi-imager |
US10873708B2 (en) * | 2017-01-12 | 2020-12-22 | Gopro, Inc. | Phased camera array system for generation of high quality images and video |
EP3659116A4 (en) * | 2017-07-27 | 2021-04-28 | Westinghouse Electric Company Llc | PROCESS FOR LOCATING A REMOTE-CONTROLLED VEHICLE IN A WORKSPACE AND REMOTE INSPECTION SYSTEM USING SUCH A PROCESS |
KR102619271B1 (ko) * | 2018-11-01 | 2023-12-28 | 한화비전 주식회사 | 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템 |
CN109788201B (zh) * | 2019-02-14 | 2021-04-20 | 四川宏图智慧科技有限公司 | 定位方法及装置 |
CN113378616A (zh) * | 2020-03-09 | 2021-09-10 | 华为技术有限公司 | 视频分析方法、视频分析的管理方法及相关设备 |
JP7468423B2 (ja) * | 2021-03-24 | 2024-04-16 | トヨタ自動車株式会社 | 遠隔操作システム、遠隔操作移動体、遠隔操作方法、及び、プログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4825394A (en) * | 1985-05-07 | 1989-04-25 | General Dynamics Corporation | Vision metrology system |
US5243418A (en) * | 1990-11-27 | 1993-09-07 | Kabushiki Kaisha Toshiba | Display monitoring system for detecting and tracking an intruder in a monitor area |
US5867584A (en) * | 1996-02-22 | 1999-02-02 | Nec Corporation | Video object tracking method for interactive multimedia applications |
US6437819B1 (en) * | 1999-06-25 | 2002-08-20 | Rohan Christopher Loveland | Automated video person tracking system |
US6789039B1 (en) * | 2000-04-05 | 2004-09-07 | Microsoft Corporation | Relative range camera calibration |
US7058204B2 (en) * | 2000-10-03 | 2006-06-06 | Gesturetek, Inc. | Multiple camera control system |
FI111755B (fi) | 2001-11-23 | 2003-09-15 | Mapvision Oy Ltd | Menetelmä ja järjestelmä konenäköjärjestelmän kalibroimiseksi |
US20050104958A1 (en) * | 2003-11-13 | 2005-05-19 | Geoffrey Egnal | Active camera video-based surveillance systems and methods |
US7787013B2 (en) * | 2004-02-03 | 2010-08-31 | Panasonic Corporation | Monitor system and camera |
-
2005
- 2005-11-18 US US11/283,161 patent/US8279283B2/en active Active
-
2006
- 2006-11-15 DE DE602006012356T patent/DE602006012356D1/de active Active
- 2006-11-15 JP JP2008541314A patent/JP2009516480A/ja not_active Withdrawn
- 2006-11-15 WO PCT/US2006/044372 patent/WO2007061724A1/en active Application Filing
- 2006-11-15 CN CN2006800432009A patent/CN101313343B/zh not_active Expired - Fee Related
- 2006-11-15 EP EP06844373A patent/EP1952367B1/en not_active Not-in-force
- 2006-11-15 AT AT06844373T patent/ATE458235T1/de not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
EP1952367A1 (en) | 2008-08-06 |
DE602006012356D1 (de) | 2010-04-01 |
US8279283B2 (en) | 2012-10-02 |
CN101313343B (zh) | 2013-05-22 |
ATE458235T1 (de) | 2010-03-15 |
CN101313343A (zh) | 2008-11-26 |
US20070115358A1 (en) | 2007-05-24 |
EP1952367B1 (en) | 2010-02-17 |
WO2007061724A1 (en) | 2007-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009516480A (ja) | ビデオ監視システムを動作させるための方法およびシステム | |
US20070115351A1 (en) | Methods and systems for enhanced motion detection | |
JP6732746B2 (ja) | 機械視覚システムを使用した、同時位置測定マッピングを実施するためのシステム | |
US10728459B2 (en) | System and method for tracking moving objects in a scene | |
JP2009516480A5 (ja) | ||
KR100660762B1 (ko) | 카메라 핸드오프 시스템 및 카메라 선택 방법 | |
US20170180640A1 (en) | System and method for correlating camera views | |
EP2607952B1 (en) | Monitoring camera and method for monitoring | |
KR101204080B1 (ko) | 감시 카메라 시스템 및 그의 제어방법 | |
KR101860200B1 (ko) | 카메라를 이용한 장치 또는 물체의 선택 | |
US20070115355A1 (en) | Methods and apparatus for operating a pan tilt zoom camera | |
US10917560B2 (en) | Control apparatus, movable apparatus, and remote-control system | |
EP3314581B1 (en) | Augmented reality device for visualizing luminaire fixtures | |
WO1999045511A1 (en) | A combined wide angle and narrow angle imaging system and method for surveillance and monitoring | |
JP4802012B2 (ja) | カメラ制御装置およびカメラ制御方法 | |
US10742440B2 (en) | Method and system of controlling device using real-time indoor image | |
US20060256201A1 (en) | Methods and systems for controlling camera movement | |
JP6624800B2 (ja) | 画像処理装置、画像処理方法、及び画像処理システム | |
KR20180017074A (ko) | 카메라를 이용한 로봇 축각도들의 검출 및 로봇의 선택 | |
EP2505975A1 (en) | Device and method for sequentially positioning markers on an image | |
WO2017086771A1 (en) | A visual surveillance system with target tracking or positioning capability | |
JP7176868B2 (ja) | 監視装置 | |
JP2002150441A (ja) | 監視システム | |
Sommerlade et al. | Cooperative surveillance of multiple targets using mutual information | |
JP7219653B2 (ja) | 設置支援装置及び設置支援プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091113 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091113 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20101112 |