JP2006304297A

JP2006304297A - 環境内のイベントを検出する監視システム

Info

Publication number: JP2006304297A
Application number: JP2006111135A
Authority: JP
Inventors: Christopher R Wren; クリストファー・アール・レン; Ugur M Erdem; ウグル・エム・エルデム; Ali J Azarbayejani; アリ・ジェイ・アザールベイェジャニ
Original assignee: Mitsubishi Electric Research Laboratories Inc
Current assignee: Mitsubishi Electric Research Laboratories Inc
Priority date: 2005-04-20
Filing date: 2006-04-13
Publication date: 2006-11-02
Anticipated expiration: 2026-04-13
Also published as: JP4772572B2; US7619647B2; US20060238618A1

Abstract

【課題】監視システムは、環境内のイベントを検出する。
【解決手段】当該システムは、環境内に配置されたカメラ及び環境内に配置された複数のコンテキストセンサを含む。センサは、環境内のイベントを検出するように構成される。プロセッサは、ネットワークを介して、カメラ及びコンテキストセンサに結合する。プロセッサは、コンテキストセンサによって検出されるイベントのみに基づいて、アクションをカメラに与える。アクションは、検出したイベントをカメラに観察させる。
【選択図】図１

Description

本発明は、包括的に、センサネットワークに関し、より詳細には、監視システム内のカメラ及び動きセンサのハイブリッドネットワークに関する。

建物などの環境のユーザのために、セキュリティ、効率性、快適さ、及び安全性を提供する必要性が増加しつつある。通常、これはセンサによって行われる。センサによって環境を監視する時には、制限された資源を如何にして最適に採用するかを決定するために、環境の大域的なコンテキストの尺度を有することが重要である。単一センサ、たとえば、単一カメラに基づいて行われる決定は、必然的に不完全なデータによって行われるため、この大域的なコンテキストが重要である。したがって、決定は、最適である見込みはない。しかしながら、機器コスト、据付コスト、及びプライバシ問題のために、従来のセンサを使用して大域的なコンテキストを回収することは難しい。

いくつかのセンサは、たとえば、動き検出器のように、比較的シンプルなものとなり得る。動き検出器は、時折、単一ビットによって、変わったイベントを知らせることができる。複数のセンサからのビットは、イベント間の時間的関係を指示することができる。他のセンサは、より複雑である。たとえば、パン−チルト−ズーム（ＰＴＺ）カメラは、データを解釈するために、非常に高いデータレートと計算コストで、環境に関する高忠実度情報の連続ストリームを生成する。しかし、こうした複雑なセンサで全体の環境を完全にカバーすることは、実用的でない。

したがって、動き検出器などの多数の単純なセンサと、少数のみの複雑なＰＴＺカメラとを据え付けることは意味がある。しかしながら、環境の物理的構造が変更されるにつれて、センサの設置が徐々に変わる必要がある時には、特に、単純なセンサの大きなネットワークと、そのデータに基づいてシステムが行う必要があるアクションとの間のマッピングを指定することは、手間がかかる。

したがって、ハイブリッドセンサネットワークが環境に配置された場合のアクションポリシ、環境のユーザの活動、及びアクションの適切さに関するアプリケーション特有のフィードバックを動的に取得することが望ましい。

特に、高価でかつ制限された資源、１人での警護の注意、単一のモニタリングステーション、ビデオ記録システムのネットワーク帯域、建物内のエレベータ運転室の設置、又は暖房、冷房、換気、又は照明のためのエネルギーの利用を最適化することが望ましい。

一般性を失うことなく、本発明は、特に、ＰＴＺカメラに関連する。ＰＴＺカメラは、監視システムが、環境内のイベントの高忠実度ビデオを取得することを可能にする。しかしながら、ＰＴＺカメラは、興味のあるイベントが起こるロケーションに向けられなければならない。そのため、この例のアプリケーションでは、制限された資源が、カメラの向きを調整している。

ＰＴＺカメラが何もない空間に向くと、資源が浪費される。一部のＰＴＺカメラは、興味のあるイベントに手動で向けられることができる。しかしながら、これは、イベントが既に検出されていることを仮定する。他のＰＴＺカメラは、イベントを気にとめないで、反復パターンで環境を当てもなく走査する。いずれの場合も、資源が浪費される。

ＰＴＺカメラなどの、制限された高価な資源の効率を改善することが望ましい。特に、ハイブリッドセンサネットワーク内の単純なセンサから取得される情報に基づいて、興味のあるイベントにカメラを自動的に向けることが望ましい。

従来、環境の幾何学的監視は、監視システムを動作させる前に、特別なツールによって実施される。別の方法は、人又はロボットに、所定の経路をたどって何もない環境をナビゲートしてもらうなどの、既知の、又は、検出が容易な動きのパターンを生成する。その後、この幾何学的較正は、特別のルールベース監視システムを手動で構築するのに使用することができる。

しかしながら、これらの方法は、システムを著しく制約する。ユーザに対する、また、環境における制約を最小にすることが望ましい。制約のないユーザの動きを可能にすることによって、システムがいろいろな環境に適応することが可能になる。さらに、環境の物理的構造が徐々に変更されるにつれて、幾何学的監視を繰り返して実施する必要性をなくすことが可能になる。

ＰＴＺカメラのネットワークを構成し、較正するシステム及び方法は、知られている。Robert T. Collins及びYanghai Tsin著「Calibration of an outdoor active camera system」IEEE Computer Vision and Pattern Recognition, pp. 528-534, June 1999、Richard I. Harthley著「Self-calibration from multiple views with a rotating camera」The Third European Conference on Computer Vision, Springer-Verlag, pp. 471-478, 1994、S. N. Sinha及びM. Pollefeys著「Towards calibrating a pan-tilt-zoom cameras network」、Peter Sturm, Tomas Svoboda及びSeth Teller編、Fifth Workshop on Omnidirectional Vision Camera Networks and Non-classical cameras, 2004、Chris Stauffer及びKinh Tieu著「Automated multi-camera planar tracking correspondence modeling」IEEE Computer Vision and Pattern Recognition, pp. 259-266, July 2003、並びにGideon P. Stein著「Tracking from multiple view points: DARPA Self-calibration of space and time 」Image Understanding Workshop, 1998を参照願いたい。

この関心は、ＤＡＲＰＡビデオ監視及びモニタリングの主導で高まった。その活動のほとんどは、カメラと環境の固定座標系の間の従来的な較正に焦点を当てた。

別の方法は、重なる視野を持つカメラを較正する方法を述べる。S. Khan、O. Javed及びM. Shah著「Tracking in uncalibrated cameras with overlapping field of view」IEEE Workshop on Performance Evaluation of Tracking and Surveillance, 2001を参照願いたい。そこでは、目的は、対ごとのカメラ視野境界を見出すことであり、それによって、異なるビューの目標物の対応を探索することができ、良好なカメラ間「ハンドオフ」を達成することができる。

より実用的な面に関して、ハイウェイなどの比較的難しい戸外環境において、低解像度と高解像度のカメラを協働させるカメラネットワークは、M. M. Trivedi、A. Prati及びG. Kogut著「Distributed interactive video arrays for event based analysis of incidents」IEEE International Conference on Intelligent Transportation Systems, pp. 950-956, September 2002に記載されている。

他の方法は、自律システムを構造化照明と組み合わせ（J. Barreto及びK. Daniilidis著「Wide area multiple camera calibration and estimation of radial distortion」Peter Sturm、Tomas Svoboda及びSeth Teller編、Fifth Workshop on Omnidirectional Vision, Camera Networks and Non-classical cameras, 2004）、較正道具を使用し（Patrick Baker及びYiannis Aloimonos著「Calibration of a multicamera network」Robert Pless,Jose Santos-Victor及びYasushi Yagi編、 Fourth Workshop on Omnidirectional Vision, Camera Networks and Nonclassical cameras, 2003）、又は、測量したランドマークを使用する（Robert T. Collins及びTanghai Tsin著「Calibration of an outdoor active camera system」IEEE Computer Vision and Pattern Recognition, pp. 528-534, June 1999）。

しかしながら、これらの方法のほとんどは、較正ツールの場合には過剰の労力を必要とする、構造化照明の場合には環境に過剰の制約を課す、又は、手作業で測量したランドマークを必要とするため、実用的でない。いずれの場合も、これらの方法は、システムを動作させる前に較正が行われることを仮定しており、環境が変更されるにつれて、動作中にシステムを動的に再較正するための対策を講じていない。

これらの問題は、Stein及びStauffer等によって対処される。彼らは、追跡データを使用して、カメラネットワークについて、共通座標系への変換を推定する。彼等は、セットアップ位相と動作位相を区別しない。むしろ、任意の追跡データが、系を較正又は再較正するのに使用できる。しかしながら、これらの方法のいずれも、ＰＴＺカメラの問題に直接対処しなかった。もっと重要なことには、これらの方法は、ネットワークで使用されるセンサに厳しい制約を課す。センサは、移動物体について非常に詳細な位置データを取得し、良好に物体を追跡するために、物体を区別することもできなければならない。個々の観測ではなく、トラックが、較正プロセスで使用される基本ユニットであることから、このことが当てはまる。

上述した全ての方法は、センサネットワーク及び環境の詳細な幾何学モデルの取得を必要とする。

別の方法は、重ならないカメラのネットワークを較正する。Ali Rahimi、Brian Dunagan及びTrevor Darrell著「Simultaneous calibration and tracking with a network of non-overlapping sensors」IEEE Computer Vision and Pattern Recognition, pp. 187-194, June 2004を参照願いたい。しかしながら、その方法は、移動物体を追跡することを必要とする。

動きセンサなどの単純なセンサによって検出されるイベントに応答する複雑なＰＴＺカメラを使用することが望ましい。特に、特別な追跡センサを使用せずに、ＰＴＺカメラによってイベントを観測することが望ましい。さらに、複数のユーザによって生成されたイベントを追跡し、検出することが望ましい。

本発明は、建物などの環境のための、コンテキスト認識の監視システムを提供する。全体の建物を複数のカメラでカバーすることは実用的ではなく、任意の環境内で起こる可能性がある全ての興味のあるイベントを予測し、特定することは可能でない。

したがって、本発明は、パン−チルト−ズーム（ＰＴＺ）カメラなどの制限された資源を効率的に使用するためのポリシを自動的に決定するハイブリッドセンサネットワークを使用する。

本発明は、較正の機能定義を採用することによって、従来技術のシステムを改良する。本発明は、ＰＴＺカメラを最もうまく利用するために使用することができる、カメラおよび環境内に配置されたセンサの関係のデータ記述を回収する。

従来の技法は、最初に、環境のマップを求めるために幾何学的測量を必要とする。次に、環境内の移動物体を、マップに従って追跡することができる。

この限界ぎりぎりの解決策と対照的に、本発明は、目標物を直接に推定する連携解決策、すなわち、ＰＴＺカメラが、幾何学測量を実施する必要なしに、興味のあるイベントのビデオを取得することを自動的に可能にするポリシを提供する。

図１は、本発明による監視システム１００を示す。システムは、たとえば建物のような環境内におけるセンサのハイブリッドネットワークを使用する。ネットワークは、パン−チルト−ズーム（ＰＴＺ）カメラなどの複雑で高価なセンサ１０１、並びに、多数の単純で安価なコンテキストセンサ１０２、たとえば、動き検出器、遮断ビームセンサ、ドプラ超音波センサ、及び他の低ビットレートセンサを含む。センサ１０１〜１０２は、たとえば、チャネル１０３によってプロセッサ１１０に接続される。プロセッサは、メモリ１１１を含む。

本発明では、アクション選択を採用する。コンテキストセンサ１０２は、イベントを検出する。すなわち、センサは、各瞬間に、２値であるランダムプロセスを生成する。プロセスは、環境内に動きが存在する場合には真であり、動きが全くない場合には偽である。

ＰＴＺカメラ１０１からのビデオストリーム１１５を、よく知られている技法を使用して２値プロセスに、同様に、帰着することができる。Christopher Wren、Ali Azarbayejani、Trevor Darrell及びAlex Pentland著「Pfinder: Real-time tracking of the human body」IEEE Trans. Pattern Analysis and Machine Intelligence, 19(7), pp. 780-785, July 1997、Chris Stauffer及びW. E. L. Grimson著「Adaptive background mixture models for real-time tracking」IEEE Computer Vision and Pattern Recognition, volume 2, June 1999、Kentaro Toyama、John Krumm、Barry Brumitt及びBrain Meyers著「Wallflower: Principles and Practice of Background Maintenance」IEEE International Conference on Computer Vision, 1999を参照願いたい。

このプロセスは、ＰＴＺカメラ１０１のビュー内に動きが存在する時を指示する別の２値プロセスをもたらす。動きが検出されると、ビデオストリーム１１５は、ＰＴＺカメラの現在の状態、すなわち、カメラの出力パン、チルト、及びズームパラメータと共にさらに符号化される。

システムは、ＰＴＺカメラ１０１についてアクションを回収する。各アクションは、カメラ１０１に、特定の姿勢にパン、チルト、及びズームさせる出力パラメータの形態である。姿勢とは、本明細書で、６自由度の全てについての平行移動及び回転を意味する。イベント及びアクションは、プロセッサ１１０のメモリ１１１に記憶されるポリシテーブル２００に維持される。アクションによって、ＰＴＺカメラは、コンテキストセンサによって検出されたイベントを観察する。

図２に示すように、テーブル２００内の各エントリａ_ｊ２１０は、イベント又はイベントのシーケンス（たとえば、ｊ∈Ｊ、ｋ∈Ｋ）２１１をアクション（ｉ∈Ｉ）２１２にマッピングする。イベント及びアクションは、手作業で割り当てることができる。ポリシテーブルＡ_ｓ２００内の特定のエントリａ_ｊ２１０を選択するために、本発明では、特定のコンテキストセンサ１０２によって検出されるイベントを、ＰＴＺカメラ１０１に観察させるためのアクション２１２を決定する。

アクションをイベントに手作業で割り当てることは、テーブル内のエントリ数が、ネットワーク内のセンサ数の増大に伴って、少なくとも直線的に増大するため、非常に手間がかかる。建物サイズのネットワークの場合、それは、既に、おそろしく大きな数である。

しかしながら、システム性能は、イベントをシーケンスとして考えることによって改善される。たとえば、最初にセンサ１によって検出され、その後センサ２によって検出されるイベントは、センサ３によって検出され、その後センサ２によって検出されるイベントとは異なるアクションにマッピングさせることができる。

これらの対を考慮すると、エントリ数は、センサ数の２乗又はそれ以上で増大し、そのため、手作業で指定することは、たちまちのうちに不可能になる。

したがって、本発明では、システムが、ポリシテーブルを自律的に学習することを可能にする学習方法を提供する。単一センサの場合、エントリは、下式（１）に従って選択される。

ここで、ｐ_ｉ［ｔ］は、ｉに相当する姿勢でＰＴＺカメラによって生成されるイベントのシーケンスであり、ｃ_ｊ［ｔ］は、コンテキストセンサｊによって生成されるイベントのシーケンスであり、Ｒ_ｐｃは、２つのイベントシーケンスｐ_ｉ［ｔ］とｃ_ｊ［ｔ］の間の相関であり、Ｒ_ｐｐは、ＰＴＺイベントシーケンスｐ_ｉ［ｔ］の自己相関である。

一般性を失うことなく、コンテキストセンサ１０２と特定のＰＴＺカメラ１０１の両方からのイベントは、２値プロセスとしてモデル化することができる。この場合、上記式（１）は、下式（２）となる。

ここで、‖ ‖演算子は、２値プロセス内の真のイベント数を表し、（ ∧ ）は、ブール積集合演算子である。この選択は、所与の瞬間にイベントがどのように一致するかに基づく。本明細書では、この選択プロセスを「静的」と呼ぶ。

別の選択ポリシは、コンテキストイベントの順序付けられた対を考慮することによって、検知データ内の動的関係を取得する。ここで、エントリａ_ｊｋは、イベントのシーケンス（すなわち、センサｋによって検出されるイベントと、その後の、センサｊによって検出されるイベント）に基づいて選択される。ここで、選択プロセスは、特定の時間遅延Δｔが与えられ、時間が遅延したイベントシーケンス間の動的関係をモデル化する。したがって、本発明では、この特定の制約を含むように式（２）を、下式（３）のように強化する。

この選択プロセスは、遅延Δｔに合わないあらゆるエントリを排除する。本明細書では、この選択を「動的」と呼ぶ。

環境のユーザの動きのより大きな変動性を可能にするために、本発明者等は、より広い例のセットを考慮するために、式（３）を、下式（４）のように拡張する。

ここで、演算子∪は、検知イベントにわたる和集合である。センサｋからの任意のイベントが、第２イベントに先行する設定期間δ以内で起こる限り、和集合演算子を使用して、アクション選択が、そのイベントを考慮することを可能にする。この柔軟性は、テーブル内の全ての要素に対して、より多くのデータを利用可能にすることによって、学習速度を改善し、同様に、推測的なパラメータΔｔに対する感度も減らす。

期間がΔｔ＝０に縮小するため、同時発生イベントを考慮することができる。これによって、選択プロセスが、埋め込まれる静的エントリａ_ｊｊを正確に構築することができる。すなわち、この選択基準は、厳密に、上述した「静的」ポリシ学習者より能力があり、一方、「動的」学習者は、全ての「静的」イベントを無視しながら、動的イベントを学習する。本明細書では、この選択プロセスを「寛大な（lenient）」と呼ぶ。

本発明によるハイブリッドセンサネットワークを含む環境の略図である。本発明によるイベントとアクションのテーブルである。

Claims

環境内のイベントを検出する監視システムであって、
前記環境内に配置されたカメラと、
前記環境内に配置され、前記環境内のイベントを検出するように構成された複数のコンテキストセンサと、
ネットワークを介して、前記カメラ及び前記複数のコンテキストセンサに結合するプロセッサと
を備え、該プロセッサは、
前記コンテキストセンサによって検出される前記イベントのみに基づいて、前記検出したイベントを前記カメラに観察させるアクションを前記カメラに与える手段をさらに備えた環境内のイベントを検出する監視システム。
前記コンテキストセンサは、動き検出器である請求項１に記載のシステム。
前記コンテキストセンサは、前記環境内で動きが存在する時に真であり、動きが存在しない時に偽である２値のシーケンスを生成する請求項１に記載のシステム。
前記カメラによってビデオストリームを取得する手段と、
前記ビデオストリームを前記カメラの姿勢と共に符号化する手段と
をさらに備える請求項１に記載のシステム。
現在の姿勢は、前記動きが検出される時に前記カメラからの出力パン、チルト、及びズームパラメータを符号化する請求項４に記載のシステム。
前記アクションは、前記カメラが前記検出したイベントを観察するための入力パン、チルト、及びズームパラメータを含む請求項１に記載のシステム。
前記プロセッサは、前記イベント及び前記アクションを記憶するメモリをさらに備える請求項１に記載のシステム。
前記イベント及び前記アクションは、前記メモリのテーブルに記憶され、前記テーブルのエントリａ_ｊは、或るイベントを或るアクションにマッピングする請求項７に記載のシステム。
前記イベント及び前記アクションは、前記メモリのテーブルに記憶され、前記テーブルの選択されたエントリａ_ｊｋは、イベントのシーケンスを或るアクションにマッピングする請求項７に記載のシステム。
に従って前記エントリａ_ｊを選択する手段をさらに備え、
ここで、ｐ_ｉ［ｔ］は、ｉに相当する特定の姿勢で前記カメラによって生成されるイベントのシーケンスであり、ｃ_ｊ［ｔ］は、特定のコンテキストセンサｊによって生成されるイベントのシーケンスであり、Ｒ_ｐｃは、前記２つのイベントシーケンスｐ_ｉ［ｔ］とｃ_ｊ［ｔ］の間の相関であり、Ｒ_ｐｐは、前記イベントシーケンスｐ_ｉ［ｔ］の自己相関であり、ｔは、特定のイベントが検出される時間の瞬間である請求項８に記載のシステム。
イベントが、所与の時間の瞬間にどのように一致するかに基づいて前記アクションを選択するために、

に従って前記エントリａ_ｊを選択する手段をさらに備え、
ここで、ｐ_ｉ［ｔ］は、ｉに相当する特定の姿勢で前記カメラによって生成されるイベントのシーケンスであり、ｃ_ｊ［ｔ］は、特定のコンテキストセンサｊによって生成されるイベントのシーケンスであり、‖ ‖演算子は、２値プロセス内のイベントを表し、∧は、ブール積集合演算子である請求項８に記載のシステム。
時間が遅延した前記イベントシーケンス間の動的関係をモデル化するために、

に従って前記エントリａ_ｊｋを選択する手段をさらに備え、
ここで、ｐ_ｉ［ｔ］は、ｉに相当する特定の姿勢で前記カメラによって生成されるイベントのシーケンスであり、ｃ_ｊ［ｔ］は、第１コンテキストセンサｊによって生成されるイベントのシーケンスであり、ｃ_ｋ［ｔ］は、第２コンテキストセンサｋによって生成される後続のイベントのシーケンスであり、前記‖ ‖演算子は、２値プロセス内のイベントを表し、∧は、ブール積集合演算子であり、ｔは、時間の瞬間であり、Δｔは、前記第１及び第２センサによってイベントを検出する間の特定の時間遅延である請求項９に記載のシステム。
に従って前記エントリａ_ｊｋを選択する手段をさらに備え、
ここで、ｐ_ｉ［ｔ］は、ｉに相当する特定の姿勢で前記カメラによって生成されるイベントのシーケンスであり、ｃ_ｊ［ｔ］は、第１コンテキストセンサｊによって生成されるイベントのシーケンスであり、ｃ_ｋ［ｔ］は、第２コンテキストセンサｋによって生成される後続のイベントのシーケンスであり、前記‖ ‖演算子は、２値プロセス内のイベントを表し、∧は、ブール積集合演算子であり、ｔは、時間の瞬間であり、Δｔは、特定の時間遅延であり、演算子∪は、前記検出したイベントにわたる和集合であり、δは、第１イベントと第２イベントの間の所定の期間である請求項９に記載のシステム。