JP2006520144A - 監視装置 - Google Patents

Abstract

本発明は、可動な物体を高解像度で監視するためのマルチカメラ装置と物体追跡装置とを備えた監視装置に関する。この際、物体追跡装置は、マルチカメラ装置の個別画像から全体画像を作るための画像結合装置と、高解像度で監視されるべきカットアウトを個別画像の境界に左右されずに規定するためのカットアウト規定装置とから構成されている。

Description

本発明は、請求項１の上位概念に関し、従って監視装置、特にカメラに関わる。

カメラを使用して空間区域あるいは空間領域を監視する際に、一定の物体もしくは領域を正確に監視する必要性が往々にしてあるが、他の領域はほとんど関係がない。この目的で、カメラは一方では一定の物体に整向可能であることが知られ、他方では一定の物体が拡大して監視できるように、その焦点距離が変更可能であることが知られている。整向は一般的には電動モーターで行われ、これには高価な機構が必要であり、相応する磨耗が生じ、それに応じて定期的なメンテナンスが必要である。さらに、長い焦点距離に調節してカメラを旋回させる際に、同時に広い視野を監視することは不可能である。このことは、第二のカメラで例えば広い視野を監視するために、何台かの個別カメラを備えたカメラが開発されることにすでに至っている。しかしながら、これらのカメラは高価で、機能が鈍くまた機構が煩雑であるという短所を有する。

その他の公知の構成は、パノラマ視野が可能になる鏡システムを光路内に設けることと、鏡により歪曲した画像をデジタル的に補正することである。明らかなように、この場合、特に強く歪曲した境界領域における画像解像度は、補正しても悪く、高解像度での監視はもはや可能ではなくあるいは役に立たない。

さらに、マルチカメラシステムにおいては、過度の画像データを転送しないように、転送速度が速くなりすぎないことに注意しなければならない。転送速度をどれくらい下げることができるかは、本発明の出願人により、従来の特許において開示されている。関連する特許出願は、開示目的のために十分広い範囲で包括されている。

本発明の課題は、商業的に使用するためのノベルティー商品を提供することにある。

このような課題は、独立請求項により解決される。好ましい実施形態は従属請求項にある。

したがって本発明は、第一のアイデアでは、移動する物体を高解像度で監視するための、マルチカメラ装置と物体追跡手段とを備えた監視装置を提案し、このアイデアにおいて、物体追跡手段は、マルチカメラ監視装置−個別画像からなる全体画像を得るための画像結合装置と、個別画像の境界に左右されない、高解像度で監視されるべきカットアウトを規定するためのカットアウト規定手段とで構成されている。

したがって本発明の第一の基本側面は、その部分画像が唯一の全体画像に結合される多数の個別カメラを配設することにより、及びどの領域が個別画像の境界に左右されずに、高解像度で監視されるべきかを規定する付加的装置を配設することにより、完全に電気的形で可能になる高解像度物体追跡装置が保証される。さらにこの物体追跡装置は、従来の固定カメラのパンチルトユニットあるいはドーム型ハウジング内に置かれた可動なカメラを使用して行うことができる物体追跡装置に比べて、ずっと早く個々の物体を追跡することができる。さらにマルチカメラ装置内の多数の個別カメラのために、確かに高解像度ではあるが最高の解像度ではないセンサーが使用され、それによりセンサー技術のその都度の状態に適応させることで、きわめて割安なシステムの設計が可能になる。

マルチカメラ装置の内部にだけあるいはマルチカメラ装置の内部に主として、互いに大部分同一のカメラを設けることが可能であり、かつ好ましい。これによりカメラへのアクセス、マルチカメラ装置の開発及び後のメンテナンスが楽になる。互いに同一の個別カメラが各々、一定の画像領域を注視することへの配慮だけはしなければならない。

マルチカメラ装置は、一般的なデジタルの個別カメラで、すなわち例えばＣＣＤアレーおよび／またはＣＭＯＳアレーあるいはその類のもので構成されている。これらのＣＣＤアレーはデジタル形式で画像を引渡すことができる。多くのセンサーがある場合、今日の技術の状態においては、、例えば１２８０水平ドットで、四つのセンサーのような僅かなセンサー数であってすら、解像が行われるが、この解像は個別のモニター上ではもはや十分表示できない。この理由から、センサーあるいはセンサー領域に要求されるアウトライン画像のための画像情報が、低解像度でマルチカメラ装置に転送されるのは好ましい。これにより、例えば画像転送が例えば一般的なＬＡＮおよび／またはＩＳＤＮが使用できるカメラシステムで行われる場合、画像転送によるネットワークの負荷は低減する。それ自体として関係のある物体が全く見つからないときは、例えば個別のセンサーアレーから低解像度で転送するのが望ましい。しかしながら、その領域が実際目下関係のあるセンサーアレーをすべて識別できるのが好ましい。したがって、解像度の選択を差別化するための、センサー領域で差別化手段が設けられ、この差別化手段はカメラそれ自体に組込まれているのが好ましい。

どの領域が高解像度で転送されるべきであるという指定は、例えばそれ自体として公知の移動検出装置によりカメラそれ自体において行われる。これについては、開示目的のために十分広い範囲でここに組入れられている出願人の以前のパテント、特に特許文献１を参照する。

代替案として、高解像度で外部から、例えば制御ステーションから伝達されるべき領域の規定を設けることは可能である。必要であれば、自動選択をそこで行うこともできる。いずれの場合においても、マルチカメラ装置はデータ転送速度を減速するためのデータ圧縮手段を備えていることを言っておく。

個別カメラの画像領域は少なくとも縁部においてオーバーラップする。さもなければ、監視空域の一部は、場合によっては確かに、たんに極めて狭い条片部として、監視されないままである。オーバーラップ部分はマルチカメラ装置により異なっていることに触れておく。したがって、個別カメラの取付けは、精度の低い例えば個別カメラの貼付けにより行われ、画像の形成が、その都度の個別のケースに関する適切な方法でオーバーラップ部を考慮することが確実に行われるだけにすぎない。相応する較正情報は、各制御ステーションとは独立して、かつそこにある情報に左右されないで、高精度でかつ正確な画像の再現を可能にするために、例えばマルチカメラ装置内で整理される。さらに、マルチカメラ装置に関する独習ソフトウェアあるいは、マルチカメラ装置に接続した制御ステーションを使用することができる。

少なくともドア、銀行のカウンターおよびその類のような重要な領域において画像領域のオーバーラップ部が、各空間領域が少なくとも二つのカメラにより監視されるように選択される場合が好ましい。このようにして、カメラが故障した場合の、システム全体の多大なる信頼性が達せられる。

個別カメラは、画像を形成することに関して互いに異なっていてもよい。特に各センサーに、センサーにより監視される空間領域の光の状態に対応した自動露出機構を設けることが可能である。したがって、第一センサーは照明されていない極めて暗い空間領域上に整向されており、対応してより高感度に調節されているが、別のセンサーは同じセンサー空域の明るく照明された領域を監視する。画像結合装置は、マルチカメラ装置で行われない限りにおいて、このような違いを好ましくは自動的に補正するように形成されているのが好ましい。補正するために、必要であれば現在の照明情報等に関する状態の情報は、画像と一緒に転送される。

さらに、監視装置は全体画像表示装置と結合しているのが一般的であり、この全体画像表示装置は個別画像カメラの最大可能な全体解像度からもたらされるものとしては、一般的に低解像度を有する。一定の選択された領域の詳細情報を表示する詳細カットアウト手段が設けられているのが好ましい。この詳細カットアウト表示は同じモニターへの画像カットアウトとして映し出され、および／またはこの詳細カットアウト表示は個々のモニターに映し出される。

さらに、関係のある画像カットアウトを規定するために、カメラにおいてそれ自体顕著な画像変化を検出する動作認識が可能であることが指摘されている。その上さらに、使用者が本質的に関係のある画像、すなわち原理的におよび／または持続的におよび／またはむしろもっと詳細に表示される必要がある画像カットアウト、例えば銀行カウンターやその類のものに近接した領域に焦点を当てることが可能である。画像データを記憶する際は、例えば銀行カウンターが開くほぼその時間に、例えば清掃員が仕事をしているかあるいは建物それ自体が閉まっているその時間を除いた、他の領域を監視するために、関係のある画像領域を時間の経過と共に可変に切換えるのが特に好ましい。このようにして、窓及びその類のものは例えば建物が開いている時間外に細部にわたり監視することができる。さらに、細部にわたり監視されるべき画像カットアウトの確定が、マイクロフォン、ガラス破損センサー、ドア開放センサー、火災センサーおよび煙センサー等のような外部センサー源の評価により可能であることも触れておく。さらに、細部を監視するための関係ある画像領域を確定および／または除外するために、関係ある画像変化の頻度に関する統計的な分析が、単独でおよび／または他の情報と組み合わせて協議できることも触れておく。同様に、領域の引渡しあるいは移動する物体に関する通知を一台のカメラからその隣のカメラへと伝達することができることも触れておく。このようにして、例えば画像センサーにおいて大きな変化が起こり、画像変化の原因となる物体が他のセンサーの方へ移動する場合に、対応する信号は、第一センサーが所属するカメラから、第二センサーが所属するカメラに引渡され、したがって関係ある物体の連続的な監視は高解像度で可能であり、および／または回避され、高解像度ですでに関係あるものとして認識された物体はさらに追跡される。同様に、外部センサーの評価にあって、音源の位置測定を行うことができ、マイクロフォンの指向性を追跡できおよび／または何本かのマイクロフォンを評価することができることも触れておく。

一定の領域を関係のあるおよび／または監視できないものとしてマスキングすることが可能であることにも触れておく。このようにして、相当するブラインドあるいはその類のものを取付ける必要もなく、画像領域の中を頻繁に移動する必要があるが、本質的に監視されるべきではない人のプライバシーを確実に保証することができる。ここでは、完全なマスキングすなわちシャドーイングが行われ、これは例えば認知されていない人のウェッブカメラとしてのカメラがアドレスされた場合に役にたつ。同様に、さらなる修正がオーバーラップする画像領域を使用することにより可能であることに触れておく。さらにもし必要であれば、高額の費用が許される場合、ずっと高解像度で領域を監視するために、そのほかに可動なカメラを設けることもできる。このような場合、マルチカメラ装置により、まず第一に特に関係がある領域が決定され、次いで可動なカメラを使用した追跡により、関係あるものとしてマーキングされた領域の画像が高解像度で受け取られることが達せられる。
ドイツ国特許出願第１０２ ６１ ５０１号明細書

本発明を、図に基づき以下に詳しく説明する。

図１により、概括的に１で示した監視装置１は、可動な物体を高解像度で監視するためのマルチカメラ装置２と物体追跡装置３とを備え、この場合、物体追跡装置３はマルチカメラ装置‐個別画像６ａ，６ｂ等々から全体画像６を作り出すための画像結合装置５と、高解像度で監視されるべきカットアウト４ａ，４ｂを個別画像境界部に左右されずに規定するためのカットアウト規定手段７とを備えている。

監視装置１は、現行の実例においては、窓口の並んだホールの公共エリアを監視するために使用されており、かつ従来のコンピューターネットワークケーブル（ＬＡＮ）８に接続した二つの領域、すなわち一方では、マルチカメラ装置２が設けられている窓口の並んだホールを、他方では、窓口の並んだホールの監視が行われ、また物体追跡装置３が設けられている制御ステーション領域から成る。

マルチカメラ装置２は、現行の実例においては、３×３の個別カメラのアレーから成り、各々がＣＣＤアレー２ａ、所属する投影光学装置２ｂ並びに個別カメラ毎用の評価回路２ｃを有する。評価ユニット２ｃは、マルチカメラ装置内部のバスシステム８ａと互いに接続しており、かつ対応するソケット／プラグ機構８ｂを経由して、ケーブル８により制御センターに接続している。さらに通信制御ユニット９は、個別カメラ間の通信を制御するために、かつケーブル８を経由してコントロールセンターとの通信を制御するためにバス８ａに接続している。

幾つかのＣＣＤセンサー２ａ１，２ａ２等は、互いに全く同じであり、かつ経済的で何の問題も無く使用可能であるような解像度を備えている。ＣＣＤセンサーと光学装置２ａ，２ｂは、各々個別カメラにより捕捉される空間領域がオーバーラップするように互いに整向されている。これは図示した平面に関しては、一点鎖線、破線および点線により、光学装置２ｂ１，２ｂ２，２ｂ３からの視野をオーバーラップすることにより、各々わかり易く図示されている。光学装置２ｂは不動でありかつ経済的である。この光学装置のオーバーラップ領域は、図からわかるように同一ではない。つまり、光学装置２ａ１と２ａ２のオーバーラップ領域は、光学装置２ａ２と２ａ３のオーバーラップ領域とは異なる。

ＣＣＤセンサー２ａ１，２ａ２，２ａ３等は、評価回路２ｃ１，２ｃ２，２ｃ３等により様々な感度で読取可能である。したがって、各々適切な感度を選択することにより、隣接する視野の明るさの違いに対して問題なく反応可能である。

評価回路２ｃは、ＣＣＤセンサー２ａから受け取った画像データを調節し、かつ転送に必要なように画像データを圧縮するように設計されている。開示目的に関しては、前述の出願によるデータ圧縮の可能性を参照すべきである。この場合特に、評価回路２ｃは、ケーブル８で内部バス８ａとインターフェース８ｂを経由して、高い圧縮率で、所属するセンサーアレーの第一部分領域の画像データを送り、かつ圧縮なしでセンサーアレーの他方の部分領域の画像データを送るために形成されている。さらに、回路ユニット２ｃは各々、割当てられたセンサービューアレー内部の物体１０の運動を捕捉し、運動のカットアウトを規定し、運動の方向を決定するために形成されている。さらに、回路ユニットはセンサー境界部の方向での運動を通信制御ユニット９へ転送し、そこから相応する情報を受け取るために形成されている。物体１０ａ，１０ｂのこのような運動は、図においては矢印１１ａ，１１ｂにより示してある。

監視制御ステーション内の物体追跡装置３は表示装置から成り、この表示は一方において、マルチカメラ装置２内でのカメラの個別画像６から成る合成された全体画像を表示することができ、そのために全体画像を受け入れるための表示装置は画像結合装置５に接続しており、他方においては、同様に画像結合装置５から受け入れられ、かつカットアウト規定手段７により規定されたカットアウト４ａ，４ｂは、高解像度で表示することができる。表示装置は、従来の高解像度コンピュータモニターであってもよい。

詳細がごくわずかしかない全体見取り図において、個別画像６ａ，６ｂは、互いに異なっておらずおよび／または互いに隔離していない。一点鎖線１２は本発明をわかり易くする際の視覚化のためにだけ役立っている。見てわかる通り、オーバーラップ領域はわかり易く示してあり、数台のカメラで捕捉されているにもかかわらず二度現れることはない。したがって、物体追跡装置３は、オーバーラップがない連続的な画像が得られるように形成されている。そのためにオーバーラップ領域がカットされる工程を設けることができる。

カットアウト４ａ，４ｂは、現行の例においては、移動している二人の人１０ａ，１０ｂの周囲に置かれており、明らかなように、カットアウトはモニターの部分領域上に高解像度で示してある。代替案としては、分離したモニター上での表示であってもよい。マルチモニターシステムの場合、カットアウトは同じコンピューターに接続することができる。代替案としては、特定のローカルインテリジェント信号を供給することにより、ここで監視されるべきカットアウトの表示に対して直接、割り当てられたモニターに送ることが可能である。

画像結合装置５は現行の場合、ＰＣから成り、このＰＣにおいて、低解像度で、したがってデータ圧縮された個別カメラ画像が、ＬＡＮケーブル８を介して供給される。この状況においては、個別カメラ、例えば発明者／出願人の出願に関連しているようなセンサー２ａ２の個別カメラのほんのわずかに変化する画像領域を、特に連続して転送する場合、個別カメラ画像は、一画像あるいは画像シークエンスを意味することを言っておく。この場合、ネットワーク８上でのデータ転送率を低くしておくために、場合によってはわずかな時間のズレを伴って、様々な個別カメラから順次転送される画像を画像結合装置５と結合することは有利であり、したがって特にＡＤＳＬ，ＩＳＤＮあるいはその類のものを介して精緻な遠隔監視を行うことが可能になる。

前述のように、全体画像６は個別画像６ａ，６Ｂ等から合成されている。

カットアウト規定手段７として、まず第一にタッチ式の画面領域が働き、この画面領域上に全体画像が表示され、ユーザーは指かあるいは適当な物体を使用してとりあえず該当する領域にマークを付けることができる。図示した例においては、このような二つの領域４ａと４ｂにマークを付けてある。代替案として、例えば最近著しく変化してきている個別カメラの画像領域、全体画像の領域等を考慮して、および／または特に装飾（Dekoration）の領域６ａのような関係あるかあるいはほんのわずか関係ある領域を考慮して、カットアウトを規定するために、自動評価が画像結合装置５あるいは通信制御ユニット９において行われる。自動選択および／または物体追跡を行う場合、現行の特に高解像度の領域に関する情報は、通信制御ユニット９によりケーブル８上で提供することができる。

転送ケーブル８は従来の転送ケーブルであるが、十分解像された個別画像のデータレートで容易にロードされなくてもよく、および／またはロードされる必要もない。

ケーブル８を介して双方向通信が行われる。すなわち、一方においては、画像データと制御情報、オーディオ信号等のような他のデータが、マルチカメラ装置２から画像結合装置５へと転送され、他方においては、ユーザーがカットアウト手段７により設定されたカットアウト規定に基づいて高解像度で表示したいその領域に関して、画像結合装置５からの制御信号が転送される。

高解像度で示す必要がある物体が画像の境界を越える際に、メッセージを各々隣接したマルチカメラ装置２の個別カメラに自動的に転送するために、通信制御ユニット９は、特にそこで検出された物体の運動に関しては、評価回路２ｃから得られる個々の画像データを評価するために形成されている。個別カメラにより、この運動する物体は、矢印１１ａあるいは１１ｂにより示したように、監視された運動のすぐ次の図として捕捉される。

本発明による配設により、監視は以下のように行われる。

まず第一に、マルチカメラ装置２を、組み立て時に精密な整向を行なうことなく、多数の同一のカメラを使用して組立てる。次いで、マルチカメラ装置２を監視されるべき領域内に取付け、それも特にマルチカメラ装置を個別カメラを使用して関係のある空域を捕捉するように取付ける。このように取付けかつ一度だけ整向した後、マルチカメラ装置２を固定し、したがってその後カメラは全て各々の固定された領域を連続的に監視する。今度はマルチカメラ装置２をケーブル８に接続し、まず学習ステージを開始し、このステージにおいて、画像信号を評価することにより、オーバーラップする画像領域内に登場する物体が、全体画像にただ一度だけ確実に示される。このことは、パターン認識による独学の方法で、および／または公知のパターンによる較正ステージにより行われてもよく、必要があれば、取付け前の較正が製造工程において可能である。

監視装置が運転のために準備されている。差当たり監視される領域が空である場合、センサーの一つに高解像度のデータを要求する必要は全くなく、全センサーは差当たり低解像度の画像を供給し、この画像は画像結合装置５と結合して全体画像になる。

引き続き、物体が監視領域−ここでは二人の人１０ａ，１０ｂを示してある−に入ると、制御センター内の監視者は、全体画像６を表示するタッチ式モニター７の領域上で、相当するマークを記し、それにより人の高解像度画像を要求する。高解像度で示されるべき領域は、個別画像の境界には左右されずに、ケーブル８を介して要求され、かつ高解像度で転送されるべき領域の画像領域境界を用いて、通信制御ユニット９により個別カメラに割り当てられる。個別カメラには、各センサーアレー内部の領域が高解像度で転送されるべきであることと、各センサーアレー内部のどの領域が、高解像度で転送されるべきであるかが知らされ、したがってカメラは、内部ケーブル８ａで、通信制御ユニット９により統制された方法で、対応するデータを高解像度で引渡すが、その一方で、各センサーの関係のない領域の画像データは、低解像度で転送される。そのときさらに、空間領域全体を表わす全体画像を得ることが可能であり、この場合高解像度で転送される領域のための画像結合工程５は、一方では、全体画像の表示のための平均化を行い、同時に高解像度で表示されるべき領域は、細部を備えた個別の画像カットアウト上に表示される。

この配設は、電気的制御信号の転送、すなわち特定の領域に関する画像解像度の増加によってのみ達せられることができるので、全体配設は極めて早い。したがって、物体間における極めて迅速な切り替えが行われ、場合によっては自動でも行われる。

同様に、関係のある画像領域の自動生成、動作の識別に応じた自動追跡などが可能であることが注目される。

結合が、ＬＡＮケーブルを経由してマルチカメラ装置２から分離した画像結合工程５において行われることは前項に記載したが、さらにマルチカメラ装置２に画像結合装置を備えることも可能である。通信制御ユニット９が十分制御能力があるデジタル回路として形成されていてかつ画像結合の役目を引受けることができる場合に、このことは特に合理的である。マルチカメラ装置がいずれの場合でも標準ブラウザとコンパチブルな画像を提供する必要がある場合に、このことは有利である。さらに、起こりうる画像の部分的重なりを補正するための個別カメラの画像比較は、マルチカメラ装置のＬＡＮ接続の前にすでに自主的に可能である。所望であれば、この場合、カットアウトの選択はユーザーにより設定されかつマルチカメラ装置２へ転送され、および／または自動選択は、マルチカメラ装置２において、特にできるだけ通信制御ユニット９と画像結合ステージ５を統合された方法で実行するプロセッサー回路で行われる。

画像圧縮は、様々な解像度段階の位置と動作に依存して行うことができ、その際例えばマルチカメラ装置２内で、特に受信者側で行われる全体画像の拡大中および／またはカットアウトの選択中に、関係の無いものとして認められる画像領域は、ぼやけて表示されるが、関係ある画像領域は手元にある詳細データのおかげで鮮明に表示される。ここでは特に、例えば様々な解像度あるいは細部精度を備えたタイル型ウィンドウ（Kacheln）から全体画像を作り出す可能性が注目される。全体画像における高い細部精度で転送される領域のはめ込みが、受信者側で行われてもよいこともふれておく。

本発明による監視装置の図である。

Claims (14)

1. 移動する物体を高解像度で監視するための、マルチカメラ装置と物体追跡手段とを備えた監視装置において、
   物体追跡手段が、マルチカメラ監視装置−個別画像からなる全体画像を得るための画像結合手段と、個別画像の境界に左右されない、高解像度で監視されるべきカットアウトを規定するためのカットアウト規定手段とで構成されていることを特徴とする監視装置。
2. マルチカメラ装置が、多数の互いに同一のカメラを有していることを特徴とする請求項１記載の監視装置。
3. マルチカメラ装置がデジタルカメラを含んでいることを特徴とする請求項１または２に記載の監視装置。
4. 画像を転送するためのマルチカメラ装置が、少なくとも二つの異なる解像度で形成されていることを特徴とする請求項１〜３のいずれか一つに記載の監視装置。
5. 個別画像を転送するためのマルチカメラ装置が、領域毎に異なる解像度で形成されていることを特徴とする請求項１〜４のいずれか一つに記載の監視装置。
6. 異なる解像度で転送されるべき領域および／またはそこから一定の解像度で転送されねばならない個別カメラが、外部から指定可能および／または予め指定可能であるように構成されていることを特徴とする請求項１〜５のいずれか一つに記載の監視装置。
7. 個別カメラが、画像領域がオーバーラップするように互いに整向されていることを特徴とする請求項１〜６のいずれか一つに記載の監視装置。
8. 全体画像フィールドの少なくとも中央領域の部分において、個別カメラ領域の画像領域の完全オーバーラップ部分が得られ、したがって中央領域内の画像領域がすべて、少なくとも二つの個別カメラで監視されるように構成されていることを特徴とする請求項１〜７のいずれか一つに記載の監視装置。
9. 個別カメラが不動に設けられていることを特徴とする請求項１〜８のいずれか一つに記載の監視装置。
10. 全体画像表示装置が設けられていることを特徴とする請求項１〜９のいずれか一つに記載の監視装置。
11. 詳細カットアウト表示装置が設けられていることを特徴とする請求項１〜１０のいずれか一つに記載の監視装置。
12. 移動検出装置が設けられていることを特徴とする請求項１〜１１のいずれか一つに記載の監視装置。
13. 領域選択装置が、高解像度で表示されるべきおよび／または監視されるべき領域を自動的に選択するために設けられていることを特徴とする請求項１２記載の監視装置。
14. 領域選択装置が、移動検出装置からの移動検出信号に答えて、高解像度で監視されるべき領域を選択するために設けられていることを特徴とする請求項１２または１３に記載の監視装置。

Images