JP2005505209A - コンピュータベースの視覚監視用の最適マルチカメラセットアップ - Google Patents

Abstract

カメラの配備の有効性の尺度は、コンピュータビジョンアプリケーションへ画像情報を与えるときのカメラの有効性を含む。多数のカメラの配備によって与えられる視覚的なカバレッジに基づく尺度に加えて、又はその代わりに、配備の有効性は、配備されたカメラによって与えられる画像情報を用いてそれらの意図された機能を行うよう１つ又はそれ以上のコンピュータビジョンアプリケーションの能力に基づく尺度を含む。特に、カメラの配備は、配備によって与えられる遠近情報を考慮に入れたものである。

Description

【０００１】
本願は、２００１年９月２７日出願の米国仮特許出願第６０／３２５，３９９号に基づいて優先権を主張する。
【０００２】
本発明は、セキュリティシステムの分野に係り、特に、コンピュータビジョンアプリケーションを容易とするための多数のカメラの配置に関する。
【０００３】
カメラは、しばしば、セキュリティシステム及び他の視覚監視用途に用いられる。１つのカメラから、又は、多数のカメラから得られる画像情報を処理するようコンピュータプログラム及びアプリケーションが絶えず開発されている。顔及び形状認識システムは、同定された人間又はアイテムをそれらが視野内を又は多数の視野の間で動くとともに追跡する可能性を与える。
【０００４】
スーミトラ・センギュプタ（Ｓｏｕｍｉｔｒａ Ｓｅｎｇｕｐｔａ）、ダミアン・ライオンズ（Ｄａｍｉａｎ Ｌｙｏｎｓ）、トマス・マーフィー（Ｔｈｏｍａｓ Ｍｕｒｐｈｙ）、及びダニエル・リーズ（Ｄａｎｉｅｌ Ｒｅｅｓｅ）による２００２年３月１９日発行の「Ａｕｔｏｍａｔｅｄ ｃａｍｅｒａ ｈａｎｄｏｆｆ ｓｙｓｔｅｍ ｆｏｒ ｆｉｇｕｒｅ ｔｒａｃｋｉｎｇ ｉｎ ａ ｍｕｌｔｉｐｌｅ ｃａｍｅｒａ ｓｙｓｔｅｍ」なる名称の米国特許第６，３５９，６４７号明細書は、ターゲットが安全な建物又は区域内で部屋から部屋へ又は領域から領域へ動くときに、ターゲット画像を少なくとも１つのカメラの視野内に維持するようマルチカメラ環境で自動的にカメラを方向付けるよう構成される自動追跡システムを開示するものであり、ここに参照として組み入れられる。他の多カメラ画像処理システムは従来技術において一般的である。
【０００５】
多カメラシステムでは、各カメラの配置は、画像処理システムの性能及び有効性に影響を与える。一般的には、各カメラの正しい配置は手動の処理であり、それによりセキュリティ専門家は、区域を評価し、有効且つ効率的なカバレッジを与える場所にカメラを配置する。有効なカバレッジとは、一般的には、各カメラの視野内の「死角」を最少とするカメラ配置として定義される。効率的なカバレッジとは、一般的には、費用及び複雑さを低減するよう、できるだけ少ないカメラを用いるカバレッジとして定義される。
【０００６】
多カメラ配備においては、カメラの視野は交差する可能性が高いこと、及び各カメラに対する障害物によって生ずる異なる隠されたビューにより、カメラの最適な配置の決定は、些細なことではない場合が多い。セキュアな区域の有効且つ効率的なカバレッジのために、カメラの配置を最適化するアルゴリズムが開発されている。モッシュ・レヴィン（Ｍｏｓｈｅ Ｌｅｖｉｎ）及びベン・モーデチャイ（Ｂｅｎ Ｍｏｒｄｅｃｈａｉ）の２０００年９月２１日に国際特許公開第００／５６０５６号として公開された「Ｍｅｔｈｏｄ ｆｏｒ ｏｐｔｉｍｉｚａｔｉｏｎ ｏｆ ｖｉｄｅｏ ｃｏｖｅｒａｇｅ」なる名称の、ここに組み入れられる国際特許ＰＣＴ／ＵＳ／００／４００１１号は、遺伝的アルゴリズム及びシミュレーテッド・アニーリング・アルゴリズムを用いて、最適カバレッジのために多数のカメラの位置及び角度的な向きを決定する方法を教示する。他の潜在的な配置は、アルゴリズムが、システムによって与えられるカバレッジを最適化する解決策に集束するまで生成され、評価される。
【０００７】
セキュアな区域に関して多数のカメラを最適に配置するのに用いられる従来のスキームでは、手動スキームであるか、自動スキームであるか、又は、その両方であるかにかかわらず、配置は、最少の数のカメラを用いてセキュアな区画の視覚的なカバレッジを最大化する目的がある。しかしながら、このような目的を達成することは、しばしば、コンピュータビジョンのアプリケーションにとっては有効でも効率的でもない。
【０００８】
本発明は、コンピュータビジョンアプリケーションを容易とする多カメラ環境においてカメラの配置を決定する方法及びシステムを提供することを目的とする。本発明は、コンピュータビジョンアプリケーションを容易とするよう従来の多カメラ配備における更なるカメラの配置を決定することを更なる目的とする。
【０００９】
上述及び他の目的は、コンピュータビジョンアプリケーションに画像情報を与えるときのカメラの有効性を含むカメラの配備の有効性の尺度を定義することによって達成される。多数のカメラの配備によって与えられる視覚的なカバレッジに基づく尺度に加えて、又はその代わりに、配備の有効性は、１つ又はそれ以上のコンピュータビジョンアプリケーションが配備されたカメラによって与えられる画像情報を用いて意図される機能を実行する可能性に基づく尺度を含む。特に、カメラの配備は、配備によって与えられる遠近情報に関する考慮を含む。
【００１０】
以下、本発明について、例として添付の図面を参照して詳述する。全ての図面を通じて、同じ参照符号は同様又は対応する特徴又は機能を示す。
【００１１】
本発明は、有効な視覚的なカバレッジを与えるカメラ配備は、必ずしも、有効なコンピュータビジョン処理に十分な画像情報を与えるものではないという認識に基づく。広いカバレッジエリアを与えるカメラ位置は、遠近（ｐｅｒｓｐｅｃｔｉｖｅ）情報を与えないことがあり、遠近の区別を与えるカメラ位置は認識しうるコンテキスト情報を与えないことがある等である。一般的な「最適」カメラ配備では、例えば、障害物のない普通の形の部屋には、部屋の上の隅に配置され、部屋の対角線と一致するように向けられ、僅かに下向きとされた１つのカメラが配置される。カメラの視野が部屋全体を含むのに十分に広いこと、或いは、部屋全体を掃引するよう調整されることを想定すると、部屋の視覚的なカバレッジには１つのカメラで十分である。米国特許第６，３５９，６４７号明細書に記載のように、部屋又は廊下に１つよりも多くのカメラがあることは稀であり、更なるカメラは、障害物がカメラの視野を妨害する場合にのみ使用される。
【００１２】
コンピュータビジョンシステムは、ビューのコンテキストを同定しシーン内の対象の３次元位置に基づくシーンの解釈を与えるために、視野について１つよりも多くのカメラのビューをしばしば必要とする。従って、視覚的なカバレッジを与えるカメラの配置は、しばしば不十分である。パン・チルト・ズーム機能を有する１つのカメラからの１つの２次元画像から、又は、多数の２次元画像から３次元を推定するアルゴリズムが入手可能であるが、このようなアプローチは、異なる視点からの同じシーンの画像を用いるアルゴリズムよりもかなり有効性が低く効率性も低い。
【００１３】
例えば天井に取り付けられたカメラからの上から下を見るビューのように、１つのカメラからの幾つかの２次元画像は、非常に良く３次元のディメンションを決定するものであり、なぜならば、画像は、室内のどこに目標対象が置かれているかを同定し、対象の種類は、そのおおよその高さを同定するためである。しかしながら、このような画像は、シーンのコンテキストを決定するには優れておらず、特に、画像又はジェスチャ認識といった典型的なコンピュータビジョンアプリケーションでは優れていない。
【００１４】
図１は、本発明によるマルチカメラ配備のコンピュータビジョン有効性を考慮したマルチカメラ配備システムのフローチャートを示す図である。ステップ１１０において、提案される初期カメラ配備は、例えば、安全とされている区画（ｓｅｃｕｒｅｄ ａｒｅａ）の表示された見取り図上でカメラ位置を同定することによって定められる。任意に、ステップ１２０において、当該技術分野における一般的な技術を用いて、配備によって与えられる視覚的なカバレッジが評価される。ステップ１３０において、以下詳述するように、配置の「コンピュータビジョン有効性」が決定される。
【００１５】
各コンピュータビジョンアプリケーションは、画像から抽出される選択パラメータに基づいてその機能を実行する。特定のパラメータ、及び夫々に対する機能の感度は、同定可能である。例えば、ジェスチャ認識機能は、水平の動き及び垂直の動き（例えば手を振っているときの手等）に対しては非常に感度が高く、奥行き方向の動きにはやや感度が低いことがある。ｘを水平方向の次元、ｙを垂直方向の次元、ｚを奥行き方向の次元とすると、ジェスチャ認識機能は、デルタｘ及びデルタｙの検出に感度があるということができる。従って、本例では、ジェスチャ認識についての配備のコンピュータビジョン有効性の決定は、配備が画像からのデルタｘパラメータ及びデルタｙパラメータをどれだけ良く与えるかに基づく。このような決定は、安全とされた区画に対する各カメラの位置及び向きに基づいて、例えば幾何学モデル及び従来の微分数学を用いてなされる。ヒューリスティック及び他の簡単化もまた使用されうる。明らかに、例えば、下向きのカメラは、もしあるのであれば最小のデルタｙ情報を与え、そのジェスチャ認識に対する有効性の尺度は低くなる。形式的な幾何学モデルのかわりに、評価体系（ｒａｔｉｎｇ ｓｙｓｔｅｍ）を用いることができ、各カメラには水平に対する視角に基づいて点数が割り当てられる。
【００１６】
同様に、画像認識機能は、ｘ方向及びｙ方向の画像の解像度に感度がありえ、画像認識有効性の尺度はカバーされている区画全体を通じて達成可能な解像度に基づくものとなる。本例では、部屋の壁にかかったカメラは、壁の近くの対象に対しては良いｘ及びｙ解像度を与えうるが、遠い反対側の壁の近くの対象に対しては低いｘ及びｙ解像度を与えうる。このような例では、更なるカメラを遠い反対側の壁に配置することは、部屋全体に亘って利用可能な解像度を高めるが、部屋の視覚的なカバレッジを与えることについては冗長となる。
【００１７】
他方で、安全とされる区画内での侵入者の経路を予測する動き推定関数は、水平方向の動き及び奥行き方向の動き（デルタｘ及びデルタｚ）に対しては感度がありうるが、垂直方向の出口を与えない部屋といった区画中では、垂直方向の動き（デルタｙ）に対しては比較的感度が低く、垂直方向の出口を与える階段といった区画では垂直方向の動きに対して感度がある。このような適用では、コンピュータビジョン有効性の尺度は、室内のカメラによって与えられるデルタｘ及びデルタｚの感度の尺度、並びに、廊下のカメラによって与えられるデルタｙ感度の尺度を含む。
【００１８】
尚、コンピュータビジョンシステムの感度は、例えば、上述のｘ、ｙ、及びｚパラメータに限られる必要はない。顔認識システムは、人物が向いている方向とは無関係に人物を認識することが期待される。従って、ｘ及びｙの解像度に加え、システムは、各カメラの視野の向きに感度があることとなり、配備の有効性は、複数の方向からの交差する視野を有することに依存することとなる。
【００１９】
配備の有効性の評価は、一般的には、各カメラの有効性、並びに、カメラの組合せの有効性に基づく複合的な尺度である。例えば、コンピュータビジョンアプリケーションがデルタｘ、デルタｙ、及びデルタｚに感度がある場合、２つのカメラの互いに対する、並びに、安全とされる区画に対する関係は、２つのカメラのいずれもが３つの全てのパラメータを与えなくとも、デルタｘ、デルタｙ、及びデルタｚを決定するのに十分な遠近情報を与えうる。このような状況では、本発明の配備システムは、このカメラと他のカメラの組合せに対してより高い点数が決定されているとき、個々のカメラに対して決定されうる低い点数を「無視」するよう構成される。
【００２０】
配備のコンピュータビジョン有効性を決定する上述及び他の方法は、本願の開示に関して、また、コンピュータビジョンアプリケーションによって行われている特定の機能に関して、当業者により明らかとなろう。
【００２１】
望ましい実施例では、特定のコンピュータビジョンアプリケーションがわかっていなければ、配備システムは、配備は安全とされた区画中で対象に対する正しいｘ、ｙ及びｚ座標を与えねばならないと想定するよう構成され、配備によって与えられる遠近情報に関するコンピュータビジョン有効性を測定する。上述のように、この遠近尺度は、一般的には安全とされた区画中で交差する視野を有する２つ又はそれ以上のカメラの位置及び向きに基づいて一般的に決定される。
【００２２】
ステップ１４０において、配備の許容可能性が、ステップ１３０からのコンピュータビジョン有効性の尺度と、任意に、ステップ１２０からのこの配備によって与えられる視覚的なカバレッジとに基づいて評価される。配備が許容可能でない場合、ステップ１５０において配備が変更され、処理１３０−１４０（任意に１２０−１３０−１４０）は許容可能な配備が見つかるまで繰り返される。ステップ１５０における変更は、既存のカメラ配置の再配置、又は、配備に対する新しいカメラの追加、又はその両方を含みうる。
【００２３】
ステップ１５０における変更は、自動的、手動、又は両方の組合せによって行われうる。望ましい実施例では、配備システムは、不十分なコンピュータビジョン有効性を有する１つの区画又は複数の区画を重要な部分として、更なるカメラについての位置を提案する。初期配備１１０は、一般的には、十分な視覚的なカバレッジを保証するよう設計されるため、ユーザにはこれらの初期配置を変更するオプションが与えられるが、更なるカメラを設けることは、初期カメラ位置を変更することに対する望ましい代替案であると考えられる。また、この配備システムは、既存のマルチカメラシステムを向上させることに特に良く適しており、カメラの追加は、一般的には以前に設置したカメラを動かすよりも簡単である。
【００２４】
図２は、本発明によるマルチカメラ配備システムの第２の例としてのフローチャートを示す図である。本実施例では、カメラ位置は、十分な視覚的なカバレッジを与えるようステップ２１０において決定される。このステップ２１０における配備は、視覚的なカバレッジを与えるよう既に設置されている既存の配備に対応するものであるか、又は、上述の国際出願ＰＣＴ／ＵＳ００／４００１１号に記載されているような提案される配備、或いは、当該技術分野で一般的な他の自動化された配備処理に対応するものでありうる。
【００２５】
配備のコンピュータビジョン有効性は、図１のブロック１３０について上述したのと同様に、ステップ２２０において決定される。ステップ２３０において、配備の許容可能性が決定される。この実施例では、初期配備は、ステップ２１０において十分な視覚的なカバレッジを与えるよう明示的に設計されるため、ステップ２３０における配備の許容可能性は、ステップ２２０からの決定されたコンピュータビジョン有効性にのみ基づく。
【００２６】
ステップ２４０において、新しいカメラが配備に加えられ、ステップ２５０において、各新しいカメラに対する位置が決定される。本発明の望ましい実施例では、特定のコンピュータビジョンアプリケーションの上述の感度に対する既存の配備の特定的な欠陥が決定される。例えば、デルタｚ感度が現在の配備によって与えられていない場合、天井に取り付けられたカメラは可能性の高い解決策である。望ましい実施例では、ユーザには、新しいカメラが追加されうる区画を同定すること及び／又は新しいカメラが追加されてはならない区画を同定することに関するオプションが与えられる。例えば、外部区画では、カメラが取り付けられ得る既存の柱や他の構造の位置が同定される。
【００２７】
尚、本発明の望ましい実施例では、処理２５０は、新しいカメラが加えられるたびに、各追加されたカメラの位置を再決定するよう構成される。即ち、従来技術で知られているように、１つのカメラの最適な配置は、他のカメラもまたその配置に可能であれば、そのカメラの最適な配置に対応しないかもしれない。同様に、第３のカメラが追加される場合、最初の２つのカメラの最適な位置は変化しうる。
【００２８】
望ましい実施例では、複雑な環境での処理タスクを軽減するために、安全とされる区域は小区域へ分けられ、１つの小区域内でのカメラの配備は、他の小区域の配備からは実質的に独立である。即ち、例えば、１つの部屋の中に配備されるカメラのコンピュータビジョン有効性は、第１の部屋からは実質的に視覚的に隔離されている他の部屋の中に配備されたカメラのコンピュータビジョン有効性とは独立である可能性があるため、各部屋内のカメラの配備は、独立の配備処理として処理される。
【００２９】
上述のことは、本発明の原理を示すだけである。従って、当業者によれば、本願には明示的には記載又は示されていないが、本発明の原理を具現化するものであり従って本願の特許請求の範囲の趣旨及び範囲内である様々な変形について考えることが可能となる。
【図面の簡単な説明】
【００３０】
【図１】本発明によるマルチカメラ配備システムの一例としてのフローチャートを示す図である。
【図２】本発明によるマルチカメラ配備システムの第２の例としてのフローチャートを示す図である。

Claims (16)

1. マルチカメラシステムにおいてカメラを配備する方法であって、
   複数のカメラ位置における前記カメラの配備によって与えられる予想されるコンピュータビジョン有効性の尺度に少なくとも部分的に基づき有効性の尺度を決定する段階と、
   前記配備の前記有効性の尺度に基づいて、前記配備が許容可能であるかどうかを判定する段階とを含む、方法。
2. 他の配備を与えるよう前記複数のカメラ位置のうちの１つ又はそれ以上を変更する段階と、
   前記他の配備に少なくとも部分的に基づいて第２の有効性の尺度を決定する段階と、
   前記第２の有効性の尺度に基づいて前記他の配備が許容可能であるかどうかを判定する段階とを更に有する、請求項１記載の方法。
3. 他の配備を与えるよう前記複数のカメラ位置に１つ又はそれ以上のカメラ位置を追加することによって前記配備を変更する段階と、
   前記他の配備に少なくとも部分的に基づいて第２の有効性の尺度を決定する段階と、
   前記第２の有効性の尺度に基づいて前記他の配備が許容可能であるかどうかを決定する段階とを更に含む、請求項１記載の方法。
4. 前記有効性の尺度は、前記複数のカメラ位置における前記カメラの前記配備によって与えられる予想される視覚的なカバレッジの尺度に少なくとも部分的に更に基づく、請求項１記載の方法。
5. 前記コンピュータビジョン有効性の尺度は前記配備によって与えられる遠近の尺度に基づく、請求項１記載の方法。
6. 前記カメラを前記複数のカメラ位置に配備する段階を更に含む、請求項１記載の方法。
7. 複数のカメラ位置における前記カメラの第１の配備を前記配備によって与えられる予想される視覚的なカバレッジに基づいて決定する段階と、
   前記複数のカメラ位置において前記カメラの前記第１の配備によって与えられる予想されるコンピュータビジョン有効性の尺度を決定する段階と、
   前記カメラの第１の配備及び前記予想されるコンピュータビジョン有効性の尺度に基づいてカメラの第２の配備を決定する段階とを含む、
   マルチカメラシステムにおけるカメラの配備の方法。
8. 前記第２の配備は、前記第１の配備の複数のカメラ位置、並びに、前記第１の配備よりも高い予想されるコンピュータビジョン有効性の尺度を与える１つ又はそれ以上の更なるカメラ位置とを含む、請求項７記載の方法。
9. 前記予想されるコンピュータビジョン有効性の尺度は、前記第１の配備によって与えられる遠近の尺度を含む、請求項７記載の方法。
10. 前記第２の配備に従って前記カメラを配備する段階を更に含む、請求項７記載の方法。
11. コンピュータシステム上で動作されたときに、
    複数のカメラ位置におけるカメラの配備によって与えられる予想されるコンピュータビジョン有効性の尺度に少なくとも部分的に基づいて有効性の尺度を決定する動作と、
    前記配備の前記有効性の尺度に基づいて前記配備が許容可能であるかどうかを決定する動作とを前記コンピュータシステムに行わせる、コンピュータプログラム。
12. 前記コンピュータプログラムは、前記コンピュータシステムに、
    他の配備を与えるよう前記複数のカメラ位置のうちの１つ又はそれ以上を変更させ、
    前記他の配備に少なくとも部分的に基づいて第２の有効性の尺度を決定させ、
    前記第２の有効性の尺度に基づいて前記他の配置が許容可能であるかどうかを判定させる、請求項１１記載のコンピュータプログラム。
13. 前記コンピュータプログラムは、更に、前記コンピュータシステムに、
    他の配備を与えるよう前記複数のカメラ位置に１つ又はそれ以上のカメラ位置を追加することによって前記配備を変更させ、
    前記他の配備に少なくとも部分的に基づいて第２の有効性の尺度を決定させ、
    前記第２の有効性の尺度に基づいて前記他の配備が許容可能であるかどうかを決定させる、請求項１１記載のコンピュータプログラム。
14. 前記コンピュータシステムは、前記複数のカメラ位置における前記カメラの前記配備によって与えられる予想される視覚的なカバレッジの尺度に少なくとも部分的に更に基づいて前記有効性の尺度を更に決定する、請求項１１記載のコンピュータプログラム。
15. 前記コンピュータビジョン有効性の尺度は前記配備によって与えられる遠近の尺度に基づく、請求項１１記載のコンピュータプログラム。
16. 複数のカメラ位置におけるカメラの配備によって与えられる予想されるコンピュータビジョン有効性の尺度に少なくとも部分的に基づき有効性の尺度を決定するよう構成される測定ユニットと、
    前記配備の前記有効性の尺度に基づいて、前記配備が許容可能であるかどうかを判定するよう構成されるテストユニットとを含む、
    マルチカメラ配備システム。

Images