JP2014534786A - 地図に基づいた制御 - Google Patents

Abstract

方法、システム、コンピュータ読取り可能な媒体及び他の実施形態が開示される。これらは、複数のカメラによって撮像された画像データから、複数の移動物体の動作データを判定するステップと、複数のカメラによって監視される領域を示す全体画像上で、複数の移動物体の地理的な位置に対応する全体画像上の位置に、複数の物体の判定された動作データの図形表示を提示するステップを含む方法を含む。本方法は更に、複数のカメラの１つによって撮像された多数の移動物体の少なくとも１つの図形表示の少なくとも１つを提示する全体画像の領域を、全体画像に提示される図形表示に基づいて選択することに応じて、複数のカメラの１つからの撮像画像データを提示するステップを含む。【選択図】図３

Description

本発明は、地図に基づいた制御に関する。

伝統的なマッピングアプリケーションでは、地図上のカメラロゴは、ウィンドウをポップアップさせ、そして生映像、警報、中継等への簡単で即座のアクセスを提供させるために選択される。これによって、監視システムにおいて地図を構成して用いることは容易となる。しかしながら、ビデオ分析（例えば、いくつかのビデオコンテンツの分析のいくつかに基づいたカメラの選択）はこの過程においてほとんど含まれていない。

本開示は、カメラから動作を検出することを可能にし、全体画像（地図、監視される領域の俯瞰図等）での動作軌道を提示するビデオの特徴を含んだマッピングアプリケーションを目的とする。本明細書に記載されるマッピングアプリケーションのおかげで、警備員は例えば、全てのカメラのビューを絶えず監視する必要なく、代わりに全体図に集中すればよい。通常でない信号又は行動が全体画像で示されるとき、警備員はその地図上の関心領域をクリックし、選択された領域における（複数の）カメラにその領域の景色を提示させる。

いくつかの実施形態では、方法が提供される。本方法は、複数のカメラによって撮像された画像データから、多数（複数）の移動物体の動作データを判定するステップと、複数のカメラによって監視される場所を示す全体画像上で、前記多数の移動物体の地理的な位置に対応する全体画像上の位置に、前記多数の物体の判定された動作データの図形表示を提示するステップを含む。本方法は更に、複数のカメラの１つによって撮像された多数の移動物体の少なくとも１つの図形表示の少なくとも１つを提示する全体画像の領域を、全体画像に提示される図形表示に基づいて選択することに応じて、複数のカメラの１つからの撮像画像データを提示するステップを含む。

本方法の実施形態は、本開示において記載される少なくともいくつかの特徴を含み、次の特徴の１つ以上も含む。

多数の移動物体の少なくとも１つの図形表示の少なくとも１つを提示する全体画像の領域を選択することに応じて撮像画像を提示するステップは、複数のカメラの１つによって撮像された移動物体に対応する図形表示を選択することに応じて複数のカメラの１つからの撮像画像データを提示するステップを含んでもよい。

本方法は更に、全体画像を有する複数のカメラの少なくとも１つを較正して、複数のカメラの少なくとも１つによって撮像された少なくとも１つの領域ビューの画像を、全体画像の少なくとも１つの対応領域に一致させるステップを含んでもよい。

複数のカメラの少なくとも１つを較正するステップは、複数のカメラの少なくとも１つによって撮像された画像に現れる１以上の位置を選択することと、全体画像上で、複数のカメラの少なくとも１つによって撮像された画像内で選択された１以上の位置に対応する位置を識別することとを含んでもよい。本方法は更に、識別された全体画像の位置及び複数のカメラの少なくとも１つで撮像された画像内の対応する１以上の選択位置に基づいて、二次の二次元線形モデルに係る変換係数を計算し、複数のカメラの少なくとも１つによって撮像された画像内の位置の座標を、全体画像中の対応位置の座標へと変換するステップを含んでもよい。

本方法は更に、地図の選択領域内の少なくとも１つの図形表示に対応する多数の移動物体の少なくとも１つの追加の詳細を提示するステップを含んでもよく、追加の詳細は、選択領域に対応する複数のカメラの１つに関連付けられた補助カメラによって撮像された補助フレーム内に示される。

多数の移動物体の少なくとも１つの追加の詳細を提示するステップは、複数のカメラの１つによって撮像された多数の移動物体の少なくとも１つの位置に対応する補助フレーム内の領域を拡大することを含んでもよい。

複数のカメラによって撮像された画像データから多数の移動物体の動作データを判定するステップは、複数のカメラの少なくとも１つによって撮像された少なくとも１つの画像へ、ガウス混合モデルを適用し、移動物体の画素群を含む少なくとも１つの画像の前景を、静止物体の画素群を含む少なくとも１つの画像から分離することを含んでもよい。

多数の移動物体の動作データは、多数の移動物体のうちの１つの物体のデータを含み、例えば、カメラの視野内の物体の位置、物体の幅、物体の高さ、物体が移動する方向、物体の速度、物体の色、物体がカメラの視野に入るという表示、物体がカメラの視野から出るという表示、カメラが妨害されているという表示、所定時間以上物体がカメラの視野にとどまっているという表示、いくつかの移動物体が合体するという表示、移動物体が２以上の移動物体に分裂するという表示、物体が関心領域に入るという表示、物体が所定の領域を出るという表示、物体が仕掛け線を横切るという表示、物体がその領域又はその仕掛け線のある禁止された所定の方向に一致する方向に移動しているという表示、物体のカウントを示すデータ、物体を除去する表示、物体を放棄する表示、及び／又は物体の滞在時間を示すデータ、の１以上を含んでもよい。

全体画像上に図形表示を提示するステップは、全体画像上に、様々な色を有する、移動する幾何学的な形を提示することを含んでもよく、その幾何学的な形は例えば、円、矩形及び／又は三角形のうちの１以上を含む。

全体画像上に図形表示を提示するステップは、全体画像上で、多数の移動物体の少なくとも１つがたどった通り道の地理的な位置に対応する全体画像の位置に、多数の物体の少なくとも１つの判定された動作を追跡する軌跡を提示するステップを含んでもよい。

いくつかの実施形態では、システムが提供される。本システムは、画像データを撮像する複数のカメラ、１以上の表示装置、及び動作を実行するように構成された１以上のプロセッサを含み、その動作は、複数のカメラによって撮像された画像データから多数の移動物体の動作データを判定するステップと、複数のカメラによって監視される領域を示す全体画像上に、１以上の表示装置の少なくとも１つを用いて、多数の移動物体の地理的な位置に対応する全体画像上の位置における多数の物体の判定された動作データの図形表示を提示するステップを含む。１以上のプロセッサは更に、１以上の表示装置の１つを用いて、複数のカメラの１つによって撮像された多数の移動物体の少なくとも１つの図形表示の少なくとも１つを提示する全体画像の領域を、全体画像上に提示された図形表示に基づいて選択することに応じて、複数のカメラの１つからの撮像画像データを提示する動作を実行するように構成される。

本システムの実施形態は、本開示において記載される少なくともいくつかの特徴を含み、本方法に関連して上述された少なくともいくつかの特徴を含む。

いくつかの実施形態では、非一時的なコンピュータ読取り可能な媒体が提供される。コンピュータ読取り可能な媒体は、プロセッサ上で実行可能なコンピュータ命令のセットでプログラムされる。プログラムが実行されると、コンピュータ命令のセットは、複数のカメラによって撮像された画像データから多数の移動物体の動作データを判定するステップと、複数のカメラによって監視される領域を示す全体画像上で、多数の移動物体の地理的な位置に対応する全体画像上の位置に、多数の移動物体の判定された動作データの図形表示を提示するステップを含む動作を実行させる。コンピュータ命令のセットは更に、複数のカメラの１つによって撮像された多数の移動物体の少なくとも１つの図形表示の少なくとも１つを提示する全体画像の領域を、全体画像上に提示される図形表示に基づいて選択することに応じて、複数のカメラの１つからの撮像画像データを提示するステップを含む。

コンピュータ読取り可能な媒体の実施形態は、本開示において記載される少なくともいくつかの特徴を含み、本方法及び本システムに関連して上述された少なくともいくつかの特徴を含んでもよい。

本明細書で用いられる通り、用語「約」は基準値からの＋／−１０％の変動をいう。そのような変動は、特別に言及されるか否かに関わらず本明細書で提供される値に常に含まれることを理解されたい。

本明細書（特許請求の範囲を含む）で用いられる通り、「少なくとも１つの」又は「１以上の」を有する記載事項で用いられる「及び」は、記載事項の任意の組み合わせが用いられてもよいことを示す。例えば、「Ａ、Ｂ及びＣの少なくとも１つ」との記載は、「Ａのみ」、「Ｂのみ」、「Ｃのみ」、「Ａ且つＢ」、「Ａ且つＣ」、「Ｂ且つＣ」又は「Ａ且つＢ且つＣ」のいかなる組み合わせでもよい。更に、Ａ、Ｂ又はＣの項目のそれぞれが１以上発生又は使用可能である限りにおいて、十分な考慮の元、Ａ、Ｂ及び／又はＣを複数使用して組み合わせてもよい。例えば、「Ａ、Ｂ及びＣの少なくとも１つ」の項目は、ＡＡ、ＡＢ、ＡＡＡ、ＢＢ等を含んでもよい。

別段定義されない限り、本明細書で用いられる全ての技術的且つ科学的な用語は本開示が属する技術における通常の知識を有する者によって通常理解されるのと同じ意味を有する。

１以上の実施形態の詳細は、図面及び以下の明細書で述べられる。更なる特徴、側面及び利点は、明細書、図面及び特許請求の範囲から明らかにされる。

カメラネットワークの機能ブロック図である。 実施形態に係るカメラの概念図である。 全体画像を用いたカメラの動作を制御する処理手順の一例のフローチャートである。 多数のカメラによって監視される領域の全体画像の写真である。 全体画像及び全体画像の少なくとも一部の撮像画像である。 移動物体を識別してそれらの動作及び／又は他の特徴を判定する処理手順の一例のフローチャートである。 実施形態に係るカメラ較正処理手順のフローチャートである。 撮像画像である。 図７Ａの画像を撮像したカメラの較正動作を容易にする、選択された較正点を有する全体俯瞰画像である。 一般的な計算システムの概念図である。

様々な図面内の類似の参照符号は、類似の要素を示す。

方法、システム、装置、デバイス、製品及び他の実施形態がここに開示され、複数のカメラによって撮像された画像データから、多数の移動物体の動作データを判定するステップと、複数のカメラによって監視される場所を示す全体画像上で、多数の移動物体の地理的な位置に対応する全体画像での位置に、多数の物体の判定された動作データの図形動作データアイテム（図形表示ともいう）を提示するステップとを含む方法も開示される。本方法は更に、複数のカメラの１つによって撮像された（１つに現れる）多数の移動物体の少なくとも１つの図形表示（図形動作データアイテムともいう）の少なくとも１つを提示する全体画像の領域を、全体画像に提示される図形表示に基づいて選択することに応じて、複数のカメラの１つからの撮像画像データを提示する。

全体画像（例えば、地図、場所の俯瞰画像等）での多数の物体の動作データを提示することを可能にするように構成された実施形態は、全体画像に対してカメラを較正する（例えば、全体画像におけるどの位置が、カメラによって撮像された画像における位置に対応するかを判定する）実施形態及び技術を含み、カメラネットワークのカメラによって撮像された画像から、移動物体を識別し追跡する実施形態及び技術を含む。

［システム構成及びカメラ制御動作］
一般に、カメラネットワークにおける各カメラは、関連する視野角及び視野を有する。視野角は、カメラが見る、物理的な領域の位置及び景色に関する。視野は、カメラによってフレームに撮像される物理的な領域に関する。デジタル信号プロセッサのようなプロセッサを有するカメラは、フレームを処理して、移動物体が視野内に存在するか否かを判定する。いくつかの実施形態では、カメラは、メタデータを、移動物体（簡略に、「物体」とする）の画像に関連付ける。そのようなメタデータは、物体の様々な特徴を画定して示す。例えば、メタデータは、カメラの視野内の物体の位置（例えば、カメラのＣＣＤの画素で測定される二次元座標系内）、物体の画像の幅（例えば、画素で測定される）、物体の画像が動く方向、物体の画像の速度、物体の色及び／又は物体の範疇を示す。いくつかの情報が、物体の画像と関連付けられたメタデータに存在しうる。メタデータには、他のタイプの情報が含まれうる。物体の範疇は、物体の他の特徴に基づいて物体が含まれると判定された範疇に関する。例えば範疇は、人間、動物、車両、軽トラック、大型トラック及び／又はＲＶ車を含む。物体の範疇の判定は、例えば、形態素解析、ニューラルネット分類及び／又は物体を識別するための他の画像処理技術／画像処理手順等の技術を用いて実行される。移動物体を伴う事象（イベント）に関するメタデータは、カメラによってホストコンピュータシステムへ送信される（又はそのような事象の判定は遠隔で行われてもよい）。そのような事象メタデータは、例えば、カメラの視野に入る物体、カメラの視野から出る物体、妨害されるカメラ、閾値時間よりも長くカメラの視野に留まる物体（例えば、何らかの閾値時間よりも長い間、領域をぶらつく場合）、合体する多数の移動物体（例えば、動く車に走って飛び乗る人）、多数の移動物体に分裂する動く物体（例えば、車から降りる人）、関心領域に入る物体（例えば、物体の動作を監視するのが望ましい所定領域）、所定の地域を出る物体、仕掛け線を横切る物体、地域又は仕掛け線のある所定の禁止された方向に一致する方向に動く物体のカウント、物体の除去（例えば、物体が所定時間よりも長い間静止／動かず、その大きさが所定の領域の大きい部分よりも大きい場合）、物体の放棄（例えば、物体が所定時間よりも長い間静止し、その大きさが所定の領域の大きい部分よりも小さい場合）及び静止計時装置（例えば、物体が特定の静止時間よりも長い間所定の領域において静止しているか微小に動いている場合）である。

複数のカメラの各々は、ホストコンピュータシステムへそれぞれのカメラの視野において現れる物体（例えば、移動物体）の動作及び他の特徴を示すデータを送信し、及び／又はホストコンピュータシステムへ配信動画のフレーム（場合によっては圧縮される）を送信する。多数のカメラから受信された物体の動作及び／又は他の特徴を示すデータを用いて、ホストコンピュータシステムは、単一の全体画像でカメラによって撮像された画像（例えば、地図、カメラによって扱われる全体領域の俯瞰画像等）内に現れる物体の動作データを提示するように構成され、単一の全体画像で複数の物体の動作（物体相互の相対的な動作を含む）の図形表示をユーザが見ることを可能にする。ホストコンピュータは、ユーザが、その全体画像から領域を選択し、その領域の画像を撮像するカメラから配信動画を受信することを可能にする。

いくつかの実施形態では、動作を示すデータ（及び物体の他の特徴）は、他の機能及び動作を実行するためにホストコンピュータによって用いられる。例えば、いくつかの実施形態では、ホストコンピュータシステムは、異なるカメラの視野において（同時又は非同時に）現れる移動物体の画像が同じ物体を示すかどうかを判定するように構成される。ユーザがこの物体を追跡すべきと特定する場合、ホストコンピュータシステムは、ユーザに対し、物体の好ましいビューを有すると判定されたカメラからの配信動画のフレームを表示する。物体が動くにつれて、他のカメラが好ましいビューを有すると判定された場合は、その異なるカメラからの配信動画のフレームが表示される。それ故、追跡すべき物体をユーザが一旦選択すると、ユーザに対して表示される配信動画は、あるカメラから他のカメラへ、ホストコンピュータシステムによってどのカメラが物体の好ましいビューを撮像すると判定されたかに基づいて切り替わる。多数のカメラの視野にまたがるこのような追跡は、実時間で、すなわち追跡される物体が配信動画に表示される位置にほぼ実在するように実行される。この追跡は、過去のある時点での物体の動作を示す保存された配信動画を参照して、配信動画の履歴を用いて実行されうる。そのような更なる機能や動作に関する追加の詳細は、例えば、米国特許出願番号１２／９８２，１３８号、発明の名称「カメラネットワークを用いた動く物体の追跡（Tracking Moving Objects Using a Camera Network）」、出願日２０１０年１２月３０日に開示され、その内容の全体は参照によってここに組み入れる。

図１Ａは、セキュリティカメラネットワーク１００のブロック図である。セキュリティカメラネットワーク１００は、同一の又は異なるタイプの複数のカメラを含む。例えば、いくつかの実施形態では、カメラネットワーク１００は、１以上の定位置カメラ（例えば、カメラ１１０及び１２０）、１以上のＰＴＺカメラ１３０（パン・チルト・ズーム）、１以上のスレーブカメラ１４０（例えば、いかなる画像／映像分析もその場で実行しないが、代わりに遠隔サーバ等の遠隔装置へ画像／フレームを送信するカメラ）を含む。様々なタイプの、より多くの又は少ないカメラ（図１に例示するカメラの１つに限らない）が、カメラネットワーク１００に配置されてもよく、カメラネットワーク１００は、０、１又はそれ以上の数の各タイプのカメラを備えてもよい。例えば、セキュリティカメラネットワークは、５つの定位置カメラのみを含んで他のタイプのカメラを含まない。他の一例では、セキュリティカメラネットワークは、３つの定位置カメラ、３つのＰＴＺカメラ及び１つのスレーブカメラを備えてもよい。以下でより詳細に記載されるように、いくつかの実施形態では各カメラは共に用いる補助カメラと関連付けられてもよく、その補助カメラはその属性（例えば、空間位置、ズーム等）を調節して、関連付けられた「主」カメラによって検出された特定の特徴についての追加の詳細を得て、主カメラの属性が変更されなくてもよいようにする。

セキュリティカメラネットワーク１００は、ルータ１５０をも含む。定位置カメラ１１０及び１２０、ＰＴＺカメラ１３０及びスレーブカメラ１４０は、有線接続（例えば、ＬＡＮ接続）又は無線接続を用いてルータ１５０と通信する。ルータ１５０は、ホストコンピュータシステム１６０のようなコンピュータシステムと通信する。ルータ１５０は、ローカルエリアネットワーク通信のような有線通信又は無線通信を用いて、ホストコンピュータシステム１６０と通信する。いくつかの実施形態では、カメラ１１０、１２０、１３０及び／又は１４０のうちの１以上は、例えば、トランシーバ又は何らかの他の通信装置を用いてホストコンピュータシステム１６０へデータ（映像及び／又は、メタデータのような他のデータ）を直接送信する。いくつかの実施形態では、コンピュータシステムは分散型コンピュータシステムであってもよい。

定位置カメラ１１０及び１２０は、例えば、建物の軒天に取り付けられる等によって定位置に設置され、その建物の非常口の配信動画を撮像してもよい。そのような定位置カメラの視野は、なんらかの外力によって移動され又は調節されない限り、変化せずそのままである。図１Ａに示すように、定位置カメラ１１０は、デジタル信号プロセッサ（ＤＳＰ）のようなプロセッサ１１２及び／又は映像圧縮器１１４を含む。定位置カメラ１１０の視野のフレームが定位置カメラ１１０によって撮像されると、これらのフレームはデジタル信号プロセッサ１１２又は汎用プロセッサによって処理される（例えば、１以上の移動物体が存在するかどうかを判定し、及び／又は他の機能及び動作を実行する）。

より一般には、図１Ｂが示す通り、実施形態に係るカメラ１７０（映像源ともいう）の概念図が例示される。カメラ１７０の構成は、図１Ａに示すカメラ１１０、１２０、１３０及び／又は１４０の少なくとも１つの構成と類似する（カメラ１１０、１２０、１３０及び／又は１４０の各々はそれぞれに特有の特徴を有していてもよいが、例えば、ＰＴＺカメラを空間的にずらして、それによって撮像される画像のパラメータを制御することができる）。カメラ１７０は概して、撮像部１７２（ときとして映像源装置の「カメラ」ともいう）を含み、撮像部１７２は、生画像／映像データをカメラ１７０のプロセッサ１７４へ提供するように構成される。撮像部１７２は、電荷結合素子（ＣＣＤ）を基礎とした撮像部でもよいし、他の適切な技術を基礎にしてもよい。撮像部に電気的に接続されるプロセッサ１７４は、任意のタイプの処理部及びメモリを含む。更に、プロセッサ１７４を、定位置カメラ１１０のプロセッサ１１２及び映像圧縮器１１４の代わりに又はそれらに加えて用いてもよい。いくつかの実施形態では、プロセッサ１７４は例えば、撮像部１７２によって提供される生映像データを、デジタル映像形式（例えば、ＭＰＥＧ）へと圧縮するように構成してもよい。いくつかの実施形態では、そして以下で明確であるように、プロセッサ１７４はまた、物体識別及び動作判定の処理の少なくともいくつかを実行するように構成される。プロセッサ１７４はまた、データ修正、データのパケット化、メタデータ生成等を実行するように構成される。結果として生じる処理データ（例えば、圧縮された映像データ、物体及び／又はその動作を示すデータ（例えば、撮像された生データにおいて識別可能な特徴を示すメタデータ））は、例えば、通信デバイス１７６に提供（ストリーム）され、通信デバイス１７６は例えば、ネットワークデバイス、モデム、無線インタフェース、様々なトランシーバタイプ等であってよい。ストリームされるデータは、例えばホストコンピュータシステム１６０への送信のために、ルータ１５０に送信される。いくつかの実施形態では、通信デバイス１７６は、ルータ１５０へデータをまず送信する必要なく、システム１６０へ直接データを送信してよい。撮像部１７２、プロセッサ１７４及び通信デバイス１７６は別々のユニット／装置として示されているが、それらの機能は、例示されるような３つの別々のユニット／装置よりかはむしろ単一又は２つの装置として提供される。

いくつかの実施形態では、シーン分析処理手順が撮像部１７２、プロセッサ１７４及び／又は遠隔のワークステーションにおいて実装されてカメラ１７０の視野における様相や事象を検出してもよい（例えば、監視されるシーンにおいて物体を検出し追跡する）。シーン分析処理がカメラ１７０によって実行される状況では、撮像された映像データから識別され判定された事象及び物体についてのデータは、メタデータとして送信される、又は物体の動作、行動及び特性を示すデータを含むなんらかの他のデータ形式を用いて（映像データを送信して又は送信せずに）、ホストコンピュータシステム１６０に送信される。カメラの視野における物体の行動、動作及び特性を示すそのようなデータは、例えば、仕掛け線を横切る人物の検出や赤い車両の検出等を含む。述べたように、代替的及び／又は追加的に、映像データは処理のためにホストコンピュータシステム１６０へストリームされ、ホストコンピュータシステム１６０において少なくとも部分的に分析が実行される。

更に、カメラ１７０のようなカメラによって撮像されたシーンの画像／映像データにおいて、１つ以上の移動物体が存在するか否かを判定するために、撮像データで処理が実行される。１つ以上の物体の存在及び／又は動作及び他の特徴を判定する画像／映像処理の例は、例えば、米国特許出願番号１２／９８２，６０１号、発明の名称「記録された映像のサーチ（Searching Recorded Video）」に開示され、その内容の全体は参照によってここに組み入れる。以下で更に詳細に記載されるように、いくつかの実施形態では、ガウス混合モデルが用いられ、移動物体の画像を含む前景を、静止物体（例えば、木、建物及び道路）を含む背景から分離する。そしてこれらの移動物体の画像は、移動物体の画像の様々な特徴を識別するように処理される。

述べたように、カメラによって撮像された画像に基づいて生成されたデータは、例えば、特性についての情報（例えば、物体の位置、物体の高さ、物体の幅、物体が動く方向、物体が動く速度、物体の色及び／又は物体のカテゴリ分類）を含んでもよい。

例えば、物体の位置は、メタデータとして示されるが、複数のカメラの１つと関連付けられた二次元の座標系における二次元座標として表現される。それ故、これら二次元座標は、特定のカメラによって撮像されたフレームにおいて物体を構成する画素群の位置に関連付けられる。物体の二次元座標はカメラによって撮像されたフレーム内の点であってもよい。いくつかの構成では、物体の位置の座標は、物体の最下部の中央であるとみなす（例えば、物体が立っている人物であるとき、その位置は人物の両足の間である）。二次元座標は、ｘ成分及びｙ成分を有する。いくつかの構成では、ｘ成分及びｙ成分は画素の数で測る。例えば、位置（６１３、４２７）は、物体の最下部の中央が、カメラの視野のｘ軸方向に６１３画素且つｙ軸方向に４２７画素の位置にあることを意味する。物体が動くに連れて、物体の位置に関連付けられた座標は変化する。更に、同じ物体が１つ以上の他のカメラの視野において見える場合、他のカメラによって判定される物体の座標の位置はおそらく異なると考えられる。

物体の高さは、例えば、メタデータを用いて表され、画素の数で表現される。物体の高さは、物体を構成する画素群の底部から物体の画素群の頂部までの画素の数で定義される。従って、物体が特定のカメラに近い場合、測定される高さは、物体がカメラからより遠い場合よりも大きいであろう。同様に、物体の幅も、画素で表現されてもよい。物体の幅は、物体の幅の平均に基づいて判定されてもよいし、物体の画素群において横方向の長さが最も長い箇所に基づいて判定されてもよい。同様に、物体の速度及び方向は、画素で測定する。

図１Ａを引き続き参照すると、いくつかの実施形態では、ホストコンピュータシステム１６０はメタデータサーバ１６２、映像サーバ１６４及びユーザ端末１６６を含む。メタデータサーバ１６２は、ホストコンピュータシステム１６０と通信するカメラから受信されるメタデータ（又はなんらかの他のデータ形式）を受信、格納及び分析するように構成される。映像サーバ１６４は、カメラから圧縮された又は圧縮されない映像を受信し格納してもよい。ユーザ端末１６６によって、例えば警備員等のユーザが、ホストコンピュータシステム１６０と接続し、例えば、多数の物体及びそれらのそれぞれの動作を示すデータアイテムが提示された全体画像から、より詳細にユーザが調べたい領域を選択することが可能となる。ユーザ端末のスクリーン／モニタに提示された全体画像から関心領域の選択を受信するのに応じて、ネットワーク１００において配置された複数のカメラの１つの対応する映像データ及び／又は関連付けられたメタデータは、（複数物体を示すデータアイテムが提示される、提示された全体画像に代えて又は加えて）ユーザに提示される。いくつかの実施形態では、ユーザ端末１６６は、同時に１以上の配信動画をユーザに対して表示することができる。いくつかの実施形態では、メタデータサーバ１６２、映像サーバ１６４及びユーザ端末１６６の機能は、別々のコンピュータシステムによって実行されてもよい。いくつかの実施形態では、そのような機能は、１つのコンピュータシステムによって実行されてもよい。

更に、図２を参照すると、全体画像（例えば、地図）を用いてカメラの動作を制御する一例の処理手順２００が示される。処理手順２００の動作は図３にも記載され、図３は、多数のカメラ（図１Ａ及び１Ｂに記載される任意のカメラに類似してもよい）によって監視される領域の全体画像３００を示す。

処理手順２００は、多数の移動物体の動作データを、複数のカメラによって撮像された画像データから判定するステップＳ２１０を含む。動作データを判定する処理手順の例示の実施形態は、図５に関連して以下でより詳細に記載される。述べた通り、動作データは、カメラ自体によって判定されてもよく、（図１Ｂに記載されたプロセッサのような）ローカルカメラプロセッサは撮像された映像の画像／フレームを処理して、例えば、背景にある移動しない特徴から、フレームにおける移動物体を識別する。いくつかの実施形態では、画像／フレームの処理動作の少なくともいくつかは、図１Ａに記載されるホストコンピュータシステム１６０のような中央コンピュータシステムにおいて実行されてもよい。識別された移動物体の動作を示すデータ及び／又は他の物体の特性（例えば、物体の大きさ、特定の事象を示すデータ等）を示すデータに結果的になる処理されたフレーム／画像は、中央コンピュータシステムによって用いられ、図３の全体画像３００のような全体画像上で、多数の移動物体の地理的な位置に対応する全体画像の位置に、多数の物体の判定された動作データの図形表示を提示／表現する（ステップＳ２２０）。

図３の例では、全体画像は、いくつかの建物を含むキャンパス（「ペルコキャンパス」）の俯瞰画像である。いくつかの実施形態では、カメラ及びそれらのそれぞれの視野の位置は、画像３００内で表現されてよく、従って、ユーザは、配置されたカメラの位置を図形的に見て、ユーザが見たい画像３００の領域の映像ストリームを提供するカメラを選択することが可能である。全体画像３００は、それ故、カメラ３１０ａ−ｇの図形表示（黒い縁の円として表現される）を含み、又、カメラ３１０ａ−ｂ及び３１０ｄ−ｇのそれぞれのおおよその視野の表示を含む。図示の通り、図３の例においてカメラ３１０ｃの視野表示はないが、これはカメラ３１０ｃが現在稼働中でないことを示す。

図３に更に示す通り、多数の移動物体の地理的な位置に対応する全体画像の位置に、多数の物体の判定された動作データの図形表示が提示される。例えば、いくつかの実施形態では、図３に示す軌跡３３０ａ−ｃのような軌道は、カメラによって撮像された画像／映像において存在する少なくともいくつかの物体の動作を表し、全体画像において表現されてもよい。図３には、特定の領域（例えば、立入禁止領域として指定される領域）を画定する所定の領域３４０も示されており、これによって、移動可能な物体によって侵入されたとき、事象検出が起こる。同様に、図３は更に、仕掛け線３５０のような仕掛け線を図形的に表示してもよく、これによって、横切られたとき、事象検出が起こる。

いくつかの実施形態では、多数の物体の少なくともいくつかの判定された動作は、所定時間にわたって、その位置を変える図形表示として全体画像３００上で表示してもよい。例えば、図４を参照すると、撮像された画像４１０及び全体画像４２０（俯瞰画像）の写真を含む図形４００が示され、また、全体画像４２０は、撮像された画像４１０における領域を含む。撮像画像４１０は移動物体４１２つまり車を示す。すなわち、車が識別され、その動作が判定されたことを示す（例えば、本明細書に記載されたような、画像／フレーム処理動作を通して行う）。図形表示（動作データアイテム）４２２は、移動物体４１２の判定された動作データを表し、全体画像４２０上で提示される。図形表示４２２は、この例では、画像／フレーム処理を通して判定された方向に移動する矩形として提示される。矩形４２２は、物体の判定された特性を示す大きさ及び形でよい（例えば、シーン分析及びフレーム処理手順を通して判定された通り、その矩形は車４１２の大きさと比例した大きさを有していてもよい）。図形表示は、例えば、移動物体を示す他の幾何学的な形及び記号（例えば、人や車の記号やアイコン）を含み、及び、特別な図形表示（例えば、異なる色、異なる形、異なる視覚効果及び／又は音声効果）を含み、特定事象（例えば、仕掛け線を横切ること及び／又は本明細書に記載されるような他のタイプの事象）の発生を示してもよい。

対応する移動物体の地理的な位置を実質的に示す全体画像における位置に図形表示を提示するために、カメラを全体画像に対して較正して、それらのカメラによって撮像されたフレーム／画像から識別される移動物体のカメラ座標（位置）が全体画像座標（「世界座標」ともいう）に変換されるようにする必要がある。撮像された映像フレーム／画像から判定された、対応する識別された移動物体の地理的位置に実質的に一致する位置に図形表示（図形移動アイテムともいう）を表現することを可能にする例示的な較正処理手順の詳細が図６に関連して以下に提供される。

図２に戻ると、カメラの１つによって撮像された多数の移動物体の少なくとも１つを示す図形表示の少なくとも１つを有する地図の領域が、全体画像上に提示される図形表示に基づいて選択されるのに応じて、複数のカメラの１つからの撮像された画像／映像データが提示される（ステップＳ２３０）。例えば、ユーザ（例えば、警備員）は、配置された全てのカメラによって監視される領域をひと目で見ることができる代表的なビュー（すなわち、全体画像）を見ることができ、これによって識別された物体の動作を監視することができる。警備員が移動物体（例えば、追跡された軌跡（例えば、赤い曲線として表示される）に対応して移動した移動物体）についてより詳細を得たいときは、警備員は、特定の物体が移動して示される地図上の領域／範囲をクリック又はさもなければ選択し、これによって、ユーザに提示される領域と関連付けられたカメラからの映像ストリームを生じさせる。例えば、全体画像は、碁盤目状の領域／範囲に分割されてもよく、それらの１つが選択されたときに、その選択された領域を撮像するカメラからの映像ストリームを提示させてもよい。いくつかの実施形態では、映像ストリームは、そのカメラのフレームから識別された移動物体の動作がユーザに提示される全体画像と一緒にユーザに提示されてもよい。図４は、例えば、全体画像と一緒に提示された映像フレームを示し、そこにおいて、移動する車の映像フレーム内での移動は、動く矩形として示される。

いくつかの実施形態では、カメラの１つからの撮像画像データを提示することは、全体画像での移動物体に対応する図形表示の選択に応じて実行されてもよい。例えば、ユーザ（例えば、警備員）は、実際の図形移動データアイテム（矩形又は軌跡線のような、動く形でもよい）をクリックして、移動物体が識別された（そして、その動作が判定された）フレーム／画像を撮像するカメラからの映像ストリームをユーザに提示させてもよい。以下でより詳細に記載される通り、いくつかの実施形態では、移動物体及び／又はその動作を示す図形移動アイテムを選択することによって、選択された図形移動アイテムに対応する移動物体が現れるカメラに関連付けられた補助カメラは、移動物体が位置すると判定される場所を拡大して、これによってその物体の追加の詳細を提供してもよい。

［物体識別及び動作判定処理手順］
複数のカメラのうちの少なくとも１つによって撮像された画像／映像の少なくともいくつかからの全体画像（例えば、図３及び図４にそれぞれ示す全体画像３００又は４２０）に提示された物体の識別及びその物体の動作の判定及び追跡は、図５に例示する処理手順５００を用いて実行されてもよい。１つ以上の物体の存在及びそれぞれの動作を判定する画像／映像処理の追加の詳細及び例は、例えば、米国特許出願番号１２／９８２，６０１号、発明の名称「記録された映像のサーチ（Searching Recorded Video）」で提供される。

簡潔には、処理手順５００はネットワークに配置されたカメラの１つ（例えば、図３の例では、カメラは黒い縁の円３１０ａ−ｇを用いて識別される位置に配置される）を用いて映像フレームを撮像するステップＳ５０５を含む。映像フレームを撮像するカメラは、図１Ａ及び１Ｂを参照して本明細書に記載されたカメラ１１０、１２０、１３０、１４０及び／又は１７０のいずれかに類似してもよい。更に、処理手順５００は単一のカメラについて記載されるが、問題となる領域を監視するのに配置された他のカメラを用いて類似の処理手順を実施してもよい。更に、映像フレームは、実時間で映像源から撮像されてもよいし、又は、データ記憶装置から検索されてもよい（例えば、撮像された画像／映像フレームを一時的に格納するバッファをカメラが含む実施形態のときや、以前に撮像されたデータを大量に格納するリポジトリから検索するとき）。処理手順５００は、ガウスモデルを用いて静止した背景画像や意味のない反復動作（例えば、風で動く木）を有する画像を排除して、これによって関心物体からシーンの背景を効果的に取り除いてもよい。いくつかの実施形態では、画像内の各画素の階調強度に対してパラメトリックモデルが発展する。そのようなモデルの一例は、ガウス分布の数値の加重和である。３つのガウシアンの混合を選択した場合、例えば、そのような画素の通常の階調は、６つのパラメータ、すなわち３つの平均値と、３つの標準偏差によって記述される。このように、風でなびく木の枝の動きのような反復的な変化がモデル化される。例えば、いくつかの実装や実施形態では、３つの好適な画素値が画像内のそれぞれの画素に対して保存される。いずれかの画素値がガウスモデルの１つに当てはまると、対応するガウスモデルの確率が高まり、その画素値は移動平均値で更新される。その画素に対して一致するものがない場合、新しいモデルが、混合モデルにおいて最も確率の低いガウスモデルに取って代わる。他のモデルが用いられてもよい。

従って例えば、シーンにおいて物体を検出するために、ガウス混合モデルが（複数の）映像フレームに適用され、ブロック５１０、５２０、５２５及び５３０に特に示すように背景が生成される。このアプローチによって、たとえ背景が混雑しシーンにおいて動作が存在する場合であっても、背景モデルが生成される。ガウス混合モデルは実時間の映像処理にとっては時間がかかり、その計算特性により最適化が難しい。このため、いくつかの実施形態では、最も確率の高い背景のモデルが構築され（ステップＳ５３０）、背景から、セグメントの前景の物体へ適用される（ステップＳ５３５）。いくつかの実施形態では、様々な他の背景構築及びそれに続く処理手順が用いられ、背景シーンを生成する。

いくつかの実施形態では、前述した背景モデルと共に又は独立の背景モデルとして、第２の背景モデルが用いられる。これは例えば、物体検出の正確さを改善し、所定時間ある位置にとどまった後そこから出る（去る）物体によって誤って検出されてしまった物体を除去するために行われる。従って例えば、第１の「短期」背景モデルの後に第２の「長期」背景モデルが適用されうる。長期背景モデルの構築プロセスは、非常に遅い速度で更新されるという点を除いて、短期背景モデルと類似する。すなわち、長期背景モデルの生成は、より多くの映像フレームに基づいて行われ、及び／又はより長期の時間にわたって実行される。物体が短期背景を用いて検出されるが、しかし長期背景からは物体が背景の一部であると判定される場合、検出された物体は誤検出物体（しばらくある場所にとどまってから去った物体）とみなされる。この場合、短期背景モデルの物体領域は、長期背景モデルの物体領域によって更新される。一方、物体が長期背景に現れるがしかし短期背景モデルを用いてフレームを処理するとその背景の一部であると判定された場合、その物体は短期背景に併合される。物体が両方の背景モデルにおいて検出された場合、問題のアイテム／物体が前景の物体である可能性が高い。

従って、述べたように、撮像された画像／フレームに（短期背景モデル又は長期背景モデルを用いて）背景差分動作が適用され（ステップＳ５３５）、前景の画素を抽出する。背景モデルは、セグメント化の結果に従って更新される（ステップＳ５４０）。背景は一般にはすぐには変わらないため、各フレームにおいて、背景モデルを全体画像に更新する必要はない。しかしながら、背景モデルがＮ（Ｎ＞０）フレーム毎に更新される場合、背景の更新を伴うフレームと背景の更新を伴わないフレームとに対する処理速度は全く異なるため、時として誤検出を生じる。この問題を克服するため、背景モデルの一部だけをフレーム毎に更新することで、各フレームに対する処理速度を実質的に同じにして速度の最適化を達成する。

前景の画素は、例えば、画像ブロブや類似画素のグループ等へとグループ化及びラベル付けされ（ステップＳ５４５）、これは例えば、画像に対して適用する非線形のフィルタリング処理手順を含む形態フィルタリングを用いて行う。いくつかの実施形態では、形態フィルタリングは、エロージョンやダイレーションを含んでもよい。エロージョンは一般には、物体の大きさを減少させ、構成要素（例えば、４近傍又は８近傍）よりも小さい半径を有する物体を取り除くことによって小さなノイズを除去する。ダイレーションは一般には、物体を大きくし、穴や断続的な領域を埋め、構成要素の大きさよりも小さい空所によって分断された複数の領域を連結する。結果として生じる画像ブロブは、フレームにおいて検出された移動可能物体を示してもよい。従って、例えば、形態フィルタリングは、例えば画像内に散っている単一の画素で構成される「物体」又は「ブロブ」を除去するのに用いられてもよい。他の動作として、更に大きいブロブの境界をならしてもよい。このように、ノイズが除去され、物体の誤検出の数が減る。

図５に更に示すように、セグメント化された画像／フレームにおいて存在する反射は、検出され映像フレームから除去される。セグメント化エラーによる小さな画像ブロブノイズを除去するために、そしてシーンにおいてその大きさに従って認定物体を発見するために、例えばシーン較正方法が用いられてブロブの大きさを検出してもよい。シーン較正としては、パースペクティブグランドプレーン（perspective ground plane）モデルが考えられる。例えば、認定オブジェクトは、グランドプレーンモデルにおいて、閾値高さ（例えば、最小の高さ）よりも高くなければならず、閾値幅（例えば、最大の幅）よりも狭くなければならない。グランドプレーンモデルは、異なる縦位置における平面上の２つの平行な線分の指示を通して計算される。ここで２つの線分は、グランドプレーンの消失点（遠近法において、平行線が収束する点）の現実世界での長さと同じ長さを有していなければならず、これによって実際の物体の大きさが消失点に対する位置に従って計算される。ブロブの最大又は最小の幅又は高さは、シーンの下部で規定される。検出された画像ブロブの正規化された幅又は高さが最小の幅又は高さより小さい場合、又はその正規化された幅又は高さが最大の幅又は高さよりも大きい場合、その画像ブロブは捨てられる。このように、セグメント化されたフレームから、反射及び陰影が検出されて除去される（ステップＳ５５０）。

反射検出及び除去は、陰影除去の前又は後に行われる。例えば、いくつかの実施形態では、起こる可能性のある反射を除去するために、全体のシーンの画素数に対する前景の画素の割合が高いか否かの判定がまず実行される。前景の画素の割合が閾値よりも高い場合、次のことが起こりうる。反射及び陰影除去の追加の詳細が、米国特許出願番号１２／９８２，６０１、発明の名称「記録された映像のサーチ（Searching Recorded Video）」で開示される。

検出された画像ブロブに一致し得る最新物体がない場合（例えば、現在追跡中の、以前に識別された物体）、その画像ブロブに対して新しい物体が生成される。さもなければ、画像ブロブは存在する物体にマッピングされ又は一致する。一般に、新しく生成された物体は、所定時間、シーンに現れるまで更には処理されず、少なくとも最小距離を移動する。このように、多くの誤検出物体は放棄される。

関心物体（例えば、人、車のような移動物体等）を識別するための他の処理手順及び技術が用いられてもよい。

識別された物体（例えば、上述の処理手順又は任意の他の物体識別処理手順を用いて識別される）は追跡される。物体を追跡するために、シーン内の物体は分類される（ステップＳ５６０）。物体は、例えば物体に関連付けられたアスペクト比、物理的な大きさ、縦方向の輪郭、姿及び／又は他の特性に従って、他の車や人から区別可能な人又は車として分類される。例えば、物体の縦方向の輪郭は、物体領域における前景の画素の頂点の画素の、縦方向の座標への一次元投影として規定されてもよい。この縦方向の輪郭は、まず低域通過フィルタでフィルタされる。較正された物体の大きさから分類結果を精緻化する。というのも、１人の人間の大きさは、常に１台の車の大きさよりも小さいからである。

人及び車の群は、それらの形態の違いから分類される。例えば、画素での人の幅の大きさは、その物体の位置で判定される。幅の一部は、縦方向の輪郭に沿った山と谷で検出される。物体の幅が人の幅よりも大きく、１以上の山が物体で検出された場合、その物体は車ではなく人の群に対応すると考えられる。更に、いくつかの実施形態では、物体のサム（例えば、サムネイル画像）に対する離散コサイン変換（ＤＣＴ）又は他の変換（例えば、離散サイン変換、ウォルシュ変換、アダマール変換、高速フーリエ変換、ウェーブレット変換等）に基づいた色記述が適用され、検出された物体の色の特徴（量子化変換係数）が抽出される。

図５に更に示す通り、処理手順５００は事象検出動作（ステップＳ５７０）を含む。ブロック１７０で検出される事象のサンプルリストは、次の事象を含む。ｉ）物体がシーンに入る、ｉｉ）物体がシーンから出る、ｉｉｉ）カメラが妨害される、ｉｖ）物体はまだシーンにいる、ｖ）物体が合体する、ｖｉ）物体が分裂する、ｖｉｉ）物体が所定の領域に入る、ｖｉｉｉ）物体が所定の領域（例えば、図３に示す所定の領域３４０）から出る、ｉｘ）物体が仕掛け線（例えば、図３に示す仕掛け線３５０）を横切る、ｘ）物体が除去される、ｘｉ）物体が放棄される、ｘｉｉ）物体が、ある領域又は仕掛け線がある所定の禁止された方向に一致する方向に移動する、ｘｉｉ）物体をカウントする、ｘｉｖ）物体除去（例えば、物体が所定時間よりも長い間静止しその大きさが所定の領域の大きい部分よりも大きいとき）、ｘｖ）物体は放棄される（例えば、物体が所定の時間よりも長い間静止し、その大きさが所定の領域の大きい部分よりも小さいとき）、ｘｖｉ）休止時間を計算する（例えば、特定の休止時間よりも長い所定時間の間、物体が静止し又は微小に移動するとき）、ｘｖｉｉ）物体がぶらつく（例えば、物体が特定の休止時間よりも長い所定時間の間、所定の領域にいる）。他の事象のタイプが規定され、画像／フレームから判定された活動分類において用いられてもよい。

記載した通り、いくつかの実施形態では、識別された物体、物体の動作等を示すデータはメタデータとして生成されてもよい。このように、処理手順５００は、追跡される物体の動作から、又はその追跡に起因する事象から、メタデータを生成するステップＳ５８０を含む。生成されたメタデータは、物体情報と検出された事象とを結合させる、表現が統一された記述を含む。物体は、例えば位置、色、大きさ、アスペクト比等によって記述される。物体は、対応する物体識別子及びタイムスタンプを有する事象と関連付けられてもよい。いくつかの実施形態では、事象はルールプロセッサを通して生成されてもよく、ルールプロセッサは、どのような物体情報及び事象が映像フレームに関連付けられたメタデータで提供されるべきかをシーン分析処理手順が判定することを可能にするように規定されたルールを有する。そのルールは、任意の数の方法（例えば、システムを構成するシステム管理者によって、システムにおいて１以上のカメラを再構成することを許可されたユーザによって、等）で確立されてもよい。

図５に示す処理手順５００が非限定的な例であり、変形可能である（例えば、動作を追加、除去、再配置及び／又は並行処理する）ことに留意されたい。いくつかの実施形態では、処理手順５００は、例えば図１Ｂに示す映像源（例えば、撮像ユニット）内に含まれる又は映像源に連結されたプロセッサで実行されるように実装することができ、及び／又はホストコンピュータシステム１６０のようなサーバで（全部又は一部を）実行されてもよい。いくつかの実施形態では、処理手順５００は実時間で、映像データ上で動作する。つまり、映像フレームが撮像されると、処理手順５００は、映像フレームが映像源によって撮像されるのと同じくらい速く又はそれよりも速く、物体を識別し及び／又は物体事象を検出することができる。

［カメラ較正］
述べた通り、複数カメラから抽出された図形表示（例えば、軌跡又は移動アイコン／記号）を単一の全体画像（又は地図）に提示するために、各カメラを全体画像で較正する必要がある。全体画像に対するカメラの較正によって、カメラに対して特定された位置／座標（いわゆる、カメラ座標）において、それら様々なカメラによって撮像されたフレームにおいて現れる識別された移動物体は、その様々なカメラの任意の座標系の全体画像とは異なる座標系（いわゆる、地図座標）の全体画像における適切な位置に提示／表現される。全体画像に対するカメラの較正では、カメラの座標系と全体画像の画素位置との間の座標変換を行う。

図６は、一例の較正処理手順６００の実施形態を示す。全体画像（例えば、図３の全体画像３００のような俯瞰図）に対して１つのカメラの較正を実行するために、較正されるカメラによって撮像されたフレームに現れる１以上の位置（較正点ともいう）が選択される（ステップＳ６１０）。例えば、特定のカメラからの撮像画像７００である図７Ａについて検討する。図７Ｂに示す全体画像のシステム座標（世界座標ともいう）が既知で、その全体画像上の小さな領域が、較正されるカメラによって撮像されるとする。較正されるカメラによって撮像されるフレームにおける選択点（較正点）に対応する全体画像中の点が識別される（ステップＳ６２０）。図７Ａの例では、９つの点（１から９の数字が付される）が識別される。一般に、選択点は撮像画像における静止した特徴（例えば、ベンチ、縁石、画像中の様々な他の陸標等）に対応する点である必要がある。更に、全体画像からの選択点に対する、全体画像中の対応点は、容易に識別可能である必要がある。いくつかの実施形態では、カメラの撮像画像中の点の選択及びその全体画像における対応点は、ユーザによって手動で選択される。いくつかの実施形態では、その画像中で選択された点及びその全体画像における対応点は、画素座標で提供されてもよい。しかしながら、較正処理で用いられる点は、地理的な座標（例えば、メートル又はフィートのような距離の単位）で提供されてもよく、いくつかの実施形態では、撮像画像の座標系は画素で提供されて全体画像の座標系は地理的な座標で提供されてもよい。後者の実施形態では、実行される座標変換は画素から地理的な単位への変換である。

カメラ座標系と全体画像の座標系の間の座標変換を判定するために、いくつかの実施形態では、二次元の線形パラメータモデルが用いられる。このモデルの予測係数（つまり、座標変換係数）は、カメラの座標系における選択位置（較正点）の座標に基づいて及び全体画像における対応する識別された位置の座標に基づいて計算される（ステップＳ６３０）。このパラメータモデルは、以下の一次の二次元線形モデルであってよい。
（等式１）
（等式２）
ここでｘ_Ｐ及びｙ_Ｐは、（全体画像における選択位置に対してユーザによって決定される）特定の位置の現実世界座標であり、ｘ_ｃ及びｙ_ｃは、その特定の位置（全体画像に対して較正されるカメラによって撮像された画像から、ユーザによって決定された位置）に対応するカメラ座標である。α及びβパラメータは、値を求めるべきパラメータである。

予測係数の計算を容易にするために、等式１及び等式２の右辺の項を二乗することによって、二次の二次元モデルが一次モデルから導出される。二次モデルは一般には一次モデルよりも頑健であり、一般にはノイズの多い測定の影響を受けにくい。二次モデルにおいては、パラメータ設計及び判定においてより自由度が大きくなり得る。また、いくつかの実施形態では、二次モデルはカメラの放射状の歪みを補うことができる。二次モデルは以下のように表現できる。
（等式３）
（等式４）

上記２つの式を掛けあわせて多項式にすると、９つの予測係数が出る（つまり、ｘ−ｙカメラ座標の９つの係数で全体画像における世界座標のｘの値を表現し、ｘ−ｙカメラ座標の９つの係数で世界座標のｙの値を表現する）。９つの予測係数は以下のように表すことができる。
（等式５）
（等式６）

上記の行列式において、パラメータα_２２は、（ｘ_ｃ１ｙ_ｃ１）がカメラ画像内で選択された第１の位置（点）でのｘ−ｙカメラ座標である場合に、項ｘ² _ｃｌｙ² _ｃｌを（等式３の項が掛けられたときに）掛ける項α² _ｘｘα² _ｘｙに対応する。

全体画像における対応する位置の世界座標は、以下に表す行列Ｐとして表現される。
（等式７）

行列Ａ及びその関連付けられた予測パラメータは、以下に係る最小二乗解により判定される。
（等式８）

カメラネットワーク（例えば、図１Ａのネットワーク１００又は図３に示すカメラ３１０ａ−ｇ）に配置される各カメラは、類似した方法で較正され、カメラのそれぞれの座標変換（つまり、カメラのそれぞれのＡ行列）を判定する必要がある。その後、特定のカメラで撮像されたフレームに現れる特定の物体の位置を判定するために、カメラの対応する座標変換がそのカメラに対する物体の位置座標に適用され、結果として全体画像における物体の対応位置（座標）が判定される。全体画像における、計算され変換された物体の座標は、次に、全体画像における適切な位置に物体（及びその動作）を示す。

等式１−８に関連して記載した上述の較正処理手順に代えて又は加えて、他の較正技術が用いられてもよい。

［補助カメラ］
カメラの較正に伴う計算処理が多く、そして、インタラクション及び時間がユーザに要求されるため（例えば、撮像画像における適切な点を選択すること）、カメラの頻繁な再較正を避けることが望ましい。しかしながら、カメラの属性が変更されるたびに（例えば、カメラが空間的に離間する場合、カメラのズームが変わった場合等）、新たなカメラの座標系と全体画像の座標系との間の新しい座標変換が計算される必要がある。いくつかの実施形態では、ユーザは、全体画像に提示されるデータに基づいた映像ストリームを受信する（つまり、選択されたカメラによって監視されるオブジェクトの生配信ビデオを取得すること）先の特定のカメラを選択（又は特定のカメラによって監視される全体画像から領域を選択）した後、追跡物体を拡大することを望むことがある。しかしながら、物体を拡大する、さもなければカメラを調整することは、異なるカメラ座標系を用いることを必要とする。従って、そのカメラからの物体動作データが全体画像にほぼ正確に示されるには新しい座標変換が計算されなくてはならない。

従って、いくつかの実施形態では、（様々なカメラによって識別される物体の動作が単一の全体画像で提示され追跡されるように、）移動物体を識別し物体の動作を判定するのに用いられる少なくともいくつかのカメラは、それぞれ主カメラに近接して配置される対とする補助カメラと一致する。そして、補助カメラは、主（マスタ）カメラと類似した視野を有する。いくつかの実施形態では、用いられる主カメラは、それ故に定位置カメラであり（ずらすこと又は属性を調整することができるが、監視する領域を一定に保つカメラを含む）、一方では補助カメラは視野を調整することができるカメラ、例えばＰＴＺカメラであってよい。

補助カメラは、いくつかの実施形態において、その主（マスタ）カメラのみで較正されるが、全体画像の座標系に対して較正されなくてもよい。そのような較正は、補助カメラの初期の視野について実行される。カメラが選択され映像ストリームを提供するとき、ユーザは次に、追加の詳細を取得したいと望む領域又は特徴を選択することができる（例えば、選択される領域／特徴が提示されるモニタのエリアをマウスでクリックする又はポインティングデバイスを用いることによって行う）。結果として、関心のある特徴又は関心領域が位置する画像であって選択された主カメラに関連付けられた補助カメラによって撮像された画像の座標が判定される。この判定は、例えば、主カメラによって撮像された画像からの選択された特徴及び／又は領域の座標に座標変換を適用して、対となる補助カメラによって撮像された画像に現れる特徴及び／又は領域の座標を計算することによって実行される。主カメラとその補助カメラとの間で座標変換を適用することによって、補助カメラに対して、選択された特徴及び／又は領域の位置が判定される。このため、主カメラの位置を変更する必要がなく、補助カメラは自動的に又はユーザからの追加の入力によって、選択された特徴及び／又は領域の異なるビューに焦点を当て又はさもなければその異なるビューを得ることができる。例えば、いくつかの実施形態では、移動物体及び／又はその動作を示す図形移動アイテムを選択することによって、選択された図形移動アイテムに対応する移動物体が現れるカメラに関連付けられた補助カメラは、その移動物体が位置すると判定される場所を自動的に拡大して、これによってその物体の追加の詳細を提供してもよい。特に、主カメラの座標系において拡大される移動物体の位置は既知であるので、主カメラからその補助カメラへの較正に由来する座標変換は、その物体の補助カメラ座標を提供することができる。これによって、補助カメラは、その移動物体の判定された補助カメラ座標に対応する視野の領域を自動的に拡大することができる。いくつかの実施形態では、ユーザ（例えば、警備員や技術者）は、ユーザインタフェースを通して適切な選択及び調整を行うことによって、補助カメラの拡大を容易にしてもよく、さもなければ、補助カメラの属性を調整してもよい。そのようなユーザインタフェースは、表示装置上に提示されるグラフィカルユーザインタフェースであってもよく（全体画像が提示される装置と同一の又は異なる装置）、グラフィカルな制御アイテム（例えば、ボタン、バー等）を含んで、例えば、特定の領域又は移動物体についての追加の詳細を提供する（複数の）補助カメラのチルト、パン、ズーム、ディスプレイスメント及び他の属性を制御してもよい。

主及び／又は補助カメラによって取得された画像をユーザが見るのを終えたとき、及び／又は何らかの所定の時間が経過したあと、補助カメラは、いくつかの実施形態では、その初期位置に戻ってもよい。これによって、選択された特徴及び／又は領域に焦点を当てるように調整された後に、補助カメラによって撮像された新しい視野のために主カメラに対して補助カメラを再較正する必要がなくなる。

主カメラを用いて補助カメラを再較正することは、いくつかの実施形態では、図６に関連して記載される通り、全体画像を撮像するカメラを較正するのに用いるのと類似した処理手順を用いて実行されてもよい。そのような実施形態では、カメラの１つで撮像された画像においていくつかの点が選択され、他のカメラで撮像された画像において対応する点が識別される。２つの画像において識別された一致する較正点を選択すると、二次（又は一次）の二次元予想モデルが構築され、２つのカメラの間での座標変換が行われる。

いくつかの実施形態では、他の較正技術／処理手順が用いられて補助カメラに対して主カメラを較正してもよい。例えば、いくつかの実施形態では、米国特許出願番号１２／９８２，１３８、発明の名称「カメラネットワークを用いた移動物体の追跡（Tracking Moving Objects Using a Camera Network）」に記載されたものと類似の較正技術が用いられてもよい。

［プロセッサベースの計算システムの実施形態］
本明細書に記載された映像／画像処理動作の実行においては、移動物体を検出し、全体画像での移動物体の動作を示すデータを提示し、全体画像の選択された領域に対応する、カメラからの映像ストリームを提示し、及び／又はカメラを較正することが含まれる。この実行は、プロセッサベースの計算システム（又はそれの何らかの部分）によって容易になる。また、本明細書に記載された任意のプロセッサベースの装置は、例えば、ホストコンピュータシステム１６０及び／又はそのモジュール／ユニットの任意の１つやネットワーク１００の任意のカメラの任意のプロセッサ等を含み、図８に関連して記載されるようなプロセッサベースの計算システムを用いて実装されてもよい。図８は一般的な計算システム８００の概念図を示す。計算システム８００はパーソナルコンピュータ、専用計算装置等のような、典型的には中央処理ユニットを含むプロセッサベースの装置８１０を含む。ＣＰＵ８１２に加えて、システムは主メモリ、キャッシュメモリ及び／又はバスインタフェース回路（図示せず）を含む。プロセッサベースの装置８１０は、計算システムに関連付けられたハードディスクドライブ又はフラッシュドライブのような大容量記憶装置を含む。計算システム８００は更に、キーボード、キーパッド又は何らかの他のユーザ入力インタフェース８１６とモニタ８２０（例えば、ＣＲＴ（ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニタ）（例えば、図１Ａのホストコンピュータシステム１６０のモニタ）を含んでもよく、それらはユーザがアクセス可能な位置に配置されてもよい。

プロセッサベースの装置８１０は、例えば、移動物体を検出し、全体画像上での移動物体の動作を示すデータを提示し、全体画像の選択された領域に対応する、カメラからの映像ストリームを提示し、カメラを較正すること等の動作の実装を容易にするように構成される。記憶装置（ストレージ）８１４はコンピュータプログラムプロダクトを含んでもよく、コンピュータプログラムプロダクトは、プロセッサベースの装置８１０上で実行されるとそのプロセッサベースの装置に動作を実行させて上述した処理手順を実行するのを容易にさせる。プロセッサベースの装置は更に、周辺装置を含んで入力／出力の機能を実現してもよい。そのような周辺装置は、例えば、ＣＤ−ＲＯＭドライブ及び／又はフラッシュドライブ（例えば、取り外し可能なフラッシュドライブ）又はネットワーク接続を含んで、接続されたシステムへ関連コンテンツをダウンロードさせてもよい。そのような周辺装置は、それぞれのシステム／装置の一般動作を実現するソフトウェアコンピュータ命令をダウンロードするのに用いられてもよい。代替的に及び／又は追加的に、いくつかの実施形態では、専用論理回路（例えば、ＦＰＧＡ（フィールドプログラママブルゲートアレイ）、ＡＳＩＣ（特定用途集積回路）、ＤＳＰプロセッサ等）がシステム８００の実施形態で用いられてもよい。プロセッサベースの装置８１０に含まれる他のモジュールは、スピーカ、サウンドカード、ポインティングデバイス（例えば、ユーザが計算システム８００に入力を行うマウス、トラックボール）である。プロセッサベースの装置８１０は、オペレーティングシステム（例えば、ウィンドウズＸＰ（登録商標）マイクロソフト社オペレーティングシステム）を含んでもよい。代替的に、他のオペレーティングシステムが用いられてもよい。

コンピュータプログラム（プログラム、ソフトウェア・アプリケーション又はコードとして知られる）は、プログラム可能なプロセッサのコンピュータ命令を含み、ハイレベルな手順及び／又はオブジェクト指向の言語で実装されてもよく、及び／又はアセンブリ／コンピュータ命令で実装されてもよい。本明細書で用いられる通り、「コンピュータ読取り可能な媒体」とは非一時的なコンピュータプログラムプロダクト、装置及び／又はデバイス（例えば、磁気ディスク、光学ディスク、プログラム可能な論理デバイス（ＰＬＤ））をいい、機械命令及び／又はデータをプログラム可能なプロセッサ（コンピュータ読取り可能な信号としてコンピュータ命令を受信する非一時的なコンピュータ読取り可能な媒体を含む）へ提供するのに用いられる。

特定の実施形態を本明細書で詳細に開示したが、これは例示のみの目的でなされたものであり、特許請求の範囲を限定するものではない。特に、特許請求の範囲によって画定される発明の精神及び範囲から逸脱しない範囲で、様々な置換や代替や修正が可能であることに留意されたい。他の側面、効果及び修正も、特許請求の範囲の範囲内である。特許請求の範囲は、本明細書に開示される実施形態及び特徴を表す。特許請求の範囲に記載された実施形態及び特徴もまた考慮される。従って、他の実施形態も特許請求の範囲の権利範囲内である。

Claims (22)

1. 複数のカメラによって撮像された画像データから、複数の移動物体の動作データを判定するステップと、
   前記複数のカメラによって監視される領域を示す全体画像上で、前記複数の移動物体の地理的な位置に対応する前記全体画像上の位置に、前記複数の物体の前記判定された動作データの図形表示を提示するステップと、
   前記複数のカメラの１つによって撮像された前記複数の移動物体の少なくとも１つの図形表示の少なくとも１つを提示する前記全体画像の領域を、前記全体画像上に提示される図形表示に基づいて選択することに応じて、前記複数のカメラの１つからの撮像画像データを提示するステップと
   を含む方法。
2. 請求項１に記載の方法において、
   前記複数の移動物体の少なくとも１つの前記図形表示の少なくとも１つを提示する前記全体画像の領域を選択することに応じて前記撮像画像データを提示するステップは、
   前記複数のカメラの１つによって撮像された移動物体に対応する図形表示を選択することに応じて前記複数のカメラの１つからの撮像画像データを提示することを含む方法。
3. 請求項１に記載の方法において、更に、
   前記複数のカメラの少なくとも１つを、前記全体画像を用いて較正して、前記複数のカメラの少なくとも１つによって撮像された少なくとも１つの領域のビューの画像を、前記全体画像の対応する少なくとも１つの領域に一致させるステップを含む方法。
4. 請求項３に記載の方法において、
   前記複数のカメラの少なくとも１つを較正するステップは、
   前記複数のカメラの少なくとも１つによって撮像された画像内に現れる１以上の位置を選択することと、
   前記全体画像上で、前記複数のカメラの少なくとも１つによって撮像された前記画像内の前記１以上の選択位置に対応する位置を識別することと、
   前記識別された全体画像の位置と前記複数のカメラの少なくとも１つの前記画像内における１以上の前記対応する１以上の選択位置とに基づいて二次の二次元線形パラメータモデルに係る変換係数を計算して、前記複数のカメラの少なくとも１つによって撮像された画像内の位置の座標を、前記全体画像内の対応する位置の座標へ変換すること
   を含む方法。
5. 請求項１に記載の方法において、更に、
   地図の前記選択領域内の前記少なくとも１つの前記図形表示に対応する前記複数の移動物体の少なくとも１つの追加の詳細を提示するステップであって、前記追加の詳細は、前記選択領域に対応する前記複数のカメラの１つに関連付けられた補助カメラによって撮像された補助フレーム内に示される、ステップを含む方法。
6. 請求項５に記載の方法において、
   前記複数の移動物体の前記少なくとも１つの前記追加の詳細を提示するステップは、
   前記複数のカメラの１つによって撮像される前記複数の移動物体の前記少なくとも１つの位置に対応する、前記補助フレーム内の領域を拡大することを含む、方法。
7. 請求項１に記載の方法において、
   前記複数のカメラによって撮像される前記画像から、前記複数の移動物体の動作データを判定するステップは、
   前記複数のカメラの１つによって撮像される少なくとも１つの画像へガウス混合モデルを適用し、移動物体の画素群を含む前記少なくとも１つの画像の前景を、静止物体の画素群を含む前記少なくとも１つの画像の背景から分離することを含む、方法。
8. 請求項１に記載の方法において、
   前記複数の移動物体の前記動作データは、前記複数の移動物体のうちの１つの移動物体のデータを含み、カメラの視野内の前記物体の位置、前記物体の幅、前記物体の高さ、前記物体が移動する方向、前記物体の速度、前記物体の色、前記物体がカメラの視野に入るという表示、前記物体が前記カメラの前記視野から出るという表示、前記カメラが妨害されているという表示、所定時間以上前記物体が前記カメラの視野にとどまっているという表示、いくつかの移動物体が合体するという表示、前記移動物体が２以上の移動物体に分裂するという表示、前記物体が関心領域に入るという表示、前記物体が所定の領域を出るという表示、前記物体が仕掛け線を横切るという表示、前記物体が前記領域又は前記仕掛け線のある禁止された所定の方向に一致する方向に移動しているという表示、前記物体のカウントを示すデータ、前記物体を除去する表示、前記物体を放棄する表示、及び前記物体の滞在時間を示すデータ、のうちの１以上を含む、方法。
9. 請求項１に記載の方法において、
   前記全体画像上に前記図形表示を提示するステップは、
   前記全体画像上で、複数の色を有する、移動する幾何学的な形を提示することを含み、
   前記幾何学的な形は、円、矩形及び三角形のうちの１以上を含む、方法。
10. 請求項１に記載の方法において、
    前記全体画像上に前記図形表示を提示するステップは、
    前記全体画像上で、前記複数の移動物体の少なくとも１つがたどった通り道の地理的な位置に対応する前記全体画像の位置に、前記複数の物体の少なくとも１つの前記判定された動作を追跡する軌跡を提示することを含む、方法。
11. 画像データを撮像する複数のカメラと、
    １以上の表示装置と、
    １以上のプロセッサであって、
    複数のカメラによって撮像された画像データから、複数の移動物体の動作データを判定するステップと、
    前記複数のカメラによって監視される領域を示す全体画像上で、１以上の表示装置の少なくとも１つを用いて、前記複数の移動物体の地理的な位置に対応する前記全体画像上の位置に、前記複数の物体の前記判定された動作データの図形表示を提示するステップと、
    前記１以上の表示装置の１つを用いて、前記複数のカメラの１つによって撮像された前記複数の移動物体の少なくとも１つの前記図形表示の少なくとも１つを提示する前記全体画像の領域を、前記全体画像上に提示される図形表示に基づいて選択することに応じて、前記複数のカメラの１つからの撮像画像データを提示するステップと
    を含む動作を実行するように構成されたプロセッサと
    を含むシステム。
12. 請求項１１に記載のシステムにおいて、
    前記全体画像の領域を選択することに応じて前記撮像画像データを提示するステップを実行するように構成された前記１以上のプロセッサは、前記１以上の表示装置の前記１つを用いて、前記複数のカメラの前記１つによって撮像された移動物体に対応する図形表示を選択することに応じて、前記複数のカメラの前記１つからの撮像画像データを提示するステップを実行するように構成される、システム。
13. 請求項１１に記載のシステムにおいて、
    前記１以上のプロセッサは更に、前記複数のカメラの少なくとも１つを、前記全体画像を用いて較正して、前記複数のカメラの少なくとも１つによって撮像された少なくとも１つの領域のビューの画像を、前記全体画像の対応する少なくとも１つの領域に一致させるステップを実行するように構成される、システム。
14. 請求項１３に記載のシステムにおいて、
    前記複数のカメラの少なくとも１つを較正する動作を実行するように構成された前記１以上のプロセッサは、
    前記複数のカメラの少なくとも１つによって撮像された画像内に現れる１以上の位置を選択するステップと、
    前記全体画像上で、前記複数のカメラの少なくとも１つによって撮像された前記画像内の前記１以上の選択位置に対応する位置を識別するステップと、
    前記識別された全体画像の位置と前記複数のカメラの少なくとも１つの前記画像内における１以上の前記対応する１以上の選択位置とに基づいて二次の二次元線形パラメータモデルに係る変換係数を計算して、前記複数のカメラの少なくとも１つによって撮像された画像内の位置の座標を、前記全体画像内の対応する位置の座標へ変換するステップと
    を実行するように構成される、システム。
15. 請求項１１に記載のシステムにおいて、
    前記１以上のプロセッサは更に、
    地図の前記選択領域内の前記少なくとも１つの前記図形表示に対応する前記複数の移動物体の少なくとも１つの追加の詳細を提示するステップであって、前記追加の詳細は、前記選択領域に対応する前記複数のカメラの１つに関連付けられた補助カメラによって撮像された補助フレーム内に示される、ステップを実行するように構成される、システム。
16. 請求項１１に記載のシステムにおいて、
    前記複数の移動物体の前記動作データは、前記複数の移動物体のうちの１つの移動物体のデータを含み、カメラの視野内の前記物体の位置、前記物体の幅、前記物体の高さ、前記物体が移動する方向、前記物体の速度、前記物体の色、前記物体がカメラの視野に入るという表示、前記物体が前記カメラの前記視野から出るという表示、前記カメラが妨害されているという表示、所定時間以上前記物体が前記カメラの視野にとどまっているという表示、いくつかの移動物体が合体するという表示、前記移動物体が２以上の移動物体に分裂するという表示、前記物体が関心領域に入るという表示、前記物体が所定の領域を出るという表示、前記物体が仕掛け線を横切るという表示、前記物体が前記領域又は前記仕掛け線のある禁止された所定の方向に一致する方向に移動しているという表示、前記物体のカウントを示すデータ、前記物体を除去する表示、前記物体を放棄する表示、及び前記物体の滞在時間を示すデータ、のうち１以上を含む、システム。
17. プロセッサ上で実行可能なコンピュータ命令のセットでプログラムされた非一時的なコンピュータ読取り可能な媒体であって、前記コンピュータ命令のセットは、実行されると、
    複数のカメラによって撮像された画像データから、複数の移動物体の動作データを判定するステップと、
    前記複数のカメラによって監視される領域を示す全体画像上で、前記複数の移動物体の地理的な位置に対応する前記全体画像上の位置に、前記複数の物体の前記判定された動作データの図形表示を提示するステップと、
    前記複数のカメラの１つによって撮像された前記複数の移動物体の少なくとも１つの図形表示の少なくとも１つを提示する前記全体画像の領域を、前記全体画像上に提示される図形表示に基づいて選択することに応じて、前記複数のカメラの１つからの撮像画像データを提示するステップと
    を含む動作を実行させる、コンピュータ読取り可能な媒体。
18. 請求項１７に記載のコンピュータ読取り可能な媒体において、
    前記複数の移動物体の少なくとも１つの前記図形表示の少なくとも１つを提示する前記全体画像の前記領域の前記選択に応じて前記撮像画像データを提示するステップを実行させる前記命令のセットは、
    前記複数のカメラの１つによって撮像された移動物体に対応する図形表示を選択することに応じて前記複数のカメラの１つからの撮像画像データを提示するステップを実行させる命令を含む、コンピュータ読取り可能な媒体。
19. 請求項１７に記載のコンピュータ読取り可能な媒体において、
    前記命令のセットは更に、
    前記複数のカメラの少なくとも１つを、前記全体画像を用いて較正して、前記複数のカメラの少なくとも１つによって撮像された少なくとも１つの領域のビューの画像を、前記全体画像の対応する少なくとも１つの領域に一致させるステップを実行させる命令を含む、コンピュータ読取り可能な媒体。
20. 請求項１９に記載のコンピュータ読取り可能な媒体において、
    前記複数のカメラの前記少なくとも１つを較正する動作を実行させる前記命令のセットは、
    前記複数のカメラの少なくとも１つによって撮像された画像内に現れる１以上の位置を選択するステップと、
    前記全体画像上で、前記複数のカメラの少なくとも１つによって撮像された前記画像内の前記１以上の選択位置に対応する位置を識別するステップと、
    前記識別された全体画像の位置と前記複数のカメラの少なくとも１つの前記画像内における１以上の前記対応する１以上の選択位置とに基づいて二次の二次元線形パラメータモデルに係る変換係数を計算して、前記複数のカメラの少なくとも１つによって撮像された画像内の位置の座標を、前記全体画像内の対応する位置の座標へ変換するステップと
    を実行させる命令を含む、コンピュータ読取り可能な媒体。
21. 請求項１７に記載のコンピュータ読取り可能な媒体において、
    前記命令のセットは更に、
    地図の前記選択領域内の前記少なくとも１つの前記図形表示に対応する前記複数の移動物体の少なくとも１つの追加の詳細を提示するステップであって、前記追加の詳細は、前記選択領域に対応する前記複数のカメラの１つに関連付けられた補助カメラによって撮像された補助フレーム内に示される、ステップを実行させる命令を含む、コンピュータ読取り可能な媒体。
22. 請求項１７に記載のコンピュータ読取り可能な媒体において、
    前記複数の移動物体の前記動作データは、前記複数の移動物体のうちの１つの移動物体のデータを含み、カメラの視野内の前記物体の位置、前記物体の幅、前記物体の高さ、前記物体が移動する方向、前記物体の速度、前記物体の色、前記物体がカメラの視野に入るという表示、前記物体が前記カメラの前記視野から出るという表示、前記カメラが妨害されているという表示、所定時間以上前記物体が前記カメラの視野にとどまっているという表示、いくつかの移動物体が合体するという表示、前記移動物体が２以上の移動物体に分裂するという表示、前記物体が関心領域に入るという表示、前記物体が所定の領域を出るという表示、前記物体が仕掛け線を横切るという表示、前記物体が前記領域又は前記仕掛け線のある禁止された所定の方向に一致する方向に移動しているという表示、前記物体のカウントを示すデータ、前記物体を除去する表示、前記物体を放棄する表示、及び前記物体の滞在時間を示すデータ、のうちの１以上を含む、コンピュータ読取り可能な媒体。