JP2008099248A - 定位置にある複数のカメラからのビデオの表示を提供するインタフェース装置、前記ビデオのインタフェースと表示を提供する方法、及びプログラム - Google Patents

Abstract

【課題】定位置にある複数のカメラからのビデオに対するインタフェースと表示を提供する。
【解決手段】メインカメラによって取得されたメインビデオストリームを第１のインタフェース部分に表示し、前記メインビデオストリームに時間的に関連する１以上のビデオストリームを追加インタフェース部分に表示する。前記ビデオストリームは、カメラの集合と前記メインカメラとによって取得される。前記ビデオストリームの表示は、前記ビデオストリームの各々において、前記メインビデオストリームの時点、それ以前、それ以降の各々のビデオ再生位置の集合の内の１つ以上を含む。
【選択図】図１

Description

本発明は、一般的にはビデオシステムの分野に関し、より詳しくはビデオ監視システムに関する。即ち、定位置にある複数のカメラからのビデオの表示を提供するインタフェース装置、前記ビデオのインタフェースと表示を提供する方法、及びプログラムに関する。

ビデオ監視システムは、商業環境、工業環境、住宅環境において一般的なものとなっている（例えば、非特許文献１〜３参照）。一般的な監視活動は、人があるカメラから別のカメラに移動する際にそれを追跡したり、特に重要な人物や不審な行動をする人物を追跡したりすることである。警備担当者は、監視対象の行動（活動）を識別して、定位置の複数のカメラから得られる様々なビデオストリームに映っている動作間の相互関係を判断する必要がある。これらのビデオストリームから、警備担当者は、特定の出来事につながった、またはこの後に発生した一連の動作を理解するようにする必要がある。例えば、オフィスビルにあるビデオ警備システムでは、複数のカメラに映る動作を絶えず記録している。このビルで爆発が起これば、警備担当者は、ビデオカメラから得られたデータを分析して、この爆発の原因を判定することを求められる。これには、原因を判定するために、爆発時以前の複数のカメラから得られる数時間分のデータを探索する必要がある。メインカメラのビデオストリームに対象の人物が映っている場合、この人物が見出されるその他のカメラが、警備担当者にとって関心対象となる。これらその他のカメラは、メインカメラに地理的に近くである傾向がある。

さらに、大型の防犯設備には、多数の警備カメラが含まれる場合がある。ビデオハードウエアの経費が減少するにつれて、１設備当たりのビデオストリームの数が増している。しかしながら、人間の注目能力とビデオストリームの数には限界があるため、このようなシステムのコストパフォーマンスと効果が制約される。さらに、カメラからカメラへと行動を追跡することはしばしば困難である。これは、オフィスビルの廊下などの場所は全く同じように見えることがあり、カメラの空間的近接度が分からないからである。その結果、警備担当者には、ビデオストリーム間で行動を追跡することが非常に難しい。以降、「ユーザ」という用語を、「警備担当者」の代わりに用い、警備担当者を含むがこれに限られないも

のとする。
E. Ardizzoneら著「遺跡発掘現場における監視及びモニタリングのための統合アーキテクチャ」、ビデオ監視及びセンサーネットワークに関するACMワークショップ会報、シンガポール、79-85ページ、2005年11月11日発行（Ardizzone, E. et al. "An Integrated Architecture for Surveillance and Monitoring in an Archaeological Site", Proc. ACM Workshop on Video Surveillance and Sensor Networks, Singapore, pp. 79-85, November 11, 2005） P. K. Atreyら著「マルチメディア監視システムにおけるタイムラインベース情報同一化」、ビデオ監視及びセンサーネットワークに関するACMワークショップ会報、シンガポール、103-112ページ、2005年11月11日発行（Atrey, P. K. et al. "Timeline-based Information Assimilation in Multimedia Surveillance and Monitoring Systems", Proc. ACM Workshop on Video Surveillance and Sensor Networks, Singapore, pp. 103-112, November 11, 2005） R. Cucchiara著「マルチメディア監視システム」、ビデオ監視及びセンサーネットワークに関するACMワークショップ会報、シンガポール、2005年11月11日発行（Cucchiara, R. "Multimedia Surveillance Systems", Proc. ACM Workshop on Video Surveillance and Sensor Networks, Singapore, 8 pages, November 11, 2005）

現在のところ、警備カメラの１集合から得られた同期したビデオストリームから対象の行動を識別することは、ビデオの分量が多いことや、記述されたメタデータやビデオストリームの索引付けが欠如しているため困難である。現時点では、警備ビデオは通常、利用可能なカメラを示すカメラのバンクを介して観察され、互いに情報をやり取りしている。現在の多重チャネルビデオプレイヤ（再生装置）は、一般的に、小型ビデオ表示と大型のビデオ表示のバンク（蓄積部）を有している。ユーザは、このカメラバンクからカメラを選んで、１つのビューから別のビューへと行動を追跡する。ユーザにとって、追跡されている人物が、メインカメラのビュー（視野）から出た後で、どのカメラビューに現われるかを予測することは困難である。多くのビデオプレイヤではカメラバンク内の画像は小さくなる傾向があり、このため、これらの画像から追跡中の人物を突き止めて認識することはユーザにとって困難である。

このため、１つのカメラのビューから別のカメラのビュー内の位置に移動する人物のビデオストリームを監視するシステムが必要となる。大部分の行動を映しているビデオストリームのセグメントを選ぶ方法や、これらのセグメント内の代表的なキーフレームを選ぶ方法が必要であり、ここで、キーフレームとは、ビデオストリーム内のある時点におけるフレームすなわちスナップショットのことである。特に、メインカメラから得られたビデオストリームを、行動を示している他の近傍のカメラから得られたビデオストリームと共に提示して、監視対象のイベントを追跡しやすくする方法が必要である。カメラの空間的ビューを示すマップも用意し、このマップ上にカメラと共にビデオストリームも映す必要がある。加えて、見られているビデオストリームの時点の少し前と少し後の部分を提示して、映っている人々がどこから来てどこに行くのかユーザが判断しやすいようにする方法が必要である。さらに、同じビデオストリーム内の別の時点に迅速にスキップしたり、別のビデオストリームに切り替えたりすることによって、ユーザがビデオをブラウジングして、監視対象の行動をその視界内に保つようにする方法が必要である。加えて、ビデオ表示とマップを動画化して、ユーザが別のビデオストリームに切り替えたときにユーザが正しい方向を向いているように保つことが必要である。

上記課題を考慮し、本発明は定位置にある複数のカメラからのビデオに対するインタフェース装置、前記インタフェースとビデオ表示を提供する方法及びプログラムを提供する。本発明では、あるカメラが取得（キャプチャ）した主要なビデオストリームをメインビデオストリームとして選択し、インタフェース（インタフェース画面）に表示する。表示されているこのメインビデオストリームと時間的に関連している、カメラの集合とメインカメラとによって取得された１以上のビデオストリームが選択され、これには、前記ビデオストリームの各々においてメインビデオストリームの時点である第１の時間セグメントと、前記ビデオストリームの各々においてメインビデオストリームの時点に先立つ第２の時間セグメントと、前記ビデオストリームの各々においてメインビデオストリームの時点の後である第３の時間セグメントとの内の１つ以上から得られた再生位置が含まれる。選択されたビデオストリームは、メインビデオストリームの表示と時間的に関連付けられてインタフェースに表示される。

即ち、請求項１に係る発明は、定位置にある複数のカメラからのビデオの表示を提供するインタフェース装置であって、メインカメラによって取得されたメインビデオストリームを前記インタフェースに表示する第１のインタフェース部分と、前記表示されたメインビデオストリームに時間的に関連する１以上のビデオストリームを表示する１つ以上の追加インタフェース部分と、を備え、前記ビデオストリームがカメラの集合と前記メインカメラとによって取得されたものであり、前記ビデオストリームの表示が、前記ビデオストリームの各々において、前記メインビデオストリームの時点である第１の時間セグメントのビデオ再生位置の第１の集合と、前記ビデオストリームの各々において、前記メインビデオストリームの時点以前の第２の時間セグメントのビデオ再生位置の第２の集合と、前記ビデオストリームの各々において、前記メインビデオストリームの時点以後の第３の時間セグメントのビデオ再生位置の第３の集合と、の内の１つ以上を含むことを特徴とする。

請求項２に係る発明は、請求項１のインタフェース装置において、前記１つ以上のビデオストリーム表示の内の１つと関連するビデオストリームが、ユーザが前記ビデオストリーム表示をクリックしたときに対応するビデオ再生位置と共に前記インタフェースに表示される、前記メインビデオストリームとなることを特徴とする。

請求項３に係る発明は、請求項１のインタフェース装置において、前記ビデオストリーム表示の内の１つ以上が静的キーフレームであり、前記キーフレームが、前記ビデオストリームのビデオ再生位置の時点に近いビデオストリームから取られた代表的なビデオフレームであることを特徴とする。

請求項４に係る発明は、請求項３のインタフェース装置において、前記キーフレームが、前記第１、第２および第３の時間セグメントの内の１つの時間セグメント内の行動の大部分を含むビデオストリームシーケンスから取られた代表的なビデオフレームであることを特徴とする。

請求項５に係る発明は、請求項４のインタフェース装置において、前記行動の大部分を含む前記ビデオストリームシーケンスにおいて、前記シーケンス内のビデオフレーム間で変化する画素数が最大であることを特徴とする。

請求項６に係る発明は、請求項１のインタフェース装置において、ビデオ再生位置の前記第２の集合が、ビデオストリームの各々において、前記メインカメラの前記ビデオストリームの時点以前の第１の固定時点から始まるものであり、ビデオ再生位置の前記第３の集合が、ビデオストリームの各々において、前記メインカメラの前記ビデオストリームの時点以後の第２の固定時点から始まるものであることを特徴とする。

請求項７に係る発明は、請求項１のインタフェース装置において、前記インタフェース表示でのビデオストリーム表示の色分けにより、ビデオストリームのソースカメラを識別することを特徴とする。

請求項８に係る発明は、請求項１のインタフェース装置において、前記カメラ集合と前記メインカメラとに対するカメラ位置及びこれらに対応する視野角の空間的ビューを示すマップが、前記インタフェースと共に表示されることを特徴とする。

請求項９に係る発明は、請求項８のインタフェース装置において、前記マップ上で、１つ以上のビデオストリームがこれらに対応するソースカメラの隣に表示されることを特徴とする。

請求項１０に係る発明は、請求項９のインタフェース装置において、前記マップに表示される前記カメラとこれらに対応する視野角とが、前記インタフェースに表示されるソースカメラを識別するためのビデオストリーム表示の色分けと一致するように色分けされることを特徴とする。

請求項１１に係る発明は、請求項１のインタフェース装置において、前記第２及び第３のビデオ再生位置集合と関連する前記ビデオストリーム表示の各々が、前記メインビデオストリーム表示の両端部の帯状領域に表示されることを特徴とする。

請求項１２に係る発明は、請求項１１のインタフェース装置において、前記帯状領域と前記メインビデオストリーム表示との隣に表示されるタイムラインをさらに備えることを特徴とする。

請求項１３に係る発明は、請求項１１のインタフェース装置において、前記複数のカメラの視野方向が固定されていることを特徴とする。

請求項１４に係る発明は、請求項１のインタフェース装置において、前記複数のカメラが、前記インタフェースが生のビデオストリームを表示するときにパン動作、傾斜動作およびズーム動作の内の１つ以上を実行することを特徴とする。

請求項１５に係る発明は、請求項１のインタフェース装置において、前記カメラ集合が、前記メインカメラに対して空間的に近接していることを特徴とする。

請求項１６に係る発明は、請求項１のインタフェース装置において、前記第１、第２および第３のビデオ再生位置の集合と関連する前記ビデオストリーム表示が、前記ビデオストリーム内の行動、録画されている空間内の対象のポイントに近いところでの動き、および赤外線運動センサー、顔検出、無線ＩＤタグから得られたイベントの内の１つ以上に対する評価をさらに含むことを特徴とする。

請求項１７に係る発明は、請求項１のインタフェース装置において、前記第１、第２および第３のビデオ再生位置の集合と関連するビデオストリーム表示が、前記表示された前記メインカメラからのビデオストリームと空間的に関連付けられて前記インタフェースに表示され、前記空間的な関連性が、前記メインカメラの物理的位置に対する前記カメラ集合の各々のカメラの相対的な物理的位置に対応し、前記ビデオストリーム表示が、前記メインカメラに最も近いカメラ集合のビデオストリームから取られることを特徴とする。

請求項１８に係る発明は、請求項１７のインタフェース装置において、前記１つ以上のビデオストリーム表示の内の１つと関連するビデオストリームが、ユーザが前記ビデオストリーム表示をクリックしたときに対応するビデオ再生位置と共に前記インタフェースに表示される、前記メインビデオストリームになることを特徴とする。

請求項１９に係る発明は、請求項１７のインタフェース装置において、前記ビデオストリーム表示の内の１つ以上が静的キーフレームであり、前記キーフレームが、前記ビデオストリームのビデオ再生位置の時点に近いビデオストリームから取られた代表的なビデオフレームであることを特徴とする。

請求項２０に係る発明は、請求項１９のインタフェース装置において、前記キーフレームが、前記第１、第２および第３の時間セグメントの内の１つの時間セグメント内の行動の大部分を含むビデオストリームシーケンスから取られた代表的なビデオフレームであることを特徴とする。

請求項２１に係る発明は、請求項２０のインタフェース装置において、前記行動の大部分を含む前記ビデオストリームシーケンスにおいて、前記シーケンス内のビデオフレーム間で変化する画素数が最大であることを特徴とする。

請求項２２に係る発明は、請求項１７のインタフェース装置において、前記カメラ集合と前記メインカメラとに対する、カメラ位置及びこれらに対応する視野角の空間的ビューを示すマップが、前記インタフェースと共に表示されることを特徴とする。

請求項２３に係る発明は、請求項２２のインタフェース装置において、前記マップ上で、１つ以上のビデオストリームがこれらに対応するソースカメラの隣に表示されることを特徴とする。

請求項２４に係る発明は、請求項２３のインタフェース装置において、ユーザが前記マップ上で前記ビデオストリームの一つとこれに対応するカメラをクリックすると、前記ビデオストリームが前記メインビデオストリームになることを特徴とする。

請求項２５に係る発明は、請求項１７のインタフェース装置において、前記新しいメインビデオストリームの周りを回転し、前記新しいメインビデオストリームに空間的に関連する自身の新たな位置にまで達するように、前記ビデオストリーム表示が動画化されることを特徴とする。

請求項２６に係る発明は、請求項２２のインタフェース装置において、前記１つ以上のビデオストリーム表示の内の１つと関連するビデオストリームが、ユーザが前記ビデオストリーム表示をクリックしたときに対応するビデオ再生位置と共に前記インタフェースに表示される前記メインビデオストリームになり、前記インタフェースに表示される前記新しいビデオストリームに対応する前記新たに選択されたカメラの新たな視点に対して前記マップが中心合わせされるように前記マップの回転運動を示すために、前記空間的マップを動画化することを特徴とする。

請求項２７に係る発明は、請求項２６のインタフェース装置において、前記新しいメインビデオストリームの周りを回転して、自身の新たな位置にまで達するよう動画化された、前記新しいメインビデオストリームに空間的に関連するビデオストリーム表示の動画化と、前記空間的マップの動画化が同期されることを特徴とする。

請求項２８に係る発明は、請求項１７のインタフェース装置において、前記メインカメラに対する前記カメラ集合内の各々のカメラの近接度が、前記カメラ集合の内の各々のカメラと前記メインカメラとの間の１つ以上の焦点間の距離の和の平均値を含むことを特徴とする。

請求項２９に係る発明は、請求項１７のインタフェース装置において、前記メインビデオストリーム表示に対するビデオストリーム表示の空間的関連度が、前記メインカメラの焦点から前記ビデオストリーム表示に対応するカメラの焦点に至るラインと、前記メインカメラの前記焦点から前記メインカメラに至るラインとが形成する角度の測定値をさらに含み、各々のビデオストリーム表示が、前記メインビデオストリーム表示に対して前記測定角度で表示されることを特徴とする。

請求項３０に係る発明は、請求項１７のインタフェース装置において、前記インタフェース表示でのビデオストリーム表示の色分けにより、ビデオストリームのソースカメラを識別することを特徴とする。

請求項３１に係る発明は、請求項２２のインタフェース装置において、前記マップに表示される前記カメラとこれらに対応する視野角とが、前記インタフェースに表示されるビデオストリーム表示のソースカメラを識別するための色分けと一致するように色分けされることを特徴とする。

請求項３２に係る発明は、請求項１７のインタフェース装置において、前記複数のカメラの視野方向が固定されていることを特徴とする。

請求項３３に係る発明は、請求項１７のインタフェース装置において、前記複数のカメラが、前記インタフェースが生のビデオストリームを表示するときにパン動作、傾斜動作およびズーム動作の内の１つ以上を実行することを特徴とする。

請求項３４に係る発明は、請求項１７のインタフェース装置において、前記第１、第２および第３のビデオ再生位置の集合と関連する前記ビデオストリーム表示が、前記ビデオストリーム内の行動、録画されている空間内の対象のポイントに近いところでの動き、および赤外線運動センサー、顔検出、無線ＩＤタグから得られたイベントの内の１つ以上に対する評価をさらに含むことを特徴とする。

請求項３５に係る発明は、定位置にある複数のカメラからのビデオに対するインタフェースと表示とを提供する方法であって、あるカメラが取得したビデオストリームをメインビデオストリームとして選択し、前記メインビデオストリームを前記インタフェースの第１の部分に表示し、前記表示されたメインビデオストリームに時間的に関連する、前記カメラの集合と前記メインカメラとによって取得された１以上のビデオストリームを選択することであって、前記選択が、前記ビデオストリームの各々において、前記メインビデオストリームの時点の第１の時間セグメントの再生位置の第１の集合を選択し、前記ビデオストリームの各々において、前記メインビデオストリームの時点以前の第２の時間セグメントの再生位置の第２の集合を選択し、前記ビデオストリームの各々において、前記メインビデオストリームの時点以後の第３の時間セグメントの再生位置の第３の集合を選択すること、の内の１つ以上を含み、前記選択されたビデオストリームを、前記メインビデオストリームの表示と時間的に関連させて、１つ以上の追加インタフェース部分に表示すること、を含むことを特徴とする。

請求項３６に係る発明は、請求項３５の方法において、前記ビデオストリームの選択が、前記メインカメラに最も近いカメラの集合が取得したビデオストリームを選択することをさらに含むことを特徴とする。

請求項３７に係る発明は、請求項３６の方法において、１つ以上の追加インタフェース部分への表示が、前記選択されたビデオストリームを前記表示されたメインビデオストリームと空間的に関連させて表示することを含み、前記空間的関連性が、前記メインカメラの物理的位置に対する、カメラ集合内の各々のカメラの相対的な物理的位置に対応することを特徴とする。

請求項３８に係る発明は、プロセッサを含むコンピュータにおいて、定位置にある複数のカメラからのビデオのインタフェースと表示とを提供する処理を実行するために前記コンピュータが実行可能な命令からなるプログラムであって、前記プログラムは前記プロセッサにより実行されることにより、前記コンピュータに、あるカメラが取得したビデオストリームをメインビデオストリームとして選択し、前記メインビデオストリームを前記インタフェースの第１の部分に表示し、前記表示されたメインビデオストリームに時間的に関連する、前記カメラ集合と前記メインカメラとによって取得された１以上のビデオストリームを選択することであって、前記選択が、前記ビデオストリームの各々において、前記メインビデオストリームの時点の第１の時間セグメントの再生位置の第１の集合を選択し、前記ビデオストリームの各々において、前記メインビデオストリームの時点以前の第２の時間セグメントの再生位置の第２の集合を選択し、前記ビデオストリームの各々において、前記メインビデオストリームの時点以後の第３の時間セグメントの再生位置の第３の集合を選択すること、の内の１つ以上を含み、前記選択されたビデオストリームを、前記メインビデオストリームの表示と時間的に関連させて、１つ以上の追加インタフェース部分に表示すること、を含む処理を実行させることを特徴とする。

請求項３９に係る発明は、請求項３８のプログラムにおいて、前記ビデオストリームの選択が、前記メインカメラに最も近いカメラの集合が取得したビデオストリームを選択することをさらに含むことを特徴とする。

請求項４０に係る発明は、請求項３９のプログラムにおいて、前記１つ以上の追加インタフェース部分への表示が、前記選択されたビデオストリームを前記表示されたメインビデオストリームと空間的に関連させて表示することを含み、前記空間的関連性が、前記メインカメラの物理的位置に対する、カメラ集合内の各々のカメラの相対的な物理的位置に対応することを特徴とする。

本発明によれば、定位置にある複数のカメラからのビデオを表示する際、メインのビデオストリームを、行動を映し出している他の近傍のカメラから得られたビデオストリームと共に提示するインタフェースを提供することにより、ユーザが監視対象のイベントを追跡しやすくする効果がある。加えて、メインのビデオストリームの時点、及びその前後の部分を映したビデオストリームを表示することにより、監視対象の行動を追跡しやすくする効果がある。

本発明の好ましい実施形態を、図面に基づいて詳細に説明する。

（ビデオ内の行動の識別）

ある実施形態では、異なる２つの方式を用いて、ビデオストリーム内の行動を判断することが可能であり、これらの方式は双方ともが、連続するビデオフレーム内の前景画素の変化に注目する。第１の方式は、連続するビデオフレームを比較して、前景の画素であろうとなかろうと変化する画素を判断する。連続するフレーム内で変化する画素の数をカウントし、その数が多いほど、そのフレーム内での行動が多いことになる。第２の方式は、カメラビューの背景をモデル化し、すべてのビデオフレーム内で前景画素を判断する。第２の方式では、この前景画素の情報を用いて、全体的な動きの方向と速度を測定する。

所与のカメラの集合から得られた所与のビデオストリームの集合について、閾値を超える量の活動があるフレームをビデオセグメントに分類する。本実施形態では、第１と第２の双方の方式で画素の変化に基づいて行動を検出する場合、あるビデオフレーム内の画素の総数の２％〜５％の間の閾値を用いる。この閾値は、例えば屋内であるとか屋外であるとかのカメラの位置と、具体的な用途とに基づいて選択される。これらセグメントはその各々が、例えば１０秒という等しい長さのサブセグメントに分割される。本実施形態では、これらサブセグメントの時間長は任意である。各々のサブセグメントは単一のキーフレームで表され、このキーフレームとは、上述したように行動の大部分を含むと判断されたサブセグメント内にあるフレームのことである。その結果、サブセグメントの代表的なキーフレームが、以下で説明する、キーフレーム表示として選択される候補となる。

（表示目的のキーフレームの選択）

多重カメラビデオプレイヤ（再生装置）で表示するためには、通常は、キーフレームの表示用に利用可能なスロットの数より多い数のキーフレームが、ある時間セグメントのビデオストリームから利用可能である。ある実施形態では、上述したようなキーフレームの対応するビデオシーケンスのフレーム内の行動の量と、録画されているスペース（空間）内の対象ポイント近傍の動き、及び他の技法やセンサー（例えば、赤外線運動センサー、顔検出、無線ＩＤタグ）から得られたイベントの任意の組み合わせに基づいて、サブ集合のキーフレームを利用可能なキーフレームのグループから選択する。キーフレームのビデオシーケンスのフレーム内の行動の量に基づいてキーフレームを選択する場合、隣同士のフレーム間で行動や画素の変化が多いほど、このビデオシーケンスから表示用のキーフレームが選ばれる確率が高くなる。対象ポイント近傍の動きに基づいてキーフレームを選択する場合、このキーフレームは、いくつかのカメラのビューを比較して、対象ポイントからの運動の３次元距離を判定するよう計算することによって選択可能である。キーフレームのビデオシーケンス内のフレームにおいて対象ポイントからの運動の距離が短いほど、このビデオシーケンスから表示用のキーフレームが選ばれる確率が高い。例えば運動センサーなどの他の技法やセンサーに基づいてキーフレームを選択するものと仮定する。利用可能なキーフレームに対応しているカメラについて、問題となっている時間セグメントの間で特定のカメラまたはこのカメラの焦点の近傍で運動センサーによって検出される行動が多いほど、このカメラに対応するキーフレームが表示用に選ばれる確率が高くなる。

（時間的表示の作成）

ある実施形態では、第１のタイプの多重カメラビデオプレイヤで表示する場合、複数のカメラビューからのビデオストリームを選択してビデオプレイヤに表示するように編成する。これらのビデオストリームは、主としてカメラ間の時間的な関係に基づいて選択されて編成される。ビデオストリームは、二次的には、カメラ間の地理的関係に基づいて編成される。

図１に、ある実施形態に関連する、メインカメラビューからのビデオストリームと２つのバンド（帯状領域）とを示す、時間的なビデオプレイヤの表示画面の例を示されており、複数のカメラビューの過去と未来のビデオストリームの各々がこのメインカメラビューから得られたビデオストリームと時間的に関連しており、これにより、この複数のカメラビューのビデオストリームが、ある時間範囲からのものであるよう構成されている。メインカメラの視野からのビデオストリーム表示１１０が、ビデオプレイヤで再生されるメインビデオとして選択されている。このメインビデオは、ユーザによって選択されるか、または、検出されたイベント（事象）から判断される。後者の場合、検出されたイベントは、ある期間内でまたはある時点において活動の大部分を有するビデオシーケンスであってよい。検出されるイベントもまた、ある特定の対象のロケーションで発生する行動であってよい。例えば、特定のエレベータなどのロケーションの場合、この特定のエレベータでエレベータドアのイベントが検出されると、このエレベータドアを表示しているカメラのビデオをメインビデオとして選択することができる。

ビデオプレイヤ１１１のコントロールボタンが、ビデオストリーム表示１１０の下に示されている。これらの標準のビデオプレイヤのコントロールボタンには、音声オン／オフ１１２、再生／停止１１３、一時停止（図示せず）、巻戻し（図示せず）、早送り（図示せず）、後退１１４および前進１１５が含まれるが、これらに限られない。コントロールボタンにはまた再生ポイントボタン１１７が含まれ、このボタンはユーザが左右にドラッグして、ビデオストリームの位置を見つけるためのものである。コントロールボタンにはまた、以下に説明する図３に示すコントロールボタンのいずれをも含んでよい。表示画面上で、現時点で再生中のビデオストリームのポイントが再生位置であり、これもボタン１１７が示している。プレイヤ画面の左側にあるタイムライン１４０もまた、左右どちらかの側に青色の方形のあるバーで示す時間１４５により再生位置を表示する。図１に示すように、再生位置時間は約１４：３７：２０、すなわち、午後２時３７分２０秒である。

メインカメラのビデオストリームと時間的に近いビデオストリームを映しているカメラのグループが選択される。このカメラグループから、再生しているビデオストリームのメインカメラに空間的にどれがより近いかを判断することにより、またはユーザが選ぶことにより、最終的なカメラ集合を表示目的で選択する。図１の場合、例として５台のカメラからなる集合を表示目的として選ばれる。メインカメラのビデオストリームを含むこれら５台のカメラのビデオストリームを、メインカメラビデオストリーム表示１１０の上方と下方に２つずつ、図１に示す４つの水平方向のバンド（帯状領域）に表示する。第２のバンド１２５と第３のバンド１３０に、メインカメラビデオストリームに対してそれぞれ過去と未来０〜３０秒の間のカメラビューからのビデオストリームを示す。最上部のバンド１２０と最下部のバンド１３５に、メインカメラのビデオストリームに対してそれぞれ過去と未来３０秒〜３分の間のカメラビューからのビデオストリームを示す。ある実施形態では、これらの領域は所望により変更可能である。

メインビデオストリームに近い、大きいビデオストリームは、このメインビデオストリームに対して近い過去および未来のものである。メインビデオストリームから遠い、小さいビデオストリームは、過去および未来において、このメインビデオストリームから時間的に隔たっている行動を示している。５台のカメラのビュースロットが、第１すなわち最上部のバンド１２０と、第４すなわち最下底部のバンド１３５に割り当てられている。３つのカメラのビュースロットが、第２のバンド１２５と第３のバンド１３０に割り当てられている。しかしながら、ある実施形態では、任意の定まった数のカメラビュースロットを互いに異なった時間的バンドに割り当てることができる。メインビデオストリーム及びその他のビデオストリームは、最上部に色つきのバーを有し、実際のソースカメラを示すようにしている。図１の５台のカメラの集合に対するバーの色は、赤、ピンク、緑、黄色、青であり、青がメインカメラのバーの色である。メインビデオストリーム以外のビデオストリームの上部には、ビデオストリームの時刻が示されている。ある実施形態では、時刻は、ビデオストリーム表示内の任意の位置に示すことができる。ある実施形態では、メインビデオストリームもまた、ビデオストリームの表示の上部その時刻が示されている。

タイムライン１４０は、ビデオストリームの時刻に対する色付きのドットを表示する。これらドットの色は、カメラのバーの色に対応していて、各々のビデオストリームの時点を示す。これらドットは、互いにオーバーラップしないように配置される。したがって、１４：３４：２１から１４：３４：３８の範囲の時間を示すビデオストリームの第１のバンド１２０は、タイムライン１４０の色付きドット１５０によって示されている。１４：３７：００から１４：３７：１１の範囲の時間を示すビデオストリームの第２のバンド１２５は、タイムライン１４０の再生位置１４５の上方にグループ化されている色付きドットによって示されている。１４：３７：３１から１４：３７：５１の範囲の時間を示すビデオストリームの第３のバンド１３０は、タイムライン１４０の再生位置１４５の下方にグループ化されている色付きドットによって示されている。最後に、１４：３９：５７から１４：４０：２０の範囲の時間を示すビデオストリームの第４のバンド１３５は、タイムライン１４０内の色付きドット１５５によって示されている。

ビデオストリーム中の画像のリフレッシュ速度を変化させて、ビデオがほとんど流れるように再生されるような効果から、数秒から数分にまで及ぶ間にわたって画像が静止したままとどまるような効果にいたる、様々な効果を生じさせることができる。フレーム速度が低い、例えば、毎秒１フレーム未満であるような実施形態では、ビデオフレームを定まった時間間隔でサンプリングすることができる。フレーム速度が低い他の実施形態では、キーフレームの選択が問題となる。ある実施形態では、キーフレームを、性能上の理由で用いたり、一連の動画より良好にイベントを可視化できるという理由で用いたりすることができる。

各々のバンドでは、ビデオストリーム用のスロットの数は限られている。例えば図１の場合は、選ばれたカメラの集合は５台のカメラを含んでいるが、バンド１２５は３つのビデオストリームしか表示できない。この状況では、表示用のビデオストリームは、キーフレームの選択に基づいて選ばれる。最初に、上述したように、あるグループのキーフレームを、５台のカメラの集合のビデオストリームのサブセグメントから決定する。最上部バンドの時間フレームは、メインビデオストリームに対して過去の３０秒から３分までとなっている。最上部バンド１２０の時間期間は、１４：３７：２０という再生位置に対して約１４：３４：２０から１４：３６：５０である。したがって、このキーフレームグループのサブグループを、この２分３０秒という時間期間内の１０秒間からなる第２のサブセグメントから取る。次に、プレイヤに対して表示されるキーフレームを、上述したようにこのサブグループから選択する。キーフレームは、ピンク色カメラから１つ、赤色カメラから１つ、緑色カメラから１つ、青色カメラすなわちメインカメラから２つ選ばれ、黄色カメラからは何も選ばれない。次に、これら５つのキーフレームに対応するビデオストリームを、最上部バンド１２０に表示する。このカメラの集合内の特定のカメラからはビデオストリームもキーフレームも表示しない実施形態もあれば、特定のカメラからの２つ以上のビデオストリームまたはキーフレームを表示する実施形態もある。

ある実施形態では、キーフレームまたはビデオストリームのサンプル画像を、ビデオストリームの代わりにこのバンドに表示することができる。さらに、ある実施形態では、ビデオストリーム、キーフレームおよびサンプル画像の任意の組み合わせをバンド内に表示することができる。加えて、メインカメラビデオストリームからのキーフレームまたはサンプル画像を、表示１１０内でビデオストリームの代わりに表示することができる。ある実施形態では、メインカメラからのビデオストリームは、バンドのビデオストリーム内には示されない。

ある実施形態では、任意の数の時間的バンドが表示画面に示される。ある実施形態では、これらのバンドはサイズを変更することが可能であり、また、任意の数のビデオストリーム、キーフレーム、サンプル画像を各バンドに表示することができる。ある実施形態では、これらバンドは、左から右方向に縦方向に列を成して表示し、タイムラインはカメラのビューの下方に表示されることができる。ある実施形態では、タイムラインは表示されない。メインビデオストリームと他のビデオストリームは、任意の順序でまたは任意の相対的関連性で表示することができる。ある実施形態では、様々なカメラからのビューを、色以外の方法で区別することができる。

図２に、ある実施形態に関連する、メインカメラのビューからのビデオストリームと１つのバンドとを示す、時間的なビデオプレイヤの表示画面の代替例を示しており、複数のカメラビューからの過去と未来のビデオストリームの各々がこのメインカメラビデオストリームと時間的に関連しており、これにより、メインカメラビデオストリームの時点以前と以後のある時点から得られたビデオストリームが、定まった時間期間にわたって表示され続けるように同期されるよう構成されている。

メインカメラのビューからのビデオストリーム表示２１０が、ビデオプレイヤ上で表示されるメインビデオとして選択される。ビデオプレイヤのコントロールボタンは、ビデオ表示（図示せず）の一部である。２つの縦方向バンドのビデオストリーム２２０と２３０が、メインビデオストリーム表示２１０の両端側に表示されている。ビデオストリーム表示２１０の左側にある第１のバンド２２０は、メインビデオストリームが表示２１０で再生されている時点の５秒前からのビデオストリームを表示する３つのカメラビューを示している。ビデオストリーム表示２１０の右側にある第２のバンド２３０は、ビデオストリームが表示２１０で再生されている時点の５秒後からのビデオストリームを表示する３つのカメラビューを示している。メインビデオストリーム表示を再生される時点に対して３秒から１０秒のオフセットがあると、あるカメラビューから別のカメラビューへと歩いている人物を追跡するのに最も有効である。ある実施形態では、このオフセットは所望により変更可能である。これらのビデオストリーム中の画像のリフレッシュ速度を変更させて、ビデオがほとんど流れるように再生されるような効果から数秒から数分にまで及ぶ間にわたって画像が静止したままとどまるような効果にいたる、様々な効果を生じさせることができる。

カメラと画像は上述した図１の場合のように選択される。図２では、メインビデオストリームとその他のビデオストリームは、実際のソースカメラを示す色付きの境界を有している。例として、メインカメラを含む６台のカメラを表示目的で選択する。この６台のカメラの集合に対する境界色は、赤色、紺色、水色、暗緑色、ピンクおよび黄色であり、黄色がメインカメラの境界色となっている。

ある実施形態では、ビデオストリームの時刻をビデオストリーム表示の最上部に示すことができる。メインビデオストリームもまた、その時刻を、ビデオストリーム表示の最上部に示すことができる。このような時刻は、ビデオストリーム表示内の任意の位置に示すことができる。ある実施形態では、キーフレームまたはサンプル画像を、ビデオストリームの代わりにバンドに表示することができる。さらに、ビデオストリーム、キーフレームおよびサンプル画像の任意の組み合わせをも、バンドに表示することができる。加えて、メインカメラビデオストリームから得られたキーフレームまたはサンプル画像を、表示２１０内にビデオストリームの代わりに表示することもできる。またある実施形態では、メインカメラからのビデオストリーム、キーフレームおよびサンプル画像は、バンド内にあるビデオストリーム、キーフレーム、およびサンプル画像内には示さない。カメラの集合内の特定のカメラからのビデオストリーム、キーフレームおよびサンプル画像を全く表示しない場合もあり、特定のカメラからのビデオストリーム、キーフレームまたはサンプル画像の内の２つ以上を表示する場合もある。

ある実施形態では、任意の数の時間的バンドを表示画面上に示して、メインビデオストリーム表示２１０の時刻の前と後の他の定まった期間から得られたビデオストリームを再生する。ある実施形態では、バンドのサイズを変更したり、任意の数のビデオストリーム、キーフレームおよびサンプル画像を各々のバンドに表示したりすることができる。ある実施形態では、バンドを上から下へ横方向に行を成して表示することができる。ある実施形態では、メインビデオストリーム表示とビデオストリームを、任意の順序または任意の相互関連性で表示することができる。ある実施形態では、様々なカメラからのビューを色以外の方法で区別することができる。

（空間的な表示の作成）

ある実施形態では、第２のタイプの多重カメラビデオプレイヤ表示画面において、主としてカメラ間の地理的または空間的関係に基づいて、複数のカメラビューからのビデオストリームを選択して編成する。これらのビデオストリームは、二次的にはカメラ間の時間的な関係に基づいて編成される。このタイプのカメラ表示の利点は、１つのカメラビューから特定の方向に離れていくことが示されている人物は、この方向に置かれたカメラの別のカメラビューに現われる確率が高いことである。

図３は、実施形態にしたがった、メインカメラに空間的に近接した複数のカメラから得られたビデオストリームによって囲まれたこのメインカメラのビューから得られたビデオストリームを示す、ビデオプレイヤによる空間的表示画面の例を示す図である。このプレイヤ表示画面のレイアウトは、図１と２に示す時間的表示のそれと類似している。ビデオストリーム表示３１０が、ビデオプレイヤで再生されるメインビデオとして選ばれる。このメインビデオは、ユーザによって選ばれるか、または、検出されたイベントから判断される。後者の場合、検出されたイベントは、ある時間期間内でまたはある時点において活動の大部分を有するビデオシーケンスであってもよい。検出されるイベントもまた、ある特定の対象ロケーションで発生する行動であってもよい。例えば、特定のエレベータなどのロケーションの場合、この特定のエレベータでエレベータドアのイベントが検出されると、このエレベータドアを表示しているカメラのビデオをメインビデオとして選ぶことができる。

あるバンク内に入手可能なあらゆるカメラビューを表示するのではなく、メインカメラに空間的に近い位置にあるカメラのグループを選択する。このカメラグループから、メインカメラのビデオストリームに時間的に近いビデオストリームを有しているかどうかを判断することにより、表示のためのカメラ集合を最終的に選ぶ。表示されるビデオストリーム中の画像のリフレッシュ速度を変化させて、ビデオがほとんど流れるように再生されるような効果から数秒から数分にまで及ぶ間にわたって画像が静止したままとどまるような効果にいたる様々な効果を生じさせることができる。フレーム速度が低い、例えば、毎秒１フレーム未満であるような実施形態では、ビデオフレームを定まった時間間隔でサンプリングすることができる。フレーム速度が低い実施形態では、キーフレームの選択は問題となる。ある実施形態では、キーフレームを、性能上の理由で用いたり、一連の動画より良好にイベントを可視化できるという理由で用いたりすることができる。

ある実施形態では、キーフレームを、メインビデオストリームの表示を取り囲むように表示することができる。時間的近接度をゼロに設定した場合、キーフレームは、キーフレームが更新された時に、カメラの集合のリアルタイムビデオストリームから選ばれる。更新されていない場合、キーフレームは、上述のように表示のために選択される。キーフレームのリフレッシュ速度を変化させて、ビデオがほとんど流れるように再生されるような効果から数秒から数分にまで及ぶ間にわたって画像が静止したままとどまるような効果にいたる様々な効果を生じさせることができる。

図３において、メインビデオストリームと他のビデオストリームは、実際のソースカメラを示す色付き境界を有している。例として、メインカメラを含む１２台のカメラを表示のために選択する。この１２台のカメラ集合に対する境界の色は、紺色、薄ピンク色、水色、赤色、オレンジ色、濃紺色、暗緑色、黄色、紫色、褐色、濃ピンク色および明緑色であり、明緑色がメインカメラの境界色となっている。

第１のカメラの視界から歩いて去る人物が隣にある第２のカメラの視界に現われる確率が高くなるように、ビデオストリームをメインビデオストリームの周りに配置するが、このとき、ビデオ表示内の第２のカメラのビデオストリームは、この人物が第１のカメラの視界から歩き去った方向と第１のカメラから見て同じ方向にある。メインビデオストリーム３１０は、赤いボックスで囲まれた二人の人物を映している。この赤いボックスは、活動エリアもしくは対象となる可能性のあるエリアまたは活動が発見されたエリアを示している。このエリアは、例えば、他のビデオストリーム３３０、３５０、３６０および３７０にも見られる。これらの赤いボックスが示されない実施形態もある。

図３のビデオプレイヤ表示画面はタイムライン３８０をも有しており、これは、メインカメラのビデオストリーム３１０の再生位置時刻３８２を示している。プレイヤ表示画面のコントロールボタンには、低速（Slower）ボタン３８４、高速（Faster）ボタン３８６および巻き戻し（Reverse）ボタン３８８が含まれているが、本発明の構成はこれに限られない。ビデオ再生の現在速度３９０は１．０であると示されている。現在速度３９０がこれより高い数値であれば早送り、負の数値であれば巻き戻し再生であることを示している。このプレイヤ表示画面は、図１の場合に上述したコントロールボタンの内のいずれでも有することができる。

１以上のビデオストリームが、メインカメラに対するビデオストリームのカメラの物理的位置から計算された角度でメインビデオストリームを取り囲むように表示される。メインカメラのビデオストリーム内に示される視野の方向は、表示の最上部を指している。メインカメラのビデオストリームの中心から各ビデオストリームの中心までの角度は、メインカメラとこのビデオストリームに対応するカメラとの成す角度に等しいのが理想的である。単純な方法としては、メインカメラから第２のカメラまでの角度を判定し、第２のカメラからのビデオストリームを表示上でのこの方向に配置することができる。しかしながら、この方法では、カメラはカメラ位置からある程度離れた活動動作を映し出すということを考慮に入れていない。メインカメラの物理的位置と第２のカメラの物理的位置との成す角度を用いる代わりに、これら２つのカメラの焦点が成す角度を用いて、第２のカメラのビデオストリームの表示上の位置を決定することができる。

図４に、ある実施形態に関連する、２つのカメラの焦点間の角度を示す図である。焦点距離が変動すると、メインビデオストリーム表示に対するビデオストリームの表示上の配置が非常に異なってしまう可能性がある。図４では、メインカメラ４１０は焦点４２０と視界４３０とを有している。第２のカメラ４４０は焦点４５０と視界４６０とを有している。カメラの物理的位置の成す角度を用いて、表示されるビデオストリームのメインビデオストリーム表示に対する角度を決定した場合、カメラ４２０からのビデオストリームは、メインカメラ４１０のビデオストリーム表示の「右」「上」の方向に、図４中の“Ｘ”で示されるように配置される。

焦点４２０及び４５０を用いる場合、今度は、カメラ４２０からのビデオストリームが、メインカメラ４１０のビデオストリーム表示の「左」「下」方向に、図４中の“Ｙ”で示すように配置される。別の説明の仕方をすると、カメラ４２０のビデオストリーム表示の角度は、メインカメラ４１０からメインカメラ焦点４２０に向かうライン４８０と、メインカメラ焦点４２０から第２のカメラ焦点４５０に向かうライン４９０が形成する角度４７０である。このビデオストリームの配置は正確であるが、これは、ある人物が、メインカメラ４１０の視界の左側から歩き出て行っても、依然としてカメラ４４０のビューで見えているからである。

この方式は、隣接するカメラのビューがオーバーラップしている場合に最も利点がある。このタスクは自動的に実行できるため、この方式によって、多くのビデオストリーム表示の位置に影響を与えることなく個々のカメラを後で配置し直すことができる。この方式を、さらに多数のカメラに規模拡大することもできる。

カメラの相対的な物理的位置を決定する場合、焦点がカメラから１０〜２０フィート（約３〜６メートル）の間にあると、オフィスビルや、例えば空港などの他の人物追跡用途において効果がある。例えば駐車場でのカメラでは、この駐車場の大きさに応じて焦点距離を変動させる必要がある。カメラの焦点は、広角レンズの場合にはカメラにより近づける必要がある。次の式（１）に示す式は、焦点に位置する物体の相対的なサイズを一定に保つための、カメラの視野角αに対する焦点までの距離ｄを決定する。

例えば、４８度という視野角を持つカメラの焦点距離を２０フィート（約６．１メートル）とすると、ｔａｎ（４８／２）＝ｔａｎ（２４）＝０．４４５、ｔａｎ（１００／２）＝ｔａｎ（５０）＝１．１９２であり、したがって（２０×ｔａｎ（４８／２））／ｔａｎ（１００／２）＝７．４７であるから、視野角が１００度のカメラの焦点距離は７．４７フィート（約２．２７８メートル）であるべきである。一般的に、カメラの視野角αは通常のレンズの場合には４８度であり、広角レンズの場合には１００度である。

図３において、より多くのビデオストリームをビデオ表示上に嵌め合わせるため、メインカメラビデオストリームと他のビデオストリームの成す角度をある値に上げ下げして調整することができる。角度誤差の最小面積によって、ビデオストリームの表示上での最良の配置を決定することができる。例えば、ビデオストリームをある誤差範囲、例えば４５度以内で表示上に位置付けすることが不可能な場合、表示されるビデオストリームの数を減らして、各ビデオストリームとメインカメラビデオストリームの間の空間的位置関係を維持する必要がある。

選択されたカメラに最も近い複数のカメラからのビデオストリームが表示に含まれる。ビデオストリームに対して存在する利用可能な表示配置場所より多くのカメラが上記のカメラ集合内に存在する場合、これらの最も近いカメラからのキーフレームが、図１に関連して上述したものと同じ方法で選択され、これらのキーフレームに対応するビデオストリームが表示される。しかしながら、最も近いカメラを選ぶには、カメラ間のユークリッド距離を測定すること以上の情報を必要とする。例えば、ユークリッド距離は、壁や廊下のためにカメラが互いに隔てられるため、オフィスビル内であるカメラから別のカメラにまで人が歩いていくための必要な時間を正しくは反映しない。その代わり、水平距離と垂直距離の和によって決定することが可能な街区間距離の方が正確な結果を生じる。複数フロアの建物の場合、エレベータと階段の位置を考慮すべきである。カメラがそれぞれ違うフロアにある場合、カメラ間の距離は、それぞれのフロアでの最も近いエレベータ／階段との間の距離と、このエレベータに乗るための時間との組み合わせとして決定することができる。

さらに、焦点を用いてカメラ間の距離を測定することによりメインカメラに対する他のカメラの空間的近接度を測定するが、互いに近いが互いに向き合ってはいないカメラではなく、視界が共通であり、程度の差はあっても互いに向き合っているカメラを、特に空間的に近接していると見なすべきである。１対のカメラについて、各々のカメラに対して互いに異なった４つの焦点を選択するものとする。例えば、各々のカメラからの距離として、５フィート（１．５２５メートル）、１０フィート（３．０５メートル）、２０フィート（６．１メートル）および４０フィート（１２．２メートル）という値を選択する。２つのカメラの互いに対応する焦点間の距離の平均を、これらのカメラ間の距離として用いる。この平均値を用いると、互いに近接しているが視界は共有していないカメラを無視することなく、互いを指し示すかまたは互いに向かってって視界を共有しているカメラの対が強調される。図６に見ることができる例では、マップの右上の角にあるカメラ６９２からのビデオストリームはこのマップ上の表示に含まれる。これは、このカメラが、マップの右下の角にあるメインカメラ６４０の方を向いているからである。しかしながら、マップ上のカメラ６９２の直ぐ下にあるカメラ６９４からのビデオストリームはマップには含まれない。これは、このカメラがメインカメラ６４０とは異なる方向を向いているからである。

ある実施形態では、様々な建築構造物とカメラ取り付け位置とに対して、様々な焦点距離集合を用いることができる。互いに異なる焦点距離を任意の数だけ計算で用いることができる。ビデオストリームの時刻をビデオストリーム表示の最上部に示すことが可能な実施形態もある。このような時刻は、ビデオストリーム表示内であればどの位置にでも示すことができる。メインビデオストリームもまた、その時刻を、ビデオストリームの表示の最上部に示すことができる。ある実施形態では様々なカメラからのビューを色以外の方法で区別することができる。

ある実施形態では、カメラの集合からのキーフレームまたはサンプル画像を、ビデオストリームの代わりに表示することができる。さらに、ビデオストリームとキーフレームの任意の組み合わせを表示することができる。加えて、メインカメラビデオストリームから得られたキーフレームまたはサンプル画像を、表示３１０内にビデオストリームの代わりに表示することができる。このカメラの集合内の特定のカメラからのビデオストリーム、キーフレームおよびサンプル画像を全く表示しない場合もあれば、特定のカメラからのビデオストリーム、キーフレームまたはサンプル画像の内の２つ以上を表示する場合もある。

図５に、ある実施形態に関連する、複数のカメラビューから得られたビデオストリームの内の１つを、マップの上での対応するカメラ位置の近傍に示す、ビデオプレイヤの空間的表示画面のカメラ位置マップの代替例を示す。このマップは、廊下５０２、共有エリア５０４、さらに、オフィスと他の部屋５０６を持つオフィスビルフロアを示している。これらのカメラはマップ上に色分けされて示されている。カメラ５１０について、対応するビデオストリーム５２０がカメラ５１０の近くに表示されている。カメラ５１０に対して用いられている同じピンク色をビデオストリーム５２０の境界として用いて、このカメラとこれに対応するビデオストリーム表示を共に結び付けている。他の３つのカメラ、すなわち、赤色カメラ５４０、黄色カメラ５３０および青色カメラ５５０がこの表示用に選択されている。カメラ５６０などの表示用に選択されていないカメラを含むマップ上のすべてのカメラについて、カメラの位置をマップ上ではドットとして示し、カメラの視界をシェーディング（影付きに）されたエリアとして示している。さらに、カメラの視野方向を強調し、矢印で示す。表示用に選択されたこれら４つのカメラを、これらのドットを丸で囲んで表示したり、これらのドット、丸、矢印を色コードで示したりすることによって強調する。図５には示していないが、メインカメラは、そのドット、矢印および視界を拡大することによってさらに強調されている。

ある実施形態では、ライン５７０がビデオストリーム５２０をメインビデオストリーム表示（図示せず）に接続して、ピンク色のカメラ５１０のビデオストリームが表示されるメインカメラとして新たに選択されたことを示している。カメラ５１０が選ばれたことを示すために、このカメラと対応するビデオストリーム５２０が次第に明るくなり（フェードインされ）、ライン５７０がメインビデオストリーム表示（図示せず）にまで伸びて、ビデオストリーム５２０がメインビデオ表示となる。次に、ライン５７０とビデオストリーム５２０が次第に消えていき（フェードアウトし）、新しいカメラが選択されたことを示す。

図５に示すこの種の表示は、図３の表示よりカメラ間の空間的位置関係を良好に維持するとはいえ、これに含まれる同じ表示エリア内の同じサイズのカメラビューやビデオストリームの数は少なくなる。また、図３の表示内のカメラのより抽象的な配置の方が、カメラからカメラを見ながら人物を追跡しやすい。

ある実施形態では、メインカメラからのビデオストリームを、マップの近くに別個に、またはマップ上でメインカメラの近くに表示することができる。複数のビデオストリームをマップに表示したり、どのビデオストリームもマップに表示しないようにしたりする実施形態もある。ある実施形態では、キーフレームまたはサンプル画像をビデオストリームの代わりにマップに表示することができる。ある実施形態では、クロップされた（切り取られた）キーフレーム、画像またはビデオストリームをマップに表示することができる。ある実施形態では、以下に説明する図６に示すように、マップを、時間的または空間的なビデオプレイヤ表示画面と共に表示することができる。ある実施形態では、ドット、丸、矢印、シェーディング（影）、色分け、拡大およびその他の種類の区別するための印の任意の組み合わせを用いて、カメラをマップ上で示したり強調したりすることができる。ビデオストリームを、色以外の方法で区別することができる実施形態もある。

図６に、ある実施形態に関連する、図３に示すものと類似したビデオプレイヤの空間的表示画面の横に図５に示すものと類似したカメラ位置のマップ表示画面を有する例を示す。空間的ビデオプレイヤ表示画面が左側に示されており、マップ表示画面が右側に示されている。空間的ビデオプレイヤ表示画面は、あるカメラのビューと近傍のカメラビューの配置とを描いており、これらのビュー（視野）には２つの廊下の内のどちらかを歩いて行くとたどり着く。図６のマップは、これらの近傍のカメラが物理的にどこに位置しているかを示しており、また、これらのカメラから得られる部分的ビューを示すものである。このマップは、廊下６０２、共有エリア６０４およびオフィスその他の部屋６０６があるオフィスビルのフロア６０２を示している。メインビデオストリーム表示６１０の左側に映っている女性の片足が、ビデオストリーム６１５に示す彼女の左側にあるカメラのビューに見える。彼女は、右折して左上のビデオストリーム６２５に示すカメラビューに現われるか、または、直進して左側の中央のビデオストリーム６２０に示すカメラのビューに現われる可能性がある。メインビデオストリーム表示６１０に映った他方の女性は、右上のストリーム６３５に示すカメラビューの遠方に既に部分的に見えている。ビデオストリーム６３０に示されている残りのカメラビューは配置されている方向は正しいが、より直接的に行ける通路が壁によって塞がれているため、中間にある２つのカメラビューを歩いて通っていかないとたどり着けない。

ビデオプレイヤ表示では、メインビデオストリームとその他のビデオストリームとは、境界に色が着いており、これにより、実際のソースカメラが示されるようになっている。例として、メインカメラを含む６台のカメラを表示用に選択する。この６台のカメラの集合に対する境界の色は、ピンク６１５、黄色６２０、明緑色６２５、暗緑色６３０、青色６３５および赤色であり、赤色がメインカメラの境界色となっている。図６に示すマップ上では、これら６台のカメラは、空間的ビデオプレイヤ表示画面の場合と同じように色分けされて示されている。これらのカメラからのビデオストリームもまた、マップ上でのこれらに対応するカメラの近くに表示される。この例では、ビデオストリームの境界は色分けされていない。マップに表示されるビデオストリームは部分的なビデオストリーム、すなわちクロップされることにより、行動や監視対象の項目の大部分をビデオストリームに示すようにしている。したがって、赤で色分けされているメインカメラ６４０は、部分的ビデオストリーム６４５とメインビデオストリーム表示６１０とに対応している。メインカメラ６４０は、拡大されたドット、丸および矢印を表示することによって強調されている。ピンクに色分けされているカメラ６５０は、部分的ビデオストリーム６５２とプレイヤビデオストリーム６１５とに対応している。黄色に色分けされているカメラ６５４は、部分的ビデオストリーム６５６とプレイヤビデオストリーム６２０とに対応している。明緑色に色分けされているカメラ６６０は、部分的ビデオストリーム６６２とプレイヤビデオストリーム６２５とに対応している。暗緑色に色分けされているカメラ６７０は、部分的ビデオストリーム６７２とプレイヤビデオストリーム６３０とに対応している。青に色分けされているカメラ６９２は、部分的ビデオストリーム６９６とプレイヤビデオストリーム６３５とに対応している。

本発明の実施形態では、プレイヤとマップを互いにいかなる関連性によっても表示することができる。ある実施形態では、ビデオストリームなしで、または１つ以上のビデオストリームと共にマップを表示することができる。ある実施形態では、クロップされたキーフレーム、サンプル画像またはビデオストリームをマップに表示することができる。ある実施形態では、ドット、丸、矢印、シェーディング、色分け、拡大およびその他の種類の区別するための印の任意の組み合わせを用いて、カメラをマップ上で示したり強調したりすることができる。ある実施形態では、ビデオストリームを、色でまたは色以外の方法で区別することができる。

ある実施形態では、ビデオストリーム、キーフレームおよびサンプル画像の任意の組み合わせをマップまたはプレイヤ画面上で表示することができる。加えて、メインカメラビデオストリームから得られたキーフレームまたはサンプル画像を、表示１１０内にビデオストリームの代わりに表示することができる。メインカメラからのビデオストリームやキーフレームが、メインビデオストリームやキーフレーム以外のビデオストリームやキーフレーム内に示されない実施形態もある。タイムラインが表示される実施形態もある。ビデオストリームまたはキーフレーム内に時刻が表示される実施形態もある。

（カメラビュー表示との対話）

警備担当者などのユーザは、上記の時間的表示と地理的表示の内のいずれかをクリックすることで、再生中のメインビデオストリームが、選択されたビデオストリームに対応するカメラと再生位置に切り替わるようにすることによって、複数のビデオカメラをブラウジングすることができる。ユーザは、マップのビデオストリームまたは図７に示す従来式のカメラバンクビデオストリームをクリックすることによってカメラを選択することができる。この技法を用いると、ユーザは、あるカメラビューから別のカメラビューへと行動を追うことができる。ビデオプレイヤと対話するという従来の手段を用いて別の再生位置にスキップする方法に併せて、この技法を用いることができる。例えば、ユーザは依然として再生／一時停止ボタンを用いたり、タイムライン上の位置を選択したりすることができ、これに応じて、システムが、時間的表示と地理的表示用に選択されたカメラビューを自動的に更新する。

空間的表示画面では、カメラビューを変更する場合、ユーザ指向のために、ビデオストリームの新たな位置への移動が動画（アニメーション）化される。ビデオストリームを直線に沿って動画化するのでなく、メインビューの境界の周りで視野の回転を示すように動画化する。ビデオストリームは、同じ方向、すなわち、時計回り方向または反時計回り方向のどちらかの方向に主として回転させることにより、視野の回転を示す。あるビデオストリームを大部分のビデオストリームとは反対の方向に回転させて、その移動距離を減らすようにすることもある。この動画化の持続時間は、非常に速い動きや非常に遅い動きを避けるためにビデオストリームが移動しなければならない距離によって異なる。

図７に、ある実施形態に従った、ユーザが選択したカメラの視界に合うように回転されて中心合わせされる複数のカメラの空間的概観を提供するマップを含む、ビデオプレイヤの空間的表示画面の全体構成の例を示す。図７の例は、図６に部分的に描かれているプレイヤ表示画面の全体構成を示している。加えて、図７は、利用可能なすべてのカメラからのビデオストリームを示しており、ビデオストリームは、従来のカメラバンク７１０として表示されている。このカメラ７２０のバンクは上部に、空間的ビデオプレイヤ表示７２０は左下に、カメラ位置の回転空間マップ７３０は右下に示されている。通常は、このカメラバンクは追跡タスクには必要ない。これは、追跡されている人物は、メインビデオストリーム表示７５０を取り囲んでいるビデオストリーム７６０の内の１つに現われるはずであるからである。しかしながら、追跡中の人物が、あるカメラがカバーしていないエリアに入り込んだり、ユーザが間違ったカメラを選択したりしてビューから完全に消えると、このカメラバンクが、追跡中の人物を再度捕捉するための唯一の手段となる可能性がある。

図７に示すマップ７３０は、ユーザが選んだカメラの視界に合うように回転され中心合わせされるカメラの空間的概観を提供する。このマップは、図５の場合と同じ種類のマップである。ユーザは、マップ上でカメラをクリックするか、空間的ビデオ表示内のビデオストリームをクリックすることにより、カメラビューをメインカメラビデオに選ぶことができる。すると、このマップは、新たに選ばれたカメラのカメラビューと再生位置とに合うように自動的に回転して中心合わせされる。上方向が、この新たなカメラの視野方向である。このようにマップを回転させるのは、ユーザに向きを合わせ、紙の地図の回転をシミュレートするためである。図７では、この新たに選択されたカメラ７７０とそのビューを紫色で示す。この新たに選択されたカメラビューのビデオストリーム７５０もまた、空間的ビデオ表示画面上に示されている。

新たに選択されたカメラの新たな視点に合うようにマップが回転され中心合わせされている間、ユーザ指向のためにマップの動作を動画化することができる。マップ動作の動画化の持続時間は、空間的表示の回転動画と同期を取ることができる。

ある実施形態では、マップ、表示およびバンクを、互いに対してどの位置にでも表示することができる。ある実施形態では、キーフレームやサンプル画像をビデオストリームの代わりに表示することができる。ビデオストリーム、キーフレームおよびサンプル画像のどの組み合わせでも表示することが可能な実施形態もある。

ある実施形態では、ビデオストリーム、キーフレームまたはサンプル画像もまた、マップ上で対応するソースカメラの近くに表示することができる。この場合、ユーザはマップ上に表示されている任意のカメラまたは任意のキーフレームをクリックすることによって、あるカメラを、ビデオストリームを表示するメインカメラとして選択することができる。

図８は、ある実施形態に従った、ユーザが選択したカメラのビューに合うように回転されて中心合わせされる、複数のカメラの空間的概観を提供するマップの例を示す。このマップは、廊下８０２、共有エリア８０４、さらに、オフィスとその他の部屋８０６を持つオフィスビルフロアを示している。この回転されたマップは、図７のマップに類似したマップを拡大したビューを示している。ビデオ表示または空間的表示に示すメインビデオストリームに対応するメインカメラ８１０は、紫色のドットとして示されている。このメインカメラは、そのドット、矢印および視界を拡大することによりさらに強調される。メインカメラの視界は、表示の上部の方向に向けられている。他の１０台のカメラがこの表示用に選ばれており、その内訳は、青色カメラ８１５、褐色カメラ８２０、濃ピンク色カメラ８２５、緑色カメラ８３０、水色カメラ８３５、紺色カメラ８４０、黄色カメラ８４５、薄ピンク色カメラ８５０、暗赤色カメラ８５５および薄赤色カメラ８６０である。カメラ８７０などの表示用に選ばれていないカメラを含むすべてのカメラについて、カメラの位置をマップ上のドットとして示し、カメラの視界をシェーディングされたエリアとして示している。さらに、カメラのビュー方向を矢印で強調して示している。表示用に選ばれたメインカメラ以外の他の１０台のカメラは、そのドットの周りに丸を表示し、さらに、これらのドット、丸および矢印を色分けすることによって強調されている。

プレイヤが生映像のビューまたは記録されているビデオをサポートしていて、次々にシームレスに切り替えることができるような実施形態もある。記録されたビデオは、様々な速度で見たり逆転したりすることもできる。

（システムのハードウエア、ソフトウエアおよびコンポーネント）

本発明は、コンピュータ技術の当業者には明らかなように、本発明の教示にしたがってプログラムされた、従来型の汎用または専用のデジタルコンピュータまたはマイクロプロセッサを用いて簡便に実施することができる。

Ａｘｉｓ ＩＰカメラなどの適切なカメラを用いてビデオストリームを取得し、ＨＴＴＰを介してＭｏｔｉｏｎ ＪＰＥＧとして、またはＲＴＰを介してＭＰＥＧ−４としてビデオにアクセスすることができる。しかしながら、Ｍｏｔｉｏｎ ＪＰＥＧは処理が簡単であり、様々な時刻に対する検索をサポートしている。さらに、Ｍｏｔｉｏｎ ＪＰＥＧは、クライアント側で専用のコーデック（圧縮伸張プログラム）や、データストリームエンコーダ／デコーダを必要とせず、したがって、ビデオプレイヤウインドウ（表示画面）を動画化するＪａｖａ（登録商標）のクライアントを構築することができる。ビデオストリームは様々な解像度で記録することができる。生映像のビデオと記録されたビデオの双方を、デジタルビデオレコーダからＨＴＴＰを介してＭｏｔｉｏｎ ＪＰＥＧとして提供することができる。サーバは、いくつかのビデオプレイヤをサポートすることが可能であり、主に記録されているビデオに対して様々なビデオプレイヤが様々な時間にアクセスする際のハードディスクの待ち時間によって制約される。

本発明はこのようなサーバ等のコンピュータを、本発明のビデオプレイヤ表示画面を含む、定位置にある複数のカメラからのビデオの表示を提供するインタフェース装置として実現できる。

また、本発明はコンピュータをこのようなインタフェース装置として機能させる方法、及びプログラムとして実現できる。コンピュータはプロセッサ及び記憶装置（後述するようなあらゆる機械可読媒体を含む）を備えたコンピュータであってよい。本発明のプログラムは前記記憶装置に記憶されることができ、プロセッサにより実行されることにより、コンピュータを本発明のインタフェース装置として動作させることができる。

ソフトウエア分野の当業者には明らかなように、熟練したプログラマであれば、本発明の教示にしたがって適切なソフトウエアコーディングが容易に作成可能である。汎用／専用コンピュータまたはマイクロプロセッサのプログラミングやソフトウエアには、本発明の教示を実施するソフトウエアモジュールが含まれる。本発明はまた、当業者には容易に分かるように、ＡＳＩＣ（特定用途向けＩＣ）を作成することによって、または従来型のコンポーネント回路を相互接続することによってハードウエアにより実現することもできる。

本発明には、命令を記憶している１つ以上の記憶媒体であり、本明細書に開示する特徴のいずれかを実行するようにコンピュータをプログラムするために用いることが可能なコンピュータプログラム製品を含んでいる。このような記憶媒体には、これらに限られないが、フレキシブルディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブおよび光磁気ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリーデバイス、磁気カードもしくは光カード、ナノシステム（分子メモリーＩＣ）を含む任意のタイプのディスクまたは命令およびデータを記憶するのに適した任意のタイプの媒体やデバイスが含まれる。様々な実施形態には、１つ以上のパブリックネットワークおよびプライベートネットワークの少なくともいずれかを介して全体をまたは部分的に送信することが可能なコンピュータプログラム製品が含まれる。前記送信内容には命令および情報が含まれるが、これらを１つ以上のプロセッサで用いて、本書に公開する特徴のいずれかを実行することができる。様々な実施形態において、前記送信は、互いに別個の送信内容を複数個含めることができる。

コンピュータ読み取り可能媒体の内のいずれかに格納されるものとして、本発明は、汎用／専用コンピュータおよび／またはマイクロプロセッサの双方のハードウエアを制御し、コンピュータおよび／またはマイクロプロセッサが、人間のユーザまたは本発明の成果を利用する他のメカニズムと対話することを可能とするソフトウエア（プログラム）を含んでいる。このようなソフトウエアには、これに限られないが、デバイスドライバ、オペレーティングシステム、ユーザインタフェースおよびアプリケーションが含まれる。最終的に、このようなコンピュータ読み取り可能媒体には、本発明の実施形態を実行するソフトウエアがさらに含まれる。

本発明によるプログラムコードは直接的に実行することもできるし間接的に実行することもできる。このコードには、コンパイル言語、インタープリタ言語および他のタイプの言語が含まれる。請求項によって制限される場合を除き、ある機能のためのコードおよび／またはコードセグメントの実行および送信する動作には、この機能を実施するために、ローカルであれリモートであれ、他のソフトウエアまたはデバイスを起動したり、これらをコール（呼び出し）したりすることが含まれうる。これら起動やコールには、この機能を実行するために、ライブラリモジュール、デバイスドライバ、インタフェースドライバおよびリモートソフトウエアを起動したりこれらをコールしたりすることが含まれうる。これら起動やコールには、分散システムおよびクライアント／サーバシステムにおける起動やコールが含まれうる。

本発明の好ましい実施形態に関する前述の説明は、図示と説明を目的としたものである。本発明は開示するそのままの形態により網羅したりこれらに限定したりすることを意図するものではない。当業者には、多くの修正例や変更例が明らかであろう。本発明の他の特徴、態様および目的は、図面とクレームをよく読めば理解されるであろう。本発明の他の実施形態を開発することが可能であり、これらもまた本発明の精神と請求項の範囲に含まれることを理解されたい。上記の実施形態は、本発明とその実際の応用例とを最もよく説明し、これによって、他の当業者が、様々な実施形態に対する、また、予測される特定の用途に適する様々な修正例を持つ本発明を理解することを可能とするように選ばれている。本発明の範囲は、請求項とその等価物によって定められることを意図するものである。

本実施形態に関連する、メインカメラビューからのビデオストリームと２つのバンド（帯状領域）とを示す、時間的なビデオプレイヤ表示画面の例を示す図であり、複数のカメラビューの過去と未来のビデオストリームの各々がこのメインカメラビューから得られたビデオストリームと時間的に関連しており、これにより、この複数のカメラビューのビデオストリームが、ある時間範囲からのものであるよう構成されている。 本実施形態に関連する、メインカメラのビューからのビデオストリームと１つのバンドとを示す、複数のカメラビューからの過去と未来のビデオストリームの各々がこのメインカメラビデオストリームと時間的に関連しており、これにより、メインカメラビデオストリームの時点以前と以後のある時点から得られたビデオストリームが、定まった時間期間にわたって表示され続けるように同期される。 本実施形態に関連する、メインカメラに空間的に近接した複数のカメラから得られたビデオストリームによって囲まれた、メインカメラのビューから得られたビデオストリームを示す、ビデオプレイヤによる空間的表示画面の例を示す図である。 本実施形態に関連する、２つのカメラの焦点間の角度を示す図である。 本実施形態に関連する、カメラ位置のマップを表示するビデオプレイヤの空間的表示画面の代替例を示す図であり、マップ上でのカメラ位置に対応する近傍の複数のカメラビューから得られたビデオストリームの内の１つを示している。 本実施形態に関連する、図５に示したものと類似したカメラ位置のマップ表示を含む、図３に示したものと類似したビデオプレイヤの空間的表示画面の例を示す図である。 本実施形態に関連する、ユーザが選択したカメラのビューが中心合わせされるように回転される、複数のカメラの空間的概観を示しているマップを含む、ビデオプレイヤの空間的表示画面の全体構成の例を示す図である。 本実施形態に関連する、ユーザが選択したカメラのビューが中心合わせされるように回転される、複数のカメラの空間的概観を提供するマップの例を示す図である。

Claims (40)

1. 定位置にある複数のカメラからのビデオの表示を提供するインタフェース装置であって、
   メインカメラによって取得されたメインビデオストリームを前記インタフェースに表示する第１のインタフェース部分と、
   前記表示されたメインビデオストリームに時間的に関連する１以上のビデオストリームを表示する１つ以上の追加インタフェース部分と、を備え、
   前記ビデオストリームがカメラの集合と前記メインカメラとによって取得されたものであり、前記ビデオストリームの表示が、
   前記ビデオストリームの各々において、前記メインビデオストリームの時点である第１の時間セグメントのビデオ再生位置の第１の集合と、
   前記ビデオストリームの各々において、前記メインビデオストリームの時点以前の第２の時間セグメントのビデオ再生位置の第２の集合と、
   前記ビデオストリームの各々において、前記メインビデオストリームの時点以後の第３の時間セグメントのビデオ再生位置の第３の集合と、
   の内の１つ以上を含む、
   インタフェース装置。
2. 前記１つ以上のビデオストリーム表示の内の１つと関連するビデオストリームが、ユーザが前記ビデオストリーム表示をクリックしたときに対応するビデオ再生位置と共に前記インタフェースに表示される、前記メインビデオストリームとなる、請求項１に記載のインタフェース装置。
3. 前記ビデオストリーム表示の内の１つ以上が静的キーフレームであり、前記キーフレームが、前記ビデオストリームのビデオ再生位置の時点に近いビデオストリームから取られた代表的なビデオフレームである、請求項１に記載のインタフェース装置。
4. 前記キーフレームが、前記第１、第２および第３の時間セグメントの内の１つの時間セグメント内の行動の大部分を含むビデオストリームシーケンスから取られた代表的なビデオフレームである、請求項３に記載のインタフェース装置。
5. 前記行動の大部分を含む前記ビデオストリームシーケンスにおいて、前記シーケンス内のビデオフレーム間で変化する画素数が最大である、請求項４に記載のインタフェース装置。
6. ビデオ再生位置の前記第２の集合が、ビデオストリームの各々において、前記メインカメラの前記ビデオストリームの時点以前の第１の固定時点から始まるものであり、
   ビデオ再生位置の前記第３の集合が、ビデオストリームの各々において、前記メインカメラの前記ビデオストリームの時点以後の第２の固定時点から始まるものである、請求項１に記載のインタフェース装置。
7. 前記インタフェース表示でのビデオストリーム表示の色分けにより、ビデオストリームのソースカメラを識別する、請求項１に記載のインタフェース装置。
8. 前記カメラ集合と前記メインカメラとに対するカメラ位置及びこれらに対応する視野角の空間的ビューを示すマップが、前記インタフェースと共に表示される、請求項１に記載のインタフェース装置。
9. 前記マップ上で、１つ以上のビデオストリームがこれらに対応するソースカメラの隣に表示される、請求項８に記載のインタフェース装置。
10. 前記マップに表示される前記カメラとこれらに対応する視野角とが、前記インタフェースに表示されるソースカメラを識別するためのビデオストリーム表示の色分けと一致するように色分けされる、請求項９に記載のインタフェース装置。
11. 前記第２及び第３のビデオ再生位置集合と関連する前記ビデオストリーム表示の各々が、前記メインビデオストリーム表示の両端部の帯状領域に表示される、請求項１に記載のインタフェース装置。
12. 前記帯状領域と前記メインビデオストリーム表示との隣に表示されるタイムラインをさらに備える、請求項１１に記載のインタフェース装置。
13. 前記複数のカメラの視野方向が固定されている、請求項１１に記載のインタフェース装置。
14. 前記複数のカメラが、前記インタフェースが生のビデオストリームを表示するときにパン動作、傾斜動作およびズーム動作の内の１つ以上を実行する、請求項１に記載のインタフェース装置。
15. 前記カメラ集合が、前記メインカメラに対して空間的に近接している、請求項１に記載のインタフェース装置。
16. 前記第１、第２および第３のビデオ再生位置の集合と関連する前記ビデオストリーム表示が、前記ビデオストリーム内の行動、録画されている空間内の対象のポイントに近いところでの動き、および赤外線運動センサー、顔検出、無線ＩＤタグから得られたイベントの内の１つ以上に対する評価をさらに含む、請求項１に記載のインタフェース装置。
17. 前記第１、第２および第３のビデオ再生位置の集合と関連するビデオストリーム表示が、前記表示された前記メインカメラからのビデオストリームと空間的に関連付けられて前記インタフェースに表示され、
    前記空間的な関連性が、前記メインカメラの物理的位置に対する前記カメラ集合の各々のカメラの相対的な物理的位置に対応し、
    前記ビデオストリーム表示が、前記メインカメラに最も近いカメラ集合のビデオストリームから取られる、
    請求項１に記載のインタフェース装置。
18. 前記１つ以上のビデオストリーム表示の内の１つと関連するビデオストリームが、ユーザが前記ビデオストリーム表示をクリックしたときに対応するビデオ再生位置と共に前記インタフェースに表示される、前記メインビデオストリームになる、請求項１７に記載のインタフェース装置。
19. 前記ビデオストリーム表示の内の１つ以上が静的キーフレームであり、前記キーフレームが、前記ビデオストリームのビデオ再生位置の時点に近いビデオストリームから取られた代表的なビデオフレームである、請求項１７に記載のインタフェース装置。
20. 前記キーフレームが、前記第１、第２および第３の時間セグメントの内の１つの時間セグメント内の行動の大部分を含むビデオストリームシーケンスから取られた代表的なビデオフレームである、請求項１９に記載のインタフェース装置。
21. 前記行動の大部分を含む前記ビデオストリームシーケンスにおいて、前記シーケンス内のビデオフレーム間で変化する画素数が最大である、請求項２０に記載のインタフェース装置。
22. 前記カメラ集合と前記メインカメラとに対する、カメラ位置及びこれらに対応する視野角の空間的ビューを示すマップが、前記インタフェースと共に表示される、請求項１７に記載のインタフェース装置。
23. 前記マップ上で、１つ以上のビデオストリームがこれらに対応するソースカメラの隣に表示される、請求項２２に記載のインタフェース装置。
24. ユーザが前記マップ上で前記ビデオストリームの一つとこれに対応するカメラをクリックすると、前記ビデオストリームが前記メインビデオストリームになる、請求項２３に記載のインタフェース装置。
25. 前記新しいメインビデオストリームの周りを回転し、前記新しいメインビデオストリームに空間的に関連する自身の新たな位置にまで達するように、前記ビデオストリーム表示が動画化される、請求項１７に記載のインタフェース装置。
26. 前記１つ以上のビデオストリーム表示の内の１つと関連するビデオストリームが、ユーザが前記ビデオストリーム表示をクリックしたときに対応するビデオ再生位置と共に前記インタフェースに表示される前記メインビデオストリームになり、
    前記インタフェースに表示される前記新しいビデオストリームに対応する前記新たに選択されたカメラの新たな視点に対して前記マップが中心合わせされるように前記マップの回転運動を示すために、前記空間的マップを動画化する、
    請求項２２に記載のインタフェース装置。
27. 前記新しいメインビデオストリームの周りを回転して、自身の新たな位置にまで達するよう動画化された、前記新しいメインビデオストリームに空間的に関連するビデオストリーム表示の動画化と、前記空間的マップの動画化が同期される、請求項２６に記載のインタフェース装置。
28. 前記メインカメラに対する前記カメラ集合内の各々のカメラの近接度が、前記カメラ集合の内の各々のカメラと前記メインカメラとの間の１つ以上の焦点間の距離の和の平均値を含む、請求項１７に記載のインタフェース装置。
29. 前記メインビデオストリーム表示に対するビデオストリーム表示の空間的関連度が、前記メインカメラの焦点から前記ビデオストリーム表示に対応するカメラの焦点に至るラインと、前記メインカメラの前記焦点から前記メインカメラに至るラインとが形成する角度の測定値をさらに含み、各々のビデオストリーム表示が、前記メインビデオストリーム表示に対して前記測定角度で表示される、請求項１７に記載のインタフェース装置。
30. 前記インタフェース表示でのビデオストリーム表示の色分けにより、ビデオストリームのソースカメラを識別する、請求項１７に記載のインタフェース装置。
31. 前記マップに表示される前記カメラとこれらに対応する視野角とが、前記インタフェースに表示されるビデオストリーム表示のソースカメラを識別するための色分けと一致するように色分けされる、請求項２２に記載のインタフェース装置。
32. 前記複数のカメラの視野方向が固定されている、請求項１７に記載のインタフェース装置。
33. 前記複数のカメラが、前記インタフェースが生のビデオストリームを表示するときにパン動作、傾斜動作およびズーム動作の内の１つ以上を実行する、請求項１７に記載のインタフェース装置。
34. 前記第１、第２および第３のビデオ再生位置の集合と関連する前記ビデオストリーム表示が、前記ビデオストリーム内の行動、録画されている空間内の対象のポイントに近いところでの動き、および赤外線運動センサー、顔検出、無線ＩＤタグから得られたイベントの内の１つ以上に対する評価をさらに含む、請求項１７に記載のインタフェース装置。
35. 定位置にある複数のカメラからのビデオに対するインタフェースと表示とを提供する方法であって、
    あるカメラが取得したビデオストリームをメインビデオストリームとして選択し、
    前記メインビデオストリームを前記インタフェースの第１の部分に表示し、
    前記表示されたメインビデオストリームに時間的に関連する、前記カメラの集合と前記メインカメラとによって取得された１以上のビデオストリームを選択することであって、前記選択が、
    前記ビデオストリームの各々において、前記メインビデオストリームの時点の第１の時間セグメントの再生位置の第１の集合を選択し、
    前記ビデオストリームの各々において、前記メインビデオストリームの時点以前の第２の時間セグメントの再生位置の第２の集合を選択し、
    前記ビデオストリームの各々において、前記メインビデオストリームの時点以後の第３の時間セグメントの再生位置の第３の集合を選択すること、
    の内の１つ以上を含み、
    前記選択されたビデオストリームを、前記メインビデオストリームの表示と時間的に関連させて、１つ以上の追加インタフェース部分に表示すること、
    を含む方法。
36. 前記ビデオストリームの選択が、前記メインカメラに最も近いカメラの集合が取得したビデオストリームを選択することをさらに含む、請求項３５に記載の方法。
37. １つ以上の追加インタフェース部分への表示が、前記選択されたビデオストリームを前記表示されたメインビデオストリームと空間的に関連させて表示することを含み、前記空間的関連性が、前記メインカメラの物理的位置に対する、カメラ集合内の各々のカメラの相対的な物理的位置に対応する、請求項３６に記載の方法。
38. プロセッサを含むコンピュータにおいて、定位置にある複数のカメラからのビデオのインタフェースと表示とを提供する処理を実行するために前記コンピュータが実行可能な命令からなるプログラムであって、前記プログラムは前記プロセッサにより実行されることにより、前記コンピュータに、
    あるカメラが取得したビデオストリームをメインビデオストリームとして選択し
    前記メインビデオストリームを前記インタフェースの第１の部分に表示し、
    前記表示されたメインビデオストリームに時間的に関連する、前記カメラ集合と前記メインカメラとによって取得された１以上のビデオストリームを選択することであって、前記選択が、
    前記ビデオストリームの各々において、前記メインビデオストリームの時点の第１の時間セグメントの再生位置の第１の集合を選択し、
    前記ビデオストリームの各々において、前記メインビデオストリームの時点以前の第２の時間セグメントの再生位置の第２の集合を選択し、
    前記ビデオストリームの各々において、前記メインビデオストリームの時点以後の第３の時間セグメントの再生位置の第３の集合を選択すること、
    の内の１つ以上を含み、
    前記選択されたビデオストリームを、前記メインビデオストリームの表示と時間的に関連させて、１つ以上の追加インタフェース部分に表示すること、
    を含む処理を実行させる、プログラム。
39. 前記ビデオストリームの選択が、前記メインカメラに最も近いカメラの集合が取得したビデオストリームを選択することをさらに含む、請求項３８に記載のプログラム。
40. 前記１つ以上の追加インタフェース部分への表示が、前記選択されたビデオストリームを前記表示されたメインビデオストリームと空間的に関連させて表示することを含み、前記空間的関連性が、前記メインカメラの物理的位置に対する、カメラ集合内の各々のカメラの相対的な物理的位置に対応する、請求項３９に記載のプログラム。

Images