JP2009124685A - 複数のビデオを結合してリアルタイムで表示する方法及びシステム - Google Patents

Abstract

【課題】複数のビデオを結合してリアルタイムで表示する。
【解決手段】シーンに関して一組の狭角ビデオ及び広角ビデオが取得され、広角ビデオの視野は狭角ビデオの視野に実質的に重なる。広角ビデオを用いて狭角ビデオ間でホモグラフィが求められる。狭角ビデオの時間的に対応する選択画像が変換及び結合されて１つの変換画像にされる。変換画像及び出力装置の表示画面のジオメトリに従って出力ビデオのジオメトリが求められる。ホモグラフィ及び表示画面のジオメトリはグラフィックプロセッサユニットに記憶され、一組の狭角ビデオの以後の画像はグラフィックプロセッサユニットにより変換及び結合され、出力ビデオがリアルタイムで作成される。
【選択図】図１Ａ

Description

本発明は、包括的には画像処理に関し、特に複数の入力画像シーケンスを結合して単一の出力画像シーケンスを生成することに関する。

デジタル画像形成では、複数の入力画像から出力画像を生成することのできる主な方法として以下の２つがある。合成は、別個の入力画像からの視覚的要素（物体）を結合して、全ての要素が同一シーンの部分であるかのような錯覚を生じさせる。モザイク及びパノラマは、複数の入力画像全体を結合して単一の出力画像にする。通常、モザイクは、何らかのタイル状に配置された重なりのない画像から成る。パノラマは普通、ビューの広角表現を指す。

複数の入力シーケンス（入力ビデオ）からの画像全体を結合して単一の出力画像シーケンス（出力ビデオ）を生成することが望ましい。例えば、監視用途では、比較的大きな屋外シーンの高解像度画像シーケンスを得ることが望ましい。これは通常、一台のカメラにより「ズーム」アウトして視野を広げることによって行うことができる。しかし、ズームは出力画像の鮮明度及び細部を低下させる。

以下のタイプの結合方法、すなわち、視差解析、奥行きレイヤ分解、及び画素の対応関係は既知である。視差解析では、運動視差を用いて、画像の結合を可能にするシーンの３Ｄ構造を推定する。レイヤ分解は一般に、複数の奥行きレイヤに分解することのできるシーンに制限される。画素の対応関係は、立体技法及び奥行き推定を必要とする。しかし、出力画像は多くの場合、奥行きエッジに縞及びハロー等の目障りなアーティファクトを含む。一般に、従来技術の方法は複雑であり、リアルタイム用途に適していない。

したがって、複数の入力ビデオを結合して１つの出力ビデオにし、この出力ビデオをリアルタイムで表示することが望ましい。

或るシーンに関して複数の狭角カメラにより一組の入力ビデオが取得される。各カメラは、そのシーンの異なる視野を有する。すなわち、視野は最小の重なりで実質的に当接する。同時に、広角カメラがシーン全体の広角入力ビデオを取得する。広角カメラの視野は、一組の狭角カメラの視野に実質的に重なる。

次に、広角ビデオの対応画像が、広角ビデオを用いて結合されて、一台のカメラで取得したように見える単一の出力ビデオにされる。すなわち、出力ビデオの解像度は複数の入力ビデオの解像度の略合計である。

従来技術で通常行われるように、従来のモザイクを生成することになる様々な画像間の直接変換を求めるのではなく、本発明は、狭角ビデオの補正及び結合のために広角ビデオを用いる。本発明による補正は、従来技術のような幾何学的補正に限定されず、比色補正も含む。比色補正により、出力ビデオがあたかも一台のカメラにより取得されたかのように、出力ビデオが確実に均一な色及び利得で表示できるようにする。

また、本発明の目的として、複数のビデオの取得及び表示をリアルタイム性能で同時に行う。本発明は、手動での位置合わせ及びカメラ校正を必要としない。カメラのビュー間に重なり量があれば、これを最小化することができる。

方法及びシステムの概要
図１Ａは、本発明の一実施形態による、或るシーンに関して一組の狭角カメラ１０１により取得される一組の狭角入力ビデオ１１１を結合して、表示装置１０８に対して１つの出力ビデオ１１０をリアルタイムで生成するシステムを示す。

入力ビデオ１１１は、広角カメラ１０２により取得される広角入力ビデオ１１２を用いて結合される。出力ビデオ１１０は表示装置１０８上に提示され得る。一実施形態において、表示装置は一組の投影表示装置を含む。好ましい実施形態では、狭角カメラ毎に１つのプロジェクタがある。プロジェクタはフロントプロジェクタであってもリアプロジェクタであってもよい。

図１Ｂは、一組の狭角画像１１１を示す。画像１１１’は後述される参照画像である。広角画像１１２は破線で示す。見て分かるように、１つの利点として、入力画像が矩形である必要はない。また、入力画像が互いに位置合わせされている必要はない。点線３０１は１つの表示画面のものであり、実線３０２は最大の内接矩形を示す。

本明細書中で用いられる広角及び狭角という用語は、相対的なものに過ぎない。すなわち、広角カメラ１０２の視野は、狭角カメラ１０１の視野に実質的に重なる。実際、狭角カメラは基本的に通常の角度を有し、広角カメラは単に２倍の倍率を有する。本発明の広角カメラを、非常に幅広い半球画像を撮影する従来の魚眼レンズカメラと混同すべきではない。本発明の広角カメラに顕著な歪みはない。従来の魚眼レンズを用いる場合、画像１１２の歪みをレンズ歪みパラメータに応じて補正することができる。

一組の入力ビデオ１１１間には、最小の重なりがあってもよい。一般的に、広角カメラ１０２の視野は、一組の狭角カメラ１０１の視野を合わせたものを包含すべきである。好ましい一実施形態において、広角カメラ１０２の視野は、４台の狭角カメラ１０１のビューを合わせたものよりもわずかに大きい。したがって、出力ビデオの解像度は、一組の入力ビデオ１１１の解像度の略合計である。

カメラ１０１〜１０２は、ネットワーク１０４を介してコンピュータ１０３のクラスタに接続される。これらのコンピュータは従来のものであり、バスにより接続されたプロセッサ、メモリ及び入出力インタフェースを備える。コンピュータは、本発明による方法を実行する。

本説明を簡略化するため、本発明の詳細を、一台の狭角カメラを用いる場合に関して説明する。その後、本発明の実施形態を複数の狭角解像度カメラに拡張する方法を説明する。

広角カメラ
本発明における広角カメラの使用にはいくつかの利点がある。第１に、一組の入力ビデオ１１１間に重なりがあれば、これを最小限にすることができる。第２に、位置ずれ誤差が無視できる。第３に、本発明を複雑なシーンに適用することができる。第４に、出力ビデオをジオメトリ及び色の両方に関して補正することができる。

広角ビデオ１１２と一組の狭角ビデオ１１１との間に大きな重なりがあることにより、画像特徴から変換を求めることができる。これにより、シーンの平面領域における本発明の変換に誤差が生じ難くなる。したがって、全体的な位置合わせ精度が向上し、奥行きの複雑さの点でより複雑なシーンを比較的小さな位置ずれ誤差で位置合わせすることができる。広角解像度ビデオ１１２はジオメトリ及び色補正情報の両方を提供する。

システムの構成
一実施形態では、図１Ａに示すように、狭角カメラ１０１が２×２のアレイ状に配置され、一台の広角カメラ１０２が狭角カメラの上又はそれらの間に配置される。上述のように、広角カメラの視野は、狭角カメラ１０１の視野を合わせたものである。

各カメラは、ネットワーク１０４を通じてコンピュータ１０３のうちの１つに接続される。各コンピュータは、グラフィックス処理装置（ＧＰＵ）１０５を構成するグラフィックスハードウェアを備える。好ましい一実施形態において、カメラのフレームレートは同期される。しかしこれは、シーン中の移動要素（画素）の数が小さい場合は必要ない。

本発明の背景にある着想として、高速コンピュータグラフィック用途に用いられるような現代のＧＰＵは、画像を非常に速く、すなわちリアルタイムで処理することができる。したがって、本発明では、変換パラメータ及びジオメトリパラメータをＧＰＵに読み込み、入力ビデオを後述するようにリアルタイムで結合及び変換する。

各コンピュータ及びＧＰＵは、表示装置１０８に接続され、この表示装置１０８上に出力ビデオが表示される。好ましい一実施形態では、２×２のディスプレイアレイを用いる。各ディスプレイは、コンピュータのうちの１つに接続される。しかし、本発明は、コンピュータ、ＧＰＵ及び表示装置の異なる組み合わせとも機能することができることを理解すべきである。例えば、本発明は、単一のコンピュータ、ＧＰＵ及び表示装置、並びに複数のカメラと機能することができる。

画像変換
図２は、本発明による方法の詳細を示す。各狭角（ＮＡ）ビデオ１１１及び広角（ＷＡ）ビデオ１１２の時間的に対応する選択画像の組２００から始める。時間的に対応するとは、選択画像が略同時に取得されることを意味する。例えば、各ビデオの１番目の画像である。タイミングの正確な一致は、カメラを同期させることにより達成することができる。後述するように、必要に応じて、時間的に対応する画像の組２００を定期的に選択してＧＰＵパラメータを更新することができることに留意すべきである。

各選択ＮＡ画像２０１及び対応するＷＡ画像２０２に関して、後述するように特徴２１１を検出する（２１０）。

次に、検出された特徴間の対応関係２２１を求める（２２０）。

この対応関係から、広角ビデオ１１２を用いて狭角画像１１１間のホモグラフィ２３１を求める（２３０）。このホモグラフィにより、入力画像２０１を変換及び結合して（２４０）、単一の変換画像２４１を得ることができる。

ホモグラフィにより、変換画像を包含する単一の最大の内接矩形画像３０２のジオメトリ２５１を求めることができる（２５０）。ジオメトリは、表示装置１０８のジオメトリ、例えば、１つ（又は複数）の表示画面の配置及びサイズも考慮する。基本的に、ディスプレイのジオメトリが出力ビデオの外観を定める。サイズは、画素数、例えば幅及び高さ、又は幅及びアスペクト比で指定することができる。

狭角ビデオ間のホモグラフィ２３１及び出力ビデオのジオメトリは、様々なプロセッサ１０３のＧＰＵ１０５に記憶される。

ここで、一組の狭角入力ビデオ１１１の以後の画像をＧＰＵによりストリーミングして（２６０）、ホモグラフィ及び表示画面のジオメトリに応じて出力ビデオ１１０をリアルタイムで作成することができる。上述のように、ＧＰＵパラメータは、ストリーミング中に変化する環境に合わせて、必要に応じて動的に更新することができる。

上記では、シーンが十分な量の静的物体を含むものと仮定する。さらに、移動物体がカメラに対して略同じ距離を保つものと仮定する。移動物体の数は限定されない。

動的更新
ホモグラフィ、ジオメトリ及び色補正は、変化するシーン及び変動する照明条件に対応するために、ＧＰＵにおいて定期的に、例えば毎分又は何らかの他の間隔で更新することができることを理解すべきである。これは特に、大きな物体が定期的にシーンに出入りする可能性のある屋外シーンに適している。更新は、シーン中の移動物体又は影にも敏感であり得る。

特徴検出
異なる視野により、入力画像中の特徴にはスケールに違いがある場合がある。このスケールの違いに対応するために、本発明では、スケール不変特徴検出器、例えばスケール不変特徴変換（ＳＩＦＴ）を用いる（Ｌｏｗｅ著“Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，６０（２）：ｐｐ９１−１１０，２００４（参照により本明細書中により援用される））。角及び線（エッジ）検出器等の他の特徴検出器を代わりに用いるか、又はそれらを用いて特徴の数を増やすことができる。特徴検出は、ＧＰＵを用いることにより高速化できることに留意すべきである。

特徴間の初期の対応関係２２１を求める（２２０）ために、まず、各特徴の近傍で勾配ヒストグラム（ＨｏＧ）を求める。ＨｏＧ間の差が閾値より小さい特徴が、対応関係の候補となる。Ｌ２ノルムを距離の測定基準として用いる。

射影変換
結合中の視点変換（２４０）は、３×３の射影変換行列またはホモグラフィ２３１により近似することができる。ホモグラフィは、特徴２１１の対応関係２２１から求める。対応関係の候補の一部が誤一致である可能性があるため、修正ＲＡＮＳＡＣ手法を用いてホモグラフィを求める（Ｆｉｓｃｈｌｅｒ他著“Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ：Ａ ｐａｒａｄｉｇｍ ｆｏｒ ｍｏｄｅｌ ｆｉｔｔｉｎｇ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ａｕｔｏｍａｔｅｄ ｃａｒｔｏｇｒａｐｈｙ”，Ｃｏｍｍｕｎ．ＡＣＭ，２４（６）：ｐｐ３８１−３９５，１９８１（参照により本明細書中に援用される））。

小さな射影誤差でホモグラフィを求めようとするだけでなく、さらに、ホモグラフィに当てはまる対応関係の数が或る閾値よりも大きいことを要求する。

として示される、各狭角画像２０１と広角画像２０２との間のホモグラフィを求める。ここで、ｉは狭角画像の組をインデックス付けし、ｊは複数ある場合の広角画像をインデックス付けする。狭角画像のうちの１つである画像１１１’（図３を参照）を、参照画像ＮＡ_ｉｒとして選択する。画像ｉを次式により参照画像に変換する。

ここで、ｉ_ｒ＝ｉである場合、

の単位行列となる。各ホモグラフィ２３１

を、対応するカメラｉに接続されたコンピュータのＧＰＵに記憶する。

レンズ歪み
ほとんどのカメラレンズは或る量の歪みを有する。その結果、シーン中の直線が画像中では曲線のように見える。多くの用途において、レンズ歪みは、べき級数の最初の２項のパラメータを推定することによって補正される。レンズ歪みパラメータが分かっている場合、ＧＰＵで画素毎の探索操作として補正を行うことができる。

付加的な制約
対応関係２２１のみからホモグラフィ２３１を求めるのではなく、画像中の直線を考慮することにより付加的な制約も含めることができる。Ｃａｎｎｙエッジ検出器を用いて画像中の線を検出することができる。利点として、線の対応関係により画像境界にまたがる連続性を高めることができる。点ｘ及び線ｌは射影幾何学において双対である。画像Ｉ_ｉと画像ｌ_ｉ’との間のホモグラフィＨが与えられると、次式が成り立つ。

ここで、Ｔは転置演算子である。

ディスプレイの構成
ホモグラフィ２３１を得た後、図３に示すように、参照画像１１１’の座標系において変換され結合された画像２４１を求める。

入力画像１１１のどの部分が結合され出力画像１１０中に表示されているかを判定するために、出力画像を表示装置１０８のジオメトリに従って分割する。図３は、４台の表示装置の正面図である。破線３０１は、４つの表示画面間の継ぎ目を示す。

第１ステップでは、変換され結合された画像２４１内の最大の矩形３０２を見つける。この最大の矩形は、表示装置のアスペクト比にも一致し得る。この最大の矩形をさらに、表示装置の構成に従って分割する（３０１）。

結合
ホモグラフィ及びジオメトリを求めてＧＰＵ１０５に記憶した後、入力ビデオストリーム２６０の個々の画像をリアルタイムで変換しサイズ変更することができる。クロッピングは、表示面のジオメトリ２５１に従う。

したがって、ＧＰＵに記憶されるパラメータは、狭角画像を選択参照画像１１１’の座標系に変換するために用いられる３×３のホモグラフィ、各変換画像のｘ及びｙオフセット４０１（図４を参照）、並びに各変換済入力画像のサイズ（幅及び高さ）を含む。オフセット及びサイズは、結合画像２４１及び表示装置１０８の構成から求められる。

上述のように、各画像は、ホモグラフィ２３１を用いて変換される。ホモグラフィによる変換は射影変換である。この演算はＧＰＵ１０５によりサポートされる。本発明では、この変換をＧＰＵにおいて次のように行うことができる。
頂点毎に：ポリゴンの頂点（ジオメトリ）を変換し、画像をテクスチャマップとして貼り付ける。
画素毎に：出力画像の画素毎に複数の入力画素の探索を行い、これらの入力画素を結合して単一の出力画素にする。

ＧＰＵは、テクスチャ関数内での補間により、ディスプレイのジオメトリに合わせてサイズ変更を行うことができることに留意すべきである。

ＧＰＵによるグラフィックスハードウェアのサポートのため、上記方法の両方に関してリアルタイムでの変換、サイズ変更及び表示を達成することができる。

入力画像が重なる場所では、多帯域混合技法（Ｒａｓｋａｒ他に対して２００４年６月２９日付で発行された米国特許第６，７５５，５３７号“Ｍｅｔｈｏｄ ｆｏｒ ｇｌｏｂａｌｌｙ ａｌｉｇｎｉｎｇ ｍｕｌｔｉｐｌｅ ｐｒｏｊｅｃｔｅｄ ｉｍａｇｅｓ”（参照により本明細書中に援用される））を用いて、それらの画像を混合して出力ビデオにすることができることに留意すべきである。混合は、出力画像全体にわたって均一な強度を保つ。

色補正
本発明の色補正方法は以下のステップを含む。各入力画像１１１の各特徴付近の局所近傍の画素クラスタを求める。この画素クラスタを隣接又は近傍の画素クラスタと照合する。次に、これらの画像間のオフセット及び３×３の色変換を求める。

入力画像の（ＲＧＢ）色空間における３Ｄヒストグラムを求めることにより、画素をクラスタリングする。異なる画像間には何らかの色変換が存在する場合があるが、ヒストグラム中のピークは一般に、シーンの同一部分を表すクラスタに対応する。小さなクラスタは不一致となる傾向があるため、画素数が或る閾値よりも大きいクラスタのみを考慮する。２つの対応するクラスタを有効な一致として認める前に、それらのクラスタの統計量に対して付加的な試験を行う。統計量、例えば平均及び標準偏差は、装置に依存しないＣＩＥＬＡＢ色空間を用いるＬａ^＊ｂ^＊色域マップを用いて求められる。

クラスタ毎に、また隣接クラスタに関して平均及び標準偏差を求める。差が或る閾値未満である場合、対応クラスタに有効な一致として印を付ける。このプロセスを全ての対応特徴の局所近傍の全ての認められたクラスタに関して繰り返す。

ｎ個の対応関係を処理した後、次式により色変換を求める。

ここで、行列Ａ^＋は疑似逆変換行列Ａである。

上記の色変換は入力画像の内容に基づく。一部の色が過剰表現されるのを防ぐために、含まれる３Ｄヒストグラムのピークを追跡することができる。既に表現されているピーク位置は、まだ含まれていない位置のためにスキップされる。

上述のように、本発明では各カメラ、プロセッサ、ビデオストリーム及び表示装置を別々に扱ってきた。ホモグラフィ及びジオメトリパラメータを除けば、プロセッサ間で交換される情報はない。しかし、ネットワークを通じて画像のどの部分を送り、何らかの他のタイル状の表示装置に表示すべきかを判定することができる。

本発明では、複数の広角カメラを用いることもできる。この場合、カメラ間のジオメトリ、すなわち位置及び向きを求める。カメラをオフラインで校正するか、又はカメラ間に重なりを要求し、それに基づいてジオメトリを定めることができる。

本発明を好ましい実施形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び修正を行ってもよいことが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入る変形及び修正を全て網羅することである。

本発明の一実施形態による、複数の入力ビデオを結合して１つの出力ビデオを生成するシステムの概略図である。 一組の狭角入力画像及び広角入力画像の概略図である。 本発明の一実施形態による、複数の入力ビデオを結合して１つの出力ビデオを生成する方法のフロー図である。 本発明の一実施形態による表示装置の正面図である。 本発明の一実施形態によるオフセットパラメータを示す図である。

Claims (14)

1. 複数のビデオを結合してリアルタイムで表示する方法であって、
   或るシーンの一組の狭角ビデオを取得するステップと、
   前記シーンの広角ビデオを取得するステップであって、前記広角ビデオの視野は前記狭角ビデオの視野に実質的に重なる、広角ビデオを取得するステップと、
   前記狭角ビデオの各々の一組の時間的に対応する選択画像と前記広角ビデオの時間的に対応する選択画像とを用いて前記狭角ビデオ間のホモグラフィを求めるステップと、
   前記狭角ビデオの前記時間的に対応する選択画像を変換及び結合して１つの変換画像にする、選択画像を変換及び結合するステップと、
   前記変換画像及び出力装置の表示画面のジオメトリに従って、出力ビデオのジオメトリを求めるステップと、
   前記ホモグラフィ及び前記表示画面の前記ジオメトリをグラフィックプロセッサユニットに記憶するステップと、
   前記ホモグラフィ及び前記ジオメトリに従って、前記グラフィックプロセッサユニットにおいて前記一組の狭角ビデオの以後の画像を変換及び結合して、前記出力ビデオをリアルタイムで作成する、以後の画像を変換及び結合するステップと、
   を含む、複数のビデオを結合してリアルタイムで表示する方法。
2. 前記狭角ビデオの前記視野は、最小の重なりで実質的に当接する、請求項１に記載の複数のビデオを結合してリアルタイムで表示する方法。
3. 前記出力ビデオの解像度は、前記一組の狭角ビデオの解像度の略合計である、請求項１に記載の複数のビデオを結合してリアルタイムで表示する方法。
4. 一組の前記広角ビデオを取得するステップと、
   前記一組の広角ビデオの時間的に対応する選択画像を用いて前記ホモグラフィを求めるステップと、
   をさらに含む、請求項１に記載の複数のビデオを結合してリアルタイムで表示する方法。
5. 前記グラフィックプロセッサユニットにおいて前記ホモグラフィを定期的に更新するステップをさらに含む、請求項１に記載の複数のビデオを結合してリアルタイムで表示する方法。
6. 前記一組の狭角ビデオは一組の狭角カメラにより取得され、前記広角ビデオは広角カメラにより取得され、
   前記各カメラをコンピュータに接続するステップであって、前記各コンピュータは前記グラフィックプロセッサユニットを含む、接続するステップをさらに含む、請求項１に記載の複数のビデオを結合してリアルタイムで表示する方法。
7. 前記狭角ビデオ毎に１つの表示画面がある、請求項６に記載の複数のビデオを結合してリアルタイムで表示する方法。
8. 前記時間的に対応する選択画像中の特徴を検出するステップと、
   前記特徴間の対応関係を求めて前記ホモグラフィを求める、対応関係を求めるステップと、
   をさらに含む、請求項１に記載の複数のビデオを結合してリアルタイムで表示する方法。
9. 前記出力ビデオの前記ジオメトリは、前記変換画像に内接する最大の矩形に依存する、請求項１に記載の複数のビデオを結合してリアルタイムで表示する方法。
10. 前記出力ビデオの前記ジオメトリは、前記一組の狭角ビデオに対するオフセットを含み、前記表示画面の前記ジオメトリは前記表示画面のサイズを含む、請求項１に記載の複数のビデオを結合してリアルタイムで表示する方法。
11. 前記結合中に前記一組の狭角ビデオの前記以後の画像を混合するステップをさらに含む、請求項１に記載の複数のビデオを結合してリアルタイムで表示する方法。
12. 前記選択画像は各入力ビデオの１番目の画像である、請求項１に記載の複数のビデオを結合してリアルタイムで表示する方法。
13. 前記広角ビデオの前記時間的に対応する選択画像に応じて前記出力画像の色を補正するステップをさらに含む、請求項１に記載の複数のビデオを結合してリアルタイムで表示する方法。
14. 複数のビデオを結合してリアルタイムで表示するシステムであって、
    或るシーンの一組の狭角ビデオを取得するように構成された一組の狭角カメラと、
    前記シーンの広角ビデオを取得するように構成された一組の広角カメラであって、前記広角ビデオの視野は前記狭角ビデオの視野に実質的に重なる、一組の広角カメラと、
    前記狭角ビデオの各々の一組の時間的に対応する選択画像と前記広角ビデオの時間的に対応する選択画像とを用いて前記狭角ビデオ間のホモグラフィを求める手段と、
    前記狭角ビデオの前記時間的に対応する選択画像を変換及び結合して１つの変換画像にする、選択画像を変換及び結合する手段と、
    前記変換画像及び出力装置の表示画面のジオメトリに従って、出力ビデオのジオメトリを求める手段と、
    前記ホモグラフィ及び前記表示画面の前記ジオメトリを記憶するように構成されたグラフィックプロセッサユニットと、
    前記ホモグラフィ及び前記ジオメトリに従って、前記グラフィックプロセッサユニットにおいて前記一組の狭角ビデオの以後の画像を変換及び結合して、前記出力ビデオをリアルタイムで作成する、以後の画像を変換及び結合する手段と、
    を備える、複数のビデオを結合してリアルタイムで表示するシステム。

Images