JP2007141228A - 自由視点におけるバーチャルビューの特定および合成 - Google Patents

Abstract

【課題】自由視点テレビにおいて画像に基づくレンダリングを可能にする。
【解決手段】第１視点を有するシーンの第１ビデオストリームおよび第２視点を有するシーンの第２ビデオストリームを受信するシステムであり、第１視点と第２視点との間のカメラ較正量は未知である。視者は、一般に第１視点と第２視点の間の視者視点を選択し、システムは第１ビデオストリームおよび第２ビデオストリームに基づき、視者視点を合成するようになっている。
【選択図】図１

Description

本発明は、バーチャルビューポイントを決定することに関する。

テレビは、過去何十年間における最も重要な視覚情報システムとなる可能性が高く、現代生活の必需品となっている。従来のテレビでは、特定の映像に対するビューアー（視者）の視点は、情報収集カメラの視点によって決定され、固定されている。最近の新技術により、テレビを見ることに革新をもたらすことを約束する自由視点テレビ（ＦＴＶ）が出現した。ＦＴＶの前提は、一組のカメラが捕えた多数の映像ストリームを提供することにより、映像を見るための自らの視点を選択できる自由度を視者に提供できることである。家庭用娯楽のほかにＦＴＶの概念は、他の関連する領域、例えばゲームおよび教育でも使用できる。視者が選択する視点はデータ収集カメラの視点と一致しなくてもよい。従って、ＦＴＶは（２〜３のプリセットされた映像に対してＤＶＤで可能なように）、カメラを切り換えることにより単純に映像を変更するにすぎないというものではない。ＦＴＶ技術はデータ収集ハードウェア、符号化技術、バンド幅管理技術、相互作動性のための標準化などにわたる全範囲の技術を必要とする。ＦＴＶを実現するための特定の技術の１つとして、バーチャルビュー合成がある。

バーチャルビュー合成の本質は、異なる視点から取得したように見える新しい画像を構成するために、異なる視点から取得した所定の一組の画像（または映像）を含む。このマルチ画像変更は画像に基づくレンダリング（ＩＢＲ）とも時々称される。

ＦＴＶアプリケーションでは、カメラ較正情報を利用できる可能性は低い（例えば移動するごとに較正しなければならない多数のカメラで映画を撮影することを想像されたい）。このことによってほとんどのケースでフルカメラ較正を必要とするＩＢＲ方法が一般に使用できないものとなっている。更に、バーチャルビュー合成の前に、バーチャルビューを特定しなければならない。既存のＩＢＲ技術はこれを達成するために種々の方法を使用している。例えば設定全体が完全に較正されるならバーチャルビューの特定は簡単に出来るかもしれない。例えば、バーチャルビューの特定は、バーチャルカメラの中心の射影を含む一部のポイントを選択するユーザマニュアルに基づいて行うことができる。通常のユーザが、所望する（バーチャルな）視点を特定する直感的な方法を必要とする場合、較正されていないカメラを使用するＦＴＶアプリケーションに対しこれらアプローチのいずれも容易に使用できるものではない。

望まれているものは、ＩＢＲに基づくＦＴＶにおけるレンダリング問題に対する枠組みである。このアプローチは入力信号としての較正されていないカメラからの多数の画像を含むことが望ましい。更に、バーチャルビューは主に視者が選択した２つの基本的ビューから合成されるが、画質を改善するために他のビューを使うこともできる。２つの最適な（ユーザが選択した）ビューでスタートすることにより、必要なビューの数を少なくすることにも寄与できる。更に、較正されていないカメラでバーチャルビューを特定するための技術は望ましいものであり、完全なカメラの較正または複雑なユーザとのやりとり、これらはいずれもＦＴＶにとって非実用的である、を要することなくＦＴＶアプリケーションにおけるビューの特定に対する実用的な解決案を提供するものである。

上記課題を解決するために、本発明は、（ａ）第１の視点を有するシーンの第１のビデオストリームを受信するステップと；（ｂ）第２の視点を有する第２のビデオストリームを受信し、前記第１の視点と前記第２の視点との間のカメラ較正量が未知であるステップと；（ｃ）視者が一般に前記第１の視点と前記第２の視点の間の視者視点を選択するステップと；（ｄ）前記第１のビデオストリームおよび前記第２のビデオストリームに基づき、前記視者視点を合成するステップとを備えたことを特徴としたものである。

添付図面を参照し、次の詳細な説明を検討すれば、本発明の上記およびそれ以外の目的、特徴および利点がより容易に理解できよう。

レンダリング解決案に対する好ましい実施例は、数学的なレンダリング技術を必要とするだけでなく、（理想的に）カメラをどのように位置決めすべきかおよびユーザがどのようにレンダリングシステムとインタラクトすべきかを含め、ＦＴＶアプリケーションがどのようにシステム全体を構成すべきかを見通せるようにモデル化しなければならない。

ほとんどのケースでは、一組に固定されているが較正されていないカメラにより、同一シーンの多数の同期化したビューを撮映する。実際に、全てのフレームに対する較正が少ないなら、カメラを移動することは理論的には問題がない。実際には、少なくとも映像を撮る間はカメラは固定されているから、各ショットに対しわずかな較正だけでよいと考えられる。大概の場合は、視者は多数のビデオストリームを利用できる。視者はバーチャルな視点を指定し、システムがその視点に対応するバーチャルな映像を発生することを求める。

代表的なＩＢＲアプローチでは、はっきりとした３Ｄの再構成および再射影を実行しないので、一般的には、物理的に同じ点では、オクルージョンを考えないとしても、バーチャルビューでは所定のビューのうちのいずれかとは異なる色になることがある。異なるビュー間の差は視角、照明および反射モデルなどに応じてほとんど差がない状態から、ドラマチックな差がある状態までの範囲となり得る。従って、ＩＢＲでは、バーチャルビューが所定のビューから過度に離間してはならないという制限を含むべきであることが好ましく、そうでない場合、非現実的な色が生じる可能性がある。

このようなことを考えて、ＦＴＶプログラム内で使用されるカメラは最も関心があると思われる視点が所定のビュー間にくるように、戦略的に配置されていると推測することができる。視者の便宜のために、このことを次のように簡略化できる。すなわちバーチャルビューは所定の多数のビュー（２つ以上）からユーザが選択した任意の２つ（またはそれ以上）のビューの間のビューとして定義される。これら２つのビューの選択は実際には極めて直感的で明白である。例えば、ビュー１が所望するよりも左側に過度に離れ過ぎており、ビュー２が所望するよりも右側に離れ過ぎていると視者が感じた場合、所望するバーチャルビューは、一般にビュー１とビュー２の間のどこかになければならない。

従って、システムはＦＴＶアプリケーションをサポートするために、次の２つの特徴を解決できる。すなわち（１）較正されていないカメラからのマルチビデオストリーム、および任意の２つ（またはそれ以上）のユーザが選択したビューが与えられた場合に、一般に２つ（またはそれ以上）のビュー間のバーチャルビューを合成すること、および（２）利用できる所定のビューに対するバーチャルな視点を特定する直感的な方法を視者に提供することである。

上記のように、ユーザが所望する視点に最も近い２つのビューを有する一組のビデオストリームを有することができる。較正されていないシステムでは、最も近いとはどういうことかを正確に定義できないので、ユーザはビューのペアを選択するかもしれない。他のビュー（ユーザが選択したビューか、または選択していないビュー）を同じように利用できるけれども、２つの特定されたビューを最大限活用することが望ましい。識別目的のためにユーザが選択した２つのビューを基準ビューとすることができる。これら基準ビューは特別に配置されたカメラに特に基づくものではなく、ユーザの選択に基づき、ダイナミックに選択される。

バーチャルビュー合成に対する特に好ましいアプローチは次のステップからなる。

１．視者が選択できる任意のペアを潜在的にサポートするために、すべてのビューをペア状にわずかに較正すること。この較正は、一部のビューを除外できる可能性がある。特に１つのビューが他のビューのペア間にある場合である。

２．他のビューを検討する場合、もし必要なら、２つの基準ビューをカラーセグメント化に基づいて対応させること。

３．ディスパリティマップにより基準ビューからバーチャルビューへ前方方向にワーピングすること。

４．満たされていないピクセルに対し、補助ビュー上で後方サーチを行うためのアルゴリズムを使用し、圧倒的で、かつディスパリティが一貫するカラーを探すこと。

少ない較正によるバーチャルビューの合成
図１に示すように、システムは、システム内でｎ個のカメラを使用することに基づくことができる。基準ビューは、基準カメラ１および基準カメラ２と表示できる。残りのビューは補助カメラｋ（３〜ｎ）と表示できる。基準カメラと補助カメラの間の基本マトリックスを特徴検出器およびＦ₁₃、Ｆ₂₃．．．Ｆ_1n、Ｆ_2nと表示されるランダムサンプルコンセンサス（すなわちＲＡＮＳＡＣ）アルゴリズムで計算する。基準カメラ間の基本マトリックスはＦ₁₂である。カメラを移動しない限り、基本マトリックスの計算は１回行うだけでよい。基準ビューとバーチャルビューとの間の基本マトリックスは、それぞれＦ₁₀およびＦ₂₀と表示される。

基本マトリックスが決まると、カメラ１内の任意のポイントｘに対するカメラ２内の対応するポイントｘ’は、ディスパリティｄを探すのを容易にするために使用できる基本マトリックスを介してｘ’^TＦ₁₂ｘ＝０により拘束される。補助カメラｋ内の対応する第３のポイントはｘ_kによって表示され、このｘ_ｋはｘ_ｋ ^TＦ_1kｘ＝０およびｘ_k ^TＦ_2kｘ’＝０から決定される。ｘとｘ’との間の対応が一旦決定されると、前方向マッピングによりバーチャルビューピクセルｘ”を決定できる。この場合、ｘ”はｘ”^TＦ₁₀ｘ＝０およびｘ”^TＦ₂₀ｘ’＝０の双方を満足する。図１にこれら関係が示されている。

セグメント化に基づく対応
エピポーラ拘束の場合でも、所定のポイントｘに対するディスパリティをエピポーラ線に沿ってサーチすることがまだ望ましい。ｘとｘ’との間の対応を確立するために、最初に基準ビューの各々をセグメント化するためのグラフカットに基づくセグメント化が利用される。各セグメント内のすべてのピクセルに対し、これらピクセルは同じディスパリティを有する、すなわち同じフロントパラレル平面にあると推測される。より正確なモデル化に対しては過剰なセグメント化が好ましく、各セグメントは縦，横とも１５ピクセル以下になるように制限される。これは、画素解像度が７２０×４８０である従来のＮＴＳＣ ＴＶフレームに対して妥当な値である。

上記エピポーラ拘束によって、各セグメントを別の画像にワープすることができる（図１も参照）。一致スコアとして、ＳＳＤ（ｓｕｍ−ｏｆ−ｓｑｕａｒｅｄ−ｄｉｆｆｅｒｅｎｃｅ）またはＳＡＤ（ｓｕｍ−ｏｆ−ａｂｓｏｌｕｔｅ−ｄｉｆｆｅｒｅｎｃｅ）基準を使用する代わりに（絶対値に対する）相対的な差が０.２未満（すなわち｜Ｒ₁−Ｒ₂｜／Ｒ_１＜０.２、ＧおよびＢに対しても同様）である対応するピクセルペアの数をカウントすることのほうが簡単である。セグメント内のピクセルの数によって正規化されるこの数はマッチングスコアとして使用され、このマッチングスコアは基準画像ｉにおける可能なｄおよびｊ番目のセグメントに対して、ｍ_ij（ｄ）と表示される。この尺度は照明条件に対してロバストであることが判っている。

他の基準画像からのマッチングスコアを使用することに加え、次のような、ディスパリティｄを有する基準画像ｉにおけるセグメントｓ_jに対する最終マッチングスコア（ｓ_ijと表示）を次式のように計算することによって、すべての補助画像を組み込むことができる。

ここで、ｍ_ijk（ｄ）は、他の基準または補助カメラｋにおけるセグメントＳ_ｉｊのマッチングスコアである。ｄは基準ビューに対する値であり、他の補助画像内のサーチは、図１に示す関係のビュー間の最大のカラーの一貫性をどのｄが生じさせることができるかをチェックすることと等価である。

更に、上記マッチングスコアに基づき１つのｄを決定する代わりに、次の繰り返し最適化手順においてそのスコアを使用することができる。基本的な技術は、ディスパリティスムーズネスを強めるために、隣接する類似したカラーのセグメントに基づき、各カラーセグメントのマッチングスコアを更新することである。

ここで、φは類似するカラー（所定のスレッショルド下のユークリッドカラー距離によって定義される）を有する隣接セグメントの組であり、βは収束速度を制御する禁止定数（計算を簡潔にするために、２にセットされる）であり、ｋは繰り返し回数である。このシステムは次の停止基準を利用できる。すなわち任意のｄに対し、Ｓ_ijが閾値を越えた場合に、任意の繰り返しｋにおいて、このセグメントに対する更新プロセスは次の繰り返し時に停止する。この全手順は収束する（すなわちセグメントを更新する必要がなくなる）までに終了する。この技術は一般に１０回繰り返した後に収束するので、繰り返し回数を１０に固定する。

双方の基準ビューに対し上記手順を実行し、更に左右一貫性チェックによりディスパリティマップを検証し、バーチャルビューを合成するのに一貫した結果を有するセグメントだけを使用する（従って、一部のセグメントを使用しないことがあるので、その結果、ディスパリティマップが不完全となることがある）。図２では、その結果生じるディスパリティマップと共にカラーセグメント化の結果の２つの例が示されている。

前方ワーピング
検証されたディスプレイマップおよび２つの基準ビューを使用すると、前方ワーピングによりバーチャルビューの初期推定を合成できる。基準ビュー１内のピクセルｘおよび基準ビュー２内のｘ’に対し、バーチャルビュー上のそれぞれに対応するピクセルはｘ”となり、そのカラーは次のように計算される。

ここで、αは基準ビューの寄与分を制御する係数（この係数は他の場所で定義される同じαにセットすることができる）である。前方ワーピングはテクスチャーの詳細を良好に保存でき、このワーピングはリアルタイムのレンダリングをより容易にするよう、ハードウェアで容易に実現できる。図３は、前方ワーピング後に得られる中間画像を示す。

後方サーチおよびプロパゲーション
前方ワーピングによって与えられる初期バーチャルビューでは、「ブラックホール」と呼ばれることがある、多くのカバーされていないピクセルを見ることは、一般的でないとは言えない。これらブラックホールは不完全なディスパリティマップ、例えばオクルージョンに起因するものである。各ブラックホールピクセルに対し、初期合成からのカラー値が割り当てられたピクセルに対する隣接ピクセルがチェックされる。次に、その画像における後方サーチを行うためにそのピクセルのディスパリティを使用する。ディスパリティ空間全体にわたって徹底的なサーチを行う他の類似したディスパリティ、あるいはデプスサーチアルゴリズムとは異なり、好ましいシステムは（割り当てられたカラーを有する）有効な隣接ピクセルのディスパリティ内の限られた範囲内でサーチを行う。このサーチ目標関数は次のように定義される。

ここで、ｄ_nは有効隣接ピクセルのディスパリティであり、ｐ_dnはそのカラーであり、ｐ^-＝｛ｐ_１，ｐ_２｝はｄに対応する２つの基準ビューからのカラーであり、Ｄｉｓｔ_dispおよびＤｉｓｔ_colorはディスパリティおよびカラーで定義される２つの距離関数であり、λは重さ係数である。カラーとディスパリティの差の組み合わせはテクスチャー（カラー）およびデプスの双方のスムーズネスのためのものである。実際に、Ｆ（ｄ）は有効なすべての隣接ピクセルから得られる最小値として設定される。この結果得られるＦ（ｄ）が所定の値を下回るときにしか、新しいディスパリティが受け入れられない。すべての有効な隣接ピクセル上で、すべての可能なｄが検査された後にサーチに失敗した場合、他のピクセルからのプロパゲーションが到着するまで、対応するピクセルはからのままに残される。そうでない場合、式（３）のブレンド方法に基づき、そのピクセルには１つのカラーが割り当てられ、有効であると表示される。それから、他のブラックホールピクセルに対して新しいサーチが続く。

サーチおよびプロパゲーションプロセス後でもそのポイントが双方の基準カメラにおいてみあたらないときは、「ブラックホール」が残されたままとなることがあり得る。このことを解決するために、上記のように同じサーチおよびプロパゲーション方法を使用するが、この場合、ｐ^-＝｛ｐ_i｝，ｉ≠１，２である。このことは、（例えば）ビューのいずれかまたは双方でピクセルがオクルードされ、よってビューの双方が排除されると推測できることを意味する。しかし、他のビューから情報を得ることができうる。補助ビューのいずれかを優先するための情報はないので、ブラックホールを満たすのにビューから見つけられた主要カラーが取り込まれる。ビューの数ｎが大きい場合、多数の画像内でサーチを行うことは、計算上費用がかかるように見えるが、前のステップの後ではカバーされていないピクセルの数が比較的少ないことを考えると、このサーチは実際には極めて高速である。

上記手順により、すべてのピクセルをカバーできるという保証はないことに留意すべきである。例えば、数個のアイソレートされたノイズの多いピクセルによって問題が生じたり、またはすべてのカメラによってシーンがカバーされないことがあるからである。線形補間方法は、前者の状況を取り扱うことができ、一方、後者の状況は、好ましい推測の既に一部となっている自由な視点範囲を拘束することによって軽減できる（すなわちバーチャルビューは常に２つのビューの間にあり、カメラは戦略的に位置決めされる）。

視点の特定
図４には、好ましいプロセス全体に従ったことによって得られる完全なバーチャルビューが示されている。較正されていないビューのみに基づくバーチャルビューを特定するための直感的方法が望ましい。本質的には、この技術は任意の選択された２つのビューの間でバーチャルビューを徐々に変えることができる能力を視者に提供するものである。従って、例えばリモコンボタンによりテレビ画像のカラーやコントラストを制御するのと同じように、望ましい視点が示されるまで、便宜的に±ボタン（または同様なボタン）を押すことにより、バーチャルビューを決定できる（同様に、実現のためにリモコンまたはゲームコンソール上のジョイスティックも使用できる）。

所定のビューの位置および方向を決定するために、その所定のビューに対する並進ベクトルおよび回転マトリックスにより視点を特定できる。しかしながら、テレビ視者にこれを行うことを求めることは現実的ではない。実用的な方法は、実際のビューでスタートし、そのビューを基準として望ましい視点まで視者を移動させることである。このような相対的視点移動は、インタラクティブなやり方でやればユーザに対してより便利である。従って、システムは、あるビューから別のビューへの連続的なバーチャルビューの解釈を可能にすべきである。１つのパラメータαによって補間を制御できる。α＝０のとき、基準ビュー１はそのときのビューであり、αが１まで増加した場合、視点は徐々に別のビュー２まで変化する。説明のために、図５にはモックアップユーザインターフェイスが示されており、ここでは左、右の矢印ボタンが２つの基準ビューからの視点の変化を制御し、視者への視覚的なフィードバックとしてスクリーンに即座にその結果が示される。このシステムは、スクリーン上に同じように２つの基準ビューをディスプレイすることもできる。上下の矢印ボタンは、後述するように、２つの基準ビューの間のパスに沿ったビューの可変性を増すことができる。

較正された画像撮映による視点の補間
最終目標は、較正されたケースを取り扱うことであるが、説明のためのものとして較正されたケースでスタートする。直感的なバーチャルビューの特定をサポートするために、好ましいインターフェイスは図５に示されたインターフェイスに類似している。それぞれ２つの基準ビューに対して、２つのカメラマトリックスを有すると仮定する。

この場合、１つは、２つのビューの間の相対関係にしか関係しない。射影マトリックスの各々に対し、次のようなホモグラフィ変換、すなわち

を適用することにより、カメラを次のような標準形に変換する。

すなわち第１カメラの中心が原点であり、カメラ２は回転Ｒ₂および並進Ｃ₂’によりカメラ２と関連している。

標準形に基づき、バーチャルビューを特定することができる。バーチャルビューに対するカメラマトリックスは次のように示されると仮定する。

基準ビュー１と２との間のパスをパラメータ化するのにαを使用できる。式（８）は次のようになる。

カメラの固有マトリックスに対し、ビュー１からビュー２への漸次変化は、カメラ１がその焦点および基本ポイントをカメラ２のそれらに徐々に変えて行くことによって見ることができる（２つのカメラが同一の場合、所望するような任意の効果は生じない）。従って、固有マトリックスを補間し、次のようなｋ_ν’（α）を得ることができる。

Ｒ₀’（α）に対して次の式を仮定する。

ここでｒ_i、ｓ_iおよびｔ_iはそれぞれｘ軸、ｙ軸およびｚ軸を示す。Ｒ_０’（α）＝［ｒ_０（α），ｓ_０（α），ｔ_０（α）］を次のように構成できる。

式（１２）における第１ステップは、２つの元のｚ軸の補間として新しいｘ軸を構成することである。次に、一時的なｙ軸をｓ’として補間する。ｓ’は新しいｚ軸に垂直とならないことがあることに留意されたい。この場合、新しいｚ軸および一時的なｙ軸により、新しいｘ軸（ｒ₀（α））を構成できる。最後に、新しいｚ軸とｘ軸との外積として新しいｙ軸を構成する。

最後に、次の線形補間を使って新しいカメラの中心を構成できる。

式（１３）から、新しいカメラの中心は２つのカメラの中心を接続するライン上にあり、その結果、エピポーラ拘束に対する縮退が生じるので、バーチャルビュー合成に対してこれを使用してはならない（図１参照）。拘束から派生される利益を維持することが好ましいので、基本マトリックスに基づく方法を依然として適用できるように、この縮退を回避したい。従って、２つのビューの間の正しいラインからパスを離間させなければならない。このことは、式（１３）から計算されたバーチャルカメラの中心のｙ成分を若干大きくすることによって達成できる。実現に際し、ｙ成分を増減することにより、第１方向に垂直に視点を変える効果を更に得ることができる。Ｃ_ν（α）＝［ｘ_ν，ｙ_ν，ｚ_ν］を仮定すると、次のように新しいＣ_ν’（α）を得る。

図６には、この全プロセスが示されている。補間されたＰ₀を用い、バーチャルビュー合成のために、対応する基本マトリックスを計算し、使用することができる。

較正されない画像撮映による視点の補間
次に、較正されないケースを検討する。すなわち基本マトリックスのみからどのように同様な結果を得ることができるかを検討する。基本マトリックスＦ₁₂を仮定した場合、対応する標準形カメラマトリックスは次のとおりとなる。

ここで、ｅ’はＦ₁₂ ^Tｅ’＝０の場合の画像２上のエピポールであり、νを任意の３ベクトルとすることができ、λは０でないスカラーである。再構成されたＰ₂は射影変換に対するものであることに留意されたい。おそらく、基本マトリックスがランダムに選択されるνによって定義されるＰ₂に基づくものである場合、ランダムに選択されるνが妥当なバーチャルビューを結果として生じさせるとは期待できない。近似的に算出された本質的マトリックスからＰを得ることが望ましい。まず、簡単な近似方法により本質的マトリックスを推定する。このエッセンシャルマトリックスは、次のような形式を有する。

未知のカメラマトリックスＫに対し、自動較正は面倒な計算をすることによって焦点距離を回復できるが、ＦＴＶアプリケーションに対し、このことは実用的な選択ではない（取得段階で情報が得られない場合には）。近似として、次のように画像の幅ｗおよび高さｈに基づき、カメラマトリックスのパラメータを設定する。

更に、双方のカメラは同様な構成を有し、エッセンシャルマトリックスＥ₁₂を得るのに同一のＫを使用すると仮定する。エッセンシャルマトリックスを次のように歪対称マトリックスおよび回転マトリックスに分解できる。

ここで、Ｒおよびｔはカメラ１に対するカメラ２の相対的回転および並進マトリックスと見なすことができる。次に、次の式が得られる。

このように、対応する基本マトリックスが復元される。実際のカメラの内部マトリックスを知らなくても、式（１６）内で推定値を有するだけでも、この方法は多数のデータセットによって有効であると証明された。

エッセンシャルマトリックスを推定することにより、較正されたケースに戻っているように見えるが、この方法は真に完全な較正とは全く異なるものである。その理由は、較正されたケースのようにバーチャルビューを特定するのに必要とされる真の回転および並進を推定するのに、式（１６）の近似を使用することを期待できないからである。しかしながら、式（１２）および（１３）に示されるような補間方式において近似を使用することが妥当である。

図７には、カメラ６７から７４まで放物線を通って、断片的な直線に従いカメラ８０まで続く視点移動を伴うパスとして、データを使用することによりシミュレートされた自由視点移動パスを示す図が示されている。一例として、図８（左）は、２つの基準ビューおよび合成された画像の２つの例を示す。図８（右）にはこれらの結果が示されている。好ましい方法は、予備的較正情報を使用しないで、較正されていないビューから純粋に作用することができ、実用的なＦＴＶのための有効な方法としてこのアプローチをレンダリングできる。

これまで明細書で用いた用語および表現は、本明細書では発明を説明する用語として用いたものであり、発明を限定するものとして用いたものではない。これら用語および表現の使用に当たり、図示し、記述した特徴またはその一部の均等物を排除する意図はなく、発明の範囲は特許請求の範囲のみによって特定されるのである。

関連出願
本願は、２００５年１１月１５日に出願された米国仮特許出願第６０／７３７，０７６号に基づく利益を主張するものである。

カメラのレイアウトを示す図である。 カラーセグメント化およびディスパリティマップを示す図である。 前方方向のワーピング後のバーチャルビューを示す図である。 処理後のバーチャルビューを示す図である。 インターフェイスを示す図である。 基準ビューの関数としてバーチャルビューを示す図である。 シミュレートされたバーチャル視点を示す図である。 合成されたビューおよび基準ビューを示す図である。

符号の説明

１、２…基準カメラ、３〜ｎ…補助カメラ。

Claims (11)

1. （ａ）第１の視点を有するシーンの第１のビデオストリームを受信するステップと；
   （ｂ）第２の視点を有する第２のビデオストリームを受信し、前記第１の視点と前記第２の視点との間のカメラ較正量が未知であるステップと；
   （ｃ）視者が一般に前記第１の視点と前記第２の視点の間の視者視点を選択するステップと；
   （ｄ）前記第１のビデオストリームおよび前記第２のビデオストリームに基づき、前記視者視点を合成するステップとを備えたことを特徴とする、視点を合成するための方法。
2. 前記視者が、各々が異なる視点を有する３つ以上のビデオストリームのグループから、前記第１の視点および前記第２の視点を選択することを特徴とする、請求項１記載の方法。
3. 第３の視点を有する第３のビデオストリームを受信するステップを更に備え、前記第１の視点、第２の視点および第３の視点の各ペアに対し、ペア状の較正を決定することを特徴とする、請求項１記載の方法。
4. 前記視点のうちの１つの前記較正を選択的に排除するステップを更に含むことを特徴とする、請求項３記載の方法。
5. 前記第１の視点と前記第２の視点との間のカラーに基づき、セグメント化するステップを更に含むことを特徴とする、請求項１記載の方法。
6. ディスパリティマップに基づき、前記第１の視点および前記第２の視点からバーチャルビューまで、前方方向にワーピングするステップを更に含むことを特徴とする、請求項１記載の方法。
7. 主要なディスパリティの一貫したカラーを探すために、第３の視点に基づき、後方へのサーチを使用するステップを更に含むことを特徴とする、請求項６記載の方法。
8. 特徴検出器およびランダムサンプルコンセンサスに基づき、前記第１の視点と第２の視点との間の関係を決定することを特徴とする、請求項１記載の方法。
9. 前記ディスパリティがエピポーラ拘束に基づくものであることを特徴とする、請求項６記載の方法。
10. 前記視者視点を並進および回転によって特定することを特徴とする、請求項１記載の方法。
11. 前記視者視点がユーザにより複数の潜在的視点から選択可能であることを特徴とする、請求項１記載の方法。

Images