JP2014501973A - ３ｄビデオ情報をサーバからクライアントに送信するための方法および装置 - Google Patents

Abstract

１組の３Ｄオブジェクトおよび光源に関するジオメトリおよび材質情報を定義する情報であり、かつサーバに記憶された３Ｄシーンモデルの３Ｄ表現を、データ通信ネットワークを介してサーバから第１のクライアント装置に送信するための方法が開示され、３Ｄ表現は、第１のクライアント装置に関連付けられた第１のユーザに対する仮想視点に対応しており、方法は、サーバで、３Ｄシーンモデルから３Ｄオブジェクトに関する表現情報を導出するステップと、表現情報の圧縮を実施するステップと、表示するために、圧縮された表現情報を第１のクライアント装置に向けて転送するステップとを含み、表現情報が、３Ｄオブジェクトに関する照明情報をさらに含み、また３Ｄオブジェクトに関する照明情報が、ユーザに対する複数の仮想視点に対応している。サーバ、および経路指定手段。

Description

本発明は、サーバからクライアントへの３Ｄビデオをレンダリングするための方法および装置の分野に関する。典型的な用途では、３Ｄビデオは、クライアント装置に関連付けられた２Ｄディスプレイによりユーザに表現される。ディスプレイ上に表現された２Ｄ画像は、仮想３Ｄシーンモデルにおけるユーザの仮想視点に対応することができる。

高性能な３Ｄレンダリングを必要とする（ゲームおよびユーザインターフェースを含む）用途が増加しつつある。３Ｄレンダリングに関する既存のソリューションは、様々な原理に基づいている。３Ｄゲームまたはアプリケーションでは、環境は、３Ｄ空間にオブジェクトを含むシーンとして表現される。これらのオブジェクトは、通常、例えば、三角形ファセットを含むファセット構造として定義される。これらのファセットはまた、非常に簡単な関数（固定色または階調）による、またはピクチャ（例えば、ＪＰＥＧファイル）による、あるいは表面の物理的な挙動のより複雑な表現（例えば、Ｅｕｒｏｇｒａｐｈｉｃｓ Ｒｅｎｄｅｒｉｎｇ Ｗｏｒｋｓｈｏｐ １９９９の会議録におけるＪａｎ ＫａｕｔｚおよびＭｉｃｈａｅｌ Ｄ．ＭｃＣｏｏｌ、「Ｉｎｔｅｒａｃｔｉｖｅ Ｒｅｎｄｅｒｉｎｇ ｗｉｔｈ Ａｒｂｉｔｒａｒｙ ＢＲＤＦｓ ｕｓｉｎｇ Ｓｅｐａｒａｂｌｅ Ａｐｐｒｏｘｉｍａｔｉｏｎｓ」により述べられたいわゆるＢＲＤＦ（双方向反射率分布））による所定の「テクスチャ」を備えている。オブジェクトの次に、光源が、特有の特性（色、拡散モデルなど）を用いて定義される。

現在の展開は、３Ｄ処理および２Ｄ処理を、サーバノードで共に動作させる（さらにその２Ｄをクライアントに向かうビデオストリームに出力して、クライアントに関連付けられた２Ｄディスプレイ上で表現する）、または家庭で（プレイステーション、ＰＣなど）共に動作させる（図１を参照のこと）。３Ｄ処理および２Ｄ処理は分割することができないので、分散処理を行うことは可能ではない。さらに、処理は、アプリケーションごとに、かつユーザごとに行う必要がある。これは、明らかにスケーラビリティの問題を生ずる。

Ｅｕｒｏｇｒａｐｈｉｃｓ Ｒｅｎｄｅｒｉｎｇ Ｗｏｒｋｓｈｏｐ １９９９の会議録、Ｊａｎ ＫａｕｔｚおよびＭｉｃｈａｅｌ Ｄ．ＭｃＣｏｏｌ、「Ｉｎｔｅｒａｃｔｉｖｅ Ｒｅｎｄｅｒｉｎｇ ｗｉｔｈ Ａｒｂｉｔｒａｒｙ ＢＲＤＦｓ ｕｓｉｎｇ Ｓｅｐａｒａｂｌｅ Ａｐｐｒｏｘｉｍａｔｉｏｎｓ」 ２００８年、第１５回ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、ＩＣＩＰの会議録、Ｎ．Ｓｔｅｆａｎｏｓｋｉ他、「Ｓｐａｔｉａｌｌｙ ａｎｄ ｔｅｍｐｏｒａｌｌｙ ｓｃａｌａｂｌｅ ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ａｎｉｍａｔｅｄ ３Ｄ ｍｅｓｈｅｓ ｗｉｔｈ ＭＰＥＧ−４／ＦＡＭＣ」 第７回Ｅｕｒｏｇｒａｐｈｉｃｓ Ｗｏｒｋｓｈｏｐ ｏｎ Ｒｅｎｄｅｒｉｎｇの会議録、Ｈｅｎｒｉｋ Ｗａｎｎ Ｊｅｎｓｅｎ、「Ｇｌｏｂａｌ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｕｓｉｎｇ Ｐｈｏｔｏｎ Ｍａｐｓ」 Ａ Ｗａｔｔ、「Ａｄｖａｎｃｅｄ ａｎｉｍａｔｉｏｎ ａｎｄ ｒｅｎｄｅｒｉｎｇ ｔｅｃｈｎｉｑｕｅｓ」７−９章、ＩＳＢＮ ９７８−０２０１５４４１２１ ＭＰＥＧ４規格「ＦＡＭＣ（Ｆｒａｍｅ−ｂａｓｅｄ Ａｎｉｍａｔｅｄ Ｍｅｓｈ Ｃｏｍｐｒｅｓｓｉｏｎ：フレームベースアニメーション付メッシュ圧縮）」、第１６部ＡＦＸ（Ａｎｉｍａｔｉｏｎ Ｆｒａｍｅｗｏｒｋ ｅＸｔｅｎｓｉｏｎ：アニメーションフレームワーク拡張）の追補２

本発明の一目的は、上記の問題のうちの少なくとも１つを解決する、請求項１による方法、請求項６によるサーバ、および請求項１０による経路指定手段を提供することである。

本発明の第１の態様によれば、１組の３Ｄオブジェクトおよび光源に関するジオメトリおよび材質情報を定義する情報であり、かつサーバに記憶される３Ｄシーンモデルの３Ｄ表現を、データ通信ネットワークを介してサーバから第１のクライアント装置に送信するための方法が開示され、３Ｄ表現は、第１のクライアント装置に関連付けられた第１のユーザに対する仮想視点に対応しており、方法が：
− サーバで、３Ｄシーンモデルから３Ｄオブジェクトに関する表現情報を導出するステップと、
− 表現情報の圧縮を実施するステップと、
− 表示するために、圧縮された表現情報を第１のクライアント装置に向けて転送するステップとを含み、
表現情報が、３Ｄオブジェクトに関する照明情報をさらに含み、また３Ｄオブジェクトに関する照明情報が、ユーザに対する複数の仮想視点に対応する。

ジオメトリ情報は、３Ｄシーンモデル内のオブジェクトの（おそらく変化する）ジオメトリに関する情報である。

材質情報は、３Ｄオブジェクトを定義する（仮想の）材質の光学的特性を定義する情報である。材質情報は、各３Ｄオブジェクトと光の相互作用を記述する情報を含むことができる。材質情報は、オブジェクトまたはオブジェクトの部分の色、光吸収、拡散、屈折、および反射パラメータのうちの少なくとも１つを含むことができる。材質情報は、複数の、またはすべてのこれらのパラメータを含むことができる。

光源情報は、光源の数、シーン中の光源の仮想位置、光源のタイプ、放射光の強度などを含むことができる。

本発明の実施形態によれば、表現情報の一部である照明情報は、前記圧縮された表現情報内に圧縮される。

好ましい実施形態によれば、圧縮は、時間圧縮および空間圧縮の少なくとも一方を含む。それ自体に対する時間圧縮および空間圧縮は、当業者に知られており、例えば、３Ｄメッシュの領域で見出すことができる（２００８年、第１５回ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、ＩＣＩＰの会議録で、Ｎ．Ｓｔｅｆａｎｏｓｋｉ他による「Ｓｐａｔｉａｌｌｙ ａｎｄ ｔｅｍｐｏｒａｌｌｙ ｓｃａｌａｂｌｅ ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ａｎｉｍａｔｅｄ ３Ｄ ｍｅｓｈｅｓ ｗｉｔｈ ＭＰＥＧ−４／ＦＡＭＣ」で述べられている）。

好ましい実施形態によれば、方法は、フォトンマッピング技法により照明情報を導出するステップをさらに含む。

照明情報は、本発明の実施形態によれば、シーンの照明に関する色情報を作成するために、フォトンマッピング機構（例えば、第７回Ｅｕｒｏｇｒａｐｈｉｃｓ Ｗｏｒｋｓｈｏｐ ｏｎ Ｒｅｎｄｅｒｉｎｇの会議録で、Ｈｅｎｒｉｋ Ｗａｎｎ Ｊｅｎｓｅｎによる「Ｇｌｏｂａｌ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｕｓｉｎｇ Ｐｈｏｔｏｎ Ｍａｐｓ」で述べられている）を適用することにより導出される。これは、反射、屈折、影、および拡散に関して、シーンに対する光源の効果を計算するステップを含み、シーン中の選択された点の色情報が得られる。色に関するこの情報は、次いで、１つまたは複数の要約フォトンテーブルに記憶され、またこれらのテーブルは、その後に続いて、好ましくは、（時間の特有な点におけるシーン表現に含まれる）空間的に、かつ（時間の様々な点におけるシーン表現を参照して）時間的に圧縮される。

好ましい実施形態によれば、表現情報は、オブジェクトの３Ｄファセット構造情報を含み、また照明情報は、ファセットに関する各照明情報を含む。

照明情報は、シーン情報をファセットのそれぞれに関する色情報へと変換するために、例えば、Ａ Ｗａｔｔ、「Ａｄｖａｎｃｅｄ ａｎｉｍａｔｉｏｎ ａｎｄ ｒｅｎｄｅｒｉｎｇ ｔｅｃｈｎｉｑｕｅｓ」７−９章、ＩＳＢＮ ９７８−０２０１５４４１２１で述べられたレイトレーシング機構を適用することにより導出することができる。これは、反射、屈折、影、および拡散に関して、シーンに対する光源の効果を計算するステップを含み、ファセットのそれぞれに対する色情報が得られる。色に関するこの情報は、次いで、好ましくは、（時間の特有な点におけるシーン表現に含まれる）空間的に、かつ（時間の様々な点におけるシーン表現を参照して）時間的に圧縮される。

本発明の好ましい実施形態によれば、表現情報は、サーバと、サーバによりサービスされるいくつかのクライアント装置との間の必要なデータフローの数を低減する解決策を提供するために、データ通信ネットワーク上でさらに使用される。データ通信ネットワークは、したがって、サーバから圧縮された表現情報を受信する少なくとも中間ノードを備え、中間ノードは、圧縮された表現情報から第１のユーザに関する必要な表現情報を導出し、必要な表現情報を使用して、第１のクライアント装置に対するシーン上に２Ｄビューを作成し、かつ同じ圧縮された表現情報から第２のユーザに関連付けられた第２のクライアント装置に関する必要な表現情報を導出し、さらに第２のユーザが、同じ３Ｄシーンモデルに関連付けられ、かつ第１のユーザの仮想視点と同じ、または異なる仮想視点を有しており、それに対して、照明情報がまた、第２のユーザの仮想視点からのシーン上に２Ｄビューを作成するように表現される。

本発明の実施形態によれば、第２のユーザは、第１のユーザと同じであることができる。第２のクライアント装置および第１のクライアント装置は、その場合、同じ、または異なるものとすることができる。

本発明の実施形態によれば、第１および第２のクライアント装置は同じであるが、第１および第２のユーザは同じではない。第１のユーザ、および第１のユーザとは異なる第２のユーザに対するビューをレンダリングすることは、例えば、単一のディスプレイ上で実施することができ、それにより、各ユーザには、表示領域の半分が割り当てられる。

各クライアント装置は、例えば、２Ｄ画像／ビデオを表示するための画面として、単一の表示手段を備える、またはそれに関連付けることができる。

本発明の第２の態様によれば、１組の３Ｄオブジェクトおよび光源に関するジオメトリおよび材質情報を定義する情報である３Ｄシーンモデルの３Ｄ表現を、データ通信ネットワークを介してクライアント装置に送信するためのサーバが開示され、３Ｄ表現は、クライアント装置に関連付けられたユーザに対する仮想視点に対応しており、サーバが：
− ３Ｄシーンモデルから３Ｄオブジェクトに関する表現情報を導出し、
− 表現情報の圧縮を実施し、かつ
− 表示するために、圧縮された表現情報をクライアント装置に向けて転送する
ように構成され、
サーバが、３Ｄオブジェクトに関する照明情報を含む表現情報を導出するようにさらに構成され、また３Ｄオブジェクトに関する照明情報が、ユーザに対する複数の仮想視点に対応している。

好ましい実施形態によれば、サーバは、表現情報の時間および空間圧縮の少なくとも一方を実施するようにさらに構成される。好ましい実施形態によれば、サーバは、フォトンマッピング技法により照明情報を導出するようにさらに構成される。

好ましい実施形態によれば、サーバは、３Ｄオブジェクトの３Ｄファセット構造情報、および各ファセットに関する各照明情報を導出することにより、表現情報を導出するようにさらに構成される。

本発明の第３の態様によれば、通信ネットワークに対する、例えば、ルータとしての経路指定手段が開示され、請求項６から９のいずれかによるサーバに関する圧縮された表現情報を受信するように構成され、かつ、
− 前記サーバによりサービスされる第１のクライアントに関連付けられた第１のユーザに関する前記圧縮された表現情報から、必要な表現情報を導出すること、
− 第１のユーザに関する前記必要な表現情報に基づいて、前記第１のユーザに対する前記３Ｄシーン上に２Ｄビューを作成すること、
− 第２の装置に関連付けられた第２のユーザに関する必要な表現情報を、同じ圧縮された表現情報から導出することであり、前記第２のユーザが、同じ３Ｄシーンモデルに関連付けられ、かつ第１のユーザの仮想視点と同じ、または異なる仮想視点を有しており、それに対して、照明情報がまた、第２のユーザの視点からのシーン上に２Ｄビューを作成するように表現されること、および
− 前記第２のユーザに関する必要な表現情報に基づいて、第２のユーザの視点からのシーン上に２Ｄビューを作成すること
を実施するようにさらに構成される。

本発明のさらなる態様は、従属請求項により述べられる。従属請求項からの特徴、独立請求項のいずれの特徴、および他の従属請求項のいずれの特徴も、特許請求の範囲で定義された特定の組合せに限るのではなく、当業者が適切であると考えるように組み合わせることができる。

当業者であれば理解されるように、本発明の態様の１つに関して述べられた特徴はまた、他の態様と組み合わせることもできる。

添付図面は、本発明の実施形態を例示するために使用される。

各アプリケーションおよび各ユーザに対して「カメラ」の処理インスタンスが必要な、現在の技術水準による３Ｄレンダリングプロセスを示す図である。 表現情報が３Ｄオブジェクトに関する照明情報を含み、照明情報がユーザに対する複数の仮想視点に対応している本発明による実施形態を示す図である。 各アプリケーションおよび各ユーザに対して「カメラ」の処理インスタンスが必要な、現在の技術水準による３Ｄレンダリングプロセスを示す図である。 表現情報が３Ｄオブジェクトに関する照明情報を含み、照明情報がユーザに対する複数の仮想視点に対応している本発明による実施形態を示す図である。 表現情報が３Ｄオブジェクトに関する照明情報を含み、照明情報がユーザに対する複数の仮想視点に対応している本発明による実施形態を示す図である。 表現情報が３Ｄオブジェクトに関する照明情報を含み、照明情報がユーザに対する複数の仮想視点に対応している本発明による実施形態を示す図である。 表現情報が３Ｄオブジェクトに関する照明情報を含み、照明情報がユーザに対する複数の仮想視点に対応している本発明による実施形態を示す図である。

参照記号は、様々な図もしくは図面における同様の、または等しい要素もしくは特徴に対して同じであるように選択される。

本発明の諸態様の説明は、特定の実施形態により、かついくつかの図面を参照して行われるが、本発明はそれに限定されない。示された図は、概略的なものに過ぎず、限定するものと見なすべきではない。

本開示の諸実施形態によれば、３Ｄシーンの中間表現が生成され、それは、現実感のある照明を作成するために負担の多い処理を行った結果である。この中間表現は、クライアント側の比較的簡単なプロセスにより、そこから複数の仮想視点を作成するために使用することができ、また限られた処理機能を有する装置で動作することができる。こうすることにより、例えば、クラウドにおける高性能サーバで、アプリケーションごとに単一の処理インスタンスを動作させることが可能になり、一方、２Ｄビューが、比較的低性能の機器を用いて、ユーザの近傍もしくは家庭で構成される。これは図２で示されている。その結果、３Ｄシーンからの情報の転送は以下のように分割することができる（図７を参照のこと）：
− シーンの進展（すなわち、ポリゴンメッシュの動き）の構造的記述、
− 時間Ｔ＋１におけるシーンに対する時間予測のために使用される、時間Ｔにおけるシーンに関する照明情報などの参照情報、
− 参照情報に対する残りの情報を提供する更新ストリーム。

以下のセクションは、このプロセスを詳細に説明し、かつどのようにしてシーンを符号化できるかに関する２つの例示的なアルゴリズムを示す。

改良された時間および空間圧縮のために３Ｄアニメーションを符号化する概念は、既存のＭＰＥＧ４規格「ＦＡＭＣ（Ｆｒａｍｅ−ｂａｓｅｄ Ａｎｉｍａｔｅｄ Ｍｅｓｈ Ｃｏｍｐｒｅｓｓｉｏｎ：フレームベースアニメーション付メッシュ圧縮）」、第１６部ＡＦＸ（Ａｎｉｍａｔｉｏｎ Ｆｒａｍｅｗｏｒｋ ｅＸｔｅｎｓｉｏｎ：アニメーションフレームワーク拡張）の追補２で述べられている。この研究および他の同様の研究の目標は、シーン中の動いているオブジェクトに対応し、かつメッシュの点の位置、および時間経過に伴うその動きに対する圧縮アルゴリズムを記述するポリゴンメッシュ情報の交換を容易にすることであった。

しかし、シーンの符号化／復号は、レンダリングプロセスのうちの最も負担の多いサブプロセスではなく、ライティングプロセスをさらに、各動画化されたフレームに対して行う必要がある。後者は、現在の技術水準の技法により行うことができるが、莫大な量の処理パワーが必要となる。

３Ｄ情報を移送する効率は、照明の側面に関して様々な方法で改良することができる。改良の一部は、複数の視点に関する情報を再使用することにより得られる。シーン内で、大部分の照明は、仮想視点から独立している。より具体的には、影およびシーン内の反射（すなわち、他のオブジェクトに対する１つのオブジェクトの反射）は、視点にわたって再使用可能である。二人のユーザが、同じシーンに対するビューを要求したとき、照明情報を再使用することは、二重の処理を回避し、したがって、処理要件を低減することができる。

第２の改良は、以下のことなど、照明情報における時間および空間的な冗長性を利用することにより行うことのできる利点による。すなわち：
− シーン照明は、通常、空間的に非常に相関のある結果を生成する。言い換えると、白い花瓶だけを含むシーンを見る場合は、「白」が、その照明されたモデルに対する良好な予測となるよい機会である。我々は、参照情報として白のファセットを使用することができ、色および影におけるより微妙な変化を反映する照明更新情報でこれを補完することができる。
− 同じ相関が、時間的にも当てはまる（例えば、オブジェクトが、動画化されたシーンで枢動した場合、時間Ｔにおけるそのファセットの色は、時間Ｔ＋１におけるその同じファセットの色に対する良好な予測である）。

図４および図５で示される参照符号器は、一般的なレベルにおけるプロセスを述べている。照明アルゴリズムが、照明された３Ｄシーンを作成するために使用される（すなわち、シーン上の光源の影響を考慮に入れる）。シーンの構造は、次いで「従来の」メッシュ符号化技法を用いて符号化される。本発明の実施形態によれば、照明情報は符号化され、メッシュと組み合わされて出力ストリームになる。両方の場合に対して、符号化は、プロセス中の符号化／復号ループに基づいて時間参照を作成するものと考える。照明されたモデルを入力する方法、特に照明の符号化を最適化する方法が異なる複数のアルゴリズムを、次にこのモデルにプラグインすることができる。

使用できるいくつかの方法を以下で述べる。

レイトレーシング（図３を参照のこと）は、３Ｄシーン表現からフォトリアリスティックな２Ｄビューを作成するための技法である。基本原理は、シーンを通る光線の横断と、その物理的な特性（反射、拡散など）がシミュレートされることである。最も使用される形態は、ビューポートにおける各点に対して、カメラから到来する光線をシミュレートすることである。オブジェクトとの光線の交差点で、二次光線が、この点で輝く光を求めて回転する。その光線が他のオブジェクトに当たった場合、これは、そのオブジェクトが影の中に存在することを意味する。そうではない場合、その点における光の強度を、二次光線の距離および角度から計算することができる。一次および二次の光線は共に、オブジェクトから「跳ね返って」反射を生成することもでき、各跳ね返りは、再度さらなる光線を生成する。光線の量は、指数的に増加する可能性があり、したがって、この技法は、非常に計算量が多くなることは明らかである。

基本的なレイトレーシングアルゴリズムは、単一段階（ｐｈａｓｅ）の技法であり、したがって、処理を多量のプロセスと少量のプロセスの間で分散させることは不可能である。しかし、第１の予測としてビューに対する１つのトレースプロセスの結果を、第２のビューに対して使用することができる。こうすることにより、１つのストリームからの参照情報を、他のものに対する第１の予測としての使用することが可能になり、個々の２Ｄストリームとしてよりも、ストリームを良好に空間的かつ時間的に圧縮できるようになる。

処理における利点の損失の他に、基本的なレイトレーシングはまた、いくつかの効果の表現で限定される。いくつかの興味ある最近の手法は、２段階を使用する：最初にシーンに対する光の影響がシミュレートされ、その後に、レイトレーシングプロセスが、表面の色の良好な推定としてこの情報を使用する。１つの一般的なアルゴリズムである「フォトンマッピング」では、シーンの光の影響は、例えば、シーンを横断する多数のフォトンを、それらがオブジェクトにより吸収される、またはシーンを去るまで、シミュレートすることにより計算される。この結果は、要約され（「フォトンの収集（ｇａｔｈｅｒｉｎｇ ｐｈｏｔｏｎｓ）」）、かつ１つまたは複数のいわゆる「フォトンマップ」に記憶される（複数のマップは、シーンのいくつかのより複雑な領域の付近にフォトンを集中させるために使用することができる）。基本的なレイトレーシングを行う場合、多すぎる二次のストリームを送る必要性を回避するために、複数のビューおよび光線が、これらのテーブルを利用することができる。フォトンマッピングおよびレイトレーシングを２つの異なるプロセスに入れることにより、複雑さをネットワークにわたって分散させることができる。したがって、フォトンマップは、符号化される必要がある。図６は、フォトンマッピング技法と共に使用する符号器プロセスの詳細を示している。

本発明によるいくつかの実施形態の説明において、様々な特徴が、様々な本発明の態様の１つまたは複数のものを理解するのに役立つように、その単一の実施形態、図、または記述へと共にグループ化されることがある。これは、必ずしもグループのすべての特徴が、特定の問題を解決するために示されていると解釈すべきではない。本発明の諸態様は、特定の実施形態の記述に示された特徴のこのようなグループのすべての特徴よりも少ないところに存在する可能性がある。

本明細書で述べられたいくつかの実施形態は、他の実施形態に含まれているいくつかの特徴を含み、その他の特徴を含まないが、当業者であれば理解されるように、様々な実施形態の特徴の組合せは、本発明の範囲に含まれるものであり、かつ様々な実施形態を形成することを意味している。

Claims (10)

1. １組の３Ｄオブジェクトおよび光源に関するジオメトリおよび材質情報を定義する情報であり、かつサーバに記憶される３Ｄシーンモデルの３Ｄ表現を、データ通信ネットワークを介して前記サーバから第１のクライアント装置に送信するための方法であって、前記３Ｄ表現が、前記第１のクライアント装置に関連付けられた第１のユーザに対する仮想視点に対応しており、方法が、
   − 前記サーバで、前記３Ｄシーンモデルから前記３Ｄオブジェクトに関する表現情報を導出するステップと、
   − 前記表現情報の圧縮を実施するステップと、
   − 表示するために、前記圧縮された表現情報を前記第１のクライアント装置に向けて転送するステップとを含み、
   前記表現情報が、前記３Ｄオブジェクトに関する照明情報をさらに含み、また前記３Ｄオブジェクトに関する照明情報が、ユーザに対する複数の仮想視点に対応する、方法。
2. 圧縮が、時間圧縮および空間圧縮の少なくとも一方を含む、請求項１に記載の方法。
3. フォトンマッピング技法により、前記照明情報を導出するステップをさらに含む、請求項１に記載の方法。
4. 前記表現情報が、前記オブジェクトの３Ｄファセット構造情報を含み、また前記照明情報が、前記ファセットに関する各照明情報を含む、請求項１から３のいずれか一項に記載の方法。
5. 前記データ通信ネットワークが、前記圧縮された表現情報が受信される少なくとも中間ノードを備え、また前記中間ノードが、前記圧縮された表現情報から、前記第１のユーザに関する必要な表現情報を導出し、前記必要な表現情報を使用して、前記第１のクライアント装置に対するシーン上に２Ｄビューを作成し、かつ同じ圧縮された表現情報から第２のユーザに関連付けられた第２のクライアント装置に関する必要な表現情報を導出し、前記第２のユーザが、同じ３Ｄシーンモデルに関連付けられ、かつ第１のユーザの仮想視点と同じ、または異なる仮想視点を有しており、それに対して、照明情報がまた、前記第２のユーザの仮想視点からのシーン上に２Ｄビューを作成するように表現される、請求項１から４のいずれか一項に記載の方法。
6. １組の３Ｄオブジェクトおよび光源に関するジオメトリおよび材質情報を定義する情報である３Ｄシーンモデルの３Ｄ表現を、データ通信ネットワークを介してクライアント装置に送信するためのサーバであって、前記３Ｄ表現が、前記クライアント装置に関連付けられたユーザに対する仮想視点に対応しており、サーバが、
   − 前記３Ｄシーンモデルから前記３Ｄオブジェクトに関する表現情報を導出し、
   − 前記表現情報の圧縮を実施し、かつ
   − 表示するために、前記圧縮された表現情報を前記クライアント装置に向けて転送するように構成され、
   前記サーバが、前記３Ｄオブジェクトに関する照明情報を含む表現情報を導出するようにさらに構成され、また前記３Ｄオブジェクトに関する前記照明情報が、ユーザに対する複数の仮想視点に対応する、サーバ。
7. 前記表現情報の空間圧縮および時間圧縮の少なくとも一方を実施するように構成される、請求項６に記載のサーバ。
8. フォトンマッピング技法により、前記照明情報を導出するようにさらに構成される、請求項６から７のいずれか一項に記載のサーバ。
9. 前記３Ｄオブジェクトの３Ｄファセット構造情報と、各ファセットに関する各照明情報とを導き出すことにより表現情報を導出するようにさらに構成される、請求項６から８のいずれか一項に記載のサーバ。
10. 請求項６から９のいずれか一項に記載のサーバに関する圧縮された表現情報を受信するように構成された、通信ネットワークに対する経路指定手段であって、
    − 前記サーバによりサービスされる第１のクライアントに関連付けられた第１のユーザに関する前記圧縮された表現情報から、必要な表現情報を導出すること、
    − 前記第１のユーザに関する前記必要な表現情報に基づいて、第１のユーザに対する前記３Ｄシーン上に２Ｄビューを作成すること、
    − 第２の装置に関連付けられた第２のユーザに関する必要な表現情報を、同じ圧縮された表現情報から導出することであり、前記第２のユーザが、同じ３Ｄシーンモデルに関連付けられ、かつ第１のユーザの仮想視点と同じ、または異なる仮想視点を有しており、それに対して、照明情報がまた、第２のユーザの仮想視点からのシーン上に２Ｄビューを作成するように表現されること、および
    − 前記第２のユーザに関する必要な表現情報に基づいて、第２のユーザの仮想視点からのシーン上に２Ｄビューを作成すること
    を実施するようにさらに構成される、経路指定手段。

Images