JP2014523207A

JP2014523207A - ワイヤレス３ｄストリーミングサーバ

Info

Publication number: JP2014523207A
Application number: JP2014520395A
Authority: JP
Inventors: シェス、ソハム・ブイ．; ラビーンドラン、ビジャヤラクシュミ・アール．; マルティネス・バウザ、ジュディット; バミディパティ、ファニクマー・ケー．; ルオ、シュン
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2011-07-14
Filing date: 2012-07-13
Publication date: 2014-09-08
Also published as: KR20140036323A; US9351028B2; CN103650515B; US20130019024A1; CN103650515A; EP2732633A1; WO2013010148A1; KR101575138B1

Abstract

より大きいスクリーンで前記３Dコンテンツを視覚するためのリモート３Dディスプレイにワイヤレスデバイスからの３Dコンテンツをストリームするプログラム製品、方法、システム、装置。いくつかの観点において、ワイヤレスストリームサーバは、あるフォーマットの３D動画コンテンツを符号化することができ、そこでイメージフレーム各々は、深さ情報の相補的なフレームと共にサイドバイサイドに連結された２Dビューを有する。深さ情報と２Dビューの結合は、３Dビューを表示するステレオスコーピックイメージを生成するため、クライアントディスプレイによって処理されることができる。

Description

[0001] 本発明は、全体としてワイヤレス通信に関し、特に３Dイメージのワイヤレスストリーミングに関する。

[0002] ３D動画は、ますます人気が高まっており、この結果、３Dコンテンツの使用可能性は急速に増加している。

従来の２Dコンテンツの多数の視聴者は、そのコンテンツを３Dコンテンツに変換したいと望み得る。さらに、モバイルデバイス例えば、ワイヤレスユーザ装置（UE）の多くのユーザは、その３Dコンテンツを外出先で享受されることができ、また、仲間達、友人達、家族、ビジネスパートナーと共有されることができるよう、このコンテンツを彼らと一緒に持ち運べることを望んでいる。

[0003] しかしながら、もし３DコンテンツがUEに保存されているならば、そのUEはとても小さい表示画面を一般的には有し、そのUE上の３D映画の視聴は、ユーザにとってより楽しみを減じさせる。さらに、３Dディスプレイを有する又は３Dレンダリング（rendering）を支援する現在利用可能な電話機は、ほとんど存在しない。

[0004] このように、３Dコンテンツに関連する移動性とユーザの経験の中に継続した改良のため、この分野でプッシュ(push)がある。

[0005] 本発明のいくつかの観点は、より大きい画面上の前記３D映画の視聴のために遠隔の３Dディスプレイに３Dコンテンツをストリーミイングするユーザ機器（UE）のための効率的な方法の提供する。したがって、UEはワイヤレス３Dストリームサーバとなり、リモートディスプレイは３D動画のためのクライアントとなる。

[0006] 本開示のひとつの観点によると、前記ストリームサーバは、あるフォーマットの３D動画コンテンツを符号化することができ、そこにおいて、イメージフレーム各々は深さ情報の相補的なフレームと共にサイドバイサイド（side-by-side）に連結された２Dビューを有する。深さ情報と２Dビューの結合は、３Dビューを表示するステレオスコーピックイメージ（stereoscopic image）を生成するため、クライアントディスプレイによって処理されることが可能である。

[0007] サイドバイサイド２Dビューと深さ情報とを有する連結されたフレームは、前記ストリームサーバからクライアントへワイヤレスにストリームされることができる。上記記載による符号化することを利用して、深さ情報は、単色のイメージとして考えられるので、ストリーミングのため要求されたバンド幅は、ステレオスコーピックイメージのストリーミングに関連して低減される。ここでは、各々の画素に関連した深さは単一番号として表示される。

[0008] このフォーマットの特徴は、深さ情報を単に切り捨ててもよいし、2Dイメージが表示されてもよい。例えば、年代物の2Dクライアントディスプレイでは、深さ情報は無視されてもよい。

[0009] 別の特徴では、ワイヤレスストリーミングサーバ（the UE ）は、リモートクライアント3Dディスプレイが、3Dイメージを表示していると同時に、そのローカルディスプレイ上で連結されたフレームの半分に対応した2Dムービを表示することができることにある。

[0010] 本開示の別の観点では、サイドバイサイドフォーマットで構成される前記連結されたフレームは、セッション記述プロトコル（SDP）の拡張を利用して符号化されることができる。このように、SDPに準拠する年代物のデバイスの後方互換性は、維持されることができ、彼らは、前記フレームの深さ情報部分があったことでさえ気付かないで、そして通常の2Dイメージの一部を表示するであろう。

[0011] 本開示の別の観点では、SDPは、ストリーミングコンテンツが実際に3Dコンテンツであることの指標を提供するようにさらに拡張される。従って、付加的な情報要素は、ストリームが3Dであることを示すSDPストリームに含まれている。

[0012] 本開示の一観点では、ストリーミングサーバからメディアコンテンツをストリーミングする方法は、ストリーミングサーバで3次元（3D）メディアコンテンツを提供し、ストリーミングサーバとストリーミングクライアント間のストリーミングセッションを確立し、3Dイメージの表示およびリモートレンダリングのため、ストリーミングセッションを介してストリーミングクライアントにメディアコンテンツを送信することを有する。

[0013] 本開示の別の観点では、ストリーミングサーバは、コンテンツソースから3Dメディアコンテンツを抽出する（extract）ように構成されるファイルパーサ(file parser)と、ストリーミングクライアントとストリーミングセッションを確立するように構成されたマルチメディアメッセージングサービスモジュール、およびストリーミングセッションを介してストリーミングクライアントへ3Dメディアコンテンツをストリームする構成を有するワイヤレストランスミッタとを有する。

[0014] 本開示の他の観点において、ワイヤレス通信の方法は、ワイヤレスストリーミングセッションを介してストリーミングサーバからメディアコンテンツを受信し、2次元（2D）イメージ及び対応する深さマップを構成するメディアコンテンツと、2Dイメージ及び深さマップに基づいて三次元（3D）イメージを合成し、ディスプレイ上で3Dイメージをレンダリング（rendering）することを有する。

[0015] 本開示の別の観点では、ストリーミングクライアントは、ストリーミングサーバから3次元（3D）メディアコンテンツを有するストリームを受信するように構成されたワイヤレス受信機と、3Dメディアコンテンツは、二次元（2D）イメージ及び対応する深さマップを構成し、対応する深度マップから2Dイメージを分離するための3Dフィルタと、2Dイメージ及び対応する深さマップに基づいて、ステレオスコーピックイメージを生成するためのレンダリングに基づく深さイメージ（depth image based rendering）（DIBR）モジュールと、ディスプレイ上でステレオスコーピックイメージをレンダリングするためのディスプレイドライバとを有する。

[0016] 本開示の別の観点では、ストリーミングサーバからメディアコンテンツをストリーミングするための装置は、ストリーミングサーバで3次元（3D）メディアコンテンツを提供するための手段と、ストリーミングサーバとストリーミングクライアントの間でストリーミングセッションを確立するための手段と、3Dイメージの表示およびリモートレンダリングのために、ストリーミングセッションを介してクライアントにメディアコンテンツを送信するための手段とを有する。

[0017] 本開示の他の観点において、ワイヤレス通信のための装置は、ワイヤレスストリーミングセッションを介してストリーミングサーバからメディアコンテンツを受信するための手段と、二次元（2D）イメージ及び対応する深さマップを有する前記メディアコンテンツと、2Dイメージ及び深さマップに基づいて 3次元（3D）イメージを合成する手段と、ディスプレイ上で3Dイメージをレンダリングする手段を有する。

[0018] 本開示の別の観点では、コンピュータプログラム製品は、3Dイメージの表示とリモートレンダリングのために、ストリーミングサーバで3次元（3D）メディアコンテンツを提供するためのコードと、ストリーミングサーバとストリーミングクライアントの間にストリーミングセッションを確立するコードおよびストリーミングセッションを介してストリーミングクライアントにメディアコンテンツを送信するためのコードとを備えるコンピュータ可読媒体を含む。

[0019] 本開示の別の観点では、コンピュータプログラム製品は、ワイヤレスストリーミングセッションを介してストリーミングサーバからメディアコンテンツを受信するためのコードと、2次元（2D）イメージと対応する深さマップを備える前記メディアコンテンツと、2Dイメージと深さ情報に基づいて三次元（3D）イメージを合成するためのコードおよびディスプレイに3Dイメージをレンダリングするためのコードを有するコンピュータ可読媒体を備える。

[0020] 本開示の別の観点では、ストリーミングサーバからメディアコンテンツをストリーミングするための装置は、プロセッサとこのプロセッサに結合されたメモリを含み、そこで、プロセッサは、ストリーミングサーバで3次元（3D）メディアコンテンツを提供し、ストリーミングサーバとストリーミングクライアント間のストリーミングセッションを確立し、および3Dイメージの表示およびリモートレンダリングのために、ストリーミングセッションを介してストリーミングクライアントにメディアコンテンツを送信するよう構成されている。

[0021] 本開示の他の観点において、ワイヤレス通信のための装置は、プロセッサと、このプロセッサに結合されたメモリを有する。

[0022] ここにおいて、プロセッサは、ワイヤレスストリーミングセッションを介してストリーミングサーバからメディアコンテンツを受信し、二次元（2D）イメージと対応する深さマップを含むメディアコンテンツと、2Dイメージ及び深さマップに基づいて、3次元（3D）イメージを合成し、ディスプレイ上に３Dイメージをレンダ（render）するように構成される。

図１は、処理システムを用いる装置のためのハードウェア実装例を示す概念図である。図２Aは、連結される２D＋深さファイルを生成する概略装置を図示する簡略ブロックダイアグラムである。図２Ｂは、前記連結される２D＋深さファイルをストリーミングする概略装置を図示する簡略ブロックダイアグラムである。図２Ｃは、そして３Dイメージとして連結される２D＋深さファイルを受信し表示する概略装置を図示する簡略ブロックダイアグラムである。図３は、本開示の観点にしたがい、連結された２D＋深さフレームのある例を図示するダイアグラムである。図4Aは、分離された２D＋深さファイルを生成し概略装置を図示する簡略ブロックダイアグラムである。図４Ｂは、この分離された２D＋深さファイルをストリーミングする概略装置を図示する簡略ブロックダイアグラムである。図４Ｃは、前記分離された２D＋深さファイルを受信し、３Dイメージを表示する概略装置を図示する簡略ブロックダイアグラムである。図5は、本開示の一観点によるストリーミングサーバの特定の実装のさらなる詳細を示すブロックダイアグラムである。図６は、本開示の一観点によるストリーミングクライアントの特定の実装のさらなる詳細を示すブロックダイアグラムである。図7は、本開示のある観点に従ってストリーミングサーバからメディアコンテンツをストリーミングするためのプロセスを示すフローチャートである。図８は、本開示のある観点に従ってワイヤレス通信のプロセスを示すフローチャートである。

[0031] 添付の図面に関連して以下に述べられる詳細な説明は、さまざまな構成の説明を意図したものであり、本明細書において説明される概念が実現され得る、唯一の構成を表すことを意図したものではない。詳細な説明は、さまざまな概念の完全な理解を提供するために、具体的な詳細を含む。しかしながら、これらの概念がこれらの具体的な詳細なしに実現され得ることを当業者は理解するだろう。いくつかの例では、そのような概念を曖昧にすることを避けるために、周知の構造およびコンポーネントが、ブロック図の形態で示される。

[0032] ここでは、遠隔通信システムのいくつかの態様が、さまざまな装置および方法に関連して提示される。これらの装置および方法は、以下の詳細な説明において説明され、添付の図面では、さまざまなブロック、モジュール、コンポーネント、回路、ステップ、処理、アルゴリズム、等（まとめて「エレメント」と呼ばれる）によって示される。これらのエレメントは、電子ハードウェア、コンピュータソフトウェア、またはそれらの任意の組み合わせを使用して実現されることができる。そのようなエレメントがハードウェアとして実現されるかソフトウェアとして実現されるかは、システム全体に課された特定の用途および設計の制約に依存する。

[0033] 例として、エレメント、またはエレメントの任意の一部、またはエレメントの任意の組み合わせは、１つ以上のプロセッサを含む「処理システム」を用いて実現され得る。プロセッサの例には、本開示を通して説明されるさまざまな機能を実行するように構成された、マイクロプロセッサ、マイクロコントローラ、デジタル・シグナル・プロセッサ（ＤＳＰ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、プログラマブル・ロジック・デバイス（ＰＬＤ）、ステート・マシン、ゲート・ロジック、離散ハードウェア回路、および他の適切なハードウェアが含まれる。処理システムにおける１つ以上のプロセッサは、ソフトウェアを実行することができる。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれる場合も、それ以外の名称で呼ばれる場合も、命令、命令のセット、コード、コード・セグメント、プログラム・コード、プログラム、サブプログラム、ソフトウェア・モジュール、アプリケーション、ソフトウェア・アプリケーション、ソフトウェア・パッケージ、ルーチン、サブルーチン、オブジェクト、実行ファイル、実行スレッド、プロシージャ、関数、等を意味するものと広く解釈されるべきである。ソフトウェアは、コンピュータ可読媒体に備わりうる。コンピュータ可読媒体は、非一時的なコンピュータ可読媒体であることができる。非一時的なコンピュータ可読媒体は、例として、コンピュータによってアクセスおよび可読ソフトウェアおよび／または命令を記憶するための、磁気記憶デバイス（たとえば、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ(strip)）、光学ディスク（たとえば、コンパクト・ディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ））、スマートカード、フラッシュメモリ・デバイス（たとえば、カード、スティック、キードライブ）、ランダム・アクセス・メモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能なＰＲＯＭ（ＥＰＲＯＭ）、電気的に消去可能なＰＲＯＭ（ＥＥＰＲＯＭ）、レジスタ、リムーバブル・ディスク、および任意の他の適切な媒体を含む。コンピュータ可読媒体は、処理システム内に常駐するか、処理システムの外側に常駐するか、処理システムを含む複数のエンティティにわたって分散されうる。コンピュータ可読媒体は、コンピュータ・プログラム製品に組み込まれることができる。例として、コンピュータ・プログラム製品は、パッケージング材料内のコンピュータ可読媒体を含むことができる。当業者は、システム全体に課された特定の用途および全体的な設計の制約に依存して、本開示全体を通して提示される説明される機能をどのように実現することが最善かを認識するだろう。

[0034] 図１は、処理システム１１４を用いる装置１００のためのハードウェアの実現の例を示す概念図である。この例において、処理システム１１４は、概してバス１０２によって表されるバスアーキテクチャを実装され得る。バス１０２は、処理システム１１４の特定の用途と全体的な設計の制約に依存して、任意の数の相互接続バスおよびブリッジを含むことができる。バス１０２は、プロセッサ１０４によって一般的に表された１つ以上のプロセッサや、コンピュータ可読媒体１０６によって一般的に表されたコンピュータ可読媒体を含む、さまざまな回路を共にリンクさせる。バス１０２はまた、タイミング・ソース、周辺機器、電圧レギュレータ、電力管理回路といったさまざまな他の回路をリンクさせることもできるが、これらは、当該技術でよく知られているので、これ以上説明しない。バスインターフェース１０８は、バス１０２とトランシーバ１１０との間のインターフェースを提供する。トランシーバ１１０は、伝送媒体によってその他の様々な装置と通信する手段を提供する。装置の性質に依存して、ユーザインターフェース１１２（たとえば、キーパッド、ディスプレイ、スピーカー、マイクロフォン、ジョイスティック）もまた提供されることができる。

[0035] プロセッサ１０４は、バス１０２の管理や、コンピュータ可読媒体１０６に記憶されたソフトウェアの実行を含む一般的な処理を担当する。このソフトウェアは、プロセッサ１０４によって実行されるとき、処理システム１１４に、任意の特定の装置のための後に説明されるさまざまな機能を実行させる。コンピュータ可読媒体１０６はまた、ソフトウェアを実行する際にプロセッサ１０４によって操作されるデータを記憶するために使用されることもできる。

[0036] 本開示において、二次元（２D）と三次元（３D）イメージが広く説明される。ここに、イメージは、単一の静止画像、動画のように順序正しく見られることに適合した複数のイメージを参照することができる。

[0037] もともとオリジナル２Dコンテンツからの３Dイメージの合成は、二つの選択すべきもののうち一つが使われて、一般的には行われる。

第一に、合成された３Dコンテンツは、対応する深さマップに連結された２Dビューを備えることができる。第二に、合成された３Dコンテンツは、二つのビューすなわちレフトビューとライトビューを備えるステレオスコーピックイメージを備えることができる。ステレオスコーピックコンテンツは、連結された２D＋深さマップイメージを形成するため処理され得る。

[0038] 以下説明される本開示のさまざまな観点は、合成された３Dコンテンツの両方の選択すべきもの、又は合成された３Dコンテンツの任意の他の適当なオプションに適用する。以下の具体的実施は、第一のオプションをすなわち２Dビューと対応する深さマップを、当業者が容易に実施することができるような些細な変更を含めて強調しているが、ステレオスコーピックイメージを利用する３Dストリーミングは、実現されることができる
[0039] 合成された３Dストリームにおいて、２Dイメージは、深さ情報と共にトップツーボトム（top-to-bottom）又はサイドバイサイドに連結され得る。そして連結されたフレームは送信のために一緒に圧縮されるおよび／又は符号化され得る。他方、２Dイメージ及び対応する深さマップは、例えば送信のための単独のコンテナファイルの内の、二つの圧縮されたファイル又は二つのストリームとして供給され得る。適当な処理能力を備えるシステムにおいて、これらアプローチの動作中の（on-the-fly）変形は用いられ得る。もちろん、エンコーダに必要とされる処理リソースを低減するため、ストリームの送信のために必要とされるバンド幅を減少するため、動画は縮小されたフレームレートで符号化され得る。

[0040] 連結された２D＋深さフレームとしての３Dイメージを提供すること、および単一のコンテナファイル（例えばMP4ファイル)内に格納されるように一緒にフレームを符号化することは、ステレオスコーピックのビットストリームを同期する必要性を減少し得る。さらに、たとえ送信上のエラーの場合でさえ、２D＋深さフレームを利用するときストリームを再同期することはより容易となる。その上、ユーザが連結するフレーム内に２D＋深さ情報を記憶するとき、２Dイメージ及び対応する深さ情報の間のペアリングの経過を追う必要性は全くないかもしれない。そして、単一のファイルは、深さ情報を単に切り詰めることによって、２D再生も３D再生と同様に利用されることができる。しかしながら、情報を一緒に連結することは、２Dイメージと深さマップとの間のビットレートアロケイションを介して制限された制御を供給し得る。

[0041] 図２Aは、本開示のいくつかの観点に関連し、（例えばサイドバイサイド）一緒に連結される深さマップと２Dイメージとを含むファイルを合成する装置の簡略ブロックダイアグラム図２に示すように、ビデオソース３０２は、深さ推定器３０４に２Dかステレオスコーピックのイメージを供給することができる。深さ推定器３０４は、２Dもしくは３Dイメージ（複数可）から深さ推定（Z）を形成することができる。この深さ推定は、ブロック３０６によってそれから、単一の圧縮されたファイルに２Dイメージ（又はステレオスコーピックビデオソースの場合における二つのビューのうち一つ）とサイドバイサイドに連結されてもよい。ここに、圧縮されたファイルは、標準準拠のコンテナ形式、例えば、MP4を利用して形成され得るので、従来のソフトウェアやハードウエアーコンポーネントは、例えあったとしてもごくわずかな変更で、そのファイルのコンテンツをストリームするか再生するために利用され得る。例えば、従来の装置への変更は、ファイルを２D＋深さソースであると識別することを備えることができる。

[0042] 本開示のいくつかの観点から、この処理はモバイルデバイスで行われることができ、又は他のシステムで実行されるためエクスポートされることができる。さらに、この処理はオフラインで行われることもでき、例えば、コンテンツのストリーミングに前に、もしくはリアルタイム又は動作中（on-the-fly）に実行することもできる。

[0043] 図３は、図２の装置で形成された連結された２D＋深さイメージフレームの図である。図示された事例において、左側のイメージ３０２は２Dイメージであり、一方、右側のイメージ３０４は、その２Dイメージに対応した深さマップである。深さ情報は、単色グレースケール値を有している。この点において、適当な圧縮設定は、最適な性能が得られるようにフレームの圧縮に利用されるべきである。例えば、もし、H．２６４に準拠したエンコーダを利用するならば、連結されたフレームは、イントラのみとなる深さマップのためそのモデルを制限することによって符号化されてもよい。そして深さマップはその品質を高めるためより低いQP値を利用して符号化されてもよい。

[0044] モバイルデバイスは、３Dディスプレイ又はモバイルデバイス上で利用できるより大きいディスプレイを備えるリモートクライアントにコンテンツをストリーミングするために、ストリーミングソース（例えばサーバ）として利用される。図２Bは、本開示のいくつかの観点に従って、２D+Zコンテンツをストリーミングするストリーミングサーバの簡略ブロックダイアグラムである。ブロック２０８は、２D＋Zファイルソースで、これは、図２Aにおけるブロック２０６によって形成された２D+Z圧縮ファイルである。前記２D＋Zファイルソース２０８は、ファイルパーサ２１０に２D+Zファイルを供給し得る。ここに、ファイルパーサ２１０は、圧縮ファイルからメタデータとメディアとを抽出することができる。ビデオタップアウトブロック２１２は、適当な通信インターフェイスを利用してリモートクライアントにストリームされるため、パースド(parsed)コンテンツを出力ビデオストリームブロック２１８に渡すことができる。さらに、ビデオタップアウトブロック２１２は、ローカルビデオデコーダ２１４にパースドコンテンツを渡すことができ、そこでは、ビデオをローカルに復号化し、復号化されたコンテンツをビデオレンダラ(video renderer)２１６に供給する。すなわち、ビデオレンダラ２１６は、ビデオコンテンツをローカルディスプレイで表示されるようレンダすることができる。本開示のいくつかの観点において、ビデオコンテンツのディスプレイ、レンダリングそしてローカル復号化は、省略され又は無効にされることができる。

[0045] ファイルに格納された情報に基づいて、ストリーミングサーバは、リモートクライアント装置にコンテンツのフォーマット（例えば、2D + Zで、サイドバイサイドフォーマットであるコンテンツ）に関する指示を送信することができる。例えば、この指示は、セッション記述プロトコル（SDP）を利用してクライアントに提供されることができる。

[0046] SDPにおいて、各メディアソースは、一般的に「トラック」と記述されている。強制または任意のトラックの属性は、SDP属性ラインで記述されることができる。2D + Zコンテンツをストリーミングするとき、本開示の一観点では、ストリーミングサーバは、 SDP記述に任意の属性を追加することができる。ここで、なぜならば、2Dディスプレイを有するメディアプレイヤがオプションの属性を無視する可能性があり、そのメディアプレイヤは、従前の連結されたフレームを認識しないであろう。しかし、2D + Zフォーマットを理解する３D対応プレイヤに関しては、この属性は、パースドされることができるので、クライアントは、コンテンツが2D + Z形式であることを決定し、さらなる処理（例えば、復号化及びレンダリング）に乗り出すことができる。

[0047] 図2Cは、本開示のいくつかの観点に従って、3Dコンテンツを表示し、2D + Zストリームを受信するためのストリーミングクライアントを示す簡略ブロック図である。ブロック220は、入力ビデオストリームを表し、これは、図2Bで説明されているストリーミングサーバから出力ビデオストリームブロック218によって提供される。入力ビデオストリーム220は、2D + Z形式としてのコンテンツを記述する対応するメタデータならびに連結された2D + Zコンテンツを備えることができる。入力ビデオストリーム220は、2D +深さフレーム抽出器224に復号化ストリームを渡し、それによって入力ストリームを復号化することができるビデオデコーダ222に提供されることができる。フレーム抽出器224は、2Dおよび深さフレームを分離することができ、それにより3Dイメージを制作するために深さと２D情報を利用する3Dビュー合成器226に分離されたフレームを渡すことができる。

[0048] 本開示の一観点において、抽出された2Dおよび深さフレームに基づく3Dイメージの合成は、レンダリングに基づく深さイメージ（DIBR）に基づくことができる。ここで、仮想ビューは、同一カメラパラメータを有するシフトセンサステレオペア(shift-sensor stereo pair)としてセットアップをモデリングし、かつ、その点の深さとモデルに応じて、仮想ビューによって定義される平面上の2Dイメージの点を投影することによって生成される。DIBRのさらなる詳細は、当業者に周知であり、本開示を省略している。

[0049] 先に述べたように、本開示の別の観点では、連結された2D + Z形式を利用するよりも、 2Dイメージ及びそれに対応する深さマップは、2つの圧縮されおよび/または符号化されたファイル又は二つのストリームの対として提供されてよい。幾つかの実施例において、 2つのファイルが送信のために単一のコンテナファイル内に（例えば、MP4コンテナファイル）提供されてもよい。

[0050] 2Dイメージと深さマップを別々に符号化することは、高い柔軟性と効率性を提供されることがある。ここで、イメージシーケンスは、任意の従来のビデオクリップと同様であるので、2Dイメージ部分は、標準的なH.264符号化オプションを利用して符号化されることができる。深さマップについては、符号化設定は、それがグレースケール値を唯一含むことができるという事実を利用するように適切に修正されることができる。これらのエンコーダ設定のいくつかは、深さマップのクロマ(chroma)成分のためQP値を大きくし、そして定期的にイントラ（I）フレームを挿入することを含む。当該技術分野における通常の知識を有するものは、深さマップの符号化を最適化するために追加の設定を理解し得る。さらに、2Dイメージと深さマップを別々に符号化することは、潜在的なネットワーク帯域幅の制限を満たすように改良されたレート制御を提供することができ、エラーまたは深さマップストリームの完全な喪失の場合には、2D再生に後退することは比較的簡単である。しかしながら、シンプルだけれど、連結されたフレームと違って、別個の2Dイメージと深さマップファイルは、3Dビデオの適切な再生するための同期が必要となることがある。また、識別メカニズムのいくつかの形態は、既知の2Dイメージファイルについて対応する深さマップを識別するために必要とされる。

[0051] 図4Aは、本開示のいくつかの観点に従って、2Dイメージ及び深さマップをそれぞれ含む2つのファイルを合成するための装置400Aの簡略化したブロックダイアグラムである。ここで、2Dまたは3Dビデオソース402は、深さ推定ブロック404にビデオ情報を提供し、それによってそれぞれのビデオから深さマップを制作し、二つの別々のファイル、すなわち、2Dファイル406および深さ（Z）ファイル408を生成する。2Dファイル406およびZファイル408は、圧縮されたファイルとすることができる。それぞれの2Dファイル406とZファイル408をペアリングするのに適したメカニズムは、例えば、対応するファイルを関連付けるために命名規則を利用したり、ファイル自体にペアリング情報を埋め込む等、利用されることができる。本開示の観点において、2Dファイル406およびZファイル408は、例えばMP4コンテナファイル内の異なったビデオオブジェクトを格納することによって、一つのコンテナ内に格納されることができる。本開示の別の観点において、2Dファイル406およびZファイル408は、上述したようにオブジェクトIDかファイル名としてその二つの間の関連付けを有する別個のファイルコンテナに格納されることができる。

[0052] 図４Bは、本開示のいくつかの観点に係る深さマップファイルと2Dイメージファイルとをストリーミングするためのストリーミングサーバ400Bの簡略ブロックダイアグラムである。このアプローチを利用して、ストリーミングサーバは、二つのパラレルプロセスを確立することができる。2Dコンテンツを持つファイルを処理するための一つと、深さ（Z）コンテンツを処理するためのもう一つのものである。さらに、ストリーミングサーバは、送信されるそれぞれのビデオストリームについて要求しているクライアントに通知することができる。ここで、2Dファイルソース410は、図４Aで説明された2D + Z合成によって出力された2Dファイル406であるかもしれない。また、Zファイルソース422は、図４Aで説明された2D + Z合成によって出力されたZファイル408であるかもしれない。2Dファイルソース410からの2Dファイルは、2Dファイルに格納されて2Dコンテンツをパースし、第一のビデオタップアウトブロック414にそのパースド2Dコンテンツを渡すため、第一のファイルパーシングモジュール412に入力される。同様に、Zファイルソース422からZファイルは、 Zファイルに格納された深さコンテンツをパースし、第二のビデオタップアウトブロック424にそのパースドされた深さコンテンツを渡すために第二のファイルパーシングモジュール424に入力される。ストリーミングサーバ内のローカルディスプレイは、2Dビデオ表示をサポートしている場合、第一のビデオタップアウトブロック414は、コンテンツを分岐してもよいし、それを2Dビデオコンテンツを復号化するためローカルビデオデコーダ416に送ってもよい。ビデオデコーダ416は、次いで、 2Dビデオコンテンツを表示し、レンダリングするため、ビデオレンダラ（renderer） 418に復号化されたビデオコンテンツを渡すことができる。もし、ストリーミングサーバ内のローカルディスプレイは、3Dビデオ表示をサポートしている場合、そのとき、第二のタップアウトブロック424は、ローカル3D復号化とレンダリング（図示せず）のための深さコンテンツを同様に分岐することができる。ビデオタップアウトブロック414および424は、リモートクライアントに、それぞれのビデオストリームをその後送信することができる出力ビデオストリーミングモジュール420および426にそれぞれのパースドされたコンテンツを同様に転送することができる。

[0053] 本開示のさらなる観点では、対応するまたは関連する2D + Zのデータ（例えば、フレーム番号またはシーケンス番号フィールドを介して関連する）は、同じリアルタイムストリーミングプロトコル（RTSP）セッションの異なるリアルタイムトランスポートプロトコル（RTP）ポート上でストリーミングされてもよい。別の観点において、2Dファイルのパスが最初に初期化されてもよいし、クライアントが要求したかどうかに基づいてもよい。Zファイルのパスは続くであろう。

[0054] 図4Cは、本開示のいくつかの観点に従って3Dコンテンツを表示するため、2Dイメージストリームと深さストリームを受信するために、ストリーミングクライアントを示す簡略ブロックダイアグラムである。ここで、 Dイメージストリームを含む第一の入力ビデオストリーム428及び深さストリームを含む第二の入力ビデオストリーム438を受信すると、各ビデオストリームは、2Dイメージストリームを復号化するための第一のビデオデコーダ430および深さストリームを復号化するための第二のデコーダ440に入力される。それぞれの復号化されたフレームは、２Dフレームプロセッサ432と深さフレームプロセッサ442に供給される。ここでは、３Dビューを形成するため３Dビュー合成器434に彼らを渡すようそれぞれの2Dおよび深さフレームを同期させ、それぞれの復号化されたフレームを処理する。3Dビュー合成器434は、その後、3Dビューを形成し、3Dビューを表示するための3Dディスプレイ436に送信する。

[0055] 本開示のいくつかの観点に従う他の実装において、2つのビデオストリーム（すなわち、2Dコンテンツのための一方およびZコンテンツの他方）が含まれている単一のコンテナファイルは、ストリーミングサーバからストリーミングクライアントへのストリームされる。ここで、ストリーミングサーバにおいて、単一パーサモジュールは、それによってストリーミングクライアントに送信される2つのビデオストリームを供給する。

[0056] 図２Bでは、連結される２D＋Zコンテンツをストリーミングするためのストリーミングサーバを示めし、図5は、本開示の一観点によるストリーミングサーバの特定の実装のさらなる詳細を示すブロックダイアグラムである。つまり、図示の例では、ダイレクトショウマルチメディアフレームワーク（DirectShow multimedia framework）を利用するマイクロソフトウインドウズ（登録商標）メディアプレイヤ（Microsoft Windows Media Player）502を利用し実装を示している。図示された例と以下の関連した議論では、ストリームされたコンテンツがストリーミングサーバでローカルに再生中のコンテンツと同一であると仮定する。しかしながら、本開示の観点にあっては、ユーザはローカルに再生中のコンテンツとは独立して、ストリーミングのためのストリーミングサーバに利用可能な任意のコンテンツを選択してもよい。

[0057] 図5において、メディアプレイヤアプリケーション502は、2D + Zファイルソース504、マルチメディアアダプタとパーサ506、タップアウトフィルタ508、デコードフィルタ514、ビデオレンダラ516を含むメディアパスと連通している。一例では、ストリーミングサーバのユーザは、2D+Zコンテンツを含むファイルを再生するメディアプレイヤ502を呼び出すことができる（例えば、２D + Zファイルソース504から）。図示のように、メディアプレイヤ502は、種々のフィルタ構成要素を利用し、ダイレクトショウフィルタグラフを次いで、構築することができる。パーサ506は、2D + Zコンテンツからメタデータ情報を抽出し、タップアウトフィルタ508にメタデータを渡すことができ、これは、マルチメディアメッセージングサービス（MMS）アプリケーション510にメタデータを分岐することができる。ここでは、MMSアプリケーション510は、ストリーミングサーバがRTSPストリーミングサーバとして動作することを可能とすることができる。すなわち、RTSPセッションが、リモートストリーミングクライアントとストリーミングサーバとの間で確立された場合に、MMSアプリケーション510は、ストリーミングクライアントにその情報をその後、送信することができるWi-Fiモジュール512へSDP記述のような収集されたメタデータ情報を送信することができる。ストリームされるコンテンツは 2D + Zイメージコンテンツを含むとの指示を、この記述が含むことができるので、ストリーミングクライアントは、3Dストリームとしてストリームを処理できる。例えば、指示は、コンテンツが2D + Zコンテンツが含まれていることを示すSDP内に追加フィールドを設けることで含められてもよい。

たとえば、指示が下記のSDP記述内に含まれてもよい
[0058] A = DepthZ ： 0x280,0xlE0
[0059] パーサ506は、2D+Zファイルからのビデオおよびオーディオコンテンツをさらに抽出し、そしてタップアウトフィルタ508に映像コンテンツを転送してもよい。タップアウトフィルタ508は、RTPサーバ510へパースドされた2D + Zコンテンツをさらに提供することができ、そこでは、それによってストリーミングクライアントにストリーミングされるためにWi- Fiトランシーバ512に提供される。タップアウトフィルタ508は、デコードフィルタ514にパースドされた情報をさらに提供することができる。コンテンツも、オーディオ情報をさらに含むときに、このオーディオコンテンツは、パラレルストリームとして、それぞれのオーディオデコードフィルタ（図示せず）に対応して転送されることができる。ビデオレンダラ516は、ストリーミングサーバ上でローカリィにレンダされるため、デコードフィルタ514からの復号化されたコンテンツをその後レンダすることができる。

[0060] 次に図２Cにでは、2D + Zストリームを受信し、3Dコンテンツを表示するためのストリーミングクライアントを示めしており、図6は、本開示の観点に従って、ストリーミングクライアントの特定の実装のさらなる詳細を示すブロック図である。つまり、図示の例では、ダイレクトショウマルチメディアフレームワーク（DirectShow multimedia framework）を利用するマイクロソフトウインドウズメディアプレイヤ（Microsoft Windows Media Player）602を利用する実装を示している。

[0061] 図６において、メディアプレイヤアプリケーション602は、受信された2D + Zコンテンツを処理し、受信するためにフィルタグラフを確立する。このフィルタグラフは、RTSP / RTPフィルタ606、復号化フィルタ608、およびMMS-3Dフィルタ（CSC）610を含んでいる。ストリーミングサーバは、Wi-Fiモジュール602、レンダリングに基づく深さ情報（DIBR）モジュール612、および3Dディスプレイドライバ614をさらに備える。

[0062] 一例では、ストリーミングクライアントは、SDP情報に含まれるメタデータと2D + Zコンテンツを含み、Wi-Fiモジュール602においてストリーミングサーバから送信されたストリームを受信する。デコードフィルタ608がコンテンツを復号化し、そして、 MMS- 3Dフィルタ610に復号化されたコンテンツを提供することができるように、RTSP / RTPフィルタ604は、そのコンテンツをWi-Fiモジュール601から受信し、それをデコードフィルタ608にルーティングする。ここで、MMS-3Dフィルタ610は、復号化されたフレームからビデオおよび深さ部分を分離するためにSDP情報を利用し、それぞれ、2Dイメージストリームおよび対応する深さ情報を表す2つのフレームとしてDIBRモジュールにそれらを渡すことができる。DIBRモジュール612は、レフトビュー及びライトビューフレームを含むステレオスコーピックイメージを生成するためにこの情報を利用する。それらはそれによって3Dディスプレイドライバ614に提供される。 3Dディスプレイドライバ614は、3Dイメージを表示するため、これら2つのビューをその後レンダリングすることができる。

[0063] 図7は、本開示のある観点に従ってストリーミングサーバからメディアコンテンツをストリーミングするためのプロセス700を示すフローチャートである。本開示の様々な局面において、図示されたプロセスは、図1に示された処理システム114、図2Ａと２Ｂ又は図4Ａと４Ｂに示されたストリーミングサーバ、またはメディアコンテンツをストリーミングするための任意の適切な装置によって実行することができる。図示のプロセスでは、ブロック702において、3Dメディアコンテンツはストリーミングサーバに設けられている。ここで、 3Dメディアコンテンツは、ステレオスコーピックイメージ、または2Dイメージ及び対応する深さフレームを含むことができる。ブロック704において、プロセスが、ストリーミングサーバは、メディアコンテンツのローカルコピーを再生するかどうかを判定する。「はい」の場合、次にブロック706で、ストリーミングサーバは、ローカル再生のためにメディアコンテンツをレンダすることができる。プロセスは、次に、ブロック７０８に移動し、そこで、もし、3Dメディアコンテンツがステレオスコーピックコンテンツであり、かつ深さフレームを欠いている場合、そのプロセスは、ステレオスコーピックイメージに基づいて、深さフレームを合成することができる。ブロック710において、深さフレームは、対応する2Dイメージと連結されてもよい。ブロック712において、プロセスは、メディアコンテンツに対応するメタデータをエクストルード(extrude)することができ、このメタデータは、メディアコンテンツは3Dコンテンツを含むことを示す。ブロック714において、プロセスは、ストリーミングサーバとストリーミングクライアント間のストリーミングセッションを確立し、ブロック716において、プロセスは、ストリーミングセッションを介してストリーミングクライアントに、関連するメタデータとメディアコンテンツを送信する。

[0064] 図８は、本開示のある特定の観点にしたがう、ワイヤレス通信のプロセス800を示すフローチャートである。本開示の様々な観点において、図示されたプロセスは、図1の処理システム114、図2C、図4C、図5、または図6に示されるストリーミングクライアント、またはメディアコンテンツを受信するための任意の適切な装置によって実行されることができる。図示したプロセスにおいて、ブロック802では、ストリーミングクライアントは、ワイヤレスストリーミングセッションを介してストリーミングサーバからメディアコンテンツおよび関連するメタデータを受信することができ、前記メディアコンテンツは、2Dイメージ及び対応する深さマップを含む。ブロック804において、プロセスは、連結されたイメージ+深さフレームを分離された2Dイメージ及び対応する深さマップに分離することができる。ブロック806において、プロセスは、2Dイメージ及び深さマップに基づいて3Dイメージを合成する。ブロック808において、プロセスは、3Dイメージを表すステレオスコーピックイメージを生成するためにレンダリングに基づく深さ情報を利用でき、ブロック810において、プロセスは、3Dイメージをレンダすることができる。

[0065] 次に、図１、図2A−2B 、および図４Α−４Βを参照すると、一構成においては、ストリーミングサーバからメディアコンテンツをストリーミングする装置100は、ストリーミングサーバで3次元（3D）メディアコンテンツを提供するための手段と、ストリーミングサーバとストリーミングクライアントの間でストリーミングセッションを確立するための手段と、3Dイメージのディスプレイとリモートレンダリングのために、ストリーミングセッションを介してストリーミングクライアントにメディアコンテンツを送信するための手段と、ストリーミングサーバでローカル再生のためにメディアコンテンツをレンダリングするための手段と、3Dメディアコンテンツに基づいて2次元（2D）をレンダリングするための手段と、メディアコンテンツは3Dコンテンツを構成することを示すように適合され、メディアコンテンツについての情報をエクストラクテイングするための手段と、トリーミングセッションを介してストリーミングクライアントに前記メディアコンテンツに関する情報を送信する手段と、メディアコンテンツのセッション記述プロトコル（SDP）記述の情報要素を提供する手段と、2Dイメージフレームから深さフレームを合成する手段と、ステレオスコーピックイメージを表現する一対の2Dイメージから深さフレームを合成する手段と、および/または2Dイメージフレームとしての一対の2Dイメージの一方を利用する手段とを備えることができる。本開示のいくつかの観点において前述の手段は、前述の手段によって記載された機能を実行するように構成された処理システム１１４であってもよい。上記のように、処理システム114は、ビデオソース202／402深さ推定器204／404、ファイルソース208/410/422、ファイルパーシングモジュール210/412/424、ビデオタップアウト212/414/424、ビデオデコーダ214/416、ビデオレンダラ216/418、および/または出力ビデオストリームブロック218/420/426 を備えることができる。このように、一つの構成では、前述の手段は、前述の手段により記載の機能を実行するように構成された、ビデオソース202/402、深さ推定器204/404、ファイルソース208/410/422、ファイルパーシングモジュール210/412/424、ビデオタップアウト212/414/424、ビデオデコーダ214/416、ビデオレンダラ216/418、および/または送信ビデオストリームブロック218/420/426であってもよい。

[0066] 次に、図1、図2C、図4C、図6に示すように、他の構成において、ワイヤレス通信の装置100は、メディアコンテンツは2次元（2D）イメージ及び対応する深さマップを含み、ワイヤレスストリーミングセッションを介してストリーミングサーバからメディアコンテンツを受信するための手段と、2次元（2D）イメージ及び対応する深さマップに基づいて3次元（3D）イメージを合成するための手段と、ストリーミングサーバからのメディアコンテンツについての情報を受信するためのディスプレイ手段上で3Dイメージをレンダリングするための手段と、2Dイメージと対応する深さマップに連結されたフレームを分離するための手段とおよび／または3Dイメージを表現するステレオスコーピックイメージを生成するためにレンダリングに基づく深さ情報（DIBR）を利用するための手段を備える。本開示のいくつかの観点において前述の手段は、前述の手段によって記載された機能を実行するように構成された処理システム１１４を含む。上記のように、処理システム114は、メディアプレイヤ602、ビデオデコーダ222/430/440、2Dおよび深さフレーム抽出器224、2Dフレームプロセッサ432、深さフレームプロセッサ442、3Dビュー合成器226/434、3Dディスプレイ436、Wi-Fi604、フィルタ606、デコードフィルタ608、MMS-Dフィルタ610、DIBRモジュール612、および/または3Dディスプレイドライバ614を含むことができる。このように、一つの構成において、上記手段は、当該手段によって記載された機能を実行するように構成されたメディアプレイヤ602、ビデオデコーダ222/430/440、2Dおよび深さフレーム抽出器224、2Dフレームプロセッサ432、深さフレームプロセッサ442、3Dビュー合成器226/434、3Dディスプレイ436、WIFI604、フィルタ606、デコードフィルタ608、MMS-Dフィルタ610、DIBRモジュール612、および/または3Dディスプレイドライバ614を備える。

[0067] 開示された処理におけるステップの特定の順序または階層は、例示的なアプローチの一例であるということが理解されるべきである。設計の優先性に基づいて、これらの処理におけるステップの特定の順序または階層は並べ替えられ得るということが理解されるべきである。添付の方法の請求項は、例示的な順序でさまざまなステップのエレメントを提示しているが、提示された特定の順序または階層に限定されることを意図するものではない。

[0068] 先の説明は、当業者に、本明細書に説明されたさまざまな観点の実現を可能にさせるために提供されている。これらの観点への様々な変更は当業者には容易に明らかになり、本明細書で定義される包括的な本質は他の態様に適用され得る。このように、特許請求の範囲は、本明細書において示された態様を限定するように意図されたものではなく、特許請求の範囲と矛盾しない最大範囲であると認められるべきである。ここにおいて、単数における要素の言及は、そうと明確に述べられない限りは「１つ及び１つだけ」を意味するのではなく、むしろ「１又は複数」を意味することが意図されている。そうではないと明確に述べられていない限り、用語「いくつか(some)」は１又は複数に当てはまる。当業者に対して既知である、あるいは後に既知となる本開示において説明された多様な観点の要素に対する全ての構造的及び機能的な均等物は、参照によって本明細書に明確に組み込まれ、請求項によって包含されるよう意図される。さらに、ここで開示したものが、特許請求の範囲中に明示的に列挙されているか否かにかかわらず、公共に捧げられることを意図していない。どの請求項の要素も、要素が「する手段」というフレーズを用いて明示的に列挙されない限り、または方法の請求項のケースでは、要素が「するステップ」というフレーズを用いて列挙されない限り、３５Ｕ．Ｓ．Ｃ．１１２条第６パラグラフの規定のもとで解釈されるべきではない。

Claims

ストリーミングサーバからメディアコンテンツをストリーミングする方法において、
ストリーミングサーバで3次元（3D）メディアコンテンツを提供し、
ストリーミングサーバとストリーミングクライアントの間でストリーミングセッションを確立し、
3Dイメージのディスプレイとリモートレンダリングのために、ストリーミングセッションを介してストリーミングクライアントにメディアコンテンツを送信すること、
を備える前記方法。
前記ストリーミングサーバでローカル再生のため前記メディアコンテンツをレンダリングすることをさらに備える、請求項１に記載の方法。
前記レンダリングは、3Dメディアコンテンツに基づいて2次元（2D）イメージをレンダリングすることを備える、請求項２に記載の方法。
前記メディアコンテンツは3Dコンテンツを構成することを示すように適合され、前記メディアコンテンツについての情報を抽出することをさらに備える、請求項１に記載の方法。
前記情報は、前記メディアコンテンツに関連づけられるメタデータを備える、請求項４に記載の方法。
前記情報は、前記３Dメディアコンテンツが2次元（2D ）イメージ及び対応する深さマップを備えることを示すように適合されている、請求項４に記載の方法。
前記ストリーミングセッションを介して前記ストリーミングクライアントに前記メディアコンテンツに関する前記情報を送信することをさらに備える、請求項４に記載の方法。
前記メディアコンテンツについての前記情報の前記送信することは、メディアコンテンツのセッション記述プロトコル（SDP）記述における情報要素を提供することを備える、請求項７に記載の方法。
前記ストリーミングセッションは、リアルタイムストリーミングプロトコル（RTSP）セッションを備える、請求項１に記載の方法。
前記３Dメディアコンテンツは、2次元（2D ）イメージ及び対応する深さマップを備える、請求項１に記載の方法。
前記2Dイメージフレームから前記深さフレームを合成することをさらに備える、請求項10に記載の方法。
ステレオスコーピックイメージを表現する一対の2Dイメージから前記深さフレームを合成し、
前記2Dイメージフレームとしての前記一対の2Dイメージの一方のイメージを利用することをさらに備える、請求項１０に記載の方法。
連結された２D+Zフレームを供給する前記深さフレームと前記２Dイメージを連結することをさらに備える、請求項１０に記載の方法。
コンテンツソースから３Dメディアコンテンツを抽出するよう構成されるファイルパーサと、
ストリーミングクライアントとのストリーミングセッションを確立するよう構成されるマルチメディアメッセージングサービスと、
前記ストリーミングセッションを介して前記ストリーミングクライアントに前記３Dメディアコンテンツをストリームするよう構成されるワイヤレストランスミッターとを備えるストリーミングサーバ。
メモリをさらに備えるストリームサーバであって、前記コンテンツソースが前記メモリを構成する請求項13記載のストリームサーバ。
マルチメディアメッセージングサービスモジュールは、前記ストリームクライアントとのリアルタイムストリーミングプロトコル（RTSP）セッションを確立するよう構成されるさらに備える請求項13記載のストリームサーバ。
前記ファイルパーサは、前記コンテンツソースから前記３Dメディアコンテンツに対応するメタデータを抽出するようさらに構成される請求項13記載のストリームサーバ。
前記マルチメディアメッセージングサービスモジュールは、前記ストリームミングセッションを介して前記ストリームクライアントに前記メタデータを送るようさらに構成される請求項１７記載のストリームサーバ。
ディスプレイデバイスと、前記ディスプレイデバイスに３Dメディアコンテンツを分岐するように構成されたタップアウトモジュールとをさらに備える請求項１３記載のストリームサーバ。
ワイヤレスストリーミングセッションを介してストリーミングサーバからメディアコンテンツを受信し、前記メディアコンテンツは2次元（2D ）イメージ及び対応する深さマップを備え、
前記2Dイメージ及び前記対応する深さマップに基づいて 3次元（3D）イメージが合成され、ディスプレイ上で前記３Dイメージをレンダリングするワイヤレス通信の方法。
前記ワイヤレスストリーミングセッションは、リアルタイムストリーミングプロトコル（RTSP）セッションを備える、請求項20に記載の方法。
前記ストリーミングサーバから前記メディアコンテンツについての情報を受信するようさらに備える、請求項２０に記載の方法。
前記情報は、前記メディアコンテンツが3Dコンテンツを備えることを示すように適合されるメタデータを備える、請求項22に記載の方法。
２Dイメージと前記対応する深さマップは、連結されたフレームと連結される、請求項20に記載の方法。
前記連結されたフレームを前記２Dイメージと前記対応する深さマップに分離するようさらに構成する請求項24に記載の方法。
合成することは、3Dイメージを表すステレオスコーピックイメージを生成するためにレンダリングに基づく深さ情報(DIBR)を利用することを備える請求項20に記載の方法。
ストリームを受信するように構成されるワイヤレスレシーバは、ストリームサーバからの三次元（３D）メディアコンテンツを備え、前記３Dメディアコンテンツは、2次元（2D ）イメージ及び対応する深さマップを備え、
前記対応する深さマップから前記２Dイメージを分離するための３Dフィルタと、
前記対応する深さマップと前記２Dイメージに基づいてステレオスコーピックイメージを生成するレンダリングに基づく深さ情報（DIBR）モジュールと、
ディスプレイ上のステレオスコーピックイメージをレンダリングするディスプレイドライバとを備えるストリーミングクライアント。
ストリーミングサーバからメディアコンテンツをストリーミングする装置において、
ストリーミングサーバで3次元（3D）メディアコンテンツを提供する手段と、
ストリーミングサーバとストリーミングクライアントの間でストリーミングセッションを確立する手段と、
3Dイメージのディスプレイとリモートレンダリングのために、ストリーミングセッションを介してストリーミングクライアントにメディアコンテンツを送信する手段
を備える前記装置。
前記ストリーミングサーバにローカル再生のため前記メディアコンテンツをレンダリングする手段をさらに備える、請求項28に記載の装置。
前記レンダリングの手段は、前記3Dメディアコンテンツに基づく2次元（2D）イメージをレンダリングする手段とを備える、請求項29に記載の装置。
前記メディアコンテンツは3Dコンテンツを構成することを示すように適合され、前記メディアコンテンツについての情報を抽出する手段をさらに備える、請求項28に記載の装置。
前記情報は、前記メディアコンテンツに関連づけられるメタデータを備える、請求項31に記載の装置。
前記情報は、2次元（2D ）イメージ及び対応する深さマップを備える前記3次元（３D）メディアコンテンツを示すように適合されている、請求項31に記載の装置。
前記ストリーミングセッションを介して前記ストリーミングクライアントに前記メディアコンテンツに関する前記情報を送信する手段とをさらに備える、請求項31に記載の装置。
前記メディアコンテンツについての前記情報を前記送信する手段は、前記メディアコンテンツのセッション記述プロトコル（SDP）記述における情報要素を提供する手段とを備える、請求項34に記載の装置。
前記ストリーミングセッションは、リアルタイムストリーミングプロトコル（RTSP）セッションを備える、請求項28に記載の装置。
前記3次元（３D）メディアコンテンツは、2次元（2D ）イメージ及び対応する深さマップを備える、請求項28に記載の装置。
前記2Dイメージフレームから前記深さフレームを合成する手段をさらに備える、請求項３７の装置。
ステレオスコーピックイメージを表現する一対の2Dイメージから前記深さフレームを合成する手段と、
前記2Dイメージフレームとしての一対の2Dイメージの一方を利用する手段とをさらに備える、請求項３７に記載の装置。
前記２Dイメージフレームは、連結された２D+Zフレームを供給するため前記深さフレームと連結される、請求項37に記載の装置。
ワイヤレスストリーミングセッションを介してストリーミングサーバからメディアコンテンツを受信する手段と、
このメディアコンテンツは、2次元（2D ）イメージ及び対応する深さマップを備えており、
前記2Dイメージ及び前記深さマップに基づいて 3次元（3D）イメージを合成する手段と、ディスプレイ上で前記３Dイメージをレンダリングする手段とを備える、ワイヤレス通信の装置。
前記ワイヤレスストリーミングセッションは、リアルタイムストリーミングプロトコル（RTSP）セッションを備える、請求項41に記載の装置。
ストリーミングサーバからメディアコンテンツについての情報を受信する手段をさらに備える、請求項41に記載の装置。
前記情報は前記メディアコンテンツが3Dコンテンツを備えることを示すように適合されるメタデータを備える、請求項43に記載の装置。
２Dイメージと前記対応する深さマップは、連結されて連結されたフレームとなる請求項41に記載の装置。
前記連結されたフレームを前記２Dイメージと前記対応する深さマップに分離する手段をさらに備える、請求項45に記載の装置。
合成する手段は、前記3Dイメージを表すステレオスコーピックイメージを生成するためにレンダリングに基づく深さ情報(DIBR)を利用する手段を備える請求項41に記載の装置。
ストリーミングサーバで3次元（3D）メディアコンテンツを提供するコードと、
前記ストリーミングサーバとストリーミングクライアントの間でストリーミングセッションを確立するコードと、
3Dイメージのディスプレイとリモートレンダリングのために、前記ストリーミングセッションを介して前記ストリーミングクライアントに前記メディアコンテンツを送信するコードとを備えるコンピュータ可読媒体を備える、コンピュータプログラム製品。
前記コンピュータ可読媒体は、前記ストリーミングサーバでローカル再生のため前記メディアコンテンツをレンダリングするコードをさらに備える、請求項48に記載のコンピュータプログラム製品。
前記レンダリングのコードは、前記3Dメディアコンテンツに基づいて2次元（2D）イメージをレンダリングするコードを備える、請求項49に記載のコンピュータプログラム製品。
前記コンピュータ可読媒体は、前記メディアコンテンツは3Dコンテンツを構成することを示すように適合され、前記メディアコンテンツについての情報を抽出するコードをさらに備える、請求項48に記載のコンピュータプログラム製品。
前記情報は、前記メディアコンテンツに関連づけられるメタデータを備える、請求項５１に記載のコンピュータプログラム製品。
前記情報は、2次元（2D ）イメージ及び対応する深さマップを備える前記3次元（３D）メディアコンテンツを示すように適合されている、請求項51に記載のコンピュータプログラム製品。
前記コンピュータ可読媒体は、前記ストリーミングセッションを介して前記ストリーミングクライアントに前記メディアコンテンツに関する前記情報を送信するコードをさらに備える、請求項５１に記載のコンピュータプログラム製品。
前記メディアコンテンツについての前記情報を前記送信するコードは、前記メディアコンテンツのセッション記述プロトコル（SDP）記述における情報要素を提供する手段とを備える、請求項54に記載のコンピュータプログラム製品。
前記ストリーミングセッションは、リアルタイムストリーミングプロトコル（RTSP）セッションを備える、請求項48に記載のコンピュータプログラム製品。
前記３Dメディアコンテンツは、2次元（2D ）イメージ及び対応する深さマップを備える、請求項48に記載のコンピュータプログラム製品。
前記コンピュータ可読媒体は、前記2Dイメージフレームから前記深さフレームを合成するコードとをさらに備える、請求項57に記載のコンピュータプログラム製品。
前記コンピュータ可読媒体は、ステレオスコーピックイメージを表現する一対の2Dイメージから前記深さフレームを合成するコードと
2Dイメージフレームとしての一対の2Dイメージの一方を利用するコードとをさらに備える、請求項57に記載のコンピュータプログラム製品。
前記２Dイメージは、連結された２D+Zフレームを供給するため前記深さフレームと連結される、請求項57に記載のコンピュータプログラム製品。
ワイヤレスストリーミングセッションを介してストリーミングサーバからメディアコンテンツを受信するコードと、前記メディアコンテンツは2次元（2D ）イメージ及び対応する深さマップを備え、
前記2Dイメージ及び前記対応する深さマップに基づいて 3次元（3D）イメージを合成するコードと、ディスプレイ上で前記３Dイメージをレンダリングするコードとを備えるコンピュータ可読媒体を備える、コンピュータプログラム製品。
前記ワイヤレスストリーミングセッションは、リアルタイムストリーミングプロトコル（RTSP）セッションを備える、請求項61に記載のコンピュータプログラム製品。
前記コンピュータ可読媒体は、前記ストリーミングサーバから前記メディアコンテンツについての情報を受信するコードをさらに備える、請求項61に記載のコンピュータプログラム製品。
前記情報は、前記メディアコンテンツが3Dコンテンツを備えることを示すように適合されるメタデータを備える請求項63に記載のコンピュータプログラム製品。
２Dイメージと前記対応する深さマップは、連結されたフレームに連結される、請求項61に記載のコンピュータプログラム製品。
前記コンピュータ可読媒体は、前記連結されたフレームを前記２Dイメージと前記対応する深さマップに分離するコードをさらに備える、請求項65に記載のコンピュータプログラム製品。
前記合成するコードは、3Dイメージを表すステレオスコーピックイメージを生成するためにレンダリングに基づく深さ情報(DIBR)を利用するコードを備える請求項61に記載のコンピュータプログラム製品。
ストリーミングサーバからメディアコンテンツをストリーミングする装置において、プロセッサと、このプロセッサに連結するメモリと、
前記プロセッサは、ストリーミングサーバで3次元（3D）メディアコンテンツを提供し、
前記ストリーミングサーバとストリーミングクライアントの間でストリーミングセッションを確立し、
3Dイメージのディスプレイとリモートレンダリングのために、ストリーミングセッションを介して前記ストリーミングクライアントに前記メディアコンテンツを送信するよう構成される前記装置。
前記処理システムは、前記ストリーミングサーバでローカル再生のため前記メディアコンテンツをレンダリングするようさらに構成される、請求項68に記載の装置。
前記レンダリングは、3Dメディアコンテンツに基づく2次元（2D）イメージをレンダリングすることを備える、請求項69に記載の装置。
前記処理システムは、前記メディアコンテンツについての情報を抽出するようさらに構成され、前記メディアコンテンツは3Dコンテンツを構成することを示すように適合される、請求項68に記載の装置。
前記情報は、前記メディアコンテンツに関連づけられるメタデータを備える、請求項71に記載の装置。
前記情報は、前記3次元（３D）メディアコンテンツが、2次元（2D ）イメージ及び対応する深さマップを備えることを示すように適合されている、請求項71に記載の装置。
前記処理システムは、前記ストリーミングセッションを介して前記ストリーミングクライアントに前記メディアコンテンツに関する情報を送信するようさらに構成される、請求項71に記載の装置。
前記メディアコンテンツについての前記情報の前記送信することは、メディアコンテンツのセッション記述プロトコル（SDP）記述における情報要素を提供することを備える、請求項74に記載の装置。
前記ストリーミングセッションは、リアルタイムストリーミングプロトコル（RTSP）セッションを備える、請求項68に記載の装置。
前記３Dメディアコンテンツは、2次元（2D ）イメージ及び対応する深さマップを備える、請求項68に記載の装置。
前記処理システムは、前記2Dイメージフレームから前記深さフレームを合成するようさらに構成される、請求項77に記載の装置。
前記処理システムは、ステレオスコーピックイメージを表現する一対の2Dイメージから前記深さフレームを合成し、2Dイメージフレームとして一対の2Dイメージの一方を利用するようさらに構成される、請求項77に記載の装置。
前記２Dイメージフレームは、連結された２D+Zフレームを供給するため前記深さフレームと連結される、請求項77に記載の装置。
ワイヤレス通信の装置であって、プロセッサと、このプロセッサに連結するメモリと備え、前記プロセッサは、ワイヤレスストリーミングセッションを介してストリーミングサーバからメディアコンテンツを受信し、前記メディアコンテンツは2次元（2D ）イメージ及び対応する深さマップを備え、
前記2D イメージ及び前記対応する深さマップに基づいて 3次元（3D）イメージを合成し、そして、ディスプレイ上で前記３Dイメージをレンダする前記ワイヤレス通信の装置。
前記ワイヤレスストリーミングセッションは、リアルタイムストリーミングプロトコル（RTSP）セッションを備える、請求項8１に記載の装置。
前記プロセッサは、前記ストリーミングサーバからメディアコンテンツについての情報を受信するようさらに構成される、請求項81に記載の装置。
前記情報は、前記メディアコンテンツが3Dコンテンツを備えることを示すように適合されるメタデータを備える、請求項83に記載の装置。
２Dイメージと前記対応する深さマップは、連結されたフレームと連結される請求項81に記載の装置。
前記プロセッサは、前記連結されたフレームを前記２Dイメージと前記対応する深さマップに分離するようにさらに構成される、請求項85に記載の装置。
前記合成することは、3Dイメージを表すステレオスコーピックイメージを生成するためにレンダリングに基づく深さ情報(DIBR)を利用することを備える、請求項81に記載の装置。