JP2020522801A - バーチャル・リアリティ・メディア・コンテンツ内に含める目的での現実世界シーンのカスタマイズされるビューの仮想化プロジェクションを生成するための方法及びシステム - Google Patents

Abstract

例示的な仮想化プロジェクション生成システム（「システム」）は、複数のキャプチャされる表面データ・フレーム・シーケンスを受信し、ここで、前記複数のキャプチャされる表面データ・フレーム・シーケンスは、それぞれ色彩及び深度フレームを含み、前記色彩及び深度フレームは、現実世界シーンを、キャプチャ・パラメータの各セットに従って描写しており、前記パラメータは、現実世界シーンの異なるビューに関連するキャプチャ・パラメータの複数のセット内に含まれる。システムは、キャプチャ・パラメータの追加のセットを特定し、ここで、前記キャプチャ・パラメータの追加のセットは、現実世界シーンのカスタマイズされるビューに関連し、前記現実世界シーンのカスタマイズされるビューは、前記異なるキャプチャされるビューとは異なる。キャプチャされる表面データ・フレーム・シーケンス、及びキャプチャ・パラメータの追加のセットに基づいて、システムは、現実世界シーンのカスタマイズされるビューの仮想化プロジェクションに関する色彩及び深度フレームをレンダリングする。その後、システムは、バーチャル・リアリティ・メディア・コンテンツ内に含める目的で、仮想化される表面データ・フレーム・シーケンスを提供し、前記表面データ・フレーム・シーケンスは、前記現実世界シーンの前記カスタマイズされるビューの前記仮想化プロジェクションに関するレンダリングされる色彩及び深度フレームを含む。

Description

関連出願
本願は、２０１７年５月３１日に出願され、「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ Ａ ＶＩＲＴＵＡＬＩＺＥＤ ＰＲＯＪＥＣＴＩＯＮ ＯＦ Ａ ＣＵＳＴＯＭＩＺＥＤ ＶＩＥＷ ＯＦ Ａ ＲＥＡＬ−ＷＯＲＬＤ ＳＣＥＮＥ ＦＯＲ ＩＮＣＬＵＳＩＯＮ ＷＩＴＨＩＮ ＶＩＲＴＵＡＬ ＲＥＡＬＩＴＹ ＭＥＤＩＡ」と題され、その全体が参照により本明細書に組み込まれている米国特許出願第１５／６１０，５９５号に対する優先権を主張する。

バーチャル・リアリティ・メディア・コンテンツは、バーチャル・リアリティ・メディア・コンテンツのユーザ（即ち、閲覧者）に提示することができ、ユーザを、相互的なバーチャル・リアリティ世界に没入させることができ、前記バーチャル・リアリティ世界は、ユーザが、同時に提示される任意の様々な物に注意を向けることで体験することができる。例えば、バーチャル・リアリティ・メディア・コンテンツが提示される任意の時間において、バーチャル・リアリティ・メディア・コンテンツを体験するユーザは、任意の方向に没入型バーチャル・リアリティ世界の周囲を見渡すことができ、ユーザにある感覚をもたらし、ある感覚とは、ユーザが、実際に、没入型バーチャル・リアリティ世界に存在し、そして、没入型バーチャル・リアリティ世界内の特定のロケーション及び視界（例えば、配向、ビューポイント等）から、没入型バーチャル・リアリティ世界を体験するような感覚である。

幾つかの例において、没入型バーチャル・リアリティ世界は、現実世界シーンに基づくことが望まれる可能性がある。例えば、バーチャル・リアリティ・メディア・コンテンツ内に表現される没入型バーチャル・リアリティ世界の幾つか又は全ては、現実世界に存在する景色、ロケーション、イベント、オブジェクト、及び／又は他の対象物をモデル化したものであってもよく、これは、バーチャル又は仮想世界にのみ存在するものとは対照的である。かくして、キャプチャ・デバイス（例えば、イメージ及び／又はビデオ・キャプチャ・デバイス（例えば、カメラ、ビデオ・カメラ等））を使用して、現実世界シーンを表すデータを、検出、記録、及び／又はキャプチャすることができ、その結果、データを、現実世界シーンを表現したものを生成することができるバーチャル・リアリティ・メディア・コンテンツ内に含めることができる。残念ながら、全てのロケーション、配向、視野等から、データをキャプチャするように、現実世界シーンに関する物理的なキャプチャ・デバイスを配置することは、不可能又は非現実的である可能性があるが、こうしたことは望まれる可能性がある。

更には、膨大な数の物理的なキャプチャ・デバイスを採用して、膨大な数のロケーション、配向、視野等から、データをキャプチャしたとしても、これらキャプチャ・デバイスがキャプチャする全てのデータを、ユーザに提示されるバーチャル・リアリティ・メディア・コンテンツ内に含めることは、非現実的及び／又は非効率的である可能性がある。例えば、データ配信制限（例えば、ネットワーク帯域幅、デバイスのデコーディング能力等）、キャプチャされるデータの著しい冗長性、同時にバーチャル・リアリティ・メディア・コンテンツの異なるユーザへの異なる関連性を有する現実世界シーンの異なる詳細を記述するデータ、及び、その他の要素は、それぞれ、以下の点に寄与する可能性がある：膨大な数の物理的なキャプチャ・デバイスを使用して、現実世界シーンを表すデータをキャプチャ及び配信することについての非現実性及び／又は非効率性。

添付図面は様々な実施形態を示し、本明細書の一部である。示した実施形態は例示にすぎず、本開示の範囲を限定する物ではない。図面を通して、同一の又は類似の参照番号は、同一又は類似の要素を示す。

例示的な仮想化プロジェクション生成システムを示し、前記システムは、本明細書に記載の原理に従って、バーチャル・リアリティ・メディア・コンテンツ内に含める目的で、現実世界シーンのカスタマイズされるビューの仮想化プロジェクションを生成するためのものである。

例示的な構成を示し、ここで、例示的な現実世界シーンを表すデータは、本明細書に記載の原理に従って、現実世界シーンの異なるビューからキャプチャされる。

本明細書に記載の原理に従って、図２の現実世界シーンを表す表面データ・フレーム・シーケンス内に含める目的で色彩及び深度フレームをキャプチャする例示的なキャプチャ・デバイスを示す。

本明細書に記載の原理に従って、図３Ａのキャプチャ・デバイスによってキャプチャされる色彩フレームで表現される色彩データの例示的なグラフィカルな描写を示す。

本明細書に記載の原理に従って、図３Ａのキャプチャ・デバイスによってキャプチャされる深度フレームで表現される深度データの例示的なグラフィカルな描写を示す。

本明細書に記載の原理に従って、図２の現実世界シーンを表し、図３Ａのキャプチャ・デバイスによって生成される例示的な表面データ・フレーム・シーケンスの異なる表現を示す。 本明細書に記載の原理に従って、図２の現実世界シーンを表し、図３Ａのキャプチャ・デバイスによって生成される例示的な表面データ・フレーム・シーケンスの異なる表現を示す。

は、図２の構成に基づく例示的な構成を示し、ここで、図２の現実世界シーンを表すデータは、現実世界シーンのカスタマイズされるビューに関して、本明細書に記載の原理に従って、更に生成される。

例示的な仮想化される表面データ・フレーム・シーケンスを示し、前記シーケンスは、本明細書に記載の原理に従って、図５の現実世界シーンのカスタマイズされるビューの例示的な仮想化プロジェクションに関する色彩及び深度フレームを含む。

例示的なトランスポート・ストリームのグラフィカルな表現を示し、前記ストリームは、本明細書に記載の原理に従って、例示的な複数の表面データ・フレーム・シーケンスを含む。

本明細書に記載の原理に従った、図７の例示的なトランスポート・ストリームのデータ構造表現を示す。

例示的なトランスポート・ストリームのグラフィカルな表現を示し、前記ストリームは、本明細書に記載の原理に従って、タイル・マップを実装する例示的なフレーム・シーケンスを含む。

本明細書に記載の原理に従った図９の例示的なトランスポート・ストリームのデータ構造表現を示す。

例示的な構成を示し、ここで、例示的なバーチャル・リアリティ・メディア・コンテンツ提供システムは、本明細書に記載の原理に従って、バーチャル・リアリティ・メディア・コンテンツを、現実世界シーンに基づいて生成し、そして、バーチャル・リアリティ・メディア・コンテンツを、例示的なクライアント・サイド・メディア・プレーヤ装置に提供し、前記装置は、ユーザによって使用され、前記ユーザは、現実世界シーンを表現したものを体験する。

本明細書に記載の原理に従った様々な例示的なタイプのメディア・プレーヤ装置を示し、前記装置は、バーチャル・リアリティ・メディア・コンテンツを体験するユーザによって使用することができる。

本明細書に記載の原理に従った例示的なバーチャル・リアリティ体験を示し、ここで、ユーザには、現実世界シーンに基づく例示的なバーチャル・リアリティ・メディア・コンテンツが提示され、前記コンテンツは、動的に選択可能なバーチャル・ビューポイントから体験され、前記ビューポイントは、現実世界シーンに関する例示的な任意のバーチャル・ロケーションに対応する。

本明細書に記載の原理に従った例示的な方法を示し、前記方法は、バーチャル・リアリティ・メディア・コンテンツ内に含める目的で、現実世界シーンのカスタマイズされるビューの仮想化プロジェクションを生成するためのものである。 本明細書に記載の原理に従った例示的な方法を示し、前記方法は、バーチャル・リアリティ・メディア・コンテンツ内に含める目的で、現実世界シーンのカスタマイズされるビューの仮想化プロジェクションを生成するためのものである。

本明細書に記載の原理に従った例示的なコンピューティング・デバイスを示す。

バーチャル・リアリティ・メディア・コンテンツ内に含める目的で、現実世界シーンのカスタマイズされるビューの仮想化プロジェクションを生成するための方法及びシステムについて、本明細書にて説明する。例えば、より詳細に後述するが、仮想化プロジェクション生成システムは、複数のキャプチャされる表面データ・フレーム・シーケンスを受信（例えば、リクエスト、獲得、アクセス等）することができる。複数のキャプチャされる表面データ・フレーム・シーケンス内の各表面データ・フレーム・シーケンスは、以下を含むことができる：色彩及び深度フレームであって、前記色彩及び深度フレームは、現実世界シーンを、キャプチャ・パラメータの各セットに従って描写しており、前記パラメータは、現実世界シーンの異なるビューに関連するキャプチャ・パラメータの複数のセットに含まれる。例えば、現実世界シーンの各ビューに関連するキャプチャ・パラメータの各セットは、以下を表すパラメータを含むことができる：キャプチャ・ロケーション、配向、視野、深度マッピング、深度範囲、クオリティ・レベル、フォーマット、ソース、ダイナミック・レンジ、及び／又は、各表面データ・フレーム・シーケンスが現実世界シーンのビューを表現するための他の特性。複数のキャプチャされる表面データ・フレーム・シーケンス内の各表面データ・フレーム・シーケンスは、複数のキャプチャ・デバイス内の異なるキャプチャ・デバイスによってキャプチャされてもよく、前記複数のキャプチャ・デバイスは、現実世界シーンの異なるビューをキャプチャするように現実世界シーンに関しての異なるロケーションに配置されてもよい。例えば、各異なるキャプチャ・デバイスは、キャプチャ・パラメータの複数のセット内のキャプチャ・パラメータの異なるセットの１つに関連してもよい（例えば、キャプチャ・パラメータの異なるセットの１つに従って、現実世界シーンをキャプチャするように構成されてもよい）。

キャプチャ・パラメータの異なるセットに関連する複数の表面データ・フレーム・シーケンスを受信することに加えて、仮想化プロジェクション生成システムは、キャプチャ・パラメータの複数のセット内に含まれるキャプチャ・パラメータのセットとは異なるキャプチャ・パラメータの追加のセットを特定することができる。キャプチャ・パラメータの追加のセットは、現実世界シーンのカスタマイズされるビューに関連してもよく、前記カスタマイズされるビューは、複数のキャプチャ・デバイスがキャプチャする現実世界シーンの異なるビューとは異なってもよい。複数のキャプチャされる表面データ・フレーム・シーケンス内の表面データ・フレーム・シーケンスと、キャプチャ・パラメータの追加のセットとに基づいて、仮想化プロジェクション生成システムは、現実世界シーンのカスタマイズされるビューの仮想化プロジェクションに関する色彩及び深度フレームをレンダリングすることができる。

仮想化プロジェクション生成システムは、仮想化される表面データ・フレーム・シーケンスを提供することができ、前記表面データ・フレーム・シーケンスは、現実世界シーンのカスタマイズされるビューの仮想化プロジェクションに関するレンダリングされる色彩及び深度フレームを含むことができ、上記提供は、１以上の他のシステムに対してなされてもよい（例えば、ユーザに関連する１以上のメディア・プレーヤ装置へ、バーチャル・リアリティ・メディア・コンテンツ・プロバイダ・パイプライン内の１以上のダウンストリーム・システムへ等）。例えば、仮想化プロジェクション生成システムは、バーチャル・リアリティ・メディア・コンテンツ内に含める目的で、仮想化される表面データ・フレーム・シーケンスをメディア・プレーヤ装置に提供することができる（例えば、バーチャル・リアリティ・メディア・コンテンツは、バーチャル・リアリティ・メディア・プロバイダ・パイプラインの手段により、バーチャル・リアリティ・メディア・コンテンツを体験するユーザに関連するメディア・プレーヤ装置へ、ストリーミングされるように構成されてもよい）。

バーチャル・リアリティ・メディア・コンテンツ内に含める目的で、現実世界シーンのカスタマイズされるビューの仮想化プロジェクションを生成するための本明細書に記載のシステム及び方法は、様々な長所及び利点を提供することができる。一例として、本明細書に記載のシステム及び方法は、現実世界シーンのカスタマイズされるビューに関する仮想化プロジェクションを表すデータ（例えば、仮想化される表面データ・フレーム・シーケンス等）を、任意のキャプチャ・パラメータ（例えば、任意のキャプチャ・ロケーション、配向、視野、深度マッピング、クオリティ・レベル、ソース、ダイナミック・レンジ等）に基づいて生成することを可能にする。かくして、仮想化される表面データ・フレーム・シーケンスを生成することができ、キャプチャされる表面データ・フレーム・シーケンスとは別に提供され、特定の実施に寄与することができる現実世界シーンのビューの堅固（robust）なセットをカバーすることができる。例えば、現実世界シーンに関する様々なロケーションに膨大な数の物理的なキャプチャ・デバイスを配置しようとする（例えば、様々な異なるビット深度を有する異なるオブジェクトの様々なレベルの詳細を提供する等）のではなく、本明細書に記載の方法及びシステムは、比較的少数の物理的なキャプチャ・デバイスがデータをキャプチャすることを可能にすることができ、前記データから、膨大な数の仮想化される表面データ・フレーム・シーケンスを生成して、現実世界シーンのカスタマイズされるビューを表現することができる。

更には、キャプチャ・パラメータ（例えば、様々な異なるヴァンテージ・ポイント、様々な異なるキャプチャ分解能等を表すパラメータ）の様々な異なるセットに関連するキャプチャ・データ（例えば、表面データ・フレーム・シーケンス）を生成することによって、本明細書に記載のシステム及び方法は、以下を促進することができる：物理的なキャプチャ・デバイスによってキャプチャされ、エンド・ユーザに提供されるバーチャル・リアリティ・メディア・コンテンツ内に含まれるデータを現実的且つ効率的に配信すること。例えば、現実世界シーン周辺に配置される８つのキャプチャ・デバイスによってキャプチャされる高分解能データを使用して、現実世界シーンを描写する８つの高分解能のキャプチャされる表面データ・フレーム・シーケンスを、８つのキャプチャ・デバイスの各ビューから生成するだけでなく、比較的膨大な数（例えば、３００）の低分解能の仮想化される表面データ・フレーム・シーケンスも生成することができ、前記表面データ・フレーム・シーケンスは、キャプチャ・デバイスのビューとは異なる（例えば、不揃いの）様々なカスタマイズされるビューに関連してもよい。

仮想化される表面データ・フレーム・シーケンスを受信するバーチャル・リアリティ・メディア・コンテンツ提供システムは、利点として、以下の点について柔軟性を向上させることができる：どのデータを、システムが、特定のメディア・プレーヤ装置に特定の時間で提供するか（即ち、前記装置に提供されるバーチャル・リアリティ・メディア・コンテンツ内に含めるか）という点。かくして、バーチャル・リアリティ・メディア・コンテンツ・プロバイダは、ある向上した能力の利点を享受することができ、前記能力とは、メディア・プレーヤ装置に提供されるデータを最適化することであり（例えば、メディア・プレーヤ装置に比較的無関係のデータを大量にメディア・プレーヤ装置に送ること（例えば、メディア・プレーヤ装置がユーザに提供する特定のバーチャル・リアリティ体験の様々な態様に基づいて）によるのではない）、そして、表面の深度表現において最適化されるビット深度を使用したデータを提供し、深度精度及び／又は深度分解能を最適化することによってもよい。これについては、後で更に詳細に説明する。

一例として、８つの物理的なキャプチャ・デバイスによってキャプチャされる高分解能データの全てを、全てのメディア・プレーヤ装置に配信するのではなく（大量のデータが原因となって非現実的又は不可能となる可能性がある）、カスタマイズされるデータは、より選択的に且つより柔軟に配信されてもよい。具体的には、例えば、第１のメディア・プレーヤ装置用にカスタマイズされるデータ（例えば、仮想化される表面データ・フレーム・シーケンスの堅固なセットから選択される幾つか（ａ ｆｅｗ）の仮想化される表面データ・フレーム・シーケンスを表すデータ）を、第１のメディア・プレーヤ装置に配信することができ、第１のメディア・プレーヤ装置のユーザに関連する現実世界シーンの一部を高レベルで詳しく提供することができ、一方、第２のメディア・プレーヤ装置用にカスタマイズされるデータ（例えば、幾つか（ａ ｆｅｗ）の異なる仮想化される表面データ・フレーム・シーケンスを表すデータ）を、第２のメディア・プレーヤ装置に配信することができ、第２のメディア・プレーヤ装置のユーザに関連する現実世界シーンの別の一部を高レベルで詳しく提供することができる。かくして、バーチャル・リアリティ・メディア・コンテンツ提供システムは、第１の及び第２のメディア・プレーヤ装置の両方に対して、各ユーザに関連するデータ（例えば、ユーザが体験している現実世界シーンの各一部に対してカスタマイズされ且つローカライズされるデータ）を提供することができる。この間、いずれのメディア・プレーヤ装置も（又は、メディア・プレーヤ装置と通信するために使用されるいずれの配信チャンネルも）、各ユーザに関係がない現実世界シーンの一部に関する過剰量の冗長データ又は詳細データによる負荷を受けることがない。このようにして、データ配信について、向上させることができ、そして、更に効率的且つ効果的にすることができ、これは、クライアント・サイド・メディア・プレーヤ装置に配信される際に必要となるデータが少なくなることによってもよい（たとえ、分解能が高くなるほど、ユーザ・エクスペリエンスが、向上し、より現実的且つ没入性のあるコンテンツになるとしても）。こうした向上は、バーチャル・リアリティ・メディア・コンテンツのカスタマイズによって引き起こされ、前記カスタマイズでは、現実世界シーンの最も関連性の高い部分のみを高いクオリティで表現することを動的に含む。

様々な実施形態について、図面に言及しながら、以下、更に説明する。開示の方法及びシステムは、上述した１以上の利点を提供することができ、並びに／又は、様々な追加の及び／若しくは代替の利点を提供することができ、これらについては、本明細書で明らかになるであろう。

図１は、例示的な仮想化プロジェクション生成システム１００（「システム１００」）を示し、前記システムは、バーチャル・リアリティ・メディア・コンテンツ内に含める目的で、現実世界シーンのカスタマイズされるビューの仮想化プロジェクションを生成するためのものである。示しているが、システム１００は、限定されるものではないが、以下を含むことができる：通信設備１０２、表面データ・フレーム・シーケンス・マネージメント設備１０４、仮想化プロジェクション生成設備１０６、及びストレージ設備１０８（互いに選択可能に且つ通信可能に接続される）。以下の点を理解されたい：設備１０２〜１０８は、図１では別個の設備として示されているが、設備１０２〜１０８は、より少ない数の設備（例えば、単一の設備に）に結合されてもよく、又は、特定の実施に寄与することができるより数多くの設備に分割されてもよい。幾つかの例において、設備１０２〜１０８各々は、特定の実施に寄与することができるものとして、複数の装置間、及び／又は複数のロケーション間に分散してもよい。更には、以下の点を理解されたい：システム１００の特定の実装において、図１に示す特定の設備（及びこうした設備に関連する関連機能）はシステム１００から省略してもよい。設備１０２〜１０８各々については、本明細書に含まれる他の特定の図に言及しながら、以下、更に詳細に説明する。

通信設備１０２は、以下を含むことができる：１以上の物理的なコンピューティング・デバイス（例えば、ハードウェア及び／又はソフトウェア・コンポーネント（例えば、プロセッサ、メモリ、通信インターフェース、プロセッサが実行するためにメモリに記憶されるインストラクション等））。これらは、システム１００が使用する及び／又は提供するデータの送信及び受信に関連する様々なオペレーションを実行することができる。例えば、通信設備１０２は、複数のキャプチャされる表面データ・フレーム・シーケンスを受信（又は受信を促進）することができ、各表面データ・フレーム・シーケンスは、色彩及び深度フレームを含むことができ、色彩及び深度フレームは、現実世界シーンを、キャプチャ・パラメータの各セットに従って描写することができ、前記パラメータは、現実世界シーンの異なるビューに関連するキャプチャ・パラメータの複数のセットに含まれてもよい。

通信設備１０２は、特定の実施に寄与することができる任意の方法で、複数のキャプチャされる表面データ・フレーム・シーケンスを受信することができる。例えば、特定の実施形態において、複数のキャプチャされる表面データ・フレーム・シーケンス内の各表面データ・フレーム・シーケンスは、複数のキャプチャ・デバイス内の異なるキャプチャ・デバイスによってキャプチャ（例えば、生成）されてもよく、前記キャプチャ・デバイスは、現実世界シーンの異なるビューをキャプチャするように現実世界シーンに関しての異なるロケーションに配置されてもよい。かくして、通信設備１０２は、データ（例えば、キャプチャされる表面データ・フレーム・シーケンス）を直接複数のキャプチャ・デバイスから受信することができ、前記受信は、以下によってもよい：例えば、キャプチャ・デバイスから送信されるデータを要求及び受信すること、又は、キャプチャ・デバイスからのデータにアクセス若しくは獲得すること。他の例において、１以上の他のシステム（例えば、現実世界シーン・キャプチャ・システム）は、キャプチャ・デバイスとシステム１００との間を仲介することができ、その結果、通信設備１０２は、キャプチャされる表面データ・フレーム・シーケンスを、１以上の他のシステムの手段により受信することができる。

これに加えて、又はこれに代えて、通信設備１０２は、データ（例えば、仮想化される表面データ・フレーム・シーケンス、又は、システム１００が受信及び／又は生成する他のデータ）を以下に提供することができる：バーチャル・リアリティ・メディア・コンテンツ・プロバイダ・パイプラインにおける他のサーバ・サイド・システム、及び／又は、エンド・ユーザによって使用されるクライアント・サイド・メディア・プレーヤ装置。本明細書で使用するが、「サーバ・サイド」は、サーバとクライアントとの間のトランザクション（例えば、コンテンツ提供システムがコンテンツ（例えば、バーチャル・リアリティ・メディア・コンテンツ）をエンドユーザが使用するクライアント・デバイスに提供するトランザクション）のサーバ・サイド（例えば、プロバイダ・サイド）を指してもよい。例えば、より詳細に後述するが、バーチャル・リアリティ・メディア・コンテンツ提供システムは、バーチャル・リアリティ・メディア・コンテンツを、ユーザに関連するメディア・プレーヤ装置に提供することができる。かくして、サーバ・サイドシステム及びコンポーネントは、あるシステム及びコンポーネントを指すことができ、前記システム及びコンポーネントは、コンテンツ提供システムに関連することができ（例えば、内包される、実装される、相互運用される等）、前記コンテンツ提供システムは、データ（例えば、バーチャル・リアリティ・メディア・コンテンツ）を、メディア・プレーヤ装置に提供することできる（例えば、ネットワークの手段により）。一方で、「クライアント・サイド」デバイスは、クライアント・デバイス（例えば、メディア・プレーヤ装置）に関連することができ、クライアント・デバイスは、ネットワークの他方に位置するユーザによって使用することができ、「クライアント・サイド」デバイスは、以下を含むことができる：クライアント・デバイスがデータをコンテンツ提供システムから受信することを促進するデバイス（例えば、メディア・プレーヤ装置、及び／又は、ネットワークのユーザ・サイド上でユーザが操作する他のコンピュータ・コンポーネント）。

通信設備１０２は、以下の動作を行うように構成されてもよい：特定の実施に寄与することができる任意の通信インターフェース、プロトコル、及び／又は技術を使用して、サーバ・サイド及び／又はクライアント・サイド・システムと通信すること。例えば、通信設備１０２は、以下の手段の１以上によって通信するように構成されてもよい：ネットワーク（例えば、有線又はワイヤレスなローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、プロバイダ・ネットワーク、インターネット等）、有線の通信インターフェース（例えば、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（「ＵＳＢ」））、ワイヤレス通信インターフェース、又は、任意の他の適切な通信インターフェース、プロトコル、及び／若しくは技術。

表面データ・フレーム・シーケンス・マネージメント設備１０４は、以下を含むことができる：１以上の物理的なコンピューティング・コンポーネント（例えば、通信設備１０２のハードウェア及び／又はソフトウェア・コンポーネントとは別個の、又は、通信設備１０２と共有される）。これらは、以下に対して、オーガナイズ、同期、管理、トラッキング、及び／又はマネージメントを行うことに関連する様々なオペレーションを実行することができる：システム１００が受信又は生成した表面データ・フレーム・シーケンス、及び、表面データ・フレーム・シーケンスに関連するキャプチャ・パラメータの各セット。例えば、表面データ・フレーム・シーケンス・マネージメント設備１０４は、キャプチャされる表面データ・フレーム・シーケンス（例えば、キャプチャ・デバイスによってキャプチャされ、且つ、上述した通信設備１０２によって受信される表面データ・フレーム・シーケンス）に関連するキャプチャ・パラメータのセットを管理することができ、及び／又は、表面データ・フレーム・シーケンス・マネージメント設備１０４は、以下を特定すること（又は、特定することを促進すること）ができる：キャプチャされる表面データ・フレーム・シーケンスに関連するキャプチャ・パラメータのセットとは異なるキャプチャ・パラメータの１以上の追加のセット。例えば、表面データ・フレーム・シーケンス・マネージメント設備１０４は、キャプチャ・パラメータの１以上のセットを特定することができ、前記１以上のセットは、複数のキャプチャ・デバイスがキャプチャする現実世界シーンの異なるビューとは異なる現実世界シーンの１以上のカスタマイズされるビューとそれぞれ関連してもよい。表面データ・フレーム・シーケンス・マネージメント設備１０４は、更に以下を実行することができる：本明細書に記載の他のオペレーション、及び／又は、システム１００の特定の実施に寄与することができる他のオペレーション。

仮想化プロジェクション生成設備１０６は、以下を含むことができる：１以上の物理的なコンピューティング・コンポーネント（例えば、設備１０２及び／若しくは１０４のハードウェア及び／若しくはソフトウェア・コンポーネントとは別個のハードウェア及び／若しくはソフトウェア・コンポーネント、又は、設備１０２及び／若しくは１０４と共有されるハードウェア及び／若しくはソフトウェア・コンポーネント）。これらは、以下の動作に関連する様々なオペレーションを実行することができる：現実世界シーンのビュー（例えば、カスタマイズされるビュー）の仮想化プロジェクション、及び／又はこれに関連するデータを準備、形成、レンダリング、又は生成すること。例えば、仮想化プロジェクション生成設備１０６は、現実世界シーンのカスタマイズされるビューの仮想化プロジェクションに関する色彩及び深度フレームをレンダリングすることができる。より具体的には、例えば、仮想化プロジェクション生成設備１０６は、色彩及び深度フレームをレンダリングすることができ、前記レンダリングは、通信設備１０２が受信する表面データ・フレーム・シーケンスのうち少なくとも１つに基づいてもよく、そして、表面データ・フレーム・シーケンス・マネージメント設備１０４が特定するキャプチャ・パラメータの追加のセットに更に基づいてもよい。また、仮想化プロジェクション設備１０６は、仮想化される表面データ・フレーム・シーケンスを生成することができ、前記生成は、仮想化プロジェクションに関するレンダリングされる色彩及び深度フレームに基づいてもよい（例えば、これを含んでもよい）。いったん、仮想化される表面データ・フレーム・シーケンスが生成されると、仮想化プロジェクション設備１０６は、バーチャル・リアリティ・メディア・コンテンツ内に含める目的で、表面データ・フレーム・シーケンスを、ユーザに関連するメディア・プレーヤ装置に提供することができる。或いは、上述したように、仮想化される表面データ・フレーム・シーケンスは、特定の実施において、バーチャル・リアリティ・メディア・コンテンツ内に含める目的で、通信設備１０２が提供することができる。仮想化プロジェクション設備１０６は、更に以下を実行することができる：本明細書に記載の他のオペレーション、及び／又は、システム１００の特定の実施に寄与することができる他のオペレーション。

ストレージ設備１０８は、任意の適切なデータを記憶及び／又は管理することができ、前記データは、特定の実施において、設備１０２〜１０６によって、受信、生成、マネージメント、トラッキング、管理、使用、及び／又は送信されてもよい。例えば、示すように、ストレージ設備１０８は、以下を含むことができる：表面データ・フレーム・シーケンス・データ１１０、及び／又はキャプチャ・パラメータ・データ１１２。これらは、本明細書に記載の方法のいずれかで、受信、生成、マネージメント、トラッキング、管理、使用、及び／又は送信（例えば、他のシステムへ提供）されてもよい。更には、ストレージ設備１０８は、以下を含むことができる：本明細書に記載のオペレーションを実行する目的でシステム１００の特定の実施によって使用される他のタイプのデータ（例えば、インストラクション（例えば、プログラミング・インストラクション））、及び／又は、本明細書に記載のオペレーションを実行するために設備１０２〜１０６が使用する他のデータ。ストレージ設備１０８は、本明細書に記載の方法のいずれかで実装されてもよく、そして、ストレージ設備１０８は、データを記憶する際の任意の一時的又は非一時的なモードに関するハードウェア及び／又はソフトウェアを含むことができ、限定されるものではないが、以下を含むことができる：ランダム・アクセス・メモリ（「ＲＡＭ」）、非一時的ストレージ（例えば、ディスク・ストレージ、フラッシュ・メモリ・ストレージ等）等。

幾つかの例において、システム１００は、現実世界シーン内でイベントが発生したときに、１以上の本明細書に記載のオペレーションをリアルタイムで実行することができる。従って、システム１００がバーチャル・リアリティ・メディア・コンテンツ・プロバイダ・パイプライン内で使用される（ここで、他のシステムもリアルタイムで動作する）実施において、バーチャル・リアリティ・メディア・コンテンツ（例えば、システム１００がリアルタイムで生成する仮想化される表面データ・フレーム・シーケンスを含むバーチャル・リアリティ・メディア・コンテンツ）を、メディア・プレーヤ装置に提供することができ、その結果、メディア・プレーヤ装置の各ユーザ（ユーザは、現実世界シーンの近くに物理的に位置しなくてもよく、現実世界シーン（例えば、現実世界シーン内で発生するイベント）を体験することを望んでもよい）は、ユーザの各メディア・プレーヤ装置を使用して、現実世界シーン、及び、現実世界シーン内で発生するイベントを、仮想的に、ライブ形式で（例えば、イベントが発生した時にリアルタイムで）体験することができる。データ処理及びデータ配信について、現実世界シーン内でイベントが発生した時にユーザが現実世界シーンを正確に体験することが不可能となるような有限量の時間がかかる可能性がある。その一方で、本明細書で使用するが、オペレーションが即時に且つ過度の遅延なく実行される場合には、オペレーションは、「リアルタイム」で実行されるものとする。従って、以下の場合であっても、ユーザが、現実世界シーンをリアルタイムで体験するといってもよい：ユーザが、現実世界シーン内にて、ある遅延の後（例えば、発生事象が実際に起こってから数秒後又は数分後（ａ ｆｅｗ ｓｅｃｏｎｄｓ ｏｒ ｍｉｎｕｔｅｓ））で特定のイベントを体験した場合。

上述したように、特定の実施において、システム１００は、比較的膨大な数の仮想化プロジェクションを表すデータを生成することができる。こうしたデータは、以下の点に関する柔軟性をもたらすことができる：どのようにして、バーチャル・リアリティ・メディア・コンテンツ（例えば、データを使用するバーチャル・リアリティ・メディア・コンテンツ）を生成し、そして、クライアント・サイド・メディア・プレーヤ装置に配信するか。例えば、現実世界シーンの膨大な数のローカライズされるバーチャル・プロジェクションを表すデータを生成することによって、１人のユーザの体験に関連する詳細を、前記ユーザに関連するメディア・プレーヤ装置に提供することができ、一方で、前記詳細との関連性が低い別のユーザのメディア・プレーヤ装置には、提供されない。

システム１００の１つの特定の実装において、例えば、通信設備１０２は、（例えば、現実世界シーン内でイベントが発生した時にリアルタイムで）複数のキャプチャされる表面データ・フレーム・シーケンスを受信することができ、各表面データ・フレーム・シーケンスは、色彩及び深度フレームを含み、前記色彩及び深度フレームは、現実世界シーンを、キャプチャ・パラメータの各セットに従って描写し、前記キャプチャ・パラメータの各セットは、現実世界シーンの異なるビューに関連するキャプチャ・パラメータの第１の複数のセット内に含まれる。上述したように、複数のキャプチャされる表面データ・フレーム・シーケンス内の各表面データ・フレーム・シーケンスは、複数のキャプチャ・デバイス内の異なるキャプチャ・デバイスによってキャプチャされてもよく、前記複数のキャプチャ・デバイスは、現実世界シーンの異なるビューをキャプチャするように現実世界シーンに関しての異なるロケーションに配置されてもよい。キャプチャされる表面データ・フレーム・シーケンスを受信することに加えて、表面データ・フレーム・シーケンス・マネージメント設備１０４は、キャプチャ・パラメータの第２の複数のセットを特定することができ、前記第２の複数のセットは、キャプチャ・パラメータの第１の複数のセット内に含まれるキャプチャ・パラメータのセットとは異なってもよい。例えば、キャプチャ・パラメータの第２の複数のセット内のキャプチャ・パラメータの各セットは、現実世界シーンの各カスタマイズされるビューに関連してもよく、前記各カスタマイズされるビューは、複数のキャプチャ・デバイスがキャプチャする現実世界シーンの異なるビューとは異なってもよい。例えば、キャプチャ・パラメータの前記第２の複数のセットは、以下を含むことができる：キャプチャ・パラメータの比較的膨大な数のセット（例えば、キャプチャ・パラメータの第１の複数のセット内に含まれるものよりも更に大きな数のセット）。また、こうした特定するオペレーションは、現実世界シーン内でイベントが発生した時に、リアルタイムで実行されてもよい。

キャプチャ・パラメータの第２の複数のセットを特定することに応答して、仮想化プロジェクション生成設備１０６は、現実世界シーンの各カスタマイズされるビューの仮想化プロジェクションに関する色彩及び深度フレームをレンダリングすることができ、前記レンダリングは、複数のキャプチャされる表面データ・フレーム・シーケンスに基づいてもよく、且つ、キャプチャ・パラメータの第２の複数のセットに基づいてもよい。幾つかの例において、仮想化プロジェクション生成設備１０６は、レンダリングされる色彩及び深度フレームをパッケージ化して、各仮想化される表面データ・フレーム・シーケンス内に含まれるようにしてもよく、前記各仮想化される表面データ・フレーム・シーケンスは、１以上のトランスポート・ストリーム等の手段によって送信されてもよく、これについては、後で更に詳細に説明する。また、こうしたレンダリング及び／又はデータのパッケージ化は、リアルタイムで、前記現実世界シーン内で前記イベントが発生した時に、実行されてもよい。かくして、通信設備１０２は、（例えば、リアルタイムで、前記現実世界シーン内で前記イベントが発生した時に）複数の仮想化される表面データ・フレーム・シーケンスを提供することができ、前記表面データ・フレーム・シーケンスは、現実世界シーンの各カスタマイズされるビューの仮想化プロジェクションに関するレンダリングされる色彩及び深度フレームを含むことができる。例えば、複数の仮想化される表面データ・フレーム・シーケンスは、バーチャル・リアリティ・メディア・コンテンツ内に含める目的で、メディア・プレーヤ装置に提供されてもよい（例えば、バーチャル・リアリティ・メディア・コンテンツは、バーチャル・リアリティ・メディア・プロバイダ・パイプラインの手段によって、リアルタイムで、バーチャル・リアリティ・メディア・コンテンツを体験するユーザに関連するメディア・プレーヤ装置へ、ストリーミングされるように構成される）。

現実世界シーンを表すデータ（例えば、システム１００が受信する表面データ・フレーム・シーケンス）は、特定の実施に寄与することができる任意の適切な構成で配置される任意の適切なシステム及び／又はデバイスによってキャプチャされてもよい。例えば、上述したように、システム１００が受信する複数のキャプチャされる表面データ・フレーム・シーケンス内の各表面データ・フレーム・シーケンスは、複数のキャプチャ・デバイス内の異なるキャプチャ・デバイスによってキャプチャされてもよく、前記複数のキャプチャ・デバイスは、現実世界シーンの異なるビューをキャプチャするように、現実世界シーンに関しての異なるロケーションに配置されてもよい。

図示する目的で、図２は、例示的な構成２００を示し、ここで、例示的な現実世界シーンを表すデータは、現実世界シーンの異なるビューからキャプチャされる。具体的には、構成２００に示すように、現実世界オブジェクト２０４を含む現実世界シーン２０２は、現実世界シーン２０２の複数のビュー２０６（例えば、ビュー２０６−１〜２０６−８）によって囲まれてもよい。

現実世界シーン２０２は、以下を表現することができる：任意の現実世界の景色、現実世界のロケーション、現実世界のイベント（例えば、ライブ・イベント等）、又は、特定の実施に寄与することができる現実世界に存在する他の対象物（例えば、バーチャル世界又は仮想世界にのみ存在するものとは対照的に）。図２の現実世界シーン２０２を表現する円によって示されるように、現実世界シーン２０２は、具体的には、線引きされたエリアであってもよい（例えば、ステージ、アリーナ等）。逆に、他の例において、現実世界シーン２０２は、さほど、区画化又は線引きされなくてもよい。例えば、現実世界シーン２０２は、以下を含むことができる：任意のインドア又はアウトドアの現実世界のロケーション（例えば、街の通り、ミュージアム、眺めの良い景色等）。特定の例において、現実世界シーン２０２は、現実世界のイベントに関連してもよい（例えば、スポーツ・イベント、ミュージカル・イベント、演劇又はシアターのプレゼン、大規模な祝事（例えば、タイムズ・スクエアでの大晦日、マルディ・グラ等）、政治的なイベント、又は、任意の他の現実世界のイベント）。同一の又は他の例において、現実世界シーン２０２は、以下に関連してもよい：フィクション化されるシーン（例えば、ライブ・アクションのバーチャル・リアリティのテレビ・ショー又は映画のセット）に関するセッティング、及び／又は特定の実施に寄与することができる任意の他のインドア又はアウトドアの現実世界のロケーションでの任意の他のシーンに関するセッティング。

従って、現実世界オブジェクト２０４は、生物無生物に関わらず、任意の現実世界オブジェクトを表現することができ、前記現実世界オブジェクトは、現実世界シーン２０２に関連してもよく（例えば、現実世界シーン２０２内に又はその周辺に位置する）、ビュー２０６のうち少なくとも１つから検出可能（例えば、閲覧可能等）であってもよい。明確性の目的で、現実世界オブジェクト２０４は、比較的シンプルな幾何学的形状で描写されているが、以下の点を理解されたい：現実世界オブジェクト２０４は、様々なレベルの複雑さを有する様々なタイプのオブジェクトを表現することができる。例えば、幾何学的な形ではなく、現実世界オブジェクト２０４は、以下を表現することができる：任意のアニメーション若しくは非アニメーション・オブジェクト若しくは表面（例えば、人物又は別の生き物）、非透明な固体、液体、若しくは気体、不連続性に欠けるオブジェクト（例えば、壁、天井、床）、又は、本明細書に記載の若しくは特定の実施に寄与することができる任意の他のタイプのオブジェクト。

現実世界オブジェクト２０４は、様々な表面を含むことができ、前記表面は、それぞれ光を反射することができ（例えば、現実世界シーン２０２における環境光、深度キャプチャ・デバイス等によって発光される構造化光パターン内の赤外線）、前記光は、キャプチャ・デバイスによって検出されてもよく、前記キャプチャ・デバイスは、ビュー２０６から現実世界シーン２０２をキャプチャするように、現実世界シーン２０２に関しての異なるロケーションに配置されてもよい。現実世界オブジェクト２０４を比較的シンプルに描写しているものの、現実世界オブジェクト２０４の表面の深度及び／又は外観は、表面がどの現実世界シーン２０２のビュー２０６から検出されるかに基づいて、異なった外観を擁してもよく、これについては、後述する。換言すれば、現実世界オブジェクト２０４は、現実世界オブジェクト２０４が閲覧される視界（例えば、位置、ヴァンテージ（Ｖａｎｔａｇｅ）・ポイント等）に基づいて、異なって見えてもよい。

上述したように、現実世界シーン２０２のビュー２０６は、現実世界シーン２０２（例えば、現実世界オブジェクト２０４を含む）を閲覧することができる異なる視界、ヴァンテージ・ポイント等を提供することができる。後述するが、様々な異なるビュー２０６（例えば、様々な視界から現実世界シーン２０２をキャプチャする目的で現実世界シーン２０２を囲むビュー２０６）からキャプチャされる現実世界シーン２０２の色彩及び深度データを用いて、システム１００は、現実世界シーン２０２の任意のビューの仮想化プロジェクションを生成することができる。換言すれば、１以上のビュー２０６からキャプチャされる色彩及び深度データを使用して、システム１００は、現実世界シーン２０２のカスタマイズされるビュー（例えば、ビュー２０６とは異なるロケーション、配向等からの現実世界シーン２０２の任意のビュー）の仮想化プロジェクションのための色彩及び深度データをレンダリングすることができる。

ビュー２０６は、それぞれ、現実世界シーン２０２に関して固定されてもよい。例えば、現実世界シーン２０２及びビュー２０６の両方は静的であってもよく、又は、現実世界シーン２０２及びビュー２０６は共に動くものであってもよい。幾つかの例において、例えば、構成２００に示すように、ビュー２０６は、現実世界シーン２０２に関連する少なくとも２次元に沿って（例えば、平面に沿って（例えば、地面））現実世界シーン２０２を囲んでもよい。特定の例において、ビュー２０６は、現実世界シーン２０２を３次元（例えば、現実世界シーン２０２の上下のビュー２０６を含めることにもよって）に沿って囲んでもよい。

ビュー２０６を配置する現実世界シーン２０２を囲む異なる位置によって示されるが、各ビュー２０６は、現実世界シーン２０２に関連する特定のロケーションに関連してもよい。更には、ビュー２０６は、現実世界シーン２０２をどのようにキャプチャするかに関する他の態様に更に関連してもよい。例えば、各ビュー２０６から出ているドット線によって示されるように、ビュー２０６は以下に関連してもよい：特定のキャプチャ配向（例えば、ビュー２０６に対応するキャプチャ・デバイスが向かう特定の方向）、キャプチャの特定の視野（例えば、キャプチャ・デバイスが以下に基づいてキャプチャする現実世界シーン２０２のエリア：例えば、キャプチャ・デバイスのレンズがどれほど狭角又は広角なのか、キャプチャ・デバイスのズーム・レベル等）等。各ビュー２０６は、更に、図２に明示的に示さないキャプチャの態様に関連してもよい。例えば、各ビュー２０６は以下に関連してもよい：データがビュー２０６に関連するキャプチャ・デバイスによってキャプチャされるときの特定のクオリティ・レベル（例えば、イメージ解像度、フレーム・レート等）、キャプチャ・デバイスがキャプチャするデータがエンコードされる特定のフォーマット、及び／又は特定の実施に寄与することができるデータ・キャプチャの任意の他の態様。

幾つかの例において、構成２００に示すように、各ビュー２０６に関連するヴァンテージ・ポイント（例えば、配向、視野等）は、現実世界シーン２０２に向かって内向きに角度付けされてもよく、それによって、ビュー２０６とは不揃いとなり得るカスタマイズされるビューから現実世界シーン２０２を後に再生成することができるのに十分な視界から現実世界シーン２０２をキャプチャするようにしてもよい。更には、同一の又は他の例において、ビュー２０６に関連する１以上のヴァンテージ・ポイントは、外向きに角度付けされてもよく（即ち、現実世界シーン２０２から遠ざかるように）、現実世界シーン２０２を囲むオブジェクト等を表すデータをキャプチャしてもよい。例えば、球状の３６０度キャプチャ・デバイス（外側に向かうヴァンテージ・ポイント）は、現実世界シーン２０２内の位置（明示しない）に配置してもよく、現実世界シーン２０２内に含まれるオブジェクトを追加の視界からキャプチャすることができ、及び／又は、現実世界シーン２０２外部のデバイスをキャプチャすることができる。これに加えて、又はこれに代えて、特定の例において、複数の外向きのビューは、現実世界シーンに対して、パノラマの、広角の、又は３６０度のビューのキャプチャを可能にすることができる。

各ビュー２０６の視界から現実世界シーン２０２をキャプチャする目的で、複数のキャプチャ・デバイス内の異なるキャプチャ・デバイスは、ビュー２０６の各異なるロケーションに配置することができる。図示する目的で、図３Ａは、例示的なキャプチャ・デバイス３０２を示し、前記キャプチャ・デバイス３０２は、現実世界シーン２０２を表す表面データ・フレーム・シーケンス内に含める目的で、色彩及び深度フレームをキャプチャする。

図３Ａに示すように、キャプチャ・デバイス３０２は、ビュー２０６−１に関連してもよく、従って、現実世界シーン２０２及び現実世界オブジェクト２０４に関して、ビュー２０６−１に対応するロケーションに配置されてもよい。図３Ａが示すこととして、キャプチャ・デバイス３０２は、以下を含むことができる：２次元（「２Ｄ」）色彩キャプチャ・デバイス３０４であって、現実世界シーン２０２（例えば、現実世界オブジェクト２０４、及び／又は、現実世界シーン内に含まれる他のオブジェクトを含む）を表す色彩データ（例えば、フル・カラー又はグレースケール・イメージを表す２Ｄビデオ・データ）をキャプチャするように構成されるデバイス、及び、深度キャプチャ・デバイス３０６であって、現実世界シーン２０２を表す深度データをキャプチャするように構成されるデバイス。

２Ｄ色彩キャプチャ・デバイス３０４は、任意の適切な２Ｄ色彩キャプチャ・デバイス（例えば、カメラ、ビデオ・カメラ等）によって実装することができ、そして、特定の実施に寄与することができる任意の態様で、２Ｄ色彩データをキャプチャすることができる。幾つかの例において、２Ｄ色彩キャプチャ・デバイス３０４は、深度キャプチャ・デバイス３０６とは別個のデバイスであってもよい。総称すると、こうした別個のデバイス（例えば、並びに、機能的にデバイスを融合するために使用される任意の通信インターフェース及び／又は他のハードウェア若しくはソフトウェアのメカニズム）は、キャプチャ・デバイス（例えば、キャプチャ・デバイス３０２）と称することができる。他の例において、図３Ａに示すように、２Ｄ色彩キャプチャ・デバイス３０４及び深度キャプチャ・デバイス３０６は、単一のデバイス（即ち、キャプチャ・デバイス３０２）に統合されてもよく、前記デバイスは、色彩及び深度データの両方をキャプチャすることができ、これについては、後述する。

別個のデバイスとして実装されるか、又は、２Ｄ色彩キャプチャ・デバイス３０４に統合されるかに関わらず、深度データ・キャプチャ・デバイス３０６は、現実世界シーン２０２を表す深度データを、特定の実施に寄与することができる任意の態様でキャプチャすることができる。例えば、深度データ・キャプチャ・デバイス３０６は、１以上の深度マップ・キャプチャ技術を採用することができる（例えば、構造化光深度マップ・キャプチャ技術、立体視深度マップ・キャプチャ技術、タイム・オブ・フライト深度キャプチャ技術、別の適切な深度マップ・キャプチャ技術、又は、特定の実施に寄与することができる深度マップ・キャプチャ技術の任意の組み合わせ）。

深度データをキャプチャするのに使用される深度マップ・キャプチャ技術のタイプ及び数に関わらず、キャプチャ・デバイス３０２は、現実世界オブジェクト２０４及び／又は現実世界シーン２０２内に含まれる他のオブジェクトの表面を表す色彩データ（例えば、色彩フレーム）及び深度データ（例えば、深度フレーム）の両方を、ビュー２０６−１からキャプチャすることができる。本明細書で使用するが、キャプチャ・デバイス３０２によってほぼ同じ時間にキャプチャされる色彩フレーム及び深度フレームは、総称的に、「表面データ・フレーム」又は「色彩及び深度フレーム」と称してもよく、この理由として、これらのフレームに含まれるデータは、現実世界シーン内に含まれる現実世界オブジェクトの表面（即ち、表面の見える外観、並びに、表面の深度の幾何学の両方）を記述するデータを表現しているからである。

従って、本明細書で使用するが、表面データ・フレーム又は色彩及び深度フレームは、データセットを意味してもよく、前記データセットは、現実世界オブジェクトの表面に関連する様々なタイプのデータを表してもよく、前記現実世界オブジェクトの表面は、現実世界シーンの特定のビューから特定の時間のポイントにおいて現実世界シーン内で見ることができるものであってもよい。例えば、表面データ・フレームは、以下を含むことができる：現実世界シーンに関して特定のビューから見ることができるオブジェクトを表す色彩データ（即ち、イメージ・データ）並びに深度データ。かくして、複数の関連表面データ・フレームは、ともにシーケンス化されてもよく、特定のビューからみた現実世界シーンのビデオのような表現（色彩データのみならず深度データも表現）を生成してもよい。特定の例において、表面データ・フレームは、更に以下に関連してもよい：他のタイプのデータ（例えば、オーディオ・データ、メタデータ（例えば、表面データ・フレームがキャプチャされるビューを記述するキャプチャ・パラメータのセット、表面データ・フレームにおいて表現される特定の現実世界オブジェクトに関する情報等を含むメタデータ））、及び／又は特定の実施に寄与することができる他のタイプのデータ。後で説明及び図示するが、表面データ・フレームのこうしたシーケンスは、本明細書において「表面データ・フレーム・シーケンス」と称してもよい。

本明細書で使用するが、「色彩データ」は、広義には任意のイメージ・データ、ビデオ・データ等を含むことができ、カラーでの表現又はグレースケール（即ち「白黒」）での表現に関わらず、これらのデータは、特定のビューの視界から特定の時間ポイント又は特定の期間にわたって対象物（例えば、現実世界シーン内に含まれる現実世界オブジェクト）の外観を表現したものであってもよい。色彩データは、以下に限定されない：任意の特定の形式、ファイル・タイプ、フレーム・レート、解像度、品質レベル、又は、様々な定義、並びに／若しくは当分野でイメージ・データ及び／若しくはビデオ・データを定義する規格に関連する他の特性。同様に、本明細書で使用するが、「深度データ」は、以下を含むことができる：空間内の対象物の位置及び／又は幾何学を表す任意のデータ。例えば、現実世界オブジェクトを表す深度データは、以下を含むことができる：現実世界オブジェクトの表面の異なるポイントの座標系（例えば、特定のキャプチャ・デバイスに関連する座標系、現実世界シーン等に関連するグローバル座標系）に関する座標。

キャプチャ・デバイス３０２と同様、前記デバイスは、色彩及び深度フレームをビュー２０６−１からキャプチャするが、以下の点を理解されたい：他のキャプチャ・デバイスは、他のビュー２０６（例えば、図２中のビュー２０６−２〜２０６−８）に関連してもよく、同様に、色彩及び深度フレームを、他のビュー２０６に関連する各ヴァンテージ・ポイントからキャプチャすることができる。幾つかの例において、表面データ・フレームは、同一の特定の時間ポイントで、異なるビュー２０６に関連する異なるキャプチャ・デバイスでキャプチャされてもよく、これによって、互いに同期をとることができる。本明細書で使用するが、表面データ・フレームは、以下の場合には、「同一の特定の時間ポイントで」キャプチャされると言ってもよい：表面データ・フレームが、ある時間の瞬間に（即ち、ある時間範囲にわたって対象物を表すのとは対照的に）対象物（例えば、現実世界シーン内の現実世界オブジェクト）を効果的に表現できるのに十分なほど近い時間内でキャプチャされる場合（たとえ、表面データ・フレームが正確に同一の瞬間にキャプチャされなかったとしても）。例えば、特定の対象物がどれだけ動的であるか（例えば、１以上の現実世界オブジェクトが現実世界シーン内をどれだけ早く動くか等）に依存するが、表面データ・フレームは、以下の場合に、同一の特定の時間ポイントでキャプチャされると考えてもよい：例えば、互いに数十又は数百ミリ秒（ｓｅｖｅｒａｌ ｔｅｎｓ ｏｒ ｈｕｎｄｒｅｄｓ ｏｆ ｍｉｌｌｉｓｅｃｏｎｄｓ）内でキャプチャされる場合、又は、特定の実施に寄与することができる別の適切なタイムフレーム内（例えば、マイクロ秒内、ミリ秒内、秒内等）でキャプチャされる場合。かくして、各表面データ・フレームは、特定の時間ポイントで、各キャプチャ・デバイスが関連するビュー２０６の各ヴァンテージ・ポイントからの現実世界シーン内に含まれる現実世界オブジェクトの表面の色彩及び深度データを、表面の外観として表すことができる。

図３Ｂ〜３Ｃは、キャプチャ・デバイス３０２によってキャプチャされ、且つ、色彩及び深度フレーム内（即ち、表面データ・フレーム内）に含まれるデータの例示的なグラフィカルな描写を示す。具体的には、示すように、表面データ・フレームに組み込まれる色彩フレームは、色彩データ３０８（図３Ｂに示す）を含むことができ、一方で、表面データ・フレームに組み込まれる深度フレームは、深度データ３１０を含むことができる（図３Ｃに示す）。

図３Ｂにおいて、色彩データ３０８は、現実世界シーン２０２（例えば、現実世界オブジェクト２０４を含む）を描写しており、前記現実世界シーン２０２は、ビュー２０６−１から、キャプチャ・デバイス３０２内の２Ｄ色彩キャプチャ・デバイス３０４によって閲覧される。色彩データ３０８は、ビデオ・フレームのシーケンスにおいて、単一のビデオ・フレームを表すことができるため、色彩データ３０８によって表現される現実世界オブジェクト２０４の描写は、以下を表すことができる：現実世界オブジェクト２０４（例えば、並びに現実世界シーン２０２に関連する他のオブジェクト）が、ビュー２０６−１のヴァンテージ・ポイントから、特定の時間ポイントでどのような外観を擁するか。図３Ｂにおいてイメージとして示されるが、以下の点を理解されたい：色彩データ３０８は、任意の適切な形態で、キャプチャ、エンコード、フォーマット、送信、及び表現されてもよい。例えば、色彩データ３０８は、標準ビデオ・エンコーディング・プロトコル、標準イメージ・フォーマット等に従ってフォーマットされるデジタル・データであってもよい。幾つかの例において、色彩データ３０８は、現実世界シーン２０２におけるオブジェクトの色彩イメージ（例えば、カラー写真に類する物）を表現したものであってもよい。或いは、他の例において、色彩データ３０８は、オブジェクトを表すグレースケール・イメージ（例えば、白黒写真に類するもの）であってもよい。

図３Ｃにおいて、深度データ３１０も（色彩データ３０８と同様に）、ビュー２０６−１の視界からの現実世界シーン２０２（現実世界オブジェクト２０４を含む）を描写する。しかし、現実世界シーン２０２内のオブジェクトの目に見える外観を表現する（例えば、光が現実世界オブジェクト２０４の表面とどのように相互作用するかについて、カラー又はグレースケールで表現する）のではなく、深度データ３１０は以下を表現したものであってもよい：例えば、キャプチャ・デバイス３０２内の深度キャプチャ・デバイス３０６に対するオブジェクト（例えば、現実世界オブジェクト２０４並びに現実世界シーン２０２内の他のオブジェクト）の表面上の各ポイントの深度（即ち、距離又は位置）。色彩データ３０８と同様、深度データ３１０は、任意の適切な形態で、キャプチャ、エンコード、フォーマット、送信、及び表現されてもよい。例えば、示すように、深度データ３１０は、グレースケール・イメージ・データによって表現されてもよい（例えば、深度キャプチャ・デバイス３０６によってキャプチャされる各ピクセルに関して６ビット又は８ビット）。しかし、光が現実世界オブジェクト２０４の表面からどのように反射するかについて表現（即ち、色彩データ３０８で表現）するのではなく、深度データ３１０のグレースケール・イメージは以下を表現したものであってもよい：イメージ中の各ピクセルに関して、そのピクセルによって表現されるポイントが、深度キャプチャ・デバイス３０６からどれほど離れているか。例えば、深度キャプチャ・デバイス３０６に、より近いポイントは、より暗いグレーの影を表現する値で表されてもよい（例えば、６ビット実装のケースで０ｂ１１１１１１がブラックを表現している場合において、０ｂ１１１１１１に近いバイナリな値）。逆に、深度キャプチャ・デバイス３０６から、より離れているポイントは、より明るいグレーの影を表現する値で表されてもよい（例えば、６ビット実装のケースで０ｂ００００００がホワイトを表現している場合において、０ｂ００００００に近いバイナリな値）。

特定の例において、システム１００（例えば、通信設備１０２）は、キャプチャ・デバイス３０２及び他のビュー２０６に関連する他のキャプチャ・デバイスと、１以上のネットワーク及び／又は任意の他の適切な通信インターフェース、プロトコル、及び技術により、通信可能に接続されてもよい。従って、こうした例において、通信設備１０２は、キャプチャされる表面データ・フレーム・シーケンスを、１以上のネットワーク並びに／又は他の通信インターフェース、プロトコル、及び技術の手段によりキャプチャ・デバイスから直接受信してもよい。他の例において、システム１００とは別個の現実世界シーン・キャプチャ・システムは、各キャプチャ・デバイスと通信可能に接続されてもよく、そして、以下の動作を行うように構成されてもよい：表面データ・フレームのキャプチャを、各キャプチャ・デバイスによってマネージメントすること、及び、表面データ・フレーム・シーケンスをシステム１００に提供すること（例えば、表面データ・フレーム・シーケンスに対して同期させた及び／又は処理した後）。とにかく、キャプチャ・デバイス、システム１００、及び／又は、仲介現実世界シーン・キャプチャ・システム間の通信は、以下の手段により実施されてもよい：ネットワークの手段により（例えば、有線又はワイヤレスなローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、プロバイダ・ネットワーク、インターネット等）、有線の通信インターフェース（例えば、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（「ＵＳＢ」））の手段により、ワイヤレス通信インターフェースの手段により、又は、特定の実施に寄与することができる任意の他の通信インターフェース、プロトコル、及び／若しくはテクノロジーの手段により。

他の例において、複数のキャプチャ・デバイスは、システム１００内に統合されてもよく、又はシステム１００の一部として含まれてもよい（例えば、システム１００の表面データ・フレーム・シーケンス・マネージメント設備１０４又は別の設備の一部として）。かくして、こうした例において、表面データ・フレーム・シーケンス・マネージメント設備１０４は、統合されるキャプチャ・デバイスを使用して、表面データ・フレーム・シーケンスをキャプチャすることにより、表面データ・フレーム・シーケンスを受信することができる。

図４Ａ〜４Ｂが示すのは、例示的な表面データ・フレーム・シーケンス４００−１であり、前記表面データ・フレーム・シーケンス４００−１は、キャプチャ・デバイス３０２が生成する現実世界シーン２０２（例えば、ビュー２０６−１の視界から）を表す。具体的には、図４Ａが示すのは、表面データ・フレーム・シーケンス４００−１の詳細なグラフィカルなビューであり、前記ビューは、表面データ・フレーム・シーケンス４００−１に含めることができるある特定のデータを描写する。一方で、図４Ｂが示すのは、表面データ・フレーム・シーケンス４００−１の統合させたグラフィカルなビューであり、前記ビューは、表面データ・フレーム・シーケンス４００−１のコンテンツに関する数多くの詳細を具体的に描写しているわけではない。

図４Ａに示すように、表面データ・フレーム・シーケンス４００−１は、色彩データ、深度データ、及びメタデータを含む様々なタイプのデータを含むことができる。具体的には、表面データ・フレーム・シーケンス４００−１は、色彩フレーム・シーケンス４０２、深度フレーム・シーケンス４０４、及びキャプチャ・パラメータ４０６のセットを含むように示される。以下の点を理解されたい：表面データ・フレーム・シーケンス４００−１は、更に、図４Ａに明示しない他のタイプのデータ（例えば、キャプチャ・パラメータ４０６のセットのほかに、キャプチャされるオーディオ・データ、他のメタデータ等）を含むことができる。更には、以下の点を理解されたい：表面データ・フレーム・シーケンス４００−１内に含まれるデータは、任意の適切な方法で、アレンジしたり、又はフォーマットしたりすることができる。例えば、示すように、表面データ・フレーム・シーケンス４００−１内に含まれるデータは、１つの色彩フレーム・シーケンス、及び１つの深度フレーム・シーケンスとしてアレンジされてもよい。他の例において、単独のキャプチャ・デバイスは、複数の色彩フレーム・シーケンス、及び／又は、複数の深度フレーム・シーケンスを出力することができる（例えば、キャプチャされる現実世界シーンの視野の異なる部分をカバーするために）。更なる他の例において、表面データ・フレーム・シーケンス４００−１のデータは、統合される表面データ・フレームのシーケンスとしてアレンジされてもよく、各フレームは、特定の色彩フレーム、特定の深度フレーム、及び特定のメタデータ（例えば、キャプチャ・パラメータ４０６のセットを表すデータ）を含むことができ、又は、特定の実施に寄与することができる他の方法でアレンジされてもよい。

色彩フレーム・シーケンス４０２の各色彩フレーム内に含まれるデータは、図３に関連して上述した色彩データ３０８と同様であってもよい。しかし、色彩フレーム・シーケンス４０２内の各色彩フレームは、少々異なる時間でキャプチャされてもよく、その結果、色彩フレーム・シーケンス４０２は、ビュー２０６−１からの現実世界シーン２０２のビデオのような表現を形成することができる。同様に、深度フレーム・シーケンス４０４の各深度フレーム内に含まれるデータは、以下の点を除いて、深度データ３１０と同様であってもよい：深度フレーム・シーケンス４０４内の各深度フレームは、少々異なる時間でキャプチャされてもよく（例えば、色彩フレーム・シーケンス４０２の色彩フレームがキャプチャされる時間と同期をとる時間）、その結果、深度フレーム・シーケンス４０４は、ビュー２０６−１からの現実世界シーン２０２の別のビデオのような表現を形成してもよい。

表面データ・フレーム・シーケンス４００−１内に含まれるキャプチャ・パラメータ４０６のセットは、以下を含むことができる：表面データ・フレーム・シーケンス４００−１をキャプチャするビュー（即ち、ビュー２０６−１のケースにおいて）を記述するメタデータ。例えば、キャプチャ・パラメータ４０６のセットは、以下を含むことができる：表面データ・フレーム・シーケンス４００−１内に含まれる表面データ・フレームが、どこで及び／又はどのようにキャプチャされるかに関する様々な態様を示す様々なパラメータ。キャプチャ・パラメータ４０６のセット内に含まれるキャプチャ・パラメータは、以下を含むことができる：特定の実施に寄与することができる現実世界シーンの各ビューに関連する任意の適切なキャプチャ・パラメータ。

例えば、キャプチャ・パラメータ４０６のセットは、以下を表すキャプチャ・パラメータを含むことができる：現実世界シーン２０２のビュー２０６−１に対応する色彩及び深度フレームがキャプチャされる現実世界シーン２０２に関するロケーション。別の例として、キャプチャ・パラメータ４０６のセットは、以下を表すキャプチャ・パラメータを含むことができる：現実世界シーン２０２のビュー２０６−１に対応する色彩及び深度フレームがキャプチャされる配向（例えば、キャプチャ・デバイスが指す異なる次元における異なる角度に関連するキャプチャ配向）。同様に、別の例として、キャプチャ・パラメータ４０６のセットは、以下を表すキャプチャ・パラメータを含むことができる：現実世界シーン２０２のビュー２０６−１に対応する色彩及び深度フレームをキャプチャする視野。更には、更なる別の例として、キャプチャ・パラメータ４０６のセットは、以下を表すキャプチャ・パラメータを含むことができる：現実世界シーン２０２のビュー２０６−１に対応する色彩及び深度フレームをキャプチャするイメージ・クオリティ。更なる他の例において、キャプチャ・パラメータ４０６のセットは、以下を含むことができる：現実世界シーン２０２のビュー２０６−１に対応する色彩及び深度フレームをキャプチャすることができる他の態様を表す任意の他の適切なキャプチャ・パラメータ。例えば、キャプチャ・パラメータ４０６のセットは、以下を表すパラメータを含むことができる：ビュー２０６−１に対応する深度フレームをキャプチャする深度マッピング及び／若しくは深度範囲；、ビュー２０６−１に対応する色彩及び深度フレームをキャプチャする特定のエンコーディング、フォーマット、フレーム・レート、ダイナミック・レンジ等を表すパラメータ；、キャプチャのソース（例えば、ビュー２０６−１に対応する色彩及び深度フレームをキャプチャするキャプチャ・デバイスに関する識別情報）；、又は、他の適切なパラメータ。

キャプチャ・パラメータ４０６のセットは、特定の実施に寄与することができる任意の態様で、表面データ・フレーム・シーケンス４００−１内に含まれる他のデータによって表現されてもよく、前記データに統合されてもよい。例えば、幾つかの実施においては、キャプチャ・パラメータ４０６は、キャプチャ・パラメータを表すデータ（例えば、変数等）で明示的に表現されてもよいが、他の実施においては、キャプチャ・パラメータ４０６は、フォーマットによって暗黙的に表現されてもよく、ここで、配向、ロケーション、及び／又はプロジェクション情報（例えば、視野、及び、フレーム・シーケンスに関する深度マッピング、正投影図のフレーム・シーケンスに関して、左／右／上／下／近視／遠視等）が表現されてもよい。特定のキャプチャ・パラメータ４０６を表すデータは、例えば、特定のイメージ空間から世界空間の同種の座標への完全な変換を表現する単独の抽象的な行列（例えば、４×４行列）へ結合されてもよい。かくして、こうした例において、個々のコンポーネントは、明示的に特定されなくてもよいが、むしろ、より一般化した変換の範囲内に含まれてもよい。

更には、幾つかの例において、キャプチャ・パラメータ４０６のセットは、色彩フレーム・シーケンス４０２及び深度フレーム・シーケンス４０４内にそれぞれ含まれる各色彩フレーム及び／又は深度フレームに統合されてもよい（例えば、これらに関して繰り返されてもよい）。他の例において、キャプチャ・パラメータ４０６のセットは、各個々の表面データ・フレームに統合されてもよい（例えば、色彩及び深度フレームの組み合わせ）。こうした方法において、キャプチャ・パラメータ４０６のセットは、各々及びすべてのフレームに関するキャプチャ・パラメータを柔軟に記述することができる（たとえ、ビュー２０６が、表面データ・フレーム・シーケンス４００−１によって表現される期間中に、動的に変化したとしても）。他の例において、キャプチャ・パラメータ４０６のセットは、表面データ・フレーム・シーケンス４００−１によって表現される期間にわたって静的であってもよい。これらの例において、キャプチャ・パラメータ４０６のセットは、フレーム・シーケンス４０２及び４０４のフレームとは別に送信されてもよい。例えば、キャプチャ・パラメータ４０６のセットは、色彩及び深度フレームの送信とは別に送信されてもよい（例えば、色彩及び深度フレームの送信の前に、色彩及び深度フレームの送信開始時に、色彩及び深度フレームの送信後に、及び／又は、別の適切な時間に）。

上述したように、図４Ｂは、表面データ・フレーム・シーケンス４００−１の統合させたグラフィカルなビューを示す。具体的には、図４Ｂの表面データ・フレーム・シーケンス４００−１のビューは、特定のビュー（即ち、ビュー２０６−１）から閲覧したブロックの前面に、現実世界シーン２０２（即ち、現実世界オブジェクト２０４を含む）の描写に関するブロックとしての表面データ・フレーム・シーケンス４００−１を示す。このタイプの表面データ・フレーム・シーケンス・ビューは、後述する図における追加の表面データ・フレーム・シーケンスを示すのに有用となるであろう。しかし、以下の点を理解されたい：図４Ｂ等に示される統合させたグラフィカルなビューを用いて表現される任意の表面データ・フレーム・シーケンスは、以下を含むことができる：上述したアレンジのいずれかにおける図４Ａに関連して示される及び／又は記載されるすべての同一のタイプのデータ。

１以上の表面データ・フレーム・シーケンス４００（例えば、図４に明示した表面データ・フレーム・シーケンス４００−１、及び、図４に明示しない他の類似の表面データ・フレーム・シーケンス（例えば、ビュー２０６−２に対応する表面データ・フレーム・シーケンス４００−２、ビュー２０６−３に対応する表面データ・フレーム・シーケンス４００−３、以下同様））に基づいて、システム１００は、現実世界シーン２０２のカスタマイズされるビューの仮想化プロジェクションに関して、色彩及び深度フレームをレンダリングすることができる。例えば、システム１００は、キャプチャ・パラメータの追加のセット（例えば、表面データ・フレーム・シーケンス４００に関連するキャプチャ・パラメータのセットとは異なるセット）を特定することができ、前記追加のセットは、現実世界シーン２０２のカスタマイズされるビュー（例えば、図２に示すビュー２０６とは異なるビュー）に関連してもよい。そして、システム１００は、表面データ・フレーム・シーケンス４００のうち少なくとも１つに基づいて、そして、キャプチャ・パラメータの追加のセットに基づいて、カスタマイズされるビューの仮想化プロジェクションに関して、色彩及び深度フレームをレンダリングすることができる。

本明細書で使用するが、現実世界シーンの「カスタマイズされるビュー」は、現実世界シーンを表すデータをキャプチャする物理的なキャプチャ・デバイスに関連するビューとは異なる現実世界シーンの任意のビューを意味してもよい。例えば、カスタマイズされるビューは、以下の点でカスタマイズされてもよい：特定の現実世界オブジェクトが位置する付近の現実世界シーン内のロケーション（例えば、現実世界オブジェクトについて、深度分解能又は深度精度を向上させるために）；、キャプチャ・デバイスが位置していない現実世界シーン内のロケーション；、キャプチャ・デバイスに関連する任意のビューが提供することができるのとは異なる配向；、キャプチャ・デバイスに関連する任意のビューが提供することができるのとは異なる視野（例えば、異なるズーム・レベル、広角又は狭角レンズに関連する視野等）；、キャプチャ・デバイスに関連する任意のビューが提供することができるのとは異なるレベルの詳細（例えば、イメージ解像度等）等。従って、本明細書で使用するが、現実世界シーンのカスタマイズされるビューの「仮想化プロジェクション」は、カスタマイズされるビューに関連するプロジェクション（例えば、視界プロジェクション（ｐｅｒｓｐｅｃｔｉｖｅ ｐｒｏｊｅｃｔｉｏｎ）、正投影プロジェクション等）を表すデータを意味してもよい。例えば、特定の例において、仮想化プロジェクションは、こうしたキャプチャ・デバイスがカスタマイズされるビューに関連する場合（即ち、カスタマイズされるビューを定義するキャプチャ・パラメータのセットを用いてデータをキャプチャ・デバイスがキャプチャする場合）、物理的なキャプチャ・デバイスがキャプチャするデータを仮想的にシミュレートする視界プロジェクションを含むことができる。別の例として、仮想化プロジェクションは、非視界プロジェクション（例えば、正投影プロジェクション等）を含むことができるが、前記非視界プロジェクションは、バーチャル・キャプチャ・デバイスのシミュレーションによって生成されず、むしろ、深度データを生成するための深度剥離技術、又は、特定の実施に寄与することができる他の適切な技術によって生成されてもよい。

上述したように、カスタマイズされるビューの仮想化プロジェクションは、以下の点をもたらすことができる：現実世界シーンの態様に関する新たな視界、向上した深度分解能に関する更なる柔軟性、及び仮想化プロジェクション無しでは得られない様々な他の利点。しかし、以下の点を理解されたい：仮想化プロジェクションは、物理的なキャプチャ・デバイスによってキャプチャされるデータに基づいてもよく、そして、従って、仮想化プロジェクションは、物理的なキャプチャ・デバイスによってキャプチャされていない任意の追加のデータを提供しなくてもよい。例えば、仮想化プロジェクションは、物理的なキャプチャ・デバイスが位置しない現実世界シーンのカスタマイズされるビューに関連してもよく、一方で、仮想化プロジェクションは、物理的なキャプチャ・デバイスが位置するビューからまだ得られていない任意の新たな情報を提供しなくてもよい。

特定の例において、現実世界シーン２０２のカスタマイズされるビューは、現実世界シーン２０２を表すデータをキャプチャするために使用される特定のキャプチャ・デバイスを用いて揃えることができる。例えば、現実世界シーン２０２のカスタマイズされるビューに関連する（例えば、定義する）キャプチャ・パラメータの追加のセットは、以下を含むことができる：唯一のキャプチャ・デバイスによってキャプチャされるデータを要求する（例えば、キャプチャ・デバイスによってキャプチャされるデータのサブセットを要求する）１以上のキャプチャ・パラメータ。

例えば、キャプチャ・パラメータの追加のセットは、以下を表すキャプチャ・パラメータを含むことができる：現実世界シーン２０２のカスタマイズされるビューに関連するカスタマイズされる視野、ここで、カスタマイズされる視野は、キャプチャ・デバイスがキャプチャする表面データ・フレーム・シーケンスに関連するキャプチャされる視野よりも狭くてもよい。例えば、キャプチャ・デバイス・パラメータの追加のセットは、特定の物理的なキャプチャ・デバイスによってキャプチャされるデータの切り取った一部（即ち、ズーム・イン）を要求することができる。

唯一のキャプチャ・デバイスがキャプチャするデータを要求するキャプチャ・パラメータの別の例として、キャプチャ・パラメータの追加のセットは、以下を表すキャプチャ・パラメータを含むことができる：現実世界シーン２０２のカスタマイズされるビューに関連するカスタマイズされるイメージ・クオリティ、ここで、カスタマイズされるイメージ・クオリティは、キャプチャ・デバイスがキャプチャする表面データ・フレーム・シーケンスに関連するキャプチャされるイメージ・クオリティよりも低い。例えば、キャプチャ・パラメータの追加のセットは、特定の物理的なキャプチャ・デバイスによってキャプチャされるデータのより解像度の低いバージョンを要求することができる。

他の例において、現実世界シーン２０２のカスタマイズされるビューは、以下と不揃い（ｕｎａｌｉｇｎｅｄ）であってもよい：現実世界シーン２０２に関して異なるロケーションに配置される複数のキャプチャ・デバイス（即ち、ビュー２０６に関連するキャプチャ・デバイス）によってキャプチャされる現実世界シーン２０２の異なるビュー。かくして、現実世界シーン２０２のカスタマイズされるビューに関する、仮想化プロジェクションのための色彩及び深度フレームのレンダリングは、以下を含むことができる：色彩及び深度フレームを、少なくとも２つの表面データ・フレーム・シーケンス４００に基づいてレンダリングすること。仮想化プロジェクションが単独のキャプチャ・デバイスからのデータに基づく上述した例と同様、これらの例におけるキャプチャ・パラメータの追加のセットは、以下を含むことができる：キャプチャされる表面データ・フレーム・シーケンスに関してより狭い視野、より低いイメージ・クオリティ等を要求するキャプチャ・パラメータ。しかし、仮想化プロジェクションが複数のキャプチャ・デバイスからのデータに基づく例におけるキャプチャ・パラメータの追加のセットは、カスタマイズされるロケーション、カスタマイズされる配向等を更に要求することができ、これらは、データが物理的なキャプチャ・デバイスによってキャプチャされる際の任意の実際のロケーション、配向等と異なってもよい。

図示する目的で、図５は、構成２００に基づく例示的な構成５００（即ち、構成２００に関連して示し、且つ上述した全ての同一の要素を含む）を示すが、ここで、現実世界シーン２０２を表すデータは、現実世界シーン２０２のカスタマイズされるビュー５０２のために追加で生成される。具体的には、構成５００に示すように、カスタマイズされるビュー５０２は、現実世界オブジェクト２０４付近の現実世界シーン２０２内に、現実世界オブジェクト２０４に向かう配向及び視野でもって位置することができる。上述したように、特定のカスタマイズされるビューは、ビュー２０６（例えば、ビュー２０６の１つと同じロケーションに位置し、ビュー２０６の１つと同一の配向及び／又は視野を提供する等）の１つと揃ってもよいが、その一方で、構成５００におけるビュー５０２は、ビュー２０６と不揃いの状態で示される。本明細書で使用するが、ビューが別のビューと「不揃い」と言える場合として、ビューが互いに以下の点で異なる場合が挙げられる：ビューに関連する各ロケーション、ビューに関連する各配向、及び／又はビューに関連する各視野。カスタマイズされるビュー５０２及びビュー２０６のケースにおいて、例えば、カスタマイズされるビュー５０２は、全てのビュー２０６と不揃いであり、その理由として、カスタマイズされるビュー５０２は、任意のビュー２０６とは異なるロケーション（即ち、現実世界シーン２０２の内側のロケーション）に配置され、任意のビュー２０６とは異なる配向（即ち、ビュー２０６−１と２０６−２との各配向の間の配向）を有しており、そして、ビュー２０６とは異なる視野（即ち、現実世界オブジェクト２０４上でより近い視界をもたらす視野）を有することが挙げられる。

かくして、カスタマイズされるビュー５０２を定義するキャプチャ・パラメータの追加のセットの特定に基づいて、及び、ビュー２０６に関連するキャプチャ・デバイスがキャプチャする複数の表面データ・フレーム・シーケンス４００に基づいて（例えば、表面データ・フレーム・シーケンス４００−１及び４００−２に基づいて）、システム１００は、現実世界シーン２０２のカスタマイズされるビュー５０２の仮想化プロジェクションに関して、色彩及び深度フレームをレンダリングすることができ、そして、これらの色彩及び深度フレームを含む仮想化される表面データ・フレーム・シーケンスを提供することができる。

図示的な意味合いで、図６は、例示的な仮想化される表面データ・フレーム・シーケンス６００を示し、前記シーケンスは、システム１００によって、カスタマイズされるビュー５０２の仮想化プロジェクションに関して、生成されてもよく、そして、提供されてもよい。具体的には、仮想化される表面データ・フレーム・シーケンス６００を生成して、カスタマイズされるビュー５０２の仮想化プロジェクション６０２に関するレンダリングされる色彩及び深度フレームを含めてもよい。仮想化プロジェクション６０２が示すように、仮想化される表面データ・フレーム・シーケンス６００内に含まれる色彩及び深度フレームは、以下に関連してもよい（例えば、以下の観点からキャプチャされるような外観を擁してもよい）：表面データ・フレーム・シーケンス４００内に含まれる任意の色彩及び深度フレームとは異なるロケーション、異なる配向、及び異なる視野。

具体的には、示すように、仮想化プロジェクション６０２は、現実世界オブジェクト２０４上の特定の配向からのクローズ・アップを表現する。このことは、下流のシステム及びデバイスに関して、様々な利点をもたらすことができ、前記下流のシステム及びデバイスは、バーチャル・リアリティ・メディア・コンテンツを提供することができ、前記コンテンツは、仮想化プロジェクション６０２が提供するロケーション、配向及び／又は視野からの現実世界オブジェクト２０４を表すことができる。例えば、有限数のビット（例えば、色彩データを処理するように構成されるオフ・ザ・シェルフ（ｏｆｆ−ｔｈｅ−ｓｈｅｌｆ）ビデオ・コーデック用の８〜１２ビット）で動作する処理リソース（例えば、ビデオ・コーデック・ソリューション）を用いて深度データを処理する実施において、深度量子化問題（ｄｅｐｔｈ ｑｕａｎｔｉｚａｔｉｏｎ ｉｓｓｕｅｓ）（例えば、比較的大きなエリアを表す深度データの望ましくない「レイヤーリング」（ｌａｙｅｒｉｎｇ））は、よりローカライズされるエリアを表す深度データを使用することで緩和することができる。ローカライズされるエリアは、利用可能なビットによって表現される、より大きい（例えば、よりローカライズされない）エリアよりも短い深度を伴うことができる。従って、利用可能な有限数のビットによって、高精度で深度を表現して、レイヤーリング効果を軽減又は除外等を行うことを可能にする。かくして、オブジェクトの表面を表すビット深度（例えば、ヴァンテージ・ポイントからの異なる距離での深度を表現するのに使用されるある数のビット）を、仮想化プロジェクション６０２に関して最適化することができ、仮想化プロジェクション６０２のヴァンテージ・ポイントからの高いレベルの深度精度及び／又は深度分解能を提供することができる。

特定のカスタマイズされるビュー（即ち、カスタマイズされるビュー５０２）に関連するキャプチャ・パラメータの特定の追加のセットについて、図５〜６に関して、詳細に説明及び図示してきたが、以下の点を理解されたい：膨大な数（例えば、現実世界シーン２０２を表すデータをキャプチャするのに採用される物理的なキャプチャ・デバイスの数よりも有意に大きい数）のカスタマイズされるビューに関連するキャプチャ・パラメータの膨大な数のセットを、特定の実施において特定することができ、可能性としてバーチャル・リアリティ・メディア・コンテンツに含めるための膨大な数の仮想化される表面データ・フレーム・シーケンスを生成及び提供することと可能にすることができる。上述したように、この膨大な数の仮想化される表面データ・フレーム・シーケンスは、バーチャル・リアリティ・メディア・コンテンツの生成及び配信における柔軟性を向上させることを可能にすることができ、異なるメディア・プレーヤ装置に対して、同一の現実世界シーンについて異なる詳細を提供することができ、その際に、任意のメディア・プレーヤ装置に対して、膨大な量の冗長な又は比較的無関係のデータで負荷をかけることもない。

キャプチャ・パラメータの１以上の追加のセット（即ち、ビュー２０６に関連するキャプチャ・パラメータのセット以外のキャプチャ・パラメータのセット）を、特定の実施に寄与することができる任意の態様で特定することができる。例えば、特定の実施において、キャプチャ・パラメータの追加のセット（例えば、カスタマイズされるビュー５０２に関連するキャプチャ・パラメータのセット）は、以下によって特定することができる：現実世界シーンの１以上の幾何学的プロパティに関して現実世界シーン２０２を分析すること；ビュー２０６に関連するキャプチャ・パラメータのセットとは異なるキャプチャ・パラメータの複数の追加のセットを生成すること（例えば、現実世界シーンの分析に基づいて）；及び、キャプチャ・パラメータの追加のセットを、キャプチャ・パラメータの複数の追加のセットから特定すること。具体的には、例えば、システム１００は、現実世界シーン２０２の幾何学的プロパティを決定することができる（例えば、以下に関連するプロパティ：現実世界シーン２０２の形、現実世界シーン２０２を分割することができる際の現実世界シーン２０２の様々な部分又は態様、現実世界シーン２０２内の特定のオブジェクトのロケーション及び／又は軌道等）。こうしたプロパティ及び／又は他のプロパティに基づいて、システム１００は、様々なカスタマイズされるビュー（例えば、カスタマイズされるビュー５０２を含む）がバーチャル・リアリティ・メディア・コンテンツの生成に関連することを決定することができ、そして、結果として、これらの関連するカスタマイズされるビュー各々に関してのキャプチャ・パラメータの各セットを生成することができる。

いったん、複数のキャプチャされる表面データ・フレーム・シーケンスが、物理的なキャプチャ・デバイスに関連する現実世界シーンのビューのために受信され、そして、１以上の仮想化される表面データ・フレーム・シーケンスが現実世界シーンのカスタマイズされるビューの仮想化プロジェクションのために生成されると、システム１００は、１以上のキャプチャされる、及び／又は仮想化される表面データ・フレーム・シーケンスを、バーチャル・リアリティ・メディア・コンテンツ内に含める目的で提供することができる。例えば、より詳細に後述するが、システム１００は、キャプチャされる、及び／又は仮想化される表面データ・フレーム・シーケンス内のデータを以下に対して提供することができる：サーバ・サイド・システム（例えば、バーチャル・リアリティ・メディア・プロバイダ・パイプラインにおける下流システム）；及び／又は、クライアント・サイドシステム（例えば、バーチャル・リアリティ・メディア・コンテンツ（例えば、表面データ・フレーム・シーケンス内に含まれるデータに基づくバーチャル・リアリティ・メディア・コンテンツ）を体験するユーザに関連するメディア・プレーヤ装置）。

システム１００は、表面データ・フレーム・シーケンス内に含まれるデータ（例えば、色彩及び深度フレーム、並びに他のタイプのデータ（例えば、オーディオ・データ、メタデータ等））を、特定の実施に寄与することができる任意の態様で、且つ、任意の他のシステム又はデバイスへ提供することができる。例えば、特定の実施において、システム１００は、色彩及びデータ・フレーム（並びにオーディオ及びメタデータ等）を、エンコーディング・システムに提供することができ、前記システムは、データをエンコードして、ビデオ・データ・ストリームを生成することができる（例えば、標準化されたフォーマット（例えば、Ｈ．２６４、Ｈ．２６５）で圧縮される２Ｄビデオ・ストリーム等）。従って、例えば、特定の表面データ・フレーム・シーケンス内に含まれるデータは、１以上のビデオ・データ・ストリーム（例えば、色彩ビデオ・データ・ストリーム、深度ビデオ・データ・ストリーム等）内に含まれてもよい。表面データ・フレーム・シーケンス（例えば、オーディオ・データ、メタデータ等）内に含まれる他のデータも、色彩ビデオ・データ・ストリーム、及び／若しくは、深度ビデオ・データ・ストリーム内に含まれてもよく、又は、異なるデータ・ストリーム内に含まれてもよい。

どのシステムに表面データ・フレーム・シーケンス・データを提供するか、及び／又は表面データ・フレーム・シーケンス・データが１以上のビデオ・データ・ストリームにエンコードされたか等に関わらず、表面データ・フレーム・シーケンス・データは、ネットワークを介した伝送のために、パッケージ化、及び／又は、多重化されてもよい。こうしたデータのパッケージ化は、任意の適切な態様で実行されてもよく、及び／又は、特定の実施に寄与することができる任意の適切なデータ構造を用いて実行されてもよい。一例として、各表面データ・フレーム・シーケンスは、自身のユニークなトランスポート・ストリームへとパッケージ化されてもよい。具体的には、例えば、仮想化される表面データ・フレーム・シーケンス６００は、パッケージ化されてもよく、その結果、現実世界シーン２０２のカスタマイズされるビュー５０２の仮想化プロジェクション６０２に関するレンダリングされる色彩及び深度フレームは、トランスポート・ストリーム内に含まれてもよく、前記トランスポート・ストリームは、以下を含まなくてもよい：仮想化される表面データ・フレーム・シーケンス６００以外の追加の表面データ・フレーム・シーケンス（例えば、追加のキャプチャされる、又は、仮想化される表面データ・フレーム・シーケンス）を表す色彩及び深度フレーム。

別の例として、複数の表面データ・フレーム・シーケンスは、共有トランスポート・ストリームへ共にパッケージ化されてもよい（例えば、多重化されてもよい）。具体的には、例えば、仮想化される表面データ・フレーム・シーケンス６００は、パッケージ化されてもよく、その結果、現実世界シーン２０２のカスタマイズされるビュー５０２の仮想化プロジェクション６０２に関するレンダリングされる色彩及び深度フレームは、トランスポート・ストリーム内に含まれ、前記トランスポート・ストリームは、以下を表す色彩及び深度フレームを更に含む：仮想化される表面データ・フレーム・シーケンス６００以外のなくとも１つの追加の表面データ・フレーム・シーケンス（例えば、少なくとも１つの追加のキャプチャされる、又は仮想化される表面データ・フレーム・シーケンス）。

図示する目的で、図７は、例示的なトランスポート・ストリーム７００のグラフィカルな表現を示し、前記トランスポート・ストリームは、例示的な複数の表面データ・フレーム・シーケンスを含む。具体的には、トランスポート・ストリーム７００は、以下を含むことができる：様々なキャプチャされる表面データ・フレーム・シーケンス４００（例えば、図４Ａ〜４Ｂに示す表面データ・フレーム・シーケンス４００−１、及び、ビュー２０６−２〜２０６−８に関連するキャプチャ・デバイスによってそれぞれ同様にキャプチャされる表面データ・フレーム・シーケンス４００−２〜４００−８）、並びに様々な仮想化される表面データ・フレーム・シーケンス（例えば、図６に示す仮想化される表面データ・フレーム・シーケンス６００及び他の仮想化される表面データ・フレーム・シーケンス７０２−１〜７０２−Ｎ）。

本明細書で使用するが、「トランスポート・ストリーム」は、以下を目的として、データをパッケージ化するために使用されるデータ構造を意味してもよい：データを、あるデバイス又はシステムから別の所へ送信（即ち、伝送）することを促進すること、データをレンダリングする、若しくは、処理する、若しくは分析すること、及び／又は特定の実施に寄与することができる他の目的。幾つかの例において、トランスポート・ストリームは、１以上のデータ・ストリーム（例えば、１以上のビデオ・データ・ストリーム）、及び／又は、他のデータ（例えば、メタデータ等）を組み込むことができる。トランスポート・ストリームは、特定の実施に寄与することができる任意のタイプのトランスポート・ストリームとして実装されてもよい。例えば、本明細書に記載の特定のトランスポート・ストリーム（例えば、トランスポート・ストリーム７００）は、以下の手段により実装されてもよい：ＭＰＥＧトランスポート・ストリーム、ＭＰＥＧ−２トランスポート・ストリーム、又は、データの伝送を促進する別の適切なデータ構造（例えば、表面データ・フレーム・シーケンス、ビデオ・データ・ストリーム）等。トランスポート・ストリームは、特定の実施に寄与することができる任意の適切なデータフォーマット、コンテナ・フォーマット、及び／又は、伝送プロトコルに従って構成されてもよい。

トランスポート・ストリーム７００は、キャプチャされる表面データ・フレーム・シーケンスと、仮想化される表面データ・フレーム・シーケンスとの両方を含むものとして示しているが、以下の点を理解されたい：特定の実施において、トランスポート・ストリーム７００は、以下を含むことができる：キャプチャされる表面データ・フレーム・シーケンスのみ、又は、仮想化される表面データ・フレーム・シーケンスのみ。更には、トランスポート・ストリーム７００は、以下を含むことができる：特定の実施に寄与することができる任意の適切な数の表面データ・フレーム・シーケンス、及び表面データ・フレーム・シーケンスの任意の組み合わせ。例えば、上述したように、特定の例において、トランスポート・ストリーム７００は、単独の表面データ・フレーム・シーケンス（例えば、仮想化される表面データ・フレーム・シーケンス６００）を含むことができ、そして、他の表面データ・フレーム・シーケンスは、仮にも伝送される場合には、他のトランスポート・ストリームの手段により伝送されてもよい。また、以下の点も理解されたい：図７では、上の通り記述及び図示した表面データ・フレーム・シーケンス（例えば、表面データ・フレーム・シーケンス４００及び６００）を含むトランスポート・ストリーム７００を示しているが、これらの表面データ・フレーム・シーケンスは、データ構造（例えば、エンコードされるビデオ・データ・ストリーム（明示しない））内に含まれてもよく、従って、これらの表面データ・フレーム・シーケンスは、システム１００が受信し及び／又は生成する上述したバージョン（例えば、ビデオ・データ・ストリームへとエンコード及び／又は圧縮されるデータのバージョン等）とは異なるデータのバージョンを意味してもよい。

図８は、トランスポート・ストリーム７００のデータ構造表現８００を示す。示しているが、表現８００は、異なるタイプのデータに関するセクションを含む（例えば、メタデータ８０２のセクション、オーディオ・データ８０４のセクション、及びビデオ・データ８０６のセクション）。以下の点を理解されたい：表現８００に示すセクションは概念的なものにすぎなくてもよく、そして、表現８００に示すデータは、特定の実施に寄与することができる任意の方法で、トランスポート・ストリーム７００内で、多重化、オーガナイズ、アレンジ、送信等されてもよい。

示しているが、メタデータ８０２は以下を含む：トランスポート・ストリーム７００内に含まれる各表面データ・フレーム・シーケンスに関連するキャプチャ・パラメータの様々なセット（即ち、「キャプチャ・パラメータ・セット１」〜「キャプチャ・パラメータ・セットＭ」）。例えば、メタデータ８０２内に含まれるキャプチャ・パラメータのセットは、以下を含むことができる：図７に示すキャプチャされ仮想化される表面データ・フレーム・シーケンス（即ち、表面データ・フレーム・シーケンス４００−１〜４００−８、６００、及び７０２−１〜７０２−Ｎ）のそれぞれに関するキャプチャ・パラメータの各セット。メタデータ８０２は、特定の実施に寄与することができる表面データ・フレーム・シーケンス（例えば、又は、表面データ・フレーム・シーケンスがエンコードされるビデオ・データ・ストリーム）を記述する任意の他のメタデータを更に含むことができる。

同様に、オーディオ・データ８０４は、以下を含むことができる：トランスポート・ストリーム７００内に含まれる各表面データ・フレーム・シーケンスに関連するオーディオ・ソース・データ。例えば、「オーディオ・ソース１」〜「オーディオ・ソースＭ」は、表面データ・フレーム・シーケンス４００−１〜４００−８、６００、及び７０２−１〜７０２−Ｎにそれぞれ関連してもよい。他の例において、オーディオ・ソースが表面データ・フレーム・シーケンスに関連しない場合に、存在する表面データ・フレーム・シーケンスよりも、オーディオ・ソースは、多くてもよく、又は少なくてもよい（例えば、オーディオ・ソースの数が、表面データ・フレーム・シーケンスの数とは関係無い）。

更に図８に示すようにビデオ・データ８０６は、以下を含むことができる：図７にてトランスポート・ストリーム７００内に含まれるように示される各表面データ・フレーム・シーケンスに関連する色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリーム。例えば、「色彩ビデオ・データ・ストリーム１」及び「深度ビデオ・データ・ストリーム１」は、表面データ・フレーム・シーケンス４００−１内に含まれる色彩及び深度フレームを表してもよく、「色彩ビデオ・データ・ストリーム２」及び「深度ビデオ・データ・ストリーム２」は、表面データ・フレーム・シーケンス４００−２内に含まれる色彩及び深度フレームを表してもよく、以下同様であってもよく、その結果、表面データ・フレーム・シーケンス４００−１〜４００−８、６００、及び７０２−１〜７０２−Ｎは、それぞれ、ビデオ・データ８０６内の色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームの両方に対応する。

上述したように、特定の実施において、以下のことを行うことは有用となる可能性がある：比較的膨大な数の仮想化される表面データ・フレーム・シーケンスを提供して、異なる時間で異なるメディア・プレーヤ装置に関連する（即ち、異なるバーチャル・リアリティ体験を有する異なるユーザに関連する）異なる詳細によりカスタマイズできるバーチャル・リアリティ・メディア・コンテンツの異なるバージョンを生成する際に柔軟性を可能にすること。例えば、１つの実施において、８つの物理的なキャプチャ・デバイスは、８つの高解像度のキャプチャされる表面データ・フレーム・シーケンスを生成することができ、そして、システム１００は、８つのキャプチャされる表面データ・フレーム・シーケンスに基づいて、以下を生成することができる：何百ものカスタマイズされるビューの何百もの仮想化プロジェクションに関する何百もの仮想化される表面データ・フレーム・シーケンス。

こうした膨大な数の仮想化される表面データ・フレーム・シーケンスを提供することは、バーチャル・リアリティ・メディア・コンテンツを効率的に生成及び配信する際に、有意な柔軟性を可能にする可能性があるが、しかし、あまりにも多くの個々のデータ・ストリーム（例えば、ビデオ・データ・ストリーム等）を取り扱うように備えられていない可能性のある利用可能なハードウェア及びソフトウェア・リソースを用いて取り扱うことが困難となる可能性がある。結果として、複数の色彩及び／又は深度フレーム・シーケンスを単独の表面データ・フレーム・シーケンスにパッケージ化することが望まれる可能性がある。例えば、仮想化される表面データ・フレーム・シーケンス６００は、パッケージ化されてもよく、その結果、現実世界シーン２０２のカスタマイズされるビュー５０２の仮想化プロジェクション６０２に関するレンダリングされる色彩及び深度フレームは、それぞれ、ビデオ・データ・ストリームにおいて、タイルとして表現され、前記ビデオ・データ・ストリームは、タイル・マップを実装し、前記タイル・マップは、ビデオ・データ・ストリームの各フレームにおいて、複数のタイルを表現する。例えば、タイル・マップ・ピング技術（例えば、テクスチャ・アトラス技術、スプライト・シート技術等）を使用して、複数の色彩及び／又は深度フレームを共に単独のフレームにパックすることができ、その結果、こうしたフレームのシーケンス（例えば、又は、これらのフレームを表すビデオ・データ・ストリーム）は、本質的に単独のフレーム・シーケンスとして扱うことができるが、複数のフレーム・シーケンス（例えば、カスタマイズされるビューの仮想化プロジェクションを含む複数のビューを表す）に関連するデータを含むことができる。

図示する目的で、図９は、例示的なトランスポート・ストリーム９００のグラフィカルな表現を示し、前記グラフィカルな表現は、例示的なタイル化されるフレーム・シーケンス９０２を含み、前記シーケンスは、タイル・マップを実装する。タイル化されるフレーム・シーケンス９０２は、本明細書で示す表面データ・フレーム・シーケンス（例えば、図４Ｂにおける表面データ・フレーム・シーケンス４００−１、図６における仮想化される表面データ・フレーム・シーケンス６００等）と同様のブロックとして描かれているが、以下の点を理解されたい：タイル化されるフレーム・シーケンス９０２は、本明細書の他の表面データ・フレーム・シーケンスの幾つかとは異なるデータを表現することができる。具体的には、例えば、タイル化されるフレーム・シーケンス９０２は、複数のフレーム・シーケンス（例えば、色彩フレーム・シーケンス４０２及び深度フレーム・シーケンス４０４（図４Ａに示す））を表さなくてもよいが、むしろ、タイル化されるフレーム・シーケンス９０２は、以下を含むことができる：複数のタイル９０４（即ち、タイル９０４−１−Ｃ〜９０４−９−Ｃ）（例えば、タイル化されるフレーム・シーケンス９０２の前面で示されるもの）をそれぞれ含むフレームの単独のシーケンス。

タイル化されるフレーム・シーケンス９０２の各フレーム上に含まれるタイルは、以下を含むことができる：特定の実施に寄与することができる任意のキャプチャされる、又は仮想化される表面データ・フレーム・シーケンスに関連する任意の色彩又は深度フレーム。例えば、図９に示すように、タイル化されるフレーム・シーケンス９０２の各フレームは、以下を含むことができる：ビュー２０６−１からキャプチャされる色彩（「Ｃ」）フレームに対応するタイル９０４−１−Ｃ、ビュー２０６−２からキャプチャされる色彩フレームに対応するタイル９０４−２−Ｃ、以下同様であり、最大でビュー２０８−８からキャプチャされる色彩フレームに対応するタイル９０４−８−Ｃ。更に示すが、タイル化されるフレーム・シーケンス９０２の各フレームは、以下を含むことができる：カスタマイズされるビュー５０２の仮想化プロジェクション６０２に関して生成される色彩フレームに関連するタイル９０４−９−Ｃ。図９では明示的に９つのタイルのみを示しているが、以下の点を理解されたい：追加のタイルも、タイル化されるフレーム・シーケンス９０２の各フレームへパックされてもよい。例えば、他の仮想化プロジェクション、深度フレーム（例えば、ビュー２０６からキャプチャされる、及び／又は、仮想化プロジェクションに関して生成される深度フレーム）等に対応するタイルは、特定の実施に寄与することができるタイル・マップ内に更に含まれてもよい。更には、図９中のトランスポート・ストリーム９００では、タイル・マップを用いて、１つのタイル化されるフレーム・シーケンスを示しているだけではあるが、以下の点を理解されたい：トランスポート・ストリーム９００を使用して、複数のフレーム・シーケンスをパッケージ化することができ、前記フレーム・シーケンスは、タイル化されるフレーム・シーケンス（例えば、タイル化されるフレーム・シーケンス９０２等）、表面データ・フレーム・シーケンス（例えば、フレーム・シーケンス４００、６００又は７０２等）、又は、特定の実施に寄与することができる他のデータを含むことができる。幾つかの例において、タイル化されるフレーム・シーケンス９０２は、トランスポート・ストリーム（例えば、トランスポート・ストリーム９００）内に含まれることなく送信されてもよい。

図１０は、トランスポート・ストリーム９００のデータ構造表現１０００を示す。示しているが、表現８００と同様、表現１０００は、異なるタイプのデータに関するセクションを含む（例えば、メタデータ１００２のセクション、オーディオ・データ１００４のセクション、及びビデオ・データ１００６のセクション）。また、表現８００と同様、表現１０００に示すセクションは、概念的なものにすぎない旨を理解されたく、表現１０００に示すデータは、特定の実施に寄与することができる任意の方法で、トランスポート・ストリーム９００内で、多重化、オーガナイズ、アレンジ、送信等されてもよい。

示しているが、メタデータ１００２は以下を含む：各タイル（例えば、タイル９０４−１−Ｃ〜９０４−９−Ｃ及び／又は図９に明示しない他のタイル）に関して２つの異なるタイプのメタデータ。具体的には、各タイル（「タイル１」〜「タイルＭ」）に関して、メタデータ１００２は以下を含む：その特定のタイルに関連するデータ専用の各フレームのセクションを表すタイル座標（例えば、「タイル座標１」〜「タイル座標Ｍ」）。例えば、タイル１に関するタイル座標は、タイル９０４−１−Ｃを図９に示すときのフレームの上左の角を示す座標を含むことができ、以下同様であってもよい。また、メタデータ１００２は、各タイル１〜Ｍに関して、タイルに関連するキャプチャ・パラメータの各セット（即ち、「キャプチャ・パラメータ・セット１」〜「キャプチャ・パラメータ・セットＭ」）を含む。例えば、メタデータ８０２内に含まれるキャプチャ・パラメータのセットは、以下を含むことができる：図９に示す各タイル（即ち、タイル９０４−１−Ｃ〜９０４−９−Ｃ）に関するキャプチャ・パラメータの各セット。メタデータ１００２は、更に以下を含むことができる：特定の実施に寄与することができ、タイル化されるフレーム・シーケンス９０２のタイル（例えば、又は、タイル化されるフレーム・シーケンス９０２がエンコードされるビデオ・データ・ストリーム）を記述する任意の他のメタデータ。

表現８００中のオーディオ・データ８０４と同様に、オーディオ・データ１００４は、以下を含むことができる：タイル化されるフレーム・シーケンス９０２内（即ち、トランスポート・ストリーム９００内）に含まれる各タイルに関連するオーディオ・ソースデータ。例えば、「オーディオ・ソース１」〜「オーディオ・ソースＭ」は、それぞれ、タイル９０４−１−Ｃ〜９０４−９−Ｃ及び／又は図９に明示しない他のタイルに関連してもよい。他の例において、タイルがオーディオ・ソースに特段関連しない場合、オーディオ・ソースは多くなってもよいし、又は少なくなってもよい。

図８中の表現８００とは対照的に、各表面データ・フレーム・シーケンスに関連する複数の色彩及び深度ビデオ・ストリームが含まれる場合、表現１０００が示すこととして、ビデオ・データ１００６は、タイル化されるフレーム・シーケンス９０２に関連する唯一のビデオ・データ・ストリームを含む。この理由として、図９に示すように、タイル化されるフレーム・シーケンス９０２によって表現される各色彩及び／又は深度フレームに関連する全てのイメージは、タイル化されるフレーム・シーケンス９０２における各フレームに共にパックされるからである。特定の例において、トランスポート・ストリーム９００は、以下を含むことができる：色彩データ・タイル専用の１つのフレーム・シーケンス（例えば、タイル化されるフレーム・シーケンス９０２）、及び、深度データ・タイル専用の第２のフレーム・シーケンス（図９に明示しない）。かくして、こうした例において、ビデオ・データ１００６は、以下を含むことができる：色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームの両方。更なる他の例において、上述したように、トランスポート・ストリーム９００は、以下を含むことができる：タイル化されるフレーム・シーケンス９０２とともに、他のフレーム・シーケンス、ビデオ・ストリーム等（例えば、タイル化されているか、されていないかに関わらず）。かくして、こうした例において、ビデオ・データ１００６は、以下を含むことができる：図１０に明示しない他のビデオ・データ・ストリーム。

上述したように、幾つかの例において、システム１００並びに／又は本明細書に記載の他のシステム（例えば、他のサーバ・サイド・システム）及びデバイスを使用して、ユーザの体験対象であるバーチャル・リアリティ・メディア・コンテンツを生成することができる。例えば、上述したオペレーションのほか、バーチャル・リアリティ・メディア・コンテンツ提供システム（例えば、システム１００並びに／又は本明細書に記載の他のデバイス及びシステムが含まれることができる物、又は、これらのシステムが関連することができる物）は、システム１００が提供するデータに基づいて、更に、バーチャル・リアリティ・メディア・コンテンツを生成及び提供することができる。バーチャル・リアリティ・メディア・コンテンツは、現実世界シーン（例えば、現実世界シーン２０２）を表してもよく、そして、バーチャル・リアリティ・メディア・コンテンツは、現実世界シーンに対する任意のバーチャル・ロケーションに対応する動的に選択可能なバーチャル・ビューポイントから体験できるように、ユーザに提示可能なものであってもよい。例えば、動的に選択可能なバーチャル・ビューポイントは、メディア・プレーヤ装置のユーザによって選択されてもよく（例えば、決定される、配置される等）、その間、ユーザは、メディア・プレーヤ装置を用いて、現実世界シーンを仮想的に体験している。幾つかの例において、バーチャル・ビューポイントは、２次元又は３次元の連続体に沿って任意のロケーションとなるように選択することができ、これは、不連続なビューポイントのセットからしか選択されない状態とは対照的である。更には、バーチャル・リアリティ・メディア・コンテンツは、（例えば、システム１００を含む又は前記システムに関連するバーチャル・リアリティ・メディア・コンテンツ提供システムによって）メディア・プレーヤ装置に提供されてもよく、そして、ユーザに対して、現実世界シーン内の任意のバーチャル・ロケーションに対応する動的に選択可能なバーチャル・ビューポイントから現実世界シーンを体験することを可能にする。

図示する目的で、図１１は、例示的な構成１１００を示し、ここで、例示的なバーチャル・リアリティ・メディア・コンテンツ提供システム１１０２（「プロバイダ・システム１１０２」）は、システム１００及び１以上の追加のバーチャル・リアリティ・メディア・プロバイダ・パイプライン・システム１１０４を含むが、前記例示的なバーチャル・リアリティ・メディア・コンテンツ提供システム１１０２は、バーチャル・リアリティ・メディア・コンテンツを生成し、前記バーチャル・リアリティ・メディア・コンテンツは、ネットワーク１１０６の手段により、例示的なクライアント・サイド・メディア・プレーヤ装置１１０８（「メディア・プレーヤ装置１１０８」）に提供され、前記例示的なクライアント・サイド・メディア・プレーヤ装置１１０８は、現実世界シーン２０２を体験するユーザ１１１０によって使用される。

上述したように、仮想化される表面データ・フレーム・シーケンス６００が、生成され、そして、トランスポート・ストリーム（例えば、トランスポート・ストリーム７００、トランスポート・ストリーム９００等）へパッケージ化された後、プロバイダ・システム１１０２は、更に、１以上のトランスポート・ストリームを、エンコード、パッケージ化、暗号化、又は処理することができ、バーチャル・リアリティ・メディア・コンテンツを形成することができ、前記コンテンツは、メディア・プレーヤ装置１１０８がレンダリングするように構成されてもよい。例えば、バーチャル・リアリティ・メディア・コンテンツは、複数の２Ｄビデオ・データ・ストリーム（例えば、各ビュー及び仮想化プロジェクションに関連する色彩及び深度データに関連する２Ｄビデオ・データ・ストリーム）を含むことができ、又は表すことができ、前記複数の２Ｄビデオ・データ・ストリームは、メディア・プレーヤ装置１１０８によってレンダリングされてもよく、その結果、現実世界シーン２０２内の任意のバーチャル・ビューポイント（例えば、任意のキャプチャ・デバイスのビュー又はカスタマイズされるビューと不揃いではあるが、ユーザ１１１０にとって興味の対象となる可能性のあるバーチャル・ビューポイントを含む）からの現実世界シーン２０２のビューを提示することができる（これについては後述する）。バーチャル・リアリティ・メディア・コンテンツは、その後、ネットワーク１１０６の手段により、１以上のメディア・プレーヤ装置（例えば、ユーザ１１１０に関連するメディア・プレーヤ装置１１０８）に配信されてもよい。例えば、プロバイダ・システム１１０２は、バーチャル・リアリティ・メディア・コンテンツを、メディア・プレーヤ装置１１０８に提供することができ、その結果、ユーザ１１１０は、メディア・プレーヤ装置１１０８を用いて、現実世界シーン２０２を仮想的に体験することができる。

幾つかの例において、ユーザ１１１０にとって、バーチャル・リアリティ・メディア・コンテンツ（例えば、現実世界シーン２０２を表す）によって表現される没入型バーチャル・リアリティ世界内の１以上の不連続な位置に制限されることは望ましくない可能性がある。かくして、プロバイダ・システム１１０２は、現実世界シーン２０２を表すバーチャル・リアリティ・メディア・コンテンツ内に十分なデータを提供し、そして、現実世界シーン２０２を表現することを可能にし、その際の表現については、ビュー２０６及び／又は５０２だけではなく、現実世界シーン２０２内の任意のバーチャル・ロケーションに対応する任意の動的に選択可能なバーチャル・ビューポイントからも可能である。例えば、動的に選択可能なバーチャル・ビューポイントは、ユーザ１１１０が選択することができ、その間ユーザ１１１０は、メディア・プレーヤ装置１１０８を用いて、現実世界シーン２０２を体験している。

本明細書で使用するが、「任意のバーチャル・ロケーション」は、現実世界シーンの表現に関連する空間中の任意のバーチャル・ポイントを意味してもよい。例えば、任意のバーチャル・ロケーションは、現実世界シーンを囲む固定位置（例えば、ビュー２０６及び／又はカスタマイズされるビュー５０２に関連する固定位置）に限定されるのではなく、ビュー２０６及びカスタマイズされるビュー５０２に関連する位置の間の全ての位置も含むことができる。幾つかの例において、こうした任意のバーチャル・ロケーションは、現実世界シーン２０２内の最も望ましいバーチャル・ビューポイントに対応してもよい。例えば、現実世界シーン２０２がバスケットボールのゲームを含む場合、ユーザ１１１０は、バスケットボールのコート上の任意のバーチャル・ロケーションにあるゲームを体験するためのバーチャル・ビューポイントを動的に選択することができる。例えば、ユーザは、ユーザのバーチャル・ビューポイントを動的に選択することができ、バスケットボールのコートを上下に追従することができ、そして、ゲームの進行中のバスケットボールのコートに立っているかのごとく、バスケットボールのゲームを体験することができる。

ネットワーク１１０６は、以下を含むことができる：プロバイダに特化した有線の又はワイヤレスなネットワーク（例えば、ケーブル、又は衛星キャリア・ネットワーク、又はモバイル電話ネットワーク）、インターネット、ワイド・エリア・ネットワーク、コンテンツ・デリバリ・ネットワーク、又は任意の他の適切なネットワーク。データは、プロバイダ・システム１１０２とメディア・プレーヤ装置１１０８（並びに、明示しない他のメディア・プレーヤ装置）との間を流れることができ、その際に、特定の実施に寄与することができる任意の通信技術、デバイス、メディア、及びプロトコルを使用してもい。

メディア・プレーヤ装置１１０８をユーザ１１１０が使用して、プロバイダ・システム１１０２から受信するバーチャル・リアリティ・メディア・コンテンツにアクセスし、体験することができる。例えば、メディア・プレーヤ装置１１０８は、現実世界シーン２０２の３Ｄバーチャル表現を生成する動作を行うように構成されてもよく、前記表現は、ユーザ１１１０によって、任意のバーチャル・ビューポイント（例えば、ユーザによって選択され、現実世界シーン２０２内の任意のバーチャル・ロケーションに対応する動的に選択可能なバーチャル・ビューポイント）から体験されてもよい。この目的のため、メディア・プレーヤ装置１１０８は、以下を行うことができる任意のデバイス含んでもよく、又は、前記デバイスによって実装されてもよい：没入型バーチャル・リアリティ世界（例えば、現実世界シーン２０２を表す没入型バーチャル・リアリティ世界）の視野を提示すること、及び、ユーザ１１１０が没入型バーチャル・リアリティ世界を体験する際に、ユーザ１１１０からのユーザ入力を検出して、視野内の没入型バーチャル・リアリティ世界を動的にアップデートすること。

図１２が示すのは、様々な例示的なタイプのメディア・プレーヤ装置１１０８であり、前記装置は、バーチャル・リアリティ・メディア・コンテンツを体験するユーザ１１１０によって使用されてもよい。具体的には、示すように、メディア・プレーヤ装置１１０８は、幾つかの異なる形態要素のうち１つをとることができる（例えば、ヘッドマウント・バーチャル・リアリティ・デバイス１２０２（例えば、バーチャル・リアリティ・ゲーム・デバイス）（ヘッドマウント・ディスプレイ・スクリーンを含む）、個人用コンピュータ・デバイス１２０４（例えば、デスクトップ・コンピュータ、ラップトップ・コンピュータ等）、モバイル・デバイス若しくはワイヤレス・デバイス１２０６（例えば、スマートフォン、タブレット・デバイス等、これらは、ヘッドマウント装置の手段によりユーザ１１１０の頭部に取り付けることが可能）、又は、特定の実施に寄与して、バーチャル・リアリティ・メディア・コンテンツの受信及び／又は提示を促進することができる任意の他のデバイス若しくはデバイスの構成。異なるタイプのメディア・プレーヤ装置（例えば、ヘッドマウント・バーチャル・リアリティ・デバイス、個人用コンピュータ・デバイス、モバイル・デバイス等）は、異なるレベルの没入性を有する異なるタイプのバーチャル・リアリティ体験を、ユーザ１１１０に提供することができる。

図１３は、例示的なバーチャル・リアリティ体験１３００を示し、ここで、ユーザ１１１０には、例示的なバーチャル・リアリティ・メディア・コンテンツが提示され、前記コンテンツは、現実世界シーンを表し、前記現実世界シーンは、現実世界シーンに対する例示的な任意のバーチャル・ロケーションに対応する動的に選択可能なバーチャル・ビューポイントから体験される。具体的には、バーチャル・リアリティ・メディア・コンテンツ１３０２は、視野１３０４内に提示され、前記コンテンツが示すのは、バーチャル・ビューポイントからの現実世界シーンであり、前記バーチャル・ビューポイントは、任意のバーチャル・ロケーションに対応し、前記バーチャル・ロケーションは、シュートが行われている現実世界シーンの表現内のバスケットボールのゴールの真下である。現実世界シーンに基づく没入型バーチャル・リアリティ世界１３０６は、閲覧者にとって利用可能であってもよく、ユーザ入力（例えば、頭部の動き、キーボード・インプット等）（見回す、及び／又は動き回る（即ち、体験する箇所からバーチャル・ビューポイントを動的に選択する））を提供することで没入型バーチャル・リアリティ世界１３０６を体験できる。

例えば、視野１３０４は、ウィンドウを提供することができ、前記ウィンドウを通して、ユーザ１１１０は、容易に且つ自然に、没入型バーチャル・リアリティ世界１３０６を見回すことができる。視野１３０４は、メディア・プレーヤ装置１１０８（例えば、メディア・プレーヤ装置１１０８のディスプレイ・スクリーン上に）によって提示されてもよく、そして、前記視野１３０４は、以下を含むことができる：没入型バーチャル・リアリティ世界１３０６内のユーザの周辺のオブジェクトを描写したビデオ。更には、視野１３０４を、ユーザ１１１０が没入型バーチャル・リアリティ世界１３０６を体験する際に、ユーザ１１１０が提供するユーザ入力に応答して、動的に変更することができる。例えば、メディア・プレーヤ装置１１０８は、ユーザ入力を検出することができる（例えば、視野１３０４が提示されるディスプレイ・スクリーンを移動又は回転する）。これに応じて、視野１３０４は、以下を提示することができる：異なるオブジェクト及び／又は以前のバーチャル・ビューポイント若しくはバーチャル・ロケーションから見えるオブジェクトの場所において、異なるバーチャル・ビューポイント若しくはバーチャル・ロケーションから見えるオブジェクト。

図１３において、没入型バーチャル・リアリティ世界１３０６は、半球として示されているが、このことは、以下を示す：ユーザ１１１０は、没入型バーチャル・リアリティ世界１３０６内の任意の方向へ視線を向けることができ、前記方向として、実質的には、ユーザ１１１０が現在選択したバスケットボールのゴール下のロケーションにおけるバーチャル・ビューポイントから見て、前方向、後方向、左方向、右方向、及び／又は上方向である。他の例において、没入型バーチャル・リアリティ世界１３０６は、さらに１８０°分の球体を追加した全体３６０°を含むことができ、その結果、ユーザ１１１０は、下方向も見ることができる。更には、ユーザ１１１０は、没入型バーチャル・リアリティ世界１３０６内の他のロケーションへ動き回ることができる（即ち、現実世界シーンの表現内の異なる動的に選択可能なバーチャル・ビューポイントを動的に選択することができる）。例えば、ユーザ１１１０は以下を選択することができる：ハーフ・コートにおけるバーチャル・ビューポイント、バスケットボールのゴールに向かいあうフリー・スロー・ラインからのバーチャル・ビューポイント、バスケットボールのゴール上部で停止したバーチャル・ビューポイント等。

図１４が示すのは例示的な方法１４００であり、バーチャル・リアリティ・メディア・コンテンツ内に含める目的で、現実世界シーンのカスタマイズされるビューの仮想化プロジェクションを生成するためのものである。図１４は、１つの実施形態に従った例示的なオペレーションを示すが、他の実施形態では、図１４に示す任意のオペレーションに対して、省略、追加、並べ替え、及び／又は変更してもよい。図１４に示す１以上のオペレーションは、以下によって実行されてもよい：システム１００、前記システムの実装、及び／又は、システム１００に関連する（例えば、通信可能に接続される、共同で動作するように構成される等）上述した別のシステム。

オペレーション１４０２において、仮想化プロジェクション生成システムは、複数のキャプチャされる表面データ・フレーム・シーケンスを受信することができ、各表面データ・フレーム・シーケンスは、色彩及び深度フレームを含むことができ、前記色彩及び深度フレームは、現実世界シーンを、キャプチャ・パラメータの各セットに従って描写することができ、前記パラメータは、現実世界シーンの異なるビューに関連するキャプチャ・パラメータの複数のセットに含まれてもよい。幾つかの例において、複数のキャプチャされる表面データ・フレーム・シーケンス内の各表面データ・フレーム・シーケンスは、複数のキャプチャ・デバイス内の異なるキャプチャ・デバイスによってキャプチャされてもよく、前記複数のキャプチャ・デバイスは、現実世界シーンの異なるビューをキャプチャするように現実世界シーンに関しての異なるロケーションに配置されてもよい。オペレーション１４０２は、本明細書に記載の方法のいずれかで実行されてもよい。

オペレーション１４０４において、仮想化プロジェクション生成システムは、キャプチャ・パラメータの追加のセットを特定することができ、前記追加のセットは、オペレーション１４０２にて受信されキャプチャされる表面データ・フレーム・シーケンスに関連するキャプチャ・パラメータの複数のセット内に含まれるキャプチャ・パラメータのセットとは異なる。幾つかの例において、キャプチャ・パラメータの追加のセットは、現実世界シーンのカスタマイズされるビューに関連してもよく、前記カスタマイズされるビューは、複数のキャプチャ・デバイスがキャプチャする現実世界シーンの異なるビューとは異なってもよい。オペレーション１４０４は、本明細書に記載の方法のいずれかで実行されてもよい。

オペレーション１４０６において、仮想化プロジェクション生成システムは、現実世界シーンのカスタマイズされるビューの仮想化プロジェクションに関する色彩及び深度フレームをレンダリングすることができる。例えば、仮想化プロジェクション生成システムは、オペレーション１４０２にて受信されキャプチャされる表面データ・フレーム・シーケンスに基づいて、そして、オペレーション１４０４で特定されるキャプチャ・パラメータの追加のセットに基づいて、仮想化プロジェクションに関する色彩及び深度フレームをレンダリングすることができる。オペレーション１４０６は、本明細書に記載の方法のいずれかで実行されてもよい。

オペレーション１４０８において、仮想化プロジェクション生成システムは、仮想化される表面データ・フレーム・シーケンスを提供することができ、前記表面データ・フレーム・シーケンスは、オペレーション１４０６にてレンダリングされる現実世界シーンのカスタマイズされるビューの仮想化プロジェクションに関するレンダリングされる色彩及び深度フレームを含むことができる。幾つかの例において、仮想化プロジェクション生成システムは、バーチャル・リアリティ・メディア・コンテンツ内に含める目的で、仮想化される表面データ・フレーム・シーケンスをメディア・プレーヤ装置に提供することができる。オペレーション１４０８は、本明細書に記載の方法のいずれかで実行されてもよい。

図１５が示すのは例示的な方法１５００であり、バーチャル・リアリティ・メディア・コンテンツ内に含める目的で、現実世界シーンのカスタマイズされるビューの仮想化プロジェクションを生成するためのものである。図１５は、１つの実施形態に従った例示的なオペレーションを示すが、他の実施形態では、図１５に示す任意のオペレーションに対して、省略、追加、並べ替え、及び／又は変更してもよい。図１５に示す１以上のオペレーションは、以下によって実行されてもよい：システム１００、前記システムの実装、及び／又は、システム１００に関連する（例えば、通信可能に接続される、共同で動作するように構成される等）上述した別のシステム。

オペレーション１５０２において、仮想化プロジェクション生成システムは、複数のキャプチャされる表面データ・フレーム・シーケンスを受信することができ、各表面データ・フレーム・シーケンスは色彩及び深度フレームを含むことができ、前記色彩及び深度フレームは、現実世界シーンを、キャプチャ・パラメータの各セットに従って描写することができ、前記パラメータは、現実世界シーンの異なるビューに関連するキャプチャ・パラメータの第１の複数のセット内に含まれてもよい。例えば、複数のキャプチャされる表面データ・フレーム・シーケンス内の各表面データ・フレーム・シーケンスは、複数のキャプチャ・デバイス内の異なるキャプチャ・デバイスによってキャプチャされてもよく、前記複数のキャプチャ・デバイスは、現実世界シーンの異なるビューをキャプチャするように現実世界シーンに関しての異なるロケーションに配置されてもよい。特定の例において、オペレーション１５０２は、現実世界シーン内でイベントが発生した時に、リアルタイムで実行されてもよい。オペレーション１５０２は、本明細書に記載の方法のいずれかで実行されてもよい。

オペレーション１５０４において、仮想化プロジェクション生成システムは、キャプチャ・パラメータの第２の複数のセットを特定することができ、前記第２の複数のセットは、キャプチャ・パラメータの第１の複数のセット内に含まれるキャプチャ・パラメータのセットとは異なってもよい。例えば、キャプチャ・パラメータの第２の複数のセット内のキャプチャ・パラメータの各セットは、以下に関連してもよい：オペレーション１５０２に関連して上述した複数のキャプチャ・デバイスがキャプチャする現実世界シーンの異なるビューとは異なる現実世界シーンの各カスタマイズされるビュー。幾つかの例において、キャプチャ・パラメータの第２の複数のセットは、以下を含むことができる：オペレーション１５０２にて受信されキャプチャされる表面データ・フレーム・シーケンスに関連するキャプチャ・パラメータの第１の複数のセット内に含まれるものよりも更に大きな数のセット。オペレーション１５０２と同様、特定の実施において、オペレーション１５０４は、現実世界シーン内でイベントが発生した時にリアルタイムで実行されてもよい。オペレーション１５０４は、本明細書に記載の方法のいずれかで実行されてもよい。

オペレーション１５０６において、仮想化プロジェクション生成システムは、現実世界シーンの各カスタマイズされるビューの仮想化プロジェクションに関して色彩及び深度フレームをレンダリングすることができ、前記カスタマイズされるビューは、キャプチャ・パラメータの第２の複数のセットにおけるキャプチャ・パラメータのセットをオペレーション１５０４にて特定したものに関するものであってもよい。幾つかの例において、仮想化プロジェクション生成システムは、色彩及び深度フレームを以下に基づいてレンダリングすることできる：オペレーション１５０２で受信される複数のキャプチャされる表面データ・フレーム・シーケンス、及び、オペレーション１５０４で特定されるキャプチャ・パラメータの第２の複数のセット。オペレーション１５０２及び１５０４と同様、特定の実施において、オペレーション１５０６は、現実世界シーン内でイベントが発生した時にリアルタイムで実行されてもよい。オペレーション１５０６は、本明細書に記載の方法のいずれかで実行されてもよい。

オペレーション１５０８において、仮想化プロジェクション生成システムは、複数の仮想化される表面データ・フレーム・シーケンスを提供することができ、前記表面データ・フレーム・シーケンスは、オペレーション１５０６にてレンダリングされる現実世界シーンの各カスタマイズされるビューの仮想化プロジェクションに関する色彩及び深度フレームを含むことができる。例えば、仮想化プロジェクション生成システムは、複数の仮想化される表面データ・フレーム・シーケンスを、メディア・プレーヤ装置のためのバーチャル・リアリティ・メディア・コンテンツ内に含める目的で提供してもよい。オペレーション１５０２〜１５０６と同様、オペレーション１５０８は、現実世界シーン内でイベントが発生した時にリアルタイムで実行されてもよい。オペレーション１５０８は、本明細書に記載の方法のいずれかで実行されてもよい。

特定の実施形態において、本明細書に記載の１以上のシステム、コンポーネント、及び／又はプロセスは、１以上の適切に構成されたコンピューティング・デバイスによって実施及び／又は実行されてもよい。この目的のため、上述した１以上のシステム及び／又はコンポーネントは、以下を含んでもよく、又は、以下によって実装されてもよい：任意のコンピュータ・ハードウェア、及び／又は本明細書に記載の１以上のプロセスを実行するように構成される少なくとも１つの非一時的コンピュータ可読媒体に記録される、コンピュータで実装されるインストラクション（例えば、ソフトウェア）。特に、システム・コンポーネントは、１つの物理的なコンピューティング・デバイスによって実装されてもよいし、又は、複数の物理的なコンピューティング・デバイスで実装されてもよい。従って、システム・コンポーネントは、任意の数のコンピューティング・デバイスを含むことができ、そして、任意の数のコンピュータオペレーティングシステムを採用することができる。

特定の実施形態において、本明細書に記載の１以上のプロセスは、非一時的コンピュータ可読媒体に記録され、１以上のコンピューティング・デバイスによって実行可能なインストラクションとして、少なくとも部分的に実施されてもよい。一般的に、プロセッサ（例えば、マイクロプロセッサ）は、インストラクションを、非一時的コンピュータ可読媒体（例えば、メモリ等）から受け取り、そして、これらのインストラクションを実行し、これにより、本明細書に記載の１以上のプロセスを含む１以上のプロセスを実行する。こうしたインストラクションは、任意の様々な既知のコンピュータ可読媒体を使用して記憶することができ、及び／又は送ることができる。

コンピュータ可読媒体（プロセッサ可読媒体とも言う）は、任意の非一時的媒体を含み、コンピュータによって（例えば、コンピュータのプロセッサによって）読み取ることができるデータ（例えば、インストラクション）を提供することに寄与する。こうした媒体は、多くの形態をとることができ、限定されるものではないが、以下を含む：不揮発性メディア及び／又は揮発性メディア。不揮発性メディアは、以下を含むことができる：例えば、光学ディスク又は磁気ディスク及び他の固定メモリ。揮発性メディアは、以下を含むことができる：例えば、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）であって、典型的にはメインメモリを構成する物。コンピュータ可読媒体の通常の形態として以下を含む：例えば、ディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、コンパクト・ディスク・リード・オンリ・メモリ（「ＣＤ−ＲＯＭ」）、デジタル・ビデオ・ディスク（「ＤＶＤ」）、任意の他の光学媒体、ランダム・アクセス・メモリ（「ＲＡＭ」）、プログラマブル・リード・オンリ・メモリ（「ＰＲＯＭ」）、電気的に消去可能なプログラマブル・リード・オンリ・メモリ（「ＥＰＲＯＭ」）、ＦＬＡＳＨ−ＥＥＰＲＯＭ、任意の他のメモリチップ、若しくはカートリッジ、又はコンピュータが読み取り可能な任意の他の有形の媒体。

図１６は、例示的なコンピューティング・デバイス１６００を示し、当該デバイスは、特に、本明細書に記載の１以上のプロセスを実行するように構成されてもよい。図１６に示すように、コンピューティング・デバイス１６００は、以下を含むことができる：通信インターフェース１６０２、プロセッサ１６０４、ストレージ・デバイス１６０６、及び通信インフラ１６１０を介して通信可能に接続される入力／出力（「Ｉ／Ｏ」）モジュール１６０８。例示的なコンピューティング・デバイス１６００を、図１６に示すものの、図１６に示すコンポーネントは、限定することを意図するものではない。追加又は代替のコンポーネントを、他の実施形態において使用してもよい。図１６に示すコンピューティング・デバイス１６００のコンポーネントを、以下で、更に詳細に説明する。

通信インターフェース１６０２は、１以上のコンピューティング・デバイスと通信するように構成されてもよい。通信インターフェース１６０２の例は、限定されるものではないが、以下を含む：有線ネットワーク・インターフェース（例えば、ネットワーク・インターフェース・カード）、ワイヤレス・ネットワーク・インターフェース（例えば、ワイヤレス・ネットワーク・インターフェース・カード）、モデム、オーディオ／ビデオ接続、及び任意の他の適切なインターフェース。

プロセッサ１６０４は、概して、任意のタイプ又は形態の処理ユニット（例えば、中央演算装置及び／又はグラフィックス・プロセッシング・ユニット）を表し、データを処理することができ、又は、本明細書に記載の１以上のインストラクション、プロセス、及び／若しくはオペレーションの実行を解釈し、実行し、及び／若しくは指示することができる。プロセッサ１６０４は、１以上のアプリケーション１６１２又は他のコンピュータ可読インストラクション（例えば、ストレージ・デバイス１６０６又は別のコンピュータ可読媒体に記憶されてもよい）に従って、オペレーションの実行を指示することができる。

ストレージ・デバイス１６０６は、１以上のデータ・ストレージ・メディア、デバイス、又は構成を含むことができ、そして、データストレージ・メディア及び／又はデバイスを任意のタイプ、任意の形態、及び任意の組み合わせで採用することができる。例えば、ストレージ・デバイス１６０６は、以下を含むことができるが、これらに限定されない：ハード・ドライブ、ネットワーク・ドライブ、フラッシュ・ドライブ、磁気ディスク、光学ディスク、ＲＡＭ、ダイナミックＲＡＭ、他の不揮発性及び／又は揮発性のデータ・ストレージ・ユニット、又はこれらのコンビネーション若しくはサブコンビネーション。電子データは、本明細書に記載のデータを含むが、一時的に及び／又は永続的に、ストレージ・デバイス１６０６に記憶されてもよい。例えば、１以上の実行可能なアプリケーション１６１２を表すデータであって、プロセッサ１６０４に指示して本明細書に記載の任意のオペレーションを実行するように構成されるデータは、ストレージ・デバイス１６０６内に記憶されてもよい。幾つかの例において、データは、ストレージ・デバイス１６０６内に存在する１以上のデータベースに配置することができる。

Ｉ／Ｏモジュール１６０８は、１以上のＩ／Ｏモジュールを含むことができ、当該モジュールは、ユーザ入力を受け取り、そして、ユーザ出力を提供するように構成されてもよい。１以上のＩ／Ｏモジュールを用いて、単独のバーチャル・リアリティ・エクスペリエンスのためのインプットを受け取ってもよい。Ｉ／Ｏモジュール１６０８は、インプット及びアウトプット能力をサポートする任意のハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせを含むことができる。例えば、Ｉ／Ｏモジュール１６０８は、ユーザ入力をキャプチャするハードウェア及び／又はソフトウェアを含むことができ、限定されるものではないが、以下を含むことができる：キーボード若しくはキーパッド、タッチスクリーン・コンポーネント（例えば、タッチスクリーン・ディスプレイ）、レシーバー（例えば、ＲＦ又は赤外線受信機）、モーション・センサ、及び／又は１以上のインプットボタン。

Ｉ／Ｏモジュール１６０８は、アウトプットをユーザに提示するために１以上のデバイスを含むことができ、限定されるものではないが、以下を含むことができる：グラフィックス・エンジン、ディスプレイ（例えば、ディスプレイ・スクリーン）、１以上のアウトプット・ドライバ（例えば、ディスプレイ・ドライバ）、１以上のオーディオ・スピーカ、及び１以上のオーディオ・ドライバ。特定の実施形態において、Ｉ／Ｏモジュール１６０８は、ユーザに提示するためのディスプレイにグラフィカルなデータを提供するように構成される。このグラフィカルなデータは、特定の実施に寄与することができる１以上のグラフィカル・ユーザ・インターフェース、及び／又は任意の他のグラフィカルなコンテンツを表すものであってもよい。

幾つかの例において、本明細書に記載の任意の設備は、コンピューティング・デバイス１６００の１以上のコンポーネントによって実装されてもよく、又は当該コンポーネント内で実装されてもよい。例えば、ストレージ・デバイス１６０６内に存在する１以上のアプリケーション１６１２は、システム１００（図１参照）の通信設備１０２、表面データ・フレーム・シーケンス・マネージメント設備１０４、又は仮想化プロジェクション生成設備１０６に関連する１以上のオペレーション又は機能を実行するようにプロセッサ１６０４に命令するように構成されてもよい。同様に、システム１００のストレージ設備１０８は、ストレージ・デバイス１６０６によって実装されてもよく、又は該デバイス内で実装されてもよい。

上述の実施形態が、個人によって提供される個人情報を収集、記憶、及び／又は採用する限度において、以下のように理解されたい：こうした情報は、個人情報の保護に関する全ての適用可能な法律に従って、使用することができる。更には、こうした情報の収集、記憶、及び使用は、こうした活動に対する個人の同意を得てもよい（例えば、情報の状況及びタイプに適した良く知られた「オプトイン」又は「オプトアウト」プロセスを通して）。個人情報の記憶及び使用について、適切に安全な態様で、例えば、特にセンシティブな情報に対して様々な暗号化及び匿名化を通した情報のタイプを反映したものであってもよい。

上記説明において、様々な例示的実施形態について、添付図面に言及しながら説明してきた。しかし、以下の点は明白であろう：これらに対して様々な改変及び変更を行うことができ、そして、更なる実施形態を実施することができ、こうした、改変及び変更、並びに実施は、下記の特許請求の範囲に記載された発明の範囲から逸脱することなく、可能である。例えば、本明細書に記載の１つの実施形態の特定の特徴は、本明細書に記載の別の実施形態の特徴と組み合わせることができ、又は置き換えることができる。従って、上記説明及び図面は、限定的な意味ではなく、例示的な意味で理解すべきものである。

Claims (20)

1. 以下を含む方法：
   仮想化プロジェクション生成システムが、複数のキャプチャされる表面データ・フレーム・シーケンスを受信する工程、ここで、各表面データ・フレーム・シーケンスは、色彩及び深度フレームを含み、前記フレームは、現実世界シーンを、キャプチャ・パラメータの各セットに従って描写しており、前記パラメータは、現実世界シーンの異なるビューに関連するキャプチャ・パラメータの複数のセット内に含まれ、前記複数のキャプチャされる表面データ・フレーム・シーケンス内の各表面データ・フレーム・シーケンスは、複数のキャプチャ・デバイス内の異なるキャプチャ・デバイスによってキャプチャされ、前記デバイスは、前記現実世界シーンの前記異なるビューをキャプチャするように前記現実世界シーンに関して異なるロケーションに配置される；
   前記仮想化プロジェクション生成システムが、キャプチャ・パラメータの追加のセットを特定する工程、ここで、前記キャプチャ・パラメータの追加のセットは、キャプチャ・パラメータの前記複数のセット内に含まれるキャプチャ・パラメータの前記セットとは異なり、そして、前記現実世界シーンのカスタマイズされるビューに関連し、前記カスタマイズされるビューは、前記複数のキャプチャ・デバイスがキャプチャする前記現実世界シーンの前記異なるビューとは異なる；
   前記仮想化プロジェクション生成システムが、以下のうち少なくとも１つに基づいて、前記現実世界シーンの前記カスタマイズされるビューの仮想化プロジェクションに関する色彩及び深度フレームをレンダリングする工程：前記複数のキャプチャされる表面データ・フレーム・シーケンス内の表面データ・フレーム・シーケンス、及び、前記キャプチャ・パラメータの追加のセット；並びに、
   前記仮想化プロジェクション生成システムが、バーチャル・リアリティ・メディア・コンテンツ内に含める目的で、仮想化される表面データ・フレーム・シーケンスをメディア・プレーヤ装置に提供する工程、ここで、前記仮想化される表面データ・フレーム・シーケンスは、以下を含む：前記現実世界シーンの前記カスタマイズされるビューの前記仮想化プロジェクションに関するレンダリングされる色彩及び深度フレーム。
2. 請求項１の方法であって、以下の特徴を有する、方法：
   前記現実世界シーンの前記カスタマイズされるビューは、前記現実世界シーンに関して前記異なるロケーションに配置される前記複数のキャプチャ・デバイスによってキャプチャされる現実世界シーンの前記異なるビューと不揃いである；並びに、
   前記現実世界シーンの前記カスタマイズされるビューの前記仮想化プロジェクションに関する色彩及び深度フレームの前記レンダリングは、色彩及び深度フレームをレンダリングすることを含み、前記レンダリングは、以下の少なくとも２つに基づく：前記複数のキャプチャされる表面データ・フレーム・シーケンス内の前記表面データ・フレーム・シーケンス。
3. 請求項１の方法であって、前記現実世界シーンの前記異なるビューに関連するキャプチャ・パラメータの前記複数のセット内に含まれるキャプチャ・パラメータの各セットが以下のうち少なくとも１つを含む、方法：
   前記現実世界シーンの特定のビューに対応する色彩及び深度フレームがキャプチャされる前記現実世界シーンに関するロケーションを表すキャプチャ・パラメータ；
   前記現実世界シーンの前記特定のビューに対応する前記色彩及び深度フレームがキャプチャされる配向を表すキャプチャ・パラメータ；
   前記現実世界シーンの前記特定のビューに対応する前記色彩及び深度フレームがキャプチャされる視野を表すキャプチャ・パラメータ；並びに、
   前記現実世界シーンの前記特定のビューに対応する前記色彩及び深度フレームがキャプチャされるイメージ・クオリティを表すキャプチャ・パラメータ。
4. 請求項１の方法であって、ここで、前記現実世界シーンの前記カスタマイズされるビューに関連するキャプチャ・パラメータの前記追加のセットは、以下のうち少なくとも１つを含む、方法：
   前記現実世界シーンの前記カスタマイズされるビューに関連するカスタマイズされる視野を表すキャプチャ・パラメータ、ここで、前記カスタマイズされる視野は、前記仮想化プロジェクションのための前記色彩及び深度フレームの前記レンダリングの基礎となる前記表面データ・フレーム・シーケンスのうち少なくとも１つに関連するキャプチャされる視野よりも狭い；並びに、
   前記現実世界シーンの前記カスタマイズされるビューに関連するカスタマイズされるイメージ・クオリティを表すキャプチャ・パラメータ、ここで、前記カスタマイズされるイメージ・クオリティは、前記仮想化プロジェクションのための前記色彩及び深度フレームの前記レンダリングの基礎となる前記表面データ・フレーム・シーケンスのうち少なくとも１つに関連するキャプチャされるイメージ・クオリティよりも低い。
5. 請求項１の方法であって、ここで、キャプチャ・パラメータの前記追加のセットを特定することは、以下を含む、方法：
   前記現実世界シーンの１以上の幾何学的プロパティに関して前記現実世界シーンを分析すること；
   キャプチャ・パラメータの複数の追加のセットを、現実世界シーンの前記分析に基づいて生成すること、ここで、前記キャプチャ・パラメータの複数の追加のセットは、キャプチャ・パラメータの前記複数のセット内に含まれるキャプチャ・パラメータの前記セットとは異なり、且つキャプチャ・パラメータの前記追加のセットを含む；並びに、
   キャプチャ・パラメータの前記追加のセットを、キャプチャ・パラメータの前記複数の追加のセットから特定すること。
6. 請求項１の方法であって、ここで、前記バーチャル・リアリティ・メディア・コンテンツ内に含める目的で提供される前記仮想化される表面データ・フレーム・シーケンスは、パッケージ化され、その結果、前記現実世界シーンの前記カスタマイズされるビューの前記仮想化プロジェクションに関するレンダリングされる色彩及び深度フレームは、トランスポート・ストリーム内に含まれ、前記トランスポート・ストリームは、前記仮想化される表面データ・フレーム・シーケンス以外の追加の表面データ・フレーム・シーケンスを表す色彩及び深度フレームを含まない、方法。
7. 請求項１の方法であって、ここで、前記バーチャル・リアリティ・メディア・コンテンツ内に含める目的で提供される前記仮想化される表面データ・フレーム・シーケンスは、パッケージ化され、その結果、前記現実世界シーンの前記カスタマイズされるビューの前記仮想化プロジェクションに関するレンダリングされる色彩及び深度フレームは、トランスポート・ストリーム内に含まれ、前記トランスポート・ストリームは、少なくとも１つの前記仮想化される表面データ・フレーム・シーケンス以外の追加の表面データ・フレーム・シーケンスを表す色彩及び深度フレームを更に含む、方法。
8. 請求項１の方法であって、ここで、前記バーチャル・リアリティ・メディア・コンテンツ内に含める目的で提供される前記仮想化される表面データ・フレーム・シーケンスは、パッケージ化され、その結果、前記現実世界シーンの前記カスタマイズされるビューの前記仮想化プロジェクションに関してレンダリングされる各々の色彩及び深度フレームは、タイル化ビデオ・データ・ストリームにおけるタイルとして表現され、前記タイル化ビデオ・データ・ストリームは、前記タイル化ビデオ・データ・ストリームの各フレームにおける複数のタイルを表すタイル・マップを実装する、該方法。
9. 請求項１の方法であって、少なくとも１つの非一時的コンピュータ可読媒体上にコンピュータ可読インストラクションとして記憶される、該方法。
10. 以下を含む方法：
    仮想化プロジェクション生成システムが、リアルタイムで、現実世界シーン内でイベントが発生した時に、複数のキャプチャされる表面データ・フレーム・シーケンスを受信すること、ここで、前記複数のキャプチャされる表面データ・フレーム・シーケンスは、それぞれ、色彩及び深度フレームを含み、前記色彩及び深度フレームは、前記現実世界シーンを、キャプチャ・パラメータの各セットに従って描写し、前記キャプチャ・パラメータの各セットは、現実世界シーンの異なるビューに関連するキャプチャ・パラメータの第１の複数のセット内に含まれ、前記複数のキャプチャされる表面データ・フレーム・シーケンス内の各表面データ・フレーム・シーケンスは、複数のキャプチャ・デバイス内の異なるキャプチャ・デバイスによってキャプチャされ、前記キャプチャ・デバイスは、前記現実世界シーンの異なるビューをキャプチャするように前記現実世界シーンに関して異なるロケーションに配置される；
    前記仮想化プロジェクション生成システムが、リアルタイムで、前記現実世界シーン内で前記イベントが発生した時に、キャプチャ・パラメータの第２の複数のセットを特定すること、ここで、キャプチャ・パラメータの前記第２の複数のセットは、キャプチャ・パラメータの前記第１の複数のセット内に含まれるキャプチャ・パラメータの前記セットとは異なり、そして、キャプチャ・パラメータの前記第２の複数のセット各々は、前記現実世界シーンの各カスタマイズされるビューに関連し、前記現実世界シーンの各カスタマイズされる前記ビューは、前記複数のキャプチャ・デバイスがキャプチャする前記現実世界シーンの前記異なるビューとは異なり、キャプチャ・パラメータの前記第２の複数のセットは、キャプチャ・パラメータの前記第１の複数のセット内に含まれるよりも大きい数を含む；
    前記仮想化プロジェクション生成システムが、リアルタイムで、前記現実世界シーン内で前記イベントが発生した時に、前記現実世界シーンの各カスタマイズされるビューの仮想化プロジェクションための色彩及び深度フレームをレンダリングすること、ここで、前記レンダリングは、前記複数のキャプチャされる表面データ・フレーム・シーケンスに基づき、且つ、キャプチャ・パラメータの前記第２の複数のセットに基づく；並びに、
    前記仮想化プロジェクション生成システムが、リアルタイムで、前記現実世界シーン内で前記イベントが発生した時に、且つ、バーチャル・リアリティ・メディア・コンテンツ内に含めることを目的として、複数の仮想化される表面データ・フレーム・シーケンスをメディア・プレーヤ装置に提供すること、ここで、前記複数の仮想化される表面データ・フレーム・シーケンスは、前記現実世界シーンの各カスタマイズされるビューの前記仮想化プロジェクションに関するレンダリングされる色彩及び深度フレームを含む。
11. 請求項１０の方法であって、以下の特徴を有する方法：
    キャプチャ・パラメータの前記第２の複数のセット内のキャプチャ・パラメータの特定のセットに関連する前記現実世界シーンの特定のカスタマイズされるビューは、前記現実世界シーンに関して前記異なるロケーションに配置される前記複数のキャプチャ・デバイスによってキャプチャされる現実世界シーンの前記異なるビューと不揃いである；及び、
    前記現実世界シーンの前記特定のカスタマイズされるビューの前記仮想化プロジェクションのための前記色彩及び深度フレームの前記レンダリングは、色彩及び深度フレームをレンダリングすることを含み、前記レンダリングは、以下の少なくとも２つに基づく：前記複数のキャプチャされる表面データ・フレーム・シーケンス内の前記表面データ・フレーム・シーケンス。
12. 請求項１０の方法であって、少なくとも１つの非一時的コンピュータ可読媒体上でコンピュータ可読インストラクションとして具現化される、方法。
13. 以下を含む、システム：
    以下の動作を行う少なくとも１つの物理的なコンピューティング・デバイス：
    複数のキャプチャされる表面データ・フレーム・シーケンスを受信すること、ここで、前記複数のキャプチャされる表面データ・フレーム・シーケンスは、それぞれ色彩及び深度フレームを含み、前記色彩及び深度フレームは、現実世界シーンを、キャプチャ・パラメータの各セットに従って描写しており、前記パラメータは、現実世界シーンの異なるビューに関連するキャプチャ・パラメータの複数のセット内に含まれ、前記複数のキャプチャされる表面データ・フレーム・シーケンス内の各表面データ・フレーム・シーケンスは、複数のキャプチャ・デバイス内の異なるキャプチャ・デバイスによってキャプチャされ、前記キャプチャ・デバイスは、前記現実世界シーンの異なるビューをキャプチャするように前記現実世界シーンに関しての異なるロケーションに配置される；
    キャプチャ・パラメータの追加のセットを特定すること、ここで、キャプチャ・パラメータの前記追加のセットは、キャプチャ・パラメータの前記複数のセット内に含まれるキャプチャ・パラメータの前記セットとは異なり、そして、前記現実世界シーンのカスタマイズされるビューに関連し、前記現実世界シーンは、前記複数のキャプチャ・デバイスがキャプチャする前記現実世界シーンの前記異なるビューとは異なる；
    前記複数のキャプチャされる表面データ・フレーム・シーケンス内の前記表面データ・フレーム・シーケンスのうち少なくとも１つと、前記キャプチャ・パラメータの前記追加のセットとに基づいて、前記現実世界シーンの前記カスタマイズされるビューの仮想化プロジェクションに関する色彩及び深度フレームをレンダリングすること；並びに、
    バーチャル・リアリティ・メディア・コンテンツ内に含める目的で、仮想化される表面データ・フレーム・シーケンスをメディア・プレーヤ装置に提供すること、ここで、前記表面データ・フレーム・シーケンスは、前記現実世界シーンの前記カスタマイズされるビューの前記仮想化プロジェクションに関するレンダリングされる色彩及び深度フレームを含む。
14. 請求項１３のシステムであって、以下の特徴を含む、システム：
    前記現実世界シーンの前記カスタマイズされるビューは、前記現実世界シーンに関して前記異なるロケーションに配置される前記複数のキャプチャ・デバイスによってキャプチャされる現実世界シーンの前記異なるビューと不揃いである；並びに、
    前記現実世界シーンの前記カスタマイズされるビューの前記仮想化プロジェクションに関する色彩及び深度フレームの前記レンダリングは、色彩及び深度フレームをレンダリングすることを含み、前記レンダリングは、以下の少なくとも２つに基づく：前記複数のキャプチャされる表面データ・フレーム・シーケンス内の前記表面データ・フレーム・シーケンス。
15. 請求項１３のシステムであって、現実世界シーンの前記異なるビューに関連するキャプチャ・パラメータの前記複数のセット内に含まれるキャプチャ・パラメータの各セットが以下のうち少なくとも１つを含む、システム：
    前記現実世界シーンの特定のビューに対応する色彩及び深度フレームがキャプチャされる前記現実世界シーンに関するロケーションを表すキャプチャ・パラメータ；
    前記現実世界シーンの前記特定のビューに対応する前記色彩及び深度フレームがキャプチャされる配向を表すキャプチャ・パラメータ；
    前記現実世界シーンの前記特定のビューに対応する前記色彩及び深度フレームがキャプチャされる視野を表すキャプチャ・パラメータ；並びに、
    前記現実世界シーンの前記特定のビューに対応する前記色彩及び深度フレームがキャプチャされるイメージ・クオリティを表すキャプチャ・パラメータ。
16. 請求項１３のシステムであって、ここで、前記現実世界シーンの前記カスタマイズされるビューに関連するキャプチャ・パラメータの前記追加のセットは、以下のうち少なくとも１つを含む、システム：
    前記現実世界シーンの前記カスタマイズされるビューに関連するカスタマイズされる視野を表すキャプチャ・パラメータ、ここで、前記カスタマイズされる視野は、前記仮想化プロジェクションのための前記色彩及び深度フレームの前記レンダリングの基礎となる前記表面データ・フレーム・シーケンスのうち少なくとも１つに関連するキャプチャされる視野よりも狭い；及び、
    前記現実世界シーンの前記カスタマイズされるビューに関連するカスタマイズされるイメージ・クオリティを表すキャプチャ・パラメータ、ここで、前記カスタマイズされるイメージ・クオリティは、前記仮想化プロジェクションのための前記色彩及び深度フレームの前記レンダリングの基礎となる前記表面データ・フレーム・シーケンスのうち少なくとも１つに関連するキャプチャされるイメージ・クオリティよりも低い。
17. 請求項１３のシステムであって、ここで、前記少なくとも１つの物理的なコンピューティング・デバイスが、以下によって、キャプチャ・パラメータの前記追加のセットを特定する、システム：
    前記現実世界シーンの１以上の幾何学的プロパティに関して前記現実世界シーンを分析すること；
    キャプチャ・パラメータの複数の追加のセットを、現実世界シーンの前記分析に基づいて生成すること、ここで、前記キャプチャ・パラメータの複数の追加のセットは、キャプチャ・パラメータの前記複数のセット内に含まれるキャプチャ・パラメータの前記セットとは異なり、且つキャプチャ・パラメータの前記追加のセットを含む；並びに、
    キャプチャ・パラメータの前記追加のセットを、キャプチャ・パラメータの前記複数の追加のセットから特定すること。
18. 請求項１３のシステムであって、ここで、前記バーチャル・リアリティ・メディア・コンテンツ内に含める目的で提供される前記仮想化される表面データ・フレーム・シーケンスは、パッケージ化され、その結果、前記現実世界シーンの前記カスタマイズされるビューの前記仮想化プロジェクションに関するレンダリングされる色彩及び深度フレームは、トランスポート・ストリーム内に含まれ、前記トランスポート・ストリームは、前記仮想化される表面データ・フレーム・シーケンス以外の追加の表面データ・フレーム・シーケンスを表す色彩及び深度フレームを含まない、システム。
19. 請求項１３のシステムであって、ここで、前記バーチャル・リアリティ・メディア・コンテンツ内に含める目的で提供される前記仮想化される表面データ・フレーム・シーケンスは、パッケージ化され、その結果、前記現実世界シーンの前記カスタマイズされるビューの前記仮想化プロジェクションに関するレンダリングされる色彩及び深度フレームは、トランスポート・ストリーム内に含まれ、前記トランスポート・ストリームは、少なくとも１つの前記仮想化される表面データ・フレーム・シーケンス以外の追加の表面データ・フレーム・シーケンスを表す色彩及び深度フレームを更に含む、システム。
20. 請求項１３のシステムであって、ここで、前記バーチャル・リアリティ・メディア・コンテンツ内に含める目的で提供される前記仮想化される表面データ・フレーム・シーケンスは、パッケージ化され、その結果、前記現実世界シーンの前記カスタマイズされるビューの前記仮想化プロジェクションに関してレンダリングされる各々の色彩及び深度フレームは、タイル化ビデオ・データ・ストリームにおけるタイルとして表現され、前記タイル化ビデオ・データ・ストリームは、前記タイル化ビデオ・データ・ストリームの各フレームにおける複数のタイルを表すタイル・マップを実装する、システム。

Images