JP2022528432A - ハイブリッドレンダリング - Google Patents

Abstract

１つの開示の例は、処理デバイスと、第1のローカルプロセスにおいてレンダリングおよび表示のためにデジタルコンテンツを出力するアプリケーションを実行するように処理デバイスによって実行可能な命令を格納する記憶デバイスとを含む、コンピューティングデバイスを提供する。アプリケーションの実行中に、命令は、第２のローカルまたはリモートプロセスによってレンダリングされるべきオブジェクトに関するオブジェクト情報を第２のローカルまたはリモートプロセスに提供し、オブジェクトのレンダリングを第２のローカルまたはリモートプロセスから受信し、オブジェクトを表示するためにオブジェクトのレンダリングを出力し、オブジェクトになされた操作を受信し、オブジェクトになされた操作に基づいて更新されたオブジェクト情報を第２のローカルまたはリモートプロセスに提供し、オブジェクトの更新されたレンダリングを第２のローカルまたはリモートプロセスから受信し、オブジェクトを表示するためにオブジェクトの更新されたレンダリングを出力するように、実行可能である。

Description

コンピューティングデバイスは、一般的に、二次元ディスプレイ上に表示するための三次元モデルをレンダリングするグラフィックスレンダリングパイプラインを含む。

この概要は、詳細な記述において以下に更に記載される簡略化された形式で一揃いの概念を導入するために提供される。この概要は、特許請求される主題事項の鍵となる構成または本質的な構成を特定することを意図したものではなく、特許請求される主題事項の範囲を限定するために使用することを意図したものでもない。更に、特許請求される主題事項は、この開示のいずれかの部分に記載されたいずれかのまたはすべての不利点を解決する実装に限定されない。

ハイブリッドレンダリングに関する例が開示される。１つの開示の例は、処理デバイスと、第1のローカルプロセスにおいてレンダリングおよび表示のためにデジタルコンテンツを出力するアプリケーションを実行するように処理デバイスによって実行可能な命令を格納する記憶デバイスとを含む、コンピューティングデバイスを提供する。命令は、第２のローカルまたはリモートプロセスによってレンダリングされるべきオブジェクトに関するオブジェクト情報を第２のローカルまたはリモートプロセスに提供し、オブジェクトのレンダリングを第２のローカルまたはリモートプロセスから受信し、オブジェクトを表示するためにオブジェクトのレンダリングをディスプレイに出力し、オブジェクトになされた操作を受信し、オブジェクトになされた操作に基づいて更新されたオブジェクト情報を第２のローカルまたはリモートプロセスに提供し、オブジェクトの更新されたレンダリングを第２のローカルまたはリモートプロセスから受信し、オブジェクトを表示するためにオブジェクトの更新されたレンダリングをディスプレイに出力するように、実行可能である。

他の例は、処理デバイスと、命令を格納する記憶デバイスとを含む、コンピューティングシステムを提供し、命令は、受信したオブジェクト情報に基づいて、レンダリングされるべきオブジェクトに関するオブジェクト情報をコンピューティングデバイスから受信し、オブジェクトをレンダリングし、オブジェクトのレンダリングをコンピューティングデバイスに提供し、オブジェクトになされた操作に関する更新されたオブジェクト情報をコンピューティングデバイスから受信し、オブジェクトになれた操作に関して受信した更新されたオブジェクト情報に基づいてオブジェクトをレンダリングし、オブジェクトの更新されたレンダリングをコンピューティングデバイスに提供するように、処理デバイスによって実行可能である。

別の例は、コンピューティングデバイスで行われる方法を提供し、方法は、レンダリングおよび表示のためにデジタルコンテンツを出力するアプリケーションを実行することと、アプリケーションの実行中に、リモートにレンダリングされるべきデジタルコンテンツの第１のオブジェクトを識別すること、およびローカルにレンダリングされるべきデジタルコンテンツの第２のオブジェクトも識別することと、リモートコンピューティングシステムによってレンダリングされるべき第１のオブジェクトに関するオブジェクト情報をリモートコンピューティングシステムに提供することと、第１のオブジェクトのレンダリングをリモートコンピューティングシステムから受信することと、第２のオブジェクトをローカルにレンダリングして第２のオブジェクトのレンダリングを生成することと、合成フレームとして表示するために第１のオブジェクトのレンダリングと第２のオブジェクトのレンダリングとを合成することと、を含む。

コンピューティングデバイスが、合成フレームとしての表示のためにローカルにレンダリングされ且つリモートにレンダリングされたデジタルコンテンツを合成する例示的な使用環境を示している。 コンピューティングデバイスが、合成フレームとしての表示のためにローカルにレンダリングされ且つリモートにレンダリングされたデジタルコンテンツを合成する例示的な使用環境を示している。

例示的なハイブリッドレンダリングシステムを示すブロック図である。

レンダリングのためのコンテンツを準備する例示的な方法を示すフロー図である。

リモートにレンダリングされたオブジェクトを操作するように作られた入力に基づいてリモートにレンダリングされたオブジェクトの表示を更新する例示的な方法を示すフロー図である。

コンピューティングデバイスから受信される情報に基づいてオブジェクトをレンダリングする例示的な方法を示すフロー図である。

例示的なコンピューティングシステムを示すブロック図である。

コンピューティングデバイス上の処理ハードウェアは、コンピューティングデバイスのレンダリング能力を制限することがある。例えば、複雑なモデルのレンダリング(描画)は、クロック速度、利用可能なメモリの量、メモリ帯域幅、および／またはコンピューティングデバイスに対してローカルなグラフィックス処理装置（ＧＰＵ）または中央処理装置（ＣＰＵ）の他の特性によって制約されることがある。特に、（例えば、有線接続を介して他のコンピューティングデバイスに接続されていない）携帯電話およびテザリングされていないヘッドマウントディスプレイデバイスのような、高度に移動性の(モバイルな)デバイスは、許容可能な性能で複雑なシーンをレンダリングするのに十分なＧＰＵおよび／またはＣＰＵパワーを有さないことがある。

そのような問題を緩和するために様々なアプローチが取られることがある。例えば、コンピューティングデバイスは、レンダリングのためのモデルを単純化するために、複雑なモデルをデシメートする(decimate)ように構成されることがある。しかしながら、デシメーション(decimation)は、モデルから詳細を除去し、それはモデルの所望の視覚精度を損なうことがある。別のアプローチとして、モデルをデシメートする代わりに、コンピューティングデバイスは、高性能リモートコンピューティングシステムがアプリケーションのために全てのデジタルコンテンツをレンダリングし、（例えば、ビデオストリームのような）レンダリングされた画像をコンピューティングデバイスに転送するように、アプリケーションをリモートに実行するように構成されることがある。レンダリングされた画像は、対応するモデルの完全な詳細を含むことがある。しかしながら、そのようなソリューションは、全てのアプリケーション論理をリモートコンピューティングシステムにシフトさせる。結果として、コンピューティングデバイスがネットワーク接続性を失うならば、コンピューティングデバイスは、ネットワーク接続が再確立されるまで、リモートにレンダリングされたコンテンツを表示し得ないことがある。更に、リモートにレンダリングされたコンテンツのネットワーク転送は、表示されたモデルが操作されるときのように、待ち時間に敏感なコンテンツにとって遅すぎることがある。

上述の問題に加えて、アプリケーションのすべてのコンテンツをリモートにレンダリングすることは、様々な他の制約を提起する。例えば、すべてのコンテンツをリモートにレンダリングするシステムは、クライアントデバイスにローカルレンダリング能力、入力能力、ハードウェアアクセスなどを提供しないことがあり、よって、アプリケーション開発者がリモートレンダリングではなくローカルレンダリングのためにコンテンツを指定することを可能にしない。ローカルレンダリングを実行する能力は、例えば、アプリケーションコードを書くために特定のゲームエンジンおよび／またはユーザインターフェースフレームワークを使用することを望む開発者のために、待ち時間に敏感な使用事例（例えば、インキング(inking)、アニメーションまたは実世界オブジェクトと相関させられる他のコンテンツ）のために、ならびに特定の使用事例のためにリモートにレンダリングされたコンテンツをオンデマンドで統合するオフラインで実行されるように構成されたアプリケーションのために関連することがある。

従って、アプリケーション開発者がローカルに表示される画像に合成するためにリモートにレンダリングされたコンテンツおよびローカルにレンダリングされたコンテンツの両方を生成するための論理(ロジック)を含むことを可能にするハイブリッドレンダリングシステムを介してクライアントコンピューティングデバイスにそのような能力を提供することがある例が開示される。例えば、コンピュータ支援設計モデルのようなより複雑なコンテンツは、リモートコンピューティングシステム上にレンダリングされ、モデルを生成および／または表示するアプリケーションを実行するクライアントデバイスにストリーミングされることがある。クライアントデバイスは、リモートにレンダリングされたコンテンツを、軽量で少ない待ち時間のコンテンツ（例えば、ユーザインターフェース／ユーザ体験要素、インキング、関節付きハンドのような実世界オブジェクトと相関させられたコンテンツなど）のような、ローカルにレンダリングされたコンテンツで補強することがある。クライアントデバイスは、リモートにレンダリングされたコンテンツとローカルにレンダリングされたコンテンツとの間の適切なオクルーション関係(occlusion relations)を提供するために、奥行き補正混合(depth-correct blending)を行うこともある。更に、リモートコンピューティングシステムは、例えば、材料を更新すること、オブジェクト変換を操作すること、リモートシーンに新しいコンテンツを注入すること、およびレイキャストクエリ(raycast queries)を実行することによって、リモートにレンダリングされたコンテンツと対話するためにクライアントデバイスが使用することがあるリモートシーングラフＡＰＩを露出させることがある。これはクラウド内のアプリケーション全体を実行せずにリモートコンピューティングシステムの処理能力を活用するのに役立つことがある。リモート手続き呼出し（ＲＰＣ：remote procedure call）機構を用いてリモートにレンダリングされたコンテンツと対話することによって、ハイブリッドレンダリングシステムは、リモートにレンダリングされたシーン要素（向き、位置、スケーリング、材料特性など）に対するクライアントデバイス制御を提供し、よって、すべてのアプリケーション論理がクライアントデバイス上でローカルに実行することを可能にする。更に、リモートにレンダリングするために指定されるモデルは、ネットワーク接続性が失われるか或いは利用できない事態において（例えば、代替コンテンツやデシメートされたコンテンツを用いて）ローカルにレンダリングされることもある。

図１Ａは、コンピューティングデバイス１０２が、リモートレンダリングされたコンテンツとの対話能力を提供し、リモートにレンダリングされたコンテンツをローカルにレンダリングされたコンテンツで補強する、例示的な使用環境１００を示している。図１Ａの例において、コンピューティングデバイス１０２は、シースルーディスプレイ(see-through display)を介して仮想現実像(virtual reality imagery)（例えば、ホログラフィー像(holographic imagery)）を実世界像(real-world imagery)と混合するように構成される混合現実(mixed reality)ディスプレイデバイスを含む。他の例において、コンピューティングデバイス１０２は、異なるモバイルコンピューティングデバイス（仮想現実ディスプレイデバイス、携帯電話、タブレットなど）、ラップトップコンピュータ、パーソナルコンピュータ、ゲームコンソール、または任意の他の適切なコンピューティングデバイスを含んでよい。この例では住環境１００として示されているが、本明細書に記載される例は、任意の他の適切な使用環境で実施されてよい。他の使用環境の例は、商業スペース（例えば、オフィス、学校、倉庫など）のような他の室内スペース、および屋外スペース（例えば、建設現場、公園など）を含む。

図１Ａに戻ると、コンピューティングデバイス１０２は、ローカルにレンダリングされた手１０４と、リモートにレンダリングされた犬１０６と、リモートにレンダリングされたランプ１０８とを含む、合成フレームを表示する。これらのオブジェクトをレンダリングし且つ表示する前に、コンピューティングデバイス１０２上で実行されるアプリケーションは、シーンのモデルをロードするよう要求し、ローカルにレンダリングするためのモデルコンテンツおよびリモートにレンダリングするためのコンテンツをモデル内で識別する。例えば、コンピューティングデバイス１０２がモデルをロードするよう要求する選択されたアプリケーションは、各オブジェクトについて、（例えば、ネットワーク帯域幅、オブジェクトの複雑性などに基づく）条件付き論理、またはオブジェクトをどのようにレンダリングするかに関する絶対論理を含んでよい。

リモートレンダリングのために識別される各オブジェクト１０６、１０８について、コンピューティングデバイス１０２は、ネットワーク１１２を介してリモートレンダリングシステム１１０にオブジェクト情報を提供する。オブジェクト情報は、リモートにレンダリングされるべきオブジェクト１０６、１０８に関する任意の適切な情報を含んでよい。幾つかの例において、オブジェクト情報は、各オブジェクト１０６、１０８についての幾何学的形状を含む三次元モデル（例えば、表示されるピクセル毎に複数のポリゴンを含む高ポリゴンメッシュ、ボクセルベースのモデルなど）を含む。オブジェクト情報は、各オブジェクト１０６、１０８についての材料（例えば、テクスチャ）を含んでもよい。更に、オブジェクト情報は、シーン内の別のオブジェクトに対して絶対的または相対的であることがある、シーン内の各オブジェクト１０６、１０８の場所および／または向きを記述するシーン情報を含んでもよい。他の例において、オブジェクト情報は、リモートレンダリングシステム１１０によって格納された既存のモデル、例えば、アプリケーションの開発中に格納されたモデルをロードおよび／または更新する要求を含む。

リモートレンダリングシステム１１０は、オブジェクト１０６、１０８がレンダリングおよび表示されるべきアプリケーションの実行前または実行中に（コンピューティングデバイス１０２または別のデバイスまたはプロセスから）オブジェクト情報を受信してよい。リモートレンダリングシステム１１０がランタイムの前にオブジェクト情報を受信するとき、リモートレンダリングシステム１１０は、例えば、オブジェクト情報を含むモデルをロードおよび／または更新する要求を受信した後に、ランタイム中に検索するためにオブジェクト情報を格納してよい。いかなるインスタンスにおいても、リモートレンダリングシステム１１０は、コンピューティングデバイス１０２から受信した情報を、シーングラフ(scene graph)またはコンピューティングデバイス１０２によってアクセス可能な他の適切なデータ構造に格納する。

コンピューティングデバイス１０２は、ユーザ１１４の感知された或いは予測された姿勢（手、頭など）および／または注視方向に関する情報をリモートレンダリングシステムに提供してもよい。幾つかの例において、コンピューティングデバイス１０２は、感知された姿勢／注視に基づいて仮想カメラ場所を決定してよく、レンダリングパイプラインへの入力のために決定された仮想カメラ場所をリモートレンダリングシステム１１０に提供してよい。他の例において、コンピューティングデバイス１０２は、感知された姿勢／注視方向に関するセンサデータ（例えば、未加工のまたは処理済みのセンサデータ）をリモートレンダリングシステム１１０に提供してよく、リモートレンダリングシステム１１０は、レンダリングのための仮想カメラ変換を決定するために使用してよい。リモートレンダリングシステム１１０は、オブジェクト情報および仮想カメラ場所をレンダリングパイプラインに入力し、各オブジェクト１０６、１０８をレンダリングする。各オブジェクト１０６、１０８について、レンダリングパイプラインは、レンダリングされたピクセルまたは各レンダリングされたオブジェクトの任意の他の適切な表現の形態を取ることがあるオブジェクトのレンダリングを出力する。オブジェクトのレンダリングは、カラーバッファ(color buffer)と、奥行きバッファ(depth buffer)とを含む。次に、リモートレンダリングシステム１１０は、カラーバッファおよび任意的な奥行きバッファ（または奥行きデータの他の表現）をコンピューティングデバイス１０２にビデオデータ（例えば、圧縮ビデオストリーム）として提供する。

コンピューティングデバイス１０２は、例えば、コンピューティングデバイス１０２の画像センサの視野内の実際の手の感知された位置に基づいて、そして、任意的に、リモートレンダリングシステム１１０から受信された奥行きデータに基づいて、手１０４をローカルにレンダリングしてよい。このようにして、ローカルにレンダリングされた手１０４の表現は、リモートにレンダリングされたオブジェクトよりもリアルタイムにより近くレンダリングされることがある。ネットワーク待ち時間を補償するのを助けるために、コンピューティングデバイス１０２は、リモートレンダリングシステム１１０から受信したレンダリングを再投影してよい。これは、例えば、最近得られた姿勢／注視データに基づいて、リモートレンダリングシステム１１０から受信したレンダリングのカラーバッファおよび任意的な奥行きバッファを再投影することを含んでよい。リモートレンダリングシステム１１０から受信したレンダリングを再投影することに加えて或いはその代わりに、任意の他の適切な待ち時間軽減および画像安定化プロセスが実行されてよい。

以下に更に詳細に記載するように、コンピューティングデバイス１０２は、合成フレームとして表示するために、犬１０６およびランプ１０８のレンダリングを手１０４のレンダリングと合成する。シーンを安定化させるのを助け、ローカルにレンダリングされたオブジェクト／リモートにレンダリングされたオブジェクトの再投影と合成画像の表示との間の時間の間のあらゆる動きを補償するのを助けるために、コンピューティングデバイスは、以下により詳細に記載するように、表示のために合成フレームを出力する前に、後期再投影（ＬＳＲ：late-stage reprojection）処理を実行してよい。

ひとたびシーンがレンダリングされて表示されると、ユーザは、表示されたコンテンツと対話することを望むことがある。図１Ａの例において、ユーザ１１４は、（例えば、ランプを動かすこと、ランプの電源をオン／オフすることなどのために）表示されたランプ１０８と対話してよく、表示された犬１０６と対話してもよい。ユーザ１１４がリモートにレンダリングされたオブジェクトと対話するとき、コンピューティングデバイス１０２は、オブジェクトに対して行われた操作に関するリモートＡＰＩへの呼出しを実行し、リモートレンダリングシステム１１０から更新されたレンダリングを受信し、それは幾つかの例ではフレーム毎ベースで生じることがある。図１Ｂにおいて、コンピューティングデバイス１０２は、リモートレンダリングシステム１１０に、犬１０６の表示を操作するために作られた手振りジェスチャ１１６(wave gesture)に関する入力を提供する。応答して、コンピューティングデバイスは、リモートレンダリングシステム１１０から犬１０６の更新されたレンダリングを受信し、表示のために更新されたレンダリングを出力する。図１Ｂに示すように、犬１０６は、手振りジェスチャ入力１１６に応答して、立っているようにレンダリングされて表示される。

図２は、コンピューティングデバイス２０２と、リモートレンダリングシステム２０４とを含む、ハイブリッドレンダリングシステム２００の例を示している。コンピューティングデバイス２０２としての使用に適した例示的なコンピューティングデバイスは、モバイルコンピューティングデバイス（拡張現実ディスプレイデバイス、仮想現実ディスプレイデバイス、携帯電話、タブレットなど）、ラップトップコンピューティングデバイス、デスクトップコンピューティングデバイス、ゲームコンソールなどを含む。リモートレンダリングシステム２０４は、本明細書に記載するハイブリッドレンダリングプロセスを実施するのに十分なレンダリング能力を有する任意の数およびタイプのコンピューティングデバイスを有する第２のコンピューティングシステムを含んでよい。幾つかの例において、リモートレンダリングシステム２０４は、クラウドコンピューティング環境でホストされたもののような、１つ以上のサーバコンピュータを含む。他の例において、リモートレンダリングシステム２０４は、１つ以上のサーバコンピュータ、デスクトップコンピュータ、および／またはコンピューティングデバイス２０２の使用環境に対してローカルな他のコンピューティングデバイスを含む。

コンピューティングデバイス２０２は、レンダリングおよび表示のためにデジタルコンテンツを出力するクライアントアプリケーション２０６を含む。クライアントアプリケーションの例は、ゲーム、コンピュータ支援設計／視覚化、および指導／教育のためのアプリケーションを含む。クライアントアプリケーション２０６は、ゲームエンジン２０８または他のレンダリングエンジンをインターフェースするように構成される。リモートレンダリングサービスから独立して存在する第一者および第三者ソフトウェアを含む、任意の適切なレンダリングエンジンが、ゲームエンジン２０８として使用されてよい。本明細書で使用するとき、「リモートレンダリングサービス(remote rendering service)」という用語は、ローカルディスプレイ用のクライアントコンピューティングデバイス（例えば、コンピューティングデバイス２０２）への転送のためにピクセルをレンダリングするためにリモートにホストされるレンダリングエンジンを使用し、本明細書に記載するようなハイブリッドレンダリングをサポートする、サービスを指す。

クライアントアプリケーション２０６内のデジタルコンテンツをどのようにレンダリングするかに関する決定は、アプリケーション開発者が利用できる開発時の決定である。例えば、アプリケーション開発者は、シーングラフのノード内の論理またはシーングラフのノードによって表されるオブジェクトをどのようにレンダリングするかに関する他のデータ構造を含むことがある。幾つかの例において、クライアントアプリケーション２０６は、オブジェクトをレンダリングするための条件付き論理（例えば、ネットワーク待ち時間が閾値以上であるならば、オブジェクトをリモートにレンダリングする）を含んでよい。クライアントアプリケーション２０６は、オブジェクトをレンダリングするための絶対論理（例えば、ユーザインターフェースをローカルにレンダリングする、高ポリゴンモデルをリモートにレンダリングするなど）を含んでもよい。いずれのインスタンスにおいても、クライアントアプリケーション２０６の論理は、ローカルにレンダリングされたシーンおよびリモートにレンダリングされたシーンの両方を制御するために使用されてよい。

図２を続けると、クライアントアプリケーション２０６は、リモートレンダリング（ＲＲ）コンポーネントライブラリ２１０をインターフェースするように構成されてもよく、ＲＲコンポーネントライブラリ２１０は、コンピューティングデバイス２０２によって使用されるゲームエンジン２０８のために特に開発されてよい。ＲＲコンポーネントライブラリ２１０は、ＲＲクライアントライブラリ２１２をインターフェースするように構成され、ＲＲクライアントライブラリ２１２は、リモートレンダリングサービスのクライアント側エンドポイントとして機能する。以下により詳細に記載するように、ＲＲクライアントライブラリ２１２は、ＡＰＩ呼出しをリモートレンダリングシステム２０４に送信されるメッセージに変換する軽量クライアント側シーングラフＡＰＩとして実装されてよい。

リモートレンダリングシステム２０４は、リモートレンダリングサービスのリモートエンドポイントとして機能するＲＲサーバライブラリ２１４を含む。ＲＲサーバライブラリ２１４は、ネットワークを介して、コンピューティングデバイス２０２のＲＲクライアントライブラリ２１２からオブジェクト情報および更新されたオブジェクト情報（例えば、シーングラフアップデート）を受信するように構成される。リモートレンダリングシステム２０４は、ＲＲサーバライブラリ２１４を介して、コンピューティングデバイス２０２とリモートレンダリングシステム２０４との間にシーングラフデータを提供し且つ更新するための軽量シーングラフＡＰＩを露出させることがある。シーングラフデータは、例えば、メッシュ、（例えば、物理ベースのシェーディングおよび／またはフォン(Phong)シェーディングのための）材料特性、三次元テキスト、照明、トーンマッピング、ノード変換、および／または用途特有の構成（例えば、カット平面）を含んでよい。幾つかの例において、シーングラフデータは、コンピューティングデバイス２０２上にキャッシュされてもよく、それは、例えば、リモートレンダリングシステム２０４へのネットワーク接続が利用可能でないときに、コンピューティングデバイス２０２がランタイム中にシーングラフデータに迅速にアクセスするのを助ける。

シーングラフは、例えば、リモートレンダリングシステム２０４に命令して特定のシーンをロードさせ、リモートレンダリングシステム２０４によってロードされたフレームシーンをコンピューティングデバイス２０２に通知させ、コンピューティングデバイス２０２がリモートシーングラフ内のデータを操作する（例えば、オブジェクトのアニメーション／移動を指定する）ことを可能にさせ、コンピューティングデバイス２０２がリモートシーングラフ内で新しいノードを生成し、それらのノードを操作することを可能にさせ、且つ／或いはコンピューティングデバイス２０２がリモートレンダリングシステム２０４によって実行されるべきリモートシーングラフへのレイキャストのような非同期クエリを実行することを可能にさせるために使用されてよい。

幾つかのインスタンスにおいて、シーングラフは、コンピューティングデバイス２０２によって使用されるツール／エンジン（例えば、ゲームエンジン２０８）に基づいて様々なクラスにおいてラップされてよい。更に、シーングラフＡＰＩは、Ｃ、Ｃ＃、およびＪａｖａＳｃｒｉｐｔのようなターゲット言語に投影されてよい。これは、リモートレンダリングシステム２０４の能力を、そのようなアプリケーションが使用するゲーム／レンダリングエンジンとは無関係に、任意の第三者アプリケーションに曝すことがある。リモートレンダリングシステム２０４は、混合アプリケーションおよび仮想現実アプリケーションに加えて或いはそれらの代替として、ウェブおよびモバイルアプリケーションにおいて利用されてもよい。

リモートレンダリングシステム２０４は、コンピューティングデバイス２０２から受信した更新されたオブジェクト情報（例えば、シーングラフデータ）のような入力をレンダリングエンジン２１８に提供して、オブジェクトのレンダリングをコンピューティングデバイス２０２に提供するように構成される、アプリリモート処理サービス２１６(app remoting service)を更に含む。アプリリモート処理サービス２１６は、幾つかの例において、リモートレンダリングサービスから独立して存在する第一者または第三者ソフトウェアの形態を取ることがある。受信した更新されたオブジェクト情報に基づいて、レンダリングエンジン２１８は、更新されたオブジェクト情報をレンダリングパイプラインに入力し、オブジェクトをレンダリングしてオブジェクトのレンダリングを生成する。幾つかのインスタンスにおいて、レンダリングパイプラインは、カスタムシェーダをサポートすることがある。

レンダリングエンジン２１８は、１つ以上の処理デバイスを介して実装されてよい。図２に示す例において、レンダリングエンジン２１８は、高ポリゴンコンテンツをレンダリングするように構成されたＧＰＵ２１８ａを介して実装される。レンダリングエンジン２１８は、ＧＰＵにレンダリングタスクを提供するＣＰＵ（図示せず）を介して実装されてもよい。更に、レンダリングエンジンは、幾つかの例において、他のＧＰＵ２１８ｂ、２１８ｃのような、他の処理デバイスを含んでよい。他の例では、図６を参照して以下に記載する例を含む、任意の他の適切な量および／またはタイプの処理デバイスが、レンダリングエンジン２１８を実装するために使用されてよい。幾つかの例では、市販の商用エンジンがレンダリングエンジン２１８として利用されてよいことが理解されるであろう。

ハイブリッドレンダリングシステム２００は、大きなシーングラフを処理し、呼出しカウントを引き出すための様々な戦略を実施することがある。例えば、リモートレンダリングシステム２０４は、材料および変換データがＧＰＵ側バッファから引き出されるようにメッシュまたは他のモデルを構築してよく、（例えば、Ｒｅｄｍｏｎｄ，ＷＡのＭｉｃｒｏｓｏｆｔ Ｃｏｒｐ．から入手可能なＤｉｒｅｃｔＸ１２（ＤＸ１２）のような）グラフィックス指向ＡＰＩスイートおよび間接描画(indirect drawing)を利用して、ＣＰＵ側の引出し呼出し(draw call)オーバーヘッドを低減するのを助けてよい。大きなシーングラフに関連するクライアントアプリケーション２０６の場合、リモートレンダリングシステム２０４は、シーングラフのコンパクトな表現を参照してよく、或いはデータ指向方式で動作するようにシーングラフのアーキテクチャを修正してよい（例えば、Ｅｎｔｉｔｙ Ｃｏｍｐｏｎｅｎｔ Ｓｙｓｔｅｍ）。更に、ランタイム中にシーングラフの潜在的に有意なサブセットを更新するのを助けるために、ハイブリッドレンダリングシステム２００は、コンピューティングデバイス２０２とリモートレンダリングシステム２０４との間のデータのネットワーク転送のために変換圧縮(transform compression)を採用してよい。

アプリリモート処理サービス２１６は、カラー／フレームバッファを含むビデオデータ（例えば、圧縮ビデオストリーム）としてレンダリングエンジン２１８からＲＲクライアントライブラリ２１２にレンダリングを提供する。幾つかのインスタンスでは、制限されたＷｉ－Ｆｉまたは他のネットワーク帯域幅が、コンピューティングデバイス２０２に転送されることがあるカラー／フレームバッファデータの量を制限することがある。よって、アプリリモート処理サービス２１６は、Ｈ．２６５のようなビデオ圧縮標準を使用して、カラーバッファをコンピューティングデバイス２０２にストリーミングすることがある。アプリリモート処理サービス２１６は、例えば、高効率ビデオコーディングまたは奥行きデータを正確に圧縮するように構成されたカスタムコーデックを介して、奥行きバッファまたは奥行きデータの他の表現をコンピューティングデバイス２０２にストリーミングすることもある。

圧縮された奥行きバッファを送受信する実装において、ＲＲクライアントライブラリ２１２は、リモートにレンダリングされたコンテンツについての奥行きバッファを送信して再構築する。幾つかの例において、コンピューティングデバイス２０２は、ローカルにレンダリングされたコンテンツでリモートにレンダリングされたコンテンツを補強する前に、１つ以上の待ち時間緩和戦略を実装することがある。例えば、コンピューティングデバイス２０２上の手および頭／眼の追跡に関する最近得られた情報を消費し且つ使用する間に、コンピューティングデバイス２０２は、リモートにレンダリングされた画像をレンダリングするために使用されたカメラ変換を使用して画像をレンダリングしてよい。別の例として、コンピューティングデバイス２０２は、最近得られた姿勢／注視データを利用して、リモートにレンダリングされたコンテンツのカラーバッファおよび奥行きバッファを再投影してよい。

ハイブリッドレンダリングシステム２００は、更に、様々な他の待ち時間緩和戦略を実装してよい。一例として、リモートレンダリングシステム２０４は、カラーバッファ上でクロマ(chroma)サブサンプリングを実施することによって待ち時間を減少させて、送信されるデータの量を減少させてよい。リモートレンダリングシステム２０４は、タイルベースおよび／またはジオメトリ／クラスタベースのマルチＧＰＵレンダリングのような、マルチＧＰＵレンダリングを実行してもよい。例示的なジオメトリ／クラスタベースのマルチＧＰＵレンダリングプロセスでは、モデルのジオメトリがクラスタに細分化され、複数のＧＰＵに亘って分散させられ、各ＧＰＵは、そのそれぞれに割り当てられたジオメトリをレンダリングし、ＰＣＩｅバスを通じてカラーおよび奥行きバッファをマスタＧＰＵ（例えば、図２の２１８ａ）に提供し、マスタＧＰＵは、奥行きを意識したバッファ併合(buffer merging)およびビデオエンコーディングを実行する。マルチＧＰＵレンダリングは、十分なフレームレート（例えば、６０Ｈｚ）で大きなメッシュ（例えば、１００Ｍ＋ポリゴン）のレンダリングをサポートするのに役立つことがあり、全体的なレンダリング時間を減少させることによって待ち時間を減らすこともある。他の例示的な待ち時間および帯域幅減少戦略として、アプリリモート処理サービス２１６は、１２０Ｈｚでステレオ画像の符号化をインターリーブしてよく、或いは、完全な第２の画像ではなく第２の眼について再投影されたフレームと元のフレームとの間のデルタを符号化してよい。更に、ハイブリッドレンダリング自体が、全てのコンテンツをリモートにレンダリングするシステムと比較して待ち時間を減少させるのに役立つことがある。何故ならば、少なくとも一部のコンテンツは、ネットワークを通じて転送されるのではなくコンピューティングデバイス２０２上でローカルにレンダリングされることがあるからである。

ひとたびコンピューティングデバイス２０２が（圧縮された奥行きバッファを送受信する実装において）リモートコンピューティングシステム２０４から受け取った奥行きバッファを解凍するか、さもなければ、受信した奥行き情報に対して何らかの所要の処理を実行すると、コンピューティングデバイス２０２は、レンダリングパイプラインに結合された奥行きバッファまたは他の奥行き情報でオブジェクトをローカルにレンダリングすることがある。コンピューティングデバイス２０２は、任意の適切なフレームバッファ併合プロセスを介して合成フレームとして表示するために、リモートにレンダリングされたコンテンツおよびローカルにレンダリングされたコンテンツを合成する。幾つかの例において、コンピューティングデバイスは、奥行き補正混合(depth-correct blending)を実行して、シーンの奥行き補正合成(depth-correct composition)を提供する。奥行き補正混合は、例えば、リモートにレンダリングされたコンテンツの奥行きバッファおよびローカルにレンダリングされたコンテンツの奥行きバッファに対して奥行きテスト（例えば、ｚ－テスト）を行うこと、および奥行きテストに基づいて合成することを含んでよい。そのような混合は、例えば、（例えば、テキストの読みやすさを維持するために）特定の奥行き座標についてローカルにレンダリングされるインキング構成、クライアント側スレート、テキスト注釈のため、およびリモートにレンダリングされたコンテンツがローカルにレンダリングされたコンテンツに対応する奥行き補正関係を示す直接操作およびユーザインターフェース構成のためのような、様々なシナリオにおいて有用なことがある。他の例において、ローカルにレンダリングされたコンテンツは、リモートにレンダリングされたコンテンツ（例えば、リモートにレンダリングされたバックグラウンドの上に存在するユーザインターフェース）に対して固定された位置に存在し、コンピューティングデバイス２０２は、奥行きテストを行うことなくそれぞれのフレームを併合(マージ)することがある。

合成フレームとして表示するためにローカルにレンダリングされたコンテンツおよびリモートにレンダリングされたコンテンツを合成した後に、コンピューティングデバイス２０２は、合成フレームを更に安定化させるために、後期再投影処理を実行してよい。幾つかの例において、コンピューティングデバイス２０２は、合成フレームのカラーバッファのみを再投影してよい。他の例において、再投影は、複合フレームの奥行きバッファに基づいて実行されてもよい。再投影は、ビデオストリームに符号化された動きベクトル、またはコンピューティングデバイス２０２上に存在する１つ以上の動きセンサからの動きセンサデータのような、任意の適切な情報に基づいて実行されてよい。コンピューティングデバイス２０２は、ディスプレイ２２０を介して合成フレームを出力するように構成され、ディスプレイ２２０は、共通のエンクロージャまたはコンピューティングデバイス２０２の周辺でコンピューティングデバイス２０２と一体化されてよい。シースルーディスプレイ（例えば、導波管ベースまたはプリズムベースのディスプレイ）および不透明なディスプレイを含む、任意の適切なディスプレイが使用されてよい。

図１Ａ～図１Ｂおよび図２の例において、リモートレンダリングシステム（それぞれ１１０および２０４）は、単一のコンピューティングデバイス（それぞれ１０２および２０２）からオブジェクト情報および更新されたオブジェクト情報を受信する。他の例では、リモートレンダリングシステムが、同じシーンに寄与する複数のコンピューティングデバイスをサービスしてよい。例えば、リモートレンダリングシステムは、別々の拡張現実ディスプレイデバイスのユーザのためにシーングラフをレンダリングすることがあり、その場合、各ユーザは、同じシーングラフに更新を寄与することがある。より具体的な例において、リモートレンダリングシステムは、シーン内の各ユーザの位置に基づいて、各ユーザについての異なる視点からシーン内の同じオブジェクトをレンダリングすることがある。更に、幾つかの例において、複数のネットワークアクセス可能なクラウドサーバは協調してシーンをレンダリングすることがある。

本明細書に記載するハイブリッドレンダリングシステム２００は、適切に高いフレームレートで、多数の個々のオブジェクトを含む高ポリゴンシーン（例えば、コンピュータ支援設計モデル、構造／製造文書など）をレンダリングするのに役立つことがある。対照的に、ハイブリッドレンダリングをサポートしないローカルレンダリングエンジンは、そのような用途についての適切に高いフレームレートでレンダリングされ得ないことがある。図２には別個のコンピューティングシステムとして示されているが、幾つかのインスタンスでは、コンピューティングデバイス２０２自体が、リモートレンダリングシステム２０４を実行する（例えば、異なるプロセスにおいて同じシステム上で作動する）こともある。幾つかのそのような場合、本明細書に記載するハイブリッドレンダリングの例は、独立した位相およびフレームレートで作動する多くの３Ｄアプリケーションを合成することのように、コンピューティングデバイス２０２上で制定されるローカルシナリオのために使用されてよい。

幾つかのインスタンスにおいて、デジタルコンテンツは、レンダリングパイプラインに入る前にレンダリングのために準備されてよい。図３は、ハイブリッドレンダリングのためのデジタルコンテンツの準備を助けることがある、リモートレンダリングサービスによって任意に実行される例示的な方法３００を示している。幾つかの例において、方法３００は、システム２００のようなハイブリッドレンダリングシステムの処理デバイスによって実行可能な格納された命令として実装されてよい。

３０２で、方法３００は、ファイル処理を開始することを含む。幾つかの例において、クライアントデバイス（例えば、コンピューティングデバイス１０２および／または２０２）は、（例えば、モデル、材料などのような、個々のファイルを含むジップされたアーカイブとしての）アセット(資産)を、上述のようなシーングラフＡＰＩを通じてクラウド記憶場所にアップロードしてよい。幾つかの例において、これはシーングラフＡＰＩ上に構築されたウェブサイトを介して実行されてよい。他の例では、コンピューティングデバイスが、ファイル処理をローカルに開始してよい。

３０４で、方法３００は、キャッシュされたバージョンのファイルがリモートレンダリングサービスに利用可能かどうかを決定することによって、ステップ３０２でアップロードされたファイルが新しいファイルであるかどうかを決定することを含む。ファイルのキャッシュ化されたバージョンが利用可能であるならば、方法３００は３２０に進む。ファイルのキャッシュ化されたバージョンが利用可能でないならば、方法３００は３０６に進み、３０６で、リモートレンダリングサービスは、ファイルがレンダリングエンジン（例えば、図２のレンダリングエンジン２１８）によって読み取り可能なネイティブファイルフォーマットを含むかどうかを決定する。ファイルのフォーマットがネイティブファイルフォーマットであるならば、方法３００は３１４に進み、３１４で、リモートレンダリングサービスは、ファイルをクラウド記憶場所にアップロードする。

リモートレンダリングサービスが、３０６で、ファイルのフォーマットがネイティブファイルフォーマットと異なると決定するならば、方法３００は３０８に進み、３０８で、ファイルは、クラウド記憶場所にアップロードされる。３１０で、方法３００は、格納されたファイルのフォーマットをネイティブファイルフォーマットに変換することを含む。

３１２で、リモートレンダリングサービスは、ネイティブファイルフォーマットバージョンのファイルをネットワークアクセス可能な記憶場所に配置する。リモートレンダリングサービスは、３１６で、ネイティブファイルフォーマットにあるファイルを処理して、ネイティブファイルフォーマットをバイナリフォーマットのようなリモートレンダリングファイルフォーマットに変換する。３１８で、リモートレンダリングサービスは、リモートレンダリングファイルフォーマットバージョンのファイルを記憶装置内に配置し、アップロードされたコンテンツについての識別子（ＩＤ）（例えば、特異なモデルＩＤ）も返し、それはファイルが適切にアップロードされたことをクライアントデバイスに知らせることがある。

３２０で、クライアントアプリケーションが、レンダリングのための特定のモデルをロードするために（例えば、図２のＲＲクライアントライブラリ２１２を介して）ＡＰＩ呼出しを送信する。３２２で、リモートレンダリングＡＰＩ（図２のＲＲサーバライブラリ２１４）は、特定のモデルのために返されたＩＤを使用して、モデルをロードし、レンダリングパイプラインを開始する。

図４は、ハイブリッドレンダリングを実施するための例示的な方法４００を示している。方法４００は、コンピューティングデバイス１０２および／または２０２のような、クライアントコンピューティングデバイスの処理デバイスによって実行可能な格納された命令として実装されることがある。

４０２で、方法４００は、第１のローカルプロセスにおいて、レンダリングおよび表示のためにデジタルコンテンツを出力するアプリケーションを実行することを含む。アプリケーションの実行中に、方法４００は、リモートにレンダリングされるべき第１のオブジェクトを識別することと、ローカルにレンダリングされるべき第２のオブジェクトを識別することとを含んでもよい。例えば、コンピューティングデバイスは、アプリケーションのアプリケーション開発者によって作成された条件付きおよび／または絶対論理に基づいて、オブジェクトをローカルにレンダリングするのか或いはリモートにレンダリングするのかを識別することがある。

４０４で、方法４００は、第２のローカルまたはリモートプロセスに、第２のローカルまたはリモートプロセスによってレンダリングされるべきオブジェクトに関するオブジェクト情報を提供することを含む。オブジェクト情報を提供することは、４０６で示すように、オブジェクトの幾何学的形状と材料とを含む三次元モデル（例えば、高ポリゴンメッシュ、ボクセルベースモデルなど）を提供することを含むことがある。例えば、コンピューティングデバイスは、図３に記載するように、シーングラフＡＰＩを介してリモートレンダリングのためのモデルを提供することがある。オブジェクト情報を提供することは、４０８で示すように、デジタルレンダリングされたコンテンツについてのデータ構造を更新する要求を提供することを含みこともある。例えば、コンピューティングデバイスは、以前にアップロードされた特定のモデルのために、リモートシーングラフと対話するためにＡＰＩ呼出しを送信することがある。クライアントコンピューティングデバイスは、姿勢／注視データおよび／または決定された仮想カメラ位置のような、オブジェクトをレンダリングするためにリモートコンピューティングシステムによって使用可能な任意の他の適切な情報を提供することもある。幾つかの例において、オブジェクト情報を提供することは、４０９で示すように、オブジェクト情報をリモートコンピューティングシステム（例えば、リモートレンダリングシステム１１０、２０４）に提供することを含むことがある。他の例において、オブジェクト情報を提供することは、第１のローカルプロセスとは異なる第２のローカルプロセスにオブジェクト情報を提供することを含むことがある。

４１０で、方法４００は、第２のローカルまたはリモートプロセスから、オブジェクトのレンダリングを受信することを含む。幾つかの例において、オブジェクトのレンダリングを受信することは、４１２で示すように、カラーバッファを含むビデオデータを受信することを含む。そのようなビデオデータは、４１４として示すように、奥行きの表現（例えば、奥行きバッファまたは他の奥行きデータ）を含むこともある。更に、コンピューティングデバイスは、圧縮ビデオデータを受信することがあり、圧縮ビデオデータは、待ち時間を軽減するのに役立つことがある。他の例において、オブジェクトのレンダリングを受信することは、第２のローカルまたはリモートプロセスから任意の他の適切なデータを受信することを含むことがある。

４１６で、方法４００は、例えば、（それぞれ４１２および４１４で）受信したカラーバッファおよび／または奥行きバッファを再投影することによって、オブジェクトのレンダリングを再投影することを含むことがある。オブジェクトのレンダリングを再投影することは、待ち時間に起因する画像の不安定性（例えば、ジッタ）を緩和するのに役立つことがある。

幾つかの例において、リモートにレンダリングされたオブジェクトは、第１のオブジェクトであり、コンピューティングデバイスは、１つ以上の他のオブジェクトをローカルにレンダリングするように構成される。より具体的な例において、コンピューティングデバイスは、グラフィカルユーザインターフェース要素、関節付き手、および／または任意の他の待ち時間に敏感なオブジェクトをローカルにレンダリングし、第１のオブジェクトをローカルにレンダリングされたコンテンツで補強するように構成されることがある。よって、４１８で、方法４００は、第２のオブジェクトをローカルにレンダリングして、第２のオブジェクトのレンダリングを生成することを含むことがある。第２のオブジェクトをローカルにレンダリングすることは、幾つかの例において、感知された或いは予測された頭の姿勢、眼の注視方向、および／または手の姿勢に基づいてレンダリングすることを含むことがある。

４２０で、方法４００は、合成フレームとして表示するために、第１のオブジェクトのレンダリングと第２のオブジェクトのレンダリングとを合成することを含む。幾つかの例において、合成することは、第１のオブジェクトの奥行きバッファと第２のオブジェクトの奥行きバッファとに対して奥行きテストを実行することと、４２２で示すように、奥行きテストに基づいて第１のオブジェクトのレンダリングと第２のオブジェクトのレンダリングとを合成することとを含む。他の例において、合成することは、第１のオブジェクトのレンダリングの上に第２のオブジェクトのレンダリングを重ね合わせ、それによって、リモートにレンダリングされたコンテンツをローカルにレンダリングされたコンテンツで補強することを含む。より具体的な例において、第２のオブジェクトは、ユーザインターフェース要素を含むことがあり、合成することは、ユーザインターフェース要素を第１のオブジェクトのレンダリングの上に重ね合わせることを含むことがある。

４２４で、方法４００は、合成フレームのカラーバッファおよび任意的な奥行きバッファを再投影することを含むことがあり、それは合成フレームの表示を更に安定化させるのに役立つことがある。コンピューティングデバイスは、奥行き情報、リモートコンピューティングシステムから受信したビデオデータにおいて符号化された動きベクトル、またはコンピューティングデバイス２０２上に存在する１つ以上の動きセンサからの動きセンサデータのような、任意の適切な情報に基づいて、そのような再投影を実行することがある。４２６で、方法４００は、オブジェクトのレンダリングをディスプレイに出力して、オブジェクトを表示することを含む。

４２８で、方法４００は、リモートにレンダリングされた表示されたオブジェクトに対して行われた操作を受信することを含む。幾つかの例において、操作を受信することは、４３０で示すように、コンピューティングデバイスのユーザの頭の姿勢および／または眼の注視方向の変化または予測される変化を示す（未加工のおよび／または処理済みの）センサデータの入力を受信することを含むことがある。他の例において、操作を受信することは、４３２で示すように、ユーザ入力を受け取ることを含むことがある。オブジェクトを操作するのに適したユーザ入力の例は、ジェスチャ入力、発話入力、およびボタン押下げを含む。更に他の例において、表示されたオブジェクトに対して行われた操作の受信は、表示されたオブジェクトに関連するアニメーションからのような、ユーザ入力またはセンサ以外の他のソースから生じることがある。

４３４で、方法４００は、オブジェクトに対して行われた操作に基づいて、第２のローカルまたはリモートプロセスに、更新されたオブジェクト情報を提供することを含む。応答して、第２のローカルまたはリモートプロセスは、受信した更新されたオブジェクト情報に基づいてオブジェクトをレンダリングし、オブジェクトの更新されたレンダリングをコンピューティングデバイスに提供する。よって、方法４００は、４３６で、第２のローカルまたはリモートプロセスからオブジェクトの更新されたレンダリングを受信することを含む。４３８で、方法４００は、オブジェクトを表示するために、オブジェクトの更新されたレンダリングをディスプレイに出力することを含む。リモートにレンダリングされた第１のオブジェクトおよびローカルにレンダリングされた第２のオブジェクトのコンテキストで記載されているが、レンダリングされたシーンは、複数のリモートにレンダリングされたオブジェクトおよび／または本明細書に開示する例に従って処理および合成される複数のローカルにレンダリングされたオブジェクトを含んでよいことが理解されるであろう。

図５は、クライアントコンピューティングデバイスから受信した情報に基づいてオブジェクトをレンダリングする例示的な方法５００を示している。方法５００は、リモートレンダリングシステム１１０および／または２０４のようなコンピュータシステムの処理デバイスによって実行可能な格納された命令として、またはレンダリングされるべきオブジェクトを提供するプロセスとは独立して作動するローカルプロセスとして実装されることがある。

５０２で、方法５００は、コンピューティングデバイスから、レンダリングされるべきオブジェクトに関するオブジェクト情報を受信することを含む。幾つかの例において、オブジェクト情報を受信することは、５０４で示すように、オブジェクトを含むデジタルモデルをロードする要求を受信することを含むことがある。他の例において、オブジェクト情報を受信することは、リモートＡＰＩ呼出しを受信して、オブジェクトのために従前にアップロードされたデータ構造を更新することを含むことがある。

受信したオブジェクト情報に基づいて、方法５００は、５０６で、オブジェクトをレンダリングすることを含む。オブジェクトをレンダリングすることは、任意の適切なレンダリングパイプラインを使用して実行されることがある。５０８で示すように、オブジェクトをレンダリングすることは、デジタルモデルについてのシーングラフに格納された情報に基づいてレンダリングすることを含むことがあり、ここで、オブジェクトは、シーングラフのノードである。

５１０で、方法５００は、コンピューティングデバイスに、オブジェクトのレンダリングを提供することを含む。オブジェクトのレンダリングを提供することは、５１２で示すように、少なくともカラーバッファを含むビデオデータを提供することを含むことがある。より具体的な例において、ビデオデータは、カラーバッファと、奥行きの表現（例えば、奥行きバッファ）とを含むことがある。更に、幾つかの例では、５１４で示すように、ビデオデータは、圧縮されることがある。

５１６で、方法５００は、コンピューティングデバイスから、オブジェクトに対して行われた操作に関する更新されたオブジェクト情報を受信することを含む。更新されたオブジェクト情報を受信することは、５１８で示すように、コンピューティングデバイスのユーザの姿勢／注視を示す（未加工のおよび／または処理済みの）センサデータを受信することを含むことがある。ユーザの姿勢／注視を示す情報は、幾つかの例において、クライアントコンピューティングデバイスによって決定される仮想カメラ位置を含んでよい。更新されたオブジェクト情報を受信することは、追加的にまたは代替的に、ジェスチャ入力、発話入力、および／またはボタン押下げのような、オブジェクトを操作するためのユーザ入力に関する情報を受信することを含むことがある。そのようなインスタンスにおいて、ユーザ入力は、未加工のまたは処理済みの形式で（例えば、受信したユーザ入力に基づいてシーングラフに行われる変更の仕様として）送信されることがある。他の例では、オブジェクトに関連するアニメーションに関する情報のような、任意の他の適切な情報が受信されることがある。

方法５００は、５２０で、受信した更新されたオブジェクト情報に基づいてオブジェクトをレンダリングすることを更に含む。更新されたオブジェクト情報がコンピューティングデバイスのユーザの姿勢／注視に基づくとき、オブジェクトをレンダリングすることは、５２２で示すように、姿勢および／または注視に基づいてレンダリングすることを含むことがある。例えば、リモートコンピューティングシステムは、受信した決定された仮想カメラ位置に基づいてオブジェクトをレンダリングすることがある。更新されたオブジェクト情報がコンピューティングデバイスへのユーザ入力に基づくとき、オブジェクトをレンダリングすることは、ユーザ入力に基づくレンダリングを含むことがある。他の例において、リモートコンピューティングシステムは、受信した任意の他の情報に基づいてオブジェクトをレンダリングすることを含むことがある。５２４で、方法５００は、コンピューティングデバイスに、オブジェクトの更新されたレンダリングを提供することを含む。

幾つかの例において、本明細書に記載する方法およびプロセスは、１つ以上のコンピューティングデバイスのコンピューティングシステムと結び付けられることがある。特に、そのような方法およびプロセスは、コンピュータ－アプリケーションプログラムまたはサービス、アプリケーション－プログラミングインターフェース（ＡＰＩ）、ライブラリ、および／または他のコンピュータ－プログラム製品として実装されることがある。

図６は、上述した方法およびプロセスのうちの１つ以上を実施することができるコンピューティングシステム６００の非限定的な実施形態を図式的に示している。コンピューティングシステム６００は、簡略化された形態で示されている。コンピューティングシステム６００は、１つ以上のパーソナルコンピュータ、サーバコンピュータ、タブレットコンピュータ、家庭娯楽コンピュータ、ネットワークコンピューティングデバイス、ゲームデバイス、モバイルコンピューティングデバイス（例えば、ヘッドマウントディスプレイデバイス）、モバイル通信デバイス（例えば、スマートフォン）、および／または他のコンピューティングデバイスの形態を取ることがある。

コンピューティングシステム６００は、論理(ロジック)マシン６０２と、記憶マシン６０４とを含む。コンピューティングシステム６００は、任意的に、ディスプレイサブシステム６０６、入力サブシステム６０８、通信サブシステム６１０、および／または図６に示されていない他のコンポーネントを含むことがある。

論理マシン６０２は、命令を実行するように構成された１つ以上の物理デバイスを含む。例えば、論理マシンは、１つ以上のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、または他の論理構造の一部である命令を実行するように構成されることがある。そのような命令は、タスクを実行するために、データタイプを実装するために、１つ以上のコンポーネントの状態を変換するために、技術的効果を達成するために、或いは他の方法で所望の結果に到達するために実装されることがある。

論理マシン６０２は、ソフトウェア命令を実行するように構成された１つ以上のプロセッサを含んでよい。追加的にまたは代替的に、論理マシンは、ハードウェアまたはファームウェア命令を実行するように構成された１つ以上のハードウェアまたはファームウェア論理マシンを含んでよい。そのようなプロセッサは、様々な例において、１つ以上のＣＰＵおよび／またはＧＰＵとして実装されてよい。論理マシンのプロセッサは、シングルコアまたはマルチコアであってよく、その上で実行される命令は、逐次、並列、および／または分散処理のために構成されてよい。論理マシンの個々のコンポーネントは、任意に、２つ以上の別個のデバイス間に分散されてよく、これらのデバイスは、リモートに配置されてよく、および／または協調処理のために構成されてよい。論理マシンの態様は、クラウドコンピューティング構成内に構成されたリモートアクセス可能なネットワーク化されたコンピューティングデバイスによって仮想化されてよく、実行されてよい。

記憶マシン６０４は、本明細書に記載する方法およびプロセスを実施するために論理マシンによって実行可能な命令を保持するように構成される１つ以上の物理デバイスを含む。そのような方法およびプロセスが実装されるとき、記憶マシン６０４の状態は、例えば、異なるデータを保持するために、変換されることがある。

記憶マシン６０４は、取り外し可能および／または内蔵デバイスを含んでよい。記憶マシン６０４は、とりわけ、光メモリ（例えば、ＣＤ、ＤＶＤ、ＨＤ－ＤＶＤ、Ｂｌｕ－Ｒａｙ Ｄｉｓｃなど）、半導体メモリ（例えば、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなど）、および／または磁気メモリ（例えば、ハードディスクドライブ、フロッピーディスクドライブ、テープドライブ、ＭＲＡＭなど）を含んでよい。記憶マシン６０４は、揮発性、不揮発性、ダイナミック、スタティック、読み取り／書き込み、読み取り専用、ランダムアクセス、順次アクセス、位置アドレス指定可能、ファイルアドレス指定可能、および／またはコンテンツアドレス指定可能なデバイスを含むことがある。

記憶マシン６０４は、１つ以上の物理デバイスを含むことが理解されるであろう。しかしながら、本明細書に記載する命令の態様は、有限の持続時間に亘って物理デバイスによって保持されない通信媒体（例えば、電磁信号、光信号など）によって伝搬されてよい。

論理マシン６０２および記憶マシン６０４の態様は、一緒に１つ以上のハードウェア論理コンポーネントに統合されてよい。そのようなハードウェア－論理コンポーネントは、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラムおよび特定用途向け集積回路（ＰＡＳＩＣ／ＡＳＩＣ）、プログラムおよび特定用途向け標準製品（ＰＳＳＰ／ＡＳＳＰ）、システム・オン・チップ（ＳＯＣ）、および複雑なプログラマブル論理デバイスを含むことがある。

「プログラム(program)」および「エンジン(engine)」という用語は、特定の機能を実行するために実装されるコンピューティングシステム６００の態様を記載するために使用されることがある。幾つかの場合において、プログラムまたはエンジンは、記憶マシン６０４によって保持された命令を実行する論理マシン６０２を介してインスタンス化されることがある。異なるプログラムおよび／またはエンジンが、同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、機能などからインスタンス化される場合があることが理解されるであろう。同様に、同じプログラムおよび／またはエンジンが、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、ＡＰＩ、機能などによってインスタンス化されることがある。「プログラム」および「エンジン」という用語は、個々または一群の実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベース記録などを含むことがある。

本明細書で使用するとき、「サービス(service)」は、複数のユーザセッションに亘って実行可能なアプリケーションプログラムであることが理解されるであろう。サービスは、１つ以上のシステムコンポーネント、プログラム、および／または他のサービスに利用可能であることがある。幾つかの実装では、サービスが１つ以上のサーバコンピューティングデバイス上で作動することがある。

ディスプレイサブシステム６０６を含むとき、ディスプレイサブシステム６０６は、記憶マシン６０４によって保持されるデータの視覚的表現を提示するために使用されてよい。この視覚的表現は、グラフィカルユーザインターフェース（ＧＵＩ）の形態を取ることがある。本明細書に記載する方法およびプロセスが記憶マシンによって保持されるデータを変更し、従って、記憶マシンの状態を変換するとき、ディスプレイサブシステム６０６の状態は、同様に、基礎となるデータの変化を視覚的に表すように変換されることがある。ディスプレイサブシステム６０６は、実質的にあらゆるタイプの技術を利用する１つ以上のディスプレイデバイスを含んでよい。そのようなディスプレイデバイスは、共有筐体(エンクロージャ)内の論理マシン６０２および／または記憶マシン６０４と組み合わせられてよく、或いは、そのようなディスプレイデバイスは、周辺ディスプレイデバイスであってよい。

入力サブシステム６０８を含むとき、入力サブシステム６０８は、キーボード、マウス、タッチスクリーン、またはゲームコントローラのような１つ以上のユーザ入力デバイスを含むことがあり、或いはそれらとインターフェース接続することがある。幾つかの実施形態において、入力サブシステムは、選択された自然ユーザ入力（ＮＵＩ）構成要素(componentry)を含むことがあり、或いはそれとインターフェース接続することがある。そのような構成要素は、統合されることがあり、或いは周辺的なものであることがあり、入力行為のトランスダクションおよび／または処理は、オンボードまたはオフボードで処理されることがある。例示的なＮＵＩ構成要素は、発話および／または音声認識のためのマイクロホン、機械視覚および／またはジェスチャ認識のための赤外線、カラー、立体視、および／または奥行きカメラ、運動検出および／または意図認識のためのヘッドトラッカ、アイトラッカ、加速度計、および／またはジャイロスコープ、ならびに脳活動を評価するための電界感知構成要素を含むことがある。

通信サブシステム６１０を含むとき、通信サブシステム６１０は、コンピューティングシステム６００を１つ以上の他のコンピューティングデバイスと通信的に結合するように構成されることがある。通信サブシステム６１０は、１つ以上の異なる通信プロトコルと互換性のある有線および／または無線通信デバイスを含むことがある。非限定的な例として、通信サブシステムは、無線電話ネットワーク、有線または無線のローカルまたはワイドエリアネットワークを介して通信するように構成されることがある。幾つかの実施形態において、通信サブシステムは、コンピューティングシステム６００が、インターネットのようなネットワークを介して、他のデバイスにメッセージを送信し且つ／或いは他のデバイスからメッセージを受信することを可能にすることがある。

別の例は、処理デバイスと、第１のローカルプロセスにおいて、アプリケーションを処理するために、処理デバイスによって実行可能な命令を格納する記憶マシンとを含み、アプリケーションは、アプリケーションの実行中に、レンダリングおよび表示のためにデジタルコンテンツを出力し、第２のローカルまたはリモートプロセスに、第２のローカルまたはリモートプロセスによってレンダリングされるべきオブジェクトに関するオブジェクト情報を提供し、第２のローカルまたはリモートプロセスから、オブジェクトのレンダリングを受信し、オブジェクトを表示するためにオブジェクトのレンダリングをディスプレイに出力し、オブジェクトに対してなされた操作を受信し、オブジェクトに対してなされた操作に基づく更新されたオブジェクト情報を第２のローカルまたはリモートプロセスに提供し、第２のローカルまたはリモートプロセスから、オブジェクトの更新されたレンダリングを受信し、オブジェクトを表示するためにオブジェクトの更新されたレンダリングをディスプレイに出力する、コンピューティングデバイスを提供する。そのような例において、命令は、追加的にまたは代替的に、オブジェクトの幾何学的構成を含む三次元モデルを提供することによってオブジェクト情報を提供するように実行可能であってよい。そのような例において、命令は、追加的にまたは代替的にデジタルレンダリングされたコンテンツのためのデータ構造を更新する要求を提供することによってオブジェクト情報を提供するように実行可能であってよい。そのような例において、オブジェクトのレンダリングは、追加的にまたは代替的に、カラーバッファを含むビデオデータを含んでよい。そのような例において、ビデオデータは、追加的にまたは代替的に、奥行きの表現を含んでよい。そのような例において、オブジェクトは、追加的にまたは代替的に、第１のオブジェクトを含むことがあり、命令は、追加的にまたは代替的に、第２のオブジェクトのレンダリングを生成するために第２のオブジェクトをローカルにレンダリングし、合成フレームとして表示するために第１のオブジェクトのレンダリングと第２のオブジェクトのレンダリングとを合成するように実行可能であることがある。そのような例において、第２のローカルまたはリモートプロセスから受信したオブジェクトのレンダリングは、追加的にまたは代替的に、第１のカラーバッファを含んでよく、命令は、追加的にまたは代替的に、第１のオブジェクトのレンダリングと第２のオブジェクトのレンダリングとを合成する前に、第１のカラーバッファの再投影を実行するように実行可能であってよい。そのような例において、命令は、追加的にまたは代替的に、第１のオブジェクトのレンダリングと第２のオブジェクトのレンダリングとを合成した後に、合成フレームのカラーバッファの再投影を実行するように実行可能であってよい。そのような例において、第２のローカルまたはリモートプロセスから受信した第１のオブジェクトのレンダリングは、追加的にまたは代替的に、第１の奥行きデータを含んでよく、第２のオブジェクトのレンダリングは、追加的にまたは代替的に、第２の奥行きデータを含んでもよく、命令は、追加的にまたは代替的に、第１の奥行きデータおよび第２の奥行きデータに対してｚ試験を実施し、ｚ試験に基づいて第１のオブジェクトと第２のオブジェクトとを合成することによって、第１のオブジェクトのレンダリングと第２のオブジェクトのレンダリングとを合成するように実行可能であってよい。そのような例において、命令は、追加的にまたは代替的に、頭の姿勢および／または眼の注視方向の変化を示すセンサデータを受信することによって、および／またはオブジェクトを操作するためのユーザ入力を受信することによって、オブジェクトになされた操作を受信するように実行可能であってよい。

別の例は、処理デバイスと、命令を格納する記憶デバイスとを含み、命令は、受信するオブジェクト情報に基づいてレンダリングされるべきオブジェクトに関するオブジェクト情報をコンピューティングデバイスから受信し、オブジェクトのレンダリングし、オブジェクトのレンダリングをコンピューティングデバイスに提供し、オブジェクトになされた操作に関する更新されたオブジェクト情報をコンピューティングデバイスから受信し、オブジェクトになされた操作に関して受信した更新されたオブジェクト情報に基づいてオブジェクトをレンダリングし、オブジェクトの更新されたレンダリングをコンピューティングデバイスに提供するように、処理デバイスによって実行可能である、コンピューティングシステムを提供する。このような例において、命令は、追加的にまたは代替的に、カラーバッファと奥行きバッファとを含むビデオデータを提供することによって、オブジェクトのレンダリングをコンピューティングデバイスに提供するように、実行可能であってよい。そのような例において、命令は、追加的にまたは代替的に、ビデオデータを圧縮し、圧縮されたビデオデータをコンピューティングデバイスに提供するように、実行可能であってよい。そのような例において、オブジェクト情報は、追加的にまたは代替的に、オブジェクトを含むデジタルモデルをロードする要求を含んでよく、命令は、追加的にまたは代替的に、デジタルモデルのためのシーングラフに格納される情報に基づいてオブジェクトをレンダリングするように、実行可能であってよい。そのような例において、命令は、追加的にまたは代替的に、コンピューティングデバイスのユーザの姿勢を示すセンサデータを受信することによって、更新されたオブジェクト情報を受信するように、実行可能であってよく、命令は、追加的にまたは代替的に、ユーザの姿勢に基づいてオブジェクトをレンダリングするように、実行可能であってよい。

別の例は、コンピューティングデバイスで行われる方法を提供し、方法は、レンダリングおよび表示のためのデジタルコンテンツを出力するアプリケーションを実行することと、アプリケーションの実行中に、リモートにレンダリングされるべきデジタルコンテンツの第１のオブジェクトを識別することと、ローカルにレンダリングされるべきデジタルコンテンツの第２のオブジェクトも識別することと、リモートコンピューティングシステムによってレンダリングされるべき第１のオブジェクトに関するオブジェクト情報をリモートコンピューティングシステムに提供することと、第１のオブジェクトのレンダリングをリモートコンピューティングシステムから受信することと、第２のオブジェクトのレンダリングを生成するために第２のオブジェクトをローカルにレンダリングすることと、合成フレームとして表示するために第１のオブジェクトのレンダリングと第２のオブジェクトのレンダリングとを合成することとを含む。そのような例において、第１のオブジェクトのレンダリングは、追加的にまたは代替的に、第１のカラーバッファと、第１の奥行きバッファとを含んでよく、方法は、追加的にまたは代替的に、第１のオブジェクトのレンダリングと第２のオブジェクトのレンダリングとを合成する前に、少なくとも第１のカラーバッファの再投影を実行することを含んでよい。そのような例において、方法は、追加的にまたは代替的に、第１のオブジェクトのレンダリングと第２のオブジェクトのレンダリングとを合成した後に、再投影を実行することを含んでよい。そのような例において、再投影を実行することは、追加的にまたは代替的に、ユーザの頭の姿勢に基づいて再投影を実行することを含んでよい。そのような例において、第１のオブジェクトのレンダリングは、追加的にまたは代替的に、第１の奥行きデータを含んでよく、第２のオブジェクトのレンダリングは、追加的にまたは代替的に、第２の奥行きデータを含んでよく、方法は、追加的にまたは代替的に、第１の奥行きデータおよび第２の奥行きデータに対して奥行き試験を実行することと、奥行き試験に基づいて第１のオブジェクトのレンダリングと第２のオブジェクトのレンダリングとを合成することとを含んでよい。

本明細書に記載する構成および／またはアプローチは、本質的に例示的なものであること、ならびにこれらの特定の実施形態または例は、限定的な意味で考えられるべきではないことが理解されるであろう。何故ならば、多くのバリエーションが可能であるからである。本明細書に記載する特定のルーチンまたは方法は、任意の数の処理戦略のうちの１つ以上を表すことがある。よって、図示および／または記載の様々な行為は、図示および／または記載のシーケンスにおいて、他のシーケンスにおいて、平行して実行されることがあり、或いは省略されることがある。同様に、上述した処理の順序も変更されることがある。

本開示の主題は、様々なプロセス、システムおよび構成、ならびに本明細書に開示する他の構成、機能、行為、および／または特性、ならびにそれらのありとあらゆる均等物の、全ての新規且つ非自明の組み合わせおよびサブ組み合わせを含む。

Claims (15)

1. 処理デバイスと、
   命令を格納する記憶デバイスと、を含み、
   前記命令は、
   第1のローカルプロセスにおいて、レンダリングおよび表示するデジタルコンテンツを出力するアプリケーションを実行し、
   前記アプリケーションの実行中に、第２のローカルまたはリモートコンピューティングシステムプロセスによってレンダリングされるべきオブジェクトに関するオブジェクト情報を前記第２のローカルまたはリモートコンピューティングシステムプロセスに提供し、
   前記オブジェクトのレンダリングを前記第２のローカルまたはリモートコンピューティングシステムプロセスから受信し、
   前記オブジェクトの前記レンダリングをディスプレイに出力して前記オブジェクトを表示し、
   前記オブジェクトになされた操作を受信し、
   前記オブジェクトになされた前記操作に基づいて更新されたオブジェクト情報を前記第２のローカルまたはリモートコンピューティングシステムプロセスに提供し、
   前記オブジェクトの更新されたレンダリングを前記第２のローカルまたはリモートコンピューティングシステムプロセスから受信し、
   前記オブジェクトの前記更新されたレンダリングを前記ディスプレイに出力して、前記オブジェクトを表示する
   ように、前記処理デバイスによって実行可能である、
   コンピューティングデバイス。
2. 前記オブジェクトは、第１のオブジェクトであり、
   前記命令は、
   第２のオブジェクトをローカルにレンダリングして前記第２のオブジェクトのレンダリングを生成し、
   合成フレームとしての表示する前記第１のオブジェクトの前記レンダリングと前記第２のオブジェクトの前記レンダリングとを合成する
   ように、更に実行可能である、
   請求項１に記載のコンピューティングデバイス。
3. 前記第２のローカルまたはリモートコンピューティングシステムプロセスから受信した前記オブジェクトの前記レンダリングは、第１のカラーバッファを含み、前記命令は、前記第１のオブジェクトの前記レンダリングと前記第２のオブジェクトの前記レンダリングとを合成する前に、前記第１のカラーバッファの再投影を行うように、更に実行可能である、請求項２に記載のコンピューティングデバイス。
4. 前記命令は、前記第１のオブジェクトの前記レンダリングと前記第２のオブジェクトの前記レンダリングとを合成した後に、前記合成フレームのカラーバッファの再投影を行うように、更に実行可能である、請求項２に記載のコンピューティングデバイス。
5. 前記第２のローカルまたはリモートコンピューティングシステムプロセスから受信した前記第１のオブジェクトの前記レンダリングは、第１の奥行きデータを含み、前記第２のオブジェクトの前記レンダリングは、第２の奥行きデータを含み、前記命令は、前記第１の奥行きデータおよび前記第２の奥行きデータに対してｚ試験を行い、該ｚ試験に基づいて前記第１のオブジェクトと前記第２のオブジェクトとを合成することによって、前記第１のオブジェクトの前記レンダリングと前記第２のオブジェクトの前記レンダリングとを合成するように、実行可能である、請求項２に記載のコンピューティングデバイス。
6. 前記命令は、前記オブジェクトの幾何学的形状を含む三次元モデルを提供することによって、前記オブジェクト情報を提供するように、実行可能である、請求項１に記載のコンピューティングデバイス。
7. 前記命令は、デジタルにレンダリングされたコンテンツのためのデータ構造を更新する要求を提供することによって、前記オブジェクト情報を提供するように、実行可能である、請求項１に記載のコンピューティングデバイス。
8. 前記オブジェクトの前記レンダリングは、カラーバッファを含むビデオデータを含む、請求項１に記載のコンピューティングデバイス。
9. 前記ビデオデータは、奥行きの表現を更に含む、請求項８に記載のコンピューティングデバイス。
10. 前記命令は、頭の姿勢および／または眼の注視方向の変化を示す第２のセンサデータを受信することによって、および／または前記オブジェクトを操作するユーザ入力を受信することによって、前記オブジェクトになされた前記操作を受信するように、更に実行可能である、請求項１に記載のコンピューティングデバイス。
11. コンピューティングデバイスで行われる方法であって、
    レンダリングおよび表示するデジタルコンテンツを出力するアプリケーションを実行することと、
    前記アプリケーションの実行中に、
    リモートにレンダリングされるべき前記デジタルコンテンツの第１のオブジェクトを識別すること、及びローカルにレンダリングされるべき前記デジタルコンテンツの第２のオブジェクトも識別することと、
    リモートコンピューティングシステムによってレンダリングされるべき前記第１のオブジェクトに関するオブジェクト情報を前記リモートコンピューティングシステムに提供することと、
    前記第１のオブジェクトのレンダリングを前記リモートコンピューティングシステムから受信することと、
    前記第２のオブジェクトをローカルにレンダリングして前記第２のオブジェクトのレンダリングを生成することと、
    合成フレームとして表示する前記第１のオブジェクトの前記レンダリングと前記第２のオブジェクトの前記レンダリングとを合成することと、を含む、
    方法。
12. 前記第１のオブジェクトの前記レンダリングは、第１のカラーバッファと、第１の奥行きバッファとを含み、当該方法は、前記第１のオブジェクトの前記レンダリングと前記第２のオブジェクトの前記レンダリングとを合成する前に、少なくとも前記第１のカラーバッファの再投影を行うことを更に含む、請求項１１に記載の方法。
13. 前記第１のオブジェクトの前記レンダリングと前記第２のオブジェクトの前記レンダリングとを合成した後に、再投影を行うことを更に含む、請求項１１に記載の方法。
14. 前記再投影を行うことは、ユーザの頭の姿勢に基づいて前記再投影を行うことを含む、請求項１２に記載の方法。
15. 前記第１のオブジェクトの前記レンダリングは、第１の奥行きデータを含み、前記第２のオブジェクトの前記レンダリングは、第２の奥行きデータを含み、当該方法は、
    前記第１の奥行きデータおよび前記第２の奥行きデータに対して奥行き試験を行うことと、
    前記奥行き試験に基づいて前記第１のオブジェクトの前記レンダリングと前記第２のオブジェクトの前記レンダリングとを合成することとを含む、
    請求項１１に記載の方法。
    

Images