JP2022189902A - グラフィック処理のためのアセット認識コンピューティングアーキテクチャ - Google Patents

Abstract

【課題】中央処理装置（ＣＰＵ）及びグラフィック処理装置（ＧＰＵ）を使用してビデオフレームを生成するコンピューティングシステムにより、ゲームを実行するための方法を提供する。【解決手段】ＣＰＵにより、ビデオフレームの描画呼び出しが生成される。ＣＰＵによりＧＰＵ ＡＰＩを使用してＧＰＵコマンドを書き込む時に、アセット認識データ（ＡＡＤ）がコマンドバッファに書き込まれ、アセットからシステムメモリへの１つ以上の詳細度（ＬＯＤ）データのロードが要求される。ＧＰＵは、システムメモリへ書き込まれたＬＯＤデータを使用して、フレームの描画呼び出しを実行し、ＧＰＵは、ＡＡＤに基づいて少なくとも最小限のＬＯＤデータを使用する。さらに、ＧＰＵは、まだロードが終わっていないＬＯＤへのアクセスを避けるために、描画呼び出しを実行する時にＬＯＤロード状態に関する情報を使用する。【選択図】図２

Description

本開示は、コンピューティングシステムアーキテクチャに関し、より具体的には、ゲームまたは他のインタラクティブアプリケーションのビデオフレームを生成する時にアセットを認識する中央処理装置及びグラフィック処理装置を含むアセット認識コンポーネントを有するコンピューティングシステムアーキテクチャに関する。

ビデオゲームは、仮想化されたゲーム世界でのゲームプレイを提供する。対応するゲームを実行することにより、ゲーム世界の様々なシーンが作成され得る。シーンは、テクスチャ及びモデルなどの様々な種類のアセットを使用して生成され得る。これらのアセットは、シーンを生成するためにグラフィックプロセッサにより使用される。アセットは大きすぎて、全て同時にシステムメモリに収容できないため、アセットは通常、光学式メディア、ハードドライブ、またはソリッドステートデバイスに格納され、必要に応じてシステムメモリにロードされる。その結果、ユーザは、アセットロード時に長い遅延を経験する可能性があり、システムメモリへのアセットのロードを管理すること、及びさらなるアセットを受け取るためにシステムメモリを解放することは、ゲーム開発者にとって大きな負担となり得る。よって、ゲーム開発者は、ユーザの遅延及び必要なアセット管理を軽減するために、シーンの複雑さを削減できるものの、結果的に、プレーヤが得る臨場感体験も低下する。

本開示の実施形態は、このような背景においてなされたものである。

本開示の実施形態は、グラフィックスパイプラインを介してテクスチャ、モデル、または他のアセットを処理する時にアセット認識を行うように構成された中央処理装置及びグラフィック処理装置を含むコンピューティングシステムアーキテクチャ、並びにこれを実施するための方法に関する。アセット認識は、グラフィックスパイプラインにおいて、処理に必要なアセットの識別、及び使用するアセットのロードの追跡を提供する。また、アセット認識により、グラフィックスパイプラインを介した処理のために最小限のアセット（例えばより低いＬＯＤ）のロードが完了した時を知ることができ、これにより、特に仮想化されたゲーム世界のシーン間を遷移する時に、グラフィックスパイプラインのあらゆるストールの影響が軽減される。

本開示の実施形態は、グラフィックスパイプラインがアセットを必要とする時にシステムメモリへのアセットのロードを管理し、アセットが必要なくなった時にシステムメモリの解放を管理するように構成されたアセット認識コンピューティングアーキテクチャを開示する。コンピューティングアーキテクチャは、高速アクセスを提供するメモリデバイスで構成されたアセットストアを含み、これにより、ビデオフレームに描画されるシーンのアセットを、システムメモリに数ミリ秒または数十ミリ秒でロードすることが可能となる。具体的には、バインド時トリガーを使用して、アセットは、アセットストアからシステムメモリにロードされる。
このようにして、ビデオフレームのレンダリングに使用される１つ以上の描画呼び出しのアセットのロードは、対応する描画呼び出しにアセットがバインドされる時に（例えばバインド時に）、及びゲームを実行する中央処理装置（ＣＰＵ）がグラフィックスアプリケーションプログラミングインターフェース（ＡＰＩ）を使用して、グラフィックスパイプラインを実施するグラフィック処理装置（ＧＰＵ）により実行される描画呼び出しの１つ以上のコマンドバッファを構築する時に、トリガーされる。
コンピューティングアーキテクチャはアセットを認識するため、ＧＰＵは、ビデオフレームの１つ以上の描画呼び出しに必要な最小限のアセットを使用して、必要なアセットが完全にロードされるのを待たずに、実行可能である。アセットストアコントローラは、アセットストア内のアセットの管理と、アセット認識コンピューティングアーキテクチャ全体におけるアセットの配信とを、制御するように構成される。
一実施形態では、アセットストアコントローラは、他のオンチップユニットからの支援を受けてＣＰＵ上で実行されるソフトウェアであり得る。あるいは、アセットストアコントローラは、追加のＣＰＵなどのコプロセッサを含むオンチップコンプレックスであり得る。ＣＰＵ及びＧＰＵの両者は、アセットストアコントローラとの統合及び／またはインターフェースのために、変更され得る。
アセットストアは、ゲームのテクスチャ、モデル、及び他のデータを含む。アセットストアは、システムメモリよりもはるかに大きい。アセットストアは、アセット識別子（アセットＩＤ）を使用して識別される及び／またはタグ付けされたアセットを含むアセットストアのコンテンツ、並びにコンテンツ及び／またはアセットの詳細（例えば対応するアセットの詳細度）を認識する。
アセットストアは、例えば、アセットがローカルで生成された時、またはアセットがラック内の大容量ストレージからアクセスされた時、またはアセットがデータセンタ内からアクセスされた時、またはアセットがネットワーク経由で配信された時など、アセットを認識した様々な方法で更新される。従来、ＣＰＵ上で実行されるゲームは、ＧＰＵ ＡＰＩを使用して、１つ以上のアセット（例えばテクスチャ、詳細度－ＬＯＤ、モデルなど）を描画呼び出しにバインドすることにより、描画呼び出しがレンダリングするオブジェクトにアセットが使用されることを可能にする。
アセット認識コンピューティングアーキテクチャでは、ＧＰＵ ＡＰＩは、ＣＰＵ上で実行されるゲームから追加情報を受信する。例えば、描画呼び出しごとに、追加アセット認識データ（Asset Aware Data：ＡＡＤ）は、描画呼び出しに使用されるアセットのアセットＩＤと、グラフィックスパイプラインで描画呼び出しが実行され得る前にアセットのロードされるべき最小限ＬＯＤと、描画呼び出しが使用する他のアセットのロードと比較した場合のそのアセットのロードの優先度と、を含む。
ＧＰＵ ＡＰＩは、対応する描画呼び出しのコマンドバッファに、ＡＡＤの少なくとも一部（例えばアセットＩＤ、最小限ＬＯＤなど）を配置し、ＡＡＤの全てではなくとも少なくとも一部をアセットストアコントローラに渡すように構成される。さらに、ＧＰＵ ＡＰＩはまた、例えばコマンドをコマンドバッファに配置することにより、レンダリングの各ビデオフレームが完了した時をアセットストアコントローラに通知するように使用され得る。
よって、アセット認識アーキテクチャでは、アセットストアコントローラは、ビデオフレームに必要なアセットの少なくとも全てなどのＡＡＤストリームを優先度付け情報と共に、及びこれらのアセットなどを使用したレンダリングの終了の通知を、受信する。アセットストアコントローラは、ＡＡＤを受信すると、アセットストアからシステムメモリにアセットのロードを開始する。ロードプロセスは、ロード優先度を使用する。例えば、全てのテクスチャ及び／またはモデル及び／または他のアセットの「最小限ＬＯＤ」がロード可能であり、その後、アセットのロード優先度情報に基づいて、より高いＬＯＤのロードが実行され得る。
ロードが完了すると、ＧＰＵは、アセットのロードが完了したこと、またはアセットがロード中であり、どの程度ロードされたか（例えばアセットのどのＬＯＤのロードが完了したか）が通知される（例えばアセットＩＤを使用して）。いくつかの実施形態では、レンダリング（例えばグラフィックスパイプラインにおける対応する描画呼び出しの実行）が開始され、その描画呼び出しに必要なアセットのロードがまだ完了していない場合には、アセットの「緊急ロード」が存在し得る。
他の実施形態では、コマンドバッファ内の条件付きコマンドを使用して、ＬＯＤデータのロードステータスを照会し、コマンドフローを変更することができ、例えば、最小限ＬＯＤデータのロードが完了していない場合は描画呼び出しが完全にスキップされる（すなわちＧＰＵのストールが回避される）、またはプロキシアセットを使用してレンダリングが行われる、またはロードされたＬＯＤに基づいてカスタマイズされたレンダリングが可能となる。さらに他の実施形態では、ＧＰＵは、ＡＡＤを使用して、これらの同じ決定を行うことができ、例えば最小限ＬＯＤデータのロードが完了していない場合は、描画呼び出しが完全にスキップされる（すなわちＧＰＵのストールが回避される）。アセットストアコントローラはまた、フレームのレンダリング中にアセットが使用されなかった場合など、不要なメモリを解放するように構成されるため、そのアセットを格納しているメモリスペースは解放され得る。ＧＰＵは、アセットを認識するように変更され得る。例えば、オブジェクトがレンダリングされる時、ＧＰＵは、アセットの必要なＬＯＤのロードが完了したか否かを認識する。ＧＰＵは、必要なＬＯＤの「緊急ロード」要求を発行し、必要なＬＯＤがロードされるまでストールし得る。さらに、ＧＰＵは、特定のアセットに関して、メモリにロード済みの最も高いＬＯＤを認識し、その最も高いＬＯＤまでを使用するが、その最も高いＬＯＤを超えるＬＯＤは使用せずに、対応するビデオフレームをレンダリングする。システムメモリのロード及び解放の一環として、ページテーブル、ＣＰＵキャッシュ、及びＧＰＵキャッシュの操作が必要になり得、従って、アセットストアコントローラ、ＣＰＵ、及びＧＰＵは、これらの動作を加速するように構成され得る。このように、ＣＰＵ上で実行されるゲームの観点からすると、対応する描画呼び出しに必要なアセットは、使用される時に「魔法のように」システムメモリに現れる。すなわち、ゲームは、ＧＰＵ ＡＰＩを使用して描画呼び出しを行うだけでよく、必要なアセット（例えば最小限ＬＯＤ）は、グラフィックスパイプラインで使用される準備ができている。

一実施形態では、中央処理装置及びグラフィック処理装置を使用してビデオフレームを生成するコンピューティングシステムにより、ゲームを実行するための方法が開示される。方法は、ＣＰＵにより、ビデオフレームのうちの１つのビデオフレームの描画呼び出しを生成することを含む。方法は、バインド時に、描画呼び出しの１つ以上のコマンドをコマンドバッファに書き込むことを含む。方法は、ＧＰＵ ＡＰＩを使用して、バインド時に、描画呼び出しのアセット認識データ（ＡＡＤ）をコマンドバッファに書き込んで、バインド時に、アセットストアからコンピューティングシステムが使用するシステムメモリへ１つ以上の詳細度（Level Of Detail:ＬＯＤ）データのロードを開始することを含む。方法は、ＧＰＵにより、システムメモリへ書き込まれたＬＯＤデータを使用して、フレームの描画呼び出しを実行することを含み、ＧＰＵは、ＡＡＤに基づいて少なくとも最小限のＬＯＤデータを使用する。

他の実施形態では、ゲームを実行してビデオフレームを生成するコンピューティングシステムが開示される。コンピューティングシステムは、ゲームを実行するように構成された中央処理装置を含む。ＣＰＵは、ビデオフレームのうちの１つのフレームの描画呼び出しを生成し、描画呼び出しはコマンドを含む。コンピューティングシステムは、アセット認識データ及び描画呼び出しのコマンドを格納するように構成されたコマンドバッファを含み、ＡＡＤ及びコマンドは、ＣＰＵにより、バインド時にＧＰＵ ＡＰＩを使用してコマンドバッファに書き込まれる。
コンピューティングシステムは、アプリケーションの複数のアセットを格納するように構成されたアセットストアを含み、これは、描画呼び出しが使用するアセットの１つ以上の詳細度を含む。
コンピューティングシステムは、描画呼び出しが使用する１つ以上の詳細度データを格納するように構成されたシステムメモリを含み、アセットストアからのＬＯＤデータのロードは、バインド時にＣＰＵによりトリガーされ、ＬＯＤデータのシステムメモリへのロードは、ＡＡＤをコマンドバッファに書き込んでいる間に開始される。コンピューティングシステムは、システムメモリに書き込まれたＬＯＤデータを使用してフレームの描画呼び出しのコマンドを実行するように構成されたグラフィック処理装置を含み、ＧＰＵは、ＡＡＤに基づいて少なくとも最小限のＬＯＤデータを使用する。

さらに他の実施形態では、中央処理装置及びグラフィック処理装置を使用してビデオフレームを生成するコンピューティングシステムによりゲームを実行するためのコンピュータプログラムを格納する非一時的コンピュータ可読媒体が開示される。非一時的コンピュータ可読媒体は、ＣＰＵによりビデオフレームのうちの１つのビデオフレームの描画呼び出しを生成するためのプログラム命令を含む。
非一時的コンピュータ可読媒体は、バインド時に、描画呼び出しの１つ以上のコマンドをコマンドバッファに書き込むためのプログラム命令を含む。非一時的コンピュータ可読媒体は、バインド時に、ＧＰＵ ＡＰＩを使用して描画呼び出しのアセット認識データ（ＡＡＤ）をコマンドバッファへ書き込み、バインド時に、アセットストアからコンピューティングシステムが使用するシステムメモリへ１つ以上の詳細度（ＬＯＤ）データのロードを開始するためのプログラム命令を含む。非一時的コンピュータ可読媒体は、ＧＰＵにより、システムメモリへ書き込まれたＬＯＤデータを使用して、フレームの描画呼び出しを実行するためのプログラム命令を含み、ＧＰＵは、ＡＡＤに基づいて少なくとも最小限のＬＯＤデータを使用する。

本開示の他の態様は、本開示の原理の実施例として示される添付図面と併せて、下記の発明を実施するための形態から、明らかになるであろう。

本開示は、添付図面と併せて、以下の説明を参照することにより、最も良く理解されるであろう。

本開示の一実施形態による、ゲームを提供するためのシステムの図である。 本開示の一実施形態による、サポートサービスを提供するバックエンドクラウドゲームネットワークを有するゲームを提供するためのシステムの図である。 本開示の一実施形態による、クラウドゲームネットワーク経由でゲームを提供するためのシステムの図である。 本開示の一実施形態による、中央処理装置（ＣＰＵ）がゲームを実行している間にビデオフレームを生成する時にアセットを認識する中央処理装置及びグラフィック処理装置を含むコンピューティングシステムを示す。 本開示の一実施形態による、中央処理装置（ＣＰＵ）がゲームを実行している間にビデオフレームを生成する時にアセットを認識する中央処理装置及びグラフィック処理装置を含むコンピューティングシステムのレンダリングパイプラインを示す。 本開示の一実施形態による、中央処理装置（ＣＰＵ）がゲームを実行している間にビデオフレームを生成する時の、中央処理装置及びグラフィック処理装置を含むコンピューティングシステムによるアセット認識データの使用を示す。 本開示の一実施形態による、中央処理装置により実行されるゲームのビデオフレームを生成する時に使用される対応するアセットの詳細度データ、及びＬＯＤデータをロードしている間のロードクランプの実施の例示である。 本開示の一実施形態による、中央処理装置及びグラフィック処理装置を使用してビデオフレームを生成するコンピューティングシステムによるゲーム実行方法を示すフロー図である。 本開示の一実施形態による、ビデオフレームを生成するために対応する描画呼び出しを実行する時に、アセットのＬＯＤデータのロードステータスを考慮することを示すフロー図である。 本開示の様々な実施形態の態様を実行するために使用することができる例示的なデバイスのコンポーネントを示す。

以下の発明を実施するための形態は、例示目的で多数の具体的な詳細を含むが、当業者であれば、以下の詳細に対する多数の変形及び変更が本開示の範囲に含まれることを理解するであろう。従って、後述の本開示の態様は、発明を実施するための形態に続く特許請求の範囲の普遍性を損なうことなく、かつ特許請求の範囲に限定を課すことなく、明記される。

概して、本開示の様々な実施形態は、グラフィックスパイプラインを介してビデオフレームを生成する中央処理装置及びグラフィック処理装置などのアセット認識コンポーネントを含むコンピューティングシステムアーキテクチャ、及びこれを実施するための方法を説明する。ＣＰＵ及びＧＰＵによるアセット認識は、グラフィックスパイプラインで使用されるアセットの識別及び追跡を提供し、これにより、対応するビデオフレームを生成する時のグラフィックスパイプラインを介した処理に、最小限のアセット（例えば最小限の詳細度－ＬＯＤ）を使用することができる。具体的には、ＣＰＵ上で実行されるゲームコードは、必要なアセットをタイムリーにシステムメモリにロードするために、アセットが必要になる時を予測できる。
例えば、アセットは、ディスプレイのピクセルを通して表示されるビデオフレームを生成するために、グラフィックスパイプラインのシェーダプログラムを介して処理されるテクスチャ及び／またはモデルであり得る。例えば、森のシーンでは、木のテクスチャが入力として受信でき、グラフィックスパイプラインを介して処理される。処理のために、テクスチャ及び／またはモデルの大量のＬＯＤデータをシステムメモリにロードする時間が十分にない場合、ＧＰＵのストールを回避するために、本開示のＧＰＵ実施形態は、アセット認識を提供し、これにより、ＧＰＵは、識別されたアセットのロードを追跡し、アセットの少なくとも最小限のＬＯＤを使用してシーンを生成するように構成される。
最初にシーンは低解像度でレンダリングされ得るが、後続のフレームでは、より完全なＬＯＤデータを使用してシーンはレンダリングされ得る。このようにして、仮想化されたゲーム世界の大きく複雑なシーンが、グラフィックスパイプラインを介して効率的に生成され、同時に、アセットのロードを待機してＧＰＵをストールする可能性が低減され得る。
これは、特に、ゲームがあるシーンから別のシーンへ２つのビデオフレーム間を遷移する、ゲーム内のシーンカット（例えば映画的流れにおけるシーン変更、または一連のメニューの後のインタラクティブなゲームプレイの開始）に遭遇した場合に役に立つ。ＬＯＤデータ全体がロードされるのを待機して、新たなシーンが生成される代わりに、グラフィックスパイプラインを介した処理に必要なアセットごとに最小限のＬＯＤデータをロードして、対応するビデオフレームが生成され得る。例えば、複雑なシーンをレンダリングしている間でもＧＰＵのストールを減らすことにより、ゲームをプレイするユーザの臨場感体験は、大幅に向上する。

様々な実施形態の上記の概要的理解と共に、ここで実施形態の例示的な詳細が、様々な図面を参照して説明される。

本明細書全体を通して、「ゲーム」または「ビデオゲーム」または「ゲームアプリケーション」への言及は、入力コマンドの実行を通じて指示される任意の種類のインタラクティブアプリケーションを表すことを意味する。単なる例示として、インタラクティブアプリケーションには、ゲーム、ワード処理、ビデオ処理、ビデオゲーム処理などのアプリケーションが含まれる。さらに、上記で紹介した用語は、同じ意味で使用される。

図１Ａは、本開示の一実施形態による、ゲームを提供するためのシステム１００Ａの図である。示されるように、ゲームは、ゲームをプレイしている対応ユーザのクライアントデバイス１１０（例えばゲームコンソール）上でローカルに実行されている。具体的には、ゲームのインスタンスは、ゲームタイトル処理エンジン１１１により実行される。クライアントデバイス１１０は、ユーザのためにシングルプレーヤモードで作動していてもよい。
ゲームを実施するゲームロジック１１５（例えば実行可能コード）は、クライアントデバイス１１０に格納され、ゲームを実行するために使用される。例示として、ゲームロジック１１５は、ポータブルメディア（例えば光学式メディア）を介して、またはネットワークを介して、クライアントデバイス１１０に配信され得る（例えばインターネットを介してゲームプロバイダからダウンロードされ得る）。

一実施形態では、クライアントデバイス１１０のゲームタイトル処理エンジン１１１は、ゲームアプリケーションに関連付けられたゲーム及びサービスを実行するための基本的なプロセッサベース機能を含む。例えば、プロセッサベース機能には、２Ｄまたは３Ｄレンダリング、物理学、物理シミュレーション、スクリプト、オーディオ、アニメーション、グラフィック処理、ライティング、シェーディング、ラスター化、レイトレーシング、シャドウイング、カリング、変換、人工知能などが含まれる。
さらに、ゲームアプリケーションのサービスには、メモリ管理、マルチスレッド管理、サービス品質（ＱｏＳ）、帯域幅テスト、ソーシャルネットワーキング、ソーシャルネットワークの友人管理、友人のソーシャルネットワークとの通信、通信チャネル、テキスト送信、インスタントメッセージング、チャットサポートなどが含まれる。
具体的には、クライアントデバイス１１０は、グラフィックスパイプラインを介してビデオフレームを生成する中央処理装置及びグラフィック処理装置などのアセット認識コンポーネントを含むコンピューティングシステムアーキテクチャとして構成される。このように、コンピューティングシステムアーキテクチャは、対応するビデオフレームを生成する時、グラフィックスパイプライン（例えば描画呼び出しの実行）で使用されるアセットの少なくとも最小限のＬＯＤデータを識別し、追跡し、使用するように構成される。

クライアントデバイス１１０は、ゲームコントローラ、タブレットコンピュータ、キーボード、ビデオカメラにより取り込まれたジェスチャ、マウス、タッチパッドなどの様々な種類の入力デバイスからの入力を受信できる。クライアントデバイス１１０は、少なくともメモリとプロセッサモジュールとを有する任意の種類のコンピューティングデバイスとすることができ、ゲームタイトル処理エンジン１１１により実行されるレンダリング画像を生成し、レンダリング画像をディスプレイ（例えばディスプレイ１１、またはヘッドマウントディスプレイ－ＨＭＤなどを含むディスプレイ１１）に表示するように構成される。
例えば、レンダリング画像は、ゲームプレイの駆動に使用される入力コマンドを介するなどして、対応ユーザのゲームプレイを実施するようにクライアントデバイス１１０のローカルで実行されるゲームのインスタンスに、関連付けられ得る。クライアントデバイス１１０のいくつかの例には、パーソナルコンピュータ（ＰＣ）、ゲームコンソール、ホームシアターデバイス、汎用コンピュータ、モバイルコンピューティングデバイス、タブレット、電話、または、ゲームのインスタンスを実行できる任意の他の種類のコンピューティングデバイスが挙げられる。

図１Ｂは、本開示の一実施形態による、サポートサービスを提供するバックエンドクラウドゲームネットワークを有するゲームを提供するためのシステム１００Ｂの図である。示されるように、ゲームは、ゲームをプレイしている対応ユーザのクライアントデバイス１１０（例えばゲームコンソール）上でローカルに実行されており、クライアントデバイス１１０は、図１Ａで既に紹介済みである。具体的には、ゲームのインスタンスは、前述のように、ゲームタイトル処理エンジン１１１により実行される。
すなわち、クライアントデバイス１１０のゲームタイトル処理エンジン１１１は、ゲームアプリケーションに関連するゲーム及びサービスを実行するための基本的なプロセッサベース機能を含む。ゲームを実施するゲームロジック１１５（例えば実行可能コード）は、クライアントデバイス１１０に格納され、ゲームを実行するために使用される。
前述のように、クライアントデバイス１１０は、グラフィックスパイプラインを介してビデオフレームを生成する中央処理装置及びグラフィック処理装置などのアセット認識コンポーネントを含む。このように、ＣＰＵ及びＧＰＵを含むコンピューティングシステムアーキテクチャは、対応するビデオフレームを生成する時、グラフィックスパイプライン（例えば描画呼び出しの実行）で使用されるアセットの少なくとも最小限のＬＯＤデータを識別し、追跡し、使用するように構成される。

ゲームサーバ１６０は、複数のユーザに対応する１つ以上のローカルコンピューティングデバイスをサポートするように構成され得、各ローカルコンピューティングデバイスは、シングルプレーヤモードまたはマルチプレーヤモードなどで、対応するゲームのインスタンスを実行できる。
例えば、マルチプレーヤモードで、ゲームがローカルで実行されている間、クラウドゲームネットワーク１９０は、ネットワーク１５０経由で各ローカルコンピューティングデバイスから情報（例えばゲーム状態データ）を同時に受信し、その情報をローカルコンピューティングデバイスのうちの１つ以上にわたり適宜配信し、これにより、各ユーザは、マルチプレーヤゲームの仮想化されたゲーム世界で他のユーザと（例えばゲーム内の対応するキャラクタを通して）インタラクトすることができる。
このように、クラウドゲームネットワーク１９０は、ネットワーク１５０経由で情報を渡すことにより、マルチプレーヤゲーム環境内のユーザそれぞれのゲームプレイを調和させ、合併させる。ネットワーク１５０は、１つ以上の通信技術を含み得る。いくつかの実施形態では、ネットワーク１５０は、高度な無線通信システムを有する第５世代（５Ｇ）ネットワーク技術を含み得る。

また、シングルプレーヤモードまたはマルチプレーヤモードのいずれでも、クラウドゲームネットワークは、クライアントデバイス１１０に付加的なサービスを提供できる。例えば、クラウドゲームネットワーク１９０は、ゲームプレイのバックアップ、ゲームプレイのハイライトの提供、記録されたゲームプレイに基づいたミニゲームの生成、ゲームプレイに関連する人工知能（ＡＩ）に基づいた情報（例えばゲームプレイのサポート）の提供などの目的で、ユーザのゲームプレイにおける１つ以上のポイントのゲーム状態を格納できる。

図１Ｃは、本開示の一実施形態による、クラウドゲームネットワーク１９０経由でゲームを提供するためのシステム１００Ｃの図であり、ゲームは、ゲームをプレイしている対応ユーザのクライアントデバイス１１０’（例えばシンクライアント）からリモートで実行されている。システム１００Ｃは、シングルプレーヤモードまたはマルチプレーヤモードのいずれでも、ネットワーク１５０経由でクラウドゲームネットワーク１９０を介して１つ以上のゲームをプレイする１人以上のプレーヤに、ゲーム制御を提供できる。
いくつかの実施形態では、クラウドゲームネットワークは、ホストマシンのハイパーバイザ上で実行される複数の仮想マシン（ＶＭ）を含むクラウドゲームネットワーク１９０であり得、１つ以上の仮想マシンは、ホストのハイパーバイザにより使用可能なハードウェアリソースを利用してゲームプロセッサモジュールを実行するように構成される。ネットワーク１５０は、１つ以上の通信技術を含み得る。いくつかの実施形態では、ネットワーク１５０は、高度な無線通信システムを有する第５世代（５Ｇ）ネットワーク技術を含み得る。

示されるように、クラウドゲームネットワーク１９０は、複数のゲームへのアクセスを提供するゲームサーバ１６０を含む。ゲームサーバ１６０は、クラウド内で利用可能な任意の種類のサーバコンピューティングデバイスであり得、１つ以上のホスト上で実行される１つ以上の仮想マシンとして構成され得る。
例えば、ゲームサーバ１６０は、ユーザのゲームのインスタンスをインスタンス化するゲームプロセッサをサポートする仮想マシンを管理できる。よって、複数の仮想マシンに関連付けられたゲームサーバ１６０の複数のゲームプロセッサは、複数のユーザのゲームプレイに関連付けられた１つ以上のゲームの複数のインスタンスを実行するように構成される。
このように、バックエンドサーバサポートは、複数の対応ユーザに、複数のゲームアプリケーションのゲームプレイのメディア（例えばビデオ、オーディオなど）のストリーミングを提供する。すなわち、ゲームサーバ１６０は、対応するクライアントデバイス１１０’に、ネットワーク１５０を介してデータ（例えば対応するゲームプレイのレンダリング画像及び／またはフレーム）をストリーミングし返すように構成される。このように、計算が複雑なゲームアプリケーションは、クライアントデバイス１１０’により受信及び転送されるコントローラ入力に応じて、バックエンドサーバで実行され得る。各サーバは、画像及び／またはフレームをレンダリングすることができ、次にこれらは符号化され（例えば圧縮され）、対応するクライアントデバイスへストリーミングされ、表示される。

例えば、複数のユーザは、対応するクライアントデバイス１１０’を使用してネットワーク１５０経由でクラウドゲームネットワーク１９０にアクセスでき、クライアントデバイス１１０’は、図１Ａ～図１Ｂのクライアントデバイス１１０と同様に構成され得（例えばゲームタイトル処理エンジン１１１などを含む）、または計算機能を提供する（例えばゲームタイトル処理エンジン１１１’を含む）ように構成されたバックエンドサーバとのインターフェースを提供するシンクライアントとして構成され得る。

例示を容易にするために、図１Ｃでは、対応ユーザをサポートする単一のクライアントデバイス１１０’が示される。具体的には、対応ユーザ（図示せず）のクライアントデバイス１１０’は、インターネットなどのネットワーク１５０経由でゲームへのアクセスを要求するように、及びゲームサーバ１６０により実行され、対応ユーザに関連付けられたディスプレイデバイスに配信されるゲームのインスタンスをレンダリングするように、構成される。
例えば、ユーザは、クライアントデバイス１１０’を介して、ゲームサーバ１６０のゲームプロセッサ上で実行されるゲームのインスタンスとインタラクトできる。より具体的には、ゲームのインスタンスは、ゲームタイトル処理エンジン１１１’により実行される。ゲームアプリケーションを実施する対応するゲームロジック（例えば実行可能コード）１１５’は、データストア（図示せず）を介して格納されアクセス可能であり、ゲームを実行するために使用される。ゲームタイトル処理エンジン１１１’は、複数のゲームロジックを使用して、複数のゲームをサポートすることができ、ゲームのそれぞれはユーザにより選択可能である。

例えば、クライアントデバイス１１０’は、ゲームプレイを駆動するために使用される入力コマンドを介するなどして、対応ユーザのゲームプレイに関連して、ゲームタイトル処理エンジン１１１’とインタラクトするように構成される。具体的には、クライアントデバイス１１０’は、ゲームコントローラ、タブレットコンピュータ、キーボード、ビデオカメラにより取り込まれたジェスチャ、マウス、タッチパッドなどの様々な種類の入力デバイスからの入力を受信できる。クライアントデバイス１１０’は、少なくともメモリ及びプロセッサモジュールを有する任意の種類のコンピューティングデバイスであり得、ネットワーク１５０経由でゲームサーバ１６０に接続することができる。バックエンドゲームタイトル処理エンジン１１１’は、レンダリング画像を生成するように構成され、生成されたレンダリング画像は、ネットワーク１５０経由で配信され、クライアントデバイス１１０’に関連付けられた対応するディスプレイに表示される。
例えば、クラウドベースサービスを介して、レンダリング画像は、ゲームサーバ１６０のゲームタイトル処理エンジン１１１’上で実行される対応するゲームのインスタンスにより、配信され得る。すなわち、クライアントデバイス１１０’は、レンダリング画像を受信し、レンダリング画像をディスプレイ１１に表示するように構成される。一実施形態では、ディスプレイ１１には、ＨＭＤ（例えばＶＲコンテンツを表示する）が含まれる。いくつかの実施形態では、レンダリング画像は、クラウドベースサービスから直接、またはクライアントデバイス１１０’（例えばＰｌａｙＳｔａｔｉｏｎ（登録商標）Ｒｅｍｏｔｅ Ｐｌａｙ）を介して、無線または有線で、スマートホンまたはタブレットにストリーミングされ得る。

一実施形態では、ゲームサーバ１６０及び／またはゲームタイトル処理エンジン１１１’は、ゲームアプリケーションに関連付けられたゲーム及びサービスを実行するための基本的なプロセッサベース機能を含む。例えば、プロセッサベース機能には、２Ｄまたは３Ｄレンダリング、物理学、物理シミュレーション、スクリプト、オーディオ、アニメーション、グラフィック処理、ライティング、シェーディング、ラスター化、レイトレーシング、シャドウイング、カリング、変換、人工知能などが含まれる。さらに、ゲームアプリケーションのサービスには、メモリ管理、マルチスレッド管理、サービス品質（ＱｏＳ）、帯域幅テスト、ソーシャルネットワーキング、ソーシャルネットワークの友人管理、友人のソーシャルネットワークとの通信、通信チャネル、テキスト送信、インスタントメッセージング、チャットサポートなどが含まれる。
具体的には、ゲームサーバ１６０及び／またはゲームタイトル処理エンジン１１１’は、グラフィックスパイプラインを介してビデオフレームを生成する中央処理装置及びグラフィック処理装置などのアセット認識コンポーネントを含むコンピューティングシステムアーキテクチャとして構成される。このように、コンピューティングシステムアーキテクチャは、対応するビデオフレームを生成する時、グラフィックスパイプライン（例えば描画呼び出しの実行）で使用されるアセットの少なくとも最小限のＬＯＤデータを識別し、追跡し、使用するように構成される。

一実施形態では、クラウドゲームネットワーク１９０は、分散型ゲームサーバシステム及び／またはアーキテクチャである。具体的には、ゲームロジックを実行する分散型ゲームエンジンは、対応するゲームの対応するインスタンスとして構成される。一般に、分散型ゲームエンジンは、ゲームエンジンの機能のそれぞれを受け持ち、これらの機能を、複数の処理エンティティにより実行されるように分散させる。個々の機能は、１つ以上の処理エンティティにわたりさらに分散され得る。処理エンティティは、物理ハードウェアを含む様々な構成で、及び／または仮想コンポーネントもしくは仮想マシンとして、及び／または仮想コンテナとして、構成可能であり、コンテナは、仮想化されたオペレーティングシステム上で実行されるゲームアプリケーションのインスタンスを仮想化する仮想化マシンとは異なる。
処理エンティティは、クラウドゲームネットワーク１９０の１つ以上のサーバ（計算ノード）上でサーバ及びその基礎となるハードウェアを利用及び／または依存でき、サーバは、１つ以上のラックに配置され得る。様々な処理エンティティに対するこれらの機能の実行の調整、割り当て、及び管理は、分散同期化層により実行される。
このように、これらの機能の実行は、分散同期化層により制御され、プレーヤによるコントローラ入力に応答して、ゲームアプリケーションのメディア（例えばビデオフレーム、オーディオなど）の生成が可能となる。分散同期化層は、分散された処理エンティティにわたりこれらの機能を効率的に実行することができ（例えば負荷分散を通じて）、これにより、重要なゲームエンジンコンポーネント／機能は分散され、再び集結され、より効率的な処理が可能となる。

図１Ａ～図１Ｃのゲームタイトル処理エンジン１１１及び１１１’は、マルチテナンシーＧＰＵ機能を実行するように構成されたＣＰＵ及びＧＰＵグループを含み、一実施形態では、１つのＣＰＵ及びＧＰＵグループは、複数のゲームのグラフィックス及び／またはレンダリングパイプラインを実施することができる。すなわち、ＣＰＵ及びＧＰＵグループは、実行されている複数のゲーム間で共有される。ＣＰＵ及びＧＰＵグループは、１つ以上の処理デバイスとして構成され得る。他の実施形態では、対応するＣＰＵ上で実行されている単一のアプリケーションのグラフィックス処理を実行するために、複数のＧＰＵデバイスが組み合される。

図２は、本開示の一実施形態による、ＣＰＵがゲームを実行している間にビデオフレームを生成する時にアセットを認識する中央処理装置７０２及びグラフィック処理装置７１６などのアセット認識コンポーネントを含むコンピューティングアーキテクチャ２００を示す。具体的には、ビデオフレームは、ＧＰＵ７１６により実施され、かつＣＰＵ７０２により制御されるグラフィックスパイプラインを使用して生成される。
ＣＰＵ７０２及びＧＰＵ７１６によるアセット認識は、グラフィックスパイプラインで使用されるアセットの識別及び追跡を提供し、これにより、対応するビデオフレームを生成する時のグラフィックスパイプラインを介した処理に、最小限のアセット（例えば最小限の詳細度－ＬＯＤ）を使用することができる。コンピューティングアーキテクチャ２００は、図１Ａ～１Ｃのクライアントデバイス１１０及び／またはクラウドゲームネットワーク１９０（例えばゲームサーバ１６０及び／またはゲームタイトル処理エンジン１１１と１１１’）で実施され得る。

コンピューティングアーキテクチャ２００は、ゲームを実行するように構成されたＣＰＵ７０２を含む。具体的には、ＣＰＵ７０２は、ビデオフレームのうちの１つのフレームの描画呼び出しを生成し、描画呼び出しは命令を含む。さらに、描画呼び出しがグラフィックスパイプラインで実行されている間に、描画呼び出しの命令によりアセットが要求され得る。特定のビデオフレームのために、ＣＰＵ７０２により生成され、かつＧＰＵ７１６により実行される複数の描画呼び出しが存在できる。処理能力が向上したため、ゲームは、ゲームプレイ中にさらに一層複雑なシーンをレンダリングするように設計されている。
その結果、ゲームは、ゲームのゲームプレイ中に使用されるシーン（例えば森のシーン、海のシーンなど）を生成するために、ビデオフレームごとにますます多くの描画呼び出しをプッシュしている。ＣＰＵ７０２上で実行されるゲームコードは、アセットが必要になる時（例えばビデオフレームの１つ以上の描画呼び出しにより必要になる時）を予測し、ＧＰＵ７１６がグラフィックスパイプラインを介してシーンをレンダリングするのに適切なタイミングでアセットが利用可能となるように、実際に使用される前に、システムメモリ２２０へのアセットのロードを調整する。

ＧＰＵ ＡＰＩ２５０は、コンピューティングアーキテクチャ２００のコンポーネント間、またはコンピューティングアーキテクチャ２００のコンポーネント上で実行されるアプリケーション間で通信するために使用され得る。例えば、ＧＰＵ ＡＰＩ２５０は、グラフィック処理装置、システムメモリ、コマンドバッファ、アセットストアなどの別のコンポーネントと通信するために、ＣＰＵ７０２上で実行され得る、またはＣＰＵ７０２により呼び出され得る。ＧＰＵ ＡＰＩ２５０は、他のコンポーネントと通信するために、アセットストアコントローラ２３０またはＧＰＵ７１６内のプロセッサ上で実行でき、いくつかの実施形態では、ＧＰＵ ＡＰＩ２５０は、この通信の目的で（汎用ＣＰＵではなく）固定機能ハードウェアとして部分的に実装され得る。

アセット認識のために、ＣＰＵ７０２上で実行されるゲームは、各描画呼び出しに使用されるアセットに関する追加情報を生成する。例えば、このアセット認識データ（ＡＡＤ）は、対応するアセットの識別子（例えばアセットＩＤ）と、グラフィックスパイプラインで対応する描画呼び出しが実行され得る前にシステムメモリにロードされるべき最小限ＬＯＤと、他の描画呼び出しで、またはこの描画呼び出し内で使用される他のアセットのロードと比較した場合の当該アセットのロードの優先度と、を含み得る。
描画呼び出しのＡＡＤの少なくとも一部（例えばアセットＩＤ）は、ＧＰＵ ＡＰＩ２５０を使用して、ＣＰＵ７０２上で実行されるゲームから、描画呼び出しのコマンドを保持する対応コマンドバッファへ配信される。さらに、描画呼び出しのＡＡＤの（全てではなくとも）少なくとも一部は、描画呼び出しのためにグラフィックスパイプラインで使用されるアセットのロードを調整するために、ＧＰＵ ＡＰＩ２５０を使用して、ＣＰＵ７０２上で実行されるゲームから、アセットストアコントローラ２３０へ配信され得る。いくつかの実施形態では、ＡＡＤの全てが、アセットストアコントローラ２３０へ配信される。

コンピューティングアーキテクチャ２００は、グラフィックスパイプラインを実施するように構成されたＧＰＵ７１６を含む。例えば、シーン内のオブジェクトの頂点に対してシェーダプログラムを実行して、ディスプレイのピクセルのテクスチャ値を生成するように、ＧＰＵ７１６によりグラフィックスパイプラインが実施され得、効率性を上げるために、ＧＰＵ７１６を介して動作が並行して実行される。一般に、グラフィックスパイプラインは、入力ジオメトリ（例えばゲーム世界内のオブジェクトの頂点）を受信する。頂点シェーダは、シーン内のオブジェクトを構成するポリゴンまたはプリミティブを構築する。
頂点シェーダまたは他のシェーダプログラムは、ポリゴンに対して、ライティング、シェーディング、シャドウイング、及び他の動作を実行できる。頂点シェーダまたは他のシェーダプログラムは、レンダリングされるシーン内で対応する視点から見えるオブジェクトを特定するために、深度またはＺバッファリングを実行できる。三次元世界内のオブジェクトを、視点により画定される二次元平面に投影するために、ラスター化が実行される。オブジェクトに関して、ピクセルサイズのフラグメントが生成され、画像を表示する時に対応するピクセルの色に、１つ以上のフラグメントが寄与できる。フラグメントをマージ及び／またはブレンドして、それぞれのピクセルの結合色が特定され、これは、フレームバッファに格納されて表示される。

さらに、ゲームを実行するＣＰＵ７０２により制御されて、ゲームは、様々な種類のアセットをグラフィック処理に使用できる。これらのアセットは、ゲーム内のシーンを生成するためのグラフィックスパイプラインにおいてＧＰＵ７１６により使用され得、例えば森のシーンでは、木のテクスチャ及び木のモデルが入力として受信され得、グラフィックスパイプラインを介して処理される。ゲームが進化するにつれて、対応するゲームの実行を通して作成される仮想化されたゲーム世界は、より複雑となり、シーン内のオブジェクトまたはモデルのますます増える頂点及び／またはテクスチャに対して、シェーダプログラムの動作を実行することが必要となり得る。

より具体的には、コンピューティングアーキテクチャ２００のＧＰＵ７１６は、ＬＯＤデータを使用してビデオフレームを生成するために描画呼び出しコマンドを実行するように構成される。より具体的には、ＧＰＵ７１６は、アセット認識コンピューティングアーキテクチャ２００のコンポーネントに通知されたアセット認識データに基づく少なくとも最小限のＬＯＤデータを使用する。
前述のように、ビデオフレームは、１つ以上の描画呼び出しの実行を必要とでき、各描画呼び出しは、１つ以上のアセット（例えばテクスチャ、モデルなど）を必要とし得る。これらのアセットは、システムメモリ２２０にロードされた場合にのみ、ＧＰＵ７１６により使用され得るが、これらのアセットは大きすぎて、全て同時にシステムメモリ２２０に収容できないため、システムメモリ２２０の外部に、例えばハードドライブまたはソリッドステートデバイス（ＳＳＤ）に、格納される。
ＣＰＵ７０２によりゲームが実行されている間に、ＣＰＵ７０２上で実行されるゲームコードは、アセットが必要になる時（例えばビデオフレームの１つ以上の描画呼び出しにより必要になる時）を予測し、ＧＰＵ７１６がグラフィックスパイプラインを介してシーンをレンダリングするのに適切なタイミングでアセットが利用可能となるように、実際に使用される前に、ＧＰＵ ＡＰＩを使用してシステムメモリ２２０へアセットをロードすることを調整する。シーンがより複雑となり、より大きいテクスチャデータが必要になると、必要なアセットを完全にロードする時間が長くなり得る。よって、グラフィックスパイプラインは、アセットのロードが完了する前に、アセットを使用することを試み得る。

本開示の実施形態では、アセット認識コンピューティングアーキテクチャ２００は、アセットがシステムメモリ２２０に完全にロードされるのを待つ間にＧＰＵ７１６をストールさせることなく、グラフィックスパイプラインにおける処理にアセットを利用可能にすることができる。ストールは、特に従来のコンピューティングアーキテクチャにおいて、シーンをレンダリングするために提供される入力（例えばテクスチャ）が多すぎる時に発生し得る。
例えば、グラフィックスパイプラインにより対応する描画呼び出しが実行される前に、ビデオフレームのテクスチャまたはモデルのアセットデータが完全にロードされていない場合がある。これは、ゲームがあるシーンから別のシーンへ２つのビデオフレーム間を遷移する、ゲーム内のシーンカット（例えば映画的流れにおけるシーン変更、または一連のメニューの後のインタラクティブなゲームプレイの開始）がある場合に、特に当てはまる。従来のコンピューティングアーキテクチャでは、グラフィックスパイプラインは、実行を続行する前に、アセットが完全にロードされるのを待機するためにストールする。
他方、本実施形態のアセット認識コンピューティングアーキテクチャ２００は、アセット（例えばテクスチャ及び／またはモデル）が完全にロードされていなくても、グラフィックスパイプラインの実行を開始するように構成される。具体的には、（ＣＰＵにより実行される際）ゲームが実行すべきことは、描画呼び出しのためにＧＰＵ ＡＰＩ２５０を呼び出すことだけである（本来常に実行しているように）。アセット認識コンピューティングアーキテクチャ２００は使用可能なアセットをタイムリーにロードすることができるため、ゲーム開発者は、特に複雑なシーンをレンダリングする時、またはシーンカットでシーンを切り替える時に失速または機能低下を生じ得る、より従来型のコンピューティングアーキテクチャ上で実行するために、ゲームのシーンを調整すること（例えばシーンの複雑さを軽減すること）に集中する必要はない。

アセット認識コンピューティングアーキテクチャ２００は、ゲームの複数のアセットを格納するように構成されたアセットストア２１０を含む。いくつかの実施形態では、アセットストア２１０は、ハードドライブとして、またはＳＳＤを使用して、構成され得る。メモリ技術が進化するにつれて、これまで以上に高速なアクセスを提供する他のメモリデバイスが、アセットストア２１０に使用され得る。このように、シーンをレンダリングするために使用される全てのアセットは、数ミリ秒もしくは数十ミリ秒、またはそれ以上の速さで、アセットストア２１０からロードされ得る。

実施形態では、アセットストア２１０と通信するために、様々な通信及び／またはバスインターフェースが使用され得る。例えば、アセットストア２１０にアクセスするために、ＰＣＩ Ｅｘｐｒｅｓｓ（ＰＣＩｅ）が使用され得る。一実施形態では、不揮発性メモリエクスプレスまたはＮＶＭ Ｅｘｐｒｅｓｓ（ＮＶＭｅ）が、ＰＣＩｅバスを介して接続された不揮発性記憶媒体にアクセスするためのオープンロジカルデバイスインターフェースの仕様を定義し、アセットストア２１０へのアクセスは、アセットストア２１０内のメモリデバイスへのアクセスパフォーマンスを向上させるために、ＮＶＭｅを介して実施される。

実行するゲームをロードする際、アセットがアセットストア２１０にロードされ得る。具体的には、アセットストア２１０は、対応する描画呼び出しのＬＯＤデータ２９０を保持し、全ての描画呼び出しの全てのＬＯＤデータを保持する。各アセットは、対応する描画呼び出しにより使用され得る１つ以上のＬＯＤを含む。例えば、テクスチャアセットは、１つ以上のＬＯＤを有するミップマップまたはテクスチャマップのチェーンで表され得、各テクスチャマップ（ＬＯＤ）または各ミップマップ（ＬＯＤ）は、テクスチャの異なる解像度または表現を提供する。
例えば、テクスチャマップまたはミップマップは、オブジェクトまたはポリゴンの表面にマッピングされた画像であり得る。テクスチャマッピングは、レンダリングする必要のあるオブジェクトのポリゴンの数を減らすために使用され得る。さらに、モデルアセットは、オブジェクトを表し得る。アセットは、そのオブジェクトを表すための様々な解像度の１つ以上のモデル（例えばＬＯＤ）を含み得る。このように、グラフィックスパイプラインを介したレンダリングのために、そのアセットの好適な解像度を有する必要モデルが選択され得る。

さらに、アセットストア２１０は、各アセットのアセット認識データ（ＡＡＤ）を含み、アセット認識データの全てまたは一部はシステムメモリ２２０にも常駐する。例えば、各アセットは、対応する識別子（例えばアセットＩＤ）によりタグ付けされ得、識別子は、対応するアセットに関連付けてアセットストア２１０に格納され得る。また、各アセットは、アセットの詳細を提供する他のデータを含み得る。
例えば、各アセットのＡＡＤは、そのアセットのＬＯＤ集合を記述する情報を含み得る。この代表的な情報は、アセットストア内の対応するアセットに関連付けて格納され得る。ＡＡＤデータは、例えば、アセットがＣＰＵ７０２またはＧＰＵ７１６によりローカルで生成された時、またはアセットがラック内の大容量ストレージからアクセスされた時、またはアセットがデータセンタ内からアクセスされた時、またはアセットがネットワーク経由でアクセスされた時など、アセットを認識した様々な方法で更新され得る。すなわち、アセットストア２１０は、ラックから、またはデータセンタ内の他の場所から、またはネットワーク経由で、またはゲームから、アセットを認識した方式で更新され得る。

アセット認識コンピューティングアーキテクチャ２００は、対応する描画呼び出しが使用する１つ以上のＬＯＤデータ２９０を格納するように構成されたシステムメモリ２２０を含む。さらに、システムメモリ２２０には、対応するビデオフレームを生成するために使用される全ての描画呼び出しのＬＯＤデータがロードされる。具体的には、一実施形態では、ＣＰＵ７０２上で実行されるゲームが、バインド時にＧＰＵ ＡＰＩ２５０を使用してアセット（例えばテクスチャ、ＬＯＤデータ、最小限ＬＯＤデータなど）を対応する描画呼び出しにバインドする時、ＣＰＵ７０２も、アセットストア２１０からシステムメモリ２２０へＬＯＤデータ２９０をロードすることを、アセットストアコントローラ２３０に要求する。ＬＯＤデータをシステムメモリ２２０にロードするこの要求は、ＧＰＵ ＡＰＩ２５０の拡張として、または別個のＡＰＩにより、実施され得る。

システムメモリ２２０は、複数のコマンドバッファ２４０を含み得る。各コマンドバッファは、ＡＡＤ２６０及び対応する描画呼び出しコマンドを格納するように構成され、ＡＡＤ及びコマンドはバインド時に格納される。ＧＰＵ７１６は、対応するコマンドを実行するためにコマンドバッファにアクセスする時に、ＡＡＤ２６０を認識させられ得る。具体的には、ＣＰＵ７０２は、ＧＰＵ ＡＰＩ２５０を使用して、描画呼び出しのＡＡＤ及びコマンドを、対応するコマンドバッファに書き込む。図２に示されるように、コマンドバッファ２４０ａは、ビデオフレーム－Ｆ０（例えばフレーム０）を生成するために使用される。コマンドバッファ２４０ａは、描画呼び出しコマンド２４１（例えばコマンド２４１ａ～２４１ｎ）と、対応する描画呼び出しのＡＡＤとを含む。
前述のように、対応するアセットのアセット認識データは、必要なアセット（例えばテクスチャ、モデルなど）のアセットＩＤ２６１のうちの１つ以上を含み得、また、アセットストア２１０及び／またはシステムメモリ２２０内のアセットＩＤ２６１へのポインタ２６２と、必要なアセットＩＤ（及び対応するアセット）の最小限ＬＯＤ２６３と、アセットＩＤのロード状態２６４と、アセットＩＤそれぞれのロード優先度２６５（例えば対応する描画呼び出しまたは他の描画呼び出しが必要とする他のアセットに対するアセットのロード優先度）と含み得る。
例えば、カメラに近いオブジェクトで使用されるアセットの優先度は、高くあり得る、または最も高くあり得る。後続のビデオフレームは、同様に構成されたコマンドバッファを使用してレンダリングされる。例えば、コマンドバッファ２４０ｂは、ビデオフレーム－Ｆ１（例えばフレーム－１）を生成するために使用され、・・・、コマンドバッファ２４０ｎは、ビデオフレーム－Ｆｎ（例えばフレーム－ｎ）を生成するために使用される。

さらに、コマンドは、ＣＰＵ７０２により生成され、コマンドバッファに含められ、対応するフレームがレンダリングされ終わった時に通知を提供できる。一実施形態では、通知は、ビデオフレームの対応するアセットがレンダリングされ終わった時に提供される。よって、通知は、グラフィックスパイプラインで描画呼び出しコマンドを実行するＧＰＵ７１６により生成され、ＧＰＵ ＡＰＩ２５０を使用してアセットストアコントローラ２３０へ配信される。

アセット認識コンピューティングアーキテクチャ２００は、アセットストア２１０におけるアセットの格納及びアクセスを管理するように、より具体的には、コンピューティングアーキテクチャ２００全体にわたるアセット認識情報の流れを管理するように構成されたアセットストアコントローラ２３０を含む。一実施形態では、アセットストアコントローラ２３０は、１つ以上のコプロセッサを含む「オンチップ複合体」またはユニットとして構成される。他の実施形態では、アセットストアコントローラ２３０は、他のオンチップユニットからの支援を受けて、ＣＰＵ７０２上で実行されるアプリケーションとして構成される。

前述のように、アセットストアコントローラ２３０は、ビデオフレームを生成するために使用される１つ以上の描画呼び出しのためにＧＰＵ ＡＰＩ２５０を使用して、別個のまたはＡＰＩを使用して、ＣＰＵ７０２からＡＡＤ情報のストリームを受信するように構成される。例えば、ＡＡＤは、対応するビデオフレームの描画及び／またはレンダリングに必要な全てのアセットの識別（例えばアセットＩＤ）と、それらのアセットそれぞれのロード優先度とを含む。例えば、アセットのロードの優先度は、その描画呼び出しが必要とする他のアセットのロードと比較して与えられる。アセットストアコントローラはさらに、グラフィックスパイプラインで描画呼び出しを実行する時に、アセットに必要な最小限ＬＯＤを優先させ得る。

アセット情報を受信すると、アセットストアコントローラ２３０は、描画呼び出しの１つ以上のアセット（例えばＬＯＤデータ）を、ＡＡＤ（例えばアセットのロード優先度）に基づいて、アセットストア２１０からシステムメモリ２２０にロードし始める。具体的には、一実施形態では、描画呼び出しのアセットのＬＯＤデータをロードする要求は、描画呼び出しのコマンド及び描画呼び出しのＡＡＤがコマンドバッファに書き込まれるのと実質的に同時に発生する。すなわち、描画呼び出しのアセットのＬＯＤデータをロードする要求は、バインド時に発生する。
１つ以上のアセットがバインドされた時に、描画呼び出しの１つ以上のアセットのＬＯＤデータのロードを同時にトリガーすることにより、少なくとも最小限ＬＯＤをロードして、ＧＰＵ７１６によるグラフィックスパイプラインでの描画呼び出しをタイムリーに実行することができる。さらに、描画呼び出しに必要なアセットの少なくとも最小限ＬＯＤをロードするバインド時トリガーは、ＧＰＵ７１６が必要なアセットのロードを待機するＧＰＵストールの発生を減少させる。ＬＯＤデータをロードする要求がバインド時に発生する必要はなく、他の実施形態では、ＡＡＤは描画呼び出しコマンドと共にコマンドバッファに書き込まれ、別個に、かつ別の時に、アセットのロードを要求するために、ＡＡＤはアセットストアコントローラ２３０に送信される。

一実施形態では、ロードは優先度に従って行われる。例えば、全てのテクスチャの「最小限ＬＯＤ」が最初にロードされ、次に、優先度情報に基づいて、より高いＬＯＤがロードされる。また、ロードに関して、一部のアセットは他のアセットよりも優先度が高く、よって、優先度の高いアセット（例えば最小限ＬＯＤまたはより高いＬＯＤ）が最初にロードされ、その後に優先度の低いアセット（例えばその最小限ＬＯＤまたはより高いＬＯＤ）がロードされる。
一実施形態では、１つ以上のアセットのロードが完了すると、対応するアセットがロードされたこと、及びそのアセットがロードされた程度（例えば対応するＬＯＤのロードステータス）が、ＧＰＵ７１６に通知される（アセットＩＤを使用して）。他の実施形態では、例えばＧＰＵ７１６により描画呼び出しコマンドが実行される時に、ＧＰＵ７１６は、ロードステータスにアクセスするように構成される。

対応するアセットのＬＯＤのロードを要求し、追跡するように構成されたアセットストアコントローラ２３０により、ロードステータスは特定され得る。このように、対応するアセットのロード状態は、例えばＧＰＵ ＡＰＩ２５０を直接使用して、またはコマンドバッファを介して、またはＧＰＵ７１６によるロード状態のフェッチを介して、アセットストアコントローラ２３０からＧＰＵ７１６に通信され得る。
ＡＡＤは、特定のアセットの最小限ＬＯＤ及び場合によってはＬＯＤ集合、並びにシステムメモリ２２０へのアセットのロード状態に関連する情報を含むことから、ＧＰＵ７１６は、所与のアセットの少なくとも最小限のＬＯＤを使用して、描画呼び出しの実行を開始するように構成される。より具体的には、ＧＰＵ７１６は、ＡＡＤ（例えばロード状態）に基づいて、対応する描画呼び出しの特定のアセットでロード済みの最も高いＬＯＤを特定できる。よって、ＧＰＵ７１６は、ロード済みの最も高いＬＯＤを使用して、それより高いＬＯＤ（例えばロードされていないＬＯＤ）は使用せずに、描画呼び出しを実行できる。

さらに、アセット認識は描画呼び出しの対応するアセットのロード状態を含むことから、ＧＰＵ７１６は、対応するアセットの必要なＬＯＤ（例えば最小限ＬＯＤ）がシステムメモリにロードされ終わったか否かを判断するように構成される。最小限ＬＯＤがロードされ終わっていない場合、ＧＰＵは、例えば最小限ＬＯＤまたはプロキシアセット（システムメモリにプロキシアセットがまだない場合）をロードするために、「緊急ロード」要求を発行することができる。
ＧＰＵは、最小限ＬＯＤまたはプロキシアセットのロードが完了するまで、ストールし得る。緊急事態の判断は、描画呼び出しの実行前または実行中に行われ得る。例えば、アセットストアコントローラ２３０及び／またはＧＰＵ７１６は、前の描画呼び出しがグラフィックスパイプラインで実行されている間に、またはアセットの使用を含むビデオフレームの任意の描画呼び出しがＧＰＵ７１６により実行され終わる前に、判断を行い得る。最小限ＬＯＤのロードが完了していない場合、アセットストアコントローラ２３０またはＧＰＵ７１６は、その時点で「緊急ロード」要求を発行し得る。

アセットストアコントローラ２３０はまた、システムメモリの割り当てを解除するように構成される。具体的には、前述のように、ビデオフレームのレンダリングの終了が完了した時に、通知が生成され得る。さらに、ＡＡＤは、特定のアセットのレンダリング終了に関するコマンドバッファからの通知を含み得る。通知は、ＧＰＵ ＡＰＩ２５０を使用して、コマンドバッファ内の描画呼び出しコマンドを実行するＧＰＵから、アセットストアコントローラ２３０へ配信され得、コマンドバッファは、通知を生成し配信するためのコマンドを含み得る。
このように、そのビデオフレームのアセットを対象にできることで、これらのアセットを格納するメモリスペースが解放され得る。さらに、アセットストアコントローラは、システムメモリにロードされたアセットの使用状況を追跡するように構成される（例えばテクスチャが読み出された回数などを含むＬＯＤデータの使用状況が追跡される）。よって、ビデオフレームのレンダリングに使用されていないアセットを対象にできることで、これらのアセットを格納するメモリスペースが解放され得る。
アセットは、その全体（全てのＬＯＤ）が解放されてもよく、またはＬＯＤの部分集合のみが解放されてもよい。これらの決定を行うことを支援するために、いくつかの実施形態では、ＧＰＵ７１６は、アセットの使用状況を追跡するように構成され、アセットの使用状況には、例えば、テクスチャの場合は、使用された最小限ＬＯＤ及び最大限ＬＯＤ、並びに全体アクセス回数またはＬＯＤごとのアクセス回数、描画呼び出しの場合は、描画呼び出しの呼び出しと実行またはそれらの欠如（いくつかの呼び出しは条件付きで実行制御され得る）の結果として書き込まれたピクセルの数、モデルの場合は、使用されたＬＯＤ及び生成された頂点の数が挙げられる。
いくつかの実施形態では、部分的にロードされたアセットのロードされたＬＯＤの使用状況を使用して、これらのアセットの最も高いＬＯＤのロードが優先され得、例えば、２つのアセットのＬＯＤ０のロードがまだ完了しておらず、１つのアセットのＬＯＤ１はたくさん使用されることが見込まれ得るが、もう１つのアセットのＬＯＤ１はそうではない場合、たくさんＬＯＤ１が使用されるアセットのＬＯＤ０が優先されなくてはならない。

システムメモリのロード及び解放の一環として、ページテーブル、ＣＰＵキャッシュ、及びＧＰＵキャッシュの操作が必要になることもあり、従って、アセットストアコントローラ、ＣＰＵ、及びＧＰＵは、これらの動作を加速するように構成され得る。例えば、ＧＰＵ７１６は、アセットストアコントローラ２３０によるシステムメモリ２２０のロード及び解放を加速するように構成され得る。アセットストアコントローラ２３０によるメモリのロード及び解放は、ページテーブル及びＧＰＵキャッシュ７１８の操作を必要とし、よって、ＧＰＵ７１６は、これらのプロセスを加速するように変更され得る。さらに、ＣＰＵ７０２は、アセットストアコントローラ２３０によるシステムメモリ２２０のロード及び解放を高速化するように構成され得る。アセットストアコントローラ２３０によるメモリのロード及び解放は、ページテーブル及びＣＰＵキャッシュ（図示せず）の操作を必要とし、よって、ＣＰＵ７０２は、これらのプロセスを加速するように変更され得る。

一実施形態では、ＣＰＵ７０２は、どのアセットが現在システムメモリ２２０内にあるか、またはどのアセットがグラフィックスの特定のフレームに使用されるかに関して、アセットストアコントローラ２３０に問い合わせるように構成される。ＣＰＵ７０２はまた、アセットストアのコンテンツに関して、アセットストアコントローラ２３０に問い合わせるように構成される。

他の実施形態では、ＣＰＵ７０２は、対応するアセットのロードに関して、アセットストアコントローラ２３０に有益な助言を提供するように構成される。有益な助言は、生成されているいずれかの特定の描画呼び出しに必ずしも関連してはいない。例えば、有益な助言は、予測される描画呼び出しに使用され得るアセットのＬＯＤデータを、特定の優先度でロードする要求として構成され得る。

図３は、本開示の一実施形態による、ＣＰＵ７０２がゲームを実行している間にビデオフレームを生成する時にアセットを認識するＣＰＵ７０２及びＧＰＵ７１６を含むコンピューティングシステムのレンダリングパイプラインを示す。フレームの更新は、所定のフレームレンダリング速度に間に合うように実行される。例えば、本開示の実施形態は、毎秒６０フレームで、フレームレンダリングを実行できる。他の実施形態は、より低速または高速でフレームレンダリングを実行するのに適している。レンダリングパイプライン３０１は、前述のように、クライアントデバイス１１０及びクラウドゲームネットワーク１９０内で、単独で、または組み合わせて、実施され得る。

具体的には、レンダリングパイプラインは、ＣＰＵ７０２、ＧＰＵ７１６、及びこれら両者によりアクセス可能であり得るメモリ（例えばディスプレイなどに配信されるレンダリングされたビデオフレームを格納するためのアセットストア２１０、システムメモリ２２０、共有メモリ、頂点バッファ、インデックスバッファ、深度またはＺバッファ、フレームバッファ）を含む。レンダリングパイプライン（またはグラフィックスパイプライン）は、３Ｄ（三次元）ポリゴンレンダリングプロセスを使用する時など、画像をレンダリングするための一般的なプロセスを例示する。例えば、レンダリング画像のレンダリングパイプライン３０１は、ディスプレイにおけるピクセルそれぞれの対応する色情報を出力し、色情報は、テクスチャ及びシェーディング（例えば色、シャドウイングなど）を表し得る。

ＣＰＵ７０２は、一般に、ＣＰＵ７０２上で実行されるゲームのビデオフレームのシーン生成及び／またはオブジェクトアニメーションを実行するように構成され得る。ＣＰＵ７０２は、３Ｄ仮想環境内のオブジェクトに対応する入力ジオメトリを受信する。入力ジオメトリは、３Ｄ環境内の頂点、及び頂点それぞれに対応する情報として表され得る。例えば、３Ｄ仮想環境内のオブジェクトは、頂点により画定されたポリゴン（例えば三角形）として表され得、次に、対応するポリゴンの表面は、レンダリングパイプライン３０１を介して処理されて、最終的な効果（例えば色、テクスチャなど）が実現される。また、テクスチャ及びモデル情報は、グラフィックスパイプラインの入力として提供され得る。
ＣＰＵ７０２の動作はよく知られており、本明細書では概略的に説明される。一般的に、ＣＰＵ７０２は、フレームからフレームへのオブジェクトアニメーションを実施し、これは、手動での動画化、人間の役者からのキャプチャ、及び／またはオブジェクトにかかる力及び／またはオブジェクトが加える力（例えば重力などの外力、及び動きを誘発するオブジェクトの内力）に応じたシミュレーションにより、行われ得る。例えば、ＣＰＵ７０２は、３Ｄ仮想環境において、オブジェクトの物理シミュレーション、及び／または他の機能を実行する。次に、ＣＰＵ７０２は、ＧＰＵ７１６により実行されるポリゴンの頂点の描画呼び出しを発行する。

具体的には、ＣＰＵ７０２により生成されたアニメーションの結果は、頂点バッファに格納され得、その後、ディスプレイへのポリゴンの頂点の投影、またはポリゴンの頂点をレンダリングするために投影されたポリゴンのテッセレーションを行うように構成されたＧＰＵ７１６により、頂点バッファはアクセスされる。すなわち、ＧＰＵ７１６は、３Ｄ仮想環境内のオブジェクトを構成するポリゴン及び／またはプリミティブをさらに構築するように構成され得、これには、ポリゴンのライティング、シャドウイング、及びシェーディングの計算を実行することが含まれ、これらはシーンのライティングに依存する。
視錘台（ビュー・フラスタム: view frustum）の外側のプリミティブを識別するまたは無視するためのクリッピング、及びシーン内のオブジェクトをディスプレイ上に投影する（例えばオブジェクトをユーザの視点に関連付けられた画像平面に投影する）ためのラスター化など、さらなる動作が実行され得る。単純なレベルでは、ラスター化は、各プリミティブを調べて、そのプリミティブの影響を受けるピクセルを特定することを含む。プリミティブのフラグメンテーションを使用して、プリミティブはピクセルサイズのフラグメントに分割され得、各フラグメントは、ディスプレイ及び／またはレンダリングの視点に関連付けられた基準面におけるピクセルに対応する。１つ以上のプリミティブの１つ以上のフラグメントは、ディスプレイ上にフレームをレンダリングする時に、ピクセルの色に寄与し得る。
例えば、所与のピクセルに関して、３Ｄ仮想環境内の全てのプリミティブのフラグメントは、表示のためにピクセルに結合される。すなわち、対応するピクセルの全テクスチャ及びシェーディング情報が組み合されて、ピクセルの最終的な色値が出力される。これらの色値は、フレームバッファに格納され得、フレームごとにシーンの対応する画像を表示する時にスキャンされ、対応するピクセルに取り込まれる。

図３に示されるように、レンダリングパイプラインは、レンダリングされたフレームをディスプレイ７１０にスキャンアウトするために、ＣＰＵ７０２、ＧＰＵ７１６、及びラスターエンジンによりシーケンスで行われる動作を含むことが示される。例示として、フレームＦ０～Ｆ４をレンダリングするためのレンダリングパイプラインシーケンス３９１～３９５が示される。スペースの制約により、Ｆ４を超えるフレームのシーケンスなど、他のパイプラインシーケンスは図示されない。図３に示される例では、レンダリングパイプライン３０１のコンポーネントのそれぞれは、同じフレーム生成周波数で作動する。例えば、ＣＰＵ７０２及びＧＰＵ７１６は、同じフレーム生成周波数で作動して、レンダリングパイプラインを介して、事前に定義されたフレームレートでフレームをレンダリングできる。

例えば、時間ｔ－０と示された第１のフレーム期間において、ＣＰＵ７０２は、オブジェクトに対し物理学及び他のシミュレーションを実行し、ビデオフレーム（例えばＦ０）の１つ以上の描画呼び出しと共にポリゴンプリミティブをＧＰＵ７１６に配信する。時間ｔ－１と示された第２のフレーム期間において、ＧＰＵ７１６は、プリミティブアセンブリ及び他のタスクを実行して、レンダリングされたフレーム（Ｆ０）を生成する。フレームＦ０は、時間ｔ－２と示された第３のフレーム期間に、スキャンアウトされる。同様に、パイプラインシーケンス３９２は、第２及び第３のフレーム期間にフレームＦ１をレンダリングし、時間ｔ－３と示された第４のフレーム期間にフレームＦ１をスキャンアウトする。
また、パイプラインシーケンス３９３は、第３及び第４のフレーム期間にフレームＦ２をレンダリングし、時間ｔ－４と示された第５のフレーム期間にフレームＦ２をスキャンアウトする。同様に、パイプラインシーケンス３９４は、第４及び第５のフレーム期間にフレームＦ３をレンダリングし、時間ｔ－５と示された第６のフレーム期間にフレームＦ３をスキャンアウトする。また、パイプラインシーケンス３９５は、第５及び第６のフレーム期間にフレームＦ４をレンダリングし、時間ｔ－６と示された第７のフレーム期間にフレームＦ４をスキャンアウトする。

図４は、本開示の一実施形態による、ＣＰＵがゲームを実行している間にビデオフレームを生成する時の、ＣＰＵ及びＧＰＵを含むコンピューティングシステムによるアセット認識データの使用を示す。具体的には、ビデオフレームをレンダリングするレンダリング及び／またはグラフィックスパイプラインの一部が示され、これには、ＣＰＵ７０２及びＧＰＵ７１６によりシーケンスで実行される動作が含まれる。示されるように、レンダリングパイプラインは、タイムライン４９０を基準とする。描画時４０２が示され、これは、ＧＰＵ７１６が描画呼び出しの実行を開始してから、ＧＰＵ７１６が描画呼び出しの処理を完了するまでの期間に及ぶ。描画時４０２は、フレーム期間１とフレーム期間２とを分ける。

動作４１０にて、ＣＰＵ７０２は、ゲームの実行を介したビデオフレーム１の処理を、フレーム期間１内に行う、及び／またはフレーム期間１の前に開始する。具体的には、ビデオフレームの１つ以上の描画呼び出しが生成され、描画呼び出しは、ＧＰＵ７１６により実行される。
バインド時４０１に、ＣＰＵ７０２は、ビデオフレームの一部をレンダリングするために１つ以上の描画呼び出しに必要なアセットをバインドする。より具体的には、バインド時４０１に、ＣＰＵ７０２は、各描画呼び出しのコマンド２４１（塗りつぶしのないボックス）を、対応するコマンドバッファ（２４０）に書き込む。示されるように、動作４１５にて、ＣＰＵ７０２は、バインド時４０１から、ＧＰＵ ＡＰＩ２５０を使用して、描画呼び出しのコマンド２４１及びＡＡＤ２６０（塗りつぶされたボックス）を、コマンドバッファ２４０に書き込む。コマンド２４１及びＡＡＤ２６０は、互いに規則的な方法で（例えば順番に）、または互いに不規則な方法（例えばインターリーブ方式）で、書き込まれ得る。

さらに、ビデオフレームをレンダリングするのに必要な１つ以上の描画呼び出しが要するアセット４１７は、バインド時４０１から、システムメモリ２２０にロードされる。アセット４１７は、１つ以上のＬＯＤデータ２９０を含み、これには、対応するアセットを使用してビデオフレームをレンダリングする時に使用され得る最小限ＬＯＤが含まれる。
システムメモリ２２０へのＬＯＤデータ２９０のロードは、ＣＰＵ７０２がビデオフレームの生成に必要な全てのコマンドをコマンドバッファ２４０に書き込むのを完了することを待たずに開始されるが、アセットストアコントローラ２３０が、より優先度の高いＬＯＤデータなどの他のロード動作を実行するので忙しい場合、アセット４１７のＬＯＤデータがシステムメモリ２２０にロードされる前に、遅延が発生し得る。システムメモリの割り当て解除４１１は、アセット４１７のＬＯＤデータ２９０をロードする前に実行される必要があり得る。

ＣＰＵ７０２及びＧＰＵ７１６を含むアセット認識コンピューティングアーキテクチャでは、前述のように、ＬＯＤデータのロードが追跡され得る。このように、ＧＰＵ７１６及び／またはアセットストアコントローラ２３０は、対応するアセットの最小限ＬＯＤのロードが完了したか否かを判断するように構成され得る。肯定的な判断の場合は、ＧＰＵ７１６は、対応するアセットの最小限ＬＯＤを使用して、ビデオフレームのレンダリングに進み得る。否定的な判断の場合は、ＧＰＵ７１６及び／またはアセットストアコントローラは、最小限ＬＯＤデータの緊急ロード要求を発行することができる。
ロードステータスの判断及び緊急ロードの要求は、描画時４０２に、または前の描画呼び出しの実行中に、または動作４２０に示されるフレーム１のＧＰＵ処理の開始時に、または別の時に、行われ得る。前述のように、アセットストアコントローラは、ＧＰＵに、対応する描画呼び出しのアセットのロードステータスを通知し得る、またはＧＰＵは、アセットストアコントローラからロードステータスを照会及び／またはフェッチするように構成され得る。
いくつかの実施形態では、コマンドバッファ内の条件付きコマンドを使用して、アセット４１７のＬＯＤデータのロードステータスを照会し、コマンドフローを変更することができ、例えば、最小限ＬＯＤのロードが完了していない場合は描画呼び出しが完全にスキップされる（すなわちＧＰＵのストールが回避される）、またはプロキシアセットを使用してレンダリングが行われる、またはロードされたＬＯＤに基づいてカスタマイズされたレンダリングが可能となる。さらに他の実施形態では、ＧＰＵは、ＡＡＤを使用して、これらの同じ決定を行うことができ、例えば最小限ＬＯＤデータのロードが完了していない場合は、描画呼び出しが完全にスキップされる（すなわちＧＰＵのストールが回避される）。

ＬＯＤデータの使用状況も、ＬＯＤクランプ４０３を使用して制御され得る。システムメモリにまだロードされ終わっていないＬＯＤデータの使用をＧＰＵ７１６が試みないように、描画時４０２またはそれより前の時点で、ＧＰＵは、ロード済みの最も高いＬＯＤの番号（例えばＬＯＤクランプ）をキャッシュして、描画呼び出しが開始される前にシステムメモリ内に存在すると特定されたＬＯＤデータのみを使用し、すなわちＬＯＤデータへのアクセスは、ＬＯＤクランプ４０３でクランプされる。例えば、ＬＯＤクランプは、描画時４０２に、または前の１つ以上の描画呼び出しの実行中に、またはレンダリングのフレーム全体の開始時に、キャッシュされ得る。

動作４２０にて、ＧＰＵ７１６は、ビデオフレーム（例えばフレーム１）のレンダリングを、フレーム期間２内に行う、及び／またはフレーム期間２の前に開始する。前述のように、動作４２０ａにて、描画呼び出しが発行される前であっても、対応する描画呼び出しの特定のアセットの最小限のＬＯＤがロードされ終わっているかを、そのアセットのＡＡＤ及びロード追跡に基づいて判断する、ＧＰＵ７１６による任意の早期処理が存在し得る。

図５は、本開示の一実施形態による、中央処理装置により実行されるゲームのビデオフレームを生成する時に使用される対応するアセットの詳細度データ、及びＬＯＤデータをロードしている間のロードクランプの実施の例示である。用語ＬＯＤデータ及びＬＯＤは、アセット及び／または複数のアセットに対応するもののように、同じ意味で使用され得る。
具体的には、対応するアセットのＬＯＤデータが示される。ＬＯＤデータには、前述のように、様々な解像度のＬＯＤ０、ＬＯＤ１、ＬＯＤ２、及びＬＯＤ３が含まれ得、慣習に従って、ＬＯＤ０は詳細度が最も高く、ＬＯＤ１、２、及び３は徐々に詳細度が低くなる。例えば、テクスチャアセットの場合、ＬＯＤデータは、テクスチャのミップマップチェーンであり得る。アセットの場合、最小限ＬＯＤはＬＯＤ２と定義され、グラフィックスパイプラインで実行される描画呼び出しの間に、最小限ＬＯＤがアセットに使用され得、すなわち、描画呼び出しは、より高いＬＯＤ１または０なしで続行され得るが、システムメモリ内のＬＯＤ３及び２なしでは実行することができない。

システムメモリにまだロードされ終わっていないＬＯＤデータの使用をＧＰＵ７１６が試みないことを確実にするために、ＬＯＤクランプが実施され得る。描画時４０２またはそれより前の時点で、ＧＰＵは、ロード済みの最も高いＬＯＤを表す番号をキャッシュする。ＬＯＤクランプのキャッシュされた値は、描画呼び出しを実行する時にＧＰＵにより使用され、よって、ＧＰＵは、対応するアセットのＬＯＤデータ（例えばテクスチャ及び／またはモデル）へのＧＰＵアクセスを、ＬＯＤクランプのこのキャッシュされた値にクランプし、この値を超えて、メモリに存在しないものにアクセスしないようにする。
すなわち、（例えば描画時４０２に）まだロードされ終わっていないＬＯＤを、ＧＰＵが描画呼び出しを実行する時に使用を試みないことを確実にするために、ＬＯＤクランプが使用される。さらに、描画呼び出しの実行全体にわたり同じＬＯＤデータ集合が使用されることを確実にするために、ＬＯＤクランプが使用され、よって、描画時４０２の後（例えば描画呼び出しの実行中）にシステムメモリにロードするために到着するＬＯＤデータは、描画呼び出しの実行には使用されない。

図５では、線４０３ａにより、ＬＯＤクランプの一例が示される。この例では、描画時４０２に、ＬＯＤ３及びＬＯＤ２は完全にロードされ終わっているが、ＬＯＤ１は部分的にしかロードされていないため、ＬＯＤクランプは、ＬＯＤ値の２（ＬＯＤ２を表す）に設定される。ＧＰＵ７１６は、ＬＯＤクランプよりも高いＬＯＤ値を使用しないように構成される。例えば、テクスチャを使用するプリミティブがカメラの近くに存在し、通常ＬＯＤ１または０を使用してレンダリングする場合でも、ＬＯＤクランプが２に設定されていると、これらのより高いＬＯＤは使用されない。

また図５では、線４０３ｂにより、ＬＯＤクランプの別の例が示される。この例では、描画時４０２に、ＬＯＤ１が完全にロードされ終わっており、よって、ＬＯＤクランプはＬＯＤ値の１に設定され、描画呼び出しを実行する時に、ＧＰＵ７１６によりＬＯＤ１が使用される。いくつかの実施形態では、ＬＯＤクランプは、描画時に設定され、他の実施形態では、ＬＯＤクランプは、フレームのＧＰＵ処理４２０内の描画時より前の時点で、またはフレームのＧＰＵ処理４２０の開始時などのさらに前の時点で、設定される。

図１Ａ～図１Ｃ及び図２の様々なクライアントデバイス１１０及び／またはクラウドゲームネットワーク１９０（例えばゲームサーバ１６０及び／またはゲームタイトル処理エンジン１１１及び１１１’）の詳細説明と共に、図６Ａのフロー図６００Ａは、本開示の一実施形態による、中央処理装置及びグラフィック処理装置を使用してビデオフレームを生成するアセット認識コンピューティングシステムによるゲーム実行方法を例示する。

６１０にて、方法は、ＣＰＵにより、ビデオフレームのうちの１つのビデオフレームの描画呼び出しを生成することを含む。描画呼び出しは、ＣＰＵによるゲームの実行中に生成される。前述のように、１つ以上の描画呼び出しは、ビデオフレームのレンダリングに関連付けられて生成され得る。

例えば、描画呼び出しは、前のシーンと新たなシーンとの間の遷移を定義するカットシーン中に生成される。新たなシーンを描画するには、システムメモリに多くのアセットがロードされる必要があり得る。しかし、アセット認識コンピューティングアーキテクチャは、最小限のＬＯＤデータを使用して新たなシーンをレンダリングすることが可能であり、よって、ＧＰＵがストールする可能性が削減される。

６２０にて、方法は、バインド時に、描画呼び出しのコマンドをコマンドバッファに書き込むことを含む。具体的には、ＣＰＵ上で実行されるゲームは、グラフィックスパイプラインを介して描画呼び出しが処理される時に描画呼び出しが要する１つ以上のアセットを、ＧＰＵ ＡＰＩを使用してバインド時にバインドし、すなわち、ＧＰＵ ＡＰＩを使用して、アセットに関連するコマンドをコマンドバッファに書き込む。

６３０にて、方法は、描画呼び出しのアセット認識データ（ＡＡＤ）をコマンドバッファに書き込み、またアセットストアからシステムメモリへ１つ以上のＬＯＤデータのロードを開始することを含む。具体的には、ゲームがＣＰＵ上で実行されると、描画呼び出しごとに、ＡＡＤが生成され得る、またはアクセス及び／または特定され得る。例えば、ＡＡＤは、対応する描画呼び出しに必要な各アセットの識別子（例えばアセットＩＤ）と、描画呼び出しのレンダリングに使用され得る各アセットの最小限ＬＯＤと、対応する描画呼び出しに必要な他のアセットの優先度と比較した場合のシステムメモリへの各アセットのロード優先度とを含み得る。

ＣＰＵが（ＧＰＵ ＡＰＩを使用して）描画呼び出しコマンド及びＡＡＤをコマンドバッファに書き込むと、ＣＰＵはまた、コンピューティングシステムが使用するシステムメモリに描画呼び出しの１つ以上のＬＯＤデータをロードすることを、アセットストアコントローラに要求する。アセットストアコントローラに対し要求が発行された時に、ＬＯＤデータのロードが開始されるが、１つ以上のＬＯＤデータの実際のロードは、必ずしもまだ発生していない場合がある。
例えば、アセットの最初の複数のＬＯＤデータは、システムメモリにロードされ始め、アセットは描画呼び出しを処理する時に使用され、最初の複数のＬＯＤデータは最小限ＬＯＤを含む。具体的には、アセットストアコントローラは、描画呼び出しに必要な１つ以上のアセットのＡＡＤを含む情報のストリームを受信するように構成される。
ＡＡＤは、ビデオフレームの描画に必要なアセットの識別子と、アセットのロード優先度と、これらのアセットを使用するビデオフレームのレンダリング終了の通知とを含む。ＬＯＤデータは、アセットストアコントローラにより、アセットストアからシステムメモリへロードされる。前述のように、ＣＰＵは、バインド時にＧＰＵ ＡＰＩを使用して、ＬＯＤデータをロードするようにアセットストアコントローラに要求でき、一実施形態では、例えばＡＡＤを有する要求を送信する。また、アセットストアコントローラによりＡＡＤが受信されると、ＡＡＤを使用してＬＯＤデータの要求が行われ得、よって、他の実施形態では、ＡＡＤの受信により、アセットストアからシステムメモリへ１つ以上のＬＯＤデータのロードがトリガーされる。

アセットストアコントローラは、システムメモリへのアセットのロードを調整するように、また、一実施形態では、ロードステータスをコマンドバッファのＡＡＤに書き込むなど、何らかの手段によりロードステータスをＧＰＵに通知するように、構成される。また、条件付きコマンドがコマンドバッファに配置されて実行され得、これにより、ＧＰＵは、描画呼び出しで使用されるアセット（例えばＬＯＤデータ）のロードステータスを、アセットストアコントローラから照会及び／またはフェッチする。

さらに、アセットストアコントローラは、システムメモリの割り当て解除を管理するように構成される。具体的には、ＣＰＵ及び／またはアセットストアコントローラは、描画呼び出しの実行が完了したことを、ＧＰＵにより通知される。例えば、描画呼び出しがビデオフレームのレンダリングを完了したことを示す通知を生成し、ＣＰＵ及び／またはアセットストアコントローラに通知を配信するコマンドが、描画呼び出しのコマンドバッファに配置され得る。
このようにして、描画呼び出しが使用した１つ以上のアセットを格納するメモリスペースを解放することができる。他の実施形態では、アセットストアコントローラは、システムメモリに格納されたアセットの使用を追跡することができる。グラフィックスパイプラインで現在のビデオフレームをレンダリングするのにアセットが使用されていない場合、アセットストアコントローラは、アセットが描画呼び出しの処理に不要になったと判断することができ、対応するメモリスペースを解放し得る。

６４０にて、方法は、ＧＰＵにより、システムメモリへ書き込まれたＬＯＤデータを使用して、フレームの描画呼び出しを実行することを含む。ＣＰＵは、次の描画時（例えば現在のフレーム期間内）に実行する描画呼び出しをＧＰＵに対し発行し、描画呼び出しは、前のフレーム期間にＣＰＵにより生成されている。このように、ビデオフレームは、次のフレーム期間でスキャンアウトするのに間に合うようにレンダリングされ得る。
ＧＰＵは、ＡＡＤに基づいて、少なくとも最小限のＬＯＤデータを使用して描画呼び出しを実行する。例えば、各アセットは、最小限ＬＯＤを有し、これは、対応するアセットを必要とする対応する描画呼び出しを処理するのに使用され得る。アセット認識コンピューティングアーキテクチャ（例えばＧＰＵと連携して作動するＣＰＵ及び／またはアセットストアコントローラ）は、アセットのロードを追跡する（例えば各アセットのロード状態を特定する）ことができるため、ＧＰＵは、対応するアセットを必要とする描画呼び出しが実行される時に、対応するアセットにどのＬＯＤを使用するかを特定することができる。
例えば、上記で紹介されたアセットでは、システムメモリへの最初の複数のＬＯＤデータのロードは、ＣＰＵ及び／またはアセットストアコントローラにより追跡される。このように、追跡を行うＣＰＵ及び／またはアセットストアコントローラは、ＧＰＵ ＡＰＩを呼び出して、または別の方法で、そのアセットのロード状態（例えば最初の複数のＬＯＤデータはどの程度ロードが完了したか）をＧＰＵに通知することができる。また、ＧＰＵは、アセットに関連付けられた最初の複数のＬＯＤデータを認識する。一実施形態では、システムメモリにロード済みである場合にのみ、より高いＬＯＤが利用されることを確実にするために、システムメモリにロード済みの最大すなわち最も高いＬＯＤデータのキャッシュされた値が使用され、これは下記の図６Ｂに関連してより完全に説明される。

図６Ｂは、本開示の一実施形態による、ビデオフレームを生成するために対応する描画呼び出しを実行する時に、アセットのＬＯＤデータのロードステータスを考慮することを示すフロー図６００Ｂである。前述のように、描画呼び出しのＬＯＤデータは、システムメモリにロードされる。具体的には、６５０にて、ＬＯＤデータは、ＡＡＤに基づく優先度に従ってロードされる。例えば、対応するアセットのＬＯＤデータは、特定の順序でＬＯＤデータをロードするように優先度が付けられ得、例えば、ＡＡＤの優先度に基づいた順序で、全てのアセットの複数のＬＯＤデータから最小限のＬＯＤデータが最初にロードされ、その後、残りのＬＯＤデータは、再度ＡＡＤの優先度に基づいた順序で、詳細度の最も低いものから最も高いものへとロードされる。

ＧＰＵ及び／またはコマンドバッファは、後述されるように、ロード状態に応じて異なるアクションのうちの１つを実行できる。すなわち、ＧＰＵ及び／またはコマンドバッファは、条件付き実行制御を有し、これにより、ＬＯＤロード状態に基づいて異なるアクションを実行することが可能となる。
具体的には、対応する描画呼び出し内のいくつかの呼び出し及び／またはコマンドは、ＬＯＤロードステータスに基づいて、条件付きで実行制御され得る。例えば、コマンドバッファは、分岐命令またはこれらに相当するものを有することができ、これらは実行されると、ＬＯＤロード状態に基づいて異なるアクションを実行し、例えば、ＬＯＤロード状態は、これらの分岐命令を使用して確認され得、特定のＬＯＤがロードされた場合は、１つのコマンド集合が実行されるが、しかしそうでない場合は、別のコマンド集合が実行される。

判定ステップ６５５にて、システムメモリにロードされ終わった最も高いＬＯＤデータと、ＡＡＤに基づく対応するアセットに必要な最小限のＬＯＤデータとで、比較が行われる。この比較は、前述のように、描画時またはそれより前に行われ得る。例えば、比較は、前の１つ以上の描画呼び出しの実行中に、またはレンダリングのフレーム全体の開始時に行われ得る。

ＧＰＵは、アセットの少なくとも最小限ＬＯＤを使用するように構成され、対応するビデオフレームをレンダリングするための描画呼び出しを処理する時、ロード済みであり、かつ最小限ＬＯＤよりも高い、最も高いＬＯＤを使用できる。最小限ＬＯＤよりも高いＬＯＤを使用する場合、ＧＰＵは、「ＬＯＤクランプ」を利用し、これは、描画呼び出しの実行時（例えば描画時）または前回にシステムメモリに完全にロードされた最も高いＬＯＤのキャッシュされた値である。
この場合、ＧＰＵは、最小限のＬＯＤデータがロード済みでありシステムメモリに格納されていることを確保するように構成される。また、より高いＬＯＤ（例えば最小限のＬＯＤデータよりも高いＬＯＤ）は、システムメモリにロード済みである場合にのみ利用されることを確実にするために、ＬＯＤクランプが使用され、すなわち、ＧＰＵは、ＬＯＤクランプを使用して、ＬＯＤクランプを特定した時にロードされていないより高いＬＯＤデータが、対応する描画呼び出しの実行中にアクセスされないことを確実にする。
例えば、６５６にて、ＬＯＤクランプは、ロードが完了した最も高いＬＯＤデータを表す値に設定され、すなわち、ＬＯＤクランプは、キャプチャされたＬＯＤロード状態である。このように、ＧＰＵは、システムメモリにまだロードされ終わっていないＬＯＤデータにアクセスを試みることを回避する。よって、６５７にて、ＧＰＵにより、ＬＯＤクランプにクランプされたＬＯＤデータを使用して（例えばロード済みの最も高いＬＯＤデータを使用して）、フレームの描画呼び出しが実行される。

一方で、判定ステップ６５５にて、ロード済みの最も高いＬＯＤデータが、対応するアセットの最小限のＬＯＤよりも低い場合、６６０にて、様々な動作が実行され得る。最小限ＬＯＤがシステムメモリにロードされ終わっていないとＧＰＵが判断した場合、６６１にて、ＧＰＵ及び／またはアセットストアコントローラは、デフォルトの（すなわちプロキシ）アセット）を、対応する描画呼び出しを処理する時に使用するために、システムメモリにロードすることを要求できる（デフォルトのアセットがシステムメモリにまだ存在しない場合）。
６６２にて、デフォルトのアセットは、ＧＰＵにより描画呼び出しを実行する時に使用される。あるいは、６６３にて、最小限のＬＯＤデータの緊急ロードが実行され得、最小限のＬＯＤデータが正常にロードされ終わるまで、ＧＰＵはストールする。いくつかの実施形態では、緊急ロードは、前の描画呼び出しの間、フレームレンダリングの開始時など、早期にトリガーされ得る。６６４にて、最小限のＬＯＤデータは、ＧＰＵにより描画呼び出しを実行する時に使用される。あるいは、６６５にて、ＧＰＵは、前述のように、描画呼び出しの実行をスキップすることを決定し得る（すなわちＧＰＵのストールを回避するために）。

図７は、本開示の様々な実施形態の態様を実行するために使用することができる例示的なデバイス７００のコンポーネントを示す。例えば、図７は、本開示の一実施形態による、ビデオフレームをレンダリングするための描画呼び出しに必要な１つ以上のアセットに、最小限ＬＯＤデータが使用され得るように、中央処理装置及びグラフィック処理装置を使用してビデオフレームを生成するアセット認識コンピューティングシステムによりゲームを実行するのに適した例示的なハードウェアシステムを示す。
このブロック図は、パーソナルコンピュータ、サーバコンピュータ、ゲームコンソール、モバイルデバイス、または他のデジタルデバイスを組み込むことができる、またはこれらであり得るデバイス７００を示し、これらのそれぞれが、本発明の実施形態を実施するのに適している。デバイス７００は、ソフトウェアアプリケーションと任意でオペレーティングシステムとを作動させる中央処理装置（ＣＰＵ）７０２を含む。ＣＰＵ７０２は、１つ以上の同種または異種の処理コアで構成され得る。

様々な実施形態によれば、ＣＰＵ７０２は、１つ以上の処理コアを有する１つ以上の汎用マイクロプロセッサである。メディア及びインタラクティブエンターテインメントアプリケーション、またはゲームの実行中にグラフィック処理を行うように構成されたアプリケーションなど、高並列及び計算集約的なアプリケーションに特に適合したマイクロプロセッサアーキテクチャを有する１つ以上のＣＰＵを使用して、さらなる実施形態を実施することができる。アセットストアコントローラ２３０は、独立したユニットとして存在してもよく、またはコントローラの機能は、ＣＰＵ７０２により実行されてもよい。

メモリ７０４は、ＣＰＵ７０２、アセットストアコントローラ２３０、及びＧＰＵ７１６が使用するアプリケーション及びデータを格納する。ストレージ７０６は、アプリケーション及びデータのための不揮発性ストレージ及び他のコンピュータ可読媒体を提供し、ストレージ７０６には、固定ディスクドライブ、リムーバブルディスクドライブ、フラッシュメモリデバイス、及びＣＤ‐ＲＯＭ、ＤＶＤ‐ＲＯＭ、Ｂｌｕ‐ｒａｙ（登録商標）、ＨＤ‐ＤＶＤ、もしくは他の光学記憶装置、並びに信号伝送及び記憶媒体が含まれ得る。
ユーザ入力デバイス７０８は、１人以上のユーザからのユーザ入力をデバイス７００へ通信し、ユーザ入力デバイス７０８の例には、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、静止画もしくはビデオのレコーダ／カメラ、及び／またはマイクロフォンが挙げられ得る。ネットワークインターフェース７１４は、デバイス７００が電子通信ネットワークを介して他のコンピュータシステムと通信することを可能にし、ローカルエリアネットワーク、及びインターネットなどの広域ネットワークを介した有線通信または無線通信を含み得る。
オーディオプロセッサ７１２は、ＣＰＵ７０２、メモリ７０４、及び／またはストレージ７０６が提供する命令及び／またはデータから、アナログまたはデジタルのオーディオ出力を生成するように適合される。ＣＰＵ７０２、ＧＰＵ７１６とＧＰＵキャッシュ７１８を含むグラフィックサブシステム、アセットストアコントローラ２３０、アセットストア２１０、メモリ７０４、システムメモリ２２０、データストレージ７０６、ユーザ入力デバイス７０８、ネットワークインターフェース７１４、及びオーディオプロセッサ７１２を含むデバイス７００のコンポーネントは、１つ以上のデータバス７２２を介して接続される。

アセットストア２１０はまた、例えばシーンをレンダリングする時にゲームに必要なアセットを格納するために含まれ得る。アセットストアは、メモリ７０４及び／またはストレージ７０６の一部であってもよい。システムメモリ２２０は、例えばゲームの実行中に、シーンをレンダリングする時に、描画呼び出しで使用されるアセットを格納する。

グラフィックスサブシステム７１４はさらに、データバス７２２及びデバイス７００のコンポーネントと接続される。グラフィックサブシステム７１４は、グラフィック処理装置（ＧＰＵ）７１６と、グラフィックメモリ７１８とを含む。グラフィックメモリ７１８は、出力画像の各ピクセルのピクセルデータを格納するために使用される表示メモリ（例えばフレームバッファ）を含む。
グラフィックスメモリ７１８は、ＧＰＵ７１６と同じデバイスに統合されてもよく、別個のデバイスとしてＧＰＵ７１６と接続されてもよく、及び／またはメモリ７０４内に実装されてもよい。ピクセルデータは、ＣＰＵ７０２からグラフィックメモリ７１８へ直接提供され得る。あるいは、ＣＰＵ７０２は、所望の出力画像を定義するデータ及び／または命令をＧＰＵ７１６に提供し、ＧＰＵ７１６は、これに基づいて、１つ以上の出力画像のピクセルデータを生成する。
所望の出力画像を定義するデータ及び／または命令は、メモリ７０４及び／またはグラフィックメモリ７１８に格納され得る。実施形態では、ＧＰＵ７１６は、シーンのジオメトリ、ライティング、シェーディング、テクスチャリング、モーション、及び／またはカメラのパラメータを定義する命令及びデータから、出力画像のピクセルデータを生成する３Ｄレンダリング機能を含む。ＧＰＵ７１６はさらに、シェーダプログラムを実行することができる１つ以上のプログラム可能実行ユニットを含み得る。

グラフィックサブシステム７１４は、グラフィックメモリ７１８から画像のピクセルデータを定期的に出力して、ディスプレイデバイス７１０に表示する、または投影システム７４０により投影する。ディスプレイデバイス７１０は、デバイス７００からの信号に応答して視覚情報を表示することができる任意のデバイスであり得、これにはＣＲＴ、ＬＣＤ、プラズマ、及びＯＬＥＤディスプレイが含まれる。デバイス７００は、ディスプレイデバイス７１０に、例えばアナログ信号またはデジタル信号を提供できる。

グラフィックサブシステム７１４を最適化するための他の実施形態は、ＧＰＵインスタンスが複数のアプリケーション間で共有され、かつ分散されたＧＰＵが単一のゲームをサポートするマルチテナンシーＧＰＵ動作を含み得る。グラフィックサブシステム７１４は、１つ以上の処理デバイスとして構成され得る。

例えば、グラフィックサブシステム７１４は、マルチテナンシーＧＰＵ機能を実行するように構成され得、一実施形態では、１つのグラフィックサブシステムは、複数のゲームのグラフィックス及び／またはレンダリングパイプラインを実施することができる。すなわち、グラフィックサブシステム７１４は、実行されている複数のゲーム間で共有される。

他の実施形態では、グラフィックサブシステム７１４は、複数のＧＰＵデバイスを含み、これらは、対応するＣＰＵ上で実行されている単一のアプリケーションのグラフィックス処理を実行するために組み合される。例えば、複数のＧＰＵは、交代形式のフレームレンダリングを実行することができ、ＧＰＵ１は第１のフレームをレンダリングし、ＧＰＵ２は第２のフレームをレンダリングし、順番のフレーム期間で、最後のＧＰＵに到達するまで同様に行われ、最後のＧＰＵに到達すると、最初のＧＰＵが次のビデオフレームをレンダリングする（例えばＧＰＵが２つしかない場合は、ＧＰＵ１が第３のフレームをレンダリングする）。
すなわち、フレームをレンダリングする時、ＧＰＵは循環する。レンダリング動作は重複してもよく、ＧＰＵ１が第１のフレームのレンダリングを終了する前に、ＧＰＵ２は第２のフレームのレンダリングを開始し得る。別の実施態様では、複数のＧＰＵデバイスは、レンダリング及び／またはグラフィックスパイプラインで異なるシェーダ動作が割り当てられ得る。マスタＧＰＵは、メインのレンダリング及び合成を実行する。
例えば、３つのＧＰＵを含むグループでは、マスタＧＰＵ１が、スレーブＧＰＵ２とスレーブＧＰＵ３からの出力のメインのレンダリング（例えば第１のシェーダ動作）及び合成を実行することができ、スレーブＧＰＵ２は、第２のシェーダ（例えば川などの流体効果）動作を実行することができ、スレーブＧＰＵ３は、第３のシェーダ（例えば粒子煙）動作を実行することができ、マスタＧＰＵ１は、ＧＰＵ１、ＧＰＵ２、及びＧＰＵ３それぞれからの結果を合成する。
このように、異なるシェーダ動作（例えばひらめく旗、風、煙の発生、火など）の実行に、異なるＧＰＵを割り当てて、ビデオフレームをレンダリングすることができる。さらに他の実施形態では、３つのＧＰＵのそれぞれを、ビデオフレームに対応するシーンの異なるオブジェクト及び／または部分に割り当てることができる。上記の実施形態及び実施態様では、これらの動作は、同じフレーム期間で（同時に並行して）実行されてもよく、または異なるフレーム期間で（順次に並行して）実行されてもよい。

従って、本開示は、様々な実施形態における、グラフィックスパイプラインを介してビデオフレームを生成する中央処理装置及びグラフィック処理装置などのアセット認識コンポーネントを含むコンピューティングシステムアーキテクチャ、及びこれを実施するための方法を説明する。ＣＰＵ及びＧＰＵによるアセット認識は、グラフィックスパイプラインで使用されるアセットの識別及び追跡を提供し、これにより、対応するビデオフレームを生成する時のグラフィックスパイプラインを介した処理に、最小限のアセット（例えば最小限の詳細度－ＬＯＤ）を使用することができる。

本明細書で定義される様々な実施形態は、本明細書で開示される様々な特徴を使用する特定の実施態様に組み合わされ得る、または組み立てられ得ることを、理解されたい。従って、提供される実施例は、いくつかの可能な実施例にすぎず、様々な要素を組み合わせてより多くの実施態様を定義することにより可能な様々な実施態様に限定されない。いくつかの例では、いくつかの実施態様は、開示される実施態様または同等の実施態様の趣旨から逸脱することなく、より少ない要素を含んでもよい。

本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な一般消費者向け電気製品、小型コンピュータ、及びメインフレームコンピュータなどを含む様々なコンピュータシステム構成で実施され得る。本開示の実施形態はまた、有線ベースまたは無線のネットワークを介してリンクされるリモート処理デバイスによりタスクが行われる分散型コンピューティング環境においても、実施することができる。

前述の実施形態を念頭に置いて、本開示の実施形態は、コンピュータシステムに格納されたデータを伴う様々なコンピュータ実施動作を用い得ることを、理解されたい。これらの動作は、物理量の物理的な操作を必要とする動作である。本開示の実施形態の一部を形成する、本明細書で説明される動作のうちのいずれも、有益なマシン動作である。
本発明の実施形態はまた、これらの動作を実行するためのデバイスまたは装置に関する。装置は、必要な目的のために特別に構築され得る、または装置は、コンピュータに格納されたコンピュータプログラムにより選択的に有効化または構成される汎用コンピュータであり得る。具体的には、本明細書の教示に従って書かれたコンピュータプログラムにより、様々な汎用マシンを使用することができる、あるいは、必要な動作を実行するためにさらに特化した装置を構築するほうがより好都合であり得る。

本開示はまた、コンピュータ可読媒体上のコンピュータ可読コードとして具現化することができる。コンピュータ可読媒体は、後でコンピュータシステムにより読み出され得るデータを格納できる任意のデータストレージデバイスである。コンピュータ可読媒体の例として、ハードドライブ、ネットクワーク接続ストレージ（ＮＡＳ）、読み出し専用メモリ、ランダムアクセスメモリ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、並びに他の光学及び非光学データストレージデバイスが挙げられる。コンピュータ可読媒体には、コンピュータ可読コードが分散方式で格納及び実行されるように、ネットワーク接続されたコンピュータシステムにわたり分散されたコンピュータ可読有形媒体が含まれ得る。

方法動作は特定の順序で説明されたが、オーバーレイ動作の処理が所望のやり方で実行される限り、動作の合間に他の維持管理動作が実行されてもよく、または動作がわずかに異なる時間に起こるように調整されてもよく、またはシステム内に動作を分散することで、様々な処理関連間隔で処理動作が起こることを可能にしてもよいことを、理解されたい。

前述の開示は、理解を明確にするためにある程度詳細に説明されたが、添付の特許請求の範囲内で特定の変更及び修正を実施できることは明らかであろう。従って、本実施形態は、限定ではなく例示としてみなされるべきであり、本開示の実施形態は、本明細書に提供される詳細に限定されるものではなく、添付の特許請求の範囲内及び均等物内で変更されてもよい。

Claims (29)

1. 中央処理装置（ＣＰＵ）及びグラフィック処理装置（ＧＰＵ）を使用してビデオフレームを生成するコンピューティングシステムにより、ゲームを実行するための方法であって、
   前記ＣＰＵにより、前記ビデオフレームのうちの１つのビデオフレームの描画呼び出しを生成し、
   バインド時に、前記描画呼び出しの１つ以上のコマンドをコマンドバッファに書き込み、
   前記バインド時に、前記描画呼び出しのアセット認識データ（ＡＡＤ）を前記コマンドバッファに書き込んで、前記バインド時に、アセットストアから前記コンピューティングシステムが使用するシステムメモリへ１つ以上の詳細度（ＬＯＤ）データのロード開始を行い、
   前記ＧＰＵにより、前記システムメモリへ書き込まれたＬＯＤデータを使用して、前記フレームの前記描画呼び出しを実行し、前記ＧＰＵは、前記ＡＡＤに基づいて少なくとも最小限のＬＯＤデータを使用する、方法。
2. 前記１つ以上の詳細度（ＬＯＤ）データのロード開始では、
   前記アセットストアから前記システムメモリへ前記１つ以上のＬＯＤデータをロードする要求を、前記バインド時に前記ＣＰＵからアセットストアコントローラに送信する、請求項１に記載の方法。
3. さらに、前記描画呼び出しの前記ＡＡＤを、格納のために前記アセットストアコントローラに送信し、前記ＡＡＤを前記要求として受信すると、前記アセットストアコントローラから前記システムメモリへ前記１つ以上のＬＯＤデータの前記ロードがトリガーされる、請求項２に記載の方法。
4. 前記ＧＰＵによる前記描画呼び出しの処理の開始時に、前記描画呼び出しが使用するアセットに関して、前記システムメモリにロード済みの最も高いＬＯＤデータを特定し、
   前記ロード済みの最も高いＬＯＤデータは、前記アセットの最小限ＬＯＤデータよりも、詳細度が低いと判断し、
   前記アセットの前記最小限ＬＯＤデータの緊急ロードを要求する、請求項１に記載の方法。
5. さらに、前記ＧＰＵによる前記描画呼び出しの処理の開始前に、前記描画呼び出しが使用するアセットに関して、前記システムメモリにロード済みの最も高いＬＯＤデータを特定し、
   前記ロード済みの最も高いＬＯＤデータは、前記アセットの最小限ＬＯＤデータよりも、詳細度が低いと判断し、
   前記アセットの前記最小限ＬＯＤデータの緊急ロードを要求する、請求項１に記載の方法。
6. さらに、前記描画呼び出しが使用するアセットに関して、前記システムメモリにロード済みの最も高いＬＯＤデータを特定し、
   前記ロード済みの最も高いＬＯＤデータは、前記アセットの最小限ＬＯＤデータよりも、詳細度が低いと判断し、
   前記描画呼び出しをスキップする、請求項１に記載の方法。
7. さらに、前記描画呼び出しが使用するアセットに関して、前記システムメモリにロード済みの最も高いＬＯＤデータを特定し、
   前記ロード済みの最も高いＬＯＤデータは、前記アセットの最小限ＬＯＤデータよりも、詳細度が低いと判断し、
   プロキシアセットのロードを要求する、請求項１に記載の方法。
8. 前記描画呼び出しの描画時に、前記描画呼び出しが使用するアセットに関して、前記システムメモリにロード済みの最も高いＬＯＤデータを特定し、
   前記ロード済みの最も高いＬＯＤデータは、前記アセットの最小限ＬＯＤデータよりも、詳細度が高いと判断し、
   前記最も高いＬＯＤデータを表す値に、ＬＯＤクランプを設定し、
   前記ＬＯＤクランプをＧＰＵキャッシュに格納し、
   前記描画呼び出しの実行中に使用されるＬＯＤデータを、前記ＬＯＤクランプに基づいて、前記最も高いＬＯＤデータにクランプする、請求項１に記載の方法。
9. 前記ＧＰＵにより、前記コマンドバッファ内の最初のコマンドを実行し、前記最初のコマンドは、前記システムメモリへの前記アセットのロードステータスを照会するように構成される、請求項８に記載の方法。
10. さらに、前記アセットストアコントローラにより、前記システムメモリへの前記アセットの複数のＬＯＤデータの前記ロードを追跡し、
    前記アセットストアコントローラにより、ＧＰＵ ＡＰＩを使用して、前記アセットのロードステータスを前記ＧＰＵに通知する、請求項８に記載の方法。
11. さらに、前記描画呼び出しの描画時より前に、前記描画呼び出しが使用するアセットに関して、前記システムメモリにロード済みの最も高いＬＯＤデータを特定し、
    前記ロード済みの最も高いＬＯＤデータは、前記アセットの最小限ＬＯＤデータよりも、詳細度が高いと判断し、
    前記最も高いＬＯＤデータを表す値に、ＬＯＤクランプを設定し、
    前記ＬＯＤクランプをＧＰＵキャッシュに格納し、
    前記描画呼び出しの実行中に使用されるＬＯＤデータを、前記ＬＯＤクランプに基づいて、前記最も高いＬＯＤデータにクランプする、請求項１に記載の方法。
12. 前記１つ以上のＬＯＤデータのロードの開始では、
    アセットの複数のＬＯＤデータから、最小限ＬＯＤデータをロードし、
    前記アセットの前記最小限ＬＯＤデータをロードした後、前記複数のＬＯＤデータから残りのＬＯＤデータを、詳細度の最も低いものから詳細の最も高いものへとロードする、請求項１に記載の方法。
13. 対応するアセットの１つ以上の詳細度（ＬＯＤ）データのそれぞれは、テクスチャであり、
    前記対応するアセットの前記１つ以上のＬＯＤデータのそれぞれは、対応するミップマップである、
    請求項１に記載の方法。
14. 対応するアセットの１つ以上のＬＯＤデータのそれぞれは、モデルである、
    請求項１に記載の方法。
15. 前記描画呼び出しに使用される対応するアセットの前記ＡＡＤは、対応するアセットＩＤと、対応する最小限ＬＯＤデータと、フレームに描画される他のアセットに対する前記対応するアセットの対応するロード優先度とを含む、
    請求項１に記載の方法。
16. さらに、前記描画呼び出しの実行が完了したことを、前記ＧＰＵにより前記ＣＰＵに通知し、
    前記ＣＰＵにより、前記１つ以上のＬＯＤデータを格納するために使用された前記システムメモリ内のメモリスペースを解放する、請求項１に記載の方法。
17. 前記コンピューティングシステムは、サーバの分散ネットワークまたはゲームコンソールである、請求項１に記載の方法。
18. さらに、前記ＣＰＵにより、前記システムメモリに格納されている前記アセットに関して、前記アセットストアコントローラに問い合わせるか、または、
    前記ＣＰＵにより、対応するビデオフレームに使用されるアセットを有するかに関して、前記アセットストアコントローラに問い合わせるか、または、
    前記ＣＰＵにより、前記アセットストアに格納されている前記アセットに関して、前記アセットストアコントローラに問い合わせる、請求項１に記載の方法。
19. さらに、前記ＬＯＤデータの優先度情報に従って、予測される描画呼び出しまたはオブジェクトのアセットのＬＯＤデータをロードするように有益な助言を、前記ＣＰＵにより前記アセットストアコントローラに与える、請求項１に記載の方法。
20. さらに、ビデオフレームをレンダリングするために、前記ＧＰＵにより、１つ以上のアセットの使用状況を追跡する、請求項１に記載の方法。
21. 前記ＧＰＵにより、対応するアセットの１つ以上のＬＯＤデータの使用状況を追跡する、請求項２０に記載の方法。
22. 前記ＧＰＵにより、テクスチャアセットの使用される最小限ＬＯＤデータまたは最大限ＬＯＤデータを追跡するか、または、
    前記ＧＰＵにより、前記テクスチャアセットへのアクセス回数を追跡するか、または、
    前記ＧＰＵにより、ＬＯＤデータによる前記テクスチャアセットへのアクセス回数を追跡する、請求項２０に記載の方法。
23. 前記ＧＰＵにより、モデルアセットの使用される最小限ＬＯＤデータまたは最大限ＬＯＤデータを追跡するか、または、
    前記モデルアセットにより使用される頂点の数を追跡する、請求項２０に記載の方法。
24. さらに、前記システムメモリから解放するための１つ以上の識別されたアセット、または前記１つ以上の識別されたアセットの１つ以上の識別されたＬＯＤデータを特定する際、アセットの使用状況の追跡情報を使用するか、または、
    アセットの使用状況の追跡情報を使用して、２つ以上のアセットの解放に優先度を付ける、請求項２０に記載の方法。
25. アセットの使用状況の追跡情報を使用して、前記システムメモリにロードする１つ以上の識別されたアセット、または前記１つ以上の識別されたアセットの１つ以上の識別されたＬＯＤデータを特定するか、または、
    アセットの使用状況の追跡情報を使用して、２つ以上のアセットのロードに優先度を付ける、請求項２０に記載の方法。
26. さらに、アセットを認識した方法で、前記アセットストアを更新する、請求項１に記載の方法。
27. １つ以上のアセットがローカルで生成された時に、前記アセットを認識した方法で前記アセットストアを更新するか、または、
    データセンタ内から、前記アセットを認識した方法で前記アセットストアを更新するか、または、
    ネットワーク経由で、前記アセットを認識した方法で前記アセットストアを更新する、請求項２６に記載の方法。
28. ゲームを実行してビデオフレームを生成するコンピューティングシステムであって、
    前記ゲームを実行するように構成された中央処理装置（ＣＰＵ）を有し、前記ＣＰＵは、前記ビデオフレームのうちの１つのフレームのために、コマンドを含む描画呼び出しを生成するものであり、
    アセット認識データ（ＡＡＤ）及び前記描画呼び出しの前記コマンドを格納するように構成されてバインド時に前記ＣＰＵにより前記ＡＡＤ及び前記コマンドが書き込まれるコマンドバッファを有し、
    アプリケーションの複数のアセットを格納するように構成されて前記描画呼び出しが使用する１つ以上の詳細度（ＬＯＤ）データを含むアセットストアを有し、
    前記描画呼び出しが使用する前記１つ以上の詳細度（ＬＯＤ）データを格納するように構成されたシステムメモリを有し、前記アセットストアからの前記ＬＯＤデータの前記ロードは、前記バインド時に前記ＣＰＵによりトリガーされ、前記ＬＯＤデータの前記システムメモリへの前記ロードは、前記ＡＡＤを前記コマンドバッファに書き込んでいる間に開始されるものであり、
    前記システムメモリに書き込まれた前記ＬＯＤデータを使用して前記フレームの前記描画呼び出しの前記コマンドを実行するように構成されたグラフィック処理装置（ＧＰＵ）を有し、前記ＧＰＵは、前記ＡＡＤに基づいて少なくとも最小限のＬＯＤデータを使用するものである、コンピューティングシステム。
29. 中央処理装置（ＣＰＵ）及びグラフィック処理装置（ＧＰＵ）を使用してビデオフレームを生成するコンピューティングシステムによりゲームを実行するためのコンピュータプログラムを格納する非一時的コンピュータ可読媒体であって、
    前記ＣＰＵにより、前記ビデオフレームのうちの１つのビデオフレームの描画呼び出しを生成するためのプログラム命令と、
    バインド時に、前記描画呼び出しの１つ以上のコマンドをコマンドバッファに書き込むためのプログラム命令と、
    前記バインド時に、前記描画呼び出しのアセット認識データ（ＡＡＤ）を前記コマンドバッファに書き込んで、前記バインド時に、アセットストアから前記コンピューティングシステムが使用するシステムメモリへ１つ以上の詳細度（ＬＯＤ）データのロードを開始するためのプログラム命令と、
    前記ＧＰＵにより、前記システムメモリへ書き込まれた前記ＬＯＤデータを使用して、前記フレームの前記描画呼び出しを実行するためのプログラム命令とを有し、前記ＧＰＵは、前記ＡＡＤに基づいて少なくとも最小限のＬＯＤデータを使用するものである、非一時的コンピュータ可読媒体。

Images