JP2022511273A - 拡張現実または仮想現実のシーンにおけるオブジェクトの表現の生成および修正 - Google Patents

Abstract

一実施形態では、サブフレームを生成するための方法は、ユーザの第１の視点から仮想シーンを描写するレンダリングされたフレームにアクセスすることを含み得る。レンダリングされたフレームは、仮想シーン内のオブジェクトの少なくとも１つの３Ｄモデルに基づいて生成され得る。コンピューティングシステムは、レンダリングされたフレームに基づいて複数のサーフェスを生成し得る。各サーフェスは、３Ｄ空間内に配置され得、視覚情報を含む。システムは、３Ｄ空間におけるユーザの第２の視点を決定し、第２の視点から複数のサーフェスの可視性を決定し得る。システムは次に、視覚情報および複数のサーフェスの決定された可視性に基づいて、第２の視点から仮想シーンを描写するサブフレームをレンダリングし得る。
【選択図】図２

Description

［１］ 本開示は概して、拡張現実、仮想現実、複合現実、またはハイブリッド現実環境に関する。

［２］ 人工現実は、ユーザに提示される前に何らかの方式で調整された現実の一形態であり、例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、またはこれらの何らかの組み合わせおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、または捕捉されたコンテンツ（例えば、現実世界の写真）と組み合わされて生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、音声、触覚フィードバック、またはこれらの何らかの組み合わせを含んでよく、これらのうちのいずれも、単一のチャネルまたは複数のチャネル（視聴者に３次元効果をもたらすステレオビデオなど）において提示され得る。人工現実は、例えば、人工現実のコンテンツを作成するために使用される、および／または人工現実において使用される（例えば、アクティビティを実施する）アプリケーション、製品、アクセサリ、サービス、またはこれらの何らかの組み合わせに関連付けられることもある。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロン型ＨＭＤ、モバイルデバイス、またはコンピューティングシステム、あるいは、１人または複数の視聴者に人工現実コンテンツを提供することが可能な他の任意のハードウェアプラットフォームを含む、様々なプラットフォームに実装され得る。

［３］ 人工現実（例えば、ＡＲ、ＶＲ、ＭＲ）技術は、その登場以来、ＡＲ／ＶＲ／ＭＲシーンのユーザの視界（ｐｅｒｓｐｅｃｔｉｖｅ）における急な変化に応答してＡＲ／ＶＲ／ＭＲオブジェクトをレンダリングする際の待ち時間の問題に悩まされてきた。没入型環境を作り出すためには、ユーザは、シーンを見る際に頭部を動かせることが必要で、環境は、ユーザに提示されるビューを調整することで即座に応答することが必要になることがある。頭部が動くたびに、シーンでのユーザの視界はわずかに変化し得る。このような頭部の動きは小さいが、突発的で予測が（不可能ではないとしても）困難なことがある。解決しなければならない問題は、頭部の動きが急に発生し、頭部の動きに伴って発生する視界の変化を考慮するためにシーンのビューが迅速に修正される必要があることである。これが十分に迅速に行われない場合には、結果として生じる待ち時間によって、ユーザは、仮想現実酔いまたは不快感、あるいは少なくとも、体験の没入型特性に対する混乱をもたらし得る感覚的不調和（ｓｅｎｓｏｒｙ ｄｉｓｓｏｎａｎｃｅ）を感じる可能性がある。視界におけるこれらの変化に対処するためにビュー全体を再レンダリングすることは、リソース集約的であり、比較的低いフレームレート（例えば、６０Ｈｚ、すなわち１／６０秒毎に１回）でのみ可能になり得る。その結果、十分に速い（例えば、２００Ｈｚ、１／２００秒毎に１回の）ペースでの視界の変化を考慮し、ユーザが待ち時間を認知することを防止し、それによって感覚的不調和を回避または十分に低減するため、シーン全体の再レンダリングによってシーンを修正することは実現可能ではないかもしれない。

［４］ １つの解決策は、シーン内のオブジェクトを表す「サーフェス」を生成し、それを用いて作業することに関係し、サーフェスは、視界の変化の結果として、移動／平行移動、傾斜、拡大縮小、変形、またはその他の方式で１つのユニットとして外観が共に変化することが予想される複数のオブジェクトに対応する。ビュー全体を再レンダリングする代わりに、コンピューティングシステムは、変化した視界からこれらのサーフェスを単純に再サンプリングし、変化した視界から対応するオブジェクトがどのように見えるかを近似することができる。この方法は、基本的に効率のよい便法であり、必要とされる処理を大幅に低減し得るため、ビューは迅速に更新され、待ち時間は十分に短縮されることが保証される。サーフェスの再サンプリングは、ビュー全体の再レンダリングとは異なり、ＨＭＤのコンピューティングシステム（例えば、別個のラップトップまたはウェアラブルデバイス）の比較的限られた処理能力で、割り当てられた時間内で（例えば、１／２００秒で）ビューを修正するために使用できるほど十分に効率的であり得る。この修正に関わる時間的スケールは非常に小さく、ＨＭＤから物理的に分離されたより強力なシステムに修正を実行させることは実現不可能になり得る。なぜなら、ＨＭＤは、ＨＭＤの現在の位置および向きに関する情報を送信し、別個のシステムが新しいビューをレンダリングするのを待ち、次いで別個のシステムから新しいビューを受信しなければならないためである。サーフェスを単純に再サンプリングすることにより、修正はＨＭＤ上で完全に実行可能となり、処理を高速化する。本開示は、特定の時間間隔（１／６０秒、１／２００秒）および対応する特定のフレームレート（６０Ｈｚ、２００Ｈｚ）を使用するが、これらの時間間隔およびフレームレートは、単に本発明を例示するための実施例として使用され、本開示は、任意の他の適切な時間間隔およびフレームレートを企図する。

［５］ 特定の実施形態では、グラフィックアプリケーション（例えば、ゲーム、マップ、コンテンツ提供アプリ等）は、シーングラフを構築し、シーングラフは、ＧＰＵ上にレンダリングするプリミティブを生成するために、所与のビュー位置および時点と共に使用される。シーングラフは、シーン内のオブジェクト間の論理的および／または空間的関係を定義することができる。特定の実施形態では、ディスプレイエンジンはまた、フルアプリケーションシーングラフの単純化された形式であるシーングラフを生成し、記憶することができる。単純化されたシーングラフは、サーフェス間の論理的および／または空間的関係（例えば、アプリケーションによってレンダリングされたメインフレームに基づいて生成された対応するテクスチャを有する、３Ｄ空間で定義された四辺形または輪郭などの、ディスプレイエンジンによってレンダリングされたプリミティブ）を指定するために使用され得る。シーングラフを記憶することにより、ディスプレイエンジンは、シーンを複数のディスプレイフレームにレンダリングし、現在の視点（例えば、頭の位置）、現在のオブジェクト位置（例えば、これらは互いに対して移動している可能性がある）、およびディスプレイフレームごとに変化する他の要因についてシーングラフ内の各要素を調整することが可能になる。加えて、シーングラフに基づいて、ディスプレイエンジンは、ディスプレイサブシステムによって導入された幾何学的歪みおよび色歪みを調整し、次いで、オブジェクトを共に合成してフレームを生成することもできる。シーングラフを記憶することにより、ディスプレイエンジンは、実際にはかなり低いレートでＧＰＵを動作させながら、所望の高いフレームレートでフルレンダリングを行った結果を近似することができる。

［６］ 本発明の実施形態は、人工現実システムを含んでよく、あるいは、人工現実システムと関連して実装されてもよい。特定の実施形態では、シーンのレンダリング、ならびに、そのサーフェスの生成および修正に関わる処理タスクは、１つまたは複数のコンピューティングシステム間で分割されてもよい。一例として、限定されるものではないが、シーンのビューは、最初に、第１のコンピューティングシステム（例えば、ラップトップ、携帯電話、デスクトップ、ウェアラブルデバイス）によってレンダリングされてもよい。レンダリングされた結果は、ビュー用の１つまたは複数のサーフェスを生成するために使用され得る。色および透明度情報に加えて、サーフェスはシーン内のそれらの位置に関する情報を含み得る。これらのサーフェスは、第２のコンピューティングシステム（例えば、ヘッドマウントディスプレイ（ＨＭＤ）上のオンボードコンピューティングシステム）に渡されてもよい。ＨＭＤは、ビュー内のサーフェスに対応するオブジェクトを、サーフェスに関連付けられた情報に基づいて、およびＨＭＤを装着しているユーザの現在の視界に基づいて（例えば、ＨＭＤの位置および向きによって決定されるように）レンダリングすることができる。視界における任意の変化（例えば、１００分の１秒のオーダーで生じるユーザのわずかな頭部運動）は、ＨＭＤ上のセンサによって追跡され、調整された視点（ｖｉｅｗｐｏｉｎｔ）からのビューにおけるサーフェスを再サンプリングすることによって、ＨＭＤによって構成され得る。視点の調整によって、サーフェスは、再サンプリングされる際に、平行移動／移動、傾斜、拡大縮小、変形すること、もしくは外観が変更されることがある。シーンは、ゼロから（例えば、ポリゴンから）再レンダリングされるのではなく、サーフェスの調整のみによるものであるため、シーンは、比較的迅速に（例えば、２００Ｈｚで）修正することができる。特定の実施形態では、第１のコンピューティングシステムは、第２のコンピューティングシステムに比べて比較的強力である。これは、ユーザの快適性に対して、重量、サイズ、および／または発熱が過大にならないように、第２のコンピューティングシステム（例えば、ＨＭＤ）が、限られたシステムリソースを有するためである。

［７］ 上述の課題は、以下の請求項の少なくとも１つによる本発明によって解決される。

［８］ 本発明のいくつかの実装によれば、１つまたは複数のコンピューティングシステムによって、ユーザの第１の視点から仮想シーンを描写するレンダリングされたフレームであって、前記仮想シーン内のオブジェクトの少なくとも１つの３Ｄモデルに基づいて生成される、前記レンダリングされたフレームにアクセスすることと、前記レンダリングされたフレームに基づく複数のサーフェスであって、前記サーフェスの各々が３Ｄ空間内に配置され、視覚情報を含む、複数のサーフェスを生成することと、前記３Ｄ空間内のユーザの第２の視点を決定することと、前記第２の視点から前記複数のサーフェスの可視性を決定することと、前記視覚情報および前記複数のサーフェスの決定された可視性に基づいて前記第２の視点から前記仮想シーンを描写するサブフレームをレンダリングすることと、を含む方法が提供される。

［９］ 本発明の１つの可能な実装によれば、前記複数のサーフェスの各々の前記視覚情報はテクスチャであり、前記複数のサーフェスの前記決定された可視性は、前記第２の視点から見える前記複数のサーフェス上の点を識別し、前記サブフレームの前記レンダリングは、前記複数のサーフェス上の前記点に従って前記複数のサーフェスの各々の前記テクスチャをサンプリングすることを含む。

［１０］ 本発明の１つの可能な実装によれば、前記オブジェクトの前記３Ｄモデルは、ポリゴンを含み、前記レンダリングされたフレームは、前記ポリゴンの１つまたは複数と前記第１の視点から投射された光線との間の計算された交点に基づいて生成される。

［１１］ 本発明の１つの可能な実装によれば、前記レンダリングされたフレームは、前記オブジェクトの少なくとも前記３Ｄモデルに基づいて生成された複数のフレームのうちの１つであり、前記レンダリングされたサブフレームは、前記複数のサーフェスに基づいて生成された複数のサブフレームのうちの１つであり、前記複数のサブフレームは、前記レンダリングされたフレームの後であって、前記複数のフレームのうちの後続のフレームの前に生成される。

［１２］ 本発明の１つの可能な実装によれば、前記複数のフレームは、第１のフレームレートで生成され、前記複数のサブフレームは、前記第１のフレームレートよりも高い第２のフレームレートで生成される。

［１３］ 本発明の１つの可能な実装によれば、前記複数のサーフェスの前記可視性は、レイキャスティングを使用して決定される。

［１４］ 本発明の１つの可能な実装によれば、前記レンダリングされたフレームは、レイトレーシングを使用して生成される。

［１５］ 本発明の１つの可能な実装によれば、前記第１の視点と前記第２の視点とが異なる時点に決定される。

［１６］ 本発明の１つの可能な実装によれば、前記レンダリングされたフレームは、前記オブジェクトの前記３Ｄモデルと、前記仮想シーン内の第２のオブジェクトの第２の３Ｄモデルとに基づいて生成され、前記複数のサーフェスのうちの少なくとも１つは、前記オブジェクトと前記第２のオブジェクトとの両方を示す視覚情報を含む。

［１７］ 本発明の１つの可能な実装によれば、前記複数のサーフェスの各々は平坦である。

［１８］ 本発明の１つの可能な実装によれば、前記レンダリングされたフレームと前記サブフレームとは異なる。

［１９］ 本発明の１つの可能な実装によれば、前記レンダリングされたフレームおよび前記レンダリングされたサブフレームは、異なるコンピューティングシステムによってレンダリングされる。

［２０］ 本発明のいくつかの実装によれば、実行されたときに、ユーザの第１の視点から仮想シーンを描写するレンダリングされたフレームであって、前記仮想シーン内のオブジェクトの少なくとも１つの３Ｄモデルに基づいて生成される、前記レンダリングされたフレームにアクセスし、前記レンダリングされたフレームに基づく複数のサーフェスであって、前記サーフェスの各々は、３Ｄ空間内に配置され、視覚情報を含む、複数のサーフェスを生成し、前記３Ｄ空間内のユーザの第２の視点を決定し、前記第２の視点から前記複数のサーフェスの可視性を決定し、前記視覚情報および前記複数のサーフェスの決定された可視性に基づいて、前記第２の視点から前記仮想シーンを描写するサブフレームをレンダリングする、ように動作可能なソフトウェアを具現化する、１つまたは複数のコンピュータ可読非一時記憶媒体が提供される。

［２１］ 本発明の１つの可能な実装によれば、前記複数のサーフェスの各々の前記視覚情報はテクスチャであり、前記複数のサーフェスの前記決定された可視性は、前記第２の視点から見える前記複数のサーフェス上の点を識別し、前記サブフレームの前記レンダリングは、前記複数のサーフェス上の前記点に従って前記複数のサーフェスの各々の前記テクスチャをサンプリングすることを含む。

［２２］ 本発明の１つの可能な実装によれば、前記オブジェクトの前記３Ｄモデルは、ポリゴンを含み、前記レンダリングされたフレームは、前記ポリゴンの１つまたは複数と前記第１の視点から投射された光線との間の計算された交点に基づいて生成される。

［２３］ 本発明の１つの可能な実装によれば、前記レンダリングされたフレームは、オブジェクトの少なくとも前記３Ｄモデルに基づいて生成された複数のフレームのうちの１つであり、前記レンダリングされたサブフレームは、前記複数のサーフェスに基づいて生成された複数のサブフレームのうちの１つであり、前記複数のサブフレームは、前記レンダリングされたフレームの後であって、前記複数のフレームのうちの後続のフレームの前に生成される。

［２４］ 本発明のいくつかの実装によれば、１つまたは複数のプロセッサと、前記プロセッサのうちの１つまたは複数に連結され、前記プロセッサのうちの１つまたは複数によって実行されるときに動作可能な命令を備える１つまたは複数のコンピュータ可読非一時記憶媒体と、を備えるシステムであって、前記命令によって、ユーザの第１の視点から仮想シーンを描写するレンダリングされたフレームであって、前記仮想シーン内のオブジェクトの少なくとも１つの３Ｄモデルに基づいて生成された、レンダリングされたフレームにアクセスし、前記レンダリングされたフレームに基づく複数のサーフェスであって、前記サーフェスの各々が３Ｄ空間内に配置され、視覚情報を含む、複数のサーフェスを生成し、前記３Ｄ空間内の前記ユーザの第２の視点を決定し、前記第２の視点から前記複数のサーフェスの可視性を決定し、前記視覚情報および前記複数のサーフェスの決定された可視性に基づいて前記第２の視点から前記仮想シーンを描写するサブフレームをレンダリングする、システムが提供される。

［２５］ 本発明の１つの可能な実装によれば、前記複数のサーフェスの各々の前記視覚情報はテクスチャであり、前記複数のサーフェスの決定された可視性は、前記第２の視点から見える前記複数のサーフェス上の点を識別し、前記サブフレームの前記レンダリングは、前記複数のサーフェス上の前記点に従って前記複数のサーフェスの各々の前記テクスチャをサンプリングすることを含む。

［２６］ 本発明の１つの可能な実装によれば、前記オブジェクトの前記３Ｄモデルは、ポリゴンを含み、前記レンダリングされたフレームは、前記ポリゴンの１つまたは複数と前記第１の視点から投射された光線との間の計算された交点に基づいて生成される。

［２７］ 本発明の１つの可能な実装によれば、前記レンダリングされたフレームは、前記オブジェクトの少なくとも前記３Ｄモデルに基づいて生成された複数のフレームのうちの１つであり、前記レンダリングされたサブフレームは、前記複数のサーフェスに基づいて生成された複数のサブフレームのうちの１つであり、前記複数のサブフレームは、前記レンダリングされたフレームの後であって、前記複数のフレームのうちの後続のフレームの前に生成される。

［２８］ 本明細書に開示された実施形態は、単なる実施例であり、本開示の範囲は、それらに限定されない。特定の実施形態は、本明細書に開示された実施形態の構成要素、要素、特徴、機能、動作、またはステップのすべて、いくつかを含んでよく、あるいは全く含まなくてもよい。本発明による実施形態は、方法、記憶媒体、システム、およびコンピュータプログラム製品を対象とした添付の特許請求の範囲内に具体的に開示され、１つの請求項カテゴリ内で記載される任意の特徴、例えば、方法は、別の請求項カテゴリ、例えば、システムにおいても同様に特許請求され得る。添付の特許請求の範囲における従属関係または前に戻る参照は、形式上の理由でのみ選択されている。しかしながら、任意の先行する請求項へ戻る意図的な参照（特に多項従属）から生じるいかなる発明の主題も特許請求することが可能であり、これにより、請求項とその特徴との任意の組み合わせが開示され、添付の特許請求の範囲において選択された従属関係にかかわらず特許請求することが可能である。特許請求することが可能な発明の主題は、添付の特許請求の範囲に記載される特徴の組み合わせだけでなく、特許請求項における特徴の任意の他の組み合わせも含み、特許請求項において言及される各特徴は、特許請求項における任意の他の特徴または他の特徴の組み合わせと組み合わせることが可能である。さらに、本明細書に記載もしくは図示される任意の実施形態および特徴は、別個の請求項で、および／または、本明細書に記載もしくは図示される任意の実施形態または特徴との任意の組み合わせにおいて、または、添付の特許請求項の任意の特徴との任意の組み合わせにおいて特許請求することが可能である。

サーフェスによって表され得るオブジェクトを含むシーンの例を示す。 サーフェスによって表され得るオブジェクトを含むシーンの例を示す。 サーフェスによって表され得るオブジェクトを含むシーンの例を示す。 サーフェスによって表され得るオブジェクトを含むシーンの例を示す。 サーフェスによって表され得るオブジェクトを含むシーンの例を示す。 サーフェスによって表され得るオブジェクトを含むシーンの例を示す。 サーフェスによって表され得るオブジェクトを含むシーンの例を示す。 サーフェスによって表され得るオブジェクトを含むシーンの例を示す。 サーフェスによって表され得るオブジェクトを含むシーンの例を示す。 シーンのビュー内に表示される予定のオブジェクトの視覚情報および位置情報を決定するための第１の「レイキャスティング」処理を示す。 オブジェクトの２Ｄ表現をサーフェスに変換する概念を示す。 対応するサーフェスに関連付けられた情報に基づいてシーンの視点から表示するためにオブジェクトをレンダリングするための第２のレイキャスティング処理の例示的な概念化を示す。 交点に対応する視覚情報を識別する概念化を示す。 サーフェスに基づいてサブフレームを生成するための例示的な方法を示す。 サーフェスに基づいてサブフレームを生成するための例示的な方法を示す。 ディスプレイエンジンのための例示的な高レベルアーキテクチャを示す。 例示的なコンピュータシステムを示す。

［３７］ 人工現実（例えば、ＡＲ、ＶＲ、ＭＲ）技術は、その登場以来、ＡＲ／ＶＲ／ＭＲシーンのユーザの視界（ｐｅｒｓｐｅｃｔｉｖｅ）における急な変化に応答してＡＲ／ＶＲ／ＭＲオブジェクトをレンダリングする際の待ち時間の問題に悩まされてきた。没入型環境を作り出すためには、ユーザは、シーンを見る際に頭部を動かせることが必要で、環境は、ユーザに提示されるビューを調整することで即座に応答することが必要になることがある。頭部が動くたびに、シーンでのユーザの視界はわずかに変化し得る。このような頭部の動きは小さいが、突発的で予測が（不可能ではないとしても）困難なことがある。解決しなければならない問題は、頭部の動きが急に発生し、頭部の動きに伴って発生する視界の変化を考慮するためにシーンのビューが迅速に修正される必要があることである。これが十分に迅速に行われない場合には、結果として生じる待ち時間によって、ユーザは、仮想現実酔いまたは不快感、あるいは少なくとも、体験の没入型特性に対する混乱をもたらし得る感覚的不調和（ｓｅｎｓｏｒｙ ｄｉｓｓｏｎａｎｃｅ）を感じる可能性がある。視界におけるこれらの変化に対処するためにビュー全体を再レンダリングすることは、リソース集約的であり、比較的低いフレームレート（例えば、６０Ｈｚ、すなわち１／６０秒毎に１回）でのみ可能になり得る。その結果、十分に速い（例えば、２００Ｈｚ、１／２００秒毎に１回の）ペースでの視界の変化を考慮し、ユーザが待ち時間を認知することを防止し、それによって感覚的不調和を回避または十分に低減するため、シーン全体の再レンダリングによってシーンを修正することは実現可能ではないかもしれない。１つの解決策は、シーン内のオブジェクトの特定のビューを表す「サーフェス」を生成し、それを用いて作業することを含み、サーフェスは、視界の変化の結果として、移動／平行移動、傾斜、拡大縮小、変形、またはその他の方式で１つのユニットとして外観が共に変化することが予想される複数のオブジェクトに対応する。ビュー全体を再レンダリングする代わりに、コンピューティングシステムは、変化した視界からこれらのサーフェスを単純に再サンプリングし、変化した視界から対応するオブジェクトがどのように見えるかを近似することができる。この方法は、基本的に効率のよい便法であり、必要とされる処理を大幅に低減し得るため、ビューは迅速に更新され、待ち時間は十分に短縮されることが保証される。サーフェスの再サンプリングは、ビュー全体の再レンダリングとは異なり、ＨＭＤのコンピューティングシステムの比較的限られた処理能力で、割り当てられた時間内（例えば、１／２００秒）にビューを修正するために使用できるほど十分に効率的であり得る。この修正に関わる時間的スケールは非常に小さく、ＨＭＤから物理的に分離されたより強力なシステムに修正を実行させることは実現不可能になり得る。なぜなら、ＨＭＤは、ＨＭＤの現在の位置および向きに関する情報を送信し、別個のシステムが新しいビューをレンダリングするのを待ち、次いで別個のシステムから新しいビューを受信しなければならないためである。サーフェスを単純に再サンプリングすることにより、修正はＨＭＤ上で完全に実行可能となり、処理を高速化する。

［３８］ 本発明の実施形態は、人工現実システムを含んでよく、あるいは、人工現実システムと関連して実装されてもよい。特定の実施の形態では、シーンのレンダリング、ならびに、そのサーフェスの生成および修正に関与する処理タスクは、２つ以上のコンピューティングシステム間で分割されてもよい。一例として、限定されるものではないが、シーンのビューは、最初に、第１のコンピューティングシステム（例えば、ラップトップ、携帯電話、デスクトップ、ウェアラブルデバイス）によってレンダリングされてもよい。レンダリングされた結果は、ビューのための１つまたは複数のサーフェスを生成するために使用され得る。色および透明度情報に加えて、サーフェスはシーン内のそれらの位置に関する情報を含み得る。これらのサーフェスは、第２のコンピューティングシステム（例えば、ヘッドマウントディスプレイ（ＨＭＤ）上のオンボードコンピューティングシステム）に渡されてもよい。ＨＭＤは、ビュー内のサーフェスを、サーフェスに関連付けられた情報に基づいて、およびＨＭＤを装着しているユーザの現在の視界に基づいて（例えば、ＨＭＤの位置および向きによって決定されるように）ワーピングすることができる。視界における任意の変化（例えば、１００分の１秒のオーダーで生じるユーザのわずかな頭部運動）は、ＨＭＤ上のセンサによって追跡され、調整された視点（ｖｉｅｗｐｏｉｎｔ）からのビューにおけるサーフェスを再サンプリングすることによって、ＨＭＤによって構成され得る。視点の調整によって、サーフェスは、再サンプリングされる際に、平行移動／移動、傾斜、拡大縮小、変形すること、もしくは外観が変更されることがあり得る。シーンは、ゼロから（例えば、ポリゴンから）再レンダリングされるのではなく、サーフェスの調整のみによるものであるため、シーンは、比較的迅速に（例えば、２００Ｈｚで）修正することができる。特定の実施形態では、第１のコンピューティングシステムは、第２のコンピューティングシステムに比べて比較的強力である。これは、第２のコンピューティングシステム（例えば、ＨＭＤ）が、感知し得るほど増大することがない限られたシステムリソースを有し、ユーザの快適性に対して、重量、サイズ、および／または発熱が過大になることがないためである。

［３９］ 特定の実施形態では、コンピューティングシステムは、ユーザに表示するためにシーンの初期ビューをレンダリングしてもよい。一例として、限定されるものではないが、この初期ビューは、ＡＲオブジェクトの組を含むＡＲシーンのビュー（または、本明細書の他の箇所で説明されるように、ＶＲオブジェクトを有するＶＲシーン）であってもよい。特定の実施形態では、ディスプレイはＨＭＤ上にあってもよい。ＨＭＤは、限られたシステムリソースと限られた電源を有し得るが、これらの制限は感知し得るほど低減されなくてもよく、ユーザの快適性に対して過度の重量、サイズ、および／または発熱をもたらすことはない。その結果、ＨＭＤが、ビューのレンダリングに関与するすべての処理タスクを一方的に処理することは実現可能ではない場合がある。特定の実施形態では、初期ビューをレンダリングするために、比較的強力なコンピューティングシステム（例えば、ラップトップ、携帯電話、デスクトップ、ウェアラブルデバイス）が使用され得る。特定の実施形態では、このコンピューティングシステムは、ＨＭＤ上のコンピューティングシステムと通信を行うデバイスであってよいが、もしくはＨＭＤから物理的に分離されていてもよい。一例として、限定されるものではないが、コンピューティングシステムは、ＨＭＤに有線接続されるか、またはＨＭＤと無線で通信するラップトップデバイスであってもよい。別の例として、限定されるものではないが、コンピューティングシステムは、ウェアラブルデバイス（例えば、手首に固定されたデバイス）、ハンドヘルドデバイス（例えば、電話）、またはＨＭＤに配線されるか又はＨＭＤと無線で通信する他の何らかの適切なデバイス（例えば、ラップトップ、タブレット、デスクトップ）であってもよい。コンピューティングシステムは、この初期シーンを表示のためにＨＭＤに送ることができる。本開示は、ＨＭＤ上でユーザにシーンを表示することに焦点を当てているが、任意の他の適切なデバイス上でユーザにシーンを表示することも企図される。

［４０］ ビューのレンダリングは、オブジェクトの各ポリゴンに対して多数の「可視性テスト」を実行することを伴うリソース集約型のタスクである。シーンのビューをレンダリングする従来のモデルでは、シーン内の各オブジェクトが数百／数千のポリゴンで表現される場合がある。ビューをレンダリングするコンピューティングシステムは、各可視ポリゴンに関連する視覚情報（例えば、色および透明度情報）を決定するために、各ピクセルからの各ポリゴンに対する可視性テストを実行する必要がある。可視性テストは、特定の視点からシーンの各ピクセルを経由して１つまたは複数の仮想光線を投射し、光線がオブジェクトのポリゴンと交差するかどうかを判定することとして概念化することができる。交差がある場合、ピクセルは、光線が交差するポリゴンに関連する視覚情報に基づいて、シェーディング（例えば、色、透明度）を表示するようにされてもよい。これは、「レイキャスティング」または「レイトレーシング」と称される処理で、各ピクセルについて繰り返されるもので、最終的にはスクリーン上のビュー全体のレンダリングをもたらし得る。この種のレンダリングには時間がかかる。一例として、限定されるものではないが、たとえラップトップ／デスクトップであっても、フレームは６０Ｈｚでこのようにレンダリングされるだけであり、（例えば、頭部の急速な動きによって）１／６０秒以内に生じる視界の変化はレンダリングによって捕捉されず、表示されないことを意味する。

［４１］ この問題に対処するために、特定の実施形態では、コンピューティングシステムは、以下でさらに説明するように、シーンのための１つまたは複数の「サーフェス」を生成して、レンダリングビューを迅速に効率的に処理することができる。各サーフェスは、（例えば、ユーザの頭部上のＨＭＤが異なる位置および／または向きに移動することに起因する）シーンのユーザの視界の変化の結果として、移動／平行移動、傾斜、拡大縮小、変形、またはその他の方式で１つのユニットとして外観が共に変化することが予想される、シーン内の１つまたは複数のオブジェクトの表現であってもよい。一例として、限定されるものではないが、人物のアバターおよびアバターが着用する帽子は、人物および帽子が移動／平行移動、傾斜、拡大縮小、変形、またはその他の方式で１つのユニットとして外観が共に変化し得ると判断される場合には、１つのサーフェスに対応してもよい。特定の実施形態では、サーフェスは、シーンのユーザの視界が変化するときに、単一のユニットとしての外観の移動／平行移動、傾斜、拡大縮小、変形、もしくは外観の変化が予想される点（例えば、オブジェクトを構成する点）の組に対応する。特定の実施形態では、サーフェスは、シーン内の１つまたは複数のオブジェクトを定義する視覚情報（例えば、色、透明度）を含む仮想概念である矩形の「テクスチャ」である。サーフェスはまた、シーン内のその位置を指定するための変換行列を含み得る。サーフェスのテクスチャデータは、本明細書では「テクセル」と称される１つまたは複数のサブパーツから構成され得る。これらのテクセルは、一緒になってサーフェスを構成するテクセル配列を生成するブロック（例えば、矩形ブロック）であってもよい。一例として、限定されるものではないが、これらはサーフェスを構成する連続ブロックであってもよい。例示を目的として、サーフェスのテクセルは、画像のピクセルに類似するものとして概念化され得る。サーフェスは、任意の適切なデバイスによって生成され得る。一例として、限定されるものではないが、初期シーンを生成したウェアラブルデバイスまたはハンドヘルドデバイスのＣＰＵまたはＧＰＵも、シーンのための１つまたは複数のサーフェスを生成し得る。別の例として、限定されるものではないが、ＨＭＤのオンボードコンピューティングシステムは、別個のコンピューティングシステムから（例えば、ウェアラブルデバイス、ハンドヘルドデバイス、またはラップトップデバイスのＣＰＵまたはＧＰＵから）初期シーンを受信した後に、１つまたは複数のサーフェスを生成し得る。特定の実施形態では、効率的な目的のためにビュー（例えば、１６個のサーフェス）に対して生成される所定の最大数のサーフェスがあってもよい。

［４２］ 図１Ａ～図１Ｉは、サーフェスによって表され得るオブジェクトを含むシーンの例を示す。特定の実施形態において、３つのタイプのサーフェス、すなわち、画像サーフェス、ラベルサーフェス、およびマスクサーフェスが存在し得る。画像サーフェスは、例えば、ビデオフレーム、静止画像、またはＧＰＵによってレンダリングされるシーンのような、シェーディングされた画像をレンダリングするために使用されてもよい。一例として、限定されるものではないが、図１Ａを参照すると、静止画像１１０（例えば、それを見ているユーザに基づいて変化する仮想のカスタマイズされた掲示板）は、画像サーフェスによって表されてもよい。別の例として、限定されるものではないが、図１Ｂを参照すると、動的ビデオ１２０（例えば、物理的オブジェクトに「取り付けられ」、適切にワーピングされたＡＲテレビ）の各フレームは、画像サーフェスによって表されてもよい。別の例として、限定されるものではないが、図１Ｃを参照すると、アバター１３０などのいくつかのアバター（例えば、シーンに配置された写実的なアバター）は、画像サーフェスによって表されてもよい。別の例として、限定されるものではないが、図１Ｄを参照すると、コラボレーションを容易にするために複数の視聴者に同時に示される動的オブジェクト１４０（例えば、建物の動的３Ｄモデル）は、画像サーフェスによって表されてもよい。特定の実施形態では、画像サーフェスは、そのテクセルの１つまたは複数に対するＲＧＢ（赤－緑－青）成分を記憶し得る。特定の実施形態では、画像サーフェスは、そのテクセルの１つまたは複数に対するＲＧＢＡ（赤－緑－青－アルファ）成分を記憶する。アルファ成分は、テクセルにふさわしい透明度のレベルを指定する値になり得る。一例として、限定されるものではないが、アルファ値０は、テクセルが完全に透明であることを示し、アルファ値１は、テクセルが不透明であることを示し、中間のアルファ値は、中間の透明度レベルを示す（正確な透明度レベルは、値によって決定される）。画像サーフェスは、任意の適切な画像フォーマットをサポートし得る。一例として、限定されるものではないが、画像サーフェスは、４ビットから１０ビットのＲＧＢ成分サイズを有する１６ビットおよび３２ビットのピクセルフォーマットの両方をサポートし得る。特定の実施形態では、各画像フォーマットは、（例えば、透明領域を可能にするために）アルファ値を記憶するための少なくとも１ビットを有してもよい。

［４３］ 特定の実施形態では、ラベルサーフェスは符号付きの距離および色インデックスを記憶し、例えば、テキスト、グリフ（ｇｌｙｐｈｓ）およびアイコンなどのソリッドカラー領域を含むオブジェクトをレンダリングするために使用される。一例として、限定されるものではないが、図１Ｅを参照すると、ＡＲブック１５０は、１つまたは複数のラベルサーフェスによって表され得るテキストを含み得る。特定の実施形態では、サーフェスは、シーン内のオブジェクト（例えば、静止オブジェクトまたは移動オブジェクト）に固定されてもよく、空間内に固定されてもよく、あるいはユーザの頭部に対して固定されてもよい（例えば、シーン内の特定のオブジェクトに固定されず、ユーザの頭部と共に移動するように）。図１Ｅに示す例では、テキストラベルサーフェスは、ＡＲブック１５０または他の任意の適切なオブジェクトに対して固定され得る。別の例として、限定されるものではないが、図１Ｆを参照すると、テキストとマルチカラーの組み合わせで要素を示す周期律表が、１つまたは複数のラベルサーフェスによって表されてもよい。この例では、周期律表は、ユーザの頭部に対して表示されてもよい（例えば、周期律表がシーン内の任意の特定のオブジェクトに固定されず、むしろユーザの頭部と共に移動するように）。別の例として、限定されるものではないが、図１Ｇを参照すると、ナビゲーション目的のための異なるバス経路に関連する異なる色のラインおよび関連するテキストが、１つまたは複数のラベルサーフェスによって表されてもよく、これは、空間内で、またはオブジェクトに関して固定されてもよい。別の例として、限定されるものではないが、図１Ｈを参照すると、バスに関する拡張情報（例えば、乗車率、到着時刻、次のバス停に関する情報）を含むテキストは、オブジェクト（例えば、図１Ｈのバス）に関して固定され得る１つまたは複数のラベルサーフェスによって表されてもよい。ラベルサーフェスは、任意の適切なフォーマットになり得る。一例として、限定されるものではないが、ラベルサーフェスは、例えば、６ビットの距離フィールド値および２ビットインデックスを含むテクセル当たり８ビットを記憶する。別の例として、限定されるものではないが、デュアルラベルサーフェスは、２つの符号付き距離関数の指定を可能にするため、ラベルテクセル当たり１６ビット（例えば、第１の６ビット距離フィールドおよび第１の２ビットインデックス、ならびに第２の６ビット距離フィールドおよび第２の２ビットインデックス）を記憶することができる。特定の実施形態では、これらの例におけるインデックスは、補間された距離の上位ビットに応じて、使用するＲＧＢＡカラーを検索するために使用される。

［４４］ 特定の実施形態では、マスクサーフェスは、その背後にあるサーフェスを遮蔽するために使用されるアルファ値（例えば、１の値）を記憶する。一例として、限定されるものではないが、図１Ｉを参照すると、マスクサーフェスは、ユーザの（現実世界の）手１７０がＡＲオブジェクト１６０の前を通過するときに、ＡＲオブジェクト１６０を表すサーフェスの一部を遮蔽することができる。

［４５］ 図２は、シーンのビュー内に表示されるオブジェクトの視覚情報および位置情報を決定するための第１の「レイキャスティング」処理を示す。この例ではレイキャスティングが使用されているが、レイトレーシングなどの他のレンダリング技法を使用することもできる。特定の実施形態では、第１のコンピューティングシステム（例えば、ラップトップ、携帯電話、デスクトップ、ウェアラブルデバイス）は、シーンのビューをレンダリングするために、この第１のレイキャスティング処理を実行してもよい。シーンの「ビュー」は、例えば、ＨＭＤの現在の位置および向きに基づいて決定され得る、シーンのユーザの視界を指してもよい。オブジェクトがビュー内にどのように表示されるかを理解するには、視点（例えば、ＨＭＤ上のシーンを見ているユーザの視点を表すことができる「仮想カメラ」）からスクリーン上のピクセル（例えば、単眼用のＨＭＤ上のディスプレイに対応する）に発散される多数の仮想光線を想像することが有用である。一例として、限定されるものではないが、図２を参照すると、仮想光線２３０は、視点２２０から発散され、スクリーン２１０のピクセル２１５と交差する（例えば、ＨＭＤの２つのアイピースのうちの１つの表示に対応する）。別の例として、限定されるものではないが、仮想光線２６０はピクセル２７０と交差する。仮想光線は、本明細書で「レイキャスティング処理」と称されるものを使用して、スクリーンのピクセルのすべて（または少なくとも一部）に対して繰り返し投射され、各ピクセルが表示すべきもの（例えば、ピクセルの色および透明度）を決定することができる。特定の実施形態では、図２に示すこの第１のレイキャスティング処理は、最終的にユーザにビューを表示するＨＭＤとは別個のコンピューティングシステム（例えば、ウェアラブルデバイス、ハンドヘルドデバイス、ラップトップ）によって実行されてもよい。コンピューティングシステムは、レイキャスティング処理を実行し、仮想光線の各々が（例えば、ポリゴンから構成される３Ｄモデルによって定義される）オブジェクトと交差するかどうかを判定し、（交差する場合に）仮想光線がオブジェクト上のどこと交差するかをさらに決定することができる。一例として、限定されるものではないが、仮想光線２３０は、交点２５５でオブジェクト２５０（例えば、ＡＲ時計）と交差する。この例では、コンピューティングシステムは、光線２３０もピクセル２１５でスクリーン２１０と交差するので、ピクセル２１５が交点２５５に関連付けられていると判定することができる。別の例として、限定されるものではないが、仮想光線２６０（歪み／収差を考慮するための進路補正に従う）は、オブジェクト２５０と交差しないこともある。この例では、コンピューティングシステムは、ピクセル２１５をオブジェクト２５０に関連付けるべきではないと判定することができる。このレイキャスティング処理の使用は、所与のビュー内で見ることができるオブジェクト（またはその一部）を決定するために使用され得るので、本明細書では「可視性テスト」と称されることがある。レイキャスティング処理は、最終的に、スクリーンのピクセルを、シーンのビューに対して見ることができる任意のオブジェクト上の交点に関連付けるために使用され得る。

［４６］ 図３は、オブジェクト（例えば、オブジェクト２５０）の２Ｄ表現をサーフェスに変換する概念を示す。特定の実施形態では、第１のレイキャスティング処理は、シーンのビュー内に表示されるべきオブジェクトの２Ｄ表現を生成するために使用され得る。ビューは、例えば、ユーザの頭部に取り付けられたＨＭＤの現在の位置および向きに基づいて決定されてもよい。オブジェクトの２Ｄ表現は、ビュー内に現れるべきオブジェクトを表すことができ、したがって、ビューからのオブジェクトのユーザの視界を考慮することができる。一例として、限定されるものではないが、図２および図３を参照すると、２Ｄ表現３１０は、オブジェクト２５０の左に立っているユーザの視界からのオブジェクト２５０のビューを反映することができる（例えば、視点２２０をオブジェクト２５０の左にする）。この例では、この視界からオブジェクト２５０がどのように見えるかを決定するために、視点２２０から第１のレイキャスティング処理を実行することができる。この第１のレイキャスティング処理の結果は、レイキャスティング処理からの仮想光線が第１のレイキャスティング処理でオブジェクト２５０とどのように交差するかの結果として、（例えば、２Ｄ表現３１０に示されるように）歪んだ画像を生成することがあり、視点２２０からオブジェクト２５０がどのように見えるかを反映する。特定の実施形態では、本明細書の他の箇所で説明されるように、コンピューティングシステム（例えば、ＨＭＤとは別個のコンピューティングシステム、ＨＭＤのオンボードコンピューティングシステム、または他の任意の適切なコンピューティングシステム）は、２Ｄ表現をサーフェスに変換する。一例として、限定されるものではないが、図３を参照すると、２Ｄ表現３１０は、視覚情報（ＲＧＢＡ）（例えば、テクスチャとして）およびシーンの３Ｄ空間内のサーフェスの位置（例えば、視聴者のビュー座標で指定される）を記述する位置情報を符号化する画像サーフェスになり得るサーフェス３２０に変換されてもよい。

［４７］ 図４は、シーンの視点からの表示のためにサーフェスをポストワーピングまたは再サンプリングするための第２のレイキャスティング処理の例示的な概念化を示す。特定の実施形態では、ＨＭＤのオンボードコンピューティングシステム（または他の何らかの適切な第２のコンピューティングシステム）は、サーフェスに関連する情報に基づいて、サーフェスがどのように表示されるべきかを決定する。特定の実施形態では、１つまたは複数のサーフェスは、シーンに関連する３Ｄ空間内の特定の位置にそれらを配置する位置情報を含む。一例として、限定されるものではないが、図４を参照すると、サーフェス４５０は、関連する位置情報に基づいて、図示された位置に配置されてもよい。この例では、サーフェスは、視聴者に対して様々な深さを有する３Ｄ時計を描くように見えることがあるが（例えば、９時の領域は、３時の領域よりも視聴者から離れて見えることがある）、サーフェスは、特定の実施形態では、視聴者に面している平坦なサーフェスであることがある（例えば、少なくとも最初に視点が変化する前に、その法線ベクトルは視聴者の方向を指している）。オブジェクトの任意の視覚的表現は、サーフェスのテクスチャデータの一部として記憶されてもよい。

［４８］ 特定の実施形態では、サーフェスの各テクセルは、それがどこに配置されるべきかを特定する関連の位置情報を有する。特定の実施形態では、第１のレイキャスティング処理と同様に、第２のレイキャスティング処理が、ビューをレンダリングするためにＨＭＤのコンピューティングシステムによって実行されてもよい。この第２のレイキャスティング処理は、どのサーフェスがビュー内で見えるか、およびサーフェスがビュー内のどこに位置するかを決定するために、可視性テストを実行するために使用されてもよい。一例として、限定されるものではないが、図４を参照すると、仮想光線４３０は、視点４２０から発散され、スクリーン４１０のピクセル４１５（例えば、ＨＭＤの２つのアイピースのうちの１つのディスプレイ）と交差する。別の例として、限定されるものではないが、仮想光線４６０はピクセル４７０と交差し得る。特定の実施形態では、ＨＭＤのコンピューティングシステムは、ＨＭＤの光学構造（例えば、ＨＭＤのレンズ）によって導入される歪みおよび／または他の収差（例えば、色収差）を考慮することができる。歪み／収差は、数学的に補正することができる。この補正は、図４に示されるように、仮想光線（例えば、仮想光線４３０、仮想光線４６０）が、歪み／収差を説明するために数学的に進路補正する歪みメッシュ４４０を、仮想光線が通って進むプロセスとして概念的に表されてもよい。サーフェス４５０の位置情報に基づいて、コンピューティングシステムは、仮想光線の各々がサーフェス４５０（または任意の他のサーフェス）と交差するかどうかを判定することができ、（交差する場合には）仮想光線がサーフェス４５０上のどこで交差するかを決定することができる。一例として、限定されるものではないが、（歪み／収差を説明するための進路補正に続いて）仮想光線４３０は、交点４５５でサーフェス４５０と交差することがある。別の例として、限定されるものではないが、仮想光線４６０（歪み／収差を説明するための進路補正に続いて）は、サーフェス４５０または他のサーフェスと交差しないことがある。

［４９］ 例示のために、図２～図５に示された時計の例を使用して、例示的な使用事例をここで説明する。図２の第１のレイキャスティング／トレーシング処理は、特定の時刻（例えば、１２時４２分２２秒）で第１の視点のための時計の画像をレンダリングしてもよい。これは、フレームがラップトップ、またはＨＭＤとは別個の身体上のウェアラブルデバイスなど、別の適切な第１のコンピューティングシステムによって生成される時刻であってもよい。その時刻から、ラップトップによって次のフレームが生成されるまで（説明のため、１秒あたり１フレームで生成されてもよい）、ユーザの視点は２番目の視点に変わる可能性がある。変化を考慮するため、シーンの調整が必要になることがある。しかしながら、第１のボディシステムは、十分に迅速に（例えば、１／２００秒で）別のシーンをレンダリングできない場合がある。したがって、シーン全体をゼロからレンダリングするのではなく、（例えば、ＨＭＤの慣性測定ユニットに基づいて決定され得るような）ＨＭＤの最新の位置および向きによって決定されるような最新の視点情報に基づいて、ならびに、任意選択で（例えば、視線追跡によって決定され得る）ユーザの注視に基づいて、ＨＭＤには、ラップトップによって生成された（依然として１２時４２分２２秒を示す）時計画像に対応するサーフェス（例えば、図３のサーフェス３２０）をワーピングするタスクが課されてもよい。これは、図４～図５に示されるレイキャスティングおよびサンプリング処理によって示される。ＨＭＤは、次のフレームがラップトップによって生成されるまで（例えば、１フレーム／秒でレンダリングされている場合、１２時４２分２３秒の時刻を示す時計を用いて）、このようにしていくつかのサブフレームを生成し得る。

［５０］ 特定の実施形態では、第１および／または第２のレイキャスティング処理は、（例えば、眼の相対位置に基づいて）視点の僅かな変化を考慮するために、ユーザの各眼に対して別々に実行される。一例として、限定されるものではないが、第１および第２のレイキャスティング処理は、左眼に関連するスクリーンおよび右眼に関連するスクリーンに対して実行されてもよい。これらの処理は互いに独立して実行され、相互に同期していない場合もある。

［５１］ 図５は、交点に対応する視覚情報を識別する概念化を示す。特定の実施形態では、ＨＭＤのコンピューティングシステムは、サーフェスに関連する視覚情報に基づいて、オブジェクト（例えば、時計）を描写するワーピングされたサーフェスをスクリーン（例えば、片眼用のスクリーン）上に表示し得る。特定の実施形態では、ＨＭＤのコンピューティングシステムは、対応するテクセルアレイ上の交点の位置を決定することにより、交点に関連する視覚情報（例えば、ＲＧＢＡ情報）を決定し得る。一例として、限定されるものではないが、図５を参照すると、サーフェス５１０（例えば、図４のサーフェス４５０であってもよい）は、サーフェス５１０のテクセル情報（例えば、ＲＧＢＡ情報）を含むテクセルアレイ５２０に対応してもよい。この例では、テクセルアレイは、サーフェス５１０の３Ｄ位置情報のいずれもなく、完全に２Ｄ空間内にあってもよく、これは、ピクセルに関連する仮想光線の交点の視覚情報を決定するのに必要な数学的処理を大幅に単純化できるという点で特に有益であり得る。その結果、決定に関わる計算タスクは、必要となるリソースを減らし、より迅速かつ効率的に行われ得る。一例として、限定されるものではないが、サーフェス５１０が配置される３Ｄビュー空間における３次元（ｘ，ｙ，ｚ）座標によって表される交点５１５は、テクセルアレイ５２０における２次元（ｕ，ｖ）座標に変換されてもよい。この例では、サーフェス５１０内の交点５１５は、テクセルアレイ５２０内のピクセルサンプリング点５２９に対応すると判定することができる。コンピューティングシステム（例えば、ＨＭＤのオンボードコンピューティングシステム）は、対応するテクセルアレイに関連する情報に基づいて、交点の視覚情報を決定することができる。一例として、限定されるものではないが、交点５１５のＲＧＢＡ情報は、テクセルアレイ５２０の対応するサンプリング点５２９に関連するＲＧＢＡ情報に基づいて決定され得る。

［５２］ 特定の実施形態では、サーフェスは、各テクセル内の離散的な数の点（例えば、テクセル５２５の単一のテクセル中心５２７）の情報のみを有してもよい。そのような場合、ＨＭＤのコンピューティングシステムは、特定のサンプリング点に関連する視覚情報（例えば、ＲＧＢＡ情報）を決定するために、１つまたは複数の補間（例えば、バイリニア補間またはトリリニア補間）または任意の他の適切な計算を実行してもよい。一例として、限定されるものではないが、コンピューティングシステムは、テクセル中心５２７および他の隣接するテクセル中心（例えば、サンプリング点５２９を取り囲む他の３つのテクセル中心）に関連するＲＧＢＡ情報を用いてサンプリング点５２９のバイリニア補間を実行し、サンプリング点５２９のＲＧＢＡ情報を決定し得る。ＨＭＤは、対応するピクセル内に、決定されたＲＧＢＡ情報に一致し得る色および透明度レベルを表示することができる。一例として、限定されるものではないが、図４および図５を参照すると、サンプリング点５２９は、ピクセル４１５に対応してもよく、その場合、サンプリング点５２９について決定されたＲＧＢＡ情報は、ピクセル４１５内に表示されるべき色および透明度レベルを決定するために使用されてもよい。限定されるものではないが、この例に基づくと、光線は、スクリーン４１０のすべてのピクセルについて投射され、光線がサーフェスと交差する任意の他の点（例えば、サーフェス４５０と交差する交点４８０、異なるサーフェスと関連付けられ得る仮想光線４６０の交点）についての視覚情報を表示することができる。

［５３］ 特定の実施形態では、ＨＭＤのコンピューティングシステムは、ＨＭＤの位置および向きを連続的または半連続的に追跡して（例えば、ＨＭＤ上またはＨＭＤを追跡するリモートデバイス上の慣性センサ、光学センサ、深さセンサおよび／または他のセンサを使用して）、所与の時刻にＨＭＤを装着したユーザの視界を決定する。特定の実施形態では、コンピューティングシステムは、（例えば、ユーザの注視に依存し得るＨＭＤのレンズから生じる歪みを調整するために）ユーザの眼の位置を連続的または半連続的に追跡してもよい。残念ながら、グラフィックスのレンダリングは、計算コストが高く、時間がかかるため、新しいフレームを瞬時に生成することはできない。視界の変化を反映するようにディスプレイを更新する際に相当な待ち時間がある場合には、ユーザは待ち時間を認知し、感覚的不調和を感じることがある。本明細書の他の箇所でさらに説明されるように、この感覚的不調和は、仮想現実酔いなどのユーザにとって不快な影響の一因となるか、もしくはユーザ体験を中断させることがある。この不調和を防止するためには、ユーザに表示されるものは、視界の中できわめて迅速な変更を考慮する必要があろう。一例として、限定されるものではないが、シーンのビューは、１／２００秒毎に修正される必要がある（例えば、これを超える待ち時間は、許容できない長さとしてユーザに認知され得るからである）。多くの場合、コンピューティングシステムがこのような迅速なペースで、（例えば、ポリゴンから）ビュー全体を再レンダリングして、視界の変化を考慮することは、実用的でないか、または実行不可能なことがある。したがって、ビューに対する変更を迅速に近似する独創的な便法が要求されよう。

［５４］ 特定の実施例では、ビューに対する変化を近似するための便法の１つは、（ビュー全体を再レンダリングするのではなく）ビュー内のサーフェスを「再サンプリング」することを含み得る。特定の実施形態では、再サンプリングは、調整された視界からサーフェスがどのように見えるかを近似するために、さらなるレイキャスティング処理の実行を含み得る。ビュー内の限られた数のサーフェス（例えば、１６個のサーフェス）の単純な再サンプリングに的を絞ることによって、ビューを迅速かつ十分に修正して、ユーザによる待ち時間の認知を防止または低減することができる。一例として、限定されるものではないが、さらなる第２のレイキャスティング処理は、（例えば、ＨＭＤの位置又は向きの変化により）起こり得る視界の変化を考慮するために、１／２００秒毎に実行されてもよい。特定の実施形態では、ＨＭＤのオンボードコンピューティングシステムは、図４に関して上述したようなレイキャスティング処理を実行することにより、１つまたは複数のサーフェスを再サンプリングしてもよいが、今度は、視点４２０は、ユーザの最新の視界を反映するように調整される（例えば、異なる位置および／または向きに移動される）。先行するレイキャスティング処理以降、視界が変化した場合には、それに応じて、仮想光線はサーフェスの異なる点と交差することがある。一例として、限定されるものではないが、図４を参照すると、視点４２０が（わずかな頭部の動きの結果として）わずかに右にシフトした場合には、光線４３０の交点４５５は、それに対応して左にシフトし得る。このように再サンプリングに基づいてビューを修正することは、ビューが視界の変化によってどのように変更されるべきかの近似に過ぎず、この近似は、視界の比較的小さな変化に対してのみ機能し得る。しかし、目的はユーザのラップトップや携帯電話によって完全にレンダリングされたフレームが生成される間（例えば、１／１００秒のオーダー）の比較的短い時間で起こる変化を考慮することであるため、これで十分であろう。本質的に、これは、（例えば、ウェアラブルデバイスなどのより強力なコンピューティングシステムによって）ビューの再レンダリングが可能になるまでの一時的な修正であってもよい。一例として、限定されるものではないが、ＨＭＤから分離され得る強力なコンピューティングシステム（例えば、ユーザのベルト又はウエストラインに固定されたウェアラブルデバイス）は、１／６０秒毎にビューをゼロから再レンダリングすることができ、これらの再レンダリングされたビューを、レンダリングされるに連れてＨＭＤデバイスに送ることができる。この例では、ＨＭＤデバイスは、１／６０秒毎に再レンダリングされたビューを受信する間に、ユーザの視界内での急速な変化を考慮するために、それ自体で（例えば、１／２００秒毎に）サーフェスを修正することができる。

［５５］ 特定の実施形態において、照明条件の変化は、修正の効率および速度を高めるために、再サンプリング処理では無視されてもよい。照明の変化は、再サンプリング処理によって考慮される短い時間間隔、非常にごくわずかであるため、無視されても支障はないであろう。これは、既に実世界の照明が存在し、照明が、企図されている視界内の比較的小さな変化（例えば、１００分の１秒程度の短期間に発生する変化）よりも大きく変化しないであろうＡＲの状況において、特に当てはまるであろう。

［５６］ 本開示は、ＡＲ環境におけるＡＲオブジェクトに焦点を当てているが、ＶＲ環境におけるＶＲオブジェクトのレンダリングも考慮している。一例として、限定されるものではないが、ＶＲの場合、第１のコンピューティングシステム（例えば、ウェアラブルデバイス、ハンドヘルドデバイス、ラップトップ）は、ユーザに表示するためにＶＲ初期シーン全体をレンダリングすることができる。サーフェスは、シーン内のＶＲオブジェクトのために第１のコンピューティングシステムによって生成されてもよい。初期シーンおよびサーフェスは、ＶＲ ＨＭＤに送信されてもよく、ＶＲ ＨＭＤは、（例えば、本明細書の他の箇所でさらに説明されるように、ＨＭＤの位置および向きに基づいて）検出された視界内の変化に応答してサーフェスを修正することができる別個のコンピューティングシステムを含んでもよい。代替的な実施形態では、ＶＲ ＨＭＤは、初期シーンを単純に受信することができ、それ自体で、次に修正するシーンのためのサーフェスを生成することができる。

［５７］ 図６Ａは、サーフェスに基づいてフレームを生成するための例示的な方法６００を示す。この方法は、ステップ６１０で開始され、ビューの第１の視界が第１の時刻にレンダリングされる。ステップ６２０では、ビュー内の１つまたは複数のオブジェクトについてサーフェスが生成される。ステップ６３０では、第２の視界からのサーフェスの可視性を決定するため、第２の時刻に可視性テストが実行される。ステップ６４０では、可視性テストに基づいてディスプレイ用フレームが生成される。特定の実施形態は、必要に応じて、図６の方法の１つまたは複数のステップを繰り返してもよい。本開示は、図６の方法の特定のステップを特定の順序で発生するものとして説明し、例示するが、本開示は、任意の適切な順序で発生する図６の方法の任意の適切なステップを企図する。さらに、本開示は、図６の方法の特定のステップを含む、サーフェスに基づいてフレームを生成するための例示的な方法を説明し、例示するが、本開示は、適切な場合、図６の方法のステップのすべて、いくつかを含む、あるいは全く含まない、任意の適切なステップを含む、サーフェスに基づいてフレームを生成するための任意の適切な方法を企図する。さらに、本開示は、図６の方法の特定のステップを実行する特定の構成要素、デバイス、またはシステムを説明し、例示するが、本開示は、図６の方法の任意の適切なステップを実行する任意の適切な構成要素、デバイス、またはシステムの任意の適切な組み合わせを企図する。

［５８］ 図６Ｂは、サーフェスに基づいてサブフレームを生成するための例示的な方法６５０を示す。この方法は、ステップ６６０で開始され、１つまたは複数のコンピューティングシステムは、ユーザの第１の視点から仮想シーンを描写するレンダリングされたフレームにアクセスすることができる。レンダリグされたフレームは、仮想シーン内のオブジェクトの少なくとも１つの３Ｄモデルに基づいて生成され得る。ステップ６７０では、１つまたは複数のコンピューティングシステムは、レンダリングされたフレームに基づいて１つまたは複数のサーフェスを生成することができる。各サーフェスは、３Ｄ空間内に配置することができ、視覚情報を含む。ステップ６８０では、１つまたは複数のコンピューティングシステムは、３Ｄ空間内のユーザの第２の現在の視点を決定することができる。ステップ６８５では、１つまたは複数のコンピューティングシステムは、第２の視点から１つまたは複数のサーフェスの可視性を決定することができる。ステップ６９０では、１つまたは複数のコンピューティングシステムは、視覚情報および１つまたは複数のサーフェスの決定された可視性に基づいて、第２の視点から仮想シーンを描写するサブフレームをレンダリングすることができる。ステップ６９０によって示されるように、１つまたは複数のサーフェスに基づくサブフレーム生成プロセスは、新しいフレームが利用可能になるまで（ステップ６６０に戻る矢印によって表される）繰り返すことができる（ステップ６８０に戻る矢印によって表される）。

［５９］ 図７は、ディスプレイエンジン７００のシステム図を示す。ディスプレイエンジン７００は、４つのタイプのトップレベルブロックを備えることができる。図７に示すように、これらのブロックは、制御ブロック７１０、変換ブロック７２０ａおよび７２０ｂ、ピクセルブロック７３０ａおよび７３０ｂ、ならびにディスプレイブロック７４０ａおよび７４０ｂを含んでもよい。ディスプレイエンジン７００の構成要素のうちの１つまたは複数は、１つまたは複数の高速バス、共有メモリ、または任意の他の適切な方法を介して通信するように構成され得る。図７に示されるように、ディスプレイエンジン７００の制御ブロック７１０は、変換ブロック７２０ａおよび７２０ｂ、ならびにピクセルブロック７３０ａおよび７３０ｂと通信するように構成され得る。ディスプレイブロック７４０ａおよび７４０ｂは、制御ブロック７１０と通信するように構成され得る。本明細書でさらに詳細に説明するように、この通信は、データならびに制御信号、割り込み、および他の命令を含み得る。

［６０］ 特定の実施形態では、制御ブロック７１０は、一次レンダリング構成要素から入力データストリーム７６０を受信し、ディスプレイエンジン７００におけるパイプラインを初期化して、表示のためのレンダリングを終了する。特定の実施形態では、入力データストリーム７６０は、一次レンダリング構成要素からのデータおよび制御パケットを含む。データおよび制御パケットは、テクスチャデータおよび位置データならびに追加のレンダリング命令を含む１つまたは複数のサーフェスなどの情報を含むことができる。制御ブロック７１０は、必要に応じて、ディスプレイエンジン７００の１つまたは複数の他のブロックにデータを配信することができる。制御ブロック７１０は、表示されるべき１つまたは複数のフレームのためのパイプライン処理を開始することができる。特定の実施形態では、ＨＭＤは、複数のディスプレイエンジン７００を有し、各々は、それ自身の制御ブロック７１０を有し得る。

［６１］ 特定の実施形態では、変換ブロック７２０ａおよび７２０ｂは、人工現実シーンに表示されるサーフェスの初期可視性情報を決定し得る。一般に、変換ブロック（例えば、変換ブロック７２０ａおよび７２０ｂ）は、スクリーン上のピクセル位置から光線を投射し、フィルタコマンド（例えば、バイリニアまたは他のタイプの補間技術に基づくフィルタリング）を生成して、ピクセルブロック７３０ａおよび７３０ｂに送信することができる。変換ブロック７２０ａおよび７２０ｂは、（例えば、慣性測定ユニット、アイトラッカー、および／または、自己位置推定と環境地図作成の同時実行（ＳＬＡＭ）などの任意の適切な追跡／位置決めアルゴリズムを使用して決定される）ユーザの現在の視点から、サーフェスが位置決めされ、それぞれのピクセルブロック（７３０ａおよび７３０ｂ）に送る結果を生成し得る人工シーンへの、レイキャスティングを行ってもよい。

［６２］ 一般的に、特定の実施形態によれば、変換ブロック７２０ａおよび７２０ｂは各々、４ステージパイプラインを備えることができる。変換ブロックのステージは、以下のように進行し得る。レイキャスタは、タイルと称される１つまたは複数の位置合わせされたピクセルのアレイ（例えば、各タイルは、１６×１６の位置合わせされたピクセルを含み得る）に対応する光線束を発することができる。光線束は、人工現実シーンに入る前に、１つまたは複数の歪みメッシュに従ってワーピングされてもよい。歪みメッシュは、少なくとも、ＨＭＤのディスプレイ７５０ａおよび７５０ｂから生じる幾何学的歪み効果を補正するように構成することができる。変換ブロック７２０ａおよび７２０ｂは、各タイルの境界ボックスを各サーフェスの境界ボックスと比較することによって、各光線束がシーン内のサーフェスと交差するかどうかを判定することができる。光線束がオブジェクトと交差しない場合、それは廃棄されてもよい。タイル－サーフェスの交点が検出され、対応するタイル－サーフェスペア７２５ａおよび７２５ｂがピクセルブロック７３０ａおよび７３０ｂに渡される。

［６３］ 一般的に、特定の実施形態によれば、ピクセルブロック７３０ａおよび７３０ｂは、タイル－サーフェスペア７２５ａおよび７２５ｂからカラー値を決定し、ピクセルカラー値を生成する。各ピクセルのカラー値は、制御ブロック７１０によって受信され記憶されたサーフェスのテクスチャデータから（例えば、入力データストリーム７６０の一部として）サンプリングされる。ピクセルブロック７３０ａおよび７３０ｂは、変換ブロック７２０ａおよび７２０ｂからタイル－サーフェスペア７２５ａおよび７２５ｂをそれぞれ受け取り、バイリニアフィルタリングを予定する。各タイル－サーフェスペア７２５ａおよび７２５ｂについて、ピクセルブロック７３０ａおよび７３０ｂは、投影されたタイルがサーフェスと交差する場所に対応するカラー値を使用して、タイル内のピクセルについてのカラー情報をサンプリングしてもよい。特定の実施形態では、ピクセルブロック７３０ａおよび７３０ｂは、各ピクセルに対して赤、緑および青の色成分を別々に処理する。次いで、ピクセルブロック７３０ａおよび７３０ｂは、ピクセルカラー値７３５ａおよび７３５ｂをそれぞれ出力して、ブロック７４０ａおよび７４０ｂを表示することができる。

［６４］ 一般的に、ディスプレイブロック７４０ａおよび７４０ｂは、ピクセルブロック７３０ａおよび７３０ｂからピクセルカラー値７３５ａおよび７３５ｂを受け取り、ディスプレイのスキャンライン出力により適するようにデータのフォーマットを変換し、ピクセルカラー値７３５ａおよび７３５ｂに１つまたは複数の輝度補正を適用し、ディスプレイ７５０ａおよび７５０ｂに出力するためにピクセルカラー値７３５ａおよび７３５ｂを準備することができる。ディスプレイブロック７４０ａおよび７４０ｂは、ピクセルブロック７３０ａおよび７３０ｂによって生成されたタイル順のピクセルカラー値７３５ａおよび７３５ｂを、ディスプレイ７５０ａおよび７５０ｂによって必要とされ得るスキャンライン順または行順のデータに変換し得る。輝度補正は、必要な任意の輝度補正、ガンママッピング、およびディザリングを含んでもよい。ディスプレイブロック７４０ａおよび７４０ｂは、補正されたピクセルカラー値などのピクセル出力７４５ａおよび７４５ｂを、直接ディスプレイ７５０ａおよび７５０ｂに提供してもよく、あるいは、ピクセル出力７４５ａおよび７４５ｂを、さまざまな形式でディスプレイエンジン７００の外部のブロックに提供してもよい。例えば、ＨＭＤは、バックエンドカラー処理をさらにカスタマイズするため、ディスプレイへのより広いインターフェースをサポートするため、あるいはディスプレイの速度または忠実度を最適化するために、追加のハードウェアまたはソフトウェアを備えることができる。

［６５］ 図８は、例示的なコンピュータシステム８００を示す。特定の実施形態では、１つまたは複数のコンピュータシステム８００は、本明細書に記載または図示された１つまたは複数の方法のうちの１つ以上のステップを実行する。特定の実施形態では、１つまたは複数のコンピュータシステム８００は、本明細書に記載または図示された機能を提供する。特定の実施形態では、１つまたは複数のコンピュータシステム８００上で動作するソフトウェアは、本明細書に記載または図示された１つまたは複数の方法のうちの１つ以上のステップを実行し、あるいは本明細書に記載または図示された機能を提供する。特定の実施形態は、１つまたは複数のコンピュータシステム８００の１つまたは複数の部分を含む。ここで、コンピュータシステムへの言及は、必要に応じて、コンピューティングデバイスを包むことがあり、その逆もあり得る。さらに、コンピュータシステムへの言及は、必要に応じて、１つまたは複数のコンピュータシステムを包み得る。

［６６］ 本開示は、任意の適切な数のコンピュータシステム８００を企図する。本開示は、任意の適切な物理的形態をとるコンピュータシステム８００を企図する。一例とし、限定されるものではないが、コンピュータシステム８００は、組み込みコンピュータシステム、システムオンチップ（ＳＯＣ）、シングルボードコンピュータシステム（ＳＢＣ）（例えば、コンピュータオンモジュール（ＣＯＭ）またはシステムオンモジュール（ＳＯＭ）など）、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、インタラクティブキオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯型情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、拡張／仮想現実デバイス、またはこれらの２つ以上の組み合わせであってもよい。必要に応じて、コンピュータシステム８００は、１つまたは複数のコンピュータシステム８００を含むことができ、単独または分散型で、複数の位置にまたがり、複数のマシンにまたがり、複数のデータセンタにまたがり、あるいは、１つまたは複数のネットワーク内に１つまたは複数のクラウド構成要素を含み得るクラウド内に存在することができる。必要に応じて、１つまたは複数のコンピュータシステム８００は、実質的に空間的または時間的な制限なしに、本明細書で説明または図示される１つまたは複数の方法の１つまたは複数のステップを実行することができる。一例とし、限定されるものではないが、１つまたは複数のコンピュータシステム８００は、リアルタイムまたはバッチモードで、本明細書に記載または図示された１つまたは複数の方法のうちの１つ以上のステップを実行することができる。１つまたは複数のコンピュータシステム８００は、必要に応じて、本明細書で説明または図示される１つまたは複数の方法のうちの１つ以上のステップを、異なる時刻に、または異なる位置で実行することができる。

［６７］ 特定の実施形態では、コンピュータシステム８００は、プロセッサ８０２、メモリ８０４、記憶装置８０６、入出力（Ｉ／Ｏ）インターフェース８０８、通信インターフェース８１０、およびバス８１２を含む。本開示は、特定の構成において特定の数の特定の構成要素を有する特定のコンピュータシステムを説明し、例示するが、本開示は、任意の適切な構成において任意の適切な数の任意の適切な構成要素を有する任意の適切なコンピュータシステムを企図する。

［６８］ 特定の実施形態では、プロセッサ８０２は、コンピュータプログラムを構成するような命令を実行するためのハードウェアを含む。一例として、限定されるものではないが、命令を実行するために、プロセッサ８０２は、内部レジスタ、内部キャッシュ、メモリ８０４、または記憶装置８０６から命令を検索（またはフェッチ）し、それらをデコードして実行し、１つまたは複数の結果を内部レジスタ、内部キャッシュ、メモリ８０４、または記憶装置８０６に書き込むことができる。特定の実施形態では、プロセッサ８０２は、データ、命令、またはアドレスのための１つまたは複数の内部キャッシュを含むことができる。本開示は、必要に応じて、任意の適切な数の任意の適切な内部キャッシュを含むプロセッサ８０２を企図する。一例として、限定されるものではないが、プロセッサ８０２は、１つまたは複数の命令キャッシュ、１つまたは複数のデータキャッシュ、および１つまたは複数のトランスレーションルックアサイドバッファ（ＴＬＢ）を含み得る。命令キャッシュ内の命令は、メモリ８０４または記憶装置８０６内の命令のコピーであってよく、命令キャッシュは、プロセッサ８０２によるそれらの命令の検索を高速化し得る。データキャッシュ内のデータは、プロセッサ８０２で実行される命令のためのメモリ８０４または記憶装置８０６内のデータのコピー、プロセッサ８０２で実行される後続の命令によるアクセス、またはメモリ８０４または記憶装置８０６への書き込みのためにプロセッサ８０２で実行される前の命令の結果、または他の適切なデータであってもよい。データキャッシュは、プロセッサ８０２による読み出しまたは書き込み動作を高速化し得る。ＴＬＢは、プロセッサ８０２に対する仮想アドレス変換を高速化し得る。特定の実施形態では、プロセッサ８０２は、データ、命令、またはアドレスのための１つまたは複数の内部レジスタを含んでもよい。本開示は、必要に応じて、任意の適切な数の任意の適切な内部レジスタを含むプロセッサ８０２を企図する。必要に応じて、プロセッサ８０２は、１つまたは複数の算術論理演算ユニット（ＡＬＵ）を含むことができ、マルチコアプロセッサであってよく、あるいは、１つまたは複数のプロセッサ８０２を含み得る。本開示は、特定のプロセッサを説明し、例示するが、本開示は、任意の適切なプロセッサを企図する。

［６９］ 特定の実施形態では、メモリ８０４は、プロセッサ８０２が実行する命令、またはプロセッサ８０２が動作するためのデータを記憶するためのメインメモリを含む。一例として、限定されるものではないが、コンピュータシステム８００は、記憶装置８０６または別のソース（例えば、別のコンピュータシステム８００など）からメモリ８０４に命令をロードしてもよい。次に、プロセッサ８０２は、メモリ８０４から内部レジスタまたは内部キャッシュに命令をロードすることができる。命令を実行するために、プロセッサ８０２は、内部レジスタまたは内部キャッシュから命令を検索し、それらをデコードすることができる。命令の実行中または実行後に、プロセッサ８０２は、１つまたは複数の結果（中間結果または最終結果であってもよい）を内部レジスタまたは内部キャッシュに書き込んでもよい。次に、プロセッサ８０２は、これらの結果のうちの１つまたは複数をメモリ８０４に書き込むことができる。特定の実施形態では、プロセッサ８０２は、（記憶装置８０６などとは対照的に）１つまたは複数の内部レジスタまたは内部キャッシュまたはメモリ８０４内の命令のみを実行し、（記憶装置８０６などとは対照的に）１つまたは複数の内部レジスタまたは内部キャッシュまたはメモリ８０４内のデータに対してのみ動作する。１つまたは複数のメモリバス（各々がアドレスバスおよびデータバスを含み得る）は、プロセッサ８０２をメモリ８０４に連結することができる。バス８１２は、以下で説明するように、１つまたは複数のメモリバスを含み得る。特定の実施形態では、１つまたは複数のメモリ管理ユニット（ＭＭＵ）は、プロセッサ８０２とメモリ８０４との間に常駐し、プロセッサ８０２によって要求されるメモリ８０４へのアクセスを容易にする。特定の実施形態では、メモリ８０４は、ランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、必要に応じて、揮発性メモリであってもよい。必要に応じて、このＲＡＭはダイナミックＲＡＭ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）であってもよい。さらに、必要に応じて、このＲＡＭはシングルポートＲＡＭまたはマルチポートＲＡＭであってもよい。本開示は、任意の適切なＲＡＭを企図する。メモリ８０４は、必要に応じて、１つまたは複数のメモリ８０４を含み得る。本開示は、特定のメモリを説明し、例示するが、本開示は、任意の適切なメモリを企図する。

［７０］ 特定の実施形態では、記憶装置８０６は、データまたは命令のための大容量記憶装置を含む。一例として、限定されるものではないが、記憶装置８０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、またはユニバーサルシリアルバス（ＵＳＢ）ドライブ、あるいはこれらの２つ以上の組み合わせを含み得る。記憶装置８０６は、必要に応じて、リムーバブルまたは非リムーバブル（または固定）媒体を含むことができる。記憶装置８０６は、必要に応じて、コンピュータシステム８００の内部にあっても外部にあってもよい。特定の実施形態では、記憶装置８０６は、不揮発性のソリッドステートメモリである。特定の実施形態では、記憶装置８０６は、読み出し専用メモリ（ＲＯＭ）を含む。必要に応じて、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的可変ＲＯＭ（ＥＡＲＯＭ）、またはフラッシュメモリ、あるいはこれらの２つ以上の組み合わせであってもよい。本開示は、任意の適切な物理的形態をとる大容量記憶装置８０６を企図する。記憶装置８０６は、適宜、プロセッサ８０２と記憶装置８０６との間の通信を容易にする１つまたは複数の記憶制御ユニットを含むことができる。必要に応じて、記憶装置８０６は、１つまたは複数の記憶装置８０６を含むことができる。本開示は、特定の記憶装置を説明し、例示するが、本開示は、任意の適切な記憶装置を企図する。

［７１］ 特定の実施形態では、Ｉ／Ｏインターフェース８０８は、コンピュータシステム８００と１つまたは複数のＩ／Ｏデバイスとの間の通信のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。コンピュータシステム８００は、必要に応じて、これらのＩ／Ｏデバイスのうちの１つまたは複数を含み得る。これらのＩ／Ｏデバイスのうちの１つまたは複数が、人とコンピュータシステム８００との間の通信を可能にし得る。一例として、限定されるものではないが、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカ、スチルカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の適切なＩ／Ｏデバイス、またはこれらの２つ以上の組み合わせを含む。Ｉ／Ｏデバイスは、１つまたは複数のセンサを含み得る。本開示は、任意の適切なＩ／Ｏデバイスおよびそれらのための任意の適切なＩ／Ｏインターフェース８０８を企図する。必要に応じて、Ｉ／Ｏインターフェース８０８は、プロセッサ８０２がこれらのＩ／Ｏデバイスの１つまたは複数を駆動することを可能にする１つまたは複数のデバイスまたはソフトウェアドライバを含み得る。Ｉ／Ｏインターフェース８０８は、必要に応じて、１つまたは複数のＩ／Ｏインターフェース８０８を含み得る。本開示は、特定のＩ／Ｏインターフェースを説明し、例示するが、本開示は、任意の適切なＩ／Ｏインターフェースを企図する。

［７２］ 特定の実施形態では、通信インターフェース８１０は、コンピュータシステム８００と１つまたは複数の他のコンピュータシステム８００、あるいは、１つまたは複数のネットワークとの間の通信（例えば、パケットベースの通信）のための１つまたは複数のインターフェースを提供するハードウェア、ソフトウェア、またはその両方を含む。一例として、限定されるものではないが、通信インターフェース８１０は、イーサネットまたは他の有線ベースのネットワークと通信するためのネットワークインターフェースコントローラ（ＮＩＣ）またはネットワークアダプタ、あるいは、ＷＩ－ＦＩネットワークのような無線ネットワークと通信するための無線ＮＩＣ（ＷＮＩＣ）または無線アダプタを含んでもよい。本開示は、任意の適切なネットワークおよびそのための任意の適切な通信インターフェース８１０を企図する。一例として、限定されるものではないが、コンピュータシステム８００は、アドホックネットワーク、パーソナルエリアネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、またはインターネットの１つまたは複数の部分、あるいはこれらの２つ以上の組み合わせと通信することができる。これらのネットワークの１つまたは複数の部分は、有線または無線であってもよい。一例として、コンピュータシステム８００は、無線ＰＡＮ（ＷＰＡＮ）（例えば、ＢＬＵＥＴＯＯＴＨ ＷＰＡＮ）、ＷＩ－ＦＩネットワーク、ＷＩ－ＭＡＸネットワーク、携帯電話ネットワーク（例えば、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）ネットワークなど）、または他の適切な無線ネットワーク、あるいはこれらの２つ以上の組み合わせと通信することができる。コンピュータシステム８００は、必要に応じて、これらのネットワークのいずれかのための任意の適切な通信インターフェース８１０を含み得る。通信インターフェース８１０は、必要に応じて、１つまたは複数の通信インターフェース８１０を含み得る。本開示は、特定の通信インターフェースを説明し、例示するが、本開示は、任意の適切な通信インターフェースを企図する。

［７３］ 特定の実施形態では、バス８１２は、コンピュータシステム８００の構成要素を互いに連結するハードウェア、ソフトウェア、またはその両方を含む。一例として、限定されるものではないが、バス８１２は、高速グラフィックスポート（ＡＧＰ）または他のグラフィックスバス、拡張業界標準アーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ハイパートランスポート（ＨＴ）相互接続、業界標準アーキテクチャ（ＩＳＡ）バス、ＩＮＦＩＮＩＢＡＮＤ相互接続、ローピンカウント（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バス、ＰＣＩ－Ｅｘｐｒｅｓｓ（ＰＣＩｅ）バス、シリアルアドバンストテクノロジアタッチメント（ＳＡＴＡ）バス、ＶＥＳＡ（ビデオエレクトロニクススタンダードアソシエーション）ローカルバス（ＶＬＢ）、または他の適切なバス、あるいは、これらの２つ以上の組み合わせを含み得るバス８１２は、必要に応じて、１つまたは複数のバス８１２を含み得る。本開示は、特定のバスを説明し、例示するが、本開示は、任意の適切なバスまたは相互接続を企図する。

［７４］ 本明細書では、１つまたは複数のコンピュータ可読非一時記憶媒体は、１つまたは複数の半導体ベースまたは他の集積回路（ＩＣ）（たとえば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）など）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスケット、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、ＳＥＣＵＲＥ ＤＩＧＩＴＡＬカードまたはドライブ、任意の他の適切なコンピュータ可読非一時記憶媒体、あるいは、必要に応じてこれらの２つ以上の任意の適切な組合せを含むことができる。コンピュータ可読非一時記憶媒体は、必要に応じて、揮発性、不揮発性、または揮発性と不揮発性の組合せとすることができる。

［７５］ 本明細書では、「または」は、特に明示的に示されていない限り、または文脈によって特に示されていない限り、包括的であり、排他的ではない。したがって、本明細書では、「ＡまたはＢ」は、特に明示的に示されていない限り、または文脈によって特に示されていない限り、「Ａ、Ｂ、または両方」を意味する。さらに、「および」には、特に明示的に示されていない限り、または文脈によって特に示されていない限り、連携と個別の両方の意味がある。したがって、本明細書では、「ＡおよびＢ」は、特に明示的に示されていない限り、または文脈によって特に示されていない限り、「ＡおよびＢが、連携してまたは個別に」を意味する。

［７６］ 本開示の範囲は、当業者であれば理解するであろう、本明細書に記載または図示された例示的な実施形態に対するすべての変更、置換、変形、変更、および修正を包含する。本開示の範囲は、本明細書に記載または図示された例示的な実施形態に限定されない。さらに、本開示は、特定の構成要素、要素、特徴、機能、動作、またはステップを含むものとして本明細書でそれぞれの実施形態を記載および例示するが、これらの実施形態のいずれも、当業者であれば理解するであろう、本明細書に記載または例示される構成要素、要素、特徴、機能、動作、またはステップのいずれかの任意の組合せまたは順列を含み得る。さらに、添付の特許請求の範囲において、特定の機能を実行するように適合され、配置され、可能にされ、構成され、有効にされ、動作可能にされ、あるいは稼働される装置またはシステム、もしくは装置またはシステムの構成要素に関する言及は、当該の装置、システム、または構成要素が適合され、配置され、可能にされ、構成され、有効にされ、動作可能にされ、あるいは稼働される限り、その特定の機能が起動され、オンにされ、またはロック解除されるかどうかにかかわらず、当該の装置、システム、構成要素を包含する。加えて、本開示は、特定の利点を提供するものとして特定の実施形態を記載または例示するが、特定の実施形態は、これらの利点のいずれも提供しないか、いくつか、またはすべてを提供し得る。

Claims (15)

1. １つまたは複数のコンピューティングシステムによって、
   ユーザの第１の視点から仮想シーンを描写するレンダリングされたフレームであって、前記仮想シーン内のオブジェクトの少なくとも１つの３Ｄモデルに基づいて生成された、レンダリングされたフレームにアクセスすることと、
   前記レンダリングされたフレームに基づいて複数のサーフェスを生成することであって、前記サーフェスの各々が３Ｄ空間内に配置され、視覚情報を含む、複数のサーフェスを生成することと、
   前記３Ｄ空間内の前記ユーザの第２の視点を決定することと、
   前記第２の視点からの前記複数のサーフェスの可視性を決定することと、
   前記視覚情報および前記複数のサーフェスの決定された可視性に基づいて、前記第２の視点から前記仮想シーンを描写するサブフレームをレンダリングすることと、
   を含む方法。
2. 前記複数のサーフェスの各々の前記視覚情報はテクスチャであり、
   前記複数のサーフェスの前記決定された可視性は、前記第２の視点から見える前記複数のサーフェス上の点を識別し、
   前記サブフレームの前記レンダリングは、前記複数のサーフェス上の前記点に従って前記複数のサーフェスの各々の前記テクスチャをサンプリングすることを含む、請求項１に記載の方法。
3. 前記オブジェクトの前記３Ｄモデルはポリゴンを含み、
   前記レンダリングされたフレームは、前記ポリゴンの１つまたは複数と前記第１の視点から投射された光線との間の計算された交点に基づいて生成される、請求項１に記載の方法。
4. 前記レンダリングされたフレームは、前記オブジェクトの少なくとも前記３Ｄモデルに基づいて生成された複数のフレームのうちの１つであり、
   前記レンダリングされたサブフレームは、前記複数のサーフェスに基づいて生成された複数のサブフレームのうちの１つであり、
   前記複数のサブフレームは、前記レンダリングされたフレームの後であって、前記複数のフレームのうちの後続のフレームの前に、第１のフレームレートで生成され、
   前記複数のサブフレームは、前記第１のフレームレートよりも高い第２のフレームレートで生成される、請求項１に記載の方法。
5. 前記複数のサーフェスの前記可視性は、レイキャスティングを使用して決定され、
   前記レンダリングされたフレームは、レイトレーシングを使用して生成される、請求項１に記載の方法。
6. 前記レンダリングされたフレームは、前記オブジェクトの前記３Ｄモデルと、前記仮想シーン内の第２のオブジェクトの第２の３Ｄモデルとに基づいて生成され、
   前記複数のサーフェスのうちの少なくとも１つは、前記オブジェクトと前記第２のオブジェクトとの両方を描写する視覚情報を含む、請求項１に記載の方法。
7. 前記レンダリングされたフレームと前記サブフレームとが異なり、
   前記第１の視点と前記第２の視点とが異なる時点に決定される、請求項１に記載の方法。
8. 実行されると、
   ユーザの第１の視点から仮想シーンを描写するレンダリングされたフレームであって、前記仮想シーン内のオブジェクトの少なくとも１つの３Ｄモデルに基づいて生成されるレンダリングされたフレームにアクセスし、
   前記レンダリングされたフレームに基づく複数のサーフェスであって、前記サーフェスの各々は、３Ｄ空間内に配置され、視覚情報を含む複数のサーフェスを生成し、
   前記３Ｄ空間内の前記ユーザの第２の視点を決定し、
   前記第２の視点から前記複数のサーフェスの可視性を決定し、
   前記視覚情報および前記複数のサーフェスの決定された可視性に基づいて、前記第２の視点から前記仮想シーンを描写するサブフレームをレンダリングする、
   ように動作可能なソフトウェアを具現化する、１つまたは複数のコンピュータ可読非一時記憶媒体。
9. 前記複数のサーフェスの各々の前記視覚情報はテクスチャであり、
   前記複数のサーフェスの前記決定された可視性は、前記第２の視点から見える前記複数のサーフェス上の点を識別し、
   前記サブフレームの前記レンダリングは、前記複数のサーフェス上の前記点に従って前記複数のサーフェスの各々の前記テクスチャをサンプリングすることを含む、請求項８に記載の媒体。
10. 前記オブジェクトの前記３Ｄモデルはポリゴンを含み、
    前記レンダリングされたフレームは、前記ポリゴンの１つまたは複数と前記第１の視点から投射された光線との間の計算された交点に基づいて生成される、請求項８に記載の媒体。
11. 前記レンダリングされたフレームは、前記オブジェクトの少なくとも前記３Ｄモデルに基づいて生成された複数のフレームのうちの１つであり、
    前記レンダリングされたサブフレームは、前記複数のサーフェスに基づいて生成された複数のサブフレームのうちの１つであり、
    前記複数のサブフレームは、前記レンダリングされたフレームの後であって、前記複数のフレームのうちの後続のフレームの前に生成される、請求項８に記載の媒体。
12. １つまたは複数のプロセッサと、
    前記プロセッサのうちの１つまたは複数に連結され、前記プロセッサのうちの１つまたは複数によって実行されるときに動作可能な命令を備える１つまたは複数のコンピュータ可読非一時記憶媒体と、
    を備えるシステムであって、
    前記命令によって、
    ユーザの第１の視点から仮想シーンを描写するレンダリングされたフレームであって、前記仮想シーン内のオブジェクトの少なくとも１つの３Ｄモデルに基づいて生成された、レンダリングされたフレームにアクセスし、
    前記レンダリングされたフレームに基づく複数のサーフェスであって、前記サーフェスの各々が３Ｄ空間内に配置され、視覚情報を含む、複数のサーフェスを生成し、
    前記３Ｄ空間内の前記ユーザの第２の視点を決定し、
    前記第２の視点から前記複数のサーフェスの可視性を決定し、
    前記視覚情報および前記複数のサーフェスの決定された可視性に基づいて前記第２の視点から前記仮想シーンを描写するサブフレームをレンダリングする、システム。
13. 前記複数のサーフェスの各々の前記視覚情報は、テクスチャであり、
    前記複数のサーフェスの決定された可視性は、前記第２の視点から見える前記複数のサーフェス上の点を識別し、
    前記サブフレームの前記レンダリングは、前記複数のサーフェス上の前記点に従って前記複数のサーフェスの各々の前記テクスチャをサンプリングすることを含む、請求項１２に記載のシステム。
14. 前記オブジェクトの前記３Ｄモデルは、ポリゴンを含み、
    前記レンダリングされたフレームは、前記ポリゴンの１つまたは複数と前記第１の視点から投射された光線との間の計算された交点に基づいて生成される、請求項１２に記載のシステム。
15. 前記レンダリングされたフレームは、前記オブジェクトの少なくとも前記３Ｄモデルに基づいて生成された複数のフレームのうちの１つであり、
    前記レンダリングされたサブフレームは、前記複数のサーフェスに基づいて生成された複数のサブフレームのうちの１つであり、
    前記複数のサブフレームは、前記レンダリングされたフレームの後であって、前記複数のフレームのうちの後続のフレームの前に生成される、請求項１２に記載のシステム。
    

Images