JP2008507747A - シェーディング結果をモデルサーフェス表現に組み込むことにより動的ビュー角からの写実的三次元レンダリングを向上させる方法 - Google Patents

Abstract

本発明は、写実的三次元ビュー角のレンダリングを提供する。ライティング値は、選択されたビュー角について近似される。ライティングが固定された状況では、ビュー角について近似することで、複雑なサーフェスについて詳細な高次のライティングをレンダリングすることができる。固定されたビュー角の式において用いるために、サーフェスを表現する多項方程式がその係数について解かれる。光源の数が多過ぎる場合には、多項方程式では反射または拡散するサーフェスについてのみ効率的に計算することができる。
【選択図】図３

Description

本発明は、概しては、コンピュータプログラムにおける三次元レンダリングに関し、より詳細には、リアルタイムアプリケーションのために十分高速な三次元写実的レンダリングを向上させる方法に関する。

レイトレーシングやラジオシティなどのような、写実的三次元画像のレンダリングにおいて、ビュー角（viewing angle）が常に変化する場合には通常、大量の計算が必要であり、対話型アプリケーションに適用することは難しい。レイトレーシングは、観測者の目に入る異なる角度の光線のたどる軌跡を計算することにより写実的な画像を作り出す、コンピュータグラフィックにおいて用いられる技術である、と一般的に定義することができる。レイトレーシングは、光線が目までたどる道筋を模倣する。したがって、コンピュータはそれぞれの光線がどのように相互作用を起こすのかを計算する必要がある。

ラジオシティは、現実的なライティングを備えた三次元（3D）シーンのレンダリングのためのもう一つの技術である。ラジオシティマッピング（radiosity mapping）の背景にある理論は、概して、空間の一点についてラジオシティを事前計算（precalculating）して、オブジェクト上の他の全ての点に適用することにより、オブジェクト全体のラジオシティを近似できるというものである。これは主に、空間の近傍する点全てにおいて、ライティングがほぼ同じであることによる。ラジオシティのプログラムは、通常レイトレーシングのプログラムと補完関係にあり、ラジオシティのプログラムがレンダリングの前段階を構成する。

リアルタイムの写実的レンダリング性能の向上を試みて、これまでに多くの最適化の手法が用いられてきた。ほとんどの方法は、動的観点を扱うにあたって、モデルデータ構造のアップデートを最適化する。レイキャッシング（Ray-caching）やレンダーキャッシング（Render-caching）によるアプローチも似ているが、以前に見た角度に制限される。さらに、計算の高速化に近似が利用されていない。レイトレーシングを最適化するひとつの方法は、ライティングを固定し、ビュー角を固定することである。こうすることで、サーフェスが変わっても、以前に空間の点について計算した結果をキャッシュすることができる。しかしながら、ビュー角が変わるときには、その他のデータが変わらないとしても、レイトレーシングにおいては再びすべての三角形について横切る（traverse）ことを余儀なくされる。

他の最適化方法においては、特定の物質についての結果を事前計算することで、他の計算が不要となる。レイトレーシングにおける主な関心は、アルゴリズムを構成することにより、すべての三角形については、特に画面上に見えないものについては計算を不要とすることにある。

また他の最適化手法は、事前計算に似ているが、事前計算の方法と事前計算の結果を記憶する方法に違いがある。この手法は非特許文献１に記述されている。この手法は、ライティング環境の低変動次数（low variant order）を活用する。伝達スカラー関数とベクトル行列を事前計算することで、最終レンダリング段階を著しく高速化する。ただし、放射伝達関数とベクトル行列は実際のモデルサーフェスのサンプリング空間（sampled space）である。サンプリング空間において近似を行う。しかしながら、「動的低周波ライティング環境におけるリアルタイムレンダリングのための事前計算された放射伝達」は、サーフェスポイントをベースとするものではない。

Sloan, Kuatz, and Snyder, Precomputed Radiance Transfer for Real-Time Rendering in Dynamic, Low-Frequency Lighting Environments, Proc. of SIGGRAPH '02, 527〜536

サーフェスをベースとするサンプリング方法を創造することで、複数のライティング値に渡り、複数のビュー角に渡って近似することができる。このため、サーフェスをベースとするサンプリングに係る発明は、非常に複雑なサーフェスを持つモデルの詳細な高次ライティングを扱うことができるであろう。

したがって、少なくとも従来の三次元レンダリングに伴う問題のいくつかに対処することができる、シェーディング結果をモデルサーフェス表現に組み込むことにより動的ビュー角からの写実的三次元レンダリングを向上させる方法が求められている。

本発明は、動的ビュー角からの写実的三次元レンダリングを向上させる技術を提供する。一つのビュー角を選択する。一つのビュー角は複数のサブサーフェスに対応する。それぞれのサブサーフェスに対して、そのビュー角のシェーディング結果が事前計算される。これらのシェーディング結果を用いてサーフェスが形成される。このサーフェスは近接するサブサーフェスを有し、多項方程式または式で定義される。ビュー角をサブサーフェスの式表現に入れることにより、投影されたビュー画素値（projected viewing pixel value）を得ることができる。

本発明は、本明細書において大方、動的ビュー角からの写実的な三次元レンダリングを向上させるための方法およびシステムに関して記述されている。しかしながら、開示された方法に基づき稼働するためのシステムもまた本発明の範囲に入ることは当業者に理解されるところである。前記システムは、コンピュータプログラム、または複数の異なるコンピュータプログラムの部分の組み合わせによって実行することが可能である。

本発明はまた、ディスク、またはその他データ処理システムに使用するのに適切な記憶媒体などの、コンピュータプログラム製品によっても実施することができる。適切なプログラム手段を有するコンピュータによって、プログラム製品に実装された本発明の方法のステップが実施可能であることは当業者に認識されるところである。本明細書に記述された大方の実施例はコンピュータハードウェアにインストールされ、実行されるソフトウェアについてのものであるが、ファームウェアやハードウェアとして実装される代替的な実施例も本発明の範囲に含まれることは、当業者に認識されるところである。

図１は、コンピュータによりレンダリングされた特定のビュー角からみたシーンの例を示す図である。図１の例は、像１０４とテーブル１０６で構成される部屋１０８を含むシーンを表示するモニター１０２を含む。像とテーブルの両者が光を反射もしくは拡散するサーフェスから構成される。

図２には別の選択されたビュー角から見た、コンピュータによりレンダリングされたシーンが示されている。図２の例は、同じ像１０４と同じテーブル１０６で構成される同じ部屋１０８を含むシーンを表示する同じモニター１０２を含む。図１と図２の違いは、レンダリングされたシーンのビュー角にある。ビュー角が変化すると、シーン中のサーフェスによって反射されるライティングもまた変化する。

図３は、図１および図２の異なるビュー角から見たレンダリングのために適切なコンピュータシステムを示す図である。本明細書において、コンピュータとは任意の自動化された計算装置をいう。したがって、コンピュータという語は一般的な用途のコンピュータ、たとえばノート型コンピュータ、パーソナルコンピュータ、ミニコンピュータ、メインフレーム等のみならず携帯情報端末（ＰＤＡ）、ネットワーク可能な携帯機器、インターネット接続可能な携帯電話なども含む。より詳細な説明のため、図１および図２のシーンを見るのに用いられるコンピュータ１０３を有する、自動計算装置のブロック図を図３に示す。図３のコンピュータ１０３は、少なくとも一つのコンピュータプロセッサ２５６、つまりＣＰＵと共に、ランダムアクセスメモリ（ＲＡＭ）２６８を含む。ＲＡＭ２６８には、アプリケーションプログラム２５２が記憶されている。本発明の様々な実施例において用いられるアプリケーションプログラムには、ブラウザ、ワードプロセッサ、表計算プログラム、データベース管理システム、Ｅメールクライアント、ＴＣＰ／ＩＰクライアントなどを含むことは、当業者に理解されるところである。コンピュータ１０３が３次元シーンをレンダリングするために動作する場合、アプリケーション２５２は３次元レンダリングソフトウェアを含む。３次元レンダリングソフトウェアの例には、エイリアス社のＭＡＹＡ（登録商標)、ソフトイメージ（登録商標）、エイリアス社の３ＤＳＭａｘ（登録商標)などを含む。

ＲＡＭ２６８にはまた、オペレーティングシステム２５４も記録されている。本発明の実施例によるコンピュータに使用可能なオペレーティングステムとしては、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ（登録商標）、マイクロソフトＮＴ（登録商標)、その他当業者に想起されるものを含む。ＴＣＰ／ＩＰクライアントのようなトランスポート層およびネットワーク層のソフトウェアクライアントは、典型的にはオペレーティングシステムの構成要素として提供される。前記オペレーティングシステムには、マイクロソフトウィンドウズ（登録商標）、ＩＢＭのＡＩＸ（登録商標）、Ｌｉｎｕｘなどが含まれる。図３の例では、オペレーティングシステム２５４は入力装置２８１、ディスプレイ２８０をも有する。入力装置の例としては、デジタルカメラ２９９、ウェブカメラ、マウス、キーボード、数値キーパット、タッチスクリーン、マイクなどを含む。レンダリングするシーンのビュー角を選択する方法の一例として、ライブシーンを記録しているカメラ２９９のビュー角を調整する方法がある。ディスプレイ装置の例としては、モニタ、液晶（LCD）ディスプレイ、グラフィックユーザインタフェース画面、テキスト画面、タッチスクリーン（touch sensitive screen）、点字ディスプレイ（Braille display）などがある。モニタ、液晶ディスプレイなどのディスプレイ装置は、三次元レンダリングシーンを表示することができる。

図３の例のコンピュータでは、システムバス２６０によってプロセッサ２５６およびその他のコンピュータの構成要素に結合されたコンピュータメモリ２６６を含む。コンピュータメモリ２６６は、ハードディスクドライブ２７０、光ディスクドライブ２７２、ＥＥＰＲＯＭ（登録商標）またはフラッシュメモリ２７４、ＲＡＭドライブ（図示せず）またはその他の当業者に想起され得るコンピュータメモリとして実装されてもよい。図３に示すコンピュータ１０３の例は、他のコンピュータ２８２へのデータ通信２８４の接続を構築する通信アダプター２６７を含む。通信アダプター２６７は、ハードウェアレベルでのデータ通信接続を構築し、このデータ通信接続を通じてクライアントコンピュータとサーバーがデータ通信を互いに直接、またはネットワークを介して送信する。通信アダプター２６７の例は、有線ダイヤルアップ接続用モデム、有線ＬＡＮ接続用イーサネット（登録商標）アダプター(ＩＥＥＥ８０２．３)、無線ＬＡＮ接続用８０２．１１アダプター、無線マイクロＬＡＮ接続用ブルートゥース（登録商標）アダプターを含む。

図３に示すコンピュータ１０３の例は１以上のインタフェースアダプター２７８を含む。コンピュータ１０３の入出力インタフェースアダプター２７８は、入力装置２８１およびディスプレイ装置２８０への、またはこれらからの入出力を構築する機器を含む。図３の例では、アプリケーション２５２は、入力装置を通して受信されたコンピュータ資源へのアクセスのためのユーザ主体の入出力により表現された要求を、オペレーティングシステムのアクセス機能２５５によって制御し、実行する。オペレーティングシステムのアクセス機能２５５はコンピュータ資源へのアクセスを許可してもよく、その結果、１またはそれ以上の入出力インタフェースアダプター２７８を通じて、ディスプレイ装置を通して要求者に返されることになる。アクセス機能２５５の例として、特に、ファイルへのアクセス許可に影響を及ぼすことでコンピュータ資源へのアクセスを制御するＵｎｉｘの「ｃｈｍｏｄ」のようなオペレーティングシステムの機能がある。

アプリケーションソフトウェア２５２は、本発明の実施例を実行するために、プラグイン、カーネル機能の拡張、ソースコードレベルの本発明にそった変更などで換えることができる。別の選択技として、本発明の実施例を構築するために、ゼロから新しいアプリケーションまたはオペレーティングシステムソフトウェアを開発することもできる。

図４は、動的ビュー角からの写実的三次元レンダリング方法を示す。写実的レンダリングは、拡散サーフェス、ライティング、シャドウ、シェーデングその他の写実的特徴をレンダリングすることができる。本明細書において「動的ビュー角」とは、次々と変化し、固定されていないビュー角をいう。

図４の方法では、まずステップ３０２において、任意のビュー角を選ぶステップから始まる。ビュー角を選ぶステップは、コンピュータプログラムによって、キーボード、マウス、またはその他の当業者に想起され得るユーザのコンピュータへのアクセスによって実行される。ビュー角は、写実的三次元レンダリングにおいて典型的に含まれる多数の変数の一つである。変数の例としては、光源の数、シーン中のオブジェクトの数、動くオブジェクトなどが含まれる。

ステップ３０２においてビュー角を選択した後、図４の方法は、さらに、シェーディング結果を事前計算するステップ３０４を含む。シェーディング結果の事前計算は典型的には、シーンに含まれるそれぞれのサブサーフェスのシェーディング結果の計算によって実行することができる。

シェーディング結果を事前計算した後、図４の方法は、シェーディング結果について式を作るステップ３０６を含む。シェーディング結果についての式は、多項方程式の形をとることができる。前記式はさらに、典型的には、別の多項方程式の形で定義される近傍のサーフェスと共に、サーフェスを定義することができる。

ステップ３０６において、シェーディング結果に対して式を作った後、図４の方法は、サーフェスを前記式にマッチングさせるステップ３０８および、シーンにおいて、前記サーフェスと他のサーフェスをレンダリングするステップ３１０を含む。

図５には、動的ビュー角からの写実的三次元レンダリング方法の例を４つのフェーズに示す。図５の例において、最初のフェーズは事前計算フェーズ４０２である。事前計算フェーズ４０２は、ラジオシティおよびレイトレーシングから得られたシェーディング結果を事前計算するステップを含む。シーンのラジオシティは典型的には、モンテカルロ法、確率的レイ法、またはその他の当業者が想起し得る方法によって実行することができる。

レイトレーシングの方法は、前進、後退、分布レイトレーシングおよびその他の当業者が想起しうる方法を含む。前進レイトレーシングは、光源から放射された光線を追跡し、サーフェスにおける数々の反射を経てその行き着く先を決定する。後退レイトレーシングは、シーンの異なる角度に投射される光線をシーン中のサーフェスに至るまで追跡することによって行われる。ここでそのサーフェスにおける光の総量は、１以上の光源までの距離を評価することによって計算される。前進および後退レイトレーシングの組み合わせは、分布レイトレーシングと呼ばれる。確率的レイトレーシングは、極度に複雑なシーンのシミュレーションに用いられる。当該技術分野において、これらのレイトレーシングの計算をするための様々なアルゴリズムが存在し、レイトレーシングによるシェーディング結果の事前計算に用いることができる。レイトレーシングのアルゴリズムは再帰的なコンピュータ関数、および３ＤＳＭＡＸ、ソフトイメージのような三次元レンダリングソフトウェアに含まれる関数を含む。

事前計算フェーズ４０２の次のフェーズは、近似フェーズ４０４である。このフェーズにおいて、ビュー角を変数とする事前計算されたシェーディング結果は、サーフェスを表現する式を作るのに用いられる。近似フェーズ４０４は、サーフェスを表現する式とサーフェスとをマッチングさせるステップを含む。

一例として、動的ビュー角からの写実的三次元レンダリング方法によってレンダリングされる三次元シーンが、光源のみを構成要素として有するとき、多項方程式または式は、１次の多項方程式または式として表現される。反射面または鏡面のような要素が加わると、多項方程式または式の次数は２次また３次に増加する。サーフェスを表現する多項方程式の次数はまた、記憶装置の制限にもよる。

サーフェスを式にマッチングさせるステップは多項方程式または式の係数を計算するステップを含み、多項方程式の係数について解くことで実現される。多項方程式の係数を計算する方法の一例は、その次数のために無視できると考えられる係数を多項方程式または式から切り捨てることである。したがって、この現実の方法例においては、主要な係数のみ取り上げることを要する。

近似フェーズ４０４に続くのは圧縮フェーズ４０６である。近似フェーズ４０４においてサーフェスを表現する式とマッチングされたサーフェスは、式または多項方程式で定義された近傍のサブサーフェスを有する。ある近傍のサブサーフェスがシーンにおいて再び使用され得る場合、その近傍のサブサーフェスの多項方程式または式は圧縮され得る。例えば、ある近傍のサブサーフェスが別の近傍のサーフェスと同じ投影された画素値を有するとき、第一のサーフェスに対応する式は、コンピュータの記憶装置スペースを節約するために圧縮され得る。投影された画素値は、選択されたビュー角を用いて、多項方程式または式の値を求めることで得られる。ビュー角は、任意のビュー角でよい。圧縮するとは、データ(この例でいえば、式を記憶しているデータ)を変換して、記憶または伝送に必要なスペースを最小化することである。近傍のサーフェスの圧縮の程度については、範囲を設定する必要がある。

近傍のサーフェスの式または多項方程式を圧縮するには、一般的にリアルタイム要求を満たすために伸長（decompression）方法を選択する必要がある。圧縮度が高すぎたり、圧縮されている近傍のサーフェスの式の数が多すぎる場合には、伸長のレートが遅すぎて、リアルタイムでレンダリング結果を得ることができない。近傍のサーフェスの式の圧縮は記憶容量による。例えば、記憶装置が多項方程式または式を収めるのに４ワードしか許容しない場合を考える。この例においては、多項方程式または式を４ワードに圧縮するのに適切な圧縮アルゴリズムが用いられる。この過程において有用な典型的な圧縮アルゴリズムは、ｚｉｐ、ｒａｒ、その他当業者に想起され得るものを含む。

プログラミングにおいてワードとは、コンピュータに固有のデータのサイズをいう。ワードのサイズはＣＰＵに依存し、コンピュータによって異なる。１６ビットＣＰＵのコンピュータにおいては、ワードは１６ビット（２バイト）である。大型のメインフレームにおいてはワードは６４ビット（８バイト）にも長くなりうる、等である。

リアルタイムとは、現実生活でイベントが起きるのと同じ速さで、コンピュータがシミュレーションすることをいう。例えば、リアルタイムプログラムは、オブジェクトが実際に動く速さと同じ速さで画面を横切る表示をする。グラフィックレンダリングにおいては、リアルタイムは典型的には毎秒１５フレームまたはそれ以上のフレーム速度を要する。

図５の例において最後のフェーズは、リアルタイムレンダリングフェーズ４１０である。レンダリングフェーズにおいては、画素値を計算することによって画素が画面に投影される。画素のレンダリングは、三角形から視点への、光線−画素交差法（ray-pixel intersection）、または視点から画素への、光線−三角形交差法（ray-triangle intersection）を用いることで実行される。これら二つの交差方法は本発明の範囲を制限するものではない。当業者において想起されうる他のレンダリング方法も本発明の実施に用いられ、本発明の範囲に入るものである。

一例として、視点から画素への、光線−三角形交差法においては、光線は目からそれぞれの画素を通り、物体と交差するかどうかテストされる。視点から画素への、光線−三角形交差法を実行するには様々な異なる方法がある。視点から画素への、光線−三角形交差法の結果を計算するために、再帰的なアルゴリズムを用いることができる。視点から画素への、光線−三角形交差法を用いた実施例の中では、図の画素値は単純に動的ビュー角を、視点から画素への、光線−三角形交差法によって計算された対応する三角形に関連づけられた式に適用することによって計算される。

光線が放射されたのちに、複数回のトリップ（trip）および、反射拡散の分析を必要とする従来のレイトレーシング法に比べて、本発明による実施例は１回のトリップでレイトレーシングを実行することができる。この実施例においては、光線を一回放射するのみで十分である。なぜならば、ビュー角をそれぞれの点に対して計算された係数を持つ式にあてはめることによって、その係数とともにビュー角がそれぞれ訪れたポイントにおけるカラー値を記述するからである。

本発明の様々な実施例において、その本質を外れない範囲における修正変更が可能であることは、以上の記述から理解される。本明細書は説明のためのみに記述されており、本発明の範囲を制限するものではない。本発明の範囲はクレームの記述によってのみ制限される。

本発明、および本発明の優位性のより完全な理解のために詳細な説明において添付図面に関連して言及されている。
１番目のビュー角から見たシーンの例を示す図(線画)である。 ２番目のビュー角から見たシーンの例を示す図である。 複数のビュー角から見たレンダリングのために適切なコンピュータシステムを示す図である。 事前計算によるシェーディングの結果を示す図である。 シェーディング結果からサーフェスを形成する様子を示す図である。

Claims (13)

1. 選択されたビュー角についてシェーディング結果を事前計算するステップと、
   前記事前計算されたシェーディング結果について式を作るステップと、
   複数のサーフェスを含むシーンにおいて、サーフェスを前記式にマッチングさせるステップと、
   前記複数のサーフェスをレンダリングすることによって、前記シーンをレンダリングするステップと、
   を備えることを特徴とする動的ビュー角からの写実的三次元レンダリング方法。
2. 近傍のサーフェスの式を圧縮するステップをさらに備えることを特徴とする請求項１に記載の方法。
3. 前記近傍のサーフェスの式を圧縮するステップは、リアルタイム要求を満たす伸長計算を選択するステップを備えることを特徴とする請求項２に記載の方法。
4. ビュー角を除く全ての条件を固定するステップをさらに備えることを特徴とする請求項１に記載の方法。
5. 選択された前記ビュー角についてシェーディング結果を事前計算するステップは、
   選択された視点について、ラジオシティとレイトレーシング結果を事前計算するステップと、
   前記ラジオシティとレイトレーシング結果の値を用いて二次元サーフェスを定義するステップと、
   を備えることを特徴とする請求項１に記載の方法。
6. 複数のサーフェスを含むシーンにおいてサーフェスを前記式にマッチングさせるステップは、多項方程式の係数を計算するステップをさらに備えることを特徴とする請求項１に記載の方法。
7. 前記ビュー角をサブサーフェスを表現する式に入れることにより、投影されたビュー画素値を得るステップは、視点から画素への、光線−三角形交差法を用いるステップをさらに備えることを特徴とする請求項１に記載の方法。
8. 前記ビュー角をサブサーフェスを表現する式に入れることにより、投影されたビュー画素値を得るステップは、視点への、光線−画素交差法を用いるステップをさらに備えることを特徴とする請求項１に記載の方法。
9. 選択されたビュー角についてシェーディング結果を事前計算する手段と、
   前記事前計算されたシェーディング結果について式を作る手段と、
   複数のサーフェスを含むシーンにおいてサーフェスを前記式にマッチングさせる手段と、
   前記複数のサーフェスをレンダリングすることによって、前記シーンをレンダリングする手段と、
   を備えることを特徴とする動的ビュー角から見た写実的三次元レンダリングシステム。
10. 近傍のサーフェスの式を圧縮する手段をさらに備えることを特徴とする、請求項１に記載のシステム。
11. 前記近傍のサーフェスの式を圧縮する手段は、リアルタイム要求を満たす伸長計算を選択する手段を備えることを特徴とする請求項２に記載のシステム。
12. 動的ビュー角からの写実的三次元レンダリングのためのコンピュータプログラムを固定化した媒体を有するコンピュータプログラム製品であって、前記プログラムは、
    選択されたビュー角についてシェーディング結果を事前計算するコンピュータコードと、
    前記事前計算されたシェーディング結果について式を作るコンピュータコードと、
    複数のサーフェスを含むシーンにおいてサーフェスを前記式にマッチングさせるコンピュータコードと、
    前記複数のサーフェスをレンダリングすることによって、前記シーンをレンダリングするコンピュータコードと、
    を備えることを特徴とするコンピュータプログラム製品。
13. 動的ビューからの写実的三次元レンダリングのためのコンピュータプログラムを含むプロセッサであって、
    前記コンピュータプログラムは、
    選択されたビュー角についてシェーディング結果を事前計算するコンピュータコードと、
    事前計算された前記シェーディング結果について式を作るコンピュータコードと、
    複数のサーフェスを含むシーンにおいてサーフェスを前記式にマッチングさせるコンピュータコードと、
    前記複数のサーフェスをレンダリングすることによって、前記シーンをレンダリングするコンピュータコードと、
    を備えることを特徴とするプロセッサ。

Images