JP2006506745A

JP2006506745A - 映画におけるデジタルイメージング用のリアリティベースのライト環境

Info

Publication number: JP2006506745A
Application number: JP2004553886A
Authority: JP
Inventors: ダイカー，ハールム−ピーター・ジョン・ゲリット
Original assignee: ワーナー・ブロス・エンターテイメント・インコーポレーテッド
Priority date: 2002-11-15
Filing date: 2003-11-17
Publication date: 2006-02-23
Anticipated expiration: 2023-11-17
Also published as: US20040150643A1; EP1573653A2; JP4220470B2; US8515157B2; EP1566052A4; WO2004047009A2; EP1565872A1; WO2004047426A2; EP1573653A4; AU2003295586A1; JP4276178B2; US7536047B2; US7079137B2; WO2004047009A3; US6990230B2; AU2003295582A1; WO2004047426A3; US20040146197A1; EP1565872A4; EP1566052A2

Abstract

デジタルオブジェクトのレンダリングで使用するイメージベースド・ライティングは、現実の映画セットから収集した画像データから導き出される。画像データは、露光レベルの異なる相関する画像の組を含み（３０２）、各々は選択された位置に対応する。画像データを処理して、選択されたセットの各々の位置について、拡張ダイナミックレンジ・パノラマ画像を定義する（３０４）。画像データは、スケール化された基準オブジェクトに基づいて色及び輝度が補正される。このような複数のパノラマ画像を処理することにより、少なくともセットのキーライトをモデル化する（３０６）。他のライティングは、位置固有のフィルライトの組を数学的に定義するために、パノラマ画像から補間することによって定義できる。もしくは、別のセットライティングは、パノラマ画像データをセットジオメトリから導き出した動的に再分割可能なライトプリミティブに投影することによってモデル化することができる。従って、定義済みライトを使用して任意の所望のオブジェクトをレンダリングして、セットの補正されたリアル画像の所望の位置に挿入することができる。

Description

（関連出願への相互参照）
本願は、米国特許法１１９条（ｅ）項に基づいて２００２年１１月１５日出願の米国仮出願番号６０／４２６，５６０の優先権を主張し、その出願全体は引用により本明細書に組み込まれている。
本発明は、デジタルイメージング分野における方法、より詳細には、映画制作のためリアルシーンのデジタルオブジェクトをレンダリングするライティング環境を定義する方法に関する。

映画の制作にあっては、デジタル方式でレンダリングした画像を、従来のフィルム式カメラや最近のデジタルカメラで取り込まれたようなリアルシーンの画像と組み合わせることが望ましい場合が多い。例えば、フィルムに撮影したシーンの中に、従来の特殊効果ツールを使って実現するのでは費用がかかり不可能でさえある特殊効果を、デジタル方式で作成することが望ましい。また特殊効果は、現実と錯覚させるほど完全にリアルに見えることが望ましい。本技術分野では、いわゆる「イメージベースド・ライティング」と呼ばれる方式も含めて、写真画像に挿入するためにデジタルオブジェクトをレンダリングする方法が知られている。簡単に言えば、イメージベースド・ライティングは、写真撮影したシーンの中の特定の点のライティングについて現実世界の情報を収集し、次にその情報を使ってデジタルオブジェクトをレンダリングすることに関連する。それによってレンダリングしたオブジェクトは、シーン中に置かれたリアルオブジェクトであるかのように照明され、不自然に見えることなくシーンの写真画像に挿入することができる。

イメージベースド・ライティングの基本原理はよく理解されているが、デジタル方式でレンダリングしたオブジェクトと写真データとを組み合わせる従来技術の方法は、特に映画のデジタルイメージングで使う場合にいろいろな制約を受ける。これらの制約は、長編映画から、テレビシリーズ、コマーシャル、特別番組を含むがそれらに限定されないあらゆる種類のテレビ用制作映画まで、いろいろな映画環境でデジタル特殊効果が使用されるようになるにつれて、ますます明らかになってきている。

第１の制約は、多くの制作スタジオのマルチカメラ環境で起こる。多くの場合、映画シーンを取るのに１台以上のカメラが必要である。フィルム（アナログ）カメラ又はデジタルカメラを問わず別のカメラは、同じシーンをわずかに異なる色及び輝度で取り込む場合が多い。フィルムカメラでは、使用するフィルム特性が相違するために、この種の違いがしばしば発生する。同じ種類のフィルムであっても、製造ロットが異なると結果が違う場合がある。また、他のカメラパラメータも、カメラで記録する色及び輝度の違いを引き起こす場合がある。また、デジタルカメラは、同じ画像に対して異なる応答性を示す場合がある。このような相違のため、１シーンから収集した画像は異なる色及び輝度で記録される場合がある。さらに、イメージベースド・ライティング用に拡張ダイナミックレンジ（「ＸＤＲ」）画像を収集するために使う各々のカメラは、映画カメラの特性とは異なる固有の特性を持つことがある。ゆえに、１台以上のカメラから取り込んだ画像データをデジタル表現で使用すると、色が一致しないことが多いので、手動でのタッチアップを必要とするか、又は画像の品質が落ちる結果になる。従って、複数のソースから取り込んだ画像データの色を自動的に補正する方法を提供することが望ましい。

第２の制約は、シーンをあちこち移動するデジタルオブジェクトをレンダリングする際に起こる。シーン全域でライティングが相当変化することも珍しくない。例えば、赤レンガ壁の脇に立つ俳優は、同じシーンの黒いアスファルト道路の真中に立つ場合とは違ったように照明が当てられる。俳優をデジタル方式でレンダリングする場合、赤壁の隣で収集したライティングデータを道路上の俳優のレンダリングに使用すると俳優はリアルに見えない。また、デジタル方式でレンダリングした俳優が赤壁から黒い道路に移動すると、俳優の外観は次第に変化する必要があるが、その変化は目立つほどであってはならない。同時に、ライティングの目立つほどの変化を避けるため、狭い間隔でセットのライティングデータを収集することは、非常に時間がかかる。結果的に生じることになる大量のライティングデータの管理及びレンダリングは煩わしい場合がある。従って、オブジェクトの動きに合わせてリアルに次第に変化させる方法でデジタルオブジェクトをレンダリングすると同時に、セット全体のライティングデータを収集する必要性を最小する、イメージベースド・ライティングスキームを実行することも望ましい。

本発明は、従来技術の制約を解消する、映画におけるデジタルイメージング用のリアリティベース・ライティング環境を実施する方法を提供する。本明細書で用いる場合、「映画」は、フィルム作品に限定されず、目的又は長さに関係なく、任意の媒体における全ての目に見える動きの描写を含む。

本発明の態様によれば、別のカメラを使って取り込まれたオブジェクトのカラリングの一貫性を保証するため、デジタル化画像の「カラースペース」が標準化される。カラースペースとして、イメージベースド・ライティングで使用する高ダイナミックレンジ画像、並びに作品で使用するその他の画像を含むことができる。最初のステップでは、既知の色値をもつオブジェクト画像を取り込んで各カメラの特性を確定する。画像は既知のライティング環境で取り込まれる（ピュアホワイト・デイライト又はタングステン環境が望ましい）。ホワイトとブラックの間を細分した目盛りであるグレースケールの（赤、緑、青の値が等しいグレー）、「グレーランプ」を標準オブジェクトとして使うと好都合である。所定のライティング環境に関して、既知と想定されるグレーランプの外観を、カメラが取り込んだグレーランプの画像と比較する。全ての差異を色値（例えば赤、緑、青）及び輝度として数値化して、各カメラの色補正アルゴリズムを作成する。次に、カメラからの画像をプロジェクトの画像データベースに入力する前に、作成したアルゴリズムを使って色及び輝度を補正する。もしくは、画像を生データとして保存して、必要に応じて作品で使用する前に補正する。フィルムカメラについては、各々のフィルムバッチの特性を決定して同じ方法で補正することができる。従って、イメージングプロジェクトは、画像がフィルムに由来するかデジタルカメラに由来するかに関わらず、一貫性と正確な色値及び輝度値をもつ画像を蓄えることできる。

複数のカメラからの画像の標準カラースペースを用意することは、いくつかの点で好都合である。デジタル方式でモデル化したオブジェクトは、セットの間接照明でレンダリングでき、レンダリングしたオブジェクトのカラリングは、任意のカメラで記録してもセットのカラリングと一致するであろう。さらに、所望であれば任意のカメラからの背景画像を一緒に使用でき、別のカメラからの画像を、画像に色の不一致をもたらすリスクなしに組み合わせることができる。

セットの周辺光の中でデジタル方式でモデル化したオブジェクトのレンダリングを可能にするために、環境のダイナミックレンジを含むセットのライティング環境は、本技術分野で公知の高ダイナミックレンジ・イメージング技術（イメージベースド・ライティング）を使って取り込むことができる。本発明の実施形態では、各々のカメラは、画像データを提供するため１つ又はそれ以上の対象シーン内に配置した鏡面反射ボール（「クロムボール」）の画像を取り込むために使用される。クロムボールの画像は、対象の各々の場所を取り囲むライティング環境の約３６０度のパノラマビューを提供する。クロムボールを異なる露光レベルを使って複数の露光で取り込んで、ライティング環境のダイナミックレンジ全体を取り込む画像シーケンスを作成する。次に、画像シーケンスを自動的に処理して、３Ｄモデリング・レンダリング・ソフトウェア・アプリケーションでライトを生成する。つまり、特定のライティング条件下での特定のセットのライティング環境がデジタル方式で再現され、これによってデジタルオブジェクトはレンダリングされ、記録されたシーンにシームレスに統合される。

一般に、ライティング環境は同じセット内でも場所が異なると変化する。従って、オブジェクトがセットの中を移動すると、現在の場所のライティング環境を反映してその外観も変化する必要がある。また、ライティングは、経時的に著しく変化することがある。これは時間が加速された自然光の中で生ずるが、正常時間であっても明るく照明された移動オブジェクトの近傍にいる場合、又は輝度が変化するライトの近傍にいる場合に生ずる。例えば、アミューズメントパークの夜間ライティングは、カーニバル設備の動きに合わせて振動するように変化する。従来技術のイメージング方式は、移動オブジェクト又は変化するライティングに影響を与える変動等の、局所的なライティングの変動を適切に考慮していない。従って、本発明の態様によれば、イメージベースド・ライティング方式は、デジタル方式で生成した移動オブジェクト及び／又は経時的に変化するライティング中のオブジェクトのリアルなレンダリングに適する。

本発明の実施形態では、１つ又はそれ以上の対応する高ダイナミックレンジのパノラマを作成するために、ライティング環境は、セットの１つ又はそれ以上の場所で取り込まれ、又は規則的に変化するライト環境において異なる時間に取り込まれる。キーライト（例えば、日光又はステージライティング）を識別するために、少なくとも１つのパノラマを処理する。一般的に、セットの異なる場所のライティングデータ、又はライティングシーケンスにおける異なる時間のライティングデータを提供するために、複数のパノラマが処理される。各々のパノラマに関する幾何学パラメータ及びカメラパラメータを使用して、自動的に可視のキーライトのモデルを生成する。任意の適切な光源モデルを使用できる。キーライトの色及び輝度は、パノラマを作るために使用した画像を補正することによって正確に求めることができる。キーライトをモデル化した後に、関連するパノラマの明るい領域を差し引くか又はマスクして、相対的に暗い低ダイナミックレンジ・パノラマにすることができ、このパノラマは後続のステップで「フィル」ライティングをモデル化するのに使用される。

本発明の実施形態では、次に、残りのパノラマは任意の所望の粒度レベルに区分することができる。次に、各々の粒度領域の色及び輝度を使用して、複数のフィルライトをモデル化する。フィルライトのモデリングのために任意の適切なモデルを使用できる。各々のモデル化フィルライトは、パノラマから計算した色、輝度、及び光線方向をもつレンダリングされたオブジェクトを照明するために配置された指向性ライトを含むことができる。本明細書で用いる場合「指向性ライト」は、光線に方向があり、距離と共に輝度が低下しないライトのことを言う。理論的には、指向性ライトは、無限遠の距離に置いたライトの性質をもつ。次に、モデル化フィルライト及びキーライトを適用してデジタルオブジェクトをレンダリングし、シーンのパノラマデータを収集した位置にそのオブジェクトを挿入することができる。

パノラマが存在しない位置又は時間におけるオブジェクトに関して、オブジェクト固有のパノラマは、隣接する位置で取得したパノラマから補間することによって計算することができる。補間の加重値は、各パノラマからレンダリングするオブジェクトの位置までの距離、及び各パノラマの相互の距離に基づいて指定することができる。好都合には、オブジェクト固有のパノラマは高速に補間でき、セットの３次元モデルを作成する必要がない。補間したパノラマは中間位置でのライティングの近似値を提供するだけであり、補間処理に伴うさまざまなエラーがあるのが欠点である。つまり、補間は、一部のレンダリング用途に関しては十分に正確でない場合がある。補間されたパノラマが十分にリアルな結果をもたらす用途に関しては、一組のモデル化フィルライトを、オブジェクト固有のパノラマから直接画像化したパノラマと同じ方法で作成することができる。移動オブジェクトに関しては、オブジェクトが動く経路に沿う各フレーム又はキーフレームにおいて前述の処理を繰り返すことができる。

別の実施形態では、ライティング環境にかなり影響するほど十分な大きさのオブジェクトの位置及び形状を定義する、セットの大まかなデジタルモデルを作成することができる。モデル化キーライトは、このモデルに組み込むことができる。セット内から取得したパノラマは、テクスチャ（色及び輝度パターン）をモデルの表面に与えるのに使用される。セットのライト環境が比較的一定であれば、これは1回実行するだけでよい。もしくは、時間的に変化するライティングに対しては追加モデルを生成して、別の時間のセットのライティングをモデル化することができる。表面にテクスチャを与えたセットのモデルは、セット内の任意の位置及び／又は任意の時間でフィルライティングをモデル化するのに使用できる新しいライトプリミティブのパラメータ値を決定するために使用される。

新しいライトプリミティブの領域は、ライトが当たる各オブジェクトで動的に再分割することができる。このライトは、どのサブ領域もライトが当てられたオブジェクトに対する立体角閾値を超えないという基準を満たす。この基準は、様々な方法で満たすことができる。例えば、所定のオブジェクトをセット内の任意の所定の場所でレンダリングする場合、モデルの各表面を連続的に検討することができる。現在のピースが、オブジェクトに対する投影領域に関する所定の閾値を超える場合、サブピースに再分割して、区画の検討対象のピースリストにそのサブピースを戻すことができる。この処理は、ユーザが指定したピースの数を生成して少なくともライティング環境の可視部をカバーするまで、又は環境全体を検討してそれ以上再分割が必要なくなるまで続けることができる。もしくは、ライトプリミティブは、その他の任意の適切な方法で再分割することができる。

モデルに記録された色及び輝度をリストに残っているモデルの各ピースで平均化して、フィルライティング・プリミティブの各サブピースの色及び輝度を決定する。各サブピースは、レンダリングされることになるオブジェクトに方向付けされた指向性ライトをモデル化することができる。各サブピースの位置、方向、及び形状は、セットモデルによって決定される。次に、新しいライトプリミティブをモデル化キーライトと共に使用して、デジタルオブジェクトをレンダリングすることができる。この処理は、セット内のレンダリングしたオブジェクトを示す任意の後続のフレームで繰り返すことができる。

当業者であれば、本発明の好ましい実施形態に関する以下の詳細な説明を検討することにより、本発明による方法、並びに追加的な利点及びその目的を完全に理解できるであろう。

本発明は、所望の結果、リソースの制約、及びおそらくはその他の要因に基づいて、種々の異なる方法で実施することができる。以下の詳細な説明では、いくつかの例示的な実施形態を説明するが、当業者であれば、これらから本発明の他の実施形態を作り出すことができるであろう。１つ又はそれ以上の図面に出てくる類似の要素を表わすために、同じ要素番号が使用されている。

本発明の態様によれば、デジタル方式でレンダリングしたオブジェクトをリアルシーンに挿入する映画プロジェクトは、デジタルカメラ及びフィルムカメラの両方を含む別の複数のカメラを使って収集した画像からデータを取り出す。通常、カメラが異なると、同じシーンを表示した場合に記録される色はわずかに異なる。例えば、フィルムのロールが異なると、製造元が同じであっても記録される色はわずかに異なる場合が多い。本発明の態様によれば、収集した画像は色及び輝度が補正されているため、異なるカメラを使用することから生ずる色差は除去される。従って、デジタルイメージングは均一の「カラースペース」に基づいている。

図１は、本発明の実施形態による、均一のカラースペースにおいて画像データベース及び／又はＸＤＲパノラマを形成するための方法１００の例示的ステップを示す。ステップ１０２では、システムの各カメラは個別に特性付けされる。カメラは、装置を使用して標準カラーオブジェクト（例えばＫｏｄａｋ^ＴＭ２０ステップ「グレーランプ」及び／又はＭａｃｂｅｔｈ^ＴＭＣｏｌｏｒＣｈｅｃｋｅｒ^ＴＭチャート）をイメージングし、次に、ステップ１０４、１０８に示すように標準オブジェクト画像をその想定される標準色及び輝度と比較することによって特性付けることができる。ＸＤＲイメージングについては、特性付けは、装置の色応答が露光レベルに応じて変化する場合があるので異なる露光レベルで行うことができる。

個々のカメラの他の特性及びそのカメラで取り込んだ画像の他の特性としては、例えば、フィルム色温度、露光設定、カメラジオメトリ（焦点距離等）、カメラの位置及び方向、時間、日付、及びその他の関連する任意の識別情報が含まれる。ステップ１０６では、これらのパラメータを特定のセットからの画像データと関連付けて記録することができる。本明細書で用いる場合「セット」とは、１つ又はそれ以上の映画シーンを実行する限定された物理的空間を言う。画像データとして、作品画像、写真測量基準画像、色較正基準画像、及びＸＤＲ画像が含まれる。デジタル形式にまだなっていない限り、デジタル編集とイメージングで使用するため、画像データはデジタル形式でデジタル化して保存できる。任意の適切なデジタル形式を使用できる。例えば、拡張ダイナミックレンジ画像に使うアナログフィルム画像は、例えば浮動小数点ＴＩＦＦ（．ｔｉｆ）形式又はＩＦＦ（．ｉｆｆ）形式等の高ダイナミックレンジ画像に適合するデジタル形式で取り込むことができる。

ステップ１０８では、定義済み基準オブジェクト画像を分析して、各カメラに適用可能な補正係数を決定する。異なる種類のフィルムを使って異なる露光レベルで取り込んだ画像、又は他の画像固有の特性を有する画像に対しては異なる補正係数を作成することができる。色及び輝度の補正方法は本技術分野では公知である。任意の適切な方法を使用できる。画像データは「ＲＧＢ」（赤−緑−青）形式で提供される場合が多いが、この形式では各ピクセルは、赤、緑、青の数値、並びに各ＲＧＢ値の明度値又は輝度値、又は３つのＲＧＢ値すべての代わりに１つの値に関連する。この種のデータ形式として、例えば、各々のカメラ、対象物の各々の露光レベルに関して補正表（行列）を作成することができる。
例示的な補正表を以下に示す。
赤１．００１２９
緑０．９８６５７
青１．００５４６

左端列の値は色値を示す。次の列は、対応する色の補正係数を示す。前術の実施例では、カメラからの画像の「赤」値は、１．００１２９（０．１２９％）の係数により増加させるが、緑は１．３４３％減少させ、青は０．５４６％増加させることになる。必要に応じて、他の露光レベル用の列を追加すること、及び他の色値の行を追加することができる。さらに、別の輝度補正係数を作成して、輝度指数又はその他の輝度値に適用することができる。

ステップ１１０では、カメラからの画像をその特性表に基づいて補正する。通常、これには、前記に例示したように、各ピクセルのＲＧＢ値の拡大縮小が含まれる。補正画像は、作品で使用するためにデータベースに保存する。また、生の（未補正の）画像は、保管目的で保存することができる。補正画像は、画像の色合い又は輝度に明らかな差異がなく一緒に作品で使用することができる。さらに、補正ＸＤＲ画像は、補正されたリアル画像に挿入するためのデジタルオブジェクトのレンダリングにおいて、正確なリアリティベース・ライティングの基礎を提供する。

ステップ１１２では、セットから取得した画像のＸＤＲ補正から、１つ又はそれ以上のＸＤＲパノラマを形成する。セットの典型的領域、又はライト環境の変化時の典型的時間のために、別のパノラマを生成する必要がある。各パノラマについて、所望のセットの場所及び／又は所望の時間で、ＸＤＲ画像シーケンスを取得する必要がある。生成したパノラマは、本明細書で後述するように、リアリティベース・イメージングのベースラインデータを提供するために使用できる。ＸＤＲシーケンスを取り込んでそれからパノラマを生成するために、本技術分野では公知の任意の適切な方法を使用できる。ＸＤＲ画像の詳細な説明については、図３に関連して後述する。

ＸＤＲ画像シーケンスを収集する場所と場所の数を選択して、リアリティベース・ライティングモデルで必要な精度レベルを最小限の費用で達成する必要がある。パノラマの数が多いと精度は正確になるが、必要なＸＤＲ画像シーケンスを取り込んで処理する追加の時間及び費用が必要となる。異なるＸＤＲシーケンスの数は、用途に応じて変化する。多くの用途では、１０未満といった比較的小数のＸＤＲシーケンスで十分である。

図２Ａは、方法１００に帰着するシステム２００の例示的な要素を示す。このシステムは、例えば２０２−２０４のような「ｎ」個のカメラを含む。アナログカメラが同じでもフィルムのロール（バッチ）が異なると、システム２００の目的上、別の「カメラ」になる場合があることを理解されたい。各々のカメラの出力は、対応する「ｎ」個の補正行列２１２〜２１４を使って補正する。補正した画像データは画像データベース２２０が受け取る。追加的に又は代替的に、図２Ｂで示すシステム２５０のように、生の画像データをデータベース２７０に記録することができる。例えばカメラ２５２〜２５４のような複数のカメラからの生の画像データは、データベース２７０に保存される。必要に応じて、対応する補正行列２６２〜２６４を適用して生の画像データを処理することができる。補正した画像データは、作品又はリアリティベース・ライティングで使用するため別個に保存することができる。

ベースラインＸＤＲパノラマは、リアリティベース・ライティング方式の入力データを提供することができる。図３には、映画におけるデジタルイメージング用のリアリティベース・ライティング方式を実施するための例示的な方法３００が示されている。方法３００の各々のステップは自動的に実行することができる。

ライティング環境が定義される各々のセットの場所に関して、ステップ３０２に示すようにＸＤＲ画像の組を取り込む。ＸＤＲ画像の各々のシーケンスは、定義済みの照射増分で取り込んだ位置座標又は時間座標等のセット内の固有の座標に対応する。セットの位置を定義して最適な取り込み機器を設定すると、方法８００の大部分の残りのステップは自動的に又は半自動的に実行できる。

本技術分野では公知のように、ライト環境を取り込むために、鏡面仕上げの球又は半球（つまり「ボール」）、又はその他の任意の最適な凹面は、リアリティベース・ライティングデータを収集する場所に配置することができる。次に、ボールの画像を定義された露光増分で取り込むことができる。本技術分野では公知のように、カメラは、ボールの画像が、カメラの視野からボールの真後ろの比較的狭い隠された領域を除いて、ボールを取り囲むライト環境のほぼ３６０度のパノラマビューを提供するように配置できる。ボールとカメラは、ボールがライト又は特にセットの明るい領域を隠さないような位置関係にすることが好ましい。その場合、隠された領域は、ライト環境の十分正確なモデルを作成するのに必要な情報を含まないことになる。

鏡面ボールは、大型ボールベアリングのようなクロム金属ボール、鏡面ガラスボール、又はその他の任意の適切な反射形状のものとすることができる。必要であれば、その他の形状の鏡も使用できる。もしくは、回転カメラを対象位置にセットすること、又は、例えば、Ｓｐｈｅｒｏｎ^ＴＭ社の走査パノラマカメラをクロムボールのかわりに使用することができる。回転カメラを回転して、２つの垂直軸の周りのほぼ３６０度の視野のパノラマ画像を取り込むことができる。

ライト環境のフルダイナミックレンジを取り込むために、全く露光不足（画像全体が黒）から全く露光過多（画像全体が白）の露光範囲で、鏡面ボールを撮影することができる。露光はＦ値とは別に設定できる。その結果、画像シーケンスは、最暗から最明までのライト環境のダイナミックレンジの少なくとも一部を取り込む。このダイナミックレンジは、１００万又はそれ以上の程度に簡単にすることができるが（つまり、最明オブジェクトは最暗オブジェクトより１００万倍以上明るい）、これは単一露光を使って取り込むことはできない。複数の露光レベルで画像を取り込み、拡張輝度範囲全体にわたってライト環境をデジタル方式で再現するために処理するプロセスは、「拡張ダイナミックレンジ画像化」又は「ＸＤＲ画像化」と呼ばれる場合もある。また、「イメージベースド・ライティング」と呼ばれる場合もある。ＸＤＲ画像化の種々の方式は、本技術分野では公知であり、本発明の実施に適用できる。

局所的ライト環境は、セット全にわたって、又は時間の関数として大きく変化する場合がある。パノラマ画像の各々のシーケンスは、特定の場所及び時間のライト環境を記録する。従って、ステップ３０２は、デジタル方式でレンダリングしたオブジェクトを配置することになる領域に関して、セットのライト環境を正確に記録するために随時繰り返す必要がある。例えば、４つの壁４３２ａ〜４３２ｄ、フロア４３４、ステージライティング（図示せず）が照らす開放天井、ドア開口部４３６、窓４３８ａ〜４３８ｃ、机４４０、卓上スタンド４４２、フロアスタンド４４４を備える図４Ａに示す屋内セットは、位置４４６ａ〜４４６ｄにおいて大幅に異なる局所的ライト環境を有する。セット４３０及び位置４４６ａ〜４４６ｄを図４Ｂの平面図で示す。机に座った位置４４０から窓４３８ａ〜４３８ｃのそばを通り過ぎてフロアスタンド４４４に近いセットの隅に向かう経路４４８に沿って移動する人物のデジタル方式でレンダリングした画像は、経路４４８に沿った各々の場所で変化するライト環境を反映する必要がある。従って、各々の場所４４６ａ〜４４６ｃでパノラマ画像のＸＤＲシーケンスを収集することが望ましい。その場所は、利用可能なリソース及び所望の精度レベルに基づいて、選択された異なる照明のセットの領域に位置付ける必要がある。追加に又は代替的に、ライト環境が時間と共に変化する場合、変化するライトシーケンスの代表時間で、ステップ３０２を繰り返すこともできる。

次に、各々の場所の結果として得られたＸＤＲ画像シーケンスは、ステップ３０４で自動的に処理して、複数のＸＤＲパノラママップを定義することができる。複数のパノラママップは、セットに関するデジタルライト環境データベースを構成することができる。ＸＤＲシーケンスの各々の画像は、まだデジタル形式になっていない場合には、走査法等によって最適のデジタル形式に変換することができる。次に、各々の場所について、最も露光不足の画像系列（画像のほとんどが暗である）から始めて、画像の各々の領域の表示される色及び輝度を記録する。各々の領域は、任意のサイズの領域と関連付けることができるが、最大の解像度については、デジタル画像のピクセルよりも大きくない。ライト輝度は、露光時間に反比例する係数によって倍率変更される。色及び輝度は、各々の画像領域に輝度値及び色値が割り当てられるまで、各々の露光レベルで分析される。

露光レベル間の矛盾は、さまざまな方法で処理することができる。例えば、写真の範囲から計算した輝度の加重平均は、各々のピクセルに割り当てることができる。任意の所定の露光について、ピクセルは最暗値から最明値の範囲に及ぶ。この範囲の中点を決定することができ、各々のピクセルは、中点からの距離に反比例する加重値を与えることができ、つまり、中点に最も近い値を持つピクセルの加重を最も重くするが、範囲のどちらかの端に近い値を持つピクセルの加重は軽くすることができる。従って、異なる露光レベルでの一連の画像については、ピクセルが輝度の平均値又は中央値に近い画像の加重は重くなる。

同様に、色値を計算して、露光不足の領域で生ずる暗さ、及び露光過多の領域で生ずるウォッシュアウトを正しく処理する必要がある。また図１に関連して前述したように、色値及び輝度値を自動的に補正することができる。また、各々の場所について、イメージングパラメータを記録して、画像シーケンスの色値及び輝度値の計算値をライト環境に変換することができる。例えば、カメラ位置、絞りサイズ、焦点距離、鏡面ボールサイズ、セット内の位置、セット識別子等を記録する。

これらの幾何学パラメータ及び光学パラメータを使用して、クロムボールのＸＤＲ画像又はその他の適切な画像から収集したＸＤＲデータは、ＸＤＲイメージングの場所を取り囲む環境のパノラママップにマッピングすることができる。３次元環境（例えばクロムボールの表面）を２次元マップにマッピングする技術分野では種々の方式が公知である。例えば、コンピュータグラフィックスでは、球形パノラマ、立体パノラマ、四角形パノラマが公知である。任意の適切なマッピング方式を使用できる。本明細書では、結果として得られたマップをパノラマ又はパノラママップと呼ぶ。これは投影に類似するが、物理セットの３次元モデルの投影ではない。その代わりに、パノラママップは、例えばクロムボール表面等のイメージング表面を２次元領域に投影したものなので、パノラマ内のピクセル位置と３次元環境の視野方向との間には明確な対応が存在する。後でデジタルモデリングに使用するために、この種の複数のパノラママップを保存することができる。

図５Ａを参照すると、大幅に簡素化されている例示的なセット４３０のパノラママップ５００は、ステージライト画像５０２及び「ウィンドウライト」画像５０４等の発光領域と、壁領域５０６及びフロア領域５０８等の非発光領域で構成される。パノラママップの拡張ダイナミックレンジは、紙面上で正確に説明できない。図５Ａは単に例示的なパノラマの概念図を表しており、実際のパノラマの画像を表していないことを理解されたい。パノラママップ５００は、他の任意の２次元マップと同様、セット内の発光面及び非発光面の相対位置に関する限られた量の情報を含む。しかしながら、マップ５００等のパノラママップはそれ自体、セットの３次元構造を再構成できるだけの十分な情報を含まない。特に、これは一般に発光面及び非発光面の画像の中心からの距離に関する完全な情報を含まないであろう。この種の情報は、表面形状、カメラ位置、及びその他の写真測量データに関する仮定から計算できるが、マップ自体の中には存在しない。

任意の所定のセットについて、図３のステップ３０６で示すように、セットの個々のステージの「キー」ライト及び／又は自然光源の組をモデル化すると好都合である。任意の所定のパノラママップにおいて、一般に、発光領域の輝度は非発光領域よりも非常に高く、閾値輝度よりも低い（又は高い）輝度のピクセルをフィルタ処理することにより容易に区別することができる。各々の発光領域は、モデル化キーライトとして処理できる。また、各々のモデル化キーライトの３次元位置は、写真測量の原理及び／又はセットの線図を使って、１つ又はそれ以上のパノラママップから決定することができる。従って、物理セットのパノラマ画像及びその他のデータから得たセットのキーライトのコレクションをモデル化することは、比較的簡単である。例えば、キーライティングは、パノラママップから計算した色及び輝度を用いて、セット線図で示した位置でモデル化できる。追加的に又は代替的に、１つ又はそれ以上のパノラママップ又はその他のセットの画像は、やはりＸＤＲパノラマから求めた色及び輝度を用いて、キーライトの位置とサイズを決定するための写真測量の原理を利用し分析することができる。本技術分野で公知の計算方法を使用すると、ＸＤＲ画像及び関連するセットデータからキーライティングモデルを構築する処理全体は自動化することができる。結果として得られたキーライティングはセットの全領域を網羅することができる。

従来、映画技術では、「キーライティング」はセットの主要ライティングのことを指すが、「フィルライティング」は影を補うための又は所望の色合いを明瞭にするための二次ライティングのことを指す。この種の両方のライティングは、物理的ライトを使って与えることができる。拡散リフレクタはフィルライティングに使用される場合もある。しかしながら、デジタルイメージングとの関連で、本明細書で使用する場合、モデル化キーライトは、セットでの目的に関わらず、閾値光度より明るい任意のモデル化した光源のことを指す。例えば、ステージライティング技術者がフィルライトと呼ぶものは、その光度がイメージングのため設定した閾値を超える限り、デジタルイメージングではキーライトと見なすことができる。同時に、本明細書でデジタルイメージングに関連してモデル化「フィルライト」と呼ばれるものは、物理セットでは対応するものがない。デジタルイメージングとの関連で本明細書において使用する場合、モデル化フィルライトは、セットの任意の非発光面からの反射ライトとして使用することができる。この種の非発光面は、ライティング技術者の口調では、全く「ライト」ではないと見なされる場合が多い。

例えば、図４Ａを参照すると、場所４４６ａ〜４４６ｄからのＸＤＲ画像シーケンスを使って定義したパノラママップは、セット４３０の光源を識別するために処理することができる。この種のソースとしては、窓４３８ａ〜４３８ｃ（又は窓の外側に配置したステージライティング）、卓上スタンド４４２、フロアスタンド４４４、及びセット４３０の上に又はセットに関係する場所に配置した任意のステージライティングを挙げることができる。これらの全光源は、セットでのその目的に関係なく、デジタルイメージングではキーライトとしてモデル化することができる。キーライトモデルは、任意の最適な形式で提供することができる。例えば、モデル化キーライトとしては、ＲＧＢ輝度値、発光面ジオメトリ、光線方向、円錐角、及び位置の定義を挙げることができる。多くのステージライティングで使うような電灯及び日光のような自然光源を含むがそれに限定されない、実際のセットライティングをモデル化する任意の光源モデルを使用することができる。

再び図３を参照すると、セットのキーライトをモデル化した後、キーライトに対応する発光領域は、ステップ３０８で示すように、ＸＤＲパノラマから差し引いて、対応するフィルライトパノラマを作成できる。この場合も同様に、指定された輝度閾値を超える発光領域をフィルタリングすることによって容易に実現することができる。

方法３００の例示的なシーケンスにおいて、処理ステップ３０２〜３０８は、全体としてセットに関連する画像及びライティングデータの収集及び処理に関連する。ステップ３１０では、セットの定義位置で１つ又はそれ以上のデジタルオブジェクトをレンダリングするためにこのデータを使用する処理が開始する。各ステップのシーケンスはこの順序で実行する必要はなく、例えばステップ３１０は３０２〜３０８のいずれかの前に実行できることを理解されたい。

ステップ３１０では、レンダリングされることになるオブジェクトの場所をデジタルオブジェクトのアニメーションプラン等から区別する。また、オブジェクトの位置と共に、所望の視野及びその他のイメージングパラメータを定義することができる。オブジェクト位置を定義すると、オブジェクトのレンダリングで使用するためのリアリティベース・ライティング環境を決定する別の処理を実行できる。図３には、決定ステップ３１２及び３１４で３つに分岐する通り、３つの例示的な別の処理が示されている。ステップ３１２において、この方法は、単一のＸＤＲパノラマを使ってデジタルオブジェクトをレンダリングする処理に分岐することができる。これは、例えばデジタルオブジェクトがＸＤＲサンプリングポイントの１つに配置されるか、又はその近傍に配置される場合に適切である。例えば、オブジェクトがセット４３０の位置４４６ａ〜４４６ｄのいずれかでレンダリングされると、次にモデル化フィルライトの組は、オブジェクトの位置に対応する単一のパノラマから直接定義することができる。

ステップ３２２では、ステップ３０８との関連で説明したフィルライトパノラマからフィルライトの組をモデル化する。フィルライトパノラマは、不連続なデータオブジェクトである必要はなく、むしろ、ＸＤＲパノラマの中のキーライトを表していない部分と見なすことができる。例えば、キーライトが別にモデル化されていない場合、フィルライトパノラマは元のパノラマと同じであろう。

本発明の実施形態において、ステップ３２２で例示したフィルライトのモデリングは、精度と計算速度のバランスを取って、イメージング場所での低輝度ライト環境に近いものを作り出す。多くの環境では、レンダリングした最終結果は、キーライティングに非常に左右されるので、高精度のフィルライティングモデルは必要ない場合が多い。つまり、数学的精度の実質的な程度は、最終結果の実際の外観に著しく影響を与えることなく、計算速度が優先されて犠牲にされる場合が多い。

適切な近似を実行する１つの方法は、単純にフィルライトパノラマを面積又は輝度の等しい領域に分割することである。次に、各々の領域はレンダリングされることになるオブジェクトに向けられた指向性ライトとしてモデル化され、色及び輝度は、各々の領域全体にわたって積分して計算される。各々のモデル化フィルライトは、一般に入手可能な標準レンダリングプログラムでの使用に適する、標準形式のライトプリミティブ又はその他のデータオブジェクトを含む。

パノラマの再分割には、さまざまな異なる方法を使用することができる。例えば、別のアプローチでは、投影面は、例えば各々が領域全体の０．１％を表すような面積の等しいセグメントに分割される。このアプローチの利点は、セット内の異なる場所のライト環境を、例えば、各場所の間を補間する目的等で容易に比較できることである。各々の再分割領域について、ライト環境の平均色及び平均輝度は、再分割領域全体にわたって計算することができる。例えば、再分割領域の半分の輝度の値がゼロで、セグメントの他の半分の輝度の値が１０００の場合、再分割領域の平均輝度は５００である。各々の再分割領域の平均色、平均輝度、及び平均位置は、後でレンダリングに使用するために、リスト又はその他のデータベースに記録することができる。

ライト環境リストの作成に適切な他の再分割方法は、再分割領域全体にわたるライト輝度の積分値（つまり光束）を再分割領域の基礎と見なす。再分割領域は、各々の領域が特定の最大光束未満であるように定義される。このアプローチの利点は、各々の再分割領域が他の各再分割領域と同様にほぼ等しい量のライトに対応していることである。更に別の方法では、パノラマを分析して類似するカラリングの領域を区別する。次に、全領域が指定した最大領域よりも小さくなるまで各々の領域をさらに再分割する。当業者であれば、本明細書の開示内容に基づいて、本発明で使用する他の適切な再分割方法を考えることができるであろう。

前述したように、単一のパノラマは、セットの各々の表面とイメージングの中心との間の距離を直接表さない。しかし、フィルライトを、被照明オブジェクトとの距離が重要でない指向性ライトとしてモデル化する場合、フィルライトの相対距離は必要ない。このアプローチは計算を簡素化すると共に、多くの用途で適切な結果をもたらす必要がある。

もしくは、あまり好ましくはないが、各々のモデル化フィルライトとレンダリングされることになるオブジェクトとの間の距離、つまりモデル化フィルライトの位置は推定することができる。例えば、セット線図から及び／又は写真測量の原理を用いて推定することができ、又はレンダリングされることになるオブジェクトの最大寸法等の容易に確認可能な特定のパラメータに基づいて、モデル化フィルライトの位置を単純に指定することができる。例えば、各々のモデル化ライトは、オブジェクト重心から最大オブジェクトの寸法の２倍離れた距離に配置することができ、オブジェクト重心はイメージングの中心に配置できる。このアプローチの結果、フィルライティングは多少正確になるが、計算はかなり複雑になる。

図５Ｂ及び図５Ｃは、指向性ライトのコレクションとしてのフィルライティングのモデリングをさらに示す。図５Ｂは、ＸＤＲパノラマ５００から発光領域を除去して導き出したフィルライトパノラマ５５０を表す。図５Ｃは、レンダリングされることになるデジタルオブジェクト５７２の周りに配列されたパノラマ５５０に基づく、モデル化フィルライト５７０の配列を表す。図５Ａと同様に図５Ｂ及び図５Ｃは概念図であり、一般的なパノラママップ又はモデル化したライト配列を表していないことを理解されたい。

前述したように、パノラマ５５０は、領域５５２及び５５４等の複数の領域に再分割することができる。その領域は任意の所望のサイズとすることができる。各々の領域でモデル化フィルライトを作成できるので、計算効率は、レンダリングされたオブジェクトに著しく非現実的な影響をもたらすことなく、領域サイズを可能な限り最大化することによって高めることができる。最適な選択肢は環境によって変わることになるので、単一の「最適」なサイズは存在しない。図５Ｂは、簡単に説明するため四角形グリッドの形式での再分割を示すが、例えば、前述した任意の方法等のパノラマを再分割する任意の適切な方法を用いることができる。

次に、各々の再分割領域を積分して、各々のモデル化フィルライトに関する輝度及び色を決定できる。モデル化フィルライトは、セットの環境を近似するような方法でオブジェクトのまわりに配列することができる。例えば、図５Ｃは、デジタルオブジェクト５７１の周りのモデル化フィルライト５７０の配列を示す。配列５７０の近接する部分は、配列内部を表示するために図５Ｃでは示されていない。配列５７０は、図４Ａに示すセット４３０の低輝度ライト環境だけに大まかに近似している。この近似の１つの態様は立体形式の配列であるが、その周縁は、壁４３２ａ〜４３２ｄの周縁に一致していない。立体の周縁が著しい例外を持ち込む範囲では、例えば、球又は楕円体のような閉曲線に沿ったモデリング配列５７０によって、これらを平滑化することができる。

配列５７０の各々のモデル化ライトは、ライト方向及び輝度を定義する指向性ライトとしてモデル化することが好ましいが、各々のライトは被照明オブジェクトからの距離とともに変化しない。その場合、指向性ライトの配列は、図示の立体等の特定の幾何学表面に対応しない。その代わりに、配列は、レンダリングされることになるオブジェクトに全てが方向付けされる指向性ライトのリストを含むだけである。各々の指向性ライトの輝度は、パノラマ５Ｂの対応する各再分割領域を積分することにより計算できる。同様に、各々の再分割領域の最適なポイント、例えば重心を選択することにより、各々のライトの方向を決定することができる。当然、パノラマの各々のピクセル又は各々のポイントは、適用可能なマッピングにより決定される３次元の視野の方向に対応する。つまり、ライトの方向は単純に選択ポイントに対応する３次元の視野の方向に等しい。指向性ライトを使用しているため、モデル化ライトとレンダリングされることになるオブジェクトとの間の距離を定義する理由はない。

もしくは、あまり好ましくはないが、配列５７０の各々のモデル化ライトは、パノラマ５５０の対応する再分割領域の形状を有する発光面としてモデル化することができ、レンダリングされることになるオブジェクトから所定の距離だけ離して設定される。例えば、モデル化フィルライト５７４は、パノラマ５５０の領域５５４に対応する形状、カラリング、及び光度を有する。同様に、モデル化ライト５７２は領域５５２に対応するなど。対応するパノラマ領域の形状を備える各々のフィルライトのモデリングの別の方法として、各々のモデル化フィルライトを任意の形状に指定することができる。デジタルオブジェクト５７１は、重心５７３がイメージング位置にくるように配置することができる。

前述の実施例は、セットの所定の位置のキーライト及びフィルライトが、例えば「ライトプリミティブ」等の標準データオブジェクトとして、単純な計算アルゴリズムを適用することにより自動的にモデル化できることを示している。再び図３を参照すると、後続のレンダリングステップ３２４において、デジタルオブジェクトは、本技術分野では公知の任意の適切な方式を用いて、視点、デジタルオブジェクトのジオメトリと位置、及びグローバルライト環境に基づいてレンダリングすることができる。その結果、本技術分野では公知の任意の適切な方式を用いて、指定された位置のシーン内にシームレスに配置することができる、レンダリングしたデジタルオブジェクトが得られる。ステップ３２６及び３２８で示すように、方法３００のモデリング及びレンダリング分岐は、映画の連続的フレームに対して任意の所望の回数だけ繰り返すことができる。しかしながら、あらゆるフレームに関してフィルライトをモデル化する必要はなく、その代わりに選択したフレーム間隔でモデル化することができることを理解されたい。例えば、デジタルオブジェクトの経路に沿って１０ｃｍ刻みで新しいフィルライトモデルを作成できる。中間フレームは、利用可能な直近のモデル化フィルライトを使用してレンダリングすることができる。

前述したように、単一のパノラマが正確なライト環境を表さないように、ＸＤＲ画像の位置から比較的遠くに配置したデジタルオブジェクトをレンダリングすることが望ましい。この場合、再びステップ３１２を参照すると、本方法は別の分岐に分岐することができる。ステップ３１４で示すように、より単純で計算の早い解法が望ましいか、又は多少複雑ではあるが正確な解法が望ましいかによって、この問題には少なくとも２つの解決策が存在する。

単純なアプローチは、ステップ３２０で示すように、２つ以上の隣接するパノラマから中間の「オブジェクト固有」のパノラマを補間する方法を含む。補間は、それらの所望のレンダリング位置からの距離及びそれらの相互の距離に基づいて、隣接するパノラマに加重値を与える。レンダリング位置に近いパノラマには大きな加重値を与えるが、同時に相互の距離に反比例してパノラマの加重値を低減する必要がある。

次に、パノラマを組み合わせて、隣接するフィルライトパノラマに対応するピクセルから補間して計算した、ＲＧＢ色値及び輝度値を各々のピクセルに割り当てることにより、オブジェクト固有のパノラマを生成することができる。次に、オブジェクト固有のパノラマは、前述のような任意の適切な方法で、ステップ３２２でモデル化フィルライトの配列を生成するために使用できる。隣接するパノラママップのピクセル間の補間により導き出したオブジェクト固有のパノラマは、当然多数の幾何学的エラーを含んでいることを理解されたい。しかしながら、生成する元になる隣接するパノラマが互いに離れすぎていない限り、これらのエラーはレンダリングの最終結果で目立たなくなるほど十分小さいであろう。従って、ステップ３２０を使用すれば、オブジェクトが場所を移動すると共に次第に変化するリアルなフィルライティングを実現する所望の効果を達成できる。この方法の精度は、セット内の更なる場所でのＸＤＲ画像シーケンスを収集することにより向上する。

もしくは、ＸＤＲサンプリングを最小限必要なものを超えて増やすことなく、より正確なレンダリング結果を得ることが望ましい。本発明の実施形態では、この別の処理は、３次元モデリング及び投影ステップ３１６から始まる。このステップには、セットの３次元モデルの構築が含まれる。例えば、図６はセット４３０の例示的な３Ｄモデル６００を示す。本技術分野では種々のモデリング方法が公知であり、任意の適切な方法を使用してモデルを構築することができる。例えば、セットが３次元デザインツールを使用して設計されている場合、最適モデルはセットデザイナから入手できる。もしくは、モデルは、セット線図に基づいて、コンピュータグラフィックスデザイナが手動で構築できる。代替的に又は追加的に、３Ｄモデルは、セットの種々の画像に適用した写真測量を使用して、自動的に又は半自動的に生成できる。モデル６００のような３Ｄモデルは、最終レンダリングに実際に表れる必要がないため、非常に正確である必要はない。その代わりに、モデルを使用して、新しいライトプリミティブの発光面を定義することができる。従って、レンダリングされることになるデジタルオブジェクト上で光を反射する主要表面をモデル化するだけで十分である。一般に、十分に詳細かつ正確にモデルを構築しても費用はあまりかからない。他の理由でセットの詳細かつ正確なモデルが構築されている場合にはライトプリミティブとして用いるのに適する。

３Ｄモデルの設計後、ステップ３０８で生成したフィルライトパノラマは、セットに記録した色を３Ｄモデルに対応する表面に投影するために使用できる。基本的な幾何学及び光学原理を用いて、ライト環境データベースからライト及び輝度値をモデル表面に「投影」することにより、モデル表面に色値及びライト輝度値を指定することができる。本技術分野では公知なように、投影した色を表面テクスチャとして記録することが好都合である。例えば、机の引き出しの内側又はテーブルの下といったモデルの特定の表面は、目立つ量の光を対象に投じないことを理解されたい。色値及び輝度値は、レンダリングには重要でないこのような表面に与える必要はない。サンプリング場所の適切な選択、つまりＸＤＲ画像パノラマデータを収集する場所の適切な選択により、重要な表面に適切な色値及び輝度値を与えることができる。

レンダリングに重要な表面及び／又は光源は、特定の場所から収集したライト環境データを基準にして、他のオブジェクトによって見えなくするか、又は遠くに置くことができる。例えば、モデル６００では、卓上スタンド６０２及びその他の近くのオブジェクトは、ＸＤＲサンプリングの場所６０４から十分遠いので、表面カラリングを適切に正確に投影できない。このような場合、６０６等のＸＤＲサンプリングの場所から収集したライト環境データは、この領域への照明データを収集するために使用できる。ステップ３１６が終了すると、色値及び輝度値は、セットの３次元モデル６００内のすべての重要な表面について定義できる。セットのこのグローバルライト環境は、後でレンダリングに使用するために保存することができる。

３Ｄモデルが正確でないため及び／又は各々のパノラマに関する幾何学的情報にエラーがあるため、投影に小さなエラーが生ずることがある。この種のエラーは、例えば、さまざまなパノラマの色値及び輝度値を平均化することによって、さまざまなパノラマからの投影が異なる結果をもたらす範囲で、任意の適切な方法で処理することができる。もしくは、セットの隣接する場所から得た対応するパノラマのポイントは、前述のように隣接するパノラマがモデル化ディレクショナルフィルライトを補間できるのと基本的に同じ方法で、３次元モデルの表面の色値を補間するために使用できる。一般に、表面カラリングの投影から生ずるエラーを、投影で使用する幾何学パラメータに適切な調整を行うことによって最小化することが望ましい。キーライトは、必要であればＸＤＲパノラマを使用して同時にモデル化できることを理解されたい。

次に、３Ｄモデルを構成するモデル化表面のコレクションは、その表面に関連する色とライト輝度と共に、セットの一種の「グローバルライトプリミティブ」として使用できる。従来のライトプリミティブと同様、グローバルプリミティブは光源の表面ジオメトリ、ライトの色及び輝度、光線の方向及び円錐角を定義する。色及び輝度は、パノラマを３Ｄモデルジオメトリに投影することによって導き出される。光線方向は表面に垂直と想定できる。多くの拡散反射材料について、円錐角を例えば１８０度等の鈍角であると想定できる。しかしながら、従来のライトプリミティブと違い、表面ジオメトリは非常に複雑にすることができ、ライトの色及び輝度（及び随意的に光線方向及び／又は円錐角）は、表面位置の関数として変化する。

再び図３を参照すると、ステップ３１８では、特定のフレームをレンダリングする場合、グローバルライトプリミティブは、レンダリングの最終結果に対して類似の影響のある領域に再分割することができる。これは、例えば、グローバルライトプリミティブを、デジタルオブジェクトを取り囲む仮想投影面上で所定の最大投影サイズをもつ領域に再分割することにより実現できる。図７及び図８は、このアプローチを説明するのに役立つ。図７は、３Ｄモデル６００をモデルとし、最大投影領域法を使用して複数の領域に再分割したグローバルライトプリミティブ７００の平面図を示す。図８は、仮想投影面７２０と、グローバルライトプリミティブ７００を再分割するのに使用できるようなグローバルライトプリミティブ表面７１０との間の例示的な関係を示す。

表面７２０は、グローバルライトプリミティブ７００の参照フレーム内のデジタルオブジェクト７０２の少なくとも一部を取り囲むように配置することができる。表面７２０は、球面又はその他の任意の所定の閉表面で構成される。球面には、例えば、横方向及び縦方向の直線に沿って分割することによってセグメントに容易に再分割できるという有用な特性がある。例えば、セグメント７２２及び７２４は、面積の等しい球表面のセグメントで構成される。複数の類似する概念上の表面セグメントは、デジタルオブジェクト７０２を取り囲むと見なすことができる。表面７２０は、本発明の方法を説明するのに有用な数学的構造体に過ぎず、実際に存在する必要はない。

表面７１０は、グローバルライトプリミティブの一部分、例えばデジタルオブジェクトに光を当てることのできるフロア表面を表す。表面７１０及びグローバルライトプリミティブのその他の表面は、概念上の表面７２０セグメント（例えばセグメント７２２、７２４）の境界を共通の基点７２６から表面７１０に投影することによって概念的に分割することができる。従って、ライトプリミティブ表面７１０は、複数のサイズの異なるセグメントに分割することができ、各々はデジタルオブジェクトに対してほぼ等しい投影領域をもつことができる。セグメント７１２及び７１４はこのような２つの領域を表す。表面７１０の再分割領域は図７の平面図に示される。グローバルライトプリミティブ７００の他の表面は、同様の方法で分割することができる。例えば、デスクトップ７１６等のライトプリミティブの特定の表面は、定義の如何に関わらず最大セグメントサイズよりも小さくすることができる。このような表面は、再分割領域全体として処理すること、又は隣接する領域を含む再分割領域の一部分として処理することができる。

サイズの等しい投影領域に基づく再分割は、グローバルライトプリミティブを再分割する１つの方法を例示するにすぎない。任意の他の適切な方法を使用することができる。例えば、パノラマを再分割する前述の任意の方法は、グローバルライトプリミティブの再分割に適用できる。各々の再分割領域は、レンダリングされることになるオブジェクトに影響を及ぼす反射光の比例配分を正しく近似する任意の方法で定義することができる。

グローバルライトプリミティブ７００を再分割した後で、各々の領域をさらに処理してモデル化フィルライトを定義することができる。本発明の実施形態では、各々の領域は、レンダリングされるオブジェクトを取り囲む球面の立体角部分といった、レンダリングされるオブジェクトに垂直な投影領域全体にわたって積分することによって計算した色及び輝度を有する、レンダリングされるオブジェクトに向けられる指向性ライトを規定するために使用できる。このアプローチは、投影面全体の輝度の計算を必要とするが、レンダリング時に後続の計算を単純化することができる。

もしくは、あまり好ましくはないが、各々の領域は、それぞれの表面領域、再分割領域に垂直な光線方向、及び円錐鈍角によって定義される位置及び表面ジオメトリをもつモデル化フィルライトを規定するために使用できる。例えば、モデル化フィルライトは非遮蔽方向に等しい光を放射すると想定することができる。色及び輝度は、投影面全体の積分のかわりに、各々の表面領域全体を積分することにより決定できる。このようなモデル化ライトの輝度は、円錐角がゼロでないのでレンダリングされるオブジェクトからの距離の関数として変化するパノラマに一致するように調整する必要がある。

従って、再び図３のステップ３１８を参照すると、複数のモデル化フィルライトは再分割処理の出力を含む。複数のモデル化ライトは、前述のように、ステップ３２４の任意の適切なレンダリング方式で使用するために、データベース又はリストフォームに保存することができる。モデリング及びレンダリングステップは、ステップ３２６、３２８、３１０のシーケンスで示したように、映画の任意の所望のフレームで繰り返すことができる。後続のフレーム内のオブジェクトの位置変更は、新しいオブジェクト位置に基づいてモデル化フィルライトの適切な組を生成する。キーライトは、セット全体で一定であると想定すること、又は新しいそれぞれの位置で再モデル化することができる。鏡面反射する非常に反射しやすいオブジェクトからのライトは、モデル化フィルライト及びキーライトから除外することが望ましい。拡散ライティングに効果のある近似は、鏡面反射するオブジェクトに適用する場合、リアルな結果を得られないことがある。その代わりに、これらのミラーに似たオブジェクトは、所望のオブジェクトのレイトレーシング時に、デジタルモデルに加えることによって説明できる。当業者であれば、前述の方法以外の適切な修正を行うことができる。

従って、前述の説明に基づいて、当業者であれば、本発明に基づく方法を実施するシステムを構築することができる。図９は、このような１つのシステム９００を示し、データベース９０４から画像データを受信するように接続されているコンピュータ９０２を備える。さらに、システム９００は、コンピュータに接続可能のメモリ９０６を備えることができる。メモリ９０６は、当業者であれば本発明に基づく方法を実施できる命令コードを含むことができる。例えば、メモリ９０４は、各々が物理的なセットの固有の座標に対応する画像データセットを読み取る命令を含むことができるが、各々の画像データセットは、異なる露光で取り込んだ複数の相関画像で構成される。命令は、更に複数のパノラママップを定義する段階を含むことができるが、各々のパノラママップは対応する画像セットの１つにおける画像から導き出した色情報及び輝度情報のマップで構成される。命令は、更に複数のパノラママップからダイナミック・ライティングモデルをモデリングする段階を含むことができるが、ダイナミック・ライティングモデルは、デジタルレンダリングのためのライティングをモデル化空間の仮想座標の関数として定義し、モデル化空間は物理セットに対応し、仮想座標は空間座標、時間座標、及び空間座標と時間座標との任意の組み合わせから構成されるグループから選択される。

命令は、更にダイナミック・ライティングモデルを時間非依存関数又は時間依存関数としてモデリングする段階を含むことができる。つまり、モデル化ライト環境は、位置又は時間の関数として変化する。命令は、更に画像を取り込むカメラの識別子にリンクする定義済み基準オブジェクト画像を含む画像キャリブレーション・データセットを読み取る段階、及び定義済み基準オブジェクト画像分析に基づく限定された物理空間の複数の画像の色補正を行う段階を含むことができる。複数のパノラママップは、２０段階グレースケール等の定義済み基準オブジェクト画像を使って、少なくとも１台のカメラの特性を決定するために定義することができる。これは、ＸＤＲ画像シーケンスを収集するために使用するソースが何であれ、均一なレンダリング結果を確保するのに役立つ。命令は、更に少なくとも１つのモデル化キーライト、及び少なくとも１つのモデル化フィルライトのモデルリングを行う段階を含むことができる。モデル化ライトは、レンダリングされるデジタルオブジェクトを取り囲むモデル化発光面、つまりグローバルライトプリミティブをモデリングすることによって作成することができる。命令は、更に、例えば正積図法等の、レンダリングされるデジタルオブジェクトとモデル化発光面との間の幾何学的関係に基づいて、モデル化発光面を表面領域に再分割する段階を含むことができる。命令は、更に少なくとも１つのモデル化キーライト及び少なくとも１つのモデル化フィルライトを定義できる複数のパノラママップから、オブジェクト固有のパノラマを補間する段階を含むことができる。前述のいずれのプログラム命令も取外し可能な媒体９０８又はネットワーク媒体９１０のようなコンピュータで読み取り可能な媒体に格納できることを理解されたい。

以上のように、映画におけるデジタルオブジェクトのリアリティベース・ライト環境を定義するシステム及び方法の好ましい実施形態を説明したので、当業者であれば、システム内の所定の利点が達成されていることを理解できるはずである。また、前述のように本発明の範囲及び精神の中で種々の修正例、適用、及び別の実施形態を作り上げることができることを理解できるはずである。例えば、ＸＤＲパノラマ画像からキーライト及びフィルライトをモデリングする特定の方法を説明したが、本発明は、ＸＤＲ画像データからレンダリングするためのモデル化ライトを作成する他の方法にも適用できる。特に、本発明は、別々にモデル化したキーライト及びフィルライトに限定されるものではなく、又は本明細書に開示したＸＤＲパノラマデータを再分割する特定の方法に限定されるものではない。本発明は、特許請求の範囲により定義されるものである。

本発明の実施形態に基づく、均一カラー空間において画像データベースを構築する例示的なステップを示すフローチャート。図１で示した方法によってもたらされる例示的なシステムを表すブロック図。図１で示した方法によってもたらされる例示的なシステムを表すブロック図。本発明の実施形態に基づく、映画におけるデジタルイメージングのためのリアリティベース・ライティングを実施するための例示的なステップのフローチャート。本発明の実施形態を実施するための例示的なセットの斜視図。図４Ａで示したセットの平面図。イメージベースド・ライティングで使用する例示的なパノラマを示す線図。図５Ａのパノラマからキーライティングを除去し、残りの領域を面積の等しい領域に分割した線図。モデル化フィルライトの例示的な配置を示す。図４Ａで示したセットの例示的なモデルを示す。フィルライトプリミティブの定義で使用するための、領域に再分割したセットモデルの表面を示す。最大立体角により定義された領域を有するフィルライトプリミティブの概念を説明する線図。本発明に基づく方法を実施するシステムのブロック図。

Claims

デジタルオブジェクトをレンダリングするためのライティングを定義する方式であって、
各々が異なる露光で取り込んだ複数の相関する画像を含む、各々が限定された物理空間内の固有の座標に対応する画像データセットを読み取る段階と、
各々が前記画像セットの対応する１つの画像から導き出された色情報及び輝度情報のマップを含む、複数のパノラママップを定義する段階と、
前記複数のパノラママップから、デジタルレンダリングのためのライティングをモデル化空間の仮想座標の関数として定義するダイナミック・ライティングモデルをモデリングする段階と、
を含み、前記モデル化空間は、前記限定された物理空間に対応し、前記仮想座標は、空間座標、時間座標、及び空間座標と時間座標との任意の組み合わせから成るグループから選択されることを特徴とする方法。
前記読み取り段階は、前記限定された物理空間内の位置を定義する前記固有の座標を読み取る段階を更に含み、前記モデリング段階は、前記モデル化空間内の異なる位置を定義する前記仮想座標の関数として前記ダイナミック・ライティングモデルを定義する段階を更に含むことを特徴とする請求項１に記載の方法。
前記読み取り段階は、選択された位置の時間を定義する前記固有の座標を読み取る段階を更に含み、前記モデリング段階は、異なる時間を定義する前記仮想座標の関数として前記ダイナミック・ライティングモデルを定義する段階を更に含むことを特徴とする請求項１に記載の方法。
前記モデリング段階は、前記ダイナミック・ライティングモデルを時間非依存関数としてモデリングする段階を更に含むことを特徴とする請求項１に記載の方法。
前記モデリング段階は、前記ダイナミック・ライティングモデルを時間依存関数としてモデリングする段階を更に含むことを特徴とする請求項１に記載の方法。
各々の画像を取り込むカメラの識別子にリンクした定義済み基準オブジェクト画像を含む画像キャリブレーション・データセットを読み取る段階を更に含むことを特徴とする請求項１に記載の方法。
前記第２の読み取り段階は、２０段階グレースケール及びＭａｃｂｅｔｈカラーチャートから選択された前記定義済み基準オブジェクト画像を含む前記画像キャリブレーション・データセットを読み取る段階を更に含むことを特徴とする請求項１に記載の方法。
前記定義済み基準オブジェクト画像の分析に基づいて前記限定された物理空間の複数の画像の色補正を行う段階を更に含むことを特徴とする請求項１に記載の方法。
前記定義段階は、少なくとも１台のカメラの特性を決定するために、前記定義済み基準オブジェクト画像を使って前記複数のパノラママップを定義する段階を更に含むことを特徴とする請求項１に記載の方法。
読み取り段階は、凸鏡面反射面の画像を含む前記画像データセットを読み取る段階を更に含むことを特徴とする請求項１に記載の方法。
前記モデリング段階は、少なくとも１つのモデル化キーライト及び少なくとも１つのモデル化フィルライトを含む前記ダイナミック・ライティングモデルをモデリングする段階を更に含むことを特徴とする請求項１に記載の方法。
前記モデリング段階は、レンダリングされるデジタルオブジェクトを取り囲むモデル化発光面を含む前記ダイナミック・ライティングモデルをモデリングする段階を更に含むことを特徴とする請求項１に記載の方法。
前記モデリング段階は、レンダリングされるデジタルオブジェクトと前記モデル化発光面との間の幾何学的関係に基づいて、前記モデル化発光面を表面領域に再分割する段階を更に含むことを特徴とする請求項１２に記載の方法。
前記モデリング段階は、前記複数のパノラママップからオブジェクト固有のパノラマを補間する段階を更に含むことを特徴とする請求項１に記載の方法。
前記モデリング段階は、前記オブジェクト固有のパノラマから少なくとも１つのモデル化キーライト及び少なくとも１つのモデル化フィルライトを決定する段階を更に含むことを特徴とする請求項１に記載の方法。
デジタルオブジェクトをレンダリングするためのライティングを定義する方法であって、
異なる露光で取り込んだ複数の相関する画像を含む、限定された物理空間内の固有の座標に対応する画像データセットを読み取る段階と、
前記画像セットの対応する１つの画像から導き出した色情報及び輝度情報のマップを含む少なくとも１つのパノラママップを定義する段階と、
前記パノラママップから、デジタルレンダリングのためのライティングを少なくとも１つのモデル化キーライト及び少なくとも１つのモデル化フィルライトとして定義するライティングモデルをモデリングする段階と、
を含む方法。
デジタルオブジェクトをレンダリングするためのライティングを定義する命令を格納するコンピュータで読み取り可能な媒体であって、前記命令は、
各々が異なる露光で取り込んだ複数の相関する画像を含み、各々が限定された物理空間内の固有の座標に対応する画像データセットを読み取る段階と、
各々が前記画像セットの対応する１つの画像から導き出された色情報及び輝度情報のマップを含む、複数のパノラママップを定義する段階と、
前記複数のパノラママップから、デジタルレンダリングのためのライティングをモデル化空間の仮想座標の関数として定義するダイナミック・ライティングモデルをモデリングする段階と、
を含み、前記モデル化空間は、前記限定された物理空間に対応し、前記仮想座標は、空間座標、時間座標、及び空間座標と時間座標との任意の組み合わせから成るグループから選択されるようになっていることを特徴とするコンピュータで読み取り可能な媒体。
前記モデリング命令は、前記ダイナミック・ライティングモデルを時間非依存関数としてモデリングする段階を更に含むことを特徴とする請求項１７に記載のコンピュータで読み取り可能な媒体。
前記モデリング命令は、前記ダイナミック・ライティングモデルを時間依存関数としてモデリングする段階を更に含むことを特徴とする請求項１７に記載のコンピュータで読み取り可能な媒体。
各々の画像を取り込むカメラの識別子にリンクした定義済み基準オブジェクト画像を含む画像キャリブレーション・データセットを読み取る命令を更に含むことを特徴とする請求項１７に記載のコンピュータで読み取り可能な媒体。
前記定義済み基準オブジェクト画像の分析に基づいて前記限定された物理空間の複数の画像の色補正を行う命令を更に含むことを特徴とする請求項２０に記載のコンピュータで読み取り可能な媒体。
前記定義を行う命令は、少なくとも１台のカメラの特性を決定するために、前記定義済み基準オブジェクト画像を使って前記複数のパノラママップを定義する命令を更に含むことを特徴とする請求項２０に記載のコンピュータで読み取り可能な媒体。
前記読み取りを行う命令は、凸鏡面反射面の画像を含む前記画像データセットを読み取る命令を更に含むことを特徴とする請求項１７に記載のコンピュータで読み取り可能な媒体。
前記モデリングを行う命令は、少なくとも１つのモデル化キーライト及び少なくとも１つのモデル化フィルライトを含む前記ダイナミック・ライティングモデルをモデリングする命令を更に含むことを特徴とする請求項１７に記載のコンピュータで読み取り可能な媒体。
前記モデリングを行う命令は、レンダリングされるデジタルオブジェクトを取り囲むモデル化発光面を含む前記ダイナミック・ライティングモデルをモデリングする命令を更に含むことを特徴とする請求項１７に記載のコンピュータで読み取り可能な媒体。
前記モデリングを行う命令は、レンダリングされるデジタルオブジェクトと前記モデル化発光面との間の幾何学的関係に基づいて、前記モデル化発光面を表面領域に再分割する命令を更に含むことを特徴とする請求項２５に記載のコンピュータで読み取り可能な媒体。
前記モデリング段階は、前記複数のパノラママップからオブジェクト固有のパノラマを補間する段階を更に含むことを特徴とする請求項１７に記載のコンピュータで読み取り可能な媒体。
前記モデリングを行う命令は、前記オブジェクト固有のパノラマから少なくとも１つのモデル化キーライト及び少なくとも１つのモデル化フィルライトを決定する段階を更に含むことを特徴とする請求項２７に記載のコンピュータで読み取り可能な媒体。