JP2003099799A - 変化のないシーン内の静止した３ｄの物理的な物体の動きをシミュレートするための方法 - Google Patents

Abstract

(57)【要約】 【解決手段】 コンピュータによって実施される方法
が、最初に３Ｄの物理的な物体およびシーンの３Ｄグラ
フィックスモデルを取得することにより、変化のないシ
ーン内の静止した３Ｄの物理的な物体の動きをシミュレ
ートする。プロジェクタが、３Ｄの物理的な物体と、シ
ーンと、３Ｄモデルとに位置合わせされる。その後、そ
のモデルは複数の部分にセグメント化され、その部分の
所望の外観および仮想的な動きを反映させるために、各
部分がグラフィックスオーサリングツールを用いて編集
される。 【効果】 編集された部分はレンダリングされ、３Ｄの
物理的な物体およびシーン上に映像としてリアルタイム
に投影され、３Ｄの物理的な物体およびシーンに、所望
の外観および仮想的な動きを与える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は全般にグラフィック
スをレンダリングすることに関し、より詳細にはシーン
内の静止した物体の動きをシミュレートすることに関す
る。

【０００２】

【従来の技術】コンピュータグラフィックスシステム
は、実在あるいは架空の物体およびシーンの画像を取得
あるいは合成し、その後、これらを仮想世界において再
現することができる。最近になって、コンピュータシス
テムは、その逆を、すなわちコンピュータグラフィック
ス画像を現実世界に「挿入すること」も試みている。主
に、これは、映画の中で特殊な効果を得るために、およ
びリアルタイムに迫真性を高めるために間接的に行われ
る。さらに最近では、映写機を用いて、現実の物理環境
において直接、画像をレンダリングする動きがある。

【０００３】コンピュータグラフィックスは多くの進歩
を遂げているが、コンピュータはさらに、物理的な形状
および空間的な関係に関して、実際の物質による体験の
代わりに用いられなければならない。建築家、都市計画
立案者、自動車エンジニア、芸術家およびアニメ製作者
のような設計者達は依然として、その設計を終了する前
に、物理的なモデルを彫刻することに助けを求める。こ
れを行うための１つの理由は、物理的なモデルへのヒュ
ーマンインターフェースが全体として直感的であること
である。その場合には、操作するための制御手段や、視
認あるいは装着するための表示装置が存在しない。代わ
りに、そのモデルは、全体的に凝視し、あるいは興味の
ある構成要素に重点を置きながら、視覚的、空間的およ
び時間的な点の全てにおいて非常に正確に、多くの視野
から視認することができる。

【０００４】物体あるいはシーンが自然（白色）光によ
って照明されるとき、それは、その表面によって反射さ
れる特定の波長の光にしたがって感知される。表面の属
性は感知される光のスペクトルにのみ依存するので、物
体の多くの属性は、物体の属性を光源に組み入れ、中間
色の物体において等価な効果を達成することにより、効
果的にシミュレートすることができる。したがって、非
現実的な外観であっても視覚化することができる。

【０００５】調度品を備えた居間と、人々とのフィルム
を取得するために、回転式の映画用カメラが用いられて
きた。その際、部屋および調度品は昼白色に着色され、
そのフィルムは、本来のカメラと正確に位置合わせされ
た回転式のプロジェクタを用いて、壁および調度品に投
影し直される。Naimarkによる「Displacements」（Exhi
bit at the San Francisco Museum of Modern Art, San
Francisco, CA 1984）を参照されたい。記録用の(acqu
iring)カメラと表示用のプロジェクタとのこの決定的な
位置合わせは、ほとんどのシステムに共通であり、それ
らのシステムは、物理的な物体を照明するために、予め
記録された画像あるいは一連の画像を用いる。

【０００６】実在の水晶球内部に架空の占い師の顔を動
画化するために、プロジェクタおよび光ファイバの束が
用いられてきた。Liljegren等に１９９０年１２月１８
日に付与された「Figure with back projected image u
sing fiber optics」というタイトルの米国特許第４，
９７８，２１６号を参照されたい。細部を拡大された修
正写真のスライドを、高輝度のプロジェクタとともに用
いて、非常に大きな建築学的規模で画像をレンダリング
している。最近になってこの概念を具現化したものが、
よく知られている、フランスのロワール地方のブロア城
のＬｅ Ｓｏｎｅｔ Ｌｕｍｉｅｒｅである。さらに、
現在では、橋のような大規模な構造を照明するために、
この手段は世界中の至るところで用いられている。

【０００７】全てのこれらのシステムは人目を引くよう
な視覚化を達成する。しかしながら、１つのプロジェク
タの場合であっても、煩わしい位置合わせプロセスに数
時間を要する可能性がある。「Ｌｕｍｉｎｏｕｓ Ｒｏ
ｏｍ」プロジェクトは、同じ場所に配置されたカメラ−
プロジェクタの対をＩ／Ｏバルブとして取り扱い、画像
を読み取り、部屋あるいは指定された作業空間の実在の
物理的環境の平坦な表面上にその画像を投影する。Unde
rkoffler等による「Emancipated pixels: Real-world g
raphics in the luminous room」（SIGGRAPH '99, pp.
385-392, 1999）を参照されたい。その主な焦点は、発
光および実在インターフェースを介して情報をやりとり
することである。そのインターフェースは同一平面上の
２Ｄの物理的な物体を認識し、その面において２Ｄ位置
および配向を追跡し、頭上から光を投射し、適当な日光
による影を再現した。

【０００８】「Ｆａｃａｄｅ」プロジェクトでは、１組
の少数の写真を用いて、建築学的な記念碑をモデリング
し、レンダリングした。Debeves等による「Modeling an
d Rendering Architecture from Photographs」（SIGGR
APH '96, August 1996）を参照されたい。その主な問題
は、幾何モデル上に画像を再投影する際に生じるオクル
ージョン、サンプリングおよびブレンディングの問題に
関連していた。彼らは、コンピュータ画像および分析モ
デルを用いて、これらの問題に対処した。

【０００９】実在の３次元物体あるいは構造物上に画像
を投影することができるグラフィックスシステムを有す
ることが有用であろう。また、任意の視認方向の場合
に、その画像を適合させることもできるであろう。さら
に、照明される物体の外観を自在に変更することができ
るであろう。最後に、任意の方向から視認されることが
できるように、多数のプロジェクタから１つの複雑な物
体上に画像を継ぎ目なく適合させることができるであろ
う。

【００１０】

【発明が解決しようとする課題】本発明は、３次元コン
ピュータグラフィックスを視覚化するための新規の方法
を提供する。本発明は、テクスチャ、すなわち画像の拡
散成分を合成できるだけでなく、放射輝度調整手順を用
いて、任意の双方向反射率分布関数（ＢＲＤＦ）を仮想
的に再現することもできる。また、本発明は、深さの不
連続部の存在時に、多数の重なり合う画像の移行部にわ
たって、重み付けされた画素濃度を判定する。

【００１１】

【課題を解決するための手段】３Ｄコンピュータグラフ
ィックスのための本発明の実例は、多数のプロジェクタ
を用いて、現実世界内の物理的な物体あるいは構造物を
写実的に動画化する。その概念は、固有の色、テクスチ
ャおよび材料特性を有する物理的な物体を、投影された
画像によって照らされた中間色の物体で置き換え、その
物体上に直接、元の外観あるいは別の外観を再現するこ
とである。このアプローチでは、その物体の所望の視覚
的特性が、プロジェクタ内に効果的に「取り込まれ
る」。

【００１２】具体的には、最初に３Ｄの物理的な物体お
よびシーンの３Ｄグラフィックスモデルを取得すること
により、コンピュータにより実施される方法が、変化し
ないシーン内の静止した３Ｄの物理的な物体の動きをシ
ミュレートする。プロジェクタが、３Ｄの物理的な物
体、シーンおよび３Ｄモデルと位置合わせされる。その
後、そのモデルは複数の部分にセグメント化され、各部
分が、その部分の所望の外観および仮想的な動きを反映
させるために、グラフィックスオーサリングツールで編
集される。編集された部分は、レンダリングされ、３Ｄ
の物理的な物体およびシーンの上に映像としてリアルタ
イムに投影され、３Ｄの物理的な物体およびシーンに、
所望の外観および仮想的な動きを与える。

【００１３】

【発明の実施の形態】緒言

【００１４】本発明は、３次元（３Ｄ）コンピュータグ
ラフィックスおよび動画を、実在のシーンの３Ｄの物理
的な物体および視覚的な属性と組み合わせて、ユーザ
が、仮想的な画像で改善された物理的な物体および構造
物を視認できるようにする。本発明は、現実世界の要素
の照明を、３Ｄ画像の透視投射として取り扱い、コンピ
ュータビジョン技術を用いて画像が位置合わせされる。
本発明は、そのシーン内の拝啓である物理的な物体のた
めのテクスチャ、すなわち照明の拡散成分を提供するだ
けでなく、物体の外観およびシーンの残りの部分を変化
させるために、任意の双方向反射率分布関数（ＢＲＤ
Ｆ）を仮想的に再現することもできる。言い換えると、
本発明は、観測点非依存性および観測点依存性の視覚効
果を現実世界の構造物に適用する。

【００１５】本明細書は、対応する画像濃度を補正しな
がらレンダリングプロセスを誘導するために、放射輝度
調整手順を用いて、物理的な物体およびシーンを照明す
るための実用的な方法を記載する。また本発明は、多数
のプロジェクタからの画像を複雑な表面上で融合するこ
とにより、物理的な物体を完全に照明するための解法も
提供する。本発明は、深さの不連続部の存在時に、結果
的に再構成された照明に継ぎ目がないように、融合さ
れ、セグメント化された重なりの問題を解決する。ま
た、このプロセスは、種々の観測点からの多数の、深さ
を増した画像が、新規の観測点をレンダリングするため
に融合される必要がある、画像ベースレンダリング（Ｉ
ＢＲ）の応用形態によって用いられることもできる。

【００１６】本発明のシステムを用いて、卓上要素、工
業用部品、クレイモデル、建造物インテリア、彫像、建
築学的な記念碑、建造物全体および橋のような物体を照
明することができる。また、本発明は、仮想的な光源の
移動、ならびに静止した対称的な物理的な物体の仮想的
な回転および直線的な動きのような動画も提供する。ま
た本発明は、移動する特徴からなる画像で、物理的なシ
ーンの種々の部分を照明することにより、静止した物体
および背景の動きをシミュレートする。本発明により、
照明を追跡させながら、混在する部屋大の仮想および現
実環境を「ウォークスルー（通り抜け）」できるように
なる。

【００１７】本発明は、物理的な物体を照明することに
関連する多数の問題に対処する。第１の問題は、１つあ
るいは複数の投影された画像を３Ｄの物理的な物体と厳
密に一致させる必要がある、幾何学的な位置合わせの問
題である。従来技術の方法は典型的には、非常に単調
で、不正確な手動による方法を用いて、この位置合わせ
を達成する。以下では、本明細書は、自動化された位置
合わせ方法を記載する。

【００１８】第２の問題は、物理的な物体の外観を変更
することに関する問題である。たとえば、本発明は、光
沢のない物体を光沢のある物体に見せるための技術、お
よび静止した物体を回転させるための技術を提供する。
第３の問題は、セルフオクルージョンに起因する影およ
び不連続部の存在時に、重要な物理的な物体を完全に照
明することに関する問題である。第４の問題は、移動す
る物体の外観を変化させることに関する問題である。た
とえば、本発明は、物体の外観、そしておそらく背景を
変化させながら、移動する物体を照明するための解法を
提供する。

【００１９】システム概観

【００２０】モデル取得

【００２１】図１に示されるように、本発明によるシス
テム１００は、物体の３Ｄグラフィックスモデル１１１
を取得するために、現実世界の３次元（３Ｄ）の物理的
な物体あるいは構造物１０１を走査することにより開始
する。たとえば、３Ｄの物理的な物体１０１は、タージ
マハルの縮小された木製の複製物である。タージマハル
の縮小模型は、中間色（白色）に吹付け塗装される。そ
の寸法は約７０ｃｍ×７０×３５ｃｍである。

【００２２】３Ｄの物理的な物体１０１は、たとえば、
０．５ｍｍの精度で読取り値を与える３Ｄ触針センサに
よって走査されることができる。また、スキャナ１１０
は、ソナーあるいはレーザレンジング、ステレオビジョ
ン、３Ｄイメージング等のような他の技術を用いて、３
Ｄの物理的な物体１０１を表す３Ｄグラフィックスモデ
ル１１１の正確な幾何学的構造を取得することもでき
る。

【００２３】グラフィックスモデルは、コンピュータメ
モリに、三角形メッシュ、ポイントクラウド、ボリュー
メトリックデータとして格納されることができる。グラ
フィックスデータ構造をレンダリングするための他の容
易な方法を用いて、３Ｄの物理的な物体１０１を表すこ
ともできる。好ましい実施形態では、タージマハルモデ
ル１１１は２１，０００個の三角形から形成される。こ
の時点では、モデル１１１は観測点に依存し、「装飾さ
れていない」ことに留意されたい。すなわち、そのモデ
ルは、接続される頂点とその配向（垂直線）とによって
完全に指定される。

【００２４】物体が走査される間に、物体の表面上で１
組の３Ｄ較正点１１２が選択され、３Ｄグラフィックス
モデル内の対応する３Ｄモデル較正点が特定される。モ
デル較正点は、以下にさらに詳細に記載されるように、
較正画像内の対応する較正画素１１４に関連付けられ
る。たとえば、較正点１１２は、３Ｄの物理的な物体１
０１の角の場所を特定するのを容易にする。３Ｄ較正点
および画素は、以下にさらに詳細に記載される、オプシ
ョンの自動化された位置合わせステップ４００によって
用いられる。このステップは、プロジェクタ１６０と物
体１０１とを「位置合わせする」。位置合わせステップ
４００は、コンピュータグラフィックス画像をレンダリ
ングする間に用いられることになる外部および固有パラ
メータ４０１を判定する。透視照明装置の投影は、１１
段階までの自由度、すなわち６段階の外部自由度と５段
階の内部自由度とを有する。それゆえ、必要な変換を厳
密に決定し、モデル１１１の投影される画像と３Ｄの物
理的な物体１０１とを位置合わせできるようにする外部
および固有パラメータを決定するために、最低６個の基
準点が要求される。較正４００の精度を高めるために、
本発明では、少なくとも２０の点が用いられる。

【００２５】モデル編集

【００２６】ステップ１２０の間に、３Ｄモデル１１０
は、その物体の所望の外観を反映させるために、観測点
に依存しないテクスチャおよび観測点に依存する材料特
性で改善あるいは「装飾」される。このステップは、任
意の数の利用可能なコンピュータグラフィックスオーサ
リングツールを用いることができる。典型的には、テク
スチャは着色されたパターンによって定義される。本発
明は、１５個のテクスチャマップを用いる。材料外観特
性は、種々の角度から視認される際に、その物体がどの
ように見えることになるかを決定する。たとえば、光沢
があるかまたは金属製の物体は、種々の観測点および照
明配置の下では、光沢のない物体とは異なるように見え
るであろう。

【００２７】標準的には、物理的な世界では、物理的な
物体の表面に関連するテクスチャおよび照明は、物体の
不可欠な部分である。本発明は、これらの物体の特性
を、以下にさらに詳細に記載される、変更された双方向
反射率分布関数（ＢＲＤＦ）を用いて表す。細部にわた
る仮想的な３Ｄグラフィックスモデル１２２を生成する
ために、多数のハードウエアおよびソフトウエアによる
解法が利用可能である。別の実施形態では、そのモデル
は、携帯型の仮想的な「ペイントブラシ」ツールを直
接、３Ｄの物理的な物体１０１に適用することにより、
インタラクティブに編集される。ユーザとのやりとりの
結果は、同時に、あるいは後に投影するためにコンピュ
ータメモリに格納されることができる。

【００２８】レンダリング

【００２９】ステップ１３０は、３Ｄの物理的な物体１
０１の外観が新規の態様に変更されることができるよう
に、レンダリングエンジンを用いて、仮想的な３Ｄグラ
フィックスモデル１２２の画像１３１をレンダリングす
る。仮想的な３Ｄモデル１２２に加えて、レンダリング
エンジン１３０は、入力として、位置合わせ４００中に
決定された外部および固有パラメータ４０１と、３Ｄの
物理的な物体１０１をユーザが視認する場所１３２、す
なわち従来通りの言い回しでは、「カメラ」の場所とを
取り込む。

【００３０】正反射性のハイライト効果を正確に計算す
るために、本発明は、たとえば、Ｏｒｉｇｉｎ Ｉｎｓ
ｔｒｕｍｅｎｔｓ ＤｙｎａＳｉｇｈｔ（商標）光学追
跡システム１３５を用いて、移動するユーザの位置１３
２を追跡することができる。システム１３５は、静止し
ている目標物の瞬間的な３次元位置を測定する、コンパ
クトな内蔵ステレオセンサを含む。そのセンサはユーザ
を自動的に捕捉し、自由な環境においてユーザを追跡す
ることができる。

【００３１】その入力は、モデル１１１を照明するため
に用いられる仮想光の位置１３３も含む。

【００３２】プロジェクタの姿勢（位置および配向）に
よって画定されるレンダリングの観見え方は固定された
ままであるが、ユーザの位置に応じて、シェーディング
の見え方が指定される。従来のレンダリング手段では、
視認者がプロジェクタの真後ろあるいは真向かいにいる
ものと仮定される。すなわち、視認者は、システムの光
学軸の直線上に存在する。本発明のシステム１００は必
ずしもこの状態にはない。それゆえ、レンダリングエン
ジン１３０のための視認設定は、移動する視認者を考慮
に入れるように変更される必要がある。

【００３３】図２は、この設定を実行する手順２００の
ステップを示す。基本的には、手順２００は、プロジェ
クタと、視認者に依存するシェーディングパラメータと
のために、個別の変換行列を設定する。その手順は、た
とえば、ＯｐｅｎＧＬレンダリングプログラムで動作す
るように設計される。

【００３４】本発明により、静止した物体の動きがシミ
ュレートされるとき、静止した物体上に移動する物体の
画像が投影される。たとえば、回転対称の壷の場合、壷
の回転するモデルから生成される画像が投影され、静止
した物体の仮想的な動きの錯覚を与える。本発明は、多
数の物体から形成されるシーンを照明する際にさらにこ
の概念を利用する。本発明は、個別ではあるが、一致す
る動きに対応する画像を、そのシーンの種々の部分に投
影する。たとえば、道路上を移動する自動車の作用を生
成するために、本発明は、車輪を照明する部分が車輪の
軸を中心に回転し、一方、自動車の下側の道路あるいは
背景の他の部分が後方に移動する画像を投影する。さら
に、車輪の動きおよび背景の動きは一致する。車輪がよ
り速く回転する際に、背景はより高速に平行移動し、静
止した自動車が実際にはより高速に移動しているという
錯覚を与える。

【００３５】濃度補正

【００３６】ステップ１４０は、３Ｄの物理的な物体１
０１の中間色の表面の配向、およびその方向に向いた表
面のための放射輝度を考慮に入れるために、レンダリン
グされた画像１３１の濃度を画素毎に補正する。その画
像濃度は、グラフィックスハードウエアにおいて利用可
能なαブレンディングを用いて補正されることができ
る。このステップの詳細はさらに以下に記載される。標
準的なレンダリングでは通常、画像１３１は、光学軸に
垂直に、かつその軸を中心にして存在する１つの平面、
たとえば表示装置の画面あるいは一枚の紙の上に投影さ
れるものと仮定される。本発明のシステム１００では、
画像１３１は、曲面の部分を含む、種々の角度に配向さ
れた任意の数の任意の形状をなす表面を有する複雑な物
体あるいは構造物上に投影されることができる。

【００３７】クロスフェーディング

【００３８】上記のように、本発明は、種々の角度から
物体を眺めるために、視認者が動き回ったり（ウォーク
アラウンド）、通り抜けたり（ウォークスルー）するこ
とができるように、物体１０１あるいは構造物全体を照
明することができる。この場合には、多数の画像が投影
される必要がある。多数のプロジェクタ１６０が用いら
れる場合には、ステップ４００、１３０、１４０、１５
０に関する多数の事例が存在する。投影される画像は重
なり合うことができるので、最終的な投影可能な画像１
５１を得るために、以下にさらに詳細に記載される付加
的な補正ステップ１５０が適用される必要がある。この
ステップ１５０は、重なり合う領域内の画像をフェザリ
ングあるいはブレンディングする。フェザリングあるい
はブレンディングされた画像１５１は、３Ｄの物理的な
物体１０１を照明するために、最終ステップとしてプロ
ジェクタ１６０に供給される。一実施形態では、本発明
は、１０２４×７６８の解像度で画素を表示する２つの
デジタルプロジェクタを用いる。

【００３９】この時点で、視認者位置、物体の配向およ
び仮想的な照明が変化することを考慮に入れるように、
投影される画像が動的に変化できることに留意された
い。別法では、ユーザが１つの場所から種々の角度で物
体を視認できるようにするために物体を回転させること
ができるか、あるいは画像が、静止した物体が回転して
いるかのように見せることができる。照明される環境と
して、ユーザが仮想的に収容される大規模な構造物を用
いることもできる。この場合に、プロジェクタの代わり
に、１つあるいは複数の調整可能なレーザビームを用い
て照明を行うことができる。

【００４０】その方法１００全体は、以下の擬似コード
によって要約することができる。 予備処理中 ３Ｄの物理的な物体の３Ｄグラフィックスモデルを取得
する プロジェクタを概ね配置する 物理的な物体に対してプロジェクタの姿勢を決定する 実行中 ユーザ位置を定義する 物体の所望の外観を反映させるためにモデルを編集する ユーザ位置に基づいて、編集されたモデルを修正する 姿勢およびユーザ位置に基づく画像としてモデルをレン
ダリングする 物体の表面の配向に対して画像濃度を補正する 重なりおよびオクルージョンに対して画像濃度をブレン
ディングする 補正され、かつブレンディングされた修正画像を物体上
に投影する

【００４１】ここで、仮想的な画像で物理的な物体を照
明することを現実的に取り扱うことに関する詳細と、本
発明によるシステムの構成要素およびステップとが記載
されるであろう。

【００４２】照明および外観

【００４３】ある物体あるいは構造物の表面の外観は、
その表面における放射輝度によって決定される。それゆ
え、本発明は、入射する放射輝度を手続き上構成し直す
ことにより、中間色表面上に任意の外観を生成する。言
い換えると、３Ｄの物理的な物体１０１の中間色表面上
の外観は、所与の視認者位置に対して画像をレンダリン
グし、濃度補正１４０中にその画像をワーピングするこ
とにより達成される。物理的な物体の外観を変化させる
ために、本発明では、照明と反射率との間の関係の条件
を構成し直し、３Ｄの物理的な物体１０１の任意の表面
の点において等価放射輝度を再現する。

【００４４】図３ａは、物理的な世界において所与のＢ
ＲＤＦを有する点ｘ３０１において、ある一定の方向に
あり、観測者３０２に到達することができる放射輝度を
示す。図３ｂに示されるように、この放射輝度は、ＢＲ
ＤＦを変更し、適当に配置された光源、たとえばプロジ
ェクタ画素３０３で点３０２を照明することにより模倣
することができる。以下においては、視認者および仮想
的なシーンの位置および配向を与えるときに、放射輝度
を調整し、かつプロジェクタ画素の必要な濃度を決定す
るためのプロセスが記載される。

【００４５】より体系的なレンダリングの場合、本発明
は、レンダリングの視野（図３ａ）、すなわち従来どお
りの仮想的なカメラの視野を、シェーディングの視野
（図３ｂ）、すなわち照明計算のための３Ｄの物理的な
物体１０１に対する視認者の位置から分離する表記法を
導入する。

【００４６】本発明は、種々の光学経路の幾何学的構造
を近似する基本的なレンダリングの式で開始する。その
ような式は、Kajiyaによる「The Rendering Equation」
（Computer Graphics 20(4), pp.143-151, 1986）に記
載される。そのシーンの物理的な実現の観測者３０２に
到達する、方向（θ，φ）にある視認可能な表面の点ｘ
３０１における放射輝度は以下のとおりである。

【００４７】 Ｌ(ｘ，θ，φ)＝ｇ(ｘ，θ，φ)(Ｌ_ｅ(ｘ，θ，φ)＋ｈ(ｘ，θ，φ)) （１）

【００４８】ただし以下の式が成り立つ。

【００４９】 ｈ(ｘ,θ,φ)=∫Ｆ_ｒ(ｘ,θ,φ,θ_ｉ,φ_ｉ)Ｌ_ｉ(ｘ,θ_ｉ,φ_ｉ)ｃｏｓ(θ_ｉ) ｄω_ｉ （２）

【００５０】また、ｇ（ｘ，θ，φ）は幾何学項、すな
わち視認性および距離であり、Ｌ_ｅ（ｘ，θ，φ）はそ
の点における放射輝度であり、光源の場合のみ０以外の
値になり、Ｆ_ｒ（ｘ，θ，φ，θ_ｉ，φ_ｉ）はその点の
ＢＲＤＦである。ｈ（ｘ，θ，φ）内の積分は、立体角
ｄω_ｉから入射する放射輝度Ｌ_ｉ（ｘ，θ_ｉ，φ_ｉ）の
全ての反射を計上する。放射輝度は、単位時間当たりの
エネルギー、面積および立体角の次元を有する。

【００５１】投影される各画素を点放射体（point emit
ter)として取り扱うとき、距離ｄ（ｘ）の同じ表面の点
にあるが、拡散反射率ｋ_u（ｘ）を有する直接的なプロ
ジェクタ照明に起因する放射輝度は、以下の式によって
表される。

【００５２】 L’(ｘ,θ,φ)=ｇ(ｘ,θ,φ)ｋ_ｕ(ｘ)Ｉ_ｐ(ｘ,θ_ｐ,φ_ｐ)ｃｏｓ(θ_ｐ)/ｄ(ｘ )^２ （３）

【００５３】ただし、Ｉ_ｐ（ｘ，θ_ｐ，φ_ｐ）は、方向
（θ_ｐ，φ_ｐ）に投影される画素の放射強度であり、フ
ィルタリングおよび色調表示によって打ち切られた（di
scretized)画素値に関連付けられる。

【００５４】本発明は、放射強度Ｉ_ｐについて式（３）
を解くことにより、所与の視認者位置の場合に、Ｌ
（ｘ，θ，φ）に等価な放射輝度Ｌ’（ｘ，θ，φ）を
再現することができる。

【００５５】 Ｉ_ｐ(ｘ，θ_ｐ，φ_ｐ)＝Ｌ(ｘ，θ，φ)ｄ(ｘ)^２／ｋ_ｕ(ｘ)ｃｏｓ(θ_ｐ) ただし、ｋ_ｕ（ｘ）＞０ （４）

【００５６】こうして、拡散反射率ｋ_ｕ（ｘ）が、L
（ｘ，θ，φ）において表される全ての波長の場合に０
でない限り、本発明は、適当に補正された画素強度で表
面属性を有効に表現することができる。しかしながら、
実際には、表示することができる値の範囲は、プロジェ
クタの輝度、ダイナミックレンジおよび画素解像度によ
って制限される。３Ｄの物理的な物体１０１が、調整可
能なレーザビームによって照明される場合には、そのビ
ームの強度は、そのビームが物体上を走査する間に相応
に変更されることができることに留意されたい。

【００５７】本発明によるレンダリング１３０は２つの
観測点、すなわちユーザの観測点とプロジェクタの観測
点とを含む。簡単なアプローチは、最初に、図３ａに示
されるようなＬ（ｘ，θ，φ）によって表されるユーザ
によって視認される画像をレンダリングし、その後、従
来どおりの画像ベースレンダリング技術を用いて、この
画像をワーピングし、Ｉ_ｐ（ｘ，θ_ｐ，φ_ｐ）によって
表される、濃度を補正された投影画像を生成するであろ
う。Chen等による「View Interpolation fromImage Syn
thesis」（SIGGRAPH' 93, pp.279-288, 1993）およびMc
Millan等による「Plenoptic Modeling」（SIGGRAPH' 9
5, pp.39-46, 1995）を参照されたい。

【００５８】視認者の位置が変化する場合、静止した照
明条件下での観測点に依存するシェーディングも実施す
ることができる。Levoy等による「Light Field Renderi
ng」（SIGGRAPH' 96, pp.31-42, 1996）を参照された
い。

【００５９】しかしながら、本発明はワーピングを回避
することができる。なぜなら、表示媒体、すなわち３Ｄ
の物理的な物体１０１が仮想的な３Ｄモデル１２２と幾
何学的に同一であるためである。

【００６０】１経路レンダリングの場合、本発明は、ユ
ーザの位置１３３をシェーディング観測点として取り扱
う。その際、その画像レンダリングプロセスは、プロジ
ェクタの固有および外部パラメータ４０１に一致する透
視投影マトリクスを利用し、その後、上記のような放射
輝度調整を行うことにより、プロジェクタの観測点から
のシーンをレンダリングすることを含む。

【００６１】これら２つの観測点の分離は、いくつかの
興味深い副作用を有する。静止プロジェクタの場合、視
認性および観測点非依存性のシェーディング判定は、ユ
ーザの位置が変化している場合であっても、一度だけし
か実行される必要がない。リアルタイムのインタラクテ
ィブな実施形態を実現するために、本発明は、一般的な
レンダリングの式（１）に近似する３Ｄレンダリングエ
ンジン１３０を用いる。

【００６２】ＢＲＤＦプロセスは、観測点に依存する鏡
面反射成分と、観測点に依存しない拡散および周囲成分
とに分割される。観測点に依存しないシェーディング判
定は、レンダリング観測点とシェーディング観測点とが
同じであるものと仮定することにより実行されることが
できる。本発明は、２経路シャドーバッファ技術を用い
ることにより、同様に観測点に依存しない仮想的な影を
判定する。

【００６３】しかしながら、従来のレンダリングエンジ
ンは、２つの個別の観測点のための観測点依存性のシェ
ーディングのための鏡面反射ハイライトに対応しない。
それゆえ、本発明は、図２に示されるような手順２００
のステップを実行する。

【００６４】二次散乱

【００６５】３Ｄの物理的な物体１０１は拡散特性を有
する中間色表面を有するので、二次散乱を避けることが
できない。これは、照明される物体１０１の外観の品質
に潜在的に影響を及ぼすようになる。仮想的な３Ｄモデ
ル１２２が完全に拡散性であるとき、二次散乱を有利に
用いることができる。

【００６６】フォームファクタとしてよく知られてい
る、物理的な物体１０１の部分間の幾何学的関係は、仮
想的な３Ｄモデル１２２の同じ部分と必然的に同一であ
る。ｍ個の光源およびｎ個のパッチを用いる、仮想的な
シーンのパッチｉのためのラジオシティによる解決手法
について考えてみると、以下の式が成り立つ。

【００６７】

【数１】

【００６８】ここで、値ｋ_ａは拡散反射率であり、Ｂ_ｊ
はパッチｊの放射輝度であり、Ｆ_{ｉ ，ｊ}はパッチ間のフ
ォームファクタである。放射輝度を調整した後に、シス
テム１００を用いて直接的な照明の作用を再現すると
き、ｍ個の光源の作用を生成することができる。

【００６９】

【数２】

【００７０】しかしながら、二次散乱に起因して、中間
色表面が拡散反射率ｋ_ｕを有する場合には、検出される
放射輝度もｎ個のパッチに起因する二次散乱を含み、そ
れゆえ以下の式が与えられる。

【００７１】

【数３】

【００７２】所望の放射輝度と検出される放射輝度との
間の差は以下のとおりである。

【００７３】

【数４】

【００７４】したがって、ｋ_ｄおよびｋ_ｕが同じような
値である場合には、「自由」の場合の近似的なラジオシ
ティが得られる。簡単な直接照明レンダリングの場合で
あっても、その投影は、物理的な物体の隣接する部分に
おいて、色の信憑性のある「汚れ（spilling)」を生成
する。最初の反射が厳密に再現される場合であっても、
上記の式から、中間色表面からの二次的な寄与が不正確
であることは避けられない。仮想的な物体が非ランバー
ト反射率特性を有する場合には、その差はさらに大きく
なる。

【００７５】物体の表面の全ての可視部分の照明

【００７６】タージマハルの縮小模型１０１のような複
雑な物理的な物体の場合、全ての可視表面が少なくとも
１つのプロジェクタによって照明されるように、プロジ
ェクタのための良好な１組の姿勢（位置および配向）を
判定することが問題になる。この問題は部分的には、St
uerzlingerによる「Imaging all Visible Surfaces」
（Graphics Interface '99, pp.115-122, 1999）によっ
て取り扱われた。階層的な視認性アルゴリズムを用い
て、その論文では、全表面の全ての可視部分が少なくと
も１つのプロジェクタによって照明されるような１組の
カメラの観測点が判定された。最適な１組の姿勢を判定
することに関する問題はＮＰ困難であり、計算幾何学の
分野において知られている、O'Rourkeによる「Art Gall
ery Theoremsand Algorithms」（Oxford University Pr
ess, New York, 1987）によって記載されるアートギャ
ラリー問題に関連付けられる。

【００７７】詳細なシステム構成要素および方法ステッ
プ

【００７８】上記の照明問題に加えて、物理的な物体の
画像ベースの照明は依然としていくつかの他の問題に直
面する。第１の問題は幾何学的な位置合わせの問題であ
る。各２Ｄ画像１５１の投影と物理的な３Ｄ物体１０１
とを一致させる必要がある。これは手動で行われること
ができる。しかしながら、透視装置の投影は、１１段階
までの自由度を有する。それゆえ、手動で位置合わせを
達成するためのあらゆる作業は極端に単調になる可能性
があり、誤りを起こしがちである。以下においては、こ
の位置合わせを実行するための自動化技術が記載され
る。第２の問題は、解決手法が知られてない、重なり、
影およびセルフオクルージョンがあるときに、重要な物
理的な物体を完全に照明する問題である。

【００７９】デジタルプロジェクタあるいは調整可能な
レーザと、リアルタイム３Ｄグラフィックスレンダリン
グとを用いると、画像ベースの照明のための新たなアプ
ローチが可能になる。第１に、本発明は、物体１０１の
幾何学的構造、プロジェクタ１６０、視認者１３２およ
び所望の仮想的な照明１３３の３Ｄの幾何学的な相互関
係（understanding)を判定する。また本発明は、重要な
濃度補正ステップ１４０を実行するための手順も提供
し、ステップ１５０において、オクルージョン、影およ
び重なり合う画像も取り扱う。

【００８０】位置合わせ

【００８１】人目を引く視覚化を達成する際の重要な作
業の１つは、中間色物体の外観が改善されるように、仮
想的な３Ｄモデル１２２のグラフィカルなプリミティブ
と物理的な物体１０１とを関連付けることである。たと
えば、本発明は、オーサリングツール１２０を用いて物
体の表面上に表示されることになる任意のテクスチャ画
像を指定することができる。また本発明は、物体の外観
を改善する色分布を変更することもできる。また、実在
あるいは架空の種々の照明条件下で物体を視認すること
も望まれるであろう。

【００８２】図４に示されるように、本発明はプロセッ
サ４０１を用いて、３Ｄの物理的な物体１０１と、以下
のようにスキャナ１１０によって得られるモデル１１１
とを位置合わせする。プロセッサ４０１は、図１のシス
テム１００を構成する全てのハードウエア構成要素に接
続される。また、このプロセッサは、メモリと、エディ
タおよびレンダリングエンジンのソフトウエアおよびハ
ードウエアとを含むこともできる。

【００８３】最初に、本発明は、プロジェクタ１６０〜
１６１、全体として照明装置をそれぞれ大まかに配置
し、結果として、投影される画像が物理的な物体１０１
を概ね照明するようになるであろう。次に、各プロジェ
クタの場合に、較正十字線４０３で３Ｄの物理的な物体
１０１が照明される。次に、入力装置４０２を用いて、
投影された十字線４０３と、物理的な物体１０１の選択
された各３Ｄ較正点１１２とが位置合わせされる。これ
は、対応する２Ｄ較正画素１１４、すなわち十字線４０
２の厳密な中心における画素の座標を決定する。その
後、３Ｄ点と２Ｄ点との間の幾何学的関係を適合させ、
物体の座標系とプロジェクタの座標系との間の剛体変換
から、プロジェクタの固有および外部パラメータ４０１
を決定する。その変換は、スケールに応じて３×４の透
視投影マトリクスの形をとり、それはプロジェクタの固
有および外部パラメータ４０１を見つけるために分解さ
れる。Faugerasによる「Three Dimensional Computer V
ision: A Geometric Viewpoint」（MIT Press, Cambrid
ge, Massachusetts, 1993）を参照されたい。レンダリ
ングステップ１３０は、同じ固有および外部パラメータ
４０１を利用し、その結果、プロジェクタが３Ｄの物理
的な物体１０１に対して大まかに配置される場合であっ
ても、投影された画像１５１が物理的な物体１０１と厳
密に位置合わせされる。

【００８４】濃度補正

【００８５】式（４）を用いて、３Ｄの物理的な物体１
０１の中間色表面の反射率、プロジェクタに対する局所
的な配向および距離を考慮に入れるために、レンダリン
グされた各画像１３１の濃度が、各プロジェクタに対し
て画素毎に補正される（１４０）。１／ｃｏｓ（θ_ｐ）
補正を決定するために用いられる表面垂直線は、多角形
グラフィックスモデルの頂点においてのみ利用可能であ
るので、本発明は、近似的に補間するために、レンダリ
ングエンジン１３０を利用する。本発明では、３Ｄモデ
ル１１１の白色拡散バージョン、あるいは物理的モデル
１０１の０以外の適当な拡散反射率ｋ_ｕ（ｘ）と一致す
るモデルを、プロジェクタの場所に配置された仮想的な
白色光で照明し、距離の二乗に反比例する減衰に対して
濃度を補正する。

【００８６】結果的な画素の濃度は、シェーディング補
間に起因して曲面にわたってなだらかに、因子ｄ（ｘ）
^２／{ｋ_ｕ（ｘ）ｃｏｓ（θ_ｐ）}に反比例して変化す
る。照明装置１６０が制限されたダイナミックレンジを
有する場合には、より大きな角度で、１／ｃｏｓ（θ）
が２から無限大の範囲にあるので、角度θ_ｐ＜６０での
み表面の部分が照明される。これにより、表面の大きく
傾斜した部分において、投影された画素のサンプリング
速度が低下するのが回避される。またこれは、幾何学的
な位置合わせ４００における任意の誤差に起因する、位
置ずれによるアーティファクトを最小にする。以下に記
載される、重なり合う領域の位置を特定するための計算
中に、表面の大きく傾斜した部分は、任意のプロジェク
タによって照明されない、すなわち「影」の中にあるも
のと見なされる。

【００８７】クロスフェーディングによるオクルージョ
ンおよび重なりの補正

【００８８】３Ｄの物理的な物体１０１を完全に照明す
る場合、本発明は２つ以上のプロジェクタを用いる。こ
れにより、多数のプロジェクタから継ぎ目なく融合する
画像に関する難しい問題が生じる。単純な解決手段は単
に、１つの所与のプロジェクタのみによって、任意の所
与の表面パッチを照明するであろう。しかしながら、重
なり合うプロジェクタを取り扱う際に、主に２つの問題
がある。第１の問題は、その使用中に、製造プロセスお
よび温度による色ずれに起因して、隣接するプロジェク
タ間の色の等価性が欠如することである。Majumder等に
よる「Color Calibration of Projectors for Large Ti
led Displays」（Proceedings of IEEEVisualization 2
000, IEEE Science Press, 2000）を参照されたい。

【００８９】第２の問題は、推定される幾何学的較正パ
ラメータあるいは機械的な変動において、小さな誤差に
影響を受けるのを最小限に抑えることが望ましいことで
ある。それゆえ、本発明は、ブレンディングとしても知
られている、フェザリングあるいはクロスフェーディン
グを用いて、画像が重なり合う領域内の画素の濃度を調
整する。

【００９０】クロスフェーディングはこれまで、１つの
場所からのいくつかの見え方を組み合わせることによ
り、継ぎ目のないパノラマ写真モザイクを生成するため
に用いられてきた。Szeliski等による「Creating Full
View Panoramic Mosaics and Environment Maps」（SIG
GRAPH'97, Conference Proceedings, pp. 251-258, 199
7）を参照されたい。類似の技術がマルチプロジェクタ
広視野ディスプレイ、および平面投影の２次元アレイに
おいて知られている。マルチプロジェクタ広視野ディス
プレイについては、Raskar等による「Multi-Projector
Displays Using Camera-Based Registration」（Procee
dings of IEEE Visualization'99, 1999）を参照された
い。従来技術のシステムでは、重なり合う領域は典型的
には、平坦なディスプレイ表面上、および各プロジェク
タのフレームバッファ内の明瞭な連続した領域である。

【００９１】図５は、従来技術のクロスフェーディング
のプロファイルを示す。この場合に、プロジェクタ５０
１〜５０２が、１つの連続した平面５００を、重なり合
うソース画像で照明し、１つの目的とする画像を生成す
る。既知の補正方法は典型的には、最も近い境界５０
５、あるいは隣接する画像の寄与しない画素５０６への
ユークリッド距離に比例して、対応する画素の濃度５０
３〜５０４を単に重み付けする。［０，１］の範囲にあ
る重みが、画素濃度と掛け合わされ、最終的に目的とす
る画像を決定する。

【００９２】ソース画像の境界付近の画素の重みは、こ
れらの画素が目的とする画像にほとんど寄与せず、隣接
する画像に対してなだらかに移行するように、概ね０で
ある。理想的な条件下では、色が等価であるものと仮定
すると、目的とする画像における全ての画像の全て画素
の重みの寄与は最終的に１になる。１つのプロジェクタ
の色応答が他のプロジェクタのうちの任意のプロジェク
タと異なる場合であっても、目的とする画像は通常、重
なり合う領域５０７においてなだらかに移行する。この
重みの割当て方式は、ソース画像が、重なり合う領域５
０７と、その周囲において連続した平坦な表面を照明す
るときにのみ良好に機能する。

【００９３】本発明の場合には、図６に示されるよう
に、プロジェクタ６０１〜６０２によって照明される物
理的な物体１０１の表面６００が種々の形状の部分から
構成されることができるか、あるいはそのシーンが多数
の異なる物体を含むことができ、個別の物体の集合体が
結果として、影および断片化された重なり合う領域にな
る。複雑な物体の場合にさらに重要なのは、重なり合う
領域が、結果としてオクルージョンをもたらす深さの不
連続部を有する表面を含む可能性が高いことである。こ
こで、色応答が異なる場合、結果的な濃度分布は、たと
えば点６０３〜６０４において目障りな鋭い変化を有す
る。

【００９４】この問題は、画像ベースレンダリング（Ｉ
ＢＲ）において直面する問題に類似であり、その場合に
は、ワーピングされ、深さを増した画像がディスオクル
ージョンアーティファクトを生成する。多数のソース画
像が目的とする画像にワーピングするとき、特定の画像
に割り当てられる色は、画素値が互いに上書きする１つ
の目的とする画像から、あるいはソース画像からの対応
する画素の重み付けされた組み合わせとして、導出され
る必要がある。

【００９５】フェザリングはその結果を実際にぼかし、
ソース画像内の対応する画素の軽微な色差を解消し、か
つ小さい位置ずれ誤差に起因するゴースト生成作用を隠
すために通常必要とされる。

【００９６】この問題に対するいくつかの解決手段のう
ちの１つが、Debevec等による「Efficient View-Depend
ent Image-Based Rendering with Projective Texture-
Mapping」（Proc. of 9th Eurographics Workshop on R
endering, 1998）によって記載される。その方法は、ソ
ース画像と目的とする画像との間の角度に比例する重み
によって濃度を増減する。しかしながら、これは、その
シーンの表面にわたって、重みがなだらかに移行するこ
とを保証しない。結果として、隣接する多角形が非常に
異なる画像の組み合わせでレンダリングされ、目的とす
る画像において継ぎ目が現れるようになる。スロット６
１０は、その解決手段および対応する問題に基づくサン
プル重み付け方式を示す。

【００９７】本発明による方法は以下の３つの制約に依
存する。第１に、全ての対応するソース画素の濃度重み
の和は、その濃度が正規化されるように、その目的とす
る画像において１になるであろう。第２に、物理的な表
面に沿った特定のプロジェクタのソース画素の重みは、
プロジェクタ間の色差が目的とする画像において視認可
能な不連続部を持たないように、重なり合う領域内、あ
るいはその付近でなだらかに変化する。第３に、そのフ
レームバッファ内の特定のプロジェクタの画素の濃度の
重みの分布は、較正の小さな誤差、あるいは機械的変動
が鋭いエッジを生じないようになだらかである。

【００９８】実際には、時間にわたって１組のプロジェ
クタ間の色品質を確保することより、正確な幾何学的較
正を達成し、かつ保持するほうが容易である。これによ
り、第３の制約条件よりも第２の制約条件のほうが重要
になる。しかしながら、たとえば、オクルージョンを生
じた部分が、６０５のディスプレイ表面の近くに移動す
る際に、必ずしも第２および第３の制約を満たすことが
できるとは限らない。それゆえ、これらの制約は、深さ
の不連続部および影の境界において重みの制約を侵害す
ることなく、フェザリング問題を解決することを示唆す
る。

【００９９】従来技術の場合のように、最も近い境界画
素への距離を用いて画素の重みを見いだす代わりに、図
７に示されるような本発明による方法７００は以下のよ
うに進行する。最初に、１つのプロジェクタによって照
明される領域に対応する第１の組の画素の位置が特定さ
れる（７１０）。この第１の画素にそれぞれ、１の濃度
重みが割り当てられる（７２０）。その後、残りの（第
２の組の）各画素の場合に、１の重みを有する最も近い
画素の位置が特定される（７３０）。距離を測定するた
めに、ユークリッド（直線）距離が計算される。ステッ
プ７３０では、深さの不連続部と交差する経路は無視さ
れる。ステップ７４０では、１の重みを有する最も近い
適当な画素への距離に反比例する第２の各画素に、ある
重みが割り当てられる。

【０１００】色応答が異なる場合であっても、本発明に
よる方法は、図６のプロット６２０によって示されるよ
うに、影および断片化された重なりの存在時に、平面上
でなだらかな移行を生成する。また、本発明による方法
は、３つ以上のプロジェクタの場合に、および画像ベー
スレンダリングシステムから生じる重なりおよびオクル
ージョンの領域において画素をブレンディングする場合
に用いることもできる。

【０１０１】実用的な実施形態では、本発明は、２つの
バッファ、１つの深度バッファおよび１つのオーバーラ
ップバッファを用いる。深度バッファは、仮想的な３Ｄ
モデル１２２をレンダリングする（１３０）間に、重み
付けされた画素濃度で更新される。オーバーラップバッ
ファは、目的とする画像内の各画素のための整数値を含
む。その整数値は、その目的とする画素にソース画素を
導くプロジェクタの数を示す。重なり合う領域内の画
素、すなわち、オーバーラップバッファにおいて１より
大きな対応する整数値を有する画素のための重みは、従
来どおりのシャドーバッファ技術を用いる。方法７００
のための擬似コード８００が図８に示される。

【０１０２】重なり合う領域内のいくつかの画素の場合
に、１のオーバーラップ数が見いだされることができる
最も近い画素の位置を特定できない場合がある。この場
合には、最短距離が、ある大きな値であるものと仮定さ
れる。これは、離隔される領域内の重みを大きく低減
し、かつ不要な移行領域も大きく削減する。

【０１０３】あるシーン内の静止した物体の仮想的な動
きのシミュレーション

【０１０４】図９は、変化のないシーン内の静止した物
体の仮想的な動きをシミュレートするための方法９００
のステップを示す。最初に、物体およびシーン９０１、
たとえば、白色の背景上に静止して配置される中間色の
おもちゃの自動車の３Ｄモデル９１１が生成される。そ
の後、プロジェクタ９６０が、上記のように、物体およ
びモデルと位置合わせされる（９２０）。ユーザおよび
照明の位置も与えることができる。

【０１０５】次に、移動する種々の部分を指示し、種々
の自由度で個別に動画化するために、３Ｄモデル９１１
がセグメント化される（９３０）。たとえば、セグメン
ト化された３Ｄモデル９３１において、車輪が車体から
セグメント化され、車全体がセグメント化され、背景部
分が個別の部分として残される。セグメントの数は特定
の応用形態および物体に完全に依存することは理解され
たい。

【０１０６】セグメント化された３Ｄモデル９３１は、
仮想的なセグメント化モデル９４１を形成するために編
集される（９４０）。種々のセグメントの仮想的な動き
は個別に、回転、平行移動および他の作用を考慮し、適
当な錯覚を生じる動きを与えることができる。

【０１０７】たとえば、動きのぼかしおよび移動する影
が追加されることができ、必要に応じて、反射および他
の全体的な視覚効果を追加することができる。

【０１０８】必要なら、種々の部分の仮想的な動きの間
の関係を強制的に一致させることができる。たとえば、
車輪の明らかな時計回りの回転が、背景上の道路表面の
後方への仮想的な動きと一致し、その自動車が前方に加
速しているという印象を与える。その後、仮想的な３Ｄ
モデルはレンダリングされ、補正されて、物体およびシ
ーン９０１上にリアルタイムに投影される。

【０１０９】応用形態

【０１１０】最も簡単な形態では、システム１００を用
いて、日常の物体および構造物の外観を動的に変更でき
るか、あるいはそれらの上に一時的な模様を付加するこ
とができる。たとえば、技術者が、物理的な表面に影響
を及ぼすことなく、穿孔位置のような対象の領域に印を
付けることができる。都市計画者は、種々の照明条件下
で、都市モデルを視覚化することができる。ステージお
よび屋外のショーの場合、そのシステムは、背景、なら
びにシーン内の物体および支柱を変更することができ
る。彫刻家はクレイモデルを照明し、設計が終了する前
に、種々のテクスチャおよび仕上げ材料をシミュレート
することができる。画像ベース照明は、縮小模型セット
の細部を向上させるために、映画産業においても用いら
れることができる。またそのシステムは、インテリアお
よびイクステリア建築モデルで用いることもできる。厳
密に詳細な物理的な複製物を建造する代わりに、設計者
は、箱、球体、柱体のような簡単なスタイロフォーム部
品を用いることができる。

【０１１１】本発明は、ユーザの世界に直に豊富で細か
い画像を生成し、合成画像とのやりとりを行う新たな態
様を可能にするために、映写機および物理的な物体を含
む３Ｄコンピュータグラフィックスの視覚化のための新
規の形態を記載してきた。本発明は、重要な物体の画像
ベース照明を実用化する技術を提供している。本発明に
よる視覚化システム方法は、教育、建築設計、芸術およ
びエンターテイメントを含む種々の応用形態において注
目するに値する。

【図面の簡単な説明】

【図１】 本発明によるシステムおよび方法の流れ図で
ある。

【図２】 グラフィックス画像をレンダリング中に多数
の座標系を決定するための手順のブロック図である。

【図３ａ】 所与の方向内のある点における放射輝度の
グラフである。

【図３ｂ】 所与の方向内のある点における放射輝度の
グラフである。

【図４】 本発明によって用いられる位置合わせ方法の
流れ図である。

【図５】 従来技術の濃度補正のグラフである。

【図６】 本発明によるクロスフェーディングのグラフ
である。

【図７】 画像濃度を補正するための方法の流れ図であ
る。

【図８】 画像濃度を補正するための手順のブロック図
である。

【図９】 あるシーン内の静止物体の動きをシミュレー
トするための方法の流れ図である。

フロントページの続き (72)発明者 ラメッシュ・ラスカー アメリカ合衆国、マサチューセッツ州、サ マーヴィル、クラレンドン・アベニュー 61、ナンバー ２ Ｆターム(参考） 5B050 AA03 BA08 CA07 DA10 EA13 EA19 EA24 EA27 EA28 FA01 FA05 5B080 AA13 FA03 GA08 GA15

Claims (7)

【特許請求の範囲】
1. 【請求項１】 変化のないシーン内の静止した３Ｄの物
   理的な物体の動きをシミュレートするための方法であっ
   て、 前記３Ｄの物理的な物体および前記変化のないシーンの
   ３Ｄグラフィックスモデルを取得するステップと、 プロジェクタを、前記３Ｄの物理的な物体と、前記シー
   ンと、前記３Ｄグラフィックスモデルとに位置合わせす
   るステップと、 前記３Ｄグラフィックスモデルを複数の部分にセグメン
   ト化するステップと、 各部分の所望の外観および仮想的な動きを反映させるた
   めに、グラフィックスオーサリングツールを用いて前記
   各部分を編集するステップと、 前記編集された部分を動画映像としてリアルタイムにレ
   ンダリングするステップと、 前記３Ｄの物理的な物体および前記シーンに前記所望の
   外観および仮想的な動きを与えるために、前記３Ｄの物
   理的な物体および前記シーンを前記動画映像で照明する
   ステップとを含む変化のないシーン内の静止した３Ｄの
   物理的な物体の動きをシミュレートするための方法。
2. 【請求項２】 前記所望の外観を反映させるために、前
   記３Ｄグラフィックスモデルの観測点に依存しないテク
   スチャと、観測点に依存する材料特性とを編集するステ
   ップをさらに含む請求項１に記載の変化のないシーン内
   の静止した３Ｄの物理的な物体の動きをシミュレートす
   るための方法。
3. 【請求項３】 種々の仮想的な動きを前記複数の部分に
   与えるために、前記各部分に対して、独立した回転およ
   び平行移動パラメータを編集するステップをさらに含む
   請求項１に記載の変化のないシーン内の静止した３Ｄの
   物理的な物体の動きをシミュレートするための方法。
4. 【請求項４】 前記部分をレンダリングするステップ
   は、ユーザ位置と、仮想的な光の位置とを考慮する請求
   項１に記載の変化のないシーン内の静止した３Ｄの物理
   的な物体の動きをシミュレートするための方法。
5. 【請求項５】 動きのぼかしおよび移動する影を付加す
   るステップをさらに含む請求項４に記載の変化のないシ
   ーン内の静止した３Ｄの物理的な物体の動きをシミュレ
   ートするための方法。
6. 【請求項６】 反射および全体的な視覚効果を付加する
   ステップをさらに含む請求項４に記載の変化のないシー
   ン内の静止した３Ｄの物理的な物体の動きをシミュレー
   トするための方法。
7. 【請求項７】 種々の部分の動きの間の関係を強制的に
   一致させるステップをさらに含む請求項１に記載の変化
   のないシーン内の静止した３Ｄの物理的な物体の動きを
   シミュレートするための方法。