JP2003509790A - ３ｄモデルをつくる方法および装置 - Google Patents

Abstract

(57)【要約】 容積的シーンを再現するための方法および装置を提供する。任意の位置からとられたシーンの１組の画像から、そのシーンの３次元モデルが復元される。シーンをモデル化するために僕セルが使用され、シーンの表面ポイントおよびそれを表すボクセルは、入力画像において整合した色に投影するという事実を利用する。入力カメラは、シーンの中および周囲の任意の位置に配置することができる。ボクセルの色整合をチェックするとき、ボクセルを見ることができる画像の全集合が使用される。GVCアルゴリズムが、各画像中の各ピクセルについて、そのピクセルに投影する最も近いボクセルのIDを含む項目バッファを利用する。GVC-LDIアルゴリズムは、そのピクセルに投影するすべての表面ボクセルのリストで、画像のカメラからボクセルまでの距離でソートされたリストを各ピクセル位置に記憶する階層化深さ画像を使用する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】

この発明は、シーンの一組の入力イメージから体積シーンを復元するための方
法および装置に関し、より具体的には、入力イメージと整合性のあるシーンの高
品質の3Dモデルを復元するための方法および装置に関する。

【０００２】

【従来の技術】

今日、画像ベースのレンダリング手法に大きな関心が寄せられている。これら
の手法は、コンピューターグラフィックス、コンピュータビジョン、画像処理お
よび写真測定の分野から得られる。これらの手法の目標は、自然であるか合成で
あるかを問わず一つのシーンの２以上の画像から新しいビューを計算することで
ある。一つのシーンのいくつかの画像が異なるカメラ視点から得られる。そのイ
メージデータは、そのシーンの3次元（3D）コンピュータモデルを作るために使
われる。その3Dモデルは、そのカメラ視点と異なる視点から、そのシーンの１つ
または複数の画像を計算するために使うことができる。新しい画像は、所望の視
点にその3Dモデルを投影することによって合成される。この手法は「新しいビュ
ー合成」と呼ぶことができる。新しいビュー合成のいくつかの手法が先行技術で
開示されている。

【０００３】 ビュー・モーフィングおよび明るいフィールドは、中間ステップとして3Dモデ
ルを創らない新しいビュー合成の問題に対するソリューションである。ビュー・
モーフィングは、この問題に対する最も単純なソリューションの1つである。一
つのシーンの2つの画像が与えられると、それは、補間法を用いてその入力イメ
ージの間で視点的に中間において新しい画像を作る。ビュー・モーフィングはそ
のシーンについて3D情報を使わないので、その結果がたびたび説得力があるよう
に見えるけれども、一般に厳密に正しい画像をレンダすることができない。その
アルゴリズムは、お互いを遮断するそのシーンにおける複数のオブジェクトを正
しくレンダするには不十分な手段であることが明らかである。

【０００４】 ルミグラフ（lumigraph）および明るいフィールドの手法は、ある容積体（ボ
リューム）の表面上のあらゆるポイントからあらゆる方向に放射される光のサン
プリングを使う。理論上、データのそのような集合は、ほとんど完全な新しいビ
ューを生成することができる。しかし、実際問題として、高品質画像を総合する
ために必要とされる大量の入力データは、その取込みおよび記憶が非実用的であ
る。それにもかかわらず、これらの方法は、他の競合する手法に対して1つの利
点、すなわち、それらは、鏡面反射を正しく扱うという利点を有する。

【０００５】 ステレオ手法は、シーンで同じポイントに対応する、２以上の入力イメージに
おけるポイントを見つける。その手法は、それからシーン・ポイントの深さを判
定するためにカメラ位置および三角測量についての知識を使う。あいにく、ステ
レオは任意の視点からとられる画像に適用するのが難しい。入力視点が遠く離れ
ているならば、対応する画像ポイントを自動的に見つけるのは難しい。他方、視
点が近くであるならば、小さい測定誤差は計算された深さに大きな誤差を生じさ
せる。さらに、ステレオは2D深度マップを自然に生成し、そのようなマップを一
体化して本当の3Dモデルにすることは、挑戦的な問題である。

【０００６】 ボクセル色付けおよび空間切り分け（space carving）は、乱反射面の特性を
利用する。乱反射面上のポイントは、「色整合」である、すなわち、それらのポ
イントが見える全ての画像においてそれらのポイントは類似した色の上に投影す
る。これらの方法は、そのシーンの任意の数のキャリブレート（calibrate）さ
れた画像、およびシーンのスーパーセットである一組のボリューム要素、すなわ
ちボクセルから始める。それぞれのボクセルは、それが見える全ての画像に投影
される。ボクセルがいくつかの画像で矛盾する色の上へ投影するならば、それは
表面上にあってはならず、切り分け（carve）られる、すなわち透明と宣言され
る。その他の場合は、ボクセルは、「色をつけられる」、すなわち不透明である
と宣言され、その投影の色を割り当てられる。全ての不透明なボクセルが画像に
おける一貫した色に投影するとき、これらのアルゴリズムは止まる。不透明なボ
クセルの最後の組は色整合しているので、それはそのシーンの良いモデルである
。

【０００７】 ボクセル色付けおよび空間切り分けは、それらが可視性、すなわちどのボクセ
ルが画像のどのピクセルから見えるかの知識、を判断する手段において異なる。
ボクセルは、それが画像の外側に投影するか、または現在不透明と考えられてい
る他のボクセルによってブロックされるならば、画像から見えなくなる。ボクセ
ルの不透明性が変化するとき、他のボクセルの可視性も潜在的に変化するので、
可視性を新しく保つのために効率的な手法が必要とされる。

【０００８】 ボクセル色付けは、可視性計算を単純化するためにカメラ位置に制約を置く。
それぞれのカメラに関して前から後ろの順で一つのスキャンでボクセルが処理さ
れることができるように、カメラが配置される必要がある。一般的に、この条件
は、すべてのカメラをそのシーンの一方の側に配置し、カメラから順に遠くなる
平面でボクセルをスキャンすることによって満足される。このように、所与のボ
クセルが色整合性についてチェックされる前に、所与のボクセルを遮断するかも
しれない全てのボクセルの透明性が判定される。それは可視性の計算を単純化す
るけれども、カメラ位置上の制約は重要な制限である。例えば、カメラはシーン
を囲むことができないので、いくつかの表面はどの画像でも見ることができず、
それゆえに復元することができない。

【０００９】 空間切り分けは、カメラ位置の制約を取り除く。カメラを任意に置くと、複数
のボクセルを順序に関係なく１回スキャンしても、最終的なモデルにおけるそれ
ぞれボクセルの可視性（およびその色整合性）を正しく計算することができない
。変化する不完全な可視性情報を使って、切り分けの間に複数回ボクセルの整合
性を評価し、終わりに色整合した復元を得るアルゴリズムが設計された 空間切り分けは、初めに全てのボクセルを不透明と考え、ボクセルを透明に変え
るだけで、その逆は行わない。従って、いくつかのボクセルが切り分けられるに
つれて、残りの不透明なボクセルが画像から見えるようになってくる。整合性関
数は単調（monotonic）と仮定され、このことは、SをS’のサブセットとして、
任意の２組のピクセルSおよびS’について、もしSが矛盾しているならば、S’も
矛盾していることを意味する。アルゴリズムが走るにつれてボクセルの可視性が
増加するだけで、整合性関数が単調であるとすると、切り分けは保守的であり、
最終モデルにおいて色整合するのであれば、そのボクセルは切り分けられない。

【００１０】 空間切り分けはボクセル色付けと同じように色整合性のために複数のボクセル
を、一度に一平面のボクセルを評価しながらスキャンする。それは、移動する平
面の後にカメラがある画像だけを使うことによって、スキャンがカメラに対して
前から後ろであることを強制する。このように、ボクセルが評価されるとき、現
在使われているカメラからそれを遮断するかもしれない他のボクセルについて透
明性はすでに知られている。ボクセル色付けとは異なり、空間切り分けは、典型
的には、３軸のそれぞれの正方向および負方向に沿って複数のスキャンを使用す
る。切り分けが保守的であるので、不透明なボクセルの組は、所望の色整合した
モデルの、アルゴリズムが走るにつれて縮小するスーパーセットである。

【００１１】 空間切り分けは、切り分けてはならないボクセルを切り分けることはないが、
色矛盾するいくつかのボクセルを含むモデルを生成することがありそうである。
スキャンの間、チェックされているボクセルがそれらのカメラから見えるときで
も、移動平面より前にあるカメラが色整合性のチェックのために使われない。そ
れゆえに、ボクセルの色整合性は、一般に、それから見える画像の全ての集合に
わたってチェックされることはない。

【００１２】

【発明が解決しようとする課題】

従って、シーンの測定された画像からシーンの3Dモデルを復元するための改善
された方法および装置に対する必要性が存在する。

【００１３】

【課題を解決するための手段】

発明の第１側面によると、異なる視点からとられるシーンの複数の画像から、
シーンの3次元モデルを復元する方法および装置が提供される。この方法は、次
のステップを含んでいる。

【００１４】 a)そのシーンを含む一組のボクセルの復元ボリュームを定義するステップ、 b)復元ボリュームの表面上で、切り分けされないボクセルを含む表面ボクセル・
リスト（SVL）を初期化するステップ、 c)それぞれ画像における各ピクセルについて、ピクセルに投影する最も近いボク
セルのIDを含む項目バッファを作るステップ、 d)SVLでそれぞれのボクセルVを処理するステップ、 e)項目バッファを作るステップ以来いずれかのボクセルが切り分けられていれば
、ステップc)およびd)を繰り返すステップ、 およびf)項目バッファを作るステップ以来どのボクセルも切り分けられていなけ
れば、SVLを保存するステップ。

【００１５】 SVLでの各ボクセルVは、d1)ボクセルVが見える全ての画像におけるピクセルの
集合vis(V)を計算すること、d2）vis(V)の色整合性を判定すること、およびd3）
vis(V)が色整合でないならば、i)ボクセルVを切り分け、ii)SVLからボクセルVを
取り除き、iii)ボクセルVに隣接しSVL上にないすべての切り分けられていないボ
クセルをSVLに加えることによって、処理される。

【００１６】 発明の別の側面によると、異なる視点からとられるシーンの複数の画像から、
シーンの3次元モデルを復元するための方法および装置が提供される。この方法
は、次のステップを含む。

【００１７】 a)シーンを含む一組のボクセルを含んでいる復元ボリュームを定義するステップ
、 b)復元ボリュームの表面上で切り分けられていないボクセルを含む表面ボクセル
・リスト（SVL）を初期化するステップ、 c)画像のそれぞれにおける各ピクセルについて、そのピクセルに投影するすべて
の表面ボクセルのリストで、ボクセルから画像のカメラまでの距離に従ってソー
トされたリストを含む階層化された深さ画像（LDI）を作るステップ、 d)SVLを可視性を変更されたSVL (CVSVL)にコピーするステップ、 e)CVSVLのボクセルを処理するステップ、 f)CVSVLが空のとき、SVLを保存するステップ。

【００１８】 CVSVLにボクセルがあるとき、CVSVLのボクセルの処理は、次のことを含む。

【００１９】 e1）CVSVL上のボクセルVを選びCVSVLからボクセルVを除去すること、 e2）ボクセルVが見える全ての画像におけるピクセルの集合vis(V)を計算するこ
と、 e3）vis(V)の色整合性を判定すること、 およびe4）vis(V)が色整合でないならば、i)ボクセルVを切り分け、ii)SVLから
ボクセルVを除去し、iii)LDIからボクセルVを削除し、iv)ボクセルVがLDI(P)の
ヘッドにあるならば、LDI(P)に次のボクセルを加え、v)可視性が変化していれば
ボクセルNをCVSVLに加え、ボクセルVをLDIに挿入することによって、ボクセルV
に隣接する切り分けられていない各ボクセルNを処理すること。

【００２０】

【発明の実施の形態】

発明に従ってシーンの３次元モデルの復元を示す模型的な図が図１に示される
。カメラ10、12、14、16および18は、異なるカメラ視点からシーン30のそれぞれ
の入力イメージ20、22、24、26、28を得る。それぞれのカメラ1O、12、14、16お
よび18の距離、位置およびオリエンテーションは知られており、得られる画像は
キャリブレート（calibrate）された画像として定義される。下で記述されるア
ルゴリズムは、カメラの位置に制約をつけない。カメラは、シーン内および周辺
の任意の位置に置かれることができる。カメラはシーンを囲むのが好ましい。こ
の構成は、シーンについて最も完全な情報を提供し、シーン30の最高品質の復元
を提供する。実際的な状況で、シーンの10から40個の画像が異なる視点から得ら
れる。静的なシーンでは、同じカメラを用いて時間を変えて複数の画像をとるこ
とができる。

【００２１】 先に述べたように、入力イメージ20、22、24、26および28は、カメラ10、12、
14、16および18の視点と異なる視点からのシーン30の１つまたは複数の新しいビ
ューすなわち画像を生成するために使われることができる。新しいビュー合成は
、まず入力画像20、22、24、26および28からシーン30の3次元モデルを復元する
ことを必要とする。3次元モデルは、次いでシーン30の１つまたは複数の新しい
画像を生成（レンダ）するために使われる。この発明のボクセル色付けアルゴリ
ズムは、シーン30の3次元モデルの復元に関連する。

【００２２】 この発明は、斬新なアルゴリズムを容積体シーンの復元を提供する。任意の既
知の位置からとられるシーンの一組の画像が与えられたとすると、アルゴリズム
は入力イメージと整合するシーンの3Dモデルを構築する。このアルゴリズムは、
一般化されたボクセル色付けすなわちGVCアルゴリズムと呼ばれる。このアルゴ
リズムは、ボクセルを使用してシーンをモデル化し、シーンの表面ポイントおよ
びそれらを表すボクセルが入力画像の調和した色に投影するという事実を利用す
る。ボクセル色付けおよび空間切り分けはシーン復元問題に対する成功したソリ
ューションであるけれども、この発明のアルゴリズムはそれらに対し利点を有す
る。ボクセル色付けと違って、この発明は、入力カメラがシーン内およびその周
辺の任意の位置に置かれるのを許す。ボクセルの色整合性をチェックするとき、
この発明はボクセルが見える画像の全ての集合を使う。これに対し、空間切り分
けは、これらの画像のサブセットを使うだけである。この発明では、結果として
、よりよい新しいビューが合成される。

【００２３】 ２つの種類の一般化されたボクセル色付けアルゴリズムが開発された。GVCお
よびGVC-LDIである。GVC-LDIアルゴリズムは、基本的なGVCアルゴリズムの増強
である。1つのボクセルの切り分けは、潜在的に他のボクセルの可視性を変更す
る。切り分けられていないボクセルの可視性が変化するとき、その色整合性が再
評価されなければならず、それが非整合の色であるとわかれば、それも切り分け
られなければならない。GVC-LDIアルゴリズムは、別のボクセルが切り分けられ
るとき正確にどのボクセルの可視性が変化したかを判断するために階層化された
深さ画像（LDI）を使用し、正しいボクセルを再評価することができる。同じ状
況で、GVCアルゴリズムは、どのボクセルが再評価される必要があるかを知らな
いので、現在のモデルにおける全てのボクセルを再評価する。したがって、GVC-
LDIアルゴリズムは、復元中にGVCアルゴリズムより非常に少ない色整合性評価を
実行する。しかし、GVCアルゴリズムは、GVC-LDIアルゴリズムよりかなり小さい
メモリを使う。両方のアルゴリズムは、全てのボクセルが不透明であると初めに
仮定する。それらは、残りの全てのボクセルがそれらが見える画像において整合
した色に投影するまで、色整合していないボクセルを切り分ける。

【００２４】 一般化されたボクセル色付けすなわちGVCアルゴリズムは、次のようにして可
視性を判断する。まず、あらゆるボクセルは、ユニークなIDを割り当てられる。
それから、項目バッファが図４および５に示すようにそれぞれの画像のために造
られる。全ての不透明なボクセルの標準的なＺ-バッファ・レンダリングが実行
されるが、各ピクセルにボクセル・色を格納する代わりに、ボクセルIDが格納さ
れる。このように、ボクセルが生成（レンダ）されたあと、項目バッファでの各
ピクセルはそれに投影する最も近い不透明ボクセルのIDを含む。これが必要とさ
れる可視性情報である。

【００２５】 有効な項目バッファが画像のそれぞれについて計算されたあと、図6に示すよ
うに、ボクセルVが見える全てのピクセルの集合vis(V)を計算することができる
。vis(V)は次のように計算する。ボクセルVが各画像に投影される。ボクセルVの
投影におけるあらゆるピクセルPについて、ピクセルPのための項目バッファがボ
クセルVのIDを含むならば、ピクセルPがvis(V)に加えられる。ボクセルVの色整
合性をチェックするために、整合性関数コンシスト（）がvis(V)に適用される、
すなわちコンシスト（vis(V)）が計算される。

【００２６】 ボクセルを切り分けると、残りの切り分けられていないボクセルの可視性が変
えられ、項目バッファが可視性情報を維持するために使われるので、項目バッフ
ァは定期的に更新される必要がある。GVCアルゴリズムは、項目バッファを再計
算することによってこれを行う。このプロセスは時間がかかるから、GVCアルゴ
リズムは項目バッファの更新の間で多くのボクセルを切り分けることを許される
。その結果、項目バッファは、多くの時間において古くなっており、計算された
集合vis(V)は、ボクセルVが見える全てのピクセルのサブセットであることが保
証されるだけである。しかし、切り分けは保守的であるから、切り分けられるべ
きでないボクセルが切り分けられることはない。GVCアルゴリズムの最終的な繰
返しの間に切り分けが発生しないので、可視性情報は、最新の状態にとどまる。
あらゆるボクセルは最終的な繰返しにおいて色整合性のためにチェックされるの
で、最終的なモデルは色整合している。

【００２７】 切り分けが進むにつれて、各ボクセルは、次の3つのカテゴリのうちの1つにな
る。1)色不整合とされ、切り分けられた、2）切り分けられていないボクセルの
集合の表面上にあり、評価されるときはいつでも色整合であるとされる、3）切
り分けられていないボクセルに囲まれているので、どの画像からも見えず、その
色整合性は未定義である。

【００２８】 ボクセルあたり１アレイのビットがどのボクセルが切り分けられたかを記録す
るのに使われる。このデータ構造は、フローチャートにおいて「切り分けされた
」で示され、あらゆるボクセルについて最初は偽にセットされている。「表面ボ
クセル・リスト」（SVL）と呼ばれているデータ構造が、上記のボクセルの第２
カテゴリを識別するために使われる。SVLは、他のボクセルによって囲まれてい
ないボクセルの集合に初期化されている。項目バッファは初期化されており、SV
L上の全てのボクセルを生成（レンダ）することによって、その後更新される。
上記の第3のカテゴリのボクセルは、内部ボクセルと呼ばれる。内部ボクセルは
不透明であるけれども、それらはどの画像からも見えないので、項目バッファに
生成（レンダ）される必要はない。ボクセルが切り分けされるとき、隣接した内
部ボクセルは表面ボクセルになりSVLに加えられる。ボクセルがSVLに２度以上加
えられのを避けるために、ボクセルがすでにSVL上にあるかどうか判定する速い
手段が必要である。ハッシュテーブルがこの目的のために維持される。

【００２９】 GVCアルゴリズムが終わったとき、不透明ボクセルの最終組が関数切り分け(V)
を保存することによって記録されることができる。しかし、画像から見えるボク
セルだけを保存することが望ましいならば、SVLの見えるサブセットを識別する
ために項目バッファを使うことができる。閉じられた表面が所望であるならば、
SVL全体を保存することができる。

【００３０】 この発明の第１の実施例に従った一般化されたボクセル色づけアルゴリズムの
例のフローチャートが図2に示される。図2のフローチャートに対応する擬似コー
ドが図2Aに示される。ステップ100で、表面ボクセル・リスト（SVL）が初期化さ
れる。上述したようにSVLは、ボクセル・ボリュームの表面上の切り分けされて
いない（不透明の）ボクセルのリストである。ボクセル・ボリュームが選ばれ、
ボクセルIDがボクセル・ボリュームの各ボクセルについて割り当てられていると
仮定する。初期のボクセル・ボリュームは、シーンを含むように選ばれ、形状的
に概して矩形であるか立方形である。しかし、任意に形づくられた初期ボクセル
・ボリュームを使用することもできる。SVLを初期化するためのプロセスは、図3
を参照して下で記述される。ボクセルが切り分けられるにつれて、SVLが変化す
る。

【００３１】 ステップ102で、項目バッファがSVLを使って各画像のために作られる。各ピク
セルのための項目バッファは、それに投影する最も近いボクセルのＩＤおよび最
も近いボクセルからカメラまでの距離を含む。項目バッファを作るためのプロセ
スは図4を参照して後に説明する。

【００３２】 ステップ104で、SVL上のボクセルが選ばれ、vis(V)がステップI 06で計算され
る。上述したように、vis(V)はボクセルVが見える全ての画像における全ピクセ
ルの集合である。vis(V)を計算するためのプロセスは図6を参照しての後に説明
する。

【００３３】 ステップ110において、vis(V)の色整合性が判定される。上述したように、vis
(V)はボクセルVが見える画像における全ピクセルの集合である。一般に、vis(V)
の色整合性は、ボクセルVが不透明なボクセルであるか透明ボクセルであるかを
判定するために使われる。不透明なボクセルは復元中のシーンの一部分であり、
透明ボクセルは一般的にシーンの空の部分である。色整合性判定は、シーンの表
面上のポイントは、そのポイントが見える全てのピクセルにおいて同じまたはお
よそ同じ色を有するという事実に基づく。対照的に、シーンの表面上にないポイ
ントに対応する複数のピクセルの色は、空のボリュームを異なる方向から見ると
き予測されるように、一致しない。vis(V)の色整合性を判定するために、vis(V)
でのピクセルの色が、色平均変数および色標準偏差変数に加えられる。色平均変
数は、ボクセルVの投影におけるピクセルの平均色を表す。色標準偏差変数は、
全画像にわたるボクセルVに対応するるピクセルの集合における色の変化の目安
である。計算された色標準偏差値は、色付けしきい値と比較される。1つの方法
では、色付けしきい値は固定である。別の方法では、色付けしきい値は、米国特
許出願第09/273934号（1999年３月22日出願）で記述されるような複数の画像に
わたる色変化の平均の関数である。色標準偏差値が、色付けしきい値より小さく
、ボクセルVの異なる投影において色が整合していることが示されると、ボクセ
ルVは不透明とみなされ、その色は計算された色平均値としてセットされる。こ
のように、ボクセルの色は、vis(V)の投影における平均色にセットされる。vis(
V)のピクセルが色整合していると判定されるならば、プロセスはステップ122に
進む。色標準偏差値が色付けしきい値より小さくないならば、ボクセルVは、ス
テップ112において切り分けされているとマークされ、SVLから除去される。切り
分けられたボクセルは、透明と判定されたボクセルと定義される。

【００３４】 ボクセルVが切り分けされるとき、ボクセルVに隣接したボクセルが１つまたは
複数の画像において見えるようになることある。ステップ114で、ボクセルVに隣
接するボクセルNが選ばれる。ステップ16において、ボクセルNが切り分けされて
おらず、SVL上にないことが判定されるならば、ボクセルNはステップ118でSVLに
加えられる。ボクセルNが切り分けされているか、すでにSVL上にあるならば、プ
ロセスはステップ120に進む。ボクセルVに隣接するボクセルがもっとあることが
ステップ120で判定されるならば、プロセスは次に近いボクセルを処理するため
にステップ1 14へ戻る。全ての隣接したボクセルが処理されたあと、プロセスは
ステップ122に進む。SVLにもっとボクセルがあることがステップ122で判定され
るならば、プロセスはSVL上の次のボクセルを処理するためにステップ104へ戻る
。SVLにおける全てのボクセルが処理されたあと、項目バッファが作られて以来
、いずれかのボクセルが切り分けされたかどうか、ステップ124で判定される。
ボクセルが切り分けされたならば、各画像について更新した項目バッファを作る
ためにステップ102に戻る。

【００３５】 図2の例でのGVCアルゴリズムは、それぞれ画像のための更新された項目バッフ
ァを作る前にSVL上で全てのボクセルを処理する。所望の場合、更新された項目
バッファがより頻繁に作られてもよいことが理解されるであろう。たとえば、更
新された項目バッファは、予め定めた数のボクセルが処理された後、またはSVL
上のあらかじめ決められたパーセンテージのボクセルが処理された後に作られる
ことができる。項目バッファが更新される頻度は、項目バッファを更新するため
に必要にされる時間とボクセルを処理するために古い可視性情報を使うという好
ましくない状態との間のトレードオフである。しかし、上で指摘したように、そ
うすべきでないボクセルが切り分けされることはない。

【００３６】 ステップ118を再び参照すると、切り分けの結果見えるようになったボクセルN
の色整合性をチェックすることを、主な処理ループの次の繰返しまで避けること
が望ましいが、必ずそうしなければならない訳ではない。これは、ループですで
に通られたポイントでSVLにボクセルNを挿入することによって達成することがで
きる。代わりに、現在の繰返しの完了までボクセルNを一時的に新しいSVLに加え
、次いでSVLにコピーすることができる。

【００３７】 項目バッファが作られて以来、ボクセルが切り分けされていなことがステップ
124で判定されるならば、SVLがステップ126で保存される。SVLは、この点で正確
にシーンを表す不透明な表面ボクセルのリストを含む。

【００３８】 図2のステップ100に対応する、SVLを初期化するプロセスが図3に示される。ス
テップ150で、復元ボリュームにおける全てのボクセルを使って各画像のために
項目バッファが作られる。上述したように、各ピクセルのための項目バッファは
、その上に投影する最も近い切り分けられていないボクセルのIDを含む。項目バ
ッファを作るためのプロセスは、図4に関連して下で記述される。画像Ｉがステ
ップ152で選ばれ、画像ＩにおけるピクセルPがステップ154で選ばれる。ステッ
プ156で、ピクセルPの項目バッファに含まれるボクセルIDである、PボクセルID
と一致するIDを有するボクセルがあるかどうか判定される。ピクセルPのための
項目バッファがボクセルIDを含まないならば、プロセスは、ステップ162に進む
。その項目バッファがボクセルIDを含むならば、ボクセルVがすでにSVL上にある
かどうか、ステップ158で判定される。ボクセルVがすでにSVL上にあるならば、
プロセスはステップ162に進む。ボクセルVがSVL上にないならば、ボクセルVがス
テップ160でSVLに加えられる。画像Ｉに処理すべきピクセルがもっとあるならば
、ステップ162によってプロセスはステップ154に戻される。処理すべき画像がも
っとあるならば、ステップ1 64によってプロセスはステップ152に戻される。

【００３９】 画像Ｉおよび１組のボクセルSのための項目バッファが図４に示される。図４
の処理は、各画像について図2のステップ102で繰り返される。ステップ180で画
像Ｉ中のピクセルPが選ばれる。各ピクセルのための項目バッファは、ボクセルI
DであるP.ボクセルIDおよびボクセルの距離であるP.距離を含む。ステップ182で
、ピクセルPのためのボクセルIDがノーボクセルにセットされ、ボクセル距離が
非常に遠いにセットされる。ステップ184で判定されるように、画像Ｉでに残っ
ているピクセルがあるならば、プロセスは画像Ｉの次のピクセルの処理のために
ステップ180へ戻る。ステップ180、182および184を含むループは、画像Ｉの各ピ
クセルの項目バッファをリセットさせる。ステップ186で、ボクセルSの集合での
ボクセルVが選ばれ、ステップ188で画像ＩへのボクセルVの投影の中からピクセ
ルＰが選ばれる。ステップ190で、ピクセルＰの項目バッファに含まれる距離で
あるP.距離がカメラからボクセルVまでの距離より大きいかどうか判定される。
答えがイエスであり、ボクセルＶが項目バッファのボクセルよりもカメラに近い
ことが示されると、項目バッファのボクセルがステップ192でボクセルＶと置き
換えられる。特に、P.ボクセルIDの値がボクセルVのIDにセットされ、P.距離が
ボクセルVの距離にセットされる。プロセスは、次いでステップ194に進む。画像
ＩへのボクセルVの投影にもっとピクセルがあることがステップ194で判定される
ならば、プロセスは次のピクセルの処理のためにステップ188へ戻る。ボクセルS
の集合にもっとボクセルがあることがステップ196で判定されるならば、プロセ
スは次のボクセルを処理するためにステップ186へ戻る。図4のプロセスが完了す
ると、画像Ｉのための項目バッファは、各ピクセルに最も近いボクセルのIDおよ
びカメラからの距離を含む。

【００４０】 項目バッファの模型的なイラストが図5に示される。イラストを単純化するた
めに、復元ボリューム200（通常三次元）は、2次元に減らされている。同様に、
対応する2D画像における各ピクセルのためのセルを通常有する項目バッファ202
は、一次元にしている。不透明なボクセル21Oおよび212は、カメラ2 14によって
得られる画像のピクセルPから見える。ボクセル21Oは、ボクセル212よりカメラ2
14に近い。従って、ピクセルPの項目バッファ位置220は、ボクセル210のIDであ
るA、およびボクセル210の距離を含む。項目バッファは、その画像のすべてのピ
クセルについて同様の情報を含む。

【００４１】 vis(V) を判定するためのプロセスは、図2のステップ106に対応し、図6に示さ
れる。ステップ250で、画像Ｉが選ばれ、画像ＩへのボクセルVの投影からピクセ
ルPがステップ252で選ばれる。ステップ254で、ボクセルVのIDがピクセルPの項
目バッファに含まれるP.ボクセルIDと同じであるかどうか判断される。ボクセル
VのIDがピクセルPの項目バッファに含まれるならば、ピクセルPがステップ256で
vis(V)に加えられる。ボクセルVのIDがピクセルPの項目バッファに含まれないな
らば、プロセスはステップ258に進む。ステップ258で判定されるように、ボクセ
ルVの投影にもっとピクセルがあるならば、プロセスは次のピクセルの処理のた
めにステップ252へ戻る。さもなければ、ステップはプロセス260に進む。ステッ
プ260で判定されるように、処理すべき画像がもっとあるならば、プロセスは次
の画像の処理のためにステップ250へ戻る。図6のプロセスが完了すると、vis(V)
は、ボクセルVが見える全ての画像におけるピクセルの集合を含む。

【００４２】 図2に示される、上述したGVCアルゴリズムは、メモリの効率的利用を行う比較
的単純な方法で可視性を計算する。しかし、可視性情報は、更新に比較的時間が
かかる。したがって、GVCアルゴリズムは低頻度で可視性情報を更新するので、
可視性情報は多くの場合、古くなっている。このために不正確な結果を生じるこ
とはないが、非効率的である。なぜなら、すべての可視性情報を使用すると非整
合と評価されるボクセルが、その情報のサブセットを使用すると整合と評価され
ることがあるからである。最終的に、すべての情報が集められるが、その間にボ
クセルは必要以上に長い間切り分けされないままにされることがあり、したがっ
て、理想的な数より多くの整合性評価を必要とすることがある。さらに、GVCア
ルゴリズムは、それらの可視性（およびそれらの整合性）がそれらの最後の評価
から変化していないときでも、SVL上のボクセルの整合性を再評価する。項目バ
ッファでなく階層化された深さ画像を使うことによって、GVC -LDIアルゴリズム
は、ボクセルが切り分けられるとき、効率的かつ直ちに可視性情報を更新し、そ
の可視性が変化したボクセルを正確に判定する。

【００４３】 ピクセルP上に投影する最も近いボクセルだけを各ピクセルPに記録するGVCア
ルゴリズムによって使われた項目バッファと異なり、LDIはピクセルPに投影する
すべての表面ボクセルのリストを各ピクセルPに記憶する。これらのリストは、L
DI(P)と呼ばれ、ボクセルから画像のカメラまでの距離に従ってソートされる。L
DI(P)のヘッドは、ピクセルPに最も近いボクセルを格納し、それは項目バッファ
が格納するだろうものと同じボクセルである。項目バッファに格納される情報は
、LDIでも利用可能であるから、vis(V)は両方のアルゴリズムで同様に計算すこ
とができる。LDIは、SVLボクセルをそれらにレンダすることによって初期化され
る。

【００４４】 別のボクセルが切り分けられるとき可視性が変化する、切り分けられていない
ボクセルは、2つのソースから来る。すなわち、1）図7Aに示すように切り分けら
れたボクセルが透明になるとき、切り分けられたボクセルに隣接する内部のボク
セルが表面ボクセルになる、および2）図７Bに示すように、切り分けられないボ
クセルが既に表面ボクセルであり、したがってSVLおよびLDIにあり、切り分けら
れたボクセルから遠くにある。

【００４５】 第１のカテゴリのボクセルは、それらが切り分けられたボクセルの隣にあるか
ら簡単に識別することができる。第２カテゴリでのボクセルは、GVCアルゴリズ
ムにおいて効率的に識別することができない。したがって、そのアルゴリズムは
、色整合性のために繰り返し全てのSVLを評価しなければならない。GVC -LDIア
ルゴリズムでは、第２カテゴリでのボクセルは、LDIの助けで簡単に見つけるこ
とができる。それらは、切り分けられたボクセルの投影におけるピクセルPのLDI
(P)上の第２ボクセルである。GVC-LDIアルゴリズムは、可視性が変化したSVLボ
クセルのリスト、変更された可視性SVL（CVSVL）と呼ばれる、を維持する。これ
らだけが、色整合性がチェックされなければならないボクセルである。CVSVLが
空のとき、切り分けは終わる。

【００４６】 ボクセルが切り分けがされるとき、LDI（および可視性情報）は、直ちにかつ
効率的に更新されることができる。切り分けられたボクセルは、その投影におけ
るあらゆるピクセルPについてLDI(P)から削除されることができる。同じプロセ
スが、可視性が変化した、切り分けられていない第２カテゴリのボクセルのため
の可視性情報を自動的に更新する。これらのボクセルは、切り分けられたボクセ
ルが取り除かれたLDIリストのヘッドに移動し、それらもCVSVLに加えられる。切
り分けられたボクセルに隣接した内部ボクセルは、それらが投影するピクセルの
ためのLDIリスト上へ押し出される。このプロセスの副産物として、ボクセルが
見えるかどうかが判定される。ボクセルが見えるならば、それはCVSVLに置かれ
る。

【００４７】 発明の第２実施例に従うGVS-LDIアルゴリズムの例のフローチャートが図8に示
される。これに対応する擬似コードを図8Aに示す。ステップ300でSVLが初期化さ
れる。先に述べたように、SVLは切り分けられていない表面ボクセルのリストを
含む。SVLは、図3で示すように初期化されることができ、これについては既に記
述した。

【００４８】 ステップ302でLDIが初期化される。LDIは、各ピクセルから見える不透明なボ
クセルの順序づけられたリストを含んだ。LDIを初期化するプロセスが図9を参照
して説明する。

【００４９】 ステップ304で、SVLは変更された可視性SVLすなわちCVSVLにコピーされる。ス
テップ306でCVSVLが空でないと判定されるなら、ステップ308でボクセルVが除去
され、ステップ310でvis(V)が計算される。上述してように、vis(V)はボクセルV
が見える全ての画像におけるピクセルの集合である。Vis(V)は、図6と関連して
先に述べたようにして計算することができる。

【００５０】 ステップ314で、vis(V)の色整合性が、図2と関連して先に述べたようにして判
定される。vis(V)が色整合であり、不透明なボクセルを示しているならば、プロ
セスはCVSVLにおける別のボクセルを処理するためにステップ306へ戻る。

【００５１】 vis(V)が色整合でなく、透明ボクセルを示しているならば、ボクセルVは、切
り分けられたとマークされ、ステップ316でSVLから除去される。ステップ3 1 8
でボクセルVは、全てのLDIから削除される。別のボクセルV’がLDIリストのヘッ
ドへ移るならば、ボクセルV’がCVSVL上に置かれる。

【００５２】 ステップ320で、ボクセルVに隣接するボクセルNが選ばれる。ボクセルNが切り
分けがされているかSVL上にあるならば、プロセスはステップ328に進む。ボクセ
ルNが切り分けされておらずSVL上にないならば、ボクセルNはステップ324でSVL
に加えられる。ステップ326でボクセルNは、LDIに挿入される。LDIにボクセルを
挿入するプロセスは、図10を参照して下で記述される。ボクセルNがLDIリストの
ヘッドに挿入されるならば、ボクセルNがCVSVLに加えられる。

【００５３】 ステップ328でボクセルVに隣接するボクセルがもっとあると判定されるならば
、プロセスは次の隣接したボクセルを処理するためにステップ320へ戻る。どの
ボクセルもボクセルVに隣接しないことがステップ328で判定されるとき、プロセ
スはCVSVLの上で次のボクセルを処理するためにステップ306に進む。CVSVLが空
とステップ306で判定されるとき、プロセスはステップ330に進み、SVLが保存さ
れる。

【００５４】 図8のステップ300に対応する、LDIを初期化するためのプロセスが図9に示され
る。画像Ｉがステップ3 50で選ばれ、SVL上のボクセルVがステップ352で選ばれ
る。ボクセルVが、ステップ354で画像ＩのLDIに挿入される。LDIへのボクセルV
の挿入は図10を参照して下で記述される。もっとボクセルがSVLにあるとステッ
プ356で判定されるならば、プロセスは次のボクセルの処理のためにステップ352
に戻る。SVLの全てのボクセルが画像ＩのためのLDIに挿入されたとき、プロセス
はステップ358に進む。もっと画像があるとステップ358で判定されるならば、プ
ロセスは次の画像を処理するためにステップ350へ戻る。ステップ358の後には、
SVLのボクセルは、すべての画像のためのLDIにレンダされている。

【００５５】 画像IのためのLDIにボクセルVを挿入するプロセスは、図８のステップ326およ
び図９のステップ354に対応し、図10に示される。ステップ380で、画像Ｉへのボ
クセルVの投影におけるピクセルPが選ばれる。ステップ3 82で、プロセスが現在
LDI(P)の後尾（カメラから最も遠い）にあるかどうか判断される。プロセスがLD
I(P)の後尾にあるならば、ボクセルVがステップ384でLDI(P)の後尾に挿入される
。プロセスは、それからステップ392に進む。プロセスがLDI(P)の後尾にないこ
とがステップ382で判定されるならば、ボクセルVがLDI(P)の次のボクセルよりカ
メラに近いかどうか、ステップ386で判断される。ボクセルVがLDI(P)の次のボク
セルよりカメラに近いならば、ボクセルVはステップ388でLDI(P)上で次のボクセ
ルの前に挿入される。プロセスは、それからステップ392に進む。ボクセルVがLD
ICPの次のボクセルよりカメラに近くないことがステップ386で判定されるならば
、プロセスはステップ390でLDI(P)上の次のボクセルに進み、ステップ382に戻る
。ステップ384またはステップ388に続いて、ボクセルVの画像Ｉへの投影にもっ
とピクセルがあるかどうか、ステップ392で判断される。画像ＩへのボクセルVの
投影にもっとピクセルがあるとき、プロセスは次のピクセルの処理のためにステ
ップ380へ戻る。

【００５６】 LDIが図11におおまかに示されている。イラストを単純化するために、復元ボ
リューム396（通常三次元の）は、2次元にしてある。同様にLDI 398は、通常対
応する２Ｄ画像のあらゆるピクセルについて１セルを持つが、１次元で示してあ
る。LDI 398は、各ピクセルに対応する可視性情報を記憶するが、図11は1ピクセ
ルについて格納される情報だけを示す。不透明なボクセル400および402は、カメ
ラ404によって得られる画像のピクセルPから見える。ピクセルPのLDI(P)41Oは、
ピクセルPに投影する不透明なボクセルの順序付けられたリストを含む。LDI(P)4
10における第１の位置は、ＩＤフィールド41 8およびリンクフィールド420を有
し、LDI(P)410の第２位置はＩＤフィールド422およびリンクフィールド424を有
する。ＩＤフィールド4 1 8は、最も近い不透明なボクセル400のIDであるAを含
み、リンクフィールド420は、第２位置へのポインタを含む。IDフィールド422は
、２番目に近い不透明なボクセル402のIDであるBを含み、リンクフィールド424
は、リストの終わりを示す値を含んでいる。図11の例において、LDI(P)はリンク
されたリストとして実行される。

【００５７】 上述したシーンの複数の入力イメージからシーンの3次元モデルを復元するに
適したコンピューターシステム500の例のブロック図を図12に示す。コンピュー
ターシステム500は、中央処理装置（CPU）51O、磁気ディスク装置520、ディスプ
レイ530および入力装置540を含む。磁気ディスク装置520は、概して１つまたは
複数のハードディスクドライブを使って実現される。シーンの3次元モデルを復
元するための入力イメージは、磁気ディスク装置520に格納することができる。
入力装置540は標準的なキーボードおよびポインティングデバイス（例えばマウ
スまたはトラックボール）を使って実現することができる。

【００５８】 CPU 51は、プロセッサ512、ディスプレイ530上に表示される画像を格納するた
めのメモリ514およびフレームバッファー51 8を含む。プロセッサ512は、コンピ
ューターシステム500の主要な処理能力を提供し、例えばモデルHP9000/J282（ヒ
ューレット・パッカード社）を使って実現することができる。メモリ514は、プ
ログラム命令の記憶のためにおよびプロセッサ5 12によって実行される計算の結
果の記憶のために使われる。好ましい実施例においてメモリは、200メガバイト
以上のRAMを含んでいる。フレームバッファ518は、ディスプレイ530のために1フ
レームのデータを格納することができる高速バッファ・メモリデバイスである。
この発明に従ってシーンの3次元モデルの復元を実行するためのソフトウェア・
ルーチンはCプログラミング言語を使って実現することができ、メモリ514や磁気
ディスク装置520に常駐させることができる。この発明に従ってシーンの３次元
モデルを復元するためのコンピュータプログラムは、コンピュータ読み取り可能
媒体（例えば磁気ディスク、コンパクトディスクまたは磁気テープ）上に格納す
ることができ、当技術分野で知られているように、適切な周辺デバイスを使って
コンピューターシステム500にロードすることができる。上で示したハードウェ
ア構成機器は例として示しただけであり、この発明はさまざまなコンピューター
システムで実行されることができる。

【図面の簡単な説明】

【図１】この発明に従うシーンの３次元モデルの復元を示す図。

【図２】この発明の第１実施例に従って、項目バッファを利用する一般化された
ボクセル色付けアルゴリズムの例を示すフローチャート。

【図２Ａ】図２のフローチャートに対応する擬似コードを示す図。

【図３】表面ボクセル・リストを初期化するプロセスの例を示すフローチャート
。

【図４】項目バッファを作るプロセスの例を示すフローチャート。

【図５】項目バッファの１例を示す図。

【図６】vis(V)を計算するプロセスの例を示すフローチャート。

【図７Ａ】ボクセルが切り分けられるとき隣接したボクセルの可視性の変化を示
す図。

【図７Ｂ】ボクセルが切り分けられるとき、遠いボクセルの可視性の変化を示す
図。

【図８】発明の第２実施例に従って、階層化された深さ画像を利用している一般
化されたボクセル色付けアルゴリズムの例を示すフローチャートである；

【図８Ａ】第２実施例のボクセル色付けアルゴリズムの擬似コードの例を示す図
。

【図９】階層化された深さ画像を初期化するプロセスの例を示すフローチャート
。

【図１０】階層化された深さ画像にボクセルを挿入するプロセスの例を示すフロ
ーチャート。

【図１１】階層化された深さ画像の例を示す図。

【図１２】この発明を実行するためのハードウェア構成の例を示すブロック図。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2H059 AA07 AA18 5B080 AA17 BA02 CA01 FA02 FA17

Claims (14)

【特許請求の範囲】
1. 【請求項１】 複数の視点からとられたシーンの複数の画像からシーンの３次元
   モデルを復元するための方法であって、 a)前記シーンを含む一組のボクセルを含む復元ボリュームを規定するステップ
   と、 b)前記復元ボリュームの表面上に切り分けられていないボクセルの表面ボクセ
   ル・リスト（SVL）を初期化するステップと、 c)前記画像のそれぞれにおける各ピクセルについて、そのピクセルに投影する
   最も近いボクセルのIDを含む項目バッファを作るステップと、 d) 前記SVLにおける各ボクセルを処理するステップであって、 dl) ボクセルが見える全ての画像におけるピクセルの集合vis(V)を計算し、 d2）vis（V）の色整合性を判定し、 d3）vis（V）が色整合でないならば、i) ボクセルVを切り分け、ii) SVLから
   ボクセルVを取り除き、iii)ボクセルVに隣接しかつSVL上にないすべての切り分
   けられていないボクセルNをSVLに加える、処理ステップと、 e) 項目バッファを作るステップ以来いずれかのボクセルが切り分けられてい
   れば、ステップc)およびd)を繰り返すステップと、 f)項目バッファを作るステップ以来どのボクセルも切り分けられていなければ
   、前記SVLを保存するステップと、 を含む方法。
2. 【請求項２】 請求項１の方法であって、SVLを初期化するステップが、 復元ボリュームにおけるボクセルを使って各画像のための項目バッファを作る
   こと、 各画像の各ピクセルPについて、ピクセルPの項目バッファにおけるボクセルID
   に一致するIDを有するボクセルVがあり、該ボクセルVがSVL上の存在しないなら
   ば、ボクセルVをSVLに加えること、 を含む前記方法。
3. 【請求項３】前記各画像のための項目バッファを作るステップが、 b1）選ばれた画像の項目バッファにおいてピクセル位置を初期化するステップ
   、 b2）復元ボリューム中のボクセルを選ぶステップ、 b3)選ばれた画像への選ばれたボクセルの投影での各ピクセルについて、選ば
   れたボクセルからカメラへの距離が項目バッファに格納された距離より小さいな
   らば、選ばれたボクセルからカメラまでの距離およびIDを項目バッファに格納す
   るステップ、 b4）復元ボリュームにおける各ボクセルについてステップb2）およびb3）を繰
   り返すステップ、 b5）各画像についてステップb1）からb4）を繰り返すステップ、 を含む請求項２に記載の方法。
4. 【請求項４】 前記項目バッファを作るステップが、 c1）選ばれた画像について項目バッファでのピクセル位置を初期化するステッ
   プ、 c2）SVLにおけるボクセルを選ぶステップ、 c3) 選ばれた画像への選ばれたボクセルの投影での各ピクセルについて、選ば
   れたボクセルからカメラへの距離が項目バッファに格納された距離より小さいな
   らば、選ばれたボクセルからカメラまでの距離およびIDを項目バッファに格納す
   るステップ、 c4）SVL上の各ボクセルについてステップc2)およびc3)を繰り返すステップ、c
   5）各画像についてステップc1）からc4）を繰り返すステップ、 を含む請求項１に記載の方法。
5. 【請求項５】前記切り分けられていないボクセルをSVLに加えるステップは、SVL
   上の全てのボクセルがステップd)の現在の繰り返しにおいて処理された後に、SV
   Lに切り分けられていないボクセルを加えることを含む、請求項１に記載の方法
   。
6. 【請求項６】切り分けされていないボクセルをSVLに加える前記ステップは、
   ステップd)の次の繰返しまで処理されない位置でSVLに切り分けされていないボ
   クセル加えることを含む請求項１に記載の方法。
7. 【請求項７】ピクセルの集合vis(V)を計算する前記ステップは、ピクセルPの項
   目バッファにおけるボクセルIDがボクセルVのIDと一致するならば、画像のそれ
   ぞれへのボクセルVの投影における各ピクセルPをvis(V)に加えるステップを含む
   請求項１に記載の方法。
8. 【請求項８】複数の視点からとられたシーンの複数の画像からシーンの３次元モ
   デルを復元するための方法であって、 a)前記シーンを含む一組のボクセルを含む復元ボリュームを規定するステップ
   と、 b)前記復元ボリュームの表面上に切り分けられていないボクセルを含む表面ボ
   クセル・リスト（SVL）を初期化するステップと、 c) 複数の画像のそれぞれにおける各ピクセルについて、該ピクセル上に投影
   するすべての表面ボクセルのリストであって、ボクセルから画像のカメラまでの
   距離に従ってソートされたリストを含む、階層化された深さ画像(LDI)を作るス
   テップと、 d)変更された可視性SVL（CVSVL）にSVLをコピーするステップと、 e)CVSVLにボクセルがある間、 e1）CVSVL上のボクセルVを選び、CVSVLからボクセルVを取り除き、 e2）ボクセルVが見える全ての画像におけるピクセルの集合vis(V)を計算し、 e3）vis(V)の色整合性を判定し、 e4）vis(V)が色整合でないならば、 i) ボクセルVを切り分け、ii) SVLからボクセルVを取り除き、iii) LSIからボ
   クセルVを削除し、iv) ボクセルVがLDI(P)のヘッドにあるならば、CVSVLにLDI(P
   )上の次のボクセルを加え、v)ボクセルVに隣接するそれぞれの切り分けられてい
   ないボクセルNにつき、その可視性が変化していれば、ボクセルNをCVSVLに加え
   、ボクセルNをLDIに挿入する、ステップと、 f)CVSVLが空であるとき、SVLを保存するステップと、 を含む方法。
9. 【請求項９】請求項８の方法であって、SVLを初期化するステップが、 復元ボリュームのボクセルを使って各画像のための項目バッファを作ること、 各画像の各ピクセルPについて、ピクセルPの項目バッファ中のボクセルIDに一
   致するIDを有するボクセルVがあり、該ボクセルVがSVL上の存在しないならば、
   ボクセルVをSVLに加えること、 を含む前記方法。
10. 【請求項１０】 前記各画像のための項目バッファを作るステップが、 b1）選ばれた画像の項目バッファにおいてピクセル位置を初期化するステップ
    、 b2）復元ボリューム中のボクセルを選ぶステップ、 b3)選ばれた画像への選ばれたボクセルの投影での各ピクセルについて、選ば
    れたボクセルからカメラへの距離が項目バッファに格納された距離より小さいな
    らば、選ばれたボクセルからカメラまでの距離およびIDを項目バッファに格納す
    るステップ、 b4）復元ボリュームにおける各ボクセルについてステップb2）およびb3）を繰
    り返すステップ、 b5）各画像についてステップb1）からb4）を繰り返すステップ、 を含む請求項９に記載の方法。
11. 【請求項１１】前記項目バッファを作るステップが、 c1）前記複数の画像から１つの画像を選択するステップ、 c2）SVLにおけるボクセルを選ぶステップ、 c3) 選ばれた画像への選ばれたボクセルの投影におけるすべてのピクセルにつ
    いて、選ばれたボクセルから選ばれた画像のカメラまでの距離に従って、前記選
    ばれたボクセルを前記階層化された深さ画像に挿入するステップ、 c4）SVL上の各ボクセルについてステップc2)およびc3)を繰り返すステップ、c
    5）前記複数の画像のおける画像のそれぞれについてステップc1）からc4）を繰
    り返すステップ、 を含む請求項８に記載の方法。
12. 【請求項１２】ピクセルの集合vis(V)を計算する前記ステップは、ピクセルPのL
    DI(P)の最初のエントリにおけるボクセルIDがボクセルVのIDと一致するならば、
    ボクセルVの画像のそれぞれへの投影における各ピクセルPをvis(V)に加えるステ
    ップを含む請求項１に記載の方法。
13. 【請求項１３】複数の視点からとられたシーンの複数の画像からシーンの３次元
    モデルを復元するための装置であって、前記シーンの複数の画像を表す画像デー
    タを格納する記憶装置と、前記記憶装置における前記画像データを処理するディ
    ジタル・コンピュータとを備え、該ディジタル・コンピュータは、 a)前記シーンを含む一組のボクセルを含む復元ボリュームを規定する手段と、
    b)前記復元ボリュームの表面上に切り分けられていないボクセルを含む表面ボク
    セル・リスト（SVL）を初期化する手段と、 c)前記複数の画像のそれぞれにおける各ピクセルについて、そのピクセルに投
    影する最も近いボクセルのIDを含む項目バッファを作る手段と、 d) 前記SVLにおける各ボクセルを処理する手段であって、 dl) ボクセルが見える全ての画像におけるピクセルの集合vis(V)を計算する手
    段、 d2）vis（V）の色整合性を判定する手段、 d3）vis（V）が色整合でないならば、i) ボクセルVを切り分け、ii) SVLから
    ボクセルVを取り除き、iii)ボクセルVに隣接しかつSVL上にないすべての切り分
    けられていないボクセルNをSVLに加える手段、を有する処理手段と、 e) 項目バッファが作られて以来いずれかのボクセルが切り分けられていれば
    、項目バッファの作成および前記SVLにおける各ボクセルVの処理を繰り返す手段
    と、 f)項目バッファが作られて以来どのボクセルも切り分けられていなければ、前
    記SVLを保存するための手段と、 を含む装置。
14. 【請求項１４】複数の視点からとられたシーンの複数の画像からシーンの３次元
    モデルを復元するための装置であって、前記シーンの複数の画像を表す画像デー
    タを格納する記憶装置と、前記記憶装置における前記画像データを処理するディ
    ジタル・コンピュータとを備え、該ディジタル・コンピュータは、 a)前記シーンを含む一組のボクセルを含む復元ボリュームを規定する手段と、 b)前記復元ボリュームの表面上に切り分けられていないボクセルを含む表面ボ
    クセル・リスト（SVL）を初期化する手段と、 c) 画像のそれぞれにおける各ピクセルについて、該ピクセル上に投影するす
    べての表面ボクセルのリストであって、ボクセルから画像のカメラまでの距離に
    従ってソートされたリストを含む、階層化された深さ画像(LDI)を作る手段と、 d)変更された可視性SVL（CVSVL）にSVLをコピーする手段と、 e)CVSVLにボクセルがある間、 e1）CVSVL上のボクセルVを選び、CVSVLからのボクセルVを取り除き、 e2）ボクセルVが見える全ての画像のピクセルの集合vis(V)を計算し、 e3）vis(V)の色整合性を判定し、 e4）vis(V)が色整合でないならば、 i) ボクセルVを切り分け、ii) SVLからボクセルVを取り除き、iii) LSIからボ
    クセルVを削除し、iv) ボクセルVがLDI(P)のヘッドにあるならば、CVSVLにLDI(P
    )上の次のボクセルを加え、v)ボクセルVに隣接するそれぞれの切り分けられてい
    ないボクセルNにつき、その可視性が変化していれば、ボクセルNをCVSVLに加え
    、ボクセルNをLDIに挿入する、手段と、 f)CVSVLが空であるとき、SVLを保存するための手段と、 を備える装置。