JP2004288180A - 較正された画像の組からシーンの３次元モデルを構築する方法 - Google Patents

Abstract

【課題】本方法は、２次元（２Ｄ）入力画像の組からシーンの３次元（３Ｄ）モデルを構築するものである。この３Ｄモデルは、その後、任意の視点からシーンを復元するのに使用することができる。
【解決手段】ユーザは、従来の２Ｄ写真編集ツールを使用して、各画像において対応する多角形の領域の組をセグメント化し、その組にラベル付けを行う。本発明は、３Ｄモデルが、入力画像においてラベル付けされた領域の組と整合性を有する最大ボリュームを有するように、３Ｄモデルを構築する。本発明による方法は、３Ｄ多角形モデルを直接構築する。
【選択図】図１

Description

本発明は、包括的には、イメージベースモデリングに関し、詳細には、２次元画像から３次元シーンを復元することに関する。

フォトリアリスティックな３次元（３Ｄ）モデルを、シーンの複数の２次元（２Ｄ）画像から構成することは、コンピュータビジョンおよびイメージベースモデリングにおける重要な問題である。その後、この３Ｄモデルは、任意の視点からシーンを復元するために使用することができる。

ほとんどの従来技術のコンピュータビジョンの方法は、ユーザがほとんどまたはまったく介入することなく、シーンを自動的に復元することに重点を置いてきた。その結果、コンピュータビジョンの方法は、シーンの幾何学的配列および反射率について事前に仮定を行う。これらの仮定は、正しくないことが多い。

それに反して、多くのイメージベースモデリングシステムでは、ユーザが、シーンの表現として使用される３Ｄモデルの構築を指示することが必要とされる。しかしながら、それらの３Ｄモデルの詳述は、難しくなる可能性があり、モデルを構築するのに使用されるツールは、融通の利かないことが多い。すなわち、それらのツールは、非常に簡単な形状の組にしか対応しておらず、したがって、複雑なシーンに使用することができない。

３Ｄシーンの復元の重要な問題は、シーンにおいて同じ点の投影である２つまたは３つ以上の画像の点同士の対応関係を割り当てることである。これまでの研究は、画素またはオブジェクトシルエットを使用して、点の対応関係を指定している。

画像から３Ｄモデルを構築する問題は、コンピュータビジョンの文献で非常に大きな注目を受けてきた。この概要については、Kutulakos等著「A theory of shape by space carving」Intl. Journal of Computer Vision Vol. 38:3, pp. 199-218, 2000を参照されたい。

多視点ステレオ復元
多視点ステレオ法は、複数の画像の画素の対応関係を自動的に決定することによって３Ｄモデルを構築する。ステレオ対応法は、ベースラインと呼ばれることが多い、異なる視点間の距離が小さい場合にうまく機能する。

これは、トラッキングが、フレーム間の対応関係と一致する場合、一連のフレームまたはビデオに特に当てはまる。視点の大きな変化に対応するために、いくつかの方法は、マルチベースラインステレオ技法を使用して、画像のサブセットから部分的な３Ｄ形状を抽出する。

しかしながら、単一の３Ｄモデルを構築するには、複雑な復元方法および融合方法が必要とされ、画像の組全体と、融合されたモデルとの間の全体的な整合性は保証されない。正確な点の対応関係を、同種の色および輝度を有する領域で決定することは難しい。

視点依存効果、例えば鏡面ハイライトまたは鏡面反射は、対応関係の不一致につながる。画像の多くの点の緻密な対応関係を得ることは、特に困難である。オクルージョンのため、画像間の相違を処理することも難しい。このようなオクルージョンが頻繁に発生すると、これは、一般的な３Ｄシーン復元にとって深刻な問題である。

シェイプフロムシルエット（Shape-From-Silhouette）復元
シェイプフロムシルエット法は、カメラの投影の中心からオブジェクトのシルエットのすべての点を通る可視光線の交差として３Ｄモデルを構築する。

シェイプフロムシルエット法は、ビジュアルハル（visual hull）として知られている形状を構築する。しかしながら、それらの方法は、凹部を再現することができない。多視点ステレオ画像からの奥行きを追加することにより、ビジュアルハルを改良することができるが、上述した欠点のいくつかを受ける。シェイプフロムシルエット法は、大幅なオクルージョンを有するシーンに対して機能せず、アウトサイドルッキングイン（outside-looking-in）のカメラ配置でのみ機能する。すなわち、シーンは、カメラの凸状ハル（convex hull）の内部に存在しなければならない。

したがって、凹部を有する３Ｄモデルを構築し、かつ、任意のシーンのオクルージョンおよびカメラの配置を取り扱うことが要求されている。

測光復元（photometric reconstruction）
測光制約を使用して、ビジュアルハルよりも明らかに良い３Ｄモデルを構築することができる。ボクセルカラーリングを使用して、ボクセルが投影されるどの画像画素とも色の整合性を有しない当該ボクセルを３Ｄボリュームから徐々に切り出すことができる。

また、ボクセルカラーリングは、任意のカメラ配置、グラフィックスハードウェアによる加速、および各ボクセルの多色仮説（multiple color hypothesis）と共に使用されてきた。しかしながら、ボクセルカラーリングは、大きなシーンに対してうまく機能せず、スケールが大きく異なるオブジェクトに対してもうまく機能しない。対話形式で見ることができる３Ｄモデルを構築するには、形状の表現に不整合性を導入する可能性のある非常に長いプロセスが必要となる。

基本的に、すべての測光手法は、局所的に計算可能な反射率の分析モデルに依拠する。この前提は、例えば、影、透明、または内部反射といったグローバルな光効果に対して機能しない。

表面の形状、反射率、および照明を同時に再現することは難しいので、従来技術の測光構築方法は、表面が乱反射面または均等拡散面、あるいはほぼそのような面であると仮定する。したがって、測光方法は、均一な表面色を有するオブジェクトに対して機能しない。

したがって、従来技術の限界を克服し、高い鏡面性、透明性、および一様な色を有するオブジェクトを含むシーンのモデルを構築できるユーザ支援されたモデル構築方法を提供することが要求されている。

イメージベース復元
イメージベースモデリング法は、通常、ユーザとコンピュータとの間で、３Ｄモデル構築の作業を分割する。方法の中には、ユーザ定義の掲示板を使用するか、または、奥行き画像をペイントするユーザツール、モデルを編集するユーザツール、および画像の照明を変更するユーザツールを使用して、単一の画像からモデルを構築するものがある。

それらの方法の有用性および多機能性にもかかわらず、複数の画像の奥行き画像を指定するには、実行不可能ではない量だとしてもかなりの量のユーザ入力が必要となる。より重要なこととして、結果の３Ｄモデルが、すべての入力画像と全体的に整合性を有することが保証されないことが挙げられる。

シーンが、ある一定の構造を有することが分かっている場合、幾何学的制約を使用することは、かなり有利である。いくつかの方法は、ユーザがガイドした、多面体の基本形状の配置に依存して、建築シーンを復元する。他の方法は、平面または平行線を有するシーンの幾何学的特徴を利用する。しかしながら、それらの方法は、一般に、任意のシーンの３Ｄモデルを構築することに適用できない。その上、それらの方法は、非常に長い最適化手法に依拠している。

したがって、シーンの幾何学的配列についての前提も、シーンの反射率についての前提もなんら設けることなく、全体的に整合性を有するモデルを構築できるように、ユーザが領域の対応関係を割り当てるイメージベースモデリングを使用することが要求されている。

本発明は、２次元（２Ｄ）入力画像の組からシーンの３次元（３Ｄ）モデルを構築する方法を提供する。この３Ｄモデルは、その後、任意の視点からシーンを復元するのに使用することができる。

ユーザは、従来の２Ｄ写真編集ツールを使用して、各画像において対応する多角形の領域の組をセグメント化し、その組にラベル付けを行う。本発明は、３Ｄモデルが、入力画像においてラベル付けされた領域の組と整合性を有する最大ボリュームを有するように、３Ｄモデルを構築する。本発明による方法は、３Ｄ多角形モデルを直接構築する。

図７は、任意の視点から取得され、較正された２次元（２Ｄ）画像７０１の組からシーンの３次元（３Ｄ）モデル７０７を構築する方法７００を示している。

まず、シーンの画像７０１が取得される（７１０）。バウンディングボリュームＶ７０２が初期化される（７２０）。この初期化は、手動で行うこともできるし、自動的に行うこともできる。このバウンディングボリュームは、シーン全体を取り囲む。

画像は、領域７０３にセグメント化される（７３０）。例えば、人の画像は、頭、胴、および手足にセグメント化することができるし、スチールライブシーンは、テーブル、コップ、皿、および花瓶にセグメント化することができる。従来のユーザが操作するセグメント化ツールまたは自動セグメント化ツールは、領域を識別することができる。好ましい実施の形態では、セグメント化は、シーンの奥行き不連続性に従う。

領域７０３は、一意のラベル＜Ｌ，Ｉ＞７０４または識別情報（ＩＤ）によりラベル付けされる（７４０）。ラベル付けされた領域は、ボリューム７０２に投影されて（７５０）、一致しない点Ｐ_ｉ７０５が検出される（７６０）。次に、一致しない点Ｐ_ｉは、画像のすべてに投影されて（７７０）、一致しない領域Ｒ_ｉ７０８が識別され（７８０）、一致しない領域において一致しないセルＣ_ｉ７０６が決定される（７９０）。

そのシーンと一致する最大ボリュームが、そのシーンの３Ｄモデルとして残るまで、一致しないセルＣ_ｉ７０６は、ボリュームから除去される（７９５）。次に、モデル７０７は、従来のレンダリング（７９６）を行うハードウェアまたはソフトウェアを使用して、任意の視点で、出力デバイスに表示することができる。

本発明の方法は、セグメント化と一致する３Ｄ幾何モデル７０７を自動的に生成する。この解は、セグメント化を再現する最大ボリュームである点で唯一である。この方法は、シーンの１つまたは２つ以上の「完璧な」ポリゴンメッシュを直接計算する。

本発明の方法は、任意の画像領域間の対応関係を使用する最初のものである。本発明は、画像の領域からの一般的なシーン復元のための新規な問題の定式化を提供する。

また、本発明は、複数の視野で不一致を有するラベル付けされた領域を除去するための必要条件も定義する。

本発明の方法は、新規なセルカービング手法を使用する。このセルカービング手法は、問題に対する唯一の解を生成する。また、本発明は、グラフィックスハードウェアおよび標準的な２Ｄポリゴン交差を使用するセルカービングの効率的な実施態様についても説明する。

本発明のユーザ支援された方法は、従来の方法では復元が非常に難しいか、または、不可能であるシーンを復元することができる。例えば、複数のオブジェクト間の実質的なオクルージョンを有するシーン、幾何学的スケールおよび詳細の大きなばらつきがあるシーン、ならびに織り目の写った表面、一様な色の表面、鏡面、および透明な表面が混合したシーンを復元することができる。

分析
図１に示すように、本発明の背後にあるアイデアは、以下の分析に基づいている。ｎ個の画像の組、例えば３つの画像の組が、較正されたカメラＣ_１、Ｃ_２、Ｃ_３によって静的なシーン１０１の任意の視点から取得される。この例では、オブジェクト１０１は、２つの色を有する。例えば、実線の部分はほとんどが赤であり、オブジェクト１０１の右前面の短い破線１１３の部分は緑である。

この分析の目的のため、各カメラは、そのカメラの投影中心（ＣＯＰ（center of projection））１０４から単位距離１０３の球形像面１０２を有する全方向性である。破線１１６は、シーン１０１の凸状のビジュアルハルである。

カメラに入るすべての光線は、球面座標（ρ，θ）の形でパラメータ化される。以下では、本発明は、直交パラメータ化を用いた、より伝統的なピンホールカメラのモデルについて説明する。

シーン内の点１０５は、カメラの球形像面１０２がその点からカメラのＣＯＰ１０４への有向直線１０６と交差することにより、あらゆるカメラに投影することができる。任意の２つの点について、オープンセグメントＰ_１Ｐ_２が、シーンのどのオブジェクトにも接触しない場合、本発明は、点Ｐ_１が点Ｐ_２から可視であると言う。画像は、シーンにおいて可視であるすべての点の球形像面１０２への投影である。

奥行き画像は、可視であるそれぞれの点への視線に沿った奥行き値を記憶する。奥行き不連続性は、奥行き画像で奥行きが突然変化することである。

シーンが、拡散色を有するオブジェクトを含む場合、画像の各点は、視線に沿って最も近い可視であるオブジェクト表面の色を含む。とりあえず、奥行きおよび色の不連続性を無視して、本発明は、同じ色を有するすべての画像点の組を画像領域と呼ぶ。本発明は、画像領域の色を、その領域識別情報（ＩＤ）またはラベルと呼ぶ。

それぞれの点についての領域ＩＤを含む画像は、ラベル付けされた画像と呼ばれる。

本発明の問題は、ｎ個のラベル付けされた画像の組からシーンを復元することである。理論上、このようなシーンは無限個存在する。これについては、上記のKutulakos等の著を参照されたい。唯一の解を得るために、本発明は、ラベル付けされた画像の組を生成する最大ボリュームを有するシーンを見つけ出すように自身に制限を課す。他のいくつかの基準を使用することができる。例えば、ラベル付けされた画像の組を生成する最もスムーズなシーンを見つけ出すように試みることができる。

整合性およびセル
本発明の分析を続けるために、光線が、シーンの点ｐからカメラｃに投影される。この光線は、関連する領域ＩＤを有する画像領域でｃのラベル付けされた画像と交差する。この点は、可視であるカメラの組の同じ領域ＩＤに投影されると、その可視であるカメラの組と整合性を有する。点が、特定のカメラに可視でない場合、その点は、その特定のカメラとの整合性はわずかである。点が１つのカメラだけに可視である場合も、その点は、整合性はわずかである。

図１では、点Ｐ_ｉは、その投影の領域ＩＤが同じでない、すなわち、いくつかは「赤」であるのに対して、それ以外は「緑」であるので、整合性を有しない。これは、オブジェクトの破線部１１３は、そのオブジェクトの残りの部分とは異なる色を有するからである。点Ｐ_ｃは、すべての領域ＩＤが「赤色」であるので、整合性を有する。実際には、領域１１２のすべての点が整合性を有さず、領域１１４のすべての点が整合性を有する。

本発明は、３Ｄシーンの点ｐからすべてのカメラに光線を投影し、光線が画像平面と交差するすべての画像領域を、オクルージョンを考慮することなく識別する。本発明は、これらの投影の領域ＩＤを、カメラごとに１つのエントリを有するベクトルとして列挙する。本発明は、このベクトルを点ＩＤと呼ぶ。各３Ｄ点は、正確に１つの点ＩＤを有するが、同じＩＤを有する多くの点が存在し得る。本発明は、同じＩＤを有する点の組をセルと呼ぶ。セル内の点の点ＩＤは、セルＩＤと呼ばれる。

セルは、そのセルのすべての点がカメラの組全体と整合性を有する場合に限って、カメラの組と整合性を有すると呼ばれる。可視である点のみが整合性を有することができるので、本発明は、整合性チェックをセルの境界に限定することができる。

図１は、オブジェクト１０１の凸状ハル１１６内の整合性を有しないセル１１２および整合性を有するセル１１４の例を示している。本発明の整合性の定義は、Kutulakos等が述べたような写真整合性を拡張したものである。Kutulakos等の著については、上記を参照されたい。本発明は、今のところ、全方向性カメラを前提とするので、背景領域を考慮しない。

Kutulakos等は、写真整合性を有する最大ボリュームを写真ハル（photo hull）と呼ぶ。ラベル付けされた画像が、上述したようにシーンを投影することによって生成される場合、本発明の復元問題は、写真ハルを見つけ出すことと等価である。

KutulakosおよびSeitzは、写真ハルの内部のすべての点が整合性を有することを証明し、写真ハルの外部のすべての点が整合性を有しないことを証明している。

セル復元定理
ｎ個のラベル付けされた画像の組について、それらのラベル付けされた画像を生成する最大ボリュームＶを有するシーンは、整合性を有するセルＣのみからなる。最大ボリュームＶの外部のすべてのセルは、整合性を有しない。この定理の証明は、付録Ａで行う。

整合性の必要条件
上記定理は、整合性を有しないすべてのセルを除去することにより、ラベル付けされた画像を生成する最大ボリュームＶが得られることを述べている。次の重要な論点は、セルの整合性を決定するのに必要なカメラの個数を決定することである。

Kutulakos等のアルゴリズムによって説明される空間カービング法（space carving method）は、単一の掃引面（sweeping plane）の複数の通過を用い、その面の一方の側のカメラへの点の投影を評価する。それは、ある一定のカメラの配置については、点の写真整合性がわずか２つのカメラでチェックされることを意味する。

しかしながら、図２に示すように、２つのカメラとの整合性のチェックは、２ＤのＶ形の凹部領域を有するシーン２０１の写真ハルを見つけ出すのに十分ではない。凹部の両側は、例えば赤２１１および黄２１２の２つの異なる一様な色を有する。２つのカメラＣ_１およびＣ_２は、各カメラが２つの色の正確に一方の投影を見るように配置される。

破線２２０は、このシーンの初期ボリュームの輪郭を示している。カメラＣ_１およびＣ_２だけを使用すると、三角形内部のセル２３０は、写真整合性のためにKutulakos等によって除去されることになる。しかしながら、画像と写真整合性を有する最大ボリュームは、セル２３０の大部分を含み得るので、これは正しくない。

図３に示すように、Ｖ形凹部は、２つのカメラと写真整合性も有しない無限に多くの形状３０１〜３０３によって取り替えることができる。この制限において、これらの形状は、各カメラに異なる色を投影するマイクロファセットの平面に収束する。本発明は、これらの形状を測光不明瞭と呼ぶ。これらは、従来技術では正確に処理されない。

２Ｄのセルの整合性を決定するには、少なくとも３つの可視であるカメラが必要となることを容易に示すことができる。３Ｄの等価な例は、面の法線方向から直角に見えるそれぞれの可視である側面に異なる色を有する積み重ねた立方体からなる。これは、３Ｄで整合性を決定するには、少なくとも４つのカメラが必要となることを意味する。通常、ｄ次元のセルの整合性を決定するには、少なくともｄ＋１個の可視であるカメラ、すなわち異なる視点からの画像が必要となる。３Ｄの整合性を決定するために４つの可視であるカメラを有するという要件を実際に満たすことは、特に入力画像数が少ないと、困難な場合がある。

静的なシーンの場合、単一のカメラが、必要な個数の異なる視点から必要な画像の組を連続的に取得できることに留意すべきである。したがって、本発明は、カメラの要件について話題にする場合、画像を取得する異なる視点の個数を指すものとする。

一方、本発明のシステムにより、ユーザは、画像のセグメント化７３０（図７参照）による測光不明瞭の状況を解決することができる。ユーザが、奥行き不連続性を有するすべての内部のエッジも識別すると、正確な整合性チェックに２つのカメラ（視点）だけが必要とされる。すなわち、画像が、シーンの奥行き不整合に沿ってセグメント化されると（７３０）、４つのカメラ視点よりも少ないカメラ視点で、整合性の正確な決定を行うことができる。

セルカービングによる復元
図４は、本発明による３Ｄシーン復元のためのセルカービング方法４００のステップの擬似コードを示している。

シーン全体を収容するバウンディングボリュームを形成するセルＶ_ｉの初期の組を与えると、この方法は、少なくとも４つのカメラで整合性を有しないセルＣ_ｉをＶ_ｉから除去することを繰り返す。残ったセルは、ラベル付けされた画像を生成する最大ボリュームであり、これが、シーンの３Ｄモデルである。

画像領域の組は、すべての長方形画像画素の組である。本発明が、各画素におけるシーン放射輝度をその画素の領域ＩＤとして使用する場合、セルカービングは、写真ハルを復元する。他方で、ユーザが、前景オブジェクトおよび背景オブジェクトにそれぞれ同じ領域ＩＤを割り当てると、セルカービングは、写真ハルではなく、ビジュアルハルを復元する。

シーン復元の品質は、画像領域のセグメント化および識別を行っている間に、ユーザがどれだけ多くの努力を行ったかに依存する。領域が小さくて多いほど、領域が大きくて少ない場合よりも詳細な３Ｄモデルが得られる。これは、シーンの正確さが、ある事前に定められたボクセルのグリッドによってではなく、画像内で観察される実際の幾何学的配列によって決定されるという点で、ボクセルカービングの一般化でもある。画像領域の個数は、最大ボリュームを構成するセルの個数を決定する。本発明が、ｎ個の画像を有し、各画像にｍ個の領域を有すると仮定すると、多くてもｍｎ個のセルが存在する。

しかしながら、これらのセルの大部分は空である。例えば、画像が立方体の３つの側面に対応する場合には、ｍ^３個の整合性を有するセルが存在し得る構成がある。実際の用途では、整合性を有するセルの個数ｍは、通常、小さく、たいてい、１つの画像あたり２０領域よりも少ない。処理時間およびメモリをさらに削減するために、本発明は、後述するように、必要な場合にのみセルを構築する。

付加的な制約
これまで、本発明は、本発明のシーン復元方法の理論的基礎を説明してきた。次に、本発明は、この方法を実施するために実践するいくつかの付加的な制約を説明する。まず、本発明は、全方向性カメラの前提を透視ピンホールカメラに限定する。ここで、３つの次元における直線を投影したものは、像面における直線となる。逆に、ポリゴンによって定義される領域は、３Ｄでは、多面体セルになる。これにより、本発明は、後述するように、多面体を構築する高速な方法を用いることが可能になり、この方法は、２Ｄポリゴン交差のみを使用する。

セルを一意に識別するために、シーンのすべての点は、すべてのカメラの領域に投影される必要がある。しかしながら、ピンホールカメラの視錘台は限られている。本発明は、像面が無限であると仮定することにより、全方向性カメラをシミュレートする。視錘台の外部の点は、一意の未知のＩＤを有する像面のいずれかの側面の領域に投影される。ユーザは、復元されるべきでないそれ以外の画像領域、例えば背景の空にラベル付けを行う必要はない。ラベル付けされない領域には、一意の背景ＩＤが割り当てられる。

Kutulakos等によって説明されるように、整合性を有する最大ボリュームは、有限でない場合がある。そのボリュームは、すべての自由空間を満たし、ラベル付けされた画像を再生するボリュームである場合がある。本発明は、復元されるシーン全体を収容するように保証される初期バウンディングボリュームによってシーンを限定する。この初期ボリュームの選択は、シーンおよびカメラの配置に依存する。すべてのカメラにシーン内のオブジェクトが見える場合、本発明は、ビジュアルハルを計算し、そのビジュアルハルを初期ボリュームとして使用する。そうでない場合、本発明は、後述するように、ユーザに初期ボリュームを指定させる。

ユーザ入力
較正が不明であるシーンの場合、本発明は、従来のコンピュータビジョン法を用いて、カメラの内部パラメータおよび外部パラメータを推定する。ユーザは、各画像で約２０個の特徴点を選択し、それらの特徴点に対応関係を割り当てる。例えば、特徴点は、オブジェクトのエッジまたはコーナに存在する可能性がある。次に、すべてのカメラの位置および向きを決定するためにこの対応関係を用いることができる。

カメラの配置のために、シーンのビジュアルハルを決定できない場合には、ユーザが、バウンディングボリュームを初期化することができる（７２０）。作業を簡単にするために、本発明は、較正の間に、カメラの直交的視界および３Ｄ特徴点を表示デバイスに表示することができる。次に、ユーザは、シーンのバウンディングボリュームＶ７０２のコーナを指定する。

ユーザは、写真編集ソフトウェアで共通に利用可能なセグメント化ツールのいずれかを使用して、各画像を任意の２Ｄ画像領域の組にセグメント化する（７３０）。このセグメント化ツールとしては、例えば、ブラシ、スネーク、インテリジェントシザー、領域成長、フラッドフィル、ウォータシェッドアルゴリズム、またはインテリジェントペイントがある。上述したように、セグメント化が、シーンの奥行き不連続性に従っていると、より良い結果を得ることができる。

領域の境界は、１つの外部境界および０個または１つ以上の内部境界からなる（場合によっては孔を有する）ポリゴンによって定められる。隣接するポリゴン同士の交差は、双方のポリゴンに共通のエッジの組となる。また、ユーザは、シーン内のさまざまなオブジェクトに対応する各ポリゴン領域へラベルＬの割り当ても行う（７４０）。

色の不連続性
色のセグメント化に基づくラベル付けだけでは、あらゆる場合に十分であるとは限らない。図５に示すように、オブジェクト５０１の場合、同じラベルを有する隣接しない領域が、過度にカービングを引き起こす場合が存在する。このオブジェクトは、３つのカメラにおいて、黄の領域（中央前部の破線）によって切断される赤の領域（実線）に投影される。本発明は、これを色の不連続性と呼ぶ。２つの斜線のセルＣ_ｒｙｒは、同じセルＩＤ、例えば赤−黄−赤を有する。

これら２つのセルの最前面、すなわち図５での底部は、３つのカメラと整合性を有しないので、除去されることになる。しかし、それは、後方のセルも、同じセルＩＤを有することから除去されることを意味する。

しかしながら、後方のセルは、可視ではなく、保存されるべきであるので、整合性はわずかである。幸いにも、この状況に対して、簡単な改善法がある。本発明は、切断された各画像領域に一意のインデックスＩを自動的に割り当てる。したがって、対＜Ｌ，Ｉ＞７０４が、領域ＩＤとして使用される。ここで、Ｌは、ユーザが割り当てたラベルであり、Ｉは、インデックスである。この手法により、２つのセルＣ_ｒｙｒは、異なるセルＩＤを有し、前方のセルのみが除去されることになる。

セルカービングの実施態様
次に、本発明は、グラフィックスハードウェアおよび高速２Ｄポリゴン交差を利用するセルカービングの効率的な実施態様を説明する。セルの完全なボリュームを構築する代わりに、本発明は、遅延評価を用い、必要に応じたセルのみを生成する。その理由は、本発明の興味が復元の境界表現にしかないからである。

図６は、本発明の方法のこの実施の形態の擬似コード６００を示している。

ライン１および２−前処理
上述したように、本発明は、シーン全体を収容する初期バウンディングボリューム７０２から開始する。ユーザは、各画像について、対応する領域ＩＤを有する、ラベル付けされたポリゴン、例えば三角形の組も提供する。点が投影される領域ＩＤを高速にチェックするために、本発明は、それらの領域ＩＤに対応する色を有するポリゴンをスキャンコンバートして、フラッドフィルする。

ライン４−初期境界セルの構築
本発明は、ビジュアルハルを、初期ボリュームの境界表現として、または、ユーザが指定したバウンディングボックスとして使用する。本発明の方法は、セルに対してのみ機能するので、本発明は、このバウンディングボックスを、当該バウンディングボックスを包含するセルの組と取り替える。このようにして、本発明は、セルと境界表現との間の任意の難しいＣＳＧ操作を回避する。

初期境界セルを構築するために、本発明は、カメラのいくつかで可視であるバウンディングボックスの表面で任意の点を選定する。次に、本発明は、これらの点を、当該点の対応するセルと取り替える。セルを構築するために、本発明は、一定の断面を有する固体の交差を計算する手法を用いる。これにより、この計算は、２Ｄで効率的に実行できるポリゴンの交差の組に削減される。

本発明は、バウンディングボックスが可視でなくなるまで、セルの構築を繰り返す。

可視性をチェックするために、本発明は、グラフィックスハードウェアを使用し、各メッシュを異なる色で独立にレンダリングする。

バウンディングボックスのポリゴンがまだ可視である場合、バウンディングボックス全体がカバーされるまで、本発明は、対応するセルを生成する。

ライン５−背景ＩＤを有するすべてのセルの除去
セルカービングを高速化するために、本発明は、まず、背景ＩＤを有する領域に投影されるすべてのセルを除去する。本発明は、すべての境界セルをチェックして、境界セルが背景ＩＤを含むかどうかを調べる。セルを除去するために、本発明は、境界セルのリストからセルを削除し、除去セルのリストにそのセルを追加する。境界セルを除去したときの孔を埋めるために、その近傍のセルが境界セルのリストまたは除去セルのリストにない場合、本発明は、その近傍のセルを生成する。

あるセルの近傍セルを生成するために、現在生成されているすべてのセルの近傍セルのセルＩＤを記憶する隣接グラフを使用することができる。通常、セルの個数は少数であるので、本発明は、隣接したセルを見つけ出すのに効率性の低いサーチ方法を用いる。初期バウンディングボリュームの外部のセルは生成されない。その代わり、外部のセルは、除去セルのリストに追加される。境界セルのリストにもなく、除去セルのリストにもないセルは、上述したように生成される。

ライン８から２１−整合性を有しないセルの検出
この方法のメインループは、整合性を有しないセルを検出して除去する。まず、本発明は、セルが整合性を有しない画像を決定する。各セルについて、本発明は、三角形のリストを保持する。各三角形について、本発明は、その三角形が可視である領域ＩＤを記録する。これは、その三角形を投影して、その投影の領域ＩＤを記録することにより行われる。構成によれば、セルの三角形の投影が、画像領域の境界を横断することはない。次に、本発明は、三角形が領域ＩＤと一致しなかった画像数をチェックする。三角形が、少なくともｋ個の画像と整合性を有しない場合、本発明は、その対応するセルに、整合性を有しないものとしての印を付ける。なお、３Ｄでは、例えばｋ＝４である。次に、本発明は、整合性を有しないセルを除去し、上述したように、近傍セルを挿入する。整合性を有しないセルがなくなるまで、本発明はこのループを繰り返す。

ユーザの入力量をできる限り減らすために、カメラの姿勢および領域の対応関係についての情報を使用して、初期ボリュームの自動計算を行うことができる。ユーザ入力は、監視されないセグメント化手順、および、領域の対応関係の自動割り当てによって取り替えることができる。

より正確な復元を得るためには、分析的な可視性解決法を用いることができる。しかしながら、浮動小数点フレームバッファおよび算術演算を含むグラフィックスハードウェアの最近の進歩により、これは不要になっている。よりスムーズな復元を得るためには、三角形の代わりに、例えばスプラインといった他の輪郭表現を使用することができる。

この復元を、他の技法、例えば多視点ステレオにより改良することができる。画素単位の奥行きが推定されると、ポリゴンごとのディスプレースメントマップにより、シーンのメッシュを生成することができる。

付加的な幾何学的制約を設けることができる。例えば、ユーザは、ある一定の画像領域に、例えば壁および地面といった平坦の制約を割り当てて、復元を改良することができる。プレノプティック画像編集は、復元された３Ｄモデルを使用して、ある画像を他のすべての画像に編集して挿入する。

発明の効果
本発明は、入力画像の組から任意の３Ｄシーンを復元する方法を提供する。本発明の手法は、セグメント化およびオブジェクト認識のコンピュータビジョン技法に頼るのではなく、ユーザとコンピュータとに公平に作業を分割する。ユーザは、画像の組の対応するオブジェクトを容易に認識し、セグメント化して、ラベル付けすることができる一方、コンピュータは、ユーザのラベル付けと整合性を有する３Ｄモデルを自動的に構築するのによく適している。

本発明は、ラベル付けされた画像領域のための３Ｄ復元問題の新規な定式化を提供する。本発明は、ラベルの整合性の必要条件を説明し、復元にセルを使用することの正当性を証明する。本発明のセルカービング法は、効率的に実施することができ、従来のレンダリング技法を使用してすぐにテクスチャマッピングおよび表示を行うことができるポリゴンメッシュを生成する。

本発明を好ましい実施の形態の例によって説明してきたが、本発明の精神および範囲内で、さまざまな他の適応および変更を行い得ることが理解されるべきである。したがって、添付した特許請求の範囲の目的は、本発明の真の精神および範囲に含まれるすべての変形および変更をカバーすることである。

付録Ａ
セル復元定理
補助定理１：
そのセルＩＤに列挙された領域の組に投影されるセルは、最大ボリュームである。矛盾律により、同じ領域の組に投影されるセルの外部のシーンに別の点が存在すると仮定する。定義によれば、それは、そのセルの一部である。

補助定理２：
異なるセルＩＤを有するセルの交差は空である。矛盾律により、交差が空でないと仮定する。２つの異なる点ＩＤを有する２つのセルの交差に点が存在しなければならない。構成によれば、シーンのあらゆる点は、唯一無二の点ＩＤを有する。

補助定理３：
シーンは、セルＣによって完全に分割される。すなわち、Ｒ^３−∪Ｃ_ｉ＝０である。これは、補助定理１および補助定理２から直接得られる。

補助定理４：
セルＣのすべての点は、すべてのカメラで同じ可視性を有する。矛盾律により、そのセルに、カメラＣ_ｋで異なる可視性を有する２つの点が存在すると仮定する。例えば、点Ｐ_ｉは可視でなく、点Ｐ_ｖは可視である。領域ＩＤは、可視である点によって決定されるので、Ｐ_ｉおよびＰ_ｖは、カメラＣ_ｋで異なるＩＤを有する領域に投影されなければならない。これは、それらの点ＩＤが同じでないことを意味し、それらの点が同じセルに存在する場合、これは不可能である。

補助定理５：
ｎ個のラベル付けされた画像が与えられたものとする。ラベル付けされた画像を生成する最大ボリュームＶを有するシーンは、∀Ｃ：Ｖ∩Ｃ＝ＣとなるようなセルＣから構成される。矛盾律により、Ｖによって部分的に占有されるセルＣが存在すると仮定する。ボリュームＶは、整合性を有するすべての点を含み、Ｖ’＝Ｒ^３−Ｖは、整合性を有しないすべての点を含む。それは、セルＣが、少なくとも１つの整合性を有する点Ｐ_ｃおよび少なくとも１つの整合性を有しない点Ｐ_ｉを含まなければならないことを意味する。定義により、整合性は、点ＩＤおよび点の可視性によって決定される。点Ｐ_ｃおよびＰ_ｉは、セルの定義により、同じ点ＩＤを有し、これらの点は、補助定理４により、同じ可視性を有する。これは、それらの点の整合性が同じであることを意味する。

セル再現定理：
ｎ個のラベル付けされた画像が与えられたものとする。ラベル付けされた画像を生成する最大ボリュームＶを有するシーンは、整合性を有するセルＣのみから構成される。ボリュームＶの外部のセルは、整合性を有しない。

証明：補助定理３および補助定理５により、Ｒ^３およびＶは、セルから完全に構成される。Ｖの一部でない整合性を有するセルＣ_ｃが存在すると仮定する。Ｃ_ｃは、整合性を有するので、Ｃ_ｃのすべての点は、同じ領域ＩＤを生成する。これは、このセルがＶに加えられることを意味する。Ｖの一部である整合性を有しないセルＣ_ｉが存在すると仮定する。それは、Ｃ_ｉが異なる領域ＩＤを生成することを意味し、したがって、セルＣ_ｉは、ボリュームＶの一部となることはできない。

系：
セルカービング方法は、ラベル付けされた画像を生成する最大ボリュームＶを正確に計算する。

証明：セルカービング方法は、整合性を有しないすべてのセルＣ_ｉをＲ^３から除去する。残っているセルは、セル復元定理によってボリュームＶに存在する。

本発明によって使用される分析的モデルの２次元概略図である。 凹部領域を有するシーンの概略図である。 複数の凹部領域を有するシーンの概略図である。 本発明によるセルカービング方法の擬似コードである。 色の不連続性を有するシーンの概略図である。 本発明によるセルカービング方法の別の実施の形態の擬似コードである。 シーンの２Ｄ画像から３Ｄモデルを構築する方法の流れ図である。

Claims (20)

1. 較正された画像の組からシーンの３次元モデルを構築する方法であって、
   シーンの画像の組を取得することと、
   前記シーン用のバウンディングボリュームを初期化することと、
   各画像を複数の領域にセグメント化することと、
   前記領域の対応関係を決定するために各領域をラベルによってラベル付けすることと、
   整合性を有しない点を検出するために前記画像内の点を前記バウンディングボリュームに投影することと、
   整合性を有しない領域を識別するために前記整合性を有しない点を前記画像のすべてに投影することと、
   前記整合性を有しない領域の整合性を有しないセルを決定することと、
   前記シーンと整合性を有する最大ボリュームが、前記シーンのモデルとして残るまで、前記ボリュームから前記整合性を有しないセルを除去することと
   を含む方法。
2. 前記３次元モデルを出力デバイスに任意の視点でレンダリングすることをさらに含む請求項１に記載の方法。
3. 前記３次元モデルは、ポリゴンメッシュである請求項１に記載の方法。
4. 前記シーンは、複数のオブジェクト間の実質的なオクルージョン（隠蔽）、幾何学的スケールおよび詳細の大きなばらつき、ならびに織り目の写った表面、一様な色の表面、鏡面、および透明な表面が混合したものを含む請求項１に記載の方法。
5. 前記整合性を有しない点および前記整合性を有しないセルを検出するために使用される画像数は、前記シーンおよび前記モデルの次元数よりも１つ大きい請求項１に記載の方法。
6. 奥行き不連続性に従って前記画像を領域にセグメント化することをさらに含む請求項１に記載の方法。
7. 前記領域のラベルは、前記シーンによって前記画像に放射される放射輝度から導き出される請求項１に記載の方法。
8. 前記セルは、多面体である請求項１に記載の方法。
9. ラベル付けされない領域は、固有の背景ラベルを割り当てられる請求項１に記載の方法。
10. 前記初期バウンディングボリュームは、ビジュアルハル（visual hull）である請求項１に記載の方法。
11. 前記初期バウンディングボリュームは、ユーザが指定したバウンディングボックスである請求項１に記載の方法。
12. 前記画像の組は、較正される請求項１に記載の方法。
13. 前記セグメント化は、写真編集ソフトウェアを用いてユーザにより実行される請求項１に記載の方法。
14. 前記ラベル付けは、ユーザによって実行される請求項１に記載の方法。
15. ユーザが割り当てたラベルをＬとし、インデックスをＩとすると、各ラベルは、対＜Ｌ、Ｉ＞である請求項１に記載の方法。
16. 各領域は、ラベル付けされたポリゴンの組である請求項１に記載の方法。
17. 前記セグメント化は、自動的に実行される請求項１に記載の方法。
18. 前記領域は、スプラインから構築される請求項１に記載の方法。
19. 前記領域は、三角形から構築される請求項１に記載の方法。
20. 前記画像の組は、任意の視野方向を有する任意のさまざまな視点から取得される請求項１に記載の方法。

Images