JP2004521423A - ８分木を用いた多数の画像からの３次元表現の生成 - Google Patents
８分木を用いた多数の画像からの３次元表現の生成 Download PDFInfo
- Publication number
- JP2004521423A JP2004521423A JP2002572119A JP2002572119A JP2004521423A JP 2004521423 A JP2004521423 A JP 2004521423A JP 2002572119 A JP2002572119 A JP 2002572119A JP 2002572119 A JP2002572119 A JP 2002572119A JP 2004521423 A JP2004521423 A JP 2004521423A
- Authority
- JP
- Japan
- Prior art keywords
- vertices
- vertex
- cell
- outside
- cells
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
対象の多数の二次元画像から少なくとも一つの対象の三次元表現を生成する方法は、三次元表現を保持するためにセルの８分木を使用し、各セルは頂点と、頂点を連結するエッジとを含む。方法は、８分木のセルを更に小さいセルへ分割する処理に基づく。セルを分割する処理のための終了規準は、セルの頂点のうちのどれが対象の内側にあり頂点のうちのどれが対象の外側にあるかを調べることに基づく。セルを分割する処理の他の終了規準は、近傍のセルの頂点が対象の内側にあるか外側にあるかを調べることに基づく。
Description
【０００１】
本発明は、対象の三次元表現を保持するためのセルの８分木を作成することによって対象の複数の二次元画像から対象の三次元画像を生成する方法であって、各セルは頂点を含み、セルの８分木は、８分木のセルを階層の次に低いレベルの更に小さいセルへ繰り返し分割する処理によって作成される方法に関する。
【０００２】
本発明は更に、対象の複数の二次元画像から対象の三次元画像を生成するよう構成され、対象の三次元表現を保持するためのセルの８分木を含み、各セルは頂点を含み、８分木のセルを階層の次に低いレベルの更に小さいセルへ繰り返し分割する処理を実行することが可能な再構成器に関する。
【０００３】
本発明は更に、対象の複数の二次元画像から対象の三次元画像を生成するよう構成され、対象の三次元表現を保持するためのセルの８分木を含み、各セルは頂点を含み、８分木のセルを階層の次に低いレベルの更に小さいセルへ繰り返し分割する処理を実行することが可能な再構成器と、
三次元表現からに次元画像を生成するレンダラーと、
二次元画像を表示する表示装置とを含む、画像表示装置に関連する。
【０００４】
冒頭の段落に記載される種類の方法は、１９９８年、ハイデルベルグ、仮想環境のためのモデリング及び動き捕捉技術に関するＩＦＩＰワークショップ（ＩＦＩＰ ｗｏｒｋｓｈｏｐ ｏｎ Ｍｏｄｅｌｉｎｇ ａｎｄ Ｍｏｔｉｏｎ Ｃａｐｔｕｒｅ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔｓ）（ＣＡＰＴＥＣＨ９８）の議事録（スプリンガー出版）に記載されたティー・エル・クニイ（Ｔ． Ｌ． Ｋｕｎｉｉ）外による「３次元捕捉画像データベースのためのグラフィックス・コンパイラ及び捕捉された画像の再利用可能性（Ａ ｇｒａｐｈｉｃｓ ｃｏｍｐｉｌｅｒ ｆｏｒ ａ ３−ｄｉｍｅｎｓｉｏｎａｌ ｃａｐｔｕｒｅｄ ｉｍａｇｅ ｄａｔａｂａｓｅ ａｎｄ ｃａｐｔｕｒｅｄ ｉｍａｇｅ ｒｅｕｓａｂｉｌｉｔｙ）」から公知である。
【０００５】
奥行きデータから３次元表現を生成することは、視覚（ビジョン）関連の学界に大きな関心を生じさせた。ボリュームベースのアプローチでは、いわゆる「ユニバース」は、ボクセル（ｖｏｘｅｌ）と称される体積素子へ分割される。続く奥行きマップは、どのボクセルが「空の空間」であり、どのボクセルが「対象」からなるかを決定するために用いられる。ボクセルの大きさは、大局的に定義されるか、再帰的に細かくされツリーベースの構造に格納される。多数の曲面を有するシーンについては、所望の解像度を得るために多数のボクセルが必要とされ、記憶が費用のかかるものとなる。上述の文献では、シーン中の本質的な情報を特異値の位置として定義し、これらを８分木（ｏｃｔｒｅｅ）に格納することによって、かかる不利な点を部分的に克服することについて記載している。８分木は、２分木の３次元的に等価なものである。８分木では、各セルは８つの子セルへ分割されうる。特異値は、シーン中の対象の頂点、円、及び境界面である。各対象は面によって囲まれる。面はエッジによって囲まれる。エッジは端点として頂点を有する。このように、各対象は、頂点が最下位レベルにあり、次にエッジがあり、次に面があり、最後に対象自体がある特異値の階層から構築されうる。しかしながら、例えばボールの場合のように、階層は、頂点レベルから開始する必要はない。公知の方法の利点は、８分木の細分化段階は早いレベルで終了することである。即ち、他の方法の場合のようにセルが完全に対象の内側又は外側にある場合のみではなく、セル内の構造が十分に単純となるとすぐに、即ち、セルが最も低次の一つの特異値のみを含む場合に終了する。
【０００６】
多数の二次元画像から三次元表現を生成する公知の方法を適用するときの主な妨げは、奥行きマップからの特異値即ち本質的な特徴の抽出である。これは難しい問題である。第一に、画像又は奥行きマップからの頂点及びエッジを正確に見つけることに関して、例えばコーナー検出器、エッジ検出器、及びセグメンテーションアルゴリズムについて既に膨大な文献が書かれている、適切な汎用アルゴリズムは未だに存在しない。二次元データで適切な特異値の検出器が利用可能であっても、これらの特異値は見かけの特異値であるだけであって、現実の特異値ではないかもしれない。９０度の角度で観察された曲面上の全ての位置は、画像中の特異値であると見える。壁の前にボールがある場合について考える。ボールはエッジ又は頂点といった特異値を有さないが、奥行きマップでは、９０度の角度で観察される位置に特異値があるように見える。この例から、特異値の抽出は単一の画像のみからは行うことができないということができる。公知の方法はインタラクティブであり、人間である操作者が必要であることを意味する。リアルタイム又は略リアルタイムの適用のためには、人間である操作者によって特異値を識別することは実行可能な解決策ではない。
【０００７】
本発明は、完全に自動的な、従ってインタラクティブなユーザ入力を必要としない冒頭の段落に記載される種類の三次元表現を生成する方法を提供することを第１の目的とする。
【０００８】
本発明は、完全に自動的な冒頭の段落に記載された種類の三次元表現を生成することが可能な再構成器を提供することを第２の目的とする。
【０００９】
本発明は、完全に自動的な冒頭の段落に記載された種類の三次元表現を生成することが可能な再構成器を含む画像表示装置を提供することを第３の目的とする。
【００１０】
本発明の第１の目的は、特定のセルの分割処理は、特定のセルの頂点のうちのどれが対象の内側であり頂点のうちのどれが対象の外側であるかを調べることに基づいて終了されることによって達成される。これは、特異値抽出の問題点を回避し、従って特異値抽出のためのユーザの相互作用を必要としない完全に自動化された手順を可能とする。従来技術によるアプローチの本質的な面は、早い段階で、即ち、セル内の対象の記述が一意に特定されうるとすぐに、即ち、単一の特異値規準で、８分木の細分化が既に終了されることである。本発明の方法では、単一の特異値規準は、セル内の表面のトポロジーがセル頂点における情報から一意に導出され得ない場合はセルは分割されてはならないこと、によって置き換えられる。これは、一意性規準と称される。
【００１１】
本発明による方法の利点は、８分木を利用することによって記憶が非常に効率的であることである。他の利点は、新しい画像の到着に伴って三次元表現の増分的な更新が可能となることである。このことは、ビデオストリームが処理されるべきであるときに非常に有利である。他の利点は、計算上の複雑さが比較的低いことである。
【００１２】
本発明による方法の１つの実施例では、特定のセルの頂点は、対象の内側の頂点を含む第１の集合と、対象の外側の頂点を含む第２の頂点とに分割され、前記第１の集合及び第２の集合は、
ゼロ個の頂点、
１つの頂点、又は、
１よりも多い頂点を含み、各頂点が一組のエッジによって同じ集合の各他の頂点に連結され、これらのエッジの夫々の両方の頂点が同じ頂点集合に属する。
【００１３】
一意性の規準は、以下の規準及び仮定に基づく。
・連結性規準：集合内の頂点の連結性
・セルの各面及び各エッジは、表面によって一回以上交差されないという仮定
・各対象は少なくとも２つのセルに含まれているはずであるという仮定
これにより、セルが完全に対象を含むことが回避される。
【００１４】
上述の仮定を調べることにより補強された集合内の頂点の連結性は、従ってセルが細分化されるべきであるか否かについて決定するための規準として使用されうる。一意性規準を説明するために、最も簡単な場合の例について述べる。図３に関して、これについて詳細に説明する。各セルが８つの頂点を有する８分木があると想定する。更に、各セルについて、セルの８つの頂点のうちのどれが対象の内側でありどれが外側であるか分かっていると想定する。次に、各セルに対して１４の基本的な形態が認められうる。これらの形態のうち、従来技術のアプローチでは８つの形態のみが単一の特異値を有するセルに対応しうる。対象の表面のトポロジーが一意に再構成されうる形態については、頂点の第１の集合及び頂点の第２の集合がいずれも連結された集合を形成することが示される。頂点０、２、４及び６は第１の垂直な向きの平面上にあり、頂点１、３、５及び７は第１の平面と平行な第２の平面上にあるとする。例えば、頂点０、２、４及び６が対象の内側であり、１、３、５及び７が同じ対象の外側である場合、対象の表面は略垂直にセルと交差する。他の場合、頂点０、３、４及び７が対象の内側であり、１、２、５及び６が対象の外側である場合、２つの可能な形態、即ちどのようにして表面がセルと交差しうるか、がある。第１の集合又は第２の集合のいずれかが空であれば、セルは夫々、完全に対象の内側又は外側にある。
【００１５】
本発明による方法の実施例では、特定のセルを分割する処理に対する第２の終了規準は、近傍のセル、即ち特定のセルと面又はエッジのいずれかを共有するセル、の頂点が対象の内側であるか外側であるかを調べることに基づく。８分木中の近傍のセルが等しくない大きさを有する場合、より大きいセルについては、その頂点が対象の内側であるか外側であるかについてのみが知られているのではない。より大きいセルについては、エッジ又は面の部分が対象の内側であるか外側であるかも知られている。この情報は、近傍のセルの頂点に基づく。本発明による三次元表現の生成における非常に重要な仮定は、セルの各エッジが最大で一回対象の表面と交差することである。これらの余分な点の情報は、単一の特異値の規準がもはや満たされない結果となりうる。このような状況となった場合、より大きいセルは分割されねばならない。この分割規準は上述の連結性規準に対する追加的な規準である。
【００１６】
本発明による方法では、頂点が対象の内側であるのか外側であるのかの判定は二次元投影から抽出される奥行きマップに基づく。三次元表現は、画像平面上に各点に最も確からしい奥行き値を関連付ける一連の奥行きマップからの情報を組み合わせることによって作成されうる。これらの奥行きマップは、例えば構造化光といった能動的な捕捉技術又は例えばレーザ走査といった受動的な捕捉技術といったｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎアルゴリズムを用いて２つの画像から作成されうる。更に、カメラの位置及び向きがわかっていること、即ち較正されたカメラが存在すること、又は、カメラ較正アルゴリズムによって得られていることが想定される。
【００１７】
本発明による方法の実施例では、三次元表現を生成するために、特定のセルの頂点について、対象の境界への距離が計算される。セルの各頂点に、対象の内側であるか外側であるかが記憶されれば、表面のトポロジーは一意に復元される。しかしながら、セル内でのその正確な位置はセルの大きさの正確さによってのみ決定される。三次元表現を生成する方法のこの実施例では、セルの頂点の中の情報は対象の境界をより高い精度で位置を見つけるために定量的な情報で拡張される。これを行うには、利用可能な奥行きマップから符号付き距離関数ｕを計算することが行われ、但し、対象の境界では
【００１８】
（外１）
であり、対象の内側では
【００１９】
（外２）
であり、対象の外側では
【００２０】
（外３）
であり、
【００２１】
（外４）
は８分木セルの頂点である。絶対値｜ｕ｜は、どの方向であってもよい対象境界の最も近い点への距離を示す。対象の境界は、等値面ｕ＝０を計算することによって完全に再構成されうる。これにより単に内側又は外側として二値でラベル付けするのと比較してセルの大きさのオーダの正確さが得られる。
【００２２】
本発明による方法の実施例では、三次元表現を生成するために、特定のセルの頂点について、対象の境界への距離が推定される。ここまで、奥行きの決定論的な値と符号付き距離関数について述べてきた。しかしながら、現実には、奥行きマップは、奥行きの上限と下限が最も確からしい奥行き値ｄＭＬと共に与えられるという意味で確率論的な性質を有しうる。この不確実性の間隔の下限をｄｌ、上限をｄｕと示す。奥行きの不確実性の情報は、奥行き情報中の誤り及び異常値の影響を減らす。各奥行き測定に対して、奥行き軸に沿って３つの領域が定義されうる。
・ｄ＜ｄｌであり、確かに外側である領域。
・ｄｌ≦ｄ≦ｄｕであり、いわゆる「厚い壁」領域と称される、対象境界を含む領域。
・この視点から見たときに対象境界の後ろ側である領域。尚、この領域は対象の内側の点を含まないかもしれないため、この領域は確かに内側であるわけではない。即ち、この領域は視点から見えないため、この領域上には基本的には十分な情報がない。外側点から対象への距離が奥行き間隔の上限に対応する点への距離よりも大きくないということのみが分かっており使用されうる。
【００２３】
本発明による三次元表現を発生するための再構成器及び方法、並びに、画像表示装置の上述の及び他の面については、以下説明する実施の形態を参照して、また、添付の図面を参照して明らかとなろう。
【００２４】
図１は、８分木の二次元変形、即ち４分木を概略的に示す図である。木の根は、二次元ボックス１００である。このボックスは４つの枝を有し、即ち４つの更に小さいボックス１０２−１０８へ分割される。ボックス１０８は、４つの枝を有し、即ち４つの更に小さいボックス１１０−１１６へ分割される。ボックス１１６は、４つの枝を有し、即ち４つの更に小さいボックス１１８−１２２へ分割される。ボックス１２２は、４つの枝を有し、即ち４つの更に小さいボックス１２６−１３２へ分割される。この図に示される木では、ボックスのうちの１つがそのつど分割される。しかしながら、各ボックスが４つの更に小さいボックスへ分割されうる。三次元で、同様の木が形成されえ、８分木と称される。その場合、ボックスではなくセルが８つの更に小さいセルへ分割される。
【００２５】
図２は、セルの分割処理の４つの段階Ａ，Ｂ，Ｃ及びＤを概略的に示す。最初の段階Ａでは、表面２０２は、完全にセル２００の内側にある。最初の分割動作の後、状態Ｂへ進み、セル２００は４つの子セル２０４−２０８を得る。続く一群の分割動作の後、状態Ｃへ進み、これらの４つの子セルのうちの３つ２０４、２０６及び２１０は夫々４つの子セルへ分割され、例えば２１２−２１８はセル２０４の４つの子セルである。最後の１つの分割動作により状態Ｄへ進み、セル２２０は４つの子セルへ分割される。
【００２６】
図３は、一意性規準を示す図である。セル３００は、８つの頂点０−７を有する。セル３００は、図３中のＡ，Ｂ，Ｃ，及びＤに４回示されている。このセル３００について、その８つの頂点の夫々が対象の内側であるのか外側であるのかがわかっていると想定する。表面のトポロジーが一意に再構成されうる形態については、「内側」頂点の集合と「外側」頂点の集合は両方とも連結された集合を形成することが示されうる。以下の表は、基本的な形態を示す。各形態について、内側点の集合が示され、部分集合が連結された集合であるのかそうではないのかが示される。
【００２７】
【表１】
例えば、頂点０、２、４及び６が内側であり、１、３、５及び７が外側であれば、表面は略垂直にセルと交差する。これは、図３のＢに示されている。一方、頂点０、３、４及び７が内側であり、１、２、５及び６が外側であれば、２つの可能な形態、即ちＣ及びＤがある。これは、表面３０４を３０６と組み合わせても達成されうるが、表面３０８を３１０と組み合わせても達成される。言い替えれば、内側の０、３、４、７のセル頂点と外側の１、２、５、６のセル頂点の形態が全く同じであっても、表面がどのようにセルと交差するかについては２つの可能な方法がある。
【００２８】
図４は、分割規準を示す図である。図４中、３つの近傍のセル、即ち、セル４００と２つの更に小さいセル４０２及び４０４、が示されている。全ての頂点について、それらが対象の内側であるのか外側であるのかが知られている。例えば、頂点４０６及び４１０は対象の外側であり、頂点４０８は内側である。対象の表面４１２の一部分が示されている。一意であることを想定することにより、セルの各面及び各エッジは、一回以上表面によって交差されてはならない。図４中、セル４００の１つの面は対象の表面４１２によって３回以上横切られていることがわかる。セル４００について、その頂点が対象の内側であるのか外側であるのかのみが知られているが、この種類の情報は頂点４１０及び４０６を連結するエッジ上の他の位置、即ち頂点４０８の位置においても利用可能である。この他のセルからの余分な頂点の情報により、単一の特異値規準はもはや満たされないこととなる。この場合、より大きいセル４００は分割されねばならない。
【００２９】
図５Ａは、壁５０４とその前方の立方体５０６とを示す。壁５０４及び立方体は、カメラ５００を動かすことによって多数回撮像される。図５は、
【００３０】
（外５）
に置かれ、方向θを「見ている」カメラ５００を示す。
【００３１】
（外６）
は、立方体５０６の表面上の点である。このカメラ位置についての奥行きマップ５０２も示されている。
【００３２】
図６は、セル（例えばセル６００）の頂点を分類する処理の３つの段階Ａ、Ｂ及びＣを概略的に示す図である。初期状態Ａでは、頂点（例えば６０２−６０６）は「内側」と分類される。これは、各頂点に対するドットとして示されている。奥行きマップ６０８は、頂点を分類するために使用される。最初の処理ステップの後、状態Ｂへ進み、多数の頂点は「外側」として分類される。これは、×印によって示されている。奥行きマップ６１０は頂点を更に分類するために使用される。第２の処理ステップの後、状態Ｃへ進み、他の多数の頂点（例えば６０４及び６０６）が「外側」として分類される。
【００３３】
図７Ａは、符号付き距離関数、即ちセルの各頂点について対象の最近傍表面までの距離を定義する関数を示す図である。図７Ａ中、表面７０３の一部はセル７０１の内側に位置する。矢印７０５、７０７、７０９及び７１１は、頂点と表面７０３の間の距離を示す。
【００３４】
図７Ｂは、２つの異なるビューについて頂点と対象の境界との間の距離を示す図である。対象の表面７００は、２つの異なるカメラ位置から見られる。第１のビューについて、頂点７０８、７１０及び７１２から表面７００への距離は夫々矢印７０２、７０４及び７０６で示される。第２のビューについて、頂点７０８、７１０及び７１２から表面７００への距離は夫々矢印７１８、７１６及び７１４で示される。第２のビューにおける距離、即ち矢印の長さは、第１のビューにおける距離よりも短いことが明らかである。
【００３５】
図７Ｃは、３つの等値面（ｉｓｏｓｕｒｆａｃｅ）７１３、７１５及び７１７を示す図である。このような表面の全ての点は、対象の境界まで同じ距離を有し、即ち、
等値面７１５は対象境界
【００３６】
（外７）
に対応し、
等値面７１３は対象の外側に位置し、
【００３７】
（外８）
等値面７１７は対象の内側に位置する
【００３８】
（外９）
。
【００３９】
符号付き距離関数ｕを計算するために、
【００４０】
（外１０）
は、方向θに見た
【００４１】
（外１１）
の頂点における符号付き距離として定義される。これは、
【００４２】
（外１２）
が方向θ上の最も近い表面にのみ関連付けられることを意味する。これは体積を通る一次元の光線から生ずる。カメラ・アイが
【００４３】
（外１３）
である単一のカメラの奥行きマップがあるとすると、カメラは、
【００４４】
（外１４）
に見ている。
【００４５】
（外１５）
の近似は、
【００４６】
【数１】
で与えられ、式中、ξ及びνは画像平面上の
【００４７】
（外１６）
の投影の画像平面座標であり、
【００４８】
（外１７）
は画像平面の法線であり、ｄＭＬは最も確からしい奥行き値である。尚、ｕは、（ξ，ν）が画像平面上にあるときのみ定義される。符号付き距離関数のこの近似は、
【００４９】
（外１８）
から
【００５０】
（外１９）
に見た第１の対象境界に関連する。
【００５１】
多数の奥行きマップを用いて、符号付き距離関数ｕはインクリメントして計算されえ、
【００５２】
（外２０）
は対象の境界であり、
【００５３】
（外２１）
は対象の内側であり、
【００５４】
（外２２）
は対象の外側である。絶対値｜ｕ｜は、任意の方向でありうる対象の境界の最も近い距離への距離を示す。多数の奥行きマップからの情報を組み合わせるために、
【００５５】
（外２３）
についての情報をどのようにして
【００５６】
（外２４）
についての単一の値へ間持するか定義されねばならない。以下の二つの観察がなされうる。
【００５７】
符号付き距離関数は、任意の方向上の最も近い表面への距離として定義される（図７Ａ参照）。従って、
【００５８】
【数２】
である。
【００５９】
点が、或るカメラ視点からみて、第１の対象境界の後ろである場合、式（１）から、符号付き距離に対する正の値を得る。しかしながら、点が対象の内側であるか後ろ側であるかは分からない。一方、
【００６０】
（外２５）
である場合、点は対象の外側であること、即ちこれを通してみることができることが確実に分かっている。従って、符号付き距離関数の負の値は、正の値よりも支配的である。
【００６１】
また、ｕを正の値から負の値へ変化させた場合でも、絶対値は両方のうちの小さい方であるべきである。
【００６２】
（外２６）
である場合、点ｘは境界の後ろの｜ｕ｜の距離にあることがわかっている。カメラが
【００６３】
（外２７）
から
【００６４】
（外２８）
にみたとき、カメラは最も遅い場合でも距離｜ｕ｜で対象の境界にぶつかる。符号付き距離関数ｕｋ及び新しい候補ｖｋの現在の近似値が与えられているとき、新しい最善の近似
ｕｋ＞０，ｖｋ＞０のとき ｓｉｇｎ（ｕ）＝１ であり、
その他のとき ｓｉｇｎ（ｕ）＝−１ （３）
である。
【００６５】
これを表の形で表わすと、以下の通りである。
【００６６】
【表２】
図８は、奥行き測定のために定義される領域を示す。各奥行き測定のために、奥行き軸に沿って３つの領域、
即ち、
・確かに外側である領域。これは外側領域８０１と称される
・対象境界を含む領域。これは厚い壁の領域８０２と称される
・この視点から見たときに対象境界の後ろ側である領域。これは内側領域８０８と称される
を含む。
【００６７】
図８中、２つの測定が示されている。カメラ８００は対象を見ている。図８のＡでは、対象の表面は参照番号８０６で示されている。図８のＢでは、対象の表面は参照番号８１０で示されている。測定は、参照番号８０４で示される。図８のＡでは、内側領域８０８は表面８０６で囲まれた対象の後ろに延びる。他方、図８のＢは、内側領域８０８は対象の内側のどの点も含まなくともよいことを示す。すなわち、より大きい誤差範囲により、対象全体は厚い壁の領域に既に含まれている。
【００６８】
不確実性は、各頂点に不確実性間隔範囲に基づく領域値を割り当てることによって組み入れられうる。この領域は、符号付き距離関数の符号と同じようにして見つけられうる。領域値をインクリメントして更新する表は、以下の表に示される。
【００６９】
【表３】
この表の基礎となる理由付けは、以下の通りである。いずれかの位置から点が対象の外側であると見られた場合、この点は点を通して見られており、自由空間にほかならない。内側領域には情報はないため、この情報は厚い壁の情報によって支配され、その領域中には対象の境界があることを意味するためである。奥行きの不確実性がゼロであれば、符号付き距離順序関係となる。
【００７０】
セルの頂点に関する２種類の性質が特定される。即ち、奥行きの最尤値に関連する符号付き距離関数ｕと、奥行き不確実性間隔の範囲に関連する領域値である。符号付き距離関数は、セルの各頂点に対して、対象の最も近い表面への距離を定義する。領域値は、セルの頂点が全ての対象の外側にあるか、対象の内側にあるか、又は対象の境界を含む領域、いわゆる「厚い壁」の領域にあるかを特定することにより不確実性を扱うことを可能とする。領域値及び頂点についての符号付き距離関数値は、効率性のため１つの８分木に格納される。しかしながら、等しい構造の２つの別々の８分木に情報を格納することも可能である。
【００７１】
３次元表現を発生する手順は以下の通りである。
【００７２】
初期化中、操作を行うべきユニバースの境界が設定され、これは８分木の根である。最初に、初期構造中のセルの各頂点における符号付き距離関数は無限大に設定され、その領域値は「内側」に設定される。各奥行きマップに対して、以下の処理シーケンスが提供される。
・画像ｉに対して新しい奥行きマップｄｉ及び対応するカメラパラメータを読む。
・８分木中のセル頂点に対する値を更新する：
・８分木中の
【００７３】
（外２９）
の各頂点に対して、式（１）に従って
【００７４】
（外３０）
を計算する：
・式（３）を用いてｕｋ及びｖｋから新しい最善の近似値を見つけることによりｕｋを更新する。
・各セルについて、一意性規準に従って分割される必要があるかどうかを調べる。その必要があれば、分割され、セル値の頂点が更新される。これは、分割される必要のあるセルがなくなるまで続けられる。
・最後に、全てのセル頂点について領域値を更新する。これは８分木の構造に影響を与えないため、これは全ての分割が行われた後になされうる。
【００７５】
図９は、再構成器９００をその前後関係で示す図である。その内側とその外側の間に境界９１４を有する対象９１６は、多数の方向から撮像される。対象の２次元画像（例えば９１２）は、各画素に対する奥行き値でラベル付けされる。再構成器９００は、これらの画像から対象９１６の三次元表現９０４を発生するよう構成される。再構成器９００は、三次元表現９０４を保持するためにセル（例えば９０３）の８分木９０２を含む。各セルは、頂点（例えば９０６及び９０８）と頂点を連結するエッジ（例えば９１０）を含む。
【００７６】
図１０は、
奥行きマップ発生器１００２と、
再構成器９００と、
レンダラー１００６と、
表示装置１００８と、
を含む画像表示装置１０００を示す。画像表示装置１０００の入力は、一連の画像である。これらの画像は、多数のステップで処理される。最初の奥行き画像は、例えば視差を用いて、これらの画像に対して生成される。奥行きマップは、撮像されたシーンの対象の三次元表現を生成するよう構成された再構成器９００へ入力される。入来する画像はこれらの対象を表わす。対象の三次元表現である再構成器９００の出力は、レンダラー１００６へ入力される。レンダラー１００６は、三次元表現から二次元画像を生成することが可能である。これらの生成された画像は、シーンを捕捉するカメラによっては元々は作られていないビューに対応しうる。生成された二次元画像は、表示装置１００８によって表示される。表示装置１００８は、通常の表示装置であってもよいが、僅かに異なる角度からビューを表わす画像の対又は群を表示することが可能な種類のもの、即ち、例えばレンチキュラースクリーンを有する立体表示装置及び「マルチスコピック」表示装置であってもよい。パフォーマンスのため、奥行きマップ発生器１００２、再構成器９００、及びレンダラー１００６は、シリコン上で実施されても良く、即ち専用ハードウエアであってもよい。パフォーマンスがあまり重要でない状況では、これらの３つの装置を実現するためにプログラマブルなハードウエアプラットフォームで十分であり得る。
【００７７】
尚、上述の実施例は本発明を制限するのではなく例示するものであり、当業者は請求の範囲を逸脱することなく他の実施例を構成することが可能であり得る。請求の範囲において、かっこ内に示された参照符号は請求の範囲を制限するものと理解されるべきではない。「含む」という後は、請求の範囲に記載された要素又は段階以外のものを排除するものではない。要素を単数形で記載した場合は、その要素が複数存在する場合を排除するものではない。本発明は、幾つかの別々の要素を含むハードウエアによって、及び、適当にプログラムされたコンピュータによって実施されうる。幾つかの手段を含む装置に関する請求項では、これらの手段のうちの幾つかは同一のハードウエア上で実施されうる。
【図面の簡単な説明】
【００７８】
【図１】４分木を概略的に示す図である。
【図２】セルを分割する処理を概略的に示す図である。
【図３】一意性規準を示す図である。
【図４】分割規準を示す図である。
【図５】現実の対象と奥行きマップとの間の関係を概略的に示す図である。
【図６】奥行きマップに基づいて頂点を分類する処理を概略的に示す図である。
【図７Ａ】符号付き距離関数を示す図である。
【図７Ｂ】頂点と対象の境界の間の距離を２つの異なるビューについて示す図である。
【図７Ｃ】３つの等値面を示す図である。
【図８】奥行き測定のために定義される領域を示す図である。
【図９】再構成器を示す図である。
【図１０】画像表示装置を示す図である。
本発明は、対象の三次元表現を保持するためのセルの８分木を作成することによって対象の複数の二次元画像から対象の三次元画像を生成する方法であって、各セルは頂点を含み、セルの８分木は、８分木のセルを階層の次に低いレベルの更に小さいセルへ繰り返し分割する処理によって作成される方法に関する。
【０００２】
本発明は更に、対象の複数の二次元画像から対象の三次元画像を生成するよう構成され、対象の三次元表現を保持するためのセルの８分木を含み、各セルは頂点を含み、８分木のセルを階層の次に低いレベルの更に小さいセルへ繰り返し分割する処理を実行することが可能な再構成器に関する。
【０００３】
本発明は更に、対象の複数の二次元画像から対象の三次元画像を生成するよう構成され、対象の三次元表現を保持するためのセルの８分木を含み、各セルは頂点を含み、８分木のセルを階層の次に低いレベルの更に小さいセルへ繰り返し分割する処理を実行することが可能な再構成器と、
三次元表現からに次元画像を生成するレンダラーと、
二次元画像を表示する表示装置とを含む、画像表示装置に関連する。
【０００４】
冒頭の段落に記載される種類の方法は、１９９８年、ハイデルベルグ、仮想環境のためのモデリング及び動き捕捉技術に関するＩＦＩＰワークショップ（ＩＦＩＰ ｗｏｒｋｓｈｏｐ ｏｎ Ｍｏｄｅｌｉｎｇ ａｎｄ Ｍｏｔｉｏｎ Ｃａｐｔｕｒｅ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔｓ）（ＣＡＰＴＥＣＨ９８）の議事録（スプリンガー出版）に記載されたティー・エル・クニイ（Ｔ． Ｌ． Ｋｕｎｉｉ）外による「３次元捕捉画像データベースのためのグラフィックス・コンパイラ及び捕捉された画像の再利用可能性（Ａ ｇｒａｐｈｉｃｓ ｃｏｍｐｉｌｅｒ ｆｏｒ ａ ３−ｄｉｍｅｎｓｉｏｎａｌ ｃａｐｔｕｒｅｄ ｉｍａｇｅ ｄａｔａｂａｓｅ ａｎｄ ｃａｐｔｕｒｅｄ ｉｍａｇｅ ｒｅｕｓａｂｉｌｉｔｙ）」から公知である。
【０００５】
奥行きデータから３次元表現を生成することは、視覚（ビジョン）関連の学界に大きな関心を生じさせた。ボリュームベースのアプローチでは、いわゆる「ユニバース」は、ボクセル（ｖｏｘｅｌ）と称される体積素子へ分割される。続く奥行きマップは、どのボクセルが「空の空間」であり、どのボクセルが「対象」からなるかを決定するために用いられる。ボクセルの大きさは、大局的に定義されるか、再帰的に細かくされツリーベースの構造に格納される。多数の曲面を有するシーンについては、所望の解像度を得るために多数のボクセルが必要とされ、記憶が費用のかかるものとなる。上述の文献では、シーン中の本質的な情報を特異値の位置として定義し、これらを８分木（ｏｃｔｒｅｅ）に格納することによって、かかる不利な点を部分的に克服することについて記載している。８分木は、２分木の３次元的に等価なものである。８分木では、各セルは８つの子セルへ分割されうる。特異値は、シーン中の対象の頂点、円、及び境界面である。各対象は面によって囲まれる。面はエッジによって囲まれる。エッジは端点として頂点を有する。このように、各対象は、頂点が最下位レベルにあり、次にエッジがあり、次に面があり、最後に対象自体がある特異値の階層から構築されうる。しかしながら、例えばボールの場合のように、階層は、頂点レベルから開始する必要はない。公知の方法の利点は、８分木の細分化段階は早いレベルで終了することである。即ち、他の方法の場合のようにセルが完全に対象の内側又は外側にある場合のみではなく、セル内の構造が十分に単純となるとすぐに、即ち、セルが最も低次の一つの特異値のみを含む場合に終了する。
【０００６】
多数の二次元画像から三次元表現を生成する公知の方法を適用するときの主な妨げは、奥行きマップからの特異値即ち本質的な特徴の抽出である。これは難しい問題である。第一に、画像又は奥行きマップからの頂点及びエッジを正確に見つけることに関して、例えばコーナー検出器、エッジ検出器、及びセグメンテーションアルゴリズムについて既に膨大な文献が書かれている、適切な汎用アルゴリズムは未だに存在しない。二次元データで適切な特異値の検出器が利用可能であっても、これらの特異値は見かけの特異値であるだけであって、現実の特異値ではないかもしれない。９０度の角度で観察された曲面上の全ての位置は、画像中の特異値であると見える。壁の前にボールがある場合について考える。ボールはエッジ又は頂点といった特異値を有さないが、奥行きマップでは、９０度の角度で観察される位置に特異値があるように見える。この例から、特異値の抽出は単一の画像のみからは行うことができないということができる。公知の方法はインタラクティブであり、人間である操作者が必要であることを意味する。リアルタイム又は略リアルタイムの適用のためには、人間である操作者によって特異値を識別することは実行可能な解決策ではない。
【０００７】
本発明は、完全に自動的な、従ってインタラクティブなユーザ入力を必要としない冒頭の段落に記載される種類の三次元表現を生成する方法を提供することを第１の目的とする。
【０００８】
本発明は、完全に自動的な冒頭の段落に記載された種類の三次元表現を生成することが可能な再構成器を提供することを第２の目的とする。
【０００９】
本発明は、完全に自動的な冒頭の段落に記載された種類の三次元表現を生成することが可能な再構成器を含む画像表示装置を提供することを第３の目的とする。
【００１０】
本発明の第１の目的は、特定のセルの分割処理は、特定のセルの頂点のうちのどれが対象の内側であり頂点のうちのどれが対象の外側であるかを調べることに基づいて終了されることによって達成される。これは、特異値抽出の問題点を回避し、従って特異値抽出のためのユーザの相互作用を必要としない完全に自動化された手順を可能とする。従来技術によるアプローチの本質的な面は、早い段階で、即ち、セル内の対象の記述が一意に特定されうるとすぐに、即ち、単一の特異値規準で、８分木の細分化が既に終了されることである。本発明の方法では、単一の特異値規準は、セル内の表面のトポロジーがセル頂点における情報から一意に導出され得ない場合はセルは分割されてはならないこと、によって置き換えられる。これは、一意性規準と称される。
【００１１】
本発明による方法の利点は、８分木を利用することによって記憶が非常に効率的であることである。他の利点は、新しい画像の到着に伴って三次元表現の増分的な更新が可能となることである。このことは、ビデオストリームが処理されるべきであるときに非常に有利である。他の利点は、計算上の複雑さが比較的低いことである。
【００１２】
本発明による方法の１つの実施例では、特定のセルの頂点は、対象の内側の頂点を含む第１の集合と、対象の外側の頂点を含む第２の頂点とに分割され、前記第１の集合及び第２の集合は、
ゼロ個の頂点、
１つの頂点、又は、
１よりも多い頂点を含み、各頂点が一組のエッジによって同じ集合の各他の頂点に連結され、これらのエッジの夫々の両方の頂点が同じ頂点集合に属する。
【００１３】
一意性の規準は、以下の規準及び仮定に基づく。
・連結性規準：集合内の頂点の連結性
・セルの各面及び各エッジは、表面によって一回以上交差されないという仮定
・各対象は少なくとも２つのセルに含まれているはずであるという仮定
これにより、セルが完全に対象を含むことが回避される。
【００１４】
上述の仮定を調べることにより補強された集合内の頂点の連結性は、従ってセルが細分化されるべきであるか否かについて決定するための規準として使用されうる。一意性規準を説明するために、最も簡単な場合の例について述べる。図３に関して、これについて詳細に説明する。各セルが８つの頂点を有する８分木があると想定する。更に、各セルについて、セルの８つの頂点のうちのどれが対象の内側でありどれが外側であるか分かっていると想定する。次に、各セルに対して１４の基本的な形態が認められうる。これらの形態のうち、従来技術のアプローチでは８つの形態のみが単一の特異値を有するセルに対応しうる。対象の表面のトポロジーが一意に再構成されうる形態については、頂点の第１の集合及び頂点の第２の集合がいずれも連結された集合を形成することが示される。頂点０、２、４及び６は第１の垂直な向きの平面上にあり、頂点１、３、５及び７は第１の平面と平行な第２の平面上にあるとする。例えば、頂点０、２、４及び６が対象の内側であり、１、３、５及び７が同じ対象の外側である場合、対象の表面は略垂直にセルと交差する。他の場合、頂点０、３、４及び７が対象の内側であり、１、２、５及び６が対象の外側である場合、２つの可能な形態、即ちどのようにして表面がセルと交差しうるか、がある。第１の集合又は第２の集合のいずれかが空であれば、セルは夫々、完全に対象の内側又は外側にある。
【００１５】
本発明による方法の実施例では、特定のセルを分割する処理に対する第２の終了規準は、近傍のセル、即ち特定のセルと面又はエッジのいずれかを共有するセル、の頂点が対象の内側であるか外側であるかを調べることに基づく。８分木中の近傍のセルが等しくない大きさを有する場合、より大きいセルについては、その頂点が対象の内側であるか外側であるかについてのみが知られているのではない。より大きいセルについては、エッジ又は面の部分が対象の内側であるか外側であるかも知られている。この情報は、近傍のセルの頂点に基づく。本発明による三次元表現の生成における非常に重要な仮定は、セルの各エッジが最大で一回対象の表面と交差することである。これらの余分な点の情報は、単一の特異値の規準がもはや満たされない結果となりうる。このような状況となった場合、より大きいセルは分割されねばならない。この分割規準は上述の連結性規準に対する追加的な規準である。
【００１６】
本発明による方法では、頂点が対象の内側であるのか外側であるのかの判定は二次元投影から抽出される奥行きマップに基づく。三次元表現は、画像平面上に各点に最も確からしい奥行き値を関連付ける一連の奥行きマップからの情報を組み合わせることによって作成されうる。これらの奥行きマップは、例えば構造化光といった能動的な捕捉技術又は例えばレーザ走査といった受動的な捕捉技術といったｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎアルゴリズムを用いて２つの画像から作成されうる。更に、カメラの位置及び向きがわかっていること、即ち較正されたカメラが存在すること、又は、カメラ較正アルゴリズムによって得られていることが想定される。
【００１７】
本発明による方法の実施例では、三次元表現を生成するために、特定のセルの頂点について、対象の境界への距離が計算される。セルの各頂点に、対象の内側であるか外側であるかが記憶されれば、表面のトポロジーは一意に復元される。しかしながら、セル内でのその正確な位置はセルの大きさの正確さによってのみ決定される。三次元表現を生成する方法のこの実施例では、セルの頂点の中の情報は対象の境界をより高い精度で位置を見つけるために定量的な情報で拡張される。これを行うには、利用可能な奥行きマップから符号付き距離関数ｕを計算することが行われ、但し、対象の境界では
【００１８】
（外１）
【００１９】
（外２）
【００２０】
（外３）
【００２１】
（外４）
【００２２】
本発明による方法の実施例では、三次元表現を生成するために、特定のセルの頂点について、対象の境界への距離が推定される。ここまで、奥行きの決定論的な値と符号付き距離関数について述べてきた。しかしながら、現実には、奥行きマップは、奥行きの上限と下限が最も確からしい奥行き値ｄＭＬと共に与えられるという意味で確率論的な性質を有しうる。この不確実性の間隔の下限をｄｌ、上限をｄｕと示す。奥行きの不確実性の情報は、奥行き情報中の誤り及び異常値の影響を減らす。各奥行き測定に対して、奥行き軸に沿って３つの領域が定義されうる。
・ｄ＜ｄｌであり、確かに外側である領域。
・ｄｌ≦ｄ≦ｄｕであり、いわゆる「厚い壁」領域と称される、対象境界を含む領域。
・この視点から見たときに対象境界の後ろ側である領域。尚、この領域は対象の内側の点を含まないかもしれないため、この領域は確かに内側であるわけではない。即ち、この領域は視点から見えないため、この領域上には基本的には十分な情報がない。外側点から対象への距離が奥行き間隔の上限に対応する点への距離よりも大きくないということのみが分かっており使用されうる。
【００２３】
本発明による三次元表現を発生するための再構成器及び方法、並びに、画像表示装置の上述の及び他の面については、以下説明する実施の形態を参照して、また、添付の図面を参照して明らかとなろう。
【００２４】
図１は、８分木の二次元変形、即ち４分木を概略的に示す図である。木の根は、二次元ボックス１００である。このボックスは４つの枝を有し、即ち４つの更に小さいボックス１０２−１０８へ分割される。ボックス１０８は、４つの枝を有し、即ち４つの更に小さいボックス１１０−１１６へ分割される。ボックス１１６は、４つの枝を有し、即ち４つの更に小さいボックス１１８−１２２へ分割される。ボックス１２２は、４つの枝を有し、即ち４つの更に小さいボックス１２６−１３２へ分割される。この図に示される木では、ボックスのうちの１つがそのつど分割される。しかしながら、各ボックスが４つの更に小さいボックスへ分割されうる。三次元で、同様の木が形成されえ、８分木と称される。その場合、ボックスではなくセルが８つの更に小さいセルへ分割される。
【００２５】
図２は、セルの分割処理の４つの段階Ａ，Ｂ，Ｃ及びＤを概略的に示す。最初の段階Ａでは、表面２０２は、完全にセル２００の内側にある。最初の分割動作の後、状態Ｂへ進み、セル２００は４つの子セル２０４−２０８を得る。続く一群の分割動作の後、状態Ｃへ進み、これらの４つの子セルのうちの３つ２０４、２０６及び２１０は夫々４つの子セルへ分割され、例えば２１２−２１８はセル２０４の４つの子セルである。最後の１つの分割動作により状態Ｄへ進み、セル２２０は４つの子セルへ分割される。
【００２６】
図３は、一意性規準を示す図である。セル３００は、８つの頂点０−７を有する。セル３００は、図３中のＡ，Ｂ，Ｃ，及びＤに４回示されている。このセル３００について、その８つの頂点の夫々が対象の内側であるのか外側であるのかがわかっていると想定する。表面のトポロジーが一意に再構成されうる形態については、「内側」頂点の集合と「外側」頂点の集合は両方とも連結された集合を形成することが示されうる。以下の表は、基本的な形態を示す。各形態について、内側点の集合が示され、部分集合が連結された集合であるのかそうではないのかが示される。
【００２７】
【表１】
【００２８】
図４は、分割規準を示す図である。図４中、３つの近傍のセル、即ち、セル４００と２つの更に小さいセル４０２及び４０４、が示されている。全ての頂点について、それらが対象の内側であるのか外側であるのかが知られている。例えば、頂点４０６及び４１０は対象の外側であり、頂点４０８は内側である。対象の表面４１２の一部分が示されている。一意であることを想定することにより、セルの各面及び各エッジは、一回以上表面によって交差されてはならない。図４中、セル４００の１つの面は対象の表面４１２によって３回以上横切られていることがわかる。セル４００について、その頂点が対象の内側であるのか外側であるのかのみが知られているが、この種類の情報は頂点４１０及び４０６を連結するエッジ上の他の位置、即ち頂点４０８の位置においても利用可能である。この他のセルからの余分な頂点の情報により、単一の特異値規準はもはや満たされないこととなる。この場合、より大きいセル４００は分割されねばならない。
【００２９】
図５Ａは、壁５０４とその前方の立方体５０６とを示す。壁５０４及び立方体は、カメラ５００を動かすことによって多数回撮像される。図５は、
【００３０】
（外５）
【００３１】
（外６）
【００３２】
図６は、セル（例えばセル６００）の頂点を分類する処理の３つの段階Ａ、Ｂ及びＣを概略的に示す図である。初期状態Ａでは、頂点（例えば６０２−６０６）は「内側」と分類される。これは、各頂点に対するドットとして示されている。奥行きマップ６０８は、頂点を分類するために使用される。最初の処理ステップの後、状態Ｂへ進み、多数の頂点は「外側」として分類される。これは、×印によって示されている。奥行きマップ６１０は頂点を更に分類するために使用される。第２の処理ステップの後、状態Ｃへ進み、他の多数の頂点（例えば６０４及び６０６）が「外側」として分類される。
【００３３】
図７Ａは、符号付き距離関数、即ちセルの各頂点について対象の最近傍表面までの距離を定義する関数を示す図である。図７Ａ中、表面７０３の一部はセル７０１の内側に位置する。矢印７０５、７０７、７０９及び７１１は、頂点と表面７０３の間の距離を示す。
【００３４】
図７Ｂは、２つの異なるビューについて頂点と対象の境界との間の距離を示す図である。対象の表面７００は、２つの異なるカメラ位置から見られる。第１のビューについて、頂点７０８、７１０及び７１２から表面７００への距離は夫々矢印７０２、７０４及び７０６で示される。第２のビューについて、頂点７０８、７１０及び７１２から表面７００への距離は夫々矢印７１８、７１６及び７１４で示される。第２のビューにおける距離、即ち矢印の長さは、第１のビューにおける距離よりも短いことが明らかである。
【００３５】
図７Ｃは、３つの等値面（ｉｓｏｓｕｒｆａｃｅ）７１３、７１５及び７１７を示す図である。このような表面の全ての点は、対象の境界まで同じ距離を有し、即ち、
等値面７１５は対象境界
【００３６】
（外７）
等値面７１３は対象の外側に位置し、
【００３７】
（外８）
【００３８】
（外９）
【００３９】
符号付き距離関数ｕを計算するために、
【００４０】
（外１０）
【００４１】
（外１１）
【００４２】
（外１２）
【００４３】
（外１３）
【００４４】
（外１４）
【００４５】
（外１５）
【００４６】
【数１】
【００４７】
（外１６）
【００４８】
（外１７）
【００４９】
（外１８）
【００５０】
（外１９）
【００５１】
多数の奥行きマップを用いて、符号付き距離関数ｕはインクリメントして計算されえ、
【００５２】
（外２０）
【００５３】
（外２１）
【００５４】
（外２２）
【００５５】
（外２３）
【００５６】
（外２４）
【００５７】
符号付き距離関数は、任意の方向上の最も近い表面への距離として定義される（図７Ａ参照）。従って、
【００５８】
【数２】
【００５９】
点が、或るカメラ視点からみて、第１の対象境界の後ろである場合、式（１）から、符号付き距離に対する正の値を得る。しかしながら、点が対象の内側であるか後ろ側であるかは分からない。一方、
【００６０】
（外２５）
【００６１】
また、ｕを正の値から負の値へ変化させた場合でも、絶対値は両方のうちの小さい方であるべきである。
【００６２】
（外２６）
【００６３】
（外２７）
【００６４】
（外２８）
その他のとき ｓｉｇｎ（ｕ）＝−１ （３）
である。
【００６５】
これを表の形で表わすと、以下の通りである。
【００６６】
【表２】
即ち、
・確かに外側である領域。これは外側領域８０１と称される
・対象境界を含む領域。これは厚い壁の領域８０２と称される
・この視点から見たときに対象境界の後ろ側である領域。これは内側領域８０８と称される
を含む。
【００６７】
図８中、２つの測定が示されている。カメラ８００は対象を見ている。図８のＡでは、対象の表面は参照番号８０６で示されている。図８のＢでは、対象の表面は参照番号８１０で示されている。測定は、参照番号８０４で示される。図８のＡでは、内側領域８０８は表面８０６で囲まれた対象の後ろに延びる。他方、図８のＢは、内側領域８０８は対象の内側のどの点も含まなくともよいことを示す。すなわち、より大きい誤差範囲により、対象全体は厚い壁の領域に既に含まれている。
【００６８】
不確実性は、各頂点に不確実性間隔範囲に基づく領域値を割り当てることによって組み入れられうる。この領域は、符号付き距離関数の符号と同じようにして見つけられうる。領域値をインクリメントして更新する表は、以下の表に示される。
【００６９】
【表３】
【００７０】
セルの頂点に関する２種類の性質が特定される。即ち、奥行きの最尤値に関連する符号付き距離関数ｕと、奥行き不確実性間隔の範囲に関連する領域値である。符号付き距離関数は、セルの各頂点に対して、対象の最も近い表面への距離を定義する。領域値は、セルの頂点が全ての対象の外側にあるか、対象の内側にあるか、又は対象の境界を含む領域、いわゆる「厚い壁」の領域にあるかを特定することにより不確実性を扱うことを可能とする。領域値及び頂点についての符号付き距離関数値は、効率性のため１つの８分木に格納される。しかしながら、等しい構造の２つの別々の８分木に情報を格納することも可能である。
【００７１】
３次元表現を発生する手順は以下の通りである。
【００７２】
初期化中、操作を行うべきユニバースの境界が設定され、これは８分木の根である。最初に、初期構造中のセルの各頂点における符号付き距離関数は無限大に設定され、その領域値は「内側」に設定される。各奥行きマップに対して、以下の処理シーケンスが提供される。
・画像ｉに対して新しい奥行きマップｄｉ及び対応するカメラパラメータを読む。
・８分木中のセル頂点に対する値を更新する：
・８分木中の
【００７３】
（外２９）
【００７４】
（外３０）
・式（３）を用いてｕｋ及びｖｋから新しい最善の近似値を見つけることによりｕｋを更新する。
・各セルについて、一意性規準に従って分割される必要があるかどうかを調べる。その必要があれば、分割され、セル値の頂点が更新される。これは、分割される必要のあるセルがなくなるまで続けられる。
・最後に、全てのセル頂点について領域値を更新する。これは８分木の構造に影響を与えないため、これは全ての分割が行われた後になされうる。
【００７５】
図９は、再構成器９００をその前後関係で示す図である。その内側とその外側の間に境界９１４を有する対象９１６は、多数の方向から撮像される。対象の２次元画像（例えば９１２）は、各画素に対する奥行き値でラベル付けされる。再構成器９００は、これらの画像から対象９１６の三次元表現９０４を発生するよう構成される。再構成器９００は、三次元表現９０４を保持するためにセル（例えば９０３）の８分木９０２を含む。各セルは、頂点（例えば９０６及び９０８）と頂点を連結するエッジ（例えば９１０）を含む。
【００７６】
図１０は、
奥行きマップ発生器１００２と、
再構成器９００と、
レンダラー１００６と、
表示装置１００８と、
を含む画像表示装置１０００を示す。画像表示装置１０００の入力は、一連の画像である。これらの画像は、多数のステップで処理される。最初の奥行き画像は、例えば視差を用いて、これらの画像に対して生成される。奥行きマップは、撮像されたシーンの対象の三次元表現を生成するよう構成された再構成器９００へ入力される。入来する画像はこれらの対象を表わす。対象の三次元表現である再構成器９００の出力は、レンダラー１００６へ入力される。レンダラー１００６は、三次元表現から二次元画像を生成することが可能である。これらの生成された画像は、シーンを捕捉するカメラによっては元々は作られていないビューに対応しうる。生成された二次元画像は、表示装置１００８によって表示される。表示装置１００８は、通常の表示装置であってもよいが、僅かに異なる角度からビューを表わす画像の対又は群を表示することが可能な種類のもの、即ち、例えばレンチキュラースクリーンを有する立体表示装置及び「マルチスコピック」表示装置であってもよい。パフォーマンスのため、奥行きマップ発生器１００２、再構成器９００、及びレンダラー１００６は、シリコン上で実施されても良く、即ち専用ハードウエアであってもよい。パフォーマンスがあまり重要でない状況では、これらの３つの装置を実現するためにプログラマブルなハードウエアプラットフォームで十分であり得る。
【００７７】
尚、上述の実施例は本発明を制限するのではなく例示するものであり、当業者は請求の範囲を逸脱することなく他の実施例を構成することが可能であり得る。請求の範囲において、かっこ内に示された参照符号は請求の範囲を制限するものと理解されるべきではない。「含む」という後は、請求の範囲に記載された要素又は段階以外のものを排除するものではない。要素を単数形で記載した場合は、その要素が複数存在する場合を排除するものではない。本発明は、幾つかの別々の要素を含むハードウエアによって、及び、適当にプログラムされたコンピュータによって実施されうる。幾つかの手段を含む装置に関する請求項では、これらの手段のうちの幾つかは同一のハードウエア上で実施されうる。
【図面の簡単な説明】
【００７８】
【図１】４分木を概略的に示す図である。
【図２】セルを分割する処理を概略的に示す図である。
【図３】一意性規準を示す図である。
【図４】分割規準を示す図である。
【図５】現実の対象と奥行きマップとの間の関係を概略的に示す図である。
【図６】奥行きマップに基づいて頂点を分類する処理を概略的に示す図である。
【図７Ａ】符号付き距離関数を示す図である。
【図７Ｂ】頂点と対象の境界の間の距離を２つの異なるビューについて示す図である。
【図７Ｃ】３つの等値面を示す図である。
【図８】奥行き測定のために定義される領域を示す図である。
【図９】再構成器を示す図である。
【図１０】画像表示装置を示す図である。
Claims (13)
- 対象の三次元表現を保持するためのセルの８分木を作成することによって対象の複数の二次元画像から対象の三次元画像を生成する方法であって、
各セルは頂点を含み、セルの８分木は、８分木のセルを階層の次に低いレベルの更に小さいセルへ繰り返し分割する処理によって作成され、
特定のセルの分割処理は、特定のセルの頂点のうちのどれが対象の内側であり頂点のうちのどれが対象の外側であるかを調べることに基づいて終了されることを特徴とする方法。 - 特定のセルの頂点は、対象の内側の頂点を含む第１の集合と、対象の外側の頂点を含む第２の頂点とに分割され、前記第１の集合及び第２の集合は、
ゼロ個の頂点、
１つの頂点、又は、
１よりも多い頂点を含み、各頂点が一組のエッジによって同じ集合の各他の頂点に連結され、これらのエッジの夫々の両方の頂点が同じ頂点集合に属することを特徴とする、請求項１記載の方法。 - 特定のセルを分割する処理に対する第２の終了規準は、近傍のセルの頂点が対象の内側であるか外側であるかを調べることに基づくことを特徴とする、請求項２記載の方法。
- 近傍のセルが特定のセルよりも小さければ近傍セルの頂点が調べられることを特徴とする、請求項３記載の方法。
- 二次元画像から抽出された奥行きマップは、頂点が対象の内側であるか外側であるかを決定するための基礎として用いられることを特徴とする、請求項４記載の方法。
- 三次元表現を生成するために、特定のセルの頂点について、対象の境界への距離が計算されることを特徴とする、請求項５記載の方法。
- 三次元表現を生成するために、特定のセルの頂点について、対象の境界への距離が推定されることを特徴とする、請求項５記載の方法。
- 対象の複数の二次元画像から対象の三次元画像を生成するよう構成され、
対象の三次元表現を保持するためのセルの８分木を含み、各セルは頂点を含み、
８分木のセルを階層の次に低いレベルの更に小さいセルへ繰り返し分割する処理を実行することが可能な、再構成器であって、
特定のセルの分割処理を終了することを決定することが可能となるよう、特定のセルの頂点のうちのどれが対象の内側であり頂点のうちのどれが対象の外側であるかを調べるよう構成されることを特徴とする再構成器。 - 特定のセルの分割処理を終了することを決定することが可能となるよう、近傍のセルの頂点が対象の内側であるか外側であるかを調べるよう構成されることを特徴とする、請求項８記載の再構成器。
- 二次元画像から抽出された奥行きマップに基づいて頂点が対象の内側にあるか外側にあるかを決定するよう構成されることを特徴とする、請求項９記載の再構成器。
- 三次元表現を生成するために、特定のセルの頂点について、対象の境界への距離を計算するよう構成されることを特徴とする、請求項１０記載の再構成器。
- 三次元表現を生成するために、特定のセルの頂点について、対象の境界への距離を推定するよう構成されることを特徴とする、請求項１０記載の再構成器。
- 対象の複数の二次元画像から対象の三次元画像を生成するよう構成され、対象の三次元表現を保持するためのセルの８分木を含み、各セルは頂点を含み、８分木のセルを階層の次に低いレベルの更に小さいセルへ繰り返し分割する処理を実行することが可能な再構成器と、
三次元表現からに次元画像を生成するレンダラーと、
二次元画像を表示する表示装置とを含む、画像表示装置であって、
前記再構成器は、特定のセルの分割処理を終了することを決定することが可能となるよう、特定のセルの頂点のうちのどれが対象の内側であり頂点のうちのどれが対象の外側であるかを調べるよう構成されることを特徴とする、画像表示装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP01200911 | 2001-03-12 | ||
| PCT/IB2002/000248 WO2002073540A1 (en) | 2001-03-12 | 2002-01-28 | Generation of a three-dimensional representation from multiple images using octrees |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004521423A true JP2004521423A (ja) | 2004-07-15 |
Family
ID=8179997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002572119A Pending JP2004521423A (ja) | 2001-03-12 | 2002-01-28 | ８分木を用いた多数の画像からの３次元表現の生成 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20030001836A1 (ja) |
| EP (1) | EP1371021A1 (ja) |
| JP (1) | JP2004521423A (ja) |
| KR (1) | KR20030001483A (ja) |
| CN (1) | CN1459082A (ja) |
| WO (1) | WO2002073540A1 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007069726A1 (ja) * | 2005-12-16 | 2007-06-21 | Ihi Corporation | 自己位置同定方法と装置および三次元形状の計測方法と装置 |
| WO2007069721A1 (ja) * | 2005-12-16 | 2007-06-21 | Ihi Corporation | 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置 |
| WO2007069724A1 (ja) * | 2005-12-16 | 2007-06-21 | Ihi Corporation | 三次元形状データの位置合わせ方法と装置 |
| JP2008191072A (ja) * | 2007-02-07 | 2008-08-21 | Nippon Telegr & Teleph Corp <Ntt> | ３次元形状復元方法，３次元形状復元装置，その方法を実装した３次元形状復元プログラム及びそのプログラムを記録した記録媒体 |
| JP2008309671A (ja) * | 2007-06-15 | 2008-12-25 | Ihi Corp | 物体認識方法および装置 |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3468464B2 (ja) * | 2001-02-01 | 2003-11-17 | 理化学研究所 | 形状と物性を統合したボリュームデータ生成方法 |
| US20050075847A1 (en) * | 2001-07-11 | 2005-04-07 | Tomonori Yamada | Method for storing entity data in which shape and physical quantity are integrated and storing program |
| EP1431850B1 (en) | 2001-08-16 | 2010-07-14 | Riken | Ultra-precision machining method and device for heterogeneous material |
| EP1442869A4 (en) * | 2001-08-16 | 2008-12-24 | Riken | METHOD AND DEVICE FOR THE FAST MANUFACTURE OF PROTOTYPES USING V-CAD DATA |
| WO2003048980A1 (fr) * | 2001-12-04 | 2003-06-12 | Riken | Procede de conversion de donnees d'image tridimensionnelle en donnees de cellules interieures et programme de conversion |
| WO2003073335A1 (fr) * | 2002-02-28 | 2003-09-04 | Riken | Procede et programme de conversion de donnees frontieres en forme a l'interieur d'une cellule |
| JP4381743B2 (ja) * | 2003-07-16 | 2009-12-09 | 独立行政法人理化学研究所 | 境界表現データからボリュームデータを生成する方法及びそのプログラム |
| US7555163B2 (en) * | 2004-12-16 | 2009-06-30 | Sony Corporation | Systems and methods for representing signed distance functions |
| JP4783100B2 (ja) * | 2005-09-12 | 2011-09-28 | 独立行政法人理化学研究所 | 境界データのセル内形状データへの変換方法とその変換プログラム |
| US8401264B2 (en) * | 2005-12-08 | 2013-03-19 | University Of Washington | Solid modeling based on volumetric scans |
| US8638328B2 (en) * | 2007-01-05 | 2014-01-28 | Landmark Graphics Corporation | Systems and methods for visualizing multiple volumetric data sets in real time |
| KR20090076412A (ko) * | 2008-01-08 | 2009-07-13 | 삼성전자주식회사 | 모델링 방법 및 장치 |
| KR100964029B1 (ko) * | 2008-02-13 | 2010-06-15 | 성균관대학교산학협력단 | 다중해상도 옥트리 기반의 3차원 물체 또는 환경 표현방법 |
| CA2723381C (en) * | 2008-06-06 | 2017-02-07 | Landmark Graphics Corporation, A Halliburton Company | Systems and methods for imaging a three-dimensional volume of geometrically irregular grid data representing a grid volume |
| KR101686169B1 (ko) * | 2010-02-09 | 2016-12-14 | 삼성전자주식회사 | 옥트리 기반의 3차원 맵 생성 장치 및 방법 |
| KR101223940B1 (ko) * | 2010-03-18 | 2013-01-18 | 성균관대학교산학협력단 | 다중해상도의 옥트리 구조에서 임의의 거리로 떨어진 두 셀들 간의 이웃관계 판별방법 |
| CN104115496A (zh) * | 2012-02-09 | 2014-10-22 | 汤姆逊许可公司 | 基于八叉树分解的三维模型的高效压缩 |
| EP2660781A1 (en) * | 2012-05-03 | 2013-11-06 | Alcatel Lucent | Three-dimensional model generation |
| CN103679806B (zh) * | 2013-12-19 | 2016-06-08 | 北京北科光大信息技术股份有限公司 | 自适应可视外壳生成方法及装置 |
| KR102146398B1 (ko) * | 2015-07-14 | 2020-08-20 | 삼성전자주식회사 | 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법 |
| CA3214444A1 (en) * | 2016-04-12 | 2017-10-19 | Quidient, Llc | Quotidian scene reconstruction engine |
| WO2017200527A1 (en) * | 2016-05-16 | 2017-11-23 | Hewlett-Packard Development Company, L.P. | Generating a shape profile for a 3d object |
| WO2019213450A1 (en) | 2018-05-02 | 2019-11-07 | Quidient, Llc | A codec for processing scenes of almost unlimited detail |
| JP7195073B2 (ja) * | 2018-07-10 | 2022-12-23 | 古野電気株式会社 | グラフ生成装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4719585A (en) * | 1985-08-28 | 1988-01-12 | General Electric Company | Dividing cubes system and method for the display of surface structures contained within the interior region of a solid body |
| US5345490A (en) * | 1991-06-28 | 1994-09-06 | General Electric Company | Method and apparatus for converting computed tomography (CT) data into finite element models |
| US6563499B1 (en) * | 1998-07-20 | 2003-05-13 | Geometrix, Inc. | Method and apparatus for generating a 3D region from a surrounding imagery |
-
2002
- 2002-01-28 WO PCT/IB2002/000248 patent/WO2002073540A1/en not_active Application Discontinuation
- 2002-01-28 EP EP02715647A patent/EP1371021A1/en not_active Withdrawn
- 2002-01-28 JP JP2002572119A patent/JP2004521423A/ja active Pending
- 2002-01-28 CN CN02800612A patent/CN1459082A/zh active Pending
- 2002-01-28 KR KR1020027015182A patent/KR20030001483A/ko not_active Application Discontinuation
- 2002-03-08 US US10/094,122 patent/US20030001836A1/en not_active Abandoned
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4650750B2 (ja) * | 2005-12-16 | 2011-03-16 | 株式会社Ｉｈｉ | 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置 |
| JP4650752B2 (ja) * | 2005-12-16 | 2011-03-16 | 株式会社Ｉｈｉ | 自己位置同定方法と装置および三次元形状の計測方法と装置 |
| WO2007069724A1 (ja) * | 2005-12-16 | 2007-06-21 | Ihi Corporation | 三次元形状データの位置合わせ方法と装置 |
| US8300048B2 (en) | 2005-12-16 | 2012-10-30 | Ihi Corporation | Three-dimensional shape data recording/display method and device, and three-dimensional shape measuring method and device |
| US8121399B2 (en) | 2005-12-16 | 2012-02-21 | Ihi Corporation | Self-position identifying method and device, and three-dimensional shape measuring method and device |
| JPWO2007069721A1 (ja) * | 2005-12-16 | 2009-05-28 | 株式会社Ihi | 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置 |
| WO2007069721A1 (ja) * | 2005-12-16 | 2007-06-21 | Ihi Corporation | 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置 |
| JPWO2007069724A1 (ja) * | 2005-12-16 | 2009-05-28 | 株式会社Ihi | 三次元形状データの位置合わせ方法と装置 |
| JP4650751B2 (ja) * | 2005-12-16 | 2011-03-16 | 株式会社Ｉｈｉ | 三次元形状データの位置合わせ方法と装置 |
| WO2007069726A1 (ja) * | 2005-12-16 | 2007-06-21 | Ihi Corporation | 自己位置同定方法と装置および三次元形状の計測方法と装置 |
| JPWO2007069726A1 (ja) * | 2005-12-16 | 2009-05-28 | 株式会社Ihi | 自己位置同定方法と装置および三次元形状の計測方法と装置 |
| US8116558B2 (en) | 2005-12-16 | 2012-02-14 | Ihi Corporation | Three-dimensional shape data position matching method and device |
| JP2008191072A (ja) * | 2007-02-07 | 2008-08-21 | Nippon Telegr & Teleph Corp <Ntt> | ３次元形状復元方法，３次元形状復元装置，その方法を実装した３次元形状復元プログラム及びそのプログラムを記録した記録媒体 |
| JP2008309671A (ja) * | 2007-06-15 | 2008-12-25 | Ihi Corp | 物体認識方法および装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2002073540A1 (en) | 2002-09-19 |
| CN1459082A (zh) | 2003-11-26 |
| US20030001836A1 (en) | 2003-01-02 |
| KR20030001483A (ko) | 2003-01-06 |
| EP1371021A1 (en) | 2003-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004521423A (ja) | ８分木を用いた多数の画像からの３次元表現の生成 | |
| JP6321106B2 (ja) | 現実環境内にバーチャルオブジェクトを描写する方法および装置 | |
| US7961934B2 (en) | Probable reconstruction of surfaces in occluded regions by computed symmetry | |
| US6952204B2 (en) | 3D computer modelling apparatus | |
| EP0559978B1 (en) | Image processing method | |
| US6476803B1 (en) | Object modeling system and process employing noise elimination and robust surface extraction techniques | |
| JP2021534495A (ja) | ビデオデータを使用するオブジェクトインスタンスのマッピング | |
| Aharchi et al. | A review on 3D reconstruction techniques from 2D images | |
| JP5133418B2 (ja) | 現実環境内にバーチャルオブジェクトを描写する方法および装置 | |
| JP2008123019A (ja) | ３次元サーフェス生成方法 | |
| WO2005052863A2 (en) | Method and system for distinguishing surfaces in 3d data sets ('dividing voxels') | |
| Siudak et al. | A survey of passive 3D reconstruction methods on the basis of more than one image | |
| Rothermel et al. | A median-based depthmap fusion strategy for the generation of oriented points | |
| US20230107740A1 (en) | Methods and systems for automated three-dimensional object detection and extraction | |
| Hielsberg et al. | Visibility-based urban exploration and learning using point clouds | |
| Behmann et al. | Probabilistic 3d point cloud fusion on graphics processors for automotive (poster) | |
| Hastürk | Real time dense SLAM in unstructured dynamic cluttered 3D environments | |
| JP2002366935A (ja) | ボリュームデータの生成方法および装置並びにコンピュータプログラム | |
| Mao et al. | A-OctoMap: An Adaptive OctoMap for Online Motion Planning | |
| Funk et al. | Infinite 3D Modelling Volumes. | |
| Aung et al. | 3D Foreground Point Segmentation from Background using Centroid-based Min-Cut Method | |
| Bro-Nielsen | 3D models from occluding contours using geometric primitives | |
| CN117036642A (zh) | 一种网格碰撞检测方法、装置及电子设备 | |
| Armenise | Estimation of the 3D Pose of objects in a scenecaptured with Kinect camera using CAD models | |
| Denker | Acquisition and On-line Reconstruction of 3D Point Data from Hand-held Laser Scanners and Multi-camera Stereo-matching |