JP2002520969A - 動き画像からの自動化された３次元シーン走査方法 - Google Patents

Abstract

(57)【要約】 動き画像から対象の完全にテクスチャリングされた３次元モデルを自動的に発生するシステムが開示される。システムは、顕著な特徴の演算子を用いて、検出された顕著な特徴に基づいて動き画像中の顕著な特徴を追跡する。特徴追跡マップは、追跡される顕著な特徴を含む特徴ブロックを構成するために使用され、各特徴ブロックは、透視法カメラ動き推定プロセスに対する解を与えるよう制御されるカメラ動き推定プロセスへの入力として与えられ、メッシュモデルを発生するために使用される稠密点が抽出される。最後に、メッシュモデルは動き画像に対してテクスチャリングされ、それにより完全にテクスチャリングされた３次元モデルが生成される。

Description

【発明の詳細な説明】

【０００１】 ［関連出願に対する相互参照］ 本願は、ここに参照として組み入れられる１９９８年７月２０日出願の「Scen
e Scanning Apparatus and Methods」なる名称の米国仮特許出願第６０／０９３
，４９２号に対して優先権を主張する。

【０００２】 ［発明の背景］ ［発明の属する技術分野］ 本発明は概して画像に基づく動き推定及び検出システムに関連し、更に特定的
にはビデオ撮像システムによって生成される動き画像から３次元シーンをモデリ
ングする方法及びシステムに関する。

【０００３】 ［関連技術の説明］ シーンの多数の画像からシーンの３次元（３Ｄ）構造を決定する問題は、写真
測量法の分野における重要な流れであり、これに対する解法は１８００年代後半
から利用可能であった（Atkinson, K. B.,"Instrumentation For Non-Topograph
ic Photogrammetry"; American Society for Photogrammetry and Remote Sensi
ng; 1989参照）。簡単に言えば、３次元空間において選択された制御点の位置を
決定するために、その点が６度の自由度で正確に既知の２つのカメラ位置から撮
像された少なくとも２つの写真中で正確且つはっきりと位置が決定されうる場合
は、リセクション法や交点測量法といった視差に基づく三角測量技術が使用され
うる（Williamson, James R., and Brill, Michael H; "Dimensional Analysis
Through Perspective"; Kendall/Hunt Publishing; 1990参照）。歴史的に、制
御点は、１つの画像中の顕著な視覚特徴を選択すること、及び他の画像中の同じ
特徴を手動選択することによってユーザによって決定される。プロセスは非常に
労働集約的である。

【０００４】 多数のカメラ位置と各画像間の多数の特徴対応の網を用いることにより、多く
の選択された制御点の３Ｄ位置を決定するために一連の連立式を解くことができ
る。カメラ位置が既知であれば、式は線形であり、カメラ位置が未知であれば、
式は非線形である。非線形の場合は多くの計算を必要とし、精密さの誤差及び安
定性の問題を生じやすい。非線形の場合は、解が収束するためには、少なくとも
幾つかのカメラパラメータの最初の近似が必要である（McGlone, Chris J; "Ana
lytic Data Reduction Schemes In Non-Topographic Photogrammetry"; America
n Society for Photogrammetry and Remote Sensing; 1989参照）。様々な写真
測量問題を解決するために、高価な軍事用パッケージから、米国テネシー州Eliz
abethtonの3D Construction Company製の"3D Builder"及びカナダ国ブリティッ
シュコロンビア州VancouverのEos Systems社製の"Photomodeler"といった近年の
消費者向け価格のデスクトップ製品に至るまで様々なソフトウエアパッケージが
市販されている（Ruther, H.; "An Overview of Software In Non-Topographic
Photogrammetry" American Society for Photogrammetry and Remote Sensing;
1989参照）。

【０００５】 視覚特徴は異なる視角からは異なって見え、コンピュータに基づくマッチング
技術は広く異なったビューでは建物の隅といった特徴を認識するのに十分に洗練
されたものではないため、少数のカメラ位置を用いて特徴対応付けプロセスを強
固に自動化するには曖昧さがありすぎる。

【０００６】 従って、一連のビデオフレームから３次元構造及びカメラの動きを自動的に決
定する必要がある。自動化された写真測量法の分野では多くの努力がなされてき
た。その多くは、１９９０年論文（Debrunner, Christian Hans; "Structure an
d Motion From Long Image Sequences"; Ph. D. Thesis; University of Illino
is, 1990参照）で最初に提案されたいわゆる「動き分解（ファクトライゼーショ
ン）」方法を用いたものである。アプローチは、制御点データの大きいマトリッ
クスをカメラ動きマトリックス及びシーン構造マトリックスへ分解するために特
異値分解を使用する。ビデオの幾つかのフレームが解析された後、シーンの３次
元構造のかなりの近似が形成されはじめ、これは新しいビデオフレームが受信さ
れるたびに特異値分解を増分的に再計算することによりシステム雑音の限界を改
善させる。しかしながら、動きファクトライゼーションアプローチは、幾つかの
欠点を有する。

【０００７】 （１）ファクトライゼーションは、ファクトライゼーションマトリックスを完
全に埋めるために各可視特徴がビデオシーケンス中の各フレーム間で対応付けら
れることを必要とする。これは、一般的にはカメラの最大の動きを厳しく制限し
、対象の全ての面を含む単一の３次元モデルを発生するためのアプローチを用い
ることを困難とする。また、画像シーケンスの全てのフレーム間で対応付けられ
ることができない全ての視覚特徴が対応付けられないため、抽出されるポリゴン
メッシュの密度を制限する。

【０００８】 （２）ファクトライゼーションは、単一の誤って追跡された特徴でさえ抽出さ
れた３次元構造全体をかなり変更しうるため、特徴追跡誤りに対する感度が高い
。これは、ファクトライゼーションを画像シーケンス中の最も顕著な特徴につい
てのみ使用されるよう制限し、まばらな３次元点の雲を生じさせる。

【０００９】 （３）ファクトライゼーションは、制御された実験証明外のかなりの誤りを導
入しうるかなりのカメラモデル近似及び仮定（例えば正投影、弱い透視又は疑似
透視投影）を含む。真の透視投影を用いたファクトライゼーションは非線形であ
り、しばしば収束しないため、殆どのファクトライゼーションは弱い透視を用い
る。弱い透視は、対象がカメラへの距離に対して非常に小さい奥行きを有する場
合、即ち実際の対象が理想的に無限遠に或る場合にのみ近似されうる状態の場合
にのみ、対象の正しい形状を生じさせる。

【００１０】 ファクトライゼーションプロセスは、興味深いアプローチであり、自動化され
た写真測量法における解法の１つを提供する。それでもなお、仮定と条件は制限
が厳しすぎ、多くの実際の適用について非現実的なものである。従って、上述の
制限が克服されたときに、ファクトライゼーションプロセスは実際的な解法を与
えるために使用されうる。

【００１１】 ［発明の概要］ 本発明は、一連の動き画像から対象の完全にテクスチャリングされた３次元モ
デルを自動的に発生する技術に関連する。本願に記載される本発明によって用い
られる３次元モデリングシステムは、単純な人工部分から自然の情景まで広い範
囲の３次元対象又は目標をモデリングするために使用されうる。

【００１２】 本発明の１つの面によれば、動き画像は、ビデオカメラ又は対象の周りを又は
対象に対して徐々に動かされるスチル写真カメラを用いて発生される。顕著な特
徴の演算子は、最初の画像又は追跡されている間に幾らかの特徴を失ったように
見える画像に対して適用される。抽出された顕著な特徴を用いて、これらの顕著
な特徴の追跡は、各顕著な特徴のために発生された多解像度特徴構造を用いて実
行される。

【００１３】 本発明の他の面によれば、特徴追跡マップを用いて特徴ブロックが構築され、
夫々が帰還補正システムに用いられるファクトライゼーションプロセスへの入力
として与えられる。ファクトライゼーションプロセスは正投影条件下で作用する
ため、ファクトライゼーションプロセスからの結果は、正投影をエミュレートす
るために特徴の画像位置を調整するために再帰的に使用され、それにより完全な
動きを得るために一緒にされる有効なカメラ動きセグメントが導出される。再帰
的帰還フレームワークに埋め込まれる正投影ファクトライゼーションを用いるこ
とにより、正確なカメラの動き及び真の透視法カメラからの３次元点を得る機構
が提供される。

【００１４】 本発明の他の面により、非線形最適化法といった大局最適化技術を用いて、得
られたカメラの動きによる３次元点の３次元座標が精密にされ、それにより元の
場所に対する逆投影誤差が最小化される。

【００１５】 本発明の他の面によれば、複数の稠密点が検出され、これらの稠密点の拡張的
な検出を回避し偽の一致を減少させるため、エピポーラ線及びカメラの動きにつ
いての知識による制約を用いて追跡される。次に、稠密点の３次元位置がトライ
アンギュレーションによって推定される。最後に、３次元Ｄｅｌａｕｎａｙトラ
イアンギュレーションを計算することによって稠密点の上にメッシュモデルが構
築される。

【００１６】 本発明の他の面によれば、メッシュモデルのためにテクスチャマッピングを発
生するとき、一般的に使用される画像ファイルフォーマットでメッシュモデルを
一緒にするパッチをエクスポートする機構が設けられる。パッチは、画像処理ア
プリケーションによって続いて独立に変更されうる。本願に記載されるテクスチ
ャマッピングプロセスは、殆どのコンピュータシステムにおいて一般的にグラフ
ィックス・アクセラレータ・アーキテクチャを利用するよう実施されうる。モニ
タのためのバッファではなくメモリ中のバッファに入れるためにアクセラレータ
・アーキテクチャをリダイレクトすることにより、テクスチャのより効率的なマ
ッピングが得られ、それによりシステム全体のより高い性能が得られる。

【００１７】 本発明は、様々な方法で実施されえ、例えば膨大な知識、多くの労働力、高価
な機器を必要とせずに対象の完全にテクスチャリングされた３次元モデルを自動
的に発生する方法、システム、及びプログラムコードを含むコンピュータ読み取
り可能な媒体を含む。本発明は多くの利点を有する。様々な実施例又は実施は、
以下の独自の利点及び利益のうちの１つ又はそれ以上を与えうる。

【００１８】 本発明の重要な利点及び利益のうちの１つは、画像のシーケンス中の顕著な特
徴を追跡するために効率的な特徴抽出及び追跡機構を用いることである。特徴抽
出機構は、画像強度／色の３次元解釈に基づいて顕著な特徴を正確且つ偏らずに
位置を見つけるために顕著な特徴の演算子を用いる。追跡機構は、有効に大きい
探索領域を与える多解像度特徴機構を用い、それにより全ての顕著な特徴の正確
な位置が追跡される。追跡機構は、特徴の透視歪み又は他の視点変化を扱い、必
要なときに失われた特徴を再び捕捉し、十分な特徴対応を維持しつつ冗長な入力
データを減少させるために高いレートのビデオフレームを完全に適応的に間引き
することが可能である。

【００１９】 本発明の他の重要な利点及び利益は、正投影図の下でファクトライゼーション
アプローチを使用することである。帰還システムは、ファクトライゼーションア
プローチが実際的且つ正確な解法を与えるよう透視法カメラモデルを反復的に「
修正」することにより正投影カメラモデルをエミュレートする。

【００２０】 本発明の他の利点、利益、目標、及び特徴は、上述のものと共に、以下の説明
により本発明を実施することにより得られ、添付の図面に示される実施例が得ら
れる。

【００２１】 ［望ましい実施例の詳細な説明］ 本発明の上述及び他の特徴、面、及び利点は、以下の説明、請求の範囲、及び
添付の図面によりより良く理解されよう。

【００２２】 ［表記及び術語］ 以下の本発明の詳細な説明において、本発明の完全な理解のために様々な特定
的な細部が説明される。しかしながら、当業者によれば、本発明はこれらの特定
的な細部なしに実施されうることが明らかとなろう。本発明の面を不必要に不明
瞭とすることを防止するため、他の例、周知の方法、手順、構成要素、及び回路
については詳述しない。

【００２３】 以下の本発明の詳細な説明は、計算装置におけるデータ処理に似たプロシジャ
、ステップ、論理ブロック、処理、及び他の記号表現で示される。これらのプロ
セスの記述及び表現は、当業者が他の当業者に対して作業の要旨を最も有効に伝
えるために使用される手段である。方法は以下詳述されるシステム及びコンピュ
ータ読取り可能な媒体と共に、所望の結果を導く自己矛盾のない一連のプロセス
又はステップである。これらのステップ又はプロセスは、物理的な量の物理的な
操作を必要とするものである。通常、必ずしもそうである必要はないが、これら
の量はコンピュータシステム又は電子計算装置において記憶、転送、組合せ、比
較、表示、及び他の操作がされることが可能である。これらの信号を、ビット、
値、要素、シンボル、演算、メッセージ、項、番号等として参照することは、場
合によって、特に共通の使用のために便利である。これらの同様な用語の全ては
、適当な物理的な量に関連付けられ、これらの量には単に都合のよいラベルが適
用されていることを考慮すべきである。以下の説明において明記されない限り、
本願を通じて、「処理」又は「計算」又は「照合」又は「比較」といった用語を
用いる説明は、計算装置のアクション及びプロセスのうち、計算装置のレジスタ
及びメモリ内で物理的な量として表わされるデータを、計算装置又は他の電子装
置内で物理的な量として同様に表わされる他のデータへ操作及び変換するものを
示すものとする。

【００２４】 ［システム概観及び画像捕捉］ ここで図面を参照するが、幾つかの図中、同様の参照番号は同様の部分を指す
者とする。図１は、本発明が実施されうるシステム１００を示す図である。対象
１０２は、一般的には大きく、撮像中は回転されるターンテーブル上に載せるこ
とが載せることができないものである。対象は、自然の情景、地形、人工建造物
及び部分といったものを含むが、これらに限られるものではない。かかる対象を
撮像するため、ユーザ又は操作者は、カメラ又はイメージャを持ち運び、ビデオ
フレームの形式の画像のシーケンス、又は、イメージャを対象の周りで又は対象
に対して相対的に動かすことによって画像のシーケンスを生成する。例えば、都
市部の地形の特定の領域がモデリングされねばならない場合は、イメージャは飛
行する輸送手段に取り付けられる。特定の領域の画像のシーケンスは、このよう
に飛行する輸送手段が都市部の地形上を飛行するときに発生される。

【００２５】 本発明の説明を容易とするため、対象１０２は建築物（例えば図中は塔）であ
ると想定する。従って、ユーザ又は操作者は対象１０２の周りを歩いて、対象１
０２の周囲ビューを与える画像のシーケンスを生成することができる。イメージ
ャ１０４は、周囲画像を発生する間、その焦点距離が固定の既知の位置に設定さ
れることが望ましいビデオカメラでありうる。イメージャ１０４は、フレームグ
ラバーを含むコンピュータシステム１０６に結合される。フレームグラバーは、
イメージャ１０４から受信される各ビデオフレームをディジタル化し、一般的に
は共通に用いられる色フォーマット、座標、又は空間であるディジタル画像のシ
ーケンスＣ₁，Ｃ₂,..Ｃ_Nを生成する。共通に用いられる色空間のうちの１つは、
ＲＧＢ色空間であり、その場合、各画像色ピクセルはベクトルＣ（ｉ，ｊ）＝［
Ｒ（ｉ，ｊ），Ｇ（ｉ，ｊ）Ｂ（ｉ，ｊ）］^Tとして表わされ、但し、（ｉ，ｊ
）は画像ピクセルＣ（ｉ，ｊ）の座標であり、Ｒ、Ｇ、Ｂは色画像Ｃ中の夫々の
３つの強度画像である。

【００２６】 Ｒ、Ｇ、Ｂ色画像データ表現は、或る所望の計算については必ずしも最善の色
空間ではなく、或る目的又は他の目的のために特に有用な他の多くの色空間があ
る。これらのうちの１つは、色画像からの色相、強度、彩度の分離を容易とする
ＨＩＳ（色相、強度、彩度）表現である。ＨＩＳと同様の特徴を有しうる他の可
能な座標は、Ｌｕ＊ｖ＊及びＬａ＊ｂ＊を含みうる。本発明の説明を容易とする
ため、以下の実施例では、コンピュータシステム１０６はＲＧＢ空間の形式で色
画像を受信するものと想定する。説明では当業者に対してコンピュータシステム
１０６がＲＧＢ形式の画像以外のものを受信したことを明らかとする。

【００２７】 コンピュータシステム１０６は、デスクトップコンピュータ、ラップトップコ
ンピュータ、又はスタンドアロン形態型装置を含むコンピュータシステムであっ
てもよいが、これらに限られるものではない。図１Ｂは、コンピュータシステム
１０６の望ましい内部構造を示すブロック図である。図１Ｂに示されるように、
コンピュータシステム１０６は、データバス１２０にインタフェース接続された
中央処理装置（ＣＰＵ）１２２とデバイスインタフェース１２４と含む。ＣＰＵ
１２２は、同期された動作のためにデータバス１２０に結合される全てのデバイ
ス及びインタフェースを管理するよう或る命令を実行し、デバイスインタフェー
ス１２４は撮像システム１０８といった外部デバイスに結合されてもよく、それ
により外部デバイスからの画像データはデータバス１２０を通じてメモリ又は記
憶装置に受信される。データバス１２０にはまた、ディスプレイインタフェース
１２６、ネットワークインタフェース１２８、プリンタインタフェース１３０、
及びフロッピーディスクドライブインタフェース１３８がインタフェース接続さ
れる。一般的に、本発明の１つの実施例のコンパイルされリンクされたバージョ
ンは、フロッピーディスクドライブインタフェース１３８、ネットワークインタ
フェース１２８、デバイスインタフェース１２４、又はデータバス１２０に結合
される他のインタフェースを通じて記憶装置１３６にロードされる。

【００２８】 ランダムアクセスメモリ（ＲＡＭ）といったメインメモリ１３２もまた、デー
タバス１２０にインタフェース接続され、ＣＰＵ１２２に命令を与え、メモリ記
憶装置１３６に対するデータ及び他の命令についてのアクセスを与える。特に、
本発明のコンパイルされリンクされたバージョンといった記憶されたアプリケー
ションプログラム命令を実行するとき、所望の結果を達成するためにＣＰＵ１２
２によって画像データが操作される。ＲＯＭ（読出し専用メモリ）１３４は、存
在するのであれば、キーボード１４０、ディスプレイ１２６、及びポインティン
グデバイス１４２の動作のための基本入出力動作システム（ＢＩＯＳ）といった
不変の命令シーケンスを記憶するために設けられる。

【００２９】 ［特徴抽出及び追跡］ 本発明の特徴のうちの１つは、画像シーケンス中の最も顕著な特徴のみを抽出
及び追跡し、イメージャの動きを自動的に生じさせるためにこれらを用いる自動
的な機構を提供する。本発明で用いられる特徴は、１つのフレームと隣接するフ
レームとの間で少なくとも変更され、画像中で最も正確に配置されうる、例えば
各画像フレームの例えば顕著なコーナー状の特徴である。

【００３０】 特徴抽出及び追跡のプロセスを加速させるため、本発明は、最初の画像又は追
跡さえる特徴のうちの幾つかを失ったように見える画像においてのみ特徴を検出
するために顕著な特徴の演算子を用いる。顕著な特徴の演算子が与えられた画像
に続く画像については、本発明は顕著な特徴の演算子によって検出される特徴に
対応する特徴を確立するために多解像度階層特徴追跡を用いる。

【００３１】 １つの実施例によれば、抽出されるべき顕著な特徴は、一般的には画像中のコ
ーナー状の特徴である。図３は、白領域２０４及び暗領域２０６を含む強度画像
２００の３次元的な図面２０２を示す。図面２０２は、白領域２０４に対応する
隆起した段部２０８と、暗領域２０６に対応する平坦な面２１０とを示す。コー
ナー２１２は、その位置変化が最も正確に決定されえ、１つのフレームと次のフ
レームとの間で一般的にあまり影響を受けない、関心となる顕著な特徴である。

【００３２】 顕著な特徴の検出処理は、画像中の全ての顕著な特徴を検出するよう設計され
る。顕著な特徴の検出処理は、画像中の顕著な特徴を検出するために画像に対し
て特徴検出演算子を適用する。１つの実施例によれば、画像Ｉ上の特徴検出演算
子又は特徴演算子Ｏ（Ｉ）は、局部領域に対して行われるラプラシアン演算子に
基づく画像の局部領域のＨｅｓｓｉａｎマトリックスの関数である。特定的には
、顕著な特徴の演算子Ｏ（Ｉ）は、 Ｉ_f＝Ｏ（Ｉ）＝Ｄｅｔ［Ｈ（Ｉ）］−λＧ（Ｉ） によって与えられ、式中、Ｉ_fは、結果として、Ｏ（Ｉ）による顕著な特徴の検
出から生ずる特徴画像として定義される。Ｄｅｔ（）はマトリックスＨの行列式
であり、λは制御可能な拡大・縮小の定数であり、 Ｇ（Ｉ）＝Ｉｘｘ＋Ｉｙｙ である。Ｈｅｓｓｉａｎマトリックスは、以下の式、

【００３３】

【数１】 によって表わすことができ、ｘは水平方向、ｙは垂直方向を表わし、２次導関数
は、

【００３４】

【数２】 であり、Ｉ_sは一般的には１１×１１乃至１５×１５ピクセルの寸法の２次元ガ
ウスカーネルによる画像畳込みを実行することによる画像Ｉの平滑化された変形
である。

【００３５】 本願に記載される顕著な特徴の演算子の１つの固有の特徴は、図３中の２１４
、２０８及び２１０といったエッジ又は均質の領域を抑制しつつ、２１２といっ
たコーナー状の領域のみを強調することが可能であることである。画像Ｉが顕著
な特徴の演算子によって処理された後、顕著な画像Ｉ_fの局部的な最大が抽出さ
れ、これは顕著な特徴に対応する。一般的には、画像Ｉは、ＨＩＳ色空間中の強
度成分又は元の色画像から導出されるルミナンス成分でありうる強度画像である
。

【００３６】 一般的に、各顕著な特徴は、１１×１１又は１３×１３の画像テンプレートと
いったテンプレートとして表わされる。顕著な特徴のテンプレートの特性又は属
性は、画像中の特徴の位置、色情報、及びその強さを含みうる。位置は、検出さ
れた顕著な特徴又はテンプレートが画像中のどこに配置されるかを示し、これは
一般的には座標（ｉ，ｊ）によって表わされる。色情報は、（ｉ，ｊ）を中心と
するテンプレートの色情報を有しうる。強さは、顕著な特徴がどれだけ強く抽出
又は計算されるかを示す情報Ｉ_f（ｉ，ｊ）を含む。

【００３７】 動作上、イメージャから順次に受信されるＮの色画像がある。各色画像は受信
されると、まず、ルミナンス又は強度成分がクロミナンス成分から分離されうる
色空間へ変形される。当業者によって理解されるように、色画像変換は、元の画
像が特徴抽出プロセスに適さない形式で表わされている場合にのみ必要とされる
。例えば、多くの色画像はＲＧＢ中にあり、従って望ましくはルミナンス成分が
画像中へ統合されうる色空間へ変形される。上述の特徴演算子は、ルミナンス成
分に適用され、望ましくはインデックス付けされ複数のテンプレートとしてテー
ブル中に保持される複数の顕著な特徴を生成する。各テンプレートは、各特徴の
特性又は属性を記録しうる。

【００３８】 Ｎの色画像が処理されると、夫々が複数の顕著な特徴を含むＮの対応する特徴
テーブルが得られる。テーブルは、本願では特徴追跡マップと称されるマップと
して整理され、これは各特徴が１つのフレームと他のフレームの間でどのように
移動するかを検出するために使用されうる。

【００３９】 望ましい実施例では、追跡のための特徴を抽出するために多解像度階層特徴構
造が用いられる。特定的には、図４は２つの連続する画像４０２及び４０４がイ
メージャ１０４から連続的に受信されることを示す。画像４０２に対して顕著な
特徴の演算子が適用された後、１つの特徴４０６が検出され、その特性が記録さ
れると想定する。第２の画像４０４が入来すると、画像からの多解像度階層画像
ピラミッドが発生される。

【００４０】 図４Ｂは、画像４０４中の特徴４６０を抽出するための例としての多解像度階
層特徴構造４０８を示す図である。画像構造４０８中には、多数の画像レイヤ４
１０（例えばＬ個のレイヤ）がある。各画像レイヤ４１０は、特徴の位置の周り
の間引きプロセスによって元の画像４０４から順次に発生される。例えば、レイ
ヤ４１０−Ｌはレイヤ４１０−（Ｌ−１）を間引きすることによって発生される
。間引き率は、一般的には定数であり、望ましくは２である。画像４０２中で見
つけられる特徴の特性が所与であり、２つの画像２０４及び４０４が２つの連続
する画像であることがわかっている場合、画像４０４中の特徴及びその位置４０
５は大きく変更されない。従って、特徴についての近似的な探索領域が第２の画
像中で画成され、特徴の元の位置を中心とする。更に特定的には、特徴４０６が
画像４０２中の座標（１５２，２３４）に配置される場合、同じ特徴について探
索するためのウィンドウは、画像４０４中の（１５２，２３４）を中心とする方
形として画成される。

【００４１】 ウィンドウの寸法が所定であるがイメージャの動きがわからなければ、特徴が
所定の探索ウィンドウから逸脱し、特徴が失われる場合がある。１つの直感的な
アプローチは、探索ウィンドウを拡大し、特徴がウィンドウの中で検出されうる
ようにすることである。しかしながら、ウィンドウの寸法が拡大されるにつれ、
処理時間は２次式的に比例的に増加する。１つの画像中で抽出されるべき特徴が
数十個又は数百個ある場合、特徴抽出及び追跡プロセスは、計算的に非常に高価
なものとなる。

【００４２】 多解像度階層特徴構造４０８は、処理時間を増加させることなく、探索される
特徴が所定の探索ウィンドウから逸脱した場合でも探索される特徴が抽出されう
ることを示す。レイヤ４１０の番号が大きくなるにつれ、各レイヤ４１０の解像
度は低下する。換言すれば、探索ウィンドウの寸法が同じに維持されるとき、探
索領域は本質的に拡大される。図示されるように、探索ウィンドウ４１２は、レ
イヤ４１０−Ｌではレイヤ４１０−（Ｌ−１）と比較してより大きい領域を覆う
。動作上、レイヤ４１０−Ｌは、まず探索ウィンドウ４１２内の特徴の近似され
た位置を見つけるために使用される。連続する画像中で対応する機能の場所を見
つけるための利用可能な一つの方法は、テンプレートマッチングプロセスである
。テンプレートは、一般的には顕著な特徴の演算子によって抽出される元の特徴
の位置を中心とする方形の画像領域（１１×１１乃至１５×１５）として画成さ
れる。次に、２つの対応する画像領域の正規化された相互相関が最大である（望
ましくは完全に一致する場合に「１」である）場所において、一致についての対
応するサブピクセル精度の場所が見つけられる。レイヤ４１０−（Ｌ−１）は、
同一のウィンドウ寸法の最も近い領域内の特徴の近似された位置を良くするため
に用いられ、最後に、レイヤ４１０は特徴の正確な位置（ｘ，ｙ）を正確に決定
するために使用される。特徴構造を用いることは、従来技術の特徴抽出アプロー
チに対して多くの利点を有することが認識される。本質的には、特徴テンプレー
トの効果的により大きい表現が達成され、これは特徴を効果的且つ正確に追跡す
ることを可能とし、階層追跡機構に直接的に適している。

【００４３】 一般的には、画像にはＫの顕著な特徴があり、Ｋは１０乃至１０００の範囲で
ありうる。従って、図４Ｂに示されるようなＫの特徴構造がある。図４Ｃは、単
一の画像からのＫの特徴構造４２０を示す図であり、各特徴構造４２０は１つ特
徴についてのものである。特徴抽出の結果、Ｋの特徴の夫々を記述する一組の属
性Ｆ（…）が生成され、特徴の位置、強さ、及び色の情報を含みうる。

【００４４】 図４Ｄは、Ｎの画像フレーム及びＫ組の属性Ｆ_i（…），ｉ＝１，２，..Ｋの
場合について、Ｎの画像について見つけられた全ての特徴を集合的に示し、イメ
ージャの動きを推定するために特徴を追跡するために使用される本願で「特徴追
跡マップ」又は単に特徴マップと称されるものを示す。更に、図４は、特徴抽出
プロセスを示すフローチャートである。図４Ｄ乃至４Ｅについては、本発明の特
徴検出及び追跡プロセスを完全に理解するために、両方一緒に説明する。

【００４５】 ステップ４５２において、イメージャから連続的に色画像が受信される。ステ
ップ４５４において、色画像から優勢な成分、望ましくはルミナンス又は強度成
分が抽出される。１つの実施例では、色画像は単に別のルミナンス成分を与える
他の色空間へ変換される。ステップ４５６において、プロセスは、例えばメモリ
領域を、その中に格納される任意の特徴又は特徴テンプレートについて参照する
。メモリ領域中に十分な数の特徴テンプレートがあれば、プロセスは次の画像中
での特徴追跡を行なう必要があり、さもなければ、プロセスはステップ４５８に
おいて新しい特徴が抽出されねばならないかを否かを確認する必要がある。動作
上、特徴追跡プロセスを実行するための特徴又は特徴テンプレートがないため、
最初の受信された画像は、顕著な特徴の演算子を用いた特徴抽出演算を呼び起こ
す。それにより、プロセスはステップ４６０に進む。

【００４６】 ステップ４６０の後、特徴抽出プロセスは、受信された画像（例えばフレーム
＃１）中にＫの特徴を発生する。図４Ｄに示されるように、受信された画像フレ
ーム＃１中にはＫの特徴がある。望ましくは、特徴テンプレートとしてのＫの特
徴の属性は、続く特徴抽出プロセスのためにメモリ空間中に記憶される。

【００４７】 ステップ４６２において次の画像が入来すると、プロセスはステップ４６４に
進み、望ましくは新しく到着した画像を基礎として有する多解像度階層画像を発
生する。上述され、図４Ｃに示されるように、追跡プロセスは画像ピラミッド中
で、特徴構造中に記憶される特徴テンプレートの夫々のレイヤに最も高い類似性
を示す位置について探索する。Ｋの多解像度特徴構造の夫々について、ステップ
４６６において画像ピラミッド中の各対応するレイヤからＫ個以下の対応する特
徴が局部化され、次にＫの位置が集められ、フレーム２について特徴マップに追
加される。同様に、次のｎ１個のフレームについて、プロセスはステップ４５６
を通ってステップ４６２へ繰り返し進み、ｎ１のフレームの夫々からＫの特徴を
抽出する。

【００４８】 画像が発生されるにつれ、イメージャは対象の周りを最初の画像が捕捉された
最初の位置に対してかなり動かされていることがあることがわかる。Ｋの特徴の
うちの幾つかは、これらの遅い段階で発生された画像中に見つけられる必要はな
い。イメージャの視点の変化及び動きにより、これらの特徴は視野から外れるか
、又は完全に変化され、もはや追跡できなくなる。例えば、家の屋根のコーナー
は、特定の視点から見たときに視野から外れるか又はその顕著な特徴を失うこと
がある。従って、図４Ｄ中のｎ１の画像についてのＫの特徴は、特徴の数が低下
することを示す。

【００４９】 本発明の１つの特徴として、特徴の数の低下が所定の閾値（Ｔ）を越えた場合
に、特徴の発生が呼び起こされる。ステップ４５６において、入来画像中に或る
数の特徴が見いだされない場合、プロセスはステップ４５８に進み、Ｋの特徴を
作成するために新しい特徴を抽出する必要があるかどうかを判定する。上述のよ
うに、視点の変化又は閉塞により特徴の数が低下する場合、画像中の追跡される
べき特徴の十分な量を維持するために新しい特徴が抽出され追加されねばならな
い。プロセスは、ステップ４６０、即ち失われた特徴について埋め合わせするた
め、一組の顕著な特徴を発生するために画像に対して顕著な特徴の演算子を適用
する段階から再開する。図４Ｄ中、プロセスは例えばフレームｎ１において特徴
検出を再開するとして示される。

【００５０】 最近の特徴抽出にも関わらずあまりにも多くの特徴が失われれば、カメラがか
なり動かされたばかりであり、これは突然の視点の変化を生じさせ、従って２つ
の隣接する画像フレーム間の類似性を減少させたことを意味する。この場合、プ
ロセスは、「バックトラッキング」と称されるフレーム間の間引きを減少させよ
うとし、十分な数の対応が回復されるまで、ステップ４７１において連続的に先
行する画像フレームをロードする。

【００５１】 １つの実施例では、イメージャは、１秒当たり３０の画像フレームを生成する
。通常、多数の連続する画像は、相互に高い相関を有し、特徴がどのようにして
１つのフレームから他のフレームへ移動されるかについて殆どは冗長な情報を与
える。従って、冗長な入力データを除去するため、入来する画像は、１から始ま
る整数でありうる所定のレートでサンプリングされる。例えば、所定のレートが
１０に設定されるとき、カメラの動き又は対象の３次元モデルを決定するための
入力として、最初の画像から開始して、１０番目毎の画像が使用される。図４Ｆ
は、イメージャから一連の画像４８０が受信されることについて示す図である。
一般的に、Ｌ番目、１Ｌ番目、２Ｌ番目のフレームにおける画像が実際に使用さ
れる。画像４８２が入来し、最近の特徴抽出にも関わらず幾らかの数の特徴が消
えていると判定されると、図４Ｅの特徴追跡プロセスは、まずバックトラッキン
グを実行し、次にステップ４６０において追加的な特徴テンプレートを発生する
ために画像４８２に対して顕著な特徴演算子を適用する。特に、どの画像から特
徴が実際に消えたかを正確に決定するために、画像４８２の前のとばされた画像
がバックトラッキングされる。例えば、特徴追跡のために中間の先行画像４８４
又は中央の先行画像４８３が取り出される。探索される特徴が画像４８３又は４
８４中にまだ見つからない場合、プロセスはステップ４７０から４６２に繰り返
し進み、４８４と４８５の間で十分な数の特徴対応を有する画像フレームが見つ
かるまで、特徴追跡のための画像を順次に取り出すためにステップ４５６及び４
５８を通じてステップ４７１へ戻る。バックトラッキングの利点は、十分な数の
特徴対応が維持される必要な最も低いフレームサブサンプリングレートを自動的
に決定することである。

【００５２】 しかしながら、ステップ４７１におけるフレーム間引きによって十分な数の特
徴対応が確立できなければ、追跡プロセスは以下説明する代わりのものを見つけ
るためにステップ４７２へ進まねばならない。

【００５３】 図４Ｅ及び図４Ｄに示されるように、連続する画像とマッチングされるべき特
徴テンプレートは続く画像の特徴を追跡する間は元の組のままに維持され、１つ
のフレームと他のフレームとの間で変化しない。一般的に、連続する画像フレー
ム間で特徴の対応を確立することは、２つの方法で成されうる。１つの方法は、
直ぐ連続する画像対で行なうものであり、他の方法は、最初のフレームを基準と
して固定し、全ての他のフレームにおいてこの基準フレームに対応する位置を見
つけるものである。１つの実施例では、第２のアプローチが用いられ、その理由
は、幾つかの画像フレームに亘ってかなりのドリフトが累積されうる第１のアプ
ローチに対して、正確な特徴位置を見つけるときの生じうるバイアス又はドリフ
トを最小化することである。しかしながら、第２のアプローチでは、カメラによ
って見られるシーンはカメラが大きな変位に亘る場合にビューの大きな変化を受
け、これは追跡プロセスをステップ４７２へ進めさせるため、幾つかのフレーム
に亘って短い寿命の特徴の持続性を許す。

【００５４】 第２のアプローチを用いて多くの連続するフレームに亘って特徴追跡を維持す
るため、ステップ４７４において特徴テンプレート更新機構が組み込まれる。図
４Ｇに示されるように、最も最近のフレーム４９２中に基準フレーム４９０中の
特徴に対して対応する特徴位置が見いだされなければ、失われた特徴のテンプレ
ートは例えばステップ４９４においてうまく追跡された最も最近のフレーム４９
２の中に配置されるものと置き換えられる。図４Ｅのステップ４７４におけるテ
ンプレート更新により、第１のアプローチにおいて一般的に生ずる累積的なドリ
フトを最小化することによってかなりの視点の変化があったとしても、特徴がう
まく追跡されるという利点がある。

【００５５】 特徴は、或る数のフレームの後に再び発生されることが理解される。図４Ｄは
、フレーム番号ｎ１、ｎ２、ｎ３、ｎ４、ｎ５、ｎ６における画像について特徴
の組４３２乃至４３６を夫々示す図である。フレーム番号ｎ１、ｎ２、ｎ３、ｎ
４、ｎ５、ｎ６は、その間に同数のフレームを有する必要はない。イメージャが
更に移動し、更なる画像を発生すると、幾つかの特徴が幾つかの続く画像４３８
乃至４４０中に再び現れ、実施の好みに応じて再び使用されうる。ステップ４７
０において、プロセスは全てのフレームが処理され、その特徴が取得されたこと
を確実とする。結果として、図４Ｄに例として示される特徴マップが得られる。

【００５６】 ［カメラの動きの推定］ 本願に開示されるカメラの動きの推定は、画像のシーケンスから、画像のシー
ケンスを生成するために移動したカメラ又はイメージャの実際の動きパラメータ
（平行移動及び回転）を検出するための自動プロセスである。カメラの動きの推
定は、コンピュータグラフィックスを生の映像場面と組み合わせるといった、映
画制作においてマッチムービー適用として知られるもの、又は、屋内／屋外ロボ
ットナビゲーションといった多くの適用を有する。当業者は、以下説明するプロ
セスが独立に使用されうることを認識するであろう。

【００５７】 図５は、カメラ動き推定プロセス５００を示すフローチャートであり、図６Ａ
乃至６Ｄと共に理解されるべきである。ステップ５０２では、図４Ｄの例と同様
の特性を有する特徴マップが、プロセス５００を説明するために図６Ａにおいて
使用される。ステップ５０４において、特徴は夫々グループ化される。特に図６
Ａに示されるように、多数の連続する画像から抽出される特徴は、夫々の特徴ブ
ロックへグループ化される。例えば、特徴４３０及び４３２のグループは、夫々
特徴ブロック６０２及び６０４として集められる。図示されるように、特徴ブロ
ック６０２と６０４の間には重なり６０６があり、更に各特徴ブロックは完全に
満たされており、即ち、特徴ブロックのサイズは、特徴ブロックによって囲まれ
る多数のフレームに亘って特徴が全く失われないよう選択される。動作上、Ｋの
特徴のブロック及びｎフレームは、以下の２Ｋ×ｎ特徴マトリックス、

【００５８】

【数３】 として表わされ、但し、（ｘｉｊ，ｙｉｊ）は特徴の座標であり、ｉはｉ番目の
特徴であり、ｊはｊ番目の特徴である。重なりの大きさは、例えば１０乃至３０
の特徴に対して３乃至１０のフレームである。換言すれば、上記の特徴マトリッ
クスの最初と最後から幾つかの列は一般的には重なりにおける特徴についての列
である。重なりは、以下詳述するように、各特徴ブロックから夫々導出されるカ
メラ動きセグメントを連結するための情報を提供する。

【００５９】 完全なカメラの動きは、特徴ブロックのうちの１つから夫々導出される多数の
小さい動きセグメントを含む。図示されるように、２つの隣接する特徴ブロック
の各対の間には重なりがあり、例えばカメラの連結された動きを形成するために
、特徴ブロック６１０及び６１２からの２つの動きセグメントを連結するための
情報を与えるための特徴ブロック６１０及び６１２の間の重なり６０６である。

【００６０】 ステップ５０６において、処理のために第１の特徴ブロックが得られる。ステ
ップ５０８において、プロセス５００はステップ５１５からの帰還情報によって
特徴ブロック中の特徴の位置を調整する。特徴の位置及び詳細な帰還情報につい
て以下説明する。一般的に、特徴ブロック中の特徴属性が最初に与えられたとき
、プロセス５００は特徴ブロック中の特徴の位置を調整しないかわりに、最初の
解を計算するために特徴をファクトライゼーションプロセス５１０へ直接送る。

【００６１】 ステップ５１０におけるファクトライゼーションプロセスは、正投影の下で一
連の画像から形状及び動きを復元しうる中間プロセスである。詳細な説明は、こ
こに参照として組み入れられるTomasi及びKanadeによる"Shape and Motion from
Image Streams under Orthography: a Factorization Method", International
Journal of Computer Vision Volume 912, 1992, pp. 137-154に記載されてい
る。ファクトライゼーションプロセスは、入力として特徴マトリックスを取り、
カメラの回転及び対象の形状を出力する。上述のように、Ｋ×ｎの大きさを有す
る特徴ブロックの特徴マトリックスは、２Ｋ×ｎのマトリックスである。次に、
２Ｋ×ｎマトリックスは幾らかの制約下で２つのマトリックスＲ及びＳの積へ分
解され、但し、Ｒはカメラの動きを表わす２Ｋ×３マトリックスであり、Ｓは対
象が置かれる座標系の形状を表わす３×ｎマトリックスである。出力は、カメラ
モデルが正投影であるときにのみ補正されることに注意すべきである。

【００６２】 更に、ステップ５１０におけるファクトライゼーションプロセスから、各フレ
ームについての２次元画像変換情報Ｔｆｑが得られる。図６Ｂに示されるように
、Ｔｆｑは画像に投影されたＰｆｑに配置されるシーン点の変位を表わす。

【００６３】 ステップ５１２において、カメラの焦点距離が所与であれば、画像と対象の間
の平均絶対距離Ｚoの初期推定値が計算される。焦点距離及び平均絶対距離Ｚoは
共に、正確である必要はなく、以下詳述する再帰的帰還調整によって所定の細か
さにされる。

【００６４】 ステップ５１４において、平行移動及び形状マトリックスは、ステップ５１０
におけるファクトライゼーションプロセスの結果により計算された平均奥行きＺ
oに対してより良くされる必要がある。しかしながら、Tomasi及びKanadeによっ
て提案されるファクトライゼーション法は、対象が正投影されるという仮定に基
づく。従って、ステップ５１０におけるファクトライゼーションプロセスの結果
は、対象がカメラから遠くに配置されていないことがあるため、カメラの動きの
決定に対して直接適用可能でない。正投影は、制限的であり、しばしば非現実的
な条件である。多くの実際の適用では、イメージャ又はカメラはしばしば１０乃
至２０度よりも大きい視野を有し、従って、像面への対象の投影は透視モデルで
なくてはならない。本発明の重要な特徴の１つとして、特徴の座標をステップ５
１０におけるファクトライゼーションプロセスへの入力として調整するために再
帰的帰還機構が使用される。基礎となる帰還機構については、本発明の１つの実
施例として実施される図６Ｃに従ってより良く理解されよう。

【００６５】 カメラの透視技法についていえば、通常の透視法カメラ６３０は、画像のシー
ケンスを発生するために使用される標準ビデオカメラを意味する。ファクトライ
ゼーションプロセスが正しく動作する固有の条件を満たすため、通常の透視法カ
メラ６３０は特徴位置の正投影補正６３２を受ける。ファクトライゼーション６
３４の出力は、カメラ６３０を特徴付ける焦点距離を通じて得られる平均奥行き
を用いた最小平方（ＬＳ）トライアンギュレーションによって更に改善される。
より良くされた出力は、ファクトライゼーション法６３４が正しく動作する固有
の条件に良く近似するまで通常の透視法カメラ６３０の透視データを更に調整す
る補正６３２へ帰還され、正しい出力を生じさせる。特的的な例では、透視デー
タの調整は、特徴の位置を画像中心から外向きに延ばすことによって、カメラか
らの特徴の位置の距離の関数として行なわれる。

【００６６】 図６Ｄは、立方体６５０が透視補正６３２を通じてどのように投影され補正さ
れるかを示す図である。立方体６５０が通常の透視法カメラ６３０の視野の中に
遠くなく配置される場合、立方体６５０上の点がカメラから異なる距離に置かれ
るため、画像中に透視的に歪んだ立方体６５２が生成される。ファクトライゼー
ション法６３４がうまく作用するための固有の条件が正投影である一方で、正画
像（例えば立方体６５２）が与えられるとき、かなり大きな誤差が必ず生ずる。
上述のように、誤差は画像を調整するために使用され、それにより調整された画
像は正投影の下で得られる画像に近くなる。調整された画像はファクトライゼー
ション法６３４へ与えられ、より小さい誤差が生成され、誤差は次に画像を更に
調整するために使用される。帰還処理は、調整された画像が正投影の下で生成さ
れるであろう画像に非常に近くなるまで続けられる（例えば１０回のループ）。

【００６７】 再び図６Ｃを参照するに、ファクトライゼーション６３４からの出力は、各画
像フレームについてのＲｆｑ、Ｔｆｑ、Ｃｆｑ、Ｐｆｑを含む。Ｒｆｑ及びＰｆ
ｑ、即ち特徴の回転情報及びシーン座標は、回転マトリックスＲ及び形状マトリ
ックスＳにおける対応する要素である。Ｔｆｑ及びＣｆｑは、対応する平行移動
及び拡大・縮小の倍率である。図示されるように、Ｐｆｑ及び近似された焦点距
離は、ステップ６３６において平均距離Ｚｏを良くするために用いられ、平均距
離Ｚｏはステップ６３６の３次元点の最小平方推定ステップへ与えられる。改善
された３次元点Ｐｅ及び平均距離Ｚｏを用いて、カメラ平行移動は最小平方トラ
イアンギュレーションを用いてＴｅへ改善される。ここでは、回転Ｒｆｑ又は回
転マトリックスＲは、改善されたＴｅ及びＰｅによって生成されているため更に
改善されないことに注意すべきである。所定の精度に依存して、全ての改善され
た値は補正ステップ６３２へ帰還信号として反復的に与えられ、それにより続く
改善された値はカメラの動きを導出するのに十分に正確となる。

【００６８】 ここで図５を再び参照するに、上述の反復的な改善処理を続けるか否かの決定
はステップ５１５において行なわれる。元の位置に対する逆投影が十分に小さく
ないか、又は反復回数に達しなければ、プロセス５００は、逆投影誤差が所定の
閾値よりも小さくなるまで、又は、反復回数に達するまでしステップ５０８へ繰
り返し戻る。ステップ５１６において、プロセス５００は、特徴マップが完成し
たかどうかを確認する。

【００６９】 換言すれば、最後の画像フレームを含む特徴ブロックが処理され、その改善さ
れた回転マトリックスＲ及び形状マトリックスＳが導出される。

【００７０】 上述の帰還機構により、各特徴ブロックは一組の正確な回転Ｒｅ及び３次元点
Ｐｅを生成する。図７Ａに示されるように、各特徴ブロック７０２は、特芸の画
像フレーム中のカメラの位置及び向きを含む対応するフレーム間隔のためのカメ
ラ動きセグメントを生成する。

【００７１】 更に特定的には、特徴ブロック７０２−１は、多数の画像フレームを含み、各
フレームはカメラ動きセグメント７０４−１中の頂点に対応する。最初のセグメ
ントと最後のセグメント以外は、各カメラ動きセグメント７０４は構成法により
隣接するフレームとの幾つかの重なりを有することが理解される。例えば、３フ
レームの重なりが或る場合、動きセグメント７０４−１の最後の３つの頂点は、
動きセグメント７０４−２の最初の３つの頂点と一致すべきであり、動きセグメ
ント７０４−２の最後の３つのセグメントは動きセグメント７０４−３の最初の
３つの頂点と一致すべきである。

【００７２】 全ての動きセグメントを獲得した後、プロセス５００はステップ５２０におい
て全体のカメラの動きを形成するためにセグメントを縫い合わせる段階へ進む。
図７Ｂは、２つの動きセグメント７０４−１及び７０４−２がどのようにして縫
い合わされ、連結された動きセグメント７１０を形成するかを示す図である。動
きセグメント７０４−１及び７０４−２を生成する特徴ブロック間の重なりを知
ることにより、重なり合う頂点７０６及び７０８は共通の動きを決定するための
制約条件として使用される。頂点７０６及び７０８は重なりから得られ、従って
一致するため、動きセグメント７０４−１の終端頂点７０６と一致するよう回転
され、平行移動され、拡大・縮小され、頂点７０６と７０８が７１２において一
致する連結された動きセグメント７１０を生じさせる。全ての動きセグメントが
上述のように縫い合わされると、カメラの動き全体が得られる。図７Ｃは、典型
的なカメラの動きを示す図である。

【００７３】 上述の例から、動きセグメント７０４−２は、動きセグメント７０４−１と縫
い合わされるよう回転され、平行移動され、拡大・縮小されることがわかる。導
出された３次元点及びカメラ動きセグメントは、回転、平行移動、及び拡大・縮
小によって共通の座標系に配置される。統合された３次元点及び全体のカメラの
動きにおける誤差を最小化するため、パラメータを改善するために大局比線形最
適化５２２が用いられ、これは抽出された特徴の位置と対応する逆投影された３
次元座標との間の差を減少させる。このプロセスは、カメラの動きと特徴の３次
元位置の最終的な大局的に最適化された回転及び平行移動を与える。ステップ５
２４において、誤差は所定の範囲内であるかどうかについて検査され、そうでな
ければ最適化及び調整プロセスは誤差が所定の範囲となるまで繰り返される。

【００７４】 ［奥行きマッピングプロセス］ 本発明における奥行きマッピングプロセスは、続くメッシュモデルの発生のた
めに高い密度の表面点を発生するための自動プロセスである。各表面点は、シー
ン空間中に表わされる。上述のように、カメラ動きプロセスからの結果は、顕著
な特徴点の夫々に対する回転パラメータＲｅ、平行移動パラメータＴｅ、及び３
次元座標を含む。しかしながら、これらの顕著な特徴点は、対象のサーフェスワ
イヤフレーム即ちメッシュモデルを発生するには十分でない点のうちの小さな部
分のみを表わす。現実には、本願では稠密点と称される、より多くの特徴点が期
待され、これらは一般的には高いコントラスト領域に位置する全ての境界及びエ
ッジ点を含む。かかる稠密点の数は、シーン空間中の標準的な対象については１
０００乃至１００，０００の範囲でありうる。特徴追跡技術を用いると、これら
の濃い特徴点についての特徴対応を確立すると共に、以下詳述するようにそれら
の３次元位置を復元できる。

【００７５】 図８は、図６Ａ乃至６Ｃ及び図９Ａ乃至９Ｃにより理解される奥行きマッピン
グプロセスを示すフローチャートである。ステップ８０２において、カメラの動
きの結果、特に改善された回転Ｒ及び平行移動Ｔが受信される。これらはトライ
アンギュレーションによって稠密点の幾何学的な位置を決定するための制約され
た探索及び支援を行なうために使用される。

【００７６】 ステップ８０４において、稠密点を抽出するために最初の画像フレームが取り
出される。ステップ８０６において、現在追跡されている点の数が検査される。
この点が閾値を下回る場合（最初のフレームに特定的な場合）、プロセスはステ
ップ８０８及び８１０へ進み、全ての利用可能な稠密点を検出する。最初のまっ
すぐな線セグメントは、メッシュモデルを発生するための最も正確且つ安定した
特徴であるため抽出される。線特徴を検出する他の利点は、以下の説明から明ら
かとなるように、計算がかなり削減されること及び正確さが持続することを含む
。

【００７７】 画像中で線を検出するには幾つかのアプローチがある。１つのアプローチは、
当業者に知られているＨｏｕｇｈ変換に基づくものである。画像は、画像中の優
勢な線形特徴が検出されるＨｏｕｇｈドメインへ変換される。１つの実施例によ
れば、サブピクセルレベルの精度で点のグループ化及び線の当てはめ技術を用い
て下にある点から正確な線が夫々決定される。続いて、抽出された各線セグメン
トは、９１２において２つの終端点によって表わされる。例えば、図９Ａは、家
の画像９００から、画像９０２中に示される線９０８の線特徴、及び線９０８を
表わす点９０６及び９０８が検出されることについて示す図である。

【００７８】 ステップ８０８において全ての線特徴が決定されても、線検出は線形でない部
分、例えば図９Ａの楕円９０４の周りの点を生じさせない。線の種類以外の稠密
点は、次にステップ８１０において検出されねばならない。線を含む領域におけ
る検出を回避するため、画像９１２中に９１６で示されるように線領域の周りに
マスクが配置されることが望ましい。ステップ８１０において、これらの線でな
いタイプの稠密点を検出するために演算子が適用される。演算子は、高いコント
ラストの領域の周りに配置される全ての目立った点を本質的に検出するエッジ検
出演算子のうちの１つでありうる。図９Ａ中の楕円９０４は、エッジ検出演算子
が適用されたときに画像９１２中のエッジ点９１４として検出され、破線によっ
て示されるブロック９１６は検出された線９１０の周りの典型的なマスクを示す
。

【００７９】 上述のステップは、稠密点の再構成の特徴抽出段階において一般的に適用され
る。既知のカメラの動きでは、即ちカメラの回転及び平行移動がわかっていれば
、画像の残りについての稠密点は、制約されない大きい領域ではなく夫々のエピ
ポーラ線に沿って追跡されえ、これは本願では「制約された追跡」と称するもの
とする。

【００８０】 図９Ｂを参照するに、（ｘ１，ｙ１）及び（ｘ２，ｙ２）に夫々位置する２つ
の隣接する像面９２０及び９２２上に対象点Ｐが投影されることが示される。カ
メラ投影中心（焦点）は、参照番号９２５及び９２７によって示される。２つの
点９２５及び９２７は対象点Ｐと共に、両方の像面９２０及び９２２と交わるエ
ピポーラ面９２８を形成する。交差する線９２１及び９２３は、画像点９２４及
び９２６に対するエピポーラ線である。

【００８１】 図８のプロセスによって像面９２０中の（ｘ１，ｙ１）における投影点９２４
を特徴付ける稠密点が検出されれば、像面９２２中の投影点９２６の座標（ｘ２
，ｙ２）はエピポーラ線上にある。換言すれば、最初の画像中の投影点に対して
一旦エピポーラ線が決定されると、図９Ｂに示されるように３次元点は第２の連
続する画像中のエピポーラ線上に投影されねばならない。フレーム間で線セグメ
ントを追跡する問題は、線セグメントのまばらにサブサンプリングされた点を追
跡し、次に第２の画像中で追跡された点に基づいて線セグメントを強固に検出す
ることによって減少される。

【００８２】 ここで図８を参照するに、全ての線特徴のまばらにサブサンプリングされた点
を含む稠密点が得られた後、ステップ８１４において夫々のエピポーラ線に沿っ
て稠密点を追跡するために、ステップ８１２において次の画像が得られる。エピ
ポーラ線に沿った一致は、例えば正規化相関計算を用いてサブピクセル精度のテ
ンプレートマッチングを実行することによって見つけられる。ステップ８１６及
び８１８において、濃い線の点の３次元座標と、上述のように抽出された線では
ない点の３次元座標は、ＬＳトライアンギュレーションを用いて夫々再構成され
る。

【００８３】 ステップ８２０において、プロセスは、全ての画像が稠密点について処理され
たかどうかをチェックする必要がある。処理されるべき画像が１つ以上残ってい
れば、プロセスはステップ８０６へ戻る。十分な検出された点及び線ではない特
徴点があるため、プロセスはステップ８１２乃至８２０へ進む。

【００８４】 図８のプロセスの結果として、稠密点の３次元雲と多数の３次元ラインセグメ
ントが計算される。次の操作は、これらの各画像から得られた稠密点に基づいて
対象のメッシュモデルを発生することである。

【００８５】 ［メッシュ作成及びテクスチャマッピング］ 対象の完全にテクスチャリングされた３次元モデルを作成する前に、対象の表
面の記述が必要とされる。一般的には、対象のメッシュモデルは、表面の所望の
記述であり、これは各局部化された領域がシーン空間中でどのような向き及び位
置とされているかについての情報を与え、それにより完全にテクスチャリングさ
れた３次元モデルを続いて発生するために対応するテクスチャ情報が適用されう
るためである。更に、メッシュモデルは、現実の世界の対象の表示又は再生を形
成するため及び「ｍｏｒｐｈ」、幻想又は特殊効果といった他の表示を発生させ
るための基礎として使用されうる。

【００８６】 ３次元メッシュモデルの発生は、その３次元面を一組の小さい三角形（又は四
辺形）の要素へ分割することによって対象のメッシュモデルを発生するプロセス
である。プロセスへの入力は上述の奥行きマッピングから得られる稠密点のリス
トであり、プロセスの出力は頂点を点位置に決められた点の凸状のハル（ｈｕｌ
ｌ）のファセットのリストである。プロセスは、一組の表面の稠密点に基づいて
三角形のメッシュモデルを計算するための周知の方法である３次元Ｄｅｌａｕｎ
ａｙトライアンギュレーションを計算することに基づく。

【００８７】 図９Ｃは、３次元Ｄｅｌａｕｎａｙトライアンギュレーションに基づいてメッ
シュモデルを発生する方法を示すフローチャートである。３次元Ｄｅｌａｕｎａ
ｙ三角形は、３次元点によってのみ画成されるため、各線セグメントは点へサブ
サンプリングされねばならない。サブサンプリングの密度を十分に高くしておく
ことにより、トライアンギュレーションはサブサンプリングされた線セグメント
の点を相互に接続する一組のエッジを有する可能性が高い。ステップ９４２にお
いて、線及び線でないタイプの特徴点を含む稠密点は、上述の奥行きマッピング
プロセスから得られる。ステップ９４４において、これらの線タイプの特徴点が
識別され、ステップ９４８の３次元Ｄｅｌａｕｎａｙトライアンギュレーション
を計算する段階に至るまでに、まばらな特徴点へサブサンプリングされる。ステ
ップ９４８では、個々の特徴点に基づいて３次元Ｄｅｌａｕｎａｙトライアンギ
ュレーションが計算される。

【００８８】 一般的に、供給された稠密点に基づくＤｅｌａｕｎａｙトライアンギュレーシ
ョンによって計算される三角形ファセットは、非常に細長い三角形又は比例的で
ない三角形といった普通でない三角形中のシーン中の対象の真の物理面に対応す
しない無効な三角形を含みうる。これらの各三角形にテクスチャ情報を適用する
前に、無効な三角形を除去又はマージするために後処理を適用することが必要で
ある。３次元Ｄｅｌａｕｎａｙトライアンギュレーションは、一組の濃い３次元
特徴点の凸状のハル（ｈｕｌｌ）を占める一組の四面体を発生する。従って、通
常は観察されているシーンの真の物理面に対応しない多くの三角形ファセットを
含む。これらの三角形を３次元メッシュから除去するために、様々な幾何学的な
制約を用いる方法に基づいて３次元三角メッシュに対して一連の後処理ステップ
が行なわれねばならない。

【００８９】 １つの実施例によれば、後処理において３つのステップが適用される。ステッ
プ９５０において、有効な表面とはなりえない三角形を除去するために画像特性
の可視性に基づく制約が用いられる。特に、入力シーケンス中で可視の各特徴点
は、同じ視点から発生された３次元メッシュ中で可視でなくてはならない。メッ
シュ中で発生されたいずれの三角ファセットも、その画像中で点が可視であった
カメラ視点からの点を閉塞することが許されない。かかる視点が任意の三角形に
よって閉塞される場合、三角形はメッシュから除去されねばならない。

【００９０】 ステップ９５２において、三角形の面積及びエッジの長さが解析され、三角形
が近傍の三角形とマージされるべきかどうか判定される。濃い再構成プロセスに
よって得られる濃い３次元点雲が所与であれば、大きいエッジ長さ又は大きい面
積を有する三角形は通常は真の物理的な面に対応せず、従ってこれら全ての三角
形はメッシュから除去される。更に、非常に小さいか又は非常に狭い三角形は、
可視性の制約及びテクスチャマッピングの両方における数値誤差の原因となりう
るため、除去される。

【００９１】 最後に、テクスチャの一貫性を確かめるために、ステップ９５４において幾つ
かのビューに亘る三角形のテクスチャの一貫性が与えられる。特に、表面メッシ
ュの三角形ファセットが真の物理的な表面のパッチに対応する場合、三角形が可
視である全てのビューから三角形上に画像を投影することによって決められるテ
クスチャは一貫性がなくてはならない。逆に、三角形が真の物理的な面に対応し
ない場合、可視のビューからの画像投影はその三角形上に異なるテクスチャマッ
プを画成しうる。例えば、三角形のファセットが家の屋根上の点を通って画成さ
れる場合、１つの画像フレームは家の側壁を三角形上にテクスチャとして投影し
、他のビューは空を投影しうる。この矛盾は、この三角形が真の物理的な面では
なく、従って３次元メッシュに含まれてはならないことを示す。テクスチャの矛
盾のチェックは、例えば対応するテクスチャマップの正規化された相互相関を計
算することによって行われる。

【００９２】 これらの上述の制約を３次元Ｄｅｌａｕｎａｙメッシュに適用することにより
、画像フレームの所与のシーケンスから推定される望ましくは真の物理的な面に
対応する最終的な表面メッシュが獲得されうる。

【００９３】 ３つのステップ９５０、９５２、及び９５４は、Ｄｅｌａｕｎａｙトライアン
ギュレーションから計算される三角形を後処理するための一般的なステップであ
る。当業者によれば、メッシュモデルを所定の度合いに改善するために更に改善
するための他のアプローチがありうる。

【００９４】 メッシュプロセスの結果、三角メッシュのメッシュモデルが獲得される。動作
上、ステップ９５６における次のステップは、モデルの現実性を高めるためにメ
ッシュモデルに対してテクスチャパターンを追加することである。プロセス自体
はテクスチャマッピングと称されるものであり、テクスチャ画像とも称される３
次元画像が３次元メッシュモデルの表面へマッピングされる画像合成技術である
。幾つかのテクスチャマッピング技術があるが、本願に開示されるテクスチャマ
ッピングにおける重要な特徴のうちの１つは、ユーザの介在なしに連続的なテク
スチャマッピングによってパッチが発生されることである。他の重要な特徴は、
画像処理アプリケーションによって続いて変更されうる一般的に使用される画像
ファイル中にパッチをエクスポートするために提供される機構である。

【００９５】 図１０Ａは、メッシュモデルにテクスチャパターンを適用する処理を示すフロ
ーチャートである。ステップ１００２において、メッシュモデルが受け取られ、
望ましくは三角形で記述される。当業者は本願に開示されるテクスチャリングプ
ロセスが他の形状のポリゴンのメッシュモデルに対しても適用されうることを認
識するであろう。望ましい態様では、これらのポリゴンは三角形であるが、他の
態様では、ポリゴンは矩形、六角形等でありうる。３よりも大きいオーダのポリ
ゴンを用いる場合、全ての頂点が共通平面上にあることを確実とするためには特
別なステップが必要とされうる。本質的に、より高いオーダのポリゴンは、処理
の利便性のため、三角形（オーダ３のポリゴン）へ分解されうる。テクスチャリ
ング処理の説明を容易とするため、メッシュモデルは三角形からなると想定され
、当業者は本願の説明は３よりも大きいオーダのポリゴンに対しても同等に適用
されることを認識するであろう。

【００９６】 望ましくは、メッシュモデルは、所望の解像度又は改善の度合いに依存してス
テップ１００４において変更されうる。ステップ１００４において用いられるア
プローチは、一組の規則に従って三角形の数を減少させ続く効率的且つ効果的な
テクスチャマッピングプロセスを容易とするための間引きプロセスを含みうる。
規則は、２つ以上の近傍の参加右傾の間の法線の比較を含む。１つの三角形の法
線が所定の改善の度合いにおいて近接する三角形と同様であれば、対応する三角
形は近傍の三角形とマージされうる。更に、ステップ１００４において、ユーザ
は現在のプロセスにおいて、又はメッシュモデルが表示されそれに対して相互作
用を行なうことができる3D Studio MAXといった市販されるツールのいずれかを
用いて、メッシュモデルをテクスチャマッピングのための１つ以上の論理部分へ
細分化しうる。

【００９７】 ステップ１００６において、各三角形はその法線に基づいて側面ビュー画像Ｃ
iに割り当てられる。特定的には、図１１Ａは、一群の三角形が夫々の側面ビュ
ー画像に割り当てられることについて示す。上述のように、対象の周囲からのビ
ューは、阿智商に対する既知の位置から得られる多数の側面ビュー画像Ｃ１、Ｃ
２、..ＣＮ中に捕捉されている。各三角形の法線及び各側面ビュー画像の既知の
角度に基づいて、各三角形は側面ビュー画像Ｃ１、Ｃ２、..ＣＮのうちの１つに
対して夫々割り当てられうる。選択された側面ビューから三角形が可視であるこ
とを確実とするため、各三角形及び側面ビューに対して可視性の試験が行われる
。選択された側面ビューから三角形が可視でなければ、他の側面が選択される必
要がある。

【００９８】 三角形は相互に隣接していてもあまり均質でないため、２つの近傍の三角形を
２つの異なる側面ビュー画像に割り当てることもあり、その場合、更なる処理が
行われなければそれらの間のテクスチャの不連続性が生ずる。例えば、三角形１
１０２は画像Ｃ１に割り当てられ、近傍の三角形１１０４は、画像Ｃ１とはかな
り異なる視角で得られた画像Ｃ４に割り当てられる。ステップ１００８において
、側面ビュー画像に割り当てられる各三角形は、テクスチャリングのための側面
ビュー、即ち三角形に対するテクスチャ情報の部分に対応するパッチにマッピン
グされる。ステップ１０１０において、これらのテクスチャの不連続性を平滑化
するために局所ブレンドプロセスが適用される。プロセス１００６、１００８、
１０１０についての更なる情報は、W. Niew外による"Mapping Texture From Mul
tiple Camera Views Onto 3D-Objects Models for Computer Amination", the p
roceedings of the international Workshop on Stereoscopic and Three Dimen
sional Imaging, September 6-8, 1996, Santorini, Greeceによって与えられる
。

【００９９】 本発明の１つの重要な特徴として、本願ではエクスポート可能なパッチの発生
が開示されている。パッチは、メッシュの三角形の集合であり、パッチ中の各三
角形が同一のパッチ中の他の三角形の少なくとも１つのエッジを共有するという
性質を有する。更に、全てのパッチは、全てのパッチの集合がメッシュの全ての
三角形を含み、２つのパッチが同じ三角形を含むことはないという性質を有する
画像ファイル中にかかるパッチをエクスポートすることは、ユーザが所望の方法
で特定のパッチについてのテクスチャマッピングを修正又は変更することを可能
とする。例えば、３次元モデリングシステムは、一般的には、しばしば黒又は対
象の底部から延びる色であると想定される３次元対象の底部をモデリングするた
めには設計されていない。従って、最終的な３次元モデルは、底部が表示される
ときにその現実味を失う。他の状況では、ユーザは不均一な照明によって生ずる
幾らかの反射（例えば反射鏡）を除去することを望む。発生されたテクスチャリ
ングされたパッチを用いて、ユーザは、テクスチャリングされたパッチを手動で
修正又は変更するために米国カリフォルニア州サンノゼのAdobe Systems社製のP
hotoShop 5.0といった画像又はグラフィックアプリケーションを使用しうる。メ
ッシュの近傍の三角形をテクスチャ画像中の近傍の三角形のメッシュへマップす
るようにマッピングが実行されれば、テクスチャマッピングの編集可能性及び利
用可能性は非常に増加する。

【０１００】 従って、ステップ１０１２において、１つ以上のパッチを生成するため或いは
メッシュを１つ以上のパッチへ細分化する手順が与えられる。ステップ１０１２
の詳細は、図１０Ｂに示される。図１０Ｂのステップ１０２０において、空のパ
ッチが形成され（即ちメモリ空間が初期化され）、インデックス付けされる。ス
テップ１０２２において、メッシュモデル中の三角形のうちの１つは、シード（
種）三角形として選択される。シード三角形は、まだパッチに含まれてない三角
形から、又は同様の法線を示す局所三角形の群からランダムに選択されうる。ス
テップ１０２４において、シード三角形の近傍の三角形は、以下説明するように
パッチに含まれるのに適しているかどうかについて試験されているかどうか、順
次にチェックされる。近傍の三角形が全て試験されれば、パッチが完了したこと
を意味する。そうでなければ、ステップ１０２６において三角形は更に夫々、い
ずれかの三角形がパッチに追加されうるかどうかについて試験される。

【０１０１】 特定的には、図１１Ｂは、パッチが各新しく追加された三角形によって成長す
ることについて示す。例えば、三角形１１１０は、ステップ１０２０において開
始されたパッチから始まるシード三角形である。隣接する三角形１１１２がまだ
「試験」されていないとき、三角形１１１２は、シード三角形と少なくとも１つ
のエッジを共有するかどうかについて試験される。共有しない場合、三角形はパ
ッチに属さないこと、又はプロセスの後のステップにおいてパッチに追加されう
ることを意味する。例えば、近傍の三角形１１１４は、パッチに属せず、従って
三角形１１１２が三角形１１１０と１つのエッジを共有する場合は、しばらくの
間、廃棄される。

【０１０２】 従って、図１０Ｂのステップ１０２８においてマッピングが作成される。本実
施例における特定のマッピングは、３次元モデルからテクスチャ画像への正投影
に基づくものであることが強調される。特定のパッチについては、投影はシード
三角形の面の法線の方向に沿ったものである。或いは、透視投影が使用されるか
、又は他の適当な投影が使用されうる。

【０１０３】 ステップ１０３０において、受け入れられた三角形は、パッチと交わるかどう
かについて更に試験される。交わる場合は、三角形は「試験済み」とラベル付け
され、プロセスはステップ１０２４へ進み、他の三角形を試験する。三角形がパ
ッチと交わらない場合、パッチが１つの三角形だけ大きくなるようステップ１０
３４においてパッチに追加される。パッチ発生プロセスは、多数のパッチを発生
することを可能とする。ステップ１０３６において、メッシュモデル全体が処理
されたかどうかがチェックされ、即ちここではパッチの数で表わされる。まだパ
ッチに入れられていない幾つかの三角形があれば、プロセスはステップ１０２０
へ進み、新しいパッチを発生する。

【０１０４】 図１０Ｂにおけるパッチ発生プロセスは、再帰プログラミングによって実施さ
れ絵、続いて多数の相互に排他的なパッチを生成し、各パッチはパッチ中の他の
三角形と少なくとも１つのエッジを共有する複数の三角形を含むことが認識され
る。

【０１０５】 ステップ１０１４において、プロセスはテクスチャ画像を作成する。実際のテ
クスチャを記憶する画像がある。この画像の作成には、各三角形について記憶さ
れるテクスチャが画像中へ投影されることを必要とする。本実施例では、グラフ
ィックス・アクセラレータ・アーキテクチャを用いることによってプロセスが加
速される。かかるアーキテクチャが利用可能でなければ、アーキテクチャはソフ
トウエアによってエミュレートされる。

【０１０６】 結果として、パッチ１１１８の形状が形成され、その中のテクスチャリングさ
れた三角形は、ステップ１０１６において、一般的に使用される画像フォーマッ
ト、例えば、PhotoShopといった画像処理アプリケーションによって開かれうる
ＴＩＦＦ（Tag Image File Format）又はＪＰＥＧ（Joint Photographic Expert
s Group）で保存又はエクスポートされうるテクスチャリングされたパッチを与
える。ユーザは、パッチを画素レベルで変更するための十分なグラフィックユー
ザインタフェースを提供するPhotoShopを用いてテクスチャリングされたパッチ
の任意の部分をペイントし直すこと又は変更することができる。

【０１０７】 上述のプロセスは連続的なテクスチャパッチを作成する方法を示す。メッシュ
モデルの各三角形に対してテクスチャをマッピングするのではなく、プロセスは
各三角形からのテクスチャをテクスチャ画像の夫々の部分へマッピングすること
を選択しうる。他の重要な特徴として、本願に記載されるテクスチャマッピング
プロセスは、殆どのコンピュータシステムにおいて一般的にグラフィックス・ア
クセラレータ・アーキテクチャを用いるために実施されうる。グラフィックス・
アクセラレータを、メモリ中のバッファではなくむしろモニタのためのバッファ
の中に引き込むために再び方向付けることにより、テクスチャのマッピングがよ
り効率的となる。

【０１０８】 本発明は様々な利点を有する。本発明の実施例が含みうる幾つかの利点は以下
の通りである。１つの利点は、費用が低く、操作が簡単で、実際に数分で動作さ
せるる経済的且つ効率的な３次元モデリングシステムである。本発明を用いたモ
デリングシステムは、当業者によって、インターネット取引及び製品設計を含む
多くの適用について限られた時間内で完全にテクスチャリングされた３次元対象
を発生するために使用され操作されうる。他の利点は、空間カービングプロセス
を画像の寸法に対して略独立とさせるために全てのマスク画像を符号化するＭＡ
Ｅスキームである。更なる利点は、有効な三角形のみを生成する近傍形態を用い
てメッシュモデルを発生するプロセスである。他の利点は、ユーザの介在無しに
連続的なテクスチャマッピングが与えられうる三角形を含むエクスポート可能な
パッチを発生する機構を与えるテクスチャマッピングプロセスである。更なる利
点は、グラフィックス・アクセラレータをモニタ用のバッファではなくメモリ中
のバッファへ引き込むために再び方向付けるためのグラフィックス・アクセラレ
ータ・アーキテクチャに対するテクスチャマッピング処理の実施の可能性であっ
て、テクスチャのマッピングを遙かに効率的とするものである。テクスチャマッ
ピングの結果として、対象の完全にテクスチャリングされた３次元モデルが作成
される。本発明には多くの利点がある。本発明の実施例が含みうる幾つかの利点
は以下の通りである。１つの利点は、効率的な特徴抽出と、画像シーケンス中で
顕著な特徴を追跡するための追跡機構の使用である。特徴抽出機構は、画像強度
／色の３次元表現に基づいて顕著な特徴を正確且つ偏らずに位置を決めるための
顕著な特著の演算子を用いる。他の利点は、正投影の元でファクトライゼーショ
ンアプローチを用いることである。帰還システムは、透視法カメラモデルを反復
的に「集め」ることによって正投影カメラモデルをエミュレートし、それにより
ファクトライゼーションアプローチが実際的且つ正確な解を与えることである。
他の利点は、ユーザの介在無しに連続的なテクスチャマッピングを与えうる三角
形を含むエクスポート可能なパッチを発生することである。

【０１０９】 本発明は、幾らかの特定性をもって十分に詳細に説明された。当業者によれば
、実施例の開示は例としてのみなされたものであり、部分及び段階の配置及び組
合せに関する多くの変更は、本発明の精神及び範囲を逸脱することなくなされう
ることが理解される。従って、本発明の範囲は、上述の実施例よりもむしろ添付
の請求項によって定義されるものである。

【図面の簡単な説明】

【図１】 本発明が実施されうるシステムを示す図である。

【図２】 図１のシステムにおいて使用されうるコンピュータシステムの望ましい内部構
成を示すブロック図である。

【図３】 白領域と暗領域を含む強度画像を３次元的に示す図である。

【図４Ａ】 イメージャから連続的に受信される２つの例示的な連続する画像を示す図であ
る。

【図４Ｂ】 図４Ａ中の画像のうちの１つの特徴を抽出するための例示的な多解像度階層特
徴構造を示す図である。

【図４Ｃ】 単一の画像からの各画像構造が１つの特徴についてのものであるＫの画像構造
を示す図である。

【図４Ｄ】 例として、ここで「特徴追跡マップ」又は単に特徴マップと称されるものを示
す図である。

【図４Ｅ】 特徴抽出プロセスを示すフローチャートである。

【図４Ｆ】 イメージャから受信される一連の画像のうちＬ番目、１Ｌ番目、２Ｌ番目の画
像を示し、特徴及び抽出のためにフレームが規則的に使用されることについて示
す図である。

【図４Ｅ】 一組の連続する画像を特徴追跡するときのテンプレート更新について示す図で
ある。

【図５】 カメラ動き推定プロセスを示すフローチャートである。

【図６Ａ】 特徴マップが個々の特徴ブロックへ分割され、特徴ブロックの各対が重なりあ
うことを示す図である。

【図６Ｂ】 ２つの隣接する画像上に投影されるシーン点Ｐｆｑの変位Ｔｆｑを示す図であ
る。

【図６Ｃ】 ファクトライゼーション法を用いたカメラ動き推定プロセスの実施について示
す図である。

【図６Ｄ】 立方体が正投影及び透視投影により夫々いかにして投影されるかを示す図であ
る。

【図７Ａ】 重なり合う部分に亘って連結される多数のカメラ動きセグメントからカメラの
動きを組み合わせるプロセスについて示す図である。

【図７Ｂ】 重なり合う部分に亘って連結される多数のカメラ動きセグメントからカメラの
動きを組み合わせるプロセスについて示す図である。

【図７Ｃ】 例としての得られるカメラの動きである。

【図８】 本願に開示される奥行きマッピングプロセスを示すフローチャートである。

【図９Ａ】 線特徴について検出される家の画像を示す図である。

【図９Ｂ】 対象中の点Ｐが２つの隣接する画像平面上に投影されることを示す図である。

【図９Ｃ】 Ｄｅｌａｕｎａｙトライアンギュレーションに基づいて自己制約され且つ相互
接続された三角メッシュモデルを発生する方法を示すフローチャートである。

【図１０Ａ】 テクスチャパターンをメッシュモデルに与える方法を示すフローチャートであ
る。

【図１０Ｂ】 本発明の１つの実施例によるテクスチャリングパッチ発生プロセスを示すフロ
ーチャートである。

【図１１Ａ】 夫々の側面ビュー画像に割り当てられる三角形のグループを示す図である。

【図１１Ｂ】 新しく追加される三角形毎にパッチが成長することについて示す図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 チェン，ジンロン アメリカ合衆国 カリフォルニア州 95054 サンタ・クララ チーニー・スト リート 4664 (72)発明者 ウォポティッシュ，ローマン アメリカ合衆国 カリフォルニア州 95032 ロス・ガトス 15 タウン・テラ ス 200 Ｆターム(参考） 2F065 AA53 BB05 BB15 FF04 JJ03 JJ26 KK01 MM21 QQ31 5B057 BA11 CA01 CA08 CA12 CB01 CB08 CB13 CD14 CH01 CH11 CH14 DA17 DB02 5C061 AA21 AB03 AB08 5L096 AA02 AA06 AA09 CA04 DA01 FA03 FA06 FA12 FA14 FA15 FA24 FA46 FA59 FA69 GA05 GA08 GA41 HA02 JA09

Claims (12)

【特許請求の範囲】
1. 【請求項１】 対象に対して動いているイメージャから画像のシーケンスを
   受け取る段階と、 上記各画像について上記画像中で相互に最も変化が少ない特徴を抽出する段階
   と、 上記抽出された特徴の群であり、各群中の特徴を含む幾つかの画像に対応する
   群を、夫々カメラ動き推定プロセスに入力する段階と、 上記カメラ動き推定プロセスからの出力によって決定される夫々の特徴追跡に
   基づいて稠密点の３次元位置を決定する段階とを含む、対象の完全にテクスチャ
   リングされた３次元モデルを発生する方法。
2. 【請求項２】 上記抽出された稠密点に基づく三角形を含むメッシュモデル
   を発生する段階と、 上記対象の上記完全にテクスチャリングされた３次元モデルを発生するために
   、上記三角形を夫々上記画像シーケンスからのテクスチャ情報でマッピングする
   段階とを更に含む、請求項１記載の方法。
3. 【請求項３】 上記特徴抽出段階は、 上記特徴を検出するために上記画像のうちの最初の画像に対して特徴演算子を
   適用する段階と、 上記画像のうちの上記最初の画像に続く画像中で上記特徴を追跡する段階とを
   含む、請求項２記載の方法。
4. 【請求項４】 上記特徴演算子は、上記最初の画像に適用されたときは、エ
   ッジ状及び均質の領域を抑制しつつ顕著なコーナー状の領域を強調する、請求項
   ３記載の方法。
5. 【請求項５】 上記特徴演算子は、ラプラシアン演算子を含み、上記最初の
   画像の平滑化されたバージョンの領域に対して実行されるＨｅｓｓｉａｎマトリ
   ックスの機能に基づく、請求項４記載の方法。
6. 【請求項６】 上記カメラ動き推定プロセスは、正投影条件下で作用する分
   解プロセスを含む、請求項２記載の方法。
7. 【請求項７】 上記入力段階は、 上記特徴の位置を上記出力に対して再帰的に補正することによって上記正投影
   条件を近似するために上記出力をより良くする、請求項６記載の方法。
8. 【請求項８】 上記特徴追跡制約は、上記稠密点について１つずつの夫々の
   エピポーラ線である、請求項７記載の方法。
9. 【請求項９】 上記稠密点を抽出する段階は、 上記画像のうちの最初の画像中の上記稠密点を検出する段階と、 上記稠密点について１つずつの上記夫々のエピポーラ線を決定する段階と、 上記画像のうちの最初の画像に続く画像中で上記夫々のエピポーラ線に沿って
   上記稠密点を夫々追跡する段階とを含む、請求項８記載の方法。
10. 【請求項１０】 上記稠密点を検出する段階は、 上記最初の画像中の線特徴を表わす第１のタイプの点を検出する段階と、 上記最初の画像中の上記線特徴以外のものを表わす第２のタイプの点を検出す
    る段階とを含み、 上記稠密点は、上記第１のタイプの点及び上記第２のタイプの点を含む、請求
    項９記載の方法。
11. 【請求項１１】 上記三角形に基づいて、各パッチが上記メッシュモデルの
    上記三角形のうちの幾つかの集合であり、上記パッチの上記三角形の夫々は上記
    パッチ中の他の三角形と少なくとも１つの縁を共有するパッチを発生する段階を
    更に含み、 上記全てのパッチの統合体は、上記メッシュモデルの全ての上記三角形を含み
    、上記パッチのうちの２つがその中に同じ三角形を含むことはない、請求項２記
    載の方法。
12. 【請求項１２】 上記パッチは一般的に使用される画像ファイルのフォーマ
    ットでエクスポート可能であり、それによりユーザは上記パッチとは独立にテク
    スチャリングされた表面を変更しうる、請求項１０記載の方法。