JP2011086164A - 三次元モデリング装置及び方法並びにプログラム - Google Patents

Abstract

【課題】簡易に、かつ確実に動画像データから三次元モデルを生成する。
【解決手段】演算装置１２は、対象物体の動画像データから特徴点を抽出し、抽出した特徴点を動画像データの各フレームにおいて追跡する。追跡可能な特徴点の数が所定の閾値に達しない場合に、新たに動画像データから特徴点を抽出して追加する。追跡した特徴点の三次元位置情報を演算し、追加する前の特徴点群を用いて対象物体の部分三次元モデルを生成し、かつ、追加した後の特徴点群を用いて対象物体の部分三次元モデルを生成し、複数の部分三次元モデルを合成して対象物体の三次元モデルを生成する。
【選択図】図１

Description

本発明は三次元モデリング装置及び方法に関し、特に動画像データから三次元モデルを生成する技術に関する。

バーチャルリアリティやインターネット、地図情報など種々の分野で三次元モデルデータが用いられている。

下記の特許文献１、２には、対象オブジェクトの連続視点移動画像からカメラ位置・姿勢情報演算部にてその撮影を行ったカメラの位置・姿勢を算出し、算出した位置・姿勢情報とそれに対応する各画像とを対応付け、データベースに登録されている対象物の三次元形状モデルを読み出して、算出された位置・姿勢情報に基づいて三次元モデルをレンダリングして表示装置に表示する技術が開示されている。

また、下記の特許文献３には、対象物体の時系列画像（動画像）を取り込み、モデル作成を行う物体の表面を構成する特徴点を抽出し、抽出した特徴点同士の対応付けを行って、その特徴点群の位置座標情報から各特徴点の三次元位置情報を求める技術が開示されている。そして、三次元位置情報が求められた特徴点に基づいて物体の表面を構成する三次元パッチ群を生成し、対象物体のモデル情報として出力することが開示されている。

なお、特許文献４には複数台のカメラを用いて三次元モデルを生成することが開示されている。

さらに、非特許文献１には、対象物体の動きを算出するための因子分解法が開示されている。

特開２００５−６３０４１号公報 特開２００５−１４１６５５号公報 特開平１０−３２０５８８号公報 米国特許第５４７５４２２号

"Shape and motion from image streams under orthography: A factorization method", C. Tomasi and T. Kanade, International Journal of Computer Vision Vol. 9:2 pp137-154, 1992

ところで、動画像データから三次元モデルを生成する場合、入力された動画像データを構成する各フレームにおいて、対象物体の表面を構成する特徴点同士を対応づけることが必要であるが、必ずしもあるフレームにおいて存在する特徴点が、別のフレームにおいても存在する保証はなく、特徴点同士の対応づけが出来ない場合が生じる。このような場合においても、簡易な方法でありながら、かつ、一定の精度で三次元モデルを生成できる技術が求められている。

本発明の目的は、簡易に、かつ確実に動画像データから三次元モデルを生成することができる三次元モデリング装置及び方法並びにプログラムを提供することにある。

本発明は、対象物体の動画像データに基づいて該対象物体の三次元モデルを生成する三次元モデリング装置であって、前記動画像データから特徴点を抽出する手段と、抽出した特徴点を前記動画像データの各フレームにおいて追跡する手段と、追跡可能な特徴点の数が所定の閾値に達しない場合に、新たに前記動画像データから特徴点を抽出して追加し、追加した特徴点を追跡する手段と、追跡した特徴点の三次元位置情報を演算し、追加する前の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成し、かつ、追加した後の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成する手段と、生成された複数の部分三次元モデルを合成することで前記対象物体の三次元モデルを生成する手段とを有することを特徴とする。

また、本発明は、対象物体の動画像データに基づいて該対象物体の三次元モデルを生成する、コンピュータを用いた三次元モデリング方法であって、前記動画像データから特徴点を抽出して記憶装置に格納するステップと、抽出した特徴点を前記動画像データの各フレームにおいて追跡するステップと、追跡可能な特徴点の数が所定の閾値に達しているか否かを演算装置により判定し、達していないと判定した場合に、新たに前記動画像データから特徴点を抽出して追加し、追加した特徴点を追跡するステップと、演算装置により追跡した特徴点の三次元位置情報を演算し、追加する前の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成し、かつ、追加した後の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成するステップと、演算装置により生成された複数の部分三次元モデルを合成することで前記対象物体の三次元モデルを生成するステップとを有することを特徴とする。

また、本発明は、対象物体の動画像データに基づいて該対象物体の三次元モデルを生成するプログラムであって、前記プログラムは、コンピュータに対して、前記動画像データから特徴点を抽出して記憶装置に格納するステップと、抽出した特徴点を前記動画像データの各フレームにおいて追跡するステップと、追跡可能な特徴点の数が所定の閾値に達しているか否かを演算装置により判定し、達していないと判定した場合に、新たに前記動画像データから特徴点を抽出して追加し、追加した特徴点を追跡するステップと、演算装置により追跡した特徴点の三次元位置情報を演算し、追加する前の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成し、かつ、追加した後の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成するステップと、演算装置により生成された複数の部分三次元モデルを合成することで前記対象物体の三次元モデルを生成するステップを実行させることを特徴とする。

本発明によれば、簡易に、かつ確実に動画像データから三次元モデルを生成することができる。

実施形態における三次元モデリング装置を含むシステムの構成ブロック図である。 実施形態の全体処理フローチャートである。 実施形態の特徴点追跡処理フローチャートである。 実施形態の特徴点追加処理フローチャートである。 実施形態の特徴点追跡処理の模式的説明図である。 実施形態の特徴点追加処理の模式的説明図である。

以下、図面に基づき本発明の実施形態について説明する。

図１に、本実施形態における三次元モデリング装置を含むシステムの構成ブロック図を示す。システムは、画像入力装置１０、演算装置（あるいはコンピュータ）１２、表示装置１４から構成される。三次元モデリング装置は、演算装置（あるいはコンピュータ）１２として機能するユニットである。

画像入力装置１０は、対象物体を撮影して動画像データを入力する装置である。画像入力装置１０の一例はデジタルビデオカメラであるが、これに限定されるものではない。動画像データを取得できる装置であれば任意の装置でよく、動画撮影機能を有するデジタルスチルカメラや携帯電話、携帯情報機器等も含まれる。インターネット上で提供されている動画像データであってもよい。画像入力装置１０は、入力した動画像データを演算装置１２に出力する。

演算装置１２は、画像入力装置１０からの動画像データを入力する。演算装置１２は、データ入力部１２ａ、特徴点抽出・追跡部１２ｂ、特徴点集合分割部１２ｃ、三次元位置復元部１２ｄ、テクスチャ作成部１２ｅ、部分立体統合部１２ｆ及び立体とテクスチャの関連付け部１２ｇを有する。演算装置１２は、これらの機能ブロックにより動画像データから三次元モデルデータを生成し、表示装置１４に出力する。演算装置１２における処理の詳細については後述する。

表示装置１４は、演算装置１２からの三次元モデルデータを表示する。表示装置１４は、演算装置１２として機能するコンピュータに設けられたディスプレイであってもよく、演算装置１２として機能するコンピュータとは別個のディスプレイであってもよい。

図２に、本実施形態における演算装置１２の処理フローチャートを示す。

演算装置１２のデータ入力部１２ａは、画像入力装置１０から動画像データを入力して特徴点抽出・追跡部１２ｂに供給する。

特徴点抽出・追跡部１２ｂは、動画像データから特徴点を抽出し、動画像データを構成する各フレームにおいて、抽出した特徴点を追跡する（Ｓ１０１）。特徴点の追跡とは、各フレームにおいて特徴点同士を対応づけることを意味し、対応づけられた各特徴点の位置座標情報を解析することで各特徴点の三次元位置情報を求めることができる。特徴点は、各フレームにおいて他の点から明確に識別し得る点であり、一般的には画像内のエッジ部分や高周波部分が該当する。エッジ部分や高周波部分を抽出するためのフィルタリグ処理は公知である。各フレームにおいて抽出された特徴点群は、演算装置１２のワーキングメモリに格納される。そして、各フレームにおいて抽出された特徴点群の対応づけを行うことで特徴点を追跡する。対応づけは、例えば対応づけられるべき特徴点の組を選択し、特徴点を含む局所領域を切り出してこれらの相関値を演算する。演算して得られた相関値が一定値以上であり、しかも最大となる組を対応づけの求まった組として決定する。

一方、動画像データを構成する各フレームにおける対象物体の姿勢変化に起因して、対応する特徴点が全てのフレームにおいて存在するとは限らず、あるフレームにおいて対応する特徴点が消失する場合もあり得る。例えば、第ｋ番目フレーム、第ｋ＋１番目のフレームにおいては存在していたある特徴点が、次の第ｋ＋２番目のフレームにおいては対象物体の影の部分あるいは裏側に存在するために消失してしまう場合もあり得る。このような場合、特徴点の追跡はその時点で不可能となり、追跡できる特徴点の数が少なくなると、三次元モデリングの精度が著しく低下してしまい、あるいは三次元モデリング自体が不可能となる。

そこで、特徴点抽出・追跡部１２ｂは、追跡可能な特徴点の数を常にカウントし、所定の閾値以上であるか否かを判定することで、追跡する特徴点を新規に追加する必要があるか否かを判定する（Ｓ１０２）。閾値は、システムが自動的に設定してもよく、ユーザが任意に設定することもできる。三次元モデリングすべき対象物体が複雑な形状を有するほど、閾値は大きく設定するのが好適である。このため、あるフレームにおいて対象物体の輪郭に基づいて対象物体の形状の複雑さを簡易に判定し、この複雑さに応じて自動的に閾値を増減設定してもよい。

以下、特徴点を新規に追加する場合としない場合とに分けて処理を説明する。

＜特徴点を追加しない場合＞
Ｓ１０２の処理でＮと判定された場合、すなわち、追跡可能な特徴点がしきい値以上存在している場合、特徴点抽出・追跡部１２ｂは、追跡した特徴点群を三次元位置復元部１２ｄ及びテクスチャ作成部１２ｅに供給する。

三次元位置復元部１２ｄは、追跡した特徴点群から、対象物体の三次元形状を復元するために用いる特徴点群を抽出する（Ｓ１０３）。復元するために用いる特徴点群は、追跡した特徴点群の全てでもよく、あるいは特定の判断基準に従って選択した特徴点群でもよい。三次元位置復元部１２ｄは、次に抽出した特徴点群のうち近傍の３つを選択し、選択した３つの特徴点を頂点とする三角形を形成する（Ｓ１０４）。三角形を形成するには、公知のドロネー三角形分割アルゴリズムを用いることができる。特徴点群を追跡し、これらの三次元位置を復元することができたとしても、点の間にどのような平面が存在しているかの情報が欠落しているため、それは三次元上に分布する点の集合でしかなく、三次元物体として表示することはできない。三次元物体として表示するためには、点の間に存在している平面の情報を得る必要がある。そこで、特徴点に対してドロネー三角形分割アルゴリズムを適用し、その三角形が復元後の三次元物体において平面を構成するとみなすものである。各フレーム間の特徴点同士の対応関係は特徴点追跡処理により明らかとなっているので、三角形分割は任意の１フレームについて行えばよい。例えば、各フレームにおいてドロネー三角形分割アルゴリズムを適用して三角形に分割して三角形の面積を算出し、面積が最大となるフレームの画像を選択する。面積が最大となるフレームの画像を選択する意義については後述する。そして、因子分解法により対象物体の三次元形状を復元する（Ｓ１０５）。因子分解法は公知であり、特開平１０−３２０５８８号公報にも記載されている。その内容について簡単に説明すると、対象物体が動画入力装置１０から十分遠方にあって正射影の条件を満たすものとし、第ｆ番目のフレームにおけるｐ番目の特徴点の位置を（Ｘｆｐ，Ｙｆｐ）とし、フレーム総数をＦ、特徴点の組の数をＰとし、第ｆ番目のフレームのｐ番目の特徴点群の重心位置を（Ａｆ，Ｂｆ）とすると、これらは、
Ａｆ＝１／Ｐ・ΣＸｆｐ
Ｂｆ＝１／Ｐ・ΣＹｆｐ
である。ここで、Σはｐ＝１からＰまでの加算である。次に、これらの座標間の差をとって、
Ｘ’ｆｐ＝Ｘｆｐ−Ａｆ
Ｙ’ｆｐ＝Ｙｆｐ−Ｂｆ
とすると、計測行列Ｗは、
として設定される。計測行列Ｗは２Ｆ×Ｐの行列である。計測行列Ｗに対して変形操作を行って
Ｗ＝ＭＳ
と２つの行列の積の形に分解する。ここで、
Ｍ＝（ｘ１，・・・，ｘＦ，ｙ１，・・・，ｙＦ）^Ｔ
は２Ｆ×３の行列であり、
Ｓ＝（ｓ１，ｓ２，・・・，ｓＰ）
は３×Ｐの行列である。成分ｓｐがｐ番目の特徴点の三次元位置（Ｘｐ，Ｙｐ，Ｚｐ）である。

もちろん、因子分解法は一例にすぎず、特徴点の三次元位置を算出するための任意の方法を用いることが可能である。

三次元形状を復元した後、立体とテクスチャの関連付け部１２ｇは、復元された三次元形状とテクスチャ作成部１２ｅで作成されたテクスチャとを関連づける（テクスチャのマッピング）ことで対象物体の三次元モデリングが完了する。テクスチャ作成部１２ｅは、動画像の適当なフレームから、三角形分割に従って三角形を切り出すことで行う。この際、斜めから見えている、つまり三角形の面積が小さいフレームから画像を切り出してテクスチャマッピングを行うと、小さな面積の画像が大きく引き伸ばされ、表示結果が不自然となる。これを回避するために、テクスチャの作成にはできるだけ正面から特徴点を捉えている、つまり三角形の面積が大きい画像を利用することが好適である。ここに、三角形の面積が最大となるフレームを選択する意義がある。

＜特徴点を追加する場合＞
Ｓ１０２の処理でＹと判定された場合、すなわち、追跡可能な特徴点がしきい値以上存在していない場合であって、特徴点抽出・追跡部１２ｂが新たに特徴点を追加した場合、特徴点集合分割部１２ｃは、追加される前の既に存在していた特徴点群（旧特徴点群）と、新規に追加した特徴点を含む特徴点群（新特徴点群）とに分類する（Ｓ１０６）。

図３に、特徴点追跡及び追加のフローチャートを示す。まず、最初のフレームの画像と特徴点を取得する（Ｓ２０１）。次に、取得した特徴点をその後のフレームにおいて追跡する（Ｓ２０２）。そして、新しい特徴点を追加すべきか否かを判定する（Ｓ２０３）。この判定は、追跡している特徴点があるフレームにおいて消失したか否か、及び追跡可能な特徴点がしきい値以上あるか否かで判定する。新しい特徴点を追加すべきと判定した場合、特徴点抽出・追跡部１２ｂは、当該フレームにおいて新たな特徴点を一つまたは複数追加する（Ｓ２０４）。また、特徴点集合分割部１２ｃは、特徴点群を、追加される前の特徴点群と、新たに追加された特徴点を含む特徴点群とに分類（分割）する。以上の処理を全てのフレームについて繰り返し実行する（Ｓ２０６，Ｓ２０７）。なお、Ｓ２０１、Ｓ２０２、Ｓ２０６、Ｓ２０７の各処理は、特徴点を追加しない場合にも同様に実行されることは言うまでもない。

図４に、図３におけるＳ２０４の処理、すなわち新しい特徴点を追加する処理の詳細フローチャートを示す。まず、特徴点として適していると思われる点を仮特徴点として画像から取得する（Ｓ３０１）。具体的には、画像のエッジ部分や高周波部分、孤立部分等である。次に、仮特徴点を既存の特徴点との間の最短距離でソートし（Ｓ３０２）、特徴点との距離が最大となる仮特徴点を特徴点として追加する（Ｓ３０３）。要するに、仮特徴点と既存の特徴点との距離を全て加算し、加算して得られる距離が最も大きく、全ての特徴点かから距離的に最も離間している仮特徴点を選択して新たな特徴点とする。以上の処理を特徴点の数が必要な数に達するまで繰り返し実行する（Ｓ３０４，Ｓ３０５）。

具体的に説明すると、以下のとおりである。既存の特徴点をＰｉとし、仮特徴点（複数）をＰとする。仮特徴点毎に評価値Ｓ＝Σ｜Ｐ−Ｐｉ｜を算出し、評価値Ｓが最大となる仮特徴点Ｐを新たな特徴点とする。既存の特徴点Ｓｉに新たに特徴点としたＰを加えた個数がしきい値に満たない場合、さらに別の仮特徴点（複数）Ｑを抽出し、仮特徴点毎に評価値Ｓ’＝Σ｜Ｑ−Ｐｉ’｜を算出する。ここで、Ｐｉ’はＰｉとＰを含むものである。評価値Ｓ’が最大となる仮特徴点Ｑを新たな特徴点とする。追加すべき新たな特徴点を、既存の特徴点からの距離が最大となるように選択するのは、特徴点は三次元モデリングを行う際の基準となるポイントであり、互いに離間している方が三次元モデリングの精度を確保できるからである。

再び図２に戻り、以上のようにして新たな特徴点を追加し、特徴点群を新旧に分類（分割）した後、新旧それぞれの特徴点群を用いてＳ１０３〜Ｓ１０５と同様の処理を実行して三次元形状を復元する（Ｓ１０７〜Ｓ１０９）。すなわち、例えば最初のフレームから第ｍ番目のフレームまでの特徴点がＳ１〜Ｓ１００であるとし、第ｍ＋１番目のフレームから最後のフレームまでの特徴点がＳ３１〜Ｓ１３０であるとすると（Ｓ１０１〜Ｓ１３０が新たに追加された特徴点群）、Ｓ１〜Ｓ１００の特徴点群で部分三次元形状を復元し、Ｓ３１〜Ｓ１３０の特徴点群で部分三次元形状を復元する。三次元位置復元部１２ｄは、各特徴点群毎に復元した部分三次元形状を部分立体統合部１２ｆに供給する。

部分立体統合部１２ｆは、複数の部分三次元形状を合成して一つの三次元形状を形成する（Ｓ１１０）。上記の例に則して説明すると、特徴点群Ｓ１〜Ｓ１００を用いて復元された部分三次元形状と、特徴点群Ｓ３１〜Ｓ１３０を用いて復元された部分三次元形状とを合成する。合成する際には、複数の部分三次元形状において重複する特徴点の対応づけを行い、その三次元位置を整合させる。整合の手法は種々であり、いずれかの特徴点の位置を基準として他方の特徴点の位置を合わせる、あるいはそれぞれの位置の中間値を採用する、重複する特徴点間の距離の二乗が最小となるように位置を合わせる等である。

このように、本実施形態では、対象物体の動画像データから特徴点を抽出し、特徴点を各フレーム間で追跡することで対象物体の三次元モデリングを作成する際に、特徴点が追跡できなくなった場合に、一定の基準の下で特徴点を新たに追加して追跡を可能とするとともに、特徴点を追加した場合に特徴点群を新旧に分類（分割）し、新旧それぞれの特徴点群を用いて部分三次元形状を復元し、その後に復元した複数の部分三次元形状を合成することで対象物体の三次元形状を作成するものであり、簡易でありながら高精度で任意の対象物体の三次元モデルを生成できる。

図５に、本実施形態における特徴点追跡処理を模式的に示す。図５（ａ）は第ｋ番目のフレーム、図５（ｂ）は第ｋ＋１番目のフレーム、図５（ｃ）は第ｋ＋２番目のフレームを示す。各図において、白丸が特徴点を表す。特徴点は、例えば対象物体が飛行体の場合には、飛行体の先端や翼の胴体接合部、翼の先端部等に設定される。飛行体の左翼の先端部に設定された特徴点に着目すると、図５（ａ）〜（ｃ）の全てのフレームにおいて存在するため、これを追跡することは可能である。しかしながら、飛行体の右翼の先端部に着目すると、図５（ａ）、（ｂ）のフレームでは追跡することが可能であるものの、図５（ｃ）のフレームでは図中矢印及び破線で示すように飛行体の裏側に存在するため追跡が不可能となる。右翼の胴体接合部等も同様である。

図６に、本実施形態における特徴点追加処理を模式的に示す。図６（ａ）は第ｋ番目のフレーム、図６（ｂ）は第ｋ＋１番目のフレーム、図６（ｃ）は第ｋ＋２番目のフレームを示す。各図において、白丸が特徴点を表す。図５（ｃ）に示すように、追跡できる特徴点のいくつかが消失するため、新たに特徴点を追加する必要が生じる。図６（ｃ）に、新たに追加した特徴点群を符号１００で示す。飛行体の先端の屈曲部や後部のエンジン部等に新たな特徴点が設定される。これらは、図５（ａ）、（ｂ）では存在していないか、あるいは存在していても他の部位との識別が明瞭でない部分である。新たに特徴点を追加することで、画像データが存在する任意の部分の三次元形状化が可能となることが理解されよう。

図２〜図４に示す処理は、コンピュータに記憶されたプログラムを順次読み出して実行することで実現できる。データ入力部１２ａはコンピュータの入力インタフェースで実現でき、特徴点抽出・追跡部１２ｂ、特徴点集合分割部１２ｃ、三次元位置復元部１２ｄ、テクスチャ作成部１２ｅ、部分立体統合部１２ｆ、立体とテクスチャの関連付け部１２ｇはいずれもコンピュータのＣＰＵで実現できる。コンピュータにはワーキングメモリが搭載され、ワーキングメモリに抽出した特徴点を格納して、各フレーム間の追跡や特徴点の分類を実行し、分類した特徴点毎の部分三次元形状の作成や格納、複数の部分三次元形状の読み出しと合成を実行する。

以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、種々の変更が可能である。

例えば、本実施形態では、追跡可能な特徴点の数が所定の閾値に達しない場合に新たな特徴点を追加しているが、合成すべき部分三次元形状との重複する特徴点数が一定値に達しない場合において特徴点を新たに追加してもよい。複数の部分三次元形状の合成精度を確保するためである。

１０ 画像入力装置、１２ 演算装置、１４ 表示装置、１００ 新たに追加された特徴点。

Claims (7)

1. 対象物体の動画像データに基づいて該対象物体の三次元モデルを生成する三次元モデリング装置であって、
   前記動画像データから特徴点を抽出する手段と、
   抽出した特徴点を前記動画像データの各フレームにおいて追跡する手段と、
   追跡可能な特徴点の数が所定の閾値に達しない場合に、新たに前記動画像データから特徴点を抽出して追加し、追加した特徴点を追跡する手段と、
   追跡した特徴点の三次元位置情報を演算し、追加する前の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成し、かつ、追加した後の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成する手段と、
   生成された複数の部分三次元モデルを合成することで前記対象物体の三次元モデルを生成する手段と、
   を有することを特徴とする三次元モデリング装置。
2. 請求項１記載の装置において、
   新たに前記動画像データから抽出され追加される特徴点は、既存の全ての特徴点からの距離が最大となるように抽出されることを特徴とする三次元モデリング装置。
3. 請求項１記載の装置において、
   生成された複数の部分三次元モデルの合成では、三次元モデルを構成する特徴点のうち互いに重複する特徴点同士を整合させることを特徴とする三次元モデリング装置。
4. 対象物体の動画像データに基づいて該対象物体の三次元モデルを生成する、コンピュータを用いた三次元モデリング方法であって、
   前記動画像データから特徴点を抽出して記憶装置に格納するステップと、
   抽出した特徴点を前記動画像データの各フレームにおいて追跡するステップと、
   追跡可能な特徴点の数が所定の閾値に達しているか否かを演算装置により判定し、達していないと判定した場合に、新たに前記動画像データから特徴点を抽出して追加し、追加した特徴点を追跡するステップと、
   演算装置により追跡した特徴点の三次元位置情報を演算し、追加する前の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成し、かつ、追加した後の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成するステップと、
   演算装置により生成された複数の部分三次元モデルを合成することで前記対象物体の三次元モデルを生成するステップと、
   を有することを特徴とする三次元モデリング方法。
5. 請求項４記載の方法において、
   新たに前記動画像データから抽出され追加される特徴点は、既存の全ての特徴点からの距離が最大となるように抽出されることを特徴とする三次元モデリング方法。
6. 請求項４記載の方法において、
   生成された複数の部分三次元モデルの合成では、三次元モデルを構成する特徴点のうち互いに重複する特徴点同士を整合させることを特徴とする三次元モデリング方法。
7. 対象物体の動画像データに基づいて該対象物体の三次元モデルを生成するプログラムであって、前記プログラムは、コンピュータに対して、
   前記動画像データから特徴点を抽出して記憶装置に格納するステップと、
   抽出した特徴点を前記動画像データの各フレームにおいて追跡するステップと、
   追跡可能な特徴点の数が所定の閾値に達しているか否かを演算装置により判定し、達していないと判定した場合に、新たに前記動画像データから特徴点を抽出して追加し、追加した特徴点を追跡するステップと、
   演算装置により追跡した特徴点の三次元位置情報を演算し、追加する前の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成し、かつ、追加した後の特徴点群の該三次元位置情報を用いて前記対象物体の部分三次元モデルを生成するステップと、
   演算装置により生成された複数の部分三次元モデルを合成することで前記対象物体の三次元モデルを生成するステップ
   を実行させることを特徴とするプログラム。