JP2004157968A - ３次元コンピュータモデリング - Google Patents

Abstract

【課題】異なる角度から撮影された複数の画像から３次元モデルを生成する。
【解決手段】被写体オブジェクトの画像からが夫々異なる位置及び向きから記録され、被写体オブジェクトの表面形状の３Ｄコンピュータモデルが生成される。被写体オブジェクトを横に倒して基部画像が更に登録される。ユーザが移動させる仮想カメラに従って、３Ｄコンピュータ表面形状モデルの画像が生成され、背景画像に重なるように表示される。このように、ユーザは３Ｄコンピュータモデル及びその下の静止画像の双方を見ることができる。その後、更なる画像の撮影パラメータを定義するために仮想カメラの撮影パラメータが格納され、更なる画像からの画像データを使用して３Ｄコンピュータモデルに対するテクスチャデータが生成される。
【選択図】 図４

Description

【０００１】
【発明の属する技術分野】
本発明は、オブジェクトの３次元（３Ｄ）コンピュータモデル及びそれに対するテクスチャデータを生成するためのオブジェクトの画像を定義する画像データのコンピュータ処理に関する。
【０００２】
【従来の技術】
オブジェクトの３Ｄコンピュータモデルを生成する方法としては、数多くの方法が知られている。
【０００３】
特に、モデリング対象のオブジェクトの画像がオブジェクトに対して夫々異なる位置及び向きで記録される方法が知られている。この方法が既知でない場合のために説明すると、記録された画像がそれぞれ処理されて記録された位置及び向きが計算される。入力画像と位置及び向きとを使用してオブジェクトの表面形状の３Ｄコンピュータモデルが生成される。続いて、入力画像データから表面形状コンピュータモデルに対するテクスチャデータが生成される。
【０００４】
この既知の方法のうちの第１の種類の方法では、モデリング対象の被写体オブジェクトは既知の特徴のパターンを有する校正オブジェクトと共に配置され、校正パターンと共に被写体オブジェクトを示す画像が夫々異なる位置及び向きから記録される。記録された画像はそれぞれ処理され、校正オブジェクトのパターンの各特徴の画像中の位置に基づいて記録された位置及び向きが計算される。被写体オブジェクト及び校正パターンは、画像の記録中相互に対して静止状態のままであるので、被写体オブジェクトに対する入力画像の位置及び向きが計算の結果明らかになり、画像から被写体オブジェクトの３Ｄコンピュータモデルを生成することができる。この種の技術の例は、Ｎｉｅｍの「Ａｕｔｏｍａｔｉｃ Ｒｅｃｏｎｓｔｒｕｃ ｔｉｏｎ ｏｆ３Ｄ Ｏｂｊｅｃｔｓ Ｕｓｉｎｇ Ａ Ｍｏｂｉｌｅ Ｃａｍｅｒａ」（Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ １７（１９９９年）１２５〜１３４ページ）、Ｇｏｒｔｌｅｒ他の「Ｔｈｅ Ｌｕｍｉｇｒａｐｈ」（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｅｄｉｎｇｓ， Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｓｅｒｉｅｓ、１９９６年、ＡＣＭ−０−８９７９１−７６４−４／９６／００８）、ＪＰ−Ａ−９−１７０９１４、及び本出願人の同時係属ＰＣＴ特許出願ＧＢ００／０４４６９（ＷＯ−Ａ−０１／３９１２４）（これらの内容は全て相互参照により本明細書に取り入れられている）などに記載されている。そして、結果として得られた３Ｄコンピュータモデルに対するテクスチャデータは、その画像から生成される。
【０００５】
第２の種類の既知の方法では、モデリング対象の被写体オブジェクトは校正オブジェクトなしに単独で撮影される。続いて、異なる入力画像間でオブジェクト上の特徴を照合し、夫々の画像で一致する特徴の夫々の位置によって、各画像の相対的な位置及び向きを計算することによって各画像の位置及び向きが計算される。このような技術の例は、例えば、ＥＰ−Ａ−０８９８２４５に記載されている。
【０００６】
第３の種類の既知の方法では、被写体オブジェクトが載置される表面に対して固定の位置及び向きに１台以上のカメラが取り付けられ（カメラにより記録される画像の位置及び向きを計算する必要がないように）、被写体オブジェクトの画像がカメラにより記録される。オブジェクトは、定められた量だけ回転させてその様々な部分の画像を記録できるようにターンテーブル上に配置されても良い。
【０００７】
しかし、これらの既知の方法の全てには、最初の画像のうちの少なくとも１枚の画像中で見える被写体オブジェクトの部分に対してしか、３Ｄコンピュータサーフェスモデルに対する正確なテクスチャデータを生成することができないという問題がある。
【０００８】
第１の種類の技術（被写体オブジェクトが校正パターンと共に撮影される）の場合には更なる問題が生じる。これは、画像の記録中に校正パターンに対して被写体オブジェクトを移動させることができないためである（移動させることが可能であると、被写体オブジェクトの位置及び向きは校正パターンに対して一定でなくなり、画像の計算された位置及び向きに対してその位置及び向きが分からなくなり、被写体オブジェクトの３Ｄコンピュータモデルを生成することができない）。従って、被写体オブジェクトが撮影用の校正オブジェクト上に配置される通常の場合では、被写体オブジェクトの基部が校正オブジェクト上にあるために基部上の特徴は撮影することができず、画像データから得られるテクスチャデータ中で再現することができない。
【０００９】
第３の種類の技術に関しても同様の問題が生じる。これは、被写体オブジェクトを載置される表面に対して移動させることができないためである。移動させることが可能であると、固定されたカメラの位置及び向きの調整が変化することになる。このため、被写体オブジェクトの基部上の特徴は撮影することができず、画像データから得られるテクスチャデータ中で再現することができない。
【００１０】
第２の種類の技術の場合、画像の位置及び向きが画像中の整合する被写体オブジェクトの特徴に基づいて相互に対して計算されるために問題が生じる。従って、各画像は被写体オブジェクト上の少なくとも一部の整合する特徴が画像中で見えると共に少なくとも１枚の更に別の画像中で見えるように記録される必要がある。この必要条件により、画像を撮影することが可能な位置及び向きが厳格に制限される可能性がある。
【００１１】
【発明が解決しようとする課題】
本発明は、上述の問題点のうちの少なくとも１つに対処することを目的とする。
【００１２】
【課題を解決するための手段】
本発明によると、夫々異なるビュー位置及びビュー方向から記録される被写体オブジェクトの画像を処理することによって、被写体オブジェクトの３Ｄコンピュータモデルが生成される。画像を登録するために画像の相対的な撮影位置及び撮影方向（既知でない場合）が計算され、画像に対するコンピュータモデルの位置及び向きが既知であるように、被写体オブジェクトの表面形状の３Ｄコンピュータモデルが登録された画像を使用して生成される。３Ｄコンピュータ表面形状モデルを生成する処理においては使用されておらず、テクスチャデータを生成すべき被写体オブジェクトの部分（被写体オブジェクトの基部など）を示す被写体オブジェクトの更なる画像が、３Ｄコンピュータ表面形状モデルに登録される。登録は、更なる画像をユーザに対して表示し、ユーザが制御することによって３Ｄコンピュータ表面形状モデルを見ることができるようになる仮想カメラを提供することによって実行される。静止状態を維持し、ユーザが移動させる仮想カメラに従って３Ｄコンピュータモデルの画像が生成され、重なって表示されるように更なる画像は表示される。３Ｄコンピュータモデルの画像は、ユーザが下の静止画像中で３Ｄコンピュータモデル及び被写体オブジェクトの配置を見ることができるような形態で表示される。これにより、ユーザには仮想カメラを移動させて表示された更なる画像中の被写体オブジェクトのビューに対応する３Ｄコンピュータモデルのビューを生成する機能が提供される。その後、仮想カメラの撮影パラメータが格納され、更なる画像の画像パラメータが定義される。このようにして、更なる画像は３Ｄコンピュータモデルに登録され、３Ｄコンピュータモデルに対するテクスチャデータが更なる画像及び少なくとも１枚の最初の画像からの画像データによって生成される。
【００１３】
このように処理を実行することによって、被写体オブジェクトの画像を記録・処理し、３Ｄコンピュータ表面形状モデルを生成することができ、テクスチャデータを生成する際に使用する１枚以上の更なる画像を記録することができる。各更なる画像の記録は、３Ｄコンピュータ表面形状モデルを生成するための画像の記録に課される制約により制限されない。例えば、校正パターンが使用される場合、３Ｄコンピュータ表面形状モデルを生成するために使用する各画像は、校正パターンの十分な部分が見えるように記録されなければならないが、テクスチャデータ生成にのみ使用される各画像は、校正パターンを見せる必要はない。
【００１４】
同様に、被写体オブジェクトが校正オブジェクトなしに撮影される場合、３Ｄコンピュータ表面形状モデルを生成するのに使用すべき各画像は、被写体オブジェクト上で十分な数の特徴を示すように記録されなければならない。この特徴は少なくとも１枚の他の画像中の特徴と照合することができるものである。しかし、テクスチャデータ生成のみに使用される各画像は、他の画像中の特徴と照合するための特徴を示す必要はない。
【００１５】
各更なる画像を３Ｄコンピュータモデルに登録する方法により、正確で信頼性の高い登録方法が提供され、被写体オブジェクトを忠実に表現するテクスチャデータを生成できるようになる。
【００１６】
３Ｄコンピュータモデルの画像及び更なる画像は、３Ｄコンピュータモデルの画像が更なる画像上に半透明の形態で重ねて表示されるように混合されても良い。これにより、ユーザは３Ｄコンピュータモデル及び下の更なる画像中の被写体オブジェクトの双方を見ることができる。
【００１７】
代替の構成として、３Ｄコンピュータモデルの画像及び更なる画像は、３Ｄコンピュータモデルと更なる画像中の被写体オブジェクトとの間の配置が変化するにつれてユーザに対して表示される色が変化するように、ビットごとの論理演算に従って合成されても良い。
【００１８】
３Ｄコンピュータモデルの画像及び更なる画像は、３Ｄコンピュータモデル及び更なる画像中の被写体オブジェクトの登録状態を示す表示画像をユーザに提供するのと同じ効果を達成するために、その他の方法で合成されても良い。
【００１９】
また、本発明は、上述の処理を実行する際に使用する処理装置及び処理方法を提供する。
【００２０】
また、本発明は、プログラム可能な処理装置を、上述の装置として、あるいは、上述の方法を実行するように動作可能に構成するための命令を含む記憶装置又は信号などとして具現化されたコンピュータプログラム製品を提供する。
【００２１】
【発明の実施の形態】
添付の図面を参照して、単なる一例としての本発明の各実施例を説明する。同じ符号は同じ部分を示すのに使用される。
【００２２】
図１を参照すると、本発明の一実施例は、従来のように１つ以上のプロセッサ、メモリ、及びグラフィックスカードなどを含むパーソナルコンピュータ（ＰＣ）のような処理装置２と、従来型のパーソナルコンピュータモニタのような表示装置４と、キーボード及びマウスなどのユーザ入力装置６と、プリンタ８と、ＷＡＣＯＭ製造のＰＬ４００などの、制御可能画素を有するフラットパネルから構成される表示パネル１０とを具備する。
【００２３】
処理装置２は、例えば、ディスク１２などのデータ記憶媒体に格納されたデータとして及び／又は遠隔データベース等からインターネットなどの通信ネットワーク（不図示）を介する伝送あるいは空気を介する無線伝送により処理装置２に入力され且つ／又はキーボードなどのユーザ入力装置６を介してユーザにより入力される信号１４として入力されるプログラミング命令に従って動作するようにプログラムされる。
【００２４】
以下に更に詳細に説明するが、これらのプログラミング命令は、夫々異なる位置と向きで記録された被写体オブジェクトの複数の画像を定義する入力データを処理することによって被写体オブジェクトの表面形状の３Ｄコンピュータモデルを定義するデータを生成すると共に、被写体オブジェクトの少なくとも１枚の更なる画像の画像データから３Ｄコンピュータモデルに対するテクスチャデータを生成するように処理装置２を構成させるための命令である。この更なる画像自体は３Ｄコンピュータモデルを生成するのに使用されていない。更なる画像はサーフェスモデルを生成するのに使用される画像中で見えない被写体オブジェクトの部分を示しても良く、その結果、これらの部分に対して被写体オブジェクトの表面を忠実に表現するテクスチャデータが生成されるであろう。
【００２５】
特に、プログラミング命令は、画像の第１の集合に対する画像データを処理して画像が記録された相対的な位置及び向きを計算し（それにより、第１の登録済の画像の集合を生成する）、第１の集合から登録済の画像を使用して被写体オブジェクトの表面形状の３Ｄコンピュータモデルを定義するデータを生成し、３Ｄコンピュータモデルを被写体オブジェクトの１つ以上の更なる画像に登録し、第１の集合の画像中で見える特徴の他に更なる画像中でのみ見える特徴を表現するテクスチャデータを含む３Ｄコンピュータモデルに対するテクスチャデータを生成するよう動作可能に処理装置２を構成させるための命令である。
【００２６】
本実施例では、被写体オブジェクトは、既知の特徴パターンを有する校正オブジェクト（本実施例においては２次元写真マット）の上で撮影される。３Ｄコンピュータサーフェスモデルを生成するのに用いられる入力画像群は、固定の構成において（すなわち、被写体オブジェクトの校正オブジェクトに対する位置及び向きは各画像について同じ）被写体オブジェクト及び校正オブジェクトの夫々に異なる位置及び向きで記録される画像により構成されている。入力画像が記録されたときの位置及び向きは、画像中の校正オブジェクトパターンの特徴の位置を検出することにより計算される。
【００２７】
以下で詳細に説明するように、プログラミング命令は、更なる画像を静止の背景画像として表示し、仮想カメラを制御することによってユーザが３Ｄコンピュータモデルを見ることができるようにする３Ｄブラウザを提供し、ユーザが仮想カメラを制御すると、半透明の形態で背景画像に重なる仮想カメラからの３Ｄコンピュータモデルの画像をリアルタイムで表示し、仮想カメラからの３Ｄコンピュータモデルの表示が表示された更なる画像と十分な程度に同じであることを示す信号をユーザが入力すると仮想カメラのビューパラメータを更なる画像のビューパラメータとして格納することによって、更なる画像の各々に３Ｄコンピュータモデルを登録するよう動作可能に処理装置２を構成させるための命令である。
【００２８】
処理装置２は、プログラミング命令によりプログラミングされたとき、処理動作を実行するための幾つかの機能ユニットとして構成されたと考えることができる。そのような機能ユニットの例及びそれらの相互接続関係を図１に示す。しかし、図１に示すユニット及び相互接続は概念上のものであり、理解を助ける目的のために一例として示されているにすぎない。従って、それらが、処理装置２のプロセッサ、メモリなどが実際に構成するユニットや接続を必ずしも表してはいない。
【００２９】
図１に示す機能ユニットを説明すると、中央制御装置２０はユーザ入力装置６からの入力を処理すると共に、その他の機能ユニットの制御及び処理を提供するように構成される。
【００３０】
メモリ２４は、処理装置に対する動作命令を格納し、処理装置に入力されるデータを格納し、更に、中央制御装置２０及びその他の機能ユニットにより生成されるデータを格納するべく設けられる。
【００３１】
マット発生器３０は、紙などの記録媒体上に校正パターンをプリントしてプリント済の「写真マット」３４を形成するため、あるいは、表示パネル１０に校正パターンを表示して写真マットを表示するためにプリンタ８又は表示パネル１０を制御する制御信号を発生するように構成される。以下に更に詳細に説明するが、写真マットは所定の特徴の校正パターンを有し、３Ｄコンピュータモデルを生成すべき被写体オブジェクトは、プリント済写真マット３４又は校正パターンが表示される表示パネル１０上に配置される。その後、３Ｄコンピュータ表面形状モデルの生成に使用するために、被写体オブジェクトの画像及び校正パターンが記録され、処理装置２に入力される。これらの画像は、被写体オブジェクト及び校正パターンに対して夫々異なる位置及び向きから記録される画像であり、被写体オブジェクトの校正パターンに対する位置及び向きは３Ｄコンピュータ表面形状モデルを生成するのに使用される全ての画像に対して同じである。
【００３２】
マット発生器３０は、処理装置２が入力画像記録時の位置及び向きを計算する際に使用するための、写真マット上にプリント又は表示された特徴の校正パターンを定義するデータを格納するように構成される。すなわち、本実施例では、マット発生器３０は、特徴パターンに対する座標系（実際には校正パターンの基準の位置及び向きを定義する）と共に特徴パターンを定義するデータを格納するように構成されており、処理装置２は、入力画像が記録されたときの位置及び向きを定義済み座標系において（従って、基準の位置及び向きに対して）計算するように構成されている。このように、入力画像の記録位置及び向きが相互に対して計算され、登録済の入力画像の集合が生成される。
【００３３】
本実施例では、写真マット上の校正パターンは、例えば、ＰＣＴ特許出願ＧＢ００／０４４６９（ＷＯ−Ａ−０１／３９１２４）（これらの内容は全て相互参照により本明細書に取り入れられている）に記載されているような特徴の空間クラスタ、あるいは、例えば、ＪＰ−Ａ−９−１７０９１４に記載されているような、各々の対応するドットが一意のものであるように各ドットが異なる色相／輝度の組み合わせを有する着色ドットのパターン、Ｎｉｅｍの「Ａｕｔｏｍａｔｉｃ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ３Ｄ Ｏｂｊｅｃｔｓ Ｕｓｉｎｇ ａ Ｍｏｂｉｌｅ Ｃａｍｅｒａ」（Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ １７、１９９９年、１２５〜１３４ページ）に記載されているような、各象限で複数の同心円を寸法がわかっている半径方向線分及び位置マーカで結ぶことにより形成されるパターン、又はＧｏｒｔｌｅｒ他の「Ｔｈｅ Ｌｕｍｉｇｒａｐｈ」（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｅｄｉｎｇｓ， Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｓｅｒｉｅｓ、１９９６年、ＡＣＭ−０−８９７９１−７６４−４／９６／００８に記載されているような、それぞれ異なる直径を有する複数の同心リングから構成されるパターンなどの任意の既知の特徴パターンを含む。
【００３４】
本実施例の以下の説明においては、プリント済写真マット３４を生成するために、校正パターンはプリンタ８により記録媒体（本実施例では、シート紙）にプリントされるものと想定するが、先に述べたように、表示パネル１０に校正パターンを表示することも可能であろう。
【００３５】
入力データインタフェース４０は、処理装置２内への入力データの格納を制御するように構成される。データは、例えば、ディスク４２などの記憶装置に格納されるデータとして、処理装置２へ送信される信号４４として、又はユーザ入力装置６を使用して処理装置２に入力されても良い。本実施例では、入力データは夫々異なる位置及び向きで記録された写真マット３４上の被写体オブジェクトの複数の画像を定義する。入力画像は、被写体オブジェクトの表面形状の３Ｄコンピュータモデルを生成するように処理すべき画像の集合を含む。校正パターンに対する被写体オブジェクトの位置及び向きは集合中の全ての画像に対して同じである。また、入力画像データは、３Ｄコンピュータモデル自体を生成するように処理されるものではなく、３Ｄコンピュータモデルに対するテクスチャデータを生成する為に処理されるための被写体オブジェクトの少なくとも１枚の更なる画像（校正パターンを示しても、示さなくても良い）に対する画像データを含む。加えて、本実施例における入力データは、入力画像を記録したカメラの固有のパラメータ、すなわち、縦横比、焦点距離、主点（光軸が撮影平面と交わる点）、１次半径方向歪み係数及びスキュー角（画素格子の軸が厳密には直交していないことがありえるため、それらの軸が成す角度）を定義するデータも含む。
【００３６】
入力画像を定義する入力データは、例えば、画像を記録したデジタルカメラから画素データをダウンロードするか、あるいは、スキャナ（不図示）を使用して写真を走査することにより生成されても良い。
【００３７】
固有のカメラパラメータを定義する入力データは、ユーザがユーザ入力装置６を使用することにより入力されても良い。
【００３８】
カメラ計算器５０は、３Ｄコンピュータ表面形状モデルを生成するのに使用される集合中の各入力画像を処理して、写真マット３４の校正パターンの特徴の画像中の位置を検出すると共に、画像が記録されたときの写真マット３４に対するカメラの位置及び向きを計算するように構成される。このように、各入力画像の位置及び向きは同じ校正パターンに対して計算されるので、集合中の入力画像の位置及び向きは共通の座標系において定義され、入力画像の登録済の集合が生成される。
【００３９】
サーフェスモデラ６０は、３Ｄコンピュータ表面形状モデルを生成するのに使用される集合中の各画像の画像データと集合中の各画像に対してカメラ計算器５０により計算されるカメラの位置及び向きとを処理して、被写体オブジェクトの表面を表現するポリゴンメッシュを含む３Ｄコンピュータモデルを生成するように構成される。
【００４０】
レンダラ７０は、仮想カメラに従ってサーフェスモデラ６０により生成される３Ｄコンピュータサーフェスモデルの画像を定義するデータを生成するように構成される。レンダラ７０により実行される処理は従来のレンダリング処理であり、処理装置２により生成されるテクスチャデータを３Ｄコンピュータサーフェスモデル上にレンダリングすることを含む。
【００４１】
仮想カメラ制御装置８０は、ユーザ入力装置６を使用してユーザが入力した命令に応答して、レンダラ７０により使用される仮想カメラを制御し、３Ｄコンピュータモデルの画像を生成する。
【００４２】
テクスチャデータ発生器１００は、サーフェスモデラ６０により生成される３Ｄコンピュータモデルへとレンダラ７０によりレンダリングすべき入力画像からテクスチャデータを生成するように構成される。
【００４３】
表示制御装置１１０は、処理装置２による処理中に表示装置４を制御してユーザに対し画像及び命令を表示するように構成される。加えて、表示制御装置１１０は、表示装置４を制御してテクスチャデータ発生器１００により生成されるテクスチャデータを用いてレンダリングされる３Ｄコンピュータサーフェスモデルの各画像を示すレンダラ７０により生成される画像データを表示するように構成される。
【００４４】
出力データインタフェース１２０は、処理装置２からのデータの出力を制御するように構成される。本実施例では、出力データは、サーフェスモデラ７０により生成される３Ｄコンピュータ表面形状モデルとテクスチャデータ発生器１００により生成されるテクスチャデータとを定義する。出力データインタフェース１２０は、例えば、ディスク１２２などの記憶装置上のデータ及び／又は信号１２４としてデータを出力するように構成される。出力データの記録は、直接に、あるいは、記録装置（不図示）を使用して間接的に出力信号１２４を記録することによって行なわれても良い。
【００４５】
図２を参照して、３Ｄコンピュータ表面形状モデルを生成するために、処理装置２によって処理される入力画像の集合の記録について説明する。
【００４６】
プリント済写真マット３４が表面２００に配置されており、３Ｄコンピュータモデルを生成すべき被写体オブジェクト２１０は、被写体オブジェクト２１０がマット上の校正パターンを構成する特徴により包囲されるように、写真マット３４のほぼ中央に配置される。
【００４７】
被写体オブジェクト２１０の夫々異なる部分を示すため、被写体オブジェクト２１０及び写真マット３４の画像はデジタルカメラ２３０を使用して夫々異なる位置と向きで記録される。本実施例では、カメラ２３０により記録される画像を定義するデータは、ワイヤ２３２を介して信号４４として処理装置２に入力される。
【００４８】
具体的に説明すると、本実施例では、カメラ２３０の位置は固定されたままであり、被写体オブジェクト２１０を乗せた写真マット３４は表面２００上で移動（並進）及び（例えば、矢印２４０の方向に）回転され、カメラ２３０に対して夫々異なる位置と向きで被写体オブジェクト２１０の写真が記録される。３Ｄコンピュータ表面形状モデルを生成するのに使用される画像を記録するために表面２００上で写真マット３４が回転・並進している間、被写体オブジェクト２１０はマット３４に対して動かない。このため、校正パターンに対する被写体オブジェクト２１０の位置及び向きは集合中の各画像に対して同じである。
【００４９】
被写体オブジェクト２１０の上面の画像は、カメラ２３０を三脚から取り外し、上方から被写体オブジェクト２１０を撮影することによって記録される。
【００５０】
図３は、３Ｄコンピュータ表面形状モデルを生成する処理のために処理装置２に入力されるデータにより定義される画像の集合のうちの画像の例３００、３０４、３０８及び３１２を示す図である。これらの画像は、カメラ２３０に対して夫々異なる位置及び向きにある被写体オブジェクト２１０及び写真マット３４を示す。
【００５１】
図４は、本実施例において入力データを処理するために処理装置２により実行される処理動作を示す図である。
【００５２】
図４のステップＳ４−２において、中央制御装置２０は表示制御装置１１０に３Ｄコンピュータ表面形状モデルを生成する処理のためのデータの入力をユーザに要求するメッセージを表示装置４に表示させる。
【００５３】
ステップＳ４−４において、ステップＳ４−２での要求に応答してユーザにより入力されたデータを入力データインタフェース４０の制御下でメモリ２４に格納する。具体的に説明すると、上述のように本実施例では、入力データは夫々異なる相対的な位置及び向きで記録された被写体オブジェクト２１０及び写真マット３４の画像を定義するデータと、入力画像を記録したカメラ２３０の固有のパラメータを定義するデータとを含む。
【００５４】
ステップＳ４−６において、カメラ計算器５０は、ステップＳ６−４で格納された入力画像データ及び固有のカメラパラメータデータを処理して、入力画像ごとに写真マット３４上の校正パターンに対する（従って、被写体オブジェクト２１０に対する）カメラ２３０の位置及び向きを判定する。この処理は、入力画像ごとに、写真マット３４の校正パターンを構成する画像中の特徴を検出し、画像中のそれらの特徴の位置を格納されている写真マットのパターン中の特徴の位置と比較し、画像が記録されたときのマット３４に対するカメラ２３０の位置及び向きを計算することから成る。ステップＳ４−６でカメラ計算器５０により実行される処理は、写真マット３４上で使用されている特徴の校正パターンによって決まる。このため、適切な処理は、例えば、同時係属ＰＣＴ出願ＧＢ００／０４４６９（ＷＯ−Ａ−０１／３９１２４）、ＪＰ−Ａ−９−１７０９１４、Ｎｉｅｍの”Ａｕｔｏｍａｔｉｃ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ３Ｄ Ｏｂｊｅｃｔｓ Ｕｓｉｎｇ ａ Ｍｏｂｉｌｅ Ｃａｍｅｒａ”（Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ １７、１９９９年、１２５〜１３４ページ）、及びＧｏｒｔｌｅｒ他の”Ｔｈｅ Ｌｕｍｉｇｒａｐｈ”（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｅｄｉｎｇｓ， Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｓｅｒｉｅｓ、１９９６年、ＡＣＭ−０−８９７９１−７６４−４／９６／００８）に記載されている。尚、各入力画像中の校正パターンの特徴の位置は、列挙した参考文献における画像処理技術を使用してカメラ計算器５０により独立して検出されるのではなく、ユーザにより（例えば、表示画像中の各校正パターン特徴を指示し、クリックすることによって）処理装置２に対して識別されても良い。
【００５５】
ステップＳ４−６でのカメラ計算器５０による処理の結果、写真マット３４上の校正パターンに対して各入力画像の位置及び向きが計算され、画像が相互に登録されている。
【００５６】
ステップ４−８において、サーフェスモデラ６０は、入力画像とカメラ計算器５０により生成される位置／向きデータとを処理することによって、被写体オブジェクト２１０の表面形状を表現するポリゴンメッシュを含む３Ｄコンピュータモデルを定義するデータを生成する。
【００５７】
本実施例では、サーフェスモデラ６０による処理は、ステップＳ４−４で格納される各入力画像を処理して被写体オブジェクト２１０を表現する画像データを他の画像データ（「背景」画像データ）から分離し、結果として生じる分離状態を処理して被写体オブジェクト２１０の表面形状を表現するポリゴンメッシュを生成することから成る。
【００５８】
本実施例では、画像データを分割する処理は、例えば、ＧＢ−Ａ−２３５８３０７の付録Ａのパート２．２に記載の従来の画像分割方法を使用して実行される。
【００５９】
分割処理により、各入力画像中で被写体オブジェクト２１０のシルエットを定義するデータが生成される。各シルエットは、シルエットが位置する画像が記録されたときのカメラの焦点位置と共に、３Ｄ空間中の（未知の）複数の点において被写体オブジェクト２１０の表面に接する３Ｄ空間中の無限の円錐形を定義する（シルエットは画像中の被写体オブジェクト表面の輪郭を定義するためである）。
【００６０】
本実施例において、被写体オブジェクト２１０の表面形状を表現するポリゴンメッシュを生成するためにサーフェスモデラ６０により実行される処理は、入力画像中の全てのシルエットにより定義される無限の円錐形の共通部分により定義される３Ｄ空間のボリュームを判定し、結合された平面ポリゴンのメッシュにより共通部分のボリュームを表現する処理から成る。
【００６１】
この処理は、所有者の同時係属欧州特許出願ＥＰ−Ａ−１，２６７，３０９（０２２５４０２７．２）（これらの内容は全て相互参照により本明細書に取り入れられている）に記載される技術を使用して実行されても、あるいは、Ｍａｒｔｉｎ Ｌｏｈｌｅｉｎの”Ａ Ｖｏｌｕｍｅｔｒｉｃ Ｉｎｔｅｒｓｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ３Ｄ−Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｕｓｉｎｇ ａ Ｂｏｕｎｄａｒｙ−Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ”（ｈｔｔｐ：／／ｉ３１ｗｗｗ．ｉｒａ．ｕｋａ．ｄｅ／ｄｉｐｌｏｍａｒｂｅｉｔｅｎ／ｄａ＿ｍａｒｔｉｎ＿ｌｏｅｈｌｅｉｎ／Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ．ｈｔｍｌ）又はＭ． Ｓｚｉｌｖａｓｉ−Ｎａｇｙの”Ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ ｔｈｅ Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｆ Ｔｗｏ Ｓｉｍｐｌｅ Ｐｏｌｙｈｅｄｒａ”（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｆｏｒｕｍ ３、１９８４年、２１９〜２２５ページ）に記載されるような従来の方法を使用して実行されても良い。
【００６２】
また、サーフェスモデラ６０は、例えば、Ｉｌｌｉｎｇｓｗｏｒｔｈ及びＨｉｌｔｏｎの”Ｌｏｏｋｉｎｇ ｔｏ ｂｕｉｌｄ ａ ｍｏｄｅｌ ｗｏｒｌｄ： ａｕｔｏｍａｔｉｃ ｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ｓｔａｔｉｃ ｏｂｊｅｃｔ ｍｏｄｅｌｓｕｓｉｎｇ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ”（Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｊｏｕｒｎａｌ、１９９８年６月、１０３〜１１３ページ）や、Ｎｉｅｍの”Ａｕｔｏｍａｔｉｃ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ３Ｄ Ｏｂｊｅｃｔｓ Ｕｓｉｎｇ ａ Ｍｏｂｉｌｅ Ｃａｍｅｒａ”（Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ １７、１９９９年、１２５〜１３４ページ）に記載されるようなｓｈａｐｅ−ｆｒｏｍ−ｓｉｌｈｏｕｅｔｔｅ処理を実行しても良い。これらの方法では、シルエット円錐形の共通部分を計算し、これを使用して複数のボクセル（直平行六面体）から構成される被写体オブジェクトの「ボリューム表現」を生成する。具体的には、３Ｄ空間を複数のボクセルに分割し、これらのボクセルを検査してどのボクセルがシルエット円錐形の共通部分により定義されるボリュームの内側に位置するかを判定する。共通部分のボリュームの内側のボクセルは、被写体オブジェクトを表現する複数のボクセルのボリュームを定義するために保持される。ボリューム表現は、結合されたポリゴンのメッシュを含むサーフェスモデルへと変換される。
【００６３】
ステップＳ４−８での処理の結果、被写体オブジェクト２１０の表面を表現するポリゴンメッシュが生成される。ポリゴンメッシュ３９０は、上述のように入力画像の集合のうちの入力画像３００から３１６を使用して生成されるので、集合中のこれらの入力画像に登録される（すなわち、入力画像３００から３１６の位置及び向きに対するポリゴンメッシュの位置及び向きは既知である）。
【００６４】
ステップＳ４−１０において、テクスチャデータ発生器１００は入力画像を処理し、ステップＳ４−８で生成された３Ｄコンピュータモデルに対するテクスチャデータを生成する。
【００６５】
具体的に説明すると、本実施例では、テクスチャデータ発生器１００は、ステップＳ４−８で生成された３Ｄコンピュータモデル中の各ポリゴンを選択し、選択されたポリゴンに最も近接して直面している入力画像「ｉ」を見出す処理を従来の方法で実行する。すなわち、ポリゴンの法線をｎ_ｔ（ベクトル）とし、「ｉ」番目の画像の撮影方向をｖ_ｉ（ベクトル）とするとき、値ｎ_ｔ・ｖ_ｔが最大である入力画像が求められる。これは、選択された表面ポリゴンが最大投射面積を有する入力画像を識別する。
【００６６】
選択された表面ポリゴンは識別された入力画像へと投影され、投影された多角系の頂点は画像テクスチャマップを定義するためのテクスチャ座標として使用される。
【００６７】
テクスチャデータ発生器１００がステップＳ４−１０においてテクスチャデータの生成に使用するであろうその他の技術は、同時係属英国特許出願第００２６３３１．９号（ＧＢ−Ａ−２，３６９，５４１）及び第００２６３４７．５号（ＧＢ−Ａ−２，３６９，２６０）に記載されている。これらの内容は全て相互参照により本明細書に取り入れられる。
【００６８】
上述の処理を実行した結果、モデル上にレンダリングすべき入力画像から画像データを定義するテクスチャ座標と共に、被写体オブジェクト２１０の表面形状をモデリングするポリゴンメッシュを含む３Ｄコンピュータモデルが生成される。
【００６９】
しかし、図２及び図３において、被写体オブジェクト２１０の一部は記録された画像中で見えず、ステップＳ４−６からＳ４−１０で処理すべく処理装置２へと入力される。具体的には、図２及び図３に示す例において、被写体オブジェクト２１０の基部は見えない。このため、被写体オブジェクト２１０の基部はポリゴンメッシュにより平らな面としてモデリングされることになるが、基部に対する入力画像からテクスチャデータは取得されないであろう。従って、例えば、図５の例示の画像３１６に示すような３Ｄコンピュータモデルの画像において、テクスチャデータなしにフラットシェーディング（「コンスタントシェーディング」とも呼ばれる）が基部に対して行なわれることになる。すなわち、単一の光の強度値を使用して基部の平らな面を表現する各ポリゴンがシェーディングされるので、基部を構成する各ポリゴンのシェーディングは一定である。
【００７０】
このため、本実施例のステップＳ４−１２からＳ４−１６において、ステップＳ４−６からＳ４−１０で処理された入力画像中で見えない被写体オブジェクト２１０の部分を示す少なくとも１枚の追加の入力画像が処理装置２に入力され、各追加の入力画像をステップＳ４−８で生成された３Ｄコンピュータ表面形状モデルに登録する（すなわち、追加の入力画像が正しい配置及び寸法で３Ｄコンピュータサーフェスモデルへと投影するように３Ｄコンピュータサーフェスモデル及び追加の入力画像の相対的な位置及び向きを判定する）処理が実行される。続いて、３Ｄコンピュータ表面形状モデルに対する追加のテクスチャデータが追加の画像の画像データから生成される。
【００７１】
図６は、ポリゴンメッシュの基部に対するテクスチャデータを生成するための追加の画像の記録の一例を示す図である。
【００７２】
図６において、被写体オブジェクト２１０は写真マット３４上で撮影される必要がない。その代わりに、図６に示す例では、被写体オブジェクト２１０はカラーのシート紙３２０に横にして配置され、被写体オブジェクト２１０の基部はカメラ２３０に面する。カメラ２３０の位置及び向きは、被写体オブジェクト２１０の基部の所要のビューを提供するために、図２に示す位置及び向きから変更されている。
【００７３】
図７は、ステップＳ４−８で生成されたポリゴンメッシュの基部に対するテクスチャデータを生成する際に使用される図６に示す構成を用いて記録された画像３３０の一例を示す図である。
【００７４】
追加の入力画像を処理してポリゴンメッシュの基部に対するテクスチャデータを生成するためにステップＳ４−１２からＳ４−１６で実行される処理動作について詳細に説明する。
【００７５】
ステップＳ４−１２において、中央制御装置２０は、表示制御装置１１０によりテクスチャデータ生成に使用すべき追加の画像が存在するか否かを尋ねるメッセージを表示装置４に表示させる。
【００７６】
これに応じて、ユーザがユーザ入力装置６を使用してテクスチャデータ生成に使用すべき追加の画像が存在しないことを示す信号を入力する場合、処理はステップＳ４−１８へと進む。
【００７７】
これに対し、ユーザがユーザ入力装置６を使用してテクスチャデータ生成に使用すべき追加の画像が少なくとも１枚存在することを示す信号を入力する場合、処理はステップＳ４−１４へと進む。ステップＳ４−１４において、各追加の画像はステップＳ４−８で先に生成されたポリゴンメッシュに登録される。
【００７８】
図８は、ポリゴンメッシュに追加の画像を登録するためにステップＳ４−１４で実行される処理動作を示す図である。
【００７９】
図８のステップＳ８−２において、中央制御装置２０は、表示制御装置１１０によりテクスチャデータ生成のために処理すべき各追加の画像を定義する画像データを入力するようユーザに対して要求するメッセージを表示装置４に表示させる。
【００８０】
ステップＳ８−４において、ステップＳ８−２での要求に応答してユーザが入力した画像データが、入力データインタフェース４０の制御下でメモリ２４に格納される。
【００８１】
ステップＳ８−６において、中央制御装置２０は、表示制御装置１１０により静止の背景画像として次の追加の画像を表示装置４に表示させる（ステップＳ８−６が初めて実行される場合、これは最初の追加の画像である）。このため、図７に示す画像３３０が背景画像として表示装置４に表示される。
【００８２】
ステップＳ８−８において、レンダラ７０は仮想カメラの固有のパラメータ（焦点距離など）の値をステップＳ４−４で格納された値と同じになるように設定し、所定の仮想カメラビュー位置／方向に従ってステップＳ４−８で生成され、ステップＳ４−１０で生成されたテクスチャデータを用いてレンダリングされたポリゴンメッシュの画像を定義する画像データを生成する。表示制御装置１１０は、表示装置４を制御してステップＳ８−６で表示された背景画像の上に重なるように、生成されたテクスチャマッピングされたポリゴンメッシュの画像を表示させる。本実施例では、テクスチャマッピングされたポリゴンメッシュは、背景画像が透過して見えるように半透明の形態で表示される。
【００８３】
ポリゴンメッシュの半透明表示を達成するために、本実施例では、ポリゴンメッシュは背景画像上にレンダリングされ、メッシュが投影する（すなわち、各画素が少なくとも部分的にメッシュの内側にある）背景画像中の各画素に対して変更された値が計算される。この計算は変更すべき各画素に対して、背景画像中の画素色成分値（Ｒ、Ｇ、Ｂ）の各々とレンダリングされたポリゴンメッシュ中の画素の対応する画素色成分値（Ｒ、Ｇ、Ｂ）の各々の平均値を取ることによって、行われるものである。すなわち、背景画像中の画素の赤色値とレンダリングされたポリゴンメッシュ画像中の対応する画素の赤色値の平均が計算され、表示すべき画素に対する複合の赤色値が生成される。青色値及び緑色値に対しても同様の処理が行なわれる。投影されるポリゴンメッシュの外側の各画素に関して、背景画像中の画素の値が保持される。このように、レンダラ７０により生成された画像中のポリゴンメッシュを包囲する背景は背景画像に影響を与えない。（代替例では、背景画像中の全ての画素は、それがポリゴンメッシュの内側にあるか、あるいは、外側にあるかに関わらず変更される可能性があり、その結果、ユーザに対して表示される画像中の各画素値は、背景画像からの画素値とレンダラ７０により生成されたレンダリング済の画像における画素値の平均となる。）
ステップＳ８−８で実行された処理の結果の一例を図９に示す。図９はテクスチャマッピングされたポリゴンメッシュ３５０の画像データが背景画像データ３６０上に半透明の形態で重なって表示される画像３４０を示す図である。
【００８４】
このように、テクスチャマッピングされたポリゴンメッシュの画像データを半透明の形態で表示することによって、ユーザは背景画像及びテクスチャマッピングされたポリゴンメッシュの双方を見ることができる。
【００８５】
ステップＳ８−１０において、仮想カメラ制御装置８０は、ユーザがユーザ入力装置６を使用して入力した命令に従ってレンダラ７０がポリゴンメッシュの画像を生成するのに使用する仮想カメラをポリゴンメッシュに対する新規の位置及び向きへと移動させる。
【００８６】
ステップＳ８−１２において、仮想カメラ及び３Ｄポリゴンメッシュの相対的な位置及び向きが変更されるのと同時に、レンダラ７０は仮想カメラからのレンダリング済のポリゴンメッシュを示す更新された画像データを生成し、更新された画像データは半透明の形態で背景画像に重なって表示装置４に表示される。ポリゴンメッシュの基部にはフラットシェーディングが行なわれ、半透明の形態で表示される。
【００８７】
ステップＳ８−１４において、仮想カメラ制御装置８０は、仮想カメラ及び３Ｄポリゴンメッシュの相対的な回転及び並進を変更するために更なる入力信号がユーザから受信されたか否かを判定する。仮想カメラ及びポリゴンメッシュの相対的な回転及び並進が正確である、すなわち、仮想カメラが追加の画像中で示される被写体オブジェクト２１０のビューとほぼ同じ３Ｄポリゴンメッシュのビューを示す位置及び向きまで移動したことを示す信号をユーザがユーザ入力装置６を使用して入力するまで、ステップＳ８−１０からＳ８−１４を繰り返す。
【００８８】
このため、ステップＳ８−１２で表示装置４に表示された画像４００から４５０を示す図１０ａから図１０ｆにおいて、ユーザは表示装置４に表示されたテクスチャマッピングされたポリゴンメッシュの画像３５０を移動させて静止の背景画像３６０中の被写体オブジェクト２１０の画像に正確に合わせるようにポリゴンメッシュに対して仮想カメラを移動させる（図１０ａから図１０ｄ）ことができると共に、レンダリング済のポリゴンメッシュの画像３５０のサイズが背景画像中の被写体オブジェクト２１０のサイズと同じであるように画像３５０のサイズを変更する（図１０ｅ及び図１０ｆ）ことができる。このように、ユーザは実際のカメラ２３０により記録された被写体オブジェクト２１０に対応する仮想カメラからのポリゴンメッシュのビューを生成することができる。テクスチャマッピングされたポリゴンメッシュの画像３５０を半透明の形態で背景画像に重ねて表示することにより、ユーザはこの登録プロセスを正確に実行することができる。
【００８９】
再度図８を参照する。ステップＳ８−１４においてユーザから登録を完了するように指示する命令が受信されると、処理はステップＳ８−１６へと進む。ステップＳ８−１６において、ステップＳ８−１２で最終的な画像（すなわち、テクスチャマッピングされたポリゴンメッシュ３５０が背景画像データ３６０の被写体オブジェクト２１０に登録されている画像）を生成するのに使用される仮想カメラの位置及び向きが、ステップＳ８−６で選択された追加の画像に対する位置及び向きとして格納される。このため、格納されたデータはステップＳ８−８で生成されたポリゴンメッシュに対する追加の画像の位置及び向きを定義する。加えて、ステップＳ４−４で先に格納された固有のカメラパラメータ（焦点距離など）が追加の画像に対する固有のパラメータとして格納される。
【００９０】
ステップＳ８−１８において、中央制御装置２０はテクスチャデータを生成するための処理すべき更なる追加の画像が存在するか否かを判定する。以上説明したように各追加の画像を処理し終わるまで、ステップＳ８−６からＳ８−１８を繰り返す。
【００９１】
図４に戻ると、ステップＳ４−１６において、テクスチャデータ発生器１００は、ステップＳ４−１４でポリゴンメッシュに登録された各追加の画像からの画像データを考慮してステップＳ４−８で生成されたポリゴンメッシュに対するテクスチャデータを再度生成する。本実施例では、ステップＳ４−１６でのテクスチャデータ生成は、上述のステップＳ４−１０でのテクスチャデータ生成と同様に実行される。
【００９２】
ステップＳ４−１６での処理の結果、ステップＳ４−６からＳ４−１０で処理された入力画像中では見えないが、ステップＳ４−１２からＳ４−１６で処理された少なくとも１枚の追加の画像中では見えるポリゴンメッシュの各表面に対してテクスチャデータが生成される。
【００９３】
従って、図１１を参照して説明すると、ポリゴンメッシュの基部が見えるビュー位置／方向からレンダリングされる画像４６０において、基部は追加の入力画像３３０から得られるテクスチャデータを使用して正確にテクスチャマッピングされることになる。
【００９４】
再び図４に戻ると、ステップＳ４−１８において、出力データインタフェース１２０は、ステップＳ４−８で生成された３Ｄポリゴンメッシュを定義するデータとステップＳ４−１０及びＳ４−１６で生成されたテクスチャデータとを出力する。出力されるテクスチャデータは、メッシュ中の各ポリゴンについて計算された入力画像中のテクスチャ座標を定義するデータと共に、テクスチャデータの為に使用される入力画像の各々を定義するデータを含んでも良い。また、テクスチャデータとして使用される画素データは入力画像から抽出され、出力されても良い。
【００９５】
データは、例えば、ディスク１２２などの記憶装置上に格納されるデータ又は信号１２４（図１）として処理装置２から出力される。これに加えて又はその代わりに、レンダラ７０は、仮想カメラ制御装置８０により定義されると共にユーザにより制御される仮想カメラに従って、ステップＳ４−８で生成され、ステップＳ４−１０で生成されたテクスチャデータを用いてレンダリングされた３Ｄコンピュータモデルの画像を定義する画像データを生成しても良い。画像は表示装置４に表示されるであろう。
【００９６】
変更例及び変形例
上述の実施例には特許請求の範囲の趣旨の範囲内で様々な変更及び変形を行なうことができる。
【００９７】
例えば、上述の実施例では、各入力画像は被写体オブジェクト２１０の「静止」画像である。しかし、入力画像はビデオカメラからの画像データのフレームであっても良い。
【００９８】
上述の実施例のステップＳ４−４では、ユーザにより入力されるカメラの固有のパラメータを定義するデータが格納される。しかし、その代わりに、固有のカメラパラメータのうちの１つ以上に対してデフォルト値が想定されても良いし、また、例えば、Ｈａｒｔｌｅｙの「Ｅｕｃｌｉｄｅａｎ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｆｒｏｍ Ｕｎｃａｌｉｂｒａｔｅｄ Ｖｉｅｗｓ」（Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｉｎｖａｒｉａｎｃｅ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、Ｍｕｎｄｙ， Ｚｉｓｓｅｒｍａｎ ａｎｄＦｏｒｓｙｔｈ編集、２３７〜２５６ページ、Ａｚｏｒｅｓ、１９９３年）に記載されるように従来の方法で固有のパラメータ値を計算する処理が実行されても良い。
【００９９】
上述の実施例では、３Ｄコンピュータ表面形状モデル及び最初のテクスチャデータを生成するためにステップＳ４−６からＳ４−１０で処理された入力画像の全ては、写真マット３４上の被写体オブジェクト２１０の画像であり、カメラ計算器５０による処理は、画像中の写真マット３４上の校正パターンからの特徴を校正パターンを定義する格納データと照合する処理である。このように、各入力画像の位置及び向きは、校正パターンの基準の位置及び向きに対して計算される。しかし、その代わりに、カメラ計算器５０は画像間（画像・格納パターン間の代わりに）で校正パターンの特徴を照合する処理を実行し、入力画像の相対的な位置及び向きを判定しても良い。例えば、同時係属ＰＣＴ出願ＧＢ００／０４４６９（ＷＯ−Ａ−０１／３９１２４）において図５３及び図５４を参照して説明したような技術が使用されても良い。あるいは、ステップＳ４−６からＳ４−１０で処理された入力画像は、写真マットなしの被写体オブジェクト２１０単独の画像であっても良く、カメラ計算器５０は、ステップＳ４−６において、例えば、ＥＰ−Ａ−０８９８２４５に記載されるように被写体オブジェクト２１０自体の特徴を照合（校正パターン中の特徴を照合するのではない）することによって入力画像の相対的な位置及び向きを計算する処理を実行しても良い。加えて、カメラ計算器５０は、ステップＳ４−６において、ユーザにより識別される（例えば、異なる画像中の同じ特徴の位置を識別するために指示／クリックすることによって）画像中の整合する特徴を使用して入力画像の相対的な位置及び向きを計算しても良い。
【０１００】
上述の実施例のステップＳ４−４で格納された入力画像は、位置及びビュー方向が定められた１台以上のカメラを用いて記録される被写体オブジェクト２１０の画像であっても良い。この場合、入力画像の撮影位置／向きは既知であり、ステップＳ４−４で格納されても良い。カメラ計算器５０及びステップＳ４−６での処理は省略されるであろう。
【０１０１】
上述の実施例では、サーフェスモデラ６０は、各画像の画像データを分割してシルエットを生成し、結果として生じたシルエットを処理することによって被写体オブジェクト２１０の３Ｄコンピュータ表面形状モデルを生成する。しかし、その代わりに、サーフェスモデラ６０はその他の処理技術を使用して入力画像から３Ｄコンピュータ表面形状モデルを生成しても良い。例えば、ＥＰ−Ａ−０８９８２４５に記載される技術が使用されても良い。
【０１０２】
上述の実施例では、ステップＳ４−１２及びＳ４−１４が実行される前のステップＳ４−１０において、３Ｄコンピュータ表面形状モデルに対して最初のテクスチャデータが生成される。このように、ステップＳ４−１４が実行されるときにステップＳ８−８及びＳ８−１２で生成・表示される３Ｄコンピュータモデルの画像は、生成されたテクスチャデータがレンダリングされるポリゴンメッシュの画像であっても良い。また、ステップＳ４−１０を省略し、全てのテクスチャデータ生成をステップＳ４−１６で実行しても良い。この場合、ステップＳ８−８及びＳ８−１２で生成・表示されるポリゴンメッシュの画像は、フラットシェーディング（コンスタントシェーディングとも呼ばれる）を行なったポリゴンメッシュの画像であっても良い。
【０１０３】
上述の実施例では、ステップＳ８−２において、テクスチャデータ生成に使用する各追加の画像に対する画像データを入力するようユーザに対して要求する処理が実行され、ステップＳ８−４において、入力画像データが格納される。しかし、この場合、ユーザがステップＳ８−２での要求に応答して追加の画像に対する画像データを入力する間、処理装置２による処理が中断されることになる。このため、その代わりに、処理装置２による処理の開始時にステップＳ４−２及びＳ４−４の一部としてステップＳ８−２及びＳ８−４が実行されても良い。このように、テクスチャデータ生成に使用する各追加の画像のみが開始時に入力され、テクスチャデータ専用の画像としてユーザにより識別される。この識別に基づいて、処理装置２はステップＳ４−６からＳ４−１０において、３Ｄコンピュータ表面形状モデルを生成し、これらの画像の処理を実行するのに使用する画像を識別すると共に、ステップＳ４−１２において、テクスチャデータ生成用の追加の画像を識別する処理を実行するであろう。識別されたテクスチャデータ画像はステップＳ４−１４及びＳ４−１６において処理される。
【０１０４】
上述の実施例では、追加の画像をポリゴンメッシュに登録する処理中にステップＳ８−８及びＳ８−１２（図８）で生成・表示される画像データ中の画素値は、追加の画像における画素値とレンダリング済のポリゴンメッシュ画像中の対応する画素の値の平均値を取ることによって生成される。このように、ポリゴンメッシュは追加の画像上に半透明の形態で重なるように表示される。しかし、追加の画像からの画素値及びレンダリング済のポリゴンメッシュからの画素値は、他の方法で結合されても良い。加えて、ポリゴンメッシュは結果の画像中で半透明の形態で表示される必要はなく、画像を生成してユーザがレンダリング済のポリゴンメッシュ及び追加の画像中の被写体オブジェクトの相対的な配置を見ることができるように画像を表示するだけで良い。例えば、少なくとも部分的にレンダリング済のポリゴンメッシュ内にある画像中の各画素の値は、追加の画像中の画素の値からレンダリング済のポリゴンメッシュ画像中の画素の値を引き（又はその逆）、結果の値の絶対値を取ることによって計算されても良い。更なる代替例では、画像データはステップＳ８−８及びＳ８−１２において、ユーザに対して表示すべきであり、少なくとも部分的にレンダリング済のポリゴンメッシュ内にある画像中の各画素の各色成分値（Ｒ、Ｇ、Ｂ）に対してビットごとの２値論理演算（排他的論理和演算など）を実行することによって生成されても良い。このとき、論理演算に対する入力は、レンダリング済のポリゴンメッシュ中の画素の色値（Ｒ、Ｇ、又はＢであり、そのとき処理中の色成分による）を定義するビット（又は、所定数の最上位ビット）及び背景画像中の対応する画素の色値（Ｒ、Ｇ、又はＢ）を定義するビット（又は、同じ所定数の最上位ビット）を含む。各色成分（Ｒ、Ｇ、Ｂ）に対して論理演算がそれぞれ実行され、表示すべき画素の色成分に対する値が得られる。このため、例えば、論理演算がＸＯＲ演算の場合、背景画像中の画素の色成分がレンダリング済のポリゴンメッシュ中の画素の色成分と一致すればするほど、画素はより黒っぽく表示される。ステップＳ８−８及びＳ８−１２において、このように結合画像データを生成することによって、ユーザは仮想カメラを制御し、レンダリング済のポリゴンメッシュ内の表示画像中の黒い画素の数を最大限に増加することができる。画素値を結合して結合画像データを生成する他の方法も使用可能であることは言うまでもない。
【０１０５】
上述の実施例では、ステップＳ８−８及びＳ８−１６において、仮想カメラの固有のパラメータ（焦点距離など）の値が定義される。この値は、ステップＳ４−４でユーザによって入力され、格納された固有のカメラパラメータ値に対応する。これは、テクスチャデータ生成に使用すべき各追加の画像を記録するのに使用されるカメラが、ステップＳ４−４で格納され、ステップＳ４−６及びＳ４−８で処理された各画像を記録して３Ｄポリゴンメッシュを生成するのに使用されるのと同じカメラであることを想定するものである。しかし、カメラが別のものである可能性があるので、ステップＳ８−２において各追加の画像を記録したカメラの固有のパラメータを定義するデータを入力するようユーザに対して要求し、ステップＳ８−４においてこのパラメータを格納し、ステップＳ８−８及びＳ８−１６において仮想カメラの固有のパラメータとして使用しても良い。あるいは、ステップＳ８−４で格納された各追加の画像に対する画像データを処理して、例えば、Ｈａｒｔｌｅｙの「Ｅｕｃｌｉｄｅａｎ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｆｒｏｍ Ｕｎｃａｌｉｂｒａｔｅｄ Ｖｉｅｗｓ」（Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｉｎｖａｒｉａｎｃｅ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、Ｍｕｎｄｙ， Ｚｉｓｓｅｒｍａｎ ａｎｄ Ｆｏｒｓｙｔｈ編集、２３７〜２５６ページ、Ａｚｏｒｅｓ、１９９３年）に記載されるように従来の方法で固有のパラメータを計算しても良い。
【０１０６】
上述の実施例では、ステップＳ４−１４及びＳ４−１６において、被写体オブジェクト２１０の基部を示す追加の画像３１６が入力・処理されて、テクスチャデータが生成される例を説明した。しかし、これに加えて又はその代わりに、ステップＳ４−１４及びＳ４−１６において、被写体オブジェクト２１０の他の部分の１枚以上の追加の画像が入力・処理されても良い。例えば、詳細なテクスチャデータが必要とされる被写体オブジェクト２１０の一部のクローズアップ画像が入力・処理されても良い。ステップＳ４−１４及びＳ４−１６において、被写体オブジェクト２１０の同じ部分（基部又はその他の部分）を示す２枚以上の追加の画像が入力・処理されても良いことは言うまでもない。
【０１０７】
上述の実施例では、処理は、プログラミング命令により定義される処理ルーチンを使用してプログラム可能なコンピュータにより実行される。しかし、処理の一部又は全部はハードウェアを使用して実行可能であることは言うまでもない。
【図面の簡単な説明】
【図１】本発明の実施例の構成要素を、プログラミング命令によりプログラムされたときに処理装置の構成要素が構成されるものと考えられる概念上の機能処理ユニットと共に概略的に示す図である。
【図２】被写体オブジェクトの３Ｄコンピュータ表面形状モデルを生成する際に使用すべき被写体オブジェクトの画像の記録を示す図である。
【図３】図１の処理装置に入力され、被写体オブジェクトの３Ｄコンピュータ表面形状モデルを生成するように処理される被写体オブジェクトの画像の例を示す図である。
【図４】図１の処理装置が入力データを処理するために実行する処理動作を示す図である。
【図５】モデルの基部のフラットシェーディングを例証するために図４のステップＳ４−８及びＳ４−１０で生成される３Ｄコンピュータモデルの画像を示す図である。
【図６】３Ｄコンピュータ表面形状モデルの基部に対するテクスチャデータを生成する際に使用すべき被写体オブジェクトの画像の記録を示す図である。
【図７】図１の処理装置に入力され、３Ｄコンピュータ表面形状モデルの基部に対するテクスチャデータを生成するように処理される被写体オブジェクトの画像の一例を示す図である。
【図８】図４のステップＳ４−１４で実行される処理動作を示す図である。
【図９】図８のステップＳ８−８で生成・表示される重なる画像の一例を示す図である。
【図１０ａ】、
【図１０ｂ】、
【図１０ｃ】、
【図１０ｄ】、
【図１０ｅ】、
【図１０ｆ】ユーザが仮想カメラを回転・並進させて３Ｄコンピュータ表面形状モデルをテクスチャデータ生成用の追加の画像に登録するときに図８のステップＳ８−１０及びＳ８−１２で生成・表示される重なる画像の例を示す図である。
【図１１】図４のステップＳ４−１６でモデルの基部に対して生成されるテクスチャデータを例証するために３Ｄコンピュータモデルの画像を示す図である。

Claims (22)

1. 被写体オブジェクトの画像を定義する画像データを処理し、前記被写体オブジェクトの表面形状の３次元コンピュータモデルを定義するデータとそのためのテクスチャデータとを生成する装置であって、
   前記被写体オブジェクトの複数の画像を定義する画像データを含む前記被写体オブジェクトの画像の集合を定義するデータと前記画像の撮影位置及び撮影方向を定義するデータとを処理し、前記集合中の前記画像に対して既知の位置及び向きを有する前記被写体オブジェクトの表面形状の３次元コンピュータモデルを定義するデータを生成する３次元コンピュータモデル生成手段と、
   前記被写体オブジェクトの表面形状の３次元コンピュータモデルを前記被写体オブジェクトの更なる画像に登録するモデル登録手段であって、
   仮想カメラに従って前記３次元コンピュータモデルの画像を定義する画像データを生成する３次元モデルビューイング手段と、
   ユーザ入力信号に応答して前記仮想カメラ及び前記３次元コンピュータモデルの相対的な位置を変更する制御手段と、
   前記３次元コンピュータモデルビューイング手段により生成される前記３次元コンピュータモデルの画像データのうちの少なくとも一部を前記更なる画像の画像データと結合し、前記更なる画像上に重なる前記３次元コンピュータモデルの画像を定義する合成画像データを生成することによって表示すべき画像データを生成する表示データ生成手段と、
   前記仮想カメラのビューパラメータを前記更なる画像のビューパラメータとして定義するデータをメモリに書き込み、それにより、前記３次元コンピュータモデル及び前記更なる画像の相対的な位置及び向きを定義する手段とを備えるモデル登録手段と、
   前記集合中の少なくとも１枚の画像及び前記更なる画像からの画像データによって前記３次元コンピュータモデルに対するテクスチャデータを生成するテクスチャデータ生成手段と
   を備えることを特徴とする装置。
2. 前記表示データ生成手段は、前記更なる画像上に半透明の形態で重なる前記３次元モデルビューイング手段により生成される前記３次元コンピュータモデルの前記画像を定義する表示すべき画像データを生成するように動作可能であることを特徴とする請求項１に記載の装置。
3. 前記表示データ生成手段は、前記合成画像データ中の少なくとも一部の画素の各々に対して２値論理演算を実行した結果によって前記少なくとも一部の画素に対して画素値を設定するように動作可能であり、前記２値論理演算への入力は、前記画素の各々に対して、前記３次元モデルビューイング手段により生成される前記画像データ中の画素に対して色値を定義する第１の値及び前記更なる画像中の画素に対して色値を定義する第２の値を含むことを特徴とする請求項１記載の装置。
4. 前記テクスチャデータ生成手段は、前記モデル登録手段の動作中に前記３次元コンピュータモデルの画像を定義する画像データを生成する前記３次元モデルビューイング手段の動作の前に、前記集合中の少なくとも１枚の画像からの画像データによって前記３次元コンピュータモデルに対するテクスチャデータを生成するように動作可能であり、
   前記３次元モデルビューイング手段は、前記モデル登録手段の動作中に前記テクスチャデータ生成手段により生成される前記テクスチャデータを用いてレンダリングされる前記３次元コンピュータモデルの画像を定義する画像データを生成するように動作可能であり、
   前記表示データ生成手段は、前記更なる画像上に重なる前記３次元モデルビューイング手段により生成される前記テクスチャレンダリング済の画像を定義する画像データを生成するように動作可能であることを特徴とする請求項１乃至３の何れか１項に記載の装置。
5. 前記３次元モデルビューイング手段は、フラットシェーディングされた前記３次元コンピュータモデルの画像を定義する画像データを生成するように動作可能であり、
   前記表示データ生成手段は、前記更なる画像上に重なる前記３次元モデルビューイング手段により生成される前記フラットシェーディング済の画像を定義する画像データを生成するように動作可能であることを特徴とする請求項１乃至３の何れか１項に記載の装置。
6. カメラの少なくとも１つの固有の撮影パラメータの値を定義するデータをメモリに書き込む手段を更に備え、
   前記３次元モデルビューイング手段は、前記仮想カメラの固有の撮影パラメータを前記格納されたパラメータと同じ値に設定するように動作可能であることを特徴とする請求項１乃至５の何れか１項に記載の装置。
7. 前記固有の撮影パラメータの値を定義するデータをメモリに書き込む手段は、ユーザが入力する固有の撮影パラメータ値を定義するデータをメモリに書き込むように動作可能であることを特徴とする請求項６に記載の装置。
8. 前記３次元コンピュータモデルを生成するのに使用される前記被写体オブジェクトの前記複数の画像を定義する画像データを処理し、前記３次元コンピュータモデル生成手段により使用すべき前記画像の前記撮影位置及び撮影方向を定義するデータを生成する画像登録手段を更に備えることを特徴とする請求項１乃至７の何れか１項に記載の装置。
9. 前記画像登録手段は、ユーザが識別する前記画像中の特徴によって前記撮影位置及び撮影方向を計算するように動作可能であることを特徴とする請求項８に記載の装置。
10. 被写体オブジェクトの画像を定義する画像データを処理し、前記被写体オブジェクトの表面形状の３次元コンピュータモデルを定義するデータとそのためのテクスチャデータとを生成する、処理装置で実行される方法であって、
    前記被写体オブジェクトの複数の画像を定義する画像データを含む前記被写体オブジェクトの画像の集合を定義するデータと前記画像の撮影位置及び撮影向きを定義するデータとを処理し、前記集合中の前記画像に対して既知の位置及び向きを有する前記被写体オブジェクトの表面形状の３次元コンピュータモデルを定義するデータを生成し、
    仮想カメラに従って前記３次元コンピュータモデルの画像を定義する画像データを生成し、
    ユーザ入力信号に応答して前記仮想カメラ及び前記３次元コンピュータモデルの相対的な位置を変更し、
    前記仮想カメラに従って生成される前記３次元コンピュータモデルの画像データのうちの少なくとも一部を更なる画像の画像データの少なくとも一部と混合し、前記更なる画像上に重なる前記３次元コンピュータモデルの画像を定義する混合画像データを生成することによって表示すべき画像データを生成し、
    前記仮想カメラのビューパラメータを前記更なる画像のビューパラメータとして定義するデータをメモリに書き込み、それにより、前記３次元コンピュータモデル及び前記更なる画像の相対的な位置及び向きを定義することにより、
    前記被写体オブジェクトの表面形状の３次元コンピュータモデルを前記被写体オブジェクトの前記更なる画像に登録し、
    前記集合中の少なくとも１枚の画像及び前記更なる画像からの画像データによって前記３次元コンピュータモデルに対するテクスチャデータを生成することを特徴とする方法。
11. 前記更なる画像上に半透明の形態で重なる前記３次元コンピュータモデルの画像を定義する画像データとして前記表示すべき画像データが生成されることを特徴とする請求項１０に記載の方法。
12. 前記表示すべき画像データを生成する処理において、前記合成画像データ中の少なくとも一部の画素の各々に対して２値論理演算を実行した結果によって前記少なくとも一部の画素に対して画素値が設定され、前記２値論理演算への入力は、前記画素の各々に対して、前記仮想カメラに従って生成される前記画像データ中の画素に対して色値を定義する第１の値及び前記更なる画像中の画素に対して色値を定義する第２の値を含むことを特徴とする請求項１０に記載の方法。
13. 前記３次元コンピュータモデルの画像を定義する画像データが、前記３次元コンピュータモデルを前記更なる画像に登録する処理中に前記仮想カメラに従って生成される前に、前記集合中の少なくとも１枚の画像からの画像データによって前記３次元コンピュータモデルに対するテクスチャデータが生成され、
    前記３次元コンピュータモデルを前記更なる画像に登録する処理中に前記仮想カメラに従って生成される前記画像データは、前記生成されたテクスチャデータを用いてレンダリングされる前記３次元コンピュータモデルの画像を定義する画像データであり、
    表示すべき画像データを生成する処理において、前記更なる画像上に重なる前記テクスチャレンダリング済の画像を定義する画像データが生成されることを特徴とする請求項１０乃至１２の何れか１項に記載の方法。
14. 前記３次元コンピュータモデルを前記更なる画像に登録する処理中に前記仮想カメラに従って生成される前記画像データは、フラットシェーディングされた前記３次元コンピュータモデルの画像を定義する画像データであり、
    表示すべき画像データを生成する処理において、前記更なる画像上に重なる前記フラットシェーディング済の画像を定義する画像データが生成されることを特徴とする請求項１０乃至１２の何れか１項に記載の方法。
15. カメラの少なくとも１つの固有の撮影パラメータの値を定義するデータをメモリに書き込むことを更に含み、前記仮想カメラの少なくとも１つの固有の撮影パラメータは前記格納されたパラメータと同じ値に設定されることを特徴とする請求項１０乃至１４の何れか１項に記載の方法。
16. メモリに書き込まれる前記固有の撮影パラメータの値は、ユーザが入力する固有の撮影パラメータ値を定義することを特徴とする請求項１５に記載の方法。
17. 前記３次元コンピュータモデルを生成するのに使用される前記複数の画像を定義する画像データを処理し、前記３次元コンピュータモデルを生成する際に使用すべき前記画像の相対的な撮影位置及び撮影向きを定義するデータを生成することを更に含むことを特徴とする請求項１０乃至１６の何れか１項に記載の方法。
18. ユーザが識別する前記画像中の特徴によって前記相対的な撮影位置及び撮影向きが計算されることを特徴とする請求項１０乃至１７の何れか１項に記載の方法。
19. 前記被写体オブジェクトの表面形状の３次元コンピュータモデルを定義するデータ及びそのための前記生成されたテクスチャデータを搬送する前記処理装置からの信号を出力することを更に含むことを特徴とする請求項１０乃至１８の何れか１項に記載の方法。
20. 直接又は間接的に前記信号の記録を作成することを更に含むことを特徴とする請求項１９に記載の方法。
21. 請求項１乃至９の何れか１項に記載の装置として構成されるように、プログラム可能な処理装置をプログラムするコンピュータプログラム命令を格納する記憶媒体。
22. 請求項１乃至９の何れか１項に記載の装置として構成されるように、プログラム可能な処理装置をプログラムするコンピュータプログラム命令を搬送する信号。

Images