JP2002222412A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】異なる位置及び向きで記録された画像を処理し
て、被写体オブジェクト単独、又は被写体オブジェクト
及びキャリブレーションオブジェクトの三次元コンピュ
ータモデルを生成する。 【解決手段】被写体オブジェクト２１０をキャリブレー
ションオブジェクトの上に直接に配置するのではなく、
オブジェクト支持台２２０に乗せて撮影することによ
り、ユーザはキャリブレーションのパターン及び色を選
択できると共に、撮影位置及び向きを選択できる。オブ
ジェクト支持台２２０の、被写体オブジェクト２１０を
乗せる上面を被写体オブジェクト２１０の底面の下方か
ら突出させないようにすることにより、ユーザは照明条
件を設定できる。被写体オブジェクト２１０の背後に背
景スクリーン２２８を配置して撮影することにより、ユ
ーザは撮影時に写真マット３４を配置する面を選択でき
る。

Description

【発明の詳細な説明】

【０００１】本発明は、オブジェクトの画像の記録及び
画像が記録された位置及び向きを判定し且つオブジェク
トの三次元（３Ｄ）コンピュータモデルを生成するため
の画像データのコンピュータ処理に関する。更に特定す
れば、本発明は、オブジェクトと共に撮影するためのパ
ターンを規定されたキャリブレーションオブジェクトの
使用と、画像におけるキャリブレーションオブジェクト
のパターンに基づいて撮影位置及び向きを判定し且つ計
算された位置及び向きを使用してオブジェクトの３Ｄコ
ンピュータモデルを定義するデータを生成するための画
像データのコンピュータ処理とに関する。

【０００２】オブジェクトの３Ｄコンピュータモデルは
多くの用途で有益である。すなわち、３Ｄンピュータモ
デルはコンピュータゲームや、コンピュータ利用設計
（CAD）の用途に頻繁に使用されている。更に、現在で
は、インターネットサイトなどの装飾のような用途でオ
ブジェクト３Ｄコンピュータモデルの需要が増してい
る。

【０００３】オブジェクトの３Ｄコンピュータモデルを
生成する多くの方法が知られている。すなわち、モデル
を生成すべき被写体オブジェクトを既知の特徴のパター
ンを有する平坦な二次元キャリブレーションオブジェク
トの上に乗せ、その被写体オブジェクトの画像をキャリ
ブレーションオブジェクトと共に異なる位置及び向きで
記録するという方法が知られている。その後、記録され
た各画像を処理して、画像中のキャリブレーションオブ
ジェクトのパターンにおける特徴の位置に基づいて、そ
の画像が記録された位置と向きを計算する。次に、入力
画像と、計算された位置及び向きとを使用して被写体オ
ブジェクトの３Ｄコンピュータモデルを生成する。

【０００４】この方法の例は、例えば、Niemの「Automa
tic Reconstruction of 3D ObjectsUsing A Mobile Cam
era」（Image and Vision Computing 17（１９９９
年）、１２５〜１３４ページ）、Gortler他の「The Lum
igraph」（Computer GraphicsProceedings, Annual Con
ference Series、１９９６年、ACM-0-89791-764-4/96/0
08、ＪＰ−Ａ−９−１７０９１４及び出願人の同時係属
特許出願ＰＣＴ／ＧＢ００／０４４６９（ＷＯ−Ａ−０
１／３９１２４）（これらの内容は全て参考として本明
細書に取り入れられている）などに記載されている。

【０００５】しかし、本発明の発明者は、この公知の方
法にはいくつかの問題点があることを発見した。すなわ
ち、本発明の発明者はこの方法を使用して生成される３
Ｄコンピュータモデルが不正確になる虞れがあることを
発見した。

【０００６】従って、本発明の目的はこの問題に対処す
ることにある。

【０００７】本発明の発明者は、３Ｄコンピュータモデ
ルの不正確さは以下に述べるいくつかの要因によって起
こることを認識した。

【０００８】すなわち、キャリブレーションオブジェク
トに、被写体オブジェクトの底部とつながっているよう
に見える影がさすことが多い。従って、記録された画像
において、処理装置が被写体オブジェクトと影を区別で
きないことがあり、そのような場合、影は被写体オブジ
ェクトの一部であると判定されてしまう。様々に異なる
位置及び向きで画像を記録するために被写体オブジェク
トとキャリブレーションオブジェクトをカメラに対して
移動させた場合、影も動くため、この問題は一層深刻に
なる。これに対し、カメラ自体を動かした場合には、カ
メラが投じた影が動くことになる。

【０００９】同様に、キャリブレーションオブジェクト
のパターンの特徴も二次元記録画像中で被写体オブジェ
クトに及んでしまう場合が多く、そのため、処理装置は
それを被写体オブジェクトの一部であると判定する。

【００１０】同様に、被写体オブジェクト及びキャリブ
レーションオブジェクトが撮影時に載置される面にある
特徴（床面又はテーブル上のマークなど）も、記録画像
の中で被写体オブジェクトの輪郭にかかることが多く、
そのため、処理装置はこれを被写体オブジェクトの一部
であると判定してしまう。

【００１１】更に、（処理装置による入力画像中の特徴
パターンの検出を助けるために）キャリブレーションオ
ブジェクト上の特徴のパターンを強調する（引き立たせ
る）ようにキャリブレーションオブジェクトの色を選択
することが望ましい場合が多い。しかし、キャリブレー
ションオブジェクトの色が被写体オブジェクトに反射す
ることが多く、そのため、生成される３Ｄコンピュータ
モデルの面の色は不正確なものになる。

【００１２】更に、仰角が小さい場合に被写体オブジェ
クトの画像を記録するのは困難である。これは、仰角が
小さい場合、被写体オブジェクトが乗っているキャリブ
レーションオブジェクトの特徴のパターンが画像の中
で、処理装置による入力画像中の特徴の確実な検出が不
可能になるほどに歪んでしまうためである。小さな仰角
から画像を記録できないことによって、被写体オブジェ
クトの詳細な部分を示す入力画像を利用できず、その結
果、それらの部分は３Ｄコンピュータモデルにおいて不
正確に再現される。

【００１３】従って、本発明の目的は上記の問題点の１
つ又はいくつかに対処することである。

【００１４】解決方法に関して、発明者は、被写体オブ
ジェクト及びキャリブレーションオブジェクトに関して
対称である拡散照明の使用により影の問題に対処できる
ことを認めた。しかし、これを実際に実現することは非
常に困難であり且つ／又はそのために高い費用を要す
る。

【００１５】従って、本発明の目的はそれとは別の解決
方法を提供することである。

【００１６】本発明によれば、三次元コンピュータモデ
ルを生成するために被写体オブジェクトの画像を記録し
且つ処理する方法であって、被写体オブジェクトをオブ
ジェクト支持台によりキャリブレーションオブジェクト
に対して固定された構成で保持する一方で、異なるカメ
ラ位置及び向きで画像を記録し、その画像データを処理
して、画像中に見えるキャリブレーションオブジェクト
からの特徴に基づき、撮影位置及び向きを判定し、計算
された位置及び向きを使用して、被写体オブジェクト単
独又は被写体オブジェクトとオブジェクト支持台双方の
三次元コンピュータモデルを生成する方法が提供され
る。

【００１７】また、本発明は処理装置及びコンピュータ
プログラムを含めて、上記の方法を実施するための装置
構成要素、及びそれに関連する方法も提供する。

【００１８】被写体オブジェクトを直接にキャリブレー
ションオブジェクトの上に配置するのではなく、被写体
オブジェクトを（例えば、オブジェクトスタンドに乗せ
て）キャリブレーションオブジェクトの面から離して撮
影することにより、ユーザはより大きな融通性をもって
キャリブレーションオブジェクト上のパターン、キャリ
ブレーションオブジェクトの色及び撮影位置と向きを選
択できるようになる。これは、被写体オブジェクトをキ
ャリブレーションオブジェクトから離間させることによ
って、キャリブレーションオブジェクトのパターンの特
徴が入力画像中で被写体オブジェクトにまでかかって現
れるという問題、キャリブレーションオブジェクトの色
が被写体オブジェクトに反射してしまうという問題、及
び小さな仰角から入力画像を記録する問題の全てが解決
されるためである。

【００１９】被写体オブジェクトが乗せられるオブジェ
クト支持台の上面の形状及び大きさは、被写体オブジェ
クトをオブジェクト支持台の上に乗せたときに被写体オ
ブジェクトの底面の下から水平の面が大きく突出するこ
とのないように定められるのが好ましい。このようにす
ると、入力画像中に被写体オブジェクトの一部として影
が現れるという問題も解決されるため、ユーザはより大
きな融通性をもって照明条件を設定できるようになる。

【００２０】被写体オブジェクトはその背後にスクリー
ンを配置した状態で撮影されるのが好ましい。このよう
にすると、面上のマークが入力画像中に被写体の一部と
して現れるという問題が解決されるため、ユーザはより
大きな融通性をもって撮影時にキャリブレーションオブ
ジェクト、オブジェクト支持台及び被写体オブジェクト
を配置する面を選択できるようになる。

【００２１】次に、添付の図面を参照して、単なる一例
としての本発明の実施形態を説明する。

【００２２】［第１の実施形態］図１を参照すると、本
発明の一実施形態は、従来の通りに１つ以上のプロセッ
サ、複数のメモリ、グラフィックスカードなどを含むパ
ーソナルコンピュータのような処理装置２と、従来通り
のパーソナルコンピュータモニタのような表示装置４
と、キーボード、マウスなどのユーザ入力装置６と、プ
リンタ８と、ＷＡＣＯＭ製造のＰＬ４００などの、制御
可能画素を有するフラットパネルで構成される表示パネ
ル１０とを具備する。

【００２３】処理装置２は、例えば、ディスク１２など
のデータ記憶媒体に格納されたデータとして、及び／又
は、遠隔データベース等からインターネットなどの通信
ネットワーク（図示せず）を介する送信、あるいは大気
中を通過する送信により処理装置２に入力され、及び／
又は、キーボードなどのユーザ入力装置６を介してユー
ザにより入力される信号１４として入力されるプログラ
ミング命令に従って動作するようにプログラムされてい
る。

【００２４】以下に更に詳細に説明するが、それらのプ
ログラミング命令は、入力画像が記録された位置及び向
きを計算するために、異なる位置と向きで記録された１
つ以上の被写体オブジェクトの複数の画像を定義する入
力データを処理し、且つ、計算された位置及び向きを使
用して、被写体オブジェクトの三次元コンピュータモデ
ルを定義するデータを生成するように処理装置２を構成
させるための命令である。本実施形態では、被写体オブ
ジェクトはオブジェクト支持台の上に配置され、被写体
オブジェクトとオブジェクト支持台は既知の特徴パター
ンを有するキャリブレーションオブジェクト（本実施形
態においては二次元写真マット）の上で撮影される。入
力画像が記録されたときの位置と向きは、画像中のキャ
リブレーションオブジェクトの特徴の位置を検出するこ
とにより計算される。以下に更に詳細に説明するが、被
写体オブジェクトを撮影するためにオブジェクト支持台
を使用することにより、被写体オブジェクトの正確な三
次元コンピュータモデルを一貫性をもって得ることがで
きる。

【００２５】処理装置２は、プログラミング命令により
プログラミングされたとき、処理動作を実行するための
いくつかの機能ユニットとして構成されたと考えること
ができる。そのような機能ユニットの例及びそれらの相
互接続関係を図１に示す。しかし、図１に示すユニット
及び相互接続は概念上のものであり、理解を助けるとい
う目的のために一例として示されているにすぎない。従
って、それらは、処理装置２のプロセッサ、メモリなど
が構成されるユニットや接続を必ずしも表してはいな
い。

【００２６】図１に示す機能ユニットを説明すると、中
央制御装置２０はユーザ入力装置６からの入力を処理す
ると共に、その他の機能ユニットの制御及び処理を実行
する。メモリ２４は、中央制御装置２０及びその他の機
能ユニットにより使用されるべく設けられている。

【００２７】マット発生器３０は、紙などの記録媒体上
に写真マット３４をプリントするため、又は表示パネル
１０に写真マットを表示するためにプリンタ８又は表示
パネル１０を制御する制御信号を発生する。以下に更に
詳細に説明するが、写真マットは所定の特徴パターンを
有し、三次元コンピュータモデルを生成すべき被写体オ
ブジェクトはオブジェクト支持台上の、プリント済み写
真マット３４又は写真マットが表示されている表示パネ
ル１０の上に配置される。その後、被写体オブジェク
ト、オブジェクト支持台及び写真マットの画像を記録し
て、処理装置２に入力する。

【００２８】プリンタ８が写真マットをプリントする記
録媒体の色は、記録媒体と写真マットのパターンの特徴
とのコントラストを最大にするように選択される（これ
により、処理装置２により特徴が入力画像に正しく位置
決めされる確率が向上する）。本実施形態では、被写体
オブジェクトをオブジェクト支持台上に配置し、それに
より、被写体オブジェクトを写真マットから離して高い
位置に上げることにより、プリントされた写真マットか
ら被写体オブジェクトへ反射される光の影響を最小限に
抑えるため、後に生成される３Ｄコンピュータモデルに
悪影響を及ぼすことなく、色を自由に選択できる。実際
には、記録媒体の色として明るい、不飽和色を選択する
と、良い結果が得られることが確かめられた。

【００２９】マット発生器３０は、処理装置２が入力画
像記録時の位置及び向きを計算する際に使用するため
の、写真マット上にプリント又は表示された特徴のパタ
ーンを定義するデータを格納している。すなわち、マッ
ト発生器３０は、特徴パターンを定義するデータと共
に、特徴パターンに対する座標系（実際には写真マット
の基準位置及び基準向きを定義する）を格納しており、
処理装置２は入力画像が記録されたときの位置及び向き
を定義済み座標系において（従って、基準位置及び基準
向きに対して）計算する。

【００３０】本実施形態では、写真マットのパターン
は、例えば、同時係属ＰＣＴ特許出願ＰＣＴ／ＧＢ００
／０４４６９（ＷＯ−Ａ−０１／３９１２４）（これら
の内容は全て参考として本明細書に取り入れられてい
る）に記載されているような特徴の空間クラスタ、ある
いは、例えば、ＪＰ−Ａ−９−１７０９１４に記載され
ているような、各々の対応するドットが一意のものであ
るように各ドットが異なる色相／輝度の組み合わせを有
する着色ドットの既知のパターン、例えば、Niemの「Au
tomatic Reconstruction of 3D Objects Using A Mobil
e Camera」（Imageand Vision Computing 17（１９９９
年）、１２５〜１３４ページに掲載）に記載されている
ような、各象限で複数の同心円を寸法がわかっている半
径方向線分及び位置マーカで結ぶことにより形成される
パターン、又はGortler他の「The Lumigraph」（Comput
er Graphics Proceedings, Annual Conference Serie
s、１９９６年、ACM-0-89791-764-4/96/008に記載され
ているような、それぞれ異なる直径を有する複数の同心
リングからキャリブレーションされるパターンなどを含
む。

【００３１】本実施形態の以下の説明においては、プリ
ント写真マット３４を生成するために、パターンはプリ
ンタ８により記録媒体（本実施形態では、シート紙）に
プリントされるものと想定するが、先に述べた通り、表
示パネル１０にパターンを表示することも可能であろ
う。

【００３２】入力データ記憶装置４０は、例えば、ディ
スク４２などの記憶装置に格納されるデータとして、又
は処理装置２へ送信される信号４４として、又はユーザ
入力装置６を使用して処理装置２に入力される入力デー
タを格納する。入力データは１つ以上の被写体オブジェ
クトと、オブジェクト支持台が写真マット上に配置され
た状況を示す、異なる位置及び向きで記録された複数の
画像を定義している。本実施形態では、入力データは、
写真マットの背景色又は写真マットの背景色と同じ色を
有する異なるオブジェクトを示すための写真マットの一
部と共に、被写体オブジェクト及びオブジェクト支持台
が撮影された背景を示す入力画像を更に定義している。
加えて、本実施形態では、入力データは、画像を記録し
たカメラ固有のパラメータ、すなわち、アスペクト比、
焦点距離、主点（光軸が撮影平面と交わる点）、一次半
径方向歪み係数及びスキュー角（画素格子の軸が厳密に
は直交していないことがありえるため、それらの軸が成
す角度）を定義するデータも含む。

【００３３】入力画像を定義する入力データは、例え
ば、画像を記録したデジタルカメラから画素データをダ
ウンロードするか、又はスキャナ（図示せず）を使用し
て写真を走査することにより生成されても良い。固有カ
メラパラメータはユーザの側からユーザ入力装置６を使
用して入力されても良い。

【００３４】カメラ計算器５０は各入力画像を処理し
て、画像の中における写真マット上の特徴の位置を検出
すると共に、入力画像が記録されたときのカメラの位置
と向きを計算する。

【００３５】画像データセグメンタ６０は各入力画像を
処理して、被写体オブジェクト及びオブジェクト支持台
に対応する画像データを画像中のその他の画像データか
ら分離する。

【００３６】サーフェスモデラ７０は画像データセグメ
ンタ６０により生成された分割画像データと、カメラ計
算器５０により生成された、画像が記録されたときの位
置及び向きを定義するデータとを処理して、入力画像に
おける被写体オブジェクト及びオブジェクト支持台の実
際の面を表現する３Ｄコンピュータモデルを定義するデ
ータを生成する。

【００３７】サーフェステクスチャラ８０は、サーフェ
スモデラ７０により生成されたサーフェスモデルにレン
ダリングするために、入力画像データからテクスチャデ
ータを生成する。

【００３８】オブジェクト／支持台セパレータ９０は、
オブジェクト支持台に対応するモデルの部分を削除し
て、被写体オブジェクト単独の三次元コンピュータモデ
ルを残すように、サーフェスモデラ７０により生成され
た被写体オブジェクト及びオブジェクト支持台の三次元
コンピュータモデルを修正するための処理を実行する。

【００３９】ディスプレイプロセッサ１１０は、中央制
御装置２０の制御の下で、表示装置４を介してユーザに
対し命令を表示する。更に、中央制御装置２０の制御の
下に、ディスプレイプロセッサ１１０は、サーフェスモ
デラ７０及び／又はオブジェクト／支持台セパレータ９
０により生成されたサーフェスモデルデータを処理し且
つサーフェステクスチャラ８０により生成されたテクス
チャデータをサーフェスモデル上にレンダリングするこ
とにより、ユーザが選択した視点からの３Ｄコンピュー
タモデルの画像を表示する。

【００４０】出力データ記憶装置１２０は、入力データ
ごとにカメラ計算器５０により計算されたカメラの位置
及び向きと、画像データセグメンタ６０により生成され
た各入力画像からの、被写体オブジェクト及びオブジェ
クト支持台に関連する画像データと、サーフェスモデラ
７０、オブジェクト／支持台セパレータ９０及びサーフ
ェステクスチャラ８０により生成されたサーフェスモデ
ル及びそのテクスチャデータとを格納する。中央制御装
置２０は出力データ記憶装置１２０からのデータの出力
を、例えば、ディスク１２２などの記憶装置へのデータ
及び／又は信号１２４として制御する。

【００４１】図２を参照して説明する。本実施形態で
は、写真マット３４に穴１３０を残すように切り抜かれ
た中央ブランク領域の周囲に、写真マット３４の特徴パ
ターンがプリンタ８によりプリントされる。

【００４２】穴１３０を有する写真マット３４は、この
後、例えば、のり付けによりミラー１４０に接着され
る。以下に更に詳細に説明するが、穴１３０とミラー１
４０により、被写体オブジェクトの底面の反射を入力画
像の中で見ることができるので、三次元コンピュータモ
デルにおける被写体オブジェクトの底面のテクスチャデ
ータを生成できるのである。

【００４３】図３を参照すると、プリント写真マット３
４が接着されたミラー１４０が平坦な面２００に配置さ
れており、３Ｄコンピュータモデルを生成すべき被写体
オブジェクト２１０は、オブジェクト支持台２２０が穴
１３０に位置決めされ且つマット上のパターンを構成し
ている特徴により包囲されるように、写真マット３４上
のオブジェクト支持台２２０の上に配置されている。

【００４４】オブジェクト支持台２２０を使用して被写
体オブジェクト２１０を写真マット３４から離れるよう
に持ち上げることにより、写真マット３４上の影はオブ
ジェクト支持台２２０には接触するが、被写体オブジェ
クト２１０に接触することはない。同様に、写真マット
のパターンの特徴は、記録された画像中で、オブジェク
ト支持台２２０にのみ接触するように現れ、被写体オブ
ジェクト２１０には現れない。従って、処理装置２によ
り生成される３Ｄコンピュータモデルにおいて、オブジ
ェクト支持台２２０のモデルに誤りは起こるかもしれな
いが、被写体オブジェクト２１０は正確にモデル化され
る。しかし、オブジェクト支持台２２０の誤りは重要で
はなく、本実施形態では、オブジェクト／支持台セパレ
ータ９０がオブジェクト支持台２２０の３Ｄコンピュー
タモデルを除去してしまい、被写体オブジェクト２１０
の３Ｄコンピュータモデルのみが残る。

【００４５】更に、以下に説明するように、被写体オブ
ジェクト２１０を写真マット３４の上方へ持ち上げるこ
とにより、仰角の低い画像でも、写真マット３４上の特
徴のパターンがそれほど歪まず、処理装置２が入力画像
中の特徴を識別し、撮影位置及び撮影の向きを計算する
ための処理を実行できる程度には記録することができ
る。従って、被写体オブジェクト２１０の必要な詳細を
示す画像を記録し、処理することが可能であるため、被
写体オブジェクト２１０の３Ｄコンピュータモデルの正
確さは一層向上する。

【００４６】本実施形態では、オブジェクト支持台２２
０は、ガラスなどの透明材料から成る水平な板２２２を
４本の円筒形の不透明な脚部２２４により支える構造を
有する。従って、水平板２２２は透明であるので、ミラ
ー１４０の反射として被写体オブジェクト２１０の底面
が見える。

【００４７】被写体オブジェクト２１０及びオブジェク
ト支持台２２０の背後には、ほぼ一様な色の背景スクリ
ーン２２８が配置されている。このようにすれば、被写
体オブジェクト２１０（又はオブジェクト支持台２２
０）の一部が記録画像の中で面２００を背景にして現れ
ることはなく、被写体オブジェクト２１０のみが背景ス
クリーンを背にして現れることになる。これにより、ど
のような入力画像においても、面２００上のマーク又は
面２００の不均一な色の領域などが被写体オブジェクト
２１０の輪郭線に触れることがなくなるため、ユーザは
写真マット３４を配置する面２００を自由に選択でき
る。従って、以下に更に詳細に説明するように、背景ス
クリーン２２８の使用は、被写体オブジェクト２１０及
びオブジェクト支持台２２０に関連する画像データを画
像データセグメンタ６０によるセグメンテーション処理
の間に他の画像データから分離する処理を助けるという
効果を有する。

【００４８】被写体オブジェクト２１０の様々に異なる
部分を示すため、被写体オブジェクト２１０、オブジェ
クト支持台２２０及び写真マット３４の画像はデジタル
カメラ２３０を使用して様々に異なる位置と向きで記録
される。本実施形態では、カメラ２３０により記録され
る画像を定義するデータはワイヤ２３２を介して信号４
４として処理装置２に入力される。

【００４９】すなわち、本実施形態では、カメラ２３０
と背景スクリーン２２８の位置は固定されたままであ
り、被写体オブジェクト２１０及びオブジェクト支持台
２２０を乗せた写真マット３４が面２００上で移動（並
進）及び（例えば、矢印２４０の方向に）回転され、カ
メラ２３０に対して様々に異なる位置と向きで被写体オ
ブジェクト２１０の写真が記録されるのである。面２０
０上での写真マット３４の回転及び並進中、被写体オブ
ジェクト２１０とオブジェクト支持台２２０はマット３
４に対して動かない。

【００５０】図４ａから図４ｅは、本実施形態におい
て、カメラ２３０の場所と視角をどのように選択するか
及びオブジェクト支持台２２０の高さをどのように設定
するかを示している。

【００５１】図４ａにおいて、カメラ２３０を位置
（ｉ）、すなわち、被写体オブジェクト２１０を見下ろ
す仰角の大きい位置に配置した場合、図４ｂに示すよう
に、カメラ２３０により記録される各画像中、被写体オ
ブジェクト２１０の最上部の輪郭は背景スクリーン２２
８を背にして現れるが、被写体オブジェクト２１０の下
の部分の輪郭は、写真マット３４及び／又はオブジェク
ト支持台２２０の水平板２２２を背景にして現れる。こ
の場合、水平板２２２及び写真マット３４の影が被写体
オブジェクト２１０の一部として現れ、その結果、画像
データセグメンタ６０により被写体オブジェクト２１０
から分離できないこともありうるので望ましくない。同
様に、写真マット３４のパターンの１つ以上の特徴が入
力画像中の被写体オブジェクト２１０にまで及び（その
ために、被写体オブジェクト２１０の一部となって現わ
れ）、その結果、画像セグメンタ６０により被写体オブ
ジェクト２１０から分離されないことも起こりうる。

【００５２】そこで、より望ましい撮影場所と視角方向
は図４ａに（ii）で指示した位置であり、この位置にお
いては、カメラ２３０の光軸はオブジェクト支持台２２
０の水平板２２２とほぼ一線に並んでいる。しかし、写
真マット３４上の水平板２２２の高さが（図４ａに示す
例の場合のように）余りにも低すぎると、図４cに示す
ように、カメラ２３０により記録される各入力画像にお
いて、写真マット３４上のパターンの特徴を互いに識別
できないほどに写真マット３４がひずんで現れる。

【００５３】そのため、図４ｄに示すように、カメラの
光軸がオブジェクト支持台２２０の水平板２２２とほぼ
一線に並ぶようにカメラ２３０の位置及び視角方向を選
択すると共に、写真マット３４上の特徴のパターンが入
力画像中でひずまないようにオブジェクト支持台２２０
の高さを選択する。このようにすれば、図４ｄに示す構
成を使用して記録された入力画像の例を示す図４ｅから
わかるように、被写体オブジェクト２１０は背景スクリ
ーン２２８に囲まれ（従って、画像データセグメンタ６
０は被写体オブジェクト２１０に関連する画像データを
より正確に分割できる）、また、写真マット３４上のパ
ターンの特徴を互いに識別することができる（従って、
カメラ計算器５０は入力画像中の各特徴の位置を検出
し、それにより、入力画像が記録されたときの位置と向
きを判定することが可能である）。尚、（図４ｅに示す
例の場合のように）背景スクリーン２２８は入力画像の
縁まで伸びている必要はなく、被写体オブジェクト２１
０が背景スクリーンにより囲まれるように、被写体オブ
ジェクト２１０の上下左右に広がっているだけで良い。

【００５４】要するに、被写体オブジェクト２１０を写
真マット３４の上方へ持ち上げる（本実施形態では、こ
れはオブジェクト支持台２２０を使用することにより実
現される）ことにより、写真マット３４の影及び写真マ
ット３４上のパターンの特徴が被写体オブジェクト２１
０の輪郭まで及ばないような入力画像を記録できる。更
に、被写体オブジェクト２１０へ反射される色がはるか
に少なくなるため、写真マット３４上のパターンの特徴
を強調するように写真マット３４の色を自由に選択でき
る。また、仰角が低くても被写体オブジェクト２１０の
画像を記録できるため、３Ｄコンピュータモデルで被写
体オブジェクト２１０のあらゆる部分を正確にモデル化
するために適切な画像を利用できる。

【００５５】加えて、被写体オブジェクト２１０の背後
に背景スクリーン２２８を配置することにより、面２０
０の一部が被写体オブジェクト２１０にかかって現れる
ことがない入力画像を記録できるため、面２００の選択
を自由に行うことができる。

【００５６】図５は、カメラ２３０に対する様々に異な
る位置及び向きにおける被写体オブジェクト２１０、オ
ブジェクト支持台２２０及び写真マット３４の入力画像
３００、３０２、３０４及び３０６の例を示している。

【００５７】本実施形態では、被写体オブジェクト２１
０、オブジェクト支持台２２０及び写真マット３４の画
像の記録と入力に続いて、別の画像を記録し、処理装置
２に入力する。この別の画像は、面２００と、背景スク
リーン２２８と、写真マット３４がプリントされている
紙と同じ色を有するオブジェクトの画像である「背景画
像」である。そのような背景画像は、写真マット３４が
記録されている紙と同じ色を有する何もプリントされて
いない紙のシートを面２００上の、背景スクリーン２２
８の前方に配置するか、又は画像に写真マット３４のパ
ターンが見えないように、写真マット３４を裏返して面
２００上に配置することにより記録されれば良い。

【００５８】図６は、本実施形態において入力データを
処理するために処理装置２により実行される処理動作を
示す。

【００５９】図６のステップＳ６−２では、中央制御装
置２０はディスプレイプロセッサ１１０にユーザが処理
すべき入力データを入力することを要求するメッセージ
を表示装置４に表示させる。

【００６０】ステップＳ６−４では、ステップＳ６−２
で要求に応答してユーザにより入力されたデータを入力
データ記憶装置４０に格納する。すなわち、本実施形態
では、入力データは、カメラ２３０に対して様々に異な
る位置及び向きで記録された被写体オブジェクト２１
０、オブジェクト支持台２２０及び写真マット３４の画
像を定義する画像データと、入力画像を記録するために
写真マット３４が配置された面２００と、背景スクリー
ン２２８及び写真マット３４のパターンがプリントされ
ている記録材料と同じ色を有するオブジェクトとを共に
示す「背景画像」と、入力画像を記録したカメラ２３０
の固有パラメータ、すなわち、縦横比、焦点距離、主点
（光軸が撮影平面と交わる点）、一次半径方向歪み係数
及びスキュー角（画素格子の軸が成す角度）を定義する
データとから構成されている。

【００６１】ステップＳ６−６で、カメラ計算器５０は
ステップＳ６−４で格納された入力データを処理して、
入力画像ごとに写真マット３４に対する（従って、被写
体オブジェクト２１０及びオブジェクト支持台２２０に
対する）カメラ２３０の位置と向きを判定する。この処
理は、入力画像ごとに、写真マット３４のパターンを構
成している画像中の特徴を検出し、それらの特徴を格納
されている写真マットのパターンと比較して、マットに
対するカメラ２３０の位置と向きを判定することから成
る。ステップＳ６−６でカメラ計算器５０により実行さ
れる処理は、写真マット３４上で使用されている特徴の
パターンによって決まる。適切な処理は、例えば、同時
係属ＰＣＴ出願ＰＣＴ／ＧＢ００／００４４６９（ＷＯ
−Ａ−０１／３９１２４）、ＪＰ−Ａ−９−１７０９１
４、Niemの「Automatic Reconstruction of 3D Objects
Using A Mobile Camera」（Image and Vision Computi
ng17（１９９９年）、１２５〜１３４ページ及びGortle
r他の「The Lumigraph」（Computer Graphics Proceedi
ngs, Annual Conference Series、１９９６年、ACM-0-8
9791-764-4/96/008））に説明されている。

【００６２】ステップＳ６−８では、画像データセグメ
ンタ６０は各入力画像を処理し、被写体オブジェクト２
１０及びオブジェクト支持台２２０を表現する画像デー
タを写真マット３４、写真マット３４が配置されている
面２００及び背景スクリーン２２８を表現する画像デー
タから分離する（ステップＳ６−８は、本実施形態で
は、以下に更に詳細に説明するように、後に被写体オブ
ジェクト２１０及びオブジェクト支持台２２０の面の３
Ｄコンピュータモデルを生成するときに使用するための
データを生成する予備ステップである）。

【００６３】図７は、ステップＳ６−８で画像データセ
グメンタ６０により実行される処理動作を示す。

【００６４】図７を参照すると、ステップＳ７−２から
Ｓ７−１０で、画像データセグメンタ６０は、写真マッ
ト３４、面２００及び背景スクリーン２２８を表現する
が、被写体オブジェクト２１０及びオブジェクト支持台
２２０を表現しない入力画像中の色を表す量子化値のハ
ッシュテーブルを作成する。

【００６５】すなわち、ステップＳ７−２で、画像デー
タセグメンタ６０は図６のステップＳ６−４で格納され
た「背景画像」（すなわち、面２００と、背景スクリー
ン２２８と、写真マット３４がプリントされている材料
と同じ色を有するオブジェクトとを示す、処理装置２に
入力されるべき最終画像）における次の画素のRBGデー
タ値を読み取る。

【００６６】ステップＳ７−４で、画像データセグメン
タ６０は下記の等式に従って画素の量子化赤色（R）
値、量子化緑色（G）値及び量子化青色（B）値を計算す
る。

【００６７】

【数１】 式中、「q」は量子化値、「p」はステップＳ７−２で読
み取られたR、G又はBの値、「t」は被写体オブジェクト
２１０を示す入力画像からのRGB値が背景とラベル付け
されるべき背景色にどれほど近くなければならないかを
判定する閾値である。本実施形態では、「t」は４に設
定されている。

【００６８】ステップＳ７−６で、画像データセグメン
タ６０はステップＳ７−４で計算された量子化R値、G値
及びB値を従来と同様に組み合わせて、「三重値（Tripl
e value）」を生成する。

【００６９】ステップＳ７−８では、画像データセグメ
ンタ６０はステップＳ７−４で計算された量子化R値、G
値及びB値にハッシング関数を適用して、ハッシュテー
ブルのビン（bin）を定義し、且つステップＳ７−６で
定義された「三重」値を定義されたビンに追加する。す
なわち、本実施形態では、画像データセグメンタ６０は
下記のハッシング関数を量子化R値、G値及びB値に適用
し、ハッシュテーブルのビンを定義する。

【００７０】

【数２】

【００７１】すなわち、ハッシュテーブルのビンは、各
色の３つの最下位ビットにより定義される。この関数
は、各ビンが少数の「三重」値のみを有するように、デ
ータを試行し、ハッシュテーブルの利用可能なビンに分
散させるように選択されている。本実施形態では、ステ
ップＳ７−８で、「三重」値がビンに既に存在していな
い場合に限って「三重」値をそのビンに追加するので、
各「三重」値はハッシュテーブルに一度しか追加されな
い。

【００７２】ステップＳ７−１０では、画像データセグ
メンタ６０は、背景画像中に別の画素が存在するか否か
を判定する。以上説明したように「背景」画像の各画素
を処理し終わるまで、ステップＳ７−２からＳ７−１０
を繰り返す。この処理の結果、「背景」画像中の色を表
現する値を含むハッシュテーブルが生成される。

【００７３】ステップＳ７−１２からＳ７−４８では、
画像データセグメンタ６０は各入力画素を順に考慮し、
ハッシュテーブルを使用して、写真マット３４、背景ス
クリーン２２８及び面２００に関連する入力画像中のデ
ータを、被写体オブジェクト２１０及びオブジェクト支
持台２２０に関連する入力画像中のデータから分離す
る。

【００７４】本実施形態では、ハッシュテーブルを生成
するためにステップＳ７−２からＳ７−１０で処理され
る「背景」画像は、写真マット３４上の特徴を示してい
ない。従って、ステップＳ７−１２からＳ７−４６で実
行される分割は被写体オブジェクト２１０及びオブジェ
クト支持台２２０に関連する画素データと、写真マット
３４上の特徴に関連する画素データとを区別しない。そ
の代わりに、本実施形態では、以下に更に詳細に説明す
るように、被写体オブジェクト２１０及びオブジェクト
支持台２２０の面の３Ｄコンピュータモデルを生成する
ためにサーフェスモデラ７０により実行される処理は、
写真マット３４上の特徴に関連する画素がサーフェスモ
デルに寄与することのないように実行される。

【００７５】ステップＳ７−１２では、画像データセグ
メンタ６０は次の入力画像を考慮し、ステップＳ７−１
４では、入力画像中の次の画素（ステップＳ７−１４が
初めて実行される場合、これは最初の画素である）のR
値、G値及びB値を読み取る。

【００７６】ステップＳ７−１６では、画像データセグ
メンタ６０は先の等式（１）を使用して、画素の量子化
R値、量子化G値及び量子化B値を計算する。

【００７７】ステップＳ７−１８では、画像データセグ
メンタ６０はステップＳ７−１６で計算された量子化R
値、G値及びB値を組み合わせて、「三重値」を生成す
る。

【００７８】ステップＳ７−２０では、画像データセグ
メンタ６０は先の等式（２）に従ってハッシング関数を
ステップＳ７−１６で計算された量子化値に適用して、
ステップＳ７−２からS７−１０で生成されたハッシュ
テーブルのビンを定義する。

【００７９】ステップＳ７−２２では、画像データセグ
メンタ６０はステップＳ７−２０で定義されたハッシュ
テーブルのビンの「三重」値を読み取る。それらの「三
重」値は、写真マット３４の材料、背景スクリーン２２
８及び面２００の色を表現している。

【００８０】ステップＳ７−２４では、画像データセグ
メンタ６０は、ステップＳ７−１８で生成された、現在
考慮すべき入力画像中の画素の「三重」値がハッシュテ
ーブルのビンの背景「三重」値のいずれかと同じである
か否かを判定する。

【００８１】ステップＳ７−２４で、画素の「三重」値
が背景「三重」値と同じであると判定されれば、ステッ
プＳ７−２６で、その画素は背景画素であると判定し、
画素の値を「黒色」に設定する。

【００８２】これに対し、ステップＳ７−２４で、画素
の「三重」値が背景のどの「三重」値とも同じでないと
判定された場合には、ステップＳ７−２８で、その画素
は被写体オブジェクト２１０又はオブジェクト支持台２
２０の一部であると判定し、画像データセグメンタ６０
は画素の値を「白色」に設定する。

【００８３】ステップＳ７−３０では、画像データセグ
メンタ６０は、入力画像に別の画素が存在するか否かを
判定する。入力画像中の各画素を以上説明したように処
理し終わるまで、ステップＳ７−１４からS７−３０を
繰り返す。

【００８４】ステップＳ７−３２からＳ７−４４では、
画像データセグメンタ６０は画像の画素を背景画素又は
オブジェクト画素として分類する上での誤りを修正する
ための処理を実行する。

【００８５】すなわち、ステップＳ７−３２で、画像デ
ータセグメンタ６０はメディアンフィルタとして使用す
べき円形マスクを定義する。本実施形態では、円形マス
クは４画素分の半径を有する。

【００８６】ステップＳ７−３４では、画像データセグ
メンタ６０はステップＳ７−３２で定義したマスクの中
心をステップＳ７−２６及びS７−２８で生成された２
進画像の次の画素（ステップＳ７−３４が初めて実行さ
れる場合には、これは最初の画素である）の中心に配置
するための処理を実行する。

【００８７】ステップＳ７−３６では、画像データセグ
メンタ６０はマスク内部の黒色画素の数及び白色画素の
数をカウントする。

【００８８】ステップＳ７−３８では、画像データセグ
メンタ６０は、マスク内部の白色画素の数がマスク内部
の黒色画素の数以上であるか否かを判定する。

【００８９】ステップＳ７−３８で白色画素の数が黒色
画素の数以上であると判定されれば、ステップＳ７−４
０で、画像データセグメンタ６０はマスクの中心を位置
決めする画素の値を白色に設定する。これに対し、ステ
ップＳ７−３８で黒色画素の数が白色画素の数より多い
と判定された場合には、ステップＳ７−４２で、画像デ
ータセグメンタ６０はマスクの中心を位置決めする画素
の値を黒色に設定する。

【００９０】ステップＳ７−４４では、画像データセグ
メンタ６０は２進画像中に別の画素が存在するか否かを
判定し、以上説明したように各画素を処理し終わるま
で、ステップＳ７−３４からS７−４４を繰り返す。

【００９１】ステップＳ７−４８では、画像データセグ
メンタ６０は、処理すべき別の入力画像が存在するか否
かを判定する。以上説明したように各入力画像を処理し
終わるまで、ステップＳ７−１２からS７−４８を繰り
返す。

【００９２】再び図６に戻ると、ステップＳ６−１０で
は、サーフェスモデラ７０が被写体オブジェクト２１０
の面及びオブジェクト支持台２２０の面の３Ｄコンピュ
ータモデルを定義するデータを生成するための処理を実
行する。

【００９３】本実施形態では、ステップＳ６−１０の処
理は従来通りに実行され、次の３つの段階を含む。

【００９４】（１）ステップＳ６−６で生成されたカメ
ラの位置及び向きと、ステップＳ６−８で生成された分
割画像データとを処理して、被写体オブジェクト２１０
の面と、オブジェクト支持台２２０の面とを包囲する複
数のボクセル（voxel）から成る３Ｄ格子を定義するデ
ータを含むボクセルカービング(voxel carving)を生成
する。サーフェスモデラ７０はこの段階の処理を従来通
りに、例えば、R. Szeliskiの「Rapid Octree Construc
tion from Image Sequences」（CVGIP：ImageUnderstan
ding第５８巻第１号、１９９３年７月、２３〜３２ペー
ジ）に記載されているように実行する。しかし、図８を
参照して説明すると、本実施形態では、サーフェスモデ
ラ７０により定義される、ボクセルカーブ処理を実行す
べきスタートボリュームは、垂直の側面４０２、４０
４、４０６、４０８と、水平の上面４１０と、水平の底
面４１２とを有する立方形４００から形成されている。
垂直の側面４０２、４０４、４０６、４０８は、（図８
に外側の点線により概略的に表されているように）それ
らの面が写真マット３４上の特徴パターンの縁に触れる
ように位置決めされている。従って、垂直の側面は全体
として被写体オブジェクト２１０を取り囲んでいること
になる。上面４１０の位置は、カメラ２３０の焦点から
ステップＳ６−４で格納された入力画像のいずれか１つ
の上縁部を通る線４２０と、写真マット３４の中心を通
る垂直線４２２とを交わらせることにより定義される。
すなわち、カメラ２３０の焦点及び画像の上縁部はステ
ップＳ６−６で実行された位置と向きの計算の結果とし
て既にわかっており、上面４１０の高さを線４２０が写
真マット３４の中心を通る垂直線４２２と交わる点に対
応するように設定することにより、（被写体オブジェク
ト２１０の最上部が各入力画像で見えるとすれば）上面
４１０は常に被写体オブジェクト２１０の上方に位置す
ることになる。水平の底面４１２の位置は、写真マット
３４の平面よりわずかに上方に位置するように設定され
る。底面４１２の位置をこのように設定することによ
り、（ステップＳ６−８で実行された画像分割処理では
被写体オブジェクト２１０及びオブジェクト支持台２２
０から分離されていなかった）写真マット３４上のパタ
ーンの特徴はボクセルカービング処理中は無視されるこ
とになり、被写体オブジェクト２１０及びオブジェクト
支持台２２０の３Ｄサーフェスモデルが生成される。

【００９５】（２）ボクセルカービングを定義するデー
タを処理して、被写体オブジェクト２１０の面及びオブ
ジェクト支持台２２０の面を定義する複数の三角形から
成る３Ｄサーフェスメッシュを定義するデータを生成す
る。本実施形態では、この段階の処理は、サーフェスモ
デラ７０により従来のマーチングキューブアルゴリズム
に従って、例えば、W. E. Lorensen及びH. E. Clineの
「Marching Cubes：A High Resolurion 3D Surface Con
struction Algorithm」（Computer Graphics, SIGGRAPH
87 Proceedings,２１，１６３〜１６９ページ、１９８
７年７月）又はJ. Bloomenthalの「An Implicit Surfac
e Polygonizer」（Graphics Gems IV、APProfessiona
l、１９９４年、ISBN0123361559，３２４〜３５０ペー
ジ）に記載されているように実行される。

【００９６】（３）デシメーションプロセス（decimati
on process）を実行することにより、第２段階で生成さ
れたサーフェスメッシュの三角形の数を相当に減少させ
る。

【００９７】本実施形態においては、サーフェスモデラ
７０は第３段階で、第２段階で生成された三角形メッシ
ュの各々の頂点（vertics）が被写体オブジェクト２１
０の面又はオブジェクト支持台２２０の面の形状に寄与
するか否かを判定するために三角形メッシュから頂点を
ランダム（無作為）に除去することにより、デシメーシ
ョンプロセスを実行するための処理を実行する。形状に
寄与しない頂点は三角形分割から放棄されるため、最終
モデルにおける頂点の数（従って、三角形の数）は少な
くなる。隣接する頂点を連続して除去することにより面
の大部分が徐々に侵食されるという事態を回避するため
に、除去し試験すべき頂点の選択は無作為に行われる。
本実施形態における、サーフェスモデラ７０により実行
されるデシメーションアルゴリズムを、疑似コードで以
下のように記述する。 INPUT Read in vertices Read in triples of vertex IDs making up triangles PROCESSING Repeat NVERTEX times Choose a random vertex V, which hasn't been chosen
before Locate set of all triangles having V as a vertex,
S Order S so adjacent triangles are next to each oth
er Re-triangulate triangle set, ignoring V (i.e. remo
ve selected triangles & V and then fill in hole) Find the maximum distance between V and the plane
of each triangleIf (distance < threshold) Discard V and keep new triangulation Else Keep V and return to old triangulation OUTPUT Output list of kept vertices Output updated list of triangles 写真マット３４上の特徴の絶対位置はわかっているので
（特徴は位置を定義する事前格納済みデータに従ってプ
リントされている）、ステップＳ６−１０で、被写体オ
ブジェクト２１０の面及びオブジェクト支持台２２０の
面の３Ｄコンピュータモデルは正確なスケールで生成さ
れる。

【００９８】ステップＳ６−１２で、サーフェステクス
チャラ８０はステップＳ６−４で格納された入力画像デ
ータを処理して、ステップＳ６−１０でサーフェスモデ
ラ７０により生成されたサーフェスモデルの三角形ごと
にテクスチャデータを生成する。

【００９９】図９は、本実施形態においてステップＳ６
−１２でサーフェステクスチャラ９０により実行される
処理動作を示している。

【０１００】図９を参照すると、ステップＳ９−２で
は、サーフェステクスチャラ９０は被写体オブジェクト
２１０の底面、すなわち、オブジェクト支持台２２０の
水平板２２２に乗っている面のテクスチャデータとして
使用できる画像データを生成する。本実施形態では、こ
の処理は、ステップＳ６−４で格納された被写体オブジ
ェクト２１０の各入力画像を、被写体オブジェクト２１
０の下面が見えるようなカメラ撮影位置及び向きを有し
且つミラー１４０における被写体オブジェクト２１０の
下面の反射に相当する入力画像からの画素データを含む
仮想画像に変換することにより実行される。すなわち、
先に述べた通り、マット発生器３０は座標系を定義する
データを格納し、カメラ計算器５０は定義された座標系
において各入力画像が記録されたときの位置と向きを計
算する。本実施形態では、写真マット３４の中心が座標
系の原点であり、ｚ方向は写真マットの平面に対し垂直
な上向きの方向である。ステップＳ９−２では、サーフ
ェステクスチャラ８０は、カメラ計算器５０により計算
された入力画像の位置と向きを変更して、被写体オブジ
ェクト２１０の下面を示す位置及び向きに相当する、仮
想画像の新たな位置と向きを定義することにより、各入
力画像を処理する。すなわち、カメラ計算器５０により
計算された入力画像の位置と向きを３×４の行列Ｍとし
て表現して、サーフェステクスチャラ８０は仮想画像の
位置と向きを定義する３×４の行列Ｍ'を次のようにし
て生成する。

【０１０１】

【数３】

【０１０２】サーフェステクスチャラ８０は、仮想画像
ごとに、対応する入力画像の中で写真マット３４の穴１
３０に対応しない全ての画素をマスクすることにより、
画素データを生成する（入力画像における穴１３０の位
置は、ステップＳ６−６でカメラ計算器５０により実行
された位置と向きの計算からわかっている）。このよう
にして、図１０に示す通り、仮想画像の画素データはミ
ラー１４０における反射を示す画素データから構成され
ることになり、残る画素データの全ては（図１０に陰影
により指示するように）隠蔽（mask out）される。

【０１０３】入力画像によっては、ミラー１４０の反射
の中にオブジェクト支持台２２０の脚部２２４が現わ
れ、その結果、対応する仮想画像にも現れる場合もある
ことは理解されるであろう。しかし、本実施形態では、
以下の説明から明らかになるように、被写体オブジェク
ト２１０の底面を構成する３Ｄコンピュータモデルの様
々な三角形のテクスチャデータは必ずしも同じ入力画像
から生成されたとは限らず、従って、一部の入力画像で
脚部２２４が見えても、その影響はそれほど著しく目立
たないので、これは問題ではない。あるいは、脚部２２
４がミラー１４０からの反射で見えることがないよう
に、脚部２２４を透明材料から形成しても良い。

【０１０４】再び図９に戻ると、ステップＳ９−４から
Ｓ９−１０では、サーフェステクスチャラ８０は、ステ
ップＳ６−１０で生成されたサーフェスメッシュにおい
て各三角形を選択し且つ選択された三角形について入力
画像の１つからテクスチャデータを定義するための処理
を従来通りに実行する。

【０１０５】すなわち、ステップＳ９−４で、サーフェ
ステクスチャラ８０はステップＳ６−１０で生成された
サーフェスメッシュにおける次の三角形（ステップＳ９
−４が初めて実行される場合には、これは最初の三角形
である）を考慮し、ステップＳ９−６では、三角形に最
も近接して直面している入力画像「ｉ」を見出すための
処理を実行する。

【０１０６】すなわち、三角形の垂線(normal)を^ｎ_tと
し、「ｉ」番目の画像の撮影方向を^ｖ_iとするとき、ス
テップＳ９−６で、サーフェステクスチャラ８０は値^
ｎ_t・^ｖ_iが最大である入力画像を求める。これは、面
三角形が最大投射面積を有する入力画像を識別する。

【０１０７】ステップＳ９−８で、サーフェステクスチ
ャラ８０はステップＳ９−６で識別された入力画像に三
角形を投射し、投射された三角形の頂点を画像テクスチ
ャマップを定義するテクスチャ座標として従来通りに格
納する。

【０１０８】ステップＳ９−１０で、サーフェステクス
チャラ８０は、サーフェスメッシュに別の三角形が存在
しているか否かを判定し、先に説明したように各三角形
を処理し終わるまでステップＳ９−４からＳ９−１０を
繰り返す。

【０１０９】以上説明した処理を実行した結果、モデル
にレンダリングすべき画像データを定義するテクスチャ
座標をもって完成した、被写体オブジェクト２１０及び
オブジェクト支持台２２０の面のVRML（又は類似のフォ
ーマットの）モデルが得られる。

【０１１０】再び図６に戻ると、ステップＳ６−１４
で、オブジェクト／支持台セパレータ９０は、ステップ
Ｓ６−１０でサーフェスモデラ７０により生成された被
写体オブジェクト２１０の面及びオブジェクト支持台２
２０の面の３Ｄコンピュータモデルを定義するデータを
処理して、モデルからオブジェクト支持台２２０を除去
し、被写体オブジェクト２１０の３Ｄコンピュータモデ
ルのみを残す。

【０１１１】本実施形態では、オブジェクト／支持台セ
パレータ９０は、ユーザ入力装置６を介して入力される
ユーザ命令に従って処理を実行し、３Ｄコンピュータモ
デルからオブジェクト支持台２２０を対話によって除去
する。

【０１１２】図１１は、ステップＳ６−１４でオブジェ
クト／支持台セパレータ９０により実行される処理動作
を示している。

【０１１３】図１１を参照すると、ステップＳ１１−２
では、オブジェクト／支持台セパレータ９０はディスプ
レイプロセッサ１１０に、サーフェスモデラ７０により
生成された被写体オブジェクト２１０及びオブジェクト
支持台２２０の３Ｄコンピュータモデルをサーフェステ
クスチャラ８０により生成されたテクスチャデータによ
ってレンダリングして、表示装置４に表示させる。更
に、図１２ａに示すように、オブジェクト／支持台セパ
レータ９０はディスプレイプロセッサ１１０に、表示さ
れる３Ｄコンピュータモデルと交わる水平平面４５０を
表示させる。この水平平面４５０は、ユーザがマウスな
どのユーザ入力装置６を使用することにより垂直方向に
（すなわち、写真マット３４に対し垂直な方向に）移動
自在である。

【０１１４】ステップＳ１１−４では、図１２ａ、図１
２ｂ及び図１２ｃに示すように、オブジェクト／支持台
セパレータ９０は平面４５０をユーザ入力命令に従って
垂直方向に上下に動かし、ユーザにより定義される、３
Ｄコンピュータモデルにおいて平面４５０が被写体オブ
ジェクト２１０とオブジェクト支持台２２０とを分離す
る最終位置（図１２ｃ）まで移動させる。更に、オブジ
ェクト／支持台セパレータ９０はディスプレイプロセッ
サ１１０に、ユーザ入力命令に従って１つ以上の異なる
撮影位置及び方向からの被写体オブジェクト２１０、オ
ブジェクト支持台２２０及び平面４５０の３Ｄコンピュ
ータモデルを表示させる。これにより、ユーザは異なる
視点から３Ｄコンピュータモデルを見て、平面４５０の
最終位置が３Ｄコンピュータモデルにおいて正しく被写
体オブジェクト２１０をオブジェクト支持台２２０から
分離していることを確認するために、それらの視点から
３Ｄコンピュータモデルを観察しつつ平面４５０を移動
させることができる（平面４５０は、３Ｄコンピュータ
モデルを様々に異なる撮影位置及び方向から見たときに
表示装置４では垂直方向にならない可能性もある写真マ
ット３４の計算上の平面に対して垂直な方向に移動する
ように常に制約されている）。

【０１１５】ステップＳ１１−６では、ユーザが平面４
５０の移動を終了し、平面がその時点で被写体オブジェ
クト２１０とオブジェクト支持台２２０とを分離する位
置にあることを指示するユーザ入力信号に応答して、オ
ブジェクト／支持台セパレータ９０は平面の最終位置を
定義する座標を格納する。

【０１１６】ステップＳ１１−８で、オブジェクト／支
持台セパレータ９０は、サーフェスモデラ７０により生
成された３Ｄサーフェスモデルのうち、ステップＳ１１
−６で格納された平面の最終位置の下方にある部分を削
除するための（すなわち、平面４５０の、写真マット３
４の計算上の平面に向いた側に位置するモデルの部分を
削除するための）処理を実行する。

【０１１７】図１３を参照して説明すると、ステップＳ
１１−８の処理を実行するために、オブジェクト／支持
台セパレータ９０はステップＳ６−１０でサーフェスモ
デラ７０により実行される処理を繰り返すが、今回は、
水平の底面４１２がステップＳ１１−６で格納された平
面４５０の最終位置に対応する位置まで移動されるよう
に、ボクセルカーブ処理のスタートボリュームを定義す
る立方形４００を修正する。このように、ボクセルカー
ブ処理及び後続する処理（前述の通り）を実行するとき
に、被写体オブジェクト２１０の面のみの３Ｄコンピュ
ータモデルが生成されることになり、モデルはオブジェ
クト支持台２２０のどの部分も含んでいない。

【０１１８】再び図１１に戻り、ステップＳ１１−１０
では、オブジェクト／支持台セパレータ９０はディスプ
レイプロセッサ１１０に、ステップＳ１１−８で生成さ
れた３Ｄサーフェスモデルの画像をステップＳ６−１２
でサーフェステクスチャラ８０により生成された適切な
テクスチャデータによってレンダリングして、表示装置
４に表示させる。

【０１１９】ステップＳ１１−１２では、オブジェクト
／支持台セパレータ９０は、オブジェクト支持台２２０
のモデルを除去するために３Ｄコンピュータモデルに対
して更に変更を実行すべきであることを指示するユーザ
入力信号を受信したか否かを判定する。ステップＳ１１
−１２で、それ以上の変更が不要であることが判定され
るまで、ステップＳ１１−４からＳ１１−１２を繰り返
す。

【０１２０】再び図６に戻ると、ステップＳ６−１６で
は、中央制御装置２０は出力データ記憶装置１２０から
の、被写体オブジェクト２１０の３Ｄコンピュータモデ
ルを定義するデータ及びそのテクスチャデータを、例え
ば、ディスク１２２などの記憶装置に格納されるデータ
又は信号１２４（図１）として出力する。これに加え
て、又はその代わりに、中央制御装置２０はディスプレ
イプロセッサ１１０に、被写体オブジェクト２１０の３
Ｄコンピュータモデルを、例えば、ユーザ入力装置６を
使用してユーザにより入力された視点に従ってテクスチ
ャデータによってレンダリングして表示させても良い。
あるいは、ステップＳ６−６で生成された入力画像ごと
のカメラ２３０の位置及び向きを定義するデータと、ス
テップＳ６−８で生成された各入力画像の分割を定義す
るデータとを、例えば、ディスク１２２などの記憶装置
に記録されるデータ又は信号１２４として出力しても良
い。その後、このデータはステップＳ６−１０からS６
−１４を実行するためにプログラムされた別の処理装置
に入力されても良い。

【０１２１】以上説明した第１の実施形態においては、
オブジェクト／支持台セパレータ９０は、ステップＳ６
−１４で被写体オブジェクト及びオブジェクト支持台の
３Ｄコンピュータモデルを処理して、平面４５０の位置
を定義するユーザ入力命令に従って３Ｄコンピュータモ
デルからオブジェクト支持台を除去し、被写体オブジェ
クトとオブジェクト支持台を分離する。しかし、以下に
説明する別の実施形態から明白になるように、オブジェ
クト／支持台セパレータ９０により異なる方法で被写体
オブジェクト単独の（すなわち、オブジェクト支持台を
含まない）３Ｄコンピュータモデルを生成しても良い。

【０１２２】［第２の実施形態］次に、本発明の第２の
実施形態を説明する。第２の実施形態の構成要素及びそ
れにより実行される処理動作は、以下に説明するよう
に、オブジェクト支持台が異なり且つオブジェクト／支
持台セパレータ９０により実行される処理動作が異なる
点を除いて、第１の実施形態の場合と同じである。更
に、第２の実施形態では、入力画像からサーフェステク
スチャラ８０により被写体オブジェクト２１０の下面の
テクスチャデータは生成されない（多くの場合、被写体
オブジェクト２１０の下面はユーザにとってさほど大き
な意味を持たないため、これは重要な問題ではない）。

【０１２３】図１４を参照すると、第２の実施形態で
は、オブジェクト支持台４６０は不透明の底部４７０と
透明な上部４８０とを有する円筒で構成されている。

【０１２４】オブジェクト支持台４６０の直径の大きさ
は、被写体オブジェクト２１０がオブジェクト支持台４
６０の上に配置されたときに支持台の上面全体を覆うよ
うに定められている。従って、被写体オブジェクト２１
０が乗っている水平面が被写体オブジェクト２１０の底
面の縁からはみ出すことはない。そのため、被写体オブ
ジェクト２１０に隣接して、影を形成するような水平面
は存在しないので、入力画像において被写体オブジェク
ト２１０に影がかかることはありえない。

【０１２５】オブジェクト支持台４６０の上部４８０は
透明であるので、ステップＳ６−４で格納される各入力
画像においては、図１４に示すように、被写体オブジェ
クト２１０と、オブジェクト支持台４６０の不透明の底
部４７０との間に背景スクリーン２２８の一部が見える
ことになる。このため、各入力画像では、被写体オブジ
ェクト２１０はオブジェクト支持台４６０の底部４７０
から分離されたように見える。

【０１２６】従って、ステップＳ６−８で画像データセ
グメンタ６０により実行される処理において、被写体オ
ブジェクト２１０とオブジェクト支持台４６０の底部４
７０との間にある背景スクリーン２２８の部分に関連す
る画素は「背景」画素と指定されるが、被写体オブジェ
クト２１０に関連する画素と、オブジェクト支持台４６
０の底部４７０に関連する画素は「オブジェクト」画素
の別個の領域として指定される。

【０１２７】そこで、ステップＳ６−１０でサーフェス
モデラ７０により実行される処理では、被写体オブジェ
クト２１０の３Ｄコンピュータモデルが生成され、オブ
ジェクト支持台４６０の底部４７０の別個の、先の３Ｄ
コンピュータモデルとはつながらない３Ｄコンピュータ
モデルが生成される。

【０１２８】従って、ステップＳ６−１４でオブジェク
ト／支持台セパレータ９０により実行される処理では、
オブジェクト支持台４６０の底部４７０の３Ｄコンピュ
ータモデルを被写体オブジェクト２１０の３Ｄコンピュ
ータモデルから識別し、それを削除するだけで良い。

【０１２９】図１５は、第２の実施形態のステップＳ６
−１４でオブジェクト／支持台セパレータ９０により実
行される処理動作を示す。

【０１３０】図１５を参照すると、ステップＳ１５−２
では、オブジェクト／支持台セパレータ９０はディスプ
レイプロセッサ１１０に、サーフェスモデラ７０により
生成された被写体オブジェクト２１０の３Ｄコンピュー
タモデル及びオブジェクト支持台４６０の底部４７０の
３Ｄコンピュータモデルの画像をサーフェステクスチャ
ラ８０により生成されたテクスチャデータによってレン
ダリングして表示させる。

【０１３１】ステップＳ１５−４では、オブジェクト／
支持台セパレータ９０はディスプレイプロセッサ１１０
に、オブジェクト支持台４６０の底部４７０の３Ｄモデ
ルを識別することをユーザに要求するメッセージを表示
装置４に表示させる。

【０１３２】ステップＳ１５−６では、マウスなどのユ
ーザ入力装置６を介してユーザから入力された信号に応
答して、オブジェクト／支持台セパレータ９０は入力信
号で定義されている３Ｄコンピュータモデルを削除し
て、被写体オブジェクト２１０の３Ｄコンピュータモデ
ルのみを残す。

【０１３３】本実施形態の変形として、オブジェクト支
持台４６０の上部４８０を不透明にし、背景スクリーン
２２８と同じ色にしても良い。この場合、各入力画像に
おいて上部４８０を背景スクリーン２２８と区別するこ
とは不可能であるため、これは上部４８０を透明にする
のと同じ効果を有する。

【０１３４】図１５を参照して以上説明した処理に代わ
る処理として、オブジェクト／支持台セパレータ９０は
オブジェクト支持台４６０の底部４７０の３Ｄコンピュ
ータモデルを自動的に（すなわち、ユーザからの入力な
しに）削除しても良い。すなわち、これは、ステップＳ
６−６でカメラ計算器５０により計算された写真マット
３４の位置に最も近接している３Ｄコンピュータモデル
を削除することにより実現される。被写体オブジェクト
２１０は常にオブジェクト支持台４６０の上に配置され
ており、従って、常にオブジェクト支持台４６０の底部
４７０より写真マット３４から離れた位置にあるので、
この処理により、削除のたびに正しい３Ｄコンピュータ
モデルが削除される結果となる。

【０１３５】［第３の実施形態］次に、本発明の第３の
実施形態を説明する。第３の実施形態の構成要素及びそ
れにより実行される処理動作は、以下に説明するよう
に、オブジェクト支持台が異なり且つオブジェクト／支
持台セパレータ９０により実行される処理動作が異なる
点を除いて第１の実施形態の場合と同じである。加え
て、第２の実施形態と同様に、第３の実施形態でも被写
体オブジェクト２１０の下面のテクスチャデータは生成
されない。

【０１３６】第３の実施形態では、撮影のために被写体
オブジェクト２１０が乗せられるオブジェクト支持台は
第２の実施形態の場合と同様に円筒であるが、第３の実
施形態においては、第２の実施形態のように一部が不透
明、一部が透明という構造ではなく、円筒全体が不透明
である。

【０１３７】従って、第１の実施形態の場合と同様に、
ステップＳ６−１０でサーフェスモデラ７０により生成
される３Ｄコンピュータモデルは、被写体オブジェクト
２１０とオブジェクト支持台双方の３Ｄコンピュータモ
デルである。

【０１３８】第３の実施形態のステップＳ６−１４で
は、オブジェクト／支持台セパレータ９０は、先にステ
ップＳ６−６でカメラ計算器５０により計算された写真
マット３４の位置から離れる方向（すなわち、オブジェ
クト支持台の底面から被写体オブジェクト２１０に向か
う上向きの方向）に複数の異なる位置で３Ｄコンピュー
タモデルの横断面面積を試験するための処理を実行す
る。すなわち、オブジェクト／支持台セパレータ９０
は、横断面面積の急激な変化（この急激な変化は、被写
体オブジェクト２１０の底面がオブジェクト支持台の上
面より狭い又は広い場合に、オブジェクト支持台と被写
体オブジェクト２１０との境界を指示する）が起こる位
置を検出するために、３Ｄコンピュータモデルの横断面
面積を監視する。３Ｄコンピュータモデルの横断面面積
が変化する位置を検出したならば、オブジェクト／支持
台セパレータ９０は、第１の実施形態で説明したよう
に、ボクセルカーブ処理を実行する初期ボリューム４０
０の底平面４１２を３Ｄコンピュータモデルの横断面面
積の変化が起こったと検出された位置に設定することに
より、３Ｄコンピュータモデルを再び生成するための処
理を実行する。

【０１３９】このようにして、ユーザ入力なしに被写体
オブジェクト２１０単独の３Ｄコンピュータモデルが生
成される。

【０１４０】以上説明した処理に代わる処理として、被
写体オブジェクト２１０の底面のどの色とも相当に異な
るほぼ一様な色を有するオブジェクト支持台を使用して
も良い。この場合、オブジェクト支持台の横断面面積の
急激な変化を検出するための処理を実行するのではな
く、オブジェクト／支持台セパレータ９０はサーフェス
テクスチャラ８０により生成されたテクスチャデータに
よってレンダリングされたときに、３Ｄコンピュータモ
デルの急激な色の変化の位置を検出するための処理を実
行すれば良い。

【０１４１】以上説明した初めの３つの実施形態におい
ては、被写体オブジェクト２１０及びオブジェクト支持
台の３Ｄコンピュータモデルを（第１及び第３の実施形
態の場合のような単一の３Ｄコンピュータモデルとし
て、又は第２の実施形態の場合のような２つの別個の３
Ｄコンピュータモデルとして）生成し、その後、オブジ
ェクト支持台に関連する３Ｄコンピュータモデルを除去
する。

【０１４２】しかし、そのようにする代わりに、サーフ
ェスモデラ７０はステップＳ６−１０で、以下に説明す
る第４の実施形態から明らかになるように、被写体オブ
ジェクト単独の３Ｄコンピュータモデルを定義するデー
タを生成するための処理を実行しても良い。

【０１４３】［第４の実施形態］次に、本発明の第４の
実施形態を説明する。第４の実施形態の構成要素及びそ
れにより実行される処理動作は、オブジェクト支持台の
高さがわかっており、処理装置２に格納されていること
（例えば、高さはユーザにより入力されても良い）、及
びオブジェクト／支持台セパレータ９０（従って、オブ
ジェクト／支持台セパレータにより実行される処理ステ
ップＳ６−１４）が含まれておらず、サーフェスモデラ
７０により実行される処理をそれに対応して変更したこ
とを除いて、第１の実施形態の場合と同じである。以下
に、それらの相違点について説明する。

【０１４４】すなわち、オブジェクト支持台の高さがわ
かっており、処理装置２に格納されているので、ステッ
プＳ６−１０で、サーフェスモデラ７０はボクセルカー
ブ処理を実行すべき初期ボリューム４００の底平面４１
２を写真マット３４の位置から格納されているオブジェ
クト支持台の高さに等しい垂直方向距離だけ離れた位置
に設定する。これにより、ステップＳ６−１０で後にサ
ーフェスモデラ７０により実行される処理において、被
写体オブジェクト２１０単独の３Ｄコンピュータモデル
が生成されることになる。

【０１４５】［変形例］特許請求の範囲の範囲内で、以
上説明した実施形態に対して数多くの変形を実施するこ
とができる。

【０１４６】例えば、撮影のために被写体オブジェクト
２１０が乗せられるオブジェクト支持台を変形すること
が可能である。

【０１４７】第１の例として、先に図４ａから図４ｅを
参照して説明したように、カメラ２３０の撮影位置及び
方向は、各入力画像において被写体オブジェクト２１０
が背景スクリーン２２８により取り囲まれる形で確実に
現れるように保証するために重要であるので、カメラ２
３０の最適の位置及び撮影方向を選択するときにユーザ
を補助するようにオブジェクト支持台を設計することが
できる。すなわち、図１６に示すように、ユーザが正し
い撮影位置及び方向を実現するのを補助するために、マ
ーカ５００を有するオブジェクト支持台４９０を使用し
ても良い。この場合、マーカ５００が写真マット３４と
背景スクリーン２２８との境界に現れるように、ユーザ
はカメラ２３０の位置と方向を選択できる。マーカ５０
０は、この整列が起こったときに被写体オブジェクト２
１０が常に背景スクリーン２２８により取り囲まれるよ
うに、オブジェクト支持台の上部から十分な距離をおい
て位置決めされている。

【０１４８】図１７を参照すると、被写体オブジェクト
２１０が乗るオブジェクト支持台の上面から離間した位
置に写真マット３４の特徴のパターンがプリント（又は
その他の方法によりマーキング）されているオブジェク
ト支持台５１０を設けることにより、オブジェクト支持
台と写真マット３４を組み合わせても良い。

【０１４９】先に説明した実施形態のように、入力画像
中で検出するために写真マット３４に特徴を設けるのに
加えて、オブジェクト支持台にも同様に特徴を設けても
良く、この場合、カメラ計算器５０は、各入力画像にお
いてオブジェクト支持台の特徴を検出すると共に、入力
画像相互間で検出した特徴を整合するための処理を実行
する。その後、検出され、整合されたオブジェクト支持
台の特徴の位置を写真マット３４の特徴の検出位置と共
に使用して、入力画像の位置と向きを計算する。これに
より、（先に説明したように、全ての特徴が写真マット
３４の上にある実施形態とは異なり）位置と向きを計算
するために使用される特徴の全てが１つの平面に位置す
ることがなくなり、オブジェクト支持台の特徴を異なる
高さに設けることが可能になるため、計算される位置及
び向きの正確さが向上する（従って、被写体オブジェク
トの３Ｄコンピュータモデルがより正確になる）と思わ
れる。写真マット３４で検出された特徴と、オブジェク
ト支持台で検出された特徴を使用して、入力画像の位置
及び向きを計算する方法の一例として、EP−A−０８９
８２４５に記載されている方法に基づき、「ユーザ識
別」整合として写真マット３４の特徴の整合を使用し且
つ「計算上の」整合としてオブジェクト支持台の特徴の
整合を使用して、処理を実行しても良い。

【０１５０】更に、オブジェクト支持台の特徴を既知の
相対位置に設けても良い。このようにすると、既知の相
対位置を利用して、計算される各々の位置及び向きがと
りうる解を従来のように制約することにより（すなわ
ち、オブジェクト支持台上の特徴の相対位置を維持する
撮影条件を与えるように計算される位置及び向きに要求
することにより）、更に高い正確さをもって入力画像の
位置と向きを計算できるであろう。

【０１５１】また、オブジェクト支持台上の特徴を既知
の相対位置に設けるのに加えて、オブジェクト支持台と
写真マットを接合したときに、オブジェクト支持台上の
特徴が写真マット上の特徴の位置に対して既知の位置を
とるようにオブジェクト支持台と写真マットを相互に接
続するように構成しても良い。すなわち、図１８を参照
して説明すると、穴５３０を有する材料の厚板の上に特
徴のパターンを設けた写真マット５２０を使用しても良
い。各々がそれぞれ異なる色を有し、且つ既知の相対位
置にそれぞれ配列された複数の特徴５６０を有するオブ
ジェクト支持台５４０は、その底部を穴５３０に差し込
むことにより写真マット５２０と接合される。オブジェ
クト支持台５４０を穴５３０に差し込んだとき、オブジ
ェクト支持台５４０に設けられた突起部５５０が穴５３
０の切り欠きと係合するので、写真マット５２０上の特
徴と、オブジェクト支持台５４０上の特徴５６０の相対
位置は固定される。

【０１５２】以上説明した実施形態では、オブジェクト
支持台と被写体オブジェクト２１０が配置されるキャリ
ブレーションオブジェクトは二次元写真マット３４の形
態をとっていた。しかし、その代わりに三次元キャリブ
レーションオブジェクトを使用しても差し支えない。例
えば、図１９を参照すると、垂直の側面に特徴のパター
ンを有する立方体の形状を有するキャリブレーションオ
ブジェクト５７０が使用されている。

【０１５３】オブジェクト支持台の高さを変えることが
できるように、支持台を伸縮自在の構造にしても良い。

【０１５４】オブジェクト支持台は、被写体オブジェク
ト２１０に差し込めるスパイクの形態をとっていても良
い。

【０１５５】上述の全ての実施形態において、オブジェ
クト支持台は、被写体オブジェクト２１０を乗せる平坦
な上面を有する。しかし、被写体オブジェクトは複数の
個別の支柱によって支えられても良い。例えば、第１の
実施形態で、オブジェクト支持台の水平の上板２２２を
取り外し、被写体オブジェクトを脚部２２４により支持
しても差し支えない。被写体オブジェクトの下面に関し
てテクスチャデータを生成すべき実施形態では、この構
成は、被写体オブジェクトが乗っている面（例えば、第
１の実施形態では面２２２）を通る光の透過に起因して
発生する歪みの影響を受けずに、ミラー１４０で下面の
少なくとも一部を反射させることになるであろう。

【０１５６】上述の全ての実施形態において、写真マッ
ト３４のパターンの特徴は、オブジェクト支持台が配置
される空いた中央領域に配列されていた。しかし、オブ
ジェクト支持台用のスペースを取らずに、特徴を写真マ
ット３４の全面に設けても良く、その場合、オブジェク
ト支持台は特徴の一部にかかるように配置される。各入
力画像で少なくとも６個の特徴が見えているならば、こ
の配置が各入力画像の位置及び向きを計算するための処
理動作に影響を及ぼすことはない。

【０１５７】上述の実施形態においては、被写体オブジ
ェクト２１０を乗せたオブジェクト支持台は、写真マッ
ト３４のパターンの特徴により取り囲まれるように写真
マット３４上に位置決めされていた。しかし、被写体オ
ブジェクト２１０を乗せたオブジェクト支持台が特徴の
パターンの外に出るように写真マット３４上で位置決め
されても良い（例えば、特徴の円から外に出た写真マッ
ト３４の角）。同様に、被写体オブジェクト２１０を乗
せたオブジェクト支持台を写真マット上に配置する必要
もない。例えば、カメラ２３０が固定されている場合、
写真マット３４を大きなシート紙の上に配置し、被写体
オブジェクト２１０を乗せたオブジェクト支持台をその
シート紙の上に、写真マット３４を外して配置しても良
い。この場合、次の画像を記録するときに、カメラ２３
０と、写真マット３４、オブジェクト支持台及び被写体
オブジェクト２１０との相対的な位置及び向きの関係を
変化させるために、紙を回転及び／又は移動させれば良
い。このようにすると、被写体オブジェクト２１０が写
真マット３４の特徴のパターンの上に直接に乗っていな
くても、被写体オブジェクト２１０は依然としてオブジ
ェクト支持台によりパターンの上方の位置に保持されて
おり、記録された画像において被写体オブジェクト２１
０とパターンの双方を見ることができる。従って、ここ
で使用する用語「上方」は、被写体オブジェクトが写真
マットの垂直方向直上にあることを意味するものとして
解釈されてはならない。

【０１５８】以上説明した全ての実施形態において、被
写体オブジェクト２１０単独の３Ｄコンピュータモデル
を生成していた。しかし、アプリケーションによって
は、オブジェクト支持台（又はその一部）を含めて被写
体オブジェクト２１０の３Ｄコンピュータモデルを生成
しても良い。そのような場合には、オブジェクト支持台
の３Ｄコンピュータモデルを除去するための処理を実行
する必要はない。

【０１５９】上述の第１の実施形態では、ステップＳ６
−１４でオブジェクト／支持台セパレータ９０により実
行される処理において、被写体オブジェクト２１０をオ
ブジェクト支持台２２０から分離させるために移動され
るべくユーザに対し表示される平面４５０は、被写体オ
ブジェクト２１０の３Ｄコンピュータモデルのいずれか
一部の幅を超える幅を有する。同様に、ボクセルカーブ
処理を再度実行する前に、オブジェクト／支持台セパレ
ータ９０は、底部平面４１２の下方にある初期ボリュー
ム４００の底部全体を除去するために、初期ボリューム
４００の底部平面４１２を移動させる。図５に示すよう
に、被写体オブジェクト２１０のどの部分もオブジェク
ト支持台２２０の上面より上にある場合には、この処理
は申し分なく実行される。しかし、被写体オブジェクト
２１０の一部がオブジェクト支持台２２０の上面から突
き出しているために、第１の実施形態で説明した処理を
使用すると、平面４５０を利用して被写体オブジェクト
２１０をオブジェクト支持台２２０から分離することが
不可能になると思われる状況も起こりうる。従って、こ
の処理に代わる処理として、ステップＳ６−１４で、オ
ブジェクト／支持台セパレータ９０はオブジェクト支持
台２２０と同じ形状及び横断面面積を有する平面４５０
を表示しても良く、その場合、ボクセルカーブ処理を実
行すべき初期ボリューム４００を修正するとき、ユーザ
に対し表示された平面４５０の横断面面積及び形状に相
当する横断面面積と形状を有し且つ下の底部平面４１２
からステップＳ１１−６で格納された平面４５０の最終
位置に対応する位置まで延在する穴をボリューム４００
に形成しても良い。また、第３及び第４の実施形態にお
いても同様に、被写体オブジェクト２１０がオブジェク
ト支持台の上部から突き出している状況を考慮するため
に、初期ボリューム４００を修正しても良い。

【０１６０】被写体オブジェクトとオブジェクト支持台
双方の３Ｄコンピュータモデルからオブジェクト支持台
の３Ｄコンピュータモデルを除去するための処理を実行
する別の方法として、（例えば、入力画像を記録すると
きに被写体オブジェクト２１０が存在しない状態で先に
説明した処理を実行することにより）オブジェクト支持
台の３Ｄコンピュータモデルを処理装置２で事前に生成
し、事前に格納しておいても良い。その場合、この後、
事前に格納されていたオブジェクト支持台のモデルを被
写体オブジェクト及びオブジェクト支持台双方の３Ｄモ
デルの一部に整合させ、且つ検出された整合部分を除去
するために、オブジェクト／支持台セパレータ９０によ
り処理を実行しても良い。

【０１６１】上述の実施形態においては、プリンタ８は
１枚のシート紙に写真マット３４をプリントしていた。
しかし、マット発生器３０は写真マットを複数枚のシー
ト紙にプリントするようにプリンタ８を制御しても良
い。それらの紙を組み合わせて写真マット３４を形成す
ることができる。

【０１６２】記録媒体に写真マットをプリントする、又
は表示パネル１０に写真マットを表示するのではなく、
写真マットの特徴を床などの面にマーキング（例えば、
ペイント）しても良い。

【０１６３】上述の第１の実施形態においては、被写体
オブジェクト２１０の下面のテクスチャデータを生成す
るために、写真マットをプリントするシート紙に穴１３
０が切り取られており、それをミラー１４０に接合して
いた。しかし、その代わりに、シート紙の上面の、穴１
３０が切り取られていたであろう位置に対応する位置
に、ミラー又はその他の適切な反射材料を設けても良
い。同様に、表示パネル１０に写真マットを表示する場
合に、表示パネルにミラー又は他の反射材料を配置して
も良い。あるいは、ミラー又は他の反射面に写真マット
の特徴のパターンをプリント、又はその他の方法により
マーキングしても良い。

【０１６４】上述の第１の実施形態では、ステップＳ６
−１４でオブジェクト／支持台セパレータ９０により実
行される処理において、ボクセルカーブ処理を実行すべ
き初期ボリューム４００の底部平面４１２を先にユーザ
により移動された平面４５０の位置に対応する位置まで
移動させることにより、サーフェスモデラ７０により生
成された３Ｄコンピュータモデルを修正していた。これ
に加えて、同じ技法を使用して、３Ｄコンピュータモデ
ルの誤りを修正するために３Ｄコンピュータモデルを修
正しても良い。すなわち、図２０aを参照して説明する
と、処理装置２は、ユーザがユーザ入力装置６を使用し
て任意の位置及び向きに移動させることができる平面６
００と共に、３Ｄコンピュータモデルの画像を表示して
も良い。このようにすると、ユーザは、図２０aの部分
６１０のように、望ましい部分から突出しているコンピ
ュータモデルの望ましくない部分を分離する位置まで平
面６００を移動させることができる。先に図１１を参照
して説明した処理の場合と同様に、処理装置２はユーザ
により移動された後の平面６００の最終位置を格納し、
図２０bに示すように、ユーザにより定義された平面６
００の位置に対応するボリューム４００内の位置に平面
６２０を設定し、且つその平面６２０により除外される
部分６３０を初期ボリューム４００から除去することに
より、ボクセルカーブ処理を実行すべき処理ボリューム
４００を修正する。その後、処理装置２は再びボクセル
カーブ処理を実行し、その結果、ボクセルカーブ処理か
ら除外されたボリューム６３０に位置している３Ｄコン
ピュータモデルの望ましくない部分６１０は除去され
る。

【０１６５】以上説明した実施形態においては、ステッ
プＳ６−４で、ユーザにより入力された、カメラ２３０
の固有パラメータを定義するデータを格納していた。し
かし、その代わりに、固有カメラパラメータの一部又は
全てに関してデフォルト値を想定しても良く、あるい
は、例えば、Hartleyの「Euclidean Reconstruction Fr
om Uncalibrated Views」（Applications of Invarianc
e in Computer Vision,Mundy, Zisserman and Forsyth
eds、２３７〜２５６ページ、Azores１９９３年）に記
載されているように、従来の方式で固有パラメータ値を
計算するための処理を実行しても良い。

【０１６６】以上説明した実施形態においては、先に図
７を参照して説明したように、被写体オブジェクト２１
０及びオブジェクト支持台に関連する入力画像からの画
像データを写真マット３４、面２００及び背景スクリー
ン２２８に関連する画像データから分離していた。しか
し、別の従来の分割方法を使用しても良い。例えば、写
真マット３４、面２００及び背景スクリーン２２８の色
を表現する１つのRGB値を格納し、RGB背景値とRGB画素
値とのRGB空間におけるユークリッド距離が指定の閾値
より小さいか否かを判定するために、入力画像の各画素
を処理するような分割方法を使用しても差し支えない。

【０１６７】以上説明した実施形態においては、３Ｄコ
ンピュータモデルを定義するデータを生成するためのス
テップＳ６−１０及びＳ６−１４の処理をボクセルカー
ビング技法を使用して実行していた。しかし、例えば、
共にKiriakos N. Kutulakos及びStephen M. Seitzが著
した１９９８年１月のUniversity of Rochester Comput
er Sciences Technical Report Number 680に掲載され
た論文「What Do N Photographs Tell Us About 3D Sha
pe？」及び１９９８年５月のUniversity of Rochester
Computer Sciences Technical Report Number 692に掲
載された論文「ATheory of Shape by Space Carving」
に記載されているようなボクセルカラリング技法などの
他の技法を使用しても差し支えない。

【０１６８】以上説明した実施形態においては、プログ
ラミング命令により定義される処理ルーチンを使用し
て、コンピュータにより処理を実行していた。しかし、
処理の一部又は全てをハードウェアを使用して実行する
ことも可能であろう。

【図面の簡単な説明】

【図１】本発明の一実施形態の構成要素を、プログラミ
ング命令によりプログラムされたときに処理装置の構成
要素が構成されるものと考えられる概念上の機能処理ユ
ニットと共に概略的に示す図である。

【図２】写真マットとミラーとの接合を示す図である。

【図３】３Ｄコンピュータモデルを生成すべき被写体オ
ブジェクトの画像の記録をオブジェクト支持台及び写真
マットと共に示す図である。

【図４ａ】、

【図４ｂ】、

【図４ｃ】、

【図４ｄ】、

【図４ｅ】、カメラの撮影位置及び向きと、オブジェク
ト支持台の高さの選択がカメラにより記録される入力画
像にどのような影響を及ぼすかを示す図である。

【図５】図１の処理装置に入力されるオブジェクト、オ
ブジェクト支持台及び写真マットの画像を示す図であ
る。

【図６】入力データを処理するために図１の処理装置に
より実行される処理動作を示す図である。

【図７ａ】、

【図７ｂ】、

【図７ｃ】図６のステップＳ６−８で実行される処理動
作を示す図である。

【図８】被写体オブジェクト及びオブジェクト支持台の
３Ｄサーフェスモデルを生成するためにボクセルカービ
ング演算を実行すべき図６のステップＳ６−１０の初期
ボリュームの定義を示す図である。

【図９】図６のステップＳ６−１２で実行される処理動
作を示す図である。

【図１０】図９のステップＳ９−２における仮想画像の
画素データの作成を示す図である。

【図１１】第１の実施形態において図６のステップＳ６
−１４で実行される処理動作を示す図である。

【図１２ａ】、

【図１２ｂ】、

【図１２ｃ】図１１のステップＳ１１−２及びS１１−
４における可動平面の表示及び移動を示す図である。

【図１３】図１１のステップＳ１１−８でボクセルカー
ビングを実行すべき初期ボリュームの再定義を示す図で
ある。

【図１４】透明な上部を有する第２の実施形態のオブジ
ェクト支持台を示す図である。

【図１５】第２の実施形態において図６のステップＳ６
−１４で実行される処理動作を示す図である。

【図１６】別の実施形態においてユーザがカメラの撮影
位置及び向きを選択するのを補助するためのマーカを有
するオブジェクト支持台を示す図である。

【図１７】写真マットではなく、オブジェクト支持台に
識別可能な特徴が設けられている、別の実施形態のオブ
ジェクト支持台を示す図である。

【図１８】写真マット及びオブジェクト支持台に識別可
能な特徴が設けられている、更に別の実施形態の写真マ
ット及びオブジェクト支持台を示す図である。

【図１９】写真マットの代わりに識別可能な特徴を有す
る三次元キャリブレーションオブジェクトを使用する更
に別の実施形態を示す図である。

【図２０ａ】、

【図２０ｂ】全ての実施形態において位置及び向きが可
変である平面を使用して三次元コンピュータモデルをど
のようにして編集するかを示す図である。

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ｇ０１Ｂ 11/24 Ｋ ５Ｌ０９６ 13/02 Ｎ (72)発明者 アレキサンダー ラルフ リオンズ イギリス国 アールジー12 ２エックスエ イチ， バークシャー， ブラックネル, ロンドン ロード， ザ ブラカンズ キヤノン リサーチ センター ヨーロッ パ リミテッド 内 (72)発明者 アダム マイケル ボームバーグ イギリス国 アールジー12 ２エックスエ イチ， バークシャー， ブラックネル, ロンドン ロード， ザ ブラカンズ キヤノン リサーチ センター ヨーロッ パ リミテッド 内 (72)発明者 リチャード イアン テイラー イギリス国 アールジー12 ２エックスエ イチ， バークシャー， ブラックネル, ロンドン ロード， ザ ブラカンズ キヤノン リサーチ センター ヨーロッ パ リミテッド 内 (72)発明者 アーロン ウィリアム クリストファー コッチェフ イギリス国 アールジー12 ２エックスエ イチ， バークシャー， ブラックネル, ロンドン ロード， ザ ブラカンズ キヤノン リサーチ センター ヨーロッ パ リミテッド 内 Ｆターム(参考） 2F065 AA04 AA31 AA53 DD04 FF04 JJ03 MM03 MM04 PP12 QQ24 QQ31 QQ32 QQ33 QQ37 RR02 SS02 TT02 5B047 AA07 AB04 BA02 BB04 BC14 BC23 CB22 DC09 5B057 AA20 BA11 BA19 CA01 CA12 CA13 CA16 CB13 CB20 CH01 CH11 CH14 DA17 DB03 DB06 5C054 AA05 CA04 CC03 CE16 DA07 EA05 FC09 FD02 FE02 GA01 GB02 HA00 5C061 AA06 AA21 AA25 AB03 AB08 AB17 5L096 AA02 AA09 BA18 CA04 EA37 FA67 FA69 HA01

Claims (75)

【特許請求の範囲】
1. 【請求項１】 異なる位置及び向きから被写体オブジェ
   クトの画像を記録し、記録された画像データを処理し
   て、被写体オブジェクトの三次元コンピュータモデルを
   生成する方法であって、 オブジェクト支持台を使用し、所定の特徴のパターンを
   有するキャリブレーションブジェクトの上方に被写体オ
   ブジェクトを支持する工程と、 前記キャリブレーションオブジェクトの上方に支持され
   た前記被写体オブジェクトの複数の画像を異なる位置及
   び向きで記録する工程と、 記録された画像を処理して、画像のうち少なくともいく
   つかの画像の各々の記録された位置及び向きを計算する
   工程と、 計算された位置及び向きを使用して、少なくとも前記被
   写体オブジェクトの三次元コンピュータモデルを定義す
   るデータを生成するための処理を実行する工程とを備え
   ることを特徴とする方法。
2. 【請求項２】 前記キャリブレーションオブジェクトの
   上方に支持された前記被写体オブジェクトの画像は、記
   録される各画像において、前記被写体オブジェクトの輪
   郭が前記オブジェクト支持台にかかる場所を除いて背景
   により取り囲まれるように、ほぼ一様な色の背景を前記
   被写体オブジェクトの背後に配置した状態で記録される
   ことを特徴とする請求項１記載の方法。
3. 【請求項３】 前記背景は背景スクリーンにより提供さ
   れることを特徴とする請求項２記載の方法。
4. 【請求項４】 前記オブジェクト支持台の、少なくとも
   前記被写体オブジェクトに隣接する部分は前記背景とほ
   ぼ同じ色であり、 三次元コンピュータモデルを生成するための処理工程
   は、前記被写体オブジェクトの三次元コンピュータモデ
   ルと、それとは別個の、前記オブジェクト支持台の三次
   元コンピュータモデルとを定義するデータを生成する工
   程を含むことを特徴とする請求項２又は３記載の方法。
5. 【請求項５】 前記オブジェクト支持台の、少なくとも
   前記被写体オブジェクトに隣接する部分はほぼ透明であ
   り、 三次元コンピュータモデルを生成するための処理工程
   は、前記被写体オブジェクトの三次元コンピュータモデ
   ルと、それとは別個の、前記オブジェクト支持台の三次
   元コンピュータモデルとを定義するデータを生成する工
   程を含むことを特徴とする請求項１乃至３のいずれか１
   項に記載の方法。
6. 【請求項６】 前記被写体オブジェクトは、前記キャリ
   ブレーションオブジェクト上に立っているオブジェクト
   支持台の少なくとも１つの面により支持され、 前記被写体オブジェクトを支持している前記オブジェク
   ト支持台の各面は前記被写体オブジェクトの下方から、
   はみ出ないことを特徴とする請求項１乃至５のいずれか
   １項に記載の方法。
7. 【請求項７】 前記オブジェクト支持台は複数のキャリ
   ブレーション特徴を有し、 前記画像のうち少なくともいくつかの画像の各々が記録
   された位置及び向きを計算するための処理工程は、画像
   データ中の前記オブジェクト支持台のキャリブレーショ
   ン特徴を検出する工程と、検出された特徴の位置を使用
   して、画像が記録された位置及び向きを計算する工程と
   を含むことを特徴とする請求項１乃至６のいずれか１項
   に記載の方法。
8. 【請求項８】 前記オブジェクト支持台のキャリブレー
   ション特徴の相対位置を定義するデータは事前に格納さ
   れており、そのデータを使用して画像が記録された位置
   及び向きが計算されることを特徴とする請求項７記載の
   方法。
9. 【請求項９】 前記オブジェクト支持台は前記キャリブ
   レーションオブジェクトに対して所定の構成で配置され
   ており、 前記キャリブレーションオブジェクトの特徴の位置に対
   する前記オブジェクト支持台のキャリブレーション特徴
   の位置を定義するデータが事前に格納され、そのデータ
   を使用して画像が記録された位置及び向きを計算するこ
   とを特徴とする請求項７又は８に記載の方法。
10. 【請求項１０】 前記被写体オブジェクトは反射面の上
    方に支持され、 前記反射面における反射に対応する画像データに従って
    前記被写体オブジェクトの三次元コンピュータモデルの
    テクスチャデータを生成するための処理が実行されるこ
    とを特徴とする請求項１乃至９のいずれか１項に記載の
    方法。
11. 【請求項１１】 前記キャリブレーションオブジェクト
    は三次元であることを特徴とする請求項１乃至１０のい
    ずれか１項に記載の方法。
12. 【請求項１２】 前記オブジェクト支持台及び前記キャ
    リブレーションオブジェクトは一体に形成され、前記被
    写体オブジェクトはそれにより前記キャリブレーション
    オブジェクトの所定の特徴のパターンの上方に支持され
    ていることを特徴とする請求項１乃至１１のいずれか１
    項に記載の方法。
13. 【請求項１３】 所定の特徴のパターンを有するキャリ
    ブレーションオブジェクトの上方にオブジェクト支持台
    により支持された被写体オブジェクトの異なる位置及び
    向きで記録された複数の画像を定義する画像データを処
    理する方法であって、 画像データを処理して、画像のうち少なくともいくつか
    の画像が記録された位置及び向きを計算する工程と、 計算された位置及び向きを使用して、前記オブジェクト
    支持台を含まない前記被写体オブジェクトの三次元コン
    ピュータモデルを定義するデータを生成するための処理
    を実行する工程とを備えることを特徴とする方法。
14. 【請求項１４】 画像のうち少なくともいくつかの画像
    が記録された位置及び向きを計算する工程は、前記オブ
    ジェクト支持台の特徴に対応するそれぞれの画像を定義
    する画像データ中の整合特徴を検出する工程を含むこと
    を特徴とする請求項１３記載の方法。
15. 【請求項１５】 三次元コンピュータモデルを定義する
    データを生成する工程は、 画像を処理して、少なくとも前記被写体オブジェクトに
    関連する画像データを背景画像データから分離する工程
    と、 分離された画像データと、計算された位置及び向きとを
    処理して、三次元コンピュータモデルを定義するデータ
    を生成する工程とを含むことを特徴とする請求項１３又
    は１４記載の方法。
16. 【請求項１６】 三次元コンピュータモデルを生成する
    ために画像データを処理する方法であって、 異なる相対位置及び向きで記録されたオブジェクト支持
    台により支持される被写体オブジェクトの複数の画像を
    少なくとも一部で定義する画像データを受信する工程
    と、 画像が記録された位置及び向きを定義するデータを受信
    する工程と、 受信したデータを処理して、前記オブジェクト支持台を
    含まない前記被写体オブジェクトの三次元コンピュータ
    モデルを定義するデータを生成する工程とを備えること
    を特徴とする方法。
17. 【請求項１７】 三次元コンピュータモデルを定義する
    データを生成する工程は、前記オブジェクト支持台の少
    なくとも１つの既知のパラメータを使用して、前記オブ
    ジェクト支持台の三次元コンピュータモデルを定義する
    データを生成せずに、前記被写体オブジェクトの三次元
    コンピュータモデルを定義するデータを生成する工程を
    含むことを特徴とする請求項１３乃至１６のいずれか１
    項に記載の方法。
18. 【請求項１８】 前記オブジェクト支持台の既知のパラ
    メータは前記オブジェクト支持台の高さであることを特
    徴とする請求項１７記載の方法。
19. 【請求項１９】 前記被写体オブジェクトの三次元コン
    ピュータモデルを定義するデータを生成する工程は、 三次元空間におけるボクセルのボリュームから前記オブ
    ジェクト支持台は除外されるが、前記被写体オブジェク
    トは除外されないように、前記オブジェクト支持台の既
    知の高さに従ってボリュームを定義する工程と、 画像データに従ってボリュームからボクセルを除去する
    工程とを含むことを特徴とする請求項１８記載の方法。
20. 【請求項２０】 三次元コンピュータモデルを定義する
    データを生成する工程は、前記被写体オブジェクト及び
    前記オブジェクト支持台の少なくとも１つの三次元コン
    ピュータモデルを生成するための処理を実行する工程
    と、前記オブジェクト支持台の三次元コンピュータモデ
    ルを除去するための処理を実行する工程を含むことを特
    徴とする請求項１３乃至１６のいずれか１項に記載の方
    法。
21. 【請求項２１】 前記オブジェクト支持台の三次元コン
    ピュータモデルを除去するための処理は、ユーザにより
    入力される、除去すべき三次元コンピュータモデルを定
    義する信号に従って実行されることを特徴とする請求項
    ２０記載の方法。
22. 【請求項２２】 前記オブジェクト支持台の三次元コン
    ピュータモデルを除去するための処理は、（a）前記被
    写体オブジェクト及び前記オブジェクト支持台の三次元
    コンピュータモデルの画像を定義する画像データを、ユ
    ーザにより移動自在である平面と共にユーザに対し表示
    するために生成する工程と、（b）ユーザにより入力さ
    れる、前記平面の位置を定義する信号を受信する工程
    と、（c）工程（a）及び（b）を繰り返す工程と、（d）
    前記平面の所定の側に位置する三次元コンピュータモデ
    ルを除去する工程とを含むことを特徴とする請求項２１
    記載の方法。
23. 【請求項２３】 前記被写体オブジェクトは前記キャリ
    ブレーションオブジェクト上に立っているオブジェクト
    支持台の上のほとんどの面で支持され、前記平面はほぼ
    水平の平面に向きを有するように生成され、且つユーザ
    に前記平面の位置を移動させるが、前記平面の向きを変
    化させないように処理が実行されることを特徴とする請
    求項２２記載の方法。
24. 【請求項２４】 前記平面は前記オブジェクト支持台と
    同じ形状及び同じ横断面面積で生成されることを特徴と
    する請求項２２又は２３記載の方法。
25. 【請求項２５】 ことを特徴とする前記平面の所定の側
    に位置する三次元コンピュータモデルを除去する工程
    は、 ボクセルのボリュームの境界が前記平面の位置に対応す
    る位置にあるように、ボリュームを三次元空間で定義す
    る工程と、 画像データに従ってボリュームからボクセルを除去する
    工程とを含むことを特徴とする請求項２２乃至２４のい
    ずれか１項に記載の方法。
26. 【請求項２６】 前記被写体オブジェクトの三次元コン
    ピュータモデルと、それとは別個の、前記オブジェクト
    支持台の三次元コンピュータモデルとを生成するための
    処理が実行され、且つ前記オブジェクト支持台の三次元
    コンピュータモデルを除去する工程は、三次元コンピュ
    ータモデルの少なくとも１つの画像を定義する画像デー
    タをユーザに対し表示するために生成する工程と、ユー
    ザにより入力される、三次元コンピュータモデルの一方
    を定義する信号を受信する工程と、ユーザにより入力さ
    れた信号に従って三次元コンピュータモデルの少なくと
    も一方を除去する工程とを含むことを特徴とする請求項
    ２１記載の方法。
27. 【請求項２７】 前記オブジェクト支持台の三次元コン
    ピュータモデルを除去するための処理は、ユーザにより
    入力される信号なしに除去すべき三次元コンピュータモ
    デルを識別するための処理を含むことを特徴とする請求
    項２０記載の方法。
28. 【請求項２８】 前記被写体オブジェクトの三次元コン
    ピュータモデルと、それとは別個の、前記オブジェクト
    支持台の三次元コンピュータモデルとを生成するための
    処理が実行され、且つ、前記キャリブレーションオブジ
    ェクトの位置に対応する位置に最も近接する位置を有す
    る三次元コンピュータモデルを除去するための処理が実
    行されることを特徴とする請求項２７記載の方法。
29. 【請求項２９】 異なる位置で三次元コンピュータモデ
    ルの少なくとも１つの特性を試験し且つ試験された特性
    が変化した位置に従って三次元コンピュータモデルの一
    部を除去するための処理が実行されることを特徴とする
    請求項２７記載の方法。
30. 【請求項３０】 三次元コンピュータモデルの横断面面
    積及び色のうち少なくとも一方が試験されることを特徴
    とする請求項２９記載の方法。
31. 【請求項３１】 前記オブジェクト支持台の基準三次元
    コンピュータモデルを定義するデータが事前に格納され
    ており、基準モデルを前記被写体オブジェクト及び前記
    オブジェクト支持台の三次元コンピュータモデルと比較
    して、前記オブジェクト支持台に対応する三次元コンピ
    ュータモデルの部分を識別し、識別された部分が除去さ
    れることを特徴とする請求項２７記載の方法。
32. 【請求項３２】 三次元コンピュータモデルを定義する
    データを生成する工程は、画像データを使用してテクス
    チャデータを生成する工程を含む請ことを特徴とする求
    項１３乃至３１のいずれか１項に記載の方法。
33. 【請求項３３】 テクスチャデータを生成する工程は、
    反射面における前記被写体オブジェクトの反射に対応す
    るデータを識別するための画像データを処理する工程
    と、識別されたデータを使用して、三次元コンピュータ
    モデルの面のテクスチャデータを生成する工程とを含む
    ことを特徴とする請求項３２記載の方法。
34. 【請求項３４】 受信される画像データは、記録画像の
    他の画像データから事前に分割された前記被写体オブジ
    ェクト及び前記オブジェクト支持台に関連する画像デー
    タであることを特徴とする請求項１６記載の方法。
35. 【請求項３５】 前記被写体オブジェクトの三次元コン
    ピュータモデルを定義するデータを搬送する信号を発生
    する工程を更に含むことを特徴とする請求項１３乃至３
    ４のいずれか１項に記載の方法。
36. 【請求項３６】 信号を直接に又は間接的に記録する工
    程を更に含むことを特徴とする請求項３５記載の方法。
37. 【請求項３７】 オブジェクトの画像を処理して前記オ
    ブジェクトの三次元コンピュータモデルを定義するデー
    タを生成し且つ三次元コンピュータモデルを修正する方
    法であって、（a）異なる位置及び向きで記録されたオ
    ブジェクトの複数の画像を少なくとも一部で定義する画
    像データを受信する工程と、（b）画像が記録された位
    置及び向きを定義するデータを受信する工程と、（c）
    受信したデータを処理して、前記オブジェクトの三次元
    コンピュータモデルを定義するデータを生成する工程
    と、（d）三次元コンピュータモデルの画像を定義する
    データをユーザにより移動自在である平面と共にユーザ
    に対し表示するために生成する工程と、（e）ユーザに
    より入力される、前記平面の位置及び向きを定義する信
    号を受信する工程と、（f）工程（d）及び（e）を繰り
    返す工程と、（g）前記平面の一方の側に位置する三次
    元コンピュータモデルの部分を除去する工程とを備える
    ことを特徴とする方法。
38. 【請求項３８】 工程（g）は、工程（a）で受信された
    画像データ及び工程（b）で受信された位置及び向きの
    データを処理して、前記平面により定義される境界を有
    する三次元空間で前記オブジェクトの三次元コンピュー
    タモデルを定義するデータを生成する工程を含むことを
    特徴とする請求項３７記載の方法。
39. 【請求項３９】 異なる位置及び向きから被写体オブジ
    ェクトの画像を記録し、記録された画像データを処理し
    て、前記被写体オブジェクトの三次元コンピュータモデ
    ルを生成するシステムであって、 所定の特徴のパターンを有するキャリブレーションオブ
    ジェクトと、 前記被写体オブジェクトを前記キャリブレーションオブ
    ジェクトより高い位置に支持するオブジェクト支持台
    と、 前記キャリブレーションオブジェクトより高い位置に支
    持された前記被写体オブジェクトの複数の画像を異なる
    位置及び向きで記録するイメージャと、 画像データ処理装置とを具備し、前記画像データ処理装
    置は、 記録された画像データを処理して、画像のうち少なくと
    もいくつかの画像の各々が記録された位置及び向きを計
    算する手段と、 計算された位置及び向きを使用して、少なくとも前記被
    写体オブジェクトの三次元コンピュータモデルを定義す
    るデータを生成するための処理を実行する手段とを備え
    ることを特徴とするシステム。
40. 【請求項４０】 前記キャリブレーションオブジェクト
    より高い位置に支持された前記被写体オブジェクトの画
    像を前記被写体オブジェクトの背後のスクリーンと共に
    記録でき、各々の記録画像において、前記被写体オブジ
    ェクトの輪郭が前記オブジェクト支持台にかかる場所を
    除いて、輪郭が背景により取り囲まれるように、ほぼ一
    様な色を有し、前記被写体オブジェクトの背後に配置さ
    れるべきスクリーンを更に具備することを特徴とする請
    求項３９記載のシステム。
41. 【請求項４１】 前記オブジェクト支持台の、前記被写
    体オブジェクトが前記オブジェクト支持台上に配置され
    たときに前記被写体オブジェクトに隣接する部分は、少
    なくとも前記スクリーンとほぼ同じ色であり、 三次元コンピュータモデルを生成する前記処理手段は、
    前記被写体オブジェクトの三次元コンピュータモデル
    と、それとは別個の、前記オブジェクト支持台の三次元
    コンピュータモデルとを定義するデータを生成する手段
    を備えることをことを特徴とする請求項４０記載のシス
    テム。
42. 【請求項４２】 前記オブジェクト支持台の、前記被写
    体オブジェクトが前記オブジェクト支持台上に配置され
    たときに前記被写体オブジェクトに隣接する部分は、少
    なくともほぼ透明であり、 三次元コンピュータモデルを生成する前記処理手段は、
    前記被写体オブジェクトの三次元コンピュータモデル
    と、それとは別個の、前記オブジェクト支持台の三次元
    コンピュータモデルとを定義するデータを生成する手段
    を備えることを特徴とする請求項３９又は４０記載のシ
    ステム。
43. 【請求項４３】 前記オブジェクト支持台は、その上に
    前記被写体オブジェクトが乗ったときに、前記被写体オ
    ブジェクトを支持する面が前記被写体オブジェクトの下
    から大きく突出することのないように配置されることを
    特徴とする請求項３９乃至４２のいずれか１項に記載の
    システム。
44. 【請求項４４】 前記オブジェクト支持台は複数のキャ
    リブレーション特徴を有し、 画像のうち少なくともいくつかの画像の各々が記録され
    た位置及び向きを計算する前記処理手段は、画像データ
    中の、前記オブジェクト支持台のキャリブレーション特
    徴を検出し、検出された特徴の位置を使用して、画像が
    記録された位置及び向きを計算する手段を含むことを特
    徴とする請求項３９乃至４３のいずれか１項に記載のシ
    ステム。
45. 【請求項４５】 前記画像データ処理装置は、前記オブ
    ジェクト支持台のキャリブレーション特徴の相対位置を
    定義するデータを事前に格納する手段を含み、且つ、画
    像のうち少なくともいくつかの画像の各々が記録された
    位置及び向きを計算する前記処理手段は、事前に格納さ
    れているデータを使用して、画像が記録された位置及び
    向きを計算するように構成されていることを特徴とする
    請求項４４記載のシステム。
46. 【請求項４６】 前記オブジェクト支持台は、前記キャ
    リブレーションオブジェクトに所定の構成で接続される
    ように配置され、 前記画像データ処理装置は、前記オブジェクト支持台が
    前記キャリブレーションオブジェクトに接合されたとき
    の前記キャリブレーションオブジェクトの特徴の位置に
    対する前記オブジェクト支持台のキャリブレーション特
    徴の位置を定義するデータを事前に格納する手段を含
    み、 画像のうち少なくともいくつかの画像の各々が記録され
    た位置及び向きを計算する前記処理手段は、事前に格納
    されているデータを使用して、画像が記録された位置及
    び向きを計算するように構成されていることを特徴とす
    る請求項４４又は４５記載のシステム。
47. 【請求項４７】 前記キャリブレーションオブジェクト
    は反射面を有し、 前記画像データ処理装置は、前記反射面における反射に
    対応する画像データに従って前記被写体オブジェクトの
    三次元コンピュータモデルのテクスチャデータを生成す
    る手段を含むことを特徴とする請求項３９乃至４６のい
    ずれか１項に記載のシステム。
48. 【請求項４８】 前記キャリブレーションオブジェクト
    は三次元であることを特徴とする請求項３９乃至４７の
    いずれか１項に記載のシステム。
49. 【請求項４９】 前記オブジェクト支持台及び前記キャ
    リブレーションオブジェクトは、前記被写体オブジェク
    トが前記オブジェクト支持台に乗ったときに、前記被写
    体オブジェクトが所定の特徴のパターンより高い位置に
    且つ所定の特徴パターンとは離間して支持されるよう
    に、前記被写体オブジェクトを支持する面と一体に形成
    されていることを特徴とする請求項３９乃至４８のいず
    れか１項に記載のシステム。
50. 【請求項５０】 オブジェクト支持台により、所定の特
    徴パターンを有するキャリブレーションオブジェクトよ
    り高い位置に支持される被写体オブジェクトの異なる位
    置及び向きで記録された複数の画像を定義する画像デー
    タを処理する装置であって、 画像データを処理して、画像のうち少なくともいくつか
    の画像が記録された位置及び向きを計算する手段と、 計算された位置及び向きを使用して、前記オブジェクト
    支持台を含まない前記被写体オブジェクトの三次元コン
    ピュータモデルを定義するデータを生成する手段とを備
    えることをことを特徴とする装置。
51. 【請求項５１】 画像のうち少なくともいくつかの画像
    が記録された位置及び向きを計算する前記手段は、前記
    オブジェクト支持台の特徴に対応するそれぞれの画像を
    定義する画像データ中の整合する特徴を検出する手段を
    含むことを特徴とする請求項５０に記載の装置。
52. 【請求項５２】 前記三次元コンピュータモデルを定義
    するデータを生成する手段は、 少なくとも前記被写体オブジェクトに関連する画像デー
    タを背景画像データから分離するために画像を処理する
    手段と、 分離された画像データと、計算された位置及び向きとを
    処理して、三次元コンピュータモデルを定義するデータ
    を生成する手段とを備えることを特徴とする請求項５０
    又は５１記載の装置。
53. 【請求項５３】 三次元コンピュータモデルを生成する
    ために画像データを処理する装置であって、 オブジェクト支持台により支持され、異なる相対位置及
    び向きで記録された被写体オブジェクトの複数の画像を
    少なくとも一部で定義する画像データを受信する手段
    と、 画像が記録された位置及び向きを定義するデータを受信
    する手段と、 受信したデータを処理して、前記オブジェクト支持台を
    含まない前記被写体オブジェクトの三次元コンピュータ
    モデルを定義するデータを生成する手段とを備えること
    を特徴とする装置。
54. 【請求項５４】 前記三次元コンピュータモデルを定義
    するデータを生成する手段は、前記オブジェクト支持台
    の少なくとも１つの既知のパラメータを使用して、前記
    オブジェクト支持台の三次元コンピュータモデルを定義
    するデータを生成せずに前記被写体オブジェクトの三次
    元コンピュータモデルを定義するデータを生成するため
    の処理を実行する手段を備えることを特徴とする請求項
    ５０乃至５３のいずれか１項に記載の装置。
55. 【請求項５５】 前記オブジェクト支持台の既知のパラ
    メータは前記オブジェクト支持台の高さであることを特
    徴とする請求項５４記載の装置。
56. 【請求項５６】 前記被写体オブジェクトの三次元コン
    ピュータモデルを定義するデータを生成する手段は、 ボクセルのボリュームの底平面が前記オブジェクト支持
    台の既知の高さに対応する前記キャリブレーションオブ
    ジェクトより高い高さに設定されるように、三次元空間
    においてボクセルのボリュームを定義する手段と、 画像データに従ってボリュームからボクセルを除去する
    手段とを備えることをことを特徴とする請求項５５記載
    の装置。
57. 【請求項５７】 前記三次元コンピュータモデルを定義
    するデータを生成する手段は、前記被写体オブジェクト
    及び前記オブジェクト支持台の少なくとも１つの三次元
    コンピュータモデルを生成するための処理を実行する手
    段と、前記オブジェクト支持台の三次元コンピュータモ
    デルを除去するための処理を実行する手段とを備えるこ
    とを特徴とする請求項５０乃至５３のいずれか１項に記
    載の装置。
58. 【請求項５８】 前記オブジェクト支持台の三次元コン
    ピュータモデルを除去するための処理を実行する手段
    は、ユーザにより入力される、除去すべき三次元コンピ
    ュータモデルを定義する信号に従って三次元コンピュー
    タモデルを除去する手段を備えることを特徴とする請求
    項５７記載の装置。
59. 【請求項５９】 前記オブジェクト支持台の三次元コン
    ピュータモデルを除去するための処理を実行する手段
    は、 前記被写体オブジェクト及び前記オブジェクト支持台の
    三次元コンピュータモデルの画像を定義する画像データ
    を、ユーザにより移動自在である平面と共に、ユーザに
    対し表示するために生成する手段と、 ユーザにより入力される、前記平面の位置を定義する信
    号を受信する手段と、 前記平面の所定の側に位置する三次元コンピュータモデ
    ルを除去する手段とを備えることを特徴とする請求項５
    ８記載の装置。
60. 【請求項６０】 前記被写体オブジェクトは前記キャリ
    ブレーションオブジェクト上に立っているオブジェクト
    支持台の最上面で支持され、且つ前記オブジェクト支持
    台の三次元コンピュータモデルを除去するための処理を
    実行する手段は、 前記平面がほぼ水平の平面内に向きを有するように生成
    され、且つユーザに前記平面の向きを変更せずに前記平
    面の位置を移動させるための処理が実行されるように構
    成されていることを特徴とする請求項５９記載の装置。
61. 【請求項６１】 前記オブジェクト支持台の三次元コン
    ピュータモデルを除去するための処理を実行する手段
    は、前記平面が前記オブジェクト支持台と同じ形状及び
    同じ横断面面積で生成されるように動作すべく構成され
    ている請求項５９又は６０記載の装置。
62. 【請求項６２】 前記平面の所定の側に位置する三次元
    コンピュータモデルを除去する手段は、 ボクセルのボリュームの境界が前記平面の位置に対応す
    る位置にあるように、三次元空間においてボクセルのボ
    リュームを定義する手段と、 画像データに従ってボリュームからボクセルを除去する
    手段とを備えることを特徴とする請求項５９乃至６１の
    いずれか１項に記載の装置。
63. 【請求項６３】 装置は、前記被写体オブジェクトの三
    次元モデルと、それとは別個の、前記オブジェクト支持
    台の三次元コンピュータモデルとを生成するための処理
    を実行するように構成され、 前記オブジェクト支持台の三次元コンピュータモデルを
    除去する手段は、 三次元コンピュータモデルの少なくとも一方の画像を定
    義する画像データをユーザに対し表示するために生成す
    る手段と、 ユーザにより入力される、三次元コンピュータモデルの
    一方を定義する信号を受信する手段と、 ユーザにより入力される信号に従って三次元コンピュー
    タモデルの一方を除去する手段とを備えることを特徴と
    する請求項５８記載の装置。
64. 【請求項６４】 前記オブジェクト支持台の三次元コン
    ピュータモデルを除去するための処理を実行する手段
    は、ユーザにより入力される信号なしに除去すべき三次
    元コンピュータモデルを識別すべく動作するように構成
    されていることを特徴とする請求項５７記載の装置。
65. 【請求項６５】 装置は、前記被写体オブジェクトの三
    次元コンピュータモデルと、それとは別個の、前記オブ
    ジェクト支持台の三次元コンピュータモデルとを生成す
    るための処理を実行するように構成され、且つ前記オブ
    ジェクト支持台の三次元コンピュータモデルを除去する
    ための処理を実行する手段は、前記キャリブレーション
    オブジェクトの位置に対応する位置に最も近接する位置
    を有する三次元コンピュータモデルを除去するための処
    理を実行するように構成されていることを特徴とする請
    求項６４記載の装置。
66. 【請求項６６】 前記オブジェクト支持台の三次元コン
    ピュータモデルを除去するための処理を実行する手段
    は、異なる位置において三次元コンピュータモデルの少
    なくとも１つの特性を試験し且つ試験された特性が変化
    する位置に従って三次元コンピュータモデルの一部を除
    去するための処理を実行するように構成されていること
    を特徴とする請求項６４記載の装置。
67. 【請求項６７】 前記オブジェクト支持台の三次元コン
    ピュータモデルを除去するための処理を実行する手段
    は、除去すべき三次元コンピュータモデルの部分を判定
    するために、三次元コンピュータモデルの横断面面積及
    び色の少なくとも一方を試験するように構成されている
    ことを特徴とする請求項６６記載の装置。
68. 【請求項６８】 前記オブジェクト支持台の三次元コン
    ピュータモデルを除去するための処理を実行する手段
    は、 前記オブジェクト支持台の基準三次元コンピュータモデ
    ルを定義するデータを事前に格納する手段と、 前記オブジェクト支持台に対応する三次元コンピュータ
    モデルの部分を識別するために、前記基準モデルを前記
    被写体オブジェクト及び前記オブジェクト支持台の三次
    元コンピュータモデルと比較する手段と、 識別された部分を除去する手段とを備えることを特徴と
    する請求項６４記載の装置。
69. 【請求項６９】 前記三次元コンピュータモデルを定義
    するデータを生成する手段は、画像データを使用してテ
    クスチャデータを生成する手段を含むことを特徴とする
    請求項５０乃至６８のいずれか１項に記載の装置。
70. 【請求項７０】 前記テクスチャデータを生成する手段
    は、反射面における前記被写体オブジェクトの反射に対
    応するデータを識別するための画像データを処理する手
    段と、識別されたデータを使用して、三次元コンピュー
    タモデルの面のテクスチャデータを生成する手段とを含
    むことを特徴とする請求項６９記載の装置。
71. 【請求項７１】 受信される画像データは、記録された
    画像中の他の画像データから事前に分離された前記被写
    体オブジェクト及び前記オブジェクト支持台に関連する
    画像データであることを特徴とする請求項５３記載の装
    置。
72. 【請求項７２】 オブジェクトの三次元コンピュータモ
    デルを定義するデータを生成するためにオブジェクトの
    画像を処理し且つ三次元コンピュータモデルを修正する
    装置であって、 異なる位置及び向きで記録されたオブジェクトの複数の
    画像を少なくとも一部で定義する画像データを受信する
    手段と、 画像が記録された位置及び向きを定義するデータを受信
    する手段と、 受信したデータを処理して、前記オブジェクトの三次元
    コンピュータモデルを定義するデータを生成する手段
    と、 三次元コンピュータモデルの画像を定義するデータをユ
    ーザにより移動自在である平面と共にユーザに対し表示
    するために生成する手段と、 ユーザにより入力される、前記平面の位置及び向きを定
    義する信号を受信する手段と、 前記平面の一方の側に位置する三次元コンピュータモデ
    ルの部分を除去する手段とを備えることを特徴とする装
    置。
73. 【請求項７３】 前記三次元コンピュータモデルの一部
    を除去する手段は、受信した画像データと、受信した位
    置及び向きのデータとを処理して、前記平面により定義
    される境界を有する三次元空間において前記オブジェク
    トの三次元コンピュータモデルを定義するデータを生成
    する手段を具備することを特徴とする請求項７２記載の
    装置。
74. 【請求項７４】 請求項１３乃至３８の少なくとも１項
    に記載の方法を実行するためにプログラム可能処理装置
    を動作可能にさせるための命令を格納する記憶装置。
75. 【請求項７５】 請求項１３乃至３８の少なくとも１項
    に記載の方法を実行するためにプログラム可能処理装置
    を動作可能にさせるための命令を搬送する信号。