JP2003196327A - ３次元コンピュータモデリング - Google Patents
３次元コンピュータモデリングInfo
- Publication number
- JP2003196327A JP2003196327A JP2002321777A JP2002321777A JP2003196327A JP 2003196327 A JP2003196327 A JP 2003196327A JP 2002321777 A JP2002321777 A JP 2002321777A JP 2002321777 A JP2002321777 A JP 2002321777A JP 2003196327 A JP2003196327 A JP 2003196327A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- computer model
- dimensional computer
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000005094 computer simulation Methods 0.000 title claims abstract description 244
- 238000003384 imaging method Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims description 96
- 238000000034 method Methods 0.000 claims description 83
- 230000008569 process Effects 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 101100495256 Caenorhabditis elegans mat-3 gene Proteins 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101100321670 Fagopyrum esculentum FA18 gene Proteins 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101100280298 Homo sapiens FAM162A gene Proteins 0.000 description 1
- 101000946889 Homo sapiens Monocyte differentiation antigen CD14 Proteins 0.000 description 1
- 101000680262 Homo sapiens Transmembrane protein 60 Proteins 0.000 description 1
- 102100035877 Monocyte differentiation antigen CD14 Human genes 0.000 description 1
- 102100023788 Protein FAM162A Human genes 0.000 description 1
- 101001062854 Rattus norvegicus Fatty acid-binding protein 5 Proteins 0.000 description 1
- 241001122767 Theaceae Species 0.000 description 1
- 102100022076 Transmembrane protein 60 Human genes 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】 （修正有）
【課題】対象物体の複数の画像から３次元コンピュータ
モデルを提供する。 【解決手段】 対象物体の画像が異なる視点位置及び方
向から記録される。画像データは、各セットが位置合わ
せされた撮像位置及び方向を有する複数の画像を含む、
画像の複数のセットを生成するために処理される。予備
的な３Ｄコンピュータモデルの位置及び向きが、セット
内の画像と位置合わせされるようにして、予備的な３Ｄ
コンピュータモデルが第１のセットからの画像を用いて
生成される。そして、第１のセット内の画像の撮像位置
及び方向は他の各セットの画像の撮像位置及び方向と位
置合わせされる。対象物体の正確な３Ｄコンピュータモ
デルは、位置合わせされた異なるセットからの画像を用
いて生成される。
モデルを提供する。 【解決手段】 対象物体の画像が異なる視点位置及び方
向から記録される。画像データは、各セットが位置合わ
せされた撮像位置及び方向を有する複数の画像を含む、
画像の複数のセットを生成するために処理される。予備
的な３Ｄコンピュータモデルの位置及び向きが、セット
内の画像と位置合わせされるようにして、予備的な３Ｄ
コンピュータモデルが第１のセットからの画像を用いて
生成される。そして、第１のセット内の画像の撮像位置
及び方向は他の各セットの画像の撮像位置及び方向と位
置合わせされる。対象物体の正確な３Ｄコンピュータモ
デルは、位置合わせされた異なるセットからの画像を用
いて生成される。
Description
【０００１】本発明は対象物体の３次元（３Ｄ）コンピ
ュータモデルを生成するための、物体の画像を規定する
画像データのコンピュータ処理に関する。
ュータモデルを生成するための、物体の画像を規定する
画像データのコンピュータ処理に関する。
【０００２】現実物体の３Ｄコンピュータモデルを生成
するための方法は多く知られている。特に、モデルを生
成する物体の画像を複数の位置及び向きから記録する方
法が知られている。各記録画像はそれが記録された位置
及び向きを計算するために処理され、入力画像と計算さ
れた位置及び向きを用いて物体の３Ｄコンピュータモデ
ルが生成される。
するための方法は多く知られている。特に、モデルを生
成する物体の画像を複数の位置及び向きから記録する方
法が知られている。各記録画像はそれが記録された位置
及び向きを計算するために処理され、入力画像と計算さ
れた位置及び向きを用いて物体の３Ｄコンピュータモデ
ルが生成される。
【０００３】そのような既知の方法の第１のタイプにお
いて、モデリングされる対象物体は既知の特徴パターン
が設けられたキャリブレーション物体を用いて配置さ
れ、対象物体とともにキャリブレーションパターンを表
す画像が異なる位置及び方向から記録される。各記録画
像はそれが記録された位置及び向きを、キャリブレーシ
ョン物体のパターンにおける特徴の画像の位置に基づい
て計算するために処理される。画像記録中に対象物体と
キャリブレーションパターンは互いに静止しているた
め、対象物体に関する入力画像の位置及び向きはこれら
計算の結果として得られ、従って対象物体の３Ｄコンピ
ュータモデルを画像から得ることができる。この種の方
法の例は、例えば、Niemによる、”移動カメラを用いた
３Ｄ物体の自動再構成(Automatic Reconstruction of 3
D Object Using a Mobile Camera)”(Image and Vision
Computing 17, 1999, 125-134ページ)及び、Gortlerら
による”The Lumigraph” (Computer Graphics Proceed
ings, Annual Conference Series, 1996 ACM-0-89791-7
64-4/96/008)、特開平9-170914号公報(JP-A-9-170914)
及び、本出願人によるＰＣＴ出願であって、その全内容
が相互参照によって本明細書に組み込まれるGB00/04469
(WO-A-01/39124)に記載されている。
いて、モデリングされる対象物体は既知の特徴パターン
が設けられたキャリブレーション物体を用いて配置さ
れ、対象物体とともにキャリブレーションパターンを表
す画像が異なる位置及び方向から記録される。各記録画
像はそれが記録された位置及び向きを、キャリブレーシ
ョン物体のパターンにおける特徴の画像の位置に基づい
て計算するために処理される。画像記録中に対象物体と
キャリブレーションパターンは互いに静止しているた
め、対象物体に関する入力画像の位置及び向きはこれら
計算の結果として得られ、従って対象物体の３Ｄコンピ
ュータモデルを画像から得ることができる。この種の方
法の例は、例えば、Niemによる、”移動カメラを用いた
３Ｄ物体の自動再構成(Automatic Reconstruction of 3
D Object Using a Mobile Camera)”(Image and Vision
Computing 17, 1999, 125-134ページ)及び、Gortlerら
による”The Lumigraph” (Computer Graphics Proceed
ings, Annual Conference Series, 1996 ACM-0-89791-7
64-4/96/008)、特開平9-170914号公報(JP-A-9-170914)
及び、本出願人によるＰＣＴ出願であって、その全内容
が相互参照によって本明細書に組み込まれるGB00/04469
(WO-A-01/39124)に記載されている。
【０００４】代わりに、既知の方法の第２のタイプにお
いては、モデリングされる対象物体は単独で撮像され
る。そして、異なる入力画像間で物体上の特徴のマッチ
ングを取り、画像内で合致した特徴の個々の位置に基づ
いて、各画像の相対位置及び向きを計算することによ
り、各画像の位置及び向きが計算される。このような方
法の例は例えば、EP-A-0898245に記載されている。
いては、モデリングされる対象物体は単独で撮像され
る。そして、異なる入力画像間で物体上の特徴のマッチ
ングを取り、画像内で合致した特徴の個々の位置に基づ
いて、各画像の相対位置及び向きを計算することによ
り、各画像の位置及び向きが計算される。このような方
法の例は例えば、EP-A-0898245に記載されている。
【０００５】しかし、これら既知の方法のいずれにおい
ても、特徴が少なくとも１つ（好ましくは２つ以上）の
初期画像(initial images)において視認できる場合に限
り、対象物体の特徴を３Ｄコンピュータモデル内に正確
にモデリングできるという点で困難を有する。
ても、特徴が少なくとも１つ（好ましくは２つ以上）の
初期画像(initial images)において視認できる場合に限
り、対象物体の特徴を３Ｄコンピュータモデル内に正確
にモデリングできるという点で困難を有する。
【０００６】（対象物体がキャリブレーションパターン
とともに撮像される）第１のタイプの方法の場合、さら
なる問題が生じる。これは、対象物体が画像の記録中に
キャリブレーションパターンに対して移動できないため
である（さもないと、対象物体の位置及び向きはキャリ
ブレーションパターンに対して一定でなくなり、画像の
計算された位置及び向きに関連して知ることができなく
なる。そして、結果として対象物体の３Ｄコンピュータ
モデルは画像から生成できなくなる）。従って、対象物
体が撮像のためにキャリブレーション物体上に置かれる
一般的な場合、対象物体の底面はキャリブレーションパ
ターン上に載り、そのため底面の特徴は撮像できず、３
Ｄコンピュータモデル内にモデリングされない。さら
に、対象物体をキャリブレーション物体の上に吊しても
この問題は解決されない。なぜなら、カメラは撮像のた
めに底面を指し示す必要があるだろうが、そうするとキ
ャリブレーションパターンはその画像に現れないであろ
う。そしてその結果、キャリブレーションパターンの特
徴は底面の画像の位置及び向きを計算するために使用で
きないことになる。
とともに撮像される）第１のタイプの方法の場合、さら
なる問題が生じる。これは、対象物体が画像の記録中に
キャリブレーションパターンに対して移動できないため
である（さもないと、対象物体の位置及び向きはキャリ
ブレーションパターンに対して一定でなくなり、画像の
計算された位置及び向きに関連して知ることができなく
なる。そして、結果として対象物体の３Ｄコンピュータ
モデルは画像から生成できなくなる）。従って、対象物
体が撮像のためにキャリブレーション物体上に置かれる
一般的な場合、対象物体の底面はキャリブレーションパ
ターン上に載り、そのため底面の特徴は撮像できず、３
Ｄコンピュータモデル内にモデリングされない。さら
に、対象物体をキャリブレーション物体の上に吊しても
この問題は解決されない。なぜなら、カメラは撮像のた
めに底面を指し示す必要があるだろうが、そうするとキ
ャリブレーションパターンはその画像に現れないであろ
う。そしてその結果、キャリブレーションパターンの特
徴は底面の画像の位置及び向きを計算するために使用で
きないことになる。
【０００７】第２のタイプの方法においては、画像の位
置及び向きは画像間で合致する対象物体の特徴に基づい
て互いに計算されるため、問題が生じる。従って、少な
くともいくつかの、対象物体上の合致可能な特徴が、あ
る画像で視認可能であり、かつ少なくとも１つの他の画
像でも視認できるように各画像を記録する必要がある。
この要求は画像を取得可能な位置及び方向を厳しく制限
する。
置及び向きは画像間で合致する対象物体の特徴に基づい
て互いに計算されるため、問題が生じる。従って、少な
くともいくつかの、対象物体上の合致可能な特徴が、あ
る画像で視認可能であり、かつ少なくとも１つの他の画
像でも視認できるように各画像を記録する必要がある。
この要求は画像を取得可能な位置及び方向を厳しく制限
する。
【０００８】本発明はこれら問題点の少なくとも１つを
解決することを目的とする。本発明によれば、対象物体
の３Ｄコンピュータモデルは、異なる視点位置及び方向
から記録された対象物体の画像を処理することによって
生成される。キャリブレーションパターンの特徴及び／
又は画像中の合致する特徴に基づいて、位置合わせされ
た画像の複数のセットが生成される。各セットの内部に
おいて、当該セット内の全画像の相対位置及び方向がわ
かるよう、画像の位置及び向きが定義される。しかし、
あるセット内の画像の撮像位置及び向きと、別のセット
内の画像の撮像位置及び向きとの関係は計算されない。
画像の位置合わせされたセットの１つを用い、そのセッ
ト内の画像に対するコンピュータモデルの位置及び向き
がわかるように、対象物体の予備的な３Ｄコンピュータ
モデルが生成される。予備的な３Ｄコンピュータモデル
の、位置合わせされた画像の他の各々のセットに対する
位置及び向きが、予備的な３次元コンピュータモデルを
他の各々のセットの少なくとも１部の画像に投影し、得
られた投影を画像中の対象物体の画像と比較することに
よって計算される。このようにして、セット間の撮像関
係(imagingrelationship)が計算され、それによって全
ての入力画像の撮像位置及び向きが位置合わせされる。
全ての画像の相対的な撮像位置及び向きを知ることで、
正確な３Ｄコンピュータモデルが生成される。
解決することを目的とする。本発明によれば、対象物体
の３Ｄコンピュータモデルは、異なる視点位置及び方向
から記録された対象物体の画像を処理することによって
生成される。キャリブレーションパターンの特徴及び／
又は画像中の合致する特徴に基づいて、位置合わせされ
た画像の複数のセットが生成される。各セットの内部に
おいて、当該セット内の全画像の相対位置及び方向がわ
かるよう、画像の位置及び向きが定義される。しかし、
あるセット内の画像の撮像位置及び向きと、別のセット
内の画像の撮像位置及び向きとの関係は計算されない。
画像の位置合わせされたセットの１つを用い、そのセッ
ト内の画像に対するコンピュータモデルの位置及び向き
がわかるように、対象物体の予備的な３Ｄコンピュータ
モデルが生成される。予備的な３Ｄコンピュータモデル
の、位置合わせされた画像の他の各々のセットに対する
位置及び向きが、予備的な３次元コンピュータモデルを
他の各々のセットの少なくとも１部の画像に投影し、得
られた投影を画像中の対象物体の画像と比較することに
よって計算される。このようにして、セット間の撮像関
係(imagingrelationship)が計算され、それによって全
ての入力画像の撮像位置及び向きが位置合わせされる。
全ての画像の相対的な撮像位置及び向きを知ることで、
正確な３Ｄコンピュータモデルが生成される。
【０００９】位置合わせされた画像の異なるセットを生
成し、画像の位置合わせされたセット間の撮像関係を計
算し、さらに正確な３次元コンピュータモデルの生成に
これをもちいることで、対象物体の初期画像(initial i
mage)を、画像中の特徴に基づいて全ての画像の位置及
び向きを互いに計算できるように記録する必要がなくな
る。従って、キャリブレーションパターンが用いられる
場合、キャリブレーションパターンに対して第１の配置
（例えば対象物体がキャリブレーションパターン上に立
っている）において、ユーザは対象物体の画像を記録す
ることができ、それから、さらに第２の配置（例えば対
象物体は画像がその底面を示すよう、キャリブレーショ
ンパターンに対して倒される）において、対象物体及び
キャリブレーションパターンの画像を記録することがで
きる。第１の配置の画像は処理中に位置合わせされた画
像の１つのセットとして、また第２の配置の画像は位置
合わせされた画像の異なるセットとして得られる。同様
に、対象物体がキャリブレーションパターン無しで撮像
されたされた場合、位置合わせされた画像の第１のセッ
トは、相対的な位置及び向きが計算可能となるような、
対象物体上の十分な数の特徴が画像間で合致できるよう
な画像を含む画像の処理の間に生成されるであろう。位
置合わせされた画像の別のセットは、第１のセット内の
画像においても視認でき、それら画像を第１のセット内
の画像と位置合わせ可能とするのに十分な対象物体の特
徴を示さない画像から得られるであろう。従って、例え
ば、第１のセット内の画像は対象物体が表面に立った画
像から構成され、第２のセット内の画像は（第１のセッ
トの画像で見えない）対象物体の底面の画像から構成さ
れるであろう。
成し、画像の位置合わせされたセット間の撮像関係を計
算し、さらに正確な３次元コンピュータモデルの生成に
これをもちいることで、対象物体の初期画像(initial i
mage)を、画像中の特徴に基づいて全ての画像の位置及
び向きを互いに計算できるように記録する必要がなくな
る。従って、キャリブレーションパターンが用いられる
場合、キャリブレーションパターンに対して第１の配置
（例えば対象物体がキャリブレーションパターン上に立
っている）において、ユーザは対象物体の画像を記録す
ることができ、それから、さらに第２の配置（例えば対
象物体は画像がその底面を示すよう、キャリブレーショ
ンパターンに対して倒される）において、対象物体及び
キャリブレーションパターンの画像を記録することがで
きる。第１の配置の画像は処理中に位置合わせされた画
像の１つのセットとして、また第２の配置の画像は位置
合わせされた画像の異なるセットとして得られる。同様
に、対象物体がキャリブレーションパターン無しで撮像
されたされた場合、位置合わせされた画像の第１のセッ
トは、相対的な位置及び向きが計算可能となるような、
対象物体上の十分な数の特徴が画像間で合致できるよう
な画像を含む画像の処理の間に生成されるであろう。位
置合わせされた画像の別のセットは、第１のセット内の
画像においても視認でき、それら画像を第１のセット内
の画像と位置合わせ可能とするのに十分な対象物体の特
徴を示さない画像から得られるであろう。従って、例え
ば、第１のセット内の画像は対象物体が表面に立った画
像から構成され、第２のセット内の画像は（第１のセッ
トの画像で見えない）対象物体の底面の画像から構成さ
れるであろう。
【００１０】位置合わせされた異なるセット間の撮像関
係を計算し、正確な３次元コンピュータモデルを生成す
るために異なるセットからの画像を用いることにより、
全画像からの特徴が得られるコンピュータモデルに忠実
にモデリングされる。
係を計算し、正確な３次元コンピュータモデルを生成す
るために異なるセットからの画像を用いることにより、
全画像からの特徴が得られるコンピュータモデルに忠実
にモデリングされる。
【００１１】予備的な３Ｄコンピュータモデルの、セッ
ト内の位置合わせされた画像との位置合わせは、３Ｄコ
ンピュータモデルと画像の配置を、３Ｄコンピュータモ
デルのシルエット(silhouette)が対象物体のシルエット
と少なくとも一部の画像中において合致するまで変更す
ることによって実行することができる。予備的な３Ｄコ
ンピュータモデルの、セット内の位置合わせされた画像
との位置合わせは、ユーザ入力信号に従って、あるいは
自動的に実行することができる。
ト内の位置合わせされた画像との位置合わせは、３Ｄコ
ンピュータモデルと画像の配置を、３Ｄコンピュータモ
デルのシルエット(silhouette)が対象物体のシルエット
と少なくとも一部の画像中において合致するまで変更す
ることによって実行することができる。予備的な３Ｄコ
ンピュータモデルの、セット内の位置合わせされた画像
との位置合わせは、ユーザ入力信号に従って、あるいは
自動的に実行することができる。
【００１２】本発明はまた、上述したような処理の実行
に用いるための処理装置及び方法を提供する。本発明は
また、例えば記憶装置又は信号伝達命令(signal carryi
ng instructions)として実現される、プログラム可能な
処理装置を上述の方法を実行可能となるように設定する
コンピュータプログラム製品を提供する。
に用いるための処理装置及び方法を提供する。本発明は
また、例えば記憶装置又は信号伝達命令(signal carryi
ng instructions)として実現される、プログラム可能な
処理装置を上述の方法を実行可能となるように設定する
コンピュータプログラム製品を提供する。
【００１３】本発明の実施形態を、ほんの一例として、
添付図面を参照して以下に説明する。図面において、同
様の部分には同様の参照数字が用いられている。
添付図面を参照して以下に説明する。図面において、同
様の部分には同様の参照数字が用いられている。
【００１４】（第１の実施形態）図１を参照して、本発
明の実施形態は、従来通り、１つ又は２つ以上のプロセ
ッサと、メモリと、従来のパーソナルコンピュータモニ
タ等の表示装置４と接続されたグラフィックカード等を
含んだパーソナルコンピュータ等の処理装置２と、キー
ボード、マウス等のユーザ入力装置６と、プリンタ８
と、ＷＡＣＯＭ社の製品ＰＬ４００のような、制御可能
なピクセルを有するフラットパネルから構成される表示
パネル１０とを有している。
明の実施形態は、従来通り、１つ又は２つ以上のプロセ
ッサと、メモリと、従来のパーソナルコンピュータモニ
タ等の表示装置４と接続されたグラフィックカード等を
含んだパーソナルコンピュータ等の処理装置２と、キー
ボード、マウス等のユーザ入力装置６と、プリンタ８
と、ＷＡＣＯＭ社の製品ＰＬ４００のような、制御可能
なピクセルを有するフラットパネルから構成される表示
パネル１０とを有している。
【００１５】処理装置２は例えば、ディスク１２のよう
なデータ記録媒体上に格納されたデータとして、及び／
又は、例えばリモートデータベースからインターネット
等の通信網（図示せず）又は大気を通じて伝送されて処
理装置２へ入力される信号１４として入力されるプログ
ラム命令、及び／又はキーボード６等のユーザ入力装置
を介してユーザによって入力されるプログラム命令に従
って動作するようにプログラムされている。
なデータ記録媒体上に格納されたデータとして、及び／
又は、例えばリモートデータベースからインターネット
等の通信網（図示せず）又は大気を通じて伝送されて処
理装置２へ入力される信号１４として入力されるプログ
ラム命令、及び／又はキーボード６等のユーザ入力装置
を介してユーザによって入力されるプログラム命令に従
って動作するようにプログラムされている。
【００１６】以下により詳細に説明するように、プログ
ラム命令は、処理装置２を、異なる位置及び方向で記録
された対象物体の画像の第１のセットを規定する入力デ
ータと、対象物体の少なくとも１つの別の画像を含む、
画像の少なくとも１つの他のセットを処理し、対象物体
の３Ｄコンピュータモデルを定義する入力データを生成
するように構成する命令を有する。１つ又は複数の他の
セットの中の画像は、第１のセットの画像では見えない
対象物体の部分を示すものであろう。
ラム命令は、処理装置２を、異なる位置及び方向で記録
された対象物体の画像の第１のセットを規定する入力デ
ータと、対象物体の少なくとも１つの別の画像を含む、
画像の少なくとも１つの他のセットを処理し、対象物体
の３Ｄコンピュータモデルを定義する入力データを生成
するように構成する命令を有する。１つ又は複数の他の
セットの中の画像は、第１のセットの画像では見えない
対象物体の部分を示すものであろう。
【００１７】より具体的には、プログラム命令は処理装
置２を、第１のセット内の入力画像が記録された位置及
び向き（それによって位置合わせされた画像の第１のセ
ットを生成する）を計算するために入力データを処理
し、追加のセット内の入力画像が記録された位置及び向
き（それによって位置合わせされた画像の追加のセット
を生成する）を計算し、第１のセットから位置合わせさ
れた画像を用いて予備的な３Ｄコンピュータモデルを規
定するデータを生成し、予備的な３次元コンピュータモ
デルを追加のセットの各々からの位置合わせされた画像
と位置合わせし（それによって第１のセットからの画像
を他のセットの全てからの画像と位置合わせする）、計
算された全ての画像の位置合わせを用いて（第１のセッ
ト内の画像で見ることのできるものだけでなく、他のセ
ットからの画像でしか見られない特徴を含んだ）正確な
３Ｄコンピュータモデルを生成するようにするための命
令を含む。
置２を、第１のセット内の入力画像が記録された位置及
び向き（それによって位置合わせされた画像の第１のセ
ットを生成する）を計算するために入力データを処理
し、追加のセット内の入力画像が記録された位置及び向
き（それによって位置合わせされた画像の追加のセット
を生成する）を計算し、第１のセットから位置合わせさ
れた画像を用いて予備的な３Ｄコンピュータモデルを規
定するデータを生成し、予備的な３次元コンピュータモ
デルを追加のセットの各々からの位置合わせされた画像
と位置合わせし（それによって第１のセットからの画像
を他のセットの全てからの画像と位置合わせする）、計
算された全ての画像の位置合わせを用いて（第１のセッ
ト内の画像で見ることのできるものだけでなく、他のセ
ットからの画像でしか見られない特徴を含んだ）正確な
３Ｄコンピュータモデルを生成するようにするための命
令を含む。
【００１８】本実施形態において、対象物体は、特徴の
既知のパターンを有するキャリブレーション物体（本実
施形態においては２次元写真マット(two-dimensional p
hotographic mat)である）上で撮像される。各セット内
の入力画像は、それぞれ固定された構成において異なる
位置及び向きで記録された、対象物体及びキャリブレー
ション物体の画像を含む（すなわち、キャリブレーショ
ン物体に対する対象物体の位置及び向きが所与のセット
内の画像については同一であるが、各セットでは異な
る）。入力画像が撮像された位置及ぶ向きは、画像中の
キャリブレーション物体パターンを検出することによっ
て計算される。予備的な３次元コンピュータモデルは、
予備的な３次元コンピュータモデルを他のセット内の画
像の少なくとも１部へ投影し、３Ｄコンピュータモデル
とセット内の位置合わせされた画像との相対的な位置及
び向きを、３Ｄコンピュータモデルのシルエットと画像
内に撮像された対象物体のシルエット間の位置ずれを削
減するように変化させることにより、他のセット内の画
像と位置合わせされる。本実施形態において、３Ｄコン
ピュータモデルの相対位置及び向きの変更はユーザによ
って入力される命令に従ってなされるが、以下の実施形
態において説明するように、この処理を自動的に実行す
るようにすることも可能である。
既知のパターンを有するキャリブレーション物体（本実
施形態においては２次元写真マット(two-dimensional p
hotographic mat)である）上で撮像される。各セット内
の入力画像は、それぞれ固定された構成において異なる
位置及び向きで記録された、対象物体及びキャリブレー
ション物体の画像を含む（すなわち、キャリブレーショ
ン物体に対する対象物体の位置及び向きが所与のセット
内の画像については同一であるが、各セットでは異な
る）。入力画像が撮像された位置及ぶ向きは、画像中の
キャリブレーション物体パターンを検出することによっ
て計算される。予備的な３次元コンピュータモデルは、
予備的な３次元コンピュータモデルを他のセット内の画
像の少なくとも１部へ投影し、３Ｄコンピュータモデル
とセット内の位置合わせされた画像との相対的な位置及
び向きを、３Ｄコンピュータモデルのシルエットと画像
内に撮像された対象物体のシルエット間の位置ずれを削
減するように変化させることにより、他のセット内の画
像と位置合わせされる。本実施形態において、３Ｄコン
ピュータモデルの相対位置及び向きの変更はユーザによ
って入力される命令に従ってなされるが、以下の実施形
態において説明するように、この処理を自動的に実行す
るようにすることも可能である。
【００１９】プログラム命令によってプログラムされる
際、処理装置２は処理動作を実行する多数の機能ユニッ
トとして構成されるものと考えることができる。そのよ
うな機能ユニット及びその相互接続の例を図１に示す。
しかし、図１に示す、ユニット及び相互接続は概念的な
ものであり、理解を助けるための例示目的としてのみ示
されるものである。これらは必ずしも、処理装置２のプ
ロセッサ、メモリ等が実際に構成するユニットや接続を
表しているわけではない。
際、処理装置２は処理動作を実行する多数の機能ユニッ
トとして構成されるものと考えることができる。そのよ
うな機能ユニット及びその相互接続の例を図１に示す。
しかし、図１に示す、ユニット及び相互接続は概念的な
ものであり、理解を助けるための例示目的としてのみ示
されるものである。これらは必ずしも、処理装置２のプ
ロセッサ、メモリ等が実際に構成するユニットや接続を
表しているわけではない。
【００２０】図１に示す機能ユニットを参照すると、ユ
ーザ入力装置６からの入力を処理し、また他の機能ユニ
ットの制御及び処理を提供する中央制御装置２０が設け
られている。処理装置用の処理命令を格納し、さらに中
央制御装置２０及び他の機能ユニットが用いるワークメ
モリとして使用するため、メモリ２４が設けられてい
る。
ーザ入力装置６からの入力を処理し、また他の機能ユニ
ットの制御及び処理を提供する中央制御装置２０が設け
られている。処理装置用の処理命令を格納し、さらに中
央制御装置２０及び他の機能ユニットが用いるワークメ
モリとして使用するため、メモリ２４が設けられてい
る。
【００２１】マット生成器３０は、印刷された”写真マ
ット(photographic mat)”３４を形成するため、記録紙
等の記録媒体上にキャリブレーションパターンを印刷す
るか、写真マットを表示するため、表示パネル１０上に
キャリブレーションパターンを表示するようにプリンタ
８又は表示パネル１０を制御する制御信号を生成するよ
うに設けられている。以下更に詳細に説明するように、
写真マットは特徴(features)の所定のキャリブレーショ
ンパターンを含み、３Ｄコンピュータモデルが生成され
る対象物体は印刷された写真マット上か、キャリブレー
ションパターンが表示された表示パネル１０上に置かれ
る。そして、対象物体及びキャリブレーションパターン
の画像のセットが記録され、処理装置２へ入力される。
各セットは、キャリブレーションパターンに対する対象
物体の位置及び向きが画像の任意の１セットについて同
一で、かつ異なるセットについては異なるという条件下
で、異なる位置及び向きから記録された対象物体及びキ
ャリブレーションパターンの画像を含む。
ット(photographic mat)”３４を形成するため、記録紙
等の記録媒体上にキャリブレーションパターンを印刷す
るか、写真マットを表示するため、表示パネル１０上に
キャリブレーションパターンを表示するようにプリンタ
８又は表示パネル１０を制御する制御信号を生成するよ
うに設けられている。以下更に詳細に説明するように、
写真マットは特徴(features)の所定のキャリブレーショ
ンパターンを含み、３Ｄコンピュータモデルが生成され
る対象物体は印刷された写真マット上か、キャリブレー
ションパターンが表示された表示パネル１０上に置かれ
る。そして、対象物体及びキャリブレーションパターン
の画像のセットが記録され、処理装置２へ入力される。
各セットは、キャリブレーションパターンに対する対象
物体の位置及び向きが画像の任意の１セットについて同
一で、かつ異なるセットについては異なるという条件下
で、異なる位置及び向きから記録された対象物体及びキ
ャリブレーションパターンの画像を含む。
【００２２】マット生成器３０は、入力画像が記録され
た位置及び方向を計算する際に処理装置２が使用するた
めの写真マット上に印刷もしくは表示された特徴のキャ
リブレーションパターンを定義するデータを格納するよ
うに構成される。より具体的には、本実施形態におい
て、マット生成器３０は特徴パターンを定義するデータ
とともに、特徴パターンに関連する座標系（要するに、
キャリブレーションパターンの向きの基準位置を定義す
る）を格納するように構成され、処理装置２はこの規定
された座標系において（従って、基準位置及び方向と相
対的に）、入力画像が記録された位置及び方向を計算す
るように構成される。このように、入力画像の各セット
に対して、入力画像の記録位置及び方向は相互に関して
計算され、従って位置決めされた入力画像のセットが生
成される。
た位置及び方向を計算する際に処理装置２が使用するた
めの写真マット上に印刷もしくは表示された特徴のキャ
リブレーションパターンを定義するデータを格納するよ
うに構成される。より具体的には、本実施形態におい
て、マット生成器３０は特徴パターンを定義するデータ
とともに、特徴パターンに関連する座標系（要するに、
キャリブレーションパターンの向きの基準位置を定義す
る）を格納するように構成され、処理装置２はこの規定
された座標系において（従って、基準位置及び方向と相
対的に）、入力画像が記録された位置及び方向を計算す
るように構成される。このように、入力画像の各セット
に対して、入力画像の記録位置及び方向は相互に関して
計算され、従って位置決めされた入力画像のセットが生
成される。
【００２３】本実施形態において、写真マット上のキャ
リブレーションパターンは、例えば、その全内容が本明
細書に相互参照として組み入れられるＰＣＴ出願GB00/0
4469(WO-A-01/39124)に記載されるような、特徴の空間
的な一群(spatial clusters of features)、あるいは、
（JP-A-9-170914に記載されるような）各点が異なる色
相／輝度の組み合わせを有するように色づけされた点の
パターン、（例えば、Niem の、”移動カメラを用いる
３次元物体の自動再構成(Automatic Reconstruction of
3D Objects Using a Mobile Camera)”(Image and Vis
ion Computing 17,1999, 125-134ページ)に記載される
ような）各象限が既知の大きさ及び位置マーカを有す
る、放射状の線分によって接続される同心円のパター
ン、又は（例えばComputer Graphics Proceedings, Ann
ual Conference Series, 1996 ACM-0-89791-764-4/96/0
08における、Gortler他による「ルミグラフ(The Lumigr
aph)」に記載されるような）異なる直径を有する同心環
を有するパターン等の、既知の任意の特徴パターンを有
する。
リブレーションパターンは、例えば、その全内容が本明
細書に相互参照として組み入れられるＰＣＴ出願GB00/0
4469(WO-A-01/39124)に記載されるような、特徴の空間
的な一群(spatial clusters of features)、あるいは、
（JP-A-9-170914に記載されるような）各点が異なる色
相／輝度の組み合わせを有するように色づけされた点の
パターン、（例えば、Niem の、”移動カメラを用いる
３次元物体の自動再構成(Automatic Reconstruction of
3D Objects Using a Mobile Camera)”(Image and Vis
ion Computing 17,1999, 125-134ページ)に記載される
ような）各象限が既知の大きさ及び位置マーカを有す
る、放射状の線分によって接続される同心円のパター
ン、又は（例えばComputer Graphics Proceedings, Ann
ual Conference Series, 1996 ACM-0-89791-764-4/96/0
08における、Gortler他による「ルミグラフ(The Lumigr
aph)」に記載されるような）異なる直径を有する同心環
を有するパターン等の、既知の任意の特徴パターンを有
する。
【００２４】本実施形態においては、以下、キャリブレ
ーションパターンが、印刷された写真マット３４を生成
するためプリンタ８によって記録媒体（本実施形態では
単票紙）上に印刷されるものと仮定するが、代わりに、
上述のようにキャリブレーションパターンは表示パネル
１０に表示されても良い。
ーションパターンが、印刷された写真マット３４を生成
するためプリンタ８によって記録媒体（本実施形態では
単票紙）上に印刷されるものと仮定するが、代わりに、
上述のようにキャリブレーションパターンは表示パネル
１０に表示されても良い。
【００２５】入力データ格納部４０は、処理装置２への
データ入力を、例えば、ディスク４２等の記憶装置上に
記憶されたデータとして、又は処理装置へ送信された信
号４４として、又はユーザ入力装置６を用いて入力され
たものとして格納するように構成される。入力データ
は、異なる位置及び向きで記録された、写真マット３４
上の対象物体の複数の画像を規定する。入力画像は、個
々のセットについて、セット内の全画像について、キャ
リブレーションパターンに対する対象物体の位置及び向
きが同一であり、かつセット毎にキャリブレーションパ
ターンに対する対象物体の位置及び向きが異なるよう
に、セットで配列される。入力画像は少なくとも２つの
画像セットを含む。第１のセットは異なる位置及び向き
から記録された少なくとも２つの画像を含む。第２のセ
ットは少なくとも１つの画像を含む。加えて、本実施形
態において、入力データは入力画像を記録したカメラの
固有パラメータ、即ちアスペクト比、焦点距離、主点
（principal point：光軸が結像面(imaging plane)と交
わる点）、１次放射方向歪曲収差係数(first order rad
ial distortion coefficient)及びスキュー角（skew an
gle：ピクセルグリッドの軸間角度。軸は正確に直交し
ていないかもしれないため）を規定するデータをも含
む。
データ入力を、例えば、ディスク４２等の記憶装置上に
記憶されたデータとして、又は処理装置へ送信された信
号４４として、又はユーザ入力装置６を用いて入力され
たものとして格納するように構成される。入力データ
は、異なる位置及び向きで記録された、写真マット３４
上の対象物体の複数の画像を規定する。入力画像は、個
々のセットについて、セット内の全画像について、キャ
リブレーションパターンに対する対象物体の位置及び向
きが同一であり、かつセット毎にキャリブレーションパ
ターンに対する対象物体の位置及び向きが異なるよう
に、セットで配列される。入力画像は少なくとも２つの
画像セットを含む。第１のセットは異なる位置及び向き
から記録された少なくとも２つの画像を含む。第２のセ
ットは少なくとも１つの画像を含む。加えて、本実施形
態において、入力データは入力画像を記録したカメラの
固有パラメータ、即ちアスペクト比、焦点距離、主点
（principal point：光軸が結像面(imaging plane)と交
わる点）、１次放射方向歪曲収差係数(first order rad
ial distortion coefficient)及びスキュー角（skew an
gle：ピクセルグリッドの軸間角度。軸は正確に直交し
ていないかもしれないため）を規定するデータをも含
む。
【００２６】入力データは、例えば、画像を記録したデ
ィジタルカメラから画素データをダウンロードすること
によって、あるいはスキャナ（図示せず）を用いて写真
をスキャンすることによって生成されるかもしれない画
像を規定する。
ィジタルカメラから画素データをダウンロードすること
によって、あるいはスキャナ（図示せず）を用いて写真
をスキャンすることによって生成されるかもしれない画
像を規定する。
【００２７】入力データはユーザ入力装置６を用いてユ
ーザが入力するかもしれない、カメラの固有パラメータ
を規定する。
ーザが入力するかもしれない、カメラの固有パラメータ
を規定する。
【００２８】カメラ計算機５０は、写真マット３４のキ
ャリブレーションパターン中の特徴の画像位置を検出す
るため各入力画像を処理し、画像が記録された際の、写
真マット３４に対するカメラの位置及び向きを計算する
ように構成される。このように、各入力画像の位置及び
向きが同一のキャリブレーションパターンについて計算
されるので、各セット内の入力画像の位置及び向きは共
通座標系で規定され、その結果位置合わせされた入力画
像のセットが生成される。しかし、１つのセット内の入
力画像は、異なるセット内の入力画像に対して位置合わ
せされていない。これは、キャリブレーションパターン
に対する対象物体の位置及び向きが各セットの画像で異
なることによる。従って、以下に説明するように、異な
るセットの画像を位置合わせするため、位置合わせコン
トローラ８０が設けられる
ャリブレーションパターン中の特徴の画像位置を検出す
るため各入力画像を処理し、画像が記録された際の、写
真マット３４に対するカメラの位置及び向きを計算する
ように構成される。このように、各入力画像の位置及び
向きが同一のキャリブレーションパターンについて計算
されるので、各セット内の入力画像の位置及び向きは共
通座標系で規定され、その結果位置合わせされた入力画
像のセットが生成される。しかし、１つのセット内の入
力画像は、異なるセット内の入力画像に対して位置合わ
せされていない。これは、キャリブレーションパターン
に対する対象物体の位置及び向きが各セットの画像で異
なることによる。従って、以下に説明するように、異な
るセットの画像を位置合わせするため、位置合わせコン
トローラ８０が設けられる
【００２９】画像データ分割器６０は各入力画像を、画
像中の他の画像データと、対象物体に対応する画像デー
タとを分離するように構成されている。
像中の他の画像データと、対象物体に対応する画像デー
タとを分離するように構成されている。
【００３０】サーフェスモデラ７０は、所与のセットの
画像について画像データ分割器６０によって生成された
分割画像データ及び、当該セットの画像に対してカメラ
計算機５０が計算したカメラ位置及び向きを処理し、対
象物体の表面を表すポリゴンメッシュからなる予備的な
３Ｄコンピュータモデルを生成するように構成されてい
る。サーフェスモデラ７０は、本実施形態において、さ
らに、位置合わせコントローラ８０によって全ての入力
画像が位置合わせされると、これら全ての画像を用い
て、対象物体の表面を表すポリゴンメッシュからなる最
終的な、正確な３Ｄコンピュータモデルを生成するよう
に構成される。
画像について画像データ分割器６０によって生成された
分割画像データ及び、当該セットの画像に対してカメラ
計算機５０が計算したカメラ位置及び向きを処理し、対
象物体の表面を表すポリゴンメッシュからなる予備的な
３Ｄコンピュータモデルを生成するように構成されてい
る。サーフェスモデラ７０は、本実施形態において、さ
らに、位置合わせコントローラ８０によって全ての入力
画像が位置合わせされると、これら全ての画像を用い
て、対象物体の表面を表すポリゴンメッシュからなる最
終的な、正確な３Ｄコンピュータモデルを生成するよう
に構成される。
【００３１】位置合わせコントローラ８０は、カメラ計
算機５０が生成した、位置合わせされた入力画像の異な
るセットを位置合わせするように構成される。
算機５０が生成した、位置合わせされた入力画像の異な
るセットを位置合わせするように構成される。
【００３２】本実施形態において、位置合わせコントロ
ーラ８０は３Ｄモデルポジショナ８２、３Ｄモデルプロ
ジェクタ８４、ローテータ８６及びトランスレータ８８
を有する。
ーラ８０は３Ｄモデルポジショナ８２、３Ｄモデルプロ
ジェクタ８４、ローテータ８６及びトランスレータ８８
を有する。
【００３３】３Ｄモデルポジショナ８２は、サーフェス
モデラ７０が生成した３Ｄコンピュータモデルを、サー
フェスモデラ７０がこの３Ｄコンピュータモデルを生成
するために用いたセット以外のセット内の位置合わせさ
れた画像と同じ座標系内の適当な位置に配置するように
構成される。従って、例えば、３Ｄコンピュータモデル
が入力画像の第１のセットから生成されたとすると、３
Ｄモデルポジショナ８２は、この３Ｄコンピュータモデ
ルを入力画像の別のセットの各々の座標系内の適当な位
置に配置するように構成される。
モデラ７０が生成した３Ｄコンピュータモデルを、サー
フェスモデラ７０がこの３Ｄコンピュータモデルを生成
するために用いたセット以外のセット内の位置合わせさ
れた画像と同じ座標系内の適当な位置に配置するように
構成される。従って、例えば、３Ｄコンピュータモデル
が入力画像の第１のセットから生成されたとすると、３
Ｄモデルポジショナ８２は、この３Ｄコンピュータモデ
ルを入力画像の別のセットの各々の座標系内の適当な位
置に配置するように構成される。
【００３４】３Ｄモデルプロジェクタ８４は、サーフェ
スモデラ７０が生成した３Ｄコンピュータモデルを、３
Ｄモデルポジショナ８２がこの３Ｄコンピュータモデル
を配置した座標系を有するセットからの複数の画像（本
実施形態では３画像）の各々に投影するように構成され
る。本実施形態においては、３Ｄコンピュータモデルを
投影すべき画像として、見ている方向(viewing directi
on)が実質的に直交する画像を、これらが利用可能であ
れば選択する。３Ｄモデルプロジェクタ８４は更に、投
影されたコンピュータモデルのシルエットと、３Ｄコン
ピュータモデルが投影される各画像内に撮像された対象
物体のシルエットを表す、ユーザに表示するための画像
を生成するように構成される。
スモデラ７０が生成した３Ｄコンピュータモデルを、３
Ｄモデルポジショナ８２がこの３Ｄコンピュータモデル
を配置した座標系を有するセットからの複数の画像（本
実施形態では３画像）の各々に投影するように構成され
る。本実施形態においては、３Ｄコンピュータモデルを
投影すべき画像として、見ている方向(viewing directi
on)が実質的に直交する画像を、これらが利用可能であ
れば選択する。３Ｄモデルプロジェクタ８４は更に、投
影されたコンピュータモデルのシルエットと、３Ｄコン
ピュータモデルが投影される各画像内に撮像された対象
物体のシルエットを表す、ユーザに表示するための画像
を生成するように構成される。
【００３５】ローテータ７６及びトランスレータ７８
は、ユーザ入力命令に応答して、サーフェスモデラ７０
が生成した３Ｄコンピュータモデルを、画像の位置合わ
せされたセットが３Ｄモデルポジショナ８２によって配
置された座標系に対して回転及び変換可能である。
は、ユーザ入力命令に応答して、サーフェスモデラ７０
が生成した３Ｄコンピュータモデルを、画像の位置合わ
せされたセットが３Ｄモデルポジショナ８２によって配
置された座標系に対して回転及び変換可能である。
【００３６】以下詳細に説明するように、ユーザによる
３Ｄコンピュータモデルの回転及び変換と、３Ｄモデル
プロジェクタ８４によるコンピュータモデル投影及び画
像データ表示は、インタラクティブに反復して実行され
る。このようにして、ユーザによる回転及び変換の結果
はリアルタイムで表示され、サーフェスモデラ７０が生
成した３Ｄコンピュータモデルと入力画像の位置合わせ
されたセットとを正確に位置合わせするためにユーザが
更に回転及び変換を行うことを可能にする。
３Ｄコンピュータモデルの回転及び変換と、３Ｄモデル
プロジェクタ８４によるコンピュータモデル投影及び画
像データ表示は、インタラクティブに反復して実行され
る。このようにして、ユーザによる回転及び変換の結果
はリアルタイムで表示され、サーフェスモデラ７０が生
成した３Ｄコンピュータモデルと入力画像の位置合わせ
されたセットとを正確に位置合わせするためにユーザが
更に回転及び変換を行うことを可能にする。
【００３７】サーフェステクスチャラ１００は、サーフ
ェスモデラ７０が生成した最終的な３Ｄコンピュータモ
デル上にレンダリングするためのテクスチャデータを入
力画像から生成するように構成される。
ェスモデラ７０が生成した最終的な３Ｄコンピュータモ
デル上にレンダリングするためのテクスチャデータを入
力画像から生成するように構成される。
【００３８】表示プロセッサ１１０は、中央制御装置２
０の制御下で、処理装置２の処理中、表示装置４を介し
てユーザに画像及び命令を表示するように構成される。
加えて、中央制御装置２０の制御下で、表示プロセッサ
１１０は、最終的なサーフェスモデルデータを処理し、
サーフェステクスチャラ１００が生成したテクスチャデ
ータをサーフェスモデル上にレンダリングすることによ
り、ユーザが選択した視点からの、最終的な３Ｄコンピ
ュータモデルの画像を表示するように構成される。
０の制御下で、処理装置２の処理中、表示装置４を介し
てユーザに画像及び命令を表示するように構成される。
加えて、中央制御装置２０の制御下で、表示プロセッサ
１１０は、最終的なサーフェスモデルデータを処理し、
サーフェステクスチャラ１００が生成したテクスチャデ
ータをサーフェスモデル上にレンダリングすることによ
り、ユーザが選択した視点からの、最終的な３Ｄコンピ
ュータモデルの画像を表示するように構成される。
【００３９】出力データ格納部１２０はサーフェスモデ
ラ７０が生成した最終的な３Ｄコンピュータモデル１５
０及び、必要に応じて、サーフェステクスチャラ１００
が生成したテクスチャデータを規定するデータを格納す
るように構成される。中央制御装置２０は出力データ格
納部１２０からのデータ出力を、ディスク１２２等の記
憶装置上のデータ及び／又は信号１２４として制御する
ように構成される。出力データの記録は記憶装置（図示
せず）を直接的又は間接的に用いて出力信号１２４を記
録することで行うことができる。
ラ７０が生成した最終的な３Ｄコンピュータモデル１５
０及び、必要に応じて、サーフェステクスチャラ１００
が生成したテクスチャデータを規定するデータを格納す
るように構成される。中央制御装置２０は出力データ格
納部１２０からのデータ出力を、ディスク１２２等の記
憶装置上のデータ及び／又は信号１２４として制御する
ように構成される。出力データの記録は記憶装置（図示
せず）を直接的又は間接的に用いて出力信号１２４を記
録することで行うことができる。
【００４０】図２を参照して、処理装置２へ入力するた
めの入力画像の第１のセットの記録について説明する。
めの入力画像の第１のセットの記録について説明する。
【００４１】印刷された写真マット３４は面２００上に
置かれ、３Ｄコンピュータモデルを生成する対象物体２
１０は、マット上のキャリブレーションパターンを構成
する特徴によって取り囲まれるように実質的に写真マッ
ト３４の中央に置かれる。
置かれ、３Ｄコンピュータモデルを生成する対象物体２
１０は、マット上のキャリブレーションパターンを構成
する特徴によって取り囲まれるように実質的に写真マッ
ト３４の中央に置かれる。
【００４２】対象物体２１０及び写真マット３４の画像
は、対象物体２１０の異なる部分を示すよう、ディジタ
ルカメラ２３０を用いて異なる位置及び方向において記
録される。本実施形態において、カメラ２３０によって
記録された画像を規定するデータは信号４４として線２
３２に沿って処理装置２へ入力される。
は、対象物体２１０の異なる部分を示すよう、ディジタ
ルカメラ２３０を用いて異なる位置及び方向において記
録される。本実施形態において、カメラ２３０によって
記録された画像を規定するデータは信号４４として線２
３２に沿って処理装置２へ入力される。
【００４３】特に、本実施形態において、カメラ２３０
は固定位置にとどまり、写真マット３４とその上の対象
物体２１０が面２００上を移動（変換）並びに回転（例
えば矢印２４０の方向へ）させられ、カメラ２３０に対
して相対的に異なる位置及び方向における物体２１０の
写真が記録される。キャリブレーションパターンに対す
る対象物体２１０の位置及び向きがセット内の各画像に
ついて同一となるよう、入力画像の各セットについて、
面２００上の写真マット３４の回転及び変換の間、対象
物体２１０はマット３４に対して移動しない。
は固定位置にとどまり、写真マット３４とその上の対象
物体２１０が面２００上を移動（変換）並びに回転（例
えば矢印２４０の方向へ）させられ、カメラ２３０に対
して相対的に異なる位置及び方向における物体２１０の
写真が記録される。キャリブレーションパターンに対す
る対象物体２１０の位置及び向きがセット内の各画像に
ついて同一となるよう、入力画像の各セットについて、
面２００上の写真マット３４の回転及び変換の間、対象
物体２１０はマット３４に対して移動しない。
【００４４】対象物体２１０の頂上の画像は、カメラ２
３０を三脚から外し、真上から対象物体を撮影すること
で記録される。
３０を三脚から外し、真上から対象物体を撮影すること
で記録される。
【００４５】図３は、処理装置２へ入力されるデータに
規定される画像の第１のセットからのサンプル画像３０
０、３０４、３０８及び３１２であり、カメラ２３０に
対して異なる位置及び方向における対象物体２１０及び
写真マット３４を示している。
規定される画像の第１のセットからのサンプル画像３０
０、３０４、３０８及び３１２であり、カメラ２３０に
対して異なる位置及び方向における対象物体２１０及び
写真マット３４を示している。
【００４６】図４は、処理装置２へ入力するための画像
の第２のセットの記録を示す図である。図４を参照し
て、写真マット３４上のキャリブレーションパターンに
対する対象物体２１０の位置及び向きは入力画像の第１
のセットについての位置及び向きと異なるが、対象物体
２１０は再度写真マット３４のほぼ中心に配置される。
の第２のセットの記録を示す図である。図４を参照し
て、写真マット３４上のキャリブレーションパターンに
対する対象物体２１０の位置及び向きは入力画像の第１
のセットについての位置及び向きと異なるが、対象物体
２１０は再度写真マット３４のほぼ中心に配置される。
【００４７】対象物体２１０及び写真マット３４の画像
は（本実施形態においては、対象物体２１０が置かれた
写真マット３４を変換及び回転すること、及び／又はよ
り高い仰角から対象物体２１０を撮像するためカメラ２
３０を移動することにより）、カメラ２３０を用いて異
なる位置及び向きで記録される。キャリブレーションパ
ターンに対する対象物体２１０の位置及び向きが第２の
セット内の各画像について同一となるよう、写真マット
３４の回転及び変換の間、対象物体２１０はマット３４
に対して移動しない。
は（本実施形態においては、対象物体２１０が置かれた
写真マット３４を変換及び回転すること、及び／又はよ
り高い仰角から対象物体２１０を撮像するためカメラ２
３０を移動することにより）、カメラ２３０を用いて異
なる位置及び向きで記録される。キャリブレーションパ
ターンに対する対象物体２１０の位置及び向きが第２の
セット内の各画像について同一となるよう、写真マット
３４の回転及び変換の間、対象物体２１０はマット３４
に対して移動しない。
【００４８】このようにして、画像の第２のセットが記
録される前に、写真マット３４に対する対象物体２１０
の位置及び向きの変更をユーザに許可することにより、
ユーザは写真マット３４上の対象物体２１０を、画像の
第１のセットの記録時には見えなかった対象物体２１０
の部分（例えば対象物体２１０の）が見えるように配置
することが可能であり、従ってそのような部分の撮像及
び対象物体の３Ｄコンピュータモデルにおけるモデリン
グが可能になる。
録される前に、写真マット３４に対する対象物体２１０
の位置及び向きの変更をユーザに許可することにより、
ユーザは写真マット３４上の対象物体２１０を、画像の
第１のセットの記録時には見えなかった対象物体２１０
の部分（例えば対象物体２１０の）が見えるように配置
することが可能であり、従ってそのような部分の撮像及
び対象物体の３Ｄコンピュータモデルにおけるモデリン
グが可能になる。
【００４９】図６は、カメラ２３０に対して異なる位置
及び向きにおける対象物体２１０及び写真マット３４を
示す、処理装置２へ入力されるデータに規定される画像
の第２のセットからの例示画像３８０、３８２及び３８
４を示す。
及び向きにおける対象物体２１０及び写真マット３４を
示す、処理装置２へ入力されるデータに規定される画像
の第２のセットからの例示画像３８０、３８２及び３８
４を示す。
【００５０】図６は、本実施形態において、処理装置２
が実行する入力データ処理動作を示している。図６を参
照して、ステップＳ６−２では、中央制御装置２０に従
い、表示プロセッサ１１０が、処理するデータを入力す
るようユーザに要求するメッセージを表示装置４上に表
示させる。
が実行する入力データ処理動作を示している。図６を参
照して、ステップＳ６−２では、中央制御装置２０に従
い、表示プロセッサ１１０が、処理するデータを入力す
るようユーザに要求するメッセージを表示装置４上に表
示させる。
【００５１】ステップＳ６−４では、ステップＳ６−２
での要求に応答してユーザが入力したデータが入力デー
タ格納部４０に格納される。より具体的には、上述した
ように、本実施形態では、入力データが、異なる位置及
び方向において記録された対象物体２１０及び写真マッ
ト３４の画像であって、写真マット３４に対する対象物
体２１０の位置及び向きが各セット内の画像で等しく、
かつセット毎に異なるようなセットに分割された画像を
規定するデータを有する。本実施形態においては、入力
データは入力画像を記録したカメラ２３０の固有パラメ
ータを規定するデータをさらに有している。
での要求に応答してユーザが入力したデータが入力デー
タ格納部４０に格納される。より具体的には、上述した
ように、本実施形態では、入力データが、異なる位置及
び方向において記録された対象物体２１０及び写真マッ
ト３４の画像であって、写真マット３４に対する対象物
体２１０の位置及び向きが各セット内の画像で等しく、
かつセット毎に異なるようなセットに分割された画像を
規定するデータを有する。本実施形態においては、入力
データは入力画像を記録したカメラ２３０の固有パラメ
ータを規定するデータをさらに有している。
【００５２】ステップＳ６−６では、カメラ計算機５０
がステップＳ６−４において格納された入力画像の各セ
ット及び固有カメラパラメータデータを処理し、各セッ
ト内の各画像について、写真マット３４上のキャリブレ
ーションパターンに対する（従って、対象物体２１０に
対する）カメラ２３０の位置及び方向を求める。この処
理は、各セット内の各入力画像に対する以下の処理を有
する。写真マット３４上でキャリブレーションパターン
を形成する画像の特徴の検出、画像中の特徴の位置と写
真マット用に格納されたパターン中の特徴の位置との比
較、及びそれらに基づく、画像が記録された際のカメラ
２３０のマット３４に対する相対位置及び方向計算の各
処理を有する。
がステップＳ６−４において格納された入力画像の各セ
ット及び固有カメラパラメータデータを処理し、各セッ
ト内の各画像について、写真マット３４上のキャリブレ
ーションパターンに対する（従って、対象物体２１０に
対する）カメラ２３０の位置及び方向を求める。この処
理は、各セット内の各入力画像に対する以下の処理を有
する。写真マット３４上でキャリブレーションパターン
を形成する画像の特徴の検出、画像中の特徴の位置と写
真マット用に格納されたパターン中の特徴の位置との比
較、及びそれらに基づく、画像が記録された際のカメラ
２３０のマット３４に対する相対位置及び方向計算の各
処理を有する。
【００５３】ステップＳ５−６においてカメラ計算機５
０が実施する処理は写真マット３４に用いられる特徴の
キャリブレーションパターンに依存する。適切な処理は
例えば、ＰＣＴ出願GB00/04469(WO-A-01/39124)、特開
平9-170914号公報(JP-A-9-170914)、Niemによる、”移
動カメラを用いた３Ｄ物体の自動再構成(Automatic Rec
onstruction of 3D Object Using a Mobile Camera)”
(Image and Vision Computing 17, 1999, 125-134ペー
ジ)及び、Gortlerらによる”The Lumigraph” (Compute
r Graphics Proceedings, Annual Conference Series,
1996 ACM-0-89791-764-4/96/008に記述されている。こ
こで、各入力画像中のキャリブレーションパターンの特
徴の位置は、これら列挙した参考文献に記載された画像
処理技術を用い、カメラ計算機５０が単独で検出するよ
りも、（例えば、表示画像中の各キャリブレーションパ
ターンの特徴を指定してクリックすることにより）ユー
ザによって処理装置２へ指定されうることに留意された
い。カメラ計算機５０による処理の結果、写真マット３
４上のキャリブレーションパターンに対するセット内の
各入力画像の位置及び向きが計算され、従って、各セッ
ト内の画像が互いに位置合わせされる。
０が実施する処理は写真マット３４に用いられる特徴の
キャリブレーションパターンに依存する。適切な処理は
例えば、ＰＣＴ出願GB00/04469(WO-A-01/39124)、特開
平9-170914号公報(JP-A-9-170914)、Niemによる、”移
動カメラを用いた３Ｄ物体の自動再構成(Automatic Rec
onstruction of 3D Object Using a Mobile Camera)”
(Image and Vision Computing 17, 1999, 125-134ペー
ジ)及び、Gortlerらによる”The Lumigraph” (Compute
r Graphics Proceedings, Annual Conference Series,
1996 ACM-0-89791-764-4/96/008に記述されている。こ
こで、各入力画像中のキャリブレーションパターンの特
徴の位置は、これら列挙した参考文献に記載された画像
処理技術を用い、カメラ計算機５０が単独で検出するよ
りも、（例えば、表示画像中の各キャリブレーションパ
ターンの特徴を指定してクリックすることにより）ユー
ザによって処理装置２へ指定されうることに留意された
い。カメラ計算機５０による処理の結果、写真マット３
４上のキャリブレーションパターンに対するセット内の
各入力画像の位置及び向きが計算され、従って、各セッ
ト内の画像が互いに位置合わせされる。
【００５４】ステップＳ６−８において、画像データ分
割器６０はステップＳ６−４で格納された入力画像の各
々を処理し、対象物体２１０を表す画像データを他の画
像データ（”背景”画像データ）と分ける。この処理は
例えばGB-A-2368307のAnnexA.の2.2部に記載されるよう
な、従前の画像分割方法を用いて実施される。
割器６０はステップＳ６−４で格納された入力画像の各
々を処理し、対象物体２１０を表す画像データを他の画
像データ（”背景”画像データ）と分ける。この処理は
例えばGB-A-2368307のAnnexA.の2.2部に記載されるよう
な、従前の画像分割方法を用いて実施される。
【００５５】図７は、ステップＳ６−６及びＳ６−８に
おける、入力画像の第１のセットに対する処理結果を
（入力画像の他のセットに対して得られる、対応する結
果と合わせて）示す。図７を参照して、処理のこの段階
においては、第１のセット内の入力画像３００−３１６
の各々における対象物体２１０のシルエット３５０−３
６６が計算され、また３Ｄ空間における各シルエットの
相対位置及び方向が計算される（なぜなら、各シルエッ
ト３５０−３６６は入力画像の２次元平面中に存在し、
各入力画像の位置及び方向はステップＳ５−６でカメラ
計算機５０が計算しているため）。加えて、各入力画像
に対する焦点３２０−３３６の位置もまた入力データ及
びカメラ計算機５０による計算から既知である。
おける、入力画像の第１のセットに対する処理結果を
（入力画像の他のセットに対して得られる、対応する結
果と合わせて）示す。図７を参照して、処理のこの段階
においては、第１のセット内の入力画像３００−３１６
の各々における対象物体２１０のシルエット３５０−３
６６が計算され、また３Ｄ空間における各シルエットの
相対位置及び方向が計算される（なぜなら、各シルエッ
ト３５０−３６６は入力画像の２次元平面中に存在し、
各入力画像の位置及び方向はステップＳ５−６でカメラ
計算機５０が計算しているため）。加えて、各入力画像
に対する焦点３２０−３３６の位置もまた入力データ及
びカメラ計算機５０による計算から既知である。
【００５６】再び図６を参照して、ステップＳ６−１０
では、サーフェスモデラ７０が、入力画像の１つのセッ
ト（本実施形態においては第１のセット）についてデー
タを処理し、対象物体２１０の表面を表すポリゴンメッ
シュからなる予備的な３Ｄコンピュータモデルを生成す
る。
では、サーフェスモデラ７０が、入力画像の１つのセッ
ト（本実施形態においては第１のセット）についてデー
タを処理し、対象物体２１０の表面を表すポリゴンメッ
シュからなる予備的な３Ｄコンピュータモデルを生成す
る。
【００５７】より具体的には、再度図７を参照して、
（シルエットは画像中の対象物体の輪郭を規定するた
め）各シルエット３５０−３６６は、シルエットが記録
された画像が記録された際のカメラの焦点位置３２０−
３３６とともに、（今のところは未知である）３Ｄ空間
中の複数点において対象物体２１０の表面に接する３Ｄ
空間中の無限円錐(infinite cone)を規定する。
（シルエットは画像中の対象物体の輪郭を規定するた
め）各シルエット３５０−３６６は、シルエットが記録
された画像が記録された際のカメラの焦点位置３２０−
３３６とともに、（今のところは未知である）３Ｄ空間
中の複数点において対象物体２１０の表面に接する３Ｄ
空間中の無限円錐(infinite cone)を規定する。
【００５８】本実施形態において、サーフェスモデラ７
０はステップＳ６−１０で、シルエット３５０−３６６
の全てによって規定される無限円錐の交差部分(interse
ction)で定義される３Ｄ空間の体積を求め、平面ポリゴ
ンを接続するメッシュによって交差部分の体積を表す処
理を実行する。
０はステップＳ６−１０で、シルエット３５０−３６６
の全てによって規定される無限円錐の交差部分(interse
ction)で定義される３Ｄ空間の体積を求め、平面ポリゴ
ンを接続するメッシュによって交差部分の体積を表す処
理を実行する。
【００５９】この処理は同一出願人による、同時係属の
日本特許出願2002-169584号（当該出願の全内容は参照
として本明細書に組み込まれる）に記載される技術を用
いて、あるいは、例えばhttp://i31www.ira.uka.de/dip
lomarbeiten/da_martin_loehlein/Reconstruction.html
に開示される、Martin Lohleinによる”境界表現を用い
た３Ｄ再構成のための視体積交差法アルゴリズム(A Vol
umetric IntersectionAlgorithm for 3D-reconstructio
n Using a Boundary-Representation)”や、M. Szilvas
i-Nagyによる、”２つの単純多面体の交差を求めるアル
ゴリズム(An algorithm for Determining the Intersec
tion of Two Simple Polyhedra)”(Computer Graphics
Forum 3(1984),219-225ページ)に記載されるような従来
方法を用いて実行することができる。
日本特許出願2002-169584号（当該出願の全内容は参照
として本明細書に組み込まれる）に記載される技術を用
いて、あるいは、例えばhttp://i31www.ira.uka.de/dip
lomarbeiten/da_martin_loehlein/Reconstruction.html
に開示される、Martin Lohleinによる”境界表現を用い
た３Ｄ再構成のための視体積交差法アルゴリズム(A Vol
umetric IntersectionAlgorithm for 3D-reconstructio
n Using a Boundary-Representation)”や、M. Szilvas
i-Nagyによる、”２つの単純多面体の交差を求めるアル
ゴリズム(An algorithm for Determining the Intersec
tion of Two Simple Polyhedra)”(Computer Graphics
Forum 3(1984),219-225ページ)に記載されるような従来
方法を用いて実行することができる。
【００６０】代わりに、サーフェスモデラ７０は、例え
ばIllingsworth及びHiltonによる、”モデル世界構築の
試み：コンピュータビジョンを用いた静的物体モデルの
自動構築(Looking to build a model world: automatic
construction of static object models using comput
er vision)”(Electronics and Communication Enginee
ring Journal, June 1998, 103-113ページ)、又はNiem
による”移動カメラを用いる３次元物体の自動再構成(A
utomatic reconstruction of 3D objects using a mobi
le camera)”(Image and Vision Computing 17, 1999,
125-134ページ)に記載されるような、シルエットからの
形状生成処理(shape-from-silhouette processing)を実
行しても良い。これら方法においては、シルエット円錐
(shilhouette cone)の交差部分が計算され、複数のボク
セル（直方体）から形成される対象物体の”体積表現(v
olume representation)”を生成するために用いられ
る。より具体的には、３Ｄ空間がボクセルに分割され、
ボクセルはどれがシルエット円錐の交差部分で規定され
る体積の内部に位置するかを判定するためテストされ
る。交差体積内部のボクセルは、対象物体を表すボクセ
ルの体積を規定するため保持される。そして、体積表現
は接続されたポリゴンのメッシュからなるサーフェスモ
デルへ変換される。
ばIllingsworth及びHiltonによる、”モデル世界構築の
試み：コンピュータビジョンを用いた静的物体モデルの
自動構築(Looking to build a model world: automatic
construction of static object models using comput
er vision)”(Electronics and Communication Enginee
ring Journal, June 1998, 103-113ページ)、又はNiem
による”移動カメラを用いる３次元物体の自動再構成(A
utomatic reconstruction of 3D objects using a mobi
le camera)”(Image and Vision Computing 17, 1999,
125-134ページ)に記載されるような、シルエットからの
形状生成処理(shape-from-silhouette processing)を実
行しても良い。これら方法においては、シルエット円錐
(shilhouette cone)の交差部分が計算され、複数のボク
セル（直方体）から形成される対象物体の”体積表現(v
olume representation)”を生成するために用いられ
る。より具体的には、３Ｄ空間がボクセルに分割され、
ボクセルはどれがシルエット円錐の交差部分で規定され
る体積の内部に位置するかを判定するためテストされ
る。交差体積内部のボクセルは、対象物体を表すボクセ
ルの体積を規定するため保持される。そして、体積表現
は接続されたポリゴンのメッシュからなるサーフェスモ
デルへ変換される。
【００６１】ステップＳ６−１０における処理の結果
は、例えば図８に示すような、対象物体２１０の表面を
表すポリゴンメッシュ３９０である。ポリゴンメッシュ
３９０は入力画像３００−３１６を用いて生成されるた
め、入力画像３００−３１６において見えない対象物体
２１０の特徴（底面上の特徴等）は、ポリゴンメッシュ
において正確にモデリングされていない。しかし、ポリ
ゴンメッシュは第１のセット内の入力画像に位置合わせ
されており（すなわち、その位置及び向きは入力画像３
００−３１６に対して既知である）、入力画像の全てを
位置合わせし、３Ｄコンピュータモデルを正確にするた
めの引き続く処理においてこのポリゴンメッシュが用い
られる。
は、例えば図８に示すような、対象物体２１０の表面を
表すポリゴンメッシュ３９０である。ポリゴンメッシュ
３９０は入力画像３００−３１６を用いて生成されるた
め、入力画像３００−３１６において見えない対象物体
２１０の特徴（底面上の特徴等）は、ポリゴンメッシュ
において正確にモデリングされていない。しかし、ポリ
ゴンメッシュは第１のセット内の入力画像に位置合わせ
されており（すなわち、その位置及び向きは入力画像３
００−３１６に対して既知である）、入力画像の全てを
位置合わせし、３Ｄコンピュータモデルを正確にするた
めの引き続く処理においてこのポリゴンメッシュが用い
られる。
【００６２】より具体的には、ステップＳ６−１２にお
いて、位置合わせコントローラ８０は、ステップＳ６−
１０で生成された予備的な３Ｄコンピュータモデル３９
０を残りの画像の各セット内の位置合わせされた入力画
像（すなわち、ステップＳ６−１０において３Ｄコンピ
ュータモデルの生成に用いられなかったセットの各々に
おける入力画像）と位置合わせするための処理を行う。
以下に説明するように、本実施形態において、位置合わ
せコントローラ８０によるこの位置合わせはユーザが入
力する命令に従って実行される。
いて、位置合わせコントローラ８０は、ステップＳ６−
１０で生成された予備的な３Ｄコンピュータモデル３９
０を残りの画像の各セット内の位置合わせされた入力画
像（すなわち、ステップＳ６−１０において３Ｄコンピ
ュータモデルの生成に用いられなかったセットの各々に
おける入力画像）と位置合わせするための処理を行う。
以下に説明するように、本実施形態において、位置合わ
せコントローラ８０によるこの位置合わせはユーザが入
力する命令に従って実行される。
【００６３】図９は、本実施形態において、位置合わせ
コントローラ８０が、サーフェスモデラ７０が生成した
３Ｄコンピュータモデル３９０を、カメラ計算機５０が
生成した、他の画像の位置合わせされたセットの各々と
位置合わせするためにステップＳ６−１２で実行する処
理動作を示す。
コントローラ８０が、サーフェスモデラ７０が生成した
３Ｄコンピュータモデル３９０を、カメラ計算機５０が
生成した、他の画像の位置合わせされたセットの各々と
位置合わせするためにステップＳ６−１２で実行する処
理動作を示す。
【００６４】図９を参照して、ステップＳ９−２で、３
Ｄモデルポジショナ８２は、予備的な３Ｄコンピュータ
モデル３９０を、入力画像の位置合わせされた次のセッ
ト（これは、最初にステップＳ９−２が実行される際に
は、サーフェスモデラ７０がステップＳ６−１０におけ
る３Ｄコンピュータモデル３９０の生成に用いなかった
第１の位置合わせされたセットである）と同じ座標系内
に配置する。より具体的には、３Ｄモデルポジショナ８
２は３Ｄコンピュータモデル３９０を、その底面の中心
が写真マット３４上のキャリブレーションパターンの中
心に対応するように配置する。このようにして、３Ｄコ
ンピュータモデル３９０の位置は現在検討されているセ
ット内の入力画像に対しておおよそ正しくなる（なぜな
ら、上述したように、入力画像の各々は、キャリブレー
ションパターンの中心にある対象物体２１０の画像を示
すからである）。
Ｄモデルポジショナ８２は、予備的な３Ｄコンピュータ
モデル３９０を、入力画像の位置合わせされた次のセッ
ト（これは、最初にステップＳ９−２が実行される際に
は、サーフェスモデラ７０がステップＳ６−１０におけ
る３Ｄコンピュータモデル３９０の生成に用いなかった
第１の位置合わせされたセットである）と同じ座標系内
に配置する。より具体的には、３Ｄモデルポジショナ８
２は３Ｄコンピュータモデル３９０を、その底面の中心
が写真マット３４上のキャリブレーションパターンの中
心に対応するように配置する。このようにして、３Ｄコ
ンピュータモデル３９０の位置は現在検討されているセ
ット内の入力画像に対しておおよそ正しくなる（なぜな
ら、上述したように、入力画像の各々は、キャリブレー
ションパターンの中心にある対象物体２１０の画像を示
すからである）。
【００６５】ステップＳ９−４において、３Ｄモデルプ
ロジェクタ８４は、３Ｄコンピュータモデル３９０を、
現在検討されているセット内の入力画像の少なくとも一
部の各々に投影する。
ロジェクタ８４は、３Ｄコンピュータモデル３９０を、
現在検討されているセット内の入力画像の少なくとも一
部の各々に投影する。
【００６６】より具体的には、本実施形態において、３
Ｄモデルプロジェクタ８４は、ほぼ直交する（又はセッ
ト内で選択可能な範囲で直交に近い）視方向を有する３
つの入力画像を選択し、予備的な３Ｄコンピュータモデ
ル３９０をこの選択された３入力画像上へ投影する。
Ｄモデルプロジェクタ８４は、ほぼ直交する（又はセッ
ト内で選択可能な範囲で直交に近い）視方向を有する３
つの入力画像を選択し、予備的な３Ｄコンピュータモデ
ル３９０をこの選択された３入力画像上へ投影する。
【００６７】ステップＳ９−６で、３Ｄモデルプロジェ
クタ８４は表示プロセッサ１１０を制御し、予め定めら
れた視方向からの、３Ｄコンピュータモデル３９０の画
像と、ステップＳ９−４で選択された入力画像であっ
て、３Ｄコンピュータモデル３９０の投影されたシルエ
ット（すなわち、輪郭）を、ステップＳ６−８で画像デ
ータ分割器６０が生成した分割画像シルエットとともに
示す入力画像の各々とを含む画像を、表示装置４上でユ
ーザに対して表示させる。
クタ８４は表示プロセッサ１１０を制御し、予め定めら
れた視方向からの、３Ｄコンピュータモデル３９０の画
像と、ステップＳ９−４で選択された入力画像であっ
て、３Ｄコンピュータモデル３９０の投影されたシルエ
ット（すなわち、輪郭）を、ステップＳ６−８で画像デ
ータ分割器６０が生成した分割画像シルエットとともに
示す入力画像の各々とを含む画像を、表示装置４上でユ
ーザに対して表示させる。
【００６８】図１０は、本実施形態において、ステップ
Ｓ９−６でユーザに表示される画像の例を示す。図１０
を参照して、画像５００は３Ｄコンピュータモデル３９
０の眺望(view)を示す。コンピュータモデル３９０は、
ワイヤフレームモデル３９０の各ポリゴンが平面である
ものとしてレンダリングすることにより、画像５００内
にソリッドモデルとしてユーザに呈示される。
Ｓ９−６でユーザに表示される画像の例を示す。図１０
を参照して、画像５００は３Ｄコンピュータモデル３９
０の眺望(view)を示す。コンピュータモデル３９０は、
ワイヤフレームモデル３９０の各ポリゴンが平面である
ものとしてレンダリングすることにより、画像５００内
にソリッドモデルとしてユーザに呈示される。
【００６９】画像５１０は３Ｄコンピュータモデル３９
０が第１の選択された入力画像へ投影された際のシルエ
ットと、画像データ分割器６０による処理の結果として
既に入力画像内に存在するシルエットとを示す。
０が第１の選択された入力画像へ投影された際のシルエ
ットと、画像データ分割器６０による処理の結果として
既に入力画像内に存在するシルエットとを示す。
【００７０】同様に、画像５２０は、３Ｄコンピュータ
モデル３９０が第２の選択された入力画へ投影された際
のシルエットと、画像データ分割器６０が生成した入力
画像中のシルエットを示し、画像５３０は、３Ｄコンピ
ュータモデル３９０が第２の選択された入力画像に投影
された際のシルエットと、画像データ分割器６０が生成
した入力画像中のシルエットを示す。
モデル３９０が第２の選択された入力画へ投影された際
のシルエットと、画像データ分割器６０が生成した入力
画像中のシルエットを示し、画像５３０は、３Ｄコンピ
ュータモデル３９０が第２の選択された入力画像に投影
された際のシルエットと、画像データ分割器６０が生成
した入力画像中のシルエットを示す。
【００７１】表示されたシルエットをユーザが区別する
のを助けるため、各画像５１０、５２０及び５３０にお
いて、シルエットの１つが実線で表され、もう一方のシ
ルエットは点線で表される。
のを助けるため、各画像５１０、５２０及び５３０にお
いて、シルエットの１つが実線で表され、もう一方のシ
ルエットは点線で表される。
【００７２】ポインタ４０４及び、マウス等のユーザ入
力装置６を用い、指示及びクリックすることにより、ユ
ーザが選択するための、”回転”ボタン４４０、”変換
（Ｘ，Ｙ）”ボタン４５０及び”変換（Ｚ）”ボタン４
６０が設けられている。
力装置６を用い、指示及びクリックすることにより、ユ
ーザが選択するための、”回転”ボタン４４０、”変換
（Ｘ，Ｙ）”ボタン４５０及び”変換（Ｚ）”ボタン４
６０が設けられている。
【００７３】”回転”ボタン４４０の選択に続き、ユー
ザはポインタ４０４の移動により、画像５００内に示さ
れる３Ｄコンピュータモデル３９０を回転させることが
できる。より具体的には、１回”回転”ボタン４４０を
クリックすると、ユーザは３Ｄコンピュータモデル３９
０をＸ座標軸に関して回転可能となり、２回”回転”ボ
タン４４０をクリックすると、ユーザは３Ｄコンピュー
タモデル３９０をＹ座標軸に関して回転可能となり、３
回”回転”ボタン４４０をクリックすると、ユーザは３
Ｄコンピュータモデル３９０をＺ座標軸に関して回転可
能となる。
ザはポインタ４０４の移動により、画像５００内に示さ
れる３Ｄコンピュータモデル３９０を回転させることが
できる。より具体的には、１回”回転”ボタン４４０を
クリックすると、ユーザは３Ｄコンピュータモデル３９
０をＸ座標軸に関して回転可能となり、２回”回転”ボ
タン４４０をクリックすると、ユーザは３Ｄコンピュー
タモデル３９０をＹ座標軸に関して回転可能となり、３
回”回転”ボタン４４０をクリックすると、ユーザは３
Ｄコンピュータモデル３９０をＺ座標軸に関して回転可
能となる。
【００７４】同様に、必要に応じ、”変換（Ｘ，Ｙ）”
ボタン４５０（Ｘ−Ｙ平面内の移動を可能にする）又
は”変換（Ｚ）”ボタン４６０（Ｚ軸方向の移動を可能
にする）の選択に続き、ポインタ４０４を移動させるこ
とにより、モデル３９０の位置及び向きを変更すること
ができる。
ボタン４５０（Ｘ−Ｙ平面内の移動を可能にする）又
は”変換（Ｚ）”ボタン４６０（Ｚ軸方向の移動を可能
にする）の選択に続き、ポインタ４０４を移動させるこ
とにより、モデル３９０の位置及び向きを変更すること
ができる。
【００７５】以下説明するように、ユーザが３Ｄコンピ
ュータモデル３９０を回転及び変換するに伴い、画像５
００、５１０、５２０及び５３０はリアルタイムで更新
され、ユーザは自らが行った移動の効果を見ることが可
能である。特に、ユーザは画像５１０、５２０及び５３
０中のシルエットの位置ずれを見ることが可能であり、
従って位置ずれが最小となるように３Ｄコンピュータモ
デル３９０を回転及び変換し、予備的な３Ｄコンピュー
タモデル３９０を入力画像の現在検討中の位置合わせさ
れたセットへ位置合わせすることが可能である。３Ｄコ
ンピュータモデル３９０の位置及び向きを、入力画像の
現在検討中の位置合わせされたセットへ位置合わせする
ことにより、ユーザはステップＳ６−１０において３Ｄ
コンピュータモデル３９０を生成した入力画像の位置合
わせされたセットを、画像の現在検討中の位置合わせさ
れたセットへも位置合わせすることができる（なぜな
ら、上述したように、３Ｄコンピュータモデル３９０は
ステップＳ６−１０において生成される際に、これら画
像と位置合わせされているからである）。
ュータモデル３９０を回転及び変換するに伴い、画像５
００、５１０、５２０及び５３０はリアルタイムで更新
され、ユーザは自らが行った移動の効果を見ることが可
能である。特に、ユーザは画像５１０、５２０及び５３
０中のシルエットの位置ずれを見ることが可能であり、
従って位置ずれが最小となるように３Ｄコンピュータモ
デル３９０を回転及び変換し、予備的な３Ｄコンピュー
タモデル３９０を入力画像の現在検討中の位置合わせさ
れたセットへ位置合わせすることが可能である。３Ｄコ
ンピュータモデル３９０の位置及び向きを、入力画像の
現在検討中の位置合わせされたセットへ位置合わせする
ことにより、ユーザはステップＳ６−１０において３Ｄ
コンピュータモデル３９０を生成した入力画像の位置合
わせされたセットを、画像の現在検討中の位置合わせさ
れたセットへも位置合わせすることができる（なぜな
ら、上述したように、３Ｄコンピュータモデル３９０は
ステップＳ６−１０において生成される際に、これら画
像と位置合わせされているからである）。
【００７６】より具体的には、再び図９を参照して、ス
テップＳ９−８で、ローテータ８６及びトランスレータ
８８は、上述したように生成される、ユーザからの入力
信号に従って、３Ｄコンピュータモデル３９０の回転角
及び位置を、入力画像の現在検討中の位置合わせされた
セットの座標系に関して変更する。
テップＳ９−８で、ローテータ８６及びトランスレータ
８８は、上述したように生成される、ユーザからの入力
信号に従って、３Ｄコンピュータモデル３９０の回転角
及び位置を、入力画像の現在検討中の位置合わせされた
セットの座標系に関して変更する。
【００７７】ステップＳ９−１０において、３Ｄモデル
プロジェクタ８４及び表示プロセッサ１１０は、ステッ
プＳ９−８における回転角及び／又は位置に対する変更
結果を示すため、ユーザに表示される画像５００、５１
０、５２０及び５３０を更新する。
プロジェクタ８４及び表示プロセッサ１１０は、ステッ
プＳ９−８における回転角及び／又は位置に対する変更
結果を示すため、ユーザに表示される画像５００、５１
０、５２０及び５３０を更新する。
【００７８】ステップＳ９−１２において、位置合わせ
コントローラ８０は３Ｄコンピュータモデル３９０を変
換又は回転させるための入力信号がユーザから受信され
たか否かを調べる。ステップＳ９−８からＳ９−１２ま
では、ユーザが入力画像の現在検討中の位置合わせされ
たセットへの３Ｄコンピュータモデル３９０の位置合わ
せを完了するまで繰り返される。
コントローラ８０は３Ｄコンピュータモデル３９０を変
換又は回転させるための入力信号がユーザから受信され
たか否かを調べる。ステップＳ９−８からＳ９−１２ま
では、ユーザが入力画像の現在検討中の位置合わせされ
たセットへの３Ｄコンピュータモデル３９０の位置合わ
せを完了するまで繰り返される。
【００７９】ステップＳ９−１４において、位置合わせ
コントローラ８０は、３Ｄコンピュータモデル３９０を
位置合わせすべき、入力画像の位置合わせされたセット
がさらにあるか否か（すなわち、ステップＳ６−１０に
おいて、３Ｄコンピュータモデル３９０の生成に用いら
れなかった他の入力画像の位置合わせされたセットが
コントローラ８０は、３Ｄコンピュータモデル３９０を
位置合わせすべき、入力画像の位置合わせされたセット
がさらにあるか否か（すなわち、ステップＳ６−１０に
おいて、３Ｄコンピュータモデル３９０の生成に用いら
れなかった他の入力画像の位置合わせされたセットが
【００８０】存在するか否か）を調べる。ステップＳ９
−２からＳ９−１４は、３Ｄコンピュータモデル３９０
が入力画像の位置合わせされたセットの各々と位置合わ
せされるまで繰り返される。３Ｄコンピュータモデル３
９０が入力画像の位置合わせされた全てのセットと位置
合わせされると、全セット内の全入力画像が互いに位置
合わせされる。従って、各入力画像の相対的な位置及び
向きがわかり、利用可能な全ての入力画像を用いて対象
物体２１０の正確な３Ｄコンピュータモデルを生成する
ことができる。このようにして、対象物体２１０の、入
力画像の第１のセットにおいては撮像されず、他のセッ
トにおいて撮像された部分（対象物体の底面等）を、最
終的な３Ｄコンピュータモデルに正確にモデリングする
ことができる。
−２からＳ９−１４は、３Ｄコンピュータモデル３９０
が入力画像の位置合わせされたセットの各々と位置合わ
せされるまで繰り返される。３Ｄコンピュータモデル３
９０が入力画像の位置合わせされた全てのセットと位置
合わせされると、全セット内の全入力画像が互いに位置
合わせされる。従って、各入力画像の相対的な位置及び
向きがわかり、利用可能な全ての入力画像を用いて対象
物体２１０の正確な３Ｄコンピュータモデルを生成する
ことができる。このようにして、対象物体２１０の、入
力画像の第１のセットにおいては撮像されず、他のセッ
トにおいて撮像された部分（対象物体の底面等）を、最
終的な３Ｄコンピュータモデルに正確にモデリングする
ことができる。
【００８１】従って、再び図６を参照して、ステップＳ
６−１４において、サーフェスモデラ７０は、対象物体
２１０の正確な３Ｄコンピュータモデルを生成するため
の処理を実行する。
６−１４において、サーフェスモデラ７０は、対象物体
２１０の正確な３Ｄコンピュータモデルを生成するため
の処理を実行する。
【００８２】本実施形態において、サーフェスモデラ７
０は、入力画像の位置合わせされた全てのセットと、以
前ステップＳ６−１０において予備的な３次元コンピュ
ータモデルを生成するために実行した処理と同じ処理を
用いて、正確な３次元コンピュータモデルを生成する。
すなわち、予備的な３次元コンピュータモデル３９０が
廃棄され、（ステップＳ６−８で生成された）シルエッ
トデータ及び、位置合わせされた第１のセットではな
く、全ての入力画像の位置合わせされた位置及び向きを
用いて新しい３Ｄコンピュータモデルが生成される。こ
の処理は既に説明したため、ここで再度の説明は行わな
い。
０は、入力画像の位置合わせされた全てのセットと、以
前ステップＳ６−１０において予備的な３次元コンピュ
ータモデルを生成するために実行した処理と同じ処理を
用いて、正確な３次元コンピュータモデルを生成する。
すなわち、予備的な３次元コンピュータモデル３９０が
廃棄され、（ステップＳ６−８で生成された）シルエッ
トデータ及び、位置合わせされた第１のセットではな
く、全ての入力画像の位置合わせされた位置及び向きを
用いて新しい３Ｄコンピュータモデルが生成される。こ
の処理は既に説明したため、ここで再度の説明は行わな
い。
【００８３】ステップＳ６−１６において、サーフェス
テクスチャラ１００は、ステップＳ６−１４で生成され
た３Ｄコンピュータモデル用のテクスチャデータを生成
するため、入力画像を処理する。
テクスチャラ１００は、ステップＳ６−１４で生成され
た３Ｄコンピュータモデル用のテクスチャデータを生成
するため、入力画像を処理する。
【００８４】より具体的には、本実施形態において、サ
ーフェステクスチャラ１００は、ステップＳ６−１４で
生成された３Ｄコンピュータモデル中の各３角形を選択
し、選択された３角形に最も正対する入力画像”ｉ”を
判定するための従来方法の処理を実施する。すなわち、
入力画像はｎ＾ｔが３角形の法線(triangle normal)、
ｖ＾ｉをｉ番目の画像の視方向とすると、ｎ＾ｔ・ｖ＾
ｉが最大になる画像が探される。これは、選択された表
面３角(surface triangle)が最も大きな投影領域を有す
る画像を特定する。
ーフェステクスチャラ１００は、ステップＳ６−１４で
生成された３Ｄコンピュータモデル中の各３角形を選択
し、選択された３角形に最も正対する入力画像”ｉ”を
判定するための従来方法の処理を実施する。すなわち、
入力画像はｎ＾ｔが３角形の法線(triangle normal)、
ｖ＾ｉをｉ番目の画像の視方向とすると、ｎ＾ｔ・ｖ＾
ｉが最大になる画像が探される。これは、選択された表
面３角(surface triangle)が最も大きな投影領域を有す
る画像を特定する。
【００８５】選択された表面３角は特定された入力画像
へ投影され、投影された３角形の頂点は画像テクスチャ
マップを規定するためのテクスチャ座標として用いられ
る。
へ投影され、投影された３角形の頂点は画像テクスチャ
マップを規定するためのテクスチャ座標として用いられ
る。
【００８６】サーフェステクスチャラ１００がステップ
Ｓ６−１６でテクスチャデータを生成するために用いう
る他の技術は、英国特許出願第GB-A-2369541号、並びに
GB-A-2369260号及び欧州特許出願第EP-A-1204073号に記
載されており、これら公地文献は相互参照により本明細
書に組み込まれる。
Ｓ６−１６でテクスチャデータを生成するために用いう
る他の技術は、英国特許出願第GB-A-2369541号、並びに
GB-A-2369260号及び欧州特許出願第EP-A-1204073号に記
載されており、これら公地文献は相互参照により本明細
書に組み込まれる。
【００８７】上述の処理を実行した結果は、入力画像中
で見ることのできる全ての特徴をモデリングした対象物
体２１０の３Ｄコンピュータモデルと、入力画像から
の、モデル上にレンダリングされるべきテクスチャ座標
定義画像データである。
で見ることのできる全ての特徴をモデリングした対象物
体２１０の３Ｄコンピュータモデルと、入力画像から
の、モデル上にレンダリングされるべきテクスチャ座標
定義画像データである。
【００８８】ステップＳ６−１４で生成された３Ｄコン
ピュータモデルを定義するデータは、テクスチャデータ
とともに出力データ格納部１２０に格納される。格納さ
れるテクスチャデータは出楠茶データに用いられる入力
画像の各々を規定するデータと、入力画像中のテクスチ
ャ座標を規定するデータを含みうる。代わりに、テクス
チャデータとして使用される画素データを入力画像ら抽
出し、出力データ格納部１２０へ格納しても良い。
ピュータモデルを定義するデータは、テクスチャデータ
とともに出力データ格納部１２０に格納される。格納さ
れるテクスチャデータは出楠茶データに用いられる入力
画像の各々を規定するデータと、入力画像中のテクスチ
ャ座標を規定するデータを含みうる。代わりに、テクス
チャデータとして使用される画素データを入力画像ら抽
出し、出力データ格納部１２０へ格納しても良い。
【００８９】ステップＳ６−１８で、中央制御装置２０
は、出力データ格納部１２０から、例えばディスク１２
２等の記憶装置上に格納されたデータとして、あるいは
信号１２４（図１）として、ステップＳ６−１４で生成
された３Ｄコンピュータモデル３９０及び、必要に応じ
て、テクスチャデータを定義するデータを出力する。加
えて、あるいは代わりに、中央制御装置２０は表示プロ
セッサ１１０に、例えばユーザ入力装置６を用いてユー
ザが入力した視点に従って、テクスチャデータとともに
レンダリングされたステップＳ６−１４で生成された３
Ｄコンピュータモデルの画像を表示装置４へ表示させ
る。
は、出力データ格納部１２０から、例えばディスク１２
２等の記憶装置上に格納されたデータとして、あるいは
信号１２４（図１）として、ステップＳ６−１４で生成
された３Ｄコンピュータモデル３９０及び、必要に応じ
て、テクスチャデータを定義するデータを出力する。加
えて、あるいは代わりに、中央制御装置２０は表示プロ
セッサ１１０に、例えばユーザ入力装置６を用いてユー
ザが入力した視点に従って、テクスチャデータとともに
レンダリングされたステップＳ６−１４で生成された３
Ｄコンピュータモデルの画像を表示装置４へ表示させ
る。
【００９０】（第２の実施形態）本発明の第２の実施形
態について説明する。上述した第１の実施形態におい
て、位置合わせコントローラ８０は、ステップＳ６−１
２において、ユーザから入力される、入力画像の位置合
わせされたセットの各々に対する３Ｄコンピュータモデ
ル３９０の位置及び向きに対する変更を規定する信号に
基づいて、予備的な３Ｄコンピュータモデル３９０を入
力画像の位置合わせされた他のセットと位置合わせし
た。
態について説明する。上述した第１の実施形態におい
て、位置合わせコントローラ８０は、ステップＳ６−１
２において、ユーザから入力される、入力画像の位置合
わせされたセットの各々に対する３Ｄコンピュータモデ
ル３９０の位置及び向きに対する変更を規定する信号に
基づいて、予備的な３Ｄコンピュータモデル３９０を入
力画像の位置合わせされた他のセットと位置合わせし
た。
【００９１】しかし、第２の実施形態において説明する
ように、予備的な３Ｄコンピュータモデル３９０の、入
力画像の位置合わせされた他のセットとへの位置合わせ
は、ユーザからの入力無しに、位置合わせコントローラ
８０によって自動的に行うことが可能である。
ように、予備的な３Ｄコンピュータモデル３９０の、入
力画像の位置合わせされた他のセットとへの位置合わせ
は、ユーザからの入力無しに、位置合わせコントローラ
８０によって自動的に行うことが可能である。
【００９２】第２の実施形態の構成要素及びそれによる
処理動作は、位置合わせコントローラ８０の構成要素
と、これら構成要素によって実行される処理動作を除い
て第１の実施形態と同一である。従って、以下ではこれ
ら相違についてのみ説明する。
処理動作は、位置合わせコントローラ８０の構成要素
と、これら構成要素によって実行される処理動作を除い
て第１の実施形態と同一である。従って、以下ではこれ
ら相違についてのみ説明する。
【００９３】図１１は、第３の実施形態における位置合
わせコントローラ７０の機能要素を示す。図１１を参照
して、第２の実施形態の位置合わせコントローラ８０
は、第３の実施形態と同様、３Ｄモデルポジショナ８
２、３Ｄモデルプロジェクタ８４、ローテータ８６及び
トランスレータ８８を有する。しかし、それに加えて位
置合わせコントローラ８０は制約計算機(constraint ca
lculator)９０及び、誤差計算機(error calculator)９
２を含む。これらの処理機能については後で詳述する。
わせコントローラ７０の機能要素を示す。図１１を参照
して、第２の実施形態の位置合わせコントローラ８０
は、第３の実施形態と同様、３Ｄモデルポジショナ８
２、３Ｄモデルプロジェクタ８４、ローテータ８６及び
トランスレータ８８を有する。しかし、それに加えて位
置合わせコントローラ８０は制約計算機(constraint ca
lculator)９０及び、誤差計算機(error calculator)９
２を含む。これらの処理機能については後で詳述する。
【００９４】図１２は、第２の実施形態において、予備
的な３Ｄコンピュータモデル３９０をカメラ計算機５０
が生成した入力画像の位置合わせされたセットの各々及
び、ステップＳ６−１０において予備的な３Ｄコンピュ
ータモデル３９０の生成に用いられなかった入力画像の
位置合わせされたセットへ位置合わせするために、ステ
ップＳ６−１２で位置合わせコントローラ８０の構成要
素によって実行される処理動作を示す。
的な３Ｄコンピュータモデル３９０をカメラ計算機５０
が生成した入力画像の位置合わせされたセットの各々及
び、ステップＳ６−１０において予備的な３Ｄコンピュ
ータモデル３９０の生成に用いられなかった入力画像の
位置合わせされたセットへ位置合わせするために、ステ
ップＳ６−１２で位置合わせコントローラ８０の構成要
素によって実行される処理動作を示す。
【００９５】図１２を参照して、ステップＳ１２−２
で、３Ｄポジショナ８２は予備的な３Ｄコンピュータモ
デル３９０を、このコンピュータモデル３９０を位置合
わせすべき、次の、入力画像の位置合わせされたセット
（ステップＳ１２−２が最初に実行される際には最初の
セット）と同じ座標系に配置する。より具体的には、第
１の実施形態と同様、３Ｄモデルポジショナ８２は、予
備的な３Ｄコンピュータモデル３９０を、その底面中心
が写真マット３４内のキャリブレーションパターンの中
心と一致するように、その座標系に配置する。このよう
にして、上述した理由により、予備的な３Ｄコンピュー
タモデル３９０の位置は、現在検討中の、入力画像の位
置合わせされたセットに対してほぼ正しくなるが、この
段階においてその回転角は不定である。
で、３Ｄポジショナ８２は予備的な３Ｄコンピュータモ
デル３９０を、このコンピュータモデル３９０を位置合
わせすべき、次の、入力画像の位置合わせされたセット
（ステップＳ１２−２が最初に実行される際には最初の
セット）と同じ座標系に配置する。より具体的には、第
１の実施形態と同様、３Ｄモデルポジショナ８２は、予
備的な３Ｄコンピュータモデル３９０を、その底面中心
が写真マット３４内のキャリブレーションパターンの中
心と一致するように、その座標系に配置する。このよう
にして、上述した理由により、予備的な３Ｄコンピュー
タモデル３９０の位置は、現在検討中の、入力画像の位
置合わせされたセットに対してほぼ正しくなるが、この
段階においてその回転角は不定である。
【００９６】ステップＳ１２−４で、誤差計算機９２は
予備的な３Ｄコンピュータモデル３９０が引き続く処理
において変換可能な限度を計算する。この限度は、上述
したように、予備的な３Ｄコンピュータモデル３９０の
位置がステップＳ１２−２における処理の結果大まかに
修正されているために課され、従ってこの限度は引き続
く３Ｄコンピュータモデル３９０の変換に設定可能であ
り、それによって３Ｄコンピュータモデル３９０と現在
選択されている入力画像の位置合わせされたセットとの
位置合わせのための処理時間を短縮する。
予備的な３Ｄコンピュータモデル３９０が引き続く処理
において変換可能な限度を計算する。この限度は、上述
したように、予備的な３Ｄコンピュータモデル３９０の
位置がステップＳ１２−２における処理の結果大まかに
修正されているために課され、従ってこの限度は引き続
く３Ｄコンピュータモデル３９０の変換に設定可能であ
り、それによって３Ｄコンピュータモデル３９０と現在
選択されている入力画像の位置合わせされたセットとの
位置合わせのための処理時間を短縮する。
【００９７】本実施形態において、誤差計算機９２はス
テップＳ１２−４で、３Ｄコンピュータモデル３９０の
大きさの１０％を変換制限として設定する。ここで、大
きさは３Ｄコンピュータモデル３９０の最大固有値の平
方根として計算される。引き続く処理において、予備的
な３Ｄコンピュータモデル３９０は、その時点における
位置からいかなる方向にもこの量を超えて移動すること
は許されない。
テップＳ１２−４で、３Ｄコンピュータモデル３９０の
大きさの１０％を変換制限として設定する。ここで、大
きさは３Ｄコンピュータモデル３９０の最大固有値の平
方根として計算される。引き続く処理において、予備的
な３Ｄコンピュータモデル３９０は、その時点における
位置からいかなる方向にもこの量を超えて移動すること
は許されない。
【００９８】ステップＳ１２−６において、位置合わせ
コントローラ８０は処理が反復実行された回数を示すカ
ウンタの値を０にセットする。ステップＳ１２−８にお
いて、３Ｄモデルプロジェクタ８４は予備的な３Ｄコン
ピュータモデル３９０（ステップＳ１２−２において配
置された位置及び方向を有する）を、現在検討中のセッ
ト内の位置合わせされた入力画像の各々に投影する。
コントローラ８０は処理が反復実行された回数を示すカ
ウンタの値を０にセットする。ステップＳ１２−８にお
いて、３Ｄモデルプロジェクタ８４は予備的な３Ｄコン
ピュータモデル３９０（ステップＳ１２−２において配
置された位置及び方向を有する）を、現在検討中のセッ
ト内の位置合わせされた入力画像の各々に投影する。
【００９９】ステップＳ１２−１０において、誤差計算
機９２はセット内の各入力画像について、（ステップＳ
１２−８で生成された）３Ｄコンピュータモデル３９０
の投影されたシルエットを、ステップＳ６−８における
画像データ分割器６０による処理結果として入力画像中
に存在するシルエットと比較するための処理を実行す
る。より具体的には、本実施形態において、誤差計算機
９２は、入力画像の各画素について、シルエットの両方
ではなく一方の内部に存在する画素は１に、それ以外
（すなわち、画素が両方のシルエットの内部にある場合
もしくは両方のシルエットの外部にある場合）の画素は
０に設定することにより、セット内の各入力画像につい
て差分画像(difference image)を生成する。このように
して、各差分画像内の画素は、ステップＳ１２−８で生
成されたシルエットと、ステップＳ６−８で生成された
シルエットとが揃っていない部分では値１に設定され
る。従って、各差分画像中１の画素値は、予備的な３Ｄ
コンピュータモデルが入力画像中の対象物体２１０のシ
ルエットと食い違う位置を規定する。
機９２はセット内の各入力画像について、（ステップＳ
１２−８で生成された）３Ｄコンピュータモデル３９０
の投影されたシルエットを、ステップＳ６−８における
画像データ分割器６０による処理結果として入力画像中
に存在するシルエットと比較するための処理を実行す
る。より具体的には、本実施形態において、誤差計算機
９２は、入力画像の各画素について、シルエットの両方
ではなく一方の内部に存在する画素は１に、それ以外
（すなわち、画素が両方のシルエットの内部にある場合
もしくは両方のシルエットの外部にある場合）の画素は
０に設定することにより、セット内の各入力画像につい
て差分画像(difference image)を生成する。このように
して、各差分画像内の画素は、ステップＳ１２−８で生
成されたシルエットと、ステップＳ６−８で生成された
シルエットとが揃っていない部分では値１に設定され
る。従って、各差分画像中１の画素値は、予備的な３Ｄ
コンピュータモデルが入力画像中の対象物体２１０のシ
ルエットと食い違う位置を規定する。
【０１００】ステップＳ１２−１２で、予備的な３Ｄコ
ンピュータモデル３９０の、現時点での最良の回転角を
表す変数Ｒbestの値が、ステップＳ１２−２で設定され
た、予備的な３Ｄコンピュータモデル３９０の回転角と
なるように設定される。同様に、予備的な３Ｄコンピュ
ータモデル３９０の現時点での最良の位置（変換）を表
すＴbestの値が、ステップＳ１２−２で設定された値に
なるよう設定される。予備的な３Ｄコンピュータモデル
３９０と現在検討中のセット内の位置合わせされた入力
画像との位置合わせにおける誤差を表す変数Ｅbestの値
は、ステップＳ１２−１０で生成された全ての差分画像
における値１の画素の合計となるように設定される。
ンピュータモデル３９０の、現時点での最良の回転角を
表す変数Ｒbestの値が、ステップＳ１２−２で設定され
た、予備的な３Ｄコンピュータモデル３９０の回転角と
なるように設定される。同様に、予備的な３Ｄコンピュ
ータモデル３９０の現時点での最良の位置（変換）を表
すＴbestの値が、ステップＳ１２−２で設定された値に
なるよう設定される。予備的な３Ｄコンピュータモデル
３９０と現在検討中のセット内の位置合わせされた入力
画像との位置合わせにおける誤差を表す変数Ｅbestの値
は、ステップＳ１２−１０で生成された全ての差分画像
における値１の画素の合計となるように設定される。
【０１０１】これから説明するように、引き続く処理に
おいて、位置合わせコントローラ８０は、Ｅbestの値を
削減するように、予備的な３Ｄコンピュータモデル３９
０を回転及び変換する処理を実行する。
おいて、位置合わせコントローラ８０は、Ｅbestの値を
削減するように、予備的な３Ｄコンピュータモデル３９
０を回転及び変換する処理を実行する。
【０１０２】より具体的には、ステップＳ１２−１４で
は、ローテータ８６及びトランスレータ８８は、ステッ
プＳ１２−４で設定された変換制限及び任意の回転制限
（ステップＳ１２−１４の第１の所定回数の反復に対し
ては回転制限は存在しないが、以下で説明するように、
第１の所定回数反復実行された後にこのような制限が導
入される）の範囲内で、予備的な３Ｄコンピュータモデ
ル３９０を無作為に回転及び変換する。
は、ローテータ８６及びトランスレータ８８は、ステッ
プＳ１２−４で設定された変換制限及び任意の回転制限
（ステップＳ１２−１４の第１の所定回数の反復に対し
ては回転制限は存在しないが、以下で説明するように、
第１の所定回数反復実行された後にこのような制限が導
入される）の範囲内で、予備的な３Ｄコンピュータモデ
ル３９０を無作為に回転及び変換する。
【０１０３】ステップＳ１２−１６で、３Ｄモデルプロ
ジェクタ８４は予備的な３Ｄコンピュータモデル３９０
を、ステップＳ１２−１４での回転及び変換に引き続
き、現在選択されているセット内の各入力画像へ投影す
る。
ジェクタ８４は予備的な３Ｄコンピュータモデル３９０
を、ステップＳ１２−１４での回転及び変換に引き続
き、現在選択されているセット内の各入力画像へ投影す
る。
【０１０４】ステップＳ１２−１８で、誤差計算機９２
は、投影された３Ｄコンピュータモデル３９０のシルエ
ットと、画像データ分割器６０が生成したシルエットと
を比較するためにセット内の各入力画像を処理し、これ
らシルエットから差分画像を生成する。ステップＳ１２
−１８における処理はステップＳ１２−１０での処理と
同一であるため、ここで再度の説明は行わない。
は、投影された３Ｄコンピュータモデル３９０のシルエ
ットと、画像データ分割器６０が生成したシルエットと
を比較するためにセット内の各入力画像を処理し、これ
らシルエットから差分画像を生成する。ステップＳ１２
−１８における処理はステップＳ１２−１０での処理と
同一であるため、ここで再度の説明は行わない。
【０１０５】ステップＳ１２−２０で、誤差計算機９２
は予備的な３Ｄコンピュータモデル３９０の現在の回転
角及び変換（すなわち、ステップＳ１２−１４で設定さ
れる回転及び変換）に対する位置合わせ誤差を計算す
る。より具体的には、ステップＳ１２−１２と同様に、
誤差計算機９２はステップＳ１２−１８で生成された差
分画像の全てについて、値１の画素の合計数として誤差
を計算する。
は予備的な３Ｄコンピュータモデル３９０の現在の回転
角及び変換（すなわち、ステップＳ１２−１４で設定さ
れる回転及び変換）に対する位置合わせ誤差を計算す
る。より具体的には、ステップＳ１２−１２と同様に、
誤差計算機９２はステップＳ１２−１８で生成された差
分画像の全てについて、値１の画素の合計数として誤差
を計算する。
【０１０６】ステップＳ１２−２２で、誤差計算機９２
はステップＳ１２−２０で求められた現在の誤差が格納
された最良誤差Ｅbest未満であるか否かを判定する。ス
テップＳ１２−２２において、現在の誤差がＥbest未満
であると判断された場合には、ステップＳ１２−２４
で、現在の回転角がＲbestに、現在の位置がＴ bestに、
現在の誤差がＥbestにそれぞれ設定される。
はステップＳ１２−２０で求められた現在の誤差が格納
された最良誤差Ｅbest未満であるか否かを判定する。ス
テップＳ１２−２２において、現在の誤差がＥbest未満
であると判断された場合には、ステップＳ１２−２４
で、現在の回転角がＲbestに、現在の位置がＴ bestに、
現在の誤差がＥbestにそれぞれ設定される。
【０１０７】一方、ステップＳ１２−２２において、現
在の誤差がＥbest以上であると判断された場合、ステッ
プＳ１２−２４は省略される。ステップＳ１２−２６
で、反復処理回数を示すカウンタの値を１増加させる。
ステップＳ１２−２８で、所定値Ｎ１（本実施形態では
５０００に設定される）と等しいか判断するため、カウ
ンタ値が読み出される。
在の誤差がＥbest以上であると判断された場合、ステッ
プＳ１２−２４は省略される。ステップＳ１２−２６
で、反復処理回数を示すカウンタの値を１増加させる。
ステップＳ１２−２８で、所定値Ｎ１（本実施形態では
５０００に設定される）と等しいか判断するため、カウ
ンタ値が読み出される。
【０１０８】ステップＳ１２−２８において、カウンタ
値がＮ１に等しいと判断された場合には、ステップＳ１
２−３０で、制限計算機９０がそれ以降ステップＳ１２
−１４でなされる予備的な３Ｄコンピュータモデル３９
０の回転に対して回転制限を設定する。より具体的に
は、本実施形態において、制限計算機９０は、引き続く
反復処理においてステップＳ１２−１４が実行された際
に、予備的な３Ｄコンピュータモデル３９０がその時点
での回転角から±１０°の範囲内でのみ回転可能なよう
に、１０°の回転制限を設定する。このように、ステッ
プＳ１２−４からＳ１２−３２の反復が十分な回数実行
され、３Ｄコンピュータモデル３９０の回転角がおおよ
そ正確と思われる状態になると、回転制限が導入され
る。従って、３Ｄコンピュータモデル３９０のその後の
反復処理における回転が制限され、位置合わせ精度を向
上しないであろうステップＳ１２−１４での大きく無作
為な回転を防止するため、精度が向上する。
値がＮ１に等しいと判断された場合には、ステップＳ１
２−３０で、制限計算機９０がそれ以降ステップＳ１２
−１４でなされる予備的な３Ｄコンピュータモデル３９
０の回転に対して回転制限を設定する。より具体的に
は、本実施形態において、制限計算機９０は、引き続く
反復処理においてステップＳ１２−１４が実行された際
に、予備的な３Ｄコンピュータモデル３９０がその時点
での回転角から±１０°の範囲内でのみ回転可能なよう
に、１０°の回転制限を設定する。このように、ステッ
プＳ１２−４からＳ１２−３２の反復が十分な回数実行
され、３Ｄコンピュータモデル３９０の回転角がおおよ
そ正確と思われる状態になると、回転制限が導入され
る。従って、３Ｄコンピュータモデル３９０のその後の
反復処理における回転が制限され、位置合わせ精度を向
上しないであろうステップＳ１２−１４での大きく無作
為な回転を防止するため、精度が向上する。
【０１０９】一方、ステップＳ１２−２８において、カ
ウンタ値が所定値Ｎ１未満であるかＮ１より大きいと判
断された場合、ステップＳ１２−３０は省略される。ス
テップＳ１２−３２で、第２の所定値Ｎ２（本実施形態
では１００００に設定される）未満であるか判断するた
め、カウンタ値が読み出される。ステップＳ１２−１４
からＳ１２−３２は、ステップＳ１２−３２においてこ
れら処理の反復回数が所定の閾値Ｎ２に達したと判定さ
れるまで、予備的な３Ｄコンピュータモデル３９０を無
作為に回転及び変換し、入力画像の位置合わせされたセ
ットとの位置合わせ結果を試すために繰り返される。
ウンタ値が所定値Ｎ１未満であるかＮ１より大きいと判
断された場合、ステップＳ１２−３０は省略される。ス
テップＳ１２−３２で、第２の所定値Ｎ２（本実施形態
では１００００に設定される）未満であるか判断するた
め、カウンタ値が読み出される。ステップＳ１２−１４
からＳ１２−３２は、ステップＳ１２−３２においてこ
れら処理の反復回数が所定の閾値Ｎ２に達したと判定さ
れるまで、予備的な３Ｄコンピュータモデル３９０を無
作為に回転及び変換し、入力画像の位置合わせされたセ
ットとの位置合わせ結果を試すために繰り返される。
【０１１０】ステップＳ１２−３４で、格納されている
値Ｒbest及びＴbestが読み出される。これら値はステッ
プＳ１２−１４の全ての反復において生成され、予備的
な３Ｄコンピュータモデル３９０と現在検討中の入力画
像の位置合わせされたセットとの最良の位置合わせを与
える位置及び向きを表す。
値Ｒbest及びＴbestが読み出される。これら値はステッ
プＳ１２−１４の全ての反復において生成され、予備的
な３Ｄコンピュータモデル３９０と現在検討中の入力画
像の位置合わせされたセットとの最良の位置合わせを与
える位置及び向きを表す。
【０１１１】（変更及び変形物）請求範囲の範囲内で、
上述の実施形態に対して多くの変更及び変形を行うこと
が可能である。例えば、上述の実施形態において、入力
画像データは対象物体２１０の”静止”画像から構成さ
れている。しかし、入力画像はビデオカメラからの画像
データのフレームから構成されていても良い。
上述の実施形態に対して多くの変更及び変形を行うこと
が可能である。例えば、上述の実施形態において、入力
画像データは対象物体２１０の”静止”画像から構成さ
れている。しかし、入力画像はビデオカメラからの画像
データのフレームから構成されていても良い。
【０１１２】上述の実施形態において、ステップＳ６−
４で、カメラの固有パラメータを規定するユーザ入力デ
ータが格納される。しかし、代わりに、カメラパラメー
タの一部又は全部について、デフォルト値を仮定しても
よいし、例えばHartleyによる、”未校正視点からのユ
ークリッド再構成(Euclidean Reconstruction From Unc
alibrated Views)”, Applications of Invariance in
Computer Vision, Mundy, Zisserman and Forsyth eds,
237-256ページ, Azores 1993に記載されるような従来
手法により固有パラメータ値を計算するための処理を実
行しても良い。
４で、カメラの固有パラメータを規定するユーザ入力デ
ータが格納される。しかし、代わりに、カメラパラメー
タの一部又は全部について、デフォルト値を仮定しても
よいし、例えばHartleyによる、”未校正視点からのユ
ークリッド再構成(Euclidean Reconstruction From Unc
alibrated Views)”, Applications of Invariance in
Computer Vision, Mundy, Zisserman and Forsyth eds,
237-256ページ, Azores 1993に記載されるような従来
手法により固有パラメータ値を計算するための処理を実
行しても良い。
【０１１３】上述の実施形態において、ステップＳ６−
４で格納される入力画像の第２のセットは複数の画像３
８０、３８２、３８４を含んでいる。しかし、第２のセ
ットは１つの画像のみを含んでも良い。この場合、この
単独の画像は写真マットなしに対象物体単独で記録され
ても良く、ステップＳ６−６で当該単独の画像の撮像位
置及び向きを計算するための処理を実行する必要はな
い。
４で格納される入力画像の第２のセットは複数の画像３
８０、３８２、３８４を含んでいる。しかし、第２のセ
ットは１つの画像のみを含んでも良い。この場合、この
単独の画像は写真マットなしに対象物体単独で記録され
ても良く、ステップＳ６−６で当該単独の画像の撮像位
置及び向きを計算するための処理を実行する必要はな
い。
【０１１４】上述の実施形態において、ステップＳ６−
４で格納される全ての入力画像が写真マット３４上の対
象物体２１０の画像から構成され、カメラ計算機５０に
よる処理は、各入力画像の位置及び方向がキャリブレー
ションパターンの基準位置及び方向に相対的に計算され
るように、画像中の写真マット上のキャリブレーション
パターンからの特徴部分と、キャリブレーションパター
ンを規定する、記憶されたデータとを合致させるための
処理からなっていた。しかし、この代わりに、カメラ計
算機５０は、入力画像の相対位置及び方向を求めるため
に、（画像と記憶されたパターンとの間の代わりに）画
像間のキャリブレーションパターンの特徴部分を合致さ
せるための処理を実行してもよい。例えば、ＰＣＴ出願
GB00/04469(WO-A-01/39124)の図５３及び５４に関して
記載されるような方法を用いることができる。代わり
に、ステップＳ６−４で格納される入力画像が、写真マ
ットなしの、対象物体２１０だけの画像から構成されて
も良く、またカメラ計算機５０はステップＳ６−６にお
いて、例えばEP-A-0898245に記載されるように、（キャ
リブレーションパターンの特徴部分を合致させるのでは
なく）対象物体２１０の特徴部分を合致させることによ
って入力画像の相対位置及び方向を計算するための処理
を実行しても良い。加えて、カメラ計算機５０はステッ
プＳ６−６において、（例えば異なる画像中の同一の特
徴部分の位置を特定するため、位置を指定してクリック
することにより）ユーザによって指示される、画像中の
合致する特徴を用いて入力画像の相対位置及び方向を計
算しても良い。
４で格納される全ての入力画像が写真マット３４上の対
象物体２１０の画像から構成され、カメラ計算機５０に
よる処理は、各入力画像の位置及び方向がキャリブレー
ションパターンの基準位置及び方向に相対的に計算され
るように、画像中の写真マット上のキャリブレーション
パターンからの特徴部分と、キャリブレーションパター
ンを規定する、記憶されたデータとを合致させるための
処理からなっていた。しかし、この代わりに、カメラ計
算機５０は、入力画像の相対位置及び方向を求めるため
に、（画像と記憶されたパターンとの間の代わりに）画
像間のキャリブレーションパターンの特徴部分を合致さ
せるための処理を実行してもよい。例えば、ＰＣＴ出願
GB00/04469(WO-A-01/39124)の図５３及び５４に関して
記載されるような方法を用いることができる。代わり
に、ステップＳ６−４で格納される入力画像が、写真マ
ットなしの、対象物体２１０だけの画像から構成されて
も良く、またカメラ計算機５０はステップＳ６−６にお
いて、例えばEP-A-0898245に記載されるように、（キャ
リブレーションパターンの特徴部分を合致させるのでは
なく）対象物体２１０の特徴部分を合致させることによ
って入力画像の相対位置及び方向を計算するための処理
を実行しても良い。加えて、カメラ計算機５０はステッ
プＳ６−６において、（例えば異なる画像中の同一の特
徴部分の位置を特定するため、位置を指定してクリック
することにより）ユーザによって指示される、画像中の
合致する特徴を用いて入力画像の相対位置及び方向を計
算しても良い。
【０１１５】もちろん、入力画像の位置及び向きを計算
するためにカメラ計算機５０がステップＳ６−６におい
て用いる方法が、入力画像の異なるセットについて異な
っていてもよい。
するためにカメラ計算機５０がステップＳ６−６におい
て用いる方法が、入力画像の異なるセットについて異な
っていてもよい。
【０１１６】上述の実施形態においては、サーフェスモ
デラ７０が、画像データ分割器６０によって生成された
シルエット３５０−３６６を用いて入力画像を処理する
ことで、対象物体２１０の予備的な３Ｄコンピュータモ
デル３９０を生成する。しかし、代わりにサーフェスモ
デラ７０は、他の処理手法を用いて入力画像から予備的
な３Ｄコンピュータモデルを生成しても良い。例えば、
EP-A-089245に記載される手法を用いることができる。
デラ７０が、画像データ分割器６０によって生成された
シルエット３５０−３６６を用いて入力画像を処理する
ことで、対象物体２１０の予備的な３Ｄコンピュータモ
デル３９０を生成する。しかし、代わりにサーフェスモ
デラ７０は、他の処理手法を用いて入力画像から予備的
な３Ｄコンピュータモデルを生成しても良い。例えば、
EP-A-089245に記載される手法を用いることができる。
【０１１７】上述の実施形態においては、サーフェスモ
デラ７０が、予備的な３Ｄコンピュータモデル３９０を
廃棄し、全ての位置合わせされた入力画像を用いて新し
い３Ｄコンピュータモデルを生成することにより、ステ
ップＳ６−１４で最終的な３Ｄコンピュータモデルを生
成している。しかし、代わりに、サーフェスモデラ７０
は他の方法で最終的な３Ｄコンピュータモデルを生成し
ても良い。例えば、サーフェスモデラ７０は予備的な３
Ｄコンピュータモデル３９０を維持し、ステップＳ６−
６でカメラ計算機５０が生成する、入力画像の他の位置
合わせされたセットの各々から追加の３Ｄコンピュータ
モデルを個別に生成してもよい（追加の３Ｄコンピュー
タモデルを個別に生成するための処理は、ステップＳ６
−１０で位置合わせされた入力画像の第１のセットから
予備的な３Ｄコンピュータモデルを生成するための処理
と同一である）。
デラ７０が、予備的な３Ｄコンピュータモデル３９０を
廃棄し、全ての位置合わせされた入力画像を用いて新し
い３Ｄコンピュータモデルを生成することにより、ステ
ップＳ６−１４で最終的な３Ｄコンピュータモデルを生
成している。しかし、代わりに、サーフェスモデラ７０
は他の方法で最終的な３Ｄコンピュータモデルを生成し
ても良い。例えば、サーフェスモデラ７０は予備的な３
Ｄコンピュータモデル３９０を維持し、ステップＳ６−
６でカメラ計算機５０が生成する、入力画像の他の位置
合わせされたセットの各々から追加の３Ｄコンピュータ
モデルを個別に生成してもよい（追加の３Ｄコンピュー
タモデルを個別に生成するための処理は、ステップＳ６
−１０で位置合わせされた入力画像の第１のセットから
予備的な３Ｄコンピュータモデルを生成するための処理
と同一である）。
【０１１８】入力画像の位置合わせされたセットの相対
的な位置及び向きはステップＳ６−１２で計算される。
このようにして、各３Ｄコンピュータモデルは本質的に
位置合わせされた入力画像のセットの１つに位置合わせ
されるため、対象物体の全ての３Ｄコンピュータモデル
の相対的な位置及び向きはステップＳ６−１２での処理
結果として得られる。従って、サーフェスモデラ７０は
最終的な３Ｄコンピュータモデルを、全ての３Ｄコンピ
ュータモデルの交差体積(volume intersection)を計算
することによって生成することができる。これは、周知
の方法により計算してもよいし、同時係属の日本特許出
願2002-169584号（当該出願の全内容は参照として本明
細書に組み込まれる）の第２の実施形態に記載される方
法を用いて計算してもよい。
的な位置及び向きはステップＳ６−１２で計算される。
このようにして、各３Ｄコンピュータモデルは本質的に
位置合わせされた入力画像のセットの１つに位置合わせ
されるため、対象物体の全ての３Ｄコンピュータモデル
の相対的な位置及び向きはステップＳ６−１２での処理
結果として得られる。従って、サーフェスモデラ７０は
最終的な３Ｄコンピュータモデルを、全ての３Ｄコンピ
ュータモデルの交差体積(volume intersection)を計算
することによって生成することができる。これは、周知
の方法により計算してもよいし、同時係属の日本特許出
願2002-169584号（当該出願の全内容は参照として本明
細書に組み込まれる）の第２の実施形態に記載される方
法を用いて計算してもよい。
【０１１９】上述の実施形態においては、３Ｄコンピュ
ータモデルのシルエットを示す画像５１０、５２０及び
５３０（図１０）が、直交する視方向から（又は、入力
画像から選択可能な範囲で直交に近い視方向から）生成
される。しかし、シルエットを示す画像５１０、５２０
及び５３０は、直交しない視方向から生成することもで
きる。
ータモデルのシルエットを示す画像５１０、５２０及び
５３０（図１０）が、直交する視方向から（又は、入力
画像から選択可能な範囲で直交に近い視方向から）生成
される。しかし、シルエットを示す画像５１０、５２０
及び５３０は、直交しない視方向から生成することもで
きる。
【０１２０】上述の第１の実施形態において、ステップ
Ｓ９−８で、ユーザは、入力画像が位置合わせされてい
る座標系に対して相対的に予備的な３Ｄコンピュータモ
デル３９０を回転及び変換する。同様に、第２の実施形
態のステップＳ１２−１４において、予備的な３Ｄコン
ピュータモデル３９０は入力画像の位置合わせされたセ
ットの座標系内部で回転及び変換される。しかし、代わ
りに、入力画像の位置合わせされたセットの座標系を、
予備的な３Ｄコンピュータモデル３９０に相対的に変換
及び回転しても同じ効果が得られる。
Ｓ９−８で、ユーザは、入力画像が位置合わせされてい
る座標系に対して相対的に予備的な３Ｄコンピュータモ
デル３９０を回転及び変換する。同様に、第２の実施形
態のステップＳ１２−１４において、予備的な３Ｄコン
ピュータモデル３９０は入力画像の位置合わせされたセ
ットの座標系内部で回転及び変換される。しかし、代わ
りに、入力画像の位置合わせされたセットの座標系を、
予備的な３Ｄコンピュータモデル３９０に相対的に変換
及び回転しても同じ効果が得られる。
【０１２１】上述の実施形態において、処理はプログラ
ム命令によって規定される処理ルーチンを用いるコンピ
ュータによって実行される。しかしながら、処理の一部
又は全部をハードウェアを用いて実行することももちろ
ん可能である。
ム命令によって規定される処理ルーチンを用いるコンピ
ュータによって実行される。しかしながら、処理の一部
又は全部をハードウェアを用いて実行することももちろ
ん可能である。
【図１】本発明の第１の実施形態の構成要素を、処理装
置の構成要素がプログラム命令によってプログラムされ
た際に構成されると考えられる概念的な機能処理ユニッ
トとともに模式的に示す図である。
置の構成要素がプログラム命令によってプログラムされ
た際に構成されると考えられる概念的な機能処理ユニッ
トとともに模式的に示す図である。
【図２】３Ｄコンピュータモデルを生成する対象物体の
画像の第１のセットの記録を説明する図である。
画像の第１のセットの記録を説明する図である。
【図３】図１の処理装置に入力される、第１のセット内
の対象物体の画像の例を説明する図である。
の対象物体の画像の例を説明する図である。
【図４】対象物体の画像の第２のセットの記録を説明す
る図である。
る図である。
【図５】図１の処理装置に入力される、第２のセット内
の対象物体の画像の例を説明する図である。
の対象物体の画像の例を説明する図である。
【図６】図１の処置装置によって入力データを処理する
ために実行される処理動作を示す図である。
ために実行される処理動作を示す図である。
【図７】図６のステップＳ６−６及びＳ６−８で、入力
画像の第１のセットに対して実行される処理の結果を説
明する図である。
画像の第１のセットに対して実行される処理の結果を説
明する図である。
【図８】ステップＳ６−１０の処理の結果として生成さ
れる、対象物体の表面形状を表すポリゴンメッシュから
なる３Ｄコンピュータモデルの例を示す図である。
れる、対象物体の表面形状を表すポリゴンメッシュから
なる３Ｄコンピュータモデルの例を示す図である。
【図９】ステップＳ６−１０において生成される３Ｄコ
ンピュータモデルを、別のセット内の入力画像と位置合
わせするため、第１の実施形態におけるステップＳ６−
１２で実行される処理動作を示す図である。
ンピュータモデルを、別のセット内の入力画像と位置合
わせするため、第１の実施形態におけるステップＳ６−
１２で実行される処理動作を示す図である。
【図１０】第１の実施形態においてステップＳ９−６及
びＳ９−１０でユーザに表示される画像を説明する図で
ある。
びＳ９−１０でユーザに表示される画像を説明する図で
ある。
【図１１】第２の実施形態における処理装置から位置合
わせコントローラの機能構成要素を示す図である。
わせコントローラの機能構成要素を示す図である。
【図１２ａ】
【図１２ｂ】
【図１２ｃ】ステップＳ６−１０で生成された３Ｄコン
ピュータモデルを、他のセット内の入力画像と位置合わ
せするため、第２の実施形態においてステップＳ６−１
２で実行される処理動作を示す図である。
ピュータモデルを、他のセット内の入力画像と位置合わ
せするため、第２の実施形態においてステップＳ６−１
２で実行される処理動作を示す図である。
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 アレキサンダー ラルフ リオンズ
イギリス国 アールジー12 ２エックスエ
イチ， バークシャー， ブラックネル,
ロンドン ロード， ザ ブラカンズ
（キヤノン リサーチ センター ヨーロ
ッパ リミテッド 内)
(72)発明者 アダム マイケル ボームバーグ
イギリス国 アールジー12 ２エックスエ
イチ， バークシャー， ブラックネル,
ロンドン ロード， ザ ブラカンズ
（キヤノン リサーチ センター ヨーロ
ッパ リミテッド 内)
Ｆターム(参考） 5B046 AA00 EA09 FA18 GA01
5B057 BA02 BA19 CA08 CA12 CA16
CB08 CB13 CB17 CD14 DA11
DB03 DB09 DC16 DC32
Claims (39)
- 【請求項１】 対象物体の３次元コンピュータモデルを
規定するデータを生成するために、前記対象物体の複数
の画像を規定する画像データを処理する方法であって、 複数の、位置決めされた画像のセットであって、少なく
とも１つのセットが複数の画像を含み、他の各セットが
少なくとも１つの画像を含むとともに、２つ以上の画像
を含む各セット内の画像が、互いに位置合わせされた画
像取得位置及び向きを有する画像のセットを生成するた
め、前記複数の画像の少なくとも一部の画像取得位置及
び向きを計算するステップと、 複数の画像を有する第１の位置合わせされたセットから
少なくとも一部の画像を用いて、前記対象物体の予備的
な３次元コンピュータモデルを生成するステップと、 前記予備的な３次元コンピュータモデルを前記第１のセ
ット以外の位置決めされたセットの各々と位置合わせす
ることによって、前記複数の位置決めされた画像のセッ
トの全てを位置合わせするステップであり、前記各セッ
トとの位置合わせが、前記予備的な３次元コンピュータ
モデルを前記セット内の少なくとも１つの画像に投影す
ることによって実行されるステップと、 前記異なるセットの前記計算された位置合わせを用い
て、前記対象物体の正確な３次元コンピュータモデルを
生成するステップを有することを特徴とする方法。 - 【請求項２】 少なくとも１つのセットにおける前記複
数の画像の画像取得位置及び向きが、予め定められたキ
ャリブレーションパターンに関して計算されることを特
徴とする請求項１記載の方法。 - 【請求項３】 少なくとも１つのセットにおける前記複
数の画像の画像取得位置及び向きが、異なる画像におい
て合致する特徴の位置に基づいて相互に計算されること
を特徴とする請求項１又は請求項２記載の方法。 - 【請求項４】 少なくとも１つのセットにおける前記複
数の画像の画像取得位置及び向きが、ユーザに指定され
た画像中の特徴に基づいて計算されることを特徴とする
請求項１乃至請求項３のいずれか１項に記載の方法。 - 【請求項５】 少なくとも１つのセットにおける前記複
数の画像の画像取得位置及び向きが、異なる画像におけ
る特徴を検出するために前記複数の画像を処理し、当該
検出された特徴に基づいて相対的な画像取得位置及び向
きを計算することによって計算されることを特徴とする
請求項１乃至請求項４のいずれか１項に記載の方法。 - 【請求項６】 前記予備的な３次元コンピュータモデル
と、前記位置合わせされた画像のセットの各々との位置
合わせを行うステップが、 前記予備的な３次元コンピュータモデルを前記セットの
少なくとも１つの画像へ反復的に投影するステップと、
前記予備的な３次元コンピュータモデルと前記位置合わ
せされた画像のセットの相対的な位置及び向きを変更す
るステップとを有することを特徴とする請求項１乃至請
求項５のいずれか１項に記載の方法。 - 【請求項７】 前記予備的な３次元コンピュータモデル
と、前記位置合わせされた画像のセットの各々との位置
合わせを行うステップが、 前記セット内の少なくとも１つの画像に前記予備的な３
次元コンピュータモデルを投影するステップと、 前記予備的な３次元コンピュータモデルが投影される各
画像において、前記対象物体の画像と関連して前記予備
的な３次元コンピュータモデルの投影を示す表示のため
の画像データを生成するステップと、 前記予備的な３次元コンピュータモデルと前記位置合わ
せされた画像のセットとの相対的な位置及び向きを、ユ
ーザによって入力された信号に従って変更するステップ
と、 前記予備的な３次元コンピュータモデルと前記位置合わ
せされた画像のセットとの相対的な位置及び向きが変更
されるに従って、前記画像データを表示用に更新するス
テップとを有することを特徴とする方法。 - 【請求項８】 前記表示のために生成される画像データ
が、前記予備的な３次元コンピュータモデルが投影され
た各画像における、撮像された対象物体のシルエットに
関連して、前記投影された予備的な３次元コンピュータ
モデルのシルエットを示す画像データを有することを特
徴とする請求項７記載の方法。 - 【請求項９】 前記予備的な３次元コンピュータモデル
と少なくとも１つの位置合わせされた画像のセットとの
位置合わせを行うステップが、 前記予備的な３次元コンピュータモデル及び前記位置合
わせされた画像のセットの少なくとも１つを変換及び回
転させるステップであって、 異なる変換及び回転について、 −前記予備的な３次元コンピュータモデルを前記セット
内の少なくとも１つの画像へ投影するステップと、 −前記予備的な３次元コンピュータモデルの前記投影
と、前記対象物体の画像データとを、前記３次元コンピ
ュータモデルが投影される画像の各々について比較し、
それらの位置合わせ誤差を計算するステップとを有する
ことを特徴とする請求項１乃至請求項８のいずれか１項
に記載の方法。 - 【請求項１０】 前記投影された予備的な３次元コンピ
ュータモデルのシルエットと、前記対象物体のシルエッ
トとが、前記予備的な３次元コンピュータモデルが投影
された各画像において比較され、前記位置合わせ誤差が
前記シルエットの重ならない部分の大きさに基づいて計
算されることを特徴とする請求項９記載の方法。 - 【請求項１１】 前記正確な３次元コンピュータモデル
が、前記対象物体の少なくとも１つの他の３次元コンピ
ュータモデルを生成し、前記他の３次元コンピュータモ
デルを前記予備的な３次元コンピュータモデルとを合成
することによって生成されることを特徴とする請求項１
乃至請求項１０のいずれか１項に記載の方法。 - 【請求項１２】 対象物体の３次元コンピュータモデル
を生成する方法であって、 前記対象物体及びキャリブレーションパターンの画像の
第１セットを、異なる撮像位置及び方向から記録するス
テップであり、前記第１のセットにおいて前記対象物体
及びキャリブレーションパターンは第１の相対位置及び
向きを有し、 前記対象物体及びキャリブレーションパターンの前記相
対位置及び向きを第２の相対位置及び向きに変更するス
テップと、 前記対象物体及びキャリブレーションパターンの少なく
とも１つの別の画像を含む画像の第２のセットを記録す
るステップであり、前記対象物体及びキャリブレーショ
ンパターンは前記第２のセット内の各画像に対し、第２
の相対位置及び向きを有し、 前記画像内の前記キャリブレーションパターンの特徴の
位置に基づいて前記キャリブレーションパターンに対す
る前記撮像位置及び方向を計算するため、前記第１のセ
ット内の画像を規定する画像データを処理するステップ
と、 前記画像の第２のセットが２つ以上の画像を有する場合
に、前記画像内の前記キャリブレーションパターンの特
徴の位置に基づいて前記キャリブレーションパターンに
対する前記撮像位置及び方向を計算するため、前記第２
のセット内の画像を規定する画像データを処理するステ
ップと、 前記第１のセット内の画像に関連した位置及び向きを有
する前記対象物体の予備的な３次元コンピュータモデル
を窺知するデータを生成するため、少なくとも一部の画
像を規定する画像データと、前記計算された撮像位置及
び方向を処理するステップと、 前記予備的な３次元コンピュータモデルを、前記画像の
第２のセット内の少なくとも１つの画像内の前記対象物
体の画像とを実質的に揃える位置及び向きを調べるた
め、前記予備的な３次元コンピュータモデルと、前記第
２のセット内の画像の前記相対位置及び向きを変えるこ
とによって、前記第１のセット内の画像の前記撮像位置
及び向きと、前記第２のセット内の画像の撮像位置及び
向きとの関連を計算するステップと、 前記第１及び第２のセットからの画像を規定するデータ
と、その前記計算された相対位置及び向きを規定するデ
ータを処理し、前記対象物体の正確な３次元コンピュー
タモデルを規定するデータを生成するステップとを有す
ることを特徴とする方法。 - 【請求項１３】 異なる撮像位置及び方向から記録され
た、対象物体及びキャリブレーションパターンの画像の
第１のセットを規定するデータと、前記対象物体及びキ
ャリブレーションパターンの少なくとも１つの別の画像
を含む画像の第２のセットを規定するデータであり、前
記対象物体及びキャリブレーションパターンは、前記第
１のセット内の各画像について第１の相対位置及び向き
を、前記第２のセット内の各画像について第２の相対位
置及び向きをそれぞれ有するデータを処理することによ
って、前記対象物体の３次元コンピュータモデルを生成
する方法であって、 前記画像中の前記キャリブレーションパターンの特徴の
位置に基づいて、前記第１のセット内の画像の、前記キ
ャリブレーションパターンに関する撮像位置及び方向を
計算するため、前記第１のセット内の画像を規定する画
像データを処理するステップと、 前記画像の前記第２のセットが２以上の画像を含む場
合、その画像中の前記キャリブレーションパターンの特
徴の位置に基づいて、前記第２のセット内の画像の、前
記キャリブレーションパターンに関する撮像位置及び方
向を計算するため、前記第２のセット内の画像を規定す
る画像データを処理するステップと、 前記第１のセットの画像に関する位置及び向きを有す
る、前記対象物体の予備的な３次元コンピュータモデル
を規定するデータを生成するため、前記第１のセットの
少なくとも一部の画像を規定する画像データとその画像
の前記計算された撮像位置及び方向とを処理するステッ
プと、 前記予備的な３次元コンピュータモデルと、前記第２の
セット内の少なくとも１つの画像との相対位置及び向き
を、前記予備的な３次元コンピュータモデルが前記第２
のセット内の少なくとも１つの画像中の前記対象物体の
画像と実質的に揃う位置及び向き前記へ変更することに
より、前記第１のセット内の画像の撮像位置及び向き
と、前記第２のセット内の画像の撮像位置及び向きとの
間の関係を計算するステップと、 前記第１及び第２のセットからの画像を規定するデータ
と、計算されたこれら画像の相対的な撮像位置及び向き
とを処理し、前記対象物体の正確な３次元コンピュータ
モデルを規定するデータを規定するステップとを有する
ことを特徴とする方法。 - 【請求項１４】 前記対象物体の前記正確な３次元コン
ピュータモデルを搬送する信号を生成するステップを更
に有することを特徴とする請求項１乃至請求項１３のい
ずれか１項に記載の方法。 - 【請求項１５】 前記信号を直接又は間接的に記録する
ことによって、前記対象物体の前記正確な３次元コンピ
ュータモデルの記録を生成するステップを更に有するこ
とを特徴とする請求項１４記載の方法。 - 【請求項１６】 対象物体の３次元コンピュータモデル
を規定するデータを生成するために、前記対象物体の画
像を規定する画像データを処理する装置であって、 各々のセットが、位置合わせにおいて計算された撮像位
置及び方向を有する複数の画像もしくは、１つのみの画
像を含む複数の画像セットを生成するための、少なくと
も一部の画像の撮像位置及び方向を計算するため、対象
物体の複数の画像を規定する画像データを処理する画像
位置合わせ手段と、 第１の前記セット内の画像と位置合わせされた位置及び
向きを有する予備的な３次元コンピュータモデルを生成
する手段と、 前記画像の前記第１のセットの撮像位置及び方向を、画
像の他のセットの前記撮像位置及び方向と位置合わせす
る画像−モデル位置合わせ手段であって、 前記予備的な３次元コンピュータモデルを他の各セット
の少なくとも１つの画像に投影する手段と、 前記予備的な３次元コンピュータモデルと画像の個々の
セットの当大敵名位置及び向きを変更する手段と、 異なる画像セットについて判定された位置合わせに基づ
いて、前記対象物体の正確な３次元コンピュータモデル
を生成する手段からなる画像−モデル位置合わせ手段と
を有することを特徴とする装置。 - 【請求項１７】 前記画像位置合わせ手段は、所定のキ
ャリブレーションパターンに関して、各画像の前記撮像
位置及び向きを計算することによって、画像の位置合わ
せされたセットを生成するための画像の前記撮像位置及
び方向可能であることを特徴とする請求項１６記載の装
置。 - 【請求項１８】 前記画像位置合わせ手段が、前記画像
中の対応する特徴の位置に基づいて画像の位置合わせさ
れたセットを生成するため、前記画像の前記相対的な撮
像位置及び方向を計算可能なことを特徴とする請求項１
６又は請求項１７に記載の装置。 - 【請求項１９】 前記画像位置合わせ手段が、ユーザが
指定した、画像中の特徴に基づいて画像の位置合わせさ
れたセットを生成するため、前記画像の撮像位置及び方
向を計算可能であることを特徴とする請求項１６乃至請
求項１８のいずれか１項に記載の装置。 - 【請求項２０】 前記画像位置合わせ手段が、前記画像
中の特徴を検出し、前記検出した特徴に基づいて画像の
位置合わせされたセットを生成するための前記画像の相
対的な撮像位置及び方向を計算するために前記画像デー
タを処理可能であることを特徴とする請求項１６乃至請
求項１９のいずれか１項に記載の装置。 - 【請求項２１】 前記画像−モデル位置合わせ手段が、
前記予備的な３次元コンピュータモデルを画像の位置合
わせされたセット内の少なくとも１つへ投影し、前記予
備的な３次元コンピュータモデルと前記画像の位置合わ
せされたセットとの前記相対的な位置及び向きを変化さ
せる処理を反復的に実行可能であることを特徴とする請
求項１６乃至請求項２０のいずれか１項に記載の装置。 - 【請求項２２】 前記画像−モデル位置合わせ手段が、 前記予備的な３次元コンピュータモデルを画像の位置合
わせされたセット内の少なくとも１つの画像へ投影する
手段と、 前記予備的な３次元コンピュータモデルの前記投影を、
前記予備的な３次元コンピュータモデルが投影される各
画像中に前記対象物体と関連して示すための画像データ
を生成する画像生成手段と、 ユーザから入力される信号に従って、前記予備的な３次
元コンピュータモデルと前記画像の位置合わせされたセ
ットの前記相対的な位置及び向きを変更する手段とを有
し、 前記画像データ生成手段が、前記３次元コンピュータモ
デル及び前記画像の位置合わせされたセットの前記相対
的な位置及び向きの変更に応じて、表示用の更新された
画像データを生成するように構成されていることを特徴
とする請求項１６乃至請求項２１のいずれか１項に記載
の装置。 - 【請求項２３】 前記画像データ生成手段が、前記３次
元コンピュータモデルが投影された各画像内に、前記撮
像された対象物体のシルエットに関連して前記投影され
た３次元コンピュータモデルのシルエットを表示するた
めの画像データを生成するように動作可能であることを
特徴とする請求項２２記載の装置。 - 【請求項２４】 前記画像−モデル位置合わせ手段が、 前記予備的な３次元コンピュータモデルを前記画像の位
置合わせされたセット内の少なくとも１つの画像へ投影
する手段と、 前記３次元コンピュータモデルと前記対象物体の画像と
の位置ずれを計算するため、前記３次元コンピュータモ
デルが投影された各画像において、前記予備的な３次元
コンピュータモデルの前記投影と、前記対象物体の画像
とを比較する手段と、 前記予備的な３次元コンピュータモデルと前記画像の位
置合わせされたセットとの前記相対的な位置及び向きを
変更する手段と、 前記計算された位置ずれに基づいて、前記予備的な３次
元コンピュータモデルと前記画像の位置合わせされたセ
ットとの前記位置合わせ位置及び向きを決定する手段と
を有することを特徴とする請求項１６乃至請求項２３の
いずれか１項に記載の装置。 - 【請求項２５】 前記比較手段が、前記予備的な３次元
コンピュータモデルが投影された各画像内において、前
記投影された予備的な３次元コンピュータモデルのシル
エットと、前記対象物体の画像のシルエットとを比較
し、前記シルエットの両方ではなく、一方の内部に存在
する領域に基づいて前記位置ずれを計算するように動作
可能であることを特徴とする請求項２４記載の装置。 - 【請求項２６】 前記正確な３次元コンピュータモデル
を生成する手段が、前記対象物体の少なくとも１つの他
の３次元コンピュータモデルを生成し、前記正確な３次
元コンピュータモデルを生成するために当該他の３次元
コンピュータモデルの各々を前記予備的な３次元コンピ
ュータモデルとを合成するように動作可能であることを
特徴とする請求項１６乃至請求項２５のいずれか１項に
記載の装置。 - 【請求項２７】 異なる撮像位置及び方向から記録され
た、対象物体及びキャリブレーションパターンの画像の
第１のセットを規定するデータであり、前記対象物体及
び前記キャリブレーションパターンは前記第１のセット
内の各画像について第１の相対位置及び向きを有するデ
ータと、前記対象物体及びキャリブレーションパターン
の少なくとも１つの他の画像を有する画像の第２のセッ
トを規定するデータであり、前記対象物体及びキャリブ
レーションパターンが前記第２のセット内の各画像につ
いて第２の相対的な位置及び向きを有するデータとを処
理し、前記対象物体の３次元コンピュータモデルを生成
する装置であって、 画像を規定する画像データを処理し、前記画像中の前記
キャリブレーションパターンの位置に基づいて、前記キ
ャリブレーションパターンに関する画像の撮像位置及び
方向を計算する、撮像位置及び方向計算手段であり、当
該撮像位置及び方向計算手段が、 −前記第１のセット内の前記画像を規定する画像データ
を処理し、前記キャリブレーションパターンに関する当
該画像の撮影位置及び方向を計算し、 −画像の前記第２のセットが２つ以上の画像を有してい
る際には、前記第２のセット内の前記２つ以上の画像を
規定する画像データを処理し、当該画像の撮像位置及び
方向を前記キャリブレーションパターンに関して計算す
るように動作可能であり、 前記第１のセット内の画像に対して所定の位置及び向き
を有する前記対象物体の、予備的な３次元コンピュータ
モデルを規定するデータを生成するため、前記第１のセ
ット内の少なくとも一部の画像を規定する画像データ
と、前記計算された撮像位置及び方向を処理する手段
と、 前記予備的な３次元コンピュータモデル及び前記第２の
セット内の画像の撮像位置及び方向を、前記予備的な３
次元コンピュータモデルと前記第２のセット内の少なく
とも１つの画像内の前記対象物体の前記画像が実質的に
揃う相対的な位置及び向きに変更することにより、前記
第１のセット内の前記画像の撮像位置及び向きと、前記
第２のセット内の前記画像の撮像位置及び方向との間の
関係を計算する手段と、 前記画像の第１及び第２のセットからの画像を規定する
データと、当該画像の計算された相対位置及び向きを規
定するデータを処理することにより、前記対象物体の正
確な３次元コンピュータモデルを規定するデータを生成
する手段とを有することを特徴とする装置。 - 【請求項２８】 対象物体の３次元コンピュータモデル
を規定するデータを生成するため、画像を規定する画像
データを処理する方法であって、 異なる撮像位置及び方向から記録された、前記対象物体
の画像の第１のセットを規定するデータと、相対的な撮
像位置及び方向を規定するデータを保存するステップ
と、 少なくとも１つの前記対象物体の他の画像を含む、画像
の第２のセットを規定するデータを保存するステップ
と、 前記第１のセットの少なくとも一部を用い、前記対象物
体の予備的な３次元コンピュータモデルを生成するステ
ップと、 前記予備的な３次元コンピュータモデルを前記第２のセ
ットの少なくとも１つの画像へ投影するステップと、 前記第２のセットの少なくとも１つの画像に基づいて前
記対象物体の正確な３次元コンピュータモデルを生成す
るために、前記投影の結果を用いるステップとを有する
ことを特徴とする方法。 - 【請求項２９】 前記対象物体の正確な３次元コンピュ
ータモデルを生成するために前記投影の結果を用いるス
テップが、前記第２のセットの少なくとも１つの画像に
おける前記３次元コンピュータモデルの投影を変更する
ため、前記予備的な３次元コンピュータモデル及び前記
第２のセットの前記少なくとも１つの画像の相対的な位
置及び向きを調整するステップを含むことを特徴とする
請求項２８記載の方法。 - 【請求項３０】 前記予備的な３次元コンピュータモデ
ル及び前記第２のセットの前記少なくとも１つの画像の
前記相対位置及び向きが、ユーザによって入力される信
号に従って調整されることを特徴とする請求項２９記載
の方法。 - 【請求項３１】 前記ユーザが前記相対的な位置及び向
きを変更するのを補助するため、前記第２のセットの前
記少なくとも１つの画像において、前記予備的な３次元
コンピュータモデルの前記投影を前記対象物体の画像に
関連して示す、ユーザへ表示するための画像データが生
成されることを特徴とする請求項３０記載の方法。 - 【請求項３２】 対象物体の３次元コンピュータモデル
を規定するデータを生成するため、画像を規定する画像
データを処理する装置であって、 異なる撮像位置及び方向から記録された、前記対象物体
の画像の第１のセットを規定するデータと、相対的な撮
像位置及び方向を規定するデータを受信する手段と、 少なくとも１つの前記対象物体の他の画像を含む、画像
の第２のセットを規定するデータを受信する手段と、 前記第１のセットの少なくとも一部を用い、前記対象物
体の予備的な３次元コンピュータモデルを生成する手段
と、 前記予備的な３次元コンピュータモデルを前記第２のセ
ットの少なくとも１つの画像へ投影する手段と、 前記第２のセットの少なくとも１つの画像に基づいて前
記対象物体の正確な３次元コンピュータモデルを生成す
るために、前記投影の結果を用いる手段とを有すること
を特徴とする装置。 - 【請求項３３】 前記対象物体の正確な３次元コンピュ
ータモデルを生成するために前記投影の結果を用いる手
段が、前記第２のセットの少なくとも１つの画像におけ
る前記３次元コンピュータモデルの投影を変更するた
め、前記予備的な３次元コンピュータモデル及び前記第
２のセットの前記少なくとも１つの画像の相対的な位置
及び向きを調整するように動作可能であることを特徴と
する請求項３２記載の装置。 - 【請求項３４】 前記対象物体の正確な３次元コンピュ
ータモデルを生成するために、前記投影の結果を用いる
手段が、前記予備的な３次元コンピュータモデル及び前
記第２のセットの前記少なくとも１つの画像の前記相対
位置及び向きを、ユーザによって入力される信号に従っ
て調整するように動作可能であることを特徴とする請求
項３３記載の装置。 - 【請求項３５】 前記ユーザが前記相対的な位置及び向
きを変更するのを補助するため、前記第２のセットの前
記少なくとも１つの画像において、前記予備的な３次元
コンピュータモデルの前記投影を前記対象物体の画像に
関連して示す、ユーザへ表示するための画像データを生
成する手段を更に有することを特徴とする請求項３０記
載の方法。 - 【請求項３６】 プログラム可能な処理装置を、請求項
１乃至請求項１１、請求項１３及び請求項２８乃至請求
項３１の少なくとも１つに規定される方法の実行を可能
たらしめるための命令を格納する記憶媒体。 - 【請求項３７】 プログラム可能な処理装置を、請求項
１乃至請求項１１、請求項１３及び請求項２８乃至請求
項３１の少なくとも１つに規定される方法の実行を可能
たらしめるための命令を搬送する信号。 - 【請求項３８】 プログラム可能な処理装置が、請求項
１６乃至請求項２７及び請求項３２乃至請求項３５の少
なくとも１つに規定される装置として構成されるように
するための命令を格納する記憶媒体。 - 【請求項３９】 プログラム可能な処理装置が、請求項
１６乃至請求項２７及び請求項３２乃至請求項３５の少
なくとも１つに規定される装置として構成されるように
するための命令を搬送する信号。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GBGB0126526.3A GB0126526D0 (en) | 2001-11-05 | 2001-11-05 | Three-dimensional computer modelling |
| GB0126526.3 | 2001-11-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003196327A true JP2003196327A (ja) | 2003-07-11 |
Family
ID=9925166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002321777A Withdrawn JP2003196327A (ja) | 2001-11-05 | 2002-11-05 | ３次元コンピュータモデリング |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6954212B2 (ja) |
| EP (1) | EP1308902A3 (ja) |
| JP (1) | JP2003196327A (ja) |
| GB (1) | GB0126526D0 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022550639A (ja) * | 2019-12-20 | 2022-12-02 | 馭勢科技（浙江）有限公司 | ３次元再構成方法、装置、システム及び記憶媒体 |
Families Citing this family (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2381429B (en) * | 2001-09-28 | 2005-07-27 | Canon Europa Nv | 3D computer model processing apparatus |
| EP1347418A3 (en) | 2002-02-28 | 2005-11-23 | Canon Europa N.V. | Texture map editing |
| GB0224449D0 (en) * | 2002-10-21 | 2002-11-27 | Canon Europa Nv | Apparatus and method for generating texture maps for use in 3D computer graphics |
| EP1588327B1 (en) * | 2003-01-17 | 2018-09-26 | Koninklijke Philips N.V. | Full depth map acquisition |
| GB2398469B (en) * | 2003-02-12 | 2005-10-26 | Canon Europa Nv | Image processing apparatus |
| SE524818C2 (sv) * | 2003-02-13 | 2004-10-05 | Abb Ab | En metod och ett system för att programmera en industrirobot att förflytta sig relativt definierade positioner på ett objekt |
| GB2400288B (en) * | 2003-04-02 | 2005-12-28 | Canon Europa Nv | Generating texture maps for use in 3D computer graphics |
| GB0310504D0 (en) | 2003-05-07 | 2003-06-11 | Canon Europa Nv | Photographing apparatus,device and method for obtaining images to be used for creating three-dimensional model |
| GB0312516D0 (en) * | 2003-05-31 | 2003-07-09 | Koninkl Philips Electronics Nv | Object shape determination method and system therefor |
| GB2405776B (en) * | 2003-09-05 | 2008-04-02 | Canon Europa Nv | 3d computer surface model generation |
| GB2406252B (en) | 2003-09-18 | 2008-04-02 | Canon Europa Nv | Generation of texture maps for use in 3d computer graphics |
| US20050157931A1 (en) * | 2004-01-15 | 2005-07-21 | Delashmit Walter H.Jr. | Method and apparatus for developing synthetic three-dimensional models from imagery |
| WO2005101321A2 (en) * | 2004-04-05 | 2005-10-27 | Actuality Systems, Inc. | Processing three dimensional data for spatial three dimensional displays |
| GB2415344B (en) * | 2004-06-14 | 2010-10-06 | Canon Europa Nv | Texture data compression and rendering in 3D computer graphics |
| DE102004037464A1 (de) * | 2004-07-30 | 2006-03-23 | Heraeus Kulzer Gmbh | Anordnung zur Abbildung von Oberflächenstrukturen dreidimensionaler Objekte |
| US7657081B2 (en) | 2004-09-03 | 2010-02-02 | National Research Council Of Canada | Recursive 3D model optimization |
| US7542034B2 (en) | 2004-09-23 | 2009-06-02 | Conversion Works, Inc. | System and method for processing video images |
| US8655052B2 (en) * | 2007-01-26 | 2014-02-18 | Intellectual Discovery Co., Ltd. | Methodology for 3D scene reconstruction from 2D image sequences |
| US8274530B2 (en) | 2007-03-12 | 2012-09-25 | Conversion Works, Inc. | Systems and methods for filling occluded information for 2-D to 3-D conversion |
| JP2009129337A (ja) * | 2007-11-27 | 2009-06-11 | Hitachi Ltd | 三次元類似形状検索装置 |
| US8401276B1 (en) * | 2008-05-20 | 2013-03-19 | University Of Southern California | 3-D reconstruction and registration |
| US8326088B1 (en) * | 2009-05-26 | 2012-12-04 | The United States Of America As Represented By The Secretary Of The Air Force | Dynamic image registration |
| US9595108B2 (en) * | 2009-08-04 | 2017-03-14 | Eyecue Vision Technologies Ltd. | System and method for object extraction |
| KR20120089452A (ko) | 2009-08-04 | 2012-08-10 | 아이큐 비젼 테크놀로지즈 리미티드 | 물체 추출 시스템 및 방법 |
| US9160898B2 (en) | 2011-01-25 | 2015-10-13 | Autofuss | System and method for improved video motion control |
| US9600933B2 (en) | 2011-07-01 | 2017-03-21 | Intel Corporation | Mobile augmented reality system |
| US8749580B1 (en) * | 2011-08-12 | 2014-06-10 | Google Inc. | System and method of texturing a 3D model from video |
| CN104054023B (zh) * | 2011-11-16 | 2017-11-17 | 欧特法斯公司 | 用于与机器人控制的物体映射的3d投影的系统和方法 |
| US9832352B2 (en) | 2011-11-16 | 2017-11-28 | Autofuss | System and method for 3D projection mapping with robotically controlled objects |
| US9019268B1 (en) * | 2012-10-19 | 2015-04-28 | Google Inc. | Modification of a three-dimensional (3D) object data model based on a comparison of images and statistical information |
| US9269022B2 (en) | 2013-04-11 | 2016-02-23 | Digimarc Corporation | Methods for object recognition and related arrangements |
| US9489765B2 (en) | 2013-11-18 | 2016-11-08 | Nant Holdings Ip, Llc | Silhouette-based object and texture alignment, systems and methods |
| US9460366B2 (en) | 2014-02-19 | 2016-10-04 | Nant Holdings Ip, Llc | Invariant-based dimensional reduction of object recognition features, systems and methods |
| WO2016040473A1 (en) * | 2014-09-10 | 2016-03-17 | Vangogh Imaging, Inc. | Real-time dynamic three-dimensional adaptive object recognition and model reconstruction |
| BR112017004783A2 (pt) | 2014-09-10 | 2017-12-12 | Hasbro Inc | sistema de brinquedo com digitalizador operado manualmente |
| US9665989B1 (en) * | 2015-02-17 | 2017-05-30 | Google Inc. | Feature agnostic geometric alignment |
| US10169665B1 (en) * | 2016-02-28 | 2019-01-01 | Alarm.Com Incorporated | Virtual inductance loop |
| US10380762B2 (en) | 2016-10-07 | 2019-08-13 | Vangogh Imaging, Inc. | Real-time remote collaboration and virtual presence using simultaneous localization and mapping to construct a 3D model and update a scene based on sparse data |
| US10839585B2 (en) | 2018-01-05 | 2020-11-17 | Vangogh Imaging, Inc. | 4D hologram: real-time remote avatar creation and animation control |
| US11080540B2 (en) | 2018-03-20 | 2021-08-03 | Vangogh Imaging, Inc. | 3D vision processing using an IP block |
| US10810783B2 (en) | 2018-04-03 | 2020-10-20 | Vangogh Imaging, Inc. | Dynamic real-time texture alignment for 3D models |
| US11170224B2 (en) | 2018-05-25 | 2021-11-09 | Vangogh Imaging, Inc. | Keyframe-based object scanning and tracking |
| US11170552B2 (en) | 2019-05-06 | 2021-11-09 | Vangogh Imaging, Inc. | Remote visualization of three-dimensional (3D) animation with synchronized voice in real-time |
| US11232633B2 (en) | 2019-05-06 | 2022-01-25 | Vangogh Imaging, Inc. | 3D object capture and object reconstruction using edge cloud computing resources |
| DE102019209062A1 (de) * | 2019-06-24 | 2020-12-24 | BSH Hausgeräte GmbH | Trainieren eines Intelligenten Hausgeräts |
| WO2021120052A1 (en) * | 2019-12-18 | 2021-06-24 | Huawei Technologies Co., Ltd. | 3d reconstruction from an insufficient number of images |
| US11335063B2 (en) | 2020-01-03 | 2022-05-17 | Vangogh Imaging, Inc. | Multiple maps for 3D object scanning and reconstruction |
| DE102021133709A1 (de) * | 2021-12-17 | 2023-06-22 | Rooom Ag | Matte zur Durchführung eines Photogrammetrieverfahrens, Verwendung der Matte und zugehöriges Verfahren |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3347508B2 (ja) * | 1995-02-24 | 2002-11-20 | キヤノン株式会社 | 撮像画像処理装置および撮像画像処理方法 |
| US6640004B2 (en) * | 1995-07-28 | 2003-10-28 | Canon Kabushiki Kaisha | Image sensing and image processing apparatuses |
| JP3869876B2 (ja) * | 1995-12-19 | 2007-01-17 | キヤノン株式会社 | 画像計測方法及び画像計測装置 |
| US6081273A (en) | 1996-01-31 | 2000-06-27 | Michigan State University | Method and system for building three-dimensional object models |
| US6445814B2 (en) * | 1996-07-01 | 2002-09-03 | Canon Kabushiki Kaisha | Three-dimensional information processing apparatus and method |
| CN1480903A (zh) * | 1996-08-29 | 2004-03-10 | ������������ʽ���� | 特征信息赋予、物体抽取和立体模型生成方法及其装置 |
| EP0898245B1 (en) | 1997-08-05 | 2004-04-14 | Canon Kabushiki Kaisha | Image processing method and apparatus |
| US6281904B1 (en) * | 1998-06-09 | 2001-08-28 | Adobe Systems Incorporated | Multi-source texture reconstruction and fusion |
| JP4025442B2 (ja) | 1998-12-01 | 2007-12-19 | 富士通株式会社 | 三次元モデル変換装置及び方法 |
| JP2000339499A (ja) | 1999-05-27 | 2000-12-08 | Mitsubishi Electric Corp | テクスチャマッピング・テクスチャモザイク処理装置 |
| CN1421020B (zh) | 1999-11-23 | 2010-04-28 | 佳能株式会社 | 图像处理设备 |
| GB2358307B (en) | 1999-11-25 | 2004-03-24 | Canon Kk | Image processing apparatus |
| US7065242B2 (en) * | 2000-03-28 | 2006-06-20 | Viewpoint Corporation | System and method of three-dimensional image capture and modeling |
| US7728848B2 (en) * | 2000-03-28 | 2010-06-01 | DG FastChannel, Inc. | Tools for 3D mesh and texture manipulation |
| EP1204073B1 (en) * | 2000-10-27 | 2007-01-31 | Canon Kabushiki Kaisha | Image generation method and apparatus |
| GB2369541B (en) | 2000-10-27 | 2004-02-11 | Canon Kk | Method and aparatus for generating visibility data |
| GB2369260B (en) | 2000-10-27 | 2005-01-19 | Canon Kk | Method and apparatus for the generation of composite images |
| GB2378337B (en) * | 2001-06-11 | 2005-04-13 | Canon Kk | 3D Computer modelling apparatus |
| GB0114157D0 (en) * | 2001-06-11 | 2001-08-01 | Canon Kk | 3D Computer modelling apparatus |
-
2001
- 2001-11-05 GB GBGB0126526.3A patent/GB0126526D0/en not_active Ceased
-
2002
- 2002-11-04 EP EP02257614A patent/EP1308902A3/en not_active Withdrawn
- 2002-11-05 JP JP2002321777A patent/JP2003196327A/ja not_active Withdrawn
- 2002-11-05 US US10/287,624 patent/US6954212B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022550639A (ja) * | 2019-12-20 | 2022-12-02 | 馭勢科技（浙江）有限公司 | ３次元再構成方法、装置、システム及び記憶媒体 |
| JP7245574B2 (ja) | 2019-12-20 | 2023-03-24 | 馭勢科技（浙江）有限公司 | ３次元再構成方法、装置、システム及び記憶媒体 |
| US12026827B2 (en) | 2019-12-20 | 2024-07-02 | Uisee Technologies (Zhejiang) Ltd. | Method, apparatus, system, and storage medium for 3D reconstruction |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1308902A3 (en) | 2004-01-14 |
| US6954212B2 (en) | 2005-10-11 |
| EP1308902A2 (en) | 2003-05-07 |
| US20030085891A1 (en) | 2003-05-08 |
| GB0126526D0 (en) | 2002-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003196327A (ja) | ３次元コンピュータモデリング | |
| JP2003187265A (ja) | 画像処理装置 | |
| EP1355277B1 (en) | Three-dimensional computer modelling | |
| CN106780619B (zh) | 一种基于Kinect深度相机的人体尺寸测量方法 | |
| US10489956B2 (en) | Robust attribute transfer for character animation | |
| KR20180069786A (ko) | 3d 신체 모델에 대한 3d 의복 모델의 이미지 파일을 생성하기 위한 방법 및 시스템 | |
| JP2000516360A (ja) | 三次元物体モデル化装置及び方法 | |
| JP2009093611A (ja) | 三次元オブジェクト認識のためのシステムおよび方法 | |
| JP2002222412A (ja) | 画像処理装置 | |
| JP2002520749A (ja) | 完全にテクスチャリングされた３次元モデルを発生する方法及びシステム | |
| JP4395689B2 (ja) | 画像データ処理方法およびモデリング装置 | |
| US10169891B2 (en) | Producing three-dimensional representation based on images of a person | |
| KR102655987B1 (ko) | 3차원 아바타 생성 장치 및 방법 | |
| JP2001274973A (ja) | 顕微鏡画像合成装置、顕微鏡画像合成方法、顕微鏡画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US11645800B2 (en) | Advanced systems and methods for automatically generating an animatable object from various types of user input | |
| CN118247429A (zh) | 一种空地协同快速三维建模方法及系统 | |
| CN112365589B (zh) | 一种虚拟三维场景展示方法、装置及系统 | |
| JP2002520969A (ja) | 動き画像からの自動化された３次元シーン走査方法 | |
| JP2003070021A (ja) | ポータブル三次元データ入力装置及び立体モデル生成装置 | |
| Kurniawan et al. | Development of Photogrammetry Application for 3D Surface Reconstruction | |
| JP2003123057A (ja) | ３次元形状モデルの生成方法および装置 | |
| Christensen et al. | Hybrid approach to the construction of triangulated 3D models of building interiors | |
| GB2564715A (en) | Systems and methods of forming virtual models | |
| JP3540157B2 (ja) | 画像を利用した形状モデリング方法及び形状モデリングプログラムを記録した記録媒体 | |
| JP2990256B2 (ja) | 物体の姿勢変化量検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060110 |