JP2003187265A - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JP2003187265A
JP2003187265A JP2002321742A JP2002321742A JP2003187265A JP 2003187265 A JP2003187265 A JP 2003187265A JP 2002321742 A JP2002321742 A JP 2002321742A JP 2002321742 A JP2002321742 A JP 2002321742A JP 2003187265 A JP2003187265 A JP 2003187265A
Authority
JP
Japan
Prior art keywords
computer model
images
dimensional computer
image
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2002321742A
Other languages
English (en)
Inventor
Adam M Baumberg
マイケル ボームバーグ アダム
Alexander R Lyons
ラルフ リオンズ アレキサンダー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Europa NV
Original Assignee
Canon Europa NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Europa NV filed Critical Canon Europa NV
Publication of JP2003187265A publication Critical patent/JP2003187265A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping

Abstract

(57)【要約】 （修正有） 【課題】 ３Ｄコンピュータモデルを生成するための処
理とは無関係に画像の記録並びに処理を行うことができ
ると共に、各画像を個別に３Ｄコンピュータモデルと位
置合わせする必要がない画像処理装置の提供。 【解決手段】 現実物体の３Ｄコンピュータモデルに対
するテクスチャデータを生成するため、対象物体の画像
が異なる視点位置及び方向から記録される。画像データ
は画像の視点位置及び方向を画像内の特徴の位置に基づ
き位置合わせするため、画像処理装置２によって処理さ
れる。

Description

【発明の詳細な説明】
【０００１】本発明は現実物体(real-life objects)の
３次元（３Ｄ）コンピュータモデリングに関し、特にそ
のような３Ｄコンピュータモデル用のテクスチャデータ
の生成に関する。
【０００２】現実物体の正確な３Ｄコンピュータモデル
を生成するための方法は多く知られている。これら方法
には、物体のレーザスキャンや、物体の表面上の点の３
次元位置を判定するために３Ｄ接触センシングプローブ
を用いること及び、正確な測定の詳細に基づいて物体を
モデリングするためにＣＡＤ(Computer-aided design)
システムを用いる（あるいは、物体自体をＣＡＤモデル
から生成する）ことが含まれる。
【０００３】これらの方法は対象となる物体の表面形状
(surface geometry)を正確にモデリングする３Ｄコンピ
ュータモデルを生成するけれども、コンピュータモデル
のためのテクスチャデータは生成せず、対象現実物体の
画像から生成せねばならなかった。
【０００４】テクスチャデータを生成するため、画像の
位置及び向きを３Ｄコンピュータモデルに関して正確に
規定しなければならないので、さらなる問題が生じる。
すなわち、各画像が３Ｄコンピュータモデルによって規
定される表面形状と正確に位置合わせ(registered)され
ねばならないからである。
【０００５】この問題を解決するため、レーザスキャナ
とともに移動するよう、カメラをレーザスキャナと同一
の筐体に設置されたカメラを設けることが知られてい
る。表面形状データはレーザスキャナによって収集さ
れ、スキャナが対象物体をスキャンするために移動させ
られるのに伴って、画像データがカメラによって取得さ
れる。スキャン処理中、カメラはスキャナに対して移動
しないので、画像データと収集された表面形状データと
の位置合わせは計算することが可能である。
【０００６】しかしながら、この方法はレーザスキャナ
システム内部に専用のカメラを必要とするため効果であ
る。さらに、この方法はレーザスキャン以外の方法で生
成された３Ｄコンピュータモデルについてのテクスチャ
データをどのように生成するかという問題を解決しな
い。
【０００７】本発明は上述の問題の１つ以上を解決する
ことを目的とする。
【０００８】本発明によれば、対象物体の画像を異なる
位置及び方向から記録し、画像データを画像の視点位置
及び方向を画像の特徴部分の位置に基づいて位置決めす
るために処理し、３Ｄコンピュータモデルによって表さ
れるものと同じ対象物体を示す画像に基づいて、対象物
体の３Ｄコンピュータモデルを位置決めされた画像と位
置合わせし、位置決めされた画像からテクスチャデータ
を生成することによって、現実物体の３Ｄコンピュータ
モデルのためのテクスチャデータが生成される。
【０００９】画像処理技術を用いて画像の視点位置及び
方向を計算することで、３Ｄコンピュータモデルを生成
するための処理とは無関係に画像の記録並びに処理を行
うことができる。
【００１０】画像を位置決めし、その後３Ｄコンピュー
タモデルを位置決めされた画像と位置合わせすることに
より、各画像を個別に３Ｄコンピュータモデルと位置合
わせする必要がない。
【００１１】対象物体はキャリブレーションパターンと
ともに画像化されても良く、その画像は画像中のキャリ
ブレーションパターンの特徴部分の位置に基づいて位置
合わせされる。
【００１２】さらに、又は代わりに、画像は、画像間で
一致する、対象物体そのものの上にある特徴の、画像中
の位置に基づいて位置合わせされても良い。
【００１３】３Ｄコンピュータモデルの、位置合わせさ
れた画像との位置合わせは、３Ｄコンピュータモデルと
画像の配置を、３Ｄコンピュータモデルのシルエット(s
ilhouette)が対象物体のシルエットと少なくとも一部の
画像中において合致するまで変更することによって実行
することができる。
【００１４】３Ｄコンピュータモデルの、位置合わせさ
れた画像との位置合わせは、画像と位置合わせされた対
象物体の第２の３Ｄコンピュータモデルを生成し、２つ
のコンピュータモデルを位置合わせすることで実行する
ことができる。
【００１５】３Ｄコンピュータモデルの、位置合わせさ
れた画像との位置合わせは、ユーザ入力信号に従って、
あるいは自動的に実行することができる。
【００１６】本発明はまた、上述したようなテクスチャ
データの生成に用いるための処理装置及び方法であっ
て、対象物体の画像が画像処理技術を用いて位置合わせ
され、位置合わせされた画像が対象物体の３Ｄコンピュ
ータモデルと位置合わせされ、そして３Ｄコンピュータ
モデル用のテクスチャデータが画像から生成される処理
装置及び方法を提供する。
【００１７】本発明はまた、例えば記憶装置又は信号伝
達命令(signal carrying instructions)として実現され
る、プログラム可能な処理装置を上述の方法を実行可能
となるように設定するコンピュータプログラム製品を提
供する。
【００１８】本発明の実施形態を、ほんの一例として、
添付図面を参照して以下に説明する。図面において、同
様の部分には同様の参照数字が用いられている。
【００１９】（第１の実施形態）図１を参照して、本発
明の実施形態は、従来通り、１つ又は２つ以上のプロセ
ッサと、メモリと、従来のパーソナルコンピュータモニ
タ等の表示装置４と接続されたグラフィックカード等を
含んだパーソナルコンピュータ等の処理装置２と、キー
ボード、マウス等のユーザ入力装置６と、プリンタ８
と、ＷＡＣＯＭ社の製品ＰＬ４００のような、制御可能
なピクセルを有するフラットパネルから構成される表示
パネル１０とを有している。
【００２０】処理装置２は例えば、ディスク１２のよう
なデータ記録媒体上に格納されたデータとして、及び／
又は、例えばリモートデータベースからインターネット
等の通信網（図示せず）又は大気を通じて伝送されて処
理装置２へ入力される信号１４として入力されるプログ
ラム命令、及び／又はキーボード６等のユーザ入力装置
を介してユーザによって入力されるプログラム命令に従
って動作するようにプログラムされている。
【００２１】以下により詳細に説明するように、プログ
ラム命令は、処理装置２を、対象物体の３Ｄコンピュー
タモデルを定義する入力データ及び異なる位置及び方向
で記録された同じ対象物体の複数の画像を規定する入力
データを処理し、各画像が画像中に存在する３Ｄコンピ
ュータモデルの所定の眺望(view)の３Ｄコンピュータモ
デルに関して正しく位置及び方向するように位置合わせ
し、位置合わせされた画像から３Ｄコンピュータモデル
用のテクスチャデータを抽出するように構成する命令を
有する。３Ｄコンピュータモデルと入力画像との位置合
わせは、入力画像が互いに相手に対して記録された位置
及び方向を計算することによって位置合わせされた入力
画像セットを形成し、次いで３Ｄコンピュータモデルを
位置合わせされた入力画像のセットと位置合わせするこ
とによって実行される。このように、入力３Ｄコンピュ
ータモデルを各入力画像と個別に位置合わせする必要が
ない。
【００２２】プログラム命令によってプログラムされる
際、処理装置２は処理動作を実行する多数の機能ユニッ
トとして構成されるものと考えることができる。そのよ
うな機能ユニット及びその相互接続の例を図１に示す。
しかし、図１に示す、ユニット及び相互接続は概念的な
ものであり、理解を助けるための例示目的としてのみ示
されるものである。これらは必ずしも、処理装置２のプ
ロセッサ、メモリ等が実際に構成するユニットや接続を
表しているわけではない。
【００２３】図１に示す機能ユニットを参照すると、ユ
ーザ入力装置６からの入力を処理し、また他の機能ユニ
ットの制御及び処理を提供する中央制御装置２０が設け
られている。中央制御装置２０及び他の機能ユニットが
用いるため、メモリ２４が設けられている。
【００２４】マット生成器３０は、印刷された”写真マ
ット(photographic mat)”３４を形成するため、記録紙
等の記録媒体上にキャリブレーションパターンを印刷す
るか、写真マットを表示するため、表示パネル１０上に
キャリブレーションパターンを表示するようにプリンタ
８又は表示パネル１０を制御する制御信号を生成するよ
うに設けられている。以下更に詳細に説明するように、
写真マットは特徴(features)の所定のキャリブレーショ
ンパターンを含み、テクスチャデータが生成される対象
物体は印刷された写真マット上か、キャリブレーション
パターンが表示された表示パネル１０上に置かれる。そ
して、対象物体及びキャリブレーションパターンの画像
が記録され、処理装置２へ入力される。マット生成器３
０は、入力画像が記録された位置及び方向を計算する際
に処理装置２が使用するための写真マット上に印刷もし
くは表示された特徴のキャリブレーションパターンを定
義するデータを格納するように構成される。より具体的
には、本実施形態において、マット生成器３０は特徴パ
ターンを定義するデータとともに、特徴パターンに関連
する座標系（要するに、キャリブレーションパターンの
基準位置及び方向を定義する）を格納するように構成さ
れ、処理装置２はこの規定された座標系において（従っ
て、基準位置及び方向に相対的に）、入力画像が記録さ
れた位置及び方向を計算するように構成される。このよ
うに、入力画像の記録位置及び方向は相互に関して計算
され、従って位置決めされた入力画像のセットが生成さ
れる。
【００２５】本実施形態において、写真マット上のキャ
リブレーションパターンは、例えば、その全内容が本明
細書に相互参照として組み入れられるＰＣＴ出願GB00/0
4469(WO-A-01/39124)に記載されるような、特徴の空間
的な一群(spatial clusters of features)、あるいは、
（JP-A-9-170914に記載されるような）各点が異なる色
相／輝度の組み合わせを有するように色づけされた点の
パターン、（例えば、Niem の、”移動カメラを用いる
３次元物体の自動再構成(Automatic Reconstruction of
3D Objects Using a Mobile Camera)”(Image and Vis
ion Computing 17,1999, 125-134ページ)に記載される
ような）各象限が既知の大きさ及び位置マーカを有す
る、放射状の線分によって接続される同心円のパター
ン、又は（例えばComputer Graphics Proceedings, Ann
ual Conference Series, 1996 ACM-0-89791-764-4/96/0
08における、Gortler他による「ルミグラフ(The Lumigr
aph)」に記載されるような）異なる直径を有する同心環
を有するパターン等の、既知の任意の特徴パターンを有
する。
【００２６】本実施形態においては、以下、キャリブレ
ーションパターンが、印刷された写真マット３４を生成
するためプリンタ８によって記録媒体（本実施形態では
単票紙）上に印刷されるものと仮定するが、代わりに、
上述のようにキャリブレーションパターンは表示パネル
１０に表示されても良い。
【００２７】入力データ格納部４０は、処理装置２への
データ入力を、例えば、ディスク４２等の記憶装置上に
記憶されたデータとして、又は処理装置へ送信された信
号４４として、又はユーザ入力装置６を用いて入力され
たものとして格納するように構成される。入力データは
対象物体の３Ｄコンピュータモデルを定義し、さらに本
実施形態においては、３Ｄコンピュータモデルは例えば
図２に示すように、対象物体の表面を表すポリゴンメッ
シュ１５０からなる。入力データはさらに、異なる位置
及び向きで記録された、写真マット３４上の対象物体の
複数の画像を規定する。加えて、本実施形態において、
入力データは入力３Ｄコンピュータモデル１５０のスケ
ールを規定するデータ、入力画像を記録したカメラの固
有パラメータ、即ちアスペクト比、焦点距離、主点（pr
incipal point：光軸が結像面(imaging plane)と交わる
点）、１次放射方向歪曲収差係数(first order radial
distortion coefficient)及びスキュー角（skew angl
e：ピクセルグリッドの軸間角度。軸は正確に直交して
いないかもしれないため）を規定するデータをも含む。
【００２８】入力データは、例えばレーザスキャナ、３
Ｄ接触センシングプローブ、ＣＡＤシステム等によって
生成されるかもしれない、対象物体の３Ｄコンピュータ
モデルを規定する。
【００２９】入力データは、例えば、画像を記録したデ
ィジタルカメラから画素データをダウンロードすること
によって、あるいはスキャナ（図示せず）を用いて写真
をスキャンすることによって生成されるかもしれない画
像を規定する。
【００３０】入力データは入力３Ｄコンピュータモデル
１５０のスケールを規定し、また入力データはユーザ入
力装置６を用いてユーザが入力するかもしれない、カメ
ラの固有パラメータを規定する。
【００３１】カメラ計算機５０は、写真マット３４のキ
ャリブレーションパターン中の特徴の画像位置を検出す
るため各入力画像を処理し、画像が記録された際の、写
真マット３４に対するカメラの位置及び方向を計算する
ように構成される。このように、各入力画像の位置及び
方向が同一のキャリブレーションパターンについて計算
されるので、入力画像の位置及び方向は共通座標系で規
定され、その結果位置合わせされた入力画像のセットが
生成される。
【００３２】画像データ分割器６０は各入力画像を、画
像中の他の画像データと、対象物体に対応する画像デー
タとを分離するように構成されている。
【００３３】位置合わせコントローラ７０は、対象物体
の入力３Ｄコンピュータモデル１５０をカメラ計算機５
０が生成した入力画像の位置合わせされたセットと位置
合わせするように構成されている。
【００３４】本実施形態において、位置合わせコントロ
ーラ７０はサーフェスモデラ７２、３Ｄモデルスケーラ
及びポジショナ７３、３Ｄモデルプロジェクタ７４、ロ
ーテータ７６及びトランスレータ７８を有する。
【００３５】サーフェスモデラ７２は画像データ分割器
６０によって生成された分割画像データ及びカメラ計算
機５０が計算したカメラ位置及び方向を処理し、対象物
体の表面を表すポリゴンメッシュからなる第２の３Ｄコ
ンピュータモデルを生成するように構成されている。
【００３６】３Ｄモデルスケーラ及びポジショナ７３
は、入力３Ｄコンピュータモデル１５０がサーフェスモ
デラ７２の生成した第２の３Ｄコンピュータモデルと同
じスケールになるよう、入力スケールデータに基づい
て、入力３Ｄコンピュータモデル１５０を縮尺するよう
に構成されている。３Ｄモデルスケーラ及びポジショナ
７３はまた、縮尺された入力３Ｄコンピュータモデル１
５０及びサーフェスモデラ７２が生成した第２の３Ｄコ
ンピュータモデルを、同一座標系において位置決めする
ように構成されている。
【００３７】３Ｄモデルプロジェクタ７４は縮尺された
入力３Ｄコンピュータモデル１５０及びサーフェスモデ
ラ７２が生成した第２の３Ｄコンピュータモデルを、そ
れぞれ直交する視界方向を有する３つの画像に投影する
ように構成される。３Ｄモデルプロジェクタ７４は更
に、２つの投影されたコンピュータモデルの各画像中で
のシルエットを表す、ユーザに表示するための画像を生
成するように構成される。
【００３８】ローテータ７６及びトランスレータ７８
は、ユーザ入力命令に応答して、縮尺された入力３Ｄコ
ンピュータモデル１５０及びサーフェスモデラ７２が生
成した第２の３Ｄコンピュータモデルの少なくとも１つ
を回転及び変換するように構成される。
【００３９】以下詳細に説明するように、ユーザによる
１つ又は複数の３Ｄコンピュータモデルの回転及び変換
と、３Ｄモデルプロジェクタ７４によるコンピュータモ
デル投影及び画像データ表示は、インタラクティブに反
復して実行される。このようにして、ユーザによる回転
及び変換の結果はリアルタイムで表示され、入力３Ｄコ
ンピュータモデル１５０とサーフェスモデラ７２が生成
した第２の３Ｄコンピュータモデルとを正確に位置合わ
せするためにユーザが更に回転及び変換を行うことを可
能にする。
【００４０】サーフェステクスチャラ１００は、位置合
わせされた入力３Ｄコンピュータモデル１５０上にレン
ダリングするためのテクスチャデータを入力画像から生
成するように構成される。
【００４１】表示プロセッサ１１０は、中央制御装置２
０の制御下で、処理装置２の処理中、表示装置４を介し
てユーザに画像及び命令を表示するように構成される。
加えて、中央制御装置２０の制御下で、表示プロセッサ
１１０は、入力サーフェスモデルデータを処理し、サー
フェステクスチャラ１００が生成したテクスチャデータ
をサーフェスモデル上にレンダリングすることにより、
ユーザが選択した視点からの、テクスチャリングされた
入力３Ｄコンピュータモデル１５０の画像を表示するよ
うに構成される。
【００４２】出力データ格納部１２０は入力３Ｄコンピ
ュータモデル１５０及びサーフェステクスチャラ１００
が生成したテクスチャデータを規定するデータを格納す
るように構成される。中央制御装置２０は出力データ格
納部１２０からのデータ出力を、ディスク１２２等の記
憶装置上のデータ及び／又は信号１２４として制御する
ように構成される。出力データの記録は記憶装置（図示
せず）を直接的又は間接的に用いて出力信号１２４を記
録することで行うことができる。
【００４３】図３を参照して、処理装置２へ入力するた
めの入力画像の記録について説明する。印刷された写真
マット３４は面２００上に置かれ、入力３Ｄコンピュー
タモデル１５０で表され、これからテクスチャデータを
生成する対象物体２１０は、マット上のキャリブレーシ
ョンパターンを構成する特徴によって取り囲まれるよう
に実質的に写真マット３４の中央に置かれる。
【００４４】対象物体２１０及び写真マット３４の画像
は、対象物体２１０の異なる部分を示すよう、ディジタ
ルカメラ２３０を用いて異なる位置及び方向において記
録される。本実施形態において、カメラ２３０によって
記録された画像を規定するデータは信号４４として線２
３２に沿って処理装置２へ入力される。
【００４５】特に、本実施形態において、カメラ２３０
は固定位置にとどまり、写真マット３４とその上の対象
物体２１０が面２００上を移動（変換）並びに回転（例
えば矢印２４０の方向へ）させられ、カメラ２３０に対
して相対的に異なる位置及び方向における物体２１０の
写真が記録される。面２００上の写真マット３４の回転
及び変換の間、対象物体２１０はマット３４に対して相
対的に移動しない。
【００４６】対象物体２１０の頂上の画像は、カメラ２
３０を三脚から外し、真上から対象物体を撮影すること
で記録される。
【００４７】図４は、処理装置２へ入力されるデータに
規定される一連の画像からのサンプル画像３００、３０
４、３０８及び３１２であり、カメラ２３０に対して異
なる位置及び方向における対象物体２１０及び写真マッ
ト３４を示している。
【００４８】図５は、本実施形態において、処理装置２
が実行する入力データ処理動作を示している。図５を参
照して、ステップＳ５−２では、中央制御装置２０に従
い、表示プロセッサ１１０が、処理するデータを入力す
るようユーザに要求するメッセージを表示装置４上に表
示させる。
【００４９】ステップＳ５−４では、ステップＳ５−２
での要求に応答してユーザが入力したデータが入力デー
タ格納部４０に格納される。より具体的には、上述した
ように、本実施形態では、入力データが対象物体２１０
の入力３Ｄコンピュータモデル１５０を規定するデー
タ、異なる位置及び方向において記録された対象物体２
１０の画像を規定するデータ、入力３Ｄコンピュータモ
デル１５０のスケールを規定するデータ及び入力画像を
記録したカメラ２３０の固有パラメータを規定するデー
タを有している。
【００５０】ステップＳ５−６では、カメラ計算機５０
がステップＳ５−４において格納された画像データ及び
固有カメラパラメータデータを処理し、各画像につい
て、写真マット３４上のキャリブレーションパターンに
対する（従って、対象物体２１０に対する）カメラ２３
０の位置及び向きを求める。この処理は、各入力画像に
対する以下の処理を有する。写真マット３４上でキャリ
ブレーションパターンを形成する画像の特徴の検出、画
像中の特徴の位置と写真マット用に格納されたパターン
中の特徴の位置との比較、及びそれらに基づく、画像が
記録された際のカメラ２３０のマット３４に対する相対
位置及び方向計算の各処理を有する。
【００５１】ステップＳ５−６においてカメラ計算機５
０が実施する処理は写真マット３４に用いられる特徴の
キャリブレーションパターンに依存する。適切な処理は
例えば、ＰＣＴ出願GB00/04469(WO-A-01/39124)、特開
平9-170914号公報(JP-A-9-170914)、Niemによる、”移
動カメラを用いた３Ｄ物体の自動再構成(Automatic Rec
onstruction of 3D Object Using a Mobile Camera)”
(Image and Vision Computing 17, 1999, 125-134ペー
ジ)及び、Gortlerらによる”The Lumigraph” (Compute
r Graphics Proceedings, Annual Conference Series,
1996 ACM-0-89791-764-4/96/008)に記述されている。こ
こで、各入力画像中のキャリブレーションパターンの特
徴の位置は、これら列挙した参考文献に記載された画像
処理技術を用い、カメラ計算機５０が単独で検出するよ
りも、（例えば表示画像中の各キャリブレーションパタ
ーンの特徴を指定してクリックすることにより）ユーザ
によって処理装置２へ指定されうることに留意された
い。
【００５２】ステップＳ５−８において、画像データ分
割器６０はステップＳ５−４で格納された入力画像の各
々を処理し、対象物体２１０を表す画像データを他の画
像データ（”背景”画像データ）と分ける。この処理は
例えばGB-A-2368307のAnnexA.の2.2部に記載されるよう
な、従前の画像分割方法を用いて実施される。
【００５３】図６を参照して、処理のこの段階において
は、複数の入力画像３００−３１６の各々における対象
物体２１０のシルエット３５０−３６６が計算され、ま
た３Ｄ空間における各シルエットの相対位置及び方向が
計算される（なぜなら、各シルエット３５０−３６６は
入力画像の２次元平面中に存在し、各入力画像の位置及
び方向はステップＳ５−６でカメラ計算機５０が計算し
ているため）。加えて、各入力画像に対する焦点３２０
−３３６の位置もまた入力データ及びカメラ計算機５０
による計算から既知である。
【００５４】再度図５を参照して、ステップＳ５−１０
では、位置合わせコントローラ７０が入力３Ｄコンピュ
ータモデル１５０と位置合わせされた入力画像３００−
３１６のセットとの位置合わせを実行する。以下に説明
するように、本実施形態において、位置合わせコントロ
ーラ７０による位置合わせはユーザによって入力される
命令に従って実行される。
【００５５】図７は、第１の実施形態において、位置合
わせコントローラ７０がステップＳ５−１０で行う処理
動作を示している。図７を参照して、ステップＳ７−２
では、サーフェスモデラ７２が、対象物体２１０の表面
を表すポリゴンメッシュからなる第２の３Ｄコンピュー
タモデルを生成する。
【００５６】より具体的には、再度図６を参照して、
（シルエットは画像中の対象物体の輪郭を規定するた
め）各シルエット３５０−３６６は、シルエットが記録
された画像が記録された際のカメラの焦点位置３２０−
３３６とともに、（今のところは未知である）３Ｄ空間
中の複数点において対象物体２１０の表面に接する３Ｄ
空間中の無限円錐(infinite cone)を規定する。
【００５７】本実施形態において、サーフェスモデラ７
２はステップＳ７−２で、シルエット３５０−３６６の
全てによって規定される無限円錐の交差部分(intersect
ion)で定義される３Ｄ空間の体積を求め、平面ポリゴン
を接続するメッシュによって交差部分の体積を表す処理
を実行する。
【００５８】この処理は同一出願人による、同時係属の
日本特許出願2002-169584号（当該出願の全内容は参照
として本明細書に組み込まれる）に記載される技術を用
いて、あるいは、例えばhttp://i31www.ira.uka.de/dip
lomarbeiten/da_martin_loehlein/Reconstruction.html
に開示される、Martin Lohleinによる”境界表現を用い
た３Ｄ再構成のための視体積交差法アルゴリズム(A Vol
umetric IntersectionAlgorithm for 3D-reconstructio
n Using a Boundary-Representation)”や、M. Szilvas
i-Nagyによる、”２つの単純多面体の交差を求めるアル
ゴリズム(An algorithm for Determining the Intersec
tion of Two Simple Polyhedra)”(Computer Graphics
Forum 3(1984),219-225ページ)に記載されるような従来
方法を用いて実行することができる。
【００５９】代わりに、サーフェスモデラ７２は、例え
ばIllingsworth及びHiltonによる、”モデル世界構築の
試み：コンピュータビジョンを用いた静的物体モデルの
自動構築(Looking to build a model world: automatic
construction of static object models using comput
er vision)”(Electronics and Communication Enginee
ring Journal, June 1998, 103-113ページ)、又はNiem
による”移動カメラを用いる３次元物体の自動再構成(A
utomatic reconstruction of 3D objects using a mobi
le camera)”(Image and Vision Computing 17, 1999,
125-134ページ)に記載されるような、シルエットからの
形状生成処理(shape-from-silhouette processing)を実
行しても良い。
【００６０】これら方法においては、シルエット円錐(s
hilhouette cone)の交差部分が計算され、複数のボクセ
ル（直方体）から形成される対象物体の”体積表現(vol
ume representation)”を生成するために用いられる。
より具体的には、３Ｄ空間がボクセルに分割され、ボク
セルはどれがシルエット円錐の交差部分で規定される体
積の内部に位置するかを判定するためテストされる。交
差体積内部のボクセルは、対象物体を表すボクセルの体
積を規定するため保持される。そして、体積表現は接続
されたポリゴンのメッシュからなるサーフェスモデルへ
変換される。
【００６１】ステップＳ７−２における処理の結果は対
象物体２１０の表面を表す第２のポリゴンメッシュであ
る。第２のポリゴンメッシュは上述したように入力画像
３００−３１６を用いて生成されるため、入力画像に位
置合わせされている（すなわち、その位置及び方向は入
力画像３００−３１６の位置及び方向と相対的に既知で
ある）。
【００６２】ステップＳ７−４において、３Ｄモデルス
ケーラ及びポジショナ７３は入力３Ｄコンピュータモデ
ル１５０を、入力画像３００−３１６の位置及び方向が
カメラ計算機５０によって計算され、またサーフェスモ
デラ７２が生成した第２の３Ｄコンピュータモデルが規
定される座標系と同じスケールに縮尺する。
【００６３】より具体的には、入力３Ｄコンピュータモ
デル１５０のスケールがステップＳ５−４で格納された
入力データ中に規定される。さらに、写真マット３４上
に印刷されたキャリブレーションパターンの大きさは、
マット生成器３０によって格納され、その後、入力画像
３００−３１６の位置及び方向がカメラ計算機５０によ
って計算されかつ第２の３Ｄコンピュータモデルがサー
フェスモデラ７２によって生成される座標系を規定する
ために用いられるため、入力画像及び第２の３Ｄコンピ
ュータモデルを含む座標系のスケールは既知である。
【００６４】また、ステップＳ７−４において、３Ｄモ
デルスケーラ及びポジショナ７３は、縮尺された入力３
Ｄコンピュータモデルの底面の中心が写真マット３４上
のキャリブレーションパターンの中心に対応する位置に
なるよう、縮尺された入力３Ｄコンピュータモデル１５
０を入力画像及び第２の３Ｄコンピュータモデルの座標
系に配置する。これは、ユーザが対象物体２１０を画像
取得のためにキャリブレーションパターンの中心に置く
であろうことがわかっているため実施される。従って、
第２の３ＤコンピュータモデルはステップＳ７−２にお
いて、サーフェスモデラ７２により、キャリブレーショ
ンパターンの中心に対応した位置をもって生成されるこ
とになる。そのため、縮尺された入力３Ｄコンピュータ
モデル１５０をキャリブレーションパターンの中心に配
置することで、縮尺された入力３Ｄコンピュータモデル
１５０及びサーフェスモデラ７２が生成する第２の３Ｄ
コンピュータモデルの位置はほぼ合致させられる。
【００６５】ステップＳ７−６において、３Ｄモデルプ
ロジェクタ７４は縮尺された入力３Ｄコンピュータモデ
ル１５０及びサーフェスモデラ７２が生成した第２の３
Ｄコンピュータモデルを、直交する視方向(viewing dir
ection)を有する画像に投影する。より具体的には、本
実施形態において、３Ｄモデルプロジェクタ７４は３Ｄ
コンピュータモデルを、モデルが配置される座標系の
Ｘ、Ｙ及びＺ座標軸に沿った視方向を有する画像に投影
する。
【００６６】ステップＳ７−８において、３Ｄモデルプ
ロジェクタ７４は、ディスプレイプロセッサ１１０を制
御し、縮尺された３Ｄコンピュータモデル１５０及びサ
ーフェスモデラ７２が生成した第２の３Ｄコンピュータ
モデルの、所定の視方向からの画像と、ステップＳ７−
６において生成された直交視方向画像中の、２つの３Ｄ
コンピュータモデルが投影されたシルエット（すなわ
ち、輪郭）の画像を、表示装置４に表示させる。
【００６７】図８は、本実施形態において、ステップＳ
７−８でユーザに対して表示装置４上で示される画像の
例を示す。図８を参照して、画像４００は入力３Ｄコン
ピュータモデル１５０及びサーフェスモデラ７２が生成
した第２の３Ｄコンピュータモデル４０２を示してい
る。各コンピュータモデル１５０、４０２は、入力ワイ
ヤフレームモデル１５０及びサーフェスモデラ７２が生
成するワイヤフレームモデル中の各ポリゴンを平面とし
てレンダリングすることにより、ユーザにソリッドモデ
ルとして呈示される。見る人が２つのモデルを区別する
のを助けるため、一方の３Ｄコンピュータモデルが他方
よりも太く画像４００中で示される。
【００６８】画像４１０は、入力３Ｄコンピュータモデ
ル及び第２の３Ｄコンピュータモデルのシルエットが、
ステップＳ７−６で生成される、Ｚ座標軸に沿った視方
向を有する画像に投影された際の画像を示している。
【００６９】同様に、画像４２０はＸ座標軸に沿った視
方向を有する画像中に投影された２つの３Ｄコンピュー
タモデルのシルエットを示し、画像４３０はＹ座標軸に
沿った視方向を有する画像からの２つの３Ｄコンピュー
タモデルのシルエットを示す。
【００７０】表示されたシルエットをユーザが区別する
のを助けるため、各画像４１０、４２０及び４３０にお
いて、シルエットの１つが実線で表され、もう一方のシ
ルエットは点線で表される。
【００７１】このほか、表示装置４上には、マウス等の
ユーザ入力装置６を用いてユーザが動かすためのポイン
タ４０４、”回転”ボタン４４０、”変換（Ｘ，Ｙ）”
ボタン４５０及び”変換（Ｚ）”ボタン４６０が設けら
れている。
【００７２】画像４００上のポインタ４０４を動かし、
２つの３Ｄコンピュータモデル１５０、４０２の一方を
指定してクリックすることにより、ユーザは引き続き移
動させる３Ｄコンピュータモデルを選択することが可能
である。
【００７３】”回転”ボタン４４０を指示し、クリック
すると、ユーザはその後のポインタ移動により、選択し
た３Ｄコンピュータモデルを回転させることができる。
より具体的には、１回”回転”ボタン４４０をクリック
すると、ユーザは選択した３ＤコンピュータモデルをＸ
座標軸に関して回転可能となり、２回”回転”ボタン４
４０をクリックすると、ユーザは選択した３Ｄコンピュ
ータモデルをＹ座標軸に関して回転可能となり、３回”
回転”ボタン４４０をクリックすると、ユーザは選択し
た３ＤコンピュータモデルをＺ座標軸に関して回転可能
となる。
【００７４】”変換（Ｘ，Ｙ）”ボタン４５０をクリッ
クすると、ユーザはポインタ４０４の移動により、選択
した３ＤコンピュータモデルをＸ，Ｙ座標平面内で変換
することができる。同様に、”変換（Ｚ）”ボタン４６
０をクリックすると、ユーザは引き続くポインタ４０４
の移動により、選択した３ＤコンピュータモデルをＺ座
標方向に変換することができる。
【００７５】図７に戻って、ステップＳ７−１０からＳ
７−１４において、ユーザは、ユーザが行った変更の影
響を示すためにリアルタイムで更新される画像４００、
４１０、４２０及び４３０を見ながら、３Ｄ空間内で２
つの３Ｄコンピュータモデル１５０、４０２の相対位置
及び方向を繰り返し変化させる。ユーザは、３Ｄ空間で
３Ｄコンピュータモデル１５０、４０２の装置位置及び
方向を、画像４１０、４２０及び４３０内に投影された
シルエット間の位置ずれが最小となるように変化させる
ことにより、３Ｄコンピュータモデル１５０、４０２を
正確に位置合わせすることができる。このように２つの
３Ｄコンピュータモデル１５０、４０２の位置及び回転
角を合わせることにより、ユーザはさらに、入力３Ｄコ
ンピュータモデル１５０を入力画像３００−３１６の位
置合わせされたセットと位置合わせする（これは、上述
したように、第２の３Ｄコンピュータモデル４０２は入
力画像のセットに位置合わせされるからである）。
【００７６】より具体的には、ステップＳ７−１０にお
いて、ローテータ７６及びトランスレータ７８は３Ｄコ
ンピュータモデル１５０、４０２を、上述の通りユーザ
入力信号に従って回転及び変換する。
【００７７】ステップＳ７−１２において、３Ｄモデル
プロジェクタ７４及び表示プロセッサ１１０は、ユーザ
が３Ｄコンピュータモデル１５０、４０２を回転及び変
換するのに伴って、これらモデルが新しい位置及び方向
に合致するよう、ユーザに表示する画像４００、４１
０、４２０及び４３０を更新する。このようにして、画
像４００の更新に加え、ユーザが３Ｄコンピュータモデ
ルの移動による効果を見て、２つの３Ｄコンピュータモ
デル１５０、４０２の位置ずれを判定することができる
よう、直交視方向画像４１０、４２０及び４３０が更新
される。
【００７８】３Ｄコンピュータモデル１５０、４０２の
少なくとも一方を繰り返し回転及び変換することによ
り、ユーザは画像４１０、４２０及び４３０内に示され
るシルエットの位置ずれを最小化することができ、それ
によって２つの３Ｄコンピュータモデル１５０、４０２
を正確に位置合わせすることができる。
【００７９】ステップＳ７−１４において、位置合わせ
コントローラ７０は、３Ｄコンピュータモデル１５０、
４０２を動かすためのさらなるユーザ入力信号が受信さ
れているか否かを判定する。ステップＳ７１０からＳ７
１４は、３Ｄコンピュータモデル１５０、４０２を正確
に位置合わせするために、これらモデルの相対位置及び
方向に対して必要な全ての調整をユーザが実行するまで
繰り返される。
【００８０】入力３Ｄコンピュータモデル１５０が第２
の３Ｄコンピュータモデル４０２に位置合わせされる
と、入力３Ｄコンピュータモデル１５０は全ての入力画
像３００−３１６に対して位置合わせされた状態とな
る。これは、第２の３Ｄコンピュータモデル４０２が入
力画像３００−３１６の位置合わせされたセットから生
成されており、従って既に入力画像３００−３１６の全
てと位置合わせされているからである。
【００８１】この結果、入力画像３００−３１６に対す
る入力３Ｄコンピュータモデル１５０の位置及び方向が
わかり、入力３Ｄコンピュータモデル１５０に対するテ
クスチャデータを入力画像３００−３１６から生成する
ことができる。
【００８２】従って、再度図５を参照して、ステップＳ
５−１２では、サーフェステクスチャラ１００が入力画
像３００−３１６から入力３Ｄコンピュータモデル１５
０に対するテクスチャデータを生成するため、これら画
像を処理する。
【００８３】より具体的には、本実施形態において、サ
ーフェステクスチャラ１００は、入力３Ｄコンピュータ
モデル１５０中の各３角形を選択し、選択された３角形
に最も正対する入力画像”ｉ”を判定するための従来方
法の処理を実施する。すなわち、入力画像はｎ＾ｔが３
角形の法線(triangle normal)、ｖ＾ｉをｉ番目の画像
の視方向とすると、ｎ＾ｔ・ｖ＾ｉが最大になる画像が
探される。これは、選択された表面３角(surface trian
gle)が最も大きな投影領域を有する画像を特定する。
【００８４】選択された表面３角は特定された入力画像
へ投影され、投影された３角形の頂点は画像テクスチャ
マップを規定するためのテクスチャ座標として用いられ
る。
【００８５】サーフェステクスチャラ１００がステップ
Ｓ５−１２でテクスチャデータを生成するために用いう
る他の技術は、英国特許出願第GB-A-2369541号、並びに
GB-A-2369260号及び欧州特許出願第EP-A-1204073号に記
載されており、これら公地文献は相互参照により本明細
書に組み込まれる。
【００８６】上述の処理を実行した結果は、対象物体２
１０の３Ｄコンピュータモデル１５０と、入力画像３０
０−３１６からの、モデル上にレンダリングされるべき
テクスチャ座標定義画像データである。
【００８７】３Ｄコンピュータモデル１５０を定義する
データは、テクスチャデータとともに出力データ格納部
１２０に格納される。格納されるテクスチャデータは出
楠茶データに用いられる入力画像３００−３１６の各々
を規定するデータと、入力画像中のテクスチャ座標を規
定するデータを含みうる。代わりに、テクスチャデータ
として使用される画素データを入力画像３００−３１６
から抽出し、出力データ格納部１２０へ格納しても良
い。
【００８８】ステップＳ５−１４で、中央制御装置２０
は、出力データ格納部１２０から、例えばディスク１２
２等の記憶装置上に格納されたデータとして、あるいは
信号１２４（図１）として、３Ｄコンピュータモデル１
５０及びテクスチャデータを定義するデータを出力す
る。加えて、あるいは代わりに、中央制御装置２０は表
示プロセッサ１１０に、例えばユーザ入力装置６を用い
てユーザが入力した視点に従って生成されたテクスチャ
データとともにレンダリングされた入力３Ｄコンピュー
タモデル１５０の画像を表示装置４へ表示させる。
【００８９】（第２の実施形態）本発明の第２の実施形
態について説明する。上述した第１の実施形態におい
て、ユーザは入力３Ｄコンピュータモデル１５０を入力
画像からサーフェスモデラ７２が生成した第２の３Ｄコ
ンピュータモデルへ位置合わせすることにより、入力３
Ｄコンピュータモデル１５０を入力画像３００−３１６
の位置合わせされたセットへ位置合わせする。しかし、
入力３Ｄコンピュータモデル１５０は他の方法によって
入力画像３００−３１６と位置合わせされうる。
【００９０】例えば、以下に説明する第２の実施形態に
おいては、入力画像３００−３１６から３Ｄコンピュー
タモデルは生成されず、代わりに、ユーザが入力３Ｄコ
ンピュータモデル１５０と、入力画像３００−３１６が
位置合わせされる座標系との相対位置及び回転角を変更
する。位置合わせにおける誤差は、ユーザが、入力３Ｄ
コンピュータモデル１５０のシルエットが入力画像３０
０−３１６の少なくとも一部に投影される際に、その投
影されたシルエットを見て、この投影されたシルエット
を、画像データ分割器６０によって生成され、入力画像
中に既に存在しているシルエットとを比較することによ
りチェックされる。
【００９１】第２の実施形態の構成要素及びそれによる
処理動作は、位置合わせコントローラ７０がサーフェス
モデラ７２を含まず、ステップＳ５−１０において位置
合わせコントローラ７０の構成要素によって実行される
処理動作が第１の実施形態と異なることを除き、第１の
実施形態と同一である。従って、他の処理は既に第１の
実施形態において説明したため、以下ではステップＳ５
−１０で実行される処理のみを説明する。
【００９２】図９は、第２の実施形態におけるステップ
Ｓ５−１０で、入力３Ｄコンピュータモデル１５０を入
力画像３００−３１６の位置合わせされたセットと位置
合わせするためにコントローラ７０が実行する処理動作
を示す。
【００９３】図９を参照して、ステップＳ９−２では、
３Ｄモデルスケーラ及びポジショナ７３が、入力３Ｄコ
ンピュータモデル１５０を入力画像の位置合わせされた
セットの座標系と等しいスケールに縮尺し（このスケー
ルはステップＳ５−６においてカメラ計算機５０によっ
て既に計算されている）、縮尺された入力３Ｄコンピュ
ータモデル１５０を入力画像の位置合わせされたセット
と同じ座標系内に配置する。より具体的には、第１の実
施形態で行ったように、３Ｄモデルスケーラ及びポジシ
ョナ７３は、縮尺された入力３Ｄコンピュータモデル１
５０を、その底面中心が写真マット３４上のキャリブレ
ーションパターンの中心に合致するように配置する。
（上述したように、入力画像３００−３１６の各々は対
象物体２１０の画像を、キャリブレーションパターンの
中心に示すため）このようにして、縮尺された入力３Ｄ
コンピュータモデル１５０は入力画像３００−３１６に
対して大まかに修正される。
【００９４】ステップＳ９−４で、３Ｄモデルプロジェ
クタ７４は縮尺された入力３Ｄコンピュータモデル１５
０を入力画像３００−３１６の少なくとも一部の各々へ
投影する。より具体的には、本実施形態において、３Ｄ
モデルプロジェクタ７４はほぼ直交する視方向を有する
３つの入力画像を選択し、縮尺された入力３Ｄコンピュ
ータモデル１５０をこの選択された３入力画像上へ投影
する。従って、図６の例を参照すると、入力画像３０
０、３１２及び３１６が、縮尺された入力３Ｄコンピュ
ータモデル１５０を投影する入力画像として、３Ｄモデ
ルプロジェクタ７４によって選択されるかもしれない。
【００９５】ステップＳ９−６で、３Ｄモデルプロジェ
クタ７４は表示プロセッサ１１０を制御し、予め定めら
れた視方向からの、縮尺された入力３Ｄコンピュータモ
デル１５０の画像と、ステップＳ９−４で選択された入
力画像であって、縮尺された入力３Ｄコンピュータモデ
ル１５０の投影されたシルエットを、ステップＳ５−８
で画像データ分割器６０が生成した分割画像シルエット
とともに示す入力画像の各々とを含む画像を、表示装置
４上でユーザに対して表示させる。
【００９６】図１０は、第２の実施形態において、ステ
ップＳ９−６でユーザに表示される画像の例を示す。図
１０を参照して、画像５００は縮尺された入力３Ｄコン
ピュータモデル１５０の眺望(view)を、画像５１０は縮
尺された入力３Ｄコンピュータモデル１５０が入力画像
３１６へ投影された際のシルエットと、画像データ分割
器６０による処理の結果として既に画像３１６内に存在
するシルエット３６６とを示す。また、画像５２０は、
縮尺された入力３Ｄコンピュータモデル１５０が入力画
像３００に投影された際のシルエットと、画像データ分
割器６０が生成した入力画像３００中のシルエットを示
す。さらに、画像５３０は、縮尺された入力３Ｄコンピ
ュータモデル１５０が入力画像３１２に投影された際の
シルエットと、画像データ分割器６０が生成した入力画
像３１２中のシルエット３６２を示す。
【００９７】第１の実施形態と同様、ユーザがポインタ
４０４を用いて指示及びクリックにより選択するため
の”回転”ボタン４４０、”変換（Ｘ，Ｙ）”ボタン４
５０及び”変換（Ｚ）”ボタン４６０が設けられてい
る。”回転”ボタン４４０の選択に続き、ポインタ４０
４を動かすことで、ユーザは画像５００中に示される、
縮尺された入力３Ｄコンピュータモデル１５０を回転す
ることが可能である。また、”変換（Ｘ，Ｙ）”ボタン
４５０又は”変換（Ｚ）”ボタン４６０の選択に続いて
ポインタ４０４を動かすことにより、モデル１５０の位
置を変更することが可能である。
【００９８】ユーザが入力３Ｄコンピュータモデル１５
０を回転及び変換するに伴い、画像５００、５１０、５
２０及び５３０はリアルタイムで更新され、ユーザは自
らが行った移動の効果を見ることが可能である。特に、
ユーザは画像５１０、５２０及び５３０中のシルエット
の位置ずれを見ることが可能であり、従って位置ずれが
最小となるように入力３Ｄコンピュータモデル１５０を
回転及び変換し、入力３Ｄコンピュータモデル１５０を
入力画像３００−３１６の位置合わせされたセットへ位
置合わせすることが可能である。
【００９９】より具体的には、再び図９を参照して、ス
テップＳ９−８で、ローテータ７６及びトランスレータ
７８は、上述したように生成される、ユーザからの入力
信号に従って、入力３Ｄコンピュータモデル１５０の回
転角及び位置を、入力画像３００−３１６の位置合わせ
されたセットの座標系に関して変更する。
【０１００】ステップＳ９−１０において、３Ｄモデル
プロジェクタ７４及び表示プロセッサ１１０は、ステッ
プＳ９−８における回転角及び／又は位置に対する変更
結果を示すため、ユーザに表示される画像５００、５１
０、５２０及び５３０を更新する。
【０１０１】ステップＳ９−１２において、位置合わせ
コントローラ７０は３Ｄコンピュータモデル１５０を変
換又は回転させるための入力信号がユーザから受信され
たか否かを調べる。ステップＳ９−８からＳ９−１２ま
では、ユーザが入力画像３００−３１６の位置合わせさ
れたセットへの入力３Ｄコンピュータモデル１５０の位
置合わせを完了するまで繰り返される。
【０１０２】（第３の実施形態）以下、本発明の第３の
実施形態について説明する。上述した第１及び第２の実
施形態において、位置合わせコントローラ７０は入力３
Ｄコンピュータモデル１５０及び入力画像３００−３１
６を、ユーザから入力される、入力３Ｄコンピュータモ
デル１５０及び入力画像の位置合わせされたセットの位
置及び方向に対する相対的な変更を規定する信号に基づ
いて位置合わせしている。
【０１０３】しかし、以下第３の実施形態において説明
するように、入力画像３００−３１６の位置合わせされ
たセットへの入力３Ｄコンピュータモデル１５０の位置
合わせは、ユーザからの入力無しに、位置合わせコント
ローラ７０によって自動的に行うことが可能である。
【０１０４】第３の実施形態の構成要素及びそれによる
処理動作は、位置合わせコントローラ７０の構成要素
と、これら構成要素によって実行される処理動作を除い
て第１の実施形態と同一である。従って、以下ではこれ
ら相違についてのみ説明する。
【０１０５】図１１は、第３の実施形態における位置合
わせコントローラ７０の機能要素を示す。図１１を参照
して、第３の実施形態の位置合わせコントローラ７０
は、第３の実施形態と同様、３Ｄモデルスケーラ及びポ
ジショナ７３、３Ｄモデルプロジェクタ７４、ローテー
タ７６及びトランスレータ７８を有する。しかし、それ
に加えて位置合わせコントローラ７０は制約計算機(con
straint calculator)８０及び、誤差計算機(error calc
ulator)８２を含む。これらの処理機能については後で
詳述する。
【０１０６】図１２は、第３の実施形態において、入力
３Ｄコンピュータモデル１５０をカメラ計算機５０が生
成した入力画像３００−３１２の位置合わせされたセッ
トへ位置合わせするために、ステップＳ５−１０で位置
合わせコントローラ７０の構成要素によって実行される
処理動作を示す。
【０１０７】図１２を参照して、ステップＳ１２−２
で、３Ｄモデルスケーラ及びポジショナ７３は入力３Ｄ
コンピュータモデル１５０を、第１の実施形態と同様
に、入力画像３００−３１６が位置合わせされた座標系
（ステップＳ５−６でカメラ計算機５０によって既に計
算済み）と同じスケールを有するように縮尺する。加え
て、３Ｄモデルスケーラ及びポジショナ７３は縮尺され
た入力３Ｄコンピュータモデル１５０を位置合わせされ
た入力画像と同じ座標系内に配置する。より具体的に
は、第１及び第２の実施形態と同様に、３Ｄモデルスケ
ーラ及びポジショナ７３は縮尺された入力３Ｄコンピュ
ータモデル１５０を、その底面中心が写真マット３４内
のキャリブレーションパターンの中心に対応するように
置く。このようにして、入力３Ｄコンピュータモデル１
５０の位置は、入力画像３００−３１６に対してほぼ正
確になるが、この段階においてその回転角は不定であ
る。
【０１０８】ステップＳ１２−４で、誤差計算機８２は
縮尺された入力３Ｄコンピュータモデル１５０が引き続
く処理において変換可能な限度を計算する。この限度
は、上述したように、縮尺された入力３Ｄコンピュータ
モデル１５０の位置がステップＳ１２−２における処理
の結果大まかに修正されているために課され、従ってこ
の限度は引き続く入力３Ｄコンピュータモデル１５０の
変換に設定可能であり、それによって入力３Ｄコンピュ
ータモデル１５０と入力画像３００−３１６の位置合わ
せされたセットとの位置合わせのための処理時間を短縮
する。
【０１０９】本実施形態において、誤差計算機８２はス
テップＳ１２−４で、縮尺された入力３Ｄコンピュータ
モデル１５０の大きさの１０％を変換制限として設定す
る。ここで、大きさは縮尺された入力３Ｄコンピュータ
モデル１５０の頂点の分散行列の最大固有値の平方根と
して計算される。引き続く処理において、入力３Ｄコン
ピュータモデル１５０は、その時点における位置からい
かなる方向にもこの量を超えて移動することは許されな
い。
【０１１０】ステップＳ１２−６において、位置合わせ
コントローラ７０は処理が反復実行された回数を示すカ
ウンタの値を０にセットする。ステップＳ１２−８にお
いて、３Ｄモデルプロジェクタ７４は縮尺された入力３
Ｄコンピュータモデル１５０（ステップＳ１２−２にお
いて配置された位置及び方向を有する）を各入力画像３
００−３１６の各々に投影する。
【０１１１】ステップＳ１２−１０において、誤差計算
機８２は各入力画像について、（ステップＳ１２−８で
生成された）入力３Ｄコンピュータモデル１５０の投影
されたシルエットを、ステップＳ５−８における画像デ
ータ分割器６０による処理結果として入力画像中に存在
するシルエットと比較するための処理を実行する。より
具体的には、本実施形態において、誤差計算機８２は、
入力画像の各画素について、シルエットの両方ではなく
一方の内部に存在する画素は１に、それ以外（すなわ
ち、画素が両方のシルエットの内部にある場合もしくは
両方のシルエットの外部にある場合）の画素は０に設定
することにより、各入力画像について差分画像(differe
nce image)を生成する。このようにして、各差分画像内
の画素は、ステップＳ１２−８で生成されたシルエット
と、ステップＳ５−８で生成されたシルエットとが揃っ
ていない部分では値１に設定される。従って、各差分画
像中１の画素値は、縮尺された入力３Ｄコンピュータモ
デルが入力画像中の対象物体２１０のシルエット３５０
−３６６と食い違う位置を規定する。
【０１１２】ステップＳ１２−１２で、縮尺された入力
３Ｄコンピュータモデル１５０の、現時点での最良の回
転角を表す変数Ｒbestの値が、ステップＳ１２−２で設
定された入力３Ｄコンピュータモデル１５０の回転角と
なるように設定される。同様に、縮尺された入力３Ｄコ
ンピュータモデル１５０の現時点での最良の位置（変
換）を表すＴbestの値が、ステップＳ１２−２で設定さ
れた値になるよう設定される。入力３Ｄコンピュータモ
デル１５０と入力画像３００−３１６との位置合わせに
おける誤差を表す変数Ｅbestの値は、ステップＳ１２−
１０で生成された全ての差分画像における値１の画素の
合計となるように設定される。
【０１１３】これから説明するように、引き続く処理に
おいて、位置合わせコントローラ７０は、Ｅbestの値を
削減するように、縮尺された入力３Ｄコンピュータモデ
ル１５０を回転及び変換する処理を実行する。
【０１１４】より具体的には、ステップＳ１２−１４で
は、ローテータ７６及びトランスレータ７８は、ステッ
プＳ１２−４で設定された変換制限及び任意の回転制限
（ステップＳ１２−１４の第１の所定回数の反復に対し
ては回転制限は存在しないが、以下で説明するように、
第１の所定回数反復実行された後にこのような制限が導
入される）の範囲内で、入力３Ｄコンピュータモデル１
５０を無作為に回転及び変換する。
【０１１５】ステップＳ１２−１６で、３Ｄモデルプロ
ジェクタ７４は縮尺された入力３Ｄコンピュータモデル
を、ステップＳ１２−１４での回転及び変換に引き続い
て各入力画像３００−３１６へ投影する。
【０１１６】ステップＳ１２−１８で、誤差計算機８２
は、投影された入力３Ｄコンピュータモデルのシルエッ
トと画像データ分割器６０が生成したシルエット３５０
−３６６とを比較するために各入力画像を処理し、これ
らシルエットから差分画像を生成する。ステップＳ１２
−１８における処理はステップＳ１２−１０での処理と
同一であるため、ここで再度の説明は行わない。
【０１１７】ステップＳ１２−２０で、誤差計算機８２
は入力３Ｄコンピュータモデル１５０の現在の回転角及
び変換（すなわち、ステップＳ１２−１４で設定される
回転及び変換）に対する位置合わせ誤差を計算する。よ
り具体的には、ステップＳ１２−１２と同様に、誤差計
算機８２はステップＳ１２−１８で生成された差分画像
の全てについて、値１の画素の合計数として誤差を計算
する。
【０１１８】ステップＳ１２−２２で、誤差計算機８２
はステップＳ１２−２０で求められた現在の誤差が格納
された最良誤差Ｅbest未満であるか否かを判定する。ス
テップＳ１２−２２において、現在の誤差がＥbest未満
であると判断された場合には、ステップＳ１２−２４
で、現在の回転角がＲbestに、現在の位置がＴ bestに、
現在の誤差がＥbestにそれぞれ設定される。
【０１１９】一方、ステップＳ１２−２２において、現
在の誤差がＥbest以上であると判断された場合、ステッ
プＳ１２−２４は省略される。ステップＳ１２−２６
で、反復処理回数を示すカウンタの値を１増加させる。
ステップＳ１２−２８で、所定値Ｎ１（本実施形態では
５０００に設定される）と等しいか判断するため、カウ
ンタ値が読み出される。
【０１２０】ステップＳ１２−２８において、カウンタ
値がＮ１に等しいと判断された場合には、ステップＳ１
２−３０で、制限計算機８０がそれ以降ステップＳ１２
−１４でなされる入力３Ｄコンピュータモデル１５０の
回転に対して回転制限を設定する。より具体的には、本
実施形態において、制限計算機８０は、引き続く反復処
理においてステップＳ１２−１４が実行された際に、入
力３Ｄコンピュータモデル１５０がその時点での回転角
から±１０°の範囲内でのみ回転可能なように、１０°
の回転制限を設定する。このように、ステップＳ１２−
４からＳ１２−３２の反復が十分な回数実行され、縮尺
された入力３Ｄコンピュータモデルの回転角がおおよそ
正確と思われる状態になると、回転制限が導入される。
従って、縮尺された入力３Ｄコンピュータモデル１５０
のその後の反復処理における回転が制限され、位置合わ
せ精度を向上しないであろうステップＳ１２−１４での
大きく無作為な回転を防止するため、精度が向上する。
【０１２１】一方、ステップＳ１２−２８において、カ
ウンタ値が所定値Ｎ１未満であるかＮ１より大きいと判
断された場合、ステップＳ１２−３０は省略される。ス
テップＳ１２−３２で、第２の所定値Ｎ２（本実施形態
では１００００に設定される）未満であるか判断するた
め、カウンタ値が読み出される。
【０１２２】ステップＳ１２−１４からＳ１２−３２
は、ステップＳ１２−３２においてこれら処理の反復回
数が所定の閾値Ｎ２に達したと判定されるまで、入力３
Ｄコンピュータモデル１５０を無作為に回転及び変換
し、入力画像３００−３１６のセットとの位置合わせ結
果を試すために繰り返される。
【０１２３】ステップＳ１２−３４で、格納されている
値Ｒbest及びＴbestが読み出され、ローテータ７６及び
トランスレータ７８は入力３Ｄコンピュータモデル１５
０をこれらの値で規定される位置及び方向へ戻す（これ
らの値は、ステップＳ１２−１４の全ての反復を通じて
生成され、入力３Ｄコンピュータモデル１５０と入力画
像３００−３１６の位置合わせされたセットとの最良の
位置合わせを与える位置及び方向を表している）。
【０１２４】（第４の実施形態）以下、本発明の第４の
実施形態について説明する。第４の実施形態において、
位置合わせコントローラ７０は入力３Ｄコンピュータモ
デル１５０と入力画像３００−３１６の位置合わせされ
たセットとを、ユーザからの入力無しに自動的に位置合
わせするための処理を実行する。しかし、第４の実施形
態において位置合わせコントローラ７０が実行する処理
は第３の実施形態での処理と異なる。
【０１２５】第４の実施形態の構成要素及びそれによる
処理動作は、位置合わせコントローラ７０の構成要素
と、入力３Ｄコンピュータモデル１５０と入力画像３０
０−３１６とを位置合わせするために位置合わせコント
ローラ７０の構成要素によってステップＳ５−１０で実
行される処理動作を除き、第１の実施形態と同一であ
る。従って、以下の説明ではこれら差異についてのみ述
べる。
【０１２６】図１３は第４の実施形態における位置合わ
せコントローラ７０の機能部品を示す。図１３を参照し
て、位置合わせコントローラ７０はサーフェスモデラ７
２（第１の実施形態と同様）に加え、３Ｄモデルスケー
ラ８４、メッシュアライナ８６及びメッシュ位置合わせ
器８８を含んでいる。これら追加部品の処理動作は以下
で詳述する。
【０１２７】図１４は第４の実施形態において位置合わ
せコントローラ７０が、入力３Ｄコンピュータモデル１
５０を入力画像３００−３１６と位置合わせするために
ステップＳ５−１０で実行する処理動作を示す。
【０１２８】図１４を参照して、ステップＳ１４−２
で、サーフェスモデラ７２は、入力画像３００−３１６
の各々と位置合わせされる、対象物体２１０の第２の３
Ｄコンピュータモデルを生成するための処理を実行す
る。この処理は第１の実施形態においてステップＳ７−
２で実行される処理と等しいため、ここで説明を繰り返
すことはしない。
【０１２９】ステップＳ１４−４で、３Ｄモデルスケー
ラ８４は、入力３Ｄコンピュータモデル１５０のスケー
ルが、入力画像３００−３１６が位置合わせされた座標
系のスケールに対応するよう、入力３Ｄコンピュータモ
デル１５０を縮尺する（この処理は、第１の実施形態に
おいてステップＳ７−４で既に説明した縮尺動作と同一
である）。
【０１３０】ステップＳ１４−６で、メッシュアライナ
８６は縮尺された入力３Ｄコンピュータモデル１５０
を、ステップＳ１４−２で第２の３Ｄコンピュータモデ
ルが生成された座標系内に設定し（従って、入力画像３
００−３１６が位置合わせされた座標系と同じ座標系に
設定される）、縮尺された入力３Ｄコンピュータモデル
１５０及び第２の３Ｄコンピュータモデルを大まかに揃
える。
【０１３１】より具体的には、本実施形態において、メ
ッシュアライナ８６は、メッシュ内のデータ点の３主軸
を規定する固有値を各メッシュに対して計算し、各デー
タメッシュ内の点の重心を計算することにより、２つの
３Ｄコンピュータモデルのポリゴンメッシュを揃える。
そして、メッシュアライナ８６は、２つの３Ｄコンピュ
ータモデルを、それらの重心が同じ位置になり、かつモ
デルの最長及び２番目に長い主軸が揃うように揃える。
【０１３２】ステップＳ１４−８で、メッシュ位置合わ
せ器８８は縮尺された入力３Ｄコンピュータモデル１５
０とステップＳ１４−２で生成された第２の３Ｄコンピ
ュータモデルとを正確に位置合わせする（従って、入力
３Ｄコンピュータモデル１５０を入力画像３００−３１
６の位置合わせされたセットと正確に位置合わせす
る）。より具体的には、本実施形態において、メッシュ
位置合わせ器８８は、ステップＳ１４−８において、２
つの３Ｄコンピュータモデルを位置合わせするため、例
えばTurk及びLevoyによる、”距離画像からのZippardポ
リゴンメッシュ(Zippard Polygon Meshes From Range I
mages)”, Computer Graphics Proceedings,Annual Con
ference Series, 1994, ACM Siggraph, 311-318ページ,
ISBN 0-89791-667-0のセクション４に記載される逐次
最近点(ICP)アルゴリズムを用いる処理を実行する。
【０１３３】（変更及び変形物）請求範囲の範囲内で、
上述の実施形態に対して多くの変更及び変形を行うこと
が可能である。例えば、上述の実施形態において、入力
画像データは対象物体２１０の”静止”画像から構成さ
れている。しかし、入力画像はビデオカメラからの画像
データのフレームから構成されていても良い。
【０１３４】上述の実施形態において、ステップＳ５−
４で、カメラの固有パラメータを規定するユーザ入力デ
ータが格納される。しかし、代わりに、カメラパラメー
タの一部又は全部について、デフォルト値を仮定しても
よいし、例えばHartleyによる、”未校正視点からのユ
ークリッド再構成(Euclidean Reconstruction From Unc
alibrated Views)”, Applications of Invariance in
Computer Vision, Mundy, Zisserman and Forsyth eds,
237-256ページ, Azores 1993に記載されるような従来
手法により固有パラメータ値を計算するための処理を実
行しても良い。
【０１３５】上述の実施形態においては、ステップＳ５
−４で格納される入力画像は写真マット３４上の対象物
体２１０の画像から構成され、カメラ計算機５０による
処理は、各入力画像の位置及び方向がキャリブレーショ
ンパターンの基準位置及び方向に相対的に計算されるよ
うに、画像中の写真マット上のキャリブレーションパタ
ーンからの特徴部分と、キャリブレーションパターンを
規定する、記憶されたデータとを合致させるための処理
からなっていた。しかし、この代わりに、カメラ計算機
５０は、入力画像の相対位置及び方向を求めるために、
（画像と記憶されたパターンとの間の代わりに）画像間
のキャリブレーションパターンの特徴部分を合致させる
ための処理を実行してもよい。例えば、ＰＣＴ出願GB00
/04469(WO-A-01/39124)の図５３及び５４に関して記載
されるような方法を用いることができる。
【０１３６】代わりに、ステップＳ５−４で格納される
入力画像が、写真マットなしの、対象物体２１０だけの
画像から構成されても良く、またカメラ計算機５０はス
テップＳ５−６において、例えばEP-A-0898245に記載さ
れるように、（キャリブレーションパターンの特徴部分
を合致させるのではなく）対象物体２１０の特徴部分を
合致させることによって入力画像の相対位置及び方向を
計算するための処理を実行しても良い。加えて、あるい
は代わりに、カメラ計算機５０はステップＳ５−６にお
いて、（例えば異なる画像中の同一の特徴部分の位置を
特定するため、位置を指定してクリックすることによ
り）ユーザによって指示される、画像中の合致する特徴
を用いて入力画像の相対位置及び方向を計算しても良
い。
【０１３７】上述の第１及び第４の実施形態において
は、サーフェスモデラ７２が、画像データ分割器６０に
よって生成されたシルエット３５０−３６６を用いて入
力画像を処理することで、対象物体２１０の第２の３Ｄ
コンピュータモデルを生成する。しかし、代わりにサー
フェスモデラ７２は、他の処理手法を用いて入力画像か
ら第２の３Ｄコンピュータモデルを生成しても良い。例
えば、EP-A-089245に記載される手法を用いることがで
きる。
【０１３８】上述の第１及び第２の実施形態において
は、２つの３Ｄコンピュータモデルのシルエットを示す
画像４１０、４２０及び４３０（図８）及び画像５１
０、５２０及び５３０（図１０）が、直交する視方向か
ら（又は、第２の実施形態の場合、入力画像３００−３
１６から選択可能な程度直交に近い視方向から）生成さ
れる。しかし、シルエットを示す画像４１０、４２０、
４３０、５１０、５２０及び５３０は、直交しない視方
向から生成することもできる。
【０１３９】上述の第２の実施形態において、ステップ
Ｓ９−８で、ユーザは、入力画像３００−３１６が位置
合わせされている座標系に対して相対的に縮尺された入
力３Ｄコンピュータモデル１５０を回転及び変換する。
同様に、第３の実施形態のステップＳ１２−１４におい
て、縮尺された入力３Ｄコンピュータモデル１５０は入
力画像の座標系内部で回転及び変換される。しかし、代
わりに、入力画像３００−３１６の座標系を、縮尺され
た入力３Ｄコンピュータモデル１５０に相対的に変換及
び回転しても同じ効果が得られる。
【０１４０】上述の第２及び第３の実施形態において、
ステップＳ９−２及びＳ９−１２で、縮尺された入力３
Ｄコンピュータモデル１５０は、その底面の中心が写真
マット３４上のキャリブレーションパターンの中心に対
応する位置となるように、位置合わせされた入力画像３
００−３１６の座標系に配置される。上述したように、
この操作は入力３Ｄコンピュータモデル１５０の位置が
ほぼ正しいことを保証するが、入力３Ｄコンピュータモ
デル１５０の回転角が大幅に誤るかもしれないという問
題を有する。
【０１４１】この問題を解決するため、対象物体の第２
の３Ｄコンピュータモデルを入力画像を用いて（例え
ば、第１の実施形態におけるサーフェスモデラ７２に関
して記載された処理を用いて）生成し、縮尺された入力
３Ｄコンピュータモデルと生成された第２の３Ｄコンピ
ュータモデルの重心及び２つの最長主軸を計算し、揃え
るため、ステップＳ９−２及びＳ１２−２における処理
を（第４の実施形態におけるステップＳ１４−６に関し
て記載されたように）行ってもよい。入力３Ｄコンピュ
ータモデル１５０の位置のみならず回転角もほぼ正しい
ことを確実にすることによって、入力３Ｄコンピュータ
モデル１５０を入力画像３００−３１６の位置合わせさ
れたセットに正確に位置合わせするために必要となる、
第３の実施形態のステップＳ１２−１４からＳ１２−３
２の反復が少なくなるであろうため、ステップＳ１２−
３２におけるＮ２の値が削減されるであろう。
【０１４２】上述の実施形態において、処理はプログラ
ム命令によって規定される処理ルーチンを用いるコンピ
ュータによって実行される。しかしながら、処理の一部
又は全部をハードウェアを用いて実行することももちろ
ん可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の構成要素を、処理装
置の構成要素がプログラム命令によってプログラムされ
た際に構成されると考えられる概念的な機能処理ユニッ
トとともに模式的に示す図である。
【図２】図１の処理装置に入力される、対象物体の表面
を表すポリゴンメッシュからなる３Ｄコンピュータモデ
ルの例を示す図である。
【図３】対象物体の３Ｄコンピュータモデルに対するテ
クスチャデータを生成するために対象物体の画像記録を
説明する図である。
【図４】図１の処理装置に入力される対象物体の画像の
例を説明する図である。
【図５】図１の処理装置が入力データを処理するために
実行する処理動作を示す図である。
【図６】図５のステップＳ５−６及びＳ５−８で実行さ
れる処理の結果を説明する図である。
【図７】対象物体の入力３Ｄコンピュータモデルと入力
画像とを位置合わせするために第１の実施形態において
ステップＳ５−１０で実行される処理動作を示す図であ
る。
【図８】第１の実施形態においてステップＳ７−８及び
Ｓ７−１２でユーザに表示される画像を説明する図であ
る。
【図９】対象物体の入力３Ｄコンピュータモデルと入力
画像とを位置合わせするために第２の実施形態において
ステップＳ５−１０で実行される処理動作を示す図であ
る。
【図１０】第２の実施形態においてステップＳ９−６及
びＳ９−１０でユーザに表示される画像を説明する図で
ある。
【図１１】第３の実施形態における処理装置から位置合
わせコントローラの機能構成要素を示す図である。
【図１２ａ】
【図１２ｂ】
【図１２ｃ】対象物体の入力３Ｄコンピュータモデルと
入力画像とを位置合わせするために第３の実施形態にお
いてステップＳ５−１０で実行される処理動作を示す図
である。
【図１３】第４の実施形態における処理装置から位置合
わせコントローラの機能構成要素を示す図である。
【図１４】対象物体の入力３Ｄコンピュータモデルと入
力画像とを位置合わせするために第４の実施形態におい
てステップＳ５−１０で実行される処理動作を示す図で
ある。
フロントページの続き (72)発明者 アダム マイケル ボームバーグ イギリス国 アールジー12 ２エックスエ イチ， バークシャー， ブラックネル, ロンドン ロード， ザ ブラカンズ （キヤノン リサーチ センター ヨーロ ッパ リミテッド 内) (72)発明者 アレキサンダー ラルフ リオンズ イギリス国 アールジー12 ２エックスエ イチ， バークシャー， ブラックネル, ロンドン ロード， ザ ブラカンズ （キヤノン リサーチ センター ヨーロ ッパ リミテッド 内) Ｆターム(参考） 2F065 AA04 AA20 AA31 AA53 BB05 EE00 FF04 FF41 GG04 JJ03 MM06 MM11 PP22 QQ00 QQ24 QQ25 QQ28 QQ52 SS02 SS13 5B050 AA00 BA06 BA08 DA02 DA04 DA07 EA19 EA28 FA02

Claims (35)

    【特許請求の範囲】
  1. 【請求項１】 対象物体の３次元コンピュータモデルに
    対するテクスチャデータを生成する方法であって、 前記対象物体の複数の画像を、前記対象物体に関して異
    なる画像取得位置及び方向から記録するステップと、 前記画像中の特徴の位置を決定し、前記特徴の位置に基
    づいて相対的な画像取得位置及び方向を計算するために
    前記画像を規定するデータを処理し、それによって画像
    の位置合わせされたセットを生成するステップと、 前記３次元コンピュータモデルを前記画像の位置合わせ
    されたセットに位置合わせするため、前記対象物体の前
    記３次元コンピュータモデル及び前記画像の位置合わせ
    されたセットの相対的な位置及び向きを変更する処理を
    実行するステップと、 前記３次元コンピュータモデルと位置合わせされた前記
    画像を規定する画像データから、前記３次元コンピュー
    タモデルに対するテクスチャデータを生成するステップ
    とを有することを特徴とする方法。
  2. 【請求項２】 ３次元コンピュータモデルに対するテク
    スチャデータを生成するために画像データを処理する画
    像処理装置であって、 画像の位置合わせされたセットが生成されるように、前
    記画像中の特徴の位置に基づいて相対的な画像取得位置
    及び向きを計算するため、対象物体に関して異なる画像
    取得位置及び方向から記録された前記対象物体の複数の
    画像を規定するデータを処理する画像位置合わせ手段
    と、 ３次元コンピュータモデルを前記画像の位置合わせされ
    たセットに位置合わせする画像−モデル位置合わせ手段
    と、 前記３次元コンピュータモデルと位置合わせされた前記
    画像データから、前記３次元コンピュータモデルに対す
    るテクスチャデータを生成する手段とを有することを特
    徴とする装置。
  3. 【請求項３】 前記画像位置合わせ手段が、所定のキャ
    リブレーションパターンに関して各画像の相対的な前記
    画像取得位置及び向きを計算することによって、前記画
    像の画像取得位置及び向きを計算可能であることを特徴
    とする請求項２記載の装置。
  4. 【請求項４】 前記画像位置合わせ手段が、差分画像中
    のマッチングされた特徴の位置に基づいて前記画像の相
    対的な画像取得位置及び向きを計算可能であることを特
    徴とする請求項２又は請求項３記載の装置。
  5. 【請求項５】 前記画像位置合わせ手段が、前記相対的
    な画像取得位置及び向きを、ユーザによって指定された
    前記画像中の特徴に基づいて計算可能であることを特徴
    とする請求項２乃至請求項４のいずれか１項に記載の装
    置。
  6. 【請求項６】 前記画像位置合わせ手段が、差分画像中
    の特徴を検出するために前記画像を処理し、前記検出さ
    れた特徴に基づいて前記相対的な画像取得位置及び方向
    を計算可能であることを特徴とする請求項２乃至請求項
    ５のいずれか１項に記載の装置。
  7. 【請求項７】 前記画像−モデル位置合わせ手段が、 前記画像の位置合わせされたセットに位置合わせされて
    いる、前記対象物体の第２の３次元コンピュータモデル
    を生成する手段と、 前記３次元コンピュータモデルを前記画像の位置合わせ
    されたセットと位置合わせするため、前記３次元コンピ
    ュータモデルと前記第２の３次元コンピュータモデルの
    相対的な位置及び向きを変更する変換及び回転手段とを
    有することを特徴とする請求項２乃至請求項６のいずれ
    か１項に記載の装置。
  8. 【請求項８】 前記画像−モデル位置合わせ手段が、異
    なる視点位置及び方向からの複数の画像中における前記
    ３次元コンピュータモデル及び前記第２の３次元コンピ
    ュータモデルのシルエットを規定するデータを生成する
    手段を更に有することを特徴とする請求項７記載の装
    置。
  9. 【請求項９】 前記変換及び回転手段が、前記３次元コ
    ンピュータモデル及び前記第２の３次元コンピュータモ
    デルの相対的な位置及び向きを、ユーザによって入力さ
    れた信号に従って変更可能であることを特徴とする請求
    項７又は請求項８に記載の装置。
  10. 【請求項１０】 前記画像−モデル位置合わせ手段が、 前記３次元コンピュータモデルを複数の画像の各々へ投
    影する手段と、 前記３次元コンピュータモデルが投影された前記複数の
    画像の各々における、前記対象物体に関する前記３次元
    コンピュータモデルの投影を表示するための画像データ
    を生成する画像データ生成手段と、 前記３次元コンピュータモデル及び前記画像の位置合わ
    せされたセットの前記相対的な位置及び向きを、ユーザ
    によって入力された信号に従って変更する手段とを有
    し、 前記画像データ生成手段が、前記３次元コンピュータモ
    デル及び前記画像の位置合わせされたセットの前記相対
    的な位置及び向きの変更に応じて表示するための、更新
    された画像データを生成するように構成されていること
    を特徴とする請求項２乃至請求項６のいずれか１項に記
    載の装置。
  11. 【請求項１１】 前記画像データ生成手段が、前記３次
    元コンピュータモデルが投影される前記複数の画像の各
    々において、画像化された前記対象物体のシルエットに
    関連して前記３次元コンピュータモデルのシルエットを
    表示するための画像データを生成可能であることを特徴
    とする請求項１０記載の装置。
  12. 【請求項１２】 前記画像−モデル位置合わせ手段が、 複数の画像の各々へ前記３次元コンピュータモデルを投
    影する手段と、 前記３次元コンピュータモデルが投影される前記複数の
    画像の各々において、前記３次元コンピュータモデルの
    前記投影と、前記対象物体の画像とを比較する比較手段
    と、 前記３次元コンピュータモデル及び前記画像の位置合わ
    せされたセットとの前記相対的な位置及び向きを変更
    し、その位置合わせ位置及び及び向きを計算された位置
    ずれに基づいて決定する手段を有することを特徴とする
    請求項２乃至請求項６のいずれか１項に記載の装置。
  13. 【請求項１３】 前記比較手段が、前記３次元コンピュ
    ータモデルが投影される前記複数の画像の各々におい
    て、前記投影された３次元コンピュータモデルのシルエ
    ットと、前記対象物体の前記画像のシルエットとを比較
    し、前記シルエットの両方ではなく、一方のみに属する
    領域に基づいて前記位置ずれを計算することが可能であ
    ることを特徴とする請求項１２記載の装置。
  14. 【請求項１４】 ３次元コンピュータモデルに対するテ
    クスチャデータを生成するために画像データを処理する
    方法であって、 対象物体の異なる眺望の複数の画像を規定する画像デー
    タを、前記複数の画像を位置合わせするために処理する
    ステップと、 前記対象物体の３次元コンピュータモデル及び前記位置
    合わせされた画像の少なくとも一方を、前記３次元コン
    ピュータモデルを前記画像に位置合わせするために変換
    及び回転するステップと、 前記画像データから前記３次元コンピュータモデルに対
    するテクスチャデータを規定するステップとを有するこ
    とを特徴とする方法。
  15. 【請求項１５】 前記複数の画像を位置合わせするた
    め、各画像をキャリブレーションパターンに対して位置
    合わせする処理を行うことを特徴とする請求項１４記載
    の方法。
  16. 【請求項１６】 前記複数の画像が、その中の対応する
    特徴の位置に基づいて、互いに位置合わせされることを
    特徴とする請求項１４又は請求項１５記載の方法。
  17. 【請求項１７】 前記複数の画像が、ユーザによって指
    定された前記複数の画像内の特徴に基づいて位置合わせ
    されることを特徴とする請求項１４乃至請求項１６のい
    ずれか１項に記載の方法。
  18. 【請求項１８】 前記画像データが、対応する特徴を検
    出するために処理され、前記複数の画像が、前記検出さ
    れた特徴に基づいて位置合わせされることを特徴とする
    請求項１４乃至請求項１７のいずれか１項に記載の方
    法。
  19. 【請求項１９】 前記３次元コンピュータモデルと前記
    複数の画像との位置合わせを行うステップが、 前記複数の画像に位置合わせされている、前記対象物体
    の第２の３次元コンピュータモデルを生成するために前
    記画像データを処理するステップと、 前記３次元コンピュータモデル及び前記複数の画像の相
    対的な回転角及び変換を変えるため、前記３次元コンピ
    ュータモデル及び前記第２の３次元コンピュータモデル
    の少なくとも１つを変換及び回転するステップとを有す
    ることを特徴とする請求項１４乃至請求項１８のいずれ
    か１項に記載の方法。
  20. 【請求項２０】 前記３次元コンピュータモデルと前記
    複数の画像の位置合わせを行うステップが、 異なる視点及び方向からの複数の画像の各々における、
    前記３次元コンピュータモデル及び前記第２の３次元コ
    ンピュータモデルのシルエットを規定するデータを生成
    するステップを有することを特徴とする請求項１９記載
    の方法。
  21. 【請求項２１】 前記変換及び回転が、ユーザによって
    入力される信号に従って実行されることを特徴とする請
    求項１９又は請求項２０記載の方法。
  22. 【請求項２２】 前記３次元コンピュータモデルと前記
    複数の画像との位置合わせを行うステップが、 前記３次元コンピュータモデルを前記複数の画像の各々
    へ投影するステップと、 前記３次元コンピュータモデルが投影される前記複数の
    画像の各々における、前記対象物体に関する前記３次元
    コンピュータモデルの投影を表す、ユーザへ表示するた
    めの画像データを生成するステップと、 前記３次元コンピュータモデルと前記位置合わせされた
    画像の少なくとも一方を、前記ユーザからの入力信号に
    従って変換及び回転するステップと、 前記変換及び回転の結果をユーザに表示するための、更
    新された画像データを生成するステップとを有すること
    を特徴とする請求項１４乃至請求項１８のいずれか１項
    に記載の方法。
  23. 【請求項２３】 前記表示のために生成される画像デー
    タが、前記３次元コンピュータモデルが投影される前記
    複数の画像の各々における、前記画像化された対象物体
    のシルエットに関連して前記投影された３次元コンピュ
    ータモデルのシルエットを表すデータを有することを特
    徴とする請求項２２記載の方法。
  24. 【請求項２４】 前記３次元コンピュータモデルと前記
    複数の画像との位置合わせを行うステップが、 前記３次元コンピュータモデル及び前記位置合わせされ
    た複数の画像の少なくとも一方を変換及び回転させるス
    テップであって、 異なる相対的な回転及び変換について、 − 前記３次元コンピュータモデルを前記複数の画像の
    各々に投影するステップと、 − 前記３次元コンピュータモデルが投影される前記複
    数の画像の各々における前記対象物体の画像データと、
    前記３次元コンピュータモデルの前記投影を、これらの
    位置ずれを計算するために比較するステップを有するス
    テップと、 前記位置ずれに基づいて、前記３次元コンピュータモデ
    ルと前記位置合わせされた複数の画像との位置合わせを
    判定するステップとを有することを特徴とする請求項１
    ４乃至請求項１８のいずれか１項に記載の方法。
  25. 【請求項２５】 前記投影された３次元コンピュータモ
    デルのシルエットと、前記対象物体の画像のシルエット
    が、前記３次元コンピュータモデルが投影される複数の
    画像の各々において比較され、前記位置ずれが前記シル
    エットの重ならない部分の大きさに基づいて計算される
    ことを特徴とする請求項２４記載の方法。
  26. 【請求項２６】 前記３次元コンピュータモデル及び当
    該モデル用のテクスチャデータを搬送する信号を生成す
    るステップを更に有することを特徴とする請求項１４乃
    至請求項２５のいずれか１項に記載の方法。
  27. 【請求項２７】 前記信号を直接的又は間接的に記録す
    ることにより、前記３次元コンピュータモデル及び前記
    テクスチャデータの記録を生成するステップを更に有す
    ることを特徴とする請求項２６記載の方法。
  28. 【請求項２８】 対象物体の３次元コンピュータモデル
    に対するテクスチャデータを生成する方法であって、 対象物体の異なる眺望を含む複数の画像を規定するデー
    タと、前記複数の画像の相対的な位置及び向きを規定す
    るデータを受信するステップと、 前記複数の画像に対して未定義な位置及び向きを有す
    る、前記対象物体の３次元コンピュータモデルを規定す
    るデータを受信するステップと、 前記複数の画像の前記相対的な位置及び向きを規定する
    データに基づいて、前記複数の画像及び前記３次元コン
    ピュータモデルを同一の３次元空間に配置し、前記３次
    元コンピュータモデル及び前記複数の画像の前記相対的
    な位置及び向きを調整するための処理を実行するステッ
    プと、 前記相対的な位置及び向きを調整するための処理の後
    に、前記複数の画像から前記３次元コンピュータモデル
    に対するテクスチャデータを生成するステップとを有す
    ることを特徴とする方法。
  29. 【請求項２９】 対象物体の３次元コンピュータモデル
    に対するテクスチャデータを生成する装置であって、 対象物体の異なる眺望を含む複数の画像を規定するデー
    タと、前記複数の画像の相対的な位置及び向きを規定す
    るデータを受信する手段と、 前記複数の画像に対して未定義な位置及び向きを有す
    る、前記対象物体の３次元コンピュータモデルを規定す
    るデータを受信する手段と、 前記複数の画像の前記相対的な位置及び向きを規定する
    データに基づいて、前記複数の画像及び前記３次元コン
    ピュータモデルを同一の３次元空間に配置し、前記３次
    元コンピュータモデル及び前記複数の画像の前記相対的
    な位置及び向きを調整するための処理を実行する手段
    と、 前記相対的な位置及び向きを調整するための処理の後
    に、前記複数の画像から前記３次元コンピュータモデル
    に対するテクスチャデータを生成する手段とを有するこ
    とを特徴とする方法。
  30. 【請求項３０】 対象物体の３次元コンピュータモデル
    に対するテクスチャデータを生成する方法であって、 対象物体の異なる眺望を含む複数の画像を規定するデー
    タを受信するステップと、 前記３次元コンピュータモデル及び前記複数の画像の相
    対的な位置及び向きを、前記複数の画像の前記相対的な
    位置及び向きを変えることなく変更するための処理を実
    行するステップと、 前記複数の画像の前記変更されない相対的な位置及び向
    き及び、前記３次元コンピュータモデル及び前記複数の
    画像の前記変更された相対的な位置及び向きに基づい
    て、前記複数の画像から前記３次元コンピュータモデル
    に対するテクスチャデータを生成するステップとを有す
    ることを特徴とする方法。
  31. 【請求項３１】 対象物体の３次元コンピュータモデル
    に対するテクスチャデータを生成する装置であって、 対象物体の異なる眺望を含む複数の画像を規定するデー
    タを受信する手段と、前記３次元コンピュータモデル及
    び前記複数の画像の相対的な位置及び向きを、前記複数
    の画像の前記相対的な位置及び向きを変えることなく変
    更するための処理を実行する手段と、 前記複数の画像の前記変更されない相対的な位置及び向
    き及び、前記３次元コンピュータモデル及び前記複数の
    画像の前記変更された相対的な位置及び向きに基づい
    て、前記複数の画像から前記３次元コンピュータモデル
    に対するテクスチャデータを生成する手段とを有するこ
    とを特徴とする装置。
  32. 【請求項３２】 プログラム可能な処理装置が、請求項
    １３、請求項２９及び請求項３１の少なくとも１つに記
    載の装置として構成されるようにする命令を格納する記
    憶装置。
  33. 【請求項３３】 プログラム可能な処理装置が、請求項
    １４、請求項２８及び請求項３０の少なくとも１つに記
    載の方法を実行可能なようにする命令を格納する記憶装
    置。
  34. 【請求項３４】 プログラム可能な処理装置が、請求項
    １３、請求項２９及び請求項３１の少なくとも１つに記
    載の装置として構成されるようにする命令を搬送する信
    号。
  35. 【請求項３５】 プログラム可能な処理装置が、請求項
    １４、請求項２８及び請求項３０の少なくとも１つに記
    載の方法を実行可能なようにする命令を搬送する信号。
JP2002321742A 2001-11-05 2002-11-05 画像処理装置 Withdrawn JP2003187265A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB0126528.9 2001-11-05
GB0126528A GB2383245B (en) 2001-11-05 2001-11-05 Image processing apparatus

Publications (1)

Publication Number Publication Date
JP2003187265A true JP2003187265A (ja) 2003-07-04

Family

ID=9925168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002321742A Withdrawn JP2003187265A (ja) 2001-11-05 2002-11-05 画像処理装置

Country Status (3)

Country Link
US (1) US6975326B2 (ja)
JP (1) JP2003187265A (ja)
GB (1) GB2383245B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010510569A (ja) * 2006-11-17 2010-04-02 トムソン ライセンシング ２次元から３次元に変換するためのオブジェクトのモデルフィッティング及びレジストレーションのシステム及び方法
KR102173190B1 (ko) * 2019-07-29 2020-11-02 주식회사 디오에프연구소 3차원 스캐닝 장치 및 방법

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3854033B2 (ja) * 2000-03-31 2006-12-06 株式会社東芝 機構シミュレーション装置及び機構シミュレーションプログラム
GB0224449D0 (en) * 2002-10-21 2002-11-27 Canon Europa Nv Apparatus and method for generating texture maps for use in 3D computer graphics
EP1588327B1 (en) * 2003-01-17 2018-09-26 Koninklijke Philips N.V. Full depth map acquisition
GB2400288B (en) * 2003-04-02 2005-12-28 Canon Europa Nv Generating texture maps for use in 3D computer graphics
GB0310504D0 (en) 2003-05-07 2003-06-11 Canon Europa Nv Photographing apparatus,device and method for obtaining images to be used for creating three-dimensional model
GB2405776B (en) * 2003-09-05 2008-04-02 Canon Europa Nv 3d computer surface model generation
GB2406252B (en) 2003-09-18 2008-04-02 Canon Europa Nv Generation of texture maps for use in 3d computer graphics
GB2415344B (en) * 2004-06-14 2010-10-06 Canon Europa Nv Texture data compression and rendering in 3D computer graphics
US8396329B2 (en) * 2004-12-23 2013-03-12 General Electric Company System and method for object measurement
CN100462675C (zh) * 2005-12-23 2009-02-18 鸿富锦精密工业（深圳）有限公司 三次元离线扫描编程系统及方法
BRPI0721462A2 (pt) * 2007-03-23 2013-01-08 Thomson Licensing sistema e mÉtodo para classificaÇço de regiço de imagens em 2d para conversço de 2d para 3d
CN101673312B (zh) * 2008-09-08 2012-12-19 鸿富锦精密工业（深圳）有限公司 特征元素对齐方法
US8422825B1 (en) * 2008-11-05 2013-04-16 Hover Inc. Method and system for geometry extraction, 3D visualization and analysis using arbitrary oblique imagery
US8339583B2 (en) * 2009-07-17 2012-12-25 The Boeing Company Visual detection of clear air turbulence
EP2462537A1 (en) 2009-08-04 2012-06-13 Eyecue Vision Technologies Ltd. System and method for object extraction
US9595108B2 (en) * 2009-08-04 2017-03-14 Eyecue Vision Technologies Ltd. System and method for object extraction
ES2743529T3 (es) * 2011-11-08 2020-02-19 Saab Ab Procedimiento y sistema de determinación de una relación entre una primera escena y una segunda escena
DE102013014475B4 (de) 2012-08-29 2020-11-12 Technische Universität Ilmenau Verfahren zur Erkennung und Kompensation von Messabweichungen während des Betriebes einer optischen Messvorrichtung, optisches Messverfahren und optische Messvorrichtung
US10588597B2 (en) 2012-12-31 2020-03-17 Intuitive Surgical Operations, Inc. Systems and methods for interventional procedure planning
US9269022B2 (en) 2013-04-11 2016-02-23 Digimarc Corporation Methods for object recognition and related arrangements
FR3013492B1 (fr) * 2013-11-15 2017-04-14 Ortery Tech Inc Procede utilisant des donnees de geometrie 3d pour une presentation et une commande d'image de realite virtuelle dans un espace 3d
US9489765B2 (en) 2013-11-18 2016-11-08 Nant Holdings Ip, Llc Silhouette-based object and texture alignment, systems and methods
CN107073346A (zh) 2014-09-10 2017-08-18 孩之宝公司 具有手动操作的扫描器的玩具系统
CN105657210B (zh) * 2016-02-02 2019-10-18 上海玮舟微电子科技有限公司 3d打印显示方法、系统及电子设备
US10565733B1 (en) * 2016-02-28 2020-02-18 Alarm.Com Incorporated Virtual inductance loop
EP3220357A3 (de) * 2016-03-15 2018-01-10 Siemens Healthcare GmbH Modellhaftes erzeugen und darstellen von dreidimensionalen objekten
CN113469877B (zh) * 2021-09-01 2021-12-21 北京德风新征程科技有限公司 物体展示方法、场景展示方法、设备和计算机可读介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3347508B2 (ja) * 1995-02-24 2002-11-20 キヤノン株式会社 撮像画像処理装置および撮像画像処理方法
US6640004B2 (en) * 1995-07-28 2003-10-28 Canon Kabushiki Kaisha Image sensing and image processing apparatuses
JP3869876B2 (ja) 1995-12-19 2007-01-17 キヤノン株式会社 画像計測方法及び画像計測装置
US6081273A (en) * 1996-01-31 2000-06-27 Michigan State University Method and system for building three-dimensional object models
US6445814B2 (en) * 1996-07-01 2002-09-03 Canon Kabushiki Kaisha Three-dimensional information processing apparatus and method
US6356272B1 (en) * 1996-08-29 2002-03-12 Sanyo Electric Co., Ltd. Texture information giving method, object extracting method, three-dimensional model generating method and apparatus for the same
US6137893A (en) 1996-10-07 2000-10-24 Cognex Corporation Machine vision calibration targets and methods of determining their location and orientation in an image
DE69823116D1 (de) 1997-08-05 2004-05-19 Canon Kk Bildverarbeitungsverfahren und -gerät
JPH11328441A (ja) 1998-05-11 1999-11-30 Hitachi Ltd グラフィックス表示制御方法およびコンピュータグラフイックス
US6281904B1 (en) * 1998-06-09 2001-08-28 Adobe Systems Incorporated Multi-source texture reconstruction and fusion
US6563499B1 (en) 1998-07-20 2003-05-13 Geometrix, Inc. Method and apparatus for generating a 3D region from a surrounding imagery
JP4025442B2 (ja) * 1998-12-01 2007-12-19 富士通株式会社 三次元モデル変換装置及び方法
JP2000268189A (ja) 1999-03-18 2000-09-29 Airemu Software Engineering Kk 画像表示方法、画像表示装置およびそれを備えた遊技機並びにプログラムを記憶した記憶媒体
JP2000339499A (ja) * 1999-05-27 2000-12-08 Mitsubishi Electric Corp テクスチャマッピング・テクスチャモザイク処理装置
DE60028075D1 (de) 1999-11-23 2006-06-22 Canon Kk Bildverarbeitungsgerät
GB2358307B (en) 1999-11-25 2004-03-24 Canon Kk Image processing apparatus
US7065242B2 (en) 2000-03-28 2006-06-20 Viewpoint Corporation System and method of three-dimensional image capture and modeling
US7728848B2 (en) 2000-03-28 2010-06-01 DG FastChannel, Inc. Tools for 3D mesh and texture manipulation
GB2369541B (en) 2000-10-27 2004-02-11 Canon Kk Method and aparatus for generating visibility data
EP1204073B1 (en) 2000-10-27 2007-01-31 Canon Kabushiki Kaisha Image generation method and apparatus
GB2369260B (en) 2000-10-27 2005-01-19 Canon Kk Method and apparatus for the generation of composite images
GB2377870B (en) 2001-05-18 2005-06-29 Canon Kk Method and apparatus for generating confidence data
GB2378337B (en) 2001-06-11 2005-04-13 Canon Kk 3D Computer modelling apparatus
GB0114157D0 (en) 2001-06-11 2001-08-01 Canon Kk 3D Computer modelling apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010510569A (ja) * 2006-11-17 2010-04-02 トムソン ライセンシング ２次元から３次元に変換するためのオブジェクトのモデルフィッティング及びレジストレーションのシステム及び方法
JP4896230B2 (ja) * 2006-11-17 2012-03-14 トムソン ライセンシング ２次元から３次元に変換するためのオブジェクトのモデルフィッティング及びレジストレーションのシステム及び方法
KR102173190B1 (ko) * 2019-07-29 2020-11-02 주식회사 디오에프연구소 3차원 스캐닝 장치 및 방법
WO2021020883A1 (ko) * 2019-07-29 2021-02-04 주식회사 디오에프연구소 3차원 스캐닝 장치 및 방법

Also Published As

Publication number Publication date
GB2383245B (en) 2005-05-18
US6975326B2 (en) 2005-12-13
GB2383245A (en) 2003-06-18
GB0126528D0 (en) 2002-01-02
US20030085890A1 (en) 2003-05-08

Similar Documents

Publication Publication Date Title
JP2003187265A (ja) 画像処理装置
US6954212B2 (en) Three-dimensional computer modelling
US10636206B2 (en) Method and system for generating an image file of a 3D garment model on a 3D body model
EP1355277B1 (en) Three-dimensional computer modelling
US10867453B2 (en) Method and system for generating an image file of a 3D garment model on a 3D body model
CN104937635B (zh) 基于模型的多假设目标追踪器
CN106780619B (zh) 一种基于Kinect深度相机的人体尺寸测量方法
JP4785880B2 (ja) 三次元オブジェクト認識のためのシステムおよび方法
CN108027979B (zh) 用于角色动画的鲁棒的属性转移
Stamos et al. Integration of range and image sensing for photo-realistic 3D modeling
Xi et al. Analysis of segmented human body scans
Pagani et al. Dense 3D Point Cloud Generation from Multiple High-resolution Spherical Images.
Wang et al. Dynamic human body reconstruction and motion tracking with low-cost depth cameras
CN117036612A (zh) 一种基于神经辐射场的三维重建方法
US11645800B2 (en) Advanced systems and methods for automatically generating an animatable object from various types of user input
Wuhrer et al. Finite element based tracking of deforming surfaces
CN114708382A (zh) 基于增强现实的三维建模方法、装置、存储介质、设备
EP3779878A1 (en) Method and device for combining a texture with an artificial object
JP2003123057A (ja) ３次元形状モデルの生成方法および装置
Chen et al. Sketching in the air: a vision-based system for 3d object design
CN113298932B (zh) 一种小行星3d模拟模型立体重建方法
CN117876492A (zh) 姿态调整方法、装置、设备及存储介质
CN116724331A (zh) 系列照片的三维建模
Alam et al. Environment modelling for robot vision using kinect
Bengtsson Indoor 3D Mapping using Kinect

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20060110