JP2003515829A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 画像処理システムにおいて、被写体オブジェクト（４００）が、写真マット（３４）又は３次元オブジェクト（２５００）の形態を有する校正オブジェクト上に配置される。校正オブジェクトは、複数の特徴から構成されるパターンを有し、任意のクラスタの特徴が、特徴の位置、結合性、形状、大きさ及び／又は色に基づく少なくとも２つの異なる関係を満たすように、これらの特徴の少なくとも一部が、クラスタにグループ化される。各々被写体オブジェクト（４００）及び校正オブジェクトの少なくとも一部を示す画像（４２０から４２６）が、様々に異なる位置及び向きから記録される。画像データは処理され、画像が記録された位置及び向きが計算される。画像に対するデータを処理する際に、校正オブジェクト上の特徴を表す特徴は、被写体オブジェクト（４００）上の特徴を表す特徴と区別され、各特徴は、校正オブジェクト上の一意的な特徴としてラベル付けされる。これは、クラスタ及びその中の特徴間の関係を使用して処理を実行することによって行なわれる。

Description

【発明の詳細な説明】

【０００１】 本発明は、オブジェクトの画像の記録及び画像が記録された位置及び向きを決
定するための画像データの処理に関する。更に特定すれば、本発明は、オブジェ
クトと共に撮影するためのパターンを規定された校正オブジェクトと、画像にお
ける校正オブジェクトのパターンに基づいて撮影位置及び向きを決定するための
画像データのコンピュータ処理とに関する。

【０００２】 幾つかの適用例では、撮影装置の画像記録位置及び向きを知ることが必要であ
る。このような適用例では、オブジェクトの画像からその３次元コンピュータモ
デルを生成することが含まれる。

【０００３】 この情報を提供するための１つの既知の方法では、オブジェクトの画像が記録
された後にその位置及び向きが計算される。これは、画像を処理し、様々な画像
中のオブジェクト上の特徴を照合し、画像中の整合する特徴の各位置によって各
画像の位置及び向きを計算することによって行なわれる。しかし、この方法では
、計算された位置及び向きの正確さは、画像中で特徴が正確に照合されることに
大きく依存するという問題がある。オブジェクトが相互に区別できない複数の特
徴を有する場合などには、正確な照合を達成することが不可能なことが多い。

【０００４】 別の方法では、画像が記録される位置及び向きは、オブジェクトの画像が実際
に記録される前に決定される。

【０００５】 例えば、ある既知の方法では、複数台のカメラが三脚上の固定且つ既知の位置
及び向きで保持される。高精度の位置及び向きのデータが得られるが、この方法
は費用が高く、融通性に欠ける。校正済の三脚と共に２台以上のカメラが必要で
あり、オブジェクトの大きさ及び性質によってユーザが自由に撮影位置を選択す
ることができない。

【０００６】 上述のシステムにおける融通性の欠如の問題に対処するために、例えば、ワイ
ル（Wiles）及びデイビソン（Davison）の「マルチカメラシステムによる構成と
３次元モデリング（Calibrating and 3D Modelling with a Multi-Camera Syste
m）」（1999 IEEE Workshop on Multi-View Modelling and Analysis of Visual
Scenes、ISBN 0769501109）にあるように、所望且つ固定の位置及び向き（三脚
上など）に複数台のカメラを配置することが知られている。続いて、特徴が既知
の構成で配置された校正オブジェクトの画像が記録され、各カメラからの画像が
処理されて校正オブジェクト上の特徴の画像中の位置に基づいてカメラの位置及
び向きが計算される。校正オブジェクトは撮影対象の実際のオブジェクトと置き
換えられる。このようにすれば、位置及び向きを計算するときに、校正オブジェ
クト上の特徴と実際のオブジェクト上の特徴とを混同することがない。

【０００７】 固定位置にカメラを配置し、校正オブジェクトの画像を記録し、実際のオブジ
ェクトの画像を記録し、校正オブジェクトの画像を処理してカメラの位置及び向
きを決定することで、１台のカメラの場合でも同じ方法を使用することができる
。この処理は、カメラの新規の所望位置及び向きごとに繰り返される。

【０００８】 しかし、この方法では、カメラの各位置及び向きに対して少なくとも２つの画
像（校正オブジェクトの画像及び実際のオブジェクトの画像）を記録しなければ
ならず、カメラはこれらの画像を記録するために固定しなければならない。

【０００９】 この問題に対処する１つの方法は、校正オブジェクトと実際のオブジェクトの
双方を示す所望の記録位置及び向きごとに単一の画像を記録し、画像を処理して
校正オブジェクト上の特徴を表現する特徴を実際のオブジェクト上の特徴を表現
する特徴と区別し、校正オブジェクト上の特徴を表現する特徴を使用して画像が
記録された位置及び向きを計算することである。

【００１０】 ニエム（Niem）の「移動カメラを用いた３次元物体の自動再構成（Automatic
Reconstruction of 3D Objects Using A Mobile Camera）」（Image and Vision
Computer 17（１９９９年）、１２５〜１３４ページ）は、オブジェクトの画像
及びこのオブジェクトの下方に配置された校正パターンにおける同時取得を開示
している。校正パターンは回転対称であり、各象限で複数の同心円を大きさがわ
かっている半径方向線分及び位置マーカで結ぶことにより形成される。校正パタ
ーン上の校正点の画像中の位置を決定するために、まず、校正パターンは、画像
中のオブジェクト及び背景から分離され、次に、抽出された校正パターンが処理
されて校正点が見出される。すなわち、抽出された校正パターンは、投射された
半径方向線分と２つの楕円（校正パターン中の円に起因）との交点の画像中の位
置を分析的に計算するために処理される。しかし、この方法にも多くの問題点が
ある。特に、処理はコンピュータの面から見て、高コストであり及び／又は時間
がかかる。オブジェクトに関連する画像データを校正パターンに関連する画像デ
ータから分離し、線分及び２つの楕円（画像中では同心円にならない）のパラメ
ータを算定する必要がある。更に、後続の方法では、各楕円の１２０°の円弧が
画像で見える必要があり、少なくとも１つの位置マーカ及び２つの隣接する線分
が検出されなければならない。

【００１１】 ゴートラ（Gortler）他の「ルミグラフ（The Lumigraph）」（Computer Graph
ics Proceedings, Annual Conference Series、１９９６年、ACM-0-89791-746-4
/96/008）は、校正台上に所望のオブジェクトの画像を記録することによって、
カメラのポーズ（厳密な回転及び並進）を算定する方法を開示している。校正台
は、直角をなすように取り付けられた２つの壁部と、この壁部から取外し可能で
あり、９０°のインクリメントで回転させることができる基部とを有する。各々
幾つかの同心リングから成るマーカは、台の側面及び基部に沿って配置される。
ポーズの算定のために画像中にマーカを配置するには、画像を処理して類似の重
心を有する相互に結合された構成要素を識別する。各マーカにおける各半径の比
を使用することで、マーカは一意的に識別される。しかし、この方法にも多くの
問題点がある。特に、マーカの識別では円の半径を計算する必要があり、この計
算は、特に、カメラポーズが傾斜している場合には不正確になる可能性があり、
その結果、マーカの誤認が生じる恐れがある。更に、各マーカを構成するのに複
数の円を使用するため、マーカは大きくする必要がある。このため、オブジェク
トにより少なくともマーカの一部が隠蔽される可能性が高くなり、マーカの識別
を妨害することになる。また、上述の「移動カメラを用いた３次元物体の自動再
構成（Automatic Reconstruction of 3D Objects Using A Mobile Camera）」で
示したように、透視投影により各円は画像中に同心を有しないので、各マーカは
カメラポーズを計算するのに１点（同心円の中心）しか提供せず、また、画像中
でのこの点の位置が決定される際の正確さは制限される。従って、計算されたカ
メラポーズの正確さは低下することになる。

【００１２】 特開平第９−１７０９１４号は、面の校正オブジェクトと共にオブジェクトを
撮影することによって、撮影パラメータを計算し、オブジェクトの３Ｄコンピュ
ータモデルを生成する方法を開示している。この校正オブジェクトは、各々の対
応するドットが一意のものであるように各ドットが異なる色相／輝度の組み合わ
せを有する着色ドットのパターンを有する。各ドット間の位置関係はわかってお
り、オブジェクト及び校正オブジェクトを示す画像中の各ドットを識別すること
によって、画像用の撮影パラメータが計算され、オブジェクトの３Ｄコンピュー
タモデルが生成される。しかし、この方法でも、多くの問題点がある。特に、ド
ット数が多く、各ドット間の色相／輝度の差異が小さいため、画像中の校正オブ
ジェクト上の各ドットを識別するのは困難である。更に、モデリング対象のオブ
ジェクト上の各特徴は校正オブジェクト上の各点と同じ色相／輝度特性を有する
ので、画像中の特定の特徴が校正オブジェクト上のドットであるのか、あるいは
、モデリング対象のオブジェクト上の特徴であるのかの決定が不可能であること
が多い。

【００１３】 本発明は、上述の問題の１つ以上に対処することを目的とする。

【００１４】 本発明によると、被写体オブジェクトが校正オブジェクトと同時に撮影され、
各画像が処理されて記録された位置及び向きが決定される画像処理システム又は
方法が提供される。校正オブジェクトは、複数の特徴から構成されるパターンを
有し、特徴の少なくとも一部は、クラスタの各特徴が少なくとも２つの関係を満
たすように複数のクラスタにグループ化される。画像に対するデータを処理する
際に、校正オブジェクト上の特徴を表現する画像中の特徴は、クラスタの特徴間
の様々に異なる関係を使用して、被写体オブジェクト上の特徴を表現する画像中
の特徴と区別される。

【００１５】 これらの要素により、画像中の校正のパターン特徴の検出を確実に行なうこと
ができ、各画像の位置及び向きを正確に計算することができる。確実性が生じる
のは、特徴のクラスタ化を使用して校正オブジェクト上の特徴を表現する画像中
の特徴をその他の特徴と区別することができるからである。

【００１６】 各特徴は、構成オブジェクト上の各位置を定義しても良く、画像中の各特徴と
校正オブジェクトとの１対１の対応が定義されても良い。これにより、撮影位置
及び向きを計算するための多数の対応が提供され、正確さが向上する。

【００１７】 画像中の検出を容易にするために、校正オブジェクト上の特徴の一部は、視覚
的にほぼ同一であっても良い。

【００１８】 画像中の特徴と校正オブジェクト上の特徴との１対１の対応が任意に割り当て
られて検査されても良く、これらのステップは、正確な対応を決定するために複
数回の同調を繰り返した。あるいは、校正オブジェクトは、特徴の一部及び／又
はクラスタの一部がその他のものから視覚的に区別可能であるように構成されて
も良く、１対１の対応は、画像中の識別可能な特徴／クラスタの検出に続く計算
により割り当てられても良い。

【００１９】 画像が処理されるとき、画像中の特徴を各々同じ所定の数の特徴を有する複数
のクラスタにグループ化するために処理が行なわれても良い。

【００２０】 校正オブジェクト上のパターンは、少なくとも一部のクラスタが線上に配置さ
れた所定の数の特徴から成るように設けられても良く、この関係を使用して画像
中のどの特徴が、画像中の検出された特徴を関係を満たす複数のクラスタにグル
ープ化することによって校正オブジェクト上の特徴を表現するのかを仮定しても
良い。仮定されたクラスタは、例えば、特徴が直線上に等間隔に離間して配置さ
れている等の第２の関係を満たす特徴をどのクラスタが含むかを決定するために
検査されても良い。このようにして、校正オブジェクト上のクラスタに対応する
画像中のクラスタは、その他のクラスタ（例えば、被写体オブジェクト上の特徴
のクラスタなど）と区別することができる。従って、特徴の位置に基づく２つの
関係がこの処理で使用される。すなわち、同種の２つの関係が使用される。

【００２１】 しかし、異なる種類の関係が使用されても良い。例えば、少なくともクラスタ
の一部が、あるクラスタの任意の２つの特徴間の距離がそのあるクラスタの特徴
と別のクラスタの特徴との間の距離よりも短いという第１の関係（すなわち、位
置的関係）とあるクラスタの各特徴の大きさがほぼ同じであるという第２の関係
（すなわち、大きさの関係）とを提供するように構成された所定の数の特徴から
成るように、校正オブジェクトは設けられても良い。第１の関係に基づく画像中
の特徴のクラスタを生成するための処理が、クラスタを形成する画像中の特徴の
所定の数を画像中で検出される各特徴に対して決定することによって行なわれて
も良い。クラスタ中の各対の特徴間の各距離の合計は、ある特徴と所定の数のそ
の他の特徴とから成るクラスタ中の各対の特徴間の各距離の合計より短い。

【００２２】 また、本発明は、校正オブジェクト及び被写体オブジェクトの画像データが処
理されて画像の撮影パラメータが決定される画像処理装置又は方法を提供する。
校正オブジェクトは、特徴の複数のパターンを有し、各パターン中の特徴は、少
なくとも２つの検出可能な特性により関連付けられている。画像データは処理さ
れて、双方の特性を満たす特徴を有するパターンが検出される。それにより、校
正オブジェクトの特徴を画像中のその他の特徴と確実に区別することができる。

【００２３】 校正オブジェクトは、２次元の写真マットの形態をとっても、あるいは、立方
体などの３次元のオブジェクトであっても良い。

【００２４】 また、本発明は、システム内で使用するための校正オブジェクトとそのシステ
ムで使用するための画像データ処理装置及び方法とを提供する。

【００２５】 更に、本発明は、校正オブジェクトに対するパターンを生成するようにプリン
タ又は表示装置を制御するための信号を発生する装置又は方法を提供する。

【００２６】 また、本発明は、プログラム可能な処理装置をシステム内で使用されるように
構成させるための命令から構成されるコンピュータプログラム製品を提供する。

【００２７】 次に、添付の図面を参照して、単なる一例としての本発明の実施例を説明する
。

【００２８】 第１実施例 図１を参照すると、本発明の一実施例は、従来の通りに１つ以上のプロセッサ
と、複数のメモリと、グラフィックスカードなどを含むパーソナルコンピュータ
のような処理装置２と、従来通りのパーソナルコンピュータモニタのような表示
装置４と、キーボード、マウスなどのユーザ入力装置６と、プリンタ８と、ワコ
ム（WACOM）製造のPL400などの、制御可能画素を有するフラットパネルから構成
される表示パネル１０とを具備する。

【００２９】 処理装置２は、例えば、ディスク１２などのデータ記憶媒体に格納されたデー
タとして及び／又は遠隔データベース等からインターネットなどの通信ネットワ
ーク（図示せず）を介する送信、あるいは大気中を通過する送信により処理装置
２に入力され且つ／又はキーボードなどのユーザ入力装置６を介してユーザによ
り入力される信号１４として入力されるプログラミング命令に従って動作するよ
うにプログラムされている。処理装置２に対するプログラミング命令は、コンパ
イル済のコンピュータ実行可能コードとして提供されても良く、あるいは、コン
パイル済形式への変換のための形式（ソースコードなど）で提供されても良い。

【００３０】 以下により詳細に説明するが、それらのプログラミング命令は、様々に異なる
位置及び向きで記録された被写体オブジェクトと及び特徴の特別な校正パターン
を有する校正オブジェクトとの複数の画像を定義する入力データを処理するよう
に処理装置２を構成させるための命令である。入力データが処理されると、画像
中の校正パターンの各特徴の位置及び向きを検出し且つ使用することによって、
入力画像が記録された位置及び向きを定義するデータが生成されると共に、計算
された位置及び向きを使用して被写体オブジェクトの３次元コンピュータモデル
を定義するデータが生成される。この実施例では、校正オブジェクトは２次元写
真マットの形態を有する。

【００３１】 処理装置２は、プログラミング命令によりプログラミングされたとき、処理動
作を実行するためのいくつかの機能ユニットとして構成されたと考えることがで
きる。そのような機能ユニットの例及びそれらの相互接続関係を図１に示す。し
かし、図１に示すユニット及び相互接続は概念上のものであり、理解を助けると
いう目的のために示されているにすぎない。従って、それらは、処理装置２のプ
ロセッサ、メモリなどが構成されるユニットや接続を必ずしも表してはいない。

【００３２】 図１に示す機能ユニットを説明すると、中央制御装置２０はユーザ入力装置６
からの入力を処理すると共に、その他の機能ユニットの制御及び処理を実行する
。メモリ２４は、中央制御装置２０及びその他の機能ユニットにより使用される
べく設けられている。

【００３３】 マット発生器３０は、紙などの記録媒体上に校正パターンを印刷して写真マッ
ト３４を形成するため、あるいは、表示パネル１０に校正パターンを表示して写
真マット３４を形成するために制御プリンタ８又は表示パネル１０を制御する制
御信号を発生する。以下に更に詳細に説明するが、写真マットは特徴の校正パタ
ーン（少なくとも特徴の一部は複数のクラスタへとグループ化される）を有し、
３次元コンピュータモデルを生成すべきオブジェクトは印刷済み写真マット３４
又は写真マットが表示されている表示パネル１０の上に配置される。その後、オ
ブジェクト及び写真マットの画像を記録して、処理装置２に入力する。マット発
生器３０は、処理装置２が入力画像記録時の位置及び向きを計算する際に使用す
るための、写真マット上に印刷又は表示された特徴の校正パターンを定義するデ
ータを格納している。すなわち、マット発生器３０は、特徴の校正パターンを定
義するデータと共に、特徴パターンに対する座標系（実際には写真マットの基準
位置及び基準向きを定義する）を格納しており、処理装置２は入力画像が記録さ
れたときの位置及び向きを定義済み座標系において（従って、基準位置及び基準
向きに対して）計算する。

【００３４】 入力データ記憶装置４０は、例えば、ディスク４２などの記憶装置に格納され
るデータとして、又は処理装置２へ送信される信号４４として、又はユーザ入力
装置６を使用して処理装置２に入力される入力データを格納する。入力データは
、様々に異なる位置及び向きで記録された印刷又は表示された写真マット上の１
つ以上のオブジェクトの複数の画像と、写真マットの背景色又は写真マットの背
景色と同じ色を有する異なるオブジェクトを示すための写真マットの一部と共に
、オブジェクトが撮影された背景を示す入力画像とを定義している。加えて、こ
の実施例では、入力データは、画像を記録したカメラ固有のパラメータ、すなわ
ち、縦横比、焦点距離、主点（光軸が撮影平面と交わる点）、一次半径方向歪み
係数及びスキュー角（画素格子の軸が厳密には直交していないことがありえるた
め、それらの軸が成す角度）を定義するデータも含む。

【００３５】 入力画像を定義する入力データは、例えば、画像を記録したデジタルカメラか
ら画素データをダウンロードするか、又はスキャナ（図示せず）を使用して写真
を走査することにより生成されても良い。固有カメラパラメータ定義する入力デ
ータはユーザの側からユーザ入力装置６を使用して入力されても良い。

【００３６】 特徴検出器５０は、オブジェクトを示す入力画像を処理して、写真マット上の
特徴の画像中の位置を検出する。

【００３７】 特徴クラスタラ６０は、特徴検出器５０により検出された特徴を処理して、写
真マット自体のクラスタを表す特徴のクラスタ群へと各特徴をグループ化する。

【００３８】 特徴識別器７０は、マット発生器３０により格納され且つ写真マット上の各特
徴の配置を定義する情報を使用して、特徴検出器５０により検出され且つ特徴ク
ラスタラ６０によりグループ化された各特徴を処理して、画像中の各特徴と写真
マット上の特徴との間の１対１の対応を識別する。

【００３９】 カメラ計算器８０は、画像中の各特徴と特徴識別器７０により生成された写真
マット上の各特徴との対応を使用して、各入力画像が記録されたときのカメラの
位置及び向きを計算する。

【００４０】 サーフェスモデラ９０は、入力画像を定義するデータと、画像が記録されたと
きの位置及び向きを定義するデータとを処理して、画像中のオブジェクトの実際
の面を表現する３Ｄコンピュータモデルを定義するデータを生成する。

【００４１】 サーフェステクスチャラ１００は、サーフェスモデラ９０により生成されたサ
ーフェスモデルにレンダリングするために、入力画像データからテクスチャデー
タを生成する。

【００４２】 ディスプレイプロセッサ１１０は、中央制御装置２０の制御の下に、表示装置
４を介してユーザに対し命令を表示する。更に、中央制御装置２０の制御の下に
、ディスプレイプロセッサ１１０は、サーフェスモデラ９０により生成されたサ
ーフェスモデルデータを処理し且つサーフェステクスチャラ１００により生成さ
れたテクスチャデータをサーフェスモデル上にレンダリングすることにより、ユ
ーザが選択した視点からオブジェクトの３Ｄコンピュータモデルの画像を表示す
る。

【００４３】 出力データ記憶装置１２０は、カメラ計算器８０により計算されたカメラの位
置及び向きと、サーフェスモデラ９０及びサーフェステクスチャラ１００により
生成されたサーフェスモデル及びそのテクスチャデータとを格納する。中央制御
装置２０は出力データ記憶装置１２０からのデータの出力を、例えば、ディスク
１２２などの記憶装置へのデータ又は信号１２４として制御する。

【００４４】 図２は、写真マットを印刷又は表示するために処理装置２により実行される処
理動作を示し、この写真マット上には３Ｄコンピュータモデルを生成すべきオブ
ジェクトを配置し、その撮影を行なう。

【００４５】 図２のステップＳ２において、中央制御装置２０は、ディスプレイプロセッサ
１１０に印刷又は表示すべきマットパターンの直径をユーザが入力することを要
求するメッセージを表示装置４に表示させる。すなわち、この実施例では、写真
マット上の特徴は、オブジェクトが配置される空いた中央領域の周囲に円形に配
置される。従って、ステップＳ２において、ユーザは写真マット上の空いた領域
の直径を入力することを要求される。この直径は、マット上に配置されるオブジ
ェクトの任意の方向での最大幅よりも大きい。このようにして、オブジェクトが
マット上に配置されるときに見えるように各特徴が位置決めされる写真マットを
印刷又は表示することができる。

【００４６】 ステップＳ４において、ステップＳ２での要求に応答してユーザが入力した直
径は、例えば、メモリ２４に格納される。

【００４７】 ステップＳ６において、マット発生器３０は、ユーザが入力した直径を有する
円上にマットの特徴が配置される写真マットを印刷又は表示し、マット上の各特
徴の直径及び位置を定義するデータを後続の処理のために格納しておく。

【００４８】 図３は、この実施例においてステップＳ６で印刷又は表示されるマットパター
ンを示す。

【００４９】 以下の説明においては、プリント写真マット３４を生成するために、パターン
はプリンタ８により記録媒体（この実施例では、シート紙）に印刷されるものと
想定するが、先に述べた通り、表示パネル１０にパターンを表示することも可能
であろう。

【００５０】 図３において、パターンは、Ａ４サイズ（ステップＳ４で格納されるマットの
直径が、パターンをＡ４用紙に印刷できないほど大きい場合には、Ａ４より大き
いサイズのシート紙を使用しても良い）のシート紙に印刷される。可能であれば
、３Ｄコンピュータモデルを生成すべきオブジェクト上のいずれかの色と同じに
ならないように、写真マット３４が印刷されるシート紙の色を選択する。

【００５１】 パターンは、複数のクラスタ２００から２２２から構成され、そのうちの１２
個がこの実施例では示されている。各クラスタ２００から２２２は、ほぼ同じ大
きさの複数の特徴２４０から３３４から成る。これらの特徴はこの実施例では円
であり、クラスタの任意の２つの特徴の中心間の距離が、そのクラスタの１つの
特徴と別のクラスタの１つの特徴との間の距離より短くなるように空間的にグル
ープ化されている。相互に対する各特徴の位置は、傾斜したカメラ角度で記録さ
れた入力画像中において「混合」し、単一の特徴に見えるほどには近接していな
い。この実施例では、各クラスタは４つの円から成る。

【００５２】 図面では、内部が白色の黒字の円は、写真マット上では実際には赤色である。
従って、円２４２、２４４、２６６、２６８、２９０、２９２、３１４及び３１
６は赤色の円である。内部まで黒色の円は、写真マット上でも黒色の円を表す。

【００５３】 この実施例では、クラスタ２００から２２２は、ユーザにより入力され、ステ
ップＳ４（図２）で格納された直径を有する円形に等間隔に離間され、パターン
が印刷されていない中央領域３４０を包囲している。円の各クラスタは、クラス
タ中の１対の円の中心を通る仮想線（すなわち、写真マット３４上に実際には存
在しない線）が、マット上の所定の基準点を通るような向きに定められている。
この基準点は、本実施例では、クラスタが配置されている円の中心３５２である
。すなわち、クラスタ２００を一例として参照すると、円２４０及び２４４の中
心を通る線３５０は、クラスタ２００から２２２が位置する円の中心３５２を通
る。同様に、クラスタ２０８において、円２７４及び２７８の中心を通る線３５
４は、中心３５２を通る。

【００５４】 ステップＳ６（図２）で格納されたマットパラメータは、パターンに関連する
座標系と共に、ドット２４０から３３４のパターン及びこれらのドットの写真マ
ット３４上での位置を定義する。すなわち、この実施例では、原点がクラスタ２
００から２２２が位置する円の中心にあり、「ｘ」軸及び「ｙ」軸がドット２４
０から３３４の平面上にあり、「ｘ」軸はドット２４４及び２４０の中心を通り
（すなわち、「ｘ」軸は線３５０の方向にある）、「ｙ」軸はドット２７０及び
２６６の中心を通り、且つ「ｚ」軸がマットの平面に対して垂直である座標系が
定義される。以下により詳細に説明するが、処理装置２が各入力画像を処理し、
この入力画像が定義された座標系内で記録された位置及び向きが決定される。従
って、各入力画像が記録された位置及び向きは、ステップＳ６で格納された座標
系により定義される写真マット３４の基準位置及び基準向きに対して計算される
。

【００５５】 図４Ａ及び４Ｂにおいて、写真マット３４は、ほぼ一様な色の表面３８０上に
配置される。この色は、可能であれば、オブジェクト４００のいずれの色とも異
なる色にする。

【００５６】 ３Ｄコンピュータモデルを生成すべきオブジェクト４００が、写真マット３４
の中心部３４０に配置される結果、オブジェクト４００はマット上の円２４０か
ら３３４から成るクラスタ２００から２２２により包囲される。

【００５７】 オブジェクト４００及び写真マット３４の画像は、デジタルカメラ４１０を使
用してオブジェクト４００の様々な部分を示すために、様々に異なる位置及び向
きで記録される。この実施例では、カメラ４１０により記録される画像を定義す
るデータがワイヤ４１２を介して信号４４として処理装置２に入力される。

【００５８】 すなわち、この実施例では、カメラ４１０の位置は固定されたままであり、オ
ブジェクト４００を乗せた写真マット３４が表面３８０上で移動（並進）及び（
例えば、矢印４１４の方向に）回転され、カメラ４１０に対して様々に異なる位
置及び向きでオブジェクト４００の写真が記録される。表面３８０上での写真マ
ット３４の回転及び並進中、オブジェクト４００はマットに対して動かない。

【００５９】 写真マット３４上の円のクラスタ２００から２２２を使用して、オブジェクト
４００の各部の画像を確実に記録するために写真マット３４を回転させる量を決
定することができる。すなわち、写真マット３４は、各クラスタがカメラ４１０
に直面するように回転させても良い。

【００６０】 要約すると、オブジェクト４００及び写真マット３４の画像が、カメラ４１０
に対して様々に異なる位置及び向きで記録され、処理装置２に入力される。

【００６１】 図５Ａから５Ｄは、オブジェクト４００及び写真マット３４をカメラ４１０に
対して様々に異なる位置及び向きにした入力画像４２０から４２６の各例を示す
。

【００６２】 この実施例では、オブジェクト４００及び写真マット３４の画像の記録及び入
力に続いて、更に画像が記録され、処理装置２に入力される。この更なる画像は
、「背景画像」であり、表面３８０と、写真マット３４が印刷された紙と同じ色
を有するオブジェクトとの画像である。このような背景画像は、写真マット３４
が記録されたシートと同じ色を有する空白のシート紙を表面３８０上に配置する
ことによって、あるいは、円のパターンが画像中で見えないように、写真マット
３４を表面３８０上で裏返すことによって記録されても良い。

【００６３】 図６は、この実施例において、入力データを処理するために処理装置２により
実行される処理動作を示す。

【００６４】 図６のステップＳ１０において、中央制御装置２０はディスプレイプロセッサ
１１０に処理用の入力データをユーザが入力することを要求するメッセージを表
示装置４に表示させる。

【００６５】 ステップＳ１２において、ステップＳ１０での要求に応答してユーザが入力し
たデータが、入力データ記憶装置４０に格納される。具体的には、この実施例で
は、入力データは、カメラ４１０に対して様々に異なる位置及び向きで記録され
たオブジェクト４００及びマット３４の画像を定義する画像データと、入力画像
を記録するために写真マット３４が配置された表面３８０と写真マット３４のパ
ターンが記録された記録材料と同じ色を有するオブジェクトとを共に示す「背景
」画像と、入力画像を記録したカメラ４１０の固有パラメータ、すなわち、縦横
比、焦点距離、主点（光軸が撮影平面と交わる点）、１次半径方向歪み係数及び
スキュー角（画素格子の軸が成す角度）を定義するデータとから構成されている
。

【００６６】 ステップＳ１４において、ステップＳ１２で格納された入力データが処理装置
２によって処理され、入力画像ごとに写真マット３４（及びオブジェクト４００
）に対するカメラ４１０の位置及び向きが決定される。

【００６７】 図７は、ステップＳ１４で処理装置２により実行される処理動作を示す。

【００６８】 図７のステップＳ３０において、処理装置２はステップＳ１２で格納された写
真マット３４及びオブジェクト４００を示す次の入力画像（ステップＳ３０が初
めて実行される場合、これは最初の入力画像である）に対するデータを読み取る
。

【００６９】 ステップＳ３２において、特徴検出器５０は、ステップＳ３０で読み取られた
画像データを処理し、写真マット３４上のパターンを構成する特徴（すなわち、
この実施例では円２４０から３３４）を表す画素を画像中で見出す。

【００７０】 図８は、ステップＳ３２で特徴検出器５０により実行される処理動作を示す。

【００７１】 図８のステップＳ５０において、特徴検出器５０は画像データを処理し、入力
画像に対応する二値画像を生成する。写真マット３４上の特徴の色に対応する色
（すなわち、この実施例では黒色又は赤色）を有する入力画像中の各画素は１に
設定され、別の色を有する画素は０に設定される。

【００７２】 具体的には、この実施例では、特徴検出器５０は入力画像中の各画素に対して
緑色値Ｇ及び青色値Ｂ（この実施例では、各々０から２５５の値を有する）を読
み取り、以下に示すように画素値を１又は０に設定する。

【００７３】 If G ＜ 128 and B ＜ 128 set pixel value to 1 else set pixel value to 0 ・・・・（１） このように処理を実行することによって、特徴検出器５０は、１の値を有する
各画素が入力画像中の赤色又は黒色の特徴を表す二値画像を生成する。

【００７４】 ステップＳ５２において、特徴検出器５０は、ステップＳ５０で生成された二
値画像データを処理し、空間的に孤立しており且つ値１を有する画素のグループ
を識別するように、値１を有し且つ二値画像中で結合されている画素から構成さ
れるグループを見出す。この実施例において、特徴検出器５０は、Ｒ．Ｊ．シュ
カルコフ，ジョン ウィリとソンズ（R.J. Schalkoff，John Wiley and Sons）
の「デジタル画像処理とコンピュータビジョン（Digital Image Processing and
Computer Vision）」（ISBN 047150536-6、２７６ページ）に記載されているよ
うな従来の方法で処理を実行する。

【００７５】 ステップＳ５４において、特徴検出器５０は、ステップＳ５２で見出された閾
値より少ない数の画素を含む各グループを放棄する。この実施例では、閾値は２
５画素である。このように、写真マット３４上の特徴を表すには少なすぎる画素
と、ステップＳ５０で二値画像が生成されたときに誤って１に設定された画素と
のグループは、以降の処理から除外される。

【００７６】 ステップＳ５６において、特徴検出器５０は、ステップＳ５４が実行され、各
グループの画素数を定義するデータが格納された後も残存する画素のグループを
処理する。

【００７７】 ステップＳ５８において、特徴検出器５０は、ステップＳ５４が実行された後
も残存する画素の各グループにより定義された二値画像中の一意的な点位置をそ
れぞれ計算し、これを格納する。この実施例では、写真マット３４上の各特徴は
、円２４０から３３４であり、各特徴に対する一意的な点位置は、円の中心であ
る。従って、ステップＳ５８において、特徴検出器５０は、画素の各グループの
中心を計算し、これを格納する。ステップＳ５８での画素の各グループの中心の
計算は、画素のグループの重心を従来通りに決定することによって行なわれる。

【００７８】 ステップＳ６０において、二値画像中の画素の各グループに対して、特徴検出
器５０は、ステップＳ５８で計算されたグループに対する一意的な点位置に最も
近接する元の入力画像中の画素の色を決定し、これを格納する。具体的には、特
徴検出器５０は、元の入力画像（すなわち、処理されてステップＳ５０の二値画
像を生成する入力画像）中の画素のＲ値、Ｇ値及びＢ値から従来通りに色を決定
する。

【００７９】 図８を参照して上述した処理を実行した後では、特徴検出器５０は、閾値寸法
よりも大きく、且つ写真マット３４上の特徴と同じ色（すなわち、黒色又は赤色
）を有する入力画像中の特徴を識別済である。しかし、写真マット３４上の特徴
に対応する入力画像中の特徴のみならず、オブジェクト４００上の特徴も、この
処理中に識別される。

【００８０】 従って、再度図７を参照すると、ステップＳ３４において、特徴クラスタラ６
０は、ステップＳ３２で特徴検出器５０により見出された特徴を処理し、入力画
像中の特徴の候補クラスタを見出し、その候補クラスタを検査して写真マット３
４上のクラスタ２００から２２２に対応するクラスタを見出す。

【００８１】 クラスタ２００から２２２中の写真マット３４上の特徴のうちの少なくとも一
部を配置し、且つ入力画像中の特徴のクラスタを検出／検査することによって、
写真マット３４上の特徴に対応する入力画像中の特徴と写真マット３４上の特徴
とほぼ同じ大きさであり且つ同じ色を有するオブジェクト４００上の特徴に対応
する入力画像中の特徴とを区別することができる。具体的には、写真マット３４
上の特徴は、全ての特徴がほぼ同じ大きさであるクラスタの一部であるために、
この実施例では区別可能である一方で、オブジェクト４００上の特徴は、オブジ
ェクト４００からの１つ以上の特徴を含むいずれのクラスタにおいても特徴が一
様な大きさではないように、様々に異なる大きさである可能性が高い。

【００８２】 図９は、ステップＳ３４で特徴クラスタラ６０により実行される処理動作を示
す。

【００８３】 図９のステップＳ７０において、特徴クラスタラ６０は、ステップＳ３２にお
いて特徴検出器５０により見出された１対の特徴間の距離を計算し、これを格納
する。

【００８４】 ステップＳ７２において、特徴クラスタラ６０は、入力画像中の次の未処理の
特徴を考慮する（ステップＳ７２が初めて実行される場合、これは最初の特徴で
ある）。

【００８５】 ステップＳ７４において、特徴クラスタラ６０は、入力画像中のその他の特徴
のうちのいずれが現在考慮中の特徴（すなわち、ステップＳ７２で選択された特
徴）に最も近接しているかを決定し、４つの特徴の組を形成する（これは、写真
マット３４上の各クラスタ２００から２２２中の特徴の数である）。

【００８６】 図１０Ａにおいて、一例として、クラスタ２０４中の特徴２６０がステップＳ
７２で考慮される場合、ステップＳ７４において、特徴クラスタラ６０は、クラ
スタ２０４中の特徴２５８及び２６２とオブジェクト４００上の特徴５００を３
つの最も近接する隣接特徴として識別するであろう。従って、特徴２６０、２５
８、２６２及び５００から成る組が形成される。

【００８７】 図１０Ａに示す例から明らかなように、ステップＳ７４で処理を実行して、画
像中の特徴に最も近接する３つの特徴を決定することによっては、写真マット３
４上の特徴のクラスタに対応する４つの特徴を正確に識別できない可能性がある
。すなわち、図１０Ａに示す例において、オブジェクト４００上の特徴５００が
クラスタ２０４中の特徴２５６よりも特徴２６０に近接するために、その処理に
よっては４つの正しい特徴が識別されない。同様に、写真マット３４に対するカ
メラ４１０の相対位置及び相対向きによっては、１つ以上のクラスタの特徴から
構成される１組の特徴が形成される際に、誤りが生じる恐れがある。

【００８８】 従って、誤りを除去するための処理がステップＳ７６からＳ１２２で行なわれ
る。

【００８９】 具体的には、ステップＳ７６において、特徴クラスタラ６０は、ステップＳ７
４で形成された組の各特徴を順に考慮し、組のある特徴とその他の３つの特徴の
各々との間の距離（ステップＳ７０で予め計算済）を加算し、その特徴に対する
スパン距離を求める。

【００９０】 図１０Ｂから１０Ｅは、図１０Ａに示す例に対してステップＳ７６で実行され
る処理を示す。図１０Ｂにおいて、特徴クラスタラ６０は、特徴２６０と特徴２
５８、２６２及び５００の各々との間の距離５２０、５２２及び５２４を加算し
、特徴２６０に対するスパン距離を求める。

【００９１】 同様に、図１０Ｃにおいて、特徴クラスタラ６０は、特徴２６２と特徴２５８
、２６０及び５００の各々との間の距離５２６、５２２及び５２８を加算し、特
徴２６２に対するスパン距離を求める。更に、図１０Ｄにおいて、特徴クラスタ
ラ６０は、特徴２５８と特徴２６２、２６０及び５００の各々との間の距離５２
６、５２０及び５３０を加算し、特徴２５８に対するスパン距離を求める。また
、図１０Ｅにおいて、特徴クラスタラ６０は、特徴５００と特徴２６２、２６０
及び２５８の各々との間の距離５２８、５２４及び５３０を加算し、特徴５００
に対するスパン距離を求める。

【００９２】 ステップＳ７８において、特徴クラスタラ６０は、ステップＳ７６で計算され
た４つのスパン距離を加算して４つの特徴の組に対する組のスパン距離を求め、
計算された組のスパン距離を格納する。

【００９３】 ステップＳ８０において、特徴クラスタラ６０は、ステップＳ７４で見出され
た３つの隣接する特徴のうちのいずれの特徴がステップＳ７６で最長のスパン距
離を有するものとして計算されるかを決定し、組から最長のスパン距離を有する
特徴を除外する（３つの特徴が残る）。

【００９４】 ステップＳ８２からＳ９８において、特徴クラスタラ６０は、入力画像中の別
の特徴を探し出すように試みる処理を実行する。この別の特徴は、ステップＳ８
０が実行された後に残存する３つの特徴に追加されると、ステップＳ７８で格納
された元の４つの特徴の組に対する組のスパン距離よりも短い組のスパン距離を
有する４つの特徴の組が形成される。

【００９５】 具体的には、ステップＳ８２において、特徴クラスタラ６０は、現在ステップ
Ｓ７４で形成された組に存在しない入力画像中のどの特徴が、組の残りの３つの
特徴の各々から最長のスパン距離（すなわち、ステップＳ８０で除外された特徴
のスパン距離）内にあるかを決定する。この処理は、最長のスパン距離に相当す
る半径を有し且つ組の残りの３つの特徴の各々に中心をおく３つの円の共通部分
内にどの特徴が存在するかを決定する処理に対応する。

【００９６】 ステップＳ８２で実行される処理により、ステップＳ８０が実行された後も残
存する組の３つの特徴に追加されるとき、場合によってはステップＳ７８で格納
された組のスパン距離よりも組のスパン距離が短くなる可能性がある入力画像中
の特徴が識別される。ステップＳ８２では、残りの３つの特徴と共に考慮される
ときに、ステップＳ８０で除去される特徴のスパン距離よりも長いスパン距離を
有し、従って、組のスパン距離がステップＳ７８で格納された組のスパン距離を
越えると思われる特徴は、以降の処理から除外される。

【００９７】 図１０Ｆは、図１０Ａから１０Ｅで示された例に対して、ステップＳ８０及び
Ｓ８２で実行された処理の背後にある原理を示す。

【００９８】 図１０Ｆにおいて、ステップＳ８０で特徴５００が最長のスパン距離を有する
ことがわかった場合、特徴５００は、ステップＳ８０において組から除去され、
特徴２６０及び隣接する特徴２５８及び２６２が残される。特徴５００のスパン
距離に相当する半径を有し且つ特徴２６０に中心をおく円６００は、特徴２６０
の最長のスパン距離内にある特徴を定義する。同様に、特徴２５８に中心をおく
円６０２及び特徴２６２に中心をおく円６０４は、共に特徴５００のスパン距離
に相当する半径を有するが、それぞれ、特徴２５８及び２６２の最長のスパン距
離内にある特徴を定義する。従って、図１０Ｆの斜線により示される６１０の共
通部内にある特徴は、いずれも組の残りの３つの特徴２６０、２５８及び２６２
の全ての最長のスパン距離内にある。

【００９９】 図９を再度参照すると、ステップＳ８４において、特徴クラスタラ６０は、「
改善フラグ」をリセットする（すなわち、特徴クラスタラ６０は、先の処理で設
定済であった場合に改善フラグを無効にする）。

【０１００】 ステップＳ８６において、特徴クラスタラ６０は、ステップＳ８２で決定され
た特徴（組の残りの３つの特徴の各々からの最長のスパン距離内にある）からの
次の特徴を組に追加し、この特徴に対するスパン距離を計算する（これは、組の
追加された特徴とその他の３つの特徴の各々との間の距離を加算することによっ
て、先に説明したのと同様に実行される。これらの距離はステップＳ７０で既に
計算済である）。

【０１０１】 ステップＳ８８において、特徴クラスタラ６０は、組内の３つの特徴（すなわ
ち、図１０Ｆの例における特徴２６０、２５８及び２６２）に対して既に計算さ
れているスパン距離にステップＳ８６で計算されたスパン距離を加算することに
よって新規の組に対する組のスパン距離を計算する。

【０１０２】 ステップＳ９０において、特徴クラスタラ６０は、ステップＳ８８で計算され
た組のスパン距離が、この組に対して現在格納されている組のスパン距離（ステ
ップＳ９０が初めて実行される場合、これはステップＳ７８で格納された組のス
パン距離である）よりも長いか否かを決定する。

【０１０３】 ステップＳ９０で新規の組のスパン距離が格納された組のスパン距離より短い
と決定される場合、ステップＳ８６で作成された新規の特徴の組は、現在格納さ
れている特徴の組よりもより正確であると考えられるので、ステップＳ９２にお
いて、特徴クラスタラ６０は、現在格納されている特徴の組及び組のスパン距離
をステップＳ８６及びＳ８８で生成された特徴の組及び組のスパン距離と置き換
える。続いて、ステップＳ９４において、特徴クラスタラ６０は、改善された特
徴の組が生成されたことを示すために「改善フラグ」を設定する。

【０１０４】 これに対し、ステップＳ８８で計算された組のスパン距離が格納された組のス
パン距離以上であるとステップＳ９０において決定される場合、既に格納されて
いる特徴の組及び組のスパン距離とが保持され、且つ「改善フラグ」が設定され
ないようにステップＳ９２及びＳ９４は省略される。

【０１０５】 ステップＳ９６において、特徴クラスタラ６０は、ステップＳ８６で組に追加
された特徴に処理済としてフラグをたて、ステップＳ９８において、組の残りの
３つの特徴の各々の最長のスパン距離内にあり、且つ未処理である別の特徴がス
テップＳ８２で実行される処理によって見出されたか否かを決定する。

【０１０６】 組内の残りの３つの特徴の各々の最長のスパン距離内にある各特徴を以上説明
したように処理し終わるまで、ステップＳ８６からＳ９８が繰り返される。

【０１０７】 ステップＳ９８で処理すべき特徴が残っていないと決定される場合、ステップ
Ｓ８０で最長のスパン距離を有すると決定された特徴を組内の残りの３つの特徴
から最長のスパン距離内にある各特徴と置き換える。組のスパン距離が最短であ
る組の特徴がメモリに格納され、格納された特徴がステップＳ７４で作成された
組に対応せず、代わりに、ステップＳ８０での特徴の除去及びステップＳ８６で
の特徴の追加により生じたものである場合、「改善フラグ」が設定されることに
なる。

【０１０８】 ステップＳ１００において、特徴クラスタラ６０は、「改善フラグ」が設定さ
れているか否かを決定する。

【０１０９】 ステップＳ１００で「改善フラグ」が設定されていると決定される場合、最長
のスパン距離を有する組の次の隣接する特徴に対してステップＳ８０からＳ１０
０が繰り返される。従って、組から除去できるのは隣接する特徴のみであり、ス
テップＳ７２で考慮され、且つ組が作成された特徴自体は、組から除去すること
ができない。

【０１１０】 従って、隣接する特徴が組から除去されるときに特徴の組において改善が見ら
れなくなる（すなわち、除去された特徴と置き換えるために組に追加された各特
徴に対して、組のスパン距離が除去された特徴を含んでいたときの組に対するス
パン距離以上であるとステップＳ９０で決定され、「改善フラグ」がステップＳ
９４で設定されない場合）まで、ステップＳ８０からＳ１００が各隣接する特徴
（ステップＳ８６で組に追加された特徴であっても良い）に対して繰り返される
。ステップＳ１００において「改善フラグ」が設定されていないと決定される場
合、処理はステップＳ１０２に進み、このステップＳ１０２において、特徴クラ
スタラ６０は、その特徴に対する処理が行なわれたことを示すために、ステップ
Ｓ７２で考慮された特徴に対してフラグを設定する。

【０１１１】 ステップＳ１０４において、特徴クラスタラ６０は、入力画像中に処理が行な
われていない別の特徴が存在するか否かを決定する。

【０１１２】 続いて、以上説明したように入力画像中の各特徴を処理し終わるまで、ステッ
プＳ７２からＳ１０４が繰り返される。

【０１１３】 従って、この処理の実行後には、特徴クラスタラ６０は、入力画像中の各特徴
に対して組のスパン距離が最短である３つの隣接する特徴を識別済である。しか
し、４つの特徴の組の中には、例えば、写真マット３４上のクラスタに対応する
特徴のクラスタではなく、全てがオブジェクト４００上にある特徴から構成され
るものがあっても良い。従って、ステップＳ１０６から１１４において、特徴ク
ラスタラ６０は、写真マット３４上のクラスタに対応しない特徴のクラスタを放
棄する処理を実行する。

【０１１４】 具体的には、ステップＳ１０６において、特徴クラスタラ６０は、特徴の次の
格納された組を考慮する。

【０１１５】 ステップＳ１０８において、特徴クラスタラ６０は、組で最大の特徴の面積対
組で最小の特徴の面積の比を計算する。すなわち、特徴クラスタラ６０は、組内
の各特徴を構成する画素の数（図８のステップＳ５６で格納される）を読み取り
、画素の最大数対画素の最小数の比を計算する。

【０１１６】 ステップＳ１１０において、特徴クラスタラ６０は、ステップＳ１１０で計算
された比が閾値よりも小さいか否かを決定する。閾値は、この実施例では１．５
に設定される。

【０１１７】 計算された比が１．５以上であるとステップＳ１１０において決定される場合
、ステップＳ１１２において、特徴クラスタラ６０は、組を放棄する。一方、計
算された比が１．５未満であるとステップＳ１１０において決定される場合、ス
テップＳ１１２は省略され、特徴の組は保持される。

【０１１８】 このように、最大の特徴の面積が最小の特徴の面積よりも非常に大きい組は放
棄されるが、それは、このような組はオブジェクト４００の１つ以上の特徴から
構成される可能性が高いからである。しかし、各特徴がほぼ同じ大きさである組
は保持される。それは、写真マット３４上の特徴はいずれの入力画像においても
ほぼ同じ大きさである可能性が高いために、全ての特徴がほぼ同じ大きさの組は
写真マット３４上の特徴のクラスタに対応する可能性が高いからである。

【０１１９】 ステップＳ１１４において、特徴クラスタラ６０は、格納された特徴の組が他
にも存在するか否かを決定する。以上説明したように各格納された組を処理し終
わるまで、ステップＳ１０６からＳ１１４が繰り返される。

【０１２０】 ステップＳ１１６において、特徴クラスタラ６０は、各組の組のスパン距離に
基づいて残存する特徴の組の各々に優先度を割り当てる。

【０１２１】 具体的には、特徴クラスタラ６０は、組のスパン距離の昇順に組に優先度を割
り当てるので、組のスパン距離が最短である組（最も正確な組と考えられる）に
は、最高の優先度が割り当てられる。

【０１２２】 図１１において、ステップＳ１６で処理を実行した後に、各組におけるメイン
の特徴を定義するデータ６２２とメインの特徴と共に４つの特徴の組を構成する
他の３つの特徴を定義するデータ６２４とが、処理装置２に格納される。特徴の
各組は、優先データ６２０に従って格納される。

【０１２３】 ステップＳ１１８において、特徴クラスタラ６０は、格納された各組を比較し
、競合する組、すなわち、少なくとも１つの同じ特徴を含む組を見出す。

【０１２４】 ステップＳ１２０において、ステップＳ１１８で識別された競合する組に対し
て、特徴クラスタラ６０は、最高優先度の組を保持し、それと競合する組を放棄
する。

【０１２５】 従って、図１１において、最低の優先度（すなわち、図１１での優先度「ｎ」
）の組が最高の優先度の組と競合するが、それは、これらの組が共に特徴１を含
むからである。従って、優先度「ｎ」の組は削除される。

【０１２６】 要約すると、ステップＳ７０からＳ１２０での処理を実行した後に、特徴クラ
スタラ６０は、ステップＳ３２（図７）で特徴検出器５０により見出された特徴
を写真マット３４上のクラスタに対応するクラスタへとグループ化し終わってい
るため、２つ以上のクラスタに存在する特徴はなくなる。

【０１２７】 ステップＳ１２２において、特徴クラスタラ６０は、各クラスタの中心の画像
中の位置を計算し、これを格納する。この実施例では、この位置は、クラスタ中
の対角の特徴の中心を結ぶ線の交点（例えば、図１０Ａに示す例において、特徴
２５６の中心と特徴２６０とを結ぶ線と特徴２５８の中心と特徴２６２とを結ぶ
線との交点）を決定することにより計算される。

【０１２８】 再度図７を参照すると、ステップＳ３６において、特徴識別器７０は、ステッ
プＳ３２において特徴検出器５０により見出され、且つステップＳ３４において
特徴クラスタラ６０により形成されたクラスタの一部を形成する特徴を識別する
処理を行なう。すなわち、特徴識別器７０は、クラスタの一部である入力画像中
の各特徴とステップＳ６（図２）で格納されたデータにより定義された写真マッ
ト３４上の特徴との間で１対１のマッピングを識別する処理を行なう。

【０１２９】 図１２は、ステップＳ３６で特徴識別器７０により実行される処理動作を示す
。

【０１３０】 図１２のステップＳ１４０において、特徴識別器７０は、写真マット３４上の
所定の基準点の入力画像中の位置を決定する。図３を参照して上述したように、
この実施例では、写真マット３４上の所定の基準点は、特徴のクラスタ２００か
ら２２２が位置する円の中心である。従って、ステップＳ１４０において、入力
画像中のこの円の中心の位置を決定するための処理が行なわれる。

【０１３１】 図１３は、ステップＳ１４０で特徴識別器７０により実行される処理動作を示
す。

【０１３２】 図１３のステップＳ１６０において、特徴識別器７０は、「Ｎ」／２０×「Ｍ
」／２０画素から構成される空の画像配列（すなわち、整数値０を有する画素ア
レイ）を作成する。「Ｎ」及び「Ｍ」は、それぞれ、入力画像の水平方向及び垂
直方向における画素数である（画素数は、「Ｎ」／２０又は「Ｍ」／２０が整数
値でない場合はステップＳ１６０においてまるめられる）。

【０１３３】 従って、ステップＳ１６０で実行される処理により、入力画像の画像配列に対
応する粗い画像配列が作成される。

【０１３４】 ステップＳ１６２において、特徴識別器７０は、ステップＳ３４で見出された
入力画像中の特徴の次のクラスタを考慮し、ステップＳ１６４において、クラス
タに対する対角線を描く。

【０１３５】 具体的には、図１４ＡのステップＳ１６４において、特徴識別器７０は、ステ
ップＳ１６０で作成された画像配列上の入力画像中の４つの特徴（円）の位置を
描き、ステップＳ１６０で作成された画像配列上にステップＳ１２２（図９）で
予め計算されたクラスタに対する対角線を描く。

【０１３６】 ステップＳ１６６において、特徴識別器７０は、ステップＳ１６０で作成され
、ステップＳ１６４で描かれた対角線のうちの１本により２分された画像配列中
の各画素に対して画素カウンタを１だけインクリメントする。従って、図１４Ｂ
において、一例として陰影をつけた画素の各々に対して画素カウンタが１だけイ
ンクリメントされる。

【０１３７】 ステップＳ１６８において、特徴識別器７０は、ステップＳ３４（図７）で別
の処理すべき特徴のクラスタが存在するか否かを決定する。特徴の各クラスタを
以上説明したように処理し終わるまでステップＳ１６２からＳ１６８が繰り返さ
れる。

【０１３８】 ステップＳ１７０において、特徴識別器７０は、ステップＳ１６０で作成され
且つ最高の画素カウンタ値を有する画素アレイから入力画像中の写真マット３４
上の所定の基準点の位置を表すものとして画素を選択する。図３を参照して上述
したように、円２４０から３３４は、対角クラスタ線（図３の線３５０及び線３
５４）のうちの１本がクラスタ２００から２２２が位置する円の中心３５２（す
なわち、写真マット３４の所定の基準点）を通るようにクラスタ２００から２２
２内に配置される。従って、ステップＳ１６２からＳ１６８での処理を実行する
際に、ステップＳ１６０で作成され且つクラスタ２００から２２２が位置する円
の中心に対応する入力画像の画像配列中の画素は、入力画像中の各クラスタに対
して作成された対角線のうちの１本により２分されるべきであり、最高の画素カ
ウンタ値を有するべきである。粗い画像配列がステップＳ１６０で作成され、撮
影条件などによる特徴の位置の歪みから生じる対角線の位置の不正確さのために
対角線が同じ位置で交差しないことから起きる誤りを克服する処理のために使用
される。

【０１３９】 図１２を再度参照すると、ステップＳ１４２において、特徴識別器７０は、ス
テップＳ１４０で配置された基準点に対する特徴の位置によって、ステップＳ３
４（図７）で見出された各クラスタ内の特徴にラベル付けする。

【０１４０】 図１５は、ステップＳ１４２で特徴識別器７０により実行される処理動作を示
す。

【０１４１】 図１５のステップＳ１８０において、特徴識別器７０は、特徴の次のクラスタ
を考慮する（ステップＳ１８０が初めて実行される場合、これは最初のクラスタ
である）。

【０１４２】 ステップＳ１８２において、特徴識別器７０は、現在考慮中のクラスタ内にあ
り且つ入力画像中においてステップＳ１４０で計算された基準点に最も近接する
特徴を決定し、決定された特徴にクラスタの特徴１としてラベル付けする。

【０１４３】 ステップＳ１８４において、特徴識別器７０は、ステップＳ１８２で特徴１と
ラベル付けされた特徴に時計回りの方向で隣接するクラスタの特徴を決定し、決
定された特徴にクラスタの特徴２としてラベル付けする。すなわち、この実施例
では、特徴識別器７０は、例えば、結合する直線で特徴１に結び付けられるとき
にクラスタのその他の特徴がその結合直線の右側に位置するようになる点を選択
することによって、時計回り方向で隣接する特徴はどれであるかを従来通りに決
定する。

【０１４４】 ステップＳ１８６において、特徴識別器７０は、時計回り方向に特徴２に隣接
するクラスタの特徴を決定し、これにクラスタの特徴３としてラベル付けする。

【０１４５】 同様に、ステップＳ１８８において、特徴識別器７０は、時計回り方向に特徴
３に隣接するクラスタの特徴を決定し、これにクラスタの特徴４としてラベル付
けする。

【０１４６】 ステップＳ１９０において、特徴識別器７０は、別の処理すべき特徴のクラス
タが存在するか否かを決定する。ステップＳ３４で特徴クラスタラ６０により入
力画像中で見出された特徴の各クラスタを以上説明したように処理し終わるまで
、ステップＳ１８０からＳ１９０が繰り返される。

【０１４７】 図１２を再度参照すると、ステップＳ１４４において、特徴識別器７０は、ス
テップＳ１４２で計算された特徴ラベルを使用して赤色の特徴を含む各クラスタ
のラベル付けを行なう（これらのクラスタは、図８のステップＳ６０で格納され
た各特徴の色を使用して識別される）。

【０１４８】 具体的には、図３において、クラスタ２００は、位置１及び位置４において赤
色の特徴２４４を含む。一方、クラスタ２０６は、位置３及び４において赤色の
特徴を有し、クラスタ２１２は、位置２及び３において赤色の特徴を有し、クラ
スタ２１８は、位置１及び２において赤色の特徴を有する。従って、ステップＳ
１４４において、入力画像中に赤色の特徴を含む各クラスタは、ステップＳ１４
２で割り当てられた赤色の特徴のラベルに基づいて写真マット３４上の対応する
クラスタを定義するラベルを割り当てられる。

【０１４９】 この処理の結果、赤色の特徴を含む各クラスタの各特徴は、写真マット３４上
の一意的な特徴に関連付けられる。

【０１５０】 図１２を再度参照すると、ステップＳ１４６において、特徴識別器７０は、全
ての特徴が黒色である入力画像中の各クラスタにラベル付けする。

【０１５１】 図１６は、ステップＳ１４６で特徴識別器７０により実行される処理動作を示
す。

【０１５２】 図１６のステップＳ２００において、特徴識別器７０は、各識別されたクラス
タ（すなわち、赤色の特徴を含み、ステップＳ１４４でラベル付けされた各クラ
スタ）を使用して、入力画像と写真マット３４との間のクラスタに対する各マッ
ピングを計算する。

【０１５３】 具体的には、この実施例において、特徴識別器７０は、クラスタの各特徴の、
入力画像中での位置及び写真マット３４上での位置を使用して、Ｒ．Ｊ．シュカ
ルコフ，ジョン ウィリとソンズ（R.J. Schalkoff, John Wiley and Sons）の
「デジタル画像処理とコンピュータビジョン（Digital Image Processing and C
omputer Vision）」（ISBN 047150536-6、第３章）に記載されているような従来
の方法でマッピングを計算する。

【０１５４】 ステップＳ２０２において、特徴識別器７０は、ステップＳ１４４でラベル付
けされた赤色の特徴を含む次のクラスタを考慮する（ステップＳ２０２が初めて
実行される場合、これは最初のクラスタである）。

【０１５５】 ステップＳ２０４において、特徴識別器７０は、ステップＳ２００で現在考慮
中のクラスタに対して計算されたマッピングの逆を計算し、この逆のマッピング
と写真マット３４上の特徴の既知の位置とを使用して、識別されたクラスタに隣
接する各クラスタの中心の入力画像中の位置の予測を計算する。

【０１５６】 一例として図３を参照すると、クラスタ２０６がステップＳ２０２において考
慮される場合、ステップＳ２０４において、入力画像中のクラスタ２０４の中心
の位置と入力画像中のクラスタ２０８の中心の位置とに対して予測が計算される
。同様に、クラスタ２１２がステップＳ２０２において考慮される場合、ステッ
プＳ２０４において、クラスタ２１０及び２１４の中心の位置の予測が計算され
る。

【０１５７】 ステップＳ２０６において、特徴識別器７０は、ステップＳ２０４で計算され
た画像中の次の予測位置を考慮する（ステップＳ２０６が初めて実行される場合
、これは最初の予測位置である）。

【０１５８】 ステップＳ２０８において、特徴識別器７０は、現在考慮中の予測位置が図７
のステップＳ３４で入力画像中において見出された最も近接するクラスタの中心
の閾値距離内にあるか否かを決定する（入力画像中のクラスタの中心は、図９の
ステップＳ１２２で計算され、格納されている）。

【０１５９】 図１７は、ステップＳ２０８で実行される処理を示す。

【０１６０】 図１７において、特徴識別器７０は、予測位置６５０とクラスタの中心６５２
との間の距離「ｑ」が距離「ｄ」よりも短いか否かを決定する。ｄはクラスタの
任意の２つの特徴間の最長距離である。

【０１６１】 ステップＳ２０８において、距離「ｑ」が距離「ｄ」より短いと決定される場
合、ステップＳ２１０において、特徴識別器７０は、最も近接するクラスタ（す
なわち、中心６５２を有するクラスタ）にラベルを割当て、中心が入力画像中の
位置６５０にあると予測された写真マット３４からのクラスタとして識別する。

【０１６２】 これに対し、ステップＳ２０８において、距離「ｑ」が距離「ｄ」以上である
と決定される場合、クラスタがラベル付けされないようにステップＳ２１０が省
略される。

【０１６３】 従って要約すると、特徴識別器７０は、写真マット３４上の既知のクラスタ（
既に識別済のクラスタに隣接するため、このクラスタは既知である）の入力画像
中の位置を予測し、入力画像中において既に見出されているクラスタが予測位置
に存在するか否かを検査し、入力画像中で見出されたクラスタがその位置に存在
しない場合、写真マット３４上のクラスタに対応させるためにクラスタにラベル
付けする処理を終了する。

【０１６４】 ステップＳ２１２において、特徴識別器７０は、別の処理すべき予測位置が存
在するか否かを決定する。ステップＳ２０４で計算された予測位置の双方を以上
説明したように処理し終わるまで、ステップＳ２０６からＳ２１２が繰り返され
る。

【０１６５】 ステップＳ２１４において、特徴識別器７０は、図１２のステップＳ１１４で
識別されてはいるが処理がまだ行なわれていない特徴のクラスタが他に存在する
か否かを決定する。

【０１６６】 ステップＳ１４４で識別された各クラスタを以上説明したように処理し終わる
までステップＳ２０２からＳ２１４が繰り返される。

【０１６７】 従って、ステップＳ２１４において、識別されたクラスタの全ての処理が終了
したと決定されると、特徴識別器７０は、赤色の特徴を含み且つ入力画像中で見
える特徴の各クラスタを使用して、隣接するクラスタの位置を予測し、入力画像
中の予測された位置でクラスタが見出された場合に隣接するクラスタにラベル付
けするであろう。しかし、オブジェクト４００は、赤色の特徴を含むクラスタの
一部が入力画像中で見えなくなるように赤色の特徴を含むクラスタの１つ以上を
隠蔽する。

【０１６８】 一例として図３を参照すると、クラスタ２０６、２１２及び２１８が入力画像
中で見える場合、ステップＳ２０２からＳ２１４において、特徴識別器７０は、
クラスタ２０４、２０８、２１０、２１４、２１６及び２２０の位置を予測し、
入力画像中のそれらの予測位置に存在するクラスタにラベル付けすることになる
。しかし、クラスタ２００が入力画像中で見えない場合、クラスタ２０２及び２
２２の位置は予測されず、従って、これらのクラスタにラベル付けする試みは行
なわれないであろう。

【０１６９】 加えて、予測位置は最も近接するクラスタの中心の閾値距離内になくても良い
ので、赤色の特徴を含むクラスタからその位置を予測することによってクラスタ
にラベル付けする試みは失敗する恐れがある。

【０１７０】 従って、ステップＳ２１６からＳ２３０において、特徴識別器７０は、全ての
特徴が黒色であり且つラベル付けされていない各クラスタにラベル付けを試みる
処理を実行する。

【０１７１】 具体的には、ステップＳ２１６において、特徴識別器７０は、ラベル付けされ
ていないクラスタが残っているか否かを決定する。

【０１７２】 ステップＳ２１６において、全てのクラスタがラベル付けされていると決定さ
れる場合、ステップＳ１４６（図１２）での処理が終了する。

【０１７３】 これに対し、ステップＳ２１６において、一部のクラスタがラベル付けされて
いないと決定される場合、ステップＳ２１８において、特徴識別器７０は、画像
中のクラスタが識別されていない写真マット３４上の次のクラスタを考慮する。

【０１７４】 ステップＳ２２０において、特徴識別器７０は、ステップＳ２１８で考慮され
たクラスタに隣接するクラスタが別のクラスタからの予測によりラベル付けされ
ているか否か（すなわち、ステップＳ２１０において隣接するクラスタがラベル
付けされているか否か）を決定する。

【０１７５】 従って、一例として図３を参照すると、ステップＳ２１８で考慮されるラベル
付けされていないクラスタがクラスタ２２２である場合、ステップＳ２２０にお
いて、特徴識別器７０は、ステップＳ２１０が実施されたときにクラスタ２２０
がラベル付けされたか否かを決定する。同様に、クラスタ２０２がステップＳ２
１８で考慮されたラベル付けされていないクラスタであった場合、ステップＳ２
２０において、特徴識別器７０は、クラスタ２０４がステップＳ２１０において
ラベル付けされたか否かを決定する。

【０１７６】 ステップＳ２２０において、隣接するクラスタが別のクラスタからの予測によ
りラベル付けされていないと決定される場合、処理はステップＳ２３０に進む。

【０１７７】 これに対し、ステップＳ２２０において、隣接するクラスタが予測によりラベ
ル付けされていると決定される場合、ステップＳ２２２において、特徴識別器７
０は、入力画像と写真マット３４との間のラベル付けされた隣接するクラスタに
対するマッピングを計算する。この実施例において、マッピングがＲ．Ｊ．シュ
カルコフ，ジョン ウィリとソンズ（R.J. Schalkoff, John Wiley and Sons）
の「デジタル画像処理とコンピュータビジョン（Digital Image Processing and
Computer Vision）」（ISBN 047150536-6、第３章）に記載されているような従
来の方法で計算される。

【０１７８】 ステップＳ２２４において、特徴識別器７０は、ステップＳ２２２で生成され
たマッピングの逆を計算し、この逆のマッピングと写真マット３４上の特徴の既
知の位置とを使用して、ステップＳ２１８で考慮されたラベル付けされていない
クラスタの中心の画像中の位置の予測を計算する。

【０１７９】 ステップＳ２２６において、特徴識別器７０は、ステップＳ２２４で計算され
た予測位置が入力画像中の最も近接するクラスタの中心の閾値距離内にあるか否
かを決定する。ステップＳ２２６で実行される処理は、図１７を参照して上述し
たステップＳ２０８で実行された処理と同じである。

【０１８０】 ステップＳ２２６において、予測位置が閾値距離内にあると決定される場合、
ステップＳ２２８において、特徴識別器７０は、最も近接するクラスタにラベル
付けし、ステップＳ２１８で考慮された写真マット３４からのクラスタとして識
別する。

【０１８１】 これに対し、ステップＳ２２６において、予測位置が閾値距離内にないと決定
される場合、ステップＳ２２８が省略され、ステップＳ２１８で考慮されたラベ
ル付けされていないクラスタは、ラベル付けされていない状態を維持する。

【０１８２】 ステップＳ２３０において、特徴識別器７０は、まだ考慮されていないラベル
付けされていないクラスタ（すなわち、ステップＳ２１８からＳ２２８で処理が
行なわれていない）が残っているか否かを決定する。各ラベル付けされていない
クラスタを以上説明したように処理し終わるまでステップＳ２１８からＳ２３０
が繰り返される。

【０１８３】 従って要約すると、ステップＳ２１８からＳ２３０において、特徴識別器７０
は、別のクラスタからの予測によりそれ自体がラベル付けされたクラスタからそ
の位置を予測することによって各ラベル付けされていないクラスタにラベル付け
するように試みる。

【０１８４】 図１６を参照して上述の処理を実行した後には、特徴識別器７０は、入力画像
中で見え、且つ全ての特徴が黒色である各クラスタへのラベル付けを終了してお
くべきである。

【０１８５】 図１２を再度参照すると、ステップＳ１４２で各クラスタ内の特徴にラベル付
けし、ステップＳ１４４又はＳ１４６で各クラスタにラベル付けした後で、特徴
識別器７０は、入力画像中のクラスタ内の各特徴に対して、入力画像と写真マッ
ト３４の双方における特徴の一意的な点位置の座標を格納する。後述するように
、入力画像中の特徴と写真マット３４上の特徴との１対１の対応を使用して、画
像が記録されたときのカメラ４１０の位置及び向きを計算する。１対１の対応が
増加するにつれ、計算された位置及び向きは正確になる。従って、この実施例で
の写真マット３４は、各特徴２４０から３３４が写真マット上の一意的な点位置
を定義するという利点を提供する。従って、ラベル付けされている入力画像中の
各特徴は、カメラ４１０の位置及び向きを計算する際に使用される対応を提供す
る。

【０１８６】 図７を再度参照すると、ステップＳ３８において、カメラ計算器８０は、各特
徴の入力画像中の位置と写真マット３４上の位置との対応を定義するステップＳ
１４８で格納されたデータを使用して、入力画像が記録されたときの写真マット
３４及びオブジェクト４００に対するカメラ４１０の位置及び向きを計算する。
すなわち、カメラ計算器８０は、入力画像が記録されたときにカメラ４１０のス
テップＳ６で格納されたデータにより定義された座標系における変換（並進及び
回転）を計算する。

【０１８７】 図１８は、ステップＳ３８でカメラ計算器８０により実行される処理動作を示
す。

【０１８８】 図１８のステップＳ２５０において、カメラ計算器８０は、図１２のステップ
Ｓ１４８で格納され、且つ入力画像及び写真マット３４における各特徴の一意的
な点位置の座標を定義するデータを読み取る。

【０１８９】 ステップＳ２５２において、カメラ計算器８０は、カウンタの値を１だけイン
クリメントする（カウンタは、ステップＳ２５２が初めて実行される場合、１に
設定される）。

【０１９０】 ステップＳ２５４において、カメラ計算器８０は、ステップＳ２５０で読み取
られた画像マット対応のうちの３つを無作為に選択する（各対応は、入力画像中
の特徴の位置及び写真マット３４上の対応する特徴の位置を定義する）。

【０１９１】 ステップＳ２５６において、カメラ計算器８０は、ステップＳ２５４で選択さ
れた３つの対応を使用して、ステップＳ６（図２）で格納されたデータにより定
義された座標系内での入力画像が記録された撮影位置及び向きへのカメラ４１０
の移動を定義する変換を計算する。

【０１９２】 具体的には、この実施例において、カメラ計算器８０は、Ｒ．Ｍ．ハラリック
とＬ．Ｇ．シャピロ（R.M. Haralick and L.G. Shapiro）の「コンピュータとロ
ボットビジョン ボリューム２（Computer and Robot Vision Volume 2）」（Ad
dison-Wesley Publishing Company、１９９３年、ISBN 0-201-56943-4、第２巻
）の第１３．４．１５節に記載されているような従来の方法で変換を計算する処
理をステップＳ２５６において実行する。

【０１９３】 ステップＳ２５８において、カメラ計算器８０は、ステップＳ２５０で読み取
られた画像マット対応の各々に対してステップＳ２５６で計算された変換を検査
する。すなわち、ステップＳ２５０で読み取られた対応中に記載された各特徴の
点に対して、カメラ計算器８０は、特徴検出器５０により計算された入力画像中
の特徴の点の位置（図８のステップＳ５８において格納済）と写真マット３４か
らの対応する特徴が写真マット３４から入力画像へステップＳ２５６で計算され
た変換を使用して投射されるときに生成される入力画像中の位置との間の距離を
計算する。また、カメラ計算器８０は、これらの位置間の計算された距離が閾値
未満であるか否かを決定する。この処理は以下の式を使用して行なわれ、ステッ
プＳ２５０で読み取られた対応中に記載された各点に対して繰り返され、次の不
等式が成立する点の数が決定される： ｜x__i − PX__i／(PX_i)₃｜ ＜ d ・・・・（２） 式中、ｘ__iはx__i = (u_i, v_i, 1)により与えられる入力画像中の「ｉ」番目の特
徴の位置（図８のステップＳ５８で格納済）、 Ｘ__iはX__i = (x_i, y_i, z_i, 1)により与えられる写真マット３４上の「ｉ」番目
の特徴の位置、 「Ｐ」はステップＳ２５６で計算され、且つ３×４の行列であるカメラ変換を定
義し、従来通りにＰ＝[Ｒ ｔ]により与えられ、Ｋはカメラ４１０の固有のパラ
メータを定義する行列であり、「Ｒ」は計算された回転であり、「ｔ」は計算さ
れた並進であり、 (ＰＸ_i)₃はベクトルＰＸ_iの第３成分であり、 ＰＸ__i／（ＰＸ_i）₃は計算されたカメラ変換に基づいて入力画像中の写真マット
３４からの「ｉ」番目の特徴の予測位置であり、 「ｄ」はこの実施例で閾値であり、ｄ＝３画素に設定される。

【０１９４】 ステップＳ２６０において、カメラ計算器８０は、ステップＳ２５６で計算さ
れ、ステップＳ２５８で検査されたカメラ変換が、ステップＳ２５６が先の反復
中に実行されたときに計算されたいずれのカメラ変換よりも正確であるか否かを
決定する。すなわち、カメラ計算器８０は、ステップＳ２５８で実行された検査
の結果から、上記式（２）で与えられた不等式を満たす点の数が、現在の最も正
確なカメラ変換が検査されたときに不等式を満たした点の数よりも多いか否かを
決定する。

【０１９５】 ステップＳ２６０において、計算された変換が先の反復中にステップＳ２５６
で計算された変換よりも正確であると決定される場合、ステップＳ２６２におい
て、カメラ計算器８０は、計算された変換を式（２）で定義された不等式を満た
す点の数と共に格納する。

【０１９６】 これに対し、ステップＳ２６０において、カメラ変換が先に計算されたいかな
る変換よりも不正確であると決定される場合、ステップＳ２６２は省略される。

【０１９７】 ステップＳ２６４において、カメラ計算器８０は、ステップＳ２５２でインク
リメントされたカウンタの値がステップＳ２５２からＳ２６２の実行すべき反復
の最大回数を定義する閾値数よりも小さいか否かを決定する。この実施例では、
この閾値数は１０，０００に設定される。

【０１９８】 ステップＳ２６４において、カウンタの値が閾値よりも小さい（所望の回数の
反復が実施されていないことを示す）場合、ステップＳ２６６において、カメラ
計算器８０は、ステップＳ２５６で計算されたカメラ変換の正確さ（式（２）の
不等式を満たす点の数がステップＳ２５８で検査された数に勝っていることによ
り表される）が、ステップＳ２５２からＳ２６４のここまでの所定回数の反復に
おいて向上したか否かを決定する（所定回数は、この実施例では２，０００に設
定される）。

【０１９９】 ステップＳ２６６において正確さがここまでの２，０００回の反復中に向上し
たと決定される場合、更なる反復を行なうに値すると決定され、ステップＳ２５
２からＳ２６６が繰り返される。

【０２００】 これに対し、ステップＳ２６６において計算されたカメラ変換の正確さに変化
がない、あるいは、ステップＳ２６４においてカウンタ値が閾値以上であると決
定される場合、これ以上のカメラ変換の計算は行なわれない。

【０２０１】 ステップＳ２５２からＳ２６６の全ての反復が行なわれた後に格納されるカメ
ラ変換は、計算された変換中で最も正確であり、入力画像が記録されたときのカ
メラ４１０の位置及び向きを定義するカメラ変換として使用される。

【０２０２】 図７を再度参照すると、現在考慮中の入力画像に対する処理は終了している。

【０２０３】 従って、ステップＳ４０において、処理装置２は、別の処理すべき入力画像が
存在するか否かを決定し、各入力画像を以上説明したように処理し終わるまでス
テップＳ３０からＳ４０が繰り返され、各入力画像に対して写真マット３４に対
するカメラ４１０の位置及び向きが決定される。

【０２０４】 図６を再度参照すると、ステップＳ１６において、サーフェスモデラ９０は各
入力画像を処理し、オブジェクト４００を表現する画像データを写真マット３４
及び写真マット３４が配置されている表面３８０を表現する画像データから分離
する（ステップＳ１６は、この実施例では、オブジェクト４００の面の３Ｄコン
ピュータモデルを定義するときに使用するためのデータを生成する予備ステップ
である）。

【０２０５】 図１９は、ステップＳ１６でサーフェスモデラ９０により実行される処理動作
を示す。

【０２０６】 図１９を参照すると、ステップＳ２８０からＳ２８８で、サーフェスモデラ９
０は、写真マット３４及び背景３８０を表現するが、オブジェクト４００自体を
表現しない入力画像中の色を表す量子化値のハッシュテーブル（hash table）を
作成する。

【０２０７】 すなわち、ステップＳ２８０で、サーフェスモデラ９０は図６のステップＳ１
２で格納された「背景画像」（すなわち、表面３８０と、写真マット３４が印刷
されている材料と同じ色を有するオブジェクトとを示す、処理装置２に入力され
るべき最終画像）における次の画素のＲＧＢデータ値を読み取る。

【０２０８】 ステップＳ２８２で、サーフェスモデラ９０は以下の式に従って画素の量子化
赤色（Ｒ）値、量子化緑色（Ｇ）値及び量子化青色（Ｂ）値を計算する： q ＝ (p + t / 2) ／ t ・・・・（３） 式中、「ｑ」は量子化値、 「ｐ」はステップＳ２８０で読み取られたＲ、Ｇ又はＢの値、 「ｔ」はオブジェクト４００を示す入力画像からのＲＧＢ値が背景とラベル付け
されるべき背景色にどれほど近くなければならないかを決定する閾値である。こ
の実施例では、「ｔ」は４に設定されている。

【０２０９】 ステップＳ２８４で、サーフェスモデラ９０はステップＳ２８２で計算された
量子化Ｒ値、Ｇ値及びＢ値を従来と同様に組み合わせて、「三重値」を生成する
。

【０２１０】 ステップＳ２８６では、サーフェスモデラ９０はステップＳ２８２で計算され
た量子化Ｒ値、Ｇ値及びＢ値にハッシング関数を適用して、ハッシュテーブルの
ビンを定義し、且つステップＳ２８４で定義された「三重」値を定義されたビン
に追加する。すなわち、この実施例では、サーフェスモデラ９０は下記のハッシ
ング関数を量子化Ｒ値、Ｇ値及びＢ値に適用し、ハッシュテーブルのビンを定義
する。

【０２１１】 h(q) ＝ (q_red & 7)^*2^6 ＋ (q_green & 7)^*2^3 ＋ (q_blue & 7)・・（４） すなわち、ハッシュテーブルのビンは、各色の３つの最下位ビットにより定義
される。この関数は、各ビンが少数の「三重」値のみを有するように、データを
試行し、ハッシュテーブルの利用可能なビンに分散させるように選択されている
。この実施例では、ステップＳ２８６で、「三重」値がビンに既に存在していな
い場合に限って「三重」値をそのビンに追加するので、各「三重」値はハッシュ
テーブルに一度しか追加されない。

【０２１２】 ステップＳ２８８では、サーフェスモデラ９０は、背景画像中に別の画素が存
在するか否かを決定する。以上説明したように「背景」画像の各画素を処理し終
わるまで、ステップＳ２８０からＳ２８８を繰り返す。この処理の結果、「背景
」画像中の色を表現する値を含むハッシュテーブルが生成される。

【０２１３】 ステップＳ２９０からＳ３２４では、サーフェスモデラ９０は各入力画素を順
に考慮し、ハッシュテーブルを使用して、写真マット３４及び背景に関連する入
力画像中のデータを、オブジェクト４００に関連する入力画像中のデータから分
離する。この実施例では、ハッシュテーブルを生成するためにステップＳ２８０
からＳ２８８で処理される「背景」画像は、写真マット３４上の特徴２４０から
３３４を示していない。従って、ステップＳ２９０からＳ３２４で実行される分
割はオブジェクト４００に関連する画素データと、特徴２４０から３３４に関連
する画素データとを区別しない。その代わりに、この実施例では後述するオブジ
ェクト４００の面の３Ｄコンピュータモデルを生成するためにサーフェスモデラ
９０により実行される処理は、写真マット３４上の特徴に関連する画素がサーフ
ェスモデルに寄与することのないように実行される。

【０２１４】 ステップＳ２９０では、サーフェスモデラ９０は次の入力画像を考慮し、ステ
ップＳ２９２では、入力画像中の次の画素（ステップＳ２９２が初めて実行され
る場合、これは最初の画素である）のＲ値、Ｇ値及びＢ値を読み取る。

【０２１５】 ステップＳ２９４では、サーフェスモデラ９０は先の式（３）を使用して、画
素の量子化Ｒ値、量子化Ｇ値及び量子化Ｂ値を計算する。

【０２１６】 ステップＳ２９６では、サーフェスモデラ９０はステップＳ２９４で計算され
た量子化Ｒ値、Ｇ値及びＢ値を組み合わせて、「三重値」を生成する。

【０２１７】 ステップＳ２９８では、サーフェスモデラ９０は先の式（４）に従ってハッシ
ング関数をステップＳ２９４で計算された量子化値に適用して、ステップＳ２８
０からＳ２８８で生成されたハッシュテーブルのビンを定義する。

【０２１８】 ステップＳ３００では、サーフェスモデラ９０はステップＳ２９８で定義され
たハッシュテーブルのビンの「三重」値を読み取る。それらの「三重」値は、写
真マット３４の材料及び背景表面３８０の色を表現している。

【０２１９】 ステップＳ３０２では、サーフェスモデラ９０は、ステップＳ２９６で生成さ
れた、現在考慮すべき入力画像中の画素の「三重」値がハッシュテーブルのビン
の背景「三重」値のいずれかと同じであるか否かを決定する。

【０２２０】 ステップＳ３０２で、画素の「三重」値が背景「三重」値と同じであると決定
されれば、ステップＳ３０４で、その画素は背景画素であると決定し、画素の値
を「黒色」に設定する。

【０２２１】 これに対し、ステップＳ３０２で、画素の「三重」値が背景のどの「三重」値
とも同じでないと決定された場合には、ステップＳ３０６で、その画素はオブジ
ェクト４００の一部であると決定し、サーフェスモデラ９０は画素の値を「白色
」に設定する。

【０２２２】 ステップＳ３０８では、サーフェスモデラ９０は、入力画像に別の画素が存在
するか否かを決定する。入力画像中の各画素を以上説明したように処理し終わる
まで、ステップＳ２９２からＳ３０８を繰り返す。

【０２２３】 ステップＳ３１０からＳ３２２では、サーフェスモデラ９０は画像の画素を背
景画素又はオブジェクト画素として分類する上での誤りを修正するための処理を
実行する。

【０２２４】 具体的には、ステップＳ３１０で、サーフェスモデラ９０はメディアンフィル
タとして使用すべき円形マスクを定義する。この実施例では、円形マスクは４画
素分の半径を有する。

【０２２５】 ステップＳ３１２では、サーフェスモデラ９０はステップＳ３１０で定義した
マスクの中心をステップＳ３０４及びＳ３０６で生成された二値画像の次の画素
（ステップＳ３１２が初めて実行される場合、これは最初の画素である）の中心
に配置するための処理を実行する。

【０２２６】 ステップＳ３１４では、サーフェスモデラ９０はマスク内部の黒色画素の数及
び白色画素の数をカウントする。

【０２２７】 ステップＳ３１６では、サーフェスモデラ９０は、マスク内部の白色画素の数
がマスク内部の黒色画素の数以上であるか否かを決定する。

【０２２８】 ステップＳ３１６で白色画素の数が黒色画素の数以上であると決定されれば、
ステップＳ３１８で、サーフェスモデラ９０はマスクの中心にある画素の値を白
色に設定する。これに対し、ステップＳ３１６で黒色画素の数が白色画素の数よ
り多いと決定された場合には、ステップＳ３２０で、サーフェスモデラ９０はマ
スクの中心にある画素の値を黒色に設定する。

【０２２９】 ステップＳ３２２では、サーフェスモデラ９０は二値画像中に別の画素が存在
するか否かを決定し、以上説明したように各画素を処理し終わるまで、ステップ
Ｓ３１２からＳ３２２を繰り返す。

【０２３０】 ステップＳ３２４では、サーフェスモデラ９０は、処理すべき別の入力画像が
存在するか否かを決定する。以上説明したように各入力画像を処理し終わるまで
、ステップＳ２９０からＳ３２４を繰り返す。

【０２３１】 再び図６に戻ると、ステップＳ１８では、サーフェスモデラ９０がオブジェク
ト４００の３Ｄの面のコンピュータモデルを定義するデータを生成するための処
理を実行する。

【０２３２】 この実施例では、ステップＳ１８の処理は従来通りに実行され、次の３つの段
階を含む。

【０２３３】 （１）ステップＳ１４で生成されたカメラの位置及び向きと、ステップＳ１６
で生成された分割画像データとを処理して、オブジェクトを包囲する複数のボク
セルから成る３Ｄ格子を定義するデータを含むボクセルカービングを生成する。
サーフェスモデラ９０はこの段階の処理を従来通りに、例えば、Ｒ．スゼリスキ
（R. Szeliski）の「画像シーケンスからの高速オクトリ構成（Rapid Octree Co
nstruction from Image Sequences）」（CVGIP：Image Understanding、第５８
巻第１号、１９９３年７月、２３〜３２ページ）に記載されているように実行す
る。

【０２３４】 （２）ボクセルカービングを定義するデータを処理して、オブジェクト４００
の面を定義する複数の三角形から成る３Ｄサーフェスメッシュを定義するデータ
を生成する。この実施例では、この段階の処理はサーフェスモデラ９０により従
来のマーチングキューブアルゴリズムに従って、例えば、Ｗ．Ｅ．ロレンセン（
W. E. Lorensen）及びＨ．Ｅ．クライン（H. E. Cline）の「立方体のマッチン
グ：高解像度３次元サーフェス構成アルゴリズム（Marching Cubes：A High Res
olution 3D Surface Construction Algorithm）」（Computer Graphics, SIGGRA
PH 87 Proceedings、２１、１６３〜１６９ページ、１９８７年７月）又はＪ．
ブルーメンシャル（J. Bloomenthal）の「暗黙のサーフェスポリゴナイザ（An I
mplicit Surface Polygonizer）」（Graphics Gems IV、AP Professional、１９
９４年、ISBN 0123361559、３２４〜３５０ページ）に記載されているように実
行される。

【０２３５】 （３）間引きプロセスを実行することにより、第２段階で生成されたサーフェ
スメッシュの三角形の数を相当に減少させる。

【０２３６】 この実施例においては、サーフェスモデラ９０は第３段階で、第２段階で生成
された三角形メッシュの各々の頂点がオブジェクト４００の面の形状に寄与する
か否かを決定するために三角形メッシュから頂点を無作為に除去することにより
、間引きプロセスを実行するための処理を実行する。形状に寄与しない頂点は三
角形分割から放棄されるため、最終モデルにおける頂点の数（従って、三角形の
数）は少なくなる。隣接する頂点を連続して除去することにより面の大部分が徐
々に侵食されるという事態を回避するために、除去し試験すべき頂点の選択は無
作為に行われる。この実施例でサーフェスモデラ９０により実行される間引きア
ルゴリズムを以下に疑似コードで記載する。

【０２３７】 INPUT Read in vertices Read in triples of vertex IDs making up triangles PROCESSING Repeat NVERTEX times Choose a random vertex, V, which hasn't been chosen before Locate set of all triangles having V as a vertex, S Order S so adjacent triangles are next to each other Re-triangulate triangle set, ignoring V (i.e. remove selected triang
les & V and then fill in hole) Find the maximum distance between V and the plane of each triangle If (distance ＜ threshold) Discard V and keep new triangulation Else Keep V and return to old triangulation OUTPUT Output list of kept vertices Output updated list of triangles 写真マット３４上の特徴２４０から３３４の絶対位置はわかっているので（特
徴はステップＳ４で格納される直径に従って印刷されている）、オブジェクト４
００の面の３Ｄコンピュータモデルは正確なスケールで生成される。

【０２３８】 ステップＳ２０で、サーフェステクスチャラ１００は入力画像データを処理し
て、ステップＳ１８でサーフェスモデラ９０により生成されたサーフェスモデル
の面三角形ごとにテクスチャデータを生成する。

【０２３９】 具体的には、この実施例では、サーフェステクスチャラ１００は、ステップＳ
１８で生成されたサーフェスメッシュ中の各面三角形を考慮し且つ三角形に最も
近接して直面している入力画像「ｉ」を見出すための処理を従来通りに実行する
。すなわち、三角形の垂線を とし、「ｉ」番目の画像の撮影方向を とするとき
、値 が最大である入力画像が求められる。これは、面三角形が最大投射面積を
有する入力画像を識別する。

【０２４０】 面三角形は識別された入力画像に投射され、投射された三角形の頂点は画像テ
クスチャマップを定義するテクスチャ座標として使用される。

【０２４１】 以上説明した処理を実行した結果、モデルにレンダリングすべき画像データを
定義するテクスチャ座標をもって完成した、オブジェクト４００の面のＶＲＭＬ
（又は類似のフォーマットの）モデルが得られる。

【０２４２】 ステップＳ２２では、中央制御装置２０は出力データ記憶装置１２０からの、
オブジェクト４００の３Ｄコンピュータモデルを定義するデータを、例えば、デ
ィスク１２２などの記憶装置に格納されるデータ又は信号１２４（図１）として
出力する。これに加えて、又はその代わりに、中央制御装置２０はディスプレイ
プロセッサ１１０に、オブジェクト４００の３Ｄコンピュータモデルの画像を、
例えば、ユーザ入力装置６を使用してユーザにより入力された視点に従って表示
させても良い。あるいは、ステップＳ１４でカメラ計算器８０により生成された
１つ以上の入力画像に対するカメラ４１０の位置及び向きを定義するデータを、
例えば、ディスク１２２などの記憶装置に記録されるデータ又は信号１２４とし
て出力しても良い。

【０２４３】 上述の第１実施例において、写真マット３４上のクラスタ２００、２０６、２
１２及び２１８は同一であり、クラスタ２０２、２０４、２０８、２１０、２１
４、２１６、２２０及び２２２が同一である。入力画像中において見出された各
特徴と写真マット３４上の特徴との１対１の対応は、入力画像中の写真マット上
の所定の点に対する特徴の位置によってクラスタ内の各特徴にラベル付けし（図
１２のステップＳ１４０及びＳ１４２）、これらのクラスタ内の赤色の特徴の位
置によってクラスタ２００、２０６、２１２及び２１８にラベル付けし（これら
の位置はマット上の所定の点に対して決定される）（図１２のステップＳ１４４
）、且つクラスタ２００、２０６、２１２又は２１８（赤色の特徴を含むクラス
タからラベル付けできない場合には別の識別済のクラスタ）のうちの１つに対す
る位置によってクラスタ２０２、２０４、２０８、２１０、２１４、２１６、２
２０及び２２２の各々にラベル付けすることによって識別される。

【０２４４】 第２実施例 発明の第２実施例を説明する。第２実施例において、特徴にラベル付けするの
に入力画像中の写真マット上の所定の点の位置を決定する必要がないように特徴
が写真マット３４上に設けられる。

【０２４５】 第２実施例の構成要素及びその構成要素により実施される処理動作は、写真マ
ット３４上のパターンが異なり、また、図７のステップＳ３６で特徴識別器７０
により実行される処理が異なる点を除いて第１実施例と同じである。

【０２４６】 図２０は、第２実施例において、印刷又は表示された写真マット３４上の特徴
のパターンを示す。

【０２４７】 図２０において、パターンは、空いた中央領域７１８の周囲に三角形状に配置
された複数のクラスタ７００から７１６から構成される。中央領域７１８の大き
さは、ステップＳ４（図２）で格納された直径を有する円をクラスタ７００から
７１６中の特徴のいずれにも接触せずに描くことができる程度にする。

【０２４８】 各クラスタ７００から７１６は、４つの特徴を含み、この実施例ではそれらは
円である。図３のように、中央が白い黒字の円は、写真マット３４上では全体が
赤色の円を表し、図２０の内部まで黒い円は、写真マット３４上では全体が黒色
の円を表す。

【０２４９】 第２実施例における写真マット３４上のクラスタのうちの３つは、赤色の特徴
を含む。クラスタ７１２は、単一の赤色の特徴７３６を含み、クラスタ７００は
、２つの赤色の特徴７２０及び７２６を含み、クラスタ７０６は、３つの赤色の
特徴７２８、７３２及び７３４を含む。クラスタ７００、７０６及び７１２は、
異なる個数の赤色の特徴を含むので、これらのクラスタの各々は、第１実施例で
のクラスタ２００、２０６、２１２及び２１８とは異なり、それぞれ一意的であ
る。従って、これらのクラスタのうちの１つが入力画像中で検出されるたびに、
一意的なラベルをクラスタ７００、７０６及び７１２の各々に割り当てることが
できる。更に、各クラスタ７００、７０６及び７１２内の特徴（及びその他のク
ラスタ７０２、７０４、７０８、７１０、７１４及び７１６）は、後述するよう
に、写真マット３４上の所定の点を参照することなくラベル付けすることができ
る。

【０２５０】 図２１は、第２実施例において図７のステップＳ３６で特徴識別器７０により
実行される処理動作を示す。

【０２５１】 図２１のステップＳ４００において、特徴識別器７０は、赤色の特徴を含む入
力画像中の各クラスタにラベル付けする。上述のように、赤色の特徴を含むクラ
スタは、様々に異なる個数の赤色の特徴を含むので、一意的にラベル付けするこ
とが可能である。すなわち、ステップＳ４００において、特徴識別器７０は、含
まれる赤色の特徴の個数によってクラスタにラベル付けする。

【０２５２】 ステップＳ４０２において、特徴識別器７０は、赤色の特徴を含む各識別され
たクラスタの特徴にラベル付けする。

【０２５３】 具体的には、図２０において、特徴識別器７０は、時計回り方向で隣接する特
徴が黒色の特徴であるクラスタの赤色の特徴にクラスタの特徴１としてラベル付
けする。従って、図２０において、特徴７２０は、クラスタ７００の特徴１とし
てラベル付けされ、特徴７２８は、クラスタ７０６の特徴１としてラベル付けさ
れ、特徴７３６は、クラスタ７１２の特徴１としてラベル付けされる。残りの各
特徴は、クラスタの特徴１から時計回り方向でラベル付けされる。従って、例え
ば、クラスタ７００において、特徴７２２は、特徴２としてラベル付けされ、特
徴７２４は特徴３としてラベル付けされ、特徴７２６は特徴４としてラベル付け
される。同様に、クラスタ７１２において、特徴７３８は特徴２としてラベル付
けされ、特徴７４０は特徴３としてラベル付けされ、特徴７４２は特徴４として
ラベル付けされる。

【０２５４】 ステップＳ４００からＳ４０２での処理を実行した結果、入力画像中に赤色の
特徴を含むクラスタの各特徴と写真マット３４上の特徴との１対１の対応が識別
される。

【０２５５】 ステップＳ４０４において、特徴識別器７０は、全ての特徴が黒色である入力
画像中の各クラスタにラベル付けする。ステップＳ４０４で実行される処理は、
第１実施例においてステップＳ１４６（図１２）で実行された処理に対応する。
この処理は図１６を参照して先に説明しているので、ここでは説明を繰り返さな
い。

【０２５６】 ステップＳ４０６において、特徴識別器７０は、ステップＳ４０４でラベル付
けされた各クラスタ内の特徴にラベル付けする。すなわち、特徴識別器７０は、
全ての特徴が黒色である各ラベル付けされたクラスタの特徴にラベル付けする。

【０２５７】 図２２は、ステップＳ４０６で特徴識別器７０により実行される処理動作を示
す。これらの動作は、クラスタにラベル付けを行なうステップＳ４０４で実行さ
れる動作と類似するが、それは、特徴の位置を予測し、入力画像中の特徴が予測
位置の閾値距離内にあるか否かを決定し、且つ閾値距離内にある場合には入力画
像中の特徴にラベル付けすることに処理が基づいているためである。

【０２５８】 具体的には、図２２のステップＳ４２０において、特徴識別器７０は、赤色の
特徴を含む次のラベル付けされたクラスタに対して画像とマットとの間のマッピ
ングを読み取る。このマッピングは、ステップＳ４０４が実行されたときに図１
６のステップＳ２００で予め計算されたものである。

【０２５９】 ステップＳ４２２において、特徴識別器７０は、ステップＳ４２０で読み取ら
れたマッピングの逆を計算し、この逆のマッピングを写真マット３４上の特徴の
既知の位置と共に使用して、ラベル付けされたクラスタに隣接するクラスタの各
特徴の中心の入力画像中の各位置の予測を計算する。

【０２６０】 従って、図２０において、クラスタ７００がステップＳ４２０で考慮されたラ
ベル付けされたクラスタである場合、ステップＳ４２２において、特徴識別器７
０は、クラスタ７０２の特徴７５０から７５６の各々及びクラスタ７１６の特徴
７５８から７６４の各々の中心の入力画像中の位置を予測する。

【０２６１】 ステップＳ４２４において、特徴識別器７０は、ステップＳ４２２で計算され
た次の予測位置を考慮する（ステップＳ４２４が初めて実行される場合、これは
最初の予測位置である）。

【０２６２】 ステップＳ４２６において、特徴識別器７０は、予測位置が入力画像中の最も
近接する特徴の中心の閾値距離内にあるか否かを決定する。この実施例では、閾
値距離は画素２０個分に設定される。

【０２６３】 ステップＳ４２６において、予測位置が最も近接する特徴の中心の閾値距離内
にあると決定される場合、ステップＳ４２８において、特徴識別器７０は、入力
画像中の最も近接する特徴にラベル付けする。これが可能であるのは、特に写真
マット上の一意的な特徴に対して各予測位置がステップＳ４２２で計算されたた
めに、写真マット３４上の対応する特徴がわかっているからである。

【０２６４】 これに対し、ステップＳ４２６において、予測位置が最も近接する特徴の中心
の閾値距離内にないと決定される場合、特徴をラベルのない状態で維持するため
にステップＳ４２８が省略される。

【０２６５】 ステップＳ４３０において、特徴識別器７０は、ステップＳ４２２で計算され
、且つ処理が終了していない予測位置が他に存在するか否かを決定する。以上説
明したように各予測位置を処理し終わるまでステップＳ４２４からＳ４３０が繰
り返される。

【０２６６】 ステップＳ４３２において、特徴識別器７０は、赤色の特徴を含むラベル付け
されたクラスタが他に存在するか否かを決定する。以上説明したように赤色の特
徴を含む各ラベル付けされたクラスタを処理し終わるまでステップＳ４２０から
Ｓ４３２が繰り返される。

【０２６７】 赤色の特徴を含むクラスタ７００、７０６及び７１２の各々が、入力画像中で
見える場合、ステップＳ４２０からＳ４３２で実行される処理により、クラスタ
７０２、７０４、７０８、７１０、７１４及び７１６中の特徴の各々にラベル付
けが行なわれるべきである。

【０２６８】 しかし、いずれかの特徴がラベル付けされずに残る場合（赤色の特徴を含むク
ラスタのうちの１つが入力画像中に見えないようにオブジェクト４００により隠
蔽された場合などに起こる）、特徴識別器７０は、ステップＳ４３４からＳ４４
８において追加の処理を実行する。

【０２６９】 具体的には、ステップＳ４３４において、特徴識別器７０は、ラベル付けされ
ずに残っている特徴が存在するか否かを決定する。

【０２７０】 ステップＳ４３４において、入力画像中にラベル付けされずに残っている特徴
が存在しないと決定される場合、ステップＳ４０６（図２１）での処理は終了す
る。

【０２７１】 これに対し、ステップＳ４３４において、入力画像中の少なくとも１つの特徴
がラベル付けされずに残っていると決定される場合、ステップＳ４３６において
、特徴識別器７０は、次のラベル付けされていない特徴を考慮する（ステップＳ
４３６が初めて実行される場合、これは最初のラベル付けされていない特徴であ
る）。

【０２７２】 ステップＳ４３８において、特徴識別器７０は、ステップＳ４３６で選択され
たラベル付けされていない特徴を含むクラスタに隣接するクラスタが、別のクラ
スタからの推測によりラベル付けされているか否かを決定する。

【０２７３】 図２０において、ステップＳ４３６で考慮されたラベル付けされていない特徴
がクラスタ７１６の一部である場合、ステップＳ４３８において、特徴識別器７
０は、クラスタ７１４がステップＳ２１０（図１６）において予測によりラベル
付けされたか否かを決定するであろう。

【０２７４】 ステップＳ４３８において、隣接するクラスタが別のクラスタからの予測によ
りラベル付けされていないと決定される場合、処理はステップＳ４４８に進み、
ステップＳ４３６で考慮された特徴はラベル付けされないままである。

【０２７５】 これに対し、ステップＳ４３８において、隣接するクラスタがステップＳ２１
０（図１６）でラベル付けされたと決定される場合、ステップＳ４０４が実行さ
れたときに入力画像と写真マット３４との間のラベル付けされた隣接するクラス
タに対するマッピングが計算されていない場合には、特徴識別器７０は、このマ
ッピングの計算を行なう。マッピングは、ステップＳ４４０において、図１６の
ステップＳ２２２でマッピングが計算されたときと同様に（すなわち、Ｒ．Ｊ．
シュカルコフ，ジョン ウィリとソンズ（R.J. Schalkoff, John Wiley and Son
s）の「デジタル画像処理とコンピュータビジョン（Digital Image Processing
and Computer Vision）」（ISBN 047150536-6、第３章）に記載されているよう
な従来の方法で）計算される。

【０２７６】 ステップＳ４４２において、特徴識別器７０は、ステップＳ４４０で計算され
た又は読み取られたマッピングの逆を計算し、この逆のマッピングと写真マット
３４上の特徴の既知の位置とを使用して、ラベル付けされていない特徴の中心の
入力画像中の位置の予測を計算する。

【０２７７】 ステップＳ４４４において、特徴識別器７０は、予測位置が入力画像中の最も
近接する特徴の中心の閾値距離内にあるか否かを決定する。この実施例において
、閾値距離は画素２０個分に設定される。

【０２７８】 ステップＳ４４４において、入力画像中の最も近接する特徴が予測位置の閾値
距離内にあると決定される場合、ステップＳ４４６において、最も近接する特徴
がラベル付けされる。

【０２７９】 これに対し、ステップＳ４４４において、最も近接する特徴の中心と予測位置
との間の距離が閾値距離を超えると決定される場合、ステップＳ４４６が省略さ
れ、ステップＳ４３６で考慮された特徴はラベル付けされないままである。

【０２８０】 ステップＳ４４８において、特徴識別器７０は、未だ考慮されておらずラベル
付けされていない特徴が他に残っているか否かを決定する。以上説明したように
各ラベル付けされていない特徴を処理し終わるまでステップＳ４３６からＳ４４
８が繰り返される。

【０２８１】 図２１を再度参照すると、ステップＳ４０８において、特徴識別器７０は、入
力画像中の各特徴に対して、入力画像中の特徴の一意的な点位置及び写真マット
３４上の特徴の一意的な点位置の座標を格納する。

【０２８２】 上述の第１実施例及び第２実施例では、写真マット３４上の特徴の各クラスタ
は、同数の特徴を含み、クラスタの一部は赤色の特徴を含むので、これらのクラ
スタにラベル付けすることができる。赤色の特徴を含むラベル付けされたクラス
タを使用して、全ての特徴が黒色であるクラスタにラベル付けする。

【０２８３】 第３実施例 本発明の第３実施例を説明する。

【０２８４】 第３実施例では、第１実施例及び第２実施例において赤色の特徴を含む特徴の
クラスタが設けられるのと異なり、複数の単一の特徴が写真マット３４上に設け
られる。これらの特徴は、相互に区別することが可能であり、全ての特徴が黒色
である特徴のクラスタにラベル付けするのに使用することができる。

【０２８５】 第３実施例の構成要素及びその構成要素により実施される処理動作は、写真マ
ット３４上のパターンが異なり、また、図７のステップＳ３２で特徴検出器５０
により実行される処理及び図７のステップＳ３６で特徴識別器７０により実行さ
れる処理が異なる点を除いて第１実施例と同じである。

【０２８６】 図２３は、第３実施例において印刷又は表示された写真マット３４上の特徴の
パターンを示す。

【０２８７】 図２３において、第３実施例における写真マット３４上のパターンは、クラス
タ８０８、８１０、８１２、８１４、８１６、８１８、８２０及び８２２と共に
赤色の星８００、赤色の円８０２、黒色の星８０４及び黒色の円８０６から構成
される。各クラスタは、相互に同一であるように４つの黒色の円を含んでいる。

【０２８８】 特徴８００から８０６の中心及びクラスタ８０８から８２２の中心は、ステッ
プＳ４（図２）で格納された直径に基づいた直径を有する円の周囲に配置され、
中心にはオブジェクト４００を配置することが可能な空間が空けられている。

【０２８９】 第１実施例のように、クラスタの２つの対向する特徴（クラスタ８２２に対し
ては線８５０、クラスタ８１２に対しては線８５２）を通って引かれた１本の仮
想線（すなわち、写真マット３４上に存在しない線）が特徴及びクラスタが配置
される円の中心８５４を通るように、特徴はクラスタ８０８から８２２内に配置
される。

【０２９０】 特徴８００から８０６及びクラスタ８０８から８２２は、特徴８００から８０
６の各々の中心及びクラスタ８０８から８２２の各々の中心が中心８５４に結ば
れる場合に、隣接する１対の結合線（すなわち、図２３の破線）間の角度θが等
しくなるように、写真マット上に配置される。すなわち、特徴８００から８０６
の各々の中心及びクラスタ８０８から８２２の各々の中心は、円の周囲に等間隔
に離間して配置される。

【０２９１】 図２４は、第３実施例においてステップＳ３２（図７）で特徴検出器５０によ
り実行される処理動作を示す。

【０２９２】 図２４において、ステップＳ５００からＳ５０８で実行される処理動作は、第
１実施例においてステップＳ５０からＳ５８（図８）で実行される処理動作と同
じである。これらの処理動作については先に説明しているので、ここでは説明を
繰り返さない。

【０２９３】 ステップＳ５１０において、特徴検出器５０は、入力画像中の画素の各グルー
プの色を決定し、これを格納する。第１実施例において、このステップは、グル
ープにより定義される一意的な点位置に最も近接する入力画像中の画素の色を決
定することによって実行された（図８のステップＳ６０）。しかし、第３実施例
において、十字形８００又は十字形８０４の中心の計算において誤りが生じると
、実際は十字形の一部ではない画素位置になる恐れがある（十字形の中心は円に
比べて幅が狭いため）。従って、第３実施例では、ステップＳ５１０において、
特徴検出器５０は、グループ中の画素の平均的なＲ値、平均的なＧ値及び平均的
なＢ値をとり、これらの平均値によって色を決定することによって画素の各グル
ープの色を決定する。

【０２９４】 ステップＳ５１２において、特徴検出器５０は、画素の各グループ中の周囲画
素の数、すなわち、画素のグループの外縁部にある画素の数を決定し、これを格
納する。この実施例において、特徴検出器５０は、画素のグループの一部ではな
い画素（すなわち、値０を有する画素）に結合される画素として周囲画素を識別
する。

【０２９５】 上述のように、第３実施例において特徴クラスタラ６０により実行される処理
動作は、第１実施例で実行されるのと同じである。従って、第３実施例において
、写真マット３４上の特徴は、特徴クラスタラ６０により形成されるクラスタの
一部にはならない（クラスタの特徴の大きさを図９のステップＳ１０６からＳ１
１４において比較したとき、特徴８００から８０６のうちの１つを含むクラスタ
は拒絶されるため）ことに留意すべきである。

【０２９６】 図２５は、第３実施例においてステップＳ３６（図７）で特徴識別器７０によ
り実行される処理動作を示す。

【０２９７】 第１実施例及び第２実施例においては、赤色の特徴を含む複数のクラスタが写
真マット３４上に設けられ、これらのクラスタ内の特徴は入力画像中において一
意的に識別することができるが、それは、各クラスタが写真マット３４上のクラ
スタ（オブジェクト４００上の１つ以上の特徴を含むクラスタではない）に確実
に対応するように処理が行なわれ、赤色の特徴を含む各クラスタはその他の全て
のクラスタから区別することが可能であるからである。更に、赤色の特徴を含む
クラスタの各々が合計４つの特徴を含むので、赤色の特徴を含むクラスタの各特
徴にラベル付けすることによって、入力画像中の各点と写真マット上の各点との
４つの対応が識別される。これにより、第１実施例及び第２実施例における特徴
識別器７０は、入力画像とマットとのマッピングを計算することができ、そのた
め、全ての特徴が黒色である隣接するクラスタの位置を予測することができる。

【０２９８】 しかし、第３実施例では、特徴８００から８０６のいずれもクラスタの一部で
はない。従って、特徴８００から８０６にラベル付けするための処理は行なわれ
ない（すなわち、入力画像中のどの特徴が写真マット上の特徴に対応するかを決
定するための処理）。更に、特徴８００から８０６の各々に対して、１つの一意
的な点位置（すなわち、特徴の中心）のみが定義される。

【０２９９】 従って、第３実施例において、特徴識別器７０は、特徴８００から８０６から
の予測によりクラスタ８０８から８２２の各々にラベル付けすることができない
。これは、第１に、特徴８００から８０６のいずれにもラベル付けが行なわれて
いないからであり、第２に、これらの特徴がラベル付けされていた場合でも、画
像とマットとの間のマッピングを計算するのに単一の特徴８００から８０６に対
する十分な画像−マット間の対応が存在しないからである。

【０３００】 代わりにラベル付けの実行方法を説明する。

【０３０１】 図２５において、ステップＳ５２０及びステップＳ５２２は、第１実施例のス
テップＳ１４０及びステップＳ１４２（図１２）にそれぞれ対応する。これらの
ステップで実行される処理は先に説明したので、ここでは繰り返さない。

【０３０２】 ステップＳ５２４において、特徴識別器７０は、入力画像中の特徴の次のラベ
ル付けされていないクラスタ８０８から８２２（ステップＳ５２４が初めて実行
される場合、これは最初のラベル付けされていないクラスタである）と写真マッ
ト３４上の特徴の任意のクラスタとを選択する。

【０３０３】 ステップＳ５２６において、特徴識別器７０は、入力画像と写真マット３４と
の間のマッピングを計算する。この実施例において、これは、ステップＳ５２４
で選択された入力画像中のラベル付けされていないクラスタの特徴とステップＳ
５２４で選択された写真マット３４上のクラスタの特徴との１対１の対応を無作
為に割当て、且つＲ．Ｊ．シュカルコフ，ジョン ウィリとソンズ（R.J. Schal
koff, John Wiley and Sons）の「デジタル画像処理とコンピュータビジョン（D
igital Image Processing and Computer Vision）」（ISBN 047150536-6、第３
章）に記載されているような従来の方法で割り当てられた対応を使用してマッピ
ングを計算することによって実行される。

【０３０４】 ステップＳ５２８において、特徴識別器７０は、ステップＳ５２６で計算され
たマッピングの逆を計算し、この逆のマッピングと写真マット３４上の特徴の既
知の位置を使用して、ステップＳ５２４で選択された写真マット上のクラスタに
隣接するクラスタの中心及びステップＳ５２４で選択されたクラスタに隣接する
写真マット上の特徴の中心の入力画像中の位置の予測を計算する。

【０３０５】 従って、図２３において、写真マット上のクラスタ８０８がステップＳ５２４
において選択される場合、ステップＳ５２８において、特徴識別器７０は、クラ
スタ８１０の中心及び特徴８００の中心の入力画像の位置を予測するであろう。

【０３０６】 特徴８００から８０６、クラスタ８０８から８２２及び写真マット３４上のこ
れらのクラスタ内の円は対称的に配置されているので、入力画像中の特徴のラベ
ル付けされていないクラスタと共に使用されて１対１の対応を生成するために、
写真マット上のどのクラスタがステップＳ５２４で選択されるかに関係なく、ス
テップＳ５２８で予測された位置が適用されることになる。

【０３０７】 ステップＳ５３０において、特徴識別器７０は、入力画像中のどの特徴がステ
ップＳ５２８で予測された第１の中心の位置に最も近接するかを決定し、また、
入力画像中のどの特徴がステップＳ５２８で予測された第２の中心に最も近接す
るかを決定する。

【０３０８】 ステップＳ５３２において、特徴識別器７０は、ステップＳ５３０で予測され
た中心に最も近接すると決定された次の特徴を考慮し（ステップＳ５３２が初め
て実行される場合、これは最初の特徴である）、ステップＳ５３４において、そ
の特徴が特徴のクラスタの一部であるか否かを決定する。

【０３０９】 ステップＳ５３４において、特徴が特徴のクラスタの一部でないと決定される
場合、その特徴は間違いなく星８００又は８０４のうちの１つであるか、あるい
は、円８０２又は８０６のうちの１つであるだろう。従って、ステップＳ５３６
において、特徴識別器７０は、この特徴にラベル付けする。

【０３１０】 図２６は、ステップＳ５３６で特徴識別器７０により実行される処理動作を示
す。

【０３１１】 図２６のステップＳ５６０において、特徴識別器７０は、特徴の色（図２４の
ステップＳ５１０で格納済）を読み取る。

【０３１２】 ステップＳ５６２において、特徴識別器７０は、その特徴を構成する画素の総
数により除算される周囲画素の数の２乗が閾値よりも大きいか否かを決定する。
この実施例では、この閾値は２４に設定される。

【０３１３】 ステップＳ５６２において、計算された値が２４より大きいと決定される場合
、ステップＳ５６４において、特徴識別器７０は、その特徴が十字形であると決
定する。

【０３１４】 これに対し、ステップＳ５６２において、計算された値が２４以下であると決
定される場合、ステップＳ５６６において、特徴識別器７０は、その特徴が円で
あると決定する。

【０３１５】 ステップＳ５６８において、特徴識別器７０は、ステップＳ５６０で読み取ら
れた特徴の色、その特徴がステップＳ５６４で十字形と決定されたか否か、又は
、その特徴がステップＳ５６６で円と決定されたか否かによって特徴にラベル付
けを行なう。

【０３１６】 上述のように、特徴識別器７０は、クラスタ８０８から８２２のうちの１つの
使用による入力画像中の位置の予測によって特徴８００から８０６にラベル付け
する。オブジェクト上の特徴は予測位置に対応する位置を画像中に有する可能性
が低いので、特徴８００から８０６をオブジェクト４００上の特徴と区別する確
実な方法がこれによりもたらされる。

【０３１７】 図２５を再度参照すると、ステップＳ５３４において特徴が特徴のクラスタの
一部でないと決定され、その特徴がステップＳ５３６でラベル付けされている場
合、ステップＳ５２４で選択された入力画像からのラベル付けされていないクラ
スタは、間違いなくステップＳ５３６でラベル付けされた特徴に隣接するクラス
タであろう。従って、図２３において、ステップＳ５３６でラベル付けされた特
徴が、例えば、特徴８００である場合、ステップＳ５２４で選択された画像から
のラベル付けされていないクラスタは、クラスタ８０８又はクラスタ８２２のい
ずれかである。

【０３１８】 ステップＳ５３８及び５４０において、特徴識別器７０は、写真マット上のラ
ベル付けされた特徴に隣接する２つのクラスタのうちのいずれがステップＳ５２
４で選択された入力画像中のラベル付けされていないクラスタに対応するかを決
定するための処理を実行する。

【０３１９】 具体的には、ステップＳ５３８において、特徴識別器７０は、入力画像中の、
ステップＳ５２４で選択されたラベル付けされていないクラスタの中心（この中
心は図９のステップＳ１２２で格納済）とステップＳ５２０で決定された画像中
の基準点とを結ぶ。

【０３２０】 ステップＳ５４０において、特徴識別器７０は、ステップＳ５３６で特徴に割
り当てられたラベルとステップＳ５３８で生成された線に対する特徴の位置とに
よって、ステップＳ５２４で選択されたラベル付けされていないクラスタにラベ
ル付けを行なう。

【０３２１】 具体的には、図２３において、ステップＳ５３６でラベル付けされた特徴が特
徴８００である場合、ステップＳ５２４で選択されたラベル付けされていないク
ラスタは、特徴８００がステップＳ５３８で生成された線８５０の右側（すなわ
ち、時計回り方向）に位置するときにはクラスタ８２２である。これに対し、ス
テップＳ５２４で選択されたラベル付けされていないクラスタがクラスタ８０８
である場合、特徴８００はステップＳ５３８で生成された線の左側（すなわち、
反時計回り方向）に位置することになる。

【０３２２】 一方、ステップＳ５３４において、ステップＳ５３２で考慮された特徴が特徴
のクラスタの一部であると決定される場合、ステップＳ５４２において、特徴識
別器７０は、ステップＳ５３２で考慮された特徴が特徴のラベル付けされたクラ
スタの一部であるか否かを決定する。ステップＳ５４２が初めて実行される場合
、特徴のクラスタにはラベル付けされないであろうが、後続の反復では、クラス
タはラベル付けされる可能性がある。

【０３２３】 ステップＳ５４２において、特徴がラベル付けされたクラスタの一部であると
決定される場合、ステップＳ５４４において、特徴識別器７０は、ステップＳ５
２４で入力画像から選択された特徴のラベル付けされていないクラスタにラベル
付けを行なう。すなわち、写真マット３４上の各クラスタは別の１つのクラスタ
にのみ隣接しているので、ステップＳ５２４で選択されたラベル付けされていな
いクラスタには一意的なラベルを割り当てることができる。

【０３２４】 従って、図２３において、ステップＳ５４２において、ステップＳ５３２で考
慮された特徴が、例えば、ラベル付けされたクラスタ８２２の一部である場合、
ステップＳ５４４において、特徴識別器７０は、ラベル付けされていないクラス
タにクラスタ８２０としてラベル付けする（これはクラスタ８２２に隣接する唯
一のクラスタであるため）。

【０３２５】 これに対し、ステップＳ５４２において、ステップＳ５３２で考慮された特徴
が、特徴のラベル付けされたクラスタの一部でない場合、ステップＳ５４６にお
いて、特徴識別器７０は、ステップＳ５３０において処理すべき予測された中心
に最も近接すると決定された特徴が他に存在するか否かを決定する。以上説明し
たように第１の予測された中心に最も近接する特徴及び第２の予測された中心に
最も近接する特徴を処理し終わるまで、ステップＳ５３２からＳ５４６が繰り返
される。

【０３２６】 ステップＳ５４８において、特徴識別器７０は、入力画像中に特徴の別のラベ
ル付けされていないクラスタが存在するか否かを決定する。以上説明したように
各ラベル付けされていないクラスタを処理し終わるまでステップＳ５２４からＳ
５４８が繰り返される。

【０３２７】 上述の処理を実行した後、特徴識別器７０は、各クラスタ及び入力画像で見え
る写真マット３４上の各特徴へのラベル付けを終了する。

【０３２８】 従って、ステップＳ５５０において、特徴識別器７０は、入力画像と写真マッ
ト３４の双方における特徴の一意的な点位置の各特徴に対する座標を格納する。

【０３２９】 上述の第１実施例、第２実施例及び第３実施例において、写真マット３４上の
特徴のクラスタの少なくとも一部（すなわち、全ての特徴が黒色であるクラスタ
）は同一であり、入力画像中のこれらの同一のクラスタの特徴と写真マット３４
上の特徴との１対１の対応は、一意的である特徴のクラスタ（すなわち、第１実
施例のクラスタ２００、２０６、２１２及び２１８と、第２実施例のクラスタ７
００、７０６及び７１２と、第３実施例のクラスタ８００、８０２、８０４及び
８０６）を使用して識別される。

【０３３０】 第４実施例 本発明の第４実施例を説明する。第４実施例では、写真マット３４上の特徴の
各クラスタは一意的であり、入力画像中の各特徴は別の特徴又はクラスタを参照
することなくラベル付けすることができる。

【０３３１】 第４実施例の構成要素及びその構成要素により実施される処理動作は、写真マ
ット３４上のパターンが異なり、また、図７のステップＳ３６で特徴識別器７０
により実行される処理が異なる点を除いて第１実施例と同じである。加えて、第
４実施例において特徴クラスタラ６０により実行される処理動作は、第１実施例
と同じであるが、４つの特徴ではなく、５つの特徴を含むクラスタを識別するた
めに処理が行なわれる。

【０３３２】 図２７は、第４実施例における印刷又は表示された写真マット３４上の特徴の
パターンを示す。

【０３３３】 図２７において、第４実施例において、写真マット３４上のパターンは、複数
のクラスタ９００から９１０から構成され、クラスタの各々は５つの特徴を含む
。この実施例では各特徴は円であり、図２７において、内部が白い黒字の円は、
写真マット３４上では実際には赤色の円を表し、内部まで黒色の円は、写真マッ
ト３４上でも黒色の円を表す。

【０３３４】 クラスタ９００から９１０は、オブジェクト４００が配置される空いた領域９
２０の周囲に配置される（領域９２０は図２のステップＳ４で格納された直径を
有する円を描き入れることができるような大きさに定められる）。各クラスタ内
の各特徴の位置はわかっており、処理装置２による処理で使用されるためにステ
ップＳ６（図２）でマット発生器３０により格納されているが、クラスタは、必
ずしも円形又はその他の形状に並んでいなくとも良い。

【０３３５】 図２８は、第４実施例において図７のステップＳ３６で特徴識別器７０により
実行される処理動作を示す。

【０３３６】 図２８のステップＳ６００において、特徴識別器７０は、入力画像中の特徴の
次のラベル付けされていないクラスタを考慮する（ステップＳ６００が初めて実
行される場合、これは最初のラベル付けされていないクラスタである）。

【０３３７】 ステップＳ６０２において、特徴識別器７０は、クラスタ中の赤色の特徴の数
を決定する（各特徴の色は、図８のステップＳ６０で特徴検出器５０により格納
済である）。

【０３３８】 ステップＳ６０４において、特徴識別器７０は、赤色の特徴の数が１又は４で
あるか否かを決定する。

【０３３９】 ステップＳ６０４において、赤色の特徴の数が１又は４であると決定される場
合、ステップＳ６０６において、特徴識別器７０はクラスタにラベル付けする。
すなわち、図２７において、赤色の特徴の数が１の場合、クラスタはクラスタ９
０４とラベル付けされ、赤色の特徴の数が４の場合、クラスタはクラスタ９１０
とラベル付けされる。

【０３４０】 これに対し、ステップＳ６０４において、赤色の特徴の数は１又は４ではない
と決定される場合、ステップＳ６０８において、特徴識別器７０は、赤色の特徴
の数が２であるか否かを決定する。

【０３４１】 ステップＳ６０８において、赤色の特徴の数が２であると決定される場合、ス
テップＳ６１０において、特徴識別器７０は、２つの赤色の特徴の中心を直線で
結ぶ。その後、ステップＳ６１２において、特徴識別器７０は、ステップＳ６１
０で生成された線の各側でのクラスタ中の黒色の特徴の数によってクラスタにラ
ベル付けを行なう。

【０３４２】 図２７において、ステップＳ６０８でクラスタ中の赤色の特徴の数が２である
と決定される場合、このクラスタはクラスタ９０２又はクラスタ９０８である。
ステップＳ６１２において、特徴識別器７０は、全ての黒色の特徴がステップＳ
６１０で生成された線９３０の同じ側に位置する場合には、クラスタに対してク
ラスタ９０２としてラベル付けし、クラスタ中の黒色の特徴がステップＳ６１０
で生成された線９３２の両側に位置する場合には、クラスタに対してクラスタ９
０８としてラベル付けする。

【０３４３】 これに対し、ステップＳ６０８において、クラスタ中の赤色の特徴の数が２で
ないと決定される場合（すなわち、クラスタ中の赤色の特徴の数は３）、ステッ
プＳ６１４において、特徴識別器７０は、クラスタの２つの黒色の特徴の中心を
直線で結び、ステップＳ６１６において、線の各側でのクラスタ中の赤色の特徴
の数によってクラスタにラベル付けを行なう。

【０３４４】 図２７において、ステップＳ６０８において、赤色の特徴の数が３であると決
定される場合、クラスタはクラスタ９００又はクラスタ９０６である。ステップ
Ｓ６１６において、特徴識別器７０は、赤色の特徴がステップＳ６１４で生成さ
れた線９３４の両側に位置する場合には、クラスタに対してクラスタ９００とし
てラベル付けし、全ての赤色の特徴がステップＳ６１４で生成された線９３６の
同じ側に位置する場合には、クラスタに対してクラスタ９０６としてラベル付け
する。

【０３４５】 ステップＳ６１８において、特徴識別器７０は、入力画像中に特徴の別のラベ
ル付けされていないクラスタが存在するか否かを決定する。以上説明したように
入力画像中の各クラスタを処理し終わるまでステップＳ６００からＳ６１８が繰
り返される。

【０３４６】 ステップＳ６２０において、特徴識別器７０は、各クラスタ内の特徴にラベル
付けを行なう。

【０３４７】 具体的には、この実施例において、クラスタ９０４の場合、特徴識別器７０は
、単一の赤色の特徴にクラスタの特徴１としてラベル付けし、クラスタ９１０の
場合、単一の黒色の特徴に特徴１としてラベル付けする。残りの特徴は、特徴１
から時計回りの方向にラベル付けされる。特徴は、例えば、まっすぐな結合線に
よって特徴１に結び付けられるときにクラスタのその他の特徴が結合線の右側に
位置するような点を選択することによって、従来通りに時計回りの方向で見出さ
れる。

【０３４８】 クラスタ９００及び９０８の場合、特徴識別器７０は、ステップＳ６１０又は
ステップＳ６１４で生成された線の片側に孤立して位置する特徴にクラスタの特
徴１としてラベル付けする（すなわち、クラスタ９００の場合は赤色の特徴９４
０であり、クラスタ９０８の場合は黒色の特徴９４２である）。クラスタのその
他の特徴は、特徴１としてラベル付けされた特徴から時計回り方向でラベル付け
される。

【０３４９】 クラスタ９０２及び９０６の場合、特徴識別器７０は、ステップＳ６１０又は
ステップＳ６１４で直線により結ばれた特徴のうちの１つにクラスタの特徴１と
してラベル付けする。すなわち、この実施例において、特徴識別器７０は、直線
により結ばれた特徴に特徴１としてラベル付けする。そのため、時計回り方向で
のクラスタの次の特徴は同じ色である。従って、クラスタ９０２の場合、時計回
り方向での次の特徴は特徴９５２であり、特徴９５２は特徴９５０と同じ色であ
るので、特徴９５０が特徴１としてラベル付けされる（特徴９５２からの時計回
りの方向での次の特徴は黒色の特徴であるので、特徴９５０は特徴９５２から区
別することができる）。同様に、クラスタ９０６の場合、特徴９５４は、クラス
タの特徴１としてラベル付けされる。クラスタのその他の特徴は、特徴１として
ラベル付けされた特徴から時計回りの方向でラベル付けされる。

【０３５０】 ステップＳ６２２において、特徴識別器７０は、入力画像中の各特徴に対して
入力画像及び写真マット３４の双方における特徴の一意的な点位置の座標を格納
する。

【０３５１】 第５実施例 本発明の第５実施例を説明する。

【０３５２】 第５実施例は、第４実施例と同じ原理で動作する。すなわち、写真マット３４
上の特徴の各クラスタは一意的であり、入力画像中の各クラスタは、別のクラス
タ又は特徴を参照しなくともラベル付けすることができる。

【０３５３】 第５実施例の構成要素及びその構成要素により実施される処理動作は、写真マ
ット３４上のパターンが異なり、図８のステップＳ５０で二値画像を生成するた
めに特徴検出器５０により実行される処理が異なり、また、図７のステップＳ３
６で特徴識別器７０により実行される処理が異なる点を除いて第１実施例と同じ
である。

【０３５４】 図２９は、第５実施例における印刷又は表示された写真マット３４上の特徴の
パターンを示す。

【０３５５】 図２９において、第５実施例では、写真マット３４上のパターンは、複数のク
ラスタ１０００から１０２２から構成される。各クラスタは、４つの特徴から成
り、この実施例ではそれらは円である。

【０３５６】 図２９において、内部が白い黒字の円は、写真マット３４上では実際には赤色
であり、内部まで黒い円は、写真マット３４上でも黒色の円を表す。線影を引い
た円は、写真マット３４上では実際には緑色の円を表す。

【０３５７】 クラスタ１０００から１０２２は、オブジェクト４００が配置される空いた領
域１０３０（この空いた領域１０３０は、図２のステップＳ４で格納された直径
を有する円を描き入れることができるような大きさに定められる）の周囲に配置
される。しかし、クラスタ１０００から１０２２は、円形又はその他の形状に配
置される必要はない。写真マット３４上の各特徴の位置はわかっており、処理装
置２により処理されるためにステップＳ６でマット発生器３０により格納されて
いる。

【０３５８】 上述の第１実施例から第４実施例では、写真マット３４上の特徴は赤色又は黒
色のいずれかである。しかし、第５実施例では、緑色の特徴も存在する。従って
、画素のグループを識別するための二値画像を生成するために図８のステップＳ
５０で特徴検出器５０により実行される処理は、少々異なっている。すなわち、
第５実施例では、特徴検出器５０は、入力画像中の各画素の値を式（１）に従っ
て１又は０に設定するのではなく、各画素の値を以下の式に従って設定する： If G ＜ 128 and B ＜ 128 set pixel value to 1 (because the pixel is
red or black) or if R ＜ 128 and B ＜ 128 set pixel value to 1 (because the pixel
is black or green) else set the pixel value to 0 ・・・・（５） 図３０は、第５実施例において図７のステップＳ３６で特徴識別器７０により
実行される処理動作を示す。

【０３５９】 図３０のステップＳ７００において、特徴識別器７０は、入力画像中の特徴の
次のラベル付けされていないクラスタを考慮する（ステップＳ７００が初めて実
行される場合、これは最初のラベル付けされていないクラスタである）。

【０３６０】 ステップＳ７０２において、特徴識別器７０は、クラスタ中の赤色の特徴の数
、緑色の特徴の数及び黒色の特徴の数を決定する（これらの色は、図８のステッ
プＳ６０で特徴検出器５０により格納済である）。

【０３６１】 ステップＳ７０４において、特徴識別器７０は、ステップＳ７０２でクラスタ
中にあると決定された赤色の特徴の数、緑色の特徴の数及び黒色の特徴の数によ
ってクラスタにラベル付けを行なう。各クラスタは、赤色の特徴、緑色の特徴及
び黒色の特徴の数により一意的に定義されるので、ステップＳ７０４でのラベル
は、入力画像中のその他の特徴、クラスタ又は位置を参照することなく割り当て
ることができる。

【０３６２】 ステップＳ７０６において、特徴識別器７０は、入力画像中に特徴のラベル付
けされていないクラスタが他に存在するか否かを決定する。以上説明したように
各ラベル付けされていないクラスタを処理し終わるまでステップＳ７００からＳ
７０６が繰り返される。

【０３６３】 ステップＳ７０８において、特徴識別器７０は、ステップＳ７０４でラベル付
けされた各クラスタ内の特徴の各々にラベル付けする。すなわち、この実施例に
おいて、特徴識別器７０は、クラスタの一意的な特徴に特徴１とラベル付けし、
クラスタの残りの特徴に特徴１から時計回り方向にラベル付けする。

【０３６４】 図２９において、クラスタ１０００、１００４、１００６、１００８、１０１
２、１０１４、１０１６、１０１８及び１０２２の場合、特徴識別器は、クラス
タ中においてその色の特徴が唯一である特徴を特徴１として選択する。従って、
例えば、黒色の円１０３２は、クラスタ１０１２中で特徴１として選択される。
クラスタ１００２、１０１０及び１０２０の場合、特徴識別器は、所定の色を有
し、且つ時計回り方向でのクラスタの次の特徴が異なる色である特徴をクラスタ
から特徴１として選択する。従って、例えば、特徴識別器７０は、特徴１０３４
から時計回り方向での次の特徴が緑色であるために、クラスタ１０２０中の特徴
１として黒色の特徴１０３４にラベル付けする。

【０３６５】 ステップＳ７１０において、特徴識別器７０は、各ラベル付けされた特徴に対
して、入力画像及び写真マット３４における特徴の一意的な点位置の座標を格納
する。

【０３６６】 上述の実施例では、写真マット３４上の各クラスタ内の特徴間での空間的関係
（すなわち、あるクラスタの任意の２つの特徴の中心間の距離が、そのあるクラ
スタの特徴と別のクラスタの特徴との間の距離より短いという関係）を使用して
、画像中で検出された特徴を候補クラスタへとグループ化する（図９のステップ
Ｓ７０からＳ１０４）。続いて、クラスタの特徴の大きさの関係（すなわち、全
ての特徴がほぼ同じ面積であるという関係）を使用して、画像中において、写真
マット３４上の特徴のクラスタをモデリング中のオブジェクト４００上の特徴の
クラスタと区別する（図９のステップＳ１０６からＳ１１４）。従って、この２
つの段階的処理により、特徴は候補クラスタへとグループ化され、各候補クラス
タは検査されて、写真マット３４上のクラスタか否かが決定される。特徴の位置
、形状及び／又は色が次に使用されて、実際のクラスタの一部である入力画像中
の各特徴と写真マット３４上の特徴との１対１の対応が決定される（図７のステ
ップＳ３６）。

【０３６７】 しかし、後述するように、特徴のその他の特性及び特徴間の関係を使用して、
特徴の候補クラスタを検出し、各候補クラスタを検査して写真マット３４上のク
ラスタを表すかいなかを決定することができる。

【０３６８】 第６実施例 本発明の第６実施例を説明する。

【０３６９】 第６実施例では、写真マット３４上の特徴が、２つの異なる空間的関係を有す
るクラスタへとグループ化される。また、画像中の特徴を第１の空間的関係に基
づいて候補クラスタへとグループ化し、且つ各候補クラスタを第２の空間的関係
を使用することで検査して写真マット３４上の特徴のクラスタを表すか否かを決
定するために、画像の処理が行なわれる。クラスタ内の各特徴のラベル付けは、
クラスタの特徴の大きさの関係に基づいて行なわれる。

【０３７０】 第６実施例の構成要素及びその構成要素により実施される処理動作は、写真マ
ット３４上のパターンが異なり、図７のステップＳ３２で特徴検出器５０により
実行される処理が異なり、図７のステップＳ３４で特徴クラスタラ６０により実
行される処理が異なり、且つ図７のステップＳ３６で特徴識別器７０により実行
される処理が異なる点を除いて第１実施例と同じである。これらの相違点を以下
に説明する。

【０３７１】 図３１は、第６実施例における印刷又は表示された写真マット３４上の特徴の
パターンを示す。

【０３７２】 図３１において、第６実施例では、写真マット３４上のパターンは、複数のク
ラスタ３０００から３０２８から構成される。各クラスタは４つの特徴から成り
、この実施例では、それらは黒色の円である。

【０３７３】 各特徴は２種類の面積のうちの一方、すなわち、大きい面積又は小さい面積の
いずれかを有し、大きい特徴は小さい特徴の２倍の面積を有する。

【０３７４】 各クラスタ３０００から３０２８内において、４つの特徴の中心は仮想直線（
すなわち、写真マット３４上に存在しない線であり、クラスタ３０００に対して
は３０４０、クラスタ３００２に対しては３０４２、また、クラスタ３００４に
対しては３０４４により示される）上に配置され、各直線は同じ円の半径である
。従って、あるクラスタの特徴の中心を通る線は、円の中心３０５０を通る。 あるクラスタ内において、４つの特徴の中心は、半径方向線上に等間隔で離間し
て配置される。

【０３７５】 クラスタ３０００から３０２８は、ユーザが入力し且つステップＳ４（図２）
で格納された直径を有する円３０６２により定義される空いた中央領域の周囲に
配置される。

【０３７６】 この実施例において、オブジェクト４００を乗せた写真マット３４を画像間で
回転させる量をユーザが容易に決定することができるように、マーカ３０７０が
設けられる（ユーザは、写真マット３４を画像間でほぼ等しい量だけ回転させる
ことができ、また、写真マット３４が１回転の３６０°回転し終わるのはいつか
を決定することができる）。

【０３７７】 先に説明した第１実施例から第５実施例においては、様々に異なる色を有する
写真マット３４上の特徴が各画像中で検出される。しかし、第６実施例では、黒
色の特徴のみが検出される必要がある。従って、画素のグループを識別するため
の二値画像を生成するために図８のステップＳ５０で特徴検出器５０により実行
される処理が、少々異なっている。すなわち、第６実施例では、特徴検出器５０
は、入力画像中の各画素の値を式（１）に従って１又は０に設定するのではなく
、各画素の値を以下の式に従って設定する： If 0 ≦ R ≦ 127 and 0 ≦ G ≦ 127 and 0 ≦ B ≦ 127 then set pixel value to 1 else set pixel value to 0 ・・・・（６） 加えて、第６実施例では、特徴の色を決定する必要がないので、図８のステッ
プＳ６０が省略される。

【０３７８】 図３２は、第６実施例において図７のステップＳ３４で特徴クラスタラ６０に
より実行される処理動作を示す。

【０３７９】 図３２のステップＳ８００からＳ８０６において、特徴クラスタラ６０は、直
線上に位置するちょうど４つの特徴を含むクラスタを識別することによって特徴
の候補クラスタを識別する処理を実行する。ステップＳ８０８から８２０におい
て、特徴クラスタラ６０は、画像中のクラスタの特徴間の距離の比を使用して、
候補クラスタが写真マット３４上のクラスタを表すか否かを決定するための処理
を実行する。

【０３８０】 具体的には、ステップＳ８００において、特徴クラスタラ６０は、画像中の次
の未処理のクラスタ（特徴「ｉ」と呼ぶ）を考慮し、ステップＳ８０２において
、画像中の次の特徴「ｊ」を考慮する（ｊ≠ｉ）。

【０３８１】 ステップＳ８０４において、特徴クラスタラ６０は、特徴「ｉ」と「ｊ」との
間の画像中に位置し、また、特徴「ｉ」及び「ｊ」の中心を結ぶ直線から所定の
許容距離内にも位置する特徴の数を決定する。

【０３８２】 具体的には、図３３ａのステップＳ８０４において、特徴クラスタラ６０は、
特徴「ｉ」及び「ｊ」の中心を通る２つの円３０８２及び３０８４の共通部分で
ある領域３０８０（図３３ａにおいて陰影をつけて示される）に位置し、また、
特徴「ｉ」及び「ｊ」の中心を結ぶ直線３０８６から所定の距離内にも位置する
特徴の数を決定する。

【０３８３】 図３４は、ステップＳ８０４で特徴クラスタラ６０により実行される処理動作
を示す。

【０３８４】 図３４のステップＳ８４０において、特徴クラスタラ６０は、特徴「ｉ」の中
心と特徴「ｊ」の中心との間の画像中の距離を決定する。

【０３８５】 ステップＳ８４２において、特徴クラスタラ６０は、ステップＳ８４０で計算
された距離によって特徴「ｉ」及び「ｊ」の中心を通るように図３３ａの円３０
８２及び３０８４に対する半径を計算する。すなわち、この実施例において、特
徴クラスタラ６０は、以下の式を使用して半径「ｒ」を計算する： r ＝ Dk₁ ＋ Dk₂ ・・・・（７） 式中、Ｄは特徴「ｉ」及び「ｊ」の中心間の距離（ステップＳ８４０で計算 済
）、 ｋ₂は図３３ａの領域３０８０に対して設定される幅「Ｗ」を表す定数（この実
施例では０．１２５に設定される）、 k₁ ＝ (0.25 − (k₂)²) ／ (2 × k₂) ステップＳ８４４において、特徴クラスタラ６０は、特徴「ｉ」及び「ｊ」の
中心を結ぶ直線（図３３ａの線３０８６）の中点を決定し、ステップＳ４８６に
おいて、各円３０８２、３０８４の中心の位置を決定する。すなわち、この実施
例において、特徴クラスタラ６０は、線３０８６の両側にあり、ステップＳ８４
４で決定された中点を通り且つ特徴「ｉ」及び「ｊ」の中心を結ぶ線３０８６に
対して垂直な線に沿ってＤｋ₁（これらの用語は先に定義済）の距離にある点に
円３０８２及び３０８４の中心を設定する。

【０３８６】 従って、ステップＳ８４２及びＳ８４６で実行された処理の結果、図３３ａの
円３０８２及び３０８４の各々は定義済である。従って、ステップＳ８４８から
Ｓ８６２において、特徴クラスタラ６０は、特徴「ｉ」及び「ｊ」の中心を結ぶ
線３０８６の所定距離内に中心を有する円３０８２及び３０８４の重複部分によ
り定義される領域３０８０に位置する特徴の数を決定する処理に進む。

【０３８７】 具体的には、ステップＳ８４８において、特徴クラスタラ６０は、カウンタの
値を０に設定し、ステップＳ８５０において、画像中の次の特徴「ｋ」（ｋ≠ｉ
且つｋ≠ｊ）を考慮する。

【０３８８】 ステップＳ８５２において、特徴クラスタラ６０は、特徴「ｋ」の中心とステ
ップＳ８４６で決定された円３０８２の中心との直線距離が、ステップＳ８４２
で決定された円３０８２の半径より短いか否かを決定する。ステップＳ８５２に
おいて、現在考慮中の特徴「ｋ」が、円３０８２の半径よりも長い間隔で円３０
８２の中心から離れていると決定される場合、特徴「ｋ」が領域３０８０に位置
する可能性はない。従って、処理はステップＳ８６０に進み、画像中の別の特徴
「ｋ」を考慮する。

【０３８９】 これに対し、ステップＳ８５２において特徴「ｋ」の中心と円３０８２の中心
との間の距離が円３０８２の半径よりも短いと決定される場合、ステップＳ８５
４において、特徴クラスタラ６０は、特徴「ｋ」の中心と第２の円３０８４の中
心との間の距離（ステップＳ８４６で決定済）が、円３０８４の半径（ステップ
Ｓ８４２で決定済）よりも短いか否かを決定する。

【０３９０】 ステップＳ８５４において、特徴「ｋ」の中心が、円３０８４の半径よりも長
い間隔で円３０８４の中心から離れていると決定される場合、現在の特徴「ｋ」
が領域３０８０に位置する可能性はない。従って、処理はステップＳ８６０に進
み、画像中の次の特徴「ｋ」を考慮する。

【０３９１】 これに対し、ステップＳ８５４において特徴「ｋ」の中心と円３０８４の中心
との間の距離が円３０８４の半径よりも短い場合、特徴「ｋ」は領域３０８０に
位置するはずである（ステップＳ８５２において、特徴「ｋ」の中心は円３０８
２の中心から円３０８２の半径よりも短い距離で位置していると先に決定されて
いるため）。この場合、処理はステップＳ８５６に進み、ここで、特徴クラスタ
ラ６０は、特徴「ｋ」の中心から特徴「ｉ」及び「ｊ」の中心を結ぶ直線３０８
６までの最短距離が、所定の許容距離（この実施例では、画素２．０個分に設定
される）よりも短いか否かを決定する。

【０３９２】 ステップＳ８５６において、最短距離が許容距離以上であると決定される場合
、現在の特徴「ｋ」は特徴「ｉ」及び「ｊ」の中心を結ぶ直線３０８６上に位置
しないと決定される。従って、処理はステップＳ８６０に進み、画像中の別の特
徴「ｋ」を考慮する。

【０３９３】 これに対し、ステップＳ８５６において、最短距離が許容距離より短いと決定
される場合、特徴「ｋ」は領域３０８０に位置すると共に、線３０８６上にも位
置すると決定される。従って、ステップＳ８５８において、特徴クラスタラ６０
は、ステップＳ８４８で設定されたカウンタの値を１だけインクリメントする。

【０３９４】 ステップＳ８６０において、特徴クラスタラ６０は、画像中に別の特徴「ｋ」
（ｋ≠ｉ且つｋ≠ｊ）が存在するか否かを決定する。以上説明したようにこのよ
うな特徴「ｋ」の各々を処理し終わるまでステップＳ８５０からＳ８６０が繰り
返される。

【０３９５】 ステップＳ８６２において、特徴クラスタラ６０はカウンタの値を読み取り、
領域３０８０に位置し且つ線３０８６「上」にも位置する（すなわち、線の許容
距離内にある）特徴の数を決定する。

【０３９６】 図３２を再度参照すると、ステップＳ８０６において、特徴クラスタラ６０は
、領域３０８０に位置すると共に特徴「ｉ」及び「ｊ」間の線３０８６上にも位
置する特徴の数を定義する図３４のステップＳ８６２で読み取られた値が、２で
あるか否かを決定する。

【０３９７】 ステップＳ８０６において、特徴の数が２でないと決定される場合、特徴クラ
スタラ６０は、候補クラスタは写真マット３４上のクラスタを表さないと決定す
る。処理はステップＳ８２２に進み、画像中の別の特徴「ｊ」を考慮する。

【０３９８】 これに対し、ステップＳ８０６において、特徴の数が２であると決定される場
合、ステップＳ８０８において、特徴クラスタラ６０は、候補クラスタの特徴間
の画像中での距離を使用して複比を計算する。すなわち、図３３ｂにおいて、特
徴クラスタラ６０は、以下に示すようにこの実施例における複比を計算する： cross-ratio ＝ (d1 × d4) ／ (d2 × d3) ・・・・（８） 式中、ｄ１、ｄ２、ｄ３及びｄ４は、図３３ｂに示す特徴の中心間の距離である
。

【０３９９】 式（８）により定義される複比は、投射不変量である（すなわち、画像が記録
されたときの写真マット３４に対するカメラ４１０の位置及び向きにかかわらず
一定値を有する）。この実施例においては、各クラスタの４つの特徴は等間隔に
離間されているので、複比に対する理論値は１．３３３３（４／３）である。

【０４００】 ステップＳ８１０において、特徴クラスタラ６０は、ステップＳ８０８で計算
された複比と理論的な複比（この実施例では１．３３３３）との間で誤りを決定
し、ステップＳ８１２において、この誤りが所定の閾値許容差（この実施例では
０．１に設定される）未満であるか否かを決定する。

【０４０１】 ステップＳ８１２において、誤りが閾値許容差以上であると決定される場合、
特徴クラスタラ６０は、候補クラスタが写真マット３４上の特徴のクラスタを表
さないと決定する。処理はステップＳ８２２に進み、画像中の別の特徴「ｊ」を
考慮する。

【０４０２】 これに対し、ステップＳ８１２において、誤りが閾値許容差未満であると決定
される場合、ステップＳ８１４において、特徴クラスタラ６０は、クラスタの４
つの特徴のいずれかが既に別のクラスタの一部として格納されているか否かを決
定する。

【０４０３】 ステップＳ８１４において、クラスタの４つの特徴は別のクラスタの一部とし
て既に格納されていないと決定される場合、クラスタは写真マット３４上の特徴
のクラスタを表すものと見なされる。処理はステップＳ８２０に進み、ここで、
クラスタとステップＳ８１０で計算された関連する誤りとが格納される。

【０４０４】 これに対し、ステップＳ８１４において、特徴の１つが別のクラスタの一部と
して既に格納されていると決定される場合、ステップＳ８１６において、特徴ク
ラスタラ６０は、現在のクラスタに対する誤り（ステップＳ８１０で計算済）が
現在のクラスタからの特徴を含む格納されたクラスタに対する誤りより小さいか
否かを決定する。ステップＳ８１６において、現在のクラスタに対する誤りが格
納されたクラスタに対する誤りよりも小さいと決定される場合、ステップＳ８１
８において、特徴クラスタラ６０は、格納されたクラスタを放棄し、ステップＳ
８２０において、現在のクラスタ及び関連する誤りを格納する。

【０４０５】 これに対し、ステップＳ８１６において、現在のクラスタに対する誤りが格納
されたクラスタに対する誤り以上であると決定される場合、格納されたクラスタ
が保持され、且つ現在のクラスタが格納されないように、ステップＳ８１８から
Ｓ８２０の処理が省略される。

【０４０６】 ステップＳ８２２において、特徴クラスタラ６０は、画像中に別の特徴「ｊ」
が存在するか否かを決定する。以上説明したように各特徴「ｊ」を処理し終わる
までステップＳ８０２からＳ８２２が繰り返される。

【０４０７】 ステップＳ８２４において、特徴クラスタラ６０は、画像中に別の特徴「ｉ」
が存在するか否かを決定する。以上説明したように各特徴「ｉ」を処理し終わる
までステップＳ８００からＳ８２４が繰り返される。

【０４０８】 図３５は、第６実施例の図７のステップＳ３６でクラスタの特徴の大きさに基
づいてクラスタ及び中の特徴にラベル付けするために特徴識別器７０により実行
される処理動作を示す。

【０４０９】 図３５のステップＳ８７０において、特徴識別器７０は、写真マット３４上の
所定の基準点の画像中の位置を決定するための処理を実行する。この実施例にお
いて、所定の基準点は、クラスタ３０００から３０２８中の特徴が位置する半径
方向線を有する円の中心３０５０である。

【０４１０】 ステップＳ８７０で実行される処理は、第１実施例においてステップＳ１４０
で実行された処理（図１３及び１４を参照して上述）と同じであるが、ステップ
Ｓ１６４（図１３）でのクラスタに対する対角線の描画の代わりに、クラスタの
全ての特徴の中心を通るクラスタに対する単一の線だけを描けばよい点が異なる
。この処理については上で説明しているので、ここでは繰り返さない。

【０４１１】 ステップＳ８７２において、特徴識別器７０は、所定の基準点からの画像中の
各クラスタの特徴の半径方向順序を決定する。すなわち、各クラスタに対して、
特徴識別器７０は、第１の特徴が所定の基準点から最も離れ、且つ最後の（第４
の）特徴が所定の基準点に最も近接するように各特徴に対して番号を割り当てる
。

【０４１２】 ステップＳ８７４において、特徴識別器７０は、特徴の次のクラスタ（ステッ
プＳ８７４が初めて実行される場合、これは最初のクラスタである）を考慮し、
ステップＳ８７６において、クラスタの次の隣接する１対の特徴を考慮する（ス
テップＳ８７６が初めて実行される場合、これは特徴１及び２であり、ステップ
Ｓ８７６が次に実行される場合は特徴２及び３であり、特定のクラスタに対して
最後にステップＳ８７６が実行される場合は特徴３及び４である）。

【０４１３】 ステップＳ８７８において、特徴識別器７０は、ステップＳ８７６で考慮され
た特徴が同じ大きさであるか様々に異なる大きさであるかを検査するための処理
を実行する。すなわち、特徴識別器７０は、ステップＳ８７６で考慮された特徴
のうちの１つの面積（図８のステップＳ５６で格納された画素数により定義され
る）がその他の特徴の面積の１．５倍より大きいか否かを決定する。

【０４１４】 上述のように、この実施例の写真マット３４上において、垂直に見た（すなわ
ち、視角方向は写真マット３４に対して垂直）ときのクラスタの大きな特徴の面
積対クラスタの小さな特徴の面積の比は２：１である。しかし、この比は他の視
角方向に対しては変化するので、ステップＳ８７８において閾値１．５を使用し
て特徴が様々に異なる大きさであるか、又は、同じ大きさであるかが決定される
。特徴識別器７０は、ステップＳ８７６及びＳ８７８において、クラスタ中にお
いて隣接する各特徴の面積を比較して、カメラ４１０からより遠方にある特徴が
有する画像中の面積の減少に対して補償する（これを行なわないと、結果的に、
カメラ４１０からより遠方にある大きな特徴は、カメラ４１０により近接する小
さい特徴と画像中で同じ面積を有することになる可能性がある）。

【０４１５】 ステップＳ８７８において、１つの特徴の面積が別の特徴の面積の１．５倍以
下であると決定される場合、この段階において、各特徴が同じ大きさであると決
定することができるが、特徴が小さいか大きいかを言うことはできない。従って
、ステップＳ８８０において、特徴識別器７０は、特徴に対して同じ大きさであ
るとしてフラグを立てる。

【０４１６】 これに対し、ステップＳ８７８において、特徴のうちの１つの面積が別の特徴
の面積の１．５倍より大きいと決定される場合、ステップＳ８８２において、特
徴識別器７０は、より大きい面積を有する特徴を大きい特徴として、より小さい
面積を有する特徴を小さい特徴として分類する。続いて、ステップＳ８８４にお
いて、特徴識別器７０は、クラスタ中で先に考慮された特徴のいずれかが、ステ
ップＳ８８０において同じ大きさであるとしてフラグを立てられ且つ大小の分類
がまだ行なわれていないか否かを決定する。このような特徴の各々に対して、特
徴識別器７０は、ステップＳ８８２で割り当てられた大小の分類に基づいて、各
特徴を大又は小として分類する。例えば、ステップＳ８７８が初めて実行される
場合、クラスタの第１及び第２の特徴は、ステップＳ８８０において同じ大きさ
であるとしてフラグを立てられ、ステップＳ８７８が２度目に実行されたときに
は、第３の特徴が第２の特徴よりも１.５倍以上大きい面積を有すると決定され
る。その結果、ステップＳ８８２において、第３の特徴は、大きい特徴として分
類され、第２の特徴は、小さい特徴として分類される。続いて、ステップＳ８８
４において、第１の特徴が小さい特徴として分類されるが、これは、第１の特徴
が既に小さい特徴として分類されている第２の特徴と同じ大きさであると先に決
定されているからである。

【０４１７】 ステップＳ８８６において、特徴識別器７０は、クラスタ中に別の隣接する１
対の特徴が存在するか否かを決定する。以上説明したようにクラスタ中の各対の
隣接する特徴を処理し終わるまでステップＳ８７６からＳ８８６が繰り返される
。

【０４１８】 ステップＳ８８８において、クラスタ中の各隣接する１対の特徴の処理が終了
したとき、特徴識別器７０は、そのクラスタにラベル付けする。すなわち、図３
１を再度参照すると、円の中心３０５０に対する大小の特徴の順序は、各クラス
タ３０００から３０２８に対して一意的である。従って、クラスタ中の特徴が小
−小−小−大であると決定される場合、特徴識別器７０は、そのクラスタにクラ
スタ３０００とラベル付けする。これに対し、順序が大−小−大−小であると決
定される場合、特徴識別器７０は、クラスタにクラスタ３００６とラベル付けす
る。クラスタ３０１６の場合、全ての特徴が同じ大きさであることが明らかであ
る。従って、このクラスタに対して、特徴識別器７０は、ステップＳ８７８から
Ｓ８８４において、全ての特徴が大きいのか、あるいは、小さいのかを決定する
ことはできない。しかし、全てが小さい特徴から構成されるクラスタは、写真マ
ット３４上に設けられていないため、特徴識別器７０は、ステップＳ８８８にお
いて、このクラスタにクラスタ３０１６と正しくラベル付けするであろう。

【０４１９】 ステップＳ８９０において、特徴識別器７０は、処理すべき特徴の別のクラス
タが存在するか否かを決定する。以上説明したように各クラスタを処理し終わる
までステップＳ８７４からＳ８９０が繰り返される。

【０４２０】 ステップＳ８９２において、特徴識別器７０は、入力画像中のクラスタ内の各
特徴に対して、入力画像及び写真マット３４の双方における特徴の一意的な点位
置の座標を格納する。

【０４２１】 要約すると、第６実施例において、直線上に位置するちょうど４つの特徴から
成る候補クラスタが検出され、クラスタの特徴間の距離を使用して候補クラスタ
が写真マット３４上の特徴のクラスタを表すか否かを検査するための処理が実行
される。特徴の大きさ及び画像中の基準点（この実施例では、中心３０５０）の
位置に対する位置を使用して各クラスタは一意的にラベル付けされ、従って、各
クラスタの各特徴もラベル付けされる。

【０４２２】 第７実施例 本発明の第７実施例を説明する。

【０４２３】 第７実施例は、第６実施例と同じ原理を使用しているが、写真マット３４上の
特徴の各クラスタは完全に一意的であり、入力画像中の各クラスタ（及びその中
の各特徴）は、画像中の所定の点を参照することなくラベル付けすることができ
る。

【０４２４】 図３６は、第７実施例における印刷又は表示された写真マット３４上の特徴の
パターンを示す。

【０４２５】 図３６において、写真マット３４上のパターンは、複数のクラスタ３１００か
ら３１１０から構成される。第７実施例では、６つのクラスタがある。各クラス
タは４つの特徴から成り、この実施例では、これらの特徴は２つの大きさの一方
を有する黒色の円である。大きい円の面積は、小さい円の面積の２倍である。 第６実施例のように、あるクラスタの特徴は、特徴の中心が仮想直線に位置する
ように配置される。

【０４２６】 クラスタ３１００から３１１０は、オブジェクト４００が配置される空いた中
央領域３１１２の周囲に配置される（領域３１１２は、図２のステップＳ４で格
納された直径を有する円を描き入れることができる大きさである）。

【０４２７】 第７実施例の構成要素及びその構成要素により実施される処理動作は、第６実
施例と同じである。しかし、第７実施例では、クラスタ３１００から３１１０の
各々は、写真マット３４における所定の基準点を参照することなく、一意的に識
別することができる。すなわち、クラスタ３１００及び３１１０は、３つの大き
い特徴と１つの小さい特徴を含むのでその他のクラスタから区別することができ
、クラスタ３１００中の小さい特徴が端の特徴の間にあるのに対してクラスタ３
１１０中の小さい特徴はそれ自体が端の特徴であるので、相互に区別することも
できる。同じ原理を使用して、各々が３つの大きい特徴及び１つの小さい特徴か
ら成るクラスタ３１０４から３１０６に一意的にラベル付けすることができる。
同様に、クラスタ３１０２及び３１０８もその他のクラスタから識別することが
できるが、それは、２つの大きい特徴と２つの小さい特徴を含むからであり、小
さい特徴はクラスタ３１０８中では隣接している一方でクラスタ３１０２中では
大きい特徴により離されているので相互に区別することもできる。

【０４２８】 従って、第７実施例における各クラスタ３１００から３１１０は完全に一意的
（すなわち、所定の基準点を参照しなくても一意的）であるので、特徴識別器７
０は、図３５のステップＳ８７０及びＳ８７２を実行する必要がない。

【０４２９】 上述の第１実施例から第７実施例において、特徴が入力画像中で検出され（図
７のステップＳ３２）、特徴のクラスタを見出すための処理が引き続き実行され
る（図７のステップＳ３４）。しかし、これらの２つのステップは、後述するよ
うに単一のステップとして実行することもできる。加えて、これもまた後述する
が、あるクラスタの任意の２つの特徴間の距離がそのあるクラスタの特徴と別の
クラスタの特徴との間の距離よりも短いという特性を使用するか、あるいは、あ
るクラスタの特徴が直線上に位置するという特性を使用するかして特徴の候補ク
ラスタを検出する代わりに、特徴間のその他の関係を使用することができる。

【０４３０】 第８実施例 本発明の第８実施例を説明する。

【０４３１】 第８実施例の構成要素及びその構成要素により実施される処理動作は、写真マ
ット３４上のパターンが異なり、図７のステップＳ３２で特徴検出器５０により
実行される処理及び図７のステップＳ３４で特徴クラスタラ６０により実行され
る処理が異なり且つ組み合わされており、また、図７のステップＳ３６で特徴識
別器７０により実行される処理が異なる点を除いて第１実施例と同じである。こ
れらの差異を説明する。

【０４３２】 図３７は、第８実施例における印刷又は表示された写真マット３４上の特徴の
パターンを示す。

【０４３３】 第８実施例において、図３７を参照すると、写真マット３４上のパターンは、
複数のクラスタ３１２０から３１９０から構成されており、この実施例では８つ
である。

【０４３４】 各クラスタは３つの特徴を含み、これらは、大きい面積又は小さい面積のいず
れかを有する円である。大きい面積は小さい面積の２倍である。図３７において
、「Ｒ」で示された円は、写真マット３４上の大きい面積の赤色の円（すなわち
、この文字は写真マット３４上には存在せず、図面中においてラベル付けの目的
でのみ使用される）であり、「ｒ」で示された円は、小さい面積の赤色の円であ
る。「Ｂ」で示された円は、大きい青色の円であり、「ｂ」で示された円は、小
さい青色の円である。「Ｇ」で示された円は、大きい緑色の円であり、「ｇ」で
示された円は、小さい緑色の円である。「Ｃ」で示された円は、大きいシアンの
円であり、「ｃ」で示された円は、小さいシアンの円である。

【０４３５】 図３７から明らかであるように、第８実施例のパターンでは、場合によっては
、第１のクラスタの特徴と第２のクラスタの特徴との間の距離が、第１のクラス
タ又は第２のクラスタの２つの特徴間の距離より短い（第１実施例から第５実施
例におけるパターンと異なる）。

【０４３６】 各クラスタ内では、３つの特徴は写真マット３４上のパターンの一部を形成す
る線により結ばれる（これらは、クラスタ３１２０に対しては線３１９８及び３
２００であり、線３１９６は写真マット３４上のパターンの一部ではない仮想線
である）。クラスタの特徴間の相互に結ばれているという関係は、この実施例に
おいて、特徴の候補クラスタを識別するのに使用されることになる。加えて、各
クラスタ内では、３つの特徴の各々が同じ色を有し、この色関係を使用して候補
クラスタを処理し、クラスタが写真マット３４上のクラスタを表すか否かを決定
することになる。

【０４３７】 後述するように、クラスタが２つの大きい特徴と１つの小さい特徴を含むか、
あるいは、２つの小さい特徴と１つの大きい特徴を含むかによって、一意的なラ
ベルが各クラスタ３１２０から３１９０に割り当てられる。加えて、最長の距離
を有するクラスタの２つの特徴は、クラスタの端の特徴であるという特性を使用
して一意的なラベルがクラスタの各特徴に割り当てられる。すなわち、図３７の
クラスタ３１２０において、仮想線３１９６の長さは線３１９８及び３２００の
長さよりも長いので、特徴３１９２及び３１９４は、クラスタの端の特徴として
決定することができる。

【０４３８】 この実施例では、写真マット３４上に空いた中央領域は設けられない。代わり
に、オブジェクト４００が写真マット上に配置されるときに、特徴の全てではな
く一部が隠蔽されるように、クラスタ３１２０から３１９０は、写真マット３４
の表面全体に分散される。この特徴の隠蔽は、各入力画像中で少なくとも６つの
特徴が見える場合には後続の処理に対して問題を提起することはない。

【０４３９】 図３８は、第８実施例において、入力画像中の特徴を検出し、写真マット３４
上のクラスタに対応する特徴のクラスタを検出するために、特徴検出器５０及び
特徴クラスタラ６０により実行される処理動作を示す。以下に説明するように、
図３８の処理ステップは、先の各実施例における図７のステップＳ３２及びＳ３
４での個別のステップとは異なって組み合わさった処理動作を表し、特徴の検出
及びグループ化を行なう。

【０４４０】 図３８のステップＳ９００において、処理装置２は、画像データを処理し、入
力画像に対応する二値画像を生成する。この画像において、写真マット３４上の
特徴の色（すなわち、この実施例では、赤色、緑色、青色又はシアン）に対応す
る色を有する入力画像中の各画素は１に設定され、他の色を有する画素は０に設
定される。

【０４４１】 具体的には、この実施例において、入力画像中の各画素に対して、処理装置２
は、赤色の値Ｒ、緑色の値Ｇ及び青色の値Ｂ（この実施例において、各々は０か
ら２５５の値を有する）を読み取り、画素の値を以下に示すように１又は０に設
定する（写真マットのパターンが印刷されている紙の色は淡い、すなわち、画像
中において、パターンが存在しない紙に対応する画素の全ての色成分は、１２８
より大きい値を有する）： If R ＜ 128 or G ＜ 128 or B ＜ 128 set pixel value to 1 else set the pixel value to 0 ・・・・（９） ステップＳ９０２において、処理装置２は、ステップＳ９００で生成された二
値画像データを処理して、値１を有する画素の空間的に孤立したグループを識別
するために、値１を有し且つ二値画像中で結合されている画素から構成されるグ
ループを見出す。ステップＳ９０２で実行される処理は、図８のステップＳ５２
で実行された処理と同じであり、Ｒ．Ｊ．シュカルコフ，ジョン ウィリとソン
ズ（R.J. Schalkoff, John Wiley and Sons）の「デジタル画像処理とコンピュ
ータビジョン（Digital Image Processing and Computer Vision）」（ISBN 047
150536-6、２７６ページ）に記載されているような従来の方法で実行される。ス
テップＳ９０２での処理を実行した結果、入力画像中で見える各クラスタ３１２
０から３１９０に対して、画素の単一のグループが識別されるであろう。すなわ
ち、クラスタの３つの特徴の各々を表す画素及び各特徴を結ぶ線がステップＳ９
０２で識別された１つのグループの一部となる。同様に、画素のグループは、オ
ブジェクト４００上の各孤立した特徴に対して識別されるであろう。

【０４４２】 ステップＳ９０４において、処理装置２は、写真マット３４上の特徴を表すに
は小さすぎる画素のグループを放棄するために、ステップＳ９０２で見出された
閾値数（この実施例では、２５に設定される）より少ない数の画素を含む各グル
ープを放棄する。この処理は図８のステップＳ５４に対応する。

【０４４３】 ステップＳ９０６において、処理装置２は、ステップＳ９０４が実行された後
でも残存する画素の各グループに対して侵食処理を実行する。この実施例におい
て、侵食処理は、Ｒ．Ｊ．シュカルコフ，ジョン ウィリとソンズ（R.J. Schal
koff, John Wiley and Sons）の「デジタル画像処理とコンピュータビジョン（D
igital Image Processing and Computer Vision）」（ISBN 047150536-6、３１
０から３２５ページ）に記載されているような従来の方法で実行される。画素の
グループに対して侵食処理を実行した結果、グループの各部分の幅が縮小される
。写真マット３４上の結合された特徴のクラスタを表す画素のグループの場合、
侵食処理により、特徴を結ぶ線（図３７において、クラスタ３１２０に対しては
３１９８及び３２００）が除去され、特徴を表す画素の数がそれぞれ削減された
個別の結合されていない特徴が残される。ステップＳ９０６で画素のグループに
対して実行された侵食処理から生じる個別の特徴は、処理装置２により候補クラ
スタとして格納される（尚、侵食処理により特徴が個別にならないこともあるが
、代わりにオブジェクト４００上の特徴を表す画素のグループに対して単一の特
徴しか与えられないこともある）。

【０４４４】 ステップＳ９０８において、処理装置２は、ステップＳ９０６で実行された処
理の後も残存する各特徴を処理し、特徴を表すグループ中の画素数と、グループ
により定義される画像中の一意的な点位置（この実施例では、グループの重心を
決定することによって計算される画素のグループの中心）と、一意的な点位置に
最も近接する画像中の画素の色とを決定し、これらを格納する。この処理は、図
８のステップＳ５６、Ｓ５８及びＳ６０で実行された処理に対応する。

【０４４５】 ステップＳ９１０からＳ９１８において、処理装置２は、ステップＳ９００か
らＳ９０６で実行される処理において生じる候補クラスタの各々を検査し、写真
マット３４上の特徴のクラスタを表すか否かを決定する。

【０４４６】 具体的には、ステップＳ９１０において、処理装置２は、特徴の次の候補クラ
スタを考慮し、ステップＳ９１２において、クラスタ中にちょうど３つ特徴があ
るか否かを決定する。

【０４４７】 ステップＳ９１２において、クラスタ中に３つの特徴がない場合、処理はステ
ップＳ９１６に進み、ここで、クラスタは放棄される。

【０４４８】 これに対し、ステップＳ９１２において、クラスタ中に（ちょうど）３つの特
徴があると決定される場合、ステップＳ９１４において、処理装置２は、クラス
タの各特徴が同じ色であるか否か決定するために、更なる検査を実行する。

【０４４９】 ステップＳ９１４において、クラスタの各特徴が画像中において同じ色でない
と決定される場合、ステップＳ９１６において、クラスタは放棄される。

【０４５０】 これに対し、ステップＳ９１４において、クラスタの各特徴が同じ色であると
決定される場合、クラスタが保持されるようにステップＳ９１６が省略される。

【０４５１】 ステップＳ９１８において、処理装置２は、別の候補クラスタが存在するか否
かを決定する。以上説明したように各候補クラスタを処理し終わるまでステップ
Ｓ９１０からＳ９１８が繰り返される。

【０４５２】 要約すると、図３８の処理を実行した結果、処理装置２は、組み合わさった処
理動作（ステップＳ９００からＳ９０６）において、特徴及びその候補クラスタ
の検出を終了する。中の特徴は線で結ばれているので、写真マット３４上のクラ
スタを表す実際のクラスタが含まれることになる。また、処理装置２は、候補ク
ラスタを検査し、このクラスタがちょうど３つの特徴を含むという関係と写真マ
ット３４上のクラスタの各特徴が画像中において全て同じ色を有するという関係
とを使用して、写真マット３４上のクラスタを表すものを決定する処理を終了す
る。

【０４５３】 図３９は、第８実施例において、各クラスタ内の特徴を識別する（すなわち、
各特徴に対して写真マット３４上の特徴への１対１の対応でラベル付けする）た
めにステップＳ３６で特徴識別器７０により実行される処理動作を示す。

【０４５４】 図３９のステップＳ９３０において、特徴識別器７０は、特徴の次のクラスタ
を考慮し、ステップＳ９３２において、クラスタ中の特徴の各対の中心間の画像
中での直線距離を計算する。

【０４５５】 ステップＳ９３４において、特徴識別器７０は、クラスタの端の特徴の各々の
色及び大きさ（図３８のステップＳ９０８で格納済）を読み取る（端の特徴は、
最長距離を有する特徴、すなわち、例えば、図３７のクラスタ３１２０中の特徴
３１９２及び３１９４として定義される）。

【０４５６】 ステップＳ９３６において、特徴識別器は、クラスタの中心の特徴（すなわち
、ステップＳ９３４で処理されていない特徴）の色及び大きさ（ステップＳ９０
８で先に格納済）を読み取る。

【０４５７】 ステップＳ９３８において、特徴識別器７０は、ステップＳ９３４及びＳ９３
６で読み取られた色及び大きさを使用して写真マット３４上のクラスタ３１２０
から３１９０のいずれに対して、入力画像中のクラスタが対応するのかを決定し
、且つ入力画像中のクラスタの特徴と写真マット３４上のクラスタの特徴との１
対１の対応を識別する。例えば、図３７において、クラスタの端の特徴が、大き
い赤色の特徴及び小さい赤色の特徴から構成され、クラスタの中心の特徴が小さ
い赤色の特徴である場合、特徴識別器７０は、このクラスタにクラスタ３１２０
としてラベル付けし、大きい赤色の端の特徴に特徴３１９２としてラベル付けし
、小さい赤色の端の特徴に特徴３１９４としてラベル付けし、中心の特徴に特徴
３２０２としてラベル付けする。

【０４５８】 ステップＳ９４０において、特徴識別器７０は、入力画像中のクラスタ内の各
特徴に対して、入力画像及び写真マット３４の双方における特徴の一意的な点位
置の座標を格納する。この処理は、図１２のステップＳ１４８に対応する。

【０４５９】 ステップＳ９４２において、特徴識別器７０は、入力画像中に処理すべき特徴
の別のクラスタが存在するか否かを決定する。以上説明したように各クラスタを
処理し終わるまでステップＳ９３０からＳ９４２が繰り返される。

【０４６０】 従って要約すると、特徴識別器７０は、各クラスタ及びその中の特徴を特徴の
色及び大きさの各関係を使用してラベル付けする。

【０４６１】 第９実施例 本発明の第９実施例を説明する。

【０４６２】 第９実施例では、第８実施例のように、特徴を検出し、候補クラスタへとグル
ープ化するステップは、前述の各実施例のように個別のステップ（図７のステッ
プＳ３２及びＳ３４）として行なわれるのではなくまとめて実行される。すなわ
ち、候補クラスタは、入力画像の検出可能な領域に位置する特徴に基づいて識別
される。各候補クラスタは、特徴の数及び中の特徴の大きさに基づいて検査され
、写真マット３４上の特徴を表すか否かが決定される。続いて、各クラスタ及び
その中の特徴が、クラスタの特徴の大きさ及び特徴が位置する入力画像中の領域
の特性によってラベル付けされる。

【０４６３】 第９実施例の構成要素及びその構成要素により実施される処理動作は、写真マ
ット３４上のパターンが異なり、ステップＳ３２で特徴検出器５０により実行さ
れる処理及びステップＳ３４（図７）で特徴クラスタラ６０により実行される処
理が異なり且つこれらの処理が組み合わされており、図７のステップＳ３６で特
徴識別器７０により実行される処理が異なる点を除いて第１実施例と同じである
。これらの相違点を説明する。

【０４６４】 図４０は、第９実施例における印刷又は表示された写真マット３４上の特徴の
パターンを示す。

【０４６５】 図４０において、写真マット上のパターンは、複数のクラスタ３２５０から３
３２０から構成され、第９実施例では、クラスタは８つである。各クラスタは３
つの特徴から成り、その各々は、一様な色の領域中の穴（円形の穴は３３４０、
３３４２及び３３４４としてラベル付けされ、一様な色の領域は、図４０のクラ
スタ３２５０中の３３３０としてラベル付けされている）により定義される円で
ある。従って、クラスタの特徴（穴）の各々は、写真マット３４が印刷された紙
と同じ色を有する。

【０４６６】 この実施例において、写真マット３４上のパターンは、赤色の２つの領域３２
５０、３３１０と緑色の２つの領域３２７０、３３２０と、青色の２つの領域３
２６０、３２８０と、シアンの２つの領域３２９０、３３００とから構成される
。

【０４６７】 色のある領域内において、２つの大きい穴と１つの小さい穴が設けられるか、
あるいは、代わりに２つの小さい穴と１つの大きい穴が設けられる。これらの構
成のうちの異なる一方が、同色の２つの領域の各々にもたらされる（すなわち、
クラスタ３２５０の赤色の領域が２つの小さい面積の穴３３４０、３３４２及び
１つの大きい面積の穴３３４４を有するのに対し、クラスタ３３１０の赤色の領
域は２つの大きい面積の穴及び１つの小さい面積の穴を有する）。この実施例に
おいて、大きい穴の大きさ（面積）は、小さい穴の２倍である。

【０４６８】 この実施例において、写真マット３４上には空いた中央領域は設けられない。
代わりに、オブジェクト４００が写真マット上に配置されるときに特徴の全てで
はなく一部が隠蔽されるように、クラスタ３２５０から３３２０が写真マット３
４上の表面全体に分散される。この特徴の隠蔽により後続の処理で問題を提起す
ることはないが、各入力画像中で少なくとも６つの特徴が見える場合である。

【０４６９】 図４１は、入力画像中の特徴の候補クラスタを検出し、各候補クラスタを検査
して写真マット３４上の特徴の実際のクラスタを表すか否かを決定するために第
９実施例で実行される処理を示す。この処理は、図７のステップＳ３２及びＳ３
４で実行される第１実施例の処理に代わるものである。

【０４７０】 図４１のステップＳ９６０において、処理装置２は、画像データを処理して入
力画像に対応する二値画像を生成する。この二値画像において、写真マット３４
上のクラスタ３２５０から３３２０を定義する着色領域のうちの１つの色（すな
わち、この実施例では、赤色、緑色、青色又はシアン）に対応する色を有する入
力画像中の各画素は１に設定され、その他の色を有する画素は０に設定される。
この処理は、第８実施例のステップＳ９００（図３８）と同様に実行されるので
、ここでは説明を繰り返さない。

【０４７１】 ステップＳ９６２において、処理装置２は、ステップＳ９６０で生成された二
値画像データを処理し、値１を有する画素の空間的に孤立したグループを識別す
るために、値１を有し且つ二値画像中で結合されている画素から構成されるグル
ープを見出す。この処理は、Ｒ．Ｊ．シュカルコフ，ジョン ウィリとソンズ（
R.J. Schalkoff, John Wiley & Sons）の「デジタル画像処理とコンピュータビ
ジョン（Digital Image Processing and Computer Vision）」（ISBN 047150536
-6、２７６ページ）に記載されているような従来の方法で実行される。この処理
の結果、入力画像中で見えるオブジェクト４００上の赤色の特徴、緑色の特徴、
青色の特徴又はシアンの特徴を表す画素のグループが検出されると共に、入力画
像中で見えるクラスタ３２５０から３３２０を定義する一様な色の領域のいずれ
かを表す画素のグループが検出される。

【０４７２】 ステップＳ９６４において、処理装置２は、閾値数（この実施例では２５に設
定される）未満の画素を含むステップＳ９６２で見出された各グループを放棄す
る。この処理は、図８のステップＳ５４に対応する。

【０４７３】 ステップＳ９６６において、処理装置２は、ステップＳ９６４が実行された後
も残存する画素の次のグループを考慮し、ステップＳ９６８において、グループ
の境界画素により包囲された二値画像（ステップＳ９６０で生成）の部分を考慮
する。

【０４７４】 ステップＳ９７０において、処理装置２は、ステップＳ９６８で選択された二
値画像の部分中の画素を処理し、値０を有し且つ二値画像中で結合されている画
素から構成されるグループを見出す。この実施例において、ステップＳ９７０で
の処理は、Ｒ．Ｊ．シュカルコフ，ジョン ウィリとソンズ（R.J. Schalkoff,
John Wiley & Sons）の「デジタル画像処理とコンピュータビジョン（Digital I
mage Processing and Computer Vision）」（ISBN 047150536-6、２７６ページ
）に記載されているような従来の方法で実行される。ステップＳ９７０での処理
の結果、現在考慮中の現在の領域中の穴を表す画素のグループ（ステップＳ９６
６で選択済）が検出される。従って、ステップＳ９７０での処理により、写真マ
ット３４上の特徴を表す円形の穴の特徴が検出されることになる。

【０４７５】 ステップＳ９７２において、処理装置２は、写真マット３４上の特徴を表すに
は小さすぎる画素のグループを放棄するように、ステップＳ９７０で見出され且
つ閾値数（この実施例では２５に設定される）よりも少ない画素を含む各グルー
プを放棄する。

【０４７６】 ステップＳ９７４において、処理装置２は、ステップＳ９７２が実行された後
も残存する画素の各グループを処理し、グループ中の画素の数及びグループによ
り定義される画像中の一意的な点位置（この実施例では、従来通りに画素のグル
ープの重心を決定することによって計算される画素のグループの中心）を決定／
格納する。

【０４７７】 ステップＳ９７６において、処理装置２は、候補クラスタ中にちょうど３つの
特徴（すなわち、値０を有する画素のグループ）が存在するか否かを決定する。

【０４７８】 ステップＳ９７６において、候補クラスタ中に３つの特徴が存在しないと決定
される場合、処理はステップＳ９８０に進み、ここで、クラスタが放棄される。

【０４７９】 これに対し、ステップＳ９７６において、クラスタ中にちょうど３つの特徴が
存在すると決定される場合、ステップＳ９７８において処理装置２により第２の
検査が実行され、クラスタ中に特徴の大きさがちょうど２種類存在するか否かが
決定される。この検査は、ステップＳ９７４で格納された各グループ中の画素数
を定義する情報を使用して、この画素数と最大の特徴中の画素数との差異が２０
％を超えない場合には同じ大きさであると決定することによって実行される。

【０４８０】 ステップＳ９７８において、クラスタ中の特徴が３つ以上又は１つ以下の異な
る種類の大きさを有すると決定される場合、ステップＳ９８０において、クラス
タが放棄される。

【０４８１】 これに対し、ステップＳ９７８において、クラスタ中に２種類の大きさが存在
すると決定される場合、ステップＳ９８０が省略される。その結果、ステップＳ
９８２において、クラスタは保持され、特徴が位置する入力画像の部分の色が格
納される（この色は、ステップＳ９６６で考慮された画素に対応する元の入力画
像の色値から決定される）。

【０４８２】 ステップＳ９８４において、処理装置２は、入力画像中の着色領域を表す画素
のグループが他に存在するか否かを決定する。以上説明したように着色領域を表
す画素の各グループを処理し終わるまでステップＳ９６６からＳ９８４が繰り返
される。

【０４８３】 要約すると、図４１を参照して上述した処理を実行することによって、処理装
置２は、所定の色を有する入力画像中の閉鎖領域を検出し、このような領域の各
々にある穴を検出し、各領域に対するこれらの穴を特徴の候補クラスタとして考
慮する。従って、候補クラスタの検出は、特徴の位置（すなわち、所定の色の閉
鎖領域内に位置する）又は特徴の結合性（すなわち、所定の色の領域により結合
されている）に基づくものと考えられる。各候補クラスタは処理されて、ちょう
ど２種類の異なる大きさを有するちょうど３つの特徴を含むか否かが決定される
。これらの条件が満たされる場合、クラスタは、写真マット３４上の特徴のクラ
スタを表すものと考えられる。

【０４８４】 図４２は、クラスタの一部として識別された各特徴にラベル付けする（すなわ
ち、クラスタの一部である入力画像中の各特徴と写真マット３４上の特徴との一
意的な１対１の対応を割り当てる）ために、第９実施例の図７のステップＳ３６
で特徴識別器７０により実行される処理動作を示す。

【０４８５】 図４２のステップＳ１０００において、特徴識別器７０は、特徴の次のクラス
タ（ステップＳ１０００が初めて実行される場合、これは最初のクラスタである
）を考慮し、ステップＳ１００２において、特徴が位置する画像の部分の色（図
４１のステップＳ９８２で予め格納済）を読み取る。

【０４８６】 ステップＳ１００４において、特徴識別器７０は、クラスタ中の特徴の各対の
中心間の画像中での直線距離を決定する。

【０４８７】 ステップＳ１００６において、特徴識別器７０は、クラスタの端の特徴の大き
さ（すなわち、図４１のステップＳ９７４で格納された画素数）を読み取る。こ
の端の特徴は、最長距離を有する特徴（例えば、図４０のクラスタ３２５０に対
する特徴３３４２及び３３４４）であると決定される。

【０４８８】 ステップＳ１００８において、特徴識別器７０は、図４１のステップＳ９７４
で予め格納されたクラスタの中心の特徴（すなわち、端の特徴ではない特徴）の
大きさを読み取る。

【０４８９】 ステップＳ１０１０において、特徴識別器７０は、ステップＳ１００２で読み
取られた色（これにより、写真マット３４上の２つのクラスタのうちの、その色
の領域中に位置する特徴を有する一方にクラスタは限定される）とステップＳ１
００６及びＳ１００８で読み取られた大きさ（これにより、２つの大きい特徴及
び１つの小さい特徴、又は、２つの小さい特徴及び１つの大きい特徴のいずれが
存在するかによって２つの可能性から一意的にクラスタが識別される）とによっ
てクラスタにラベル付けする。加えて、クラスタへのラベル付けを終了すると、
特徴識別器７０は、中の特徴の各々にラベル付けする。すなわち、各端の特徴は
、これらの特徴の相対的な大きさによって一意的なラベルを割り当てられ（各ク
ラスタにおいて、一方の端の特徴は大きい面積を有し、他方の端の特徴は小さい
面積を有するため）、中心の特徴は、大きい面積を有するか小さい面積を有する
かにかかわらずラベル付けされる。この実施例では、中心の特徴は１つしかない
からである。

【０４９０】 ステップＳ１０１２において、特徴識別器７０は、クラスタの各特徴に対して
、画像及び写真マット３４の双方における特徴の一意的な点位置の座標を格納す
る。

【０４９１】 ステップＳ１０１４において、特徴識別器７０は、特徴の別のクラスタが存在
するか否かを決定する。以上説明したように各クラスタを処理し終わるまでステ
ップＳ１０００からＳ１０１４が繰り返される。

【０４９２】 要約すると、図４２を参照して上述した処理を実行することによって、特徴識
別器７０は、特徴が位置する領域の色と特徴の相対的な大きさによって各特徴に
ラベル付けする。

【０４９３】 第１０実施例 本発明の第１０実施例を説明する。

【０４９４】 第１実施例から第９実施例の各々では、写真マット３４上の特徴を表す画像中
の特徴を検出し、画像中の各検出された特徴と写真マット３４上の特徴との正し
い１対１の対応を識別するための処理が行なわれる。この正しい１対１の対応を
使用して、画像が記録されたときのカメラ４１０の位置及び向きが決定される。
しかし、写真マット３４上の特徴を表す画像中の特徴が一旦検出されると、画像
中の各特徴と写真マット３４上の特徴との正しい１対１の対応を識別する必要は
ない。代わりに、第１０実施例では、カメラ４１０の位置及び向きは、最初に入
力画像中の特徴と写真マット３４上の特徴との正しい１対１の対応を決定するこ
となく計算される。

【０４９５】 第１０実施例の構成要素及びその構成要素により実施される処理動作は、写真
マット３４上のパターンが異なり、図７のステップＳ３２で特徴検出器５０によ
り実行される処理が異なり、図７のステップＳ３６及びＳ３８で特徴識別器７０
及びカメラ計算器８０により実行される個別の処理が異なり且つこれらの処理が
組み合わされている点を除いて第１実施例と同じである。これらの差異を説明す
る。

【０４９６】 図４３は、第１０実施例における印刷又は表示された写真マット３４上の特徴
のパターンを示す。

【０４９７】 図４３において、写真マット３４上のパターンは、複数のクラスタ３４００か
ら３４７０から構成され、この実施例では８つである。各クラスタは４つの特徴
を含み、この実施例ではこれらは同一の黒色の円である。

【０４９８】 第１実施例のように、第１０実施例では、あるクラスタの任意の２つの特徴の
中心間の距離がそのあるクラスタの特徴と別のクラスタの特徴との間の距離より
も短くなるように、特徴の円は写真マット３４上で空間的にグループ化される。

【０４９９】 加えて、第１実施例のように、第１０実施例での円の各クラスタは、クラスタ
中の１対の円の中心を通る（図４３において、クラスタ３４００に対しては線３
４８０、クラスタ３４３０に対しては線３４８２として示す）仮想線（すなわち
、写真マット３４上に実際には存在しない線）が、写真マット上の所定の基準点
３４８４を通るような向きに定められる。

【０５００】 第１実施例において、クラスタ２００から２２２は、各クラスタの所定の基準
点３５２からの距離が同じであるように写真マット上に配置される。しかし、第
１０実施例では、これとは異なる。すなわち、クラスタ３４００、３４２０、３
４４０及び３４６０は、各クラスタの基準点３４８４からの距離が同じになるよ
うに配置されるが、クラスタ３４５０及び３４７０は、基準点３４８４からこれ
らのクラスタの各々までの距離が同じであり、且つ、この距離が基準点３４８４
からクラスタ３４００、３４２０、３４４０又は３４６０のうちの１つまでの距
離より長くなるように配置される。同様に、クラスタ３４１０及び３４３０は、
基準点３４８４からこれらのクラスタまでの距離が同じであり、且つ、この距離
が基準点３４８４からクラスタ３４００、３４２０、３４４０又は３４６０のう
ちのいずれか１つまでの距離よりも短くなるように位置決めされる。このクラス
タの位置決めにより、写真マット３４上のパターンには、回転対称であるという
特性が付与される。

【０５０１】 クラスタ３４００から３４７０は、オブジェクト４００が配置される空いた領
域３４９０の周囲に配置される。この空いた領域３４９０は、図２のステップＳ
４で格納された直径を有する円３４９２により定義される。

【０５０２】 入力画像中の特徴を検出するために図７のステップＳ３２で特徴検出器５０に
より実行される処理は、二値画像を生成するためにステップＳ５０（図８）で使
用された閾値が異なっており、第１０実施例における写真マット３４上の全ての
特徴は黒色であるためにステップＳ６０（図８）が実施されない点において、第
１実施例で実行された処理と異なっている。すなわち、第１０実施例において、
二値画像を生成するためにステップＳ６０で使用された閾値は、第６実施例に対
して式（６）で示されたものと同じである。

【０５０３】 図４４は、入力画像が記録されたときのカメラ４１０の位置及び向きを決定す
るために、特徴クラスタラ６０により写真マット３４上のクラスタを表す入力画
像中のクラスタの一部であると決定された特徴を処理すべく、第１０実施例にお
いて特徴識別器７０及びカメラ計算器８０により実行される処理動作を示す。

【０５０４】 図４４のステップＳ１１００において、処理装置２は、写真マット３４上の所
定の基準点３４８４の画像中の位置を決定する。この処理は、第１実施例のステ
ップＳ１４０（図１２）で実行された処理に対応するので、ここでは説明を繰り
返さない。

【０５０５】 ステップＳ１１０２において、処理装置２は、ステップＳ１１００で決定され
た基準点に対する特徴の回転順序によって、各クラスタの特徴にラベル付けする
。この処理は、第１実施例においてステップＳ１４２（図１２）で実行された処
理と同じであるので、ここでは説明を繰り返さない。

【０５０６】 ステップＳ１１０４において、処理装置２は、ステップＳ１１００で決定され
た基準点３４８４に対する入力画像中で見えるクラスタの回転順序を決定する。
すなわち、処理装置２は、見えるクラスタから無作為に選択された基準クラスタ
から時計回り方向において見えるクラスタの順序を決定する。この処理は、従来
の方法で、例えば、時計回り方向での次のクラスタとしてクラスタを選択するこ
とによって実行される。その結果、このクラスタの中心がその前のクラスタの中
心と結ばれるとき、その他のクラスタは結合線の右側に位置することになる。

【０５０７】 ステップＳ１１０４までの処理の結果、処理装置２は、写真マット３４上の特
徴を表す入力画像中の特徴のクラスタを検出し、クラスタの回転順序の決定を終
了する。従って、画像中で３４００から３４７０のうちの１つ以上が見えないよ
うにこれらのクラスタをオブジェクト４００が隠蔽し、隠蔽されたクラスタは相
互に隣接するものとすると、処理装置２は、入力画像中で見えるクラスタの部分
集合を検出し、部分集合中のクラスタの相対順序の決定を終了する。しかし、こ
の段階では、処理装置２は、写真マット３４上のクラスタのどの部分集合が入力
画像中で検出されたかを決定していない。

【０５０８】 後続の処理において、処理装置２は、検出された部分集合が表すことのできる
写真マット３４上のクラスタの可能な部分集合の各々を考慮し、各場合における
カメラ４１０の位置及び向きを計算／検査し、最も正確な位置及び向きを選択す
る。

【０５０９】 具体的には、ステップＳ１１０６において、処理装置２は、ステップＳ１１０
４で相対順序を決定するのに使用される基準クラスタとしてラベル付けされるべ
き次のクラスタ（ステップＳ１１０６が初めて実行される場合、これは写真マッ
トからの最初のクラスタである）を写真マット３４上のクラスタ３４００から３
４７０から選択する。

【０５１０】 ステップＳ１１０８において、処理装置２は、ステップＳ１１０６で基準クラ
スタとしてラベル付けされるべく選択されたクラスタによって、入力画像中の各
特徴にラベル付けする。すなわち、処理装置２は、入力画像中のクラスタの各特
徴と写真マット３４上の特徴との一意的な１対１の対応を基準クラスタに基づい
て割り当てる。すなわち、例えば、クラスタ３４００がステップＳ１１０６で選
択される場合、ステップＳ１１０８において、入力画像中の基準クラスタは、ク
ラスタ３４００としてラベル付けされ、入力画像中のその他のクラスタは、ステ
ップＳ１１０４で決定された循環式の順序を使用してクラスタ３４１０、３４２
０などとラベル付けされる。これに対し、例えば、写真マット３４からのクラス
タ３４５０がステップＳ１１０６で選択される場合、ステップＳ１１０８におい
て、入力画像中の基準クラスタは、クラスタ３４５０としてラベル付けされ、入
力画像中の残りのクラスタは、循環式の順序でクラスタ３４６０、３４７０、３
４００などとラベル付けされる。加えて、入力画像中の各クラスタにラベルを割
り当てると、処理装置２は、ステップＳ１１０２で決定されたクラスタ内の相対
位置によって、その中の各特徴にラベルを割り当てる。

【０５１１】 ステップＳ１１０６からＳ１１０８の処理を実行した結果、処理装置２は、入
力画像中の各特徴と写真マット３４上の特徴との１対１の対応の割り当てを終了
する。しかし、割り当てられた１対１の対応は、ステップＳ１１０６で選択され
た写真マット３４からのクラスタが、実際に、入力画像中の基準クラスタに対応
しない場合は、正しい対応にはならない。

【０５１２】 ステップＳ１１１０において、処理装置２は、カウンタの値を０にリセットす
る。

【０５１３】 ステップＳ１１１２からＳ１１２６において、処理装置２は、ステップＳ１１
０８で割り当てられた１対１の対応を使用して、カメラ４１０の位置及び向きを
計算／検査する。ステップＳ１１１２からＳ１１２６で実行される処理は、第１
実施例の上述のステップＳ２５２からＳ２６６で実行された処理と同じであるの
で、ここでは繰り返さない。

【０５１４】 ステップＳ１１２８において、処理装置２は、入力画像中の基準クラスタとし
てラベル付けされるべく選択されていない写真マット３４上のクラスタが他に存
在するか否かを決定する。写真マット３４上の全てのクラスタが基準クラスタと
してステップＳ１１０６で選択されるまでステップＳ１１０６からＳ１１２８が
繰り返される。このようにして、入力画像中で検出されたクラスタの部分集合が
、対応する可能性がある写真マット３４上の特徴の各部分集合と比較される。

【０５１５】 ステップＳ１１０８で割り当てられた１対１の対応が、正しい対応でない場合
、写真マット３４上の特徴のパターンは、この実施例では回転対称であるので、
ステップＳ１１１８で実行された計算されたカメラ変換の検査は、比較的大きい
誤りを示すことになる。これに対し、ステップＳ１１０６で選択された写真マッ
ト３４からのクラスタが、実際に、入力画像中の基準クラスタに対応する場合、
ステップＳ１１０８で実行された検査は、ステップＳ１１１８において検査が実
行されるときよりもカメラ変換に対して小さい誤り（より高い精度）を示すこと
になる。従って、写真マット３４上のクラスタの１つ１つに対して（すなわち、
この実施例では８回）、ステップＳ１１０６からＳ１１２８が実行されたとき、
格納されたカメラ変換は、正しい１対１の対応を使用して計算されたカメラ変換
となる（最高の精度を有することになるため、ステップＳ１１２０及びＳ１１２
２においてメモリに保持されるからである）。

【０５１６】 従って要約すると、第１０実施例において、処理装置２は、カメラ４１０の位
置及び向きの計算に先立って、入力画像中の特徴と写真マット３４上の特徴との
正しい１対１の対応を計算するための処理を実行しない。代わりに、処理装置２
は、１対１の対応の別の組を使用してカメラ４１０の位置及び向きを計算し、結
果として生じるものの中で最も正確な位置及び向きを選択する。

【０５１７】 第１１実施例 本発明の第１１実施例を説明する。

【０５１８】 第１実施例から第１０実施例では、写真マット３４上の特徴の空間的な位置間
の関係、又は、写真マット３４上の特徴の結合性に基づいて、画像中の特徴の候
補クラスタを検出するための処理が行なわれる。続いて、各候補クラスタは検査
され、写真マット３４上のクラスタを表すか否かが、特徴の大きさ、色及び／又
は形状に基づく特徴間の少なくとも１つの更なる関係によって決定される。しか
し、第１１実施例では、この処理は逆になる。候補クラスタは、写真マット３４
上のクラスタの特徴の色間の関係を使用して検出され、続いて、各候補クラスタ
が、写真マット３４上の特徴の空間的位置間の関係によって検査される。

【０５１９】 第１１実施例の構成要素及びその構成要素により実施される処理動作は、写真
マット３４上のパターンが異なり、図７のステップＳ３２で特徴検出器５０によ
り実行される処理が異なり、図７のステップＳ３４で特徴クラスタラ６０により
実行される処理が異なり、また、図７のステップＳ３６で特徴識別器７０により
実行される処理が異なる点を除いて第１実施例と同じである。これらの差異を説
明する。

【０５２０】 図４５は、第１１実施例における印刷又は表示された写真マット３４上の特徴
のパターンを示す。

【０５２１】 図４５を参照すると、第１１実施例において、写真マット３４上のパターンは
、複数のクラスタ３５００から３５５０から構成され、この実施例では６つのク
ラスタが存在する。

【０５２２】 各クラスタは４つの特徴を有し、各特徴は、大きい面積又は小さい面積のいず
れかを有する円である。大きい面積は、小さい面積の２倍である。図４５におい
て、「Ｒ」で示された円は、写真マット３４上の大きい面積の赤色の円（すなわ
ち、この文字は写真マット３４上には実際には存在せず、図面中においてラベル
付けの目的でのみ使用される）であり、「ｒ」で示された円は、小さい面積の赤
色の円である。「Ｇ」で示された円は、大きい緑色の円であり、「ｇ」で示され
た円は、小さい緑色の円である。「Ｂ」で示された円は、大きい青色の円であり
、「ｂ」で示された円は、小さい青色の円である。「Ｃ」で示された円は、大き
いシアンの円であり、「ｃ」で示された円は、小さいシアンの円である。「Ｍ」
で示された円は、大きいマゼンタの円であり、「ｍ」で示された円は、小さいマ
ゼンタの円である。「Ｙ」で示された円は、大きい黄色の円であり、「ｙ」で示
された円は、小さい黄色の円である。

【０５２３】 各クラスタ３５００から３５５０内において、４つの特徴の中心は、仮想直線
（すなわち、写真マット３４上に存在しない線であり、クラスタ３５００に対し
て３５６０で示される）上に配置される。あるクラスタ内では、４つの特徴の中
心は、直線上に等間隔に離間して配置される。

【０５２４】 クラスタ３５００から３５５０は、ステップＳ４（図２）で格納された直径を
有する円をクラスタ３５００から３５５０中の特徴のいずれにも接触することな
く描き入れることができるような大きさの空いた中央領域３５７０の周囲に配置
される。

【０５２５】 図７のステップＳ３２で特徴検出器５０により第１１実施例において実行され
る処理動作は、画素のグループを識別するための二値画像を生成するために、図
８のステップＳ５０で実行される処理が少々異なる点を除いて、第１実施例と同
じである。すなわち、式（１）に従って入力画像中の各画素の値を１又は０に設
定するのではなく、第１１実施例では、特徴検出器５０は、以下の式に従って各
画素の値を設定する： If R ＜ 128 or G ＜ 128 or B ＜ 128 set pixel value to 1 else set the pixel value to 0 ・・・・（１０） 図４６は、第１１実施例の図７のステップＳ３４で特徴クラスタラ６０により
実行される処理動作を示す。

【０５２６】 図４６のステップＳ１２００において、特徴クラスタラ６０は、各特徴の色（
図８のステップＳ６０で予め格納済）を読み取り、各特徴を特徴の色によってＲ
ＧＢ色空間中の点として描く。

【０５２７】 当業者には明らかなように、各色、すなわち、赤色、緑色、青色、シアン、マ
ゼンタ、黄色、黒色及び白色は、ＲＧＢ色空間中の立方体（図４７ａで立方体３
６００として示される）の各頂点を定義する。従って、ステップＳ１２００にお
いて特徴クラスタラ６０により描かれる各点は、立方体３６００内に位置するこ
とになる。写真マット３４上の特徴から生じる点は、赤色、緑色、青色、シアン
、マゼンタ又は黄色の頂点のうちの１つ、あるいは、その近傍（誤りに起因する
）に位置するであろう。被写体オブジェクト４００上の特徴から生じる点は、赤
色、緑色、青色、シアン、マゼンタ又は黄色の頂点のうちの１つ、あるいは、そ
の近傍を含み、立方体３６００の任意の所に位置しても良い。

【０５２８】 ステップＳ１２０２において、特徴クラスタラ６０は、ステップＳ１２００で
決定されたＲＧＢ色空間中の特徴の位置によって、特徴の候補クラスタを形成す
る。

【０５２９】 具体的には、図４７ｂにおいて、特徴クラスタラ６０は、ＲＧＢ色空間の立方
体３６００の小区域３６１０から３６６０を定義し、ステップＳ１２００で描か
れた点が小区域３６１０から３６６０に位置する特徴から候補クラスタを定義す
る。この実施例において、各小区域３６１０から３６６０は、立方体３６００の
一辺の長さの４分の１に等しい長さの一辺を有し、立方体３６００の赤色、緑色
、青色、シアン、マゼンタ又は黄色の１つの頂点を有する立方体である。候補ク
ラスタを生成するために、特徴クラスタラ６０は、赤色の小区域３６１０に位置
するステップＳ１２００で描かれた全ての点を考慮し、４つの特徴の各可能なグ
ループを候補クラスタとして指定する（写真マット３４上の各クラスタ３５００
から３５５０中に４つの特徴が存在するため）。この処理は、更なる候補クラス
タを生成するためにその他の色の小区域３６２０から３６６０の各々に対して繰
り返される。

【０５３０】 図４６を再度参照すると、ステップＳ１２０４から１２２６において、特徴ク
ラスタラ６０は、ステップＳ１２０２で設定された特徴の候補クラスタを検査し
て写真マット３４上のクラスタを表すか否かを決定するための処理を実行する。

【０５３１】 具体的には、ステップＳ１２０４において、特徴クラスタラ６０は、ステップ
Ｓ１２０２で生成された特徴の次の候補クラスタを考慮し、ステップＳ１２０６
において、画像中において最長の直線距離を有するクラスタの２つの特徴を考慮
する。従って、現在考慮中の候補クラスタが、写真マット３４上のクラスタであ
る場合、ステップＳ１２０６で考慮される２つの特徴は、直線上のクラスタの端
の特徴になる。

【０５３２】 ステップＳ１２０８からＳ１２２４において、特徴クラスタラ６０は、ステッ
プＳ１２０６で考慮された２つの特徴間の直線上に位置するちょうど２つの特徴
が存在するか否かを決定し、ちょうど２つの特徴が存在する場合、クラスタが写
真マット３４上のクラスタを表す場合にクラスタの４つの特徴の複比が理論的な
複比の所定の許容差内であるか否かを決定するための処理を実行する。ステップ
Ｓ１２０８からＳ１２２４は、上述の第６実施例のステップＳ８０４からＳ８２
０と同じであるので、ここでは説明を繰り返さない。

【０５３３】 ステップＳ１２２６において、特徴クラスタラ６０は、検査すべき特徴の候補
クラスタが他に存在するか否かを決定する。以上説明したように各候補クラスタ
を処理し終わるまでステップＳ１２０４からＳ１２２６が繰り返される。従って
、この処理を実行した結果、特徴クラスタラ６０は、各候補クラスタを検査し、
直線に位置する４つの特徴が存在し、これらの特徴の位置は、複比が写真マット
３４上の特徴のクラスタに対する複比とほぼ同じであるように定められていると
いう関係を満たす特徴を有するクラスタを保持している。

【０５３４】 図４８は、第１１実施例の図７のステップＳ３６で特徴識別器７０により実行
される処理動作を示す。

【０５３５】 図４８のステップＳ１２４０において、特徴識別器７０は、特徴の次のクラス
タを考慮し、ステップＳ１２４２において、特徴の大きさ及び特徴の色（図８の
ステップＳ５６及びＳ６０で予め格納済）を読み取る。

【０５３６】 ステップＳ１２４４において、特徴識別器７０は、ステップＳ１２４２で読み
取られた色を有する写真マット３４上の最小の特徴に対応するものとして、最小
の大きさの特徴にラベル付けする。すなわち、一例として、ステップＳ１２４２
で読み取られた色が赤色である場合、ステップＳ１２４４において、特徴識別器
７０は、入力画像中のクラスタの最小の特徴に写真マット３４上の特徴３５６２
としてラベル付けする。

【０５３７】 ステップＳ１２４６において、特徴識別器７０は、ステップＳ１２４４でラベ
ル付けされた最小の特徴からの相対距離によって、クラスタのより大きい特徴の
各々にラベル付けする。すなわち、一例として、最小の特徴がステップＳ１２４
４において特徴３５６２としてラベル付けされる場合、ステップＳ１２４６にお
いて、特徴識別器７０は、クラスタの最もそれに近接する特徴に特徴３５６４と
してラベル付けし、次に近接する特徴に特徴３５６６としてラベル付けし、入力
画像中の最も離れた特徴に写真マット３４上の特徴３５６８としてラベル付けす
る。

【０５３８】 ステップＳ１２４８において、特徴識別器７０は、クラスタの各特徴に対して
、画像及びマットの双方における特徴の一意的な点位置の座標を格納する。この
処理は、図１２のステップＳ１４８に対応する。

【０５３９】 ステップＳ１２５０において、特徴識別器７０は、ラベル付けすべき別のクラ
スタが存在するか否かを決定する。以上説明したように各クラスタを処理し終わ
るまでステップＳ１２４０からＳ１２５０が繰り返される。

【０５４０】 上述の各実施例に対して、請求の範囲の趣旨内で幾つかの変形を行なうことが
できる。

【０５４１】 例えば、写真マット３４上に異なる特徴及び／又は特徴のクラスタが設けられ
ても良い。特に、クラスタは様々な数の特徴から構成することができ、特徴は上
述の各実施例とは異なる色、形状及び／又は大きさを有することができる。

【０５４２】 例えば、ある色の特徴、ある大きさの特徴及びある形状の特徴は、相互に交換
可能である。例えば、図４９は、第３実施例における写真マット（図２３に示す
）に対応する写真マット３４を示すが、赤色の十字形８００の代わりに緑色の円
１１００が設けられ、黒色の十字形８０４の代わりに青色の円１１１０が設けら
れる点が異なる。緑色の円１１００、青色の円１１１０、黒色の円１１２０及び
赤色の円１１３０は、色に基づいて相互に区別可能である。

【０５４３】 同様に、図５０は、第４実施例における写真マット３４（図２７に示す）に対
応する写真マット３４の一例であるが、第４実施例における写真マット中の各赤
色の円は、黒色の十字形に置き換えられている。図５０に示す写真マットの画像
において、円の特徴及び十字形の特徴は、第３実施例において上述したように、
形状に基づいて相互に区別することができる。

【０５４４】 言うまでもなく、十字形及び円以外の形状を有する特徴を写真マット３４上で
使用しても良い。

【０５４５】 加えて、写真マット３４上の特徴の様々な色を使用するのではなく、様々な暗
度のグレーを使用しても良い。従って、ここで使用される用語「色」は、黒色及
び様々な暗度のグレーを包含する。

【０５４６】 更に、写真マット上の特徴は、２本の線の交点であっても良く、特徴は、最初
に線を検出するための処理を実行し、次に、線の交点を検出するための処理を実
行することによって、画像中で検出されても良い。

【０５４７】 画像中の特徴の候補クラスタを検出し、且つ候補クラスタを検査して写真マッ
ト上のクラスタに対応するか否かを決定するために、クラスタが、上述の関係と
は異なる特徴間の関係を伴って写真マット３４上に設けられても良い。特徴間の
これらの関係は、特徴の様々に異なる位置、結合性、色、形状及び／又は大きさ
に基づくこともある。

【０５４８】 例えば、上述の第９実施例において、画像中の特徴の候補クラスタを検出する
ために使用される関係は、写真マット３４上のクラスタの特徴が、全て一様な色
の領域内に位置するという関係である（第９実施例では、特徴はこの領域にある
穴である）。しかし、その代わりに、写真マット３４上のパターンは、任意の検
出可能な領域に位置する特徴から構成されていても良い。例えば、各々黒色の線
により定義される矩形（又はその他の形状）から構成されるクラスタが設けられ
ても良く、第９実施例における穴に対応する円である特徴が、矩形の黒色の線に
より定義される領域内に設けられても良い。その結果、各円は、第９実施例にお
ける対応する穴と同じ大きさを有し、且つ第９実施例において穴が位置する領域
の色に対応する色を有する。そのため、候補クラスタは、線を検出するための処
理を実行し、結合線により定義される領域内に位置する特徴を候補クラスタと見
なすことによって、検出することが可能であろう。

【０５４９】 上述の各実施例では、特徴の候補クラスタを検出するための処理が実行され、
続いて、写真マット３４上の特徴のクラスタを表すか否かを決定するための処理
が実行される。しかし、最初に全ての候補クラスタを検出し、次にこれらを検査
する代わりに、候補クラスタは、次の候補クラスタが検出／検査される前に検出
され、検査されても良い。

【０５５０】 写真マット３４上の特徴の数は、上述の各実施例における数を上回っても、あ
るいは、下回っても良い。写真マット３４上に存在する特徴が増加すると、各入
力画像中で見える特徴も増加する。更に、ラベル付けされた（すなわち、写真マ
ット３４上の対応する特徴が識別された）入力画像中の各特徴に対して、カメラ
計算器８０が入力画像に対するカメラ４１０の位置及び向きを計算するのに利用
可能となる対応も増加する。それにより、計算された位置及び向きの精度が向上
する。しかし、写真マット３４上の特徴の数が増加するときでも、入力画像中の
各特徴に一意的なラベルを割り当てることは可能であり（このため、特徴の色、
形状、大きさなどの種類数を増加することが必要な場合もある）、２つ以上の特
徴がカメラ４１０に対する写真マット３４の特定の位置及び向きに対して混合し
て個々の特徴が分割されずに単一の特徴に見える可能性も増加する。

【０５５１】 第６実施例のステップＳ８７２からＳ８９２（図３５）において、写真マット
上の特徴に対応すると決定された画像中のクラスタの各特徴は、クラスタの特徴
の大きさによってラベル付けされる。しかし、その代わりに、各特徴の中心間の
距離がクラスタごとに異なり、各クラスタが式（８）により定義されたような異
なる複比を有するように、写真マット上のパターンが変更されても良い。このよ
うにして、各特徴は、クラスタごとに異なる複比に基づいてラベル付けされても
良い。

【０５５２】 上述の各実施例では、入力画像中の特徴の中心と写真マット３４上の特徴の中
心との間の１対１の対応が識別される。しかし、特徴の中心以外の点位置間の１
対１の対応が識別されても良い。例えば、写真マット３４上の特徴は円でなくて
も良く、各グループの一意的な点位置は画素のグループの中心でなくても良い。
すなわち、例えば、写真マット３４上の特徴が２等辺三角形である場合、一意的
な点位置は、２本の長辺が交わる三角形の頂点であっても良い。写真マット３４
上の各特徴が、ステップＳ６（図２）で定義／格納されたマット上の一意的な点
位置と関連付けられ、画素の各グループ（マットの特徴を表す）がステップＳ５
８（図８）（又は対応するステップ）で処理されてグループに対する一意的な点
位置の画像中の位置が決定されさえすれば良い。

【０５５３】 上述の各実施例では、ステップＳ３６（図７）において、写真マット上の特徴
を表す入力画像中の各特徴の一意的な点位置に対して、１対１の対応が定義され
る。しかし、その代わりに、入力画像中において検出されたクラスタの特徴を使
用して入力画像中の更なる点を定義しても良く、更なる点に対応する写真マット
上の点が決定されても良い。例えば、上述の第１実施例において、入力画像中に
おいて検出されたクラスタの４つの特徴は、対角線（図１４ａの線６３０及び６
３２）により結ばれ、これらの線の交点により、入力画像中の更なる位置が定義
される。次に、この更なる位置は、写真マット３４上の位置に対応するようにラ
ベル付けされる。この例において、クラスタに対して決定される更なる点の数は
、クラスタ中の特徴の数よりも少なく、このため、カメラ４１０の位置及び向き
を計算するのに利用可能な１対１の対応の数が減少する。しかし、クラスタの特
徴を使用して写真マット上の点に対応するものとしてラベル付けすることが可能
な新たな更なる点の位置を計算しても良い。

【０５５４】 上述の各実施例のうちの幾つか（例えば、第１実施例から第５実施例）では、
特徴のクラスタは、通常、幾何学的な形状（円又は三角形）に配置される。代わ
りに、クラスタを相互に対して「任意の」位置に配置することもできる。しかし
、写真マット３４上の各特徴の点位置がわかっている必要がある。加えて、各実
施例において、クラスタ及び／又は特徴にラベル付けするために所定の基準点が
入力画像中において識別される必要がある場合、この基準点を見出せるようにク
ラスタが配置されるか、あるいは、所定の点を見出せるようにその他の手段が設
けられることが必要である（例えば、入力画像中で見出せるように写真マット上
に点自体をマーク付けしても良い）。

【０５５５】 上述の第１実施例及び第３実施例では、ステップＳ１４０（図１２）で入力画
像中において識別された写真マット３４上の所定の点は、写真マット上のクラス
タが位置する円の中心である。しかし、代わりに、必要に応じて特徴及び／又は
クラスタにラベル付けすることができる任意の所定の点を使用しても良い。同様
に、第６実施例及び第１０実施例での所定の基準点は、上述のものと異なってい
ても良い。

【０５５６】 上述の各実施例のうちの幾つかでは、写真マット３４上の特徴は、モデリング
対象のオブジェクト４００が配置される空いた空間の周囲に配置される。しかし
、特徴は、写真マット３４上にオブジェクト４００用の空間なしに設けられても
良く、オブジェクト４００を特徴の一部の上に配置しても良い。しかし、各入力
画像中に最低限６つの特徴が見えているべきである。

【０５５７】 加えて、オブジェクト４００全体の３Ｄコンピュータモデルを生成する必要が
ない場合、写真マット３４上にオブジェクトを包囲する特徴を設ける必要がない
。

【０５５８】 更に、オブジェクト４００は、写真マット３４上に配置される必要はない。例
えば、オブジェクト４００は、マットの横に配置されても良く、画像はオブジェ
クト及びマットの少なくとも一部が各画像中で見えるように記録されても良い。
従って、写真マット３４は、水平面にある必要はない（例えば、オブジェクト４
００の背後の垂直面においてつるすことも可能であろう）。

【０５５９】 加えて、校正パターンが被写体オブジェクトに取り付けられても良く、カメラ
４１０は、上に乗った校正パターンと共に被写体オブジェクトに対して移動させ
られ、様々に異なる位置及び／又は向きで画像を記録しても良い。例えば、平坦
な写真マットの形態の１つ以上の校正オブジェクトが被写体オブジェクトの様々
な面に取り付けられても良い。

【０５６０】 上述の各実施例では、プリンタ８は、ユーザが入力し且つステップＳ４（図２
）で格納された所望の直径に従って、写真マット３４を印刷する。直径が大きす
ぎるために、オブジェクト４００を内側に配置するのに十分な間隔で特徴のクラ
スタを離間して配置すると、写真マット３４を１枚のシート紙に印刷できない場
合、マット発生器３０は、制御プリンタ８が別個の複数枚のシート紙に写真マッ
トを印刷するのを制御しても良い。これらのシート紙は、共に配置されて写真マ
ット３４を形成する。図５１は、写真マット３４の一部を形成する特徴のクラス
タが４枚の別個のシート紙１２００、１３００、１４００及び１５００に印刷さ
れ、共に配置されて写真マット３４が形成される例を示す。

【０５６１】 加えて、特徴のクラスタは、別個のシート紙に印刷されても良いが、パターン
中の特徴が処理装置２に格納された既知の所定の位置にあるように別個のシート
紙を集めて写真マット３４を形成するのではなく、特徴のクラスタを伴った別個
のシート紙が、相互に対する各クラスタの位置が既知ではないように被写体オブ
ジェクトの周囲のユーザにより選択された位置及び向きに配置されても良い。こ
のような実施例では、マット発生器３０及びカメラ計算器８０により実行される
処理動作は、先に説明した各実施例の処理動作と異なっている。

【０５６２】 具体的には、図５３において、マット発生器３０は、各々校正パターンからの
特徴の異なるクラスタを有する別個の複数枚のシート紙をプリンタ８に印刷させ
る。図５３に示す例では、６枚のシート紙４０００から４０５０が印刷され、第
７実施例からのクラスタ３１００から３１１０がこれらのシートに印刷される。
続いて、印刷されたシートは、３Ｄコンピュータモデルを生成すべき被写体オブ
ジェクト４２００の周囲のユーザ選択位置及び向きに配置される。従って、この
実施例において、先に図２のステップＳ２及びＳ４で説明した写真マットの直径
を要求し且つ格納するための処理は不要である。

【０５６３】 被写体オブジェクト４２００の画像及びシート４０００から４０５０上の特徴
のクラスタ３１００から３１１０により形成された校正パターンとが、被写体オ
ブジェクト４２００及びシート紙４０００から４０５０に対して撮影カメラを移
動することによって、様々に異なる位置及び／又は向きで記録される。

【０５６４】 図５４は、記録された画像を処理してその撮影位置及び向きを計算するために
、ステップＳ１４（図６）で実行される処理動作を示す。

【０５６５】 図５４において、ステップＳ１３００、Ｓ１３０２、Ｓ１３０４及びＳ１３０
６で実行される処理は、第７実施例のステップＳ３０、Ｓ３２、Ｓ３４及びＳ３
６で実行される処理とそれぞれ同じであるので、ここでは繰り返さない。

【０５６６】 しかし、第７実施例とは異なり、被写体オブジェクト４２００の周囲のクラス
タ３１００から３１１０の相対位置はわかっていないので、所定の格納された校
正パターンに対する入力画像の位置及び向きを計算するための処理は行なわれな
い。代わりに、以下に説明するように、相互に対する入力画像の位置及び向きを
計算するための処理が行なわれる。

【０５６７】 具体的には、ステップＳ１３０８において、処理装置２は、処理すべき別の入
力画像が存在するか否かを決定し、以上説明したように各入力画像を処理し終わ
るまでステップＳ１３００からＳ１３０６が繰り返される。従って、この処理の
終了後（すなわち、ステップＳ１３０８において、処理すべき更なる入力画像が
残っていないと決定されるとき）、入力画像中で見えるクラスタ３１００から３
１１０からの各特徴はラベル付けされ、入力画像中の位置の決定が終了する。従
って、ラベル付けされた特徴は、相互に対応する異なる入力画像中の特徴、すな
わち、異なる入力画像間で整合する特徴を定義する。これは、入力画像中の特徴
を定義することにより、この特徴と校正パターン中の特徴との１対１の対応が定
義されるからである。その結果、異なる入力画像中の同じラベルを有する特徴が
校正パターン中の同じ特徴に対応するので、これらの特徴は整合する特徴となる
。

【０５６８】 ステップＳ１３１０において、カメラ計算器８０は、ステップＳ１３０６で入
力画像中の整合する特徴として識別された特徴を使用して、各入力画像に対して
カメラの相対位置及び向きを計算するための処理を実行する。

【０５６９】 一度でも入力画像中の整合する特徴が検出された場合の相対撮影位置及び向き
の計算に関しては、多くの技術が知られている。例えば、ＥＰ−Ａ−０８９８２
４５及びＥＰ−Ａ−０９０１１０５に適切な処理が記載されている。

【０５７０】 従って要約すると、校正オブジェクトは、複数の断片から構成され、各断片に
は、特徴のクラスタが乗っている。前述の各実施例のように、特徴のクラスタは
、被写体オブジェクト４２００の周囲に設けられる。クラスタの特徴の特性を利
用して、クラスタの一部である（且つ校正パターンの一部である）特徴を被写体
オブジェクトの一部である特徴とを区別すると共に、特徴を一意的に識別するこ
とができる。しかし、クラスタの相対位置がわかっていないため、前述の実施例
のように、既知の格納された校正パターンに対する入力画像の撮影位置及び向き
を計算するための処理は行なわれない。代わりに、入力画像を処理することで相
互に対する撮影位置及び向きが計算される。

【０５７１】 図５３に示した上述の例では、第７実施例における校正パターンからの特徴の
クラスタが説明されている。しかし、その他の実施例のいずれかにおける校正パ
ターンからの特徴のクラスタを使用しても良い。クラスタ内の特徴にラベル付け
するために所定の点を決定することが必要な実施例では、各クラスタが所定の点
に対して所望の向きになるように、被写体オブジェクトの周囲にクラスタが印刷
された別個のシート紙をユーザが配置する必要がある。すなわち、一例として第
６実施例を挙げると、図３１に示す校正パターンでは、１５枚のシート紙が印刷
され、各シート紙には、クラスタ３０００から３０２８のうちの１つがそれぞれ
乗っている。シート紙は、各クラスタ中の円の中心を通る直線が所定の点（図３
１の３０５０）を通るように、被写体オブジェクトの周囲に配置される。所定の
点は、シートが配置される面にマーク付けすることができ、それにより、ユーザ
はマーク付けされた点に合わせて各クラスタを正しく整列させることができる。
検出されたクラスタに基づいて入力画像中のクラスタの位置を予測するための処
理が行なわれる実施例（例えば、第１、第２及び第３実施例）では、ユーザは、
印刷されたシートを相互に対して特定の許容差内の所定の位置にくるように配置
しなければならない。

【０５７２】 図５３を参照して上述した例では、特徴の各クラスタは、各シート紙に印刷さ
れる。しかし、校正パターン中の各特徴は、別々に設けられても良く、別個の特
徴を位置決めすることで校正パターンを形成することができる。例えば、各特徴
は、別のシート紙に印刷されても良いし、あるいは、厚紙又はその他の適切な材
料から成る別個のディスク（又はその他の形状）が設けられても良い。各ディス
クは、校正パターン中の特徴として作用することができる。

【０５７３】 以上の全ての実施例では、記録媒体に写真マットを印刷したり、あるいは、表
示パネル１０に写真マットを表示したりするのではなく、床又はオブジェクトを
配置する場などの面上にマーク付け（塗布など）、投射、あるいは、その他の方
法で写真マットの特徴を表現しても良い。

【０５７４】 表示パネル１０は、写真マットのパターンを表示する任意の形態の表示装置を
具備することができる。例えば、表示パネル１０は、モニタディスプレイ４を具
備しても良く、このモニタ４は、オブジェクトが写真マット上に配置される場合
にディスプレイが水平になるように回転させたり、ディスプレイがほぼ垂直面に
位置するようにオブジェクトの背後に配置することができる。

【０５７５】 上述の各実施例では、オブジェクト４００と共に撮影される校正オブジェクト
は、２次元写真マット３４の形態を有する。しかし、写真マット３４の代わりに
、３次元校正オブジェクトが使用されても良い。例えば、マット発生器３０は、
別個のシートに特徴のパターンを印刷するようにプリンタ８を制御しても良く、
シートは、折りたたんで立方体などの３次元オブジェクトを形成しても、あるい
は、この３次元オブジェクトに貼付しても良い。

【０５７６】 図５２ａ及び５２ｂは、第５実施例における特徴のパターンが３次元校正オブ
ジェクトに適用される例を示す。

【０５７７】 具体的には、図５２ａにおいて、マット発生器３０は、プリンタ８に対して、
クラスタ１０００から１０１４から構成される特徴のパターンをシート紙２００
０に、クラスタ１０１６から構成されるパターンをシート紙２１００に、クラス
タ１０１８から構成されるパターンをシート紙２２００に、クラスタ１０２０か
ら構成されるパターンをシート紙２３００に、クラスタ１０２２から構成される
パターンをシート紙２４００に印刷させる。従って、５枚のシートが印刷され、
各シートは、特徴の少なくとも１つのクラスタを示す。シート２０００は、立方
体２５００の上面に貼付され、シート２１００、２２００、２３００及び２４０
０は、立方体２５００の側面に貼付される。立方体２５００の底面は表面３８０
上にあるので、いずれの画像においてもこの底面を見ることはできない。従って
、この底面上に特徴のパターンを設ける必要はない。

【０５７８】 従って、シート２０００から２４００を貼付した立方体２５００は、３次元校
正オブジェクトとして使用することが可能である。

【０５７９】 具体的には、図５２ｂにおいて、オブジェクト４００は、立方体２５００の上
面の、クラスタ１０００から１０１４により包囲されたシート２０００の空いた
中央領域に配置される。

【０５８０】 上述の各実施例のように、立方体２５００は、カメラ４１０に対して移動／回
転させることにより、オブジェクト４００の画像を様々に異なる位置及び向きで
記録することができる。

【０５８１】 ３次元校正オブジェクトを使用することによって、オブジェクト４００が位置
する平面以外の平面に特徴を設けることができる。従って、これらの平面におけ
る特徴の可視性が向上する可能性があり、撮影位置及び向きを計算するのに使用
する１対１の対応が増加し、計算された位置及び向きの精度が向上する。

【０５８２】 オブジェクト４００は、校正オブジェクト上に配置する必要はなく、その代わ
りに、オブジェクトの横に配置されても良い。画像は、オブジェクト４００及び
校正オブジェクトの少なくとも一部が各画像中で見えるように記録されても良い
。

【０５８３】 上述の各実施例では、処理装置２に入力される画像は、オブジェクト４００を
乗せた写真マット３４（又は立方体２５００）をカメラ４１０に対して移動させ
ることによって記録される。しかし、代わりに、カメラ４１０を写真マット３４
（又は立方体２５００）及びオブジェクト４００に対して移動させても、あるい
は、カメラ４１０及びオブジェクト４００を乗せた写真マット３４（又は立方体
２５００）の双方を移動させても良い。

【０５８４】 上述の各実施例では、ステップＳ１２（図６）において、カメラ４１０の固有
パラメータを定義するユーザによるデータ入力が格納される。しかし、代わりに
、固有のカメラパラメータの一部又は全部に対して、デフォルト値を想定しても
、ハートレイ（Hartley）の「非構成ビューからのユークリッド再構成（Euclide
an Reconstruction from Uncalibrated Views）」（Applications of Invarianc
e in Computer Vision, Mundy, Zisserman and Forsyth eds、２３７〜２５６ペ
ージ、Azores１９９３年）に記載されているような従来の方法で固有のパラメー
タ値を計算するための処理を実行しても良い。

【０５８５】 上述のステップＳ５６及びステップＳ５８（図８）において、特徴検出器５０
は、画素の各グループ中の画素数を格納し、各グループの重心を計算／格納する
。しかし、この処理は、各グループの画素数の連続的な合計を画素の「ｘ」座標
及び「ｙ」座標と共に計算し続けることによって、ステップＳ５２の一部として
実行されても良い。

【０５８６】 上述のステップＳ８２及びステップＳ９８（図９）において、入力画像中の組
の３つの特徴の各々の最長スパン距離内に位置する特徴が処理されて、４つの特
徴の組を形成する試みが行なわれる。しかし、３つの特徴の各々からの最長スパ
ン距離内に位置する特徴のみを考慮する代わりに、ステップＳ８２が省略され、
ステップＳ８６からＳ９８において、入力画像中の全ての特徴が、ステップＳ８
０が実行された後も残存する組の３つの特徴への追加のために考慮されても良い
。

【０５８７】 上述の各実施例では、オブジェクト４００に関連する入力画像からの画像デー
タは、図１９を参照して説明したような写真マット３４及び背景に関連する画像
データから分離される。しかし、その他の従来の分割方法が代わりに使用されて
も良い。例えば、写真マット３４及び背景の色を表現する単一のＲＧＢ値が格納
され、入力画像中の各画素が処理されてＲＧＢ背景値とＲＧＢ画素値との間のＲ
ＧＢ空間中のユークリッド距離が指定の閾値より短いか否かが決定される分割方
法が使用されても良い。

【０５８８】 上述の各実施例では、カメラ４１０の位置及び向きが入力画像ごとに決定され
た後、オブジェクト４００の３Ｄコンピュータモデルを生成するための処理が実
行される。しかし、カメラの位置及び向きは、様々な用途に使用しても良い。例
えば、計算されたカメラ位置及び向きを使用して合成オブジェクトをビデオシー
ケンスに加えても良い。カメラの位置及び向きは、合成オブジェクトの位置及び
向きを登録するのに必要とされる。

【０５８９】 上述の各実施例では、処理装置２は、インターネットなどの通信リンクを介し
てプリンタ８又は表示パネル１０に接続されても良く、カメラ４１０により記録
される画像データは、通信リンクを介して処理装置２に送信される。

【０５９０】 上述の各実施例では、処理装置２の構成要素は、カメラ４１０又はプリンタ８
に設けられても良い。

【０５９１】 上述の各実施例では、マット発生器３０は、処理装置２のその他の構成要素か
ら独立した装置として設けられても良い。例えば、マット発生器３０は、カメラ
４１０に設けられても、あるいは、プリンタ８に設けられても良い。マット発生
器３０により印刷又は表示されるマットを定義するデータが処理装置２に入力さ
れる。

【０５９２】 上述の各実施例では、被写体オブジェクト４００及び校正オブジェクト３４の
画像は、可視光を使用して記録され、処理は可視光のデータ上で行なわれる。し
かし、赤外線又は紫外線などの他の波長の光が使用されても良い。

【０５９３】 上述の各実施例では、校正オブジェクト３４を定義するデータが、記憶装置上
の画素データとしてユーザに提供されても、あるいは、印刷のために信号によっ
て搬送されても良い。

【０５９４】 上述の各実施例では、ステップＳ１６からＳ２０において、被写体オブジェク
トの３Ｄコンピュータモデルを定義するデータを生成するための処理が実行され
、ステップＳ２２において、３Ｄコンピュータモデルの画像が表示される。しか
し、それに加えて、あるいは、その代わりに、ステップＳ１４で計算された撮影
位置及び向きを使用して、製造機器が被写体オブジェクトの物理モデルを製造す
るのを制御しても良い。例えば、材料を適切な寸法に切断して被写体オブジェク
トをモデリングするように切断装置を制御するためのデータが生成されても良い
。

【０５９５】 以上説明した実施例においては、プログラミング命令により定義される処理ル
ーチンを使用して、コンピュータにより処理を実行していた。しかし、処理の一
部又は全てをハードウェアを使用して実行することも可能であろう。

【図面の簡単な説明】

【図１】 本発明の第１実施例の構成要素を、プログラミング命令によりプログラムされ
たときに処理装置の構成要素が構成されるものと考えられる概念上の機能処理ユ
ニットと共に概略的に示す図である。

【図２】 写真マットを生成するために図１の処理装置により実行される処理動作を示す
図である。

【図３】 第１実施例における写真マット上のパターンを示す図である。

【図４ａ】，

【図４ｂ】 図４ａ及び図４ｂは、写真マット上のオブジェクトの画像の記録を示す図であ
る。

【図５】 図５ａ、図５ｂ、図５ｃ及び図５ｄは、図１の処理装置に入力される写真マッ
ト上のオブジェクトの画像を示す図である。

【図６】 入力データを処理するために図１の処理装置により実行される処理動作を示す
図である。

【図７】 図６のステップＳ１４で実行される処理動作を示す図である。

【図８】 第１実施例において図７のステップＳ３２で実行される処理動作を示す図であ
る。

【図９ａ】，

【図９ｂ】，

【図９ｃ】，

【図９ｄ】 図９は、第１実施例において図７のステップＳ３４で実行される処理動作を示
す図である。

【図１０ａ】，

【図１０ｂ】，

【図１０ｃ】，

【図１０ｄ】，

【図１０ｅ】，

【図１０ｆ】 図１０ａ、図１０ｂ、図１０ｃ、図１０ｄ、図１０ｅ及び図１０ｆは、図９の
ステップＳ７４からＳ８２で実行される処理を示す図である。

【図１１】 図９のステップＳ１１６からＳ１２０で実行される処理を示す図である。

【図１２】 第１実施例において図７のステップＳ３６で実行される処理動作を示す図であ
る。

【図１３】 図１２のステップＳ１４０で実行される処理動作を示す図である。

【図１４ａ】，

【図１４ｂ】 図１４ａ及び図１４ｂは、図１３のステップＳ１６４及びＳ１６６で実行され
る処理を示す図である。

【図１５】 図１２のステップＳ１４２で実行される処理動作を示す図である。

【図１６ａ】，

【図１６ｂ】，

【図１６ｃ】 図１６は、図１２のステップＳ１４６で実行される処理動作を示す図である。

【図１７】 図１６のステップＳ２０８及びＳ２２６で実行される処理を示す図である。

【図１８ａ】，

【図１８ｂ】 図１８は、第１実施例において図７のステップＳ３８で実行される処理動作を
示す図である。

【図１９ａ】，

【図１９ｂ】，

【図１９ｃ】 図１９は、図６のステップＳ１６で実行される処理動作を示す図である。

【図２０】 第２実施例における写真マット上のパターンを示す図である。

【図２１】 第２実施例において図７のステップＳ３６で実行される処理動作を示す図であ
る。

【図２２ａ】，

【図２２ｂ】，

【図２２ｃ】 図２２は、図２１のステップＳ４０６で実行される処理動作を示す図である。

【図２３】 第３実施例における写真マット上のパターンを示す図である。

【図２４】 第３実施例において図７のステップＳ３２で実行される処理動作を示す図であ
る。

【図２５ａ】，

【図２５ｂ】 図２５は、第３実施例において図７のステップＳ３６で実行される処理動作を
示す図である。

【図２６】 図２５のステップＳ５３６で実行される処理動作を示す図である。

【図２７】 第４実施例における写真マット上のパターンを示す図である。

【図２８ａ】，

【図２８ｂ】 図２８は、第４実施例において図７のステップＳ３６で実行される処理動作を
示す図である。

【図２９】 第５実施例における写真マット上のパターンを示す図である。

【図３０】 第５実施例において図７のステップＳ３６で実行される処理動作を示す図であ
る。

【図３１】 第６実施例における写真マット上のパターンを示す図である。

【図３２ａ】，

【図３２ｂ】 図３２は、第６実施例において図７のステップＳ３４で実行される処理動作を
示す図である。

【図３３ａ】 図３２のステップＳ８０４で実行される処理を示す図である。

【図３３ｂ】 図３２のステップＳ８０８で複比を計算するのに使用される各特徴の中心間の
距離を示す図である。

【図３４ａ】，

【図３４ｂ】 図３４は、第６実施例において図３２のステップＳ８０４で実行される処理動
作を示す図である。

【図３５ａ】，

【図３５ｂ】 図３５は、第６実施例の図７のステップＳ３６で実行される処理動作を示す図
である。

【図３６】 第７実施例における写真マット上のパターンを示す図である。

【図３７】 第８実施例における写真マット上のパターンを示す図である。

【図３８ａ】，

【図３８ｂ】 図３８は、第８実施例の図７のステップＳ３２及びＳ３４で実行される処理動
作を示す図である。

【図３９】 第８実施例のステップＳ３６で実行される処理動作を示す図である。

【図４０】 第９実施例における写真マット上のパターンを示す図である。

【図４１ａ】，

【図４１ｂ】 図４１は、第９実施例の図７のステップＳ３２及びＳ３４で実行される処理動
作を示す図である。

【図４２】 第９実施例の図７のステップＳ３６で実行される処理動作を示す図である。

【図４３】 第１０実施例における写真マット上のパターンを示す図である。

【図４４ａ】，

【図４４ｂ】 図４４は、第１０実施例の図７のステップＳ３６及びＳ３８で実行される処理
動作を示す図である。

【図４５】 第１１実施例における写真マット上のパターンを示す図である。

【図４６ａ】，

【図４６ｂ】 図４６は、第１１実施例の図７のステップＳ３４で実行される処理動作を示す
図である。

【図４７ａ】，

【図４７ｂ】 図４７ａ及び図４７ｂは、図４６のステップＳ１２００及びＳ１２０２で実行
される処理を示す図である。

【図４８】 第１１実施例の図７のステップＳ３６で実行される処理動作を示す図である。

【図４９】 第１の代替実施例における写真マット上のパターンを示す図である。

【図５０】 第２の代替実施例における写真マット上のパターンを示す図である。

【図５１】 パターンを別個の複数枚のシート上に印刷し、これらのシートを組み合わせて
写真マットを形成する方法を示す図である。

【図５２ａ】，

【図５２ｂ】 図５２ａ及び図５２ｂは、複数のパターンを別個の複数枚のシート上に印刷し
、立方体上でこれらのシートを組み合わせて３次元校正オブジェクトを形成する
方法を示す図である。

【図５３】 、一実施例において校正パターン中の特徴のクラスタを別個の複数枚のシート
上に印刷し、これらのシートを被写体オブジェクトの周囲のユーザ選択位置及び
ユーザ選択向きに配置する方法を示す図である。

【図５４】 図５３に示すような構成において被写体オブジェクト及び校正オブジェクトの
画像を処理し、その撮影位置及び向きを計算するために、一実施例で実行される
処理動作を示す図である。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/60 Ｇ０６Ｔ 7/60 １５０Ｐ 17/40 17/40 Ａ (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ，ＴＲ)，ＯＡ(ＢＦ ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ， ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，Ｇ Ｍ，ＫＥ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ， ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＧ，ＡＬ，ＡＭ， ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，Ｂ Ｚ，ＣＡ，ＣＨ，ＣＮ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ ，ＤＭ，ＤＺ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ， ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，Ｊ Ｐ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＡ，ＭＤ，ＭＧ，ＭＫ， ＭＮ，ＭＷ，ＭＸ，ＭＺ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，Ｒ Ｏ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ，ＵＳ，ＵＺ， ＶＮ，ＹＵ，ＺＡ，ＺＷ (72)発明者 カーク， リチャード， アンソニー イギリス国 アールジー12 ２エックスエ イチ， バークシャー， ブラックネル， ロンドン ロード， ザ ブラカンズ キヤノン リサーチ センター ヨーロッ パ リミテッド 内 (72)発明者 ボームバーグ， アダム， マイケル イギリス国 アールジー12 ２エックスエ イチ， バークシャー， ブラックネル， ロンドン ロード， ザ ブラカンズ キヤノン リサーチ センター ヨーロッ パ リミテッド 内 (72)発明者 リオンズ， アレキサンダー， ラルフ イギリス国 アールジー12 ２エックスエ イチ， バークシャー， ブラックネル， ロンドン ロード， ザ ブラカンズ キヤノン リサーチ センター ヨーロッ パ リミテッド 内 (72)発明者 ダビソン， アラン， ジョゼフ イギリス国 アールジー12 ２エックスエ イチ， バークシャー， ブラックネル， ロンドン ロード， ザ ブラカンズ キヤノン リサーチ センター ヨーロッ パ リミテッド 内 Ｆターム(参考） 2F065 AA02 AA37 BB05 FF04 FF61 JJ03 MM04 PP13 PP18 QQ31 RR03 UU05 5B050 BA06 BA07 DA04 DA07 EA07 EA09 EA26 EA28 FA03 FA05 5B057 CA01 CA08 CA13 CA16 DA07 DA12 DB03 DB06 DB09 DC08 DC09 DC14 5L096 AA02 AA09 CA04 DA02 FA67 FA69 GA34 JA11 JA18 MA07

Claims (89)

【特許請求の範囲】
1. 【請求項１】 異なる位置及び向きから被写体オブジェクトの画像を記録し
   、記録された画像データを処理して、画像が記録された位置及び向きを決定する
   画像処理システムにおいて、 あるクラスタ中の特徴が、クラスタ中の特徴の色、形状、大きさ、位置、及び
   結合性のうちの少なくとも１つに基づく少なくとも第１及び第２のクラスタ関係
   を満たすように、特徴のうちの少なくとも一部がクラスタへとグループ化され且
   つ校正オブジェクト上の各位置を各々が定義する複数の離散した特徴を備えたパ
   ターンを有し、被写体オブジェクトと共に撮影する校正オブジェクトと、 各画像中の前記被写体オブジェクトと前記校正オブジェクトとの両方の少なく
   とも一部を示す画像を記録する撮影手段と、 該撮影手段によって記録された画像データを処理して、画像が記録されたとき
   の前記撮影手段の位置及び向きを決定する画像データ処理手段とを具備し、前記
   画像データ処理手段は、 画像を定義する画像データを処理して、少なくとも第１のクラスタ関係に基づ
   いて前記校正オブジェクト上の特徴から成るクラスタを表す可能性のある画像中
   の特徴から成る候補クラスタを検出する手段と、 候補クラスタを処理して、どの候補クラスタが少なくとも第２のクラスタ関係
   を満たす特徴を含んでいるかを決定することによって、全ての特徴が前記校正オ
   ブジェクト上の特徴を表す画像中のクラスタを前記校正オブジェクト上にはない
   特徴を表す画像中の少なくとも１つの特徴を含むクラスタと区別する手段と、 画像中の少なくとも一部の点と前記校正オブジェクト自体上の点との１対１の
   対応を割り当てる手段と、 １対１の対応のうちの少なくとも一部に基づいて画像が記録された位置及び向
   きを計算する手段とを具備するシステム。
2. 【請求項２】 あるクラスタ中の特徴が、クラスタ中の特徴の色、形状、大
   きさ、位置、及び結合性のうちの少なくとも１つに基づく少なくとも第１及び第
   ２のクラスタ関係を満たすように、特徴のうちの少なくとも一部がクラスタへと
   グループ化され且つ校正オブジェクト上の各位置を各々が定義する複数の離散し
   た特徴を備えたパターンを有する校正オブジェクトと被写体オブジェクトとの少
   なくとも一部の画像を定義する、撮影手段によって記録された画像データを処理
   して、画像が記録されたときの前記撮影手段の位置及び向きを計算する画像処理
   装置において、 画像を定義する画像データを処理して、少なくとも第１のクラスタ関係に基づ
   いて前記校正オブジェクト上の特徴から成るクラスタを表す可能性のある画像中
   の特徴から成る候補クラスタを検出する手段と、 候補クラスタを処理して、どの候補クラスタが少なくとも第２のクラスタ関係
   を満たす特徴を含んでいるかを決定することによって、全ての特徴が前記校正オ
   ブジェクト上の特徴を表す画像中のクラスタを前記校正オブジェクト上にはない
   特徴を表す画像中の少なくとも１つの特徴を含むクラスタと区別する手段と、 画像中の少なくとも一部の点と前記校正オブジェクト自体上の点との１対１の
   対応を割り当てる手段と、 １対１の対応のうちの少なくとも一部に基づいて画像が記録された位置及び向
   きを計算する手段とを具備する装置。
3. 【請求項３】 前記画像データを処理して候補クラスタを検出する手段は、 画像データを処理して、前記校正オブジェクト上の特徴を表す可能性のある画
   像中の特徴を定義する画素のグループを検出する画素検出手段と、 該画素検出手段によって検出された特徴のうちの少なくとも一部を候補クラス
   タへとグループ化するクラスタ検出手段とを具備する請求項２記載の装置。
4. 【請求項４】 前記画素検出手段は、 所定の色の画素を検出する手段と、 画像中で結合された検出画素を備えたグループを検出する手段とを具備する請
   求項３記載の装置。
5. 【請求項５】 前記１対１の対応を割り当てる手段は、前記校正オブジェク
   ト上のクラスタを表すと決定された画像中のクラスタの少なくとも一部の特徴と
   前記校正オブジェクト自体上の特徴との間の１対１の対応を割り当てる手段を具
   備する請求項２から４のいずれか１項に記載の装置。
6. 【請求項６】 前記校正オブジェクト上の特徴又はクラスタのうちの少なく
   とも一部は、他の特徴又はクラスタと視覚的に区別することができ、前記１対１
   の対応を割り当てる手段は、特徴的な特性を有する画像中の特徴又はクラスタを
   使用して処理を実行し１対１の対応を割り当てる手段を具備する請求項２から５
   のいずれか１項に記載の装置。
7. 【請求項７】 前記校正オブジェクト上のクラスタのうちの少なくとも一部
   における全ての特徴はほぼ同一であり、前記１対１の対応を割り当てる手段は、
   特徴的な特性を有する特徴又はクラスタに応じて前記ほぼ同一の特徴に対して１
   対１の対応を割り当てるように構成される請求項６記載の装置。
8. 【請求項８】 前記１対１の対応を割り当てる手段は、前記校正オブジェク
   ト上の基準点の画像中の位置に対する画像中の特徴の位置に応じて少なくとも一
   部の１対１の対応を割り当てるように構成される請求項２から６のいずれか１項
   に記載の装置。
9. 【請求項９】 前記１対１の対応を割り当てる手段は、 前記校正オブジェクト上のクラスタを表すと決定された画像中のあるクラスタ
   と前記校正オブジェクト自体上のクラスタとの１対１のクラスタ対応を決定し、 １対１のクラスタ対応を使用して、あるクラスタの画像中の特徴と前記校正オ
   ブジェクト上の特徴との１対１の特徴対応を決定することによって、少なくとも
   一部の１対１の対応を割り当てるように構成される請求項２から８のいずれか１
   項に記載の装置。
10. 【請求項１０】 前記１対１の対応を割り当てる手段は、所定の特徴から成
    るクラスタ内の相対的な位置に応じて１対１のクラスタ対応を決定するように構
    成される請求項９記載の装置。
11. 【請求項１１】 前記１対１の対応を割り当てる手段は、前記校正オブジェ
    クト上の基準点の画像中の位置に関連した所定の特徴から成るクラスタ内の位置
    に応じて１対１のクラスタ対応を決定するように構成される請求項１０記載の装
    置。
12. 【請求項１２】 前記校正オブジェクト上のパターンは、各直線上に配置さ
    れた同じ所定数の特徴を含む複数のクラスタを備え、前記候補クラスタを検出す
    る手段は、画像データを処理して、画像中の直線上に位置する所定数の特徴を備
    えたクラスタを検出するように構成される請求項２から６及び８から１１のいず
    れか１項に記載の装置。
13. 【請求項１３】 前記校正オブジェクト上のクラスタ中の特徴は、それぞれ
    の直線に沿って所定の相対的な間隔で離間して配置されており、前記候補クラス
    タを処理する手段は、候補クラスタ中の特徴が画像中の相対的な間隔を有してい
    るか否かを決定するように構成される請求項１２記載の装置。
14. 【請求項１４】 前記１対１の対応を割り当てる手段は、クラスタ中の特徴
    の相対的な大きさに応じて１対１の対応を割り当てるように構成される請求項１
    ２又は１３に記載の装置。
15. 【請求項１５】 前記校正オブジェクトは、パターンの少なくとも１つの特
    徴をそれぞれの上に有する複数の部分を備える請求項１から１４のいずれか１項
    に記載の装置。
16. 【請求項１６】 前記校正オブジェクトの各部分は、その上に特徴から成る
    少なくとも１つのクラスタを有する請求項１５記載の装置。
17. 【請求項１７】 前記画像が記録された位置及び向きを計算する手段は、前
    記校正オブジェクト上のパターンの所定の構成に対する位置及び向きを計算する
    ように構成される請求項１から１６のいずれか１項に記載の装置。
18. 【請求項１８】 前記画像が記録された位置及び向きを計算する手段は、前
    記被写体オブジェクトと前記校正オブジェクトとの更なる画像が記録された位置
    及び向きに対する位置及び向きを計算するように構成される請求項１から１６の
    いずれか１項に記載の装置。
19. 【請求項１９】 前記画像が記録された位置及び向きを計算する手段は、画
    像と更なる画像中の整合する特徴を決定するために１対１の対応を使用し、且つ
    画像と更なる画像とが記録された相対的な位置及び向きを計算するために整合す
    る特徴を使用して、更なる画像の位置及び向きに対する位置及び向きを計算する
    ように構成される請求項１８記載の装置。
20. 【請求項２０】 パターン中の異なる位置をそれぞれ有し、少なくとも一部
    が視覚的にほぼ同一であり、少なくとも一部が少なくとも２つの特性に基づいて
    クラスタへとグループ化される複数の特徴を備えた校正パターンと被写体オブジ
    ェクトとの少なくとも一部の画像を定義する画像データを処理して、前記オブジ
    ェクトが撮影されたときの前記撮影手段の位置及び向きを計算する画像処理装置
    において、 画像データを処理して、各々に含まれる特徴が第１の特性を有する画像データ
    中の特徴から成る候補クラスタを生成する手段と、 どの候補クラスタが第２の特性をも有する特徴を備えているかを決定する手段
    と、 第１及び第２の特性の両方を有する特徴を備えると決定された画像中のクラス
    タを使用して、画像中の点と校正パターン中の点との複数の１対１の対応を決定
    する手段と、 決定された１対１の対応のうちの少なくとも一部を使用して、オブジェクトが
    撮影されたときの前記撮影手段の位置及び向きを決定する手段とを具備する装置
    。
21. 【請求項２１】 異なる位置及び向きから被写体オブジェクトの画像を記録
    し、記録された画像データを処理して、画像が記録された位置及び向きを決定す
    る方法であって、 あるクラスタ中の特徴が、クラスタ中の特徴の色、形状、大きさ、位置、及び
    結合性のうちの少なくとも１つに基づく少なくとも第１及び第２のクラスタ関係
    を満たすように、特徴のうちの少なくとも一部がクラスタへとグループ化され且
    つパターン中の各位置を各々が定義する複数の離散した特徴を備えた各画像中の
    校正パターンと被写体オブジェクトとの両方の少なくとも一部を示す画像を記録
    し、 ある画像に対する画像データを処理して、画像が記録された位置及び向きを決
    定することとから成り、 前記画像は、 画像を定義する画像データを処理して、少なくとも第１のクラスタ関係に基づ
    いて校正パターン中の特徴から成るクラスタを表す可能性のある画像中の特徴か
    ら成る候補クラスタを検出し、 候補クラスタを処理して、どの候補クラスタが少なくとも第２のクラスタ関係
    を満たす特徴を含んでいるかを決定することによって、全ての特徴が校正パター
    ン中の特徴を表す画像中のクラスタを校正パターン中にない特徴を表す画像中の
    少なくとも１つの特徴を含むクラスタと区別し、 画像中の少なくとも一部の点と校正パターン自体中の点との１対１の対応を割
    り当て、 １対１の対応のうちの少なくとも一部に基づいて画像が記録された位置及び向
    きを計算することによって記録された方法。
22. 【請求項２２】 あるクラスタ中の特徴が、クラスタ中の特徴の色、形状、
    大きさ、位置、及び結合性のうちの少なくとも１つに基づく少なくとも第１及び
    第２のクラスタ関係を満たすように、特徴のうちの少なくとも一部がクラスタへ
    とグループ化され且つパターン中の各位置を各々が定義する複数の離散した特徴
    を備えた校正パターンと被写体オブジェクトとの少なくとも一部の画像を定義す
    る、撮影手段によって記録された画像データを処理して、画像が記録されたとき
    の前記撮影手段の位置及び向きを計算する画像処理方法であって、 画像を定義する画像データを処理して、少なくとも第１のクラスタ関係に基づ
    いて校正パターン中の特徴から成るクラスタを表す可能性のある画像中の特徴か
    ら成る候補クラスタを検出し、 候補クラスタを処理して、どの候補クラスタが少なくとも第２のクラスタ関係
    を満たす特徴を含んでいるかを決定することによって、全ての特徴が校正パター
    ン中の特徴を表す画像中のクラスタを校正パターン中にない特徴を表す画像中の
    少なくとも１つの特徴を含むクラスタと区別し、 画像中の少なくとも一部の点と校正パターン自体中の点との１対１の対応を割
    り当て、 １対１の対応のうちの少なくとも一部に基づいて画像が記録された位置及び向
    きを計算することから成る方法。
23. 【請求項２３】 前記画像データを処理して候補クラスタを検出するステッ
    プは、 画像データを処理して、校正パターン中の特徴を表す可能性のある画像中の特
    徴を定義する画素のグループを検出し、 前記画素のグループを検出する過程で検出された特徴の少なくとも一部を候補
    クラスタへとグループ化することから成る請求項２２記載の方法。
24. 【請求項２４】 前記画素のグループを検出するステップは、 所定の色の画素を検出し、 画像中で結合された検出画素を備えたグループを検出することから成る請求項
    ２３記載の方法。
25. 【請求項２５】 前記１対１の対応を割り当てるステップは、校正パターン
    中のクラスタを表すと決定された画像中のクラスタに含まれる少なくとも一部の
    特徴と、校正パターン自体中の特徴との間の１対１の対応を割り当てることから
    成る請求項２２から２４のいずれか１項に記載の方法。
26. 【請求項２６】 校正パターン中の特徴又はクラスタのうちの少なくとも一
    部は、他の特徴又はクラスタと視覚的に区別することができ、前記１対１の対応
    を割り当てるステップは、特徴的な特性を有する画像中の特徴又はクラスタを使
    用して処理を実行し１対１の対応を割り当てることから成る請求項２２から２５
    のいずれか１項に記載の方法。
27. 【請求項２７】 校正パターン中のクラスタのうちの少なくとも一部におけ
    る全ての特徴はほぼ同一であり、前記１対１の対応を割り当てるステップにおい
    て、特徴的な特性を有する特徴又はクラスタに応じて、前記ほぼ同一の特徴に対
    して１対１の対応を割り当てる請求項２６記載の方法。
28. 【請求項２８】 前記１対１の対応を割り当てるステップにおいて、校正パ
    ターン中の基準点の画像中の位置に対する画像中の特徴の位置に応じて、少なく
    とも一部の１対１の対応を割り当てる請求項２２から２６のいずれか１項に記載
    の方法。
29. 【請求項２９】 前記１対１の対応を割り当てるステップにおいて、 校正パターン中のクラスタを表すと決定された画像中のあるクラスタと校正パ
    ターン自体中のクラスタとの１対１のクラスタ対応を決定し、 １対１のクラスタ対応を使用して、あるクラスタの画像中の特徴と校正パター
    ン中の特徴との１対１の特徴対応を決定することによって、少なくとも一部の１
    対１の対応を割り当てる請求項２２から２８のいずれか１項に記載の方法。
30. 【請求項３０】 前記１対１の対応を割り当てるステップにおいて、所定の
    特徴から成るクラスタ内の相対的な位置に応じて１対１のクラスタ対応を決定す
    る請求項２９記載の方法。
31. 【請求項３１】 前記１対１の対応を割り当てるステップにおいて、校正パ
    ターン中の基準点の画像中の位置に関連した所定の特徴から成るクラスタ内の位
    置に応じて１対１のクラスタ対応を決定する請求項３０記載の方法。
32. 【請求項３２】 校正パターンは、各直線上に配置された同じ所定数の特徴
    を含む複数のクラスタを備え、前記候補クラスタを検出するステップにおいて、
    画像データを処理して、画像中の直線上に位置する所定数の特徴を備えたクラス
    タを検出する請求項２２から２６及び２８から３１のいずれか１項に記載の方法
    。
33. 【請求項３３】 校正パターンにおけるクラスタ中の特徴は、それぞれの直
    線に沿って所定の相対的な間隔で離間して配置されており、前記候補クラスタを
    処理するステップにおいて、処理を実行して、候補クラスタ中の特徴が画像中の
    相対的な間隔を有しているか否かを決定する請求項３２記載の方法。
34. 【請求項３４】 前記１対１の対応を割り当てるステップにおいて、クラス
    タ中の特徴の相対的な大きさに応じて１対１の対応を割り当てる請求項３２又は
    ３３記載の方法。
35. 【請求項３５】 校正パターンは、パターンの少なくとも１つの特徴をそれ
    ぞれの上に有する複数の別個のオブジェクト上に設けられる請求項２１から３４
    のいずれか１項に記載の方法。
36. 【請求項３６】 各オブジェクトは、その上に特徴から成る少なくとも１つ
    のクラスタを有する請求項３５記載の方法。
37. 【請求項３７】 前記画像が記録された位置及び向きを計算するステップに
    おいて、校正パターンの所定の構成に対する位置及び向きを計算する請求項２１
    から３６のいずれか１項に記載の方法。
38. 【請求項３８】 前記画像が記録された位置及び向きを計算するステップに
    おいて、被写体オブジェクト及び校正パターンの更なる画像が記録された位置及
    び向きに対する位置及び向きを計算する請求項２１から３６のいずれか１項に記
    載の方法。
39. 【請求項３９】 前記画像が記録された位置及び向きを計算するステップに
    おいて、画像及び更なる画像中の整合する特徴を決定するために１対１の対応を
    使用し、且つ画像及び更なる画像が記録された相対的な位置及び向きを計算する
    ために整合する特徴を使用して、更なる画像の位置及び向きに対する位置及び向
    きを計算する請求項３８記載の方法。
40. 【請求項４０】 校正オブジェクト上の異なる位置をそれぞれ有し、少なく
    とも一部が視覚的にほぼ同一であり、少なくとも一部が少なくとも２つの特性に
    基づいてクラスタへとグループ化された複数の特徴を備えた校正オブジェクトと
    被写体オブジェクトとの少なくとも一部の画像を定義する、撮影手段によって記
    録された画像データを処理して、画像が記録されたときの前記撮影手段の位置及
    び向きを計算する画像処理方法であって、 画像データを処理して、各々に含まれる特徴が第１の特性を有する画像データ
    中の特徴から成る候補クラスタを生成し、 どの候補クラスタが第２の特性をも有する特徴を備えているかを決定し、 第１及び第２の特性の両方を有する特徴を備えると決定された画像中のクラス
    タを使用して、画像中の点と校正オブジェクト上の点との複数の１対１の対応を
    決定し、 決定された１対１の対応のうちの少なくとも一部を使用して、画像が記録され
    たときの位置及び向きを決定することから成る方法。
41. 【請求項４１】 計算された撮影手段の位置及び向きを搬送する信号を生成
    することを更に含む請求項２２から４０のいずれか１項に記載の方法。
42. 【請求項４２】 直接又は間接的に信号を記録することを更に含む請求項４
    １記載の方法。
43. 【請求項４３】 画像データを処理して、被写体オブジェクトに関連する画
    像データを背景画像データから分離することを更に含む請求項２２から４２のい
    ずれか１項に記載の方法。
44. 【請求項４４】 計算された撮影手段の位置及び向きを使用して、被写体オ
    ブジェクトの面の３Ｄコンピュータモデルを定義するデータを生成することを更
    に含む請求項２２から４３のいずれか１項に記載の方法。
45. 【請求項４５】 ３Ｄコンピュータモデルを搬送する信号を生成することを
    更に含む請求項４４記載の方法。
46. 【請求項４６】 直接又は間接的に信号を記録することを更に含む請求項４
    ５記載の方法。
47. 【請求項４７】 あるクラスタ中の特徴が、クラスタ中の特徴の色、形状、
    大きさ、位置、及び結合性のうちの少なくとも１つに基づく少なくとも第１及び
    第２のクラスタ関係を満たすように、特徴のうちの少なくとも一部がクラスタへ
    とグループ化され且つ校正オブジェクト上の各位置を各々が定義する複数の離散
    した特徴を備えたパターンを有する、請求項１記載のシステム又は請求項２１記
    載の方法で使用する校正オブジェクト。
48. 【請求項４８】 クラスタの少なくとも一部における全ての特徴はほぼ同一
    である請求項４７記載の校正オブジェクト。
49. 【請求項４９】 特徴又はクラスタの少なくとも一部は、他の特徴又はクラ
    スタと視覚的に区別することができる請求項４７又は４８記載の校正オブジェク
    ト。
50. 【請求項５０】 所定の特徴から成るクラスタ内の相対的な位置に基づいて
    、クラスタの少なくとも一部は、他のクラスタと視覚的に区別することができる
    請求項４９記載の校正オブジェクト。
51. 【請求項５１】 相対的な位置は、前記校正オブジェクト上の基準点から決
    定する請求項５０記載の校正オブジェクト。
52. 【請求項５２】 前記校正オブジェクト上のパターンは、各直線上に配置さ
    れた同じ所定数の特徴を含む複数のクラスタを備える請求項４７及び４９から５
    ０のいずれか１項に記載の校正オブジェクト。
53. 【請求項５３】 それぞれの直線に沿って均等に離間して特徴を配置する請
    求項５２記載の校正オブジェクト。
54. 【請求項５４】 それぞれの直線は共通の円の半径である請求項５２又は５
    ３記載の校正オブジェクト。
55. 【請求項５５】 クラスタの少なくとも一部における特徴は、異なる大きさ
    の特徴を備える請求項５２から５４のいずれか１項に記載の校正オブジェクト。
56. 【請求項５６】 ３次元オブジェクトとして実施された場合の請求項４７か
    ら５５のいずれか１項に記載の校正オブジェクト。
57. 【請求項５７】 写真マットとして実施された場合の請求項４７から５５の
    いずれか１項に記載の校正オブジェクト。
58. 【請求項５８】 被写体オブジェクトを置く予定の中央領域の周囲に特徴を
    配置する請求項５７記載の写真マット。
59. 【請求項５９】 パターンが印刷された記録媒体として実施された場合の請
    求項５７又は５８記載の写真マット。
60. 【請求項６０】 記録媒体の複数枚のシートにパターンを印刷する請求項５
    ９記載の写真マット。
61. 【請求項６１】 パターンを表示する表示装置として実施された場合の請求
    項５７又は５８記載の写真マット。
62. 【請求項６２】 クラスタ中の特徴の色、形状、大きさ、位置、及び結合性
    のうちの少なくとも１つに基づく少なくとも第１及び第２のクラスタ関係を定義
    する各クラスタに含まれて、クラスタ中の異なる位置を各々が定義する離散した
    特徴から成る少なくとも１つのクラスタをその上に有する複数の記録媒体を具備
    した、請求項１記載のシステム又は請求項２１記載の方法で使用する校正オブジ
    ェクト。
63. 【請求項６３】 プリンタを制御して校正パターンを印刷する装置において
    、 あるクラスタ中の特徴が、クラスタ中の特徴の色、形状、大きさ、位置、及び
    結合性のうちの少なくとも１つに基づく少なくとも第１及び第２のクラスタ関係
    を満たすように、特徴のうちの少なくとも一部がクラスタへとグループ化され且
    つ校正パターン中の各位置を各々が定義する複数の離散した特徴を備えたパター
    ンを定義するデータを格納する手段と、 信号を生成して、少なくとも１つの記録媒体にパターンを印刷するためのプリ
    ンタを制御する信号を生成する信号生成手段とを具備する装置。
64. 【請求項６４】 前記信号生成手段は、信号を生成して、受信した大きさの
    測定値に応じた大きさでパターンを印刷するべくプリンタを制御するように構成
    される請求項６３記載の装置。
65. 【請求項６５】 前記信号生成手段は、信号を生成して、複数のパターン部
    分を生成するために異なる記録媒体にパターンの異なる部分を印刷するべくプリ
    ンタを制御するように構成される請求項６３又は６４記載の装置。
66. 【請求項６６】 前記信号生成手段は、信号を生成して、あるクラスタ中の
    特徴を同一の記録媒体に印刷するように各パターン部分を印刷するべくプリンタ
    を制御するように構成される請求項６５記載の装置。
67. 【請求項６７】 プリンタの一部として実施された場合の請求項６３から６
    ６のいずれか１項に記載の装置。
68. 【請求項６８】 写真マットを生成する装置において、 あるクラスタ中の特徴が、クラスタ中の特徴の色、形状、大きさ、位置、及び
    結合性のうちの少なくとも１つに基づく少なくとも第１及び第２のクラスタ関係
    を満たすように、特徴のうちの少なくとも一部がクラスタへとグループ化され且
    つ校正パターン中の各位置を各々が定義する複数の離散した特徴を備えたパター
    ンを有する写真マットを定義するデータを格納する手段と、 信号を生成して、パターンを表示するための表示装置を制御する手段とを具備
    する装置。
69. 【請求項６９】 プリンタを制御して校正オブジェクトを印刷する方法であ
    って、 あるクラスタ中の特徴が、クラスタ中の特徴の色、形状、大きさ、位置、及び
    結合性のうちの少なくとも１つに基づく少なくとも第１及び第２のクラスタ関係
    を満たすように、特徴のうちの少なくとも一部がクラスタへとグループ化され且
    つ校正オブジェクト上の各位置を各々が定義する複数の離散した特徴を備えたパ
    ターンを定義するデータを格納し、 信号を生成して、少なくとも１つの記録媒体にパターンを印刷するようにプリ
    ンタを制御することから成る方法。
70. 【請求項７０】 信号を生成して、受信した大きさの測定値に応じた大きさ
    でパターンを印刷するようにプリンタを制御する請求項６９記載の方法。
71. 【請求項７１】 信号を生成して、それぞれのシートに複数のパターン部分
    を生成するために異なるシートにパターンの異なる部分を印刷するようにプリン
    タを制御する請求項６９又は７０記載の方法。
72. 【請求項７２】 信号を生成して、各記録媒体に特徴から成る少なくとも１
    つのクラスタを印刷するようにプリンタを制御する請求項７１記載の方法。
73. 【請求項７３】 前記方法はプリンタで実行される請求項６９から７２のい
    ずれか１項に記載の方法。
74. 【請求項７４】 写真マットを生成する方法であって、 あるクラスタ中の特徴が、クラスタ中の特徴の色、形状、大きさ、位置、及び
    結合性のうちの少なくとも１つに基づく少なくとも第１及び第２のクラスタ関係
    を満たすように、特徴のうちの少なくとも一部がクラスタへとグループ化され且
    つ校正オブジェクト上の各位置を各々が定義する複数の離散した特徴を備えたパ
    ターンを有する写真マットを定義するデータを格納し、 信号を生成して、パターンを表示するように表示装置を制御することから成る
    方法。
75. 【請求項７５】 パターン中の特徴が少なくとも２つの特性を共有するよう
    にパターン中に配置された複数の特徴を有する校正オブジェクトと被写体オブジ
    ェクトとの少なくとも一部の画像を定義する画像データを処理して、画像の位置
    及び向きを計算する方法であって、 画像データを処理して、第１の特性を有する特徴を備えたパターンを検出し、 検出されたパターンのうちどれが第２の特性をも有する特徴を備えているかを
    決定し、 第１及び第２の特性の両方を有する特徴を備えると決定された画像中のパター
    ンを使用して、画像中の点と校正オブジェクト上の点との複数の１対１の対応を
    決定し、 決定された１対１の対応のうちの少なくとも一部を使用して、画像の位置及び
    向きを決定することから成る方法。
76. 【請求項７６】 パターン中の特徴が少なくとも２つの検出可能な特性を有
    するようにパターン中に配置された複数の特徴を有する校正オブジェクト。
77. 【請求項７７】 校正オブジェクトを定義するデータを生成する方法であっ
    て、 クラスタ中の特徴が、クラスタ中の特徴の色、形状、大きさ、位置、及び結合
    性のうちの少なくとも１つに基づく少なくとも第１及び第２のクラスタ関係を満
    たすように、特徴のうちの少なくとも一部がクラスタへとグループ化され且つ各
    位置を各々が有する複数の離散した特徴を備えたパターンを定義する画素データ
    を生成し、 画素データを記憶装置に格納することから成る方法。
78. 【請求項７８】 校正パターンを定義するデータを生成する方法であって、 クラスタ中の特徴が、クラスタ中の特徴の色、形状、大きさ、位置、及び結合
    性のうちの少なくとも１つに基づく少なくとも第１及び第２のクラスタ関係を満
    たすように、特徴がクラスタへとグループ化され且つ各位置を各々が有する複数
    の離散した特徴を各々が備えた複数の画像を定義する画素データを生成し、 画素データを記憶装置に格納することから成る方法。
79. 【請求項７９】 校正オブジェクトを定義するデータを生成する方法であっ
    て、 クラスタ中の特徴が、クラスタ中の特徴の色、形状、大きさ、位置、及び結合
    性のうちの少なくとも１つに基づく少なくとも第１及び第２のクラスタ関係を満
    たすように、特徴のうちの少なくとも一部がクラスタへとグループ化され且つ各
    位置を各々が有する複数の離散した特徴を備えたパターンを定義する画素データ
    を生成し、 画素データを搬送する信号を生成することから成る方法。
80. 【請求項８０】 校正パターンを定義するデータを生成する方法であって、 クラスタ中の特徴が、クラスタ中の特徴の色、形状、大きさ、位置、及び結合
    性のうちの少なくとも１つに基づく少なくとも第１及び第２のクラスタ関係を満
    たすように、特徴がクラスタへとグループ化され且つ各位置を各々が有する複数
    の離散した特徴を各々が備えた複数の画像を定義する画素データを生成し、 画素データを搬送する信号を生成することから成る方法。
81. 【請求項８１】 クラスタ中の特徴が、クラスタ中の特徴の色、形状、大き
    さ、位置、及び結合性のうちの少なくとも１つに基づく少なくとも第１及び第２
    のクラスタ関係を満たすように、特徴のうちの少なくとも一部がクラスタへとグ
    ループ化され且つ各位置を各々が有する複数の離散した特徴を備えたパターンを
    定義するデータを格納する記憶装置。
82. 【請求項８２】 そこに格納されたデータが印刷用の画素データを備え、画
    素データがパターンの異なるそれぞれのクラスタを含む印刷用の複数の画像を定
    義する請求項８１記載の記憶装置。
83. 【請求項８３】 クラスタ中の特徴が、クラスタ中の特徴の色、形状、大き
    さ、位置、及び結合性のうちの少なくとも１つに基づく少なくとも第１及び第２
    のクラスタ関係を満たすように、特徴のうちの少なくとも一部がクラスタへとグ
    ループ化され且つ各位置を各々が有する複数の離散した特徴を備えたパターンを
    定義するデータを搬送する信号。
84. 【請求項８４】 データが印刷用の画素データを備え、画素データが、特徴
    から成る異なるそれぞれのクラスタを含む印刷用の複数の画像を定義する請求項
    ８３記載の信号。
85. 【請求項８５】 プログラム可能処理装置を請求項２２から４６、６９から
    ７５、及び７７から８０のうちの少なくとも１項に記載の方法を実行するように
    動作可能状態にさせるための命令を格納する記憶装置。
86. 【請求項８６】 プログラム可能処理装置を請求項２２から４６、６９から
    ７５、及び７７から８０のうちの少なくとも１項に記載の方法を実行するように
    動作可能状態にさせるための命令を搬送する信号。
87. 【請求項８７】 被写体オブジェクトの物理モデルを作成するための装置を
    制御するデータを生成する過程を更に含む請求項２２から４６のいずれか１項に
    記載の方法。
88. 【請求項８８】 被写体オブジェクトの物理モデルを生成する過程を更に含
    む請求項２２から４６及び８７のいずれか１項に記載の方法。
89. 【請求項８９】 複数の離散した特徴を備えた校正パターンを生成する方法
    において、各特徴がパターン中の各異なる位置を有し、且つクラスタ中の特徴が
    、クラスタ中の特徴の色、形状、大きさ、位置、及び結合性のうちの少なくとも
    １つに基づく少なくとも第１及び第２のクラスタ関係を満たすべく少なくとも一
    部の特徴が複数のクラスタへとグループ化されるように、特徴を提供することか
    ら成る方法。