JP2002157595A

JP2002157595A - 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体

Info

Publication number: JP2002157595A
Application number: JP2000353402A
Authority: JP
Inventors: Rui Ishiyama; 塁石山
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2000-11-20
Filing date: 2000-11-20
Publication date: 2002-05-31
Anticipated expiration: 2020-11-20
Also published as: US7321370B2; US20020097906A1; EP1223540A3; US7932913B2; US20080075359A1; US20080094393A1; US20080080763A1; JP4167390B2; US7710431B2; US7593019B2; EP1223540A2

Abstract

(57)【要約】【課題】位置姿勢や照明の変動の補正を高速に行い、照
合対象となる物体であるかの確認，どの物体であるかの
照合，似た物体の検索などの高速処理を可能にする。【解決手段】登録部１００は、登録物体測定手段１１０
により照合対象となる物体の３次元形状および物体表面
の反射率を測定し、照明変動テクスチャ群生成手段１２
０およびテクスチャ空間生成手段１３０によりテクスチ
ャの照明条件による変動を包含するテクスチャ空間を生
成し、記憶手段１４０に記憶する。照合部２００は、撮
影手段２１０により入力画像を撮影し、位置姿勢推定手
段２２０により３次元形状および反射率を用いて入力画
像中の物体の位置姿勢を推定し、照明補正手段２３０に
より３次元形状およびテクスチャ空間を用いて入力画像
と同位置同姿勢に物体があるときの照明変動空間を生成
し、距離計算手段２４０により照明変動空間と比較画像
との距離の評価値を計算し、照合判定手段２５０により
評価値に基づき照合判定を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像による物体の
照合を行う物体照合方法，物体照合装置，およびそのプ
ログラムを記録した記録媒体に関し、特に照合対象とな
る物体の３次元形状および物体表面の反射率や色情報な
どをあらかじめ登録しておくことにより、画像上での物
体の位置や姿勢，照明条件などの撮影条件の変動に対し
て頑強な物体照合方法，物体照合装置，およびそのプロ
グラムを記録した記録媒体に関する。以下、事前に登録
される物体を登録物体と呼び、登録物体と照合の対象と
される物体を対象物体と呼ぶ。

【０００２】

【従来の技術】物体照合技術とは、図６に示すように、
３次元空間上に適当に配置された対象物体が何であるの
かを、カメラなどの画像撮像デバイスにより取得した入
力画像（群）を利用して登録物体と照合する技術であ
る。物体照合プロセスは、登録物体を事前に登録してお
く登録過程と、対象物体の入力画像（群）に何が撮影さ
れているかを登録物体と比較照合してゆく照合過程との
２つから構成されている。それぞれの過程において、撮
像された画像は、２次元的な広がりを持つ２次元画像の
まま用いたり、また文献１（「三次元画像計測」、井口
・佐藤、昭光堂）に記載されている技術などにより、３
次元形状などに変換して利用する。従来の物体照合技術
を、以下で文献を参照しながら説明する。

【０００３】・従来技術１２次元画像を登録しておき、入力として２次元画像を用
いる物体照合技術の一例として、文献２（特許第２８
７２７７６号「顔画像照合装置」）で示される技術があ
る。この技術は、照合対象となる物体として人間の顔を
想定しており、図２２のような構成をとっている。登録
時は、カメラ１１により撮影された２次元画像を記憶手
段１２に記憶しておく。照合時は、カメラ１３で２次元
の顔画像を入力画像として撮影し、正規化手段１４によ
って、前記入力画像から目や鼻の位置などの姿勢や大き
さの基準となる顔特徴点を画像処理技術により抽出し、
該特徴点の座標位置を基準として画像上において２次元
的な位置および大きさの正規化を行った正規化画像を出
力する。最後に、画像比較手段１５によって、記憶手段
１２から読み出される登録画像と前記正規化画像とをパ
ターン認識技術により比較し、照合結果を出力する。

【０００４】・従来技術２また、３次元形状を用いた従来の物体照合技術の例とし
て、文献３（特開平９-２５９２７１号公報「人物照合
装置」）で示される技術がある。この技術では、図２３
のような構成をとる。登録時には、３次元形状カラー情
報計測手段２１により登録物体の３次元形状およびカラ
ー情報を顔データとして測定し、記憶手段２２に記憶し
ておく。照合時にも、３次元形状カラー情報計測手段２
３により対象物体の３次元形状およびカラー情報を入力
データとして測定し、平行移動・回転手段２４により前
記入力データを重心が前記顔データと一致するように平
行移動して微少回転を加えた回転顔データ群を生成し、
最小誤差計算手段２５によって誤差の最小値を求めるこ
とで３次元的な位置姿勢の補正を行い、該最小誤差に基
づいて照合を行う。

【０００５】・従来技術３文献４（特開平６-１６８３１７号公報「個人識別装
置」）には、登録時および照合時ともに２次元画像を撮
影する照合技術が開示されている。この技術は、図２４
のような構成をとる。登録時には、カメラ３１により登
録物体の２次元画像を撮影し、特徴抽出手段３２におい
て輝度変動の大きな画素位置を検出して特徴点位置を出
力し、記憶手段３３に記憶する。照合時には、カメラ３
４により対象物体の２次元画像を入力画像として撮影
し、特徴抽出手段３５において輝度変動の大きな画素位
置を検出して特徴点位置を出力し、照合手段３７におい
て前記登録されている特徴点位置と前記入力画像の特徴
点位置とを比較することで照合を行っている。このと
き、対象物体の位置や姿勢の変動を吸収するために、位
置姿勢正規化手段３６において標準的な物体の３次元形
状モデルをあらかじめ用意しておき、該標準３次元形状
モデルを利用して位置姿勢を正規化する。

【０００６】・従来技術４位置や姿勢の変動だけでなく、照明条件に応じた変動を
も補正するために、登録過程および照合過程双方で通常
の２次元画像だけを用いる技術として、文献５（「Visu
al Learning and Recognition of ３-D Objects from A
ppearance」, Hiroshi Murase and Shree K. Nayer, In
t. J. Computer Vision, vol.14, pp.5-24,1995）があ
る。この技術では、図２５のような構成をとる。登録時
には、撮影手段４１により登録物体について対象物体の
入力画像において考えられるあらゆる姿勢や照明条件を
網羅した２次元画像群を撮影し、多様体計算手段４２に
より前記２次元画像群の変化を十分表せるような基底ベ
クトル群を主成分分析により求めて該基底ベクトル群と
の相関を特徴とする特徴空間を生成し、前記２次元画像
群の特徴空間における軌跡を多様体として求め、記憶手
段４３に記憶しておく。照合時には、カメラ４４により
対象物体の２次元画像を入力画像として撮影し、距離計
算手段４５において前記入力画像と前記多様体との特徴
空間における距離を計算し、該距離を尺度として照合を
行う。これにより、様々な位置姿勢や照明条件の下で撮
影された入力画像の照合を可能にしている。

【０００７】・従来技術５物体の位置姿勢が固定である場合の照明条件による２次
元画像の変化については、文献６（「What Is the Set
of Images of an Object Under All Possible Illumina
tion Conditions?」, Peter N. Belhumeur and David
J. Kriegman, Int.J. Computer Vision, vol.28, pp.24
5-260,1998）において詳しく分析されている。物体の位
置姿勢を固定すれば、任意の照明条件の下での画像は、
１つの点光源の下での画像の和に分解して表すことがで
きる。したがって、任意の数の光源の下での画像は、そ
れぞれ１つずつの光源の強さを係数として、その１つの
光源の下での画像の線形和で表すことができる。

【０００８】前記の分析に基づき、前記文献６では、Il
lumination Subspace Method（以下、方法１で参照す
る）と呼ばれる、図２６のような構成をとる方法を提案
している。撮影手段５１において、できるだけ影になる
画素がないような異なる照明条件を３つ以上設定し、登
録物体の２次元画像群を撮影する。法線計算手段５２に
おいて、該２次元画像群から主成分分析により画像の各
画素に対応する物体表面の反射率と法線ベクトルとの積
に相当するベクトル群を求める。続いて、画像生成手段
５３において、該ベクトル群の任意の２個のベクトルの
外積で表される方向に照明がある場合の画像であるextr
eme rayと呼ばれる画像群を生成し、記憶手段５４に記
憶する。照合時には、カメラ５５によって対象物体の２
次元画像を入力画像として撮影する。物体表面の反射特
性が完全散乱であり、かつ形状が凸である場合には、任
意の照明条件の下での画像は前記extreme ray群の係数
が正である線形和として表せるので、該係数群を負にな
らないという条件の下での最小二乗法を用いて計算する
ことができる。照明補正手段５６において、前記最小二
乗計算を行い、求まった係数群を用いたextreme ray群
の線形和により入力画像と同じ照明条件の下での対象物
体の比較画像を生成する。画像比較手段５７において、
該比較画像と前記入力画像との類似度を計算することで
照合処理を行う。

【０００９】・従来技術６文献７（「Illumination Cones for Recognition Under
Variable Lighting: Faces」, A.S. Georghiades, Pro
c. IEEE Int. Conf. CVPR, pp.52-58,1998）では、方法
１においてextreme rayを計算する際に、光線追跡など
のコンピュータグラフィックスの技術を用いて、物体の
３次元形状からどの画素が影になるかを計算し、影を付
ける処理を行う方法（以下、方法２として参照）を示し
ている。これにより、形状が凸でない形状の物体にも、
方法１が適用できるとしている。

【００１０】・従来技術７また、前記文献７では、Sampling Method（以下、方法
３として参照）として、図２７のような構成をとる方法
も提案している。前記方法１のように全てのextreme ra
yを計算することは手間がかかるので、登録時に、撮影
手段６１において、例えば、図５のθ，φの角度がなる
べく等間隔に全体を覆うように適当な数の照明方向を設
定して２次元画像群を撮影し、該２次元画像群をextrem
e rayとして代用する。以降は、方法１と同様に、非負
最小二乗法を適用して照明補正を行い、物体認識を行
う。

【００１１】・従来技術８文献８（特願２０００-１０５３９９「画像照合装置、
画像照合方法、およびそのプログラムを記録した記録媒
体」の技術では、登録物体の３次元形状を登録してお
き、対象物体の入力画像の位置姿勢が変化しても、該位
置姿勢に合わせた時の照明変動テクスチャ群をコンピュ
ータグラフィックスにより生成し、さらに、該画像群を
包含する画像空間を求めて照明補正処理を行うことによ
り、位置姿勢および照明条件がともに変化する場合にも
高精度な照合を可能にしている。

【００１２】

【発明が解決しようとする課題】しかしながら、照合対
象となる物体は、特に固定や調節などをしない限り、カ
メラなどの画像撮像デバイスの前で３次元的な平行移
動，回転移動などを伴うことが一般的である。また、屋
外などでは刻々と照明条件も変動していくことから明ら
かなように、照合対象として入力される２次元画像上で
は、見かけ上、非常に大きな変動がある。従来技術は、
これらの位置姿勢や照明条件の変動を十分補正すること
ができていないため、応用範囲が非常に限られてしまう
という問題点があった。以下、具体的に各文献記載の技
術における問題点を詳述する。

【００１３】文献２に記載されているような単なる２次
元画像同士での照合技術では、照合対象となる物体の３
次元的な回転変動や画像撮影時の照明条件変動による２
次元画像上での見かけ上の変動に対応することができ
ず、応用範囲が極めて限定される。

【００１４】文献３の照合技術では、登録時だけでなく
照合時にも３次元形状を必要とするために、照合装置に
は文献１に示されているような３次元形状計測装置が必
須となり、高価となってしまう問題があった。これは、
登録時と異なる場所や、複数の場所で入力画像を撮影し
照合を行いたい場合などに特に問題である。また、形状
の計測をするためには計測が終了するまで照合対象とな
る物体が静止していなければならなかったり、暗室や薄
暗い環境でなければ精度の良い形状データが得られない
という問題があり、やはり応用範囲が限られてしまう。

【００１５】文献４に示されているような輝度変動の大
きな画素位置を検出する方法は、３次元的な曲率が非常
に大きな積み木や、また反射率の変動が非常に大きい白
板上の黒いマーカなどには有効であるが、該文献４中で
言及されているような人間の顔には向かないことが知ら
れていることからも、安定な座標位置検出は一般に困難
である。また、文献４では、照合対象となる物体群の標
準的な３次元形状により姿勢を補正するとあるが、該物
体群の各物体間において形状の類似度が高くない場合に
は適用ができないという問題があった。

【００１６】文献５の技術では、対象物体の入力画像の
照明条件として複数の光源や拡張光源などの様々な照明
条件を考慮すると、これらを網羅する登録物体のサンプ
ル画像は膨大な量が必要になってしまう。また、特徴空
間における多様体の形状について何も仮定されていない
ため、入力画像との距離を求める際に撮影条件のパラメ
タに対する探索を要する。したがって、多くの計算量が
必要となるという問題があった。

【００１７】方法１の技術では、形状の複雑さに応じて
extreme rayを計算する手続きに非常に多くの計算量を
要する。文献６によれば、物体表面の法線ベクトルのう
ち線形独立なものがｍ個ある場合、extreme rayの数は
最大でｍ（ｍ−１）個である。したがって、物体形状が
積み木のように単純なものでない限り、膨大な数の画像
を計算しなければならなくなるため、複雑な形状の一般
的な物体に対して全てのextreme rayを計算することは
計算量の点で問題がある。また、物体形状が凸でなく、
他の部分が光源を遮蔽して生じる影がある場合にはその
まま適用することはできない。

【００１８】方法１,方法２の技術はともに、物体の位
置や姿勢が変わった場合には、該位置姿勢に合わせた物
体の画像を撮影し、extreme rayをすべて計算し直す必
要がある。特に、方法２の技術では、extreme rayの計
算時に、物体の画像に影を付ける計算処理を行うが、こ
の処理は光線追跡など非常に多くの計算量を必要とする
ため、結果として照合処理に時間がかかるという問題が
生じる。

【００１９】方法３の技術では、照合対象となる物体に
多数の方向から照明を当てた画像を撮影する必要があ
り、登録時に特別な照明装置が必要となってしまう。

【００２０】また、照合対象となる物体の位置や姿勢が
変わった場合には、該位置姿勢に合わせた物体の多数の
照明条件の下での画像を撮影し直さなければならない。
したがって、入力画像において想定されるあらゆる位置
姿勢における画像を撮影しておかなければならないた
め、登録処理に手間がかかることや、あらかじめ登録さ
れていない位置姿勢で撮影された画像は照合することが
できないなどの問題がある。

【００２１】文献８の技術では、入力画像における対象
物体の位置姿勢が変化しても、登録物体の３次元形状に
よって位置姿勢を合わせた画像を生成することができる
ため、必要なすべての位置姿勢での画像群を登録時に撮
影しておく必要はない。しかし、入力画像に位置姿勢を
合わせた多数の照明条件の下での画像を生成する工程に
は、影を付ける処理など非常に多くの計算量を要するた
め、照合処理に時間がかかるという問題があった。

【００２２】本発明は、上記問題点に鑑みなされたもの
であり、照合に用いる入力データとして３次元形状を必
要とせず通常のカメラで撮影した２次元画像により照合
することが可能な物体照合方法，物体照合装置，および
そのプログラムを記録した記録媒体を提供することを目
的とする。

【００２３】また、本発明は、入力画像における対象物
体の３次元的な位置姿勢の変化を補正可能であり、登録
時に登録物体の必要なデータが簡便に測定可能であり、
様々な照明条件の下で撮影された入力画像に対し照明条
件の補正を高速な処理によって実現可能な物体照合方
法，物体照合装置，およびそのプログラムを記録した記
録媒体を提供することを目的とする。

【００２４】

【課題を解決するための手段】かかる目的を達成するた
めに、請求項１記載の発明では、登録物体の登録データ
をデータベースに登録する登録過程と、対象物体の入力
画像に対して前記登録データとの照合を行う照合過程と
を含む物体照合方法において、前記登録過程が、登録物
体の３次元形状，および様々な照明条件の下での物体表
面の各位置の輝度や色情報を表すテクスチャ群で張られ
る画像空間であるテクスチャ空間を記憶する工程であ
り、前記照合過程が、対象物体の２次元画像を入力画像
として撮影する工程と、前記入力画像における対象物体
の位置姿勢で様々な照明条件の下での画像群によって張
られる画像空間である照明変動空間を前記３次元形状お
よび前記テクスチャ空間から生成する工程と、前記照明
変動空間と前記入力画像との距離に基づいて対象物体が
登録物体であるかどうかの確認，登録物体のうちのどの
物体であるかの検索，登録物体のうちの似ている物体の
検索などの処理を行う工程とから構成されることを特徴
とする。

【００２５】請求項２記載の発明では、登録物体の登録
データをデータベースに登録する登録過程と、対象物体
の入力画像に対して前記登録データとの照合を行う照合
過程とを含む物体照合方法において、前記登録過程が、
登録物体の３次元形状および物体表面の反射率を測定す
る登録物体測定工程と、前記３次元形状および前記反射
率を用いて様々な照明条件の下での物体表面の各位置の
輝度や色情報を表すテクスチャをコンピュータグラフィ
ックスの技術などを用いて生成するテクスチャ群生成工
程と、前記テクスチャ群で張られる画像空間であるテク
スチャ空間を生成するテクスチャ空間生成工程と、前記
３次元形状および前記テクスチャ空間を記憶しておく記
憶工程とから構成され、前記照合過程が、ビデオカメラ
などの撮像装置を用いて対象物体の２次元画像を入力画
像として撮影する入力画像撮影工程と、前記入力画像に
おける対象物体の位置姿勢を推定する位置姿勢推定工程
と、前記推定された位置姿勢と同じ位置姿勢で様々な照
明条件の下での画像群によって張られる画像空間である
照明変動空間を前記３次元形状および前記テクスチャ空
間を用いて生成する照明変動空間生成工程と、前記入力
画像と前記照明変動空間との距離を計算する距離計算工
程と、前記距離に基づいて対象物体が登録物体であるか
どうかの確認，登録物体のうちのどの物体であるかの検
索，登録物体のうちの似ている物体の検索などの処理を
行う照合判定工程とから構成されることを特徴とする。

【００２６】請求項３記載の発明は、請求項２記載の物
体照合方法において、前記登録物体測定工程が、登録物
体の３次元形状を測定する３次元形状測定工程と、実際
に様々な照明条件を設定して物体表面の各位置の輝度や
色情報を撮影してテクスチャ群を生成するテクスチャ撮
影工程とから構成され、前記テクスチャ群生成工程がな
く、前記撮影したテクスチャ群を代わりに用いることを
特徴とする。

【００２７】請求項４記載の発明は、請求項２または請
求項３記載の物体照合方法において、前記照明変動空間
生成工程がない代わりに、前記３次元形状および前記推
定された位置姿勢を用いて入力画像をテクスチャに変換
する入力テクスチャ生成工程があり、前記距離計算工程
が、前記入力テクスチャと前記テクスチャ空間との距離
を計算する工程であることを特徴とする。

【００２８】請求項５記載の発明は、請求項２または請
求項３記載の物体照合方法において、前記テクスチャ空
間生成工程が、前記テクスチャ群に主成分分析などの統
計的解析を施すことにより照明条件に応じてテクスチャ
上に現れている変動要因の大部分を覆うような空間の基
底ベクトルである基底テクスチャ群を求めることでテク
スチャ空間を生成する工程であり、前記記憶工程が、前
記３次元形状および前記基底テクスチャ群を記憶する工
程であり、前記照明変動空間生成工程が、前記３次元形
状，前記基底テクスチャ群，および前記推定された位置
姿勢を用いて照明変動空間の基底ベクトル群を求める工
程であり、前記距離計算工程が、前記基底ベクトル群と
前記入力画像との間の相関を求め、該相関を元に基底ベ
クトル群から前記入力画像に最も近い比較画像を生成
し、該比較画像と前記入力画像との類似度を距離として
出力する工程であることを特徴とする。

【００２９】請求項６記載の発明は、請求項４記載の物
体照合方法において、前記テクスチャ空間生成工程が、
前記テクスチャ群に主成分分析などの統計的解析を施す
ことにより、照明条件に応じてテクスチャ上に現れてい
る変動要因の大部分を覆うような空間の基底ベクトルで
ある基底テクスチャ群を求めることでテクスチャ空間を
生成する工程であり、前記記憶工程が、前記３次元形状
および前記基底テクスチャ群を記憶する工程であり、前
記距離計算工程が、前記基底テクスチャ群と前記入力テ
クスチャとの間の相関を求め、該相関を元に基底テクス
チャ群から前記入力テクスチャに最も近い比較テクスチ
ャを生成し、該比較テクスチャと前記入力テクスチャと
の類似度を距離として出力する工程であることを特徴と
する。

【００３０】請求項７記載の発明は、請求項２ないし
請求項６記載の発明において、前記登録過程において複
数の登録物体の３次元形状を測定する代わりに、１つな
いし少数の３次元形状を測定するだけで、該１つないし
少数の３次元形状の平均となる平均形状を出力し、照合
対象となる全ての物体の形状は計測せず、反射率の測定
が照合対象となる全ての物体について反射率の計測また
は１つないし複数の照明条件の下での画像情報の撮影を
行うものであり、複数の登録物体の３次元形状として前
記平均形状だけを用いることを特徴とする。

【００３１】請求項８記載の発明は、請求項２ないし請
求項６記載の発明において、前記３次元形状の測定を行
わず、別途図面等から３次元形状を入力しておくことを
特徴とする。

【００３２】請求項９記載の発明は、請求項２ないし請
求項８記載の発明において、前記反射率の測定を行わ
ず、別途図面等から反射率や色情報を入力しておくこと
を特徴とする。

【００３３】請求項１０記載の発明は、請求項２ないし
請求項９記載の発明において、前記登録データに登録物
体の特徴的な部位の位置情報を付与して登録すること特
徴とする。

【００３４】請求項１１記載の発明は、請求項２ないし
請求項１０記載の発明において、前記照合対象となる物
体を、自動車とすることを特徴とする。

【００３５】請求項１２記載の発明は、請求項２ないし
請求項１０記載の発明において、前記照合対象となる物
体を、人間の顔とすることを特徴とする。

【００３６】請求項１３記載の発明は、登録物体の３次
元形状，および様々な照明条件の下での物体表面の各位
置の輝度や色情報を表すテクスチャ群で張られる画像空
間であるテクスチャ空間を記憶する登録部と、対象物体
の２次元画像を入力画像として撮影し、前記入力画像に
おける対象物体の位置姿勢で様々な照明条件の下での画
像群によって張られる画像空間である照明変動空間を前
記３次元形状および前記テクスチャ空間から生成し、該
照明変動空間と前記入力画像との距離に基づいて対象物
体が登録物体であるかどうかの確認，登録物体のうちの
どの物体であるかの検索，登録物体のうちの似ている物
体の検索などの処理を行う照合部とから構成されること
を特徴とする。

【００３７】請求項１４記載の発明は、登録物体の登録
データを登録する登録部と、対象物体の入力画像に対し
て前記登録データとの照合を行う照合部を備える物体照
合装置において、前記登録部が、登録物体の３次元形状
および物体表面の反射率を測定する登録物体測定手段
と、前記３次元形状および前記反射率を用いて様々な照
明条件の下での物体表面の各位置の輝度や色情報を表す
テクスチャをコンピュータグラフィックスの技術などを
用いて生成するテクスチャ群生成手段と、前記テクスチ
ャ群で張られる画像空間であるテクスチャ空間を生成す
るテクスチャ空間生成手段と、前記３次元形状および前
記テクスチャ空間を記憶しておく記憶手段とを備え、前
記照合部が、ビデオカメラなどの撮像装置を用いて対象
物体の２次元画像を入力画像として撮影する入力画像撮
影手段と、前記入力画像における対象物体の位置姿勢を
推定する位置姿勢推定手段と、前記推定された位置姿勢
と同じ位置姿勢で様々な照明条件の下での画像群によっ
て張られる画像空間である照明変動空間を前記３次元形
状および前記テクスチャ空間を用いて生成する照明変動
空間生成手段と、前記入力画像と前記照明変動空間との
距離を計算する距離計算手段と、前記距離に基づいて対
象物体が登録物体であるかどうかの確認，登録物体のう
ちのどの物体であるかの検索，登録物体のうちの似てい
る物体の検索などの処理を行う照合判定手段とを備える
ことを特徴とする。

【００３８】請求項１５記載の発明は、請求項１４記載
の物体照合装置において、前記登録物体測定手段が、登
録物体の３次元形状を測定する３次元形状測定手段と、
実際に様々な照明条件を設定して物体表面の各位置の輝
度や色情報を撮影してテクスチャ群を生成するテクスチ
ャ撮影手段とから構成され、前記テクスチャ群生成手段
がなく、前記撮影したテクスチャ群を代わりに用いるこ
とを特徴とする。

【００３９】請求項１６記載の発明は、請求項１４また
は請求項１５記載の物体照合装置において、前記照明変
動空間生成手段がない代わりに、前記３次元形状および
前記推定された位置姿勢を用いて前記入力画像を入力テ
クスチャに変換する入力テクスチャ生成手段があり、前
記距離計算手段が、前記入力テクスチャと前記テクスチ
ャ空間との距離を計算する手段であることを特徴とす
る。

【００４０】請求項１７記載の発明は、請求項１４また
は請求項１５記載の物体照合装置において、前記テクス
チャ空間生成手段が、前記テクスチャ群に主成分分析な
どの統計的解析を施すことにより照明条件に応じてテク
スチャ上に現れている変動要因の大部分を覆うような空
間の基底ベクトルである基底テクスチャ群を求めること
でテクスチャ空間を生成する手段であり、前記記憶手段
が、前記３次元形状および前記基底テクスチャ群を記憶
する手段であり、前記照明変動空間生成手段が、前記３
次元形状，前記基底テクスチャ群，および前記推定され
た位置姿勢を用いて照明変動空間の基底ベクトル群を求
める手段であり、前記距離計算手段が、前記基底ベクト
ル群と前記入力画像との間の相関を求め、該相関を元に
基底ベクトル群から前記入力画像に最も近い比較画像を
生成し、該比較画像と前記入力画像との類似度を距離と
して出力する手段であることを特徴とする。

【００４１】請求項１８記載の発明は、請求項１６記載
の物体照合装置において、前記テクスチャ空間生成手段
が、前記テクスチャ群に主成分分析などの統計的解析を
施すことにより照明条件に応じてテクスチャ上に現れて
いる変動要因の大部分を覆うような空間の基底ベクトル
である基底テクスチャ群を求めることでテクスチャ空間
を生成する手段であり、前記記憶手段が、前記３次元形
状および前記基底テクスチャ群を記憶する手段であり、
前記距離計算手段が、前記基底テクスチャ群と前記入力
テクスチャとの間の相関を求め、該相関を元に前記基底
テクスチャ群から前記入力テクスチャに最も近い比較テ
クスチャを生成し、該比較テクスチャと前記入力テクス
チャとの類似度を距離として出力する手段であることを
特徴とする。

【００４２】請求項１９記載の発明は、請求項１４ない
し請求項１８記載の物体照合装置において、前記登録部
において複数の登録物体の３次元形状を測定する代わり
に、１つないし少数の登録物体の３次元形状を測定する
だけで、該１つないし少数の３次元形状の平均形状を出
力し、登録物体となる全ての物体の形状は計測せず、反
射率の測定が登録物体となる全ての物体について反射率
の計測または１つないし複数の照明条件の下での画像情
報の撮影を行うものであり、以降の処理においては３次
元形状として前記平均形状だけを用いることを特徴とす
る。

【００４３】請求項２０記載の発明は、請求項１４ない
し請求項１９記載の物体照合装置において、前記登録物
体測定手段がなく、３次元形状の測定を行わない代わり
に、登録物体入力手段を用いて別途図面等から３次元形
状を入力しておくことを特徴とする。

【００４４】請求項２１記載の発明は、請求項１４ない
し請求項２０記載の物体照合装置において、前記登録物
体測定手段がなく、反射率の測定を行わない代わりに、
登録物体入力手段を用いて別途図面等から反射率や色情
報を入力しておくことを特徴とする。

【００４５】請求項２２記載の発明は、請求項４ないし
請求項２１記載の物体照合装置において、前記登録部
に、登録物体の特徴的な部位の位置情報を付与して登録
する特徴点位置抽出手段を備えること特徴とする。

【００４６】請求項２３記載の発明は、請求項１４ない
し請求項２２記載の物体照合装置において、前記照合対
象となる物体を、自動車とすることを特徴とする。

【００４７】請求項２４記載の発明は、請求項１４ない
し請求項２２記載の物体照合装置において、前記照合対
象となる物体を、人間の顔とすることを特徴とする。

【００４８】請求項２５記載の発明は、コンピュータ
を、登録物体の３次元形状および物体表面の反射率を測
定する登録物体測定手段，前記３次元形状および前記反
射率を用いて様々な照明条件の下での物体表面の各位置
の輝度や色情報を表すテクスチャをコンピュータグラフ
ィックスの技術などを用いて生成するテクスチャ群生成
手段，前記テクスチャ群で張られる画像空間であるテク
スチャ空間を生成するテクスチャ空間生成手段，ならび
に前記３次元形状および前記テクスチャ空間を記憶して
おく記憶手段として機能させるためのプログラムを記録
した記録媒体である。

【００４９】請求項２６記載の発明は、コンピュータ
を、ビデオカメラなどの撮像装置を用いて対象物体の２
次元画像を入力画像として撮影する入力画像撮影手段，
前記入力画像における対象物体の位置姿勢を推定する位
置姿勢推定手段，前記推定された位置姿勢と同じ位置姿
勢で様々な照明条件の下での画像群によって張られる画
像空間である照明変動空間を登録物体の３次元形状およ
びテクスチャ空間を用いて生成する照明変動空間生成手
段，前記入力画像と前記照明変動空間との距離を計算す
る距離計算手段，ならびに前記距離に基づいて対象物体
が登録物体であるかどうかの確認，登録物体のうちのど
の物体であるかの検索，登録物体のうちの似ている物体
の検索などの処理を行う照合判定手段として機能させる
ためのプログラムを記録した記録媒体である。

【００５０】請求項２７記載の発明は、コンピュータ
を、３次元形状測定装置を用いて登録物体の３次元形状
を測定する３次元形状測定手段，照明条件を実際に設定
して登録物体の画像群を撮影し前記３次元形状を用いて
テクスチャ座標系を生成し該テクスチャ座標系に前記画
像群を変換することによりテクスチャ群として出力する
テクスチャ撮影手段，前記テクスチャ群で張られる画像
空間であるテクスチャ空間を生成するテクスチャ空間生
成手段，ならびに前記３次元形状および前記テクスチャ
空間を記憶しておく記憶手段として機能させるためのプ
ログラムを記録した記録媒体である。

【００５１】請求項２８記載の発明は、コンピュータ
を、ビデオカメラなどの撮像装置を用いて対象物体の２
次元画像を入力画像として撮影する入力画像撮影手段，
前記入力画像における対象物体の位置姿勢を推定する位
置姿勢推定手段，前記位置姿勢推定手段の結果を利用し
て前記入力画像の各画素をテクスチャ座標に変換し変形
することで入力テクスチャを生成する入力テクスチャ生
成手段，登録物体のテクスチャ空間と前記入力テクスチ
ャとの距離を計算する距離計算手段，ならびに前記距離
に基づいて対象物体が登録物体であるかどうかの確認，
登録物体のうちのどの物体であるかの検索，登録物体の
うちの似ている物体の検索などの処理を行う照合判定手
段として機能させるためのプログラムを記録した記録媒
体である。

【００５２】請求項２９記載の発明は、コンピュータ
を、３次元形状測定装置を用いて登録物体の３次元形状
を測定する登録物体測定手段，複数の物体の３次元形状
を重心を一致させるように平行移動し、ある軸に垂直な
断面を適当な間隔で設定し、それぞれの断面上で平均形
状を計算する平均形状生成手段，前記テクスチャ群で張
られる画像空間であるテクスチャ空間を生成するテクス
チャ空間生成手段，ならびに前記平均形状および前記テ
クスチャ空間を記憶しておく記憶手段として機能させる
ためのプログラムを記録した記録媒体である。

【００５３】請求項３０記載の発明は、コンピュータ
を、登録物体の３次元形状および物体表面の反射率を測
定する登録物体測定手段，特徴点の位置を検出し、その
３次元座標を特徴点位置として出力する特徴点位置抽出
手段，前記３次元形状および前記反射率を用いて様々な
照明条件の下での物体表面の各位置の輝度や色情報を表
すテクスチャをコンピュータグラフィックスの技術など
を用いて生成するテクスチャ群生成手段，前記テクスチ
ャ群で張られる画像空間であるテクスチャ空間を生成す
るテクスチャ空間生成手段，ならびに前記３次元形状，
前記テクスチャ空間，および前記特徴点位置を記憶して
おく記憶手段として機能させるためのプログラムを記録
した記録媒体である。

【００５４】請求項３１記載の発明は、コンピュータ
を、ビデオカメラなどの撮像装置を用いて対象物体の２
次元画像を入力画像として撮影する入力画像撮影手段，
前記入力画像を撮影したときの撮影条件である対象物体
の位置姿勢や撮像装置のパラメタ等を登録物体の３次元
形状，テクスチャ空間，および特徴点位置を用いて推定
する位置姿勢推定手段，前記推定された位置姿勢と同じ
位置姿勢で様々な照明条件の下での画像群によって張ら
れる画像空間である照明変動空間を登録物体の３次元形
状およびテクスチャ空間を用いて生成する照明変動空間
生成手段，前記入力画像と前記照明変動空間との距離を
計算する距離計算手段，ならびに前記距離に基づいて対
象物体が登録物体であるかどうかの確認，登録物体のう
ちのどの物体であるかの検索，登録物体のうちの似てい
る物体の検索などの処理を行う照合判定手段として機能
させるためのプログラムを記録した記録媒体である。

【００５５】請求項３２記載の発明は、コンピュータ
を、図面等から３次元形状および反射率を入力する登録
物体入力手段，前記３次元形状および前記反射率を用い
て様々な照明条件の下での物体表面の各位置の輝度や色
情報を表すテクスチャをコンピュータグラフィックスの
技術などを用いて生成するテクスチャ群生成手段，前記
テクスチャ群で張られる画像空間であるテクスチャ空間
を生成するテクスチャ空間生成手段，ならびに前記３次
元形状および前記テクスチャ空間を記憶しておく記憶手
段として機能させるためのプログラムを記録した記録媒
体である。

【００５６】

【発明の実施の形態】以下、本発明の実施の形態を添付
図面を参照しながら詳細に説明する。

【００５７】（１）第１の実施の形態本発明の第１の実施の形態に係る物体照合方法は、図１
に示す第１の実施例の物体照合装置で実行されるもので
あり、登録物体のデータをデータベースに登録する登録
過程が、物体の３次元形状と、様々な照明条件の下での
物体表面の各位置の輝度や色情報を表すテクスチャ群で
張られる画像空間であるテクスチャ空間とを記憶する工
程であり、入力される画像に対して登録データとの照合
を行う照合過程が、２次元画像を入力画像として撮影す
る工程と、照合対象となる物体が前記入力画像における
対象物体の位置姿勢で、様々な照明条件の下での画像群
によって張られる画像空間である照明変動空間を前記３
次元形状および前記テクスチャ空間から生成する工程
と、前記照明変動空間と前記入力画像との距離に基づい
て、照合対象となる物体であるかどうかの確認，登録物
体のうちのどの物体であるかの検索，登録物体のうちの
似ている物体の検索などの処理を行う工程とから構成さ
れるものである。

【００５８】第１の実施の形態に係る発明の物体照合方
法では、照合対象となる物体表面の各位置の輝度または
色を表すテクスチャは照明条件によって変化するが、こ
れら照明変動によって生成される様々なテクスチャ群の
張る空間（テクスチャ空間）と、登録物体の３次元形状
とを登録しておくことにより、前記テクスチャ空間を、
必要とされる位置姿勢に対象物体があるときに照明条件
の変動によって生成される照明変動空間へと変換するこ
とが可能であり、これにより前記位置姿勢にある対象物
体の様々な照明条件の下での画像を生成でき、照明補正
処理を行うことで高精度な照合を行えることを利用して
いる。

【００５９】さらに、第１の実施の形態に係る発明の物
体照合方法によれば、対象物体の目的とする位置姿勢で
の照明変動空間を、登録物体のテクスチャ空間の簡単な
座標変換のみによって生成することができるため、照合
過程における計算量を大幅に軽減することができ、高速
な物体照合処理を行うことが可能となる。

【００６０】まず、登録過程について説明する。

【００６１】登録物体測定工程において、登録物体の３
次元形状および物体表面の反射率を測定する。これに
は、様々な測定装置や手法などを用いることができる。
その一例として、例えば文献９（特願平１１−１２３６
８７号）記載の３次元形状測定装置を用いることができ
る。この他にも、文献１で述べられているような様々な
装置や手段を利用可能である。

【００６２】次に、テクスチャ群生成工程において、物
体表面上にテクスチャ空間の座標系（テクスチャ座標
系）を設定し、該テクスチャ座標系を用いて物体表面の
各点の色または輝度情報を画像として表し、該画像をテ
クスチャとする。前記テクスチャ座標系の設定方法には
様々な手法が利用可能であるが、その一例として、図３
に示すように、物体の重心を中心として物体を覆う球を
考え、物体表面上の各点Ｐを重心を中心として前記球表
面上へ投影し、投影された点Ｑの経度，緯度（ｓ，ｔ）
をテクスチャ座標とする手法が利用できる。この他にも
様々な装置や手段を利用可能である。

【００６３】コンピュータグラフィックスの技法などを
用いることにより、物体表面上の各位置の陰影や影によ
る輝度や色の変化を計算し、様々な照明条件の下でのテ
クスチャ群を生成する。テクスチャの各画素の陰影の変
化による輝度や色の変化は、該画素に対応する物体表面
の反射率，３次元形状から計算できる法線方向，および
照明の方向により計算することができる。影の生成に関
しては、前記３次元形状を用いて光線追跡などの処理
を行うことで、前記画素に設定した照明条件の下で光が
あたるかどうかを判定することができる。

【００６４】様々な照明条件を設定し前記テクスチャ空
間生成処理を行うことでテクスチャ群を生成できる。

【００６５】次に、テクスチャ空間生成工程において、
前記テクスチャ群が張る空間としてテクスチャ空間を生
成する。

【００６６】物体表面の反射率特性として完全散乱面を
仮定し、物体形状が凸であり他の部分による光源の遮蔽
によって生じる影がなく、光源が無限遠にあるとすれ
ば、テクスチャの各画素（ｓ，ｔ）の輝度値Ｉ（ｓ，
ｔ）は、画素に対応している物体表面の反射率Ｂ（ｓ，
ｔ），法線方向，各照明の強度ｌ_ｉ，および方向により、数１でモデル化できる。

【００６７】

【数１】

【００６８】ここで、ｍａｘ（）の効果を無視すれば、
照明が複数ある場合などを含め、任意の照明条件は、数
２のように１つの照明ベクトルで表すことができる。

【００６９】

【数２】

【００７０】したがって、照明変動により生成される物
体のテクスチャの自由度は、照明ベクトルの次元、すなわち高々３次元になるが、実際には、ｍａ
ｘ（）の効果や、物体の他の部分により光源が遮蔽され
て影ができること，反射特性が完全散乱面でないことな
どによる効果があるので、これよりも高次元となる。し
かし、大部分が３次元の部分空間で表せることから、実
際のテクスチャの変動も、低次元の部分空間として十分
近似できる。以下、この低次元の部分空間を、物体のテ
クスチャ空間と呼ぶ。

【００７１】テクスチャ空間の基底ベクトルを得るため
に、主成分分析を用いる。様々な照明条件の下での物体
のテクスチャを多数用意し、照明条件の変動によって変
化するテクスチャ群全体の集合を近似する。各テクスチ
ャは、単一の無限遠にある点光源の下でのテクスチャと
し、光源の方向を入力画像の撮影時の照明条件として考
えられる全ての方向を包含するように適当な間隔で設定
した多数のテクスチャを用意する。複数の照明の下での
テクスチャは単一の照明のテクスチャの和でかけるの
で、単一照明下のテクスチャのみで十分である。テクス
チャ群の生成には登録されている３次元形状および表面
の反射率を用いるが、その生成手段の一例としてコンピ
ュータグラフィックスの基本機能を利用する方法があ
る。コンピュータグラフィックスの機能については、文
献１０（「OpenGLプログラミングガイド」, Mason Woo,
Jackie Neider, Tom Davis,アジソン・ウェスレイ・パ
ブリシャーズ・ジャパン）に詳しく述べられている。コ
ンピュータに標準的に備わっている機能としては、物体
表面の反射特性を完全散乱モデルとし、陰影だけを生成
するものが多いが、本発明においては、陰影だけでなく
光線追跡の技術を用いて影を再現するなど、できるだけ
現実に近い画像を生成できるようにすることができる。

【００７２】以上述べたように、画像生成にコンピュー
タグラフィックスの機能を利用するのは一例であり、数
値計算により照合に必要な画素について輝度値を計算す
ることでテクスチャを生成することも、もちろん可能で
ある。

【００７３】以下、テクスチャ全体のうち照合に用いる
領域にある画素の輝度値を縦に並べたベクトルでテクス
チャを表す。テクスチャ群にＮ個のテクスチャがあると
き、各テクスチャをベクトルで表すと、Ｖは数３で表される。

【００７４】

【数３】

【００７５】次に、Ｖの各固有値σ_ｉと固有ベクトルとを固有値の大きい順にＭ個まで求める。そして、物体
ｊのテクスチャ空間をベクトルを基底とするＭ次元線形空間Ψ_ｊで近似する。ここで、
テクスチャ空間の次元Ｍは、照明の補正処理に必要とさ
れている精度との兼ね合いで決めることができる。Ｍ個
の固有ベクトルを使った場合、その固有値の累積寄与率
は、数４で計算できる。

【００７６】

【数４】

【００７７】累積寄与率は、輝度値の差を用いてテクス
チャの誤差を評価したときに、テクスチャ空間がどの程
度正確に各テクスチャを表現できるかを表す数値であ
る。この値に対して閾値を定めておけば、その閾値を上
回るのに必要な次元数としてＭを自動的に決定すること
ができる。

【００７８】次に、記憶工程において、前記３次元形
状，および前記テクスチャ空間の固有ベクトルを登録デ
ータとして記憶しておく。

【００７９】次に、照合過程について説明する。

【００８０】入力画像撮影工程において、ビデオカメラ
などの撮像装置を用いて対象物体の２次元画像を入力画
像として撮影する。

【００８１】位置姿勢推定工程では、入力画像を撮影し
たときの撮影条件である対象物体と撮像装置との間の位
置・姿勢，撮像装置の内部パラメタ等を推定する。この
位置姿勢推定工程は、手動または自動で行う様々な方法
を利用することができる。

【００８２】例えば、手動で行う方法の一例として、登
録物体の３次元形状およびテクスチャを用いてコンピュ
ータグラフィックスにより生成した画像（以下、ＣＧ画
像と呼ぶ）と対象物体の入力画像とを重ね合わせたとき
に両者ができるだけぴったり重なるように、対話型のイ
ンタフェースを用いて位置姿勢のパラメタを調節したり
入力したりする方法を利用できる。

【００８３】自動で位置姿勢の推定を行う方法の一例と
しては、様々な位置姿勢での登録物体のＣＧ画像を生成
し、各ＣＧ画像を対象物体の入力画像と比較し、最も似
ている画像を求めることで位置姿勢や撮像装置のパラメ
タを決定する方法が利用できる。

【００８４】また、画像を比較する代りに、物体の画像
上で輝度値が大きく変化する部分など、特徴的な領域や
点（以下、特徴点と呼ぶ）の位置を登録物体のＣＧ画像
と対象物体の入力画像とから検出し、前記特徴点の位置
がもっとも近くなるようなＣＧ画像を求めることで対象
物体の位置姿勢や撮像装置のパラメタを計算する方法も
利用できる。

【００８５】また、入力画像から対象物体の特徴点位置
を検出し、各特徴点間の位置関係についての情報を利用
して対象物体の位置姿勢を求める方法もある。文献１１
（「Ananalytic solution for the pose determination
of human faces from a monocular image」, Shinn-Yi
ng Ho , Hui-Ling Huang, Pattern Recognition Letter
s, Vol.19,1045-1054,1998）には、照合対象となる物体
として人間の顔を用いる場合に目尻や口元といった特徴
点を用い、両目の特徴点を結ぶ直線と左右の口元の特徴
点を結ぶ直線とが互いに平行であるなどの位置関係を利
用して位置姿勢を求める方法が記述されている。

【００８６】また、請求項１０記載の発明のように、登
録物体の特徴点の位置を登録しておくことで、カメラキ
ャリブレーションの方法が利用できる。これには多くの
方法があり、一例として文献１２（「An Efficient an
d Accurate Camera Calibration Technique for ３D Ma
chine Vision」,Roger Y. Tsai, Proc. CVPR'86, pp.36
4-374,1986）に記載の方法が利用できる。

【００８７】次に、照明変動空間生成工程および距離計
算工程について説明する。

【００８８】物体の照合は、入力画像と物体ｊの照明変動空間Ψ’_ｊとの距離を尺度として行
うことができる。ここで、照明変動空間とは、物体ｊが
入力画像の位置姿勢にあるときの照明変動による画像変
動を包含する画像空間である。前記距離の計算方法の一
例としては、例えば照明変動空間Ψ’_ｊ内にあって最も
入力画像に近い画像と入力画像との間の距離を計算する手法が利用可能である。距離の
尺度としては様々なものが利用可能であるが、ここで
は、一例として輝度値の２乗誤差を直接用いる例をもっ
て説明する。これらの手法は一例であり、この他にも様
々な距離の定義や計算方法が利用可能である。

【００８９】まず、照明変動空間生成工程において、登
録物体の３次元形状，照明変動テクスチャ空間，および
前記推定された位置姿勢を用いて、照明変動空間を生成
する。方法１や方法３などの従来技術では、この照明変
動空間生成工程において多数の照明変動画像を生成する
必要があり、その工程で陰影や影の計算に多くの計算量
を要するために照合過程の処理に時間がかかるという問
題があった。

【００９０】本実施の形態では、登録物体のテクスチャ
空間Ψ_ｊを推定された位置姿勢に合わせて変換すること
により、容易に照明変動空間を生成可能である。この変
換には様々な手法が利用可能であるが、一例として、テ
クスチャ空間の座標系から入力画像の座標系への変換を
求めて照明変動空間を生成する、次のような手法を利用
可能である。登録されているテクスチャ空間Ψ_ｊの各基
底ベクトルの各要素の値を要素が対応する物体表面の輝度値とし、
登録物体の３次元形状を用いて前記推定された位置姿勢
における画像を生成する。この工程は、コンピュータグ
ラフィックスの標準的機能のみで処理できるため、高速
な演算が可能である。生成された各画像を基底ベクトルとすれば、該基底ベクトル群が張る空間として照明変動
空間Ψ’_ｊが生成できる。

【００９１】距離計算工程では、照明変動空間Ψ’_ｊ内
でもっとも入力画像に近い画像として比較画像を、数５で生成できる。

【００９２】

【数５】

【００９３】ただし、ここで、ベクトル群は、ベクトル群を正規直交化した基底ベクトル群である。

【００９４】該比較画像と入力画像との距離の評価値Ｄは、輝度値の差の２乗和として数６
で計算できる。

【００９５】

【数６】

【００９６】照合判定工程では、前記評価値Ｄを入力画
像と登録データとの類似度の評価値とし、これに基づい
て、対象物体が登録物体であるかどうかの確認，登録物
体のうちのどの物体であるかの検索，登録物体のうちの
似ている物体の検索などの処理を行う判定処理を行う。
例えば、簡単な閾値処理で対象物体が登録物体であるか
の確認を行う場合は、ある閾値Ｄ’を定めておき、Ｄ＜
Ｄ’であれば対象物体が登録物体であると決定する。

【００９７】（２）第２の実施の形態本発明の第２の実施の形態に係る発明の物体照合方法
は、図７に示す第２の実施例の物体照合装置で実行され
るものであり、前記登録物体測定工程が、登録物体の３
次元形状を測定する３次元形状測定工程と、実際に様々
な照明条件を設定して物体表面の各位置の輝度や色情報
を撮影してテクスチャ群を生成するテクスチャ撮影工程
から構成され、前記テクスチャ群生成工程がなく、前記
撮影したテクスチャ群を代わりに用いることを特徴とす
る。

【００９８】第２の実施の形態に係る発明では、登録過
程において登録物体の３次元形状および表面反射率を測
定し照明変動テクスチャ群を生成する代わりに、実際に
様々な照明条件を設定して物体の画像を撮影することに
より、照明変動テクスチャ群を撮影できることを利用し
ている。

【００９９】すなわち、第２の実施の形態に係る発明で
は、登録物体のテクスチャの照明条件による変動を包含
するテクスチャ空間を生成するのに十分な照明変動テク
スチャ群が撮影できるだけの適当な数の照明条件を設定
し、その照明条件の下で画像情報を撮影しておけば、反
射率を測定したりコンピュータグラフィックスによる画
像生成における照明条件の設定や光線追跡による影の生
成などの処理を行わなくても、照明変動空間を生成する
ためのテクスチャ群が生成できることを利用する。

【０１００】前記テクスチャ画像撮影処理に用いること
のできる方法の一例として、次のような方法がある。登
録物体の前方に半球型のやぐらを設置し、一様な間隔で
適当な数のランプを取り付ける。そして、各ランプを点
灯させながら画像を撮影する。この他にも、ランプをマ
ニピュレータに取り付けて移動させながら画像を撮影す
るなどの様々な方法が利用可能である。

【０１０１】（３）第３の実施の形態本発明の第３の実施の形態に係る発明の物体照合方法
は、図８に示す第３の実施例の物体照合装置で実行され
るものであり、第１または第２の実施の形態に係る発明
の物体照合方法において、前記照明変動空間生成工程が
ない代わりに、前記３次元形状および前記推定された位
置姿勢を用いて入力画像をテクスチャに変換する入力テ
クスチャ生成工程があり、前記距離計算工程が、前記入
力テクスチャと前記テクスチャ空間との距離を計算する
工程であることを特徴とする。

【０１０２】第３の実施の形態に係る発明では、テクス
チャ空間を変換して位置姿勢を入力画像に合わせて照明
変動空間を生成する代わりに、前記３次元形状および前
記推定された位置姿勢を用いて入力画像の座標系からテ
クスチャ空間の座標系への座標変換を求め、該座標変換
により入力画像を入力テクスチャに変換し、該入力テク
スチャと前記テクスチャ空間との距離を物体照合の評価
値として用いることができることを利用している。

【０１０３】前記座標変換を求めるためには様々な手法
が利用可能であるが、一例として、テクスチャ空間の座
標系によって一意に決まる色を対応する物体表面の色と
し、登録物体の３次元形状を用いて前記推定された位置
姿勢における画像を生成する。この工程は、コンピュー
タグラフィックスの標準的機能のみで処理できるため高
速な演算が可能である。生成された画像の各画素の色
は、その画素の対応するテクスチャ座標を示しているの
で、入力画像の座標系からテクスチャ空間の座標系への
変換が容易に生成できる。

【０１０４】（４）第４の実施の形態本発明の第４の実施の形態に係る発明の物体照合方法
は、図１０に示す第４の実施例の物体照合装置で実行さ
れるものであり、第１ないし第３の実施の形態に係る発
明において、前記登録過程において複数の登録物体の３
次元形状を測定する代わりに、１つないし少数の登録物
体の３次元形状を測定するだけで、該１つないし少数の
登録物体の３次元形状の平均となる平均形状を出力し、
照合対象となる全ての物体の形状は計測せず、反射率の
測定が、照合対象となる全ての物体について反射率の計
測または１つないし複数の照明条件の下での画像情報の
撮影を行うものであり、以降の処理においては３次元形
状として前記平均形状だけを用いるものである。

【０１０５】第４の実施の形態に係る発明では、特に互
いに形状が類似している登録物体の場合には、全ての登
録物体の３次元形状を測定しなくても、代表的な３次元
形状データを代わりに用いることで、位置姿勢推定処理
および照明補正処理が行えることを利用している。

【０１０６】平均形状の生成に利用できる方法の一例と
して、次のような方法がある。ここでは、２つの物体の
平均形状を求める例をもって説明する。まず、物体１お
よび物体２の３次元形状を測定する。そして、図１１
（ａ）に示すように、２つの物体の３次元形状を重心を
一致させるように平行移動し、ｚ軸に垂直な断面を考
え、断面を適当な間隔でｚ軸方向に動かしながら、各断
面上で平均形状を計算する。図１１（ｂ）に示すよう
に、断面上で重心から物体の外側に向かった直線である
平均計算軸を考え、物体１および物体２の形状との交
点をＰ１，Ｐ２とする。平均形状である点Ｐｍの３次元
座標は、２つの物体表面上の点Ｐ１，Ｐ２の３次元座標
（ｘ_１，ｙ_１，ｚ_１），（ｘ_２，ｙ_２，ｚ_２）を平均し
たとする。この処理を平均計算軸を重心の周りに適当な間
隔で回転しながら繰り返し行っていくことにより、物体
１および物体２の平均形状が生成できる。３次元形状測
定処理では、該平均形状を出力する。

【０１０７】この方法は、照合対象とする物体の数が３
個以上になっても適用できる。また、平均形状を求める
方法は、この他にも様々なものが利用可能である。

【０１０８】照合過程においては、データ記憶処理から
前記平均形状を読み出し、各登録物体の３次元形状に代
用する。

【０１０９】（５）第５の実施の形態本発明の第５の実施の形態に係る発明の物体照合方法
は、図１２に示す第５の実施例の物体照合装置で実行さ
れるものであり、前記登録過程において、登録データに
登録物体の特徴的な部位の位置情報を付与して登録する
こと特徴とする。

【０１１０】第７の実施の形態に係る発明では、登録物
体の特徴点の位置を抽出して登録データとして記憶し、
入力画像の特徴点の３次元座標を登録データから知るこ
とができれば、前記特徴点の画像上の位置および３次元
座標を用いて入力画像中の対象物体の位置姿勢および撮
像装置のパラメタを自動的に求めることができることを
利用している。

【０１１１】複数の点について画像上の位置および３次
元座標が既知である場合に入力画像中の対象物体の位置
姿勢および撮像装置のパラメタを自動的に求める方法と
しては、カメラキャリブレーションの方法が利用でき
る。これには多くの方法があり、一例として、文献１２
（「An Efficient and Accurate Camera Calibration
Technique for ３D Machine Vision」,Roger Y. Tsai,
Proc. CVPR'86, pp.364-374,1986）に記載の方法がある
が、ここでは詳細については省略する。

【０１１２】（６）第６実施の形態本発明の第６の実施の形態に係る発明の物体照合方法
は、図１５に示す第６の実施例の物体照合装置で実行さ
れるものであり、第１ないし第４の実施の形態に係る発
明の物体照合方法において、登録物体の３次元形状の測
定を行わず、別途図面等から３次元形状を入力するもの
である。

【０１１３】第６の実施の形態に係る発明では、登録物
体の３次元形状が、その物体の設計図などとして図面や
データとして存在する場合には、登録物体の測定を行わ
なくとも、図面などからデータを入力することにより登
録過程が行えることを利用している。

【０１１４】一例として、照合対象となる物体が工業製
品などの設計図の存在する物体である場合や、建築物な
どの３次元形状の測定が一般の３次元形状計測装置では
困難であり別途測量等を行い形状を測定する場合には、
図面等から登録物体の３次元形状を入力できる。

【０１１５】また、第６の実施の形態に係る発明の物体
照合方法は、登録物体の反射率の測定を行わず、別途図
面等から反射率や色情報を入力するものである。

【０１１６】第６の実施の形態に係る発明では、物体表
面の反射率や色情報などが、その物体の設計図などとし
て図面やデータとして存在する場合には、前記反射率な
どの測定や撮影を行わなくとも、図面などからデータを
入力することにより登録過程が行えることを利用してい
る。

【０１１７】この一例として、照合対象となる物体が工
業製品などの物体表面の各部位の塗装の反射率が既知の
物体である場合に、図面等から物体の３次元形状を入力
できることを利用している。

【０１１８】

【実施例】・第１の実施例図１は、本発明の第１の実施例の物体照合装置の構成を
示すブロック図である。本実施例の物体照合装置は、登
録物体測定手段１１０，照明変動テクスチャ群生成手段
１２０，テクスチャ空間生成手段１３０，およびデータ
記憶手段１４０を含む登録部１００と、撮影手段２１
０，位置姿勢推定手段２２０，照明変動空間生成手段２
３０，距離計算手段２４０，および照合判定手段２５０
を含む照合部２００とから構成されている。

【０１１９】図２は、第１の実施例の物体照合装置の具
体的な構成例を示す図である。登録部１００には、３次
元形状測定装置，登録処理装置，データベース記憶装置
等が含まれている。また、照合部２００には、カメラ，
照合処理装置等が含まれている。

【０１２０】図１に示されるように、登録部１００で
は、物体の３次元形状およびテクスチャ空間を記憶して
おく。照合部２００では、ビデオカメラなどの撮像装置
を用いて２次元の画像を撮影し、照合処理を行う処理装
置に取り込み、登録物体との照合処理を行う。

【０１２１】まず、登録部１００において、物体の照合
に用いる登録データとして、物体の３次元形状，および
様々な照明条件の下でのテクスチャの変動を包含するテ
クスチャ空間を記憶しておく。

【０１２２】登録物体測定手段１１０は、３次元形状測
定装置を用いて物体の３次元形状と、該３次元形状に対
応する物体表面の反射率またはこれに相当する色情報と
を測定する。これには、例えば、文献９記載の３次元形
状測定装置を利用できる。この他にも、様々な装置が利
用可能である。

【０１２３】照明変動テクスチャ群生成手段１２０は、
図４に示すように、テクスチャ座標系生成手段１２１
と、照明条件変化手段１２２と、陰影計算手段１２３と
を備える。

【０１２４】テクスチャ座標系生成手段１２１は、物体
の位置姿勢によらない物体表面上の各点の位置を表す座
標系としてテクスチャ座標系を設定し、該テクスチャ座
標（ｓ，ｔ）に対する物体表面の形状（３次元座標）お
よび反射率を出力する。このテクスチャ座標系の設定方
法には様々な方法を用いることができるが、ここでは一
例として球面への投影を用いる手法を説明する。図３に
示すように、物体の重心を中心として物体を覆う球を考
え、物体表面上の各点Ｐを重心を中心として前記球表面
上へ投影し、投影された点Ｑの経度，緯度（ｓ，ｔ）を
テクスチャ座標とする手法が利用できる。この手法は、
あくまで一例であり、この他にも登録する物体の形状に
適した様々な手法を利用可能である。

【０１２５】照明条件変化手段１２２は、照明変動空間
を近似するのに十分な数の照明条件群を設定する。例え
ば、無限遠にある１つの点光源を考え、図５に示すよう
な物体を中心とした球面の経度，緯度を表す（θ，φ）
の角度で光源の方向を示すとし、経度θおよび緯度φを
１０°おきに−９０°から９０°まで変化させ、３６１
種類の照明条件群を設定する。この光源の種類，および
照明方向の設定間隔や範囲の決め方は一例であり、種々
変更可能である。

【０１２６】陰影計算手段１２３は、物体ｊの３次元形
状および反射率を読み込み、照明条件変化手段１２２か
ら入力される照明条件群における照明変動テクスチャ群
を、コンピュータグラフィックスなどの機能を使って生
成する。この処理は、一例として、グラフィックス機能
を備えたコンピュータの基本機能をもって実現できる。
コンピュータグラフィックスを用いた画像生成において
は、様々な物体表面の反射モデル，カメラモデル等を使
うことができる。一例としては、カメラモデルとしてピ
ンホールカメラモデル，物体表面の反射モデルとして完
全散乱モデルを用いることができる。これらのモデルは
一例であり、光線追跡処理を行って影を付けたり、てか
りを付けるために他の様々な反射モデルを用いることも
できる。この画像生成処理において、物体表面の反射特
性や光源などのモデルをより現実に近い正確なものとす
ることで、照合性能を向上させることができる。また、
この画像生成は、コンピュータグラフィックスを用いな
くとも、数値計算によって実現可能である。

【０１２７】テクスチャ空間生成手段１３０は、前記生
成された照明変動テクスチャ群から、照明条件が様々に
変動した場合のテクスチャの変動を包含するような画像
空間であるテクスチャ空間を計算する。

【０１２８】これには様々な手法が利用可能であるが、
本実施例では主成分分析を利用して、テクスチャ空間を
低次元の線形空間として表す方法を用いる例を示す。

【０１２９】照明変動テクスチャ群生成手段１２０で生
成された照明変動テクスチャ群からテクスチャ空間を前
記数３に従って計算し、計算された基底ベクトル群を物
体のテクスチャ空間Ψ_ｊとして出力する。本実施例で
は、固有値の大きい順にＭ個の基底ベクトルを求め、物
体ｊのテクスチャ空間Ψ_ｊとして出力する。この基底ベ
クトルの数Ｍを一例として前記数４で計算される累積
寄与率が９５％を超える数として決定するには、照明変
動テクスチャ群の画像の数に等しい３６１または画素数
がそれ以下である場合は画素数の数をＮとし、Ｎ個の固
有値を求め、となる数Ｍを求めて決定する。数Ｍの決定法は、他にも
様々な基準を適用して決めることが可能である。

【０１３０】データ記憶手段１４０では、登録された各
物体の３次元形状およびテクスチャ空間を記憶保持し、
照合部２００の処理のために適時読み出す。

【０１３１】以上の登録部１００の処理を行った物体に
対して、以下の照合部２００において画像を用いた物体
照合処理を行う。

【０１３２】照合部２００において、カメラなどの撮像
装置を利用して対象物体の入力画像を撮影し、照合手段
である処理装置に取り込む。

【０１３３】撮影手段２１０では、カメラやビデオカメ
ラなどの撮像装置を用いて対象物体の入力画像が撮影さ
れる。

【０１３４】位置姿勢推定手段２２０では、入力画像を
撮影したときの撮影条件である物体の位置姿勢や撮像装
置のパラメタ等を推定する。例えば、位置姿勢パラメタ
として、物体の平行移動距離（Ｔ_ｘ，Ｔ_ｙ，Ｔ_ｚ），回
転角度（Ｒ_ｘ，Ｒ_ｙ，Ｒ_ｚ），カメラの焦点距離ｆ，お
よび視野角αを用いる。そして、これらのパラメタを利
用者が画面を見ながら手動で調整できるような対話型の
インタフェースを処理装置上に備えておく。例えば、画
面には前記８つのパラメタを用いてコンピュータグラフ
ィックスにより生成された登録物体の画像と対象物体の
入力画像とがスーパーインポーズ法により重ね合わされ
て表示されている。利用者は、２つの画像がぴったり重
なるように前記８つのパラメタの値を調節し、適切なパ
ラメタを決定する。この対話型のインタフェースについ
ては一例であり、様々な形態のものが利用可能である。
また、このような対話型インタフェースを用いなくと
も、自動的に位置姿勢パラメタの計算を行ってもよい。

【０１３５】照明変動空間生成手段２３０では、前記位
置姿勢推定手段２２０の結果を利用して、入力画像と同
じ位置姿勢で、様々な照明条件の下での物体の画像変動
を包含する画像空間である照明変動空間を生成する。す
なわち、登録されているテクスチャ空間Ψ_ｊを推定され
た位置姿勢に合わせて変換することにより、照明変動空
間を生成する。この変換には様々な手法が利用可能であ
るが、一例として、テクスチャ空間の座標系から入力画
像の座標系への変換を求めて照明変動空間を生成する、
次のような手法を利用可能である。

【０１３６】登録されているテクスチャ空間Ψ_ｊの各基
底ベクトルの各要素の値を要素が対応する物体表面の輝度値とし、
登録されている３次元形状を用いて前記推定された位置
姿勢における画像群を生成する。この工程は、コンピュ
ータグラフィックスの標準的機能のみで処理できるため
高速な演算が可能である。生成された各画像をそのまま
基底ベクトルとすれば、該基底ベクトル群が張る空間として照明変動空間Ψ’_ｊが生成できる。生
成された基底ベクトル群を正規直交化し、正規直交系をなす基底ベクトル群を計算する。

【０１３７】距離計算手段２４０では、照明変動空間
Ψ’_ｊ内でもっとも入力画像に近い画像として比較画像を前記数５で生成し、該比較画像と入力画像との距離の評価値Ｄを前記数６で計算し出力する。

【０１３８】照合判定手段２５０では、前記評価値Ｄを
入力画像と登録データとの類似度の評価値とし、これに
基づいて、対象物体が登録物体であるかどうかの確認，
登録物体のうちのどの物体であるかの検索，登録物体の
うちの似ている物体の検索などの処理を行う判定処理を
行う。例えば、簡単な閾値処理で対象物体が登録物体で
あるかの確認を行う場合は、ある閾値Ｄ’を定めてお
き、Ｄ＜Ｄ’であれば対象物体が登録物体であると決定
する。

【０１３９】以上の距離の計算方法や照合判定方法はあ
くまで一例であり、この他にも様々な手法を適用可能で
ある。

【０１４０】・第２の実施例図７は、本発明の第２の実施例の物体照合装置の構成を
示すブロック図である。本実施例の物体照合装置は、３
次元形状測定手段２１１０，テクスチャ撮影手段２１２
１，テクスチャ空間生成手段１３０，およびデータ記憶
手段１４０を含む登録部２１００と、撮影手段２１０，
位置姿勢推定手段２２０，照明変動空間生成手段２３
０，距離計算手段２４０，および照合判定手段２５０を
含む照合部２００とから構成されている。

【０１４１】第２実施例の物体照合装置は、第１の実施
例の物体照合装置と比較し、登録物体測定手段１１０に
おいて反射率を測定する代わりに、テクスチャ撮影手段
２１２１を追加し複数の照明条件の下で画像を撮影して
おき、それらの画像を反射率の代わりに用いて照明変動
テクスチャ群を生成する点，および照明条件変化手段１
２２がない点が異なる。

【０１４２】まず、登録部２１００において、登録物体
の登録データとして、登録物体の３次元形状，および複
数の照明条件の下での画像データを登録しておく。

【０１４３】３次元形状測定手段２１１０では、前記第
１の実施例における登録物体測定手段１１０と同様に、
文献９記載の３次元形状測定装置を用いて登録物体の３
次元形状を測定するが、反射率は測定しない。

【０１４４】テクスチャ撮影手段２１２１では、前記第
１の実施例における照明条件変化手段１２２から出力さ
れる照明条件と同等な照明条件を実際に設定して登録物
体の画像群を撮影し、前記照明変動テクスチャ群生成手
段１２０と同等の手法によって前記３次元形状を用いて
テクスチャ座標系を生成し、該テクスチャ座標系に前記
画像群を変換することにより照明変動テクスチャ群とし
て出力する。例えば、登録物体の前方に登録物体を中心
とした半球型のやぐらを設置し、適当な間隔で適当な数
のランプを取り付ける。一例としては、登録物体に対し
て、図５に示される角度（θ，φ）において、θ，φに
ついて−９０度から９０度までの範囲でそれぞれ１５度
間隔にランプを取り付け、各ランプを点灯させながら１
枚ずつ画像を撮影する。この撮影方法および照明位置の
設定方法は一例であり、この他にもランプをマニピュレ
ータに取り付けて移動させながら画像を撮影するなど様
々な方法が利用可能である。テクスチャ撮影手段２１２
１は、前記の方法により撮影した画像群を照明変動テク
スチャ群として出力する。

【０１４５】テクスチャ空間生成手段１３０およびデー
タ記憶手段１４０は、第１の実施例とまったく同等であ
る。

【０１４６】以下の照合部２００は、第１の実施例にお
ける照合部２００と同等である。

【０１４７】・第３実施例図８は、本発明の第３の実施例の物体照合装置の構成を
示すブロック図である。本実施例の物体照合装置は、登
録物体測定手段１１０，照明変動テクスチャ群生成手段
１２０，テクスチャ空間生成手段１３０，およびデータ
記憶手段１４０を含む登録部１００と、撮影手段２１
０，位置姿勢推定手段２２０，入力テクスチャ生成手段
２３１，距離計算手段２４１，および照合判定手段２５
０を含む照合部３２００とから構成されている。

【０１４８】登録部１００は、第１の実施例における登
録部１００と同等である。

【０１４９】照合部３２００は、第１の実施例における
照合部２００に比較し、前記照明変動空間生成手段２３
０がない代わりに、入力テクスチャ生成手段２３１があ
り、また、距離計算手段２４１が入力画像を変換した入
力テクスチャとテクスチャ空間との距離を計算する点が
異なる。

【０１５０】撮影手段２１０から位置姿勢推定手段２２
０までの処理は、第１の実施例とまったく同等であ
る。

【０１５１】入力テクスチャ生成手段２３１では、前記
位置姿勢推定手段２２０の結果を利用して、入力画像
の各画素をテクスチャ座標に変換し変形することで入力
テクスチャを生成する。この変換には様々な手法が利用
可能であるが、一例として、入力画像の座標系（ｕ，
ｖ）からテクスチャ空間の座標系（ｓ，ｔ）への変換を
求めて照明変動空間を生成する次のような手法を利用可
能である。

【０１５２】登録されている３次元形状に対し、物体表
面の色としてテクスチャ座標（ｓ，ｔ）によって唯一に
決まる色を割り当てた仮想物体を定義し、前記推定され
た位置姿勢にあるときの画像を生成する。この処理は、
コンピュータグラフィックスの標準的機能のみで処理で
きるため高速な演算が可能である。生成された画像の各
画素Ｒ（ｕ，ｖ）の色を見ればテクスチャ座標Ｑ（ｓ，
ｔ）がわかるので、図９に示すように入力画像の座標
系（ｕ，ｖ）からテクスチャ座標（ｓ，ｔ）への座標変
換が求められる。入力画像上で照合に用いるすべての画
素についてこの変換を適用し、入力テクスチャを生成する。

【０１５３】距離計算手段２４１では、テクスチャ空間
Ψ_ｊ内でもっとも入力テクスチャに近いテクスチャとして比較テクスチャを生成し、該比較テクスチャと入力テクスチャとの距離の評価値Ｄを出力する。

【０１５４】登録されているテクスチャ空間Ψ_ｊを読み
込み、各基底ベクトルのうち、入力画像で、見えていない領域（図９の領域
Ｂ）を除き、前記入力テクスチャの生成時に入力画像と対応がついた画素（図９の領域
Ａ）に対応する要素のみを抜き出し、該要素を並べたベ
クトルを生成する。

【０１５５】テクスチャ空間Ψ_ｊと入力テクスチャとの距離Ｄは、数７のように入力テクスチャをの線形和で表したときの誤差の最小値として最小二乗法
で計算できる。

【０１５６】

【数７】

【０１５７】・第４の実施例図１０は、本発明の第４の実施例の物体照合装置の構成
を示すブロック図である。本実施例の物体照合装置は、
登録物体測定手段１１０，平均形状生成手段１１１，照
明変動テクスチャ群生成手段１２０，テクスチャ空間生
成手段１３０，およびデータ記憶手段１４１を含む登録
部４１００と、撮影手段２１０，位置姿勢推定手段２２
０，照明変動空間生成手段２３０，距離計算手段２４
０，および照合判定手段２５０を含む照合部２００とか
ら構成されている。

【０１５８】第４の実施例の物体照合装置は、第１の実
施例の物体照合装置と比較し、登録部４１００において
複数の登録物体を登録する場合に、登録物体測定手段１
１０で全ての登録物体の３次元形状を測定する代わり
に、１つないし少数の登録物体の３次元形状を計測する
だけで、平均形状生成手段１１１において該１つないし
少数の登録物体の３次元形状の平均となる平均形状を出
力し、照合対象となる全ての物体の形状は計測しない
点，および照合部２００において前記平均の３次元形状
を利用する点が異なる。

【０１５９】以下では、物体１および物体２の２つの登
録物体を登録する例を用いて説明する。

【０１６０】まず、登録部４１００において、物体の照
合に用いる登録データとして、物体１および物体２の２
つの登録物体について、平均形状，およびそれぞれのテ
クスチャ空間を登録しておく。

【０１６１】登録物体測定手段１１０では、文献９記載
の３次元形状測定装置を用いて、物体１および物体２の
３次元形状を測定する。

【０１６２】平均形状生成手段１１１では、図１１
（ａ）に示すように、２つの物体１および物体２の３次
元形状を重心を一致させるように平行移動し、ｚ軸に垂
直な断面を適当な間隔で設定し、それぞれの断面上で平
均形状を計算する。図１１（ｂ）に示すように、断面上
で重心から物体の外側に向かって平均計算軸となる直線
を考え、物体１および物体２の形状との交点をＰ１，Ｐ
２とする。平均形状である点Ｐｍの３次元座標は、２つ
の物体表面上の点Ｐ１，Ｐ２の３次元座標（ｘ_１，
ｙ _１，ｚ_１），（ｘ_２，ｙ_２，ｚ_２）を平均したとする。この処理を平均計算軸を重心の周りに回転しな
がら適当な間隔で行うことにより、物体１および物体
２の平均形状が生成できる。平均形状生成手段１１１で
は、該平均形状を出力する。

【０１６３】以下の処理では、前記平均形状を個々の物
体の３次元形状の代わりに用い、データ記憶手段１４１
では、前記平均形状および各物体のテクスチャ空間を記
憶すること以外は、すべて第１の実施例と同等である。

【０１６４】照合部２００における処理は、物体１およ
び物体２の形状としてデータ記憶手段１４１から読み出
される３次元形状が前記平均形状である点のみが第１の
実施例と異なり、他の処理は全て同様である。

【０１６５】以上、第４の実施例では２つの登録物体を
登録する際にその平均形状を記憶する例を説明したが、
これはあくまで１例であり、登録物体の数が３つ以上に
なったり、そのうちの任意の数の登録物体の平均形状を
求めて利用することも同様の処理により可能である。

【０１６６】・第５の実施例図１２は、本発明の第５の実施例の物体照合装置の構成
を示すブロック図である。本実施例の物体照合装置は、
登録物体測定手段１１０，照明変動テクスチャ群生成手
段１２０，テクスチャ空間生成手段１３０，データ記憶
手段１４３，および特徴点位置抽出手段１５０を含む登
録部５１００と、撮影手段２１０，位置姿勢推定手段２
２１，照明変動空間生成手段２３０，距離計算手段２４
０，および照合判定手段２５０を含む照合部５２００と
から構成されている。

【０１６７】第５の実施例の物体照合装置は、第１の実
施例の物体照合装置と比較し、登録部５１００におい
て、登録物体の画像上で輝度値が大きく変化するなどの
特徴的な点の位置を抽出し特徴点位置として出力する特
徴点位置抽出手段１５０が追加されている点，データ
記憶手段１４３において前記特徴点位置も記憶する点，
および照合部５２００の位置姿勢推定手段２２１におい
てデータ記憶手段１４３から前記特徴点位置を読み込み
対象物体の位置姿勢を自動的に推定する点が異なる。

【０１６８】第５の実施例では、照合対象となる物体の
一例として人の顔を用いる。

【０１６９】まず、登録部５１００において、物体の照
合に用いる登録データとして、登録物体の３次元形状お
よび反射率を測定し、該３次元形状および反射率などか
ら登録物体の特徴点の３次元座標を求め、前記３次元形
状，テクスチャ空間，および特徴点位置を登録してお
く。

【０１７０】登録物体測定手段１１０では、３次元形状
測定装置を用いて登録物体の３次元形状および反射率を
測定する。本実施例では、３次元形状測定装置の一例と
して、文献９記載の３次元形状測定装置を用いるが、こ
の他にも様々な装置が利用可能である。

【０１７１】特徴点位置抽出手段１５０では、登録物体
の画像上で輝度値が大きく変化する部分など、特徴的な
領域や点（特徴点）の位置を検出し、その３次元座標を
特徴点位置として出力する。一例として、人物の顔を照
合対象となる物体とする場合には、目じりや口元などの
反射率が大きく変化している部位や鼻の頭などの３次元
形状が大きく変化している部位を検出する。これは、手
動で行うこともできるし、自動的に行う方法として前記
文献２（特許第２８７２７７６号「顔画像照合装
置」）や、文献４（特開平６-１６８３１７号公報「個
人識別装置」）記載の方法などの様々な方法を利用でき
る。本実施例では、図１４に示すような位置の１２個の
点（０〜１１）を特徴点として用いる。これらの特徴点
の定義は、照合対象となる物体により様々に変更可能で
あることはいうまでもない。以下では、これら特徴点の
３次元座標である特徴点位置を、で表す。

【０１７２】データ記憶手段１４３では、各登録物体の
３次元形状，テクスチャ空間，および特徴点位置を記憶
保持し、照合部５２００の処理のために適時読み出す。

【０１７３】以上の登録部５１００の処理を行った登録
物体に対して、以下の照合部５２００において対象物体
の入力画像を用いた物体照合処理を行う。

【０１７４】撮影手段２１０では、カメラやビデオカメ
ラなどの撮像装置を用いて対象物体の入力画像が撮影さ
れる。

【０１７５】位置姿勢推定手段２２１では、入力画像を
撮影したときの撮影条件である対象物体の位置姿勢や撮
像装置のパラメタ等を推定する。

【０１７６】図１３を参照すると、位置姿勢推定手段２
２１は、さらに、特徴点抽出手段２２２と、位置姿勢計
算手段２２３とから構成されている。

【０１７７】特徴点抽出手段２２２では、前記登録部５
１００における特徴点位置抽出手段１５０で抽出した特
徴点群と同じ特徴点の位置を入力画像から抽出し、入力画像上
での位置を入力画像特徴点位置として出力する。これは、人が処
理装置の画面上に表示された入力画像を見ながら手動で
入力することもできるし、前記文献４および文献５に記
載の方法などの前記特徴点位置抽出手段１５０で用いた
のと同様の様々な方法を利用可能である。本実施例は、
人の顔を照合する場合を一例として挙げているが、例え
ば多面体形状の物体を照合対象とする場合には頂点が特
徴点として利用でき、画像からエッジを抽出し、それら
の交点として多面体の頂点を検出することができる。ま
た、物体表面に特徴的な模様がある場合などには、その
模様の位置を利用することもできる。

【０１７８】位置姿勢計算手段２２３では、前記入力画
像特徴点位置と、データ記憶手段１４３から読み出す特
徴点位置とを利用し、入力画像中にある対象物体の位置
姿勢や撮像装置のパラメタなどを計算し、位置姿勢とし
て出力する。この計算には前記文献５の方法など様々な
方法が利用可能であるが、本実施例では一例として位置
姿勢のパラメタとして対象物体の平行移動距離（Ｔ_ｘ，
Ｔ_ｙ，Ｔ_ｚ），ｘ，ｙ，ｚ軸の周りの回転角度（Ｒ_ｘ，
Ｒ_ｙ，Ｒ_ｚ），およびカメラの焦点距離ｆをとり、カメ
ラモデルとしてピンホールカメラを用いて、次のような
方法で行う。前記のように、焦点距離ｆなどの撮像装置
のパラメタも含めて位置姿勢と呼ぶ。特徴点位置と入力画像特徴点位置との間の関係は、数８で表される。

【０１７９】

【数８】

【０１８０】ただし、ここで、ａ，ｂ，ｃは、数９で表
される値である。

【０１８１】

【数９】

【０１８２】Ｒは、数１０で表される回転を表す行列で
ある。

【０１８３】

【数１０】

【０１８４】１２個の各特徴点についての前記数８で計
算される値と入力画像特徴点位置の値との誤差の総和が
最小になるように、Ｒ_ｘ，Ｒ_ｙ，Ｒ_ｚ，Ｔ_ｘ，Ｔ_ｙ，Ｔ
_ｚ，ｆを最適化計算により求める。この最適化の計算に
は、様々な方法が利用できる。求めたＲ_ｘ，Ｒ_ｙ，
Ｒ_ｚ，Ｔ_ｘ，Ｔ_ｙ，Ｔ_ｚ，ｆを位置姿勢パラメタとして
出力する。

【０１８５】前記の位置姿勢パラメタやカメラモデルの
定義および計算方法はあくまで一例であり、この他にも
様々な方法を利用可能である。

【０１８６】照明変動空間生成手段２３０以下の処理に
ついては、第１の実施例と同等である。

【０１８７】・第６の実施例図１５は、本発明の第６の実施例の物体照合装置の構成
を示すブロック図である。本実施例の物体照合装置は、
登録物体入力手段１１２，照明変動テクスチャ群生成手
段１２０，テクスチャ空間生成手段１３０，およびデー
タ記憶手段１４０を含む登録部６１００と、撮影手段２
１０，位置姿勢推定手段２２０，照明変動空間生成手段
２３０，距離計算手段２４０，および照合判定手段２５
０を含む照合部２００とから構成されている。

【０１８８】第６の実施例の物体照合装置は、照合対象
の物体が工業製品であり、その形状の設計図がＣＡＤ
（Computer Aided Design）データとして保存されてお
り、表面の塗装の仕様がデザイン図によって決められて
いるとする。このため、第６の実施例の物体照合装置
は、図１に示した第１の実施例の物体照合装置と比較
し、登録物体入力手段１１２において、設計図のＣＡＤ
データから３次元形状を、デザイン図から反射率を読み
込む点が異なる。

【０１８９】登録物体入力手段１１２は、設計図のＣＡ
Ｄデータを、照合部２００で扱えるデータ形式に変換し
て３次元形状として出力する。また、デザイン図から登
録物体の各部の色，表面の仕上げの方法などを読み込
み、反射率に変換して出力する。照合部２００について
は、第１の実施例と全く同等である。

【０１９０】・第７の実施例図１６は、本発明の第７の実施例の物体照合装置の構成
を示すブロック図である。本実施例の物体照合装置は、
図１に示した第１の実施例の物体照合装置に対して、登
録部１００に登録プログラムを記録した記録媒体１００
０を備え、照合部２００に照合プログラムを記録した記
録媒体２０００を備える点が異なっている。これらの記
録媒体１０００，２０００は、磁気ディスク，半導体メ
モリ，その他の記録媒体であってよい。

【０１９１】登録プログラムは、記録媒体１０００から
登録部１００を構成するコンピュータに読み込まれ、当
該コンピュータの動作を登録物体測定手段１１０，照明
変動テクスチャ群生成手段１２０，テクスチャ空間生成
手段１３０，およびデータ記憶手段１４０として制御す
る。登録プログラムの制御による登録部１００の動作
は、第１の実施例における登録部１００の動作と全く同
様になるので、その詳しい説明を割愛する。

【０１９２】また、照合プログラムは、記録媒体２００
０から照合部２００を構成するコンピュータに読み込ま
れ、当該コンピュータの動作を撮影手段２１０，位置姿
勢推定手段２２０，照明変動空間生成手段２３０，距離
計算手段２４０，および照合判定手段２５０を含む照合
部２００として制御する。照合プログラムの制御による
照合部２００の動作は、第１の実施例における照合部２
００の動作と全く同様になるので、その詳しい説明を割
愛する。

【０１９３】・第８の実施例図１７は、本発明の第８の実施例の物体照合装置の構成
を示すブロック図である。本実施例の物体照合装置は、
図７に示した第２の実施例の物体照合装置に対して、登
録部２１００に登録プログラムを記録した記録媒体１０
１０を備え、照合部２００に照合プログラムを記録した
記録媒体２０００を備える点が異なっている。これらの
記録媒体１０１０，２０００は、磁気ディスク，半導体
メモリ，その他の記録媒体であってよい。

【０１９４】登録プログラムは、記録媒体１０１０から
登録部２１００を構成するコンピュータに読み込まれ、
当該コンピュータの動作を３次元形状測定手段２１１
０，テクスチャ撮影手段２１２１，テクスチャ空間生成
手段１３０，およびデータ記憶手段１４０として制御す
る。登録プログラムの制御による登録部２１００の動作
は、第２の実施例における登録部２１００の動作と全く
同様になるので、その詳しい説明を割愛する。

【０１９５】また、照合プログラムは、記録媒体２００
０から照合部２００を構成するコンピュータに読み込ま
れ、当該コンピュータの動作を撮影手段２１０，位置姿
勢推定手段２２０，照明変動空間生成手段２３０，距離
計算手段２４０，および照合判定手段２５０を含む照合
部２００として制御する。照合プログラムの制御による
照合部２００の動作は、第２の実施例における照合部２
００の動作と全く同様になるので、その詳しい説明を割
愛する。

【０１９６】・第９の実施例図１８は、本発明の第８の実施例の物体照合装置の構成
を示すブロック図である。本実施例の物体照合装置は、
図８に示した第３の実施例の物体照合装置に対して、登
録部１００に登録プログラムを記録した記録媒体１００
０を備え、照合部３２００に照合プログラムを記録した
記録媒体２０１０を備える点が異なっている。これらの
記録媒体１０００，２０１０は、磁気ディスク，半導体
メモリ，その他の記録媒体であってよい。

【０１９７】登録プログラムは、記録媒体１０００から
登録部１００を構成するコンピュータに読み込まれ、当
該コンピュータの動作を登録物体測定手段１１０，照明
変動テクスチャ群生成手段１２０，テクスチャ空間生成
手段１３０，およびデータ記憶手段１４０として制御す
る。登録プログラムの制御による登録部１００の動作
は、第３の実施例における登録部１００の動作と全く同
様になるので、その詳しい説明を割愛する。

【０１９８】また、照合プログラムは、記録媒体２０１
０から照合部３２００を構成するコンピュータに読み込
まれ、当該コンピュータの動作を撮影手段２１０，位置
姿勢推定手段２２０，入力テクスチャ生成手段２３１，
距離計算手段２４１，および照合判定手段２５０を含む
照合部３２００として制御する。照合プログラムの制御
による照合部３２００の動作は、第３の実施例における
照合部３２００の動作と全く同様になるので、その詳し
い説明を割愛する。

【０１９９】・第１０の実施例図１９は、本発明の第１０の実施例の物体照合装置の構
成を示すブロック図である。本実施例の物体照合装置
は、図１０に示した第４の実施例の物体照合装置に対し
て、登録部４１００に登録プログラムを記録した記録媒
体１０２０を備え、照合部２００に照合プログラムを記
録した記録媒体２０００を備える点が異なっている。こ
れらの記録媒体１０２０，２０００は、磁気ディスク，
半導体メモリ，その他の記録媒体であってよい。

【０２００】登録プログラムは、記録媒体１０２０から
登録部４１００を構成するコンピュータに読み込まれ、
当該コンピュータの動作を登録物体測定手段１１０，平
均形状生成手段１１１，照明変動テクスチャ群生成手段
１２０，テクスチャ空間生成手段１３０，およびデータ
記憶手段１４１として制御する。登録プログラムの制御
による登録部４１００の動作は、第４の実施例における
登録部４１００の動作と全く同様になるので、その詳し
い説明を割愛する。

【０２０１】また、照合プログラムは、記録媒体２００
０から照合部２００を構成するコンピュータに読み込ま
れ、当該コンピュータの動作を撮影手段２１０，位置姿
勢推定手段２２０，照明変動空間生成手段２３０，距離
計算手段２４０，および照合判定手段２５０を含む照合
部２００として制御する。照合プログラムの制御による
照合部２００の動作は、第４の実施例における照合部２
００の動作と全く同様になるので、その詳しい説明を割
愛する。

【０２０２】・第１１の実施例図２０は、本発明の第１１の実施例の物体照合装置の構
成を示すブロック図である。本実施例の物体照合装置
は、図１２に示した第５の実施例の物体照合装置に対し
て、登録部５１００に登録プログラムを記録した記録媒
体１０３０を備え、照合部５２００に照合プログラムを
記録した記録媒体２０２０を備える点が異なっている。
これらの記録媒体１０３０，２０２０は、磁気ディス
ク，半導体メモリ，その他の記録媒体であってよい。

【０２０３】登録プログラムは、記録媒体１０３０から
登録部５１００を構成するコンピュータに読み込まれ、
当該コンピュータの動作を登録物体測定手段１１０，照
明変動テクスチャ群生成手段１２０，テクスチャ空間生
成手段１３０，データ記憶手段１４３，および特徴点位
置抽出手段１５０として制御する。登録プログラムの制
御による登録部５１００の動作は、第５の実施例におけ
る登録部５１００の動作と全く同様になるので、その詳
しい説明を割愛する。

【０２０４】また、照合プログラムは、記録媒体２０２
０から照合部５２００を構成するコンピュータに読み込
まれ、当該コンピュータの動作を撮影手段２１０，位置
姿勢推定手段２２１，照明変動空間生成手段２３０，距
離計算手段２４０，および照合判定手段２５０を含む照
合部５２００として制御する。照合プログラムの制御に
よる照合部５２００の動作は、第５の実施例における照
合部５２００の動作と全く同様になるので、その詳しい
説明を割愛する。

【０２０５】・第１２の実施例図２１は、本発明の第１２の実施例の物体照合装置の構
成を示すブロック図である。本実施例の物体照合装置
は、図１５に示した第６の実施例の物体照合装置に対し
て、登録部６１００に登録プログラムを記録した記録媒
体１０４０を備え、照合部２００に照合プログラムを記
録した記録媒体２０００を備える点が異なっている。こ
れらの記録媒体１０４０，２０００は、磁気ディスク，
半導体メモリ，その他の記録媒体であってよい。

【０２０６】登録プログラムは、記録媒体１０４０から
登録部６１００を構成するコンピュータに読み込まれ、
当該コンピュータの動作を登録物体入力手段１１３，照
明変動テクスチャ群生成手段１２０，テクスチャ空間生
成手段１３０，およびデータ記憶手段１４０として制御
する。登録プログラムの制御による登録部６１００の動
作は、第６の実施例における登録部６１００の動作と全
く同様になるので、その詳しい説明を割愛する。

【０２０７】また、照合プログラムは、記録媒体２００
０から照合部２００を構成するコンピュータに読み込ま
れ、当該コンピュータの動作を撮影手段２１０，位置姿
勢推定手段２２０，照明変動空間生成手段２３０，距離
計算手段２４０，および照合判定手段２５０を含む照合
部２００として制御する。照合プログラムの制御による
照合部２００の動作は、第２の実施例における照合部２
００の動作と全く同様になるので、その詳しい説明を割
愛する。

【０２０８】本発明は、前記各実施例に述べたように、
一般の物体に対して応用可能であるが、特に自動車の車
種・型式の照合，人物の顔の照合などの応用にも有効で
ある。

【０２０９】以上、本発明を前記各実施例に基づき具体
的に説明したが、本発明は前記各実施例に限定されるも
のではなく、その要旨を逸脱しない範囲において種々変
更可能であることは言うまでもない。

【０２１０】

【発明の効果】以上の説明から明らかなように、本発明
によれば、登録部でのみ登録物体の３次元形状および物
体表面の反射率または適当な照明条件の下での画像を計
測すればよく、照合部における撮影手段としてはビデオ
カメラなどの通常の２次元画像を撮影する撮像装置があ
るだけで十分であり、照合段階において３次元形状測定
装置を必要とせずに実用的な装置を構成できる。

【０２１１】また、登録物体の３次元形状が登録されて
いるので、入力画像における対象物体の３次元的な位置
姿勢の変動に対して完全に補正することができる。さら
に、照明条件の変動に対しても十分な補正を行うことが
できる。

【０２１２】さらに、本発明の照明補正処理は、あらか
じめ登録過程において計算済みである照明変動テクスチ
ャ空間を、入力画像における対象物体の位置姿勢に合わ
せて変換して照明変動空間を生成するため、位置姿勢が
変化しても照明変動テクスチャ群を生成し直す必要がな
く、従来の技術である方法１，方法３よりも高速な処理
で照合判定を行うことができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の物体照合装置の構成を
示すブロック図である。

【図２】本発明の物体照合装置の具体的構成の一例を示
す図である。

【図３】テクスチャ座標系を物体表面に対して定義する
手法の一例を説明する図である。

【図４】図１中の照明変動テクスチャ群生成手段の構成
をより詳細に示すブロック図である。

【図５】照明条件を決める照明の物体に対する方向を表
す角度を説明する図である。

【図６】画像を利用した物体照合装置の例を示した図で
ある。

【図７】本発明の第２の実施例の物体照合装置の構成を
示すブロック図である。

【図８】本発明の第３の実施例の物体照合装置の構成を
示すブロック図である。

【図９】図８中の入力テクスチャ生成手段における入力
画像座標からテクスチャ座標への変換を説明する図であ
る。

【図１０】本発明の第４の実施例の物体照合装置の構成
を示すブロック図である。

【図１１】図１０中の平均形状生成手段における平均形
状の生成方法を説明する図である。

【図１２】本発明の第５の実施例の物体照合装置の構成
を示すブロック図である。

【図１３】図１２中の位置姿勢推定手段のより詳細な構
成を示すブロック図である。

【図１４】照合対象となる物体の特徴点として用いる物
体の部位の一例を示す図である。

【図１５】本発明の第６の実施例の物体照合装置の構成
を示すブロック図である。

【図１６】本発明の第７の実施例の物体照合装置の構成
を示すブロック図である。

【図１７】本発明の第８の実施例の物体照合装置の構成
を示すブロック図である。

【図１８】本発明の第９の実施例の物体照合装置の構成
を示すブロック図である。

【図１９】本発明の第１０の実施例の物体照合装置の構
成を示すブロック図である。

【図２０】本発明の第１１の実施例の物体照合装置の構
成を示すブロック図である。

【図２１】本発明の第１２の実施例の物体照合装置の構
成を示すブロック図である。

【図２２】従来の物体照合技術の一例として、登録時と
照合時とでともに２次元の画像のみを用いる技術の構成
を説明する図である。

【図２３】従来の物体照合技術の一例として、登録時と
照合時とでともに３次元形状を測定する技術の構成を説
明する図である。

【図２４】従来の物体照合技術の一例として、登録時と
照合時とでともに２次元の画像を撮影し、位置姿勢の補
正に標準３次元形状モデルを用いる技術の構成を説明す
る図である。

【図２５】従来の物体照合技術の一例として、登録時に
多数の位置姿勢や照明条件の下で画像を撮影し認識を行
う技術の構成を説明する図である。

【図２６】従来の物体照合技術の一例として、登録時に
複数の照明条件の下で２次元の画像を撮影し照明条件補
正を行う技術の構成を説明する図である。

【図２７】従来の物体照合技術の一例として、登録時に
多数の照明条件の下で２次元の画像を撮影し照明条件補
正を行う技術の構成を説明する図である。

【符号の説明】

１００，２１００，４１００，５１００，６１００登
録部１１０登録物体測定手段１１１平均形状生成手段１１２登録物体入力手段１２０照明変動テクスチャ群生成手段１２１テクスチャ座標系生成手段１２２照明条件変化手段１２３陰影計算手段１３０テクスチャ空間生成手段１４０，１４１，１４３データ記憶手段１５０特徴点位置抽出手段２００，３２００，５２００照合部２１０撮影手段２２０，２２１位置姿勢推定手段２３０照明変動空間生成手段２３１入力テクスチャ生成手段２４０，２４１距離計算手段２５０照合判定手段１０００，１０１０，１０２０，１０３０，１０４０
記録媒体２０００，２０１０，２０２０記録媒体２１１０３次元形状測定手段２１２１テクスチャ撮影手段

Claims

【特許請求の範囲】

【請求項１】登録物体の登録データをデータベースに登
録する登録過程と、対象物体の入力画像に対して前記登
録データとの照合を行う照合過程とを含む物体照合方法
において、前記登録過程が、登録物体の３次元形状，お
よび様々な照明条件の下での物体表面の各位置の輝度や
色情報を表すテクスチャ群で張られる画像空間であるテ
クスチャ空間を記憶する工程であり、前記照合過程が、
対象物体の２次元画像を入力画像として撮影する工程
と、前記入力画像における対象物体の位置姿勢で様々な
照明条件の下での画像群によって張られる画像空間であ
る照明変動空間を前記３次元形状および前記テクスチャ
空間から生成する工程と、前記照明変動空間と前記入力
画像との距離に基づいて対象物体が登録物体であるかど
うかの確認，登録物体のうちのどの物体であるかの検
索，登録物体のうちの似ている物体の検索などの処理を
行う工程とから構成されることを特徴とする物体照合方
法。
【請求項２】登録物体の登録データをデータベースに登
録する登録過程と、対象物体の入力画像に対して前記登
録データとの照合を行う照合過程とを含む物体照合方法
において、前記登録過程が、登録物体の３次元形状およ
び物体表面の反射率を測定する登録物体測定工程と、前
記３次元形状および前記反射率を用いて様々な照明条件
の下での物体表面の各位置の輝度や色情報を表すテクス
チャをコンピュータグラフィックスの技術などを用いて
生成するテクスチャ群生成工程と、前記テクスチャ群で
張られる画像空間であるテクスチャ空間を生成するテク
スチャ空間生成工程と、前記３次元形状および前記テク
スチャ空間を記憶しておく記憶工程とから構成され、前
記照合過程が、ビデオカメラなどの撮像装置を用いて対
象物体の２次元画像を入力画像として撮影する入力画像
撮影工程と、前記入力画像における対象物体の位置姿勢
を推定する位置姿勢推定工程と、前記推定された位置姿
勢と同じ位置姿勢で様々な照明条件の下での画像群によ
って張られる画像空間である照明変動空間を前記３次元
形状および前記テクスチャ空間を用いて生成する照明変
動空間生成工程と、前記入力画像と前記照明変動空間と
の距離を計算する距離計算工程と、前記距離に基づいて
対象物体が登録物体であるかどうかの確認，登録物体の
うちのどの物体であるかの検索，登録物体のうちの似て
いる物体の検索などの処理を行う照合判定工程とから構
成されることを特徴とする物体照合方法。
【請求項３】前記登録物体測定工程が、登録物体の３次
元形状を測定する３次元形状測定工程と、実際に様々な
照明条件を設定して物体表面の各位置の輝度や色情報を
撮影してテクスチャ群を生成するテクスチャ撮影工程と
から構成され、前記テクスチャ群生成工程がなく、前記
撮影したテクスチャ群を代わりに用いることを特徴とす
る請求項２記載の物体照合方法。
【請求項４】前記照明変動空間生成工程がない代わり
に、前記３次元形状および前記推定された位置姿勢を用
いて入力画像をテクスチャに変換する入力テクスチャ生
成工程があり、前記距離計算工程が、前記入力テクスチ
ャと前記テクスチャ空間との距離を計算する工程である
ことを特徴とする請求項２または請求項３記載の物体照
合方法。
【請求項５】前記テクスチャ空間生成工程が、前記テク
スチャ群に主成分分析などの統計的解析を施すことによ
り照明条件に応じてテクスチャ上に現れている変動要因
の大部分を覆うような空間の基底ベクトルである基底テ
クスチャ群を求めることでテクスチャ空間を生成する工
程であり、前記記憶工程が、前記３次元形状および前記
基底テクスチャ群を記憶する工程であり、前記照明変動
空間生成工程が、前記３次元形状，前記基底テクスチャ
群，および前記推定された位置姿勢を用いて照明変動空
間の基底ベクトル群を求める工程であり、前記距離計算
工程が、前記基底ベクトル群と前記入力画像との間の相
関を求め、該相関を元に基底ベクトル群から前記入力画
像に最も近い比較画像を生成し、該比較画像と前記入力
画像との類似度を距離として出力する工程であることを
特徴とする請求項２または請求項３記載の物体照合方
法。
【請求項６】前記テクスチャ空間生成工程が、前記テク
スチャ群に主成分分析などの統計的解析を施すことによ
り、照明条件に応じてテクスチャ上に現れている変動要
因の大部分を覆うような空間の基底ベクトルである基底
テクスチャ群を求めることでテクスチャ空間を生成する
工程であり、前記記憶工程が、前記３次元形状および前
記基底テクスチャ群を記憶する工程であり、前記距離計
算工程が、前記基底テクスチャ群と前記入力テクスチャ
との間の相関を求め、該相関を元に基底テクスチャ群か
ら前記入力テクスチャに最も近い比較テクスチャを生成
し、該比較テクスチャと前記入力テクスチャとの類似度
を距離として出力する工程であることを特徴とする請求
項４記載の物体照合方法。
【請求項７】前記登録過程において複数の登録物体の３
次元形状を測定する代わりに、１つないし少数の３次元
形状を測定するだけで、該１つないし少数の３次元形状
の平均となる平均形状を出力し、照合対象となる全ての
物体の形状は計測せず、反射率の測定が照合対象となる
全ての物体について反射率の計測または１つないし複数
の照明条件の下での画像情報の撮影を行うものであり、
複数の登録物体の３次元形状として前記平均形状だけを
用いることを特徴とする請求項２ないし請求項６記載の
物体照合方法。
【請求項８】前記３次元形状の測定を行わず、別途図面
等から３次元形状を入力しておくことを特徴とする請求
項２ないし請求項６記載の物体照合方法。
【請求項９】前記反射率の測定を行わず、別途図面等か
ら反射率や色情報を入力しておくことを特徴とする請求
項２ないし請求項８記載の物体照合方法。
【請求項１０】前記登録データに登録物体の特徴的な部
位の位置情報を付与して登録すること特徴とする請求項
２ないし請求項９記載の物体照合方法。
【請求項１１】前記照合対象となる物体を、自動車とす
ることを特徴とする請求項２ないし請求項１０記載の物
体照合方法。
【請求項１２】前記照合対象となる物体を、人間の顔と
することを特徴とする請求項２ないし請求項１０記載の
物体照合方法。
【請求項１３】登録物体の３次元形状，および様々な照
明条件の下での物体表面の各位置の輝度や色情報を表す
テクスチャ群で張られる画像空間であるテクスチャ空間
を記憶する登録部と、対象物体の２次元画像を入力画像
として撮影し、前記入力画像における対象物体の位置姿
勢で様々な照明条件の下での画像群によって張られる画
像空間である照明変動空間を前記３次元形状および前記
テクスチャ空間から生成し、該照明変動空間と前記入力
画像との距離に基づいて対象物体が登録物体であるかど
うかの確認，登録物体のうちのどの物体であるかの検
索，登録物体のうちの似ている物体の検索などの処理を
行う照合部とから構成されることを特徴とする物体照合
装置。
【請求項１４】登録物体の登録データを登録する登録部
と、対象物体の入力画像に対して前記登録データとの照
合を行う照合部を備える物体照合装置において、前記登
録部が、登録物体の３次元形状および物体表面の反射率
を測定する登録物体測定手段と、前記３次元形状および
前記反射率を用いて様々な照明条件の下での物体表面の
各位置の輝度や色情報を表すテクスチャをコンピュータ
グラフィックスの技術などを用いて生成するテクスチャ
群生成手段と、前記テクスチャ群で張られる画像空間で
あるテクスチャ空間を生成するテクスチャ空間生成手段
と、前記３次元形状および前記テクスチャ空間を記憶し
ておく記憶手段とを備え、前記照合部が、ビデオカメラ
などの撮像装置を用いて対象物体の２次元画像を入力画
像として撮影する入力画像撮影手段と、前記入力画像に
おける対象物体の位置姿勢を推定する位置姿勢推定手段
と、前記推定された位置姿勢と同じ位置姿勢で様々な照
明条件の下での画像群によって張られる画像空間である
照明変動空間を前記３次元形状および前記テクスチャ空
間を用いて生成する照明変動空間生成手段と、前記入力
画像と前記照明変動空間との距離を計算する距離計算手
段と、前記距離に基づいて対象物体が登録物体であるか
どうかの確認，登録物体のうちのどの物体であるかの検
索，登録物体のうちの似ている物体の検索などの処理を
行う照合判定手段とを備えることを特徴とする物体照合
装置。
【請求項１５】前記登録物体測定手段が、登録物体の３
次元形状を測定する３次元形状測定手段と、実際に様々
な照明条件を設定して物体表面の各位置の輝度や色情報
を撮影してテクスチャ群を生成するテクスチャ撮影手段
とから構成され、前記テクスチャ群生成手段がなく、前
記撮影したテクスチャ群を代わりに用いることを特徴と
する請求項１４記載の物体照合装置。
【請求項１６】前記照明変動空間生成手段がない代わり
に、前記３次元形状および前記推定された位置姿勢を用
いて前記入力画像を入力テクスチャに変換する入力テク
スチャ生成手段があり、前記距離計算手段が、前記入力
テクスチャと前記テクスチャ空間との距離を計算する手
段であることを特徴とする請求項１４または請求項１５
記載の物体照合装置。
【請求項１７】前記テクスチャ空間生成手段が、前記テ
クスチャ群に主成分分析などの統計的解析を施すことに
より照明条件に応じてテクスチャ上に現れている変動要
因の大部分を覆うような空間の基底ベクトルである基底
テクスチャ群を求めることでテクスチャ空間を生成する
手段であり、前記記憶手段が、前記３次元形状および前
記基底テクスチャ群を記憶する手段であり、前記照明変
動空間生成手段が、前記３次元形状，前記基底テクスチ
ャ群，および前記推定された位置姿勢を用いて照明変動
空間の基底ベクトル群を求める手段であり、前記距離計
算手段が、前記基底ベクトル群と前記入力画像との間の
相関を求め、該相関を元に基底ベクトル群から前記入力
画像に最も近い比較画像を生成し、該比較画像と前記入
力画像との類似度を距離として出力する手段であること
を特徴とする請求項１４または請求項１５記載の物体照
合装置。
【請求項１８】前記テクスチャ空間生成手段が、前記テ
クスチャ群に主成分分析などの統計的解析を施すことに
より照明条件に応じてテクスチャ上に現れている変動要
因の大部分を覆うような空間の基底ベクトルである基底
テクスチャ群を求めることでテクスチャ空間を生成する
手段であり、前記記憶手段が、前記３次元形状および前
記基底テクスチャ群を記憶する手段であり、前記距離計
算手段が、前記基底テクスチャ群と前記入力テクスチャ
との間の相関を求め、該相関を元に前記基底テクスチャ
群から前記入力テクスチャに最も近い比較テクスチャを
生成し、該比較テクスチャと前記入力テクスチャとの類
似度を距離として出力する手段であることを特徴とする
請求項１６記載の物体照合装置。
【請求項１９】前記登録部において複数の登録物体の３
次元形状を測定する代わりに、１つないし少数の登録物
体の３次元形状を測定するだけで、該１つないし少数の
３次元形状の平均形状を出力し、登録物体となる全ての
物体の形状は計測せず、反射率の測定が登録物体となる
全ての物体について反射率の計測または１つないし複数
の照明条件の下での画像情報の撮影を行うものであり、
以降の処理においては３次元形状として前記平均形状だ
けを用いることを特徴とする請求項１４ないし請求項１
８記載の物体照合装置。
【請求項２０】前記登録物体測定手段がなく、３次元形
状の測定を行わない代わりに、登録物体入力手段を用い
て別途図面等から３次元形状を入力しておくことを特徴
とする請求項１４ないし請求項１９記載の物体照合装
置。
【請求項２１】前記登録物体測定手段がなく、反射率の
測定を行わない代わりに、登録物体入力手段を用いて別
途図面等から反射率や色情報を入力しておくことを特徴
とする請求項１４ないし請求項２０記載の物体照合装
置。
【請求項２２】前記登録部に、登録物体の特徴的な部位
の位置情報を付与して登録する特徴点位置抽出手段を備
えること特徴とする請求項４ないし請求項２１記載の物
体照合装置。
【請求項２３】前記照合対象となる物体を、自動車とす
ることを特徴とする請求項１４ないし請求項２２記載の
物体照合装置。
【請求項２４】前記照合対象となる物体を、人間の顔と
することを特徴とする請求項１４ないし請求項２２記載
の物体照合装置。
【請求項２５】コンピュータを、登録物体の３次元形状
および物体表面の反射率を測定する登録物体測定手段，
前記３次元形状および前記反射率を用いて様々な照明条
件の下での物体表面の各位置の輝度や色情報を表すテク
スチャをコンピュータグラフィックスの技術などを用い
て生成するテクスチャ群生成手段，前記テクスチャ群で
張られる画像空間であるテクスチャ空間を生成するテク
スチャ空間生成手段，ならびに前記３次元形状および前
記テクスチャ空間を記憶しておく記憶手段として機能さ
せるためのプログラムを記録した記録媒体。
【請求項２６】コンピュータを、ビデオカメラなどの撮
像装置を用いて対象物体の２次元画像を入力画像として
撮影する入力画像撮影手段，前記入力画像における対象
物体の位置姿勢を推定する位置姿勢推定手段，前記推定
された位置姿勢と同じ位置姿勢で様々な照明条件の下で
の画像群によって張られる画像空間である照明変動空間
を登録物体の３次元形状およびテクスチャ空間を用いて
生成する照明変動空間生成手段，前記入力画像と前記照
明変動空間との距離を計算する距離計算手段，ならびに
前記距離に基づいて対象物体が登録物体であるかどうか
の確認，登録物体のうちのどの物体であるかの検索，登
録物体のうちの似ている物体の検索などの処理を行う照
合判定手段として機能させるためのプログラムを記録し
た記録媒体。
【請求項２７】コンピュータを、３次元形状測定装置を
用いて登録物体の３次元形状を測定する３次元形状測定
手段，照明条件を実際に設定して登録物体の画像群を撮
影し前記３次元形状を用いてテクスチャ座標系を生成し
該テクスチャ座標系に前記画像群を変換することにより
テクスチャ群として出力するテクスチャ撮影手段，前記
テクスチャ群で張られる画像空間であるテクスチャ空間
を生成するテクスチャ空間生成手段，ならびに前記３次
元形状および前記テクスチャ空間を記憶しておく記憶手
段として機能させるためのプログラムを記録した記録媒
体。
【請求項２８】コンピュータを、ビデオカメラなどの撮
像装置を用いて対象物体の２次元画像を入力画像として
撮影する入力画像撮影手段，前記入力画像における対象
物体の位置姿勢を推定する位置姿勢推定手段，前記位置
姿勢推定手段の結果を利用して前記入力画像の各画素を
テクスチャ座標に変換し変形することで入力テクスチャ
を生成する入力テクスチャ生成手段，登録物体のテクス
チャ空間と前記入力テクスチャとの距離を計算する距離
計算手段，ならびに前記距離に基づいて対象物体が登録
物体であるかどうかの確認，登録物体のうちのどの物体
であるかの検索，登録物体のうちの似ている物体の検索
などの処理を行う照合判定手段として機能させるための
プログラムを記録した記録媒体。
【請求項２９】コンピュータを、３次元形状測定装置を
用いて登録物体の３次元形状を測定する登録物体測定手
段，複数の物体の３次元形状を重心を一致させるように
平行移動し、ある軸に垂直な断面を適当な間隔で設定
し、それぞれの断面上で平均形状を計算する平均形状生
成手段，前記テクスチャ群で張られる画像空間であるテ
クスチャ空間を生成するテクスチャ空間生成手段，なら
びに前記平均形状および前記テクスチャ空間を記憶して
おく記憶手段として機能させるためのプログラムを記録
した記録媒体。
【請求項３０】コンピュータを、登録物体の３次元形状
および物体表面の反射率を測定する登録物体測定手段，
特徴点の位置を検出し、その３次元座標を特徴点位置と
して出力する特徴点位置抽出手段，前記３次元形状およ
び前記反射率を用いて様々な照明条件の下での物体表面
の各位置の輝度や色情報を表すテクスチャをコンピュー
タグラフィックスの技術などを用いて生成するテクスチ
ャ群生成手段，前記テクスチャ群で張られる画像空間で
あるテクスチャ空間を生成するテクスチャ空間生成手
段，ならびに前記３次元形状，前記テクスチャ空間，お
よび前記特徴点位置を記憶しておく記憶手段として機能
させるためのプログラムを記録した記録媒体。
【請求項３１】コンピュータを、ビデオカメラなどの撮
像装置を用いて対象物体の２次元画像を入力画像として
撮影する入力画像撮影手段，前記入力画像を撮影したと
きの撮影条件である対象物体の位置姿勢や撮像装置のパ
ラメタ等を登録物体の３次元形状，テクスチャ空間，お
よび特徴点位置を用いて推定する位置姿勢推定手段，前
記推定された位置姿勢と同じ位置姿勢で様々な照明条件
の下での画像群によって張られる画像空間である照明変
動空間を登録物体の３次元形状およびテクスチャ空間を
用いて生成する照明変動空間生成手段，前記入力画像と
前記照明変動空間との距離を計算する距離計算手段，な
らびに前記距離に基づいて対象物体が登録物体であるか
どうかの確認，登録物体のうちのどの物体であるかの検
索，登録物体のうちの似ている物体の検索などの処理を
行う照合判定手段として機能させるためのプログラムを
記録した記録媒体。
【請求項３２】コンピュータを、図面等から３次元形状
および反射率を入力する登録物体入力手段，前記３次元
形状および前記反射率を用いて様々な照明条件の下での
物体表面の各位置の輝度や色情報を表すテクスチャをコ
ンピュータグラフィックスの技術などを用いて生成する
テクスチャ群生成手段，前記テクスチャ群で張られる画
像空間であるテクスチャ空間を生成するテクスチャ空間
生成手段，ならびに前記３次元形状および前記テクスチ
ャ空間を記憶しておく記憶手段として機能させるための
プログラムを記録した記録媒体。