JP2001283216A - 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体 - Google Patents

画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体

Info

Publication number
JP2001283216A
JP2001283216A JP2000105399A JP2000105399A JP2001283216A JP 2001283216 A JP2001283216 A JP 2001283216A JP 2000105399 A JP2000105399 A JP 2000105399A JP 2000105399 A JP2000105399 A JP 2000105399A JP 2001283216 A JP2001283216 A JP 2001283216A
Authority
JP
Japan
Prior art keywords
image
illumination
dimensional shape
registration
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000105399A
Other languages
English (en)
Inventor
Rui Ishiyama
塁 石山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2000105399A priority Critical patent/JP2001283216A/ja
Priority to EP01107763A priority patent/EP1143375B1/en
Priority to DE60137162T priority patent/DE60137162D1/de
Priority to US09/823,763 priority patent/US7227973B2/en
Publication of JP2001283216A publication Critical patent/JP2001283216A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【課題】 照合時に３次元形状を測定する必要がなく、
様々な位置姿勢や照明条件においてカメラなどにより撮
影された物体の画像を用いて、登録されている物体であ
るかの確認、どの物体であるかの照合、似た物体の検
索、などの処理を可能にする画像照合装置、画像照合方
法、及びそのプログラムを記録した記録媒体を提供す
る。 【解決手段】 登録手段１００は登録する物体の３次元
形状と表面の反射率を測定し記憶する。照合手段２００
において、カメラ等の撮影手段２１０は、入力画像を撮
影する。位置姿勢推定手段２２０は前記登録された３次
元形状と反射率を用いて前記入力画像中の物体の位置姿
勢を推定する。照明補正手段２３０は前記登録された３
次元形状と反射率を用いて前記入力画像と同位置同姿
勢、同一照明条件の下での画像を比較画像として生成す
る。画像比較手段２４０は前記比較画像と入力画像の類
似度を計算する。照合判手段２５０は該類似度に基づき
照合判定を行う。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像による物体の
照合を行う画像照合装置、画像照合方法、及びそのプロ
グラムを記録した記録媒体に関し、特に認識対象となる
物体の３次元形状と、表面反射率や色情報などをあらか
じめ登録しておくことにより、画像上での物体の位置や
姿勢、照明条件などの撮影条件の変動に対して頑強なこ
とを特徴とする画像照合装置、画像照合方法、及びその
プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】画像照合技術とは図５に示したように、
３次元空間上に適当に配置された物体が何であるのかを
カメラなどの画像撮像デバイスにより取得した入力画像
(群)を利用して、あらかじめ登録されている画像と照
合する技術である。画像照合のプロセスは、照合対象を
記録しておく登録過程と、入力された画像（群）に何が
撮影されているかを登録データと比較照合する照合過程
の二つから構成される。それぞれの過程において撮像さ
れた画像は、２次元的な広がりを持つ２次元画像のまま
用いたり、３次元形状などに変換して利用される。以
下、従来の画像照合技術を文献を参照しながら詳細に説
明する。
【０００３】（従来技術１）２次元画像をあらかじめ登
録しておき、入力として２次元画像を用いる画像照合技
術の一例として、特許第２８７２７７６号「顔画像照合
装置」に開示される従来技術がある。本従来技術は、照
合対象として人間の顔を想定しており、図１３のような
構成をとっている。登録時は、カメラ１１により撮影さ
れた２次元画像を記憶手段１２に記憶しておく。照合時
は、カメラ１３により２次元の顔画像を入力画像として
撮影し、正規化手段１４によって、前記入力画像から目
や鼻の位置などの姿勢や大きさの基準となる顔特徴点を
画像処理技術により抽出する。該顔特徴点の座標位置を
基準として、画像上において２次元的な位置と大きさの
正規化を行った正規化画像を出力する。最後に、画像比
較手段１５によって記憶手段１２から読み出される登録
画像と前記正規化画像をパターン認識技術により比較
し、照合結果を出力する。
【０００４】（従来技術２）３次元形状を用いた従来の
照合技術の例として、特開平９−２５９２７１号公報
「人物照合装置」に開示された従来技術がある。本従来
技術では、図１４のような構成をとる。登録時には、３
次元形状カラー情報計測手段２１により照合対象物体の
３次元形状とカラー情報を測定し、記憶手段２２に記憶
しておく。照合時にも、３次元形状カラー情報計測手段
２３により入力データとして３次元形状とカラー情報を
測定する。平行移動・回転手段２４により、当該入力デ
ータを重心が登録データと一致するように平行移動し、
微少回転を加えたデータを多数生成し、最小誤差計算手
段２５によって誤差の最小値を求めることにより、３次
元的な位置姿勢の補正を行う。最後に、当該最小誤差計
算手段２５により補正されたデータと登録データの照合
を行う。
【０００５】（従来技術３）特開平６−１６８３１７号
公報「個人識別装置」は、図１５のような構成をとり、
登録時と照合時ともに２次元画像を撮影する照合技術で
ある。登録時には、カメラ４１により２次元画像を撮影
し、特徴抽出手段４２において輝度変動の大きな画素位
置を検出して特徴点位置を出力し、記憶手段４３に記憶
しておく。照合時には、カメラ４４により入力画像とし
て２次元画像を撮影し、特徴抽出手段４５において輝度
変動の大きな画素位置を検出して特徴点位置を出力す
る。最後に、照合手段４７において上記登録されている
特徴点位置と上記入力画像の特徴点位置を比較すること
により照合を行っている。このとき、認識対象物体の位
置や姿勢の変動を吸収するために、特徴抽出手段４５か
ら出力された特徴点位置データは、位置姿勢正規化手段
４６においてあらかじめ用意されている標準的な物体の
３次元形状モデルを利用して、その位置姿勢が正規化さ
れる。
【０００６】（従来技術４）登録過程・照合過程双方で
通常の２次元画像だけを用いる従来技術であって、位置
や姿勢の変動だけでなく、照明条件による変動をも補正
する従来技術として、文献（「Visual Learning and Re
cognition of3-D Objects from Appearance」,Hiroshi
Murase and Shree K. Nayer, Int. J. Computer Visio
n, vol.14,pp.5-24,1995）がある。本従来技術では図１
６のような構成をとる。登録時には、撮影手段７１によ
り登録する各物体についての入力画像において、考えら
れるあらゆる姿勢や照明条件を網羅したサンプル画像群
を撮影し、多様体計算手段７２により当該画像群の変化
を十分表せるような基底画像群を主成分分析により求め
る。当該基底画像群との相関を特徴とする特徴空間を生
成し、上記サンプル画像群の特徴空間における軌跡を多
様体として求め、記憶手段７３に記憶しておく。照合時
には、カメラ７４により入力画像として２次元画像を撮
影し、距離計算手段７５において当該入力画像と上記多
様体との特徴空間における距離を計算し、当該距離を尺
度として照合を行う。これにより様々な位置姿勢や照明
条件で撮影された入力画像の照合を可能にしている。
【０００７】（従来技術５）物体の位置姿勢が固定であ
る場合の照明条件による２次元画像の変化については文
献（「What Is the Set of Images of an Object Under
All PossibleIllumination Conditions? 」, Peter N.
Belhumeur and David J. Kriegman,Int. J.Computer V
ision, vol.28, pp.245-260,1998 ）において詳しく分
析されている。物体の位置姿勢を固定すれば、任意の照
明条件での画像は、一つの点光源のもとでの画像の和に
分解してあらわすことができる。したがって、任意の数
の光源のもとでの画像は、それぞれひとつずつの光源の
強さを係数として、そのひとつの光源のもとでの画像の
線形和であらわすことができる。上述の分析に基づき、
Illumination Subspace Methodと呼ばれる図１７のよう
な構成を提案している。
【０００８】図１７において、撮影手段５１は、可能な
限り影になる画素がないように異なる照明条件を３つ以
上設定し、画像群を撮影する。法線計算手段５２におい
て、当該画像群から主成分分析により、画像の各画素に
対応する物体表面の反射率と法線ベクトルの積に相当す
るベクトル群を求める。続いて、画像生成手段５３にお
いて、当該ベクトル群の任意の２個のベクトルの外積で
あらわされる方向に照明がある場合の画像であるextrem
e ray と呼ばれる画像群を生成し、記憶手段５４に記憶
しておく。
【０００９】照合時には、カメラ５５によって２次元画
像である入力画像を撮影する。物体表面の反射特性が完
全散乱であり、かつ、形状が凸である場合には、任意の
照明条件の下での画像は当該extreme ray 群の係数が正
である線形和としてあらわすことができるので、当該係
数群を負にならないという条件の下での最小二乗法を用
いて計算することができる。照明補正手段５６におい
て、当該最小二乗計算を行い、求まった係数群を用いた
extreme ray 群の線形和により入力画像と同じ照明条件
での物体の画像である比較画像を生成する。画像比較手
段５７において、該比較画像と当該入力画像の類似度を
計算することで照合処理を行う。
【００１０】（従来技術６）文献 (「illumination Con
es for Recognition Under VariableLighting:Faces
」, A.S. Georghiades,Proc. IEEEInt. Conf. CVPR,p
p.52--58,1998)は、上述したIllumination Subspace Me
thodにおいてextreme ray を計算する際に、光線追跡な
どのコンピュータグラフィックスの技術を用いて、物体
の３次元形状から、どの画素が影になるかを計算し、影
をつける処理を行う方法を示している。これにより形状
が凸でない形状の物体にも当該Illumination Subspace
Methodが適用できるとしている。
【００１１】（従来技術７）また、文献（「What Is th
e Set of Images of an Object Under All PossibleIll
umination Conditions? 」, Peter N. Belhumeur and D
avid J. Kriegman,Int. J. Computer Vision, vol.28,
pp.245-260,1998 ）は、さらにSampling Method として
図１８のような構成を提案している。上述したIllumina
tion Subspace Methodのように全てのextreme ray を計
算することは手間がかかるので、登録時に、撮影手段６
１において、例えば図４のθ，φの角度が可能な限り等
間隔に全体を覆うように適当な数の照明方向を設定して
画像群を撮影し、当該画像群をextreme ray として代用
する。以降はIllumination Subspace Methodと同様に非
負最小二乗法を適用して照明補正を行い、物体認識を行
う。
【００１２】
【発明が解決しようとする課題】しかしながら、照合対
象となる物体は、特に固定や調節などをしない限り、カ
メラなどの画像撮像デバイスの前で３次元的な平行移
動、回転移動などを伴うことが一般的である。また、屋
外などでは刻々と照明条件も変動していくことから明ら
かなように、照合処理対象として入力される２次元画像
上では、見かけ上、非常に大きな変動がある。従来技術
は、これらの位置姿勢や照明条件の変動を十分補正する
ことができていないため、応用範囲が非常に限られてし
まうという問題点があった。以下具体的に各文献におけ
る問題点を詳述する。
【００１３】従来技術１における特許第２８７２７７６
号「顔画像照合装置」に開示されているような単なる２
次元画像同士の照合技術では、照合対象となる物体の３
次元的な回転変動や画像撮影時の照明条件変動による２
次元画像上の見かけ上の変動に対応することができない
ため、応用範囲が極めて限定される。
【００１４】従来技術２における特開平９−２５９２７
１号公報「人物照合装置」に開示された照合技術では、
登録時だけでなく照合時にも３次元形状を必要とするた
めに、照合装置として３次元形状計測装置が必須とな
り、コストがかかるという問題点があった。これは、登
録時と異なる場所や、複数の場所で入力画像を撮影し、
照合を行いたい場合などに特に問題となる。また、形状
の計測をするためには計測が終了するまで照合対象が静
止していなければならなかったり、暗室や薄暗い環境で
なければ精度の高い形状データが得られないという問題
があり、応用範囲が限定される。
【００１５】従来技術３における特開平６−１６８３１
７号公報「個人識別装置」に開示されているような、輝
度変動の大きな画素位置を検出する方法は、３次元的な
曲率が非常に大きな積み木や、また反射率の変動が非常
に大きいホワイトボード上の黒いマーカなどには有効で
あるが、当該公開公報に記載されているように人間の顔
には向かない。すなわち、安定した座標位置検出は、困
難であるということである。また、当該公開公報では照
合対象となる物体群の標準的な３次元形状により姿勢を
補正すると記載されているが、当該物体群の各物体間に
おいて形状の類似度が高くない場合には適用することが
できないという問題点があった。
【００１６】従来技術４における文献（「Visual Learn
ing and Recognition of3-D Objects from Appearance
」,Hiroshi Murase and Shree K. Nayer, Int. J. Com
puterVision, vol.14,pp.5-24,1995）に記載された従来
技術では、入力画像の照明条件として複数の光源や拡張
光源など様々な照明条件を考慮すると、これらを網羅す
るサンプル画像は膨大な量が必要になってしまう。ま
た、特徴空間における多様体の形状について何も仮定さ
れていないため、入力画像との距離を求める際に撮影条
件のパラメタに対する探索を必要とする。したがって、
多くの計算量が必要となるという問題点があった。
【００１７】従来技術５、６および７における文献
（「What Is the Set of Images of anObject Under Al
l PossibleIllumination Conditions? 」, Peter N. Be
lhumeurand David J. Kriegman,Int. J. Computer Visi
on, vol.28, pp.245-260,1998）に記載されたIlluminat
ion Subspace Method、Sampling Method では、対象物
体に多数の方向から照明を当てた画像を撮影する必要が
あり、登録時に特別な照明装置が必要となることや、機
材の配置の問題から十分に正確な照明条件の設定が困難
であるという問題点がある。
【００１８】また、当該Illumination Subspace Metho
d、Sampling Method は、ともに物体の位置や姿勢が変
化した場合には、その位置姿勢における多数の照明条件
の下での画像を撮影し、はじめからすべて計算し直す必
要がある。したがって、入力画像において想定されるあ
らゆる位置姿勢における多数の照明条件の下での画像を
撮影しなければならない。そのため、登録処理に手間が
かかることや、あらかじめ登録されていない位置姿勢で
撮影された画像は照合することができないなどの問題点
もある。
【００１９】また、当該Illumination Subspace Method
では、形状の複雑さに応じてextreme ray を計算する手
続きに非常に多くの計算量を要する。文献（「What Is
theSet of Images of an Object Under All PossibleIl
lumination Conditions? 」, Peter N. Belhumeur and
David J. Kriegman,Int. J. Computer Vision, vol.28,
pp.245-260,1998 ）によれば、物体表面の法線ベクト
ルのうち線形独立なものがＭ個ある場合、extreme ray
の数は最大でＭ（Ｍー１）個である。したがって、物体
形状が積み木のように単純なものでない限り、膨大な数
の画像を計算しなければならなくなるため、複雑な形状
の一般的な物体に対して全てのextremeray を計算する
ことは計算量の点で問題がある。また、物体形状が凸で
なく、他の部分が光源を遮蔽して生じる影がある場合に
はそのまま適用することはできないという問題点もあ
る。
【００２０】また、当該Illumination Subspace Metho
d、Sampling Method では、係数が負とならない条件の
下での最小二乗法の計算もextreme ray の数に関係して
非常に多くの計算量を必要するという問題点もある。当
該Sampling Method の技術では、この問題点に加えて、
どの程度の数の基底画像を用いれば十分な性能が得られ
るのかが不明確であるという問題点もある。
【００２１】さらに、当該Illumination Subspace Meth
od、Sampling Method は、ともに物体表面の反射特性が
完全散乱面であることを仮定しているため、鏡面反射が
存在したり、拡散反射も完全散乱でないような物体に対
してはそのままでは適用できないという問題点もある。
一般に、多くの物体はその表面の反射特性が完全散乱で
はないからである。
【００２２】本発明は、上記問題点に鑑みなされたもの
であり、照合に用いる入力データとして３次元形状を必
要とせず通常のカメラで撮影した２次元画像により照合
することが可能な画像照合装置、画像照合方法及びその
プログラムを記録した記録媒体を提供することを目的と
する。
【００２３】また、本発明は、入力画像における物体の
３次元的な位置姿勢の変化を補正可能であり、登録時に
必要なデータが簡便に測定可能であり、様々な照明条件
において撮影された入力画像に対し照明条件の補正を高
速な処理によって実現可能な画像照合装置、画像照合方
法、及びそのプログラムを記録した記録媒体を提供する
ことを目的とする。
【００２４】
【課題を解決するための手段】かかる目的を達成するた
めに、請求項１記載の発明は、登録対象となる物体のデ
ータを３次元データとして登録する登録手段と、該登録
手段に登録された物体のデータと照合する物体のデータ
を２次元データとして取得し、登録手段に登録された物
体のデータと照合する照合手段と、を有することを特徴
とする。
【００２５】請求項２記載の発明は、請求項１記載の発
明において、照合手段は、登録手段に登録された物体の
データと照合する物体の画像を入力画像として撮影する
撮影手段と、該撮影手段により撮影された物体の位置姿
勢を補正する位置姿勢補正手段と、該位置姿勢補正手段
により補正された位置姿勢と、登録手段に登録された登
録データとから、撮影手段により撮影された入力画像と
同一の位置姿勢であって、最も近似する照明条件の画像
を比較画像として生成する照明補正手段と、該照明補正
手段により生成された比較画像と、撮影手段により撮影
された入力画像とを比較し、該２つの画像の類似度の評
価値を算出する画像比較手段と、該画像比較手段により
算出された評価値に基づいて、撮影手段により撮影され
た物体が登録手段に登録された物体であるか否かを判定
する照合判定手段と、を有して構成されることを特徴と
する。
【００２６】請求項３記載の発明は、請求項２記載の発
明において、登録手段は、登録対象となる物体の３次元
形状を測定する３次元形状測定手段と、登録対象となる
物体の３次元形状の各位置における表面の反射率を測定
する反射率測定手段と、３次元形状測定手段により測定
された３次元形状と、反射率測定手段により測定された
反射率とを登録データとして記憶するデータ記憶手段
と、を有して構成されることを特徴とする。
【００２７】請求項４記載の発明は、請求項２記載の発
明において、登録手段は、登録対象となる物体の３次元
形状を測定する３次元形状測定手段と、登録対象となる
物体を撮影し、該物体の画像情報を取得する画像情報取
得手段と、３次元形状測定手段により測定された３次元
形状と、画像情報取得手段により取得された画像情報と
を登録データとして記憶するデータ記憶手段と、を有し
て構成されることを特徴とする。
【００２８】請求項５記載の発明は、請求項２記載の発
明において、登録手段は、登録対象となる物体の３次元
形状を測定する３次元形状測定手段と、複数の物体を登
録するとき、３次元形状測定手段により測定された複数
の３次元形状の平均となる平均３次元形状を生成する平
均形状生成手段と、登録対象となる物体の３次元形状の
各位置における表面の反射率を測定する反射率測定手段
と、３次元形状測定手段により測定された３次元形状
と、平均形状生成手段により生成された平均３次元形状
と、反射率測定手段により測定された反射率とを登録デ
ータとして記憶するデータ記憶手段と、を有して構成さ
れることを特徴とする。
【００２９】請求項６記載の発明は、請求項３から５の
いずれか１項に記載の発明において、照明補正手段は、
位置姿勢補正手段により補正された位置姿勢と、登録手
段に登録された物体の登録データとから、撮影手段によ
り撮影された物体の位置姿勢と同一の位置姿勢にあっ
て、様々な照明条件からなる照明条件群の各々の照明条
件の下での画像を照明変動画像群として生成する画像生
成手段と、該画像生成手段により生成された照明変動画
像群から撮影手段により撮影された入力画像と最も近似
する画像を生成して比較画像として、画像比較手段に出
力する照明条件推定手段と、を有して構成されることを
特徴とする。
【００３０】請求項７記載の発明は、請求項６記載の発
明において、照明補正手段は、画像生成手段により生成
された照明変動画像群により張られる照明変動空間を生
成する照明変動空間生成手段をさらに有して構成され、
照明条件推定手段は、照明変動空間生成手段により生成
された照明変動空間内から入力画像に最も近似する画像
を生成して比較画像として、画像比較手段に出力するこ
とを特徴とする。
【００３１】請求項８記載の発明は、請求項７記載の発
明において、照明変動空間生成手段は、画像生成手段に
より生成された照明変動画像群を主成分分析を施すこと
により、照明条件により画像上に現れている変動要因の
大部分を覆う空間の基底ベクトル群を生成し、照明条件
推定手段は、照明変動空間生成手段により生成された基
底ベクトル群と、撮影手段により撮影された入力画像と
の間の相関を求め、該相関を基に基底ベクトル群から撮
影手段により撮影された入力画像に最も近似する画像を
生成して比較画像として画像比較手段に出力することを
特徴とする。
【００３２】請求項９記載の発明は、請求項６から８の
いずれか１項に記載の発明において、照明補正手段は、
様々な照明条件を設定し照明条件群として画像生成手段
に出力する照明条件変化手段をさらに有して構成される
ことを特徴とする。
【００３３】請求項１０記載の発明は、請求項２記載の
発明において、登録手段は、登録対象となる物体の３次
元形状を測定する３次元形状測定手段と、登録対象とな
る物体を様々な照明条件で撮影し、テクスチャ画像群を
生成するテクスチャ画像撮影手段と、３次元形状測定手
段により測定された３次元形状と、テクスチャ画像撮影
手段により撮影されたテクスチャ画像群とを登録データ
として記憶するデータ記憶手段と、を有して構成され、
照明補正手段は、位置姿勢補正手段により補正された位
置姿勢と、登録手段に登録された物体の３次元形状とテ
クスチャ画像群とから、撮影手段により撮影された物体
の位置姿勢と同一の位置姿勢にある照明変動画像群を生
成する画像生成手段と、該画像生成手段により生成され
た照明変動画像群から撮影手段により撮影された入力画
像と最も近似する画像を生成して比較画像として、画像
比較手段に出力する照明条件推定手段と、を有して構成
されることを特徴とする。
【００３４】請求項１１記載の発明は、請求項１０記載
の発明において、照明補正手段は、画像生成手段により
生成された照明変動画像群により張られる照明変動空間
を生成する照明変動空間生成手段をさらに有して構成さ
れ、照明条件推定手段は、照明変動空間生成手段により
生成された照明変動空間内から撮影手段により撮影され
た入力画像に最も近似する画像を生成して比較画像とし
て、画像比較手段に出力することを特徴とする。
【００３５】請求項１２記載の発明は、請求項１１記載
の発明において、照明変動空間生成手段は、画像生成手
段により生成された照明変動画像群を主成分分析を施す
ことにより、照明条件により画像上に現れている変動要
因の大部分を覆う空間の基底ベクトル群を求め、照明条
件推定手段は、照明変動空間生成手段により生成された
基底ベクトル群と、撮影手段により撮影された入力画像
との間の相関を求め、該相関を基に基底ベクトル群から
撮影手段により撮影された入力画像に最も近似する画像
を生成して比較画像として画像比較手段に出力すること
を特徴とする。
【００３６】請求項１３記載の発明は、請求項２記載の
発明において、位置姿勢補正手段は、あらかじめ設定さ
れた一定の位置姿勢を照明補正手段に出力することを特
徴とする。
【００３７】請求項１４記載の発明は、請求項２記載の
発明において、位置姿勢補正手段は、撮影手段により撮
影された入力画像に写っている物体の位置姿勢のパラメ
タを入力し、該入力した位置姿勢を照明補正手段に出力
することを特徴とする。
【００３８】請求項１５記載の発明は、請求項２記載の
発明において、位置姿勢補正手段は、撮影手段により撮
影された入力画像に写っている物体の位置姿勢を推定
し、該推定した位置姿勢を照明補正手段に出力すること
を特徴とする。
【００３９】請求項１６記載の発明は、請求項１５記載
の発明において、登録手段は、登録対象となる物体の３
次元形状を測定する３次元形状測定手段と、登録対象と
なる物体の３次元形状の各位置における表面の反射率を
測定する反射率測定手段と、３次元形状測定手段により
測定された３次元形状と、反射率測定手段により測定さ
れた反射率とから特徴点位置を抽出する第１の特徴点抽
出手段と、３次元形状測定手段により測定された３次元
形状と、反射率測定手段により測定された反射率と、第
１の特徴点抽出手段により抽出された特徴点位置とを登
録データとして記憶するデータ記憶手段と、を有して構
成され、位置補正手段は、データ記憶手段により記憶さ
れた特徴点位置と同一の特徴点位置を撮影手段により撮
影された入力画像から入力画像特徴点位置として抽出す
る第２の特徴点抽出手段と、データ記憶手段により記憶
された３次元形状と特徴点位置と、第２の特徴点抽出手
段により抽出された入力画像特徴点位置とから、撮影手
段により撮影された物体の位置姿勢を推定し、該推定さ
れた位置姿勢を照明補正手段に出力する位置姿勢計算手
段と、を有して構成されることを特徴とする。
【００４０】請求項１７記載の発明は、請求項１６記載
の発明において、照明補正手段は、位置姿勢補正手段に
より補正された位置姿勢と、データ記憶手段に記憶され
た３次元形状と反射率とから、撮影手段により撮影され
た物体の位置姿勢と同一の位置姿勢にあって、様々な照
明条件からなる照明条件群の各々の照明条件の下での画
像を照明変動画像群として生成する画像生成手段と、該
画像生成手段により生成された照明変動画像群から撮影
手段により撮影された入力画像に最も近似する画像を生
成して比較画像として、画像比較手段に出力する照明条
件推定手段と、を有して構成されることを特徴とする。
【００４１】請求項１８記載の発明は、請求項１７記載
の発明において、照明補正手段は、画像生成手段により
生成された照明変動画像群により張られる照明変動空間
を生成する照明変動空間生成手段をさらに有して構成さ
れ、照明条件推定手段は、照明変動空間生成手段により
生成された照明変動空間内から入力画像に最も近似する
画像を生成して比較画像として、画像比較手段に出力す
ることを特徴とする。
【００４２】請求項１９記載の発明は、請求項１８記載
の発明において、照明変動空間生成手段は、画像生成手
段により生成された照明変動画像群を主成分分析を施す
ことにより、照明条件により画像上に現れている変動要
因の大部分を覆う空間の基底ベクトル群を生成し、照明
条件推定手段は、照明変動空間生成手段により生成され
た基底ベクトル群と、撮影手段により撮影された入力画
像との間の相関を求め、該相関を基に基底ベクトル群か
ら撮影手段により撮影された入力画像に最も近似する画
像を生成して比較画像として画像比較手段に出力するこ
とを特徴とする。
【００４３】請求項２０記載の発明は、請求項１７から
１９のいずれか１項に記載の発明において、照明補正手
段は、様々な照明条件を設定し照明条件群として画像生
成手段に出力する照明条件変化手段をさらに有して構成
されることを特徴とする。
【００４４】請求項２１記載の発明は、請求項１記載の
発明において、登録手段は、登録対象となる物体の３次
元形状を測定する３次元形状測定手段と、登録対象とな
る物体の３次元形状の各位置における表面の反射率を測
定する反射率測定手段と、様々な照明条件からなる照明
条件群の各々の照明条件の下での登録対象となる物体の
画像を照明変動画像群として生成する画像生成手段と、
該画像生成手段により生成された照明変動画像群により
張られる照明変動空間を生成する照明変動空間生成手段
と、該照明変動空間生成手段により生成された照明変動
空間を登録データとして記憶するデータ記憶手段と、を
有して構成され、照合手段は、登録手段に登録された物
体のデータと照合する物体の画像を入力画像として撮影
する撮影手段と、データ記憶手段に記憶された照明変動
空間内から入力画像に最も近似する画像を比較画像とし
て生成する照明条件推定手段と、該照明条件推定手段に
より生成された比較画像と、撮影手段により撮影された
入力画像とを比較し、該２つの画像の類似度の評価値を
算出する画像比較手段と、該画像比較手段により算出さ
れた評価値に基づいて、撮影手段により撮影された物体
が登録手段に登録されている物体であるか否かを判定す
る照合判定手段と、を有して構成されることを特徴とす
る。
【００４５】請求項２２記載の発明は、請求項１記載の
発明において、登録手段は、登録対象となる物体の３次
元形状を測定する３次元形状測定手段と、登録対象とな
る物体の３次元形状の各位置における表面の反射率を測
定する反射率測定手段と、様々な照明条件からなる照明
条件群の各々の照明条件の下での登録対象となる物体の
画像を照明変動画像群として生成する画像生成手段と、
該画像生成手段により生成された照明変動画像群を主成
分分析を施すことにより、照明条件により画像上に現れ
ている変動要因の大部分を覆う空間の基底ベクトル群を
生成する照明変動空間生成手段と、該照明変動空間生成
手段により生成された基底ベクトル群を登録データとし
て記憶するデータ記憶手段と、を有して構成され、照合
手段は、登録手段に登録された物体のデータと照合する
物体の画像を入力画像として撮影する撮影手段と、デー
タ記憶手段に記憶された基底ベクトル群と、撮影手段に
より撮影された入力画像との間の相関を求め、該相関を
基に基底ベクトル群から撮影手段により撮影された入力
画像に最も近似する画像を比較画像として生成する照明
条件推定手段と、該照明条件推定手段により生成された
比較画像と、撮影手段により撮影された入力画像とを比
較し、該２つの画像の類似度の評価値を算出する画像比
較手段と、該画像比較手段により算出された評価値に基
づいて、撮影手段により撮影された物体が登録手段に登
録されている物体であるか否かを判定する照合判定手段
と、を有して構成されることを特徴とする。
【００４６】請求項２３記載の発明は、請求項２から２
２のいずれか１項に記載の発明において、３次元形状測
定手段は、図面を読み込むことにより、３次元形状を測
定することを特徴とする。
【００４７】請求項２４記載の発明は、請求項２から２
３のいずれか１項に記載の発明において、反射率測定手
段は、図面を読み込むことにより、反射率を測定するこ
とを特徴とする。
【００４８】請求項２５記載発明は、請求項２から２４
のいずれか１項に記載の発明において、撮影手段は、フ
ィルム、写真、印刷物のいずれかを読み込んで、入力画
像とすることを特徴とする。
【００４９】請求項２６記載の発明は、請求項２から２
５のいずれか１項に記載の発明において、照合判定手段
は、登録手段に登録された物体の内、どの物体であるか
を検索することを特徴とする。
【００５０】請求項２７記載の発明は、請求項２から２
６のいずれか１項に記載の発明において、照合判定手段
は、登録手段に登録された物体の内、近似する物体を検
索することを特徴とする。
【００５１】請求項２８記載の発明は、請求項１から２
７のいずれか１項に記載の発明において、登録対象とな
る物体は、自動車であることを特徴とする。
【００５２】請求項２９記載の発明は、請求項１から２
８のいずれか１項に記載の発明において、登録対象とな
る物体は、人間の顔であることを特徴とする。
【００５３】請求項３０記載の発明は、登録対象となる
物体のデータを３次元データとして登録する登録工程
と、該登録工程により登録された物体のデータと照合す
る物体のデータを２次元データとして取得し、登録工程
により登録された物体のデータと照合する照合工程と、
を有することを特徴とする。
【００５４】請求項３１記載の発明は、請求項３０記載
の発明において、照合工程は、登録工程により登録され
た物体のデータと照合する物体の画像を入力画像として
撮影する撮影工程と、該撮影工程により撮影された物体
の位置姿勢を補正する位置姿勢補正工程と、該位置姿勢
補正工程により補正された位置姿勢と、登録工程により
登録された登録データとから、撮影工程により撮影され
た入力画像と同一の位置姿勢であって、最も近似する照
明条件の画像を比較画像として生成する照明補正工程
と、該画像補正工程により生成された比較画像と、撮影
工程により撮影された入力画像とを比較し、該２つの画
像の類似度の評価値を算出する画像比較工程と、該画像
比較工程により算出された評価値に基づいて、撮影工程
により撮影された物体が登録工程により登録された物体
であるか否かを判定する照合判定工程と、を有して構成
されることを特徴とする。
【００５５】請求項３２記載の発明は、請求項３１記載
の発明において、登録工程は、登録対象となる物体の３
次元形状を測定する３次元形状測定工程と、登録対象と
なる物体の３次元形状の各位置における表面の反射率を
測定する反射率測定工程と、３次元形状測定工程により
測定された３次元形状と、反射率測定工程により測定さ
れた反射率とを登録データとして記憶するデータ記憶工
程と、を有して構成されることを特徴とする。
【００５６】請求項３３記載の発明は、請求項３１記載
の発明において、登録工程は、登録対象となる物体の３
次元形状を測定する３次元形状測定工程と、登録対象と
なる物体を撮影し、該物体の画像情報を取得する画像情
報取得工程と、３次元形状測定工程により測定された３
次元形状と、画像情報取得工程により取得された画像情
報とを登録データとして記憶するデータ記憶工程と、を
有して構成されることを特徴とする。
【００５７】請求項３４記載の発明は、請求項３１記載
の発明において、登録工程は、登録対象となる物体の３
次元形状を測定する３次元形状測定工程と、複数の物体
を登録するとき、３次元形状測定工程により測定した複
数の物体の３次元形状の平均となる３次元形状を生成す
る平均形状生成工程と、登録対象となる物体の３次元形
状の各位置における表面の反射率を測定する反射率測定
工程と、３次元形状測定工程により測定された３次元形
状と、平均形状生成工程により生成された平均３次元形
状と、反射率測定工程により測定された反射率とを登録
データとして記憶するデータ記憶工程と、を有して構成
されることを特徴とする。
【００５８】請求項３５記載の発明は、請求項３２から
３４のいずれか１項に記載の発明において、照明補正工
程は、位置姿勢補正工程により補正された位置姿勢と、
登録工程により登録された物体の登録データとから、撮
影工程により撮影された物体の位置姿勢と同一の位置姿
勢にあって、様々な照明条件からなる照明条件群の各々
の照明条件の下での画像を照明変動画像群として生成す
る画像生成工程と、該画像生成工程により生成された照
明変動画像群から撮影工程により撮影された入力画像と
最も近似する画像を比較画像として生成する照明条件推
定工程と、を有して構成されることを特徴とする。
【００５９】請求項３６記載の発明は、請求項３５記載
の発明において、照明補正工程は、照明条件推定工程に
より比較画像を生成する前に、画像生成工程により生成
された照明変動画像群により張られる照明変動空間を生
成する照明変動空間生成工程をさらに有して構成され、
照明条件推定工程は、照明変動空間生成工程により生成
された照明変動空間内から入力画像に最も近似する画像
を比較画像として生成することを特徴とする。
【００６０】請求項３７記載の発明は、請求項３６記載
の発明において、照明変動空間生成工程は、画像生成工
程により生成された照明変動画像群を主成分分析を施す
ことにより、照明条件により画像上に現れている変動要
因の大部分を覆う空間の基底ベクトル群を生成し、照明
条件推定工程は、照明変動空間生成工程により生成され
た基底ベクトル群と、撮影工程により撮影された入力画
像との間の相関を求め、該相関を基に基底ベクトル群か
ら撮影工程により撮影された入力画像に最も近似する画
像を比較画像として生成することを特徴とする。
【００６１】請求項３８記載の発明は、請求項３５から
３７のいずれか１項に記載の発明において、照明補正工
程は、画像生成工程により照明変動画像群が生成される
前に、該照明変動画像群が生成される際に用いられる照
明条件群を、様々な照明条件を設定し生成する照明条件
変化工程をさらに有して構成されることを特徴とする。
【００６２】請求項３９記載の発明は、請求項３１記載
の発明において、登録工程は、登録対象となる物体の３
次元形状を測定する３次元形状測定工程と、登録対象と
なる物体を様々な照明条件で撮影し、テクスチャ画像群
を生成するテクスチャ画像撮影工程と、３次元形状測定
工程により測定された３次元形状と、テクスチャ画像撮
影工程により撮影されたテクスチャ画像群とを登録デー
タとして記憶するデータ記憶工程と、を有して構成さ
れ、照明補正工程は、位置姿勢補正工程により補正され
た位置姿勢と、データ記憶工程により記憶された物体の
３次元形状とテクスチャ画像群とから、撮影工程により
撮影された物体の位置姿勢と同一の位置姿勢にある照明
変動画像群を生成する画像生成工程と、該画像生成工程
により生成された照明変動画像群から撮影工程により撮
影された入力画像と最も近似する画像を比較画像として
生成する照明条件推定工程と、を有して構成されること
を特徴とする。
【００６３】請求項４０記載の発明は、請求項３９記載
の発明において、照明補正工程は、照明条件推定工程に
より比較画像を生成する前に、画像生成工程により生成
された照明変動画像群により張られる照明変動空間を生
成する照明変動空間生成工程をさらに有して構成され、
照明条件推定工程は、照明変動空間生成工程により生成
された照明変動空間内から撮影工程により撮影された入
力画像に最も近似する画像を比較画像として生成するこ
とを特徴とする。
【００６４】請求項４１記載の発明は、請求項４０記載
の発明において、照明変動空間生成工程は、画像生成工
程により生成された照明変動画像群を主成分分析を施す
ことにより、照明条件により画像上に現れている変動要
因の大部分を覆う空間の基底ベクトル群を生成し、照明
条件推定工程は、照明変動空間生成工程により生成され
た基底ベクトル群と、撮影工程により撮影された入力画
像との間の相関を求め、該相関を基に基底ベクトル群か
ら撮影工程により撮影された入力画像に最も近似する画
像を比較画像として生成することを特徴とする。
【００６５】請求項４２記載の発明は、請求項３１記載
の発明において、位置姿勢補正工程は、あらかじめ設定
された一定の位置姿勢を補正した位置姿勢とすることを
特徴とする。
【００６６】請求項４３記載の発明は、請求項３１記載
の発明において、位置姿勢補正工程は、撮影工程により
撮影された入力画像に写っている物体の位置姿勢のパラ
メタを入力し、該入力した位置姿勢を補正した位置姿勢
とすることを特徴とする。
【００６７】請求項４４記載の発明は、請求項３１記載
の発明において、位置姿勢補正工程は、撮影工程により
撮影された入力画像に写っている物体の位置姿勢を推定
し、該推定した位置姿勢を補正した位置姿勢とすること
を特徴とする。
【００６８】請求項４５記載の発明は、請求項４４記載
の発明において、登録工程は、登録対象となる物体の３
次元形状を測定する３次元形状測定工程と、登録対象と
なる物体の３次元形状の各位置における表面の反射率を
測定する反射率測定工程と、３次元形状測定工程により
測定された３次元形状と、反射率測定工程により測定さ
れた反射率とから特徴点位置を抽出する第１の特徴点抽
出工程と、３次元形状測定工程により測定された３次元
形状と、反射率測定工程により測定された反射率と、第
１の特徴点抽出工程により抽出された特徴点位置とを登
録データとして記憶するデータ記憶工程と、を有して構
成され、位置姿勢補正工程は、データ記憶工程により記
憶された特徴点位置と同一の特徴点位置を撮影工程によ
り撮影された入力画像から入力画像特徴点位置として抽
出する第２の特徴点抽出工程と、データ記憶工程により
記憶された３次元形状と特徴点位置と、第２の特徴点抽
出工程により抽出された入力画像特徴点位置とから、撮
影工程により撮影された物体の位置姿勢を推定する位置
姿勢計算工程と、を有して構成されることを特徴とす
る。
【００６９】請求項４６記載の発明は、請求項４５記載
の発明において、照明補正工程は、位置姿勢補正工程に
より補正された位置姿勢と、データ記憶工程により記憶
された３次元形状と反射率とから、撮影工程により撮影
された物体の位置姿勢と同一の位置姿勢にあって、様々
な照明条件からなる照明条件群の各々の照明条件の下で
の画像を照明変動画像群として生成する画像生成工程
と、該画像生成工程により生成された照明変動画像群か
ら撮影工程により撮影された入力画像に最も近似する画
像を比較画像として生成する照明条件推定工程と、を有
して構成されることを特徴とする。
【００７０】請求項４７記載の発明は、請求項４６記載
の発明において、照明補正工程は、照明条件推定工程に
より比較画像を生成する前に、画像生成工程により生成
された照明変動画像群により張られる照明変動空間を生
成する照明変動空間生成工程をさらに有して構成され、
照明条件推定工程は、照明変動空間生成工程により生成
された照明変動空間内から入力画像に最も近似する画像
を比較画像として生成することを特徴とする。
【００７１】請求項４８記載の発明は、請求項４７記載
の発明において、照明変動空間生成工程は、画像生成工
程により生成された照明変動画像群を主成分分析を施す
ことにより、照明条件により画像上に現れている変動要
因の大部分を覆う空間の基底ベクトル群を生成し、照明
条件推定工程は、照明変動空間生成工程により生成され
た基底ベクトル群と、撮影工程により撮影された入力画
像との間の相関を求め、該相関を基に基底ベクトル群か
ら撮影工程により撮影された入力画像に最も近似する画
像を比較画像として生成することを特徴とする。
【００７２】請求項４９記載の発明は、請求項４６から
４８のいずれか１項に記載の発明において、照明補正工
程は、画像生成工程により照明変動画像群が生成される
前に、該照明変動画像群が生成される際に用いられる照
明条件群を、様々な照明条件を設定し生成する照明条件
変化工程をさらに有して構成されることを特徴とする。
【００７３】請求項５０記載の発明は、請求項３０記載
の発明において、登録工程は、登録対象となる物体の３
次元形状を測定する３次元形状測定工程と、登録対象と
なる物体の３次元形状の各位置における表面の反射率を
測定する反射率測定工程と、様々な照明条件からなる照
明条件群の各々の照明条件の下での登録対象となる物体
の画像を照明変動画像群として生成する画像生成工程
と、該画像生成工程により生成された照明変動画像群に
より張られる照明変動空間を生成する照明変動空間生成
工程と、該照明変動空間生成工程により生成された照明
変動空間を登録データとして記憶するデータ記憶工程
と、を有して構成され、照合工程は、登録工程に登録さ
れた物体のデータと照合する物体の画像を入力画像とし
て撮影する撮影工程と、データ記憶工程により記憶され
た照明変動空間内から撮影工程により撮影された入力画
像に最も近似する画像を比較画像として生成する照明条
件推定工程と、該照明条件推定工程により生成された比
較画像と、撮影工程により撮影された入力画像とを比較
し、該２つの画像の類似度の評価値を算出する画像比較
工程と、該画像比較工程により算出された評価値に基づ
いて、撮影工程により撮影された物体が登録工程により
登録された物体であるか否かを判定する照合判定工程
と、を有して構成されることを特徴とする。
【００７４】請求項５１記載の発明は、請求項３０記載
の発明において、登録工程は、登録対象となる物体の３
次元形状を測定する３次元形状測定工程と、登録対象と
なる物体の３次元形状の各位置における表面の反射率を
測定する反射率測定工程と、様々な照明条件からなる照
明条件群の各々の照明条件の下での登録対象となる物体
の画像を照明変動画像群として生成する画像生成工程
と、該画像生成工程により生成された照明変動画像群を
主成分分析を施すことにより、照明条件により画像上に
現れている変動要因の大部分を覆う空間の基底ベクトル
群を生成する照明変動空間生成工程と、該照明変動空間
生成工程により生成された基底ベクトル群を登録データ
として記憶するデータ記憶工程と、を有して構成され、
照合工程は、登録工程により登録された物体のデータと
照合する物体の画像を入力画像として撮影する撮影工程
と、データ記憶工程により記憶された基底ベクトル群
と、撮影工程により撮影された入力画像との間の相関を
求め、該相関を基に基底ベクトル群から撮影工程により
撮影された入力画像に最も近似する画像を比較画像とし
て生成する照明条件推定工程と、該照明条件推定工程に
より生成された比較画像と、撮影工程により撮影された
入力画像とを比較し、該２つの画像の類似度の評価値を
算出する画像比較工程と、該画像比較工程により算出さ
れた評価値に基づいて、撮影工程により撮影された物体
が登録工程に登録されている物体であるか否かを判定す
る照合判定工程と、を有して構成されることを特徴とす
る。
【００７５】請求項５２記載の発明は、請求項３１から
５１のいずれか１項に記載の発明において、３次元形状
測定工程は、図面を読み込むことにより、３次元形状を
測定することを特徴とする。
【００７６】請求項５３記載の発明は、請求項３１から
５２のいずれか１項に記載の発明において、反射率測定
工程は、図面を読み込むことにより、反射率を測定する
ことを特徴とする。
【００７７】請求項５４記載の発明は、請求項３１から
５３のいずれか１項に記載の発明において、撮影工程
は、フィルム、写真、印刷物のいずれかを読み込んで、
入力画像とすることを特徴とする。
【００７８】請求項５５記載の発明は、請求項３１から
５４のいずれか１項に記載の発明において、照合判定工
程は、登録工程により登録された物体の内、どの物体で
あるかを検索することを特徴とする。
【００７９】請求項５６記載の発明は、請求項３１から
５５のいずれか１項に記載の発明において、照合判定工
程は、登録工程により登録された物体の内、近似する物
体を検索することを特徴とする。
【００８０】請求項５７記載の発明は、請求項３０から
５６のいずれか１項に記載の発明において、登録対象と
なる物体は、自動車であることを特徴とする。
【００８１】請求項５８記載の発明は、請求項３０から
５７のいずれか１項に記載の発明において、登録対象と
なる物体は、人間の顔であることを特徴とする。
【００８２】請求項５９記載の発明は、登録対象となる
物体のデータを３次元データとして登録する登録処理
と、該登録処理により登録された物体のデータと照合す
る物体のデータを２次元データとして取得し、登録処理
により登録された物体のデータと照合する照合処理と、
を実行することを特徴とする。
【００８３】請求項６０記載の発明は、請求項５９の記
載の発明において、照合処理は、登録処理により登録さ
れた物体のデータと照合する物体の画像を入力画像とし
て撮影する撮影処理と、該撮影処理により撮影された物
体の位置姿勢を補正する位置姿勢補正処理と、該位置姿
勢補正処理により補正された位置姿勢と、登録処理によ
り登録された登録データとから、撮影処理により撮影さ
れた入力画像と同一の位置姿勢であって、最も近似する
照明条件の画像を比較画像として生成する照明補正処理
と、該画像補正処理により生成された比較画像と、撮影
処理により撮影された入力画像とを比較し、該２つの画
像の類似度の評価値を算出する画像比較処理と、該画像
比較処理により算出された評価値に基づいて、撮影処理
により撮影された物体が登録処理により登録された物体
であるか否かを判定する照合判定処理と、を有して構成
されることを特徴とする。
【００８４】請求項６１記載の発明は、請求項６０記載
の発明において、登録処理は、登録対象となる物体の３
次元形状を測定する３次元形状測定処理と、登録対象と
なる物体の３次元形状の各位置における表面の反射率を
測定する反射率測定処理と、３次元形状測定処理により
測定された３次元形状と、反射率測定処理により測定さ
れた反射率とを登録データとして記憶するデータ記憶処
理と、を有して構成されることを特徴とする。
【００８５】請求項６２記載の発明は、請求項６０記載
の発明において、登録処理は、登録対象となる物体の３
次元形状を測定する３次元形状測定処理と、登録対象と
なる物体を撮影し、該物体の画像情報を取得する画像情
報取得処理と、３次元形状測定処理により測定された３
次元形状と、画像情報取得処理により取得された画像情
報とを登録データとして記憶するデータ記憶処理と、を
有して構成されることを特徴とする。
【００８６】請求項６３記載の発明は、請求項６０記載
の発明において、登録処理は、登録対象となる物体の３
次元形状を測定する３次元形状測定処理と、複数の物体
を登録するとき、３次元形状測定処理により測定した複
数の物体の３次元形状の平均となる３次元形状を生成す
る平均形状生成処理と、登録対象となる物体の３次元形
状の各位置における表面の反射率を測定する反射率測定
処理と、３次元形状測定処理により測定された３次元形
状と、平均形状生成処理により生成された平均３次元形
状と、反射率測定処理により測定された反射率とを登録
データとして記憶するデータ記憶処理と、を有して構成
されることを特徴とする。
【００８７】請求項６４記載の発明は、請求項６１から
６３記載のいずれか１項に記載の発明において、照明補
正処理は、位置姿勢補正処理により補正された位置姿勢
と、登録処理により登録された物体の登録データとか
ら、撮影処理により撮影された物体の位置姿勢と同一の
位置姿勢にあって、様々な照明条件からなる照明条件群
の各々の照明条件の下での画像を照明変動画像群として
生成する画像生成処理と、該画像生成処理により生成さ
れた照明変動画像群から撮影処理により撮影された入力
画像と最も近似する画像を比較画像として生成する照明
条件推定処理と、を有して構成されることを特徴とす
る。
【００８８】請求項６５記載の発明は、請求項６４記載
の発明おいて、照明補正処理は、照明条件推定処理によ
り比較画像を生成する前に、画像生成処理により生成さ
れた照明変動画像群により張られる照明変動空間を生成
する照明変動空間生成処理をさらに有して構成され、照
明条件推定処理は、照明変動空間生成処理により生成さ
れた照明変動空間内から入力画像に最も近似する画像を
比較画像として生成することを特徴とする。
【００８９】請求項６６記載の発明は、請求項６５記載
の発明において、照明変動空間生成処理は、画像生成処
理により生成された照明変動画像群を主成分分析を施す
ことにより、照明条件により画像上に現れている変動要
因の大部分を覆う空間の基底ベクトル群を生成し、照明
条件推定処理は、照明変動空間生成処理により生成され
た基底ベクトル群と、撮影処理により撮影された入力画
像との間の相関を求め、該相関を基に基底ベクトル群か
ら撮影処理により撮影された入力画像に最も近似する画
像を比較画像として生成することを特徴とする。
【００９０】請求項６７記載の発明は、請求項６４から
６６のいずれか１項に記載の発明において、照明補正処
理は、画像生成処理により照明変動画像群が生成される
前に、該照明変動画像群が生成される際に用いられる照
明条件群を、様々な照明条件を設定し生成する照明条件
変化処理をさらに有して構成されることを特徴とする。
【００９１】請求項６８記載の発明は、請求項６０記載
の発明において、登録処理は、登録対象となる物体の３
次元形状を測定する３次元形状測定処理と、登録対象と
なる物体を様々な照明条件で撮影し、テクスチャ画像群
を生成するテクスチャ画像撮影処理と、３次元形状測定
処理により測定された３次元形状と、テクスチャ画像撮
影処理により撮影されたテクスチャ画像群とを登録デー
タとして記憶するデータ記憶処理と、を有して構成さ
れ、照明補正処理は、位置姿勢補正処理により補正され
た位置姿勢と、データ記憶処理により記憶された３次元
形状とテクスチャ画像群とから、撮影処理により撮影さ
れた物体の位置姿勢と同一の位置姿勢にある照明変動画
像群を生成する画像生成処理と、該画像生成処理により
生成された照明変動画像群から撮影処理により撮影され
た入力画像と最も近似する画像を比較画像として生成す
る照明条件推定処理と、を有して構成されることを特徴
とする。
【００９２】請求項６９記載の発明は、請求項６８記載
の発明において、照明補正処理は、照明条件推定処理に
より比較画像を生成する前に、画像生成処理により生成
された照明変動画像群により張られる照明変動空間を生
成する照明変動空間生成処理をさらに有して構成され、
照明条件推定処理は、照明変動空間生成処理により生成
された照明変動空間内から撮影処理により撮影された入
力画像に最も近似する画像を比較画像として生成するこ
とを特徴とする。
【００９３】請求項７０記載の発明は、請求項６９記載
の発明において、照明変動空間生成処理は、画像生成処
理により生成された照明変動画像群を主成分分析を施す
ことにより、照明条件により画像上に現れている変動要
因の大部分を覆う空間の基底ベクトル群を生成し、照明
条件推定処理は、照明変動空間生成処理により生成され
た基底ベクトル群と、撮影処理により撮影された入力画
像との間の相関を求め、該相関を基に基底ベクトル群か
ら撮影処理により撮影された入力画像に最も近似する画
像を比較画像として生成することを特徴とする。
【００９４】請求項７１記載の発明は、請求項６０記載
の発明において、位置姿勢補正処理は、あらかじめ設定
された一定の位置姿勢を補正した位置姿勢とすることを
特徴とする。
【００９５】請求項７２記載の発明は、請求項６０記載
の発明において、位置姿勢補正処理は、撮影処理により
撮影された入力画像に写っている物体の位置姿勢のパラ
メタを入力し、該入力した位置姿勢を補正した位置姿勢
とすることを特徴とする。
【００９６】請求項７３記載の発明は、請求項６０記載
の発明において、位置姿勢補正処理は、撮影処理により
撮影された入力画像に写っている物体の位置姿勢を推定
し、該推定した位置姿勢を補正した位置姿勢とすること
を特徴とする。
【００９７】請求項７４記載の発明は、請求項７３記載
の発明において、登録処理は、登録対象となる物体の３
次元形状を測定する３次元形状測定処理と、登録対象と
なる物体の３次元形状の各位置における表面の反射率を
測定する反射率測定処理と、３次元形状測定処理により
測定された３次元形状と、反射率測定処理により測定さ
れた反射率とから特徴点位置を抽出する第１の特徴点抽
出処理と、３次元形状測定処理により測定された３次元
形状と、反射率測定処理により測定された反射率と、第
１の特徴点抽出処理により抽出された特徴点位置とを登
録データとして記憶するデータ記憶処理と、を有して構
成され、位置姿勢補正処理は、データ記憶処理により記
憶された特徴点位置と同一の特徴点位置を撮影処理によ
り撮影された入力画像から入力画像特徴点位置として抽
出する第２の特徴点抽出処理と、データ記憶処理により
記憶された３次元形状と特徴点位置と、第２の特徴点抽
出処理により抽出された入力画像特徴点位置とから、撮
影処理により撮影された物体の位置姿勢を推定する位置
姿勢計算処理と、を有して構成されることを特徴とす
る。
【００９８】請求項７５記載の発明は、請求項７４記載
の発明において、照明補正処理は、位置姿勢補正処理に
より補正された位置姿勢と、登録処理により登録された
物体のデータとから、撮影処理により撮影された物体の
位置姿勢と同一の位置姿勢にあって、様々な照明条件か
らなる照明条件群の各々の照明条件の下での画像を照明
変動画像群として生成する画像生成処理と、該画像生成
処理により生成された照明変動画像群から撮影処理によ
り撮影された入力画像に最も近似する画像を比較画像と
して生成する照明条件推定処理と、を有して構成される
ことを特徴とする。
【００９９】請求項７６記載の発明は、請求項７５記載
の発明において、照明補正処理は、照明条件推定処理に
より比較画像を生成する前に、画像生成処理により生成
された照明変動画像群により張られる照明変動空間を生
成する照明変動空間生成処理をさらに有して構成され、
照明条件推定処理は、照明変動空間処理により生成され
た照明変動空間内から入力画像に最も近似する画像を比
較画像として生成することを特徴とする。
【０１００】請求項７７記載の発明は、請求項７６記載
の発明において、照明変動空間生成処理は、画像生成処
理により生成された照明変動画像群を主成分分析を施す
ことにより、照明条件により画像上に現れている変動要
因の大部分を覆う空間の基底ベクトル群を生成し、照明
条件推定処理は、照明変動空間生成処理により生成され
た基底ベクトル群と、撮影処理により撮影された入力画
像との間の相関を求め、該相関を基に基底ベクトル群か
ら撮影処理により撮影された入力画像に最も近似する画
像を比較画像として生成することを特徴とする。
【０１０１】請求項７８記載の発明は、請求項７５から
７７のいずれか１項に記載の発明において、照明補正処
理は、画像生成処理により照明変動画像群が生成される
前に、該照明変動画像群が生成される際に用いられる照
明条件群を、様々な照明条件を設定し生成する照明条件
変化処理をさらに有して構成されることを特徴とする。
【０１０２】請求項７９記載の発明は、請求項５９記載
の発明において、登録処理は、登録対象となる物体の３
次元形状を測定する３次元形状測定処理と、登録対象と
なる物体の３次元形状の各位置における表面の反射率を
測定する反射率測定処理と、様々な照明条件からなる照
明条件群の各々の照明条件の下での登録対象となる物体
の画像を照明変動画像群として生成する画像生成処理
と、該画像生成処理により生成された照明変動画像群に
より張られる照明変動空間を生成する照明変動空間生成
処理と、該照明変動空間生成処理により生成された照明
変動空間を登録データとして記憶するデータ記憶処理
と、を有して構成され、照合処理は、登録処理に登録さ
れた物体のデータと照合する物体の画像を入力画像とし
て撮影する撮影処理と、データ記憶処理により記憶され
た照明変動空間内から撮影処理により撮影された入力画
像に最も近似する画像を比較画像として生成する照明条
件推定処理と、該照明条件推定処理により生成された比
較画像と、撮影処理により撮影された入力画像とを比較
し、該２つの画像の類似度の評価値を算出する画像比較
処理と、該画像比較処理により算出された評価値に基づ
いて、撮影処理により撮影された物体が登録処理により
登録された物体であるか否かを判定する照合判定処理
と、を有して構成されることを特徴とする。
【０１０３】請求項８０記載の発明は、請求項５９記載
の発明において、登録処理は、登録対象となる物体の３
次元形状を測定する３次元形状測定処理と、登録対象と
なる物体の３次元形状の各位置における表面の反射率を
測定する反射率測定処理と、様々な照明条件からなる照
明条件群の各々の照明条件の下での登録対象となる物体
の画像を照明変動画像群として生成する画像生成処理
と、該画像生成処理により生成された照明変動画像群を
主成分分析を施すことにより、照明条件により画像上に
現れている変動要因の大部分を覆う空間の基底ベクトル
群を生成する照明変動空間生成処理と、該照明変動空間
生成処理により生成された基底ベクトル群を登録データ
として記憶するデータ記憶処理と、を有して構成され、
照合処理は、登録処理により登録された物体のデータと
照合する物体の画像を入力画像として撮影する撮影処理
と、データ記憶処理により記憶された基底ベクトル群
と、撮影処理により撮影された入力画像との間の相関を
求め、該相関を基に基底ベクトル群から撮影処理により
撮影された入力画像に最も近似する画像を比較画像とし
て生成する照明条件推定処理と、該照明条件推定処理に
より生成された比較画像と、撮影処理により撮影された
入力画像とを比較し、該２つの画像の類似度の評価値を
算出する画像比較処理と、該画像比較処理により算出さ
れた評価値に基づいて、撮影処理により撮影された物体
が登録処理に登録されている物体であるか否かを判定す
る照合判定処理と、を有して構成されることを特徴とす
る。
【０１０４】請求項８１記載の発明は、請求項６０から
８０のいずれか１項に記載の発明において、３次元形状
測定処理は、図面を読み込むことにより、３次元形状を
測定することを特徴とする。
【０１０５】請求項８２記載の発明は、請求項６０から
８１のいずれか１項に記載の発明において、反射率測定
処理は、図面を読み込むことにより、反射率を測定する
ことを特徴とする。
【０１０６】請求項８３記載の発明は、請求項６０から
８２のいずれか１項に記載の発明において、撮影処理
は、フィルム、写真、印刷物のいずれかを読み込んで、
入力画像とすることを特徴とする。
【０１０７】請求項８４記載の発明は、請求項６０から
８３のいずれか１項に記載の発明において、照合判定処
理は、登録処理により登録された物体の内、どの物体で
あるかを検索することを特徴とする。
【０１０８】請求項８５記載の発明は、請求項６０から
８４のいずれか１項に記載の発明において、照合判定処
理は、登録処理により登録された物体の内、近似する物
体を検索することを特徴とする。
【０１０９】請求項８６記載の発明は、請求項５９から
８５のいずれか１項に記載の発明において、登録対象と
なる物体は、自動車であることを特徴とする。
【０１１０】請求項８７記載の発明は、請求項５９から
８６のいずれか１項に記載の発明において、登録対象と
なる物体は、人間の顔であることを特徴とする。
【０１１１】
【発明の実施の形態】以下、本発明の実施の形態を添付
図面を参照しながら詳細に説明する。
【０１１２】（第１の実施の形態）図１は、第１の実施
の形態における画像照合装置の構成及び処理の流れを示
すブロック図である。図２は、本実施の形態の構成図で
ある。図１に示すように、登録手段１００は、３次元形
状測定装置を用いて物体の３次元形状と、物体表面の反
射率または色情報を測定し、両者を記憶しておく。照合
手段２００は、ビデオカメラ等の撮像装置を用いて２次
元の画像を撮影し、登録手段１００に登録されているデ
ータとの照合処理を行う。
【０１１３】本実施の形態は、物体の３次元形状と表面
の反射率を登録しておくことにより、任意の位置姿勢、
任意の照明条件の下での物体の画像を生成できること、
および該位置姿勢にある照合対象物体の様々な照明条件
の下での画像群が画像空間内の低次元の部分空間として
表現できることを利用する。
【０１１４】登録手段１００は、３次元形状測定手段１
１０、反射率測定手段１２０およびデータ記憶手段１３
０から構成される。
【０１１５】３次元形状測定手段１１０は、３次元形状
測定装置を用いて物体の３次元形状を測定し、データ記
憶手段１３０に出力する。例えば、特願平１１−１２３
６８７号に記載された３次元形状測定装置を利用でき
る。この他にも様々な装置が利用可能である。
【０１１６】反射率測定手段１２０は、３次元形状に対
応する物体の表面の反射率を測定し、データ記憶手段１
３０に出力する。例えば、特願平１１−１２３６８７号
に記載された３次元形状測定装置を用いれば、３次元形
状と同時に当該物体の表面の色情報も測定することがで
きる。以下、この色情報を反射率に代用する。例えば、
物体の全体に一様に光が当たるような影のできにくい照
明条件の下で撮影した画像は、その輝度値が反射率にほ
ぼ比例しているとみなせることを利用する。
【０１１７】具体的方法としては、登録する物体前方に
半球型のやぐらを設置し、適当な数のランプを取り付け
る。そして、全てのランプを同時に点灯させて画像を撮
影する。この他にも光を拡散させ、一様に光を物体に当
てるために、反射板を用いるなど種々の方法が利用可能
である。
【０１１８】データ記憶手段１３０は、登録された各物
体の３次元形状データおよび反射率を記憶保持する。登
録されたデータは、照合手段２００における照合処理の
ために適時読み出される。
【０１１９】照合手段２００は、撮影手段２１０、位置
姿勢推定手段２２０、照明補正手段２３０、画像比較手
段２４０および照合判定手段２５０から構成される。
【０１２０】撮影手段２１０は、カメラやビデオカメラ
等の撮像装置を用いて照合対象となる物体を撮影し、入
力画像として位置姿勢推定手段２２０、照明補正手段２
３０および画像比較手段２４０に出力する。
【０１２１】位置姿勢推定手段２２０は、入力画像を撮
影したときの撮影条件である物体の位置姿勢や撮像装置
のパラメタ等を推定する。例えば、位置姿勢パラメタと
して物体の平行移動距離（Ｔx ，Ｔy ，Ｔz ）、回転角
度（Ｒx ，Ｒy ，Ｒz ）、カメラの焦点距離ｆ、視野角
αを用いる。位置姿勢推定手段２２０は、これらのパラ
メタを利用者が画面を見ながら手動で調整できるような
対話型のインタフェースを備える。
【０１２２】例えば、画面には上述した８つの位置姿勢
パラメタを用いてコンピュータグラフィックスにより生
成された照合対象物体の画像と、入力画像とがスーパー
インポーズ法により重ね合わされて表示される。利用者
は２つの画像がぴったり重なるように当該８つのパラメ
タの値を調節し、適切なパラメタを決定する。この対話
型のインタフェースは一例であり、様々な形態のものが
利用可能である。また、このような対話型インタフェー
スを用いなくとも、自動的に位置姿勢パラメタの計算を
行ってもよい。
【０１２３】自動で位置姿勢の推定を行う方法の一例と
しては、様々な位置姿勢での照合対象物体のＣＧ画像を
生成し、各ＣＧ画像を入力画像と比較し、最も近似する
画像を求めることで位置姿勢や撮像装置のパラメタを決
定する方法が利用できる。
【０１２４】照明補正手段２３０は、位置姿勢推定手段
２２０により決定されたパラメタを利用して、入力画像
と同じ位置姿勢にあって、最も近い照明条件の画像を比
較画像として生成する。以下、照明補正処理について詳
細に説明する。
【０１２５】物体表面の反射率特性として完全散乱面を
仮定し、物体形状が凸であり他の部分による光源の遮蔽
によって生じる影がなく、光源が無限遠にあるとすれ
ば、画像の各画素（ｕ，ｖ）の輝度値Ｉ（ｕ，ｖ）は、
画素に対応している反射率Ｂ（ｕ，ｖ）、法線方向ベク
トルＮ（ｕ，ｖ）、各照明の強度ｌi 、方向ベクトルＬ
i により以下に示す［式１］でモデル化できる。
【０１２６】
【数１】
【０１２７】ここで、ｍａｘ（）の効果を無視すれば、
照明が複数ある場合などを含め、任意の照明条件は以下
に示す［式２］のように１つの照明ベクトルＬであらわ
すことができる。
【０１２８】
【数２】
【０１２９】したがって、照明変動により生成される物
体の画像の自由度は、ベクトルＬの次元、すなわち高々
３次元になるが、実際には、ｍａｘ（）の効果や、物体
の他の部分により光源が遮蔽されて影ができること、お
よび反射特性が完全散乱面でないことなどによる効果が
あるのでこれよりも高次元となる。しかしながら、大部
分が３次元の部分空間であらわすことができることか
ら、実際の画像変動も低次元の部分空間として十分近似
できる。以下、この低次元の部分空間を各物体の照明変
動空間と呼ぶ。
【０１３０】照明変動空間の基底ベクトルを得るため
に、主成分分析を用いる。照明変動により生成される対
象物体の画像（以下では照明変動画像と呼ぶ）を多数用
意し、照明条件の変動によってできる画像全体の集合を
近似する。照明変動画像群の各画像は、単一の無限遠に
ある点光源のもとでの画像とし、光源の方向を入力画像
の撮影時の照明条件として考えられる全ての方向を包含
するように適当な間隔で設定した多数の画像を用意す
る。複数の照明の下での画像は単一の照明の画像の和で
かけるので、単一照明下の画像のみで十分である。照明
変動画像群の生成には、データ記憶手段１３０に登録さ
れている３次元形状データおよび表面の反射率データを
用いる。
【０１３１】その生成手法の一例としてコンピュータグ
ラフィックスの基本機能を利用する方法がある。コンピ
ュータグラフィックスの機能については文献（「OpenGL
プログラミングガイド」,Mason Woo,Jackie Neider,Tom
Davis, アジソン・ウェスレイ・パブリシャーズ・ジャ
パン）に詳しく述べられている。コンピュータに標準的
に備わっている機能としては、物体の表面の反射特性を
完全散乱モデルとし、陰影だけを生成するものが多い
が、本実施の形態においては、実際の物体表面の反射特
性にできるだけ近い反射モデルを使用し、鏡面反射など
も考慮することや、陰影だけでなく光線追跡の技術を用
いて影を再現するなど、できるだけ現実に近い画像を生
成できるようにする。
【０１３２】以上述べたように画像生成にコンピュータ
グラフィックスの機能を利用するのは一例であり、数値
計算により照合に必要な画素について輝度値を計算する
ことで画像を生成することも、もちろん可能である。
【０１３３】以下、画像全体のうち照合に用いる領域に
ある画素の輝度値を縦に並べたベクトルで画像をあらわ
す。照明変動画像群の画像がＮ個のとき、各画像をベク
トルＫi （ｉ＝１，２，…，Ｎ）であらわすと、Ｖは以
下に示す［式３］であらわされる。
【０１３４】
【数３】
【０１３５】次に、Ｖの各固有値σi と固有ベクトルＢ
i を固有値の大きい順にＭ個まで求める。そして、物体
ｊの照明変動空間をベクトルＢi を基底とするＭ次元線
形空間Ψj で近似する。ここで照明変動空間の次元Ｍ
は、照明補正処理に必要とされている精度との兼ね合い
で決めることができる。Ｍ個の固有ベクトルを使った場
合、その固有値の累積寄与率が以下に示す [式４］で計
算できる。
【０１３６】
【数４】
【０１３７】累積寄与率は、輝度値の差を用いて画像の
誤差を評価したときに、照明変動空間がどの程度正確に
照明変動画像群を表現できるかを表す数値である。この
値に対して閾値を定めておけば、その閾値を上回るのに
必要な次元数としてＭを自動的に決定することができ
る。
【０１３８】図３は、照明補正手段２３０の機能の詳細
な構成および処理の流れを示すブロック図である。照明
補正手段２２０は、照明条件変化手段２３１、画像生成
手段２３２、照明変動空間生成手段２３３および照明条
件推定手段２３４から構成される。
【０１３９】照明条件変化手段２３１は、物体の照明変
動空間を近似するのに十分な数の照明条件を設定する。
例えば、無限遠にある一つの点光源を考え、図４に示す
ような物体を中心とした球面の経度、緯度をあらわす
（θ，φ）の角度で光源の方向を示すとし、θとφを１
０°おきに−９０°から９０°まで変化させ、３６１種
類の照明条件群を設定する。この光源の種類、照明方向
の設定間隔や範囲の決め方は一例であり、種々変更可能
である。
【０１４０】画像生成手段２３２は、データ記憶手段１
３０から照合対象である物体ｊの３次元形状と反射率を
読み込み、位置姿勢推定手段２２０から入力される位置
姿勢パラメタと、照明条件変化手段２３１から入力され
る照明条件群とを利用して、照明変動画像群を、コンピ
ュータグラフィックスの機能を使って生成する。
【０１４１】この処理は、グラフィックス機能を備えた
コンピュータの基本機能をもって実現できる。コンピュ
ータグラフィックスを用いた画像生成においては様々な
物体表面の反射モデル、カメラモデル等を使うことがで
きる。カメラモデルとしてピンホールカメラモデル、物
体表面の反射モデルとして完全散乱モデルを用いること
ができる。これらのモデルは一例であり、光線追跡処理
を行って影をつけたり、てかりをつけるために他の様々
な反射モデルを用いることもできる。
【０１４２】この画像生成処理において、物体表面の反
射特性や光源、カメラのモデルをより現実に近い正確な
ものとすることで、照合性能を向上させることができ
る。また、この画像生成はコンピュータグラフィックス
を用いなくとも、数値計算によっても実現可能である。
【０１４３】照明変動空間生成手段２３３は、画像生成
手段２３２で生成された照明変動画像群から照明変動空
間を［式３］にしたがって計算し、計算された基底ベク
トル群を物体の照明変動画像空間（基底ベクトル群）Ψ
j として照明条件推定手段２３４に出力する。本実施の
形態においては、固有値の大きい順にＭ個の基底ベクト
ルを求め、Ψj として出力する。この基底ベクトルの数
Ｍを一例として［式４］で計算される累積寄与率が９５
％を超える数として決定するには、照明変動画像群の画
像の数に等しい３６１または画素数がそれ以下である場
合、画素数の数をＮとし、Ｎ個の固有値を求め、以下に
示す［式５］となる数Ｍを求めて決定する。
【０１４４】
【数５】
【０１４５】Ｍの決定法は他にも様々な基準を適用して
決定することが可能である。
【０１４６】照明条件推定手段２３４は、以下に示す
[式６］によって、入力画像を用いて照明変動画像空間
Ψj 内にあって入力画像に最も近い画像を比較画像とし
て生成し、画像比較手段２４０に出力する。
【０１４７】
【数６】
【０１４８】画像比較手段２４０は、入力画像と生成さ
れた比較画像との類似度の評価値を算出する。評価値の
計算方法には様々な技術が利用できるが、その一例とし
ては、以下に示す [式７］のように画像の各画素の輝度
値の差の二乗和などを用いることができる。
【０１４９】
【数７】
【０１５０】この他に、文献（「コンピュータによる顔
の認識--サーベイ--」，電子情報通信学会論文誌D-II,V
ol.J80-D-II,No.8,pp.2031--2046,1997)に詳しく述べら
れているような技術も利用可能である。
【０１５１】照合判定手段２５０は、計算された評価値
を閾値処理して照合対象物体であるか否かの照合を行
う。
【０１５２】物体の照合処理は、入力画像ベクトルＩq
と照合対象物体の照明変動空間の距離を尺度として行う
ことができる。この距離は照明変動空間Ψj 内にあっ
て、最も入力画像に近い画像ベクトルＩc と入力画像と
の間の距離として計算できる。距離の尺度としては様々
なものが利用可能であるが、ここでは輝度値の２乗誤差
を直接用いる例をもって説明する。
【０１５３】この距離尺度を用いる場合には、Ψj 内で
もっともベクトルＩq に近い画像ベクトルＩc は [式
６］で生成できる。
【０１５４】比較画像ベクトルＩc と入力画像ベクトル
Ｉq との距離Ｄ（輝度値の差の２乗和）は [式７］で計
算できる。
【０１５５】この値Ｄを入力画像と登録データとの類似
度の評価値とし、これに基づいて、対象物体であるか否
かの確認、登録されているどの物体であるかの検索、登
録されている物体のうち近似する物体の検索、等の判定
処理を行う。例えば、簡単な閾値処理で対象物体である
かの確認を行う場合は、ある閾値Ｄ’を定めておき、Ｄ
＜Ｄ’であれば対象物体であると決定する。
【０１５６】また、複数の物体が登録されている場合に
は、照明補正手段２３０による比較画像の生成から画像
比較手段２４０による評価値の算出までの処理を複数回
行い、どの物体に最も近似するかの検索を行うこともで
きる。また、登録されている物体の内、ある一定以上の
評価値を持っている物体として、近似する物体の検索を
行うこともできる。
【０１５７】（第２の実施の形態）次に、本発明の第２
の実施の形態について図６と図７を参照して詳細に説明
する。図６は、第２の実施の形態における画像照合装置
の構成および処理の流れを示すブロック図である。本実
施の形態は、第１の実施の形態と比較し、反射率測定手
段１２０において反射率を測定する代わりに、複数の照
明条件下で画像を撮影しておき、それらの画像を反射率
の代わりに用いて照明変動画像群を生成する点、および
照明条件変化手段２３１がない点が異なる。
【０１５８】本実施の形態は、照合対象物体の画像の照
明条件による変動を包含する照明変動空間を生成するの
に十分なサンプル画像が生成できるだけの適当な数の照
明条件を設定し、その照明条件の下で画像情報を撮影し
ておけば、反射率を測定したりコンピュータグラフィッ
クスによる画像生成における照明条件の設定や光線追跡
による影の生成などの処理を行わなくても、照明変動空
間を生成するためのサンプル画像が生成できることを特
徴とする。
【０１５９】サンプル画像として使用されるテクスチャ
画像撮影処理に用いることのできる方法の一例として次
のような方法がある。登録する物体前方に半球型のやぐ
らを設置し、一様な間隔で適当な数のランプを取り付け
る。そして、各ランプを点灯させながら画像を撮影する
というものである。この他にもランプをマニピュレータ
に取り付けて移動させながら画像を撮影するなど様々な
方法が利用可能である。
【０１６０】本実施の形態においては、撮影された複数
のテクスチャ画像群が３次元形状データと合わせて登録
データとして記憶される。そして、照合過程において、
照明条件変化処理を行わず、記憶されているテクスチャ
画像群を順次読み出し、位置姿勢推定処理において推定
された位置姿勢にあって、物体表面の輝度値が各テクス
チャ画像に等しいような画像をコンピュータグラフィッ
クスにより生成し、サンプル画像として出力する。以
下、具体的に説明する。
【０１６１】登録手段２１００において、物体の照合に
用いる登録データとして、物体の３次元形状と、複数の
照明条件のもとでの画像データ（テクスチャ画像）を登
録しておく。登録手段２１００は、３次元形状測定手段
２１１０、テクスチャ画像撮影手段２１２０およびデー
タ記憶手段２１３９０から構成される。
【０１６２】３次元形状測定手段２１１０は、特願平１
１−１２３６８７号に記載されていうような３次元形状
測定装置を用いて物体の３次元形状を測定し、データ記
憶手段２１３０に出力する。
【０１６３】テクスチャ画像撮影手段２１２０は、第１
の実施の形態の照明条件変化手段２３１から出力される
照明条件と同等な照明条件を実際に設定して、物体の画
像を撮影する。例えば、物体前方に物体を中心とした半
球型のやぐらを設置し、適当な間隔で適当な数のランプ
を取り付ける。一例としては、物体に対して図４に示す
角度（θ，φ）において、θ，φについて−９０°から
９０°までの範囲でそれぞれ１５°間隔にランプを取り
付け、各ランプを点灯させながら１枚ずつ画像を撮影す
る。この撮影方法および照明位置の設定方法は一例であ
り、この他にもランプをマニピュレータに取り付けて移
動させながら画像を撮影するなど様々な方法が利用可能
である。これらの方法により撮影した画像群をテクスチ
ャ画像群としてデータ記憶手段２１３０に出力する。
【０１６４】データ記憶手段２１３０は、３次元形状測
定手段２１１０から入力された各物体の３次元形状と、
テクスチャ画像撮影手段２１２０から入力されたテクス
チャ画像群を記憶保持する。登録されたデータは、照合
手段２２００における照合処理のため適時読み出され
る。
【０１６５】照合手段２２００は、撮影手段２２１０、
位置姿勢推定手段２２２０、照明補正手段２２３０、画
像比較手段２２４０および照合判定手段２２５０から構
成される。
【０１６６】撮影手段２２１０は、カメラやビデオカメ
ラ等の撮像装置を用いて照合対象となる物体を撮影し、
入力画像として位置姿勢推定手段２２２０、照明補正手
段２２３０および画像比較手段２２４０に出力する。
【０１６７】位置姿勢推定手段２２２０は、入力画像を
撮影したときの撮影条件である物体の位置姿勢や撮像装
置のパラメタ等を推定する。例えば、位置姿勢パラメタ
として物体の平行移動距離（Ｔx ，Ｔy ，Ｔz ）、回転
角度（Ｒx ，Ｒy ，Ｒz ）、カメラの焦点距離ｆ、視野
角αを用いる。位置姿勢推定手段２２２０は、これらの
パラメタを利用者が画面を見ながら手動で調整できるよ
うな対話型のインタフェースを備える。
【０１６８】本実施の形態の照明補正手段２２００は、
第１の実施の形態における照明条件変化手段２３１がな
く、画像生成手段２２３２において、テクスチャ画像撮
影手段２１２０において撮影したテクスチャ画像群をそ
のまま物体表面の輝度値として用いることで照明変動画
像群を生成する点が異なっている。
【０１６９】図７は、本実施の形態における照明補正手
段２２３０の構成および処理の流れを示すブロック図で
ある。照明補正手段２２３０は、画像生成手段２２３
２、照明変動空間生成手段２２３３および照明条件推定
手段２２３４から構成される。
【０１７０】画像生成手段２２３２は、データ記憶手段
２１３０から照合対象である物体ｊの３次元形状とテク
スチャ画像群を読み込み、位置姿勢推定手段２２２０か
ら与えられた位置姿勢パラメタと、当該テクスチャ画像
群の各テクスチャ画像を用いて、照明変動画像群をコン
ピュータグラフィックスの機能を使って生成する。この
処理は、グラフィックス機能を備えたコンピュータの基
本機能であるテクスチャマッピングの技術を利用する。
本実施の形態においては様々なカメラモデルを利用する
ことができ、その一例としては、ピンホールカメラモデ
ルを用いることができる。第１の実施の形態と異なり、
テクスチャ画像は現実に撮影された画像であるので、第
１の実施の形態のようにコンピュータグラフィックスの
技術によって影やてかりを生成する必要はない。
【０１７１】照明変動空間生成手段２２３３は、画像生
成手段２２３２で生成された照明変動画像群から照明変
動空間を［式３］にしたがって計算し、計算された基底
ベクトル群を物体の照明変動画像空間（基底ベクトル
群）Ψj として照明条件推定手段２２３４に出力する。
【０１７２】照明条件推定手段２２３４は、 [式６］に
よって、入力画像を用いて照明変動画像空間Ψj 内にあ
って入力画像に最も近い画像を比較画像として生成し、
画像比較手段２２４０に出力する。
【０１７３】画像比較手段２２４０は、入力画像と生成
された比較画像との類似度の評価値を算出する。
【０１７４】照合判定手段２２５０は、計算された評価
値を閾値処理して照合対象物体であるか否かの照合を行
う。また、複数の物体が登録されている場合には、照明
補正手段２２３０による比較画像の生成から画像比較手
段２２４０による評価値の算出までの処理を複数回行
い、どの物体に最も近似するかの検索を行うこともでき
る。また、登録されている物体のうちある一定以上の評
価値を持っている物体として、近似する物体の検索を行
うこともできる。
【０１７５】本実施の形態によれば、反射率の代わりに
テクスチャ画像群を実際に撮影して画像データとして、
データ記憶手段２１３０に登録するため、第１の実施の
形態と比較して、データ登録段階における作業が煩雑と
なる。しかしながら、照明補正処理において、実際に撮
影されたテクスチャ画像群を使用するため、低次元空間
に近似させるための数値計算や、コンピュータグラフィ
ックスの技術によって影やてかりをつける処理を省略で
きることから、照合処理時間を短縮することができる。
【０１７６】（第３の実施の形態）次に、本発明の第３
の実施の形態について詳細に説明する。図８は、本実施
の形態における画像照合装置の構成および処理の流れを
示すブロック図である。本実施の形態は、第１の実施の
形態と比較して、複数の物体を登録する場合に３次元形
状測定手段３１１０において全ての物体の３次元形状を
測定する代わりに、１つないし少数の３次元形状を計測
するだけで、平均形状生成手段３１５０において当該１
つないし少数の３次元形状の平均となる３次元形状１つ
を出力し、照合対象となる全ての物体の形状は計測しな
い点、および照合手段３２００において当該平均の３次
元形状を利用する点が異なる。
【０１７７】本実施の形態は、特に互いに形状が類似し
ている物体の場合には、全ての物体の３次元形状を測定
しなくても、代表的な形状データを代わりに用いること
で、位置姿勢推定処理および照明補正処理を行うことが
できることを利用している。
【０１７８】登録手段３１００は、３次元形状測定手段
３１１０、平均形状生成手段３１５０、反射率測定手段
３１２０およびデータ記憶手段３１３０から構成され
る。
【０１７９】３次元形状測定手段３１１０は、特願平１
１−１２３６８７号に記載されているような３次元形状
測定装置を用いて、物体１と物体２の３次元形状を測定
する。
【０１８０】平均形状測定手段３１５０は、図９（ａ）
に示すように、２つの物体形状を重心を一致させるよう
に平行移動し、図９（ａ）のＺ軸に垂直な断面を適当な
間隔で設定し、それぞれの断面上で平均形状を計算す
る。図９（ｂ）に示すように、断面上で重心から物体の
外側に向かって平均計算軸となる直線を考え、物体１、
物体２の形状との交点を点Ｐ1 ，Ｐ2 とする。平均形状
である点Ｐm の３次元座標は、二つの物体表面上の点Ｐ
1 ，Ｐ2 の３次元座標（ｘ1 ，ｙ1 ，ｚ1 ），（ｘ2 ，
ｙ2 ，ｚ2 ）を平均した以下に示す［式８］とする。
【０１８１】
【数８】
【０１８２】この処理を平均計算軸を重心の周りを回転
させながら適当な間隔で行うことにより、物体１と物体
２の平均形状を生成できる。該生成した平均形状をデー
タ記憶手段３１３０に出力する。
【０１８３】反射率測定手段３１２０は、物体１、物体
２それぞれの３次元形状に対応する表面の反射率を測定
する。特願平１１−１２３６８７号に記載されたような
３次元形状測定装置を用いれば、３次元形状と同時に表
面の色情報を測定することができる。以下ではこの色情
報を反射率に代用する。平均形状の各点とここで測定し
た各物体の色情報の対応は、次のようにして決定でき
る。すなわち、平均形状Ｐm の３次元座標を計算する際
に用いた物体１、物体２の３次元形状データをそれぞれ
Ｐ1 ，Ｐ2 とすれば、平均形状Ｐm に対応する物体１の
反射率データはＰ1 に対応する反射率であり、平均形状
Ｐm に対応する物体２の反射率はＰ2 に対応する反射率
となる。
【０１８４】データ記憶手段３１３０は、３次元形状測
定手段３１１０より入力される平均形状データと、反射
率測定手段３１２０より入力される物体１、物体２のそ
れぞれの反射率を記憶する。
【０１８５】照合手段３２００における処理は、物体
１、物体２の形状としてデータ記憶手段３１３０から読
み出される３次元形状が平均形状に代わった点が第１の
実施の形態と異なり、他の処理は全て同様である。
【０１８６】以上、本実施の形態では２個の物体を登録
する際にその平均形状を記憶する実施の形態を説明した
が、これはあくまで一例であり、物体の数が３個以上に
なったり、そのうち任意の数の物体の平均形状を求めて
利用することも同様の処理により可能である。
【０１８７】（第４の実施の形態）次に、本発明の第４
の実施の形態について詳細に説明する。本実施の形態で
は照合対象物体の一例として人の顔を用いる。図１０
は、本実施の形態における画像照合装置の構成及び処理
の流れを示すブロック図である。本実施の形態は、第１
の実施の形態と比較し、登録手段４１００において、物
体の画像上で輝度値が大きく変化するなどの特徴的な点
の位置を抽出し、特徴点位置として出力する特徴点位置
抽出手段４１４０が追加されている点、データ記憶手段
４１３０において物体の特徴点の位置も記憶する点、お
よび照合手段４２００の位置姿勢推定手段４２２０にお
いて、データ記憶手段４１３０から当該特徴点位置を読
み込み、物体の位置姿勢を自動的に推定する点が異な
る。
【０１８８】本実施の形態は、入力画像において照合対
象物体の特徴点の位置を抽出し、当該特徴点の３次元座
標を登録データから知ることができれば、当該特徴点の
画像上の位置と３次元座標とを用いて入力画像中の物体
の位置姿勢および撮像装置のパラメタを自動的に求める
ことができることを利用している。複数の点について画
像上の位置と３次元座標が既知である場合に入力画像中
の物体の位置姿勢および撮像装置のパラメタを自動的に
求める方法としてはカメラキャリブレーションの方法が
利用できる。
【０１８９】すなわち、画像を比較する代わりに物体の
画像上で輝度値が大きく変化する部分など、特徴的な領
域や点（以下では特徴点と呼ぶ）の位置を入力画像とＣ
Ｇ画像から検出し、当該特徴点の位置がもっとも近くな
るようなＣＧ画像を求めることで物体の位置姿勢や撮像
装置のパラメタを計算する方法である。
【０１９０】また、特徴点位置を入力画像から検出し、
各特徴点間の位置関係についての情報を利用して物体の
位置姿勢を求める方法もある。文献（「An analyticsol
ution for the pose determination of human faces fr
om a monocularimage 」, Shinn-Ying Ho , Hui-Ling H
uang, Pattern RecognitionLetters,Vol.19,1045-1054,
1998）には、照合対象物体として人間の顔を用いる場合
に目尻や口元といった特徴点を用い、両目の特徴点を結
ぶ直線と左右の口元の特徴点を結ぶ直線が互いに平行で
あるなどの位置関係を利用して位置姿勢を求める方法が
記述されている。以下、本実施の形態ついて具体的に説
明する。
【０１９１】登録手段４１００は、３次元形状測定手段
４１１０、反射率測定手段４１２０、特徴点抽出手段４
１４０およびデータ記憶手段４１３０から構成される。
登録手段４１００において、物体の照合に用いる登録デ
ータとして、物体の３次元形状、反射率を測定し、該３
次元形状および反射率から物体の特徴点の３次元座標を
求め、３次元形状、反射率または色情報、特徴点位置を
登録しておく。
【０１９２】３次元形状測定手段４１１０は、３次元形
状測定装置を用いて物体の３次元形状を測定する。本実
施の形態では３次元形状測定装置の一例として特願平１
１−１２３６８７号に記載されている３次元形状測定装
置を用いるが、この他にも様々な装置が利用可能であ
る。
【０１９３】反射率測定手段４１２０は、３次元形状に
対応する物体の表面の反射率を測定する。特願平１１−
１２３６８７号に記載されている３次元形状測定装置を
用いれば、３次元形状と同時に表面の色情報を測定する
ことができる。以下ではこの色情報を反射率に代用す
る。
【０１９４】特徴点抽出手段４１４０は、物体の画像上
で輝度値が大きく変化する部分など特徴的な領域や点
（以下では特徴点と呼ぶ）の位置を検出し、その３次元
座標を特徴点位置としてデータ記憶手段４１３０に出力
する。例えば、人物の顔を照合対象物体とする場合に
は、目じりや口元など、反射率が大きく変化している部
位や、鼻の頭など３次元形状が大きく変化している部位
を検出する。これは、手動で行うことができる。また、
自動的に行う方法として特許第２８７２７７６号公報
「顔画像照合装置」、特開平６−１６８３１７号公報
「個人識別装置」に記載の方法など様々な方法を利用で
きる。本実施の形態では、図１２に示すような位置の１
２個の点（０〜１１）を特徴点として用いる。これらの
特徴点の定義は、照合対象とする物体により様々に変更
可能であることはいうまでもない。以下ではこれら特徴
点の３次元座標である特徴点位置をベクトルＡi ＝（ｘ
i ，ｙi ，ｚi ），（ｉ＝０，１，…，１１）であらわ
す。
【０１９５】データ記憶手段４１３０は、登録された各
物体の３次元形状、反射率および特徴点位置を記憶保持
する。登録されたデータは、照合手段４２００の処理の
ために適時読み出される。
【０１９６】照合手段４２００は、撮影手段４２１０、
位置姿勢推定手段４２２０、照明補正手段４２３０、画
像比較手段４２４０および照合判定手段４２５０から構
成される。
【０１９７】撮影手段４２１０は、カメラやビデオカメ
ラ等の撮像装置を用いて照合対象となる入力画像を撮影
する。撮影した入力画像を位置姿勢推定手段４２２０、
照明補正手段４２３０および画像比較手段４２４０に出
力する。
【０１９８】位置姿勢推定手段４２２０は、入力画像を
撮影したときの撮影条件である物体の位置姿勢や撮像装
置のパラメタ等を推定する。図１１に位置姿勢推定手段
４２２０の構成および処理の流れを示すブロック図を示
す。位置姿勢推定手段４２２０は、入力画像特徴点抽出
手段４２２１および位置姿勢計算手段４２２２から構成
される。
【０１９９】入力画像特徴点抽出手段４２２１は、登録
手段４１００における特徴点抽出手段４１４０において
抽出した特徴点群ベクトルＡi と同じ特徴点の位置を入
力画像から抽出し、画像上での位置ベクトルＢi ＝（ｕ
i,ｖi ),（ｉ＝０，１，２，…，１１）を入力画像特徴
点位置として位置姿勢計算手段４２２２に出力する。こ
れは人が処理装置の画面上に表示された入力画像を見な
がら手動で入力することもできる。また、特開平６−１
６８３１７号「個人識別装置」に記載の方法など特徴点
抽出手段４１４０で用いたのと同様な方法も利用可能で
ある。
【０２００】本実施の形態は人の顔を照合する場合を一
例としてあげているが、例えば、多面体形状の物体を照
合する場合には頂点が特徴点として利用でき、画像から
エッジを抽出し、それらの交点として多面体の頂点を検
出することができる。また、物体表面に特徴的な模様が
ある場合などにその模様の位置を利用することもでき
る。
【０２０１】位置姿勢計算手段４２２２は、入力画像特
徴点抽出手段４２２１から入力された入力画像特徴点位
置と、データ記憶手段４１３０から読み出された特徴点
位置とを利用し、入力画像中にある物体の位置姿勢や撮
像装置のパラメタなどを計算し、位置姿勢として照明補
正手段４２３０に出力する。この計算には文献（「AnEf
ficient and Accurate CameraCalibration Technique f
or 3D Machine Vision 」,RogerY. Tsai,Proc. CVPR'8
6, pp.364--374,1986)の方法など様々な方法が利用可能
である。
【０２０２】本実施の形態では一例として位置姿勢のパ
ラメタとして物体の平行移動距離（Ｔx ，Ｔy ，
Ｔz ）、ｘ，ｙ，ｚ軸の周りの回転角度（Ｒx ，Ｒy ，
Ｒz ）、カメラの焦点距離ｆを、カメラモデルとしてピ
ンホールカメラを用いて次のような方法をとる。上述し
たように、当該位置姿勢には、焦点距離など撮像装置の
パラメタも含まれる。特徴点位置ベクトルＡi と入力画
像特徴点位置ベクトルＢi の間の関係は以下に示す［式
９］であらわされる。
【０２０３】
【数９】
【０２０４】ただし、ここでａ，ｂ，ｃは以下に示す
［式１０］であらわされる値である。
【０２０５】
【数１０】
【０２０６】Ｒは以下に示す［式１１］で表される回転
を表す行列である。
【０２０７】
【数１１】
【０２０８】１２個の各特徴点についての［式９］で計
算される値と入力画像特徴点位置誤差の総和が最小にな
るように、Ｒx ，Ｒy ，Ｒz ，Ｔx ，Ｔy ，Ｔz ，ｆを
最適化計算により求める。この最適化の計算には様々な
方法が利用できる。求めたＲx ，Ｒy ，Ｒz ，Ｔx ，Ｔ
y ，Ｔz ，ｆを位置姿勢として照明補正手段４２３０に
出力する。上述した位置姿勢パラメタやカメラモデルの
定義と計算方法はあくまで一例であり、この他にも様々
な方法が利用可能である。
【０２０９】照明補正手段４２３０は、位置姿勢推定手
段４２２０により決定されたパラメタを利用して、入力
画像と同じ位置姿勢にあって、最も近い照明条件の画像
を比較画像とする。
【０２１０】画像比較手段４２４０は、入力画像と生成
された比較画像との類似度の評価値を算出する。評価値
の計算方法には様々な技術が利用できるが、その一例と
しては、 [式７］のように画像の各画素の輝度値の差の
二乗和などを用いることができる。
【０２１１】照合判定手段４２５０は、計算された評価
値を閾値処理して照合対象物体であるか否かの照合を行
う。また、複数の物体が登録されている場合には、照明
補正手段４２３０による比較画像の生成から画像比較手
段４２４０による評価値の算出までの処理を複数回行
い、どの物体に最も近似するかの検索を行うこともでき
る。また、登録されている物体のうちある一定以上の評
価値を持っている物体として、近似する物体の検索も行
うこともできる。
【０２１２】（第５の実施の形態）次に、本発明の第５
の実施の形態について詳細に説明する。本実施の形態に
おいては、登録される物体が工業製品などであり、その
形状の設計図がＣＡＤデータとして保存されており、表
面の塗装の仕様がデザイン図によって決められていると
する。本実施の形態は、第１の実施の形態と比較し、３
次元形状測定手段１１０において、設計図のＣＡＤデー
タから３次元形状を、反射率測定手段１２０においてデ
ザイン図から反射率を読み込む点が異なる。照合対象と
なる物体が工業製品など設計図の存在する物体である場
合や、建築物など３次元形状の測定が一般の３次元形状
計測装置では困難であり、別途測量等を行い形状を測定
する場合等に適用するとよい。
【０２１３】３次元形状測定手段１１０は、設計図のＣ
ＡＤデータを、照合手段２００で扱えるデータ形式に変
換して３次元形状としてデータ記憶手段１３０に出力す
る。
【０２１４】反射率測定手段１２０は、デザイン図から
物体の各部の色、表面の仕上げの方法などを読み込み、
反射率に変換してデータ記憶手段１３０に出力する。
【０２１５】データ記憶手段１３０は、３次元形状測定
手段１１０から入力された３次元形状データと、反射率
測定手段１２０から入力された反射率とを記憶する。
【０２１６】照合手段２００については第１の実施の形
態と全く同等である。
【０２１７】本発明は上述した実施の形態において述べ
たように、一般の物体に対して応用可能である。特に、
本発明は自動車の車種・型式の照合、人物の顔の照合な
どへの応用に有効である。
【０２１８】以上、本発明の実施の形態を図面に基づき
具体的に説明したが、本発明はこれらの実施の形態に限
定されるものではなく、その要旨を逸脱しない範囲にお
いて種々変更可能である。また、本発明をコンピュータ
プログラムによって実現することももちろん可能であ
る。
【０２１９】
【発明の効果】以上の説明から明らかなように、本発明
によれば、登録手段でのみ物体の３次元形状と表面の反
射率または適当な照明条件下での画像を計測すればよ
く、照合手段における撮像手段としてはビデオカメラな
どの通常の２次元画像を撮影する撮像装置があるだけで
十分であり、照合段階において３次元形状測定装置を必
要とせずに実用的な装置を構成できる。
【０２２０】また、３次元形状が登録されているので、
入力画像における物体の３次元的な位置姿勢の変動に対
して完全に補正することができる。また、対象物体の表
面の反射特性が完全散乱面でないものについても適用で
き、物体の他の部分による光源の遮蔽により発生する影
やてかりなどに対しても適用できるため、照明条件の変
動に対しても十分な補正を行うことができる。したがっ
て、上記IlluminationSubspace Method、Sampling Meth
od よりもさらに広い範囲の一般的な物体の照合に適用
することができる。
【０２２１】また、照合段階において、照明変動画像群
を登録されている３次元形状と反射率とを用いて自動的
に生成できるため、登録処理において多数の画像を撮影
する必要がなく、簡便に行うことができる。また、累積
寄与率判定を用いて、照明変動空間の近似として十分な
部分空間の次元数を求めることができるので、画像照合
の精度をあまり落とすことなく、計算量を大幅に削減す
ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像照合装
置処理の構成および処理の流れを示したブロック図であ
る。
【図２】本発明の第１の実施の形態における構成図であ
る。
【図３】本発明の第１の実施の形態における照明補正手
段２３０の構成および処理の流れを示したブロック図で
ある。
【図４】照明条件を決める照明の物体に対する方向を表
す角度を説明した図である。
【図５】画像を利用した物体照合装置の一例を示した図
である。
【図６】本発明の第２の実施の形態における画像照合装
置の構成および処理の流れを示したブロック図である。
【図７】本発明の第２の実施の形態における照明補正２
２３０の構成および処理の流れを示したブロック図であ
る。
【図８】本発明の第３の実施の形態における画像照合装
置の構成および処理の流れを示したブロック図である。
【図９】平均形状の生成方法を説明した図である。
【図１０】本発明の第４の実施の形態における画像照合
装置の構成および処理の流れを示したブロック図であ
る。
【図１１】本発明の第４の実施の形態における位置姿勢
推定手段４２２０の構成および処理の流れを示したブロ
ック図である。
【図１２】対象物体の特徴点として用いる物体の部位の
一例を示した図である。
【図１３】従来技術における画像照合技術の一例とし
て、登録時と照合時でともに２次元の画像のみを用いる
技術の構成を説明したブロック図である。
【図１４】従来技術における画像照合技術の一例とし
て、登録時と照合時でともに３次元形状を測定する技術
の構成を説明したブロック図である。
【図１５】従来技術における画像照合技術の一例とし
て、登録時と照合時でともに２次元の画像を撮影し、位
置姿勢の補正に標準３次元形状を用いる技術の構成を説
明したブロック図である。
【図１６】従来技術における画像照合技術の一例とし
て、登録時に多数の位置姿勢条件で画像を撮影し認識を
行う技術の構成を説明したブロック図である。
【図１７】従来技術における画像照合技術の一例とし
て、登録時に複数の照明条件で２次元の画像を撮影し、
照明条件補正を行う技術の構成を説明したブロック図で
ある。
【図１８】従来技術における画像照合技術の一例とし
て、登録時に複数の照明条件で２次元の画像を撮影し、
照明条件補正を行う技術の構成を説明したブロック図で
ある。
【符号の説明】 １００ 登録手段 １１０ ３次元形状測定手段 １２０ 反射率測定手段 １３０ データ記憶手段 ２００ 照合手段 ２１０ 撮影手段 ２２０ 位置姿勢推定手段 ２３０ 照明補正手段 ２３１ 照明条件変化手段 ２３２ 画像生成手段 ２３３ 照明変動空間生成手段 ２３４ 照明条件推定手段 ２４０ 画像比較手段 ２５０ 照合判定手段

Claims (87)

    【特許請求の範囲】
  1. 【請求項１】 登録対象となる物体のデータを３次元デ
    ータとして登録する登録手段と、 該登録手段に登録された物体のデータと照合する物体の
    データを２次元データとして取得し、前記登録手段に登
    録された物体のデータと照合する照合手段と、 を有することを特徴とする画像照合装置。
  2. 【請求項２】 前記照合手段は、 前記登録手段に登録された物体のデータと照合する物体
    の画像を入力画像として撮影する撮影手段と、 該撮影手段により撮影された物体の位置姿勢を補正する
    位置姿勢補正手段と、 該位置姿勢補正手段により補正された位置姿勢と、前記
    登録手段に登録された登録データとから、前記撮影手段
    により撮影された入力画像と同一の位置姿勢であって、
    最も近似する照明条件の画像を比較画像として生成する
    照明補正手段と、 該照明補正手段により生成された比較画像と、前記撮影
    手段により撮影された入力画像とを比較し、該２つの画
    像の類似度の評価値を算出する画像比較手段と、 該画像比較手段により算出された評価値に基づいて、前
    記撮影手段により撮影された物体が前記登録手段に登録
    された物体であるか否かを判定する照合判定手段と、 を有して構成されることを特徴とする請求項１記載の画
    像照合装置。
  3. 【請求項３】 前記登録手段は、 前記登録対象となる物体の３次元形状を測定する３次元
    形状測定手段と、 前記登録対象となる物体の３次元形状の各位置における
    表面の反射率を測定する反射率測定手段と、 前記３次元形状測定手段により測定された３次元形状
    と、前記反射率測定手段により測定された反射率とを登
    録データとして記憶するデータ記憶手段と、 を有して構成されることを特徴とする請求項２記載の画
    像照合装置。
  4. 【請求項４】 前記登録手段は、 前記登録対象となる物体の３次元形状を測定する３次元
    形状測定手段と、 前記登録対象となる物体を撮影し、該物体の画像情報を
    取得する画像情報取得手段と、 前記３次元形状測定手段により測定された３次元形状
    と、前記画像情報取得手段により取得された画像情報と
    を登録データとして記憶するデータ記憶手段と、 を有して構成されることを特徴とする請求項２記載の画
    像照合装置。
  5. 【請求項５】 前記登録手段は、 前記登録対象となる物体の３次元形状を測定する３次元
    形状測定手段と、 複数の物体を登録するとき、前記３次元形状測定手段に
    より測定された複数の３次元形状の平均となる平均３次
    元形状を生成する平均形状生成手段と、 前記登録対象となる物体の３次元形状の各位置における
    表面の反射率を測定する反射率測定手段と、 前記３次元形状測定手段により測定された３次元形状
    と、前記平均形状生成手段により生成された平均３次元
    形状と、前記反射率測定手段により測定された反射率と
    を登録データとして記憶するデータ記憶手段と、 を有して構成されることを特徴とする請求項２記載の画
    像照合装置。
  6. 【請求項６】 前記照明補正手段は、 前記位置姿勢補正手段により補正された位置姿勢と、前
    記登録手段に登録された物体の登録データとから、前記
    撮影手段により撮影された物体の位置姿勢と同一の位置
    姿勢にあって、様々な照明条件からなる照明条件群の各
    々の照明条件の下での画像を照明変動画像群として生成
    する画像生成手段と、 該画像生成手段により生成された照明変動画像群から前
    記撮影手段により撮影された入力画像と最も近似する画
    像を生成して比較画像として、前記画像比較手段に出力
    する照明条件推定手段と、 を有して構成されることを特徴とする請求項３から５の
    いずれか１項に記載の画像照合装置。
  7. 【請求項７】 前記照明補正手段は、 前記画像生成手段により生成された照明変動画像群によ
    り張られる照明変動空間を生成する照明変動空間生成手
    段をさらに有して構成され、 前記照明条件推定手段は、 前記照明変動空間生成手段により生成された照明変動空
    間内から前記入力画像に最も近似する画像を生成して比
    較画像として、前記画像比較手段に出力することを特徴
    とする請求項６記載の画像照合装置。
  8. 【請求項８】 前記照明変動空間生成手段は、 前記画像生成手段により生成された照明変動画像群を主
    成分分析を施すことにより、照明条件により画像上に現
    れている変動要因の大部分を覆う空間の基底ベクトル群
    を生成し、 前記照明条件推定手段は、 前記照明変動空間生成手段により生成された基底ベクト
    ル群と、前記撮影手段により撮影された入力画像との間
    の相関を求め、該相関を基に前記基底ベクトル群から前
    記撮影手段により撮影された入力画像に最も近似する画
    像を生成して比較画像として前記画像比較手段に出力す
    ることを特徴とする請求項７記載の画像照合装置。
  9. 【請求項９】 前記照明補正手段は、 様々な照明条件を設定し照明条件群として前記画像生成
    手段に出力する照明条件変化手段をさらに有して構成さ
    れることを特徴とする請求項６から８のいずれか１項に
    記載の画像照合装置。
  10. 【請求項１０】 前記登録手段は、 前記登録対象となる物体の３次元形状を測定する３次元
    形状測定手段と、 前記登録対象となる物体を様々な照明条件で撮影し、テ
    クスチャ画像群を生成するテクスチャ画像撮影手段と、 前記３次元形状測定手段により測定された３次元形状
    と、前記テクスチャ画像撮影手段により撮影されたテク
    スチャ画像群とを登録データとして記憶するデータ記憶
    手段と、を有して構成され、 前記照明補正手段は、 前記位置姿勢補正手段により補正された位置姿勢と、前
    記登録手段に登録された物体の３次元形状とテクスチャ
    画像群とから、前記撮影手段により撮影された物体の位
    置姿勢と同一の位置姿勢にある照明変動画像群を生成す
    る画像生成手段と、 該画像生成手段により生成された照明変動画像群から前
    記撮影手段により撮影された入力画像と最も近似する画
    像を生成して比較画像として、前記画像比較手段に出力
    する照明条件推定手段と、を有して構成されることを特
    徴とする請求項２記載の画像照合装置。
  11. 【請求項１１】 前記照明補正手段は、 前記画像生成手段により生成された照明変動画像群によ
    り張られる照明変動空間を生成する照明変動空間生成手
    段をさらに有して構成され、 前記照明条件推定手段は、 前記照明変動空間生成手段により生成された照明変動空
    間内から前記撮影手段により撮影された入力画像に最も
    近似する画像を生成して比較画像として、前記画像比較
    手段に出力することを特徴とする請求項１０記載の画像
    照合装置。
  12. 【請求項１２】 前記照明変動空間生成手段は、 前記画像生成手段により生成された照明変動画像群を主
    成分分析を施すことにより、照明条件により画像上に現
    れている変動要因の大部分を覆う空間の基底ベクトル群
    を求め、 前記照明条件推定手段は、 前記照明変動空間生成手段により生成された基底ベクト
    ル群と、前記撮影手段により撮影された入力画像との間
    の相関を求め、該相関を基に前記基底ベクトル群から前
    記撮影手段により撮影された入力画像に最も近似する画
    像を生成して比較画像として前記画像比較手段に出力す
    ることを特徴とする請求項１１記載の画像照合装置。
  13. 【請求項１３】 前記位置姿勢補正手段は、 あらかじめ設定された一定の位置姿勢を前記照明補正手
    段に出力することを特徴とする請求項２記載の画像照合
    装置。
  14. 【請求項１４】 前記位置姿勢補正手段は、 前記撮影手段により撮影された入力画像に写っている物
    体の位置姿勢のパラメタを入力し、該入力した位置姿勢
    を前記照明補正手段に出力することを特徴とする請求項
    ２記載の画像照合装置。
  15. 【請求項１５】 前記位置姿勢補正手段は、 前記撮影手段により撮影された入力画像に写っている物
    体の位置姿勢を推定し、該推定した位置姿勢を前記照明
    補正手段に出力することを特徴とする請求項２記載の画
    像照合装置。
  16. 【請求項１６】 前記登録手段は、 前記登録対象となる物体の３次元形状を測定する３次元
    形状測定手段と、 前記登録対象となる物体の３次元形状の各位置における
    表面の反射率を測定する反射率測定手段と、 前記３次元形状測定手段により測定された３次元形状
    と、前記反射率測定手段により測定された反射率とから
    特徴点位置を抽出する第１の特徴点抽出手段と、 前記３次元形状測定手段により測定された３次元形状
    と、前記反射率測定手段により測定された反射率と、前
    記第１の特徴点抽出手段により抽出された特徴点位置と
    を登録データとして記憶するデータ記憶手段と、を有し
    て構成され、 前記位置補正手段は、 前記データ記憶手段により記憶された特徴点位置と同一
    の特徴点位置を前記撮影手段により撮影された入力画像
    から入力画像特徴点位置として抽出する第２の特徴点抽
    出手段と、 前記データ記憶手段により記憶された３次元形状と特徴
    点位置と、前記第２の特徴点抽出手段により抽出された
    入力画像特徴点位置とから、前記撮影手段により撮影さ
    れた物体の位置姿勢を推定し、該推定された位置姿勢を
    前記照明補正手段に出力する位置姿勢計算手段と、 を有して構成されることを特徴とする請求項１５記載の
    画像照合装置。
  17. 【請求項１７】 前記照明補正手段は、 前記位置姿勢補正手段により補正された位置姿勢と、前
    記データ記憶手段に記憶された３次元形状と反射率とか
    ら、前記撮影手段により撮影された物体の位置姿勢と同
    一の位置姿勢にあって、様々な照明条件からなる照明条
    件群の各々の照明条件の下での画像を照明変動画像群と
    して生成する画像生成手段と、 該画像生成手段により生成された照明変動画像群から前
    記撮影手段により撮影された入力画像に最も近似する画
    像を生成して比較画像として、前記画像比較手段に出力
    する照明条件推定手段と、 を有して構成されることを特徴とする請求項１６記載の
    画像照合装置。
  18. 【請求項１８】 前記照明補正手段は、 前記画像生成手段により生成された照明変動画像群によ
    り張られる照明変動空間を生成する照明変動空間生成手
    段をさらに有して構成され、 前記照明条件推定手段は、 前記照明変動空間生成手段により生成された照明変動空
    間内から前記入力画像に最も近似する画像を生成して比
    較画像として、前記画像比較手段に出力することを特徴
    とする請求項１７記載の画像照合装置。
  19. 【請求項１９】 前記照明変動空間生成手段は、 前記画像生成手段により生成された照明変動画像群を主
    成分分析を施すことにより、照明条件により画像上に現
    れている変動要因の大部分を覆う空間の基底ベクトル群
    を生成し、 前記照明条件推定手段は、 前記照明変動空間生成手段により生成された基底ベクト
    ル群と、前記撮影手段により撮影された入力画像との間
    の相関を求め、該相関を基に前記基底ベクトル群から前
    記撮影手段により撮影された入力画像に最も近似する画
    像を生成して比較画像として前記画像比較手段に出力す
    ることを特徴とする請求項１８記載の画像照合装置。
  20. 【請求項２０】 前記照明補正手段は、 様々な照明条件を設定し照明条件群として前記画像生成
    手段に出力する照明条件変化手段をさらに有して構成さ
    れることを特徴とする請求項１７から１９のいずれか１
    項に記載の画像照合装置。
  21. 【請求項２１】 前記登録手段は、 前記登録対象となる物体の３次元形状を測定する３次元
    形状測定手段と、 前記登録対象となる物体の３次元形状の各位置における
    表面の反射率を測定する反射率測定手段と、 様々な照明条件からなる照明条件群の各々の照明条件の
    下での前記登録対象となる物体の画像を照明変動画像群
    として生成する画像生成手段と、 該画像生成手段により生成された照明変動画像群により
    張られる照明変動空間を生成する照明変動空間生成手段
    と、 該照明変動空間生成手段により生成された照明変動空間
    を登録データとして記憶するデータ記憶手段と、を有し
    て構成され、 前記照合手段は、 前記登録手段に登録された物体のデータと照合する物体
    の画像を入力画像として撮影する撮影手段と、 前記データ記憶手段に記憶された照明変動空間内から前
    記入力画像に最も近似する画像を比較画像として生成す
    る照明条件推定手段と、 該照明条件推定手段により生成された比較画像と、前記
    撮影手段により撮影された入力画像とを比較し、該２つ
    の画像の類似度の評価値を算出する画像比較手段と、 該画像比較手段により算出された評価値に基づいて、前
    記撮影手段により撮影された物体が前記登録手段に登録
    されている物体であるか否かを判定する照合判定手段
    と、 を有して構成されることを特徴とする請求項１記載の画
    像照合装置。
  22. 【請求項２２】 前記登録手段は、 前記登録対象となる物体の３次元形状を測定する３次元
    形状測定手段と、 前記登録対象となる物体の３次元形状の各位置における
    表面の反射率を測定する反射率測定手段と、 様々な照明条件からなる照明条件群の各々の照明条件の
    下での前記登録対象となる物体の画像を照明変動画像群
    として生成する画像生成手段と、 該画像生成手段により生成された照明変動画像群を主成
    分分析を施すことにより、照明条件により画像上に現れ
    ている変動要因の大部分を覆う空間の基底ベクトル群を
    生成する照明変動空間生成手段と、 該照明変動空間生成手段により生成された基底ベクトル
    群を登録データとして記憶するデータ記憶手段と、を有
    して構成され、 前記照合手段は、 前記登録手段に登録された物体のデータと照合する物体
    の画像を入力画像として撮影する撮影手段と、 前記データ記憶手段に記憶された基底ベクトル群と、前
    記撮影手段により撮影された入力画像との間の相関を求
    め、該相関を基に前記基底ベクトル群から前記撮影手段
    により撮影された入力画像に最も近似する画像を比較画
    像として生成する照明条件推定手段と、 該照明条件推定手段により生成された比較画像と、前記
    撮影手段により撮影された入力画像とを比較し、該２つ
    の画像の類似度の評価値を算出する画像比較手段と、 該画像比較手段により算出された評価値に基づいて、前
    記撮影手段により撮影された物体が前記登録手段に登録
    されている物体であるか否かを判定する照合判定手段
    と、 を有して構成されることを特徴とする請求項１記載の画
    像照合装置。
  23. 【請求項２３】 前記３次元形状測定手段は、 図面を読み込むことにより、３次元形状を測定すること
    を特徴とする請求項２から２２のいずれか１項に記載の
    画像照合装置。
  24. 【請求項２４】 前記反射率測定手段は、 図面を読み込むことにより、反射率を測定することを特
    徴とする請求項２から２３のいずれか１項に記載の画像
    照合装置。
  25. 【請求項２５】 前記撮影手段は、 フィルム、写真、印刷物のいずれかを読み込んで、入力
    画像とすることを特徴とする請求項２から２４のいずれ
    か１項に記載の画像照合装置。
  26. 【請求項２６】 前記照合判定手段は、 前記登録手段に登録された物体の内、どの物体であるか
    を検索することを特徴とする請求項２から２５のいずれ
    か１項に記載の画像照合装置。
  27. 【請求項２７】 前記照合判定手段は、 前記登録手段に登録された物体の内、近似する物体を検
    索することを特徴とする請求項２から２６のいずれか１
    項に記載の画像照合装置。
  28. 【請求項２８】 前記登録対象となる物体は、 自動車であることを特徴とする請求項１から２７のいず
    れか１項に記載の画像照合装置。
  29. 【請求項２９】 前記登録対象となる物体は、 人間の顔であることを特徴とする請求項１から２８のい
    ずれか１項に記載の画像照合装置。
  30. 【請求項３０】 登録対象となる物体のデータを３次元
    データとして登録する登録工程と、 該登録工程により登録された物体のデータと照合する物
    体のデータを２次元データとして取得し、前記登録工程
    により登録された物体のデータと照合する照合工程と、 を有することを特徴とする画像照合方法。
  31. 【請求項３１】 前記照合工程は、 前記登録工程により登録された物体のデータと照合する
    物体の画像を入力画像として撮影する撮影工程と、 該撮影工程により撮影された物体の位置姿勢を補正する
    位置姿勢補正工程と、 該位置姿勢補正工程により補正された位置姿勢と、前記
    登録工程により登録された登録データとから、前記撮影
    工程により撮影された入力画像と同一の位置姿勢であっ
    て、最も近似する照明条件の画像を比較画像として生成
    する照明補正工程と、 該画像補正工程により生成された比較画像と、前記撮影
    工程により撮影された入力画像とを比較し、該２つの画
    像の類似度の評価値を算出する画像比較工程と、 該画像比較工程により算出された評価値に基づいて、前
    記撮影工程により撮影された物体が前記登録工程により
    登録された物体であるか否かを判定する照合判定工程
    と、 を有して構成されることを特徴とする請求項３０記載の
    画像照合方法。
  32. 【請求項３２】 前記登録工程は、 前記登録対象となる物体の３次元形状を測定する３次元
    形状測定工程と、 前記登録対象となる物体の３次元形状の各位置における
    表面の反射率を測定する反射率測定工程と、 前記３次元形状測定工程により測定された３次元形状
    と、前記反射率測定工程により測定された反射率とを登
    録データとして記憶するデータ記憶工程と、 を有して構成されることを特徴とする請求項３１記載の
    画像照合方法。
  33. 【請求項３３】 前記登録工程は、 前記登録対象となる物体の３次元形状を測定する３次元
    形状測定工程と、 前記登録対象となる物体を撮影し、該物体の画像情報を
    取得する画像情報取得工程と、 前記３次元形状測定工程により測定された３次元形状
    と、前記画像情報取得工程により取得された画像情報と
    を登録データとして記憶するデータ記憶工程と、 を有して構成されることを特徴とする請求項３１記載の
    画像照合方法。
  34. 【請求項３４】 前記登録工程は、 前記登録対象となる物体の３次元形状を測定する３次元
    形状測定工程と、 複数の物体を登録するとき、前記３次元形状測定工程に
    より測定した複数の物体の３次元形状の平均となる３次
    元形状を生成する平均形状生成工程と、 前記登録対象となる物体の３次元形状の各位置における
    表面の反射率を測定する反射率測定工程と、 前記３次元形状測定工程により測定された３次元形状
    と、前記平均形状生成工程により生成された平均３次元
    形状と、前記反射率測定工程により測定された反射率と
    を登録データとして記憶するデータ記憶工程と、 を有して構成されることを特徴とする請求項３１記載の
    画像照合方法。
  35. 【請求項３５】 前記照明補正工程は、 前記位置姿勢補正工程により補正された位置姿勢と、前
    記登録工程により登録された物体の登録データとから、
    前記撮影工程により撮影された物体の位置姿勢と同一の
    位置姿勢にあって、様々な照明条件からなる照明条件群
    の各々の照明条件の下での画像を照明変動画像群として
    生成する画像生成工程と、 該画像生成工程により生成された照明変動画像群から前
    記撮影工程により撮影された入力画像と最も近似する画
    像を比較画像として生成する照明条件推定工程と、 を有して構成されることを特徴とする請求項３２から３
    ４のいずれか１項に記載の画像照合方法。
  36. 【請求項３６】 前記照明補正工程は、 前記照明条件推定工程により比較画像を生成する前に、
    前記画像生成工程により生成された照明変動画像群によ
    り張られる照明変動空間を生成する照明変動空間生成工
    程をさらに有して構成され、 前記照明条件推定工程は、 前記照明変動空間生成工程により生成された照明変動空
    間内から前記入力画像に最も近似する画像を比較画像と
    して生成することを特徴とする請求項３５記載の画像照
    合方法。
  37. 【請求項３７】 前記照明変動空間生成工程は、 前記画像生成工程により生成された照明変動画像群を主
    成分分析を施すことにより、照明条件により画像上に現
    れている変動要因の大部分を覆う空間の基底ベクトル群
    を生成し、 前記照明条件推定工程は、 前記照明変動空間生成工程により生成された基底ベクト
    ル群と、前記撮影工程により撮影された入力画像との間
    の相関を求め、該相関を基に前記基底ベクトル群から前
    記撮影工程により撮影された入力画像に最も近似する画
    像を比較画像として生成することを特徴とする請求項３
    ６記載の画像照合装置。
  38. 【請求項３８】 前記照明補正工程は、 前記画像生成工程により照明変動画像群が生成される前
    に、該照明変動画像群が生成される際に用いられる照明
    条件群を、様々な照明条件を設定し生成する照明条件変
    化工程をさらに有して構成されることを特徴とする請求
    項３５から３７のいずれか１項に記載の画像照合方法。
  39. 【請求項３９】 前記登録工程は、 前記登録対象となる物体の３次元形状を測定する３次元
    形状測定工程と、 前記登録対象となる物体を様々な照明条件で撮影し、テ
    クスチャ画像群を生成するテクスチャ画像撮影工程と、 前記３次元形状測定工程により測定された３次元形状
    と、前記テクスチャ画像撮影工程により撮影されたテク
    スチャ画像群とを登録データとして記憶するデータ記憶
    工程と、を有して構成され、 前記照明補正工程は、 前記位置姿勢補正工程により補正された位置姿勢と、前
    記データ記憶工程により記憶された物体の３次元形状と
    テクスチャ画像群とから、前記撮影工程により撮影され
    た物体の位置姿勢と同一の位置姿勢にある照明変動画像
    群を生成する画像生成工程と、 該画像生成工程により生成された照明変動画像群から前
    記撮影工程により撮影された入力画像と最も近似する画
    像を比較画像として生成する照明条件推定工程と、を有
    して構成されることを特徴とする請求項３１記載の画像
    照合方法。
  40. 【請求項４０】 前記照明補正工程は、 前記照明条件推定工程により比較画像を生成する前に、
    前記画像生成工程により生成された照明変動画像群によ
    り張られる照明変動空間を生成する照明変動空間生成工
    程をさらに有して構成され、 前記照明条件推定工程は、 前記照明変動空間生成工程により生成された照明変動空
    間内から前記撮影工程により撮影された入力画像に最も
    近似する画像を比較画像として生成することを特徴とす
    る請求項３９記載の画像照合方法。
  41. 【請求項４１】 前記照明変動空間生成工程は、 前記画像生成工程により生成された照明変動画像群を主
    成分分析を施すことにより、照明条件により画像上に現
    れている変動要因の大部分を覆う空間の基底ベクトル群
    を生成し、 前記照明条件推定工程は、 前記照明変動空間生成工程により生成された基底ベクト
    ル群と、前記撮影工程により撮影された入力画像との間
    の相関を求め、該相関を基に前記基底ベクトル群から前
    記撮影工程により撮影された入力画像に最も近似する画
    像を比較画像として生成することを特徴とする請求項４
    ０記載の画像照合方法。
  42. 【請求項４２】 前記位置姿勢補正工程は、 あらかじめ設定された一定の位置姿勢を補正した位置姿
    勢とすることを特徴とする請求項３１記載の画像照合方
    法。
  43. 【請求項４３】 前記位置姿勢補正工程は、 前記撮影工程により撮影された入力画像に写っている物
    体の位置姿勢のパラメタを入力し、該入力した位置姿勢
    を補正した位置姿勢とすることを特徴とする請求項３１
    記載の画像照合方法。
  44. 【請求項４４】 前記位置姿勢補正工程は、 前記撮影工程により撮影された入力画像に写っている物
    体の位置姿勢を推定し、該推定した位置姿勢を補正した
    位置姿勢とすることを特徴とする請求項３１記載の画像
    照合方法。
  45. 【請求項４５】 前記登録工程は、 前記登録対象となる物体の３次元形状を測定する３次元
    形状測定工程と、 前記登録対象となる物体の３次元形状の各位置における
    表面の反射率を測定する反射率測定工程と、 前記３次元形状測定工程により測定された３次元形状
    と、前記反射率測定工程により測定された反射率とから
    特徴点位置を抽出する第１の特徴点抽出工程と、 前記３次元形状測定工程により測定された３次元形状
    と、前記反射率測定工程により測定された反射率と、前
    記第１の特徴点抽出工程により抽出された特徴点位置と
    を登録データとして記憶するデータ記憶工程と、を有し
    て構成され、 前記位置姿勢補正工程は、 前記データ記憶工程により記憶された特徴点位置と同一
    の特徴点位置を前記撮影工程により撮影された入力画像
    から入力画像特徴点位置として抽出する第２の特徴点抽
    出工程と、 前記データ記憶工程により記憶された３次元形状と特徴
    点位置と、前記第２の特徴点抽出工程により抽出された
    入力画像特徴点位置とから、前記撮影工程により撮影さ
    れた物体の位置姿勢を推定する位置姿勢計算工程と、 を有して構成されることを特徴とする請求項４４記載の
    画像照合方法。
  46. 【請求項４６】 前記照明補正工程は、 前記位置姿勢補正工程により補正された位置姿勢と、前
    記データ記憶工程により記憶された３次元形状と反射率
    とから、前記撮影工程により撮影された物体の位置姿勢
    と同一の位置姿勢にあって、様々な照明条件からなる照
    明条件群の各々の照明条件の下での画像を照明変動画像
    群として生成する画像生成工程と、 該画像生成工程により生成された照明変動画像群から前
    記撮影工程により撮影された入力画像に最も近似する画
    像を比較画像として生成する照明条件推定工程と、 を有して構成されることを特徴とする請求項４５記載の
    画像照合方法。
  47. 【請求項４７】 前記照明補正工程は、 前記照明条件推定工程により比較画像を生成する前に、
    前記画像生成工程により生成された照明変動画像群によ
    り張られる照明変動空間を生成する照明変動空間生成工
    程をさらに有して構成され、 前記照明条件推定工程は、 前記照明変動空間生成工程により生成された照明変動空
    間内から前記入力画像に最も近似する画像を比較画像と
    して生成することを特徴とする請求項４６記載の画像照
    合方法。
  48. 【請求項４８】 前記照明変動空間生成工程は、 前記画像生成工程により生成された照明変動画像群を主
    成分分析を施すことにより、照明条件により画像上に現
    れている変動要因の大部分を覆う空間の基底ベクトル群
    を生成し、 前記照明条件推定工程は、 前記照明変動空間生成工程により生成された基底ベクト
    ル群と、前記撮影工程により撮影された入力画像との間
    の相関を求め、該相関を基に前記基底ベクトル群から前
    記撮影工程により撮影された入力画像に最も近似する画
    像を比較画像として生成することを特徴とする請求項４
    ７記載の画像照合方法。
  49. 【請求項４９】 前記照明補正工程は、 前記画像生成工程により照明変動画像群が生成される前
    に、該照明変動画像群が生成される際に用いられる照明
    条件群を、様々な照明条件を設定し生成する照明条件変
    化工程をさらに有して構成されることを特徴とする請求
    項４６から４８のいずれか１項に記載の画像照合方法。
  50. 【請求項５０】 前記登録工程は、 前記登録対象となる物体の３次元形状を測定する３次元
    形状測定工程と、 前記登録対象となる物体の３次元形状の各位置における
    表面の反射率を測定する反射率測定工程と、 様々な照明条件からなる照明条件群の各々の照明条件の
    下での前記登録対象となる物体の画像を照明変動画像群
    として生成する画像生成工程と、 該画像生成工程により生成された照明変動画像群により
    張られる照明変動空間を生成する照明変動空間生成工程
    と、 該照明変動空間生成工程により生成された照明変動空間
    を登録データとして記憶するデータ記憶工程と、を有し
    て構成され、 前記照合工程は、 前記登録工程に登録された物体のデータと照合する物体
    の画像を入力画像として撮影する撮影工程と、 前記データ記憶工程により記憶された照明変動空間内か
    ら前記撮影工程により撮影された入力画像に最も近似す
    る画像を比較画像として生成する照明条件推定工程と、 該照明条件推定工程により生成された比較画像と、前記
    撮影工程により撮影された入力画像とを比較し、該２つ
    の画像の類似度の評価値を算出する画像比較工程と、 該画像比較工程により算出された評価値に基づいて、前
    記撮影工程により撮影された物体が前記登録工程により
    登録された物体であるか否かを判定する照合判定工程
    と、 を有して構成されることを特徴とする請求項３０記載の
    画像照合方法。
  51. 【請求項５１】 前記登録工程は、 前記登録対象となる物体の３次元形状を測定する３次元
    形状測定工程と、 前記登録対象となる物体の３次元形状の各位置における
    表面の反射率を測定する反射率測定工程と、 様々な照明条件からなる照明条件群の各々の照明条件の
    下での前記登録対象となる物体の画像を照明変動画像群
    として生成する画像生成工程と、 該画像生成工程により生成された照明変動画像群を主成
    分分析を施すことにより、照明条件により画像上に現れ
    ている変動要因の大部分を覆う空間の基底ベクトル群を
    生成する照明変動空間生成工程と、 該照明変動空間生成工程により生成された基底ベクトル
    群を登録データとして記憶するデータ記憶工程と、を有
    して構成され、 前記照合工程は、 前記登録工程により登録された物体のデータと照合する
    物体の画像を入力画像として撮影する撮影工程と、 前記データ記憶工程により記憶された基底ベクトル群
    と、前記撮影工程により撮影された入力画像との間の相
    関を求め、該相関を基に前記基底ベクトル群から前記撮
    影工程により撮影された入力画像に最も近似する画像を
    比較画像として生成する照明条件推定工程と、 該照明条件推定工程により生成された比較画像と、前記
    撮影工程により撮影された入力画像とを比較し、該２つ
    の画像の類似度の評価値を算出する画像比較工程と、 該画像比較工程により算出された評価値に基づいて、前
    記撮影工程により撮影された物体が前記登録工程に登録
    されている物体であるか否かを判定する照合判定工程
    と、 を有して構成されることを特徴とする請求項３０記載の
    画像照合方法。
  52. 【請求項５２】 前記３次元形状測定工程は、 図面を読み込むことにより、３次元形状を測定すること
    を特徴とする請求項３１から５１のいずれか１項に記載
    の画像照合方法。
  53. 【請求項５３】 前記反射率測定工程は、 図面を読み込むことにより、反射率を測定することを特
    徴とする請求項３１から５２のいずれか１項に記載の画
    像照合方法。
  54. 【請求項５４】 前記撮影工程は、 フィルム、写真、印刷物のいずれかを読み込んで、入力
    画像とすることを特徴とする請求項３１から５３のいず
    れか１項に記載の画像照合方法。
  55. 【請求項５５】 前記照合判定工程は、 前記登録工程により登録された物体の内、どの物体であ
    るかを検索することを特徴とする請求項３１から５４の
    いずれか１項に記載の画像照合方法。
  56. 【請求項５６】 前記照合判定工程は、 前記登録工程により登録された物体の内、近似する物体
    を検索することを特徴とする請求項３１から５５のいず
    れか１項に記載の画像照合方法。
  57. 【請求項５７】 前記登録対象となる物体は、 自動車であることを特徴とする請求項３０から５６のい
    ずれか１項に記載の画像照合方法。
  58. 【請求項５８】 前記登録対象となる物体は、 人間の顔であることを特徴とする請求項３０から５７の
    いずれか１項に記載の画像照合方法。
  59. 【請求項５９】 登録対象となる物体のデータを３次元
    データとして登録する登録処理と、 該登録処理により登録された物体のデータと照合する物
    体のデータを２次元データとして取得し、前記登録処理
    により登録された物体のデータと照合する照合処理と、 を実行することを特徴とする画像照合プログラムを記録
    した記録媒体。
  60. 【請求項６０】 前記照合処理は、 前記登録処理により登録された物体のデータと照合する
    物体の画像を入力画像として撮影する撮影処理と、 該撮影処理により撮影された物体の位置姿勢を補正する
    位置姿勢補正処理と、 該位置姿勢補正処理により補正された位置姿勢と、前記
    登録処理により登録された登録データとから、前記撮影
    処理により撮影された入力画像と同一の位置姿勢であっ
    て、最も近似する照明条件の画像を比較画像として生成
    する照明補正処理と、 該画像補正処理により生成された比較画像と、前記撮影
    処理により撮影された入力画像とを比較し、該２つの画
    像の類似度の評価値を算出する画像比較処理と、 該画像比較処理により算出された評価値に基づいて、前
    記撮影処理により撮影された物体が前記登録処理により
    登録された物体であるか否かを判定する照合判定処理
    と、 を有して構成されることを特徴とする請求項５９記載の
    画像照合プログラムを記録した記録媒体。
  61. 【請求項６１】 前記登録処理は、 前記登録対象となる物体の３次元形状を測定する３次元
    形状測定処理と、 前記登録対象となる物体の３次元形状の各位置における
    表面の反射率を測定する反射率測定処理と、 前記３次元形状測定処理により測定された３次元形状
    と、前記反射率測定処理により測定された反射率とを登
    録データとして記憶するデータ記憶処理と、 を有して構成されることを特徴とする請求項６０記載の
    画像照合プログラムを記録した記録媒体。
  62. 【請求項６２】 前記登録処理は、 前記登録対象となる物体の３次元形状を測定する３次元
    形状測定処理と、 前記登録対象となる物体を撮影し、該物体の画像情報を
    取得する画像情報取得処理と、 前記３次元形状測定処理により測定された３次元形状
    と、前記画像情報取得処理により取得された画像情報と
    を登録データとして記憶するデータ記憶処理と、 を有して構成されることを特徴とする請求項６０記載の
    画像照合プログラムを記録した記録媒体。
  63. 【請求項６３】 前記登録処理は、 前記登録対象となる物体の３次元形状を測定する３次元
    形状測定処理と、 複数の物体を登録するとき、前記３次元形状測定処理に
    より測定した複数の物体の３次元形状の平均となる３次
    元形状を生成する平均形状生成処理と、 前記登録対象となる物体の３次元形状の各位置における
    表面の反射率を測定する反射率測定処理と、 前記３次元形状測定処理により測定された３次元形状
    と、前記平均形状生成処理により生成された平均３次元
    形状と、前記反射率測定処理により測定された反射率と
    を登録データとして記憶するデータ記憶処理と、 を有して構成されることを特徴とする請求項６０記載の
    画像照合プログラムを記録した記録媒体。
  64. 【請求項６４】 前記照明補正処理は、 前記位置姿勢補正処理により補正された位置姿勢と、前
    記登録処理により登録された物体の登録データとから、
    前記撮影処理により撮影された物体の位置姿勢と同一の
    位置姿勢にあって、様々な照明条件からなる照明条件群
    の各々の照明条件の下での画像を照明変動画像群として
    生成する画像生成処理と、 該画像生成処理により生成された照明変動画像群から前
    記撮影処理により撮影された入力画像と最も近似する画
    像を比較画像として生成する照明条件推定処理と、 を有して構成されることを特徴とする請求項６１から６
    ３のいずれか１項に記載の画像照合プログラムを記録し
    た記録媒体。
  65. 【請求項６５】 前記照明補正処理は、 前記照明条件推定処理により比較画像を生成する前に、
    前記画像生成処理により生成された照明変動画像群によ
    り張られる照明変動空間を生成する照明変動空間生成処
    理をさらに有して構成され、 前記照明条件推定処理は、 前記照明変動空間生成処理により生成された照明変動空
    間内から前記入力画像に最も近似する画像を比較画像と
    して生成することを特徴とする請求項６４記載の画像照
    合プログラムを記録した記録媒体。
  66. 【請求項６６】 前記照明変動空間生成処理は、 前記画像生成処理により生成された照明変動画像群を主
    成分分析を施すことにより、照明条件により画像上に現
    れている変動要因の大部分を覆う空間の基底ベクトル群
    を生成し、 前記照明条件推定処理は、 前記照明変動空間生成処理により生成された基底ベクト
    ル群と、前記撮影処理により撮影された入力画像との間
    の相関を求め、該相関を基に前記基底ベクトル群から前
    記撮影処理により撮影された入力画像に最も近似する画
    像を比較画像として生成することを特徴とする請求項６
    ５記載の画像照合プログラムを記録した記録媒体。
  67. 【請求項６７】 前記照明補正処理は、 前記画像生成処理により照明変動画像群が生成される前
    に、該照明変動画像群が生成される際に用いられる照明
    条件群を、様々な照明条件を設定し生成する照明条件変
    化処理をさらに有して構成されることを特徴とする請求
    項６４から６６のいずれか１項に記載の画像照合プログ
    ラムを記録した記録媒体。
  68. 【請求項６８】 前記登録処理は、 前記登録対象となる物体の３次元形状を測定する３次元
    形状測定処理と、 前記登録対象となる物体を様々な照明条件で撮影し、テ
    クスチャ画像群を生成するテクスチャ画像撮影処理と、 前記３次元形状測定処理により測定された３次元形状
    と、前記テクスチャ画像撮影処理により撮影されたテク
    スチャ画像群とを登録データとして記憶するデータ記憶
    処理と、を有して構成され、 前記照明補正処理は、 前記位置姿勢補正処理により補正された位置姿勢と、前
    記データ記憶処理により記憶された３次元形状とテクス
    チャ画像群とから、前記撮影処理により撮影された物体
    の位置姿勢と同一の位置姿勢にある照明変動画像群を生
    成する画像生成処理と、 該画像生成処理により生成された照明変動画像群から前
    記撮影処理により撮影された入力画像と最も近似する画
    像を比較画像として生成する照明条件推定処理と、を有
    して構成されることを特徴とする請求項６０記載の画像
    照合プログラムを記録した記録媒体。
  69. 【請求項６９】 前記照明補正処理は、 前記照明条件推定処理により比較画像を生成する前に、
    前記画像生成処理により生成された照明変動画像群によ
    り張られる照明変動空間を生成する照明変動空間生成処
    理をさらに有して構成され、 前記照明条件推定処理は、 前記照明変動空間生成処理により生成された照明変動空
    間内から前記撮影処理により撮影された入力画像に最も
    近似する画像を比較画像として生成することを特徴とす
    る請求項６８記載の画像照合プログラムを記録した記録
    媒体。
  70. 【請求項７０】 前記照明変動空間生成処理は、 前記画像生成処理により生成された照明変動画像群を主
    成分分析を施すことにより、照明条件により画像上に現
    れている変動要因の大部分を覆う空間の基底ベクトル群
    を生成し、 前記照明条件推定処理は、 前記照明変動空間生成処理により生成された基底ベクト
    ル群と、前記撮影処理により撮影された入力画像との間
    の相関を求め、該相関を基に前記基底ベクトル群から前
    記撮影処理により撮影された入力画像に最も近似する画
    像を比較画像として生成することを特徴とする請求項６
    ９記載の画像照合プログラムを記録した記録媒体。
  71. 【請求項７１】 前記位置姿勢補正処理は、 あらかじめ設定された一定の位置姿勢を補正した位置姿
    勢とすることを特徴とする請求項６０記載の画像照合プ
    ログラムを記録した記録媒体。
  72. 【請求項７２】 前記位置姿勢補正処理は、 前記撮影処理により撮影された入力画像に写っている物
    体の位置姿勢のパラメタを入力し、該入力した位置姿勢
    を補正した位置姿勢とすることを特徴とする請求項６０
    記載の画像照合プログラムを記録した記録媒体。
  73. 【請求項７３】 前記位置姿勢補正処理は、 前記撮影処理により撮影された入力画像に写っている物
    体の位置姿勢を推定し、該推定した位置姿勢を補正した
    位置姿勢とすることを特徴とする請求項６０記載の画像
    照合プログラムを記録した記録媒体。
  74. 【請求項７４】 前記登録処理は、 登録対象となる物体の３次元形状を測定する３次元形状
    測定処理と、 前記登録対象となる物体の３次元形状の各位置における
    表面の反射率を測定する反射率測定処理と、 前記３次元形状測定処理により測定された３次元形状
    と、前記反射率測定処理により測定された反射率とから
    特徴点位置を抽出する第１の特徴点抽出処理と、 前記３次元形状測定処理により測定された３次元形状
    と、前記反射率測定処理により測定された反射率と、前
    記第１の特徴点抽出処理により抽出された特徴点位置と
    を登録データとして記憶するデータ記憶処理と、を有し
    て構成され、 前記位置姿勢補正処理は、 前記データ記憶処理により記憶された特徴点位置と同一
    の特徴点位置を前記撮影処理により撮影された入力画像
    から入力画像特徴点位置として抽出する第２の特徴点抽
    出処理と、 前記データ記憶処理により記憶された３次元形状と特徴
    点位置と、前記第２の特徴点抽出処理により抽出された
    入力画像特徴点位置とから、前記撮影処理により撮影さ
    れた物体の位置姿勢を推定する位置姿勢計算処理と、 を有して構成されることを特徴とする請求項７３記載の
    画像照合プログラムを記録した記録媒体。
  75. 【請求項７５】 前記照明補正処理は、 前記位置姿勢補正処理により補正された位置姿勢と、前
    記登録処理により登録された物体のデータとから、前記
    撮影処理により撮影された物体の位置姿勢と同一の位置
    姿勢にあって、様々な照明条件からなる照明条件群の各
    々の照明条件の下での画像を照明変動画像群として生成
    する画像生成処理と、 該画像生成処理により生成された照明変動画像群から前
    記撮影処理により撮影された入力画像に最も近似する画
    像を比較画像として生成する照明条件推定処理と、 を有して構成されることを特徴とする請求項７４記載の
    画像照合プログラムを記録した記録媒体。
  76. 【請求項７６】 前記照明補正処理は、 前記照明条件推定処理により比較画像を生成する前に、
    前記画像生成処理により生成された照明変動画像群によ
    り張られる照明変動空間を生成する照明変動空間生成処
    理をさらに有して構成され、 前記照明条件推定処理は、前記照明変動空間処理により
    生成された照明変動空間内から前記入力画像に最も近似
    する画像を比較画像として生成することを特徴とする請
    求項７５記載の画像照合プログラムを記録した記録媒
    体。
  77. 【請求項７７】 前記照明変動空間生成処理は、 前記画像生成処理により生成された照明変動画像群を主
    成分分析を施すことにより、照明条件により画像上に現
    れている変動要因の大部分を覆う空間の基底ベクトル群
    を生成し、 前記照明条件推定処理は、 前記照明変動空間生成処理により生成された基底ベクト
    ル群と、前記撮影処理により撮影された入力画像との間
    の相関を求め、該相関を基に前記基底ベクトル群から前
    記撮影処理により撮影された入力画像に最も近似する画
    像を比較画像として生成することを特徴とする請求項７
    ６記載の画像照合プログラムを記録した記録媒体。
  78. 【請求項７８】 前記照明補正処理は、 前記画像生成処理により照明変動画像群が生成される前
    に、該照明変動画像群が生成される際に用いられる照明
    条件群を、様々な照明条件を設定し生成する照明条件変
    化処理をさらに有して構成されることを特徴とする請求
    項７５から７７のいずれか１項に記載の画像照合プログ
    ラムを記録した記録媒体。
  79. 【請求項７９】 前記登録処理は、 前記登録対象となる物体の３次元形状を測定する３次元
    形状測定処理と、 前記登録対象となる物体の３次元形状の各位置における
    表面の反射率を測定する反射率測定処理と、 様々な照明条件からなる照明条件群の各々の照明条件の
    下での前記登録対象となる物体の画像を照明変動画像群
    として生成する画像生成処理と、 該画像生成処理により生成された照明変動画像群により
    張られる照明変動空間を生成する照明変動空間生成処理
    と、 該照明変動空間生成処理により生成された照明変動空間
    を登録データとして記憶するデータ記憶処理と、を有し
    て構成され、 前記照合処理は、 前記登録処理に登録された物体のデータと照合する物体
    の画像を入力画像として撮影する撮影処理と、 前記データ記憶処理により記憶された照明変動空間内か
    ら前記撮影処理により撮影された入力画像に最も近似す
    る画像を比較画像として生成する照明条件推定処理と、 該照明条件推定処理により生成された比較画像と、前記
    撮影処理により撮影された入力画像とを比較し、該２つ
    の画像の類似度の評価値を算出する画像比較処理と、 該画像比較処理により算出された評価値に基づいて、前
    記撮影処理により撮影された物体が前記登録処理により
    登録された物体であるか否かを判定する照合判定処理
    と、 を有して構成されることを特徴とする請求項５９記載の
    画像照合プログラムを記録した記録媒体。
  80. 【請求項８０】 前記登録処理は、 前記登録対象となる物体の３次元形状を測定する３次元
    形状測定処理と、 前記登録対象となる物体の３次元形状の各位置における
    表面の反射率を測定する反射率測定処理と、 様々な照明条件からなる照明条件群の各々の照明条件の
    下での前記登録対象となる物体の画像を照明変動画像群
    として生成する画像生成処理と、 該画像生成処理により生成された照明変動画像群を主成
    分分析を施すことにより、照明条件により画像上に現れ
    ている変動要因の大部分を覆う空間の基底ベクトル群を
    生成する照明変動空間生成処理と、 該照明変動空間生成処理により生成された基底ベクトル
    群を登録データとして記憶するデータ記憶処理と、を有
    して構成され、 前記照合処理は、 前記登録処理により登録された物体のデータと照合する
    物体の画像を入力画像として撮影する撮影処理と、 前記データ記憶処理により記憶された基底ベクトル群
    と、前記撮影処理により撮影された入力画像との間の相
    関を求め、該相関を基に前記基底ベクトル群から前記撮
    影処理により撮影された入力画像に最も近似する画像を
    比較画像として生成する照明条件推定処理と、 該照明条件推定処理により生成された比較画像と、前記
    撮影処理により撮影された入力画像とを比較し、該２つ
    の画像の類似度の評価値を算出する画像比較処理と、 該画像比較処理により算出された評価値に基づいて、前
    記撮影処理により撮影された物体が前記登録処理に登録
    されている物体であるか否かを判定する照合判定処理
    と、 を有して構成されることを特徴とする請求項５９記載の
    画像照合プログラムを記録した記録媒体。
  81. 【請求項８１】 前記３次元形状測定処理は、 図面を読み込むことにより、３次元形状を測定すること
    を特徴とする請求項６０から８０のいずれか１項に記載
    の画像照合プログラムを記録した記録媒体。
  82. 【請求項８２】 前記反射率測定処理は、 図面を読み込むことにより、反射率を測定することを特
    徴とする請求項６０から８１のいずれか１項に記載の画
    像照合プログラムを記録した記録媒体。
  83. 【請求項８３】 前記撮影処理は、 フィルム、写真、印刷物のいずれかを読み込んで、入力
    画像とすることを特徴とする請求項６０から８２のいず
    れか１項に記載の画像照合プログラムを記録した記録媒
    体。
  84. 【請求項８４】 前記照合判定処理は、 前記登録処理により登録された物体の内、どの物体であ
    るかを検索することを特徴とする請求項６０から８３の
    いずれか１項に記載の画像照合プログラムを記録した記
    録媒体。
  85. 【請求項８５】 前記照合判定処理は、 前記登録処理により登録された物体の内、近似する物体
    を検索することを特徴とする請求項６０から８４のいず
    れか１項に記載の画像照合プログラムを記録した記録媒
    体。
  86. 【請求項８６】 前記登録対象となる物体は、 自動車であることを特徴とする請求項５９から８５のい
    ずれか１項に記載の画像照合プログラムを記録した記録
    媒体。
  87. 【請求項８７】 前記登録対象となる物体は、 人間の顔であることを特徴とする請求項５９から８６の
    いずれか１項に記載の画像照合プログラムを記録した記
    録媒体。
JP2000105399A 2000-04-03 2000-04-03 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体 Pending JP2001283216A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2000105399A JP2001283216A (ja) 2000-04-03 2000-04-03 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体
EP01107763A EP1143375B1 (en) 2000-04-03 2001-04-03 Device, method and record medium for image comparison
DE60137162T DE60137162D1 (de) 2000-04-03 2001-04-03 Vorrichtung, Verfahren und Aufzeichnungsdatenträger zum Vergleichen von Bildern
US09/823,763 US7227973B2 (en) 2000-04-03 2001-04-03 Device, method and record medium for image comparison

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000105399A JP2001283216A (ja) 2000-04-03 2000-04-03 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003409475A Division JP4552431B2 (ja) 2003-12-08 2003-12-08 画像照合装置、画像照合方法及び画像照合プログラム

Publications (1)

Publication Number Publication Date
JP2001283216A true JP2001283216A (ja) 2001-10-12

Family

ID=18618766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000105399A Pending JP2001283216A (ja) 2000-04-03 2000-04-03 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体

Country Status (4)

Country Link
US (1) US7227973B2 (ja)
EP (1) EP1143375B1 (ja)
JP (1) JP2001283216A (ja)
DE (1) DE60137162D1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058896A (ja) * 2001-08-10 2003-02-28 Nec Corp 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム
JP2003323622A (ja) * 2002-02-27 2003-11-14 Nec Corp 画像認識システム及びその認識方法並びにプログラム
JPWO2004008392A1 (ja) * 2002-07-10 2005-11-10 日本電気株式会社 ３次元物体モデルを用いた画像照合システム、画像照合方法及び画像照合プログラム
JP2006209277A (ja) * 2005-01-26 2006-08-10 Sony Corp 物体検出装置、物体検出方法および撮像装置
WO2006092961A1 (ja) * 2005-03-02 2006-09-08 Matsushita Electric Industrial Co., Ltd. 画像生成方法、物体検出方法、物体検出装置および画像生成プログラム
US7272255B2 (en) 2002-01-15 2007-09-18 Nec Corporation Three-dimensional body photography apparatus, three-dimensional geometricmodel generation apparatus, three-dimensional geometric model generation method, and record medium in which three-dimensional geometric model generation program was stored
JP2008123216A (ja) * 2006-11-10 2008-05-29 Konica Minolta Holdings Inc 認証システム及び認証方法
US7706601B2 (en) 2003-08-29 2010-04-27 Nec Corporation Object posture estimation/correlation system using weight information
JP2011529576A (ja) * 2008-07-29 2011-12-08 マイクロソフト インターナショナル ホールディングス ビイ．ヴイ． 撮像システム
JP2012101320A (ja) * 2010-11-10 2012-05-31 Canon Inc 画像生成装置、画像生成方法、およびプログラム
JP2013239211A (ja) * 2002-02-27 2013-11-28 Nec Corp 画像認識システム及びその認識方法並びにプログラム
WO2020065798A1 (ja) * 2018-09-26 2020-04-02 日本電気株式会社 個体識別システム
US10885316B2 (en) 2017-07-31 2021-01-05 Canon Kabushiki Kaisha Apparatus for authenticating an object and method thereof

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6975361B2 (en) * 2000-02-22 2005-12-13 Minolta Co., Ltd. Imaging system, two-dimensional photographing device and three-dimensional measuring device
US6853745B1 (en) * 2000-11-03 2005-02-08 Nec Laboratories America, Inc. Lambertian reflectance and linear subspaces
AU2003285161A1 (en) * 2002-11-08 2004-06-03 Data Flow / Alaska, Inc. System for uniquely identifying subjects from a target population
JP4375523B2 (ja) * 2002-12-20 2009-12-02 富士ゼロックス株式会社 画像処理装置、画像処理方法、画像処理プログラム、印刷物検査装置、印刷物検査方法、印刷物検査プログラム
JP2004252603A (ja) * 2003-02-18 2004-09-09 Canon Inc 三次元データ処理方法
WO2004081855A1 (en) 2003-03-06 2004-09-23 Animetrics, Inc. Generation of image databases for multifeatured objects
US7643671B2 (en) 2003-03-24 2010-01-05 Animetrics Inc. Facial recognition system and method
US20040243415A1 (en) * 2003-06-02 2004-12-02 International Business Machines Corporation Architecture for a speech input method editor for handheld portable devices
US20050058350A1 (en) * 2003-09-15 2005-03-17 Lockheed Martin Corporation System and method for object identification
JP4531501B2 (ja) * 2003-09-29 2010-08-25 富士フイルム株式会社 照合システム及びそのプログラム
JP4556873B2 (ja) * 2003-10-21 2010-10-06 日本電気株式会社 画像照合システム及び画像照合方法
JP2005151282A (ja) * 2003-11-18 2005-06-09 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、およびプログラム
DE102004023322A1 (de) * 2004-05-07 2005-11-24 Daimlerchrysler Ag Lage- und Positionsvermessung von Objekten mittels Bildverarbeitungsverfahren
US7860340B2 (en) * 2004-11-04 2010-12-28 Nec Corporation Three-dimensional shape estimation system and image generation system
JP2007066227A (ja) * 2005-09-02 2007-03-15 Fujifilm Corp 画像処理装置および方法並びにプログラム
US8320660B2 (en) * 2005-06-03 2012-11-27 Nec Corporation Image processing system, 3-dimensional shape estimation system, object position/posture estimation system and image generation system
JP4533273B2 (ja) * 2005-08-09 2010-09-01 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム
US7609883B1 (en) * 2005-10-11 2009-10-27 Adobe Systems, Incorporated Method and apparatus for compensating for uneven lighting in an image
EP1821249A1 (en) * 2006-02-14 2007-08-22 Lufthansa AirPlus Servicekarten GmbH Technique for interconnecting card payment networks
DE102006009119A1 (de) * 2006-02-24 2007-09-13 Daimlerchrysler Ag 3D-Lageerkennung unter Verwendung komplexen Modellwissens
US8239220B2 (en) 2006-06-08 2012-08-07 Injury Sciences Llc Method and apparatus for obtaining photogrammetric data to estimate impact severity
US8150101B2 (en) * 2006-11-13 2012-04-03 Cybernet Systems Corporation Orientation invariant object identification using model-based image processing
CN101669145B (zh) * 2007-04-25 2012-05-30 日本电气株式会社 测量图像质量调节能力的方法、装置以及调节图像质量的方法、装置
JP4950787B2 (ja) * 2007-07-12 2012-06-13 株式会社東芝 画像処理装置及びその方法
JP4420085B2 (ja) * 2007-08-20 2010-02-24 ソニー株式会社 データ処理装置、データ処理方法、プログラムおよび記録媒体
JP5181704B2 (ja) * 2008-02-07 2013-04-10 日本電気株式会社 データ処理装置、姿勢推定システム、姿勢推定方法およびプログラム
JP5166102B2 (ja) * 2008-04-22 2013-03-21 株式会社東芝 画像処理装置及びその方法
DE102008052206A1 (de) * 2008-10-10 2010-04-15 Hamberger Industriewerke Gmbh Verfahren und Einrichtung zum Zuordnen einer WC-Sitzgarnitur
JP5263694B2 (ja) * 2009-03-04 2013-08-14 日本電気株式会社 物体位置推定用情報作成装置、物体位置推定用情報作成方法およびプログラム
JP5588196B2 (ja) * 2010-02-25 2014-09-10 キヤノン株式会社 認識装置及びその制御方法、コンピュータプログラム
CA2791818C (en) * 2010-03-05 2014-04-08 Frederic Poirier Verification system for prescription packaging and method
US8194072B2 (en) * 2010-03-26 2012-06-05 Mitsubishi Electric Research Laboratories, Inc. Method for synthetically relighting images of objects
JP2012053708A (ja) * 2010-09-01 2012-03-15 Toshiba Tec Corp 店舗システム、売上登録装置及びプログラム
KR20130015326A (ko) * 2011-08-03 2013-02-14 삼성전기주식회사 카메라 시스템 및 이를 이용한 거리 인식 방법
US11086196B2 (en) * 2012-08-31 2021-08-10 Audatex North America, Llc Photo guide for vehicle
US20140316825A1 (en) * 2013-04-18 2014-10-23 Audatex North America, Inc. Image based damage recognition and repair cost estimation
DE102013211005A1 (de) * 2013-06-13 2014-12-18 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Ermitteln eines Zustands eines Fahrzeugs nach einer Benutzung des Fahrzeugs und entsprechendes System
US9830567B2 (en) 2013-10-25 2017-11-28 Location Labs, Inc. Task management system and method
JP6271953B2 (ja) * 2013-11-05 2018-01-31 キヤノン株式会社 画像処理装置、画像処理方法
TW201531960A (zh) * 2013-11-14 2015-08-16 Sicpa Holding Sa 用於驗證產品的圖像分析
US8805088B1 (en) * 2013-12-16 2014-08-12 Google Inc. Specularity determination from images
JP6642968B2 (ja) * 2014-03-20 2020-02-12 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
CN105096304B (zh) * 2014-05-22 2018-01-02 华为技术有限公司 一种图像特征的估计方法和设备
US9727776B2 (en) * 2014-05-27 2017-08-08 Microsoft Technology Licensing, Llc Object orientation estimation
US20170099476A1 (en) * 2015-10-01 2017-04-06 Samsung Electronics Co., Ltd. Photographing device and method of controlling the same
US10445898B2 (en) * 2016-02-05 2019-10-15 Sony Corporation System and method for camera calibration by use of rotatable three-dimensional calibration object
CN107886032B (zh) * 2016-09-30 2021-12-14 阿里巴巴集团控股有限公司 终端设备、智能手机、基于脸部识别的认证方法和系统
DE102017203661A1 (de) 2017-03-07 2018-09-13 Audi Ag Verfahren zur Schadenserkennung an einem Prüfobjekt, insbesondere an einem Kraftfahrzeug, sowie Prüfvorrichtung
US10471478B2 (en) 2017-04-28 2019-11-12 United Parcel Service Of America, Inc. Conveyor belt assembly for identifying an asset sort location and methods of utilizing the same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
AU2019208182B2 (en) 2018-07-25 2021-04-08 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2872776B2 (ja) 1990-08-20 1999-03-24 日本電信電話株式会社 顔画像照合装置
JP2532985B2 (ja) 1990-09-20 1996-09-11 工業技術院長 ３次元画像評価装置
JPH04256185A (ja) 1991-02-08 1992-09-10 Nippon Telegr & Teleph Corp <Ntt> 画像認識システムのサンプル画像収集方法
JPH0573663A (ja) 1991-09-17 1993-03-26 Nippon Telegr & Teleph Corp <Ntt> ３次元物体の画像認識法
JPH06109441A (ja) 1992-09-29 1994-04-19 Toshiba Corp モデル入力装置
JPH06168317A (ja) * 1992-11-30 1994-06-14 Matsushita Electric Ind Co Ltd 個人識別装置
JP3499608B2 (ja) 1994-09-22 2004-02-23 松下電器産業株式会社 入力座標判定装置
JP3347508B2 (ja) 1995-02-24 2002-11-20 キヤノン株式会社 撮像画像処理装置および撮像画像処理方法
JPH09259271A (ja) * 1996-03-22 1997-10-03 Nippon Telegr & Teleph Corp <Ntt> 人物照合装置
JPH10162137A (ja) 1996-12-04 1998-06-19 Tokyo Electric Power Co Inc:The 物体認識装置及び物体認識方法
JPH10302064A (ja) 1997-03-25 1998-11-13 Nec Corp 欠陥データとの線形適合方法、動きから構造への適用方法、強度画像の特徴決定への適用方法および装置
JPH1153547A (ja) 1997-07-31 1999-02-26 Tokyo Electric Power Co Inc:The 認識対象物体の物体領域抽出装置および物体領域抽出方法
JPH11123687A (ja) 1997-10-22 1999-05-11 Tsubakimoto Chain Co 把持装置
US6002782A (en) * 1997-11-12 1999-12-14 Unisys Corporation System and method for recognizing a 3-D object by generating a 2-D image of the object from a transformed 3-D model
US6496594B1 (en) * 1998-10-22 2002-12-17 Francine J. Prokoski Method and apparatus for aligning and comparing images of the face and body from different imagers
JP3611239B2 (ja) 1999-03-08 2005-01-19 富士通株式会社 三次元ｃｇモデル作成装置および処理プログラムを記録した記録媒体
JP2000306095A (ja) 1999-04-16 2000-11-02 Fujitsu Ltd 画像照合・検索システム
US6956569B1 (en) 2000-03-30 2005-10-18 Nec Corporation Method for matching a two dimensional image to one of a plurality of three dimensional candidate models contained in a database

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058896A (ja) * 2001-08-10 2003-02-28 Nec Corp 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム
JP4573085B2 (ja) * 2001-08-10 2010-11-04 日本電気株式会社 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム
US7272255B2 (en) 2002-01-15 2007-09-18 Nec Corporation Three-dimensional body photography apparatus, three-dimensional geometricmodel generation apparatus, three-dimensional geometric model generation method, and record medium in which three-dimensional geometric model generation program was stored
JP2013239211A (ja) * 2002-02-27 2013-11-28 Nec Corp 画像認識システム及びその認識方法並びにプログラム
JP2003323622A (ja) * 2002-02-27 2003-11-14 Nec Corp 画像認識システム及びその認識方法並びにプログラム
US8027522B2 (en) 2002-02-27 2011-09-27 Nec Corporation Image recognition system and recognition method thereof and program
US7532745B2 (en) 2002-02-27 2009-05-12 Nec Corporation Image recognition system and recognition method thereof, and program
JP4560832B2 (ja) * 2002-07-10 2010-10-13 日本電気株式会社 ３次元物体モデルを用いた画像照合システム及び画像照合プログラム
US7545973B2 (en) 2002-07-10 2009-06-09 Nec Corporation Image matching system using 3-dimensional object model, image matching method, and image matching program
US7873208B2 (en) 2002-07-10 2011-01-18 Nec Corporation Image matching system using three-dimensional object model, image matching method, and image matching program
JPWO2004008392A1 (ja) * 2002-07-10 2005-11-10 日本電気株式会社 ３次元物体モデルを用いた画像照合システム、画像照合方法及び画像照合プログラム
US7706601B2 (en) 2003-08-29 2010-04-27 Nec Corporation Object posture estimation/correlation system using weight information
JP2006209277A (ja) * 2005-01-26 2006-08-10 Sony Corp 物体検出装置、物体検出方法および撮像装置
JP4586548B2 (ja) * 2005-01-26 2010-11-24 ソニー株式会社 物体検出装置および物体検出方法
WO2006092961A1 (ja) * 2005-03-02 2006-09-08 Matsushita Electric Industrial Co., Ltd. 画像生成方法、物体検出方法、物体検出装置および画像生成プログラム
US7747104B2 (en) 2005-03-02 2010-06-29 Panasonic Corporation Image generating method, object detecting method, object detecting equipment, and image generating program
JP2008123216A (ja) * 2006-11-10 2008-05-29 Konica Minolta Holdings Inc 認証システム及び認証方法
JP2011529576A (ja) * 2008-07-29 2011-12-08 マイクロソフト インターナショナル ホールディングス ビイ．ヴイ． 撮像システム
US8890952B2 (en) 2008-07-29 2014-11-18 Microsoft Corporation Imaging system
JP2012101320A (ja) * 2010-11-10 2012-05-31 Canon Inc 画像生成装置、画像生成方法、およびプログラム
US9118823B2 (en) 2010-11-10 2015-08-25 Canon Kabushiki Kaisha Image generation apparatus, image generation method and storage medium for generating a target image based on a difference between a grip-state image and a non-grip-state image
US10885316B2 (en) 2017-07-31 2021-01-05 Canon Kabushiki Kaisha Apparatus for authenticating an object and method thereof
WO2020065798A1 (ja) * 2018-09-26 2020-04-02 日本電気株式会社 個体識別システム
JPWO2020065798A1 (ja) * 2018-09-26 2021-09-30 日本電気株式会社 個体識別システム
JP7081677B2 (ja) 2018-09-26 2022-06-07 日本電気株式会社 個体識別システム
US11651582B2 (en) 2018-09-26 2023-05-16 Nec Corporation Individual identification system

Also Published As

Publication number Publication date
EP1143375A2 (en) 2001-10-10
DE60137162D1 (de) 2009-02-12
EP1143375B1 (en) 2008-12-31
EP1143375A3 (en) 2004-05-26
US20010033685A1 (en) 2001-10-25
US7227973B2 (en) 2007-06-05

Similar Documents

Publication Publication Date Title
JP2001283216A (ja) 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体
JP4167390B2 (ja) 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体
Hold-Geoffroy et al. A perceptual measure for deep single image camera calibration
Rogez et al. Mocap-guided data augmentation for 3d pose estimation in the wild
JP4553141B2 (ja) 重み情報を用いた物体姿勢推定・照合システム
US9818023B2 (en) Enhanced face detection using depth information
JP4284664B2 (ja) 三次元形状推定システム及び画像生成システム
JP2004157850A (ja) 運動検出装置
JP2007004767A (ja) 画像認識装置、方法およびプログラム
JPWO2005038716A1 (ja) 画像照合システム及び画像照合方法
JP4552431B2 (ja) 画像照合装置、画像照合方法及び画像照合プログラム
JP4379459B2 (ja) 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体
JP2004086929A5 (ja)
Conde et al. Automatic 3D face feature points extraction with spin images
US7653219B2 (en) System and method for image attribute recording an analysis for biometric applications
JP2005031044A (ja) 三次元誤差測定装置
WO2002031772A2 (en) Method for tracking motion of a face
Ibikunle et al. Face recognition using line edge mapping approach
CN111524217A (zh) 一个新型的提高素描形准度的方法与应用系统
JP2001109894A (ja) 画像情報認識装置および画像情報認識方法および画像情報認識プログラムを記憶した媒体
Knyaz Photogrammetric system for frontal face image acquisition
Ojediran et al. Isosteric heats of water vapor sorption in two castor varieties
Jiménez et al. Face tracking and pose estimation with automatic 3D model construction
Obdrzálek xobdrzal@ fel. cvut. cz

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040415

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20040415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040415

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040521

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20040611

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050311