JP2004086929A5 - - Google Patents

Description

画像照合装置、画像照合方法及び画像照合プログラム

本発明は、画像による物体の照合を行う画像照合装置に関し、特に認識対象となる物体の３次元形状と、表面反射率や色情報などをあらかじめ登録しておくことにより、画像上での物体の位置や姿勢、照明条件などの撮影条件の変動に対して頑強なことを特徴とする画像照合装置、画像照合方法及び画像照合プログラムに関する。

画像照合技術は図５に示したように、３次元空間上に適当に配置された物体が何であるのかをカメラなどの画像撮像デバイスにより取得した入力画像 (群) を利用して、あらかじめ登録されている画像と照合する技術である。画像照合のプロセスは、照合対象を記録しておく登録過程と、入力された画像（群）に何が撮影されているかを登録データと比較照合する照合過程の二つから構成される。それぞれの過程において撮像された画像は、２次元的な広がりを持つ２次元画像のまま用いたり、３次元形状などに変換して利用される。以下、従来の画像照合技術を文献を参照しながら詳細に説明する。

（従来技術１）
２次元画像をあらかじめ登録しておき、入力として２次元画像を用いる画像照合技術の一例として、特許文献１の特許第２８７２７７６号「顔画像照合装置」に開示される従来技術がある。本従来技術は、照合対象として人間の顔を想定しており、図１３のような構成をとっている。登録時は、カメラ１１により撮影された２次元画像を記憶手段１２に記憶しておく。照合時は、カメラ１３により２次元の顔画像を入力画像として撮影し、正規化手段１４によって、前記入力画像から目や鼻の位置などの姿勢や大きさの基準となる顔特徴点を画像処理技術により抽出する。該顔特徴点の座標位置を基準として、画像上において２次元的な位置と大きさの正規化を行った正規化画像を出力する。最後に、画像比較手段１５によって記憶手段１２から読み出される登録画像と前記正規化画像をパターン認識技術により比較し、照合結果を出力する。

（従来技術２）
３次元形状を用いた従来の照合技術の例として、特許文献２の特開平９−２５９２７１号公報「人物照合装置」に開示された従来技術がある。本従来技術では、図１４のような構成をとる。登録時には、３次元形状カラー情報計測手段２１により照合対象物体の３次元形状とカラー情報を測定し、記憶手段２２に記憶しておく。照合時にも、３次元形状カラー情報計測手段２３により入力データとして３次元形状とカラー情報を測定する。平行移動・回転手段２４により、当該入力データを重心が登録データと一致するように平行移動し、微少回転を加えたデータを多数生成し、最小誤差計算手段２５によって誤差の最小値を求めることにより、３次元的な位置姿勢の補正を行う。最後に、当該最小誤差計算手段２５により補正されたデータと登録データの照合を行う。

（従来技術３）
特許文献３の特開平６−１６８３１７号公報「個人識別装置」は、図１５のような構成をとり、登録時と照合時ともに２次元画像を撮影する照合技術である。登録時には、カメラ４１により２次元画像を撮影し、特徴抽出手段４２において輝度変動の大きな画素位置を検出して特徴点位置を出力し、記憶手段４３に記憶しておく。照合時には、カメラ４４により入力画像として２次元画像を撮影し、特徴抽出手段４５において輝度変動の大きな画素位置を検出して特徴点位置を出力する。最後に、照合手段４７において上記登録されている特徴点位置と上記入力画像の特徴点位置を比較することにより照合を行っている。このとき、認識対象物体の位置や姿勢の変動を吸収するために、特徴抽出手段４５から出力された特徴点位置データは、位置姿勢正規化手段４６においてあらかじめ用意されている標準的な物体の３次元形状モデルを利用して、その位置姿勢が正規化される。

（従来技術４）
登録過程・照合過程双方で通常の２次元画像だけを用いる従来技術であって、位置や姿勢の変動だけでなく、照明条件による変動をも補正する従来技術として、非特許文献１（「Visual Learning and Recognition of3-D Objects from Appearance 」,Hiroshi Murase and Shree K. Nayer, Int. J. Computer Vision, vol.14,pp.5-24,1995）がある。本従来技術では図１６のような構成をとる。登録時には、撮影手段７１により登録する各物体についての入力画像において、考えられるあらゆる姿勢や照明条件を網羅したサンプル画像群を撮影し、多様体計算手段７２により当該画像群の変化を十分表せるような基底画像群を主成分分析により求める。当該基底画像群との相関を特徴とする特徴空間を生成し、上記サンプル画像群の特徴空間における軌跡を多様体として求め、記憶手段７３に記憶しておく。照合時には、カメラ７４により入力画像として２次元画像を撮影し、距離計算手段７５において当該入力画像と上記多様体との特徴空間における距離を計算し、当該距離を尺度として照合を行う。これにより様々な位置姿勢や照明条件で撮影された入力画像の照合を可能にしている。

（従来技術５）
物体の位置姿勢が固定である場合の照明条件による２次元画像の変化については非特許文献２（「What Is the Set of Images of an Object Under All Possible Illumination Conditions? 」, Peter N. Belhumeur and David J. Kriegman,Int. J. Computer Vision, vol.28, pp.245-260,1998 ）において詳しく分析されている。物体の位置姿勢を固定すれば、任意の照明条件での画像は、一つの点光源のもとでの画像の和に分解してあらわすことができる。したがって、任意の数の光源のもとでの画像は、それぞれひとつずつの光源の強さを係数として、そのひとつの光源のもとでの画像の線形和であらわすことができる。上述の分析に基づき、Illumination Subspace Methodと呼ばれる図１７のような構成を提案している。

図１７において、撮影手段５１は、可能な限り影になる画素がないように異なる照明条件を３つ以上設定し、画像群を撮影する。法線計算手段５２において、当該画像群から主成分分析により、画像の各画素に対応する物体表面の反射率と法線ベクトルの積に相当するベクトル群を求める。続いて、画像生成手段５３において、当該ベクトル群の任意の２個のベクトルの外積であらわされる方向に照明がある場合の画像であるextreme ray と呼ばれる画像群を生成し、記憶手段５４に記憶しておく。

照合時には、カメラ５５によって２次元画像である入力画像を撮影する。物体表面の反射特性が完全散乱であり、かつ、形状が凸である場合には、任意の照明条件の下での画像は当該extreme ray 群の係数が正である線形和としてあらわすことができるので、当該係数群を負にならないという条件の下での最小二乗法を用いて計算することができる。照明補正手段５６において、当該最小二乗計算を行い、求まった係数群を用いたextreme ray 群の線形和により入力画像と同じ照明条件での物体の画像である比較画像を生成する。画像比較手段５７において、該比較画像と当該入力画像の類似度を計算することで照合処理を行う。

（従来技術６）
非特許文献３ (「Illumination Cones for Recognition Under Variable Lighting:Faces 」, A.S. Georghiades,Proc. IEEEInt. Conf. CVPR,pp.52--58,1998)は、上述したIllumination Subspace Methodにおいてextreme ray を計算する際に、光線追跡などのコンピュータグラフィックスの技術を用いて、物体の３次元形状から、どの画素が影になるかを計算し、影をつける処理を行う方法を示している。これにより形状が凸でない形状の物体にも当該Illumination Subspace Methodが適用できるとしている。

（従来技術７）
また、非特許文献４（「What Is the Set of Images of an Object Under All Possible Illumination Conditions? 」, Peter N. Belhumeur and David J. Kriegman,Int. J. Computer Vision, vol.28, pp.245-260,1998 ）は、さらにSampling Method として図１８のような構成を提案している。上述したIllumination Subspace Methodのように全てのextreme ray を計算することは手間がかかるので、登録時に、撮影手段６１において、例えば図４のθ，φの角度が可能な限り等間隔に全体を覆うように適当な数の照明方向を設定して画像群を撮影し、当該画像群をextreme ray として代用する。以降はIllumination Subspace Methodと同様に非負最小二乗法を適用して照明補正を行い、物体認識を行う。
特許第２８７２７７６号公報 特開平９−２５９２７１号公報 特開平６−１６８３１７号公報 「Visual Learning and Recognition of3-D Objects from Appearance 」,Hiroshi Murase and Shree K. Nayer, Int. J. Computer Vision, vol.14,pp.5-24,1995 「What Is the Set of Images of an Object Under All Possible Illumination Conditions? 」, Peter N. Belhumeur and David J. Kriegman,Int. J. Computer Vision, vol.28, pp.245-260,1998 「Illumination Cones for Recognition Under Variable Lighting:Faces 」, A.S. Georghiades,Proc. IEEEInt. Conf. CVPR,pp.52--58,1998 「What Is the Set of Images of an Object Under All Possible Illumination Conditions? 」, Peter N. Belhumeur and David J. Kriegman,Int. J. Computer Vision, vol.28, pp.245-260,1998 「An analytic solution for the pose determination of human faces from a monocular image 」, Shinn-Ying Ho , Hui-Ling Huang, Pattern RecognitionLetters,Vol.19,1045-1054,1998

しかしながら、照合対象となる物体は、特に固定や調節などをしない限り、カメラなどの画像撮像デバイスの前で３次元的な平行移動、回転移動などを伴うことが一般的である。また、屋外などでは刻々と照明条件も変動していくことから明らかなように、照合処理対象として入力される２次元画像上では、見かけ上、非常に大きな変動がある。従来技術は、これらの位置姿勢や照明条件の変動を十分補正することができていないため、応用範囲が非常に限られてしまうという問題点があった。以下具体的に各文献における問題点を詳述する。

従来技術１における特許文献１の特許第２８７２７７６号「顔画像照合装置」に開示されているような単なる２次元画像同士の照合技術では、照合対象となる物体の３次元的な回転変動や画像撮影時の照明条件変動による２次元画像上の見かけ上の変動に対応することができないため、応用範囲が極めて限定される。

従来技術２における特許文献２の特開平９−２５９２７１号公報「人物照合装置」に開示された照合技術では、登録時だけでなく照合時にも３次元形状を必要とするために、照合装置として３次元形状計測装置が必須となり、コストがかかるという問題点があった。これは、登録時と異なる場所や、複数の場所で入力画像を撮影し、照合を行いたい場合などに特に問題となる。また、形状の計測をするためには計測が終了するまで照合対象が静止していなければならなかったり、暗室や薄暗い環境でなければ精度の高い形状データが得られないという問題があり、応用範囲が限定される。

従来技術３における特許文献３の特開平６−１６８３１７号公報「個人識別装置」に開示されているような、輝度変動の大きな画素位置を検出する方法は、３次元的な曲率が非常に大きな積み木や、また反射率の変動が非常に大きいホワイトボード上の黒いマーカなどには有効であるが、当該公開公報に記載されているように人間の顔には向かない。すなわち、安定した座標位置検出は、困難であるということである。また、当該公開公報では照合対象となる物体群の標準的な３次元形状により姿勢を補正すると記載されているが、当該物体群の各物体間において形状の類似度が高くない場合には適用することができないという問題点があった。

従来技術４における非特許文献１（「Visual Learning and Recognition of3-D Objects from Appearance 」,Hiroshi Murase and Shree K. Nayer, Int. J. Computer Vision, vol.14,pp.5-24,1995）に記載された従来技術では、入力画像の照明条件として複数の光源や拡張光源など様々な照明条件を考慮すると、これらを網羅するサンプル画像は膨大な量が必要になってしまう。また、特徴空間における多様体の形状について何も仮定されていないため、入力画像との距離を求める際に撮影条件のパラメタに対する探索を必要とする。したがって、多くの計算量が必要となるという問題点があった。

従来技術５、６および７における非特許文献２〜４（「What Is the Set of Images of an Object Under All Possible Illumination Conditions? 」, Peter N. Belhumeur and David J. Kriegman,Int. J. Computer Vision, vol.28, pp.245-260,1998 ）に記載されたIllumination Subspace Method、Sampling Method では、対象物体に多数の方向から照明を当てた画像を撮影する必要があり、登録時に特別な照明装置が必要となることや、機材の配置の問題から十分に正確な照明条件の設定が困難であるという問題点がある。

また、当該Illumination Subspace Method、Sampling Method は、ともに物体の位置や姿勢が変化した場合には、その位置姿勢における多数の照明条件の下での画像を撮影し、はじめからすべて計算し直す必要がある。したがって、入力画像において想定されるあらゆる位置姿勢における多数の照明条件の下での画像を撮影しなければならない。そのため、登録処理に手間がかかることや、あらかじめ登録されていない位置姿勢で撮影された画像は照合することができないなどの問題点もある。

また、当該Illumination Subspace Methodでは、形状の複雑さに応じてextreme ray を計算する手続きに非常に多くの計算量を要する。非特許文献４（「What Is the Set of Images of an Object Under All Possible Illumination Conditions? 」, Peter N. Belhumeur and David J. Kriegman,Int. J. Computer Vision, vol.28, pp.245-260,1998 ）によれば、物体表面の法線ベクトルのうち線形独立なものがＭ個ある場合、extreme ray の数は最大でＭ（Ｍ−１）個である。したがって、物体形状が積み木のように単純なものでない限り、膨大な数の画像を計算しなければならなくなるため、複雑な形状の一般的な物体に対して全てのextreme ray を計算することは計算量の点で問題がある。また、物体形状が凸でなく、他の部分が光源を遮蔽して生じる影がある場合にはそのまま適用することはできないという問題点もある。

また、当該Illumination Subspace Method、Sampling Method では、係数が負とならない条件の下での最小二乗法の計算もextreme ray の数に関係して非常に多くの計算量を必要するという問題点もある。当該Sampling Method の技術では、この問題点に加えて、どの程度の数の基底画像を用いれば十分な性能が得られるのかが不明確であるという問題点もある。

さらに、当該Illumination Subspace Method、Sampling Method は、ともに物体表面の反射特性が完全散乱面であることを仮定しているため、鏡面反射が存在したり、拡散反射も完全散乱でないような物体に対してはそのままでは適用できないという問題点もある。一般に、多くの物体はその表面の反射特性が完全散乱ではないからである。

本発明は、上記問題点に鑑みなされたものであり、照合に用いる入力データとして３次元形状を必要とせず通常のカメラで撮影した２次元画像により照合することが可能な画像照合装置、画像照合方法及びそのプログラムを記録した記録媒体を提供することを目的とする。

また、本発明は、入力画像における物体の３次元的な位置姿勢の変化を補正可能であり、登録時に必要なデータが簡便に測定可能であり、様々な照明条件において撮影された入力画像に対し照明条件の補正を高速な処理によって実現可能な画像照合装置、画像照合方法、及びそのプログラムを提供することを目的とする。

かかる目的を達成するために、本発明は、第１の態様として、登録対象となる物体のデータを３次元形状データとして登録する登録手段と、入力画像における撮影された物体の位置姿勢を推定する位置姿勢補正手段と、位置姿勢補正手段によって補正された位置姿勢と、登録手段に登録された物体の登録データとから、位置姿勢補正手段によって推定された位置姿勢にあって、様々な照明条件からなる照明条件群の各々の照射条件の下での画像を照明変動画像群として生成する画像生成手段と、該画像生成手段により生成された照明変動画像群から入力画像と最も近似する画像を生成して比較画像として、画像比較手段に出力する照明条件推定手段と、該比較画像と入力画像とを比較し、該二つの画像の類似度の評価値を算出する画像比較手段と、該画像比較手段により算出された評価値に基づいて、撮影された物体が登録手段に登録された物体であるか否かを判定する照合判定手段と、を有して構成されることを特徴とする画像照合装置を提供するものである。

本発明の第１の態様においては、登録手段は、登録対象となる物体の３次元形状を測定する３次元形状測定手段と、登録対象となる物体の３次元形状の各位置における表面の反射率を測定する反射率測定手段と、３次元形状測定手段により測定された３次元形状と、反射率測定手段により測定された反射率とを登録データとして記憶するデータ記憶手段と、を有して構成されることが好ましい。

又は、本発明の第１の態様においては、登録手段は、登録対象となる物体の３次元形状を測定する３次元形状測定手段と、登録対象となる物体を撮影し、該物体の画像情報を取得する画像情報取得手段と、３次元形状測定手段により測定された３次元形状と、画像情報取得手段により取得された画像情報とを登録データとして記憶するデータ記憶手段と、を有して構成されることが好ましい。

又は、本発明の第１の態様においては、登録手段は、登録対象となる物体の３次元形状を測定する３次元形状測定手段と、複数の物体を登録するとき、３次元形状測定手段により測定された複数の３次元形状の平均となる平均３次元形状を生成する平均形状生成手段と、登録対象となる物体の３次元形状の各位置における表面の反射率を測定する反射率測定手段と、３次元形状測定手段により測定された３次元形状と、平均形状生成手段により生成された平均３次元形状と、反射率測定手段により測定された反射率とを登録データとして記憶するデータ記憶手段と、を有して構成されることが好ましい。

又は、本発明の第１の態様においては、登録手段は、登録対象となる物体の３次元形状を測定する３次元形状測定手段と、登録対象となる物体を様々な照明条件で撮影し、テクスチャ画像群を生成するテクスチャ画像撮影手段と、３次元形状測定手段により測定された３次元形状と、テクスチャ画像撮影手段により撮影されたテクスチャ画像群とを登録データとして記憶するデータ記憶手段とを有して構成され、画像生成手段は、登録手段に登録された物体の３次元形状とテクスチャ画像群とから、物体が位置姿勢補正手段により推定された位置姿勢にあり、テクスチャ画像撮影時の多様な照明条件での画像群を生成するように構成されることが好ましい。

本発明の第１の態様の上記のいずれの構成においても、位置姿勢補正手段は、あらかじめ設定された一定の位置姿勢を画像生成手段に出力することが好ましい。又は、位置姿勢補正手段は、入力画像に写っている物体の位置姿勢のパラメタを入力し、該入力した位置姿勢を画像生成手段に出力することが好ましい。

又は、本発明の第１の態様においては、登録手段は、登録された３次元形状データの特徴点位置を抽出する第１の特徴点抽出手段と、形状データと、第１の特徴点抽出手段により抽出された特徴点位置とを登録データとして記憶するデータ記憶手段とを有して構成され、位置姿勢補正手段は、データ記憶手段により記憶された特徴点位置と同一の特徴点位置を入力画像から入力画像特徴点位置として抽出する第２の特徴点抽出手段と、データ記憶手段により記憶された３次元形状と特徴点位置と、第２の特徴点抽出手段により抽出された入力画像特徴点位置とから、入力画像における物体の位置姿勢を推定し、該推定された位置姿勢を画像生成手段に出力する位置姿勢計算手段と、を有して構成されることが好ましい。

本発明の第１の態様の上記のいずれの構成においても、照明条件推定手段は、画像生成手段により生成された照明変動画像群により張られる照明変動空間を生成する照明変動空間生成手段をさらに有して構成され、照明変動空間生成手段により生成された照明変動空間内から入力画像に最も近似する画像を生成して比較画像として、画像比較手段に出力することが好ましい。これに加えて、照明変動空間生成手段は、画像生成手段により生成された照明変動画像群に対して主成分分析を施すことにより、照明条件により画像上に現れている変動要因の大部分を覆う空間の基底ベクトル群を生成し、照明条件推定手段は、照明変動空間生成手段により生成された基底ベクトル群と、入力画像との間の相関を求め、該相関を基に基底ベクトル群から入力画像に最も近似する画像を生成して比較画像として画像比較手段に出力することがより好ましい。これらにおいて、画像生成手段は、様々な照明条件を設定し照明条件群として画像生成手段に出力する照明条件変化手段をさらに有して構成されることがより好ましい。

また、上記目的を達成するため、本発明は、第２の態様として、登録対象となる物体のデータを３次元形状データとして登録する登録工程と、入力画像における撮影された物体の位置姿勢を推定する位置姿勢補正工程と、位置姿勢補正工程において補正された位置姿勢と、登録工程において登録された物体の登録データとから、位置姿勢補正工程において推定された位置姿勢にあって、様々な照明条件からなる照明条件群の各々の照射条件の下での画像を照明変動画像群として生成する画像生成工程と、該画像生成工程において生成された照明変動画像群から入力画像と最も近似する画像を生成して比較画像として出力する照明条件推定工程と、該比較画像と入力画像とを比較し、該二つの画像の類似度の評価値を算出する画像比較工程と、該画像比較工程において算出された評価値に基づいて、入力画像における撮影された物体が登録工程において登録された物体であるか否かを判定する照合判定工程と、を有して構成されることを特徴とする画像照合方法を提供するものである。

本発明の第２の態様においては、登録工程では、登録対象となる物体の３次元形状を測定する３次元形状測定処理と、登録対象となる物体の３次元形状の各位置における表面の反射率を測定する反射率測定処理と、３次元形状測定処理により測定された３次元形状と、反射率測定処理により測定された反射率とを登録データとして記憶するデータ記憶処理と、を行うことが好ましい。

又は、本発明の第２の態様においては、登録工程では、登録対象となる物体の３次元形状を測定する３次元形状測定処理と、登録対象となる物体を撮影し、該物体の画像情報を取得する画像情報取得処理と、３次元形状測定処理により測定された３次元形状と、画像情報取得処理により取得された画像情報とを登録データとして記憶するデータ記憶処理と、を行うことが好ましい。

又は、本発明の第２の態様においては、登録工程では、登録対象となる物体の３次元形状を測定する３次元形状測定処理と、複数の物体を登録するとき、３次元形状測定処理により測定された複数の３次元形状の平均となる平均３次元形状を生成する平均形状生成処理と、登録対象となる物体の３次元形状の各位置における表面の反射率を測定する反射率測定処理と、３次元形状測定処理により測定された３次元形状と、平均形状生成処理により生成された平均３次元形状と、反射率測定処理により測定された反射率とを登録データとして記憶するデータ記憶処理と、を行うことが好ましい。

又は、本発明の第２の態様においては、登録工程では、登録対象となる物体の３次元形状を測定する３次元形状測定処理と、登録対象となる物体を様々な照明条件で撮影し、テクスチャ画像群を生成するテクスチャ画像撮影処理と、３次元形状測定処理により測定された３次元形状と、テクスチャ画像撮影処理により撮影されたテクスチャ画像群とを登録データとして記憶するデータ記憶処理とを行い、画像生成工程では、登録工程において登録された物体の３次元形状とテクスチャ画像群とから、物体が位置姿勢補正工程において推定された位置姿勢にあり、テクスチャ画像撮影時の多様な照明条件での画像群を生成することが好ましい。

本発明の第２の態様においては、位置姿勢補正工程では、あらかじめ設定された一定の位置姿勢を次工程に出力することが好ましい。又は、位置姿勢補正工程では、入力画像に写っている物体の位置姿勢のパラメタを入力し、該入力した位置姿勢を次工程に出力することが好ましい。

又は、本発明の第２の態様においては、登録工程では、登録された３次元形状データの特徴点位置を抽出する第１の特徴点抽出処理と、形状データと、第１特徴点抽出処理により抽出された特徴点位置とを登録データとして記憶するデータ記憶処理とを行い、位置姿勢補正工程では、データ記憶処理により記憶された特徴点位置と同一の特徴点位置を撮影処理により撮影された入力画像から入力画像特徴点位置として抽出する第２の特徴点抽出処理と、データ記憶処理により記憶された３次元形状と特徴点位置と、第２の特徴点抽出処理により抽出された入力画像特徴点位置とから、入力画像における撮影された物体の位置姿勢を推定し、該推定された位置姿勢を出力する位置姿勢計算処理と、を行うことが好ましい。

本発明の第２の態様の上記のいずれの方法においても、照明条件推定工程では、画像生成工程において生成された照明変動画像群により張られる照明変動空間を生成する照明変動空間生成処理を行い、照明変動空間生成処理により生成された照明変動空間内から入力画像に最も近似する画像を生成して比較画像として、次工程に出力することが好ましい。これに加えて、照明変動空間生成工程では、画像生成工程において生成された照明変動画像群に対して主成分分析を施すことにより、照明条件により画像上に現れている変動要因の大部分を覆う空間の基底ベクトル群を生成し、照明条件推定工程では、照明変動空間生成処理により生成された基底ベクトル群と、入力画像との間の相関を求め、該相関を基に基底ベクトル群から入力画像に最も近似する画像を生成して比較画像として次工程に出力することがより好ましい。これらの場合には、画像生成工程では、様々な照明条件を設定し照明条件群として画像生成工程に出力する照明条件変化処理をさらに行うことがより好ましい。

また、上記目的を達成するため、本発明は、第３の態様として、コンピュータに、登録対象となる物体のデータを３次元形状データとして登録する登録工程と、入力画像における撮影された物体の位置姿勢を推定する位置姿勢補正工程と、位置姿勢補正工程において補正された位置姿勢と、登録工程において登録された物体の登録データとから、位置姿勢補正工程において推定された位置姿勢にあって、様々な照明条件からなる照明条件群の各々の照射条件の下での画像を照明変動画像群として生成する画像生成工程と、該画像生成工程において生成された照明変動画像群から入力画像と最も近似する画像を生成して比較画像として出力する照明条件推定工程と、該比較画像と入力画像とを比較し、該二つの画像の類似度の評価値を算出する画像比較工程と、該画像比較工程において算出された評価値に基づいて、撮影された物体が登録工程において登録された物体であるか否かを判定する照合判定工程と、を実行させることを特徴とする画像照合プログラムを提供するものである。

本発明の第３の態様においては、登録工程では、コンピュータに、登録対象となる物体の３次元形状を測定する３次元形状測定処理と、登録対象となる物体の３次元形状の各位置における表面の反射率を測定する反射率測定処理と、３次元形状測定処理により測定された３次元形状と、反射率測定処理により測定された反射率とを登録データとして記憶するデータ記憶処理と、を実行させること好ましい。

又は、本発明の第３の態様においては、登録工程では、コンピュータに、登録対象となる物体の３次元形状を測定する３次元形状測定処理と、登録対象となる物体を撮影し、該物体の画像情報を取得する画像情報取得処理と、３次元形状測定処理により測定された３次元形状と、画像情報取得処理により取得された画像情報とを登録データとして記憶するデータ記憶処理と、を実行させることが好ましい。

又は、本発明の第３の態様においては、登録工程では、コンピュータに、登録対象となる物体の３次元形状を測定する３次元形状測定処理と、複数の物体を登録するとき、３次元形状測定処理により測定された複数の３次元形状の平均となる平均３次元形状を生成する平均形状生成処理と、登録対象となる物体の３次元形状の各位置における表面の反射率を測定する反射率測定処理と、３次元形状測定処理により測定された３次元形状と、平均形状生成処理により生成された平均３次元形状と、反射率測定処理により測定された反射率とを登録データとして記憶するデータ記憶処理と、を実行させることが好ましい。

又は、本発明の第３の態様においては、登録工程では、コンピュータに、登録対象となる物体の３次元形状を測定する３次元形状測定処理と、登録対象となる物体を様々な照明条件で撮影し、テクスチャ画像群を生成するテクスチャ画像撮影処理と、３次元形状測定処理により測定された３次元形状と、テクスチャ画像撮影処理により撮影されたテクスチャ画像群とを登録データとして記憶するデータ記憶処理とを実行させ、画像生成工程では、コンピュータに、登録工程において登録された物体の３次元形状とテクスチャ画像群とから、物体が位置姿勢補正工程において推定された位置姿勢にあり、テクスチャ画像撮影時の多様な照明条件での画像群を生成させることが好ましい。

本発明の第３の態様の上記のいずれの構成においても、位置姿勢補正工程では、コンピュータに、あらかじめ設定された一定の位置姿勢を次工程に出力させることが好ましい。又は、位置姿勢補正工程では、コンピュータに、入力画像に写っている物体の位置姿勢のパラメタを入力し、該入力した位置姿勢を次工程に出力させることが好ましい。

又は、本発明の第３の態様においては、登録工程では、コンピュータに、登録された３次元形状データの特徴点位置を抽出する第１の特徴点抽出処理と、形状データと、第１特徴点抽出処理により抽出された特徴点位置とを登録データとして記憶するデータ記憶処理とを行い、位置姿勢補正工程では、データ記憶処理により記憶された特徴点位置と同一の特徴点位置を撮影処理により撮影された入力画像から入力画像特徴点位置として抽出する第２の特徴点抽出処理と、データ記憶処理により記憶された３次元形状と特徴点位置と、第２の特徴点抽出処理により抽出された入力画像特徴点位置とから、入力画像における撮影された物体の位置姿勢を推定し、該推定された位置姿勢を出力する位置姿勢計算処理と、実行させることが好ましい。

本発明の第３の態様の上記のいずれの構成においても、照明条件推定工程では、コンピュータに、画像生成工程において生成された照明変動画像群により張られる照明変動空間を生成する照明変動空間生成処理を実行させ、照明変動空間生成処理により生成された照明変動空間内から入力画像に最も近似する画像を生成して比較画像として、次工程に出力させることが好ましい。これに加えて、照明変動空間生成工程では、コンピュータに、画像生成工程において生成された照明変動画像群に対して主成分分析を施すことにより、照明条件により画像上に現れている変動要因の大部分を覆う空間の基底ベクトル群を生成させ、照明条件推定工程では、コンピュータに、照明変動空間生成処理により生成された基底ベクトル群と、入力画像との間の相関を求めさせ、該相関を基に基底ベクトル群から入力画像に最も近似する画像を生成して比較画像として次工程に出力させることがより好ましい。これらの構成においては、画像生成工程では、コンピュータに、様々な照明条件を設定し照明条件群として画像生成工程に出力する照明条件変化処理をさらに実行させることがより好ましい。

本発明によれば、登録手段でのみ物体の３次元形状と表面の反射率または適当な照明条件下での画像を計測すればよく、照合手段における撮像手段としてはビデオカメラなどの通常の２次元画像を撮影する撮像装置があるだけで十分であり、照合段階において３次元形状測定装置を必要とせずに実用的な装置を構成できる。

また、３次元形状が登録されているので、入力画像における物体の３次元的な位置姿勢の変動に対して完全に補正することができる。また、対象物体の表面の反射特性が完全散乱面でないものについても適用でき、物体の他の部分による光源の遮蔽により発生する影やてかりなどに対しても適用できるため、照明条件の変動に対しても十分な補正を行うことができる。したがって、上記Illumination Subspace Method、Sampling Method よりもさらに広い範囲の一般的な物体の照合に適用することができる。

また、照合段階において、照明変動画像群を登録されている３次元形状と反射率とを用いて自動的に生成できるため、登録処理において多数の画像を撮影する必要がなく、簡便に行うことができる。また、累積寄与率判定を用いて、照明変動空間の近似として十分な部分空間の次元数を求めることができるので、画像照合の精度をあまり落とすことなく、計算量を大幅に削減することができる。

以下、本発明の実施の形態を添付図面を参照しながら詳細に説明する。
（第１の実施の形態）
図１は、第１の実施の形態における画像照合装置の構成及び処理の流れを示すブロック図である。図２は、本実施の形態の構成図である。図１に示すように、登録手段１００は、３次元形状測定装置を用いて物体の３次元形状と、物体表面の反射率または色情報を測定し、両者を記憶しておく。照合手段２００は、ビデオカメラ等の撮像装置を用いて２次元の画像を撮影し、登録手段１００に登録されているデータとの照合処理を行う。

本実施の形態は、物体の３次元形状と表面の反射率を登録しておくことにより、任意の位置姿勢、任意の照明条件の下での物体の画像を生成できること、および該位置姿勢にある照合対象物体の様々な照明条件の下での画像群が画像空間内の低次元の部分空間として表現できることを利用する。

登録手段１００は、３次元形状測定手段１１０、反射率測定手段１２０およびデータ記憶手段１３０から構成される。

３次元形状測定手段１１０は、３次元形状測定装置を用いて物体の３次元形状を測定し、データ記憶手段１３０に出力する。例えば、特願平１１−１２３６８７号に記載された３次元形状測定装置を利用できる。この他にも様々な装置が利用可能である。

反射率測定手段１２０は、３次元形状に対応する物体の表面の反射率を測定し、データ記憶手段１３０に出力する。例えば、特願平１１−１２３６８７号に記載された３次元形状測定装置を用いれば、３次元形状と同時に当該物体の表面の色情報も測定することができる。以下、この色情報を反射率に代用する。例えば、物体の全体に一様に光が当たるような影のできにくい照明条件の下で撮影した画像は、その輝度値が反射率にほぼ比例しているとみなせることを利用する。

具体的方法としては、登録する物体前方に半球型のやぐらを設置し、適当な数のランプを取り付ける。そして、全てのランプを同時に点灯させて画像を撮影する。この他にも光を拡散させ、一様に光を物体に当てるために、反射板を用いるなど種々の方法が利用可能である。

データ記憶手段１３０は、登録された各物体の３次元形状データおよび反射率を記憶保持する。登録されたデータは、照合手段２００における照合処理のために適時読み出される。

照合手段２００は、撮影手段２１０、位置姿勢推定手段２２０、照明補正手段２３０、画像比較手段２４０および照合判定手段２５０から構成される。

撮影手段２１０は、カメラやビデオカメラ等の撮像装置を用いて照合対象となる物体を撮影し、入力画像として位置姿勢推定手段２２０、照明補正手段２３０および画像比較手段２４０に出力する。

位置姿勢推定手段２２０は、入力画像を撮影したときの撮影条件である物体の位置姿勢や撮像装置のパラメタ等を推定する。例えば、位置姿勢パラメタとして物体の平行移動距離（Ｔ_X，Ｔ_y，Ｔ_z）、回転角度（Ｒ_X，Ｒ_y，Ｒ_z）、カメラの焦点距離ｆ、視野角αを用いる。位置姿勢推定手段２２０は、これらのパラメタを利用者が画面を見ながら手動で調整できるような対話型のインタフェースを備える。

例えば、画面には上述した８つの位置姿勢パラメタを用いてコンピュータグラフィックスにより生成された照合対象物体の画像と、入力画像とがスーパーインポーズ法により重ね合わされて表示される。利用者は２つの画像がぴったり重なるように当該８つのパラメタの値を調節し、適切なパラメタを決定する。この対話型のインタフェースは一例であり、様々な形態のものが利用可能である。また、このような対話型インタフェースを用いなくとも、自動的に位置姿勢パラメタの計算を行ってもよい。

自動で位置姿勢の推定を行う方法の一例としては、様々な位置姿勢での照合対象物体のＣＧ画像を生成し、各ＣＧ画像を入力画像と比較し、最も近似する画像を求めることで位置姿勢や撮像装置のパラメタを決定する方法が利用できる。

照明補正手段２３０は、位置姿勢推定手段２２０により決定されたパラメタを利用して、入力画像と同じ位置姿勢にあって、最も近い照明条件の画像を比較画像として生成する。以下、照明補正処理について詳細に説明する。

物体表面の反射率特性として完全散乱面を仮定し、物体形状が凸であり他の部分による光源の遮蔽によって生じる影がなく、光源が無限遠にあるとすれば、画像の各画素（ｕ，ｖ）の輝度値Ｉ（ｕ，ｖ）は、画素に対応している反射率Ｂ（ｕ，ｖ）、法線方向ベクトルＮ（ｕ，ｖ）、各照明の強度ｌ_i、方向ベクトルＬ_i により以下に示す［式１］でモデル化できる。

ここで、ｍａｘ（）の効果を無視すれば、照明が複数ある場合などを含め、任意の照明条件は以下に示す［式２］のように１つの照明ベクトルＬであらわすことができる。

したがって、照明変動により生成される物体の画像の自由度は、ベクトルＬの次元、すなわち高々３次元になるが、実際には、ｍａｘ（）の効果や、物体の他の部分により光源が遮蔽されて影ができること、および反射特性が完全散乱面でないことなどによる効果があるのでこれよりも高次元となる。しかしながら、大部分が３次元の部分空間であらわすことができることから、実際の画像変動も低次元の部分空間として十分近似できる。以下、この低次元の部分空間を各物体の照明変動空間と呼ぶ。

照明変動空間の基底ベクトルを得るために、主成分分析を用いる。照明変動により生成される対象物体の画像（以下では照明変動画像と呼ぶ）を多数用意し、照明条件の変動によってできる画像全体の集合を近似する。照明変動画像群の各画像は、単一の無限遠にある点光源のもとでの画像とし、光源の方向を入力画像の撮影時の照明条件として考えられる全ての方向を包含するように適当な間隔で設定した多数の画像を用意する。複数の照明の下での画像は単一の照明の画像の和でかけるので、単一照明下の画像のみで十分である。照明変動画像群の生成には、データ記憶手段１３０に登録されている３次元形状データおよび表面の反射率データを用いる。

その生成手法の一例としてコンピュータグラフィックスの基本機能を利用する方法がある。コンピュータグラフィックスの機能については文献（「OpenGLプログラミングガイド」,Mason Woo,Jackie Neider,Tom Davis, アジソン・ウェスレイ・パブリシャーズ・ジャパン）に詳しく述べられている。コンピュータに標準的に備わっている機能としては、物体の表面の反射特性を完全散乱モデルとし、陰影だけを生成するものが多いが、本実施の形態においては、実際の物体表面の反射特性にできるだけ近い反射モデルを使用し、鏡面反射なども考慮することや、陰影だけでなく光線追跡の技術を用いて影を再現するなど、できるだけ現実に近い画像を生成できるようにする。

以上述べたように画像生成にコンピュータグラフィックスの機能を利用するのは一例であり、数値計算により照合に必要な画素について輝度値を計算することで画像を生成することも、もちろん可能である。

以下、画像全体のうち照合に用いる領域にある画素の輝度値を縦に並べたベクトルで画像をあらわす。照明変動画像群の画像がＮ個のとき、各画像をベクトルＫ_i（ｉ＝１，２，…，Ｎ）であらわすと、Ｖは以下に示す［式３］であらわされる。

次に、Ｖの各固有値σ_iと固有ベクトルＢ_iを固有値の大きい順にＭ個まで求める。そして、物体ｊの照明変動空間をベクトルＢ_iを基底とするＭ次元線形空間Ψ_jで近似する。ここで照明変動空間の次元Ｍは、照明補正処理に必要とされている精度との兼ね合いで決めることができる。Ｍ個の固有ベクトルを使った場合、その固有値の累積寄与率が以下に示す [式４］で計算できる。

累積寄与率は、輝度値の差を用いて画像の誤差を評価したときに、照明変動空間がどの程度正確に照明変動画像群を表現できるかを表す数値である。この値に対して閾値を定めておけば、その閾値を上回るのに必要な次元数としてＭを自動的に決定することができる。

図３は、照明補正手段２３０の機能の詳細な構成および処理の流れを示すブロック図である。照明補正手段２２０は、照明条件変化手段２３１、画像生成手段２３２、照明変動空間生成手段２３３および照明条件推定手段２３４から構成される。

照明条件変化手段２３１は、物体の照明変動空間を近似するのに十分な数の照明条件を設定する。例えば、無限遠にある一つの点光源を考え、図４に示すような物体を中心とした球面の経度、緯度をあらわす（θ，φ）の角度で光源の方向を示すとし、θとφを１０°おきに−９０°から９０°まで変化させ、３６１種類の照明条件群を設定する。この光源の種類、照明方向の設定間隔や範囲の決め方は一例であり、種々変更可能である。

画像生成手段２３２は、データ記憶手段１３０から照合対象である物体ｊの３次元形状と反射率を読み込み、位置姿勢推定手段２２０から入力される位置姿勢パラメタと、照明条件変化手段２３１から入力される照明条件群とを利用して、照明変動画像群を、コンピュータグラフィックスの機能を使って生成する。

この処理は、グラフィックス機能を備えたコンピュータの基本機能をもって実現できる。コンピュータグラフィックスを用いた画像生成においては様々な物体表面の反射モデル、カメラモデル等を使うことができる。カメラモデルとしてピンホールカメラモデル、物体表面の反射モデルとして完全散乱モデルを用いることができる。これらのモデルは一例であり、光線追跡処理を行って影をつけたり、てかりをつけるために他の様々な反射モデルを用いることもできる。

この画像生成処理において、物体表面の反射特性や光源、カメラのモデルをより現実に近い正確なものとすることで、照合性能を向上させることができる。また、この画像生成はコンピュータグラフィックスを用いなくとも、数値計算によっても実現可能である。

照明変動空間生成手段２３３は、画像生成手段２３２で生成された照明変動画像群から照明変動空間を［式３］にしたがって計算し、計算された基底ベクトル群を物体の照明変動画像空間（基底ベクトル群）Ψ_jとして照明条件推定手段２３４に出力する。本実施の形態においては、固有値の大きい順にＭ個の基底ベクトルを求め、Ψ_jとして出力する。この基底ベクトルの数Ｍを一例として［式４］で計算される累積寄与率が９５％を超える数として決定するには、照明変動画像群の画像の数に等しい３６１または画素数がそれ以下である場合、画素数の数をＮとし、Ｎ個の固有値を求め、以下に示す［式５］となる数Ｍを求めて決定する。

Ｍの決定法は他にも様々な基準を適用して決定することが可能である。

照明条件推定手段２３４は、以下に示す [式６]によって、入力画像を用いて照明変動画像空間Ψ_j内にあって入力画像に最も近い画像を比較画像として生成し、画像比較手段２４０に出力する。

画像比較手段２４０は、入力画像と生成された比較画像との類似度の評価値を算出する。評価値の計算方法には様々な技術が利用できるが、その一例としては、以下に示す [式７］のように画像の各画素の輝度値の差の二乗和などを用いることができる。

この他に、文献（「コンピュータによる顔の認識--サーベイ--」，電子情報通信学会論文誌D-II,Vol.J80-D-II,No.8,pp.2031--2046,1997)に詳しく述べられているような技術も利用可能である。

照合判定手段２５０は、計算された評価値を閾値処理して照合対象物体であるか否かの照合を行う。

物体の照合処理は、入力画像ベクトルＩ_qと照合対象物体の照明変動空間の距離を尺度として行うことができる。この距離は照明変動空間Ψ_j内にあって、最も入力画像に近い画像ベクトルＩ_cと入力画像との間の距離として計算できる。距離の尺度としては様々なものが利用可能であるが、ここでは輝度値の２乗誤差を直接用いる例をもって説明する。

この距離尺度を用いる場合には、Ψ_j内でもっともベクトルＩ_qに近い画像ベクトルＩ_cは [式６］で生成できる。

比較画像ベクトルＩｃ と入力画像ベクトルＩｑ との距離Ｄ（輝度値の差の２乗和）は [式７］で計算できる。

この値Ｄを入力画像と登録データとの類似度の評価値とし、これに基づいて、対象物体であるか否かの確認、登録されているどの物体であるかの検索、登録されている物体のうち近似する物体の検索、等の判定処理を行う。例えば、簡単な閾値処理で対象物体であるかの確認を行う場合は、ある閾値Ｄ’を定めておき、Ｄ＜Ｄ’であれば対象物体であると決定する。

また、複数の物体が登録されている場合には、照明補正手段２３０による比較画像の生成から画像比較手段２４０による評価値の算出までの処理を複数回行い、どの物体に最も近似するかの検索を行うこともできる。また、登録されている物体の内、ある一定以上の評価値を持っている物体として、近似する物体の検索を行うこともできる。

（第２の実施の形態）
次に、本発明の第２の実施の形態について図６と図７を参照して詳細に説明する。図６は、第２の実施の形態における画像照合装置の構成および処理の流れを示すブロック図である。本実施の形態は、第１の実施の形態と比較し、反射率測定手段１２０において反射率を測定する代わりに、複数の照明条件下で画像を撮影しておき、それらの画像を反射率の代わりに用いて照明変動画像群を生成する点、および照明条件変化手段２３１がない点が異なる。

本実施の形態は、照合対象物体の画像の照明条件による変動を包含する照明変動空間を生成するのに十分なサンプル画像が生成できるだけの適当な数の照明条件を設定し、その照明条件の下で画像情報を撮影しておけば、反射率を測定したりコンピュータグラフィックスによる画像生成における照明条件の設定や光線追跡による影の生成などの処理を行わなくても、照明変動空間を生成するためのサンプル画像が生成できることを特徴とする。

サンプル画像として使用されるテクスチャ画像撮影処理に用いることのできる方法の一例として次のような方法がある。登録する物体前方に半球型のやぐらを設置し、一様な間隔で適当な数のランプを取り付ける。そして、各ランプを点灯させながら画像を撮影するというものである。この他にもランプをマニピュレータに取り付けて移動させながら画像を撮影するなど様々な方法が利用可能である。

本実施の形態においては、撮影された複数のテクスチャ画像群が３次元形状データと合わせて登録データとして記憶される。そして、照合過程において、照明条件変化処理を行わず、記憶されているテクスチャ画像群を順次読み出し、位置姿勢推定処理において推定された位置姿勢にあって、物体表面の輝度値が各テクスチャ画像に等しいような画像をコンピュータグラフィックスにより生成し、サンプル画像として出力する。以下、具体的に説明する。

登録手段２１００において、物体の照合に用いる登録データとして、物体の３次元形状と、複数の照明条件のもとでの画像データ（テクスチャ画像）を登録しておく。登録手段２１００は、３次元形状測定手段２１１０、テクスチャ画像撮影手段２１２０およびデータ記憶手段２１３９０から構成される。

３次元形状測定手段２１１０は、特願平１１−１２３６８７号に記載されていうような３次元形状測定装置を用いて物体の３次元形状を測定し、データ記憶手段２１３０に出力する。

テクスチャ画像撮影手段２１２０は、第１の実施の形態の照明条件変化手段２３１から出力される照明条件と同等な照明条件を実際に設定して、物体の画像を撮影する。例えば、物体前方に物体を中心とした半球型のやぐらを設置し、適当な間隔で適当な数のランプを取り付ける。一例としては、物体に対して図４に示す角度（θ，φ）において、θ，φについて−９０°から９０°までの範囲でそれぞれ１５°間隔にランプを取り付け、各ランプを点灯させながら１枚ずつ画像を撮影する。この撮影方法および照明位置の設定方法は一例であり、この他にもランプをマニピュレータに取り付けて移動させながら画像を撮影するなど様々な方法が利用可能である。これらの方法により撮影した画像群をテクスチャ画像群としてデータ記憶手段２１３０に出力する。

データ記憶手段２１３０は、３次元形状測定手段２１１０から入力された各物体の３次元形状と、テクスチャ画像撮影手段２１２０から入力されたテクスチャ画像群を記憶保持する。登録されたデータは、照合手段２２００における照合処理のため適時読み出される。

照合手段２２００は、撮影手段２２１０、位置姿勢推定手段２２２０、照明補正手段２２３０、画像比較手段２２４０および照合判定手段２２５０から構成される。

撮影手段２２１０は、カメラやビデオカメラ等の撮像装置を用いて照合対象となる物体を撮影し、入力画像として位置姿勢推定手段２２２０、照明補正手段２２３０および画像比較手段２２４０に出力する。

位置姿勢推定手段２２２０は、入力画像を撮影したときの撮影条件である物体の位置姿勢や撮像装置のパラメタ等を推定する。例えば、位置姿勢パラメタとして物体の平行移動距離（Ｔ_x，Ｔ_y，Ｔ_z）、回転角度（Ｒ_x，Ｒ_y，Ｒ_z）、カメラの焦点距離ｆ、視野角αを用いる。位置姿勢推定手段２２２０は、これらのパラメタを利用者が画面を見ながら手動で調整できるような対話型のインタフェースを備える。

本実施の形態の照明補正手段２２００は、第１の実施の形態における照明条件変化手段２３１がなく、画像生成手段２２３２において、テクスチャ画像撮影手段２１２０において撮影したテクスチャ画像群をそのまま物体表面の輝度値として用いることで照明変動画像群を生成する点が異なっている。

図７は、本実施の形態における照明補正手段２２３０の構成および処理の流れを示すブロック図である。照明補正手段２２３０は、画像生成手段２２３２、照明変動空間生成手段２２３３および照明条件推定手段２２３４から構成される。

画像生成手段２２３２は、データ記憶手段２１３０から照合対象である物体ｊの３次元形状とテクスチャ画像群を読み込み、位置姿勢推定手段２２２０から与えられた位置姿勢パラメタと、当該テクスチャ画像群の各テクスチャ画像を用いて、照明変動画像群をコンピュータグラフィックスの機能を使って生成する。この処理は、グラフィックス機能を備えたコンピュータの基本機能であるテクスチャマッピングの技術を利用する。本実施の形態においては様々なカメラモデルを利用することができ、その一例としては、ピンホールカメラモデルを用いることができる。第１の実施の形態と異なり、テクスチャ画像は現実に撮影された画像であるので、第１の実施の形態のようにコンピュータグラフィックスの技術によって影やてかりを生成する必要はない。

照明変動空間生成手段２２３３は、画像生成手段２２３２で生成された照明変動画像群から照明変動空間を［式３］にしたがって計算し、計算された基底ベクトル群を物体の照明変動画像空間（基底ベクトル群）Ψ_jとして照明条件推定手段２２３４に出力する。

照明条件推定手段２２３４は、 [式６]によって、入力画像を用いて照明変動画像空間Ψ_j内にあって入力画像に最も近い画像を比較画像として生成し、画像比較手段２２４０に出力する。

画像比較手段２２４０は、入力画像と生成された比較画像との類似度の評価値を算出する。

照合判定手段２２５０は、計算された評価値を閾値処理して照合対象物体であるか否かの照合を行う。また、複数の物体が登録されている場合には、照明補正手段２２３０による比較画像の生成から画像比較手段２２４０による評価値の算出までの処理を複数回行い、どの物体に最も近似するかの検索を行うこともできる。また、登録されている物体のうちある一定以上の評価値を持っている物体として、近似する物体の検索を行うこともできる。

本実施の形態によれば、反射率の代わりにテクスチャ画像群を実際に撮影して画像データとして、データ記憶手段２１３０に登録するため、第１の実施の形態と比較して、データ登録段階における作業が煩雑となる。しかしながら、照明補正処理において、実際に撮影されたテクスチャ画像群を使用するため、低次元空間に近似させるための数値計算や、コンピュータグラフィックスの技術によって影やてかりをつける処理を省略できることから、照合処理時間を短縮することができる。

（第３の実施の形態）
次に、本発明の第３の実施の形態について詳細に説明する。図８は、本実施の形態における画像照合装置の構成および処理の流れを示すブロック図である。本実施の形態は、第１の実施の形態と比較して、複数の物体を登録する場合に３次元形状測定手段３１１０において全ての物体の３次元形状を測定する代わりに、１つないし少数の３次元形状を計測するだけで、平均形状生成手段３１５０において当該１つないし少数の３次元形状の平均となる３次元形状１つを出力し、照合対象となる全ての物体の形状は計測しない点、および照合手段３２００において当該平均の３次元形状を利用する点が異なる。

本実施の形態は、特に互いに形状が類似している物体の場合には、全ての物体の３次元形状を測定しなくても、代表的な形状データを代わりに用いることで、位置姿勢推定処理および照明補正処理を行うことができることを利用している。

登録手段３１００は、３次元形状測定手段３１１０、平均形状生成手段３１５０、反射率測定手段３１２０およびデータ記憶手段３１３０から構成される。

３次元形状測定手段３１１０は、特願平１１−１２３６８７号に記載されているような３次元形状測定装置を用いて、物体１と物体２の３次元形状を測定する。

平均形状測定手段３１５０は、図９（ａ）に示すように、２つの物体形状を重心を一致させるように平行移動し、図９（ａ）のＺ軸に垂直な断面を適当な間隔で設定し、それぞれの断面上で平均形状を計算する。図９（ｂ）に示すように、断面上で重心から物体の外側に向かって平均計算軸となる直線を考え、物体１、物体２の形状との交点を点Ｐ₁，Ｐ₂とする。平均形状である点Ｐ_mの３次元座標は、二つの物体表面上の点Ｐ₁，Ｐ₂の３次元座標（ｘ₁，ｙ₁，ｚ₁），（ｘ₂，ｙ₂，ｚ₂）を平均した以下に示す［式８］とする。

この処理を平均計算軸を重心の周りを回転させながら適当な間隔で行うことにより、物体１と物体２の平均形状を生成できる。該生成した平均形状をデータ記憶手段３１３０に出力する。

反射率測定手段３１２０は、物体１、物体２それぞれの３次元形状に対応する表面の反射率を測定する。特願平１１−１２３６８７号に記載されたような３次元形状測定装置を用いれば、３次元形状と同時に表面の色情報を測定することができる。以下ではこの色情報を反射率に代用する。平均形状の各点とここで測定した各物体の色情報の対応は、次のようにして決定できる。すなわち、平均形状Ｐ_mの３次元座標を計算する際に用いた物体１、物体２の３次元形状データをそれぞれＰ₁，Ｐ₂とすれば、平均形状Ｐ_mに対応する物体１の反射率データはＰ₁に対応する反射率であり、平均形状Ｐ_mに対応する物体２の反射率はＰ₂に対応する反射率となる。

データ記憶手段３１３０は、３次元形状測定手段３１１０より入力される平均形状データと、反射率測定手段３１２０より入力される物体１、物体２のそれぞれの反射率を記憶する。

照合手段３２００における処理は、物体１、物体２の形状としてデータ記憶手段３１３０から読み出される３次元形状が平均形状に代わった点が第１の実施の形態と異なり、他の処理は全て同様である。

以上、本実施の形態では２個の物体を登録する際にその平均形状を記憶する実施の形態を説明したが、これはあくまで一例であり、物体の数が３個以上になったり、そのうち任意の数の物体の平均形状を求めて利用することも同様の処理により可能である。

（第４の実施の形態）
次に、本発明の第４の実施の形態について詳細に説明する。本実施の形態では照合対象物体の一例として人の顔を用いる。図１０は、本実施の形態における画像照合装置の構成及び処理の流れを示すブロック図である。本実施の形態は、第１の実施の形態と比較し、登録手段４１００において、物体の画像上で輝度値が大きく変化するなどの特徴的な点の位置を抽出し、特徴点位置として出力する特徴点位置抽出手段４１４０が追加されている点、データ記憶手段４１３０において物体の特徴点の位置も記憶する点、および照合手段４２００の位置姿勢推定手段４２２０において、データ記憶手段４１３０から当該特徴点位置を読み込み、物体の位置姿勢を自動的に推定する点が異なる。

本実施の形態は、入力画像において照合対象物体の特徴点の位置を抽出し、当該特徴点の３次元座標を登録データから知ることができれば、当該特徴点の画像上の位置と３次元座標とを用いて入力画像中の物体の位置姿勢および撮像装置のパラメタを自動的に求めることができることを利用している。複数の点について画像上の位置と３次元座標が既知である場合に入力画像中の物体の位置姿勢および撮像装置のパラメタを自動的に求める方法としてはカメラキャリブレーションの方法が利用できる。

すなわち、画像を比較する代わりに物体の画像上で輝度値が大きく変化する部分など、特徴的な領域や点（以下では特徴点と呼ぶ）の位置を入力画像とＣＧ画像から検出し、当該特徴点の位置がもっとも近くなるようなＣＧ画像を求めることで物体の位置姿勢や撮像装置のパラメタを計算する方法である。

また、特徴点位置を入力画像から検出し、各特徴点間の位置関係についての情報を利用して物体の位置姿勢を求める方法もある。非特許文献５（「An analyticsolution for the pose determination of human faces from a monocularimage 」, Shinn-Ying Ho , Hui-Ling Huang, Pattern Recognition Letters,Vol.19,1045-1054,1998）には、照合対象物体として人間の顔を用いる場合に目尻や口元といった特徴点を用い、両目の特徴点を結ぶ直線と左右の口元の特徴点を結ぶ直線が互いに平行であるなどの位置関係を利用して位置姿勢を求める方法が記述されている。以下、本実施の形態ついて具体的に説明する。

登録手段４１００は、３次元形状測定手段４１１０、反射率測定手段４１２０、特徴点抽出手段４１４０およびデータ記憶手段４１３０から構成される。登録手段４１００において、物体の照合に用いる登録データとして、物体の３次元形状、反射率を測定し、該３次元形状および反射率から物体の特徴点の３次元座標を求め、３次元形状、反射率または色情報、特徴点位置を登録しておく。

３次元形状測定手段４１１０は、３次元形状測定装置を用いて物体の３次元形状を測定する。本実施の形態では３次元形状測定装置の一例として特願平１１−１２３６８７号に記載されている３次元形状測定装置を用いるが、この他にも様々な装置が利用可能である。

反射率測定手段４１２０は、３次元形状に対応する物体の表面の反射率を測定する。特願平１１−１２３６８７号に記載されている３次元形状測定装置を用いれば、３次元形状と同時に表面の色情報を測定することができる。以下ではこの色情報を反射率に代用する。

特徴点抽出手段４１４０は、物体の画像上で輝度値が大きく変化する部分など特徴的な領域や点（以下では特徴点と呼ぶ）の位置を検出し、その３次元座標を特徴点位置としてデータ記憶手段４１３０に出力する。例えば、人物の顔を照合対象物体とする場合には、目じりや口元など、反射率が大きく変化している部位や、鼻の頭など３次元形状が大きく変化している部位を検出する。これは、手動で行うことができる。また、自動的に行う方法として特許文献１の特許第２８７２７７６号公報「顔画像照合装置」、特許文献３の特開平６−１６８３１７号公報「個人識別装置」に記載の方法など様々な方法を利用できる。本実施の形態では、図１２に示すような位置の１２個の点（０〜１１）を特徴点として用いる。これらの特徴点の定義は、照合対象とする物体により様々に変更可能であることはいうまでもない。以下ではこれら特徴点の３次元座標である特徴点位置をベクトルＡ_i＝（ｘ_i，ｙ_i，ｚ_i），（ｉ＝０，１，…，１１）であらわす。

データ記憶手段４１３０は、登録された各物体の３次元形状、反射率および特徴点位置を記憶保持する。登録されたデータは、照合手段４２００の処理のために適時読み出される。

照合手段４２００は、撮影手段４２１０、位置姿勢推定手段４２２０、照明補正手段４２３０、画像比較手段４２４０および照合判定手段４２５０から構成される。

撮影手段４２１０は、カメラやビデオカメラ等の撮像装置を用いて照合対象となる入力画像を撮影する。撮影した入力画像を位置姿勢推定手段４２２０、照明補正手段４２３０および画像比較手段４２４０に出力する。

位置姿勢推定手段４２２０は、入力画像を撮影したときの撮影条件である物体の位置姿勢や撮像装置のパラメタ等を推定する。図１１に位置姿勢推定手段４２２０の構成および処理の流れを示すブロック図を示す。位置姿勢推定手段４２２０は、入力画像特徴点抽出手段４２２１および位置姿勢計算手段４２２２から構成される。

入力画像特徴点抽出手段４２２１は、登録手段４１００における特徴点抽出手段４１４０において抽出した特徴点群ベクトルＡ_iと同じ特徴点の位置を入力画像から抽出し、画像上での位置ベクトルＢ_i＝（ｕ_i，ｖ_i),（ｉ＝０，１，２，…，１１）を入力画像特徴点位置として位置姿勢計算手段４２２２に出力する。これは人が処理装置の画面上に表示された入力画像を見ながら手動で入力することもできる。また、特開平６−１６８３１７号「個人識別装置」に記載の方法など特徴点抽出手段４１４０で用いたのと同様な方法も利用可能である。

本実施の形態は人の顔を照合する場合を一例としてあげているが、例えば、多面体形状の物体を照合する場合には頂点が特徴点として利用でき、画像からエッジを抽出し、それらの交点として多面体の頂点を検出することができる。また、物体表面に特徴的な模様がある場合などにその模様の位置を利用することもできる。

位置姿勢計算手段４２２２は、入力画像特徴点抽出手段４２２１から入力された入力画像特徴点位置と、データ記憶手段４１３０から読み出された特徴点位置とを利用し、入力画像中にある物体の位置姿勢や撮像装置のパラメタなどを計算し、位置姿勢として照明補正手段４２３０に出力する。この計算には文献（「An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision 」,RogerY. Tsai,Proc. CVPR'86, pp.364--374,1986)の方法など様々な方法が利用可能である。

本実施の形態では一例として位置姿勢のパラメタとして物体の平行移動距離（Ｔ_x，Ｔ_y，Ｔ_z）、ｘ，ｙ，ｚ軸の周りの回転角度（Ｒ_x，Ｒ_y，Ｒ_z）、カメラの焦点距離ｆを、カメラモデルとしてピンホールカメラを用いて次のような方法をとる。上述したように、当該位置姿勢には、焦点距離など撮像装置のパラメタも含まれる。特徴点位置ベクトルＡｉ と入力画像特徴点位置ベクトルＢｉ の間の関係は以下に示す［式９］であらわされる。

ただし、ここでａ，ｂ，ｃは以下に示す［式１０］であらわされる値である。

Ｒは以下に示す［式１１］で表される回転を表す行列である。

１２個の各特徴点についての［式９］で計算される値と入力画像特徴点位置誤差の総和が最小になるように、Ｒ_x，Ｒ_y，Ｒ_z，Ｔ_x，Ｔ_y，Ｔ_z，ｆを最適化計算により求める。この最適化の計算には様々な方法が利用できる。求めたＲ_x，Ｒ_y，Ｒ_z，Ｔ_x，Ｔ_y，Ｔ_z，ｆを位置姿勢として照明補正手段４２３０に出力する。上述した位置姿勢パラメタやカメラモデルの定義と計算方法はあくまで一例であり、この他にも様々な方法が利用可能である。

照明補正手段４２３０は、位置姿勢推定手段４２２０により決定されたパラメタを利用して、入力画像と同じ位置姿勢にあって、最も近い照明条件の画像を比較画像とする。

画像比較手段４２４０は、入力画像と生成された比較画像との類似度の評価値を算出する。評価値の計算方法には様々な技術が利用できるが、その一例としては、 [式７］のように画像の各画素の輝度値の差の二乗和などを用いることができる。

照合判定手段４２５０は、計算された評価値を閾値処理して照合対象物体であるか否かの照合を行う。また、複数の物体が登録されている場合には、照明補正手段４２３０による比較画像の生成から画像比較手段４２４０による評価値の算出までの処理を複数回行い、どの物体に最も近似するかの検索を行うこともできる。また、登録されている物体のうちある一定以上の評価値を持っている物体として、近似する物体の検索も行うこともできる。

（第５の実施の形態）
次に、本発明の第５の実施の形態について詳細に説明する。本実施の形態においては、登録される物体が工業製品などであり、その形状の設計図がＣＡＤデータとして保存されており、表面の塗装の仕様がデザイン図によって決められているとする。本実施の形態は、第１の実施の形態と比較し、３次元形状測定手段１１０において、設計図のＣＡＤデータから３次元形状を、反射率測定手段１２０においてデザイン図から反射率を読み込む点が異なる。照合対象となる物体が工業製品など設計図の存在する物体である場合や、建築物など３次元形状の測定が一般の３次元形状計測装置では困難であり、別途測量等を行い形状を測定する場合等に適用するとよい。

３次元形状測定手段１１０は、設計図のＣＡＤデータを、照合手段２００で扱えるデータ形式に変換して３次元形状としてデータ記憶手段１３０に出力する。

反射率測定手段１２０は、デザイン図から物体の各部の色、表面の仕上げの方法などを読み込み、反射率に変換してデータ記憶手段１３０に出力する。

データ記憶手段１３０は、３次元形状測定手段１１０から入力された３次元形状データと、反射率測定手段１２０から入力された反射率とを記憶する。

照合手段２００については第１の実施の形態と全く同等である。

本発明は上述した実施の形態において述べたように、一般の物体に対して応用可能である。特に、本発明は自動車の車種・型式の照合、人物の顔の照合などへの応用に有効である。

以上、本発明の実施の形態を図面に基づき具体的に説明したが、本発明はこれらの実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。また、本発明をコンピュータプログラムによって実現することももちろん可能である。

本発明は、画像による物体の照合を行う画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体、特に認識対象となる物体の３次元形状と、表面反射率や色情報などをあらかじめ登録しておくことにより、画像上での物体の位置や姿勢、照明条件などの撮影条件の変動に対して頑強なことを特徴とする画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体に利用可能である。

本発明の第１の実施の形態における画像照合装置処理の構成および処理の流れを示したブロック図である。 本発明の第１の実施の形態における構成図である。 本発明の第１の実施の形態における照明補正手段２３０の構成および処理の流れを示したブロック図である。 照明条件を決める照明の物体に対する方向を表す角度を説明した図である。 画像を利用した物体照合装置の一例を示した図である。 本発明の第２の実施の形態における画像照合装置の構成および処理の流れを示したブロック図である。 本発明の第２の実施の形態における照明補正２２３０の構成および処理の流れを示したブロック図である。 本発明の第３の実施の形態における画像照合装置の構成および処理の流れを示したブロック図である。 平均形状の生成方法を説明した図である。 本発明の第４の実施の形態における画像照合装置の構成および処理の流れを示したブロック図である。 本発明の第４の実施の形態における位置姿勢推定手段４２２０の構成および処理の流れを示したブロック図である。 対象物体の特徴点として用いる物体の部位の一例を示した図である。 従来技術における画像照合技術の一例として、登録時と照合時でともに２次元の画像のみを用いる技術の構成を説明したブロック図である。 従来技術における画像照合技術の一例として、登録時と照合時でともに３次元形状を測定する技術の構成を説明したブロック図である。 従来技術における画像照合技術の一例として、登録時と照合時でともに２次元の画像を撮影し、位置姿勢の補正に標準３次元形状を用いる技術の構成を説明したブロック図である。 従来技術における画像照合技術の一例として、登録時に多数の位置姿勢条件で画像を撮影し認識を行う技術の構成を説明したブロック図である。 従来技術における画像照合技術の一例として、登録時に複数の照明条件で２次元の画像を撮影し、照明条件補正を行う技術の構成を説明したブロック図である。 従来技術における画像照合技術の一例として、登録時に複数の照明条件で２次元の画像を撮影し、照明条件補正を行う技術の構成を説明したブロック図である。

符号の説明

１００ 登録手段
１１０ ３次元形状測定手段
１２０ 反射率測定手段
１３０ データ記憶手段
２００ 照合手段
２１０ 撮影手段
２２０ 位置姿勢推定手段
２３０ 照明補正手段
２３１ 照明条件変化手段
２３２ 画像生成手段
２３３ 照明変動空間生成手段
２３４ 照明条件推定手段
２４０ 画像比較手段
２５０ 照合判定手段

Claims (33)

1. 登録対象となる物体のデータを３次元形状データとして登録する登録手段と、
   入力画像に写っている物体の位置姿勢を推定する位置姿勢補正手段と、
   前記位置姿勢補正手段によって補正された位置姿勢と、前記登録手段に登録された物体の登録データとから、前記位置姿勢補正手段によって推定された位置姿勢にあって、様々な照明条件からなる照明条件群の各々の照射条件の下での画像を照明変動画像群として生成する画像生成手段と、
   該画像生成手段により生成された照明変動画像群から前記入力画像と最も近似する画像を生成して比較画像として、画像比較手段に出力する照明条件推定手段と、
   該比較画像と前記入力画像とを比較し、該二つの画像の類似度の評価値を算出する前記画像比較手段と、
   該画像比較手段により算出された評価値に基づいて、前記撮影された物体が前記登録手段に登録された物体であるか否かを判定する照合判定手段と、
   を有して構成されることを特徴とする画像照合装置。
2. 前記登録手段は、
   前記登録対象となる物体の３次元形状を測定する３次元形状測定手段と、
   前記登録対象となる物体の３次元形状の各位置における表面の反射率を測定する反射率測定手段と、
   前記３次元形状測定手段により測定された３次元形状と、前記反射率測定手段により測定された反射率とを登録データとして記憶するデータ記憶手段と、
   を有して構成されることを特徴とする請求項１記載の画像照合装置。
3. 前記登録手段は、
   前記登録対象となる物体の３次元形状を測定する３次元形状測定手段と、
   前記登録対象となる物体を撮影し、該物体の画像情報を取得する画像情報取得手段と、
   前記３次元形状測定手段により測定された３次元形状と、前記画像情報取得手段により取得された画像情報とを登録データとして記憶するデータ記憶手段と、
   を有して構成されることを特徴とする請求項１記載の画像照合装置。
4. 前記登録手段は、
   前記登録対象となる物体の３次元形状を測定する３次元形状測定手段と、
   複数の物体を登録するとき、前記３次元形状測定手段により測定された複数の３次元形状の平均となる平均３次元形状を生成する平均形状生成手段と、
   前記登録対象となる物体の３次元形状の各位置における表面の反射率を測定する反射率測定手段と、
   前記３次元形状測定手段により測定された３次元形状と、前記平均形状生成手段により生成された平均３次元形状と、前記反射率測定手段により測定された反射率とを登録データとして記憶するデータ記憶手段と、
   を有して構成されることを特徴とする請求項１記載の画像照合装置。
5. 前記登録手段は、
   前記登録対象となる物体の３次元形状を測定する３次元形状測定手段と、
   前記登録対象となる物体を様々な照明条件で撮影し、テクスチャ画像群を生成するテクスチャ画像撮影手段と、
   前記３次元形状測定手段により測定された３次元形状と、前記テクスチャ画像撮影手段により撮影されたテクスチャ画像群とを登録データとして記憶するデータ記憶手段とを有して構成され、
   前記画像生成手段は、
   前記登録手段に登録された物体の３次元形状とテクスチャ画像群とから、前記物体が前記位置姿勢補正手段により推定された位置姿勢にあり、前記テクスチャ画像撮影時の多様な照明条件での画像群を生成するように構成されることを特徴とする請求項１記載の画像照合装置。
6. 前記位置姿勢補正手段は、
   あらかじめ設定された一定の位置姿勢を前記画像生成手段に出力することを特徴とする請求項１から５のいずれか１項記載の画像照合装置。
7. 前記位置姿勢補正手段は、
   前記入力画像に写っている物体の位置姿勢のパラメタを入力し、該入力した位置姿勢を前記画像生成手段に出力することを特徴とする請求項１から５のいずれか１項記載の画像照合装置。
8. 前記登録手段は、
   前記登録された３次元形状データの特徴点位置を抽出する第１の特徴点抽出手段と、前記形状データと、前記第１の特徴点抽出手段により抽出された特徴点位置とを登録データとして記憶するデータ記憶手段とを有して構成され、
   前記位置姿勢補正手段は、
   前記データ記憶手段により記憶された特徴点位置と同一の特徴点位置を前記入力画像から入力画像特徴点位置として抽出する第２の特徴点抽出手段と、
   前記データ記憶手段により記憶された３次元形状と特徴点位置と、前記第２の特徴点抽出手段により抽出された入力画像特徴点位置とから、前記撮影された物体の位置姿勢を推定し、該推定された位置姿勢を前記画像生成手段に出力する位置姿勢計算手段と、を有して構成されることを特徴とする請求項１記載の画像照合装置。
9. 前記照明条件推定手段は、
   前記画像生成手段により生成された照明変動画像群により張られる照明変動空間を生成する照明変動空間生成手段をさらに有して構成され、
   前記照明変動空間生成手段により生成された照明変動空間内から前記入力画像に最も近似する画像を生成して比較画像として、前記画像比較手段に出力することを特徴とする請求項１から８のいずれか１項記載の画像照合装置。
10. 前記照明変動空間生成手段は、前記画像生成手段により生成された照明変動画像群に対して主成分分析を施すことにより、照明条件により画像上に現れている変動要因の大部分を覆う空間の基底ベクトル群を生成し、
    前記照明条件推定手段は、前記照明変動空間生成手段により生成された基底ベクトル群と、前記入力画像との間の相関を求め、該相関を基に前記基底ベクトル群から前記入力画像に最も近似する画像を生成して比較画像として前記画像比較手段に出力することを特徴とする請求項９記載の画像照合装置。
11. 前記画像生成手段は、様々な照明条件を設定し照明条件群として前記画像生成手段に出力する照明条件変化手段をさらに有して構成されることを特徴とする請求項９又は１０記載の画像照合装置。
12. 登録対象となる物体のデータを３次元形状データとして登録する登録工程と、
    入力画像における物体の位置姿勢を推定する位置姿勢補正工程と、
    前記位置姿勢補正工程において補正された位置姿勢と、前記登録工程において登録された物体の登録データとから、前記位置姿勢補正工程において推定された位置姿勢にあって、様々な照明条件からなる照明条件群の各々の照射条件の下での画像を照明変動画像群として生成する画像生成工程と、
    該画像生成工程において生成された照明変動画像群から前記入力画像と最も近似する画像を生成して比較画像として出力する照明条件推定工程と、
    該比較画像と前記入力画像とを比較し、該二つの画像の類似度の評価値を算出する画像比較工程と、
    該画像比較工程において算出された評価値に基づいて、前記撮影された物体が前記登録工程において登録された物体であるか否かを判定する照合判定工程と、
    を有して構成されることを特徴とする画像照合方法。
13. 前記登録工程では、
    前記登録対象となる物体の３次元形状を測定する３次元形状測定処理と、
    前記登録対象となる物体の３次元形状の各位置における表面の反射率を測定する反射率測定処理と、
    前記３次元形状測定処理により測定された３次元形状と、前記反射率測定処理により測定された反射率とを登録データとして記憶するデータ記憶処理と、
    を行うことを特徴とする請求項１２記載の画像照合方法。
14. 前記登録工程では、
    前記登録対象となる物体の３次元形状を測定する３次元形状測定処理と、
    前記登録対象となる物体を撮影し、該物体の画像情報を取得する画像情報取得処理と、
    前記３次元形状測定処理により測定された３次元形状と、前記画像情報取得処理により取得された画像情報とを登録データとして記憶するデータ記憶処理と、
    を行うことを特徴とする請求項１２記載の画像照合方法。
15. 前記登録工程では、
    前記登録対象となる物体の３次元形状を測定する３次元形状測定処理と、
    複数の物体を登録するとき、前記３次元形状測定処理により測定された複数の３次元形状の平均となる平均３次元形状を生成する平均形状生成処理と、
    前記登録対象となる物体の３次元形状の各位置における表面の反射率を測定する反射率測定処理と、
    前記３次元形状測定処理により測定された３次元形状と、前記平均形状生成処理により生成された平均３次元形状と、前記反射率測定処理により測定された反射率とを登録データとして記憶するデータ記憶処理と、
    を行うことを特徴とする請求項１２記載の画像照合方法。
16. 前記登録工程では、
    前記登録対象となる物体の３次元形状を測定する３次元形状測定処理と、
    前記登録対象となる物体を様々な照明条件で撮影し、テクスチャ画像群を生成するテクスチャ画像撮影処理と、
    前記３次元形状測定処理により測定された３次元形状と、前記テクスチャ画像撮影処理により撮影されたテクスチャ画像群とを登録データとして記憶するデータ記憶処理とを行い、
    前記画像生成工程では、
    前記登録工程において登録された物体の３次元形状とテクスチャ画像群とから、前記物体が前記位置姿勢補正工程において推定された位置姿勢にあり、前記テクスチャ画像撮影時の多様な照明条件での画像群を生成することを特徴とする請求項１２記載の画像照合方法。
17. 前記位置姿勢補正工程では、
    あらかじめ設定された一定の位置姿勢を次工程に出力することを特徴とする請求項１２から１６のいずれか１項記載の画像照合方法。
18. 前記位置姿勢補正工程では、
    前記入力画像に写っている物体の位置姿勢のパラメタを入力し、該入力した位置姿勢を次工程に出力することを特徴とする請求項１２から１６のいずれか１項記載の画像照合方法。
19. 前記登録工程では、
    前記登録された３次元形状データの特徴点位置を抽出する第１の特徴点抽出処理と、前記形状データと、前記第１特徴点抽出処理により抽出された特徴点位置とを登録データとして記憶するデータ記憶処理とを行い、
    前記位置姿勢補正工程では、
    前記データ記憶処理により記憶された特徴点位置と同一の特徴点位置を前記撮影処理により撮影された入力画像から入力画像特徴点位置として抽出する第２の特徴点抽出処理と、
    前記データ記憶処理により記憶された３次元形状と特徴点位置と、前記第２の特徴点抽出処理により抽出された入力画像特徴点位置とから、前記入力画像における物体の位置姿勢を推定し、該推定された位置姿勢を出力する位置姿勢計算処理と、を行うことを特徴とする請求項１２記載の画像照合方法。
20. 前記照明条件推定工程では、
    前記画像生成工程において生成された照明変動画像群により張られる照明変動空間を生成する照明変動空間生成処理を行い、
    前記照明変動空間生成処理により生成された照明変動空間内から前記入力画像に最も近似する画像を生成して比較画像として、次工程に出力することを特徴とする請求項１２から１９のいずれか１項記載の画像照合方法。
21. 前記照明変動空間生成工程では、前記画像生成工程において生成された照明変動画像群に対して主成分分析を施すことにより、照明条件により画像上に現れている変動要因の大部分を覆う空間の基底ベクトル群を生成し、
    前記照明条件推定工程では、前記照明変動空間生成処理により生成された基底ベクトル群と、前記入力画像との間の相関を求め、該相関を基に前記基底ベクトル群から前記入力画像に最も近似する画像を生成して比較画像として次工程に出力することを特徴とする請求項２０記載の画像照合方法。
22. 前記画像生成工程では、様々な照明条件を設定し照明条件群として前記画像生成工程に出力する照明条件変化処理をさらに行うことを特徴とする請求項２０又は２１記載の画像照合方法。
23. コンピュータに、
    登録対象となる物体のデータを３次元形状データとして登録する登録工程と、
    入力画像における物体の位置姿勢を推定する位置姿勢補正工程と、
    前記位置姿勢補正工程において補正された位置姿勢と、前記登録工程において登録された物体の登録データとから、前記位置姿勢補正工程において推定された位置姿勢にあって、様々な照明条件からなる照明条件群の各々の照射条件の下での画像を照明変動画像群として生成する画像生成工程と、
    該画像生成工程において生成された照明変動画像群から前記入力画像と最も近似する画像を生成して比較画像として出力する照明条件推定工程と、
    該比較画像と前記入力画像とを比較し、該二つの画像の類似度の評価値を算出する画像比較工程と、
    該画像比較工程において算出された評価値に基づいて、前記撮影された物体が前記登録工程において登録された物体であるか否かを判定する照合判定工程と、
    を実行させることを特徴とする画像照合プログラム。
24. 前記登録工程では、前記コンピュータに、
    前記登録対象となる物体の３次元形状を測定する３次元形状測定処理と、
    前記登録対象となる物体の３次元形状の各位置における表面の反射率を測定する反射率測定処理と、
    前記３次元形状測定処理により測定された３次元形状と、前記反射率測定処理により測定された反射率とを登録データとして記憶するデータ記憶処理と、
    を実行させることを特徴とする請求項２３記載の画像照合プログラム。
25. 前記登録工程では、前記コンピュータに、
    前記登録対象となる物体の３次元形状を測定する３次元形状測定処理と、
    前記登録対象となる物体を撮影し、該物体の画像情報を取得する画像情報取得処理と、
    前記３次元形状測定処理により測定された３次元形状と、前記画像情報取得処理により取得された画像情報とを登録データとして記憶するデータ記憶処理と、
    を実行させることを特徴とする請求項２３記載の画像照合プログラム。
26. 前記登録工程では、前記コンピュータに、
    前記登録対象となる物体の３次元形状を測定する３次元形状測定処理と、
    複数の物体を登録するとき、前記３次元形状測定処理により測定された複数の３次元形状の平均となる平均３次元形状を生成する平均形状生成処理と、
    前記登録対象となる物体の３次元形状の各位置における表面の反射率を測定する反射率測定処理と、
    前記３次元形状測定処理により測定された３次元形状と、前記平均形状生成処理により生成された平均３次元形状と、前記反射率測定処理により測定された反射率とを登録データとして記憶するデータ記憶処理と、
    を実行させることを特徴とする請求項２３記載の画像照合プログラム。
27. 前記登録工程では、前記コンピュータに、
    前記登録対象となる物体の３次元形状を測定する３次元形状測定処理と、
    前記登録対象となる物体を様々な照明条件で撮影し、テクスチャ画像群を生成するテクスチャ画像撮影処理と、
    前記３次元形状測定処理により測定された３次元形状と、前記テクスチャ画像撮影処理により撮影されたテクスチャ画像群とを登録データとして記憶するデータ記憶処理とを実行させ、
    前記画像生成工程では、前記コンピュータに、
    前記登録工程において登録された物体の３次元形状とテクスチャ画像群とから、前記物体が前記位置姿勢補正工程において推定された位置姿勢にあり、前記テクスチャ画像撮影時の多様な照明条件での画像群を生成させることを特徴とする請求項２３記載の画像照合プログラム。
28. 前記位置姿勢補正工程では、前記コンピュータに、
    あらかじめ設定された一定の位置姿勢を次工程に出力させることを特徴とする請求項２３から２７のいずれか１項記載の画像照合プログラム。
29. 前記位置姿勢補正工程では、前記コンピュータに、
    前記入力画像に写っている物体の位置姿勢のパラメタを入力し、該入力した位置姿勢を次工程に出力させることを特徴とする請求項２３から２７のいずれか１項記載の画像照合プログラム。
30. 前記登録工程では、前記コンピュータに、
    前記登録された３次元形状データの特徴点位置を抽出する第１の特徴点抽出処理と、前記形状データと、前記第１特徴点抽出処理により抽出された特徴点位置とを登録データとして記憶するデータ記憶処理とを行い、
    前記位置姿勢補正工程では、
    前記データ記憶処理により記憶された特徴点位置と同一の特徴点位置を前記撮影処理により撮影された入力画像から入力画像特徴点位置として抽出する第２の特徴点抽出処理と、
    前記データ記憶処理により記憶された３次元形状と特徴点位置と、前記第２の特徴点抽出処理により抽出された入力画像特徴点位置とから、前記入力画像における物体の位置姿勢を推定し、該推定された位置姿勢を出力する位置姿勢計算処理と、実行させることを特徴とする請求項２３記載の画像照合プログラム。
31. 前記照明条件推定工程では、前記コンピュータに、
    前記画像生成工程において生成された照明変動画像群により張られる照明変動空間を生成する照明変動空間生成処理を実行させ、
    前記照明変動空間生成処理により生成された照明変動空間内から前記入力画像に最も近似する画像を生成して比較画像として、次工程に出力させることを特徴とする請求項２３から３０のいずれか１項記載の画像照合方法。
32. 前記照明変動空間生成工程では、前記コンピュータに、前記画像生成工程において生成された照明変動画像群に対して主成分分析を施すことにより、照明条件により画像上に現れている変動要因の大部分を覆う空間の基底ベクトル群を生成させ、
    前記照明条件推定工程では、前記コンピュータに、前記照明変動空間生成処理により生成された基底ベクトル群と、前記入力画像との間の相関を求めさせ、該相関を基に前記基底ベクトル群から前記入力画像に最も近似する画像を生成して比較画像として次工程に出力させることを特徴とする請求項３１記載の画像照合プログラム。
33. 前記画像生成工程では、前記コンピュータに、様々な照明条件を設定し照明条件群として前記画像生成工程に出力する照明条件変化処理をさらに実行させることを特徴とする請求項３１又は３２記載の画像照合プログラム。