JP2008225971A - 画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法 - Google Patents

Abstract

【課題】波長情報が異なる複数の画像の画像特徴情報を利用することを可能とする。
【解決手段】被写体２１の第１の画像（登録画像２０）から異なった照明条件における被写体２１の第２の画像（登録画像群３０）を合成するものであって、被写体２１の波長情報が異なる複数の第１の画像を入力する画像入力部１１と、画像入力部１１で入力された複数の第１の画像のうち、波長情報が異なる少なくとも２つの画像の画像特徴情報に基づいて第２の画像を合成するための光学情報の推定を行う推定部８５と、推定部８５の推定結果に基づいて第２の画像を合成する画像合成部８６とを備えている。
【選択図】図１

Description

本発明は、入力された２次元画像とあらかじめ記録された２次元画像とを比較照合する画像照合装置に関し、特に画像照合に用いる画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法に関する。

従来から、入力された２次元画像とあらかじめ記録された２次元画像とを比較照合する画像照合装置が実用化されている。特に、バイオメトリクスを用いた認証方法の一つである顔認証方法を実現するための、画像照合装置が各種提案されてきている。このような画像照合装置においては、認証可能な複数の者の顔画像としてあらかじめデータベースに登録しておき、認証される者（以下、「被認証者」と記す）の顔画像と登録された者の顔画像とを比較照合して、その結果、被認証者の顔画像が登録された者の顔画像と互いに一致するまたは類似すると判定された場合に、被認証者がその登録された者であるとして認証される。

このような画像照合装置においては、従来から、認証時に被写体が撮影されたときの撮影条件と、登録時に被写体が撮影されたときの撮影条件との違いによって、本人認証率が低下してしまうという課題があった。例えば、被写体のの顔が撮影されたときに照明が被写体の顔を照射していた方向（以下、この方向のことを「照明方向」と記す）などの照明条件と、登録時に被写体が撮影されたときの照明方向などの照明条件とが異なる場合には、たとえ同じ被写体を撮影した場合であっても、比較照合を行った結果、互いに一致しないと判定されてしまう可能性があった。

この課題を解決するために、近年様々な技術が提案されてきている。例えば、登録された者それぞれについて、１枚の登録した顔画像からその撮影時の照明条件および顔の形状（法線ベクトル）や反射率などを推定し、これらの条件を用いて互いに異なる照明条件下における複数の画像群を作成してデータベースに登録し、認証時には被認証者の顔画像とデータベースに登録された者のすべての画像群とを比較照合することにより、本人認証率を向上させることのできる技術が提案されている（例えば、特許文献１を参照）。この場合、照明方向の異なる画像を複数枚合成するに際し、１人につき１枚の顔画像を使用して顔の形状、反射率、鏡面反射成分などの推定を行い、複数枚の照明変化画像を合成して、顔認識の登録画像としてデータベースに登録していた。
特開２００２−２４８３０号公報

しかしながら、従来の画像照合装置においては、被認証者を撮影して得た顔画像のそれぞれについて、拡散反射を仮定した顔の立体形状および反射率の推定と、鏡面反射が含まれることを仮定した鏡面反射成分の推定とにおいて同一の画像が用いられ、被認証者の顔の反射率(照明光の波長に影響される)の違いによって得られる異なった波長情報の画像特徴情報を利用する方法については従来、検討がなされていなかった。このため、比較画像および登録画像に含まれる拡散反射および鏡面反射などの情報（波長に影響される情報）を精度よく推定することができず、被写体の認識率が低下するという課題があった。

本発明はこのような課題に鑑みてなされたものであり、波長情報が異なる複数の画像の画像特徴情報を利用して被写体の認識率を高めることを可能とする画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法を提供することを目的とする。

本発明の画像合成装置は、被写体の第１の画像から異なった照明条件における前記被写体の第２の画像を合成する画像合成装置であって、被写体の波長情報が異なる複数の第１の画像を入力する画像入力部と、画像入力部で入力された複数の第１の画像のうち、波長情報が異なる少なくとも２つの画像の画像特徴情報に基づいて第２の画像を合成するための光学情報の推定を行う推定部と、推定部の推定結果に基づいて第２の画像を合成する画像合成部とを備えたことを特徴とする。

このような構成によれば、推定部は、波長情報が異なる２つの画像の画像特徴情報を利用することができるため、例えば形状の推定には拡散反射の大きい赤色の波長情報の画像、テクスチャおよび鏡面反射の推定には拡散反射の小さい青色の波長情報の画像を使用することができる。これにより、光学情報の推定精度を高めることができ、精度のよい画像合成装置を実現することができる。

また、画像は人物の顔画像であってもよい。これによれば、さらに、人物の顔画像の推定精度を高めることができ、精度のよい人物の顔の画像合成装置を実現することができる。

また、推定部は、赤色と青色との波長情報の画像の画像特徴情報に基づいて第２の画像を合成するための光学情報の推定を行うようにしてもよい。

これによれば、さらに、赤色と青色の波長情報の画像を利用できるので、前記被写体の３次元の形状または反射率の推定、または、テクスチャおよび鏡面反射の推定を行うときの精度を高めることが可能となる。

また、推定部により、光学情報の推定を被写体の３次元の形状または反射率を用いて行う場合には、赤色の波長情報の画像を用いてもよい。

これによれば、さらに、赤色の波長情報の画像は、被写体の反射率が高く、拡散反射成分が大きく、さらに表面が滑であるという特徴を有するため、被写体の３次元の形状または反射率の推定を行うための精度を高めることができる。

また、推定部により、光学情報の推定を被写体のテクスチャ情報または鏡面反射情報を用いて行う場合には、青色の波長情報の画像を用いてもよい。

これによれば、さらに、青色の波長情報の画像は、被写体の反射率が低く、拡散反射成分が小さく、表面の凹凸がはっきりしているという特徴を有するため、テクスチャおよび鏡面反射成分の推定を行うときの精度を高めることができる。

また、被写体を照明する照明部と、照明部で照明された被写体を撮影し、波長情報が異なる複数の第１の画像を取得する撮像部と、照明部を制御する照明制御部と、複数の第１の画像の濃淡情報を判断し、判断結果を出力する光量判断部をさらに備え、照明制御部は、光量判断部の判断結果において複数の第１の画像のうち、濃淡情報の光量が不足していると判断した画像に対しては、照明部の光量を上げるようにしてもよい。

これによれば、さらに、第１の画像におけるＳ／Ｎをよくすることができ、推定するときの画像特徴を得やすくすることができる。例えば、光が不足しやすい青色の波長情報の画像に適用することで効果が発揮でき、青色の波長情報の画像におけるＳ／Ｎをよくすることができる。

前記照明部に拡散板を設けてもよい。これによれば、さらに、照明時に被写体からの鏡面反射成分を削減し、拡散反射成分を強調することができ、鏡面反射成分による推定誤差を抑え、拡散反射成分の推定の精度を高めることができる。

本発明の画像照合装置は、上記したいずれかの画像合成装置と、画像合成装置で合成された登録画像群を記憶する登録画像群記憶部と、比較すべき比較画像を入力する比較画像入力部と、比較画像入力部から入力された比較画像と登録画像群記憶部に記憶された登録画像群とを照合する照合部とを備えたことを特徴とする。

これによれば、さらに、上記した画像合成装置の作用効果を備えた画像照合装置が実現できる。

また、本発明の画像照合装置は、被写体の波長情報が異なる複数の画像を入力する画像入力部と、画像入力部で入力された画像のうち、波長情報が異なる少なくとも２つの画像の画像特徴情報に基づいて前記被写体を認証するための特徴量を抽出する特徴量抽出部と、特徴量を記憶する特徴量記憶部と、比較すべき比較画像を入力する比較画像入力部と、比較画像から前記特徴量と照合するための照合特徴量を抽出し、照合特徴量と特徴量とを照合する照合部とを備えたことを特徴とする。

この構成によれば、特徴量抽出部は、波長情報の異なる２つの画像の画像特徴情報に基づいて特徴量を抽出することができる。このため、例えば形状の特徴量の抽出には拡散反射の大きい赤色の波長情報の画像、テクスチャおよび鏡面反射の特徴量の抽出には拡散反射の小さい青色の波長情報の画像を使用することができ、特徴量の抽出精度を高めた特徴量を抽出することができる。照合部では、この特徴量の抽出精度の高い特徴量と照合特徴量とを照合することができるため、照合精度を高めることができる。

また、特徴量抽出部は、被写体の３次元の形状情報または反射率情報の抽出を行う場合には赤色の波長情報の画像を用いるようにしてもよい。

これによれば、鏡面反射成分の少ない赤色の波長情報の画像を用いることができ、被写体の３次元の形状情報または反射率情報の特徴量の抽出精度を高めることができる。

また、特徴量抽出部は、被写体のテクスチャ情報または鏡面反射情報の抽出を行う場合には青色の波長情報の画像を用いるようにしてもよい。

これによれば、拡散反射成分の少ない青色の波長情報の画像を用いることができ、被写体のテクスチャ情報または鏡面反射情報の特徴量の抽出精度を高めることができる。

本発明の画像合成方法は、被写体の第１の画像から異なった照明条件における被写体の第２の画像を合成する画像合成方法であって、被写体の波長情報が異なる複数の第１の画像を入力する画像入力ステップと、画像入力ステップで入力された複数の第１の画像のうち、波長情報が異なる少なくとも２つの画像の画像特徴情報に基づいて第２の画像を合成するための光学情報の推定を行う推定ステップと、推定ステップの推定結果に基づいて第２の画像を合成する画像合成ステップ部とを備えたことを特徴とする。

このようなステップによれば、推定ステップは、波長情報の異なった２つの画像の画像特徴情報を利用することができるため、例えば形状の推定には拡散反射の大きい赤色の波長情報の画像、テクスチャおよび鏡面反射の推定には拡散反射の小さい青色の波長情報の画像を使用することができる。これにより、光学情報の推定精度を高めることができ、精度のよい画像合成方法を実現することができる。

以上述べたように本発明によれば、波長情報が異なる複数の画像の画像特徴情報を利用して被写体の認識率を高めることを可能とする画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法を提供することができる。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

（実施の形態１）
本発明の実施の形態１における画像照合装置１は、被写体の波長情報が異なる複数の画像を取得し、得られた複数の画像のうち、波長情報が異なる少なくとも２つの画像の画像特徴情報に基づいて光学情報の推定を行い、推定結果に基づいて異なった照明条件における画像を合成することを特徴としている。これにより、画像照合装置１は、波長情報が異なった２つの画像の画像特徴情報を利用することができるため、例えば顔の形状の推定には拡散反射の大きい赤色の波長情報の画像、顔のテクスチャおよび鏡面反射の推定には拡散反射の小さい青色の波長情報の画像を使用することができる。これにより、顔画像から得られる光学情報の推定精度を高めることができ、精度のよい画像照合装置が実現できる。

まず、図１および図２を用いて、本発明の実施の形態１における画像照合装置１について説明する。図１は本発明の実施の形態における画像照合装置１の基本構成を示すブロック図、図２は赤色および青色の波長情報から得られた画像の画像特徴情報を説明する説明図であり、図２（ａ）は赤色画像の画像特徴を示す説明図、図２（ｂ）は青色画像の画像特徴を示す説明図である。ここでは、赤色の波長情報が６００ｎｍ、青色の波長情報が４００ｎｍである場合の例について説明する。

図１に示したように、本発明の実施の形態における画像照合装置１は、被写体２１を撮影装置１０で撮影して得た第１の登録画像２０（以下、単に「登録画像２０」と記す）から異なった照明条件における第２の画像を合成（以下、この合成して作成された画像群を「登録画像群」と記す）するための画像合成装置２と、画像合成装置２で合成された登録画像群３０を記憶する登録画像群記憶部９と、被認証者の顔画像（以下、「比較画像」と記す）が入力される比較画像入力部１２と、比較画像入力部１２から入力された比較画像と登録画像群記憶部９に記憶された登録画像群３０とを照合し、その結果を出力する照合部１３と、照合部１３から出力された結果などの情報を外部に接続された他の装置などに出力する出力部１４とを備えている。

画像合成装置２は、被写体２１の画像情報を撮影装置１０から入力するための画像入力部１１と、画像入力部１１で入力された登録画像２０を使用して、後述する方法により、複数の照明条件下における登録画像群３０を作成する登録画像群作成部８を備えている。

撮影装置１０は、被写体２１を照明する照明部６と、照明部６で照明された被写体２１を撮影する撮像部３と、撮像部３の出力を制御する撮影波長制御部４と、撮像部３の出力のうち、画像の濃淡情報を判定し、光量が不足しいるか否かの判定結果を出力する光量判定部７と、光量判定部７から出力された判定結果に応じて照明部６を制御する照明制御部５とを備えている。なお、照明部６に拡散板（図示せず）を設け、照明時に被写体からの鏡面反射成分を削減し、拡散反射成分を強調するようにしてもよい。

これにより、照明部６は白色光などにより被写体２１を照明する。撮像部３は被写体２１から反射してきた反射光を色分解フィルタで赤色成分、緑色成分、青色成分に分解した後、撮像素子（図示せず）などで受光する。これにより、撮影装置１０は、３つの波長情報の画像（赤色画像、緑色画像、青色画像）に色分解されたカラー画像信号を出力することができる。なお、３つの波長情報の画像に限定されるものではない。後述する光学情報の推定に必要な要件に応じて、マルチバンドメラなどを使ってより多数の波長情報の画像を得るようにしてもよい。また、異なる波長情報の画像の取得に際して、色分解フィルタによる色分解に限定されず、照明部６で異なる波長分布をもつ光線を切り換えて使用するようにしてもよい。また、撮影装置１０は、照明制御部５により、例えば、青色画像の光量が不足した場合には光量を増加させることで、青色の波長情報の画像におけるＳ／Ｎをよくし、画像のテクスチャを推定するときの画像特徴を得やすくしている。なお、青色画像に限定されるものでなく、緑色および赤色画像にも適用できる。

この、撮影装置１０で取得された画像には、図２に示す画像特徴がある。すなわち、図２（ａ）に示すように、赤色の波長情報（例えば、６００ｎｍの場合）の画像の場合は、被写体２１の反射率が高く、拡散反射成分が大きいため、顔画像２３における表面が滑であるという特徴をもっている。そのため、一般に、眉、目などの輪郭情報２００は抑えられる。また、しわ２１０、ほくろ、そばかす、しみなどのテクスチャ情報２０２の濃淡差も小さくなる。また、被写体２１からの鏡面反射情報２０３は少ない。これにより、テクスチャ情報２０２などのノイズを受けることなく、被写体２１の３次元の形状または反射率の推定を行うときの精度を高めることができる。

一方、青色の波長情報（例えば、４００ｎｍの場合）の画像の場合は、被写体２１からの反射率が低く、拡散反射成分が小さいため、顔画像２３における表面の凹凸がはっきりしているという特徴をもつ。そのため、一般に、眉、目などの輪郭情報２０１、しわ、ほくろ、そばかす、しみなどのテクスチャ情報２０２が得やすくなる。また、被写体２１からの鏡面反射情報２０３は多い。これにより、テクスチャおよび鏡面反射の推定を行うときの精度を高めることができる。

なお、すべての波長情報が含まれる白色画像は、上述した青色画像と赤色画像との両方の成分が含まれるが、そのそれぞれの画像特徴情報を分離するのは難しい。

また、画像合成装置２は、撮影装置１０を予め備えるようにしてもよい。これにより、推定の内容に合わせて、必要な波長情報の画像を取得することができる。

登録画像群作成部８は、後述するように、画像入力部１１で入力された登録画像２０のうち、波長情報が異なる少なくとも２つの画像の画像特徴情報に基づいて登録画像群３０を生成するために必要な光学情報の推定を行う推定部８５と、推定部８５の推定結果に基づいて複数の照明条件下における登録画像群３０を生成する画像合成部８６とを備えている。

登録画像群作成部８および照合部１３については、後述する機能がソフトウェアによって実現されていてもよいし、専用回路などのハードウェアによって機能が実現されていてもよい。

登録画像群記憶部９は、ハードディスク装置（ＨＤＤ）や半導体メモリなどの公知の記録媒体から選択したものを用いることができる。

比較画像入力部１２は、公知の記憶媒体から画像を入力する構成であってもよいし、スキャナなどの公知の読取手段を用いて構成することも可能であるし、カメラなどで撮影された画像が入力される構成であってもよい。また、本発明の実施の形態における画像照合装置１は、画像入力部１１と比較画像入力部１２とをそれぞれ独立に備えた構成に限定されるものではなく、一つの入力手段を共用する構成であってもよい。

照合部１３は、比較画像入力部１２から入力された比較画像と登録画像群記憶部９に記憶された登録画像群３０とを照合し、その結果を出力する。照合方法としては、例えば、公知の固有空間法、部分空間法またはＫＮＮ法などの照合方法を用いることができる。

出力部１４は、照合部１３からの照合結果を示す信号をそのまま出力する構成であってもよいし、被認証者に対して液晶、ＬＥＤなどの表示装置またはスピーカーなどの音声出力装置によって照合結果を報知する構成であってもよい。

ここで、本発明の実施の形態における画像照合装置１の登録画像群作成部８の機能について詳細に説明する。

登録画像群作成部８は、画像入力部１１で入力された登録画像２０の輝度値から登録画像２０における被写体２１に対する照明方向および照明強度などの照明条件を推定し、推定された照明条件に基づいて、登録画像２０のうち、赤色の画像における所定の画素の、被写体２１の法線方向を含む法線情報を法線アルベド情報データベース８２（以下、「法線アルベド情報ＤＢ８２」と記す）を用いて推定する法線アルベド推定部８１と、登録画像２０の青色の画像における所定の画素の値で、拡散反射成分以外のエラー成分情報を推定し、照明条件におけるエラー成分情報をエラー情報データベース８４（以下、「エラー情報ＤＢ８４」と記す）を用いて推定するエラー成分推定部８３と、被写体の法線情報およびエラー成分情報から異なった照明条件における被写体の登録画像２０を合成する画像合成部８６とを備えている。ここで、エラー成分推定部８３は、設定された照明条件に応じてエラー成分情報を推定する。なお、法線アルベド情報ＤＢ８２はあらかじめ赤色画像、エラー情報ＤＢ８４は青色画像によってあらかじめ学習されている。この学習ステップについては後述する。

このように、本発明の実施の形態１における画像照合装置１によれば、赤色画像および青色画像を、それぞれ独立した入力画像情報として、法線アルベド推定部８１およびエラー成分推定部８３で使用することができる。ここでは、法線アルベド推定部８１は法線アルベド情報の推定に赤色の波長情報の画像を使用し、エラー成分推定部８３は異なった照明条件におけるエラー成分情報の推定に青色画像を使用している。

これにより、例えば、従来の認証方法のように、輝度信号Ｙを用いて、Ｓ／Ｎの悪い画像から特徴量の推定を行うといった問題はなくなる。Ｓ／Ｎが悪い原因としては、輝度信号Ｙは、Ｙ＝ａ×Ｂ＋ｂ×Ｇ＋ｃ×Ｒ、ａ＋ｂ＋ｃ＝１となるため、法線アルベド推定部８１で推定に必要なＲ成分の割合が小さくなってしまうためである。人の目の感度に基づいて、一般的に、Ｂ成分をＢ、Ｇ成分をＧ、Ｒ成分をＲとしたとき、Ｂ成分の係数ａはａ＝０．１１、Ｇ成分の係数ｂはｂ＝０．５９、Ｒ成分の係数ｃはｃ＝０．３０となる。

さらに、本発明の実施の形態における画像照合装置１においては、法線アルベド情報の推定に拡散反射成分が大きく鏡面反射成分が小さいＲ信号成分の画像特徴情報を使用し、エラー成分情報の推定に拡散反射成分が小さく、鏡面反射成分が大きいＢ信号成分の画像特徴情報を使用するといったように、光学情報の推定時に、互いに相反する条件を満たす画像を利用できる点が特徴であり、これにより、光学情報の推定に最適な波長情報をもつ画像をそれぞれ使用することで、画像特徴がより強調され、鮮明になった画像を利用でき、推定精度を高めている。

つぎに、図３に示すフローチャートを用いて、本発明の実施の形態１における画像照合装置１の動作を説明する。
画像照合装置１は、画像合成装置２により、被写体２１の登録画像２０を取得し、異なった照明条件における被写体２１の登録画像群３０を合成した後、合成された登録画像群３０を登録画像群記憶部９に記憶する（Ｓ５０）。つぎに、比較画像入力部１２で被認証者の比較画像を取得する（Ｓ５２）。照合部１３は、比較画像入力部１２で取得された比較画像と登録画像群記憶部９に記憶されている登録画像群３０とを比較照合し（Ｓ５４、Ｓ５６）、その結果を出力する（Ｓ５８）。これにより、出力部１４は、出力された結果などの情報を外部に接続された他の装置などに出力する。

つぎに、図４のフローチャートを用いて、上述した画像合成装置２の動作（ステップ５０）について詳細に説明する。

まず、理解を容易にするために、本発明の実施の形態１における画像合成装置２の合成処理方法について概要を説明し、その後で、画像合成装置２の動作について説明する。

本発明の実施の形態における画像合成装置２の合成処理方法は、１枚の登録画像を用いて、顔表面の法線方向や拡散反射係数を異なる人物の画像集合から得られた統計量を基に最大事後確率(以下、単に「ＭＡＰ」と記す)推定により求めるという考え方に基づいており、学習処理、モデリング処理およびレンダリング処理を有している。

学習処理では、顔の統計モデル、即ち、登録者と異なる人物の照明変動下の顔画像集合を用いて、アルベド（反射率）を含む法線方向の統計モデルと、拡散成分以外の反射成分に対応する誤差項の統計モデルを生成する。以下、登録者と異なる他人の顔画像の集合をブートストラップ画像の集合と呼ぶ。

モデリング処理では、学習処理で生成した統計モデルを用いて、免許証写真やパスポート写真のような１枚の登録画像から見えの変動をモデル化する。ここで、１枚の登録画像が撮影されたときの照明条件を推定する。つぎに、推定した照明条件と学習した統計量を基に、ＭＡＰ推定によって顔の形状と反射特性を復元する。

レンダリング処理では、新しい照明条件下の誤差項をＭＡＰ推定によって算出し、新しい照明条件下の拡散成分に加えて、新しい見えを生成する。

このように合成した画像の集合を、あたかも照明条件の異なる複数の登録画像が得られたように、クラス分類手法の学習サンプルとすることによって認識を可能とする。

画像合成装置２の機能は、ハードウェアまたはソフトウェアで実現することが可能である。画像合成装置２の機能をソフトウェアにて実現しようとする場合には、後述するように、図４におけるステップＳ１００からステップＳ１１８までの処理をソフトウェアにて記述して、コンピュータに実行させるようにすればよい。

以下、統計モデルを算出するために、あらかじめ別途行っておくべき、集合（ブートストラップ画像の集合）を用いた学習処理について説明する。この統計モデルは各推定ステップの処理で用いられる
まず、ブートストラップ画像集合を用いて、顔表面上の任意の位置において観察される明るさ（赤色の波長情報の画像における輝度値）から、顔の形状や反射特性の位置間の相関を考慮した統計量を算出する。具体的には、登録画像２０とは別にあらかじめ準備したブートストラップ画像集合の各人物に関して法線ベクトル、アルベドおよび誤差の値（青色の波長情報の画像の値から得られる値）を算出した後に、複数人（Ｋ人）分の算出した法線ベクトル、アルベドおよび誤差の値を用いてその統計量を計算する。ここで用いるブートストラップ画像集合は、複数人の人物についてＪ個の既知の照明条件ｓｊ下で撮影された画像集合により構成される。ｌ番目の人物について、Ｊ個の光源下で撮影された画像集合Ｉ^（ｌ）は下記のように、

と表わされる。ここで各々の記号は、人物ｌのＪ個の照明条件について得られた画像集合Ｉ^（ｌ）、人物ｌの顔の法線アルベド行列Ｂ^（ｌ）、Ｊ個の照明方向とその強度を表した照明条件集合Ｓ’、Ｊ個の照明条件に対するエラー行列Ｅ^（ｌ）を表している。

つぎに、最小二乗法によってＢ^（ｌ）を以下のように算出する。

そして、次のように拡散成分を引いた残りがエラー行列Ｅ^（ｌ）となる。

さらに、顔の法線ベクトルと誤差の値の統計量を、ブートストラップ画像集合のすべての人物について推定された、顔の法線アルベド行列Ｂ^（ｌ）とエラー行列Ｅ^（ｌ）とを用いて次のように求める。法線アルベドベクトルＢのように、Ｋ人について各行列Ｂ^（ｌ）を３ｄ次元ベクトルに展開し、その平均ベクトルμ_Ｂ（３ｄ次元ベクトル）と共分散行列Ｃ_Ｂ（３ｄ×３ｄ行列）を求める。エラー項ｖ（ｓ）の統計量についても、平均ベクトルμ_Ｖ（ｓｊ）は、各照明条件ｓｊについてＫ個のエラーベクトルＶ^（ｌ）（ｓｊ）から計算できる。

また、ｄＪ×ｄＪの共分散行列Ｃ_Ｖは、共分散行列Ｃ_Ｂを法線アルベド行列Ｂ^（ｌ）から求める方法と同様の方法で、Ｋ個のエラー行列Ｅ^（ｌ）から算出される。

以上の学習処理によって、平均ベクトルμ_Ｂと共分散行列Ｃ_Ｂの情報が記録された法線アルベド情報ＤＢ８２と、平均ベクトルμ_Ｖ（ｓｊ）と共分散行列Ｃ_Ｖが記録されたエラー情報ＤＢ８４とを得ることができる。

このように、本発明の実施の形態における画像合成装置２の画像合成方法においては、顔表面位置間の相関を考慮することができる手法を用いて、法線ベクトルやエラー成分の推定に用いる統計量を求めている。ここまでで、被写体の登録画像２０を用いた登録画像群３０を作成するための学習処理は終了する。

以下、学習処理によって得られた、法線アルベド情報ＤＢ８２およびエラー情報ＤＢ８４を使って、登録画像２０から法線アルベド情報およびエラー成分情報の推定を行う。

図４に示すフローチャートにおいて、画像合成装置２は、画像入力部１１により、撮影装置１０で撮影された被写体２１の登録用の顔画像を入力し、登録画像２０を取得する（Ｓ１００）。ここで、登録画像２０は、登録されるべき者の１枚の顔画像である。図５は本発明の実施の形態における登録画像の一例を概念的に示す図である。例えば、実際には、本発明の実施の形態における画像合成装置２においては、登録画像２０として、縦１２０×横９０の計１０８００画素の、被写体２１を正面から撮影した画像を用いているが、本発明はこの画像サイズに限定されるものではない。

つぎに、画像合成装置２の登録画像群作成部８は、１枚の登録画像２０の撮影時における照明方向およびその照明強度（以下、これらをまとめて「照明条件」と記す）を推定する（Ｓ１０２）。具体的には、登録画像２０の照明条件Ｓの推定は、ブートストラップ画像の法線アルベドベクトル行列Ｂの平均Ｂ_ａｖ（３×ｄ行列）を用いて表現する。ここで、１枚の登録画像２０の輝度値を輝度値Ｉとし、照明条件Ｓとすると、
Ｉ＝Ｂ^ＴＳ （１）
（ただし、Ｂ^Ｔは法線アルベドベクトルＢの転置行列）
という関係式が成りたつ。よって、
Ｓ＝Ｂ_ａｖ ^Ｔ＋Ｉ＝（Ｂ_ａｖＢ_ａｖ ^Ｔ）^−１Ｂ_ａｖＩ （２）
（ただし、Ｂ_ａｖ ^Ｔ＋Ｉは、Ｂ_ａｖの一般化逆行列）
が成り立ち、登録画像２０の照明条件Ｓを推定することができる。ここで、照明条件Ｓはベクトルであるので、その大きさを照明強度αとして算出する。ここでは、説明を簡単にするために、ブートストラップ画像それぞれの照明強度が全て等しく、かつ、その大きさが「１」であったとして説明を行う。なお、本発明はブートストラップ画像それぞれの照明強度が異なるとき、または、その大きさが「１」でないときにも実現可能である。

なお、上述のような処理を行う場合には、登録画像２０から照明条件Ｓを推定することができるので、必ずしも参照情報は必要ない。しかしながら、撮影装置１０が被写体２１を実際に撮影し、画像入力部１１が登録されるべき者の登録画像２０を得るような場合には、登録画像２０が撮影されるときの照明条件を示す情報（参照情報）を把握できるので、より正確な照明条件を推定することができる。

例えば、参照情報を得るのに照度計を用い、被写体２１周辺の照明強度を参照情報として測定すれば、ブートストラップ画像が撮影されたときの照明強度と登録画像２０が撮影されたときの照明強度との比率から、照明強度αを算出することができる。

また、参照情報として、カメラを用いて、反射特性が既知の参照物体を撮影して、その撮影された画像を参照情報として入力すれば、照明強度や照明条件を推定することが可能である。例えば、石膏で形成した球体のような、理想ランバート面の球体を参照物体として用いれば、（２）式を利用して、
Ｓ_ｔｍｐ＝Ｂ_{ｌａｍｂｅｒｔｉａｎ} ^Ｔ＋Ｉ_ｔｍｐ
（Ｂ_{ｌａｍｂｅｒｔｉａｎ}は理想ランバート面の参照物体の法線アルベドベクトル行列）の関係が成り立つので、参照物体を、登録画像２０が撮影される環境と同一とみなされる照明条件下に置いて（例えば、このような球体を被写体の隣において撮影することで実現できる）撮影された参照物体画像Ｉ_ｔｍｐから、その照明強度、照明方向およびそれらを含む照明条件Ｓ_ｔｍｐを推定することが可能である。照明強度を推定する場合には、照明条件Ｓ_ｔｍｐの大きさのみを選択すればよい。なお、上述の例では、参照物体として、理想ランバート面を有する球体を用いて説明を行ったが、参照物体はこの例に限定されず、反射特性が既知な物体であれば、どのような物体も参照物体として用いることができる。

なお、参照情報から照明強度または照明方向を推定し、一方で、登録画像２０の輝度値より照明強度または照明方向を推定し、推定された両方の情報を用いて、より信頼できる情報を選択する、または両者の信頼度に応じた重み付け平均を用いて、照明強度または照明方向を算出してもよい。

また、画像における照明方向およびその強度の推定は、波長ごとに分けて行ってもよい。これにより、照明装置が複数あり、かつ被写体２１に対する方向が異なっている場合、波長ごとにその照明方向が異なる場合に対応することが可能となる。

つぎに、登録画像群作成部８の法線アルベド推定部８１は、登録画像２０の赤色の波長情報の画像を選択し（Ｓ１０４）、各画素の輝度値から、被写体２１の法線方向および反射率を考慮した法線情報である、法線アルベドベクトルの値を推定する（Ｓ１０６）。なお、法線アルベドベクトルとは、被写体の法線方向ベクトルにそのアルベド（反射率）を積算したベクトルのことをいう。

ステップＳ１０６における法線アルベドベクトルの値の推定方法について、詳細に説明する。

ステップＳ１０６における、法線アルベドベクトルの初期値は、ｙ（ｘ）を画素ｘの濃淡値とし、ＳをＪ個の照明方向ベクトル（学習用）とし、ｂ（ｘ）を画素ｘの法線アルベドベクトルとし、ｖ（ｘ）を画素ｘの照明Ｊ個のエラー値ベクトルとしたときに、ＭＡＰ推定で得られた法線アルベドベクトルＢ_ＭＡＰ（ｘ）として推定することができる。
ｙ（ｘ）＝Ｓ^Ｔｂ（ｘ）＋ｖ（ｘ） （３）
つぎに、登録画像群作成部８の法線アルベド推定部８１は、登録画像２０の赤色の波長情報の画像を選択し（Ｓ１０４）、各画素の輝度値から、被写体２１の法線方向および反射率を考慮した法線情報である、法線アルベドベクトルの値を推定する（Ｓ１０６）。なお、法線アルベドベクトルとは、被写体の法線方向ベクトルにそのアルベド（反射率）を積算したベクトルのことをいう。

つぎに、ステップＳ１０６における、法線アルベドベクトルの値の推定方法について、詳細に説明する。

まず、（数４）のように、各画像に含まれるｄ画素分の輝度値をまとめて表現することのできる、被写体における反射を表わすモデルを導入する。これにより、明示的に画素間の相関を考慮しつつ、（数４）のエラー項Ｖのようにランバート成分以外の反射成分を表現できるとともに、ブートストラップ画像からこのエラー項Ｖの統計量を獲得することができる。これによって、新しい照明条件下のハイライト、相互反射および影のような微妙な反射成分などをも推定することが可能になる。ここで、ｐ、ｑは所定の係数である。

（数４）に示したように、ｄ画素の画像ベクトルＹは、照明行列Ｓの転置行列Ｓ^Ｔを対角上に配置した照明行列Ｌ^Ｔとｄ画素の法線アルベドベクトルＢとの積に、ｄ画素のエラーベクトルＶの値を足したものである。また、画素毎の輝度ベクトルｉをｄ画素分並べたのが画像ベクトルＹであり、画素毎の法線アルベドベクトルｂをｄ画素分並べたのが法線アルベドベクトルＢであり、画素毎のエラーベクトルｅをｄ画素分並べたのがエラーベクトルＶである。さらに、１画素における、ｍ個の照明パターンそれぞれにおける輝度値を並べたのが輝度ベクトルｉ（ｍ次元）であり、１画素における法線アルベドベクトル（三次元）が法線アルベドベクトルｂであり、１画素におけるｍ個の照明パターンそれぞれにおけるエラー成分の値を並べたベクトル（ｍ次元）がベクトルｅであり、光源の方向と強さを示す（３×ｍ）の照明条件ｓの行列が照明行列Ｓである。

このように（数４）式に示した、画像を生成するための反射モデルを仮定することによって、画像中の複数の画素について、同時に演算を行うことが可能となるので、演算の迅速化を図ることが可能である。

入力画像の照明条件ｓに対する統計量である誤差の平均μ_Ｖと分散Σｖは、既知の照明条件におけるブートストラップ画像集合の統計量からｋｅｒｎｅｌｒｅｇｒｅｓｓｉｏｎによって補間される。具体的には、平均μ_Ｖは、（数４）と同様な方法でｓｊをμ_Ｖ（ｓｊ）に置き換え、既知の照明条件ベクトルｓｊを中心とするカーネル関数の線形和で求められる。分散Σｖの要素もまた、平均μ_Ｖと同様に、事前に算出された統計量Ｃ_Ｖからｋｅｒｎｅｌ ｒｅｇｒｅｓｓｉｏｎによって補間される。

前述した仮定の下で、登録画像２０についての法線アルベドベクトルＢ_ＭＡＰ（ｘ）は、ＭＡＰ推定を用いて、（数５）式のように推定することができる。

なお、登録画像群作成部８の法線アルベド推定部８１は、（数５）に記載した反射モデルを仮定して、各ベクトルの統計モデルを作成する場合には、ブートストラップ画像のうち、ハイライトや影などの影響を除去するような、所定の閾値よりも輝度の大きな画素、および、所定の閾値よりも輝度の小さな画素を除去した画像集合から法線アルベドベクトルＢ^（ｌ）を推定することが実用上望ましい。

つぎに、登録画像群作成部８のエラー成分推定部８３は、法線アルベド推定部８１によって、上述した（数５）用いることにより登録画像２０から法線アルベドベクトルＢ_ＭＡＰ（ｘ）が推定された後、（数６）に基づいて、登録画像２０の新しい照明条件におけるエラーベクトルＶ_ＭＡＰ（ｘ）を推定する（Ｓ１１０）。

なお、必要に応じて照明ベクトルを推定する画像として、各ステップそれぞれで赤色画像または青色画像が使用される。例えば、法線アルベド推定の場合には、赤色画像を利用しており、照明推定も赤色画像の場合の照明推定を行う。同様に、後述するように、テクスチャ推定の場合には、青色画像を利用しており、照明推定も青色画像の場合の照明推定を行う。ただし、対象画像の照明条件によっては、波長分布によらず照明ベクトルが同じになり、異なった波長の画像を選択せずに共通に利用する場合もある。よって、照明推定には、必要に応じて利用可能な波長情報の画像を選択するようにすればよい。

つぎに、照明条件を設定し（Ｓ１１２）、エラー成分推定部８３は、設定された複数の照明条件に対応するエラー成分Ｖ_ＭＡＰを推定し（Ｓ１１４）、画像合成部８６は、エラー成分推定部８３で推定されたエラー成分の値と法線アルベド推定部８１で推定された被写体２１の法線情報とから登録画像を合成し、作成した登録画像群３０を登録画像群記憶部９に登録する（Ｓ１１６）。

ステップＳ１１２において、照明条件の設定情報一例として、顔の正面方向を（左右の角度：０°、上下の角度：０°）と置いたときに、左右上下ともに２０°間隔に６０°までの角度を取ることができる。この場合、−６０°、−４０°、−２０°、０°、２０°、４０°、６０°の７種類の角度があり、上下左右合わせて７×７の４ ９通りの照明角度が設定できる。なお、角度は等間隔である必要はなく、使用目的や用途に合わせて適宜効果のある角度を選択すればよい。また、あらかじめ複数の照明条件を記憶するようにしもよいし、ユーザによって照明条件を設定するようにしてよい。

また、ステップＳ１１４、Ｓ１１６において、エラー成分推定部８３は、これらの互いに異なる所定の照明角度それぞれに対応してエラー成分Ｖ_ＭＡＰを推定し、さらに、画像合成部８６は、法線アルベドベクトルＢ_ＭＡＰおよび照明条件Ｌ_ＮＥＷが既知であるので、（数７）式を用いて画素毎の輝度値Ｙ_ＮＥＷを算出し、登録画像２０の全画素数で画像を合成することにより、被写体２１の１枚の合成画像を得る。ここで、ｐ、ｑは所定の係数である。

そして、画像合成装置２は、（数７）示した処理を、あらかじめ設定した複数の照明角度それぞれについて終了したかを判定し、全方向を終了するまで、Ｓ１１２からＳ１１８までの処理を繰り返し行う。画像合成装置２は、作成した複数の合成画像を登録画像群３０として登録画像群記憶部９に登録する（Ｓ１２０）。このように、画像合成装置２は様々な陰影を有する登録画像群３０を作成することが可能である。図６に本発明の実施の形態における登録画像群３０の一例を概念的に示す。

本発明の実施の形態１における画像照合装置１（図１）は、被認証者の比較画像２５が比較画像入力部１２から入力された場合には、比較画像２５は比較画像入力部１２から照合部１３に送られ、照合部１３において、比較画像２５と登録画像群３０とが照合され、その結果が出力部１４から出力される。図７に、本発明の実施の形態における比較画像２５の一例を概念的に示す。例えば、図７に示した比較画像２５が入力された場合には、登録画像群３０のうち、同一の被写体を類似した照明条件で撮影した画像２６と類似し、比較画像２５に撮影された被写体はあらかじめ登録された者であると認証される。このとき、画像２６に、対応する登録された者のＩＤ情報などが付与されていれば、そのＩＤ情報から、比較画像２５のＩＤ情報も認証結果とともに出力部１４より出力される。なお、被認証者に対して確認を促す意味では、比較画像２５と類似すると判定された画像２６も出力部１４から被認証者に対して出力することが望ましい。

以上述べたように、本発明の実施の形態１における画像照合装置１によれば、推定部８５は、異なった２つの波長情報の画像の画像特徴情報を利用することができるため、例えば形状の推定には拡散反射の大きい赤色の波長情報の画像、テクスチャおよび鏡面反射の推定には拡散反射の小さい青色の波長情報の画像を使用することができる。これにより、光学情報の推定精度を高めることができ、精度のよい画像合成装置２を実現することができる。

さらに、画像照合装置１は、画像合成装置２と、画像合成装置２で作成された登録画像群３０を使って、比較画像入力部１２から入力された比較画像と登録画像群記憶部９に記憶された登録画像群３０とを照合することで、画像合成装置２の作用効果を備えた画像照合装置１を実現でき、照合精度を高めることができる。

なお、さらに、テクスチャ情報の推定を追加してもよい。テクスチャ情報の推定を追加する場合の登録画像群作成部８０について、図８を用いて説明する。

図８に示すように、登録画像群作成部８０は、推定部８５と、テクスチャ情報を推定するテクスチャ推定部８７と、推定部８５およびテクスチャ推定部８７の出力を合成する画像合成部８８とを備えている。

画像合成部８８は、法線アルベド推定部８１から得られた立体形状の拡大処理機能を備えている。立体形状に関するデータの拡大処理機能としては、法線データを立体データに変換後に立体データを拡大する機能と、法線データの拡大後に立体データに変換する場合のいずれでもよい。

テクスチャ推定部８７は、テクスチャ情報Ｔを、Ｔ＝実画像（大サイズ登録(入力)画像）−拡大した推定合成画像として算出する。ここで、テクスチャ推定部８７は、登録(入力)画像として、拡散反射成分が少なく、輪郭や凹凸などのテクスチャ情報の成分を多く含む青色の画像を使用する。また、拡大した推定合成画像は、登録画像２０の推定された照明ベクトル（青色の画像を利用）を用いて推定された合成画像を実画像のサイズに拡大することにより作成する。

つぎに、合成画像に抽出したテクスチャ情報Ｔを貼付けする。なお、テクスチャ情報Ｔの貼付けの際には、テクスチャ情報Ｔも任意向き合成の時と同様に、顔の向き方向に合わせる処理（立体形状を考慮した回転処理）を行う。なお、別の計算例として、テクスチャ情報Ｔは次のように算出することもできる。Ｔ＝実画像（大サイズ登録(入力)画像）−拡大した小サイズ合成画像−拡大した（小サイズ登録(入力)画像−小サイズ合成画像）ここで、小サイズ登録(入力)画像には、青色の画像を使用してもよいし、法線アルベド推定部８１で用いた赤色の画像を使用してもよい。

これにより、画像照合装置１の合成画像に、さらに、推定精度の高いテクスチャ情報を付加し、下記の（数８）の関係を用いて画素毎の輝度値Ｙ_ＮＥＷを算出し、登録画像２０の全画素数で合成画像を作成することで、細かい画像特徴が付与され、高解像度化の効果を発揮することができる。したがって、認証機能の高い画像照合装置および画像合成方法を実現することができる。ここで、ｐ、ｑは所定の係数である。例えば、Ｔの成分が最小になるようにｐ、ｑを算出するようにしてもよい。

また、登録画像群作成部８に、任意顔向きに変化させた顔の任意の照明条件下で撮影される画像を合成するようにしてよい。以下に、任意顔向きに対応する登録画像群作成部１００について説明する。

登録画像群作成部１００は、正面向きの任意照明方向に対応した画像合成に、さらに顔の向き変化を付加した合成画像を実現するものである。ここでは、１枚の登録画像２０から顔の立体形状を推定し、これを用いて任意顔向きに変化させた顔の照明条件（光源方向・強度ベクトル）下で撮影される画像を合成するようにしている。

図９に示すように、登録画像群作成部１００は、正面画像の登録画像２０に対して任意の照明方向について合成画像を作成する登録画像群作成部８と、正面画像の登録画像２０から立体形状を推定して回転させ、任意の顔向きについて合成画像を作成する登録画像群作成部９０と、登録画像群作成部８からの合成画像と登録画像群作成部９０からの合成画像とを合成する画像合成部９４とを備えている。これにより、任意の照明方向に加えて、任意の顔向きも付加した合成画像を作成することができる。

登録画像群作成部９０は、赤色の波長情報の画像を入力して画像の照明方向を推定し、法線アルベド情報ＤＢ８２を用いて、被写体２１の顔画像の立体形状を推定する法線アルベド推定部８１と、推定された立体形状を回転して顔の向きを変化させる回転部９１と、回転された向きの顔の立体形状に対して照明をあて、照明に応じた顔画像を合成する反射成分算出部９２と、３次元画像から２次元画像を作成する2次元画像生成部とを備えている。これにより、任意の顔向きも付加した2次元の合成画像を作成することができる。なお、立体形状の推定に法線アルベド情報ＤＢ８２を用いたが、標準形状の顔モデル情報を利用することで、立体形状を推定して回転させ、照明に応じた顔画像を合成した後、同様に2次元の合成画像を作成するようにしてもよい。

回転部９１は、推定された立体形状を回転して顔の向きを変化させる。反射成分算出部９２は、ある顔の向きの立体形状に対し、様々な方向から照明をあて、顔表面からの反射成分をそれぞれの方向から算出する。これにより照明の変化に対応した顔画像（照明変化画像）を合成する。２次元画像生成部９３は、照明変化画像の３次元画像から登録用の２次元画像を作成する。

つぎに、図１０のフローチャートを用いて、画像照合装置１における登録画像作成部１００の動作を説明する。

図１０に示すように、画像照合装置１は、被写体２１の顔画像を入力し（Ｓ２００）、波長情報が異なる複数の画像を有する登録画像２０を取得する。

つぎに、法線アルベド推定部８１は、赤色の波長情報の画像を入力して画像の照明方向を推定する（Ｓ２０２、Ｓ２０４）。つぎに、法線アルベド情報ＤＢ８２を用いて、被写体２１の顔画像の立体形状を推定し（Ｓ２０６）、回転部９１は、推定された立体形状を回転して顔の向きを変化させる（Ｓ２０８）。

つぎに、反射成分算出部９２は、ある顔の向きの立体形状に対し、様々な方向から照明をあて、顔表面からの反射成分をそれぞれの方向から算出する。これにより照明の変化に対応した顔画像（照明変化画像）を合成する（Ｓ２１０）。照明変化画像を合成する際には、反射モデルとして理想ランバートモデルを仮定し、カメラモデルとしては弱中心投影を仮定する。また、立体形状から、キャストシャドウ（オクルージョンによって生じる影）を算出する。ここで、理想ランバートモデルとは、どの方向の視点に対しても明るさが等しく、入射光を吸収せずに反射する表面であり、ランバート成分とはランバート面に由来する拡散反射成分を示す。

つぎに、２次元画像生成部９３は、３次元画像から２次元画像を作成する。変換方法としては、レンダリングなどの既知の方法を用い、２次元顔画像を作成する。このあと、画像合成部９４は、作成された顔向き変化の２次元顔画像と正面向きに対する照明変化の２次元顔画像とを合成して、登録画像群記憶部９に登録する。（Ｓ２１２、Ｓ２１４）。

上述したＳ２０８からＳ２１４までのステップは、必要とするすべての顔の向きに対して行なわれる。必要とする顔の向き変化に応じて、Ｓ２０８からＳ２１４までのステップを繰り返し、必要とする顔の向き変化が完了した時点で終了する（Ｓ２１６）。顔の向きの変化角度はあらかじめ設定してもよいし、入力して得るようにしてもよい。例えば、１５度づつ回転させる。

以上のように、登録画像作成部１００によれば、正面向き画像の任意照明方向に対応した画像合成に、さらに顔の向き変化を付加した画像の合成を実現することができる。さらに、登録画像群３０の画像として、３次元画像から２次元画像に変換したものを登録することで、登録するときのデータの記憶容量を削減している。

なお、取得された画像に対しても合成を行い、取得時の顔向きを登録画像に合わせて変換するようにしてもよい。また、取得された画像の顔向きに合わせて、照合時に登録画像を変換するようにしても同様の効果が得られる。例えば、推定された立体形状などを保有しておいて、照合時に所望の顔向きに画像合成を行うようにすればよい。さらに、照明変化画像についても、取得された画像に対しても合成を行い、登録時の照明条件に合わせてを取得された画像を合成するようにしてもよい。また、取得された画像の照明条件に合わせて、照合時に登録画像を変換するようにしても同様の効果が得られる。

また、本発明の実施の形態１における画像照合装置１は、登録側を合成するようにしたが、比較側（照合する側）を合成するようにしてもよい。また、登録側および比較側の両方に対して合成を行うようにしてもよい。

（実施の形態２）
つぎに、本発明の実施の形態２における画像照合装置４０について説明する。図１１は本発明の実施の形態２における画像照合装置４０の構成を示すブロック図である。本発明の実施の形態２における画像照合装置４０において、本発明の実施の形態１における画像照合装置１の各構成要素の機能と同様のものは同じ符号を付与し、その説明を省略する。

画像照合装置４０は、画像入力部１１で入力された登録画像２０のうち、波長情報が異なる少なくとも２つの画像の画像特徴情報に基づいて認証するための特徴量３５を抽出する特徴量抽出部３１と、特徴量３５を記憶する特徴量記憶部３３と、比較すべき比較画像を取得する比較画像入力部１２と、比較画像入力部１２で入力された比較画像から特徴量３５と照合するための照合特徴量３６を抽出する特徴量抽出部３２と、照合特徴量３６と特徴量３５とを照合する照合部３４とを備えたことを特徴とする。

これにより、波長情報が異なる少なくとも２つの画像の画像特徴情報に基づいて認証するための特徴量３５および照合特徴量３６を抽出することができ、波長情報が異なるときの画像の画像特徴情報を有効に活用でき、照合の精度を高めることができる。なお、比較画像入力部１２が、比較画像として、波長情報が異なる少なくとも２つの画像の画像特徴情報に基づいた照合特徴量３６と同様のものを取得可能である場合には、特徴量抽出部３２はなくてもよい。

特徴量抽出部３１は、被写体２１を認証するために赤色の波長情報の画像から顔形状の照合に必要な形状情報を抽出する第１特徴量抽出部３１０と、青色の波長情報の画像から顔画像のテクスチャ情報を抽出する第２特徴量抽出部３１１とを備えている。

第１特徴量抽出部３１０は、鏡面反射の少ない赤色の画像を用いて、立体形状モデルに基づいた３次元形状、反射率および特徴点位置情報の抽出、パターン認識情報の抽出などの公知の形状特徴の抽出により、顔画像の形状を抽出し、登録画像２０から認証されるべき者の１つの特徴量登録照合画像３５ａを抽出して、特徴量記憶部３３に記憶する。

第２特徴量抽出部３１１は、拡散反射の少ない青色の画像を用いて、公知の濃淡成分抽出、特徴パターン成分抽出、エッジ成分抽出、輪郭成分抽出、周波数成分抽出などの抽出方法により、顔画像のテクスチャ成分の特徴量を抽出し、登録画像２０から認証されるべき者の１つの特徴量３５ｂを抽出生成して、特徴量記憶部３３に記憶する。

なお、特徴量記憶部３３に特徴量３５ａおよび特徴量３５ｂを記憶するようにしたが、特徴量３５ａおよび特徴量３５ｂの少なくともいずれかを記憶してもよい。また、特徴量３５ａおよび特徴量３５ｂの情報を合成して１つの特徴量３５として記憶するようにしてもよい。

特徴量記憶部３３は、ハードディスク装置（ＨＤＤ）や半導体メモリなどの公知の記録媒体から選択したものを用いることができる。

照合部３４は、特徴量記憶部３３に記憶された特徴量３５と特徴量抽出部３２で抽出された照合特徴量３６とを比較して、照合する。

以上のように、本発明の第２の実施の形態における画像照合装置４０のよれば、特徴量抽出部３１は、波長情報の異なる２つの画像の画像特徴情報に基づいて認証のための特徴量３５を抽出し、特徴量記憶部３３に格納することができる。また、特徴量抽出部３２も、同様に、波長情報の異なる２つの画像の画像特徴情報に基づいて照合特徴量３６を生成することができる。

このため、例えば形状の特徴抽出には拡散反射の大きい赤色の波長情報の画像、テクスチャおよび鏡面反射の特徴抽出には拡散反射の小さい青色の波長情報の画像を使用することができ、画像特徴の抽出精度を高めた特徴量３５を抽出することができる。照合部３４では、画像特徴の抽出精度の高い特徴量３５および照合特徴量３６を使って照合することができるため、照合精度を高めることができる。

なお、本発明の実施の形態２における画像照合装置４０は、形状、テクスチャを認証に用いる特徴量として抽出し、特徴量記憶部３３に格納したが、これに限定されるものではない。被写体２１の特徴を表す情報であれば同様に効果を発揮することができる。例えば、グラフマッチ法や、変換対象からウェーブレット波形を利用し、その波形がもつ特徴（周波数成分など）のみを取り出す方法や、信号解析や画像圧縮に用いられる手法であるガボールウェーブレット変換や、肌の反射係数などを用いることが可能である。特徴量をのデータを特徴量記憶部３３に格納するようにしたことで、その必要な記憶容量を少なくすることができ、装置全体の小型化や低コスト化を図ることができる。また、特徴量の照合は画像全体を行うものでないため、演算負荷を軽減でき、ＣＰＵ（中央処理装置）などの負担を軽減することができる。

また、本発明の実施の形態における画像照合装置１、４０は、被写体２１の顔画像を取得し、合成画像や登録照合画像を作成する場合について説明してきたが、被写体２１は立体形状をもつ立体物であればよく、本発明の実施の形態における上述した効果を奏するものであり、例えば、自動車や列車や自転車などの乗り物、荷物、植物、動物、人体の血管、静脈パターンなどの立体物にも応用することができる。

以上述べたように、本発明によれば、波長情報が異なる複数の画像の画像特徴情報を合成および照合の各処理に利用可能にして精度の良い立体物の照合を可能にすることができるので、入力された２次元画像とあらかじめ記録された２次元画像とを比較照合する画像照合装置に関し、特に画像照合に用いる画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法などとして有用である。

本発明の実施の形態１における画像照合装置の構成を示すブロック図 赤色および青色の波長情報の画像の画像特徴を説明する説明図 同画像照合装置における照合の動作を示すフローチャート 同画像照合装置における画像合成の動作を示すフローチャート 照明光の波長選択により得られる画像情報を比較する説明図 同画像照合装置における登録画像の一例を概念的に示す図 同画像照合装置における登録画像群の一例を概念的に示す図 同実施の形態における比較画像の一例を概念的に示す図 同画像照合装置における登録画像作成部の他の例における構成を示すブロック図 同画像照合装置における画像合成の他の例における動作を説明するためのフローチャート 本発明の実施の形態２における画像照合装置の基本構成を示すブロック図

符号の説明

１，４０ 画像照合装置
２ 画像合成装置
３ 撮像部
４ 撮影波長制御部
５ 照明制御部
６ 照明部
７ 光量判定部
８，８０，９０，１００ 登録画像群作成部
９ 登録画像群記憶部
１０ 撮影装置
１１ 画像入力部
１２ 比較画像入力部
１３，３４ 照合部
１４ 出力部
２０ 登録画像
３０ 登録画像群
３１，３２ 特徴量抽出部
３３ 特徴量記憶部
３５（３５ａ，３５ｂ） 特徴量
３６ 照合特徴量
８１ 法線アルベド推定部
８２ 法線アルベド情報データベース
８３ エラー成分推定部
８４ エラー情報データベース
８５ 推定部
８６，８８，９４ 画像合成部
８７ テクスチャ推定部
９１ 回転部
９２ 反射成分算出部
９３ ２次元画像生成部
３１０ 第１特徴量抽出部
３１１ 第２特徴量抽出部

Claims (12)

1. 被写体の第１の画像から異なった照明条件における前記被写体の第２の画像を合成する画像合成装置であって、
   前記被写体の波長情報が異なる複数の前記第１の画像を入力する画像入力部と、
   前記画像入力部で入力された複数の前記第１の画像のうち、前記波長情報が異なる少なくとも２つの画像の画像特徴情報に基づいて前記第２の画像を合成するための光学情報の推定を行う推定部と、
   前記推定部の推定結果に基づいて前記第２の画像を合成する画像合成部と、
   を備えたことを特徴とする画像合成装置。
2. 前記第１の画像は人物の顔画像であることを特徴とする請求項１に記載の画像合成装置。
3. 前記推定部は、赤色と青色との波長情報の画像の画像特徴情報に基づいて前記第２の画像を合成するための光学情報の推定を行うことを特徴とする請求項１または請求項２に記載の画像合成装置。
4. 前記推定部により、前記光学情報の推定を前記被写体の３次元の形状または反射率を用いて行う場合には、赤色の波長情報の画像を用いることを特徴とする請求項３に記載の画像合成装置。
5. 前記推定部により、前記光学情報の推定を前記被写体のテクスチャ情報または鏡面反射情報を用いて行う場合には、青色の波長情報の画像を用いることを特徴とする請求項３に記載の画像合成装置。
6. 前記被写体を照明する照明部と、
   前記照明部で照明された前記被写体を撮影し、波長情報が異なる複数の前記第１の画像を取得する撮像部と、
   前記照明部を制御する照明制御部と、
   複数の前記第１の画像の濃淡情報を判断し、判断結果を出力する光量判断部をさらに備え、
   前記照明制御部は、前記光量判断部の判断結果に応じて複数の前記第１の画像のうち、濃淡情報の光量が不足していると判断した画像に対しては、前記照明部の光量を上げることを特徴とする請求項３から請求項５のいずれか１項に記載の画像合成装置。
7. 前記照明部に拡散板を設けたことを特徴とする請求項６に記載の画像合成装置。
8. 請求項１から請求項７のいずれか１項に記載の画像合成装置と、
   前記画像合成装置で合成された登録画像群を記憶する登録画像群記憶部と、
   比較すべき比較画像を入力する比較画像入力部と、
   前記比較画像入力部から入力された比較画像と前記登録画像群記憶部に記憶された登録画像群とを照合する照合部とを備えたことを特徴とする画像照合装置。
9. 被写体の波長情報が異なる複数の画像を入力する画像入力部と、
   前記画像入力部で入力された複数の前記画像のうち、前記波長情報が異なる少なくとも２つの画像の画像特徴情報に基づいて前記被写体を認証するための特徴量を抽出する特徴量抽出部と、
   前記特徴量を記憶する特徴量記憶部と、
   比較すべき比較画像を入力する比較画像入力部と、
   前記比較画像から前記特徴量と照合するための照合特徴量を抽出し、前記照合特徴量と前記特徴量とを照合する照合部と、
   を備えたことを特徴とする画像照合装置。
10. 前記特徴量抽出部は、前記被写体の３次元の形状または反射率の推定を行う場合には赤色の波長情報の画像を用いて前記特徴量を抽出することを特徴とする請求項９に記載の画像照合装置。
11. 前記特徴量抽出部は、前記被写体のテクスチャ情報または鏡面反射情報の推定を行う場合には青色の波長情報の画像を用いて前記特徴量を抽出することを特徴とする請求項９に記載の画像照合装置。
12. 被写体の第１の画像から異なった照明条件における前記被写体の第２の画像を合成する画像合成方法であって、
    前記被写体の波長情報が異なる複数の前記第１の画像を入力する画像入力ステップと、
    前記画像入力ステップで入力された複数の前記第１の画像のうち、前記波長情報が異なる少なくとも２つの画像の画像特徴情報に基づいて前記第２の画像を合成するための光学情報の推定を行う推定ステップと、
    前記推定ステップの推定結果に基づいて前記第２の画像を合成する画像合成ステップ部と、
    を備えたことを特徴とする画像合成方法。

Images