JP2006350506A - 画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法 - Google Patents

Abstract

【課題】演算対象となる画素が影になっているような場合でも、その画素についての法線ベクトルや反射率を正しく推定し、現実に合致した登録画像群を作成する。
【解決手段】被写体の第１の画像から所定の照明条件における第２の画像を合成する画像合成装置であって、第１の画像の輝度値から照明条件を推定する照明条件推定部４１と、第１の画像における所定の画素の、被写体の法線方向を含む法線情報を推定する法線情報推定部４２と、所定の照明条件におけるエラー成分の情報を推定するエラー成分情報推定部４３と、所定の照明条件における被写体の第２の画像を合成する画像合成部４５とを備え、法線情報推定部４２は、第１の画像における複数の画素の情報から所定の画素の法線情報を推定する。
【選択図】図２

Description

本発明は、入力された二次元画像とあらかじめ記録された二次元画像とを比較照合する画像照合装置に関し、特に画像照合に用いる登録画像群を作成する画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法に関する。

従来から、入力された二次元画像とあらかじめ記録された二次元画像とを比較照合する画像照合装置が実用化されている。特に、バイオメトリクスを用いた認証方法の一つである顔認証方法を実現するための、画像照合装置が各種提案されてきている。このような画像照合装置においては、認証可能な複数の者（以下、登録された者と記す）の顔画像をあらかじめ登録画像としてデータベースに登録しておき、認証される者（以下、被認証者と記す）の顔画像と登録画像とを比較照合して、その結果、被認証者の顔画像が登録された者の登録画像と互いに一致するまたは類似すると判定された場合に、被認証者がその登録された者であるとして認証される。

このような画像照合装置においては、従来から、被認証者の顔画像が撮影されたときの撮影条件と、登録画像が撮影されたときの撮影条件との違いによって、本人認証率が低下してしまうという課題があった。例えば、被認証者の顔画像が撮影されたときに照明が被認証者を照射していた方向（以下、この方向のことを照明方向と記す）等の照明条件と、登録画像が撮影されたときの照明方向等の照明条件とが異なる場合には、たとえ同じ被写体を撮影した場合であっても、比較照合を行った結果、互いに一致しないと判定されてしまう可能性があった。

この課題を解決するために、近年様々な技術が提案されてきている。例えば、登録された者それぞれについて、一枚の登録画像からその撮影時の照明条件および顔の形状（法線ベクトル）や反射率等を推定し、これらの条件を用いて互いに異なる照明条件下における複数の画像（以下、登録画像群と記す）を作成してデータベースに登録し、認証時には被写体の顔画像とデータベースに登録された全ての登録画像群とを比較照合することにより、本人認証率を向上させることのできる技術が提案されている（例えば、非特許文献１を参照。）。
Ｔ．Ｓｉｍ，Ｔ．Ｋａｎａｄｅ，"Ｃｏｍｂｉｎｉｎｇ Ｍｏｄｅｌｓ ａｎｄ Ｅｘｅｍｐｌａｒｓ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ： Ａｎ Ｉｌｌｕｍｉｎａｔｉｎｇ Ｅｘａｍｐｌｅ，"Ｐｒｏｃ．ＣＶＰＲ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍｏｄｅｌｓ ｖｅｒｓｕｓ Ｅｘｅｍｐｌａｒｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００１．

前述したような従来の技術においては、まず、あらかじめ登録された者とは異なる者について、様々な照明条件の下で撮影された学習用の顔画像の集合（以下、この画像の集合のことをブートストラップ画像と記す）を用いて統計モデルを生成する。次に、生成された統計モデルを用いて、複数の登録された者についての登録画像それぞれから互いに照明条件の異なる複数の登録画像群を合成する。

しかしながら、前述したような従来の技術においては、複数の登録された者それぞれについて、一枚の登録画像からその撮影時の顔の形状（法線ベクトル）および拡散反射成分以外のエラー成分等を推定する際に、登録画像を構成する画素毎にそれぞれが独立した画素として演算を行っていたので、演算対象となる画素が影になっているような場合には、必ずしもその画素における法線ベクトルや反射率（いわゆる法線アルベドベクトル）が正しく推定されず、その結果、現実に合致した登録画像群を作成できないという課題があった。

本発明はこのような課題に鑑みてなされたものであり、演算対象となる画素が影になっているような場合でも、その画素についての法線ベクトルや反射率を正しく推定でき、現実に合致した登録画像群を作成できる技術を提供することを目的とする。

本発明の画像合成装置は、被写体の第１の画像から所定の照明条件における被写体の第２の画像を合成する画像合成装置であって、第１の画像の輝度値から第１の画像における被写体に対する照明条件を推定する照明条件推定部と、照明条件推定部で推定された照明条件にもとづいて、第１の画像における所定の画素の、被写体の法線方向を含む法線情報を推定する法線情報推定部と、第１の画像の所定の画素の輝度値のうち、拡散反射成分以外のエラー成分の情報を推定し、推定されたエラー成分の情報から、所定の照明条件におけるエラー成分の情報を推定するエラー成分情報推定部と、法線情報推定部によって推定された被写体の法線情報、および、エラー成分情報推定部で推定された、所定の照明条件におけるエラー成分の情報から、所定の照明条件における被写体の第２の画像を合成する画像合成部とを備え、法線情報推定部は、第１の画像における複数の画素の情報から所定の画素の法線情報を推定することを特徴としている。

このような構成によれば、法線情報推定部が法線情報を推定する際に、第１の画像における複数の画素の情報から、法線情報を推定することが可能であるので、演算対象となる画素が影になっているような場合でも、他の信頼度の高い画素を用いて、その画素についての法線ベクトルや反射率を正しく推定でき、現実に合致した登録画像群を作成できる。

また、エラー成分情報推定部は、第１の画像における複数の画素の情報から所定の画素のエラー成分の情報を推定する構成であってもよい。

このような構成によれば、さらに、拡散反射成分から外れたエラー成分についても、他の関連性の高い画素を用いて、所定の画素におけるエラー成分を正しく推定することができる。

また、法線情報推定部は、あらかじめ学習用の画像によって計算された、複数の画素の情報にもとづいて算出された統計モデルにもとづいて、法線方向を推定する構成であってもよい。

このような構成によれば、さらに、あらかじめ統計モデルを準備しておくことにより、異なる照明条件における画像をより正確に推定することができる。

さらに、エラー成分情報推定部は、あらかじめ学習用の画像によって計算された、複数の画素の情報にもとづいて算出された統計モデルにもとづいて、エラー成分の情報を推定する構成であってもよい。

このような構成によれば、さらに、エラー成分についても、あらかじめ統計モデルを準備しておくことにより、異なる照明条件における画像をより正確に推定することができる。

また、統計モデルが、

（ただし、Ｙ：画素の画像ベクトル、Ｌ^Ｔ：照明行列Ｓの転置行列Ｓ^Ｔを対角上に配置した照明行列、Ｂ：法線アルベドベクトル、Ｖ：エラーベクトル）
で表わされる画像生成モデルの各ベクトルの統計モデルである構成であってもよい。

このような構成によれば、さらに、複数の画素について、同時に具体的な統計量の算出が可能な構成を実現することができる。

また、互いに異なる複数の照明角度を含む照明条件が入力される照明条件入力部を備え、画像合成部は、照明条件入力部から入力された複数の照明条件それぞれにおける第２の画像を合成する構成であってもよい。

このような構成によれば、さらに、所望の照明条件に対応する第２の画像を得ることのできる構成を実現することができる。

次に、本発明の画像照合装置は、本発明の画像合成装置と、画像合成装置で作成された第２の画像を登録画像群として記憶する登録画像群記憶部と、比較すべき比較画像を入力する比較画像入力部と、比較画像入力部から入力された比較画像と登録画像群記憶部に記憶された登録画像群とを比較照合する比較照合部とを備えたことを特徴としている。

このような構成によれば、本発明の画像合成装置により、法線情報推定部が法線情報を推定する際に、第１の画像における複数の画素の法線情報を同時に推定することが可能であるので、演算対象となる画素が影になっているような場合でも、他の信頼度の高い画素を用いて、その画素についての法線ベクトルや反射率を正しく推定でき、現実に合致した登録画像群を作成でき、その登録画像群と比較画像との比較照合を行うので、照合率の高い構成を実現することができる。

また、比較画像入力部が入力した比較画像における照明条件を推定する比較画像照明条件推定部と、比較画像照明条件推定部で推定された照明条件の登録画像を登録画像群記憶部から検索する画像検索部とを備え、比較照合部は、画像検索部で検索された登録画像と比較画像とを照合する構成であってもよい。

このような構成によれば、さらに、比較画像からその照明条件を推定し、登録画像群記憶部に記憶された登録画像群から、推定された照明条件に対応する登録画像を検索して、比較照合を行うことができ、比較照合処理を行う回数を減少させることができ、ＣＰＵ等に対する演算負荷を軽減することのできる、小型の装置に適した構成を実現できる。

また、画像合成装置で作成された第２の画像の特徴量を算出する第１の特徴量算出部と、比較画像入力部で入力された比較画像の特徴量を算出する第２の特徴量算出部とを備え、登録画像群記憶部は、第２の画像の特徴量を記憶し、比較照合部は、登録画像群と比較画像とをその特徴量によって比較照合する構成であってもよい。

このような構成によれば、さらに、登録画像群記憶部には、特徴量算出部によって算出された特徴量のデータが記憶されているので、登録画像群の画像情報そのものを記憶する構成と比較して、必要な記憶容量が少なくて済むとともに、比較照合部が、登録画像群記憶部および特徴量算出部からそれぞれ出力された特徴量を用いて比較照合を行うので、画像全体のマッチングを行う構成と比較して、比較照合部での演算処理が小規模で済み、ＣＰＵ等に対する演算負荷を軽減することのできる、小型の装置に適した構成を実現できる。

次に、本発明の画像合成方法は、被写体の第１の画像から所定の照明条件における被写体の第２の画像を合成する画像合成方法であって、第１の画像の輝度値から第１の画像における被写体に対する照明条件を推定する第１のステップと、第１のステップで推定された照明条件にもとづいて、第１の画像における所定の画素の、被写体の法線方向を含む法線情報を推定する第２のステップと、第１の画像の所定の画素の輝度値のうち、拡散反射成分以外のエラー成分の情報を推定し、推定されたエラー成分の情報から、所定の照明条件におけるエラー成分の情報を推定する第３のステップと、第２のステップで推定された被写体の法線情報、および、第３のステップにおいて推定された、所定の照明条件における被写体の第２の画像を合成する第４のステップとを備え、第２のステップにおいて、第１の画像における複数の画素の情報から所定の画素の法線情報を推定することを特徴としている。

このような方法によれば、法線情報を推定する際に、第１の画像における複数の画素の情報から法線情報を推定することが可能であるので、演算対象となる画素が影になっているような場合でも、他の信頼度の高い画素を用いて、その画素についての法線ベクトルや反射率を正しく推定でき、現実に合致した登録画像群を作成できる。

次に、本発明のプログラムは、被写体の第１の画像から所定の照明条件における被写体の第２の画像を合成するプログラムであって、コンピュータに、第１の画像の輝度値から第１の画像における被写体に対する照明条件を推定する第１のステップと、第１のステップで推定された照明条件にもとづいて、第１の画像における所定の画素の、被写体の法線方向を含む法線情報を推定する第２のステップと、第１の画像の所定の画素の輝度値のうち、拡散反射成分以外のエラー成分の情報を推定し、推定されたエラー成分の情報から、所定の照明条件におけるエラー成分の情報を推定する第３のステップと、第２のステップで推定された被写体の法線情報、および、第３のステップにおいて推定された、所定の照明条件におけるエラー成分の情報から、所定の照明条件における被写体の第２の画像を合成する第４のステップとを実行させ、第２のステップにおいて、第１の画像における複数の画素の情報から所定の画素の法線情報を推定することを特徴としている。

このようなプログラムをコンピュータに実行させることによって、法線情報を推定する際に、第１の画像における複数の画素の情報から法線情報を推定することが可能であるので、演算対象となる画素が影になっているような場合でも、他の信頼度の高い画素を用いて、その画素についての法線ベクトルや反射率を正しく推定でき、現実に合致した登録画像群を作成できる。

以上述べたように、本発明の画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法を用いれば、演算対象となる画素が影になっているような場合でも、その画素についての法線ベクトルや反射率を正しく推定でき、現実に合致した登録画像群を作成できる技術を提供することができる。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

（第１の実施の形態）
まず、本発明の第１の実施の形態における画像照合装置について説明する。図１は、本発明の第１の実施の形態における画像照合装置１の構成を示すブロック図である。

図１に示したように、本発明の第１の実施の形態における画像照合装置１は、登録された者の登録画像２０が入力される登録画像入力部２、登録画像入力部２によって入力された登録画像２０から、後述する方法により、複数の照明条件下における登録画像群を作成する登録画像群作成部３、登録画像群作成部３で作成された登録画像群を記憶する登録画像群記憶部４、被認証者の顔画像（以下、比較画像と記す）が入力される比較画像入力部５、比較画像入力部５から入力された比較画像と登録画像群記憶部４に記憶された登録画像群とを比較照合し、その結果を出力する比較照合部８、および、比較照合部８から出力された結果等の情報を外部に接続された他の装置等に出力する出力部９を備える。

登録画像入力部２および比較画像入力部５は、公知の記憶媒体から画像を入力する構成であってもよいし、スキャナ等の公知の読取手段を用いて構成することも可能であるし、カメラ等で撮影された画像が入力される構成であってもよい。また、本発明の第１の実施の形態における画像照合装置１は、登録画像入力部２と比較画像入力部５とをそれぞれ独立に備える構成に限定されるものではなく、一つの入力手段を共用する構成であってもよい。

登録画像群作成部３および比較照合部８については、後述する機能がソフトウェアによって実現されていてもよいし、専用回路等のハードウェアによって機能が実現されていてもよい。

登録画像群記憶部４は、ハードディスク装置（ＨＤＤ）や半導体メモリ等の公知の記録媒体から選択したものを用いることができる。

出力部９は、比較照合部８からの照合可能か否かを示す信号をそのまま出力する構成であってもよいし、被認証者に対して映像または音声によって照合結果を知らしめる構成であってもよい。

比較照合部８の機能としては、例えば、固有空間法、部分空間法またはＫＮＮ法等の公知の画像比較照合方法を用いることが可能である。

ここで、本発明の第１の実施の形態における登録画像群作成部３の機能について詳細に説明する。図２は、本発明の第１の実施の形態における画像照合装置１の登録画像群作成部３の機能ブロック図であり、図３は、本発明の第１の実施の形態における画像照合装置１の登録画像群作成部３の動作ステップを示すフローチャートである。登録画像群作成部３の機能は、ハードウェアまたはソフトウェアのいずれでも実現することが可能である。登録画像群作成部３の機能をソフトウェアにて実現しようとする場合には、後述する図３におけるステップＳ１からステップＳ８までの処理をソフトウェアにて記述して、コンピュータに実行させる。

図２に示したように、本発明の第１の実施の形態における登録画像群作成部３は、登録画像入力部２から入力される登録画像２０の輝度値から登録画像２０における被写体に対する照明条件を推定する照明条件推定部４１と、照明条件推定部４１で推定された照明条件にもとづいて、登録画像２０における所定の画素の、被写体の法線方向を含む法線情報を推定する法線情報推定部４２と、登録画像の所定の画素の輝度値のうち、拡散反射成分以外のエラー成分の情報を推定し、推定されたエラー成分の情報から、所定の照明条件におけるエラー成分の情報を推定するエラー成分情報推定部４３と、法線情報推定部４２によって推定された被写体の法線情報、および、エラー成分情報推定部４３で推定された、所定の照明条件におけるエラー成分の情報から、所定の照明条件における被写体の登録画像を合成する画像合成部４５と、エラー成分情報推定部４３に対して所定の照明条件を入力する照明条件入力部４４とを備えている。

次に、図３を用いて、本発明の第１の実施の形態における登録画像群作成部３の動作ステップについて説明する。まず、登録画像入力部２から、登録画像群作成部３の照明条件推定部４１に登録画像２０が入力される（Ｓ１）。ここで、登録画像２０は、登録されるべき者の一枚の顔画像であるとする。図４は本発明の第１の実施の形態における登録画像２０の一例を概念的に示す図である。例えば、実際には、本発明の第１の実施の形態における画像照合装置１においては、登録画像２０として、縦１２０×横９０の計１０８００画素の、被写体を正面から撮影した画像を用いているが、本発明はこの画像サイズに限定されるものではない。

ここで、後述する各推定ステップにて用いられる統計モデルを算出するために、あらかじめ別途行っておくべき、他人の画像の集合（ブートストラップ画像）を用いた学習ステップについて説明する。

まず、ブートストラップ画像集合を用いて、顔表面上の任意の位置において観察される明るさ（輝度値）から、顔の形状や反射特性の位置間の相関を考慮した統計量を算出する。具体的には、登録画像とは別にあらかじめ準備したブートストラップ画像集合の各人物に関して法線ベクトル、アルベドおよび誤差の値を算出した後に、複数人（Ｋ人）分の算出した法線ベクトル、アルベドおよび誤差の値を用いてその統計量を計算する。ここで用いるブートストラップ画像集合は、複数人の人物についてＪ個の既知の照明条件ｓ_ｊ下で撮影された画像集合により構成される。ｌ番目の人物について、Ｊ個の光源下で撮影された画像集合Ｉ^（ｌ）は下記のように、

と表わされる。ここで各々の記号は、人物ｌのＪ個の照明条件について得られた画像集合Ｉ^（ｌ）、人物ｌの顔の法線アルベド行列Ｂ^（ｌ）、Ｊ個の照明方向とその強度を表した照明条件集合Ｓ’、Ｊ個の照明条件に対するエラー行列Ｅ^（ｌ）を表している。

次に、最小二乗法によってＢ^（ｌ）を以下のように算出する。

そして、次のように拡散成分を引いた残りがエラー行列Ｅ^（ｌ）となる。

さらに、顔の法線ベクトルと誤差の値の統計量を、ブートストラップ画像集合の全ての人物について推定された、顔の法線アルベド行列Ｂ^（ｌ）とエラー行列Ｅ^（ｌ）とを用いて次のように求める。法線アルベドベクトルＢのように、Ｋ人について各行列Ｂ^（ｌ）を３ｄ次元ベクトルに展開し、その平均ベクトルμＢ（３ｄ次元ベクトル）と共分散行列ＣＢ（３ｄ×３ｄ行列）を求める。エラー項ｖ（ｓ）の統計量についても、平均ベクトルμｖ（ｓ_ｊ）は、各照明条件ｓ_ｊについてＫ個のエラーベクトルｖ^（ｌ）（ｓ_ｊ）から計算できる。

また、ｄＪ×ｄＪの共分散行列Ｃｖは、共分散行列ＣＢを法線アルベド行列Ｂ^（ｌ）から求める方法と同様の方法で、Ｋ個のエラー行列Ｅ^（ｌ）から算出される。

このように、本発明の第１の実施の形態における画像照合装置１においては、顔表面位置間の相関を考慮することができるアルゴリズムを用いて、法線ベクトルやエラー成分の推定に用いる統計量を求めている。

図３に戻って、ステップＳ１に続いて、登録画像群作成部３の照明条件推定部４１は、一枚の登録画像２０の撮影時における照明方向およびその強度（以下、これらをまとめて照明条件と記す）を推定する（Ｓ２）。登録画像２０の照明条件の推定は、統計量を算出するための学習画像セットにおけるＪ個の照明条件を各々ｓ_ｊとおき、そのガウスカーネルの幅をσ_ｊとおき、学習画像の各照明パターンの平均をａ_ｊとおき、入力画像をｂとすると、以下の（１）式から（３）式に示したような、単純なｋｅｎｅｌ ｒｅｇｒｅｓｓｉｏｎによって行うことができる。なお、本発明の第１の実施の形態においては、ガウスカーネルの幅σ_ｊを、前述の非特許文献１に記載にしたがって決定した。

なお、このときの照明条件ｓ_ｊとして正規化したベクトルを用いて、照明ベクトルの方向のみを推定することも可能である。また、例えばブートストラップ画像と登録画像間で明るさが大きく異なる照明条件の場合には、ａ_ｊ、ｂとしてそれぞれ正規化した値を用いて（１）式に代入することにより、一層精度良く照明を推定することが可能になる。

次に、登録画像群作成部３の法線情報推定部４２は、登録画像２０の各画素の輝度値から、被写体の法線方向および反射率を考慮した法線情報である、法線アルベドベクトルの値を推定する（Ｓ３）。なお、法線アルベドベクトルとは、被写体の法線方向ベクトルにそのアルベド（反射率）を積算したベクトルのことをいう。

ステップＳ３における法線アルベドベクトルの値の推定方法について、詳細に説明する。

まず、（４）式のように、各画像に含まれるｄ画素分の輝度値をまとめて表現することのできる、被写体における反射を表わすモデルを導入する。これにより、明示的に画素間の相関を考慮しつつ、式（４）のエラー項Ｖのようにランバート成分以外の反射成分を表現できるとともに、ブートストラップ画像からこのエラー項Ｖの統計量を獲得することができる。これによって、新しい照明条件下のハイライト、相互反射および影のような微妙な反射成分等をも推定することが可能になる。

（４）式に示したように、ｄ画素の画像ベクトルＹは、照明行列Ｓの転置行列Ｓ^Ｔを対角上に配置した照明行列Ｌ^Ｔとｄ画素の法線アルベドベクトルＢとの積に、ｄ画素のエラーベクトルＶの値を足したものである。また、画素毎の輝度ベクトルｉをｄ画素分並べたのが画像ベクトルＹであり、画素毎の法線アルベドベクトルｂをｄ画素分並べたのが法線アルベドベクトルＢであり、画素毎のエラーベクトルｅをｄ画素分並べたのがエラーベクトルＶである。さらに、一画素における、ｍ個の照明パターンそれぞれにおける輝度値を並べたのが輝度ベクトルｉ（ｍ次元）であり、一画素における法線アルベドベクトル（三次元）が法線アルベドベクトルｂであり、一画素におけるｍ個の照明パターンそれぞれにおけるエラー成分の値を並べたベクトル（ｍ次元）がベクトルｅであり、光源の方向と強さを示す（３×ｍ）の照明条件ｓの行列が照明行列Ｓである。

このように（４）式に示した、画像を生成するための反射モデルを仮定することによって、画像中の複数の画素について、同時に演算を行うことが可能となるので、演算の迅速化を図ることが可能である。

入力画像の照明条件ｓに対する統計量である誤差の平均μ_ｖと分散Σ_ｖは、既知の照明条件におけるブートストラップ画像集合の統計量からｋｅｒｎｅｌ ｒｅｇｒｅｓｓｉｏｎによって補間される。具体的には、平均μ_Ｖは、（１）式と同様な方法でｓ_ｊをμ_Ｖ（ｓ_ｊ）に置き換え、既知の照明条件ベクトルｓ_ｊを中心とするカーネル関数の線形和で求められる。分散Σ_ｖの要素もまた、平均μ_Ｖと同様に、事前に算出された統計量Ｃ_Ｖからｋｅｒｎｅｌ ｒｅｇｒｅｓｓｉｏｎによって補間される。

前述した仮定の下で、登録画像２０についての法線アルベドベクトルＢ_ＭＡＰ（ｘ）は、ＭＡＰ（Ｍａｘｉｍｕｍ Ａ Ｐｏｓｔｅｒｉｏｒｉ：最大事後確率）推定を用いて、（５）式のように推定することができる。

なお、（５）式の導出は、以下のように行った。

まず、ガウス分布を、平均ベクトルμと共分散行列Ｃを用いてＮ（μ，Ｃ）と記述する。（４）式で表わされる反射モデルより、画像ベクトルＹを与えられたときの法線アルベドベクトルＢの条件付分布Ｐ（Ｂ｜Ｙ）、法線アルベドベクトルＢを与えられたときの画像ベクトルＹの条件付分布Ｐ（Ｙ｜Ｂ）、および、法線アルベドベクトルＢの分布Ｐ（Ｂ）は、それぞれ、

と表わされる。

また、ベイズの定理にしたがって、下記関係を得ることができる。

ここで、Ｇは以下に示されるようなスカラー量である。

ここで、画像ベクトルＹを与えられたときの法線アルベドベクトルＢの条件付分布Ｐ（Ｂ｜Ｙ）を最大化する法線アルベドベクトルＢを導出するために、法線アルベドベクトルＢに関してスカラー量Ｇの微分をとり、これを０とする。

これによって、法線アルベドベクトルＢのＭＡＰ推定が数９のように得られる。

なお、登録画像群作成部３の法線情報推定部４２は、（４）式に記載した反射モデルを仮定して、各ベクトルの統計モデルを作成する場合には、ブートストラップ画像のうち、ハイライトや影等の影響を除去するような、所定の閾値よりも輝度の大きな画素、および、所定の閾値よりも輝度の小さな画素を除去した画像集合から法線アルベドベクトルＢ^（ｌ）を推定することが実用上望ましい。

次に、登録画像群作成部３のエラー成分情報推定部４３は、法線情報推定部４２によって、上述した（５）式を用いることにより登録画像２０から法線アルベドベクトルＢ_ＭＡＰ（ｘ）が推定された後、（６）式にもとづいて、登録画像２０の新しい照明条件におけるエラーベクトルＶ_ＭＡＰ（ｘ）を推定する（Ｓ４）。

ここで、各σの値は、例えば、（１）式の要領で、求めればよい。二つの照明ベクトルｓを連結させた連結照明ベクトルｔを用いて、新しい照明に対応するエラー成分の分散行列の要素ρを下記のように算出する。平均μＶ_ｎｅｗとＲの要素の値も、平均μＶと分散ΣＶからｋｅｒｎｅｌ ｒｅｇｒｅｓｓｉｏｎによって補間される。平均μｖと分散Σｖを求めた際と同様な方法で算出するが、今回はこれらの値を、照明条件ｓと推定される照明条件ｓ_ｎｅｗの連結ベクトルに対して既知照明条件ｓ_ｊ間の連結ベクトルを中心とするカーネル関数の線形和によって求める。

なお、各値の算出方法として複数以上ある場合は、その平均値をとるとよい。

ここで、Ｖ_ＭＡＰの導出について説明する。

まず、確率ベクトルｘとｙがそれぞれｊｏｉｎｔｌｙ Ｇａｕｓｓｉａｎ ｄｉｓｔｒｉｂｕｔｉｏｎにしたがうと仮定するならば、

と記述される。ｙが与えられる場合のｘの条件付分布Ｐ（ｘ｜ｙ）は次のように記述される。

ここで、ｍ ＝ μ_ｘ ＋ Ｒ_ｘｙＲ_ｙｙ ^−１（ｙ−μ_ｙ）であり、
Ｃ_ｍ ＝ Ｒ − Ｒ_ｘｙＲ_ｙｙ ^−１Ｒ_ｙｘである。

異なる照明条件間の誤差項をｊｏｉｎｔｌｙ Ｇａｕｓｓｉａｎ ｄｉｓｔｒｉｂｕｔｉｏｎとしてモデル化しているため、

と表わされる。

エラー項Ｖ（ｓ_ｎｅｗ） は、Ｖ（ｓ）が与えられた場合に、ガウス分布として、

と表わされる。ここで、

となり、Ｖ_ＭＡＰが導出される。

ここまでで、被写体の登録画像２０を用いた登録画像群３０を作成するための前処理は終了する。

次に、登録画像群作成部３のエラー成分情報推定部４３は、さらに、別途照明条件入力部４４から入力された（Ｓ５）複数の照明条件に対応するエラー成分Ｖ_ＭＡＰの推定を行って画像合成部４５に出力し、画像合成部４５は、エラー成分情報推定部４３から出力されたエラー成分の値と法線情報推定部４２で推定された被写体の法線情報とから、登録画像を合成し、出力する（Ｓ６、Ｓ７）。

ステップＳ５において照明条件入力部４４から入力される照明条件の一例としては、例えば顔の正面方向を（左右の角度：０°、上下の角度：０°）と置いたときに、左右上下ともに２０°間隔に６０°までの角度を取ることができる。この場合、−６０°、−４０°、−２０°、０°、２０°、４０°、６０°の７種類の角度があり、上下左右合わせて７×７の４９通りの照明角度ができる。なお、角度は等間隔である必要はなく、使用目的や用途に合わせて適宜効果のある角度を選択すればよい。また、照明条件入力部４４には、あらかじめ複数の照明条件が記憶されていてもよいし、ユーザによって所望の照明条件が入力される構成であってもよい。

そして、これらの互いに異なる所定の照明角度それぞれに対応して、エラー成分情報推定部４３はエラー成分Ｖ_ＭＡＰを推定し（Ｓ６）、さらに、画像合成部４５は、法線アルベドベクトルＢ_ＭＡＰおよび照明条件Ｌ_ＮＥＷが既知であるので、（７）式を用いて画素毎の輝度値Ｙ_ＮＥＷを算出し、画像を合成することにより、被写体の複数の登録画像群３０を得ることができる（Ｓ７）。

そして、（７）式に示した処理を、あらかじめ定められた複数の照明角度それぞれについて繰り返し行うことによって（Ｓ８）、登録画像群３０を作成することができる。

図５は本発明の第１の実施の形態における登録画像群３０の一例を概念的に示す図である。図５に示したように、本発明の第１の実施の形態の画像照合装置１の登録画像群作成部３によれば、様々な陰影を有する登録画像群３０を作成することが可能である。

再び図１に戻って、本発明の第１の実施の形態の画像照合装置１において、登録画像群作成部３で作成された登録画像群３０は、登録画像群記憶部４に記憶される。ここまでで、本発明の第１の実施の形態の画像照合装置１における照合処理の準備が完了する。

図１に示したように、本発明の第１の実施の形態の画像照合装置１において、被認証者の比較画像２５が比較画像入力部５から入力された場合には、比較画像２５は比較画像入力部５から比較照合部８に送られ、比較照合部８において、比較画像２５と登録画像群３０との比較照合処理がなされ、その結果が出力部９から出力される。図６に、本発明の実施の形態における比較画像２５の一例を概念的に示す。例えば、図６に示した比較画像２５が入力された場合には、登録画像群３０のうち、同一の被写体を類似した照明条件で撮影した登録画像２６と類似し、比較画像２５に撮影された被写体はあらかじめ登録された者であると認証される。このとき、登録画像２６に、対応する登録された者のＩＤ情報等が付与されていれば、そのＩＤ情報から、比較画像２５のＩＤ情報も認証結果とともに出力部９より出力される。なお、被認証者に対して確認を促す意味では、比較画像２５と類似すると判定された登録画像２６も出力部９から被認証者に対して出力することが望ましい。

以上述べたように、本発明の第１の実施の形態における画像照合装置１によれば、登録画像群３０を作成する際に、（４）式に示したように、各画素を独立して扱うのではなく、複数の画素の情報から演算対象となる画素の情報を算出するとともに、複数の画素を同時に取り扱うことのできる画像生成モデル（反射モデル）を仮定し、その画像生成モデルの各ベクトルの統計モデルを用いて演算を行うので、登録画像２０のうち、全画素について同時に演算を行うことも可能であるし、登録画像２０を複数の領域に分割して、分割された領域毎に演算を行うことも可能である。このように、登録画像２０を複数の領域に分割して、分割された領域毎に演算を行った場合には、全画素をまとめて演算する場合と比較して、演算時間を短くすることが可能である。これは、相関演算に要する時間は、画素数の三乗に比例するために、全画素を一度に演算するよりも、いくつかに領域を分割して演算を行ったほうが演算時間を短くすることができるからである。

さらに、本発明の第１の実施の形態における画像照合装置１によれば、（４）式に示したような複数の画素を同時に取り扱うことのできる統計モデルを用いて演算を行うので、

に示したように、ＭＡＰ推定を行った際、破線で囲んだ画素のみについて結果を採用することも可能である。すなわち、登録画像２０を構成する画素のうちで、影になっている部分等、その画素の情報を用いて法線アルベドベクトルの推定を行うことが難しい画素（以下、信頼性の低い画素と記す）については、他の鮮明に見えている画素（以下、信頼性の高い画素と記す）とグルーピングを行って演算することによって、他の信頼性の高い画素の影響を受けた状態で法線アルベドベクトルの推定等を行うことが可能である。

よって、本発明の第１の実施の形態における画像照合装置１を用いれば、登録画像２０から登録画像群３０を作成する際に、登録画像２０中に影となったり、鏡面反射成分が大きかったりして信頼性の低い画素が存在する場合にも、他の信頼性の高い画素の影響を受けた状態で、より信頼性の高い登録画像群３０を作成することが可能である。なお、この画素信頼性については、画素毎にエラー成分Ｖの値の分散ΣＶを算出し、この値が所定の閾値よりも大きい画素を、信頼性の低い画素として決定し、それ以外の画素を信頼性の高い画素として決定することができる。

よって、本発明の第１の実施の形態における画像照合装置１を用いれば、比較画像２５と登録画像群３０との本人照合率を向上させることができる。

例えば、本発明の第１の実施の形態における画像照合装置１を用いて比較画像２５と登録画像群３０との照合を行った場合の一位照合率を、従来技術を用いて比較画像２５と登録画像群との照合を行った場合の一位照合率よりも向上させることができる。なお、一位照合率とは、比較画像に対して、その比較画像と同一の被写体が撮影された登録画像が一位で認証される割合のことをいい、その比率が高いほど精度の高い認証ができていることを示す。

例えば、ブートストラップ画像として、同一の画像群を用いて統計モデルを算出し、この統計モデルを用いて、非特許文献１に記載された方法で登録画像群を作成し、この登録画像群を用いて画像照合を行った場合の一位照合率が８７．８％であったのに対して、本発明の第１の実施の形態における画像照合装置１を用いて画像照合を行った場合の一位照合率は、９４．０％と大きく向上した。

また、本発明の第１の実施の形態における画像照合装置１においては、登録画像２０中における複数の画素についての相関演算を同時に行うことが可能であるが、この相関演算を行うべき画素の決定については、任意の画素を選択することが可能である。例えば、相関の高い画素同士、例えば、鼻の周辺、眼の周辺、頬の周辺等、近傍の画素同士をグルーピングすることも可能である。このようなグルーピングを行う場合には、頬の周辺については、右側の頬と左側の頬とは対照的な法線ベクトルを有すると考えられるので、同時に演算を行う画素にグルーピングして相関演算することにより、より信頼性の高い演算結果を得ることができる。

なお、本発明の第１の実施の形態においては、登録画像群作成部３を、画像照合装置１の機能ブロックであるとして説明を行ったが、登録画像群作成部３を他の機能ブロックから独立させて、画像合成装置とすることも可能である。これにより、画像照合装置および画像照合方法における、登録画像群として記憶されるべき画像群を作成するのに適した画像合成装置を提供することができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態における画像照合装置４０について説明する。図７は本発明の第２の実施の形態における画像照合装置４０の構成を示すブロック図である。

図７に示したように、本発明の第２の実施の形態における画像照合装置４０は、前述の第１の実施の形態における画像照合装置１と比較して、比較画像入力部５から入力された比較画像から、その照明方向および強度等の照明条件を推定する照明条件推定部６と、照明条件推定部６で推定された照明条件の情報を登録画像群記憶部４に送るとともに、登録画像群記憶部４に記憶された登録画像群３０から前述の比較画像の照明条件に適合した照明条件に対応する登録画像を検索、抽出して、比較照合部８に出力する情報検索部７を備えている。

他の構成要件、すなわち、登録画像入力部２、登録画像群作成部３、登録画像群記憶部４、比較画像入力部５、比較照合部８および出力部９のそれぞれの機能に関しては、第１の実施の形態における画像照合装置１における各構成要素の機能と同様であるので、その説明を省略する。

照明条件推定部６における照明条件の推定は、第１の実施の形態における画像照合装置１の登録画像群作成部３の照明条件推定部４１による照明条件の推定方法（図３におけるステップＳ２と同様の方法）を用いることができる。

また、本発明の第２の実施の形態における登録画像群作成部３は、登録画像群３０を作成する際に、登録画像群３０それぞれのメタ情報として、照明方向や強度等の照明条件に関する情報を付与して登録画像群記憶部４に記憶しておく構成であってもよい。このような構成によれば、本発明の第２の実施の形態における画像照合装置４０の情報検索部７は、登録画像群記憶部４に記憶された登録画像群３０に付与されたメタ情報を手掛かりとして、比較照合部８に送るべき登録画像の検索を行うことが可能である。

このような構成とすることにより、本発明の第２の実施の形態の画像照合装置４０によれば、第１の実施の形態における画像照合装置１が奏する効果に加えて、さらに、比較画像２５から照明条件推定部６によってその照明条件を推定し、登録画像群記憶部４に記憶された登録画像群３０から、照明条件推定部６によって推定された照明条件に対応する登録画像を検索して、比較照合部８に送ることができる。例えば、第１の実施の形態で説明したような比較画像２５が入力された場合には、その照明条件に対応する登録画像２６が、登録画像群記憶部４から情報検索部７によって比較照合部８に送られる。

よって、比較照合部８における比較照合処理を行う回数を減少させることができ、ＣＰＵ等に対する演算負荷を軽減することのできる、小型の装置に最適な構成を実現できる。

（第３の実施の形態）
次に、本発明の第３の実施の形態における画像照合装置５０について説明する。図８は本発明の第３の実施の形態における画像照合装置５０の構成を示すブロック図である。

図８に示したように、本発明の第３の実施の形態における画像照合装置５０は、前述の第１の実施の形態における画像照合装置１と比較して、比較画像入力部５から入力された比較画像からその特徴量を算出する特徴量算出部３１、および、登録画像群作成部３で作成された登録画像から、それぞれの登録画像の特徴量を算出する特徴量算出部３２を備えた点が異なる。

ここで、特徴量算出部３１および特徴量算出部３２における画像からの特徴量算出方法としては、顔の特徴を表すポイントに、グラフと呼ばれるパターンを配置し、正確な顔の特徴点を見つけ、そのポイント毎の特徴量を登録データと比較、照合するグラフマッチング法や、変換対象からウェーブレット波形を利用し、その波形が持つ特徴（周波数成分等）のみを取り出す、信号解析や画像圧縮に用いられる手法であるガボールウェーブレット変換等を用いることが可能であるが、本発明はこれらの特徴点の算出方法になんら限定されるものではない。

また、本発明の第３の実施の形態における画像照合装置５０は、第１の実施の形態における画像照合装置１の登録画像群記憶部４の代わりに、登録画像群から特徴量算出部３１によって算出された特徴量を記憶する特徴量記憶部３４を備えている。

さらに、本発明の第３の実施の形態における画像照合装置５０は、第１の実施の形態における画像照合装置１の比較照合部８の代わりに、比較画像から特徴量算出部３２で算出された特徴量と特徴量記憶部３４に記憶された登録画像群の特徴量とを比較照合する比較照合部３３を備えている。

他の構成要件、すなわち、登録画像入力部２、登録画像群作成部３、比較画像入力部５および出力部９のそれぞれの機能に関しては、第１の実施の形態における画像照合装置１における各構成要素の機能と同様であるので、その説明を省略する。

このような構成とすることにより、本発明の第３の実施の形態の画像照合装置５０によれば、第１の実施の形態における画像照合装置１が奏する効果に加えて、さらに、特徴量記憶部３４には、特徴量算出部３１によって算出された特徴量のデータが記憶されているので、登録画像群記憶部４の画像情報そのものを記憶する構成と比較して、必要な記憶容量が少なくて済むので、装置全体の小型化や低コスト化を図ることができる。

さらに、本発明の第３の実施の形態における画像照合装置５０によれば、第１の実施の形態における画像照合装置１が奏する効果に加えて、さらに、比較照合部３３が、特徴量記憶部３４および特徴量算出部３２からそれぞれ出力された特徴量を用いて比較照合を行うので、画像全体のマッチングを行う構成と比較して、比較照合部３３での演算処理が小規模で済み、ＣＰＵ等に対する演算負荷を軽減することのできる、小型の装置に最適な構成を実現できる。

なお、本発明の実施の形態においては、被写体として人物の顔を用いた場合を例として説明を行ったが、本発明の画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法は、この用途に限定されず、被写体として一般の立体を有する物体を被写体としても用いることができることはいうまでもない。

以上述べたように、本発明によれば、演算対象となる画素が影になっているような場合でも、その画素についての法線ベクトルや反射率を正しく推定でき、現実に合致した登録画像群を作成できるという格別な効果を奏することができるので、入力された二次元画像とあらかじめ記録された二次元画像とを比較照合する画像照合装置、特に画像照合に用いる登録画像群を作成する画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法等として有用である。

本発明の第１の実施の形態における画像照合装置の構成を示すブロック図 本発明の第１の実施の形態における画像照合装置の登録画像群作成部の機能ブロック図 本発明の第１の実施の形態における画像照合装置の登録画像群作成部の動作ステップを示すフローチャート 本発明の第１の実施の形態における登録画像の一例を概念的に示す図 本発明の第１の実施の形態における登録画像群の一例を概念的に示す図 本発明の実施の形態における比較画像の一例を概念的に示す図 本発明の第２の実施の形態における画像照合装置の構成を示すブロック図 本発明の第３の実施の形態における画像照合装置の構成を示すブロック図

符号の説明

１，４０，５０ 画像照合装置
２ 登録画像入力部
３ 登録画像群作成部
４ 登録画像群記憶部
５ 比較画像入力部
６ 照明条件推定部
７ 情報検索部
８，３３ 比較照合部
９ 出力部
２０，２６ 登録画像
２５ 比較画像
３０ 登録画像群
３１，３２ 特徴量算出部
３４ 特徴量記憶部
４１ 照明条件推定部
４２ 法線情報推定部
４３ エラー成分情報推定部
４４ 照明条件入力部
４５ 画像合成部

Claims (11)

1. 被写体の第１の画像から所定の照明条件における前記被写体の第２の画像を合成する画像合成装置であって、
   前記第１の画像の輝度値から前記第１の画像における前記被写体に対する照明条件を推定する照明条件推定部と、
   前記照明条件推定部で推定された照明条件にもとづいて、前記第１の画像における所定の画素の、前記被写体の法線方向を含む法線情報を推定する法線情報推定部と、
   前記第１の画像の前記所定の画素の輝度値のうち、拡散反射成分以外のエラー成分の情報を推定し、推定された前記エラー成分の情報から、前記所定の照明条件におけるエラー成分の情報を推定するエラー成分情報推定部と、
   前記法線情報推定部によって推定された前記被写体の法線情報、および、前記エラー成分情報推定部で推定された、前記所定の照明条件におけるエラー成分の情報から、前記所定の照明条件における前記被写体の前記第２の画像を合成する画像合成部とを備え、
   前記法線情報推定部は、前記第１の画像における複数の画素の情報から前記所定の画素の法線情報を推定することを特徴とする画像合成装置。
2. 前記エラー成分情報推定部は、前記第１の画像における複数の画素の情報から前記所定の画素のエラー成分の情報を推定することを特徴とする請求項１に記載の画像合成装置。
3. 前記法線情報推定部は、あらかじめ学習用の画像によって計算された、複数の画素の情報にもとづいて算出された統計モデルにもとづいて、前記法線方向を推定することを特徴とする請求項１に記載の画像合成装置。
4. 前記エラー成分情報推定部は、あらかじめ学習用の画像によって計算された、複数の画素の情報にもとづいて算出された統計モデルにもとづいて、前記エラー成分の情報を推定することを特徴とする請求項２に記載の画像合成装置。
5. 前記統計モデルが、
   

   

   （ただし、Ｙ：画素の画像ベクトル、Ｌ^Ｔ：照明行列Ｓの転置行列Ｓ^Ｔを対角上に配置した照明行列、Ｂ：法線アルベドベクトル、Ｖ：エラーベクトル）
   で表わされる画像生成モデルの各ベクトルの統計モデルであることを特徴とする請求項３または請求項４に記載の画像合成装置。
6. 互いに異なる複数の照明角度を含む照明条件が入力される照明条件入力部を備え、
   前記画像合成部は、前記照明条件入力部から入力された複数の照明条件それぞれにおける前記第２の画像を合成することを特徴とする請求項１から請求項５までのいずれか１項に記載の画像合成装置。
7. 請求項６に記載の画像合成装置と、
   前記画像合成装置で作成された第２の画像を登録画像群として記憶する登録画像群記憶部と、
   比較すべき比較画像を入力する比較画像入力部と、
   前記比較画像入力部から入力された比較画像と前記登録画像群記憶部に記憶された登録画像群とを比較照合する比較照合部とを備えたことを特徴とする画像照合装置。
8. 前記比較画像入力部が入力した前記比較画像における照明条件を推定する比較画像照明条件推定部と、
   前記比較画像照明条件推定部で推定された照明条件の登録画像を前記登録画像群記憶部から検索する画像検索部とを備え、
   前記比較照合部は、前記画像検索部で検索された登録画像と前記比較画像とを照合することを特徴とする請求項７に記載の画像照合装置。
9. 前記画像合成装置で作成された第２の画像の特徴量を算出する第１の特徴量算出部と、
   前記比較画像入力部で入力された比較画像の特徴量を算出する第２の特徴量算出部とを備え、
   前記登録画像群記憶部は、前記第２の画像の特徴量を記憶し、
   前記比較照合部は、前記登録画像群と前記比較画像とをその特徴量によって比較照合することを特徴とする請求項７または請求項８に記載の画像照合装置。
10. 被写体の第１の画像から所定の照明条件における前記被写体の第２の画像を合成する画像合成方法であって、
    前記第１の画像の輝度値から前記第１の画像における前記被写体に対する照明条件を推定する第１のステップと、
    前記第１のステップで推定された前記照明条件にもとづいて、前記第１の画像における所定の画素の、前記被写体の法線方向を含む法線情報を推定する第２のステップと、
    前記第１の画像の前記所定の画素の輝度値のうち、拡散反射成分以外のエラー成分の情報を推定し、推定された前記エラー成分の情報から、前記所定の照明条件におけるエラー成分の情報を推定する第３のステップと、
    前記第２のステップで推定された前記被写体の法線情報、および、前記第３のステップにおいて推定された、前記所定の照明条件におけるエラー成分の情報から、前記所定の照明条件における前記被写体の前記第２の画像を合成する第４のステップとを備え、
    前記第２のステップにおいて、前記第１の画像における複数の画素の情報から前記所定の画素の法線情報を推定することを特徴とする画像合成方法。
11. 被写体の第１の画像から所定の照明条件における前記被写体の第２の画像を合成するプログラムであって、
    コンピュータに、
    前記第１の画像の輝度値から前記第１の画像における前記被写体に対する照明条件を推定する第１のステップと、
    前記第１のステップで推定された前記照明条件にもとづいて、前記第１の画像における所定の画素の、前記被写体の法線方向を含む法線情報を推定する第２のステップと、
    前記第１の画像の前記所定の画素の輝度値のうち、拡散反射成分以外のエラー成分の情報を推定し、推定された前記エラー成分の情報から、前記所定の照明条件におけるエラー成分の情報を推定する第３のステップと、
    前記第２のステップで推定された前記被写体の法線情報、および、前記第３のステップにおいて推定された、前記所定の照明条件におけるエラー成分の情報から、前記所定の照明条件における前記被写体の前記第２の画像を合成する第４のステップとを実行させ、
    前記第２のステップにおいて、前記第１の画像における複数の画素の情報から前記所定の画素の法線情報を推定することを特徴とするプログラム。

Images