JP2004118731A - 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム - Google Patents
画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム Download PDFInfo
- Publication number
- JP2004118731A JP2004118731A JP2002284153A JP2002284153A JP2004118731A JP 2004118731 A JP2004118731 A JP 2004118731A JP 2002284153 A JP2002284153 A JP 2002284153A JP 2002284153 A JP2002284153 A JP 2002284153A JP 2004118731 A JP2004118731 A JP 2004118731A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subspace
- sample point
- registered
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】画像集合の特徴を学習してそれらの特徴を効率良く表現した知識を利用することで、本人画像と他人画像の識別を効率的に行って認識率を高めることができる画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラムを提供すること。
【解決手段】顔画像学習部５３で、顔画像集合内の画像の本人差変動を除去し他人差変動を強調した特徴ベクトルの部分空間を作成して顔画像の特徴を学習し、登録画像サンプル点検出部５５と入力画像サンプル点検出部５６で、登録画像と入力画像の対応するサンプル点を部分空間を用いて検出し、類似度算出部５７で部分空間上での入力画像と登録画像の特徴ベクトルの類似度を算出し、照合判定部５８で入力画像と登録画像を照合し本人確認を行う。
【選択図】 図５
【解決手段】顔画像学習部５３で、顔画像集合内の画像の本人差変動を除去し他人差変動を強調した特徴ベクトルの部分空間を作成して顔画像の特徴を学習し、登録画像サンプル点検出部５５と入力画像サンプル点検出部５６で、登録画像と入力画像の対応するサンプル点を部分空間を用いて検出し、類似度算出部５７で部分空間上での入力画像と登録画像の特徴ベクトルの類似度を算出し、照合判定部５８で入力画像と登録画像を照合し本人確認を行う。
【選択図】 図５
Description
【０００１】
【発明の属する技術分野】
本発明は、顔や掌紋など本人の身体の所定の部位を取り込んだ入力画像と前記部位に関する本人および他人の複数の登録画像の間で、サンプル点における局所的な特徴を比較することによって画像を照合し本人確認を行う画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラムに関し、特に、本人画像と他人画像の識別を効率的に行って認識率を高めることができる画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラムに関する。
【０００２】
【従来の技術】
従来、入場管理やコンピュータへのアクセス等に係るセキュリティシステムにおいて個人の身体的特徴を利用して本人と他人を識別する技術が利用されているが、顔や掌紋等をＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等で撮影して入力画像とし、その入力画像と予め登録してある顔や掌紋等の登録画像とを照合し本人確認をする方法においては、顔の表情や掌の開き加減あるいは撮影角度等の相違の影響により、単に入力画像と複数の登録画像を重ね合わせて一致の度合いを比較するだけでは高い識別能力を発揮することができない。
【０００３】
入力画像と登録画像を照合して本人確認を行う画像認識法としては、画像集合中の各画像の大きさを正規化して正規化画像の各画素の濃淡値からなる特徴ベクトルの部分空間を主成分分析により生成し、入力画像と登録画像の特徴ベクトルを部分空間上に射影して類似度を計算し照合判定する固有顔（Ｅｉｇｅｎｆａｃｅ）法が一般的に知られている。
【０００４】
この従来技術によれば、入力顔画像と登録顔画像の照合は入力画像と登録画像との間での固定された各画素を基準として行われるため、顔の表情や撮影角度等の相違が存在して入力顔画像と登録顔画像の間で画像のゆがみやずれ等が生じた場合に、本人と他人の識別能力が低下するという問題がある。
【０００５】
このため、顔の登録画像上の目鼻口等の顔の目印となる部分にサンプル点を指定し、それらサンプル点に対応する入力画像上のサンプル点の位置を両画像の類似度を計算することによって求め、求められたサンプル点間においてそれら両画像の局所的な特徴を比較する技術が開示されている（例えば、非特許文献１参照。）。
【０００６】
すなわち、この従来技術では、顔の表情あるいは撮影角度等の相違によって登録画像と入力画像の間でゆがみやずれ等が生じた場合でも、類似度を計算することにより登録画像上のサンプル点に対応する入力画像上のサンプル点を検出することができるので、上記の問題点が緩和され、本人と他人との識別能力を高めることができる。
【０００７】
【非特許文献１】
エル・ウィスコット（Ｌ． Ｗｉｓｋｏｔｔ），外３名，「フェイス・レコグニション・バイ・エラスティック・バンチ・グラフ・マッチング（Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ Ｅｌａｓｔｉｃ Ｂｕｎｃｈ Ｇｒａｐｈ Ｍａｔｃｈｉｎｇ）」，アイトリプルイー・トランザクションズ・オン・パターン・アナリシス・アンド・マシーン・インテリジェンス（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ Ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ Ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ），１９９７年，第１９巻，第７号，ｐ．７７５−７７９
【０００８】
【発明が解決しようとする課題】
しかしながら、この従来技術（例えば、非特許文献１参照。）を用いた場合、対応するサンプル点において入力画像と複数の登録画像の間での照合を行うため、予めすべての登録画像に対してサンプル点を指定しておく必要があり、登録画像の数が増加するほどサンプル点の指定作業に負担がかかり、また、各登録画像のサンプル点を記憶するための記憶容量が増加するという問題がある。
【０００９】
また、照合に使用される顔や掌紋等の登録画像と入力画像には万人に共通する特徴も含まれているので、個人の特徴が明瞭に検知されにくく、識別能力の向上が困難であるという問題がある。
【００１０】
更に、顔の表情や掌の開き加減、撮影角度等の相違によって生じる登録画像に対する入力画像のゆがみやずれ等にある程度対処することができるものの、同一人物の画像の変動を軽減し、他人の画像との相違を強調するような処理は行わないため、識別能力のさらなる向上は困難であるという問題がある。
【００１１】
本発明は、上記問題（課題）に鑑みてなされたものであって、各登録画像上におけるサンプル点の設定作業の負担を軽減し、また、画像集合の特徴を学習してそれらの特徴を効率良く表現した知識を利用することで、本人の画像と他人の画像の識別を効率的に行って認識率を高めることができる画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、請求項１の発明に係る画像認識装置は、本人の身体の所定の部位を取り込んだ入力画像と前記部位に関する本人および他人の複数の登録画像との間で、サンプル点における局所的な特徴を比較することによって画像を照合し本人確認を行う画像認識装置において、前記部位に関する画像集合内の複数の画像から平均画像を作成する平均画像作成手段と、前記平均画像上に設定されたサンプル点に対応する前記画像集合内の各画像上のサンプル点を検出して該サンプル点における特徴ベクトルの部分空間を作成する部分空間作成手段と、前記平均画像上のサンプル点に対応する前記登録画像上のサンプル点を前記部分空間を用いて検出する登録画像サンプル点検出手段と、前記登録画像上のサンプル点に対応する前記入力画像上のサンプル点を前記部分空間を用いて検出する入力画像サンプル点検出手段と、前記登録画像サンプル点検出手段により検出された前記登録画像上のサンプル点における特徴ベクトルと前記入力画像サンプル点検出手段により検出された前記入力画像上のサンプル点における特徴ベクトルとの前記部分空間内での類似度を算出して前記入力画像と前記登録画像とを照合し本人確認を行う照合判定手段とを備えたことを特徴とする。
【００１３】
また、請求項２の発明に係る画像認識装置は、請求項１に係る発明において、前記部分空間作成手段は、前記画像集合内の画像における特徴ベクトルと前記平均画像における特徴ベクトルとの相関を用いて前記平均画像上に設定されたサンプル点に対応する該画像集合内の画像上のサンプル点を検出する第１の検出手段と、前記第１の検出手段により検出された前記画像集合内の画像上のサンプル点における特徴ベクトルを用いて暫定的な特徴ベクトルの部分空間を作成する暫定部分空間作成手段と、前記画像集合内の画像における特徴ベクトルの前記部分空間への距離に基づいて前記平均画像上に設定されたサンプル点に対応する該画像集合内の画像上のサンプル点を検出する第２の検出手段と、前記第２の検出手段により検出された前記画像集合内の画像上のサンプル点における特徴ベクトルを用いて前記暫定部分空間作成手段により作成された前記部分空間を修正する部分空間修正手段とを備えたことを特徴とする。
【００１４】
また、請求項３の発明に係る画像認識装置は、請求項２に係る発明において、前記暫定部分空間作成手段は、前記画像集合から本人の画像ペアを用意して、前記第１の検出手段により検出された前記平均画像上に設定されたサンプル点に対応する該画像ペアの前記サンプル点における特徴ベクトル間の差分を求めて本人差部分空間を算出する第１の本人差部分空間算出手段と、前記画像集合から他人の画像ペアを用意して、前記第１の検出手段により検出された前記平均画像上に設定されたサンプル点に対応する該画像ペアの前記サンプル点における特徴ベクトル間の差分を求めて他人差部分空間を算出する第１の他人差部分空間算出手段と、前記本人差部分空間の補空間と前記他人差部分空間との交わり部を算出して該交わり部を部分空間とする第１の認識部分空間作成手段とを備えたことを特徴とする。
【００１５】
また、請求項４の発明に係る画像認識装置は、請求項２に係る発明において、前記部分空間修正手段は、前記画像集合から本人の画像ペアを用意して、前記第２の検出手段により検出された前記平均画像上に設定されたサンプル点に対応する該画像ペアの前記サンプル点における特徴ベクトル間の差分を求めて本人差部分空間を算出する第２の本人差部分空間算出手段と、前記画像集合から他人の画像ペアを用意して、前記第２の検出手段により検出された前記平均画像上に設定されたサンプル点に対応する該画像ペアの前記サンプル点における特徴ベクトル間の差分を求めて他人差部分空間を算出する第２の他人差部分空間算出手段と、前記本人差部分空間の補空間と前記他人差部分空間との交わり部を算出して該交わり部を部分空間とする第２の認識部分空間作成手段と、前記第２の認識部分空間作成手段で作成された該部分空間が収束するまで前記第２の検出手段と前記第２の本人差部分空間算出手段と前記第２の他人差部分空間算出手段と前記第２の認識部分空間作成手段とを繰り返し用いることにより前記部分空間を更新する認識部分空間更新手段とを備えたことを特徴とする。
【００１６】
また、請求項５の発明に係る画像認識装置は、請求項１〜４のいずれか一つに係る発明において、前記登録画像サンプル点検出手段は、前記平均画像上のサンプル点に対応する該登録画像上のサンプル点を該登録画像における特徴ベクトルと前記部分空間との距離に基づいて検出することを特徴とする。
【００１７】
また、請求項６の発明に係る画像認識装置は、請求項１〜５のいずれか一つに係る発明において、前記入力画像サンプル点検出手段は、前記登録画像上のサンプル点に対応する該入力画像上のサンプル点を該入力画像における特徴ベクトルと前記登録画像における特徴ベクトルの前記部分空間内での相関に基づいて検出することを特徴とする。
【００１８】
また、請求項７の発明に係る画像認識装置は、請求項１〜６のいずれか一つに係る発明において、前記照合判定手段は、前記登録画像上と前記入力画像上の対応する前記サンプル点における特徴ベクトルの前記部分空間内での相関に基づいて類似度を算出して前記入力画像と前記登録画像とを照合し本人確認を行うことを特徴とする。
【００１９】
また、請求項８の発明に係る画像認識方法は、本人の身体の所定の部位を取り込んだ入力画像と前記部位に関する本人および他人の複数の登録画像との間で、サンプル点における局所的な特徴を比較することによって画像を照合し本人確認を行う画像認識方法において、前記部位に関する画像集合内の複数の画像から平均画像を作成する平均画像作成工程と、前記平均画像上に設定されたサンプル点に対応する前記画像集合内の各画像上のサンプル点を検出して該サンプル点における特徴ベクトルの部分空間を作成する部分空間作成工程と、前記平均画像上のサンプル点に対応する前記登録画像上のサンプル点を前記部分空間を用いて検出する登録画像サンプル点検出工程と、前記登録画像上のサンプル点に対応する前記入力画像上のサンプル点を前記部分空間を用いて検出する入力画像サンプル点検出工程と、前記登録画像サンプル点検出工程により検出された前記登録画像上のサンプル点における特徴ベクトルと前記入力画像サンプル点検出工程により検出された前記入力画像上のサンプル点における特徴ベクトルとの前記部分空間内での類似度を算出して前記入力画像と前記登録画像とを照合し本人確認を行う照合判定工程と、を含んだことを特徴とする。
【００２０】
また、請求項９の発明に係るプログラムは、本人の身体の所定の部位を取り込んだ入力画像と前記部位に関する本人および他人の複数の登録画像との間で、サンプル点における局所的な特徴を比較することによって画像を照合し本人確認を行う画像認識方法をコンピュータに実行させるプログラムであって、前記部位に関する画像集合内の複数の画像から平均画像を作成する平均画像作成工程と、前記平均画像上に設定されたサンプル点に対応する前記画像集合内の各画像上のサンプル点を検出して該サンプル点における特徴ベクトルの部分空間を作成する部分空間作成工程と、前記平均画像上のサンプル点に対応する前記登録画像上のサンプル点を前記部分空間を用いて検出する登録画像サンプル点検出工程と、前記登録画像上のサンプル点に対応する前記入力画像上のサンプル点を前記部分空間を用いて検出する入力画像サンプル点検出工程と、前記登録画像サンプル点検出工程により検出された前記登録画像上のサンプル点における特徴ベクトルと前記入力画像サンプル点検出工程により検出された前記入力画像上のサンプル点における特徴ベクトルとの前記部分空間内での類似度を算出して前記入力画像と前記登録画像とを照合し本人確認を行う照合判定工程と、をコンピュータに実行させることを特徴とする。
【００２１】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラムの好適な実施の形態を詳細に説明する。なお以下では、顔画像を用いた顔画像認識の場合について説明する。
【００２２】
まず、本実施の形態に係る画像認識処理の概念について説明する。図１は、本実施の形態に係る画像認識処理の概念を説明するための説明図である。
【００２３】
図１に示すように、本実施の形態に係る顔画像認識処理は、オフラインでの学習時処理と照合時処理の２つの大きな処理からなり、学習時処理で顔画像の特徴を学習した知識１３を利用して照合処理を行うよう構成されている。
【００２４】
まず、オフラインでの学習時処理の処理手順を説明する。最初に、顔画像集合１０内の各画像に対し、両目、鼻、口の位置を指定する。ただし、ここでは最低限両目の位置を指定すればよい。そして、各顔画像の両目、鼻、口の位置が重なるように正規化し、各画素の濃淡値を平均して平均顔画像１１を作成する。
【００２５】
ここで、「画像集合」とは、複数の人物における身体の所定の部位に関する画像の集まりであり、またある特定の人物に関しても顔の表情や掌の開き加減、撮影角度等の相違によって異なる複数の本人画像を含むものである。この画像集合は登録画像の集合と同一である必要はない。
【００２６】
次に、作成された平均顔画像１１上に任意の数のサンプル点を指定する。図１では、平均顔画像１１上に１００個のサンプル点を指定した平均顔画像の例１２が示されている。そして、平均顔画像１１の特徴ベクトルと顔画像集合１０内の各画像の特徴ベクトルの相関を用いて、平均顔画像１１上のサンプル点に対応する顔画像集合１０内の各画像上のサンプル点を検出する。そして、検出されたサンプル点上で、顔画像集合１０内の各画像における特徴ベクトルの部分空間を主成分分析の手法を用いて作成する。この部分空間は暫定的なもので、後に修正される。
【００２７】
ここで、「特徴ベクトル」とは、サンプル点周辺における局所的な領域での画素の濃淡値やその濃淡値の変化率等の特徴量の集まりを一つのベクトルとして表したものであり、それらの特徴量を各々有する複数の画素の集まりからなるデジタル顔画像が与えられれば容易に作成することができる。
【００２８】
ここで、本実施の形態で用いられる部分空間の概念について説明する。図２は、本実施の形態に係る部分空間の概念を説明するための説明図である。特徴ベクトル空間２０内において、本人の変動部分空間２２は顔の表情や撮影角度等の相違によって異なる複数の本人画像ペアの特徴ベクトルの差から構成され、他人の変動部分空間２１は本人と他人との画像ペアの特徴ベクトルの差から構成される。目的とする部分空間２３は本人の変動部分空間２２の補空間と他人の変動部分空間２１の交わりより導くことができる。以降、このようにして構成された部分空間を「認識部分空間」と呼ぶ。
【００２９】
図１の説明に戻ると、顔画像集合１０内の画像を用いて作成された特徴ベクトルの暫定的な認識部分空間２３は、顔画像集合１０内の各画像における特徴ベクトルの認識部分空間２３への距離に基づいて修正される。
【００３０】
具体的には、顔画像集合１０内の各画像における特徴ベクトルの認識部分空間２３への距離を計算し、その距離が小さくなるような各画像上のサンプル点を検出する。サンプル点が検出されたらそのサンプル点の各画像における特徴ベクトルを基にして新しい認識部分空間２３を作成し、作成された認識部分空間２３が収束するまで、特徴ベクトルの認識部分空間２３への距離に基づいたサンプル点検出処理と、顔画像集合１０内の各画像のサンプル点における特徴ベクトルを基にした部分空間作成処理とを繰り返し、認識部分空間２３の修正を行う。得られた認識部分空間２３は、顔画像の特徴を学習した知識１３として画像照合時に利用される。
【００３１】
ここで、本実施の形態で用いられる、特徴ベクトルの認識部分空間２３への距離を用いた画像のサンプル点の検出の概念について説明する。図３は、本実施の形態に係る特徴ベクトルの認識部分空間２３への距離を用いた顔画像上のサンプル点検出の概念を説明する説明図である。
【００３２】
図３において、顔画像の特徴ベクトル３０の認識部分空間２３への距離３１は、その値が小さいほど認識部分空間２３内に抽出された顔の特徴に対応する特徴がその顔画像上に良く現れていることを意味する。すなわち、この距離が小さくなるようにサンプル点を選ぶことにより、平均顔画像１１上のサンプル点に対応したサンプル点をその画像上に設定することができる。
【００３３】
図１の説明に戻り、次に、照合時処理の処理手順を説明する。まず、登録画像１４における特徴ベクトルの認識部分空間２３への距離を計算し、その距離が小さくなるような登録画像上のサンプル点を検出する。図１には、登録画像１４上にサンプル点を検出した登録画像の例１５が示されている。
【００３４】
入力画像１６と照合するための登録画像１４を複数の登録画像の集合内から選択する方法には、その複数の登録画像の集合内から登録画像１４を次々に選択する方法や、本人によって入力されたＩＤ番号等で関連付けられた登録画像１４を特定して選択する方法等がある。
【００３５】
ここで、「登録画像」とは、濃淡値を各々有する複数の画素の集まりからなるデジタル顔画像と、そのデジタル顔画像の複数の画素において、画素の周辺における局所的な領域で作成された特徴ベクトルからなる特徴ベクトル情報とを指している。但し、登録画像に特徴ベクトル情報を少なくとも含んでいれば、顔画像の照合時処理を行うことができる。
【００３６】
また、入力画像１６に関しては、登録画像１４上の検出されたサンプル点に対応するサンプル点を、認識部分空間２３内における入力画像１６と登録画像１４の特徴ベクトルの相関を用いて検出する。図１には、入力画像１６上にサンプル点を検出した入力画像の例１７が示されている。
【００３７】
図４は、本実施の形態に係る入力画像１６上のサンプル点検出の概念を説明する説明図である。図４に示されるように、入力画像１６の特徴ベクトルと登録画像１４の特徴ベクトルを認識部分空間２３上へ射影し、射影された入力画像の特徴ベクトル４０と射影された登録画像の特徴ベクトル４１間の相関値を、射影された両特徴ベクトル間のなす角θの余弦、すなわちｃｏｓ θで算出する。この値が大きいほど、そのサンプル点における両画像の特徴が類似していることを意味する。
【００３８】
図１の説明に戻って、登録画像１４と入力画像１６上の対応するサンプル点が検出されたら、次に、そのサンプル点において認識部分空間２３内へ射影された登録画像１４の特徴ベクトルと入力画像１６の特徴ベクトルを用いて両特徴ベクトルの相関値を認識部分空間２３内で算出する。この処理をすべてのサンプル点に対して行う。そして、その入力画像１６と登録画像１４の画像ペアに対する相関値の平均値を算出し、類似度とする。図１において、平均顔画像１１上に１００個のサンプル点を設定した例１２では、１００個の相関値の平均値（類似度）を算出する。そして、その類似度に基づいて本人と他人の識別判定を行う。
【００３９】
次に、本実施の形態に係る顔画像認識装置の構成について説明する。図５は本実施の形態に係る顔画像認識装置の構成を示す機能ブロック図である。
【００４０】
図５に示すように、本実施の形態に係る顔画像認識装置５０は、顔画像入力受付部５１と、正規化処理部５２と、顔画像学習部５３と、登録画像記憶部５４と、登録画像サンプル点検出部５５と、入力画像サンプル点検出部５６と、類似度算出部５７と、照合判定部５８とを備えている。
【００４１】
顔画像入力受付部５１は、学習用の顔画像集合、入力顔画像、登録用顔画像を装置内に取り込むための受付部であり、受け付けた画像を正規化処理部５２に出力する。
【００４２】
正規化処理部５２は、顔画像入力受付部５１から画像を取得し、画像に正規化処理をして各画像の顔のサイズを整合させ、受け取った画像が学習用の顔画像集合の画像であれば顔画像学習部５３へ、登録用顔画像であれば登録画像記憶部５４へ、入力顔画像であれば入力画像サンプル点検出部５６へ正規化した画像を出力する。
【００４３】
顔画像学習部５３は、正規化された顔画像集合を正規化処理部５２から取得し、その顔画像集合１０を用いて平均顔画像１１を作成し、その平均顔画像１１を用いて特徴ベクトルの認識部分空間２３を作成する。
【００４４】
登録画像記憶部５４は、顔画像入力受付部５１に登録用顔画像が受け付けられたときに、正規化処理部５２によって正規化された登録用画像１４を取得して記憶する。
【００４５】
登録画像サンプル点検出部５５は、登録画像１４と入力画像１６との間で照合判定が行われる際に、顔画像学習部５３から認識部分空間２３を読み込み、登録画像記憶部５４から登録画像１４を読み込んで、登録画像１４における特徴ベクトルの認識部分空間２３への距離を用いて登録画像１４上のサンプル点を検出する。
【００４６】
入力画像サンプル点検出部５６は、登録画像１４と入力画像１６との間で照合判定が行われる際に、顔画像学習部５３から認識部分空間２３を読み込み、正規化処理部５２から入力画像１６を読み込み、登録画像サンプル点検出部５５から登録画像１４と登録画像１４上のサンプル点情報を読み込み、登録画像１４と入力画像１６との特徴ベクトルの認識部分空間２３内での相関を計算して入力画像１６上のサンプル点を検出する。
【００４７】
類似度算出部５７は、登録画像１４と入力画像１６のサンプル点情報と、入力画像サンプル点検出部５６で計算された各サンプル点における登録画像１４と入力画像１６の特徴ベクトルの認識部分空間２３内での相関値データを読み込み、登録画像１４と入力画像１６の間の類似度を算出する。
【００４８】
照合判定部５８は、類似度算出部５７で得られた登録画像１４と入力画像１６の類似度を読み込み、その類似度に基づいて登録画像１４と入力画像１６との照合判定を行い、照合結果を出力する。
【００４９】
以降、図１に示された、本実施の形態に係る画像認識処理をさらに具体的に説明する。図６は、本実施の形態に係る顔画像データを正規化する正規化処理のフローチャートである。この処理は正規化処理部５２によって行われる。なお、ここでは顔画像入力受付部５１が受け付けた画像が学習用の顔画像集合であった場合を示してある。
【００５０】
まず、平均顔画像１１を仮に設けその画像上に仮の両目位置を設定する（ステップＳ６０１）。次に、顔画像受付部５１を通じて顔画像集合１０内の顔画像データを読み出し（ステップＳ６０２）、読み出した各顔画像データの両目、鼻、口の位置を指定する（ステップＳ６０３）。ただし、ここでは最低限両目の位置を指定すればよい。
【００５１】
両目、鼻、口の位置が指定された後、各顔画像データの両目位置が平均顔画像１１の両目位置に重なるようにアフィン変換を行い（ステップＳ６０４）、アフィン変換後の各顔画像データの両目、鼻、口の正規位置を算出する（ステップＳ６０５）。そして、算出された両目、鼻、口の正規位置の平均値を算出し（ステップＳ６０６）、平均顔画像１１の両目、鼻、口の位置を設定する（ステップＳ６０７）。
【００５２】
平均顔画像１１の両目、鼻、口の位置が設定されたら、各顔画像データの両目、鼻、口の位置が平均顔画像１１の両目、鼻、口の位置に重なるようにアフィン変換を行い（ステップＳ６０８）、画像集合１０内の各顔画像の正規化画像を作成する（ステップＳ６０９）。
【００５３】
なお、ここでは顔画像入力受付部５１が受け付けた画像が学習用の顔画像集合１０であった場合を示したが、学習時処理が終了して、受け付けた画像が入力顔画像あるいは登録用顔画像であった場合には、すでに平均顔画像１１の両目、鼻、口の位置が学習時において設定されているので、顔画像データを読み出し（ステップＳ６０２）、読み出した顔画像データの両目、鼻、口の位置を指定し（ステップＳ６０３）、顔画像データの両目、鼻、口の位置が平均顔画像１１の両目、鼻、口の位置に重なるようアフィン変換を行い（ステップＳ６０８）、読み込んだ画像の正規化画像を作成する（ステップＳ６０９）処理を行うだけでよい。
【００５４】
次に、顔画像学習部５３において顔画像集合１０から特徴ベクトルの認識部分空間２３を作成する処理について説明する。図７は、本実施の形態に係る顔画像集合１０から特徴ベクトルの認識部分空間２３を作成する認識部分空間作成処理のフローチャートである。
【００５５】
まず、学習用の顔画像集合１０からＮ個の顔画像データを読み込む（ステップＳ７０１）。読み込まれたＮ個の顔画像データの対応する各画素の濃淡値の平均を算出し（ステップＳ７０２）、平均顔画像１１を作成する（ステップＳ７０３）。そして、作成された平均顔画像１１上にＭ個のサンプル点を設定する（ステップＳ７０４）。
【００５６】
同様に、Ｎ個の顔画像集合１０内の各顔画像データ上にも平均顔画像１１上のサンプル点に対応するＭ個のサンプル点を設定し（ステップＳ７０５）、対応するＭ個のサンプル点上で平均顔画像１１とＮ個の各顔画像データの特徴ベクトル間の相関を計算する（ステップＳ７０６）。この特徴ベクトル間の相関がある閾値よりも大きいかどうかを調べ（ステップＳ７０７）、相関が大きい場合は、Ｎ個の各顔画像データ上に平均顔画像１１のＭ個のサンプル点に対応するサンプル点を確定する（ステップＳ７０８）。相関が小さい場合は、Ｎ個の各顔画像データ上にＭ個のサンプル点を設定し直し（ステップＳ７０５）、相関が大きくなるサンプル点が見つかるまでこれらの処理（ステップＳ７０５〜ステップＳ７０７）を繰り返す。
【００５７】
そして、Ｎ個の各顔画像データ上に平均顔画像１１のＭ個のサンプル点に対応するサンプル点を確定（ステップＳ７０８）した後、Ｎ個の各顔画像データ上の各々Ｍ個のサンプル点における特徴ベクトルの認識部分空間２３をＭ個作成する（ステップＳ７０９）。
【００５８】
次に、図７の認識部分空間２３を作成する処理（ステップＳ７０９）において、サンプル点での認識部分空間２３を作成する具体的な作成処理について説明する。図８は、本実施の形態に係るサンプル点での認識部分空間２３を作成する認識部分空間作成処理のフローチャートである。
【００５９】
まず、Ｎ個の学習用の顔画像集合１０内の顔画像データからＮｓ組の本人画像のデータペアを選択する（ステップＳ８０１）。本人画像のデータペアとは、顔の表情や撮影角度等の相違によって異なる複数の本人画像からなるものである。そして、データペアの対応するサンプル点における特徴ベクトルの差分を計算し（ステップＳ８０２）、それを基にして本人差部分空間Ｓｓを算出する（ステップＳ８０３）。
【００６０】
次に、Ｎ個の学習用の顔画像集合１０内の顔画像データからＮо組の他人の画像のデータペアを選択し（ステップＳ８０４）、データペアの対応するサンプル点における特徴ベクトルの差分を計算し（ステップＳ８０５）、それを基にして他人差部分空間Ｓоを算出する（ステップＳ８０６）。
【００６１】
本人差部分空間Ｓｓと他人差部分空間Ｓоが算出されたら、本人差部分空間Ｓｓの補空間ＳｓＣと他人差部分空間Ｓоとの交わりＳ、すなわち
Ｓ ＝ Ｓｏ ∩ ＳｓＣ
を算出し、これを認識部分空間２３とする（ステップＳ８０７）。
【００６２】
次に、図８の本人差部分空間Ｓｓおよび他人差部分空間Ｓоを作成する処理（ステップＳ８０３、ステップＳ８０６）において、サンプル点での特徴ベクトルを基にして部分空間を作成する具体的な処理について説明する。図９は、本実施の形態に係る特徴ベクトルを基にして部分空間を作成する部分空間作成処理のフローチャートである。
【００６３】
まず、Ｒ次元のＮ個の特徴ベクトルＸｉ（１≦ｉ≦Ｎ）を入力する（ステップＳ９０１）。そして、Ｒ行Ｒ列の相関行列Ｍを
Ｍ（ｋ，ｌ） ＝ １／Ｎ Σ Ｘｉ（ｋ）Ｘｉ（ｌ）
の算定式を用いて算出する（ステップＳ９０２）。ここで、１≦ｋ，ｌ≦Ｒである。
【００６４】
相関行列Ｍが得られたらそれを用いてＲ個の固有値を計算し（ステップＳ９０３）、大きいほうからｒ個（ｒ≦Ｒ）の固有値を抽出して（ステップＳ９０４）、ｒ個の固有値に対応する固有ベクトルが張る空間を算出し、ｒ次元の部分空間を求める（ステップＳ９０５）。これは数学的には主成分分析という統計的手法と同一である。
【００６５】
次に、図８の本人差部分空間Ｓｓの補空間ＳｓＣと他人差部分空間Ｓｏとの交わりを算出することによって認識部分空間２３を作成する処理（ステップＳ８０７）において、本人差部分空間Ｓｓと他人差部分空間Ｓｏから認識部分空間２３を算出する具体的な処理について説明する。図１０は、本実施の形態に係る認識部分空間２３を算出する認識部分空間算出処理のフローチャートである。
【００６６】
まず、本人差部分空間Ｓｓの射影行列Ｐｓを算出し（ステップＳ１００１）、次に他人差部分空間Ｓｏの射影行列Ｐｏを算出する（ステップＳ１００２）。そして、定数α（０≦α≦１）を設定し、式
Ｐ ＝ α Ｐо ＋ （１ − α）（Ｉ − Ｐｓ）
により、行列Ｐを算出する（ステップＳ１００３）。ここで、Ｉは単位行列である。αは他人差部分空間と本人差部分空間の補集合との重みを調整するパラメータであり、任意に指定できる。以下、この行列Ｐを混合行列と呼ぶこととする。
【００６７】
そして、混合行列の固有値を算出し（ステップＳ１００４）、その固有値に対する閾値を設定する（ステップＳ１００５）。混合行列の固有値の取りうる範囲は０以上１以下であり、閾値は１に近く、１以下の値に設定する。そして、閾値以上の固有値を抽出してその固有値に対する固有ベクトルが張る空間を算出し、認識部分空間２３とする（ステップＳ１００６）。
【００６８】
次に、顔画像学習部５３において、図７で示された処理により作成された認識部分空間２３を、学習用の顔画像集合１０を用いて修正しながら顔の特徴を学習する具体的な処理について説明する。図１１は、本実施の形態に係る顔画像集合１０から特徴ベクトルの認識部分空間２３を修正する認識部分空間修正処理のフローチャートである。
【００６９】
まず、認識部分空間２３の収束計算の最大反復回数を設定し（ステップＳ１１０１）、学習用の顔画像集合１０内のＮ個の各顔画像上に平均顔画像１１上のＭ個のサンプル点に対応するＭ個のサンプル点を設定する（ステップＳ１１０２）。そして、Ｎ個の各顔画像におけるＭ個の特徴ベクトルの対応するＭ個の認識部分空間２３への距離を計算する（ステップＳ１１０３）。
【００７０】
そして、この認識部分空間２３への距離がある閾値よりも小さいかどうかを調べ（ステップＳ１１０４）、距離が小さい場合は、Ｎ個の各顔画像データ上に平均顔画像１１上のＭ個のサンプル点に対応するサンプル点を確定する（ステップＳ１１０５）。距離が大きい場合は、Ｎ個の各顔画像データ上にＭ個のサンプル点を設定し直し（ステップＳ１１０２）、距離が小さくなるサンプル点が見つかるまでこれらの処理（ステップＳ１１０２〜ステップＳ１１０４）を繰り返す。
【００７１】
Ｎ個の各顔画像データ上に平均顔画像１１上のＭ個のサンプル点に対応するサンプル点が確定（ステップＳ１１０５）されたら、Ｎ個の各顔画像データ上の各々Ｍ個のサンプル点における特徴ベクトルの認識部分空間２３をＭ個作成する（ステップＳ１１０６）。そして、この認識部分空間２３が収束したかどうかを調べ（ステップＳ１１０７）、収束した場合は学習が終了したとして認識部分空間２３の修正処理を終える。収束しなかった場合には、次に、収束計算の反復回数が設定した最大反復回数より小さいかどうかを調べ（ステップＳ１１０８）、小さくない場合には認識部分空間２３の修正処理を終え、小さい場合には、Ｎ個の各顔画像データ上にＭ個のサンプル点を設定し直して（ステップＳ１１０２）、認識部分空間２３が収束するまでこれらの処理（ステップＳ１１０２〜ステップＳ１１０８）を繰り返す。
【００７２】
次に、図１１に示された、認識部分空間２３が収束したかどうかを調べる処理（ステップＳ１１０７）の具体的な手順について説明する。図１２は、本実施の形態に係る認識部分空間２３の収束を判定する認識部分空間収束判定処理のフローチャートである。
【００７３】
まず、修正前後の２つの認識部分空間２３に対する正準角の閾値を設定し（ステップＳ１２０１）、その正準角を算出する（ステップＳ１２０２）。そして、複数の正準角の内、最小の正準角が閾値よりも小さいかどうかを調べ（ステップＳ１２０３）、小さい場合は認識部分空間２３が収束したと判定し（ステップＳ１２０４）、小さくない場合は認識部分空間２３が未収束と判定する（ステップＳ１２０５）。
【００７４】
次に、登録画像１４と入力画像１６を照合して本人確認を行う照合判定処理の処理手順を説明する。図１３は、本実施の形態に係る照合判定処理の処理手順を示すフローチャートである。
【００７５】
まず、登録画像サンプル点検出部５５は、登録画像記憶部５４に記憶されている登録画像１４と顔画像学習部５３により作成された認識部分空間２３のデータを読み込み、登録画像１４上に平均顔画像１１上のサンプル点に対応するＭ個のサンプル点を設定する（ステップＳ１３０１）。そして、対応する各サンプル点上で登録画像１４の特徴ベクトルの認識部分空間２３への距離を算出する（ステップＳ１３０２）。この距離の概念は、図３において既に説明したものである。
【００７６】
その後、この認識部分空間２３への距離がある閾値よりも小さいかどうかを調べ（ステップＳ１３０３）、距離が小さい場合は、Ｎ個の各顔画像データ上に平均顔画像１１のＭ個のサンプル点に対応するサンプル点を確定する（ステップＳ１３０４）。距離が小さくない場合には、Ｎ個の各顔画像データ上にＭ個のサンプル点を設定し直し（ステップＳ１３０１）、距離が小さくなるサンプル点が見つかるまでこれらの処理（ステップＳ１３０１〜ステップＳ１３０３）を繰り返す。これらの処理（ステップＳ１３０１〜ステップＳ１３０４）は、登録画像サンプル点検出部５５にて行われる。
【００７７】
次に、入力画像サンプル点検出部５６は、正規化処理部５２より正規化された入力画像１６と、顔画像学習部５３より作成された認識部分空間データ２３と、登録画像サンプル点検出部５５より検出されたサンプル点データと正規化された登録画像１４とをそれぞれ読み込み、入力画像１６上に登録画像１４上のサンプル点に対応するＭ個のサンプル点を設定する（ステップＳ１３０５）。そして、対応するサンプル点上で登録画像１４と入力画像１６の特徴ベクトルの各認識部分空間２３内での相関を算出する（ステップＳ１３０６）。
【００７８】
その後、この登録画像１４と入力画像１６の特徴ベクトルの認識部分空間２３内での相関がある閾値よりも大きいかどうかを調べ（ステップＳ１３０７）、相関が大きい場合は、入力画像１６上に登録画像１４上のＭ個のサンプル点に対応するサンプル点を確定する（ステップＳ１３０８）。相関が小さい場合は、入力画像１６上にＭ個のサンプル点を設定し直し（ステップＳ１３０５）、相関が閾値よりも大きくなるサンプル点が見つかるまでこれらの処理（ステップＳ１３０５〜ステップＳ１３０７）を繰り返す。これらの処理（ステップＳ１３０５〜ステップＳ１３０８）は、入力画像サンプル点検出部５６にて行われる。
【００７９】
この認識部分空間２３内での相関の概念は、図４において既に説明したものであり、具体的には、認識部分空間２３上に射影された登録画像１４と入力画像１６の両特徴ベクトル間のなす角θの余弦、すなわちｃｏｓ θで表される。
【００８０】
登録画像１４と入力画像１６の対応するサンプル点が確定されると（ステップＳ１３０８）、類似度算出部５７は、その確定されたサンプル点間における登録画像１４と入力画像１６の相関値データを入力画像サンプル点検出部５６から読み込み、登録画像１４と入力画像１６間の類似度を各サンプル点における相関値の平均値を求めることにより算出する（ステップＳ１３０９）。そして、照合判定部５８は、この類似度の大小に基づいて登録画像１４と入力画像１６の照合判定を行い（ステップＳ１３１０）、登録画像１４に対応する本人であるかどうかの判定結果を出力する（ステップＳ１３１１）。
【００８１】
次に、本実施の形態に係る顔画像認識装置のハードウェア構成について説明する。図１４は本実施の形態に係る顔画像認識装置のシステム構成を示すブロック図である。
【００８２】
図１４に示すように、この顔画像認識装置５０は、インターフェース部６４と、演算制御部６５と、主記憶部６６と、補助記憶部６７とからなり、入力装置６８と、表示装置６９とが接続されている、コンピュータを利用したスタンドアローン型における構成である。
【００８３】
また、この顔画像認識装置５０には、入力画像を取り込むためのＣＣＤカメラ６０がインターフェース６４を介して接続されており、ＣＣＤカメラ６０は画像入力部６１と、画像メモリ６２と、インターフェース部６３で構成されている。
【００８４】
まず、ＣＣＤカメラ６０の構成について具体的に説明する。画像入力部６１は、被写体である顔からの光をレンズで集光し、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を使用して顔画像を電気信号に変換し、ディジタルデータに変換して顔画像データを画像メモリ６２に記録する。
【００８５】
画像メモリ６２は画像入力部６１のバッファメモリとして利用され、顔画像認識装置５０が顔画像の入力を受け付けることができない場合に、顔画像データを一時的に記憶する。顔画像認識装置５０が入力画像の受け付け可能な状態となれば、インターフェース部６３を通じて顔画像データが顔画像認識装置５０に出力される。
【００８６】
次に、顔画像認識装置５０の構成について具体的に説明する。インターフェース部６４は、演算制御部６５の制御のもと、ＣＣＤカメラ６０からの入力画像の受け付けを行い、また入力装置６８からのデータの受け付け、表示装置６９へのデータの受け渡しを行う。
【００８７】
入力装置６８は、キーボード、マウス、タッチパネル等で構成され、顔画像認識プログラム実行時には、顔画像に対し両目、鼻、口の位置を指定する際（ステップＳ６０３）や作成された平均顔上にサンプル点を指定する際（ステップＳ７０４）等に用いられる。
【００８８】
表示装置６９は、ディスプレイモニタであり、顔画像認識プログラムを実行時には、平均顔画像１１上のサンプル点の表示、登録画像１４上のサンプル点の表示、入力画像１６上のサンプル点の表示、あるいは照合判定結果の表示（ステップＳ１３１１）等に用いられる。
【００８９】
補助記憶部６７は、例えば、フロッピー（登録商標）ディスクドライブ装置（ＦＤＤ）、ハードディスクドライブ装置（ＨＤＤ）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ等からデータを読み込むことができるＣＤドライブ装置、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等からデータを読み込むことができるＤＶＤドライブ装置等である。
【００９０】
本実施の形態の顔画像認識装置５０で実行される顔画像認識プログラムは、ＦＤ、ＣＤ−ＲＯＭまたはＤＶＤ−ＲＯＭ等に実行可能な形式のファイルで記録されて提供される。そして、フロッピー（登録商標）ディスクドライブ装置、ＣＤドライブ装置またはＤＶＤドライブ等によって読み出されて実行される。
【００９１】
また、学習用の顔画像集合１０内の顔画像データおよび登録用の顔画像データもＦＤ、ＣＤ−ＲＯＭまたはＤＶＤ−ＲＯＭ等により提供され、フロッピー（登録商標）ディスクドライブ装置、ＣＤドライブ装置またはＤＶＤドライブによって読み出されて、学習用の顔画像データは顔画像学習部５３において記憶、処理され、登録用の顔画像データは登録画像記憶部５４に記憶されるようになっている。この補助記憶部６７は、本発明の記憶手段を構成するものである。
【００９２】
なお、この補助記憶部６７は顔画像認識装置５０内に直接接続されている必要はなく、補助記憶部６７がネットワーク上に存在する構成であってもよい。例えば、インターネットやＬＡＮ上に顔画像サーバを設置し、学習用の顔画像データや登録用の顔画像データを記憶して、必要に応じてダウンロードする構成としてもよい。この場合には、顔画像認識装置５０には、さらにモデムやＬＡＮボード等の通信部を設ける必要がある。
【００９３】
また、本実施の形態の顔画像認識装置５０は、システム全体を制御するＣＰＵ等の演算制御部６５と、ＲＡＭとＲＯＭ等の記憶媒体からなる主記憶部６６が設けられている。ＲＯＭには予めブートプログラム等が記憶されており、ＲＡＭにはＨＤから読み出したＯＳ（オペレーションシステム）の一部および顔画像認識プログラム等が記憶され、演算制御部６５がこれらのプログラムを実行する。さらに、ＲＡＭには顔画像認識プログラムの実行時に読み出された各種の顔画像データ、サンプル点データ、演算結果等が記憶される。
【００９４】
上述してきたように、本実施の形態では、まず、顔画像集合１０からサンプル点を指定するのに用いる平均顔画像１１を作成し、平均顔画像１１上のサンプル点に対応する顔画像集合１０内の各顔画像上のサンプル点を検出して特徴ベクトルの認識部分空間２３を作成し、その認識部分空間２３を用いて平均顔画像１１上のサンプル点に対応する登録画像１４上のサンプル点を検出し、認識部分空間２３と登録画像１４を用いて登録画像１４上のサンプル点に対応する入力画像１６上のサンプル点を検出し、検出された登録画像１４と入力画像１６の認識部分空間２３内での特徴ベクトルの類似度を算出し、登録画像１４と入力画像１６の照合判定を行うよう構成したので、サンプル点を平均顔画像１１上にだけ指定すればよくサンプル点設定に係る作業負担を低減することができる。
【００９５】
また、照合判定に部分空間を用い、さらに、その部分空間を顔の表情や撮影角度等の相違による本人変動に影響されにくく、また、他人画像との特徴の差が大きく現れるように部分空間を構成して認識部分空間２３としたので、本人画像と他人画像の識別能力を高めることができる。
【００９６】
なお、本実施の形態では、画像認識装置の認識対象画像が顔画像である場合を示したが、本発明はこれに限定されるものではなく、何らかの目印となるものが含まれる身体の所定の部位にも適用できる。例えば、掌紋の例では、顔の場合の目鼻口に対応するものとして手筋を用いることができる。
【００９７】
すなわち、顔画像の場合は平均顔画像１１を作成する際に両目、鼻、口の位置を指定したが（ステップＳ６０３）、掌紋画像の場合には代わりに手筋の位置を指定すればよい。また、特徴ベクトルとしては掌紋の隆起線の方向、曲率等の特徴量を用いればよい。それ以外の処理は顔画像の場合と変わるところがないので、掌紋画像認識装置を容易に実現することができる。
【００９８】
【発明の効果】
以上説明したように、請求項１の発明によれば、身体の所定の部位に関する複数の画像集合から平均画像を作成し、該平均画像上に設定されたサンプル点に対応する画像集合内の画像上のサンプル点を検出して該サンプル点における特徴ベクトルの部分空間を作成し、設定された平均画像上のサンプル点に対応する登録画像上のサンプル点を作成された部分空間を用いて検出し、検出された登録画像上のサンプル点に対応する入力画像上のサンプル点を作成された部分空間を用いて検出し、作成された部分空間内で検出された登録画像と入力画像上のサンプル点における特徴ベクトルの類似度を算出して登録画像と入力画像とを照合し本人確認を行うため、各登録画像上にサンプル点を指定する必要がなく、平均画像上にのみサンプル点を指定すればよいため、サンプル点の指定に係る作業の負担を軽減し、サンプル点を記憶する記憶容量を低減させることが可能な画像処理装置が得られるという効果を奏する。
【００９９】
また、個々人の画像の特徴を特徴ベクトルの部分空間を用いて表現するので、万人に共通する特徴を除去し個人の特徴が強調され、効率良く画像の特徴を知識として抽出することができ、本人画像と他人画像の識別能力を向上させることが可能な画像処理装置が得られるという効果を奏する。
【０１００】
また、請求項２の発明によれば、画像集合内の画像における特徴ベクトルと平均画像における特徴ベクトルとの相関を用いて平均画像上に設定されたサンプル点に対応する該画像集合内の画像上のサンプル点を検出し、検出された該画像集合内の画像上のサンプル点における特徴ベクトルを用いて暫定的な特徴ベクトルの部分空間を作成し、該画像集合内の画像における特徴ベクトルの該部分空間への距離に基づいて平均画像上に設定されたサンプル点に対応する該画像集合内の画像上のサンプル点を検出し、検出された該画像集合内の画像上のサンプル点における特徴ベクトルを用いて暫定部分空間作成手段により作成された特徴ベクトルの部分空間を修正することとしたので、特徴ベクトルの部分空間を作成する際に、平均画像上のサンプル点に対応する画像集合内の画像上のサンプル点を効率よく検出し、部分空間を作成することが可能な画像認識装置が得られるという効果を奏する。
【０１０１】
また、請求項３の発明によれば、画像集合から本人の画像ペアを用意して、平均画像上に設定されたサンプル点に対応する該画像ペアのサンプル点における特徴ベクトル間の差分を求めて本人差部分空間を算出し、また画像集合から他人の画像ペアを用意して、平均画像上に設定されたサンプル点に対応する該画像ペアのサンプル点における特徴ベクトル間の差分を求めて他人差部分空間を算出し、算出された本人差部分空間の補空間と他人差部分空間の交わり部を算出して該交わり部を部分空間とすることとしたので、本人画像の変動が除外されるため、顔の表情や掌の開き加減、撮影角度等の相違による本人画像の変動によるノイズに強く、また本人と他人との変動が強調されるので該部分空間に効率良く知識を抽出することができ、本人画像と他人画像との識別能力を向上させることが可能な画像認識装置が得られるという効果を奏する。
【０１０２】
また、請求項４の発明によれば、画像集合から本人の画像ペアを用意して、平均画像上に設定されたサンプル点に対応する該画像ペアのサンプル点における特徴ベクトル間の差分を求めて本人差部分空間を算出し、また画像集合から他人の画像ペアを用意して、平均画像上に設定されたサンプル点に対応する該画像ペアのサンプル点における特徴ベクトル間の差分を求めて他人差部分空間を算出し、算出された本人差部分空間の補空間と他人差部分空間の交わり部を算出して該交わり部を部分空間とし、そこで作成された該部分空間が収束するまで、第２の検出手段と第２の本人差部分空間算出手段と第２の他人差部分空間算出手段と第２の認識部分空間作成手段とを繰り返し用いることにより該部分空間を更新することとしたので、暫定部分空間作成手段により作成された暫定的な部分空間よりもより精度良く画像集合の特徴を抽出した部分空間を作成することができ、その部分空間を用いて本人画像と他人画像とを識別する際に識別能力を向上させることが可能な画像認識装置が得られるという効果を奏する。
【０１０３】
また、請求項５の発明によれば、平均画像上のサンプル点に対応する登録画像上のサンプル点を、該登録画像における特徴ベクトルと部分空間との距離に基づいて検出することとしたので、平均画像と登録画像の間で顔の表情や掌の開き加減、撮影角度等の相違があった場合でも、平均画像のサンプル点に対応する登録画像上のサンプル点を精度良く検出することが可能な画像認識装置が得られるという効果を奏する。
【０１０４】
また、請求項６の発明によれば、検出された登録画像上のサンプル点に対応する入力画像上のサンプル点を、該入力画像における特徴ベクトルと該登録画像における特徴ベクトルの部分空間内での相関に基づいて検出することとしたので、入力画像と登録画像との間で顔の表情や掌の開き加減、撮影角度等の相違があった場合でも、登録画像との照合が行われる入力画像上のサンプル点を精度良く検出することが可能な画像認識装置が得られるという効果を奏する。
【０１０５】
また、請求項７の発明によれば、検出された登録画像と入力画像上のサンプル点間における特徴ベクトルの部分空間内での相関に基づいて類似度を算出して入力画像と登録画像とを照合し本人確認を行うこととしたので、入力画像と登録画像の間で表情や掌の開き加減、撮影角度等の相違があった場合でも、精度良く効率的に照合判定を行うことが可能な画像認識装置が得られるという効果を奏する。
【０１０６】
また、請求項８の発明によれば、身体の所定の部位に関する複数の画像集合から平均画像を作成し、該平均画像上に設定されたサンプル点に対応する画像集合内の画像上のサンプル点を検出して該サンプル点における特徴ベクトルの部分空間を作成し、設定された平均画像上のサンプル点に対応する登録画像上のサンプル点を作成された部分空間を用いて検出し、検出された登録画像上のサンプル点に対応する入力画像上のサンプル点を作成された部分空間を用いて検出し、作成された部分空間内で検出された登録画像と入力画像上のサンプル点における特徴ベクトルの類似度を算出して入力画像と登録画像とを照合し本人確認を行うため、各登録画像上にサンプル点を指定する必要がなく、平均画像上にのみサンプル点を指定すればよいため、サンプル点の指定に係る作業の負担を軽減し、サンプル点を記憶する記憶容量を低減させることが可能な画像認識方法が得られるという効果を奏する。
【０１０７】
また、個々人の画像の特徴を特徴ベクトルの部分空間を用いて表現するので、万人に共通する特徴を除去し個人の特徴が強調され、効率良く画像の特徴を知識として抽出することができ、本人画像と他人画像の識別能力を向上させることが可能な画像認識方法が得られるという効果を奏する。
【０１０８】
また、請求項９の発明によれば、身体の所定の部位に関する複数の画像集合から平均画像を作成し、該平均画像上に設定されたサンプル点に対応する画像集合内の画像上のサンプル点を検出して該サンプル点における特徴ベクトルの部分空間を作成し、設定された平均画像上のサンプル点に対応する登録画像上のサンプル点を作成された部分空間を用いて検出し、検出された登録画像上のサンプル点に対応する入力画像上のサンプル点を作成された部分空間を用いて検出し、作成された部分空間内で検出された登録画像と入力画像上のサンプル点における特徴ベクトルの類似度を算出して入力画像と登録画像とを照合し本人確認を行うため、各登録画像上にサンプル点を指定する必要がなく、平均画像上にのみサンプル点を指定すればよいため、サンプル点の指定に係る作業の負担を軽減し、サンプル点を記憶する記憶容量を低減させることが可能なプログラムが得られるという効果を奏する。
【０１０９】
また、個々人の画像の特徴を特徴ベクトルの部分空間を用いて表現するので、万人に共通する特徴を除去し個人の特徴が強調され、効率良く画像の特徴を知識として抽出することができ、本人画像と他人画像の識別能力を向上させることが可能なプログラムが得られるという効果を奏する。
【図面の簡単な説明】
【図１】本実施の形態に係る画像認識処理の概念を説明するための説明図である。
【図２】本実施の形態に係る部分空間の概念を説明するための説明図である。
【図３】本実施の形態に係る特徴ベクトルの認識部分空間への距離を用いた顔画像上のサンプル点検出の概念を説明する説明図である。
【図４】本実施の形態に係る入力画像上のサンプル点検出の概念を説明する説明図である。
【図５】本実施の形態に係る顔画像認識装置の構成を示す機能ブロック図である。
【図６】本実施の形態に係る顔画像データを正規化する正規化処理のフローチャートである。
【図７】本実施の形態に係る顔画像集合から特徴ベクトルの認識部分空間を作成する認識部分空間作成処理のフローチャートである。
【図８】本実施の形態に係るサンプル点での認識部分空間を作成する認識部分空間作成処理のフローチャートである。
【図９】本実施の形態に係る特徴ベクトルを基にして部分空間を作成する部分空間作成処理のフローチャートである。
【図１０】本実施の形態に係る認識部分空間を算出する認識部分空間算出処理のフローチャートである。
【図１１】本実施の形態に係る顔画像集合から特徴ベクトルの認識部分空間を修正する認識部分空間修正処理のフローチャートである。
【図１２】本実施の形態に係る認識部分空間の収束を判定する認識部分空間収束判定処理のフローチャートである。
【図１３】本実施の形態に係る照合判定処理の処理手順を示すフローチャートである。
【図１４】本実施の形態に係る顔画像認識装置のシステム構成を示すブロック図である。
【符号の説明】
１０ 顔画像集合
１１ 平均顔画像
１２ １００個のサンプル点を指定した平均顔画像の例
１３ 知識
１４ 登録画像
１５ サンプル点を検出した登録画像の例
１６ 入力画像
１７ サンプル点を検出した入力画像の例
２０ 特徴ベクトル空間
２１ 他人の変動部分空間
２２ 本人の変動部分空間
２３ 目的とする認識部分空間
３０ 顔画像の特徴ベクトル
３１ 特徴ベクトルの認識部分空間への距離
４０ 入力画像の特徴ベクトルの認識部分空間への射影
４１ 登録画像の特徴ベクトルの認識部分空間への射影
５０ 顔画像認識装置
５１ 顔画像入力受付部
５２ 正規化処理部
５３ 顔画像学習部
５４ 登録画像記憶部
５５ 登録画像サンプル点検出部
５６ 入力画像サンプル点検出部
５７ 類似度検出部
５８ 照合判定部
６１ 画像入力部
６２ 画像メモリ
６３、６４ インターフェース部
６５ 演算制御部（ＣＰＵ）
６６ 主記憶部（ＲＯＭ、ＲＡＭ）
６７ 補助記憶部
６８ 入力装置
６９ 表示装置
【発明の属する技術分野】
本発明は、顔や掌紋など本人の身体の所定の部位を取り込んだ入力画像と前記部位に関する本人および他人の複数の登録画像の間で、サンプル点における局所的な特徴を比較することによって画像を照合し本人確認を行う画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラムに関し、特に、本人画像と他人画像の識別を効率的に行って認識率を高めることができる画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラムに関する。
【０００２】
【従来の技術】
従来、入場管理やコンピュータへのアクセス等に係るセキュリティシステムにおいて個人の身体的特徴を利用して本人と他人を識別する技術が利用されているが、顔や掌紋等をＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等で撮影して入力画像とし、その入力画像と予め登録してある顔や掌紋等の登録画像とを照合し本人確認をする方法においては、顔の表情や掌の開き加減あるいは撮影角度等の相違の影響により、単に入力画像と複数の登録画像を重ね合わせて一致の度合いを比較するだけでは高い識別能力を発揮することができない。
【０００３】
入力画像と登録画像を照合して本人確認を行う画像認識法としては、画像集合中の各画像の大きさを正規化して正規化画像の各画素の濃淡値からなる特徴ベクトルの部分空間を主成分分析により生成し、入力画像と登録画像の特徴ベクトルを部分空間上に射影して類似度を計算し照合判定する固有顔（Ｅｉｇｅｎｆａｃｅ）法が一般的に知られている。
【０００４】
この従来技術によれば、入力顔画像と登録顔画像の照合は入力画像と登録画像との間での固定された各画素を基準として行われるため、顔の表情や撮影角度等の相違が存在して入力顔画像と登録顔画像の間で画像のゆがみやずれ等が生じた場合に、本人と他人の識別能力が低下するという問題がある。
【０００５】
このため、顔の登録画像上の目鼻口等の顔の目印となる部分にサンプル点を指定し、それらサンプル点に対応する入力画像上のサンプル点の位置を両画像の類似度を計算することによって求め、求められたサンプル点間においてそれら両画像の局所的な特徴を比較する技術が開示されている（例えば、非特許文献１参照。）。
【０００６】
すなわち、この従来技術では、顔の表情あるいは撮影角度等の相違によって登録画像と入力画像の間でゆがみやずれ等が生じた場合でも、類似度を計算することにより登録画像上のサンプル点に対応する入力画像上のサンプル点を検出することができるので、上記の問題点が緩和され、本人と他人との識別能力を高めることができる。
【０００７】
【非特許文献１】
エル・ウィスコット（Ｌ． Ｗｉｓｋｏｔｔ），外３名，「フェイス・レコグニション・バイ・エラスティック・バンチ・グラフ・マッチング（Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ Ｅｌａｓｔｉｃ Ｂｕｎｃｈ Ｇｒａｐｈ Ｍａｔｃｈｉｎｇ）」，アイトリプルイー・トランザクションズ・オン・パターン・アナリシス・アンド・マシーン・インテリジェンス（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ Ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ Ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ），１９９７年，第１９巻，第７号，ｐ．７７５−７７９
【０００８】
【発明が解決しようとする課題】
しかしながら、この従来技術（例えば、非特許文献１参照。）を用いた場合、対応するサンプル点において入力画像と複数の登録画像の間での照合を行うため、予めすべての登録画像に対してサンプル点を指定しておく必要があり、登録画像の数が増加するほどサンプル点の指定作業に負担がかかり、また、各登録画像のサンプル点を記憶するための記憶容量が増加するという問題がある。
【０００９】
また、照合に使用される顔や掌紋等の登録画像と入力画像には万人に共通する特徴も含まれているので、個人の特徴が明瞭に検知されにくく、識別能力の向上が困難であるという問題がある。
【００１０】
更に、顔の表情や掌の開き加減、撮影角度等の相違によって生じる登録画像に対する入力画像のゆがみやずれ等にある程度対処することができるものの、同一人物の画像の変動を軽減し、他人の画像との相違を強調するような処理は行わないため、識別能力のさらなる向上は困難であるという問題がある。
【００１１】
本発明は、上記問題（課題）に鑑みてなされたものであって、各登録画像上におけるサンプル点の設定作業の負担を軽減し、また、画像集合の特徴を学習してそれらの特徴を効率良く表現した知識を利用することで、本人の画像と他人の画像の識別を効率的に行って認識率を高めることができる画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、請求項１の発明に係る画像認識装置は、本人の身体の所定の部位を取り込んだ入力画像と前記部位に関する本人および他人の複数の登録画像との間で、サンプル点における局所的な特徴を比較することによって画像を照合し本人確認を行う画像認識装置において、前記部位に関する画像集合内の複数の画像から平均画像を作成する平均画像作成手段と、前記平均画像上に設定されたサンプル点に対応する前記画像集合内の各画像上のサンプル点を検出して該サンプル点における特徴ベクトルの部分空間を作成する部分空間作成手段と、前記平均画像上のサンプル点に対応する前記登録画像上のサンプル点を前記部分空間を用いて検出する登録画像サンプル点検出手段と、前記登録画像上のサンプル点に対応する前記入力画像上のサンプル点を前記部分空間を用いて検出する入力画像サンプル点検出手段と、前記登録画像サンプル点検出手段により検出された前記登録画像上のサンプル点における特徴ベクトルと前記入力画像サンプル点検出手段により検出された前記入力画像上のサンプル点における特徴ベクトルとの前記部分空間内での類似度を算出して前記入力画像と前記登録画像とを照合し本人確認を行う照合判定手段とを備えたことを特徴とする。
【００１３】
また、請求項２の発明に係る画像認識装置は、請求項１に係る発明において、前記部分空間作成手段は、前記画像集合内の画像における特徴ベクトルと前記平均画像における特徴ベクトルとの相関を用いて前記平均画像上に設定されたサンプル点に対応する該画像集合内の画像上のサンプル点を検出する第１の検出手段と、前記第１の検出手段により検出された前記画像集合内の画像上のサンプル点における特徴ベクトルを用いて暫定的な特徴ベクトルの部分空間を作成する暫定部分空間作成手段と、前記画像集合内の画像における特徴ベクトルの前記部分空間への距離に基づいて前記平均画像上に設定されたサンプル点に対応する該画像集合内の画像上のサンプル点を検出する第２の検出手段と、前記第２の検出手段により検出された前記画像集合内の画像上のサンプル点における特徴ベクトルを用いて前記暫定部分空間作成手段により作成された前記部分空間を修正する部分空間修正手段とを備えたことを特徴とする。
【００１４】
また、請求項３の発明に係る画像認識装置は、請求項２に係る発明において、前記暫定部分空間作成手段は、前記画像集合から本人の画像ペアを用意して、前記第１の検出手段により検出された前記平均画像上に設定されたサンプル点に対応する該画像ペアの前記サンプル点における特徴ベクトル間の差分を求めて本人差部分空間を算出する第１の本人差部分空間算出手段と、前記画像集合から他人の画像ペアを用意して、前記第１の検出手段により検出された前記平均画像上に設定されたサンプル点に対応する該画像ペアの前記サンプル点における特徴ベクトル間の差分を求めて他人差部分空間を算出する第１の他人差部分空間算出手段と、前記本人差部分空間の補空間と前記他人差部分空間との交わり部を算出して該交わり部を部分空間とする第１の認識部分空間作成手段とを備えたことを特徴とする。
【００１５】
また、請求項４の発明に係る画像認識装置は、請求項２に係る発明において、前記部分空間修正手段は、前記画像集合から本人の画像ペアを用意して、前記第２の検出手段により検出された前記平均画像上に設定されたサンプル点に対応する該画像ペアの前記サンプル点における特徴ベクトル間の差分を求めて本人差部分空間を算出する第２の本人差部分空間算出手段と、前記画像集合から他人の画像ペアを用意して、前記第２の検出手段により検出された前記平均画像上に設定されたサンプル点に対応する該画像ペアの前記サンプル点における特徴ベクトル間の差分を求めて他人差部分空間を算出する第２の他人差部分空間算出手段と、前記本人差部分空間の補空間と前記他人差部分空間との交わり部を算出して該交わり部を部分空間とする第２の認識部分空間作成手段と、前記第２の認識部分空間作成手段で作成された該部分空間が収束するまで前記第２の検出手段と前記第２の本人差部分空間算出手段と前記第２の他人差部分空間算出手段と前記第２の認識部分空間作成手段とを繰り返し用いることにより前記部分空間を更新する認識部分空間更新手段とを備えたことを特徴とする。
【００１６】
また、請求項５の発明に係る画像認識装置は、請求項１〜４のいずれか一つに係る発明において、前記登録画像サンプル点検出手段は、前記平均画像上のサンプル点に対応する該登録画像上のサンプル点を該登録画像における特徴ベクトルと前記部分空間との距離に基づいて検出することを特徴とする。
【００１７】
また、請求項６の発明に係る画像認識装置は、請求項１〜５のいずれか一つに係る発明において、前記入力画像サンプル点検出手段は、前記登録画像上のサンプル点に対応する該入力画像上のサンプル点を該入力画像における特徴ベクトルと前記登録画像における特徴ベクトルの前記部分空間内での相関に基づいて検出することを特徴とする。
【００１８】
また、請求項７の発明に係る画像認識装置は、請求項１〜６のいずれか一つに係る発明において、前記照合判定手段は、前記登録画像上と前記入力画像上の対応する前記サンプル点における特徴ベクトルの前記部分空間内での相関に基づいて類似度を算出して前記入力画像と前記登録画像とを照合し本人確認を行うことを特徴とする。
【００１９】
また、請求項８の発明に係る画像認識方法は、本人の身体の所定の部位を取り込んだ入力画像と前記部位に関する本人および他人の複数の登録画像との間で、サンプル点における局所的な特徴を比較することによって画像を照合し本人確認を行う画像認識方法において、前記部位に関する画像集合内の複数の画像から平均画像を作成する平均画像作成工程と、前記平均画像上に設定されたサンプル点に対応する前記画像集合内の各画像上のサンプル点を検出して該サンプル点における特徴ベクトルの部分空間を作成する部分空間作成工程と、前記平均画像上のサンプル点に対応する前記登録画像上のサンプル点を前記部分空間を用いて検出する登録画像サンプル点検出工程と、前記登録画像上のサンプル点に対応する前記入力画像上のサンプル点を前記部分空間を用いて検出する入力画像サンプル点検出工程と、前記登録画像サンプル点検出工程により検出された前記登録画像上のサンプル点における特徴ベクトルと前記入力画像サンプル点検出工程により検出された前記入力画像上のサンプル点における特徴ベクトルとの前記部分空間内での類似度を算出して前記入力画像と前記登録画像とを照合し本人確認を行う照合判定工程と、を含んだことを特徴とする。
【００２０】
また、請求項９の発明に係るプログラムは、本人の身体の所定の部位を取り込んだ入力画像と前記部位に関する本人および他人の複数の登録画像との間で、サンプル点における局所的な特徴を比較することによって画像を照合し本人確認を行う画像認識方法をコンピュータに実行させるプログラムであって、前記部位に関する画像集合内の複数の画像から平均画像を作成する平均画像作成工程と、前記平均画像上に設定されたサンプル点に対応する前記画像集合内の各画像上のサンプル点を検出して該サンプル点における特徴ベクトルの部分空間を作成する部分空間作成工程と、前記平均画像上のサンプル点に対応する前記登録画像上のサンプル点を前記部分空間を用いて検出する登録画像サンプル点検出工程と、前記登録画像上のサンプル点に対応する前記入力画像上のサンプル点を前記部分空間を用いて検出する入力画像サンプル点検出工程と、前記登録画像サンプル点検出工程により検出された前記登録画像上のサンプル点における特徴ベクトルと前記入力画像サンプル点検出工程により検出された前記入力画像上のサンプル点における特徴ベクトルとの前記部分空間内での類似度を算出して前記入力画像と前記登録画像とを照合し本人確認を行う照合判定工程と、をコンピュータに実行させることを特徴とする。
【００２１】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラムの好適な実施の形態を詳細に説明する。なお以下では、顔画像を用いた顔画像認識の場合について説明する。
【００２２】
まず、本実施の形態に係る画像認識処理の概念について説明する。図１は、本実施の形態に係る画像認識処理の概念を説明するための説明図である。
【００２３】
図１に示すように、本実施の形態に係る顔画像認識処理は、オフラインでの学習時処理と照合時処理の２つの大きな処理からなり、学習時処理で顔画像の特徴を学習した知識１３を利用して照合処理を行うよう構成されている。
【００２４】
まず、オフラインでの学習時処理の処理手順を説明する。最初に、顔画像集合１０内の各画像に対し、両目、鼻、口の位置を指定する。ただし、ここでは最低限両目の位置を指定すればよい。そして、各顔画像の両目、鼻、口の位置が重なるように正規化し、各画素の濃淡値を平均して平均顔画像１１を作成する。
【００２５】
ここで、「画像集合」とは、複数の人物における身体の所定の部位に関する画像の集まりであり、またある特定の人物に関しても顔の表情や掌の開き加減、撮影角度等の相違によって異なる複数の本人画像を含むものである。この画像集合は登録画像の集合と同一である必要はない。
【００２６】
次に、作成された平均顔画像１１上に任意の数のサンプル点を指定する。図１では、平均顔画像１１上に１００個のサンプル点を指定した平均顔画像の例１２が示されている。そして、平均顔画像１１の特徴ベクトルと顔画像集合１０内の各画像の特徴ベクトルの相関を用いて、平均顔画像１１上のサンプル点に対応する顔画像集合１０内の各画像上のサンプル点を検出する。そして、検出されたサンプル点上で、顔画像集合１０内の各画像における特徴ベクトルの部分空間を主成分分析の手法を用いて作成する。この部分空間は暫定的なもので、後に修正される。
【００２７】
ここで、「特徴ベクトル」とは、サンプル点周辺における局所的な領域での画素の濃淡値やその濃淡値の変化率等の特徴量の集まりを一つのベクトルとして表したものであり、それらの特徴量を各々有する複数の画素の集まりからなるデジタル顔画像が与えられれば容易に作成することができる。
【００２８】
ここで、本実施の形態で用いられる部分空間の概念について説明する。図２は、本実施の形態に係る部分空間の概念を説明するための説明図である。特徴ベクトル空間２０内において、本人の変動部分空間２２は顔の表情や撮影角度等の相違によって異なる複数の本人画像ペアの特徴ベクトルの差から構成され、他人の変動部分空間２１は本人と他人との画像ペアの特徴ベクトルの差から構成される。目的とする部分空間２３は本人の変動部分空間２２の補空間と他人の変動部分空間２１の交わりより導くことができる。以降、このようにして構成された部分空間を「認識部分空間」と呼ぶ。
【００２９】
図１の説明に戻ると、顔画像集合１０内の画像を用いて作成された特徴ベクトルの暫定的な認識部分空間２３は、顔画像集合１０内の各画像における特徴ベクトルの認識部分空間２３への距離に基づいて修正される。
【００３０】
具体的には、顔画像集合１０内の各画像における特徴ベクトルの認識部分空間２３への距離を計算し、その距離が小さくなるような各画像上のサンプル点を検出する。サンプル点が検出されたらそのサンプル点の各画像における特徴ベクトルを基にして新しい認識部分空間２３を作成し、作成された認識部分空間２３が収束するまで、特徴ベクトルの認識部分空間２３への距離に基づいたサンプル点検出処理と、顔画像集合１０内の各画像のサンプル点における特徴ベクトルを基にした部分空間作成処理とを繰り返し、認識部分空間２３の修正を行う。得られた認識部分空間２３は、顔画像の特徴を学習した知識１３として画像照合時に利用される。
【００３１】
ここで、本実施の形態で用いられる、特徴ベクトルの認識部分空間２３への距離を用いた画像のサンプル点の検出の概念について説明する。図３は、本実施の形態に係る特徴ベクトルの認識部分空間２３への距離を用いた顔画像上のサンプル点検出の概念を説明する説明図である。
【００３２】
図３において、顔画像の特徴ベクトル３０の認識部分空間２３への距離３１は、その値が小さいほど認識部分空間２３内に抽出された顔の特徴に対応する特徴がその顔画像上に良く現れていることを意味する。すなわち、この距離が小さくなるようにサンプル点を選ぶことにより、平均顔画像１１上のサンプル点に対応したサンプル点をその画像上に設定することができる。
【００３３】
図１の説明に戻り、次に、照合時処理の処理手順を説明する。まず、登録画像１４における特徴ベクトルの認識部分空間２３への距離を計算し、その距離が小さくなるような登録画像上のサンプル点を検出する。図１には、登録画像１４上にサンプル点を検出した登録画像の例１５が示されている。
【００３４】
入力画像１６と照合するための登録画像１４を複数の登録画像の集合内から選択する方法には、その複数の登録画像の集合内から登録画像１４を次々に選択する方法や、本人によって入力されたＩＤ番号等で関連付けられた登録画像１４を特定して選択する方法等がある。
【００３５】
ここで、「登録画像」とは、濃淡値を各々有する複数の画素の集まりからなるデジタル顔画像と、そのデジタル顔画像の複数の画素において、画素の周辺における局所的な領域で作成された特徴ベクトルからなる特徴ベクトル情報とを指している。但し、登録画像に特徴ベクトル情報を少なくとも含んでいれば、顔画像の照合時処理を行うことができる。
【００３６】
また、入力画像１６に関しては、登録画像１４上の検出されたサンプル点に対応するサンプル点を、認識部分空間２３内における入力画像１６と登録画像１４の特徴ベクトルの相関を用いて検出する。図１には、入力画像１６上にサンプル点を検出した入力画像の例１７が示されている。
【００３７】
図４は、本実施の形態に係る入力画像１６上のサンプル点検出の概念を説明する説明図である。図４に示されるように、入力画像１６の特徴ベクトルと登録画像１４の特徴ベクトルを認識部分空間２３上へ射影し、射影された入力画像の特徴ベクトル４０と射影された登録画像の特徴ベクトル４１間の相関値を、射影された両特徴ベクトル間のなす角θの余弦、すなわちｃｏｓ θで算出する。この値が大きいほど、そのサンプル点における両画像の特徴が類似していることを意味する。
【００３８】
図１の説明に戻って、登録画像１４と入力画像１６上の対応するサンプル点が検出されたら、次に、そのサンプル点において認識部分空間２３内へ射影された登録画像１４の特徴ベクトルと入力画像１６の特徴ベクトルを用いて両特徴ベクトルの相関値を認識部分空間２３内で算出する。この処理をすべてのサンプル点に対して行う。そして、その入力画像１６と登録画像１４の画像ペアに対する相関値の平均値を算出し、類似度とする。図１において、平均顔画像１１上に１００個のサンプル点を設定した例１２では、１００個の相関値の平均値（類似度）を算出する。そして、その類似度に基づいて本人と他人の識別判定を行う。
【００３９】
次に、本実施の形態に係る顔画像認識装置の構成について説明する。図５は本実施の形態に係る顔画像認識装置の構成を示す機能ブロック図である。
【００４０】
図５に示すように、本実施の形態に係る顔画像認識装置５０は、顔画像入力受付部５１と、正規化処理部５２と、顔画像学習部５３と、登録画像記憶部５４と、登録画像サンプル点検出部５５と、入力画像サンプル点検出部５６と、類似度算出部５７と、照合判定部５８とを備えている。
【００４１】
顔画像入力受付部５１は、学習用の顔画像集合、入力顔画像、登録用顔画像を装置内に取り込むための受付部であり、受け付けた画像を正規化処理部５２に出力する。
【００４２】
正規化処理部５２は、顔画像入力受付部５１から画像を取得し、画像に正規化処理をして各画像の顔のサイズを整合させ、受け取った画像が学習用の顔画像集合の画像であれば顔画像学習部５３へ、登録用顔画像であれば登録画像記憶部５４へ、入力顔画像であれば入力画像サンプル点検出部５６へ正規化した画像を出力する。
【００４３】
顔画像学習部５３は、正規化された顔画像集合を正規化処理部５２から取得し、その顔画像集合１０を用いて平均顔画像１１を作成し、その平均顔画像１１を用いて特徴ベクトルの認識部分空間２３を作成する。
【００４４】
登録画像記憶部５４は、顔画像入力受付部５１に登録用顔画像が受け付けられたときに、正規化処理部５２によって正規化された登録用画像１４を取得して記憶する。
【００４５】
登録画像サンプル点検出部５５は、登録画像１４と入力画像１６との間で照合判定が行われる際に、顔画像学習部５３から認識部分空間２３を読み込み、登録画像記憶部５４から登録画像１４を読み込んで、登録画像１４における特徴ベクトルの認識部分空間２３への距離を用いて登録画像１４上のサンプル点を検出する。
【００４６】
入力画像サンプル点検出部５６は、登録画像１４と入力画像１６との間で照合判定が行われる際に、顔画像学習部５３から認識部分空間２３を読み込み、正規化処理部５２から入力画像１６を読み込み、登録画像サンプル点検出部５５から登録画像１４と登録画像１４上のサンプル点情報を読み込み、登録画像１４と入力画像１６との特徴ベクトルの認識部分空間２３内での相関を計算して入力画像１６上のサンプル点を検出する。
【００４７】
類似度算出部５７は、登録画像１４と入力画像１６のサンプル点情報と、入力画像サンプル点検出部５６で計算された各サンプル点における登録画像１４と入力画像１６の特徴ベクトルの認識部分空間２３内での相関値データを読み込み、登録画像１４と入力画像１６の間の類似度を算出する。
【００４８】
照合判定部５８は、類似度算出部５７で得られた登録画像１４と入力画像１６の類似度を読み込み、その類似度に基づいて登録画像１４と入力画像１６との照合判定を行い、照合結果を出力する。
【００４９】
以降、図１に示された、本実施の形態に係る画像認識処理をさらに具体的に説明する。図６は、本実施の形態に係る顔画像データを正規化する正規化処理のフローチャートである。この処理は正規化処理部５２によって行われる。なお、ここでは顔画像入力受付部５１が受け付けた画像が学習用の顔画像集合であった場合を示してある。
【００５０】
まず、平均顔画像１１を仮に設けその画像上に仮の両目位置を設定する（ステップＳ６０１）。次に、顔画像受付部５１を通じて顔画像集合１０内の顔画像データを読み出し（ステップＳ６０２）、読み出した各顔画像データの両目、鼻、口の位置を指定する（ステップＳ６０３）。ただし、ここでは最低限両目の位置を指定すればよい。
【００５１】
両目、鼻、口の位置が指定された後、各顔画像データの両目位置が平均顔画像１１の両目位置に重なるようにアフィン変換を行い（ステップＳ６０４）、アフィン変換後の各顔画像データの両目、鼻、口の正規位置を算出する（ステップＳ６０５）。そして、算出された両目、鼻、口の正規位置の平均値を算出し（ステップＳ６０６）、平均顔画像１１の両目、鼻、口の位置を設定する（ステップＳ６０７）。
【００５２】
平均顔画像１１の両目、鼻、口の位置が設定されたら、各顔画像データの両目、鼻、口の位置が平均顔画像１１の両目、鼻、口の位置に重なるようにアフィン変換を行い（ステップＳ６０８）、画像集合１０内の各顔画像の正規化画像を作成する（ステップＳ６０９）。
【００５３】
なお、ここでは顔画像入力受付部５１が受け付けた画像が学習用の顔画像集合１０であった場合を示したが、学習時処理が終了して、受け付けた画像が入力顔画像あるいは登録用顔画像であった場合には、すでに平均顔画像１１の両目、鼻、口の位置が学習時において設定されているので、顔画像データを読み出し（ステップＳ６０２）、読み出した顔画像データの両目、鼻、口の位置を指定し（ステップＳ６０３）、顔画像データの両目、鼻、口の位置が平均顔画像１１の両目、鼻、口の位置に重なるようアフィン変換を行い（ステップＳ６０８）、読み込んだ画像の正規化画像を作成する（ステップＳ６０９）処理を行うだけでよい。
【００５４】
次に、顔画像学習部５３において顔画像集合１０から特徴ベクトルの認識部分空間２３を作成する処理について説明する。図７は、本実施の形態に係る顔画像集合１０から特徴ベクトルの認識部分空間２３を作成する認識部分空間作成処理のフローチャートである。
【００５５】
まず、学習用の顔画像集合１０からＮ個の顔画像データを読み込む（ステップＳ７０１）。読み込まれたＮ個の顔画像データの対応する各画素の濃淡値の平均を算出し（ステップＳ７０２）、平均顔画像１１を作成する（ステップＳ７０３）。そして、作成された平均顔画像１１上にＭ個のサンプル点を設定する（ステップＳ７０４）。
【００５６】
同様に、Ｎ個の顔画像集合１０内の各顔画像データ上にも平均顔画像１１上のサンプル点に対応するＭ個のサンプル点を設定し（ステップＳ７０５）、対応するＭ個のサンプル点上で平均顔画像１１とＮ個の各顔画像データの特徴ベクトル間の相関を計算する（ステップＳ７０６）。この特徴ベクトル間の相関がある閾値よりも大きいかどうかを調べ（ステップＳ７０７）、相関が大きい場合は、Ｎ個の各顔画像データ上に平均顔画像１１のＭ個のサンプル点に対応するサンプル点を確定する（ステップＳ７０８）。相関が小さい場合は、Ｎ個の各顔画像データ上にＭ個のサンプル点を設定し直し（ステップＳ７０５）、相関が大きくなるサンプル点が見つかるまでこれらの処理（ステップＳ７０５〜ステップＳ７０７）を繰り返す。
【００５７】
そして、Ｎ個の各顔画像データ上に平均顔画像１１のＭ個のサンプル点に対応するサンプル点を確定（ステップＳ７０８）した後、Ｎ個の各顔画像データ上の各々Ｍ個のサンプル点における特徴ベクトルの認識部分空間２３をＭ個作成する（ステップＳ７０９）。
【００５８】
次に、図７の認識部分空間２３を作成する処理（ステップＳ７０９）において、サンプル点での認識部分空間２３を作成する具体的な作成処理について説明する。図８は、本実施の形態に係るサンプル点での認識部分空間２３を作成する認識部分空間作成処理のフローチャートである。
【００５９】
まず、Ｎ個の学習用の顔画像集合１０内の顔画像データからＮｓ組の本人画像のデータペアを選択する（ステップＳ８０１）。本人画像のデータペアとは、顔の表情や撮影角度等の相違によって異なる複数の本人画像からなるものである。そして、データペアの対応するサンプル点における特徴ベクトルの差分を計算し（ステップＳ８０２）、それを基にして本人差部分空間Ｓｓを算出する（ステップＳ８０３）。
【００６０】
次に、Ｎ個の学習用の顔画像集合１０内の顔画像データからＮо組の他人の画像のデータペアを選択し（ステップＳ８０４）、データペアの対応するサンプル点における特徴ベクトルの差分を計算し（ステップＳ８０５）、それを基にして他人差部分空間Ｓоを算出する（ステップＳ８０６）。
【００６１】
本人差部分空間Ｓｓと他人差部分空間Ｓоが算出されたら、本人差部分空間Ｓｓの補空間ＳｓＣと他人差部分空間Ｓоとの交わりＳ、すなわち
Ｓ ＝ Ｓｏ ∩ ＳｓＣ
を算出し、これを認識部分空間２３とする（ステップＳ８０７）。
【００６２】
次に、図８の本人差部分空間Ｓｓおよび他人差部分空間Ｓоを作成する処理（ステップＳ８０３、ステップＳ８０６）において、サンプル点での特徴ベクトルを基にして部分空間を作成する具体的な処理について説明する。図９は、本実施の形態に係る特徴ベクトルを基にして部分空間を作成する部分空間作成処理のフローチャートである。
【００６３】
まず、Ｒ次元のＮ個の特徴ベクトルＸｉ（１≦ｉ≦Ｎ）を入力する（ステップＳ９０１）。そして、Ｒ行Ｒ列の相関行列Ｍを
Ｍ（ｋ，ｌ） ＝ １／Ｎ Σ Ｘｉ（ｋ）Ｘｉ（ｌ）
の算定式を用いて算出する（ステップＳ９０２）。ここで、１≦ｋ，ｌ≦Ｒである。
【００６４】
相関行列Ｍが得られたらそれを用いてＲ個の固有値を計算し（ステップＳ９０３）、大きいほうからｒ個（ｒ≦Ｒ）の固有値を抽出して（ステップＳ９０４）、ｒ個の固有値に対応する固有ベクトルが張る空間を算出し、ｒ次元の部分空間を求める（ステップＳ９０５）。これは数学的には主成分分析という統計的手法と同一である。
【００６５】
次に、図８の本人差部分空間Ｓｓの補空間ＳｓＣと他人差部分空間Ｓｏとの交わりを算出することによって認識部分空間２３を作成する処理（ステップＳ８０７）において、本人差部分空間Ｓｓと他人差部分空間Ｓｏから認識部分空間２３を算出する具体的な処理について説明する。図１０は、本実施の形態に係る認識部分空間２３を算出する認識部分空間算出処理のフローチャートである。
【００６６】
まず、本人差部分空間Ｓｓの射影行列Ｐｓを算出し（ステップＳ１００１）、次に他人差部分空間Ｓｏの射影行列Ｐｏを算出する（ステップＳ１００２）。そして、定数α（０≦α≦１）を設定し、式
Ｐ ＝ α Ｐо ＋ （１ − α）（Ｉ − Ｐｓ）
により、行列Ｐを算出する（ステップＳ１００３）。ここで、Ｉは単位行列である。αは他人差部分空間と本人差部分空間の補集合との重みを調整するパラメータであり、任意に指定できる。以下、この行列Ｐを混合行列と呼ぶこととする。
【００６７】
そして、混合行列の固有値を算出し（ステップＳ１００４）、その固有値に対する閾値を設定する（ステップＳ１００５）。混合行列の固有値の取りうる範囲は０以上１以下であり、閾値は１に近く、１以下の値に設定する。そして、閾値以上の固有値を抽出してその固有値に対する固有ベクトルが張る空間を算出し、認識部分空間２３とする（ステップＳ１００６）。
【００６８】
次に、顔画像学習部５３において、図７で示された処理により作成された認識部分空間２３を、学習用の顔画像集合１０を用いて修正しながら顔の特徴を学習する具体的な処理について説明する。図１１は、本実施の形態に係る顔画像集合１０から特徴ベクトルの認識部分空間２３を修正する認識部分空間修正処理のフローチャートである。
【００６９】
まず、認識部分空間２３の収束計算の最大反復回数を設定し（ステップＳ１１０１）、学習用の顔画像集合１０内のＮ個の各顔画像上に平均顔画像１１上のＭ個のサンプル点に対応するＭ個のサンプル点を設定する（ステップＳ１１０２）。そして、Ｎ個の各顔画像におけるＭ個の特徴ベクトルの対応するＭ個の認識部分空間２３への距離を計算する（ステップＳ１１０３）。
【００７０】
そして、この認識部分空間２３への距離がある閾値よりも小さいかどうかを調べ（ステップＳ１１０４）、距離が小さい場合は、Ｎ個の各顔画像データ上に平均顔画像１１上のＭ個のサンプル点に対応するサンプル点を確定する（ステップＳ１１０５）。距離が大きい場合は、Ｎ個の各顔画像データ上にＭ個のサンプル点を設定し直し（ステップＳ１１０２）、距離が小さくなるサンプル点が見つかるまでこれらの処理（ステップＳ１１０２〜ステップＳ１１０４）を繰り返す。
【００７１】
Ｎ個の各顔画像データ上に平均顔画像１１上のＭ個のサンプル点に対応するサンプル点が確定（ステップＳ１１０５）されたら、Ｎ個の各顔画像データ上の各々Ｍ個のサンプル点における特徴ベクトルの認識部分空間２３をＭ個作成する（ステップＳ１１０６）。そして、この認識部分空間２３が収束したかどうかを調べ（ステップＳ１１０７）、収束した場合は学習が終了したとして認識部分空間２３の修正処理を終える。収束しなかった場合には、次に、収束計算の反復回数が設定した最大反復回数より小さいかどうかを調べ（ステップＳ１１０８）、小さくない場合には認識部分空間２３の修正処理を終え、小さい場合には、Ｎ個の各顔画像データ上にＭ個のサンプル点を設定し直して（ステップＳ１１０２）、認識部分空間２３が収束するまでこれらの処理（ステップＳ１１０２〜ステップＳ１１０８）を繰り返す。
【００７２】
次に、図１１に示された、認識部分空間２３が収束したかどうかを調べる処理（ステップＳ１１０７）の具体的な手順について説明する。図１２は、本実施の形態に係る認識部分空間２３の収束を判定する認識部分空間収束判定処理のフローチャートである。
【００７３】
まず、修正前後の２つの認識部分空間２３に対する正準角の閾値を設定し（ステップＳ１２０１）、その正準角を算出する（ステップＳ１２０２）。そして、複数の正準角の内、最小の正準角が閾値よりも小さいかどうかを調べ（ステップＳ１２０３）、小さい場合は認識部分空間２３が収束したと判定し（ステップＳ１２０４）、小さくない場合は認識部分空間２３が未収束と判定する（ステップＳ１２０５）。
【００７４】
次に、登録画像１４と入力画像１６を照合して本人確認を行う照合判定処理の処理手順を説明する。図１３は、本実施の形態に係る照合判定処理の処理手順を示すフローチャートである。
【００７５】
まず、登録画像サンプル点検出部５５は、登録画像記憶部５４に記憶されている登録画像１４と顔画像学習部５３により作成された認識部分空間２３のデータを読み込み、登録画像１４上に平均顔画像１１上のサンプル点に対応するＭ個のサンプル点を設定する（ステップＳ１３０１）。そして、対応する各サンプル点上で登録画像１４の特徴ベクトルの認識部分空間２３への距離を算出する（ステップＳ１３０２）。この距離の概念は、図３において既に説明したものである。
【００７６】
その後、この認識部分空間２３への距離がある閾値よりも小さいかどうかを調べ（ステップＳ１３０３）、距離が小さい場合は、Ｎ個の各顔画像データ上に平均顔画像１１のＭ個のサンプル点に対応するサンプル点を確定する（ステップＳ１３０４）。距離が小さくない場合には、Ｎ個の各顔画像データ上にＭ個のサンプル点を設定し直し（ステップＳ１３０１）、距離が小さくなるサンプル点が見つかるまでこれらの処理（ステップＳ１３０１〜ステップＳ１３０３）を繰り返す。これらの処理（ステップＳ１３０１〜ステップＳ１３０４）は、登録画像サンプル点検出部５５にて行われる。
【００７７】
次に、入力画像サンプル点検出部５６は、正規化処理部５２より正規化された入力画像１６と、顔画像学習部５３より作成された認識部分空間データ２３と、登録画像サンプル点検出部５５より検出されたサンプル点データと正規化された登録画像１４とをそれぞれ読み込み、入力画像１６上に登録画像１４上のサンプル点に対応するＭ個のサンプル点を設定する（ステップＳ１３０５）。そして、対応するサンプル点上で登録画像１４と入力画像１６の特徴ベクトルの各認識部分空間２３内での相関を算出する（ステップＳ１３０６）。
【００７８】
その後、この登録画像１４と入力画像１６の特徴ベクトルの認識部分空間２３内での相関がある閾値よりも大きいかどうかを調べ（ステップＳ１３０７）、相関が大きい場合は、入力画像１６上に登録画像１４上のＭ個のサンプル点に対応するサンプル点を確定する（ステップＳ１３０８）。相関が小さい場合は、入力画像１６上にＭ個のサンプル点を設定し直し（ステップＳ１３０５）、相関が閾値よりも大きくなるサンプル点が見つかるまでこれらの処理（ステップＳ１３０５〜ステップＳ１３０７）を繰り返す。これらの処理（ステップＳ１３０５〜ステップＳ１３０８）は、入力画像サンプル点検出部５６にて行われる。
【００７９】
この認識部分空間２３内での相関の概念は、図４において既に説明したものであり、具体的には、認識部分空間２３上に射影された登録画像１４と入力画像１６の両特徴ベクトル間のなす角θの余弦、すなわちｃｏｓ θで表される。
【００８０】
登録画像１４と入力画像１６の対応するサンプル点が確定されると（ステップＳ１３０８）、類似度算出部５７は、その確定されたサンプル点間における登録画像１４と入力画像１６の相関値データを入力画像サンプル点検出部５６から読み込み、登録画像１４と入力画像１６間の類似度を各サンプル点における相関値の平均値を求めることにより算出する（ステップＳ１３０９）。そして、照合判定部５８は、この類似度の大小に基づいて登録画像１４と入力画像１６の照合判定を行い（ステップＳ１３１０）、登録画像１４に対応する本人であるかどうかの判定結果を出力する（ステップＳ１３１１）。
【００８１】
次に、本実施の形態に係る顔画像認識装置のハードウェア構成について説明する。図１４は本実施の形態に係る顔画像認識装置のシステム構成を示すブロック図である。
【００８２】
図１４に示すように、この顔画像認識装置５０は、インターフェース部６４と、演算制御部６５と、主記憶部６６と、補助記憶部６７とからなり、入力装置６８と、表示装置６９とが接続されている、コンピュータを利用したスタンドアローン型における構成である。
【００８３】
また、この顔画像認識装置５０には、入力画像を取り込むためのＣＣＤカメラ６０がインターフェース６４を介して接続されており、ＣＣＤカメラ６０は画像入力部６１と、画像メモリ６２と、インターフェース部６３で構成されている。
【００８４】
まず、ＣＣＤカメラ６０の構成について具体的に説明する。画像入力部６１は、被写体である顔からの光をレンズで集光し、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を使用して顔画像を電気信号に変換し、ディジタルデータに変換して顔画像データを画像メモリ６２に記録する。
【００８５】
画像メモリ６２は画像入力部６１のバッファメモリとして利用され、顔画像認識装置５０が顔画像の入力を受け付けることができない場合に、顔画像データを一時的に記憶する。顔画像認識装置５０が入力画像の受け付け可能な状態となれば、インターフェース部６３を通じて顔画像データが顔画像認識装置５０に出力される。
【００８６】
次に、顔画像認識装置５０の構成について具体的に説明する。インターフェース部６４は、演算制御部６５の制御のもと、ＣＣＤカメラ６０からの入力画像の受け付けを行い、また入力装置６８からのデータの受け付け、表示装置６９へのデータの受け渡しを行う。
【００８７】
入力装置６８は、キーボード、マウス、タッチパネル等で構成され、顔画像認識プログラム実行時には、顔画像に対し両目、鼻、口の位置を指定する際（ステップＳ６０３）や作成された平均顔上にサンプル点を指定する際（ステップＳ７０４）等に用いられる。
【００８８】
表示装置６９は、ディスプレイモニタであり、顔画像認識プログラムを実行時には、平均顔画像１１上のサンプル点の表示、登録画像１４上のサンプル点の表示、入力画像１６上のサンプル点の表示、あるいは照合判定結果の表示（ステップＳ１３１１）等に用いられる。
【００８９】
補助記憶部６７は、例えば、フロッピー（登録商標）ディスクドライブ装置（ＦＤＤ）、ハードディスクドライブ装置（ＨＤＤ）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ等からデータを読み込むことができるＣＤドライブ装置、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等からデータを読み込むことができるＤＶＤドライブ装置等である。
【００９０】
本実施の形態の顔画像認識装置５０で実行される顔画像認識プログラムは、ＦＤ、ＣＤ−ＲＯＭまたはＤＶＤ−ＲＯＭ等に実行可能な形式のファイルで記録されて提供される。そして、フロッピー（登録商標）ディスクドライブ装置、ＣＤドライブ装置またはＤＶＤドライブ等によって読み出されて実行される。
【００９１】
また、学習用の顔画像集合１０内の顔画像データおよび登録用の顔画像データもＦＤ、ＣＤ−ＲＯＭまたはＤＶＤ−ＲＯＭ等により提供され、フロッピー（登録商標）ディスクドライブ装置、ＣＤドライブ装置またはＤＶＤドライブによって読み出されて、学習用の顔画像データは顔画像学習部５３において記憶、処理され、登録用の顔画像データは登録画像記憶部５４に記憶されるようになっている。この補助記憶部６７は、本発明の記憶手段を構成するものである。
【００９２】
なお、この補助記憶部６７は顔画像認識装置５０内に直接接続されている必要はなく、補助記憶部６７がネットワーク上に存在する構成であってもよい。例えば、インターネットやＬＡＮ上に顔画像サーバを設置し、学習用の顔画像データや登録用の顔画像データを記憶して、必要に応じてダウンロードする構成としてもよい。この場合には、顔画像認識装置５０には、さらにモデムやＬＡＮボード等の通信部を設ける必要がある。
【００９３】
また、本実施の形態の顔画像認識装置５０は、システム全体を制御するＣＰＵ等の演算制御部６５と、ＲＡＭとＲＯＭ等の記憶媒体からなる主記憶部６６が設けられている。ＲＯＭには予めブートプログラム等が記憶されており、ＲＡＭにはＨＤから読み出したＯＳ（オペレーションシステム）の一部および顔画像認識プログラム等が記憶され、演算制御部６５がこれらのプログラムを実行する。さらに、ＲＡＭには顔画像認識プログラムの実行時に読み出された各種の顔画像データ、サンプル点データ、演算結果等が記憶される。
【００９４】
上述してきたように、本実施の形態では、まず、顔画像集合１０からサンプル点を指定するのに用いる平均顔画像１１を作成し、平均顔画像１１上のサンプル点に対応する顔画像集合１０内の各顔画像上のサンプル点を検出して特徴ベクトルの認識部分空間２３を作成し、その認識部分空間２３を用いて平均顔画像１１上のサンプル点に対応する登録画像１４上のサンプル点を検出し、認識部分空間２３と登録画像１４を用いて登録画像１４上のサンプル点に対応する入力画像１６上のサンプル点を検出し、検出された登録画像１４と入力画像１６の認識部分空間２３内での特徴ベクトルの類似度を算出し、登録画像１４と入力画像１６の照合判定を行うよう構成したので、サンプル点を平均顔画像１１上にだけ指定すればよくサンプル点設定に係る作業負担を低減することができる。
【００９５】
また、照合判定に部分空間を用い、さらに、その部分空間を顔の表情や撮影角度等の相違による本人変動に影響されにくく、また、他人画像との特徴の差が大きく現れるように部分空間を構成して認識部分空間２３としたので、本人画像と他人画像の識別能力を高めることができる。
【００９６】
なお、本実施の形態では、画像認識装置の認識対象画像が顔画像である場合を示したが、本発明はこれに限定されるものではなく、何らかの目印となるものが含まれる身体の所定の部位にも適用できる。例えば、掌紋の例では、顔の場合の目鼻口に対応するものとして手筋を用いることができる。
【００９７】
すなわち、顔画像の場合は平均顔画像１１を作成する際に両目、鼻、口の位置を指定したが（ステップＳ６０３）、掌紋画像の場合には代わりに手筋の位置を指定すればよい。また、特徴ベクトルとしては掌紋の隆起線の方向、曲率等の特徴量を用いればよい。それ以外の処理は顔画像の場合と変わるところがないので、掌紋画像認識装置を容易に実現することができる。
【００９８】
【発明の効果】
以上説明したように、請求項１の発明によれば、身体の所定の部位に関する複数の画像集合から平均画像を作成し、該平均画像上に設定されたサンプル点に対応する画像集合内の画像上のサンプル点を検出して該サンプル点における特徴ベクトルの部分空間を作成し、設定された平均画像上のサンプル点に対応する登録画像上のサンプル点を作成された部分空間を用いて検出し、検出された登録画像上のサンプル点に対応する入力画像上のサンプル点を作成された部分空間を用いて検出し、作成された部分空間内で検出された登録画像と入力画像上のサンプル点における特徴ベクトルの類似度を算出して登録画像と入力画像とを照合し本人確認を行うため、各登録画像上にサンプル点を指定する必要がなく、平均画像上にのみサンプル点を指定すればよいため、サンプル点の指定に係る作業の負担を軽減し、サンプル点を記憶する記憶容量を低減させることが可能な画像処理装置が得られるという効果を奏する。
【００９９】
また、個々人の画像の特徴を特徴ベクトルの部分空間を用いて表現するので、万人に共通する特徴を除去し個人の特徴が強調され、効率良く画像の特徴を知識として抽出することができ、本人画像と他人画像の識別能力を向上させることが可能な画像処理装置が得られるという効果を奏する。
【０１００】
また、請求項２の発明によれば、画像集合内の画像における特徴ベクトルと平均画像における特徴ベクトルとの相関を用いて平均画像上に設定されたサンプル点に対応する該画像集合内の画像上のサンプル点を検出し、検出された該画像集合内の画像上のサンプル点における特徴ベクトルを用いて暫定的な特徴ベクトルの部分空間を作成し、該画像集合内の画像における特徴ベクトルの該部分空間への距離に基づいて平均画像上に設定されたサンプル点に対応する該画像集合内の画像上のサンプル点を検出し、検出された該画像集合内の画像上のサンプル点における特徴ベクトルを用いて暫定部分空間作成手段により作成された特徴ベクトルの部分空間を修正することとしたので、特徴ベクトルの部分空間を作成する際に、平均画像上のサンプル点に対応する画像集合内の画像上のサンプル点を効率よく検出し、部分空間を作成することが可能な画像認識装置が得られるという効果を奏する。
【０１０１】
また、請求項３の発明によれば、画像集合から本人の画像ペアを用意して、平均画像上に設定されたサンプル点に対応する該画像ペアのサンプル点における特徴ベクトル間の差分を求めて本人差部分空間を算出し、また画像集合から他人の画像ペアを用意して、平均画像上に設定されたサンプル点に対応する該画像ペアのサンプル点における特徴ベクトル間の差分を求めて他人差部分空間を算出し、算出された本人差部分空間の補空間と他人差部分空間の交わり部を算出して該交わり部を部分空間とすることとしたので、本人画像の変動が除外されるため、顔の表情や掌の開き加減、撮影角度等の相違による本人画像の変動によるノイズに強く、また本人と他人との変動が強調されるので該部分空間に効率良く知識を抽出することができ、本人画像と他人画像との識別能力を向上させることが可能な画像認識装置が得られるという効果を奏する。
【０１０２】
また、請求項４の発明によれば、画像集合から本人の画像ペアを用意して、平均画像上に設定されたサンプル点に対応する該画像ペアのサンプル点における特徴ベクトル間の差分を求めて本人差部分空間を算出し、また画像集合から他人の画像ペアを用意して、平均画像上に設定されたサンプル点に対応する該画像ペアのサンプル点における特徴ベクトル間の差分を求めて他人差部分空間を算出し、算出された本人差部分空間の補空間と他人差部分空間の交わり部を算出して該交わり部を部分空間とし、そこで作成された該部分空間が収束するまで、第２の検出手段と第２の本人差部分空間算出手段と第２の他人差部分空間算出手段と第２の認識部分空間作成手段とを繰り返し用いることにより該部分空間を更新することとしたので、暫定部分空間作成手段により作成された暫定的な部分空間よりもより精度良く画像集合の特徴を抽出した部分空間を作成することができ、その部分空間を用いて本人画像と他人画像とを識別する際に識別能力を向上させることが可能な画像認識装置が得られるという効果を奏する。
【０１０３】
また、請求項５の発明によれば、平均画像上のサンプル点に対応する登録画像上のサンプル点を、該登録画像における特徴ベクトルと部分空間との距離に基づいて検出することとしたので、平均画像と登録画像の間で顔の表情や掌の開き加減、撮影角度等の相違があった場合でも、平均画像のサンプル点に対応する登録画像上のサンプル点を精度良く検出することが可能な画像認識装置が得られるという効果を奏する。
【０１０４】
また、請求項６の発明によれば、検出された登録画像上のサンプル点に対応する入力画像上のサンプル点を、該入力画像における特徴ベクトルと該登録画像における特徴ベクトルの部分空間内での相関に基づいて検出することとしたので、入力画像と登録画像との間で顔の表情や掌の開き加減、撮影角度等の相違があった場合でも、登録画像との照合が行われる入力画像上のサンプル点を精度良く検出することが可能な画像認識装置が得られるという効果を奏する。
【０１０５】
また、請求項７の発明によれば、検出された登録画像と入力画像上のサンプル点間における特徴ベクトルの部分空間内での相関に基づいて類似度を算出して入力画像と登録画像とを照合し本人確認を行うこととしたので、入力画像と登録画像の間で表情や掌の開き加減、撮影角度等の相違があった場合でも、精度良く効率的に照合判定を行うことが可能な画像認識装置が得られるという効果を奏する。
【０１０６】
また、請求項８の発明によれば、身体の所定の部位に関する複数の画像集合から平均画像を作成し、該平均画像上に設定されたサンプル点に対応する画像集合内の画像上のサンプル点を検出して該サンプル点における特徴ベクトルの部分空間を作成し、設定された平均画像上のサンプル点に対応する登録画像上のサンプル点を作成された部分空間を用いて検出し、検出された登録画像上のサンプル点に対応する入力画像上のサンプル点を作成された部分空間を用いて検出し、作成された部分空間内で検出された登録画像と入力画像上のサンプル点における特徴ベクトルの類似度を算出して入力画像と登録画像とを照合し本人確認を行うため、各登録画像上にサンプル点を指定する必要がなく、平均画像上にのみサンプル点を指定すればよいため、サンプル点の指定に係る作業の負担を軽減し、サンプル点を記憶する記憶容量を低減させることが可能な画像認識方法が得られるという効果を奏する。
【０１０７】
また、個々人の画像の特徴を特徴ベクトルの部分空間を用いて表現するので、万人に共通する特徴を除去し個人の特徴が強調され、効率良く画像の特徴を知識として抽出することができ、本人画像と他人画像の識別能力を向上させることが可能な画像認識方法が得られるという効果を奏する。
【０１０８】
また、請求項９の発明によれば、身体の所定の部位に関する複数の画像集合から平均画像を作成し、該平均画像上に設定されたサンプル点に対応する画像集合内の画像上のサンプル点を検出して該サンプル点における特徴ベクトルの部分空間を作成し、設定された平均画像上のサンプル点に対応する登録画像上のサンプル点を作成された部分空間を用いて検出し、検出された登録画像上のサンプル点に対応する入力画像上のサンプル点を作成された部分空間を用いて検出し、作成された部分空間内で検出された登録画像と入力画像上のサンプル点における特徴ベクトルの類似度を算出して入力画像と登録画像とを照合し本人確認を行うため、各登録画像上にサンプル点を指定する必要がなく、平均画像上にのみサンプル点を指定すればよいため、サンプル点の指定に係る作業の負担を軽減し、サンプル点を記憶する記憶容量を低減させることが可能なプログラムが得られるという効果を奏する。
【０１０９】
また、個々人の画像の特徴を特徴ベクトルの部分空間を用いて表現するので、万人に共通する特徴を除去し個人の特徴が強調され、効率良く画像の特徴を知識として抽出することができ、本人画像と他人画像の識別能力を向上させることが可能なプログラムが得られるという効果を奏する。
【図面の簡単な説明】
【図１】本実施の形態に係る画像認識処理の概念を説明するための説明図である。
【図２】本実施の形態に係る部分空間の概念を説明するための説明図である。
【図３】本実施の形態に係る特徴ベクトルの認識部分空間への距離を用いた顔画像上のサンプル点検出の概念を説明する説明図である。
【図４】本実施の形態に係る入力画像上のサンプル点検出の概念を説明する説明図である。
【図５】本実施の形態に係る顔画像認識装置の構成を示す機能ブロック図である。
【図６】本実施の形態に係る顔画像データを正規化する正規化処理のフローチャートである。
【図７】本実施の形態に係る顔画像集合から特徴ベクトルの認識部分空間を作成する認識部分空間作成処理のフローチャートである。
【図８】本実施の形態に係るサンプル点での認識部分空間を作成する認識部分空間作成処理のフローチャートである。
【図９】本実施の形態に係る特徴ベクトルを基にして部分空間を作成する部分空間作成処理のフローチャートである。
【図１０】本実施の形態に係る認識部分空間を算出する認識部分空間算出処理のフローチャートである。
【図１１】本実施の形態に係る顔画像集合から特徴ベクトルの認識部分空間を修正する認識部分空間修正処理のフローチャートである。
【図１２】本実施の形態に係る認識部分空間の収束を判定する認識部分空間収束判定処理のフローチャートである。
【図１３】本実施の形態に係る照合判定処理の処理手順を示すフローチャートである。
【図１４】本実施の形態に係る顔画像認識装置のシステム構成を示すブロック図である。
【符号の説明】
１０ 顔画像集合
１１ 平均顔画像
１２ １００個のサンプル点を指定した平均顔画像の例
１３ 知識
１４ 登録画像
１５ サンプル点を検出した登録画像の例
１６ 入力画像
１７ サンプル点を検出した入力画像の例
２０ 特徴ベクトル空間
２１ 他人の変動部分空間
２２ 本人の変動部分空間
２３ 目的とする認識部分空間
３０ 顔画像の特徴ベクトル
３１ 特徴ベクトルの認識部分空間への距離
４０ 入力画像の特徴ベクトルの認識部分空間への射影
４１ 登録画像の特徴ベクトルの認識部分空間への射影
５０ 顔画像認識装置
５１ 顔画像入力受付部
５２ 正規化処理部
５３ 顔画像学習部
５４ 登録画像記憶部
５５ 登録画像サンプル点検出部
５６ 入力画像サンプル点検出部
５７ 類似度検出部
５８ 照合判定部
６１ 画像入力部
６２ 画像メモリ
６３、６４ インターフェース部
６５ 演算制御部（ＣＰＵ）
６６ 主記憶部（ＲＯＭ、ＲＡＭ）
６７ 補助記憶部
６８ 入力装置
６９ 表示装置
Claims (9)
- 本人の身体の所定の部位を取り込んだ入力画像と前記部位に関する本人および他人の複数の登録画像との間で、サンプル点における局所的な特徴を比較することによって画像を照合し本人確認を行う画像認識装置において、
前記部位に関する画像集合内の複数の画像から平均画像を作成する平均画像作成手段と、
前記平均画像上に設定されたサンプル点に対応する前記画像集合内の各画像上のサンプル点を検出して該サンプル点における特徴ベクトルの部分空間を作成する部分空間作成手段と、
前記平均画像上のサンプル点に対応する前記登録画像上のサンプル点を前記部分空間を用いて検出する登録画像サンプル点検出手段と、
前記登録画像上のサンプル点に対応する前記入力画像上のサンプル点を前記部分空間を用いて検出する入力画像サンプル点検出手段と、
前記登録画像サンプル点検出手段により検出された前記登録画像上のサンプル点における特徴ベクトルと前記入力画像サンプル点検出手段により検出された前記入力画像上のサンプル点における特徴ベクトルとの前記部分空間内での類似度を算出して前記入力画像と前記登録画像とを照合し本人確認を行う照合判定手段と
を備えたことを特徴とする画像認識装置。 - 前記部分空間作成手段は、前記画像集合内の画像における特徴ベクトルと前記平均画像における特徴ベクトルとの相関を用いて前記平均画像上に設定されたサンプル点に対応する該画像集合内の画像上のサンプル点を検出する第１の検出手段と、
前記第１の検出手段により検出された前記画像集合内の画像上のサンプル点における特徴ベクトルを用いて暫定的な特徴ベクトルの部分空間を作成する暫定部分空間作成手段と、
前記画像集合内の画像における特徴ベクトルの前記部分空間への距離に基づいて前記平均画像上に設定されたサンプル点に対応する該画像集合内の画像上のサンプル点を検出する第２の検出手段と、
前記第２の検出手段により検出された前記画像集合内の画像上のサンプル点における特徴ベクトルを用いて前記暫定部分空間作成手段により作成された前記部分空間を修正する部分空間修正手段と
を備えたことを特徴とする請求項１に記載の画像認識装置。 - 前記暫定部分空間作成手段は、前記画像集合から本人の画像ペアを用意して、前記第１の検出手段により検出された前記平均画像上に設定されたサンプル点に対応する該画像ペアの前記サンプル点における特徴ベクトル間の差分を求めて本人差部分空間を算出する第１の本人差部分空間算出手段と、
前記画像集合から他人の画像ペアを用意して、前記第１の検出手段により検出された前記平均画像上に設定されたサンプル点に対応する該画像ペアの前記サンプル点における特徴ベクトル間の差分を求めて他人差部分空間を算出する第１の他人差部分空間算出手段と、
前記本人差部分空間の補空間と前記他人差部分空間との交わり部を算出して該交わり部を部分空間とする第１の認識部分空間作成手段と
を備えたことを特徴とする請求項２に記載の画像認識装置。 - 前記部分空間修正手段は、前記画像集合から本人の画像ペアを用意して、前記第２の検出手段により検出された前記平均画像上に設定されたサンプル点に対応する該画像ペアの前記サンプル点における特徴ベクトル間の差分を求めて本人差部分空間を算出する第２の本人差部分空間算出手段と、
前記画像集合から他人の画像ペアを用意して、前記第２の検出手段により検出された前記平均画像上に設定されたサンプル点に対応する該画像ペアの前記サンプル点における特徴ベクトル間の差分を求めて他人差部分空間を算出する第２の他人差部分空間算出手段と、
前記本人差部分空間の補空間と前記他人差部分空間との交わり部を算出して該交わり部を部分空間とする第２の認識部分空間作成手段と、
前記第２の認識部分空間作成手段で作成された該部分空間が収束するまで前記第２の検出手段と前記第２の本人差部分空間算出手段と前記第２の他人差部分空間算出手段と前記第２の認識部分空間作成手段とを繰り返し用いることにより前記部分空間を更新する認識部分空間更新手段と
を備えたことを特徴とする請求項２に記載の画像認識装置。 - 前記登録画像サンプル点検出手段は、前記平均画像上のサンプル点に対応する該登録画像上のサンプル点を該登録画像における特徴ベクトルと前記部分空間との距離に基づいて検出することを特徴とする請求項１〜４のいずれか一つに記載の画像認識装置。
- 前記入力画像サンプル点検出手段は、前記登録画像上のサンプル点に対応する該入力画像上のサンプル点を該入力画像における特徴ベクトルと前記登録画像における特徴ベクトルの前記部分空間内での相関に基づいて検出することを特徴とする請求項１〜５のいずれか一つに記載の画像認識装置。
- 前記照合判定手段は、前記登録画像上と前記入力画像上の対応する前記サンプル点における特徴ベクトルの前記部分空間内での相関に基づいて類似度を算出して前記入力画像と前記登録画像とを照合し本人確認を行うことを特徴とする請求項１〜６のいずれか一つに記載の画像認識装置。
- 本人の身体の所定の部位を取り込んだ入力画像と前記部位に関する本人および他人の複数の登録画像との間で、サンプル点における局所的な特徴を比較することによって画像を照合し本人確認を行う画像認識方法において、
前記部位に関する画像集合内の複数の画像から平均画像を作成する平均画像作成工程と、
前記平均画像上に設定されたサンプル点に対応する前記画像集合内の各画像上のサンプル点を検出して該サンプル点における特徴ベクトルの部分空間を作成する部分空間作成工程と、
前記平均画像上のサンプル点に対応する前記登録画像上のサンプル点を前記部分空間を用いて検出する登録画像サンプル点検出工程と、
前記登録画像上のサンプル点に対応する前記入力画像上のサンプル点を前記部分空間を用いて検出する入力画像サンプル点検出工程と、
前記登録画像サンプル点検出工程により検出された前記登録画像上のサンプル点における特徴ベクトルと前記入力画像サンプル点検出工程により検出された前記入力画像上のサンプル点における特徴ベクトルとの前記部分空間内での類似度を算出して前記入力画像と前記登録画像とを照合し本人確認を行う照合判定工程と
を含んだことを特徴とする画像認識方法。 - 本人の身体の所定の部位を取り込んだ入力画像と前記部位に関する本人および他人の複数の登録画像との間で、サンプル点における局所的な特徴を比較することによって画像を照合し本人確認を行う画像認識方法をコンピュータに実行させるプログラムであって、
前記部位に関する画像集合内の複数の画像から平均画像を作成する平均画像作成工程と、
前記平均画像上に設定されたサンプル点に対応する前記画像集合内の各画像上のサンプル点を検出して該サンプル点における特徴ベクトルの部分空間を作成する部分空間作成工程と、
前記平均画像上のサンプル点に対応する前記登録画像上のサンプル点を前記部分空間を用いて検出する登録画像サンプル点検出工程と、
前記登録画像上のサンプル点に対応する前記入力画像上のサンプル点を前記部分空間を用いて検出する入力画像サンプル点検出工程と、
前記登録画像サンプル点検出工程により検出された前記登録画像上のサンプル点における特徴ベクトルと前記入力画像サンプル点検出工程により検出された前記入力画像上のサンプル点における特徴ベクトルとの前記部分空間内での類似度を算出して前記入力画像と前記登録画像とを照合し本人確認を行う照合判定工程と
をコンピュータに実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002284153A JP4187494B2 (ja) | 2002-09-27 | 2002-09-27 | 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002284153A JP4187494B2 (ja) | 2002-09-27 | 2002-09-27 | 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004118731A true JP2004118731A (ja) | 2004-04-15 |
| JP4187494B2 JP4187494B2 (ja) | 2008-11-26 |
Family
ID=32277807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002284153A Expired - Fee Related JP4187494B2 (ja) | 2002-09-27 | 2002-09-27 | 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4187494B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005346654A (ja) * | 2004-06-07 | 2005-12-15 | Glory Ltd | 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム |
| JP2006227699A (ja) * | 2005-02-15 | 2006-08-31 | Kddi Corp | 顔画像認識装置 |
| JP2012008967A (ja) * | 2010-06-28 | 2012-01-12 | Glory Ltd | 画像照合装置および画像照合方法 |
| JP2014507705A (ja) * | 2010-12-29 | 2014-03-27 | トムソン ライセンシング | 顔登録の方法 |
| US8787629B2 (en) | 2011-04-21 | 2014-07-22 | Canon Kabushiki Kaisha | Image processing based on line-of-sight of a person |
| WO2015128961A1 (ja) * | 2014-02-26 | 2015-09-03 | 株式会社日立製作所 | 顔認証システム |
| JP7386951B2 (ja) | 2021-09-27 | 2023-11-27 | アイデミア・アイデンティティ・アンド・セキュリティー・フランス | 拡張画像を生成するための方法及び関連する装置 |
-
2002
- 2002-09-27 JP JP2002284153A patent/JP4187494B2/ja not_active Expired - Fee Related
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005346654A (ja) * | 2004-06-07 | 2005-12-15 | Glory Ltd | 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム |
| WO2005122093A1 (ja) * | 2004-06-07 | 2005-12-22 | Glory Ltd. | 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム |
| US7835547B2 (en) | 2004-06-07 | 2010-11-16 | Glory Ltd. | Image recognition device, image recognition method, and program for causing computer to execute the method |
| JP4606779B2 (ja) * | 2004-06-07 | 2011-01-05 | グローリー株式会社 | 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム |
| JP2006227699A (ja) * | 2005-02-15 | 2006-08-31 | Kddi Corp | 顔画像認識装置 |
| JP4577771B2 (ja) * | 2005-02-15 | 2010-11-10 | Ｋｄｄｉ株式会社 | 顔画像認識装置 |
| JP2012008967A (ja) * | 2010-06-28 | 2012-01-12 | Glory Ltd | 画像照合装置および画像照合方法 |
| JP2014507705A (ja) * | 2010-12-29 | 2014-03-27 | トムソン ライセンシング | 顔登録の方法 |
| US8787629B2 (en) | 2011-04-21 | 2014-07-22 | Canon Kabushiki Kaisha | Image processing based on line-of-sight of a person |
| WO2015128961A1 (ja) * | 2014-02-26 | 2015-09-03 | 株式会社日立製作所 | 顔認証システム |
| JPWO2015128961A1 (ja) * | 2014-02-26 | 2017-03-30 | 株式会社日立製作所 | 顔認証システム |
| US9922237B2 (en) | 2014-02-26 | 2018-03-20 | Hitachi, Ltd. | Face authentication system |
| JP7386951B2 (ja) | 2021-09-27 | 2023-11-27 | アイデミア・アイデンティティ・アンド・セキュリティー・フランス | 拡張画像を生成するための方法及び関連する装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4187494B2 (ja) | 2008-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4606779B2 (ja) | 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム | |
| KR102455633B1 (ko) | 라이브니스 검사 방법 및 장치 | |
| US11915515B2 (en) | Facial verification method and apparatus | |
| US11023757B2 (en) | Method and apparatus with liveness verification | |
| Agarwal et al. | Swapped! digital face presentation attack detection via weighted local magnitude pattern | |
| JP4156430B2 (ja) | データベース自動更新方法を用いた顔検証方法及びそのシステム | |
| US11423702B2 (en) | Object recognition method and apparatus | |
| JP2018508888A (ja) | モバイル・デバイスを用いてキャプチャしたイメージを使用する指紋ベースのユーザ認証を実行するためのシステムおよび方法 | |
| MX2012010637A (es) | Procesador de informacion biologica. | |
| KR20190053602A (ko) | 얼굴 인증 방법 및 장치 | |
| US20190392129A1 (en) | Identity authentication method | |
| JP7191061B2 (ja) | ライブネス検査方法及び装置 | |
| JP5480532B2 (ja) | 画像処理装置、画像処理方法、及び同方法をコンピュータに実行させるプログラム | |
| WO2021131029A1 (ja) | フィルタ生成装置、推定装置、顔認証システム、フィルタ生成方法および記録媒体 | |
| JP4187494B2 (ja) | 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム | |
| KR20200119425A (ko) | 도메인 적응 기반 객체 인식 장치 및 그 방법 | |
| JP4887966B2 (ja) | 照合装置 | |
| KR102570071B1 (ko) | 라이브니스 검사 방법 및 장치, 얼굴 인증 방법 및 장치 | |
| CN114913404A (zh) | 模型训练、人脸图像活体检测方法、电子设备及存储介质 | |
| TW202217611A (zh) | 身份驗證方法 | |
| US20230222782A1 (en) | Adversarial example detection device, adversarial example detection method, and program | |
| WO2023238365A1 (ja) | 顔特徴情報抽出方法、顔特徴情報抽出装置、及び顔特徴情報抽出プログラム | |
| US20230154236A1 (en) | Landmark-based ensemble network creation method for facial expression classification and facial expression classification method using created ensemble network | |
| Murshed et al. | Deep Learning-Based Approaches for Contactless Fingerprints Segmentation and Extraction | |
| Lee et al. | Ocular and iris recognition baseline algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050613 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20051213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080902 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080909 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4187494 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130919 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130919 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |