JP2007304857A - 認証システム、認証方法、及びプログラム - Google Patents

認証システム、認証方法、及びプログラム Download PDF

Info

Publication number
JP2007304857A
JP2007304857A JP2006132580A JP2006132580A JP2007304857A JP 2007304857 A JP2007304857 A JP 2007304857A JP 2006132580 A JP2006132580 A JP 2006132580A JP 2006132580 A JP2006132580 A JP 2006132580A JP 2007304857 A JP2007304857 A JP 2007304857A
Authority
JP
Japan
Prior art keywords
authentication
individual
feature
individual part
authentication system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006132580A
Other languages
English (en)
Other versions
JP4992289B2 (ja
Inventor
Osamu Toyama
修 遠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2006132580A priority Critical patent/JP4992289B2/ja
Publication of JP2007304857A publication Critical patent/JP2007304857A/ja
Application granted granted Critical
Publication of JP4992289B2 publication Critical patent/JP4992289B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Collating Specific Patterns (AREA)

Abstract

【課題】人物を含む物の同一性を認証するに際して、高精度の認証を行うことが可能な認証技術を提供する。
【解決手段】認証対象物（例えば、認証対象者）及び比較対象物（例えば、比較対象者）のうちの少なくとも一方について、同種の物（例えば、人物）に共通して具備されている共通特徴部位とは異なり且つ個別に具備されている個別特徴部位を検出する。その後、検出された個別特徴部位の特徴量を認識し、当該特徴量を用いた認証を実行する。
【選択図】図３

Description

本発明は、物体の認証技術に関する。
近年、ネットワーク技術等の発展によって電子化された様々なサービスが普及し、人に頼らない非対面での本人認証技術の必要性が高まっている。これに伴い、人物の生体特徴によって自動的に個人の識別を行うバイオメトリクス認証技術（生体認証技術）の研究が盛んに行われている。バイオメトリクス認証技術の一つである顔認証技術は、非接触型の認証方法であり、監視カメラによるセキュリティ或いは顔をキーとした画像データベース検索等、様々な分野での応用が期待されている。
このような認証技術としては、予め登録された登録画像と認証対象物を撮影した撮影画像とをそれぞれ平面情報（「テクスチャ情報」あるいは「２次元情報」）としてのみ取得しておき、単純に両画像の平面情報を比較することによって、登録画像内の人物と撮影画像内の人物とが同一人物であるか否かを判定することが行われる（例えば、非特許文献１参照）。
そして、輪郭、左目、右目、鼻、及び口などといった一般的な顔の部位について、形状や配置の特徴に個人性に応じた重みを付与して、個人性が多く含まれている特徴を個人性が乏しい特徴に比べ重視して照合を行うことで、認証精度を高める技術が提案されている（例えば、特許文献１）。
また、一般的な顔の部品である顔輪郭、頭髪、眉毛、目、鼻孔、及び口唇等についての一般特徴と、顔の凹凸による皺、疵などを示す線分、及びほくろ等といった個人の顔を特徴づける固有特徴とを用いて照合を行うことで、認証精度を高める技術が提案されている（例えば、特許文献２）。
ダデット・プラマディハント、呉海元、谷内田正彦、「多様な姿勢を有する入力顔画像からの個人識別」、電子情報通信学会論文誌、D-II、１９９７年８月、Vol.J80-D-II、No.８、pp.2232-2238 特開２００３−５８８８８号公報 特開２００５−２４２４３２号公報
しかしながら、上記技術においては、比較の対象となる両画像における人物の姿勢（向き）が同一でない場合には、高精度の認証を行うことができないという問題がある。
また、特許文献１で提案された技術では、一般的な顔の部位の形状や配置のみに着目した照合を行うため、認証精度が決して高いとは言えない。
更に、特許文献２で提案された技術では、顔全体を用いたパターンマッチングを行うため、個人毎に特徴的でない領域も含めた広範囲の認証となり、認証精度が低下してしまう。
このような問題は、顔認証に限らず物体の認証技術一般に共通する。
本発明は、上記課題に鑑みてなされたものであり、人物を含む物の同一性を認証するに際して、高精度の認証を行うことが可能な認証技術を提供することを目的とする。
上記の課題を解決するために、請求項１の発明は、認証対象物が比較対象物と同一であるか否かを認証する認証システムであって、多数の同種の物に共通して具備されている共通部位とは異なり且つ個別に具備されている個別部位を、前記認証対象物を捉えた認証対象画像、及び前記比較対象物を捉えた比較対象画像のうちの少なくとも一方の画像から検出する個別部位検出手段と、前記個別部位に係る個別部位特徴量を認識する個別特徴量認識手段と、前記個別部位特徴量を用いて前記認証対象物に関する認証を行う認証手段とを備えることを特徴とする。
また、請求項２の発明は、請求項１に記載の認証システムであって、前記認証対象画像、及び前記比較対象画像について、前記共通部位に係る共通部位特徴量を認識する共通特徴量認識手段を更に備え、前記認証手段が、前記個別部位特徴量と前記共通部位特徴量とを用いて前記認証対象物に関する認証を行うことを特徴とする。
また、請求項３の発明は、請求項２に記載の認証システムであって、前記認証手段が、前記個別部位特徴量を用いた第１の判定、及び前記共通部位特徴量を用いた第２の判定の双方において、物の特徴が一致していることを示す所定の基準を満たしていると判定された場合に、前記認証対象物と前記比較対象物とが同一であると判定することを特徴とする。
また、請求項４の発明は、請求項１または請求項２に記載の認証システムであって、前記個別部位検出手段が、多数の同種の物をそれぞれ捉えた多数の基準画像と、前記認証対象画像及び前記比較対象画像のうちの少なくとも一方の画像とを、それぞれ同一のルールで分割して生成した部分画像毎に比較することで、前記個別部位を検出することを特徴とする。
また、請求項５の発明は、請求項４に記載の認証システムであって、前記個別部位検出手段が、前記認証対象画像及び前記比較対象画像のうちの少なくとも一方の画像を対象として、前記部分画像毎に、前記多数の基準画像から求められた当該部分画像を特徴付ける所定のパラメータに係る基準値に対して、前記所定のパラメータに係る偏差を算出する手段と、前記偏差が所定の基準を超える場合に、当該偏差に係る部分画像を、前記個別部位を捉えた個別部位含有部分画像として判別する判別手段とを有することを特徴とする。
また、請求項６の発明は、請求項５に記載の認証システムであって、前記個別部位検出手段が、前記個別部位含有部分画像が複数隣接する場合、当該隣接する複数の個別部位含有部分画像を１つの個別部位に相当する個別部位領域として認識する領域認識手段を更に有することを特徴とする。
また、請求項７の発明は、請求項６に記載の認証システムであって、前記個別部位検出手段が、前記領域認識手段によって所定数を超える複数の個別部位領域が認識された場合に、前記個別部位領域毎に、前記多数の基準画像から求められた当該個別部位領域を特徴付ける所定の変動因子に係る基準値に対し、前記所定の変動因子に係る偏差を算出する手段と、前記複数の個別部位領域のうち、大きな方から前記所定数の因子偏差に係る個別部位領域を選択的に採用する一方で、残余の個別部位領域については採用しない手段とを更に有することを特徴とする。
また、請求項８の発明は、請求項５または請求項６に記載の認証システムであって、前記個別部位毎に、前記多数の基準画像から求められた各前記個別部位に対応する領域を特徴付ける所定の変動因子に係る基準値に対し、前記所定の変動因子に係る因子偏差を算出する偏差算出手段を更に備え、前記認証手段が、各前記個別部位特徴量に対して、各前記個別部位に係る前記因子偏差に応じた重み付けを行って、前記認証対象物に関する認証を行うことを特徴とする。
また、請求項９の発明は、請求項１または請求項２に記載の認証システムであって、前記個別部位検出手段が、部分空間法を用いることで、前記個別部位を検出することを特徴とする。
また、請求項１０の発明は、請求項９に記載の認証システムであって、前記個別部位検出手段が、多数の同種の物をそれぞれ捉えた多数の基準画像から共通部分空間を決定し、前記認証対象画像及び前記比較対象画像のうちの少なくとも一方の画像を構成する画素毎に当該画素に係るパラメータを部分空間に投影した際に、前記共通部分空間に含まれない画素投影領域に係る画素群によって形成される画像領域を、前記個別部位に相当する個別部位領域として認識する領域認識手段を有することを特徴とする。
また、請求項１１の発明は、請求項１０に記載の認証システムであって、前記個別部位検出手段が、前記領域認識手段によって所定数を超える複数の個別部位領域が認識された場合に、当該複数の個別部位領域のうち、前記共通部分空間からのズレ角が大きな方から所定数の画素投影領域に係る個別部位領域を選択的に採用する一方で、残余の個別部位領域については採用しない手段を更に有することを特徴とする。
また、請求項１２の発明は、請求項１０または請求項１１に記載の認証システムであって、前記認証手段が、前記個別部位毎に前記個別部位特徴量に対して、当該個別部位に係る画素投影領域の前記共通部分空間からのズレ角に応じた重み付けを行って、前記認証対象物に関する認証を行うことを特徴とする。
また、請求項１３の発明は、請求項１から請求項１２のいずれかに記載の認証システムであって、前記個別部位の位置を前記共通部位の位置を基準とした相対的な値によって表現した相対位置を算出する位置算出手段を更に備えることを特徴とする。
また、請求項１４の発明は、請求項１３に記載の認証システムであって、前記相対位置が、前記共通部位の位置を基準とした３次元相対位置を含むことを特徴とする。
また、請求項１５の発明は、請求項１３または請求項１４に記載の認証システムであって、前記個別部位特徴量が、前記相対位置を示す情報を含むことを特徴とする。
また、請求項１６の発明は、請求項１から請求項１５のいずれかに記載の認証システムであって、前記個別特徴量認識手段が、前記個別部位に相当する画像領域の輝度値及び当該画像領域を構成する画素値の微分値のうちの少なくとも一方を用いて、前記個別部位特徴量を算出する特徴量算出手段を備えることを特徴とする。
また、請求項１７の発明は、請求項１から請求項１６のいずれかに記載の認証システムであって、前記個別部位検出手段が、前記認証対象画像を対象として、前記個別部位を検出する第１の検出手段と、前記比較対象画像を対象として、前記個別部位を検出する第２の検出手段とを有し、前記個別特徴量認識手段が、前記第１の検出手段によって検出された個別部位について、第１の特徴量を認識する第１の認識手段と、前記第２の検出手段によって検出された個別部位について、第２の特徴量を認識する第２の認識手段とを有し、前記認証手段が、前記第１の特徴量を用いた一方向の判定、及び前記第２の特徴量を用いた逆方向の判定の双方において物の特徴が一致していることを示す所定の基準を満たしていると判定された場合に、前記認証対象物と前記比較対象物とが同一であると判定することを特徴とする。
また、請求項１８の発明は、請求項１から請求項１６のいずれかに記載の認証システムであって、前記個別部位検出手段が、前記認証対象画像を対象として、前記個別部位を検出する第１の検出手段と、前記比較対象画像を対象として、前記個別部位を検出する第２の検出手段とを有し、前記個別特徴量認識手段が、前記第１の検出手段によって検出された個別部位について、第１の特徴量を認識する第１の認識手段と、前記第２の検出手段によって検出された個別部位について、第２の特徴量を認識する第２の認識手段とを有し、前記認証手段が、前記第１の特徴量を用いた一方向の判定を行う一方向判定手段と、前記第２の特徴量を用いた逆方向の判定を行う逆方向判定手段とを有し、前記認証システムが、前記一方向の判定を行う第１のモードと、前記逆方向の判定を行う第２のモードとを切り替えるモード切替手段を更に備えることを特徴とする。
また、請求項１９の発明は、認証対象物が比較対象物と同一であるか否かを認証する認証システムにおける認証方法であって、(a)多数の同種の物に共通して具備されている共通部位とは異なり且つ個別に具備されている個別部位を、前記認証対象物を捉えた認証対象画像、及び前記比較対象物を捉えた比較対象画像のうちの少なくとも一方の画像から検出するステップと、(b)前記個別部位に係る個別部位特徴量を認識するステップと、(c)前記個別部位特徴量を用いて前記認証対象物に関する認証を行うステップとを備えることを特徴とする。
また、請求項２０の発明は、認証システムに含まれるコンピュータによって実行されることにより、前記認証システムを、請求項１から請求項１８のいずれかに記載の認証システムとして機能させるプログラムである。
また、請求項２１の発明は、認証対象物が比較対象物と同一であるか否かを認証する認証システムであって、前記認証対象物の特徴量を記憶媒体に記憶する情報記憶システムと、前記記憶媒体に記憶された前記認証対象物の特徴量を用いて前記認証対象物に関する認証を行う認証実行システムとを備え、前記情報記憶システムが、前記認証対象物を捉えた画像について、多数の同種の物に共通して具備されている共通部位の特徴量を認識して第１の記憶媒体に記憶させる一方、前記共通部位とは異なり且つ個別に具備されている個別部位の特徴量を認識して前記第１の記憶媒体とは異なる第２の記憶媒体に記憶させる記憶制御手段を有し、前記認証実行システムが、前記第１の記憶媒体を受け付ける第１の受付手段と、前記第２の記憶媒体を受け付ける第２の受付手段と、前記第１の受付手段によって受け付けられた前記第１の記憶媒体に記憶された前記共通部位の特徴量を用いて前記認証対象物に関する認証を行う第１の認証手段と、前記第２の受付手段によって受け付けられた前記第２の記憶媒体に記憶された前記個別部位の特徴量を用いて前記認証対象物に関する認証を行う第２の認証手段とを備えることを特徴とする。
また、請求項２２の発明は、認証対象物が比較対象物と同一であるか否かを認証する認証システムにおける認証方法であって、(i)前記認証対象物を捉えた画像から多数の同種の物に共通して具備されている共通部位の特徴量を認識して第１の記憶媒体に記憶させるとともに、前記画像から前記共通部分とは異なり且つ個別に具備されている個別部位の特徴量を認識して前記第１の記憶媒体とは異なる第２の記憶媒体に記憶させるステップと、(ii)前記第１の記憶媒体に記憶された前記共通部位の特徴量を用いて前記認証対象物に関する認証を行うステップと、(iii)前記第２の記憶媒体に記憶された前記個別部位の特徴量を用いて前記認証対象物に関する認証を行うステップとを備えることを特徴とする。
請求項１から請求項２０のいずれに記載の発明によっても、認証対象物及び比較対象物のうちの少なくとも一方について、同種の物に共通して具備されている共通部位とは異なり且つ個別に具備されている個別部位を検出するとともに、当該個別部位の特徴量を認識して認証を行うような構成を採用することで、物体毎すなわち個別に異なる特徴的な部位を用いた認証が可能となるため、人物を含む物の同一性を認証するに際して、高精度の認証を行うことが可能な認証技術を提供することができる。
また、請求項２に記載の発明によれば、個別部位の特徴量と共通部位の特徴量とを用いて認証を行うような構成を採用することで、大まかな特徴と細かい特徴の双方を用いた認証を行うことができるため、高精度の認証が可能となる。
また、請求項３に記載の発明によれば、個別部位の特徴量を用いた判定、及び共通部位の特徴量を用いた判定の双方において、特徴が一致していると判定された場合に、認証対象物と比較対象物とが同一であると判定されるような構成を採用することで、厳しい基準に沿った認証によって更に高精度の認証が可能となる。
また、請求項４に記載の発明によれば、同種の物をそれぞれ捉えた多数の基準画像と、認証対象物及び比較対象物のうちの少なくとも一方を捉えた画像とを、それぞれ同一のルールで分割した部分画像毎に比較することで、個別部位を検出するような構成を採用することで、個別部位を検出する演算時間を短縮化することができる。また、共通部位に係る微妙な相違以外の大きな相違点である個別部位をより確実に検出することができる。
また、請求項５に記載の発明によれば、多数の基準画像から求まる部分画像の特徴についての基準値に対する偏差が所定の基準を超える部分画像を、個別部位を捉えた画像として判別するような構成を採用することで、ある程度大きな相違点である個別部位を容易に検出することができる。
また、請求項６に記載の発明によれば、個別部位を捉えた部分画像が複数隣接する場合に、当該隣接する複数の部分画像を１つの個別部位に相当する部分画像領域として認識するような構成を採用することで、１まとまりの個別部位をより確実に検出することができる。
また、請求項７に記載の発明によれば、所定数を超える数の個別部位に相当する複数の部分画像領域が認識された場合には、多数の基準画像から求まる基準値に対して偏差が大きな方から所定数の部分画像領域を、複数の部分画像領域から選択的に採用する一方で、残余の部分画像領域は採用しないような構成を採用することで、ある程度大きな特徴を有する個別部位に絞り込んだ認証が可能となるため、認証に要する演算時間を短縮化することができる。
また、請求項８に記載の発明によれば、個別部位毎に個別部位の特徴量に対して、多数の基準画像から求まる基準値に対する偏差に応じた重み付けを行って認証を行うような構成を採用することで、より大きな特徴を有する個別部位を重視した認証が可能となるため、認証精度をより一層向上させることができる。
また、請求項９及び請求項１０のいずれに記載の発明によっても、部分空間法を用いて、認証対象物及び比較対象物のうちの少なくとも一方について個別部位を検出するような構成を採用することで、より安定かつ確実に個別部位を検出することができる。
また、請求項１１に記載の発明によれば、所定数を超える数の個別部位領域が認識された場合には、当該複数の個別部位領域から、多数の同種の物をそれぞれ捉えた多数の基準画像に基づいて決定される共通部分空間からのズレ角が大きな方から所定数の個別部位領域を選択的に採用する一方で、残余の個別部位領域は採用しないような構成を採用することで、ある程度大きな特徴を有する個別部位に絞り込んだ認証が可能となるため、認証に要する演算時間を短縮化することができる。
また、請求項１２に記載の発明によれば、個別部位毎に個別部位の特徴量に対して、共通部分空間からのズレ角に応じた重み付けを行って認証を行うような構成を採用することで、より大きな特徴を有する個別部位を重視した認証が可能となるため、認証精度をより一層向上させることができる。
また、請求項１３に記載の発明によれば、個別部位の位置を共通部位の位置を基準とした相対的な値によって表現するような構成を採用することで、表情の変化等といった認証対象物の状況の変化の影響に拘わらず、高精度の認証を行うことができる。
また、請求項１４に記載の発明によれば、個別部位の位置を共通部位の位置を基準とした３次元相対位置によって表現するような構成を採用することで、顔等の認証対象物の向きによらず安定した認証が可能となる。
また、請求項１５及び請求項１６のいずれに記載の発明によっても、共通部位の位置に対する個別部位の相対位置を示す情報を、個別部位の特徴量に含めて認証を行うような構成を採用することで、より確実かつ精度の高い認証が可能となる。
また、請求項１７に記載の発明によれば、認証対象物に係る個別部位の特徴量を認識して当該特徴量を用いて行う一方向の判定、及び比較対象者に係る個別部位の特徴量を認識して当該特徴量を用いて行う逆方向の判定の双方において、特徴が一致していることを示す所定の基準を満たすと判定された場合に、認証対象物と比較対象物とが同一であると判定されるような構成を採用することで、更に精度の高い認証が可能となる。
また、請求項１８に記載の発明によれば、認証対象物に係る個別部位の特徴量を認識して当該特徴量を用いて認証を行うモードと、比較対象者に係る個別部位の特徴量を認識して当該特徴量を用いて認証を行うモードとを切り替えるような構成を採用することで、比較対象物の数に応じた高精度の認証が可能となる。
また、請求項２１及び請求項２２のいずれに記載の発明によっても、認証対象物を捉えた画像から同種の物に共通して具備されている共通部位の特徴量と、当該共通部分とは異なり且つ個別に具備されている個別部位の特徴量とをそれぞれ認識して、各々別の記憶媒体に記憶させておき、一方の記憶媒体に記憶されている共通部位の特徴量を用いた認証と、他方の記憶媒体に記憶されている個別部位の特徴量を用いた認証とを別々に実行するような構成を採用することで、要求される認証精度に応じた認証を実行させることができる。
以下、本発明の実施形態を図面に基づいて説明する。なお、以下の実施形態では顔の認証について説明するが、本発明は他の物体の認証にも適用できる。
＜実施形態＞
＜認証システムの概要＞
図１は、本発明の実施形態に係る認証システム１を示す構成図である。図１に示すように認証システム１は、コントローラ１０と２台の画像撮影カメラ（以下、単に「カメラ」とも称する）ＣＡ１及びＣＡ２とで構成されている。
カメラＣＡ１とカメラＣＡ２とは、それぞれ異なる位置から撮影対象物である人物ＨＭの顔を撮影できるように配置されている。カメラＣＡ１とカメラＣＡ２とによって人物（認証対象者又は登録対象者）の顔画像が撮影されると、当該撮影により得られる人物の外観情報すなわち２種類の顔画像がコントローラ１０に通信線を介して送信される。なお、各カメラとコントローラ１０との間における画像データの通信方式は有線方式に限定されず、無線方式であっても良い。
図２は、コントローラ１０の構成概要を示す図である。図２に示されるように、コントローラ１０は、ＣＰＵ２と、記憶部３と、メディアドライブ４と、液晶ディスプレイなどの表示部５と、キーボード６ａ及びポインティングデバイスであるマウス６ｂなどの入力部（操作部）６と、ネットワークカードなどの通信部７とを備えたパーソナルコンピュータなどの一般的なコンピュータで構成される。
記憶部３は、複数の記憶媒体、具体的には、ハードディスクドライブ（ＨＤＤ）３ａと、ＨＤＤ３ａよりも高速処理可能なＲＡＭ（半導体メモリ）３ｂとを有している。また、メディアドライブ４は、ＣＤ−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク、メモリカードなどの可搬性の記録媒体８からその中に記録されている情報を読み出すことができる。また、記憶部３は、コントローラ１０のおける各種データ処理の過程で生成される各種データをＲＡＭ３ｂで一時的に記憶したり、ＨＤＤ３ａで記憶する。
なお、このコントローラ１０に対して供給される情報は、記録媒体８を介して供給される場合に限定されず、ＬＡＮ及びインターネットなどのネットワークを介して供給されても良い。
＜コントローラの機能構成＞
図３は、コントローラ１０が備える各種機能を示すブロック図である。図４は、画像正規化部１４の詳細な機能構成を示すブロック図であり、図５は、特徴認識部１５の詳細な機能構成を示すブロック図であり、図６は、登録部１８の詳細な機能構成を示すブロック図であり、図７は、認証部１９の詳細な機能構成を示すブロック図である。
コントローラ１０の備える各種機能は、コントローラ１０内のＣＰＵ等の各種ハードウェアを用いて所定のソフトウェアプログラム（以下、単に「プログラム」とも称する）を実行することによって、実現される機能を概念的に示すものである。
図３に示されるように、コントローラ１０は、画像入力部１１、顔領域検索部１２、顔部位検出部１３、画像正規化部１４、特徴認識部１５、操作入力部１６、モード切替部１７、登録部１８、認証部１９、及び出力部２０を備えている。
画像入力部１１は、カメラＣＡ１及びＣＡ２によって撮影された２枚の画像をコントローラ１０に入力する機能を有している。
顔領域検索部１２は、入力された顔画像から顔領域を特定する機能を有している。
顔部位検出部１３は、特定した顔領域から多数の人物に共通して具備されている顔の特徴的な部位（例えば、目、眉、鼻、口等であり、以下「共通特徴部位」と総称する）の位置を検出する機能を有している。
画像正規化部１４は、認証対象者（又は登録対象者）に関する情報を正規化する機能を有している。この画像正規化部１４の詳細については後述する。
特徴認識部１５は、画像正規化部１４で得られた情報から認証対象者（又は登録対象者）の顔を構成する部位に係る３次元情報と２次元情報とを認識する機能を有している。この特徴認識部１５は、一般的な人間の顔に具備されている共通特徴部位に係る情報だけでなく、共通特徴部位とは異なり、各人個別に具備されている顔の特徴的な部位（例えば、ほくろ、傷、皺等であり、以下「個別特徴部位」と総称する）を検出するとともに、当該個別特徴部位に係る位置情報等の各種情報を認識する機能を有している。この特徴認識部１５の詳細については後述する。
操作入力部１６は、操作部６に対するユーザーの操作に応答して入力される信号を受け付け、各種動作や制御を実現させる機能を有している。
モード切替部１７は、操作入力部１６からの信号に応じて、登録モード、詳細照合モード、高速照合モード、及び１対ｎ識別モードによって構成される４つのモードのうちの何れか１つのモードにコントローラ１０を選択的に切り替える機能を有している。登録モードは、登録対象者の顔の特徴を登録するモードであり、詳細照合モードは、認証対象者と比較対象者とが同一人物か否かを極めて高精度で照合するモードであり、高速照合モードは、認証対象者と比較対象者とが同一人物であるか否かを比較的高精度かつ短時間で照合するモードであり、１対ｎ識別モードは、既に登録された多数（ｎ人）の人物の中に認証対象者が含まれているか否かを識別するモードである。なお、以下では、詳細照合モード、高速照合モード、及び１対ｎ識別モードを適宜「認証モード」と総称する。
登録部１８は、コントローラ１０が登録モードに設定されている場合に、特徴認識部１５で認識された情報を記憶部３内のＨＤＤ３ａに登録する機能を有している。この登録部１８の詳細については後述する。
認証部１９は、顔の認証を主たる目的として構成され、各個人を顔画像で認証する機能を有している。この認証部１９の詳細についても後述する。
出力部２０は、認証部１９で得られた認証結果を出力する機能を有している。
次に、画像正規化部１４の詳細構成について図４を用いて説明する。
図４に示すように、画像正規化部１４は、３次元再構成部１４１、最適化部１４２、及び補正部１４３を有している。
３次元再構成部１４１は、予めカメラパラメータ記憶部５１に記憶されている各カメラＣＡ１，ＣＡ２の位置姿勢等を示すカメラパラメータを参照することで、入力画像から得られる顔を構成する共通特徴部位の座標から各部位の３次元座標を算出する機能を有している。
最適化部１４２は、３次元再構成部１４１で算出された各部位の３次元座標を用いて、３次元モデルデータベース（ＤＢ）５２に格納されている顔の標準モデルから個別モデルを生成する機能を有している。
補正部１４３は、最適化部１４２で生成された個別モデルを補正する機能を有している。
これらの各処理部１４１〜１４３によって、認証対象者（又は登録対象者）に関する情報は、正規化され、相互比較しやすい状態に変換される。具体的には、顔の向き、サイズ（画素数）が正規化される。また、各処理部の機能によって作成された個別モデルは、認証対象者（又は登録対象者）に関する３次元情報と２次元情報との双方を含むものとして形成される。「３次元情報」は、３次元座標値等で構成される立体的構成に関連する情報であり、「２次元情報」は、表面情報（テクスチャ情報）及び／又は平面的な位置情報等で構成される平面的構成に関連する情報である。
次に、特徴認識部１５の詳細構成について図５を用いて説明する。
図５に示すように、特徴認識部１５は、共通部位特徴量認識部１５１、情報圧縮部１５２、個別部位領域認識部１５３、個別部位領域選択採用部１５４、及び個別部位特徴量認識部１５５を有している。
共通部位特徴量認識部１５１は、画像正規化部１４で得られた３次元顔モデルから３次元情報と２次元情報とを共通特徴部位に係る特徴量（以下「共通部位特徴量」とも称する）として認識する機能を有する。
情報圧縮部１５２は、共通部位特徴量認識部１５１で抽出された３次元情報と２次元情報とをそれぞれ、顔認証用の適切な共通部位特徴量に変換することで、顔認証に用いる３次元情報と２次元情報とをそれぞれ圧縮する機能を有している。この情報圧縮機能は、部位基底ベクトルデータベース（ＤＢ）６１に格納された情報等を用いて実現される。
個別部位領域認識部１５３は、画像正規化部１４で得られた３次元顔モデル（以下「正規化画像」とも称する）を微分した画像を解析することで、正規化画像から各個別特徴部位をそれぞれ捉えた画像領域（以下「個別部位領域」とも称する）を認識する個別部位領域認識機能を有している。この個別部位領域認識機能は、統計微分画像情報データベース（ＤＢ）６２に格納された情報等を用いて実現される。
個別部位領域選択採用部１５４は、個別部位領域認識部１５３で認識された個別部位領域が所定数（例えば、１０個）を超える場合に、他人と異なる度合いが顕著な方から順に所定数の個別部位領域を選択的に採用する機能を有している。なお、個別部位領域選択採用部１５４では、個別部位領域認識部１５３で認識された個別部位領域が所定数（例えば、１０個）を超えていない場合は、全ての個別部位領域をそのまま採用する。
個別部位特徴量認識部１５５は、個別部位領域選択採用部１５４で採用された個別部位領域についての特徴量、すなわち位置、画素値等といった個別部位に係る特徴量（以下「個別部位特徴量」とも称する）を認識する機能を有している。
次に、登録部１８の詳細構成について図６を用いて説明する。
登録部１８は、記憶制御部１８１を有している。
記憶制御部１８１は、特徴認識部１５で認識された共通部位特徴量及び個別部位特徴量を登録対象者毎に区別してＨＤＤ３ａに記憶することで、特徴量データベース（ＤＢ）７１を構築するように制御する機能を有している。
次に、認証部１９の詳細構成について図７を用いて説明する。
認証部１９は、共通特徴量読出部１９１、共通部位比較部１９２、個別部位比較位置決定部１９３、個別部位比較部１９４、及び総合判定部１９５を有している。
共通特徴量読出部１９１は、特徴量ＤＢ７１から比較対象者に係る共通特徴量を読み出す機能を有している。
共通部位比較部１９２は、特徴認識部１５で認識された認証対象者に係る共通部位特徴量と、共通特徴量読出部１９１で読み出された比較対象者に係る共通部位特徴量との類似度を算出する機能を有している。
個別部位比較位置決定部１９３は、高速照合モードでは、認証対象者を捉えた画像のうち比較対象者に係る個別特徴部位の位置と対応する位置を個別特徴部位に係る比較位置として決定し、１対ｎ識別モードでは、比較対象者を捉えた画像のうち認証対象者に係る個別特徴部位の位置と対応する位置を個別特徴部位に係る比較位置として決定する機能を有している。
個別部位比較部１９４は、個別部位比較位置決定部１９３によって決定された比較位置について、特徴認識部１５で認識された認証対象者に係る個別部位特徴量と特徴量ＤＢ７１に予め登録された比較対象者に係る個別部位特徴量との類似度を算出する機能と、特徴量ＤＢ７１に予め登録された比較対象者に係る個別部位特徴量と特徴認識部１５で認識された認証対象者に係る個別部位特徴量との類似度を算出する機能とを有している。
総合判定部１９５は、共通部位比較部１９２で算出された共通特徴部位に係る類似度と、個別部位比較部１９４で算出した個別特徴部位に係る類似度とに基づいて、認証対象者と比較対象者とが同一人物であるか否かを判定する機能を有する。
＜登録モードにおける動作＞
以下では、上述したコントローラ１０の登録モードに係る各機能についてより詳細に説明する。
図８は、登録モード設定時におけるコントローラ１０の動作を示すフローチャートであり、図９は、画像正規化処理工程（ステップＳＰ４）の詳細なフローチャートである。図１０は、顔画像における共通特徴部位の特徴点を示す図である。図１１は、２次元画像中の特徴点から三角測量の原理を用いて３次元座標を算出する様子を示す模式図である。なお、図１１中の符号Ｇ１は、カメラＣＡ１により撮影されコントローラ１０に入力された画像Ｇ１を示し、符号Ｇ２は、カメラＣＡ２により撮影されコントローラ１０に入力された画像Ｇ２を示している。また、画像Ｇ１，Ｇ２中の点Ｑ２０は、図１０における口の右端に相当する。
以下では、カメラＣＡ１及びＣＡ２で撮影した人物を登録対象者として、実際に顔認証用の情報を登録する場合について説明する。ここでは、３次元情報として、カメラＣＡ１，ＣＡ２による画像を利用して三角測量の原理によって計測された３次元形状情報を用い、２次元情報として主にテクスチャ（輝度）情報を用いる場合を例示する。
図８に示されるように、コントローラ１０は、ステップＳＰ１からステップＳＰ６までの工程において、登録対象者の顔を撮影した画像（以下「登録対象画像」とも称する）に基づき登録対象者の顔に係る共通部位特徴量を取得するとともに、ステップＳＰ７からステップＳＰ９までの工程において、登録対象画像に基づき登録対象者の顔に係る個別部位特徴量を取得し、ステップＳＰ１０の工程を経ることで、登録対象者の顔の特徴が登録される。
まず、ステップＳＰ１において、カメラＣＡ１及びＣＡ２によって撮影された人物（登録対象者）の顔画像（登録対象画像）が、通信線を介しコントローラ１０に入力される。顔画像を撮影するカメラＣＡ１及びカメラＣＡ２は、それぞれ、２次元画像を撮影可能な一般的な撮影装置で構成される。また、当該各カメラＣＡｉの位置姿勢等を示すカメラパラメータＢｉ（ｉ＝１・・Ｎ）は既知であり、予めカメラパラメータ記憶部５１（図４）に記憶されている。ここで、Ｎはカメラの台数を示している。本実施形態ではＮ＝２の場合を例示しているが、Ｎ≧３としてもよい（３台以上のカメラを用いてもよい）。また、カメラパラメータＢｉについては後述する。
次に、ステップＳＰ２において、カメラＣＡ１及びＣＡ２より入力された２枚の登録対象画像それぞれにおいて、顔の存在する領域が検出される。例えば、予め用意された標準の顔画像を用いたテンプレートマッチングにより、２枚の画像それぞれから顔領域を検出することができる。
次に、ステップＳＰ３において、ステップＳＰ２で検出された顔領域の画像の中から、一般的な人物の顔に共通して具備されている特徴的な部位（共通特徴部位）の位置が検出される。例えば、共通特徴部位としては、目、眉、鼻又は口等が考えられ、ステップＳＰ３では、図１０に示されるような上記各部位の特徴点Ｑ１〜Ｑ２３の座標が算出される。
共通特徴部位は、例えば、共通特徴部位の標準的なテンプレートを用いて行うテンプレートマッチングにより検出することができる。また、算出される特徴点の座標は、カメラより入力された画像Ｇ１、Ｇ２上の座標として表される。例えば、図１０における口の右端に相当する特徴点Ｑ２０に関して、図１１中に示すように、２枚の画像Ｇ１，Ｇ２のそれぞれにおける座標値が求められる。具体的には、画像Ｇ１の左上の端点を原点Ｏとして、特徴点Ｑ２０の画像Ｇ１上の座標（ｘ１，ｙ１）が算出される。画像Ｇ２においても同様に特徴点Ｑ２０の画像Ｇ２上の座標（ｘ２，ｙ２）が算出される。
また、入力された画像における各特徴点を頂点とする領域内の各画素の輝度値が、当該領域の有する情報（以下、「テクスチャ情報」とも称する）として取得される。各領域におけるテクスチャ情報は、後述のステップＳＰ４２等において、個別モデルに貼り付けられる。なお、本実施形態の場合、入力される画像は２枚であるので、各画像の対応する領域に属する画素における平均の輝度値を当該領域のテクスチャ情報として用いるものとする。
次のステップＳＰ４（画像正規化工程）では、ステップＳＰ３で検出された各特徴点の座標値及び各領域のテクスチャ情報等に基づいて、登録対象者に関する画像情報が正規化される。この画像正規化工程（ステップＳＰ４）は、図９に示されるように、３次元再構成工程（ステップＳＰ４１）とモデルフィッテング工程（ステップＳＰ４２）と補正工程（ステップＳＰ４３）とを有している。これらの工程を経ることによって、登録対象者に関する情報は、登録対象者に関する３次元情報と２次元情報との双方を含む「個別モデル」として、正規化された状態で生成される。以下、各工程（ステップＳＰ４１〜ＳＰ４３）について詳細に説明する。
まず、３次元再構成工程（ステップＳＰ４１）では、ステップＳＰ３において検出された各特徴点Ｑｊの各画像Ｇｉ（ｉ＝１，...，Ｎ）における２次元座標Ｕｉ(j)と、各画像Ｇｉを撮影したカメラのカメラパラメータＢｉとに基づいて、各特徴点Ｑｊの３次元座標Ｍ(j)（ｊ＝１・・・ｍ）が算出される。なお、ｍは特徴点の数を示している。
以下、３次元座標Ｍ(j)の算出について具体的に説明する。
各特徴点Ｑｊの３次元座標Ｍ(j)と各特徴点Ｑｊの２次元座標Ｕｉ(j)とカメラパラメータＢｉとの関係は式（１）のように表される。
なお、μｉは、スケールの変動分を示す媒介変数である。また、カメラパラメータ行列Ｂｉは、予め３次元座標が既知の物体を撮影することにより求められる各カメラ固有の値であり、３×４の射影行列で表される。
例えば、上記式（１）を用いて３次元座標を算出する具体的な例として、特徴点Ｑ２０の３次元座標Ｍ(20)を算出する場合を図１１を用いて考える。式（２）は画像Ｇ１上の特徴点Ｑ２０の座標（ｘ１，ｙ１）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。同様に、式（３）は、画像Ｇ２上の特徴点Ｑ２０の座標（ｘ２，ｙ２）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。
上記式（２）及び式（３）中の未知数は、２つの媒介変数μ１、μ２と３次元座標Ｍ(20)の３つの成分値ｘ，ｙ，ｚとの合計５つである。一方、式（２）及び式（３）に含まれる等式の数は６であるため、各未知数つまり特徴点Ｑ２０の３次元座標（ｘ，ｙ，ｚ）を算出することができる。また、同様にして、全ての特徴点Ｑｊについての３次元座標Ｍ(j)を取得することができる。
次のステップＳＰ４２では、モデルフィッテングが行われる。この「モデルフィッティング」は、予め準備された一般的（標準的）な顔の立体モデルである「（顔の）標準モデル」を、登録対象者に関する情報を用いて変形することによって、登録対象者の顔に関する入力情報が反映された「個別モデル」を生成する処理である。具体的には、算出された３次元座標Ｍ(j)を用いて標準モデルの３次元情報を変更する処理と、上記のテクスチャ情報を用いて標準モデルの２次元情報を変更する処理とが行われる。
図１２は、３次元の顔の標準モデルを示している。
図１２に示されるように、顔の標準モデルは、頂点データとポリゴンデータとで構成され、記憶部３に格納された３次元モデルデータベース（ＤＢ）５２（図４）に含まれている。頂点データは、標準モデルにおける特徴部位の頂点（以下、「標準制御点」とも称する）ＣＯｊの座標の集合であり、ステップＳＰ４１において算出される各特徴点Ｑｊの３次元座標と１対１に対応している。ポリゴンデータは、標準モデルの表面を微小な多角形（例えば、三角形）のポリゴンに分割し、ポリゴンを数値データとして表現したものである。なお、図１０では、各ポリゴンの頂点が標準制御点ＣＯｊ以外の中間点によっても構成される場合を例示しており、中間点の座標は標準制御点ＣＯｊの座標値を用いた適宜の補完手法によって得ることが可能である。
ここで、標準モデルから個別モデルを構成するモデルフィッティングについて詳述する。
まず、標準モデルの各特徴部位の頂点（標準制御点ＣＯｊ）を、ステップＳＰ４１において算出された各特徴点に移動させる。具体的には、各特徴点Ｑｊの３次元座標値を、対応する標準制御点ＣＯｊの３次元座標値として代入し、移動後の標準制御点（以下、「個別制御点」とも称する）Ｃｊを得る。これにより、標準モデルを３次元座標Ｍ(j)で表した個別モデルに変形することができる。なお、個別モデルにおける個別制御点Ｃｊ以外の中間点の座標は、個別制御点Ｃｊの座標値を用いた適宜の補間手法によって得ることが可能である。
また、この変形（移動）による各頂点の移動量から、後述のステップＳＰ４３において用いられる、標準モデルを基準にした場合の個別モデルのスケール、傾き及び位置を求めることができる。具体的には、標準モデルにおける所定の基準位置と、変形後の個別モデルにおける対応基準位置との間のずれ量によって、個別モデルの標準モデルに対する位置変化を求めることができる。また、標準モデルにおける所定の２点を結ぶ基準ベクトルと、変形後の個別モデルにおける当該所定の２点の対応点を結ぶ基準ベクトルとの間のずれ量によって、個別モデルの標準モデルに対する傾きの変化及びスケール変化を求めることができる。例えば、右目の目頭の特徴点Ｑ１と左目の目頭の特徴点Ｑ２との中点ＱＭの座標と標準モデルにおいて中点ＱＭに相当する点の座標とを比較することによって個別モデルの位置を求めることができ、さらに、中点ＱＭと他の特徴点とを比較することによって個別モデルのスケール及び傾きを算出することができる。
次の式（４）は、標準モデルと個別モデルとの間の対応関係を表現する変換パラメータ（ベクトル）ｖｔを示している。式（４）に示すように、この変換パラメータ（ベクトル）ｖｔは、両者のスケール変換指数ｓｚと、直交３軸方向における並進変位を示す変換パラメータ（ｔｘ，ｔｙ，ｔｚ）と、回転変位（傾き）を示す変換パラメータ（φ，θ，ψ）とをその要素とするベクトルである。
上述のようにして、認証対象者に関する３次元座標Ｍ(j)を用いて標準モデルの３次元情報を変更する処理が行われる。
その後、テクスチャ情報を用いて標準モデルの２次元情報を変更する処理も行われる。具体的には、入力画像Ｇ１，Ｇ２における各領域のテクスチャ情報が、３次元の個別モデル上の対応する領域（ポリゴン）に貼り付け（マッピング）られる。なお、立体モデル（個別モデル等）上でテクスチャ情報が貼り付けられる各領域（ポリゴン）は「パッチ」とも称せられる。
以上のようにして、モデルフィッティング処理（ステップＳＰ４２）が行われる。
次のステップＳＰ４３では、標準モデルを基準にして個別モデルの補正が行われる。本工程では、アライメント補正と、シェーディング補正とが実行される。アライメント補正は、３次元情報に関する補正処理であり、シェーディング補正は、２次元情報に関する補正処理である。
アライメント（顔向き）補正は、上記ステップＳＰ４２において求められる標準モデルを基準にした際の個別モデルのスケール、傾き及び位置を基にして行われる。より詳細には、標準モデルを基準にした際の標準モデルと個別モデルとの関係を示す変換パラメータｖｔ（式（４）参照）を用いて個別モデルを座標変換することで、標準モデルの姿勢と同じ姿勢を有する３次元顔モデルを作成することができる。すなわち、このアライメント補正によって、認証対象者に関する３次元情報を適切に正規化することができる。
また、シェーディング補正は、個別モデルにマッピングされているパッチ内の各画素の輝度値（テクスチャ情報（図１３参照））を補正する処理である。このシェーディング補正によれば、光源と被写体人物との位置関係が標準モデル作成のための人物撮影時と個別モデルの対象人物撮影時（登録対象者撮影時）とで相違する場合に生じる、両モデル（標準モデルおよび個別モデル）のテクスチャ情報の相違を補正することができる。すなわち、シェーディング補正によれば、認証対象者に関する２次元情報の１つであるテクスチャ情報を適切に正規化することができる。
以上のように画像正規化工程（ステップＳＰ４）では、登録対象者に関する情報が、登録対象者に関する３次元情報と２次元情報との双方を含む個別モデルとして、正規化された状態で生成される。
次のステップＳＰ５（図８）では、個別モデルの特徴すなわち共通特徴部位の特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。
３次元情報としては、個別モデルにおけるｍ個の個別制御点Ｃｊの３次元座標ベクトルが抽出される。具体的には、式（５）に示されるように、ｍ個の個別制御点Ｃｊ（ｊ＝１，...，ｍ）の３次元座標（Ｘｊ，Ｙｊ，Ｚｊ）を要素とするベクトルｈSが３次元情報（３次元形状情報）として抽出される。
また、２次元情報としては、個人認証にとって重要な情報となる顔の特徴的な部分つまり個別制御点付近のパッチ又はパッチのグループ（局所領域）が有するテクスチャ（輝度）情報（以下、「局所２次元情報」とも称する）が抽出される。
局所２次元情報は、例えば、正規化後の特徴的な部位の個別制御点を示す図１４中のグループＧＲ（個別制御点Ｃ２０、Ｃ２２及びＣ２３を頂点とするパッチＲ１と個別制御点Ｃ２１、Ｃ２２及びＣ２３を頂点とするパッチＲ２）から構成される領域、又は、単に一つのパッチからなる領域等の各局所領域が有する各画素の輝度情報として構成される。局所２次元情報ｈ(k)（ｋ＝１，...，Ｌ；Ｌは局所領域数）は、それぞれ、当該局所領域内の画素数をｎ、各画素の輝度値をＢＲ１，...，ＢＲｎとすると、式（６）のようなベクトル形式で表される。また、局所２次元情報ｈ(k)をＬ個の局所領域について集めた情報は、総合的な２次元情報であるとも表現される。
以上のように、ステップＳＰ５では、個別モデルの特徴、すなわち共通部位特徴量を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが認識される。
抽出された情報は後述の認証に用いられる。当該認証では、式（６）で得られる情報をそのまま用いて認証を行うようにしてもよいが、その場合、局所領域内の画素数が多いときには、認証での計算量が非常に大きくなってしまう。そこで、この実施形態では、計算量を低減して効率的に認証を行うことを企図して、式（６）で得られる情報を更に圧縮し圧縮後の情報を用いて認証動作を行うものとする。
そのため、次のステップＳＰ６では、ステップＳＰ５で抽出された情報を、認証に適した状態に変換する次述の情報圧縮処理を行う。
情報圧縮処理は、３次元形状情報ｈS及び各局所２次元情報ｈ(k)のそれぞれに対して同様の手法を用いて行われるが、ここでは、局所２次元情報ｈ(k)に対して情報圧縮処理を施す場合について詳細に説明する。
局所２次元情報ｈ(k)は、複数のサンプル顔画像から予め取得される当該局所領域の平均情報（ベクトル）ｈave(k)と、複数のサンプル顔画像をＫＬ展開することによって予め算出される当該局所領域の固有ベクトルのセットで表現される行列Ｐ(k)（次述）とを用いて式（７）のように基底分解された形式で表すことができる。この結果、局所２次元顔情報量（ベクトル）ｃ(k)が、局所２次元情報ｈ(k)についての圧縮情報として取得される。
上述のように式（７）中の行列Ｐ(k)は、複数のサンプル顔画像から算出される。具体的には、行列Ｐ(k)は、複数のサンプル顔画像をＫＬ展開することによって求められる複数の固有ベクトルのうち、固有値の大きい数個の固有ベクトル（基底ベクトル）のセットとして求められる。これらの基底ベクトルは、部分基底ベクトルＤＢ６１に記憶されている。顔画像についてのより大きな特徴を示す固有ベクトルを基底ベクトルとしてその顔画像を表現することによれば、顔画像の特徴を効率的に表現することが可能となる。
例えば、図１４に示されているグループＧＲからなる局所領域の局所２次元情報ｈ(GR)を基底分解された形式で表現する場合を考える。当該局所領域の固有ベクトルのセットＰが、３つの固有ベクトルＰ１、Ｐ２及びＰ３によってＰ＝（Ｐ１，Ｐ２，Ｐ３）と表現されているとすると、局所２次元情報ｈ(GR)は、当該局所領域の平均情報ｈave(GR)と固有ベクトルのセットＰ１，Ｐ２，Ｐ３を用いて式（８）のように表される。平均情報ｈave(GR)は、様々なサンプル顔画像についての複数の局所２次元情報（ベクトル）を対応要素ごとに平均して得られるベクトルである。なお、複数のサンプル顔画像は、適度なばらつきを有する標準的な複数の顔画像を用いればよい。
また、上記式（８）は、顔情報量ｃ(GR)＝（ｃ１，ｃ２，ｃ３）Tによって元の局所２次元情報を再現することが可能であることを示している。すなわち、顔情報量ｃ(GR)は、グループＧＲからなる局所領域の局所２次元情報ｈ(GR)を圧縮した情報といえる。
上記のようにして取得された局所２次元顔情報量ｃ(GR)をそのまま認証動作に用いてもよいが、この実施形態ではさらなる情報圧縮を行う。具体的には、局所２次元顔情報量ｃ(GR)が表す特徴空間を個人間の分離を大きくするような部分空間へと変換する処理を更に行う。より詳細には、式（９）に表されるようベクトルサイズｆの局所２次元顔情報量ｃ(GR)をベクトルサイズｇの局所２次元特徴量ｄ(GR)に低減させる変換行列Ａを考える。これにより、局所２次元顔情報量ｃ(GR)で表される特徴空間を局所２次元特徴量ｄ(GR)で表される部分空間に変換することができ、個人間の情報の相違が顕著になる。
ここで、変換行列Ａはｆ×ｇのサイズを有する行列である。重判別分析（ＭＤＡ：Multiple Discriminant Analysis）法を用いて、特徴空間から級内分散と級間分散との比率（Ｆ比）の大きい主成分をｇ個選び出すことによって、変換行列Ａを決定することができる。
また、上述した局所２次元情報ｈ(GR)について行った情報圧縮処理と同様の処理を他の全ての局所領域にも実行することによって、各局所領域についての局所２次元共通部位特徴量ｄ(k)を取得することができる。また、３次元形状情報ｈSに対しても同様の手法を適用することにより３次元共通部位特徴量ｄSを取得することができる。
上記ステップＳＰ６を経て取得される３次元共通部位特徴量ｄSと局所２次元共通部位特徴量ｄ(k)とを組み合わせた共通部位特徴量ｄは、ベクトル形式で式（１０）のように表すことができる。
以上に述べたステップＳＰ１〜ＳＰ６の工程において、入力される登録対象者の顔画像から当該対象者の共通部位特徴量ｄが認識される。
そして、次のステップＳＰ７〜ＳＰ９では、個別部位特徴量が認識される。
ステップＳＰ７（個別特徴部位検出工程）では、ステップＳＰ４で正規化された画像に基づいて、個別特徴部位が検出される。この個別特徴部位検出工程（ステップＳＰ７）は、図１５に示すステップＳＰ７１〜ＳＰ７４の工程を行う。以下、各工程について、図１３に示すように、右目の斜め下に有るホクロを個別特徴部位として認識する場合を例示しつつ、説明する。
ステップＳＰ７１では、個別特徴部位として採用する候補（以下「個別特徴部位候補」とも称する）を認識する。個別特徴部位候補の認識方法としては、例えば、ステップＳＰ４で正規化されたテクスチャ情報（以下「正規化済画像」とも称する）を微分した画像（微分画像）を解析する手法を採用することができる。
例えば、図１３に示すように、右目の斜め下にホクロがある顔を捉えたテクスチャー画像を微分すると、図１６に示すような微分画像が得られ、右目の斜め下に有るホクロＨＫの存在が強調された態様となる。次に、図１７に示すように、微分画像をグリッド状に分割することで同一形状・サイズをそれぞれ有する多数の正方形状の部分画像ＣＵに分け、各部分画像ＣＵ毎に画素値の合計値を算出する。そして、予め多数の人物についても同一のルールで分割して部分画像毎に画素値の合計値（画素合計値）を統計的に処理した情報（以下「統計微分画像情報」とも称する）と比較することで、個別特徴部位候補を認識する。
ここでは、登録対象画像に係る部分画像ＵＣのうち、多数の人物をそれぞれ捉えた多数の基準画像から求まる各部分画像を特徴付ける所定のパラメータ（ここでは、微分画像の画素合計値）に係る基準値に対し、偏差が所定の基準値を超える部分画像を、個別特徴部位を捉えた部分画像（以下「個別部位含有画像」とも称する）として判別する。
例えば、ある部分画像ＣＵについて、図１８(a)に示すような多数の基準画像に係る統計的情報が得られている場合に、登録対象画像に係る微分画像を構成する部分画像について、図１８(b)に示すように、基準値Ｖaveに対する所定の偏差値Ｖthを超える画素合計値Ｖpが算出された場合には、当該部分画像が、個別特徴部位を捉えた個別部位含有画像すなわち個別特徴部位候補であると認識される。このように、多数の基準画像から求まる基準値に対する偏差が所定の基準を超える部分画像を、個別特徴部位を捉えた個別部位含有画像として判別するため、ある程度大きな差異点を有する個別特徴部位候補ひいては個別特徴部位を容易に検出することができる。
更に、個別部位含有画像が複数個相互に隣接し合う場合には、当該相互に隣接し合う複数個の個別部位含有画像が１つの個別部位に相当する領域（以下「個別部位領域」とも称する）として認識される。このようにして個別部位領域を認識することで、１まとまりの個別特徴部位候補をより確実に検出することができる。
なお、統計微分画像情報は、予め統計微分画像情報データベース（ＤＢ）６２に格納しておけば良く、人物以外の認証を行う場合には、統計微分画像情報は、多数の同種の物をそれぞれ捉えた多数の基準画像に係る微分画像を統計的に処理した情報であれば良い。
また、グリッド状に分割した後の部分画像としては、例えば、１６×１６画素などといった具合に一定の画素領域によって構成される部分画像などが挙げられる。なお、画素毎に画素値を比較して個別特徴部位を含む画素を認識することで個別部位領域を認識する手法も考えられるが、ある程度の大きさを有する部分画像毎に比較する手法を採用する方が、個別特徴部位候補ひいては個別特徴部位を検出する演算時間を短縮化することができる。
また、画素毎に比較を行うと、個人間における共通特徴部位に係る微妙な差異点まで、個別特徴部位を含有する画素として認識してしまい、個別特徴部位を共通特徴部位とは区別して検出することができない。これに対して上述の如く、ある程度の大きさを有する部分画像毎に比較する手法を採用すると、共通特徴部位とは区別して、より顕著な差異点である個別特徴部位をより確実に検出することができる。
図１５のステップＳＰ７２では、ステップＳＰ７１で所定数（例えば１０個）を超える数の個別部位領域が認識されたか否かを判定する。ここで、個別部位領域の数が所定数を超えている場合には、ステップＳＰ７３に進み、所定数を超えていない場合には、ステップＳＰ７４に進む。
ステップＳＰ７３では、ステップＳＰ７１で認識した個別特徴部位候補のうち、顕著な特徴を有する方から順に所定数（例えば１０個）の個別特徴部位候補（すなわち個別部位領域）を選択的に採用する一方で、残余の個別特徴部位候補については採用しない。顕著な特徴を有する順番を判断する際の手法としては、例えば、各個別部位領域について、多数の人物をそれぞれ捉えた多数の基準画像から求まる各個別部位領域を特徴付ける所定の変動因子（ここでは、微分画像の画素合計値）に係る基準値からの離れ度合い（偏差）を利用する手法が挙げられる。ここでは、所定の変動因子に係る基準値は上述した統計微分画像情報から求めることができ、各個別部位領域に係る離れ度合い（偏差）を微分画像に係る画素合計値から算出して、当該偏差が大きい方から顕著な特徴を有していると判断することができる。
ステップＳＰ７４では、ステップＳＰ７２から進んで来た場合には、ステップＳＰ７１で認識された所定数以下の個別特徴部位候補をそのまま個別特徴部位として決定し、ステップＳＰ７３から進んで来た場合には、ステップＳＰ７３で選択的に採用された所定数の個別特徴部位候補を個別特徴部位として決定する。
なお、ここで個別特徴部位の数を所定数以下に絞り込んだのは、ある程度大きな特徴を有する個別特徴部位に絞り込んだ方が、後述する認証等に要する演算時間を短縮化することができるからである。
このように、ステップＳＰ７（個別特徴部位検出工程）では、多数の人物をそれぞれ捉えた多数の基準となる画像（基準画像）と登録対象画像とをそれぞれ微分し、それぞれ同一のルールで分割した部分画像ＣＵ毎に比較することで、個別特徴部位候補ひいては個別特徴部位を認識することができる。
図８のステップＳＰ８（個別特徴部位の位置算出工程）では、ステップＳＰ７で検出された個別特徴部位の３次元位置を算出する。この個別特徴部位の位置算出工程（ステップＳＰ８）は、図１９に示すステップＳＰ８１、ステップＳＰ８２の工程を行う。以下、各工程について説明する。
ステップＳＰ８１では、ステップＳＰ７で検出された各個別特徴部位について、３次元の絶対位置を算出する。ここでは、ステップＳＰ４１の３次元再構成工程における座標系と同様な座標系において、各個別特徴部位の重心の位置が算出される。
ステップＳＰ８２では、ステップＳＰ７で検出された各個別特徴部位について、共通特徴部位を基準とした相対的な値によって表現された３次元位置（３次元相対位置）を算出する。ここでは、各個別特徴部位について、正規化後における共通特徴部位のうちの個別特徴部位から最も近い方から３つ以上の共通特徴部位を基準とした相対位置が算出される。例えば、図２０で示すように、個別特徴部位（ここでは、ホクロ）ＰＰについて、個別特徴部位ＰＰから最も近い３つの共通特徴部位（ここでは、右目、鼻、口）にそれぞれ属する特徴点Ｑ３，Ｑ１７，Ｑ２０に対する相対位置が算出される。
より詳細には、例えば、式（１１）に表されるように、ｉ番目の個別特徴部位の３次元相対位置Ｐi pを、ｊ番目の共通特徴部位の３次元位置Ｐj cに係数（ここでは、ｉ番目の個別特徴部位を表現するｊ番目の共通特徴部位に係る係数）を乗じたベクトルの総和（すなわち線形和）によって算出する。
なお、ここでは、個別特徴部位の位置を３つ以上の共通特徴部位に対する相対位置によって表現しようとすれば、最低限３つの異なる方向に向いたベクトルによってそれぞれ３次元位置が示される共通特徴部位の特徴点を基準に表現すれば良い。
このように、個別特徴部位の位置を共通特徴部位の位置を基準とした相対的な数値によって表現するような構成としたのは、顔の表情が若干変化すると、顔全体に対して個別特徴部位が占める位置がずれるが、複数の共通特徴部位に対する個別特徴部位の相対的な位置関係は比較的ずれ難い。そこで、ここでは、上述したように、個別特徴部位の位置を３つ以上の共通特徴部位を基準とした相対的な値によって表現することで、表情の変化等といった認証対象物の状況の変化の影響によらず、後述する認証を高精度に行うことができる。特に、個別特徴部位の位置を共通特徴部位の位置を基準とした３次元相対位置によって表現することで、顔等の認証対象物の向きによらず安定した認証が可能となる。
図８のステップＳＰ９（個別特徴部位の特徴量認識工程）では、各個別特徴部位について、登録対象画像のうちの個別部位領域の輝度値（画素値）の加算値、登録対象画像に係る微分画像のうちの当該個別部位領域における画素値の加算値、個別部位領域の大きさ（サイズ）、共通特徴部位からの３次元相対位置などを個別特徴部位に係る特徴量（以下「個別部位特徴量」とも称する）として認識する。ここでは、例えば、個別部位特徴量は、各値を各ベクトル成分として表現したベクトルの形式で認識される。
ステップＳＰ１０（記憶処理工程）では、ステップＳＰ５で認識した上でステップＳＰ６で情報圧縮処理を施された共通部位特徴量と、ステップＳＰ９で認識した個別部位特徴量とを特徴量ＤＢ７１に記憶し、１人の顔の特徴量に係る登録処理が終了する。なお、このステップＳＰ１０では、各個別特徴部位に相当する個別部位領域について、統計微分画像情報から求まる基準値に対する微分画像に係る画素合計値の離れ度合い（偏差）を、登録対象者に係る特徴量と併せて特徴量ＤＢ７１に登録する。
以上では、１人の登録対象者に係る登録処理について説明したが、以上の登録処理を複数回行うことで、多数の人物の顔の特徴量を蓄積した特徴量ＤＢ７１を構築することができる。このようにして特徴量ＤＢ７１に蓄積された登録対象者の顔の特徴量は、後述する認証処理において認証対象者の顔の特徴量と比較する対象となる。つまり、登録処理において登録対象者であった人物は、認証処理では比較対象者となる。
＜認証モードにおける動作＞
以下では、上述したコントローラ１０の認証モードに係る各機能についてより詳細に説明する。
図２１は、認証モード設定時におけるコントローラ１０の動作を示すフローチャートであり、図２２は、詳細照合処理工程（ステップＳＴ８）の詳細なフローチャートである。図２３は、個別特徴部位に係る一方向類似度算出工程（ステップＳＴ８２）の詳細なフローチャートである。図２４は、個別特徴部位に係る逆方向類似度算出工程（ステップＳＴ８３）の詳細なフローチャートである。図２５は、高速照合処理工程（ステップＳＴ９）の詳細なフローチャートである。図２６は、１対ｎ識別処理工程（ステップＳＴ１０）の詳細なフローチャートである。
以下では、カメラＣＡ１及びＣＡ２で撮影した人物を認証対象者として、実際に顔認証用の情報を認証する場合について説明する。ここでは、３次元情報として、カメラＣＡ１，ＣＡ２による画像を利用して三角測量の原理によって計測された３次元形状情報を用い、２次元情報として主にテクスチャ（輝度）情報を用いる場合を例示する。
図２１に示されるように、コントローラ１０は、ステップＳＴ１からステップＳＴ６までの工程において、認証対象者の顔を撮影した画像（以下「認証対象画像」とも称する）に基づき認証対象者の顔に係る共通部位特徴量を取得するとともに、ステップＳＴ７からステップＳＴ１０までの工程において、各認証モードに応じた実際の認証を行い、ステップＳＴ１１の工程を経ることで、認証対象者の顔に関する認証処理が実現される。
まず、ステップＳＴ１では、図８のステップＳＰ１と同様に、カメラＣＡ１及びＣＡ２によって撮影された人物（認証対象者）の顔画像（認証対象画像）が、通信線を介しコントローラ１０に入力される。
ステップＳＴ２では、図８のステップＳＰ２と同様な処理により、カメラＣＡ１及びＣＡ２より入力された２枚の認証対象画像それぞれにおいて、顔の存在する領域が検出される。
ステップＳＴ３では、図８のステップＳＰ３と同様な処理により、ステップＳＴ２で検出された顔領域の画像の中から、一般的な人物の顔に共通して具備されている共通特徴部位の位置が検出される。
ステップＳＴ４（画像正規化工程）では、図８のステップＳＰ４と同様な処理、すなわち図９の画像正規化工程を認証対象画像について行うことで、認証対象者に関する画像情報が正規化される。つまり、認証対象者に関する情報が、認証対象者に関する３次元情報と２次元情報との双方を含む個別モデルとして、正規化された状態で生成される。
ステップＳＴ５では、図８のステップＳＰ５と同様な処理により、個別モデルの特徴すなわち共通特徴部位の特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが認識される。つまり、認証対象者の共通部位特徴量ｄが認識される。
ステップＳＴ６では、図８のステップＳＰ６と同様な処理により、ステップＳＴ５で認識された情報を、認証に適した状態に変換する情報圧縮処理を行う。
このように、ステップＳＴ１〜ＳＴ６の工程では、入力される認証対象者の顔画像から当該対象者の共通部位特徴量ｄが認識される。
そして、次のステップＳＰ７〜ＳＰ１０では、各認証モードに応じた実際の認証を行う。
ステップＳＴ７では、現在設定されている認証モードが、詳細照合モード、高速照合モード、及び１対ｎ識別モードの３つのモードのうちの何れのモードに設定されているかを判定する。ここでは、ユーザーの操作部６に対する操作により、コントローラ１０が詳細照合モードに設定されている場合にはステップＳＴ８に進み、コントローラ１０が高速照合モードに設定されている場合にはステップＳＴ９に進み、コントローラ１０が１対ｎ識別モードに設定されている場合にはステップＳＴ１０に進む。
まず、ステップＳＴ７からステップＳＴ８へ進んで行われる、詳細照合処理工程（ステップＳＴ８）の内容について説明する。
ステップＳＴ８（詳細照合処理工程）では、［Ａ］共通特徴部位の特徴量を用いて類似度（以下「共通部位類似度」とも称する）を算出する工程（以下「共通部位類似度算出工程」とも称する）と、［Ｂ］認証対象者に係る個別特徴部位の特徴量を基準として認証対象者の特徴と比較対象者の特徴とが一致するか否かを判定する尺度となる一方向の類似度（以下「個別特徴部位に係る一方向類似度」とも称する）を算出する工程（一方向類似度算出工程）と、［Ｃ］特徴量ＤＢ７１に既に登録された比較対象者に係る個別特徴部位の特徴量を基準として認証対象者の特徴と比較対象者の特徴とが一致するか否かを判定する尺度となる逆方向の類似度（以下「個別特徴部位に係る逆方向類似度」とも称する）を算出する工程（逆方向類似度算出工程）とを順次行う。そして、３つの類似度を用いた総合的な判定により、認証対象者と比較対象者とが同一人物か否かを照合する。この詳細照合処理工程（ステップＳＴ８）は、図２２に示すステップＳＴ８１〜ＳＴ８４の工程を行う。なお、ここでは、ユーザーが操作部６を種々操作すること等により、登録済みの多数の人物の中から１名の比較対象者が選択的に指定されているものとして説明する。
ステップＳＴ８１では、特徴量ＤＢ７１に予め登録されている比較対象者に係る共通部位特徴量（比較特徴量）ｄ（Ａｄ）と、上記ステップＳＴ１〜ＳＴ６を経て算出された認証対象者に係る共通部位特徴量ｄ（Ｂｄ）との類似性の評価（類似度の算出）が行われる。
具体的には、認証対象者（認証対象物）と比較対象者（比較対象物）との間における共通特徴部位に係る類似度（以下「共通部位類似度」とも称する）Ｒｅcが算出され、後述する総合判定処理（ステップＳＴ８４）において用いられる。共通部位類似度Ｒｅcは、３次元顔特徴量ｄSから算出される３次元類似度ＲｅSと、局所２次元顔特徴量ｄ(k)から算出される局所２次元類似度Ｒｅ(k)とに加えて、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)との重みを規定する適宜の重み付け係数（以下、単に「重み係数」とも称する）ＷＴ，ＷＳ（式（１２）参照）を用いて算出される。
より詳細には、登録されている比較対象者に係る共通部位特徴量（比較特徴量）（ｄSM及びｄ(k)M）と認証対象者に係る共通部位特徴量（ｄSI及びｄ(k)I）との間で類似度計算が実行され、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)とが算出される。
さて、認証対象者と比較対象者との３次元類似度ＲｅSは、式（１３）に示されるように対応するベクトル同士のユークリッド距離ＲｅSを求めることによって取得される。
また、局所２次元の類似度Ｒｅ(k)は、式（１４）に示されるように対応する局所領域同士における特徴量の各ベクトル成分ごとのユークリッド距離Ｒｅ(k)を求めることによって取得される。
そして、式（１５）に示されるように、３次元の類似度ＲｅSと局所２次元の類似度Ｒｅ(k)とを、所定の重み係数ＷＴ，ＷＳを用いて合成し、認証対象者（認証対象物）と比較対象者（比較対象物）との共通部位特徴に係る類似度（共通部位類似度）Ｒｅcを算出することができる。
次に、ステップＳＴ８２（一方向類似度算出工程）では、認証対象者に係る個別部位特徴量を基準として認証対象者の特徴と比較対象者の特徴とが一致するか否かを判定する尺度（一方向類似度）を算出する。この一方向類似度算出工程（ステップＳＴ８２）では、図２３に示されるステップＳＴ８２１〜ＳＴ８２５を行うことで、個別特徴部位に係る一方向類似度Ｒｅpaが算出される。以下、各工程（ステップＳＴ８２１〜ＳＴ８２５）について詳細に説明する。
ステップＳＴ８２１では、ステップＳＴ４で正規化された認証対象画像（正規化後認証対象画像）から個別特徴部位を検出する。ここでは、例えば、図８のステップＳＰ７における処理と同様な処理によって個別特徴部位を検出する。
ステップＳＴ８２２では、ステップＳＴ８２１で検出された個別特徴部位の位置を算出する。ここでは、例えば、図８のステップＳＰ８における処理と同様な処理によって、個別特徴部位の共通特徴部位に対する３次元相対位置を算出する。
ステップＳＴ８２３では、ステップＳＴ８２１で検出された個別特徴部位に係る特徴量（個別部位特徴量）を認識する。ここでは、図８のステップＳＰ９における処理と同様な処理によって、各個別特徴部位について、認証対象画像のうちの個別部位領域の輝度値（画素値）の加算値、認証対象画像に係る微分画像のうちの当該個別部位領域における画素値の加算値、個別部位領域の大きさ（サイズ）、共通特徴部位からの３次元相対位置などを個別部位特徴量として認識する。
ステップＳＴ８２４では、認証対象画像における個別特徴部位の位置（ステップＳＴ８２２で算出された３次元相対位置）を、比較対象画像において個別特徴部位の特徴量を比較する位置（比較位置）として決定する。この比較位置は、上述した部分画像（例えば１６×１６画素）の単位で決定される。このように、比較位置がある程度の領域の広さを有することで、表情の違いなどにより同一人物を捉えた比較対象画像と認証対象画像間で個別特徴部位の位置が若干ずれても、個別特徴部位が比較位置から容易に外れないようにするためである。
ステップＳＴ８２５では、ステップＳＴ８２４で決定された比較位置について、特徴量ＤＢ７１に予め登録されている比較対象者に係る個別部位特徴量と、ステップＳＴ８２３で認識された認証対象者に係る個別部位特徴量とを用いて一方向類似度を算出する。
ここでは、例えば、図２２のステップＳＴ８１と同様に、各比較位置についてそれぞれ個別特徴部位に係る特徴量を表したベクトル同士のユークリッド距離を類似度（ｊ番目の個別部位の類似度をＲｅj pa）として求める。そして、各比較位置について特徴の顕著性に応じた重み付けを行って、全ての比較位置に係る一方向類似度Ｒｅpaを算出する。一方向類似度Ｒｅpaは、式（１６）に示すようなものとなる。
式（１６）のＷj paはｊ番目の個別特徴部位に係る特徴の顕著性に応じた重み付け用の係数である。例えば、ｊ番目の個別特徴部位に相当する個別部位領域について、多数の人物をそれぞれ捉えた多数の基準画像から求まる各個別部位領域を特徴付ける所定の変動因子（ここでは、微分画像の画素合計値）に係る基準値からの離れ度合い（偏差）を、重み付け用の係数Ｗj paとして採用することができる。ここでは、所定の変動因子に係る基準値は上述した統計微分画像情報から求めることができ、各個別部位領域に係る離れ度合い（偏差）を微分画像に係る画素合計値から算出することができる。
このように、個別部位毎に個別部位の特徴量に対して、多数の顔をそれぞれ捉えた基準画像から求められた基準値に対する偏差に応じた重み付けを行って認証を行うため、より大きな特徴を捉えた個別部位を重視した認証が可能となる。その結果として、認証精度をより一層向上させることができる。
次の図２２のステップＳＴ８３（逆方向類似度算出工程）では、比較対象者に係る個別部位特徴量を基準として認証対象者の特徴と比較対象者の特徴とが一致するか否かを判定する尺度（逆方向類似度）の算出が行われる。この逆方向類似度算出工程（ステップＳＴ８３）では、図２４に示されるステップＳＴ８３１〜ＳＴ８３４を行うことで、個別特徴部位に係る逆方向類似度Ｒｅpbが算出される。以下、各工程（ステップＳＴ８３１〜ＳＴ８３４）について詳細に説明する。
ステップＳＴ８３１では、特徴量ＤＢ７１から比較対象者（すなわち比較対象画像）に係る個別特徴部位の３次元相対位置を示す情報を取得する。
ステップＳＴ８３２では、比較対象画像における個別特徴部位の位置（ステップＳＴ８３１で特徴量ＤＢ７１から取得した３次元相対位置）を、認証対象画像において個別特徴部位の特徴量を比較する位置（比較位置）として決定する。当該比較位置も、上述した部分画像（例えば１６×１６画素）の単位で決定される。
ステップＳＴ８３３では、認証対象画像について、ステップＳＴ８３２で決定された各比較位置における特徴量を認識する。ここでは、各比較位置について、認証対象画像のうちの個別部位領域の輝度値（画素値）の加算値、認証対象画像に係る微分画像のうちの当該個別部位領域における画素値の加算値などを個別部位特徴量として認識する。
ステップＳＴ８３４では、ステップＳＴ８３２で決定された比較位置について、特徴量ＤＢ７１に予め登録されている比較対象者に係る個別部位特徴量と、ステップＳＴ８３３で認識された認証対象者の比較位置に係る特徴量とを用いて類似度を算出する。
ここでは、例えば、図２３のステップＳＴ８２５とほぼ同様に、各比較位置についてそれぞれ個別特徴部位に係る特徴量を表したベクトル同士のユークリッド距離を類似度（ｊ番目の個別部位の類似度をＲｅj pb）として求める。そして、各比較位置について特徴の顕著性に応じた重み付けを行って、全ての比較位置に係る逆方向類似度Ｒｅpbを算出する。逆方向類似度Ｒｅpbは、式（１７）に示すようなものとなる。
式（１７）のＷj pbはｊ番目の個別特徴部位に係る特徴の顕著性に応じた重み付け用の係数である。例えば、比較対象者に係るｊ番目の個別特徴部位に相当する個別部位領域について、多数の人物をそれぞれ捉えた多数の基準画像から求まる各個別部位領域を特徴付ける所定の変動因子（ここでは、微分画像の画素合計値）に係る基準値からの離れ度合い（偏差）を、重み付け用の係数Ｗj pbとして採用することができる。ここでは、所定の変動因子に係る基準値は上述した統計微分画像情報から求めることができ、各個別部位領域に係る離れ度合い（偏差）を微分画像に係る画素合計値から算出することができる。なお、上述したように、当該偏差は、比較対象者に係る特徴量を特徴量ＤＢ７１に登録する際に併せて登録されている。
ステップＳＴ８４では、ステップＳＴ８１〜ＳＴ８３のそれぞれにおいて求められた３つの類似度（共通部位類似度Ｒｅc、一方向類似度Ｒｅpa、逆方向類似度Ｒｅpb）から総合類似度Ｒｅ１を算出し、当該総合類似度Ｒｅ１に基づいて認証判定が行われる。総合類似度Ｒｅ１は、例えば、式（１８）に示すように、３つの類似度Ｒｅc，Ｒｅpa，Ｒｅpbと、共通特徴部位に係る重み付け用の係数Ｗcと、個別特徴部位に係る重み付け用の係数Ｗpとを用いて算出された値とすることができる。
具体的には、総合類似度Ｒｅ１を一定の閾値ＴＨａと比較することによって、認証対象者と比較対象者との同一性が判定される。詳細には、総合類似度Ｒｅ１が一定の閾値ＴＨａよりも小さいときに認証対象者が比較対象者と同一人物であると判定される。
次に、ステップＳＴ７からステップＳＴ９へ進んで行われる高速照合処理工程（ステップＳＴ９）の内容について説明する。
ステップＳＴ９（高速照合処理工程）では、［Ａ］共通部位類似度を算出する工程と、［Ｃ］個別特徴部位に係る逆方向類似度を算出する工程（逆方向類似度算出工程）とを順次行う。そして、２つの類似度を用いた総合的な判定により、認証対象者と比較対象者とが同一人物か否かを照合する。この高速照合処理工程（ステップＳＴ９）は、図２５に示すステップＳＴ９１〜ＳＴ９３の工程を行う。なお、ここでは、ユーザーが操作部６を種々操作すること等により、登録済みの多数の人物の中から１名の比較対象者が選択的に指定されているものとして説明する。
ステップＳＴ９１では、図２２のステップＳＴ８１と同様に、共通部位類似度が算出される。
ステップＳＴ９２では、図２２のステップＳＴ８３と同様に、個別特徴部位に係る逆方向類似度が算出される。
ステップＳＴ９３では、ステップＳＴ９１、ステップＳＴ９２のそれぞれにおいて求められた２つの類似度（共通部位類似度Ｒｅc、逆方向類似度Ｒｅpb）から総合類似度Ｒｅ２が算出され、当該総合類似度Ｒｅ２に基づいた判定が行われる。総合類似度Ｒｅ２は、例えば、式（１９）に示すように、２つの類似度Ｒｅc，Ｒｅpbと、共通特徴部位に係る重み付け用の係数Ｗcと、個別特徴部位に係る重み付け用の係数Ｗpとを用いて算出された値とすることができる。
具体的には、総合類似度Ｒｅ２を一定の閾値ＴＨｂと比較することによって、認証対象者と比較対象者との同一性が判定される。より詳細には、類似度Ｒｅ２が一定の閾値ＴＨｂよりも小さいときに認証対象者が比較対象者と同一人物であると判定される。
次に、ステップＳＴ７からステップＳＴ１０へ進んで行われる１対ｎ識別処理工程（ステップＳＴ１０）の内容について説明する。
ステップＳＴ１０（１対ｎ識別処理工程）では、ｎ人の既登録者うちの何れの者が１人の認証対象者と同一人物であるか否かを判定する。この１対ｎ識別工程（ステップＳＴ１０）では、ｎ人の既登録者の全ての者を時間順次に比較対象者として指定して、［Ａ］共通部位類似度を算出する工程と、［Ｂ］個別特徴部位に係る一方向類似度を算出する工程（一方向類似度算出工程）とを順次行う。そして、ｎ人分の２つの類似度の総合的な判定により、ｎ人の既登録者うちの何れの者が１人の認証対象者と同一人物であるかを判定する。この１対ｎ識別工程（ステップＳＴ１０）は、図２６に示すステップＳＴ１０１〜ＳＴ１０８の工程を行う。
ステップＳＴ１０１では、どの既登録者を比較対象者として指定するのかを決定するためのカウントＮが１に設定される。
ステップＳＴ１０２では、ステップＳＴ１０１における設定結果に応じて、ｎ人の既登録者のうちのＮ番目の既登録者を比較対象者として指定する。
ステップＳＴ１０３では、ステップＳＴ１０２で指定された比較対象者と認証対象者とについて、図２２のステップＳＴ８１と同様に、共通部位類似度が算出される。
ステップＳＴ１０４では、ステップＳＴ１０２で指定された比較対象者と認証対象者とについて、図２２のステップＳＴ８２と同様に、個別特徴部位に係る一方向類似度が算出される。
ステップＳＴ１０５では、ステップＳＴ１０３で算出された共通部位類似度と、ステップＳＴ１０４で算出された一方向類似度とを用いて、総合類似度Ｒｅ３が算出される。総合類似度Ｒｅ３は、例えば、式（２０）に示すように、２つの類似度Ｒｅc，Ｒｅpaと、共通特徴部位に係る重み付け用の係数Ｗcと、個別特徴部位に係る重み付け用の係数Ｗpとを用いて算出された値とすることができる。
ステップＳＴ１０６では、ｎ人の既登録者の全てを比較対象者として指定したか否か（具体的には、カウントＮがｎに達したか否か）を判定する。ここで、カウントＮがｎに達していなければ、ステップＳＴ１０７でカウントＮが１だけ増加されて、ステップＳＴ１０２に戻り、次の比較対象者についてステップＳＴ１０２〜ＳＴ１０５の処理が行われる。一方、カウントＮがｎに達していれば、ステップＳＴ１０８に進む。
ステップＳＴ１０８では、ｎ人の既登録者うちの何れの者が、１人の認証対象者と同一人物であるか否かを判定する。詳細には、例えば、ステップＳＴ１０５で算出されたｎ人の比較対象者についての総合類似度Ｒｅ３のうち、一定の閾値ＴＨｃよりも小さい総合類似度Ｒｅ３が算出された認証対象者と比較対象者の組合せが、同一人物の組合せであると判定される。
そして、図２１のステップＳＴ１１では、ステップＳＴ８〜ＳＴ１０のうちの何れか一つの処理における判定結果を所望の機能に対して適宜出力する。
以上のように、上記実施形態の認証システム１によれば、認証対象物（ここでは認証対象者）及び比較対象物（ここでは比較対象者）のうちの少なくとも一方について、同種の物（ここでは人物）に共通して具備されている共通特徴部位とは異なり且つ個別に具備されている個別特徴部位を検出する。そして、各個別特徴部位の特徴量をそれぞれ認識して認証を行う。このようなような構成を採用することで、個別（個人毎）に異なる特徴的な部分を用いた認証が可能となるため、人物を含む物の同一性を認証するに際して、高精度の認証を行うことができる。すなわち、認識率が向上する。そして、共通特徴部位及び個別特徴部位等に係る部分画像を用いて認証を行うことで、顔を捉えた顔画像全体を用いた認識では反映されないような微小な特徴も用いて認証することができるため、結果として認識率が向上する。
また、個別特徴部位の特徴量と共通特徴部位の特徴量とを用いて認証を行う。このような構成を採用することで、大まかな特徴と細かい特徴の双方を用いた認証を行うことができるため、高精度の認証が可能となる。
また、共通特徴部位の位置に対する個別特徴部位の相対位置を示す数値を、個別特徴部位の特徴量に含めて認証を行う。このような構成を採用することで、個別特徴部位を特徴付ける大きな要素である位置情報を含めた認証によって、より確実かつ精度の高い認証が可能となる。
また、ユーザーによる操作部６の操作に応答して、複数の登録対象画像に含まれる登録対象物（ここでは登録対象者及び／又は比較対象者）を捉えた画像について各個別特徴部位の特徴量を認識して認証対象物（ここでは認証対象者）に関する認証を行う高速照合モードと、認証対象物を捉えた画像について個別特徴部位の特徴量を認識して認証対象物に関する認証を行う１対ｎ識別モードとを切り替える。このような構成を採用することで、比較対象物の数が多い場合と１つである場合等といった具合に比較対象物の数に応じた高精度の認証が可能となる。
＜変形例＞
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
◎例えば、上記実施形態における個別特徴部位の特徴量認識工程では、各個別特徴部位に相当する個別部位領域の輝度値（画素値）の加算値、及び微分画像のうちの個別部位領域における画素値の加算値の双方の値を個別部位特徴量に含ませた。しかしながら、これに限られず、例えば、個別部位領域の輝度値、及び部分画像に係る微分画像の画素値のうちの少なくとも一方を用いて個別部位特徴量を算出するようにしても、上記実施形態と同様な効果を得ることができる。
◎また、上記実施形態における１対ｎ識別工程では、ｎ人全ての比較対象者と認証対象者との総合類似度Ｒｅ３が算出され、一定の閾値ＴＨｃよりも小さい総合類似度Ｒｅ３が算出された認証対象者と比較対象者の組合せが、同一人物の組合せであると判定された。しかしながら、これに限られず、例えば、各比較対象者に係る総合類似度Ｒｅ３を算出する度に、総合類似度Ｒｅ３が一定の閾値ＴＨｃよりも小さいか否かが判定され、一定の閾値ＴＨｃよりも小さい総合類似度Ｒｅ３が算出された時点で、当該認証対象者と比較対象者の組合せが同一人物の組合せであると判定されて、残余の既登録者については類似度が算出されないようにしても良い。このような構成を採用すれば、１対ｎ識別工程の演算時間を短縮化することができる。
また、ｎ人全ての比較対象者と認証対象者との総合類似度Ｒｅ３が算出され、一定の閾値ＴＨｃよりも小さい総合類似度Ｒｅ３が算出された認証対象者と比較対象者の組合せのうち、総合類似度Ｒｅ３が最小となる認証対象者と比較対象者の組合せが同一人物の組合せであると判定されるようにしても良い。このような構成とすれば、１対ｎ識別における認証精度が更に向上する。
◎また、上記実施形態における詳細照合モードでは、３つの類似度Ｒｅc，Ｒｅpa，Ｒｅpbから求めた総合類似度Ｒｅ１が一定の閾値ＴＨａよりも小さいときに認証対象者が比較対象者と同一人物であると判定された。しかしながら、これに限られず、例えば、各類似度Ｒｅc，Ｒｅpa，Ｒｅpbについて、個別に所定の閾値よりも小さいか否か判定し、類似度Ｒｅc，Ｒｅpa，Ｒｅpbが、所定の閾値ＴＨc，ＴＨpa，ＴＨpbよりもそれぞれ小さいときに認証対象者が比較対象者と同一人物であると判定されるようにしても良い。詳細には、式（２１）が成立するようにしても良い。
また、高速照合モードでは、２つの類似度Ｒｅc，Ｒｅpbから求めた総合類似度Ｒｅ２が一定の閾値ＴＨｂよりも小さいときに認証対象者が比較対象者と同一人物であると判定された。しかしながら、これに限られず、例えば、各類似度Ｒｅc，Ｒｅpbについて、個別に所定の閾値よりも小さいか否か判定し、類似度Ｒｅc，Ｒｅpbが、所定の閾値ＴＨc，ＴＨpbよりもそれぞれ小さいときに認証対象者が比較対象者と同一人物であると判定されるようにしても良い。詳細には、式（２２）が成立するようにしても良い。
また、１対ｎ識別モードでは、２つの類似度Ｒｅc，Ｒｅpaから求めた総合類似度Ｒｅ３が一定の閾値ＴＨｃよりも小さくなる認証対象者と比較対象者の組合せが同一人物の組合せであると判定された。しかしながら、これに限られず、例えば、各類似度Ｒｅc，Ｒｅpaについて、個別に所定の閾値よりも小さいか否か判定し、類似度Ｒｅc，Ｒｅpaが、所定の閾値ＴＨc，ＴＨpaよりもそれぞれ小さいときに認証対象者が比較対象者と同一人物であると判定するようにしても良い。詳細には、式（２３）が成立するようにしても良い。
このように、共通部位特徴量を用いた判定、個別部位特徴量を用いた判定の双方において、人物を含む物の特徴が一致していることを示す所定の基準（閾値未満）を満たす場合に、認証対象物と比較対象物とが同一であると判定するようにしても良い。このような構成を採用すると、厳しい基準に沿った認証によって更に高精度の認証が可能となる。
また、当該変形例に係る詳細照合モードにおいては、認証対象者に係る個別特徴部位の特徴量を用いて求められた一方向類似度Ｒｅpaを用いた判定（一方向判定）、及び比較対象者に係る個別特徴部位の特徴量を用いて求められた逆方向類似度Ｒｅpbを用いた判定（逆方向判定）の双方において、人物等の物の特徴が一致していることを示す所定の基準（閾値ＴＨpa，ＴＨpb未満）をそれぞれ満たす場合に、認証対象物と比較対象物とが同一人物であると判定する。このため、更に精度の高い認証が可能となる。
なお、ユーザーが操作部６を種々操作することで、モード切替部１７が、登録モード、詳細照合モード、高速照合モード、及び１対ｎ識別モードを備えて構成される４つのモードのうちの何れか１つのモードにコントローラ１０を選択的に切り替えるため、当該モード切替機能により、一方向判定を行う１対ｎ識別モードと逆方向判定を行う高速照合モードとを含む複数モード間でモードが切り替わる。
◎また、上記実施形態では、微分画像の画素値を単に用いて個別特徴部位を検出したが、これに限られず、その他の手法、例えば、いわゆる部分空間法を用いて、登録対象画像及び／又は認証対象画像から個別特徴部位を検出するようにしても良い。この部分空間法としては、公知の文献（西山 正志, 山口 修, 福井 和広,"制約相互部分空間法を用いたジェスチャー認識, " 第10回 画像センシングシンポジウム講演論文集 SSII04, pp.439-444, 2004.等）に記載された技術を採用することができる。
以下、部分空間法を用いて、登録対象画像及び／又は認証対象画像から個別特徴部位を検出する工程を、認証対象画像から個別特徴部位を検出する工程を例にとって簡単に説明する。
まず、多数の同種の物（例えば人物）をそれぞれ捉えた多数の画像をそれぞれ微分して多数の微分画像を生成する。そして、当該多数の微分画像を構成する画素（具体的には、位置情報や画素値等に基づくパラメータ）から部分空間（すなわち共通部分空間）を決定する。次に、認証対象画像を正規化して微分することで認証対象画像に係る微分画像を生成する。更に、当該認証対象画像に係る微分画像を構成する画素（具体的には、位置情報や画素値等に基づくパラメータ）を部分空間に投影する。そして、当該画素が投影された領域（以下「画素投影領域」とも称する）のうち共通部分空間に含まれない画素投影領域に係る画素群によって形成される画像領域を、個別特徴部位に相当する個別部位領域として認識する。すなわち、個別特徴部位候補として認識し、登録する。
このとき、所定数（例えば１０個）を超える複数の個別部位領域が認識された場合には、各個別部位領域を部分空間に投影した空間と、共通部分空間とのズレ角を算出する。そして、認識された複数の個別部位領域のうちの当該ズレ角が大きな方から所定数の画像投影領域に係る個別部位領域を選択的に採用する一方で、残余の個別部位領域については採用しない。なお、認識された個別部位領域が所定数を超えない場合には、認識された個別部位領域全てを採用する。つまり、所定数以下の個別部位領域を個別特徴部位に相当する画像領域として採用することで、所定数以下の個別特徴部位を検出する。
このように、画像全体について比較を行うことで個別特徴部位を検出する部分空間法を用いて、認証対象物及び比較対象物のうちの少なくとも一方について個別特徴部位を検出するような構成を採用すると、より安定かつ確実に個別特徴部位を検出することができる。特に、上記実施形態のように微分画像をグリッド状に分割して評価することで個別特徴部位を検出する手法では、微分画像を分割する境界線上に個別特徴部位が跨って存在する場合には、正しく個別特徴部位を検出することが困難であるが、部分空間法では画像全体について画素毎に評価することができるため、より確実かつ安定して個別特徴部位を検出することができる。
また、上述したように、所定数を超える数の個別特徴部位に相当する複数の画素群が判別された場合には、上記手法により所定数の画素群を選択的に採用するような構成を採用すると、ある程度大きな特徴を有する個別特徴部位に絞り込んだ認証が可能となる。その結果、認証に要する演算時間を短縮化することができる。
また、上記実施形態では、各個別特徴部位について類似度を算出する際に、当該個別特徴部位に係る特徴の顕著性に応じた重み付け用の係数として、個別特徴部位に相当する個別部位領域について、統計微分画像情報から求まる所定の基準値からの離れ度合い（偏差）を重み付け用の係数として採用した。しかしながら、本変形例では、部分空間法によって個別特徴部位を検出する過程で容易に算出できる、個別特徴部位に相当する個別部位領域に係る部分空間と共通部分空間とのズレ角度を、重み付け用の係数として採用しても良い。つまり、個別特徴部位毎に個別特徴部位の特徴量に対して、当該個別特徴部位に係る画素投影領域の共通部分空間からのズレ角に応じた重み付けを行って、認証対象物に関する認証を行うようにしても良い。このような構成を採用しても、上記実施形態と同様に、より大きな特徴を捉えた個別特徴部位を重視した認証が可能となるため、認証精度をより一層向上させることができる。
◎また、上記実施形態では、共通特徴部位に係る特徴量及び個別特徴部位に係る特徴量の双方を用いて１つの認証を行ったが、これに限られず、例えば、高精度の認証の要否に応じて、個別特徴部位に係る特徴量を用いた認証を適宜行うようにしても良い。以下、当該変形例について、より詳細に説明する。
図２７は、変形例に係る認証システム１Ａを例示する構成図である。
認証システム１Ａの機械的構成うち、認証システム１の機械的構成とは異なる部分は、メディアドライブ４が、メディアドライブ４ａ，４ｂと２つに増加している点であり、変形例に係るコントローラ１０Ａでは、メディアドライブ４ａ，４ｂに対して、それぞれ別個の記憶媒体であるメモリカード８ａ，８ｂを装着することができる。つまり、メモリカード８ａ，８ｂを別々に受け付けることができる。
また、機能的構成については、認証システム１では、認証の際に認証対象物（例えば、認証対象者）を撮影して各部位に係る特徴量を認識していたが、認証システム１Ａでは、認証対象物に係る特徴量を予め記憶しておいたメモリカード８ａ，８ｂをメディアドライブ４ａ，４ｂに装着することで、コントローラ１０Ａが認証対象物に係る特徴量を認識する。
以下、変形例に係る認証システム１Ａについて、登録モード設定時における動作と、認証を行う認証モード設定時における動作とを説明する。なお、コントローラ１０Ａは、登録モード設定時には、認証対象物の特徴量を記憶媒体に記憶する情報記憶システムとして機能し、認証モード設定時には、メモリカード８ａ，８ｂに記憶された認証対象物の特徴量を用いて認証対象物に関する認証を行う認証実行システムとして機能する。
登録モード設定時におけるコントローラ１０Ａの動作を示すフローチャートは、図８に示すフローチャートと同様なものとなる。但し、本変形例では、ステップＳＰ１０の記憶処理において、共通特徴部位に係る特徴量が、メディアドライブ４ａに装着されたメモリカード８ａに記憶され、個別特徴部位に係る特徴量が、メディアドライブ４ｂに装着されたメモリカード８ｂに記憶される。
図２８は、認証モード設定時におけるコントローラ１０Ａの動作を例示するフローチャートである。
ステップＳｔｅｐ１では、共通特徴部位の特徴量が入力されているか否かを判定する。ここでは、認証対象物に係る共通特徴部位の特徴量が記憶されたメモリカード８ａがメディアドライブ４ａに装着されて、コントローラ１０Ａに読み込まれるまでステップＳｔｅｐ１の判定が繰り返され、認証対象物に係る共通特徴部位の特徴量がコントローラ１０Ａに読み込まれるとステップＳｔｅｐ２に進む。
ステップＳｔｅｐ２では、ＨＤＤ３ａなどに予め登録されている比較対象物に係る共通特徴部位の特徴量と、ステップＳｔｅｐ１で入力された認証対象物に係る共通特徴部位の特徴量とを用いて、共通特徴部位の類似度を算出する。この類似度の算出は、上記実施形態と同様な手法で行えば良い。
ステップＳｔｅｐ３では、個別特徴部位を用いた認証の要求があるか否かを判定する。ここでは、セキュリティーレベルの高い情報を使用する場合等、高精度の認証が必要な場合に、個別特徴部位を用いた認証が要求されるように設定される態様が考えられ、個別特徴部位を用いた認証の要求があればステップＳｔｅｐ４に進み、個別特徴部位を用いた認証の要求がなければステップＳｔｅｐ６に進む。
ステップＳｔｅｐ４では、個別特徴部位の特徴量が入力されているか否かを判定する。ここでは、認証対象物に係る個別特徴部位の特徴量が記憶されたメモリカード８ｂがメディアドライブ４ｂに装着されて、コントローラ１０Ａに読み込まれるまでステップＳｔｅｐ４の判定が繰り返され、認証対象物に係る個別特徴部位の特徴量がコントローラ１０Ａに読み込まれるとステップＳｔｅｐ５に進む。
ステップＳｔｅｐ５では、ＨＤＤ３ａなどに予め登録されている比較対象物に係る個別特徴部位の特徴量と、ステップＳｔｅｐ４で入力された認証対象物に係る個別特徴部位の特徴量とを用いて、個別特徴部位の類似度を算出する。この類似度の算出は、上記実施形態と同様な手法で行えば良い。
ステップＳｔｅｐ６では、認証対象者と比較対象者とが同一人物であるか否かを判定する。より詳細には、ステップＳｔｅｐ３からステップＳｔｅｐ６に進んで来た場合には、ステップＳｔｅｐ２で算出された共通特徴部位に係る類似度が所定の閾値よりも小さければ、認証対象者と比較対象者とが同一人物であると判定する。また、ステップＳｔｅｐ５からステップＳｔｅｐ６に進んで来た場合には、例えば、ステップＳｔｅｐ２で算出された共通特徴部位に係る類似度と、ステップＳｔｅｐ４で算出された個別特徴部位に係る類似度とが、それぞれ所定の閾値よりも小さければ、認証対象者と比較対象者とが同一人物であると判定する。なお、ステップＳｔｅｐ２で算出された共通特徴部位に係る類似度と、ステップＳｔｅｐ５で算出された個別特徴部位に係る類似度とから算出される総合類似度が所定の閾値よりも小さければ、認証対象者と比較対象者とが同一人物であると判定するようにしても良い。
そして、図２８のステップＳｔｅｐ７では、ステップＳｔｅｐ６の処理における判定結果を所望の機能に対して適宜出力する。
このような構成を採用することで、要求される認証精度の厳しさに応じて、認証精度の高い個別特徴部位の特徴量を用いた認証を行うようにすることで、要求される認証精度が低ければ、認証に要する時間を短縮化することができ、要求される認証精度が高ければ、認証に要する時間が若干長くなるものの、認証精度を高めることができる。
なお、上記変形例では、情報記憶システムの機能と、認証実行システムとしての機能を、１つのコントローラ１０Ａに持たせたが、これに限られず、それぞれ別個の装置に２つの機能を別々に分けて持たせるようにしても良い。
また、認証対象者に係る共通特徴部位の特徴量を認識してメモリカード８ａに記憶させる機能と、認証対象者に係る個別特徴部位の特徴量を認識してメモリカート８ｂに記憶させる機能とを、それぞれ別個の装置に分けて持たせるようにしても良い。このような構成を採用すると、共通特徴部位の特徴量を認識して記憶媒体に記憶させる装置としては汎用性の高い装置を使用する一方で、個別特徴部位の特徴量を認識して記憶媒体に記憶させる装置は特別な装置として提供するようなシステムを構築することができる。
また、上記変形例では、認証対象者に係る共通特徴部位の特徴量と、認証対象者に係る個別特徴部位の特徴量とを、それぞれ別個の記憶媒体に記憶したが、個別特徴部位に係る特徴量のみを記憶媒体に記憶させるような構成も考えられる。
更に、上記変形例では、１つの装置で、共通特徴部位の特徴量を用いた認証と、個別特徴部位の特徴量を用いた認証とを行ったが、これに限られず、例えば、共通特徴部位の特徴量を用いた認証を行う装置と、個別特徴部位の特徴量を用いた認証を行う装置とを別個に分けて設けても良い。このような構成を採用すると、例えば、セキュリティレベルの異なる２つのゲートが設けられている場合に、第１のゲートで共通特徴部位の特徴量を用いた認証を行い、その後、第２のゲートで個別特徴部位の特徴量を用いた認証を行うような種々の態様も実現可能となる。
以上のように、変形例に係る認証システム１Ａでは、認証対象物に係る共通特徴部位の特徴量と、個別特徴部位の特徴量とをそれぞれ認識して、各々別の記憶媒体に記憶させておく。そして、一方の記憶媒体に記憶されている共通特徴部位の特徴量を用いた認証と、他方の記憶媒体に記憶されている個別特徴部位の特徴量を用いた認証とを別々に実行させることができる。このような構成を採用することで、要求される認証精度に応じた認証を実行させることができる。
◎また、上記実施形態では、２台のカメラを用いて登録対象物及び認証対象物を撮影することで、各撮影対象物を構成する部位の３次元位置を検出及び算出したが、これに限られず、例えば、１台のカメラを用いて登録対象物及び認証対象物を撮影することで、各撮影対象物を構成する部位の２次元位置を検出及び算出するようにしても、個別特徴部位を検出し、当該個別特徴部位に係る特徴量を認識して認証対象物と比較対象物とが同一であるか否かを判定することができる。
但し、２方向以上の方向から登録対象物及び認証対象物を撮影して、各撮影対象物を構成する部位の３次元位置を検出及び算出する方が、顔などの認証対象物の向きに拘わらず高精度の認証を安定して実現することができる。
◎また、上記実施形態では、顔の認証を行う例を挙げて説明したが、これに限られず、例えば、認証の対象が、例えば手のひら等、顔以外の人間固有の部分であっても良いし、犬や猫などといった人間以外の動物を対象としても良いし、更には、建物等といった生物以外のあらゆる物体を認証の対象としても良い。
◎また、上記実施形態においては、複数台のカメラより入力される複数の画像を用いて顔等の対象物の３次元形状情報を取得しているがこれに限定されない。具体的には、図２９に示されるようなレーザ光出射部Ｌ１とカメラＬＣＡとから構成される３次元形状測定器を用いてレーザ光出射部Ｌ１の照射するレーザの反射光をカメラＬＣＡによって計測することにより、認証対象者及び／又は登録対象者の顔の３次元形状情報を取得してもよい。但し、上記実施形態のようにカメラ２台を含む入力装置を用いて３次元の形状情報を取得する手法によれば、レーザ光を用いる入力装置に比べて、比較的簡易な構成で３次元の形状情報を取得することができる。
本発明の実施形態に係る認証システムを示す構成図である。 コントローラの構成概要を示す図である。 コントローラが備える各種機能を示すブロック図である。 画像正規化部の詳細な機能構成を示すブロック図である。 特徴認識部の詳細な機能構成を示すブロック図である。 登録部の詳細な機能構成を示すブロック図である。 認証部の詳細な機能構成を示すブロック図である。 登録モードにおけるコントローラの動作を示すフローチャートである。 画像正規化処理工程の詳細なフローチャートである。 顔画像における特徴的な部位の特徴点を示す図である。 ２次元画像中の特徴点から３次元座標を算出する様子を示す図である。 ３次元の顔の標準モデルを示す図である。 テクスチャ情報を例示する図である。 正規化後の特徴的な部位の個別制御点を示す図である。 個別特徴部位検出工程の詳細なフローチャートである。 正規化後のテクスチャー画像に係る微分画像を例示する図である。 微分画像を部分画像毎に比較する手法について説明するための図である。 微分画像毎の合計画素値に係る統計的情報を例示する図である。 個別特徴部位の位置算出工程の詳細なフローチャートである。 個別特徴部位の相対位置を算出する方法を説明するための図である。 認証モードにおけるコントローラの動作を示すフローチャートである。 詳細照合処理工程の詳細なフローチャートである。 個別特徴部位に係る一方向類似度算出の詳細なフローチャートである。 個別特徴部位に係る逆方向類似度算出の詳細なフローチャートである。 高速照合処理工程の詳細なフローチャートである。 １対ｎ識別処理工程の詳細なフローチャートである。 変形例に係る認証システムを示す構成図である。 変形例に係る認証動作を示すフローチャートである。 レーザ光出射部とカメラとを有する３次元形状測定器を示す図である。
符号の説明
１，１Ａ 認証システム
３ 記憶部
４，４ａ，４ｂ メディアドライブ
６ 操作部
８，８ａ，８ｂ メモリカード
１０，１０Ａ コントローラ
１１ 画像入力部
１２ 顔領域検索部
１３ 顔部位検出部
１４ 画像正規化部
１５ 特徴認識部
１７ モード切替部
１８ 登録部
１９ 認証部
７１ 特徴量データベース
１５１ 共通部位特徴量認識部
１５３ 個別部位領域認識部
１５４ 個別部位領域選択採用部
１５５ 個別部位特徴量認識部
１８１ 記憶制御部
１９１ 共通特徴量読出部
１９２ 共通部位比較部
１９３ 個別部位比較位置決定部
１９４ 個別部位比較部
１９５ 総合判定部
ＨＫ ホクロ
ＰＰ 個別特徴部位

Claims (22)

  1. 認証対象物が比較対象物と同一であるか否かを認証する認証システムであって、
    多数の同種の物に共通して具備されている共通部位とは異なり且つ個別に具備されている個別部位を、前記認証対象物を捉えた認証対象画像、及び前記比較対象物を捉えた比較対象画像のうちの少なくとも一方の画像から検出する個別部位検出手段と、
    前記個別部位に係る個別部位特徴量を認識する個別特徴量認識手段と、
    前記個別部位特徴量を用いて前記認証対象物に関する認証を行う認証手段と、
    を備えることを特徴とする認証システム。
  2. 請求項１に記載の認証システムであって、
    前記認証対象画像、及び前記比較対象画像について、前記共通部位に係る共通部位特徴量を認識する共通特徴量認識手段、
    を更に備え、
    前記認証手段が、
    前記個別部位特徴量と前記共通部位特徴量とを用いて前記認証対象物に関する認証を行うことを特徴とする認証システム。
  3. 請求項２に記載の認証システムであって、
    前記認証手段が、
    前記個別部位特徴量を用いた第１の判定、及び前記共通部位特徴量を用いた第２の判定の双方において、物の特徴が一致していることを示す所定の基準を満たしていると判定された場合に、前記認証対象物と前記比較対象物とが同一であると判定することを特徴とする認証システム。
  4. 請求項１または請求項２に記載の認証システムであって、
    前記個別部位検出手段が、
    多数の同種の物をそれぞれ捉えた多数の基準画像と、前記認証対象画像及び前記比較対象画像のうちの少なくとも一方の画像とを、それぞれ同一のルールで分割して生成した部分画像毎に比較することで、前記個別部位を検出することを特徴とする認証システム。
  5. 請求項４に記載の認証システムであって、
    前記個別部位検出手段が、
    前記認証対象画像及び前記比較対象画像のうちの少なくとも一方の画像を対象として、前記部分画像毎に、前記多数の基準画像から求められた当該部分画像を特徴付ける所定のパラメータに係る基準値に対して、前記所定のパラメータに係る偏差を算出する手段と、
    前記偏差が所定の基準を超える場合に、当該偏差に係る部分画像を、前記個別部位を捉えた個別部位含有部分画像として判別する判別手段と、
    を有することを特徴とする認証システム。
  6. 請求項５に記載の認証システムであって、
    前記個別部位検出手段が、
    前記個別部位含有部分画像が複数隣接する場合、当該隣接する複数の個別部位含有部分画像を１つの個別部位に相当する個別部位領域として認識する領域認識手段、
    を更に有することを特徴とする認証システム。
  7. 請求項６に記載の認証システムであって、
    前記個別部位検出手段が、
    前記領域認識手段によって所定数を超える複数の個別部位領域が認識された場合に、前記個別部位領域毎に、前記多数の基準画像から求められた当該個別部位領域を特徴付ける所定の変動因子に係る基準値に対し、前記所定の変動因子に係る偏差を算出する手段と、
    前記複数の個別部位領域のうち、大きな方から前記所定数の因子偏差に係る個別部位領域を選択的に採用する一方で、残余の個別部位領域については採用しない手段と、
    を更に有することを特徴とする認証システム。
  8. 請求項５または請求項６に記載の認証システムであって、
    前記個別部位毎に、前記多数の基準画像から求められた各前記個別部位に対応する領域を特徴付ける所定の変動因子に係る基準値に対し、前記所定の変動因子に係る因子偏差を算出する偏差算出手段、
    を更に備え、
    前記認証手段が、
    各前記個別部位特徴量に対して、各前記個別部位に係る前記因子偏差に応じた重み付けを行って、前記認証対象物に関する認証を行うことを特徴とする認証システム。
  9. 請求項１または請求項２に記載の認証システムであって、
    前記個別部位検出手段が、
    部分空間法を用いることで、前記個別部位を検出することを特徴とする認証システム。
  10. 請求項９に記載の認証システムであって、
    前記個別部位検出手段が、
    多数の同種の物をそれぞれ捉えた多数の基準画像から共通部分空間を決定し、前記認証対象画像及び前記比較対象画像のうちの少なくとも一方の画像を構成する画素毎に当該画素に係るパラメータを部分空間に投影した際に、前記共通部分空間に含まれない画素投影領域に係る画素群によって形成される画像領域を、前記個別部位に相当する個別部位領域として認識する領域認識手段、
    を有することを特徴とする認証システム。
  11. 請求項１０に記載の認証システムであって、
    前記個別部位検出手段が、
    前記領域認識手段によって所定数を超える複数の個別部位領域が認識された場合に、当該複数の個別部位領域のうち、前記共通部分空間からのズレ角が大きな方から所定数の画素投影領域に係る個別部位領域を選択的に採用する一方で、残余の個別部位領域については採用しない手段、
    を更に有することを特徴とする認証システム。
  12. 請求項１０または請求項１１に記載の認証システムであって、
    前記認証手段が、
    前記個別部位毎に前記個別部位特徴量に対して、当該個別部位に係る画素投影領域の前記共通部分空間からのズレ角に応じた重み付けを行って、前記認証対象物に関する認証を行うことを特徴とする認証システム。
  13. 請求項１から請求項１２のいずれかに記載の認証システムであって、
    前記個別部位の位置を前記共通部位の位置を基準とした相対的な値によって表現した相対位置を算出する位置算出手段、
    を更に備えることを特徴とする認証システム。
  14. 請求項１３に記載の認証システムであって、
    前記相対位置が、
    前記共通部位の位置を基準とした３次元相対位置を含むことを特徴とする認証システム。
  15. 請求項１３または請求項１４に記載の認証システムであって、
    前記個別部位特徴量が、
    前記相対位置を示す情報を含むことを特徴とする認証システム。
  16. 請求項１から請求項１５のいずれかに記載の認証システムであって、
    前記個別特徴量認識手段が、
    前記個別部位に相当する画像領域の輝度値及び当該画像領域を構成する画素値の微分値のうちの少なくとも一方を用いて、前記個別部位特徴量を算出する特徴量算出手段、
    を備えることを特徴とする認証システム。
  17. 請求項１から請求項１６のいずれかに記載の認証システムであって、
    前記個別部位検出手段が、
    前記認証対象画像を対象として、前記個別部位を検出する第１の検出手段と、
    前記比較対象画像を対象として、前記個別部位を検出する第２の検出手段と、
    を有し、
    前記個別特徴量認識手段が、
    前記第１の検出手段によって検出された個別部位について、第１の特徴量を認識する第１の認識手段と、
    前記第２の検出手段によって検出された個別部位について、第２の特徴量を認識する第２の認識手段と、
    を有し、
    前記認証手段が、
    前記第１の特徴量を用いた一方向の判定、及び前記第２の特徴量を用いた逆方向の判定の双方において物の特徴が一致していることを示す所定の基準を満たしていると判定された場合に、前記認証対象物と前記比較対象物とが同一であると判定することを特徴とする認証システム。
  18. 請求項１から請求項１６のいずれかに記載の認証システムであって、
    前記個別部位検出手段が、
    前記認証対象画像を対象として、前記個別部位を検出する第１の検出手段と、
    前記比較対象画像を対象として、前記個別部位を検出する第２の検出手段と、
    を有し、
    前記個別特徴量認識手段が、
    前記第１の検出手段によって検出された個別部位について、第１の特徴量を認識する第１の認識手段と、
    前記第２の検出手段によって検出された個別部位について、第２の特徴量を認識する第２の認識手段と、
    を有し、
    前記認証手段が、
    前記第１の特徴量を用いた一方向の判定を行う一方向判定手段と、
    前記第２の特徴量を用いた逆方向の判定を行う逆方向判定手段と、
    を有し、
    前記認証システムが、
    前記一方向の判定を行う第１のモードと、前記逆方向の判定を行う第２のモードとを切り替えるモード切替手段、
    を更に備えることを特徴とする認証システム。
  19. 認証対象物が比較対象物と同一であるか否かを認証する認証システムにおける認証方法であって、
    (a)多数の同種の物に共通して具備されている共通部位とは異なり且つ個別に具備されている個別部位を、前記認証対象物を捉えた認証対象画像、及び前記比較対象物を捉えた比較対象画像のうちの少なくとも一方の画像から検出するステップと、
    (b)前記個別部位に係る個別部位特徴量を認識するステップと、
    (c)前記個別部位特徴量を用いて前記認証対象物に関する認証を行うステップと、
    を備えることを特徴とする認証方法。
  20. 認証システムに含まれるコンピュータによって実行されることにより、前記認証システムを、請求項１から請求項１８のいずれかに記載の認証システムとして機能させるプログラム。
  21. 認証対象物が比較対象物と同一であるか否かを認証する認証システムであって、
    前記認証対象物の特徴量を記憶媒体に記憶する情報記憶システムと、
    前記記憶媒体に記憶された前記認証対象物の特徴量を用いて前記認証対象物に関する認証を行う認証実行システムと、
    を備え、
    前記情報記憶システムが、
    前記認証対象物を捉えた画像について、多数の同種の物に共通して具備されている共通部位の特徴量を認識して第１の記憶媒体に記憶させる一方、前記共通部位とは異なり且つ個別に具備されている個別部位の特徴量を認識して前記第１の記憶媒体とは異なる第２の記憶媒体に記憶させる記憶制御手段、
    を有し、
    前記認証実行システムが、
    前記第１の記憶媒体を受け付ける第１の受付手段と、
    前記第２の記憶媒体を受け付ける第２の受付手段と、
    前記第１の受付手段によって受け付けられた前記第１の記憶媒体に記憶された前記共通部位の特徴量を用いて前記認証対象物に関する認証を行う第１の認証手段と、
    前記第２の受付手段によって受け付けられた前記第２の記憶媒体に記憶された前記個別部位の特徴量を用いて前記認証対象物に関する認証を行う第２の認証手段と、
    を備えることを特徴とする認証システム。
  22. 認証対象物が比較対象物と同一であるか否かを認証する認証システムにおける認証方法であって、
    (i)前記認証対象物を捉えた画像から多数の同種の物に共通して具備されている共通部位の特徴量を認識して第１の記憶媒体に記憶させるとともに、前記画像から前記共通部分とは異なり且つ個別に具備されている個別部位の特徴量を認識して前記第１の記憶媒体とは異なる第２の記憶媒体に記憶させるステップと、
    (ii)前記第１の記憶媒体に記憶された前記共通部位の特徴量を用いて前記認証対象物に関する認証を行うステップと、
    (iii)前記第２の記憶媒体に記憶された前記個別部位の特徴量を用いて前記認証対象物に関する認証を行うステップと、
    を備えることを特徴とする認証方法。
JP2006132580A 2006-05-11 2006-05-11 認証システム、認証方法、及びプログラム Expired - Fee Related JP4992289B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006132580A JP4992289B2 (ja) 2006-05-11 2006-05-11 認証システム、認証方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006132580A JP4992289B2 (ja) 2006-05-11 2006-05-11 認証システム、認証方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2007304857A true JP2007304857A (ja) 2007-11-22
JP4992289B2 JP4992289B2 (ja) 2012-08-08

Family

ID=38838731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006132580A Expired - Fee Related JP4992289B2 (ja) 2006-05-11 2006-05-11 認証システム、認証方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP4992289B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211178A (ja) * 2008-02-29 2009-09-17 Canon Inc 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP2010146502A (ja) * 2008-12-22 2010-07-01 Toshiba Corp 認証処理装置および認証処理方法
JP2010146073A (ja) * 2008-12-16 2010-07-01 Fujitsu Ltd 生体認証装置、生体認証方法及び生体認証用コンピュータプログラムならびにコンピュータシステム
JP2012069150A (ja) * 2008-01-21 2012-04-05 Nec Corp パターン照合システム、パターン照合方法およびパターン照合用プログラム
WO2015129318A1 (ja) * 2014-02-25 2015-09-03 株式会社日立製作所 画像検索方法、サーバ及び画像検索システム
JP2019164422A (ja) * 2018-03-19 2019-09-26 セコム株式会社 人物照合装置
CN112534476A (zh) * 2018-09-07 2021-03-19 欧姆龙株式会社 对象物识别装置、操作器以及移动机器人
JPWO2021084662A1 (ja) * 2019-10-30 2021-05-06
WO2021084661A1 (ja) 2019-10-30 2021-05-06 日本電気株式会社 照合支援装置、照合支援方法、及びコンピュータ読み取り可能な記録媒体
KR20210150884A (ko) * 2020-06-04 2021-12-13 배강태 보안 장치 및 이의 제어 방법
JPWO2022130616A1 (ja) * 2020-12-18 2022-06-23
WO2024166210A1 (ja) * 2023-02-07 2024-08-15 日本電気株式会社 認証装置、認証方法及び記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07332951A (ja) * 1994-06-13 1995-12-22 Hiyuu Burein:Kk 画像検査装置および画像検査方法
JP2005242432A (ja) * 2004-02-24 2005-09-08 Nec Soft Ltd 顔認証システム及びその処理方法及びそのプログラム
JP2006107288A (ja) * 2004-10-07 2006-04-20 Toshiba Corp 個人認証方法、装置及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07332951A (ja) * 1994-06-13 1995-12-22 Hiyuu Burein:Kk 画像検査装置および画像検査方法
JP2005242432A (ja) * 2004-02-24 2005-09-08 Nec Soft Ltd 顔認証システム及びその処理方法及びそのプログラム
JP2006107288A (ja) * 2004-10-07 2006-04-20 Toshiba Corp 個人認証方法、装置及びプログラム

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012069150A (ja) * 2008-01-21 2012-04-05 Nec Corp パターン照合システム、パターン照合方法およびパターン照合用プログラム
JP2009211178A (ja) * 2008-02-29 2009-09-17 Canon Inc 画像処理装置、画像処理方法、プログラム及び記憶媒体
US8300950B2 (en) 2008-02-29 2012-10-30 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program, and storage medium
JP2010146073A (ja) * 2008-12-16 2010-07-01 Fujitsu Ltd 生体認証装置、生体認証方法及び生体認証用コンピュータプログラムならびにコンピュータシステム
JP2010146502A (ja) * 2008-12-22 2010-07-01 Toshiba Corp 認証処理装置および認証処理方法
WO2015129318A1 (ja) * 2014-02-25 2015-09-03 株式会社日立製作所 画像検索方法、サーバ及び画像検索システム
JP2019164422A (ja) * 2018-03-19 2019-09-26 セコム株式会社 人物照合装置
CN112534476A (zh) * 2018-09-07 2021-03-19 欧姆龙株式会社 对象物识别装置、操作器以及移动机器人
CN112534476B (zh) * 2018-09-07 2024-06-04 欧姆龙株式会社 对象物识别装置、操作器以及移动机器人
US11964399B2 (en) 2018-09-07 2024-04-23 Omron Corporation Target object recognition device, manipulator, and mobile robot
WO2021084661A1 (ja) 2019-10-30 2021-05-06 日本電気株式会社 照合支援装置、照合支援方法、及びコンピュータ読み取り可能な記録媒体
JPWO2021084661A1 (ja) * 2019-10-30 2021-05-06
JP7231055B2 (ja) 2019-10-30 2023-03-01 日本電気株式会社 照合支援装置、照合支援方法、及びプログラム
JP7318725B2 (ja) 2019-10-30 2023-08-01 日本電気株式会社 照合支援装置、照合支援方法、及びプログラム
WO2021084662A1 (ja) 2019-10-30 2021-05-06 日本電気株式会社 照合支援装置、照合支援方法、及びコンピュータ読み取り可能な記録媒体
JPWO2021084662A1 (ja) * 2019-10-30 2021-05-06
KR20210150884A (ko) * 2020-06-04 2021-12-13 배강태 보안 장치 및 이의 제어 방법
KR102351859B1 (ko) * 2020-06-04 2022-01-14 배강태 보안 장치 및 이의 제어 방법
JPWO2022130616A1 (ja) * 2020-12-18 2022-06-23
WO2022130616A1 (ja) * 2020-12-18 2022-06-23 富士通株式会社 認証方法、情報処理装置、及び認証プログラム
WO2024166210A1 (ja) * 2023-02-07 2024-08-15 日本電気株式会社 認証装置、認証方法及び記録媒体

Also Published As

Publication number Publication date
JP4992289B2 (ja) 2012-08-08

Similar Documents

Publication Publication Date Title
JP4992289B2 (ja) 認証システム、認証方法、及びプログラム
JP4645411B2 (ja) 認証システム、登録システム及びプログラム
US9818023B2 (en) Enhanced face detection using depth information
JP4752433B2 (ja) モデリングシステム、モデリング方法およびプログラム
JP4093273B2 (ja) 特徴点検出装置、特徴点検出方法および特徴点検出プログラム
JP4696778B2 (ja) 認証装置、認証方法及びプログラム
JP4653606B2 (ja) 画像認識装置、方法およびプログラム
JP2007058397A (ja) 認証システム、登録システム及び証明用媒体
JP4780198B2 (ja) 認証システム及び認証方法
JP4539494B2 (ja) 認証装置、認証方法及びプログラム
JPWO2005027048A1 (ja) 重み情報を用いた物体姿勢推定・照合システム
JPWO2009131209A1 (ja) 画像照合装置、画像照合方法および画像照合用プログラム
JP2012221061A (ja) 画像認識装置、画像認識方法、及びプログラム
JPWO2009004916A1 (ja) なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
JP4539519B2 (ja) 立体モデル生成装置および立体モデル生成方法
JP4426029B2 (ja) 画像照合方法および装置
JP2003248826A (ja) ３次元物体認識装置及びその方法
JP4956983B2 (ja) 認証システム、認証方法およびプログラム
JP4816874B2 (ja) パラメータ学習装置、パラメータ学習方法、およびプログラム
JP2006293720A (ja) 顔検出装置、顔検出方法、及び顔検出プログラム
JP2012221053A (ja) 画像認識装置、画像認識方法、及びプログラム
JP4525523B2 (ja) 認証システム、認証方法およびプログラム
Yu et al. Head pose estimation in thermal images for human and robot interaction
JP4956967B2 (ja) 認証システム、認証方法およびプログラム
Ekenel et al. 3-D face recognition using local appearance-based models

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090428

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120410

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120423

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees