JP2007058393A - 認証装置、認証方法及びプログラム - Google Patents

認証装置、認証方法及びプログラム Download PDF

Info

Publication number
JP2007058393A
JP2007058393A JP2005240907A JP2005240907A JP2007058393A JP 2007058393 A JP2007058393 A JP 2007058393A JP 2005240907 A JP2005240907 A JP 2005240907A JP 2005240907 A JP2005240907 A JP 2005240907A JP 2007058393 A JP2007058393 A JP 2007058393A
Authority
JP
Japan
Prior art keywords
authentication
dimensional information
similarity
information
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005240907A
Other languages
English (en)
Other versions
JP4696778B2 (ja
Inventor
Yusuke Nakano
雄介 中野
Yuichi Kawakami
雄一 川上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2005240907A priority Critical patent/JP4696778B2/ja
Priority to US11/507,830 priority patent/US20070050639A1/en
Publication of JP2007058393A publication Critical patent/JP2007058393A/ja
Application granted granted Critical
Publication of JP4696778B2 publication Critical patent/JP4696778B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)

Abstract

【課題】精度の高い認証技術を提供する。
【解決手段】認証装置は、認証対象物の３次元情報と２次元情報とを取得し（ステップＳＰ５）、当該３次元情報と２次元情報とを用いて認証対象物に関する認証動作を行う（ステップＳＰ８，ＳＰ９）。これによれば、精度の高い認証を行うことができる。また、重み係数決定工程（ステップＳＰ７）において、認証対象物の被写体条件又は画像撮影の際の撮影条件等から決定する重み係数によって、認証の際に用いる３次元の類似度と２次元の類似度とを調整することが好ましい。これによれば、被写体条件及び撮影条件等の影響を受けにくい好適な認証を行うことができる。
【選択図】図６

Description

本発明は、物体の認証技術に関する。
近年、ネットワーク技術等の発展によって電子化された様々なサービスが普及し、人に頼らない非対面での本人認証技術の必要性が高まっている。これに伴い、人物の生体特徴によって自動的に個人の識別を行うバイオメトリクス認証技術（生体認証技術）の研究が盛んに行われている。バイオメトリクス認証技術の一つである顔認証技術は、非接触型の認証方法であり、監視カメラによるセキュリティ或いは顔をキーとした画像データベース検索等、様々な分野での応用が期待されている。
現在、顔認証技術として顔画像より得られる２次元の情報を用いた認証手法としては、顔の有する３次元形状を認証のための補助的な情報として利用することで、認証精度の向上を可能にする手法が提案されている（特許文献１参照）。
特開２００４−１２６７３８号公報
しかしながら、上記手法は、顔の３次元形状情報（以下、３次元情報とも称する）を認証のための補助として用いているに過ぎず、基本的には２次元情報のみに基づいて認証を行っているため、その認識精度は十分に高いものではないという問題がある。
また、顔認証に限らず物体の認証においても、同様の問題が存在する。
そこで、本発明は上記課題に鑑みてなされたものであり、認証対象物より得られる２次元情報だけを用いる場合よりも、高い精度の認証を行うことが可能な技術を提供することを課題とする。
上記の課題を解決するため、請求項１の発明は、認証装置であって、認証対象物の３次元情報を取得する手段と、前記認証対象物の２次元情報を取得する手段と、前記３次元情報と前記２次元情報とを用いて前記認証対象物に関する認証動作を行う認証手段とを備えることを特徴とする。
また、請求項２の発明は、請求項１の発明に係る認証装置において、前記認証手段は、前記３次元情報と前記２次元情報との重みを調整して認証を行うことを特徴とする。
また、請求項３の発明は、請求項２の発明に係る認証装置において、前記認証手段は、前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する手段と、前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する手段と、前記第１の類似度と前記第２の類似度との重みを規定する重み係数を調整する調整手段と、前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する手段と、前記総合類似度に基づいて、認証判定を行う手段とを有することを特徴とする。
また、請求項４の発明は、請求項３の発明に係る認証装置において、前記調整手段は、前記画像撮影の際の撮影条件に基づいて、前記重み係数を決定することを特徴とする。
また、請求項５の発明は、請求項３の発明に係る認証装置において、前記調整手段は、前記画像撮影の際における前記認証対象物の被写体条件に基づいて、前記重み係数を決定することを特徴とする。
また、請求項６の発明は、請求項３の発明に係る認証装置において、前記調整手段は、前記比較対象物に関する情報が登録された時点からの経過時間に基づいて、前記重み係数を決定することを特徴とする。
また、請求項７の発明は、請求項１から請求項６のいずれかの発明に係る認証装置において、前記３次元情報は、前記認証対象物を異なる位置から撮影した複数の画像に基づいて求められ、前記２次元情報は、前記複数の画像のうちの少なくとも１つに基づいて求められることを特徴とする。
また、請求項８の発明は、認証方法であって、認証対象物の３次元情報を取得する工程と、前記認証対象物の２次元情報を取得する工程と、前記３次元情報と前記２次元情報とを用いて前記認証対象物に関する認証動作を行う認証工程とを備えることを特徴とする。
また、請求項９の発明は、請求項８の発明に係る認証方法において、前記認証動作は、前記３次元情報と前記２次元情報との重みを調整して行われることを特徴とする。
また、請求項１０の発明は、請求項９の発明に係る認証方法において、前記認証工程は、前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、前記第１の類似度と前記第２の類似度との重みを規定する重み係数を調整する調整工程と、前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、前記総合類似度に基づいて、認証判定を行う工程とを有することを特徴とする。
また、請求項１１の発明は、請求項１０の発明に係る認証方法において、前記調整工程においては、前記画像撮影の際の撮影条件に基づいて、前記重み係数が決定されることを特徴とする。
また、請求項１２の発明は、請求項１０の発明に係る認証方法において、前記調整工程においては、前記画像撮影の際における前記認証対象物の被写体条件に基づいて、前記重み係数が決定されることを特徴とする。
また、請求項１３の発明は、請求項１０の発明に係る認証方法において、前記調整工程においては、前記比較対象物に関する情報が登録された時点からの経過時間に基づいて、前記重み係数が決定されることを特徴とする。
また、請求項１４の発明は、請求項８から請求項１３のいずれかの発明に係る認証方法において、前記３次元情報は、前記認証対象物を異なる位置から撮影した複数の画像に基づいて求められ、前記２次元情報は、前記複数の画像のうちの少なくとも１つに基づいて求められることを特徴とする。
また、請求項１５の発明は、コンピュータに、認証対象物の３次元情報を取得する工程と、前記認証対象物の２次元情報を取得する工程と、前記３次元情報と前記２次元情報とを用いて前記認証対象物に関する認証動作を行う認証工程とを実行させることを特徴とする。
また、請求項１６の発明は、請求項１５の発明に係るプログラムにおいて、前記認証動作は、前記３次元情報と前記２次元情報との重みを調整して行われることを特徴とする。
また、請求項１７の発明は、請求項１６の発明に係るプログラムにおいて、前記認証工程は、前記コンピュータに、前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、前記第１の類似度と前記第２の類似度との重みを規定する重み係数を調整する調整工程と、前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、前記総合類似度に基づいて、認証判定を行う工程とをさらに実行させることを特徴とする。
また、請求項１８の発明は、請求項１７の発明に係るプログラムにおいて、前記調整工程においては、前記画像撮影の際の撮影条件に基づいて、前記重み係数が決定されることを特徴とする。
また、請求項１９の発明は、請求項１７の発明に係るプログラムにおいて、前記調整工程においては、前記画像撮影の際における前記認証対象物の被写体条件に基づいて、前記重み係数が決定されることを特徴とする。
また、請求項２０の発明は、請求項１７の発明に係るプログラムにおいて、前記調整工程においては、前記比較対象物に関する情報が登録された時点からの経過時間に基づいて、前記重み係数が決定されることを特徴とする。
また、請求項２１の発明は、請求項１５から請求項２０のいずれかの発明に係るプログラムにおいて、前記３次元情報は、前記認証対象物を異なる位置から撮影した複数の画像に基づいて求められ、前記２次元情報は、前記複数の画像のうちの少なくとも１つに基づいて求められることを特徴とする。
請求項１から請求項２１に記載の発明によれば、認証対象物の３次元情報と２次元情報とを用いて認証動作が行われるので精度の高い認証を行うことができる。
以下、本発明の実施形態を図面に基づいて説明する。なお、以下の実施形態では顔の認証について説明するが、本発明は他の物体の認証にも適用できる。
＜実施形態＞
＜概要＞
図１は、本発明の実施形態に係る顔認証システム１を示す構成図である。図１に示すように顔認証システム１は、コントローラ１０と２台の画像撮影カメラ（以下、単に「カメラ」とも称する）ＣＡ１及びＣＡ２とで構成されている。カメラＣＡ１とカメラＣＡ２とは、それぞれ異なる位置から認証対象者ＨＭの顔を撮影できるように配置されている。カメラＣＡ１とカメラＣＡ２とによって認証対象者の顔画像が撮影されると、当該撮影により得られる認証対象者の外観情報すなわち２種類の顔画像がコントローラ１０に通信線を介して送信される。なお、各カメラとコントローラ１０との間での画像データの通信方式は有線方式に限定されず、無線方式であってもよい。
図２は、コントローラ１０の構成概要を示す図である。図２に示されるように、コントローラ１０は、ＣＰＵ２と、記憶部３と、メディアドライブ４と、液晶ディスプレイなどの表示部５と、キーボード６ａ及びポインティングデバイスであるマウス６ｂなどの入力部６と、ネットワークカードなどの通信部７とを備えたパーソナルコンピュータなどの一般的なコンピュータで構成される。記憶部３は、複数の記憶媒体、具体的には、ハードディスクドライブ（ＨＤＤ）３ａと、ＨＤＤ３ａよりも高速処理可能なＲＡＭ（半導体メモリ）３ｂとを有している。また、メディアドライブ４は、ＣＤ−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク、メモリカードなどの可搬性の記録媒体８からその中に記録されている情報を読み出すことができる。なお、このコントローラ１０に対して供給される情報は、記録媒体８を介して供給される場合に限定されず、ＬＡＮ及びインターネットなどのネットワークを介して供給されてもよい。
次に、コントローラ１０が備える各種機能について説明する。
図３は、コントローラ１０が備える各種機能を示すブロック図である。図４は、個人認証部１４の詳細な機能構成を示すブロック図であり、図５は、画像正規化部２１のさらに詳細な機能構成を示すブロック図である。
コントローラ１０の備える各種機能は、コントローラ１０内のＣＰＵ等の各種ハードウェアを用いて所定のソフトウェアプログラム（以下、単に「プログラム」とも称する）を実行することによって、実現される機能を概念的に示すものである。
図３に示されるように、コントローラ１０は、画像入力部１１と顔領域検索部１２と顔部位検出部１３と個人認証部１４と出力部１５とを備えている。
画像入力部１１は、カメラＣＡ１及びＣＡ２によって撮影された２枚の画像をコントローラ１０に入力する機能を有している。
顔領域検索部１２は、入力された顔画像から顔領域を特定する機能を有している。
顔部位検出部１３は、特定した顔領域から顔の特徴的な部位（例えば、目、眉、鼻、口等）の位置を検出する機能を有している。
個人認証部１４は、顔の認証を主たる目的として構成され、各個人を顔画像で認証する機能を有している。この個人認証部１４の詳細については、次述する。
出力部１５は、個人認証部で得られた認証結果を出力する機能を有している。
次に、個人認証部１４の詳細構成について図４及び図５を用いて説明する。
図４に示すように、個人認証部１４は、画像正規化部２１と特徴抽出部２２と情報圧縮部２３と重み係数決定部２４と比較部２５とを有している。
画像正規化部２１は、認証対象者（認証対象物）に関する情報を正規化する機能を有している。画像正規化部２１は、図５に示されるように、入力画像から得られる顔の特徴的な部位の座標から各部位の３次元における座標を算出する３次元再構成部３１と、算出された３次元座標を用いて個別モデルを生成する最適化部３２と、生成された個別モデルを補正する補正部３３とを有している。これらの各処理部３１，３２，３３によって、認証対象者に関する情報は、正規化され、相互比較しやすい状態に変換される。また、各処理部の機能によって作成された個別モデルは、認証対象者に関する３次元情報と２次元情報との双方を含むものとして形成される。「３次元情報」は、３次元座標値等で構成される立体的構成に関連する情報であり、「２次元情報」は、表面情報（テクスチャ情報）及び／又は平面的な位置情報等で構成される平面的構成に関連する情報である。
特徴抽出部２２は、画像正規化部２１で得られた３次元顔モデルから３次元情報と２次元情報とを抽出する特徴抽出機能を有している。
情報圧縮部２３は、特徴抽出部２２で抽出された３次元情報と２次元情報とをそれぞれ、顔認証用の適切な顔特徴量に変換することで、顔認証に用いる３次元情報と２次元情報とをそれぞれ圧縮する機能を有している。この情報圧縮機能は、基底ベクトルデータベース２６に格納された情報等を用いて実現される。
重み係数決定部２４は、３次元及び２次元の顔特徴量の信頼性（３次元情報の信頼性及び２次元情報の信頼性）を撮影条件等に応じて判断し、類似度計算の際に用いる重み係数を決定する機能を有している。この重み係数は、重み係数決定情報記憶部２７に記憶された情報等を用いて決定される。
比較部２５は、人物パラメータデータベース２８に予め登録されている登録者（比較対象者）の顔特徴量と、上記各機能部によって得られる認証対象者の顔特徴量との類似度を計算し、顔の認証を行う機能を有している。
＜動作＞
以下では、上述したコントローラ１０の各機能についてより詳細に説明する。
図６は、コントローラ１０の全体動作を示すフローチャートであり、図７は、画像正規化処理工程（ステップＳＰ４）の詳細なフローチャートである。図８は、顔画像における特徴的な部位の特徴点を示す図である。図９は、２次元画像中の特徴点から三角測量の原理を用いて３次元座標を算出する様子を示す模式図である。なお、図９中の符号Ｇ１は、カメラＣＡ１により撮影されコントローラ１０に入力された画像Ｇ１を示し、符号Ｇ２は、カメラＣＡ２により撮影されコントローラ１０に入力された画像Ｇ２を示している。また、画像Ｇ１、Ｇ２中の点Ｑ２０は、図８における口の右端に相当する。
以下では、カメラＣＡ１及びＣＡ２で撮影した所定人物を認証対象者として、実際に顔認証を行う場合について説明する。ここでは、３次元情報として、カメラＣＡ１，ＣＡ２による画像を利用して三角測量の原理によって計測された３次元形状情報を用い、２次元情報としてテクスチャ（輝度）情報を用いる場合を例示する。
図６に示されるように、コントローラ１０は、ステップＳＰ１からステップＳＰ６までの工程において、認証対象者の顔を撮影した画像に基づいて、認証対象者に関する顔特徴量を取得し、さらにステップＳＰ７からステップＳＰ９の工程を経ることで、顔認証を実現する。
まず、ステップＳＰ１において、カメラＣＡ１及びＣＡ２によって撮影された所定の人物（認証対象者）の顔画像が、通信線を介しコントローラ１０に入力される。顔画像を撮影するカメラＣＡ１及びカメラＣＡ２は、それぞれ、２次元画像を撮影可能な一般的な撮影装置で構成される。また、当該各カメラＣＡｉの位置姿勢等を示すカメラパラメータＢｉ（ｉ＝１・・Ｎ）は既知であり、予めカメラパラメータ記憶部３４（図５）に記憶されている。ここで、Ｎはカメラの台数を示している。本実施形態ではＮ＝２の場合を例示しているが、Ｎ≧３としてもよい（３台以上のカメラを用いてもよい）。また、カメラパラメータＢｉについては後述する。
次に、ステップＳＰ２において、カメラＣＡ１及びＣＡ２より入力された２枚の画像それぞれにおいて、顔の存在する領域が検出される。顔領域検出手法としては、例えば、予め用意された標準の顔画像を用いたテンプレートマッチングにより、２枚の画像それぞれから顔領域を検出する手法を採用することができる。
次に、ステップＳＰ３において、ステップＳＰ２で検出された顔領域画像の中から、顔の特徴的な部位の位置が検出される。例えば、顔の特徴的な部位としては、目、眉、鼻又は口等が考えられ、ステップＳＰ３においては、図８に示されるような上記各部位の特徴点Ｑ１〜Ｑ２３の座標が算出される。特徴部位は、例えば、特徴部位の標準的なテンプレートを用いて行うテンプレートマッチングにより検出することができる。また、算出される特徴点の座標は、カメラより入力された画像Ｇ１、Ｇ２上の座標として表される。例えば、図８における口の右端に相当する特徴点Ｑ２０に関して、図９中に示すように、２枚の画像Ｇ１，Ｇ２のそれぞれにおける座標値が求められる。具体的には、画像Ｇ１の左上の端点を原点Ｏとして、特徴点Ｑ２０の画像Ｇ１上の座標（ｘ１，ｙ１）が算出される。画像Ｇ２においても同様に特徴点Ｑ２０の画像Ｇ２上の座標（ｘ２，ｙ２）が算出される。
また、入力された画像における各特徴点を頂点とする領域内の各画素の輝度値が、当該領域の有する情報（以下、「テクスチャ情報」とも称する）として取得される。各領域におけるテクスチャ情報は、後述のステップＳＰ１２等において、個別モデルに貼り付けられる。なお、本実施形態の場合、入力される画像は２枚であるので、各画像の対応する領域内の対応する画素における平均の輝度値を当該領域のテクスチャ情報として用いるものとする。
次のステップＳＰ４（画像正規化工程）においては、ステップＳＰ３で検出された各特徴点の座標値及び各領域のテクスチャ情報等に基づいて、認証対象者に関する画像情報が正規化される。この画像正規化工程（ステップＳＰ４）は、図７に示されるように、３次元再構成工程（ステップＳＰ１１）とモデルフィッテング工程（ステップＳＰ１２）と補正工程（ステップＳＰ１３）とを有している。これらの工程を経ることによって、認証対象者に関する情報は、認証対象者に関する３次元情報と２次元情報との双方を含む「個別モデル」として、正規化された状態で生成される。以下、各工程（ステップＳＰ１１〜ＳＰ１３）について詳細に説明する。
まず、３次元再構成工程（ステップＳＰ１１）では、ステップＳＰ３において検出された各特徴点Ｑｊの各画像Ｇｉ（ｉ＝１，...，Ｎ）における２次元座標Ｕｉ(j)と、各画像Ｇｉを撮影したカメラのカメラパラメータＢｉとに基づいて、各特徴点Ｑｊの３次元座標Ｍ(j)（ｊ＝１・・・ｍ）が算出される。なお、ｍは特徴点の数を示している。
以下、３次元座標Ｍ(j)の算出について具体的に説明する。
各特徴点Ｑｊの３次元座標Ｍ(j)と各特徴点Ｑｊの２次元座標Ｕｉ(j)とカメラパラメータＢｉとの関係は式（１）のように表される。
なお、μｉは、スケールの変動分を示す媒介変数である。また、カメラパラメータ行列Ｂｉは、予め３次元座標が既知の物体を撮影することにより求められる各カメラ固有の値であり、３×４の射影行列で表される。
例えば、上記式（１）を用いて３次元座標を算出する具体的な例として、特徴点Ｑ２０の３次元座標Ｍ(20)を算出する場合を図９を用いて考える。式（２）は画像Ｇ１上の特徴点Ｑ２０の座標（ｘ１，ｙ１）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。同様に、式（３）は、画像Ｇ２上の特徴点Ｑ２０の座標（ｘ２，ｙ２）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。
上記式（２）及び式（３）中の未知数は、２つの媒介変数μ１、μ２と３次元座標Ｍ(20)の３つの成分値ｘ，ｙ，ｚとの合計５つである。一方、式（２）及び式（３）に含まれる等式の数は６であるため、各未知数つまり特徴点Ｑ２０の３次元座標（ｘ，ｙ，ｚ）を算出することができる。また、同様にして、全ての特徴点Ｑｊについての３次元座標Ｍ(j)を取得することができる。
次のステップＳＰ１２では、モデルフィッテングが行われる。この「モデルフィッティング」は、予め準備された一般的（標準的）な顔の立体モデルである「（顔の）標準モデル」を、認証対象者に関する情報を用いて変形することによって、認証対象者の顔に関する入力情報が反映された「個別モデル」を生成する処理である。具体的には、算出された３次元座標Ｍ(j)を用いて標準モデルの３次元情報を変更する処理と、上記のテクスチャ情報を用いて標準モデルの２次元情報を変更する処理とが行われる。
図１０は、３次元の顔の標準モデルを示している。
図１０に示されるように、顔の標準モデルは、頂点データとポリゴンデータとで構成され、３次元モデルデータベース３５（図５）として記憶部３等に保存されている。頂点データは、標準モデルにおける特徴部位の頂点（以下、「標準制御点」とも称する）ＣＯｊの座標の集合であり、ステップＳＰ１１において算出される各特徴点Ｑｊの３次元座標と１対１に対応している。ポリゴンデータは、標準モデルの表面を微小な多角形（例えば、三角形）のポリゴンに分割し、ポリゴンを数値データとして表現したものである。なお、図１０では、各ポリゴンの頂点が標準制御点ＣＯｊ以外の中間点によっても構成される場合を例示しており、中間点の座標は標準制御点ＣＯｊの座標値を用いた適宜の補完手法によって得ることが可能である。
ここで、標準モデルから個別モデルを構成するモデルフィッティングについて詳述する。
まず、標準モデルの各特徴部位の頂点（標準制御点ＣＯｊ）を、ステップＳＰ１１において算出された各特徴点に移動させる。具体的には、各特徴点Ｑｊの３次元座標値を、対応する標準制御点ＣＯｊの３次元座標値として代入し、移動後の標準制御点（以下、「個別制御点」とも称する）Ｃｊを得る。これにより、標準モデルを３次元座標Ｍ(j)で表した個別モデルに変形することができる。なお、個別モデルにおける個別制御点Ｃｊ以外の中間点の座標は、個別制御点Ｃｊの座標値を用いた適宜の補間手法によって得ることが可能である。
また、この変形（移動）による各頂点の移動量から、後述のステップＳＰ１３において用いられる、標準モデルを基準にした場合の個別モデルのスケール、傾き及び位置を求めることができる。具体的には、標準モデルにおける所定の基準位置と、変形後の個別モデルにおける対応基準位置との間のずれ量によって、個別モデルの標準モデルに対する位置変化を求めることができる。また、標準モデルにおける所定の２点を結ぶ基準ベクトルと、変形後の個別モデルにおける当該所定の２点の対応点を結ぶ基準ベクトルとの間のずれ量によって、個別モデルの標準モデルに対する傾きの変化及びスケール変化を求めることができる。例えば、右目の目頭の特徴点Ｑ１と左目の目頭の特徴点Ｑ２との中点ＱＭの座標と標準モデルにおいて中点ＱＭに相当する点の座標とを比較することによって個別モデルの位置を求めることができ、さらに、中点ＱＭと他の特徴点とを比較することによって個別モデルのスケール及び傾きを算出することができる。
次の式（４）は、標準モデルと個別モデルとの間の対応関係を表現する変換パラメータ（ベクトル）ｖｔを示している。式（４）に示すように、この変換パラメータ（ベクトル）ｖｔは、両者のスケール変換指数ｓｚと、直交３軸方向における並進変位を示す変換パラメータ（ｔｘ，ｔｙ，ｔｚ）と、回転変位（傾き）を示す変換パラメータ（φ，θ，ψ）とをその要素とするベクトルである。
上述のようにして、認証対象者に関する３次元座標Ｍ(j)を用いて標準モデルの３次元情報を変更する処理が行われる。
その後、テクスチャ情報を用いて標準モデルの２次元情報を変更する処理も行われる。具体的には、入力画像Ｇ１，Ｇ２における各領域のテクスチャ情報が、３次元の個別モデル上の対応する領域（ポリゴン）に貼り付け（マッピング）られる。なお、立体モデル（個別モデル等）上でテクスチャ情報が貼り付けられる各領域（ポリゴン）は「パッチ」とも称せられる。
以上のようにして、モデルフィッティング処理（ステップＳＰ１２）が行われる。
次のステップＳＰ１３においては、標準モデルを基準にして個別モデルの補正が行われる。本工程では、アライメント補正と、シェーディング補正とが実行される。アライメント補正は、３次元情報に関する補正処理であり、シェーディング補正は、２次元情報に関する補正処理である。
アライメント（顔向き）補正は、上記ステップＳＰ１２において求められる標準モデルを基準にした際の個別モデルのスケール、傾き及び位置を基にして行われる。より詳細には、標準モデルを基準にした際の標準モデルと個別モデルとの関係を示す変換パラメータｖｔ（式（４）参照）を用いて個別モデルを座標変換することで、標準モデルの姿勢と同じ姿勢を有する３次元顔モデルを作成することができる。すなわち、このアライメント補正によって、認証対象者に関する３次元情報を適切に正規化することができる。
また、シェーディング補正は、個別モデルにマッピングされているパッチ内の各画素の輝度値（テクスチャ情報（図１１参照））を補正する処理である。このシェーディング補正によれば、光源と被写体人物との位置関係が標準モデル作成のための人物撮影時と個別モデルの対象人物撮影時（認証対象者撮影時）とで相違する場合に生じる、両モデル（標準モデルおよび個別モデル）のテクスチャ情報の相違を補正することができる。すなわち、シェーディング補正によれば、認証対象者に関する２次元情報の１つであるテクスチャ情報を適切に正規化することができる。
以上のように画像正規化工程（ステップＳＰ４）においては、認証対象者に関する情報が、認証対象者に関する３次元情報と２次元情報との双方を含む個別モデルとして、正規化された状態で生成される。
次のステップＳＰ５（図６）においては、個別モデルの特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。
３次元情報としては、個別モデルにおけるｍ個の個別制御点Ｃｊの３次元座標ベクトルが抽出される。具体的には、式（５）に示されるように、ｍ個の個別制御点Ｃｊ（ｊ＝１，...，ｍ）の３次元座標（Ｘｊ，Ｙｊ，Ｚｊ）を要素とするベクトルｈSが３次元情報（３次元形状情報）として抽出される。
また、２次元情報としては、個人認証にとって重要な情報となる顔の特徴的な部分つまり個別制御点付近のパッチ又はパッチのグループ（局所領域）が有するテクスチャ（輝度）情報（以下、「局所２次元情報」とも称する）が抽出される。
局所２次元情報は、例えば、正規化後の特徴的な部位の個別制御点を示す図１２中のグループＧＲ（個別制御点Ｃ２０、Ｃ２２及びＣ２３を頂点とするパッチＲ１と個別制御点Ｃ２１、Ｃ２２及びＣ２３を頂点とするパッチＲ２）から構成される領域、又は、単に一つのパッチからなる領域等の各局所領域が有する各画素の輝度情報として構成される。局所２次元情報ｈ(k)（ｋ＝１，...，Ｌ；Ｌは局所領域数）は、それぞれ、当該局所領域内の画素数をｎ、各画素の輝度値をＢＲ１，...，ＢＲｎとすると、式（６）のようなベクトル形式で表される。また、局所２次元情報ｈ(k)をＬ個の局所領域について集めた情報は、総合的な２次元情報であるとも表現される。
以上のように、ステップＳＰ５においては、個別モデルの特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。
抽出された情報は後述の認証動作（ステップＳＰ７〜ＳＰ９）に用いられる。当該認証動作においては、式（６）で得られる情報をそのまま用いて認証動作を行うようにしてもよいが、その場合、局所領域内の画素数が多いときには、認証動作での計算量が非常に大きくなってしまう。そこで、この実施形態では、計算量を低減して効率的に認証動作を行うことを企図して、式（６）で得られる情報を更に圧縮し圧縮後の情報を用いて認証動作を行うものとする。
そのため、次のステップＳＰ６においては、ステップＳＰ５で抽出された情報を、認証に適した状態に変換する次述の情報圧縮処理を行う。
情報圧縮処理は、３次元形状情報ｈS及び各局所２次元情報ｈ(k)のそれぞれに対して同様の手法を用いて行われるが、ここでは、局所２次元情報ｈ(k)に対して情報圧縮処理を施す場合について詳細に説明する。
局所２次元情報ｈ(k)は、複数のサンプル顔画像から予め取得される当該局所領域の平均情報（ベクトル）ｈave(k)と、複数のサンプル顔画像をＫＬ展開することによって予め算出される当該局所領域の固有ベクトルのセットで表現される行列Ｐ(k)（次述）とを用いて式（７）のように基底分解された形式で表すことができる。この結果、局所２次元顔情報量（ベクトル）ｃ(k)が、局所２次元情報ｈ(k)についての圧縮情報として取得される。
上述のように式（７）中の行列Ｐ(k)は、複数のサンプル顔画像から算出される。具体的には、行列Ｐ(k)は、複数のサンプル顔画像をＫＬ展開することによって求められる複数の固有ベクトルのうち、固有値の大きい数個の固有ベクトル（基底ベクトル）のセットとして求められる。これらの基底ベクトルは、基底ベクトルデータベース２６に記憶されている。顔画像についてのより大きな特徴を示す固有ベクトルを基底ベクトルとしてその顔画像を表現することによれば、顔画像の特徴を効率的に表現することが可能となる。
例えば、図１２に示されているグループＧＲからなる局所領域の局所２次元情報ｈ(GR)を基底分解された形式で表現する場合を考える。当該局所領域の固有ベクトルのセットＰが、３つの固有ベクトルＰ１、Ｐ２及びＰ３によってＰ＝（Ｐ１，Ｐ２，Ｐ３）と表現されているとすると、局所２次元情報ｈ(GR)は、当該局所領域の平均情報ｈave(GR)と固有ベクトルのセットＰ１，Ｐ２，Ｐ３を用いて式（８）のように表される。平均情報ｈave(GR)は、様々なサンプル顔画像についての複数の局所２次元情報（ベクトル）を対応要素ごとに平均して得られるベクトルである。なお、複数のサンプル顔画像は、適度なばらつきを有する標準的な複数の顔画像を用いればよい。
また、上記式（８）は、顔情報量ｃ(GR)＝（ｃ１，ｃ２，ｃ３）Tによって元の局所２次元情報を再現することが可能であることを示している。すなわち、顔情報量ｃ(GR)は、グループＧＲからなる局所領域の局所２次元情報ｈ(GR)を圧縮した情報といえる。
上記のようにして取得された局所２次元顔情報量ｃ(GR)をそのまま認証動作に用いてもよいが、この実施形態ではさらなる情報圧縮を行う。具体的には、局所２次元顔情報量ｃ(GR)が表す特徴空間を個人間の分離を大きくするような部分空間へと変換する処理を更に行う。より詳細には、式（９）に表されるようベクトルサイズｆの局所２次元顔情報量ｃ(GR)をベクトルサイズｇの局所２次元特徴量ｄ(GR)に低減させる変換行列Ａを考える。これにより、局所２次元顔情報量ｃ(GR)で表される特徴空間を局所２次元特徴量ｄ(GR)で表される部分空間に変換することができ、個人間の情報の相違が顕著になる。
ここで、変換行列Ａはｆ×ｇのサイズを有する行列である。重判別分析（ＭＤＡ：Multiple Discriminant Analysis）法を用いて、特徴空間から級内分散と級間分散との比率（Ｆ比）の大きい主成分をｇ個選び出すことによって、変換行列Ａを決定することができる。
また、上述した局所２次元情報ｈ(GR)について行った情報圧縮処理と同様の処理を他の全ての局所領域にも実行することによって、各局所領域についての局所２次元顔特徴量ｄ(k)を取得することができる。また、３次元形状情報ｈSに対しても同様の手法を適用することにより３次元顔特徴量ｄSを取得することができる。
上記ステップＳＰ６を経て取得される３次元顔特徴量ｄSと局所２次元顔特徴量ｄ(k)とを組み合わせた顔特徴量ｄは、ベクトル形式で式（１０）のように表すことができる。
以上に述べたステップＳＰ１〜ＳＰ６の工程において、入力される認証対象者の顔画像から当該対象者の顔特徴量ｄが取得される。
そして、次のステップＳＰ７〜ＳＰ９においては、この顔特徴量ｄを用いて所定人物の顔認証が行われる。
具体的には、認証対象者（認証対象物）と比較対象者（比較対象物）との類似度である総合類似度Ｒｅが算出され（ステップＳＰ８）、その後、この総合類似度Ｒｅに基づく認証対象者と比較対象者との比較動作等（ステップＳＰ９）が行われる。この総合類似度Ｒｅは、３次元顔特徴量ｄSから算出される３次元類似度ＲｅSと、局所２次元顔特徴量ｄ(k)から算出される局所２次元類似度Ｒｅ(k)とに加えて、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)との重みを規定する重み付け係数（以下、単に「重み係数」とも称する）を用いて算出される。そのため、ステップＳＰ７においては、ステップＳＰ８，ＳＰ９に先立って、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)との重み係数を決定する処理が行われる。
まず、ステップＳＰ７の処理について説明する。
ここでは、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)との重み係数として、３次元情報の重み係数ＷＴと２次元情報の重み係数ＷＳとを用いる場合を例示する。
式（１１）は、両重み係数ＷＴ，ＷＳ相互間の関係を示している。
式（１１）によると、３次元情報の重み係数ＷＴの値を大きくすると２次元情報の重み係数ＷＳの値は小さく設定される。重み係数ＷＴ、ＷＳを環境等に応じた適宜の値に設定することによれば、より適切な類似度を算出することができる。
ここで、重み係数の決定手法について詳述する。
重み係数の決定要素（パラメータ）には、認証対象者の被写体条件又は画像撮影の際の撮影条件等から得られる様々な変数を用いることができる。
例えば、重み係数の決定要素（パラメータ）として、顔の距離情報（パラメータＰＴ１）、より詳細には認証対象者とカメラとの距離α、を用いることができる。この距離αは、上述の３次元再構成工程（ステップＳＰ１１）において三角測量の原理により算出された特徴点Ｑｊの３次元座標Ｍ(j)とカメラの位置とに基づいて算出される。
２次元情報の信頼性は距離αの変動によってそれ程大きくは低下しないが、３次元形状情報の信頼性は距離αが大きくなるにつれて比較的大きく低下する。そこで、距離αが大きい場合には３次元情報の重み係数ＷＴを小さくすることが考えられる。より詳細には、図１３及び図１４を用いて説明する。
図１３は、認証対象者とカメラとの距離αと重み係数ＷＴとの関係を示す図であり、図１４は、図１３の関係に基づいて定められる所定の距離αＫと重み係数ＷＴ（αＫ）との対応を示す図である。
３次元情報の重み係数ＷＴの値は、認証対象者とカメラとの距離αを変数として関数ＷＴ（α）を用いて図１３のように表される。また、図１４に示されるように、このような重み係数ＷＴ（αＫ）に関するデータテーブルが「重み情報」として重み係数決定情報記憶部２７に格納されている。このため、重み係数決定の際に、認証対象者とカメラとの距離αを算出すれば、当該データテーブルを用いて３次元情報の重み係数ＷＴ（α）を決定することができる。さらに、３次元情報の重み係数ＷＴが決定すれば、式（１１）から２次元情報の重み係数ＷＳを決定することができる。このように決定された重み係数は、ステップＳＰ８で類似度計算に用いられる。
また、上記以外の重み係数の決定要素（パラメータ）として、撮影の際の顔の向き情報（パラメータＰＴ２）を用いることもできる。具体的には、ステップＳＰ１３におけるアライメント補正における回転変位の補正量βが大きい場合、テクスチャ情報の個別モデルへの貼り付け精度が悪くなり２次元情報の信頼性は低くなるため、３次元情報の重み係数ＷＴを大きくする処理を行う。具体的な手法は、上述の距離αから重み係数を決定する場合と同様で、重み係数決定情報記憶部２７に格納されているアライメント補正における回転変位の補正量βと重み係数との関係を示す重み情報を用いて決定することができる。
また、重み係数の決定要素を複数用いて重み係数を決定することもできる。図１５は、複数の決定要素（パラメータ）と重み係数との関係を示す図である。例えば、図１５に示されるように、３次元情報の重み係数ＷＴは、上述のパラメータＰＴ１とパラメータＰＴ２との２変数を含む複数の変数α、β、γから導き出される関数とすることによって、パラメータＰＴ１及びパラメータＰＴ２等の情報を反映した重み係数を得ることができる。
次に、ステップＳＰ８では、人物パラメータデータベース２８に予め登録されている比較対象者の顔特徴量（比較特徴量）と、上記ステップＳＰ１〜ステップＳＰ６を経て算出された認証対象者の顔特徴量との類似性の評価が行われる。具体的には、登録されている顔特徴量（比較特徴量）（ＲｅSM及びＲｅ(k)M）と認証対象者の顔特徴量（ＲｅSI及びＲｅ(k)I）との間で類似度計算が実行され、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)とが算出される。なお、この実施形態においては、顔認証動作において比較の対象とされる人物（比較対象者）についての顔特徴量は、図６の動作に先立って予め取得されているものとする。具体的には、１人又は複数人の比較対象者のそれぞれに関してステップＳＰ１〜ステップＳＰ６と同様の処理を行うことによって、各比較対象者の顔特徴量ｄをその人物固有の顔特徴量として予め取得し、人物パラメータデータベース２８に予め記憶（登録）しておけばよい。
さて、認証対象者と比較対象者との３次元類似度ＲｅSは、式（１２）に示されるように対応するベクトル同士のユークリッド距離ＲｅSを求めることによって取得される。
また、局所２次元の類似度Ｒｅ(k)は、式（１３）に示されるように対応する局所領域同士における特徴量の各ベクトル成分ごとのユークリッド距離Ｒｅ(k)を求めることによって取得される。
そして、式（１４）に示されるように、３次元の類似度ＲｅSと局所２次元の類似度Ｒｅ(k)とを、ステップＳＰ７において決定された重み係数を用いて合成し、認証対象者（認証対象物）と比較対象者（比較対象物）との類似度である総合類似度Ｒｅを取得することができる。
次に、ステップＳＰ９においては、総合類似度Ｒｅに基づいて認証判定が行われる。認証判定は、顔照合（Verification）の場合と顔識別(Identification)の場合とで、その手法が以下のように異なる。
顔照合では、入力された顔（認証対象者の顔）が特定の登録者であるか否かが判定されればよいため、特定登録者つまり比較対象者の顔特徴量（比較特徴量）と認証対象者の顔特徴量との類似度Ｒｅを一定の閾値と比較することで、認証対象者と比較対象者との同一性が判定される。詳細には、類似度Ｒｅが一定の閾値ＴＨ１よりも小さいときに認証対象者が比較対象者と同一人物であると判定される。
一方、顔識別は、入力された顔（認証対象者の顔）が誰のものであるかを判定するものである。この顔識別では、登録されている人物の顔特徴量と認証対象者の顔の特徴量との類似度を全て算出して、認証対象者と各比較対象者との同一性をそれぞれ判定する。そして、複数の比較対象者のうち最も高い同一性を有する比較対象者を認証対象者と同一人物であると判定する。詳細には、認証対象者と複数の比較対象者のそれぞれとの各類似度Ｒｅのうち、最小の類似度Ｒｅminに対応する比較対象者が、認証対象者と同一人物であると判定される。
以上のように、３次元形状情報から得られる３次元の類似度と２次元情報から得られる２次元の類似度とを個別に算出し、双方の類似度を認証判断に用いることで、より精度の高い認証が可能になる。また、認証対象者の被写体条件等から決定する重み係数によって、認証の際に用いる３次元の類似度と２次元の類似度とを調整することができるので、被写体条件等の影響を受けにくい好適な認証を行うことが可能となる。
＜変形例＞
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。
例えば、上記実施形態においては、重み係数決定の際に用いられる決定要素（パラメータ）として、顔の距離情報（パラメータＰＴ１）又は撮影の際の顔の向き情報（パラメータＰＴ２）を用いているがこれに限定されない。具体的には、以下のパラメータＰＴ３〜ＰＴ５を用いることができる。
◎ＰＴ３（ステップＳＰ３において実行される特徴点抽出の信頼度）：
特徴点抽出の信頼度は、ステップＳＰ４で作成される３次元顔モデルの精度に影響を与えるため、特徴点抽出の信頼度が低い場合、３次元情報の重み係数ＷＴを小さくする。なお、特徴点抽出の信頼度は、特徴部位抽出の際のテンプレートマッチングにおけるテンプレートと抽出部位との類似度で評価することができる。
◎ＰＴ４（撮影の際の照明条件情報）：
入力された２次元画像の平均輝度値が、登録されているデータと大きく異なる場合は、登録時と入力時との照明変化が大きいと判断し、２次元情報の重み係数ＷＳを小さくする。また、２次元画像中の背景と顔領域との明度の比が小さい場合は、２次元情報の重み係数ＷＳを小さくする。
◎ＰＴ５（登録時からの経過時間情報）：
比較特徴量の登録からの経過時間が大きい場合は、化粧又は髭等の容貌変化を生じている可能性が大きいため、２次元情報の重み係数ＷＳを小さくする。
なお、撮影の際の顔の距離情報（パラメータＰＴ１）及び撮影の際の顔の向き情報（パラメータＰＴ２）は、「認証対象物の被写体条件」であるとも表現でき、撮影の際の照明条件情報（パラメータＰＴ４）は、「画像撮影の際の撮影条件」であるとも表現できる。
また、上記実施形態においては、パッチ内の各画素の輝度値を２次元情報としていたが、各パッチが有する色合いを２次元情報として用いてもよい。
また、上記実施形態においては、１回の撮影によって得られる顔特徴量ｄを用いて類似度計算を行っていたがこれに限定されない。具体的には、認証対象者の撮影を２度行い、２回の撮影で得られる顔特徴量同士の類似度を算出することで、取得した顔特徴量の値が妥当であるか否かを判断することができる。これにより、取得した顔特徴量の値が不適当であった場合、再度撮影をやり直すことができる。
また、上記実施形態では、ステップＳＰ６において変換行列Ａを決定する手法としてＭＤＡ法を用いていたがこれに限定されず、例えば、所定の特徴空間から級間分散と級内分散との差が大きくなるような射影空間を求めるＥＭ（Eigenspace Method）法を用いてもよい。
また、上記実施形態においては、複数台のカメラより入力される複数の画像を用いて顔の３次元形状情報を取得しているがこれに限定されない。具体的には、図１６に示されるようなレーザ光出射部Ｌ１とカメラＬＣＡとから構成される３次元形状測定器を用いてレーザ光出射部Ｌ１の照射するレーザの反射光をカメラＬＣＡによって計測することにより、認証対象者の顔の３次元形状情報を取得してもよい。但し、上記実施形態のようにカメラ２台を含む入力装置を用いて３次元の形状情報を取得する手法によれば、レーザ光を用いる入力装置に比べて、比較的簡易な構成で３次元の形状情報を取得することができる。
また、上記実施形態においては、２次元情報としてテクスチャ（輝度）情報を用いる場合が例示されていたが、これに限定されない。例えば、２次元情報として、或る画像内での平面的な位置情報（各特徴点の相対位置情報等）を、テクスチャ情報とともに或いはテクスチャ情報に代えて、用いるようにしてもよい。
本発明の実施形態に係る顔認証システムの適用例を示す構成図である。 コントローラの構成概要を示す図である。 コントローラが備える各種機能を示すブロック図である。 個人認証部の詳細な機能構成を示すブロック図である。 画像正規化部のさらに詳細な機能構成を示すブロック図である。 コントローラの全体動作を示すフローチャートである。 画像正規化処理の詳細なフローチャートである。 顔画像における特徴的な部位の特徴点を示す図である。 ２次元画像中の特徴点から３次元座標を算出する模式図である。 ３次元の顔の標準モデルを示す図である。 テクスチャ情報を示す図である。 正規化後の特徴的な部位の個別制御点を示す図である。 認証対象者とカメラとの距離と重み係数との関係を示す図である。 図１３の関係に基づいて定められる所定の距離と重み係数との対応を示す図である。 複数の決定要素（パラメータ）と重み係数との関係を示す図である。 レーザ光出射部とカメラとから構成される３次元形状測定器を示す図である。
符号の説明
１ 顔認証システム
１０ コントローラ
１１ 画像入力部
１２ 顔領域検索部
１３ 顔部位検出部
１４ 個人認証部
１５ 出力部
ＣＡ１ カメラ
ＣＡ２ カメラ

Claims (21)

  1. 認証装置であって、
    認証対象物の３次元情報を取得する手段と、
    前記認証対象物の２次元情報を取得する手段と、
    前記３次元情報と前記２次元情報とを用いて前記認証対象物に関する認証動作を行う認証手段と、
    を備えることを特徴とする認証装置。
  2. 請求項１に記載の認証装置において、
    前記認証手段は、前記３次元情報と前記２次元情報との重みを調整して認証を行うことを特徴とする認証装置。
  3. 請求項２に記載の認証装置において、
    前記認証手段は、
    前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する手段と、
    前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する手段と、
    前記第１の類似度と前記第２の類似度との重みを規定する重み係数を調整する調整手段と、
    前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する手段と、
    前記総合類似度に基づいて、認証判定を行う手段と、
    を有することを特徴とする認証装置。
  4. 請求項３に記載の認証装置において、
    前記調整手段は、前記画像撮影の際の撮影条件に基づいて、前記重み係数を決定することを特徴とする認証装置。
  5. 請求項３に記載の認証装置において、
    前記調整手段は、前記画像撮影の際における前記認証対象物の被写体条件に基づいて、前記重み係数を決定することを特徴とする認証装置。
  6. 請求項３に記載の認証装置において、
    前記調整手段は、前記比較対象物に関する情報が登録された時点からの経過時間に基づいて、前記重み係数を決定することを特徴とする認証装置。
  7. 請求項１から請求項６のいずれかに記載の認証装置において、
    前記３次元情報は、前記認証対象物を異なる位置から撮影した複数の画像に基づいて求められ、
    前記２次元情報は、前記複数の画像のうちの少なくとも１つに基づいて求められることを特徴とする認証装置。
  8. 認証方法であって、
    認証対象物の３次元情報を取得する工程と、
    前記認証対象物の２次元情報を取得する工程と、
    前記３次元情報と前記２次元情報とを用いて前記認証対象物に関する認証動作を行う認証工程と、
    を備えることを特徴とする認証方法。
  9. 請求項８に記載の認証方法において、
    前記認証動作は、前記３次元情報と前記２次元情報との重みを調整して行われることを特徴とする認証方法。
  10. 請求項９に記載の認証方法において、
    前記認証工程は、
    前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、
    前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、
    前記第１の類似度と前記第２の類似度との重みを規定する重み係数を調整する調整工程と、
    前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、
    前記総合類似度に基づいて、認証判定を行う工程と、
    を有することを特徴とする認証方法。
  11. 請求項１０に記載の認証方法において、
    前記調整工程においては、前記画像撮影の際の撮影条件に基づいて、前記重み係数が決定されることを特徴とする認証方法。
  12. 請求項１０に記載の認証方法において、
    前記調整工程においては、前記画像撮影の際における前記認証対象物の被写体条件に基づいて、前記重み係数が決定されることを特徴とする認証方法。
  13. 請求項１０に記載の認証方法において、
    前記調整工程においては、前記比較対象物に関する情報が登録された時点からの経過時間に基づいて、前記重み係数が決定されることを特徴とする認証方法。
  14. 請求項８から請求項１３のいずれかに記載の認証方法において、
    前記３次元情報は、前記認証対象物を異なる位置から撮影した複数の画像に基づいて求められ、
    前記２次元情報は、前記複数の画像のうちの少なくとも１つに基づいて求められることを特徴とする認証方法。
  15. コンピュータに、
    認証対象物の３次元情報を取得する工程と、
    前記認証対象物の２次元情報を取得する工程と、
    前記３次元情報と前記２次元情報とを用いて前記認証対象物に関する認証動作を行う認証工程と、
    を実行させることを特徴とするプログラム。
  16. 請求項１５に記載のプログラムにおいて、
    前記認証動作は、前記３次元情報と前記２次元情報との重みを調整して行われることを特徴とするプログラム。
  17. 請求項１６に記載のプログラムにおいて、
    前記認証工程は、
    前記コンピュータに、
    前記３次元情報と予め登録されている比較対象物の３次元情報との第１の類似度を算出する工程と、
    前記２次元情報と前記比較対象物の２次元情報との第２の類似度を算出する工程と、
    前記第１の類似度と前記第２の類似度との重みを規定する重み係数を調整する調整工程と、
    前記重み係数を用いて前記第１の類似度と前記第２の類似度とを合成し、前記認証対象物と前記比較対象物との総合類似度を算出する工程と、
    前記総合類似度に基づいて、認証判定を行う工程と、
    をさらに実行させることを特徴とするプログラム。
  18. 請求項１７に記載のプログラムにおいて、
    前記調整工程においては、前記画像撮影の際の撮影条件に基づいて、前記重み係数が決定されることを特徴とするプログラム。
  19. 請求項１７に記載のプログラムにおいて、
    前記調整工程においては、前記画像撮影の際における前記認証対象物の被写体条件に基づいて、前記重み係数が決定されることを特徴とするプログラム。
  20. 請求項１７に記載のプログラムにおいて、
    前記調整工程においては、前記比較対象物に関する情報が登録された時点からの経過時間に基づいて、前記重み係数が決定されることを特徴とするプログラム。
  21. 請求項１５から請求項２０のいずれかに記載のプログラムにおいて、
    前記３次元情報は、前記認証対象物を異なる位置から撮影した複数の画像に基づいて求められ、
    前記２次元情報は、前記複数の画像のうちの少なくとも１つに基づいて求められることを特徴とするプログラム。
JP2005240907A 2005-08-23 2005-08-23 認証装置、認証方法及びプログラム Expired - Fee Related JP4696778B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005240907A JP4696778B2 (ja) 2005-08-23 2005-08-23 認証装置、認証方法及びプログラム
US11/507,830 US20070050639A1 (en) 2005-08-23 2006-08-22 Authentication apparatus and authentication method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005240907A JP4696778B2 (ja) 2005-08-23 2005-08-23 認証装置、認証方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2007058393A true JP2007058393A (ja) 2007-03-08
JP4696778B2 JP4696778B2 (ja) 2011-06-08

Family

ID=37805759

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005240907A Expired - Fee Related JP4696778B2 (ja) 2005-08-23 2005-08-23 認証装置、認証方法及びプログラム

Country Status (2)

Country Link
US (1) US20070050639A1 (ja)
JP (1) JP4696778B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011034133A (ja) * 2009-07-29 2011-02-17 Fujifilm Corp 人物照合装置及び人物照合方法
JP2011060024A (ja) * 2009-09-10 2011-03-24 Toshiba Corp 画像認識処理に適用する特徴情報選択装置及び画像認識処理装置
US11847198B2 (en) 2018-12-27 2023-12-19 Nec Corporation Information processing apparatus, information processing method, and storage medium

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5385759B2 (ja) * 2009-10-30 2014-01-08 キヤノン株式会社 画像処理装置及び画像処理方法
US20110161232A1 (en) * 2009-12-28 2011-06-30 Brown Kerry D Virtualization of authentication token for secure applications
JP2012181688A (ja) 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
TWI446275B (zh) * 2011-09-16 2014-07-21 Hon Hai Prec Ind Co Ltd 電子裝置及其使用的監控方法
DE102011117979A1 (de) * 2011-11-09 2013-05-16 Deutsche Telekom Ag Verfahren zum Bereitstellen von Daten und/oder Interaktionsmöglichkeiten zwischen einem Nutzer und einer Datenverarbeitungsanordnung
JP6026119B2 (ja) * 2012-03-19 2016-11-16 株式会社東芝 生体情報処理装置
US20180357819A1 (en) * 2017-06-13 2018-12-13 Fotonation Limited Method for generating a set of annotated images
KR102673019B1 (ko) * 2017-10-18 2024-06-05 소니 세미컨덕터 솔루션즈 가부시키가이샤 식별 장치 및 전자기기
US10706577B2 (en) * 2018-03-06 2020-07-07 Fotonation Limited Facial features tracker with advanced training for natural rendering of human faces in real-time
CN113673374B (zh) * 2021-08-03 2024-01-30 支付宝(杭州)信息技术有限公司 一种面部识别方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269358A (ja) * 1997-03-25 1998-10-09 Sony Corp 物体認識装置
JP2000148985A (ja) * 1998-11-17 2000-05-30 Hitachi Ltd 個人認証システム
JP2003006645A (ja) * 2001-06-20 2003-01-10 Secom Co Ltd 本人認証用の顔画像照合装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0567680B1 (en) * 1992-04-30 1999-09-22 International Business Machines Corporation Pattern recognition and validation, especially for hand-written signatures
US6466685B1 (en) * 1998-07-14 2002-10-15 Kabushiki Kaisha Toshiba Pattern recognition apparatus and method
JP2001331799A (ja) * 2000-03-16 2001-11-30 Toshiba Corp 画像処理装置および画像処理方法
JP2002092616A (ja) * 2000-09-20 2002-03-29 Hitachi Ltd 個人認証装置
WO2005020030A2 (en) * 2003-08-22 2005-03-03 University Of Houston Multi-modal face recognition
JP4860472B2 (ja) * 2003-10-09 2012-01-25 ユニヴァーシティ オブ ヨーク 画像認識
GB0326186D0 (en) * 2003-11-10 2003-12-17 Omniperception Ltd 2d face authentication system
EP1741048A2 (en) * 2004-04-06 2007-01-10 RF Intelligent Systems, Inc. Handheld biometric computer 2d/3d image capture
EP1743280A2 (en) * 2004-04-06 2007-01-17 RF Intelligent Systems, Inc. 2d/3d facial biometric mobile identification
US7436988B2 (en) * 2004-06-03 2008-10-14 Arizona Board Of Regents 3D face authentication and recognition based on bilateral symmetry analysis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269358A (ja) * 1997-03-25 1998-10-09 Sony Corp 物体認識装置
JP2000148985A (ja) * 1998-11-17 2000-05-30 Hitachi Ltd 個人認証システム
JP2003006645A (ja) * 2001-06-20 2003-01-10 Secom Co Ltd 本人認証用の顔画像照合装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011034133A (ja) * 2009-07-29 2011-02-17 Fujifilm Corp 人物照合装置及び人物照合方法
US8509497B2 (en) 2009-07-29 2013-08-13 Fujifilm Corporation Person recognition method and apparatus
JP2011060024A (ja) * 2009-09-10 2011-03-24 Toshiba Corp 画像認識処理に適用する特徴情報選択装置及び画像認識処理装置
US11847198B2 (en) 2018-12-27 2023-12-19 Nec Corporation Information processing apparatus, information processing method, and storage medium

Also Published As

Publication number Publication date
JP4696778B2 (ja) 2011-06-08
US20070050639A1 (en) 2007-03-01

Similar Documents

Publication Publication Date Title
JP4696778B2 (ja) 認証装置、認証方法及びプログラム
JP4645411B2 (ja) 認証システム、登録システム及びプログラム
JP4780198B2 (ja) 認証システム及び認証方法
JP4752433B2 (ja) モデリングシステム、モデリング方法およびプログラム
JP4653606B2 (ja) 画像認識装置、方法およびプログラム
JP4950787B2 (ja) 画像処理装置及びその方法
JP4539494B2 (ja) 認証装置、認証方法及びプログラム
US7876931B2 (en) Face recognition system and method
JP2007058397A (ja) 認証システム、登録システム及び証明用媒体
JP4992289B2 (ja) 認証システム、認証方法、及びプログラム
WO2006049147A1 (ja) 三次元形状推定システム及び画像生成システム
JP4539519B2 (ja) 立体モデル生成装置および立体モデル生成方法
JP5018029B2 (ja) 認証システム及び認証方法
JPWO2009004916A1 (ja) なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
CN111652018B (zh) 一种人脸注册方法和认证方法
JP4956983B2 (ja) 認証システム、認証方法およびプログラム
JP4814666B2 (ja) 顔解析システム
JP2009211148A (ja) 顔画像処理装置
JP4816874B2 (ja) パラメータ学習装置、パラメータ学習方法、およびプログラム
JP4525523B2 (ja) 認証システム、認証方法およびプログラム
JP5244345B2 (ja) 顔認証装置
JP4956967B2 (ja) 認証システム、認証方法およびプログラム
CN111652020B (zh) 一种人脸绕z轴旋转角度的识别方法
Zhou Using 3D morphable models for 3D photo-realistic personalized avatars and 2D face recognition
Nair Robust signatures for 3D face registration and recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080424

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110107

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110214

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees