JP2007102601A - 立体モデル生成装置および立体モデル生成方法 - Google Patents

Abstract

【課題】被写体に関する撮影画像に基づき被写体の立体モデルを精度良く生成できる立体モデル生成技術を提供する。
【解決手段】顔認証システムでは、人物の顔(被写体)を異なる視点から撮影し入力された複数の画像から、顔の標準モデルで定義される第１特徴点(例えば目の輪郭上の点)に対応する点の３次元座標を算出する。そして、算出された３次元座標に標準モデルの第１特徴点を一致させるように標準モデルを変形する。次に、この変形モデルと上記複数の画像とから、顔の標準モデルで定義される第２特徴点候補領域(例えば眉間の領域)に対応する領域の３次元座標を探索する。そして、探索された領域内にある皺の中間点などを第２特徴点として検出し、この第２特徴点の３次元位置に標準モデルの表面を一致させるように変形モデルを更に変形する。これにより、人物の顔の立体モデルを精度良く生成できる。
【選択図】図１１

Description

本発明は、被写体を異なる視点から撮影して得られた複数の画像に基づき被写体の立体モデルを生成する立体モデル生成技術に関する。

近年、ネットワーク技術等の発展によって電子化された様々なサービスが普及し、人に頼らない非対面での本人認証技術の必要性が高まっている。これに伴い、人物の生体特徴によって自動的に個人の識別を行うバイオメトリクス認証技術（生体認証技術）の研究が盛んに行われている。バイオメトリクス認証技術の一つである顔認証技術は、非接触型の認証方法であり、監視カメラによるセキュリティあるいは顔をキーとした画像データベース検索等、様々な分野での応用が期待されている。

このような認証技術としては、予め登録された登録画像と認証対象物を撮影した撮影画像とをそれぞれ平面情報（「テクスチャ情報」あるいは「２次元情報」）として取得しておき、単純に両画像の平面情報を比較することによって、登録画像内の人物と撮影画像内の人物とが同一人物であるか否かを判定することが行われる。

ただし、このような単なる２次元画像同士の比較では、両画像における人物の姿勢や光源の位置が同一でない場合等においては、高精度の認証を行うことが困難である。

そこで、精度の高い認証を行うための技術として、例えば特許文献１に記載の技術が提案されている。この認証技術によれば、人物の顔の標準的な３次元形状を表す標準モデルを用いて撮影画像内の顔の向き(姿勢)を登録画像の顔の向きに合わせるように画像の修正を行った上で、これらの画像が比較される。

特開２００４−２８８２２２号公報

しかしながら、上記特許文献１の認証技術では、標準モデルのみを用いて撮影画像を修正するため、実際の顔の３次元形状と標準モデルとが相違する場合には高精度の認証が困難となる。このような認証技術においては、実際の被写体に関する３次元形状を精度良く再現した立体モデルを生成して利用できれば、認証精度の向上に貢献できることとなる。

本発明は、上記課題に鑑みてなされたものであり、被写体に関する撮影画像に基づき被写体の立体モデルを精度良く生成できる立体モデル生成技術を提供することを目的とする。

上記の課題を解決するため、請求項１の発明は、被写体を異なる視点から撮影して得られた複数の画像に基づき、前記被写体の３次元形状を表現した立体モデルを生成する立体モデル生成装置であって、(a)前記被写体に表れる第１特徴点および第２特徴点それぞれに対応する第１特徴箇所と第２特徴箇所とに関する３次元位置情報が記述された被写体の標準モデルを記憶する記憶手段と、(b)前記複数の画像に基づき、前記被写体における第１特徴点の３次元位置情報を取得する第１情報取得手段と、(c)前記第１情報取得手段により取得された第１特徴点の３次元位置情報に基づき前記標準モデルを変形し、変形モデルを生成する第１変形手段と、(d)前記変形モデルと前記複数の画像とに基づき、前記被写体における第２特徴点の３次元位置情報を取得する第２情報取得手段と、(e)前記第２情報取得手段により取得された第２特徴点の３次元位置情報に基づき前記変形モデルを更に変形し、前記立体モデルを生成する第２変形手段とを備える。

また、請求項２の発明は、請求項１の発明に係る立体モデル生成装置において、前記第１特徴点は、人物の顔部品において定められる点であり、前記第２特徴点は、前記顔部品を除く顔の部分に定められる点である。

また、請求項３の発明は、請求項２の発明に係る立体モデル生成装置において、前記顔部品は、目、口、鼻および眉からなる群から選択される少なくとも１の部品を含む。

また、請求項４の発明は、請求項１ないし請求項３のいずれかの発明に係る立体モデル生成装置において、前記第１特徴点は、目の輪郭上の点、目尻の点、目頭の点および瞳の中心点からなる群から選択される少なくとも１の点を含む。

また、請求項５の発明は、請求項１ないし請求項４のいずれかの発明に係る立体モデル生成装置において、前記第１特徴点は、口の輪郭上の点、口の左端の点および口の右端の点からなる群から選択される少なくとも１の点を含む。

また、請求項６の発明は、請求項１ないし請求項５のいずれかの発明に係る立体モデル生成装置において、前記第１特徴点は、小鼻の輪郭上の点、鼻孔の輪郭上の点および鼻の下面上の点からなる群から選択される少なくとも１の点を含む。

また、請求項７の発明は、請求項１ないし請求項６のいずれかの発明に係る立体モデル生成装置において、前記第１特徴点は、眉の輪郭上の点、眉の左端の点および眉の右端の点からなる群から選択される少なくとも１の点を含む。

また、請求項８の発明は、請求項１ないし請求項７のいずれかの発明に係る立体モデル生成装置において、前記第２特徴箇所は、皺の検出が可能な顔の特定部分に関する箇所である。

また、請求項９の発明は、請求項８の発明に係る立体モデル生成装置において、前記顔の特定部分は、眉間の部分、鼻と口の両脇の部分、目の下の部分および鼻筋の両脇の部分からなる群から選択される少なくとも１の部分を含む。

また、請求項１０の発明は、被写体を異なる視点から撮影して得られた複数の画像に基づき、前記被写体の３次元形状を表現した立体モデルを生成する立体モデル生成方法であって、(a)前記被写体に表れる第１特徴点および第２特徴点それぞれに対応する第１特徴箇所と第２特徴箇所とに関する３次元位置情報が記述された被写体の標準モデルを記憶する記憶工程と、(b)前記複数の画像に基づき、前記被写体における第１特徴点の３次元位置情報を取得する第１情報取得工程と、(c)前記第１情報取得工程において取得された第１特徴点の３次元位置情報に基づき前記標準モデルを変形し、変形モデルを生成する第１変形工程と、(d)前記変形モデルと前記複数の画像とに基づき、前記被写体における第２特徴点の３次元位置情報を取得する第２情報取得工程と、(e)前記第２情報取得工程において取得された第２特徴点の３次元位置情報に基づき前記変形モデルを更に変形し、前記立体モデルを生成する第２変形工程とを備える。

請求項１ないし請求項１０の発明によれば、被写体を異なる視点から撮影して得られた複数の画像に基づき取得した被写体における第１特徴点の３次元位置情報により標準モデルを変形して変形モデルを生成した後に、上記複数の画像と変形モデルとに基づき取得した被写体における第２特徴点の３次元位置情報により変形モデルを更に変形して被写体の３次元形状を表現した立体モデルを生成する。その結果、被写体の立体モデルを精度良く生成できる。

特に、請求項２の発明においては、第１特徴点は人物の顔部品において定められる点であり、第２特徴点は顔部品を除く顔の部分に定められる点であるため、第１特徴点および第２特徴点を適切に定められる。

また、請求項３ないし請求項７の発明によれば、第１特徴点の選定を適切に行え、被写体の立体モデルを一層精度良く生成できる。

また、請求項８の発明においては、第２特徴箇所は皺の検出が可能な顔の特定部分に関する箇所であるため、第２特徴箇所を適切に定めることができ、被写体の立体モデルを一層精度良く生成できる。

また、請求項９の発明においては、顔の特定部分は、眉間の部分、鼻と口の両脇の部分、目の下の部分および鼻筋の両脇の部分からなる群から選択される少なくとも１の部分を含むため、第２特徴箇所の選定を適切に行える。

以下、本発明の実施形態を図面に基づいて説明する。以下では、顔画像を用いた認証動作を行う認証システムについて説明する。

＜Ａ．概要＞
図１は、本発明の実施形態に係る顔認証システム１の概要を示す概念図である。

顔認証システム１は、後述するように、認証時に２台のカメラＣＡ１，ＣＡ２（図２参照）によって、認証対象者である人物ＨＭａ（人物ＨＭｂであると名乗る人物）の顔について多眼視（ここではステレオ視）による複数（ここでは２枚）の画像Ｇ１、Ｇ２を撮影する。詳細には、カメラＣＡ１により画像Ｇ１が撮影され、カメラＣＡ２により画像Ｇ２が撮影される。そして、顔認証システム１は、２枚の画像Ｇ１、Ｇ２に基づき得られる情報を、人物ＨＭｂについて予め登録された顔画像に基づく情報と比較（ないし照合）することによって認証動作を行い、認証対象者である人物ＨＭａが比較対象者（登録者）である人物ＨＭｂと同一人物であるか否かを判定する。

ここにおいて、当該人物ＨＭｂについて予め登録された顔画像に基づく情報としては、当該人物ＨＭｂの顔を多眼視により撮影した２枚の画像Ｇ３、Ｇ４に含まれる情報を利用するものとする。

画像Ｇ１、Ｇ２から得られる情報および画像Ｇ３、Ｇ４から得られる情報は、それぞれ、形状情報とテクスチャ情報とに大別される。

画像Ｇ１、Ｇ２からは、テクスチャ情報ＴＡが得られるとともに、形状情報として３次元情報ＳＡが得られる。より詳細には、まず、画像Ｇ１および画像Ｇ２の少なくとも一方から、人物ＨＭａの顔のテクスチャ情報ＴＡが得られる。また、ステレオ視による２枚の画像Ｇ１、Ｇ２からは、人物ＨＭａの顔の各点の３次元位置の集合等を含む３次元情報ＳＢが得られる。

同様に、画像Ｇ３、Ｇ４からも、人物ＨＭｂの顔に関するテクスチャ情報ＴＢが得られるとともに、形状情報として３次元情報ＳＢが得られる。

基本的には、このようにして得られたテクスチャ情報ＴＡとテクスチャ情報ＴＢとが比較されるとともに、３次元情報ＳＡと３次元情報ＳＢとが比較される。

ただし、このようにして得られたテクスチャ情報ＴＡ，ＴＢおよび形状情報ＳＡ，ＳＢは、膨大な情報量を有しているため、特徴選択動作（換言すれば、情報圧縮動作（後述））を行った後に比較動作を行うことが好ましい。この実施形態においても、情報圧縮動作を行う。これによれば、情報量を削減して、より効率的な照合動作を行うことができる。

このような顔認証システム１の詳細な構成について、以下で説明する。

＜Ｂ．詳細構成＞
図２は、顔認証システム１を示す構成図である。図２に示すように顔認証システム１は、コントローラ１０と２台の画像撮影カメラ（以下、単に「カメラ」とも称する）ＣＡ１、ＣＡ２とを備えている。カメラＣＡ１とカメラＣＡ２とは、それぞれ異なる視点から被写体である認証対象者ＨＭａの顔を撮影できるように配置されている。カメラＣＡ１とカメラＣＡ２とによって認証対象者ＨＭａの顔画像が撮影されると、当該撮影により得られる認証対象者ＨＭａの外観情報すなわち２枚の顔画像Ｇ１、Ｇ２がコントローラ１０に通信線を介して送信される。なお、各カメラとコントローラ１０との間での画像データの通信方式は有線方式に限定されず、無線方式であってもよい。

図３は、コントローラ１０の構成概要を示す図である。図３に示されるように、コントローラ１０は、ＣＰＵ２と、記憶部３と、メディアドライブ４と、液晶ディスプレイなどの表示部５と、キーボード６ａ及びポインティングデバイスであるマウス６ｂなどの入力部６と、ネットワークカードなどの通信部７とを備えたパーソナルコンピュータなどの一般的なコンピュータで構成される。記憶部３は、複数の記憶媒体、具体的には、ハードディスクドライブ（ＨＤＤ）３ａと、ＨＤＤ３ａよりも高速処理可能なＲＡＭ（半導体メモリ）３ｂとを有している。また、メディアドライブ４は、ＣＤ−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク、メモリカードなどの可搬性の記録媒体８からその中に記録されている情報を読み出すことができる。なお、このコントローラ１０に対して供給される情報は、記録媒体８を介して供給される場合に限定されず、ＬＡＮ及びインターネットなどのネットワークを介して供給されてもよい。

次に、コントローラ１０の機能について、図４および図５を参照して説明する。

図４は、コントローラ１０の各種機能構成を示すブロック図であり、図５は、個人認証部１４の詳細な機能構成を示すブロック図である。

コントローラ１０の各種機能構成は、コントローラ１０内のＣＰＵ等の各種ハードウェアを用いて所定のソフトウェアプログラム（以下、単に「プログラム」とも称する）を実行することによって、実現される機能を概念的に示すものである。

図４に示されるように、コントローラ１０は、画像入力部１１と顔領域検索部１２と顔部位検出部１３と個人認証部１４と出力部１５とを備えている。

画像入力部１１は、カメラＣＡ１及びカメラＣＡ２によって撮影された認証用の２枚の画像Ｇ１、Ｇ２をコントローラ１０に入力する機能を有している。また、画像入力部１１は、カメラＣＡ１及びカメラＣＡ２によって撮影された登録用の２枚の画像Ｇ３、Ｇ４をコントローラ１０に入力する機能を有している。

顔領域検索部１２は、入力された顔画像から顔領域を特定する機能を有している。

顔部位検出部１３は、特定した顔領域から顔の特徴的な部位（例えば、目、眉、鼻、口等）の位置を検出する機能を有している。

個人認証部１４は、顔の認証を主たる目的として構成され、各個人を顔画像で認証する機能を有している。この個人認証部１４の詳細については、次述する。

出力部１５は、個人認証部で得られた認証結果を出力する機能を有している。

次に、個人認証部１４の詳細構成について図５を用いて説明する。

図５に示すように、個人認証部１４は、３次元再構成部２１と最適化部２２と補正部２３と特徴抽出部２４と情報圧縮部２５と比較部２６とを有している。

３次元再構成部２１は、入力画像から得られる顔の特徴的な部位の座標から各部位の３次元における座標を算出する機能を有している。この３次元座標算出機能は、カメラパラメータ記憶部２７に格納されているカメラ情報を用いて実現される。

最適化部２２は、算出された３次元座標を用いて３次元モデルデータベース２８に格納されている顔の標準的な立体モデル（以下では「標準モデル」とも称する）から、固有の人物に関する「個別モデル」を生成する機能を有している。

補正部２３は、生成された個別モデルを補正（修正あるいは変換とも表現できる）する機能を有している。

これらの各処理部２１，２２，２３によって、認証対象者ＨＭａおよび登録者ＨＭｂに関する情報は、標準化（正規化）され、相互比較しやすい状態に変換される。また、各処理部の機能によって作成された個別モデルは、人物の顔に関する３次元情報と２次元情報との双方を含むものとして形成される。「３次元情報」は、代表点の３次元座標値等の立体的構成に関連する情報であり、「２次元情報」は、表面情報（テクスチャ情報）や代表点の平面的な位置情報（２次元形状情報）等の平面的構成に関連する情報である。

特徴抽出部２４は、上記各処理部２１，２２，２３において作成された個別モデルから３次元情報と２次元情報とを抽出する特徴抽出機能を有している。

情報圧縮部２５は、特徴抽出部２４で抽出された３次元情報と２次元情報とをそれぞれ、顔認証用の適切な顔特徴量に変換することによって、顔認証に用いる３次元情報と２次元情報とをそれぞれ圧縮する機能を有している。この情報圧縮機能は、基底ベクトルデータベース２９に格納された情報等を用いて実現される。

比較部２６は、人物データベース３０に予め登録されている登録者（比較対象者）ＨＭｂの顔特徴量と、上記各機能部によって得られる認証対象者ＨＭａの顔特徴量との類似度を計算し、顔の認証を行う機能を有している。

＜Ｃ．動作＞
＜動作概要＞
以下では、上述したコントローラ１０の顔認証動作についてより詳細に説明する。具体的には、上述したように、カメラＣＡ１及びＣＡ２で撮影した認証対象者ＨＭａの顔画像と、予め登録された人物ＨＭｂの顔画像とに関する情報を用いて、認証対象者ＨＭａが登録済み人物ＨＭｂと同一人物であるかを認証する場合（顔認証を行う場合）について説明する。ここでは、３次元情報として、カメラＣＡ１、ＣＡ２による画像を利用して三角測量の原理によって計測された３次元形状情報を用い、２次元情報としてテクスチャ（輝度）情報を用いる場合を例示する。

図６は、コントローラ１０の全体動作（認証動作）を示すフローチャートである。さらに、図７は、顔画像における特徴的な部位の特徴点を示す図であり、図８は、２次元画像中の特徴点から三角測量の原理を用いて３次元座標を算出する様子を示す模式図である。図８における画像Ｇ１、Ｇ２中の点Ｑ２０は、図７における口の右端に相当する。

図６に示されるように、コントローラ１０は、ステップＳＰ１からステップＳＰ８までの工程において、認証対象者の顔を撮影した画像に基づいて、認証対象者に関する顔特徴量を取得する。コントローラ１０は、その後、さらにステップＳＰ９，ＳＰ１０の工程を実行することによって、顔認証を実現する。

＜認証対象者ＨＭａに関する情報収集＞
まず、ステップＳＰ１において、カメラＣＡ１及びＣＡ２によって撮影された所定の人物（認証対象者）ＨＭａの顔画像が、通信線を介しコントローラ１０に入力される。顔画像を撮影するカメラＣＡ１及びカメラＣＡ２は、それぞれ、２次元画像を撮影可能な一般的な撮影装置で構成される。また、当該各カメラＣＡｉの位置姿勢等を示すカメラパラメータＢｉ（ｉ＝１・・Ｎ）は既知であり、予めカメラパラメータ記憶部２７（図５）に記憶されている。ここで、Ｎはカメラの台数を示している。本実施形態ではＮ＝２の場合を例示しているが、Ｎ≧３としてもよい（３台以上のカメラを用いてもよい）。カメラパラメータＢｉについては後述する。

次に、ステップＳＰ２において、カメラＣＡ１及びカメラＣＡ２より入力された２枚の画像Ｇ１、Ｇ２のそれぞれにおいて、顔の存在する領域が検出される。顔領域検出手法としては、例えば、予め用意された標準の顔画像を用いたテンプレートマッチングにより、２枚の画像Ｇ１、Ｇ２のそれぞれから顔領域を検出する手法を採用することができる。

次に、ステップＳＰ３において、ステップＳＰ２で検出された顔領域画像の中から、顔の特徴的な部位の位置が検出される。例えば、顔の特徴的な部位としては、目、眉、鼻又は口等が考えられ、ステップＳＰ３においては、図７に示されるような上記各部位の特徴点(後述の第１特徴点)Ｑ１〜Ｑ２３の座標が算出される。特徴部位は、例えば、特徴部位の標準的なテンプレートを用いて行うテンプレートマッチングにより検出することができる。また、算出される特徴点の座標は、カメラより入力された画像Ｇ１、Ｇ２上の座標として表される。例えば、図７における口の右端に相当する特徴点Ｑ２０に関して、図８中に示すように、２枚の画像Ｇ１、Ｇ２のそれぞれにおける座標値が求められる。具体的には、画像Ｇ１の左上の端点を原点Ｏとして、特徴点Ｑ２０の画像Ｇ１上の座標（ｘ１，ｙ１）が算出される。画像Ｇ２においても同様に特徴点Ｑ２０の画像Ｇ２上の座標（ｘ２，ｙ２）が算出される。

また、入力された画像における各特徴点を頂点とする領域内の各画素の輝度値が、当該領域の有する情報（以下、「テクスチャ情報」とも称する）として取得される。各領域におけるテクスチャ情報は、後述のステップＳＰ５等において、個別モデルに貼り付けられる。なお、本実施形態の場合、入力される画像は２枚であるので、各画像の対応する領域内の対応する画素における平均の輝度値を当該領域のテクスチャ情報として用いるものとする。

次のステップＳＰ４では、３次元再構成処理が行われる。具体的には、ステップＳＰ３において検出された各特徴点Ｑｊの各画像Ｇｉ（ｉ＝１，...，Ｎ）における２次元座標Ｕｉ^(j)と、各画像Ｇｉを撮影したカメラのカメラパラメータＢｉとに基づいて、各特徴点Ｑｊの３次元座標Ｍ^(j)（ｊ＝１・・・ｍ）が算出される。端的に言えば、三角測量の原理に基づいて各特徴点の３次元位置が算出される。なお、ｍは特徴点の数を示している。

以下、３次元座標Ｍ^(j)の算出について具体的に説明する。

各特徴点Ｑｊの３次元座標Ｍ^(j)と各特徴点Ｑｊの２次元座標Ｕｉ^(j)とカメラパラメータＢｉとの関係は式（１）のように表される。

なお、μｉは、スケールの変動分を示す媒介変数である。また、カメラパラメータ行列Ｂｉは、予め３次元座標が既知の物体を撮影することにより求められる各カメラ固有の値であり、３×４の射影行列で表される。

例えば、上記式（１）を用いて３次元座標を算出する具体的な例として、特徴点Ｑ２０の３次元座標Ｍ⁽²⁰⁾を算出する場合を図８を用いて考える。式（２）は画像Ｇ１上の特徴点Ｑ２０の座標（ｘ１，ｙ１）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。同様に、式（３）は、画像Ｇ２上の特徴点Ｑ２０の座標（ｘ２，ｙ２）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。

上記式（２）及び式（３）中の未知数は、２つの媒介変数μ１、μ２と３次元座標Ｍ⁽²⁰⁾の３つの成分値ｘ，ｙ，ｚとの合計５つである。一方、式（２）及び式（３）に含まれる等式の数は６であるため、各未知数つまり特徴点Ｑ２０の３次元座標（ｘ，ｙ，ｚ）を算出することができる。また、同様にして、全ての特徴点Ｑｊについての３次元座標Ｍ^(j)を取得することができる。

次のステップＳＰ５では、モデルフィッテングが行われる。このモデルフィッティングは、予め準備された一般的（標準的）な顔のモデルである「標準モデル」を、認証対象者に関する情報を用いて変形することによって、認証対象者の顔に関する入力情報が反映された「個別モデル」を生成する処理である。具体的には、算出された３次元座標Ｍ^(j)などを用いて標準モデルの３次元情報を変更する処理と、上記のテクスチャ情報を用いて標準モデルの２次元情報を変更する処理とが行われる。このモデルフィッティングについては、後で詳述する。

次のステップＳＰ６においては、標準モデルを基準にして個別モデルの補正が行われる。具体的には、位置補正と光源補正とが実施される。この位置補正においては、３次元情報に関する位置（アライメント）補正と、テクスチャ補正とが行われることとなるが、これらについて順に説明する。

アライメント（顔向き）補正は、３次元情報に関する位置および姿勢等の補正処理である。アライメント補正は、標準モデルを基準にした際の個別モデルのスケール、傾き及び位置に基づいて行われる。より詳細には、標準モデルを基準にした際の標準モデルと個別モデルとの関係を示す変換パラメータ(ベクトル)ｖｔ（次の式（４）参照）を用いて個別モデルを座標変換することによって、例えば正面を向く標準モデルの姿勢と同じ姿勢を有する３次元顔モデルを作成することができる。すなわち、このアライメント補正によって、認証対象者に関する３次元情報を適切に正規化することができる。

ここで、上式(４)に示す変換パラメータ（ベクトル）ｖｔは、標準モデルと個別モデルとに関するスケール変換指数ｓｚと、直交３軸方向における並進変位を示す変換パラメータ（ｔｘ，ｔｙ，ｔｚ）と、回転変位（傾き）を示す変換パラメータ（φ，θ，ψ）とをその要素とするベクトルである。

テクスチャ補正は、上記のアライメント補正に付随した処理であり、アライメント補正により正面向きの姿勢となった個別モデルにおける各ポリゴン（以下では「パッチ」ともいう）のテクスチャ情報を用いて、テクスチャ情報を正規化(標準化)する処理である。これにより、撮影時における認証対象者ＨＭａの顔姿勢の影響を受けないテクスチャ情報が得られることとなる。

一方、カメラＣＡ１(ＣＡ２)により得られた画像では、光源の位置や向きによるシェーディングの影響があるため、この画像から得られる各パッチのテクスチャにも、その影響が表れることがある。

そこで、ステップＳＰ６では光源補正によるテクスチャ情報の修正も行うこととする。具体的には、例えばＵＳＰ１８１８０６に開示される手法を用いて、個別モデル表面の法線方向に基づくシェーディング補正を行う。この場合、個別モデルの３次元形状が、認証対象者ＨＭａの実際の３次元形状に近いほど、正確なシェーディング補正を行えることとなる。

以上のシェーディング補正により、例えば図９(ａ)に示す鼻周辺Ｎｓの影(暗部)を図９(ｂ)に示す鼻周辺Ｎｓのように改善できる。すなわち、ステップＳＰ６で光源補正を行うことにより、光源位置等の関係で顔の起伏部に生じていたシェーディングのテクスチャ情報に与える悪影響を排除できることとなる。

次のステップＳＰ７（図６）においては、認証対象者ＨＭｂの特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。

３次元情報としては、上記のステップＳＰ６で補正された個別モデルにおけるｍ個の特徴点Ｑｊの３次元座標ベクトルが抽出される。具体的には、式（５）に示されるように、ｍ個の特徴点Ｑｊ（ｊ＝１，...，ｍ）の３次元座標（Ｘｊ，Ｙｊ，Ｚｊ）を要素とするベクトルｈ^Sが３次元情報（３次元形状情報）として抽出される。

また、２次元情報としては、上記のステップＳＰ６で正規化されたテクスチャ情報から、個人認証にとって重要な情報となる顔の特徴的な部分つまり特徴点付近のパッチ又はパッチのグループ（局所領域）が有するテクスチャ（輝度）情報（以下、「局所２次元情報」とも称する）が抽出される。具体的には、局所２次元情報ｈ^(k)（ｋ＝１，...，Ｌ；Ｌは局所領域数）は、それぞれ当該局所領域内の画素数をｎ、各画素の輝度値をＢＲ１，...，ＢＲｎとすると、式（６）のようなベクトル形式で表される。また、局所２次元情報ｈ^(k)をＬ個の局所領域について集めた情報は、総合的な２次元情報であるとも表現される。

以上のように、ステップＳＰ７においては、個別モデルの特徴を表す情報として、図１に示す３次元形状情報（３次元情報）ＳＡとテクスチャ情報（２次元情報）ＴＡとが抽出される。

抽出された情報は後述の認証動作（ステップＳＰ９、ＳＰ１０）に用いられる。当該認証動作においては、式（６）で得られる情報をそのまま用いて認証動作を行うようにしてもよいが、その場合、局所領域内の画素数が多いときには、認証動作での計算量が非常に大きくなってしまう。そこで、この実施形態では、計算量を低減して効率的に認証動作を行うことを企図して、式（６）で得られる情報を更に圧縮し圧縮後の情報を用いて認証動作を行うものとする。

そのため、次のステップＳＰ８においては、ステップＳＰ７で抽出された情報を、認証に適した状態に変換する次述の情報圧縮処理を行う。

情報圧縮処理は、３次元形状情報ｈ^S及び各局所２次元情報ｈ^(k)のそれぞれに対して同様の手法を用いて行われるが、ここでは、局所２次元情報ｈ^(k)に対して情報圧縮処理を施す場合について詳細に説明する。

局所２次元情報ｈ^(k)は、複数のサンプル顔画像から予め取得される当該局所領域の平均情報（ベクトル）ｈave^(k)と、複数のサンプル顔画像をＫＬ(Karhunen-Loeve)展開することによって予め算出される当該局所領域の固有ベクトルのセットで表現される行列Ｐ^(k)（次述）とを用いて式（７）のように基底分解された形式で表すことができる。この結果、局所２次元顔情報量（ベクトル）ｃ^(k)が、局所２次元情報ｈ^(k)についての圧縮情報として取得される。

上述のように式（７）中の行列Ｐ^(k)は、複数のサンプル顔画像から算出される。具体的には、行列Ｐ^(k)は、複数のサンプル顔画像をＫＬ展開することによって求められる複数の固有ベクトルのうち、固有値の大きい数個の固有ベクトル（基底ベクトル）のセットとして求められる。これらの基底ベクトルは、基底ベクトルデータベース２９に記憶されている。顔画像についてのより大きな特徴を示す固有ベクトルを基底ベクトルとしてその顔画像を表現することによれば、顔画像の特徴を効率的に表現することが可能となる。

例えば、口を含む局所領域（図１０に示すグループＲ１）の局所２次元情報ｈ^(R1)を基底分解された形式で表現する場合を考える。当該局所領域の固有ベクトルのセットＰが、３つの固有ベクトルＰ１、Ｐ２及びＰ３によってＰ＝（Ｐ１，Ｐ２，Ｐ３）と表現されているとすると、局所２次元情報ｈ^(R1)は、当該局所領域の平均情報ｈave^(R1)と固有ベクトルのセットＰ１，Ｐ２，Ｐ３を用いて式（８）のように表される。平均情報ｈave^(R1)は、様々なサンプル顔画像についての複数の局所２次元情報（ベクトル）を対応要素ごとに平均して得られるベクトルである。なお、複数のサンプル顔画像は、適度なばらつきを有する標準的な複数の顔画像を用いればよい。

また、上式（８）は、顔情報量ｃ^(R1)＝（ｃ１，ｃ２，ｃ３）^Tによって元の局所２次元情報を再現することが可能であることを示している。すなわち、顔情報量ｃ^(R1)は、グループＲ１からなる局所領域の局所２次元情報ｈ^(R1)を圧縮した情報といえる。

上記のようにして取得された局所２次元顔情報量ｃ^(R1)をそのまま認証動作に用いてもよいが、この実施形態ではさらなる情報圧縮を行う。具体的には、局所２次元顔情報量ｃ^(R1)が表す特徴空間を個人間の分離を大きくするような部分空間へと変換する処理を更に行う。より詳細には、式（９）に表されるようベクトルサイズｆの局所２次元顔情報量ｃ^(R1)をベクトルサイズｇの局所２次元特徴量ｄ^(R1)に低減させる変換行列Ａを考える。これにより、局所２次元顔情報量ｃ^(R1)で表される特徴空間を局所２次元特徴量ｄ^(R1)で表される部分空間に変換することができ、個人間の情報の相違が顕著になる。

ここで、変換行列Ａはｆ×ｇのサイズを有する行列である。この変換行列Ａについては、例えば主成分(ＰＣＡ：Principal Component Anaysis)分析により得られた特徴空間の主成分の中から、級間分散と級内分散との比率（Ｆ比）が大きくなる主成分をｇ個選び出すことによって、変換行列Ａを決定することができる。

また、上述した局所２次元情報ｈ^(R1)について行った情報圧縮処理と同様の処理を他の全ての局所領域、具体的には後述の第１特徴点を含む局所領域Ｒ２〜Ｒ４(図１０)と、後述の第２特徴点を含む局所領域Ｕ１〜Ｕ７(図１０)にも実行することによって、各局所領域についての局所２次元顔特徴量ｄ^(k)を取得することができる。ここで、第２特徴点を含む局所領域Ｕ１〜Ｕ７については、後述の第２特徴点候補領域Ｔ１〜Ｔ７(図１３)と一致させるようにしても良い。一方、３次元形状情報ｈ^Sに対しても同様の手法を適用することにより３次元顔特徴量ｄ^Sを取得することができる。

上記ステップＳＰ８を経て取得される３次元顔特徴量ｄ^Sと局所２次元顔特徴量ｄ^(k)とを組み合わせた顔特徴量ｄは、ベクトル形式で式（１０）のように表すことができる。

以上に述べたステップＳＰ１〜ＳＰ８の工程において、入力される認証対象者ＨＭａの顔画像Ｇ１、Ｇ２から当該対象者の顔特徴量ｄ（Ａｄ）が取得される。認証対象者ＨＭａの顔特徴量ｄ（Ａｄ）は、登録者ＨＭｂの顔画像に関する特徴量ｄ（Ｂｄ）とともに、以下で説明するステップＳＰ９，ＳＰ１０の処理において用いられる。

＜登録者ＨＭａと認証対象者ＨＭｂとの照合処理等＞
図６を参照して、ステップＳＰ９以降の処理について説明する。

ステップＳＰ９、ＳＰ１０においては、上述の２つの顔特徴量Ａｄ，Ｂｄを用いて顔認証が行われる。

具体的には、認証対象者と比較対象者との類似度である総合類似度Ｒｅが算出され（ステップＳＰ９）、その後、この総合類似度Ｒｅに基づく認証対象者と比較対象者との比較動作等（ステップＳＰ１０）が行われる。総合類似度Ｒｅは、３次元顔特徴量ｄ^Sから算出される３次元類似度Ｒｅ^Sと、局所２次元顔特徴量ｄ^(k)から算出される局所２次元類似度Ｒｅ^(k)とに加えて、３次元類似度Ｒｅ^Sと局所２次元類似度Ｒｅ^(k)との重みを規定する適宜の重み付け係数（以下、単に「重み係数」とも称する）ＷＴ，ＷＳ（式（１１）参照）を用いて算出される。

ステップＳＰ９では、人物データベース３０に予め登録されている比較対象者の顔特徴量ｄ（Ｂｄ）と、上記ステップＳＰ１〜ステップＳＰ８を経て算出された認証対象者の顔特徴量ｄ（Ａｄ）との類似性の評価が行われる。具体的には、登録されている顔特徴量（Ｒｅ^SM及びＲｅ^(k)M）と認証対象者の顔特徴量（Ｒｅ^SI及びＲｅ^(k)I）との間で類似度計算が実行され、３次元類似度Ｒｅ^Sと局所２次元類似度Ｒｅ^(k)とが算出される。

さて、認証対象者と比較対象者との３次元類似度Ｒｅ^Sは、式（１２）に示されるように対応するベクトル同士のユークリッド距離Ｒｅ^Sを求めることによって取得される。

また、局所２次元の類似度Ｒｅ^(k)は、式（１３）に示されるように対応する局所領域同士における特徴量の各ベクトル成分ごとのユークリッド距離Ｒｅ^(k)を求めることによって取得される。

そして、式（１４）に示されるように、３次元の類似度Ｒｅ^Sと局所２次元の類似度Ｒｅ^(k)とを、所定の重み係数ＷＴ，ＷＳを用いて合成し、認証対象者（認証対象物）と比較対象者（比較対象物）との類似度である総合類似度Ｒｅを取得することができる。

次に、ステップＳＰ１０においては、総合類似度Ｒｅに基づいて認証判定が行われる。具体的には、認証対象者ＨＭａの顔特徴量と特定の登録者（比較対象者）ＨＭｂの顔特徴量との類似度Ｒｅを一定の閾値ＴＨ１と比較することによって、認証対象者ＨＭａと比較対象者ＨＭｂとの同一性が判定される。詳細には、類似度Ｒｅが一定の閾値ＴＨ１よりも小さいときに認証対象者が比較対象者と同一人物であると判定される。

＜モデルフィッティング＞
以下では、図６のステップＳＰ５に示すモデルフィッティングについて詳しく説明する。

図１１は、モデルフィッティングの動作を説明するための図である。また、図１２は、３次元の顔の標準モデルを示している。

図１２に示されるように、標準的な顔の特徴(サイズ・形状)を備えている標準モデルは、頂点データとポリゴンデータとで構成され、３次元モデルデータベース２８（図５）として記憶部３等に記憶されている。このポリゴンデータは、標準モデルの表面を微小な多角形（例えば、三角形）のポリゴンに分割し、ポリゴンを数値データとして表現したものである。そして、顔の標準モデルには、顔の特徴的な部位を示す特徴点Ｑ１〜Ｑ２３(図７)に対応する２３個の特徴点(以下では「第１特徴点」という)が頂点データに定義されている。

ここで、第１特徴点とは、図７に示す特徴点Ｑ１〜Ｑ２３のように人物の顔部品(目や口、鼻、眉など)において定められる点であり、具体的には目の位置を規定する点（例えば目の輪郭上にある点、目尻、目頭、瞳の中心点）、口の位置を規定する点（例えば口の輪郭上にある点、口の左右の端点）、鼻の位置を規定する点（例えば小鼻・鼻孔の輪郭上にある点、鼻の下面上の点）、眉の位置を規定する点（例えば眉の輪郭上にある点、眉の左右の端点）などが該当する。すなわち、第１特徴点は、個人差なく万人共通で顔に表れる特徴箇所となっている。

一方、顔の標準モデルには、顔部品を除く顔の部分に定められる点である第２特徴点の候補領域（以下では「第２特徴点候補領域」という）が定義されている。この第２特徴点候補領域としては、皺になりやすい顔の領域、つまり皺の検出が可能な顔の特定部分に関する箇所が選定される。例えば図１３に示すように眉間の部分Ｔ１、鼻と口の(鼻から口にかけての)両脇の部分Ｔ２、Ｔ３、目の下の部分Ｔ４、Ｔ５や鼻筋の両脇の部分Ｔ６、Ｔ７などが第２特徴点候補領域として設定される。第２特徴点候補領域については、人によって全ての第２特徴点候補領域で皺が表れたり、一部の第２特徴点候補領域でしか皺が表れなかったりするため、個人差のある個人固有の特徴箇所となっている。

以上のように人物の顔に表れる第１特徴点および第２特徴点それぞれに対応する第１特徴箇所(第１特徴点)と第２特徴箇所(第２特徴点候補領域)とに関する３次元位置情報が記述された被写体の標準モデルを用いて行われるモデルフィッティングの動作を、図１１を参照して説明する。

まず、ステップＳＴ１ａ、ＳＴ１ｂでは、認証対象者ＨＭａの画像Ｇ１、Ｇ２をコントローラ１０に入力する。この動作は、図６のステップＳＰ１で行われる動作に対応している。

次に、ステップＳＴ２ａ、ＳＴ２ｂでは、ステップＳＴ１ａ、ＳＴ１ｂで入力された画像Ｇ１、Ｇ２から、第１特徴点を検出する。この動作は、図６のステップＳＰ３で行われる動作に対応している。

ステップＳＴ３では、ステップＳＴ２ａ、ＳＴ２ｂにおいて画像Ｇ１、Ｇ２から検出された第１特徴点に基づき、図８に示すように三角測量の原理で第１特徴点の３次元座標が算出される。すなわち、２枚の画像Ｇ１、Ｇ２に基づき、認証対象者ＨＭａの顔における第１特徴点の３次元位置情報が取得される。この動作は、図６のステップＳＰ４で行われる動作が対応している。

ステップＳＴ４では、図１２に示す標準モデルを、ステップＳＴ３で算出された第１特徴点に基づき変形する。

このモデル変形においては、まずステップＳＴ３で３次元再構成された第１特徴点の座標を用いて、標準モデルの位置、傾きおよびスケールを求め、標準モデルを移動させる。これにより、認証対象者ＨＭａから計測された計測点(第１特徴点)に対する標準モデルの概略位置合わせが行えることとなる。なお、この標準モデルの位置合わせについては後で詳述する。

次に、標準モデルに設定される第１特徴点を、認証対象者ＨＭａから計測された第１特徴点に３次元的に一致させるように標準モデルを変形する。なお、このモデル変形の方法については後で詳述する。

以上のステップＳＴ４の動作により、ステップＳＴ３で取得された第１特徴点の３次元位置情報に基づき、この３次元情報と標準モデルにおける第１特徴点の３次元位置情報とを対比させることによる標準モデルの変形が行われ、変形モデルが生成されることとなる。

ステップＳＴ５ａ、ＳＴ５ｂでは、ステップＳＴ４で変形された標準モデルと、ステップＳＴ１ａ、ＳＴ１ｂで入力された画像Ｇ１、Ｇ２に基づき、第２特徴点を検出する。この第２特徴点の検出手順について以下で説明する。

まず、ステップＳＴ４で変形された標準モデル(変形モデル)に設定される第２特徴点候補領域の３次元情報から、カメラパラメータＢｉを用いて画像Ｇ１上の第２特徴点候補領域Ｔ１〜Ｔ７(図１３)の座標が特定される。そして、特定された画像Ｇ１上の第２特徴点候補領域Ｔ１〜Ｔ７のうち、皺(濃淡変化)が存在する第２特徴点含有領域を抽出する。例えば、図１３に示す顔の場合には、第２特徴点候補領域Ｔ２〜Ｔ５が第２特徴点含有領域として選ばれる。

このように抽出された画像Ｇ１の第２特徴点含有領域に対して他方の画像Ｇ２上で対応する第２特徴点含有領域の座標を探索する。この探索では、画像Ｇ１上で設定された第２特徴点含有領域の皺を囲む矩形領域と、画像Ｇ２上における同一サイズの矩形領域との正規化相関値を算出し、相関係数の最も小さくなる座標を第２特徴点含有領域として設定する処理が行われる。

以上のように設定された画像Ｇ１および画像Ｇ２の第２特徴点含有領域においては、皺の両端の点や途中の点など皺上の点が第２特徴点として検出される。例えば、第２特徴点として図１３に示す皺の中間点(中点)Ｑｍが設定される。

ステップＳＴ６では、ステップＳＴ５ａ、ＳＴ５ｂで検出された第２特徴点に基づき、ステップＳＴ３と同様に第２特徴点の３次元座標が算出される。すなわち、ステップＳＴ４で生成された変形モデルと２枚の画像Ｇ１、Ｇ２とに基づき、認証対象者ＨＭａの顔における第２特徴点の３次元位置情報が取得される。

ステップＳＴ７では、ステップＳＴ４で変形された標準モデルを、ステップＳＴ６で算出された第２特徴点に基づき変形する。

このモデル変形においては、モデル表面を認証対象者ＨＭａから計測された第２特徴点に３次元的に一致させるようにモデル変形を行う。ここでは、第２特徴点が標準モデルに予め定義されていないため、第１特徴点のように計測点とモデル上の設定点との点同士を一致させる動作を行うのではなく、計測された第２特徴点に対してモデル表面を合致させる動作を行うこととする。なお、このモデル変形の方法については後で詳述する。

以上のステップＳＴ７の動作により、ステップＳＴ６で取得された第２特徴点の３次元位置情報に基づき、この３次元情報とモデル表面の３次元位置情報とを対比させることによる上記の変形モデルの更なる変形が行われ、認証対象者ＨＭａの顔の３次元形状を再現した立体モデルが生成されることとなる。

ステップＳＴ７の後には、テクスチャ情報を用いて標準モデルの２次元情報を変更する処理が行われる。具体的には、入力画像Ｇ１、Ｇ２における各領域のテクスチャ情報が、変形された標準モデル上の対応する領域（ポリゴン）に貼り付けられる（マッピングされる）。

以上のモデルフィッティングの動作により、認証対象者の顔に関する入力情報が反映された個別モデルが生成されることとなる。

＜モデル変形について＞
図１１に示すステップＳＴ４、ＳＴ７におけるモデル変形の方法について説明する。ただし、図１２に示す標準モデルにおいては、第１特徴点Ｇ^kが定義されており、標準モデルに設定される少数(標準モデルの頂点数より少数)の制御点Ｔ^Aの群に関する座標を変更することによりモデル形状を一意的に変形できるものとする。

図１４は、モデル変形の動作を説明するフローチャートである。

ステップＳＰ１１では、標準モデルの位置合わせを行う。

すなわち、図１１のステップＳＴ３で算出された第１特徴点と標準モデル上の第１特徴点との対応付けを行い、これらの距離が最小となるように標準モデルの位置・方向・サイズを変更する。

具体的には、次の式（１５）に示すエネルギー関数Ｅ(ｓ_i,α_i,ｔ_i)が最小となるように、各方向に関するモデルの偏倍量ｓ_i、各方向に関するモデルの回転量α_i、各方向に関するモデルの移動量ｔ_iを求める。

ここで、ｋは第１特徴点の数、Ｍ_kは位置合わせ後のモデル上の第１特徴点、ｘは位置合わせ前のモデル上の第１特徴点、Ｃ_kは認証対象者ＨＭａから計測された第１特徴点である。

ステップＳＰ１２では、第１特徴点とモデルとの距離を示すエネルギーｅを計算する。ここで、本実施形態で利用するエネルギーｅについては、(１)計測された第１特徴点にモデル上の第１特徴点を近づけようとする外部エネルギーｅ₁、(２)計測された第２特徴点にモデル表面を近づけようとする外部エネルギーｅ₂、(３)過剰な変形を回避してモデル形状を保とうとする内部エネルギーｅ₃があるが、まず(１)〜(３)の各エネルギーについて順に説明する。

(１)外部エネルギーｅ₁について
認証対象者ＨＭａから３次元計測された第１特徴点と標準モデル上の第１特徴点とに関する外部エネルギーｅ₁については、対応する第１特徴点に関する二乗距離を用いて次の式(１６)により計算される。

ここで、Ｔ^Aは制御点の群、Ｆ^kは計測された第１特徴点の座標、Ｇ^kはモデル上の第１特徴点、Ｎは第１特徴点の数である。

(２)外部エネルギーｅ₂について
認証対象者ＨＭａから３次元計測された第２特徴点と標準モデルの表面とに関する外部エネルギーｅ₂については、図１５に示すように第２特徴点Ｐｋと、それを標準モデルの表面に投影した投影点Ｑｋとに関する二乗距離を用いて次の式（１７）により計算される。

ここで、Ｐ^kは計測された第２特徴点、Ｑ^kは計測点からモデル表面に投影された投影点、Ｋは第２特徴点の数である。

(３)内部エネルギーｅ₃について
モデル形状を保とうとする内部エネルギーｅ₃については、図１６に示すようにモデル変形に用いられる制御点Ｔ^A間を繋ぐ仮想的なバネ(以下では単に「仮想バネ」ともいう)Ｖｃを考え、この仮想バネＶｃの変形具合を考慮した次の式（１８）により計算される。なお、図１６に示すモデル上の点Ｑｃは、制御点Ｔ^Aの移動によって移動される点である。

ここで、Ｕｏ^m、Ｖｏ^mは仮想バネの両端(制御点)の初期値、Ｕ^m、Ｖ^mはモデル変形後の仮想バネの両端、Ｌｏ^mは初期状態における仮想バネの長さでＬｏ^m＝｜Ｕｏ^m−Ｖｏ^m｜、Ｍは仮想バネの数、ｃはバネ定数である。

上記の式(１６)および式(１８)で表される各エネルギーｅ₁、ｅ₃を加算することにより次の式（１９）のように第１特徴点に関する総合エネルギーｅが算出される。

ここで、ｗ₁、ｗ₃は、各エネルギーに関するウェイトパラメータである。

上記の総合エネルギーｅを最小になるまで制御点Ｔ^Aを移動しモデル変形を行うのが好ましいが、本実施形態ではステップＳＰ１３において制御点Ｔ^Aの移動を行う度に総合エネルギーｅを計算し予め設定されている閾値εより小さくなった場合(ステップＳＰ１４)に、第１特徴点に関するモデル変形を完了することとする。

すなわち、ステップＳＰ１１の位置合わせ後から制御点Ｔ^Aに関するｎ回目の移動の際に計算される総合エネルギーをｅⁿとすると、次の不等式（２０）を満たす場合に総合エネルギーが最小であると判断して第１特徴点に関するモデル変形を完了させる。

以上のステップＳＰ１２〜ＳＰ１４によって第１特徴点に関するモデル変形が行われるが、以下のステップＳＰ１５〜ＳＰ１７では、第２特徴点に関するモデル変形が行われる。

ステップＳＰ１５では、第２特徴点とモデルとの距離を示すエネルギーｅを計算する。すなわち、式(１７)および式(１８)で表される各エネルギーｅ₂、ｅ₃を加算することにより次の式（２１）のように第２特徴点に関する総合エネルギーｅが算出される。

ここで、ｗ₂、ｗ₃は、各エネルギーに関するウェイトパラメータである。

ステップＳＰ１７では、ステップＳＰ１５で算出されたエネルギーｅが、予め設定されている閾値εより小さくなったかを判定する。すなわち、ステップＳＰ１６での制御点Ｔ^Aの移動に関するｎ回目の移動の際に計算される総合エネルギーをｅⁿとすると、上記の不等式（２０）を満たす場合に総合エネルギーが最小であると判断して第２特徴点に関するモデル変形を完了させる。

以上の顔認証システム１の動作により、人物の顔に関する複数の撮影画像に基づき算出された第１特徴点の３次元位置に一致させるように標準モデルを変形した後、この変形モデルの形状と複数の撮影画像とに基づき算出された第２特徴点に一致させるようにモデル変形を行うため、人物の顔(被写体)の立体モデルを精度良く生成できる。そして、このように生成された高精度の立体モデルを用いて顔認証を行えば、撮影時の姿勢や光源位置などの影響を排除(補正)できるため、認証精度の向上を図れることとなる。

なお、顔認証システム１においては、図７に示す第１特徴点Ｑ１〜Ｑ２３の群を標準モデルに設定するのは必須でなく、これらから選択される一部の第１特徴点を設定するようにしても良い。同様に、図１３に示す第２特徴点の候補領域Ｔ１〜Ｔ７の群を標準モデルに設定するのは必須でなく、これらから選択される一部の第２特徴点候補領域を設定するようにしても良い。

＜Ｄ．別の実施形態＞
◎上記の実施形態においては、入力された顔（認証対象者の顔）が特定の登録者であるか否かを判定する場合について説明したが、これに限定されず、認証対象者が複数の登録者のうちの誰であるかを判定する顔識別に上記の思想を適用するようにしてもよい。例えば、登録されている複数の人物の各顔特徴量と認証対象者の顔特徴量との類似度を全て算出して、各比較対象者（登録者）と認証対象者との同一性をそれぞれ判定すればよい。また、特定数の人物に絞り込むことで足りる場合には、複数の比較対象者のうち、その同一性が高い順に特定数の比較対象者を選択するようにしてもよい。

◎上記の実施形態においては、式（１４）に示すように、テクスチャ情報だけでなく形状情報をも用いて認証対象者と登録者との同一性を判定しているが、これに限定されず、テクスチャ情報だけを用いて認証対象者と登録者との同一性を判定してもよい。

◎上記の実施形態については、別の実施形態として次のような態様も想定される。具体的には、自席のパーソナルコンピュータ（パソコンとも称する）から印刷出力指示を行い、若干離れた場所に載置された共用プリンタにおいて印刷出力する際に、印刷出力の受取人が印刷出力指示を行った本人であるか否かを認証する本人認証技術に適用することができる。

詳細には、まず、印刷出力指示時に、自席に配置された複眼視のカメラによって自分（印刷指示者）の顔画像を撮影した画像データをプリントデータとともにプリンタドライバに渡す。プリンタドライバはネットワーク上に配置された共用プリンタに画像データとプリントデータとを伝送する。そして、受取時において受取人がプリンタに近づくと、プリンタ側に設けられた複眼視のカメラが印刷出力の受取人の顔画像を撮影し、受取人と印刷指示者とが同一であるか否かを上記実施形態と同様の動作によってプリンタが判定する。これによれば、上記実施形態と同様の効果を得ることができる。

◎上記の実施形態においては、ＰＣＡ法を用いて式（９）に示す変換行列Ａを求めるのは必須でなく、ＥＭ(Eigenspace Method)法を用いて級間分散と級内分散との比率が大きくなるように特徴空間を射影する変換行列Ａを求めるようにしても良い。また、２クラスの問題を扱うFisherの判別分析法を多クラスの問題に一般化した重判別分析（ＭＤＡ：Multiple Discriminant Analysis）法を用いて、級間分散と級内分散との比率が大きくなるように特徴空間を射影する変換行列Ａを求めるようにしても良い。

本発明の実施形態に係る顔認証システム１の概要を示す概念図である。 顔認証システム１を示す構成図である。 コントローラ１０の構成概要を示す図である。 コントローラの各種機能構成を示すブロック図である。 個人認証部の詳細な機能構成を示すブロック図である。 コントローラ１０の全体動作（認証動作）を示すフローチャートである。 顔画像における特徴的な部位の特徴点(第１特徴点)を示す図である。 ２次元画像中の特徴点から３次元座標を算出する模式図である。 光源補正を説明するための図である。 局所２次元情報として用いられる顔の局所領域Ｒ１〜Ｒ４、Ｕ１〜Ｕ７を説明するための図である。 モデルフィッティングの動作を説明するための図である。 ３次元の顔の標準モデルを示す図である。 標準モデルに定義される第２特徴点候補領域Ｔ１〜Ｔ７を説明するための図である。 モデル変形の動作を説明するフローチャートである。 特徴点Ｐ^kと、そのモデル表面への投影点Ｑ^kとを説明するため図である。 仮想バネＶｃを説明するための図である。

符号の説明

１ 顔認証システム
１０ コントローラ
Ｇ１〜Ｇ４ 画像(撮影画像)
ＨＭａ 認証対象者
ＨＭｂ 登録者
Ｑ１〜Ｑ２３ 第１特徴点
Ｑｍ 第２特徴点
Ｔ１〜Ｔ７ 第２特徴点候補領域

Claims (10)

1. 被写体を異なる視点から撮影して得られた複数の画像に基づき、前記被写体の３次元形状を表現した立体モデルを生成する立体モデル生成装置であって、
   (a)前記被写体に表れる第１特徴点および第２特徴点それぞれに対応する第１特徴箇所と第２特徴箇所とに関する３次元位置情報が記述された被写体の標準モデルを記憶する記憶手段と、
   (b)前記複数の画像に基づき、前記被写体における第１特徴点の３次元位置情報を取得する第１情報取得手段と、
   (c)前記第１情報取得手段により取得された第１特徴点の３次元位置情報に基づき前記標準モデルを変形し、変形モデルを生成する第１変形手段と、
   (d)前記変形モデルと前記複数の画像とに基づき、前記被写体における第２特徴点の３次元位置情報を取得する第２情報取得手段と、
   (e)前記第２情報取得手段により取得された第２特徴点の３次元位置情報に基づき前記変形モデルを更に変形し、前記立体モデルを生成する第２変形手段と、
   を備えることを特徴とする立体モデル生成装置。
2. 請求項１に記載の立体モデル生成装置において、
   前記第１特徴点は、人物の顔部品において定められる点であり、
   前記第２特徴点は、前記顔部品を除く顔の部分に定められる点であることを特徴とする立体モデル生成装置。
3. 請求項２に記載の立体モデル生成装置において、
   前記顔部品は、目、口、鼻および眉からなる群から選択される少なくとも１の部品を含むことを特徴とする立体モデル生成装置。
4. 請求項１ないし請求項３のいずれかに記載の立体モデル生成装置において、
   前記第１特徴点は、目の輪郭上の点、目尻の点、目頭の点および瞳の中心点からなる群から選択される少なくとも１の点を含むことを特徴とする立体モデル生成装置。
5. 請求項１ないし請求項４のいずれかに記載の立体モデル生成装置において、
   前記第１特徴点は、口の輪郭上の点、口の左端の点および口の右端の点からなる群から選択される少なくとも１の点を含むことを特徴とする立体モデル生成装置。
6. 請求項１ないし請求項５のいずれかに記載の立体モデル生成装置において、
   前記第１特徴点は、小鼻の輪郭上の点、鼻孔の輪郭上の点および鼻の下面上の点からなる群から選択される少なくとも１の点を含むことを特徴とする立体モデル生成装置。
7. 請求項１ないし請求項６のいずれかに記載の立体モデル生成装置において、
   前記第１特徴点は、眉の輪郭上の点、眉の左端の点および眉の右端の点からなる群から選択される少なくとも１の点を含むことを特徴とする立体モデル生成装置。
8. 請求項１ないし請求項７のいずれかに記載の立体モデル生成装置において、
   前記第２特徴箇所は、皺の検出が可能な顔の特定部分に関する箇所であることを特徴とする立体モデル生成装置。
9. 請求項８に記載の立体モデル生成装置において、
   前記顔の特定部分は、眉間の部分、鼻と口の両脇の部分、目の下の部分および鼻筋の両脇の部分からなる群から選択される少なくとも１の部分を含むことを特徴とする立体モデル生成装置。
10. 被写体を異なる視点から撮影して得られた複数の画像に基づき、前記被写体の３次元形状を表現した立体モデルを生成する立体モデル生成方法であって、
    (a)前記被写体に表れる第１特徴点および第２特徴点それぞれに対応する第１特徴箇所と第２特徴箇所とに関する３次元位置情報が記述された被写体の標準モデルを記憶する記憶工程と、
    (b)前記複数の画像に基づき、前記被写体における第１特徴点の３次元位置情報を取得する第１情報取得工程と、
    (c)前記第１情報取得工程において取得された第１特徴点の３次元位置情報に基づき前記標準モデルを変形し、変形モデルを生成する第１変形工程と、
    (d)前記変形モデルと前記複数の画像とに基づき、前記被写体における第２特徴点の３次元位置情報を取得する第２情報取得工程と、
    (e)前記第２情報取得工程において取得された第２特徴点の３次元位置情報に基づき前記変形モデルを更に変形し、前記立体モデルを生成する第２変形工程と、
    を備えることを特徴とする立体モデル生成方法。
    

Images