JP2008123216A - 認証システム及び認証方法 - Google Patents

Abstract

【課題】認証精度の低下軽減、認証速度の向上を図る。
【解決手段】認証対象者の顔の全体的な３次元形状である全体３次元形状の情報を取得する３次元形状取得手段と、３次元形状取得手段により取得された全体３次元形状情報から、該全体３次元形状上の所定のラインである所定数の３次元ラインを決定する決定手段と、決定手段により決定された３次元ラインにおける、全体３次元形状情報の局所的な情報としての局所３次元形状情報から、各３次元ラインの形状に関するライン形状情報であって、顔の３次元的な特徴量である３次元顔特徴量を算出する３次元特徴量算出手段と、認証対象者に対する認証動作を行うべく３次元特徴量算出手段により算出された３次元顔特徴量と、予め用意された比較用顔特徴量とを比較する特徴量比較手段とを備える。
【選択図】図３

Description

本発明は、顔の認証を行う認証システム及び認証方法に関するものである。

近年、情報機器のネットワーク化が進み、電子化された様々なサービスが普及してきたが、これに伴い、人に頼らない非対面での個人認証（本人認証）を行う技術のニーズが高まりつつある。これに関し、人物の生体的特徴により自動的に個人の識別を行うバイオメトリクス認証技術（生体認証技術）の研究が盛んに行われている。バイオメトリクス認証技術の一つとして、顔による認証を行う顔認証技術が知られている。この顔認証技術は、非接触型の認証方法であり、オフィスなどにおいてはその利便性からニーズが高いものとなっている。

ところで、上記顔認証においては、撮影条件の変化がその認証性能に大きな影響を及ぼす。これは、撮影条件の変化がしばしば、顔画像に被撮影者の識別情報を上回るほどの画像変動をもたらすことによる。認証性能に大きく影響を及ぼす主な原因は、「姿勢変動」、「光源変動」及び「表情変化」である。顔は３次元形状を有している（凹凸や奥行きがある）ため、顔の姿勢や顔に対する光源光の照射角度が変動することにより、或いは顔の表情が変化して顔の形状が変化することにより、例えば頬や鼻の急峻な傾斜部分など顔に部分的な隠れ（影の部分、暗部）が生じてしまう（これをオクリュージョンという）。顔認証の方法としては、３次元形状情報（３次元情報）を用いた認証つまり３次元顔認証が挙げられるが、一般的に、３次元顔認証では顔全体を使用するため、当該部分的な隠れの問題、すなわち認証処理においてこの隠れが生じた箇所のデータが欠落してしまい認証精度が低下するといった問題は解決されない。また、密な３次元情報を用いた場合には、認証処理に時間がかかるといった問題もある。

これに関し、例えば特許文献１には、顔表面の曲率の変化を調べることにより顔の基準点を抽出して、すなわち曲率の絶対値が最大となる点（例えば鼻頂点）や顔の側面の中央付近で曲率の絶対値が最大となる点（例えば耳穴点）を抽出して、これら基準点に基づいて基準姿勢を算出することで顔の向き（傾き）つまり顔の姿勢の補正を行い、次に、当該補正された顔の３次元形状データを任意の大きさで曲面を平面に近似し、この平面の単位法線ベクトルと面積とを求め、単位法線ベクトルの大きさをこの面積で表した法線分布を特徴量として認証を行うという技術が開示されている。

また、例えば特許文献２には、カラー情報を用いて人物の顔部分のみの３次元形状情報とカラー情報とを抽出して当該３次元形状情報とカラー情報とをセットにした顔データを求める。次に、この顔データ（照合顔データ）と、予め用意しておいた辞書顔データとの３次元形状全体の重心を求めて、これら重心の位置が一致するように平行移動を行うとともに、この一致させた重心回りに微小回転させて回転顔データを求め、この回転顔データと辞書顔データとの間の誤差を計算することで最小誤差を求めてこの最小誤差に基づいて判定（認証）を行うという技術が開示されている。
特開平５−２１５５３１号公報 特開平９−２５９２７１号公報

しかしながら、上記特許文献１に示す技術では、３次元形状全体、所謂大局的情報を用いることを前提としており、顔の基準方向の決定が必要であることから、上記姿勢変動等により顔に部分的な隠れが生じた場合（オクリュージョン）には、この基準方向が決定できず認証処理が実行できないことがあるなど、対応することができない。

また、上記特許文献２に示す技術では、３次元形状全体の重心を求め、平行移動及び重心回りに微小回転させて最小誤差を求める処理に時間がかかる。ましてや密な３次元形状データを用いる場合は処理時間が大幅にかかり、さらに認証速度が遅くなってしまう。上記顔に部分的な隠れが生じた場合（オクリュージョン）には、認証精度が低下する。また、計測された３次元形状そのものを保持しなければならないため、データベース容量が膨大になる。

本発明は、上記事情に鑑みてなされたもので、顔に部分的な隠れ等が生じた場合でも認証精度の低下を軽減することができ、また、処理に時間がかかることなく認証速度を向上させることができる認証システム及び認証方法を提供することを目的とする。

本発明に係る認証システムは、認証対象者の顔の全体的な３次元形状である全体３次元形状の情報を取得する３次元形状取得手段と、前記３次元形状取得手段により取得された全体３次元形状情報から、該全体３次元形状上の所定のラインである所定数の３次元ラインを決定する決定手段と、前記決定手段により決定された３次元ラインにおける、前記全体３次元形状情報の局所的な情報としての局所３次元形状情報から、各３次元ラインの形状に関するライン形状情報であって、前記顔の３次元的な特徴量である３次元顔特徴量を算出する３次元特徴量算出手段と、前記認証対象者に対する認証動作を行うべく前記３次元特徴量算出手段により算出された３次元顔特徴量と、予め用意された比較用顔特徴量とを比較する特徴量比較手段とを備えることを特徴とする。

上記構成によれば、３次元形状取得手段によって、認証対象者の顔の全体的な３次元形状である全体３次元形状の情報が取得され、決定手段によって、３次元形状取得手段により取得された全体３次元形状情報から、該全体３次元形状上の所定のラインである所定数の３次元ラインが決定される。そして、３次元特徴量算出手段によって、決定手段により決定された３次元ラインにおける、全体３次元形状情報の局所的な情報としての局所３次元形状情報から、各３次元ラインの形状に関するライン形状情報であって、顔の３次元的な特徴量である３次元顔特徴量が算出され、特徴量比較手段によって、認証対象者に対する認証動作を行うべく３次元特徴量算出手段により算出された３次元顔特徴量と、予め用意された比較用顔特徴量とが比較される。

また、上記構成において、前記３次元形状取得手段は、前記顔の２次元画像を取得する２次元画像取得手段を備えたものであり、前記２次元画像取得手段により取得された２次元画像から前記顔の特徴的な部位である特徴部位を抽出する特徴部位抽出手段と、前記特徴部位抽出手段により抽出された特徴部位の３次元座標を算出する３次元座標算出手段とをさらに備え、前記決定手段は、前記３次元座標算出手段により算出された特徴部位の３次元座標に基づいて前記３次元ラインを決定することが好ましい。（請求項２）

これによれば、３次元形状取得手段が、顔の２次元画像を取得する２次元画像取得手段を備えたものとされる。特徴部位抽出手段によって、２次元画像取得手段により取得された２次元画像から顔の特徴的な部位である特徴部位が抽出され、３次元座標算出手段によって、特徴部位抽出手段により抽出された特徴部位の３次元座標が算出される。そして、決定手段によって、３次元座標算出手段により算出された特徴部位の３次元座標に基づいて３次元ラインが決定される。

また、上記構成において、前記決定手段は、前記３次元ラインを抽出するための抽出用ラインであって、前記特徴部位の３次元座標点間を結ぶ抽出用ラインを設定するとともに、前記全体３次元形状上の該抽出用ラインに対応するラインを前記３次元ラインとして決定することが好ましい。（請求項３）

これによれば、決定手段によって、３次元ラインを抽出するための抽出用ラインであって、特徴部位の３次元座標点間を結ぶ抽出用ラインが設定されるとともに、全体３次元形状上の該抽出用ラインに対応するラインが３次元ラインとして決定される。

また、上記構成において、前記全体３次元形状情報は、複数の３次元点からなる前記顔の形状データであって、前記決定手段は、前記抽出用ライン上に定義された複数の定義点を所定の投影中心から前記全体３次元形状上に投影してなる投影点に対応する前記３次元点に基づいて前記３次元ラインを決定することが好ましい。（請求項４）

これによれば、全体３次元形状情報が、複数の３次元点からなる顔の形状データとされ、決定手段によって、抽出用ライン上に定義された複数の定義点が所定の投影中心から全体３次元形状上に投影されてなる投影点に対応する３次元点に基づいて３次元ラインが決定される。

また、上記構成において、前記抽出用ライン上の定義点は等間隔に配置されていることが好ましい。（請求項５）

これによれば、抽出用ライン上の定義点が等間隔に配置されたものとされる。

また、上記構成において、前記抽出用ライン上の定義点は、前記顔の凹凸の程度が大きい場所に密に配置されていることが好ましい。（請求項６）

これによれば、抽出用ライン上の定義点が、顔の凹凸の程度が大きい場所に密に配置されたものとされる。

また、上記構成において、前記決定手段は、予め用意された前記顔の３次元モデル形状であって、前記３次元ラインを抽出するための抽出用ラインが該３次元モデル形状上に設定されてなる標準モデルを、前記全体３次元形状に近づけるべく変形し、該変形した標準モデル上の抽出用ラインに対応する前記全体３次元形状上のラインを前記３次元ラインとして決定することが好ましい。（請求項７）

これによれば、決定手段によって、予め用意された顔の３次元モデル形状であって、３次元ラインを抽出するための抽出用ラインが該３次元モデル形状上に設定されてなる標準モデルが、全体３次元形状に近づけられるべく変形され、該変形された標準モデル上の抽出用ラインに対応する全体３次元形状上のラインが３次元ラインとして決定される。

また、上記構成において、前記全体３次元形状情報は、複数の３次元点からなる前記顔の形状データであって、前記決定手段は、前記変形した標準モデル上の抽出用ライン上に定義された複数の定義点を所定の投影中心から前記全体３次元形状上に投影してなる投影点に対応する前記３次元点に基づいて前記３次元ラインを決定することが好ましい。（請求項８）

これによれば、全体３次元形状情報が、複数の３次元点からなる顔の形状データとされ、決定手段によって、変形した標準モデル上の抽出用ライン上に定義された複数の定義点が所定の投影中心から全体３次元形状上に投影されてなる投影点に対応する３次元点に基づいて３次元ラインが決定される。

また、上記構成において、前記決定手段は、前記全体３次元形状上の前記投影点の位置に３次元点が存在しない場合に、該投影点近傍の３次元点を用いた補間処理により算出した補間３次元点を用いて前記３次元ラインを決定することが好ましい。（請求項９）

これによれば、決定手段によって、全体３次元形状上の投影点の位置に３次元点が存在しない場合に、該投影点近傍の３次元点を用いた補間処理により算出された補間３次元点を用いて３次元ラインが決定される。

また、上記構成において、前記抽出用ラインは、複数本のラインからなることが好ましい。（請求項１０）

これによれば、抽出用ラインが複数本のライン（抽出用ライン）からなるものとされる。

また、上記構成において、前記３次元特徴量算出手段は、前記３次元ラインにおける局所３次元形状情報を所定の曲線情報に変換したものを前記ライン形状情報として算出することが好ましい。（請求項１１）

これによれば、３次元特徴量算出手段によって、３次元ラインにおける局所３次元形状情報が所定の曲線情報に変換されたものがライン形状情報として算出される。

また、上記構成において、前記３次元特徴量算出手段は、前記３次元顔特徴量として、各３次元ラインの相対位置関係の情報も含む３次元顔特徴量を算出することが好ましい。（請求項１２）

これによれば、３次元特徴量算出手段によって、３次元顔特徴量として、各３次元ラインの相対位置関係の情報も含む３次元顔特徴量が算出される。

また、上記構成において、前記決定手段は、前記所定数の３次元ラインが前記顔の左右対称となる位置に配置されるように前記全体３次元形状における該３次元ラインを決定することが好ましい。（請求項１３）

これによれば、決定手段によって、所定数の３次元ラインが顔の左右対称となる位置に配置されるように全体３次元形状における該３次元ラインが決定される。

また、上記構成において、前記決定手段は、前記所定数の３次元ラインが少なくとも前記顔の鼻及び頬の部位を含むように前記全体３次元形状における該３次元ラインを決定することが好ましい。（請求項１４）

これによれば、決定手段によって、所定数の３次元ラインが少なくとも顔の鼻及び頬の部位を含むように全体３次元形状における該３次元ラインが決定される。

また、上記構成において、前記特徴部位抽出手段により抽出された特徴部位の情報から前記顔の２次元的な特徴量である２次元顔特徴量を算出する２次元特徴量算出手段をさらに備え、前記特徴量比較手段は、前記２次元特徴量算出手段により算出された２次元顔特徴量と前記３次元特徴量算出手段により算出された３次元顔特徴量とを併せてなる総合的な顔特徴量と、前記比較用顔特徴量とを比較することが好ましい。（請求項１５）

これによれば、２次元特徴量算出手段によって、特徴部位抽出手段により抽出された特徴部位の情報から顔の２次元的な特徴量である２次元顔特徴量が算出され、特徴量比較手段によって、２次元特徴量算出手段により算出された２次元顔特徴量と３次元特徴量算出手段により算出された３次元顔特徴量とを併せてなる総合的な顔特徴量と、比較用顔特徴量とが比較される。

また、上記構成において、前記３次元特徴量算出手段は、少なくとも前記顔の特徴部位以外の部位を含む３次元ラインにおける局所３次元形状情報から前記３次元顔特徴量を算出することが好ましい。（請求項１６）

これによれば、３次元特徴量算出手段によって、少なくとも顔の特徴部位以外の部位を含む３次元ラインにおける局所３次元形状情報から３次元顔特徴量が算出される。

また、上記構成において、前記特徴量比較手段は、前記複数本の抽出用ラインに対応する複数の３次元ラインから得られた複数の３次元顔特徴量と、前記比較用顔特徴量との間の距離情報に基づいて前記比較を行うことが好ましい。（請求項１７）

これによれば、特徴量比較手段によって、複数本の抽出用ラインに対応する複数の３次元ラインから得られた複数の３次元顔特徴量と、比較用顔特徴量との間の距離情報（本実施形態ではユークリッド距離の情報）に基づいて上記比較が行われる。

また、上記構成において、前記特徴量比較手段は、前記複数本の抽出用ラインに対応する複数の３次元ラインから得られた複数の３次元顔特徴量と、前記比較用顔特徴量との間の距離情報であって、該距離が最小となる場合の最小距離情報に基づいて前記比較を行うことが好ましい。（請求項１８）

これによれば、特徴量比較手段によって、複数本の抽出用ラインに対応する複数の３次元ラインから得られた複数の３次元顔特徴量と、比較用顔特徴量との間の距離情報であって、該距離が最小となる場合の最小距離情報に基づいて上記比較が行われる。

また、上記構成において、前記２次元顔特徴量を算出するための特徴部位の情報はテクスチャ情報であって、当該テクスチャ情報に対して、前記顔の姿勢に関する補正である姿勢変動補正及び顔に対する光源の向きに関する補正である光源変動補正を行う補正手段をさらに備えることが好ましい。（請求項１９）

これによれば、２次元顔特徴量を算出するための特徴部位の情報がテクスチャ情報とされ、補正手段によって、当該テクスチャ情報に対して、顔の姿勢に関する補正である姿勢変動補正及び顔に対する光源の向きに関する補正である光源変動補正が行われる。

また、上記構成において、前記３次元形状取得手段は、前記顔の２次元画像を撮影する少なくとも２つの撮影装置と、当該各撮影装置から得られた２枚の２次元画像から、位相限定相関法による演算によって高精度な対応点検索処理を行い、３次元再構成を行うことで、前記全体３次元形状を算出する３次元形状算出手段とを備えることが好ましい。（請求項２０）

これによれば、３次元形状取得手段において、少なくとも２つの撮影装置によって顔の２次元画像が撮影され、３次元形状算出手段によって、当該各撮影装置から得られた２枚の２次元画像から位相限定相関法による演算によって高精度な対応点検索処理が行われ、３次元再構成が行われることで、全体３次元形状が算出される。

また、上記構成において、前記３次元特徴量算出手段により算出される３次元顔特徴量はベクトル量であって、該ベクトル量に対応する前記比較用顔特徴量としての比較用ベクトル量を記憶する記憶手段をさらに備えることが好ましい。（請求項２１）

これによれば、３次元特徴量算出手段により算出される３次元顔特徴量がベクトル量とされ、記憶手段によって、該ベクトル量に対応する比較用顔特徴量としての比較用ベクトル量が記憶される。

また、本発明に係る認証方法は、認証対象者の顔の全体的な３次元形状である全体３次元形状の情報を取得する第１の工程と、前記全体３次元形状情報から、該全体３次元形状上の所定のラインである所定数の３次元ラインを決定する第２の工程と、前記３次元ラインにおける、前記全体３次元形状情報の局所的な情報としての局所３次元形状情報から、各３次元ラインの形状に関するライン形状情報であって、前記顔の３次元的な特徴量である３次元顔特徴量を算出する第３の工程と、前記認証対象者に対する認証動作を行うべく前記３次元顔特徴量と予め用意された比較用顔特徴量とを比較する第４の工程とを有することを特徴とする。（請求項２２）

上記構成によれば、第１の工程において、認証対象者の顔の全体的な３次元形状である全体３次元形状の情報が取得され、第２の工程において、全体３次元形状情報から、該全体３次元形状上の所定のラインである所定数の３次元ラインが決定される。第３の工程において、３次元ラインにおける、全体３次元形状情報の局所的な情報としての局所３次元形状情報から、各３次元ラインの形状に関するライン形状情報であって、顔の３次元的な特徴量である３次元顔特徴量が算出される。そして、第４の工程において、認証対象者に対する認証動作を行うべく３次元顔特徴量と予め用意された比較用顔特徴量とが比較される。

さらに、上記構成において、前記第１の工程は、前記顔の２次元画像を取得する第５の工程を含むものであり、前記２次元画像から前記顔の特徴的な部位である特徴部位を抽出する第６の工程と、前記特徴部位の３次元座標を算出する第７の工程とをさらに有し、前記第２の工程は、前記特徴部位の３次元座標に基づいて前記３次元ラインを決定する工程であることが好ましい。（請求項２３）

これによれば、第１の工程が、顔の２次元画像を取得する第５の工程を含む工程とされ、第６の工程において、２次元画像から顔の特徴的な部位である特徴部位が抽出される。また、第７の工程において、特徴部位の３次元座標が算出される。そして、上記第２の工程において、特徴部位の３次元座標に基づいて３次元ラインが決定される。

請求項１に係る認証システムによれば、認証対象者の顔の全体３次元形状から所定数の３次元ラインが決定され、この３次元ラインにおける局所３次元形状情報から３次元顔特徴量が算出され、この３次元顔特徴量と比較用顔特徴量との比較が行われることで認証対象者に対する認証動作が行われるので、すなわち顔の全体３次元形状の情報をそのまま用いるのではなく、顔全体の３次元形状情報から局所的な情報（３次元ライン情報；ライン形状情報）を抽出し、この抽出した３次元ライン情報に基づいて認証を行う構成であるので、顔に部分的な隠れ等が生じたとしても、必ずしもこの隠れ等が生じた部分を用いずともよく、この部分以外の局所情報を用いて認証を行うことができ、認証精度の低下を軽減することができる。また、データ量の多い全体３次元形状（３次元データ）の情報をそのまま扱わなくてもよいため、つまり部分的な３次元形状データを扱えばよいので、処理に時間がかかることなく認証速度を向上させることができる。

請求項２に係る認証システムによれば、２次元画像から顔の特徴的な部位である特徴部位が抽出されてこの特徴部位の３次元座標が算出され、この３次元座標に基づいて３次元ラインが決定されるので、３次元ラインを決定するに際して２次元的な特徴部位の情報と関連付けることができ、当該３次元ラインの情報と共に特徴部位の情報を用いた高精度の認証を行うことが可能となる。

請求項３に係る認証システムによれば、特徴部位の３次元座標点間を結ぶ抽出用ラインが設定され、全体３次元形状上のこの抽出用ラインに対応するラインが３次元ラインとして決定されるので、抽出用ラインを３次元座標点間を結ぶことで容易に設定することができ、当該設定した抽出用ラインを用いて３次元ラインを容易に決定することができる。

請求項４に係る認証システムによれば、抽出用ライン上の複数の定義点が全体３次元形状上に投影されてなる投影点に対応する３次元点に基づいて３次元ラインが決定されるので、投影という簡易な方法で容易に且つ確実に抽出用ラインから３次元ラインを決定することができる。

請求項５に係る認証システムによれば、抽出用ライン上の定義点が等間隔に配置されているので、当該定義点からなる抽出用ラインの設定が容易となる。

請求項６に係る認証システムによれば、抽出用ライン上において定義点が顔の凹凸の程度が大きい場所すなわち顔の特徴が良く表される場所で密に配置されているので、抽出用ラインを用いて求めた３次元ラインから得られる３次元顔特徴量に対して、顔の特徴情報を確実に反映することが可能となる。

請求項７に係る認証システムによれば、予め抽出用ラインが設定された標準モデルが全体３次元形状に近づくように（合致するように）変形され、この変形された標準モデル上の抽出用ラインに対応する全体３次元形状上のラインが３次元ラインとして決定されるので、２次元画像を取得したり、この２次元画像から特徴部位（２次元顔特徴量）を抽出するとともに抽出用ラインを設定する等の動作及び構成を必要とせず、容易に全体３次元形状における３次元ラインを決定することができる。

請求項８に係る認証システムによれば、変形した標準モデル上の抽出用ライン上の複数の定義点が全体３次元形状上に投影されてなる投影点に対応する３次元点に基づいて３次元ラインが決定されるので、投影という簡易な方法で容易に且つ確実に抽出用ラインから３次元ラインを決定することができる。

請求項９に係る認証システムによれば、全体３次元形状上の投影点の位置に３次元点が存在しない場合に、該投影点近傍の３次元点を用いた補間処理により算出された補間３次元点を用いて３次元ラインが決定されるので、全体３次元形状上の投影点の位置に３次元点が存在しない場合であっても、補間３次元点を用いて３次元ラインを決定することができ、ひいては顔の特徴が精度良く反映された３次元顔特徴量を得ることができる。

請求項１０に係る認証システムによれば、抽出用ラインが複数本のライン（抽出用ライン）からなるものとされるので、抽出用ラインに対応する３次元ラインの決定において、抽出用ライン上の定義点を例えば全体３次元形状上に投影して３次元ラインを構成する３次元点を選択する際の裕度を確保するといったことが可能となり、ひいては抽出用ラインを用いて複数のラインを帯状に複数本選択することでズレの軽減が可能になり、精度良くライン抽出ができる。

請求項１１に係る認証システムによれば、３次元ラインの局所領域形状情報として、３次元ラインにおける局所３次元形状情報が所定の曲線情報に変換されたものが用いられるので、すなわち３次元形状情報がそのまま用いられるのではなく、これを変換して曲線情報（例えば曲率）として扱う構成であるので、次元圧縮が可能となり、処理が高速となる。

請求項１２に係る認証システムによれば、３次元顔特徴量が、各３次元ラインの相対位置関係の情報も含むものとされるので、この３次元顔特徴量によって、各３次元ラインにおける個々の特徴だけでなく、顔全体に亘っての特徴を表すことが可能となり（顔の大域形状情報を扱うことができ）、より高精度の認証を行うことが可能となる。

請求項１３に係る認証システムによれば、３次元ラインが顔の左右対称の位置に配置されるので、全体３次元形状における３次元ラインの（位置の）決定が効率良く行えるようになり処理時間が短縮されるとともに、データの取り扱い性が向上する。

請求項１４に係る認証システムによれば、少なくとも顔の鼻及び頬の部位が含まれるように全体３次元形状における３次元ラインが決定されるので、当該３次元ラインを、例えば髪で隠れてしまう部位（例えば額）や計測し難い部位（例えば口髭を有する場合の口）を避けて設定することができて、この３次元ラインから精度良く３次元顔特徴量を算出することができ、ひいては高精度の認証を行うことが可能となる。

請求項１５に係る認証システムによれば、顔の２次元顔特徴量が算出され、この２次元顔特徴量と３次元顔特徴量とを併せてなる総合的な顔特徴量と、比較用顔特徴量とが比較されるので、２次元顔特徴量と３次元顔特徴量とを用いたより高精度な認証を行うことが可能となる。

請求項１６に係る認証システムによれば、少なくとも顔の特徴部位以外の部位を含む３次元ラインにおける局所３次元形状情報から３次元顔特徴量が算出されるので、２次元顔特徴量と３次元顔特徴量とを用いた認証（多重認証）を行うに際して、２次元顔特徴量として特徴を抽出し難い特徴部位以外の部位の特徴を、３次元顔特徴量として含むことができ、すなわち２次元顔特徴量でカバーすることができない特徴量を３次元顔特徴量でカバーすることができ、ひいてはより高精度な認証を行うことができる。

請求項１７に係る認証システムによれば、複数の３次元ラインから得られた複数の３次元顔特徴量と比較用顔特徴量との間の距離情報に基づいて特徴量比較手段による比較処理が行われるので、３次元顔特徴量と比較用顔特徴量との個数が１対１に対応していない場合であっても、容易に特徴量比較手段による比較処理を実行することができる。

請求項１８に係る認証システムによれば、複数の３次元ラインから得られた複数の３次元顔特徴量と比較用顔特徴量との間の距離が最小となる場合の最小距離情報に基づいて特徴量比較手段による比較処理が行われるので、３次元顔特徴量と比較用顔特徴量との個数が１対１に対応していない場合であっても、容易に且つ精度良く特徴量比較手段による比較処理を実行することができる。

請求項１９に係る認証システムによれば、２次元顔特徴量を算出するための特徴部位のテクスチャ情報に対して、顔の姿勢に関する補正である姿勢変動補正及び顔に対する光源の向きに関する補正が行われるので、姿勢変動補正及び光源変動補正がなされたテクスチャ情報に基づいて適正な２次元顔特徴量を得ることができ、ひいてはより高精度な認証を行うことができる。

請求項２０に係る認証システムによれば、少なくとも２つの撮影装置から得られた２枚の２次元画像から位相限定相関法による演算によって高精度な対応点検索処理が行われ、３次元再構成が行われることで、全体３次元形状が算出されるので、高価な３次元撮影装置等を用いることなく低コストで、且つ位相限定相関法により精度良く全体３次元形状を算出することができる。

請求項２１に係る認証システムによれば、記憶手段によって、３次元顔特徴量であるベクトル量に対応する比較用顔特徴量としての比較用ベクトル量が記憶されるので、すなわち比較用顔特徴量として記憶されるデータが、計測された所謂密な３次元形状データでなくベクトル量となるので、記憶するデータ量を小さくすることができる（メモリ容量が少なくて済む）とともに、データの扱いが容易となる。

請求項２２に係る認証方法によれば、認証対象者の顔の全体３次元形状から所定数の３次元ラインが決定され、この３次元ラインにおける局所３次元形状情報から３次元顔特徴量が算出され、この３次元顔特徴量と比較用顔特徴量との比較が行われることで認証対象者に対する認証動作が行われるので、すなわち顔の全体３次元形状の情報をそのまま用いるのではなく、顔全体の３次元形状情報から局所的な情報（３次元ライン情報；ライン形状情報）を抽出し、この抽出した３次元ライン情報に基づいて認証を行う構成であるので、顔に部分的な隠れ等が生じたとしても、必ずしもこの隠れ等が生じた部分を用いずともよく、この部分以外の局所情報を用いて認証を行うことができ、認証精度の低下を軽減することができる。また、データ量の多い全体３次元形状（３次元データ）の情報をそのまま扱わなくてもよいため、つまり部分的な３次元形状データを扱えばよいので、処理に時間がかかることなく認証速度を向上させることができる。

請求項２３に係る認証方法によれば、２次元画像から顔の特徴的な部位である特徴部位が抽出されてこの特徴部位の３次元座標が算出され、この３次元座標に基づいて３次元ラインが決定されるので、３次元ラインを決定するに際して２次元的な特徴部位の情報と関連付けることができ、当該３次元ラインの情報と共に特徴部位の情報を用いた高精度の認証を行うことが可能となる。

図１は、本発明の実施形態に係る認証システム１の一例を示す概略構成図である。図１に示すように認証システム１は、顔による個人認証（以降、顔認証という）を行うものであり、コントローラ１０と２台の撮影カメラ（２次元カメラ；２Ｄカメラ）（以下、単に「カメラ」ともいう）ＣＡ１及びＣＡ２とを備えている。カメラＣＡ１及びＣＡ２は、それぞれ異なる位置から認証対象者ＨＭの顔を撮影できるように配置されている。カメラＣＡ１及びＣＡ２によって認証対象者ＨＭの顔画像が撮影されると、この撮影により得られる認証対象者ＨＭの外観情報すなわち２種類の顔画像がコントローラ１０に通信線を介して送信される。なお、各カメラとコントローラ１０との間での画像データの通信方式は、有線方式に限定されず、無線方式であってもよい。また、上記顔画像は顔部分の画像だけでなく背景画像をも含む画像となっている。

図２は、コントローラ１０の全体的な構成の一例を示す模式図である。図２に示すようにコントローラ１０は、パーソナルコンピュータ（ＰＣ）等の情報処理装置であり、ＣＰＵ２、記憶部３、メディアドライブ４、液晶ディスプレイなどの表示部５、キーボード６ａ及びポインティングデバイスであるマウス６ｂなどの入力部６、及びネットワークカードなどの通信部７を備えている。記憶部３は、ハードディスクドライブ（ＨＤＤ）３ａ及びＲＡＭ（半導体メモリ）３ｂなどの複数の記憶媒体を備えている。また、メディアドライブ４は、ＣＤ−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク及びメモリカードなどの可搬性の記憶媒体８からその中に記録されている情報を読み出すことができる。なお、このコントローラ１０に対して供給される情報は、記録媒体８を介して供給される場合に限定されず、ＬＡＮ（Local Area Network）やインターネットなどのネットワークを介して供給されてもよい。なお、コントローラ１０は、このシステム用に製作された専用のコントローラ（本体制御装置）であってもよく、以下に説明する機能を備えているようなものであればよい。

図３は、コントローラ１０が備える顔認証の機能を説明するための機能ブロック図である。図３に示すようにコントローラ１０は、画像入力部１１、顔領域検出部１２、顔部位検出部１３、顔部位３Ｄ計算部１４、姿勢・光源補正部１５、標準モデル記憶部１６、２次元認証部１７、顔領域３Ｄ計算部１８、３次元認証部１９、類似度計算部２０、登録データ記憶部２１及び判定部２２を備えている。

画像入力部１１は、カメラＣＡ１及びＣＡ２による撮影により得られた認証対象者ＨＭの顔画像を入力するものである。画像入力部１１は、第１画像入力部１１ａ及び第２画像入力部１１ｂを備えており、それぞれに対してカメラＣＡ１及びＣＡ２から送信されてきた顔画像が入力される、すなわち合計２枚の顔画像が入力される。ところで、本実施形態では、入力された顔画像を用いて２次元認証（２Ｄ認証）と３次元認証（３Ｄ認証）とを行い（このことを多重認証するという）、これらの結果に基づいて判定を行う構成であるため、２次元画像（２Ｄ画像）と３次元形状データ（３Ｄ形状データ）とが必要となる。当該２Ｄ画像及び３Ｄ形状データを取得するための入力装置（２Ｄ画像・３次元（３Ｄ）計測の入力装置）としては、一般的な２Ｄカメラ（ステレオカメラ）を複数台（２〜Ｎ台）用いる方法がある。この場合、２枚以上の２Ｄ画像から顔の３次元形状（３Ｄ形状）を算出する。

ただし、これに限らず、３Ｄ形状データを取得する方法として、光切断方式による非接触３次元デジタイザのような３次元計測装置（３Ｄ計測装置；３Ｄカメラ）を用いてもよい。本実施形態では２台のカメラＣＡ１及びＣＡ２を用いる構成であるため、２枚の２Ｄ画像（顔画像）から顔の３Ｄ形状を算出する必要があるが、上記非接触３次元デジタイザなどの３Ｄ計測装置を用いる（１台のカメラと１台の３Ｄ計測装置を用いる）場合は、３Ｄ計測装置により３Ｄ形状データが直接取得可能であるため２Ｄ画像から算出する必要はない。さらに、３Ｄ形状データ取得用のカメラと２Ｄ画像取得用のカメラとを兼用しているタイプの３Ｄ計測装置では、上述のように２Ｄ画像取得のためのカメラを別途用意する必要もなくなる。

顔領域検出部１２は、画像入力部１１に入力された顔画像から顔領域を検出（特定、抽出）するものである。顔領域検出部１２は、第１顔領域検出部１２ａ及び第２顔領域検出部１２ｂを備えており、それぞれ第１画像入力部１１ａ及び第２画像入力部１１ｂから送信されてきた顔画像から顔領域（顔領域画像）を検出する。具体的には、例えば予め用意された標準の顔画像を用いたテンプレートマッチングを行うことにより、顔画像から顔の存在している領域を抽出する（切り出す）処理を行う。

なお、顔領域の検出手法として、以下１．〜３．に示す方法を用いてもよく、また、その他の手法を用いても実現可能である。
１．顔画像に対して、所定サイズのウィンドウ領域（矩形領域）を走査しつつ、このウィンドウ領域内に人の顔を表した領域が含まれるか否かの判定を該ウィンドウ領域内の画素値と所定のしきい値とを比較することで行う方法（例えば、特開２００３−２２４４１号公報、特開平８−３３９４４５号公報）。なお、この方法によれば、動き情報や色情報を必要としない顔発見アルゴリズムによって、複雑背景の中から高速且つ高い認証率で顔領域を検出することができる。

２．複数人の顔部位の画像をトレーニングさせてその結果を学習辞書として記憶しておき、新たに入力された顔画像と比較することで顔領域検出の判定を行う所謂ニューラルネットを用いた方法（例えば、H.Rowley,S.Baluja,and T.Kanade.“Newral Network-Based Face Detection”In IEEE Patt.Anal.Mach.Intell,.volume 20,pages 22-38,1998.）。

３．Ｖｉｏｌａらの提案した検出器（Ｖｉｏｌａ−Ｊｏｎｅｓ検出器）を用いた方法であって、様々な顔領域検出用の識別子を記憶しておき、これを段階的に用いてすなわち比較が進むにつれて使用する識別子の数を減少させていきながら顔領域検出の判定を行う方法（例えば、P. Viola and M. Jones. Rapid object detection using a boosted cascade of simple features. In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, Kauai, HI, December 2001.）。なお、この方法によれば、顔と非顔との入り組んだ空間の識別関数を、簡単な画像特徴量を用いた単純な判別関数を複数組み合わせて構成することができる。

顔部位検出部１３は、顔領域検出部１２により検出した顔領域の画像から顔の特徴的な部位（特徴部位という）を検出（抽出、算出）するものである。顔の特徴的な部位を検出することを「顔部位検出」という。顔部位検出部１３は、第１顔部位検出部１３ａ及び第２顔部位検出部１３ｂを備えており、それぞれ第１顔領域検出部１２ａ及び第２顔領域検出部１２ｂから送信されてきた顔領域画像から上記特徴部位の位置（画像上の座標）を検出する。顔の特徴部位は、目（例えば瞳中心、目尻、目頭、瞳の上下部）、眉（例えば眉の両端部や中央部）、鼻（例えば小鼻の端、中央下部、或いは鼻孔）、口（例えば左右の口の端、唇中央部の上下部）或いは下顎尖端部などの部位が挙げられる。本実施形態では、顔部位検出部１３により、図４に示されるような各特徴部位の特徴点Ｑ１〜Ｑ２３の座標が算出される。なお、抽出する特徴点の部位は適宜設定すればよく、必要に応じて増減可能である。また、この特徴部位の検出は特徴部位の標準的なテンプレートを用いたテンプレートマッチングなど、種々の方法で行うことが可能である。

上記算出される特徴点Ｑ１〜Ｑ２３の座標は、上記カメラＣＡ１及びＣＡ２より入力された各画像上の座標として表される。例えば口の右端に相当する特徴点Ｑ２０について言えば、２枚の画像Ｇ１、Ｇ２（後述の図５参照）それぞれにおいて当該特徴点Ｑ２０の座標値が求められる。具体的には、画像Ｇ１及びＧ２の端点を原点Ｏとして、特徴点Ｑ２０の画像Ｇ１上の座標（ｘ１、ｙ１）が算出され、また、特徴点Ｑ２０の画像Ｇ２上の座標（ｘ２、ｙ２）が算出される。

また、顔部位検出部１３は、上記顔領域の画像から、各特徴点の座標を算出するとともに、各特徴点を頂点とする領域（特徴領域という）内の各画素の輝度値を、この領域が有する情報（テクスチャ情報という）として取得する。本実施形態の場合、入力される画像は２枚であるので、顔部位検出部１３は、これら画像（画像Ｇ１、Ｇ２）における互いに対応する特徴領域内の対応する画素における例えば平均の輝度値を算出し、こ各画素の平均輝度値を当該特徴領域におけるテクスチャ情報として用いる。

なお、上記顔部位検出の手法として、例えば特開平９−１０２０４３号公報「画像内の要素の位置検出」に提案されているような方法を採用してもよい。また、補助光を使用することで顔部位の形状から検出するような方法や、上述と同様のニューラルネットによる学習を用いた方法、或いはＧａｂｏｒ（ガボール）ウェーブレット変換やＧａｂｏｒでない通常のウェーブレット変換による周波数解析を用いた方法を採用してもよい。

顔部位３Ｄ計算部１４は、顔部位検出部１３において検出された顔の特徴部位の座標から該各特徴部位の３次元における座標を算出する、すなわち、顔部位検出部１３において検出された各特徴点Ｑｊの各画像Ｇｉ（ｉ＝１，・・・，Ｎ）における２次元座標（２Ｄ座標）Ｕｉ^（ｊ）と、各画像Ｇｉを撮影したカメラのカメラパラメータＰｉ（ｉ＝１，・・・，Ｎ）とに基づいて、謂わば三角測量の原理で各特徴部位すなわち各特徴点Ｑｊの３次元座標（３Ｄ座標）Ｍ^（ｊ）（ｊ＝１，・・・，Ｍ_ｆ）を算出する（所謂「３次元再構成」する）ものである。ただし、記号「Ｎ」はＮ台のカメラ（ここではＮ＝２）を示し、また、記号「Ｍ_ｆ」は計測点或いは特徴点の数（Ｍ_ｆ個）を示す。なお、各特徴点Ｑｊの３Ｄ座標Ｍ^（ｊ）を纏めてなる３次元的な顔のデータのことを「３Ｄ顔部位形状データ」という。

以下に、この３Ｄ座標Ｍ^（ｊ）を算出する方法の具体的な一例を説明する。
空間のワールド座標（Ｘ，Ｙ，Ｚ）^Ｔと、画像上の座標（ｘ，ｙ）とは以下の（１・１）式に示す関係が成り立っている。
但し、（１・１）式中の記号「ｗ」は０（ゼロ）でない定数であり、記号「Ｐ」は透視投影行列（カメラパラメータ）を表す。

上記座標の表記に、以下の（１・２）式に示すように１次元多いベクトルを用いているが、この表記は斉次座標と呼ばれる。斉次座標では、座標を表すベクトルの０（ゼロ）でない定数倍つまり上記における（ｗｘ，ｗｙ，ｗ）^Ｔと（ｘ，ｙ，１）^Ｔとなどが同じ点を表すものとする。すなわち、空間の点の斉次座標をＭ＝（Ｘ，Ｙ，Ｚ，１）^Ｔとし、またその空間点の画像における斉次座標をｕ＝（ｘ，ｙ，１）^Ｔとし、「＝」と「〜」とを組み合わせてなる記号を、定数倍であることを許せば等しいので左辺は右辺の０でない定数倍に等しい、ということを表す記号であるとすると、上記（１・１）式は以下の（１・３）式で表される。

ここで、透視投影行列Ｐは、３×４の行列式であり、その各成分を以下の（１・４）式に示すものとすると、上記（１・１）式における「ｗ」を消去することにより、空間と画像との座標の関係は以下の（１・５）及び（１・６）式に示すようになる。

但し、ここで注意する点としては、（１・３）式により定数倍の自由度を許していることから、Ｐの各成分は各パラメータを用いて組み合わされたものであって独立ではない。

例えば図５に示すように、自由な位置に配置された、カメラパラメータの異なる一般的な２台のカメラ（これらを第１カメラ、第２カメラという）を用いて構成されたシステムでは、ワールド座標（Ｘ，Ｙ，Ｚ）^Ｔと、その点（ワールド座標点）に対応する第１及び第２カメラそれぞれの画像Ｇ１、Ｇ２上の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）は、それぞれのカメラパラメータＰ_１、Ｐ_２を用いて以下の（１・７）式で表される。
但し、（１・７）式中の記号「ｕ_ｉ」及び記号「Ｍ」は、それぞれ以下の（１・８）式に示すものを表している。

したがって、透視投影行列Ｐ_１、Ｐ_２がわかっている場合は、その画像上での特徴点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）の組から上記（１・７）及び（１・８）式をｗ_１、ｗ_２、Ｘ、Ｙ、Ｚの方程式と見なして解くことにより当該特徴点の空間における座標を求めることで、３次元再構成を行うことができる。すなわち、ｗ_１、ｗ_２を消去することにより（１・５）及び（１・６）式が得られるので、記号「Ｐ¹ _ｉｊ」はＰ_１、記号「Ｐ² _ｉｊ」はＰ_２の（ｉ，ｊ）成分を表すものであるとすると、当該関係式を整理することにより以下の（１・９）式となり、Ｘ、Ｙ、Ｚの連立一次方程式となるので、これら方程式を解くことで当該特徴点の３次元空間（３Ｄ空間）上の座標（Ｘ，Ｙ，Ｚ）を求めることができる。なお、（１・９）式では、３つの未知数Ｘ、Ｙ、Ｚに対して４つの方程式が与えられている。これは、（ｘ１，ｙ１）、（ｘ２，ｙ２）の４つの成分は独立でないことを意味している。その他の特徴点も同様に空間上の座標が算出される。

姿勢・光源補正部１５は、顔部位検出部１３により算出されたテクスチャ情報に対する姿勢変動補正及び光源変動補正を行うものである。姿勢変動補正は、顔の姿勢つまり向き（傾き）の違いによるテクスチャへの影響を補正するものである。光源変動補正は、顔に対する光源の向き（傾き）の違いによるテクスチャへの影響を補正するものである。
姿勢・光源補正部１５は、このテクスチャ情報に対する姿勢変動補正及び光源変動補正に際して、予め準備された一般的（標準的）な顔のモデルである標準モデル（標準立体モデル；後述の図７参照）を用いる。

＜姿勢変動補正＞
（形状情報補正）
テクスチャ情報に対する姿勢変動補正を行うに際して、先ず上記３Ｄ顔部位形状データ（各特徴点Ｑｊの３Ｄ座標Ｍ^（ｊ））の形状補正を行う。すなわち、姿勢・光源補正部１５は、３Ｄ顔部位形状データすなわち３Ｄ形状が、上記標準モデルの３Ｄ形状に最も合致するように３次元的な位置の補正を行う（３Ｄ顔部位形状データの形状自体は変化しない）。要するに、３Ｄ顔部位形状データによる顔が横を向いていた場合、標準モデルを基準として所謂モデルフィッティングを行い、その横を向いた顔が標準モデルの顔の向き（基準方向）、例えば正面方向を向くように位置補正する。この位置の補正は、以下の（２）式に示す姿勢パラメータｔ（ポーズパラメータ）に基づいて行われる。
ｔ＝（ｓ，φ，θ，ψ，ｔｘ，ｔｙ，ｔｚ）^Ｔｔ ・・・（２）
但し、記号「ｓ」はスケール変換指数を、記号「φ，θ，ψ」は回転変位（傾き）を示す変換パラメータを、記号「ｔｘ，ｔｙ，ｔｚ」は直交３軸方向における並進変位を示す変換パラメータを表す。また、指数の記号「Ｔｔ」は“転置”を表す。

（テクスチャ情報補正）
次に、上述において３Ｄ顔部位形状データの顔の向きを正面方向に補正することにより得られた位置補正情報に基づいて、顔部位検出部１３により取得された各特徴領域の２次元テクスチャ（２Ｄテクスチャ）が正面方向（基準方向）を向いた状態となるようにテクスチャ情報の補正を行う。これにより、顔が正面から撮影された場合に相当するテクスチャ情報（正面テクスチャ顔画像という）が再構成される。すなわち、正規化された適正なテクスチャ画像が作成される。このように、再構成された正面テクスチャ顔画像を用いることで、姿勢変動すなわち形状の違いに影響されない（依存しない）テクスチャ情報が扱えるようになる。

テクスチャ情報補正は、上記方法に限らず、例えば、顔部位検出部１３により取得された各特徴領域のテクスチャ（テクスチャ画像）を、上記標準モデルの対応する領域（後述のポリゴン）に貼り付ける（マッピングする）ことで、上記と同様、正面テクスチャ顔画像が得られるように補正する方法を採用してもよい。これにより姿勢の違いに影響されないテクスチャ情報が扱えるようになる。当該補正により得られた正面テクスチャ顔画像は、相互比較しやすいように、更に、標準モデル周囲に配置した円筒座標（円筒面）に投影するようにしてもよい。この投影により得られた投影画像のテクスチャ情報は、姿勢変動に影響されないばかりか、表情変化等による顔の形状変化にも影響されない謂わば純粋な顔のテクスチャ情報となるため、個人認証に用いる情報として非常に有用である。

＜光源変動補正＞
（テクスチャ情報補正）
テクスチャ情報に対する光源変動補正としては、例えばテクスチャの輝度情報の補正を行う。この場合、カメラにより撮影される画像には、一般的に光源の向きによるシェーディングの影響が含まれるため、入力された画像の各特徴領域のテクスチャにもその影響が残っているため、各特徴領域単位で輝度補正する。具体的には、例えば、顔部位検出部１３により取得された各特徴領域の各画素（ノード）の輝度が、標準モデルに対応する画素の輝度に等しくなるよう特徴領域内部で傾斜をかけてすなわち傾斜角度（向き）のパラメータにより輝度値を制御して輝度補正を行う。

標準モデル記憶部１６は、上記顔の標準モデルの情報を予め記憶するものである。この標準モデルは、例えば図６に示すように、頂点データとポリゴンデータとで構成されている。頂点データは、標準モデルにおける特徴部位の頂点Ｕの座標の集合体であり、上記各特徴点Ｑｊの３Ｄ座標と１対１に対応している。ポリゴンデータは、標準モデルの表面を微小な多角形、例えば３角形や４角形といった多角形のポリゴンに分割し、このポリゴンを数値データとして表現したものである。各ポリゴンには、上記光源変動補正において用いられる画素の輝度情報等が含まれるものとする。なお、この標準モデルは、複数人の顔のデータを平均して求めた平均顔データであってもよい。また、標準モデルの各ポリゴンの頂点は、特徴点Ｑｊとともに、特徴点Ｑｊ以外の中間点を用いて構成されてもよい。この中間点は補間によって算出される。

２次元認証部（２Ｄ認証部）１７は、姿勢・光源補正部１５において姿勢変動補正及び光源変動補正されてなる各特徴領域のテクスチャ情報から２次元顔特徴量（２Ｄ顔特徴量：局所的な２Ｄ顔特徴量；局所２Ｄ顔特徴量）を算出するものである。２Ｄ認証部１７は、補正画像取得部１７ａ及び２次元特徴量抽出部（２Ｄ特徴量抽出部）１７ｂを備えている。補正画像取得部１７ａは、姿勢・光源補正部１５においてテクスチャ画像が姿勢変動補正及び光源変動補正されてなる補正画像（補正テクスチャ画像という）を取得するもの、換言すれば姿勢・光源補正部１５からの補正画像が入力されるものである。

２Ｄ特徴量抽出部１７ｂは、補正画像取得部１７ａにより取得された補正テクスチャ画像から２Ｄ顔特徴量を抽出するものである。この２Ｄ顔特徴量の抽出は、画像の局所的な濃淡情報（特定方向の輪郭線など）を特徴量として取り出す手法であるＧａｂｏｒウェーブレット変換を用いた方法により行う（Ｇａｂｏｒウェーブレット変換は、上記顔部位の検出にも使用できるし、ここでの濃淡情報を取り出すことにも使用できる）。実際には、補正テクスチャ画像が有する２Ｄ座標点を基準として、この補正テクスチャ画像に対してＧａｂｏｒフィルタによるフィルタ処理を施すことで得られる濃淡情報を２Ｄ顔特徴量として抽出する。

ところで、Ｇａｂｏｒフィルタは、図７に示すように、ｓｉｎ関数（虚部）及びｃｏｓ関数（実部）をガウス関数で局在化したカーネルを用いた空間フィルタであって、画像の局所的な濃淡情報を取り出すことが可能な変換（Ｇａｂｏｒウェーブレット変換）を行うフィルタである。Ｇａｂｏｒフィルタによるフィルタ処理は局所的な情報に対する処理であるので、画像の照明変動の影響を受けにくいという利点がある。Ｇａｂｏｒウェーブレット変換は、カーネルの形を固定しておき、このカーネルを伸び縮みさせて様々な周期のカーネルを作り出し、これに対応した空間周期の特徴量（Ｇａｂｏｒ特徴量；ここでの濃淡情報）を抽出する変換である。

上記空間周期の特徴量を表す特徴ベクトル（２次元特徴ベクトル；２Ｄ特徴ベクトル）は、サイズ、方向特性の異なるＧａｂｏｒウェーブレット係数の並びである。Ｇａｂｏｒウェーブレット変換は、位置及び周波数の不確定性を最小にする関数であって以下の（３）式で表される。

上記（３）式中のｋベクトルは、波の波長と方向を決める定数であり、［ ］内の第２項はウェーブレットの再構成条件を満たすべく関数の直流成分が０（ゼロ）、すなわちそのフーリエ変換において以下の（４）式が得られるように加えられた項である。

このようなＧａｂｏｒウェーブレット変換を用いた手法は、顔画像に適用した場合、様々な方向と濃淡周期によって豊富な特徴情報を抽出することができるため、高精度な顔認証システムに採用される。

２Ｄ顔特徴量は、補正テクスチャ画像に対して、上記図７に示すＧａｂｏｒフィルタを畳み込むことによって算出することができる。例えば、方向が、方向｛０，π／８，２π／８，３π／８，４π／８，５π／８，６π／８，７π／８，８π／８｝の８方向、スケールが、スケール｛４，４√２，８，８√２，１６｝の５段での複数のＧａｂｏｒフィルタを畳み込むことにより、２Ｄ顔特徴量としての４０（＝５＊８（記号「＊」は乗算を表す））次元の特徴ベクトル（それぞれの濃淡の周期の情報）を得ることができる。なお、２Ｄ顔特徴量の抽出は、Ｇａｂｏｒウェーブレット変換による方法に限らず、その他一般的なテクスチャ情報を使用した方法であれば何れの方法であってもよい。また、上記方向やスケールも８方向や５段に限らず、任意に定めることができる。

顔領域３Ｄ計算部１８は、顔領域検出部１２により検出した顔領域の画像すなわちステレオカメラによるステレオ画像から、顔の高密度な３Ｄ形状（３Ｄ顔密形状データという）を算出する。ただし、ここで言う“高密度なデータ”とは、上記顔部位検出部１３により検出される顔の目や鼻といった特徴部位（特徴点Ｑｊの３Ｄ座標Ｍ^（ｊ））だけのデータつまりデータ取得点数が少ない謂わば“粗（低密度）”のデータに対して、この特徴部位のデータだけでなく、頬や額などの部分も含む顔全体のデータつまりデータ取得点数が多い謂わば“密”なデータであることを示している。なお、３Ｄ顔密形状データを構成する当該密なデータ取得点のことを「３次元点（３Ｄ点；又は３Ｄ計測点）」という。３Ｄ顔密形状データは複数の３Ｄ点からなる顔の形状データである。

ステレオ画像からの顔の高密度な３Ｄ形状の算出は、例えば位相限定相関法（ＰＯＣ：Phase-Only Correlation）を用いて行う。位相限定相関法は、フーリエ変換を使った相関計算方法の一つであって、２つのフーリエ画像をスペクトルごとに規格化してから合成し、すなわち２枚の画像が与えられたとき、それぞれの画像の２次元離散フーリエ変換を振幅成分で正規化してこれらの積をとって合成位相スペクトルを求め、これに対して逆フーリエ変換を行うすなわち当該合成位相スペクトルの２次元逆離散フーリエ変換を行う手法である。２枚の画像が類似している場合、ＰＯＣ関数は極めて鋭いピークを有する。この相関ピークの高さは、画像の類似度の尺度として有用であり、さらにピークの座標は２枚の画像の相対的な位置ずれに対応する。位相限定相関法はこのような特性を有するため、輝度変動やノイズの影響を受けにくく、高精度の画像間の対応点を取得することができる（換言すれば、位相限定相関法は高精度な異なる画像間の対応点検索つまりマッチングを行う処理である）。また、取得した対応点に対して３次元再構成処理を行うことで、高精度の３Ｄ顔密形状データを求めることができる。なお、上述のように、本実施形態では２Ｄカメラを複数台用いることを想定しているため、高密度な３Ｄ形状を位相限定相関法により算出しているが、３Ｄ計測装置を用いる場合には、複数枚の画像から算出せずとも高密度な３Ｄ形状を取得することが可能であるためこのような手法を用いずともよい。

３次元認証部（３Ｄ認証部）１９は、顔領域３Ｄ計算部１８により算出した３Ｄ顔密形状データと、顔部位３Ｄ計算部１４により算出した３Ｄ顔部位形状データとに基づいて、３Ｄ顔特徴量（局所的な３Ｄ顔特徴量；局所３Ｄ顔特徴量）を算出するものである。３Ｄ認証部１９は、３Ｄ特徴ライン抽出部１９ａ及び３Ｄ特徴量抽出部１９ｂを備えている。３Ｄ特徴ライン抽出部１９ａは、３Ｄ顔密形状データと、３Ｄ顔部位形状データ（特徴部位）とから３次元的な特徴ラインを抽出（算出）するものである。以降、３次元的な特徴ラインを「３Ｄ特徴ライン」という。

３Ｄ顔部位形状データの各特徴部位における各特徴点Ｑｊの３Ｄ座標Ｍ^（ｊ）（特徴点座標という）は、高密度な３Ｄ形状（３Ｄ顔部位形状データ）上に存在する。上記３Ｄ特徴ライン（この３Ｄ特徴ラインを当該ラインによる領域と考えて３Ｄ特徴ライン領域と表現してもよい）は、３Ｄ顔部位形状データの特徴点座標からの相対関係で定義される。具体的には、例えば図８に示すように、特徴点Ｑｊである右目頭ａ及び左小鼻ｂの２点を結んだライン（直線ライン；特徴抽出用ラインという）ａｂを設定する。この特徴抽出用ラインａｂを例えば図９における符号２１０のライン（特徴抽出用ライン２１０）とする。ただし、図９に示すメッシュ（網状の表示部）は、３Ｄ顔密形状データを表しており、このメッシュにおける各頂点２０１は３Ｄ顔密形状データにおける各３Ｄ点αを示している。この特徴抽出用ラインａｂ上には、所定間隔で所定数の３Ｄ座標点２０２（定義点という）が予め設定（定義）されている。

ただし、特徴抽出用ラインは、顔の３Ｄ形状の特徴が良く現れている部分、すなわち顔の凹凸の起伏が最も現れている部分（最特徴部分という）におけるラインを設定（選択）することが望ましい。ここでは、例えば鼻（鼻付近；鼻周辺部）を当該最特徴部分としている。鼻は、他の部位よりも奥行き方向の情報を多く含んでいる。また、人それぞれによって鼻の大きさや高低は大きく異なることから、鼻の形状情報を含む３Ｄ特徴ラインは最も有効な特徴ラインの一つであり、これを用いることで高精度な認証が可能となる。なお、鼻の形状情報が含まれるように設定する特徴抽出用ラインは、上記右目頭ａ及び左小鼻ｂを結ぶラインに限定されず、これ以外の特徴点Ｑｊを結ぶラインでもよい（後述の図３（ａ）に示す特徴抽出用ラインＡＢ参照）。また、特徴抽出用ラインａｂを内包する特徴抽出用ライン、すなわち特徴抽出用ラインａｂを両端からさらに顔の側面側へ延長して、頬や額などの顔の特徴が現れ難い部位のラインも併せ持つ全体的な特徴抽出用ラインを設定してもよい。

この特徴抽出用ラインａｂ上の各定義点２０２を３Ｄ顔密形状データ上へ投影（プロジェクション）してなる投影点に基づいて得られるラインを３Ｄ特徴ラインとして抽出する。具体的には、例えば図１０に示すように、これら定義点２０２を所定の位置すなわち投影中心（投影中心点）２０３から３Ｄ顔密形状データ上へ球投影し、すなわち投影中心２０３から放射状に延びた、各定義点２０２を通る仮想的なライン（投影ラインという）２０４が３Ｄ顔密形状データによる３Ｄ形状と交差する位置（投影位置）を上記投影点とし、当該３Ｄ顔密形状データ上の投影点に対応する３Ｄ点αからなるライン（３Ｄ点の集合体としてのライン）を３Ｄ特徴ラインと定める。この３Ｄ特徴ラインは、例えば図１１に示す３Ｄ特徴ライン３１０となる。ただし、上記投影方法は「球投影」に限定されず、すなわち点（投影中心点）からの投影でなくともよく、「軸投影」すなわち所定の軸（中心軸；中心線）からの例えば扇状に延びた投影ラインによる投影であってもよい。また例えば特徴抽出用ラインａｂと所定の１点を定めて、これらから定まる平面の法線方向に定義点を３Ｄ顔密形状データ上へ射影するような射影方法であってもよい。要は、３Ｄ顔密形状データに対する定義点の投影方向が定義されるのであれば何れの投影方法も採用可能である。なお、図１０は、特徴抽出用ラインａｂを顔の上方から見下ろした場合の概念的な図である。また、上記投影中心２０３は、３Ｄ顔密形状データの顔を球と見なした場合の該球の中心点としている。

上記各定義点の３Ｄ顔密形状データ上への投影において、当該３Ｄ顔密形状データ上の投影位置に３Ｄ点が存在しない場合がある。すなわち図１２に示すように、特徴抽出用ライン２１０上の或る定義点２１１の投影位置には３Ｄ点αが存在するが、或る定義点２１２の投影位置（図中の位置２１３）には３Ｄ点αが存在しない（データが欠落している）場合がある。この場合には、位置２１３の周辺に存在する所定数の３Ｄ点を用いた補間処理によって算出する。具体的には、符号２４０で示す図のように、投影位置２１３’（投影位置２１３に相当）に最も近い位置の少なくとも３つの３Ｄ点αにより囲まれる領域（投影パッチという）を設定し（この投影パッチは、３Ｄ顔密形状データによる３Ｄ形状における部分領域となっている）、この投影パッチと、定義点２１２’（定義点２１２に相当）を通る投影ライン２１４（上記投影ライン２０４に相当）との交点（交点座標）を、当該定義点２１２’に対応する３Ｄ顔密形状データ上の３Ｄ点（α’）と定める。このように補間により求めた３Ｄ点のことを補間３次元点（補間３Ｄ点）α’という。

ただし、補間３Ｄ点α’の設定方法は、上記投影ライン２１４と投影パッチとの交点（交差）位置に設定する方法に限らず、例えば先ず投影ライン２１４と交差する投影パッチを設定しておき、この投影パッチを形成する複数の３Ｄ点を用いた補間によって該投影パッチ内の任意の点を設定するようにしてよい。なお、投影ラインと３Ｄ顔密形状データとの交点に３Ｄ点が存在しないときには必ず補間処理して該当する３Ｄ点を設定せずともよく、存在しないところはそのままにしておき、存在する３Ｄ点のみで３Ｄ特徴ラインを構成してもよい。

ところで、各特徴抽出用ライン（例えば特徴抽出用ラインａｂ）における定義点の個数は個人毎に定義するのではなく、予め決めておいた既定値としての個数を使用する。換言すれば、各特徴抽出用ラインの定義点の設定個数は固定されており、何れの認証対象者に対しても同じ特徴抽出用ラインを選択したときの定義点の個数が同じとなるよう統一されたものとなっている。また、定義点は特徴抽出用ライン全体において均等（等間隔）に配置してもよいし、不均等に配置してもよい。この不均等な配置の場合、例えば特徴部位の形状が良く表れるつまり特徴部位の形状情報が的確に反映される配置位置となるように、特徴抽出用ライン上の所定範囲において定義点を集中的に配置するようにしてもよい。具体的には、例えば図１３（ａ）に示す特徴抽出用ラインＡＢ（右目尻Ａ及び左小鼻Ｂを結ぶライン）において、図１３（ｂ）に示すように、鼻の部分を含む範囲２６１は定義点の配置間隔を狭く（小間隔に）して、すなわち鼻の部分は定義点を密に配置し、それ以外の部分つまり鼻の部分を含まない範囲２６２は配置間隔を広くする（粗な配置にする、大間隔にする）設定としてもよい。なお、この配置間隔が狭い範囲或いは広い範囲についても、定義点は均等配置でもよいし不均等配置でもよい。

また、上記特徴抽出用ラインは、図１４（ａ）に示すように１本のラインつまり１画素相当の幅のラインでなくともよく、図１４（ｂ）に示すように複数本つまり数画素分のラインから構成された所謂帯状（リボン状）のラインであってもよい。換言すれば、３Ｄ顔密形状データ上へ投影する定義点は、１本の特徴抽出用ライン上の点として設定（選択）してもよいし、複数本に跨って設定してもよい（この複数本の特徴抽出用ラインからなるものを「特徴抽出用帯状ライン」と表現する）。特徴抽出用帯状ラインは、同じ特徴抽出用ライン、つまり同じ定義点の配置位置を有する特徴抽出用ラインが互いに平行（並列）に同じ向きで複数本纏められてなる。この特徴抽出用帯状ラインは、中央に位置する特徴抽出用ラインが特徴点（ａ、ｂ）を通るライン（特徴抽出用ラインａｂ）となるように、換言すれば特徴抽出用ラインａｂを中央ラインとしてこの両側に所定数の特徴抽出用ラインを配置するようにして定めてもよい。ただし、この特徴抽出用帯状ラインは１つの領域として扱うのではなく、あくまでも各特徴抽出用ラインを独立したものとして扱う、つまり特徴抽出用ライン毎に、各定義点を投影してこれに対応する３Ｄ点を選択しようとする動作を行う。

このように複数の特徴抽出用ラインとするのは次の理由による。すなわち、１本の特徴抽出用ラインである場合、上記右目頭ａ及び左小鼻ｂの位置が異なるなどして特徴抽出用ラインに少しでも位置ズレ（誤差）が生じると、これまで３Ｄ特徴ラインとして抽出されていた３Ｄ点（投影ラインと３Ｄ顔密形状データとの交点）がそうでなくなる、つまり投影ラインと３Ｄ顔密形状データとの交点位置が３Ｄ点でなくなる（代わりに補間処理によって当該３Ｄ点が算出されるようになる）。したがって、当該特徴抽出用ラインに対応する３Ｄ点の選択における裕度を確保するべく或いは選択に余裕（幅）をもたせるべく、各位置の定義点の個数を増やして（図１４（ｂ）では各位置において５個の定義点を並置している）、当該定義点に対応する３Ｄ点が補間処理に依らず直接選択される確率つまり各定義点からの投影ラインと３Ｄ顔密形状データ上の３Ｄ点とが交差する確度（精度）を高めるものである。

この特徴抽出用帯状ラインを用いて、該特徴抽出用帯状ラインを構成する特徴抽出用ラインそれぞれに対応する３Ｄ特徴ライン、すなわち図１４（ｂ）の場合は５本の３Ｄ特徴ラインが求められる。この場合、特徴抽出用ライン毎に定義点が３Ｄ顔密形状データに投影されて、投影ラインとの交点位置の３Ｄ点（及び交点でない位置での補間３Ｄ点）が特定されて、該特徴抽出用ライン毎の３Ｄ特徴ラインが決定される。

なお、これに限らず、図１４（ｂ）に示すように、特徴抽出用帯状ラインにおける例えば位置２７０の５つの定義点における定義点２７１に対して３Ｄ点が定まり、位置２８０の５つの定義点における定義点２８１に対して３Ｄ点が定まる（各位置のその他の定義点の投影位置には３Ｄ点は存在しない）、というように各特徴抽出用ラインの各位置の定義点における３Ｄ点が決定され、これら３Ｄ点を結んでなる例えば１本のラインが３Ｄ特徴ラインとなるようにしてもよい。つまり特徴抽出用帯状ラインから、この特徴抽出用帯状ラインを構成する特徴抽出用ラインの本数より少ない３Ｄ特徴ラインが決定される構成であってもよい。

なお、図１４（ｂ）では特徴抽出用帯状ラインは５本の特徴抽出用ラインからなるが、この本数に限定されない。ただし、本数が多くなり過ぎると扱うデータ量が増えて処理の負荷が大きくなるので、こうならないように且つ上記選択の裕度が確保されるような適正な本数が設定される。

また、上記図８に示すように最特徴部分（上記では鼻）を含む１本（或いは並列複数本）だけの特徴抽出用ラインを設定する方法でなくともよく、例えば図１５に示すように、３Ｄ顔部位形状データにおける顔の特徴部位（目、眉、鼻、口等）以外を含むように複数本のラインを用いて任意な方向に組み合わせてなる特徴抽出用ライン（これを「組合特徴抽出用ライン」という）３０１を設定してもよい。同様に、この組合特徴抽出用ライン３０１の各定義点を３Ｄ顔密形状データに対して投影することで、図１６に示すような３Ｄ特徴ライン（これを「組合３Ｄ特徴ライン」という）３１１が得られる。このように顔の特徴部位以外を含むように３Ｄ特徴ラインを設定することで、後述の２Ｄ認証との多重照合時（多重類似度による認証判定時）における認証精度の向上を図ることができる。

図１５に示す組合特徴抽出用ライン３０１において、例えば、右目頭ａ及び右口端ｃの特徴点Ｑｊを結んだ特徴抽出用ラインａｃ、或いは右目尻ｄ及び右小鼻ｅの特徴点Ｑｊを結んだ特徴抽出用ラインｄｅに対して、図１６に示す組合３Ｄ特徴ライン３１１の３Ｄ特徴ラインａ’ｃ’或いは３Ｄ特徴ラインｄ’ｅ’が当該頬の３Ｄ形状情報を含むラインとして得られる。この頬部分は、鼻部分ほどの３Ｄ形状の起伏は見られないものの、人それぞれにより異なる起伏となっており、当該３Ｄ特徴ラインａ’ｃ’や３Ｄ特徴ラインｄ’ｅ’は、２Ｄ画像上では取得が困難である（表現し難い）特徴を扱うことが可能な、認証において有効な３Ｄ形状情報を含む３Ｄ特徴ラインとなっている。特徴抽出用ラインは上記特徴抽出用ラインａｃ、ｄｅに限らず、一般的な目頭と目尻とを結ぶラインや、上唇と下唇とを結ぶラインなど、種々のラインが設定可能である。ただし、特徴抽出用ラインは、隠れなどのオクルージョンに強いラインを複数設定しておくことが望ましい。

３Ｄ特徴ライン抽出部１９ａは、上述の方法に限定されず、例えば下の方法によって３Ｄ顔密形状データ上の３Ｄ特徴ラインを設定してもよい。すなわち、標準の３次元モデル（３Ｄモデル；上記標準モデルと同じ）上に、標準として定める所定の特徴抽出用ライン（標準特徴抽出用ラインという）を、つまり標準特徴抽出用ラインを構成する各定義点（標準定義点という）を予め設定しておき、３Ｄ顔密形状データに対して該標準モデルをフィッティングさせて、標準モデルが３Ｄ顔密形状データに最も類似した状態において、該標準モデル上の標準特徴抽出用ラインに対応する３Ｄ顔密形状データ上の３Ｄ特徴ラインを抽出するようにしてもよい。

この方法について具体的に説明する。先ず上記フィッティングとは、以下の（５）式に示すエネルギー関数ｅ（Ｔ）が最小となるように制御点群Ｔを用いて標準モデルを変形させて、３Ｄ顔密形状データに合致させるようにすることである。換言すれば、評価関数ｅ（Ｔ）の値を小さくする方向に標準モデルを変形していくことである。
ｅ（Ｔ）＝ｗ_ｏｕｔ＊ｅ_ｏｕｔ（Ｔ）＋ｗ_ｉｎ＊ｅ_ｉｎ（Ｔ） ・・・（５）
但し、各項は以下のように定義される。
ｅ_ｏｕｔ（Ｔ）：３Ｄ顔密形状データの３Ｄ点と標準モデルとの差分エネルギー（外部エネルギー）
ｅ_ｉｎ（Ｔ）：過剰な変形を回避するための安定化エネルギー（内部エネルギー）
ｗ_ｏｕｔ、ｗ_ｉｎ：それぞれのエネルギーのウエイトパラメータ
Ｔ：標準モデルの変形制御点

かかるフィッティングにより、図１７に示すように標準特徴抽出用ライン（標準定義点）が設定された標準モデル４０１の形状を、３Ｄ顔密形状データ４０２の形状に近づける（合致させる）ように変形する。この変形の結果、通常は、標準モデル４０１は３Ｄ顔密形状データ４０２に完全には一致せず、例えば変形標準モデル４０１’のように変形される。なお、図１７に示す３Ｄ顔密形状データ４０２は、この各３Ｄ点αを顔の上方から見下ろした場合の概念的な断面図である。

このように標準モデル４０１’は３Ｄ顔密形状データ４０２と完全には一致しないため、標準モデル４０１’における標準特徴抽出用ライン上の各定義点を３Ｄ顔密形状データ４０２上へ投影することでこの各定義点に対応する３Ｄ点からなる３Ｄ特徴ラインを抽出する。具体的には、例えば図１８に示すように、これら標準特徴抽出用ライン上の各定義点を所定の位置すなわち投影中心４０３から３Ｄ顔密形状データ４０２上へ球投影し、すなわち投影中心４０３から放射状に延びた各定義点を通る投影ライン４０４が３Ｄ顔密形状データ４０２による３Ｄ形状と交差する位置を投影位置とし、当該３Ｄ顔密形状データ４０２上の投影位置における３Ｄ点αの集合体としてのラインを３Ｄ特徴ラインと定める。

この場合も投影方法は「球投影」に限定されず、「軸投影」でもよい。また例えば所定の平面を定め、標準特徴抽出用ラインの定義点をこの平面の法線方向に３Ｄ顔密形状データ４０２上へ射影するような射影方法であってもよい。要は、３Ｄ顔密形状データに対する定義点の投影方向が定義されるのであれば何れの投影方法も採用可能である。本実施形態のような標準モデル上の特徴抽出用ラインを３Ｄ顔密形状データに投影する場合も、上記図１２での説明と同様、定義点の投影位置に３Ｄ点αが存在しない場合、投影パッチ等を設定して投影位置周辺の各３Ｄ点を用いて補間処理により補間３Ｄ点を算出するようにしてもよい。また、標準モデル上の特徴抽出用ラインも上記図１４（ｂ）に示すように複数本の特徴抽出用ラインからなる特徴抽出用帯状ラインであってもよい。この場合も、特徴抽出用帯状ラインの各定義点を３Ｄ顔密形状データに投影して３Ｄ特徴ラインを抽出する方法は上述と同様の方法でよい。これ以外の３Ｄ特徴ラインの抽出方法についても上述と同様に種々の変形例が採用可能である。なお、図１８は、３Ｄ顔密形状データ４０２及び標準モデル４０１’を顔の側方から見た場合の概念的な断面図である。また、上記投影中心４０３は、３Ｄ顔密形状データの顔を球と見なした場合の該球の中心点としている。

上記標準モデル４０１上に設定する標準特徴抽出用ライン（標準定義点）は、任意なものでよい。例えば上記図８、９に示す特徴抽出用ラインａｂを含み、顔を謂わば“輪切り”するような特徴抽出用ライン（特徴点間を含むように輪切りしたライン）、つまり特徴抽出用ラインａｂを両端からさらに顔の側面側へ延長して、頬や額などの顔の特徴が現れ難い部位のラインも併せ持つ全体的な標準特徴抽出用ラインを設定してもよい。また、例えば図１９（ａ）、（ｂ）及び（ｃ）に示す３Ｄ特徴ラインが得られるような標準特徴抽出用ラインを標準モデル上に設定してもよい。すなわち図１９（ａ）では、顔の横方向に上記輪切りされるような標準特徴抽出用ラインを顔の上下方向において所定間隔で複数本設定している。図１９（ｂ）では、顔の縦方向に当該輪切りされるような標準特徴抽出用ラインを顔の左右方向において所定間隔で複数本設定している。図１９（ｃ）では、謂わば等高線となるような標準特徴抽出用ラインを顔の奥行き方向に（耳から鼻の頂点へ向けて）所定間隔で複数本設定している。この場合、各標準特徴抽出用ラインの間隔は等間隔でもよいし、不等間隔でもよい。

標準モデルにこれら特徴抽出用ラインを設定するに際して、特徴部位の情報に基づいて設定してもよい。すなわち先ず特徴点を通る基準ラインを決めておいて、この基準ラインに対して所定間隔に各特徴抽出用ラインを設定するようにしてもよい。勿論、特徴部位（特徴点）の情報に基づかずに定めてもよい。

また、これに限らず、標準モデル４０１上に上記図１５の組合特徴抽出用ラインに示すような複数の標準特徴抽出用ラインを組み合わせてなる標準特徴抽出用ラインを設定してもよい。また、上記図１４での説明と同様、標準特徴抽出用ラインは、１本のラインつまり１画素相当の幅のラインでなくともよく、複数本つまり数画素分のラインから構成された帯状のラインであってもよい。

ところで、上述では、フィッティングによって標準モデルは３Ｄ顔密形状データに完全には一致しないという前提であったが、フィッティングによって標準モデルが３Ｄ顔密形状データに完全に一致してもよい。すなわち、標準モデルを３Ｄ顔密形状データと全く同じ形となるように変形し、この変形した標準モデル上の標準特徴抽出用ライン（この標準特徴抽出用ラインも標準モデルの変形に伴い変形している）を３Ｄ特徴ラインとして抽出するようにしてもよい。

なお、顔は左右対称であることからも、抽出する各３Ｄ特徴ラインは、顔における左右対称の位置に配置されていることが好ましい。また、目領域はサングラスなどで隠される場合があり、口領域は髭などの影響で３Ｄ計測できない場合があるため、抽出する３Ｄ特徴ラインは少なくとも、当該隠れたり３Ｄ計測不能となりにくい部分である、鼻及び頬を含む（額は髪で隠れる可能性が高い）ことが望ましい。

３Ｄ特徴量抽出部１９ｂは、３Ｄ特徴ライン抽出部１９ａにより抽出された３Ｄ特徴ラインの情報から３Ｄ顔特徴量を抽出するものである。すなわち、各３Ｄ特徴ライン内の複数の３Ｄ点の情報に基づいて、３Ｄ特徴ラインごとに３次元情報の計算を行い３Ｄ顔特徴量を算出する。当該算出方法は、例えば３Ｄ特徴ラインを曲線に近似することにより（曲線近似により）３Ｄ顔特徴量を算出する方法であってもよい。

上記曲線近似には、例えばベジェ曲線、エルミート曲線、有理ベジェ曲線、Ｂスプライン曲線、ＮＵＲＢＳ（Non Uniform Rational B-Spline）曲線など、種々の曲線を用いることができる。ここでベジェ曲線を用いた場合について説明する。

ベジェ曲線は、制御点と呼ばれる複数の点Ｐ_ｉ（制御点Ｐ_ｉ）によって定義した曲線であり、このとき制御点Ｐ_ｉは曲線の両端点と概形とを定める。ベジェ曲線は、通常、パラメータ区間ｔ∈［０，１］において定義される多項式曲線であり、以下の（６）式で与えられる。

上記（６）式に示すように、ベジェ曲線上の点Ｐ（ｔ）は、制御点Ｐ_ｉの荷重平均となっている。パラメータｔが変化すると、各制御点に対する重みＢ^ｎ _ｉ（ｔ）が連続的に変化して、点Ｐ（ｔ）が連続的に移動する。換言すれば、ベジェ曲線は、制御点Ｐ_ｉ（の座標値）を制御することでベジェ曲線の形状を変化させて上記３Ｄ特徴ラインの形状に近似させる。当該近似させたベジェ曲線の形状情報（曲線情報）を３Ｄ特徴ラインの形状情報（ライン形状情報という）として求める。

ところで、このベジェ曲線は、この性質の他に以下の性質を有している。
（ａ）凸包性：パラメータ区間ｔ∈［０，１］における曲線は、制御点の構成する凸包の内部に存在する。
（ｂ）変動減少性：曲線は、制御点列の形状を滑らかにした形になる（滑らかにフィッティングできる）。
（ｃ）疑似局所制御性：制御点を移動させると、その制御点に対応する曲線部分が大きく変形する（制御点の僅かな変化が曲線部分の大きな変化となって現れる；変化量が大きい）。
（ｄ）直線再現性：制御点を直線上に配置すると、曲線は直線になる。
（ｅ）アフィン不変性：曲線にアフィン変換を施した結果と、アフィン変換を施した制御点から得られる曲線とが等しくなる。
ベジェ曲線は、これらの性質、特に（ｂ）、（ｃ）の性質を有しているため、３Ｄ特徴ラインの特徴をより的確に表現することができる。

このようなベジェ曲線を用いて、同様に顔の各３Ｄ特徴ラインについてライン形状情報、すなわち各３Ｄ特徴ラインの３Ｄ特徴ベクトルつまり３Ｄ顔特徴量を求める。そして、この各３Ｄ特徴ラインに対して求められた各ライン形状情報（３Ｄ顔特徴量）を１つに合わせてトータルの３Ｄ顔特徴量（顔３Ｄ特徴ベクトルという）を求める。ただし、これに限らず、このトータルの３Ｄ顔特徴量の情報に対して、さらに各３Ｄ特徴ライン（或いは各ライン形状情報）間の相対位置関係つまり相互の距離や傾き等の情報を加えるようにしてもよく、この場合、顔の全体的な特徴を示す“大域形状情報”を扱うことができるようになるので、当該３Ｄ顔特徴量がより一層個人認証に適したものとなる。

上記３Ｄ顔特徴量を抽出する３Ｄ特徴ラインは、少なくとも顔の特徴部位（上記目、眉、鼻、口など）以外の部位を含む３Ｄ特徴ラインであることが好ましい。換言すれば、３Ｄ顔特徴量は、特徴が無い或いは少ない、つまり２Ｄ特徴量（特徴部位、２Ｄ画像）では特徴が出にくい部位である「額」や「頬」などの部位（表面の凹凸変化が少ない謂わば平坦な部位）を含む３Ｄ特徴ラインから抽出したものであることが好ましい。これにより、２Ｄ認証との多重照合時、すなわち後述の多重類似度による認証判定時において、特徴の有る部位から得た特徴量（２次元的に得た特徴量）はもちろんのこと、特徴が出にくい部位の特徴量（３次元的に得た特徴量）の情報も用いて、より高い精度での認証を行うことが可能となる。

なお、このように３Ｄ顔特徴量を３Ｄ特徴ベクトル（ベクトル量）として扱うことができるので、この算出した３Ｄ顔特徴量（３Ｄ特徴ベクトル）、或いは後述における予め用意する比較特徴量（上記３Ｄ顔特徴量の３Ｄ特徴ベクトルに対応する比較用の３Ｄ特徴ベクトル；比較用ベクトル量）を、例えばコントローラ１０の記憶部３などに登録（記憶）しておく場合、上記３Ｄ顔密形状データ（各３Ｄ点の座標情報）そのものを登録する場合と比べて、３Ｄ特徴ベクトルを登録する方が登録データ量が少なくて済むすなわちメモリ容量が小さくて済むなど、データの取り扱い性が良くなる。

３Ｄ特徴量抽出部１９ｂは、以下の方法によって３Ｄ特徴ラインの情報から３Ｄ顔特徴量を抽出してもよい。すなわち、３Ｄ顔密形状データから得られた３Ｄ特徴ラインを以下の（７）式に示す３Ｄ座標ベクトルｘ^Ｓとして、３Ｄ顔特徴量の抽出を行ってもよい。
ｘ^Ｓ＝（Ｘ_１，Λ，Ｘ_Mcount，Ｙ_１，Λ，Ｙ_Mcount，Ｚ_１，Λ，Ｚ_Mcount）^Ｔ ・・・（７）

なお、この場合、特徴選択による次元削減処理を行ってもよい。特徴選択とは、形状情報から、顔認証に適した特徴を選び出すことにより次元を圧縮し、顔認証に使用する顔情報量を得ることである。この特徴選択は、複数の３Ｄ特徴ラインに対して行う。特徴選択の手法としては、例えば多くのサンプルデータを用いた統計的手法が用いられる。この場合、先ず特徴量ｘのサンプルセットをＫＬ展開を適応することによって特徴量ｃに次元圧縮する（以下（８）式参照）。
但し、右辺第１項の記号「ｘバー」は平均の特徴量、記号「Ｐ」は変化の正規モード（固有ベクトル）のセットを表す。

さらに、特徴量ｃで張られる特徴空間を学習によって個人性を表す分部空間と属性を表す分部空間とに分割する。次に、この特徴量ｃの次元を変換Ａによってｎ次元からｋ次元（特徴ベクトルｄ）に低減させる（以下（９）式参照）。
ｄ＝Ａ^ｔｃ ・・・（９）
但し、記号「Ａ」はｎ×ｋの行列を表す。

上記変換Ａを決定する手法としては、次の幾つかの方法が提案されている。
（イ）特徴空間の各主成分の中から、級内分散と級間分散との比率（Ｆ比）が大きい主成分をｋ個選び出すことで、個人性を表す部分空間を求める（ＰＣＡ（Principle Component Analysis）法）。
（ロ）特徴空間から、クラス間分散とクラス内分散との差が大きくなるような射影空間を求める（ＥＭ（Eigenspace Method）法）。
（ハ）特徴空間から、クラス間分散とクラス内分散との比が大きくなるような射影空間を求める。これはＦｉｓｈｅｒの判別分析法を多クラスの問題に一般化した重判別分析法である（ＭＤＡ（Multiple Discriminant Analysis）法）。

また、３Ｄ特徴量抽出部１９ｂは、以下の方法によって３Ｄ特徴ラインの情報から３Ｄ顔特徴量を抽出してもよい。この方法では特徴量として３Ｄ特徴ラインの曲率のデータを用いる。曲線上の点Ｐ_０を基点として、ここから曲線上の或る点Ｐ（位置ベクトルｒ_Ｐで表されるとする）までの距離をｓとすると、点Ｐの位置ベクトルｒ_Ｐは、ｓによって、以下の（１０）式と表すことができる。
ｒ_Ｐ＝ｒ（ｓ） ・・・（１０）
同様にして、曲線上の点Ｑ（点Ｐ_０からの距離はｓ＋Δｓ）は、以下の（１１）式で表される。
ｒ_Ｑ＝ｒ（ｓ＋Δｓ） ・・・（１１）

ここで、点Ｐ上の曲線に対する接線方向の単位ベクトルｔ（ｓ）は、以下の（１２）式で表される。
ｄｒ_Ｐ／ｄｓ＝ｔ（ｓ） ・・・（１２）
但し、記号「／」は除算を示す（以降同じ）。
また、点Ｑ上の曲線に対する接線方向の単位ベクトルｔ（ｓ＋Δｓ）は、以下の（１３）式で表される。
ｄｒ_Ｑ／ｄｓ＝ｔ（ｓ＋Δｓ） ・・・（１３）

点Ｐ及び点Ｑでの接線の単位ベクトルｔ（ｓ）、ｔ（ｓ＋Δｓ）のなす角度をθとして、Δｓを限りなく小さくしていくと、以下の（１４）式が得られる。
ｘ＝１／Ｒ ・・・（１４）
但し、記号「ｘ」は曲率、記号「Ｒ」は曲率半径を表す。
このように得られた曲率を、特徴ベクトル（３Ｄ特徴ベクトル；３Ｄ顔特徴量）として用いてもよい。

類似度計算部２０は、予め登録された比較対象者の顔特徴量（比較用特徴量という）と、上述で算出された認証対象者ＨＭの顔特徴量すなわち２Ｄ顔特徴量（２Ｄ特徴ベクトルの特徴量）及び３Ｄ顔特徴量（３Ｄ特徴ベクトルの特徴量）との類似性の評価を行う。具体的には、上記比較用特徴量と２Ｄ顔特徴量及び３Ｄ顔特徴量とに基づいて類似度計算を行い、それぞれ２次元類似度（２Ｄ類似度；Ｌ）及び３次元類似度（３Ｄ類似度；Ｄ）を算出し、さらにこれら２Ｄ類似度及び３Ｄ類似度を用いて多重類似度を算出する。先ず、２Ｄ類似度の算出について説明する。

＜２Ｄ類似度の計算＞
認証対象者ＨＭと比較対象者との２Ｄ類似度Ｌは、以下の（１５）式に示すように、上記２Ｄ特徴量抽出部１７ｂにおいてＧａｂｏｒフィルタによるフィルタ処理をＦ個の特徴点に対して行い、これにより抽出（生成）されたＦ個の特徴ベクトルの類似度Ｓ_Ｄ（Ｊ_ｉ，Ｊ_ｉ’）を積算した値の平均値として与えられる。

但し、上記（１５）式において、２Ｄ類似度Ｌは、算出された特徴ベクトルの特徴量をＧ、登録されている特徴量をＧ’とすると、これらの類似度Ｌ（Ｇ，Ｇ’）として表現している。また、上記（１５）式中の記号「ｉ」は特徴点の個数を表し、ｉ＝１〜Ｆ（個）を示す。

上記（１５）式における類似度Ｓ_Ｄ（Ｊ_ｉ，Ｊ_ｉ’）は、以下の（１６）式で定義される。
但し、上記（１６）式中の記号「Ω」は原点近傍（０変位近傍）の局所領域を表す。また、記号ｄベクトルは位相差を表す。

また、上記（１６）式中のＳ_Ｄ（Ｊ_ｉ，Ｊ_ｉ’，ｄベクトル）は、位相類似度に変位修正を考慮した以下の（１７）式により与えられる。この（１７）式は、振幅の相関を位相角の類似度で重み付けした形をしている。

但し、上記（１７）式中の記号「Ｊ」は、Ｊ＝（ａ_１，ａ_２，ａ_３，・・・，ａ_Ｎ，φ_１，φ_２，・・・，φ_Ｎ）であり、Ｎは複素Ｇａｂｏｒフィルタ（上記虚部と実部とのＧａｂｏｒフィルタのセット）の数である。また、記号「ａ」は振幅を、記号「φ」は位相を表す。また、ｋ_ｊベクトルは、ｊ番目の２次元波の方向を向き、且つ周波数の大きさを有するベクトルであって、以下の（１８）式により与えられる。

なお、Ｇａｂｏｒフィルタを使用しない場合には、２Ｄ類似度の計算は、後述する３Ｄ類似度算出と同様に、ユークリッド距離による算出でも可能である。

＜３Ｄ類似度の計算＞
認証対象者ＨＭと比較対象者との３Ｄ類似度、すなわち形状特徴量の類似度Ｄは、互いに対応するベクトル（３Ｄ特徴ベクトルｄ^Ｓ）同士間のユークリッド距離の合計を算出することにより得ることができる。ここで、抽出された特徴量データｄと登録されている特徴量データｄ’との比較を行う。抽出された特徴量データ数と登録されている特徴量データ数とが同じ、すなわち抽出した３Ｄ特徴ラインのライン数と、この３Ｄ特徴ラインと比較するための予め登録されている特徴ライン（比較用３Ｄ特徴ラインという）のライン数とが１対１に対応している（或る１本の３Ｄ特徴ラインに対応する登録３Ｄ特徴ラインも１本となっている）場合は、３Ｄ類似度Ｄは以下の（１９）式で表される。

但し、記号「ｊ」は３Ｄ特徴ライン数（１，２・・・Ｋ，Ｎ）を示す。また、記号「ｗ_ｊ」は信頼度を示す。

登録されている特徴量データ数（比較用３Ｄ特徴ライン数）が各位置（３Ｄ特徴ラインが設定された顔の各位置）において１ライン（１本）であり、一方、抽出した特徴量データ数（３Ｄ特徴ライン数）が当該各位置においてｋ_ｊライン（ｋ_ｊ本）である場合、例えば以下の２通りの方法が採用される。

（Ｉ）上記抽出したｋ_ｊラインの３Ｄ特徴ライン（３Ｄ特徴ベクトル）のうちから、比較用３Ｄ特徴ライン（比較用３Ｄ特徴ベクトル）に対するユークリッド距離が一番小さくなる３Ｄ特徴ライン（３Ｄ特徴ベクトル）を選択して使用する。この場合の３Ｄ類似度Ｄは以下の（２０）式で表される。

（II）上記抽出したｋ_ｊラインの３Ｄ特徴ライン（３Ｄ特徴ベクトル）を全て使用し、上記各位置において、比較用３Ｄ特徴ライン（比較用３Ｄ特徴ベクトル）に対する該３Ｄ特徴ライン１ライン毎の重みが均等となるような重みＷ’_ｉｊを設定する。この場合の３Ｄ類似度Ｄは以下の（２１）式で表される。

＜多重類似度の計算＞
認証対象者ＨＭ（認証対象物）と比較対象者（比較対象者）との総合的な類似度である多重類似度は、以下の（２２）式に示すように、上記２Ｄ類似度及び３Ｄ類似度の各類似度に対しての重み付け和により算出される。なお、多重類似度をＲｅで表す。

但し、上記（１１）式中の記号「Ｗ」は所定の重み付け係数を表す。ここでは、この重み付け係数Ｗは予め決められた固定値として与える。

登録データ記憶部２１は、予め用意された比較対象者の顔特徴量（比較特徴量、比較用顔特徴量）の情報を記憶しておくものである。

判定部２２は、多重類似度Ｒｅに基づいて認証判定を行うものである。認証判定は、顔照合（Verification）の場合と顔識別（Identification）の場合とで、その手法が以下（α）、（β）のように異なる。
（α）顔照合は、入力された顔（入力顔；認証対象者ＨＭの顔）が特定の登録者（特定登録者）であるか否かを判定するものである。この顔照合では、特定登録者つまり比較対象者の顔特徴量（比較特徴量）と認証対象者ＨＭの顔特徴量との類似度を所定の閾値と比較することで、認証対象者ＨＭと比較対象者との同一性が判定される。具体的には、多重類似度Ｒｅが所定の閾値ＴＨ１よりも小さいときに認証対象者ＨＭが比較対象者と同一人物（本人）であると判定される。なお、この場合の閾値ＴＨ１の情報は判定部２２内に記憶されている（登録データ記憶部２１に記憶されていてもよい）。

（β）顔識別は、入力顔が入力顔が誰のものであるかを判定するものである。この顔識別では、登録されている人物（比較対象者）の顔特徴量と認証対象者ＨＭの顔の特徴量との類似度を全て算出して、認証対象者ＨＭと各比較対象者との同一性をそれぞれ判定する。そして、複数の比較対象者のうち最も高い同一性を有する比較対象者を認証対象者ＨＭと同一人物であると判定する。具体的には、認証対象者ＨＭと複数の比較対象者とのそれぞれの多重類似度Ｒｅのうち、最小の多重類似度Ｒｅ（Ｒｅｍｉｎ）に対応する比較対象者が、認証対象者ＨＭと同一人物であると判定される。

図２０は、本実施形態に係る顔認証の動作の一例を示すフローチャートである。先ず、カメラＣＡ１及びＣＡ２それぞれによる撮影によって認証対象者ＨＭの顔画像が取得され（ステップＳ１）、当該撮影により得られた２枚の顔画像がコントローラ１０（画像入力部１１）に入力される（ステップＳ２）。次に、顔領域検出部１２によって、画像入力部１１に入力された各顔画像から顔領域画像が検出される（ステップＳ３）。この検出された顔領域画像から、顔部位検出部１３によって、顔の特徴部位すなわち特徴点の座標と特徴領域のテクスチャ情報とが検出される（ステップＳ４）。そして、顔部位３Ｄ計算部１４によって、顔部位検出部１３により検出された顔の特徴部位の座標（特徴点の座標）から該各特徴部位の３次元における座標（３Ｄ顔部位形状データ）が算出される（ステップＳ５）。また、姿勢・光源補正部１５によって、顔部位検出部１３により検出されたテクスチャ情報に対する姿勢変動補正及び光源変動補正が行われる（ステップＳ６）。そして、２Ｄ認証部１７によって、当該姿勢変動補正及び光源変動補正されてなる各特徴領域の補正テクスチャ画像から２Ｄ顔特徴量が算出される（ステップＳ７）。

一方、顔領域３Ｄ計算部１８によって、顔領域検出部１２により検出された顔領域画像（ステレオ画像）から、複数の３Ｄ点からなる３Ｄ顔密形状データが算出される（ステップＳ８）。次に、３Ｄ認証部１９において、３Ｄ特徴ライン抽出部１９ａによって、顔領域３Ｄ計算部１８により算出された３Ｄ顔密形状データと、上記ステップＳ５おいて顔部位３Ｄ計算部１４により算出された３Ｄ顔部位形状データとから３Ｄ特徴ラインが算出（抽出）される（ステップＳ９）。そして、３Ｄ特徴量抽出部１９ｂによって、当該３Ｄ特徴ライン抽出部１９ａにより算出された３Ｄ特徴ラインの情報から３Ｄ顔特徴量が算出される（ステップＳ１０）。次に、類似度計算部２０によって、予め登録された比較対象者の顔特徴量（比較用特徴量）と、上記ステップＳ７及びＳ１０において算出された局所２Ｄ顔特徴量及び３Ｄ顔特徴量との類似性の評価が行われる、すなわち、上記比較用特徴量と２Ｄ顔特徴量及び３Ｄ顔特徴量とに基づく類似度計算が行われて、２Ｄ類似度及び３Ｄ類似度、さらにこれら類似度から多重類似度が算出される（ステップＳ１１）。そして、当該多重類似度に基づいて、判定部２２によって、顔照合或いは顔識別の認証判定が行われる（ステップＳ１２）。

図２１は、図２０のステップＳ９における動作の一例を示すフローチャートである。ステップＳ９では、３Ｄ特徴ライン抽出部１９ａによって、先ず顔部位３Ｄ計算部１４により算出された各特徴部位における各特徴点（３Ｄ座標）（３Ｄ顔部位形状データ）に基づいて、特徴抽出用ライン（特徴抽出用ラインを構成する各定義点）が設定（算出）される（ステップＳ２１）。そして、この設定された特徴抽出用ラインにおける各定義点を３Ｄ顔密形状データに対して投影する演算が実行されて（ステップＳ２２）、各定義点に対応する３Ｄ点αが特定されることで３Ｄ特徴ラインが決定される。このとき、定義点の投影位置に３Ｄ点が存在しない箇所は、当該投影位置付近の所定の３Ｄ点αを用いた補間処理によって補間３Ｄ点が算出される（ステップＳ２３）。

以上のように、本実施形態に係る認証システム１によれば、３次元形状取得手段（顔領域検出部１２、顔領域３Ｄ計算部１８）によって、認証対象者ＨＭの顔の全体的な３Ｄ形状である全体３次元形状（全体３Ｄ形状）の情報が取得され、決定手段（３Ｄ特徴ライン抽出部１９ａ）によって、３次元形状取得手段により取得された全体３Ｄ形状情報（３Ｄ顔密形状データ）から、該全体３Ｄ形状上の所定のラインである所定数の３次元ライン（３Ｄライン；３Ｄ特徴ライン）が決定される。また、３次元特徴量算出手段（３Ｄ特徴量抽出部１９ｂ）によって、決定手段により決定された３Ｄラインにおける、全体３Ｄ形状情報の局所的な情報としての局所３次元形状（局所３Ｄ形状）情報から、各３Ｄラインの形状に関するライン形状情報であって、顔の３次元的な特徴量である３Ｄ顔特徴量が算出され、特徴量比較手段（類似度計算部２０、判定部２２）によって、認証対象者ＨＭに対する認証動作を行うべく３次元特徴量算出手段により算出された３Ｄ顔特徴量と、予め用意された比較用顔特徴量とが比較される。

また、本実施形態に係る認証方法によれば、第１の工程において、認証対象者ＨＭの顔の全体的な３Ｄ形状である全体３Ｄ形状の情報が取得され、第２の工程において、全体３Ｄ形状情報から、該全体３Ｄ形状上の所定のラインである所定数の３Ｄラインが決定される。第３の工程において、３Ｄラインにおける、全体３Ｄ形状情報の局所的な情報としての局所３Ｄ形状情報から、各３Ｄラインの形状に関するライン形状情報であって、顔の３次元的な特徴量である３Ｄ顔特徴量が算出される。そして、第４の工程において、認証対象者に対する認証動作を行うべく３Ｄ顔特徴量と予め用意された比較用顔特徴量とが比較される。

これらのように認証システム又は認証方法において、認証対象者の顔の全体３Ｄ形状から所定数の３Ｄラインが決定され、この３Ｄラインにおける局所３Ｄ形状情報から３Ｄ顔特徴量が算出され、この３Ｄ顔特徴量と比較用顔特徴量との比較が行われることで認証対象者に対する認証動作が行われるので、すなわち顔の全体３Ｄ形状の情報をそのまま用いるのではなく、顔全体の３Ｄ形状情報から局所的な情報（３Ｄライン情報；ライン形状情報）を抽出し、この抽出した３Ｄライン情報に基づいて認証を行う構成であるので、顔に部分的な隠れ等が生じたとしても、必ずしもこの隠れ等が生じた部分を用いずともよく、この部分以外の局所情報を用いて認証を行うことができ、認証精度の低下を軽減することができる。また、データ量の多い全体３Ｄ形状（３Ｄデータ）の情報をそのまま扱わなくてもよいため、つまり部分的な３Ｄ形状データを扱えばよいので、処理に時間がかかることなく認証速度を向上させることができる。

また、上記認証システムにおいて、３次元形状取得手段が、顔の２Ｄ画像を取得する２次元画像取得手段（カメラＣＡ１、ＣＡ２）を備えたものとされ、特徴部位抽出手段（顔部位検出部１３）によって、２次元画像取得手段により取得された２Ｄ画像から顔の特徴的な部位である特徴部位が抽出される。そして、３次元座標算出手段（顔部位３Ｄ計算部１４）によって、特徴部位抽出手段により抽出された特徴部位の３Ｄ座標（Ｍ^（ｊ））が算出され、決定手段によって、３次元座標算出手段により算出された特徴部位の３Ｄ座標に基づいて３Ｄラインが決定される。

また、上記認証方法において、第１の工程が、顔の２Ｄ画像を取得する第５の工程を含む工程とされ、第６の工程において、２Ｄ画像から顔の特徴的な部位である特徴部位が抽出される。また、第７の工程において、特徴部位の３Ｄ座標が算出される。そして、上記第２の工程において、特徴部位の３Ｄ座標に基づいて３Ｄラインが決定される。

これらのように認証システム又は認証方法では、２Ｄ画像から顔の特徴的な部位である特徴部位が抽出されてこの特徴部位の３Ｄ座標が算出され、この３Ｄ座標に基づいて３Ｄラインが決定されるので、３Ｄラインを決定するに際して２次元的な特徴部位の情報と関連付けることができ、当該３Ｄラインの情報と共に特徴部位の情報を用いた高精度の認証を行うことが可能となる。

また、上記認証システムにおいて、決定手段によって、３Ｄラインを抽出するための抽出用ライン（特徴抽出用ライン）であって、特徴部位の３Ｄ座標点間を結ぶ抽出用ラインが設定されるとともに、全体３Ｄ形状上の該抽出用ラインに対応するラインが３Ｄラインとして決定されるので、抽出用ラインを３Ｄ座標点間（例えば図９に示す点ａｂ間）を結ぶことで容易に設定することができ、当該設定した抽出用ラインを用いて３Ｄラインを容易に決定することができる。

また、上記認証システムにおいて、全体３Ｄ形状情報が、複数の３Ｄ点からなる顔の形状データとされ、決定手段によって、抽出用ライン上に定義された複数の定義点が所定の投影中心（例えば図１０に示す投影中心２０３）から全体３Ｄ形状上に投影されてなる投影点に対応する３Ｄ点に基づいて３Ｄラインが決定されるので、投影という簡易な方法で容易に且つ確実に抽出用ラインから３Ｄラインを決定することができる。

また、上記認証システムにおいて、抽出用ライン上の定義点が等間隔に配置されているので、当該定義点からなる抽出用ラインの設定が容易となる。

また、上記認証システムにおいて、抽出用ライン上において定義点が顔の凹凸の程度が大きい場所すなわち顔の特徴が良く表される場所で密に配置されているので（図１４（ｂ）参照）、抽出用ラインを用いて求めた３Ｄラインから得られる３Ｄ顔特徴量に対して、顔の特徴情報を確実に反映することが可能となる。

また、上記認証システムにおいて、決定手段によって、予め用意された顔の３Ｄモデル形状であって、３Ｄラインを抽出するための抽出用ラインが該３Ｄモデル形状上に設定されてなる標準モデル（例えば図１７（ｂ）に示す標準モデル４０１）が、全体３Ｄ形状（例えば３Ｄ顔密形状データ４０２）に近づけられるべく変形され、すなわち、予め抽出用ラインが設定された標準モデルが全体３Ｄ形状に近づくように（合致するように）変形され、該変形された標準モデル上の抽出用ラインに対応する全体３Ｄ形状上のラインが３Ｄラインとして決定されるので、２Ｄ画像を取得したり、この２Ｄ画像から特徴部位（２Ｄ顔特徴量）を抽出するとともに抽出用ラインを設定する等の動作及び構成を必要とせず、容易に全体３Ｄ形状における３Ｄラインを決定することができる。

また、上記認証システムにおいて、全体３Ｄ形状情報が、複数の３Ｄ点からなる顔の形状データとされ、決定手段によって、変形した標準モデル上の抽出用ライン上に定義された複数の定義点が所定の投影中心（例えば図１８に示す投影中心４０３）から全体３Ｄ形状上に投影されてなる投影点に対応する３Ｄ点に基づいて３Ｄラインが決定されるので、投影という簡易な方法で容易に且つ確実に抽出用ラインから３Ｄラインを決定することができる。

また、上記認証システムにおいて、決定手段によって、全体３Ｄ形状上の投影点の位置に３Ｄ点が存在しない場合に（図１２に示す位置２１３参照）、該投影点近傍の３Ｄ点を用いた補間処理により算出された補間３Ｄ点を用いて３Ｄラインが決定されるので、全体３Ｄ形状上の投影点の位置に３Ｄ点が存在しない場合であっても、補間３Ｄ点（α’）を用いて３Ｄラインを決定することができ、ひいては顔の特徴が精度良く反映された３Ｄ顔特徴量を得ることができる。

また、上記認証システムにおいて、抽出用ラインが複数本のライン（抽出用ライン）からなるものとされるので（図１４（ｂ）参照）、抽出用ラインに対応する３Ｄラインの決定において、抽出用ライン上の定義点を例えば全体３Ｄ形状上に投影して３Ｄラインを構成する３Ｄ点を選択する際の裕度を確保するといったことが可能となり、ひいては抽出用ラインを用いて複数のラインを帯状に複数本選択することでズレの軽減が可能になり、精度良くライン抽出ができる。

また、上記認証システムにおいて、３次元特徴量算出手段によって、３Ｄラインにおける局所３Ｄ形状情報が所定の曲線（例えばベジェ曲線）情報に変換されたものがライン形状情報として算出される（３Ｄラインの局所領域形状情報として、３Ｄラインにおける局所３Ｄ形状情報が所定の曲線情報に変換されたものが用いられる）ので、すなわち３Ｄ形状情報がそのまま用いられるのではなく、これを変換して曲線情報（例えば曲率）として扱う構成であるので、次元圧縮が可能となり、処理が高速となる。

また、上記認証システムにおいて、３次元特徴量算出手段によって、３Ｄ顔特徴量として、各３Ｄラインの相対位置関係の情報も含む３Ｄ顔特徴量が算出される、すなわち３Ｄ顔特徴量が各３Ｄラインの相対位置関係の情報も含むものとされるので、この３Ｄ顔特徴量によって、各３Ｄラインにおける個々の特徴だけでなく、顔全体に亘っての特徴を表すことが可能となり（顔の大域形状情報を扱うことができ）、より高精度の認証を行うことが可能となる。

また、上記認証システムにおいて、決定手段によって、所定数の３Ｄラインが顔の左右対称となる位置に配置されるように全体３Ｄ形状における該３Ｄラインが決定されるので、全体３Ｄ形状における３Ｄラインの（位置の）決定が効率良く行えるようになり処理時間が短縮されるとともに、データの取り扱い性が向上する。

また、上記認証システムにおいて、決定手段によって、所定数の３Ｄラインが少なくとも顔の鼻及び頬の部位を含むように全体３Ｄ形状における該３Ｄラインが決定されるので、当該３Ｄラインを、例えば髪で隠れてしまう部位（例えば額）や計測し難い部位（例えば口髭を有する場合の口）を避けて設定することができて、この３Ｄラインから精度良く３Ｄ顔特徴量を算出することができ、ひいては高精度の認証を行うことが可能となる。

また、上記認証システムにおいて、２次元特徴量算出手段（２Ｄ特徴量抽出部１７ｂ）によって、特徴部位抽出手段により抽出された特徴部位の情報から顔の２次元的な特徴量である２Ｄ顔特徴量が算出され、特徴量比較手段によって、２次元特徴量算出手段により算出された２Ｄ顔特徴量と３Ｄ特徴量算出手段により算出された３Ｄ顔特徴量とを併せてなる総合的な顔特徴量と、比較用顔特徴量とが比較されるので、２Ｄ顔特徴量と３Ｄ顔特徴量とを用いたより高精度な認証を行うことが可能となる。

また、上記認証システムにおいて、３次元特徴量算出手段によって、少なくとも顔の特徴部位以外の部位を含む３Ｄラインにおける局所３Ｄ形状情報から３Ｄ顔特徴量が算出されるので、２Ｄ顔特徴量と３Ｄ顔特徴量とを用いた認証（多重認証）を行うに際して、２Ｄ顔特徴量として特徴を抽出し難い特徴部位以外の部位の特徴を、３Ｄ顔特徴量として含むことができ、すなわち２Ｄ顔特徴量でカバーすることができない特徴量を３Ｄ顔特徴量でカバーすることができ、ひいてはより高精度な認証を行うことができる。

また、上記認証システムにおいて、特徴量比較手段によって、複数の３Ｄラインから得られた複数の３Ｄ顔特徴量（３Ｄ特徴ベクトル）と比較用顔特徴量（比較用３Ｄ特徴ベクトル）との間の距離情報（ユークリッド距離の情報）に基づいて比較処理が行われるので、３Ｄ顔特徴量と比較用顔特徴量との個数（３Ｄ特徴ラインと比較用３Ｄ特徴ラインとの本数）が１対１に対応していない場合であっても、容易に特徴量比較手段による比較処理を実行することができる。

また、上記認証システムにおいて、特徴量比較手段によって、複数の３Ｄラインから得られた複数の３Ｄ顔特徴量（３Ｄ特徴ベクトル）と比較用顔特徴量（比較用３Ｄ特徴ベクトル）との間の距離情報（ユークリッド距離の情報）であって、該距離が最小となる場合の最小距離情報に基づいて比較処理が行われるので、３Ｄ顔特徴量と比較用顔特徴量との個数（３Ｄ特徴ラインと比較用３Ｄ特徴ラインとの本数）が１対１に対応していない場合であっても、容易に且つ精度良く特徴量比較手段による比較処理を実行することができる。

また、上記認証システムにおいて、２Ｄ顔特徴量を算出するための特徴部位の情報がテクスチャ情報とされ、補正手段（姿勢・光源補正部１５）によって、当該テクスチャ情報に対して、顔の姿勢に関する補正である姿勢変動補正及び顔に対する光源の向きに関する補正である光源変動補正が行われるので、姿勢変動補正及び光源変動補正がなされたテクスチャ情報に基づいて適正な２Ｄ顔特徴量を得ることができ、ひいてはより高精度な認証を行うことができる。

また、上記認証システムにおいて、３次元形状取得手段において、少なくとも２つの撮影装置（カメラＣＡ１、ＣＡ２）によって顔の２Ｄ画像が撮影され、３次元形状算出手段によって、当該各撮影装置から得られた２枚の２Ｄ画像から位相限定相関法による演算処理で得た対応点に対して３次元再構成を行うことによって全体３Ｄ形状が算出されるので、高価な３次元撮影装置等を用いることなく低コストで、且つ位相限定相関法と３次元再構成処理により精度良く全体３Ｄ形状を算出することができる。

また、上記認証システムにおいて、３次元特徴量算出手段により算出される３Ｄ顔特徴量がベクトル量（３Ｄ特徴ベクトル）とされ、記憶手段（記憶部３）によって、該ベクトル量に対応する比較用顔特徴量（比較用特徴量）としての比較用ベクトル量（比較用の３Ｄ特徴ベクトル）が記憶されるので、すなわち比較用顔特徴量として記憶されるデータが、計測された所謂密な３Ｄ形状データ（３Ｄ顔密形状データ）でなくベクトル量となるので、記憶するデータ量を小さくすることができる（メモリ容量が少なくて済む）とともに、データの扱いが容易となる。

なお、本発明は、以下の態様をとることができる。
（Ａ）特徴抽出用ラインから３Ｄ特徴ラインを決定する方法は、上述のように定義点を投影することにより求める方法でなくともよい。すなわち、定義点でなく特徴抽出用ライン自体を３Ｄ顔密形状データ上へ投影し、この投影により得られる投影ライン上の３Ｄ点を３Ｄ特徴ラインとしての情報として抽出する方法であってもよい。

（Ｂ）認証システム１は、図１に示すようにコントローラ１０とカメラＣＡ１、ＣＡ２とに分離された構成でなくてもよい。例えばコントローラ１０内に直接、各カメラが内蔵された構成であってもよい。ただしこの場合、各カメラは、互いに異なる角度で認証対象者ＨＭを撮影できるような配置で内蔵されている。

本発明の実施形態に係る認証システムの一例を示す概略構成図である。 上記認証システムにおけるコントローラの全体的な構成の一例を示す模式図である。 上記コントローラが備える顔認証の機能を説明するための機能ブロック図である。 顔の各特徴部位における特徴点の座標の一例を示す模式図である。 各特徴部位の３次元座標の算出について説明するための模式図である。 標準モデルの一例を示す模式図である。 Ｇａｂｏｒフィルタについて概念的に説明するための立体グラフ図である。 ３Ｄ顔部位形状データの各特徴点から特徴抽出用ラインを設定する方法について説明するための模式図である。 ３Ｄ顔部位形状データの各特徴点から特徴抽出用ラインを設定する方法について説明するための模式図である。 図８、９において設定した特徴抽出用ラインの情報を用いて、３Ｄ顔密形状データから３Ｄ特徴ラインを抽出（決定）する方法について説明するための模式図である。 図８、９において設定した特徴抽出用ラインの情報を用いて、３Ｄ顔密形状データから３Ｄ特徴ラインを抽出する方法について説明するための模式図である。 ３Ｄ顔密形状データから３Ｄ特徴ラインを抽出する際の３Ｄ点を用いた補間処理について説明するための模式図である。 特徴抽出用ラインについて説明するための模式図であり、（ａ）は鼻の部分を含むように設定した或る特徴点間の特徴抽出用ラインを、（ｂ）はこの特徴抽出用ライン上の定義点の配置（間隔）の一例を示す図である。 特徴抽出用ラインについて説明するための模式図であり、（ａ）は特徴抽出用ラインが１本のラインからなる場合を、（ｂ）は特徴抽出用ラインが複数本のラインからなる場合を示す図である。 特徴抽出用ラインの設定方法における一変形例について説明するための模式図である。 図１５において設定した特徴抽出用ラインにより得られた３Ｄ特徴ラインを示す模式図である。 ３Ｄ顔密形状データから３Ｄ特徴ラインを抽出する方法の一変形例であって、３Ｄ顔密形状データに対する標準モデルのフィッティングについて説明するための模式図である。 図１５におけるフィッティング後の標準特徴抽出用ラインの３Ｄ顔密形状データに対する投影について説明するための模式図である。 標準モデル上に設定された標準特徴抽出用ラインの各種パターンにより得られた３Ｄ特徴ラインの一例を示す模式図であり、（ａ）は顔の横方向に輪切りされたような３Ｄ特徴ラインを、（ｂ）は顔の縦方向に輪切りされたような３Ｄ特徴ラインを、（ｃ）は等高線となるような３Ｄ特徴ラインを示す図である。 本実施形態に係る顔認証の動作の一例を示すフローチャートである。 図２０のステップＳ９における動作の一例を示すフローチャートである。

符号の説明

１ 認証システム
３ 記憶部（記憶手段）
３ａ ＨＤＤ
３ｂ ＲＡＭ
１０ コントローラ
１１ 画像入力部
１２ 顔領域検出部（３次元形状取得手段）
１３ 顔部位検出部（特徴部位抽出手段）
１４ 顔部位３Ｄ計算部（３次元座標算出手段）
１５ 姿勢・光源補正部（補正手段）
１６ 標準モデル記憶部
１７ ２次元認証部
１７ａ 補正画像取得部
１７ｂ ２Ｄ特徴量抽出部（２次元特徴量算出手段）
１８ 顔領域３Ｄ計算部（３次元形状取得手段）
１９ ３次元認証部
１９ａ ３Ｄ特徴ライン抽出部（決定手段）
１９ｂ ３Ｄ特徴量抽出部（３次元特徴量算出手段）
２０ 類似度計算部（特徴量比較手段）
２１ 登録データ記憶部
２２ 判定部（特徴量比較手段）
２０２ ３次元座標点
２０３、４０３ 投影中心
２０４、４０４ 投影ライン
２１０ 特徴抽出用ライン
２１１、２１２、２１２’ 定義点
３０１ 組合特徴抽出用ライン
３１０ ３Ｄ特徴ライン
３１１ 組合３Ｄ特徴ライン
４０１ 標準モデル
４０１’ 変形標準モデル
４０２ ３Ｄ顔密形状データ
ＣＡ１、ＣＡ２ カメラ（３次元形状取得手段、２次元画像取得手段、撮影装置）
ＨＭ 認証対象者
α ３次元点
α’ 補間３次元点

Claims (23)

1. 認証対象者の顔の全体的な３次元形状である全体３次元形状の情報を取得する３次元形状取得手段と、
   前記３次元形状取得手段により取得された全体３次元形状情報から、該全体３次元形状上の所定のラインである所定数の３次元ラインを決定する決定手段と、
   前記決定手段により決定された３次元ラインにおける、前記全体３次元形状情報の局所的な情報としての局所３次元形状情報から、各３次元ラインの形状に関するライン形状情報であって、前記顔の３次元的な特徴量である３次元顔特徴量を算出する３次元特徴量算出手段と、
   前記認証対象者に対する認証動作を行うべく前記３次元特徴量算出手段により算出された３次元顔特徴量と、予め用意された比較用顔特徴量とを比較する特徴量比較手段とを備えることを特徴とする認証システム。
2. 前記３次元形状取得手段は、前記顔の２次元画像を取得する２次元画像取得手段を備えたものであり、
   前記２次元画像取得手段により取得された２次元画像から前記顔の特徴的な部位である特徴部位を抽出する特徴部位抽出手段と、
   前記特徴部位抽出手段により抽出された特徴部位の３次元座標を算出する３次元座標算出手段とをさらに備え、
   前記決定手段は、前記３次元座標算出手段により算出された特徴部位の３次元座標に基づいて前記３次元ラインを決定することを特徴とする請求項１に記載の認証システム。
3. 前記決定手段は、前記３次元ラインを抽出するための抽出用ラインであって、前記特徴部位の３次元座標点間を結ぶ抽出用ラインを設定するとともに、前記全体３次元形状上の該抽出用ラインに対応するラインを前記３次元ラインとして決定することを特徴とする請求項２に記載の認証システム。
4. 前記全体３次元形状情報は、複数の３次元点からなる前記顔の形状データであって、
   前記決定手段は、前記抽出用ライン上に定義された複数の定義点を所定の投影中心から前記全体３次元形状上に投影してなる投影点に対応する前記３次元点に基づいて前記３次元ラインを決定することを特徴とする請求項３に記載の認証システム。
5. 前記抽出用ライン上の定義点は等間隔に配置されていることを特徴とする請求項４に記載の認証システム。
6. 前記抽出用ライン上の定義点は、前記顔の凹凸の程度が大きい場所に密に配置されていることを特徴とする請求項４に記載の認証システム。
7. 前記決定手段は、予め用意された前記顔の３次元モデル形状であって、前記３次元ラインを抽出するための抽出用ラインが該３次元モデル形状上に設定されてなる標準モデルを、前記全体３次元形状に近づけるべく変形し、該変形した標準モデル上の抽出用ラインに対応する前記全体３次元形状上のラインを前記３次元ラインとして決定することを特徴とする請求項２に記載の認証システム。
8. 前記全体３次元形状情報は、複数の３次元点からなる前記顔の形状データであって、
   前記決定手段は、前記変形した標準モデル上の抽出用ライン上に定義された複数の定義点を所定の投影中心から前記全体３次元形状上に投影してなる投影点に対応する前記３次元点に基づいて前記３次元ラインを決定することを特徴とする請求項７に記載の認証システム。
9. 前記決定手段は、前記全体３次元形状上の前記投影点の位置に３次元点が存在しない場合に、該投影点近傍の３次元点を用いた補間処理により算出した補間３次元点を用いて前記３次元ラインを決定することを特徴とする請求項４又は８に記載の認証システム。
10. 前記抽出用ラインは、複数本のラインからなることを特徴とする請求項３〜９のいずれかに記載の認証システム。
11. 前記３次元特徴量算出手段は、前記３次元ラインにおける局所３次元形状情報を所定の曲線情報に変換したものを前記ライン形状情報として算出することを特徴とする請求項１〜６のいずれかに記載の認証システム。
12. 前記３次元特徴量算出手段は、前記３次元顔特徴量として、各３次元ラインの相対位置関係の情報も含む３次元顔特徴量を算出することを特徴とする請求項１〜１１のいずれかに記載の認証システム。
13. 前記決定手段は、前記所定数の３次元ラインが前記顔の左右対称となる位置に配置されるように前記全体３次元形状における該３次元ラインを決定することを特徴とする請求項１〜１２のいずれかに記載の認証システム。
14. 前記決定手段は、前記所定数の３次元ラインが少なくとも前記顔の鼻及び頬の部位を含むように前記全体３次元形状における該３次元ラインを決定することを特徴とする請求項１〜１３のいずれかに記載の認証システム。
15. 前記特徴部位抽出手段により抽出された特徴部位の情報から前記顔の２次元的な特徴量である２次元顔特徴量を算出する２次元特徴量算出手段をさらに備え、
    前記特徴量比較手段は、前記２次元特徴量算出手段により算出された２次元顔特徴量と前記３次元特徴量算出手段により算出された３次元顔特徴量とを併せてなる総合的な顔特徴量と、前記比較用顔特徴量とを比較することを特徴とする請求項２に記載の認証システム。
16. 前記３次元特徴量算出手段は、少なくとも前記顔の特徴部位以外の部位を含む３次元ラインにおける局所３次元形状情報から前記３次元顔特徴量を算出することを特徴とする請求項１５に記載の認証システム。
17. 前記特徴量比較手段は、前記複数本の抽出用ラインに対応する複数の３次元ラインから得られた複数の３次元顔特徴量と、前記比較用顔特徴量との間の距離情報に基づいて前記比較を行うことを特徴とする請求項１０に記載の認証システム。
18. 前記特徴量比較手段は、前記複数本の抽出用ラインに対応する複数の３次元ラインから得られた複数の３次元顔特徴量と、前記比較用顔特徴量との間の距離情報であって、該距離が最小となる場合の最小距離情報に基づいて前記比較を行うことを特徴とする請求項１０に記載の認証システム
19. 前記２次元顔特徴量を算出するための特徴部位の情報はテクスチャ情報であって、
    当該テクスチャ情報に対して、前記顔の姿勢に関する補正である姿勢変動補正及び顔に対する光源の向きに関する補正である光源変動補正を行う補正手段をさらに備えることを特徴とする請求項１５又は１６に記載の認証システム。
20. 前記３次元形状取得手段は、
    前記顔の２次元画像を撮影する少なくとも２つの撮影装置と、
    当該各撮影装置から得られた２枚の２次元画像から、位相限定相関法による演算によって高精度な対応点検索処理を行い、３次元再構成を行うことで、前記全体３次元形状を算出する３次元形状算出手段とを備えることを特徴とする請求項１に記載の認証システム。
21. 前記３次元特徴量算出手段により算出される３次元顔特徴量はベクトル量であって、該ベクトル量に対応する前記比較用顔特徴量としての比較用ベクトル量を記憶する記憶手段をさらに備えることを特徴とする請求項１〜２０のいずれかに記載の認証システム。
22. 認証対象者の顔の全体的な３次元形状である全体３次元形状の情報を取得する第１の工程と、
    前記全体３次元形状情報から、該全体３次元形状上の所定のラインである所定数の３次元ラインを決定する第２の工程と、
    前記３次元ラインにおける、前記全体３次元形状情報の局所的な情報としての局所３次元形状情報から、各３次元ラインの形状に関するライン形状情報であって、前記顔の３次元的な特徴量である３次元顔特徴量を算出する第３の工程と、
    前記認証対象者に対する認証動作を行うべく前記３次元顔特徴量と予め用意された比較用顔特徴量とを比較する第４の工程とを有することを特徴とする認証方法。
23. 前記第１の工程は、前記顔の２次元画像を取得する第５の工程を含むものであり、
    前記２次元画像から前記顔の特徴的な部位である特徴部位を抽出する第６の工程と、
    前記特徴部位の３次元座標を算出する第７の工程とをさらに有し、
    前記第２の工程は、前記特徴部位の３次元座標に基づいて前記３次元ラインを決定する工程であることを特徴とする請求項２２に記載の認証方法。