JP2011215718A - 照合装置 - Google Patents

Abstract

【課題】２Ｄ照合の照合精度を高める。
【解決手段】２Ｄ照合顔画像作成部３２において、照合対象領域ＡＲ１における顔Ｍ１の２次元画像を２Ｄ照合顔画像として作成する。規定情報取得部３８において、３Ｄ照合顔画像作成部３１で得られる照合対象領域の実際の大きさを規定する情報（例えば、カメラから顔までの実際の距離）を規定情報として取得する。正規化部３７において、規定情報取得部３８によって取得された規定情報に基づいて、２Ｄ照合顔画像の画像サイズ（顔画像サイズ）を正規化する。２次元照合部３３において、正規化された２Ｄ照合顔画像の局所領域毎に、２Ｄ登録顔画像における対応する局所領域との照合を行う
【選択図】 図１０

Description

この発明は、対象物の画像サイズを正規化して照合を行う照合装置に関するものである。

近年、コンピュータ室や重要機械室への入退室管理、コンピュータ端末や銀行の金融端末へのアクセス管理などの個人認証を必要とする分野において、これまでの暗証番号やＩＤカードに代わって、生体情報に基づいて個人の認証を行うシステムが開発されている。

生体情報を用いた個人認証システムは、記憶や所持を必要としないこと、盗難の危険性が低いことから注目されている。生体情報による個人認証では、指紋・虹彩・顔・掌紋・筆跡などが利用されるが、その中でも顔を用いた個人認証は、利便性と受容性が高いことから注目されている。

例えば、入退室管理などに利用される顔認証方法として、カメラ等で撮影した２次元の画像（２Ｄ顔画像）を用いる２Ｄ顔認証と、３Ｄスキャナやステレオビジョン等で取得した３次元の画像（３Ｄ顔画像）を用いる３Ｄ顔認証がある。２Ｄ顔認証の場合、明るさ・顔の向きの変化により認証性能が低下するが、表情やメガネなどの部分的な変化に対してロバストな認証が可能である。一方、３Ｄ顔認証の場合は、表情変化により認証性能が低下するが、明るさ・顔の向きの変化にロバストな認証が可能である。このように、２Ｄ顔認証と３Ｄ顔認証とには、それぞれ一長一短がある。

そこで、出願人は、２Ｄ顔認証と３Ｄ顔認証とを複合して認証を行う２Ｄ・３Ｄ複合照合装置の開発を進めている。この２Ｄ・３Ｄ複合照合装置では、先ず２Ｄ顔認証（２Ｄ照合）を行い、２Ｄ顔認証の結果が「認証ＮＧ」であった場合、３Ｄ顔認証（３Ｄ照合）へと進む。これにより、２Ｄ顔認証と３Ｄ顔認証とが複合され、認証性能が向上する。

特開２００２−２１６１３１号公報 特開平１０−１３２５３４号公報（特許第３３４７６０８号） 特開２００７−１６４６６９号公報 特開平９−２７７１８４号公報

コンピュータ画像処理入門（日本工業技術センター編、総研出版（株）発行、Ｐ．４４〜４５） P. J. Besl and N. D. McKay: "A method for registration of 3-D shapes", IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 14, no. 2, pp. 239-256 (Feb. 1992) X. Lu and A. K. Jain: "Matching 2.5D face scans to 3D models", IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 28, no. 1, pp. 31-43 (Jan. 2006)

本出願人が開発を進めている２Ｄ・３Ｄ複合照合装置では、３Ｄ顔認証を行う前に２Ｄ顔認証を行うようにし、２Ｄ顔認証によって判定できなかった場合にのみ３Ｄ顔認証を行うようにする。この２Ｄ・３Ｄ複合照合装置では、２Ｄ顔認証での照合精度の向上が望まれるが、照合対象物を撮像する位置によって、照合対象物の２次元画像（２Ｄ照合顔画像）の画像サイズ（顔画像サイズ）が登録対象物の２次元画像（２Ｄ登録顔画像）の画像サイズ（顔画像サイズ）に対してばらつき、すなわち本人のものであっても２Ｄ照合顔画像中の顔の大きさが２Ｄ登録顔画像中の顔の大きさと異なることがあり、照合精度が悪化するという問題が生じる。

この問題に対して、例えば特許文献１では、照合対象物までの距離に応じて照合対象物の２次元画像（２Ｄ照合顔画像）を拡大／縮小して正規化し、この正規化した２Ｄ照合顔画像と２Ｄ登録顔画像とを比較照合するようにしている。このような手法を採用することにより、例えば、２Ｄ照合顔画像が親の顔画像で、２Ｄ登録顔画像がその親の子供の顔画像であったような場合でも、より顔の実サイズが反映されるものとなり、照合精度がアップする。

しかしながら、実測値に応じて正規化された２Ｄ照合顔画像と２Ｄ登録顔画像とをそのまま比較照合するたけでは、照合精度がまだ十分ではない。具体的には、現実的に照合対象物までの距離を正確に実測することは難しく、また顔などの凹凸のある対象物では実測の基準とする箇所（鼻など）に対して他の箇所では小さな距離差があり、この実測値には少なからず誤差が生じる。この誤差を含んだ実測値に基づいて正規化された２Ｄ照合顔画像には微小なスケール変化が生じる。また、照合対象物の撮像時に、うつむき加減や傾き加減で撮像される場合や、笑いながら撮像される場合など、少なからず照合対象物の向きが正面からずれていたり、頬などの顔の一部が局所的に変形している場合がある。このような場合も、正規化された２Ｄ照合顔画像には微小な画像の変化が生じる。これらの微小な変化は、２Ｄ登録顔画像の撮像時にも生じ得る。このような微小な変化を生じた顔画像の照合では、実測値に応じて正規化された２Ｄ照合顔画像と２Ｄ登録顔画像とをそのまま比較照合するたけでは「認証ＮＧ」と誤判定してしまう虞がある。

本発明は、このような課題を解決するためになされたもので、その目的とするところは、２Ｄ照合の照合精度をさらに高めることができる照合装置を提供することにある。

このような目的を達成するために、本発明の照合装置は、照合対象物を第１の方向から撮像した画像および第２の方向から撮像した画像の少なくと一方から照合対象となる領域を抽出し、この照合対象領域における照合対象物の２次元画像を２Ｄ照合画像として作成する２Ｄ照合画像作成手段と、照合対象物を第１の方向から撮像した画像および第２の方向から撮像した画像から照合対象領域の実際の大きさを規定する情報を規定情報として取得する規定情報取得手段と、この規定情報取得手段によって取得された規定情報に基づいて２Ｄ照合画像作成手段によって作成された２Ｄ照合画像の画像サイズを正規化する正規化手段と、この正規化手段によって正規化された２Ｄ照合画像と予め２Ｄ登録画像として記憶されている複数の登録対象物の２次元画像とを各個に照合する２次元照合手段とを備え、２次元照合手段は、２Ｄ照合画像を局所領域に分割し、この分割した局所領域毎に、２Ｄ登録画像の各分割領域との照合を行うことを特徴とする。

この発明によれば、照合対象物の照合対象領域における２次元画像が２Ｄ照合画像として作成され、この２Ｄ照合画像の画像サイズが照合対象領域の実際の大きさを規定する情報（例えば、カメラから顔までの距離）に基づいて正規化され、この正規化された２Ｄ照合画像と２Ｄ登録画像とが照合される。この正規化された２Ｄ照合画像と２Ｄ登録画像との照合は、２Ｄ照合画像が局所領域に分割され、この分割した局所領域毎に、２Ｄ登録画像の各分割領域と照合することによって行われる。

例えば、２Ｄ登録画像の各分割領域を２Ｄ照合画像の局所領域に対応する局所領域とし、２Ｄ照合画像の局所領域毎に、２Ｄ登録画像における対応する局所領域との照合を行う。なお、２Ｄ登録画像の分割領域を水平方向に分割した領域としたり、垂直方向に分割した領域としたりしてもよい。このようにして、２Ｄ照合画像の局所領域毎に２Ｄ登録画像との照合を行うことにより、例えば２Ｄ照合画像に微小な変化があるような場合、２Ｄ照合画像の局所領域毎に対応する２Ｄ登録画像の分割領域と比較するので、局所領域毎の照合スコアがアップし、２Ｄ照合の照合精度をさらに高めることが可能となる。

本発明において、２Ｄ照合画像と２Ｄ登録画像との照合はどのように方法で行ってもよいが、位相限定相関法によって行うと効果的である。
また、本発明において、２Ｄ照合画像より得られる照合対象物の特徴を示す情報などに基づいて、記憶されている複数の登録対象物の２次元画像の中から２Ｄ登録画像として使用する２次元画像を絞り込むようにしてもよい。

また、照合対象領域における前記照合対象物の３次元画像を３Ｄ照合画像として作成する３Ｄ照合画像作成手段を設け、３Ｄ照合画像作成手段によって作成された３Ｄ照合画像より得られる照合対象物の特徴を示す情報又は２Ｄ照合画像作成手段によって作成された２Ｄ照合画像より得られる照合対象物の特徴を示す情報に基づいて、記憶されている複数の登録対象物の２次元画像の中から２Ｄ登録画像として使用する２次元画像を絞り込むようにしたりしてもよい。

本発明によれば、照合対象物を第１の方向から撮像した画像および第２の方向から撮像した画像から照合対象領域の実際の大きさを規定する情報を規定情報として取得し、この取得した規定情報に基づいて２Ｄ照合画像の画像サイズを正規化し、この正規化した２Ｄ照合画像と２Ｄ登録画像との照合を２Ｄ照合画像の局所領域毎に２Ｄ登録画像の各分割領域と照合することによって行うようにしたので、例えば２Ｄ照合画像に微小な変化があるような場合、２Ｄ照合画像の局所領域毎に対応する２Ｄ登録画像の分割領域と比較するので、局所領域毎の照合スコアがアップし、２Ｄ照合の照合精度をさらに高めることができるようになる。

本発明に係る照合装置の一実施の形態を示すブロック構成図である。 この照合装置における制御部が実行する照合処理の第１例（実施の形態１）のフローチャートである。 図２に続く照合処理の第１例のフローチャートである。 図３に続く照合処理の第１例のフローチャートである。 この照合処理の第１例において３Ｄ照合顔画像および２Ｄ照合顔画像が作成されて行く様子を説明する図である。 この照合処理の第１例において求められる顔領域の座標や瞳の座標（２Ｄ瞳座標、３Ｄ瞳座標）の例を示す図である。 左カメラの画像あるいは右カメラの画像における照合対象領域からの２Ｄ照合顔画像の作成例を説明する図である。 ２Ｄ照合顔画像と２Ｄ登録顔画像との位相限定相関法による局所領域毎の照合を説明する図である。 ２Ｄ照合顔画像と２Ｄ登録顔画像との位相限定相関法による局所領域毎の照合の別の例を説明する図である。 実施の形態１の機能ブロック図である。 実施の形態１において左カメラの画像から２Ｄ照合顔画像を作成するようにした場合の機能ブロック図である。 制御部が実行する照合処理の第２例（実施の形態２）のフローチャートである。 図１２に続く照合処理の第２例のフローチャートである。 図１２および図１３に続く照合処理の第２例のフローチャートである。 実施の形態２の機能ブロック図である。 実施の形態２において左カメラの画像から２Ｄ照合顔画像を作成するようにした場合の機能ブロック図である。

以下、本発明を図面に基づいて詳細に説明する。図１はこの発明に係る照合装置の一実施の形態を示すブロック構成図である。本発明は、２Ｄ照合装置単独での適用も可能であるが、本出願人が開発を進めている２Ｄ・３Ｄ複合照合装置への適用例として示す。

図１において、１０は第１のＣＣＤカメラ、１１は第２のＣＣＤカメラ、１２は液晶表示装置（ＬＣＤ）、２０は処理部であり、処理部２０は、ＣＰＵを有する制御部２０−１と、ＲＯＭ２０−２と、ＲＡＭ２０−３と、ハードディスク（ＨＤ）２０−４と、フレームメモリ（ＦＭ）２０−５と、外部接続部（Ｉ／Ｆ）２０−６と、フーリエ変換部（ＦＦＴ）２０−７とを備えており、ＲＯＭ２０−２には本実施の形態特有のプログラムとして２Ｄ・３Ｄ複合照合プログラムが格納されている。また、ＨＤ２０−４には、複数の登録対象物（人間の顔）の２次元画像および３次元画像が２Ｄ登録顔画像および３Ｄ登録顔画像として格納されている。この２Ｄ登録顔画像および３Ｄ登録顔画像については後述する。

また、この２Ｄ・３Ｄ複合照合装置において、ＣＣＤカメラ１０，１１は、所定の距離Ｌ１を隔てて設置されている。すなわち、ＣＣＤカメラ１０，１１は、そのレンズ１０−１，１１−１間の距離をＬ１として、横方向に並んで配置されている。図では分かり易いように、２Ｄ・３Ｄ複合照合装置は上方向から見た図とし、対象物（人間の顔）は横方向から見た図としている。

〔対象物の照合：実施の形態１〕
この２Ｄ・３Ｄ複合照合装置において、照合対象物を人間の顔Ｍ１とした場合、この顔Ｍ１の照合は次のようにして行われる。図２〜図４に制御部２０−１がＲＯＭ２０−２に格納されている２Ｄ・３Ｄ複合照合プログラムに従って実行する照合処理の第１例（実施の形態１）のフローチャートを示す。

〔画像キャプチャ〕
利用者は、ＣＣＤカメラ１０，１１の前に立つ。すると、制御部２０−１は、ＣＣＤカメラ１０，１１の撮像領域に顔Ｍ１が入ったことを認識し、フレームメモリ２０−５を介して、ＣＣＤカメラ１０からの顔Ｍ１を捉えた画像Ｓ１（図５（ａ）：第１の方向から撮像した画像）を左カメラの画像として取り込み、ＣＣＤカメラ１１からの顔Ｍ１を捉えた画像Ｓ２（図５（ｂ）：第２の方向から撮像した画像）を右カメラの画像として取り込む（図２：ステップＳ１０１）。

〔顔検出、瞳検出〕
そして、制御部２０−１は、取り込んだ左カメラの画像Ｓ１に対して、分離度フィルタなどの画像処理にて顔検出と瞳検出を行い、顔領域の座標と左右の瞳の座標（２Ｄ瞳座標）を求める（ステップＳ１０２）。図６（ａ）にこの時の顔領域の座標（顔領域（左上）、顔領域（右下））の例を示す。図６（ｂ）にこの時の左右の瞳の座標（２Ｄ瞳座標（左）、２Ｄ瞳座標（右））の例を示す。なお、この例では、左カメラの画像Ｓ１に対して顔検出および瞳検出を行っているが、右カメラの画像Ｓ２に対して顔検出および瞳検出を行うようにしてもよい。

〔３Ｄ照合顔画像の作成〕
次に、制御部２０−１は、ステップＳ１０２で求めた顔領域を照合対象領域ＡＲ１とし、左カメラの画像Ｓ１と右カメラの画像Ｓ２より照合対象領域ＡＲ１における顔Ｍ１の３次元画像を３Ｄ照合顔画像Ｓ３（図５（ｃ））として作成する（ステップＳ１０３）。なお、この３Ｄ照合顔画像Ｓ３の作成は、本出願人が既に特許を取得している特許文献２に示された方式（三角測量の原理に基づく方式）によって行う。この方式では、ステレオ画像の対応付けに位相限定相関法を利用しており、高精度に顔の３Ｄデータ（実測値）を取得することが可能である。

〔３Ｄ瞳座標の取得〕
そして、制御部２０−１は、ステップＳ１０２で求めた２Ｄ瞳座標から、３Ｄ照合顔画像Ｓ３における左右の瞳の座標を３Ｄ瞳座標として求める（ステップＳ１０４）。図６（ｃ）にこの時の左右の瞳の座標（３Ｄ瞳座標（左）、３Ｄ瞳座標（右））の例を示す。なお、この３Ｄ瞳座標は、３Ｄ照合顔画像Ｓ３を得る前に、２Ｄ瞳座標から３Ｄ計測によって即座に求めるようにしてもよい。

〔３Ｄ位置合わせ（瞳ＩＣＰ）〕
そして、制御部２０−１は、注目部分の３次元パターンとして標準的な人の瞳の位置および姿勢を基準として配置した基準テンプレートを用い（例えば、特許文献３参照）、ＩＣＰ（Iterative Closest Point ）アルゴリズム（例えば、特許文献４参照）によって、３Ｄ照合顔画像Ｓ３の位置合わせを行う（ステップＳ１０５）。この基準テンプレートの瞳の位置を基準とした位置合わせを瞳ＩＣＰと呼ぶ。

なお、ＩＣＰアルゴリズムでは、基準テンプレートのデータをＭ、３Ｄ照合顔画像Ｓ３のデータをＭ’とした場合、３Ｄ照合顔画像Ｓ３の位置および姿勢は次の（１）〜（４）のようにして基準テンプレートと合わせられる。

（１）Ｍに含まれる全ての点ｍｉについて、最も近い点ｍｉ’をＭ’の中から探し、得られたｍｉとｍｉ’の組を対応点の組とする。
（２）現在の対応関係を基にして、２つの３次元パターンのデータＭ，Ｍ’間の最適な運動パターン（回転Ｒ，並進ｔ）を推定する。具体的には、並進ｔを瞳の３Ｄ座標によって求める。また、回転Ｒに関しては最小二乗法により推定する。
（３）上記（２）で得られたＲとｔを用いて、Ｍ’を座標変換する。
（４）Ｍと座標変換後のＭ’に対して、Ｒとｔの変化が十分に小さくなり、収束するまで、上記（１）〜（３）を繰り返す。

制御部２０−１は、このようにして３Ｄ照合顔画像Ｓ３の位置合わせを瞳ＩＣＰによって行った後、この位置合わせされた３Ｄ照合顔画像Ｓ３を３Ｄ照合顔画像３Ｇ０（図５（ｄ））としてＨＤ２０−４に保存する（ステップＳ１０６）。

〔画像サイズの正規化〕
そして、制御部２０−１は、この作成した３Ｄ照合顔画像３Ｇ０より、カメラから顔までの距離（図１に示すＬ２）を求める（ステップＳ１０７）。なお、この場合のカメラから顔までの距離Ｌ２は、３Ｄ瞳座標より計算する。

次に、制御部２０−１は、３Ｄ照合顔画像３Ｇ０を正面から見た２次元顔画像を２Ｄ照合顔画像２Ｇ０（図５（ｅ））として取得する（ステップＳ１０８）。そして、ステップＳ１０７で求めたカメラから顔までの距離Ｌ２に基づき、２Ｄ照合顔画像２Ｇ０の画像サイズ（顔画像サイズ）を正規化し（図５（ｆ））、この正規化した２Ｄ照合顔画像２Ｇ０をＨＤ２０−４に保存する（ステップＳ１０９）。

すなわち、ステップＳ１０７で求めたカメラから顔までの実際の距離Ｌ２（照合対象領域ＡＲ１の実際の大きさを規定する情報）と登録時のカメラから顔までの規定の距離Ｌ２との比率に基づいて、２Ｄ照合顔画像２Ｇ０の顔画像サイズを２Ｄ登録顔画像の顔画像サイズに合わせる。この場合、カメラから顔までの実際の距離Ｌ２が長ければ、顔画像サイズが大きくされ、カメラから顔までの実際の距離Ｌ２が短ければ、顔画像サイズが小さくされる。

なお、この例では、３Ｄ照合顔画像３Ｇ０を正面から見た２次元顔画像を２Ｄ照合顔画像２Ｇ０として取得するものとしたが、図７に示すように、左カメラの画像Ｓ１の照合対象領域ＡＲ１における顔Ｍ１の２次元画像を２Ｄ照合顔画像２Ｇ０として取得し、その画像サイズを正規化するようにしてもよい。また、右カメラの画像Ｓ２から照合対象領域ＡＲ１を抽出するようにし、この右カメラの画像Ｓ２から抽出した照合対象領域ＡＲ１における顔Ｍ１の２次元画像を２Ｄ照合顔画像２Ｇ０として取得し、その画像サイズを正規化するようにしてもよい。

〔２Ｄ照合〕
次に、制御部２０−１は、ＨＤ２０−４に格納されている２Ｄ登録顔画像の数をＮ１ｍａｘとして取得し（図３：ステップＳ１１０）、Ｎ１（初期値０）をＮ１＝Ｎ１＋１とし（ステップＳ１１１）、Ｎ１≦Ｎ１ｍａｘであること確認のうえ（ステップＳ１１２のＹＥＳ）、ＨＤ２０−４からＮ１番目の２Ｄ登録顔画像を読み込む（ステップＳ１１３）。この場合、ＨＤ２０−４に格納されている２Ｄ登録顔画像を２Ｇ１〜２ＧＮ１ｍａｘとすれば、Ｎ１＝１番目の２Ｄ登録顔画像２Ｇ１が読み込まれる。

なお、この時のＨＤ２０−４に格納されている２Ｄ登録顔画像２Ｇ１〜２ＧＮ１ｍａｘは、２Ｄ照合顔画像２Ｇ０と同様にして得られた登録時の２次元顔画像である。但し、この２Ｄ登録顔画像２Ｇ１〜２ＧＮ１ｍａｘの作成に際しては、カメラ１０，１１からの距離を規定の距離として、姿勢を正した状態で登録対象物（人間の顔）Ｍ１を撮像する。この例において、２Ｄ登録顔画像２Ｇ１〜２ＧＮ１ｍａｘは、後述する３Ｄ登録顔画像３Ｇ１〜３ＧＮ１ｍａｘを正面から見た２次元顔画像として得られている。

そして、制御部２０−１は、ＨＤ２０−４に格納されている正規化された２Ｄ照合顔画像２Ｇ０を読み出し（ステップＳ１１４）、この読み出した２Ｄ照合顔画像２Ｇ０とステップＳ１１３で読み込んだ２Ｄ登録顔画像２Ｇ１とを照合する（ステップＳ１１５）。この２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２Ｇ１との照合は、２Ｄ照合顔画像２Ｇ０を局所領域に分割し、この分割した局所領域毎に、２Ｄ登録顔画像２Ｇ１における対応する局所領域との照合を位相限定相関法（ＰＯＣ）によって行うことによって実施する。

〔位相限定相関法による２Ｄ照合顔画像と２Ｄ登録顔画像との照合（２Ｄ照合）〕
ステップＳ１１５での２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２Ｇ１との照合は次のようにして行う。制御部２０−１は、２Ｄ照合顔画像２Ｇ０（図８（ａ））をｍ×ｎ個の局所領域２Ｇ０（ｉ，ｊ）に分割する（図８（ｂ））。そして、ｉ＝１，ｊ＝１とし、２Ｄ照合顔画像２Ｇ０の局所領域２Ｇ０（１，１）の画像データをフーリエ変換部２０−７へ送り、２次元離散的フーリエ変換を施す。これにより、局所領域２Ｇ０（１，１）の画像データは、フーリエ画像データ２Ｆ０（１，１）となる。なお、２次元離散的フーリエ変換については、例えば非特許文献１等に説明されているので、ここでの詳しい説明は省略する。

次に、制御部２０−１は、２Ｄ登録顔画像２Ｇ１（図８（ｂ））をｍ×ｎ個の局所領域２Ｇ１（ｉ，ｊ）に分割する（図８（ｄ））。そして、ｉ＝１，ｊ＝１とし、２Ｄ登録顔画像２Ｇ１の局所領域２Ｇ１（１，１）の画像データをフーリエ変換部２０−７へ送り、２次元離散的フーリエ変換を施す。これにより、局所領域２Ｇ１（１，１）の画像データは、フーリエ画像データ２Ｆ１（１，１）となる。

そして、制御部２０−１は、フーリエ画像データ２Ｆ０（１，１）とフーリエ画像データ２Ｆ１（１，１）とを合成し、合成フーリエ画像データを得る。

ここで、合成フーリエ画像データは、フーリエ画像データ２Ｆ０をＡ・ｅｘｐ（ｊθ）とし、フーリエ画像データ２Ｆ１をＢ・ｅｘｐ（ｊφ）とした場合、フーリエ画像データ２Ｆ０にフーリエ画像データ２Ｆ１の複素共役を乗じることによって得られるＡ・Ｂ・ｅｘｐ（ｊ（θ−φ））で表される。但し、Ａ，Ｂ，θ，φとも空間周波数（フーリエ）空間（ｕ，ｖ）の関数とする。

そして、Ａ・Ｂ・ｅｘｐ（ｊ（θ−φ））は、
Ａ・Ｂ・ｅｘｐ（ｊ（θ−φ））＝Ａ・Ｂ・ｃｏｓ（θ−φ）＋ｊ・Ａ・Ｂ・ｓｉｎ（θ−φ） ・・・（１）
として表され、Ａ・ｅｘｐ（ｊθ）＝α₁ ＋ｊβ₁ 、Ｂ・ｅｘｐ（ｊφ）＝α₂ ＋ｊβ₂ とすると、Ａ＝（α₁ ²＋β₁ ²）^1/2，Ｂ＝（α₂ ²＋β₂ ²）^1/2，θ＝ｔａｎ^-1（β₁ ／α₁ ），φ＝ｔａｎ^-1（β₂ ／α₂ ）となる。この（１）式を計算することにより合成フーリエ画像データを得る。

なお、Ａ・Ｂ・ｅｘｐ（ｊ（θ−φ））＝Ａ・Ｂ・ｅｘｐ（ｊθ）・ｅｘｐ（−ｊφ）＝Ａ・ｅｘｐ（ｊθ）・Ｂ・ｅｘｐ（−ｊφ）＝（α₁ ＋ｊβ₁ ）・（α₂ −ｊβ₂ ）＝（α₁ ・α₂ ＋β₁ ・β₂ ）＋ｊ（α₂ ・β₁ −α₁ ・β₂ ）として、合成フーリエ画像データを求めるようにしてもよい。

そして、制御部２０−１は、このようにして合成フーリエ画像データを得た後、振幅抑制処理を行う。この実施の形態では、振幅抑制処理として、全ての振幅を１にする。すなわち、前述した合成フーリエ画像データの演算式であるＡ・Ｂ・ｅｘｐ（ｊ（θ−φ））の振幅Ａ・Ｂを１とし、位相のみとする。なお、振幅抑制処理として、ｌｏｇ処理や√処理を行うようにしてもよい。位相のみにすると、ｌｏｇ処理や√処理等に比べ、計算量を減らすことができるという利点とデータが少なくなるという利点がある。

次に、制御部２０−１は、位相のみとした合成フーリエ画像データをフーリエ変換部２０−７へ送り、もう一度、２次元離散的フーリエ変換を施す。この２次元離散的フーリエ変換が施された合成フーリエ画像データは、周波数空間における振幅が１とされているが、基本的には２Ｄ照合顔画像２Ｇ０の局所領域２Ｇ１（１，１）の画像と２Ｄ登録顔画像２Ｇ１の局所領域２Ｇ１（１，１）の画像とを畳み込んだ画像データと考えることができ、２Ｄ照合顔画像２Ｇ０の局所領域２Ｇ０（１，１）の画像と２Ｄ登録顔画像２Ｇ１の局所領域２Ｇ１（１，１）の画像との相関を表すものである。

そして、制御部２０−１は、この２次元離散的フーリエ変換が施された合成フーリエ画像データを取り込み、この合成フーリエ画像データより所定の相関成分エリア（この実施の形態では全エリア）の各画素の強度（振幅）をスキャンし、最もその強度が高いものを相関ピークＰａ１として抽出する（図８（ｅ））。

この場合、２Ｄ照合顔画像２Ｇ０の局所領域２Ｇ０（１，１）の画像中に２Ｄ登録顔画像２Ｇ１の局所領域２Ｇ１（１，１）の画像と一致する画像データがないので、あるいは一致する画像データがあったとしてもそれは背景であるので、相関ピークＰａ１は小さいものとして現れる。

次に、ｉ＝２，ｊ＝１とし、２Ｄ照合顔画像２Ｇ０の局所領域２Ｇ０（１，２）および２Ｄ登録顔画像２Ｇ１の局所領域２Ｇ０（１，２）での相関ピークＰａ１を抽出し、同様の処理をｉ＝ｎ，ｊ＝ｍとなるまで繰り返す。そして、制御部２０−１は、このようにして得た各局所領域での相関ピークＰａ１を平均して照合スコアとし、この照合スコアと予め定められている閾値とを比較し、照合スコアが閾値以上であれば「一致」という照合結果を出し、照合スコアが閾値に満たなければ「不一致」という照合結果を出す。

ここで、「一致」という照合結果が出されれば（ステップＳ１１６のＹＥＳ）、制御部２０−１は「認証ＯＫ」とする（ステップＳ１１７）。この認証結果は液晶表示装置１２に表示される。また、外部接続部２０−６を介して、解錠指令などとして出力される。

これに対し、「不一致」という照合結果が出されれば（ステップＳ１１６のＮＯ）、制御部２０−１は、Ｎ１＝Ｎ１＋１＝２とし（ステップＳ１１１）、上述と同様にして、２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２Ｇ２（２ＧＮ１）との照合を行う（ステップＳ１１２〜Ｓ１１５）。この２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２ＧＮ１との照合は、「一致」という照合結果が得られるまで、Ｎ１を１ずつアップしながら繰り返される。

制御部２０−１は、２Ｄ登録顔画像２Ｇ１〜２ＧＮ１ｍａｘの全てについて「不一致」という照合結果が得られると、ステップＳ１１１でカウントアップされるＮ１がＮ１＞Ｎ１ｍａｘとなるため（ステップＳ１１２のＮＯ）、ステップＳ１１１〜Ｓ１１６の処理ループを抜けて、ステップＳ１１６（図４）へ進む。すなわち、２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２Ｇ１〜２ＧＮ１ｍａｘとの照合結果が全て不一致であった場合、制御部２０−１は、２Ｄ照合では判定できなかったと判断し、ステップＳ１１８以降の処理として次に説明する３Ｄ照合へ進む。

なお、この例では、ステップＳ１１５における２Ｄ照合において、２Ｄ照合顔画像２Ｇ０を局所領域に分割し、この分割した局所領域毎に、２Ｄ登録顔画像２Ｇ１における対応する局所領域との照合を行うようにしたが、図９に示すように、２Ｄ登録顔画像２Ｇ１を水平方向に分割し、これにより得られる各分割領域２Ｇ１（ｊ）と局所領域２Ｇ０（ｉ，ｊ）とを照合して行くようにしてもよい。また、水平方向ではなく、垂直方向に分割し、同様にして各分割領域との照合を行って行くようにしてもよい。また、この例では、２Ｄ照合顔画像２Ｇ０からオーバラップすることなく局所領域２Ｇ０（ｉ，ｊ）を切り出したが、少しずつ画像をずらしながら切り出すようにしてもよい。

〔３Ｄ照合〕
制御部２０−１は、ステップＳ１１８において、ＨＤ２０−４に格納されている３Ｄ登録顔画像の数をＮ２ｍａｘとして取得する。そして、Ｎ２（初期値０）をＮ２＝Ｎ２＋１とし（ステップＳ１１９）、Ｎ２≦Ｎ２ｍａｘであること確認のうえ（ステップＳ１２０のＹＥＳ）、ＨＤ２０−４からＮ２番目の３Ｄ登録顔画像を読み込む（ステップＳ１２１）。この場合、ＨＤ２０−４に格納されている３Ｄ登録顔画像を３Ｇ１〜３ＧＮ２ｍａｘとすれば、Ｎ２＝１番目の３Ｄ登録顔画像３Ｇ１を読み込む。

なお、この時のＨＤ２０−４に格納されている３Ｄ登録顔画像３Ｇ１〜３ＧＮ１ｍａｘは、３Ｄ照合顔画像３Ｇ０と同様にして得られた登録時の３次元顔画像である。但し、この３Ｄ登録顔画像３Ｇ１〜３ＧＮ１ｍａｘの作成に際しては、カメラ１０，１１からの距離を規定の距離として、姿勢を正した状態で登録対象物（人間の顔）Ｍ１を撮像する。前述した２Ｄ登録顔画像２Ｇ１〜２ＧＮ１ｍａｘは、この３Ｄ登録顔画像３Ｇ１〜３ＧＮ１ｍａｘを正面から見た２次元顔画像として得られる。

そして、制御部２０−１は、ＨＤ２０−４に格納されている３Ｄ照合顔画像３Ｇ０を読み出し（ステップＳ１２２）、この読み出した３Ｄ照合顔画像３Ｇ０とステップＳ１２１で読み込んだ３Ｄ登録顔画像３Ｇ１とを照合する（ステップＳ１２３）。この３Ｄ照合顔画像３Ｇ０と３Ｄ登録顔画像３Ｇ１との照合はＩＣＰアルゴリズムを用いて行う。ＩＣＰアルゴリズムを用いての３次元の照合については、例えば非特許文献２、３等に説明されているのでここでの詳しい説明は省略するが、このＩＣＰアルゴリズムによる位置合わせを行い、結果的に２つのデータ間の距離が十分に小さくなれば、認証成功とみなす。

ここで、「一致」という照合結果が出されれば（ステップＳ１２４のＹＥＳ）、制御部２０−１は「認証ＯＫ」とする（ステップＳ１２５）。この認証結果は液晶表示装置１２に表示される。また、外部接続部２０−６を介して、解錠指令などとして出力される。

これに対し、「不一致」という照合結果が出されれば（ステップＳ１２４のＮＯ）、制御部２０−１は、Ｎ２＝Ｎ２＋１＝２とし（ステップＳ１１９）、上述と同様にして、３Ｄ照合顔画像３Ｇ０と３Ｄ登録顔画像３Ｇ２（３ＧＮ２）との照合を行う（ステップＳ１２０〜Ｓ１２４）。この３Ｄ照合顔画像３Ｇ０と３Ｄ登録顔画像３ＧＮ２との照合は、「一致」という照合結果が得られるまで、Ｎ２を１ずつアップしながら繰り返される。

制御部２０−１は、３Ｄ登録顔画像３Ｇ１〜３ＧＮ２ｍａｘの全てについて「不一致」という照合結果が得られると、ステップＳ１１９でカウントアップされるＮ２がＮ２＞Ｎ２ｍａｘとなるため（ステップＳ１２０のＮＯ）、ステップＳ１１９〜Ｓ１２４の処理ループを抜けて、「認証ＮＧ」とする（ステップＳ１２６）。この認証結果は液晶表示装置１２に表示される。そして、制御部２０−１は、ステップＳ１０１へ戻り、再度画像キャプチャから２Ｄ・３Ｄの照合処理を再開する。

この実施の形態１では、ステップＳ１０９において、２Ｄ照合顔画像２Ｇ０の顔画像サイズをカメラから顔までの実際の距離に基づいて正規化しているので、登録時と照合時のカメラから顔Ｍ１までの位置がずれていても、２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２ＧＮ１との顔画像サイズが一致するものとなり、２Ｄ照合の照合精度がアップする。

また、この実施の形態１では、ステップＳ１１５において局所領域毎にＰＯＣによって２Ｄ照合を行うようにしているので、顔画像サイズの正規化と合わせて、さらに２Ｄ照合の照合精度がアップする。例えば、２Ｄ照合顔画像２Ｇ０が顔画像に微小な変化があるような場合、２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２ＧＮ１とを全体で照合すると、照合スコアが低く出て、「認証ＮＧ」と誤判定してしまう虞がある。これに対し、局所領域毎にＰＯＣで照合すると、局所領域単位では相関ピークの出現する方向が異なっていても、２Ｄ登録顔画像２ＧＮ１に２Ｄ照合顔画像２Ｇ０に対応する局所領域があれば、局所領域毎の照合スコアがアップするため、「認証ＮＧ」と誤判定してしまう可能性が格段に低くなる。

また、この実施の形態１では、先ず、２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２ＧＮ１との照合（２Ｄ照合）が行われ、この２Ｄ照合によって２Ｄ照合顔画像２Ｇ０と一致する２Ｄ登録顔画像２ＧＮ１が見つかれば、その時点で「認証ＯＫ」という結果が得られる。これにより、照合スピードの高速化が図られる。また、２Ｄ照合顔画像２Ｇ０と一致する２Ｄ登録顔画像２ＧＮ１が見つからなければ、２Ｄ照合では判定できなかったものとして、３Ｄ照合顔画像３Ｇ０と３Ｄ登録顔画像２ＧＮ２との照合（３Ｄ照合）が行われる。これにより、照合性能の向上が確保される。

このようにして、実施の形態１では、２Ｄ照合と３Ｄ照合との複合による照合性能の向上と照合スピードの高速化との両立が図られる。例えば、本実施の形態の場合、画像キャプチャから認証ＯＫ結果出力までの処理時間として、２Ｄ照合ＯＫの場合、約０．７秒、３Ｄ照合ＯＫの場合、約１．２秒という実用的な処理速度を実現することが可能である。

また、この実施の形態では、位相限定相関法に基づく高精度ステレオビジョンによって高精度な３Ｄ照合顔画像３Ｇ０を取得しているため、３Ｄ照合に際してＩＣＰアルゴリズムによって単純に位置合わせを行うだけで十分な認証性能が得られる。しかし、ＩＣＰアルゴリズムは、３Ｄデータ間の最近傍点の対応付けを繰り返すことで位置合わせを行う手法であり、高密度な３Ｄデータであれば最近傍検索に過大な処理を必要とするため１対Ｎ認証には向かない。そこで、この実施の形態では、通常の顔認証システムにおいては、利用者がカメラに対して正対する場合がほとんどであることに着目し、先ず比較的処理量の少ない２Ｄ照合を行い、２Ｄ照合で判定できなかった場合にのみ３Ｄ照合を行うようにしている。これにより、大量の演算処理を必要とする３Ｄ照合が行われる機会が少なくなり、２Ｄ・３Ｄ複合照合装置全体としてみた場合の照合スピードがアップする。

図１０に実施の形態１の機能ブロック図を示す。同図において、３１は３Ｄ照合顔画像作成部、３２は２Ｄ照合顔画像作成部、３３は２次元照合部、３４は３次元照合部、３５は２Ｄ登録顔画像記憶部、３６は３Ｄ登録顔画像記憶部、３７は正規化部、３８は規定情報取得部である。

この機能ブロック図において、３Ｄ照合顔画像作成部３１は、照合対象物（人間の顔）Ｍ１を撮像したカメラの左画像Ｓ１および右画像Ｓ２の少なくとも一方から照合対象領域ＡＲ１を抽出し、この照合対象領域ＡＲ１における照合対象物Ｍ１の３次元画像を３Ｄ照合顔画像として作成する。２Ｄ照合顔画像作成部３２は、３Ｄ照合顔画像作成部３１によって作成された３Ｄ照合顔画像を正面から見た２次元画像を２Ｄ照合顔画像として作成する。

規定情報取得部３８は、３Ｄ照合顔画像作成部３１で得られる照合対象領域の実際の大きさを規定する情報（この例では、カメラから顔までの実際の距離）を規定情報として取得する。正規化部３７は、規定情報取得部３８によって取得された規定情報に基づいて、２Ｄ照合顔画像作成部３２によって作成された２Ｄ照合顔画像の画像サイズ（顔画像サイズ）を正規化する。

２次元照合部３３は、正規化部３７によって正規化された２Ｄ照合顔画像と２Ｄ登録顔画像記憶部３５に記憶されている複数の２Ｄ登録顔画像とを各個に局所領域毎のＰＯＣによって照合し、２Ｄ照合顔画像と一致する２Ｄ登録顔画像があれば、すぐに「認証ＯＫ」という結果を出す。また、２次元照合部３３は、２Ｄ照合顔画像と２Ｄ登録顔画像との照合結果が全て不一致であった場合、３Ｄ照合の開始指令を３次元照合部３４へ送る。

３次元照合部３４は、２次元照合部３３からの３Ｄ照合の開始指令を受けて、３Ｄ照合顔画像作成部３１によって作成された３Ｄ照合顔画像と３Ｄ登録顔画像記憶部３６に記憶されている複数の３Ｄ登録顔画像とを各個に照合し、「認証ＯＫ」／「認証ＮＧ」の結果を出す。

図１１に実施の形態１において、左カメラの画像Ｓ１から２Ｄ照合顔画像２Ｇ０を作成するようにした場合の機能ブロック図を示す。この場合、２Ｄ照合顔画像作成部３２は、左カメラの画像Ｓ１の照合対象領域ＡＲ１における顔Ｍ１の２次元画像から２Ｄ照合顔画像を作成し、２次元照合部３３へ送る。２Ｄ登録顔画像記憶部３５には２Ｄ照合顔画像作成部３２が作成する２Ｄ照合顔画像と同様にして作成された登録時の２Ｄ登録顔画像が記憶されている。

〔対象物の照合：実施の形態２〕
図１２〜図１４に制御部２０−１がＲＯＭ２０−２に格納されている２Ｄ・３Ｄ複合照合プログラムに従って実行する照合処理の第２例（実施の形態２）のフローチャートを示す。

この実施の形態２でも、制御部２０−１は、実施の形態１と同様にして、ＣＣＤカメラ１０，１１から左右のカメラの画像Ｓ１，Ｓ２（図５（ａ），（ｂ））を取り込み（図１２：ステップＳ２０１）、左カメラの画像Ｓ１に対して顔検出、瞳検出を行うことによって顔領域の座標と左右の瞳の座標（２Ｄ瞳座標）を求め（ステップＳ２０２）、左右のカメラの画像Ｓ１，Ｓ２より照合対象領域（顔領域）の３Ｄ照合顔画像Ｓ３（図５（ｃ））を作成し（ステップＳ２０３）、２Ｄ瞳座標から３Ｄ瞳座標を求め（ステップＳ２０４）、瞳ＩＣＰによって３Ｄ照合顔画像Ｓ３の位置合わせを行い（ステップＳ２０５）、位置合わせされた３Ｄ照合顔画像Ｓ３を３Ｄ照合顔画像３Ｇ０（図５（ｄ））としてＨＤ２０−４に保存する（ステップＳ２０６）。

〔３Ｄ登録顔画像の絞り込み〕
この実施の形態２において、制御部２０−１は、３Ｄ照合顔画像３Ｇ０を作成すると、この作成した３Ｄ照合顔画像３Ｇ０より、瞳間距離、顔長さ、瞳サイズ、カメラから顔までの距離（図１に示すＬ２（実測値））を求める（ステップＳ２０７）。なお、カメラから顔までの距離Ｌ２は、３Ｄ瞳座標より計算する。

そして、制御部２０−１は、ステップＳ２０７で求めた瞳間距離、顔長さ、瞳サイズに基づいて、ＨＤ２０−４に格納されている３Ｄ登録顔画像を分類し、３Ｄ照合顔画像３Ｇ０に類似する顔画像として、ＨＤ２０−４内の３Ｄ登録顔画像を１０個程度に絞り込む（ステップＳ２０８）。ここで、絞り込まれた３Ｄ登録顔画像が１つもない場合には（ステップＳ２０９のＮＯ）、直ちに「認証ＮＧ」とする（ステップＳ２１０）。絞り込まれた３Ｄ登録顔画像があれば（ステップＳ２０９のＹＥＳ）、３Ｄ照合顔画像３Ｇ０に対して正面判定を行う（ステップＳ２１１）。

なお、この例では、３Ｄ照合顔画像３Ｇ０中の瞳間距離、顔長さ、瞳サイズを使用して３Ｄ照合に際して使用する３Ｄ登録顔画像を絞り込むようにしたが、すなわち３Ｄ照合顔画像３Ｇ０より得られる顔Ｍ１の特徴に基づいて３Ｄ照合に際して使用する３Ｄ登録顔画像を絞り込むようにしたが、後述するように、２Ｄ照合顔画像２Ｇ０から顔Ｍ１の特徴を示す情報を求め、この顔Ｍ１の特徴を示す情報から３Ｄ照合に際して使用する３Ｄ登録顔画像を絞り込むようにしてもよい。

〔正面判定〕
ステップＳ２１１での正面判定は次のようにして行う。制御部２０−１は、絞り込まれた３Ｄ登録顔画像の中から最も近い３Ｄ登録顔画像を抽出し、この３Ｄ登録顔画像と３Ｄ照合顔画像３Ｇ０との間のＸ，Ｙ，Ｚ軸方向の姿勢の差Δθ，Δρ，Δψを求め、この姿勢の差Δθ，Δρ，Δψを所定値と比較する。

この場合、姿勢の差Δθ，Δρ，Δψが全て所定値よりも小さければ、３Ｄ照合顔画像３Ｇ０が正面を向いているものと判定する。姿勢の差Δθ，Δρ，Δψが１つでも所定値よりも大きければ、３Ｄ照合顔画像３Ｇ０が正面を向いていないものと判定する。

なお、この例では、ステップＳ２１１での正面判定において、絞り込まれた３Ｄ登録顔画像の中から最も近い３Ｄ登録顔画像を抽出し、この３Ｄ登録顔画像と３Ｄ照合顔画像３Ｇ０との間のＸ，Ｙ，Ｚ軸方向の姿勢の差Δθ，Δρ，Δψを求めるようにしたが、３Ｄ照合顔画像３Ｇ０のＸ，Ｙ，Ｚ軸方向の傾きθ，ρ，ψを基準姿勢との差として求め、この姿勢の差θ，ρ，ψに基づいて正面判定を行うようにしてもよい。

制御部２０−１は、３Ｄ照合顔画像３Ｇ０が正面を向いていると判定すると（ステップＳ２１１のＹＥＳ）、３Ｄ照合顔画像３Ｇ０が２Ｄ照合に適している画像であると判断し、ステップＳ２１２（図１３）以降の処理として次に説明する２Ｄ照合へ進む。これに対し、３Ｄ照合顔画像３Ｇ０が正面を向いていないと判定すると（ステップＳ２１１のＮＯ）、３Ｄ照合顔画像３Ｇ０が２Ｄ照合に適していない画像であると判断し、ステップＳ２２６（図１４）以降の処理として次に説明する３Ｄ照合へ進む。

〔２Ｄ照合〕
〔画像サイズの正規化〕
制御部２０−１は、ステップＳ２１２において、ＨＤ２０−４から３Ｄ照合顔画像３Ｇ０を読み出し、この読み出した３Ｄ照合顔画像３Ｇ０を正面から見た２次元顔画像を２Ｄ照合顔画像２Ｇ０（図５（ｅ））として取得する。そして、ステップＳ２０７で求めたカメラから顔までの距離Ｌ２に基づき、２Ｄ照合顔画像２Ｇ０の画像サイズ（顔画像サイズ）を正規化する（ステップＳ２１３、図５（ｆ））。

〔２Ｄ登録顔画像の絞り込み〕
次に、制御部２０−１は、正規化された２Ｄ照合顔画像２Ｇ０中の瞳間距離、顔長さ、瞳サイズを求め（ステップＳ２１４）、この求めた瞳間距離、顔長さ、瞳サイズに基づいて、ＨＤ２０−４に格納されている２Ｄ登録顔画像を分類し、２Ｄ照合顔画像２Ｇ０に類似する顔画像群として、ＨＤ２０−４内の２Ｄ登録顔画像を１０個程度に絞り込む（ステップＳ２１５）。ここで、絞り込まれた２Ｄ登録顔画像が１つもない場合には（ステップＳ２１６のＮＯ）、直ちに「認証ＮＧ」とする（ステップＳ２１７）。絞り込まれた２Ｄ登録顔画像があれば（ステップＳ２１６のＹＥＳ）、ステップＳ２１８へ進む。

なお、この例では、正規化された２Ｄ照合顔画像２Ｇ０中の瞳間距離、顔長さ、瞳サイズを使用して２Ｄ照合に際して使用する２Ｄ登録顔画像を絞り込むようにしたが、すなわち２Ｄ照合顔画像２Ｇ０より得られる顔Ｍ１の特徴に基づいて２Ｄ照合に際して使用する２Ｄ登録顔画像を絞り込むようにしたが、３Ｄ照合顔画像３Ｇ０から顔Ｍ１の特徴を示す情報を求め、この顔Ｍ１の特徴を示す情報から２Ｄ照合に際して使用する２Ｄ登録顔画像を絞り込むようにしてもよい。

また、この例では、カメラから顔までの実際の距離（カメラから３Ｄ瞳座標までの距離）に基づいて２Ｄ照合顔画像２Ｇ０の顔画像サイズを正規化するようにしたが、３Ｄ照合顔画像３Ｇ０における顔の重心の座標を顔の重心３Ｄ座標として求め、カメラから重心３Ｄ座標までの距離に基づいて２Ｄ照合顔画像２Ｇ０の顔画像サイズを正規化するようにしてもよい。また、３Ｄ照合顔画像３Ｇ０から得られる瞳間距離、顔長さ、瞳サイズなどの実測値に基づいて、２Ｄ照合顔画像２Ｇ０の顔画像サイズを正規化するようにしてもよい。

〔絞り込まれた２Ｄ登録顔画像との照合〕
制御部２０−１は、ステップＳ２１８において、ステップ２１５で絞り込まれた２Ｄ登録顔画像の数をＮ１ｍａｘとして取得する。そして、Ｎ１（初期値０）をＮ１＝Ｎ１＋１とし（ステップＳ２１９）、Ｎ１≦Ｎ１ｍａｘであること確認のうえ（ステップＳ２２０のＹＥＳ）、ＨＤ２０−４からＮ１番目の絞り込まれた２Ｄ登録顔画像を読み込む（ステップＳ２２１）。この場合、ＨＤ２０−４に格納されている絞り込まれた２Ｄ登録顔画像を２Ｇ１〜２ＧＮ１ｍａｘとすれば、Ｎ１＝１番目の２Ｄ登録顔画像２Ｇ１が読み込まれる。

そして、制御部２０−１は、ＨＤ２０−４に格納されている２Ｄ照合顔画像２Ｇ０を読み出し（ステップＳ２２１）、この読み出した２Ｄ照合顔画像２Ｇ０とステップＳ２２１で読み込んだ２Ｄ登録顔画像２Ｇ１とを照合する（ステップＳ２２３）。この２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２Ｇ１との照合は、実施の形態１と同様にして、２Ｄ照合顔画像２Ｇ０を局所領域に分割し、この分割した局所領域毎に、２Ｄ登録顔画像２Ｇ１における対応する局所領域との照合を位相限定相関法（ＰＯＣ）によって行うことによって実施する。

ここで、「一致」という照合結果が出されれば（ステップＳ２２４のＹＥＳ）、制御部２０−１は「認証ＯＫ」とする（ステップＳ２２５）。この認証結果は液晶表示装置１２に表示される。また、外部接続部２０−６を介して、解錠指令などとして出力される。

これに対し、「不一致」という照合結果が出されれば（ステップＳ２２４のＮＯ）、制御部２０−１は、Ｎ１＝Ｎ１＋１＝２とし（ステップＳ２１９）、上述と同様にして、２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２Ｇ２（２ＧＮ１）との照合を行う（ステップＳ２２０〜Ｓ２２３）。この２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２ＧＮ１との照合は、「一致」という照合結果が得られるまで、Ｎ１を１ずつアップしながら繰り返される。

制御部２０−１は、絞り込まれた２Ｄ登録顔画像２Ｇ１〜２ＧＮ１ｍａｘの全てについて「不一致」という照合結果が得られると、ステップＳ２１９でカウントアップされるＮ１がＮ１＞Ｎ１ｍａｘとなるため（ステップＳ２２０のＮＯ）、ステップＳ２１９〜Ｓ２２４の処理ループを抜けて、ステップＳ２２６（図１４）へ進む。すなわち、２Ｄ照合顔画像２Ｇ０と絞り込まれた２Ｄ登録顔画像２Ｇ１〜２ＧＮ１ｍａｘとの照合結果が全て不一致であった場合、制御部２０−１は、２Ｄ照合では判定できなかったと判断し、ステップＳ２２６以降の処理として次に説明する３Ｄ照合へ進む。

〔３Ｄ照合〕
〔姿勢合わせ〕
制御部２０−１は、ステップＳ２２６において、ＨＤ２０−４に格納されている３Ｄ照合顔画像３Ｇ０を読み出し、この読み出した３Ｄ照合顔画像３Ｇ０の姿勢合わせを行う。

この例では、ステップＳ２０８で絞り込まれた３Ｄ登録顔画像の中から最も近い３Ｄ登録顔画像を抽出し、この３Ｄ登録顔画像と３Ｄ照合顔画像３Ｇ０との間のＸ，Ｙ，Ｚ軸方向の姿勢の差Δθ，Δρ，Δψを求め、この差Δθ，Δρ，Δψが何れも０となるように３Ｄ照合顔画像３Ｇ０の姿勢を修正する。

なお、３Ｄ照合顔画像３Ｇ０のＸ，Ｙ，Ｚ軸方向の傾きθ，ρ，ψを基準姿勢との差として求め、この姿勢の差θ，ρ，ψが何れも０となるように３Ｄ照合顔画像３Ｇ０の姿勢を修正するようにしてもよい。

〔絞り込まれた３Ｄ登録顔画像との照合〕
次に、制御部２０−１は、ステップＳ２０８で絞り込まれた３Ｄ登録顔画像の数をＮ２ｍａｘとして取得する（ステップＳ２２７）。そして、Ｎ２（初期値０）をＮ２＝Ｎ２＋１とし（ステップＳ２２８）、Ｎ２≦Ｎ２ｍａｘであること確認のうえ（ステップＳ２２９のＹＥＳ）、ＨＤ２０−４からＮ２番目の絞り込まれた３Ｄ登録顔画像を読み込む（ステップＳ２３０）。この場合、ＨＤ２０−４に格納されている絞り込まれた３Ｄ登録顔画像を３Ｇ１〜３ＧＮ２ｍａｘとすれば、Ｎ２＝１番目の３Ｄ登録顔画像３Ｇ１が読み込まれる。

そして、制御部２０−１は、ＨＤ２０−４に格納されている３Ｄ照合顔画像３Ｇ０を読み出し（ステップＳ２３１）、この読み出した３Ｄ照合顔画像３Ｇ０とステップＳ２３０で読み込んだ３Ｄ登録顔画像３Ｇ１とを照合する（ステップＳ２３２）。この３Ｄ照合顔画像３Ｇ０と３Ｄ登録顔画像３Ｇ１との照合はＩＣＰアルゴリズムを用いて行う。

ここで、「一致」という照合結果が出されれば（ステップＳ２３３のＹＥＳ）、制御部２０−１は「認証ＯＫ」とする（ステップＳ２３４）。この認証結果は液晶表示装置１２に表示される。また、外部接続部２０−６を介して、解錠指令などとして出力される。

これに対し、「不一致」という照合結果が出されれば（ステップＳ２３３のＮＯ）、制御部２０−１は、Ｎ２＝Ｎ２＋１＝２とし（ステップＳ２２８）、上述と同様にして、３Ｄ照合顔画像３Ｇ０と３Ｄ登録顔画像３Ｇ２（３ＧＮ２）との照合を行う（ステップＳ２２９〜Ｓ２３２）。この３Ｄ照合顔画像３Ｇ０と３Ｄ登録顔画像３ＧＮ２との照合は、「一致」という照合結果が得られるまで、Ｎ２を１ずつアップしながら繰り返される。

制御部２０−１は、絞り込まれた３Ｄ登録顔画像３Ｇ１〜３ＧＮ２ｍａｘの全てについて「不一致」という照合結果が得られると、ステップＳ２２８でカウントアップされるＮ２がＮ２＞Ｎ２ｍａｘとなるため（ステップＳ２２９のＮＯ）、ステップＳ２２８〜Ｓ２３３の処理ループを抜けて、「認証ＮＧ」とする（ステップＳ２３５）。この認証結果は液晶表示装置１２に表示される。そして、制御部２０−１は、ステップＳ２０１へ戻り、再度画像キャプチャから２Ｄ・３Ｄの照合処理を再開する。

この実施の形態２では、ステップＳ２１５で２Ｄ照合に際して使用する２Ｄ登録顔画像を絞り込むようにしているので、またステップＳ２０８で３Ｄ照合に際して使用する３Ｄ登録顔画像を絞り込むようにしているので、絞り込まれた登録顔画像との間でのみ２Ｄ照合や３Ｄ照合が行われるものとなり、照合スピードがアップする。

また、この実施の形態２でも、実施の形態１と同様、ステップＳ２１３において、２Ｄ照合顔画像２Ｇ０の顔画像サイズをカメラから顔までの実際の距離に基づいて正規化しているので、登録時と照合時のカメラから顔Ｍ１までの位置がずれていても、２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２ＧＮ１との顔画像サイズが一致するものとなり、照合精度がアップする。また、ステップＳ２２３において、局所領域毎にＰＯＣによって２Ｄ照合を行うようにしているので、２Ｄ照合画像に微小な変化があるような場合でも、局所領域毎の照合スコアがアップし、さらに照合精度がアップする。

また、この実施の形態２では、ステップＳ２１１において３Ｄ照合顔画像３Ｇ０に対して正面判定を行い、３Ｄ照合顔画像３Ｇ０が正面を向いている場合にのみ２Ｄ照合を行うようにしているので、２Ｄ照合で「認証ＯＫ」となる確率が高くなり、照合スピードがアップする。また、この２Ｄ照合で全て不一致と判断されると、３Ｄ照合が行われるので、照合性能の向上が確保される。これにより、実施の形態１と同様、２Ｄ照合と３Ｄ照合との複合による照合性能の向上と照合スピードの高速化との両立が図られる。

また、この実施の形態２では、３Ｄ照合顔画像３Ｇ０が正面を向いていない場合には２Ｄ照合が行われず、直ちに３Ｄ照合が行われる。これにより、「認証ＮＧ」となる可能性が高い２Ｄ照合で無駄に処理時間が費やされることがなく、「認証ＯＫ」となる可能性が高い３Ｄ照合が即座に行われて、照合スピードがアップする。

なお、この実施の形態２では、２Ｄ照合で全て不一致と判断された場合、３Ｄ照合へ進むようにしているが、３Ｄ照合へは進まず、即座に「認証ＮＧ」とするようにしてもよい。すなわち、３Ｄ照合顔画像３Ｇ０に対して正面判定を行い、正面を向いていれば２Ｄ照合のみを行い、正面を向いていなければ３Ｄ照合のみを行うという方式としてもよい。

図１５に実施の形態２の機能ブロック図を示す。同図において、４１は３Ｄ照合顔画像作成部、４２は正面判定部、４３は２Ｄ照合顔画像作成部、４４は正規化部、４５は２Ｄ登録顔画像絞込部、４６は２次元照合部、４７は３Ｄ登録顔画像絞込部、４８は３次元照合部、４９は２Ｄ登録顔画像記憶部、５０は３Ｄ登録顔画像記憶部、５１は規定情報取得部である。

この機能ブロック図において、３Ｄ照合顔画像作成部４１は、照合対象物（人間の顔）Ｍ１を撮像したカメラの左画像Ｓ１および右画像Ｓ２の少なくとも一方から照合対象領域ＡＲ１を抽出し、この照合対象領域ＡＲ１における照合対象物Ｍ１の３次元画像を３Ｄ照合顔画像として作成する。

３Ｄ登録顔画像絞込部４７は、この３Ｄ照合顔画像作成部４１によって作成された３Ｄ照合顔画像より得られる照合対象物Ｍ１の特徴を示す情報に基づいて、３Ｄ登録顔画像記憶部５０に記憶されている複数の３Ｄ登録顔画像の中から３Ｄ照合に際して使用する３Ｄ登録顔画像を絞り込む。

正面判定部４２は、３Ｄ照合顔画像作成部４１によって作成された３Ｄ照合顔画像が正面を向いているか否かを判定し、３Ｄ照合顔画像が正面を向いていれば２Ｄ照合顔画像作成部４３に３Ｄ照合顔画像を送り、３Ｄ照合顔画像が正面を向いていなければ３次元照合部４８へ３Ｄ照合の開始指令を送る。

２Ｄ照合顔画像作成部４３は、正面判定部４２より３Ｄ照合顔画像が送られてくると、この３Ｄ照合顔画像を正面から見た２次元画像を２Ｄ照合顔画像として作成する。規定情報取得部５１は、３Ｄ照合顔画像作成部４１で得られる照合対象領域の実際の大きさを規定する情報（この例では、カメラから顔までの実際の距離）を規定情報として取得する。正規化部４４は、規定情報取得部５１によって取得された規定情報に基づいて、２Ｄ照合顔画像作成部４によって作成された２Ｄ照合顔画像の画像サイズ（顔画像サイズ）を正規化する。

２Ｄ登録顔画像絞込部４５は、正規化部４４によって正規化された２Ｄ照合顔画像より得られる照合対象物Ｍ１の特徴を示す情報に基づいて、２Ｄ登録顔画像記憶部４９に記憶されている複数の２Ｄ登録顔画像の中から２Ｄ照合に際して使用する２Ｄ登録顔画像を絞り込む。

２次元照合部４６は、正規化部４４によって正規化された２Ｄ照合顔画像と２Ｄ登録顔画像記憶部４９に記憶されている２Ｄ登録顔画像絞込部４５によって絞り込まれた２Ｄ登録顔画像とを各個に照合し、２Ｄ照合顔画像と一致する２Ｄ登録顔画像があれば、すぐに「認証ＯＫ」という結果を出す。また、２次元照合部４６は、２Ｄ照合顔画像と２Ｄ登録顔画像との照合結果が全て不一致であった場合、３Ｄ照合の開始指令を３次元照合部４８へ送る。

３次元照合部４８は、２次元照合部４６あるいは正面判定部４２からの３Ｄ照合の開始指令を受けて、３Ｄ照合顔画像作成部４１によって作成された３Ｄ照合顔画像と３Ｄ登録顔画像記憶部５０に記憶されている３Ｄ登録顔画像絞込部５０によって絞り込まれた３Ｄ登録顔画像とを各個に照合し、「認証ＯＫ」／「認証ＮＧ」の３Ｄ照合の結果を出す。

図１６に実施の形態２において、左カメラの画像Ｓ１から２Ｄ照合顔画像２Ｇ０を作成するようにした場合の機能ブロック図を示す。この場合、正面判定部４２は、３Ｄ照合顔画像作成部４１によって作成された３Ｄ照合顔画像が正面を向いているか否かを判定し、３Ｄ照合顔画像が正面を向いていれば２Ｄ照合顔画像作成部４３に２Ｄ照合顔画像の作成指令を送る。この作成指令を受けて、２Ｄ照合顔画像作成部４３は、左カメラの画像Ｓ１の照合対象領域ＡＲ１における顔Ｍ１の２次元画像から２Ｄ照合顔画像を作成し、正規化部４４へ送る。２Ｄ登録顔画像記憶部３５には２Ｄ照合顔画像作成部３２が作成する２Ｄ照合顔画像と同様にして作成された登録時の２Ｄ登録顔画像が記憶されている。

なお、上述した実施の形態１，２において、３Ｄ照合を行わない場合には、すなわち２Ｄ照合のみを行う場合には、必ずしも３Ｄ照合顔画像を作成しなくてもよい。すなわち、この場合、２Ｄ瞳座標から３Ｄ計測によって３Ｄ瞳座標を求めるようにし、この３Ｄ瞳座標からカメラから顔までの実際の距離（照合対象領域の実際の大きさを規定する情報）を求めるようにし、このカメラから顔までの実際の距離に基づいて２Ｄ照合顔画像の画像サイズを正規化すればよい。

また、上述した実施の形態１，２では、２Ｄ照合顔画像と２Ｄ登録顔画像との２Ｄ照合を局所領域毎に位相限定相関法（ＰＯＣ）によって行うようにしたが、いわゆる振幅抑制相関法によって行うようにしてもよい。また２Ｄ照合顔画像と２Ｄ登録顔画像の領域を段階的に徐々に縮小していき、対応する領域毎に位相限定相関法などによって２Ｄ照合を行うようにしてもよい。

また、上述した実施の形態１，２では、２Ｄ登録顔画像として複数の顔画像を登録するようにしたが、予め顔画像を所定の局所領域に分割し、この局所領域毎に２次元離散的フーリエ変換を施したフーリエ画像データとして登録するようにしてもよい。

本発明の照合装置は、対象物の画像サイズを正規化して照合を行う照合装置として、入退室を管理するシステムに限らず、各種の対象物を認証するシステム（例えば、印刷などの画像チェック、半田基板チェックなど）において利用することが可能である。

１０，１１…ＣＣＤカメラ、１２…液晶表示装置（ＬＣＤ）、２０…処理部、２０−１…制御部、２０−２…ＲＯＭ、２０−３…ＲＡＭ、２０−４…ハードディスク（ＨＤ）、２０−５…フレームメモリ（ＦＭ）、２０−６…外部接続部（Ｉ／Ｆ）、２０−７…フーリエ変換部（ＦＦＴ）、１０−１，１１−１…レンズ、３１…３Ｄ照合顔画像作成部、３２…２Ｄ照合顔画像作成部、３３…２次元照合部、３４…３次元照合部、３５…２Ｄ登録顔画像記憶部、３６…３Ｄ登録顔画像記憶部、３７…正規化部、３８…規定情報取得部、４１…３Ｄ照合顔画像作成部、４２…正面判定部、４３…２Ｄ照合顔画像作成部、４４…正規化部、４５…２Ｄ登録顔画像絞込部、４６…２次元照合部、４７…３Ｄ登録顔画像絞込部、４８…３次元照合部、４９…２Ｄ登録顔画像記憶部、５０…３Ｄ登録顔画像記憶部、５１…規定情報取得部。

Claims (5)

1. 照合対象物を第１の方向から撮像した画像および第２の方向から撮像した画像の少なくと一方から照合対象となる領域を抽出し、この照合対象領域における前記照合対象物の２次元画像を２Ｄ照合画像として作成する２Ｄ照合画像作成手段と、
   前記照合対象物を第１の方向から撮像した画像および第２の方向から撮像した画像から前記照合対象領域の実際の大きさを規定する情報を規定情報として取得する規定情報取得手段と、
   この規定情報取得手段によって取得された規定情報に基づいて前記２Ｄ照合画像作成手段によって作成された２Ｄ照合画像の画像サイズを正規化する正規化手段と、
   この正規化手段によって正規化された２Ｄ照合画像と予め２Ｄ登録画像として記憶されている複数の登録対象物の２次元画像とを各個に照合する２次元照合手段とを備え、
   前記２次元照合手段は、
   前記２Ｄ照合画像を局所領域に分割し、この分割した局所領域毎に、前記２Ｄ登録画像の各分割領域との照合を行う
   ことを特徴とする照合装置。
2. 請求項１に記載された照合装置において、
   前記２次元照合手段は、
   前記２Ｄ照合画像を局所領域に分割し、この分割した局所領域毎に、前記２Ｄ登録画像における対応する局所領域との照合を行う
   ことを特徴とする照合装置。
3. 請求項１又は２に記載された照合装置において、
   前記２次元照合手段は、前記２Ｄ照合画像と２Ｄ登録画像との照合を位相限定相関法によって行う
   ことを特徴とする照合装置。
4. 請求項１−３の何れか１項に記載された照合装置において、
   少なくとも前記２Ｄ照合画像より得られる前記照合対象物の特徴を示す情報に基づいて、前記記憶されている複数の登録対象物の２次元画像の中から前記２Ｄ登録画像として使用する２次元画像を絞り込む２Ｄ登録画像絞込手段
   を備えることを特徴とする照合装置。
5. 請求項１−３の何れか１項に記載された照合装置において、
   前記照合対象領域における前記照合対象物の３次元画像を３Ｄ照合画像として作成する３Ｄ照合画像作成手段と、
   前記３Ｄ照合画像作成手段によって作成された３Ｄ照合画像より得られる前記照合対象物の特徴を示す情報又は前記２Ｄ照合画像作成手段によって作成された２Ｄ照合画像より得られる前記照合対象物の特徴を示す情報に基づいて、前記記憶されている複数の登録対象物の２次元画像の中から前記２Ｄ登録画像として使用する２次元画像を絞り込む２Ｄ登録画像絞込手段と
   を備えることを特徴とする照合装置。

Images