JP2011203791A - ２ｄ・３ｄ複合照合装置 - Google Patents

Abstract

【課題】２Ｄ照合と３Ｄ照合との複合による照合性能の向上と照合スピードの高速化とを両立させる。
【解決手段】３Ｄ照合顔画像作成部３１において、顔Ｍ１を撮像したカメラの左画像Ｓ１および右画像Ｓ２の少なくとも一方から照合対象領域ＡＲ１を抽出し、この照合対象領域ＡＲ１における顔Ｍ１の３次元画像を３Ｄ照合顔画像として作成する。２Ｄ照合顔画像作成部３２において、照合対象領域ＡＲ１における顔Ｍ１の２次元画像を２Ｄ照合顔画像として作成する。先ず、２次元照合部３３において、２Ｄ照合顔画像と複数の２Ｄ登録顔画像との照合を行い、全ての照合結果が不一致であった場合、３次元照合部３４において、３Ｄ照合顔画像と複数の３Ｄ登録顔画像との照合を行う。
【選択図】 図１０

Description

この発明は、２次元の照合（２Ｄ照合）と３次元の照合（３Ｄ照合）とを複合して対象物の照合を行う２Ｄ・３Ｄ複合照合装置に関するものである。

近年、コンピュータ室や重要機械室への入退室管理、コンピュータ端末や銀行の金融端末へのアクセス管理などの個人認証を必要とする分野において、これまでの暗証番号やＩＤカードに代わって、生体情報に基づいて個人の認証を行うシステムが開発されている。

生体情報を用いた個人認証システムは、記憶や所持を必要としないこと、盗難の危険性が低いことから注目されている。生体情報による個人認証では、指紋・虹彩・顔・掌紋・筆跡などが利用されるが、その中でも顔を用いた個人認証は、利便性と受容性が高いことから注目されている。

例えば、入退室管理などに利用される顔認証方法として、カメラ等で撮影した２次元の画像（２Ｄ顔画像）を用いる２Ｄ顔認証と、３Ｄスキャナやステレオビジョン等で取得した３次元の画像（３Ｄ顔画像）を用いる３Ｄ顔認証がある。２Ｄ顔認証の場合、明るさ・顔の向きの変化により認証性能が低下するが、表情やメガネなどの部分的な変化に対してロバストな認証が可能である。一方、３Ｄ顔認証の場合は、表情変化により認証性能が低下するが、明るさ・顔の向きの変化にロバストな認証が可能である。このように、２Ｄ顔認証と３Ｄ顔認証とには、それぞれ一長一短がある。

そこで、例えば特許文献１に、２Ｄ顔認証と３Ｄ顔認証とを複合して認証を行う２Ｄ・３Ｄ複合認証装置が提案されている。この２Ｄ・３Ｄ複合認証装置では、認証対象物の２次元情報（２Ｄ顔画像）と３次元情報（３Ｄ顔画像）の両方を取得し、両者の重みを調整して認証を行う。具体的には、認証対象物（照合対象物）の３次元情報と比較対象物（登録対象物）の３次元情報との類似度を第１の類似度として算出し、認証対象物の２次元情報と比較対象物の２次元情報との類似度を第２の類似度として算出し、調整された重み係数を用いて第１の類似度と第２の類似度とを合成し、認証対象物と比較対象物との総合類似度を算出し、この算出した総合類似度に基づいて認証判定を行う。これにより、２Ｄ顔認証と３Ｄ顔認証とが複合され、認証性能が向上する。

特開２００７−５８３９３号公報 特開平１０−１３２５３４号公報（特許第３３４７６０８号） 特開２００７−１６４６６９号公報 特開平９−２７７１８４号公報

コンピュータ画像処理入門（日本工業技術センター編、総研出版（株）発行、Ｐ．４４〜４５） P. J. Besl and N. D. McKay: "A method for registration of 3-D shapes", IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 14, no. 2, pp. 239-256 (Feb. 1992) X. Lu and A. K. Jain: "Matching 2.5D face scans to 3D models", IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 28, no. 1, pp. 31-43 (Jan. 2006)

しかしながら、上述した従来の２Ｄ・３Ｄ複合認証装置では、２次元情報の類似度と３次元情報の類似度を常に求める必要があり、特に３次元情報の類似度を求めるための処理量が多く、認証に時間を要するという問題があった。すなわち、従来の２Ｄ・３Ｄ複合認証装置では、実質的に２Ｄ顔画像の照合と３Ｄ顔画像の照合の両方を常時行うようにしているために、２Ｄ顔画像の照合のための演算処理量に３Ｄ顔画像の照合のための演算処理量が加わり、照合スピードを高速化することができないという問題があった。

本発明は、このような課題を解決するためになされたもので、その目的とするところは、２Ｄ照合と３Ｄ照合との複合による照合性能の向上と照合スピードの高速化とを両立させることができる２Ｄ・３Ｄ照合装置を提供することにある。

このような目的を達成するために本発明は、照合対象物を第１の方向から撮像した画像および第２の方向から撮像した画像の少なくとも一方から照合対象となる領域を抽出し、この照合対象領域における照合対象物の３次元画像を３Ｄ照合画像として作成する３Ｄ照合画像作成手段と、照合対象領域における照合対象物の２次元画像を２Ｄ照合画像として作成する２Ｄ照合画像作成手段と、この２Ｄ照合画像作成手段によって作成された２Ｄ照合画像と予め２Ｄ登録画像として記憶されている複数の登録対象物の２次元画像とを各個に照合する２次元照合手段と、この２次元照合手段による２Ｄ照合画像と２Ｄ登録画像との照合結果が全て不一致であった場合、３Ｄ照合画像作成手段によって作成された３Ｄ照合画像と予め３Ｄ登録画像として記憶されている複数の登録対象物の３次元画像とを各個に照合する３次元照合手段とを設けたものである。

この発明によれば、先ず、２Ｄ照合画像と２Ｄ登録画像との照合（２Ｄ照合）が行われる。この２Ｄ照合によって、２Ｄ照合画像と一致する２Ｄ登録画像が見つかれば、その時点で「一致」した旨の照合結果が得られる。２Ｄ照合画像と一致する２Ｄ登録画像が見つからなければ、２Ｄ照合では判定できなかったものとして、３Ｄ照合画像と３Ｄ登録画像との照合（３Ｄ照合）が行われる。

本発明において、２Ｄ照合画像は、３Ｄ照合画像（照合対象領域における照合対象物の３次元画像）を正面から見た２次元画像として作成するようにしてもよいし、照合対象物を第１の方向から撮像した画像や第２の方向から撮像した画像から抽出された照合対象領域における照合対象物の２次元画像として作成するようにしてもよい。

また、本発明において、３Ｄ照合画像作成手段によって作成された３Ｄ照合画像より得られる照合対象物の特徴を示す情報又は２Ｄ照合画像作成手段によって作成された２Ｄ照合画像より得られる照合対象物の特徴を示すに基づいて、記憶されている複数の登録対象物の３次元画像の中から３Ｄ登録画像として使用する３次元画像を絞り込むようにしたり、３Ｄ照合画像作成手段によって作成された３Ｄ照合画像より得られる照合対象物の特徴を示す情報又は２Ｄ照合画像作成手段によって作成された２Ｄ照合画像より得られる照合対象物の特徴を示す情報に基づいて、記憶されている複数の登録対象物の２次元画像の中から２Ｄ登録画像として使用する２次元画像を絞り込むようにしたりしてもよい。

また、本発明において、３Ｄ照合画像作成手段によって作成された３Ｄ照合画像が正面を向いているか否かを判定し、正面を向いていないと判定した場合、３次元照合手段による３Ｄ照合画像と３Ｄ登録画像との照合を直ちに実行させるようにしてもよい。この場合、正面を向いていると判定されると、２次元照合手段による２Ｄ照合画像と２Ｄ登録画像との照合が行われ、この２次元照合手段による２次元照合手段による２Ｄ照合画像と２Ｄ登録画像との照合結果が全て不一致であった場合、３次元照合手段による３Ｄ照合画像と３Ｄ登録画像との照合が行われるものとなる。

また、本発明において、３Ｄ照合画像作成手段において得られる照合対象領域の実際の大きさを規定する情報（例えば、カメラから顔までの距離）を規定情報として取得するようにし、この取得された規定情報に基づいて２Ｄ照合画像作成手段によって作成された２Ｄ照合画像の画像サイズを正規化するようにしてもよい。この場合、２次元照合手段は、正規化手段によって正規化された２Ｄ照合画像と２Ｄ登録画像との照合を行う。

本発明によれば、２Ｄ照合画像と複数の２Ｄ登録画像との照合を行うようにし、２Ｄ照合画像と２Ｄ登録画像との照合結果が全て不一致であった場合、３Ｄ照合画像と複数の３Ｄ登録画像との照合を行わせるようにしたので、２Ｄ照合で判定できればすぐに照合結果が得られ、２Ｄ照合によって判定できなかった場合にのみ３Ｄ照合が行われるものとなり、２Ｄ照合と３Ｄ照合との複合による照合性能の向上と照合スピードの高速化とを両立させることができるようになる。

本発明に係る２Ｄ・３Ｄ複合照合装置の一実施の形態を示すブロック構成図である。 この２Ｄ・３Ｄ複合照合装置における制御部が実行する照合処理の第１例（実施の形態１）のフローチャートである。 図２に続く照合処理の第１例のフローチャートである。 図３に続く照合処理の第１例のフローチャートである。 この照合処理の第１例において３Ｄ照合顔画像および２Ｄ照合顔画像が作成されて行く様子を説明する図である。 この照合処理の第１例において求められる顔領域の座標や瞳の座標（２Ｄ瞳座標、３Ｄ瞳座標）の例を示す図である。 左カメラの画像あるいは右カメラの画像における照合対象領域からの２Ｄ照合顔画像の作成例を説明する図である。 ２Ｄ照合顔画像と２Ｄ登録顔画像との位相限定相関法による局所領域毎の照合を説明する図である。 ２Ｄ照合顔画像と２Ｄ登録顔画像との位相限定相関法による局所領域毎の照合の別の例を説明する図である。 実施の形態１の機能ブロック図である。 実施の形態１において左カメラの画像から２Ｄ照合顔画像を作成するようにした場合の機能ブロック図である。 制御部が実行する照合処理の第２例（実施の形態２）のフローチャートである。 図１２に続く照合処理の第２例のフローチャートである。 図１２および図１３に続く照合処理の第２例のフローチャートである。 実施の形態２の機能ブロック図である。 実施の形態２において左カメラの画像から２Ｄ照合顔画像を作成するようにした場合の機能ブロック図である。

以下、本発明を図面に基づいて詳細に説明する。図１は本発明に係る２Ｄ・３Ｄ複合照合装置の一実施の形態を示すブロック構成図である。

図１において、１０は第１のＣＣＤカメラ、１１は第２のＣＣＤカメラ、１２は液晶表示装置（ＬＣＤ）、２０は処理部であり、処理部２０は、ＣＰＵを有する制御部２０−１と、ＲＯＭ２０−２と、ＲＡＭ２０−３と、ハードディスク（ＨＤ）２０−４と、フレームメモリ（ＦＭ）２０−５と、外部接続部（Ｉ／Ｆ）２０−６と、フーリエ変換部（ＦＦＴ）２０−７とを備えており、ＲＯＭ２０−２には本実施の形態特有のプログラムとして２Ｄ・３Ｄ複合照合プログラムが格納されている。また、ＨＤ２０−４には、複数の登録対象物（人間の顔）の２次元画像および３次元画像が２Ｄ登録顔画像および３Ｄ登録顔画像として格納されている。この２Ｄ登録顔画像および３Ｄ登録顔画像については後述する。

また、この２Ｄ・３Ｄ複合照合装置において、ＣＣＤカメラ１０，１１は、所定の距離Ｌ１を隔てて設置されている。すなわち、ＣＣＤカメラ１０，１１は、そのレンズ１０−１，１１−１間の距離をＬ１として、横方向に並んで配置されている。図では分かり易いように、２Ｄ・３Ｄ複合照合装置は上方向から見た図とし、対象物（人間の顔）は横方向から見た図としている。

〔対象物の照合：実施の形態１〕
この２Ｄ・３Ｄ複合照合装置において、照合対象物を人間の顔Ｍ１とした場合、この顔Ｍ１の照合は次のようにして行われる。図２〜図４に制御部２０−１がＲＯＭ２０−２に格納されている２Ｄ・３Ｄ複合照合プログラムに従って実行する照合処理の第１例（実施の形態１）のフローチャートを示す。

〔画像キャプチャ〕
利用者は、ＣＣＤカメラ１０，１１の前に立つ。すると、制御部２０−１は、ＣＣＤカメラ１０，１１の撮像領域に顔Ｍ１が入ったことを認識し、フレームメモリ２０−５を介して、ＣＣＤカメラ１０からの顔Ｍ１を捉えた画像Ｓ１（図５（ａ）：第１の方向から撮像した画像）を左カメラの画像として取り込み、ＣＣＤカメラ１１からの顔Ｍ１を捉えた画像Ｓ２（図５（ｂ）：第２の方向から撮像した画像）を右カメラの画像として取り込む（図２：ステップＳ１０１）。

〔顔検出、瞳検出〕
そして、制御部２０−１は、取り込んだ左カメラの画像Ｓ１に対して、分離度フィルタなどの画像処理にて顔検出と瞳検出を行い、顔領域の座標と左右の瞳の座標（２Ｄ瞳座標）を求める（ステップＳ１０２）。図６（ａ）にこの時の顔領域の座標（顔領域（左上）、顔領域（右下））の例を示す。図６（ｂ）にこの時の左右の瞳の座標（２Ｄ瞳座標（左）、２Ｄ瞳座標（右））の例を示す。なお、この例では、左カメラの画像Ｓ１に対して顔検出および瞳検出を行っているが、右カメラの画像Ｓ２に対して顔検出および瞳検出を行うようにしてもよい。

〔３Ｄ照合顔画像の作成〕
次に、制御部２０−１は、ステップＳ１０２で求めた顔領域を照合対象領域ＡＲ１とし、左カメラの画像Ｓ１と右カメラの画像Ｓ２より照合対象領域ＡＲ１における顔Ｍ１の３次元画像を３Ｄ照合顔画像Ｓ３（図５（ｃ））として作成する（ステップＳ１０３）。なお、この３Ｄ照合顔画像Ｓ３の作成は、本出願人が既に特許を取得している特許文献２に示された方式（三角測量の原理に基づく方式）によって行う。この方式では、ステレオ画像の対応付けに位相限定相関法を利用しており、高精度に顔の３Ｄデータ（実測値）を取得することが可能である。

〔３Ｄ瞳座標の取得〕
そして、制御部２０−１は、ステップＳ１０２で求めた２Ｄ瞳座標から、３Ｄ照合顔画像Ｓ３における左右の瞳の座標を３Ｄ瞳座標として求める（ステップＳ１０４）。図６（ｃ）にこの時の左右の瞳の座標（３Ｄ瞳座標（左）、３Ｄ瞳座標（右））の例を示す。なお、この３Ｄ瞳座標は、３Ｄ照合顔画像Ｓ３を得る前に、２Ｄ瞳座標から３Ｄ計測によって即座に求めるようにしてもよい。

〔３Ｄ位置合わせ（瞳ＩＣＰ）〕
そして、制御部２０−１は、注目部分の３次元パターンとして標準的な人の瞳の位置および姿勢を基準として配置した基準テンプレートを用い（例えば、特許文献３参照）、ＩＣＰ（Iterative Closest Point ）アルゴリズム（例えば、特許文献４参照）によって、３Ｄ照合顔画像Ｓ３の位置合わせを行う（ステップＳ１０５）。この基準テンプレートの０瞳の位置を基準とした位置合わせを瞳ＩＣＰと呼ぶ。

なお、ＩＣＰアルゴリズムでは、基準テンプレートのデータをＭ、３Ｄ照合顔画像Ｓ３のデータをＭ’とした場合、３Ｄ照合顔画像Ｓ３の位置および姿勢は次の（１）〜（４）のようにして基準テンプレートと合わせられる。

（１）Ｍに含まれる全ての点ｍｉについて、最も近い点ｍｉ’をＭ’の中から探し、得られたｍｉとｍｉ’の組を対応点の組とする。
（２）現在の対応関係を基にして、２つの３次元パターンのデータＭ，Ｍ’間の最適な運動パターン（回転Ｒ，並進ｔ）を推定する。具体的には、並進ｔを瞳の３Ｄ座標によって求める。また、回転Ｒに関しては最小二乗法により推定する。
（３）上記（２）で得られたＲとｔを用いて、Ｍ’を座標変換する。
（４）Ｍと座標変換後のＭ’に対して、Ｒとｔの変化が十分に小さくなり、収束するまで、上記（１）〜（３）を繰り返す。

制御部２０−１は、このようにして３Ｄ照合顔画像Ｓ３の位置合わせを瞳ＩＣＰによって行った後、この位置合わせされた３Ｄ照合顔画像Ｓ３を３Ｄ照合顔画像３Ｇ０（図５（ｄ））としてＨＤ２０−４に保存する（ステップＳ１０６）。また、この３Ｄ照合顔画像３Ｇ０を正面から見た２次元顔画像を２Ｄ照合顔画像２Ｇ０（図５（ｅ））として取得し、ＨＤ２０−４に保存する（ステップＳ１０７）。

なお、この例では、３Ｄ照合顔画像３Ｇ０を正面から見た２次元顔画像を２Ｄ照合顔画像２Ｇ０として取得するものとしたが、図７に示すように、左カメラの画像Ｓ１の照合対象領域ＡＲ１における顔Ｍ１の２次元画像を２Ｄ照合顔画像２Ｇ０として取得するようにしてもよい。また、右カメラの画像Ｓ２から照合対象領域ＡＲ１を抽出するようにし、この右カメラの画像Ｓ２から抽出した照合対象領域ＡＲ１における顔Ｍ１の２次元画像を２Ｄ照合顔画像２Ｇ０として取得するようにしてもよい。

〔２Ｄ照合〕
次に、制御部２０−１は、ＨＤ２０−４に格納されている２Ｄ登録顔画像の数をＮ１ｍａｘとして取得し（図３：ステップＳ１０８）、Ｎ１（初期値０）をＮ１＝Ｎ１＋１とし（ステップＳ１０９）、Ｎ１≦Ｎ１ｍａｘであること確認のうえ（ステップＳ１１０のＹＥＳ）、ＨＤ２０−４からＮ１番目の２Ｄ登録顔画像を読み込む（ステップＳ１１１）。この場合、ＨＤ２０−４に格納されている２Ｄ登録顔画像を２Ｇ１〜２ＧＮ１ｍａｘとすれば、Ｎ１＝１番目の２Ｄ登録顔画像２Ｇ１が読み込まれる。

なお、この時のＨＤ２０−４に格納されている２Ｄ登録顔画像２Ｇ１〜２ＧＮ１ｍａｘは、２Ｄ照合顔画像２Ｇ０と同様にして得られた登録時の２次元顔画像である。但し、この２Ｄ登録顔画像２Ｇ１〜２ＧＮ１ｍａｘの作成に際しては、カメラ１０，１１からの距離を規定の距離として、姿勢を正した状態で登録対象物（人間の顔）Ｍ１を撮像する。この例において、２Ｄ登録顔画像２Ｇ１〜２ＧＮ１ｍａｘは、後述する３Ｄ登録顔画像３Ｇ１〜３ＧＮ１ｍａｘを正面から見た２次元顔画像として得られている。

そして、制御部２０−１は、ＨＤ２０−４に格納されている２Ｄ照合顔画像２Ｇ０を読み出し（ステップＳ１１２）、この読み出した２Ｄ照合顔画像２Ｇ０とステップＳ１１１で読み込んだ２Ｄ登録顔画像２Ｇ１とを照合する（ステップＳ１１３）。この２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２Ｇ１との照合は、２Ｄ照合顔画像２Ｇ０を局所領域に分割し、この分割した局所領域毎に、２Ｄ登録顔画像２Ｇ１における対応する局所領域との照合を位相限定相関法（ＰＯＣ）によって行うことによって実施する。

〔位相限定相関法による２Ｄ照合顔画像と２Ｄ登録顔画像との照合（２Ｄ照合）〕
ステップＳ１１３での２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２Ｇ１との照合は次のようにして行う。制御部２０−１は、２Ｄ照合顔画像２Ｇ０（図８（ａ））をｍ×ｎ個の局所領域２Ｇ０（ｉ，ｊ）に分割する（図８（ｂ））。そして、ｉ＝１，ｊ＝１とし、２Ｄ照合顔画像２Ｇ０の局所領域２Ｇ０（１，１）の画像データをフーリエ変換部２０−７へ送り、２次元離散的フーリエ変換を施す。これにより、局所領域２Ｇ０（１，１）の画像データは、フーリエ画像データ２Ｆ０（１，１）となる。なお、２次元離散的フーリエ変換については、例えば非特許文献１等に説明されているので、ここでの詳しい説明は省略する。

次に、制御部２０−１は、２Ｄ登録顔画像２Ｇ１（図８（ｂ））をｍ×ｎ個の局所領域２Ｇ１（ｉ，ｊ）に分割する（図８（ｄ））。そして、ｉ＝１，ｊ＝１とし、２Ｄ登録顔画像２Ｇ１の局所領域２Ｇ１（１，１）の画像データをフーリエ変換部２０−７へ送り、２次元離散的フーリエ変換を施す。これにより、局所領域２Ｇ１（１，１）の画像データは、フーリエ画像データ２Ｆ１（１，１）となる。

そして、制御部２０−１は、フーリエ画像データ２Ｆ０（１，１）とフーリエ画像データ２Ｆ１（１，１）とを合成し、合成フーリエ画像データを得る。

ここで、合成フーリエ画像データは、フーリエ画像データ２Ｆ０をＡ・ｅｘｐ（ｊθ）とし、フーリエ画像データ２Ｆ１をＢ・ｅｘｐ（ｊφ）とした場合、フーリエ画像データ２Ｆ０にフーリエ画像データ２Ｆ１の複素共役を乗じることによって得られるＡ・Ｂ・ｅｘｐ（ｊ（θ−φ））で表される。但し、Ａ，Ｂ，θ，φとも空間周波数（フーリエ）空間（ｕ，ｖ）の関数とする。

そして、Ａ・Ｂ・ｅｘｐ（ｊ（θ−φ））は、
Ａ・Ｂ・ｅｘｐ（ｊ（θ−φ））＝Ａ・Ｂ・ｃｏｓ（θ−φ）＋ｊ・Ａ・Ｂ・ｓｉｎ（θ−φ） ・・・（１）
として表され、Ａ・ｅｘｐ（ｊθ）＝α₁ ＋ｊβ₁ 、Ｂ・ｅｘｐ（ｊφ）＝α₂ ＋ｊβ₂ とすると、Ａ＝（α₁ ²＋β₁ ²）^1/2，Ｂ＝（α₂ ²＋β₂ ²）^1/2，θ＝ｔａｎ^-1（β₁ ／α₁ ），φ＝ｔａｎ^-1（β₂ ／α₂ ）となる。この（１）式を計算することにより合成フーリエ画像データを得る。

なお、Ａ・Ｂ・ｅｘｐ（ｊ（θ−φ））＝Ａ・Ｂ・ｅｘｐ（ｊθ）・ｅｘｐ（−ｊφ）＝Ａ・ｅｘｐ（ｊθ）・Ｂ・ｅｘｐ（−ｊφ）＝（α₁ ＋ｊβ₁ ）・（α₂ −ｊβ₂ ）＝（α₁ ・α₂ ＋β₁ ・β₂ ）＋ｊ（α₂ ・β₁ −α₁ ・β₂ ）として、合成フーリエ画像データを求めるようにしてもよい。

そして、制御部２０−１は、このようにして合成フーリエ画像データを得た後、振幅抑制処理を行う。この実施の形態では、振幅抑制処理として、全ての振幅を１にする。すなわち、前述した合成フーリエ画像データの演算式であるＡ・Ｂ・ｅｘｐ（ｊ（θ−φ））の振幅Ａ・Ｂを１とし、位相のみとする。なお、振幅抑制処理として、ｌｏｇ処理や√処理を行うようにしてもよい。位相のみにすると、ｌｏｇ処理や√処理等に比べ、計算量を減らすことができるという利点とデータが少なくなるという利点がある。

次に、制御部２０−１は、位相のみとした合成フーリエ画像データをフーリエ変換部２０−７へ送り、もう一度、２次元離散的フーリエ変換を施す。この２次元離散的フーリエ変換が施された合成フーリエ画像データは、周波数空間における振幅が１とされているが、基本的には２Ｄ照合顔画像２Ｇ０の局所領域２Ｇ０（１，１）の画像と２Ｄ登録顔画像２Ｇ１の局所領域２Ｇ１（１，１）の画像とを畳み込んだ画像データと考えることができ、２Ｄ照合顔画像２Ｇ０の局所領域２Ｇ０（１，１）の画像と２Ｄ登録顔画像２Ｇ１の局所領域２Ｇ１（１，１）の画像との相関を表すものである。

そして、制御部２０−１は、この２次元離散的フーリエ変換が施された合成フーリエ画像データを取り込み、この合成フーリエ画像データより所定の相関成分エリア（この実施の形態では全エリア）の各画素の強度（振幅）をスキャンし、最もその強度が高いものを相関ピークＰａ１として抽出する（図８（ｅ））。

この場合、２Ｄ照合顔画像２Ｇ０の局所領域２Ｇ０（１，１）の画像中に２Ｄ登録顔画像２Ｇ１の局所領域２Ｇ１（１，１）の画像と一致する画像データがないので、あるいは一致する画像データがあったとしてもそれは背景であるので、相関ピークＰａ１は小さいものとして現れる。

次に、ｉ＝２，ｊ＝１とし、２Ｄ照合顔画像２Ｇ０の局所領域２Ｇ０（１，２）および２Ｄ登録顔画像２Ｇ１の局所領域２Ｇ１（１，２）での相関ピークＰａ１を抽出し、同様の処理をｉ＝ｎ，ｊ＝ｍとなるまで繰り返す。そして、制御部２０−１は、このようにして得た各局所領域での相関ピークＰａ１を平均して照合スコアとし、この照合スコアと予め定められている閾値とを比較し、照合スコアが閾値以上であれば「一致」という照合結果を出し、照合スコアが閾値に満たなければ「不一致」という照合結果を出す。

ここで、「一致」という照合結果が出されれば（ステップＳ１１４のＹＥＳ）、制御部２０−１は「認証ＯＫ」とする（ステップＳ１１５）。この認証結果は液晶表示装置１２に表示される。また、外部接続部２０−６を介して、解錠指令などとして出力される。

これに対し、「不一致」という照合結果が出されれば（ステップＳ１１４のＮＯ）、制御部２０−１は、Ｎ１＝Ｎ１＋１＝２とし（ステップＳ１０９）、上述と同様にして、２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２Ｇ２（２ＧＮ１）との照合を行う（ステップＳ１１０〜Ｓ１１３）。この２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２ＧＮ１との照合は、「一致」という照合結果が得られるまで、Ｎ１を１ずつアップしながら繰り返される。

制御部２０−１は、２Ｄ登録顔画像２Ｇ１〜２ＧＮ１ｍａｘの全てについて「不一致」という照合結果が得られると、ステップＳ１０９でカウントアップされるＮ１がＮ１＞Ｎ１ｍａｘとなるため（ステップＳ１１０のＮＯ）、ステップＳ１０９〜Ｓ１１４の処理ループを抜けて、ステップＳ１１６（図４）へ進む。すなわち、２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２Ｇ１〜２ＧＮ１ｍａｘとの照合結果が全て不一致であった場合、制御部２０−１は、２Ｄ照合では判定できなかったと判断し、ステップＳ１１６以降の処理として次に説明する３Ｄ照合へ進む。

なお、この例では、ステップＳ１１３における２Ｄ照合において、２Ｄ照合顔画像２Ｇ０を局所領域に分割し、この分割した局所領域毎に、２Ｄ登録顔画像２Ｇ１における対応する局所領域との照合を行うようにしたが、図９に示すように、２Ｄ登録顔画像２Ｇ１を水平方向に分割し、これにより得られる各分割領域２Ｇ１（ｊ）と局所領域２Ｇ０（ｉ，ｊ）とを照合して行くようにしてもよい。また、水平方向ではなく、垂直方向に分割し、同様にして各分割領域との照合を行って行くようにしてもよい。また、この例では、２Ｄ照合顔画像２Ｇ０からオーバラップすることなく局所領域２Ｇ０（ｉ，ｊ）を切り出したが、少しずつ画像をずらしながら切り出すようにしてもよい。

〔３Ｄ照合〕
制御部２０−１は、ステップＳ１１６において、ＨＤ２０−４に格納されている３Ｄ登録顔画像の数をＮ２ｍａｘとして取得する。そして、Ｎ２（初期値０）をＮ２＝Ｎ２＋１とし（ステップＳ１１７）、Ｎ２≦Ｎ２ｍａｘであること確認のうえ（ステップＳ１１８のＹＥＳ）、ＨＤ２０−４からＮ２番目の３Ｄ登録顔画像を読み込む（ステップＳ１１９）。この場合、ＨＤ２０−４に格納されている３Ｄ登録顔画像を３Ｇ１〜３ＧＮ２ｍａｘとすれば、Ｎ２＝１番目の３Ｄ登録顔画像３Ｇ１を読み込む。

なお、この時のＨＤ２０−４に格納されている３Ｄ登録顔画像３Ｇ１〜３ＧＮ１ｍａｘは、３Ｄ照合顔画像３Ｇ０と同様にして得られた登録時の３次元顔画像である。但し、この３Ｄ登録顔画像３Ｇ１〜３ＧＮ１ｍａｘの作成に際しては、カメラ１０，１１からの距離を規定の距離として、姿勢を正した状態で登録対象物（人間の顔）Ｍ１を撮像する。前述した２Ｄ登録顔画像２Ｇ１〜２ＧＮ１ｍａｘは、この３Ｄ登録顔画像３Ｇ１〜３ＧＮ１ｍａｘを正面から見た２次元顔画像として得られる。

そして、制御部２０−１は、ＨＤ２０−４に格納されている３Ｄ照合顔画像３Ｇ０を読み出し（ステップＳ１２０）、この読み出した３Ｄ照合顔画像３Ｇ０とステップＳ１１９で読み込んだ３Ｄ登録顔画像３Ｇ１とを照合する（ステップＳ１２１）。この３Ｄ照合顔画像３Ｇ０と３Ｄ登録顔画像３Ｇ１との照合はＩＣＰアルゴリズムを用いて行う。ＩＣＰアルゴリズムを用いての３次元の照合については、例えば非特許文献２、３等に説明されているのでここでの詳しい説明は省略するが、このＩＣＰアルゴリズムによる位置合わせを行い、結果的に２つのデータ間の距離が十分に小さくなれば、認証成功とみなす。

ここで、「一致」という照合結果が出されれば（ステップＳ１２２のＹＥＳ）、制御部２０−１は「認証ＯＫ」とする（ステップＳ１２３）。この認証結果は液晶表示装置１２に表示される。また、外部接続部２０−６を介して、解錠指令などとして出力される。

これに対し、「不一致」という照合結果が出されれば（ステップＳ１２２のＮＯ）、制御部２０−１は、Ｎ２＝Ｎ２＋１＝２とし（ステップＳ１１７）、上述と同様にして、３Ｄ照合顔画像３Ｇ０と３Ｄ登録顔画像３Ｇ２（３ＧＮ２）との照合を行う（ステップＳ１１８〜Ｓ１２２）。この３Ｄ照合顔画像３Ｇ０と３Ｄ登録顔画像３ＧＮ２との照合は、「一致」という照合結果が得られるまで、Ｎ２を１ずつアップしながら繰り返される。

制御部２０−１は、３Ｄ登録顔画像３Ｇ１〜３ＧＮ２ｍａｘの全てについて「不一致」という照合結果が得られると、ステップＳ１１７でカウントアップされるＮ２がＮ２＞Ｎ２ｍａｘとなるため（ステップＳ１１８のＮＯ）、ステップＳ１１７〜Ｓ１２２の処理ループを抜けて、「認証ＮＧ」とする（ステップＳ１２４）。この認証結果は液晶表示装置１２に表示される。そして、制御部２０−１は、ステップＳ１０１へ戻り、再度画像キャプチャから２Ｄ・３Ｄの照合処理を再開する。

この実施の形態１では、先ず、２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２ＧＮ１との照合（２Ｄ照合）が行われ、この２Ｄ照合によって２Ｄ照合顔画像２Ｇ０と一致する２Ｄ登録顔画像２ＧＮ１が見つかれば、その時点で「認証ＯＫ」という結果が得られる。これにより、照合スピードの高速化が図られる。また、２Ｄ照合顔画像２Ｇ０と一致する２Ｄ登録顔画像２ＧＮ１が見つからなければ、２Ｄ照合では判定できなかったものとして、３Ｄ照合顔画像３Ｇ０と３Ｄ登録顔画像２ＧＮ２との照合（３Ｄ照合）が行われる。これにより、照合性能の向上が確保される。

このようにして、実施の形態１では、２Ｄ照合と３Ｄ照合との複合による照合性能の向上と照合スピードの高速化との両立が図られる。例えば、本実施の形態の場合、画像キャプチャから認証ＯＫ結果出力までの処理時間として、２Ｄ照合ＯＫの場合、約０．７秒、３Ｄ照合ＯＫの場合、約１．２秒という実用的な処理速度を実現することが可能である。

また、この実施の形態では、位相限定相関法に基づく高精度ステレオビジョンによって高精度な３Ｄ照合顔画像３Ｇ０を取得しているため、３Ｄ照合に際してＩＣＰアルゴリズムによって単純に位置合わせを行うだけで十分な認証性能が得られる。しかし、ＩＣＰアルゴリズムは、３Ｄデータ間の最近傍点の対応付けを繰り返すことで位置合わせを行う手法であり、高密度な３Ｄデータであれば最近傍検索に過大な処理を必要とするため１対Ｎ認証には向かない。そこで、この実施の形態では、通常の顔認証システムにおいては、利用者がカメラに対して正対する場合がほとんどであることに着目し、先ず比較的処理量の少ない２Ｄ照合を行い、２Ｄ照合で判定できなかった場合にのみ３Ｄ照合を行うようにしている。これにより、大量の演算処理を必要とする３Ｄ照合が行われる機会が少なくなり、２Ｄ・３Ｄ複合照合装置全体としてみた場合の照合スピードがアップする。

図１０に実施の形態１の機能ブロック図を示す。同図において、３１は３Ｄ照合顔画像作成部、３２は２Ｄ照合顔画像作成部、３３は２次元照合部、３４は３次元照合部、３５は２Ｄ登録顔画像記憶部、３６は３Ｄ登録顔画像記憶部である。

この機能ブロック図において、３Ｄ照合顔画像作成部３１は、照合対象物（人間の顔）Ｍ１を撮像したカメラの左画像Ｓ１および右画像Ｓ２の少なくとも一方から照合対象領域ＡＲ１を抽出し、この照合対象領域ＡＲ１における照合対象物Ｍ１の３次元画像を３Ｄ照合顔画像として作成する。２Ｄ照合顔画像作成部３２は、３Ｄ照合顔画像作成部３１によって作成された３Ｄ照合顔画像を正面から見た２次元画像を２Ｄ照合顔画像として作成する。

２次元照合部３３は、２Ｄ照合顔画像作成部３２によって作成された２Ｄ照合顔画像と２Ｄ登録顔画像記憶部３５に記憶されている複数の２Ｄ登録顔画像とを各個に照合し、２Ｄ照合顔画像と一致する２Ｄ登録顔画像があれば、すぐに「認証ＯＫ」という結果を出す。また、２次元照合部３３は、２Ｄ照合顔画像と２Ｄ登録顔画像との照合結果が全て不一致であった場合、３Ｄ照合の開始指令を３次元照合部３４へ送る。

３次元照合部３４は、２次元照合部３３からの３Ｄ照合の開始指令を受けて、３Ｄ照合顔画像作成部３１によって作成された３Ｄ照合顔画像と３Ｄ登録顔画像記憶部３６に記憶されている複数の３Ｄ登録顔画像とを各個に照合し、「認証ＯＫ」／「認証ＮＧ」の結果を出す。

図１１に実施の形態１において、左カメラの画像Ｓ１から２Ｄ照合顔画像２Ｇ０を作成するようにした場合の機能ブロック図を示す。この場合、２Ｄ照合顔画像作成部３２は、左カメラの画像Ｓ１の照合対象領域ＡＲ１における顔Ｍ１の２次元画像から２Ｄ照合顔画像を作成し、２次元照合部３３へ送る。２Ｄ登録顔画像記憶部３５には２Ｄ照合顔画像作成部３２が作成する２Ｄ照合顔画像と同様にして作成された登録時の２Ｄ登録顔画像が記憶されている。

〔対象物の照合：実施の形態２〕
図１２〜図１４に制御部２０−１がＲＯＭ２０−２に格納されている２Ｄ・３Ｄ複合照合プログラムに従って実行する照合処理の第２例（実施の形態２）のフローチャートを示す。

この実施の形態２でも、制御部２０−１は、実施の形態１と同様にして、ＣＣＤカメラ１０，１１から左右のカメラの画像Ｓ１，Ｓ２（図５（ａ），（ｂ））を取り込み（図１２：ステップＳ２０１）、左カメラの画像Ｓ１に対して顔検出、瞳検出を行うことによって顔領域の座標と左右の瞳の座標（２Ｄ瞳座標）を求め（ステップＳ２０２）、左右のカメラの画像Ｓ１，Ｓ２より照合対象領域（顔領域）の３Ｄ照合顔画像Ｓ３（図５（ｃ））を作成し（ステップＳ２０３）、２Ｄ瞳座標から３Ｄ瞳座標を求め（ステップＳ２０４）、瞳ＩＣＰによって３Ｄ照合顔画像Ｓ３の位置合わせを行い（ステップＳ２０５）、位置合わせされた３Ｄ照合顔画像Ｓ３を３Ｄ照合顔画像３Ｇ０（図５（ｄ））としてＨＤ２０−４に保存する（ステップＳ２０６）。

〔３Ｄ登録顔画像の絞り込み〕
この実施の形態２において、制御部２０−１は、３Ｄ照合顔画像３Ｇ０を作成すると、この作成した３Ｄ照合顔画像３Ｇ０より、瞳間距離、顔長さ、瞳サイズ、カメラから顔までの距離（図１に示すＬ２（実測値））を求める（ステップＳ２０７）。なお、この場合のカメラから顔までの距離Ｌ２は、３Ｄ瞳座標より計算する。

そして、制御部２０−１は、ステップＳ２０７で求めた瞳間距離、顔長さ、瞳サイズに基づいて、ＨＤ２０−４に格納されている３Ｄ登録顔画像を分類し、３Ｄ照合顔画像３Ｇ０に類似する顔画像群として、ＨＤ２０−４内の３Ｄ登録顔画像を１０個程度に絞り込む（ステップＳ２０８）。ここで、絞り込まれた３Ｄ登録顔画像が１つもない場合には（ステップＳ２０９のＮＯ）、直ちに「認証ＮＧ」とする（ステップＳ２１０）。絞り込まれた３Ｄ登録顔画像があれば（ステップＳ２０９のＹＥＳ）、３Ｄ照合顔画像３Ｇ０に対して正面判定を行う（ステップＳ２１１）。

なお、この例では、３Ｄ照合顔画像３Ｇ０中の瞳間距離、顔長さ、瞳サイズを使用して３Ｄ照合に際して使用する３Ｄ登録顔画像を絞り込むようにしたが、すなわち３Ｄ照合顔画像３Ｇ０より得られる顔Ｍ１の特徴に基づいて３Ｄ照合に際して使用する３Ｄ登録顔画像を絞り込むようにしたが、後述するように、２Ｄ照合顔画像２Ｇ０から顔Ｍ１の特徴を示す情報を求め、この顔Ｍ１の特徴を示す情報から３Ｄ照合に際して使用する３Ｄ登録顔画像を絞り込むようにしてもよい。

〔正面判定〕
ステップＳ２１１での正面判定は次のようにして行われる。制御部２０−１は、絞り込まれた３Ｄ登録顔画像の中から最も近い３Ｄ登録顔画像を抽出し、この３Ｄ登録顔画像と３Ｄ照合顔画像３Ｇ０との間のＸ，Ｙ，Ｚ軸方向の姿勢の差Δθ，Δρ，Δψを求め、この姿勢の差Δθ，Δρ，Δψを所定値と比較する。

この場合、姿勢の差Δθ，Δρ，Δψが全て所定値よりも小さければ、３Ｄ照合顔画像３Ｇ０が正面を向いているものと判定する。姿勢の差Δθ，Δρ，Δψが１つでも所定値よりも大きければ、３Ｄ照合顔画像３Ｇ０が正面を向いていないものと判定する。

なお、この例では、ステップＳ２１１での正面判定において、絞り込まれた３Ｄ登録顔画像の中から最も近い３Ｄ登録顔画像を抽出し、この３Ｄ登録顔画像と３Ｄ照合顔画像３Ｇ０との間のＸ，Ｙ，Ｚ軸方向の姿勢の差Δθ，Δρ，Δψを求めるようにしたが、３Ｄ照合顔画像３Ｇ０のＸ，Ｙ，Ｚ軸方向の傾きθ，ρ，ψを基準姿勢との差として求め、この姿勢の差θ，ρ，ψに基づいて正面判定を行うようにしてもよい。

制御部２０−１は、３Ｄ照合顔画像３Ｇ０が正面を向いていると判定すると（ステップＳ２１１のＹＥＳ）、３Ｄ照合顔画像３Ｇ０が２Ｄ照合に適している画像であると判断し、ステップＳ２１２（図１３）以降の処理として次に説明する２Ｄ照合へ進む。これに対し、３Ｄ照合顔画像３Ｇ０が正面を向いていないと判定すると（ステップＳ２１１のＮＯ）、３Ｄ照合顔画像３Ｇ０が２Ｄ照合に適していない画像であると判断し、ステップＳ２２６（図１４）以降の処理として次に説明する３Ｄ照合へ進む。

〔２Ｄ照合〕
〔画像サイズの正規化〕
制御部２０−１は、ステップＳ２１２において、ＨＤ２０−４から３Ｄ照合顔画像３Ｇ０を読み出し、この読み出した３Ｄ照合顔画像３Ｇ０を正面から見た２次元顔画像を２Ｄ照合顔画像２Ｇ０（図５（ｅ））として取得する。そして、ステップＳ２０７で求めたカメラから顔までの距離Ｌ２に基づき、２Ｄ照合顔画像２Ｇ０の画像サイズ（顔画像サイズ）を正規化する（ステップＳ２１３）。

すなわち、ステップＳ２０７で求めたカメラから顔までの実際の距離Ｌ２（照合対象領域ＡＲ１の実際の大きさを規定する情報）と登録時のカメラから顔までの規定の距離Ｌ２との比率に基づいて、２Ｄ照合顔画像２Ｇ０の顔画像サイズを２Ｄ登録顔画像の顔画像サイズに合わせる。この場合、カメラから顔までの実際の距離Ｌ２が長ければ、顔画像サイズが大きくされ、カメラから顔までの実際の距離Ｌ２が短ければ、顔画像サイズが小さくされる。

〔２Ｄ登録顔画像の絞り込み〕
次に、制御部２０−１は、正規化された２Ｄ照合顔画像２Ｇ０中の瞳間距離、顔長さ、瞳サイズを求め（ステップＳ２１４）、この求めた瞳間距離、顔長さ、瞳サイズに基づいて、ＨＤ２０−４に格納されている２Ｄ登録顔画像を分類し、２Ｄ照合顔画像２Ｇ０に類似する顔画像群として、ＨＤ２０−４内の２Ｄ登録顔画像を１０個程度に絞り込む（ステップＳ２１５）。ここで、絞り込まれた２Ｄ登録顔画像が１つもない場合には（ステップＳ２１６のＮＯ）、直ちに「認証ＮＧ」とする（ステップＳ２１７）。絞り込まれた２Ｄ登録顔画像があれば（ステップＳ２１６のＹＥＳ）、ステップＳ２１８へ進む。

なお、この例では、正規化された２Ｄ照合顔画像２Ｇ０中の瞳間距離、顔長さ、瞳サイズを使用して２Ｄ照合に際して使用する２Ｄ登録顔画像を絞り込むようにしたが、すなわち２Ｄ照合顔画像２Ｇ０より得られる顔Ｍ１の特徴に基づいて２Ｄ照合に際して使用する２Ｄ登録顔画像を絞り込むようにしたが、３Ｄ照合顔画像３Ｇ０から顔Ｍ１の特徴を示す情報を求め、この顔Ｍ１の特徴を示す情報から２Ｄ照合に際して使用する２Ｄ登録顔画像を絞り込むようにしてもよい。

また、この例では、カメラから顔までの実際の距離（カメラから３Ｄ瞳座標までの距離）に基づいて２Ｄ照合顔画像２Ｇ０の顔画像サイズを正規化するようにしたが、３Ｄ照合顔画像３Ｇ０における顔の重心の座標を顔の重心３Ｄ座標として求め、カメラから重心３Ｄ座標までの距離に基づいて２Ｄ照合顔画像２Ｇ０の顔画像サイズを正規化するようにしてもよい。また、３Ｄ照合顔画像３Ｇ０から得られる瞳間距離、顔長さ、瞳サイズなどの実測値に基づいて、２Ｄ照合顔画像２Ｇ０の顔画像サイズを正規化するようにしてもよい。

〔絞り込まれた２Ｄ登録顔画像との照合〕
制御部２０−１は、ステップＳ２１８において、ステップＳ２１５で絞り込まれた２Ｄ登録顔画像の数をＮ１ｍａｘとして取得する。そして、Ｎ１（初期値０）をＮ１＝Ｎ１＋１とし（ステップＳ２１９）、Ｎ１≦Ｎ１ｍａｘであること確認のうえ（ステップＳ２２０のＹＥＳ）、ＨＤ２０−４からＮ１番目の絞り込まれた２Ｄ登録顔画像を読み込む（ステップＳ２２１）。この場合、ＨＤ２０−４に格納されている絞り込まれた２Ｄ登録顔画像を２Ｇ１〜２ＧＮ１ｍａｘとすれば、Ｎ１＝１番目の２Ｄ登録顔画像２Ｇ１が読み込まれる。

そして、制御部２０−１は、ＨＤ２０−４に格納されている２Ｄ照合顔画像２Ｇ０を読み出し（ステップＳ２２１）、この読み出した２Ｄ照合顔画像２Ｇ０とステップＳ２２１で読み込んだ２Ｄ登録顔画像２Ｇ１とを照合する（ステップＳ２２３）。この２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２Ｇ１との照合は、実施の形態１と同様にして、２Ｄ照合顔画像２Ｇ０を局所領域に分割し、この分割した局所領域毎に、２Ｄ登録顔画像２Ｇ１における対応する局所領域との照合を位相限定相関法（ＰＯＣ）によって行うことによって実施する。

ここで、「一致」という照合結果が出されれば（ステップＳ２２４のＹＥＳ）、制御部２０−１は「認証ＯＫ」とする（ステップＳ２２５）。この認証結果は液晶表示装置１２に表示される。また、外部接続部２０−６を介して、解錠指令などとして出力される。

これに対し、「不一致」という照合結果が出されれば（ステップＳ２２４のＮＯ）、制御部２０−１は、Ｎ１＝Ｎ１＋１＝２とし（ステップＳ２１９）、上述と同様にして、２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２Ｇ２（２ＧＮ１）との照合を行う（ステップＳ２２０〜Ｓ２２３）。この２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２ＧＮ１との照合は、「一致」という照合結果が得られるまで、Ｎ１を１ずつアップしながら繰り返される。

制御部２０−１は、絞り込まれた２Ｄ登録顔画像２Ｇ１〜２ＧＮ１ｍａｘの全てについて「不一致」という照合結果が得られると、ステップＳ２１９でカウントアップされるＮ１がＮ１＞Ｎ１ｍａｘとなるため（ステップＳ２２０のＮＯ）、ステップＳ２１９〜Ｓ２２４の処理ループを抜けて、ステップＳ２２６（図１４）へ進む。すなわち、２Ｄ照合顔画像２Ｇ０と絞り込まれた２Ｄ登録顔画像２Ｇ１〜２ＧＮ１ｍａｘとの照合結果が全て不一致であった場合、制御部２０−１は、２Ｄ照合では判定できなかったと判断し、ステップＳ２２６以降の処理として次に説明する３Ｄ照合へ進む。

〔３Ｄ照合〕
〔姿勢合わせ〕
制御部２０−１は、ステップＳ２２６において、ＨＤ２０−４に格納されている３Ｄ照合顔画像３Ｇ０を読み出し、この読み出した３Ｄ照合顔画像３Ｇ０の姿勢合わせを行う。

この例では、ステップＳ２０８で絞り込まれた３Ｄ登録顔画像の中から最も近い３Ｄ登録顔画像を抽出し、この３Ｄ登録顔画像と３Ｄ照合顔画像３Ｇ０との間のＸ，Ｙ，Ｚ軸方向の姿勢の差Δθ，Δρ，Δψを求め、この差Δθ，Δρ，Δψが何れも０となるように３Ｄ照合顔画像３Ｇ０の姿勢を修正する。

なお、３Ｄ照合顔画像３Ｇ０のＸ，Ｙ，Ｚ軸方向の傾きθ，ρ，ψを基準姿勢との差として求め、この姿勢の差θ，ρ，ψが何れも０となるように３Ｄ照合顔画像３Ｇ０の姿勢を修正するようにしてもよい。

〔絞り込まれた３Ｄ登録顔画像との照合〕
次に、制御部２０−１は、ステップＳ２０８で絞り込まれた３Ｄ登録顔画像の数をＮ２ｍａｘとして取得する（ステップＳ２２７）。そして、Ｎ２（初期値０）をＮ２＝Ｎ２＋１とし（ステップＳ２２８）、Ｎ２≦Ｎ２ｍａｘであること確認のうえ（ステップＳ２２９のＹＥＳ）、ＨＤ２０−４からＮ２番目の絞り込まれた３Ｄ登録顔画像を読み込む（ステップＳ２３０）。この場合、ＨＤ２０−４に格納されている絞り込まれた３Ｄ登録顔画像を３Ｇ１〜３ＧＮ２ｍａｘとすれば、Ｎ２＝１番目の３Ｄ登録顔画像３Ｇ１が読み込まれる。

そして、制御部２０−１は、ＨＤ２０−４に格納されている３Ｄ照合顔画像３Ｇ０を読み出し（ステップＳ２３１）、この読み出した３Ｄ照合顔画像３Ｇ０とステップＳ２３０で読み込んだ３Ｄ登録顔画像３Ｇ１とを照合する（ステップＳ２３２）。この３Ｄ照合顔画像３Ｇ０と３Ｄ登録顔画像３Ｇ１との照合はＩＣＰアルゴリズムを用いて行う。

ここで、「一致」という照合結果が出されれば（ステップＳ２３３のＹＥＳ）、制御部２０−１は「認証ＯＫ」とする（ステップＳ２３４）。この認証結果は液晶表示装置１２に表示される。また、外部接続部２０−６を介して、解錠指令などとして出力される。

これに対し、「不一致」という照合結果が出されれば（ステップＳ２３３のＮＯ）、制御部２０−１は、Ｎ２＝Ｎ２＋１＝２とし（ステップＳ２２８）、上述と同様にして、３Ｄ照合顔画像３Ｇ０と３Ｄ登録顔画像３Ｇ２（３ＧＮ２）との照合を行う（ステップＳ２２９〜Ｓ２３２）。この３Ｄ照合顔画像３Ｇ０と３Ｄ登録顔画像３ＧＮ２との照合は、「一致」という照合結果が得られるまで、Ｎ２を１ずつアップしながら繰り返される。

制御部２０−１は、絞り込まれた３Ｄ登録顔画像３Ｇ１〜３ＧＮ２ｍａｘの全てについて「不一致」という照合結果が得られると、ステップＳ２２８でカウントアップされるＮ２がＮ２＞Ｎ２ｍａｘとなるため（ステップＳ２２９のＮＯ）、ステップＳ２２８〜Ｓ２３３の処理ループを抜けて、「認証ＮＧ」とする（ステップＳ２３５）。この認証結果は液晶表示装置１２に表示される。そして、制御部２０−１は、ステップＳ２０１へ戻り、再度画像キャプチャから２Ｄ・３Ｄの照合処理を再開する。

この実施の形態２では、ステップＳ２１５で２Ｄ照合に際して使用する２Ｄ登録顔画像を絞り込むようにしているので、またステップＳ２０８で３Ｄ照合に際して使用する３Ｄ登録顔画像を絞り込むようにしているので、絞り込まれた登録顔画像との間でのみ２Ｄ照合や３Ｄ照合が行われるものとなり、照合スピードがアップする。

また、この実施の形態２では、ステップＳ２１３において、２Ｄ照合顔画像２Ｇ０の顔画像サイズをカメラから顔までの実際の距離に基づいて正規化しているので、登録時と照合時のカメラから顔Ｍ１までの位置がずれていても、２Ｄ照合顔画像２Ｇ０と２Ｄ登録顔画像２ＧＮ１との顔画像サイズが一致するものとなり、２Ｄ照合の照合精度がアップする。

また、この実施の形態２では、ステップＳ２１１において３Ｄ照合顔画像３Ｇ０に対して正面判定を行い、３Ｄ照合顔画像３Ｇ０が正面を向いている場合にのみ２Ｄ照合を行うようにしているので、２Ｄ照合で「認証ＯＫ」となる確率が高くなり、照合スピードがアップする。また、この２Ｄ照合で全て不一致と判断されると、３Ｄ照合が行われるので、照合性能の向上が確保される。これにより、実施の形態１と同様、２Ｄ照合と３Ｄ照合との複合による照合性能の向上と照合スピードの高速化との両立が図られる。

また、この実施の形態２では、３Ｄ照合顔画像３Ｇ０が正面を向いていない場合には２Ｄ照合が行われず、直ちに３Ｄ照合が行われる。これにより、「認証ＮＧ」となる可能性が高い２Ｄ照合で無駄に処理時間が費やされることがなく、「認証ＯＫ」となる可能性が高い３Ｄ照合が即座に行われて、照合スピードがアップする。

なお、この実施の形態２では、２Ｄ照合で全て不一致と判断された場合、３Ｄ照合へ進むようにしているが、３Ｄ照合へは進まず、即座に「認証ＮＧ」とするようにしてもよい。すなわち、３Ｄ照合顔画像３Ｇ０に対して正面判定を行い、正面を向いていれば２Ｄ照合のみを行い、正面を向いていなければ３Ｄ照合のみを行うという方式としてもよい。

図１５に実施の形態２の機能ブロック図を示す。同図において、４１は３Ｄ照合顔画像作成部、４２は正面判定部、４３は２Ｄ照合顔画像作成部、４４は正規化部、４５は２Ｄ登録顔画像絞込部、４６は２次元照合部、４７は３Ｄ登録顔画像絞込部、４８は３次元照合部、４９は２Ｄ登録顔画像記憶部、５０は３Ｄ登録顔画像記憶部、５１は規定情報取得部である。

この機能ブロック図において、３Ｄ照合顔画像作成部４１は、照合対象物（人間の顔）Ｍ１を撮像したカメラの左画像Ｓ１および右画像Ｓ２の少なくとも一方から照合対象領域ＡＲ１を抽出し、この照合対象領域ＡＲ１における照合対象物Ｍ１の３次元画像を３Ｄ照合顔画像として作成する。

３Ｄ登録顔画像絞込部４７は、この３Ｄ照合顔画像作成部４１によって作成された３Ｄ照合顔画像より得られる照合対象物Ｍ１の特徴を示す情報に基づいて、３Ｄ登録顔画像記憶部５０に記憶されている複数の３Ｄ登録顔画像の中から３Ｄ照合に際して使用する３Ｄ登録顔画像を絞り込む。

正面判定部４２は、３Ｄ照合顔画像作成部４１によって作成された３Ｄ照合顔画像が正面を向いているか否かを判定し、３Ｄ照合顔画像が正面を向いていれば２Ｄ照合顔画像作成部４３に３Ｄ照合顔画像を送り、３Ｄ照合顔画像が正面を向いていなければ３次元照合部４８へ３Ｄ照合の開始指令を送る。

２Ｄ照合顔画像作成部４３は、正面判定部４２より３Ｄ照合顔画像が送られてくると、この３Ｄ照合顔画像を正面から見た２次元画像を２Ｄ照合顔画像として作成する。規定情報取得部５１は、３Ｄ照合顔画像作成部４１で得られる照合対象領域の実際の大きさを規定する情報（この例では、カメラから顔までの実際の距離）を規定情報として取得する。正規化部４４は、規定情報取得部５１によって取得された規定情報に基づいて、２Ｄ照合顔画像作成部４３によって作成された２Ｄ照合顔画像の画像サイズ（顔画像サイズ）を正規化する。

２Ｄ登録顔画像絞込部４５は、正規化部４４によって正規化された２Ｄ照合顔画像より得られる照合対象物Ｍ１の特徴を示す情報に基づいて、２Ｄ登録顔画像記憶部４９に記憶されている複数の２Ｄ登録顔画像の中から２Ｄ照合に際して使用する２Ｄ登録顔画像を絞り込む。

２次元照合部４６は、正規化部４４によって正規化された２Ｄ照合顔画像と２Ｄ登録顔画像記憶部４９に記憶されている２Ｄ登録顔画像絞込部４５によって絞り込まれた２Ｄ登録顔画像とを各個に照合し、２Ｄ照合顔画像と一致する２Ｄ登録顔画像があれば、すぐに「認証ＯＫ」という結果を出す。また、２次元照合部４６は、２Ｄ照合顔画像と２Ｄ登録顔画像との照合結果が全て不一致であった場合、３Ｄ照合の開始指令を３次元照合部４８へ送る。

３次元照合部４８は、２次元照合部４６あるいは正面判定部４２からの３Ｄ照合の開始指令を受けて、３Ｄ照合顔画像作成部４１によって作成された３Ｄ照合顔画像と３Ｄ登録顔画像記憶部５０に記憶されている３Ｄ登録顔画像絞込部５０によって絞り込まれた３Ｄ登録顔画像とを各個に照合し、「認証ＯＫ」／「認証ＮＧ」の結果を出す。

図１６に実施の形態２において、左カメラの画像Ｓ１から２Ｄ照合顔画像２Ｇ０を作成するようにした場合の機能ブロック図を示す。この場合、正面判定部４２は、３Ｄ照合顔画像作成部４１によって作成された３Ｄ照合顔画像が正面を向いているか否かを判定し、３Ｄ照合顔画像が正面を向いていれば２Ｄ照合顔画像作成部４３に２Ｄ照合顔画像の作成指令を送る。この作成指令を受けて、２Ｄ照合顔画像作成部４３は、左カメラの画像Ｓ１の照合対象領域ＡＲ１における顔Ｍ１の２次元画像から２Ｄ照合顔画像を作成し、正規化部４４へ送る。２Ｄ登録顔画像記憶部３５には２Ｄ照合顔画像作成部３２が作成する２Ｄ照合顔画像と同様にして作成された登録時の２Ｄ登録顔画像が記憶されている。

本発明の２Ｄ・３Ｄ複合照合装置は、入退室を管理するシステムに限らず、各種の対象物を認証するシステム（例えば、印刷などの画像チェック、半田基板チェックなど）において利用することが可能である。

１０，１１…ＣＣＤカメラ、１２…液晶表示装置（ＬＣＤ）、２０…処理部、２０−１…制御部、２０−２…ＲＯＭ、２０−３…ＲＡＭ、２０−４…ハードディスク（ＨＤ）、２０−５…フレームメモリ（ＦＭ）、２０−６…外部接続部（Ｉ／Ｆ）、２０−７…フーリエ変換部（ＦＦＴ）、１０−１，１１−１…レンズ、３１…３Ｄ照合顔画像作成部、３２…２Ｄ照合顔画像作成部、３３…２次元照合部、３４…３次元照合部、３５…２Ｄ登録顔画像記憶部、３６…３Ｄ登録顔画像記憶部、４１…３Ｄ照合顔画像作成部、４２…正面判定部、４３…２Ｄ照合顔画像作成部、４４…正規化部、４５…２Ｄ登録顔画像絞込部、４６…２次元照合部、４７…３Ｄ登録顔画像絞込部、４８…３次元照合部、４９…２Ｄ登録顔画像記憶部、５０…３Ｄ登録顔画像記憶部、５１…規定情報取得部。

Claims (8)

1. 照合対象物を第１の方向から撮像した画像および第２の方向から撮像した画像の少なくとも一方から照合対象となる領域を抽出し、この照合対象領域における前記照合対象物の３次元画像を３Ｄ照合画像として作成する３Ｄ照合画像作成手段と、
   前記照合対象領域における前記照合対象物の２次元画像を２Ｄ照合画像として作成する２Ｄ照合画像作成手段と、
   この２Ｄ照合画像作成手段によって作成された２Ｄ照合画像と予め２Ｄ登録画像として記憶されている複数の登録対象物の２次元画像とを各個に照合する２次元照合手段と、
   この２次元照合手段による２Ｄ照合画像と２Ｄ登録画像との照合結果が全て不一致であった場合、前記３Ｄ照合画像作成手段によって作成された３Ｄ照合画像と予め３Ｄ登録画像として記憶されている複数の登録対象物の３次元画像とを各個に照合する３次元照合手段と
   を備えることを特徴とする２Ｄ・３Ｄ複合照合装置。
2. 請求項１に記載された２Ｄ・３Ｄ複合照合装置において、
   前記３Ｄ照合画像作成手段によって作成された３Ｄ照合画像より得られる前記照合対象物の特徴を示す情報又は前記２Ｄ照合画像作成手段によって作成された２Ｄ照合画像より得られる前記照合対象物の特徴を示すに基づいて、前記記憶されている複数の登録対象物の３次元画像の中から前記３Ｄ登録画像として使用する３次元画像を絞り込む３Ｄ登録画像絞込手段
   を備えることを特徴とする２Ｄ・３Ｄ複合照合装置。
3. 請求項１又は２の何れか１項に記載された２Ｄ・３Ｄ複合照合装置において、
   前記３Ｄ照合画像作成手段によって作成された３Ｄ照合画像より得られる前記照合対象物の特徴を示す情報又は前記２Ｄ照合画像作成手段によって作成された２Ｄ照合画像より得られる前記照合対象物の特徴を示す情報に基づいて、前記記憶されている複数の登録対象物の２次元画像の中から前記２Ｄ登録画像として使用する２次元画像を絞り込む２Ｄ登録画像絞込手段
   を備えることを特徴とする２Ｄ・３Ｄ複合照合装置。
4. 請求項１−３の何れか１項に記載された２Ｄ・３Ｄ複合照合装置において、
   前記３Ｄ照合画像作成手段によって作成された３Ｄ照合画像が正面を向いているか否かを判定し、正面を向いていないと判定した場合、前記３次元照合手段による３Ｄ照合画像と３Ｄ登録画像との照合を直ちに実行させる正面判定手段
   を備えることを特徴とする２Ｄ・３Ｄ複合照合装置。
5. 請求項１−４の何れか１項に記載された２Ｄ・３Ｄ複合照合装置において、
   前記３Ｄ照合画像作成手段において得られる前記照合対象領域の実際の大きさを規定する情報を規定情報として取得する規定情報取得手段と、
   この規定情報取得手段によって取得された規定情報に基づいて前記２Ｄ照合画像作成手段によって作成された２Ｄ照合画像の画像サイズを正規化する正規化手段とを備え、
   前記２次元照合手段は、
   前記正規化手段によって正規化された２Ｄ照合画像と２Ｄ登録画像との照合を行う
   ことを特徴とする２Ｄ・３Ｄ複合照合装置。
6. 照合対象物を第１の方向から撮像した画像および第２の方向から撮像した画像の少なくとも一方から照合対象となる領域を抽出し、この照合対象領域における前記照合対象物の３次元画像を３Ｄ照合画像として作成する３Ｄ照合画像作成手段と、
   前記照合対象領域における前記照合対象物の２次元画像を２Ｄ照合画像として作成する２Ｄ照合画像作成手段と、
   この２Ｄ照合画像作成手段によって作成された２Ｄ照合画像と予め２Ｄ登録画像として記憶されている複数の登録対象物の２次元画像とを各個に照合する２次元照合手段と、
   前記３Ｄ照合画像作成手段によって作成された３Ｄ照合画像と予め３Ｄ登録画像として記憶されている複数の登録対象物の３次元画像とを各個に照合する３次元照合手段と、
   前記３Ｄ照合画像作成手段によって作成された３Ｄ照合画像が正面を向いているか否かを判定し、正面を向いていると判定した場合、前記２次元照合手段による２Ｄ照合画像と２Ｄ登録画像との照合を実行させ、正面を向いていないと判定した場合、前記３次元照合手段による３Ｄ照合画像と３Ｄ登録画像との照合を実行させる正面判定手段と
   を備えることを特徴とする２Ｄ・３Ｄ複合照合装置。
7. 請求項１−６の何れか１項に記載された２Ｄ・３Ｄ複合照合装置において、
   前記２Ｄ照合画像作成手段は、
   前記３Ｄ照合画像作成手段によって作成された３Ｄ照合画像を正面から見た２次元画像を２Ｄ照合画像として作成する
   ことを特徴とする２Ｄ・３Ｄ複合照合装置。
8. 請求項１−６の何れか１項に記載された２Ｄ・３Ｄ複合照合装置において、
   前記２Ｄ照合画像作成手段は、
   前記照合対象物を第１の方向から撮像した画像および第２の方向から撮像した画像の少なくとも一方から抽出された照合対象領域における照合対象物の２次元画像を２Ｄ照合画像として作成する
   ことを特徴とする２Ｄ・３Ｄ複合照合装置。

Images