JP2014010686A - 顔画像認証装置 - Google Patents

Abstract

【課題】顔写真を用いた不正行為の有無を適切に判定することができるウォークスルー型の顔画像認証装置を提供する。
【解決手段】顔画像認証装置１は、所定の撮影領域を撮影した入力画像を順次取得する撮像部３と、入力画像から人物領域画像を抽出する人物検出手段１２と、人物領域画像を系列化する追跡手段１４と、系列ごとに、その系列の各人物領域画像について、その人物領域画像に写っている顔の撮影時における撮影条件を示す特徴を算出する顔撮影条件算出手段１５と、系列ごとに、その系列の各人物領域画像についての撮影条件を示す特徴が変化したか否かを判定し、変化しなかった場合、顔写真を用いた不正行為が行われたと判定し、変化した場合、不正行為が行われていないと判定する不正行為判定手段１６と、を有する。
【選択図】図３

Description

本発明は、予め登録している顔画像に基づいて人物を認証する顔画像認証装置に関する。

従来、予め登録している顔画像に基づいて人物を認証する顔画像認証装置が出入管理システムなどに利用されている。この顔画像認証装置は、人物を撮影した画像から抽出したその人物の顔が写っている顔領域画像と、予め登録された登録顔画像との類似度を算出し、その人物が予め登録された登録者であるか否かを判定する。
このような顔画像認証装置において、登録されていない未登録者が登録者の顔写真または登録顔画像を引き延ばして印刷した紙を自分の顔の前に掲げることにより、登録者と判定されようとする不正行為を試みるようなことが想定される。

例えば、特許文献１には、カメラの前に停止した人物を撮影した画像を用いてその人物を認証する個人認証装置について、顔写真または顔を印刷した印刷物を使用した不正行為に対するセキュリティ性を向上させるための技術が提案されている。この個人認証装置は、認証対象者を撮像するカメラと、認証対象者を右側及び左側からそれぞれ照らす２台の照明を備えている。個人認証装置は、認証対象者により照合ボタンが押下されると、認証対象者を右側から照らす照明のみを点灯させて認証対象者を撮像し、続けて認証対象者を左側から照らす照明のみを点灯させて認証対象者を撮像する。そして、個人認証装置は、撮像した両方の画像において、照明を照らした側の領域の平均輝度から照明を照らしていない側の領域の平均輝度を引いた差が閾値以上であれば、撮像対象が人間であると判別し、そうでなければ撮像対象が写真または印刷物であると判別する。
しかしながら、特許文献１にかかる個人認証装置は、予め認証対象者に顔の位置を特定させ、その上で照明を制御しなければならず、使い勝手が悪い上、装置コストが高いという問題がある。

特開２００３−２４２４９１号公報

ところで、歩行する人物を撮影した画像に基づいて人物を認証するいわゆるウォークスルー型の顔画像認証装置が開発されている。ウォークスルー型の顔画像認証装置は、人物が通行する通路等を順次撮影して入力画像を取得し、各入力画像から抽出した人物が写っている人物領域を追跡する。そして、同一の人物が写っている人物領域毎に、その人物領域から抽出した人物の顔が写っている顔領域画像と、予め登録された登録顔画像との類似度を算出し、その人物が予め登録された登録者であるか否かを判定する。
このようなウォークスルー型の顔画像認証装置では、人物の歩行にともなって入力画像に写っている人物の位置が変わるので、入力画像ごとに、人物と照明との位置関係・人物とカメラの位置関係など撮影条件が異なる。
他方、写真は、照明方向、カメラから顔までの距離、アングル、使用カメラの性能など写真撮影時に撮影条件が定められ、顔を撮影したときの撮影条件が固定される。つまり、顔が写っている写真をカメラで撮影した場合、写された顔部分は、先の写真撮影時における顔の撮影条件が残存することになる。
発明者は、写真に写った顔画像が先の写真を撮影した時の撮影条件が残っているのに対し、実際の顔を撮影した顔画像は、実際の撮影時における撮影条件が顔画像に表れることを見出した。

本発明の目的は、ウォークスルー型の顔画像認証装置では、認証を試みる人物が歩行している間に撮影した顔画像はその撮影条件がそれぞれ異なることと、顔写真を用いた不正行為の場合の顔画像は先の撮影条件が残っていることを利用し、顔写真を用いた不正行為を防止する顔画像認証装置を提供することにある。

かかる課題を解決するための本発明は、所定の撮影領域を撮影した入力画像に写っている人物の顔画像と、予め登録された人物の登録顔画像に基づき人物を認証する顔画像認証装置であって、撮影領域を撮影した入力画像を順次取得する画像取得手段と、入力画像から人物領域画像を抽出する人物検出手段と、順次取得される複数の入力画像から抽出された人物領域画像を追跡し、追跡できた人物領域画像を対応付けた系列データを生成する追跡手段と、人物領域画像における顔領域画像から顔の撮影時における撮影条件を示す特徴を算出する顔撮影条件算出手段と、系列データごとに、当該系列データに含まれる人物領域画像の撮影条件を示す特徴が略同一とされる所定範囲内か否かを判定する不正行為判定手段と、不正行為判定手段にて所定範囲内と判定されると、不正行為と認証する認証手段を有する顔画像認証装置を提供する。

また、本発明に係る顔画像認証装置において、人物抽出手段は、人物領域画像として顔領域画像を抽出することが好適である。

また、本発明に係る顔画像認証装置において、顔撮影条件算出手段は、顔領域画像から光源方向を求めて、撮影条件を示す特徴に少なくとも当該光源方向を含めることが好適である。また、本発明に係る顔画像認証装置において、顔撮影条件算出手段は、顔領域画像から輝度値の分散を求めて、撮影条件を示す特徴に少なくとも当該分散を含めることが好適である。

また、本発明に係る顔画像認証装置において、人物を直接撮影したサンプル顔領域画像と顔が写っている写真を撮影したサンプル顔領域画像を用いた学習により求めた、人物を直接撮影したサンプル顔領域画像と写真を撮影したサンプル顔領域画像とを識別可能な部分空間を予め記憶している記憶部を更に設け、顔撮影条件算出手段は、顔領域画像を前記部分空間に投影したときの部分空間における位置を求めて、撮影条件を示す特徴に前記部分空間の位置を含めることが好適である。

本発明に係るウォークスルー型の顔画像認証装置は、顔写真を用いた不正行為の有無を適切に判定することができるという効果を奏する。

（ａ）及び（ｂ）は、本発明を適用した顔画像認証装置が部屋の入口に設置される場合の撮像部の設置例を表す模式図である。 （ａ）、（ｂ）及び（ｃ）は、写真画策を実施していない人物が特定の位置から照明光を照射された場合の画像の例を示す概略図であり、（ｄ）、（ｅ）及び（ｆ）は、写真画策を実施している人物が特定の位置から照明光を照射された場合の画像の例を示す概略図である。 本発明を適用した顔画像認証装置の概略構成図である。 本発明を適用した顔画像認証装置の処理フローを示す図である。 本発明を適用した顔画像認証装置の処理フローを示す図である。 （ａ）及び（ｂ）は、光源方向の算出方法を説明する図である。 履歴テーブルの模式図である。 （ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）及び（ｆ）は、顔領域画像の例を示す図である。

以下、本発明を出入管理システムに適用した場合の一実施形態である顔画像認証装置について図を参照しつつ説明する。
本発明を適用した顔画像認証装置は、歩行する人物を順次撮影した複数の入力画像のそれぞれから同一の人物の顔が写っている領域を抽出して顔領域画像とする。各顔領域画像について、顔領域画像に写っている人物の顔に照射されている光源方向を求める。この顔領域画像から求められる光源方向は、凹凸のある実際の顔を撮影した時の光源方向を表している。ところで、実際に歩行している人物の顔を撮影した際の顔領域画像では、歩行に伴う照明位置の変化によって、顔に存在する鼻や唇等の凹凸によって生じる顔領域画像に現れる陰影が変化し、これにより求まる光源方向も変化する。他方、顔写真を撮影した際の顔領域画像では、かかる顔写真を撮影した時の光源方向は、歩行に伴う照明位置が変化しても、写真に写った顔領域画像に現れる全体的な明暗は変化するが、陰影は基本的に変化せず、これにより求まる光源方向も基本的に変化しない。すなわち、かかる光源方向は、顔撮影時の撮影条件を示す特徴の一つである。そこで、顔画像認証装置は、各入力画像から抽出された顔領域画像についての撮影条件を示す特徴の一つである光源方向が、同一人物として追跡された顔領域画像の中で変化していなければ、顔領域画像に写っているのが顔写真であると判定する。これにより、顔画像認証装置は、顔写真を使用した不正行為の有無の適切な判定を図る。

図１（ａ）及び図１（ｂ）に、部屋の入口の出入を管理するために、顔画像認証装置１に接続される撮像部３の設置例を模式的に示し、撮像部３が撮影する撮影領域の状態を説明する。図１（ａ）及び図１（ｂ）に示すように、顔画像認証装置１が部屋の入口１００の出入を管理する。この場合、撮像部３は、入口１００に通じる通路を撮影領域として撮影できるように入口１００の近傍の壁面または天井に、撮影方向をやや下方へ向け、その通路側へ向けた状態で取り付けられる。これにより撮像部３は、進行方向１０１に沿って入口１００に向かう人物を撮像することができる。また、入口１００に通じる通路の天井には照明装置としてダウンライト１０２が、照射方向が下向きとなるように設置される。
図１（ａ）では、撮像部３が、所定時間間隔の時刻(t1)、(t1+1)、(t1+2)において入口１００に向かう同一の人物１１０、１１１、１１２を順次撮影する様子を示している。一方、図１（ｂ）では、撮像部３が、所定時間間隔の時刻(t2)、(t2+1)、(t2+2)において入口１００に向かう同一の人物１２０、１２１、１２２を順次撮影する様子を示している。この人物１２０、１２１、１２２は、顔画像認証装置１に登録されていない未登録者であり、顔画像認証装置１に予め登録されている登録者の顔写真１０３を自分の顔の前に掲げている。つまり、この人物は、自分の顔の代わりに、登録者の顔写真１０３を撮像部３に撮影させて、登録者の顔写真１０３により認証を受けようとする不正行為を行っている様子を示している。このような顔写真を用いた不正行為を以下では写真画策と称する。

以下、撮像部３の撮影条件の一つである、通路を歩行する人物とダウンライト１０２との位置関係、即ち光源方向の時間的な変化について説明する。図１（ａ）では、撮像部３から見ると、時刻(t1)において、人物１１０はダウンライト１０２より奥側に位置し、ダウンライト１０２により顔の前面が照射される。そして、時刻(t1+1)において、人物１１１はダウンライト１０２の直下に位置し、ダウンライト１０２により頭上から照射される。そして、時刻(t1+2)において、人物１１２はダウンライト１０２より手前側に位置し、ダウンライト１０２により背後から照射される。
同様に、図１（ｂ）では、撮像部３から見ると、時刻(t2)において、人物１２０はダウンライト１０２より奥側に位置し、ダウンライト１０２により登録者の顔写真１０３の前面が照射される。そして、時刻(t2+1)において、人物１２１はダウンライト１０２の直下に位置し、ダウンライト１０２により頭上から照射されるが、写真１０３には背面が照射されている。そして、時刻(t2+2)において、人物１２２はダウンライト１０２より手前側に位置し、ダウンライト１０２により背後から照射され、写真１０３の背面が照射されている。

図２は、撮像部３が撮影した入力画像から人物領域を抽出した人物領域画像を示している。
図２（ａ）、（ｂ）、（ｃ）は、図１（ａ）における写真画策を行っていない人物１１０，１１１，１１２がそれぞれの位置にてダウンライト１０２から照射されている時に撮影された入力画像から抽出した人物領域画像の例を示し、図２（ｄ）、（ｅ）、（ｆ）は、図１（ｂ）における写真画策を行っている人物１２０，１２１，１２２がそれぞれの位置にてダウンライト１０２から照射されているときに撮影された入力画像から抽出した人物領域画像の例を示している。同図では、照明による陰影を右上方から左斜め下方への斜線で示し、陰影が濃いほど斜線を太くしている。

図２（ａ）は、図１（ａ）の時刻(t1)において、人物１１０を撮影した入力画像から抽出した人物領域画像２００を示す。人物領域画像２００は、人物１１０はダウンライト１０２の光が前方上方から照射しているので、顔領域が明るく眉毛や鼻などの顔の凹凸による陰影も少ない画像となっている。
図２（ｂ）は、図１（ａ）の時刻(t1+1)において、人物１１１を撮影した入力画像から抽出した人物領域画像２０１を示す。人物領域画像２０１は、人物１１１は略直上からダウンライト１０２の光が照射されている。人間の顔には凹凸が存在し、凹んでいる部分には直上からの光が当たらずに陰影が生じるため、額、頬上部及び鼻筋のみが明るくなり、眼窩付近、頬下部から顎にかけて陰影が生じている。このように、人物領域画像２０１は、顔上に人物領域画像２０１と異なる陰影が表れた画像となっている。
図２（ｃ）は、図１（ａ）の時刻(t1+2)において、人物１１２を撮影した入力画像から抽出した人物領域画像２０２を示す。人物領域画像２０２は、人物１１２は後方から照射され、ダウンライト１０２が逆光となり、人物領域画像２０１や人物領域画像２０２とは異なり全体が照明の影となり、全体的な陰影が生じている。

図２（ｄ）は、図１（ｂ）の時刻(t2)において、人物１２０が登録者の顔写真１０３を自分の顔の前に掲げた状態で撮影された入力画像から抽出した人物領域画像２０３を示す。人物１２０は、自分の顔の前に顔写真１０３を掲げているので、人物領域画像２０３は、顔写真１０３部分についてダウンライト１０２による陰影が生じないので、顔領域２０４のように顔写真に写っているままの陰影がそのまま撮影されている。図２（ｅ）は、図１（ｂ）の時刻(t2+1)において、人物１２１が登録者の顔写真１０３を自分の顔の前に掲げた状態で撮影された入力画像から抽出した人物領域画像２０５を示す。人物１２１は、自分の顔の前に顔写真１０３を掲げており、人物領域画像２０５は、人物１２１の直上から照明が照射されるが平面物である顔写真１０３には一様に背後から照射されることとなり、顔領域２０６の全体に陰影が生じている。顔写真１０３の全体に陰影が生じているが写真撮影時の陰影はそのまま保存されている。つまり、顔写真１０３は平面であり、人間の顔のような凹凸は存在しないため、顔領域２０６には、図２（ｂ）の場合のような顔の凹凸による陰影は生じない。この顔写真１０３はダウンライト１０２により背面に光が照射されているため、顔領域２０６では、図２（ｄ）の場合ほど明るくならず、写真全体がやや暗くなっている。
図２（ｆ）は、図１（ｂ）の時刻(t2+2)において、人物１２２が登録者の顔写真１０３を自分の顔の前に掲げた状態で撮影された入力画像から抽出した人物領域画像２０７を示す。人物１２２は、自分の顔の前に顔写真１０３を掲げているので、人物領域画像２０７には、顔写真１０３が顔領域２０８のように写っている。人物領域画像２０７は、顔写真１０３は後方から光を照射され、ダウンライト１０２が逆光となり、顔領域２０８の全体に陰影が生じている。図２（ｅ）の場合と同様に、顔写真１０３の全体に陰影が生じているが写真撮影時の陰影はそのまま保存されている。この顔領域２０８には、図２（ｂ）の場合のような顔の凹凸による新たな陰影は生じず、写真全体が暗くなる。

つまり、写真画策が行われていない場合は、人物の移動にともなって、その人物の顔を照射するダウンライト１０２の顔との相対的な位置が変化、即ち撮影した時の光源方向が変化するので、撮影した画像に写っている人物の顔の凹凸による陰影が変化する。一方、写真画策が行われている場合、その人物が掲げる顔写真に写っている顔に生じている陰影は、全体が明るく或いは暗くなるような変化は出るが、その写真を撮影した時の光源による陰影がそのまま保存されている。つまり、人物が移動しても、その人物が掲げる顔写真に写っている顔において、その顔写真を撮影した時の撮影条件を示す特徴の一つである光源方向は変化することがないので、顔写真に写っている人物の顔の凹凸による陰影は基本的に変化しない。そこで、顔画像認証装置は、撮影した各画像から同一の人物が写っている領域を追跡し、各領域に写っているその人物の顔における陰影から推定される光源方向が、変化しなければ写真画策が行われていると判定し、変化すれば写真画策が行われていないと判定することができる。

以下、図３を参照し、顔画像認証装置１について詳細に説明する。図３は、本発明を適用した顔画像認証装置１の概略構成を示す図である。顔画像認証装置１は、画像処理部１０、出力部２０及び記憶部３０から構成されている。

ここで、撮像部３について説明する。撮像部３は、図１に示したように所定の領域を撮影する監視カメラである。以下、撮像部３が撮影する所定の領域を撮影領域と称する。撮像部３は、例えば、２次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子（例えば、ＣＣＤセンサ、Ｃ−ＭＯＳなど）と、その光電変換素子上に撮影領域の像を結像するための結像光学系を有する。撮像部３は、撮影領域内を通行する人物の顔を順次撮影できるように人物の通行方向の略正面に設置される。そして撮像部３は、所定の時間間隔（例えば、200msec）ごとに、撮影領域を撮影して入力画像を取得する。入力画像は、グレースケールまたはカラーの多階調の画像とすることができる。本実施形態では、入力画像を、横1280画素×縦960画素を有し、ＲＧＢ各色について８ビットの輝度分解能を持つカラー画像とした。ただし、入力画像として、この実施形態以外の解像度及び階調を有するものを使用してもよい。撮像部３は、顔画像認証装置１と接続され、取得した入力画像を画像処理部１０へ渡す。

記憶部３０は、ＲＯＭ、ＲＡＭなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。
記憶部３０には入口１００の通行を許可されている人物の氏名、登録者ＩＤ及び登録顔画像などの登録者データ３１、入力画像から抽出した人物の追跡データの履歴情報である履歴テーブル３２、および人物の標準的な顔形状をモデル化した３次元顔形状モデル３３を記憶している。記憶部３０には、図示していないが顔画像認証装置１を制御するためのコンピュータプログラム及び各種パラメータなどが予め記憶されている。

出力部２０は、外部の接続機器である電気錠、認証結果表示ランプ等と接続するインターフェース及びその制御回路である。そして出力部２０は、画像処理部１０から人物についての認証成功を示す信号を受け取ると、接続されている電気錠に対して解錠制御を行なう信号を出力する。また、出力部２０は、画像処理部１０が認証ＯＫ、認証ＮＧまたは不正行為（写真画策）との認証結果を得ると、その結果に応じて不図示の認証結果表示ランプを点灯または消灯させる。あるいは、認証結果を監視センタ装置へ出力するように構成しても良い。

画像処理部１０は、例えば、いわゆるコンピュータにより構成され、撮像部３からの入力画像に対し記憶部３０を参照等しながら各種処理を実行し、出力部２０からその結果を外部へ出力させる。具体的に画像処理部１０は、画像取得手段１１、人物検出手段１２、顔抽出手段１３、追跡手段１４、顔撮影条件算出手段１５、不正行為判定手段１６、顔照合手段１７、認証手段１８、結果出力手段１９から構成されている。
画像処理部１０の各手段は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、画像処理部１０の各手段について詳細に説明する。

画像取得手段１１は、撮像部３にて撮影した入力画像を画像処理部１０にて処理する可能にするためのインターフェースであり、撮像部３の入力画像を直接取り込めるような場合には不要となる。本実施の形態では、撮像部３から撮影順に画像が順次入力されるので、入力画像を入力順に処理可能な画像データに変換して人物検出手段１２へ渡す。なお、本実施の形態では、撮像部３が撮影した順に入力画像を出力しているが、ハードディスク等の媒体から入力画像を取得する際は、撮影時順に媒体から入力画像を取得する機能を付加させてもよい。

人物検出手段１２は、画像取得手段１１から入力画像を取得する度に、取得した入力画像から人物が写っている領域が存在するか否かを判定し、存在すればその人物領域画像を抽出する。なお、人物が写っている領域が存在するか否かは、フレーム差分法により変化領域を抽出し、その変化領域の大きさや縦横比等を用いて人物か否かを判定する。なお、人物検出の方法は、背景差分法、識別器の利用など種々存在しており、本発明としてはいかなる方法を採用しても良い。ここでは、人物の検出方法については、本発明の本質的部分ではないので詳細な説明は割愛する。

顔抽出手段１３は、人物領域画像から人物の顔が写っている領域である顔領域を検出し、その顔領域を含むように矩形状に切り取り、図８に示すような顔領域画像を抽出する。具体的には、顔抽出手段１３は、人物領域画像に対してSobelフィルタなどを用いて輝度変化の傾き方向が分かるようにエッジ画素抽出を行う。そして顔抽出手段１３は、抽出したエッジ画素から、所定の大きさをもつ、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を基に顔領域画像を抽出する。
この場合において、顔抽出手段１３は、例えば、一般化ハフ変換を用いて、楕円形状のエッジ分布を検出することができる。なお、顔領域画像の抽出方法は、種々存在するので適宜、他の方法を採用しても良い。例えば、Adaboost識別器を用いて顔領域を検出してもよい。この方法についてはP.Violaと M.Jonesによる論文「Rapid Object Detection Using a Boosted Cascade of Simple Features」（Proc. the IEEE International Conference on Computer Vision and Pattern Recognition, vol.1, pp.511-518, 2001）を参照することができる。

ところで、本実施の形態では、顔抽出手段１３は、人物検出手段１２が抽出した人物領域画像に対して顔領域抽出の処理を行っているが、入力画像から直接顔領域抽出の処理を実行してもよい。そして、顔抽出手段１３にて抽出した顔領域画像を人物領域画像として、追跡処理などの処理をするようにしても良い。この場合、顔抽出手段１３が人物検出手段１２の役割を兼ねることとなる。

追跡手段１４は、人物検出手段１２が抽出した人物領域画像について、公知のトラッキング技術を用いて追跡処理を実行する。そして、順次処理する入力画像にて同一人物として追跡された人物領域画像を履歴テーブル３２の人物領域画像７４に、撮像部３における入力画像の撮影時刻を時刻７２に、画像上の人物領域の位置情報を追跡位置７３に記憶させる。なお、履歴テーブル３２の系列データの詳細については、図７を参照して後述する。
追跡手段１４は、所定の時間間隔で順次取得される現フレームの入力画像の人物領域画像それぞれについて、前フレームの入力画像（１時点前の入力画像）から抽出された人物領域画像との対応関係を用いてトラッキングを実行する。例えば、人物領域ごとに、現フレームの人物領域画像の重心位置と前フレームの人物領域画像の重心位置との距離を求めて、その距離が所定の閾値以下である場合に、その人物領域を同一人物によるものとして系列データとして対応付ける。また、追跡手段３２１は、人物領域と対応付けることができなかった場合、その現フレームの人物領域は、新たに撮影領域内に入ってきた人物が写っているものとして、履歴テーブル３２にその人物についての系列データとして、試行番号７０の行を新たに追加する。
なお、トラッキング技術には、重心位置ばかりでなく、色の類似度、形状の類似度、移動速度など種々のパラメータを用いたものが数多く存在するが、本発明にとって本質ではないので詳細の説明は省略する。なお、人物領域の追跡を行なえる方式であればオプティカルフロー、パーティクルフィルタ等の方法などいかなる方式を採用しても良い。

顔撮影条件算出手段１５は、顔抽出手段１３にて抽出した顔領域画像から顔が撮影された際の撮影条件を示す特徴を算出する手段である。本実施の形態では、顔領域画像にある顔の陰影から顔を撮影した時の光源方向を推定する。なお、ここで言う「顔」とは、３次元の形状を有している実物の顔を指しており、写真を意味しているわけではない。

顔撮影条件算出手段１５は、顔抽出手段１３によって抽出された顔領域画像に対して、その顔領域画像に写っている顔とその顔に陰影を与える光源との位置関係を表す光源方向を求める。
先ず、顔撮影条件算出手段１５は、記憶部３０に記憶されている３次元顔形状モデル３３に回転、拡大／縮小などの処理をしつつ、３次元顔形状モデル３３が有する複数の顔形状特徴点と、当該顔形状特徴点に相当する顔領域画像における特徴点との位置合わせを行ない、図６に示すような位置合わせされた位置合わせ済み形状モデル６００を作成する。

次に、図６を参照し、光源方向の算出方法について説明する。図６（a）は、位置合わせ済み形状モデル６００に対して光源６０１から光を照射し、陰影（斜線）を付けた状況の概念図である。また、顔撮影条件算出手段１５は、図６（a）の陰影が付けられた位置合わせ済み形状モデル６００から二次元の平面画像に射影した図６（ｂ）に示す陰影画像を生成する。
顔撮影条件算出手段１５は、位置合わせ済み形状モデル６００に対して種々の光源方向から光を照射した際に生じる顔の凹凸に起因する位置合わせ済み形状モデル６００における陰影画像を求める。また、当該陰影画像ごとに、陰影が付けられたときの光源６０１への方向ベクトルを光源方向として記憶している。
そして、顔撮影条件算出手段１５は、顔抽出手段１３が抽出した顔領域画像と図６（ｂ）の光源方向ごとに生成された陰影画像と比較し、陰影が略合致する位置合わせ済み形状モデルを特定する。そして、対応する位置合わせ済み形状モデル６００の光源方向を履歴テーブル３２の光源方向７５に記憶させる。

なお、光源方向は、位置合わせ済み形状モデルの３次元の正規直交座標系(X,Y,Z)で表されるベクトルとしている。図６に示すように、この座標系では、位置合わせ済み形状モデル６００の重心を原点とし、位置合わせ済み形状モデル６００の水平方向をX軸、垂直方向をY軸、X軸及びY軸と直交する方向をZ軸とする。光源方向は、X軸成分l_X、Y軸成分l_Y及びZ軸成分l_Zを用いて(l_X,l_Y,l_Z)と表される。かかる光源方向は、顔を撮影した際の撮影条件を示す特徴としての性質を有する。
なお、光源方向を推定するための方法は、これに限られるものではなく、種々の公知な方法を用いることができる。

不正行為判定手段１６は、追跡中の人物領域画像にかかる記憶部３０の履歴テーブル３２の同一の系列データにおける光源方向７５を参照し、系列データに記憶されている光源方向をすべて読み出す。そして、不正行為判定手段１６は、読み出した光源方向のレコードが３レコード以上存在するか否かを判定し、３以上存在すれば、それらの光源方向が±５度の範囲内（所定範囲の例）に収まっているか否かを更に判定する。３以上存在しない場合は、不正行為判定手段１６は、±５度の範囲内に収まっているかの判断はしない。そして、所定範囲内に収まっていれば写真画策が行なわれたと判定し、認証手段１８に写真画策の旨を認証手段１８へ出力する。他方、所定範囲内に収まっていなければ特別の処理は行なわない。
ここで、所定の範囲とは、光源方向の算出誤差の範囲と考えられる程度の範囲が好ましい。この範囲は、撮像部３の設置が想定される環境での光源方向の変動量と、顔撮影条件算出手段１５での算出誤差の程度を考慮し、これらを区別可能な程度に実験または経験から予め設定される。
なお、本実施の形態では、光源方向のレコードが３レコード以上で判断しているが、2レコードでもよいし、それ以上の数としてもよい。これは、認証結果を出すにあたっての必要な時間的な制約や物理的な制約等に応じて設定する。

顔照合手段１７は、顔抽出手段１３が抽出した顔領域画像と記憶部３０の登録者データ３１に記憶されているすべての登録顔画像を照合し、それぞれ登録顔画像との類似度を算出し、最も高い値の類似度を履歴テーブル３２の類似度７６に記憶させ、当該登録顔画像の登録人物の登録者ＩＤを履歴テーブル３２の候補人物ＩＤ７７に記憶させる。なお、類似度の算出方法として、顔抽出手段１３が抽出した顔領域画像と登録顔画像のそれぞれから顔の特徴点を抽出し、対応する特徴点どうしの位置関係の一致の程度から類似度を求める方法を採用する。その他、顔画像同士の似ている度合いを算出できるものであれば如何なる方法を採用しても良い。

認証手段１８は、不正行為判定手段１６にて写真画策と判定を受けると、結果出力手段１９に出力部から警報ランプの点灯信号を出力させるとともに、履歴テーブル３２の追跡フラグ７１をＯＦＦにする。
認証手段１８は、履歴テーブル３２を参照し、追跡フラグ７１がＯＮとなっている系列データにおける候補人物ＩＤ７７ごとの平均類似度を算出し、平均類似度が認証閾値、例えば「０．９」を超えていれば当該ＩＤの登録者であると判定し、認証ＯＫとの認証結果を履歴テーブル３２に記憶する。また、平均類似度が認証閾値以下であれば、認証ＮＧとの認証結果として、履歴テーブル３２に記憶する。
更に、登録者と判定すると、結果出力手段１９に出力部２０から電気錠の解錠信号を出力させるとともに、履歴テーブル３２の追跡フラグ７１をＯＦＦにする。他方、登録者と判定できなければ、履歴テーブル３２における系列データが作成された時刻から所定の認証時間が経過したか判定し、認証時間が経過していれば、認証失敗信号を結果出力手段１９から出力部２０に出力させ、履歴テーブル３２の追跡フラグ７１をＯＦＦにする。認証時間が経過していなければ、特段の処理は行なわない。

ここで、図７を参照し、記憶部３０に記憶される履歴テーブル３２について説明する。図７は、履歴テーブル３２の内容を示している。図７において、履歴テーブル３２は、試行番号７０、追跡フラグ７１、時刻７２、追跡位置７３、人物領域画像７４、光源方向７５、類似度７６、候補人物ＩＤ７７、認証結果７８を追跡中の人物毎に対応付けたテーブルである。

試行番号７０は、追跡中の人物の系列データを他の人物の系列データと識別するための識別番号であり、撮影領域に人物領域画像が最初に出現してから消失するまで追跡手段１４によって追跡がされた人物毎の系列データを識別するための番号である。
追跡フラグ７１は、追跡中の人物に対する追跡が継続しているか否かをあらわすフラグを記憶する領域であり、追跡対象の人物領域の系列ごとに追跡手段１４がその人物の追跡を開始するとＯＮになり、追跡を終了するとＯＦＦに設定される。
時刻７２は、人物領域画像を抽出した入力画像を撮像部３が取得した時刻を記憶する領域である。追跡手段１４にて抽出した追跡対象の人物領域画像ごとに記憶される。
追跡位置７３は、人物領域画像が入力画像内に所在する位置座標を記憶する領域であって、追跡対象の人物領域画像ごとに記憶される。
人物領域画像７４は、追跡対象となっている人物領域画像を記憶する領域である。追跡手段１４による追跡処理で１フレーム前の人物領域画像と同一人物のものとして対応付けられた人物領域画像を同一の系列データとして記憶している。
光源方向７５は、顔撮影条件算出手段１５にて人物領域画像の顔領域画像から算出した光源方向を記憶する領域である。
類似度７６は、顔照合手段１７にて算出したその顔領域画像と複数の登録顔画像のそれぞれとの類似度のうち、最も値が高かった類似度（照合スコア）を記憶する領域である。
認証候補人物７７は、顔照合手段１７にて算出した顔領域画像と複数の登録顔画像のそれぞれとの類似度のうち、最も値が高かった類似度を示した登録顔画像を持つ登録者データ３１における登録者の識別ＩＤ（登録者ＩＤ）を記憶する領域である。
認証結果７８は、認証手段１８にて認証処理をした結果である認証ＯＫ、認証ＮＧまたは不正行為の何れかを記憶する領域である。

以下、図４及び図５に示したフローチャートを参照しつつ、本発明を適用した顔画像認証装置１による認証処理の動作を説明する。なお、以下に説明する動作のフローは、画像処理部１０を構成するマイクロプロセッサ上で動作し、顔画像認証装置１全体を制御する制御部（図示せず）により制御される。なお、以下に説明する処理の実施前に、履歴テーブル３２は空白になるよう初期化される。また、以下に説明する動作は、入力画像を一つ取得するごとに実行される。

最初に、顔画像認証装置１の画像取得手段１１は、撮像部３が撮影領域を撮影した入力画像を取得する（ステップＳ８０１）。画像取得手段１１が入力画像を取得すると、人物検出手段１２は、取得された入力画像から、人物が写っている人物領域画像を抽出する（ステップＳ８０２）。次に、人物検出手段１２は、一つ以上の人物領域画像が検出されたか否か判定する（ステップＳ８０３）。人物領域画像が全く検出されなかった場合、ステップＳ８０１へ処理を移行し、人物領域画像が検出されるまでステップＳ８０１〜Ｓ８０３の処理を繰り返す。

一方、ステップＳ８０３において、一つ以上の人物領域画像が検出された場合、追跡手段１４は、検出された全ての人物領域画像について、履歴テーブル３３における追跡フラグ７１がＯＮとなっている系列データにおける最新のレコード（時刻７２が最新となっている行のレコードを指す。）との対応付けを実施する（ステップＳ８０４）。そして追跡手段１４は、追跡フラグ７１がＯＮとなっている系列データについて、現フレームの人物領域画像のいずれとも対応付けられなかったものがあるか否かを判定する（ステップＳ８０５）。現フレームの人物領域画像のいずれとも対応付けられなかった、追跡フラグ７１がＯＮとなっている系列データがある場合、その系列データの人物は、認証成功となって入室したか、又は認証されずに撮影領域から離れたと考えられる。そのため、追跡手段１４は、現フレームの人物領域画像のいずれとも対応付けられなかった系列データの追跡フラグ７１をＯＦＦに設定して、以後その系列データに対する追跡処理を実施しないようにする（ステップＳ８０６）。一方、現フレームの人物領域画像のいずれとも対応付けられなかったものがない場合、追跡手段１４はステップＳ８０７へ進む。

次に、追跡手段１４は、現フレームの人物領域画像すべてについて、追跡フラグ７１がＯＮとなっている系列データと対応付けることができなかったものがあるか否かを判定する（ステップＳ８０７）。追跡フラグ７１がＯＮとなっている系列データと対応付けることができなかったものがある場合、追跡手段１４は、対応付けることができなかった人物領域画像についての系列データを履歴テーブル３２に新たな系列データを追加する。すなわち追跡手段１４は、対応付けることができなかった人物領域画像についての系列データに新たな試行番号７０を割り当てる。そして、追跡フラグ７１をＯＮに設定、入力画像の撮影時刻を時刻７２に設定、入力画像上の人物領域画像の位置情報を追跡位置７３に記憶、更に人物領域画像を人物領域画像７３に記憶させる（ステップＳ８０８）。一方、ステップＳ８０７にて追跡フラグ７１がＯＮとなっている系列データと対応付けることができなかったものがない場合、追跡手段１４はステップ８０９に進む。

そして、現フレームの人物領域画像について、追跡フラグ７１がＯＮとなっている系列データと対応付けることができた系列データについて、追跡手段１４は入力画像の撮影時刻を時刻７２に設定、入力画像上の人物領域画像の位置情報を追跡位置７３に記憶、更に人物領域画像を人物領域画像７３に追加記憶させる（ステップＳ８０９）。
以上のステップＳ８０１〜Ｓ８０９の処理を実施することで、同一の人物を追跡した系列データが履歴テーブル３３記憶される。

図５に示す以下のステップＳ８１０〜Ｓ８１７の処理は、追跡フラグ７１がＯＮである系列データごとに行われる。
顔抽出手段１３は、処理対象の系列データの最新の人物領域画像から顔領域を検出し、その顔領域を人物領域画像から切り出して顔領域画像を抽出する（ステップＳ８１０）。
次に、顔照合手段１７は、顔領域画像と登録者データ３１に記憶されている登録顔画像との類似度を算出し、最も高い類似度を類似度７６に記憶するとともに、当該登録顔画像の登録者ＩＤを候補人物ＩＤ７７に記憶する（ステップＳ８１１）。
次に、顔撮影条件算出手段１５は、顔抽出手段１３が抽出した顔領域画像について、それが撮影されたときの撮影条件を示す特徴として光源方向を算出し、履歴テーブル３２の光源方向７５に記憶する（ステップＳ８１２）。

次に、不正行為判定手段１６は、その系列データにおいて算出された光源方向のレコード数が３以上であるか否かを判定する（ステップＳ８１３）。その系列データにおいて算出された光源方向のレコード数が３未満である場合、不正行為判定手段１６は、その系列データについては特に処理を実施せずに次の系列データの処理に移行する。一方、その系列データにおいて算出された光源方向のレコード数が３以上である場合、不正行為判定手段１６は、それらの光源方向が略同一と判断できる±5度程度の範囲に収まっているか判定する（ステップＳ８１４）。

そして、ステップＳ８１４にて、±5度程度の範囲に収まっていると判定した場合、不正行為判定手段１６は、履歴テーブル３２の認証結果７８に不正行為として当該系列データの認証結果として記憶させるとともに、追跡フラグをＯＦＦに設定する（ステップＳ８１５）。ステップＳ８１５では更に、認証手段１８が履歴テーブル３２にて認証結果７８に不正行為との結果が記録されると、写真画策が行われたと判定し、写真画策が行われたことを示す信号を出力部２０に出力する。写真画策が行われたことを示す信号が出力部２０に出力された場合、出力部２０を介して不図示の警報ランプの点灯、不図示のブザーの鳴動等が行われる。あるいは、出力部２０を介して、その写真画策が行われたことを示す信号が不図示の監視センタ装置へ出力される。これにより監視センタ装置は、写真画策が行われたことを管理者に通知し、またその履歴を記録することができる。

一方、ステップＳ８１４にて、±5度程度の範囲に収まっていないと判定した場合、認証手段１８は、履歴テーブル３２の類似度７６及び候補人物ＩＤ７７を読み出し、候補人物ＩＤに記憶されている登録人物ＩＤが同一である類似度の平均値を求める。そして、当該類似度の平均値が認証閾値である「０．９」を超えているか判断する（ステップＳ８１６）。
ステップＳ８１６にて、認証閾値を超えていると判断すると、ステップＳ８１７にて当該登録人物であると判定し、認証ＯＫを認証結果７８に記憶するともに追跡フラグ７１をOFFに設定する。そして、結果出力手段１９から出力部２０を介して電気錠への解錠信号及び認証結果OK信号を出力させる。
他方、ステップＳ８１６にて認証閾値を超えていないと判断すると、ステップＳ８１８にて、認証手段１８は時刻７２を参照し、系列データが作成された最初の時刻から本フレームの時刻までの経過時間である認証時間が既定の時間以上か判定する。この既定の時間は、撮影条件を示す特徴の変化を判定する程度の時間は経過していても顔認証に充分なだけの人物領域画像を得られるようにするための時間である。充分な時間が経過していれば、ステップＳ８１９に進み、認証NGを認証結果７８に記憶するとともに追跡フラグ７１をOFFに設定する。他方、ステップＳ８１８にて既定の時間未満であれば次の系列データの処理に移行する。
全ての系列データについて処理が終わると、図４のステップＳ８０１に戻り、次の入力画像の処理を繰り返す。

次に、図７に示す履歴テーブルについて、本発明にかかる顔画像認証装置の各手段により、どのように処理されたのかの例を、図１に示す撮影場所の模式図、図２に示す人物領域画像を用いて説明する。
なお、以下では、説明を容易にするため、入力画像は１秒間隔で取得され、図７の履歴テーブル３２もそれに応じて１秒間隔で更新されるものとする。

まず、登録者が撮影された場合について説明する。当該人物は、履歴テーブル３３において、試行番号７０が「１」で示されている。
図１（ａ）に示すように、時刻ｔ１において人物１１０は撮像部３により撮影され、画像取得手段１１を経由して入力画像が取得される。本実施例では、入力画像が取得された時刻ｔ１は「2012/06/20 10:12:35」であるので、時刻７２にはその時刻が記録される。
そして人物検出手段１２は、入力画像から人物１１０の人物領域画像を抽出して、追跡手段１４は入力画像中での位置、即ち人物領域画像の重心位置を求めて、追跡位置７３に記録する。本実施の形態では、入力画像の座標は、左上を原点とし、右に向かってＸ座標が増え、下に向かってＹ座標が増えるよう定義してあり、人物１１０の位置は「(610,320)」として、その座標値が追跡位置７３に記録される。
また、人物検出手段１２により抽出された人物領域画像は、履歴テーブル３３の人物領域画像７４に記録される。記録される人物領域画像は図２（ａ）に示すものである。

顔撮影条件算出手段１５は、人物領域画像から抽出された顔領域画像から撮影条件を示す特徴を算出する。本実施の形態では、光源方向を表す方向ベクトル（大きさ１）の座標情報を算出する。
図１（ａ）に示すように、時刻ｔ１における人物１１０の場合、ダウンライト１０２は人物１１０のやや左前方かつ上方に位置している。光源方向を表す方向ベクトルのＸＹＺ座標は「(0.09,0.87,-0.5)」であるので、その座標値が光源方向７５に記憶される。このＸＹＺ座標の値は、ダウンライト１０２が人物１１０に対し、水平方向から６０度上方向のピッチ角（仰角）、人物１１０から見た正面方向から１０度左方向のヨー角の方向に位置していることに対応するものである。

顔照合手段１７は、類似度を求め、その結果を類似度７６に記憶する。本実施の形態では、人物１１０の位置において照明条件などは好適なものであるので、類似度を０から１に正規化した結果において「0.98」という高い類似度が求められている。
また顔照合手段１７は、当該類似度が求められた登録顔画像に写っている登録者を表すＩＤとして「Ａ」が記録される。

次に、１時刻が経過して時刻ｔ１＋１において、符号１１１に示す位置に人物が移動したとする。本実施例では、入力画像が取得された時刻ｔ１＋１は、上記説明の時刻より１秒が経過した場合として「2012/06/20 10:12:36」が時刻７２に記録される。
そして時刻ｔ１と同様に人物領域画像の重心位置の座標として「(630,530)」が追跡位置７３に記録される。
また人物領域画像７４に記録される人物領域画像は図２（ｂ）に示すものである。

時刻ｔ１と同様に顔撮影条件算出手段１５は、抽出された顔領域画像から光源方向を表す方向ベクトルの座標情報を算出する。
時刻ｔ１＋１における人物１１１の場合、ダウンライト１０２は人物１１１の略直上に位置している。この場合、方向ベクトルのＸＹＺ座標は「(0,1,0)」であるので、その座標値が光源方向７５に記憶される。このＸＹＺ座標の値は、ダウンライト１０２が登録者１１１に対し、水平方向から９０度上方向のピッチ角（仰角）、人物１１１から見た正面方向から０度のヨー角の方向に位置していることに対応するものである。

顔照合手段１７は、時刻ｔ１と同様に類似度を求め、その結果を類似度７６に記憶する。本実施の形態では、登録者１１１の略直上に照明装置があるため、図２（ｂ）に示すように、顔部分には不自然な明暗差が生じており、時刻ｔ１の場合ほどには高い類似度は求まらないものの、登録されている人物であるので、「0.85」という類似度が求められている。
また顔照合手段１７は、当該類似度が求められた登録顔画像に写っている登録者を表すＩＤとして、「Ａ」を候補人物ＩＤ７７に記録する。

次に、さらに１時刻が経過して時刻ｔ１＋２において、符号１１２に示す位置に人物が移動したとする。本実施例では、時刻ｔ１＋２は、上記説明の時刻よりさらに１秒が経過して入力画像が取得された場合として「2012/06/20 10:12:37」が時刻７２に記録される。
そして時刻ｔ１と同様に人物領域画像の重心位置の座標として「(620,710)」が追跡位置７３に記録される。
また人物領域画像７４に記録される人物領域画像は図２（ｃ）に示すものである。

時刻ｔ１と同様に顔撮影条件算出手段１５は、抽出された顔領域画像から光源方向を表す方向ベクトルの座標情報を算出する。
時刻ｔ１＋２における登録者１１２の場合、ダウンライト１０２は人物１１２の後方かつ上方に位置している。この場合、方向ベクトルのＸＹＺ座標は「(0,0.98,0.17)」であるので、その座標値が光源方向７５に記憶される。このＸＹＺ座標の値は、ダウンライト１０２が人物１１２に対し、水平方向から１００度上方向のピッチ角（仰角）、人物１１２から見た正面方向から０度のヨー角の方向に位置していることに対応するものである。

顔照合手段１７は、時刻ｔ１と同様に類似度を求め、その結果を類似度７６に記憶する。本実施の形態では、人物１１２の後方かつ上方に照明装置があるため、図２（ｃ）に示すように、顔部分は全体的に暗く、撮像部３のダイナミックレンジの都合で顔のテクスチャ情報が多少欠落していることもあり、時刻ｔ１の場合ほどには高い類似度は求まらない。しかし登録されている人物であるので、「0.91」という類似度が求められている。
また顔照合手段１７は、当該類似度が求められた登録顔画像に写っている登録者を表すＩＤとして、「Ａ」を候補人物ＩＤ７７に記録する。

不正行為判定手段１６は、試行番号７０が「１」の光源方向７５を参照して、光源方向の変化の様子を把握する。本実施の形態では、ｔ１、ｔ１＋１、ｔ１＋２では、水平方向を基準にした仰角がそれぞれ６０度、９０度、１００度と、実際の光源であるダウンライト１０２との位置関係の変化に応じた値となっている。
従って、不正行為判定手段１６は、試行番号７０が「１」の人物は不正行為を行っていないと判定し、その旨認証手段１８に出力する。

認証手段１８は、試行番号７０が「１」の類似度７６と候補人物ＩＤ７７を参照して、撮影されている人物を特定する。即ち、本実施の形態では、時刻ｔ１、ｔ１＋１、ｔ１＋２の３時刻の何れにおいても、登録者のＩＤが「Ａ」の人物との類似度が最も高いという結果が得られており、３時刻分の類似度の平均を求めると、0.91である。これは認証判定のための閾値0.9を超えている。よって、認証手段１８は、試行番号７０が「１」の人物は登録者のＩＤが「Ａ」であると判定して、認証結果７８に「認証ＯＫ（Ａ）」を記録する。

次に、不審者が写真画策をしている場合について説明する。当該不審者は、履歴テーブル３３において、試行番号７０が「２」で示されている。
図１（ｂ）に示すように、人物１２０は登録者の顔写真１０３を自らの顔の前に掲げている。本実施例では、入力画像が取得された時刻ｔ２は「2012/06/20 11:25:14」であるので、時刻７２にはその時刻が記録される。
そして試行番号７０が「１」の人物と同様に、人物領域画像の重心位置の座標として「(580,310)」が追跡位置７３に記録される
また人物領域画像７４に記録される人物領域画像は図２（ｄ）に示すものである。

顔撮影条件算出手段１５は、当該抽出された顔領域画像から光源方向を表す方向ベクトルの座標情報を算出する。
時刻ｔ２における人物１２０の場合、方向ベクトルのＸＹＺ座標は「(0.99,0.09,-0.09)」であるので、その座標値が光源方向７５に記憶される。この方向ベクトルのＸＹＺ座標「(0.99,0.09,-0.09)」という値は、顔領域画像２０４に写っている顔から見た光源方向が、水平方向から５度上方向のピッチ角（仰角）、その顔から見た正面方向からほぼ左真横の８５度のヨー角の方向に位置していることに対応するものである。尚、このＸＹＺ座標の値は、図２（ｄ）に示す人物領域画像の顔部分である顔領域画像２０４から求められているものの、当該顔領域画像２０４に表れている陰影情報は、人物１２０が掲げる写真が撮影されたときの陰影情報であり、それに基づいて方向ベクトルのＸＹＺ座標の値が求まっているものである。これは、以下に述べるｔ２＋１とｔ２＋２でも同様である。

顔照合手段１７は類似度を求め、その結果を類似度７６に記憶する。本実施の形態では、顔領域画像２０４は登録されている人物であるので、「0.92」という類似度が求められている。
また顔照合手段１７は、当該類似度が求められた登録顔画像に写っている登録者を表すＩＤとして「Ａ」が記録される。

次に、１時刻が経過して時刻ｔ２＋１において、写真１０３を同じく掲げつつ符号１２１に示す位置に人物が移動したとする。本実施例では、時刻ｔ２＋１は、上記説明の時刻より１秒が経過して入力画像が取得された場合として「2012/06/20 11:25:15」が時刻７２に記録される。
そして試行番号７０が「１」の人物と同様に、人物領域画像の重心位置の座標として「(590,500)」が追跡位置７３に記録される
また人物領域画像７４に記録される人物領域画像は図２（ｅ）に示すものである。

時刻ｔ２と同様に、顔撮影条件算出手段１５は、当該抽出された顔領域画像２０６から光源方向を表す方向ベクトルの座標情報を算出する。
時刻ｔ２＋１における人物１２１の場合の方向ベクトルのＸＹＺ座標は「(0.99,0.10,-0.09)」であるので、その座標値が光源方向７５に記憶される。この方向ベクトルのＸＹＺ座標「(0.99,0.10,-0.09)」という値は、顔領域画像２０６に写っている顔から見た光源方向が、水平方向から６度上方向のピッチ角（仰角）、その顔から見た正面方向からほぼ左真横の８５度のヨー角の方向に位置していることに対応するものである。

顔照合手段１７は、時刻ｔ２と同様に類似度を求め、その結果を類似度７６に記憶する。本実施の形態では、不審者１２１の略直上に照明装置があるため、図２（ｅ）に示すように、写真を写した顔部分は逆光気味でやや暗く、時刻ｔ２の場合ほどには高い類似度は求まらないものの、登録されている人物を写した写真であるので、「0.84」という類似度が求められている。
また顔照合手段は、当該類似度が求められた登録顔画像に写っている登録者を表すＩＤとして「Ａ」を候補人物ＩＤ７７に記録する。

次に、さらに１時刻が経過して時刻ｔ２＋２において、写真１０３を同じく掲げつつ符号１２２に示す位置に人物が移動したとする。本実施例では、時刻ｔ２＋２は、上記説明の時刻よりさらに１秒が経過して入力画像が取得された場合として「2012/06/20 11:25:16」が時刻７２に記録される。
そして時刻ｔ２と同様に、人物領域画像の重心位置の座標として「(595,650)」が追跡位置７３に記録される
また人物領域画像７４に記録される人物領域画像は図２（ｆ）に示すものである。

時刻ｔ２と同様に顔撮影条件算出手段１５は、光源方向を表す方向ベクトルの座標情報を算出する。
時刻ｔ２＋２における人物１２２の場合の方向ベクトルのＸＹＺ座標は「(0.99,0.09,-0.07)」であるので、その座標値が光源方向７５に記憶される。この方向ベクトルのＸＹＺ座標「(0.99,0.09,-0.07)」という値は、顔領域画像２０８に写っている顔から見た光源方向として、水平方向から５度上方向のピッチ角（仰角）、その顔から見た正面方向からほぼ左真横の８６度のヨー角の方向に位置していることに対応するものである。

顔照合手段１７は、時刻ｔ２と同様に、その結果を類似度７６に記憶する。本実施の形態では、人物１２２の後方かつ上方に照明装置があるため、図２（ｆ）に示すように、顔部分は全体的に暗く、撮像部３のダイナミックレンジの都合で顔のテクスチャ情報が多少欠落していることもあり、時刻ｔ２の場合ほどには高い類似度は求まらない。しかし顔領域画像２０８は登録されている人物の顔なので、「0.90」という類似度が求められている。
また顔照合手段は、当該類似度が求められた登録顔画像に写っている登録者を表すＩＤとして「Ａ」を候補人物ＩＤ７７に記録する。

不正行為判定手段１６は、試行番号７０が「２」の光源方向７５を参照して、光源方向の変化の様子を把握する。本実施の形態では、ｔ２、ｔ２＋１、ｔ２＋２では、水平方向を基準にした仰角がそれぞれ５度、６度、５度、顔の正面方向を基準にした左方向へのヨー角が８５度、８５度、８６度と、ダウンライト１０２があるにも関わらず、顔を直接撮像部３に見せる通常の認証行為では考えにくいほど変化しておらず、ピッチ角（仰角）もヨー角も予め設定した±５度の範囲内である。
従って、不正行為判定手段１６は、試行番号７０が「２」の人物は不正行為を行っていると判定し、その旨認証手段１８に出力する。

認証手段１８は、試行番号７０が「２」の類似度７６と候補人物ＩＤ７７に記録された結果が、如何に登録者と判定するのが好適なものであっても、認証ＯＫとの結果とはせず、認証結果７８に「不正行為」を記録する。

次に、未登録の不審者が撮影された場合について説明する。当該人物は、試行番号７０が「２」の人物と異なり、顔の前に写真を掲げる不正行為は行っておらず、履歴テーブル３３においては試行番号７０が「３」で示されている。
当該人物についての処理は、不正行為を行ってはいないので試行番号７０が「１」の登録者の場合と同様であり、詳細は省略するが、類似度７６と候補人物ＩＤ７７の様子は大きく異なっている。

即ち、未登録であるが故に、登録者の顔画像の何れとも類似度が高くなることはない。よって類似度７６は、３時刻の何れの値も認証判定に用いる閾値0.9よりも小さく、類似度の平均や最大値を求めても当該閾値を超えない。
よって、認証手段１８は、当該人物について、登録されている人物ではないとの判断を行い認証結果７８に「認証ＮＧ（未登録者）」と記録する。

以上説明してきたように、本発明を適用した顔画像認証装置は、歩行する人物を順次撮影した複数の入力画像のそれぞれから同一の人物の顔が写っている領域を抽出して顔領域画像とするとともに、各顔領域画像について光源方向を求める。そして、顔画像認証装置は、各入力画像から抽出された各顔領域画像についての光源方向が変化しなければ、顔領域画像に写っているのは顔写真であると判定する。これにより、顔画像認証装置は、顔写真を用いた不正行為の有無を適切に判定することができる。

また、顔画像認証装置は、連続して取得された入力画像から抽出された顔領域画像について求めた光源方向を用いてその変化を検出することに代えて、連続して取得された入力画像のうち人物が一定距離以上移動したタイミングでそれぞれ取得された入力画像から抽出された顔領域画像について求めた光源方向を用いてその変化を検出してもよい。その場合、顔画像認証装置は、ある系列データについて、あるタイミングで抽出された人物領域について光源方向を求める。そして、顔画像認証装置は、その系列データについて、その後に抽出された人物領域が、直前に光源方向を求めた人物領域の位置に対して所定距離以上離れた位置にある場合に限り光源方向を求める。なお、各人物領域の位置は、追跡位置情報に記憶されており、顔画像認証装置は、人物領域を抽出するたびに、その人物領域の重心位置と、直前に光源方向を求めた人物領域の重心位置との間の距離（２次元ノルム）を算出し、算出した距離が所定値以上である場合に光源方向を求める。これにより、顔画像認証装置は、顔領域画像における光源方向の時間に応じた変化ではなく、人物の移動に応じた変化を求めることができ、顔領域画像に写っているのが顔写真であるか否かをより高精度に判定することができる。
なお、顔画像認証装置は、距離センサーを備え、距離センサーから取得した距離情報に基づいて、人物が一定距離以上移動したか否かを判断してもよい。これにより、撮影領域内の現実の位置に基づいて、より高精度に人物の移動距離を求めることができる。

また、本実施形態では、顔の撮影時における撮影条件を示す特徴として、光源方向を求める例を示したが、本発明はこれに限定されない。例えば、顔撮影条件算出手段が、光源方向に加え、または光源方向に替えて、顔領域画像内の画素の輝度値の分散を求めてもよい。その場合、不正行為判定手段は、各顔領域画像についてそれぞれ求められた輝度値の分散について、所定数以上の顔領域画像における分散をその変化量として求める。図２（ｂ）に示したように、写真画策を行っていない人物がダウンライトの直下にいる場合は顔の凹凸に応じて顔領域画像に明暗が生じるため、ダウンライトの直下にいる場合はいない場合より顔領域画像内の画素の輝度値の分散が大きくなる。一方、図２（ｅ）に示したように、写真画策を行っている人物がダウンライトの直下にいる場合は顔領域画像全体が暗くなるため、ダウンライトの直下にいる場合といない場合とで、顔領域画像内の画素の輝度値の分散は写真画策を行っていない場合ほど大きく異ならない。そのため、これによっても、顔画像認証装置は、顔領域画像に写っているのが顔写真であるか否かを適切に判定することができる。

あるいは、顔撮影条件算出手段は、顔領域画像に対してSobelフィルタなどを用いてエッジ画素抽出を行い、抽出したエッジ画素からなる画像データ（以下、エッジ画像と称する）を生成し、生成したエッジ画像を撮影条件を示す特徴の一つとして用いてもよい。その場合、不正行為判定手段は、各系列データについて、現フレームの顔領域画像についてのエッジ画像と、前フレームの対応する顔領域画像についてのエッジ画像との正規化相関を求め、その逆数を各エッジ画像間の変化量とする。図２（ｂ）に示したように、写真画策を行っていない人物がダウンライトの直下にいる場合は顔の凹凸に応じて顔領域画像に明暗が生じるため、ダウンライトの直下にいる場合といない場合とで、抽出されるエッジ画素の分布は大きく異なる。一方、図２（ｅ）に示したように、写真画策を行っている人物がダウンライトの直下にいる場合は顔領域画像全体が暗くなるため、ダウンライトの直下にいる場合といない場合とで、抽出されるエッジ画素の分布は写真画策を行っていない場合ほど大きく異ならない。そのため、これによっても、顔画像認証装置は、顔領域画像に写っているのが顔写真であるか否かを適切に判定することができる。

あるいは、顔撮影条件算出手段は、顔領域画像から求めた光源方向や輝度の分散に加え、またはそれらに替えて、撮影条件を示す特徴として、人物を直接撮影したサンプル顔領域画像と同一人物の顔が写っている写真を撮影したサンプル顔領域画像を用いた学習により求めた、人物を直接撮影したサンプル顔領域画像と写真を撮影したサンプル顔領域画像とを識別可能な部分空間を予め求めておき、この部分空間に顔領域画像を投影した際の値を用いてもよい。
そのために、歩行している人物の顔が写っているサンプル通常顔領域画像と、歩行している人物が自分の顔の前に掲げている顔写真が写っているサンプル画策顔領域画像とを大量に用意する。この顔写真に写っている人物は、サンプル通常顔領域画像に写っている人物と同一人物である。また、サンプル通常顔領域画像は、歩行に応じて陰影が大きく変化し、サンプル画策顔領域画像は、歩行に応じても陰影が変化しないものを用意する。
そして、顔画像認証装置は、以下に述べるように部分空間を事前学習処理により求める。あるいは、別途専用の装置によって部分空間を求めて顔画像認証装置の記憶部に記憶してもよい。さらには、サーバークライアントタイプの装置構成を採用している場合には、サーバーマシンにより求めても良い。本願発明おいては、上記何れの方法を採用するかは限定されるものではないので、以下の説明では部分空間を求める装置を総称して簡単に「コンピュータ」と表記する。

部分空間を求めるコンピュータは、これらのサンプル顔領域画像をそれぞれ固有空間に投影して固有空間内の各基底における投影位置を求める。そして、コンピュータは、同一人物が写っている複数のサンプル画策顔領域画像に対しては位置の変動が小さく、同一人物が写っている複数のサンプル通常顔領域画像に対しては位置の変動が大きくなる基底を抽出し、その基底からなる部分空間（以下、画策特徴量空間と称する）を求める。
以下、顔領域画像から求められる特徴量についての固有空間から画策特徴量空間を抽出する手順について説明する。固有空間を導くために用いる顔領域画像の学習サンプルの集合をL、各学習サンプルの顔領域画像から求めた振幅スペクトルの共分散行列をΣとすると、固有空間を表す固有値Λ=diag(λ_k)（kは1≦k≦Dの整数）及び固有ベクトルΦ=(φ₁,…,φ_D)は、次式から求められる。

ここで、Dは振幅スペクトルの次元数を表し、画策特徴量空間の次元数D_Sより大きい値である。また、x_iは集合Lに含まれる各学習サンプルの顔領域画像から求められる各特徴量ベクトルを表し、nは集合Lに含まれる学習サンプルの数を表し、μは各学習サンプルについて求められた特徴量ベクトルの平均ベクトルを表す。また、iは1≦i≦nの整数であり、各特徴量ベクトルに付与された番号を表す。例えば、特徴量ベクトルとして、顔領域画像の各画素の輝度値を並べたベクトルを正規化したベクトルが用いられる。あるいは、顔領域画像の周波数スペクトル、ガボール特徴等を特徴量ベクトルとして用いてもよい。

特徴量ベクトルx_iをl番目の固有値λ_lに対応する固有ベクトルφ_lに投影した特徴量の低次元表現u_lは次式で表される。

画策特徴量空間で用いる基底を抽出するために用いる学習サンプルの集合をS、集合Sのうち人物jについてのサンプル画策顔領域画像の集合をP_j、サンプル通常顔領域画像の集合をN_jとすると、画策特徴量空間の基底e_k(k=1,…,D_S)は、固有ベクトルΦ=(φ₁,…,φ_D)のうち、x_i∈P_jに対する低次元表現u_lの分散が小さく、かつ、x_i∈N_jに対する低次元表現u_lの分散が大きくなるベクトルから求めるのが好ましい。例えば、コンピュータは、x_i∈P_jに対する低次元表現u_lの分散σ_Plをl=1,…,Dについて算出し、算出した全ての分散を小さい順に並べたときの分散σ_Plの順位をR_Plとし、さらにx_i∈N_jに対する低次元表現u_lの分散σ_Nlをl=1,…,Dについて算出し、算出した全ての分散を大きい順に並べたときの分散σ_Nlの順位をR_Nlとして、次式により、合成順位R_Alを求める。

ここで、αはサンプル画策顔領域画像とサンプル通常顔領域画像の重み付けのための定数であり、例えば0.5に設定される。

画策特徴量空間の基底e_kは、合成順位R_Alを小さい順に並べたときの順位R_lを用いて、次式により表される。

あるいは、分散σ_Plの順位R_Plが所定順位内であり、かつ分散σ_Nlの順位R_Nlが所定順位内であるもののうち、順位R_Plと順位R_Nlの和が小さい順にD_S個のφ_l及びλ_lを選択して画策特徴量空間の基底e_kを求めてもよい。あるいは、分散σ_Plに対する分散σ_Nlの比σ_Nl／σ_Plをl=1,…,Dについて算出し、算出した全ての比を大きい順に並べたときの順位を上記の順位R_lとして画策特徴量空間の基底e_kを求めてもよい。このようにして求めた画策特徴量空間内では、同一人物が写っている複数のサンプル画策顔領域画像についての投影位置の変動は小さく、同一人物が写っている複数のサンプル通常顔領域画像についての投影位置の変動は大きくなる。従って、入力画像から抽出された顔領域画像の特徴量を画策特徴量空間に投影した位置は、顔領域画像から求められた光源位置や輝度の分散と同様に、顔の撮影時の撮影条件を示す特徴を表す。

顔撮影条件算出手段は、各系列データについて、2枚の顔領域画像からそれぞれ特徴量x_A、x_Bを求め、それぞれを画策特徴量空間に投影し、画策特徴量u=(u₁,…,u_Ds)、v=(v₁,…,v_Ds)を求める。つまり、画策特徴量u、vのi番目の成分u_i、v_iは次式で表される。

顔撮影条件算出手段は、画策特徴量u、vの相関値Cを次式により算出する。

不正行為判定手段は、算出した相関値Cの逆数をその特徴量の変化量とし、変化量が閾値未満である場合、写真画策が行われていると判定し、変化量が閾値以上である場合、写真画策が行われていないと判定する。つまり、不正行為判定手段は、算出した相関値Cが、顔領域画像に写っている顔とその顔に陰影を与える光源との位置関係が変化したことを表す場合、写真画策が行われていると判定し、位置関係が変化しなかったことを表す場合、写真画策が行われていないと判定する。なお、不正行為判定手段は、画策特徴量u、vをそれぞれの大きさで割ることにより正規化したベクトルを求め、求めたベクトルの差を特徴量の変化量としてもよい。
上記の説明では、分散σ_Nlを求めるためのサンプル通常顔領域画像と、分散σ_Plを求めるためのサンプル画策顔領域画像に写っている人物は同一人物として説明したが、それぞれの分散を求めるための顔領域画像が、十分に多くの人物について得られている場合には、人物ごとの分散σ_Nlと分散σ_Plのそれぞれを平均して、合成順位を求めるなどの処理を行っても同様に判定できる。

また、撮影条件を示す特徴として、顔領域画像における光源方向、または顔領域画像内の画素の輝度値の分散を用いる場合、その変化量として、変化の範囲や分散を求める例を示したが、本発明はこれに限定されない。例えば、不正行為判定手段は、系列データ内の最新の所定枚数の顔領域画像に対して、取り得る全ての通りの顔領域画像のペアを設定し、設定した顔領域画像のペアについて求められた撮影条件を示す特徴の差の絶対値の最小値、最大値、平均値及び中央値の何れかをその変化量として求めてもよい。あるいは、不正行為判定手段は、系列データ内の最新の所定枚数の顔領域画像に対して、任意の一通りの顔領域画像のペアを設定し、設定した顔領域画像のペアについて求められた撮影条件を示す特徴の差の絶対値をその変化量として求めてもよい。

また、不正行為判定手段は、系列データ内の顔領域画像のうち、写真画策の有無を判定するのに適さない顔領域画像について求められた撮影条件を示す特徴を、不正行為の判定に用いないようにしてもよい。例えば、不正行為判定手段は、平均輝度値が極度に低い顔領域画像または極度に高い顔領域画像について求められた撮影条件を示す特徴を、不正行為の判定に用いないようにする。あるいは、不正行為判定手段は、写っている顔の向きが正面方向から離れている顔領域画像について求められた撮影条件を示す特徴を、不正行為の判定に用いないようにする。なお、顔の向きは、公知の様々な手法で求めることができる。例えば、顔領域画像内の肌色と認められる画素の数をカウントし、顔領域画像内の全画素数に対する肌色画素数の比が大きいほど正面方向を向いており、小さいほど正面方向から離れていると判断できる。なお、肌色画素が顔領域画像内の右半分より左半分に多い場合には右を、左半分より右半分に多い場合には左を、上半分より下半分に多い場合には下を、下半分より上半分に多い場合には上を、それぞれ向いていると判断できる。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 顔画像認証装置
３ 撮像部
１０ 画像処理部
１２ 顔抽出手段
１４ 追跡手段
１５ 顔撮影条件算出手段
１６ 不正行為判定手段
２０ 出力部
３２ 履歴テーブル

Claims (5)

1. 所定の撮影領域を撮影した入力画像に写っている人物の顔画像と、予め登録された人物の登録顔画像に基づき人物を認証する顔画像認証装置であって、
   前記撮影領域を撮影した入力画像を順次取得する画像取得手段と、
   前記入力画像から人物領域画像を抽出する人物検出手段と、
   順次取得される複数の前記入力画像から抽出された前記人物領域画像を追跡し、追跡できた人物領域画像を対応付けた系列データを生成する追跡手段と、
   前記人物領域画像における顔領域画像から顔の撮影時における撮影条件を示す特徴を算出する顔撮影条件算出手段と、
   前記系列データごとに、当該系列データに含まれる前記人物領域画像の撮影条件を示す特徴が略同一とされる所定範囲内か否かを判定する不正行為判定手段と、
   前記不正行為判定手段にて所定範囲内と判定されると、不正行為と認証する認証手段を有する顔画像認証装置。
2. 前記人物検出手段は、人物領域画像として顔領域画像を抽出する請求項１に記載の顔画像認証装置。
3. 前記顔撮影条件算出手段は、前記顔領域画像から光源方向を求めて、前記撮影条件を示す特徴に少なくとも当該光源方向を含める請求項１または請求項２に記載の顔認証装置。
4. 前記顔撮影条件算出手段は、前記顔領域画像から輝度値の分散を求めて、前記撮影条件を示す特徴に少なくとも当該分散を含める請求項１〜請求項３の何れか１項に記載の顔画像認証装置。
5. 更に、人物を直接撮影したサンプル顔領域画像と顔が写っている写真を撮影したサンプル顔領域画像を用いた学習により求めた、人物を直接撮影したサンプル顔領域画像と写真を撮影したサンプル顔領域画像とを識別可能な部分空間を予め記憶している記憶部を有し、
   前記顔撮影条件算出手段は、前記顔領域画像を前記部分空間に投影したときの部分空間における位置を求めて、前記撮影条件を示す特徴に前記部分空間における位置を含める請求項１〜請求項４の何れか１項に記載の顔画像認証装置。

Images