JP2004118627A

JP2004118627A - 人物認証装置および人物認証方法

Info

Publication number: JP2004118627A
Application number: JP2002282443A
Authority: JP
Inventors: Miwako Doi; 土井　美和子
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2002-09-27
Filing date: 2002-09-27
Publication date: 2004-04-15
Also published as: US20040062423A1; US20080298645A1; US7412081B2

Abstract

【課題】顔認証では、登録時と認証時に、立ち位置や照明条件などの撮像条件を同様にしないと、登録時のパターンと異なり、本人を本人として認証するのに、失敗するという問題があった。
【解決手段】人物の顔領域の画像を抽出する顔領域抽出手段２と、顔領域抽出手段によって抽出された顔領域の画像から顔の特徴量を抽出する特徴量抽出手段３と、特徴量抽出手段が抽出した特徴量を当該人物の特徴量として登録するための辞書登録手段５と、特徴量抽出手段が抽出した特徴量と前記辞書登録手段により登録された特徴量との類似度をに応じて当該人物を認証する人物認証装置において、当該人物の動きを誘導する誘導手段７を具備し、誘導手段により誘導された状況の下で、人物の顔の特徴量を抽出することを特徴とする。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、再現性の高い登録と認証方法を実現する人物認証装置及び人物認証方法に関する。
【０００２】
【従来の技術】
近年、セキュリティへ技術に関する関心、需要が高まっている。セキュリティを確保するための個人認証方式としてはいくつか方法がある。クレジットカードなどの磁気カードや、ＩＣチップを埋め込んだ接触型ＩＣカードを利用した個人認証方式においては、これらのカードを読み取り装置に通さねばならず、荷物で手がふさがっているような場合には、カードを読み取り装置に通過させる作業が繁雑で、非常に不便であるのが問題である。また、無線を利用した定期券・改札システムなどに代表される非接触型ＩＣカードを利用した個人認証方式においては、接触式ＩＣカードを利用した場合と比較して、人手で読み取り装置を通す必要がないが、接触式と同様に、紛失した場合に、不正に利用される恐れがある。また利用者が常にＩＣカードを携帯携帯していないといけないという不便さがある。
【０００３】
これに対抗して、指紋や虹彩、声、顔など、人間の生体情報（バイオメトリクス）を使った個人認証方式がある。利用者の虹彩の模様を認証装置に予め登録し、認証時に照合を行うもので、指紋の１０倍の認証精度があるとされる高精度な認証方式である。しかし認証制度を確保するため補助光を目に照射することが必要であり、認証装置に利用者の顔を接触させるという方式であるため、利用者に所定の認証作業を強いる、利用者の衛生を確保できない等の問題がある。このため、非常にセキュリティ度の高い、ごく限定されたユーザに対する認証方式として使われている。最近は接触式の認証方式ではなく、カメラで利用者の目の画像を撮像することで、利用者の認証を行なうシステムも存在するが、非接触だと、カメラによる利用者の撮像条件が安定しないため、認証精度が十分ではないという問題がある。
【０００４】
利用者の指紋情報を利用する方式では、読み取り装置に利用者の指を接触させ、指紋を撮像し、特徴点のマッチングで認証を行うことができる。虹彩と同様に、身体の成長や経時変化に強いというメリットがあるものの、利用者の皮膚を検出装置に接触させるための、接触面が人間の手から出る脂肪や汗で汚れ、使っているうちに、精度が落ちるという問題がある。また、利用者の指を検出面に直接接触させるため、衛生面で忌避感を与えるという問題がある。また被認証者の手が乾燥していると、指がうまく接触しないため、きちんと指紋を読み取れないという問題もある。
【０００５】
ユーザの声・発話情報を使った人物認証方式では、利用者の健康状態により認証制度が左右され、風邪や二日酔いなどで声がしゃがれるなど、同一人物でも、声の再現性が低くなる恐れがある。このため、話者認識は認証精度が問題になり、まだ実用レベルに達していない。
【０００６】
これらに比較すると、利用者の顔情報を用いた人物認証方式では、利用者の身体を認証装置に直接接触させる必要がなく、カメラで利用者の顔を撮像し得られた顔画像を解析し、個人を認証すればよいので、他の方式に比較し、ユーザへの負担が少なく、ゲートの開閉などに比較的に簡単に使えるというメリットがある。
（特許文献１、２参照）
ここで顔画像を利用した認証方式の認証精度を向上させるには、ある程度まとまった情報量の顔画像を撮像することが必要であり、ある一定値以上の画素数が必要である。しかし撮影用のカメラの位置と比較して相対的に利用者が身長が高い場合であるとか、利用者の立ち位置がカメラから離れていたりすると、撮像される顔画像が小さく、顔画像の画素数も少なく、一定量の画像情報量を確保できないため、認識精度が劣化するという問題がある。また利用者の立ち位置が変わったり、撮影場所の照明条件が異なったりすると、事前登録時と認証時で撮像条件が大きく変化するため、得られる画像情報に変動が生じ、結果として人物認識が失敗するという問題がある。
【０００７】
さらに顔画像の撮像時に利用者の表情が変われば、得られる顔のパターンは変化する。よって人物認証の精度を向上させるためには、本人の辞書登録時に種々の表情を登録する必要がある。また、せっかく多種の表情を登録時に行ったとしても、登録時に利用者が緊張していたりすると、表情が固まってしまい、期待する多種の表情が登録できず、登録時と認証時との顔の表情が大きく異なってしまい、結果として認識精度が向上しないという問題がある。逆に、辞書登録時に多種の表情を撮影するように利用者の協力を求めると、利用者の反応がオーバーアクションになり、過剰反応を示した際の表情と認証時の表情とが大きく異なってしまうという問題がある。
【０００８】
【特許文献１】
特開平１１−１７５７１８号
【０００９】
【特許文献２】
特開平９−２５１５３４号
【００１０】
【発明が解決しようとする課題】
人物の顔画像を利用した認証方式では、登録時と認証時に、立ち位置や照明条件などの撮像条件を同様にしないと、登録時の画像パターンと認証時の画像パターンとが大きく異なり、本人を本人として認証することができない場合が生ずる。また辞書登録時に利用者が緊張したり、逆にオーバーアクションになったりすると、登録時の表情と認証時の表情とが大きく異なったりするため、これも本人認証に失敗するという問題がある。
【００１１】
本発明においては、利用者の負担を軽減して、認証精度を向上させた人物認証装置及び人物認証方法を提供する。
【００１２】
【課題を解決するための手段】
本発明においては、撮像入力手段から得られた人物の顔領域の画像を抽出する顔領域抽出手段と、前記顔領域抽出手段によって抽出された上記顔領域の画像から顔の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段が抽出した特徴量を、当該人物の特徴量として登録するための辞書登録手段と、前記特徴量抽出手段が抽出した特徴量と前記辞書登録手段により登録された特徴量との類似度をに応じて、当該人物を認証する人物認証装置において、当該人物の動きを誘導する誘導手段を具備し、当該誘導手段により誘導された状況の下で、当該人物の顔の特徴量を抽出することを特徴とする。
【００１３】
また本発明においては、前記顔領域抽出手段により抽出される顔領域の大きさまたは輝度の撮像条件を抽出するための撮像条件抽出手段を具備し、前記誘導手段は、前記撮像条件抽出手段が抽出した撮像条件が所定値内に収まるように、当該人物の動きを誘導することを特徴とする。
【００１４】
また本発明においては、前記誘導手段は、登録時あるいは認証時に当該人物をリラックスさせるためのキャラクタを呈示し、当該人物の動きを誘導することを特徴とする。
【００１５】
また本発明においては、撮像入力手段から得られた人物の顔領域を抽出し、抽出された上記顔領域から顔の特徴量を抽出し、抽出された特徴量と予め登録された当該人物の特徴量との類似度に応じて、当該人物を認証する人物認証方法において、当該人物の動きを誘導することにより、誘導された状況の下で、当該人物の顔の特徴量を抽出することを特徴とする。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。図１は第１の実施例の概略構成を示す図である。
【００１７】
撮像入力手段１は、登録時、認証時に利用者（被認証者）の顔画像を入力するものであり、動画像、静止画像等を取得するためのＣＣＤカメラや、利用者の撮影空間を明るくするための照明具などから構成される。ＣＣＤカメラあるいはＣＭＯＳカメラで撮像されたアナログの画像信号は、画像入力ボードなどのアナログ／デジタル変換手段によりデジタル信号化され、画像メモリに蓄えられる。画像メモリは画像入力ボード上にあってもよいし、情報管理手段９に相当するコンピュータの内部メモリ、外部記憶装置であってもよい。
【００１８】
顔領域抽出手段２は、前記画像メモリに貯えられた被認証者の画像中から、顔画像の領域、あるいは頭部の画像領域を検出するものである。顔領域抽出方法には、いくつかの方法がある。たとえば、撮像した画像がカラー画像である場合には、色情報を用いるものがある。具体的には、撮像されたカラー画像について、Ｒｅｄ（赤）、Ｇｒｅｅｎ（緑）、Ｂｌｕｅ（青）の３つの要素からなるＲＧＢカラー空間から、Ｈｕｅ（色合い、色相）、Ｓａｔｕｒａｔｉｏｎ（彩度）、Ｖａｌｕｅ（明度）の３つの要素からなるＨＳＶカラー空間に変換し、色相、彩度などの色情報を用いて、顔画像の領域や頭髪部を、領域分割によって分割する。分割された部分領域を領域併合法などを用いて、顔領域を検出するものである。
【００１９】
顔領域を求める別の方法としては、あらかじめ用意した顔検出のためのテンプレートを、画像中で移動させ、それぞれの位置における相関値を求める。相関値がもっとも高い領域をテンプレートとの一致度が高い領域として判断して、画像中の顔領域として検出するものである。相関値の代わりに、Ｅｉｇｅｎｆａｃｅ法や部分空間法を用いて、距離や類似度を求め、距離が最小あるいは類似度の最大の部分を抽出する方法もある。あるいは、ＣＣＤカメラとは別に、近赤外光を投射し、その反射光より、対象の顔にあたる領域を切り出す方法もある。本発明では、上記に説明した方法、あるいは他の方法のいずれを適用することも可能である。
【００２０】
顔部品検出手段３は、顔領域の画像から目、鼻、口などの顔部品を検出する。たとえば、顔領域抽出手段２により抽出された顔領域の画像より、目の位置を検出する。検出方法は顔検出と同様にパターンマッチングによるものや、文献（福井和広、山口修「形状抽出とパターン照合の組み合わせによる顔特徴点抽出」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ、　Ｎｏ．８、ｐｐ．２１７０−２１７７（１９９７））などの方法を用いることができる。本実施例では、上記に説明した方法、あるいは、他の方法のいずれを用いるかは問わない。
【００２１】
特徴量抽出手段４は、人物認証のために必要な画像の特徴量を入力画像より抽出するものである。顔領域抽出手段２により抽出された顔領域と顔部品検出手段３により検出された顔部品に基づいて、検出された顔部品の位置と顔領域の位置をもとに、領域を一定の大きさと形状に切り出す。この切り出された画像の濃淡情報を特徴とする。顔部品検出手段３により検出された顔部品のうち少なくとも２つの部品を選択する。この２つの部品を結ぶ線分が、一定の割合で、予め抽出された顔領域の範囲内におさまっていれば、これをｍ（画素）ｘｎ（画素）の領域（ｍ、ｎは１以上の整数）に変換し、正規化パターンとする。
【００２２】
図２は、人物認証装置の顔領域の抽出方法において、顔部品として両目が選択された場合の抽出例を示している。図２（ａ）は撮像入力手段１により撮像された被認証者の顔画像の上に、顔領域抽出手段２により抽出された顔領域の位置を黒い矩形で重ねて表示し、顔部品検出手段３により検出された顔部品（目、鼻孔、口端）の位置を黒い十字線で重ねて示したものである。図２（ｂ）は顔領域の画像を模式的に表わしたものである。このような顔領域の画像について、図２（ｃ）のように、右目と左目を結び、右目から左目までの距離の大きさを有する右目から左目方向のベクトルをＶ１、そのベクトルの中点をＣ、Ｃから二つの鼻孔の中点に向かうベクトルをＶ２と定義する。ベクトルＶ１の中点Ｃからの各部品の距離が一定の割合（例えば、Ｖ１とＶ２の大きさの比が所定の範囲に含まれる等）であれば、その領域を両目、鼻孔を含む顔領域であると判定し、その顔画像から濃淡画素情報を生成し、図２（ｄ）のような、ｍ画素×ｎ画素の濃淡画素行列情報を得る。以降、図２（ｄ）のような濃淡画素行列情報パターンを正規化パターンと呼ぶ。
【００２３】
この正規化パターンは、図３の左図に示すように、ｍ画素×ｎ画素の行列の各要素（画素）の濃淡値が並んでいる。これをベクトル表現に変換すると、図３の右図に示すような（ｍ×ｎ）次元のベクトルで表現される。この特徴ベクトルＮｋ（ｋは同一人物に対して得られた何枚目の正規化パターンであるかを示す）を以後の処理に用いる。
【００２４】
個人認識に使う特徴量は、この特徴ベクトルＮｋの相関行列を求め、ＫＬ展開をすることで得られる正規直交ベクトルのデータ次元数を下げた部分空間である。なお相関行列Ｃは次式であらわされる。
【００２５】
【数１】

【００２６】
ここで、ｒは同一人物に対して取得した正規化パターンの枚数である。このＣを対角化することで、主成分（固有ベクトル）が得られる。固有ベクトルのうち、固有値の大きいものからＭ個を部分空間として用いる。この部分空間を個人認証用の辞書として用いる。
【００２７】
辞書登録手段５は、特徴量抽出手段４が抽出した特徴量を、当該人物のＩＤ番号、部分空間（固有地、固有ベクトル、次元数、サンプルデータ数）などのインデクス情報とともに、登録するものである。
【００２８】
認証手段６は、この辞書に登録されている特徴量と撮像した顔画像から抽出した特徴量とを比較し、これらの類似関係を照合するものである。図４にその処理の流れを示す。本発明の人物認証装置の前に被認証者が現われると認証手続きが開始され（ステップＳ１）、被認証者の画像が撮影され、画像が認証装置に入力される（ステップＳ２）。前述した方法により入力された画像から顔領域を抽出し（ステップＳ３）、その顔領域について人物認証のために必要な画像の特徴量を入力画像より抽出する（ステップＳ４）。こうして認証用に適した所定数（ｎ枚）の正規化パターンが得られるまで、認証データ取得処理が繰り返される（ステップＳ５、Ｓ６）。被認証者の所定数（ｎ枚）の正規化パターンが得られると、予め登録された当該被認証者の辞書顔画像と相互部分空間法によりパターンが照合され（ステップＳ７）、所定の類似度が得られた場合には「本人」であると識別され、所定の類似度が得られない場合には本人ではないと識別される。
【００２９】
ここで類似度は、図５に示すように、特徴量から構成されるＭ次元の部分空間における、距離やベクトルのなす角度により定義される。例えば、図５において「パターン１」として表現される特徴量を有する個人Ａと「パターン２」として表現される特徴量を有する個人Ｂの両者のデータがＮ×Ｎ次元空間に登録されていたとする。ここで認証すべき被験者のデータ（図５における黒い太線のベクトル）が入力されると、被験者のデータを表わすベクトルとパターン１、２でそれぞれ表わされるベクトルとの差の大きさ（距離）や、被験者のデータを表わすベクトルとパターン１、２のそれぞれのベクトルのなす角を求める。被験者のデータを表わすベクトルとパターン１で表わされるベクトルとの距離をｌｅｎ１、パターン２で表わされるベクトルとの距離をｌｅｎ２とし、被験者のデータを表わすベクトルとパターン１で表わされるベクトルとのなす角をθ１、被験者のデータを表わすベクトルとパターン２で表わされるベクトルとのなす角をθ２とする。図５においては、ｌｅｎ１はｌｅｎ２よりも小さく、θ１はθ２よりも小さいことから、被験者と個人Ａと類似度は、被験者と個人Ｂとの類似度よりも大きいことが分かる。このように被験者の特徴量と個人Ａ、Ｂの特徴量とを比較して、被験者の特徴ベクトルと既登録者（個人Ａ、Ｂ）の特徴ベクトルとの距離やなす角度の小さいほうが、個人に対する類似度が高く、その個人と同一人物であるとして、照合結果が出力される。
【００３０】
ところで、被認証者の顔画像を予め辞書登録するときには、その被認証者が自己のＩＤ番号を入力したりする場合が多く、被認証者は撮像入力手段１に比較的近い位置、場所で、顔を撮像し、撮影された画像を登録したりする。これに対し、個人の認証時には、ＩＤ番号の入力が不要であったりすると、被認証者は人物認証装置にそれほど近寄らない位置、場所でも認証処理が可能となる。このように、画像登録時と認証時とで被認証者の撮像条件が大きく異なると、同一人物であっても、認証手段６とで用いる顔の特徴量と、辞書登録手段５で用いる顔の特徴量が大きく異なってしまい、本人として認識されないという事態が発生する恐れがある。
【００３１】
すなわち登録時と認証時とで被認証者の立ち位置が大きく変わると、撮像される人物の画像の大きさ、画像に含まれる人物の顔領域の大きさが異なる。具体的には、登録時に撮像手段の近くで撮像された画像は顔領域が大きく撮像されるのに対し、認証時に撮像手段から離れて撮像された画像では顔領域が比較的小さく撮像される。これを防ぐには、抽出した顔領域の大きさがある一定の範囲に収まるようにすればよい。
【００３２】
また、窓から差し込む外光も、一日を通じて時間帯（例えば、朝、昼、夕など）が異なると、その照射状況は大きく異なる。季節によっても外光の差し込み方は大きく変化する。外光があまり差し込み過ぎると、そこで撮像された顔画像はハレーションを起こし、撮像された画像は白っぽくなってしまい、顔領域を切り出すことができない。これを防ぐには、抽出した顔画像の輝度の平均値がある一定の範囲に収まるようにすればよい。
【００３３】
以上のような問題を防ぐためには、撮像条件抽出手段８と誘導手段７を設けることが有用である。撮像条件抽出手段８は、登録時と認証時で、立ち位置などの撮像条件を抽出するものであって、顔領域抽出手段２が抽出した顔領域の大きさや輝度の平均値が一定値に収まっているかどうかを判定する機能を有する。また誘導手段７はこの撮像条件抽出手段８の、抽出した撮像条件に応じて、辞書登録時と認証時に、同様の撮像条件になるように、被認証者を誘導をするものである。
【００３４】
図６は、被認証者が正面に設置された人物認証装置に接近する態様で人物認証を行う場合の、被認証者の顔画像の辞書登録時のインタフェースの一例である。撮像条件抽出手段８は、図６（ａ）に示すように、被認証者が人物認証装置に接近すると、モニターに被認証者の画像が表示され、画像入力手段から入力された人物画像から抽出される顔領域の大きさや顔領域に含まれる各画素の輝度を計算する。抽出された顔領域の大きさが所定の大きさよりも大きくなった場合や、各画素の輝度値の値が所定のしきい値よりも大きくなった場合には、被認証者が撮像可能領域に入ったとして、図６（ｂ）に示すように、顔領域の周辺に楕円記号を重ねて表示すると同時に、例えば「ピッ」というような発信音で登録が始まったことを被認証者に通知する。この際、この人物を登録するためのＩＤ番号などは、テンキーなどの番号入力手段等を用いて、登録に先立って入力される。ここで被認証者に対する「登録開始」などのメッセージは、被認証者が顔を上げて、前髪がおでこにかからないような姿勢で顔画像を撮影することができるように画面の上方部分に提示される（図６（ｂ）（ｃ）参照）。
【００３５】
辞書登録に必要な所定枚の画像が取得されると、「ピピッ」という登録完了を知らせる発信音と共に、図６（ｃ）に示すように、登録が終了を知らせるメッセージが表示される。この時点で、所定枚数の入力画像から正規化パターンが抽出され、Ｎ次元の特徴ベクトルが生成され、部分空間が算出されて、辞書登録手段５が辞書に登録する。
【００３６】
また人物認証時には、図７に示すように、撮像条件抽出手段８が被認証者の顔画像取得状況を監視しながら、認証手続きを進める。図７（ａ）に示すように、被認証者が人物認証装置に接近すると、登録時と同様の動作で、被認証者の顔画像の取得状況を監視（顔領域の大きさ、各画素の輝度値をチェックする等）して、被認証者の位置、姿勢等の条件が撮像に適合したか否かを判定する。被認証者が顔画像撮像可能位置に近づくまで、人物認証手続は開始されない。被認証者が認証用画像の撮像可能位置まで近づくと、「ピッ」という発信音と「認証を開始しました」というメッセージ表示と共に、モニター画面の被認証者の顔画像にだ円記号を重ねて表示して、認証手続きを開始する。所定数の認証用画像を取得すると「ピピッ」という発信音で認証手続き完了を通知すると共に、モニター画面に認証結果のメッセージを表示する。
【００３７】
以上の辞書登録、人物認証手続きのフローチャートを図１３に示す。入力された被認証者の人物画像は（ステップＳ１１）、色情報、テンプレート等を利用して顔領域を抽出する（ステップＳ１２）。登録時には、所定の大きさ以上の画像サイズの顔領域の画像が抽出され（ステップＳ１３）、その顔領域の画像の平均輝度値が所定の値以上である場合には（ステップＳ１４）、所定数の正規化パターンを収集できるまで被認証者の正規化パターンを抽出する（ステップＳ１５〜Ｓ１８）。また認証時にも同様の手続により所定の正規化パターンを取得する。その後収集された正規化パターンと登録済みの正規化パターンとの類似度を判定することにより人物認証手続が完了する（ステップＳ２０）。
【００３８】
なお以上の登録、認証手続きにおいては、一旦、登録、認証手続きを開始した後に、被認証者が撮像装置から離れたり、被認証者の体勢が崩れたりして、被認証者の撮像可能領域から外れる場合には、画像取得を中止する。この場合には、登録、認証用の正規化パターンは計算されない。その後、再度被認証者の顔画像の取得条件が満たされて、顔領域の画像を取得可能となった場合には、所定数の正規化パターンを生成できるまで、登録、認証処理が繰り返される。
【００３９】
また以上の実施形態においては、被認証者の顔が取得画像のほぼ中央に位置するように撮像手段を設置することにより、被認証者が人物認証装置の正面に位置し、これに接近する場合を想定している。しかし、人物認証装置の撮像手段が出入り口の横の壁に設置されるときなどは、被認証者が撮像手段を斜めの位置から覗き込み形で顔画像が取得されるので、被認証者の立ち位置が撮像装置の前後方向だけでなく、左右方向に大きくずれる可能性がある。このような環境で被認証者の撮像条件を一致させるために、取得画像の中央位置に顔画像が位置するときだけ正規化パターンを抽出できるようにしたのが、図８と図９はである。
【００４０】
図８（ａ）ではモニター画面に被認証者の顔画像を捉えると、「ピッ」という発信音で登録手続き開始を通知し、登録開始を知らせるメッセージをモニターに表示するする共に、撮像手段により撮像された被認証者の顔画像をモニターに表示し、顔画像が画面中央にくるように、被認証者の位置、姿勢を誘導するメッセージ、格子記号を表示する。被認証者の顔画像が画面中央に捉えられると、顔画像の取得、特徴量の抽出、認証用画像の登録を開始する。所定数のデータを取得すると、発信音と共に登録完了を通知するメッセージを表示する（図８（ｂ）参照）。
【００４１】
人物認証時も登録時と同様に、被認証者が人物認証装置に接近すると、被認証者の顔画像が撮像された画像の中央に来るように被認証者の位置、姿勢を誘導する（図９（ａ）参照）。被認証者の顔画像を画像中央に捉えられると、認証用画像が取得され、認証手続きが開始される。登録データとの類似度が判定されると、音声による通知、認証結果の表示と共に認証手続きを終了する（図９（ｂ）参照）。
【００４２】
次に、本発明の第２実施形態について説明する。
【００４３】
第１の実施形態では、辞書登録時または人物認証時に撮像される被認証者の顔画像をモニターに表示し、その表示内容を元に被認証者を誘導していた。しかし、実際には撮像された自分の顔がモニターに表示されると、緊張してしまうユーザが多い。特に辞書登録時には緊張することが多いため、人物認証時と顔の表情が辞書登録時の顔の表情が違ってしまうことにより、認証に失敗することがある。また顔の表情が大きく変わると、見かけ上の口や目の位置が変化するために特徴ベクトルが変化し、同様に認証に失敗するケースがある。一方、被認証者のヘアスタイルや照明の影響で顔に影ができる場合があり、照明や影の影響で得られる画像の画素値が大きく変わるため、認証精度が劣化する原因となっていた。
【００４４】
このような問題に対応するため、登録時、認証時に被認証者の顔を動かしながら登録あるいは認証することで、認証精度を大きく向上させることができる。第２の実施形態はこのような問題に対処するための発明である。具体的には、誘導手段７は被認証者の顔画像をモニターに表示するではなく、キャラクタを表示し、被認証者を誘導する。
【００４５】
図１０は、辞書登録時の誘導手段７の誘導手順を説明するための図である。（ａ）では、「ピッ」という発信音と共に辞書登録手続が開始すると、登録を開始するメッセージ共に、被認証者の顔の動きを誘導するためのメッセージ、キャラクタをモニターに表示させる。具体的にはモニターの表示領域の周囲を時計回りに一周するようにキャラクタを移動させながら表示させる。被認証者はキャラクタの動きを追うように顔を移動させる（（ｂ）〜（ｄ））。この間、人物認証装置は上下左右に顔向きの異なる被認証者の顔画像を撮像し、特徴量を抽出し、正規化パターンを生成する。辞書登録用の所定数の正規化パターンの生成が完了すると「登録完了」のメッセージ、キャラクタ表示と共に、登録手続を終了する。
【００４６】
この実施形態においても、撮像条件抽出手段８が顔領域の大きさや輝度平均により撮像可能領域を算出することは第１の実施形態と同様である。すなわち撮像可能領域に被認証者が接近すると、撮像可能領域を算出し、顔画像の撮像が可能であると判断されると、人物の顔画像や楕円形状がモニターに表示される代わりに、ＣＧ：コンピュータグラフィクスなどで作られたキャラクタが表示される。ここでキャラクタは、画面周辺を一周するように表示させるだけではなく、ｒ枚の正規化パターンが取得できるまで、画面の中を動きまわるように表示させてもよい。この場合に、キャラクタの動きを目だけでなく、顔全体で追うようにしてもらうことで、照明変動に対して、万遍ない向きでの顔画像を取得できる。さらに登録手続完了時にキャラクタがお辞儀をするように表示することにより、被認証者の緊張感を和らげ、比較的リラックスした状態で被認証者の顔画像データを取得できるようにする。
【００４７】
図１１は、人物認証時の誘導手段の誘導手順を説明するための図である。基本手順は辞書登録時の動作と同様であり、（ａ）人物認証手続が開始すると、キャラクタがモニターの周囲を一回りするように移動しながら、被認証者の顔の動きを誘導する（（ｂ）〜（ｄ））。所定数の正規化パターンを取得し、認証が完了すると「認証完了」のメッセージ、キャラクタを表示する（（ｅ））。
【００４８】
人物認証時には、認証が終了した時点で、被認証者がそのドアを一日何回通過したかの回数を提示することにより、被認証者の興味を持たせる情報を提示することができる。被認証者の関心を引く情報を提示することにより、被認証者の顔を認証装置に接近させ、更に認証精度を高めることができる。あるいは図１２（ａ）〜（ｅ）に示すように、モニターに表示させるキャラクタを複数用意しておき、日替わり、あるいはランダムに用いることで、被認証者の興味をひくことができる。また図１２（ｅ）に示したように、認証時の類似度を用いた占い（類似度が高いほど良い占い結果が得られる等）を表示するなどして、被認証者の関心を引きつけるように構成することも可能である。このように構成することで、被認証者は認証装置に接近した位置に立ち、モニター画面を覗き込むように顔を近づけるようになるので、登録時、認証時の撮像条件が安定し、所定枚の正規化パターンの取得が容易になり、認証精度を向上することができる。
【００４９】
【発明の効果】
本発明によれば、ユーザに負担をかけることなく、登録時と認証時に撮像条件を安定化できるので、認識精度を簡単に向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態の概略構成図
【図２】同実施形態における顔領域抽出の説明図
【図３】同実施形態における正規化パターンと特徴ベクトルの説明図
【図４】同実施形態における認識の流れ図
【図５】同実施形態における類似度の説明図
【図６】同実施形態における登録時のインタフェース例
【図７】同実施形態における認証時のインタフェース例
【図８】同実施形態における別の登録時のインタフェース例
【図９】同実施形態における別の認証時のインタフェース例
【図１０】第２の実施形態における登録時のインタフェース例
【図１１】同実施形態における認証時のインタフェース例
【図１２】同実施形態における別の認証時のインタフェース例
【図１３】第１および第２の実施形態における撮像条件抽出手段と誘導手段の処理の流れ図
【符号の説明】
１…撮像入力手段
２…顔領域抽出手段
３…顔部品検出手段
４…特徴量抽出手段
５…辞書登録手段
６…認証手段
７…誘導手段
８…撮像条件抽出手段
９…情報管理手段

Claims

撮像入力手段から得られた人物の顔領域の画像を抽出する顔領域抽出手段と、前記顔領域抽出手段によって抽出された上記顔領域の画像から顔の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段が抽出した特徴量を当該人物の特徴量として登録するための辞書登録手段と、前記特徴量抽出手段が抽出した特徴量と前記辞書登録手段により登録された特徴量との類似度に応じて当該人物を認証する人物認証装置において、当該人物の動きを誘導する誘導手段を具備し、当該誘導手段により誘導された状況の下で当該人物の顔の特徴量を抽出することを特徴とする人物認証装置。
前記顔領域抽出手段により抽出される顔領域の大きさまたは輝度の撮像条件を抽出するための撮像条件抽出手段を具備し、前記誘導手段は、前記撮像条件抽出手段が抽出した撮像条件が所定値内に収まるように、当該人物の動きを誘導することを特徴とする請求項１記載の人物認証装置。
前記誘導手段は、登録時あるいは認証時に当該人物をリラックスさせるためのキャラクタを呈示し、当該人物の動きを誘導することを特徴とする請求項１記載の人物認証装置。
撮像入力手段から得られた人物の顔領域を抽出し、抽出された上記顔領域から顔の特徴量を抽出し、抽出された特徴量と予め登録された当該人物の特徴量との類似度をに応じて、当該人物を認証する人物認証方法において、当該人物の動きを誘導することにより、誘導された状況の下で当該人物の顔の特徴量を抽出することを特徴とする人物認証方法。