JP2009064140A - 個人認証装置及び個人認証管理システム - Google Patents

Abstract

【課題】照合用の記憶データの誤った更新を防止して個人認証装置の認証精度を高める。
【解決手段】本発明の個人認証装置１は、特定の人物の顔の特徴を表す第１の顔特徴情報とＩＤ及びパスワードとを予め関連付けて記憶する顔情報記憶部７と、認証対象者３ａ、３ｂ…３ｎの顔の画像を撮像するカメラ５と、撮像された顔画像に基づいて、認証対象者の顔の特徴を表す第２の顔特徴情報を生成する顔特徴量抽出部と、第１及び第２の顔特徴情報を照合して認証対象者の顔認証を行う照合処理部と、顔認証の結果が否認となった場合、撮像された認証対象者の顔画像を含むＩＤ・パスワード入力要請画面を表示する表示・操作部２と、入力されたＩＤ及びパスワードが顔情報記憶部７に記憶されている場合、当該ＩＤ及びパスワードと関連付けられた第１の顔特徴情報を、表示された認証対象者の顔画像に対応する第２の顔特徴情報に基づき更新するデータ更新部とを備える。
【選択図】図１

Description

本発明は、顔認識技術を用いて個人を認証する個人認証装置及び個人認証管理システムに関する。

本人の認証に顔認識技術を利用する個人認証装置の一つとして、顔認証時の認証精度を高めるために、照合用の辞書内の顔データの更新機能（学習機能）を備えた装置が知られている（例えば、特許文献１参照）。

すなわち、この文献の装置は、顔認証が失敗した場合に認証対象者にＩＤ番号などを入力させ、この入力させたＩＤ番号に対応する予め辞書に登録された顔データと、照合時にカメラで撮影した認証対象者の顔画像との類似度を比較し、この類似度が一定値を超えた場合に撮影した顔画像を基に辞書内の顔データを更新するように構成されている。

また、この種の個人認証装置は、セキュリティを必要とする特定領域内に対しての出入りを規制する入退室管理システムなどとしても利用されている。この入退室管理に用いられる個人認証装置では、例えば特定領域内への入口に向かって移動する移動中の認証対象者に対し顔認証を行う仕様の装置なども開発されている。
特開２００４−１２６８１３号公報

しかしながら、認証対象者の移動中に顔認証を行う機能とＩＤ番号などの入力操作を行って顔データを更新する機能とを共に備える個人認証装置の場合、次のような課題を抱えている。この課題とは、顔認証に失敗した認証対象者がＩＤ番号などを入力しようとしているタイミングで、次の認証対象者がカメラの手前に到達し顔画像の撮影と共に顔認証が開始されることである。

すなわち、２番目の認証対象者の顔認証後、１番目の認証対象者によりＩＤ番号が入力されこれに伴い辞書内の顔データが更新された場合には、２番目の認証対象者の顔画像に基づいて辞書内の１番目の認証対象者の顔データが誤って更新されてしまうことになる。本来、上述した個人認証装置では、認証精度の向上を図るために辞書内の顔データの更新（学習）機能が付与されているものの、上記の場合、他人の顔画像に基づき辞書内の顔データが更新されるので、結果的に認証精度の低下を招くことになる。

そこで本発明は、上記課題を解決するためになされたもので、照合用の記憶データの誤った更新を防止しつつ認証精度の向上を図ることができる個人認証装置及び個人認証管理システムの提供を目的とする。

上記目的を達成するために、本発明に係る個人認証装置は、特定の人物の顔の特徴を表す第１の顔特徴情報と前記特定の人物に与えられた個人識別情報とを予め関連付けて記憶する記憶部と、認証対象者の顔の画像を撮像する撮像部と、前記撮像部により撮像された前記顔の画像に基づいて、前記認証対象者の顔の特徴を表す第２の顔特徴情報を生成する顔特徴情報生成部と、前記記憶部に記憶された第１の顔特徴情報と前記顔特徴情報生成部により生成された第２の顔特徴情報とを照合して認証対象者の顔認証を行う顔認証部と、前記顔認証部による認証結果が否認となった場合、前記撮像部により撮像された認証対象者の顔の画像と個人識別情報の入力を要請する入力要請案内とを表示する表示部と、前記表示部に表示される前記入力要請案内に従った個人識別情報の入力を受け付ける入力受付部と、前記入力受付部で入力を受け付けた個人識別情報が前記記憶部に記憶されている場合、当該個人識別情報と関連付けられている第１の顔特徴情報を、前記表示部に表示された認証対象者の顔の画像に対応する第２の顔特徴情報に基づき更新するデータ更新部と、を具備することを特徴とする。

本発明では、顔認証が否認された場合に認証対象者の顔の画像を表示させることができ、さらに、この表示させた顔の画像を確認しつつ個人識別情報の入力を行うことができる。つまり、本発明では、顔認証が得られなかった認証対象者本人の顔画像を自身が視覚的に把握した上で、当該入力した個人識別情報と記憶部内で関連付けられている第１の顔特徴情報を、可視表示されている認証対象者の顔の画像に対応した第２の顔特徴情報に基づいて、正しく更新させることができる。したがって、本発明によれば、照合用の記憶データの誤った更新を防止しつつ認証精度を高めることができる。

また、本発明に係る個人認証管理システムは、ネットワークを介して互いに接続された個人認証装置と管理サーバとを備える個人認証管理システムであって、前記個人認証装置が、認証対象者の顔の画像を撮像する撮像部と、特定の人物の顔の特徴を表す第１の顔特徴情報との照合用の情報として、前記撮像部により撮像された前記顔の画像に基づいて前記認証対象者の顔の特徴を表す第２の顔特徴情報を生成する顔特徴情報生成部と、前記顔特徴情報生成部により生成された第２の顔特徴情報を送信する第１の送信部と、顔認証の結果を示す情報を受信する第１の受信部と、前記第１の受信部により顔認証の結果として否認を示す情報が受信された場合、前記撮像部により撮像された認証対象者の顔の画像と個人識別情報の入力を要請する入力要請案内とを表示する表示部と、前記表示部に表示される前記入力要請案内に従った個人識別情報の入力を受け付ける入力受付部と、前記入力受付部で入力を受け付けた個人識別情報と前記顔特徴情報生成部により生成されかつ前記表示部に表示されている認証対象者の顔の画像に対応した第２の顔特徴情報とを新たに送信する第２の送信部と、を備え、さらに、前記管理サーバが、前記特定の人物に与えられた個人識別情報と前記第１の顔特徴情報とを予め関連付けて記憶する記憶部と、前記第１の送信部により前記個人認証装置側から送信されてきた第２の顔特徴情報を受信する第２の受信部と、前記記憶部に記憶された第１の顔特徴情報と前記第２の受信部により受信された第２の顔特徴情報とを照合して認証対象者の顔認証を行う顔認証部と、前記顔認証部による顔認証の結果を前記個人認証装置の備える前記第１の受信部へ送信する第３の送信部と、前記個人認証装置の備える前記第２の送信部により送信された個人識別情報と第２の顔特徴情報とを受信する第３の受信部と、前記第３の受信部により受信された個人識別情報が前記記憶部内に記憶されている場合、当該個人識別情報と関連付けられている前記記憶部内の第１の顔特徴情報を、前記第３の受信部により受信された第２の顔特徴情報に基づき更新するデータ更新部と、を具備することを特徴とする。

本発明によれば、照合用の記憶データの誤った更新を防止しつつ認証精度の向上を図ることが可能な個人認証装置及び個人認証管理システムを提供することができる。

以下、本発明を実施するための最良の形態を図面に基づき説明する。
［第１の実施の形態］
図１は、本発明の第１の実施形態に係る個人認証装置１の構成を示す機能ブロック図であり、また、図２は、この個人認証装置１に設けられた顔検出・照合部６の構成を詳細に示す機能ブロック図である。さらに、図３は、顔検出・照合部６が備える画像選択部１７の処理（処理内容）を模式的に示す図であり、図４は、個人認証装置１に設けられた表示・操作部２に表示されるＩＤ・パスワード入力要請画面３０を示す図である。

この実施形態の個人認証装置１は、セキュリティを要する特定の領域に対しての人物の出入りを規制する入退出管理システムとして機能するものである。具体的には、この個人認証装置１は、特定領域内への入口に接近する例えば歩行中（移動中）の人物の顔の画像（少なくとも顔を含む画像）を取得し、これを基に本人認証を行う。すなわち、個人認証装置１は、図１に示すように、表示・操作部２、撮像部としてのカメラ５、顔認証部としての機能を持つ顔検出・照合部６、顔情報記憶部７、開閉機構制御部であるドア制御部８、ドア９に設けられた入口開閉機構９ａを備える。

図１に示すように、カメラ５は、特定の領域内に入るためのドア（入口）９に向かって歩行する歩行中の認証対象者（被認証者）３ａ、３ｂ…３ｎの顔の画像を撮像する。このカメラ５は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどを搭載する例えば産業用カラーカメラ（ビデオカメラ）などで構成されている。なお、カメラ５は、モノクロ画像を撮像するものであってもよい。

ここで、上述した特定の領域とは、セキュリティを要する工場内、倉庫内、一般住居の家屋内、オフィスビルの室内などである。また、上記したドア９は、このような特定領域内への入口に設けられたゲートなどであってもよい。さらに、カメラ５の近傍には、この入口に接近する認証対象者の顔を照明するための照明装置などが設けられている。

図１に示すように、表示・操作部２は、情報を可視的に表示させる表示部としての機能と情報の入力操作を行える入力操作部としての機能とを併せ持つ例えば液晶タッチパネルなどで構成されている。つまり、この表示・操作部２は、ドア９の近傍に設置され、いわゆる対話形式で、認証対象者３ａ、３ｂ…３ｎ側からの情報の入力操作を行えると共に、認証対象者３ａ、３ｂ…３ｎ側に対し入力操作を促す案内情報（ガイダンス情報）などを表示する。より具体的には、表示・操作部２は、図４に示すように、個人識別情報としてのＩＤ（ＩＤ番号）及びパスワードの入力操作を促すＩＤ・パスワード入力要請画面３０などを表示する。

顔検出・照合部６は、図１及び図２に示すように、入力受付部１１、データ更新部１２、表示制御部１５、照合処理部１６、画像選択部１７、顔特徴量抽出部１８、ワークメモリ１９、顔検出処理部２０、画像入力部２１、画像メモリ２２、及び各部を統括的に制御するコントローラ１０から構成される。

入力受付部１１は、認証対象者により表示・操作部２を通じて入力操作された例えばＩＤやパスワードなどの個人識別情報の入力を受け付け、入力を受け付けた情報をコントローラ１０に通知する。

表示制御部１５は、液晶タッチパネルなどで構成された表示・操作部２の表示画面を制御するものであり、上述したＩＤ・パスワード入力要請画面３０を含む各種の案内情報（ガイダンス情報）を表示・操作部２に表示させる。

画像入力部２１は、カメラ５により撮影された認証対象者の３ａ、３ｂ…３ｎの顔の画像（顔の動画像）としてのアナログのビデオ信号をディジタルデータにＡ／Ｄ変換して、画像メモリ２２に伝送する。具体的には、画像入力部２１は、認証対象者の顔がカメラ５の画角に入っている短い期間に極力多くの画像情報を取り込めるように例えば１秒間に１０フレームの画像を取得する。画像メモリ２２は、このような画像入力部２１により取り込まれた画像を一次記憶（バッファリング）する。

顔検出処理部２０は、画像メモリ２２にバッファリングされた画像を基に顔領域の検出処理（顔領域の切り出し処理）を行う。つまり、この顔検出処理部２０は、例えば人物が存在しない場合の画像を背景画像として予め保持しており、この背景画像と画像メモリ２２にバッファリングされた入力画像（画像フレーム）との差分から変化のある領域を変化領域として検出する。次に、顔検出処理部２０は、検出されたこの変化領域の大きさや縦横比などから人物らしいと判定される領域を人物領域（人物の存在する画像領域）として検出する。

ここで、顔検出処理部２０は、同一人物の画像追跡機能を有しており、画像メモリ２２内に連続的に取り込まれる複数の画像フレームにおいて、あるタイミングで取り込んだ所定の画像フレームから検出された人物領域と、次のタイミングで取り込んだ画像フレームから検出された人物領域と、を比較し、その結果に応じて人物領域どうしの対応付け処理を行う。すなわち、顔検出処理部２０は、所定の画像フレームと次の画像フレームとで各々検出された個々の人物領域の大きさの関係と位置関係とが近似するもの（しきい値内に収まっているもの）どうしを、同一人物（同一の認証対象者）のものであると推定する。

また、顔検出処理部２０は、前後の画像フレームでそれぞれ検出された各人物領域の大きさの関係と位置関係とが近似していないもの（しきい値内に収まっていないもの）を、他の人物の人物領域であると推定する。このようにして、認証対象者３ａ、３ｂ…３ｎごとに同一人物の人物領域どうしをそれぞれ対応付けたかたちでグループ分けした画像情報をワークメモリ１９内に（一次）記憶する。

さらに、顔検出処理部２０は、例えば、平均的な顔の検出用パターンを表す幾つかのテンプレートを、ワークメモリ１９内に記憶された個々の人物領域全体にわたってそれぞれ移動させながら、重ね合わせた画像部分どうしの類似度を求めて行き、この類似度がしきい値より高い領域を顔領域として抽出する。ここで、顔検出処理部２０は、このようにして抽出された顔領域の画像に対して上記グループ分けした人物領域どうしの対応関係を反映させると共に正規化（矩形画像としての切り出し及び一定の画像サイズへの加工）などを行う。さらに、顔検出処理部２０は、この正規化された個々の顔領域の画像を、図３に示すように、同一の人物（認証対象者３ａ、３ｂ…３ｎ）ごとにグループ分けしたグループ分類顔画像２５ａ、２５ｂ…２５ｎとしてワークメモリ１９内に一次記憶する。

顔特徴量抽出部１８は、顔検出処理部２０により検出された図３に示すグループ分類顔画像２５ａ、２５ｂ…２５ｎから、認証対象者３ａ、３ｂ…３ｎの顔の特徴を表す第２の顔特徴情報を顔の特徴パターンとして抽出（顔の特徴量を算出）する。つまり例えば、顔特徴量抽出部１８は、同一人物ごとに複数枚ずつ得られた個々のグループ分類顔画像２５ａ、２５ｂ…２５ｎ各々から、四つの円形領域とみなせる瞳の黒目部分及び鼻孔（さらに加えて例えば唇の端点など）の位置座標を顔器官の特徴点として検出する。

さらに、顔特徴量抽出部１８は、同一人物ごとに画像系列を分類したグループ分類顔画像２５ａ、２５ｂ…２５ｎ、すなわち、同一人物における一連の連続画像から得た各特徴点に基づいて主成分分析などの統計的処理を行うことで、人物ごとに固有でかつその人物の顔を特定（識別）可能な顔の特徴量を算出（顔の特徴パターンを生成）する。さらに、顔特徴量抽出部１８は、このようにして求めた認証対象者３ａ、３ｂ…３ｎの顔の特徴を表す第２の顔特徴情報をワークメモリ１９内に記憶する。したがって、このような顔特徴量抽出部１８は、上述した画像入力部２１、画像メモリ２２、ワークメモリ１９、及び顔検出処理部２０と協働しつつ顔特徴情報生成部として機能する。

ここで、顔情報記憶部７について説明する。顔情報記憶部７は、上記第２の顔特徴情報との比較照合用の情報でありかつ複数の特定の人物の顔の特徴をそれぞれ表す第１の顔特徴情報と、前記の特定の人物ごとに各々与えられた個人識別情報としての上記ＩＤ及びパスワードと、を予め関連付けて記憶する（を予め対応付けたかたちで登録している）顔照合用の辞書である。

ここで、上記特定の人物とは、個人認証装置１の管理者により、ドア９の先の特定領域内に対しての出入りを許可された全ての人物である。さらに、上記のＩＤ及びパスワードは、上述した特定の領域内に対しての出入りを許可された全ての人物各々に、個人認証装置１の管理者により予め与えられている。また、このような特定の人物の顔の特徴を表す第１の顔特徴情報は、前述したカメラ５及び表示・操作部２、並びに顔検出・照合部６の顔検出処理部２０や顔特徴量抽出部１８などが持つ機能を通じて顔情報記憶部７内に予め登録される。

照合処理部１６は、顔認証部として機能する処理部であって、顔情報記憶部７内に予め記憶（登録）された第１の顔特徴情報と、顔特徴量抽出部１８が主に顔検出処理部２０などと協働しつつ生成した第２の顔特徴情報と、を比較照合して認証対象者３ａ、３ｂ…３ｎの顔認証を行う。具体的には、照合処理部１６は、いわゆる１：Ｎの顔認証を行うものであり、カメラ５による撮影画像を基に得られた第２の顔特徴情報と、顔情報記憶部７内に予め記憶された複数の特定の人物に対応する全ての第１の顔特徴情報（総数はＮ）と、の総当りで照合処理を行う。

さらに、照合処理部１６は、この照合処理の結果、第２の顔特徴情報との類似度（照合度）が最大値となった第１の顔特徴情報を求めると共に、求めたこの第１の顔特徴情報と第２の顔特徴情報との類似度が、所定のしきい値以上になった場合、顔認証が得られた（照合成功）と判定する。これ以外の場合（類似度がしきい値未満の場合）、照合処理部１６は、顔認証が得られなかった（照合失敗）と判定する。

ここで、本実施形態の個人認証装置１では、その仕様上、特定の領域内への入口（ドア９）に向かって順次進行（接近）する１番目の認証対象者３ａ、２番目の認証対象者３ｂ、ｎ番目の認証対象者３ｎが、カメラ５に順次捕捉され、さらに、顔検出処理部２０及び顔特徴量抽出部１８を通じてこれら認証対象者の第２の顔特徴情報が順次生成される度に、照合処理部１６は、顔認証（顔照合）を行い承認／否認を連続的に判定する。

なお、このような顔認証の承認及び否認を判定する上記しきい値は、例えば照合処理の前にワークメモリ１９内に予め設定される。また、照合処理部１６は、照合処理の後、例えば顔認証（承認）の得られた認証対象者に対応するグループ分類顔画像及び第２の顔特徴情報それぞれをワークメモリ１９内から消去する。

次に、顔検出・照合部６が備える表示制御部１５、画像選択部１７、入力受付部及びデータ更新部１２、並びに表示・操作部２及びコントローラ１０の構成の説明と共に、本実施形態の個人認証装置１が有する顔情報記憶部７の更新機能（学習機能）についての説明を行う。

すなわち、図２に示すように、照合処理部１６により認証対象者の顔認証が得られなかった（コントローラ１０が顔認証の否認を検出した）場合、表示制御部１５に表示制御される表示・操作部２は、カメラ５で撮像された認証対象者の顔の画像とＩＤ及びパスワードの入力を要請する入力要請案内とを表示する。より詳細には、顔認証が否認となった場合、表示・操作部２は、図４に示すように、カメラ５により撮像されかつ顔認証が否認となった認証対象者の顔の画像（後述する更新確認用顔画像２７）を含むＩＤ・パスワード入力要請画面３０を表示する。

画像選択部１７は、顔認証が否認となった場合、図３に示すように、ワークメモリ１９内に一次記憶された同一人物（顔認証が否認となった認証対象者３ａ、３ｂ…３ｎ）ごとに複数枚ずつあるグループ分類顔画像２５ａ、２５ｂ…２５ｎの中から、同一人物ごとに一枚ずつの代表顔画像２６ａ、２６ｂ…２６ｎを選択する。また、画像選択部１７は、ワークメモリ１９内に既に記憶されている前記した第２の顔特徴情報と、この第２の顔特徴情報に対応する認証対象者から得た代表顔画像と、を互いに関連付けるかたちでワークメモリ１９内の情報を更新する。ここで、画像選択部１７による代表顔画像２６ａ、２６ｂ…２６ｎの選択は、同一人物単位の複数のグループ分類顔画像のうちで、例えば顔特徴量抽出部１８が瞳及び鼻孔の位置を最も容易に（最短時間で）検出できた画像（つまり例えば顔がより鮮明に表れている画像）を選び出すことなどで実現される。

また、画像選択部１７は、顔認証が否認となった同一人物（グループ）ごとに一枚ずつ選択された複数の代表顔画像２６ａ、２６ｂ…２６ｎの中から、いずれか一人の認証対象者の顔に対応する更新確認用顔画像２７をさらに選出（選択）する。ここで、２人以上の複数の認証対象者の顔認証が否認となって、これにより二つ以上の代表顔画像がワークメモリ１９内に存在する場合、画像選択部１７は、例えば最新の時刻（現在の時刻に最も近いタイミング）で顔認証が否認となった認証対象者に対応する代表顔画像を、更新確認用顔画像２７として選出する。このようにして、画像選択部１７により選出された更新確認用顔画像２７は、ＩＤ・パスワード入力要請画面３０内に表示される。

次に、ＩＤ・パスワード入力要請画面３０について説明する。タッチパネルなどを適用した表示・操作部２上に実現されるＩＤ・パスワード入力要請画面３０は、図４に示すように、ＩＤ入力部３５、パスワード入力部３６、入力要請メッセージ表示部３４、撮影画像表示部３９、画像送りボタン３３、画像戻しボタン３２、キャンセルキーを含むテンキー部３７、確定ボタン３８で構成される。入力要請メッセージ表示部３４には、入力要請案内として「ＩＤ・パスワードを入力して下さい」といった入力要請メッセージが表示される。

ＩＤ入力部３５及びパスワード入力部３６は、認証対象者３ａ、３ｂ…３ｎがテンキー部３７を通じてＩＤ及びパスワードをそれぞれ入力するための入力部である。確定ボタン３８は、ＩＤ入力部３５及びパスワード入力部３６に入力された入力内容を確定させるための入力キーである。ここで、上記した入力受付部１１は、入力要請メッセージ表示部３４に表示される入力要請案内（入力要請メッセージ）に従ったＩＤ及びパスワードの入力を受け付ける。つまり、確定ボタン３８を押して確定させた入力内容は、入力受付部１１により受け付けられてコントローラ１０へ通知される。

撮影画像表示部３９には、画像選択部１７により選出された更新確認用顔画像２７が表示される。２人以上の複数の認証対象者の顔認証が否認となって二つ以上の代表顔画像がワークメモリ１９内に存在する場合、画像送りボタン３３は、自身が押される入力操作を入力受付部１１が受け付ける度に、画像選択部１７に選出させるべき代表顔画像を順送りし、一方、画像戻しボタン３２は、自身が押される入力操作を入力受付部１１が受け付ける度に、画像選択部１７に選出させるべき代表顔画像を逆順に送る。ここで、代表顔画像の順送りとは、例えば最新の時刻で顔認証が否認となった認証対象者に対応する代表顔画像から、次に新しい時刻で否認となった認証対象者の代表顔画像へと、画像の選択が切り換わって行く送り順である。一方、代表顔画像の逆順の送りとは、上記した順送りと正反対の送り順である。

したがって、画像送りボタン３３又は画像戻しボタン３２が押される度に、画像選択部１７が選出（選択）している代表顔画像が切り換わり、これに連動してＩＤ・パスワード入力要請画面３０上の撮影画像表示部３９に表示されている代表顔画像も切り換わる。このようにして、互いに協働する画像送りボタン３３及び画像戻しボタン３２、画像選択部１７並びに入力受付部１１は、特定の領域へ向かう複数の認証対象者の顔の画像がカメラ５により撮像された場合（より詳細には、顔認証が否認となった認証対象者が複数存在し、これに伴い代表顔画像がワークメモリ１９内に複数存在する場合）、いずれか一人の認証対象者の顔の画像（いずれかの代表顔画像）を更新確認用顔画像２７として表示・操作部２に切換可能に表示させる表示画像切換部として機能する。

データ更新部１２は、ＩＤ入力部３５及びパスワード入力部３６へのＩＤ及びパスワードの入力を、コントローラ１０を介して入力受付部１１が受け付けた場合、入力されたこのＩＤ及びパスワードが顔情報記憶部７に記憶されているか否かを検出する。さらに、データ更新部１２は、入力受付部１１で入力を受け付けたＩＤ及びパスワードが顔情報記憶部７内に記憶されている場合、当該ＩＤ及びパスワードと関連付けられている顔情報記憶部７内の第１の顔特徴情報を、撮影画像表示部３９に表示された認証対象者の顔の画像（更新確認用顔画像２７）に対応する（ワークメモリ１９内の）第２の顔特徴情報に基づき更新する。この場合のデータ更新とは、データの一部更新であって、第２の顔特徴情報に基づき第１の顔特徴情報を、学習させる（例えば瞳や鼻孔の位置情報などに補正を加える）ことである。

したがって、個人認証装置１では、顔認証が得られなかった認証対象者が、ＩＤ入力部３５及びパスワード入力部３６にＩＤ及びパスワードをキー入力し、さらに、撮影画像表示部３９に認証対象者本人の更新確認用顔画像２７が表示されていることを確認した上で、確定ボタン３８を押すことで、照合用の記憶データとなる第１の顔特徴情報を正しく更新させることができ、これにより、次回の認証精度を高めることができる。

また、個人認証装置１では、顔認証が否認となった認証対象者が複数存在したことで、例えば表示・操作部２で入力操作を行っている本人以外の他人の更新確認用顔画像２７が撮影画像表示部３９に表示された場合には、画像送りボタン３３又は画像戻しボタン３２を操作して、本人の更新確認用顔画像を撮影画像表示部３９に表示させることができる。これにより、表示・操作部２で入力操作を行う認証対象者本人の更新確認用顔画像を自身が視覚的に把握した上で、前述した操作により第１の顔特徴情報を適正に更新できるので、照合用の記憶データ（第１の顔特徴情報）の誤った更新を防止しつつ認証精度を向上させることができる。なお、データ更新部１２は、認証対象者の第１の顔特徴情報が更新された場合、この第１の顔特徴情報が更新された認証対象者に対応するグループ分類顔画像、代表顔画像及び第２の顔特徴情報のそれぞれをワークメモリ１９内から消去する。

また、図１に示すように、ドア９に設けられた入口開閉機構９ａは、上記特定の領域内への入口を開閉するための機構部分である。この入口開閉機構９ａは、ドア９に設置された鍵の解錠及び施錠を行う電気錠などであってもよいし、また、例えば自動ドアなどで構成されたドア９自体を開閉移動させる移動機構により構成されるものであってもよい。

さらに、ドア制御部８は、入口開閉機構９ａを制御して特定の領域内への入口、つまりドア９を開閉制御する開閉機構制御部として機能する。具体的には、ドア制御部８は、顔検出・照合部６が備える照合処理部１６により認証対象者の顔認証が得られた場合、又はデータ更新部１２により顔情報記憶部７内の第１の顔特徴情報が更新された場合、入口開閉機構９ａを制御して前記入口（ドア９）を開放する。

次に、このように構成された個人認証装置１の動作を上記図１〜図４に加え、図５に示すフローチャートに基づき説明する。
図１、図５に示すように、特定の領域内に入るためのドア９に向かう認証対象者３ａ（３ｂ…３ｎ）の顔の画像がカメラ５により撮像されると（Ｓ［ステップ］１）、顔検出・照合部６の主に顔検出処理部２０及び顔特徴量抽出部１８は、互いに協働しつつ、認証対象者の顔の特徴を表す第２の顔特徴情報を生成する（Ｓ２）。次に、顔検出・照合部６の照合処理部１６は、生成された第２の顔特徴情報と顔情報記憶部７内に予め登録された第１の顔特徴情報とを比較照合して認証対象者の顔認証を行う（Ｓ３）。

顔認証が得られた場合（Ｓ４のＹＥＳ）、ドア制御部８は、入口開閉機構９ａを制御して、特定領域内への入口を開放（ドア９の鍵などを解錠）する（Ｓ５）。一方、照合処理部１６による認証対象者の顔認証が得られなかった場合（Ｓ４のＮＯ）、顔検出・照合部６の画像選択部１７は、図３に示すように、否認となった認証対象者の更新確認用顔画像２７を選出する（Ｓ６）。さらに、表示制御部１５により制御される表示・操作部２は、図４に示すように、画像選択部１７が選出した更新確認用顔画像２７を含むＩＤ・パスワード入力要請画面３０を表示する（Ｓ７）。

次いで、入力受付部１１は、ＩＤ入力部３５及びパスワード入力部３６へのＩＤ及びパスワードの入力を受け付ける（Ｓ８）。この際、必要に応じて（他人の更新確認用顔画像２７が表示されている場合）、画像送りボタン３３又は画像戻しボタン３２を介しての入力操作により、更新確認用顔画像の表示切換えが行われる。次に、データ更新部１２は、入力受付部１１で入力を受け付けたＩＤ及びパスワードが顔情報記憶部７内に記憶されているか否かを検出する（Ｓ９）。

ＩＤ及びパスワードが顔情報記憶部７内に記憶されている場合（Ｓ９のＹＥＳ）、データ更新部１２は、ＩＤ・パスワード入力要請画面３０上に表示された更新確認用顔画像２７に対応する（顔認証を実際に行った認証対象者本人から得た）第２の顔特徴情報に基づいて、当該入力されたＩＤ及びパスワードと関連付けられている顔情報記憶部７内の第１の顔特徴情報を更新する（Ｓ１０）。データ更新部１２により顔情報記憶部７内の第１の顔特徴情報が更新された後、ドア制御部８は、入口開閉機構９ａを制御して特定領域内への入口（ドア９）を開放する（上記Ｓ５）。

既述したように、本実施形態に係る個人認証装置１では、顔認証が得られなかった場合に、その認証対象者より得られた更新確認用顔画像２７を表示させるので、この表示された顔画像を確認しつつＩＤ及びパスワードの入力を行うことができる。すなわち、本実施形態の個人認証装置１によれば、顔認証が否認となった認証対象者本人の顔画像を自身が視覚的に把握した上で、当該入力したＩＤ及びパスワードと顔情報記憶部７内で関連付けられている第１の顔特徴情報を、可視表示されている認証対象者の顔画像（更新確認用顔画像２７）に対応した第２の顔特徴情報に基づいて、正しく更新させることができる。これにより、顔情報記憶部７内に予め照合用として登録された第１の顔特徴情報の誤った更新を防止しつつ、照合処理部１６による認証精度の向上を図ることができる。

［第２の実施の形態］
次に、本発明の第２の実施形態を図６〜図８に基づき説明する。ここで、図６は、この実施形態に係る個人認証管理システム５１の構成を示す機能ブロック図であり、また、図７は、この個人認証管理システム５１に複数設けられた個人認証装置６１ａ、６１ｂ…６１ｎの構成を示す機能ブロック図である。さらに、図８は、この個人認証管理システム５１の動作を示すフローチャートである。なお、上記の図６及び図７において、図１、２に示した第１の実施形態の個人認証装置１に設けられていたものと同一の構成要素については、同一の符号を付与しその説明を省略する。

図６及び図７に示すように、この実施形態の個人認証管理システム５１は、セキュリティ性のさらなる向上を目的として構成されており、監視室５３内に設置された管理サーバ５５と、この管理サーバ５５に例えばＬＡＮ（Local Area Network）などのネットワーク５２を介してそれぞれ接続されたクライアントとしての複数の個人認証装置６１ａ、６１ｂ…６１ｎとを備える。

個々の個人認証装置６１ａ、６１ｂ…６１ｎは、図７に示すように、各々同一の構成を有しており、顔特徴検出部６２及び送受信部６３、並びに第１の実施形態の個人認証装置が備えていた表示・操作部２、カメラ５、ドア９に設けられた入口開閉機構９ａ、及びドア制御部８を備える。

顔特徴検出部６２は、第１の実施形態の個人認証装置１に設けられていた顔検出・照合部６（図２参照）の画像入力部２１、画像メモリ２２、入力受付部１１、表示制御部１５、画像選択部１７、ワークメモリ１９、顔検出処理部２０、顔特徴量抽出部１８及びコントローラ１０を備えて構成される。送受信部６３は、ＴＣＰ／ＩＰなどのコンピュータネットワーク用の通信プロトコルを用いて、管理サーバ５５側の後述する送受信部５９との間で情報のやり取りを行う。

具体的には、送受信部６３は、カメラ５により撮像された顔の画像を基に、主に顔検出処理部２０及び顔特徴量抽出部１８が生成した認証対象者３ａ（３ｂ…３ｎ）の顔の特徴を表す第２の顔特徴情報を管理サーバ５５側に送信する。また、送受信部６３は、管理サーバ５５側から送信されてくる顔認証の結果（承認／否認）を示す情報を受信する。

また、送受信部６３により顔認証の結果として否認を示す情報が受信された場合、表示制御部１５に表示制御される表示・操作部２は、図４に示したように、カメラ５により撮像されかつ顔認証が否認となった認証対象者の顔の画像（更新確認用顔画像２７）を含むＩＤ・パスワード入力要請画面３０を表示する。

また、送受信部６３は、入力要請メッセージに従った入力操作により入力受付部１１で入力を受け付けたＩＤ及びパスワードと、ＩＤ・パスワード入力要請画面３０上に表示されている更新確認用顔画像２７に対応したワークメモリ１９内の（上記顔検出処理部２０及び顔特徴量抽出部１８が生成した）第２の顔特徴情報と、を新たに管理サーバ５５側に送信する。

一方、管理サーバ５５は、当該個人認証管理システム５１の管理者以外が容易に出入りできないセキュリティ性の高い監視室５３内に設置されており、照合処理部５８、データ更新部５７、送受信部５９、第１の実施形態の顔情報記憶部７と同一の構成を有する顔情報記憶部５６、及び各部を統括的に制御するコントローラ５４を備える。

送受信部５９は、個々の個人認証装置６１ａ、６１ｂ…６１ｎが各々備える送受信部６３との間で情報のやり取りを行う。具体的には、送受信部５９は、個人認証装置６１ａ、６１ｂ…６１ｎ側から送信されてきた第２の顔特徴情報を受信する。また、照合処理部５８は、第１の実施形態の照合処理部１６と同様の構成を有しており、顔情報記憶部５６に予め記憶された第１の顔特徴情報と送受信部５９により受信された第２の顔特徴情報とを照合して認証対象者３ａ（３ｂ…３ｎ）の顔認証を行う。

また、上記の送受信部５９は、照合処理部５８による顔認証の結果を個人認証装置の備える送受信部６３へ送信する。また、送受信部５９は、顔認証が否認となった場合において個人認証装置側から新たに送信されてきた第２の顔特徴情報とＩＤ及びパスワードとを受信する。さらに、データ更新部５７は、第１の実施形態のデータ更新部１２と同様の構成を有しており、送受信部５９により受信されたＩＤ及びパスワードが顔情報記憶部５６内に記憶されている場合、当該ＩＤ及びパスワードと関連付けられている第１の顔特徴情報を、新たに受信した第２の顔特徴情報に基づき更新する。

次に、このように構成された個人認証管理システム５１の動作を上記した図６、図７に加え、図８に示すフローチャート基づき説明する。
図６〜図８に示すように、特定の領域内に入るためのドア９に向かう認証対象者３ａ（３ｂ…３ｎ）の顔の画像が、個人認証装置のカメラ５により撮像されると（Ｓ１１）、顔特徴検出部６２は、認証対象者の顔の特徴を表す第２の顔特徴情報を生成する（Ｓ１２）。次いで、送受信部６３は、生成された第２の顔特徴情報を管理サーバ５５側に送信する（Ｓ１３）。この第２の顔特徴情報が管理サーバ５５の送受信部５９により受信されると（Ｓ１４）、照合処理部５８は、受信したこの第２の顔特徴情報と顔情報記憶部５６内に予め登録された第１の顔特徴情報とを比較照合して認証対象者の顔認証を行う（Ｓ１５）。

次に、送受信部５９は、照合処理部５８による顔認証の結果を（第２の顔特徴情報を送信してきた）個人認証装置の送受信部６３へ送信（返信）する（Ｓ１６）。送受信部６３により顔認証の結果として承認（照合成功）を示す情報が受信された場合（Ｓ１７のＹＥＳ）、ドア制御部８は、入口開閉機構９ａを制御して、特定領域内への入口を開放（ドア９の鍵などを解錠）する（Ｓ１８）。

一方、送受信部６３により顔認証の結果として否認（照合失敗）を示す情報が受信された場合（Ｓ１７のＮＯ）、顔特徴検出部６２（が備える画像選択部１７）は、図３に示したように、否認となった認証対象者の更新確認用顔画像２７を選出する（Ｓ１９）。さらに、表示・操作部２は、図４に示したように、更新確認用顔画像２７を含むＩＤ・パスワード入力要請画面３０を表示する（Ｓ２０）。次に、顔特徴検出部６２（が備える入力受付部１１）は、ＩＤ入力部３５及びパスワード入力部３６へのＩＤ及びパスワードの入力を受け付ける（Ｓ２１）。この場合、必要に応じて、画像送りボタン３３又は画像戻しボタン３２を介しての認証対象者による入力操作により、更新確認用顔画像の表示切換えが行われる。

続いて、送受信部６３は、入力を受け付けたＩＤ及びパスワードと、ＩＤ・パスワード入力要請画面３０上に表示された（ＩＤ及びパスワードの入力操作を行った認証対象者の）更新確認用顔画像２７に対応する第２の顔特徴情報と、を新たに管理サーバ５５側に送信する（Ｓ２２）。管理サーバ５５側の送受信部５９により、ＩＤ及びパスワード並びに第２の顔特徴情報が受信されると（Ｓ２３）、データ更新部５７は、受信されたＩＤ及びパスワードが顔情報記憶部５６内に記憶されているか否かを検出する（Ｓ２４）。

ＩＤ及びパスワードが顔情報記憶部５６内に記憶されている場合（Ｓ２４のＹＥＳ）、データ更新部５７は、受信された第２の顔特徴情報に基づいて、当該入力されたＩＤ及びパスワードと関連付けられている顔情報記憶部５６内の第１の顔特徴情報を更新する（Ｓ２５）。データ更新部５７による顔情報記憶部５６内の第１の顔特徴情報の更新後、送受信部６３は、第１の顔特徴情報が更新されたことを示すデータ更新完了通知を（ＩＤ及びパスワード並びに第２の顔特徴情報を送信してきた）個人認証装置側へ送信する（Ｓ２６）。個人認証装置の送受信部６３によりデータ更新完了通知が受信されると（Ｓ２７）、ドア制御部８は、入口開閉機構９ａを制御して特定領域内への入口（ドア９）を開放する（上記Ｓ１８）。

このように本実施形態に係る個人認証管理システム５１では、第１の実施形態と同様に、顔認証が否認となった認証対象者本人の更新確認用顔画像２７を自身が視覚的に把握した上でＩＤ及びパスワードを入力でき、この入力したＩＤ及びパスワードと顔情報記憶部５６内で関連付けられている第１の顔特徴情報を、更新確認用顔画像２７に対応する第２の顔特徴情報に基づき、正しく更新させることができる。したがって、個人認証管理システム５１によれば、照合用として予め登録された第１の顔特徴情報の誤った更新を防止しつつ、照合処理部５８による認証精度を高めることができる。

さらに、この実施形態の個人認証管理システム５１によれば、個人認証装置本体から顔情報記憶部５６を実質的に切り離し、管理者以外が容易に出入りできない監視室５３内の管理サーバ５５に顔情報記憶部５６を設けているので、照合用の記憶データの例えば改ざんなどを抑制することができ、これによりセキュリティ性の向上を図ることができる。また、本実施形態の個人認証管理システム５１によれば、顔認証を行うための照合処理系を管理サーバ５５内に集約させこの管理サーバ５５側で顔認証に関する処理を統括的に行うことができるので、個々の個人認証装置の構成を簡略化することができる。

以上、本発明を各実施の形態により具体的に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。例えば、上述した実施形態では、２人以上の複数の認証対象者の顔認証が否認となって、これにより二つ以上の代表顔画像がワークメモリ１９内に存在する場合、画像選択部１７が、最新の時刻で顔認証が否認となった認証対象者に対応する代表顔画像を、更新確認用顔画像２７として選出するものであった。そこで、これに代えて、画像選択部１７が、例えば現在の時刻を基準として最も古い時刻で顔認証が否認となった認証対象者に対応する代表顔画像を、更新確認用顔画像２７として選出するものであってもよい。

上記のように画像選択部１７が構成された場合において、画像送りボタン３３が順次押されたときには、最も古い時刻で顔認証が否認となった認証対象者に対応する代表顔画像から、次に古い時刻で否認となった認証対象者の代表顔画像へと、代表顔画像が順次表示切換えされることになる。一方、画像戻しボタン３２が順次押された場合には、上記の態様と逆順の表示切換えが行われることになる。

さらに、上述した実施形態では、顔認証が否認となった認証対象者だけに対応する代表顔画像のうちのいずれかを、画像選択部１７が選択して撮影画像表示部３９に表示させていたが、これに代えて、顔認証の承認／否認にかかわらず、顔認証を行った全ての認証対象者に対応する代表顔画像のうちのいずれかを、画像選択部１７が選択して撮影画像表示部３９に表示させるようにしてもよい。画像選択部１７がこのように構成される場合、照合処理部は、顔認証（承認）の得られた認証対象者に対応するグループ分類顔画像を、ワークメモリ内から消去する処理を省略する。

また、上述した実施形態では、ＩＤ・パスワード入力要請画面３０上に可視表示される入力要請メッセージにより、ＩＤ及びパスワードの入力を要請するものであったが、これに代えて、音声の出力によって入力が要請されるように個人認証装置を構成してもよい。

本発明の第１の実施形態に係る個人認証装置の構成を示す機能ブロック図。 図１の個人認証装置が備える顔検出・照合部の構成を示す機能ブロック図。 図２の顔検出・照合部が備える画像選択部の処理を模式的に示す図。 図１の個人認証装置に設けられた表示・操作部に表示されるＩＤ・パスワード入力要請画面を示す図。 図１の個人認証装置の動作を示すフローチャート。 本発明の第２の実施形態に係る個人認証管理システムの構成を示す機能ブロック図。 図６の個人認証管理システムに複数設けられた個人認証装置の構成を示す機能ブロック図。 図６の個人認証管理システムの動作を示すフローチャート。

符号の説明

１，６１ａ，６１ｂ〜６１ｎ…個人認証装置、２…表示・操作部、３ａ，３ｂ〜３ｎ…認証対象者、５…カメラ、６…顔検出・照合部、７，５６…顔情報記憶部、８…ドア制御部、９…ドア、９ａ…入口開閉機構、１０，５４…コントローラ、１１…入力受付部、１２，５７…データ更新部、１５…表示制御部、１６，５８…照合処理部、１７…画像選択部、１８…顔特徴量抽出部、２０…顔検出処理部、２５ａ，２５ｂ〜２５ｎ…グループ分類顔画像、２６ａ，２６ｂ〜２６ｎ…代表顔画像、２７…更新確認用顔画像、３０…ＩＤ・パスワード入力要請画面、３２…画像戻しボタン、３３…画像送りボタン、３５…ＩＤ入力部、３６…パスワード入力部、３４…入力要請メッセージ、３９…撮影画像表示部、５１…個人認証管理システム、５２…ネットワーク、５５…管理サーバ、５９，６３…送受信部、６２…顔特徴検出部。

Claims (6)

1. 特定の人物の顔の特徴を表す第１の顔特徴情報と前記特定の人物に与えられた個人識別情報とを予め関連付けて記憶する記憶部と、
   認証対象者の顔の画像を撮像する撮像部と、
   前記撮像部により撮像された前記顔の画像に基づいて、前記認証対象者の顔の特徴を表す第２の顔特徴情報を生成する顔特徴情報生成部と、
   前記記憶部に記憶された第１の顔特徴情報と前記顔特徴情報生成部により生成された第２の顔特徴情報とを照合して認証対象者の顔認証を行う顔認証部と、
   前記顔認証部による認証結果が否認となった場合、前記撮像部により撮像された認証対象者の顔の画像と個人識別情報の入力を要請する入力要請案内とを表示する表示部と、
   前記表示部に表示される前記入力要請案内に従った個人識別情報の入力を受け付ける入力受付部と、
   前記入力受付部で入力を受け付けた個人識別情報が前記記憶部に記憶されている場合、当該個人識別情報と関連付けられている第１の顔特徴情報を、前記表示部に表示された認証対象者の顔の画像に対応する第２の顔特徴情報に基づき更新するデータ更新部と、
   を具備することを特徴とする個人認証装置。
2. 前記撮像部は、特定の領域へ向かう移動中の認証対象者の顔の画像を撮像し、
   前記特定の領域へ向かう複数の認証対象者の顔の画像が前記撮像部により撮像された場合、いずれか一人の認証対象者の顔の画像を前記表示部に切換可能に表示させる表示画像切換部をさらに具備することを特徴とする請求項１記載の個人認証装置。
3. 前記特定の領域内への入口を開閉する入口開閉機構と、
   前記顔認証部により認証が得られた場合、若しくは前記データ更新部により前記記憶部内の第１の顔特徴情報が更新された場合、前記入口開閉機構を制御して前記入口を開放する開閉機構制御部と、
   をさらに具備することを特徴とする請求項２記載の個人認証装置。
4. ネットワークを介して互いに接続された個人認証装置と管理サーバとを備える個人認証管理システムであって、
   前記個人認証装置が、
   認証対象者の顔の画像を撮像する撮像部と、
   特定の人物の顔の特徴を表す第１の顔特徴情報との照合用の情報として、前記撮像部により撮像された前記顔の画像に基づいて前記認証対象者の顔の特徴を表す第２の顔特徴情報を生成する顔特徴情報生成部と、
   前記顔特徴情報生成部により生成された第２の顔特徴情報を送信する第１の送信部と、
   顔認証の結果を示す情報を受信する第１の受信部と、
   前記第１の受信部により顔認証の結果として否認を示す情報が受信された場合、前記撮像部により撮像された認証対象者の顔の画像と個人識別情報の入力を要請する入力要請案内とを表示する表示部と、
   前記表示部に表示される前記入力要請案内に従った個人識別情報の入力を受け付ける入力受付部と、
   前記入力受付部で入力を受け付けた個人識別情報と前記顔特徴情報生成部により生成されかつ前記表示部に表示されている認証対象者の顔の画像に対応した第２の顔特徴情報とを新たに送信する第２の送信部と、
   を備え、
   さらに、前記管理サーバが、
   前記特定の人物に与えられた個人識別情報と前記第１の顔特徴情報とを予め関連付けて記憶する記憶部と、
   前記第１の送信部により前記個人認証装置側から送信されてきた第２の顔特徴情報を受信する第２の受信部と、
   前記記憶部に記憶された第１の顔特徴情報と前記第２の受信部により受信された第２の顔特徴情報とを照合して認証対象者の顔認証を行う顔認証部と、
   前記顔認証部による顔認証の結果を前記個人認証装置の備える前記第１の受信部へ送信する第３の送信部と、
   前記個人認証装置の備える前記第２の送信部により送信された個人識別情報と第２の顔特徴情報とを受信する第３の受信部と、
   前記第３の受信部により受信された個人識別情報が前記記憶部内に記憶されている場合、当該個人識別情報と関連付けられている前記記憶部内の第１の顔特徴情報を、前記第３の受信部により受信された第２の顔特徴情報に基づき更新するデータ更新部と、
   を具備することを特徴とする個人認証管理システム。
5. 前記個人認証装置の前記撮像部は、特定の領域へ向かう移動中の認証対象者の顔の画像を撮像し、
   さらに、前記個人認証装置は、前記特定の領域へ向かう複数の認証対象者の顔の画像が前記撮像部により撮像された場合、いずれか一人の認証対象者の顔の画像を前記表示部に切換可能に表示させる表示画像切換部を具備することを特徴とする請求項４記載の個人認証管理システム。
6. 前記個人認証装置は、
   前記特定の領域内への入口を開閉する入口開閉機構と、
   前記第１の受信部により顔認証の結果として認証が得られたことを示す情報が受信された場合、若しくは前記データ更新部により前記記憶部内の第１の顔特徴情報が更新された場合、前記入口開閉機構を制御して前記入口を開放する開閉機構制御部と、
   をさらに具備することを特徴とする請求項５記載の個人認証管理システム。

Images