JP2009032116A - 顔認証装置、顔認証方法および入退場管理装置 - Google Patents

Abstract

【課題】人為的な要因などによって生じる不適切な照明環境を検知し、移動する人物に対し常に安定した顔認証が可能となる顔認証装置を提供する。
【解決手段】歩行者を認証対象とし、当該歩行者から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該歩行者はあらかじめ登録された人物であるかを判定する顔認証装置において、歩行者から取得した複数の画像にそれぞれ検知領域を設定し、設定した複数の検知領域に対しそれぞれ画像の輝度異常を検知し、その各検知結果を統合することにより顔認証に適切な環境であるか否かを判定する。
【選択図】 図３

Description

本発明は、たとえば、歩行者を認証対象とし、当該歩行者から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該歩行者はあらかじめ登録された人物であるかを判定する顔認証装置および顔認証方法に関する。

また、本発明は、上記顔認証装置あるいは顔認証方法を用いてセキュリティを必要とする部屋や施設等の入退場対象エリアに対する入退場を管理する入退場管理装置に関する。

一般に、この種の顔認証装置は、あらかじめ認証対象となる歩行者の顔画像をカメラやセンサなどを用いて取得し、この取得した顔画像から得られる顔の特徴情報を辞書情報として辞書情報記憶手段に記憶しておく。
そして、照合時（認証時）には、認証対象となる歩行者の顔画像をカメラやセンサなどを用いて再度取得し、この取得した顔画像から得られる顔の特徴情報が辞書情報記憶手段にあらかじめ記憶されている辞書情報と類似しているかどうかを評価し、類似性が高い場合には当該歩行者は登録者（本人）であると判定し、類似性が低い場合には当該歩行者は未登録者（本人ではない）と判定するようになっている。

このような歩行者を認証対象とした顔認証装置では、たとえば、建物のエントランスなどへの設置が求められている。エントランスなどの外光の影響を受けやすい環境では、図１に示すように、朝、昼、夜など、時間帯、天候などにより照明環境が変化する。これらの変動は統計的にある程度の予測は可能であるが、完全な予測は困難である。また、図１に示すように、人為的な要因（たとえば、照明のオン／オフや、ブラインドの開け／閉め）による照明環境の変化を予測することは、非常に困難である。

そこで、このような照明環境の変化に対処するものとして、たとえば、人物の顔領域を検出し、顔領域内の画像状態より適切な照明環境であるか否かを判定する技術（たとえば、特許文献１参照）、人物の顔領域を検出し、顔領域内の画像状態より撮像装置の適切な制御パラメータを算出し、照明環境の変化に対して安定した画像を撮影する技術（たとえば、特許文献２参照）、および、顔領域が検出されなかった場合でも適切な階調補正を行なうもので、明度と色相の組合せから画像を分割し、全体画像に対するそれぞれの領域の占有率を算出し、それぞれの領域より算出された指標と占有率を乗じて加算することで逆光やストロボなどのシーンを判定し、判定したシーンに応じて適切な階調変換を行なう技術（たとえば、特許文献３参照）が知られている。
特開２００５−８４８１５号公報 特開２００５−２０２７３１号公報 特開２００６−３１９７１４号公報

上述したような照明環境の変化によって生じる不適切な照明環境は、顔領域の検出を成功した場合、上述した従来技術の枠組みを利用して検知可能である。しかし、顔領域の検出を失敗した場合、上述した特許文献３の手法では、色相情報を利用したカラー画像処理であり、モノクロ画像の場合には利用できない。したがって、図１に示すように、顔領域の検出の有無に関わらず、人為的な要因などによって生じる不適切な照明環境を検知し、それに対処する必要がある。

そこで、本発明は、人為的な要因などによって生じる不適切な照明環境を検知し、移動する人物に対し常に安定した顔認証が可能となる顔認証装置、顔認証方法および入退場管理装置を提供することを目的とする。

本発明の顔認証装置は、移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証装置において、前記移動する人物の少なくとも顔を含む画像を所定時間間隔で複数取得する画像取得手段と、この画像取得手段により取得された複数の画像からそれぞれ人物の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段と、前記顔検出手段により検出された複数の顔領域をそれぞれ検知領域として設定する検知領域設定手段と、この検知領域設定手段により設定された複数の検知領域に対しそれぞれ画像の輝度異常を検知し、その各検知結果を統合することにより顔認証に適切な環境であるか否かを判定する環境判定手段と、この環境判定手段により顔認証に不適切な環境であると判定された場合、あらかじめ定められた所定の制御を行なう制御手段とを具備している。

また、本発明の顔認証方法は、移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証方法において、前記移動する人物の少なくとも顔を含む画像を所定時間間隔で複数取得する画像取得ステップと、この画像取得ステップにより取得された複数の画像からそれぞれ人物の顔領域を検出する顔検出ステップと、この顔検出ステップにより検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合ステップ、前記顔検出ステップにより検出された複数の顔領域をそれぞれ検知領域として設定する検知領域設定ステップと、この検知領域設定ステップにより設定された複数の検知領域に対しそれぞれ画像の輝度異常を検知し、その各検知結果を統合することにより顔認証に適切な環境であるか否かを判定する環境判定ステップと、この環境判定ステップにより不適切な環境であると判定された場合、あらかじめ定められた所定の制御を行なう制御ステップとを具備している。

さらに、本発明の入退場管理装置は、移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置において、前記移動する人物の少なくとも顔を含む画像を所定時間間隔で複数取得する画像取得手段と、この画像取得手段により取得された複数の画像からそれぞれ人物の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段と、この顔照合手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段と、前記顔検出手段により検出された複数の顔領域をそれぞれ検知領域として設定する検知領域設定手段と、この検知領域設定手段により設定された複数の検知領域に対しそれぞれ画像の輝度異常を検知し、その各検知結果を統合することにより顔認証に適切な環境であるか否かを判定する環境判定手段と、この環境判定手段により顔認証に不適切な環境であると判定された場合、あらかじめ定められた所定の制御を行なう制御手段とを具備している。

本発明によれば、同一人物から取得した複数の画像にそれぞれ検知領域を設定し、設定した複数の検知領域に対しそれぞれ画像の輝度異常を検知し、その各検知結果を統合することにより顔認証に適切な環境であるか否かを判定することで、人為的な要因などによって生じる不適切な照明環境を検知し、移動する人物に対し常に安定した顔認証が可能となる顔認証装置、顔認証方法および入退場管理装置を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
本発明の概要について簡単に説明する。本発明では、たとえば、図２に示すように、通行路１を図示矢印ａ方向に移動して入退場対象エリア（部屋や施設等）２に設けられたドアやゲートなどのゲート装置（入退場用ゲート）３に向う歩行者（人物）Ｍの顔をカメラで撮像する。具体的には、通行路１におけるＣ地点からＡ地点の間に歩行者Ｍが存在する間に、歩行者Ｍの少なくとも顏を含む画像をカメラで撮像し、Ａ地点からゲート装置３まで歩行者Ｍが到達する間に、取得した画像によって顔認証を行ない、当該歩行者Ｍがあらかじめ登録された人物であるか否かを判定する。あらかじめ登録された人物と判定した場合にはゲート装置３を通行許可とし、登録された人物でないと判定された場合にゲート装置３を通行不可とする。ここに、図２に示すように、通行路１におけるＣ地点からＡ地点で囲まれた範囲を歩行者Ｍの顔を撮像する撮像対象領域と呼ぶことにする。

まず、本発明の第１の実施の形態について説明する。
図３は、第１の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。この入退場管理装置は、歩行者Ｍの少なくとも顔を含む画像を取得する画像取得手段としての画像入力用カメラ（以降、単にカメラと略称する）１０１、顔検出手段としての顔検出部１０２、特徴抽出手段としての特徴抽出部１０３、辞書記憶手段としての照合辞書部１０４、顔照合手段としての顔照合部１０５、出力手段としての表示部１０６、ゲート制御手段としてのゲート制御部１０７、検知領域設定手段としての検知領域設定部１０８、環境判定手段としての環境判定部１０９、および、全体的な制御を司る制御手段としての認証制御部１１０を有して構成されている。

以下、各構成要素について詳細に説明する。
カメラ１０１は、歩行者Ｍの少なくとも顔を含む画像を撮像するものであり、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。カメラ１０１の設置位置は、たとえば、図２に示すように、通行路１の側部でＡ地点とゲート装置３との間に設置されている。カメラ１０１の設置高さは、表示部１０６とほぼ同じとするが、カメラ１０１によって表示部１０６が隠れないようにするために、表示部１０６よりも若干低めとする。

このようにカメラ１０１を設置することで、歩行者Ｍが表示部１０６を見た場合に正面の顔を含む画像を取得できる。本実施の形態では、歩行者Ｍの画像を撮像することで、複数の画像を所定間隔で順次取得し、取得した複数の画像（複数フレームの画像）は、たとえば、横方向に５１２画素、縦方向に５１２画素のデジタル濃淡画像データとして顔検出部１０２に送られる。

顔検出部１０２は、カメラ１０１で入力された画像から歩行者Ｍの顔領域を検出する。これは、たとえば、文献（福井，山口．”形状抽出とパターン照合の組合せによる顔特徴点抽出”，信学論，（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−Ｈ，Ｎｏ．８，ｐｐ．２１７０−２１７７，１９９７）に記載されている方法などを用いることで、精度の高い顔領域の検出が実現可能である。顔検出部１０２で検出された顔領域情報は、特徴抽出部１０３に送られる。

特徴抽出部１０３は、登録時、照合時に利用する特徴量を抽出するもので、たとえば、顔検出部１０２により得られる顔領域情報から、顔の特徴点を基準に一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。これらのデータから特徴ベクトルの相関行列を求め、周知のＫ−Ｌ展開による正規直交ベクトルを求めることにより、部分空間を計算する。部分空間の計算法は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。本実施の形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列

と対角化して、固有ベクトルの行列Φを求める。この部分空間は、人物の同定を行なうための顔特徴情報として利用する。この情報をあらかじめ登録しておいて、それを辞書として登録しておけばよい。また、後で述べるように、識別を行なうための顔特徴情報として部分空間自身を利用してもよい。算出した顔特徴情報は、照合辞書部１０４および顔照合部１０５に送られる。

照合辞書部１０４は、特徴抽出部１０３から得られた顔特徴情報を辞書情報として保持し、人物Ｍとの類似度を計算できるようにしている。なお、顔特徴情報には対応する固有の識別情報（ＩＤ番号）が付加される場合もある。保持された顔特徴情報は必要に応じて顔照合部１０５に出力される。

顔照合部１０５は、特徴抽出部１０３で抽出された歩行者Ｍの顔特徴情報と照合辞書部１０４に記憶されている顔特徴情報（辞書情報）との類似度を求め、求めた類似度があらかじめ設定された判定用閾値以上である場合、当該歩行者Ｍはあらかじめ登録された人物であると判定し、求めた類似度が判定用閾値以上でない場合、当該歩行者Ｍはあらかじめ登録された人物でないと判定する。この顔照合処理には、たとえば、文献（山口．福井．前田，”動画像を用いた顔認識システム”，信学技報ＰＲＭＵ９７−５０，ｐｐ．１７−２３，１９９７−０６）に記載されている相互部分空間法を用いることで実現可能である。この場合、顔特徴情報として部分空間自身を利用し、部分空間同士の類似度を計算する。得られた顔照合結果（判定結果）は認証制御部１１０に送られる。

表示部１０６は、たとえば、図２に示すように、ゲート装置３の近傍に設置されていて、歩行者Ｍに対して、現在の顔認証の状況や認証結果等を表示するものであり、たとえば、液晶表示器またはＣＲＴ表示器などから構成されている。表示部１０６の設置高さは、たとえば、歩行者Ｍの身長の平均値程度とする。

ゲート制御部１０７は、図２のゲート装置３に対し開閉を指示する制御信号を送る。具体的には、ゲート装置３が例えばドアの場合は、認証制御部１１０からの通過可能信号がオンのとき開錠を行なう。ゲート装置３が例えばフラッパの場合には、通行可能信号がオフにもかかわらず、ゲート装置３に進入したときに警告音を出してフラッパを閉じ、歩行者Ｍの通行を阻止する。

検知領域設定部１０８は、カメラ１０１で取得した複数の画像に対し、それぞれ検知処理を行なう対象領域（検知領域）を設定するもので、その検知領域の設定方法は、顔検出部１０２から得られる顔領域を利用する。

環境判定部１０９は、検知領域設定部１０８にて設定された複数の検知領域に対しそれぞれ画像の輝度異常を検知し、その各検知結果を統合して顔認証に適切な環境か否かを判定する。得られた判定結果は、認証制御部１１０に送られる。

認証制御部１１０は、本装置全体の制御を行なうもので、その制御内容は、たとえば、以下の通りである。すなわち、顔登録時は、特徴抽出部１０３から得られる顔特徴情報と当該顔特徴情報に対応する固有の識別情報とを照合辞書部１０４に出力し、辞書情報の登録を行なう。顔照合（顔認証）時は、特徴抽出部１０３から得られる顔特徴情報を顔照合部１０５に出力し、顔照合結果を取得する。取得した顔照合結果に基づく表示制御情報を表示部１０６に出力するとともに、取得した顔照合結果に基づく通行制御情報をゲート制御部１０７に出力する。

また、認証制御部１１０は、環境判定部１０９の判定結果に応じた制御を行なう。すなわち、たとえば、環境判定部１０９により顔認証に不適切な環境と判定された場合、表示部１０６にてその旨を警告する内容の表示を行なうことや、登録時には照合辞書部１０４への辞書情報の登録動作を禁止したり、照合時には照合動作を禁止したりすることなどが考えられる。

なお、認証制御部１０６は、コンピュータなどによって実現されるが、登録時の顔特徴情報に対応する識別情報（たとえば、ＩＤ番号など）を取得するためのテンキーやタッチパネル、無線ＩＤリーダなどの入力手段も合わせて持たせるものとする。

次に、第１の実施の形態に係る環境判定に関する動作について図４に示すフローチャートを参照して説明する。
カメラ１０１は、歩行者Ｍの少なくとも顔を含む画像を一定間隔で順次撮像し、複数フレームの画像として顔検出部１０２へ送る（ステップＳ１）。顔検出部１０２は、カメラ１０１で入力された複数の画像からそれぞれ歩行者Ｍの顔領域を検出し、検知領域設定部１０８へ送る（ステップＳ２）。検知領域設定部１０８は、顔検出部１０２で検出された各顔領域をそれぞれ検知対象領域として設定する（ステップＳ３）。

次に、環境判定部１０９は、検知領域設定部１０８にて設定された複数の検知領域に対しそれぞれ画像の輝度異常を検知する（ステップＳ４）。ここに、輝度異常の検知は、たとえば、指定された領域内における画素値の飽和率を算出し、算出した飽和率をあらかじめ設定された閾値と比較することによって行なう。これらの処理を歩行中の同一人物Ｍに対する顔検出が終了するまで繰り返す（ステップＳ５）。

顔検出が終了すると、環境判定部１０９は、得られる複数の検知結果を統合して顔認証に適切な環境か否かを判定し（ステップＳ６，Ｓ７）、その判定結果を認証制御部１１０に送る。ここに、検知結果の統合方法は、たとえば、それぞれの正常／異常の検知結果の多数決をとってもよいし、求めた多数決の結果に対しあらかじめ設定された重みを乗じて加算し、その結果を閾値処理してもよい。また、重みの設定方法としては、たとえば、顔領域の解像度に応じて高い重みを設定することが考えられる。これは、解像度の大きさに比例して照合性能への寄与が変化することを利用したものである。

認証制御部１１０は、環境判定部１０９において顔認証に不適切な環境と判定された場合、たとえば、当該歩行者Ｍに対し、表示部１０６で顔認証に不適切な環境であることを警告する内容を表示する（ステップＳ８）。

なお、顔認証に不適切な環境である旨の警告表示の外に、たとえば、顔登録あるいは顔認証の動作を禁止する制御を行なったり、カメラ１０１にフィードバックすることで、カメラ１０１の入力画像調整機能（たとえば、ゲイン値、絞り値、シャッタ速度、ホワイトバランスなどの調整要素）を制御する制御パラメータを適切な画像を撮像できるパラメータに変更したりするなどの制御を行なってもよい。

また、認証制御部１１０は、環境判定部１０９において顔認証に適切な環境と判定された場合、顔登録あるいは顔認証の動作を行なう（ステップＳ９，Ｓ１０）。顔登録動作の場合（ステップＳ９）、あらかじめ顔特徴情報に対応する識別情報（ＩＤ番号など）を入力しておく（ステップＳ１１）。顔認証動作の場合（ステップＳ１０）、顔登録動作によってあらかじめ辞書情報を照合辞書部１０４に登録しておく。

以上説明したように、第１の実施の形態によれば、歩行者Ｍから取得した複数の画像にそれぞれ検知領域を設定し、設定した複数の検知領域に対しそれぞれ画像の輝度異常を検知し、その各検知結果を統合することにより顔認証に適切な環境であるか否かを判定することで、人為的な要因などによって生じる不適切な照明環境を検知し、歩行者Ｍに対し常に安定した顔認証が可能となる。

次に、第２の実施の形態について説明する。
本発明の第２の実施の形態に係る顔認証装置の構成は、基本的に前述した第１の実施の形態と同じであるため、異なる部分のみについて説明する。
第２の実施の形態では、図５に示すように、検知領域設定部１０８は、歩行中の同一人物（歩行者Ｍ）の検出されていない顔の領域を推定する顔領域推定部１０８ａと、推定した顔領域を検知領域として設定する領域設定部１０８ｂとから構成される。

以下、第２の実施の形態に係る検知領域設定部１０８の動作について説明する。
まず、顔領域推定部１０８ａによる顔領域の推定処理について、図６に示すフローチャートおよび図７に示す顔領域推定処理の概念図を参照して説明する。まず、顔検出部１０２で検出された顔領域のサイズを算出する（ステップＳ２１）。この場合、検出された顔領域が存在しない場合はサイズ「０」として算出し、顔領域が複数検出された場合は、たとえば、サイズの最大値を算出する。外にも、サイズの最小値、平均値、中間値などでもよい。

次に、算出された顔領域のサイズを基に顔領域が検出された時刻ｔを基準に前、後のどちらの方向に追跡するかを決定する。具体的には、求めたサイズをあらかじめ定められた閾値（ｔｈ）と比較し（ステップＳ２２）、求めたサイズが閾値以上である場合はｔ−１方向に顔候補領域の追跡を行ない（ステップＳ２３）、求めたサイズが閾値未満である場合はｔ＋１方向に顔候補領域の追跡を行なう（ステップＳ２４）。顔候補領域の追跡には、たとえば、歩行中の人物（歩行者Ｍ）の動き情報を用いる。これは、周知のオプティカルフローを計算することで算出することができる。

顔候補領域の追跡の終了は、たとえば、追跡中の顔候補領域のサイズによって判定する（ステップＳ２５）。たとえば、追跡中の顔候補領域のサイズが所定値になったら追跡終了とする。顔候補領域の追跡が終了すると、顔候補領域の形状を判定して顔領域を推定する（ステップＳ２６）。顔候補領域の形状の判定には、たとえば曲率を算出することにより行なう。

次に、領域設定部１０８ｂにて、顔領域推定部１０８ａで推定した顔領域を検知領域として設定し、環境判定部１０９にて環境判定処理を行なう。環境判定処理については、前述した第１の実施の形態と同様の処理によって実現でき、説明を省略する。

以上説明したように第２の実施の形態によれば、第１の実施の形態に対して更に、検出された複数の顔領域があらかじめ定められた所定値以下である場合、検出されていない顔領域を推定し、この推定した顔領域を検知領域として設定することで、顔領域の検出数が充分ない場合でも、人為的な要因などによって生じる不適切な照明環境を検知し、歩行者Ｍに対し常に安定した顔認証が可能となる。

次に、第３の実施の形態について説明する。
本発明の第３の実施の形態に係る顔認証装置の構成は、基本的に第１の実施例と同じであるため、異なる部分のみ説明する。
第３の実施の形態では、図８に示すように、検知領域設定部１０８は、カメラ１０１により取得された画像に対し輝度異常領域を検知する輝度異常領域検知部１０８ｃと、顔領域が検出されていない歩行者Ｍの領域を推定する人物領域推定部１０８ｄと、推定した人物領域に隣接する輝度異常領域を検知領域として設定する領域設定部１０８ｅとから構成される。

以下、第３の実施の形態に係る検知領域設定部１０８および環境判定部１０９の動作について、図９に示す検知領域設定処理の概念図を参照して説明する。
まず、輝度異常領域検知部１０８ｃは、顔検出部１０２により検出された複数の顔領域があらかじめ定められた所定値以下である場合、カメラ１０１により取得された画像内における画素値の飽和率を算出し、算出した飽和率をあらかじめ設定された閾値と比較することによって行なう。この場合、画像によっては、１つの画像内に複数の輝度異常領域が存在する。図９の例の場合、２つの輝度異常領域、たとえば、天井に設置された蛍光灯による輝度異常領域Ｅ１と、扉を開けた状態の入口による輝度異常領域Ｅ２が検知された例を示している。

次に、人物領域推定部１０８ｄは、たとえば、前述した第２の実施の形態と同様の処理(人物の動き情報の利用)によって推定した各フレーム画像での顔領域を含むように人物領域Ｅ３の推定を行なう。すなわち、ある時刻ｔでの人物領域Ｅ３は、ｔ０（先頭フレーム）〜ｔまでの顔領域をＯＲ処理（論理和処理）することで求まる。

次に、領域設定部１０８ｅは、人物領域推定部１０８ｄで推定した人物領域Ｅ３に隣接する輝度異常領域、図９の例では輝度異常領域Ｅ２を検知領域として設定する。

次に、環境判定部１０９は、検知領域設定部１０８で設定された検知領域Ｅ２の、カメラ１０１により取得された画像（入力画像）の全体領域に対する割合を算出し、算出した割合をあらかじめ設定された閾値と比較することによって、顔認証に適切な環境か否かを判定する。

なお、別の実施の形態として、検知領域設定部１０８では、顔領域の推定に失敗した場合、検知した複数の輝度異常領域を統合して検知領域として設定する。環境判定部１０９では、この統合して設定した検知領域の入力画像の全体領域に対する割合を算出し、算出した割合をあらかじめ設定された閾値と比較することによって、顔認証に適切な環境か否かを判定する。

以上説明したように第３の実施の形態によれば、第２の実施の形態と同様に、顔領域の検出数が充分ない場合でも、人為的な要因などによって生じる不適切な照明環境を検知し、歩行者Ｍに対し常に安定した顔認証が可能となる。

次に、第４の実施の形態について説明する。
図１０は、第４の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。この入退場管理装置は、歩行者Ｍの少なくとも顔を含む画像を取得する画像取得手段としての画像入力用カメラ（以降、単にカメラと略称する）２０１、顔検出手段としての顔検出部２０２、特徴抽出手段としての特徴抽出部２０３、辞書記憶手段としての照合辞書部２０４、顔照合手段としての顔照合部２０５、出力手段としての表示部２０６、ゲート制御手段としてのゲート制御部２０７、検知領域設定手段としての検知領域設定部２０８、環境判定手段としての環境判定部２０９、判定手段としての検出状態判定部２１１、および、全体的な制御を司る制御手段としての認証制御部２１０を有して構成されている。

なお、上記各構成要素のうち、カメラ２０１、顔検出部２０２、特徴抽出部２０３、照合辞書部２０４、顔照合部２０５、表示部２０６、ゲート制御部２０７、認証制御部２１０は、前述した第１の実施の形態におけるカメラ１０１、顔検出部１０２、特徴抽出部１０３、照合辞書部１０４、顔照合部１０５、表示部１０６、ゲート制御部１０７、認証制御部１１０と同じであることから説明を省略し、第１の実施の形態と異なる検知領域設定部２０８、環境判定部２０９、検出状態判定部２１１について以下に説明する。

検出状態判定部２１１は、顔検出部２０２において、歩行者Ｍの顔を含む複数の画像に対しあらかじめ定められた一定数の顔領域が検出されたか否かを判定する。検知領域設定部２０８、環境判定部２０９は、検出状態判定部２１１の判定結果に応じて、前述した第１の実施の形態で説明した処理、第２の実施の形態で説明した処理、第３の実施の形態で説明した処理のいずれかを切換えて処理を行なう。

具体的には、たとえば、顔検出部２０２において複数の画像に対し全て顔領域が検出された場合は第１の実施の形態で説明した処理を選択し、顔検出部２０２において複数の画像のうち一部分の画像に対し顔領域が検出された場合は第２の実施の形態で説明した処理を選択し、顔検出部２０２において複数の画像に対し全て顔領域が検出されなかった場合は第３の実施の形態で説明した処理を選択するなどが考えられる。

以上説明したように第４の実施の形態によれば、歩行者Ｍから取得した顔を含む複数の画像において、顔領域の検出結果に応じて対象領域を切換えることで、顔領域の検出の有無に関わらず、人為的な要因などによって生じる不適切な照明環境を検知し、歩行者Ｍに対し常に安定した顔認証が可能となる。

検知対象の概念図。 顔認証装置の設置例を説明する模式図で、（ａ）図は平面図、（ｂ）図は側面図。 本発明の第１の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すブロック図。 第１の実施の形態における環境判定処理の流れを説明するフローチャート。 第２の実施の形態における検知領域設定部の構成図。 第２の実施の形態における顔領域推定処理の流れを説明するフローチャート。 第２の実施の形態における顔領域推定処理の概念図。 第３の実施の形態における検知領域設定部の構成図。 第３の実施の形態における検知領域設定部、環境判定部の処理の概念図。 第４の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すブロック図。

符号の説明

１０１，２０１…カメラ（画像取得手段）、１０２，２０２…顔検出部（顔検出手段）、１０３，２０３…特徴抽出部（特徴抽出手段）、１０４，２０４…照合辞書部（辞書記憶手段）、１０５，２０５…顔照合部（顔照合手段）、１０６，２０６…表示部（出力手段）、１０７，２０７…ゲート制御部（ゲート制御手段）、１０８，２０８…検知領域設定部（検知領域設定手段）、１０９，２０９…環境判定部（環境判定手段）、１１０，２１０…認証制御部（制御手段）、２１１…検出状態判定部（判定手段）、１０８ａ…顔領域推定部（顔領域推定手段）、１０８ｂ…領域設定部（領域設定手段）、１０８ｃ…輝度異常領域検知部（輝度異常領域検知手段）、１０８ｄ…人物領域推定部（人物領域推定手段）、１０８ｅ…領域設定部（領域設定手段）。

Claims (17)

1. 移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証装置において、
   前記移動する人物の少なくとも顔を含む画像を所定時間間隔で複数取得する画像取得手段と、
   この画像取得手段により取得された複数の画像からそれぞれ人物の顔領域を検出する顔検出手段と、
   この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段と、
   前記顔検出手段により検出された複数の顔領域をそれぞれ検知領域として設定する検知領域設定手段と、
   この検知領域設定手段により設定された複数の検知領域に対しそれぞれ画像の輝度異常を検知し、その各検知結果を統合することにより顔認証に適切な環境であるか否かを判定する環境判定手段と、
   この環境判定手段により顔認証に不適切な環境であると判定された場合、あらかじめ定められた所定の制御を行なう制御手段と、
   を具備したことを特徴とする顔認証装置。
2. 前記環境判定手段は、前記検知領域設定手段により設定された複数の検知領域に対しそれぞれ画素値の飽和率を算出することにより画像の輝度異常を検知することを特徴とする請求項１記載の顔認証装置。
3. 前記環境判定手段は、複数の検知領域に対するそれぞれの正常／異常の検知結果の多数決をとるか、その多数決の結果に対しあらかじめ設定された重みを乗じて加算し、その結果を閾値と比較することにより輝度異常の検知結果を統合することを特徴とする請求項１記載の顔認証装置。
4. 前記重みの設定は、検出された顔領域の解像度が高いほど高い重みを設定することを特徴とする請求項３記載の顔認証装置。
5. 前記検知領域設定手段は、検出された複数の顔領域があらかじめ定められた所定値以下である場合、検出されていない顔領域を推定し、この推定した顔領域を検知領域として設定することを特徴とする請求項１記載の顔認証装置。
6. 前記検知領域設定手段は、当該人物の動き情報に基づき当該人物を追跡することにより顔領域を推定することを特徴とする請求項５記載の顔認証装置。
7. 前記検知領域設定手段は、検出された顔領域が存在する場合、当該顔領域を基準に当該人物の動き情報に基づき当該人物を追跡することにより顔領域を推定することを特徴とする請求項６記載の顔認証装置。
8. 前記検知領域設定手段は、前記顔検出手段により検出された複数の顔領域があらかじめ定められた所定値以下である場合、前記画像取得手段により取得された画像に対し輝度異常領域を検知するとともに、当該移動する人物の領域を推定し、この推定した人物領域に隣接する前記検知された輝度異常領域を検知領域として設定し、
   前記環境判定手段は、前記検知領域設定手段により設定された検知領域の前記画像取得手段により取得された画像の全体領域に対する割合によって顔認証に適切な環境であるか否かを判定することを特徴とする請求項１記載の顔認証装置。
   することを特徴とする請求項１記載の顔認証装置。
9. 前記検知領域設定手段は、人物領域の推定に失敗し、かつ、前記検知された輝度異常領域が複数存在する場合、当該複数の輝度異常領域を統合した領域を検知領域として設定することを特徴とする請求項８記載の顔認証装置。
10. 移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証装置において、
    前記移動する人物の少なくとも顔を含む画像を所定時間間隔で複数取得する画像取得手段と、
    この画像取得手段により取得された複数の画像からそれぞれ人物の顔領域を検出する顔検出手段と、
    この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段と、
    前記顔検出手段により検出された複数の顔領域があらかじめ定められた所定値以上存在するか否かを判定する判定手段と、
    この判定手段の判定の結果および前記顔検出手段の各検出結果に基づき複数の検知領域を設定する検知領域設定手段と、
    この検知領域設定手段により設定された複数の検知領域に対しそれぞれ画像の輝度異常を検知し、その各検知結果を統合することにより顔認証に適切な環境であるか否かを判定する環境判定手段と、
    この環境判定手段により顔認証に不適切な環境であると判定された場合、あらかじめ定められた所定の制御を行なう制御手段と、
    を具備したことを特徴とする顔認証装置。
11. 前記制御手段が行なうあらかじめ定められた所定の制御とは、当該人物に対し顔認証に不適切な環境であることを警告する内容の報知を行なうことである請求項１または請求項１０記載の顔認証装置。
12. 前記制御手段が行なうあらかじめ定められた所定の制御とは、当該顔認証装置の機能を停止させることである請求項１または請求項１０記載の顔認証装置。
13. 前記制御手段が行なうあらかじめ定められた所定の制御とは、前記画像取得手段の画像取得条件を適切な画像を取得できる値に変更することである請求項１または請求項１０記載の顔認証装置。
14. 移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証方法において、
    前記移動する人物の少なくとも顔を含む画像を所定時間間隔で複数取得する画像取得ステップと、
    この画像取得ステップにより取得された複数の画像からそれぞれ人物の顔領域を検出する顔検出ステップと、
    この顔検出ステップにより検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合ステップ、
    前記顔検出ステップにより検出された複数の顔領域をそれぞれ検知領域として設定する検知領域設定ステップと、
    この検知領域設定ステップにより設定された複数の検知領域に対しそれぞれ画像の輝度異常を検知し、その各検知結果を統合することにより顔認証に適切な環境であるか否かを判定する環境判定ステップと、
    この環境判定ステップにより不適切な環境であると判定された場合、あらかじめ定められた所定の制御を行なう制御ステップと、
    を具備したことを特徴とする顔認証方法。
15. 移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証方法において、
    前記移動する人物の少なくとも顔を含む画像を所定時間間隔で複数取得する画像取得ステップと、
    この画像取得ステップにより取得された複数の画像からそれぞれ人物の顔領域を検出する顔検出ステップと、
    この顔検出ステップにより検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合ステップと、
    前記顔検出ステップにより検出された複数の顔領域があらかじめ定められた所定値以上存在するか否かを判定する判定ステップと、
    この判定ステップの判定の結果および前記顔検出手段の各検出結果に基づき複数の検知領域を設定する検知領域設定ステップと、
    この検知領域設定ステップにより設定された複数の検知領域に対しそれぞれ画像の輝度異常を検知し、その各検知結果を統合することにより顔認証に適切な環境であるか否かを判定する環境判定ステップと、
    この環境判定ステップにより顔認証に不適切な環境であると判定された場合、あらかじめ定められた所定の制御を行なう制御ステップと、
    を具備したことを特徴とする顔認証方法。
16. 移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置において、
    前記移動する人物の少なくとも顔を含む画像を所定時間間隔で複数取得する画像取得手段と、
    この画像取得手段により取得された複数の画像からそれぞれ人物の顔領域を検出する顔検出手段と、
    この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段と、
    この顔照合手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段と、
    前記顔検出手段により検出された複数の顔領域をそれぞれ検知領域として設定する検知領域設定手段と、
    この検知領域設定手段により設定された複数の検知領域に対しそれぞれ画像の輝度異常を検知し、その各検知結果を統合することにより顔認証に適切な環境であるか否かを判定する環境判定手段と、
    この環境判定手段により顔認証に不適切な環境であると判定された場合、あらかじめ定められた所定の制御を行なう制御手段と、
    を具備したことを特徴とする入退場管理装置。
17. 移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置において、
    前記移動する人物の少なくとも顔を含む画像を所定時間間隔で複数取得する画像取得手段と、
    この画像取得手段により取得された複数の画像からそれぞれ人物の顔領域を検出する顔検出手段と、
    この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段と、
    この顔照合手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段と、
    前記顔検出手段により検出された複数の顔領域があらかじめ定められた所定値以上存在するか否かを判定する判定手段と、
    この判定手段の判定の結果および前記顔検出手段の各検出結果に基づき複数の検知領域を設定する検知領域設定手段と、
    この検知領域設定手段により設定された複数の検知領域に対しそれぞれ画像の輝度異常を検知し、その各検知結果を統合することにより顔認証に適切な環境であるか否かを判定する環境判定手段と、
    この環境判定手段により顔認証に不適切な環境であると判定された場合、あらかじめ定められた所定の制御を行なう制御手段と、
    を具備したことを特徴とする入退場管理装置。

Images