JP2009134593A - 顔認証装置および顔認証方法 - Google Patents

Abstract

【課題】複数の画像取得手段を用いる場合、高階調の画像取得手段の数を減らし、安価な低階調の画像取得手段を用いることができ、照明変動にロバストなまま低コスト化が図れる顔認証装置および顔認証方法を提供する。
【解決手段】１つの高階調カメラおよび複数の低階調カメラを用いて人物の顔画像を異なる方向から取得し、高階調カメラで取得した高階調の入力画像から顔領域を検出し、検出した顔領域の画素値分布に基づいて他の低階調カメラの明るさ制御(ゲイン制御等)を行ない、明るさ制御後、低階調カメラで取得した低階調の入力画像から顔領域を検出し、高階調の入力画像から得られた顔領域の画像および低階調の入力画像から得られた顔領域の画像から評価値の最も高いもの(たとえば、正面顔に最も近い、あるいは、顔の画素値分布の階調数が大きいもの)を選択し、顔照合処理を行なう。
【選択図】 図１

Description

本発明は、たとえば、歩行者を認証対象とし、当該歩行者から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該歩行者はあらかじめ登録された人物であるかを判定する顔認証装置および顔認証方法に関する。

一般に、この種の顔認証装置は、あらかじめ認証対象となる人物の顔画像をカメラやセンサなどを用いて取得し、この取得した顔画像から得られる顔の特徴情報を辞書情報として辞書記憶手段に記憶しておく。
そして、照合時（認証時）には、認証対象となる人物の顔画像をカメラやセンサなどを用いて再度取得し、この取得した顔画像から得られる顔の特徴情報が辞書記憶手段にあらかじめ記憶されている辞書情報と類似しているかどうかを評価し、類似性が高い場合には当該人物は登録者（本人）であると判定し、類似性が低い場合には未登録者（本人ではない）と判定するようになっている。

このような顔認証装置において、歩行者を認証対象とした場合、歩行者の顔認証精度を上げる技術として、複数のカメラを設置することで、多方向から顔画像を取得し、取得した複数の方向の顔画像の中から最も適切な顔画像（たとえば、正面に近い顔画像）を選択して、その方向にあった辞書情報を用いて照合を行なうものが公知である（たとえば、特許文献１参照）。
特許第３８０３５０８号明細書

しかしながら、上述した公知の技術では、周囲の照明変動などを考慮すると、顔認証の照合には高階調入力画像を得るための高階調カメラが必要であり、高階調カメラを複数設置することによりコスト高となるという問題がある。

そこで、本発明は、複数の画像取得手段を用いる場合、高階調の画像取得手段の数を減らし、安価な低階調の画像取得手段を用いることができ、照明変動にロバストなまま低コスト化が図れる顔認証装置および顔認証方法を提供することを目的とする。

本発明の顔認証装置は、移動する人物の少なくとも顔を含む画像を高階調入力画像として取得する第１の画像取得手段と、前記移動する人物の少なくとも顔を含む画像を低階調入力画像として取得する少なくとも１つ以上の第２の画像取得手段と、前記第１の画像取得手段から得られる高階調入力画像から人物の顔領域を検出する第１の顔検出手段と、この第１の顔検出手段により検出された顔領域の画素値分布に基づき前記第２の画像取得手段の画像取得条件を可変制御する制御手段と、この制御手段による画像取得条件の制御後に前記第２の画像取得手段から得られる低階調入力画像から人物の顔領域を検出する第２の顔検出手段と、前記第１の顔検出手段により検出された顔領域の画像および前記第２の顔検出手段により検出された顔領域の画像に対しそれぞれ評価値を算出し、評価値の最も高いものを選択する選択手段と、この選択手段により選択された評価値の最も高い顔領域の画像をあらかじめ登録された辞書情報と照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する照合手段とを具備している。

また、本発明の顔認証方法は、移動する人物の少なくとも顔を含む画像を第１の画像取得手段により高階調入力画像として取得する第１の画像取得ステップと、前記移動する人物の少なくとも顔を含む画像を少なくとも１つ以上の第２の画像取得手段により低階調入力画像として取得する第２の画像取得ステップと、前記第１の画像取得ステップにより得られる高階調入力画像から人物の顔領域を検出する第１の顔検出ステップと、この第１の顔検出ステップにより検出された顔領域の画素値分布に基づき前記第２の画像取得手段の画像取得条件を可変制御する制御ステップと、この制御ステップによる画像取得条件の制御後に前記第２の画像取得ステップにより得られる低階調入力画像から人物の顔領域を検出する第２の顔検出ステップと、前記第１の顔検出ステップにより検出された顔領域の画像および前記第２の顔検出ステップにより検出された顔領域の画像に対しそれぞれ評価値を算出し、評価値の最も高いものを選択する選択ステップと、この選択ステップにより選択された評価値の最も高い顔領域の画像をあらかじめ登録された辞書情報と照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する照合ステップとを具備している。

本発明によれば、複数の画像取得手段を用いる場合、高階調の画像取得手段で取得した高階調入力画像を分析し、その分析結果により他の画像取得手段の明るさ制御を行なうことにより、高階調の画像取得手段の数を減らし、安価な低階調の画像取得手段を用いることができ、照明変動にロバストなまま低コスト化が図れる顔認証装置および顔認証方法を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
まず、本発明の概要について簡単に説明する。本発明では、たとえば、図２に示すように、人物（歩行者）Ｍが図示矢印方向に移動する通路１の壁面２（あるいは天井）などに複数（この例では３つ）のカメラ１１，１２，１３を配設し、それぞれ異なる方向から人物Ｍの少なくとも顔を含む画像を取得する。得られる画像から人物Ｍの顔領域を検出し、追跡する。そして、得られた顔領域の画像から、移動する人物Ｍがあらかじめ登録された人物が否かを判定する。

本発明が適用される対象としては、たとえば、入室の制限を行ないたい部屋の入口付近に設置し、あらかじめ入室を許可する人物であると判定した場合に、部屋の鍵を開錠する等に用いることが考えられる。
あるいは、店舗等に設置し、あらかじめ要注意人物を登録しておき、通行する人物が要注意人物であると判定した場合には、警報を発する等に用いることも考えられる。

以下、実施の形態について具体的に説明する。
図１は、実施の形態に係る顔認証装置の構成を概略的に示すものである。この顔認証装置は、歩行者Ｍの少なくとも顔を含む画像を高階調入力画像として取得する第１の画像取得手段としての高階調カメラ１１、歩行者Ｍの少なくとも顔を含む画像を低階調入力画像として取得する第２の画像取得手段としての低階調カメラ１２，１３、高階調カメラ１１から得られる高階調入力画像から人物の顔領域を検出する第１の顔検出手段としての顔検出部１４、顔検出部１４により検出された顔領域の画素値分布に基づき低階調カメラ１２，１３の各撮像条件（画像取得条件）を制御する制御手段としての低階調カメラ明るさ制御部１５、低階調カメラ１２，１３から得られる低階調入力画像から人物の顔領域を検出する第２の顔検出手段としての顔検出部１６，１７、顔検出部１４，１６，１７により検出された各顔領域の画像に対しそれぞれ評価値を算出し、評価値の最も高いものを選択する選択手段としての顔領域選択部１８、複数の辞書情報があらかじめ登録（記憶）されている辞書記憶手段としての照合辞書（メモリ）１９、および、顔領域選択部１８で選択された顔領域の画像（顔画像）と照合辞書１９にあらかじめ登録された辞書情報とを照合することにより当該人物Ｍはあらかじめ登録された人物であるかを判定する照合手段としての照合部２０を有して構成されている。

顔検出部１４は、たとえば、図３に示すように、高階調カメラ１１から得られる高階調入力画像を一時格納する入力画像バッファ２１、入力画像バッファ２１に格納された高階調入力画像から移動物体の領域を変化領域として検出する変化検出部２２、変化検出部２２により検出された変化領域の画像から人物の頭部候補領域を検出する頭部候補領域検出部２３、顔候補領域の検出に用いる顔検出辞書パターンを格納している顔検出辞書（メモリ）２４、頭部候補領域検出部２３により検出された頭部候補領域の画像に対して人物の顔候補領域を検出する顔パターン検出部２５、および、顔パターン検出部２５により検出された顔候補領域を追跡する顔追跡手段としての顔追跡部２６を有して構成されている。
なお、顔検出部１６，１７も上述した顔検出部１４と同一構成であるので、その説明は省略する。

以下、各構成要素について詳細に説明する。
高階調カメラ１１は、たとえば、図２に示すように、人物Ｍが図示矢印方向に移動する通路１の壁面２（あるいは天井）などに設置されていて、移動する人物Ｍの少なくとも顔を含む画像を定められた方向から一定時間ごとに撮像して、得られるアナログ映像信号を１画素当たりｍビットの高階調入力画像に変換するもので、イメージセンサなどを主体に構成されている。ここに、ｍとしては、たとえば、「１６」を用いるものとする。

低階調カメラ１２，１３は、たとえば、図２に示すように、人物Ｍが図示矢印方向に移動する通路１の壁面２（あるいは天井）などに設置されていて、移動する人物Ｍの少なくとも顔を含む画像を高階調カメラ１１とは異なる方向から一定時間ごとに撮像して、得られるアナログ映像信号を１画素当たりｎビットの低階調入力画像に変換するもので、イメージセンサなどを主体に構成されている。ここに、ｎとしては、たとえば、「８」を用いるものとする。

なお、この例では、たとえば、高階調カメラ１１が人物Ｍの移動方向に対し前方右斜め方向から撮像するものとすると、低階調カメラ１２は人物Ｍの移動方向に対し前方正面方向から撮像し、低階調カメラ１３は人物Ｍの移動方向に対し前方左斜め方向から撮像するものとする。

低階調カメラ明るさ制御部１５は、顔検出部１４により検出された顔領域の画素値分布を求め、求めた画素値分布に基づく明るさ制御信号を低階調カメラ１２，１３に送ることにより、低階調カメラ１２，１３の各撮像条件、たとえば、ゲイン、シャッタ速度、絞りなどの明るさ制御を行なう。

顔領域選択部１８は、顔検出部１４，１６，１７により検出された各顔領域の画像に対しそれぞれ評価値として、たとえば、人物の顔の向きや顔の画素値分布の階調数を算出し、評価値の最も高いものとして、算出した顔の向きが正面に最も近いもの、あるいは、顔の画素値分布の階調数が大きいものを選択する。

照合部２０は、顔領域選択部１８で選択された顔領域の画像（顔画像）を照合辞書１９内の辞書情報と照合することにより、当該人物Ｍはあらかじめ登録された人物であるかを判定する。

変化検出部２２は、入力画像バッファ２１内の入力画像から移動物体の領域を変化領域として検出するもので、その検出結果は、画素値「１」が変化あり、画素値「０」が変化なしとなるような変化画像として出力する。

頭部候補領域検出部２３は、変化検出部２２により検出された変化画像から、人物の頭部らしい領域を検出する。具体的には、たとえば、変化領域に対して輪郭抽出を行ない、抽出した輪郭の曲率から頭部候補を検出する。

顔パターン検出部２５は、頭部候補領域検出部２３により検出された頭部候補領域を対象として、顔検出辞書２４内の顔検出辞書パターンとのパターンマッチングを行なうことで、顔らしい領域を顔候補領域として検出する。
顔追跡部２６は、顔パターン検出部１９により検出された顔候補領域を時間的に追跡する。

次に、上記のような構成において図４に示すフローチャートを参照して全体的な動作を説明する。
高階調カメラ１１は、常に高階調入力画像を取得しており（ステップＳ１）、顔検出部１４は取得された高階調入力画像から常に顔検出処理を行なっている（ステップＳ２）。

高階調カメラ１１からの高階調入力画像で顔領域が検出されると、低階調カメラ明るさ制御部１５は、顔検出部１４により検出された顔領域の画素値分布を求め、求めた画素値分布に基づく明るさ制御信号を低階調カメラ１２，１３に送ることにより、低階調カメラ１２，１３の各撮像条件、たとえば、ゲイン、シャッタ速度、絞りなどの明るさ制御を行なう（ステップＳ３）。

たとえば、求めた顔領域の画素値分布が明るい領域に存在する場合はゲインを下げるか、シャッタ速度を上げるか、絞りを絞るかのうち少なくともいずれか１つの制御を行ない、求めた顔領域の画素値分布が暗い領域に存在する場合はその反対の制御を行なう。このように、明るさ制御をすることにより、低階調カメラで取得された画像でも顔検出処理が可能となる。

低階調カメラ１２，１３は、明るさ制御を行なった後に、人物Ｍの少なくとも顔を含む画像を取得し、顔検出部１６，１７へ送る（ステップＳ４）。顔検出部１６，１７は、低階調カメラ１２，１３から得られる低階調入力画像から人物の顔領域を検出し、顔領域選択部１８へ送る（ステップＳ５）。

顔領域選択部１８は、顔検出部１４，１６，１７により検出された各顔領域の画像に対しそれぞれ評価値として、たとえば、人物の顔の向きや顔の画素値分布の階調数を算出し、評価値の最も高いものとして、算出した顔の向きが正面に最も近いもの、あるいは、顔の画素値分布の階調数が大きいものを選択し、照合部２０へ送る（ステップＳ６）。

照合部２０は、顔領域選択部１８で選択された顔領域の画像（顔画像）を照合辞書１９内の辞書情報と照合することにより、当該人物Ｍはあらかじめ登録された人物であるかを判定する（ステップＳ７）。

以上説明したように上記実施の形態によれば、複数のカメラを設置する顔認証装置において、１つの高階調カメラおよび複数の低階調カメラを用いて人物の顔画像を異なる方向から取得し、取得した高階調の入力画像から検出した顔領域の画素値分布に基づき他の低階調カメラの明るさ制御を行ない、その後、取得した低階調の入力画像から顔領域の検出を行ない、得られた複数の顔領域の画像から評価値の最も高いものを選択し、顔照合処理を行なうことにより、高階調カメラの数を減らし、安価な低階調カメラを用いることができ、照明変動にロバストなまま低コスト化が図れる。

また、高階調入力画像、および、顔領域について明るさ調整された低階調入力画像から検出された顔画像から評価値の最も高いもの、たとえば正面に近いものを選ぶことで、明るさ調整され、かつ、正面に近い顔画像が得られ、顔認証の性能が著しく向上する。

なお、前記実施の形態では、低階調カメラを２つ用いた場合について説明したが、本発明はこれに限定されるものではなく、低階調カメラは少なくとも１つ以上用いればよい。

本発明の実施の形態に係る顔認証装置の構成を概略的に示すブロック図。 カメラの設置状態を説明する模式図。 顔検出部の具体的な構成例を示すブロック図。 全体的な動作を説明するフローチャート。

符号の説明

Ｍ…歩行者、１１…高階調カメラ（第１の画像取得手段）、１２，１３…低階調カメラ（第２の画像取得手段）、１４…顔検出部（第１の顔検出手段）、１５…低階調カメラ明るさ制御部（制御手段）、１６，１７…顔検出部（第２の顔検出手段）、１８…顔領域選択部（選択手段）、１９…照合辞書（辞書記憶手段）、２０…照合部（照合手段）。

Claims (5)

1. 移動する人物の少なくとも顔を含む画像を高階調入力画像として取得する第１の画像取得手段と、
   前記移動する人物の少なくとも顔を含む画像を低階調入力画像として取得する少なくとも１つ以上の第２の画像取得手段と、
   前記第１の画像取得手段から得られる高階調入力画像から人物の顔領域を検出する第１の顔検出手段と、
   この第１の顔検出手段により検出された顔領域の画素値分布に基づき前記第２の画像取得手段の画像取得条件を可変制御する制御手段と、
   この制御手段による画像取得条件の制御後に前記第２の画像取得手段から得られる低階調入力画像から人物の顔領域を検出する第２の顔検出手段と、
   前記第１の顔検出手段により検出された顔領域の画像および前記第２の顔検出手段により検出された顔領域の画像に対しそれぞれ評価値を算出し、評価値の最も高いものを選択する選択手段と、
   この選択手段により選択された評価値の最も高い顔領域の画像をあらかじめ登録された辞書情報と照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する照合手段と、
   を具備したことを特徴とする顔認証装置。
2. 前記第１の画像取得手段および第２の画像取得手段は移動する人物の少なくとも顔を含む画像を異なる方向から取得することを特徴とする請求項１記載の顔認証装置。
3. 前記第１の画像取得手段および第２の画像取得手段はカメラであり、
   前記制御手段は、前記第１の顔検出手段により検出された顔領域の画素値分布に基づき前記第２のカメラのゲイン、シャッタ速度、絞りなどの明るさ制御を行なうことを特徴とする請求項１または請求項２記載の顔認証装置。
4. 前記選択手段で算出する評価値とは、人物の顔の向きや顔の画素値分布の階調数であり、選択する評価値の最も高いものとは、算出した顔の向きが正面に最も近いもの、あるいは、顔の画素値分布の階調数が大きいものであることを特徴とする請求項１記載の顔認証装置。
5. 移動する人物の少なくとも顔を含む画像を第１の画像取得手段により高階調入力画像として取得する第１の画像取得ステップと、
   前記移動する人物の少なくとも顔を含む画像を少なくとも１つ以上の第２の画像取得手段により低階調入力画像として取得する第２の画像取得ステップと、
   前記第１の画像取得ステップにより得られる高階調入力画像から人物の顔領域を検出する第１の顔検出ステップと、
   この第１の顔検出ステップにより検出された顔領域の画素値分布に基づき前記第２の画像取得手段の画像取得条件を可変制御する制御ステップと、
   この制御ステップによる画像取得条件の制御後に前記第２の画像取得ステップにより得られる低階調入力画像から人物の顔領域を検出する第２の顔検出ステップと、
   前記第１の顔検出ステップにより検出された顔領域の画像および前記第２の顔検出ステップにより検出された顔領域の画像に対しそれぞれ評価値を算出し、評価値の最も高いものを選択する選択ステップと、
   この選択ステップにより選択された評価値の最も高い顔領域の画像をあらかじめ登録された辞書情報と照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する照合ステップと、
   を具備したことを特徴とする顔認証方法。

Images