JP2004152127A - 顔照合装置及び顔照合方法 - Google Patents

Abstract

【課題】この発明は、撮影位置における明るさが変動しても、登録時に撮影した画像の輝度と照合時に撮影した画像の輝度とを一定に保持することが可能となり、顔照合の性能が維持できる。
【解決手段】この発明は、基準とする背景画像の輝度を記憶しておき、照合時には上記基準とする背景画像の輝度と照合画像の輝度との輝度差に基づいて照合画像の輝度を補正して顔画像による照合を行うようにしたものである。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
この発明は、例えば、特定領域の画像を撮影する撮影装置により少なくとも顔を含む画像（顔画像）を撮影して予め登録されている顔画像との顔照合を行う顔照合装置及び顔照合方法に関する。
【０００２】
【従来の技術】
従来、顔照合装置では、カメラにて撮影した画像から人物の顔画像を取得する度に顔の特徴量を抽出し、予め辞書に登録されている人物の特徴量と比較して顔照合を行う。また、顔照合を用いて通行制御を行う通行制御装置では、顔照合による予め辞書に登録されている人物との照合結果に基づいてドア制御する。
このような従来の顔照合装置では、設置環境によっては撮影位置の明るさが変化してしまうことがある。例えば、登録している顔画像を撮影した時の明るさと顔照合用に顔画像を撮影した時の明るさとが大きく異なる場合、顔照合の精度が悪くなってしまうことがあるという問題点がある。
【０００３】
【特許文献１】
特開２００２−９２６０１号公報
【特許文献２】
特開平１１−１６１７９０号公報
【０００４】
【発明が解決しようとする課題】
上記したように、この発明は、顔画像の撮影位置における明るさの変化によって顔照合の精度が悪化してしまうという問題点を解決するもので、顔画像の撮影位置における明るさが変化しても、安定した顔照合の性能を維持することができる顔照合装置及び顔照合方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
この発明の顔照合装置は、辞書に登録されている顔画像との照合処理を行うものにおいて、特定領域の画像を撮影する撮影手段と、この撮影手段により撮影される特定領域内に存在する黒色の領域の画像に対する輝度を基準黒領域の輝度として記憶しておく記憶手段と、前記撮影手段により少なくとも人物の顔を含む照合用の画像を撮影したのに基づき、前記撮影手段で撮影した前記照合用の画像における黒領域を抽出する黒領域抽出手段と、この黒領域抽出手段により抽出した前記照合用の画像における黒領域の輝度と前記記憶手段により記憶されている前記基準黒領域の輝度との輝度差に基づいて、前記撮影手段で撮影した前記照合用の画像の輝度を補正する補正手段と、この補正手段により補正した照合用の画像における顔画像と前記辞書に登録されている顔画像との照合処理を行う照合手段とを有する。
【０００６】
この発明の顔照合方法は、特定領域の画像を撮影する撮影手段を有し、辞書に登録されている顔画像との照合処理を行う顔照合装置に用いられる方法であって、前記撮影手段により撮影される特定領域内に存在する黒色の領域の画像に対する輝度を基準黒領域の輝度として記憶手段に記憶しておく記憶工程と、前記撮影手段により少なくとも人物の顔を含む照合用の画像を撮影したのに基づき、前記撮影手段で撮影した前記照合用の画像における黒領域を抽出する黒領域抽出工程と、この黒領域抽出工程により抽出した前記照合用の画像における黒領域の輝度と前記記憶手段に記憶されている前記基準黒領域の輝度との輝度差に基づいて、前記撮影手段で撮影した前記照合用の画像の輝度を補正する補正工程と、この補正工程により補正した照合用の画像における顔画像と前記辞書に登録されている顔画像との照合処理を行う照合工程とを有する。
【０００７】
【発明の実施の形態】
以下、この発明の実施の形態について図面を参照して説明する。
図１は、この発明の実施の形態に係る顔の画像による個人認証を行う顔照合システム（通行制御システム）を概略的に示す図である。
図１に示すように、ユーザインターフェースユニット１１、制御ユニット１２、および通行制御ユニット１３から構成される。上記ユーザインターフェースユニット１１と制御ユニット１２とは、顔照合装置を構成するものである。なお、上記ユーザインターフェースユニット１１と制御ユニット１２は、一体的に構成されていても良い。
【０００８】
上記ユーザインターフェースユニット１１は、カメラ２１、表示部２２、操作部２３、スピーカ２４などを有している。上記カメラ２１は、デジタルビデオカメラなどにより構成される。このカメラ２１は、設置位置に応じた特定の領域（撮影範囲）の画像を撮影するものであり、顔画像による照合処理時あるいは顔画像の登録時には上記撮影範囲内に存在する少なくとも人物の顔を含む画像を撮影するようになっている。このカメラ２１は、常時、画像を撮影しているようにしても良いし、上記制御ユニット１２からの指示に基づいて画像の撮影を行うようにしても良い。なお、上記カメラ２１は、カラーであっても、モノクロであっても良い。上記表示部２２は、液晶表示装置などで構成される。この表示部２２は、上記カメラ２１にて撮影中の画像、案内表示、あるいは顔照合の結果などを表示するものである。上記操作部２３は、テンキーなどで構成される。上記操作部２３は、個人識別情報としてのＩＤ番号やパスワードなどを入力するものである。上記スピーカ２４は、音声案内などの音声を出力するものである。
【０００９】
また、上記制御ユニット１２は、顔照合システム全体の制御を行うものである。上記制御ユニット１２は、顔画像による照合処理などを行うとともに、カメラ２１、表示部２２、操作部２３、スピーカ２４、自動ドア３１（または電気錠３３）などの制御を行うものである。
上記通行制御ユニット１３は、自動ドア３１、又は、電気錠制御盤３２により制御される電気錠３３が設置されたドアなどから構成される。例えば、通行制御ユニット１３が自動ドア３１で構成される場合、上記制御ユニット１２は、自動ドア３１の開閉を行うドア開閉機構（図示しない）に接続される。また、上記通行制御ユニット１３がドアに設置された電気錠３３で構成される場合、上記制御ユニット１２は、電気錠３３を制御する電気錠制御盤３２に接続される。
【００１０】
次に、上記制御ユニット１２の構成について詳細に説明する。
図２は、上記制御ユニット１２の内部構成を概略的に示すブロック図である。
図２に示すように、上記制御ユニット１２は、ＣＰＵボード５０、ＣＰＵ５１、メモリ５２、画像入力部５４、画像出力部５５、音声出力部５６、操作部インターフェース部５７、ドア制御部５９、ハードディスク６０、および電源部６１などを有している。
【００１１】
上記ＣＰＵボード５０には、ＣＰＵ５１、メモリ５２、画像入力部５４、画像出力部５５、音声出力部５６、操作部インターフェース部５７、及びドア制御部５９などが搭載される。上記ＣＰＵ５１は、上記制御ユニット１２全体の制御を司るものである。上記メモリ５２は、制御プログラムや制御データなどが記憶されるＲＯＭ、作業用のデータなどを一時的に保存するＲＡＭあるいはシステムの設定情報などが記憶されるＰＲＯＭなどにより構成される。
上記画像入力部５４は、上記カメラ２１にて撮影した画像を入力するインターフェースである。上記画像出力部５５は、上記表示部２２に表示する画像を出力するインターフェースである。上記音声出力部５６は、上記スピーカ２４にて発生させる音声を出力するインターフェースである。上記操作部インターフェース部５７は、上記操作部２３にて入力された情報を制御ユニット１２内に取り込むインターフェースである。上記ドア制御部５９は、通行制御ユニット１３に設けられる自動ドア３１あるいは電気錠３３の開閉制御を行うものである。例えば、ドアに電気錠３３が設置される場合、上記ドア制御部５９は、電気錠３３の開錠および施錠を制御する電気錠制御盤３２と接続される。
上記ハードディスク６０は、種々のデータが記憶される装置である。このハードディスク６０には、予め登録者の顔画像或は顔の特徴量が個人識別情報やパスワードなどに対応して記憶されている辞書６０ａが設けられている。上記電源部６１は、ＣＰＵボード５０、ドア制御部５９、ハードディスク６０などの制御ユニット１２内の各部に電源を供給するものである。
【００１２】
上記のように構成される顔画像照合システムでは、例えば、以下の条件が満たされている場合に、良好な照合精度が維持されるように設計されている。
１．外光を遮断する。
２．昼夜および年間を通して、被撮影者の顔が２００ルクス〜６００ルクスの照度内であり、かつ、照度の変動範囲が±１００ルクスとする。
３．被撮影者がカメラから約４０ｃｍ離れた位置に立つ。
４．カメラの仰角３０°に映る被撮影者の顔を照合する。
しかしながら、上記のような条件を守っていても、登録時の撮影位置の明るさと照合時の撮影位置の明るさと異なる場合（撮影環境が変化した場合）、良好な照合精度が得られないことがある。上記カメラ２１にて撮影される撮影位置の明るさは、例えば、時間帯、季節、周辺の照明に点灯状態などによって変動する。このような場合、照合時には、顔を登録時と同じ位置で撮影したとしても登録時とは異なる明るさで顔画像が撮影され、登録されている顔画像の輝度と照合用として撮影した顔画像の輝度とが変化してしまう。このため、顔画像に対する照合精度が低下して、良好な照合結果が得られないことがある。そこで、本実施の形態では、登録されている顔画像における輝度に応じて照合時に撮影された顔画像の輝度を補正することにより、良好な照合結果が得られるような処理を行うものである。
【００１３】
次に、上記カメラ２１により撮影される画像について説明する。
図３（ａ）、（ｂ）は、上記カメラ２１から入力される画像（取得画像）における各画素を説明するための図である。
上記カメラ２１が図３（ａ）に示すような画像を撮影しているものとする。この場合、上記カメラ２１が撮影した画像は、画像入力部５４により制御ユニット１２に取り込まれる。上記制御ユニット１２のＣＰＵ５１は、図３（ｂ）に示すように、上記画像入力部５４により取り込んだ取得画像に対して各画素をＸ方向にＸ０、Ｘ１、Ｘ２、…、Ｘｎ、Ｙ方向にＹ０、Ｙ１、Ｙ２、…、Ｙｎとしたマトリクス状のデータ構造体で示される画像データとする。また、取得画像の輝度は、Ｘ方向（Ｘ０、Ｘ１、Ｘ２、…、Ｘｎ）とＹ方向（Ｙ０、Ｙ１、Ｙ２、…、Ｙｎ）とのマトリクス状のデータ構造で示される各画素を輝度値に変換することにより各画素の輝度値を示すマトリクス状のデータとして生成される。
【００１４】
さらに、図３（ａ）には、背景の一部としての黒領域Ｂ及び白領域Ｗが存在している。図３に示す例において、上記黒領域Ｂ及び上記白領域Ｗは、背景の一部として上記カメラ２１にて撮影される。つまり、背景が変化していない状態において、上記黒領域Ｂ及び上記白領域Ｗは、上記カメラ２１にて継続的に撮影される。また、上記黒領域Ｂ及び上記白領域Ｗは、上記カメラ２１の撮影位置が固定であるため、上記カメラ２１にて撮影される画像において同じ位置に存在する。つまり、上記黒領域Ｂ及び上記白領域Ｗの領域（位置）を図３（ｂ）に示すような各画素の位置で示すことにより、上記カメラ２１にて撮影した画像における上記黒領域Ｂ及び上記白領域Ｗに対応する領域（位置）が特定できるようになっている。
【００１５】
次に、基準とする背景画像に基づいて取得画像を補正する処理について説明する。
まず、基準黒領域Ｂ及び基準白領域Ｗの抽出処理について説明する。図４は、黒領域を検出する処理を説明するためのフローチャートであり、図５は、白領域を検出する処理を説明するためのフローチャートである。ここで、黒領域及び白領域は、背景の一部として撮影される黒色の領域及び白色の領域であるとする。また、以下の説明では、上記カメラ２１にて撮影した基準とする背景のみの画像（人物などが存在しない状態で撮影された画像）から黒領域（基準黒領域）Ｂあるいは白領域（基準白領域）Ｗを検出する場合について説明する。なお、人物等が存在する場合であっても、撮影した画像から背景の領域を抽出し、その背景の領域について以下に説明する処理と同様の処理を行うことにより黒領域あるいは白領域を検出することができるものとする。例えば、上記辞書６０ａに登録する登録用の顔画像（登録画像）を撮影した際、あるいは、上記登録画像との顔照合を行う照合用の顔画像（照合画像）を撮影した際、撮影した画像の背景の領域について、以下に説明する黒領域抽出処理あるいは白領域抽出処理を適用することにより黒領域あるいは白領域が抽出できるものである。
【００１６】
まず、図４を参照しつつ基準黒領域Ｂの検出処理について説明する。まず、上記カメラ２１にて基準とする背景のみの画像（基準背景画像）を撮影する（ステップＳ１１）。上記カメラ２１にて撮影された基準背景画像は、上記制御ユニット１２の上記画像入力部５４により制御ユニット１２に取り込まれる。上記制御ユニット１２のＣＰＵ５１は、上記カメラ２１にて撮影した基準背景画像（取得画像）の各画素を輝度値に変換することにより取得画像全体における各画素の輝度値を示す輝度データを生成する（ステップＳ１２）。取得画像全体における各画素の輝度値を示す輝度データが得られると、ＣＰＵ５１は、取得画像の各画素の輝度値に基づいて黒点を判定する黒点判定処理を行う（ステップＳ１３）。この黒点判定処理では、取得画像から所定の黒点判定閾値Ｘ以下の輝度値を有する画素を黒点（黒点画素）として抽出する。ここで、黒点判定閾値Ｘは、黒点と判定する画素の輝度値に対する閾値である。
【００１７】
上記黒点判定処理により取得画像における黒点画素を抽出すると、ＣＰＵ５１は、黒点画素からなる黒領域を抽出する黒領域抽出処理を行う（ステップＳ１４）。この黒領域抽出処理では、取得画像において隣接する黒点画素からなる集合を黒領域として抽出する。すなわち、ＣＰＵ５１は、各黒点画素に対して隣接する黒点画素をカウントし、取得画像上の隣接する黒点画素からなる集合を黒領域として抽出するものである。このような黒領域抽出処理により基準背景画像から基準黒領域Ｂを抽出すると、ＣＰＵ５１は、上記基準黒領域Ｂの輝度を判定する（ステップＳ１５）。上記基準黒領域Ｂの輝度は、例えば、上記基準黒領域Ｂにおける各画素の輝度値の平均値として算出される。上記基準黒領域Ｂの輝度を判定すると、ＣＰＵ５１は、上記基準黒領域Ｂの位置と上記基準黒領域Ｂの輝度を示す情報をメモリ５２に記憶するものとする（ステップＳ１６）。上記のような黒領域抽出処理により背景に存在する黒色の領域（基準黒領域）Ｂがメモリ５２に記憶される。
【００１８】
次に、図５を参照しつつ白領域の検出処理について説明する。まず、上記カメラ２１にて背景のみの画像（基準背景画像）を撮影する（ステップＳ２１）。上記カメラ２１にて撮影された基準背景画像は、上記制御ユニット１２の上記画像入力部５４により制御ユニット１２に取り込まれる。上記制御ユニット１２のＣＰＵ５１は、上記カメラ２１にて撮影した基準背景画像（取得画像）の各画素を輝度値に変換することにより取得画像全体における各画素の輝度値を示す輝度データを生成する（ステップＳ２２）。取得画像全体における各画素の輝度値を示す輝度データが得られると、ＣＰＵ５１は、取得画像の各画素の輝度値に基づいて白点（白点画素）を判定する白点判定処理を行う（ステップＳ２３）。この白点判定処理では、取得画像において所定の白点判定閾値Ｙ以上の輝度値を有する画素を白点画素として抽出する。ここで、白点判定閾値Ｙは、白点と判定する画素の輝度値に対する閾値である。
【００１９】
上記白点判定処理により取得画像における白点画素を抽出すると、ＣＰＵ５１は、白点画素からなる白領域を抽出する白領域抽出処理を行う（ステップＳ２４）。この白領域抽出処理では、取得画像において隣接する白点画素からなる集合を白領域として抽出する。すなわち、ＣＰＵ５１は、各白点画素に対して隣接する白点画素をカウントし、取得画像上の隣接する白点画素からなる集合を白領域として抽出するものである。このような白点抽出処理により基準背景画像の白領域としての基準白領域Ｗを抽出すると、ＣＰＵ５１は、上記基準白領域Ｗの輝度を判定する（ステップＳ２５）。上記基準白領域Ｗの輝度は、例えば、上記基準白領域Ｗにおける各画素の輝度値の平均値として算出される。上記基準白領域Ｗの輝度を判定すると、ＣＰＵ５１は、上記基準白領域Ｗの位置と上記基準白領域Ｗの輝度を示す情報をメモリ５２に記憶するものとする（ステップＳ２６）。上記のような白領域抽出処理により背景に存在する白色の領域（基準白領域）Ｗがメモリ５２に記憶される。
【００２０】
次に、上記基準黒領域Ｂ及び上記基準白領域Ｗの輝度に基づいて補正を行う場合の顔照合処理について説明する。
図６は、上記基準黒領域及び上記基準白領域の輝度に基づいて取得画像を補正する場合の顔照合処理を説明するためのフローチャートである。まず、顔照合処理を開始すると、ＣＰＵ５１は、上記画像入力部５４により上記カメラ２１にて撮影した画像を取得する（ステップＳ３１）。上記カメラ２１から画像を取得すると、ＣＰＵ５１は、取得画像から顔の領域を検出する顔検出処理を行う（ステップＳ３２）。この顔領域検出処理により顔領域を検出すると（ステップＳ３２、ＹＥＳ）、ＣＰＵ５１は、上記基準黒領域Ｂの位置、上記基準黒領域Ｂの輝度、上記基準白領域Ｗの位置、及び上記基準白領域Ｗの輝度を読み出す（ステップＳ３３）。これらの情報を読み出すと、ＣＰＵ５１は、上記基準黒領域Ｂに対応する取得画像における黒領域の輝度を判定する処理を行う（ステップＳ３４）。この処理では、まず、上記基準黒領域Ｂに対応する領域について黒領域抽出処理を行って、抽出された黒領域内の輝度を判定する。
【００２１】
すなわち、ＣＰＵ５１は、上記基準黒領域Ｂに対応する取得画像における領域を判定し、その領域内について黒領域抽出処理を行う。これにより、基準とする背景画像における上記基準黒領域Ｂと対応する位置に人物などが重なって上記基準黒領域Ｂと取得画像から抽出される黒領域とが完全に一致しない場合であっても、基準黒領域Ｂに対応する領域内における取得画像の黒領域のみを抽出することができる。このような黒領域抽出処理により黒領域を抽出すると、ＣＰＵ５１は、取得画像から抽出した黒領域における輝度を判定する処理を行う。この処理では、例えば、取得画像から抽出した黒領域における各画素の輝度値の平均値を算出する。
【００２２】
取得画像における黒領域の輝度を判定すると、ＣＰＵ５１は、上記基準黒領域Ｂの輝度と取得画像における黒領域の輝度との輝度差を判定する（ステップＳ３５）。この判定により基準黒領域Ｂの輝度と取得画像における黒領域の輝度との輝度差を判定すると、ＣＰＵ５１は、判定した輝度差に基づいて補正量としての輝度差係数Ｊを決定する（ステップＳ３６）。上記輝度差係数Ｊは、黒領域の輝度差に応じて変動する係数であり、黒領域の輝度差が小さければ小さいほど１に近い値となる。この輝度差係数Ｊを用いて取得画像を補正する場合、取得画像の各画素は、取得画像における各画素の輝度値×輝度差係数Ｊにより補正される。
【００２３】
さらに、上記ＣＰＵ５１は、基準とする背景画像における基準白領域Ｗに対応する取得画像における白領域の輝度を判定する処理を行う（ステップＳ３７）。この処理では、まず、上記基準白領域Ｗに対応する領域について白領域抽出処理を行って、取得画像から抽出された白領域の輝度を判定する。すなわち、ＣＰＵ５１は、上記基準白領域Ｗに対応する取得画像の領域を判定し、その領域内について白領域抽出処理を行う。これにより、上記基準白領域Ｗと対応する位置に人物などが重なって基準白領域Ｗと取得画像の白領域とが完全に一致しない場合であっても、基準白領域Ｗに対応する領域内における取得画像の白領域のみを抽出することができる。このような白領域抽出処理により白領域を抽出すると、ＣＰＵ５１は、取得画像から抽出した白領域における輝度を判定する処理を行う。この処理では、例えば、取得画像から抽出した白領域における各画素の輝度値の平均値を算出する。
【００２４】
取得画像における白領域の輝度を判定すると、ＣＰＵ５１は、基準白領域Ｗの輝度と取得画像における白領域の輝度との輝度差を判定する（ステップＳ３８）。この判定により基準白領域Ｗの輝度と取得画像における白領域の輝度との輝度差を判定すると、ＣＰＵ５１は、判定した白領域の輝度差に基づいて補正量としての輝度差係数Ｋを決定する（ステップＳ３９）。上記輝度差係数Ｋは、白領域の輝度差に応じて変動する係数であり、白領域の輝度差が小さければ小さいほど１に近い値となる。この輝度差係数Ｋを用いて取得画像を補正する場合、取得画像の各画素は、取得画像における各画素の輝度値×輝度差係数Ｋにより補正される。
【００２５】
上記の処理により輝度差係数Ｊ及び輝度差係数Ｋを決定すると、ＣＰＵ５１は、輝度差係数Ｊ及びＫに基づいて取得画像を補正する補正処理を行う（ステップＳ４０）。取得画像の補正処理は、例えば、取得画像の各画素の輝度値に輝度係数Ｊ及びＫの平均値を乗算することにより行われる。上記補正処理により取得画像を補正すると、ＣＰＵ５１は、補正した取得画像に対して顔の特徴量検出処理を行う（ステップＳ４１）。
【００２６】
補正した取得画像から顔の特徴量を検出すると、ＣＰＵ５１は、取得画像から検出した顔の特徴量と上記辞書６０ａに登録されている顔の特徴量との照合度を算出し（ステップＳ４２）、算出した照合度が所定の照合閾値以上であるか否かを判定する（ステップＳ４３）。この判定により算出した照合度が所定の照合閾値以上である場合には照合が成功したものとし、照合度が所定の照合閾値以下である場合には照合が失敗したものとする。
【００２７】
例えば、照合が成功した場合（ステップＳ４３、ＹＥＳ）、ＣＰＵ５１は、上記表示部２２に照合可である旨を案内表示するとともに、上記ドア制御部５９により自動ドア３１を開放したり、電気錠３３を開錠したりすることにより当該人物の通行を許可する（ステップＳ４４）。また、照合が失敗した場合（ステップＳ４３、ＮＯ）、ＣＰＵ５１は、上記表示部２２に照合が不可である旨を案内表示し、自動ドア３１を閉鎖したままとしたり、電気錠３３を施錠したままとしたりすることによって当該人物の通行を不可とする（ステップＳ４５）。
【００２８】
なお、上記実施の形態では、上記基準黒領域及び上記基準白領域の輝度と照合画像における黒領域及び白領域の輝度との輝度差に基づいて取得画像の補正を行うようにしたが、さらに、登録時にも、上記基準黒領域及び上記基準白領域の輝度と登録画像（取得画像）における黒領域及び白領域の輝度との輝度差を判断して登録画像を補正するようにしても良い。これによれば、登録時であっても照合時であっても上記カメラ２１にて撮影された画像の輝度が常に基準の画像に基づいて補正する。従って、常に取得画像の輝度が一定になるよう取得画像を補正でき、一定の照合精度を維持できる。
【００２９】
上記のように、基準とする背景画像の輝度（黒領域の輝度及び白領域の輝度）を記憶しておき、照合時には基準とする背景画像の輝度と照合画像の輝度との輝度差に基づいて照合画像の輝度を補正して顔照合を行うようにしたものである。これにより、撮影位置における明るさが変動しても、撮影した画像の輝度を一定に保持することが可能となり、顔照合の性能が維持できる。
【００３０】
次に、上記辞書６０ａに登録された登録画像の輝度に基づいて照合画像の輝度を補正する場合の動作について説明する。
まず、上記辞書６０ａへの顔画像の登録処理について説明する。
図７は、顔画像の登録処理を説明するためのフローチャートである。
まず、本顔照合システムの管理者は、システムを立ち上げる操作を行う。本顔照合システムが立ち上がると、システム管理者は、操作部２３を操作して管理者メニューを起動させる。管理者メニューが起動すると、システム管理者（又は被登録者自身）は、操作部２３にて新規登録又は登録更新を選択し（ステップＳ５１）、被登録者のＩＤ情報及びパスワードを入力する（ステップＳ５２）。このとき、被登録者は、上記カメラ２１にて顔が撮影されるように、ユーザインターフェースユニット１１の前に立つ。
【００３１】
すると、上記カメラ２１は、被認証者の少なくとも顔を含む画像を撮影し（ステップＳ５３）、撮影した画像を制御ユニット１２へ供給する。上記制御ユニット１２のＣＰＵ５１は、上記カメラ２１が撮影した画像を上記画像入力部５４により取り込み、取り込んだ画像（取得画像）を上記表示部２２に表示するとともに、上記取得画像から顔画像を検出する顔検出処理を行う（ステップＳ５４）。この顔検出処理では、顔の特徴点としての目、鼻孔、唇の端点などを検出することにより顔領域を検出する。上記顔検出処理により顔の画像が検出されると、上記表示部２２の表示画面には、例えば、上記カメラ２１が撮影している画像とともに、顔画像として検出された領域を示す情報が表示される。
【００３２】
このような表示画面にて撮影された顔画像を確認しつつ、上記システム管理者は、上記操作部２３にて登録実行を指示する。顔画像の登録実行が指示されると（ステップＳ５５、ＹＥＳ）、制御ユニット１２のＣＰＵ５１は、取得画像を登録すべき画像（登録画像）として確定し、上記顔検出処理により検出した顔画像における顔の特徴量を検出する顔特徴量検出処理を行う（ステップＳ５６）。この顔特徴量検出処理において、顔の特徴量は、目、鼻孔、唇の端点などの特徴点における相対的な位置関係などに基づいて検出される。
被登録者の顔の特徴量を検出すると、ＣＰＵ５１は、上記登録画像の輝度を検出する輝度検出処理を行う。この輝度検出処理は、当該登録画像における黒領域Ｂｎ及び白領域Ｗｎを抽出し、抽出した黒領域Ｂｎ及び白領域Ｗｎにおける各画素の輝度値に基づいて当該登録画像の輝度を検出するものである。
【００３３】
すなわち、上記輝度検出処理として、ＣＰＵ５１は、まず、背景における黒領域を抽出する黒領域抽出処理を行う（ステップＳ５７）。この黒領域抽出処理では、登録画像における背景領域を検出し、検出した背景領域から黒領域を抽出するものである。当該登録画像における背景領域は、基準となる背景画像と登録画像との差異や顔検出処理により検出した顔領域に基づいて検出される。当該登録画像における背景領域を検出すると、ＣＰＵ５１は、検出した背景領域に対して上記黒領域抽出処理を行うことにより黒領域Ｂｎを抽出する。また、当該登録画像における黒領域Ｂｎは、上記基準黒領域Ｂに基づいて検出するようにしても良い。この場合、ＣＰＵ５１は、当該登録画像において、予め記憶されている上記基準黒領域Ｂに対応する領域に対して黒領域抽出処理を行うようにする。これによれば、背景領域を検出しなくとも当該登録画像における黒領域を確実に抽出することができ、例えば、上記基準黒領域の一部に人物などが重なっている場合であっても当該登録画像に現れている黒領域を確実に抽出できる。
上記のような黒領域抽出処理により取得画像から黒領域Ｂｎを抽出すると、ＣＰＵ５１は、抽出した黒領域Ｂｎ内における各画素の輝度値を当該登録画像における黒領域の輝度と判断する（ステップＳ５８）。当該登録画像における黒領域の輝度は、例えば、黒領域Ｂｎ内における各画素の輝度値の平均値として判断されるようになっている。
【００３４】
上記黒領域抽出処理が終了すると、ＣＰＵ５１は、上記黒領域抽出処理と同様に、当該登録画像における白領域Ｗｎを抽出する白領域抽出処理を行う（ステップＳ５９）。この白領域抽出処理も、上記黒領域抽出処理と同様に、取得画像の背景領域あるいは予め記憶されている上記基準白領域Ｗについて白領域抽出処理を行うことにより背景における白領域Ｗｎを検出するものである。
このような白領域抽出処理により取得画像から白領域Ｗｎを抽出すると、ＣＰＵ５１は、抽出した白領域Ｗｎ内における各画素の輝度値を当該登録画像における白領域の輝度と判断する（ステップＳ６０）。当該登録画像における白領域の輝度は、例えば、白領域Ｗｎ内における各画素の輝度値の平均値により判断されるようになっている。
【００３５】
上記ステップＳ５７〜Ｓ６０の輝度検出処理が終了すると、ＣＰＵ５１は、登録画像、顔の特徴量、黒領域の位置、白領域の位置、黒領域の輝度及び白領域の輝度などを辞書６０ａに登録する辞書登録処理を行う（ステップＳ６１）。この辞書登録処理により上記辞書６０ａには、上記操作部２３にて入力されたＩＤ番号およびパスワードに対応して、登録画像、登録画像から検出した顔の特徴量、登録画像における黒領域の位置、登録画像における黒領域の輝度データ、登録画像における白領域の位置、及び登録画像における白領域の輝度データなどが登録される。
なお、上記辞書６０ａの更新処理は、上記操作部２３でシステム管理者が入力した更新対象者のＩＤ番号およびパスワードに対応する、登録画像、登録画像から検出した顔の特徴量、登録画像における黒領域の位置、登録画像における黒領域の輝度データ、登録画像における白領域の位置、及び登録画像における白領域の輝度データなどを更新することにより実現される。
【００３６】
次に、登録画像の輝度に基づいて補正を行う場合の顔照合処理について説明する。
図８は、登録画像の輝度に基づいて補正を行う場合の顔照合処理を説明するためのフローチャートである。まず、顔照合処理を開始すると、ＣＰＵ５１は、上記画像入力部５４により上記カメラ２１にて撮影した画像を取得する（ステップＳ７１）。上記カメラ２１から画像を取得すると、ＣＰＵ５１は、取得画像から顔の領域を検出する顔検出処理を行う（ステップＳ７２）。
【００３７】
この顔領域検出処理により顔領域を検出すると（ステップＳ７２、ＹＥＳ）、ＣＰＵ５１は、辞書６０ａから照合対象とする登録画像における黒領域の位置、黒領域の輝度データ、白領域の位置、及び白領域の輝度データを読み出す（ステップＳ７３）。これらの情報を読み出すと、ＣＰＵ５１は、当該登録画像の黒領域に対応する取得画像における黒領域の輝度を判定する処理を行う（ステップＳ７４）。この処理では、まず、登録画像の黒領域に対応する領域について黒領域抽出処理を行って、抽出された黒領域内の輝度を判定する。すなわち、ＣＰＵ５１は、登録画像の黒領域に対応する取得画像の領域を判定し、その領域内について黒領域抽出処理を行う。これにより、登録画像の黒領域と対応する位置に人物などが重なって登録画像の黒領域と取得画像の黒領域とが完全に一致しない場合であっても、登録画像の黒領域と対応する領域内における取得画像の黒領域のみを抽出することができる。このような黒領域抽出処理により黒領域を抽出すると、ＣＰＵ５１は、抽出した黒領域における輝度を判定する処理を行う。この処理では、例えば、取得画像から抽出した黒領域における各画素の輝度値の平均値が算出される。
【００３８】
取得画像における黒領域の輝度を判定すると、ＣＰＵ５１は、登録画像における黒領域の輝度と取得画像における黒領域の輝度との輝度差を判定する（ステップＳ７５）。この判定により登録画像における黒領域の輝度と取得画像における黒領域の輝度との輝度差を判定すると、ＣＰＵ５１は、判定した輝度差に基づいて補正量としての輝度差係数Ｊを決定する（ステップＳ７６）。上記輝度差係数Ｊは、黒領域の輝度差に応じて変動する係数であり、黒領域の輝度差が小さければ小さいほど１に近い値となる。この輝度差係数Ｊを用いて取得画像を補正する場合、取得画像の各画素は、取得画像における輝度値×輝度差係数Ｊにより補正される。
【００３９】
さらに、上記ＣＰＵ５１は、当該登録画像の白領域に対応する取得画像における白領域の輝度を判定する処理を行う（ステップＳ７７）。この処理では、まず、登録画像の白領域に対応する領域について白領域抽出処理を行って、抽出された取得画像の白領域内における輝度を判定する。すなわち、ＣＰＵ５１は、登録画像の白領域に対応する取得画像の領域を判定し、その領域内について白領域抽出処理を行う。これにより、登録画像の白領域と対応する位置に人物などが重なって登録画像の白領域と取得画像の白領域とが完全に一致しない場合であっても、登録画像の白領域と対応する領域内における取得画像の白領域のみを抽出することができる。このような白領域抽出処理により白領域を抽出すると、ＣＰＵ５１は、抽出した白領域における輝度を判定する処理を行う。この処理では、例えば、取得画像から抽出した白領域における各画素の輝度値の平均値が算出される。
【００４０】
取得画像における白領域の輝度を判定すると、ＣＰＵ５１は、登録画像における白領域の輝度と取得画像における白領域の輝度との輝度差を判定する（ステップＳ７８）。この判定により登録画像における白領域の輝度と取得画像における輝度との輝度差を判定すると、ＣＰＵ５１は、判定した白領域の輝度差に基づいて補正量としての輝度差係数Ｋを決定する（ステップＳ７９）。上記輝度差係数Ｋは、白領域の輝度差に応じて変動する係数であり、白領域の輝度差が小さければ小さいほど１に近い値となる。この輝度差係数Ｋを用いて取得画像を補正する場合、取得画像の各画素は、取得画像における輝度値×輝度差係数Ｋにより補正される。
【００４１】
上記の処理により輝度差係数Ｊ及び輝度差係数Ｋを決定すると、ＣＰＵ５１は、輝度差係数Ｊ及びＫに基づいて取得画像を補正する補正処理を行う（ステップＳ８０）。取得画像の補正処理は、例えば、取得画像の各画素の輝度値に輝度係数Ｊ及びＫの平均値を乗算することにより行われる。上記補正処理により取得画像を補正すると、ＣＰＵ５１は、補正した取得画像に対して顔の特徴量検出処理を行う（ステップＳ８１）。
【００４２】
補正した取得画像から顔の特徴量を検出すると、ＣＰＵ５１は、取得画像から検出した顔の特徴量と上記辞書６０ａに登録されている顔の特徴量との照合度を算出し（ステップＳ８２）、算出した照合度が所定の照合閾値以上であるか否かを判定する（ステップＳ８３）。この判定により算出した照合度が所定の照合閾値以上である場合には照合が成功したものとし、照合度が所定の照合閾値以下である場合には照合が失敗したものとする。
【００４３】
例えば、照合が成功した場合（ステップＳ８３、ＹＥＳ）、ＣＰＵ５１は、上記表示部２２に照合可である旨を案内表示するとともに、上記ドア制御部５９により自動ドア３１を開放したり、電気錠３３を開錠したりすることにより当該人物の通行を許可する（ステップＳ８４）。また、照合が失敗した場合（ステップＳ８３、ＮＯ）、ＣＰＵ５１は、上記表示部２２に照合が不可である旨を案内表示し、自動ドア３１を閉鎖したままとしたり、電気錠３３を施錠したままとしたりすることによって当該人物の通行を不可とする（ステップＳ８５）。
【００４４】
上記のように、登録時には登録画像の輝度を記憶しておき、照合時には上記登録画像の輝度と照合画像の輝度との輝度差に基づいて照合画像の輝度を登録画像に近い状態に補正して、登録画像の顔と照合画像の顔とを照合することにより顔照合を行うようにしたものである。これにより、撮影位置における明るさが変動しても、登録時に撮影した画像の輝度と照合時に撮影した画像の輝度とを一定に保持することが可能となり、顔照合の性能が維持できる。
【００４５】
【発明の効果】
以上詳述したように、本発明によれば、顔画像の撮影位置における明るさが変化しても、安定した顔照合の性能を維持することができる顔照合装置及び顔照合方法を提供できる。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る顔照合システムの概略構成を示す図。
【図２】顔照合システムの制御系統の構成を概略的に示す図。
【図３】カメラにより撮影される画像の例と画像上の画素の構成を示す図。
【図４】黒領域を抽出する黒領域抽出処理を説明するためのフローチャート。
【図５】白領域を抽出する白領域抽出処理を説明するためのフローチャート。
【図６】基準黒領域及び基準白領域の輝度に応じて補正を行う場合の顔照合処理を説明するためのフローチャート。
【図７】辞書登録又は辞書更新の際の処理を説明するためのフローチャート。
【図８】登録画像の輝度に応じて補正を行う場合の顔照合処理を説明するためのフローチャート。
【符号の説明】
２１…カメラ、２２…表示部、２３…操作部、３１…自動ドア、３３…電気錠、５１…ＣＰＵ、５２…メモリ、５４…画像入力部、５５…画像出力部、５９…ドア制御部、６０…ハードディスク、６０ａ…辞書

Claims (10)

1. 辞書に登録されている顔画像との照合処理を行う顔照合装置において、
   特定領域の画像を撮影する撮影手段と、
   この撮影手段により撮影される特定領域内に存在する黒色の領域の画像に対する輝度を基準黒領域の輝度として記憶しておく記憶手段と、
   前記撮影手段により少なくとも人物の顔を含む照合用の画像を撮影したのに基づき、前記撮影手段で撮影した前記照合用の画像における黒領域を抽出する黒領域抽出手段と、
   この黒領域抽出手段により抽出した前記照合用の画像における黒領域の輝度と前記記憶手段により記憶されている前記基準黒領域の輝度との輝度差に基づいて、前記撮影手段で撮影した前記照合用の画像の輝度を補正する補正手段と、
   この補正手段により補正した照合用の画像における顔画像と前記辞書に登録されている顔画像との照合処理を行う照合手段と、
   を有することを特徴する顔照合装置。
2. 辞書に登録されている顔画像との照合処理を行う顔照合装置において、
   特定領域の画像を撮影する撮影手段と、
   この撮影手段により撮影される特定領域内に存在する白色の領域の画像に対する輝度を基準白領域の輝度として記憶しておく記憶手段と、
   前記撮影手段により少なくとも人物の顔を含む照合用の画像を撮影したのに基づき、前記撮影手段で撮影した前記照合用の画像における白領域を抽出する白領域抽出手段と、
   この白領域抽出手段により抽出した前記照合用の画像における白領域の輝度と前記記憶手段により記憶されている前記基準白領域の輝度との輝度差に基づいて、前記撮影手段で撮影した前記照合用の画像の輝度を補正する補正手段と、
   この補正手段により補正した照合用の画像における顔画像と前記辞書に登録されている顔画像との照合処理を行う照合手段と、
   を有することを特徴する顔照合装置。
3. 前記記憶手段により記憶される前記基準黒領域の輝度あるいは前記基準白領域の輝度は、前記撮影手段により撮影された基準とする背景画像における黒領域の輝度あるいは白領域の輝度であることを特徴とする前記請求項１又は２に記載の顔照合装置。
4. 辞書に登録されている顔画像との照合処理を行う顔照合装置において、
   特定領域の画像を撮影する撮影手段と、
   前記撮影手段により前記辞書へ登録すべき少なくとも被登録者の顔を含む登録用の画像を撮影したのに基づき、前記登録用の画像の背景領域における黒領域の輝度を前記登録用の画像に対応させて前記辞書に登録する登録手段と、
   前記撮影手段により少なくとも人物の顔を含む照合用の画像を撮影したのに基づき、前記撮影手段で撮影した前記照合用の画像の背景領域における黒領域を抽出する黒領域抽出手段と、
   この黒領域抽出手段により抽出した前記照合用の画像における黒領域の輝度と前記登録手段により前記辞書に登録されている前記登録用の画像の背景領域における黒領域の輝度との輝度差に基づいて、前記撮影手段で撮影した前記照合用の画像の輝度を補正する補正手段と、
   この補正手段により補正した照合用の画像における顔画像と前記辞書に登録されている顔画像との照合処理を行う照合手段と、
   を有することを特徴する顔照合装置。
5. 辞書に登録されている顔画像との照合処理を行う顔照合装置において、
   特定領域の画像を撮影する撮影手段と、
   前記撮影手段により前記辞書へ登録すべき少なくとも被登録者の顔を含む登録用の画像を撮影したのに基づき、前記登録用の画像の背景領域における白領域の輝度を前記登録用の画像に対応させて前記辞書に登録する登録手段と、
   前記撮影手段により少なくとも人物の顔を含む照合用の画像を撮影したのに基づき、前記撮影手段で撮影した前記照合用の画像の背景領域における白領域を抽出する白領域抽出手段と、
   この黒領域抽出手段により抽出した前記照合用の画像における白領域の輝度と前記登録手段により前記辞書に登録されている前記登録用の画像の背景領域における白領域の輝度との輝度差に基づいて、前記撮影手段で撮影した前記照合用の画像の輝度を補正する補正手段と、
   この補正手段により補正した照合用の画像における顔画像と前記辞書に登録されている顔画像との照合処理を行う照合手段と、
   を有することを特徴する顔照合装置。
6. 前記補正手段は、前記輝度差に応じた補正係数を判定し、前記撮影手段で撮影した前記照合用の画像における各画素の輝度値を前記補正係数を乗算した値に変換することにより前記照合用の画像を補正することを特徴とする前記請求項１、２、３、４又は５に記載の顔照合装置。
7. 特定領域の画像を撮影する撮影手段を有し、辞書に登録されている顔画像との照合処理を行う顔照合装置に用いられる顔照合方法であって、
   前記撮影手段により撮影される特定領域内に存在する黒色の領域の画像に対する輝度を基準黒領域の輝度として記憶手段に記憶しておく記憶工程と、
   前記撮影手段により少なくとも人物の顔を含む照合用の画像を撮影したのに基づき、前記撮影手段で撮影した前記照合用の画像における黒領域を抽出する黒領域抽出工程と、
   この黒領域抽出工程により抽出した前記照合用の画像における黒領域の輝度と前記記憶手段に記憶されている前記基準黒領域の輝度との輝度差に基づいて、前記撮影手段で撮影した前記照合用の画像の輝度を補正する補正工程と、
   この補正工程により補正した照合用の画像における顔画像と前記辞書に登録されている顔画像との照合処理を行う照合工程と、
   を有することを特徴する顔照合方法。
8. 特定領域の画像を撮影する撮影手段を有し、辞書に登録されている顔画像との照合処理を行う顔照合装置に用いられる顔照合方法であって、
   前記撮影手段により撮影される特定領域内に存在する白色の領域の画像に対する輝度を基準白領域の輝度として記憶手段に記憶しておく記憶工程と、
   前記撮影手段により少なくとも人物の顔を含む照合用の画像を撮影したのに基づき、前記撮影手段で撮影した前記照合用の画像における白領域を抽出する白領域抽出工程と、
   この白領域抽出工程により抽出した前記照合用の画像における白領域の輝度と前記記憶手段に記憶されている前記基準白領域の輝度との輝度差に基づいて、前記撮影手段で撮影した前記照合用の画像の輝度を補正する補正工程と、
   この補正工程により補正した照合用の画像における顔画像と前記辞書に登録されている顔画像との照合処理を行う照合工程と、
   を有することを特徴する顔照合方法。
9. 特定領域の画像を撮影する撮影手段を有し、辞書に登録されている顔画像との照合処理を行う顔照合装置に用いられる顔照合方法であって、
   特定領域の画像を撮影する撮影手段により前記辞書へ登録すべき少なくとも被登録者の顔を含む登録用の画像を撮影したのに基づき、前記登録用の画像の背景領域における黒領域の輝度を前記登録用の画像に対応させて前記辞書に登録する登録工程と、
   前記撮影手段により少なくとも人物の顔を含む照合用の画像を撮影したのに基づき、前記撮影手段で撮影した前記照合用の画像の背景領域における黒領域を抽出する黒領域抽出工程と、
   この黒領域抽出工程により抽出した前記照合用の画像における黒領域の輝度と前記登録工程により前記辞書に登録されている前記登録用の画像の背景領域における黒領域の輝度との輝度差に基づいて、前記撮影手段で撮影した前記照合用の画像の輝度を補正する補正工程と、
   この補正工程により補正した照合用の画像における顔画像と前記辞書に登録されている顔画像との照合処理を行う照合工程と、
   を有することを特徴する顔照合方法。
10. 特定領域の画像を撮影する撮影手段を有し、辞書に登録されている顔画像との照合処理を行う顔照合装置に用いられる顔照合方法であって、
    特定領域の画像を撮影する撮影手段により前記辞書へ登録すべき少なくとも被登録者の顔を含む登録用の画像を撮影したのに基づき、前記登録用の画像の背景領域における白領域の輝度を前記登録用の画像に対応させて前記辞書に登録する登録工程と、
    前記撮影手段により少なくとも人物の顔を含む照合用の画像を撮影したのに基づき、前記撮影手段で撮影した前記照合用の画像の背景領域における白領域を抽出する白領域抽出工程と、
    この白領域抽出工程により抽出した前記照合用の画像における白領域の輝度と前記登録工程により前記辞書に登録されている前記登録用の画像の背景領域における白領域の輝度との輝度差に基づいて、前記撮影手段で撮影した前記照合用の画像の輝度を補正する補正工程と、
    この補正工程により補正した照合用の画像における顔画像と前記辞書に登録されている顔画像との照合処理を行う照合工程と、
    を有することを特徴する顔照合方法。

Images