JP2006040151A - 顔認証装置、顔認証方法および通行制御装置 - Google Patents

Abstract

【課題】外光などによる設置環境や設置条件の影響を受けずに、写真等の平面画像を利用しての他人の成り済ましをより高精度に防止することが可能となる顔認証装置を提供する。
【解決手段】被認証者の顔画像をカメラで撮影し、得られた顔画像を辞書情報と照合することにより当該被認証者が本人であるか否かを判定する顔認証装置において、カメラのレンズ中心点（視野角中心点）を被認証者の顔の特徴点と相対向させた後、カメラから被認証者の顔の特徴点までの距離を測定し、この測定した距離が適性値である場合、カメラから被認証者の顔の特徴点までの距離を測定する距離測定用センサの向きを移動させることにより、被認証者の顔の特徴点周辺の凹凸を検出し、凹凸が検出できた場合に顔照合処理を実行する。
【選択図】 図１

Description

本発明は、たとえば、被認証者の顔画像を基に被認証者が本人であるか否かを認証する顔認証装置および顔認証方法に関する。
また、本発明は、たとえば、上記顔認証装置を用いて通行者の通行（たとえば、重要施設の入退室など）を制御する通行制御装置に関する。

最近、たとえば、セキュリティ管理などにおいて、被認証者の顔画像を基に被認証者が本人であるか否かを認証する顔認証装置が開発されている。
一般に、この種の顔認証装置は、顔画像を入力するためのカメラやカラー液晶表示部などを備えた操作部と、認証処理などを行なうための認証エンジンやカメラ制御部などを備えた制御部とによって構成されていて、操作部のカメラからの入力画像を液晶表示部に表示しながら、被認証者の顔画像を取得して、顔の特徴点を抽出し、この抽出した特徴点を辞書情報として登録する。

その後は、カメラからの入力画像を液晶表示部に表示しながら、被認証者の顔画像を取得する度に、顔の特徴点を抽出して、この抽出した特徴点をあらかじめ登録された辞書情報と照合することにより、被認証者が本人であるか否かを認証するようになっている。

このような顔認証装置において、照明装置を用いて被認証者の顔部分に光を照射し、この光照射により顔部品の凹凸によって生じる陰影により、被認証者が人間であるか否かを判定する方法が知られている（たとえば、特許文献１参照）。
特開平１１−３３９０４８号公報

しかし、従来の複数の照明装置を必要とする顔認証装置では以下のような問題がある。

（１）顔部品の凹凸を検出するために、照明装置で被認証者の顔部分に光を照射しているが、たとえば、太陽光や室内照明光などの外部光の影響を受けてしまうので、設置環境や設置場所が限定される。

（２）顔部品の凹凸を検出するために、照明装置で被認証者の顔部分に光を照射しているが、たとえば、太陽光や室内照明光などの外部光の影響を受ける場所に設置した場合、顔部品の凹凸を正しく検出ができない。

（３）照明装置を設置するために広範囲の設置スペースが必要となる。

（４）被認証者の顔部分に照明光を照射した画像と照明光を照射していない画像を撮影するため、顔照合の処理に時間がかかる。

そこで、本発明は、外光などによる設置環境や設置条件の影響を受けずに、写真等の平面画像を利用しての他人の成り済ましをより高精度に防止することが可能となる顔認証装置、顔認証方法および通行制御装置を提供することを目的とする。

本発明の顔認証装置は、被認証者の少なくとも顔画像を撮影して入力する画像入力手段と、この画像入力手段の角度を可変する角度可変手段と、前記画像入力手段から得られる顔画像から顔の特徴点を検出し、この検出した顔の特徴点の位置情報と前記画像入力手段の初期位置情報とから前記画像入力手段を駆動すべき角度と方向を算出する制御量算出手段と、この制御量算出手段により算出された角度と方向に基づき前記角度可変手段を制御することにより前記画像入力手段の視野角の中心点を前記顔の特徴点と相対向させる角度制御手段と、この角度制御手段により前記画像入力手段の視野角の中心点を前記顔の特徴点と相対向させた後、前記画像入力手段から前記被認証者の顔の特徴点までの距離を測定する距離測定手段と、この距離測定手段により測定された前記画像入力手段から前記被認証者の顔の特徴点までの距離が適性値であるか否かを判定する判定手段と、この判定手段による判定の結果、前記画像入力手段から前記被認証者の顔の特徴点までの距離が適性値である場合、前記画像入力手段から得られる顔画像とあらかじめ登録された辞書情報とを照合することにより当該被認証者が本人であるか否かを判定する照合手段とを具備している。

また、本発明の顔認証方法は、撮像手段を用いて被認証者の少なくとも顔画像を撮影して入力する画像入力ステップと、この画像入力ステップにより得られる顔画像から顔の特徴点を検出し、この検出した顔の特徴点の位置情報と前記撮像手段の初期位置情報とから前記撮像手段を駆動すべき角度と方向を算出する制御量算出ステップと、この制御量算出ステップにより算出された角度と方向に基づき前記撮像手段の角度を可変する角度可変手段を制御することにより前記撮像手段の視野角の中心点を前記顔の特徴点と相対向させる角度制御ステップと、この角度制御ステップにより前記撮像手段の視野角の中心点を前記顔の特徴点と相対向させた後、前記撮像手段から前記被認証者の顔の特徴点までの距離を測定する距離測定ステップと、この距離測定ステップにより測定された前記撮像手段から前記被認証者の顔の特徴点までの距離が適性値であるか否かを判定する判定ステップと、この判定ステップによる判定の結果、前記撮像手段から前記被認証者の顔の特徴点までの距離が適性値である場合、前記画像入力ステップにより得られる顔画像とあらかじめ登録された辞書情報とを照合することにより当該被認証者が本人であるか否かを判定する照合ステップとを具備している。

さらに、本発明の通行制御装置は、通行者の少なくとも顔画像を撮影して入力する画像入力手段と、この画像入力手段の角度を可変する角度可変手段と、前記画像入力手段から得られる顔画像から顔の特徴点を検出し、この検出した顔の特徴点の位置情報と前記画像入力手段の初期位置情報とから前記画像入力手段を駆動すべき角度と方向を算出する制御量算出手段と、この制御量算出手段により算出された角度と方向に基づき前記角度可変手段を制御することにより前記画像入力手段の視野角の中心点を前記顔の特徴点と相対向させる角度制御手段と、この角度制御手段により前記画像入力手段の視野角の中心点を前記顔の特徴点と相対向させた後、前記画像入力手段から前記通行者の顔の特徴点までの距離を測定する距離測定手段と、この距離測定手段により測定された前記画像入力手段から前記通行者の顔の特徴点までの距離が適性値であるか否かを判定する判定手段と、この判定手段による判定の結果、前記画像入力手段から前記通行者の顔の特徴点までの距離が適性値である場合、前記画像入力手段から得られる顔画像とあらかじめ登録された辞書情報とを照合することにより当該通行者が本人であるか否かを判定する照合手段と、この照合手段の判定結果に応じて当該通行者の通行を制御する通行制御手段とを具備している。

本発明によれば、画像入力手段の中心点を顔の特徴点と相対向させた後、画像入力手段から顔の特徴点までの距離を測定し、この測定した距離が適性値である場合に顔照合処理を実行することにより、外光などによる設置環境や設置条件の影響を受けずに、写真等の平面画像を利用しての他人の成り済ましをより高精度に防止することが可能となる顔認証装置、顔認証方法および通行制御装置を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
図１は、本実施の形態に係る顔認証装置を用いた通行制御装置の構成を概略的に示すものである。図１において、操作部１は、この例では、被認証者の顔画像（少なくとも顔を含んでいる画像）を撮影して入力する画像入力手段としてのビデオカメラ（以降、単にカメラと略称する）２、カメラ２の角度を可変する角度可変手段としてのカメラ駆動部３、カメラ２から被認証者の顔の特徴点までの距離を測定する距離測定手段としての距離測定用センサ４、距離測定用センサ４の角度を可変する第２の角度可変手段としてのセンサ駆動部５、カメラ２で入力された被認証者の顔画像や各種操作案内などを表示する案内手段としての表示部（たとえば、カラー液晶表示器）６、被認証者が自己固有の識別情報としてのＩＤ番号やパスワードなどを入力する入力手段としてのキーボード７、および、被認証者に対して各種音声案内などを行なう音声案内手段としてのスピーカ８を備えていて、被認証者の顔部分と相対向する部分に設置される。

距離測定用センサ４は、たとえば、超音波を対象物（被認証者）に対し照射し、その反射波を拾うことによって起こるドップラー効果を利用し、当該センサ４（カメラ２）から被認証者の顔の特徴点（たとえば、鼻等）までの距離を求めるもので、後述するようにカメラ２のセンタライン上に設置される。

操作部１は制御部２３に接続されている。すなわち、操作部１のカメラ２、カメラ駆動部３、距離測定用センサ４、センサ駆動部５、表示部６、キーボード７、スピーカ８は、それぞれカメラ制御部９、センサ制御部１０、表示制御部１１、キー入力制御部１２、音声制御部１３を介して主制御部（制御手段）１４に接続されている。

照明手段としての照明灯１５は、カメラ２による顔画像の撮影時に被認証者の顔部分を照明するもので、照明制御部１６を介して主制御部１４に接続されている。
距離測定手段としての人感センサ１７は、カメラ２から被認証者までの距離を測定するもので、センサ制御部１８を介して主制御部１４に接続されている。人感センサ１７は、たとえば、超音波を対象物（被認証者）に対し照射し、その反射波を拾うことによって起こるドップラー効果を利用し、当該センサ１７（カメラ２）から被認証者までの距離（Ｄ／ｓｉｎγ）を求めるようになっている。

主制御部１４には、顔画像による照合処理を行なう照合手段としての照合処理部１９、辞書記憶手段としての辞書記憶部２０、および、ゲート制御部２１がそれぞれ接続されている。辞書記憶部２０には、たとえば、あらかじめ被認証者のＩＤ番号に対応させて複数の辞書情報が記憶（登録）されている。

このような構成において、カメラ２で入力された被認証者の顔画像、および、キーボード５で入力された被認証者のＩＤ番号は、カメラ制御部９、キー入力制御部１２、主制御部１４を介して照合処理部１９へ送られる。照合処理部１９は、入力されたＩＤ番号に対応する辞書情報を辞書記憶部２０から選択し、この選択した辞書情報と入力された顔画像とを照合することにより被認証者が本人であるか否かを認証し、その認証結果を主制御部１４へ送るようになっている。

主制御部１４は、照合処理部１９からの認証結果に基づき、ゲート制御部２１を介して通行ゲート２２の開閉制御を行なうことにより、被認証者（通行者）の通行を制御する。通行ゲート２２は、たとえば、住宅の玄関に設置された入退出用ドア、あるいは、重要施設の入退出用ドアなどである。ここに、ゲート制御部２１および通行ゲート２２は通行制御手段を構成している。

図２は、操作部１の外観構成および操作部１に対する距離測定用センサ４、照明灯１５および人感センサ１７の配置の具体例を示すものである。すなわち、操作部１の前面には、カメラ２（カメラ駆動部３）、距離測定用センサ４（センサ駆動部５）、表示部６、キーボード７およびスピーカ８がそれぞれ設けられている。この場合、表示部６の下方にカメラ２（カメラ駆動部３）および距離測定用センサ４（センサ駆動部５）が設けられ、カメラ２の側部にキーボード７が設けられ、表示部６の側部にスピーカ８が設けられている。そして、操作部１の上部に照明灯１５が配設され、操作部１の下部に人感センサ１７が配設されている。

図３は、カメラ駆動部３およびセンサ駆動部５の具体的な構成例を模式的に示すものである。すなわち、カメラ支持体３１にはカメラ２が固定されている。カメラ支持体３１は、回転軸３２に固定されていて、回転軸３２とともに回動するようになっている。回転軸３２には、カメラ支持体３１の回転角を検出するカメラ用エンコーダ部３３が同軸的に固定されている。カメラ用エンコーダ部３３は、カメラ用無端ベルト３４を介してカメラ用ステッピングモータ（以後、単にカメラ用モータと略称する）３５で回転駆動される。

これにより、カメラ用モータ３５の回転力がカメラ用エンコーダ部３３に伝達され、カメラ用エンコーダ部３３が回転することによりカメラ支持体３１（カメラ２）が仰角方向（上下方向）に回動し、カメラ２のレンズ向き方向の角度が仰角方向に所定範囲変更可能となっている。なお、符号３６はカメラ支持体３１の初期位置を検知するカメラ用初期位置センサである。
カメラ支持体３１（カメラ２）の初期位置は、カメラ２のレンズの中心点が所定角度上方を向いた状態に設定されている。この状態から、たとえば、所定の角度上方に回転させた状態が図４（ａ）である。

また、センサ支持体３７には距離測定用センサ４が固定されている。センサ支持体３７は、回転軸３２に固定されていて、回転軸３２とともに回動するようになっている。回転軸３２には、センサ支持体３７の回転角を検出するセンサ用エンコーダ部３８が同軸的に固定されている。センサ用エンコーダ部３８は、センサ用無端ベルト３９を介してセンサ用ステッピングモータ（以後、単にセンサ用モータと略称する）４０で回転駆動される。

これにより、センサ用モータ４０の回転力がセンサ用エンコーダ部３８に伝達され、センサ用エンコーダ部３８が回転することによりセンサ支持体３７（距離測定用センサ４）がカメラ２と同様に仰角方向（上下方向）に回動し、距離測定用センサ４の向き方向の角度が仰角方向に所定範囲変更可能となっている。なお、符号４１はセンサ支持体３７の初期位置を検知するセンサ用初期位置センサである。
センサ支持体３７（距離測定用センサ４）の初期位置は、カメラ２と同様、距離測定用センサ４の中心点が所定角度上方を向いた状態に設定されている。この状態から、たとえば、所定の角度上方に回転させた状態が図４（ｂ）である。

なお、上記説明では、カメラ２および距離測定用センサ４を仰角方向（上下方向）に回動駆動する手段について述べている。しかし、図示は省略するが、カメラ２および距離測定用センサ４を水平方向に回動駆動する手段も設けられている。

次に、このような構成において、カメラ２および距離測定用センサ４の中心合わせを主体にした動作を図５および図６に示すフローチャートを参照して説明する。
被認証者が操作部１の前に位置すると、人感センサ１７が反応してその出力値が変動し、これにより主制御部１４は被認証者が操作部１の前に位置したことを判別する（ステップＳ１）。

次に、主制御部１４は、このときカメラ２で撮影された被認証者の顔画像をカメラ２の出力から取込み（ステップＳ２）、この取込んだ画像内に人物（被認証者）が存在するか否かをチェックする（ステップＳ３）。このチェックは、たとえば、人感センサ１７が反応したと思われる部位を入力画像から判別することにより行なう。ここで人物の存在が検知できなかった場合はステップＳ１に戻る。

ステップＳ３で人物が検知できた場合、主制御部１４は、入力画像から顔領域（顔画像）を切り出すことにより、顔が存在するか否かをチェックする（ステップＳ４）。このチェックは、たとえば、入力画像から顔の特徴情報として両目および両鼻孔を検出し、両目および両鼻孔が検出できたとき顔が存在すると判定する。ここで顔領域が切り出せなかった場合はステップＳ２に戻る。

ステップＳ４で顔領域が切り出せた場合、主制御部１４は、入力画像内のどこに顔領域が存在するか、その顔領域の位置（顔画像位置）を算出し、この算出した位置情報からカメラ２の制御量を算出する（ステップＳ５）。なお、顔画像位置の算出は、たとえば、ステップＳ４で検出した両目および両鼻孔の位置情報などを用いて行なわれる。ここに、ステップＳ５の処理が本発明における制御量算出手段に対応している。

すなわち、一般にカメラのレンズの周辺部は画像の歪みが大きくなる傾向にあるため、顔画像の特徴点の位置が画像領域の中央部になるように、カメラ２の仰角および水平角を調整する。
カメラ２の仰角および水平角は、主制御部１４内で演算された画像領域内の顔画像の特徴点が存在する位置の位置情報とカメラ２の初期位置とから、カメラ２の制御量、つまりカメラ２を動かすべき仰角θ、水平角γおよび駆動方向を算出する（ステップＳ５）。

次に、主制御部１４は、ステップＳ５で求めた仰角θ、水平角γおよび駆動方向に基づきカメラ用モータ３５を駆動する。このカメラ用モータ３５の動力がカメラ用無端ベルト３４およびカメラ支持体３１を介してカメラ２の回転運動に変換される。また、この回転角は、カメラ用エンコーダ部３３もしくはカメラ用モータ３５の回転角自体により制御される（ステップＳ６）。ここに、ステップＳ６の処理が本発明における角度制御手段に対応している。

この動作により、カメラ２のセンタラインの延長線上（視野角の中心点）へ顔の特徴点を配置することが可能となる。したがって、最も歪みが少ない位置へ顔の特徴点を配置することができるため、安定した顔画像を取得することが可能となり、カメラ２のレンズによる画像歪みを削減することが可能となる。

また、あらかじめ記録されているカメラ２の仰角とカメラ２の移動仰角とを足し合わせることにより、最終的なカメラ２の仰角θがあらかじめ記録されているカメラ２の水平角とカメラ２の移動水平角とを足し合わせることにより、最終的なカメラ２の水平角γが得られる。

次に、主制御部１４は、距離測定用センサ４から被認証者の顔の特徴点までの距離Ｌを求めるために、距離測定用センサ４がカメラ２のセンタライン上に位置するように、距離測定用センサ４の仰角および水平角を調整する。

距離測定用センサ４の仰角および水平角は、主制御部１４内で演算された画像領域内の顔画像の特徴点が存在する位置の位置情報と距離測定用センサ４の初期位置とから、距離測定用センサ４の制御量、つまり距離測定用センサ４を動かすべき仰角θ、水平角γおよび駆動方向を算出する（ステップＳ７）。ここに、ステップＳ７の処理が本発明における制御量算出手段に対応している。

次に、主制御部１４は、ステップＳ７で求めた仰角θ、水平角γおよび駆動方向に基づき距離測定用センサ４を駆動する。この距離測定用センサ４の動力がセンサ用無端ベルト３９およびセンサ支持体３７を介して距離測定用センサ４の回転運動に変換される。また、この回転角は、センサ用エンコーダ部３８もしくはセンサ用モータ４０の回転角自体により制御される（ステップＳ８）。ここに、ステップＳ８の処理が本発明における角度制御手段に対応している。

この動作により、カメラ２のセンタラインと距離測定用センサ４の光軸ラインとを一致させて、光軸ラインの延長線上へ顔の特徴点を配置し、距離測定用センサ４から被認証者の顔の特徴点までの距離Ｌを測定することが可能となる。

また、あらかじめ記録されている距離測定用センサ４の仰角とカメラ２の移動仰角とを足し合わせることにより、最終的な距離測定用センサ４の仰角θがあらかじめ記録されている距離測定用センサ４の水平角と距離測定用センサ４の移動水平角とを足し合わせることにより、最終的な距離測定用センサ４の水平角γが得られる。

なお、ステップＳ７，Ｓ８における距離測定用センサ４の角度変更は、ステップＳ５，Ｓ６におけるカメラ２の角度変更と同時に行なうようにしてもよい。

このようにして、カメラ２および距離測定用センサ４の角度変更を行なった後、主制御部１４は、距離測定用センサ４を用いて、距離測定用センサ４から被認証者の顔の特徴点までの距離Ｌを測定し（ステップＳ９）、その測定した距離Ｌが適性値か否かをチェックする（ステップＳ１０）。ここに、ステップＳ９の処理が本発明における距離測定手段に対応し、ステップＳ１１の処理が本発明における判定手段に対応している。

すなわち、図７に示すように、角度変更後の距離測定用センサ４の仰角θと、距離測定用センサ４の水平角γと、本顔認証装置から被認証者までの距離Ｄと、距離Ｌとの関係は下記式で表現できる。また、横から見た本顔認証装置２５と被認証者Ｍとの関係図を図８に示す。なお、図７において、原点位置にカメラ２および距離測定用センサ４が位置するものとし、ＸＺ平面上に本顔認証装置が位置するものとする。
Ｄ＝Ｌ×ｓｉｎγ×ｃｏｓθ
顔照合する被認証者Ｍが人物である場合、顔認証装置２５から一定の距離Ｄｍｉｎ以上離れている必要がある。最低距離Ｄｍｉｎと距離Ｌとの関係は下記式で表現できる。
Ｌ≧Ｄｍｉｎ÷ｃｏｓθ÷ｓｉｎγ
したがって、距離Ｌが一定値以上でない場合には、カメラ２から被認証者Ｍの顔の特徴点までの距離が不正であり、切り出された顔画像が人物以外の、たとえば、写真などの画像データによるなりすましかを判別できる。

図９に示すように、距離Ｌ′にて顔画像が切り出された場合、距離測定用センサ４の仰角θ′と、距離測定用センサ４の水平角γ′と、本顔認証装置２５から被認証物２６までの距離Ｄ′との関係は、
Ｄ′＝Ｌ′×ｃｏｓ（θ′）×ｓｉｎ（γ′）≦Ｄｍｉｎ
となり、人物以外（たとえば、写真等）の照合によるなりすましかが判別できる。

ステップＳ１０において、測定した距離Ｌが適性値である場合、すなわち、距離Ｌが一定値以上である場合、主制御部１４は、距離測定用センサ４を用いて、被認証者の顔の特徴点周辺の凹凸を検出する（ステップＳ１１）。ここに、ステップＳ１１の処理が本発明における凹凸検出手段に対応している。

以下、顔の特徴点周辺の凹凸検出処理の第１の例について、図１０に示すフローチャートを参照して詳細に説明する。
まず、主制御部１４は、ステップＳ９と同様に、距離測定用センサ４を用いて、距離測定用センサ４から被認証者の顔の特徴点までの距離Ｌを測定する（ステップＳ２１）。次に、主制御部１４は、センサ駆動部５を制御することにより、距離測定用センサ４を、図１１に示すように例えば仰角方向に＋Δθほど回転移動させたときの距離Ｌ_＋Δθ、および、仰角方向に−Δθほど回転移動させたときの距離Ｌ_−Δθ、また、図１２に示すように例えば水平角方向に＋Δγほど回転移動させたときの距離Ｌ_＋Δγ、および、例えば水平角方向に−Δγほど回転移動させたときの距離Ｌ_−Δγをそれぞれ測定し（ステップＳ２２〜Ｓ２５）、この測定した各距離を先に求めた距離Ｌとそれぞれ比較することで、顔の特徴点周辺における顔特有の凹凸を検出する（ステップＳ２６）。

このとき検出した凹凸の情報が、顔の特徴点固有の情報、たとえば、顔の上下方向であれば、図１３（ａ）および図１４（ａ）に示すように、鼻の頭と鼻根部と唇の間との関係、顔の水平方向であれば、図１３（ｂ）および図１４（ｂ）に示すように、鼻の頭と頬との間の関係、を調べることにより、顔画像として切り出された被認証物が人物かそれ以外の写真等の画像データによるなりすましかを判別できる。ここに、図１３は被認証物が人物Ｍである場合の凹凸検出の状態を示し、図１４は人物以外の被認証物２６である場合の凹凸検出の状態を示している。

なお、ステップＳ２６のように、仰角方向において、ＬとＬ_＋Δθとの比較、ＬとＬ_−Δθとの比較のように、２点での距離の比較により凹凸を検出するのではなく、仰角θを軸に−Δθ〜＋Δθの移動を行なう間、連続的に距離を測定することで、凹凸を検出してもよい。

また、距離測定用センサ４の光軸ラインの延長線上へ顔の特徴点を一致させた後、凹凸を検出するために距離測定用センサ４を回転移動させる方向は、上下方向や水平方向でなくてもよく、たとえば、その中間方向、あるいは、いずれか一方の方向であってもよい。

また、凹凸の検出は、距離測定用センサ４が顔の特徴点に向いた後ではなく、距離測定用センサ４の仰角と水平角を調整し、距離測定用センサ４の光軸ラインが顔の特徴点に向く過程で、距離測定用センサ４と顔の特徴点周辺のある特徴点との距離を測定し、顔の特徴点との距離Ｌを比較することで、顔の特徴点周辺における凹凸の検出を行なってもよい。

さらに、カメラ２および距離測定用センサ４のセンタライン上に被認証者の顔の特徴点が来るようにガイダンスすれば、カメラ２と距離測定用センサ４の向きを移動させることなく、カメラ２と距離測定用センサ４の向きを固定させたまま、カメラ２と顔の特徴点までの距離Ｌを測定できる。また、ガイダンスにより、被認証者に顔の向きを移動させれば、カメラ２と距離測定用センサ４を固定させたまま、カメラ２と顔の特徴点までの距離Ｌと、顔の特徴点と特徴点周辺の凹凸を検出できる。

次に、主制御部１４は、ステップＳ１１において顔の特徴点周辺の凹凸が検出されたか否かをチェックし（ステップＳ１２）、顔の特徴点周辺の凹凸が検出された場合、照合処理部１９による顔照合処理を実施する（ステップＳ１３）。顔照合処理には、ＩＤ番号やパスワードの入力を必要とする１対１照合と、ＩＤ番号やパスワードの入力を必要としない１対Ｎ照合とがある。

１対１照合の場合、あらかじめ被認証者がキーボード７からＩＤ番号を入力しておくことにより、カメラ２が取込んだ顔画像から特徴情報を抽出するとともに、先に入力されたＩＤ番号に対応する辞書情報を辞書記憶部２０から選択し、この選択した辞書情報と上記抽出した特徴情報とを照合することにより、被認証者が本人であるか否かを判定し、その判定結果を主制御部１４へ送る。

１対Ｎ照合の場合、ＩＤ番号の入力は行なわず、カメラ２が取込んだ顔画像から特徴情報を抽出し、この抽出した特徴情報を辞書記憶部２０に登録されている全ての辞書情報とそれぞれ照合することにより、被認証者が本人であるか否かを判定し、その判定結果を主制御部１４へ送る。

主制御部１４は、照合処理部１９から判定結果を受けると、その判定結果を参照することにより認証成功か否かを判定し、認証成功の場合、すなわち、入力された顔画像と辞書情報とが一致した場合、操作部１のスピーカ８に認証成功の音声案内を出力するとともに、表示部６に認証終了の案内を表示して、ゲート制御部２１にゲート開放命令を送る。ゲート制御部２１は、主制御部１４からのゲート開放命令を受けると、通行ゲート２２を開放し、被認証者（通行者）の通行を許可する。

一方、認証不成功の場合、すなわち、入力された顔画像と辞書情報とが不一致の場合、主制御部１４は、操作部１のスピーカ８に認証不成功の音声案内を出力するとともに、表示部６に認証未終了の案内を表示して、当該認証処理を終了する。

なお、ステップＳ１２におけるチェックの結果、顔の特徴点周辺の凹凸が検出されなかった場合、あるいは、ステップＳ１０におけるチェックの結果、測定した距離Ｌが適性値でない場合、主制御部１４は、照合処理部１９による顔照合処理を行なわないよう制御するとともに、操作部１の表示部６およびスピーカ８により、たとえば、写真等によるなりすましであるから照合不可能である旨の案内を行ない、当該認証処理を終了する（ステップＳ１４）。

次に、顔の特徴点周辺の凹凸検出処理の第２の例について説明する。
第２の例においては、第１の例のように１つの距離測定用センサ４をカメラ２のセンタライン上に配設せず、複数個の距離測定用センサを用いることにより、カメラ２から顔の特徴点までの距離Ｌおよび顔の特徴点と特徴点周辺の凹凸を検出するものであり、以下、具体的に説明する。

たとえば、図１５に示すように、２個の距離測定用センサ４ａ，４ｂをカメラ２のセンタラインと垂直な平面上に配設し、図１７に示すフローチャートにしたがった処理を実行する。

すなわち、ステップＳ４で顔領域が切り出せた場合、主制御部１４は、距離測定用センサ４ａ，４ｂの光軸ラインを被認証者Ｍの顔の特徴点に向け、距離測定用センサ４ａから顔の特徴点までの距離Ｌ_ｂ１と、距離測定用センサ４ｂから顔の特徴点までの距離Ｌ_ｂ２をそれぞれ求め、この求めた距離Ｌ_ｂ１,Ｌ_ｂ２に基づきカメラ２から顔の特徴点までの距離Ｌを算出する（ステップＳ３１）。
前述したように、カメラ２から顔の特徴点までの距離Ｌが一定値以上でない場合には、カメラ２から顔の特徴点までの距離は不正であり、顔画像として切り出した被認証物が人物以外の被認証物２６であることがわかる。

次に、主制御部１４は、距離測定用センサ４ａ，４ｂを同一の移動量で、たとえば、図１５に示すように、カメラ２のセンタラインと垂直な平面上に距離測定用センサ４ａ，４ｂがある場合、上下方向に距離±Δ_Ｚ、水平方向に±Δ_Ｘ、それぞれ振らす（移動する）ことにより（ステップＳ３２）、距離測定用センサ４ａを顔の特徴点に向けたときの水平角γ_ｂ１、距離測定用センサ４ｂを顔の特徴点に向けたときの水平角γ_ｂ２、距離測定用センサ４ａを顔の特徴点に向けたときの仰角θ_ｂ１、距離測定用センサ４ｂを顔の特徴点に向けたときの仰角θ_ｂ２をそれぞれ測定し、これら各測定値γ_ｂ１，γ_ｂ２，θ_ｂ１，θ_ｂ２と距離測定用センサ４ａから顔の特徴点までの距離Ｌ_ｂ１、距離測定用センサ４ｂから顔の特徴点までの距離Ｌ_ｂ２との関係をそれぞれ比較することにより、顔の特徴点と特徴点周辺の凹凸を検出する（ステップＳ３３）。これらγ_ｂ１，γ_ｂ２，θ_ｂ１，θ_ｂ２，Ｌ_ｂ１,Ｌ_ｂ２の間には下記式の関係がある。
Ｌ_ｂ１×ｃｏｓθ_ｂ１×ｓｉｎγ_ｂ１＝Ｌ_ｂ２×ｃｏｓθ_ｂ２×ｓｉｎγ_ｂ２
たとえば、距離測定用センサ４ａ，４ｂの向きを図１６に示すように水平方向にΔ_Ｘ移動させた場合、距離測定用センサ４ａの水平角γ_ｂ１′と、距離測定用センサ４ｂの水平角γ_ｂ２′と、距離測定用センサ４ａと被測定物までの距離Ｌ_ｂ１′と、距離測定用センサ４ｂと被測定物までの距離Ｌ_ｂ２′との関係は下記式の何れかとなる。
(1) Ｌ_ｂ１′×ｃｏｓ(θ_ｂ１′)×ｓｉｎ(γ_ｂ１′)
≦Ｌ_ｂ２′×ｃｏｓ(θ_ｂ２′)×ｓｉｎ(γ_ｂ２′)
(2) Ｌ_ｂ１′×ｃｏｓ(θ_ｂ１′)×ｓｉｎ(γ_ｂ１′)
＝Ｌ_ｂ２′×ｃｏｓ(θ_ｂ２′)×ｓｉｎ(γ_ｂ２′)
(3) Ｌ_ｂ１′×ｃｏｓ(θ_ｂ１′)×ｓｉｎ(γ_ｂ１′)
≧Ｌ_ｂ２′×ｃｏｓ(θ_ｂ２′)×ｓｉｎ(γ_ｂ２′)
顔画像として切り出された被認証物２６に凹凸がある場合、上記式（１）〜（３）の変化を繰り返す。このときの変化が顔の特徴点固有の情報、たとえば、顔の上下方向であれば、鼻の頭と鼻根部と唇の間との関係、顔の水平方向であれば、鼻の頭と頬の間との関係、を調べることにより、顔画像として切り出された被認証物２６が人物かそれ以外の写真等の画像データによるなりすましかを判別できる。

顔画像として切り出された被認証物２６が平面で、たとえば、カメラ２のセンタラインと垂直な平面と平行に位置する場合は、水平方向にΔ_Ｘ移動させても、上記式（１）だけ、もしくは上記式（２）だけ、もしくは上記式（３）だけの関係式が成り立つ。

なお、距離測定用センサ４ａ，４ｂは、それぞれの配置された位置情報を、たとえば、カメラ２のセンタラインと垂直な平面上に投影すれば、カメラ２のセンタラインと垂直な平面上になくてもよい。
また、凹凸を検出するために距離測定用センサ４ａ，４ｂを回転移動させる方向は、上下方向や水平方向でなくてもよく、たとえば、その中間方向、あるいは、いずれか一方の方向であってもよい。
また、凹凸の検出は、距離測定用センサ４ａ，４ｂを顔の特徴点に向ける際に行なってもよい。また、距離測定用センサ４ａ，４ｂのどちらかをカメラ２のセンタライン上に配設してもよい。さらに、距離測定用センサが３個以上の複数の場合も同様に実施できる。

次に、顔の特徴点周辺の凹凸検出処理の第３の例について説明する。
第３の例においては、第２の例と同様、複数個の距離測定用センサを用いることにより、カメラ２から顔の特徴点までの距離Ｌおよび顔の特徴点と特徴点周辺の凹凸を検出するものであり、以下、具体的に説明する。

たとえば、図１８に示すように、多数の距離測定用センサ４，４，…をカメラ２の周囲で、カメラ２のセンタラインと垂直な平面上に格子状に配設し、図１９に示すフローチャートにしたがった処理を実行する。なお、多数の距離測定用センサ４，４，…は、その各光軸ラインがカメラ２のセンタラインと平行になるよう配置する。そして、多数の距離測定用センサ４，４，…のうち、カメラ２のセンタライン上にある距離測定用センサ４を４_１とする。

ステップＳ４で顔領域が切り出せた場合、主制御部１４は、まず、距離測定用センサ４_１を用いてカメラ２から顔の特徴点までの距離Ｌを測定する（ステップＳ４１）。次に、距離測定用センサ４_１以外の距離測定用センサを用いて顔の特徴点までの距離をそれぞれ測定する。

すなわち、説明を簡単にするため、たとえば、５個の距離測定用センサ４_１〜４_５を用いた場合を説明すると、距離測定用センサ４_１以外の距離測定用センサ４_２〜４_５で、各距離測定用センサ４_２〜４_５から被認証物２６までの距離Ｌ_２、距離Ｌ_３、距離Ｌ_４、距離Ｌ_５をそれぞれ測定する（ステップＳ４２）。

次に、主制御部１４は、先に求めた距離Ｌと距離Ｌ_２、距離Ｌと距離Ｌ_３、距離Ｌ距離Ｌ_４、距離Ｌと距離Ｌ_５をそれぞれ比較することにより、顔の特徴点と特徴点周辺の凹凸を検出する（ステップＳ４３）。

このとき検出した凹凸の情報が、顔の特徴点固有の情報、たとえば、顔の上下方向であれば、図２０（ａ）および図２１（ａ）に示すように、鼻の頭と鼻根部と唇の間との関係、顔の水平方向であれば、図２０（ｂ）および図２１（ｂ）に示すように、鼻の頭と頬との間の関係、を調べることにより、顔画像として切り出された被認証物が人物かそれ以外の写真等の画像データによるなりすましかを判別できる。ここに、図２０は被認証物が人物Ｍである場合の凹凸検出の状態を示し、図２１は人物以外の被認証物２６である場合の凹凸検出の状態を示している。

以上説明したように、上記実施の形態によれば、カメラのセンタラインを被認証者の顔の特徴点と相対向させた後、距離測定用センサによりカメラから被認証者の顔の特徴点までの距離を測定し、この測定した距離が適性値である場合に顔照合処理を実行する、さらには、測定した距離が適性値である場合、カメラから被認証者の顔の特徴点までの距離を測定する距離測定用センサの向きを移動させるか、複数の距離測定用センサを設けることにより、被認証者の顔の特徴点周辺の凹凸を検出し、凹凸が検出できた場合に顔照合処理を実行することにより、外光などによる設置環境や設置条件の影響を受けずに、写真等の平面画像を利用しての他人の成り済ましをより高精度に防止することが可能となる

本発明の実施の形態に係る顔認証装置を用いた通行制御装置の構成を概略的に示すブロック図。 操作部の外観構成および操作部に対する距離測定用センサ、照明灯および人感センサの配置の具体例を示す正面図。 カメラ駆動部およびセンサ駆動部の具体的な構成を模式的に示す側面図。 カメラ駆動部およびセンサ駆動部の動作を説明する模式図。 カメラおよび距離測定用センサの中心合わせを主体にした動作を説明するフローチャート。 カメラおよび距離測定用センサの中心合わせを主体にした動作を説明するフローチャート。 カメラから被認証者の顔の特徴点までの距離を説明する図。 顔認証装置から被認証者までの距離を説明する図。 顔認証装置からなりすましによる被認証物までの距離を説明する図。 顔の特徴点周辺の凹凸検出処理の第１の例について説明するフローチャート。 顔の特徴点周辺の凹凸検出処理の第１の例において距離測定用センサを仰角方向に振ったときの関係図。 顔の特徴点周辺の凹凸検出処理の第１の例において距離測定用センサを水平方向に振ったときの関係図。 顔の特徴点周辺の凹凸検出処理の第１の例において被認証物が人物である場合の凹凸検出を説明する図。 顔の特徴点周辺の凹凸検出処理の第１の例において被認証物が人物以外である場合の凹凸検出を説明する図。 顔の特徴点周辺の凹凸検出処理の第２の例における距離測定用センサと被認証者の顔の特徴点との関係図。 顔の特徴点周辺の凹凸検出処理の第２の例において距離測定用センサを水平方向に移動した場合の関係図。 顔の特徴点周辺の凹凸検出処理の第２の例について説明するフローチャート。 顔の特徴点周辺の凹凸検出処理の第３の例を実現するための操作部の外観構成および操作部に対する距離測定用センサ、照明灯および人感センサの配置の具体例を示す正面図。 顔の特徴点周辺の凹凸検出処理の第３の例について説明するフローチャート。 顔の特徴点周辺の凹凸検出処理の第３の例において被認証物が人物である場合の凹凸検出を説明する図。 顔の特徴点周辺の凹凸検出処理の第３の例において被認証物が人物以外である場合の凹凸検出を説明する図。

符号の説明

１…操作部、２…ビデオカメラ（画像入力手段）、３…カメラ駆動部（角度可変手段）、４，４ａ，４ｂ，４_１〜４_５…距離測定用センサ（距離測定手段）、５…センサ駆動部（第２の角度可変手段）、６…表示部（案内手段）、７…キーボード（入力手段）、８…スピーカ（音声案内手段）、９…カメラ制御部、１０…センサ制御部、１４…主制御部（制御手段）、１５…照明灯（照明手段）、１７…人感センサ、１９…照合処理部（照合手段）、２０…辞書記憶部（辞書記憶手段）、２１…ゲート制御部（通行制御手段）、２２…通行ゲート（通行制御手段）、Ｍ…被認証者（人物、通行者）、２３…制御部、２５…顔認証装置、２６…被認証物、Ｍ…被認証者（人物、通行者）。

Claims (11)

1. 被認証者の少なくとも顔画像を撮影して入力する画像入力手段と、
   この画像入力手段の角度を可変する角度可変手段と、
   前記画像入力手段から得られる顔画像から顔の特徴点を検出し、この検出した顔の特徴点の位置情報と前記画像入力手段の初期位置情報とから前記画像入力手段を駆動すべき角度と方向を算出する制御量算出手段と、
   この制御量算出手段により算出された角度と方向に基づき前記角度可変手段を制御することにより前記画像入力手段の視野角の中心点を前記顔の特徴点と相対向させる角度制御手段と、
   この角度制御手段により前記画像入力手段の視野角の中心点を前記顔の特徴点と相対向させた後、前記画像入力手段から前記被認証者の顔の特徴点までの距離を測定する距離測定手段と、
   この距離測定手段により測定された前記画像入力手段から前記被認証者の顔の特徴点までの距離が適性値であるか否かを判定する判定手段と、
   この判定手段による判定の結果、前記画像入力手段から前記被認証者の顔の特徴点までの距離が適性値である場合、前記画像入力手段から得られる顔画像とあらかじめ登録された辞書情報とを照合することにより当該被認証者が本人であるか否かを判定する照合手段と、
   を具備したことを特徴とする顔認証装置。
2. 前記判定手段による判定の結果、前記画像入力手段から前記被認証者の顔の特徴点までの距離が適性値でない場合、人物以外のなりすましであるとして前記照合手段による照合処理は行なわないことを特徴とする請求項１記載の顔認証装置。
3. 前記判定手段による判定の結果、前記画像入力手段から前記被認証者の顔の特徴点までの距離が適性値である場合、前記被認証者の顔の特徴点周辺部の凹凸を検出する凹凸検出手段をさらに具備し、
   前記照合手段は、前記凹凸検出手段により顔の特徴点周辺部の凹凸が検出されると、前記画像入力手段から得られる顔画像とあらかじめ登録された辞書情報とを照合することにより当該被認証者が本人であるか否かを判定することを特徴とする請求項１記載の顔認証装置。
4. 前記凹凸検出手段により顔の特徴点周辺部の凹凸が検出されない場合、人物以外のなりすましであるとして前記照合手段による照合処理は行なわないことを特徴とする請求項３記載の顔認証装置。
5. 前記距離測定手段は、前記被認証者の顔部分と対向する部位に設けられているとともに、前記距離測定手段の角度を可変する第２の角度可変手段をさらに具備し、
   前記凹凸検出手段は、前記第２の角度可変手段を制御して前記距離測定手段の角度を複数段変化させることにより、その各段ごとに前記距離測定手段から前記被認証者の顔までの距離を取得し、この取得した複数の距離に基づき前記被認証者の顔の特徴点周辺部の凹凸を検出することを特徴とする請求項３記載の顔認証装置。
6. 前記凹凸検出手段は、前記被認証者の顔部分と対向する部位に設けられ、前記画像入力手段から前記被認証者の顔までの距離を測定する複数の第２の距離測定手段を有し、この複数の第２の距離測定手段の角度を変化させることにより前記距離測定手段から前記被認証者の顔までの距離を複数取得し、この取得した複数の距離に基づき前記被認証者の顔の特徴点周辺部の凹凸を検出することを特徴とする請求項３記載の顔認証装置。
7. 前記凹凸検出手段は、前記被認証者の顔部分と対向する部位に設けられ、前記画像入力手段から前記被認証者の顔までの距離を測定する複数の第３の距離測定手段を有し、この複数の第３の距離測定手段から得られる複数の距離に基づき前記被認証者の顔の特徴点周辺部の凹凸を検出することを特徴とする請求項３記載の顔認証装置。
8. 撮像手段を用いて被認証者の少なくとも顔画像を撮影して入力する画像入力ステップと、
   この画像入力ステップにより得られる顔画像から顔の特徴点を検出し、この検出した顔の特徴点の位置情報と前記撮像手段の初期位置情報とから前記撮像手段を駆動すべき角度と方向を算出する制御量算出ステップと、
   この制御量算出ステップにより算出された角度と方向に基づき前記撮像手段の角度を可変する角度可変手段を制御することにより前記撮像手段の視野角の中心点を前記顔の特徴点と相対向させる角度制御ステップと、
   この角度制御ステップにより前記撮像手段の視野角の中心点を前記顔の特徴点と相対向させた後、前記撮像手段から前記被認証者の顔の特徴点までの距離を測定する距離測定ステップと、
   この距離測定ステップにより測定された前記撮像手段から前記被認証者の顔の特徴点までの距離が適性値であるか否かを判定する判定ステップと、
   この判定ステップによる判定の結果、前記撮像手段から前記被認証者の顔の特徴点までの距離が適性値である場合、前記画像入力ステップにより得られる顔画像とあらかじめ登録された辞書情報とを照合することにより当該被認証者が本人であるか否かを判定する照合ステップと、
   を具備したことを特徴とする顔認証方法。
9. 前記判定ステップによる判定の結果、前記撮像手段から前記被認証者の顔の特徴点までの距離が適性値である場合、前記被認証者の顔の特徴点周辺部の凹凸を検出する凹凸検出ステップをさらに具備し、
   前記照合ステップは、前記凹凸検出ステップにより顔の特徴点周辺部の凹凸が検出されると、前記画像入力ステップにより得られる顔画像とあらかじめ登録された辞書情報とを照合することにより当該被認証者が本人であるか否かを判定することを特徴とする請求項８記載の顔認証方法。
10. 通行者の少なくとも顔画像を撮影して入力する画像入力手段と、
    この画像入力手段の角度を可変する角度可変手段と、
    前記画像入力手段から得られる顔画像から顔の特徴点を検出し、この検出した顔の特徴点の位置情報と前記画像入力手段の初期位置情報とから前記画像入力手段を駆動すべき角度と方向を算出する制御量算出手段と、
    この制御量算出手段により算出された角度と方向に基づき前記角度可変手段を制御することにより前記画像入力手段の視野角の中心点を前記顔の特徴点と相対向させる角度制御手段と、
    この角度制御手段により前記画像入力手段の視野角の中心点を前記顔の特徴点と相対向させた後、前記画像入力手段から前記通行者の顔の特徴点までの距離を測定する距離測定手段と、
    この距離測定手段により測定された前記画像入力手段から前記通行者の顔の特徴点までの距離が適性値であるか否かを判定する判定手段と、
    この判定手段による判定の結果、前記画像入力手段から前記通行者の顔の特徴点までの距離が適性値である場合、前記画像入力手段から得られる顔画像とあらかじめ登録された辞書情報とを照合することにより当該通行者が本人であるか否かを判定する照合手段と、
    この照合手段の判定結果に応じて当該通行者の通行を制御する通行制御手段と、
    を具備したことを特徴とする通行制御装置。
11. 前記判定手段による判定の結果、前記画像入力手段から前記通行者の顔の特徴点までの距離が適性値である場合、前記通行者の顔の特徴点周辺部の凹凸を検出する凹凸検出手段をさらに具備し、
    前記照合手段は、前記凹凸検出手段により顔の特徴点周辺部の凹凸が検出されると、前記画像入力手段から得られる顔画像とあらかじめ登録された辞書情報とを照合することにより当該通行者が本人であるか否かを判定することを特徴とする請求項１０記載の通行制御装置。

Images