JP2005242777A

JP2005242777A - 顔照合装置および通行制御装置

Info

Publication number: JP2005242777A
Application number: JP2004053170A
Authority: JP
Inventors: Hidekazu Hashimoto; 英一橋本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2004-02-27
Filing date: 2004-02-27
Publication date: 2005-09-08

Abstract

【課題】画像入力手段の前方にある壁の模様が人物の顔に似ていた場合でも、それを顔として誤検出して照合処理を開始しまうことのない顔照合装置および通行制御装置を提供する。
【解決手段】顔画像を用いて当該人物が本人であるか否かを判定する顔照合装置において、人感センサにより人物が到来したことを検出すると、人物の顔部分を照明する照明灯を点灯し、その後、カメラからの入力画像により人物の顔を検出し、顔が検出されると、そのときカメラから得られる入力画像により顔の照合処理を開始する。
【選択図】図１

Description

本発明は、たとえば、セキュリティ管理などにおいて人物の顔画像を用いて当該人物が本人であるか否かを判定する顔照合装置に関する。
また、本発明は、上記顔照合装置を用いて通行者の通行（たとえば、重要施設の入退場など）を制御する通行制御装置に関する。

一般に、この種の顔照合装置は、あらかじめ照合対象者としての人物の顔画像を画像入力手段としてのカメラなどを用いて取得し、この取得した顔画像から得られる当該人物固有の特徴情報を辞書情報として辞書記憶手段にあらかじめ記憶（登録）しておく。

そして、照合時には、照合対象者としての人物の顔画像をカメラなどを用いて再度取得し、この取得した顔画像から得られる当該人物固有の特徴情報を辞書記憶手段にあらかじめ記憶（登録）されている辞書情報と照合して両情報の類似度を求めることにより、その求めた類似度により当該人物が本人であるか否かを判定するようになっている。

このような顔照合装置では、人物を検出した際に自動的に照合処理を開始する機能がある。この人物の検出とは、カメラからの入力画像中に人物の顔を検出した場合である。このように、顔検出で照合を開始するため、常時、キャプチャ処理を行なっている必要がある。キャプチャ処理とは、カメラからの入力画像を表示部にリアルタイムに表示する処理である。
また、カメラによる顔画像の撮影時に顔部分を照明する照明灯や、カメラからの入力画像を表示する液晶表示部のバックライトも、この人物の顔を検出した時点で点灯させている。
特開２００２−３４４９５３号公報

従来の技術では、入力画像中に顔を検出した場合に照合処理を開始するため、たとえば、カメラの前方にある壁の模様が人物の顔に似ていた場合、それを顔として誤検出して照合処理を開始してしまうという問題点がある。
このような問題点を解消する方法として、人感センサを用いて人物を検出した際に照合処理を開始する方法があるが、この場合、人物以外の動く物体（たとえば、車両、犬、猫など）でも、それを人物として誤検出して照合処理を開始してしまうという問題点がある。

また、この種の顔照合装置では、前述したようにカメラにより入力された画像から顔検出および照合処理を行なうが、この際、照明灯が消灯していると、顔検出および照合処理の精度が低くなるという問題点がある。
しかし、照明灯を点灯状態のままにしておくと、待機時の消費電力が高くなってしまうため、従来は、照合処理には問題の無いよう、顔を検出した時点で照明灯を点灯させるようにしている。このため、多少、顔検出の精度は低くなっているのが現状である。

さらに、この種の顔照合装置では、前述したように顔検出で照合処理を開始するため、常時、キャプチャ処理を行なっている。このキャプチャ処理は、常時、入力画像を液晶表示部に表示するため、それらの処理を行なう処理部（ＣＰＵ（セントラル・プロセッシングユニット）など）の使用率が高く、待機中であっても、ＣＰＵが高温になりやすく、かつ、消費電力を抑えられないという問題点がある。
また、液晶表示部のバックライトについては、従来、何も制御していなかったが、これも待機中の消費電力をあげる要因となっている。

そこで、本発明は、画像入力手段の前方にある壁の模様が人物の顔に似ていた場合でも、それを顔として誤検出して照合処理を開始しまうことのない顔照合装置および通行制御装置を提供することを目的とする。
また、本発明は、顔検出の精度を上げるとともに、待機中の消費電力を抑え、かつ、処理部の高温化も抑えることが可能な顔照合装置および通行制御装置を提供することを目的とする。

本発明の顔照合装置は、照合対象者の少なくとも顔画像を撮影して入力する画像入力手段と、この画像入力手段による照合対象者の顔画像の撮影時に当該照合対象者の少なくとも顔部分を照明する照明手段と、照合対象者が前記画像入力手段に対して対向した際、それを検出する人物検出手段と、この人物検出手段が照合対象者を検出すると、前記照明手段による照明動作を開始させる照明制御手段と、この照明制御手段により前記照明手段による照明動作が開始されると、前記画像入力手段により入力された画像から前記照合対象者の顔を検出する顔検出手段と、この顔検出手段により前記照合対象者の顔が検出されると、前記画像入力手段により入力された顔画像とあらかじめ登録された辞書情報とを照合することにより当該照合対象者が本人であるか否かを判定する照合手段とを具備している。

また、本発明の通行制御装置は、照合対象者としての通行者の少なくとも顔画像を撮影して入力する画像入力手段と、この画像入力手段による通行者の顔画像の撮影時に当該通行者の少なくとも顔部分を照明する照明手段と、前記通行者が前記画像入力手段に対して対向した際、それを検出する人物検出手段と、この人物検出手段が前記通行者を検出すると、前記照明手段による照明動作を開始させる照明制御手段と、この照明制御手段により前記照明手段による照明動作が開始されると、前記画像入力手段により入力された画像から前記通行者の顔を検出する顔検出手段と、この顔検出手段により前記通行者の顔が検出されると、前記画像入力手段により入力された顔画像とあらかじめ登録された辞書情報とを照合することにより当該通行者が本人であるか否かを判定する照合手段と、この照合手段の判定結果に応じて前記通行者の通行を制御する通行制御手段とを具備している。

本発明によれば、画像入力手段の前方にある壁の模様が人物の顔に似ていた場合でも、それを顔として誤検出して照合処理を開始しまうことのない顔照合装置および通行制御装置を提供できる。
また、本発明によれば、顔検出の精度を上げるとともに、待機中の消費電力を抑え、かつ、処理部の高温化も抑えることが可能な顔照合装置および通行制御装置を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
図１は、第１の実施の形態に係る顔照合装置の構成を概略的に示すものである。この顔照合装置は、照合対象者（以下、人物ともいう）１００の顔画像（少なくとも顔を含んでいる画像）を撮像して入力する画像入力手段としてのテレビジョンカメラ（以下、単にカメラという）１０１、カメラ１０１の近傍から照合対象者１００の少なくとも顔に向けて一定の照度で光を照射する照明手段としての照明部１０２、照合対象者１００に対して入力された顔画像や各種案内などを表示したり、照合対象者１００を特定するＩＤ番号（特定情報）やパスワードなどを入力したりする表示手段および入力手段としての入出力部１０３、照合対象者１００を検出する人物検出手段としての人感センサ１１１、および、カメラ１０１から入力された顔画像を処理して顔画像の認識処理などを行なう処理部１０４を有して構成されている。

カメラ１０１は、照合対象者１００の顔画像を下方から所定角度で撮像して入力するものであり、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラを有して構成されている。

照明部１０２は、カメラ１０１の近傍（たとえば、カメラ１０１の側部）から照合対象者１００の顔に向けて一定の照度で光を照射する蛍光灯などの照明器具である。

入出力部１０３は、照合対象者１００に対して、カメラ１０１で撮影されている照合対象者１００の顔画像や各種ガイダンス、処理結果などを表示したり、照合対象者１００の個人ＩＤやパスワードなどを入力したりするもので、たとえば、バックライト付液晶表示部とタッチパネルとを一体化して構成されていて、カメラ１０１の近傍、たとえば、カメラ１０１の上部で、ほぼ照合対象者１００の顔部分と相対応する位置に設けられている。なお、表示によるガイダンスのみに限らず、音声によるガイダンス機能を付加してもよい。

人感センサ１１１は、照合対象者１００がカメラ１０１に対して対向した際それを検出するもので、たとえば、超音波を利用して人物を検出する超音波センサから構成されている。

処理部１０４は、カメラ１０１からの顔画像を入力する画像入力手段としての画像入力部１０５、画像入力部１０５から得られた人物の顔画像を用いて、あらかじめ準備されたパターン辞書との照合で顔および目、鼻などの顔部品の位置を検出する顔検出手段としての顔検出部１０６、顔検出部１０６の出力に基づき濃淡情報あるいは部分空間情報などの顔の特徴量（特徴情報）を抽出する特徴抽出手段としての特徴抽出部１０７、辞書情報の登録時に、特徴抽出部１０７で抽出された顔の特徴量（特徴情報）を辞書情報（認識データ）として記憶（登録）する辞書記憶手段としての辞書情報記憶部１０８、顔照合時には、特徴抽出部１０７で抽出された顔の特徴量（入力特徴情報）と辞書情報記憶部１０８に記憶されている辞書情報とを照合することにより、その照合結果に基づき当該照合対象者１００は本人であるか否かを判定する照合手段としての認識部１０９、照明部１０２および入出力部１０３および人感センサ１１１などを制御する制御手段としての制御部１１０を有して構成されている。

なお、以下の説明では、画像入力データ、抽出した特徴量（特徴情報）、部分空間、部分空間を構成するための固有ベクトル、相関行列、登録の時刻、日時、場所などの状況情報、暗証番号、ＩＤ番号などの個人情報の各情報が存在する。そして、認識データと言うときは、部分空間、または、部分空間を構成するための固有ベクトルを含み、辞書情報（登録情報）と言うときは、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、状況情報、個人情報を含んでいる。したがって、認識データは登録情報に含まれる。

画像入力部１０５は、カメラ１０１からの顔画像を入力し、Ａ／Ｄ変換してデジタル化した後、顔検出部１０６へ送る。
顔検出部１０６は、まず、画像入力部１０５で入力された顔画像から照合対象者１００の顔の領域を検出する。たとえば、あらかじめ用意されたテンプレートを、画像中を移動させながら相関値を求めることにより、最も高い相関値を持った場所を顔領域とする。なお、その他に、固有空間法や部分空間法を利用した顔領域抽出法などの顔検出手段でもよい。

顔検出部１０６は、次に、検出された顔領域の部分の中から、目、鼻、口といった顔部品の位置を検出する。その検出方法は、たとえば、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７））などの方法を用いてよい。

図２に、顔の検出結果と目、鼻の検出結果の一例を示す。図２において、（ｆｘ，ｆｙ）は顔の中心座標、（ｆｗ，ｆｈ）は顔の大きさ、（ＥｙｅＬｘ，ＥｙｅＬｙ）、（ＥｙｅＲｘ，ＥｙｅＲｙ）は左右の目の位置座標、（ＮｏｓｅＬｘ，ＮｏｓｅＬｙ）、（ＮｏｓｅＲｘ，ＮｏｓｅＲｙ）は左右の鼻孔の位置座標を示している。なお、目の位置とは黒目の中心点、鼻の位置とは鼻孔の中心点を示しているものとする。

特徴抽出部１０７は、顔検出部１０６で検出された顔部品の位置を基に、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、たとえば、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。

また、後で述べるように、認識を行なうための入力データとして部分空間自身を利用してもよい。したがって、部分空間を算出した結果は、認識部１０９および辞書情報記憶部１０８に送られる。

辞書情報記憶部１０８は、照合対象者１００を認識あるいは同定するために利用する部分空間（または、相関行列）などの辞書情報を保持している。また、登録の際の日時、時刻、場所などの属性情報も保持できる。なお、辞書情報として、部分空間に限らず、入力された顔画像や抽出された顔の特徴量そのものを用いてもよい。

認識部１０９は、辞書情報記憶部１０８に蓄えられた認識データ（部分空間）と特徴抽出部１０７で得られた特徴量（濃淡情報あるいは部分空間情報）とを照合（比較）することにより、カメラ１０１で撮影している照合対象者１００が誰であるかを認識、あるいは、該当人物であるかどうかを同定する。人物を認識するためには、どの人物のデータに最も類似しているかを求めればよく、最大類似度をとるデータに対応する人物を認識結果とすればよい。

また、カードやＩＤ番号、暗証番号、鍵などを用いて、顔画像による認識を行なう場合には、それぞれの人物のカードやＩＤ番号などの個人情報に対応する認識データとの類似度を計算して、設定した閾値と照合し、その閾値を越えた場合に、その人物と同定する。

これらカードやＩＤ番号、暗証番号、鍵など入力する手段が必要であるが、たとえば、カードならＩＣカード、ＩＤカード、無線カードなどを用いることで実現できる。ＩＤ番号や暗証番号を用いる場合は、キー入力手段を設ければよい。

認識の方法としては、特徴抽出部１０７の情報を用いる場合は、部分空間法や複合類似度法などの方法を用いてよい。本実施の形態での認識方法は、たとえば、文献（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−３５２（１９８５））に記載されている公知の認識方法である相互部分空間法を用いる。

この方法では、あらかじめ蓄えられた登録情報の中の認識データも、入力されるデータも部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力部分空間という。入力データ列に対して同様に相関行列Ｃｉｎを求め、

と対角化し、固有ベクトルΦｉｎを求める。２つのΦｉｎ、Φｄで表わされる部分空間の部分空間類似度（０．０〜１．０）を求め、それを認識するための類似度とする。

認識部１０９は、図３に示すフローチャートのように動作する。まず、認識処理（１対Ｎ照合）を行なうか、同定処理（１対１照合）を行なうかによって動作が異なる（ステップＳＴ１）。同定処理を行なう場合は、まず対象とする照合対象者のＩＤ番号を読込む（ステップＳＴ２）。次に、対象とするＩＤ番号に対応した登録情報（辞書情報）を辞書情報記憶部１０８から読出す（ステップＳＴ３）。

次に、上述したように、部分空間法などにより認識を行なうため、各登録情報の部分空間と、入力ベクトル（特徴抽出部１０７からの固有ベクトル）、または、入力部分空間との類似度を計算する（ステップＳＴ４）。次に、その類似度をあらかじめ設定されている閾値と比較し（ステップＳＴ５，ＳＴ６）、同定結果を出力する（ステップＳＴ７）。

認識処理を行なう場合、照合対象となる辞書情報を全て辞書情報記憶部１０８から読出す（ステップＳＴ８）。そして、それぞれの辞書情報との類似度を計算する（ステップＳＴ９）。次に、計算された類似度の中から最大のものを選択し（ステップＳＴ１０）、それを認識結果として出力する（ステップＳＴ１２）。

なお、図３の破線で囲んだステップＳＴ１１のように、最大類似度を閾値判定することによって、認識結果が正しいかどうかを検証することもできる（ステップＳＴ１３）。たとえば、類似度があまりに低い場合には、どの認識対象でもないと判断することもできる。

次に、電源投入から照合処理の開始までの処理を中心とした顔照合処理の流れについて図４に示すフローチャートを参照して説明する。
電源が投入されると、制御部１１０は、照明部１０２および入出力部１０３内の液晶表示部のバックライトをそれぞれ消灯するとともに、キャプチャ処理を停止させる（ステップＳ１）。これにより、照合処理開始までの待機中の消費電力を低く抑えられ、また、処理部１０４の高温化が抑制される。

次に、制御部１１０は、人感センサ１１１からの入力を確認し（ステップＳ２）、人物無しならステップＳ１に戻り、上記同様な処理を繰り返す。ステップＳ２において、人物有りなら照明部１０２を点灯させる（ステップＳ３）。照明部１０２が点灯することにより、カメラ１０１が撮影する画像の照明状態が適切になり、適切な顔検出が行なえるようになる。

次に、制御部１１０は、照明部１０２を点灯した状態でカメラ１０１からの画像を取込み（ステップＳ４）、画像入力部１０５を介して顔検出部１０６に送る。顔検出部１０６は、カメラ１０１により取込んだ画像から顔（顔領域）を検出する処理を行なう（ステップＳ５）。

次に、制御部１１０は、顔を検出できたか否かをチェックし（ステップＳ６）、顔を検出できなかった場合、人感センサ１１１が検出したものは人物ではなく、人物以外の動く物体（車、犬、猫など）である可能性が高いため、ステップＳ１に戻って上記同様な処理を繰り返す。

ステップＳ６におけるチェックの結果、顔を検出できた場合、制御部１１０は、入出力部１０３内の液晶表示部のバックライトを点灯させ、キャプチャ処理を開始させる（ステップＳ７）。キャプチャ処理とは、前述したように、カメラ１０１からの入力画像を入出力部１０３内の液晶表示部にリアルタイムに表示する処理である。これにより、人物１００は、入出力部１０３内の液晶表示部を見ながら自分の顔を当該表示部の適切な位置に合わせることが可能になる。

次に、制御部１１０は、照合処理を開始する（ステップＳ８）。すなわち、カメラ１０１で照合対象者１００の画像を取込み、画像入力部１０５を介して顔検出部１０６へ送る。顔検出部１０６は、カメラ１０１により取込んだ画像から顔を検出し、検出した顔の部分の中から、目、鼻、口といった顔部品の位置を検出する。

次に、特徴抽出部１０７は、顔検出部１０６で検出された顔部品の位置を基に顔の特徴量を抽出し、認識部１０９へ送る。認識部１０９は、たとえば、１対Ｎ照合モードである場合、特徴抽出部１０７で抽出された顔の特徴量（特徴情報）を辞書情報記憶部１０８内の全ての辞書情報とをそれぞれ照合することにより両情報の各類似度を求め、この求めた各類似度の中から最大値を示す類似度を選択し、この選択した最大値を示す類似度の人物を照合対象者１００であると判定する。

次に、第２の実施の形態について説明する。
第２の実施の形態は、第１の実施の形態で説明した顔照合装置を、通行者の顔画像を認識して通行者の通行を制御する通行制御装置に適用した場合の例である。

図５は、第２の実施の形態に係る通行制御装置の構成を概略的に示すものである。この通行制御装置は、たとえば、重要施設（セキュリティ重視の部屋など）への入退室管理を行なうもので、利用者（通行者）の顔画像を認識して、その認識結果に基づき重要施設の入退室用ドアの開閉制御を行なうものであり、カメラ１０１、照明部１０２、入出力部１０３、人感センサ１１１、処理部１０４、および、認識部１０９の認識結果に応じて重要施設２０１の入退室用ドア２０２の開閉制御を行なう通行制御手段としてのドア制御部１１２を有して構成されている。
なお、図５において、ドア制御部１１２以外は図１の顔照合装置と同じ構成であるので、同一符号を付して、その説明は省略する。

認識部１０９は、照合対象者１００が本人であると判定した場合、ドア制御部１１２に「ドア開」の信号を出力し、照合対象者１００が本人でないと判定した場合、ドア制御部１１２に「ドア閉」の信号を出力する。
ドア制御部１１２は、認識部１０９から「ドア開」の信号を受取ると、入退室用ドア２０２を開状態に制御して、照合対象者（この場合は通行者）１００の入室を許可し、「ドア閉」の信号を受取ると、入退室用ドア２０２を閉状態に保持して、通行者１００の入室を拒否する。
このように、第２の実施の形態によれば、第１の実施の形態で説明した顔照合装置を用いて通行者の通行を制御することができる。

以上説明したように、上記実施の形態によれば、顔画像を用いて当該人物が本人であるか否かを判定する顔照合装置において、人物の存在を確認するのに、人感センサと入力画像による顔検出機能の双方を用いることにより、カメラの前方にある壁の模様が人の顔に似ているような場合でも、それを顔として誤検出して照合処理を開始してしまうことを防止できる。また、人物以外の動く物体を検出しただけでは照合処理を開始しない。

さらに、人物の顔部分を照明する照明部を顔検出を行なう前に点灯させることで、顔検出の精度を上げることができる。また、液晶表示部のバックライトの点灯、キャプチャ処理の開始を照合処理の開始前とすることで、待機中の消費電力を抑え、かつ、処理部の高温化も抑えることができる。

本発明の第１の実施の形態に係る顔照合装置の構成を概略的に示すブロック図。顔検出部の処理を説明するための図。認識部の処理の流れを説明するためのフローチャート。顔照合処理の流れを説明するためのフローチャート。本発明の第２の実施の形態に係る通行制御装置の構成を概略的に示すブロック図。

符号の説明

１００…照合対象者（人物、通行者）、１０１…カメラ（画像入力手段）、１０２…照明部（照明手段）、１０３…入出力部（入力手段、表示手段）、１０４…処理部、１０５…画像入力部（画像入力手段）、１０６…顔検出部（顔検出手段）、１０７…特徴抽出部（特徴抽出手段）、１０８…辞書情報記憶部（辞書記憶手段）、１０９…認識部（照合手段）、１１０…制御部（制御手段）、１１１…人感センサ（人物検出手段）、１１２…ドア制御部（通行制御手段）、２０１…重要施設、２０２…入退室用ドア。

Claims

照合対象者の少なくとも顔画像を撮影して入力する画像入力手段と、
この画像入力手段による照合対象者の顔画像の撮影時に当該照合対象者の少なくとも顔部分を照明する照明手段と、
照合対象者が前記画像入力手段に対して対向した際、それを検出する人物検出手段と、
この人物検出手段が照合対象者を検出すると、前記照明手段による照明動作を開始させる照明制御手段と、
この照明制御手段により前記照明手段による照明動作が開始されると、前記画像入力手段により入力された画像から前記照合対象者の顔を検出する顔検出手段と、
この顔検出手段により前記照合対象者の顔が検出されると、前記画像入力手段により入力された顔画像とあらかじめ登録された辞書情報とを照合することにより当該照合対象者が本人であるか否かを判定する照合手段と、
を具備したことを特徴とする顔照合装置。
前記顔検出手段により前記照合対象者の顔が検出されると、前記画像入力手段により入力された画像をリアルタイムに表示する表示手段をさらに具備したことを特徴とする請求項１記載の顔照合装置。
前記表示手段はバックライト付液晶表示器であって、前記顔検出手段により前記照合対象者の顔が検出されると、前記バックライトを前記照合手段による照合処理が終了するまで点灯させ、前記画像入力手段により入力された画像をリアルタイムに表示することを特徴とする請求項２記載の顔照合装置。
前記照明制御手段は、前記照合手段による照合処理が終了すると、前記照明手段の照明動作を停止させることを特徴とする請求項１記載の顔照合装置。
照合対象者としての通行者の少なくとも顔画像を撮影して入力する画像入力手段と、
この画像入力手段による通行者の顔画像の撮影時に当該通行者の少なくとも顔部分を照明する照明手段と、
前記通行者が前記画像入力手段に対して対向した際、それを検出する人物検出手段と、
この人物検出手段が前記通行者を検出すると、前記照明手段による照明動作を開始させる照明制御手段と、
この照明制御手段により前記照明手段による照明動作が開始されると、前記画像入力手段により入力された画像から前記通行者の顔を検出する顔検出手段と、
この顔検出手段により前記通行者の顔が検出されると、前記画像入力手段により入力された顔画像とあらかじめ登録された辞書情報とを照合することにより当該通行者が本人であるか否かを判定する照合手段と、
この照合手段の判定結果に応じて前記通行者の通行を制御する通行制御手段と、
を具備したことを特徴とする通行制御装置。
前記顔検出手段により前記通行者の顔が検出されると、前記画像入力手段により入力された画像をリアルタイムに表示する表示手段をさらに具備したことを特徴とする請求項５記載の通行制御装置。