JP2004126812A

JP2004126812A - 人物認識装置、人物認識方法および通行制御装置

Info

Publication number: JP2004126812A
Application number: JP2002287862A
Authority: JP
Inventors: Kazuyuki Hamana; 濱名　一之
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2002-09-30
Filing date: 2002-09-30
Publication date: 2004-04-22

Abstract

【課題】常に安定した入力画像を得ることができ、人物認識率の低下を軽減することができ、高精度な人物認識が可能となる人物認識装置を提供する。
【解決手段】認識対象者（人物）の顔画像をカメラにより入力し、この入力された顔画像から顔を検出して認識を行なう人物認識装置において、顔画像の登録時（認識時）、入力された顔画像のサイズを検出し、この検出した顔画像のサイズが登録（照合）可能条件の範囲内にあるか否かをチェックし、検出した顔画像のサイズが登録（照合）可能条件の範囲内にあるときのみ登録（認識）処理を行なう。
【選択図】　　図５

Description

【０００１】
【発明の属する技術分野】
本発明は、たとえば、セキュリティ管理などにおいて人物の顔画像を認識する人物認識装置および人物認識方法に関する。
また、本発明は、上記人物認識装置を用いて通行者の通行を制御する通行制御装置に関する。
【０００２】
【従来の技術】
この種の人物認識装置は、認識対象となる人物の顔画像をテレビジョンカメラなどの画像入力手段により入力し、この入力された画像から人物の顔領域を検出し、この検出結果に基づき人物の顔の特徴量を抽出する。そして、登録時には、この抽出された特徴量を登録情報として登録情報保持手段に保持し、認識時には、上記抽出された特徴量と登録情報保持手段に保持されている登録情報とを照合することにより当該人物を認識するようになっている。
【０００３】
【発明が解決しようとする課題】
ところが、従来の人物認識装置においては、顔画像を入力するためのカメラに対する人物の立ち位置や姿勢といった状態が登録時と認識時（照合時）とで異なる場合に人物の認識率が低下していた。これは、入力画像が適正であるか否かを判定していないためで、カメラから離れすぎて画像に照明光が過度に映り込んだり、近づきすぎて顔に照明光が当らなかったりと、登録する顔画像としては不充分なものが出来上がる可能性があった。そのような登録顔画像を使用して照合を行なうと、認識精度低下の原因となる。また、認識時（照合時）も同様なことが言える。
【０００４】
そこで、本発明は、常に安定した入力画像を得ることができ、人物認識率の低下を軽減することができ、高精度な人物認識が可能となる人物認識装置、人物認識方法および通行制御装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明の人物認識装置は、認識対象となる人物の少なくとも顔画像を入力する画像入力手段と、この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段の検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識手段と、前記顔検出手段の検出結果により顔のサイズを検出する顔サイズ検出手段と、この顔サイズ検出手段により検出された顔のサイズが登録可能条件の範囲内にあるか否かをチェックするサイズチェック手段と、このサイズチェック手段によるチェックの結果、検出された顔のサイズが登録可能条件の範囲内にあれば、前記特徴量抽出手段および前記登録情報保持手段の各処理を行ない、検出された顔のサイズが登録可能条件の範囲内になければ、当該処理を行なわないよう制御する制御手段とを具備している。
【０００６】
また、本発明の人物認識方法は、認識対象となる人物の少なくとも顔画像を入力する画像入力ステップと、この画像入力ステップにより入力された画像から前記人物の顔領域を検出する顔検出ステップと、この顔検出ステップの検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップにより抽出された特徴量を登録情報として登録情報保持手段に保持する登録情報保持ステップと、前記特徴量抽出ステップにより抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識ステップと、前記顔検出ステップの検出結果により顔のサイズを検出する顔サイズ検出ステップと、この顔サイズ検出ステップにより検出された顔のサイズが登録可能条件の範囲内にあるか否かをチェックするサイズチェックステップと、このサイズチェックステップによるチェックの結果、検出された顔のサイズが登録可能条件の範囲内にあれば、前記特徴量抽出ステップおよび前記登録情報保持ステップの各処理を行ない、検出された顔のサイズが登録可能条件の範囲内になければ、当該処理を行なわないよう制御する制御ステップとを具備している。
【０００７】
さらに、本発明の通行制御装置は、通行者を認識して前記通行者の通行を制御する通行制御装置において、前記通行者の少なくとも顔画像を入力する画像入力手段と、この画像入力手段により入力された画像から前記通行者の顔領域を検出する顔検出手段と、この顔検出手段の検出結果に基づき前記通行者の顔の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記通行者を認識する認識手段と、この認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、前記顔検出手段の検出結果により顔のサイズを検出する顔サイズ検出手段と、この顔サイズ検出手段により検出された顔のサイズが登録可能条件の範囲内にあるか否かをチェックするサイズチェック手段と、このサイズチェック手段によるチェックの結果、検出された顔のサイズが登録可能条件の範囲内にあれば、前記特徴量抽出手段および前記登録情報保持手段の各処理を行ない、検出された顔のサイズが登録可能条件の範囲内になければ、当該処理を行なわないよう制御する制御手段とを具備している。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
図１は、第１の実施の形態に係る人物認識装置の構成を概略的に示すものである。この人物認識装置は、認識対象者（以下、人物ともいう）１００の顔画像（少なくとも顔を含んでいる画像）を撮像して入力する画像入力手段としてのカメラ１０１、カメラ１０１の近傍から認識対象者１００の少なくとも顔に向けて一定の照度で光を照射する照明手段としての照明部１０２、認識対象者１００に対して入力された顔画像や各種案内を表示する表示手段としての表示部１０４、および、カメラ１０１から入力された顔画像を処理して顔画像の認識処理などを行なう処理部１０５から構成されている。
【０００９】
なお、以下の説明では、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、登録の時刻、日時、場所などの状況情報、暗証番号、ＩＤコードなどの個人情報の各情報が登場してくる。そして、認識データと言うときは、部分空間、または、部分空間を構成するための固有ベクトルを含み、登録情報と言うときは、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、状況情報、個人情報を含んでいる。したがって、認識データは登録情報に含まれる。
【００１０】
カメラ１０１は、認識対象者１００の顔画像を下方から所定角度で撮像して入力するものであり、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。
【００１１】
照明部１０２は、カメラ１０１の近傍（たとえば、カメラ１０１の側部）から認識対象者１００の顔に向けて一定の照度で光を照射する蛍光灯などの照明器具である。
【００１２】
表示部１０４は、カメラ１０１で撮影されている認識対象者１００の顔画像や各種ガイダンス、処理結果などを表示するモニタであり、カメラ１０１の近傍、たとえば、カメラ１０１の上部で、ほぼ認識対象者１００の顔部分と相対応する位置に設けられている。
【００１３】
処理部１０５は、画像入力手段としての画像入力部１０６、画像入力部１０１から得られた人物の顔画像を用いて、あらかじめ準備されたパターン辞書との照合で顔および目、鼻などの顔部品の位置を検出する顔検出手段としての顔検出部１０７、顔検出部１０７の出力に基づき濃淡情報あるいは部分空間情報などの特徴量を抽出する特徴量抽出手段としての特徴量抽出部１０８、人物情報登録時には、特徴量抽出部１０８で抽出された特徴量を認識データ（登録情報）として保持する登録情報保持手段としての登録情報保持部１０９、人物認識時には、特徴量抽出部１０８で抽出された特徴量と登録情報保持部１０９に登録されている認識データとを照合することにより認識対象者１００の顔を認識する認識手段としての認識部１１０、および、表示部１０４を制御する表示手段としての表示制御部１１１から構成されている。
【００１４】
画像入力部１０６は、カメラ１０１からの顔画像を入力し、Ａ／Ｄ変換してデジタル化した後、顔検出部１０７へ送る。
顔検出部１０７は、まず、画像入力部１０６で入力された顔画像から認識対象者１００の顔の領域を検出する。たとえば、あらかじめ用意されたテンプレートを、画像中を移動させながら相関値を求めることにより、最も高い相関値を持った場所を顔領域とする。なお、その他に、固有空間法や部分空間法を利用した顔領域抽出法などの顔検出手段でもよい。
【００１５】
顔検出部１０７は、次に、検出された顔領域の部分の中から、目、鼻、口といった顔部品の位置を検出する。その検出方法は、たとえば、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７））などの方法を用いてよい。
【００１６】
ここで、顔のテンプレートによる顔検出と、目、鼻などの顔部品の検出座標の相対位置によって顔の方向を調べることも可能になる。たとえば、図２に示すように、顔検出結果の中心座標を顔の中心座標（ｆｘ，ｆｙ）、顔の大きさを（ｆｗ，ｆｈ）とし、左右の目と鼻の検出結果をそれぞれ（ＥｙｅＬｘ，ＥｙｅＬｙ）、（ＥｙｅＲｘ，ＥｙｅＲｙ）、（ＮｏｓｅＬｘ，ＮｏｓｅＬｙ）、（ＮｏｓｅＲｘ，ＮｏｓｅＲｙ）とすれば、以下の方法で顔の方法を示す指標が得られる。
【００１７】
顔の方向（Ｘ方向）＝（（ＥｙｅＲｘ＋ＥｙｅＬｘ）／２−ｆｘ）／ｆｗ
顔の方向（Ｙ方向）＝（（ＥｙｅＲｙ＋ＥｙｅＬｙ）／２−ｆｙ）／ｆｈ
これらの座標の原点が画面左上だとした場合、数値は顔が右下に向くほど大きくなる値となる。
【００１８】
特徴量抽出部１０８は、顔検出部１０７で検出された顔部品の位置を基に、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、たとえば、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。
【００１９】
図３は、入力画像を特徴量抽出部１０８により処理して得られた顔画像データであり、時系列的に得られたものである。これらのデータに対し特徴ベクトルの相関行列を求め、周知のＫ−Ｌ展開による正規直交ベクトルを求めることにより、部分空間を計算する。部分空間の計算方法は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。
【００２０】
本実施の形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列
【数１】

と対角化して、固有ベクトルのΦを求める。この部分空間は、人物の同定を行なうための認識辞書として利用する。この情報をあらかじめ登録しておいて、それを辞書として登録しておけばよい。
また、後で述べるように、認識を行なうための入力データとして部分空間自身を利用してもよい。したがって、部分空間を算出した結果は、認識部１１０および登録情報保持部１０９に送られる。
【００２１】
認識部１１０は、登録情報保持部１０９に蓄えられた認識データ（部分空間）と特徴量抽出部１０８で得られた特徴量（濃淡情報あるいは部分空間情報）とを照合（比較）することにより、カメラ１０１に写っている認識対象者１００が誰であるかを認識、あるいは、該当人物であるかどうかを同定する。人物を認識するためには、どの人物のデータに最も類似しているかを求めればよく、最大類似度をとるデータに対応する人物を認識結果とすればよい。
【００２２】
また、カードや登録番号、暗証番号、鍵などを用いて、顔画像による認識を行なう場合には、それぞれの人物のカードや番号などの個人情報に対応する認識データとの類似度を計算して、設定した閾値と照合し、その閾値を越えた場合に、その人物と同定する。
【００２３】
これらカードや登録番号、暗証番号、鍵など入力する手段が必要であるが、たとえば、カードならＩＣカード、ＩＤカード、無線カードなどを用いることで実現できる。登録番号や暗証番号を用いる場合は、キー入力手段を設ければよい。
【００２４】
認識の方法としては、特徴量抽出部１０８の情報を用いる場合は、部分空間法や複合類似度法などの方法を用いてよい。本実施の形態での認識方法は、たとえば、文献（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−３５２（１９８５））に記載されている公知の認識方法である相互部分空間法を用いる。
【００２５】
この方法では、あらかじめ蓄えられた登録情報の中の認識データも、入力されるデータも部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力部分空間という。入力データ列に対して同様に相関行列Ｃｉｎを求め、
【数２】

と対角化し、固有ベクトルΦｉｎを求める。２つのΦｉｎ、Φｄで表わされる部分空間の部分空間類似度（０．０〜１．０）を求め、それを認識するための類似度とする。
【００２６】
認識部１１０は、図４に示すフローチャートのように動作する。まず、認識部１１０は、認識作業を行なうか、同定作業を行なうかによって動作が異なる（ステップＳＴ１）。同定動作を行なう場合は、まず対象とする認識対象者のＩＤコードを読込む（ステップＳＴ２）。次に、対象とするＩＤコードに対応した登録情報（部分空間）を登録情報保持部１０９から読出す（ステップＳＴ３）。
【００２７】
次に、上述したように、部分空間法などにより認識を行なうため、各登録情報の部分空間と、入力ベクトル（特徴量抽出部１０８からの固有ベクトル）、または、入力部分空間との類似度を計算する（ステップＳＴ４）。次に、その類似度をあらかじめ設定されている閾値と比較し（ステップＳＴ５，ＳＴ６）、同定結果を出力する（ステップＳＴ７）。
【００２８】
認識作業を行なう場合、認識対象となるデータを全て登録情報保持部１０９から読出す（ステップＳＴ８）。そして、それぞれの登録情報との類似度を計算する（ステップＳＴ９）。次に、計算された類似度の中から最大のものを選択し（ステップＳＴ１０）、それを認識結果として出力する（ステップＳＴ１２）。
【００２９】
なお、図４の破線で囲んだステップＳＴ１１のように、最大類似度を閾値判定することによって、認識結果が正しいかどうかを検証することもできる（ステップＳＴ１３）。たとえば、類似度があまりに低い場合には、どの認識対象でもないと判断することもできる。
【００３０】
登録情報保持部１０９は、認識対象者を同定するために利用する部分空間（または、相関行列など）や、登録の際の時刻、日時、場所などの状況情報などを蓄積できる。なお、画像入力データや抽出した特徴量などでもよい。
【００３１】
以上までの処理で基本的な人物認識の動作を行なうことが可能となるが、前述したように、認識対象者の立ち位置や姿勢の変化により、入力された顔画像のサイズが変化し、認識率の低下を引き起こしてしまう。たとえば、登録時と同じサイズで認識時（照合時）も顔画像が入力されている場合には、登録時と非常に近い状態で特徴情報が抽出できるために登録辞書との類似度が高くなりやすいが、登録時よりも顔サイズが大きかったり小さかったりした場合に類似度が低下しやすくなる。
【００３２】
そこで、本実施の形態では、入力された顔画像に適性判断を入れることで、登録時に入力された画像における顔画像のサイズと、認識時に入力された画像における顔のサイズとをほぼ同一にし、カメラ１０１からの距離の違いや認識対象者１００の姿勢の違いなどによる人物認識率の低下を抑制するものであり、以下、それについて詳細に説明する。
【００３３】
図５は、入力された顔画像の適性判断に顔のサイズを用いた場合の処理の流れを示している。
顔画像の登録時（照合時）、まず、顔検出部１０７において、前述したような入力画像に基づく顔検出処理を行ない（ステップＳ１）、その後、顔のサイズである縦幅（ｆｈ）および横幅（ｆｗ）を算出する（ステップＳ２）。ここに、ステップＳ２の処理が本発明における顔サイズ検出手段に対応している。
【００３４】
次に、ステップＳ２で求めた顔の縦幅（ｆｈ）および横幅（ｆｗ）が登録（照合）可能条件の範囲内であるか否かをチェックする（ステップＳ３，Ｓ４）。ここで使用する登録（照合）可能条件（ＫａｏＴａｔｅＭｉｎ，ＫａｏＹｏｋｏＭｉｎ，ＫａｏＴａｔｅＭａｘ，ＫａｏＹｏｋｏＭａｘ）は、あらかじめ設定される閾値である。ここに、ステップＳ３，Ｓ４の処理が本発明におけるサイズチェック手段に対応している。
【００３５】
ステップＳ３，Ｓ４におけるチェックの結果、顔の縦幅（ｆｈ）および横幅（ｆｗ）が登録（照合）可能条件の範囲外であれば、登録処理（認識処理）を行なわず、当該処理を終了し、顔の縦幅（ｆｈ）および横幅（ｆｗ）が登録（照合）可能条件の範囲内であれば、前述したような登録処理（認識処理）を開始する（ステップＳ５）。
【００３６】
図６は、入力された顔画像の適性判断に顔画像の輝度分布の平均値およびピーク値を用いた場合の処理の流れを示している。
顔画像の登録時（照合時）、まず、顔検出部１０７において、前述したような入力画像に基づく顔検出処理を行ない（ステップＳ１１）、その後、検出した顔領域内の輝度分布を求める（ステップＳ１２）。ここに、ステップＳ１２の処理が本発明における輝度分布算出手段に対応している。
【００３７】
ここで、輝度分布について説明すると、図７、図８に示すように、検出したサイズが（ｍ×ｎピクセル）の顔領域ａの濃淡値を用いてその範囲内における輝度分布を算出する。なお、図７、図８において、（ａ）は登録時（照合時）の顔画像を示し、（ｂ）はその顔画像に対し求めた輝度分布を示している。また、図７は比較的に明るい環境（補助照明灯あり）での輝度分布を示し、図８は比較的に暗い環境（補助照明灯なし）での輝度分布を示している。
【００３８】
次に、ステップＳ１２で求めた輝度分布の平均値およびピーク値をそれぞれ算出する（ステップＳ１３）。ここに、ステップＳ１３の処理が本発明における演算出手段に対応している。次に、ステップＳ１３で求めた平均値が登録（照合）可能条件の範囲内であるか否かをチェックする（ステップＳ１４）。ここで使用する登録照合可能条件（ＨｅｉｋｉｎＭｉｎ・ＨｅｉｋｉｎＭａｘ）は、あらかじめ設定される閾値である。ここに、ステップＳ１４の処理が本発明におけるチェック手段に対応している。
【００３９】
ステップＳ１４におけるチェックの結果、輝度分布の平均値が登録（照合）可能条件の範囲外であれば、登録処理（認識処理）を行なわず、当該処理を終了し、輝度分布の平均値が登録（照合）可能条件の範囲内であれば、ステップＳ１３で求めたピーク値が登録（照合）可能条件の範囲内であるか否かをチェックする（ステップＳ１５）。ここで使用する登録可能条件（ＰｅａｋＭｉｎ）は、あらかじめ設定される閾値である。ここに、ステップＳ１５の処理が本発明におけるチェック手段に対応している。
【００４０】
ステップＳ１５におけるチェックの結果、輝度分布のピーク値が登録（照合）可能条件の範囲外であれば、登録処理（認識処理）を行なわず、当該処理を終了し、輝度分布のピーク値が登録（照合）可能条件の範囲内であれば、前述したような登録処理（認識処理）を開始する（ステップＳ１６）。
【００４１】
このように、入力された顔画像の適性判断に顔のサイズを用いる例では、カメラ１０１に対する顔の離れすぎと近づけすぎの防止を行なうことができる。認識対象者１００が顔を離しすぎると照明光が顔に入りやすくなり、特に眼鏡を掛けている場合は眼鏡に照明光が映り込むことがある。また、近づきすぎると照明光が顔に入らず全体的に暗くなる。そこで、顔のサイズが登録（照合）可能条件以内であれば、適度な照明光を浴びた顔画像を得ることが可能となる。
【００４２】
また、入力された顔画像の適性判断に顔画像の輝度分布の平均値およびピーク値を用いる例では、顔のサイズを用いる場合と同様に、輝度が明るい方または暗いほうに偏っておらず、かつ、ピーク値も充分であれば、適度な照明光を浴びていると判断が可能となる。
上記２通りの方法によって、常に安定した入力画像を得ることができ、人物認識率の低下を軽減することができ、高精度な人物認識が可能となる。
【００４３】
なお、上記説明では、入力された顔画像の適性判断に顔画像の輝度分布の平均値およびピーク値を用いた場合の処理の流れについて説明したが、ステップＳ１３でさらに輝度分布の分散値をも求め、ステップＳ１５の次で輝度分布の分散値が登録（照合）可能条件の範囲内であるか否かをチェックし、輝度分布の分散値が登録（照合）可能条件の範囲内であればステップＳ１６に進むようにしてもよい。このようにすれば、人物認識率の低下をより軽減することができる。
【００４４】
すなわち、本発明では、輝度分布の平均値、ピーク値、分散値のうち少なくともいずれか１つの値を求め、この求めた値が登録（照合）可能条件の範囲内にあるか否かをチェックするようにすればよい。
【００４５】
次に、第２の実施の形態について説明する。
第２の実施の形態は、第１の実施の形態で説明した人物認識装置を、通行者の顔画像を認識して通行者の通行を制御する通行制御装置に適用した場合の例である。
【００４６】
図９は、第２の実施の形態に係る通行制御装置の構成を概略的に示すものである。この通行制御装置は、たとえば、重要施設（セキュリティ重視の部屋など）への入退室管理を行なうもので、利用者（通行者）の顔画像を認識して、その認識結果に基づき重要施設の入退室用ドアの開閉制御を行なうものであり、カメラ１０１、照明部１０２、表示部１０４、処理部１０５、および、認識部１１０の認識結果に応じて重要施設２０１の入退室用ドア２０２の開閉制御を行なう通行制御手段としてのドア制御部１１３から構成されている。
なお、図９において、ドア制御部１１３以外は図１の人物認識装置と同じ構成であるので、同一符号を付して、その説明は省略する。
【００４７】
認識部１１０は、たとえば、図４のステップＳＴ６において、求めた類似度が閾値よりも大きかった場合、あるいは、ステップＳＴ１１において、求めた類似度が閾値よりも大きかった場合、ドア制御部１１３に「ドア開」の信号を出力し、求めた類似度が閾値よりも小さかった場合、ドア制御部１１３に「ドア閉」の信号を出力する。
【００４８】
ドア制御部１１３は、認識部１１０から「ドア開」の信号を受取ると、入退室用ドア２０２を開状態に制御して、認識対象者（この場合は通行者）１００の入室を許可し、「ドア閉」の信号を受取ると、入退室用ドア２０２を閉状態に保持して、通行者１００の入室を拒否する。
このように、第２の実施の形態によれば、第１の実施の形態で説明した人物認識装置を用いて通行者の通行を制御することができる。
【００４９】
【発明の効果】
以上詳述したように本発明によれば、常に安定した入力画像を得ることができ、人物認識率の低下を軽減することができ、高精度な人物認識が可能となる人物認識装置、人物認識方法および通行制御装置を提供できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る人物認識装置の構成を概略的に示すブロック図。
【図２】顔検出部の処理を説明するための図。
【図３】特徴量抽出部の処理を説明するための図。
【図４】認識部の認識処理の流れを説明するためのフローチャート。
【図５】入力された顔画像の適性判断に顔のサイズを用いた場合の処理の流れを説明するフローチャート。
【図６】入力された顔画像の適性判断に顔画像の輝度分布の平均値およびピーク値を用いた場合の処理の流れを説明するフローチャート。
【図７】比較的に明るい環境（補助照明灯あり）での輝度分布を説明する図。
【図８】比較的に暗い環境（補助照明灯なし）での輝度分布を説明する図。
【図９】本発明の第２の実施の形態に係る通行制御装置の構成を概略的に示すブロック図。
【符号の説明】
１００…認識対象者（人物、通行者）、１０１…カメラ（画像入力手段）、１０２…照明部、１０４…表示部、１０５…処理部、１０６…画像入力部（画像入力手段）、１０７…顔検出部（顔検出手段）、１０８…特徴量抽出部（特徴量抽出手段）、１０９…登録情報保持部（登録情報保持手段）、１１０…認識部（認識手段）１１１…表示制御部、１１３…ドア制御部（通行制御手段）、２０１…重要施設、２０２…入退室用ドア。

Claims

認識対象となる人物の少なくとも顔画像を入力する画像入力手段と、
この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段の検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、
前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識手段と、
前記顔検出手段の検出結果により顔のサイズを検出する顔サイズ検出手段と、
この顔サイズ検出手段により検出された顔のサイズが登録可能条件の範囲内にあるか否かをチェックするサイズチェック手段と、
このサイズチェック手段によるチェックの結果、検出された顔のサイズが登録可能条件の範囲内にあれば、前記特徴量抽出手段および前記登録情報保持手段の各処理を行ない、検出された顔のサイズが登録可能条件の範囲内になければ、当該処理を行なわないよう制御する制御手段と、
を具備したことを特徴とする人物認識装置。
認識対象となる人物の少なくとも顔画像を入力する画像入力手段と、
この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段の検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、
前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識手段と、
前記顔検出手段の検出結果により顔のサイズを検出する顔サイズ検出手段と、
この顔サイズ検出手段により検出された顔のサイズが照合可能条件の範囲内にあるか否かをチェックするサイズチェック手段と、
このサイズチェック手段によるチェックの結果、検出された顔のサイズが照合可能条件の範囲内にあれば、前記特徴量抽出手段および前記認識手段の各処理を行ない、検出された顔のサイズが照合可能条件の範囲内になければ、当該処理を行なわないよう制御する制御手段と、
を具備したことを特徴とする人物認識装置。
認識対象となる人物の少なくとも顔画像を入力する画像入力手段と、
この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段の検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、
前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識手段と、
前記顔検出手段により検出された顔領域内の輝度分布を求める輝度分布算出手段と、
この輝度分布算出手段により求められた輝度分布の平均値、ピーク値、分散値のうち少なくともいずれか１つの値を求める演算手段と、
この演算手段により求められた値が登録可能条件の範囲内にあるか否かをチェックするチェック手段と、
このチェック手段によるチェックの結果、前記演算手段により求められた値が登録可能条件の範囲内にあれば、前記特徴量抽出手段および前記登録情報保持手段の各処理を行ない、前記演算手段により求められた値が登録可能条件の範囲内になければ、当該処理を行なわないよう制御する制御手段と、
を具備したことを特徴とする人物認識装置。
認識対象となる人物の少なくとも顔画像を入力する画像入力手段と、
この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段の検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、
前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識手段と、
前記顔検出手段により検出された顔領域内の輝度分布を求める輝度分布算出手段と、
この輝度分布算出手段により求められた輝度分布の平均値、ピーク値、分散値のうち少なくともいずれか１つの値を求める演算手段と、
この演算手段により求められた値が照合可能条件の範囲内にあるか否かをチェックするチェック手段と、
このチェック手段によるチェックの結果、前記演算手段により求められた値が照合可能条件の範囲内にあれば、前記特徴量抽出手段および前記認識手段の各処理を行ない、前記演算手段により求められた値が照合可能条件の範囲内になければ、当該処理を行なわないよう制御する制御手段と、
を具備したことを特徴とする人物認識装置。
認識対象となる人物の少なくとも顔画像を入力する画像入力ステップと、
この画像入力ステップにより入力された画像から前記人物の顔領域を検出する顔検出ステップと、
この顔検出ステップの検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにより抽出された特徴量を登録情報として登録情報保持手段に保持する登録情報保持ステップと、
前記特徴量抽出ステップにより抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識ステップと、
前記顔検出ステップの検出結果により顔のサイズを検出する顔サイズ検出ステップと、
この顔サイズ検出ステップにより検出された顔のサイズが登録可能条件の範囲内にあるか否かをチェックするサイズチェックステップと、
このサイズチェックステップによるチェックの結果、検出された顔のサイズが登録可能条件の範囲内にあれば、前記特徴量抽出ステップおよび前記登録情報保持ステップの各処理を行ない、検出された顔のサイズが登録可能条件の範囲内になければ、当該処理を行なわないよう制御する制御ステップと、
を具備したことを特徴とする人物認識方法。
認識対象となる人物の少なくとも顔画像を入力する画像入力ステップと、
この画像入力ステップにより入力された画像から前記人物の顔領域を検出する顔検出ステップと、
この顔検出ステップの検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにより抽出された特徴量を登録情報として登録情報保持手段に保持する登録情報保持ステップと、
前記特徴量抽出ステップにより抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識ステップと、
前記顔検出ステップの検出結果により顔のサイズを検出する顔サイズ検出ステップと、
この顔サイズ検出ステップにより検出された顔のサイズが照合可能条件の範囲内にあるか否かをチェックするサイズチェックステップと、
このサイズチェックステップによるチェックの結果、検出された顔のサイズが照合可能条件の範囲内にあれば、前記特徴量抽出ステップおよび前記認識ステップの各処理を行ない、検出された顔のサイズが照合可能条件の範囲内になければ、当該処理を行なわないよう制御する制御ステップと、
を具備したことを特徴とする人物認識方法。
認識対象となる人物の少なくとも顔画像を入力する画像入力ステップと、
この画像入力ステップにより入力された画像から前記人物の顔領域を検出する顔検出ステップと、
この顔検出ステップの検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにより抽出された特徴量を登録情報として登録情報保持手段に保持する登録情報保持ステップと、
前記特徴量抽出ステップにより抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識ステップと、
前記顔検出ステップにより検出された顔領域内の輝度分布を求める輝度分布算出ステップと、
この輝度分布算出ステップにより求められた輝度分布の平均値、ピーク値、分散値のうち少なくともいずれか１つの値を求める演算ステップと、
この演算ステップにより求められた値が登録可能条件の範囲内にあるか否かをチェックするチェックステップと、
このチェックステップによるチェックの結果、前記演算ステップにより求められた値が登録可能条件の範囲内にあれば、前記特徴量抽出ステップおよび前記登録情報保持ステップの各処理を行ない、前記演算ステップにより求められた値が登録可能条件の範囲内になければ、当該処理を行なわないよう制御する制御ステップと、
を具備したことを特徴とする人物認識方法。
認識対象となる人物の少なくとも顔画像を入力する画像入力ステップと、
この画像入力ステップにより入力された画像から前記人物の顔領域を検出する顔検出ステップと、
この顔検出ステップの検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにより抽出された特徴量を登録情報として登録情報保持手段に保持する登録情報保持ステップと、
前記特徴量抽出ステップにより抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識ステップと、
前記顔検出ステップにより検出された顔領域内の輝度分布を求める輝度分布算出ステップと、
この輝度分布算出ステップにより求められた輝度分布の平均値、ピーク値、分散値のうち少なくともいずれか１つの値を求める演算ステップと、
この演算ステップにより求められた値が照合可能条件の範囲内にあるか否かをチェックするチェックステップと、
このチェックステップによるチェックの結果、前記演算ステップにより求められた値が照合可能条件の範囲内にあれば、前記特徴量抽出ステップおよび前記認識ステップの各処理を行ない、前記演算ステップにより求められた値が照合可能条件の範囲内になければ、当該処理を行なわないよう制御する制御ステップと、
を具備したことを特徴とする人物認識方法。
通行者を認識して前記通行者の通行を制御する通行制御装置において、
前記通行者の少なくとも顔画像を入力する画像入力手段と、
この画像入力手段により入力された画像から前記通行者の顔領域を検出する顔検出手段と、
この顔検出手段の検出結果に基づき前記通行者の顔の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、
前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記通行者を認識する認識手段と、
この認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、
前記顔検出手段の検出結果により顔のサイズを検出する顔サイズ検出手段と、
この顔サイズ検出手段により検出された顔のサイズが登録可能条件の範囲内にあるか否かをチェックするサイズチェック手段と、
このサイズチェック手段によるチェックの結果、検出された顔のサイズが登録可能条件の範囲内にあれば、前記特徴量抽出手段および前記登録情報保持手段の各処理を行ない、検出された顔のサイズが登録可能条件の範囲内になければ、当該処理を行なわないよう制御する制御手段と、
を具備したことを特徴とする通行制御装置。
通行者を認識して前記通行者の通行を制御する通行制御装置において、
前記通行者の少なくとも顔画像を入力する画像入力手段と、
この画像入力手段により入力された画像から前記通行者の顔領域を検出する顔検出手段と、
この顔検出手段の検出結果に基づき前記通行者の顔の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、
前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記通行者を認識する認識手段と、
この認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、
前記顔検出手段の検出結果により顔のサイズを検出する顔サイズ検出手段と、
この顔サイズ検出手段により検出された顔のサイズが照合可能条件の範囲内にあるか否かをチェックするサイズチェック手段と、
このサイズチェック手段によるチェックの結果、検出された顔のサイズが照合可能条件の範囲内にあれば、前記特徴量抽出手段および前記認識手段の各処理を行ない、検出された顔のサイズが照合可能条件の範囲内になければ、当該処理を行なわないよう制御する制御手段と、
を具備したことを特徴とする通行制御装置。
通行者を認識して前記通行者の通行を制御する通行制御装置において、
前記通行者の少なくとも顔画像を入力する画像入力手段と、
この画像入力手段により入力された画像から前記通行者の顔領域を検出する顔検出手段と、
この顔検出手段の検出結果に基づき前記通行者の顔の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、
前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記通行者を認識する認識手段と、
この認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、
前記顔検出手段により検出された顔領域内の輝度分布を求める輝度分布算出手段と、
この輝度分布算出手段により求められた輝度分布の平均値、ピーク値、分散値のうち少なくともいずれか１つの値を求める演算手段と、
この演算手段により求められた値が登録可能条件の範囲内にあるか否かをチェックするチェック手段と、
このチェック手段によるチェックの結果、前記演算手段により求められた値が登録可能条件の範囲内にあれば、前記特徴量抽出手段および前記登録情報保持手段の各処理を行ない、前記演算手段により求められた値が登録可能条件の範囲内になければ、当該処理を行なわないよう制御する制御手段と、
を具備したことを特徴とする通行制御装置。
通行者を認識して前記通行者の通行を制御する通行制御装置において、
前記通行者の少なくとも顔画像を入力する画像入力手段と、
この画像入力手段により入力された画像から前記通行者の顔領域を検出する顔検出手段と、
この顔検出手段の検出結果に基づき前記通行者の顔の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、
前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記通行者を認識する認識手段と、
この認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、
前記顔検出手段により検出された顔領域内の輝度分布を求める輝度分布算出手段と、
この輝度分布算出手段により求められた輝度分布の平均値、ピーク値、分散値のうち少なくともいずれか１つの値を求める演算手段と、
この演算手段により求められた値が照合可能条件の範囲内にあるか否かをチェックするチェック手段と、
このチェック手段によるチェックの結果、前記演算手段により求められた値が照合可能条件の範囲内にあれば、前記特徴量抽出手段および前記認識手段の各処理を行ない、前記演算手段により求められた値が照合可能条件の範囲内になければ、当該処理を行なわないよう制御する制御手段と、
を具備したことを特徴とする通行制御装置。