JP2005202731A

JP2005202731A - 顔認識装置、顔認識方法および通行制御装置

Info

Publication number: JP2005202731A
Application number: JP2004008857A
Authority: JP
Inventors: Hiroshi Sukegawa; 寛助川
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2004-01-16
Filing date: 2004-01-16
Publication date: 2005-07-28

Abstract

【課題】人物の顔画像を用いて当該人物を認識する際に、周辺の照明環境や人物の洋服の変化などの影響を受けずに人物の認識に最適な画像を取得することが可能となり、短時間で高い認識性能を確保することが可能となる顔認識装置を提供する。
【解決手段】人物の顔画像を利用して当該人物を特定する顔認識装置において、入力画像内の顔領域の画像情報、および、現在撮像を行なっているカメラの制御パラメータ、および、装置周辺の照明環境情報のうち、少なくとも１つまたは複数の情報から、あらかじめ与えられた顔の識別性能が最も高くなるようなカメラ制御基準を基にカメラの制御を行なうことで、一度のみのカメラ制御により最適な認識結果を取得する。
【選択図】図１

Description

本発明は、たとえば、セキュリティ管理などにおいて、人物の顔画像を用いて当該人物を認識する顔認識装置および顔認識方法に関する。
また、本発明は、上記顔認識装置を用いて通行者の通行（たとえば、重要施設の入退場など）を制御する通行制御装置に関する。

一般に、この種の顔認識装置は、あらかじめ認識対象となる人物の顔画像をカメラやセンサなどを用いて取得し、この取得した顔画像から得られる顔の特徴情報を辞書情報として辞書情報記憶手段に記憶しておく。
そして、照合時（認識時）には、認識対象となる人物の顔画像をカメラやセンサなどを用いて再度取得し、この取得した顔画像から得られる顔の特徴情報が辞書情報記憶手段にあらかじめ記憶されている辞書情報と類似しているかどうかを評価し、類似性が高い場合には当該人物は登録者（本人）であると判定し、類似性が低い場合には未登録者（本人ではない）と判定するようになっている。

このような顔認識装置で利用される画像入力手段であるカメラやセンサは、入力された画像全体の明るさや色あいからゲイン、シャッタ速度、アイリス、ホワイトバランスといった制御パラメータを自動的に最適なものに調整する技術が搭載されているものが多い。
また、対象となる物体は中央に存在することが多いことから、中央重点測光により周辺よりも中央領域を制御パラメータの調整を行なう際に重要視するものも存在する。

さらに、画像の撮影を目的とした撮影装置において、顔領域の画像が見やすくなるような制御を行なう技術（たとえば、特許文献１、特許文献２参照）や、顔の照合を目的とした本人特定装置において、認識に失敗したときには再度撮影条件を変更して再撮影を行なうようにした技術（たとえば、特許文献３参照）が知られている。
特開平１１−１４６４０５号公報特開２００３−１０７５５５号公報特開平１１−３１６８３６号公報

ところが、たとえば、カメラで入力される撮影範囲内に強い光源が存在した場合や、人物の洋服の色の変化などを受けて顔領域の画像が変化し、認識に影響を与える問題については、顔領域にしぼった測光範囲とすることで、この影響を軽減されるようになったが、この際に得られる顔画像が認識処理に最適な画像となるような基準で制御をされておらず、必ずしも認識処理にとって最適であるかどうかは保証されていない。

また、特許文献３の方法を用いた場合には、必ず認識のやり直しを行なう必要があることや、認識失敗時にのみ再撮影を行なうため、他人受入れが発生し易くなるといった問題がある。
さらに、従来のカメラ制御方法は、現在の設定値と希望する設定値が相対的に求められるものが大半であるため、初期状態から最適な最終設定値になるまで再帰的に何度か制御を繰り返すために制御時間がかかってしまうことがある。

そこで、本発明は、人物の顔画像を用いて当該人物を認識する際に、周辺の照明環境や人物の洋服の変化などの影響を受けずに人物の認識に最適な画像を取得することが可能となり、短時間で高い認識性能を確保することが可能となる顔認識装置、顔認識方法および通行制御装置を提供することを目的とする。

本発明の顔認識装置は、入力画像を調整する要素を少なくとも１つ以上備え、認識対象となる人物の顔画像を入力する画像入力手段と、この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域の画像情報により前記人物固有の顔の特徴情報を抽出する顔特徴抽出手段と、あらかじめ認識対象となる人物の顔の特徴情報を辞書情報として記憶する辞書情報記憶手段と、前記顔特徴抽出手段により抽出された特徴情報と前記辞書情報記憶手段に記憶されている辞書情報とを照合することにより当該人物は特定の人物であるかどうかを認識する認識手段と、前記人物上におけるまたは前記人物周辺の照明環境を入力する照明環境入力手段と、前記顔検出手段により検出された顔領域の画像情報および前記画像入力手段の入力画像を調整する要素を制御する現在の制御パラメータおよび前記照明環境入力手段により入力された照明環境情報のうち少なくとも１つの情報とあらかじめ与えられた前記画像入力手段の入力画像を調整する要素を制御する制御基準値に基づき前記画像入力手段の入力画像を調整する要素を制御する制御手段とを具備している。

また、本発明の顔認識方法は、入力画像を調整する要素を少なくとも１つ以上備えた画像入力手段により認識対象となる人物の顔画像を入力する画像入力ステップと、この画像入力ステップにより入力された画像から前記人物の顔領域を検出する顔検出ステップと、この顔検出ステップにより検出された顔領域の画像情報により前記人物固有の顔の特徴情報を抽出する顔特徴抽出ステップと、この顔特徴抽出ステップにより抽出された特徴情報と、あらかじめ認識対象となる人物の顔の特徴情報を辞書情報として記憶する辞書情報記憶手段に記憶されている辞書情報とを照合することにより当該人物は特定の人物であるかどうかを認識する認識ステップと、前記人物上におけるまたは前記人物周辺の照明環境を入力する照明環境入力ステップと、前記顔検出ステップにより検出された顔領域の画像情報および前記画像入力手段の入力画像を調整する要素を制御する現在の制御パラメータおよび前記照明環境入力ステップにより入力された照明環境情報のうち少なくとも１つの情報とあらかじめ与えられた前記画像入力手段の入力画像を調整する要素を制御する制御基準値に基づき前記画像入力手段の入力画像を調整する要素を制御する制御ステップとを具備している。

さらに、本発明の通行制御装置は、入力画像を調整する要素を少なくとも１つ以上備え、認識対象となる通行者の顔画像を入力する画像入力手段と、この画像入力手段により入力された画像から前記通行者の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域の画像情報により前記通行者固有の顔の特徴情報を抽出する顔特徴抽出手段と、あらかじめ認識対象となる通行者の顔の特徴情報を辞書情報として記憶する辞書情報記憶手段と、前記顔特徴抽出手段により抽出された特徴情報と前記辞書情報記憶手段に記憶されている辞書情報とを照合することにより当該通行者は特定の通行者であるかどうかを認識する認識手段と、この認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、前記通行者上におけるまたは前記通行者周辺の照明環境を入力する照明環境入力手段と、前記顔検出手段により検出された顔領域の画像情報および前記画像入力手段の入力画像を調整する要素を制御する現在の制御パラメータおよび前記照明環境入力手段により入力された照明環境情報のうち少なくとも１つの情報とあらかじめ与えられた前記画像入力手段の入力画像を調整する要素を制御する制御基準値に基づき前記画像入力手段の入力画像を調整する要素を制御する制御手段とを具備している。

本発明によれば、人物の顔画像を用いて当該人物を認識する際に、周辺の照明環境や人物の洋服の変化などの影響を受けずに人物の認識に最適な画像を取得することが可能となり、短時間で高い認識性能を確保することが可能となる顔認識装置、顔認識方法および通行制御装置を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
図１は、第１の実施の形態に係る顔認識装置の構成を概略的に示すものである。この顔認識装置は、入力画像を調整する要素を少なくとも１つ以上備え、認識対象となる人物（以下、認識対象者ともいう）Ｍの顔画像（少なくとも顔を含んでいる画像）を撮像して入力する画像入力手段としてのカメラ１０１、カメラ１０１から得られた人物の顔画像を用いて顔および目、鼻などの顔部位の位置を検出し顔領域の画像情報を取得する顔検出手段としての顔検出部１０２、顔検出部１０２で検出された顔領域の画像情報から人物の特徴を示す顔の特徴量（特徴情報）を抽出する顔特徴抽出手段としての顔特徴抽出部１０３、辞書登録時には、顔特徴抽出部１０３で抽出された顔の特徴情報を辞書情報として記憶する辞書情報記憶手段としての辞書情報記憶部１０４、照合（顔認識）時には、顔特徴抽出部１０３で抽出された顔の特徴情報（入力特徴情報）と辞書情報記憶部１０４に記憶されている辞書情報とを照合することにより人物Ｍが本人であるか否かを認識する認識手段としての認識部１０５、人物Ｍ上におけるおよび人物Ｍ周辺の照明環境を入力する照明環境入力手段としての照明環境入力部１０６、顔検出部１０２により検出された顔領域の画像情報およびカメラ１０１の入力画像を調整する要素（たとえば、ゲイン）を制御する現在の制御パラメータおよび照明環境入力部１０６により入力された照明環境情報のうち少なくとも１つの情報とあらかじめ与えられたカメラ１０１の入力画像を調整する要素を制御する制御基準値に基づきカメラ１０１の入力画像を調整する要素を制御する制御手段としてのカメラ制御部１０７、カメラ１０１により撮影されている人物Ｍの顔画像や顔検出部１０２により検出された顔の検出結果、認識部１０５の認識結果に応じた画面表示や音声出力などを行なう出力手段としての出力部１０８を有して構成されている。

なお、図示は省略しているが、必要に応じて、カメラ１０１の近傍（たとえば、右上方あるいは左上方）から認識対象者Ｍの少なくとも顔に向けて一定の照度で光を照射する照明手段が設けられる。

また、以下の説明では、画像入力データ、抽出した特徴量（特徴情報）、部分空間、部分空間を構成するための固有ベクトル、相関行列、登録の際の時刻、日時、場所などの状況情報、暗証番号、ＩＤコードなどの個人情報の各情報が存在する。そして、認識データと言うときは、部分空間、または、部分空間を構成するための固有ベクトルを含み、辞書情報（登録情報）と言うときは、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、状況情報、個人情報を含んでいる。したがって、認識データは辞書情報に含まれる。

カメラ１０１は、認識対象者Ｍの顔画像を下方から所定角度で撮像して入力するもので、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラなどを主体に構成されていて、撮像した顔画像をＡ／Ｄ変換してデジタル化した後、顔検出部１０２へ送る。

また、カメラ１０１は、入力画像を調整する機能を備えているものとし、たとえば、ゲイン値、絞り値、シャッタ速度、ホワイトバランスなどが挙げられる。本発明ではこれらのどの調整要素を利用してもよいが、本実施の形態においては色情報を使わない認識手法を利用することや制御速度のことを考慮してゲインの調整を行なうことで説明を行なう。なお、画質を最適にするためには絞りの制御を利用することやシャッタ速度の調整、カラー情報を使う場合にはホワイトバランスを制御対象（調整要素）としても構わない。

なお、図示は省略しているが、必要に応じて、認識対象者Ｍが本人であることを確認する際に用いる暗証番号などを入力したり、多数登録されている辞書情報の中のどの辞書情報であるかを特定する識別情報などを入力する入力手段をカメラ１０１の近傍に併設しても構わない。具体的には、たとえば、テンキーやタッチパネル、あるいは、ＩＣカードや磁気カードあるいは無線カードを読取るカードリーダなどによって実現可能である。

顔検出部１０２は、まず、カメラ１０１で入力された画像から認識対象者Ｍの顔領域を検出する。たとえば、カメラ１０１からの入力画像内において、あらかじめ用意されたテンプレートを画像内を移動させながら相関値を求めることにより、最も高い相関値を与える位置を顔領域とする。なお、その他に、固有空間法や部分空間法を利用した顔領域抽出法などの顔検出手段でもよい。

顔検出部１０２は、次に、検出された顔領域の部分の中から、目、鼻、口といった顔部位の位置を検出する。その検出方法は、たとえば、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７））に開示されている方法などを用いてよい。

顔特徴抽出部１０３は、顔検出部１０２で検出された顔部位の位置を基に、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を顔の特徴量（特徴情報）として用いる。ここでは、たとえば、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。これらのデータに対し特徴ベクトルの相関行列を求め、周知のＫ−Ｌ展開による正規直交ベクトルを求めることにより、部分空間を計算する。部分空間の計算方法は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。

本実施の形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列

と対角化して、固有ベクトルの行列Φを求める。この部分空間は、人物の同定を行なうための識別辞書として利用する。この情報を辞書情報としてあらかじめ登録しておけばよい。

また、後で述べるように、認識を行なうための入力特徴情報として部分空間自身を利用してもよい。したがって、部分空間を算出した結果は、辞書情報記憶部１０４または認識部１０５に送られる。この際、新規に辞書情報を作成する場合には、ここで作成した部分空間の情報そのものを登録することで実現可能であり、他にも既に登録されている情報を更新する処理の場合には、登録された部分空間を作成する相関行列を保存しておいて、新たに入力された顔の特徴情報を追加した上でＫ−Ｌ展開を再度計算して出力された部分空間を辞書情報として置き換えることで実現が可能である。この際、以前から登録されていた情報を一切消して情報を全て書換える方法でもよいし、全く別の部分空間として新規に登録するようにしても構わない。

辞書情報記憶部１０４は、人物を同定するために利用する部分空間（または、相関行列など）、および、人物を特定するＩＤ番号などの識別情報を対応させて蓄積する。また、辞書登録の際の時刻、日時、場所などの状況情報なども蓄積できる。なお、部分空間に限らず、画像入力データや抽出された顔の特徴情報そのものを蓄積してもよい。ここで記憶する辞書情報は１名あたり１つでもよいし、状況によって切換えたり同時に認識に利用できるように複数の辞書情報を記憶していてもかまわない。

認識部１０５は、辞書情報記憶部１０４に記憶された辞書情報（部分空間）と顔特徴抽出部１０３で得られた特徴情報（濃淡情報あるいは部分空間情報）とを照合（比較）することにより、カメラ１０１で撮像されている認識対象者Ｍが誰であるかを認識、あるいは、該当人物であるかどうかを同定する。人物を認識するためには、どの人物のデータに最も類似しているかを求めればよく、最大類似度をとるデータに対応する人物を認識結果とすればよい。この際、最大類似度が所定の閾値に到達しない場合には、該当する人物が登録されていないということで「未登録者」といった扱いをすればよい。この認識方法を本実施の形態では「１：Ｎ認識」として定義し、以降の説明で繰り返し利用することとする。

また、ＩＤ番号、暗証番号、鍵などの個人の識別情報を用いて、顔画像による認識を行なう場合には、それぞれの人物の識別情報に対応する辞書情報との類似度を計算して、設定した認証閾値と照合し、その認証閾値を越えた場合に、その人物と同定する。この場合、ＩＤ番号、暗証番号、鍵など個人の識別情報を入力する手段が必要であるが、たとえば、ＩＣカード、ＩＤカード、無線カード、キーボードなどを用いることで実現できる。いずれにしても必要な入力手段を追加して設置すればよいのは明らかである。

認識の方法としては、顔特徴抽出部１０３の情報を用いる場合は、部分空間法や複合類似度法などの方法を用いてよい。本実施の形態での認識方法は、たとえば、文献（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−３５２（１９８５））に記載されている公知の認識方法である相互部分空間法を用いる。

この方法では、あらかじめ蓄えられた登録情報の中の認識データも、入力されるデータも部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力部分空間という。入力データ列に対して同様に相関行列Ｃｉｎを求め、

と対角化し、固有ベクトルΦｉｎを求める。２つのΦｉｎ，Φｄで表わされる部分空間の部分空間類似度（０．０〜１．０）を求め、それを認識するための類似度とする。

なお、本実施の形態においては、登録された辞書情報との一致性は「類似度」を用いた例を用いているが、相関値やユークリッド距離といったものを利用してもかまわない。

相互部分空間法においては、照合を行なう際にも複数の特徴情報を入力し、その特徴情報から得られる部分空間情報を認識に利用するため、登録や更新といった処理のみならず、照合をする際にも複数の画像の入力が必要となる。本実施の形態では、繰り返して照合を行なっていくうちに所定の閾値を上回る類似度と判定された時点で照合を打ち切って登録された人物であると判定することとし、所定の時間、または、所定の繰り返し回数以内に所定の閾値に到達しない場合には登録された人物ではないと判定することとする。この認識方法を本実施の形態では「１：１認識」として定義し、以降の説明で繰り返し利用することとする。

また、「１：１認識」と「１：Ｎ認識」との中間に位置する「１：ｎ認識」については、登録者全体の中の複数の人物に共通する識別情報が入力された場合を想定し、この識別情報が入力された場合には、その識別情報に対応する１名または複数名の登録者の辞書情報との類似度を計算し、最高となる類似度が閾値よりも高い場合に、その識別情報に相当する登録者がきたこととする。

たとえば、複数の人物に共通するグループ番号を識別情報として入力し、そのグループに属する人物であるかどうかを判定する場合などに用いる。基本的に、登録者全員との類似度を計算するのではなく、その中の１名または複数名の人物との照合を行なうということであって、全体的な動作は「１：Ｎ認識」の動作と共通であるため、本実施の形態においては「１：Ｎ認識」の説明に包含して説明する。

照明環境入力部１０６は、たとえば、認識対象者Ｍの周囲の照明環境を測定するものであり、実際に照度計を認識対象者Ｍに向けて設置して照度を直接計測することで容易に実現可能である。この場合、カメラ１０１の制御による入力画像の変化の影響は受けずに絶対的な照度情報を取得することが可能となる。

なお、照度計といった機器を使わずにカメラ１０１から入力された画像を解析することで測定することも可能であり、たとえば顔領域の平均輝度で人物領域（人物上）の明るさを求めることが可能であり、顔領域以外の領域や人物の背景に相当する右上左上の固定領域の平均輝度を測定することで認識対象者Ｍ周辺の照明環境を測定することは可能である。このｍ×ｎピクセルの画像に対し、本実施の形態においては、図２（ａ）に示すようにｍ×ｎの全体領域Ａ、図２（ｂ）に示すようにＸ軸方向にｍを３等分（ｍ／３）して３つの領域に分割したときの一番左の領域Ｂ、図２（ｃ）に示すように同様に分割して一番右側の領域Ｃ、の３つの領域についてそれぞれ評価を行なうこととする。

たとえば、図２（ａ）に示すように顔領域Ａ全体で人物の顔全体の輝度分布が取得できるほか、図２（ｂ）に示すようにＸ軸方向に３等分して３つの領域に分割したときの一番左の領域Ｂ、あるいは、図２（ｃ）に示すように同様に分割して一番右側の領域Ｃの輝度統計量を調べることにより人物の側面側における照明の状態を取得することができる。

ここで計算できる輝度統計量としては、図２の領域Ａ，Ｂ，Ｃ内における平均輝度、白飛び画素や黒つぶれ画素といった明るすぎる、または暗すぎることによって発生する輝度的に飽和してしまった画素の存在比率、最大値となる輝度、最低値となる輝度、分散などを求めることができる。平均輝度は絶対的な照明状態の明るさを示すことになり、白飛び画素比率や黒つぶれ画素比率は認識に利用できる顔の情報の欠落を示し、最大値と最低値や分散を利用することで顔領域のコントラストやダイナミックレンジといった特徴情報を取得することができる。

また、本実施の形態では、細かい説明は省略するが、認識部１０５で認識に用いている特徴情報そのものを計算して、この値を利用することにより最終的に認識部１０５での認識性能を判定するのに有効な特徴情報を与えることが可能となる。それぞれの輝度統計量がどのような指標になるかをまとめたものを図３に示す。これら全ての情報を対象として処理をすることは可能であるが、本実施の形態では照明環境入力部１０６から得られた周囲の明るさ情報とともに、図２の領域Ａ，Ｂ，Ｃでの白飛び画素比率と黒つぶれ画素比率により顔領域内での情報の欠如している度合いを示す指標として利用することとする。

カメラ制御部１０７は、あらかじめ実験的に得られた最適ゲイン取得用の近似関数を用い、顔検出部１０２および照明環境入力部１０６から得られた各情報を入力することによって最適なカメラゲイン値を求める。具体的な処理の流れは図４に示すフローチャートのようになる。

以下、図４のフローチャートに基づきカメラ制御部１０７の具体的な処理の流れについて説明する。まず、たとえば、認識動作が始まる直前（認識待機中）に、カメラ１０１によりあらかじめ定められた特定のゲイン値で顔画像を取得する（ステップＳ１）。この際、カメラ１０１で設定されていたゲイン値Ｇｃｕｒを取得する。

次に、顔検出部１０２により、ステップＳ１で取得した画像から顔領域を検出する（ステップＳ２）。この際、照明環境入力部１０６では、顔検出部１０２で検出された顔領域の画像情報から顔領域白飛び画素比率ＦａｃｅＷｈｉｔｅおよび顔領域黒つぶれ画素比率ＦａｃｅＢｌａｃｋが計算されるとともに、照度計からこのときの照度（ルクス値）ＦａｃｅＬｕｘを取得する。

なお、ステップＳ２において顔領域が検出できない場合（ステップＳ３）、認識を開始することもできないことから、カメラ１０１内蔵のＡＧＣ（自動利得制御）や固定領域の輝度分布を利用したゲイン制御（ステップＳ４）を行なうことにより、顔領域の検出失敗時にもなんらかのゲイン制御を行なえるようにしておくこととし、顔領域が検出されるまで当該ゲイン制御を繰り返すこととする。

次に、上記したように求めた各情報Ｇｃｕｒ，ＦａｃｅＬｕｘ，ＦａｃｅＷｈｉｔｅ，ＦａｃｅＢｌａｃｋを最適ゲイン取得関数に代入することで最適なゲイン値を求め（ステップＳ５）、この求めたゲイン値に基づきカメラ１０１のゲインを制御することで（ステップＳ６）、認識を行なうのに最適な顔画像が得られ、認識動作が開始する（ステップＳ７，Ｓ８，Ｓ９）。

ここで、あらかじめ作成する最適ゲイン取得用の最適ゲイン取得関数の作成方法について図５を用いて説明する。あらかじめ本顔認識装置が設置されると思われる場所の照明環境を複数（本実施の形態では照度１から照度ｎまでとする）用意しておき、それらの中でカメラ１０１のゲインをＧａｉｎ（ｍｉｎ）からＧａｉｎ（ｍａｘ）まで変更しながら、その各ゲインごとの画像を取得するようなデータを収集する。

この作業により、図５に示すように与えられた照明環境に対して特定のゲインにした場合の顔領域の画像情報が得られ、さらに、この状態での類似度の分布が取得できる。このときに登録されている辞書情報の全てに対する類似度を組合わせを変えながら求め、本人の辞書情報に対する類似度と他人の辞書情報に対する平均類似度との差が最も高くなるゲイン値が「最適なゲイン」であることがわかり、それらの最適な組合わせを学習させる。

学習の方法としては、たとえば、ニューラルネットやＨＭＭ（隠れマルコフモデル）などを用いて照明環境に対する最適なゲインを出力させるようにしてもよいし、最適な組合わせとなる照度、輝度統計量、ゲイン値の複数の組合わせを利用した重回帰分析や主成分分析などを用いて複数の情報に対する重み係数を変えながら最適ゲインを出力する近似直線または行列を作成する方法がある。

出力部１０８は、カメラ１０１で入力される入力画像、顔検出部１０２で検出された顔の位置、顔特徴抽出部１０３から得られる顔の特徴情報といったものを表示したり、認識部１０５で得られた認識結果にあわせたメッセージを表示する。同様に、音声出力が行なえる機器を接続して音声メッセージなどを出力してもよい。また、認識に利用された特徴情報を履歴として記録しておき、後から画面に表示することで確認することを可能とすることもできる。さらに、認識部１０５で得られた認識結果にあわせて接続された機器を制御する信号を出力するといったことも行なえるようにすることができることは明らかである。たとえば、ゲート装置などを接続して、あらかじめ登録されている人物と認識された場合にのみゲートの通行を許可するといったことなどが実現できることは自明である。

以上説明したように第１の実施の形態によれば、一度のみのカメラ１０１の制御により最適な認識結果を得やすい画像を取得することが可能となり、周辺の照明環境条件や人物の洋服の変化などの影響を受けずに短時間で高い認識性能を確保することが可能となる。

次に、第２の実施の形態について説明する。
図６は、第２の実施の形態に係る顔認識装置の構成を概略的に示すものである。この顔認識装置は、入力画像を調整する要素を少なくとも１つ以上備え、認識対象となる人物（以下、認識対象者ともいう）Ｍの顔画像（少なくとも顔を含んでいる画像）を撮像して入力する画像入力手段としてのカメラ２０１、カメラ２０１から得られた人物の顔画像を用いて顔および目、鼻などの顔部位の位置を検出し顔領域の画像情報を取得する顔検出手段としての顔検出部２０２、顔検出部２０２で検出された顔領域の画像情報から人物の特徴を示す顔の特徴量（特徴情報）を抽出する顔特徴抽出手段としての顔特徴抽出部２０３、辞書登録時には、顔特徴抽出部２０３で抽出された顔の特徴情報を辞書情報として記憶する辞書情報記憶手段としての辞書情報記憶部２０４、照合（顔認識）時には、顔特徴抽出部２０３で抽出された顔の特徴情報（入力特徴情報）と辞書情報記憶部２０４に記憶されている辞書情報とを照合することにより人物Ｍが本人であるか否かを認識する認識手段としての認識部２０５、人物Ｍおよび人物Ｍ周辺の照明環境を入力する照明環境入力手段としての照明環境入力部２０６、顔検出部２０２により検出された顔領域の画像情報およびカメラ２０１の入力画像を調整する要素（たとえば、ゲイン）を制御する現在の制御パラメータおよび照明環境入力部２０６により入力された照明環境情報のうち少なくとも１つの情報とあらかじめ与えられたカメラ２０１の入力画像を調整する要素を制御する制御基準値に基づきカメラ２０１の入力画像を調整する要素を制御し、かつ、当該制御後に得られる認識部２０５の認識結果に基づきカメラ２０１の制御基準値を再構築する制御手段としてのカメラ制御部２０７、カメラ２０１により撮影されている人物Ｍの顔画像や顔検出部２０２により検出された顔の検出結果、認識部２０５の認識結果に応じた画面表示や音声出力などを行なう出力手段としての出力部２０８を有して構成されている。

なお、カメラ２０１、顔検出部２０２、顔特徴抽出部２０３、辞書情報記憶部２０４、認識部２０５、照明環境入力部２０６、出力部２０８は、前述した第１の実施の形態におけるそれと同一であるため説明を省略し、第１の実施の形態と異なるカメラ制御部２０７について説明する。

カメラ制御部２０７は、図７に示すように、認識時にカメラ２０１の制御を行なう処理については前述した第１の実施の形態と同様の処理を行なうこととするが、第２の実施の形態では最適なゲインと思われる値にカメラ２０１を制御した後の認識で得られた類似度を再度カメラ制御用情報に反映をさせる点が第１の実施の形態と異なる。

たとえば、実際に制御を行なった上で得られた類似度分布があまり好ましくなく、本人の辞書情報に対する類似度が他人の辞書情報に対してあまり優位性がない場合には、現在のカメラ２０１のゲイン値は最適ではないと考えられるため、同じ照明環境条件で取得された画像に対する最適ゲイン値の正解値を見直す必要がある。一方で、制御した結果、良好な類似度分布を得られた場合には、この制御方法の信頼性が高いという指標を与えることが可能である。

そこで、具体的な学習方法としては、認識終了時に、ゲイン制御する際に入力された全ての情報と、その制御を反映させた画像を利用した顔の認識結果との組合わせを再度カメラ制御用パラメータを決めるデータの１つとして過去に学習させているデータ群に追加し、再度カメラ制御情報を再構築する。たとえば、前述したように、ニューラルネットやＨＭＭおよび主成分分析を利用しているゲイン制御用関数を構築している場合には、この「照明環境情報」、「顔の輝度統計量」、「最適と推定したゲイン値」、「得られた類似度分布」の４つの情報を学習用データ群に追加して学習をさせる。

重回帰分析を用いている場合にも、この４つの情報の組合わせをデータの１つとして入力することによって、「照明環境情報」と「顔の輝度統計量」が与えられた際の最適ゲイン値の見直しを行ない、再度近似関数を再構築する。この処理を認識が行なわれるたびに繰り返していくことにより、特定の照明環境条件が与えられたときに最も他人との識別を行ないやすいようなカメラ２０１のゲイン値が求められるようになる。

以上説明したように第２の実施の形態によれば、事前に大量にデータを収集する必要がなく、一度のみのカメラ２０１の制御により最適な認識結果を得やすい画像を取得することが可能となり、周辺の照明環境条件や人物の洋服の変化などの影響を受けずに短時間で高い認識性能を確保することが可能となる。

次に、第３の実施の形態について説明する。
図８は、第３の実施の形態に係る顔認識装置の構成を概略的に示すものである。この顔認識装置は、入力画像を調整する要素を少なくとも１つ以上備え、認識対象となる人物（以下、認識対象者ともいう）Ｍの顔画像（少なくとも顔を含んでいる画像）を撮像して入力する画像入力手段としてのカメラ３０１、カメラ３０１から得られた人物の顔画像を用いて顔および目、鼻などの顔部位の位置を検出し顔領域の画像情報を取得する顔検出手段としての顔検出部３０２、顔検出部３０２で検出された顔領域の画像情報から人物の特徴を示す顔の特徴量（特徴情報）を抽出する顔特徴抽出手段としての顔特徴抽出部３０３、辞書登録時には、顔特徴抽出部３０３で抽出された顔の特徴情報を辞書情報として記憶する辞書情報記憶手段としての辞書情報記憶部３０４、照合（顔認識）時には、顔特徴抽出部３０３で抽出された顔の特徴情報（入力特徴情報）と辞書情報記憶部３０４に記憶されている辞書情報とを照合することにより両情報の類似度を求める認識手段としての認識部３０５、複数の撮影条件で取得された画像に対する認識部３０５の出力結果を保持し最も識別性の高いと思われる結果を採用して最終的にあらかじめ登録されている特定の人物であるかどうかを判定する認識結果選択手段としての認識結果選択部３０６、カメラ３０１により撮影されている人物Ｍの顔画像や顔検出部３０２により検出された顔の検出結果、認識結果に応じた画面表示や音声出力などを行なう出力手段としての出力部３０７を有して構成されている。

なお、顔検出部３０２、顔特徴抽出部３０３、辞書情報記憶部３０４、出力部３０７は、前述した第１の実施の形態におけるそれと同一であるため説明を省略し、第１の実施の形態と異なるカメラ３０１、認識部３０５、認識結果選択部３０６について説明する。

図９は全体的な処理の流れを示しており、以下、図９に基づき具体的な処理の流れについて説明する。
カメラ３０１では、認識が開始されると同時に制御可能な要素を最小値から最大値まで変更しながら順次画像を入力する。本実施の形態の場合では、ゲインの値が設定できる範囲内において最小のゲイン値Ｇａｉｎ（ｍｉｎ）から最大のゲイン値Ｇａｉｎ（ｍａｘ）まで変更しながら、その各ゲインごとの画像を取得して、それぞれの画像に対して顔検出部３０２、顔特徴抽出部３０３で必要な特徴の抽出を行ない、認識部３０５では、認識対象となる辞書情報それぞれに対する類似度を求める。

こうして認識部３０５で求められた各ゲイン値それぞれに対する類似度の分布は認識結果選択部３０６において保持されており、全てのゲイン値に対する類似度分布が集まった時点で、最も本人と推定される類似度とそれ以外の類似度の平均との差が大きい優位性の高い認識結果を採用して最終的な認識結果として出力を行なう。この結果を利用してあらかじめ登録されている人物であるかどうかの判定も同時に行なうこととする。

なお、最終的に最も識別性が高いと判断する基準は上述の方法の外に、単純に本人と推定される類似度が所定の閾値よりも高く、充分に本人といえる可能性が高いと判定される場合を選択することや、これら２つを組合わせる方法なども考えられ、いずれの方法でも高い認識結果が取得できる。ただし、単純に本人と思われる類似度のみを判断基準として用いてしまうと、未登録者などの認識の際に不必要に高い類似度を出力してしまう可能性があるため、本実施の形態で述べたように、他人の類似度に対する優位性を利用することにより、他人受入れの可能性を低く抑えたまま高い認識性能を確保することが可能となる。

以上説明したように第３の実施の形態によれば、事前に大量にデータを収集することなく常時最適な認識結果を得やすい画像を取得することが可能となり、周辺の照明環境条件や人物の洋服の変化などの影響を受けずに高い認識性能を確保することが可能となる。

次に、第４の実施の形態について説明する。
第４の実施の形態は、たとえば、第１の実施の形態で説明した顔認識装置を、通行者の顔を認識して通行者の通行を制御する通行制御装置に適用した場合の例である。

図１０は、第４の実施の形態に係る通行制御装置の構成を概略的に示すものである。この通行制御装置は、たとえば、重要施設（セキュリティ重視の部屋など）への入退室管理を行なうもので、利用者（通行者）の顔を認識して、その認識結果に基づき重要施設の入退室用ドアの開閉制御を行なうものであり、カメラ１０１、顔検出部１０２、顔特徴抽出部１０３、辞書情報記憶部１０４、認識部１０５、照明環境入力部１０６、カメラ制御部１０７、出力部１０８、および、認識部１０５の認識結果に応じて重要施設１１６の入退室用ドア１１７の開閉制御を行なう通行制御手段としてのドア制御部１１５から構成されている。
なお、図１０において、ドア制御部１１５以外は図１の顔認識装置と同じ構成であるので、同一符号を付してその説明は省略する。

認識部１０５は、たとえば、求めた類似度が閾値以上の場合、ドア制御部１１５に「ドア開」の信号を出力し、求めた類似度が閾値よりも小さかった場合、ドア制御部１１５に「ドア閉」の信号を出力する。ドア制御部１１５は、認識部１０５から「ドア開」の信号を受取ると、入退室用ドア１１７を開状態に制御して認識対象者（この場合は通行者）Ｍの入室を許可し、「ドア閉」の信号を受取ると、入退室用ドア１１７を閉状態に保持して通行者Ｍの入室を拒否する。
このように、第４の実施の形態によれば、第１の実施の形態で説明した顔認識装置を用いて通行者の通行を制御することができる。

次に、第５の実施の形態について説明する。
第５の実施の形態は、たとえば、第２の実施の形態で説明した顔認識装置を、通行者の顔を認識して通行者の通行を制御する通行制御装置に適用した場合の例であり、図１１に第５の実施の形態に係る通行制御装置の構成を示す。第５の実施の形態も第４の実施の形態と同様な考えのもとで構成されており、よって同一部分には同一符号を付して説明は省略する。

次に、第６の実施の形態について説明する。
第６の実施の形態は、たとえば、第３の実施の形態で説明した顔認識装置を、通行者の顔を認識して通行者の通行を制御する通行制御装置に適用した場合の例であり、図１２に第６の実施の形態に係る通行制御装置の構成を示す。第６の実施の形態も第４の実施の形態と同様な考えのもとで構成されており、よって同一部分には同一符号を付して説明は省略する。

以上説明したように上記実施の形態によれば、周辺の照明変動や、カメラで入力される撮影範囲内に強い光源があった場合、あるいは、人物の洋服の色の変化があった場合などの影響については、顔領域にしぼった輝度情報や周囲の照明環境条件を利用してカメラを制御することで軽減され、さらに、制御する基準を顔による認識を最適とするような基準で行なうことでより高い認識性能が実現される。
また、最適なカメラ制御パラメータを与えられた条件から求めることで、一度だけの制御で最適なパラメータに変更することができるため、本人の認証時間を長くすることなく最適な画像を取得することができるようになる。

第１の実施の形態に係る顔認識装置の構成を概略的に示すブロック図。第１の実施の形態に係る照明環境入力部における処理対象領域の処理を説明する図。第１の実施の形態に係る照明環境入力部における照明環境指標の処理を説明する図。第１の実施の形態に係るカメラ制御部における処理の流れを説明するフローチャート。第１の実施の形態に係るカメラ制御部における事前学習の方法についての説明図。第２の実施の形態に係る顔認識装置の構成を概略的に示すブロック図。第２の実施の形態に係るカメラ制御部における随時学習の処理の流れの説明図。第３の実施の形態に係る顔認識装置の構成を概略的に示すブロック図。第３の実施の形態における全体的な処理の流れの説明図。第４の実施の形態に係る通行制御装置の構成を概略的に示すブロック図。第５の実施の形態に係る通行制御装置の構成を概略的に示すブロック図。第６の実施の形態に係る通行制御装置の構成を概略的に示すブロック図。

符号の説明

Ｍ…認識対象者(人物、通行者)、１０１，２０１，３０１…カメラ（画像入力手段）、１０２，２０２，３０２…顔検出部（顔検出手段）、１０３，２０３，３０３…顔特徴抽出部（顔特徴抽出手段）、１０４，２０４，３０４…辞書情報記憶部（辞書情報記憶手段）、１０５，２０５，３０５…認識部（認識手段）、１０６，２０６…照明環境入力部（照明環境入力手段）、１０７，２０７…カメラ制御部（制御手段）、３０６…認識結果選択部（認識結果選択手段）、１０８，２０８，３０７…出力部（出力手段）、１１５…ドア制御部（通行制御手段）、１１６…重要施設、１１７…入退室用ドア（通行制御手段）。

Claims

入力画像を調整する要素を少なくとも１つ以上備え、認識対象となる人物の顔画像を入力する画像入力手段と、
この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の画像情報により前記人物固有の顔の特徴情報を抽出する顔特徴抽出手段と、
あらかじめ認識対象となる人物の顔の特徴情報を辞書情報として記憶する辞書情報記憶手段と、
前記顔特徴抽出手段により抽出された特徴情報と前記辞書情報記憶手段に記憶されている辞書情報とを照合することにより当該人物は特定の人物であるかどうかを認識する認識手段と、
前記人物上におけるまたは前記人物周辺の照明環境を入力する照明環境入力手段と、
前記顔検出手段により検出された顔領域の画像情報および前記画像入力手段の入力画像を調整する要素を制御する現在の制御パラメータおよび前記照明環境入力手段により入力された照明環境情報のうち少なくとも１つの情報とあらかじめ与えられた前記画像入力手段の入力画像を調整する要素を制御する制御基準値に基づき前記画像入力手段の入力画像を調整する要素を制御する制御手段と、
を具備したことを特徴とする顔認識装置。
前記画像入力手段の入力画像を調整する要素を制御する制御基準値は、前記顔検出手段により検出された顔領域の画像情報および前記画像入力手段の入力画像を調整する要素を制御する現在の制御パラメータおよび前記照明環境入力手段により入力された照明環境情報のうち少なくとも１つの情報が与えられた際に最も顔画像による認識性能が高くなるような値であることを特徴とする請求項１記載の顔認識装置。
入力画像を調整する要素を少なくとも１つ以上備え、認識対象となる人物の顔画像を入力する画像入力手段と、
この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の画像情報により前記人物固有の顔の特徴情報を抽出する顔特徴抽出手段と、
あらかじめ認識対象となる人物の顔の特徴情報を辞書情報として記憶する辞書情報記憶手段と、
前記顔特徴抽出手段により抽出された特徴情報と前記辞書情報記憶手段に記憶されている辞書情報とを照合することにより当該人物は特定の人物であるかどうかを認識する認識手段と、
前記人物上におけるまたは前記人物周辺の照明環境を入力する照明環境入力手段と、
前記顔検出手段により検出された顔領域の画像情報および前記画像入力手段の入力画像を調整する要素を制御する現在の制御パラメータおよび前記照明環境入力手段により入力された照明環境情報のうち少なくとも１つの情報とあらかじめ与えられた前記画像入力手段の入力画像を調整する要素を制御する制御基準値に基づき前記画像入力手段の入力画像を調整する要素を制御し、かつ、当該制御後に得られる前記認識手段の認識結果に基づき前記画像入力手段の制御基準値を再構築する制御手段と、
を具備したことを特徴とする顔認識装置。
前記画像入力手段の入力画像を調整する要素を制御する制御基準値は、前記顔検出手段により検出された顔領域の画像情報および前記画像入力手段の入力画像を調整する要素を制御する現在の制御パラメータおよび前記照明環境入力手段により入力された照明環境情報のうち少なくとも１つの情報が与えられた際に最も顔画像による認識性能が高くなるような値を学習によって求めたものであることを特徴とする請求項３記載の顔認識装置。
入力画像を調整する要素を少なくとも１つ以上備え、認識対象となる人物の顔画像を入力する画像入力手段と、
この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の画像情報により前記人物固有の顔の特徴情報を抽出する顔特徴抽出手段と、
あらかじめ認識対象となる人物の顔の特徴情報を辞書情報として記憶する辞書情報記憶手段と、
前記顔特徴抽出手段により抽出された特徴情報と前記辞書情報記憶手段に記憶されている辞書情報とを照合することにより両情報の類似度を求める認識手段と、
前記画像入力手段の入力画像を調整する要素を変更しながら前記画像入力手段から各要素ごとの複数の顔画像を入力し、この入力された複数の顔画像に対する辞書情報との各類似度を前記認識手段から得るように制御する制御手段と、
この得られた各類似度の結果から最も顔画像による認識がし易い入力画像での類似度を基に当該人物は特定の人物であるかどうかの最終的な認識結果を出力する認識結果選択手段と、
を具備したことを特徴とする顔認識装置。
前記認識結果選択手段は、前記認識手段から得られた各類似度の中で特定の人物であると推定できる類似度が最も高くなる結果を選択して本人の特定に利用することを特徴とする請求項５記載の顔認識装置。
前記認識結果選択手段は、前記認識手段から得られた各類似度の中で最も高い類似度とそれ以外の類似度との差が大きいとされる結果を選択して本人の特定に利用することを特徴とする請求項５記載の顔認識装置。
前記認識結果選択手段は、前記認識手段から得られた各類似度の中で特定の人物であると推定できる類似度が最も高く、かつ、それ以外の類似度との差が大きいとされる結果を選択して本人の特定に利用することを特徴とする請求項５記載の顔認識装置。
入力画像を調整する要素を少なくとも１つ以上備えた画像入力手段により認識対象となる人物の顔画像を入力する画像入力ステップと、
この画像入力ステップにより入力された画像から前記人物の顔領域を検出する顔検出ステップと、
この顔検出ステップにより検出された顔領域の画像情報により前記人物固有の顔の特徴情報を抽出する顔特徴抽出ステップと、
この顔特徴抽出ステップにより抽出された特徴情報と、あらかじめ認識対象となる人物の顔の特徴情報を辞書情報として記憶する辞書情報記憶手段に記憶されている辞書情報とを照合することにより当該人物は特定の人物であるかどうかを認識する認識ステップと、
前記人物上におけるまたは前記人物周辺の照明環境を入力する照明環境入力ステップと、
前記顔検出ステップにより検出された顔領域の画像情報および前記画像入力手段の入力画像を調整する要素を制御する現在の制御パラメータおよび前記照明環境入力ステップにより入力された照明環境情報のうち少なくとも１つの情報とあらかじめ与えられた前記画像入力手段の入力画像を調整する要素を制御する制御基準値に基づき前記画像入力手段の入力画像を調整する要素を制御する制御ステップと、
を具備したことを特徴とする顔認識方法。
入力画像を調整する要素を少なくとも１つ以上備えた画像入力手段により認識対象となる人物の顔画像を入力する画像入力ステップと、
この画像入力ステップにより入力された画像から前記人物の顔領域を検出する顔検出ステップと、
この顔検出ステップにより検出された顔領域の画像情報により前記人物固有の顔の特徴情報を抽出する顔特徴抽出ステップと、
この顔特徴抽出ステップにより抽出された特徴情報と、あらかじめ認識対象となる人物の顔の特徴情報を辞書情報として記憶する辞書情報記憶手段に記憶されている辞書情報とを照合することにより当該人物は特定の人物であるかどうかを認識する認識ステップと、
前記人物上におけるまたは前記人物周辺の照明環境を入力する照明環境入力ステップと、
前記顔検出ステップにより検出された顔領域の画像情報および前記画像入力手段の入力画像を調整する要素を制御する現在の制御パラメータおよび前記照明環境入力ステップにより入力された照明環境情報のうち少なくとも１つの情報とあらかじめ与えられた前記画像入力手段の入力画像を調整する要素を制御する制御基準値に基づき前記画像入力手段の入力画像を調整する要素を制御し、かつ、当該制御後に得られる前記認識ステップの認識結果に基づき前記画像入力手段の制御基準値を再構築する制御ステップと、
を具備したことを特徴とする顔認識方法。
入力画像を調整する要素を少なくとも１つ以上備えた画像入力手段により認識対象となる人物の顔画像を入力する画像入力ステップと、
この画像入力ステップにより入力された画像から前記人物の顔領域を検出する顔検出ステップと、
この顔検出ステップにより検出された顔領域の画像情報により前記人物固有の顔の特徴情報を抽出する顔特徴抽出ステップと、
この顔特徴抽出ステップにより抽出された特徴情報と、あらかじめ認識対象となる人物の顔の特徴情報を辞書情報として記憶する辞書情報記憶手段に記憶されている辞書情報とを照合することにより両情報の類似度を求める認識ステップと、
前記画像入力手段の入力画像を調整する要素を変更しながら前記画像入力手段から各要素ごとの複数の顔画像を入力し、この入力された複数の顔画像に対する辞書情報との各類似度を前記認識ステップから得るように制御する制御ステップと、
この得られた各類似度の結果から最も顔画像による認識がし易い入力画像での類似度を基に当該人物は特定の人物であるかどうかの最終的な認識結果を出力する認識結果選択ステップと、
を具備したことを特徴とする顔認識方法。
入力画像を調整する要素を少なくとも１つ以上備え、認識対象となる通行者の顔画像を入力する画像入力手段と、
この画像入力手段により入力された画像から前記通行者の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の画像情報により前記通行者固有の顔の特徴情報を抽出する顔特徴抽出手段と、
あらかじめ認識対象となる通行者の顔の特徴情報を辞書情報として記憶する辞書情報記憶手段と、
前記顔特徴抽出手段により抽出された特徴情報と前記辞書情報記憶手段に記憶されている辞書情報とを照合することにより当該通行者は特定の通行者であるかどうかを認識する認識手段と、
この認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、
前記通行者上におけるまたは前記通行者周辺の照明環境を入力する照明環境入力手段と、
前記顔検出手段により検出された顔領域の画像情報および前記画像入力手段の入力画像を調整する要素を制御する現在の制御パラメータおよび前記照明環境入力手段により入力された照明環境情報のうち少なくとも１つの情報とあらかじめ与えられた前記画像入力手段の入力画像を調整する要素を制御する制御基準値に基づき前記画像入力手段の入力画像を調整する要素を制御する制御手段と、
を具備したことを特徴とする通行制御装置。
入力画像を調整する要素を少なくとも１つ以上備え、認識対象となる通行者の顔画像を入力する画像入力手段と、
この画像入力手段により入力された画像から前記通行者の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の画像情報により前記通行者固有の顔の特徴情報を抽出する顔特徴抽出手段と、
あらかじめ認識対象となる通行者の顔の特徴情報を辞書情報として記憶する辞書情報記憶手段と、
前記顔特徴抽出手段により抽出された特徴情報と前記辞書情報記憶手段に記憶されている辞書情報とを照合することにより当該通行者は特定の通行者であるかどうかを認識する認識手段と、
この認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、
前記通行者上におけるまたは前記通行者周辺の照明環境を入力する照明環境入力手段と、
前記顔検出手段により検出された顔領域の画像情報および前記画像入力手段の入力画像を調整する要素を制御する現在の制御パラメータおよび前記照明環境入力手段により入力された照明環境情報のうち少なくとも１つの情報とあらかじめ与えられた前記画像入力手段の入力画像を調整する要素を制御する制御基準値に基づき前記画像入力手段の入力画像を調整する要素を制御し、かつ、当該制御後に得られる前記認識手段の認識結果に基づき前記画像入力手段の制御基準値を再構築する制御手段と、
を具備したことを特徴とする通行制御装置。
入力画像を調整する要素を少なくとも１つ以上備え、認識対象となる通行者の顔画像を入力する画像入力手段と、
この画像入力手段により入力された画像から前記通行者の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の画像情報により前記通行者固有の顔の特徴情報を抽出する顔特徴抽出手段と、
あらかじめ認識対象となる通行者の顔の特徴情報を辞書情報として記憶する辞書情報記憶手段と、
前記顔特徴抽出手段により抽出された特徴情報と前記辞書情報記憶手段に記憶されている辞書情報とを照合することにより両情報の類似度を求める認識手段と、
この認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、
前記画像入力手段の入力画像を調整する要素を変更しながら前記画像入力手段から各要素ごとの複数の顔画像を入力し、この入力された複数の顔画像に対する辞書情報との各類似度を前記認識手段から得るように制御する制御手段と、
この得られた各類似度の結果から最も顔画像による認識がし易い入力画像での類似度を基に当該通行者は特定の通行者であるかどうかの最終的な認識結果を出力する認識結果選択手段と、
を具備したことを特徴とする通行制御装置。