JP2005063172A - 顔照合装置および通行制御装置 - Google Patents

Abstract

【課題】被照合者に最も効果的な照合を行なわせて本人排除率を下げ、全体的な照合成功率を向上させることが可能となる顔照合装置を提供する。
【解決手段】被照合者によって入力される顔画像をあらかじめ登録された辞書情報と照合することにより被照合者が本人であるか否かを判定する顔照合装置において、非照合成功時にはその要因を分析し、制御可能な要因であれば、被照合者に対して最適な照合が行なえるように自動的に制御し、制御不可能な要因であれば、被照合者に対して適切な照合方法をガイダンスで報知する。
【選択図】 図１

Description

本発明は、たとえば、被照合者によって入力される顔画像をあらかじめ登録された辞書情報と照合することにより被照合者が本人であるか否かを判定する顔照合装置、および、この顔照合装置を用いて通行者の通行（たとえば、セキュリティエリアに対する入退場など）を制御する通行制御装置に関する。

一般に、この種の顔照合装置は、照合対象となる被照合者の顔画像をカメラなどを用いて取得し、この取得した顔画像から得られる当該人物固有の特徴情報を辞書情報として辞書記憶手段にあらかじめ記憶（登録）しておく。

そして、照合時には、照合対象となる被照合者の顔画像をカメラなどを用いて再度取得し、この取得した顔画像から得られる当該人物固有の特徴情報を辞書記憶手段にあらかじめ記憶されている辞書情報と照合することにより、両情報の間に所定の関係が成立するか否かを判定する。たとえば、入力された顔画像が辞書情報と類似しているかどうかを評価し、類似性が高い場合には当該被照合者は登録者（本人）であると判定し、類似性が低い場合には未登録者（本人ではない）と判定する。

従来、このような顔照合装置において、照合を行なった場合、使用者（被照合者）は照合成功か照合失敗（非照合成功）かのどちらかの情報しか知ることができなかった。

照合失敗を多く出す被照合者には色々な要因があるが、その要因を被照合者が知ることはできず、ただ照合失敗となるだけである。被照合者はその理由を知ることができないので改善することもできず、辞書情報を更新しても結局、照合方法が適切ではないので、照合失敗する可能性が依然として高いという問題がある。

また、照合を何度行なっても照合失敗する場合、辞書を更新する必要があるが、手動で更新モードに移行しなければならず、しかも、被照合者はモードを変更することはできず、管理者が必要である。

そこで、本発明は、被照合者に最も効果的な照合を行なわせて本人排除率を下げ、全体的な照合成功率を向上させることが可能となる顔照合装置および通行制御装置を提供することを目的とする。

本発明の顔照合装置は、照合対象となる被照合者の顔画像を辞書情報として記憶する辞書記憶手段と、照合対象となる被照合者の顔画像を入力顔画像として取得する画像取得手段と、この画像取得手段により取得された入力顔画像と前記辞書記憶手段に記憶された辞書情報とを照合することにより両者の間に所定の関係が成立するか否かを判定する照合手段と、この照合手段による照合の結果、前記入力顔画像と辞書情報との間に所定の関係が成立しない非照合成功時、その要因を分析する要因分析手段と、この要因分析手段による分析の結果、前記入力顔画像と辞書情報との間に所定の関係が成立する照合成功の可能性がある場合、照合成功率を向上させるための処理を行なう照合成功率向上手段と、前記要因分析手段による分析の結果、前記入力顔画像と辞書情報との間に所定の関係が成立する照合成功の可能性がない場合、照合成功率を向上させるためのガイダンスを当該被照合者に対して行なうガイダンス手段とを具備している。

本発明の通行制御装置は、照合対象となる通行者の顔画像を辞書情報として記憶する辞書記憶手段と、照合対象となる通行者の顔画像を入力顔画像として取得する画像取得手段と、この画像取得手段により取得された入力顔画像と前記辞書記憶手段に記憶された辞書情報とを照合することにより両者の間に所定の関係が成立するか否かを判定する照合手段と、この照合手段による照合の結果に基づき当該通行者の通行を制御する通行制御手段と、前記照合手段による照合の結果、前記入力顔画像と辞書情報との間に所定の関係が成立しない非照合成功時、その要因を分析する要因分析手段と、この要因分析手段による分析の結果、前記入力顔画像と辞書情報との間に所定の関係が成立する照合成功の可能性がある場合、照合成功率を向上させるための処理を行なう照合成功率向上手段と、前記要因分析手段による分析の結果、前記入力顔画像と辞書情報との間に所定の関係が成立する照合成功の可能性がない場合、照合成功率を向上させるためのガイダンスを当該通行者に対して行なうガイダンス手段とを具備している。

本発明によれば、非照合成功時にはその要因を分析し、制御可能な要因であれば、被照合者に対して最適な照合が行なえるように自動的に制御し、制御不可能な要因であれば、被照合者に対して適切な照合方法をガイダンスで報知することにより、被照合者に最も効果的な照合を行なわせて本人排除率を下げ、全体的な照合成功率を向上させることが可能となる顔照合装置および通行制御装置を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
図１は、第１の実施の形態に係る顔照合装置の構成を概略的に示すものである。この顔照合装置は、被照合者（以下、人物ともいう）１００の顔画像（少なくとも顔を含んでいる画像）を撮像して入力する画像取得手段としてのテレビジョンカメラ１０１、カメラ１０１の近傍から被照合者１００の少なくとも顔に向けて一定の照度で光を照射する照明手段としての照明部１０２、被照合者１００に対して入力された顔画像や各種案内などを表示するガイダンス手段としての表示部１０３、および、カメラ１０１から入力された顔画像を処理して顔画像の認識処理などを行なう処理部１０４から構成されている。

なお、以下の説明では、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、登録の時刻、日時、場所などの状況情報、暗証番号、ＩＤ番号などの個人情報の各情報が登場してくる。そして、認識データと言うときは、部分空間、または、部分空間を構成するための固有ベクトルを含み、登録情報（辞書情報）と言うときは、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、状況情報、個人情報を含んでいる。したがって、認識データは登録情報に含まれる。

カメラ１０１は、被照合者１００の顔画像を下方から所定角度で撮像して入力するものであり、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。

照明部１０２は、カメラ１０１の近傍（たとえば、カメラ１０１の側部）から被照合者１００の顔に向けて一定の照度で光を照射する蛍光灯などの照明器具である。

表示部１０３は、カメラ１０１で撮影されている被照合者１００の顔画像や各種ガイダンス、処理結果などを表示するモニタであり、カメラ１０１の近傍、たとえば、カメラ１０１の上部で、ほぼ被照合者１００の顔部分と相対応する位置に設けられている。なお、表示によるガイダンスのみに限らず、音声によるガイダンス機能を付加してもよい。

処理部１０４は、カメラ１０１からの顔画像を入力する画像入力部１０５、画像入力部１０５から得られた人物の顔画像を用いて、あらかじめ準備されたパターン辞書との照合で顔および目、鼻などの顔部品の位置を検出する顔検出手段としての顔検出部１０６、顔検出部１０６の出力に基づき濃淡情報あるいは部分空間情報などの特徴量を抽出する特徴量抽出手段としての特徴量抽出部１０７、辞書情報登録時には、特徴量抽出部１０７で抽出された特徴量を認識データ（辞書情報）として保持（登録）する辞書記憶手段としての登録情報保持部１０８、人物認識（顔照合）時には、特徴量抽出部１０７で抽出された特徴量（入力特徴情報）と登録情報保持部１０８に登録されている認識データ（辞書情報）とを照合することにより、両情報の間に所定の関係が成立するか否か、たとえば、入力特徴情報と辞書情報との類似度を求め、求めた類似度が閾値よりも高い場合には当該被照合者１００は登録者（本人）であると判定し、求めた類似度が閾値よりも低い場合には未登録者（本人ではない）と判定する照合手段としての認識部１０９、認識部１０９における照合の結果、入力特徴情報と辞書情報との間に所定の関係が成立しない非照合成功時にその要因を分析する要因分析手段としての要因分析部１１０、照明部１０２および表示部１０３を制御するとともに後述する各種処理などを行なう制御手段としての制御部１１１から構成されている。

画像入力部１０５は、カメラ１０１からの顔画像を入力し、Ａ／Ｄ変換してデジタル化した後、顔検出部１０６へ送る。
顔検出部１０６は、まず、画像入力部１０５で入力された顔画像から被照合者１００の顔の領域を検出する。たとえば、あらかじめ用意されたテンプレートを、画像中を移動させながら相関値を求めることにより、最も高い相関値を持った場所を顔領域とする。なお、その他に、固有空間法や部分空間法を利用した顔領域抽出法などの顔検出手段でもよい。

顔検出部１０６は、次に、検出された顔領域の部分の中から、目、鼻、口といった顔部品の位置を検出する。その検出方法は、たとえば、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７））などの方法を用いてよい。

ここで、顔のテンプレートによる顔検出と、目、鼻などの顔部品の検出座標の相対位置によって顔の方向を調べることも可能になる。たとえば、図２に示すように、顔検出結果の中心座標を顔の中心座標（ｆｘ，ｆｙ）、顔の大きさを（ｆｗ，ｆｈ）とし、左右の目と鼻の検出結果をそれぞれ（ＥｙｅＬｘ，ＥｙｅＬｙ）、（ＥｙｅＲｘ，ＥｙｅＲｙ）、（ＮｏｓｅＬｘ，ＮｏｓｅＬｙ）、（ＮｏｓｅＲｘ，ＮｏｓｅＲｙ）とすれば、以下の方法で顔の方向を示す指標が得られる。
顔の方向（Ｘ方向）＝（（ＥｙｅＲｘ＋ＥｙｅＬｘ）／２−ｆｘ）／ｆｗ
顔の方向（Ｙ方向）＝（（ＥｙｅＲｙ＋ＥｙｅＬｙ）／２−ｆｙ）／ｆｈ
これらの座標の原点が画面左上だとした場合、数値は顔が右下に向くほど大きくなる値となる。

特徴量抽出部１０７は、顔検出部１０６で検出された顔部品の位置を基に、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、たとえば、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。

図３は、入力画像を特徴量抽出部１０７により処理して得られた顔画像データであり、時系列的に得られたものである。これらのデータに対し特徴ベクトルの相関行列を求め、周知のＫ−Ｌ展開による正規直交ベクトルを求めることにより、部分空間を計算する。部分空間の計算方法は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。

本実施の形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列

と対角化して、固有ベクトルのΦを求める。この部分空間は、人物の同定を行なうための認識辞書として利用する。この情報をあらかじめ登録しておいて、それを辞書として登録しておけばよい。
また、後で述べるように、認識を行なうための入力データとして部分空間自身を利用してもよい。したがって、部分空間を算出した結果は、認識部１０９および登録情報保持部１０８に送られる。

登録情報保持部１０８は、被照合者１００を認識あるいは同定するために利用する部分空間（または、相関行列）などの登録情報（辞書情報）を保持している。また、登録の際の日時、時刻、場所などの属性情報も保持できる。なお、登録情報として、部分空間に限らず、入力された顔画像や抽出された顔の特徴量そのものを用いてもよい。

認識部１０９は、登録情報保持部１０８に蓄えられた認識データ（部分空間）と特徴量抽出部１０７で得られた特徴量（濃淡情報あるいは部分空間情報）とを照合（比較）することにより、カメラ１０１で撮影している被照合者１００が誰であるかを認識、あるいは、該当人物であるかどうかを同定する。人物を認識するためには、どの人物のデータに最も類似しているかを求めればよく、最大類似度をとるデータに対応する人物を認識結果とすればよい。

また、カードや登録番号、暗証番号、鍵などを用いて、顔画像による認識を行なう場合には、それぞれの人物のカードや番号などの個人情報に対応する認識データとの類似度を計算して、設定した閾値と照合し、その閾値を越えた場合に、その人物と同定する。

これらカードや登録番号、暗証番号、鍵など入力する手段が必要であるが、たとえば、カードならＩＣカード、ＩＤカード、無線カードなどを用いることで実現できる。登録番号や暗証番号を用いる場合は、キー入力手段を設ければよい。

認識の方法としては、特徴量抽出部１０７の情報を用いる場合は、部分空間法や複合類似度法などの方法を用いてよい。本実施の形態での認識方法は、たとえば、文献（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−３５２（１９８５））に記載されている公知の認識方法である相互部分空間法を用いる。

この方法では、あらかじめ蓄えられた登録情報の中の認識データも、入力されるデータも部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力部分空間という。入力データ列に対して同様に相関行列Ｃｉｎを求め、

と対角化し、固有ベクトルΦｉｎを求める。２つのΦｉｎ、Φｄで表わされる部分空間の部分空間類似度（０．０〜１．０）を求め、それを認識するための類似度とする。

認識部１０９は、図４に示すフローチャートのように動作する。まず、認識作業（１対Ｎ照合）を行なうか、同定作業（１対１照合）を行なうかによって動作が異なる（ステップＳＴ１）。同定動作を行なう場合は、まず対象とする被照合者のＩＤコードを読込む（ステップＳＴ２）。次に、対象とするＩＤコードに対応した登録情報（辞書情報）を登録情報保持部１０８から読出す（ステップＳＴ３）。

次に、上述したように、部分空間法などにより認識を行なうため、各登録情報の部分空間と、入力ベクトル（特徴量抽出部１０７からの固有ベクトル）、または、入力部分空間との類似度を計算する（ステップＳＴ４）。次に、その類似度をあらかじめ設定されている閾値と比較し（ステップＳＴ５，ＳＴ６）、同定結果を出力する（ステップＳＴ７）。

認識作業を行なう場合、認識対象となるデータを全て登録情報保持部１０８から読出す（ステップＳＴ８）。そして、それぞれの登録情報との類似度を計算する（ステップＳＴ９）。次に、計算された類似度の中から最大のものを選択し（ステップＳＴ１０）、それを認識結果として出力する（ステップＳＴ１２）。

なお、図４の破線で囲んだステップＳＴ１１のように、最大類似度を閾値判定することによって、認識結果が正しいかどうかを検証することもできる（ステップＳＴ１３）。たとえば、類似度があまりに低い場合には、どの認識対象でもないと判断することもできる。

要因分析部１１０は、認識部１０９における照合の結果、入力特徴情報と辞書情報との間に所定の関係が成立しない場合、すなわち、求めた入力特徴情報と辞書情報との類似度が閾値よりも低い場合（非照合成功時）に、その要因を分析するもので、後で詳細を説明する。

次に、顔照合処理の全体について図５に示すフローチャートを参照して説明する。
被照合者１００は、本装置（カメラ１０１）の前に立ち、表示部１０３の画面を目視することにより、カメラ１０１は被照合者１００の画像を取込み、画像入力部１０５を介して顔検出部１０６へ送る。すなわち、画像入力部１０５は、カメラ１０１から第１フレーム目の画像を取得し、顔検出部１０６へ送る（ステップＳ２１）。顔検出部１０６は、カメラ１０１により取込んだ画像から顔領域を検出し、検出した顔領域の部分の中から、目、鼻、口といった顔部品の位置を検出する。

次に、特徴量抽出部１０７は、顔検出部１０６で検出された顔部品の位置を基に顔の特徴量を抽出し、認識部１０９へ送る。認識部１０９は、特徴量抽出部１０７で抽出された顔の特徴量と登録情報保持部１０８に保持された登録情報とを照合することにより両情報の類似度を求め、求めた類似度が閾値よりも高い場合には当該人物は登録者（本人）であると判定（照合成功と判定）し、求めた類似度が閾値よりも低い場合には未登録者（本人ではない）と判定（非照合成功と判定）する（ステップＳ２２，Ｓ２３）。ここに、ステップＳ２２，Ｓ２３の処理が本発明における照合手段に対応している。
ステップＳ２３で照合成功と判定された場合、制御部１１１は、照合成功処理（たとえば、入場許可など）を行ない（ステップＳ２４）、当該処理照合処理を終了する。

ステップＳ２３で非照合成功と判定された場合、要因分析部１１０は、その要因を分析する（ステップＳ２５）。この要因分析処理については後で詳細を説明する。

次に、制御部１１１は、あらかじめ定められたフレーム数の画像取得が終了したか否かをチェックし（ステップＳ２６）、まだ終了していない場合、ステップＳ２５で分析された非照合成功の要因に対して本装置が対応することで次のフレーム画像で照合成功となる可能性があるか否かをチェックする（ステップＳ２７）。たとえば、カメラ倍率調整により照合成功率向上可能であるか、カメラ角度調整により照合成功率向上可能であるか、照明調整により照合成功率向上可能であるか、その他の調整（たとえば、カメラの絞り調整）により照合成功率向上可能であるか、をチェックする。

制御部１１１は、このチェックの結果、カメラ倍率調整により照合成功率向上可能であればカメラ１０１の倍率調整を行ない（ステップＳ２８）、カメラ角度調整により照合成功率向上可能であればカメラ１０１の角度調整を行ない（ステップＳ２９）、照明調整により照合成功率向上可能であれば照明部１０２の照度調整を行ない（ステップＳ３０）、その他の調整（たとえば、カメラの絞り調整）により照合成功率向上可能であればその他の調整を行ない（ステップＳ３１）、その後、ステップＳ２１に戻って上記同様な動作を繰り返す。ここに、ステップＳ２７〜Ｓ３１の処理が本発明における照合成功率向上手段に対応している。

ステップＳ２７のチェックの結果、非照合成功の要因に対して本装置が対応することで次のフレーム画像で照合成功となる可能性がない場合、制御部１１１は、照合成功率を向上させるための案内を表示部１０３に表示して、当該被照合者１００に対しガイダンスし（ステップＳ３２）、その後、ステップＳ２１に戻って上記同様な動作を繰り返す。ここに、ステップＳ３２の処理が本発明におけるガイダンス手段に対応している。

ステップＳ２６のチェックの結果、あらかじめ定められたフレーム数の画像取得が終了している場合、制御部１１１は、照合失敗処理（たとえば、ステップＳ２５で分析された非照合成功の要因を表示部１０３に表示し、入場不許可など）を行なう（ステップＳ３３）。

次に、制御部１１１は、同一人物があらかじめ定められた一定回数連続で照合失敗であるか否かをチェックし（ステップＳ３４）、そうでなければ当該照合処理を終了する。

ステップＳ３４のチェックの結果、同一人物が一定回数連続で照合失敗である場合、制御部１１１は、辞書更新モードに移行し、辞書更新処理を行ない（ステップＳ３５）、当該照合処理を終了する。この辞書更新処理については後で詳細を説明する。

次に、図５のステップＳ２５における要因分析部１１０の要因分析処理について、図６に示すフローチャートを参照して詳細に説明する。
まず、顔の特徴情報（辞書情報）を登録する際に、顔検出部１０６で得られた両目の検出座標（ＥｙｅＬｘ１，ＥｙｅＬｙ１）、（ＥｙｅＲｘ１，ＥｙｅＲｙ１）を取得して、当該座標から両目間の距離Ｒ１を求め、これを要因分析部１１０内に記憶しておくものとする。
また、顔の特徴情報（辞書情報）を登録する際に、顔検出部１０６で得られた顔の中心座標（ｆｘ１，ｆｙ１）を取得して、当該座標における輝度Ｂ１を求め、これも要因分析部１１０内に記憶しておくものとする。

さて、ステップＳ２５の処理が開始されると、まず、登録時と同様に、顔検出部１０６で得られた両目の検出座標（ＥｙｅＬｘ２，ＥｙｅＬｙ２）、（ＥｙｅＲｘ２，ＥｙｅＲｙ２）を取得して、当該座標から両目間の距離Ｒ２を求め（ステップＳ４１）、一時記憶しておく。
次に、登録時と同様に、顔検出部１０６で得られた顔の中心座標（ｆｘ２，ｆｙ２）を取得して、当該座標における輝度Ｂ２を求め（ステップＳ４２）、一時記憶しておく。

次に、顔検出部１０６で得られた２つの鼻孔の検出座標（ＮｏｓｅＬｘ，ＮｏｓｅＬｙ）、（ＮｏｓｅＲｘ，ＮｏｓｅＲｙ）を取得し、一時記憶しておく（ステップＳ４３）。

次に、登録時に記憶しておいた両目間の距離Ｒ１と照合時に求めた両目間の距離Ｒ２との差（｜Ｒ１−Ｒ２｜）を求めるとともに、この求めた差（｜Ｒ１−Ｒ２｜）をあらかじめ設定される閾値Ｃと比較する（ステップＳ４４）。この比較の結果、（｜Ｒ１−Ｒ２｜＜Ｃ）であれば、この場合は登録時と照合時の顔の大きさがほぼ同じ、すなわち類似度が高くなるとみなしてステップＳ４５に進む。

ステップＳ４４の比較の結果、（｜Ｒ１−Ｒ２｜＜Ｃ）でなければ、（Ｒ１−Ｒ２＞Ｃ）であるか否かをチェックする（ステップＳ４６）。このチェックの結果、（Ｒ１−Ｒ２＞Ｃ）であれば、この場合は照合時の顔の大きさが小さい、すなわちカメラ１０１から遠いということなる。この場合は、被照合者１００の立位置がカメラ１０１から遠いと判断し（ステップＳ４７）、ステップＳ４５に進む。

ステップＳ４６チェックの結果、（Ｒ１−Ｒ２＞Ｃ）でなければ、この場合は照合時の顔の大きさが大きい、すなわちカメラ１０１から近いということなる。この場合は、被照合者１００の立位置がカメラ１０１から近いと判断し（ステップＳ４８）、ステップＳ４５に進む。

ステップＳ４５では、登録時に記憶しておいた顔の中心座標における輝度Ｂ１と照合時に求めた顔の中心座標における輝度Ｂ２との差（｜Ｂ１−Ｂ２｜）を求めるとともに、この求めた差（｜Ｂ１−Ｂ２｜）をあらかじめ設定される閾値Ｄと比較する。この比較の結果、（｜Ｂ１−Ｂ２｜＜Ｄ）であれば、この場合は登録時と照合時の照度がほぼ同じとみなしてステップＳ４９に進む。

ステップＳ４５の比較の結果、（｜Ｂ１−Ｂ２｜＜Ｄ）でなければ、（Ｂ１−Ｂ２＞Ｄ）であるか否かをチェックする（ステップＳ５０）。このチェックの結果、（Ｂ１−Ｂ２＞Ｄ）であれば、この場合は照合時の照明が登録時よりも暗いと判断し（ステップＳ５１）、ステップＳ４９に進む。

ステップＳ５０チェックの結果、（Ｂ１−Ｂ２＞Ｄ）でなければ、この場合は照合時の照明が登録時よりも明るいと判断し（ステップＳ５２）、ステップＳ４９に進む。

ステップＳ４９では、以下のような処理を行なう。すなわち、カメラ１０１から得られた画像の中心座標を（ＣａｍｅｒａＣｅｎｔｅｒＸ，ＣａｍｅｒａＣｅｎｔｅｒＹ）とすると、適切な画像をカメラ１０１から入力しているときには、２つの目の検出座標（ＥｙｅＬｘ，ＥｙｅＬｙ）および（ＥｙｅＲｘ，ＥｙｅＲｙ）と２つの鼻孔の検出座標（ＮｏｓｅＬｘ，ＮｏｓｅＬｙ）および（ＮｏｓｅＲｘ，ＮｏｓｅＲｙ）との関係はＥｙｅＬｘ＜ＮｏｓｅＬｘ＜ＣａｍｅｒａＣｅｎｔｅｒＸ＜ＮｏｓｅＲｘ＜ＥｙｅＲｘとなっている。

したがって、ステップＳ４９では、ＥｙｅＬｘ＜ＮｏｓｅＬｘ＜ＣａｍｅｒａＣｅｎｔｅｒＸ＜ＮｏｓｅＲｘ＜ＥｙｅＲｘの関係が成立するか否かをチェックし、当該関係が成立すれば当該処理を終了し、当該関係が成立しない場合（ＥｙｅＬｘ＜ＮｏｓｅＬｘ＜ＮｏｓｅＲｘ＜ＥｙｅＲｘ＜ＣａｍｅｒａＣｅｎｔｅｒＸや、ＣａｍｅｒａＣｅｎｔｅｒＸ＜ＥｙｅＬｘ＜ＮｏｓｅＬｘ＜ＮｏｓｅＲｘ＜ＥｙｅＲｘ等になっている場合）には、被照合者１００の立位置があらかじめ定められた位置からずれているものと判断し（ステップＳ５３）、当該処理を終了する。

このようにして非照合成功時の要因分析が行なわれるもので、図５のステップＳ２７では、この分析された非照合成功の要因に対して本装置が対応することで次のフレーム画像で照合成功となる可能性があるか否かをチェックする。すなわち、ステップＳ２７では、たとえば、被照合者１００の立位置がカメラ１０１から遠い、あるいは、被照合者１００の立位置がカメラ１０１から近いという分析結果（ステップＳ４７，４８）が得られた場合は、カメラ倍率調整により照合成功率向上可能であると判断する。また、照合時の照明が登録時よりも暗い、あるいは、照合時の照明が登録時よりも明るいという分析結果（ステップＳ５１，５２）が得られた場合は、照明調整により照合成功率向上可能であると判断する。また、被照合者１００の立位置がずれているという分析結果（ステップＳ５３）が得られた場合は、カメラ角度調整により照合成功率向上可能であると判断する。

そして、たとえば、カメラ倍率調整により照合成功率向上可能であると判断された場合、図５のステップＳ２８では、両目間の距離Ｒ１とＲ２とを近づけるように、カメラ１０１の倍率を調整する。これによって、本人受入れ率（照合成功率）を向上させることができる。

また、たとえば、照明調整により照合成功率向上可能であると判断された場合、図５のステップＳ３０では、顔の中心座標における輝度Ｂ１とＢ２とを近づけるように、照明部１０２の照度を調整する。これによって、登録時と照合時の輝度の差を少なくすることができ、類似度（照合成功率）を高めることができる。

また、たとえば、カメラ角度調整により照合成功率向上可能であると判断された場合、図５のステップＳ２９では、ＥｙｅＬｘ＜ＮｏｓｅＬｘ＜ＣａｍｅｒａＣｅｎｔｅｒＸ＜ＮｏｓｅＲｘ＜ＥｙｅＲｘの関係が成立するように、カメラ１０１の撮影角度を調整する。これによって、類似度（照合成功率）を高めることができる。

次に、図５のステップＳ３５における辞書更新処理について、図７に示すフローチャートを参照して詳細に説明する。
辞書更新モードに設定されると、まず、ＩＤ番号の入力が必要であるか否かをチェックし（ステップＳ６１）、ＩＤ番号の入力が必要であれば、その旨を表示部１０３に表示することにより、被照合者１００にＩＤ番号の入力を促し、ＩＤ番号を入力させる（ステップＳ６２）。

次に、入力されたＩＤ番号が正しいことを確認し（ステップＳ６３）、その後、パスワードを入力するよう表示部１０３に表示することにより、被照合者１００にパスワードを入力させる（ステップＳ６４）。ステップＳ６１のチェックの結果、ＩＤ番号の入力が必要でなければ、ステップＳ６４に進み、パスワードを入力させる。

次に、入力されたパスワードが正しいことを確認し（ステップＳ６５）、その後、当該照合処理時に入力された顔画像（特徴量抽出部１０７で抽出された特徴量）を基に新たな登録情報（辞書情報）を生成し、登録情報保持部１０８内の当該人物の登録情報を、この生成した新たな登録情報に書換える（ステップＳ６６）。

次に、第２の実施の形態について説明する。
第２の実施の形態は、第１の実施の形態で説明した顔照合装置を、通行者の顔画像を照合して通行者の通行を制御する通行制御装置に適用した場合の例である。

図８は、第２の実施の形態に係る通行制御装置の構成を概略的に示すものである。この通行制御装置は、たとえば、重要施設（セキュリティ重視の部屋など）への入退室管理を行なうもので、利用者（通行者）の顔画像を照合して、その照合結果に基づき重要施設の入退室用ドアの開閉制御を行なうものであり、カメラ１０１、照明部１０２、表示部１０３、処理部１０４、および、認識部１０９の認識結果に応じて重要施設２０１の入退室用ドア２０２の開閉制御を行なう通行制御手段としてのドア制御部１１３から構成されている。
なお、図８において、ドア制御部１１３以外は図１の顔照合装置と同じ構成であるので、同一符号を付して、その説明は省略する。

認識部１０９は、たとえば、図４のステップＳ１１において被照合者１００は本人であると判定（照合成功と判定）された場合、ドア制御部１１３に「ドア開」の信号を出力し、ステップＳ１２において当該被照合者１００は本人でないと判定（非照合成功と判定）された場合、ドア制御部１１３に「ドア閉」の信号を出力する。

ドア制御部１１３は、認識部１０９から「ドア開」の信号を受取ると、入退室用ドア２０２を開状態に制御して、被照合者（この場合は通行者）１００の入室を許可し、「ドア閉」の信号を受取ると、入退室用ドア２０２を閉状態に保持して、通行者１００の入室を拒否する。
このように、第２の実施の形態によれば、第１の実施の形態で説明した顔照合装置を用いて通行者の通行を制御することができる。

以上説明したように、上記実施の形態によれば、照合失敗あるいは照合失敗しそうなときにその要因を分析し、その分析結果に対応することで照合成功にすることができる、またはできそうであるならば、自動的に適切な処理を行なうことができる。
また、自動的に適切な処理を行なうことができない場合には、被照合者に対してガイダンスを出力することによって、被照合者に適切な照合方法を教えることができる。

さらに、同一の被照合者が一定回数連続して照合失敗すると、通常、辞書情報を更新する必要があるが、手動で操作することなく辞書更新モードに自動的に移行して、辞書更新することができる。

本発明の第１の実施の形態に係る顔照合装置の構成を概略的に示すブロック図。 顔検出部の処理を説明するための図。 特徴量抽出部の処理を説明するための図。 認識部の処理の流れを説明するためのフローチャート。 顔照合処理の全体の流れを説明するためのフローチャート。 要因分析部の要因分析処理について説明するフローチャート。 辞書更新処理について説明するフローチャート。 本発明の第２の実施の形態に係る通行制御装置の構成を概略的に示すブロック図。

符号の説明

１００…被照合者（人物、通行者）、１０１…カメラ（画像取得手段）、１０２…照明部（照明手段）、１０３…表示部（ガイダンス手段）、１０４…処理部、１０５…画像入力部（画像取得手段）、１０６…顔検出部（顔検出手段）、１０７…特徴量抽出部（特徴量抽出手段）、１０８…登録情報保持部（辞書記憶手段）、１０９…認識部（照合手段）、１１０…要因分析部（要因分析手段）、１１１…制御部（制御手段）、１１３…ドア制御部（通行制御手段）、２０１…重要施設、２０２…入退室用ドア。

Claims (6)

1. 照合対象となる被照合者の顔画像を辞書情報として記憶する辞書記憶手段と、
   照合対象となる被照合者の顔画像を入力顔画像として取得する画像取得手段と、
   この画像取得手段により取得された入力顔画像と前記辞書記憶手段に記憶された辞書情報とを照合することにより両者の間に所定の関係が成立するか否かを判定する照合手段と、
   この照合手段による照合の結果、前記入力顔画像と辞書情報との間に所定の関係が成立しない非照合成功時、その要因を分析する要因分析手段と、
   この要因分析手段による分析の結果、前記入力顔画像と辞書情報との間に所定の関係が成立する照合成功の可能性がある場合、照合成功率を向上させるための処理を行なう照合成功率向上手段と、
   前記要因分析手段による分析の結果、前記入力顔画像と辞書情報との間に所定の関係が成立する照合成功の可能性がない場合、照合成功率を向上させるためのガイダンスを当該被照合者に対して行なうガイダンス手段と、
   を具備したことを特徴とする顔照合装置。
2. 前記画像取得手段は、被照合者の顔画像を撮影する撮影手段と、当該被照合者の顔部分を照明する照明手段とを有して構成され、
   前記照合成功率向上手段による照合成功率を向上させるための処理とは、前記撮影手段の撮影倍率調整、前記撮影手段の撮影角度調整、前記照明手段の光量調整等のうち少なくともいずれか１つの処理であることを特徴とする請求項１記載の顔照合装置。
3. 前記照合手段による照合の結果、あらかじめ定められた一定回数連続して非照合成功となった場合は辞書更新モードに移行し、前記画像取得手段により取得された当該被照合者の入力顔画像を新たな辞書情報として前記辞書記憶手段に記憶せしめる辞書更新手段をさらに具備したことを特徴する請求項１記載の顔照合装置。
4. 照合対象となる通行者の顔画像を辞書情報として記憶する辞書記憶手段と、
   照合対象となる通行者の顔画像を入力顔画像として取得する画像取得手段と、
   この画像取得手段により取得された入力顔画像と前記辞書記憶手段に記憶された辞書情報とを照合することにより両者の間に所定の関係が成立するか否かを判定する照合手段と、
   この照合手段による照合の結果に基づき当該通行者の通行を制御する通行制御手段と、
   前記照合手段による照合の結果、前記入力顔画像と辞書情報との間に所定の関係が成立しない非照合成功時、その要因を分析する要因分析手段と、
   この要因分析手段による分析の結果、前記入力顔画像と辞書情報との間に所定の関係が成立する照合成功の可能性がある場合、照合成功率を向上させるための処理を行なう照合成功率向上手段と、
   前記要因分析手段による分析の結果、前記入力顔画像と辞書情報との間に所定の関係が成立する照合成功の可能性がない場合、照合成功率を向上させるためのガイダンスを当該通行者に対して行なうガイダンス手段と、
   を具備したことを特徴とする通行制御装置。
5. 前記画像取得手段は、通行者の顔画像を撮影する撮影手段と、当該通行者の顔部分を照明する照明手段とを有して構成され、
   前記照合成功率向上手段による照合成功率を向上させるための処理とは、前記撮影手段の撮影倍率調整、前記撮影手段の撮影角度調整、前記照明手段の光量調整等のうち少なくともいずれか１つの処理であることを特徴とする請求項４記載の通行制御装置。
6. 前記照合手段による照合の結果、あらかじめ定められた一定回数連続して非照合成功となった場合は辞書更新モードに移行し、前記画像取得手段により取得された当該通行者の入力顔画像を新たな辞書情報として前記辞書記憶手段に記憶せしめる辞書更新手段をさらに具備したことを特徴する請求項４記載の通行制御装置。

Images