JP2014071680A - 顔認証装置 - Google Patents

Abstract

【課題】装着物に起因して利用者本人が認証に失敗したり、未登録の照合対象者が何れかの利用者であるとして誤って認証に成功する可能性を低減させた顔認証装置を提供する。
【解決手段】顔認証装置１では、眼鏡が装着されている眼鏡顔の顔情報と、眼鏡が装着されていない裸眼顔の顔情報とが、予め登録された登録利用者ごとに記憶部２０に記憶される。照合手段３３は、撮影画像から抽出された照合対象者の顔情報を複数の登録顔情報のそれぞれと照合し、複数の登録顔情報のうち照合対象者の顔情報と類似する候補顔情報を特定する。補足判定手段３４は、候補顔情報が眼鏡顔の登録顔情報である場合、照合対象者の顔情報が眼鏡顔の登録顔情報に対応する登録利用者に関する裸眼顔の登録顔情報とも類似することを条件に照合対象者が登録利用者であると判定する補足判定を行う。
【選択図】図１

Description

本発明は、撮影画像から抽出された照合対象者の顔情報を予め登録された登録利用者の顔情報と照合して照合対象者を認証するか否か判定する顔認証装置に関する。

照合対象者の顔を撮影して得られた顔画像を、予め登録された利用者の顔画像と照合することにより、その照合対象者を認証する顔認証装置が用いられている。顔認証装置は、照合時の顔画像から得られる顔の特徴情報である顔情報と登録時の顔画像から得られる顔情報との類似性を評価し、照合対象者が利用者か否かを判定する。この顔情報は、利用者または照合対象者が眼鏡またはアクセサリなどの装着物を顔に装着していると、その装着物により影響を受けることがある。

例えば、登録時に眼鏡を着用していなかった利用者が照合時に眼鏡を着用していると、登録されている顔情報と照合時の顔情報との類似度が低くなり、本人であるにもかかわらず認証に失敗するおそれがある（いわゆる本人棄却）。これに対処するものとして、例えば特許文献１では、複数の照明条件、撮影角度、被写体状態（眼鏡の有無等）における被認証者の顔画像の撮影を行って複数の顔画像データを登録しておき、登録データと被認証者の認証時における顔画像を表す照合データとの類似度を算出し、類似度が所定の閾値以上となる登録データと照合データの組合せがあった場合には、認証成功と判定する顔認証システムが提案されている。

特開２００６−８５２８９号公報

各利用者について、顔に装着物が装着されている状態の顔情報と装着物が装着されていない状態の顔情報とを予め登録しておき、照合時の撮影画像から抽出された照合対象者の顔情報がその何れかと類似する場合に認証成功とすれば、登録時と照合時の装着物の装着状態が異なることに起因した本人棄却を抑制することができる。しかしながら、例えば、照合対象者が照合時に眼鏡を着用しており、その照合対象者とは別人の利用者が登録時に眼鏡を着用していると、眼鏡の影響により両者の顔情報が類似することがある。その結果、照合対象者が利用者本人でないにもかかわらず認証に成功してしまうおそれもある（いわゆる他人受入）。特許文献１のような顔認証装置では、装着物のために他人同士の顔情報が類似する場合にも認証成功となってしまうため、他人受入を抑制することができない。

そこで、本発明は、装着物に起因して利用者本人が認証に失敗したり、未登録の照合対象者が何れかの利用者であるとして誤って認証に成功する可能性を低減させた顔認証装置を提供することを目的とする。

かかる課題を解決するために、本発明は、予め登録された登録利用者ごとに、登録利用者の顔に装着物が装着されている装着状態の顔情報および装着物が装着されていない非装着状態の顔情報を登録顔情報として記憶する記憶手段と、撮影画像から抽出された照合対象者の顔情報を複数の登録顔情報のそれぞれと照合し、複数の登録顔情報のうち照合対象者の顔情報と類似する候補顔情報を特定する照合手段と、候補顔情報が装着状態の登録顔情報である場合、照合対象者の顔情報が装着状態の登録顔情報に対応する登録利用者に関する非装着状態の登録顔情報とも類似することを条件に照合対象者が登録利用者であると判定する補足判定を行う補足判定手段と、を備えることを特徴とする顔認証装置を提供する。

補足判定手段は、候補顔情報が非装着状態の登録顔情報である場合には、補足判定を実行せずに照合対象者を候補顔情報に対応する登録利用者であると判定することが好ましい。

補足判定手段の補足判定に用いられる類似判定基準は、照合手段で候補顔情報の特定に用いられる類似判定基準よりも緩いことが好ましい。

照合手段は、照合対象者の顔情報と複数の登録顔情報のそれぞれとの類似度を算出し、当該類似度が最大でありかつ第一の基準を満たす登録顔情報を候補顔情報として特定し、補足判定手段は、候補顔情報が装着状態の登録顔情報である場合、装着状態の登録顔情報に対応する登録利用者に関する非装着状態の登録顔情報と照合対象者の顔情報との類似度が第一の基準より緩い第二の基準を満たすときに、照合対象者が登録利用者であると判定することが好ましい。

補足判定手段は、候補顔情報が装着状態の登録顔情報である場合、装着状態の登録顔情報と照合対象者の顔情報とが装着物がない領域において類似することを条件に補足判定を実行することが好ましい。

本発明の顔認証装置は、装着物に起因して利用者本人が認証に失敗したり、未登録の照合対象者が何れかの利用者であるとして誤って認証に成功する可能性を低減させることができる。

本発明の一実施形態である顔認証装置の概略構成図である。 記憶部に記憶される登録データを説明するための図である。 顔認証装置の処理部の動作例を示したフローチャートである。 顔認証装置の処理部の別の動作例を示したフローチャートである。

以下、本発明の一実施形態である顔認証装置について、図面を用いて説明する。本実施形態の顔認証装置では、装着物の一例として眼鏡が装着されている状態（以下、眼鏡顔という）の顔情報と、眼鏡が装着されていない状態（以下、裸眼顔という）の顔情報とが、利用者ごとに予め登録される。顔認証装置は、照合対象者の顔情報を登録されている利用者の顔情報（以下、登録顔情報という）のそれぞれと照合して類似度を評価し、本人候補の登録顔情報（候補顔情報）を特定する。この登録顔情報に対応する利用者が、照合対象者と同一人物である可能性がある候補者となる。さらに顔認証装置は、候補顔情報が眼鏡顔の登録顔情報である場合、すなわち照合対象者の顔情報が候補者の裸眼顔の登録顔情報よりもその候補者の眼鏡顔の登録顔情報と類似する場合、その裸眼顔の登録顔情報を照合対象者の顔情報と類似するか否か補足判定し、候補者の裸眼顔とも類似するとき照合対象者を利用者と判定する。この補足判定により、本実施形態の顔認証装置は、眼鏡に起因する他人受入を抑制する。

また、本実施形態の顔認証装置は、候補顔情報が裸眼顔の登録顔情報である場合、すなわち、照合対象者の顔情報が候補者の眼鏡顔の登録顔情報よりもその候補者の裸眼顔の登録顔情報と類似する場合には、眼鏡顔の登録顔情報を参照せずに、照合対象者が候補者であると判定する。このように、照合の信頼性が高い裸眼顔が本人候補のときは補足判定を行わず、比較的に信頼性が低い眼鏡顔が本人候補となったときだけ、同一利用者の裸眼顔との類似性を確認する補足判定を行う。これにより、照合対象者が眼鏡を着用していないときの本人棄却を増加させることなく、眼鏡を着用しているときの他人受入を抑制することができる。

図１は、本発明の一実施形態である顔認証装置１の概略構成図である。顔認証装置１は、記憶部２０と、処理部３０と、出力部４０とを有する。顔認証装置１では、撮像部１０により撮像された画像が、処理部３０に入力される。図１には撮像部１０を１つしか示していないが、顔認証装置１は、複数の撮像部や、自動ドアや電気錠などの外部機器と接続し、認証結果に応じてそれらの機器を制御してもよい。

撮像部１０は、顔認証装置１が運用される環境に応じて、照合対象者の顔を撮影できるように設置される。例えば、通行を規制する自動ドア前方の所定範囲を撮影対象とするように設置する。撮像部１０は、照合対象者の顔が写った画像を入力画像として生成する。そのために、撮像部１０は、例えば、ＣＣＤまたはＣＭＯＳといった固体撮像素子の２次元アレイ上に照合対象者の顔の像を結像する光学系を備えたカメラを有する。撮像部１０は、生成した入力画像を処理部３０に出力する。

なお、撮像部１０は、入力画像として、カラーの多階調画像を作成するものであってもよく、または近赤外域に感度を有しグレー画像を作成するカメラであってもよい。また、撮像部１０が有する撮像素子アレイは、入力画像上に写っている顔の目、鼻、口などの特徴が区別できる程度の画素数を有することが好ましい。

記憶部２０は、半導体メモリ、磁気記録媒体および光記録媒体のうちの少なくとも一つを有する。そして記憶部２０は、顔認証装置１を制御するためのコンピュータプログラム、各種パラメータおよびデータなどを記憶する。また記憶部２０は、利用者の識別情報と、利用者の顔画像または顔画像から抽出された利用者の顔の特徴情報である顔情報とを記憶する。顔認証装置１では、利用者ごとに、利用者の識別情報および顔情報を予め記憶部２０に登録しておく。以下では、登録された利用者の顔情報を登録顔情報という。

眼鏡を着用することがある利用者については、記憶部２０は、眼鏡顔の顔情報および裸眼顔の顔情報を、利用者ごとに対応付けて記憶する。これらの顔情報は、利用者の顔に装着物が装着されている装着状態の顔情報および装着物が装着されていない非装着状態の顔情報の一例である。眼鏡を着用しない利用者については、記憶部２０は、裸眼顔の顔情報を記憶する。

図２は、記憶部２０に記憶される登録データを説明するための図である。図２の登録データは、利用者ごとに、識別情報としてＩＤ番号を、登録顔情報として顔画像を有する。この例では、利用者は４人である。ＩＤ０１、ＩＤ０３およびＩＤ０４の利用者は眼鏡を着用しているが、ＩＤ０２の利用者は眼鏡を着用していない。このため、ＩＤ０１、ＩＤ０３およびＩＤ０４の利用者については、眼鏡顔と裸眼顔の両方の顔画像が登録されている。一方、ＩＤ０２の利用者については、裸眼顔の顔画像のみが登録されている。

図２の例では、ＩＤ０１とＩＤ０４の利用者について登録されている眼鏡顔の眼鏡が似ている。この場合、例えば、眼鏡を着用した状態のＩＤ０１の利用者が照合対象者となり、登録されている各顔画像と照合されると、自分自身の眼鏡顔よりもＩＤ０４の利用者の眼鏡顔との類似度が高くなる可能性がある。また、登録されている眼鏡顔同士の眼鏡が似ていなくても、例えばＩＤ０１の利用者が登録時と異なる眼鏡を着用して照合対象者となった場合には、その眼鏡が他の利用者について登録されている眼鏡顔の眼鏡と似ていれば、同様に、自分自身の眼鏡顔よりも他の利用者の眼鏡顔との類似度が高くなる可能性がある。

なお、利用者の識別情報は、利用者を一意に識別できるものであればよいので、例えば利用者名などでもよい。また、図２では説明のため顔画像を登録する例を示しているが、処理部３０による照合の方式に応じて、顔画像または顔画像から抽出された利用者の顔の特徴情報を登録すればよい。登録顔情報は、外部から取得してもよいし、後述する処理部３０の特徴抽出手段３２により抽出してもよい。

処理部３０は、１個または複数個のプロセッサおよびその周辺回路を有する。そして処理部３０は、撮像部１０により入力された顔画像から照合対象者の顔情報を抽出し、その顔情報を記憶部２０に予め登録された利用者の顔情報と照合して、照合対象者が登録された利用者であるか否か判定する。そのために、処理部３０は、顔検出手段３１と、特徴抽出手段３２と、照合手段３３と、補足判定手段３４と、認可手段３５とを有する。処理部３０のこれらの手段は、例えば、マイクロプロセッサユニット上で動作するプログラムの機能モジュールとして実装される。なお、これらの手段は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成してもよい。

出力部４０は、例えば、自動ドア、通行ゲートまたは電気錠を制御する外部機器などに接続する通信インターフェースと、その制御回路とを有する。そして出力部４０は、処理部３０から照合対象者についての認証成功を示す信号を受け取ると、接続された機器に例えば電気錠の解錠を要求する信号を出力する。あるいは、出力部４０は、撮像部１０の付近に設置され表示または音声などにより照合対象者に認証結果を通知する表示器などに、処理部３０による認証結果を示す信号を出力してもよい。

次に、処理部３０が有する各手段の機能について説明する。

顔検出手段３１は、入力画像から、照合対象者の顔が写っている領域である顔領域を検出する。そのために、顔検出手段３１は、例えば、入力画像中の部分領域から１つまたは複数の特徴量を算出し、その特徴量が人物の顔に対応すると考えられる所定の条件を満たす場合に、その部分領域を顔領域として検出する。具体的には、顔検出手段３１は、例えば、Ｓｏｂｅｌフィルタなどを用いてエッジ画素抽出を行い、その部分領域内におけるエッジ画素の方向分布、またはそのエッジ近傍の輝度分布などの特徴量を算出する。あるいは、人物の顔を撮影した複数の画像から予めこれらの特徴量の値を求めてその範囲を決定することにより、上述した所定の条件を予め決定してもよい。

あるいは、顔検出手段３１は、予め用意された顔領域のテンプレートを用いて入力画像とのテンプレートマッチングを行ったり、入力画像のエッジ画像から顔または頭部領域の輪郭形状のエッジ分布を検出したりすることによって、顔領域を検出してもよい。顔検出手段３１は、例えば、入力画像から顔領域に含まれる画素のみを取り出した画像を、特徴抽出手段３２に渡す。

特徴抽出手段３２は、顔領域を表す画像から照合対象者の顔の特徴情報である顔情報（以下、入力顔情報ともいう）を抽出する。そのために、特徴抽出手段３２は、顔検出手段３１により得られた画像から、目領域中心、鼻尖点、口角点などの顔の特徴点を抽出する。さらに特徴抽出手段３２は、抽出された特徴点の種別と入力画像上の位置情報（例えば、顔画像の左上端部を原点とする２次元座標値）を、顔の特徴情報として抽出する。特徴抽出手段３２は、入力顔情報を記憶部２０に記憶する。

特徴抽出手段３２は、顔画像から特徴点を抽出するための公知の様々な手法を用いることができる。例えば、特徴抽出手段３２は、顔画像に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。そして特徴抽出手段３２は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各特徴点を抽出することができる。

なお、特徴抽出手段３２は、入力顔情報を抽出するのと同様の方法により、各利用者が登録されるときに顔情報を抽出し、それらを登録顔情報として記憶部２０に記憶しておく。

照合手段３３は、照合対象者の入力顔情報を記憶部２０に記憶されている各登録顔情報と照合して、照合対象者の顔情報と類似する登録顔情報に対応する利用者を、照合対象者と同一人物である可能性がある候補者として特定する。そのために、照合手段３３は、まず、入力顔情報と、各登録顔情報とを比較することにより、利用者ごとに、利用者の顔と照合対象者の顔の類似度合いを表す類似度を算出する。眼鏡顔の顔情報と裸眼顔の顔情報の両方が登録されている利用者については、照合手段３３は、眼鏡顔との類似度と裸眼顔との類似度の両方を算出する。照合手段３３は、算出した類似度を登録顔情報ごとに記憶部２０に記憶する。

照合手段３３は、例えば、入力顔情報と登録顔情報の間で、特徴抽出手段３２が抽出した特徴点ごとに周辺の画像特徴を利用して個別の類似度を求め、その総和を全体の類似度として算出する。この場合、入力顔情報と登録顔情報の差が小さいほど、すなわち、照合対象者の顔と利用者の顔が類似しているほど、類似度の値は大きくなる。

あるいは、照合手段３３は、入力顔情報と登録顔情報の間で、同一種別の特徴点ごとに位置の差（距離）を求め、その二乗和を類似度として算出してもよい。この場合の類似度は、入力顔情報と登録顔情報の差が小さいほど、すなわち、照合対象者の顔と利用者の顔が類似しているほど小さくなる。以下では、類似度が高いほど、比較対象となる二つの顔の類似度合いも高いとして説明する。

あるいは、照合手段３３は、入力画像と登録されている利用者の顔画像（以下、登録顔画像という）とのパターンマッチングにより類似度を算出してもよい。この場合、照合手段３３は、入力画像に対する登録顔画像の相対的な位置を変えつつ、入力画像と登録顔画像の間の正規化相互相関値を算出し、その正規化相互相関値の最大値を、入力画像とその登録顔画像との類似度としてもよい。この場合、照合手段３３は特徴抽出手段３２が抽出する特徴情報を類似度算出のために使用しないので、特徴抽出手段３２は省略されてもよい。

照合手段３３は、各登録顔情報について算出した類似度の最大値を求め、その最大値が閾値Ｔｈ１（第一の基準の一例）以上である場合に、その最大値をもつ登録顔情報が照合対象者の顔情報と類似する本人候補の顔情報（候補顔情報）と判定する。以降、その登録顔情報に対応する利用者が候補者として扱われる。

補足判定手段３４は、本人候補として特定された候補顔情報が眼鏡顔の登録顔情報か裸眼顔の登録顔情報かにより補足判定の要否を判定する。そして、眼鏡顔の登録顔情報の場合は、照合手段３３による類似判定の信頼性が低いため、補足判定として、その利用者に対応して登録されている裸眼顔の登録顔情報についても照合対象者の顔情報と類似するか否かを更に評価し、照合対象者がその利用者であるか否かを判定する。最も類似している登録顔情報が眼鏡顔のときは、眼鏡の画像上の特徴が似ていることに起因して、照合対象者の顔と候補者の顔の類似度が高くなった可能性がある。このため、補足判定手段３４は、本人候補の顔情報が眼鏡顔の登録顔情報である場合は、照合対象者が本当に候補者と同一人物であるか否かを判定するために、補足判定を行う。

照合手段３３は眼鏡顔と裸眼顔の両方について類似度を算出しているため、補足判定手段３４は、本人候補の眼鏡顔に対応する裸眼顔について照合手段３３が算出した類似度を記憶部２０から取得し、参照する。その裸眼顔についての類似度が閾値Ｔｈ２（第二の基準の一例）以上である場合に、補足判定手段３４は、照合対象者が候補者とした利用者であると判定する。一方、その裸眼顔についての類似度が閾値Ｔｈ２未満である場合は、補足判定手段３４は、照合対象者が候補者とした利用者でないと判定する。

一方、補足判定手段３４は、照合対象者の顔情報が裸眼顔の登録顔情報と類似する場合には、高精度な認証ができたとみなす。この場合、補足判定手段３４は、補足判定をせずに照合対象者が候補者とした利用者であると判定する。

認可手段３５は、補足判定手段３４により照合対象者が予め登録された利用者と判定されたとき、出力部４０を介して、例えば認証成功を示す信号として電気錠を解錠する信号を出力したり、撮像部１０の付近に設置された表示器などに認証に成功したことを通知する。一方、照合手段３３で候補者が存在しないと判定されたとき、または補足判定手段３４により照合対象者が利用者でないと判定されたとき、認可手段３５は、出力部４０を介して認証失敗を示す信号を出力させてもよい。

ここで、補足判定手段３４の補足判定に用いられる類似判定基準である閾値Ｔｈ２は、照合手段３３により用いられる類似判定基準である閾値Ｔｈ１よりも低く（すなわち、基準が緩く）設定される。これは、補足判定は眼鏡が類似することに起因する他人受入を抑制するための補助的なものだからである。すなわち、補足判定は、照合対象者がある利用者の眼鏡顔と類似すると判定された場合に、照合対象者がその同じ利用者の裸眼顔ともある程度類似することを条件として同一人物と判定する補助的なものだからである。また、閾値Ｔｈ２を閾値Ｔｈ１と同値以上に設定すると、補足判定によって本人棄却が生じる可能性が高くなる。このため、閾値Ｔｈ２は閾値Ｔｈ１よりもよりも低く設定することが好ましい。なお、類似度の代わりに相違度が用いられる場合は、補足判定手段３４の補足判定において類似すると判定される相違度の閾値は、照合手段３３により類似すると判定される相違度の閾値よりも高く設定される。

図３は、顔認証装置１の処理部３０の動作例を示したフローチャートである。まず、顔検出手段３１は、照合対象者の顔が写っている入力画像を撮像部１０から取得する（ステップＳ１０）。そして顔検出手段３１は、入力画像から、照合対象者の顔が写っている領域である入力顔領域を検出する（ステップＳ１５）。顔検出手段３１は、例えば、入力画像から入力顔領域に含まれる画素のみを取り出した画像を、特徴抽出手段３２に渡す。

特徴抽出手段３２は、入力顔領域の画像から照合対象者の顔の特徴情報である入力顔情報を抽出する（ステップＳ２０）。特徴抽出手段３２は、得られた入力顔情報を照合手段３３に渡し、記憶部２０に記憶する。なお、照合手段３３が入力顔領域の画像と登録顔画像とのパターンマッチングにより類似度を算出する場合には、ステップＳ２０の処理は省略されてもよい。

照合手段３３は、利用者ごとに、入力顔情報と各登録顔情報との類似度をそれぞれ算出する（ステップＳ２５）。眼鏡顔の顔情報と裸眼顔の顔情報の両方が登録されている利用者については、照合手段３３は、入力顔情報と眼鏡顔の登録顔情報との類似度および入力顔情報と裸眼顔の登録顔情報との類似度をそれぞれ算出する。そして照合手段３３は、算出した類似度を記憶部２０に記憶する。

そして照合手段３３は、算出された類似度の最大値が閾値Ｔｈ１以上であるか否かを判定する（ステップＳ３０）。最大値が閾値Ｔｈ１未満である場合（ステップＳ３０でＮｏ）、照合手段３３は候補者が存在しない、すなわち、照合対象者はいずれの利用者でもないと判断し、認証失敗とする（ステップＳ５５）。

一方、類似度の最大値が閾値Ｔｈ１以上である場合（ステップＳ３０でＹｅｓ）、照合手段３３は、その最大値を得た登録顔情報を候補顔情報とし、その登録顔情報に対応する利用者を照合対象者と同一人物である可能性がある候補者とみなす。そして、補足判定手段３４は、候補顔情報が候補者の裸眼顔の登録顔情報であるか眼鏡顔の登録顔情報であるかを判定する（ステップＳ３５）。

照合対象者の顔情報が裸眼顔の登録顔情報と類似しているとき（ステップＳ３５でＮｏ）は、補足判定手段３４は、高精度な認証ができたとみなし、補足判定を行わずに照合対象者が候補者の利用者であると判定する。このとき、認可手段３５は、出力部４０を介して認証成功を示す信号を出力する（ステップＳ５０）。

一方、照合対象者の顔情報が眼鏡顔の登録顔情報と類似しているとき（ステップＳ３５でＹｅｓ）は、補足判定手段３４は、補足判定が必要と判断し、その候補者に関する裸眼顔の登録顔情報について照合手段３３が算出した類似度を記憶部２０から取得し、参照する（ステップＳ４０）。

そして補足判定手段３４は、その裸眼顔についての類似度が閾値Ｔｈ２以上であるか否かを判定する（ステップＳ４５）。裸眼顔の類似度が閾値Ｔｈ２以上である場合（ステップＳ４５でＹｅｓ）、補足判定手段３４は、照合対象者が候補者の利用者であると判定する。このとき、認可手段３５は、出力部４０を介して認証成功を示す信号を出力する（ステップＳ５０）。一方、裸眼顔の類似度が閾値Ｔｈ２未満である場合（ステップＳ４５でＮｏ）、補足判定手段３４は、照合対象者が候補者の利用者でないと判定し、認証失敗とする（ステップＳ５５）。以上で、処理部３０の動作は終了する。

また、別の動作例として、補足判定手段３４は、候補顔情報が眼鏡顔の場合において、眼鏡が着用されている目の周辺領域以外に関する、その眼鏡顔の登録顔情報と照合対象者の入力顔情報との類似度がある程度高いことを条件に、補足判定を実行してもよい。以下では、この例における処理部３０の処理について説明する。

この例では、記憶部２０は、眼鏡が装着され眼鏡の影響を受ける目の周辺領域（装着領域という）と、顔の中で目の周辺領域以外の領域（非装着領域という）との位置関係（例えば、顔領域の画像における範囲や垂直方向の比率など）を記憶する。顔画像を構成する各特徴点は、それぞれ画像上の位置情報が対応付けられているため、各特徴点が装着領域と非装着領域のいずれに属するか特定可能である。

補足判定手段３４は、照合対象者の顔情報が眼鏡顔の登録顔情報と類似する場合に、各顔情報の非装着領域の部分の重みを高くして、類似度を算出する。その際、補足判定手段３４は、例えば、入力顔領域の特徴点と候補者の眼鏡顔の特徴点との個別の類似度に、その特徴点が装着領域と非装着領域のいずれであるかに応じた重みαを掛け、各特徴点についての総和を全体の重み付け類似度として算出する。

また、重みαは、例えば非装着領域の重みを１とし装着領域の重みを０．３とするなど、非装着領域の重みを装着領域の重みに対して高く設定し、顔領域のうち眼鏡の影響が小さい領域の類似性が重み付け類似度に表出し易くする。なお、非装着領域についてのみ類似しているか否かが判定されるように、補足判定手段３４は、装着領域に対する重みを０にしてもよい。

そして補足判定手段３４は、重み付け類似度が閾値Ｔｈ３以上である場合に、上述した補足判定を行う。すなわち、補足判定手段３４は、対応する利用者の裸眼顔の登録顔情報との類似度を参照し、その裸眼顔との類似度が閾値Ｔｈ２以上であるか否かに応じて、照合対象者が利用者である否かを判定する。一方、補足判定手段３４は、重み付け類似度が閾値Ｔｈ３未満である場合には、上述した補足判定を行わずに、照合対象者がその利用者ではないと判定する。

図４は、顔認証装置１の処理部３０の別の動作例を示したフローチャートである。図４に示した処理では、図３における、照合対象者の顔情報が候補者の裸眼顔の登録顔情報よりもその候補者の眼鏡顔の登録顔情報と類似しているか否かを判定するステップＳ３５と、裸眼顔の顔情報を参照するステップＳ４０との間に、重み付け類似度を用いた処理が追加されている。これ以外の処理は図３のものと同じであるため、図３に示した処理と異なる部分のみを説明する。

ステップＳ３５の処理にて特定された候補顔情報が眼鏡顔である場合、つまり、照合対象者の顔情報と最も似ている登録顔情報が眼鏡顔の場合（ステップＳ３５でＹｅｓ）、補足判定手段３４は、非装着領域の類似性を重視した入力顔情報とその眼鏡顔の登録顔情報との重み付け類似度を算出する（ステップＳ３６）。そして補足判定手段３４は、算出された重み付け類似度が閾値Ｔｈ３以上であるか否かを判定する（ステップＳ３８）。

その重み付け類似度が閾値Ｔｈ３以上である場合（ステップＳ３８でＹｅｓ）、補足判定手段３４は対応する利用者の裸眼顔の類似度を参照して補足判定を行う（ステップＳ４０以降）。一方、重み付け類似度が閾値Ｔｈ３未満である場合（ステップＳ３８でＮｏ）は、補足判定手段３４は、照合対象者がその利用者でないと判定し、認証失敗とする（ステップＳ５５）。これ以外の処理は図３と同様なので、説明を省略する。

なお、装着領域と非装着領域は、予め定められた位置関係に従って設定されるのではなく、特徴点ごとに動的に設定してもよい。例えば、目の周囲は眼鏡により影響を受けるため、特徴抽出手段３２が目の特徴点を抽出したときに、その特徴点を中心とする一定の範囲（例えば、顔画像中の平均的な眼鏡の垂直方向の長さを幅とする水平な帯状の範囲）を装着領域として設定してもよい。

以上説明してきたように、上記実施形態の顔認証装置は、照合対象者の入力顔情報に対して登録利用者の眼鏡顔の顔情報が本人候補として抽出された場合に、その利用者の裸眼顔の顔情報ともある程度類似していることを確認した上で、照合対象者がその利用者であるか否かを判定する。これにより、眼鏡が類似することに起因する他人受入を抑制することができる。また、登録利用者の裸眼顔の顔情報が本人候補として抽出された場合には、補足判定を行わずに照合対象者はその利用者であると判定する。すなわち、照合対象者の入力顔情報が眼鏡顔の顔情報と類似する場合のみ補足判定する。これにより、照合対象者が眼鏡を着用していないときの本人棄却も抑制することができる。

また、上記の説明では、照合手段３３は、類似度が最大であり閾値Ｔｈ１以上となる登録顔情報に対応する一人の利用者を候補者として特定していた。しかしながら、類似度が閾値Ｔｈ１以上となる眼鏡顔の登録顔情報が複数ある場合は、それらについて補足判定手段３４が補足判定してもよい。その場合の補足判定では、各候補者のうち、眼鏡顔との類似度および裸眼顔との類似度の和など両者を総合して得られるスコアが最大の候補者を選出し、そのスコアが所定の基準を満たすとき、照合対象者をその候補者（利用者）と判定する。あるいは、補足判定のときに参照される裸眼顔の類似度が最大の候補者を判定対象の候補者に選出してもよい。

また、照合手段３３は、必ずしもすべての利用者について、照合対象者の入力顔情報との照合をしなくてもよい。例えば、規制対象の区域への入場権限がある利用者のグループのみについて照合してもよい。あるいは、利用者ごとに優先順位を付与し、その情報を利用者ごとに対応付けて記憶部２０に記憶しておき、照合手段３３はその優先順位が高い利用者について優先的に照合してもよい。

また、顔認証装置１は、１つの入力画像により照合対象者を認証するものに限らず、撮影時刻が異なる複数の入力画像を用いて最終的に照合対象者を認証するものでもよい。例えば、顔認証装置１は、監視領域内を歩行する人物が複数の時点で撮影された複数の入力画像からその人物の顔領域の画像を抽出し、公知のトラッキング技術を適用することにより同一人物の顔が写っていると判断される顔領域同士について、顔領域の画像と予め登録された複数の登録顔画像のそれぞれとの類似度を時系列の順で算出し、それらの類似度を用いて監視領域内を歩行する人物を認証する顔認証装置（いわゆるウォークスルー型の顔認証装置）であってもよい。

その場合、顔認証装置１は、例えば、各時点での照合対象者の顔情報との類似度が最大になった利用者について１位ヒット数を加算し、判定対象の期間内における１位ヒット数を利用者ごとにカウントする。そして、所定の期間内で最大の類似度を得た登録顔情報を候補顔情報とし、これが眼鏡顔である場合に、補足判定として、同一利用者の裸眼顔との類似度のうち最大値が所定閾値以上であるか確認する。類似度が閾値以上であり、裸眼顔ともある程度似ていると判定した場合、期間内における入力画像の枚数に対するその利用者の１位ヒット数の割合である１位ヒット率を算出する。そして、判定対象の利用者の１位ヒット率が閾値（例えば７割）以上であれば、顔認証装置１は照合対象者をその利用者であると判定する。あるいは、ある利用者の１位ヒット数が閾値となる回数（例えば７回）以上になった場合に、顔認証装置１は照合対象者をその利用者であると判定してもよい。

また、上記では装着物として眼鏡が装着される場合の例を説明したが、装着物は眼鏡に限らない。装着物には、例えばピアスを含むアクセサリなど、利用者が顔に装着するものが含まれる。ピアスなどのアクセサリを身に着ける利用者については、アクセサリを身に着けた状態と身に着けない状態の顔画像または顔情報を記憶部２０に記憶しておき、処理部３０は眼鏡について上記したものと同様の処理をして、照合対象者を認証すればよい。

また、装着物は１個に限らず、複数個または複数種類あってもよい。その場合、記憶部２０には、例えば、登録顔情報として、１個または複数個の装着物が装着された状態の顔情報と、いずれの装着物も装着されていない状態の顔情報とを登録しておく。また、補足判定手段３４が重み付け類似度を算出する上記の例では、装着物の種類ごとに、装着領域と非装着領の位置関係を記憶部２０に記憶しておくとよい。

なお、本人棄却より他人受入の問題を重視する場合は、照合対象者の顔情報と類似判定された本人候補の顔情報のときであっても、補足判定を実行する構成としてもよい。

１ 顔認証装置
１０ 撮像部
２０ 記憶部
３０ 処理部
３１ 顔検出手段
３２ 特徴抽出手段
３３ 照合手段
３４ 補足判定手段
３５ 認可手段
４０ 出力部

Claims (5)

1. 予め登録された登録利用者ごとに、当該登録利用者の顔に装着物が装着されている装着状態の顔情報および前記装着物が装着されていない非装着状態の顔情報を登録顔情報として記憶する記憶手段と、
   撮影画像から抽出された照合対象者の顔情報を複数の前記登録顔情報のそれぞれと照合し、当該複数の登録顔情報のうち当該照合対象者の顔情報と類似する候補顔情報を特定する照合手段と、
   前記候補顔情報が前記装着状態の登録顔情報である場合、前記照合対象者の顔情報が当該装着状態の登録顔情報に対応する登録利用者に関する前記非装着状態の登録顔情報とも類似することを条件に当該照合対象者が当該登録利用者であると判定する補足判定を行う補足判定手段と、
   を備えることを特徴とする顔認証装置。
2. 前記補足判定手段は、前記候補顔情報が前記非装着状態の登録顔情報である場合には、前記補足判定を実行せずに前記照合対象者を当該候補顔情報に対応する登録利用者であると判定することを特徴とする、請求項１に記載の顔認証装置。
3. 前記補足判定手段の前記補足判定に用いられる類似判定基準は、前記照合手段で前記候補顔情報の特定に用いられる類似判定基準よりも緩いことを特徴とする、請求項１または２に記載の顔認証装置。
4. 前記照合手段は、前記照合対象者の顔情報と前記複数の登録顔情報のそれぞれとの類似度を算出し、当該類似度が最大でありかつ第一の基準を満たす登録顔情報を前記候補顔情報として特定し、
   前記補足判定手段は、前記候補顔情報が前記装着状態の登録顔情報である場合、当該装着状態の登録顔情報に対応する登録利用者に関する前記非装着状態の登録顔情報と前記照合対象者の顔情報との類似度が前記第一の基準より緩い第二の基準を満たすときに、当該照合対象者が当該登録利用者であると判定することを特徴とする、請求項３に記載の顔認証装置。
5. 前記補足判定手段は、前記候補顔情報が前記装着状態の登録顔情報である場合、当該装着状態の登録顔情報と前記照合対象者の顔情報とが前記装着物がない領域において類似することを条件に前記補足判定を実行することを特徴とする、請求項１〜４の何れか一項に記載の顔認証装置。

Images