JP2007140823A - 顔照合装置、顔照合方法及びプログラム - Google Patents

Abstract

【課題】悪い撮影条件下で撮影された画像に対しても、複雑な処理を伴うことなく高速かつ高精度に顔照合を行う。
【解決手段】顔照合装置に、登録者の顔画像からあらかじめ取得された特徴量を記憶する記憶手段と、入力された画像から顔を検出する検出手段と、検出された顔から特徴量を取得する特徴量取得手段と、前記特徴量取得手段が取得した特徴量と前記記憶手段に記憶された特徴量の類似度を算出する照合手段と、前記類似度と所定の閾値との比較により、前記検出された顔と前記登録者の顔が一致するかを判定する判定手段と、前記画像から撮影条件を取得する撮影条件取得手段と、前記撮影条件に基づいて、前記類似度及び／又は前記閾値を補正する補正手段とを備える。
【選択図】図２

Description

本発明は、人の顔の照合を行う装置や方法に適用されて有効な技術に関する。

顔照合においては、照合する顔の画像の撮影条件が変化した場合には、照合精度が低下してしまう。例えば、顔の向きや照明条件が変化することによって照合精度が低下する。顔と画像取得のためのセンサ（カメラ）の位置が離れているため、撮影条件を一定に保つことは困難である。

撮影条件が変化した場合でも照合精度を保つための技術として、撮影条件が悪い場合には精度の高いアルゴリズムを用いる手法が知られている。また、撮影条件に応じて特徴量を異なる部分から抽出したり、撮影条件に応じた顔照合器を用いる技術が知られている（特許文献１）。

しかしながら、悪条件用の精度の高いアルゴリズムを用いる場合には、処理速度の低下という問題が生じる。また、撮影条件に応じて特徴量抽出部分を変更したり、使用する顔照合器を切り替えたりする方法では、プログラムサイズが大きくなってしまうという問題も生じる。さらに、各特徴量抽出や各顔照合器で完全な互換性が必要となり実装が困難になる。

また、例えば、時間帯や設置場所に応じて利用者の利用頻度を登録しておき、時間帯別に異なる閾値を用いる顔認証装置が知られている（特許文献２）。また、文字認識装置において、文字の特徴（文字の複雑さ、文字の見誤りやすさなど）に応じて異なる閾値を用いる技術が知られている（特許文献３）。
特開２０００−２１５３０８号公報 特開２００２−１８３７３４号公報 特開平９−６２７７３号公報

本発明は、顔照合において、撮影条件が悪化した場合であっても、複雑な処理を伴うことなく高速かつ高精度に顔照合を行える技術を提供することを目的とする。

上記課題を解決するために、本発明は以下のような構成をとる。本発明は顔照合装置であって、記憶手段、検出手段、特徴量取得手段、照合手段、判定手段、撮影条件取得手段及び補正手段を備える。記憶手段は、登録者の顔画像からあらかじめ取得された特徴量を記憶する。記憶手段は、一人分の登録者の特徴量を記憶するように構成されても良いし、複数人の登録者の特徴量を記憶するように構成されても良い。

検出手段は、入力された画像から人の顔を検出する。特徴量取得手段は、検出された顔から特徴量を取得する。照合手段は、特徴量取得手段が取得した特徴量と記憶手段に記憶された登録者の特徴量の類似度を算出する。判定手段は、照合手段が算出した類似度と所定の閾値とを比較することにより、検出された顔と登録者の顔が一致するかを判定する。上記の顔検出処理、特徴量取得処理及び顔照合処理は既存のどのような技術を用いて実現されても構わない。

撮影条件取得手段は、入力された画像から撮影条件を取得する。撮影条件とは、画像内の人の顔の向きや照明の当たり具合、記憶手段に登録されたデータ（登録データ）との顔の向きや照明の当たり具合の乖離度、マスクやサングラスなどの装着物の有無、登録データとの経年変化による乖離度（髪型、皺など）など、顔照合の精度に影響を与える条件のことである。

入力された画像の撮影条件によっては、顔照合処理の精度が低下するおそれがある。すなわち、登録者と一致する人物（本人）を照合した場合は撮影条件が良い場合に比較して類似度が低く算出されてしまったり、登録者と異なる人物（他人）を照合した場合には類似度が高く算出されてしまったりするおそれがある。この結果、本人を登録者でないと判定したり、他人を登録者であると判定する誤判定が生じやすくなる。この精度低下を補うために、補正手段は、撮影条件に基づいて、類似度及び／又は閾値を補正する。照合手段は、補正手段によって補正された類似度、閾値、又はその両方を比較することによって、検出された顔と登録者の顔が一致するかを判定する。

このように構成された顔照合装置では、撮影条件が悪い場合でも、撮影条件に応じて補正した類似度及び／又は閾値を用いることで、複雑な処理を伴わず高速な処理によって、撮影条件に適合した顔照合を行うことが可能となる。

本発明における補正手段は、各撮影条件における類似度の分布に基づいて類似度及び／又は閾値を補正することが好適である。すなわち、所定の撮影条件を発生させたときに、本人及び他人を照合した場合の類似度がどのような分布になるかあらかじめ調べておき、この分布に基づいて、類似度及び／又は閾値を補正することが好ましい。なお、本発明に係る顔照合装置は、各撮影条件における類似度の分布自体を記憶する必要はなく、例えば平均や偏差などの分布の特徴を表す値や、類似度及び／又は閾値を補正するための補正式（関数）やテーブルを記憶していても良い。

なお、本発明は、上記処理を行う顔照合方法、または、かかる方法を実現するためのプログラムとして捉えることもできる。

例えば、本発明の一態様としての顔照合方法は、登録者の顔画像からあらかじめ取得された特徴量を記憶する記憶手段を有する情報処理装置が行う顔照合方法であって、入力された画像から顔を検出するステップと、検出された顔から特徴量を取得するステップと、取得した特徴量と前記記憶手段に記憶された特徴量との類似度を算出するステップと、前記入力された画像から撮影条件を取得するステップと、前記撮影条件に基づいて、前記類似度及び／又は前記類似度との比較に用いる閾値を補正するステップと、前記類似度及び／又は前記閾値の補正後に、前記類似度と前記閾値との比較により、検出された顔と前記登録者の顔が一致するかを判定するステップと、を含む。

また、本発明の一態様としてのプログラムは、登録者の顔画像からあらかじめ取得された特徴量を記憶する記憶手段を有する情報処理装置に対して、入力された画像から顔を検出するステップと、検出された顔から特徴量を取得するステップと、取得した特徴量と前記記憶手段に記憶された特徴量との類似度を算出するステップと、前記入力された画像から撮影条件を取得するステップと、前記撮影条件に基づいて、前記類似度及び／又は前記類似度との比較に用いる閾値を補正するステップと、前記類似度及び／又は前記閾値の補正後に、前記類似度と前記閾値との比較により、検出された顔と前記登録者の顔が一致するかを判定するステップと、を実行させるためのプログラムである。

本発明によれば、撮影条件が悪化した場合であっても、複雑な処理を行うことなく高速
かつ高精度に顔照合を行うことが可能となる。

＜システム構成＞
図１は、顔照合装置１の機能ブロックを示す図である。顔照合装置１は、照合対象となる人物が撮像された画像（照合画像）から顔の特徴量（例えば輝度分布や色ヒストグラム等）を取得し、あらかじめ登録されている人物の特徴量と比較することによって、照合画像の人物が誰であるか判断する。顔照合装置１は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置）、主記憶装置（ＲＡＭ）、補助記憶装置などを備える。

顔照合装置１は、補助記憶装置に記憶された各種のプログラム（ＯＳ、アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、画像入力部２、画像記憶部３、顔検出部４、特徴量検出部５、登録者情報記憶部６、顔照合部７、撮影条件取得部８、補正部９及び判定部１０等を含む装置として機能する。顔検出部４、特徴量検出部５、顔照合部７、撮影条件取得部８、補正部９及び判定部１０は、プログラムがＣＰＵによって実行されることによりその機能が実現される。また、顔検出部４、特徴量検出部５、顔照合部７、撮影条件取得部８、補正部９及び判定部１０は、専用のチップとして構成されても良い。

次に、顔照合装置１が有する各機能部について説明する。

［画像入力部］
画像入力部２は、照合画像のデータを顔照合装置１へ入力するためのインタフェースとして機能する。画像入力部２は、顔照合装置１へ照合画像のデータを入力するためのどのような既存技術を用いて構成されても良い。

例えば、ネットワーク（例えばローカル・エリア・ネットワークやインターネット）を介して照合画像のデータが顔照合装置１へ入力されても良い。この場合、画像入力部２はネットワークインタフェースを用いて構成される。また、デジタルカメラやスキャナやパーソナルコンピュータや記憶装置（例えばハードディスクドライブ）等から照合画像のデータが顔照合装置１に入力されても良い。この場合画像入力部２は、デジタルカメラ等と顔照合装置１とをデータ通信可能に接続する規格（例えばＵＳＢ（Universal Serial Bus）やＳＣＳＩ（Small Computer System Interface）等の有線接続や、ｂｌｕｅｔｏｏｔ
ｈ（登録商標）等の無線接続の規格）に応じて構成される。また、記録媒体（各種フラッシュメモリやＣＤ（Compact Disk）やＤＶＤ（Digital Versatile Disc, Digital Video Disc））に記録された照合画像のデータが顔照合装置１へ入力されても良い。この場合、画像入力部２は、記録媒体からデータを読み出す装置（例えば、フラッシュメモリリーダやＣＤドライブやＤＶＤドライブ）を用いて構成される。

また、顔照合装置１が、デジタルカメラ等の撮像装置またはデジタルカメラ等の撮像装置を備える各種装置（例えばＰＤＡ（Personal Digital Assistant）や携帯電話機）の内部に含まれ、撮像された照合画像のデータが顔照合装置１へ入力されても良い。この場合、画像入力部２は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等を用いて構成されても良いし、ＣＣＤやＣＭＯＳセン
サなどによって撮像された照合画像のデータを顔照合装置１に入力させるためのインタフェースとして構成されても良い。また、顔照合装置１がプリンタやディスプレイ等の画像出力装置の内部に含まれ、出力データとしてこの画像出力装置に入力された画像のデータが照合画像として顔照合装置１へ入力されても良い。この場合、画像入力部２は、これらの画像出力装置に入力された画像のデータを顔照合装置１において取り扱い可能なデータ
に変換する装置などを用いて構成される。

［画像記憶部］
画像記憶部３は、記憶装置を用いて構成される。画像記憶部３に用いられる記憶装置には、揮発性記憶装置や不揮発性記憶装置など、どのような具体的技術が適用されても良い。

画像記憶部３は、画像入力部２を介して入力された照合画像のデータを記憶する。画像記憶部３に記憶された照合画像のデータは、顔検出部４、特徴量検出部５及び撮影条件取得部８によって読み出される。

［顔検出部］
顔検出部４は、画像記憶部３から照合画像のデータを読み出し、照合画像から人の顔を検出し、検出された顔の位置や大きさ等を特定する。顔検出部４は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部４は、顔の器官（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部４は、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成されても良い。また、顔検出部４は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、顔検出部４は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されても良い。又、顔検出部４による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。

顔検出部４は、照合画像から複数の人の顔が検出された場合には、所定の基準に従って処理の対象とする顔を決定しても良い。所定の基準とは、例えば顔の大きさ、顔の向き、画像中における顔の位置などである。

［特徴量検出部］
特徴量検出部５は、顔検出部４によって検出された顔について複数の特徴点を検出し、特徴点付近における特徴量を検出する。特徴量検出部５には、既存のどのような特徴点検出技術が適用されても良い。例えば、特徴量検出部５は、顔特徴点の位置を示すパターンをあらかじめ学習し、その学習データを使用したマッチングを行うことによって特徴点を検出するように構成されても良い。また、特徴量検出部５は、検出された顔の内側において、エッジの検出やパターンマッチングを行うことにより、顔の器官の端点を検出し、それを基準として特徴点を検出するように構成されても良い。特徴量検出部５は、例えば、顔の特徴量として特徴点の位置関係や特徴点付近での濃淡値の周期性・方向性などを用いる。その他、主成分分析（PCA）等の展開法そのものもしくは一般的なその基底に対する
投影値等、既存のいかなる手法が用いられても良い。

［登録者情報記憶部］
登録者情報記憶部６は、記憶装置を用いて構成される。登録者情報記憶部６は、照合の対象となる者の顔の特徴量が格納された登録情報テーブルを記憶する。

［顔照合部］
顔照合部７は、照合画像から取得した特徴量と、登録者情報記憶部６に記憶されている特徴量に基づいて照合処理を行う。顔照合部７は、照合画像から取得した特徴量を、登録者情報記憶部６に記憶されている登録者と照合し、類似度を表すスコアを算出する。

［撮影条件取得部］
撮影条件取得部８は、画像記憶部３から照合画像のデータを読み出し、照合画像の撮影条件を取得する。ここでいう撮影条件とは、例えば、検出された顔の向き、照明環境、マスクやサングラスなどの装着物の有無、登録者の特徴量登録に用いた画像との顔の向きや照明環境の乖離度、登録に用いた画像との経年変化による乖離度（髪型、しわなど）を用いることができる。

検出された顔の向きは、例えば以下のようにして取得することができる。まず、撮影条件取得部８は、あらかじめ学習を行うことにより、顔の画像もしくはその一部と顔の向きとの対応関係や、顔の特徴点配置と顔の向きとの対応関係などを取得しておく。そして、顔検出部４によって検出された顔の画像もしくはその一部、またはその画像から特徴点配置を取得することにより、対応する顔の向きを得ることができる。このような顔の向きの判断は、他の技術を適用することによって実施されても良い。

また、照明環境は以下のようにして取得することができる。まず、撮影条件取得部８は、特徴点付近の輝度を取得する。そして、撮影条件取得部８は、各特徴点付近の領域がどの程度暗いか又はどの程度明るいかを判断する。また、撮影条件取得部８は以下のように処理を行っても良い。まず、撮影条件取得部８は、検出された顔内において特徴点に対応する領域を設定し、それぞれについての輝度を取得する。そして、撮影条件取得部８は、取得された輝度に基づいて、各領域について明暗を判断するよう構成されても良い。また、このような照明環境による影響の判断は、他の技術を適用することによって実施されても良い。

また、装着物の有無は以下のようにして判断することができる。まず、撮影条件取得部８は、サングラスやマスク等の装着物が着用された画像に基づいた学習をあらかじめ行う。そして、撮影条件取得部８は、顔検出部４により検出された顔内において学習に基づいた検出処理を行い、装着物が検出された場合には、その装着物を装着していると判断する。また、撮影条件取得部８は、装着物のテンプレートや色情報をあらかじめ取得し、それとの相関を得ることで検出するように構成されても良い。また、このような装着物の有無の判断は、他の技術を適用することによって実施されても良い。

撮影条件取得部８が取得する撮影条件は、連続的な値として出力されても良く、離散的な値として出力されても良い。すなわち、例えば顔の向きの場合には、顔の向きの角度を出力しても良く、正面・右向き・左向きの顔というように３段階の出力を行っても良い。もっとも、離散的な値をとる場合には３段階である必要はなく、何段階であっても構わない。

［補正部］
補正部９は、照合画像の撮影条件に基づいて、顔照合部７が算出したスコアの正規化、及び判定部１０が用いる閾値の決定を行う。図２は、補正部９のより詳しい機能ブロック図である。補正部９は、スコア正規化部１１、閾値処理部１２、正規化パラメータ記憶部１３、閾値パラメータ記憶部１４を有する。

[[正規化パラメータ記憶部]]
正規化パラメータ記憶部１３は、記憶装置を用いて構成される。正規化パラメータ記憶部１３には、撮影条件に応じたスコア正規化に用いられるパラメータが格納される。このパラメータは、所定の撮影条件を発生させたときに顔照合部７が算出するスコアがどのような分布になるかをあらかじめ調べることによって作成される。正規化パラメータ記憶部１３に記憶されるパラメータは、例えば、撮影条件毎のスコアの分布が考えられる。この場合、確率密度関数を格納したり、正規分布として近似できる場合には平均及び偏差を格納したりする。この他にも、撮影条件毎にスコア正規化部１１が用いる関数自体を格納し
ていても良い。つまり、正規化パラメータ記憶部１３が記憶するパラメータは、照合画像の撮影条件に応じて１つのパラメータベクトルを一意に決定できるデータや関数であればどのような形式であっても構わない。

[[スコア正規化部]]
スコア正規化部１１は、撮影条件取得部８が取得した撮影条件に応じて、顔照合部７が算出したスコアの正規化を行う。スコア正規化部１１は、スコア正規化処理の際に正規化パラメータ記憶部１３から、撮影条件に応じたパラメータを取得し、このパラメータを用いてスコアの正規化を行う。スコア正規化部１１が行うスコア正規化処理には、例えば、ベイズ則を用いる手法、ｚ−ｎｏｒｍ法を用いることができる。また、これらのような統計的手法に基づく正規化処理だけでなく、例えば、ミニマックス（Min-Max）法による正
規化処理などを用いることもできる。

ベイズ則を用いる手法では、ある撮影条件下での本人（登録者と一致する人物）及び他人（登録者と一致しない人物）を顔照合した場合のスコアの分布を用いて、あるスコアが算出された場合の当該撮影条件下における、登録者と一致する確率を算出する。そして、スコア正規化部１１は、このようにして求めた確率を、補正後のスコアとして判定部１０に出力する。

ｚ−ｎｏｒｍ法を用いる場合には、他人の場合のスコアの分布に基づいて、スコアの正規化を行う。そして、スコア正規化部１１は、正規化したスコアを判定部１０に出力する。

[[閾値パラメータ記憶部]]
閾値パラメータ記憶部１４は、記憶装置を用いて構成される。閾値パラメータ記憶部１４には、撮影条件に応じた、判定部１０が用いる閾値を決定するためのデータが格納される。このデータは、判定部１０が用いる閾値自体であっても良く、撮影条件に応じた閾値を決定するためのデータや関数であっても良い。撮影条件に応じた閾値は、所定の撮影条件を発生させたときに顔照合部７が算出しスコア正規化部１１が正規化したスコアがどのような分布をとるかをあらかじめ調べることによって作成される。

[[閾値処理部]]
閾値処理部１２は、撮影条件取得部８が取得した撮影条件に応じて、判定部１０が検出された顔と登録者の顔が一致するか否かの判定に用いる閾値を決定する。閾値処理部１２は、閾値パラメータ記憶部１４を参照して、判定部１０が用いる閾値を決定する。

［判定部］
判定部１０は、補正部９から入力された、正規化後のスコアと閾値を比較して、正規化後のスコアが閾値以上である場合には、検出された顔が登録者と一致すると判定する。逆に、正規化後のスコアが閾値よりも小さい場合には、検出された顔と登録者は一致しないと判定する。

＜動作例＞
図３は、顔照合装置１の動作例を示すフローチャートである。次に顔照合装置１の動作例について説明する。

まず、照合画像が画像入力部２を介して顔照合装置１に入力される（Ｓ１０１）。画像記憶部３は、入力された照合画像のデータを記憶する。顔検出部４は、画像記憶部に記憶された照合画像から、人の顔を検出する（Ｓ１０２）。そして、特徴量検出部５が複数の特徴量を検出し（Ｓ１０３）、顔照合部７は、登録者情報記憶部６に記憶された特徴量と
検出された顔の特徴量を比較して、照合結果としてスコアを算出する（Ｓ１０４）。

撮影条件取得部８は、照合画像の撮影条件を取得する（Ｓ１０５）。スコア正規化部１１は、撮影条件に応じて、Ｓ１０４で取得したスコアに対して正規化を施す（Ｓ１０６）。また、閾値処理部１２は、撮影条件に応じて、判定部１０が用いる閾値を決定する（Ｓ１０７）。判定部１０は、撮影条件に応じて正規化されたスコアと、撮影条件に応じた閾値とを用いて、検出された顔が登録者と一致するか否か判定する（Ｓ１０８）。

＜作用・効果＞
顔照合装置１の顔照合処理において、照合画像の撮影条件が悪化した場合であっても、撮影条件に応じてスコアの正規化及び閾値の変更を行うため、撮影条件による影響を排除して、精度のよい照合結果が得られる。この際、抽出する特徴点の数や特徴量の比較アルゴリズム自体は同一であるため、複数のプログラムを用意することによって生じる、プログラムサイズの増大や実装上の困難などを回避することが可能となる。

また、顔照合装置１は、照合画像の撮影条件に応じてスコアの正規化及び閾値の変更を行っている。したがって、撮影条件に応じた正規化パラメータ及び閾値パラメータを記憶するだけで良く、登録者毎に煩わしい設定をすることなく顔照合処理を行うことが可能である。

＜変形例＞
上記実施例では、スコアの正規化と閾値の変更の両方を行ったが、いずれか一方のみを行っても良い。すなわち、スコアの正規化のみによって、標準の撮影条件と同じスコア分布に補正できる場合には、閾値の変更を行う必要はない。また、閾値の変更のみによって判定を行える場合には、スコアの正規化処理を行う必要はない。

顔照合装置の機能ブロックを示す図である。 補正部の機能ブロックの詳細を示す図である。 顔照合装置の動作例を示すフローチャートである。

符号の説明

１ 顔照合装置
２ 画像入力部
３ 画像記憶部
４ 顔検出部
５ 特徴量検出部
６ 登録者情報記憶部
７ 顔照合部
８ 撮影条件取得部
９ 補正部
１０ 判定部
１１ スコア正規化部
１２ 閾値処理部
１３ 正規化パラメータ記憶部
１４ 閾値パラメータ記憶部

Claims (4)

1. 登録者の顔画像からあらかじめ取得された特徴量を記憶する記憶手段と、
   入力された画像から顔を検出する検出手段と、
   検出された顔から特徴量を取得する特徴量取得手段と、
   前記特徴量取得手段が取得した特徴量と前記記憶手段に記憶された特徴量の類似度を算出する照合手段と、
   前記類似度と所定の閾値との比較により、前記検出された顔と前記登録者の顔が一致するかを判定する判定手段と、
   前記画像から撮影条件を取得する撮影条件取得手段と、
   前記撮影条件に基づいて、前記類似度及び／又は前記閾値を補正する補正手段と、
   を有する顔照合装置。
2. 前記補正手段は、あらかじめ取得された各撮影条件における類似度の分布に基づいて前記類似度及び／又は閾値を補正する
   請求項１に記載の顔照合装置。
3. 登録者の顔画像からあらかじめ取得された特徴量を記憶する記憶手段を有する情報処理装置が行う顔照合方法であって、
   入力された画像から顔を検出するステップと、
   検出された顔から特徴量を取得するステップと、
   取得した特徴量と前記記憶手段に記憶された特徴量との類似度を算出するステップと、
   前記入力された画像から撮影条件を取得するステップと、
   前記撮影条件に基づいて、前記類似度及び／又は前記類似度との比較に用いる閾値を補正するステップと、
   前記類似度及び／又は前記閾値の補正後に、前記類似度と前記閾値との比較により、検出された顔と前記登録者の顔が一致するかを判定するステップと、
   を含む顔照合方法。
4. 登録者の顔画像からあらかじめ取得された特徴量を記憶する記憶手段を有する情報処理装置に対して、
   入力された画像から顔を検出するステップと、
   検出された顔から特徴量を取得するステップと、
   取得した特徴量と前記記憶手段に記憶された特徴量との類似度を算出するステップと、
   前記入力された画像から撮影条件を取得するステップと、
   前記撮影条件に基づいて、前記類似度及び／又は前記類似度との比較に用いる閾値を補正するステップと、
   前記類似度及び／又は前記閾値の補正後に、前記類似度と前記閾値との比較により、検出された顔と前記登録者の顔が一致するかを判定するステップと、
   を実行させるためのプログラム。

Images