JP2007280040A - 顔認証装置 - Google Patents

Abstract

【課題】顔画像の部分的変化に対応して本人認証を行うことのできる顔認証装置を得る。
【解決手段】画像蓄積部４の登録画像に基づいて連想記憶回路を構築し、この連想記憶回路によって認証対象顔画像から想起画像を求める画像想起部５を設ける。画像照合部６は、対象抽出部２からの認証対象顔画像と画像蓄積部４の登録画像とを照合した結果に対して結果判定部７が同一人物ではないという判定を下した場合、認証対象顔画像に代えて画像想起部５の想起画像を用いて照合を行う。
【選択図】図１

Description

この発明は、顔認証において、眼鏡やひげの変化といった時間経過とは独立した顔画像の部分的変化に対応するようにした顔認証装置に関するものである。

顔画像による個人認証装置の性能劣化要因として、照明変化・顔向き変化・表情変化・経年変化・部分隠れがあり、特に経年変化については、顔画像等の登録データを定期的に更新することで対処する方式が一般的である。この登録データ更新に関して、従来方式としては、認証タイミングの時間経過に基づいて判断する方式があった（例えば、特許文献１参照）。

特開平１１−１７５７１８号公報

しかしながら、上記従来の方式では、日常生活において通常に見られる眼鏡買い替えやひげそりなどのケースにおいては時間経過とは独立に顔画像が変化しうることから、時間経過を前提とした方式では問題があった。即ち、このような場合は、同一人物であるにもかかわらず、顔認証として同一人物ではないという判定をしてしまう等、顔画像の部分的変化に対応できないという問題点があった。

この発明は上記のような課題を解決するためになされたもので、眼鏡やひげの変化など時間経過とは独立した顔画像の部分的変化に対応して本人認証を行うことのできる顔認証装置を得ることを目的とする。

この発明に係る顔認証装置は、画像蓄積部の登録画像に基づいて連想記憶回路を構築し、この連想記憶回路によって認証対象顔画像から想起画像を求める画像想起部を設け、認証対象顔画像と画像蓄積部の登録画像とを照合した結果に対して結果判定部が同一人物ではないという判定を下した場合、画像照合部が、認証対象顔画像に代えて画像想起部の想起画像を用いて照合を行うようにしたものである。

この発明の顔認証装置は、本人認証が失敗した場合に顔想起を経由して照合を行うようにしたので、眼鏡やひげの変化といった時間経過とは独立した顔画像の部分的変化にも対応して正しく本人認証を行うことができる。

実施の形態１．
図１は、この発明の実施の形態１による顔認証装置を示す構成図である。
図において、顔認証装置は、画像入力部１、対象抽出部２、ＩＤ入力部３、画像蓄積部４、画像想起部５、画像照合部６、結果判定部７を備えている。

画像入力部１は、カメラ等の撮像系から構成され、認証対象となる人物の顔画像を含むフレーム画像を取得するものである。対象抽出部２は、画像入力部１で取得されたフレーム画像から顔等の対象領域を切り出す機能部である。ＩＤ入力部３は、ユーザが、自身を識別するためのＩＤを入力するための端末等の入力機器から構成される。画像蓄積部４は、顔画像の登録画像を蓄積する登録画像データベースである。画像想起部５は、画像蓄積部４の登録画像に基づいて連想記憶回路を構築し、対象抽出部２により切り出された認証対象顔画像から元の画像を想起する機能部である。

画像照合部６は、ＩＤ入力部３を経由して入力されたＩＤに相当する登録画像を画像蓄積部４から読み出し、対象抽出部２からの認証対象顔画像と照合し、類似度を出力すると共に、照合の結果、結果判定部７において同一人物ではないと判定された場合は、認証対象顔画像ではなく、画像想起部５の想起画像と画像蓄積部４の登録画像とを照合する機能を有している。また、画像照合部６は、画像想起部５の想起画像と画像蓄積部４の登録画像とを照合した結果、結果判定部７において同一人物であるという判定結果が出力された場合は、対象抽出部２から出力された顔画像を更新データとして画像蓄積部４に登録するよう構成されている。結果判定部７は、画像照合部６により算出された類似度を元に対象抽出部２からの顔画像または画像想起部５からの想起画像と、ＩＤ指定による画像蓄積部４の登録画像との一致を判定する機能部である。

即ち、本実施の形態では、画像照合部６において認証が失敗したとき、顔想起機能を備える画像想起部５によって登録画像に近い顔画像が想起され、その想起顔画像で認証が成功すれば、本人に近い人物がエントリされたと判断し、対象抽出部２によって切り出された想起前の顔画像を画像蓄積部４に追加登録することで時間経過に依存しない登録データの更新を行うよう構成されている。

次に、実施の形態１の動作について説明する。
先ず、画像蓄積部４における登録画像を更新しない場合の顔認証動作について説明する。
画像入力部１によって撮影された撮像画像から、対象抽出部２によって照合の対象領域の画像が抽出される。具体的には、個人認証の対象となるユーザの顔等の部分領域が抽出されることになる。次に、画像照合部６は、ＩＤ入力部３を経由して入力されたユーザＩＤによってそのユーザの顔が登録済みであるかを確認する。ユーザの顔が未登録であれば顔による個人認証を中止する。一方、登録済みであれば、対象抽出部２によって切り出された顔画像と、ＩＤ入力部３で入力されたＩＤを元に画像蓄積部４に登録されている顔画像である登録画像との照合を行い、類似度を算出して結果判定部７に出力する。結果判定部７は算出された類似度に基づくしきい値判定によって本人か他人かを区別し、認証処理を終了する。

ここで、上記の画像入力部１から画像照合部６に至る過程における顔画像のパーツ検出ステップおよび正規化ステップについて具体的に説明する。画像入力部１で撮影されたフレーム画像から照合の対象領域となる顔画像を対象抽出部２で抽出して切り出した後、パーツ検出ステップとして顔検出領域の中から目尻や唇等、比較的位置が安定している特徴点を検出する。次に、正規化ステップでは検出された特徴点を基準に、顔の位置ずれ・傾き・サイズ等の変動を補正し、顔認証のために必要な正規化処理を施す。更に、予め正規化された形で画像蓄積部４に登録されている登録画像と、対象抽出部２で正規化された顔画像とを画像照合部６で照合して類似度のスコアを算出し、結果判定部７は、類似度を元にしきい値判定で本人認証を判定する。例えば、類似度がしきい値以上であれば本人であり、そうでなければ他人であるという判断結果を表示する。結果判定部７には、図示しないモニタ等の表示デバイスが含まれており、ユーザは撮影された自分の顔を確認することができるとともに、システムの判定結果を知ることができる。

図２は、対象抽出部２における入力画像からの顔検出処理の動作を示す図である。以下、人間の顔を含む撮像画像９から顔検出用スキャン領域１０の画像を抽出する方法について説明する。
スキャン領域１０は撮像画像９上を隅から隅まで、例えば、画像の左上から右下までをスキャンし、各位置におけるスキャン領域１０内部の画像が顔を含むかどうかを判定する。この部分領域が顔を含むかどうかの判定手法については、例えば、米国特許ＵＳＰ５６４２４３１明細書に示されるような公知の顔検出手法を用いることができる。

図３と図４は画像照合部６における動作を説明するための図であり、登録画像と照合画像とがどのように照合され、類似度のスコアが算出されるかの例を示す。ここで、図３は顔画像への顔識別フィルタの適用を説明するための図であり、図４は本人・他人照合における顔認証類似度計算の説明図である。
先ず、登録画像と照合画像の２枚の顔画像を照合するにあたっては、上述したように正規化ステップによって目や口の位置等が補正されている。このため、輝度勾配等のローカルな画像の特徴が顔画像の差として反映されている。これを前提として、図３に示すような顔識別フィルタφ₀，φ₁，…，φ_i，…を用意して、この２枚の顔画像に適用する。ここで、各顔識別フィルタは正規化された顔画像と同じサイズを持ち、正規化顔画像の各画素に係数を適用する。

具体的には白領域が１、黒領域が−１、それ以外の領域（図中の網掛け部分）は０の係数を持ち、各画素との乗算（実質上加減算）でフィルタ適用値が算出される。図中、画像Ｉ₁，Ｉ₂に対するフィルタφの適用値をφ(Ｉ₁)，φ(Ｉ₂)とし、フィルタφ個別に計算される画像Ｉ₁，Ｉ₂の差の絶対値が所定のしきい値Ｔより小さければ、２枚の画像の類似度は高いとしてフィルタφに関する出力結果をβ（＞０）、そうでない場合はα（＜０）とする。これを全ての顔識別フィルタφ₀，φ₁，…，φ_i，…に適用し、αあるいはβの総和を計算することによって、二枚の顔画像の類似度が計算される。

図４は、上記の類似度計算の例を示した図である。２枚の顔画像間の類似度計算について、各フィルタ出力を交えて説明したものである。同一人物の同じ画像の場合は、全フィルタに対する出力がβとなり、類似度が最大となる。一方、同一人物の違う状況下で撮られた顔画像に対しては、一部のフィルタでαを伴うため、画像が完全に一致する場合に比べて、類似度は低下する。しかしながら、一般に類似度は正値の高スコアとなる。最後に、違う人物の顔照合においては、一部βが残るが、おしなべてαが出力値となるため、類似度としては低下することになる。

次に、数年単位で起こる顔の加齢変化だけでなく、日常生活において普通に見られる眼鏡の買い替えやひげそりによる場合など長い時間経過とは無関係な顔画像の変化が発生した場合に、登録画像からの顔想起を利用して顔認証用の登録画像を更新する動作について説明する。

具体的手順として、先ず、結果判定部７において本人認証が失敗したと判断されたとき、対象抽出部２によって切り出された顔画像から顔想起機能を備える画像想起部５によって登録画像に近い顔画像が想起される。次に、画像照合部６は、対象抽出部２によって切り出された顔画像に代わって、その想起された顔画像を用いて本人認証を行う。そして、この本人認証が成功すれば（結果判定部７の本人認証結果がＯＫであれば）、変化を伴った本人がエントリされたと判断し、対象抽出部２によって切り出された想起前の顔画像を画像蓄積部４に追加登録することで登録画像を更新する。

次に、画像蓄積部４に保存されている複数人物の登録画像を用いて、画像想起部５に内蔵する連想記憶回路によって想起画像を構築するための自己想起学習および自己連想記憶について説明する。自己想起学習とは、出力パターンが入力パターンに等しくなるように学習するニューラルネットワークの一手法であり、自己連想記憶とは、content-addressable memoryの一種で、出力パターンが入力パターンに等しくなるように自己想起学習を適用したネットワークのことであり、入力パターンの一部が欠けていても所望の出力パターン全体を出力する性質を持つものである。

図５は、画像想起部５における自己想起回路を示す説明図である。
自己想起回路（自己連想記憶回路）は、入力画像１１と出力画像（想起画像）１２との入出力インタフェースおよび連想記憶回路１３から構成されている。各顔画像は、入力画像１１の一次元ベクトルｘ＝（ｘ₁，…，ｘ_n）として入力され、出力画像１２の一次元ベクトルｙ＝（ｙ₁，…，ｙ_n）と自己想起行列Ｗを経由して結合される。入力ｘ_iと出力ｙ_j間の結合定数をＷ_ijとすれば、ｙ＝Ｗｘとなる。

ネットワークに学習させる二次元顔画像を列ベクトルとみなして自己想起行列Ｗを構成し、このネットワークの出力誤差（ｘ−ｙ）の絶対値を最小化することで学習が完了し、顔画像による自己連想記憶が構築できる。即ち、自己想起学習は、出力誤差（ｘ−ｙ）の絶対値が最小となる方向で、自己想起行列Ｗの各要素を更新することでなされる。
具体的には、学習セットを構成するＫ個の顔画像を列ベクトルｘ_k（ｋ＝１，…，Ｋ）で表し、ｘ_kを各列に並べて作られる行列Ｘを用いて自己想起行列Ｗを以下のように、次式（１）で表す。

自己想起行列Ｗと顔画像の積ｙ_k＝Ｗｘ_kは、自己想起結果を与えるが、出力ｙ_kと入力ｘ_kとの間に誤差があるため、自己想起行列ＷをWidrow-Hoff学習則によって更新することで誤差を最小化する。
具体的にはＮをステップ数として、次式（２）
Ｗ_[N+1]＝Ｗ_[N]＋η（Ｘ−Ｗ_[N]Ｘ^T）Ｘ^T （２）
によって学習を進行させ、η(定数)をうまく選ぶことで所望の自己想起行列Ｗを得ることができる。

尚、上記行列Ｗ_[N]は、Widrow-Hoff学習則により行列ＸのMoore-Penrose擬似逆行列をＸ⁺として、次式（３）
Ｗ_∞＝ＸＸ⁺ （３）
に収束するので、Ｗ_∞を直接所望の想起行列として利用することもできる。
つまり、画像蓄積部４の登録画像１４の画像を一画像毎に入力画像１１として個々の画素値ｘ₁，…，ｘ_nに分解して、自己想起行列Ｗを経て得られる画素値ｙ₁，…，ｙ_nから出力画像１２を求めている。この入力ベクトルｘと出力ベクトルｙとの差が最小になるように収束させたのが自己想起行列Ｗである。ここで、自己想起行列Ｗを求める際には、登録画像１４毎に異なるものを求めるのではなく、登録画像１４として登録されている認証の対象者となる人物の全画像に対して、共通した一つの想起行列Ｗを求めることで上記の自己想起学習が完了する。

よって、出力パターンが入力パターンにできるだけ等しくなるように学習することで求まったものが自己想起行列Ｗであり、連想記憶回路１３を構成している。これにより、入力パターンの一部が欠けていても所望の出力パターンの全体を出力することが可能になる。画像想起部５では、対象抽出部２によって抽出された入力画像１１を入力として、予め画像蓄積部４に蓄積されている登録画像１４を用いて学習した連想記憶回路１３を経由して想起画像１２を出力することになる。

以上のように、実施の形態１の顔認証装置によれば、顔画像の登録画像を蓄積する画像蓄積部と、画像蓄積部の登録画像に基づいて連想記憶回路を構築し、連想記憶回路によって認証対象顔画像から想起画像を求める画像想起部と、認証対象顔画像と画像蓄積部の登録画像とを照合する画像照合部と、画像照合部の照合結果に基づき、認証対象顔画像の人物と画像蓄積部のいずれかの登録画像の人物とが同一人物であるか否かを判定する結果判定部とを備え、画像照合部は、認証対象顔画像と画像蓄積部の登録画像とを照合した結果に対して結果判定部が同一人物ではないという判定を下した場合、認証対象顔画像に代えて画像想起部の想起画像を用いて照合を行うようにしたので、眼鏡の買い替えやひげそりといった登録画像更新の経過時間とは独立して起こりうる場合にも対処して、正しく本人認証を行うことができる。

また、実施の形態１の顔認証装置によれば、画像想起部の想起画像と画像蓄積部の登録画像とを照合した結果、結果判定部が同一人物と判定した場合、認証対象顔画像で画像蓄積部の登録画像を更新するようにしたので、全く関係のない人物の顔画像を追加登録することを回避でき、かつ前回登録画像を更新してからの経過時間を参考にすることなく、眼鏡の買い替えやひげそりといった登録画像更新の経過時間とは独立して起こりうる場合に対処して、正しく本人の登録画像を更新することができ、その結果、経年変化に対応した顔認証装置を構築することができる。

この発明の実施の形態１による顔認証装置を示す構成図である。 この発明の実施の形態１による顔認証装置の入力画像に基づく顔検出処理を示す説明図である。 この発明の実施の形態１による顔認証装置の顔画像への顔識別フィルタの適用を示す説明図である。 この発明の実施の形態１による顔認証装置の顔認証類似度計算の説明図である。 この発明の実施の形態１による顔認証装置の画像想起部の詳細を示す説明図である。

符号の説明

２ 対象抽出部、４ 画像蓄積部、５ 画像想起部、６ 画像照合部、７ 結果判定部、１３ 連想記憶回路。

Claims (2)

1. 顔画像の登録画像を蓄積する画像蓄積部と、
   前記画像蓄積部の登録画像に基づいて連想記憶回路を構築し、当該連想記憶回路によって認証対象顔画像から想起画像を求める画像想起部と、
   前記認証対象顔画像と前記画像蓄積部の登録画像とを照合する画像照合部と、
   前記画像照合部の照合結果に基づき、前記認証対象顔画像の人物と前記画像蓄積部のいずれかの登録画像の人物とが同一人物であるか否かを判定する結果判定部とを備え、
   前記画像照合部は、前記認証対象顔画像と前記画像蓄積部の登録画像とを照合した結果に対して前記結果判定部が同一人物ではないという判定を下した場合、前記認証対象顔画像に代えて前記画像想起部の想起画像を用いて照合を行うことを特徴とする顔認証装置。
2. 画像想起部の想起画像と画像蓄積部の登録画像とを照合した結果、結果判定部が同一人物と判定した場合、認証対象顔画像で画像蓄積部の登録画像を更新することを特徴とする請求項１記載の顔認証装置。
   
   

Images