JP2003317101A - データベース自動更新方法を用いた顔検証方法及びそのシステム - Google Patents

Abstract

(57)【要約】 【課題】 データベース自動更新方法を用いた顔検証方
法及びそのシステムを提供する。 【解決手段】 入力顔映像から背景と顔とを分離して顔
領域を検出する段階と、検出された顔領域から目の位置
を検出し、検出された目位置を所定の方向及び所定の距
離に各々変更し、変更された目座標対を生成する段階
と、生成された各々の目座標対に基づき顔映像を正規化
する段階と、正規化されたそれぞれの顔映像から顔の認
識特徴を抽出して顔認識特徴値を計算する段階と、顔認
識特徴値を用いて特徴分類器を学習し、認識特徴値をデ
ータベースに貯蔵する段階と、検証対象顔映像を入力さ
れて顔領域を検出し、検出された顔領域を正規化し、顔
の認識特徴を抽出して顔認識特徴値を計算する段階と、
顔認識の特徴値によって入力顔映像の顔と登録された顔
映像の類似如何及び入力顔映像を用いてデータベースを
更新するか否かを判定する段階とを含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データベース自動
更新方法を用いた顔検証方法及びそのシステムに関す
る。

【０００２】

【従来の技術】２１世紀の情報化社会において、個人は
もちろん特定団体の情報は、いかなる資産よりも重要な
価値を有するようになってきている。このような重要な
情報を保護するために、各種のパスワードが使用されお
り、また、その他に身分を確認するための技術が切望さ
れている。そしてこれは、情報保護の次元に留まらず、
クレジットカード、キャッシュカード、電子住民証な
ど、身分確認を必要とするものについての社会的な要求
は高まりつつある。しかしながら、今まではパスワード
以外に補助的な身分確認方法がなかったため、コンピュ
ータを用いた犯罪など多くの社会的な問題が発生してい
る。最近では、このような問題を解決し得る方法とし
て、指紋、虹彩、顔静脈の模様などの生体情報を用いて
身元を判別する、生体認識技術が注目されている。

【０００３】中でも、顔検証技術は、ユーザが特別の動
作や行為を取る必要がなく、単にカメラを見つめるだけ
でよく、ひいては、ユーザ自身が認知しないうちに身分
確認ができるという長所があり、最も便利でかつ競争力
のある身分確認方法として評価されている。この顔検証
技術は、単なる身元確認に加えて、端末機への接近制
御、公共場所の管制システム、電子アルバム、犯罪者の
顔認識など、多くの応用分野を有しており、情報化社会
においてその波及効果が大きい技術として評価されてい
る。

【０００４】一般的に、生体認識技術を用いた全ての身
分検証方法は、大別して２種類の過程を経るが、一つは
ユーザの生体情報を登録する過程であり、もう一つは実
際にユーザの身分を検証する過程である。

【０００５】一般的な顔検証システムを使用するため
に、ユーザは、まず自分の顔を検証システムに登録す
る。顔を登録するために、ユーザはカメラを用いて自分
の顔入りの映像データを顔検証システムに入力する。そ
して、入力された全体映像から顔領域のみが自動的に検
出された後、検出された顔領域から認識特徴が抽出さ
れ、その特徴値が計算される。ここで、顔映像そのもの
では情報量が多すぎ、表情、老化、照明及び大きさの変
化に敏感に反応してしまうため、少ない情報量をもって
顔特徴値を表わしつつ、同時に顔の様々な変化に無関係
な特徴値を見つけ出す。そして、抽出された顔の特徴値
は、特徴分類器の学習用に用いられた後、顔映像データ
ベースに貯蔵され、顔検証過程で用いられる。

【０００６】顔検証システムの顔検証過程は、顔データ
登録過程とほとんど同じである。ただし、顔検証過程で
は、検証対象となる顔の特徴値を抽出した後、これら特
徴値と既存の顔データベースに登録してあるユーザの顔
特徴値とを比較し、検証対象となる顔が登録してある顔
であるか否かを検証する。

【０００７】前記した従来の方法により、既存の顔検証
装置によって顔検証を行う場合、顔登録段階及び顔検証
段階のいずれにも用いられる顔検出器の分析能力が低い
ため、顔検出エラーによる認識率の低下が常に生じる。
特に、顔認識過程の最初の段階として目の位置を検出す
る場合、目の位置の検出時にエラーが生じれば、最終的
に得られる顔認識結果にかなりの性能低下が招かれてし
まう。

【０００８】図１を参照して、目位置検出エラーによる
影響をみてみる。図１には、同一人から入力された相異
なる２枚の映像に対して、目の位置の検出を２回行った
結果を、各々左側と右側に示してある。それぞれの映像
から検出された両目の位置を基準として、映像を後述す
る方法により正規化（ｎｏｒｍａｌｉｚｉｎｇ）させ
て、左側映像から右側映像を減算すれば、すなわち、左
側映像の画素値から対応する右側映像の画素値を減算す
れば、目の位置が正確に一致して、両映像の対応する画
素値が等しい場合には、差分映像は黒い色として現れ、
目の位置が一致せずに画素値が等しくない場合には、白
い色として現れる。従って、差分映像の白い部分が濃く
なるか、あるいは多くなるほど、顔認識エラーの確率が
高まることになる。

【０００９】図１に示すように、人間の目では区別し難
いほどの僅かな目位置検出エラーにより、顔領域の正規
化結果が変わり、正規化映像に対する差分映像からエラ
ーの度合いが分かる。

【００１０】かかる目位置検出のエラーによる顔認識性
能の低下のほかにも、様々な顔認識性能の低下要因が存
在する。この点、普通の顔認識性能は、十分な学習映像
を入力して最適な特徴分類器を設計することにより克服
することが可能である。しかし、現実的には、ユーザの
便宜を考慮すると、ユーザ登録時において、最適な特徴
分類器を設計するための十分な学習映像を得ることは不
可能である。

【００１１】図２を参照して、学習映像の数による特徴
分類器の設計影響について説明する。図２は、顔特徴ベ
クトル空間において、一人として分類される空間であ
る、各々のクラスを区別するために、１クラス当たり３
回の学習データ（同一人に対して相異なる位置から取得
した顔映像）取得後に学習した特徴分類器と、５回の学
習データ取得後に学習した特徴分類器とのハイパープレ
ーン（ｈｙｐｅｒｐｌａｎｅｓ）の形状変化を示すもの
である。

【００１２】すなわち、一人に対して３枚の顔映像のみ
を登録した場合における、特徴分類器のハイパープレー
ンの位置が、新しい２枚の学習映像がさらに追加される
ことによって、変わり得るということを示している。学
習映像の数が少ないため、学習映像で表わせない空間に
ついては、特徴分類器が効果的に設計できないが、学習
映像が多くなれば、このような部分がきめ細かく設計す
ることが可能となる。すなわち、様々な変化を含む、で
きる限り多くの学習データを学習するほど、信頼性のあ
る特徴分類器を設計することができるようになる。従っ
て、ユーザ登録段階で、できる限り多くの学習映像を取
得するほどシステム性能が良くなるものの、実際に顔検
証システムを運営するにあたって、ユーザに数十枚の顔
の登録を要求することは、使用上の大きな不便さを招く
こととなる。

【００１３】

【発明が解決しようとする課題】本発明は、前記問題点
を解決するためになされたものであって、目位置変更を
通じて、顔検出のための初期段階である目検出時に、発
生可能なエラーを考慮した映像データを前もって登録し
ておくことにより、顔検出のエラーによる認識性能の低
下を防ぐデータベース自動更新方法を用いた顔検証方法
及びそのシステムを提供することを目的とする。

【００１４】また、本発明は、目位置変更を通じて生成
された目座標対（ａ ｐａｉｒ ｏｆ ｅｙｅ ｃｏｏ
ｒｄｉｎａｔｅｓ）に基づき正規化された映像データ
を、特徴分類器の学習用に用いられる学習映像データに
含めて学習データの数を増やすことにより、最適な特徴
分類器を設計して、認識性能の低下を防ぐデータベース
自動更新方法を用いた顔検証方法及びそのシステムを提
供することを目的とする。

【００１５】さらに、本発明は、顔検証のために入力さ
れた顔映像を、今後の顔検証に用いられるように特徴分
類器の学習用に用い、顔データベースを自動的に更新す
る、データベース自動更新方法を用いた顔検証方法及び
そのシステムを提供することを目的とする。

【００１６】

【課題を解決するための手段】前記目的を達成するため
に、本発明に係るデータベース自動更新方法を用いた顔
検証方法は、入力顔映像から背景と顔とを分離して顔領
域を検出する段階と、検出された前記顔領域から目の位
置を検出し、前記検出された目の位置を所定の方向及び
所定の距離に各々変更し、変更された目の座標対を生成
する段階と、前記生成された各々の目の座標対に基づき
顔映像を正規化する段階と、前記正規化されたそれぞれ
の顔映像から顔の認識特徴を抽出して顔認識特徴値を計
算する段階と、前記顔認識特徴値を用いて特徴分類器を
学習し、前記認識特徴値をデータベースに貯蔵する段階
と、検証対象顔映像を入力されて顔領域を検出し、検出
された顔領域を正規化し、顔の認識特徴を抽出して顔認
識特徴値を計算する段階と、前記顔認識の特徴値によっ
て前記入力顔映像の顔と登録された顔映像の類似如何及
び前記入力顔映像を用いて前記データベースを更新する
か否かを判定する段階とを含む（請求項１）。

【００１７】前記顔認識の特徴値によって前記入力顔映
像の顔と登録された顔映像の類似如何及び前記入力顔映
像を用いて前記データベースを更新する段階は、前記特
徴分類器を用いて前記抽出された顔認識特徴値のベクト
ル領域での分布を計算し、前記分布を数値的に表現した
比較値によって前記入力顔映像の顔と登録された顔映像
の類似如何を判定する段階を含むことができる（請求項
２）。

【００１８】また、前記顔認識の特徴値によって前記入
力顔映像の顔と登録された顔映像の類似如何及び前記入
力顔映像を用いて前記データベースを更新する段階は、
前記比較値が第１臨界値以下の場合に前記利用者のシス
テム通過を不許可とし、前記比較値が第１臨界値より大
きい場合には前記利用者のシステム通過を承認する段階
をさらに含むことができる（請求項３）。

【００１９】前記比較値が第２臨界値より大きい場合に
は、前記検証対象顔映像に対して前記検出された前記顔
領域から目の位置を検出し、前記検出された目の位置を
所定の方向及び所定の距離に各々変更し、変更された目
の座標対を生成する段階と、前記生成された各々の目の
座標対に基づき顔映像を正規化する段階と、前記正規化
されたそれぞれの顔映像から顔の認識特徴を抽出して顔
認識特徴値を計算する段階とを行い、前記検証対象顔映
像をもって前記データベースを更新する段階をさらに含
むことができる（請求項４）。

【００２０】ここで、顔映像を前記データベースに貯蔵
していないユーザがシステムを通過する確率が０に設定
された前記第２臨界値は、前記第１臨界値より大きく、
前記比較値が大きいほど前記検証対象顔映像と前記デー
タベースに予め顔映像が貯蔵してあるユーザの顔映像と
が一致する確率が高いことが望ましい（請求項５）。

【００２１】本発明において望ましくは、前記入力顔映
像から背景と顔とを分離して顔領域を検出する段階前
に、前記入力映像の形式を前記顔検証システムに適した
形式に変換する前処理段階をさらに含む（請求項６）。

【００２２】また、本発明において望ましくは、前記生
成された各々の目の座標対に基づき顔映像を正規化する
段階は、前記生成された各々の目の座標対の中心点を計
算し、前記計算された各々の中心点に基づき顔領域の傾
きを補整して正規化させる（請求項７）。

【００２３】さらに、本発明において、前記検出された
前記顔領域から目の位置を検出し、前記検出された目の
位置を所定の方向及び所定の距離に各々変更し、変更さ
れた目の座標対を生成する段階の前記所定の長さは、前
記所定の長さに関する前記検出された顔領域の横方向の
長さとの比率によって計算されることが望ましい（請求
項８）。

【００２４】ここで、前記所定の比率は１／１５である
ことが望ましい（請求項９）。

【００２５】また、前記検出された前記顔領域から目の
位置を検出し、前記検出された目の位置を所定の方向及
び所定の距離に各々変更し、変更された目の座標対を生
成する段階の前記所定の方向は、上下左右の４方向であ
ることが望ましい（請求項１０）。

【００２６】前記臨界値は下記式により決定され、 ｆ（ｘ）＝ｓｇｎ（＜ｗ×ｘ＞＋ｂ） 式中、ｓｇｎは本発明のハイパープレーン関数を、ｗは
学習を通じて求められるハイパープレーンの傾度を、そ
してｘは顔検証時に入力される特徴値を各々意味し、バ
イアス値であるｂ値を調節することにより臨界値を決定
する（請求項１１）。

【００２７】また、本発明に係るデータベース自動更新
方法を用いた顔検証方法は、コンピュータにて実行可能
なプログラムコードにて記録した記録媒体に具現できる
（請求項１２）。

【００２８】一方、前記目的を達成するために、本発明
に係るデータベース自動更新方法を用いた顔検証システ
ムは、入力顔映像において背景と顔とを分離して顔領域
を検出する顔領域検出部と、前記検出された顔領域から
目の位置を検出し、検出された目の位置を所定の方向及
び所定の距離に各々変更し、変更された目の座標対を生
成する目位置変更部と、前記生成されたそれぞれの目の
座標対によって前記顔映像を正規化する顔領域正規化部
と、前記正規化されたそれぞれの顔映像から顔の認識特
徴を抽出して顔認識特徴値を計算する認識特徴抽出部
と、前記計算された顔認識特徴値を用いて特徴分類器を
学習する特徴分類器学習部と、前記顔認識特徴値を貯蔵
するデータベースと、前記顔認識の特徴値より前記入力
された顔映像と登録された顔映像との類似如何及び前記
入力された顔映像を用いて前記データベースを更新する
か否かを判定する判定部とを含む（請求項１３）。

【００２９】本発明に係るデータベース自動更新方法を
用いた顔検証システムは、前記入力された顔映像を映像
処理に適した形に加工して前記顔領域検出部に出力する
前処理部をさらに含むことができる（請求項１４）。

【００３０】前記目位置変更部は、上下左右の４方向
に、前記顔領域映像の横方向長さの１／１５だけ各目の
座標を移動させ、変更された座標対を生成することが望
ましい（請求項１５）。

【００３１】ここで、前記所定の比率は１／１５である
ことが望ましい（請求項１６）。

【００３２】また、前記判定部は、前記検証対象顔映像
から抽出された顔認識特徴値のベクトル空間における分
布を数値化した比較値を計算し、前記比較値と予め登録
してあるユーザの顔認識特徴値の分布により設定された
臨界値とを比較し、入力された顔映像と登録された顔映
像とが類似しているか否か及びデータベースを更新する
か否かを判定することができる（請求項１７）。

【００３３】前記臨界値は下記式により決定され、 ｆ（ｘ）＝ｓｇｎ（＜ｗ×ｘ＞＋ｂ） 式中、ｓｇｎは本発明のハイパープレーン関数を、ｗは
学習を通じて求められるハイパープレーンの傾度を、そ
してｘは顔検証時に入力される特徴値を各々意味し、バ
イアス値であるｂ値を調節することにより臨界値を決定
する（請求項１８）。

【００３４】

【発明の実施の形態】以下、添付した図面に基づき、本
発明の好適な実施形態について説明する。図３は、本発
明による検証システムの構成を示すブロック図である。

【００３５】図３に示すように、本発明による検証シス
テムは、入力された映像を映像処理に適したデジタル信
号の形に変換する前処理部３１０と、入力された映像か
ら背景及び顔領域を分離する顔領域検出部３２０と、入
力された映像から目の位置を検出し、所定の方向に所定
の距離だけ目座標を移動させて目検出エラーに備えた目
座標対を生成する目位置変更部３３０と、目位置の変更
された各々の目座標対に基づき顔映像の照明または大き
さの影響を減らす顔領域正規化部３４０と、顔映像から
顔認識の特徴を抽出して特徴値を計算する認識特徴抽出
部３５０と、計算された顔認識特徴値を用いて特徴を分
類する、すなわち特徴分類データを学習する特徴分類器
学習部３６０と、検証対象顔映像から抽出された顔認識
特徴値と登録された顔認識特徴値とを比較して類似性の
有無を判定する判定部３７０、及び顔認識特徴値及び特
徴分類器学習部３６０において学習された特徴分類デー
タを貯蔵するデータベース３８０を備える。

【００３６】以下、図３及び図４を参照し、本発明に係
るデータベース自動更新方法を用いた顔検証方法及びそ
のシステムにおける、顔データの登録方法について説明
する。

【００３７】本発明に係るデータベース自動更新方法を
用いた顔検証方法及びそのシステムを用いるために、ユ
ーザは、まず自分の顔を検証システムに登録するが、ユ
ーザの顔は、一般に低解像度カメラにより撮影され、シ
ステムに入力される（ステップＳ４００）。

【００３８】顔映像を受信した前処理部３１０は、顔領
域が抽出し易いように、カメラから入力された映像に含
まれたノイズを除去し、入力映像のフォーマットやカラ
ー形式などを、本発明のシステムにおいて処理可能な形
式に変換する前処理過程を行う（ステップＳ４１０）。

【００３９】顔領域検出部３２０は、前処理された入力
映像について顔領域を背景と分離することにより、顔領
域を検出する（ステップＳ４２０）。正確な顔検証のた
めには、入力された映像から顔領域を正確に検出する必
要がある。しかし、顔は表情や背景照明などにより歪曲
され、また、頭状、化粧、メガネなどにより大きな変化
が生じるため、背景及び顔領域を完璧に分離することは
難しい。ここで、２次元映像から顔領域を検出する方法
には、顔の地形的な特性を用いる方法、統計的な分析
法、神経網を用いる方法、顔映像の主成分を分析する方
法、孤立領域による顔抽出方法などがある。

【００４０】顔データを登録する場合、検出された顔領
域は、目位置変更部３３０において、目の位置が所定の
方向に所定の距離だけ移動した後、顔領域正規化部３４
０に出力される（ステップＳ４３０）。

【００４１】一般的な顔認識及び検証方法は、与えられ
た映像から両目の位置を検出し、両目の座標から両目の
中心点の座標を見つける。その後、計算された両目の中
心点を基準に、全ての顔を後述する方法により正規化さ
せ、正規化された映像から認識の特徴を探して登録し、
顔検証に用いる。

【００４２】この時、顔検出器の性能に制限があるた
め、全ての映像から常に正確な両目の中心点を見つける
ことは、ほとんど不可能である。従って、前記したよう
に、顔映像から目の位置を検出する時にエラーが生じ、
結局このようなエラーは認識性能の低下につながる。

【００４３】本発明は、目位置変更部３３０において、
入力映像から検出された目の位置を所定の方向に所定の
距離だけ移動させた後、目位置の変更された各々の目座
標対に基づき、入力映像を後述する方法により正規化さ
せる。このようにして正規化された映像データから認識
特徴を抽出して特徴分類器を学習することにより、前記
したような問題点を解決することができる。

【００４４】図６に示すように、本発明による検証シス
テムの目位置変更部３３０は、入力された顔領域から両
目の位置を検出し、自動的に検出された目座標を基準
に、上下左右または対角線方向に所定の距離だけ目の座
標点を移動させて、それを新しい目座標として設定し
て、登録に用いる。新しい座標点は（ｘ，ｙ）→（ｘ＋
ｘｄ，ｙ＋ｙｄ）の如き規則により設定される。

【００４５】この時、目座標が移動する距離ｘｄ及びｙ
ｄ、抽出された顔映像の大きさに合うように選択され
る。例えば、本発明においては、顔映像の横長が約３０
ピクセルに相当するならば、目座標の移動距離ｘｄ及び
ｙｄは約２ピクセルほどに選択され、顔映像の大きさに
応じて一定の比率に調節可能である。

【００４６】目位置の変更方法の詳細について説明する
と、自動顔検出により見つけ出された左目と右目の位置
を各々（ｘ^l ₀，ｘ^r ₀）とし、両目の位置を基準に、検出
エラーの可能性がある目の座標を、一定の規則により新
しい座標値として生成し、これに相当する両目の位置
を、各々（ｘ^l _m，ｘ^r _n）とする。この時、新しい座標値
（ｘ^l _m，ｘ^r _n）に、総ｓ個の新しい座標を与えれば、下
記の如き新しい目座標の組み合わせが生成される。

【００４７】

【数１】

【００４８】すなわち、新しい両目の位置が各々ｓ個だ
け変化すれば、総（ｓ＋１）×（ｓ＋１）個の目座標の
組み合わせが生成される。例えば、上下左右の４方向に
新しい目座標を設定すれば、左目及び右目に各々５個の
座標が生成され、全ての組み合わせは総２５個となる。
仮想の顔検出エラーに備えて検出された目位置を変更し
た新しい目座標が生成されれば、生成された目座標の各
々の組み合わせにより映像を正規化させて登録映像とし
て学習する。すなわち、１枚の学習映像だけで総２５枚
の目検出エラーに対応できる学習映像が得られるので、
検証時に目検出エラーによる認識性能の低下を改善する
ことができる。

【００４９】併せて、同時に１枚の登録だけで、２５枚
の学習映像を仮想で作り出すことができるため、学習映
像の数が少ないため最適の特徴分類器が設計できないと
いう既存の問題点を解決することができる。

【００５０】顔領域検出部３２０から受信した顔領域映
像は、登録された顔映像に比べて、照明による変化、カ
メラとの距離による顔領域の大きさ変化、映像の傾きな
どにより検証性能が落ちてしまう。従って、顔領域正規
化部３４０は、検出された顔映像の照明を補整し、顔映
像を回転させて顔領域の傾きを修正し、顔領域を拡大ま
たは縮小して顔映像の大きさを修正することにより、検
出された顔領域を正規化させて、認識特徴抽出部３５０
に提供する（ステップＳ４４０）。

【００５１】正規化された顔映像を受信した認識特徴抽
出部３５０は、顔の表情や老化にかかわらず、各個人を
区別し得る特徴値を抽出する（ステップＳ４５０）。こ
のような顔の特徴としては、目、鼻、口など顔の主要部
分の形状、及び幾何学的な配置、鼻の方向成分、瞳同士
の長さと鼻長との比率、鼻幅の比率などの幾何学的な配
置による特徴があり、グラジエント（ｇｒａｄｉｅｎ
ｔ）を取って特徴点を見つける方法や、テンプレートを
用いた方法、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏ
ｎｅｎｔ Ａｎａｌｙｓｉｓ）や、ＬＦＡ（Ｌｏｃａｌ
ＦｅａｔｕｒｅＡｎａｌｙｓｉｓ）などの数学的な変
換を用いる方法、変形されたモデルを顔に写像させて、
顔の構成要素及び特徴を見つける方法などが用いられ
る。

【００５２】特徴分類器学習部３６０は、認識特徴抽出
部３５０から与えられる認識特徴値を所定のベクトル空
間に写像させて特徴を分類、すなわち特徴分類データを
学習する（ステップＳ４６０）。

【００５３】一方、学習に用いられた特徴値及び学習さ
れた特徴分類データは、データベース３８０に貯蔵され
ることにより顔登録過程は終了する（ステップＳ４７
０）。

【００５４】以下、図５及び図７Ｂを参照し、本発明に
係る顔検証システムにおいて顔を検証する過程について
説明する。

【００５５】顔検証過程において、カメラを通じて映像
が入力されれば（ステップＳ５００）、入力された映像
を前処理して（ステップＳ５１０）顔領域を検出し（ス
テップＳ５２０）、検出された顔領域を正規化させて
（ステップＳ５３０）顔認識特徴を抽出する過程（ステ
ップＳ５４０）は、目位置を変更する過程（ステップＳ
４３０）が省かれるという点を除けば、顔登録過程のス
テップＳ４００ないしステップＳ４５０段階と同じであ
る。

【００５６】検証対象となる顔映像の特徴値は、認識特
徴抽出部３５０から判定部３７０に出力され、判定部３
７０は、データベース３８０に貯蔵されている学習され
た特徴分類器、すなわち学習された特徴分類データを用
いて、抽出された検証対象映像の特徴値のベクトル領域
における分布を計算し、このようなベクトル領域におけ
る分布を数値化した比較値を計算する（ステップＳ５５
０）。

【００５７】また、判定部３７０は、検証対象顔を承認
するか否かを決定するために、計算された比較値と前も
って設定された第１臨界値ＦＶ１とを比較し、比較値が
第１臨界値ＦＶ１より小さい場合には、検証対象を侵入
者の顔映像と見なして、システム通過を承認しない旨の
結果を出力する（ステップＳ５７０）。一方、比較値が
第１臨界値ＦＶ１より大きい場合には、登録されたユー
ザであることを承認する結果を出力（ステップＳ５８
０）して、次の段階へ進む（ステップＳ５６０）。

【００５８】ここで、臨界値を決定する方法について下
記式及び図８を参照して説明する。まず、線形特徴分類
関数は、下記式により定義される。 ｆ（ｘ）＝ｓｇｎ（＜ｗ×ｘ＞＋ｂ）

【００５９】ここで、ｓｇｎは、本発明のハイパープレ
ーン関数を、ｗは学習を通じて求められるハイパープレ
ーンの傾度を、そしてｘは顔検証時に入力される特徴値
を各々意味し、バイアス値であるｂ値が、顔検証の如何
を決定する臨界値となる。

【００６０】この時、図８に示すように、ハイパープレ
ーンから最小の距離だけ離れた特徴値の距離を最大化さ
せるようにハイパープレーンを設計するならば、最適の
ハイパープレーンであると言える。

【００６１】ここで、ハイパープレーン関数＜ｗ×ｘ＞
＋ｂ＝０において０をバイアス値と定義し、バイアス値
を変えることにより、臨界値の位置を変更して適用でき
る。すなわち、０より大きい正数のバイアス値を適用す
れば臨界値がクラス１の方に移動し、０より小さい負数
の値を適用すれば臨界値がクラス２の方に移動する。

【００６２】判定部３７０は、検証対象顔が承認されれ
ば、入力された検証対象顔映像を用いてデータベースを
登録ユーザの最新の顔映像をもって更新するために、検
証対象の比較値と、データベース３８０を更新するか否
かを決定するために前もって設定された第２臨界値ＦＶ
２とを比較し、比較値が第２臨界値より大きい場合に
は、目位置変更部３３０に制御信号を出力して登録過程
のステップＳ４３０段階から再度行わせることにより、
顔映像を登録する（ステップＳ５９０）。

【００６３】本発明において、２重の臨界値を設定して
データベースを更新する理由を、図７Ａ及び図７Ｂを参
照して説明する。

【００６４】全ての生体認識検証システムには、２種類
のエラーが存在する。一つは登録されていない者（以
下、「侵入者」と称する。）が、登録された者を装って
顔検証システムを通過しようとする場合に、通過が承認
されるＦＡＲ（Ｆａｌｓｅ Ａｃｃｅｐｔａｎｃｅ Ｒ
ａｔｅ）であり、もう一つは、前もって顔を登録してお
いて、正常に検証システムを通過しようとする者（以
下、「登録ユーザ」と称する。）の通過が承認されない
ＦＲＲ（Ｆａｌｓｅ Ｒｅｊｅｃｔｉｏｎ Ｒａｔｅ）
である。説明された２つのエラー間の関係を、図７Ｂに
示す。

【００６５】図７Ａに示すように、２つのクラスのベク
トル領域における分布が、理想的に完全に分離されて、
一つの臨界値のみを用いて２つのクラスをエラーなしに
区分できるならば、顔検証システムでは何らの問題も生
じない。しかし、現実的には、図７Ｂに示すように、２
つのクラス間に互いに重なる領域が生じ、これにより通
過を承認する臨界値をどこに設定するかによってＦＡＲ
及びＦＲＲの値が変わる。

【００６６】図７ＢのＦＶ２のように、ＦＡＲが０にな
るように臨界値を高く設定すれば、侵入者の通過は防げ
るが、これに比例してＦＲＲの値が極めて高まるため、
登録ユーザの通過が拒まれる場合が頻繁に起こり、使い
勝手が極めて悪くなる。従って、一般的に、図７ＢのＦ
Ｖ１のように、極めて低い確率であるものの、侵入者の
出入りを許可し、ユーザが不便さを感じないほどの臨界
値を設定して運営している。本発明においても、前記し
た理由により通過のための第１臨界値を、ＦＶ１のよう
に設定してある。

【００６７】一方、一般的に、顔検証システムの登録過
程で十分な顔が登録できない理由は前記の通りである。
しかし、一旦登録されたユーザは、検証システムを頻繁
に用いるようになるので、システムは、登録過程とは無
関係にユーザが顔検証システムを通過するたびに顔映像
を確保して多量の学習用データを得ることができる。し
かし、検証過程で取得された映像をそのまま学習用に用
いれば、セキュリティ性能に致命的なエラーが生じてし
まう。すなわち、ＦＡＲが発生した顔が自動的に学習用
に用いられてデータベースが更新されるならば、一度検
証を通過した侵入者が、次回には何らの妨害なしに登録
ユーザと同じ確率でシステムを通過できるからである。
結局、ＦＡＲの発生を許諾しないようにしつつ、自動的
に検証映像を学習に使用できる方法が望まれる。

【００６８】従って、本発明においては、このような問
題点を解決するために、システム通過のための第１臨界
値ＦＶ１に加えて、顔データベースを更新するための第
２臨界値ＦＶ２を設定し、検証対象映像の特徴値をベク
トル領域に変換して計算した比較値がＦＶ１以上ＦＶ２
以下であれば、単純にシステム通過のみを承認する。こ
れに対し、比較値がＦＶ２より大きければ、通過を承認
すると同時に検証用顔映像に対して登録過程の目位置変
更段階（ステップＳ４３０）後の段階を行い、顔登録過
程と同じ方法により、特徴分類器を学習してデータベー
ス３８０を更新する。

【００６９】前記した理由から、本発明は、２重臨界値
を適用してユーザの不便を最小化させ、侵入者の顔映像
をもってデータベースが更新されることを防ぎつつ、登
録されたユーザの最新映像をもってデータベースを更新
することにより、検証システムの認識性能を改善したも
のである。

【００７０】本発明に係るデータベース自動更新方法を
用いた顔検証方法及びそのシステムの性能向上の度合い
を、下記表を参照して調べてみる。

【００７１】

【表１】

【００７２】

【表２】 総４０名に対して１人当たり５枚の顔映像を本発明のシ
ステムに適用して得た効果を前記表に示した。

【００７３】まず、３０名に対して一人当たり３枚の顔
を予め登録し、３０名の残りの２枚を用いて総６０枚の
映像をもって、登録ユーザの出入り性能を評価してＦＲ
Ｒを求め、登録されていない１０名の各５枚の映像をも
って、総１５００回の侵入者の出入り性能を評価してＦ
ＡＲを測定した。前記表には、ＦＡＲがＦＲＲと等しく
なる（ＦＡＲ＝ＦＲＲ）地点のＥＥＲ（Ｅｑｕａｌ Ｅ
ｒｒｏｒ Ｒａｔｅ）を示した。表１は、認識特徴を求
めずに特徴分類器のみをＳＶＭ−ＳＭＯとして具現して
評価した場合であり、表２は、認識特徴としてＰＣＡを
用い、特徴分類器をＳＶＭとして具現した場合である。

【００７４】これより、２種類共に目の位置を変更する
ことにより、目の位置を変更しない一般的な場合より２
倍ほど近く検証エラーを低減できることが確認できる。

【００７５】一方、本発明に係る顔登録方法及び顔検証
方法は、コンピュータにて読取り可能な記録媒体にコン
ピュータにて読取り可能なコードとして具現することが
可能である。コンピュータにて読取り可能な記録媒体に
は、コンピュータシステムにより読取り可能なデータが
貯蔵される、あらゆる種類の記録装置が含まれる。例え
ば、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フレ
キシブルディスク、光データ貯蔵装置などがあり、また
キャリアウェーブ（例えば、インターネットを介した伝
送）の形で具現されるものも含まれる。また、コンピュ
ータにて読取り可能な記録媒体は、ネットワークにより
接続されたコンピュータシステムに分散され、分散方式
によりコンピュータにて読取り可能なコードが貯蔵され
て実行される。

【００７６】本発明は、前記したような本発明の望まし
い実施形態のみに限定されるものではなく、本発明の技
術的思想に基づく限りにおいて、本発明の属する技術分
野で通常の知識を有する者であれば、本発明の特許請求
の範囲内で、前記した本発明に係る実施形態で種々の変
形を行うことが可能であることは勿論のこと、このよう
な本発明に係る実施形態の各種の変形は、本明細書に記
載された特許請求の範囲内にある。

【００７７】

【発明の効果】以上説明した通りに構成される本発明に
よれば、以下の効果を奏する。すなわち、仮想の顔検出
エラーに備えて、最初に検出された目位置を変更した新
しい目座標が生成されれば、生成された目座標に基づき
顔映像を正規化させ、顔認識の特徴を抽出して学習及び
貯蔵することにより、顔検証時の目の位置が、顔登録時
の目の位置と異なって検出されることにより生じる認識
のエラーを改善できる。

【００７８】また、入力映像の目位置変更を通じて生成
された目座標対に基づき入力映像データを正規化させ、
このようにして正規化されたデータを特徴分類器の学習
に用いられる学習データに含めて学習データの数を増や
すことにより、最適な特徴分類器を設計して、認識性能
の低下を防ぐことが可能となる。

【００７９】さらに、２重臨界値を適用してユーザの不
便さを最小化させ、侵入者の顔映像をもってデータベー
スが更新されることを防ぐことができると共に、顔検証
時に入力された映像をもってデータベースを更新するこ
とにより、データベースを常に最新のデータに維持し
て、検証システムの認識性能を改善することができる。

【図面の簡単な説明】

【図１】従来の顔検証装置における目位置検出エラーの
影響を示す図である。

【図２】従来の学習映像の量による特徴分類器の設計を
例示する図である。

【図３】本発明に係るデータベース自動更新方法を用い
た顔検証システムの構成を示すブロック図である。

【図４】本発明に係るデータベース自動更新方法を用い
た顔検証方法及びそのシステムのユーザ顔登録過程を示
すフローチャートである。

【図５】本発明に係るデータベース自動更新方法を用い
た顔検証方法及びそのシステムの顔検証過程を示すフロ
ーチャートである。

【図６】本発明に係る目位置の変更方向を例示する図で
ある。

【図７】Ａは、理想的な映像データのベクトル値の分布
を示す図であり、Ｂは、現実的な映像データのベクトル
値の分布を考慮して２重臨界値を適用する例を示す図で
ある。

【図８】本発明に係るハイパープレーンから入力される
特徴値による特徴分類器の位置及び顔検証臨界値の変化
を示す図面である。

Claims (18)

【特許請求の範囲】
1. 【請求項１】 顔検証システムにおいて顔を検証する方
   法であって、 （ａ）入力顔映像から背景と顔とを分離して顔領域を検
   出する段階と、 （ｂ）検出された前記顔領域から目の位置を検出し、前
   記検出された目の位置を所定の方向及び所定の距離に各
   々変更し、変更された目の座標対を生成する段階と、 （ｃ）前記生成された各々の目の座標対に基づき顔映像
   を正規化する段階と、 （ｄ）前記正規化されたそれぞれの顔映像から顔の認識
   特徴を抽出して顔認識特徴値を計算する段階と、 （ｅ）前記顔認識特徴値を用いて特徴分類器を学習し、
   前記認識特徴値をデータベースに貯蔵する段階と、 （ｆ）検証対象顔映像を入力されて顔領域を検出し、検
   出された顔領域を正規化し、顔の認識特徴を抽出して顔
   認識特徴値を計算する段階と、 （ｇ）前記顔認識の特徴値によって前記入力顔映像の顔
   と登録された顔映像の類似如何及び前記入力顔映像を用
   いて前記データベースを更新するか否かを判定する段階
   と、を含むことを特徴とする顔検証方法。
2. 【請求項２】 前記（ｇ）段階は、 前記特徴分類器を用いて前記抽出された顔認識特徴値の
   ベクトル領域での分布を計算し、前記分布を数値的に表
   現した比較値によって前記入力顔映像の顔と登録された
   顔映像の類似如何を判定する段階を含むことを特徴とす
   る請求項１に記載の顔検証方法。
3. 【請求項３】 前記（ｇ）段階は、 前記比較値が第１臨界値以下の場合に前記利用者のシス
   テム通過を不許可とし、前記比較値が第１臨界値より大
   きい場合には前記利用者のシステム通過を承認する段階
   を含むことを特徴とする請求項２に記載の顔検証方法。
4. 【請求項４】 前記比較値が第２臨界値より大きい場合
   には前記検証対象顔映像に対して前記（ｂ）ないし
   （ｄ）段階を行い、前記検証対象顔映像をもって前記デ
   ータベースを更新する段階をさらに含むことを特徴とす
   る請求項３に記載の顔検証方法。
5. 【請求項５】 顔映像を前記データベースに貯蔵してい
   ないユーザがシステムを通過する確率が０に設定された
   前記第２臨界値は前記第１臨界値より大きく、前記比較
   値が大きいほど前記検証対象顔映像と前記データベース
   に予め顔映像が貯蔵してあるユーザの顔映像とが一致す
   る確率が高いことを特徴とする請求項４に記載の顔検証
   方法。
6. 【請求項６】 前記（ａ）段階前に、 前記入力映像の形式を前記顔検証システムに適した形式
   に変換する前処理段階をさらに含むことを特徴とする請
   求項１に記載の顔検証方法。
7. 【請求項７】 前記（ｃ）段階は、 前記生成された各々の目の座標対の中心点を計算し、前
   記計算された各々の中心点に基づき顔領域の傾きを補整
   して正規化させることを特徴とする請求項１に記載の顔
   検証方法。
8. 【請求項８】 前記（ｂ）段階の前記所定の長さは、前
   記所定の長さに関する前記検出された顔領域の横方向の
   長さとの比率によって計算されることを特徴とする請求
   項１に記載の顔検証方法。
9. 【請求項９】 前記所定の比率は１／１５であることを
   特徴とする請求項１に記載の顔検証方法。
10. 【請求項１０】 前記（ｂ）段階の前記所定の方向は、
    上下左右の４方向であることを特徴とする請求項１に記
    載の顔検証方法。
11. 【請求項１１】 前記臨界値は下記式により決定され、 ｆ（ｘ）＝ｓｇｎ（＜ｗ×ｘ＞＋ｂ） 式中、ｓｇｎは本発明のハイパープレーン関数を、ｗは
    学習を通じて求められるハイパープレーンの傾度を、そ
    してｘは顔検証時に入力される特徴値を各々意味し、バ
    イアス値であるｂ値を調節することにより臨界値を決定
    することを特徴とする請求項３または４に記載の顔検証
    方法。
12. 【請求項１２】 請求項１に記載の方法をコンピュータ
    にて実行可能なプログラムコードにて記録した記録媒
    体。
13. 【請求項１３】 入力顔映像において背景と顔とを分離
    して顔領域を検出する顔領域検出部と、 前記検出された顔領域から目の位置を検出し、検出され
    た目の位置を所定の方向及び所定の距離に各々変更し、
    変更された目の座標対を生成する目位置変更部と、 前記生成されたそれぞれの目の座標対によって前記顔映
    像を正規化する顔領域正規化部と、 前記正規化されたそれぞれの顔映像から顔の認識特徴を
    抽出して顔認識特徴値を計算する認識特徴抽出部と、 前記計算された顔認識特徴値を用いて特徴分類器を学習
    する特徴分類器学習部と、 前記顔認識特徴値を貯蔵するデータベースと、 前記顔認識の特徴値より前記入力された顔映像と登録さ
    れた顔映像との類似如何及び前記入力された顔映像を用
    いて前記データベースを更新するか否かを判定する判定
    部と、を含むことを特徴とする顔検証システム。
14. 【請求項１４】 前記入力された顔映像を映像処理に適
    した形に加工して前記顔領域検出部に出力する前処理部
    をさらに含むことを特徴とする請求項１３に記載の顔検
    証システム。
15. 【請求項１５】 前記目位置変更部は、 上下左右の４方向に、前記顔領域映像の横方向長さの１
    ／１５だけ各目の座標を移動させ、変更された座標対を
    生成することを特徴とする請求項１３に記載の顔検証シ
    ステム。
16. 【請求項１６】 前記所定の比率は１／１５であること
    を特徴とする請求項１３に記載の顔検証システム。
17. 【請求項１７】 前記判定部は、前記検証対象顔映像か
    ら抽出された顔認識特徴値のベクトル空間における分布
    を数値化した比較値を計算し、前記比較値と予め登録し
    てあるユーザの顔認識特徴値の分布により設定された臨
    界値とを比較し、入力された顔映像と登録された顔映像
    とが類似しているか否か及びデータベースを更新するか
    否かを判定することを特徴とする請求項１３に記載の顔
    検証システム。
18. 【請求項１８】 前記臨界値は下記式により決定され、 ｆ（ｘ）＝ｓｇｎ（＜ｗ×ｘ＞＋ｂ） 式中、ｓｇｎは本発明のハイパープレーン関数を、ｗは
    学習を通じて求められるハイパープレーンの傾度を、そ
    してｘは顔検証時に入力される特徴値を各々意味し、バ
    イアス値であるｂ値を調節することにより臨界値を決定
    することを特徴とする請求項１７項に記載の顔検証シス
    テム。