JP2004265267A

JP2004265267A - 顔認証方法、および顔認証装置。

Info

Publication number: JP2004265267A
Application number: JP2003056497A
Authority: JP
Inventors: Atsushi Aoki; 淳青木; Kuniaki Matsui; 邦晃松井
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2003-03-04
Filing date: 2003-03-04
Publication date: 2004-09-24

Abstract

【課題】顔認識において、徴点抽出に多くの時間を要し、正確な座標を得るのが難しい問題について解決する方法であって、最小限の特徴点抽出から他の特徴点を算出することにより短時間で多くの特徴点座標を得ることにより、認証精度をよくする。
【解決手段】顔画像データの入力を行う画像入力工程と、入力された顔画像データに対し特徴点を抽出する特徴点座標抽出工程と、特徴点座標抽出工程で特徴点座標抽出部によって得られた数点の特徴点から、新たな特徴点を算出する特徴点座標算出工程とを有し、特徴点の位置関係と距離を利用して、他の特徴点座標を算出し、特徴点座標抽出により取得した特徴点と特徴点座標算出部で取得した特徴点の各画像データに対しフイルタ処理して特徴量を計算し、得られた特徴量と登録されている比較対象画像データにおける特徴量を比較し同一人物か否かを判定する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は正面から見た人物の顔画像を入力し、入力された画像データから目、鼻、口などの特徴量を計算して個人認証を行う顔認証方法および、顔認証装置に関する。
【０００２】
【従来の技術】
一般的に顔認証方法は、カメラなどにより顔画像を入力し、入力画像から顔領域を抽出して、目、鼻、口などの顔部位を抽出し、各部位の特徴量を計算した後、得られた特徴量と比較対象とを比較し、本人か別人かを判断するものが一般的である。
【０００３】
また、顔認証時の特徴点抽出方法としては、顔の特徴点として、右の目頭、左の目頭、右の目尻、左の目尻の近傍の画像データを特徴データとしている。・・特許文献１参照
【０００４】
あるいは、特許文献２には、顔の特徴点として、頭頂点、右眉左端点、右眉右端点、右眉上端点、右眉下端点、左眉左端点、左眉右端点、左眉上端点、左眉下端点、右目左端点、右目右端点、右目上端点、右目下端点、左目左端点、左目右端点、左目上端点、左目下端点、鼻左端点、鼻右端点、鼻下端点、唇左端点、唇右端点、唇上端点、唇中心点、唇下端点、鼻左横顔輪郭点、鼻右横顔輪郭点、唇左横顔輪郭点、唇右横顔輪郭点、顎左横顔輪郭点、顎右横顔輪郭点、顎下端点、を用いる顔認証が開示されている。
【０００５】
さらに、特許文献３には、顔の左右の目と口の３点の座標を基に、口、左右の目、まゆ、顔の輪郭などを抽出するための探索範囲を特徴部分ごとに設定し、それぞれの探索範囲で、特徴点の抽出を行う技術が記載されている。
【０００６】
【特許文献１】
特許公報第２６９０１３２号公報
【特許文献２】
特開平８−７７３３４号公報
【特許文献３】
特開平９−６９６４号公報
【０００７】
【発明が解決しようとする課題】
従来、顔画像比較の際、それらの画像が同一人物画像であるか別人であるかを調べる場合、顔画像の特徴点座標を検出し、その検出した座標の特徴量を比較する方法がとられている。
【０００８】
しかし、上記の技術では顔画像データの目・鼻・口などの特定の点の値だけを求めているが、これらの点は個人によって位置がばらばらであり不安定要因を含んでいる。また、特徴点を多数設定する方法は、特徴点の数に比例して特徴点検索に多くの時間がかかる上、特徴点の数が増えるにつれ特徴点の検出精度が悪くなる。
【０００９】
本発明は画像データの取り方に特徴がある。すなわち、個人を特定する上で変動要因の少ない、安定している箇所を用いることにより、同一人物では顔の同じ部位に特徴点座標を算出し、別人では特徴点座標が異なることを特徴とし、この特徴点座標の個人差により各特徴量に差が生じ、個人認証精度の向上を図るものである。
【００１０】
すなわち、本発明は、特徴点抽出に多くの時間を要し、かつ、正確な座標を得るのが難しかった問題を解決する方法であって、最小限の特徴点抽出から他の特徴点を算出することにより短時間で多くの特徴点座標を得ることにより、認証精度をよくするものである。
【００１１】
【課題を解決するための手段】
本発明では顔画像データの入力を行う画像入力工程と、入力された顔画像データに対し特徴点を抽出する特徴点座標抽出工程と、特徴点座標抽出工程で特徴点座標抽出部によって得られた数点の特徴点から、新たな特徴点を算出する特徴点座標算出工程とを有し、特徴点の位置関係と距離を利用して、他の特徴点座標を算出することで、得ることが難しい特徴点の座標を増加させる方法である。
【００１２】
そして、特徴点座標抽出により取得した特徴点と特徴点座標算出部で取得した特徴点の各画像データに対しフイルタ処理して特徴量を計算し、得られた特徴量と登録されている比較対象画像データにおける特徴量を比較し同一人物か否かを判定するものである。
【００１３】
例えば、右目、左目、鼻の位置を検出し、その３点における内分点、外分点を使うことにより、顔面上の任意の点を特徴点として決めていく、そうすることにより、同じ人物なら、拡大・縮小・回転されても同じ部位に特徴点をおくことができる。
【００１４】
このように、３点の得られた特徴点から、それらの距離と位置関係を用いて新しい特徴点の座標を算出することができるので、特徴点を検索する時間削減と、精度の向上が実行できる。
【００１５】
【発明の実施の形態】
本発明は、ＣＣＤカメラなどを用いて撮影した顔画像（データ）に対して、まず複数の特徴点（顔の中の特定の部位の座標）を特徴点座標抽出部によって得る。この得られた数点の特徴点から、特徴点の位置関係と距離を利用して、ひとつの多角形を形成し、生成された多角形の頂点における内分点、外分点として幾何学的に展開する（算出部により算出する）ことにより、新たな特徴点を得る。この方法は得ることが難しい特徴点の座標を増加させることができるものである。
【００１６】
例えば、図２を用いて座標の説明をする。
特徴点（座標点）は顔の表情（筋肉）による移動が少ない３点、右目左端、左目右端、鼻の下端中央の位置を採用した。顔画像データより右目左端Ａ、左目右端Ｂ、鼻の下端中央Ｃの位置を検出する。この３点を基準として、形成される三角形ＡＢＣを平面状に展開する。
すなわち、抽出された右目左端Ａ、左目右端Ｂ、鼻下端中央Ｃの３点を基準点として、それ以外の特徴点はベクトル演算で求める。つまり、座標（Ａ、Ｂ、Ｃ）として、１、ｍ、ｎをベクトル的に掛け算をする。点Ａの座標に対して１倍、点Ｂの座標に対してｍ倍、点Ｃの座標に対してｎ倍し、（１・Ａ＋ｍ・Ｂ＋ｎ・Ｃ）によって得られる座標を新しい特徴点とする。
【００１７】
そして、複数の座標特徴点における画像データをフイルタ処理して特徴量を計算部により計算し、個人の特徴量として記録する。この記録データは次に個人の認証をする際に、同じ方法で個人の特徴量を取得して、記録されている記録データとのデータの比較を比較部により実行して、同一人物であるか否かの判断をする。
【００１８】
このようにこの実施の形態では個人を特定する場合、安定している（変動要因の少ない）最小の３点（右目左端、左目右端、鼻の下端中央の位置）を基準として他の複数の特徴点を決め、これらの画像データから特徴量を求めているので、画像データが比較的安定しており、顔認識率が高いものとなる。
そして、その３点における内分点、外分点を計算により求め、顔面上の任意の点を新たな特徴点として決めていく。
このように、基準となる３点の得られた特徴点から、それらの距離と位置関係を用いて新しい特徴点の座標を算出することにより、特徴点を検索する時間削減と、精度向上が図れる。
【００１９】
次に、特徴点の算出方法の一実施例を示す。図１は制御フローチャート、図２は特徴点の説明図である。
【００２０】
まず、ＣＣＤカメラなどを用いて撮影した顔画像を入力する。（図１（Ｓ０２））
その後、入力された顔画像データより右目左端（以後右目という）Ａ、左目右端（以後右目という）Ｂ、鼻下端中央部（以後鼻という）Ｃの座標を抽出する。（図１（Ｓ０３））
【００２１】
次に、抽出された右目Ａ、左目Ｂ、鼻Ｃの基準となる３点について、算出部において点Ａの座標に対して１倍、点Ｂの座標に対してｍ倍、点Ｃの座標に対してｎ倍し、（ｌ・Ａ＋ｍ・Ｂ＋ｎ・Ｃ）によって得られる座標を新しい特徴点とする。（図１（Ｓ０４））
【００２２】
図２において、△で示された点が特徴点座標抽出部によって得られた特徴点で、□で示された点が算出部によって得られた特徴点である。
図２の特徴点算出に用いたパラメータ（１，ｍ，ｎ）は、
（１，ｍ，ｎ）＝（１，０，０），（０，１，０），（０，０，１），（２，−１，０），（−１，２，０），（１，−１，１），（−１，１，１），（０，−１，２），（−１，０，２）である。
【００２３】
上記の方法によって得られた合計９個のそれぞれの特徴点の画像データに対し、フイルタ処理して得られたデータから、特徴量を計算する。（図１（Ｓ０５））
比較画像および記録されている比較対象画像の２画像について上記の特徴量計算が終了すると、特徴量比較部（図１（Ｓ０７））は各特徴点の類似度を求め、あらかじめ決められた閾値と比較を行い、同一人物か否かの判定結果を出力する。（図１（Ｓ０８））
【００２４】
以上説明したように、この顔認識は個人を特定する上で安定している最小の点（３点）を基準としているので、認識率が高くなる。
【００２５】
例えば、１０点の特徴点を見つけなければならないとして、１点を正しくみつけられる確率が、０．９５％だとすると、１０点すべての特徴点を正しく見つけられる確率は約０．６０％となる。
本発明のように、特徴点が３点とすると、３点を正しく見つけられる確立は約０．８６％となる。
【００２６】
なお、この実施例では基準点３点、特徴点６点の合計９点から特徴量を出しているが、この実施例は説明をわかりやすくする例であって、そのほかの特徴点を用いてもよい。
【００２７】
次に、特徴点算出方法の他の実施例を説明する。
この実施例は、同じ人物なら回転されても同じ部位に特徴点をおくことができるケースを示している。
【００２８】
図３は、本発明の実施例を示す装置の説明図、図４、図５は特徴点の説明図である。
まず、ＣＣＤカメラなどの顔画像入力装置（図３（Ｓ１１））を用いて顔画像を入力する。
その後、入力された顔画像データより、右目Ａ、左目Ｂ、鼻Ｃの座標を抽出する。（図３（Ｓ１２））
【００２９】
次に点Ｃを中心に点Ａを左周りにθ度回転し得られた点Ｄを特徴点算出装置（図３（Ｓ１３）、図４）により求め、新しい特徴点とする。
上記の方法で得られた特徴点Ａ，Ｂ，Ｃ，Ｄの画像データをフイルタ処理してその特徴量を特徴量計算装置（図３（Ｓ１４））によって計算する。
比較画像の特徴量の計算結果と、特徴量データベース（図３（Ｓ１６））に登録されている比較対象者の特徴量を、特徴量比較装置（図３（Ｓ１５））により各特徴点の類似度を求め、予め決められた閾値と比較を行い、登録されている比較対象者と同一人物か否かの判定結果を出力する。（図３（Ｓ１７））
【００３０】
この実施例は、同じ人物なら、回転されても同じ部位に特徴点をおくことができることを示している。
【００３１】
また、図５（ａ）（ｂ）のように顔画像が拡大・縮小されていたとしても、基準となる特徴点間の位置関係および距離関係を用いているため、算出によって得られる特徴点は、同一人物なら同じ場所に特徴点を決定できる。
また、基準となる特徴点の座標関係から算出して特徴点座標を求めているため、図５（ｂ）のように顔画像が傾いていても、算出によって得られる新たな特徴点は同一人物なら同じ部位の座標が得られる。
【００３２】
【発明の効果】
本発明では、比較的調べやすい特徴点座標を用いて新たに特徴点座標を算出し、それぞれの特徴点座標の位置に対して特徴量を計算し、特徴量の比較を行うことによって同一人物であるか、別人であるかを認識でき、確率が高い。
従来法では、特徴点の数に比例して特徴点抽出に多くの時間が必要とされていたが、本発明を用いれば、比較的調べやすい特徴点を３点だけ抽出し、他の特徴点は算出によって導かれるため従来法に比べ短時間で特徴点抽出が行える。
【００３３】
また、特徴点の数は増えるにつれ特徴点抽出精度が悪くなるが、本発明を用いれば特徴点の数が少ないため、特徴点抽出の精度向上につながる。
【００３４】
そして、個人の特徴点の距離関係を利用して他の特徴点を算出するため、その個人に固有の特徴点座標が得られる。また、同様にして、拡大・縮小・回転されても同じ部位に特徴点をおくことができる。
例えば、ある人では算出した特徴点の座標が口の上にあったとして、別人では顎の上にくることなどが起きる。
このように、その個人の目鼻の位置と距離の関係も含めて他の特徴点を抽出するため、一人一人異なる特徴点を抽出でき、特徴量比較による同一人物判定の制度向上にもつながる。
【００３５】
上記のように、本発明を用いることにより、特徴点抽出に時間をかけず、従来法よりも精度の高い顔認証システムを構築することができる。
【図面の簡単な説明】
【図１】本発明の実施例を示すフローチャート図。
【図２】本発明の実施例を示す顔画像上の特徴点位置及びその配置方法の説明図。
【図３】本発明の実施例を示す装置構成図。
【図４】本発明の実施例を示す顔画像上の特徴点位置及びその配置方法の説明図。
【図５】本発明の実施例を示す顔画像の縮小、回転における特徴点配置の説明図。
【符号の説明】
Ａ特徴点（右目左端）
Ｂ特徴点（左目右端）
Ｃ特徴点（鼻下端中央部）
Ｄ算出された特徴点

Claims

顔画像データの入力を行う画像入力工程と、
入力された顔画像データに対し特徴点を抽出する特徴点座標抽出工程と、
特徴点座標抽出工程で抽出された特徴点から新たな特徴点を算出する特徴点座標算出工程を有し、
上記の特徴点座標抽出工程で取得した特徴点と特徴点座標算出工程で取得した特徴点の各画像データに対しフイルタ処理して特徴量を計算する特徴量計算工程と、特徴量計算工程で得られた特徴量と比較対象画像データにおける特徴量を比較し同一人物か否かを判定する判定工程を有する顔認証方法。
請求項１に記載の顔認証方法における特徴点座標算出工程は、
特徴点座標抽出工程で抽出された各特徴点の座標に定数倍の演算を行い、その和によって得られる座標を新たな特徴点とすることを特徴とする顔認証方法。
請求項１に記載の顔認証方法における特徴点座標算出工程は、
特徴点座標抽出工程で抽出された複数の特徴点の座標におけるひとつの特徴点を中心として一定の角度で回転することによって得られる座標を新たな特徴点とすることを特徴とする顔認証方法。
顔画像データの入力を行う画像入力手段と、
入力された顔画像データに対し特徴点を抽出する特徴点座標抽出手段と、
抽出された特徴点から新たな特徴点を算出する特徴点座標算出手段を有し、
上記の特徴点座標抽出手段から取得した特徴点と特徴点座標算出手段から取得した特徴点のそれぞれの特徴点に対しフイルタ処理して特徴量を計算する特徴量計算手段と、特徴量計算手段によって得られた特徴量と比較対象画像データにおける特徴量を比較し同一人物か否かを判定する判定手段を備えた顔認証装置。
請求項４に記載の顔認証装置の特徴点座標算出手段は、
特徴点座標抽出手段により抽出された特徴点の座標に、定数倍の演算を行い、その和によって得られる座標を新たな特徴点とすることを特徴とする顔認証装置。
請求項４に記載の顔認証装置の特徴点座標算出手段は、
特徴点座標抽出手段で抽出された特徴点の座標のひとつの特徴点を中心として一定の角度で回転させて得られる座標を新たな特徴点とすることを特徴とする顔認証装置。