JP2007004534A - 顔判別方法および装置ならびに顔認証装置 - Google Patents

顔判別方法および装置ならびに顔認証装置 Download PDF

Info

Publication number
JP2007004534A
JP2007004534A JP2005184705A JP2005184705A JP2007004534A JP 2007004534 A JP2007004534 A JP 2007004534A JP 2005184705 A JP2005184705 A JP 2005184705A JP 2005184705 A JP2005184705 A JP 2005184705A JP 2007004534 A JP2007004534 A JP 2007004534A
Authority
JP
Japan
Prior art keywords
face
image
registered
person
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005184705A
Other languages
English (en)
Inventor
Daisaku Horie
大作 保理江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2005184705A priority Critical patent/JP2007004534A/ja
Publication of JP2007004534A publication Critical patent/JP2007004534A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】被写体が登録画像と同じ向きで撮影されなくとも、それらが一致するか否かの判別をロバストに行うことが可能であり、しかも処理を高速に行うことのできる顔判別装置。
【解決手段】人物の顔が登録顔画像と一致するか否かを判別するための顔判別装置であって、互いの位置関係が既知である複数のカメラと、取得されたそれぞれの画像について、登録顔画像との照合度をそれぞれ算出する照合度算出手段と、照合度に基づいて、それぞれの画像における顔の向きを推定する顔の向き推定手段と、推定された顔の向きと登録顔画像の顔の向きとに基づいて、画像の中から向きの近い1つまたは複数の画像を選択する画像選択手段と、推定された顔の向きに基づいて判別用のしきい値を設定するしきい値設定手段と、選択された画像についての照合度としきい値とを比較して人物の顔が登録顔画像と一致するか否かの判別を行う判別手段とを有する。
【選択図】図1

Description

本発明は、被写体である人物の顔が登録顔画像と一致するか否かを判別するための顔判別方法および装置ならびに顔認証装置に関する。
近年、セキュリティなどの分野において、認証への要求が高まっている。種々の認証方式のなかで、人物の顔による認証方式が、照合対象人物に対する束縛が少ないという点で、数多いアプリケーションにおいて支持されている。
顔認証では、被写体である人物の顔を撮影して得られた画像と、予め登録した顔画像との間で照合を行ってそれらが一致するか否かを判断し、人物の同定や本人判定を行っている。顔認証による場合には、顔の向きや照明条件などが登録時と照合時とで異なり、また人物自体が経時変化によって異なることがあるので、認証精度が低下するという問題がある。
さて、顔の向きに関しては、一般的に正面顔が登録顔画像として使用される。これは、正面顔である方が登録時と照合時とで合わせることが容易であり、また、目、鼻、口といった顔の各部位の画像を比較的良好な状態で取得できるからである。また、カード類を用いた認証の場合には、登録顔画像をそのままカードに印刷することが多いため、人が見易い正面から撮影することが多いためである。
したがって、照合時においても、カメラを被写体に対して正面と思われる位置姿勢で設置しておき、その状態で撮影した画像と登録顔画像との間で照合が行われる。
ところが、アプリケーションによっては、被写体に対して顔を正確に正面に向けるように要求できない場合がある。仮にそれができた場合であっても、顔の向きと視線方向とは必ずしも一致しないため、登録時と照合時とで顔の向きが一致するという保証はない。したがって、顔の向きがある程度ばらつくことを前提として顔判別を行うことが必要であるといえる。
従来において、複数条件で撮影した各画像で本人認証と他人認証とを行い、その結果を比較することで本人判定する技術が開示されている(特許文献1)。また、複数台のカメラで撮影した画像からユーザの顔領域を抽出し、計算した特徴量と予め登録した顔特徴量とを比較するようにした顔認証技術が開示されている(特許文献2)。
特開2003ー178274 特開2004ー192378
しかし、特許文献1による場合には、複数条件で撮影するごとにそれを登録画像とする必要があり、登録画像の数が増えることによってデータ量が増大し、その処理に時間を要することとなる。
また、特許文献2による場合には、各カメラで検出した顔特徴量を空間的に対応付け、複数の画像に対するKL展開等で特徴空間において照合を行っており、登録画像自体に複数方向からの撮影情報が含まれる必要がある。そのため、登録されるデータ量が増大しそのため処理に時間を要する。
本発明は、上述の問題に鑑みてなされたもので、被写体である人物の顔が登録顔画像と同じ向きで撮影されなかった場合においても、それらが一致するか否かの判別をロバストに行うことが可能であり、しかも登録画像などのデータ量が少なく処理を高速に行うことのできる顔判別方法および装置を提供することを目的とする。
本発明に係る方法は、被写体である人物の顔が登録顔画像と一致するか否かを判別するための顔判別方法であって、互いの位置関係が既知である複数のカメラによって、前記人物の頭部についての複数の画像を取得するステップと、取得されたそれぞれの前記画像について、前記登録顔画像との間における照合度をそれぞれ算出するステップと、前記照合度に基づいて、それぞれの前記画像における顔の向きを推定するステップと、推定された顔の向きと前記登録顔画像の顔の向きとに基づいて、前記画像の中から向きの近い1つまたは複数の画像を選択するステップと、推定された顔の向きに基づいて判別用のしきい値を設定するステップと、選択された前記画像についての照合度と前記判別用のしきい値とを比較して前記人物の顔が前記登録顔画像と一致するか否かの判別を行うステップとを有する。
また、互いの位置関係が既知である複数のカメラによって、前記人物の頭部についての複数の画像を取得するステップと、取得されたそれぞれの前記画像について、前記登録顔画像との間における照合度をそれぞれ算出するステップと、前記照合度に基づいて、それぞれの前記画像における顔の向きを推定するステップと、推定された顔の向きと前記登録顔画像の顔の向きとに基づいて、前記登録顔画像の顔の向きと同じ向きの画像を撮影可能な前記カメラの位置を推定するステップと、取得された前記画像に基づいて、推定された前記カメラの位置から撮影した場合の画像を生成するステップと、生成された前記画像についての照合度としきい値とを比較して前記人物の顔が前記登録顔画像と一致するか否かの判別を行うステップとを有する。
本発明に係る装置は、被写体である人物の顔が登録顔画像と一致するか否かを判別するための顔判別装置であって、前記人物の頭部についての画像を取得するための、互いの位置関係が既知である複数のカメラと、取得されたそれぞれの前記画像について、前記登録顔画像との間における照合度をそれぞれ算出する照合度算出手段と、前記照合度に基づいて、それぞれの前記画像における顔の向きを推定する顔の向き推定手段と、推定された顔の向きと前記登録顔画像の顔の向きとに基づいて、前記画像の中から向きの近い1つまたは複数の画像を選択する画像選択手段と、推定された顔の向きに基づいて判別用のしきい値を設定するしきい値設定手段と、選択された前記画像についての照合度と前記判別用のしきい値とを比較して前記人物の顔が前記登録顔画像と一致するか否かの判別を行う判別手段とを有する。
好ましくは、前記登録顔画像は、人物についての正面平均顔の画像である、
また、上に記載の顔判別装置を用いて前記人物に対する顔認証を行うように顔認証装置を構成する。
また、推定された顔の向きと前記登録顔画像の顔の向きとに基づいて、前記登録顔画像の顔の向きと同じ向きの画像を撮影可能なカメラの位置を推定するカメラ位置推定手段と、取得された前記画像に基づいて、前記カメラ位置推定手段で推定された位置から撮影した場合の画像を生成する画像生成手段と、前記画像生成手段によって生成された画像についての照合度としきい値とを比較して前記人物の顔が前記登録顔画像と一致するか否かの判別を行う判別手段とを有する。
本発明によると、被写体である人物の顔が登録顔画像と同じ向きで撮影されなかった場合においても、それらが一致するか否かの判別をロバストに行うことが可能であり、しかも登録画像などのデータ量が少なく処理を高速に行うことができる。
〔第1の実施形態〕
図1は本発明に係る第1の実施形態の顔判別装置1の機能的な構成を示すブロック図である。
図1において、顔判別装置1は、複数台のカメラ11a〜d、処理装置12、表示装置13、入力装置14、および記憶装置15などから構成される。
カメラ11a〜dは、被写体Qの特定の部位についての画像(画像データ)GDを取得するためのものであり、それぞれの互いの位置関係が既知である。1つの被写体Qに対して、カメラ11a〜dは同時に撮影を行い、同じタイミングにおける複数の画像GDを得る。なお、カメラ11a〜dの位置関係を示すデータは、例えば処理装置12のメモリに格納されまたはプログラムに組み込まれている。
処理装置12は、カメラ11a〜dで撮影して取得された人物の頭部についてのそれぞれの画像GDについて、登録顔画像との間における照合度Vをそれぞれ算出し、算出した照合度Vに基づいて、それぞれの画像における顔の向きを推定し、推定された顔の向きと登録顔画像の顔の向きとに基づいて、画像の中から向きの近い1つまたは複数の画像を選択し、また推定された顔の向きに基づいて判別用のしきい値Thbを設定し、選択された画像についての照合度Vと判別用のしきい値Thbとを比較して人物の顔が登録顔画像と一致するか否かの判別を行う。処理装置12は、その他の種々の処理をも行う。処理装置12は、CPU(中央処理装置)、ROM、RAM、その他の周辺回路、記憶デバイス、およびインタフェース回路などを含んで構成される。
処理装置12には、属性値算出用情報格納部21、属性値算出部22、正面方向推定部23、しきい値設定部24、仮しきい値格納部25、画像選択部26、および判別部27などが設けられる。
属性値算出用情報格納部21は、カメラ11a〜dによって取得されるそれぞれの画像GDの属性値ZSを算出するための情報(登録顔画像TJK)を格納する。そのような登録顔画像TJKとして、本実施形態では、属性値ZSを「画像の向きの照合度(一致度合い)V」であると定義し、人物の顔についての標準的な画像を用いる。また、属性値ZSをどのような値とするかによって、被写体Qの特定の部位についての表面状態、色、形状などに関する情報が登録顔画像TJKとなり得る。
属性値算出部22は、カメラ11a〜dにより取得されたそれぞれの画像GDについての属性値ZSを算出する。属性値ZSは、本実施形態においては、上に述べたように顔の向きの照合度(一致度合い)Vである。したがって、本実施形態における属性値算出部22は、それぞれの画像GDについて、登録顔画像TJKとの間における照合度Vをそれぞれ算出する。なお、属性値算出部22には、画像GDを格納するためのメモリ領域、カメラ11a〜dの位置関係を示すデータを格納するメモリ領域なども設けられている。
正面方向推定部23は、照合度Vに基づいて、それぞれの画像GDにおける顔の向きを推定する。また、正面方向の顔画像を推定する。
しきい値設定部24は、推定された顔の向きに基づいて、判別用のしきい値Thbを設定する。判別用のしきい値Thbを設定するに当たっては、仮しきい値格納部25に格納された仮しきい値Thを参照にし、これを補正して算出する。なお、仮しきい値Thは、種々の経験則または実験などから求めて設定することが可能である。
画像選択部26は、推定された顔の向きと登録顔画像TJKの顔の向きとに基づいて、画像GDの中から向きの近い1つまたは複数の画像GDを選択する。また、選択した画像GDについての照合度(第2の照合度)Vを算出する。したがって、画像選択部26は、第2の照合度算出部としての機能も有する。但し、照合度(第2の照合度)Vの算出を属性値算出部22によって行うこととしてもよい。
判別部27は、選択された画像GDについての照合度Vと判別用のしきい値Thbとを比較して、人物の顔が登録顔画像TJKと一致するか否かの判別を行う。
表示装置13は、処理装置12で判別された結果を表示し、その他のデータ、画像、メッセージなどを表示する。
入力装置14は、処理装置12での処理に必要な変数やパラメータなどを入力しまたは設定し、またそれ以外の種々のデータや指令を入力する。
記憶装置15は、処理装置12での処理に必要な画像、変数、パラメータなどを記憶する。
このような顔判別装置1は、適当なプログラムが格納されたパーソナルコンピュータによって実現することが可能である。そして、専用回線、LAN、WAN、またはインターネットを介して外部のネットワークやサーバなどに接続することが可能である。
次に、上に述べた顔判別装置1を人物の顔による認証のために用いた例について具体的に説明する。
本実施形態では、登録顔画像TJKとして、被写体Qについて、正面などの固定の顔の向きで予め撮影された画像を用いる。複数の人物についての登録顔画像TJKを属性値算出用情報格納部21に格納しておき、カメラ11a〜dで撮影した人物と特定の登録顔画像TJKとを照合し、その照合度を判別する。一致すると判別されると、そのことが表示装置13の表示面に表示される。また、一致すると判別されたことによって、当該人物が認証される。つまり顔認証が行われる。カメラ11a〜dによる被写体Qの撮影の際に、被写体Qの顔の向きを正確に調整または制御できない場合でも、判別精度または認証精度をロバストに維持することが可能である。
図2は被写体Qに対するカメラ11a〜dの配置状態の例を示す図、図3は各カメラ11a〜dで撮影された被写体Qの頭部の画像GDKa〜dの例を示す図、図4は登録顔画像TJKの例を示す図、図5は画像GDKa〜dと登録顔画像TJKとの照合度を各カメラの位置と対応付けて示す図、図6は仮しきい値Thから判別用のしきい値Thbを設定する様子を説明するための図である。
図2において、被写体Qに対して互いに異なる顔の向きの画像GDKa〜dが得られるように、カメラ11a〜dが設置されている。各カメラ11a〜dの撮影方向を表すために、ある基準方向KHに対するそれぞれの光軸方向の角度差をそれぞれθa〜θdとする。図2に示すように、基準方向KHは任意の撮影方向に設定することが可能である。しかし、後でのデータ処理を容易にするためには、複数のカメラ11a〜dのいずれかの光軸方向と一致させるか、またはその中間の方向と一致させるなど、適宜選択するのが好ましい。
なお、説明の簡単化のため、各カメラ11a〜dの光軸は外に一点で交わり、被写体Qの頭部のサイズは各画像GDKa〜d中でほぼ同一となるように光軸方向や画角などが設定されているとする。しかし、画像GDKa〜d間の関係、および各カメラ11a〜dで検出される属性値ZSの関係などが予め分かっている場合には、これらに限ることはない。なお、図2において、カメラ11xは、被写体Qである人物の正面顔を撮影する位置に配置した架空のカメラである。つまり、理想的にはこの位置にカメラ11xがあって欲しいのであるが、実際にはこのカメラ11xは存在しない。
図3(A)〜(D)において、各画像GDKa〜dは、それぞれ、カメラ11a〜dによって同時に撮影された画像である。
図4に示すように、属性値算出用情報格納部21には登録顔画像TJKが格納されている。本実施形態においては、登録顔画像TJKは、ある人物について多数の顔画像を元に作成した平均正面顔である。このような平均正面顔の作成方法は、例えば特開平2003ー271958などで公知である。しかし、登録顔画像TJKはこれに限られることはない。また、属性値ZSの内容もここでの記載に限定されない。
図5には、横軸を各カメラ11a〜dの角度位置として、縦軸上に登録顔画像TJKとの照合度Vが示されている。つまり、ここでは、属性値ZSとして照合度Vが用いられる。それぞれの画像GDKa〜dの照合度はVa〜Vdであり、この中での最大値はVbである。しかし、本来的には、図2に示す架空のカメラ11xの位置から撮影した画像GDKxを用いて照合を行うことが好ましいので、このときに照合度Vとの比較に用いる仮しきい値Thは、架空のカメラ11xによる架空の画像GDKxに対する照合度Vよりも低くなるように設定される。
すなわち、照合度Vが仮しきい値Thよりも高い場合には、正面顔が検出されたものとし、低い場合には正面顔が検出されなかったものとする。しかし、図5においては、最大の照合度Vbよりも仮しきい値Thの方が高いため、このままでは顔が存在しないものと判別されてしまうこととなる。
そこで、画像GDKa〜dの照合度を示す4つの点(θa,Va)(θb,Vb)(θc,Vc)(θd,Vd)を全て通るような曲線LKを求め、照合度Vが最大となる位置を登録顔画像TJKの顔の向き方向と推定し、その位置における照合度MaxVを算出する。次に、画像GDKa〜dの中から、この顔の向きに最も近いカメラ11a〜dによる画像GDを選択する。
図5で示される例では、Vb>Vcであることや、照合度Vが最大となる架空のカメラ11xの位置(角度)と角度θb,θcとの距離比較を利用することにより、カメラ11b(カメラB)による画像GDKbを選択すればよいことが分かる。しかし、上に述べたように、選択されたカメラ11bの処理結果に対して、仮しきい値Thをそのまま使用できない。そこで、しきい値設定部24において、仮しきい値Thに対して補正のための演算を行い、判別用のしきい値Thbを求める。
すなわち、図6に示すように、照合度Vが最大となる位置の情報(最大照合度である照合度MaxV)を利用し、カメラ11bの画像GDKbについて算出した照合度Vbに対して適用するしきい値Thbを算出する。
具体的には、照合度MaxVと画像GDKbの照合度Vbとの比が、仮しきい値Thと判別用のしきい値Thbとの比に等しくなることから、判別用のしきい値Thbを、
Thb=Th×(Vb/MaxV) ……(1)
として求める。
このようにして算出された判別用のしきい値Thbと、選択された画像GDKbに対して算出された照合度Vbとの比較によって、顔の存在可否判定、つまり画像GDが登録顔画像TJKと一致するか否かの判別を行う。
なお、照合度MaxVの算出に当たっては、例えば、図5における曲線LKの極大値を求めればよい。
したがって、結局、画像GDKbによる照合度Vbと判別用のしきい値Thbとが比較され、図6に示すように照合度Vbがしきい値Thbよりも大きいので、被写体Qである人物の顔は登録顔画像TJKと一致すると判別される。つまり、当該人物の顔の存在が確認される。これに基づいて、当該人物についての顔認証が行われ、認証結果は「YES」または「OK」となる。
なお、図5においては、4つの点が全て1つの曲線(放物線)LK上にのっている場合を示すが、常に1つの曲線上に4点がのるとは限らないため、照合度に対する二乗誤差平均を最小にするような放物線を算出したり、他の種類の曲線を算出したり、キュービックコンボリューションやスプライン関数といった既存の補間手法を用いて算出することも可能である。
これらの照合度MaxVを求めるアルゴリズムは、顔の向きと属性値ZSの変化度合いの性質や、装置構成に対する制約、例えば処理速度、メモリ容量、演算器の種類などに応じて決定すればよい。また、属性値ZSの変化度合いの性質が理論的に定まらない場合には、複数の登録顔画像TJKに対する結果から統計的に求めてもよい。
なお、設置されたカメラ11a〜dから得られる4つの画像GDKa〜dの全てに対して処理を行うことなく、照合度Vつまり属性値ZSの確からしさが高い部分、例えば、人物の頭部全体を撮影する複数のカメラのうち正面方向の近辺に配置されていると考えられるカメラのみを利用してもよい。そうすることによって、精度向上を図ったり、処理速度を向上することが可能である。また、カメラ11a〜dの数や位置を限定し、または全体の中から選択して用いてもよい。
次に、顔判別装置1による処理動作の例をフローチャートによって説明する。
図7は顔判別装置1における顔判別処理のフローチャートである。
図7において、カメラ11a〜dから処理装置12に画像GDKa〜dが順次入力されてくるが、まず最初に入力された画像GDKについて(#11)、その画像GDKと登録顔画像TJKとの照合度Vを算出する(#12)。次の画像GDKを入力し(#13)、全ての画像GDKが入力されるまでステップ#11〜13を繰り返す(#14)。そして、得られた全ての照合度Vに基づいて、最大照合度および最大照合度方向を算出する(#15)。照合対象となる画像を選択する(#16)。最大照合度、選択された画像についての照合度V、および仮しきい値Thに基づいて、判別用のしきい値Thbを算出する(#17)。選択された画像についての照合度Vと判別用のしきい値Thbとを比較し、人物の顔と登録顔画像TJKとが一致するか否かを判別する(#18)。そしてその結果を、表示装置13その他の機器に出力する(#19)。
上の実施形態では、カメラ11a〜dを水平方向のみに配置したが、垂直方向や斜め方向にも配置してもよい。また、図8に示すように、カメラ11a,b,c,d,e…を3次元空間的に配置してもよい。各カメラ間の位置や角度の関係が既知である場合には、カメラを配置する間隔は、同一でなくてもよく、カメラごとに異なっていてもよい。
また、上に述べた実施形態では、平均正面顔による登録顔画像TJKを使用した。登録顔画像TJKは、特徴量に変換した状態で保持しておいてもよく、また、別の登録画像や顔画像に関連する画像以外の情報を登録しておくことで、様々な顔判別処理または顔認識処理に適用することができる。登録顔画像TJKとして個人の顔画像を使用する場合には、得られる属性値ZSは顔の照合度Vまたは認証度となる。また、例えば、登録顔画像TJKとして、肌色面積率のしきい値Th2といった情報を登録しておき、カメラ11a〜dから得られる各画像GDから検出した肌色面積率と登録した肌色面積率のしきい値Th2とを比較してもよい。この場合には、顔の正面方向から撮影した画像GDでは正面顔であるので肌色面積比率が高く、斜めから撮影した画像GDになるほど髪の毛の影響によって肌色面積率が低下するので、このような性質を用いて正面顔検出を行うことが可能である。
また、登録顔画像TJKの顔の向きは正面顔に限られない。例えば、横顔であってもよい。登録顔画像TJKが横顔である場合には、入力された画像GDが横顔の場合に照合度Vが高くなり、正面顔の場合には低くなる。その他、入力される画像GDと登録顔画像TJKとの間の顔の向きの差と高い相関をもって変化する属性値であれば、上に述べたと同様な効果が得られる。
〔第2の実施形態〕
第2の実施形態の顔判別装置1Bは、基本的には上に述べた顔判別装置1と同じであるので、相違点についてのみ説明する。
図9は本発明に係る第2の実施形態の顔判別装置1Bの機能的な構成を示すブロック図、図10は第2の実施形態における顔判別処理のフローチャートである。
図9に示すように、顔判別装置1Bの処理装置12Bには、属性値算出用情報格納部21、属性値算出部22、正面方向推定部23、正面画像生成部28、第2の属性値算出部29、第2の属性値算出用情報格納部30、しきい値格納部31、および判別部32などが設けられる。
ところで、3次元画像処理の分野においては、ステレオ対応などによって複数の画像を元に3次元画像または3次元情報に変換し、この3次元画像または情報を元に任意の方向を向いた2次元画像を生成することが広く行われている。3次元画像や3次元情報の構成時には、2次元画像間で特徴点の対応をとることが必要となるが、人の目や口など顔の部位やアプリケーションとして顔画像の出力が必要でない場合には、アクティブにパターン光を照射することを利用すれば可能である。このように複数画像から3次元画像を生成し、これをもとに任意方向に回転させて2次元画像に変換する技術は公知である。
第2の実施形態では、第1の実施形態における正面方向推定部23による正面方向推定の処理、つまり、図5において曲線LKの頂点(極大点)にあたる位置を算出する処理までは同じである。推定された方向情報の利用方法が第1の実施形態とは異なる。
つまり、第1の実施形態では、選択された画像GDについての照合度Vと判別用のしきい値Thbとから、人物の顔が登録顔画像TJKと一致するか否かの判別を行った。これに対し、第2の実施形態では、正面画像生成部28によって、架空のカメラ11xによる正面方向の顔画像GDKxを生成する。但し、登録顔画像TJKが正面顔でない場合にはその画像の顔の向きに合った顔画像を生成する。第2の属性値算出部29によって、第2の属性値算出用情報格納部30に格納された登録情報TJLを用い、生成された顔画像GDKxの属性値ZLつまり照合度(第2の照合度)Vを算出する。判別部32において、算出された照合度(第2の照合度)Vと、しきい値格納部31に格納されたしきい値Thとを比較し、算出された照合度(第2の照合度)Vがしきい値Th以上である場合に、当該人物の顔が登録顔画像TJKと一致すると判別する。つまり、この場合には被写体Qである人物の顔と一致する登録顔画像TJKの存在が確認されたことになる。
なお、正面方向推定部23は、照合度Vに基づいて、それぞれの画像GDKa〜dにおける顔の向きを推定するとともに、推定された顔の向きと登録顔画像TJKの顔の向きとに基づいて、登録顔画像TJKの顔の向きと同じ向きの画像を撮影可能なカメラの位置を推定する。つまり、正面方向推定部23は、本発明における顔の向き推定手段およびカメラ位置推定手段に相当する。
このように、第2の実施形態では、顔の向きの推定結果とそれらの技術を利用して、図2におけるカメラ11xの位置からの正面方向の顔画像GDKxを生成し、第2の属性値算出用情報格納部30に格納された登録情報TJLを用いて属性値ZLつまり照合度(第2の照合度)Vの算出を行う。この登録情報TJLおよび照合度(第2の照合度)Vを算出する第2の属性値算出部29の処理は、同図における属性値算出用情報格納部21に格納された登録情報TJKおよび属性値算出部22の処理と同一でもよいし、別の情報または別の処理で算出し直してもよい。別の情報とは、例えば、属性値算出用のデータの解像度などの精度を上げたものが利用できるが、正面方向推定には、平均正面顔を用いた属性値算出を行い、最終的な判別では表情判定などの別処理を行ってもよい。その場合には判定用の情報や属性値算出方法は異なることとなる。この情報はアプリケーションまたはモジュールが最終的に判定したい属性によって決まるものであり、顔の向きの差によって判定性能が低下するような処理であれば特に限定されるものではない。
図10において、カメラ11a〜dから処理装置12に画像GDKa〜dが順次入力されてくるが、まず最初に入力された画像GDKについて(#31)、その画像GDKと登録顔画像TJKとの照合度Vを算出する(#32)。次の画像GDKを入力し(#33)、全ての画像GDKが入力されるまでステップ#31〜33を繰り返す(#34)。そして、得られた全ての照合度Vに基づいて、それぞれの画像GDKにおける顔の向きを推定し、推定された顔の向きと登録顔画像TJKの顔の向きとに基づいて、登録顔画像TJKの顔の向きと同じ向きの画像を撮影可能なカメラの位置、方向、または姿勢、つまり最大照合度方向を算出する(#35)。算出された最大照合度方向に基づいて、正面方向の顔画像GDKxを生成する(#36)。顔画像GDKxの照合度Vとしきい値Thとを比較して一致するか否かの判別を行い(#37)、その結果を出力する(#38)。
上に述べた各実施形態における特徴点は次のように整理することができる。
(1) 複数のカメラと単一の登録顔画像とによる顔認識を行う。
(2) 画像に対する顔判別または顔認識は、個々のカメラ単独に対してのみ行われる。複数のカメラで得られる顔画像間の関係は、これらの顔判別または顔認識の結果に対して関連付けを行う。
(3) 登録顔画像TJKの顔の向きに近い向きで撮影された顔との照合と、遠い向きで撮影された顔との照合では、近い向きとの場合の方が照合度Vが高くなるという性質を利用し、顔の向きの差と照合度Vの関連をもとに顔の向きの推定を行い、登録顔画像TJKの顔の向きと最も近い顔の向きで撮影していると思われるカメラの画像を選択し、推定された顔の向きをもとに、別途判別用のしきい値Thbを決定し、 選択された画像に対して、決定された判別用のしきい値Thbを用いて顔判別または顔認識を行う(第2の実施形態)。顔認識の種類としては、顔の向きとの間に相関のある情報の認識であれば適用可能である。例えば、顔認証、年齢推定、表情判別などに適用可能である。
したがって、上に述べた各実施形態では次のような利点がある。
(1) 被写体Qに対するカメラの向きが登録顔画像TJKと必ずしも同一の向きでなくでも判別および認識が可能となり、判別および認識のロバスト性が向上する。
(2) 1人の人物に対して、登録顔画像TJKは2次元画像一枚で済む。
(3) 顔判別装置において統合的に扱う情報は、顔判別結果または顔認識結果であって、画像ではない。そのため、データ量が少なく、処理速度が速く、顔判別装置の構成が簡単となる。
(4) 顔判別装置は、顔判別、顔認識、顔認証など以外にも適用可能であり、汎用的な構成をとることが可能である。
このように、上に述べた実施形態によると、被写体Qが登録画像と同じ向きで撮影されなかった場合においても、それらが一致するか否かの判別をロバストに行うことが可能である。しかも、登録画像などのデータ量が少なく、処理を高速に行うことができる。
上に述べた実施形態において、カメラ11a〜d、処理装置12,12B、顔判別装置1,1Bなどの全体または各部の構造、構成、形状、寸法、個数、画像の内容、処理の内容および順序、タイミングなどは、本発明の趣旨に沿って適宜変更することができる。
本発明は、セキュリティなどのための人物の顔による認証に利用可能である。
本発明の第1の実施形態の顔判別装置の機能を示すブロック図である。 被写体に対するカメラの配置状態の例を示す図である。 各カメラで撮影された被写体の頭部の画像の例を示す図である。 登録顔画像の例を示す図である。 画像と登録顔画像との照合度を各カメラの位置と対応付けて示す図である。 仮しきい値から判別用のしきい値を設定する様子を説明するための図である。 顔判別装置における顔判別処理のフローチャートである。 カメラを3次元空間的に配置した例を示す図である。 本発明に係る第2の実施形態の顔判別装置機能を示すブロック図である。 第2の実施形態における顔判別処理のフローチャートである。
符号の説明
1,1B 顔判別装置(顔認証装置)
11 カメラ
12,12B 処理装置
21 属性値算出用情報格納部
22 属性値算出部(照合度算出手段)
23 正面方向推定部(顔の向き推定手段、カメラ位置推定手段)
24 しきい値設定部(しきい値設定手段)
25 仮しきい値格納部
26 画像選択部(画像選択手段)
27 判別部(判別手段)
28 正面画像生成部(画像生成手段)
29 第2の属性値算出部
30 第2の属性値算出用情報格納部
31 しきい値格納部
32 判別部(判別手段)
Q 被写体
ZS 属性値
V 照合度(属性値)
ZM 最大照合度
Th しきい値
Thb 判別用しきい値
GD 画像
TJK 登録顔画像
LK 曲線

Claims (8)

  1. 被写体である人物の顔が登録顔画像と一致するか否かを判別するための顔判別方法であって、
    互いの位置関係が既知である複数のカメラによって、前記人物の頭部についての複数の画像を取得するステップと、
    取得されたそれぞれの前記画像について、前記登録顔画像との間における照合度をそれぞれ算出するステップと、
    前記照合度に基づいて、それぞれの前記画像における顔の向きを推定するステップと、
    推定された顔の向きと前記登録顔画像の顔の向きとに基づいて、前記画像の中から向きの近い1つまたは複数の画像を選択するステップと、
    推定された顔の向きに基づいて判別用のしきい値を設定するステップと、
    選択された前記画像についての照合度と前記判別用のしきい値とを比較して前記人物の顔が前記登録顔画像と一致するか否かの判別を行うステップと、
    を有することを特徴とする顔判別方法。
  2. 被写体である人物の顔が登録顔画像と一致するか否かを判別するための顔判別方法であって、
    互いの位置関係が既知である複数のカメラによって、前記人物の頭部についての複数の画像を取得するステップと、
    取得されたそれぞれの前記画像について、前記登録顔画像との間における照合度をそれぞれ算出するステップと、
    前記照合度に基づいて、それぞれの前記画像における顔の向きを推定するステップと、
    推定された顔の向きと前記登録顔画像の顔の向きとに基づいて、前記登録顔画像の顔の向きと同じ向きの画像を撮影可能な前記カメラの位置を推定するステップと、
    取得された前記画像に基づいて、推定された前記カメラの位置から撮影した場合の画像を生成するステップと、
    生成された前記画像についての照合度としきい値とを比較して前記人物の顔が前記登録顔画像と一致するか否かの判別を行うステップと、
    を有することを特徴とする顔判別方法。
  3. 被写体である人物の顔が登録顔画像と一致するか否かを判別するための顔判別装置であって、
    前記人物の頭部についての画像を取得するための、互いの位置関係が既知である複数のカメラと、
    取得されたそれぞれの前記画像について、前記登録顔画像との間における照合度をそれぞれ算出する照合度算出手段と、
    前記照合度に基づいて、それぞれの前記画像における顔の向きを推定する顔の向き推定手段と、
    推定された顔の向きと前記登録顔画像の顔の向きとに基づいて、前記画像の中から向きの近い1つまたは複数の画像を選択する画像選択手段と、
    推定された顔の向きに基づいて判別用のしきい値を設定するしきい値設定手段と、
    選択された前記画像についての照合度と前記判別用のしきい値とを比較して前記人物の顔が前記登録顔画像と一致するか否かの判別を行う判別手段と、
    を有することを特徴とする顔判別装置。
  4. 前記登録顔画像は、人物についての正面平均顔の画像である、
    請求項3記載の顔判別装置。
  5. 請求項3また4記載の顔判別装置を用いて前記人物に対する顔認証を行うように構成された、
    ことを特徴とする顔認証装置。
  6. 被写体である人物の顔が登録顔画像と一致するか否かを判別するための顔判別装置であって、
    前記人物の頭部についての画像を取得するための、互いの位置関係が既知である複数のカメラと、
    取得されたそれぞれの前記画像について、前記登録顔画像との間における照合度をそれぞれ算出する照合度算出手段と、
    前記照合度に基づいて、それぞれの前記画像における顔の向きを推定する顔の向き推定手段と、
    推定された顔の向きと前記登録顔画像の顔の向きとに基づいて、前記登録顔画像の顔の向きと同じ向きの画像を撮影可能なカメラの位置を推定するカメラ位置推定手段と、
    取得された前記画像に基づいて、前記カメラ位置推定手段で推定された位置から撮影した場合の画像を生成する画像生成手段と、
    前記画像生成手段によって生成された画像についての照合度としきい値とを比較して前記人物の顔が前記登録顔画像と一致するか否かの判別を行う判別手段と、
    を有することを特徴とする顔判別装置。
  7. 前記登録顔画像は、人物についての正面平均顔の画像である、
    請求項6記載の顔判別装置。
  8. 請求項6また7記載の顔判別装置を用いて前記人物に対する顔認証を行うように構成された、
    ことを特徴とする顔認証装置。
JP2005184705A 2005-06-24 2005-06-24 顔判別方法および装置ならびに顔認証装置 Pending JP2007004534A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005184705A JP2007004534A (ja) 2005-06-24 2005-06-24 顔判別方法および装置ならびに顔認証装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005184705A JP2007004534A (ja) 2005-06-24 2005-06-24 顔判別方法および装置ならびに顔認証装置

Publications (1)

Publication Number Publication Date
JP2007004534A true JP2007004534A (ja) 2007-01-11

Family

ID=37690098

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005184705A Pending JP2007004534A (ja) 2005-06-24 2005-06-24 顔判別方法および装置ならびに顔認証装置

Country Status (1)

Country Link
JP (1) JP2007004534A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014075765A (ja) * 2012-10-05 2014-04-24 Mitsubishi Heavy Ind Ltd 監視装置及び監視方法
US9309653B2 (en) 2013-12-17 2016-04-12 Elwha Llc Systems and methods for gathering water

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014075765A (ja) * 2012-10-05 2014-04-24 Mitsubishi Heavy Ind Ltd 監視装置及び監視方法
US9309653B2 (en) 2013-12-17 2016-04-12 Elwha Llc Systems and methods for gathering water

Similar Documents

Publication Publication Date Title
US12014571B2 (en) Method and apparatus with liveness verification
JP6610906B2 (ja) 活動検出方法及びデバイス、並びに本人認証方法及びデバイス
US6775397B1 (en) Method and apparatus for user recognition using CCD cameras
CN107563304B (zh) 终端设备解锁方法及装置、终端设备
CN105740778B (zh) 一种改进的三维人脸活体检测方法及其装置
JP2009245338A (ja) 顔画像照合装置
US20040218070A1 (en) Method and apparatus for user recognition using CCD cameras
EP2842075A1 (en) Three-dimensional face recognition for mobile devices
KR101444538B1 (ko) 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법
KR20110080327A (ko) 얼굴 인식 장치 및 그 방법
JP5170094B2 (ja) なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
WO2007004498A1 (ja) 虹彩認証装置、虹彩認証方法および虹彩認証プログラム
JP2003178306A (ja) 個人認証装置および個人認証方法
KR101510312B1 (ko) 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법
WO2021218568A1 (zh) 图像深度确定方法及活体识别方法、电路、设备和介质
CN112825128A (zh) 用于活性测试和/或生物特征识别验证的方法和设备
KR20170092533A (ko) 얼굴 포즈 교정 방법 및 장치
KR20150069799A (ko) 얼굴 인증 방법 및 그 장치
KR101053253B1 (ko) 3차원 정보를 이용한 얼굴 인식 장치 및 방법
KR101795264B1 (ko) 얼굴 랜드마크 검출 장치 및 그 검증 방법
CN111652018B (zh) 一种人脸注册方法和认证方法
JP2017182459A (ja) 顔画像認証装置
KR20020022295A (ko) 3차원 정보를 이용한 얼굴 인식 장치 및 방법
KR101362597B1 (ko) 사용자 인증기능을 갖는 이동통신단말기 및 그 사용자인증방법
JP5244345B2 (ja) 顔認証装置