JP2013239074A - 情報処理装置および情報処理方法、並びにプログラム - Google Patents

Abstract

【課題】安定的に顔認証を行うための顔画像を容易に取得する。
【解決手段】顔向き検出部は、登録の対象となる登録対象者の顔が写された画像から、顔の向きを検出し、周辺方向判定処理部は、顔向き検出部により検出された顔の向きが、正面方向以外の所定の周辺方向の規定範囲内であるか否かを判定する。そして、周辺方向判定処理部は、周辺方向の規定範囲内であると判定した画像を周辺方向の登録候補とし、方向分散判定処理部は、登録候補とされた画像のうちの、顔の向きが互いに十分に分散していると判定された所定枚数の画像を、登録用の周辺方向の画像とする。本技術は、例えば、顔認証システムに用いられる顔データ登録処理装置に適用できる。
【選択図】図１

Description

本開示は、情報処理装置および情報処理方法、並びにプログラムに関し、特に、安定的に顔認証を行うための顔画像を容易に取得することができるようにした情報処理装置および情報処理方法、並びにプログラムに関する。

近年、安定的な顔認証を行うために、同一の顔に対して複数枚の顔画像を登録する顔認証システムが増加している。

例えば、従来の顔認証システムでは、一定時間において一定枚数の顔画像を撮像して登録する処理が行われていた。しかしながら、このような処理では、顔認証を行う際に最も重要となる正面の顔が撮像された顔画像が取得されていなかったり、顔の向きが分散せずに一定の方向を向いている複数枚の顔画像が登録されることがあった。

これに対し、顔が正面を向いた顔画像、および、顔の向きが分散した複数枚の顔画像を登録するには、登録対象者に対して、厳密に方向を指示する必要があった。しかしながら、登録対象者に対して顔の向きを指示するもの（登録指示者や、登録を行うためのアプリケーションなど）の熟練度によっては、所望の画像を登録することができないことがあったり、登録に長時間を要することがあった。

このように、従来の顔認証システムでは、安定的な顔認証を行うことのできる認証精度の良い顔画像を取得することができない場合があった。

これに対し、特許文献１では、例えば、登録画像を登録するための指示部を用意し、顔の向きを変えるように指示する構成が採用された顔画像登録装置が提案されている。

特開２００９−２５８９９１号公報

しかしながら、特許文献１で開示されているような、顔の向きを変えるように指示する顔画像登録装置では、装置自体の熟練度などに影響する可能性がある。そのため、安定した顔認証を行うことができる顔画像を容易に取得することが求められている。

本開示は、このような状況に鑑みてなされたものであり、安定的に顔認証を行うための顔画像を容易に取得することができるようにするものである。

本開示の一側面の情報処理装置は、登録の対象となる登録対象者の顔が写された画像から、前記顔の向きを検出する顔向き検出部と、前記顔向き検出部により検出された前記顔の向きが、正面方向以外の所定の周辺方向の規定範囲内であると判定された前記画像を、周辺方向の登録候補とする周辺方向判定処理部と、前記周辺方向判定処理部により登録候補とされた前記画像のうちの、前記顔の向きが互いに十分に分散していると判定された所定枚数の前記画像を、登録用の周辺方向の画像とする方向分散判定処理部とを備える。

本開示の一側面の情報処理方法またはプログラムは、登録の対象となる登録対象者の顔が写された画像から、前記顔の向きを検出し、検出された前記顔の向きが、正面方向以外の所定の周辺方向の規定範囲内であると判定された前記画像を、周辺方向の登録候補とし、登録候補とされた前記画像のうちの、前記顔の向きが互いに十分に分散していると判定された所定枚数の前記画像を、登録用の周辺方向の画像とするステップを含む。

本開示の一側面においては、登録の対象となる登録対象者の顔が写された画像から、顔の向きが検出され、その顔の向きが、正面方向以外の所定の周辺方向の規定範囲内であると判定された画像が、周辺方向の登録候補とされる。そして、登録候補とされた画像のうちの、顔の向きが互いに十分に分散していると判定された所定枚数の前記画像が、登録用の周辺方向の画像とされる。

本開示の一側面によれば、安定的に顔認証を行うための顔画像を容易に取得する。

本技術を適用した情報処理装置の一実施の形態の構成例を示すブロック図である。 登録対象者の顔の向きを説明する図である。 正面方向判定処理を説明する図である。 周辺方向判定処理を説明する図である。 凸包を説明する図である。 凸包の更新について説明する図である。 凸包の面積について説明する図である。 顔データ登録処理を説明するフローチャートである。 正面方向判定処理を説明するフローチャートである。 正面方向判定処理の他の例を説明するフローチャートである。 周辺方向判定処理を説明するフローチャートである。 方向分散判定処理を説明するフローチャートである。 登録中の顔画像の顔向きの可視化について説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図１は、本技術を適用した情報処理装置の一実施の形態の構成例を示すブロック図である。

図１において、情報処理装置１１は、撮像部１２、記憶部１３、表示部１４、および顔データ登録処理部１５を備えて構成され、顔認識処理において参照される顔データを登録する顔データ登録処理を行う。

撮像部１２は、例えば、CCD（Charge Coupled Device）センサやCMOS(Complementary Metal Oxide Semiconductor)センサなどの撮像素子を有して構成される。撮像部１２は、顔データを登録する対象となる登録対象者の顔を連続的に撮像して、登録対象者の顔が写された画像（以下、適宜、顔画像と称する）を顔データ登録処理部１５に供給する。

記憶部１３は、例えば、ハードディスクドライブやフラッシュメモリ（例えば、EEPROM（Electronically Erasable and Programmable Read Only Memory））などを有して構成され、顔データ登録処理部１５から供給される顔データを記憶する。

表示部１４は、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネルなどを有して構成され、顔データ登録処理部１５により顔データ登録処理が行われる際に、登録対象者に対するメッセージや画像などを表示する。例えば、表示部１４は、登録対象者に対して、顔の正面および任意方向を連続的に撮像する旨を示すメッセージを表示する。

顔データ登録処理部１５は、CPU（Central Processing Unit）およびメモリを有して構成され、CPUがメモリに記憶されているプログラムを実行することによって、登録対象者の顔画像から得られる顔データを登録する顔データ登録処理を行う。例えば、顔データ登録処理部１５は、顔データ登録処理において、撮像部１２に対して正面を向いた状態の顔が写された顔画像と、撮像部１２に対して周辺方向（正面以外の任意の方向）を向いた状態の顔が写された所定枚数の顔画像とを、登録用の顔画像とする。そして、顔データ登録処理部１５は、それらの登録用の顔画像に写されている顔の特徴量からなる顔データ（テンプレートデータ）を登録する。

図１に示すように、顔データ登録処理部１５は、画像保持部２１、顔向き検出部２２、正面方向判定処理部２３、周辺方向判定処理部２４、方向分散判定処理部２５、登録処理部２６、および表示処理部２７を備えて構成される。

画像保持部２１は、撮像部１２から連続的に供給される顔画像を保持する。顔データ登録処理部１５では、撮像部１２から画像保持部２１に新たな顔画像が供給されるたびに、その顔画像を判定対象として処理が行われる。

顔向き検出部２２は、判定対象となる顔画像を画像保持部２１から読み出して画像解析を行い、その顔画像に写されている登録対象者の顔の向きを検出する。

例えば、顔向き検出部２２は、図２に示すように、ピッチ方向（pitch）の顔の角度を示すピッチ値ｐ、ヨー方向（yaw）の顔の角度を示すヨー値ｙ、および、ロール方向（roll）の顔の角度を示すロール値ｒを、登録対象者の顔の向きとして検出する。即ち、顔向き検出部２２は、１枚の顔画像に対して、ピッチ値ｐ、ヨー値ｙ、およびロール値ｒのセットを求める。なお、図２の例では、登録対象者の顔の正面方向（ｘ軸方向）に、情報処理装置１１の撮像部１２が配置されており、登録対象者が正確に正面を向いていて、顔が傾いていない場合には、ピッチ値ｐ、ヨー値ｙ、およびロール値ｒは、いずれもゼロとなる。ここで、本実施の形態では、ピッチ値ｐおよびヨー値ｙを用いて顔の方向を判定する処理について説明を行う。

そして、顔向き検出部２２は、判定対象の顔画像から検出したピッチ値ｐおよびヨー値ｙの２乗和を演算して方向尺度Ｄ^２（Ｄ^２＝ｐ^２＋ｙ^２）を求め、正面方向判定処理部２３および周辺方向判定処理部２４に供給する。

正面方向判定処理部２３は、顔向き検出部２２から供給される方向尺度Ｄ^２に基づいて、判定対象の顔画像における登録対象者の顔が正面方向を向いているか否かを判定する正面方向判定処理を行う。正面方向判定処理部２３は、正面方向判定処理において登録対象者の顔が正面方向を向いていると判定した場合、その判定対象の顔画像を、正面方向の登録候補として画像保持部２１に保存させる。なお、正面方向判定処理については、図３を参照して後述する。

周辺方向判定処理部２４は、顔向き検出部２２から供給される方向尺度Ｄ^２に基づいて、判定対象の顔画像における登録対象者の顔の方向が、顔認識において認識精度が低下しない程度とされる適切な周辺方向の規定範囲内であるか否かを判定する周辺方向判定処理を行う。周辺方向判定処理部２４は、周辺方向判定処理において登録対象者の顔の方向が適切な周辺方向の規定範囲内であると判定した場合、その判定対象の顔画像を周辺方向の登録候補とする。なお、周辺方向判定処理については、図４を参照して後述する。

方向分散判定処理部２５は、周辺方向判定処理部２４が、判定対象の顔画像を新たに周辺方向の登録候補とすると、その顔画像のピッチ値ｐおよびヨー値ｙを顔向き検出部２２から読み出す。そして、方向分散判定処理部２５は、他の周辺方向の登録候補とされた顔画像のピッチ値ｐおよびヨー値ｙと比較して、それらの顔画像における登録対象者の顔の向きが互いに十分に分散しているか否かを判定する方向分散判定処理を行う。なお、方向分散判定処理については、図５乃至図７を参照して後述する。

方向分散判定処理部２５は、周辺方向の登録候補とされた顔画像のうちの、方向分散判定処理において登録対象者の顔の向きが互いに十分に分散していると判定された所定枚数の顔画像を、登録用の周辺方向の顔画像として決定して画像保持部２１に保存させる。

登録処理部２６には、方向分散判定処理部２５が登録用の周辺方向の顔画像を決定すると、それらの顔画像と、その時点において正面方向の登録候補として保存されている顔画像とが画像保持部２１から供給される。そして、登録処理部２６は、画像保持部２１から供給された顔画像から登録対象者の顔の特徴量を算出して、それらの特徴量からなる顔データを記憶部１３に供給して記憶させる。

表示処理部２７は、顔データ登録処理部１５において顔データ登録処理が行われている間、例えば、顔の正面および任意方向を連続的に撮像する旨を示すメッセージを表示部１４に表示させる。また、表示処理部２７は、例えば、方向分散判定処理において互いに十分に分散していると判定された顔の向きを方向分散判定処理部２５から読み出し、視覚化して表示する（後述する図１３参照）。

次に、図３を参照して、正面方向判定処理部２３により行われる正面方向判定処理について説明する。

正面方向判定処理部２３は、顔向き検出部２２から供給された方向尺度Ｄ^２と、予め設定されている第１の方向尺度閾値Ｄ^２ _ｔｈｒ１と比較する。

そして、正面方向判定処理部２３は、方向尺度Ｄ^２が第１の方向尺度閾値Ｄ^２ _ｔｈｒ１未満である場合（Ｄ^２＜Ｄ^２ _ｔｈｒ１）には、登録対象者の顔が正面方向を向いていると判定する。即ち、図３に示すように、顔向き検出部２２が顔画像から検出したピッチ値ｐ_１およびヨー値ｙ_１が示す点Ｐ_１が、第１の方向尺度閾値Ｄ^２ _ｔｈｒ１の平方根（Ｄ_ｔｈｒ１）を半径とする円よりも内側にある場合、点Ｐ_１により表される顔の向きは正面方向であると判定される。

一方、正面方向判定処理部２３は、方向尺度Ｄ^２が第１の方向尺度閾値Ｄ^２ _ｔｈｒ１以上である場合（Ｄ^２≧Ｄ^２ _ｔｈｒ１）には、登録対象者の顔が正面方向を向いていないと判定する。即ち、図３に示すように、顔向き検出部２２が顔画像から検出したピッチ値ｐ_２およびヨー値ｙ_２が示す点Ｐ_２が、第１の方向尺度閾値Ｄ^２ _ｔｈｒ１の平方根（Ｄ_ｔｈｒ１）を半径とする円の外側にある場合、点Ｐ_２により表される顔の向きは正面方向でないと判定される。

このように、正面方向判定処理部２３は、正面方向判定処理において、第１の方向尺度閾値Ｄ^２ _ｔｈｒ１を半径とする円の内側に、顔画像から検出した顔の向き（ピッチ値およびヨー値が示す点Ｐ）が存在する場合、顔の向きは正面方向であると判定する。

なお、正面方向判定処理部２３は、例えば、撮像部１２により顔画像が撮像されるたびに正面方向判定処理を行うことができる。または、正面方向判定処理部２３は、正面方向の登録候補を一度決定した後には、正面方向判定処理を省略することができる。

次に、図４を参照して、周辺方向判定処理部２４により行われる周辺方向判定処理について説明する。

周辺方向判定処理部２４は、顔向き検出部２２から供給された方向尺度Ｄ^２と、予め設定されている第１の方向尺度閾値Ｄ^２ _ｔｈｒ１および第２の方向尺度閾値Ｄ^２ _ｔｈｒ２と比較する。なお、第２の方向尺度閾値Ｄ^２ _ｔｈｒ２は、正面方向を決めるためのものではないことより、図４に示すように、上述の第１の方向尺度閾値Ｄ^２ _ｔｈｒ１よりも大きな値（Ｄ^２ _ｔｈｒ２＞Ｄ^２ _ｔｈｒ１）に設定される。

そして、周辺方向判定処理部２４は、方向尺度Ｄ^２が第１の方向尺度閾値Ｄ^２ _ｔｈｒ１以上であって、かつ、第２の方向尺度閾値Ｄ^２ _ｔｈｒ２未満である場合（Ｄ^２ _ｔｈｒ１≦Ｄ^２＜Ｄ^２ _ｔｈｒ２）には、登録対象者の顔の方向が、顔認識において認識精度が低下しない程度とされる適切な周辺方向の規定範囲内であると判定する。即ち、図４に示すように、顔向き検出部２２が顔画像から検出したピッチ値ｐ_２およびヨー値ｙ_２が示す点Ｐ_２が、第１の方向尺度閾値Ｄ^２ _ｔｈｒ１の平方根（Ｄ_ｔｈｒ１）を半径とする円の外側にあり、かつ、第２の方向尺度閾値Ｄ^２ _ｔｈｒ２の平方根（Ｄ_ｔｈｒ２）を半径とする円よりも内側にある場合、点Ｐ_２により表される顔の向きは規定範囲内であると判定される。

一方、周辺方向判定処理部２４は、方向尺度Ｄ^２が第２の方向尺度閾値Ｄ^２ _ｔｈｒ２以上である場合（Ｄ^２≧Ｄ^２ _ｔｈｒ２）には、登録対象者の顔の方向が、顔認識において認識精度が低下しない程度とされる適切な周辺方向の規定範囲内ではないと判定する。即ち、図４に示すように、顔向き検出部２２が顔画像から検出したピッチ値ｐ_３およびヨー値ｙ_３が示す点Ｐ_３が、第２の方向尺度閾値Ｄ^２ _ｔｈｒ２の平方根（Ｄ_ｔｈｒ２）を半径とする円の外側にある場合、点Ｐ_３により表される顔の向きは規定範囲内ではないと判定される。

このように、周辺方向判定処理部２４は、撮像部１２により撮像される顔画像から、方向尺度Ｄ^２が第２の方向尺度閾値Ｄ^２ _ｔｈｒ２以上となるような顔の向きの顔画像、即ち、顔の正面から大きくズレた顔の向きの顔画像を除外する。

次に、図５乃至図７を参照して、方向分散判定処理部２５により行われる方向分散判定処理について説明する。

方向分散判定処理部２５は、周辺方向判定処理部２４が登録対象者の顔の方向が適切な周辺方向の規定範囲内であると判定した顔画像から得られたピッチ値ｐおよびヨー値ｙを、顔向き検出部２２から読み出す。そして、方向分散判定処理部２５は、ピッチ値ｐおよびヨー値ｙにより表される座標点により形成される凸包を求める凸包計算を行う。

ここで、方向分散判定処理部２５は、図５に示すように、複数の座標点がプロットされたＸＹ平面において、座標点を直線で結んで全ての座標点を含むような凸形状を形成したときの多角形の頂点となる座標点の集合を凸包計算対象Ｃとする。つまり、図５において、バツ印（×）で示されている座標点は凸包計算対象Ｃには含まれず、黒丸印（●）で示されている座標点が凸包計算対象Ｃに含まれる。凸包計算対象Ｃは、ピッチ値ｐおよびヨー値ｙの座標点列により表される。

一般的に、凸包を計算するためには、少なくとも３点の座標点が必要となる。従って、方向分散判定処理部２５は、周辺方向判定処理部２４が３枚の顔画像を周辺方向の登録候補とするまでは凸包計算を行わずに、それらの顔画像から得られるピッチ値ｐおよびヨー値ｙを保持する。そして、方向分散判定処理部２５は、周辺方向判定処理部２４が４枚目の顔画像を周辺方向の登録候補とすると凸包計算を行い、凸包計算により新規に得られる凸包計算対象Ｃ^ｎｅｗを保持する。その後、方向分散判定処理部２５は、周辺方向判定処理部２４が新たな周辺方向の登録候補を決定するたびに、新たな顔画像から得られるピッチ値ｐおよびヨー値ｙを用いて凸包計算を繰り返して行う。

方向分散判定処理部２５は、凸包計算を行った後、凸包により形成される多角形の面積である凸包面積Ｓ_ｃｈを計算し、最大の面積となる凸包最大面積Ｓ_ｔｈ ^ｍａｘを保持する。そして、方向分散判定処理部２５は、新たに凸包計算を行うたびに、それまでの凸包最大面積Ｓ_ｔｈ ^ｍａｘより大きい場合には凸包を更新することを繰り返して、登録対象者の顔の向きの分散を行う。

また、例えば、方向分散判定処理部２５は、予め４つの領域（第１象限〜第４象限）を設定し、それぞれの領域において１つの周辺方向候補を選択して、４つの点により凸包計算を行う処理を採用することができる。このような処理では、方向分散判定処理部２５は、ピッチ値ｐおよびヨー値ｙの符号判定を行って、いずれの領域に属するかを判定し、４つの領域ごとに登録候補となる１つの座標点Ｐを求める。そして、方向分散判定処理部２５は、各領域において登録候補となる座標点Ｐが求められた後、４つの領域の座標点Ｐで形成される凸包の凸包面積Ｓ_ｃｈを計算する。その後、方向分散判定処理部２５は、周辺方向判定処理部２４が新たな周辺方向の登録候補を決定するたびに、新たな座標点Ｐを含めた５点を用いて凸包計算を行い、凸包面積Ｓ_ｃｈが大きな座標点Ｐを選択して、凸包の更新を繰り返す。

例えば、図６に示すように、凸包計算対象Ｃとして、第１象限の座標点Ｐ_１、第２象限の座標点Ｐ_２、第３象限の座標点Ｐ_３、および第４象限の座標点Ｐ_４が保持されているとする。このとき、図６でハッチングが施されている領域の面積が、座標点Ｐ_１乃至Ｐ_４からなる凸包計算対象Ｃの凸包面積Ｓ_ｃｈであり、この時点での凸包最大面積Ｓ_ｔｈ ^ｍａｘである。

ここに、周辺方向判定処理部２４が新たな周辺方向の登録候補を決定すると、方向分散判定処理部２５は、その顔画像から得られるピッチ値ｐおよびヨー値ｙの符号判定を行う。そして、図６に示すように、新たなピッチ値ｐおよびヨー値ｙにより表される座標点Ｐが第１象限にある場合、方向分散判定処理部２５は、座標点Ｐと座標点Ｐ_２乃至Ｐ_４とからなる新たな凸包計算対象Ｃ^ｎｅｗの凸包面積Ｓ_ｃｈを求める。そして、方向分散判定処理部２５は、新たな凸包計算対象Ｃ^ｎｅｗの凸包面積Ｓ_ｃｈが、座標点Ｐ_１乃至Ｐ_４からなる凸包計算対象Ｃの凸包面積Ｓ_ｃｈよりも大きい場合、凸包を更新する。即ち、新たな凸包計算対象Ｃ^ｎｅｗを凸包計算対象Ｃとし、新たな凸包計算対象Ｃ^ｎｅｗの凸包面積Ｓ_ｃｈを凸包最大面積Ｓ_ｔｈ ^ｍａｘとする。

このように、周辺方向判定処理部２４は、凸包面積Ｓ_ｃｈが広がるように凸包計算対象Ｃを更新する処理を繰り返すことで、登録対象者の顔の向きを分散することができる。

ところで、方向分散判定処理部２５が凸包を計算する過程で、第１象限から第４象限までのそれぞれに座標点Ｐ_１乃至Ｐ_４が設定されたとしても、登録対象者の顔の向きが十分に分散されないことが懸念されることもある。

例えば、図７Ａに示すように、登録対象者の顔がピッチ方向にのみ大きく変化し、ヨー方向には変化しない場合には、精度の良い顔認証をすることは困難となる。そこで、方向分散判定処理部２５は、凸包面積Ｓ_ｃｈに対して凸包面積閾値Ｓ_ｃｈ ^ｔｈｒを設定しておき、凸包面積閾値Ｓ_ｃｈ ^ｔｈｒ以上となるまで凸包を更新する。これにより、図７Ａに示すような凸包となるようなことが回避され、登録対象者の顔の向きが十分に分散された顔画像を取得することができる。

例えば、図７Ｂに示すように、第２の方向尺度閾値Ｄ^２ _ｔｈｒ２の平方根（Ｄ_ｔｈｒ２）を半径とする円に内接する四角形の頂点となるような座標点Ｐ_１乃至Ｐ_４を取得することが最も理想的な凸包となる。

そして、方向分散判定処理部２５は、凸包面積閾値Ｓ_ｃｈ ^ｔｈｒ以上となった凸包面積Ｓ_ｃｈの凸包計算対象Ｃに含まれる座標点Ｐ_１乃至Ｐ_４を示すピッチ値ｐおよびヨー値ｙが求められた顔画像を、登録用の周辺方向の顔画像とする。

次に、図８のフローチャートを参照して、顔データ登録処理部１５において行われる顔データ登録処理を説明する。

例えば、顔データ登録処理を実行するように登録対象者が情報処理装置１１に対する操作を行うと、ステップＳ１１において、顔データ登録処理部１５では初期化が行われる。例えば、ステップＳ１１において、方向分散判定処理部２５は、方向分散判定処理において凸包計算に使用するパラメータである凸包計算対象カウント値ｎ_ｃｈおよび最大凸包面積Ｓ_ｃｈ ^ｍａｘを初期化して、０に設定する。

ステップＳ１２において、撮像部１２は、顔画像を撮像して画像保持部２１に供給する。

ステップＳ１３において、顔向き検出部２２は、判定対象となる顔画像を画像保持部２１から読み出して顔向きを検出し、ピッチ値ｐおよびヨー値ｙを求める。

ステップＳ１４において、顔向き検出部２２は、ステップＳ１３で検出したピッチ値ｐおよびヨー値ｙから方向尺度Ｄ^２（Ｄ^２＝ｐ^２＋ｙ^２）を算出し、正面方向判定処理部２３および周辺方向判定処理部２４に供給する。

ステップＳ１５において、正面方向判定処理部２３は、判定対象の顔画像における登録対象者の顔が正面方向を向いているか否かを判定する正面方向判定処理（図９または図１０）を行う。

ステップＳ１６において、周辺方向判定処理部２４は、判定対象の顔画像における登録対象者の顔の方向が、顔認識において認識精度が低下しない程度とされる適切な周辺方向の規定範囲内であるか否かを判定する周辺方向判定処理（図１１）を行う。

ステップＳ１７において、周辺方向判定処理部２４は、ステップＳ１６の周辺方向判定処理の結果に基づいて、登録対象者の顔の方向は周辺方向の規定範囲内であるか否かを判定する。

ステップＳ１７において、周辺方向判定処理部２４が、登録対象者の顔の方向は周辺方向の規定範囲内でないと判定した場合、処理はステップＳ１２に戻り、以下、同様の処理が繰り返される。一方、ステップＳ１７において、周辺方向判定処理部２４が、登録対象者の顔の方向は周辺方向の規定範囲内であると判定した場合、処理はステップＳ１８に進む。

ステップＳ１８において、方向分散判定処理部２５は、登録対象者の顔の向きが互いに十分に分散しているか否かを判定する方向分散判定処理（図１２）を行う。

ステップＳ１９において、方向分散判定処理部２５は、ステップＳ１８の方向分散判定処理の結果に基づいて、登録対象者の顔の向きが互いに十分に分散した顔画像が得られたか否かを判定する。

ステップＳ１９において、方向分散判定処理部２５が、登録対象者の顔の向きが互いに十分に分散した顔画像が得られていないと判定した場合、処理はステップＳ１２に戻り、以下、同様の処理が繰り返される。一方、ステップＳ１９において、方向分散判定処理部２５が、登録対象者の顔の向きが互いに十分に分散した顔画像が得られたと判定した場合、処理はステップＳ２０に進む。

ステップＳ２０において、登録処理部２６は、正面方向判定処理部２３が正面方向の登録候補とした顔画像、および、方向分散判定処理部２５が決定した登録用の周辺方向の顔画像から特徴量を算出する。そして、登録処理部２６は、それらの特徴量からなる顔データを記憶部１３に供給して記憶させる登録処置を行い、顔データ登録処理は終了する。

次に、図９は、図８のステップＳ１５における正面方向判定処理を説明するフローチャートである。

ステップＳ３１において、正面方向判定処理部２３は、図８のステップＳ１４で算出された方向尺度Ｄ^２は、第１の方向尺度閾値Ｄ^２ _ｔｈｒ１未満であるか否かを判定する。ステップＳ３１において、正面方向判定処理部２３が、方向尺度Ｄ^２は第１の方向尺度閾値Ｄ^２ _ｔｈｒ１未満であると判定した場合、処理はステップＳ３２に進む。

ステップＳ３２において、正面方向判定処理部２３は、方向尺度Ｄ^２は最小方向尺度Ｄ^２ _ｍｉｎ未満であるか否かを判定する。ここで、最小方向尺度Ｄ^２ _ｍｉｎは、正面方向判定処理が繰り返して行われるときに、それまでの正面方向判定処理で第１の方向尺度閾値Ｄ^２ _ｔｈｒ１未満であると判定された方向尺度Ｄ^２のうちの最小値が設定される。なお、初回の正面方向判定処理では最小方向尺度Ｄ^２ _ｍｉｎは設定されていないため、初回のステップＳ３２では方向尺度Ｄ^２は最小方向尺度Ｄ^２ _ｍｉｎ未満であると判定される。

ステップＳ３２において、正面方向判定処理部２３が、方向尺度Ｄ^２は最小方向尺度Ｄ^２ _ｍｉｎ未満であると判定した場合、処理はステップＳ３３に進み、正面方向判定処理部２３は、判定対象の方向尺度Ｄ^２を最小方向尺度Ｄ^２ _ｍｉｎに設定して更新する。

ステップＳ３４において、正面方向判定処理部２３は、最小方向尺度Ｄ^２ _ｍｉｎに設定した判定対象の顔画像を、正面方向の登録候補として画像保持部２１に保存させる。

ステップＳ３４の処理後、ステップＳ３１で方向尺度Ｄ^２は第１の方向尺度閾値Ｄ^２ _ｔｈｒ１未満でないと判定された場合、または、ステップＳ３２で方向尺度Ｄ^２は最小方向尺度Ｄ^２ _ｍｉｎ未満でないと判定された場合、正面方向判定処理は終了する。

このように、正面方向判定処理部２３は、顔画像が撮像されるたびに正面方向判定処理を行って、方向尺度Ｄ^２がより小さな顔画像となるように正面方向の登録候補を更新することにより、より正面を向いた顔の顔データを登録することができる。なお、正面方向判定処理部２３は、処理を簡略化するために、正面方向の登録候補となる顔画像を一度決定した後には、正面方向の登録候補の更新を行わないように処理を行うことができる。

次に、図１０は、図８のステップＳ１５における正面方向判定処理の他の例を説明するフローチャートである。

ステップＳ４１において、正面方向判定処理部２３は、正面方向の登録候補となる顔画像が既に存在しているか否かを判定し、正面方向の登録候補となる顔画像が存在していないと判定された場合、処理はステップＳ４２に進む。

ステップＳ４２において、正面方向判定処理部２３は、図９のステップＳ３２と同様に、方向尺度Ｄ^２は最小方向尺度Ｄ^２ _ｍｉｎ未満であるか否かを判定し、方向尺度Ｄ^２は最小方向尺度Ｄ^２ _ｍｉｎ未満であると判定された場合、処理はステップＳ４３に進む。

ステップＳ４３において、正面方向判定処理部２３は、最小方向尺度Ｄ^２ _ｍｉｎ未満であると判定された方向尺度Ｄ^２である判定対象の顔画像を、正面方向の登録候補として画像保持部２１に保存させる。

ステップＳ４３の処理後、ステップＳ４１で正面方向の登録候補となる顔画像が既に存在していると判定された場合、または、ステップＳ４２で方向尺度Ｄ^２は最小方向尺度Ｄ^２ _ｍｉｎ未満でないと判定された場合、正面方向判定処理は終了する。

このように、正面方向判定処理部２３は、正面方向の登録候補となる顔画像を一度決定した後には、正面方向の登録候補の更新を行わないことで、処理を簡略化し、システムの負荷を低減させることができる。

次に、図１１は、図８のステップＳ１６における周辺方向判定処理を説明するフローチャートである。

ステップＳ５１において、周辺方向判定処理部２４は、図８のステップＳ１４で算出された方向尺度Ｄ^２が、第１の方向尺度閾値Ｄ^２ _ｔｈｒ１以上であり、かつ、第２の方向尺度閾値Ｄ^２ _ｔｈｒ２未満であるか否かを判定する。

ステップＳ５１において、周辺方向判定処理部２４が、方向尺度Ｄ^２は第１の方向尺度閾値Ｄ^２ _ｔｈｒ１以上であり、かつ、第２の方向尺度閾値Ｄ^２ _ｔｈｒ２未満であると判定した場合、処理はステップＳ５２に進む。ステップＳ５２において、周辺方向判定処理部２４は、判定処理の結果を、登録対象者の顔の方向は周辺方向の規定範囲内であるとし、判定対象の顔画像を周辺方向の登録候補とする。

一方、ステップＳ５１において、周辺方向判定処理部２４が、方向尺度Ｄ^２は第１の方向尺度閾値Ｄ^２ _ｔｈｒ１以上でなく、第２の方向尺度閾値Ｄ^２ _ｔｈｒ２未満でないと判定した場合、処理はステップＳ５３に進む。即ち、方向尺度Ｄ^２が第１の方向尺度閾値Ｄ^２ _ｔｈｒ１未満である場合、または、方向尺度Ｄ^２が第２の方向尺度閾値Ｄ^２ _ｔｈｒ２以上である場合には、処理はステップＳ５３に進む。ステップＳ５３において、周辺方向判定処理部２４は、判定処理の結果を、登録対象者の顔の方向は周辺方向の規定範囲内でないとする。

ステップＳ５２またはＳ５３の処理後、周辺方向判定処理は終了する。

次に、図１２は、図８のステップＳ１８における方向分散判定処理を説明するフローチャートである。

ステップＳ６１において、方向分散判定処理部２５は、凸包計算対象Ｃに含まれる座標点の数をカウントする凸包計算対象カウント値ｎ_ｃｈをインクリメント（ｎ_ｃｈ＝ｎ_ｃｈ＋１）する。

ステップＳ６２において、方向分散判定処理部２５は、周辺方向判定処理部２４により新たな周辺方向の登録候補として決定された顔画像から得られるピッチ値ｐおよびヨー値ｙを顔向き検出部２２から取得する。そして、方向分散判定処理部２５は、現在の凸包計算対象Ｃに、新たに取得したピッチ値ｐおよびヨー値ｙにより表される座標点を追加した凸包計算対象Ｃ^ｎｅｗを保持する。

ステップＳ６３において、方向分散判定処理部２５は、現在の凸包計算対象カウント値ｎ_ｃｈが４以上であるか否かを判定し、現在の凸包計算対象カウント値ｎ_ｃｈが４以上であると判定した場合（ｎ_ｃｈ≧４）、処理はステップＳ６３に進む。

ステップＳ６３において、方向分散判定処理部２５は、凸包計算対象Ｃ^ｎｅｗを用いて凸包計算を行い、ステップＳ６４において、方向分散判定処理部２５は、ステップＳ６３で求めた凸包の凸包面積Ｓ_ｃｈを算出する。

ステップＳ６６において、方向分散判定処理部２５は、ステップＳ６５で算出した凸包面積Ｓ_ｃｈが凸包最大面積Ｓ_ｔｈ ^ｍａｘより大きいか否かを判定する。ステップＳ６６において、方向分散判定処理部２５が、ステップＳ６５で算出した凸包面積Ｓ_ｃｈは凸包最大面積Ｓ_ｔｈ ^ｍａｘより大きいと判定した場合（Ｓ_ｃｈ＞Ｓ_ｔｈ ^ｍａｘ）、処理はステップＳ６７に進む。

ステップＳ６７において、方向分散判定処理部２５は凸包を更新し、ステップＳ６３で求めた凸包計算対象Ｃ^ｎｅｗを凸包計算対象Ｃとし、ステップＳ６４で算出した凸包面積Ｓ_ｃｈを凸包最大面積Ｓ_ｔｈ ^ｍａｘとする。

ステップＳ６８において、方向分散判定処理部２５は、ステップＳ６４で算出した凸包面積Ｓ_ｃｈが凸包面積閾値Ｓ_ｃｈ ^ｔｈｒ以上であるか否かを判定する。ステップＳ６８において、方向分散判定処理部２５が、ステップＳ６４で算出した凸包面積Ｓ_ｃｈは凸包面積閾値Ｓ_ｃｈ ^ｔｈｒ以上であると判定した場合（Ｓ_ｃｈ≧Ｓ_ｃｈ ^ｔｈｒ）、処理はステップＳ６９に進む。

ステップＳ６９において、方向分散判定処理部２５は、判定処理の結果を、登録対象者の顔の向きが互いに十分に分散した顔画像が得られたとする。

一方、ステップＳ６３で現在の凸包計算対象カウント値ｎ_ｃｈが４以上でないと判定された場合、ステップＳ６６で凸包面積Ｓ_ｃｈが凸包最大面積Ｓ_ｔｈ ^ｍａｘより大きくない（以下である）と判定された場合、また、ステップＳ６８で凸包面積Ｓ_ｃｈが凸包面積閾値Ｓ_ｃｈ ^ｔｈｒ以上でない（未満である）と判定された場合、処理はステップＳ７０に進む。ステップＳ７０において、方向分散判定処理部２５は、判定処理の結果を、登録対象者の顔の向きが互いに十分に分散した顔画像が得られていないとする。

ステップＳ６９またはＳ７０の処理後、方向分散判定処理は終了する。

以上のように、情報処理装置１１では、例えば、登録対象者に対して、顔の正面および任意方向を連続的に撮像する旨を示すメッセージを表示するだけで、安定的に顔認証を行うための顔画像を容易に取得することができる。特に、情報処理装置１１では、正面方向を向いている顔画像と、周辺方向を向いていて互いに方向が分散している所定枚数の顔画像を取得することができるので、顔認証処理の精度を向上させることができる。

従って、登録対象者が、顔を自由に動かすだけで顔データを登録することができ、情報処理装置１１は、従来のように登録対象者に対して顔の向きを指示するものの熟練度などの影響を排除することができる。

ところで、登録対象者が自由に顔を動かしたとしても、理想的な凸包を取得することができないことも想定される。そこで、情報処理装置１１では、例えば、図６に示したような凸包計算対象Ｃの凸包面積Ｓ_ｃｈを表示部１４に表示することで、理想的な凸包を取得することができるように顔を動かせることができる。

即ち、図１３に示すように、登録対象者の正面に正対するように表示部１４を配置させ、方向分散判定処理において登録候補とされた顔画像に対応する座標点がヨーおよびピッチ座標空間上に配置されて形成される四角形（凸包）を表示部１４に表示することができる。そして、情報処理装置１１では、登録対象者が顔の向きを変えるのに応じて、方向分散判定処理で凸包計算対象Ｃが更新され、表示部１４に表示された座標点により形成される四角形が変形する過程が視覚化して表示される。

このとき、表示部１４に、表示部１４に表示された座標点により形成される四角形の面積が広がるように顔を動かすことを示唆するメッセージを表示するだけで、目的とする理想的な凸包を取得すること、即ち、方向が分散した顔画像を撮像することができる。

また、周辺方向判定処理部２４は、顔認識において認識精度が低下しない程度とされる適切な周辺方向の規定範囲を象限または角度による制限を設けて、規定範囲の象限または角度ごとに周辺方向の登録候補とする画像を保存させてもよい。これにより、登録対象者に対して、より安定して顔の向きの分散を促すことができる。

なお、上述した実施の形態では、ピッチ値ｐおよびヨー値ｙを用いて顔の方向を判定する処理について説明を行ったが、ロール値ｒを含めて顔の方向を判定する処理を行ってもよい。その場合には、３次元的に処理が行われ、２次元的な凸包による多角形ではなく、立体的な多面体を用いて計算が行われる。また、正面方向判定処理および周辺方向判定処理で用いられる方向尺度Ｄ^２は、ロール値ｒを含めて、Ｄ^２＝ｐ^２＋ｙ^２＋ｒ^２により求められる。

また、情報処理装置１１では、撮像部１２により撮像された画像の他、例えば、予め撮像されている画像を顔データ登録処理部１５に供給して、その画像の中から、所望の向きの顔画像を取得することができる。従って、情報処理装置１１は、顔認証用に画像を登録することを意識していない連続画像からも、可能な限り方向が分散した顔画像を取得することができる。

さらに、本技術は、顔認証システムに用いられる顔データ登録処理装置に用いることができる他、例えば、スマートフォンなどのようにユーザ認証の必要な個人的な機器に用いることができる。

なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。

また、上述した一連の処理（情報処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。

図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、本技術は以下のような構成も取ることができる。
（１）
登録の対象となる登録対象者の顔が写された画像から、前記顔の向きを検出する顔向き検出部と、
前記顔向き検出部により検出された前記顔の向きが、正面方向以外の所定の周辺方向の規定範囲内であると判定された前記画像を、周辺方向の登録候補とする周辺方向判定処理部と、
前記周辺方向判定処理部により登録候補とされた前記画像のうちの、前記顔の向きが互いに十分に分散していると判定された所定枚数の前記画像を、登録用の周辺方向の画像とする方向分散判定処理部と
を備える情報処理装置。
（２）
前記顔向き検出部により検出された顔の向きが正面方向であると判定された前記画像を、正面方向の登録候補とする正面方向判定処理部
をさらに備える上記（１）に記載の情報処理装置。
（３）
前記正面方向判定処理部は、前記顔向き検出部により検出された顔の向きを示すピッチ値およびヨー値の２乗和が、所定の第１の閾値未満である場合、前記画像の顔の向きが正面方向であると判定する
上記（１）または（２）に記載の情報処理装置。
（４）
前記周辺方向判定処理部は、前記顔向き検出部により検出された顔の向きを示すピッチ値およびヨー値の２乗和が、前記第１の閾値以上であり、かつ、前記第１の閾値より大きな第２の閾値未満である場合、前記画像の顔の向きが前記周辺方向の規定範囲内であると判定する
上記（１）から（３）までのいずれかに記載の情報処理装置。
（５）
前記方向分散判定処理部は、前記周辺方向判定処理部により登録候補とされた前記画像における顔の向きを示すピッチ値およびヨー値により示される座標点を含む凸包を計算し、前記凸包の面積が大きくなるように、前記周辺方向判定処理部により前記画像が登録候補とされるたびに前記凸包を更新する
上記（１）から（４）までのいずれかに記載の情報処理装置。
（６）
前記方向分散判定処理部は、前記凸包の面積が所定の閾値以上となった場合、前記顔の向きが互いに十分に分散していると判定する
上記（１）から（５）までのいずれかに記載の情報処理装置。
（７）
前記方向分散判定処理部が前記凸包の計算対象としている前記座標点により形成される多角形を座標空間上に配置して表示する表示部
をさらに備える上記（１）から（６）までのいずれかに記載の情報処理装置。
（８）
前記方向分散判定処理部により登録用とされた周辺方向の前記画像に写されている前記顔から特徴量を算出して登録する登録処理部
をさらに備える上記（１）から（７）までのいずれかに記載の情報処理装置。
（９）
前記周辺方向判定処理部は、前記規定範囲を象限または角度による制限を設けて、前記規定範囲の象限または角度ごとに周辺方向の登録候補とする前記画像を設定する
上記（１）から（８）までのいずれかに記載の情報処理装置。

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

１１ 情報処理装置， １２ 撮像部， １３ 記憶部， １４ 表示部， １５ 顔データ登録処理部， ２１ 画像保持部， ２２ 顔向き検出部， ２３ 正面方向判定処理部， ２４ 周辺方向判定処理部， ２５ 方向分散判定処理部， ２６ 登録処理部， ２７ 表示処理部

Claims (11)

1. 登録の対象となる登録対象者の顔が写された画像から、前記顔の向きを検出する顔向き検出部と、
   前記顔向き検出部により検出された前記顔の向きが、正面方向以外の所定の周辺方向の規定範囲内であると判定された前記画像を、周辺方向の登録候補とする周辺方向判定処理部と、
   前記周辺方向判定処理部により登録候補とされた前記画像のうちの、前記顔の向きが互いに十分に分散していると判定された所定枚数の前記画像を、登録用の周辺方向の画像とする方向分散判定処理部と
   を備える情報処理装置。
2. 前記顔向き検出部により検出された顔の向きが正面方向であると判定された前記画像を、正面方向の登録候補とする正面方向判定処理部
   をさらに備える請求項１に記載の情報処理装置。
3. 前記正面方向判定処理部は、前記顔向き検出部により検出された顔の向きを示すピッチ値およびヨー値の２乗和が、所定の第１の閾値未満である場合、前記画像の顔の向きが正面方向であると判定する
   請求項２に記載の情報処理装置。
4. 前記周辺方向判定処理部は、前記顔向き検出部により検出された顔の向きを示すピッチ値およびヨー値の２乗和が、前記第１の閾値以上であり、かつ、前記第１の閾値より大きな第２の閾値未満である場合、前記画像の顔の向きが前記周辺方向の規定範囲内であると判定する
   請求項３に記載の情報処理装置。
5. 前記方向分散判定処理部は、前記周辺方向判定処理部により登録候補とされた前記画像における顔の向きを示すピッチ値およびヨー値により示される座標点を含む凸包を計算し、前記凸包の面積が大きくなるように、前記周辺方向判定処理部により前記画像が登録候補とされるたびに前記凸包を更新する
   請求項１に記載の情報処理装置。
6. 前記方向分散判定処理部は、前記凸包の面積が所定の閾値以上となった場合、前記顔の向きが互いに十分に分散していると判定する
   請求項１に記載の情報処理装置。
7. 前記方向分散判定処理部が前記凸包の計算対象としている前記座標点により形成される多角形を座標空間上に配置して表示する表示部
   をさらに備える請求項１に記載の情報処理装置。
8. 前記方向分散判定処理部により登録用とされた周辺方向の前記画像に写されている前記顔から特徴量を算出して登録する登録処理部
   をさらに備える請求項１に記載の情報処理装置。
9. 前記周辺方向判定処理部は、前記規定範囲を象限または角度による制限を設けて、前記規定範囲の象限または角度ごとに周辺方向の登録候補とする前記画像を設定する
   請求項１に記載の情報処理装置。
10. 登録の対象となる登録対象者の顔が写された画像から、前記顔の向きを検出し、
    検出された前記顔の向きが、正面方向以外の所定の周辺方向の規定範囲内であると判定された前記画像を、周辺方向の登録候補とし、
    登録候補とされた前記画像のうちの、前記顔の向きが互いに十分に分散していると判定された所定枚数の前記画像を、登録用の周辺方向の画像とする
    ステップを含む情報処理方法。
11. 登録の対象となる登録対象者の顔が写された画像から、前記顔の向きを検出し、
    検出された前記顔の向きが、正面方向以外の所定の周辺方向の規定範囲内であると判定された前記画像を、周辺方向の登録候補とし、
    登録候補とされた前記画像のうちの、前記顔の向きが互いに十分に分散していると判定された所定枚数の前記画像を、登録用の周辺方向の画像とする
    ステップを含む処理をコンピュータに実行させるプログラム。

Images