JP2012226598A - 個人認証装置、個人認証方法及びプログラム - Google Patents

Abstract

【課題】精度よく個人認証を行うとともに、個人認証に要する時間を抑えることができるようにする。
【解決手段】検出された顔領域から顔の解像度、顔の向き、顔の表情などの顔の状態を検出する。そして、１つの特徴データのみでも個人認証が可能な状態において、その前の顔の状態が１つの特徴データのみでも十分に個人認証が可能な状態であった場合には、用いる特徴データを１つし、その前の顔の状態が１つの特徴データでは個人認証が不十分である状態であった場合には、用いる特徴データを２つにするように適応的に切り替える。
【選択図】図１

Description

本発明は、特に、入力された画像から個人を認証する個人認証装置、個人認証方法及びプログラムに関する。

従来、顔検出機能を利用して個人認証を行う技術が知られている。この技術は、検出した顔画像データから個人ごとに異なる顔領域の特徴データを抽出し、予め登録した特徴データと比較することにより、検出した顔が登録されている人物か否かを識別するものである。しかしながら、上記特徴データは顔の解像度や向きなどの影響を受けるため、登録時と顔の解像度や向きなどが異なる場合には、個人認証の精度が下がってしまう。

そこで、このような問題点を解消するために、以下のような技術が開示されている。例えば、複数の顔画像データから３次元顔モデルを生成し、顔の向きを検知したときに検知した顔の向きによって、個人認証をするのに有効な向きの顔画像データを３次元顔モデルより生成する。そして、生成した顔画像データで個人認証を行う方法が知られている（例えば、特許文献１参照）。

特開２００９−４３０６５号公報 特開２００５−２６６９８１号公報

しかしながら、特許文献１に記載の方法では、顔の向きを検知してから顔画像データを生成し、個人認証に使用しているため、個人認証を行うまで多くの処理時間がかかってしまい、結果として認証率が下がってしまう。さらに、向きの異なる複数の顔画像データから、新たな向きの顔画像データを生成するという非常に複雑な処理を必要とする。

一方、顔の向きを検知してから顔画像データを生成すると多くの処理時間がかかってしまうため、顔画像データを予め用意しておくことが考えられる。この場合、いかなる顔の向きにも対応する顔画像データを登録すると、メモリの容量も膨大なものとなってしまうことから、正面向き、左向き、右向きなどの離散的な向きの顔画像データをいくつか登録しておく。そして、これら向きの異なる顔画像データを複数組み合わせて個人認証を行うことが考えられる。例えば、正面向きと右向きとの間の向きの顔であっても、正面向きで登録された顔画像データによる個人認証の評価値と、右向きで登録された顔画像データによる個人認証の評価値との総和を用いることにより、その人物が誰であるかを認証することが可能となる。

ここで、動画を撮影する時や、撮影準備のために被写体の様子をリアルタイムで動画としてモニターに表示するライブビュー時では、個人認証の対象となる人物の顔の向きも固定されているわけではなく、顔の向きが随時変化することが多い。どの顔の向きに対しても漏れなく個人認証をするためには、常に、複数の向きの異なる顔画像データによる評価値の総和を求めればよいが、個人認証に用いる顔画像データが増えるほど、個人認証に要する処理時間が増えてしまうことになる。

本発明は前述の問題点に鑑み、精度よく個人認証を行うとともに、個人認証に要する時間を抑えることができるようにすることを目的としている。

本発明の個人認証装置は、入力された画像データに含まれる人物の顔領域を検出する顔検出手段と、前記顔検出手段により検出された顔領域から顔の状態を検出する顔状態検出手段と、個人認証用の複数の特徴データを記憶する記憶手段と、前記顔状態検出手段により検出された顔の状態に基づいて、前記記憶手段から特徴データを選択する選択手段と、前記顔検出手段により検出された顔領域と前記選択手段により選択された特徴データとを比較することにより、個人を認識する認証手段とを備え、前記選択手段が、前記記憶手段から選択する特徴データの数を前記顔状態検出手段により前回検出された顔の状態に基づいて選択した特徴データの数よりも増やす場合と、減らす場合とで、前記顔状態検出手段により検出される顔の状態の閾値が異なることを特徴とする。

本発明によれば、精度よく個人認証を行うとともに、個人認証に要する時間を抑えることができる。

実施形態に係る撮像装置の概略構成例を示すブロック図である。 第１の実施形態における個人認証処理手順の一例を示すフローチャートである。 第１の実施形態において、顔の状態変化と、選択される特徴データの変化との関係を示す図である。 第２の実施形態における個人認証処理手順の一例を示すフローチャートである。 第２の実施形態において、顔の状態変化と、選択される特徴データの変化との関係を示す図である。 正面顔及び横顔の特徴データの一例を示す図である。

以下に、添付図面を参照しながら本発明の実施形態について詳細に説明する。以下に説明する実施形態は、本発明の実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。

（第１の実施形態）
図１は、本実施形態に係る撮像装置１００の概略構成例を示すブロック図である。
図１に示すように、レンズ系１０１によって被写体像を表す光線が集光され、ＣＣＤ等の撮像素子１０２に入射される。撮像素子１０２から出力された映像信号は、アナログ信号処理部１０３において相関二重サンプリング等のアナログ信号処理が行われる。アナログ信号処理部１０３から出力された映像信号は、Ａ／Ｄ変換部１０４においてデジタル信号である画像データに変換され、撮像系制御部１１１及びデジタル信号処理部１０５に入力される。デジタル信号処理部１０５においては、Ａ／Ｄ変換部１０４から出力された画像データに対してガンマ補正処理、ホワイトバランス処理等のデジタル画像信号処理が実行される。

また、撮像系制御部１１１は、Ａ／Ｄ変換部１０４から出力された画像データ、或いは不図示の操作部を介してユーザからの指示に基づいて、露出制御、焦点制御、シャッタ制御等をレンズ系１０１や撮像素子１０２に対して実行する。

デジタル信号処理部１０５から出力された画像データは、一時記憶部１０６に一時的に記憶され、表示制御部１０９により表示装置１１０の表示画面上にその画像が表示される。また、デジタル信号処理部１０５から出力された画像データは、一時記憶部１０６を介して、顔検出部１１４にも入力される。また、着脱可能な記録媒体１０８に記録されている画像データを記録制御部１０７によって読み出すことができる。

顔検出部１１４は、画像データから人物の顔領域の位置やサイズを検出する。顔検出については既知の方法を用いる。例えば、顔検出部１１４は、入力された画像データから、鼻、口や目などの顔領域の構成要素に相当する形状を抽出し、両目の中間を通過する延長線上に鼻と口が存在する領域を検出する。そして、両目の大きさとそれらの距離とから顔の大きさを推定し、鼻の中心に相当する位置を基準として、推定した大きさの領域で囲まれた領域を顔領域とする。

また、顔検出部１１４は、検出された顔領域から特徴データを抽出する。特徴データは、例えば、特許文献２に開示されているように、口、目、眉毛、鼻など顔の構成要素の具体的な形状や、これらの構成要素の位置に関する情報を含む。ここで、特徴データは、入力された顔領域の画像データから、例えばニューラルネットワークや空間フィルタを用いたエッジ検出などの手法を用いて算出することにより抽出することができる。なお、形状や位置に関する情報だけでなく、彩度や色相に関する情報も特徴データに含めるようにしてもよい。１つの顔における特徴データが多いほど、その顔の様子を詳細に解析することが可能となり、この特徴データを用いた個人認証の精度が向上する。

顔状態検出部１１５は、顔検出部１１４で抽出された特徴データに基づいて、その顔がどのような状態をしているかを検出する。ここで顔の状態とは、例えば顔の解像度、顔の向き、顔の表情などが挙げられる。

特徴データ選択部１１６は、顔状態検出部１１５で検出された顔の状態と予め選択されている特徴データとを基に、記憶部１１３に予め登録されている個人認証用の特徴データの中から条件に合った特徴データを選択し、一時記憶部１０６に記憶する。このとき、詳細については後述するが、一時記憶部１０６に記憶される特徴データを増やす処理と減らす処理とでは条件が異なる。また、記憶部１１３に記憶されている特徴データは顔領域の特徴量のみを保持してもよいし、画像データもしくは画像データを作成できるモデルを保持しておき、必要なときに顔領域の特徴量を抽出してもよい。

個人認証部１１７は、一時記憶部１０６に記憶された特徴データと、顔検出部１１４により抽出された顔領域の特徴データとを比較・照合することにより個人認証を行う。これらの個人認証処理は、システム制御部１１２の制御に従って実行される。

通常の撮影においては、撮像装置１００の不図示のシャッタが押下されると、被写体が撮像され、撮像素子１０２により被写体像を表す画像データが得られる。そして、デジタル信号処理部１０５を介して一時記憶部１０６に一時的に画像データが記憶される。さらに、一時記憶部１０６から画像データが読み出され、記録制御部１０７によって記録媒体１０８に記録されて、一連の撮影動作を完了する。

なお、本実施形態に係る撮像装置１００は、単体の装置で構成されてもよく、複数の装置からなるシステムで構成されてもよい。例えば、デジタルカメラやデジタルビデオカメラ単体の内部に、図１に示したレンズ系１０１から個人認証部１１７までの全ての構成を備えてもよい。あるいは、レンズ系１０１からデジタル信号処理部１０５までの構成のみをデジタルカメラやデジタルビデオカメラの内部に持たせ、それ以外の構成をデジタルカメラやデジタルビデオカメラと通信可能な外部のコンピュータに持たせもよい。さらには、レンズ系１０１から個人認証部１１７までの全ての構成をネットワーク上の複数のコンピュータに分担して持たせてもよい。

図２は、本実施形態に係る撮像装置１００による個人認証処理手順の一例を示すフローチャートである。
まず、図２のステップＳ２０１において、デジタル信号処理部１０５は、撮像素子１０２等を介して画像データを取得し、一時記憶部１０６に記憶する。本実施形態では、主に動画データやライブビューのような時間的に連続した画像データを取得する。動画データやライブビューの場合、個人認証に要する時間に応じたフレーム間隔で連続的に個人認証が行われる。以下の説明では、ステップＳ２０１において、動画中の１フレームが画像データとして入力されたものとする。なお、撮像装置１００にて撮影した静止画データに適用してもよく、記録媒体１０８に記録されている画像データを読み出して、同様の処理を行ってもよい。

次に、ステップＳ２０２において、顔検出部１１４は、ステップＳ２０１で取得した画像データから人物の顔領域を検出し、さらに検出した顔領域から特徴データを抽出する。そして、ステップＳ２０３において、顔検出部１１４は、１つ以上の顔を検出したか否かを判定する。この判定の結果、１つ以上の顔を検出した場合はステップＳ２０４に進み、１つも顔を検出できなかった場合はステップＳ２２５に進む。

ステップＳ２０４においては、顔状態検出部１１５は、ステップＳ２０２において検出された顔の状態を検出する。顔の状態とは例えば顔の解像度、顔の向き、顔の表情などが挙げられ、顔状態検出部１１５は、これらの状態を評価値として算出する。また、ステップＳ２０２において顔を複数検出した場合は、全ての顔に対して顔の状態を検出してもよく、一部の顔について顔の状態を検出してもよい。また、代表となる顔を選んで顔の状態を検出してもよい。以下、説明を分かりやすくするために、顔の状態として顔の向きについて検出し、図６に示すような正面顔６０１及び横顔６０２の特徴データが記憶部１１３に予め記憶されているものとする。さらに検出される顔は一つだけであることを想定して説明する。

以下、ステップＳ２０５〜Ｓ２２３の処理は、特徴データ選択部１１６により行われる処理であり、図３を参照しながら説明する。
図３は、本実施形態において、顔の状態変化と、選択される特徴データの変化との関係を示す図である。図３における縦軸は、入力された画像データに係る顔の状態の評価値を示し、横軸は時間を示している。なお、前述したように、顔の状態とは顔の向きを表すものとし、記憶部１１３には、図６に示す正面顔６０１及び横顔６０２の特徴データが記憶されているものとする。

図３に示すように、顔状態検出部１１５において検出された顔の状態により、選択される特徴データが変化する。ここで、正面顔６０１を示す特徴データ３０１には、広い範囲３０３と狭い範囲３０４とを持たせる。同様に、横顔６０２を示す特徴データ３０２にも広い範囲３０５と狭い範囲３０６とを持たせる。なお、これらの範囲の大きさはユーザが任意に設定できるようにしてもよいし、記憶部１１３に予め記憶されている特徴データの種類や枚数などに応じて設定してもよい。その際、特徴データ３０１、３０２のそれぞれの広い範囲３０３、３０５が互いに重ならないようにする。

本実施形態では、特徴データの選択方法が５つの領域で異なっている。ここで、範囲３０４をレベル１とし、範囲３０３のうち範囲３０４に含まれない領域をレベル２とする。また、範囲３０６をレベル５とし、範囲３０５のうち範囲３０６に含まれない領域をレベル４とする。さらに、レベル２とレベル４との間の領域をレベル３とする。

ここで、選択される特徴データを増やすタイミングは、顔の状態がレベル２からレベル３へ変化するとき、またはレベル４からレベル３へ変化するときである。一方、選択される特徴データを減らすタイミングは、顔の状態がレベル４からレベル５へ変化するとき、またはレベル２からレベル１へ変化するときである。したがって、入力された画像データに係る顔の状態がレベル２またはレベル４のときに、選択される特徴データが異なる場合がある。すなわち、顔の状態がレベル１からレベル２に変化したときは、選択される特徴データは正面顔６０１のままであり、顔の状態がレベル３からレベル２に変化したときは、選択される特徴データが正面顔６０１及び横顔６０２のままである。また、顔の状態がレベル５からレベル４に変化したときは、選択される特徴データは横顔６０２のままであり、顔の状態がレベル３からレベル４に変化したときは、選択される特徴データは正面顔６０１及び横顔６０２のままである。

図２の説明に戻り、次のステップＳ２０５において、個人認証処理が１回目であるか否かを判定する。この判定の結果、１回目である場合はステップＳ２０６に進み、そうでない場合はステップＳ２１１に進む。ステップＳ２０６においては、顔の状態が図３に示したレベル１であるか否かを判定する。この判定の結果、レベル１である場合はステップＳ２１０に進み、正面顔６０１の特徴データを選択してステップＳ２２４に進む。

一方、ステップＳ２０６の判定の結果、顔の状態がレベル１でない場合は、ステップＳ２０７において、顔の状態がレベル５であるか否かを判定する。この判定の結果、レベル５である場合はステップＳ２０９に進み、横顔６０２の特徴データを選択してステップＳ２２４に進む。一方、ステップＳ２０７の判定の結果、顔の状態がレベル５でない場合、つまりレベル２、レベル３、またはレベル４である場合は、ステップＳ２０８に進み、正面顔６０１及び横顔６０２の両方の特徴データを選択してステップＳ２２４に進む。

一方、ステップＳ２１１においては、顔の状態がレベル１であるか否かを判定する。この判定の結果、顔の状態がレベル１である場合は、ステップＳ２１２において、正面顔６０１の特徴データを選択し、ステップＳ２２４に進む。一方、ステップＳ２１１の判定の結果、顔の状態がレベル１でない場合はステップＳ２１３に進む。

次に、ステップＳ２１３において、顔の状態がレベル５であるか否かを判定する。この判定の結果、顔の状態がレベル５である場合は、ステップＳ２１４において、横顔６０２の特徴データを選択し、ステップＳ２２４に進む。一方、ステップＳ２１３の判定の結果、顔の状態がレベル５でない場合はステップＳ２１５に進む。

次に、ステップＳ２１５において、顔の状態がレベル３であるか否かを判定する。この判定の結果、顔の状態がレベル３である場合は、ステップＳ２１６において、正面顔６０１及び横顔６０２の両方の特徴データを選択し、ステップＳ２２４に進む。一方、ステップＳ２１５の判定の結果、顔の状態がレベル３でない場合はステップＳ２１７に進む。

次に、ステップＳ２１７において、顔の状態がレベル２であるか否かを判定する。この判定の結果、顔の状態がレベル３である場合は、ステップＳ２１８に進み、顔の状態がレベル２でない場合、つまり顔の状態がレベル４である場合はステップＳ２２１に進む。

ステップＳ２１８においては、正面顔６０１の特徴データのみが今まで選択されていたか否かを判定する。この判定の結果、正面顔６０１の特徴データのみが選択されていた場合は、ステップＳ２１９において、選択する特徴データを正面顔６０１のままとし、ステップＳ２２４に進む。一方、ステップＳ２１８の判定の結果、そうでない場合、つまり、正面顔６０１及び横顔６０２の両方の特徴データが今まで選択されていた場合は、ステップＳ２２０に進む。そして、ステップＳ２２０において、選択する特徴データを正面顔６０１及び横顔６０２の両方のままとし、ステップＳ２２４に進む。

一方、ステップＳ２２１においては、横顔６０２の特徴データのみが今まで選択されていたか否かを判定する。この判定の結果、横顔６０２の特徴データのみが選択されていた場合は、ステップＳ２２２において、選択する特徴データは横顔６０２のままとし、ステップＳ２２４に進む。一方、ステップＳ２１２の判定の結果、そうでない場合、つまり、正面顔６０１及び横顔６０２の両方の特徴データが今まで選択されていた場合は、ステップＳ２２３に進む。そして、ステップＳ２２３において、選択する特徴データを正面顔６０１及び横顔６０２の両方のままとし、ステップＳ２２４に進む。

以上のようにステップＳ２０５〜Ｓ２２３の処理により特徴データ選択部１１６によって特徴データが選択される。そして、ステップＳ２２４において、個人認証部１１７は、ステップＳ２０２で顔検出部１１４により抽出された画像データの特徴データと選択されている特徴データとを比較し、その顔が誰であるのかを識別し、ステップＳ２２５に進む。

次に、ステップＳ２２５において、まだ次の画像データ（フレーム）があるか否かを判定する。この判定の結果、次の画像データがある場合はステップＳ２０１に戻り、そうでない場合は、処理を終了する。

以上のように本実施形態では、選択する特徴データを増やすときと減らすときとで閾値を異なるようにしている。すなわち、選択する特徴データが正面顔６０１から、正面顔６０１及び横顔６０２の２つに増やす場合には、顔の向きの評価値が閾値３０７を上回る必要がある。これに対して、選択する特徴データを正面顔６０１及び横顔６０２の２つから、正面顔６０１のみに減らす場合には、顔の向きの評価値が閾値３０８を下回る必要がある。このように、選択する特徴データが増える場合と減る場合とでその閾値を異なるようにする理由について、以下に説明する。

動画を撮影する時や、撮影準備のために被写体の様子をリアルタイムで動画としてモニターに表示するライブビュー時では、個人認証の対象となる人物の顔の向きが随時変化する。そして、その都度、個人認証の対象となる人物の顔の向きに応じた特徴データを選択する必要がある。また、顔の向きを判別する処理自体にも、ある程度の処理時間が必要となるため、顔の向きを検出したところで、タイムラグによって実際の顔の向きとの間にはいくらかの差異が生じていることも考えられる。

このような状況を鑑みると、常に２つ以上の特徴データを参照し、それらの照合結果の総和に基づいて個人を判定することも考えられるが、常に２つ以上の特徴データ分の照合時間を要することになってしまう。そこで、本実施形態では、正面顔６０１または横顔６０２の特徴データのみを用いれば足りる可能性が高い場合と、正面顔６０１及び横顔６０２の２つの特徴データを用いる必要がある場合とを適応的に切り替えている。

例えば、個人認証の対象となる人物がレベル１に相当するほぼ正面を向いていることが前回検出されており、それからレベル２に相当するやや斜めに向いたことが検出された場合には、この顔の動きとして次の２つの場合が考えられる。１つは、そのまま顔の向きがレベル３に相当する斜めに近づく動きであり、もう１つは、正面を向いていた被写体がたまたまレベル２に相当する向きの余所見をした動きである。後者の場合は、顔の向きがすぐにレベル１に戻ることになる。

このように、顔の向きがレベル１から閾値３０８を通過してレベル２となった場合には、顔の向きがそのままレベル３に向かっていく可能性と、再びレベル１に戻る可能性とが存在する。レベル２であっても正面顔６０１の特徴データがあれば個人認証を行うことができるため、再びレベル１に戻る可能性を考慮して、正面顔６０１の特徴データのみを用いるようにする。このようにすることによって、正面顔６０１及び横顔６０２の２つの特徴データを用いる場合よりも、個人認証に要する処理時間を短縮することができる。

同様に、個人認証の対象となる人物がレベル３に相当するほぼ斜めを向いていることが検出されており、それからレベル２に相当するやや斜めに向いたことが検出された場合には、この顔の動きとして次の２つの場合が考えられる。１つは、そのまま顔の向きがレベル１に相当する正面に近づく動きであり、もう１つは、レベル３に相当する斜めを向いていた被写体がたまたまレベル２に相当する向きの余所見をした動きである。後者の場合は、顔の向きがすぐにレベル３に戻ることになる。

このように、顔の向きがレベル３から閾値３０７を通過してレベル２となった場合には、顔の向きがそのままレベル１に向かっていく可能性と、再びレベル３に戻る可能性とが存在する。レベル３では、正面顔６０１または横顔６０２のみでは十分な照合結果が得られないため、レベル３に戻る可能性があることから、レベル２であっても、正面顔６０１及び横顔６０２の２つの特徴データを用いることが望まれる。顔の向きが少なくとも閾値３０８を通過してレベル１となり、横顔６０２の特徴データがない場合であっても十分な照合結果が得られるようになった段階で、特徴データを正面顔６０１のみとする。

以上説明したように、顔の向きがレベル２であると検出された場合であっても、それがレベル１の向きであった顔が余所見をした結果か、レベル３の向きであった顔が余所見をした結果かによって、その後に顔の向きがどちらを向くかという確率が異なる。このように１つの特徴データのみでも個人認証が可能な状態において、その前の顔の状態に応じて、用いる特徴データを１つにするか、あるいは、２つにするかを適応的に切り替える。これにより、個人認証が成功する確率を担保するとともに、照合に用いる特徴データの数を状況に応じて減らして処理時間の短縮を図ることが可能となる。

（第２の実施形態）
第１の実施形態では、１つの特徴データに対し２つの範囲を設け、その範囲を超えたかどうかにより選択する特徴データを変更した。これに対して本実施形態では、１つの特徴データに対し範囲を１つだけ設け、選択されている特徴データを減らすタイミングは、範囲を超え、かつ一定期間安定したと判断したときとする。なお、本実施形態に係る撮像装置の概略構成は、第１の実施形態で説明した図１と同様であるため、説明は省略する。

図４は、本実施形態に係る撮像装置１００による個人認証処理手順の一例を示すフローチャートである。なお、図４のステップＳ２０１〜Ｓ２０４、Ｓ２２４及びＳ２２５の処理については、第１の実施形態で説明した図２と同様の処理であるため、説明は省略する。また、ステップＳ４０５〜Ｓ４２３の処理は、特徴データ選択部１１６により行われる処理であり、図５を参照しながら説明する。

図５は、本実施形態において、顔の状態変化と、選択される特徴データの変化との関係を示す図である。図５における縦軸は、入力された画像データに係る顔の状態の評価値を示し、横軸は時間を示している。また、第１の実施形態と同様に、顔の状態とは顔の向きを表すものとし、記憶部１１３には、図６に示す正面顔６０１及び横顔６０２の特徴データが記憶されているものとする。

図５に示すように、顔状態検出部１１５において検出された顔の状態により、選択される特徴データが変化する。本実施形態では、正面顔６０１を示す特徴データ５０１には１つの範囲５０３を持たせ、横顔６０２を示す特徴データ５０２には１つの範囲５０４を持たせる。なお、これらの範囲の大きさはユーザが任意に設定できるようにしてもよいし、記憶部１１３に予め記憶されている特徴データの種類や枚数などに応じて設定してもよい。その際、範囲５０３、５０４が互いに重ならないようにする。

本実施形態では、特徴データの選択方法が３つの領域で異なっている。ここで、範囲５０３をレベルＡとし、範囲５０４をレベルＣとする。また、レベルＡとレベルＣとの間の領域をレベルＢとする。

本実施形態では、さらに安定したと判断するために必要な期間が設けられている。この期間はユーザが任意に設定できるようにしてもよいし、状況に応じて設定するようにしてもよい。例えば、入力された画像データに係る顔の状態が１つの領域に留まる時間が短く、変化が不規則なシーンの場合はこの期間を長くし、１つの領域に留まる時間が長く、変化が規則的なシーンの場合はこの期間を短くする。

ここで、選択される特徴データを増やすタイミングは、特徴データとして正面顔６０１か横顔６０２のいずれか一方が選択されているときに、顔の状態がレベルＢに変化するときである。一方、選択される特徴データを減らすタイミングは、顔の状態がレベルＢからレベルＡ、またはレベルＢからレベルＣに変化し、変化してから所定の期間以上その領域（レベル）に留まったときである。つまり、レベルＡやレベルＣになっても、すぐに選択する特徴データを減らすことができない。

このように本実施形態では、選択する特徴データを増やす処理と減らす処理とでは条件が異なる。正面顔６０１または横顔６０２の特徴データが選択されているときに、検出した顔の状態が斜め方向になった場合は、早い段階で選択する特徴データを増やすことによりタイムラグを減少させ、認証率を向上させる。一方、正面顔６０１及び横顔６０２の両方の特徴データが選択されているときに、正面顔６０１及び横顔６０２のいずれかが、検出した顔の状態から遠ざかったときに、その特徴データを比較対象から除外する条件を厳しくする。

図４の説明に戻り、ステップＳ４０５においては、個人認証処理が１回目であるか否かを判定する。この判定の結果、１回目である場合はステップＳ４０６に進み、そうでない場合はステップＳ４１１に進む。ステップＳ４０６においては、顔の状態がレベルＡであるか否かを判定する。この判定の結果、顔の状態がレベルＡである場合は、ステップＳ４１０において、正面顔６０１の特徴データを選択し、ステップＳ２２４に進む。一方、ステップＳ４０６の判定の結果、顔の状態がレベルＡでない場合は、ステップＳ４０７に進む。

次に、ステップＳ４０７において、顔の状態がレベルＣであるか否かを判定する。この判定の結果、顔の状態がレベルＣである場合は、ステップＳ４０９において、横顔６０２の特徴データを選択し、ステップＳ２２４に進む。一方、ステップＳ４０７の判定の結果、顔の状態がレベルＣでない場合、つまりレベルＢである場合は、ステップＳ４０８に進み、正面顔６０１及び横顔６０２の両方の特徴データを選択し、ステップＳ２２４に進む。

一方、ステップＳ４１１においては、顔の状態がレベルＢであるか否かを判定する。この判定の結果、顔の状態がレベルＢである場合は、ステップＳ４１２において、正面顔６０１及び横顔６０２の両方の特徴データを選択し、ステップＳ２２４に進む。一方、ステップＳ４１１の判定の結果、顔の状態がレベルＢでない場合はステップＳ４１３に進む。

次に、ステップＳ４１３において、顔の状態がレベルＡであるか否かを判定する。この判定の結果、顔の状態がレベルＡである場合は、ステップＳ４１４に進み、顔の状態がレベルＡでない場合、つまり顔の状態がレベルＣである場合はステップＳ４１９に進む。

ステップＳ４１４においては、選択されている特徴データが正面顔６０１のみであるか否かを判定する。この判定の結果、選択されている特徴データが正面顔６０１のみである場合は、ステップＳ４１５において、選択する特徴データを正面顔６０１のままとし、ステップＳ２２４に進む。一方、ステップＳ４１４の判定の結果、選択されている特徴データが正面顔６０１のみでない場合、つまり選択されている特徴データが正面顔６０１及び横顔６０２の両方である場合は、ステップＳ４１６に進む。

ステップＳ４１６においては、レベルＡで顔の状態が所定の時間維持されたか否かを判定する。この判定の結果、レベルＡで顔の状態が所定の時間維持された場合、つまり顔の状態が所定数のフレームの間レベルＡが維持された場合は、ステップＳ４１７において、正面顔６０１の特徴データを選択し、ステップＳ２２４に進む。一方、ステップＳ４１６の判定の結果、レベルＡで顔の状態が所定の時間維持されていない場合は、ステップＳ４１８において、選択する特徴データを正面顔６０１及び横顔６０２の両方のままとし、ステップＳ２２４に進む。

一方、ステップＳ４１９においては、選択されている特徴データが横顔６０２のみであるか否かを判定する。この判定の結果、選択されている特徴データが横顔６０２のみである場合は、ステップＳ４２０において、選択する特徴データを横顔６０２のままとし、ステップＳ２２４に進む。一方、ステップＳ４１９の判定の結果、選択されている特徴データが横顔６０２のみでない場合、つまり選択されている特徴データが正面顔６０１及び横顔６０２の両方である場合は、ステップＳ４２１に進む。

次に、ステップＳ４２１において、レベルＣで顔の状態が所定の時間維持されたか否かを判定する。この判定の結果、レベルＡで顔の状態が所定の時間維持された場合、つまり顔の状態が所定数のフレームの間レベルＣが維持された場合は、ステップＳ４２２において、横顔６０２の特徴データを選択し、ステップＳ２２４に進む。一方、ステップＳ４２１の判定の結果、レベルＣで顔の状態が所定の時間維持されていない場合は、ステップＳ４２３において、選択する特徴データを正面顔６０１及び横顔６０２の両方のままとし、ステップＳ２２４に進む。

以上のように本実施形態では、選択する特徴データを増やすときと、減らすときとで、時間的な条件が異なるようにしている。顔の向きがレベルＡから閾値５０５を通過してレベルＢになった場合には、選択する特徴データを正面顔６０１のみから、即座に正面顔６０１及び横顔６０２の２つに増やす。一方、選択する特徴データを正面顔６０１及び横顔６０２の２つから、正面顔６０１のみに減らす場合には、顔の向きがレベルＢから閾値５０５を通過してレベルＡになってから所定の時間、レベルＡを維持する必要がある。この理由について、以下に説明する。

例えば、個人認証の対象となる人物がもともとレベルＡに相当するほぼ正面を向いていることが検出されており、それからレベルＢに相当する斜めを向いたことが検出された場合には、正面顔６０１のみ、あるいは、横顔６０２のみでは十分な照合結果が得られない。このため、すぐに特徴データを正面顔６０１及び横顔６０２の２つに増やす必要がある。

これに対して、個人認証の対象となる人物がもともとレベルＢに相当する斜めを向いていることが検出されており、それからレベルＡに相当するほぼ正面を向いたことが検出された場合には、この顔の動きとして次の２つの場合が考えられる。１つは、そのまま顔の向きがレベルＡに相当するほぼ正面の向きに滞在する動きであり、もう１つは、レベルＢに相当する斜めを向いていた被写体がたまたまレベルＡに相当するほぼ正面の向きに余所見をした動きである。後者の場合は、顔の向きはすぐにレベルＢに戻ることになる。

このように、顔の向きがレベルＢから閾値５０５を通過してレベルＡとなった場合には、顔の向きがそのままレベルＡに滞在する可能性と、再びレベルＢに戻る可能性とが存在する。レベルＢでは、正面顔６０１のみ、あるいは、横顔６０２のみでは十分な照合結果が得られないため、レベルＢに戻る可能性がある場合は、レベルＡであっても、正面顔６０１及び横顔６０２の２つの特徴データを用いることが望まれる。したがって、顔の向きが所定の時間以上継続してレベルＡとなり、顔の向きがレベルＡで落ち着いたと判断できるようになった段階で、特徴データを正面顔６０１のみとする。

以上説明したように本実施形態によれば、１つの特徴データが必要な状況から２つの特徴データが必要な状況に変化した場合には、特徴データを無条件で増やす。これに対して、２つの特徴データが必要な状況から１つの特徴データだけで足りる状況に変化した場合には、１つの特徴データで足りる状況が所定の時間以上経過したことを確認してから、特徴データを減らすようにする。これにより、個人認証が成功する確率を担保するとともに、照合に用いる特徴データの数を状況に応じて減らして処理時間の短縮を図ることが可能となる。

（その他の実施形態）
前述した第１及び第２の実施形態では、顔の状態として顔の向きのみに注目したが、顔の解像度や表情などに注目してもよく、複数の状態を組み合わせてもよい。また、例外的な処理として、撮像装置１００が大きく動いてしまったり、顔の動きが速すぎたりして、特徴データの選択処理が追いつかないような場合は、特徴データの選択処理を１回目の処理として扱ってもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１１２ システム制御部
１１３ 記憶部
１１４ 顔検出部
１１５ 顔状態検出部
１１６ 特徴データ選択部
１１７ 個人認証部

Claims (11)

1. 入力された画像データに含まれる人物の顔領域を検出する顔検出手段と、
   前記顔検出手段により検出された顔領域から顔の状態を検出する顔状態検出手段と、
   個人認証用の複数の特徴データを記憶する記憶手段と、
   前記顔状態検出手段により検出された顔の状態に基づいて、前記記憶手段から特徴データを選択する選択手段と、
   前記顔検出手段により検出された顔領域と前記選択手段により選択された特徴データとを比較することにより、個人を認証する認証手段とを備え、
   前記選択手段が、前記記憶手段から選択する特徴データの数を前記顔状態検出手段により前回検出された顔の状態に基づいて選択した特徴データの数よりも増やす場合と、減らす場合とで、前記顔状態検出手段により検出される顔の状態の閾値が異なることを特徴とする個人認証装置。
2. 入力された画像データに含まれる人物の顔領域を検出する顔検出手段と、
   前記顔検出手段により検出された顔領域から顔の状態を検出する顔状態検出手段と、
   個人認証用の複数の特徴データを記憶する記憶手段と、
   前記顔状態検出手段により検出された顔の状態に基づいて、前記記憶手段から特徴データを選択する選択手段と、
   前記顔検出手段により検出された顔領域と前記選択手段により選択された特徴データとを比較することにより、個人を認証する認証手段とを備え、
   前記選択手段が、前記記憶手段から選択する特徴データの数を前記顔状態検出手段により前回検出された顔の状態に基づいて選択した特徴データの数よりも減らす場合は、前記顔状態検出手段により検出された顔の状態が所定の閾値を超えてから所定の時間が経過していることを条件とすることを特徴とする個人認証装置。
3. 前記所定の時間は、ユーザの操作に応じて設定された時間、またはシーンに応じた時間であることを特徴とする請求項２に記載の個人認証装置。
4. 前記記憶手段に記憶されている特徴データは、正面顔及び横顔の特徴データであることを特徴とする請求項１〜３の何れか１項に記載の個人認証装置。
5. 前記顔状態検出手段により検出される顔の状態とは、顔の解像度、顔の向き、または顔の表情であることを特徴とする請求項１〜４の何れか１項に記載の個人認証装置。
6. 前記記憶手段は、画像データまたはモデルに含まれる顔領域の特徴量を特徴データとして記憶していることを特徴とする請求項１〜５の何れか１項に記載の個人認証装置。
7. 前記閾値は、ユーザの操作に応じて設定された値、または前記記憶手段に記憶されている特徴データに応じた値であることを特徴とする請求項１〜６の何れか１項に記載の個人認証装置。
8. 入力された画像データに含まれる人物の顔領域を検出する顔検出工程と、
   前記顔検出工程において検出された顔領域から顔の状態を検出する顔状態検出工程と、
   前記顔状態検出工程において検出された顔の状態に基づいて、記憶手段から個人認証用の特徴データを選択する選択工程と、
   前記顔検出工程において検出された顔領域と前記選択工程において選択された特徴データとを比較することにより、個人を認証する認証工程とを備え、
   前記選択工程において、前記記憶手段から選択する特徴データの数を前記顔状態検出工程において前回検出された顔の状態に基づいて選択した特徴データの数よりも増やす場合と、減らす場合とで、前記顔状態検出工程において検出される顔の状態の閾値が異なることを特徴とする個人認証方法。
9. 入力された画像データに含まれる人物の顔領域を検出する顔検出工程と、
   前記顔検出工程において検出された顔領域から顔の状態を検出する顔状態検出工程と、
   前記顔状態検出工程において検出された顔の状態に基づいて、記憶手段から個人認証用の特徴データを選択する選択工程と、
   前記顔検出工程において検出された顔領域と前記選択工程において選択された特徴データとを比較することにより、個人を認証する認証工程とを備え、
   前記選択工程において、前記記憶手段から選択する特徴データの数を前記顔状態検出工程において前回検出された顔の状態に基づいて選択した特徴データの数よりも減らす場合は、前記顔状態検出工程において検出された顔の状態が所定の閾値を超えてから所定の時間が経過していることを条件とすることを特徴とする個人認証方法。
10. 入力された画像データに含まれる人物の顔領域を検出する顔検出工程と、
    前記顔検出工程において検出された顔領域から顔の状態を検出する顔状態検出工程と、
    前記顔状態検出工程において検出された顔の状態に基づいて、記憶手段から個人認証用の特徴データを選択する選択工程と、
    前記顔検出工程において検出された顔領域と前記選択工程において選択された特徴データとを比較することにより、個人を認証する認証工程とをコンピュータに実行させ、
    前記選択工程において、前記記憶手段から選択する特徴データの数を前記顔状態検出工程において前回検出された顔の状態に基づいて選択した特徴データの数よりも増やす場合と、減らす場合とで、前記顔状態検出工程において検出される顔の状態の閾値が異なることを特徴とするプログラム。
11. 入力された画像データに含まれる人物の顔領域を検出する顔検出工程と、
    前記顔検出工程において検出された顔領域から顔の状態を検出する顔状態検出工程と、
    前記顔状態検出工程において検出された顔の状態に基づいて、記憶手段から個人認証用の特徴データを選択する選択工程と、
    前記顔検出工程において検出された顔領域と前記選択工程において選択された特徴データとを比較することにより、個人を認証する認証工程とをコンピュータに実行させ、
    前記選択工程において、前記記憶手段から選択する特徴データの数を前記顔状態検出工程において前回検出された顔の状態に基づいて選択した特徴データの数よりも減らす場合は、前記顔状態検出工程において検出された顔の状態が所定の閾値を超えてから所定の時間が経過していることを条件とすることを特徴とするプログラム。

Images