JP2005149370A - 画像撮影装置、個人認証装置及び画像撮影方法 - Google Patents

Abstract

【課題】認識システムは、正常に動作する認識対象状態及び撮影環境の限界値を超えた場合に、認識性能は大きく低下し、ユーザは、正常な認識動作範囲への修正に関する情報が不足しているという問題があった。
【解決手段】被写体を撮影した被写体画像から特徴部分を検出した特徴情報を出力する検出部１０４と、被写体画像の判定基準である性能限界閾値を格納する閾値格納部１０６と、特徴情報及び被写体画像から被写体の撮影状況を求め、撮影状況が性能限界閾値を超過する場合は、撮影状況を修正する修正情報を出力する判定部１０５と、を含む構成であり、被写体の撮影状態を判断し、不適切である場合には修正指示を与え、適切な状態になった時点で撮影を行うため、常にユーザの所望した状態の撮影、最適な認証対象状態で認証を行うことができる。
【選択図】図１

Description

本発明は、対象物体を撮影する場合に、画像パターン処理を用いて撮影補助を行う画像撮影装置及び前記画像撮影装置を用いた個人認証装置に関するものである。

従来の画像撮影装置としては、カメラで撮影した画像は、対象者のカメラへの向きや、照明など撮影状況が不安定であるが、使用環境の限定や、認識アルゴリズムの改良を行うことによって変動への対応を試みるものがある。

図１６に、従来の画像撮影方法のフローチャートを示す。まず、撮影した画像から、人物の対象状態や撮影状態を入力画像環境対象推定処理部で推定し、次に、照合画像生成処理部で登録画像のこの対象状態、撮影状態における画像を照合画像として生成する。そして画像照合処理部で、生成した照合画像と撮影画像を比較することで、対象の状態や照明などが変動した場合でも頑健な照合が行えるとしている（例えば、特許文献１参照）。
特開２０００−３０６０９５号公報（第１３頁、第８図）

しかしながら、このような場合においても、認識アルゴリズムや、従来の照合画像推定エンジンの性能には限界があり、全ての認識対象状態、撮影環境で撮影された画像に対応することは困難である。このため、認識システムが本来の性能を発揮して正常に動作する認識対象状態及び撮影環境の限界値を超えた場合に、認識性能は大きく低下してしまう。また、利用しているユーザも、自らの状態及び環境状態が、正常な認識動作範囲であることを知ることはできず、また、どのようにすれば正常な認識動作範囲になるのかを詳しく知ることができないという問題があった。

また、上記の課題は、カメラ撮影全般に共通した課題であり、カメラのセルフタイマー等を用いた撮影においては、撮影者が現在の状態を確認しつつ撮影することができないため、撮影が終わってから画像を確認し、もし所望の画像が得られなければ、また取り直しをする必要があるなど、ユーザが自らを撮影する場合固有の問題として存在している。

本発明は、上記問題を解決し、常に正常な認識動作範囲又はユーザが所望した状態において被写体を撮影する画像撮影装置と、前記画像撮影装置を用いて認証を行う個人認証装置を提供することを目的とする。

前記従来の課題を解決するために、本発明の画像撮影装置は、被写体を撮影した被写体画像から特徴部分を検出した特徴情報を出力する検出部と、被写体画像の判定基準である性能限界閾値を格納する閾値格納部と、特徴情報及び被写体画像から被写体の撮影状況を求め、撮影状況が性能限界閾値を超過する場合は、撮影状況を修正する修正情報を出力する判定部と、を含む構成であり、被写体の撮影状態が適切かどうか、すなわち、ユーザの所望した状態、又は、個人認識性能を十分に発揮できる状態であるかを判断し、もし不適切と判断された場合には適切となるための修正指示を与え、適切な状態になった時点で撮影を行うことができる。これにより、本発明は、常にユーザの所望した状態の撮影が可能となり、更に、個人認証を行う場合は、最適な認証対象状態で認証を行うことができる。

以上のように本発明によれば、被写体の撮影状態を把握することが容易であり、修正情報が提示されるため所望の撮影状態への修正が容易になり、撮影時間を短縮、撮影回数を減少することができ、更に、撮影した被写体画像を認証に用いることで、認識精度の向上が可能となる。また、撮影条件の閾値を常時修正、更新することで、認識環境に適応した判断をすることができるという効果を有する。

本発明の第１の発明は、被写体を撮影するカメラと、前記被写体を撮影した被写体画像から特徴部分を検出した特徴情報を出力する検出部と、前記被写体画像の判定基準である性能限界閾値を格納する閾値格納部と、前記特徴情報及び前記被写体画像から前記被写体の撮影状況を求め、前記撮影状況が前記性能限界閾値を超過する場合は、前記撮影状況を修正する修正情報を出力する判定部と、前記修正情報又は前記被写体画像を提示するインターフェース部とを含む画像撮影装置としたものであり、被写体の特徴的な情報を用いて、撮影した被写体画像の状態が予め定めた閾値の範囲内かどうかを判断し、範囲外である場合はユーザに修正指示を与え閾値の範囲内にすることで、常に適切な被写体画像を撮影できるという作用を有する。

本発明の第２の発明は、撮影状況及び修正情報を用いて、性能限界閾値を更新する閾値計算部を更に含む第１の発明に記載の画像撮影装置としたものであり、撮影環境に応じて性能限界閾値を更新することで、撮影環境に因らずに安定した撮影が可能となるという作用を有する。

本発明の第３の発明は、修正情報により修正された被写体画像を格納する画像格納部を更に含む第１又は第２の発明に記載の画像撮影装置としたものであり、予め定められた被写体画像を蓄積することができるという作用を有する。

本発明の第４の発明は、撮影状況は、被写体の向き、被写体の大きさ、被写体に当たる光の光源の向き、被写体に当たる光の光源の強さ、被写体画像の明度、被写体の一部又は全部を遮蔽する物体の有無、若しくは、被写体の一部又は全部を遮蔽する物体の大きさの少なくとも１つである第１ないし第３の発明のいずれか記載の画像撮影装置としたものであり、撮影状況を視覚的な要素とすることで、被写体の修正が容易になり、常に適切な被写体画像を撮影することができるという作用を有する。

本発明の第５の発明は、特徴情報は、人物の顔の位置、目の位置、鼻の位置、口の位置、眉の位置、頬の位置又は耳の位置のうち少なくとも一つである第１ないし第４の発明のいずれか記載の画像撮影装置としたものであり、特徴情報の検出が容易になるという作用を有する。

本発明の第６の発明は、第１ないし第５の発明のいずれか記載の画像撮影装置と、特徴情報及び被写体画像から認証に用いる生体情報を抽出する学習部と、前記生体情報を前記被写体固有の登録情報として格納する生体情報蓄積部と、入力された照合用被写体画像と前記登録情報とを照合した照合結果を出力する認証部とを含み、インターフェース部は、前記登録情報、前記照合結果、修正情報又は前記被写体画像の少なくとも一つを提示する個人認証装置としたものであり、予め設定した撮影状態に適応した被写体画像を用いて個人認証を行うため、認識精度を向上することができるという作用を有する。

本発明の第７の発明は、被写体を撮影するカメラが撮影した被写体画像から特徴部分を検出した特徴情報を出力する第１のステップと、前記特徴情報及び前記被写体画像から前記被写体の撮影状況を求める第２のステップと、前記撮影状況が前記被写体画像の判定基準であり予め蓄積された性能限界閾値を超過する場合は、前記撮影状況を修正する修正情
報を出力する第３のステップと、前記修正情報又は前記被写体画像を提示する第４のステップとを含む画像撮影方法としたものであり、被写体の特徴的な情報を用いて、撮影した被写体画像の状態が予め定めた閾値の範囲内かどうかを判断し、範囲外である場合はユーザに修正指示を与え閾値の範囲内にすることで、常に適切な被写体画像を撮影できるという作用を有する。

以下、本発明の実施の形態について、図面を用いて説明する。

（実施の形態１）
図１は、携帯端末上で動作する顔画像による画像撮影装置１１０を用いた個人認証装置１１１を示す。なお、本実施の形態では、認識の対象を人間の顔とした場合について説明する。

図１において、カメラ１０２は、被写体１０１を撮影するものであり、インターフェース部１０３は、ユーザからの指示を受け付け、認証結果やユーザへの指示を表示するものであり、検出部１０４は、カメラ１０２で撮影された被写体画像から顔の位置情報や、目、鼻、口などの特徴的な部位の位置情報である特徴情報を抽出するものであり、判定部１０５は、カメラ１０２で撮影された被写体画像と検出部１０４で抽出された特徴情報とから撮影状態を判断し、被写体画像が予め定めた撮影条件を満たしているかを判断するものであり、閾値格納部１０６は、判定部１０５で行う判定の基準値を格納するものであり、学習部１０７は、カメラ１０２で撮影された被写体画像および検出部１０４で検出された人物状態から被写体固有の生体情報を抽出し、認証用の登録情報を作成する登録処理を行うものであり、生体情報蓄積部１０８は、学習部１０７で抽出された被写体１０１の生体情報および登録情報を格納するものであり、認証部１０９は、カメラ１０２で撮影された被写体画像および検出部１０４で検出された人物状態から被写体固有の生体情報を抽出し、これと生体情報蓄積部１０８に格納されたユーザの登録情報とを比較して認証を行うものである。

ここで、画像撮影装置１１０は、カメラ１０２、インターフェース部１０３、検出部１０４、判定部１０５、閾値格納部１０６を含む構成であり、個人認証装置１１１は、画像撮影装置１１０、学習部１０７、生体情報蓄積部１０８、認証部１０９を含む構成である。

認証は、ユーザの個人情報を登録する登録ステップと、撮影した画像中の人物が登録されているかを判定する認証ステップに分けることができる。登録ステップの処理であるフローチャートを図２に示し、認証ステップの処理であるフローチャートを図４に示す。

まず登録ステップでは、Ｓ２０１にて、カメラ１０２が、被写体１０１の顔をキャプチャし、キャプチャされた被写体画像は検出部１０４に送られる。

次に、Ｓ２０２にて、検出部１０４は、被写体画像中から人物の目、鼻、口、眉、耳、頬などの顔部品の位置情報を顔部品データとして抽出し、被写体画像と共に判定部１０５に送る。

ここで、抽出した顔部品データを図３に示す。例えば、右目は、目頭３０１、目尻３０２、黒目中心３０３を基準点として抽出される。他の顔部品についても、複数の基準点から構成される。

次に、Ｓ２０３にて、判定部１０５は、被写体画像および顔部品データから、人物の顔の向き、顔領域における明度、顔領域における光の向き、顔領域における光の強さのコン
トラスト、画像中における人物の顔の大きさ、顔領域内における遮蔽物の有無および顔領域内における遮蔽物の大きさといった顔状態データを計算する。

ここで、顔の向きとは、被写体画像中の人物がどちらの方向にどの程度向いているかを示す。顔の向きは、顔の向きごとのテンプレートを用意しておき、顔部品位置を基準にマッチング位置を合わせてテンプレートマッチを行う。または、顔部品の相対的な位置関係や部品の大きさの比などから判断するなどの方法が考えられる。

また、顔領域における明度とは、被写体画像中における人物の顔領域内の画素値が、どのような値であるかを示す。ここで、画素値を認証に用いる場合、顔領域内の多くの画素値が、極端に大きい場合、又は、小さい場合には、画像の濃淡が明確に表れず、顔の特徴が捉え難くなり、認証性能に悪影響をおよぼす恐れがあることが知られている。明度を求める方法としては、例えば、顔部品位置を基準にして明度を求める領域を決定し、決定した領域内の画素値の平均明度を明度とする方法や、明度のヒストグラムを明度とする方法などが考えられる。また、明度を求める領域も、目鼻口全部を含む顔全体一領域を用いる方法の他、目、鼻、口など顔部品ごと複数の個別領域にわけて各領域の明度を算出する方法などが考えられる。

また、顔領域における光の向き、顔領域における光の強さとは、被写体画像中の人物の顔領域内に、どちらの方向から、どの程度の強さの光が当たっているかを示す。人物の顔は三次元的な凹凸が存在するため、照明方向によっては撮影した顔に陰影が生じる。また、光が強い場合は、顔領域内に大きなコントラストが生じる。画素値を認証に用いる場合、コントラストが強い画像では、濃淡の変動が大きすぎて顔の特徴的な要素が捉えにくくなり認証性能に悪影響を及ぼす恐れがあることが知られている。顔領域における光の向き、顔領域における光の強さを求める方法としては、例えば、顔領域を、検出した顔部品位置を基準にしていくつかの領域に分割して、各領域間の明度のコントラスト比を求めることで算出する方法などが考えられる。

また、画像中における人物の顔の大きさとは、画像中の人物がどの程度の大きさで写っているかを示す。個人認証装置１１１によっては写っている顔があまりに小さい場合、画像の解像度が小さく認識のための十分な特徴量が得られない場合がある。顔の大きさを求める方法としては、顔部品位置から求めることができる。

また、顔領域内における遮蔽物の有無および大きさとは、画像中の人物の顔領域内に、顔の特徴的な部位を遮る物体があるかどうかと、もしある場合にはその大きさを示す。眼鏡や髭などは、個人の特徴として捉えることも可能であるが、サングラスやマスクのように目や口を完全に遮蔽してしまうと、その部位に関して個人の特徴が捉えられないため、認識に悪影響を及ぼす場合がある。遮蔽物の有無および大きさを調べる方法としては、例えば、色情報を用いて顔領域内の肌色でない部分の位置および大きさを計算する方法や、顔部品ごとにテンプレートを用意して、顔部品との一致度が大きく外れる部位があればその位置と大きさを計算する方法などが考えられる。

次に、Ｓ２０４にて、判定部１０５は、閾値格納部１０６から性能限界閾値を読み出す。性能限界閾値は、認証部１０９で認証性能が十分に発揮できる顔状態の範囲の限界値を表し、顔状態がこの閾値を超えると認証が正常に行われない可能性が大きくなる。性能限界閾値はユーザがあらかじめ任意の値に設定しておく。

次に、Ｓ２０５にて、判定部１０５は、性能限界閾値と顔状態データとを比較して、顔状態が閾値を超える場合は、Ｓ２０６に移行し、顔状態が閾値を超えない場合は、Ｓ２０７に移行する。

次に、Ｓ２０６にて、判定部１０５は、閾値を超えた項目と閾値を超えた値とからユーザに与える修正内容を決定し、インターフェース部１０３を通じてユーザに通知する。例えば、ユーザが右を大きく向いていて、これが性能限界閾値を超えた場合は、インターフェース部１０３からもう少し左を向くように指示を送る。照明が暗すぎて画面中の顔も暗く写っている場合は、もう少し明るい場所で撮影を行うように指示を送る、などである。指示はインターフェース部１０３の画面で行っても良いし、ユーザが個人認証装置１１１から離れている場合を想定して音声や光などで指示をしてもよい。そして、再びＳ２０１に移行し、被写体画像のキャプチャを行い、顔状態データが性能限界閾値の範囲内に収まるまで、Ｓ２０１からＳ２０６までのステップを繰り返す。

ここで、画像撮影と画像修正とについて説明する。まず、図４は、被写体１０１の顔向きを修正する場合に、インターフェース部１０３に表示される画面である。画面には、キャプチャした被写体画像４０１と、被写体１０１の顔における現在の向き４０２、理想的な向き４０３及び被写体１０１の顔向きの修正方向４０４を矢印で示された画像とが表示されている。ここで、被写体１０１の顔のおける現在の向き４０２が理想的な向き４０３の範囲を外れた場合に、被写体１０１の顔向きの修正方向４０４とコメント４０５を表示する。被写体１０１は指示に従って、二つの矢印が同じ向きになるように顔向きを調整すればよい。なお、カメラ１０２の設置位置を修正できるカメラ位置修正手段を付加することで、被写体１０１の顔における現在の向き４０２を修正することも可能である。

次に、図５は、被写体１０１の顔の大きさを修正する場合に、インターフェース部１０３に表示される画面である。画面には、キャプチャした被写体画像５０１と、被写体１０１の顔における現在の大きさ５０２、理想の大きさ５０３を概形で示している。被写体１０１の顔における現在の大きさ５０２が理想の大きさ５０３の範囲を外れた場合、大きさを変えるように、コメント５０４を表示する。被写体１０１は、コメント５０４に従って、被写体１０１の顔における現在の大きさ５０２と理想の大きさ５０３とが同じ程度の大きさになるように、カメラ１０２との距離を調整すればよい。もしくは、カメラ１０２にズーム機能が付加されておる場合は、ズームを用いることで、現在の大きさ５０２を最適にすることができる。

次に、図６は、被写体１０１の顔の一部が遮蔽されている場合に、インターフェース部１０３に表示される画面である。キャプチャした被写体画像６０１と、被写体１０１の顔のうちサングラスにより遮蔽された遮蔽部分６０２が表示されている。被写体画像６０１が、眼鏡、髪、手などで遮蔽された場合、遮蔽部分６０２を示し、遮蔽物を取り除くようにコメント６０３が表示される。被写体１０１は、コメント６０３に従って、遮蔽物を除いて、顔全体のキャプチャを再度実施する。

なお、図４、図５及び図６に示した修正コメントは、インターフェース部１０３に表示されるのみではなく、音声により指示されることでも、同様の効果を得ることができる。

次に、Ｓ２０７にて、顔状態データが性能限界閾値の範囲に納まった場合、判定部１０５は、判定成功フラグと顔状態データを検出部１０４に送り、検出部１０４は被写体画像、顔部品データ、顔状態データを学習部１０７に送る。学習部１０７は被写体画像、顔部品データ、顔状態データから人物の特徴を表す生体情報を抽出し、生体情報蓄積部１０８へ格納する。

生体情報としては、例えば、顔部品ごとの濃淡情報や、顔部品の位置関係などが考えられる。さらにこれらを、例えば、主成分分析など統計的な特徴抽出法によって特徴的な成分だけを抽出しても良い。また、顔状態ごとに分類して生体情報を登録しておき、認識の
際に顔状態に応じた登録情報で認証を行うことで認証精度の向上を狙うことも考えられる。

次に、Ｓ２０８にて、生体情報を生体情報蓄積部１０８に格納し、登録が終了したら、学習部１０７はインターフェース部１０３に登録結果を送る。インターフェース部１０３は登録作業が終了したことをユーザに通知し、登録ステップが終了する。

以上が、登録ステップの処理であり、以下に、認証ステップの処理について、図７を用いて説明する。

まず、Ｓ７０１にて、カメラ１０２が、被写体１０１の顔をキャプチャする。キャプチャされた被写体画像は検出部１０４に送られる。

次に、Ｓ７０２にて、検出部１０４は、被写体画像中から人物の目、鼻、口、眉、耳、頬の位置情報を顔部品データとして抽出し、被写体画像と共に判定部１０５に送る。抽出した顔部品データの例を図３に示す。

次に、Ｓ７０３にて、判定部１０５は、被写体画像および顔部品データから、人物の顔の向き、顔領域における明度、顔領域における光の向きおよび強さのコントラスト、画像中における人物の顔の大きさ、顔領域内における遮蔽物の有無および大きさといった顔状態データを計算する。

次に、Ｓ７０４にて、判定部１０５は、閾値格納部１０６から性能限界閾値を読み出す。

次に、Ｓ７０５にて、判定部１０５は性能限界閾値と顔状態データとを比較して、顔状態が閾値を超える場合は、Ｓ７０６に移行し、顔状態が閾値を超えない場合は、Ｓ７０７に移行する。

次に、Ｓ７０６にて、判定部１０５は、閾値を超えた項目と超えた値から被写体１０１に与える修正内容を決定し、インターフェース部１０３を通じて被写体１０１に通知する。例えば、被写体１０１が右を大きく向いているため、性能限界閾値を超えた場合は、インターフェース部１０３からもう少し左を向くように指示を送る。照明が暗すぎて画面中の顔も暗く写っている場合はもう少し明るい場所で撮影を行うように指示を送る、などである。指示はインターフェース部１０３の画面で行っても良いし、被写体１０１が個人認証装置１１１から離れている場合を想定して音声や光などで指示をしてもよい。そして再び被写体画像のキャプチャを行い、顔状態データが性能限界閾値の範囲内におさまるまで、Ｓ７０１からＳ７０６までを繰り返す。ここで、顔状態データは、視覚的に判断しやすいため、ユーザは容易に修正することが可能となる。

次に、Ｓ７０７にて、顔状態データが性能限界閾値の範囲に納まった場合、判定部１０５は、判定成功フラグと顔状態データを検出部１０４に送り、検出部１０４は、被写体画像、顔部品データ、顔状態データを認証部１０９に送る。認証部１０９は被写体画像、顔部品データ、顔状態データから被写体１０１の特徴を表す生体情報を抽出し、これと、登録ステップにおいて生体情報蓄積部１０８へ格納された登録情報と比較することで認証を行う。

次に、Ｓ７０８にて、認証が終了したら、認証部１０９はインターフェース部１０３に認証結果を送る。インターフェース部１０３は認証作業が終了したことをユーザに通知し、認証ステップが終了する。

本実施の形態によれば、認証対象の状態が、個人認証装置１１１にとって、本来の性能を発揮する正常動作範囲に含まれるか否かを検証し、正常動作範囲外である場合には、認証動作範囲内となる修正指示を被写体１０１に提示することで、認証精度を向上することができる。また、被写体１０１であるユーザは、現在の撮影状態と正常動作範囲とを確認することができるため、被写体１０１の撮影状態の修正が容易であり、使用回数に伴い、認証時間の短縮も可能となる。

（実施の形態２）
図８に、第２の実施の形態による個人認証装置８０６の構成を示す。本実施の形態による個人認証装置８０６は、閾値格納部８０３に蓄積されている顔状態閾値の追加学習を行うものである。

判定部８０１は、カメラ１０２で撮影された被写体画像と検出部１０４で抽出された位置情報とから人物状態を判断し、人物状態が認証に利用できるかを判断し、顔状態データを閾値計算部８０２に出力するものであり、閾値計算部８０２は、判定部８０１で顔状態が認識に適しているかを判断するための閾値を計算するものあり、閾値格納部８０３は、閾値計算部８０２により計算された閾値を格納し、判定を行う場合に判定部８０１に閾値を出力するものであり、インターフェース部８０４は、ユーザからの指示を受け付け、認証結果やユーザへの指示を表示し、認証が失敗した場合に、閾値計算部８０２に認証成否情報を出力するものである。

ここで、カメラ１０２、検出部１０４、閾値格納部８０３、学習部１０７、生体情報蓄積部１０８、認証部１０９は、第１の実施の形態による個人認証装置８０６と同様の動作であるため、詳しい説明は省略する。

また、画像撮影装置８０６は、カメラ１０２、インターフェース部８０４、検出部１０４、判定部８０１、閾値格納部８０３、閾値計算部８０２を含む構成であり、個人認証装置８０６は、画像撮影装置８０６、学習部１０７、生体情報蓄積部１０８、認証部１０９を含む構成である。

認証はユーザの個人情報を登録する登録ステップと、撮影した画像中の人物が登録されているかを判定する認証ステップに分けることができる。登録ステップの処理であるフローチャートを図９に示し、認証ステップの処理であるフローチャートを図１０に示す。

図９の登録ステップにおいて、まず、Ｓ９０１にて、ユーザはカメラ１０２で自分の顔をキャプチャし、キャプチャされた被写体画像は検出部１０４に送られる。

次に、Ｓ９０２にて、検出部１０４は、被写体画像中から人物の目、鼻、口、眉、耳、頬などの顔部品の位置情報を顔部品データとして抽出し、被写体画像と共に判定部８０１に送る。

次に、Ｓ９０３にて、判定部８０１は、被写体画像および顔部品データから、人物の顔の向き、顔領域における明度、顔領域における光の向き、顔領域における光の強さのコントラスト、画像中における人物の顔の大きさ、顔領域内における遮蔽物の有無及び顔領域内における遮蔽物の大きさといった顔状態データを計算する。

次に、Ｓ９０４にて、判定部８０１は、閾値格納部８０３から性能限界閾値を読み出す。性能限界閾値は、認証部１０９で認証性能が十分に発揮できる顔状態の範囲の限界値を表し、顔状態がこの閾値を超えると認証が正常に行われない可能性が大きくなる。性能限
界閾値はユーザがあらかじめ任意の値に設定しておく。

次に、Ｓ９０５にて、判定部８０１は、性能限界閾値と顔状態データとを比較して、顔状態が閾値を超える場合は、Ｓ９０６に移行し、顔状態が閾値を超えない場合は、Ｓ９０８に移行する。

次に、Ｓ９０６にて、閾値計算部８０２は、閾値を超過した顔状態データを受け取り、性能限界閾値を再計算する。性能限界閾値の再計算方法としては、例えば、閾値が超過した場合の顔状態データ及び閾値が超過しない場合の顔状態データを蓄積し、両者の分布を作成し、分布から誤判定の確率が、最も低くなる値を新たな閾値として決定する方法などが考えられる。閾値計算部８０２は、再計算された性能限界閾値を閾値格納部８０３に格納し、Ｓ９０７に移行する。性能限界閾値の再計算を実施することにより、屋外、屋内などの使用環境に合わせた閾値の設定が可能となる。

次に、Ｓ９０７にて、判定部８０１は、閾値を超えた項目と閾値を超えた値とからユーザに与える修正内容を決定し、インターフェース部８０４を通じてユーザに通知する。例えば、ユーザが右を大きく向いていて、これが性能限界閾値を超えた場合は、インターフェース部８０４からもう少し左を向くように指示を送る。照明が暗すぎて画面中の顔も暗く写っている場合は、もう少し明るい場所で撮影を行うように指示を送る、などである。指示はインターフェース部８０４の画面で行っても良いし、ユーザが装置から離れている場合を想定して音声や光などで指示をしてもよい。そして再びＳ９０１に移行し、被写体画像のキャプチャを行い、顔状態データが性能限界閾値の範囲内におさまるまで、Ｓ９０１からＳ９０７までのステップを繰り返す。

次に、Ｓ９０８にて、顔状態データが性能限界閾値の範囲に納まった場合、判定部８０１は、判定成功フラグと顔状態データを検出部１０４に送り、検出部１０４は被写体画像、顔部品データ、顔状態データを学習部１０７に送る。学習部１０７は被写体画像、顔部品データ、顔状態データから人物の特徴を表す生体情報を抽出し、生体情報蓄積部１０８へ格納する。

生体情報としては、例えば、顔部品ごとの濃淡情報や、顔部品の位置関係などが考えられる。さらにこれらを、例えば、主成分分析など統計的な特徴抽出法によって特徴的な成分だけを抽出しても良い。また、顔状態ごとに分類して生体情報を登録しておき、認識の際に顔状態に応じた登録情報で認証を行うことで認証精度の向上を狙うことも考えられる。

次に、Ｓ９０９にて、生体情報を生体情報蓄積部１０８に格納し、登録が終了したら、学習部１０７はインターフェース部８０４に登録情報を送る。インターフェース部８０４は登録作業が終了したことをユーザに通知し、登録ステップが終了する。

以上が、登録ステップの処理であり、以下に、認証ステップの処理について、図１０を用いて説明する。

まず、Ｓ１００１にて、カメラ１０２は、被写体１０１をキャプチャし、キャプチャされた被写体画像は検出部１０４に送られる。

次に、Ｓ１００２にて、検出部１０４は、画像中から人物の目、鼻、口、眉、耳、頬の位置情報を顔部品データとして抽出し、被写体画像と共に判定部８０１に送る。

次に、Ｓ１００３にて、判定部８０１は、被写体画像および顔部品データから、被写体
１０１の顔の向き、顔領域における明度、顔領域における光の向きおよび強さのコントラスト、画像中における人物の顔の大きさ、顔領域内における遮蔽物の有無および大きさといった顔状態データを計算する。

次に、Ｓ１００４にて、判定部８０１は、閾値格納部８０３から性能限界閾値を読み出す。

次に、Ｓ１００５にて、判定部８０１は、性能限界閾値と顔状態データとを比較して、顔状態が閾値を超える場合は、Ｓ１００６に移行し、顔状態が閾値を超えない場合は、Ｓ１００７に移行する。

次に、Ｓ１００６にて、判定部８０１は、閾値を超えた項目と超えた値からユーザに与える修正内容を決定し、インターフェース部８０４を通じてユーザに通知する。例えばユーザが右を大きく向いていて、これが性能限界閾値を超えた場合は、インターフェース部８０４からもう少し左を向くように指示を送る。照明が暗すぎて画面中の顔も暗く写っている場合はもう少し明るい場所で撮影を行うように指示を送る、などである。そして再び画像のキャプチャを行い、顔状態データが性能限界閾値の範囲内におさまるまで、Ｓ７０１からＳ１００６までを繰り返す。

次に、Ｓ１００７にて、認証部１０９は、被写体画像、顔部品データ、顔状態データから被写体１０１の特徴を表す生体情報を抽出し、登録ステップにおいて生体情報蓄積部１０８へ格納された登録情報と比較することで認証を行う。ここで、認証に成功した場合は、認証成功結果を、インターフェース部８０４を通じて通知し、Ｓ１００９に移行し、認証に失敗した場合は、認証成功結果を、インターフェース部８０４を通じて通知し、Ｓ１００８に移行する。

次に、Ｓ１００８にて、認証部１０９は、他の手段による認証を行う。認証に失敗した場合に、インターフェース部８０４に提示される画像を図１１に示す。ここではパスワード１１０１による認証に切り替えた場合を示しているが、指紋や音声などの認証でもよい。ここで、認証に成功した場合は、Ｓ１００９に移行し、認証に失敗した場合は、Ｓ１００１に移行し、再度、画像の撮影を開始する。なお、図示していないが、認証の失敗を繰り返す場合は、認識対象外の人物と判断し、処理を停止することも可能である。

次に、Ｓ１００９にて、閾値計算部８０２は、顔状態判定閾値の追加学習の要否を判断し、追加学習が必要であると判断した場合は、Ｓ１０１１の認証成否情報入力フェーズに移行し、追加学習が不要であると判断した場合は、認識処理を終了する。

ここで、顔状態判定閾値の追加学習の要否についての判断基準は、まず、顔認証に失敗して、その他の認証で成功した場合は毎回行う、又は、ある回数以上連続して顔認証に失敗した場合は行う、又は、学習がある一定期間以上更新されていなかった場合は行う、などが考えられ、ユーザに直接問いかけることで、要否を判断することも可能である。

次に、Ｓ１０１０にて、閾値計算部８０２は、ユーザは出力された認証結果の可否を示した認証成否情報を、インターフェース部８０４を通じて入力する。ここで、図１２に、認証に成功した場合のインターフェース部８０４の表示を示す。ユーザは、表示されたコメントに従い、認証結果を学習に反映させる場合は、「学習」ボタン１２０１を押す。

次に、Ｓ１０１１にて、閾値計算部８０２は、認証成否情報と判定部８０１で計算された顔状態データを受け取り、性能限界閾値を再計算する。性能限界閾値の再計算方法としては、例えば、認証に成功した場合の顔状態データおよび失敗した場合の顔状態データを
蓄積しておいて、成功した場合と失敗した場合との分布を作成し、分布から誤判定の確率がもっとも低くなる値を新たな閾値として決定する方法や、現在の閾値と今回の顔状態データとの認証成否情報に従った重み付け和を計算する方法などが考えられる。閾値計算部８０２は再計算された性能限界閾値を閾値格納部８０３に格納し、認証ステップを終了する。

本実施の形態のように、認証対象の状態が、個人認証装置にとって、本来の性能を発揮する正常動作範囲に含まれるか否かを検証し、正常動作範囲外である場合に、認証動作範囲内となる修正指示を被写体１０１に提示することで、認証精度を向上することができる。

また、被写体１０１であるユーザは、現在の撮影状態と正常動作範囲とを確認することができるため、被写体１０１の撮影状態の修正が容易であり、使用回数に伴い、認証時間の短縮も可能である。

更に、利用時に、認証のための閾値を修正することが可能であるため、使用環境に応じた学習が容易になるという効果が得られる。

（実施の形態３）
第３の実施の形態による画像撮影装置１３０３は、予め定めたポーズに合った画像を画像蓄積部に蓄積することにより、撮影する際に失敗することなく、所望のポーズで撮影することができるようにしたものである。

図１３に、画像撮影装置１３０３の構成を示す。カメラ１０２は、人物の写った被写体画像を撮影するためのものであり、インターフェース部１０３は、ユーザからの指示を受け付け、ユーザへ指示や情報を表示するためのものであり、検出部１０４は、カメラ１０２で撮影された被写体画像から顔の位置情報や、目、鼻、口などの特徴的な部位の位置情報を抽出するためのものであり、判定部１３０２は、カメラ１０２で撮影された被写体画像と検出部１０４で抽出された位置情報から被写体画像内の人物の状態を判断し、人物の状態データがあらかじめ定義されたデータの範囲かどうか判断するためのものであり、閾値格納部１０６は、判定部１３０２で行う判定の基準値を格納するものであり、画像格納部１３０１は、カメラ１０２で撮影された被写体画像を格納するためのものである。画像撮影装置１３０３は、カメラ１０２、インターフェース部１０３、検出部１０４、判定部１３０２、閾値格納部１０６及び画像格納部１３０１を含む構成である。

以下、画像撮影装置１３０３の処理の流れを図１４のフローチャートを用いて説明する。まず、Ｓ１４０１にて、インターフェース部１０３が、撮影するためのポーズ一覧を表示し、ユーザは自分が撮りたいポーズを選択し、選択されたポーズは判定部１３０２に出力される。例えば、証明写真用に正面を向いた写真を撮りたい場合のポーズや、首をかしげたポーズ、下から見上げたようなポーズなどである。

次に、Ｓ１４０２にて、判定部１３０２は、指定したポーズにおける性能限界閾値を閾値格納部１０６から読み出す。閾値格納部１０６には図１５に示すように、ポーズごとに顔の状態の許容範囲である性能限界閾値が格納してある。

次に、Ｓ１４０３にて、カメラ１０２は、被写体１０１のキャプチャを行う。キャプチャされた被写体画像は検出部１０４に出力される。

次に、Ｓ１４０４にて、検出部１０４は、被写体画像中から人物の目、鼻、口、眉、耳、頬などの顔部品の位置情報を顔部品データとして抽出し、被写体画像と共に判定部１３
０２に送る。

次に、Ｓ１４０５にて、判定部１３０２は、被写体画像および顔部品データから、顔の状態データを計算する。

次に、Ｓ１４０６にて、判定部１３０２は、性能限界閾値と顔状態データとを比較して、顔状態が閾値を超える場合は、Ｓ１４０７に移行し、顔状態が閾値を超えない場合は、Ｓ１４０８に移行する。

次に、Ｓ１４０７にて、判定部１３０２は、閾値を超えた項目と超えた値から被写体１０１に与える修正内容を決定し、インターフェース部１０３を通じて被写体１０１に通知する。例えば、被写体１０１が右を向いているため、性能限界閾値を超えた場合は、インターフェース部１０３からもう少し左を向くように指示を送る、などである。なお、指定したポーズとは直接関係がなくても、撮影される画像が保存に不適当と判断した場合も同様に修正指示を送ってもよい。例えば、照明が暗すぎて画面中の顔も暗く写っている場合は、もう少し明るい場所で撮影を行うように指示を送る、横からの光が強すぎて顔の明暗のコントラストがきつい場合には、もう少し落ち着いた光源の場所で撮ることを勧める、画面中いっぱいに顔が写っている場合は、もう少し画像撮影装置１３０３から離れて写ることを勧める、などである。指示はインターフェース部１０３の画面で行っても良いし、被写体１０１が画像撮影装置１３０３から離れている場合を想定して音声や光などで指示をしてもよい。そして、再び被写体画像のキャプチャを行い、顔の状態が性能限界閾値の範囲内におさまるまで、Ｓ１４０３からＳ１４０７までを繰り返す。

次に、Ｓ１４０８にて、顔状態データが性能限界閾値の範囲に納まった場合、判定部１３０２は、撮影した被写体画像を画像格納部１３０１に保存する。

次に、Ｓ１４０９にて、判定部１３０２は、判定成功フラグと撮影した被写体画像をインターフェース部１０３に送って処理が終了する。

なお、画像撮影と画像修正とについては、実施の形態１及び２と同様であるため、ここでの説明は省略する。

本実施の形態によれば、ユーザが予め撮りたいポーズを指定しておき、被写体１０１のポーズが所望のポーズになるまで修正指示を送り、指定したポーズになった場合に被写体画像を蓄積することで、セルフタイマーのような時間の制約もなく、自らの所望する被写体画像を撮影することができるという効果が得られる。また、被写体１０１のポーズが、指定したポーズでない場合も、どうすれば指定したポーズにできるかという修正指示が得られるために、修正が容易に行えるという効果を有する。

本発明にかかる画像撮影装置、個人認証装置及び画像撮影方法は、被写体の撮影状態を把握することが容易であり、修正情報が提示されるため所望の撮影状態への修正が容易になり、撮影時間を短縮、撮影回数を減少することができ、更に、撮影した被写体画像を認証に用いることで、認識精度の向上が可能となる。また、撮影条件の閾値を常時修正、更新することで、認識環境に適応した判断をすることができるという効果を有し、対象物体を撮影する場合に、画像パターン処理を用いて撮影補助を行う画像撮影装置及び前記画像撮影装置を用いた個人認証装置等として、有用である。

本発明の実施の形態１による個人認証装置の構成を示す図 本発明の実施の形態１による登録ステップの処理を示すフローチャート 本発明の実施の形態１による顔部品データを示す図 本発明の実施の形態１によるインターフェース部の表示を示す図 本発明の実施の形態１によるインターフェース部の表示を示す図 本発明の実施の形態１によるインターフェース部の表示を示す図 本発明の実施の形態１による認証ステップの処理を示すフローチャート 本発明の実施の形態２による個人認証装置の構成を示す図 本発明の実施の形態２１による認証ステップの処理を示すフローチャート 本発明の実施の形態２による登録ステップの処理を示すフローチャート 本発明の実施の形態２によるインターフェース部の表示を示す図 本発明の実施の形態２によるインターフェース部の表示を示す図 本発明の実施の形態３による画像撮影装置の構成を示す図 本発明の実施の形態３による画像撮影の処理を示すフローチャート 本発明の実施の形態３による閾値とポーズの関係を示す図 従来の個人認証装置による認証の処理を示したフローチャート

符号の説明

１０１ 被写体
１０２ カメラ
１０３、８０４ インターフェース部
１０４ 検出部
１０５、８０１、１３０２ 判定部
１０６、８０３ 閾値格納部
１０７ 学習部
１０８ 生体情報蓄積部
１０９ 認証部
１１０、８０５、１３０３ 画像撮影装置
１１１、８０６ 個人認証装置
３０１ 目頭
３０２ 目尻
３０３ 黒目中心
４０１、５０１、６０１ 被写体画像
４０２ 現在の向き
４０３ 理想的な向き
４０４ 修正方向
４０５、５０４、６０３、１１０２ コメント
５０２ 現在の大きさ
５０３ 理想の大きさ
６０２ 遮蔽部分
８０２ 閾値計算部
１１０１ パスワード
１２０１ 学習ボタン
１３０１ 画像格納部

Claims (7)

1. 被写体を撮影するカメラと、前記被写体を撮影した被写体画像から特徴部分を検出した特徴情報を出力する検出部と、前記被写体画像の判定基準である性能限界閾値を格納する閾値格納部と、前記特徴情報及び前記被写体画像から前記被写体の撮影状況を求め、前記撮影状況が前記性能限界閾値を超過する場合は、前記撮影状況を修正する修正情報を出力する判定部と、前記修正情報又は前記被写体画像を提示するインターフェース部とを含む画像撮影装置。
2. 撮影状況及び修正情報を用いて、性能限界閾値を更新する閾値計算部を更に含む請求項１記載の画像撮影装置。
3. 修正情報により修正された被写体画像を格納する画像格納部を更に含む請求項１又は２記載の画像撮影装置。
4. 撮影状況は、被写体の向き、被写体の大きさ、被写体に当たる光の光源の向き、被写体に当たる光の光源の強さ、被写体画像の明度、被写体の一部又は全部を遮蔽する物体の有無、若しくは、被写体の一部又は全部を遮蔽する物体の大きさの少なくとも１つである請求項１ないし３のいずれか記載の画像撮影装置。
5. 特徴情報は、人物の顔の位置、目の位置、鼻の位置、口の位置、眉の位置、頬の位置又は耳の位置のうち少なくとも一つである請求項１ないし４のいずれか記載の画像撮影装置。
6. 請求項１ないし５のいずれか記載の画像撮影装置と、特徴情報及び被写体画像から認証に用いる生体情報を抽出する学習部と、前記生体情報を前記被写体固有の登録情報として格納する生体情報蓄積部と、入力された照合用被写体画像と前記登録情報とを照合した照合結果を出力する認証部とを含み、インターフェース部は、前記登録情報、前記照合結果、修正情報又は前記被写体画像の少なくとも一つを提示する個人認証装置。
7. 被写体を撮影するカメラが撮影した被写体画像から特徴部分を検出した特徴情報を出力する第１のステップと、前記特徴情報及び前記被写体画像から前記被写体の撮影状況を求める第２のステップと、前記撮影状況が前記被写体画像の判定基準であり予め蓄積された性能限界閾値を超過する場合は、前記撮影状況を修正する修正情報を出力する第３のステップと、前記修正情報又は前記被写体画像を提示する第４のステップとを含む画像撮影方法。