JP2015035178A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】顔認証を行うために顔画像を取得する撮像部との相対的位置関係、特に履いている靴等によりユーザの高さが変化したとしても正しく顔認証を実行し得る装置及びプログラムを提供する。【解決手段】画像処理装置１０は、ユーザの顔認証を行うに際し、予め顔画像を登録する。顔画像を登録する際に、顔画像１４１を表示して正面画像を撮影するだけでなく、案内マーク１４３、１４５を表示してそれぞれ上向き画像と下向き画像を撮影して登録する。顔認証時には、これら上向き画像や下向き画像も用いて認証する。【選択図】図７

Description

本発明は、画像処理装置及びプログラムに関する。

近年、顔認証技術が開発・普及されており、種々の分野に応用されている。

特許文献１には、被認証者の顔を含む領域を撮影して得られた顔画像から生成した認証に用いる情報と、予め登録された認証情報とを比較照合し、互いに一致すると判定された場合に被認証者を予め登録されたものであると認証する技術が開示されている。

特許文献２には、登録する複数の人物のそれぞれについて顔向きが異なる複数の登録顔画像を用意し、それぞれの顔向きの登録顔画像と入力顔画像との類似度に基づいて、最も類似する登録顔画像の人物を入力顔画像の人物と判定することが開示されている。

特開２０００−０３００６６号公報 特開２００９−２４５３３８号公報

本発明の目的は、顔による認証を行うために顔画像を取得する撮影部と使用者の相対的位置関係が登録時と認証時とで異なる場合であっても、単一の画像のみを撮影している場合に比べ、顔による認証の精度を向上し得る装置及びプログラムを提供することにある。

請求項１記載の発明は、使用者の顔画像を撮影する撮影部と、前記撮影部によって撮影された顔画像を登録する登録部と、顔画像を撮影して前記登録部に登録する際に、使用者の顔画像である第１の画像に加え、当該第１の画像に対して使用者が相対的に上を向いている上向き画像と下を向いている下向き画像の少なくともいずれかを撮影するための案内画像を表示する表示部と、前記撮像部で得られた顔画像と、登録された顔画像とを照合して顔認証を行う認証部とを備えることを特徴とする画像処理装置である。

請求項２記載の発明は、使用者の顔画像を撮影する撮影部と、前記撮影部によって撮影された顔画像を登録する登録部と、前記撮像部で得られた顔画像と、前記登録部に登録された顔画像とを照合して顔認証を行う認証部とを備え、前記登録部は、使用者の顔画像である第１の画像に加え、当該第１の画像に対して使用者が相対的に上を向いている上向き画像と下を向いている下向き画像の少なくともいずれかを登録することを特徴とする画像処理装置である。

請求項３記載の発明は、前記表示部は、使用者の上向き画像と下向き画像の少なくともいずれかを撮影する際に、前記上向き画像用の案内記号と前記下向き画像用の案内記号の少なくともいずれかを表示して使用者の顔の向きを案内することを特徴とする請求項１に記載の画像処理装置である。

請求項４記載の発明は、前記上向き画像と下向き画像の少なくともいずれかを撮影する場合には、前記案内画像を表示した後に使用者の撮影指示によらずに前記撮像部により自動で撮影されることを特徴とする請求項１、３のいずれかに記載の画像処理装置である。

請求項５記載の発明は、前記第１の画像を撮影する場合には、使用者による撮影指示によって撮影されることを特徴とする請求項４に記載の画像処理装置である。

請求項６記載の発明は、前記表示部は、前記第１の画像を撮影する際には撮影時のユーザの顔画像を表示し、前記上向き画像と下向き画像の少なくともいずれかを撮影する際には撮影時の使用者の顔画像を非表示とすることを特徴とする請求項１、３、４、５のいずれかに記載の画像処理装置である。

請求項７記載の発明は、前記撮像部と前記表示部は、互いに離間して設けられ、前記表示部は、顔認証の照合元となる顔画像を撮影して登録する際に、さらに、前記表示部から見て前記撮像部が位置する方向を向いた画像を撮影するための案内画像を表示することを特徴とする請求項１記載の画像処理装置である。

請求項８記載の発明は、コンピュータに、顔認証の照合元となる顔画像を撮影部で撮影して登録する際に、第１の画像に加え、当該第１の画像に対して使用者が相対的に上を向いている上向き画像と下を向いている下向き画像の少なくともいずれかを撮影するための案内画像を表示部に表示するステップと、前記第１の画像と、前記上向き画像と前記下向き画像の少なくともいずれかをメモリに登録するステップと、前記撮影部で得られた顔画像と、前記メモリに登録された画像とを照合して制御部で顔認証を行うステップとを実行させることを特徴とするプログラムである。

請求項１、請求項２及び請求項８記載の発明によれば、顔による認証を行うために顔画像を取得する撮影部と使用者の相対的位置関係が登録時と認証時とで異なる場合であっても、単一の画像のみを撮影している場合に比べ、顔による認証の精度を向上し得る。

請求項３記載の発明によれば、さらに、文字にのみによって案内する場合に比べ、顔の向きをどの程度移動すれば良いのかを理解しやすい。

請求項４記載の発明によれば、使用者による撮影指示によって上向き画像または下向き画像を撮影する場合に比べ、所望の画像を得ることができる。

請求項５に記載の発明によれば、使用者による撮影指示によらず撮影する場合にくらべ、使用者が望む画像を撮影することができる。

請求項６記載の発明によれば、さらに、ユーザの顔を所望の方向に向けて容易に撮影し得る。

請求項７記載の発明によれば、さらに、顔認証精度を向上させ得る。

画像処理装置の正面図である。 画像処理装置の上面図である。 画像処理装置の構成ブロック図である。 画像処理装置の人検出装置の構成ブロック図である。 画像処理装置の機能ブロック図である。 画像処理装置と人の位置関係を示す平面図である。 顔画像登録画面説明図である。 顔画像登録説明図である。

以下、図面に基づき本発明の実施形態について説明する。

図１に、本実施形態における画像処理装置１０の正面図を示す。また、図２に、画像処理装置１０の上面図を示す。

画像処理装置１０は、人感センサ１９１と、第１撮像部１９２と、第２撮像部１９３とを備える。

人感センサ１９１は、例えば赤外線センサから構成され、画像処理装置１０の筐体前面に設けられる。人感センサ１９１は、図２に示す検出領域Ｆ１内に存在する人体を検出して検出信号を出力する。検出領域Ｆ１は、画像処理装置１０の正面に設定され、例えば人感センサ１９１を中心として角度９０度から１３５度、半径１５００ｍｍの扇形の領域として設定される。

第１撮像部１９２は、例えば広角レンズを備えるカメラであり、画像処理装置１０の筐体前面に設けられる。第１撮像部１９２は、図２に示す検出領域Ｆ２の画像を撮影する。検出領域Ｆ２は、画像処理装置１０の正面に設定され、例えば第１撮像部１９２を中心とした半径１０００ｍｍの半円形の範囲として設定される。

第２撮像部１９３は、例えばカメラであり、画像処理装置１０の筐体上面において操作部１３及び表示部１４に隣接して設けられる。第２撮像部１９３は、画像処理装置１０を利用するユーザの顔画像を撮影する。

なお、図２における領域Ｆ３は、ユーザが画像処理装置１０を操作する際に滞在する領域であり、画像処理装置１０の正面において画像処理装置１０と隣り合うように設定される。

図３に、画像処理装置１０の構成ブロック図を示す。画像処理装置１０は、制御部１１と、通信部１２と、操作部１３と、表示部１４と、記憶部１５と、画像読取部１６と、画像形成部１７と、電源回路１８と、人検出装置１９を備える。

制御部１１は、例えばＣＰＵとメモリを備え、画像処理装置１０の各部を制御する。ＣＰＵは、メモリ又は記憶部１５に記憶されたプログラムを読み出して実行する。メモリは
ＲＯＭ及びＲＡＭを備える。ＲＯＭは、予めプログラムや各種データを記憶する。ＲＡＭは、プログラムやデータを一時記憶し、ＣＰＵがプログラムを実行する際のワーキングエリアとして機能する。

通信部１２は、通信回線に接続される通信インタフェースである。通信部１２は、通信回線に接続されたクライアント装置や他の画像処理装置１０と通信回線を介して通信を行う。

操作部１３は、例えばタッチパネル及びキーから構成され、ユーザの操作に応じたデータを制御部１１に供給する。

表示部１４は、例えば液晶ディスプレイであり、各種の情報を表示する。操作部１３及び表示部１４は、画像処理装置１０の筐体上面に設けられる。操作部１３と表示部１４はタッチパネルとして一体化していてもよい。

記憶部１５は、ハードディスクや半導体メモリ等であり、制御部１１により用いられる各種プログラムやデータを記憶する。

画像読取部１６は、イメージスキャナであり、原稿の画像を読み取って画像データを生成する。

画像形成部１７は、画像データに応じた画像を用紙等のシート状の媒体に形成する。画像形成部１７は、電子写真方式により画像を形成してもよいし、他の方法により画像を形成してもよい。画像形成部１７は、一般にはプリンタとして機能する。

電源回路１８は、画像処理装置１０の各部に電力を供給する。

人検出装置１９は、画像処理装置１０のユーザを検出するものであり、具体的には人感センサ１９１と、第１撮像部１９２と、第２撮像部１９３を備える。

図４に、人検出装置１９の構成ブロック図を示す。人検出装置１９は、人感センサ１９１と、第１撮像部１９２と、第２撮像部１９３と、画像処理部１９４と、通信制御部１９５を備える。

画像処理部１９４は、第１撮像部１９２により撮影された画像、及び第２撮像部１９３で撮影された画像を解析して各種の処理を実行する。画像処理部１９４は、ＣＰＵとメモリで構成する他、ＡＳＩＣにより構成されていてもよい。

通信制御部１９５は、人検出装置１９と制御部１１との間の通信を制御する。具体的には、第１撮像部１９２や第２撮像部１９３により撮影された画像から人を検出すると、検出信号を制御部１１に送信する。

図５に、画像処理装置１０の機能ブロック図を示す。画像処理装置１０は、機能として、動作モード制御部１０１と、電力制御部１０２と、接近判定部１０３と、滞在判定部１０４と、認証部１０５を備える。

動作モード制御部１０１は、制御部１１により実行され、画像処理装置１０の各部の動作モードを制御する。動作モード制御部１０１は、画像処理装置１０のメインシステムの動作モードと、第１撮像部１９２及び第２撮像部１９３の動作モードと、画像処理部１９４及び通信制御部１９５の動作モードを制御する。なお、メインシステムは、画像処理装置１０において人検出装置１９を除いた構成であり、画像読取部１６や画像形成部１７等である。

メインシステムの動作モードには、スタンバイモードとスリープモードがある。スタンバイモードにおいては、稼働に必要な電力がメインシステムに供給され、動作可能な状態にある。スタンバイモードに移行すると、画像処理装置１０は、ユーザの操作に応じて、スキャン処理、コピー処理、プリント処理又はファクシミリ処理を実行する。スリープモードにおいては、メインシステムの少なくとも一部への電力供給が停止され、メインシステムの少なくとも一部が非稼働状態になる。スリープモードでは、制御部１１の一部、表示部１４、画像読取部１６及び画像形成部１７への電力供給が停止される。

第１撮像部１９２及び第２撮像部１９３の動作モードには、オン状態とオフ状態がある。オン状態においては、第１撮像部１９２及び第２撮像部１９３に電力が供給され、第１撮像部１９２及び第２撮像部１９３の電源がオンになる。オフ状態においては、第１撮像部１９２及び第２撮像部１９３への電力供給が停止され、第１撮像部１９２及び第２撮像部１９３の電源がオフになる。

画像処理部１９４及び通信制御部１９５の動作モードには、スタンバイモードとスリープモードがある。スタンバイモードにおいては、稼働に必要な電力が画像処理部１９４及び通信制御部１９５に供給され稼働状態となる。スリープモードにおいては、画像処理部１９４及び通信制御部１９５の少なくとも一部への電力供給が停止され、非稼働状態となる。

また、動作モード制御部１０１は、第１タイマ１１１と第２タイマ１１２を備える。第１タイマ１１１は、メインシステムをスリープモードに移行する際に用いられる。第２タイマ１１２は、第１撮像部１９２及び第２撮像部１９３をオフ状態にし、画像処理部１９４及び通信制御部１９５をスリープモードに移行する際に用いられる。

電力制御部１０２は、動作モード制御部１０１の制御により、電源回路１８から画像処理装置１０の各部への電力供給を制御する。なお、電力制御部１０２は、人感センサ１９１には常に電力を供給する。

接近判定部１０３は、画像処理部１９４により実行され、第１撮像部１９２により撮影された画像に基づいて検出領域Ｆ２内にいる人が画像処理装置１０に近づいているか否かを判定する。具体的には、撮影画像から人の形を検出してその向きを検出し、検出した人体の向きが画像処理装置１０に向かう方向である場合には画像処理装置１０に向かって近づいていると判定し、それ以外の場合には画像処理装置１０に向かって近づいていないと判定する。

滞在判定部１０４は、画像処理部１９４により実行され、第１撮像部１９２により撮影された画像に基づいて、操作領域Ｆ３内に人がいるか否かを判定する。

認証部１０５は、画像処理部１９４により実行され、第２撮像部１９３により撮影された画像に基づいて、ユーザの顔によってユーザを認証する。具体的には、第２撮像部１９３により撮影された画像から顔領域を抽出し、抽出した顔領域の特徴と予め登録されたユーザの顔画像の特徴とを照合することにより、登録されたユーザの顔画像であるか否かを判定する。ユーザの顔画像であると判定された場合、ユーザの認証は成功する。他方、ユーザの顔画像でないと判定された場合、ユーザの認証は失敗する。予め登録されるユーザの顔画像については、さらに後述する。本実施の形態では顔によってユーザを認証することを「顔認証」と呼ぶ。

なお、認証部１０５は、顔認証処理(第１の認証処理)に加え、ＩＤ及びパスワード認証処理(第２の認証処理)も実行してもよい。具体的には、ユーザが操作部１３あるいは表示部１４を操作してＩＤ及びパスワードを入力すると、予め登録されたユーザのＩＤ及びパスワードと照合することでユーザを認証する。ＩＤ及びパスワードによる認証は、顔画像が必要でないため画像処理部１９４で実行するのではなく、制御部１１により実行される。

認証部１０５は、第２撮像部１９３により撮影された画像に基づいて顔認証処理を実行するため、その前提として第２撮像部１９３がオン状態となっていることが必要である。すなわち、認証部１０５は、第２撮像部１９３がオン状態であり、かつ、画像処理部１９４がスタンバイモードにおいて稼働状態となる。

図６に、画像処理装置１０と人との位置関係を示す。

初期状態において、画像処理装置１０のメインシステム、画像処理部１９４及び通信制御部１９５の動作モードがスリープモードに移行しており、第１撮像部１９２及び第２撮像部１９３がオフ状態にある。

図６（ａ）のように検出領域Ｆ１に人がいないと、人感センサ１９１は人を検出せず、検出信号はオフとなる。

次に、図６（ｂ）のように検出領域Ｆ１に人が移動すると、人感センサ１９１は人を検出し、検出信号がオンとなる。人感センサ１９１の検出信号がオンになると、第１撮像部１９２及び第２撮像部１９３が起動されてオフ状態からオン状態に移行し、画像処理部１９４及び通信制御部１９５がスリープモードからスタンバイモードに移行する。

第１撮像部１９２は、起動中、所定の時間間隔で検出領域Ｆ２の画像を撮影する。第１撮像部１９２で画像が撮影されると、接近判定処理及び滞在判定処理が実行される。

次に、図６（ｃ）のように人が画像処理装置１０に近づく方向Ｄ１に移動すると、接近判定処理において画像処理装置１０に人が近づいていると判定され、メインシステムがスリープモードからスタンバイモードに移行する。

次に、図６（ｄ）のようにユーザが操作領域Ｆ３内に移動すると、滞在判定処理においてユーザが操作領域Ｆ３にいると判定され、メインシステムはスタンバイモードのまま維持される。図６（ｄ）の状態において、ユーザの認証が実行される。顔認証時には、第２撮像部１９３によりユーザの顔画像を撮影する。

ユーザが画像処理装置１０の利用を終了し、画像処理装置１０に対して所定のログアウト処理を実行して、図６（ｅ）のように画像処理装置１０に背を向けて操作領域Ｆ３外に移動すると、滞在判定処理においてユーザが操作領域Ｆ３にいないと判定される。この場合、第１タイマ１１１が起動され、設定時間Ｔ１の計測が開始される。

最後に、図６（ｆ）のようにユーザが検出領域Ｆ１外に移動すると、人感センサ１９１が人を検出しなくなるため、検出信号がオフとなる。検出信号がオフになると、第２タイマ１１２が起動され、設定時間Ｔ２の計測が開始される。タイマ１１２により計測された時間が設定時間Ｔ２を経過すると、メインシステムの動作モードがスリープモードであるか否かが判定される。メインシステムがスタンバイモードである場合には、設定時間Ｔ２を経過してもスタンバイモードはそのまま維持される。タイマ１１１により計測された時間が設定時間Ｔ１を経過すると、メインシステムがスタンバイモードからスリープモードに移行する。また、第１撮像部１９２及び第２撮像部１９３がオン状態からオフ状態になり、画像処理部１９４及び通信制御部１９５がスリープモードに移行する。

第２撮像部１９３、画像処理部１９４及び通信制御部１９５に着目すると、図６（ｂ）のように検出領域Ｆ１内に人が移動したタイミングで第２撮像部１９３がオン状態となり、画像処理部１９４及び通信制御部１９５がスタンバイモードに移行する。また、図６（ｃ）のように人が画像処理装置１０に近づくタイミングでメインシステムがスリープモードからスタンバイモードに移行し、操作部１３や表示部１４に電力が供給されオン状態となる。従って、この時点において、ユーザの顔認証が可能となる。そして、ユーザが操作を終了し、図６（ｆ）のように画像処理装置１０に背を向けて検出領域Ｆ１外に移動して設定時間Ｔ１を経過すると、メインシステムがスリープモードに移行し、第２撮像部１９３がオフ状態となり、かつ、画像処理部１９４と通信制御部１９５がスリープモードに移行して顔認証は行われない。

このように、図６（ｄ）の状態、つまりユーザが操作領域Ｆ３に存在する場合に、第２撮像部１９３でユーザの顔画像を撮影し、画像処理部１９４に供給する。画像処理部１９４では、第２撮像部１９３で得られた顔画像から情報を抽出し、予め登録されメモリに記憶されている正当ユーザの顔画像と照合し、両者が一致していればユーザと認証する。

予め登録されメモリに記憶されている顔画像は、当該ユーザが画像処理装置１０を実際に利用するに先立って予め第２撮像部１９３で撮影してメモリに記憶したものであるが、同一ユーザであっても、登録時のユーザの高さと顔認証時のユーザの高さが異なる場合もあり得る。例えば、登録時には踵の低い靴を履いており、顔認証時には踵の高い靴を履いている場合であり、その逆もまたしかりである。登録時の方が顔認証時よりもユーザ高さが高い場合、顔認証時に第２撮像部１９３で撮影して得られる画像はユーザの顔位置が登録時に比べ第２撮像部１９３より高くなり、下から撮影したような上向き顔画像となる。登録時の方が顔認証時よりもユーザ高さが低い場合、顔認証時に第２撮像部１９３で撮影して得られる画像はユーザの顔位置が登録時に比べ第２撮像部１９３より低くなり、上から撮影したような下向き顔画像となる。このような上向き顔画像や下向き顔画像と登録されメモリに記憶されている正当ユーザの顔画像と照合から特徴を抽出する場合、二つの顔画像は相対的に顔の角度が異なるため、相対的に顔の角度が同じ画像を比較する場合に比べ特徴が照合しにくいおそれがある。

そこで、本実施形態の画像処理装置１０は、顔認証に先立つ顔画像登録時において、ユーザの正面の顔画像のみならず、上向き画像と下向き画像の少なくともいずれかを第２撮像部１９３で撮影してメモリに登録しておく。

すなわち、本実施形態において顔登録されるのは、
（１）正面の顔画像＋上向きの顔画像
（２）正面の顔画像＋下向きの顔画像
（３）正面の顔画像＋上向きの顔画像＋下向きの顔画像
のいずれかである。

図７に、顔認証に先立つ顔登録時の表示部１４の表示画面の遷移を示す。なお、顔登録は、顔認証を希望するユーザが任意のタイミングで操作部１３を操作して行ってもよく、画像処理装置１０が予め登録された顔画像が存在するか否かを判定し、登録顔画像が存在しないと判定した時点で顔登録を促すメッセージを表示部１４に表示して顔登録処理に移行してもよい。

図７（ａ）は、顔登録処理の初期画面であり、第２撮像部１９３で撮影して得られたユーザの顔画像１４１を表示するとともに、撮影ボタン１４２が表示される。撮影中は動かないで下さい等の付帯メッセージも併せて表示される。ユーザが枠内に顔を納めて撮影ボタン１４２を操作すると、第２撮像部１９３はこの撮影ボタン１４２の操作に応じて顔画像を取得し（すなわち、この時点において第２撮像部１９３の画像センサで得られる画像信号を読み出して取得する）、画像処理部１９４に送信する。画像処理部１９４は、このときの顔画像をユーザの「正面画像」としてメモリに登録する。

なお、「正面画像」とは、本発明における第１の画像の一例であり、ユーザが表示部１４の方向に顔を向けている場合の画像を意味する。図７（ａ）の画面で撮影が終了した後、図７（ｂ）の画面に移行する。

図７（ｂ）は、ユーザの上向き画像、下向き画像、及び第２撮像部１９３の方向を向いた画像を補正用画像として撮影するための案内画面である。上向き画像を撮影するための案内記号の一例である案内マーク１４３、下向き画像を撮影するための案内記号の一例である案内マーク１４４、及び第２撮像部１９３の方向を向いた画像を撮影するための案内マーク１４４が同時に表示され、開始ボタン１４６が表示される。また、これとともに、「続けて補正用の顔画像を３回登録します。３か所の●マークが順番に点滅しますので、その方向に顔を向けて下さい。開始ボタンを押すと登録を開始します。」等のメッセージが表示される。

案内マーク１４３は表示部１４の画面上部、案内マーク１４４は表示部１４の画面下部に表示されるが、案内マーク１４４は表示部１４の画面左部に表示される。これは、表示部１４と第２撮像部１９３との相対的位置関係を考慮したものである。すなわち、図２の上面図に示すように、第２撮像部１９３は表示部１４の左側に位置しており、第２撮像部位１９３と表示部１４は互いに異なる位置に設けられている。従って、表示部１４の方向に向いた場合と、第２撮像部１９３の方向に向いた場合とでは、第２撮像部１９３で撮影される顔画像は異なることになる。そこで、案内マーク１４４を表示部１４の画面左部に表示して、ユーザに第２撮像部１９３の方向に顔を向けてもらい撮影する。このように、撮影した画像は表示画面に対し正面を向いて撮影した画像に比べ、より正面を向いた画像となる。

案内マーク１４４の表示位置は、第２撮像部１９３と表示部１４との相対的位置関係に応じて決まるため、第２撮像部１９３の設置位置が変われば案内マーク１４４の表示位置も当然に変化する。例えば、第２撮像部１９３が表示部１４の右側に設けられていれば、案内マーク１４４は表示部１４の画面右側に表示される。図７（ｂ）において、ユーザが開始ボタン１４５を操作すると、図７（ｃ）の案内画面に移行する。

図７（ｃ）では、案内マーク１４３のみが点滅し、ユーザに案内マーク１４３の方向に顔を向けるように促す。ユーザが、案内マーク１４３の点滅に従って案内マーク１４３の方向に顔を向けると、第２撮像部１９３は所定のタイミングで顔画像を取得して画像処理部１９４に送信する。画像処理部１９４は、「上向き画像」としてメモリに登録する。

なお、図７（ｃ）において、図７（ａ）に示すような撮影ボタン１４２は表示されない。すなわち、図７（ｃ）では、画像処理装置１０側がユーザの顔の向きが所定の条件を満たしたと判断したら自動的にユーザの顔画像を撮影する。例えば、図７（ｃ）の画面に移行した時点から３秒後に自動的に撮影する等である。また、図７（ｃ）では、顔画像１４１も表示されない。ユーザの上向き画像が撮影されると、図７（ｄ）の案内画面に移行する。

図７（ｄ）では、案内マーク１４４のみが点滅し、ユーザに案内マーク１４４の方向に顔を向けるように促す。ユーザが、案内マーク１４４の点滅に従って案内マーク１４４の方向に顔を向けると、第２撮像部１９３は所定のタイミングで顔画像を取得して画像処理部１９４に送信する。画像処理部１９４は、「第２撮像部１９３向き画像」としてメモリに登録する。

なお、図７（ｄ）においても、図７（ａ）に示すような撮影ボタン１４２は表示されない。すなわち、図７（ｄ）でも、画像処理装置１０側がユーザの顔の向きが所定の条件を満たしたと判断したら自動的にユーザの顔画像を撮影する。また、顔画像１４１も表示されない。ユーザの第２撮像部１９３向き画像が撮影されると、図７（ｅ）の案内画面に移行する。

図７（ｅ）では、案内マーク１４５のみが点滅し、ユーザに案内マーク１４５の方向に顔を向けるように促す。ユーザが、案内マーク１４５の点滅に従って案内マーク１４５の方向に顔を向けると、第２撮像部１９３は所定のタイミングで顔画像を取得して画像処理部１９４に送信する。画像処理部１９４は、「下向き画像」としてメモリに登録する。

なお、図７（ｅ）においても、図７（ａ）に示すような撮影ボタン１４２は表示されない。図７（ｅ）でも、画像処理装置１０側がユーザの顔の向きが所定の条件を満たしたと判断したら自動的にユーザの顔画像を撮影する。また、顔画像１４１も表示されない。ユーザの下向き画像が撮影されると、図７（ｆ）の画面に移行する。

図７（ｆ）では、第２撮像部１９３で撮影した顔画像１４１を再び表示するとともに、顔登録が完了した旨のメッセージが表示される。以上により、ユーザの「正面画像」、「上向き画像」、「下向き画像」、「第２撮像部１９３向き画像」が登録される。

図８に、画像処理部１９４のメモリに登録される顔画像を模式的に示す。正面画像、上向き画像、下向き画像、第２撮像部１９３向き画像２００〜２０６がメモリに登録される、画像処理部１９４、すなわち図５における認証部１０５は、ユーザの顔画像とこれらの登録画像２００〜２０６とを照合し、その類似度あるいは相関度を算出する。顔認証に伴う類似度計算あるいは相関計算は公知であり、類似度あるいは相関度が所定の閾値を超えた場合に両者は一致すると判定して当該ユーザを正当ユーザと認証する。

なお、顔画像２０８〜２１２は、更新された顔画像である。すなわち、顔認証に成功した場合、その時点のユーザの顔画像を新たにメモリとして登録して更新する。これにより、ユーザの顔画像の径時変化にも対応して顔認証の精度を維持ないし向上し得る。図８において、顔画像２００〜２０６は固定的な情報であり、顔画像２０８〜２１２は順次更新される情報である。顔認証の際に、ユーザが表示部１４の方向に向いている場合、正面画像が更新され、顔認証の際に、相対的に上向きを向いている場合、上向き画像が更新されることになる。

以上、本発明の実施形態について説明したが、本発明はこれに限定されず、種々の変形が可能である。

例えば、本実施形態では、ユーザの高さが変化する要因として靴を例示したが、本発明は、これに限られない。

また、本実施形態では、ユーザの上向き画像と下向き画像の少なくともいずれかを第２撮像部１９３で撮影して取得し、画像処理部１９４のメモリに登録しているが、制御部１１がメモリに登録された正面画像から上向き画像と下向き画像の少なくともいずれかをＣＧ（コンピュータグラフィックス）で作成して登録してもよい。ある視点から撮影された画像に基づき、別の視点から撮影された画像を作り出す技術は公知である。この場合、画像処理装置１０内で上向き画像と下向き画像を自動作成してメモリに登録するので、図７（ｂ）〜（ｅ）に示すような案内画面あるいは案内マークは不要となる。なお、本実施形態では、図７で説明したように、上向き画像、下向き画像、第２撮像部１９３向き画像はそれぞれ所定タイミングで自動撮影するため、所望の画像を取得できず撮影失敗になる場合もあり得る。このような場合に、ＣＧで作成した画像を代わりに登録することも可能であろう。

また、本実施形態では、図７（ｃ）の案内画面において所定タイミングで自動撮影して図７（ｄ）の案内画面に自動遷移し、図７（ｄ）の案内画面において所定タイミングで自動撮影して図７（ｅ）の案内画面に自動遷移し、図７（ｅ）の案内画面において所定タイミングで自動撮影して図７（ｆ）の画面に自動遷移しているが、所定タイミングで自動撮影した際に「画像を取得して登録しました。」等のメッセージを表示した上で次の案内画面に自動遷移してもよい。すなわち、本実施形態では、上向き画像や下向き画像、第２撮像部１９３向きの画像を撮影する際にはユーザの撮影操作によらずに自動撮影しているが、本発明は、自動撮影に伴う画像処理装置１０内の処理をユーザに報知するための処理を排除するものではない。

また、本実施形態では、図７（ｃ）〜図７（ｅ）に示すように、案内画面を表示部１４に表示する際には第２撮像部１９３で得られる顔画像１４１は表示していないが、これは、顔画像１４１を表示してしまうとユーザの視線が顔画像１４１に向かい、案内マークの方に向かなくなってしまうことを考慮したものである。この意味で、案内画面には、顔画像１４１を表示しない他、その他のマークやメッセージも表示しないことが望ましく、例えば図７（ｃ）のように案内マーク１４３以外には、この案内マーク１４３の近傍に小さくメッセージを表示する程度とするのが望ましい。また、案内マーク１４３〜１４５に関しては、本実施形態では●印としているが、これに限定されないのは言うまでもなく、十印や矢印等、その形態は任意である。案内マークとともに、あるいは案内マークに代えてカウントダウンの数字を表示し、カウントダウンの数字が０になった時点で自動撮影して次の案内画面に自動遷移してもよい。

１０ 画像処理装置、１１ 制御部、１２ 通信部、１３ 操作部、１４ 表示部、１５ 記憶部、１６ 画像読取部、１７ 画像形成部、１８ 電源回路、１９ 人検出装置、１９１ 人感センサ、１９２ 第１撮像部、１９３ 第２撮像部、１９４ 画像処理部、１９５ 通信制御部、１０１ 動作モード制御部、１０２ 電力制御部、１０３ 接近判定部、１０４ 滞在判定部、１０５ 認証部。

請求項１記載の発明は、使用者の顔画像を撮影する撮影部と、前記撮影部によって撮影された顔画像を登録する登録部と、顔画像を撮影して前記登録部に登録する際に、使用者の顔画像である第１の画像に加え、当該第１の画像に対して使用者が相対的に上を向いている上向き画像と下を向いている下向き画像の少なくともいずれかを撮影するための案内画像を表示する表示部と、前記撮影部で得られた顔画像と、登録された顔画像とを照合して顔認証を行う認証部とを備え、前記表示部は、前記第１の画像を撮影する際には撮影時のユーザの顔画像を表示し、前記上向き画像と下向き画像の少なくともいずれかを撮影する際には撮影時の使用者の顔画像を非表示とすることを特徴とする画像処理装置である。

請求項２記載の発明は、前記表示部は、使用者の上向き画像と下向き画像の少なくともいずれかを撮影する際に、前記上向き画像用の案内記号と前記下向き画像用の案内記号の少なくともいずれかを表示して使用者の顔の向きを案内することを特徴とする請求項１に記載の画像処理装置である。

請求項３記載の発明は、前記上向き画像と下向き画像の少なくともいずれかを撮影する場合には、前記案内画像を表示した後に使用者の撮影指示によらずに前記撮像部により自動で撮影されることを特徴とする請求項１、２のいずれかに記載の画像処理装置である。

請求項４記載の発明は、前記第１の画像を撮影する場合には、使用者による撮影指示によって撮影されることを特徴とする請求項３に記載の画像処理装置である。

請求項５記載の発明は、前記撮像部と前記表示部は、互いに離間して設けられ、前記表示部は、顔認証の照合元となる顔画像を撮影して登録する際に、さらに、前記表示部から見て前記撮像部が位置する方向を向いた画像を撮影するための案内画像を表示することを特徴とする請求項１記載の画像処理装置である。

請求項６記載の発明は、コンピュータに、顔認証の照合元となる顔画像を撮影部で撮影して登録する際に、第１の画像に加え、当該第１の画像に対して使用者が相対的に上を向いている上向き画像と下を向いている下向き画像の少なくともいずれかを撮影するための案内画像を表示部に表示するステップであって、前記第１の画像を撮影する際には撮影時のユーザの顔画像を前記表示部に表示し、前記上向き画像と下向き画像の少なくともいずれかを撮影する際には撮影時の使用者の顔画像を非表示とするステップと、前記第１の画像と、前記上向き画像と前記下向き画像の少なくともいずれかをメモリに登録するステップと、前記撮影部で得られた顔画像と、前記メモリに登録された画像とを照合して制御部で顔認証を行うステップとを実行させることを特徴とするプログラムである。

請求項１、及び請求項６記載の発明によれば、顔による認証を行うために顔画像を取得する撮影部と使用者の相対的位置関係が登録時と認証時とで異なる場合であっても、単一の画像のみを撮影している場合に比べ、顔による認証の精度を向上し得る。

請求項２記載の発明によれば、さらに、文字にのみによって案内する場合に比べ、顔の向きをどの程度移動すれば良いのかを理解しやすい。

請求項３記載の発明によれば、使用者による撮影指示によって上向き画像または下向き画像を撮影する場合に比べ、所望の画像を得ることができる。

請求項４に記載の発明によれば、使用者による撮影指示によらず撮影する場合にくらべ、使用者が望む画像を撮影することができる。

請求項５記載の発明によれば、さらに、顔認証精度を向上させ得る。

請求項３記載の発明は、前記上向き画像と下向き画像の少なくともいずれかを撮影する場合には、前記案内画像を表示した後に使用者の撮影指示によらずに前記撮影部により自動で撮影されることを特徴とする請求項１、２のいずれかに記載の画像処理装置である。

請求項５記載の発明は、前記撮影部と前記表示部は、互いに離間して設けられ、前記表示部は、顔認証の照合元となる顔画像を撮影して登録する際に、さらに、前記表示部から見て前記撮影部が位置する方向を向いた画像を撮影するための案内画像を表示することを特徴とする請求項１記載の画像処理装置である。

Claims (8)

1. 使用者の顔画像を撮影する撮影部と、
   前記撮影部によって撮影された顔画像を登録する登録部と、
   顔画像を撮影して前記登録部に登録する際に、使用者の顔画像である第１の画像に加え、当該第１の画像に対して使用者が相対的に上を向いている上向き画像と下を向いている下向き画像の少なくともいずれかを撮影するための案内画像を表示する表示部と、
   前記撮像部で得られた顔画像と、登録された顔画像とを照合して顔認証を行う認証部と、
   を備えることを特徴とする画像処理装置。
2. 使用者の顔画像を撮影する撮影部と、
   前記撮影部によって撮影された顔画像を登録する登録部と、
   前記撮像部で得られた顔画像と、前記登録部に登録された顔画像とを照合して顔認証を行う認証部と、
   を備え、
   前記登録部は、使用者の顔画像である第１の画像に加え、当該第１の画像に対して使用者が相対的に上を向いている上向き画像と下を向いている下向き画像の少なくともいずれかを登録する
   ことを特徴とする画像処理装置。
3. 前記表示部は、使用者の上向き画像と下向き画像の少なくともいずれかを撮影する際に、前記上向き画像用の案内記号と前記下向き画像用の案内記号の少なくともいずれかを表示して使用者の顔の向きを案内する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記上向き画像と下向き画像の少なくともいずれかを撮影する場合には、前記案内画像を表示した後に使用者の撮影指示によらずに前記撮像部により自動で撮影される
   ことを特徴とする請求項１、３のいずれかに記載の画像処理装置。
5. 前記第１の画像を撮影する場合には、使用者による撮影指示によって撮影されることを特徴とする請求項４に記載の画像処理装置。
6. 前記表示部は、前記第１の画像を撮影する際には撮影時のユーザの顔画像を表示し、前記上向き画像と下向き画像の少なくともいずれかを撮影する際には撮影時の使用者の顔画像を非表示とする
   ことを特徴とする請求項１、３、４、５のいずれかに記載の画像処理装置。
7. 前記撮像部と前記表示部は、互いに離間して設けられ、
   前記表示部は、顔認証の照合元となる顔画像を撮影して登録する際に、さらに、前記表示部から見て前記撮像部が位置する方向を向いた画像を撮影するための案内画像を表示する
   ことを特徴とする請求項１記載の画像処理装置。
8. コンピュータに、
   顔認証の照合元となる顔画像を撮影部で撮影して登録する際に、第１の画像に加え、当該第１の画像に対して使用者が相対的に上を向いている上向き画像と下を向いている下向き画像の少なくともいずれかを撮影するための案内画像を表示部に表示するステップと、
   前記第１の画像と、前記上向き画像と前記下向き画像の少なくともいずれかをメモリに登録するステップと、
   前記撮影部で得られた顔画像と、前記メモリに登録された画像とを照合して制御部で顔認証を行うステップと、
   を実行させることを特徴とするプログラム。

Images