JP2019209585A - 画像形成装置、画像形成装置の制御方法、プログラム - Google Patents

Abstract

【課題】顔認証に用いる顔画像データの初期登録を、ユーザの利便性を維持しつつ適切に行うことが可能な画像形成装置を提供する。【解決手段】画像形成装置１０は、画像形成装置１０の周囲に存在する人物を含む撮像画像を取得し、取得された撮像画像から顔画像データを抽出し、画像形成装置１０へ人物が顔認証とは異なる認証方法でログインしたことに応じて、抽出された顔画像データを表示し、該顔画像の情報を顔認証に用いる顔画像の情報として登録する旨の指示を受け付け、該指示を受け付けた場合に、表示された顔画像の情報を登録する。【選択図】図７

Description

本発明は、画像形成装置、画像形成装置の制御方法、プログラムに関する。

従来、ネットワークカメラや画像形成装置の撮像部等により撮像された画像に基づいて、画像形成装置に接近する人物の認証を行う画像形成装置が考案されている。特許文献１は、顔認識によってユーザが自動的に画像形成装置にログインできる自動ログインシステムであって、カメラから受信した画像を用いて自動ログインができないと判定された場合に、手動ログインが行われる自動ログインシステムを開示している。また、特許文献１には、手動ログインが行われた場合に、該手動ログインされた画像形成装置を監視しているネットワークカメラの画像を顔認識のための情報として追加登録することが記載されている。

特開２０１７−８４０２５号公報

特許文献１では、ユーザの顔画像の情報は、事前に登録されていることが前提であり、顔画像の情報が事前に登録されていないことは考慮されていない。すなわち、ネットワークカメラ等で撮像された顔画像の情報を初期登録する手順については考慮されていない。

本発明は、顔認証に用いる顔画像データの初期登録を、ユーザの利便性を維持しつつ適切に行うことが可能な画像形成装置を提供することを目的とする。

本発明の一実施形態の画像形成装置は、前記画像形成装置の周囲に存在する人物を含む撮像画像を取得する取得手段と、前記取得された撮像画像から顔画像を抽出する抽出手段と、前記画像形成装置へ前記人物が顔認証とは異なる認証方法でログインしたことに応じて、前記抽出された顔画像を表示し、該顔画像の情報を顔認証に用いる顔画像の情報として登録する旨の指示を受け付ける受け付け手段と、前記指示を受け付けた場合に、前記表示された顔画像の情報を登録する登録手段と、を備える。

本発明の画像形成装置によれば、顔認証に用いる顔画像データの初期登録を、ユーザの利便性を維持しつつ適切に行うことができる。

第１実施形態に係る画像形成装置の外観図である。 画像形成装置における人検出および顔認証の実行範囲を示す上面図である。 画像形成装置における人検出および顔認証の実行範囲を示す側面図である。 画像形成装置の構成を示す図である。 認証処理のプログラムの構成とデータフローを示す図である。 画像形成装置から人物までの距離検出方法を説明する図である。 顔画像データの登録を行うための処理を説明するフローチャートである。 顔画像データの登録を行うための処理にて表示される画面を示す図である。 顔画像データの登録を行うための処理にて表示される画面を示す図である。

以下、本発明を実施するための形態について図面などを参照して説明する。

（第１実施形態）
図１は本発明の一実施形態に係る画像形成装置１０の外観図である。
画像形成装置１０は、プリント機能、スキャナ機能、コピー機能、ＦＡＸ機能などの複数の機能を有する。画像形成装置１０は、画像形成装置１０に接近する人物を検出するための人検出センサ１１、第一カメラ１２、および第二カメラ１３を備える。

以下、画像形成装置１０において、図１の手前方向の面（正面）であって、画像形成装置１０をユーザが操作する側を画像形成装置１０の前面側と定義する。また、上下左右方向は、ユーザから画像形成装置１０を見た方向として定義する。人検出センサ１１および第一カメラ１２は、画像形成装置１０の前面に取り付けられる。また、第二カメラ１３は、表示部１１４の左側に上方に向けて取り付けられる。

人検出センサ１１は、画像形成装置１０の周辺におけるユーザを含む移動体（人物等）の移動を検出する機能を有する。人検出センサ１１は、焦電型赤外線センサや超音波センサ、赤外線アレイセンサ等によって構成される。第一カメラ１２は、画像形成装置１０の前方の画像を撮像する機能を有する。第二カメラ１３は、画像形成装置１０の上方の画像を撮像する機能を有する。なお、人検出センサ１１の検出範囲と、第一カメラ１２および第二カメラ１３の撮像可能範囲の詳細については、図２および図３を用いて後述する。

また、第一カメラ１２には、魚眼レンズが取り付けられている。これにより、第一カメラ１２は、一般的なレンズを用いた場合に比べ、より広角の画像を撮像することが可能である。なお、以下の説明において、第一カメラ１２が撮像した画像を第一カメラ画像と称し、第二カメラ１３が撮像した画像を第二カメラ画像と称する。

次に、図２および図３を用いて、画像形成装置１０が人物の検出および認証を実行可能な範囲について説明する。
図２は、画像形成装置１０の上面図である。また、図３は、画像形成装置１０の右側側面図である。なお、図３には、人物Ｈは、画像形成装置１０のユーザを示す。

図２および図３において、画像形成装置１０の第一カメラ１２が取り付けられている位置を、位置Ｐで示す。図２および図３に示す例では、人検出センサ１１は、検出範囲Ａ内に存在する人物Ｈを検出する。検出範囲Ａは、画像形成装置１０の前方に形成され、画像形成装置１０の上方からみたときに、中心角が１８０度未満に設定された扇形を示す。

また、図２および図３に示す例では、第一カメラ１２が撮像した第一カメラ画像を解析した結果を用いて、検出範囲Ｒ１〜Ｒ３のそれぞれの範囲内（所定の距離内）に存在する人物Ｈが検出される。本実施形態では図６を用いて後述するように、人物と画像形成装置との距離は、距離検出部５０３が、人検出センサ１１からのデータを用いて検出するが、第一カメラ１２および第二カメラ１３を用いて人物と画像形成装置との距離を検出することも可能である。

詳細には、第一カメラ１２が撮像した第一カメラ画像および第二カメラ１３が撮像した第二カメラ画像を解析した結果を用いて人物のつま先を検出し、検出範囲Ｒ１〜Ｒ３におけるつま先の位置および向きが検出できる。検出範囲Ｒ１〜Ｒ３におけるつま先の位置から、人物と画像形成装置１０との距離が検出され、人物が検出範囲Ｒ１〜Ｒ３のそれぞれの範囲内に進入したか否かが判定できる。

また、検出範囲Ｒ１〜Ｒ３におけるつま先の向きから、人物が画像形成装置１０に向かっているか、他の方向へ行くために画像形成装置の近傍を通過するのかが判定できる。なお、人物と画像形成装置との距離が検出されるのであれば、画像解析により検出する対象はつま先に限られるものではない。人物の頭部や胴体など、つま先以外の部分の撮像画像に基づいて、人物と画像形成装置の距離を検出することとしてもよい。

なお、距離検出部５０３による人物と画像形成装置との距離の検出は、人検出センサ１１や撮像画像に基づいて距離を計測するものでなくてもよい。例えば、人物が保持する無線端末との無線通信に基づいて、画像形成装置と人物との距離を計測することとしてもよい。具体的には、無線端末あるいは画像形成装置から定期的に出力されるビーコン信号の電波強度などに基づいて、距離を求めることとしてもよい。

検出範囲Ｒ１は、画像形成装置１０の前方に形成され、画像形成装置１０の上方からみたときに、中心角が１８０度に設定された扇形を示す。なお、検出範囲Ｒ１は、人検出センサ１１による検出範囲Ａの大部分を含むように設定される。また、検出範囲Ｒ１の中心角は、１８０度でなくてもかまわない。ただし、第一カメラ１２は、少なくとも検出範囲Ｒ１の全体を撮像可能な範囲とする。

検出範囲Ｒ２は、画像形成装置１０の前方に形成され、画像形成装置１０の上方からみたときに、矩形を示す。図２および図３に示す例では、矩形の左右方向の幅は、画像形成装置１０の左右方向の幅と同じである。また、検出範囲Ｒ２の全域は、検出範囲Ｒ１に含まれる。また、検出範囲Ｒ２は、検出範囲Ｒ１の中で画像形成装置１０側に配置される。

検出範囲Ｒ３は、画像形成装置１０の前方に形成され、画像形成装置１０の上方からみたときに、中心角が１８０度に設定された扇形を示す。また、検出範囲Ｒ３の全域は、検出範囲Ｒ１に含まれる。また、検出範囲Ｒ３は、検出範囲Ｒ１の中で、画像形成装置１０側に配置される。さらに、検出範囲Ｒ２の全域は、検出範囲Ｒ３に含まれる。また、検出範囲Ｒ２は、検出範囲Ｒ３の中で、画像形成装置１０側に配置される。

画像形成装置１０は、上述したように、第一カメラ１２により検出範囲Ｒ１の全体を撮像可能であり、人物Ｈが検出範囲Ｒ１に進入すると、第一カメラ１２による撮像が開始され、第一カメラ画像を用いて、顔認証処理が開始される。そして、人物Ｈが検出範囲Ｒ３に進入すると、画像形成装置１０は、顔認証処理の結果に基づき、後述する画像形成装置１０のログイン処理を開始する。

すなわち、人物Ｈが画像形成装置１０の前、すなわち操作部１１３を操作可能な検出範囲Ｒ２に進入する時点で、人物Ｈの顔認証が完了し、ログイン処理の実行が人物Ｈによる操作なしに自動的に行われる。このように、ユーザによる操作なしに自動的に画像形成装置へのログインが行われることを自動ログインと呼ぶことにする。

なお、検出範囲Ｒ３は、第一カメラ１２の撮像可能な範囲である検出範囲Ｒ１の中であれば、任意に設定可能である。すなわち、画像形成装置１０がログイン処理を開始する範囲は、検出範囲Ｒ１内であれば、任意に設定可能である。例えば、検出範囲Ｒ３は、検出範囲Ｒ１と同等の領域と設定することも可能であり、また、検出範囲Ｒ２と同等の領域と設定することも可能である。

一方、第二カメラ１３は、検出範囲Ｒ２に進入した人物の顔、つまり画像形成装置１０のユーザの顔を検出するために設置される。詳細には、第二カメラ１３は、検出範囲Ｒ２の上部を含み検出範囲Ｒ２の上方に位置する不図示の検出範囲を撮像可能である。本実施形態では、後述するように、画像形成装置１０に近付いてくる人物Ｈの顔を第一カメラ１２で撮像することにより取得した顔画像（第一カメラ画像の一部または全部）を用いて、画像形成装置１０の使用（ログイン）を許可するための認証を行う。

また、本実施形態では、後述するように、第一カメラ１２で撮像された第一カメラ画像および第二カメラ１３で撮像された第二カメラ画像を用いて顔画像データの登録を行うが、これらカメラ画像を他の用途に併用してもよい。例えば、第二カメラ画像を画像形成装置１０において留め置きプリントジョブの実行を許可するための認証を行うために使用したり、ユーザの目線認識やユーザのなりすまし防止などの用途に使用したりしてもよい。

検出限界Ｌは、第一カメラ１２で撮像された第一カメラ画像を解析することで人物Ｈの顔の解析が可能な距離の限界を定めた値である。検出限界Ｌは、一般的な身長を有する人物Ｈの顔を第一カメラ１２にて撮像することが可能な距離に基づいて決められる。詳細には、画像形成装置１０の高さは、通常、使いやすさを考慮して１０００〜１３００ｍｍ程度に設定されることから、第一カメラ１２の高さ（位置Ｐ）は、画像形成装置１０の設置面から７００〜９００ｍｍ程度となる。

また、上述したように、第一カメラ１２を用いて人物Ｈのつま先を撮像する場合、第一カメラ１２の高さはある程度低い位置に制限される。したがって、第一カメラ１２の高さ（位置Ｐ）は、図３に示したように、一般的な成人（人物Ｈ）の顔の高さよりも低くなる。このため、画像形成装置１０に人物Ｈが近付きすぎると、第一カメラ１２に魚眼レンズを用いたとしても、第一カメラ１２による人物Ｈの顔の撮像が困難な場合がある。

また、第一カメラ１２により人物Ｈの顔を撮像できたとしても、取得される顔画像データの解析が困難な場合がある。そこで検出限界Ｌを、図３に示す例では、検出範囲Ｒ２を含まず、かつ、検出範囲Ｒ３に含まれる位置に設定する。

画像形成装置１０を使用する人物Ｈは、まず検出範囲Ａ内に進入する。続いて人物Ｈは、検出範囲Ｒ１内に進入し、さらに検出範囲Ｒ３から検出範囲Ｒ２に進入する。なお、図３に示す例では、検出範囲Ｒ１内を移動する人物Ｈは、検出範囲Ｒ３から検出範囲Ｒ２に進入する間に、検出限界Ｌを突破する。そして、検出範囲Ｒ２に進入した人物Ｈは、検出範囲Ｒ２内に滞在しつつ、操作部１１３を使用した操作等を行うことになる。

なお、検出範囲Ｒ１〜Ｒ３のそれぞれは、厳密に図２に示すとおりに設定される必要はなく、第一カメラ１２で撮像された第一カメラ画像に基づいて該範囲を特定しうる精度で設定されればよい。また、検出限界Ｌは、検出範囲Ｒ２と検出範囲Ｒ３との間に限定される必要はなく、第一カメラ１２の性能や取り付け位置、すなわち画像形成装置１０の設置面からの位置Ｐの高さ等によって変わりうる。

図４は、画像形成装置１０の構成の一例を示す図である。
画像形成装置１０は、ＣＰＵ１１０、認証部１１１、検出部１１２、操作部１１３、表示部１１４、電源制御部１１６、記憶部１１７、スキャナ部１１８、プリンタ部１１９、画像処理部１２０、通信部１２１を備え、それらはシステムバス１１５に接続される。

ＣＰＵ１１０は、記憶部１１７に記憶された制御プログラム等に基づいて接続された各種デバイスとのアクセスを統括的に制御すると共に、画像形成装置１０で実行される各種処理についても統括的に制御する。ＣＰＵ１１０は、認証部１１１、検出部１１２、操作部１１３、表示部１１４、電源制御部１１６、記憶部１１７との間で、システムバス１１５を介して通信する。また、ＣＰＵ１１０は、スキャナ部１１８、プリンタ部１１９、画像処理部１２０、通信部１２１との間で、システムバス１１５を介して通信する。

さらに、ＣＰＵ１１０は、操作部１１３が一定時間操作されない等、画像形成装置１０が所定時間使用されない場合は、電源制御部１１６を介して画像形成装置１０の電力モードをＳｔａｎｄｂｙモードからＳｌｅｅｐモードに移行させる。Ｓｔａｎｄｂｙモードは、スキャナ部１１８による読取動作や、プリンタ部１１９による印刷動作を実行することが可能な状態である。

Ｓｌｅｅｐモードは、Ｓｔａｎｄｂｙモードより消費電力の少ない省電力状態である。Ｓｌｅｅｐモードでは、省電力状態から画像形成装置１０を復帰させるために必要な通信部１２１、電源制御部１１６、ＣＰＵ１１０、検出部１１２の人検出センサ１１に対してのみ電力が供給される。

認証部１１１は、検出部１１２の人検出センサ１１、第一カメラ１２、第二カメラ１３、および操作部１１３からデータを受信し、画像形成装置１０にログインするユーザを認証する。認証部１１１が行う処理の詳細は、図５を用いて後述する。検出部１１２は、人検出センサ１１、第一カメラ１２、および第二カメラ１３を備え、人物の検出と人物の顔認証を行う。

操作部１１３は、タッチパネル、ハードウェアキー等で構成され、ユーザが画像形成装置１０を制御する際に用いる。詳細には、操作部１１３は、ユーザからの画像形成装置１０に対する指示を受け付けるためのインターフェースを備え、画像形成装置１０とユーザとの間で情報の入出力を行う。操作部１１３は、ＮＦＣリーダライタや、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール等、ユーザが保有する携帯端末とデータをやり取りするためのインターフェースを備えていてもよい。

表示部１１４は、ＬＣＤやＬＥＤ等で構成され、ユーザに対して画像形成装置１０の状態を示す画面を表示する。なお、本実施形態では、表示部１１４は、操作部１１３と一体化したタッチパネルで構成したものとして説明を行う。システムバス１１５は、画像形成装置１０を構成する各処理部を接続し、各処理部の間で画像データ、認証データ、制御情報等の各種データの送受信を行う。

電源制御部１１６は、画像形成装置１０の電源を制御する。詳細には、電源制御部１１６は、ＣＰＵ１１０からの指示、ユーザによる節電ボタンの操作等により電源の制御を行う。電源制御部１１６は、画像形成装置１０の電源スイッチによる電源オフの操作を検出することが可能であり、検出した結果を電源オフ要求としてＣＰＵ１１０に通知する。ＣＰＵ１１０は、電源オフ要求を受信すると、画像形成装置１０を電源オフできる状態へと移行させ、電源制御部１１６に対して電源停止の指示を行う。

記憶部１１７は、ＲＯＭ、ＲＡＭ、ＨＤＤ等の記憶装置で構成される。記憶部１１７は、ＣＰＵ１１０が動作するためのワークメモリであり、また、画像データを一時記憶するためのメモリである。また、記憶部１１７には、画像形成装置１０のブートプログラム等、各種プログラムや画像データが格納される。

スキャナ部１１８は、原稿から光学的に画像を読み取り、画像データを生成する画像入力デバイスであって、入力された画像データに対して、入力デバイス特性に合わせた補正のための画像処理を行った後に、画像データを記憶部１１７に記憶する。

プリンタ部１１９は、例えば、電子写真方式に従って記録媒体（例えば記録用紙）に画像を形成する画像出力デバイスであって、記憶部１１７に記憶した画像データに対して、出力デバイス特性に合わせた補正のための画像処理を行った後に、画像出力を行う。なお、プリンタ部１１９はシート状の記録媒体の両面に画像処理を可能なものであればその記録方式は電子写真方式に限られるものではなく、他の記録方式、例えば、インクジェット方式や熱転写方式などを用いても良い。

画像処理部１２０は、画像処理を行う。詳細には、画像処理部１２０は、記憶部１１７に記憶された画像データを読み出し、圧縮伸長や画像補正などの画像処理を行う。通信部１２１は、ＬＡＮコントローラなどで構成され、ＬＡＮに接続された不図示のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の外部装置と情報の送受信を行う。

図５は、認証部１１１が実行する認証処理に係るプログラムの構成とデータフローを示す図である。
センサデータ受信部５０１は、人検出センサ１１からデータを受信し、人検出部５０２および距離検出部５０３に該データを送信する。人検出部５０２は、センサデータ受信部５０１から受信するデータに基づき、検出範囲Ａ内に人物が存在するか否かを判断し、その判断結果を電源制御部１１６に送信する。

人物が存在するか否かの判断方法は、例えば、焦電型赤外線センサが出力する赤外線の強度信号の値が閾値以上であれば人物が存在すると判断する方法を用いる。なお、判断方法はこれに限られるものではなく、どのような方法を用いてもよい。電源制御部１１６は、人検出部５０２から受信した人物が存在するか否かの判断結果に基づき、検出部１１２の第一カメラ１２および第二カメラ１３の電源をオンする。

なお、第一カメラ１２および第二カメラ１３へ電源をオンするタイミングはこれに限られるものではない。例えば、画像形成装置１０がＳｌｅｅｐモードからＳｔａｎｄｂｙモードに移行したタイミングでオンされてもよい。また、第一カメラ１２や第二カメラ１３がそれぞれタイマーを有し、一定時間使用されない場合、自身の電源をオフするようにしてもよい。

距離検出部５０３は、センサデータ受信部５０１から受信するデータに基づき、人物までの距離を検出し、その検出結果である距離情報を画像選択部５０８に送信する。以下、距離検出方法の一例として、人検出センサ１１に赤外線アレイセンサを用いる方法について図６を用いて説明する。

図６において、赤外線アレイセンサである人検出センサ１１は、赤外線を受光する赤外線受光素子がマトリクス状に配列されている。赤外線アレイセンサは、各赤外線受光素子において受光した赤外線量（受光結果）に基づく温度値を用いることによって、熱源の形状、すなわち検出領域を温度分布として特定する特徴を有する。

図６では、一例として、赤外線受光素子が１〜８の８行とａ〜ｈの８列の合計６４個配列された赤外線アレイセンサを用いて説明する。なお、以降の説明では、赤外線アレイセンサの各赤外線受光素子の位置を指定する際に、素子１ａ〜素子８ｈの表記を用いる。

図６において、人物６０１は、画像形成装置１０から距離Ｄ１に存在する人物を示す。検出結果６０３は、人物が画像形成装置１０から距離Ｄ１に存在する際の赤外線アレイセンサの検出結果を示す。すなわち、検出結果６０３は、人物６０１を検出した結果を示す。検出結果６０３では、最も高温となる受光素子のうち行番号が最も大きい素子は５ｄであり、行番号は５である。

また、図６において、人物６０２は、画像形成装置１０から距離Ｄ２に存在する人物を示す。なお、距離Ｄ１は距離Ｄ２より大きい値を示す。検出結果６０４は、人物が画像形成装置１０から距離Ｄ２に存在する際の赤外線アレイセンサの検出結果を示す。すなわち、検出結果６０３は、人物６０２を検出した結果を示す。検出結果６０４では、最も高温となる受光素子のうち行番号が最も大きい素子は８ｄまたは８ｅであり、行番号は８である。

このように、最も高温となる受光素子の行番号と検出範囲Ａ内に存在する人物から画像形成装置１０までの距離には依存関係があり、行番号と距離の対応関係が明確であれば、人物から画像形成装置１０までの距離が検出可能となる。なお、上述したように、図６を用いて説明した方法は、距離検出の一例であり、これに限られるものではない。

例えば、人検出センサ１１として超音波センサ等のように物体までの距離が検出可能なセンサを用いた距離検出も可能である。また、例えば、第一カメラ１２が撮像した第一カメラ画像から検出した人物の身体の部位の大きさに基づいた距離検出も可能である。人物の身体の部位として、例えば、つま先を用いることも可能である。

図５の説明に戻る。第一カメラデータ受信部５０４は、第一カメラ１２が撮像した第一カメラ画像を受信し、第一顔検出部５０５に送信する。第一顔検出部５０５は、第一カメラデータ受信部５０４から受信する第一カメラ画像の中に、人物の顔が存在するか否かを判断し、人物の顔が存在する場合、該第一カメラ画像に含まれる顔画像データを抽出して該顔画像データを画像選択部５０８に送信する。以降、第一カメラ画像に含まれる顔画像データを第一カメラ顔画像と呼ぶことにする。

人物の顔が存在するか否かを判断するための顔検出アルゴリズムは、例えば、Ｈａａｒ−ｌｉｋｅ特徴量を用いる。なお、顔検出アルゴリズムは、これに限られるものではなく、どのような方法を用いてもよい。また、本実施形態では、第一カメラは１２、魚眼レンズを使用するものとする。このため、第一カメラ画像には歪みが存在する。そこで、人物の顔を高い精度で検出するために、顔画像データに対して歪み補正や拡大等の画像補正処理を行う。第一顔検出部５０５は、これら画像補正処理をも行う。

図６（Ｃ）は、第一カメラ画像の一例を示す図である。第一顔検出部５０５は、第一カメラ画像に画像補正処理を行った後の画像領域Ａ１において、画像形成装置１０から距離Ｄ１に位置する人物６０１の顔を検出し、該顔を含む顔画像領域Ａ２を顔画像データとして画像選択部５０８に送信する。

第二カメラデータ受信部５０６は、第二カメラ１３が撮像した第二カメラ画像を受信し、第二顔検出部５０７に送信する。第二顔検出部５０７は、第二カメラデータ受信部５０６から受信する第二カメラ画像の中に、人物の顔が存在するか否かを判断し、人物の顔が存在する場合、該第二カメラ画像に含まれる顔画像データを抽出して該顔画像データを画像選択部５０８に送信する。以降、第二カメラ画像に含まれる顔画像データを第二カメラ顔画像と呼ぶことにする。

第一顔検出部５０５と同様に、顔検出アルゴリズムは、Ｈａａｒ−ｌｉｋｅ特徴量を用いてもよく、またその他の顔検出アルゴリズムを用いてもよい。図６（Ｄ）は、第二カメラ画像の一例を示す図である。第二顔検出部５０７は、第二カメラ画像を示す画像領域Ａ３において、画像形成装置１０から距離Ｄ２に位置する人物６０２の顔を検出し、該顔を含む顔画像領域Ａ４を顔画像データとして画像選択部５０８に送信する。

画像選択部５０８は、第一顔検出部５０５または第二顔検出部５０７から受信した顔画像データから、距離検出部５０３が生成した距離情報に基づきいずれかを選択し、認証処理部５１０に送信する。本実施形態では、画像選択部５０８は、人物と画像形成装置１０との距離が顔検出限界Ｌより大きい場合、第一カメラ顔画像を選択し、人物と画像形成装置１０との距離が顔検出限界Ｌ以下の場合、第二カメラ顔画像を選択する。

認証処理部５１０は、画像選択部５０８から受信した顔画像データから特徴量を計算し、該特徴量が顔認証処理に用いる必要十分な特徴量を備えると判断した場合、顔画像データと該特徴量のデータ（以下、特徴量データ）を一時記憶する。そして、該特徴量データと予め登録してある特徴量のデータである辞書データとを照合し、照合結果から顔画像データに含まれる人物が画像形成装置１０の使用許可を受けているか否かを認証する。

なお、顔画像データ、特徴量データ、および辞書データは、認証部１１１の不図示の記憶部に格納してもよく、また、画像形成装置１０の記憶部１１７や通信部１２１を経由してＬＡＮに接続された外部サーバ等の外部装置に格納してもよい。

照合結果から顔画像データに含まれる人物の特徴量データに対応する辞書データが存在した場合、認証処理部５１０は、該人物が画像形成装置１０の使用許可を受けていることを示す認証結果を生成する。認証部１１１は、生成された認証結果をＣＰＵ１１０に送信する。ＣＰＵ１１０は、認証結果を受け取ると、顔画像データに含まれる人物が画像形成装置１０の使用許可を受けている場合、顔認証処理の結果に基づくログイン処理を行い、該人物の設定に応じた画面を表示部１１４に表示する。

すなわち、画像形成装置１０の周辺から人物が検出されると、検出した人物の顔認証を行うことで、ユーザが画像形成装置１０を操作することなしに、画像形成装置１０へのログイン処理が自動的に実行される。

一方、照合結果から顔画像データに含まれる人物の特徴量データに対応する辞書データが存在しないか、照合対象となる辞書データが存在しない場合、認証処理部５１０は、該人物が画像形成装置１０の使用許可を受けていないことを示す認証結果を生成する。認証部１１１は、生成された認証結果をＣＰＵ１１０に送信する。

ＣＰＵ１１０は、認証結果を受け取ると、顔画像データに含まれる人物が画像形成装置１０の使用許可を受けていない場合、手動ログイン画面を表示部１１４に表示する。そして、ＣＰＵ１１０は、操作部１１３から顔認証以外の認証方法によるログインのための操作をユーザから受け付ける。顔認証以外の認証方法は、例えば、操作部１１３が備えるタッチパネルやハードウェアキーからユーザにユーザＩＤおよびパスワードを入力させる認証方法や、操作部１１３が備えるＮＦＣリーダライタにユーザが保有するＩＣカードを接触させる認証方法がある。

入力データ受信部５０９は、操作部１１３が受け付けたログインのための入力データを受信し、該入力データを認証処理部５１０に送信する。認証処理部５１０は、受信したログインのための入力データと予め登録してある認証用データである辞書データとを照合し、照合結果からログインのための入力データを入力した人物が画像形成装置１０の使用許可を受けているか否かを認証する。

なお、入力データ、および認証用データである辞書データは、認証部１１１の不図示の記憶部に格納してもよく、また、画像形成装置１０の記憶部１１７や通信部１２１を経由してＬＡＮに接続された外部サーバ等の外部装置に格納してもよい。

照合結果から入力データに対応する辞書データが存在した場合、認証処理部５１０は、該当する人物が画像形成装置１０の使用許可を受けていることを示す認証結果を生成する。認証部１１１は、生成された認証結果をＣＰＵ１１０に送信する。ＣＰＵ１１０は、認証結果を受け取ると、該人物が画像形成装置１０の使用許可を受けている場合、ユーザ操作により入力された入力データに基づくログイン処理を行い、該人物の設定に応じた画面を表示部１１４に表示する。

一方、照合結果から入力データに対応する辞書データが存在しない場合、認証処理部５１０は、該当する人物が画像形成装置１０の使用許可を受けていないことを示す認証結果を生成する。認証部１１１は、生成された認証結果をＣＰＵ１１０に送信する。ＣＰＵ１１０は、認証結果を受け取ると、該人物が画像形成装置１０の使用許可を受けていない場合、その旨を通知し、再びログインのための操作を受け付ける画面を表示部１１４に表示する。

なお、ログインのための操作として、ユーザは、画像形成装置１０に対して第二カメラ１３による撮像と、その結果を用いた顔認証によるログインが実行されるように表示部１１４に表示された不図示の画面を介して指示することも可能である。

図７は、本実施形態に係る顔画像データの登録を行うための処理を説明するフローチャートである。また、図８は、図７に示す処理において表示部１１４に表示される画面の一例を示す図である。図７の各ステップの説明を行う中で、図８の各画面の表示について併せて説明を行う。

図７に示す処理は、制御プログラムとして記憶部１１７に格納され、ＣＰＵ１１０によって実行される。なお、図７に示す処理は、ＣＰＵ１１０が、認証部１１１から図５を用いて説明した認証結果を受信した後に実行する処理である。まず、ステップＳ７０１にて、ＣＰＵ１１０は、認証部１１１から受信した認証結果に基づいて、顔認証の結果に基づくログイン処理が成功したか否かを判断する。

顔認証の結果に基づくログイン処理が成功した場合、処理はステップＳ７０３に進み、顔認証の結果に基づくログイン処理が失敗した場合、処理はステップＳ７０２に進む。ステップＳ７０２にて、ＣＰＵ１１０は、認証部１１１から受信した認証結果に基づいて、ユーザの入力に基づくログイン処理が成功したか否かを判断する。ユーザの入力に基づくログイン処理が成功した場合、処理はステップＳ７０３に進み、ユーザの入力に基づくログイン処理が失敗した場合、処理はステップＳ７０１に戻りログイン処理またはログイン処理が成功するまで上記の処理が繰り返される。

次に、ステップＳ７０３にて、ＣＰＵ１１０は、顔認証処理の結果に基づくログイン処理またはユーザの入力に基づくログイン処理のいずれかが成功した該当の人物の顔画像データを認証部１１１から取得する。詳細には、ＣＰＵ１１０は、該当の人物が画像形成装置１０に近付いた際に撮像された撮像画像から取得され、一時記憶された顔画像データを、認証部１１１から取得する。

このように、本実施形態では、ユーザが操作することなく予め自動的に取得された顔画像データが、顔認証に用いる顔画像データの登録対象となる。すなわち、ユーザが画像形成装置１０にログインした後に自ら撮像指示を行い、撮像が完了した後に撮像画像から取得される顔画像データを登録する操作の手間を軽減できる。

また、このような手間を軽減するために、自動的に撮像された顔画像をユーザの確認なしに登録することも考えられるが、本実施形態では、撮像された顔画像の確認をステップＳ７０６で行う。これは、自動的に撮像された結果、顔認証に用いるための適切な顔画像が撮像されなかった場合について考慮するためである。すなわち、本実施形態では、本人による最終確認を行ったうえで顔認証に用いる顔画像データの登録が行われる。

ここで、ステップＳ７０１からステップＳ７０３へ遷移した場合、ステップＳ７０３で取得される顔画像データは、予め辞書データを登録する際に取得された顔画像データに加えてさらに顔画像データを追加登録するために取得される。これは、ユーザが顔画像データを事前に登録してから、例えば、眼鏡をかけたり、髪型が変わったり、人相や体形が変わったり等、経年変化することが考えられるため、顔画像データを追加登録したい場合がある。このため、ステップＳ７０３で追加登録用の顔画像データが取得される。

一方で、ステップＳ７０２からステップＳ７０３へ遷移した場合、ステップＳ７０３で取得される顔画像データは、顔認証に用いる顔画像データが事前に登録されてない人物の顔画像データを新規登録するために取得される。なお、本実施形態では、顔画像データは、第一カメラ１２または第二カメラ１３により撮像された撮像画像から取得されるが、これに限られるものではない。例えば、画像形成装置１０の周囲に存在するネットワークカメラなど、外部装置により撮像された撮像画像を画像形成装置１０が取得するように構成してもよい。

次にステップＳ７０４にて、ＣＰＵ１１０は、ログインした人物（ユーザ）から操作部１１３を介して顔認証に用いる顔画像データの登録要求を受け付けるまで待機する。そして、ＣＰＵ１１０が、ユーザから操作部１１３を介して顔認証に用いる顔画像データの登録要求を受け付けると、処理はステップＳ７０５に進む。

具体的には、ステップＳ７０４において、ＣＰＵ１１０は、表示部１１４に、例えば、図８（Ａ）に示すように顔情報の登録／変更のメニュー画面が表示された状態で、顔情報の登録ボタン８０２が押下されるまで待機する。なお、図８（Ａ）に示す画面は顔情報の登録／変更のメニュー画面一例であり、これに限られるものではない。そして、登録ボタン８０２が押下されると、ＣＰＵ１１０は、表示部１１４の画面を図８（Ｂ）に示すような画面に遷移させる。

なお、ステップＳ７０４において表示される画面は、図８（Ａ）に示すように、顔画像データが登録済みか否かをユーザに分かるように顔情報８０１として表示してもよく、また、顔画像データの削除ボタン８０３を備えていてもよい。なお、本実施形態では、ログインする際の認証方法によらず、ステップＳ７０３およびＳ７０４が実行されるが、これに限られるものではない。

例えば、ユーザが顔認証でログインした場合は、ユーザが不図示の設定画面等を介して顔画像の追加登録の設定を要求するまでステップＳ７０３以降の処理を行わず、待機してもよい。また、例えば、ユーザが顔認証以外の認証方法でログインした場合、ステップＳ７０４にてユーザからの要求の有無を受け付けることなく、ステップＳ７０５を実行してもよい。すなわち図８（Ａ）の画面を表示することなく、図８（Ｂ）の画面を表示してもよい。

ステップＳ７０５にて、ＣＰＵ１１０は、表示部１１４に、ステップＳ７０３で取得した顔画像データを、登録用の顔画像データの候補として表示する。具体的には、ステップＳ７０５において、ＣＰＵ１１０は、図８（Ｂ）に示すようにステップＳ７０３で取得した顔画像データを登録用の顔画像データの候補８０４として表示する。そして、ステップＳ７０６にて、ＣＰＵ１１０は、顔画像データの候補８０４を顔画像データとして登録するか否かの選択を受け付ける。

なお、ステップＳ７０５で表示される画面には、顔画像データの候補８０４を登録するか否かの選択を受け付けるために、例えば、図８（Ｂ）に示すように、登録を指示するための登録ボタン８０５を表示してもよい。また、ステップＳ７０５で表示される画面には、例えば、図８（Ｂ）に示すように、顔画像データの候補８０４を登録せず、新たに顔画像データを取得するために撮像を指示するための再撮像ボタン８０６を表示してもよい。

登録用の顔画像データの候補として表示された、ステップＳ７０３で取得した顔画像データを登録する旨の選択を受け付けると、処理はステップＳ７０７に進み、登録しない旨の選択を受け付けると、処理はステップＳ７０８に進む。ステップＳ７０７にて、ＣＰＵ１１０は、ユーザによって登録を指示された顔画像データに対応する特徴量データを辞書データとして登録する。なお、顔画像データの登録では、顔画像データと、顔画像データに対応する特徴量データとを含む顔画像に関する情報が登録される。

なお、ユーザは、図８（Ｂ）に示すような画面において、自身の顔画像データを確認した上で該顔画像データを顔認証に用いる顔画像データとして登録することを指示することになる。すなわち、ユーザによる本人確認が実施された上で顔画像データの登録が行われる。具体的には、ステップＳ７０７において、ＣＰＵ１１０は、表示部１１４の画面を図８（Ｂ）に示す画面から図８（Ｃ）に示す画面に遷移させる。

図８（Ｃ）の画面は、例えば、図８（Ａ）の画面において未登録であった顔情報８０１を、図８（Ｂ）の画面で登録を指示された顔画像データの候補８０４に切り替えて顔情報８１０として表示する。これにより、ユーザに対して顔認証に用いる顔画像データの登録がなされたことを通知することができる。

一方、顔画像データを登録しない旨の選択を受け付けた場合、ステップＳ７０３で取得された顔画像データ、すなわちユーザが画像形成装置１０に近付いた際に撮像された撮像画像から取得され、一時記憶された顔画像データは破棄される。また、該顔画像データに対応する特徴量データは登録されない。

なお、ユーザは、図８（Ｂ）に示すような画面において、自身の顔画像データを確認した上で該顔画像データを顔認証に用いる顔画像データとして登録しないことを指示することになる。該指示を受けたＣＰＵ１１０は、新たに顔画像データを取得するためにユーザの顔を撮像するための画面を表示部１１４に表示させる。

具体的には、ステップＳ７０８において、ＣＰＵ１１０は、表示部１１４の画面を図８（Ｂ）に示す画面から図８（Ｄ）に示す画面に遷移させる。図８（Ｄ）に示す画面には、例えば、第二カメラ１３が起動され、取得された第二カメラ画像が表示部１１４の表示領域８０７に表示される。また、図８（Ｄ）に示す画面には、撮像を指示するための撮像ボタン８０９が表示される。

そして、ステップＳ７０９にて、ＣＰＵ１１０は、ユーザからの撮像の指示に応じてユーザを撮像し、撮像画像から顔画像データを取得する。具体的には、ＣＰＵ１１０は、撮像ボタン８０９が押下されると、操作部１１３から該撮像ボタン８０９が押下された旨の通知を受け付け、第二カメラ１３に撮像を指示する。そして、ＣＰＵ１１０は、撮像された第二カメラ画像から登録用の顔画像データの候補を新たに取得する。

例えば、図８（Ｄ）に示す例では、ＣＰＵ１１０は、顔の大きさのガイド８０８に含まれる顔画像データを、登録用の顔画像データの候補として取得する。ステップＳ７０９の後に、処理はステップＳ７０５に戻り、ＣＰＵ１１０は、表示部１１４にステップＳ７０９にて取得された顔画像データを登録用の顔画像データの候補として表示する。以上のステップに従い、ステップＳ７０７で顔画像データの登録が完了すると図７に示す処理は終了する。

以上のように、本実施形態によれば、顔認証に用いる顔画像データの登録を、ユーザの利便性を維持しつつ適切に行うことが可能となる。

（第２実施形態）
第１実施形態では、顔画像データを登録するためにユーザが画像形成装置１０の周辺に近付いたときに取得された顔画像データは１つだけであり、該顔画像データをユーザが確認する場合について説明した。これに対して、第２実施形態では、複数の顔画像データが取得され、ユーザはその中から登録する顔画像データを選択できる場合について説明する。

複数の顔画像データは、複数の撮像条件、例えば、人物や照明とカメラとの位置関係、異なるデバイス性能（画角、解像度）等のもとで撮像された複数の撮像画像から取得される。そして、複数の顔画像データから本人確認が実施されたものを顔認証に用いる顔画像データとして選択する。このため、より適切な顔画像データを登録することができる。なお、本実施形態に係る画像形成装置１０の構成自体は、第１実施形態と同様のため、その説明を省略する。以下、第１実施形態と第２実施形態との差分を中心に説明する。

本実施形態に係る顔画像データの登録を行うための処理は、第１実施形態と同様に図７にて示される。その上で、本実施形態では、ステップＳ７０５〜Ｓ７０７のステップにおいて第１実施形態の場合と異なる点がある。ステップＳ７０５にて、ＣＰＵ１１０は、認証部１１１に保持されている第一カメラ１２および第二カメラ１３から受信した複数の顔画像データを取得し、登録用の顔画像データの候補としてそれら複数の顔画像データを表示部１１４に表示する。

図９は、本実施形態において図７のステップＳ７０５で表示部１１４に表示される画面の一例である。
図９に示す画面は、第１実施形態において図８（Ｂ）に示した画面に対応する画面である。図８（Ｂ）の画面と異なり、この画面では、複数の顔画像データが、登録用の顔画像データの候補として表示される。図９に示す例では、第二カメラ画像９０１と、第一カメラ画像９０２および９０３との計３個の顔画像データが表示されている。

ＣＰＵ１１０は、ステップＳ７０３において、第一カメラ１２および第二カメラ１３が撮像した複数の撮像画像に基づき、複数の顔画像データを取得し、ステップＳ７０５にてそれら複数の顔画像データを、登録用の顔画像データの候補として表示する。なお、登録用の顔画像データの候補として表示される顔画像データは、認証処理部５１０が、顔認証処理に用いる必要十分な特徴量を備えると判断したものを優先して表示するようにしてもよい。すなわち、ＣＰＵ１１０は、各顔画像データの特徴量に基づき優先順位を付けて表示する顔画像データを選別してもよい。

次に、本実施形態においてステップＳ７０６では、ＣＰＵ１１０は、登録用の顔画像データの候補のうち、ユーザにより登録する顔画像データの選択、および、選択された顔画像データを登録するか否かの指示を受け付ける。例えば、図９に示す画面では、ユーザが、表示されている顔画像データの中から第二カメラ画像９０１と第一カメラ画像９０２の計２個の顔画像データを選択すると、それらが選択された状態となる。

そして、ユーザが、「登録する」ボタン９０４を押下すると、処理はステップＳ７０７に進む。なお、ユーザは、図９に示す画面において、登録する自身の顔画像データを確認した上で該顔画像データを顔認証に用いる顔画像データとして登録することを指示することになる。すなわち、ユーザによる本人確認が実施された上で顔画像データの登録が行われる。ここで選択されなかった第一カメラ画像９０３は、例えば、画像形成装置１０の周囲を通過したユーザとは異なる人物の顔画像データ等である。

続くステップＳ７０７では、ＣＰＵ１１０は、ステップＳ７０６で選択された１つ以上の顔画像データのそれぞれから対応する特徴量データを辞書データとして登録する。そして、第１実施形態の場合と同様に、登録がなされた顔画像データを表示する。具体的には、例えば、図８（Ｃ）の顔情報８１０に、ステップＳ７０６にて選択された１つ以上の顔画像データ（第二カメラ画像９０１および第一カメラ画像９０２）の中から代表して１つの顔画像データを表示する。また、例えば、ステップＳ７０６にて選択された１つ以上の顔画像データの全てを図８（Ｃ）の画面ｎおいて表示するようにしてもよい。

このように、本実施形態によれば、第１実施形態と同様の効果を奏する。さらに、本実施形態では、複数の撮像条件のもとで撮像した撮像画像から取得される複数の顔画像データから顔認証に用いる顔画像データが選択される。このため、より適切な顔画像データを登録することができる。

なお、第１実施形態および第２実施形態では、画像形成装置について説明したが、本発明は、画像形成装置以外の情報処理装置においても適用可能である。すなわち、顔認証によるログイン方法を備える任意の情報処理装置において、顔認証に用いる顔画像データの初期登録の際に本発明を適用可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１０ 画像形成装置
１１０ ＣＰＵ
１１１ 認証部
１１２ 検出部
１１３ 操作部
１１４ 表示部

Claims (8)

1. 画像形成装置であって、
   前記画像形成装置の周囲に存在する人物を含む撮像画像を取得する取得手段と、
   前記取得された撮像画像から顔画像を抽出する抽出手段と、
   前記画像形成装置へ前記人物が顔認証とは異なる認証方法でログインしたことに応じて、前記抽出された顔画像を表示し、該顔画像の情報を顔認証に用いる顔画像の情報として登録する旨の指示を受け付ける受け付け手段と、
   前記指示を受け付けた場合に、前記表示された顔画像の情報を登録する登録手段と、を備えることを特徴とする画像形成装置。
2. 前記受け付け手段は、
   前記画像形成装置へ前記人物が顔認証とは異なる認証方法でログインした際に、顔認証に用いる顔画像の情報を登録する旨の要求を受け付け、
   前記要求を受け付けた場合に、前記抽出された顔画像を表示し、該顔画像の情報を顔認証に用いる顔画像の情報として登録する旨の指示を受け付けることを特徴とする請求項１に記載の画像形成装置。
3. 前記受け付け手段は、前記画像形成装置へ前記人物が顔認証によりログインした際に、顔認証に用いる顔画像の情報を追加で登録する旨の要求を受け付け、
   前記要求を受け付けた場合に、前記抽出された顔画像を表示し、該顔画像の情報を顔認証に用いる顔画像の情報として登録する旨の指示を受け付けることを特徴とする請求項１または２に記載の画像形成装置。
4. 前記受け付け手段が表示する顔画像は、前記画像形成装置の周囲の所定の範囲に前記人物が進入したことに応じてカメラが撮像した撮像画像から抽出され、
   前記受け付け手段が前記表示した顔画像の情報を顔認証に用いる顔画像の情報として登録しない旨の指示を受け付けた場合に、前記人物の顔を含む画像が撮像されることを特徴とする請求項１乃至３のいずれか一項に記載の画像形成装置。
5. 前記受け付け手段は、１以上のカメラが撮像した複数の撮像画像から抽出された複数の顔画像を表示し、該複数の顔画像の中から１以上の顔画像の選択を受け付け、該選択された１以上の顔画像の情報を顔認証に用いる顔画像の情報として登録することを特徴とする請求項１乃至４のいずれか一項に記載の画像形成装置。
6. 前記受け付け手段は、前記複数の顔画像を表示する際に、各顔画像の特徴量に基づき表示する顔画像を選別することを特徴とする請求項５に記載の画像形成装置。
7. 画像形成装置の制御方法であって、
   前記画像形成装置の周囲に存在する人物を含む撮像画像を取得する取得工程と、
   前記取得された撮像画像から顔画像を抽出する抽出工程と、
   前記画像形成装置へ前記人物が顔認証とは異なる認証方法でログインしたことに応じて、前記抽出された顔画像を表示し、該顔画像の情報を顔認証に用いる顔画像の情報として登録する旨の指示を受け付ける受け付け工程と、
   前記指示を受け付けた場合に、前記表示された顔画像の情報を登録する登録工程と、を有することを特徴とする画像形成装置の制御方法。
8. 請求項１乃至６のいずれか一項に記載の画像形成装置が備える各手段としてコンピュータを機能させるためのプログラム。