JP2017069876A - 処理装置 - Google Patents

Abstract

【課題】人の顔画像の撮影結果を用いた処理が行われた時点でこの人に対応付けられた画面の表示を開始する場合と比べて、使用者ではない人に対応付けられた画面が表示されてしまうことを抑制する。【解決手段】画像形成装置１０は、自装置の周囲を撮像する第１カメラを含む撮像部１０９と、第１カメラが撮像した人の画像に対応付けられたＵＩ画面を表示する表示部１０４と、表示部１０４に表示の開始を指示する指示部１１３とを有し、第１カメラは、指示部１１３による指示の前に撮像を開始し、表示部１０４は、指示部１１３による指示の後に、第１カメラが撮像した人の画像に対応付けられたＵＩ画面の表示を開始する。【選択図】図５

Description

本発明は、処理装置に関する。

公報記載の従来技術として、画像形成装置のフロント側に前方に向けて第１の撮像部を設けるとともに、画像形成装置の上部に設けられたユーザインタフェースに上方に向けて第２の撮像部を設け、第１の撮像部により撮影された画像に基づいて画像形成装置に人が近づいていると判断されると、画像形成装置のメインシステムをスリープモードからスタンバイモードに復帰させ、また、第２の撮像部にて、画像形成装置の前に立つ人の顔の画像を撮影し、得られた顔画像を用いて、この人に関する認証処理を実行するものが存在する（特許文献１参照）。

また、他の公報記載の従来技術として、アクセスカメラ（第２のセンサ）で撮影した画像に基づいて使用者の接近を検知し、検知した使用者の画像を取得し、取得した使用者の画像に基づいて使用者の固体認識情報を検出し、検出した固体認識情報に基づいて個体（使用者）の認証を行うとともに、アクセスカメラとは異なる認識カメラ（第３のセンサ）で撮影した画像に基づいて、個別ユーザに適したＵＩ画面を選択するようにした画像処理装置が存在する（特許文献２参照）。

特開２０１５−１１５３７号公報 特開２０１４−９８８９４号公報

ここで、自装置の周囲に存在する人の顔画像の撮影結果を用いた処理が行われたことを契機として、この人が自装置に到達する前に、この人に対応するＵＩ画面を表示させておくことが考えられる。しかしながら、このような手法を採用した場合には、自装置の周囲に存在する人が、この自装置の使用を目的とする人（使用者）であるとは限らないため、使用者以外の人のために用意された案内画面（ＵＩ画面）が表示されてしまうという事態が生じ得る。
本発明は、人の顔画像の撮影結果を用いた処理が行われた時点でこの人に対応付けられた画面の表示を開始する場合と比べて、使用者ではない人に対応付けられた画面が表示されてしまうことを抑制することを目的とする。

請求項１記載の発明は、自装置の周囲を撮像する撮像部と、前記撮像部が撮像した人の画像に対応付けられた画面を表示する表示部と、前記表示部に表示の開始を指示する指示部とを有し、前記撮像部は、前記指示部による指示の前に撮像を開始し、前記表示部は、前記指示部による指示の後に、前記撮像部が撮像した人の画像に対応付けられた画面の表示を開始することを特徴とする処理装置である。
請求項２記載の発明は、前記撮像部は、第１の領域内に存在する人の画像を撮像し、前記指示部は、人が前記第１の領域の内部であって当該第１の領域よりも狭い第２の領域に存在する場合に、前記表示部に表示の開始を指示することを特徴とする請求項１記載の処理装置である。
請求項３記載の発明は、前記撮像部は、第１の領域内に存在する人の画像を撮像し、前記指示部は、前記第１の領域内に存在する人が当該第１の領域に予め設定された設定時間以上滞在する場合に、前記表示部に表示の開始を指示することを特徴とする請求項１記載の処理装置である。
請求項４記載の発明は、前記撮像部は、第１の領域内に存在する人の画像を撮像し、前記指示部は、前記第１の領域に存在する人が自装置に接近している場合に、前記表示部に表示の開始を指示することを特徴とする請求項１記載の処理装置である。

請求項１記載の発明によれば、人の顔画像の撮影結果を用いた処理が行われた時点でこの人に対応付けられた画面の表示を開始する場合と比べて、使用者ではない人に対応付けられた画面が表示されてしまうことを抑制することができる。
請求項２記載の発明によれば、第１の領域内であって第２の領域内には存在しない人に対応付けられた画面を表示する場合と比べて、使用者ではない人に対応付けられた画面が表示されてしまうことを抑制することができる。
請求項３記載の発明によれば、第１の領域内に規定時間よりも短い時間滞在する人に対応付けられた画面を表示する場合と比べて、使用者ではない人に対応付けられた画面が表示されてしまうことを抑制することができる。
請求項４記載の発明によれば、第１の領域内にて自装置から離隔する人に対応付けられた画面を表示する場合と比べて、使用者ではない人に対応付けられた画面が表示されてしまうことを抑制することができる。

本実施の形態が適応される画像形成装置の斜視図である。 ユーザインタフェースの上面図である。 画像形成装置により人物の存在等が検知される範囲を説明するための上面図である。 画像形成装置により人物の存在等が検知される範囲を説明するための側面図である。 画像形成装置の機能ブロック図である。 画像形成装置のモードの制御に関する処理の流れを説明するためのフローチャートである。 画像形成装置における認証手順の流れを説明するためのフローチャートである。 認証手順における顔検出・顔画像取得処理の流れを説明するためのフローチャートである。 認証手順における顔認証処理の流れを説明するためのフローチャートである。 （ａ）は使用者が事前に画像形成装置に登録した登録テーブルの一例を、（ｂ）は顔検出・顔画像取得処理で用いられる追跡テーブルの一例を、それぞれ示す図である。 （ａ）〜（ｄ）は、画像形成装置の周辺にいる人物の位置の時間的変化の、第１の例における第１のパターンを示した図である。 （ａ）〜（ｄ）は、顔認証処理で準備されるＵＩ画面の一例を示す図である。 （ａ）、（ｂ）は、それぞれ、第１カメラによって撮影された第１カメラ画像の一例を示す図である。 （ａ）、（ｂ）は、それぞれ、第１カメラによって撮影された第１カメラ画像の他の一例を示す図である。 （ａ）〜（ｄ）は、画像形成装置の周辺にいる人物の位置の時間的変化の、第１の例における第２のパターンを示した図である。 （ａ）〜（ｄ）は、画像形成装置の周辺にいる人物の位置の時間的変化の、第２の例における第１のパターンを示した図である。 （ａ）〜（ｄ）は、画像形成装置の周辺にいる人物の位置の時間的変化の、第２の例における第２のパターンを示した図である。 （ａ）〜（ｄ）は、画像形成装置の周辺にいる人物の位置の時間的変化の、第３の例における第１のパターンを示した図である。 （ａ）〜（ｄ）は、画像形成装置の周辺にいる人物の位置の時間的変化の、第３の例における第２のパターンを示した図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本実施の形態が適用される画像形成装置１０の斜視図である。処理装置の一例としての画像形成装置１０は、スキャン機能、プリント機能、コピー機能およびファクシミリ機能を備えた所謂複合機である。

画像形成装置１０は、スキャナ１１と、プリンタ１２と、ユーザインタフェース（ＵＩ）１３とを備える。これらのうち、スキャナ１１は、原稿に形成された画像を読み取るための装置であり、プリンタ１２は、記録材に画像を形成するための装置である。また、ユーザインタフェース１３は、使用者が画像形成装置１０を使用する際に、使用者による操作（指示）を受け付け、且つ、使用者に対し各種情報の表示を行うための装置である。

本実施の形態のスキャナ１１は、プリンタ１２の上方に配置されている。また、ユーザインタフェース１３は、スキャナ１１に取り付けられている。ここで、ユーザインタフェース１３は、画像形成装置１０を使用する際に使用者が立つ、画像形成装置１０（スキャナ１１）のフロント側に配置される。そして、ユーザインタフェース１３は、画像形成装置１０のフロント側に立った使用者が上方から下方を見た状態で操作できるように、上方に向けて配置される。

また、この画像形成装置１０は、焦電センサ１４と、第１カメラ１５と、第２カメラ１６とをさらに備える。これらのうち、焦電センサ１４および第１カメラ１５は、プリンタ１２のフロント側且つ左側に、前方に向けて取り付けられている。そして、第１カメラ１５は、焦電センサ１４の上方に配置されている。また、第２カメラ１６は、ユーザインタフェース１３における左側に、上方に向けて取り付けられている。

ここで、焦電センサ１４は、画像形成装置１０のフロント側における、使用者を含む移動体（人物等）の移動を検知する機能を有している。また、第１カメラ１５は所謂ビデオカメラで構成されており、画像形成装置１０のフロント側の画像を撮影する機能を有している。さらに、第２カメラ１６も所謂ビデオカメラで構成されており、画像形成装置１０の上側の画像を撮影する機能を有している。ここで、第１カメラ１５および第２カメラ１６には、それぞれ魚眼レンズが取り付けられている。これにより、第１カメラ１５および第２カメラ１６は、一般的なレンズを用いた場合に比べ、より広角にて画像の撮影を行う。

さらに、この画像形成装置１０は、プロジェクタ１７をさらに備える。この例において、プロジェクタ１７は、フロント側からみて画像形成装置１０の本体の右側に配置されている。そして、プロジェクタ１７は、画像形成装置１０の背後に設けられたスクリーン（図示せず）に、各種画像を投影するようになっている。ここで、スクリーンとしては、所謂映写幕に限られるものではなく、壁等を利用してもかまわない。なお、画像形成装置１０の本体に対するプロジェクタ１７の設置位置については、変更することが可能である。また、この例では画像形成装置１０の本体とプロジェクタ１７とを別個に設けているが、例えばスキャナ１１の背面側にプロジェクタ１７を取り付けるなどの手法を用いることで、画像形成装置１０の本体とプロジェクタ１７とを一体化してもかまわない。

図２は、図１に示すユーザインタフェース１３の上面図である。ただし、図２は、ユーザインタフェース１３に配置される第２カメラ１６も、併せて示している。

ユーザインタフェース１３は、タッチパネル１３０と、第１操作ボタン群１３１と、第２操作ボタン群１３２と、ＵＳＢメモリ装着部１３３とを有する。ここで、第１操作ボタン群１３１は、タッチパネル１３０の右側に配置されている。また、第２操作ボタン群１３２、ＵＳＢメモリ装着部１３３および第２カメラ１６は、タッチパネル１３０の左側に配置されている。

ここで、タッチパネル１３０は、使用者に対し画像を用いた情報を表示し、且つ、使用者からの入力を受け付ける機能を有している。また、第１操作ボタン群１３１および第２操作ボタン群１３２は、使用者からの入力を受け付ける機能を有している。さらに、ＵＳＢメモリ装着部１３３は、使用者によるＵＳＢメモリの装着を受け付ける機能を有している。

また、ユーザインタフェース１３に取り付けられる第２カメラ１６は、画像形成装置１０を使用する使用者の顔の画像を撮影できる位置に配置されている。そして、第２カメラ１６で撮影された画像（使用者の顔の画像を含む）は、タッチパネル１３０に表示されるようになっている。ここで、本実施の形態の画像形成装置１０では、後述するように、この画像形成装置１０に近づいてくる人物の顔を、第１カメラ１５で撮影して得た顔画像を用いて、画像形成装置１０の使用を許可するための認証を行う。このため、この画像形成装置１０を使用しようとする人物（使用者）は、事前に、顔画像の登録を行う必要がある。そして、本実施の形態における第２カメラ１６は、このような顔画像の登録において、人物の顔を撮影するために使用される。

また、本実施の形態では、第１カメラ１５で撮影された画像も、タッチパネル１３０に表示することが可能となっている。なお、以下の説明においては、第１カメラ１５が撮影した画像を第１カメラ画像と称し、第２カメラ１６が撮影した画像を第２カメラ画像と称する。

図３は、画像形成装置１０により人物の存在が検知される範囲を説明するための上面図である。図３は、画像形成装置１０およびその周辺を、画像形成装置１０の高さ方向上側からみたものを示している。

また、図４は、画像形成装置１０により人物の存在が検知される範囲を説明するための側面図である。図４は、画像形成装置１０およびその周辺を、画像形成装置１０の側方（この例では画像形成装置１０のフロント側からみて右側）からみたものを示している。なお、図４には、人物Ｈを併せて示しているが、図３に示す検出範囲Ｆについては記載を省略している。

ここで、図３および図４に示すように、画像形成装置１０にて第１カメラ１５（図１参照）が取り付けられている部位を、画像形成装置１０の位置Ｐと呼ぶ。

この例において、焦電センサ１４（図１参照）は、検出範囲Ｆ内に存在する人物Ｈを検知する。この検出範囲Ｆは、画像形成装置１０のフロント側に形成され、高さ方向上側からみたときに、中心角が１８０度未満に設定された扇形を呈している。

また、この例では、第１カメラ１５（図１参照）が撮影した第１カメラ画像を解析した結果を用いて、人検知範囲Ｒ１内、人操作範囲Ｒ２内、進入検知範囲Ｒ３内および接近検知範囲Ｒ４内に存在する人物Ｈを検出する。

これらのうち、人検知範囲Ｒ１は、画像形成装置１０のフロント側に形成され、高さ方向上側からみたときに、中心角が１８０度に設定された扇形を呈している。この人検知範囲Ｒ１は、検出範囲Ｆの全体を含む（但し、この例では一部を含まない）ように設定される。なお、人検知範囲Ｒ１の中心角については、１８０度以外であってもかまわない。ただし、第１カメラ１５は、少なくとも人検知範囲Ｒ１の全体を撮影範囲とする。

続いて、人操作範囲Ｒ２は、画像形成装置１０のフロント側に設定され、高さ方向上側からみたときに、矩形を呈している。この例において、この矩形範囲における幅方向の長さは、画像形成装置１０の幅方向の長さと同じである。また、人操作範囲Ｒ２の全域は、人検知範囲Ｒ１の内側に位置する。さらに、人操作範囲Ｒ２は、人検知範囲Ｒ１の中で画像形成装置１０により近い側に配置される。

さらに、進入検知範囲Ｒ３は、画像形成装置１０のフロント側に形成され、高さ方向上側からみたときに、中心角が１８０度に設定された扇形を呈している。また、進入検知範囲Ｒ３の全域は、人検知範囲Ｒ１の内側に位置する。さらに、進入検知範囲Ｒ３は、人検知範囲Ｒ１の中で、画像形成装置１０により近い側に配置される。また、上述した人操作範囲Ｒ２の全域は、進入検知範囲Ｒ３の内側に位置する。さらに、人操作範囲Ｒ２は、進入検知範囲Ｒ３の中で、画像形成装置１０により近い側に配置される。

そして、接近検知範囲Ｒ４は、画像形成装置１０のフロント側に形成され、高さ方向上側からみたときに、中心角が１８０度に設定された扇形を呈している。また、接近検知範囲Ｒ４の全域は、進入検知範囲Ｒ３の内側に位置する。さらに、接近検知範囲Ｒ４は、進入検知範囲Ｒ３の中で、画像形成装置１０により近い側に配置される。また、上述した人操作範囲Ｒ２の全域は、接近検知範囲Ｒ４の内側に位置する。さらに、人操作範囲Ｒ２は、接近検知範囲Ｒ４の中で、画像形成装置１０により近い側に配置される。

本実施の形態の画像形成装置１０では、後述するように、この画像形成装置１０に近づいてくる人物Ｈの顔を第１カメラ１５で撮影して得た顔画像を用いて、画像形成装置１０の使用を許可するための認証を行う。また、この画像形成装置１０では、後述するように、第１カメラ１５が撮影した第１カメラ画像を用いて、人検知範囲Ｒ１内に存在する人物Ｈのつま先を検出し、この人物Ｈが画像形成装置１０に向かってきているか否かの判断を行う。

ここで、画像形成装置１０の高さは、通常、使いやすさを考慮して１０００〜１３００ｍｍ程度に設定されることから、第１カメラ１５の高さは設置面から７００〜９００ｍｍ程度となる。また、上述したように、第１カメラ１５を用いて人物Ｈのつま先を撮影する必要があることから、第１カメラ１５の高さはある程度低い位置に制限される。このような理由により、設置面からの第１カメラ１５の高さ（位置Ｐ）は、図４に示したように一般的な成人（人物Ｈ）の顔の高さに比べ、より低くなる。このため、画像形成装置１０に人物Ｈが近づきすぎると、魚眼レンズを用いたとしても、第１カメラ１５による人物Ｈの顔の撮影が困難となり、また、人物Ｈの顔が撮影できたとしても、得られた顔画像の解析が困難となってしまう。

そこで、この例では、第１カメラ１５が撮影した第１カメラ画像を解析することで人物Ｈの顔画像の解析が可能な距離の限界を、顔検知限界Ｌとして定めている。この顔検知限界Ｌは、一般的な身長を有する人物Ｈの顔を、第１カメラ１５にて撮影することが可能な距離に基づいて決められている。この例において、顔検知限界Ｌは、人操作範囲Ｒ２の外側且つ接近検知範囲Ｒ４の内側に位置している。

本実施の形態の画像形成装置１０を使用しようとする人物Ｈがいた場合、この人物Ｈは、最初に検出範囲Ｆ内に進入する。また、検出範囲Ｆ内に進入した人物Ｈは、続いて人検知範囲Ｒ１内に進入し、さらに進入検知範囲Ｒ３から接近検知範囲Ｒ４を介して人操作範囲Ｒ２に進入する。なお、この例では、人検知範囲Ｒ１内を移動する人物Ｈが、接近検知範囲Ｒ４から人操作範囲Ｒ２に進入する間に、顔検知限界Ｌを突破する。そして、人操作範囲Ｒ２に進入した人物Ｈは、人操作範囲Ｒ２内に滞在しつつ、ユーザインタフェース１３を使用した操作等を行うことになる。なお、人検知範囲Ｒ１、人操作範囲Ｒ２、進入検知範囲Ｒ３および接近検知範囲Ｒ４の各々は、厳密に図３に示すとおりに設定される必要はなく、第１カメラ１５が撮影した第１カメラ画像に基づいて特定し得る精度で足りる。また、顔検知限界Ｌは、人操作範囲Ｒ２と接近検知範囲Ｒ４との間に設定される必要はなく、第１カメラ１５の性能や取り付け位置（設置面からの位置Ｐの高さ）等によって変わることがある。

ここで、本実施の形態では、人検知範囲Ｒ１が第１の領域の一例となっており、進入検知範囲Ｒ３が第２の領域の一例となっている。

図５は、画像形成装置１０の機能ブロック図である。本実施の形態の画像形成装置１０は、制御部１０１と、通信部１０２と、操作部１０３と、表示部１０４と、記憶部１０５と、画像読取部１０６と、画像形成部１０７とを備える。また、この画像形成装置１０は、検知部１０８と、撮像部１０９と、人検出部１１０と、顔検出部１１１と、顔登録認証部１１２と、指示部１１３と、選択部１１４と、報知部１１５とをさらに備える。

制御部１０１は、例えばＣＰＵ（Central Processing Unit）とメモリとを備え、画像形成装置１０の各部を制御する。ＣＰＵは、メモリまたは記憶部１０５に記憶されたプログラムを実行する。メモリは、例えばＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）とを備える。ＲＯＭは、予めプログラムやデータを記憶する。ＲＡＭは、プログラムやデータを一時的に記憶し、ＣＰＵがプログラムを実行する際の作業領域として用いられる。

通信部１０２は、図示しない通信回線に接続される通信用のインタフェースである。通信部１０２は、クライアント装置や他の画像形成装置（ともに図示せず）と、通信回線を介して通信を行う。

操作部１０３は、使用者の操作に応じた情報を制御部１０１に入力する。この例において、操作部１０３は、ユーザインタフェース１３に設けられたタッチパネル１３０、第１操作ボタン群１３１および第２操作ボタン群１３２によって実現される。

表示部１０４は、使用者に対し各種情報を表示する。この例において、表示部１０４は、ユーザインタフェース１３に設けられたタッチパネル１３０によって実現される。

記憶部１０５は、例えばハードディスクであり、制御部１０１により用いられる各種のプログラムやデータを記憶する。

画像読取部１０６は、原稿の画像を読み取って画像データを生成する。この例において、画像読取部１０６はスキャナ１１によって実現される。

画像形成部１０７は、画像データに応じた画像を用紙等のシート状の記録材に形成する。この例において、画像形成部１０７はプリンタ１２によって実現される。なお、画像形成部１０７は、電子写真方式により画像を形成してもよいし、その他の方式により画像を形成してもよい。

検知部１０８は、人物Ｈを含む移動体の検知を行う。この例において、検知部１０８は、焦電センサ１４によって実現される。

撮像部１０９は、人物Ｈを含む撮影対象の撮像を行う。この例において、撮像部１０９は、第１カメラ１５および第２カメラ１６によって実現される。

人検出部１１０は、第１カメラ１５が撮影した第１カメラ画像を解析して、人検知範囲Ｒ１内、人操作範囲Ｒ２内、進入検知範囲Ｒ３内および接近検知範囲Ｒ４内に存在する人物Ｈの検出を行う。

顔検出部１１１は、第１カメラ１５が撮影した第１カメラ画像を解析して、人検知範囲Ｒ１内であって顔検知限界Ｌの外側に存在する人物Ｈの顔画像を検出する。

顔登録認証部１１２は、この画像形成装置１０を使用することが可能な人物Ｈ（使用者）について、事前に、この使用者の顔画像を用いた登録を行う。ここで、登録においては、第２カメラ１６を用いて使用者の顔画像の撮影を行うとともに、撮影で得られた顔画像から特徴量の抽出を行う。そして、使用者のＩＤ（登録ＩＤ）と、使用者が設定した各種情報（登録人物情報と称する）と、使用者の顔画像から抽出された特徴量（顔情報と称する）とを対応付けて、記憶部１０５に記憶させる。なお、以下の説明においては、登録ＩＤと登録人物情報と顔情報とを対応付けたものを登録テーブルと呼び、登録テーブルに登録されている使用者（人物Ｈ）を登録人物と呼ぶ。

また、顔登録認証部１１２は、使用者がこの画像形成装置１０を使用しようとする際に、この使用者の顔画像を用いた認証を行う。ここで、認証においては、第１カメラ１５を用いて人物Ｈ（使用者）の顔画像の撮影を行うとともに、撮影で得られた顔画像から特徴量の抽出を行う。そして、今回の撮影で得られた特徴量が、既に登録されている特徴量と一致するか否かを調べ、一致するものがある場合（使用者として登録された登録人物である場合）には画像形成装置１０の使用を許可し、一致するものがない場合（使用者として登録されていない未登録人物である場合）には画像形成装置１０の使用を禁止する。

指示部１１３は、第１カメラ１５を用いて撮影した顔画像を用いた認証処理を開始するための指示を、顔登録認証部１１２に出力する。また、指示部１１３は、認証処理後に認証結果をＵＩ画面としてタッチパネル１３０に表示させるための指示を、表示部１０４に出力する。

選択部１１４は、同じ人物Ｈについて、第１カメラ１５を用いて複数の顔画像が取得されている場合に、複数の顔画像の中から１つの顔画像を選択する。

報知部１１５は、例えば人検知範囲Ｒ１内に存在する人物Ｈに対し、必要に応じて、知らしめたい情報を報知する。この報知部１１５は、プロジェクタ１７によって実現される。

ここで、本実施の形態の画像形成装置１０は、「通常モード」および「スリープモード」という、消費電力量が異なる２つのモードのいずれかに従って動作する。画像形成装置１０が通常モードで動作するときには、画像形成装置１０の各部に、各種処理の実行に要する電力が供給される。一方、画像形成装置１０がスリープモードで動作するときには、画像形成装置１０の少なくとも一部への電力供給が停止させられ、画像形成装置１０の消費電力量が通常モードのときよりも少なくなる。ただし、画像形成装置１０がスリープモードで動作するときにも、制御部１０１、焦電センサ１４および第１カメラ１５への電力供給が行われ、これら各部が、スリープモード時においても動作を行い得るようになっている。

図６は、画像形成装置１０のモードの制御に関する処理の流れを示すフローチャートである。
この例では、初期状態において、画像形成装置１０がスリープモードに設定されている（ステップ１）。なお、スリープモードにおいても、焦電センサ１４は起動されており、動作を行っている。一方、このとき、第１カメラ１５は起動されていないものとする。画像形成装置１０がスリープモードで動作するとき、制御部１０１は、焦電センサ１４による赤外線の量の検出結果を監視して、検出範囲Ｆ内に人物Ｈが存在するか否かを判断する（ステップ２）。ステップ２において否定の判断（ＮＯ）を行った場合は、ステップ２に戻ってこの処理を繰り返す。

一方、ステップ２で肯定の判断（ＹＥＳ）を行った場合、すなわち、検出範囲Ｆ内で人物Ｈを検知した場合、制御部１０１は、第１カメラ１５への電力供給を開始させるとともに、第１カメラ１５を起動させて人検知範囲Ｒ１の撮影を開始させる（ステップ３）。第１カメラ１５による撮影が開始されると、人検出部１１０は、第１カメラ１５から取得した第１カメラ画像を解析して、人物Ｈの動きを検出する処理を開始する（ステップ４）。

ステップ４で開始される人物Ｈの動きを検出する処理において、人検出部１１０は、画像形成装置１０から人物Ｈまでの距離を推定するとともに、人物Ｈの動きを示す動きベクトルを算出する。この人物Ｈの動きを検出する処理は公知の方法により行われてよいが、例えば、人検出部１１０は、撮影画像から検出した身体の部位の大きさに基づいて、画像形成装置１０から人物Ｈまでの距離を推定する。また、人検出部１１０は、第１カメラ１５の撮影画像に対しフレーム処理を施し、複数フレームの撮影画像を時系列順に比較する。この際、人検出部１１０は、人物Ｈの身体の部位として、例えばつま先を検出し、検出した部位の動きを解析して動きベクトルを算出する。また、人検出部１１０は、第１カメラ１５から取得した第１カメラ画像（魚眼レンズを介して得られる歪んだ画像）を、平面画像に補正（平面視展開）してから人物Ｈの動きを検出する。

次に、人検出部１１０は、人検知範囲Ｒ１内に存在する人物Ｈの、画像形成装置１０への接近を検知したか否かを判断する（ステップ５）。例えば、人物Ｈが人検知範囲Ｒ１内に存在し且つ画像形成装置１０に向かって移動していると判断した場合に、人検出部１１０は、ステップ５で肯定の判断（ＹＥＳ）を行う。ステップ５で否定の判断（ＮＯ）を行った場合は、ステップ５に戻ってこの処理を繰り返す。

これに対し、ステップ５で肯定の判断（ＹＥＳ）を行った場合、制御部１０１は、画像形成装置１０のモードを、スリープモードから通常モードに移行させる（ステップ６）。その際、制御部１０１は、通常モードに応じた電力供給を画像形成装置１０の各部に行うように指示するとともに、画像形成装置１０の各部を起動させる。このとき、制御部１０１は、第２カメラ１６への電力供給を開始させ、第２カメラ１６を起動させる。

本実施の形態では、人検知範囲Ｒ１内の人物Ｈの存在を検知することをトリガとして、スリープモードから直ちに通常モードへと移行させるのでなく、人検知範囲Ｒ１内に存在する人物Ｈの画像形成装置１０への接近を検知したことをトリガとして、スリープモードから通常モードへと移行させている。このような制御を行うことで、例えば人物Ｈが人検知範囲Ｒ１内を通り過ぎただけの場合に、画像形成装置１０がスリープモードから通常モードに移行してしまう機会が少なくなる。

また、ステップ６でスリープモードから通常モードへ移行することに伴い、顔検出部１１１は、第１カメラ１５から取得した第１カメラ画像を解析して、人検知範囲Ｒ１内に存在する人物Ｈの顔を検出する処理を開始する（ステップ７）。

続いて、人検出部１１０は、第１カメラ１５から取得した第１カメラ画像を解析して、人操作範囲Ｒ２内に人物Ｈが存在（滞在）しているか否かを判断する（ステップ８）。このとき、人検出部１１０は、第１カメラ１５による第１カメラ画像を解析して人物Ｈの身体の部位を検出し、検出した部位の位置及び大きさに基づいて、人操作範囲Ｒ２内の人物Ｈの存在を検知する。例えば、人検出部１１０は、検出した身体の部位の大きさに基づいて、画像形成装置１０から人物Ｈまでの距離を推定し、検出した身体の部位の位置に基づいて人物Ｈが存在する方向を特定する。

ステップ８において肯定の判断（ＹＥＳ）を行った場合は、ステップ８に戻り、ステップ７で開始した人物Ｈの顔を検出する処理を続行する。したがって、人検出部１１０は、人操作範囲Ｒ２内の人物Ｈの存在を検知しなくなるまで、通常モードのまま、人操作範囲Ｒ２内の人物Ｈの存在を検出する処理を繰り返す。

一方、ステップ８において否定の判断（ＮＯ）を行った場合、すなわち、人操作範囲Ｒ２に人物Ｈが存在しなくなった（人操作範囲Ｒ２から人物Ｈが退去した）場合、制御部１０１は、タイマによる計時を開始する（ステップ９）。すなわち、制御部１０１は、人操作範囲Ｒ２内に人物Ｈが存在しなくなったときからの経過時間をタイマで計る。

次に、人検出部１１０は、人操作範囲Ｒ２内に人物Ｈが存在するか否かを判断する（ステップ１０）。ステップ１０において、人検出部１１０は、人操作範囲Ｒ２内に人物Ｈが存在しなくなった後、人操作範囲Ｒ２内に再び人物Ｈが存在するようになったかどうかを判断する。

ステップ１０で否定の判断（ＮＯ）を行った場合、制御部１０１は、タイマによる計時時刻が設定期間を経過したかどうかを判断する（ステップ１１）。設定期間は、例えば１分であるが、１分以外の時間に設定されていてもよい。ステップ１１において否定の判断（ＮＯ）を行った場合、制御部１０１は、ステップ１０に戻って処理を続行する。すなわち、ステップ１０、１１では、人操作範囲Ｒ２内に人物Ｈが存在しない期間が、設定期間分だけ継続するかどうかを判断することとなる。

これに対し、ステップ１１で肯定の判断（ＹＥＳ）を行った場合、制御部１０１は、画像形成装置１０のモードを、通常モードからスリープモードに移行させる（ステップ１２）。その際、制御部１０１は、画像形成装置１０の各部にスリープモード時の電力供給をするように指示を行うとともに、スリープモード時に停止させる画像形成装置１０の各部の動作を停止させる。その後、制御部１０１は、焦電センサ１４が検出範囲Ｆ内で人物Ｈの存在を検知しなくなると、第１カメラ１５の動作を停止させる。

ここで、ステップ９でタイマによる計時を開始した後、人操作範囲Ｒ２内に人物Ｈが存在しなくなったときから設定期間が経過する前に、人操作範囲Ｒ２内に再び人物Ｈの存在を検出した場合を考える。この場合、制御部１０１は、ステップ１０で肯定の判断（ＹＥＳ）を行うとともに、タイマによる計時を停止してタイマをリセットする（ステップ１３）。そして、制御部１０１は、ステップ８へと戻って処理を続行する。すなわち、人物Ｈが人操作範囲Ｒ２内に存在する場合の処理を再び実行する。なお、ここでは、同一である人物Ｈが人操作範囲Ｒ２内に戻ってきた場合を例としているが、前とは別の人物Ｈが人操作範囲Ｒ２内に移動してきた場合にも、人検出部１１０は、ステップ１０で肯定の判断（ＹＥＳ）を行うことになる。

ここで、従来にあっては、画像形成装置１０を使用しようとする人物Ｈ（使用者）が、自身の顔画像を用いた認証を行う場合に、使用者自身が顔画像の撮影の指示および認証の要求を行っていた。例えば、人物Ｈが人操作範囲Ｒ２内に立ち、自身の顔をユーザインタフェース１３に設けられた第２カメラ１６に向けた状態で、顔画像の撮影を行わせていた。これに対し、本実施の形態の画像形成装置１０では、人検知範囲Ｒ１内に存在する人物Ｈの顔画像を第１カメラ１５で予め撮影しておき、特定の条件が満たされた状態で、撮影済みの人物Ｈの顔画像を用いて、認証処理を行うようにしている。また、本実施の形態では、認証処理後に直ちに、認証結果に対応するＵＩ画面をタッチパネル１３０に表示させるのではなく、認証処理後に予め定められた条件が満たされた場合に、認証結果に対応するＵＩ画面をタッチパネル１３０に表示させるようにしている。

図７は、画像形成装置１０における認証手順の流れを説明するためのフローチャートである。なお、図７に示す処理は、画像形成装置１０が通常モードに設定された状態で実行される。

画像形成装置１０が通常モードに設定されることにより、図６のステップ７に示したように、第１カメラ１５から取得した第１カメラ画像を解析して、人検知範囲Ｒ１内に存在する人物Ｈの顔を検出する処理が開始される。これに伴い、顔検出部１１１は、第１カメラ画像から人物Ｈの顔を検出するとともに検出した顔画像を取得する顔検出・顔画像取得処理を実行する（ステップ２０）。また、顔登録認証部１１２は、指示部１１３から、顔認証処理を開始する旨の指示があったか否かを判断する（ステップ４０）。ステップ４０において否定の判断（ＮＯ）を行った場合は、ステップ２０に戻って処理を続行する。

一方、ステップ４０において肯定の判断（ＹＥＳ）を行った場合、顔登録認証部１１２は、ステップ２０における顔検出・顔画像取得処理の結果、すなわち、第１カメラ１５による第１カメラ画像から得られた人物Ｈの顔画像を用いて、認証の可否を設定する顔認証処理を実行する（ステップ６０）。

なお、図７では、ステップ２０を実行した後にステップ４０を実行するようになっているが、実際には、ステップ２０およびステップ４０は並列に実行される。したがって、ステップ２０の顔検出・顔画像取得処理の実行中に、ステップ４０において肯定の判断（ＹＥＳ）がなされた場合、すなわち、顔認証処理の開始指示があった場合は、ステップ２０の処理を中断してステップ６０へと移行する。

そして、ステップ６０の顔認証処理が終了した後、制御部１０１は、指示部１１３から、顔認証処理の結果である認証結果に対応するＵＩ画面の、タッチパネル１３０への表示を開始する旨の指示があったか否かを判断する（ステップ８０）。

ステップ８０において肯定の判断（ＹＥＳ）を行った場合、表示部１０４は、タッチパネル１３０に、ステップ６０の顔認証処理で準備していた、認証結果に対応するＵＩ画面を表示させる（ステップ１００）。なお、ステップ６０の顔認証処理で準備され、ステップ１００で表示されるＵＩ画面の内容については後述する。そして、顔登録認証部１１２は、追跡テーブルに登録していた全ての追跡人物の追跡ＩＤおよび顔情報を削除し（ステップ１２０）、この処理を完了する。なお、追跡テーブル（追跡人物の追跡ＩＤおよび顔情報）については後述する。

これに対し、ステップ８０において否定の判断（ＮＯ）を行った場合、人検出部１１０は、第１カメラ１５から取得した第１カメラ画像を解析して、人検知範囲Ｒ１内に、ステップ６０における顔認証処理の対象となっていた人物Ｈ（対象人物と称する）が存在するか否かを判断する（ステップ１４０）。ステップ１４０で肯定の判断（ＹＥＳ）を行った場合は、ステップ８０へと戻って処理を続行する。

一方、ステップ１４０において否定の判断（ＮＯ）を行った場合、顔登録認証部１１２は、ステップ６０の顔認証処理において、対象人物に対する認証が成功していたか否か（顔認証されたか否か）を判断する（ステップ１６０）。ステップ１６０で否定の判断（ＮＯ）を行った場合は、後述するステップ２００へと進む。

これに対し、ステップ１６０において肯定の判断（ＹＥＳ）を行った場合、顔登録認証部１１２は、ステップ６０の顔認証処理で行った顔認証を解除し（ステップ１８０）、次のステップ２００へと進む。

そして、制御部１０１は、ステップ６０の顔認証処理で準備していた、認証結果に対応するＵＩ画面を破棄させる（ステップ２００）。ここで、ステップ２００で破棄されるＵＩ画面の内容は、上記ステップ１００のところで説明したものと同じである。

その後、人検出部１１０は、ステップ１４０で存在が検出されなくなった対象人物に対応する人物Ｈ（追跡人物）の追跡ＩＤおよび顔情報を追跡テーブルから削除し（ステップ２２０）、ステップ２０へと戻って処理を続行する。

では、上述したステップ２０の顔検出・顔画像取得処理および上述したステップ６０の顔認証処理のそれぞれについて、さらに詳細な説明を行う。
図８は、本実施の形態の認証手順における顔検出・顔画像取得処理（ステップ２０）の流れを説明するためのフローチャートである。また、図９は、本実施の形態の認証手順における顔認証処理（ステップ６０）の流れを説明するためのフローチャートである。

最初に、図８を参照しつつ、ステップ２０における顔検出・顔画像取得処理の内容について説明を行う。
ここでは、まず、人検出部１１０および顔検出部１１１が、第１カメラ１５が撮影した第１カメラ画像を取得する（ステップ２１）。次に、人検出部１１０が、ステップ２１で取得した第１カメラ画像を解析して、人検知範囲Ｒ１内に人物Ｈが存在するか否かを判断する（ステップ２２）。ステップ２２で否定の判断（ＮＯ）を行った場合は、ステップ２１へと戻って処理を続行する。

一方、ステップ２２において肯定の判断（ＹＥＳ）を行った場合、人検出部１１０は、ステップ２２で存在を検出した人物Ｈが、既に存在が検知済みであって追跡が行われている追跡人物であるか否かを判断する（ステップ２３）。ステップ２３で肯定の判断（ＹＥＳ）を行った場合は、後述するステップ２５へと進む。

これに対し、ステップ２３で否定の判断（ＮＯ）を行った場合、人検出部１１０は、ステップ２２で存在を検出した人物Ｈに対する追跡ＩＤを取得して記憶部１０５に記憶させるとともに、この人物Ｈの追跡を開始する（ステップ２４）。そして、顔検出部１１１は、ステップ２１で取得した第１カメラ画像を解析して、追跡人物の顔を探索する（ステップ２５）。

次いで、顔検出部１１１は、第１カメラ画像から追跡人物の顔を検出できたか否かを判断する（ステップ２６）。ステップ２６で否定の判断（ＮＯ）を行った場合は、後述するステップ３０へと進む。

一方、ステップ２６で肯定の判断（ＹＥＳ）を行った場合、顔検出部１１１は、この追跡人物の追跡ＩＤに関連付けて、この追跡人物の顔画像から抽出された顔情報を、記憶部１０５に登録する（ステップ２７）。なお、以下の説明においては、追跡ＩＤと顔情報とを対応付けたものを、追跡テーブルと呼ぶ。そして、顔検出部１１１は、この追跡人物に関し、同じ追跡人物の顔情報が、追跡テーブルに複数（この例では２つ）登録されているか否かを判断する（ステップ２８）。ステップ２８で否定の判断（ＮＯ）を行った場合は、後述するステップ３０へと進む。

これに対し、ステップ２８で肯定の判断（ＹＥＳ）を行った場合、選択部１１４は、記憶部１０５に追跡テーブルとして登録されている同じ追跡人物に関する２つの顔情報のうち、一方の顔情報を選択し、選択されなかった他方の顔情報を記憶部１０５から削除する（ステップ２９）。

それから、人検出部１１０は、第１カメラ１５が撮影した第１カメラ画像を取得する（ステップ３０）。次に、人検出部１１０は、ステップ３０で取得した第１カメラ画像を解析して、人検知範囲Ｒ１内に追跡人物が存在するか否かを判断する（ステップ３１）。ステップ３１で肯定の判断（ＹＥＳ）を行った場合は、ステップ２１に戻って処理を続行する。

一方、ステップ３１で否定の判断（ＮＯ）を行った場合、人検出部１１０は、ステップ３１で存在が検出されなくなった追跡人物（人物Ｈ）の追跡ＩＤおよび顔情報を追跡テーブルから削除し（ステップ３２）、ステップ２１へと戻って処理を続行する。

続いて、図９を参照しつつ、ステップ６０における顔認証処理の内容について説明を行う。
ここでは、まず、選択部１１４が、図７に示すステップ４０において顔認証処理の開始指示の対象となった人物Ｈ（対象人物）を選択し、顔登録認証部１１２が、この対象人物が追跡テーブルに登録された追跡人物であるか否かを判断する（ステップ６１）。ステップ６１において否定の判断（ＮＯ）を行った場合は、後述するステップ７１へと進む。

これに対し、ステップ６１において肯定の判断（ＹＥＳ）を行った場合、顔登録認証部１１２は、記憶部１０５に、対象人物と同じ追跡人物の顔情報が登録されているか否かを判断する（ステップ６２）。ステップ６２において否定の判断（ＮＯ）を行った場合も、後述するステップ７１へと進む。

一方、ステップ６２において肯定の判断（ＹＥＳ）を行った場合、顔登録認証部１１２は、ステップ６２で追跡テーブルへの登録が確認された対象人物の顔情報を用いて、顔認証を要求する（ステップ６３）。続いて、顔登録認証部１１２は、この対象人物の顔情報と、登録テーブルに登録されているすべての登録人物の顔情報とを照合する（ステップ６４）。そして、顔登録認証部１１２は、認証が成功したか否かを判断する（ステップ６５）。ここで、ステップ６５では、対象人物の顔情報がすべての登録人物の顔情報のいずれかに一致した場合に肯定の判断（ＹＥＳ）が行われ、対象人物の顔情報がすべての登録人物の顔情報のいずれにも一致しなかった場合に否定の判断（ＮＯ）が行われる。

ステップ６５で肯定の判断（ＹＥＳ）を行った場合、報知部１１５は、プロジェクタ１７を用いて、対象人物等に対し、認証が成功したことを報知する（ステップ６６）。また、表示部１０４は、認証された対象人物用に設定された対象人物のＵＩ画面（認証後の画面）を準備し（ステップ６７）、この処理を終了する。

一方、ステップ６５で否定の判断（ＮＯ）を行った場合、人検出部１１０は、接近検知範囲Ｒ４内に対象人物が存在するか否かを判断する（ステップ６８）。ステップ６８で否定の判断（ＮＯ）を行った場合は、ステップ６１へと戻って処理を続行する。

これに対し、ステップ６８で肯定の判断（ＹＥＳ）を行った場合、報知部１１５は、プロジェクタ１７を用いて、対象人物等に対し、認証が失敗したことを報知する（ステップ６９）。また、表示部１０４は、認証失敗時用に設定された認証失敗のＵＩ画面（認証前の画面）を準備し（ステップ７０）、この処理を終了する。

他方、ステップ６１で否定の判断（ＮＯ）を行った場合、および、ステップ６２で否定の判断（ＮＯ）を行った場合、人検出部１１０は、接近検知範囲Ｒ４内に対象人物が存在するか否かを判断する（ステップ７１）。ステップ７１で否定の判断（ＮＯ）を行った場合は、ステップ６１へと戻って処理を続行する。

これに対し、ステップ７１で肯定の判断（ＹＥＳ）を行った場合、報知部１１５は、プロジェクタ１７を用いて、対象人物等に対し、対象人物の顔画像が取得できていないことを報知する（ステップ７２）。また、表示部１０４は、手動入力による認証処理用に設定された手動入力認証のＵＩ画面（認証前の画面）を準備し（ステップ７３）、この処理を終了する。

次に、具体的な例を挙げながら、本実施の形態についてさらに詳細に説明を行う。

図１０（ａ）は、使用者が事前に画像形成装置１０に登録した登録テーブルの一例を、図１０（ｂ）は、ステップ２０の顔検出・顔画像取得処理で用いられる追跡テーブルの一例を、それぞれ示す図である。なお、これら登録テーブルおよび追跡テーブルは、記憶部１０５に記憶されている。

最初に、図１０（ａ）に示す登録テーブルについて説明を行う。
図１０（ａ）に示す登録テーブルは、上述したように、使用者に付与される登録ＩＤと、使用者が設定した登録人物情報と、使用者の顔画像から抽出された顔情報とを対応付けたものとなっている。また、これらのうち、登録人物情報は、使用者が自らに付したユーザ名と、この使用者用のＵＩ画面で用いられるアプリ名と、アプリ名に対応するアプリ機能と、アプリ名に対応するボタンデザインとを含んでいる。

図１０（ａ）に示す登録テーブルには、２人の人物Ｈ（登録ＩＤ「Ｒ００１」および「Ｒ００２」）が、使用者（登録人物）として登録されている。なお、ここでは、２人の人物Ｈが、使用者として登録される場合を例としているが、１人であってもよいし３人以上であってもかまわない。

これらのうち、登録ＩＤ「Ｒ００１」の使用者については、登録人物情報が次のように登録されている。まず、ユーザ名が「ふじたろう」で登録され、アプリ名として「かんたんコピー」、「スキャンオート」、「かんたんボックス保存」、「ボックス操作」、「ファクス」、「プライベートプリント（一括出力）」が登録されている。そして、各アプリ名に対応するアプリ機能およびボタンデザインも登録されている。さらに、登録ＩＤ「Ｒ００１」の使用者に関する顔情報も登録されている。

また、登録ＩＤ「Ｒ００２」の使用者については、登録人物情報が次のように登録されている。まず、ユーザ名が「富士花子」で登録され、アプリ名として「かんたんコピー」、「スキャンオート」、「かんたんボックス保存」、「プライベートプリント（かんたん確認）」、「いつものコピー３枚」、「節約コピー」、「一発スタートプリント」、「とてもキレイにスキャン」が登録されている。そして、各アプリ名に対応するアプリ機能およびボタンデザインも登録されている。さらに、登録ＩＤ「Ｒ００２」の使用者に関する顔情報も登録されている。

次に、図１０（ｂ）に示す追跡テーブルについて説明を行う。
図１０（ｂ）に示す追跡テーブルは、上述したように、人検知範囲Ｒ１内において追跡中の人物Ｈである追跡人物に付与される追跡ＩＤと、この追跡人物の顔画像から抽出された顔情報とを対応付けたものとなっている。なお、ステップ２０の顔検出・顔画像取得処理で、追跡人物には設定されたがこの追跡人物の顔検出が行えなかった場合においては、追跡テーブルに追跡ＩＤは存在するものの、この追跡ＩＤに対応付けられた顔情報は存在しない、という事態も生じ得る。

図１０（ｂ）に示す追跡テーブルには、３人の人物Ｈ（追跡ＩＤ「Ｃ００１」〜「Ｃ００３」）が、追跡人物として登録されている。なお、ここでは、３人の人物Ｈが、追跡人物として登録される場合を例としているが、２人以下であってもよいし４人以上であってもかまわない。

では、図７（図８および図９を含む）に示す認証手順について、具体例を挙げながら説明を行う。
本実施の形態において、指示部１１３は、第１カメラ１５が撮影した第１カメラ画像の解析結果から、人検知範囲Ｒ１内に存在する１人以上の人物Ｈのうち、特定（１人）の人物Ｈが特定の条件を満たす行動を行ったことを検出した場合に、ステップ４０において、ステップ６０の顔認証処理を開始させるための指示を出力するようになっている。また、本実施の形態において、指示部１１３は、ステップ６０の顔認証処理が終了した後、この特定の人物Ｈが予め定められた条件を満たす行動を行ったことを検出した場合に、ステップ８０において、ステップ１００のＵＩ画面表示を開始させるための指示を出力するようになっている。

なお、以下では、上記「特定の条件」および「予め定められた条件」が異なる３つの例（第１の例〜第３の例と称する）について、順に説明を行う。また、これら３つの例では、それぞれ、ステップ６０における顔認証処理の対象となった特定の人物Ｈに対応して準備されたＵＩ画面を、タッチパネル１３０に表示するパターン（第１のパターンと称する）と表示しないパターン（第２のパターンと称する）とについて、それぞれ説明を行う。

ここで、以下に説明する図１１および図１５（第１の例）、そして、後で説明する図１６〜図１９（第２の例および第３の例）は、画像形成装置１０の周辺に、人物Ｈとして、第１の人物Ｈ１および第２の人物Ｈ２の２人が存在する場合を例示している。また、これら図１１、図１５〜図１９には、プロジェクタ１７による画像が投影されるスクリーン１８も示している。

［第１の例］
はじめに、人検知範囲Ｒ１内に存在するいずれか１人の人物Ｈが、人検知範囲Ｒ１から進入検知範囲Ｒ３に進入してきたことを、ステップ４０における顔認証処理開始の指示として利用するとともに、人検知範囲Ｒ１から進入検知範囲Ｒ３に進入してきた人物Ｈが、さらに進入検知範囲Ｒ３から接近検知範囲Ｒ４に進入してきたことを、ステップ８０における表示開始処理の指示として利用する、『第１の例』について説明を行う。

（第１のパターン）
図１１（ａ）〜（ｄ）は、画像形成装置１０の周辺にいる人物の位置の時間的変化の、第１の例における第１のパターンを示した図である。

図１１（ａ）は、第１の人物Ｈ１が人検知範囲Ｒ１の外部から人検知範囲Ｒ１に進入し、また、第２の人物Ｈ２が人検知範囲Ｒ１の外部に存在する状態を示している。このとき、第１の人物Ｈ１については、ステップ２２で肯定の判断（ＹＥＳ）が行われるとともにステップ２３で否定の判断（ＮＯ）が行われることにより、ステップ２４でこの第１の人物Ｈ１に対して追跡ＩＤが付与されるとともに追跡が開始され、ステップ２５でこの第１の人物Ｈ１の顔の探索が行われる。なお、このとき、第２の人物Ｈ２は人検知範囲Ｒ１の外部に存在しているため、第２の人物Ｈ２は処理の対象とはならない。

図１１（ｂ）は、第１の人物Ｈ１が引き続き人検知範囲Ｒ１内に存在し、また、第２の人物Ｈ２が人検知範囲Ｒ１の外部から人検知範囲Ｒ１に進入してきた状態を示している。このとき、第１の人物Ｈ１については、ステップ２２で肯定の判断（ＹＥＳ）が行われるとともにステップ２３で肯定の判断（ＹＥＳ）が行われることにより、引き続き、この第１の人物Ｈ１の顔の探索が行われる。また、このとき、第２の人物Ｈ２については、ステップ２２で肯定の判断（ＹＥＳ）が行われるとともにステップ２３で否定の判断（ＮＯ）が行われることにより、ステップ２４でこの第２の人物Ｈ２に対して追跡ＩＤが付与されるとともに追跡が開始され、ステップ２５でこの第２の人物Ｈ２の顔の探索が行われる。

図１１（ｃ）は、第１の人物Ｈ１が人検知範囲Ｒ１から進入検知範囲Ｒ３に進入し、また、第２の人物Ｈ２が引き続き人検知範囲Ｒ１内に存在している状態を示している。ここで、第１の例では、特定の人物Ｈが、人検知範囲Ｒ１から進入検知範囲Ｒ３に進入してきた場合に、指示部１１３が顔認証処理開始指示を出力することで、ステップ４０において肯定の判断（ＹＥＳ）がなされ、ステップ６０の顔認証処理が開始（実行）される。したがって、この例では、選択部１１４が、２人の追跡人物（第１の人物Ｈ１および第２の人物Ｈ２）の中から、第１の人物Ｈ１を対象人物として選択することになる。

ここで、第１の例では、進入検知範囲Ｒ３に進入した対象人物（ここでは第１の人物Ｈ１）が顔検知限界Ｌを突破する前に、ステップ６１〜ステップ６５の各処理を完了させるようになっている。また、第１の例では、進入検知範囲Ｒ３に進入した対象人物（ここでは第１の人物Ｈ１）が顔検知限界Ｌを突破する前に、ステップ６６、ステップ６９またはステップ７２の報知を行う。これに伴い、プロジェクタ１７は、スクリーン１８に伝達事項Ｍを表示させる。ここで、ステップ６１およびステップ６２で肯定の判断（ＹＥＳ）を行った後、ステップ６５で肯定の判断（ＹＥＳ）を行った場合、プロジェクタ１７は、ステップ６６において、伝達事項Ｍとして「認証が成功しました」等の文字画像を表示させる。また、ステップ６１およびステップ６２で肯定の判断（ＹＥＳ）を行った後、ステップ６５で否定の判断（ＮＯ）を行った場合、プロジェクタ１７は、ステップ６９において、伝達事項Ｍとして、「認証が失敗しました」、「ユーザとして登録されていません」等の文字画像を表示させる。さらに、ステップ６１またはステップ６２で否定の判断（ＮＯ）を行った場合、プロジェクタ１７は、ステップ７２において、「顔画像が取得できませんでした」等の文字画像を表示させる。

このようにすることで、認証が成功した場合、対象人物となった特定の人物Ｈ（ここでは第１の人物Ｈ１）は、そのまま画像形成装置１０に近づいていこうとすることになる。また、認証が失敗した場合および顔画像が取得できなかった場合、対象人物となった特定の人物Ｈ（ここでは第１の人物Ｈ１）は、第１カメラ１５を用いた顔画像の取得が困難となる顔検知限界Ｌを突破する前に、認証が成功しなかったことを知ることになる。

なお、ここでは、ステップ７２において、「顔画像が取得できませんでした」という情報を提示する場合について説明を行ったが、これに限られるものではない。例えばステップ７２において、人物Ｈへ自装置（画像形成装置１０）に近づかないことを要請する報知、人物Ｈの顔認証が済んでいないので自装置（画像形成装置１０）に近づかないことを要請する報知、人物Ｈが静止することを要請する報知、人物Ｈの顔認証が済んでいないので人物Ｈが静止することを要請する報知、人物Ｈの顔の一部が第１カメラ１５による撮影範囲から外れることを知らしめるための報知、等を行うようにしてもかまわない。

また、第１の例では、進入検知範囲Ｒ３に進入した対象人物（ここでは第１の人物Ｈ１）が接近検知範囲Ｒ４に進入する前に、ステップ６７、ステップ７０およびステップ７３の各処理を完了させるようになっている。なお、これらステップ６７、ステップ７０およびステップ７３のそれぞれにおいて準備されるＵＩ画面の内容については後述する。

図１１（ｄ）は、対象人物となった第１の人物Ｈ１が進入検知範囲Ｒ３から接近検知範囲Ｒ４に進入し、また、対象人物とはならなかった第２の人物Ｈ２が引き続き人検知範囲Ｒ１内に存在している状態を示している。ここで、第１の例では、人検知範囲Ｒ１から進入検知範囲Ｒ３に進入することで対象人物となった特定の人物Ｈ（この例では第１の人物Ｈ１）が、進入検知範囲Ｒ３から接近検知範囲Ｒ４に進入した場合に、指示部１１３が表示処理開始指示を出力することで、ステップ８０において肯定の判断（ＹＥＳ）がなされ、ステップ１００のＵＩ画面表示が開始される。なお、第１の例では、図１１（ｃ）に示す状態から図１１（ｄ）に示す状態へと移行する間に、プロジェクタ１７が、伝達事項Ｍの報知を終了する。

ここで、第１の例では、接近検知範囲Ｒ４に進入した対象人物（ここでは第１の人物Ｈ１）が人操作範囲Ｒ２に進入する前に、ステップ１００のＵＩ画面表示を実行させておくとよい。このようにすることで、対象人物（ここでは第１の人物Ｈ１）が、人操作範囲Ｒ２に進入してユーザインタフェース１３の前に立った状態で、対象人物の認証結果に対応したＵＩ画面が、タッチパネル１３０に既に表示されていることになる。

ではここで、上記ステップ６７、ステップ７０およびステップ７３で準備され、必要に応じてステップ１００でタッチパネル１３０に表示されるＵＩ画面について説明を行う。

図１２（ａ）〜（ｄ）は、図９に示す顔認証処理で準備されるＵＩ画面の一例を示す図である。ここで、図１２（ａ）、（ｂ）は、図９に示すステップ６７で準備される対象人物のＵＩ画面（認証後の画面）の一例を示している。また、図１２（ｃ）は、図９に示すステップ７０で準備される認証失敗のＵＩ画面（認証前の画面）の一例を示している。さらに、図１２（ｄ）は、図９に示すステップ７３で準備される手動入力認証のＵＩ画面（認証前の画面）の一例を示している。

まず、図１２（ａ）に示すＵＩ画面は、対象人物が登録テーブル（図１０（ａ）参照）に登録された登録人物である「ふじたろう」であり、この「ふじたろう」が追跡テーブル（図１０（ｂ）参照）に追跡人物として登録されており（ステップ６１においてＹＥＳ）、追跡テーブルに「ふじたろう」の顔情報が登録されている（ステップ６２においてＹＥＳ）ことにより、ステップ６５において認証が成功（ＹＥＳ）した場合に、ステップ６７で準備される。このＵＩ画面には、図１０（ａ）に示す「ふじたろう」の登録テーブルにしたがって、ユーザ名および各アプリのボタン（この例では６つ）が表示される。そして、タッチパネル１３０において、これらのうちのいずれかのボタンが押下されることにより、そのボタンに対応付けられたアプリ機能が実行される。

次に、図１２（ｂ）に示すＵＩ画面は、対象人物が登録テーブル（図１０（ａ）参照）に登録された別の登録人物である「富士花子」であり、この「富士花子」が追跡テーブル（図１０（ｂ）参照）に追跡人物として登録されており（ステップ６１においてＹＥＳ）、追跡テーブルに「富士花子」の顔情報が登録されている（ステップ６２においてＹＥＳ）ことにより、ステップ６５において認証が成功（ＹＥＳ）した場合に、ステップ６７で準備される。このＵＩ画面には、図１０（ａ）に示す「富士花子」の登録テーブルにしたがって、ユーザ名および各アプリのボタン（この例では８つ）が表示される。そして、タッチパネル１３０において、これらのうちのいずれかのボタンが押下されることにより、そのボタンに対応付けられたアプリ機能が実行される。

続いて、図１２（ｃ）に示すＵＩ画面は、対象人物が登録テーブル（図１０（ａ）参照）に登録されていない未登録人物（例えば「フジジロウ」）であり、この「フジジロウ」が追跡テーブル（図１０（ｂ）参照）に追跡人物として登録されており（ステップ６１においてＹＥＳ）、追跡テーブルに「フジジロウ」の顔情報が登録されている（ステップ６２においてＹＥＳ）ことにより、ステップ６５において認証が失敗（ＮＯ）した場合に、ステップ７０で準備される。このＵＩ画面には、例えば「認証に失敗しました」の文言と、「閉じる」ボタンとが表示される。

最後に、図１２（ｄ）に示すＵＩ画面は、対象人物が登録テーブル（図１０（ａ）参照）に登録された登録人物（ここでは「ふじたろう」とするが、「富士花子」でもかまわない）であり、この「ふじたろう」が追跡テーブル（図１０（ｂ）参照）に追跡人物として登録されていない（ステップ６１においてＮＯ）場合に、ステップ７３で準備される。また、図１２（ｄ）に示すＵＩ画面は、対象人物が登録テーブル（図１０（ａ）参照）に登録された登録人物（ここでは「ふじたろう」とするが、「富士花子」でもかまわない）であり、この「ふじたろう」が追跡テーブル（図１０（ｂ）参照）に追跡人物として登録されており（ステップ６１においてＹＥＳ）、追跡テーブルに「ふじたろう」の顔情報が登録されていない（ステップ６２においてＮＯ）場合に、ステップ７３で準備される。さらに、図１２（ｄ）に示すＵＩ画面は、対象人物が登録テーブル（図１０（ａ）参照）に登録されてない未登録人物（例えば「フジジロウ」）であり、この「フジジロウ」が追跡テーブルに追跡人物として登録されていない（ステップ６１においてＮＯ）場合に、ステップ７３で準備される。さらにまた、図１２（ｄ）に示すＵＩ画面は、対象人物が登録テーブル（図１０（ａ）参照）に登録されてない未登録人物（例えば「フジジロウ」）であり、この「フジジロウ」が追跡テーブル（図１０（ｂ）参照）に追跡人物として登録されており（ステップ６１においてＹＥＳ）、追跡テーブルに「フジジロウ」の顔情報が登録されていない（ステップ６２においてＮＯ）場合に、ステップ７３で準備される。このＵＩ画面は、使用者の手動入力による認証要求を受け付けるために表示される。そして、このＵＩ画面には、仮想キーボードと、仮想キーボードを用いた入力内容（ユーザＩＤやパスワード）を表示する表示領域と、「取り消し」ボタンおよび「確定」ボタンとが表示される。

このように、本実施の形態では、図１２（ａ）、（ｂ）に示す認証後（認証成功時）の画面の内容と、図１２（ｃ）に示す認証前（認証失敗時）の画面の内容と、図１２（ｄ）に示す手動入力に対応する認証前（認証不能時）の画面の内容とが異なる。また、本実施の形態では、図１２（ａ）、（ｂ）に示したように、登録人物毎に、認証後の画面の内容が異なる。

ここで、追跡人物に関し、顔画像が検出できる場合とできない場合とについて、簡単に説明しておく。
図１３は、第１カメラ１５によって撮影された第１カメラ画像の一例を示す図である。ここで、図１３（ａ）はマスク等の着用を行っていない人物Ｈの顔を撮影して得た第１カメラ画像を、図１３（ｂ）はマスクを着用した人物Ｈの顔を撮影して得た第１カメラ画像を、それぞれ示している。

本実施の形態の顔登録認証部１１２では、顔登録および顔認証において、目・鼻・口など顔の複数の部位（例えば１４以上の部位）における特徴点を検出し、顔のサイズ・向きなどを３次元的に補正したのちに顔の特徴量の抽出を行っている。このため、人物Ｈがマスクやサングラスなど顔の一部を覆い隠すものを着用していると、人物Ｈの顔を含む画像が第１カメラ画像にあったとしても、第１カメラ画像からこの顔の特徴点の検出および特徴量の抽出を行えなくなる。また、人物Ｈが第１カメラ１５に対して真横を向いたり後ろを向いていたりした場合にも、第１カメラ画像から特徴点の検出および特徴量の抽出を行えなくなる。このような場合、図８に示すステップ２６において、否定の判断（ＮＯ）が行われることになる。

次に、同じ追跡人物に関し複数の顔情報が取得できた場合に、どのようにして一方の顔情報を選択するのかについて、簡単に説明しておく。
図１４は、第１カメラ１５によって撮影された第１カメラ画像の一例を示す図である。ここで、図１４（ａ）は、人検知範囲Ｒ１内であって顔検知限界Ｌから相対的に遠い位置に存在する人物Ｈを撮影して得た第１カメラ画像を、図１４（ｂ）は人検知範囲Ｒ１内であって顔検知限界Ｌから相対的に近い位置に存在する人物Ｈを撮影して得た第１カメラ画像を、それぞれ示している。

図１４（ａ）および図１４（ｂ）から明らかなように、図１４（ｂ）に示す顔の画像は、第１カメラ１５に人物Ｈが近づいている分、図１４（ａ）に示す顔の画像よりも大きく（画素数が多く）なっており、より特徴量が抽出しやすい状態となっている。このため、例えば図１４（ａ）に示す第１カメラ画像から人物Ｈの顔情報を取得して追跡テーブルに登録した後、図１４（ａ）に示す第１カメラ画像から人物Ｈの顔情報を取得した場合は、ステップ２９において、後者の顔情報を選択するとともに、前者の顔情報を削除する。

また、これ以外にも、例えば第１カメラ１５に対し斜めを向いた人物Ｈの顔を撮影した第１カメラ画像から顔情報を取得して追跡テーブルに登録した後、第１カメラ１５に対し正面を向いた人物Ｈの顔を撮影した第１カメラ画像から顔情報を取得した場合は、ステップ２９において、後者の顔情報を選択するとともに、前者の顔情報を削除するようにしてもよい。

（第２のパターン）
図１５（ａ）〜（ｄ）は、画像形成装置１０の周辺にいる人物の位置の時間的変化の、第１の例における第２のパターンを示した図である。

図１５（ａ）は、第１の人物Ｈ１が人検知範囲Ｒ１の外部から人検知範囲Ｒ１に進入し、また、第２の人物Ｈ２が人検知範囲Ｒ１の外部に存在する状態を示している。
また、図１５（ｂ）は、第１の人物Ｈ１が引き続き人検知範囲Ｒ１内に存在し、また、第２の人物Ｈ２が人検知範囲Ｒ１の外部から人検知範囲Ｒ１に進入してきた状態を示している。
さらに、図１５（ｃ）は、第１の人物Ｈ１が人検知範囲Ｒ１から進入検知範囲Ｒ３に進入し、また、第２の人物Ｈ２が引き続き人検知範囲Ｒ１内に存在している状態を示している。
ここで、これら図１５（ａ）〜図１５（ｃ）は、上記図１１（ａ）〜図１１（ｃ）に示す第１のパターンで説明したものとそれぞれ同じであるので、ここではその詳細な説明を省略する。

図１５（ｄ）は、対象人物となった第１の人物Ｈ１が進入検知範囲Ｒ３から人検知範囲Ｒ１の外部へと退去し、また、対象人物とはならなかった第２の人物Ｈ２が引き続き人検知範囲Ｒ１内に存在している状態を示している。この第１の例では、人検知範囲Ｒ１から進入検知範囲Ｒ３に進入することで対象人物となった第１の人物Ｈ１が、人検知範囲Ｒ１の外部に退去した場合に、ステップ１４０で否定の判断（ＮＯ）がなされる。

ここで、ステップ６０の顔認証処理で認証が成功している場合（ステップ１６０でＹＥＳ）、ステップ１８０でこの顔認証が解除される。また、ステップ６０の顔認証処理で認証が成功している場合（ステップ１６０でＹＥＳ）および失敗している場合（ステップ１６０でＮＯ）、ステップ２００において、ステップ６７、ステップ７０およびステップ７３で準備したＵＩ画面を破棄する。そして、ステップ２２０で、この対象人物（ここでは第１の人物Ｈ１）に関する追跡ＩＤおよび顔情報が、追跡テーブルから削除される。ただし、対象人物以外の人物Ｈ（ここでは第２の人物Ｈ２）については、追跡テーブルからの削除が行われないことから、ステップ２０に戻った後、引き続き、追跡および顔の探索が行われる。

（第１の例のまとめ）
このように、第１の例では、人検知範囲Ｒ１内で追跡されている第１の人物Ｈ１または第２の人物Ｈ２が進入検知範囲Ｒ３に進入しない限り、対象人物が生じることはなく、その結果、ステップ６０の顔認証処理が開始されることもない。また、第１の例では、対象人物となった特定の人物Ｈが接近検知範囲Ｒ４にさらに進入しない限り、ステップ１００における対象人物（特定の人物Ｈ）の認証結果としてのＵＩ画面が、タッチパネル１３０に表示されることもない。

ここで、第１の例では、第１の人物Ｈ１および第２の人物Ｈ２の両者が人検知範囲Ｒ１に進入した後、第１の人物Ｈ１が先に進入検知範囲Ｒ３に進入することで、第１の人物Ｈ１が対象人物となる場合について説明を行った。ただし、第２の人物Ｈ２が第１の人物Ｈ１よりも先に進入検知範囲Ｒ３に進入した場合には、第２の人物Ｈ２が対象人物となる。また、第１の人物Ｈ１および第２の人物Ｈ２の両者が人検知範囲Ｒ１に進入した後、これら第１の人物Ｈ１および第２の人物Ｈ２の両者が、進入検知範囲Ｒ３に進入することなく人検知範囲Ｒ１の外部に退去した場合は、対象人物が発生しないことになり、ステップ６０の顔認証処理は開始されないことになる。

さらに、第１の例では、特定の人物Ｈ（この例では第１の人物Ｈ１）が人検知範囲Ｒ１から進入検知範囲Ｒ３に進入することで対象人物として選択された後、この特定の人物Ｈが進入検知範囲Ｒ３内に滞在し続けている状態で、別の人物Ｈ（この例では第２の人物Ｈ２）が人検知範囲Ｒ１から進入検知範囲Ｒ３に進入したとしても、対象人物が特定の人物Ｈ（第１の人物Ｈ１）から別の人物Ｈ（第２の人物Ｈ２）に変更されることはない。

［第２の例］
次に、人検知範囲Ｒ１内に存在するいずれか１人の人物Ｈの、人検知範囲Ｒ１に進入してからの滞在時間が、予め決められた第１規定時間に到達したことを、ステップ４０における顔認証処理開始の指示として利用するとともに、この滞在時間が、予め決められた第２規定時間（第２規定時間＞第１規定時間）に到達したことを、ステップ８０における表示開始処理の指示として利用する、『第２の例』について説明を行う。

（第１のパターン）
図１６（ａ）〜（ｄ）は、画像形成装置１０の周辺にいる人物の位置の時間的変化の、第２の例における第１のパターンを示した図である。

図１６（ａ）は、第１の人物Ｈ１が人検知範囲Ｒ１の外部から人検知範囲Ｒ１に進入し、また、第２の人物Ｈ２が人検知範囲Ｒ１の外部に存在する状態を示している。このとき、第１の人物Ｈ１については、ステップ２２で肯定の判断（ＹＥＳ）が行われるとともにステップ２３で否定の判断（ＮＯ）が行われることにより、ステップ２４でこの第１の人物Ｈ１に対して追跡ＩＤが付与されるとともに追跡が開始され、ステップ２５でこの第１の人物Ｈ１の顔の探索が行われる。また、第１の人物Ｈ１が人検知範囲Ｒ１の外部から人検知範囲Ｒ１に進入したことをトリガとしてタイマを用いた計時が開始され、第１の人物Ｈ１が人検知範囲Ｒ１内に滞在する第１滞在時間Ｔ１が０にセットされる（Ｔ１＝０）。なお、このとき、第２の人物Ｈ２は人検知範囲Ｒ１の外部に存在しているため、第２の人物Ｈ２は処理の対象とはならない。

図１６（ｂ）は、第１の人物Ｈ１が人検知範囲Ｒ１内で移動し、また、第２の人物Ｈ２が人検知範囲Ｒ１の外部から人検知範囲Ｒ１に進入してきた状態を示している。このとき、第１の人物Ｈ１については、ステップ２２で肯定の判断（ＹＥＳ）が行われるとともにステップ２３で肯定の判断（ＹＥＳ）が行われることにより、引き続き、この第１の人物Ｈ１の顔の探索が行われる。また、このとき、第２の人物Ｈ２については、ステップ２２で肯定の判断（ＹＥＳ）が行われるとともにステップ２３で否定の判断（ＮＯ）が行われることにより、ステップ２４でこの第２の人物Ｈ２に対して追跡ＩＤが付与されるとともに追跡が開始され、ステップ２５でこの第２の人物Ｈ２の顔の探索が行われる。さらに、第２の人物Ｈ２が人検知範囲Ｒ１の外部から人検知範囲Ｒ１に進入したことをトリガとしてタイマを用いた計時が開始され、第２の人物Ｈ２が人検知範囲Ｒ１内に滞在する第２滞在時間Ｔ２が０にセットされる（Ｔ２＝０）。なお、このとき、図１６（ａ）に示す状態からの時間の経過に伴い、第１の人物Ｈ１の第１滞在時間Ｔ１は、第２の人物Ｈ２の第２滞在時間Ｔ２よりも長くなっている（Ｔ１＞Ｔ２）。

図１６（ｃ）は、第１の人物Ｈ１が引き続き人検知範囲Ｒ１内に存在し、また、第２の人物Ｈ２が人検知範囲Ｒ１内で移動している状態を示している。このとき、第１の人物Ｈ１の第１滞在時間Ｔ１は、第１規定時間Ｔａに到達しており（Ｔ１＝Ｔａ）、第２の人物Ｈ２の第２滞在時間Ｔ２は、第１滞在時間Ｔ１すなわち規定時間Ｔａよりも短く（Ｔ２＜Ｔａ）なっている。ここで、第２の例では、特定の人物Ｈの滞在時間Ｔが第１規定時間Ｔａに到達した場合（Ｔ＝Ｔａ）に、指示部１１３が顔認証処理開始指示を出力することで、ステップ４０において肯定の判断（ＹＥＳ）がなされ、ステップ６０の顔認証処理が開始（実行）される。したがって、この例では、選択部１１４が、２人の追跡人物（第１の人物Ｈ１および第２の人物Ｈ２）の中から、第１の人物Ｈ１を対象人物として選択することになる。

ここで、第２の例でも、進入検知範囲Ｒ３に進入した対象人物（ここでは第１の人物Ｈ１）が顔検知限界Ｌを突破する前に、ステップ６１〜ステップ６５の各処理を完了させるようになっている。また、第２の例でも、進入検知範囲Ｒ３に進入した対象人物（ここでは第１の人物Ｈ１）が顔検知限界Ｌを突破する前に、ステップ６６、ステップ６９またはステップ７２の報知を行う。これに伴い、プロジェクタ１７は、スクリーン１８に伝達事項Ｍを表示させる。なお、伝達事項Ｍの内容については、図１１に示す第１の例における第１のパターンで説明したものと同じである。

また、第２の例では、第１規定時間Ｔａに到達した対象人物（ここでは第１の人物Ｈ１）の滞在時間Ｔが、後述する第２規定時間Ｔｂ（Ｔｂ＞Ｔａ）に到達する前に、ステップ６７、ステップ７０およびステップ７３の各処理を完了させるようになっている。なお、これらステップ６７、ステップ７０およびステップ７３のそれぞれにおいて準備されるＵＩ画面の内容は、図１２を用いて説明したものと同じである。

図１６（ｄ）は、対象人物となった第１の人物Ｈ１が人検知範囲Ｒ１内で移動し、また、対象人物とはならなかった第２の人物Ｈ２が引き続き人検知範囲Ｒ１内に存在している状態を示している。このとき、第１の人物Ｈ１の第１滞在時間Ｔ１は、第２規定時間Ｔｂ（設定時間の一例）に到達しており（Ｔ１＝Ｔｂ）、第２の人物Ｈ２の第２滞在時間Ｔ２は、第１滞在時間Ｔ１よりも短く（Ｔ２＜Ｔ１）なっている。ここで、第２の例では、滞在時間Ｔが第１規定時間Ｔａに到達することで対象人物となった特定の人物Ｈ（この例では第１の人物Ｈ１）の滞在時間Ｔ（ここでは第１滞在時間Ｔ１）が、さらに第２規定時間Ｔｂに到達した場合（Ｔ＝Ｔｂ）に、指示部１１３が表示処理開始指示を出力することで、ステップ８０において肯定の判断（ＹＥＳ）がなされ、ステップ１００のＵＩ画面表示が開始される。なお、第２の例では、図１６（ｃ）に示す状態から図１６（ｄ）に示す状態へと移行する間に、プロジェクタ１７が、伝達事項Ｍの報知を終了する。

ここで、第２の例では、滞在時間Ｔが第２規定時間Ｔｂに到達した対象人物（ここでは第１の人物Ｈ１）が人操作範囲Ｒ２に進入する前に、ステップ１００のＵＩ画面表示を実行させておくとよい。このようにすることで、対象人物（ここでは第１の人物Ｈ１）が、人操作範囲Ｒ２に進入してユーザインタフェース１３の前に立った状態で、対象人物の認証結果に対応したＵＩ画面が、タッチパネル１３０に既に表示されていることになる。

（第２のパターン）
図１７（ａ）〜（ｄ）は、画像形成装置１０の周辺にいる人物の位置の時間的変化の、第２の例における第２のパターンを示した図である。

図１７（ａ）は、第１の人物Ｈ１が人検知範囲Ｒ１の外部から人検知範囲Ｒ１に進入し、また、第２の人物Ｈ２が人検知範囲Ｒ１の外部に存在する状態を示している。
また、図１７（ｂ）は、第１の人物Ｈ１が人検知範囲Ｒ１内で移動し、また、第２の人物Ｈ２が人検知範囲Ｒ１の外部から人検知範囲Ｒ１に進入してきた状態を示している。
さらに、図１７（ｃ）は、第１の人物Ｈ１が引き続き人検知範囲Ｒ１内に存在し、また、第２の人物Ｈ２が人検知範囲Ｒ１内で移動している状態を示している。
ここで、これら図１７（ａ）〜図１７（ｃ）は、上記図１６（ａ）〜図１６（ｃ）に示す第１のパターンで説明したものとそれぞれ同じであるので、ここではその詳細な説明を省略する。

図１７（ｄ）は、対象人物となった第１の人物Ｈ１が人検知範囲Ｒ１から人検知範囲Ｒ１の外部へと退去し、また、対象人物とはならなかった第２の人物Ｈ２が引き続き人検知範囲Ｒ１内に存在している状態を示している。このとき、第１の人物Ｈ１の第１滞在時間Ｔ１は、第２規定時間Ｔｂに到達しておらず（Ｔ１＜Ｔｂ）、第２の人物Ｈ２の第２滞在時間Ｔ２は、第１滞在時間Ｔ１よりも短く（Ｔ２＜Ｔ１）なっている。この第２の例では、滞在時間Ｔ（ここでは第１滞在時間Ｔ１）が第１規定時間Ｔａに到達することで対象人物となった第１の人物Ｈ１が、その滞在時間Ｔが第２規定時間Ｔｂに到達する前に人検知範囲Ｒ１の外部に退去した場合に、ステップ１４０で否定の判断（ＮＯ）がなされる。

ここで、ステップ６０の顔認証処理で認証が成功している場合（ステップ１６０でＹＥＳ）、ステップ１８０でこの顔認証が解除される。また、ステップ６０の顔認証処理で認証が成功している場合（ステップ１６０でＹＥＳ）および失敗している場合（ステップ１６０でＮＯ）、ステップ２００において、ステップ６７、ステップ７０およびステップ７３で準備したＵＩ画面を破棄する。そして、ステップ２２０で、この対象人物（ここでは第１の人物Ｈ１）に関する追跡ＩＤおよび顔情報が、追跡テーブルから削除される。ただし、対象人物以外の人物Ｈ（ここでは第２の人物Ｈ２）については、追跡テーブルから削除が行われないことから、ステップ２０に戻った後、引き続き、追跡および顔の探索が行われる。

（第２の例のまとめ）
このように、第２の例では、人検知範囲Ｒ１内で追跡されている第１の人物Ｈ１または第２の人物Ｈ２の滞在時間Ｔが第１規定時間Ｔａに到達しない限り、対象人物が生じることはなく、その結果、ステップ６０の顔認証処理が開始されることもない。また、第２の例では、対象人物となった特定の人物Ｈの滞在時間Ｔがさらに第２規定時間Ｔｂに到達しない限り、ステップ１００における対象人物（特定の人物Ｈ）の認証結果としてのＵＩ画面が、タッチパネル１３０に表示されることもない。

ここで、第２の例では、第１の人物Ｈ１および第２の人物Ｈ２の両者が人検知範囲Ｒ１に進入した後、第１の人物Ｈ１の第１滞在時間Ｔ１が第２の人物Ｈ２の第２滞在時間Ｔ２よりも先に第１規定時間Ｔａに到達することで、第１の人物Ｈ１が対象人物となる場合について説明を行った。ただし、第２の人物Ｈ２の第２滞在時間Ｔ２が第１の人物Ｈ１の第１滞在時間Ｔ１よりも先に第１規定時間Ｔａに到達した場合には、第２の人物Ｈ２が対象人物となる。また、第１の人物Ｈ１および第２の人物Ｈ２の両者が人検知範囲Ｒ１に進入した後、これら第１の人物Ｈ１および第２の人物Ｈ２の両者が、その滞在時間Ｔが第１規定時間Ｔａに到達する前に人検知範囲Ｒ１の外部に退去した場合は、対象人物が発生しないことになり、ステップ６０の顔認証処理は開始されないことになる。

さらに、第２の例では、特定の人物Ｈ（この例では第１の人物Ｈ１）の滞在時間Ｔ（ここでは第１滞在時間Ｔ１）が第１規定時間Ｔａに到達することで対象人物として選択された後、この特定の人物Ｈが人検知範囲Ｒ１に滞在し続けている状態で、別の人物Ｈ（この例では第２の人物Ｈ２）の滞在時間（ここでは第２滞在時間Ｔ２）が第１規定時間Ｔａに到達したとしても、対象人物が特定の人物Ｈ（第１の人物Ｈ１）から別の人物Ｈ（第２の人物Ｈ２）に変更されることはない。

［第３の例］
最後に、人検知範囲Ｒ１内に存在するいずれか１人の人物Ｈが、人検知範囲Ｒ１に進入した後に画像形成装置１０に接近してきたことを、ステップ４０における顔認証処理開始の指示として利用するとともに、人検知範囲Ｒ１に進入した後に画像形成装置１０に接近してきた人物Ｈが、さらに画像形成装置１０に接近してきたことを、ステップ８０における表示開始処理の指示として利用する、『第３の例』について説明を行う。

（第１のパターン）
図１８（ａ）〜（ｄ）は、画像形成装置１０の周辺にいる人物の位置の時間的変化の、第３の例における第１のパターンを示した図である。

図１８（ａ）は、第１の人物Ｈ１が人検知範囲Ｒ１の外部から人検知範囲Ｒ１に進入し、また、第２の人物Ｈ２が人検知範囲Ｒ１の外部に存在する状態を示している。このとき、第１の人物Ｈ１については、ステップ２２で肯定の判断（ＹＥＳ）が行われるとともにステップ２３で否定の判断（ＮＯ）が行われることにより、ステップ２４でこの第１の人物Ｈ１に対して追跡ＩＤが付与されるとともに追跡が開始され、ステップ２５でこの第１の人物Ｈ１の顔の探索が行われる。なお、このとき、第２の人物Ｈ２は人検知範囲Ｒ１の外部に存在しているため、第２の人物Ｈ２は処理の対象とはならない。

図１８（ｂ）は、第１の人物Ｈ１が引き続き人検知範囲Ｒ１内に存在し、また、第２の人物Ｈ２が人検知範囲Ｒ１の外部から人検知範囲Ｒ１に進入してきた状態を示している。このとき、第１の人物Ｈ１については、ステップ２２で肯定の判断（ＹＥＳ）が行われるとともにステップ２３で肯定の判断（ＹＥＳ）が行われることにより、引き続き、この第１の人物Ｈ１の顔の探索が行われる。また、このとき、第２の人物Ｈ２については、ステップ２２で肯定の判断（ＹＥＳ）が行われるとともにステップ２３で否定の判断（ＮＯ）が行われることにより、ステップ２４でこの第２の人物Ｈ２に対して追跡ＩＤが付与されるとともに追跡が開始され、ステップ２５でこの第２の人物Ｈ２の顔の探索が行われる。

図１８（ｃ）は、第１の人物Ｈ１が人検知範囲Ｒ１内で移動し、また、第２の人物Ｈ２も人検知範囲Ｒ１内で移動している状態を示している。ただし、このとき、第１の人物Ｈ１は画像形成装置１０に近づく方向に移動しており、第２の人物Ｈ２は第１の人物Ｈ１と比べて画像形成装置１０に近づかない方向に移動している。ここで、第３の例では、特定の人物Ｈが人検知範囲Ｒ１に進入してきた後、画像形成装置１０に接近してきた場合に、指示部１１３が顔認証処理開始指示を出力することで、ステップ４０において肯定の判断（ＹＥＳ）がなされ、ステップ６０の顔認証処理が開始（実行）される。したがって、この例では、選択部１１４が、２人の追跡人物（第１の人物Ｈ１および第２の人物Ｈ２）の中から、第１の人物Ｈ１を対象人物として選択することになる。

ここで、第３の例でも、進入検知範囲Ｒ３に進入した対象人物（ここでは第１の人物Ｈ１）が顔検知限界Ｌを突破する前に、ステップ６１〜ステップ６５の各処理を完了させるようになっている。また、第３の例でも、進入検知範囲Ｒ３に進入した対象人物（ここでは第１の人物Ｈ１）が顔検知限界Ｌを突破する前に、ステップ６６、ステップ６９またはステップ７２の報知を行う。これに伴い、プロジェクタ１７は、スクリーン１８に伝達事項Ｍを表示させる。なお、伝達事項Ｍの内容については、図１１に示す第１の例における第１のパターンで説明したものと同じである。

また、第３の例では、進入検知範囲Ｒ３に進入した対象人物（ここでは第１の人物Ｈ１）が接近検知範囲Ｒ４に進入する前に、ステップ６７、ステップ７０およびステップ７３の各処理を完了させるようになっている。なお、これらステップ６７、ステップ７０およびステップ７３のそれぞれにおいて準備されるＵＩ画面の内容は、図１２を用いて説明したものと同じである。

図１８（ｄ）は、対象人物となった第１の人物Ｈ１が人検知範囲Ｒ１から進入検知範囲Ｒ３に進入し、また、対象人物とはならなかった第２の人物Ｈ２が人検知範囲Ｒ１内で移動している状態を示している。ただし、このとき、第１の人物Ｈ１は画像形成装置１０に近づく方向に移動しており、第２の人物Ｈ２は画像形成装置１０から遠ざかる方向に移動している。ここで、第３の例では、人検知範囲Ｒ１に進入した後に画像形成装置１０に接近してきたことで対象人物となった特定の人物Ｈ（この例では第１の人物Ｈ１）が、さらに画像形成装置１０に近づいてきた場合に、指示部１１３が表示処理開始指示を出力することで、ステップ８０において肯定の判断（ＹＥＳ）がなされ、ステップ１００のＵＩ画面表示が開始される。なお、第３の例では、図１８（ｃ）に示す状態から図１８（ｄ）に示す状態へと移行する間に、プロジェクタ１７が、伝達事項Ｍの報知を終了する。

ここで、第３の例では、人検知範囲Ｒ１内で画像形成装置１０に近づいてきた対象人物（ここでは第１の人物Ｈ１）が人操作範囲Ｒ２に進入する前に、ステップ１００のＵＩ画面表示を実行させておくとよい。このようにすることで、対象人物（ここでは第１の人物Ｈ１）が、人操作範囲Ｒ２に進入してユーザインタフェース１３の前に立った状態で、対象人物の認証結果に対応したＵＩ画面が、タッチパネル１３０に既に表示されていることになる。

（第２のパターン）
図１９（ａ）〜（ｄ）は、画像形成装置１０の周辺にいる人物の位置の時間的変化の、第３の例における第２のパターンを示した図である。

図１９（ａ）は、第１の人物Ｈ１が人検知範囲Ｒ１の外部から人検知範囲Ｒ１に進入し、また、第２の人物Ｈ２が人検知範囲Ｒ１の外部に存在する状態を示している。
図１９（ｂ）は、第１の人物Ｈ１が引き続き人検知範囲Ｒ１内に存在し、また、第２の人物Ｈ２が人検知範囲Ｒ１の外部から人検知範囲Ｒ１に進入してきた状態を示している。
図１９（ｃ）は、第１の人物Ｈ１が人検知範囲Ｒ１内で移動し、また、第２の人物Ｈ２も人検知範囲Ｒ１内で移動している状態を示している。
ここで、これら図１９（ａ）〜図１９（ｃ）は、上記図１８（ａ）〜図１８（ｃ）に示す第１のパターンで説明したものとそれぞれ同じであるので、ここではその詳細な説明を省略する。

図１９（ｄ）は、対象人物となった第１の人物Ｈ１が人検知範囲Ｒ１から人検知範囲Ｒ１の外部へと退去し、また、対象人物とはならなかった第２の人物Ｈ２が引き続き人検知範囲Ｒ１内で移動している状態を示している。この第３の例では、人検知範囲Ｒ１内で画像形成装置１０に近づく方向に移動することで対象人物となった第１の人物Ｈ１が、人検知範囲Ｒ１の外部に退去した場合に、ステップ１４０で否定の判断（ＮＯ）がなされる。

ここで、ステップ６０の顔認証処理で認証が成功している場合（ステップ１６０でＹＥＳ）、ステップ１８０でこの顔認証が解除される。また、ステップ６０の顔認証処理で認証が成功している場合（ステップ１６０でＹＥＳ）および失敗している場合（ステップ１６０でＮＯ）、ステップ２００において、ステップ６７、ステップ７０およびステップ７３で準備したＵＩ画面を破棄する。そして、ステップ２２０で、この対象人物（ここでは第１の人物Ｈ１）に関する追跡ＩＤおよび顔情報が、追跡テーブルから削除される。ただし、対象人物以外の人物Ｈ（ここでは第２の人物Ｈ２）については、追跡テーブルからの削除が行われないことから、ステップ２０に戻った後、引き続き、追跡および顔の探索が行われる。

（第３の例のまとめ）
このように、第３の例では、人検知範囲Ｒ１内で追跡されている第１の人物Ｈ１または第２の人物Ｈ２が画像形成装置１０に近づく方向に移動しない限り、対象人物が生じることはなく、その結果、ステップ６０の顔認証処理が開始されることもない。また、第３の例では、対象人物となった特定の人物Ｈが画像形成装置１０に近づく方向にさらに移動しない限り、ステップ１００における対象人物（特定の人物Ｈ）の認証結果としてのＵＩ画面が、タッチパネル１３０に表示されることもない。

ここで、第３の例では、第１の人物Ｈ１および第２の人物Ｈ２の両者が人検知範囲Ｒ１に進入した後、第１の人物Ｈ１が先に画像形成装置１０に近づく方向に移動することで、第１の人物Ｈ１が対象人物となる場合について説明を行った。ただし、第２の人物Ｈ２が第１の人物Ｈ１よりも先に画像形成装置１０に近づく方向に移動した場合には、第２の人物Ｈ２が対象人物となる。また、第１の人物Ｈ１および第２の人物Ｈ２の両者が人検知範囲Ｒ１に進入した後、これら第１の人物Ｈ１および第２の人物Ｈ２の両者が、画像形成装置１０に近づく方向に移動することなく人検知範囲Ｒ１の外部に退去した場合は、対象人物が発生しないことになり、ステップ６０の顔認証処理は開始されないことになる。

さらに、第３の例では、特定の人物Ｈ（この例では第１の人物Ｈ１）が人検知範囲Ｒ１内で画像形成装置１０に近づく方向に移動することで対象人物として選択された後、この特定の人物Ｈが画像形成装置１０に近づく方向に移動し続けている状態で、別の人物Ｈ（この例では第２の人物Ｈ２）が人検知範囲Ｒ１内で画像形成装置１０に近づく方向に移動してきたとしても、対象人物が特定の人物Ｈ（第１の人物Ｈ１）から別の人物Ｈ（第２の人物Ｈ２）に変更されることはない。

［その他］
ここで、上述した第１の例〜第３の例では、２人の人物Ｈ（第１の人物Ｈ１および第２の人物Ｈ２）が画像形成装置１０の周辺に存在する場合を例としたが、画像形成装置１０の周辺に存在する人物Ｈが１人となる場合、および、画像形成装置１０の周辺に存在する人物が３人以上となる場合もあり得る。

また、上述した第１の例〜第３の例では説明を行わなかったが、人検知範囲Ｒ１の外部から人検知範囲Ｒ１に進入することで、ステップ２４で追跡ＩＤが付与されたものの、ステップ６０で対象人物とはなっていない追跡人物（例えば第２の人物Ｈ２）が、人検知範囲Ｒ１内から人検知範囲Ｒ１の外部に退去した場合は、ステップ３２で、この追跡人物（ここでは第２の人物Ｈ２）に関する追跡ＩＤおよび顔情報が、追跡テーブルから削除されることになる。

なお、本実施の形態では、図９に示す顔認証処理のステップ６２で、対象人物（追跡人物）の顔情報が登録されていない場合（ＮＯ）に、ステップ７１でタッチパネル１３０に手動入力認証のＵＩ画面（図１２（ｄ）参照）を表示させて、手動入力による認証を受け付けるようにしていたが、これに限られない。例えば、ユーザインタフェース１３に設けられた第２カメラ１６を用いて、人操作範囲Ｒ２内に滞在する人物Ｈの顔画像を撮影し、得られた第２カメラ画像から顔情報を取得することにより、再度顔認証を行うようにしてもかまわない。この場合には、タッチパネル１３０に、第２カメラ１６を用いた顔画像の撮影を促す指示とともに、第２カメラ画像を表示させるとよい。

また、本実施の形態では、図６に示す画像形成装置１０のモード制御において、ステップ６でスリープモードから通常モードに移行した後、ステップ７で人物Ｈの顔の検出を開始するようにしたが、これに限られない。例えば、ステップ４で人物Ｈの動きを検出する処理を開始するのに合わせて、人物Ｈの顔の検出を開始するようにしてもかまわない。この場合は、スリープモードに設定された状態のまま、人物Ｈの顔の検出を開始することになる。また、スリープモードに設定された状態のまま、人物Ｈの顔の検出を開始する構成を採用した場合に、例えば、図７に示すステップ４０において顔認証処理開始指示があった（ステップ４０でＹＥＳ）ことを契機として、画像形成装置１０をスリープモードから通常モードに移行させるようにしてもよい。

さらに、本実施の形態では、報知部１１５として、画像を表示するプロジェクタ１７を用いる場合を例として説明を行ったが、これに限られるものではない。例えば音源から音を発したり、例えば光源（ランプ）から光を発したりする等の手法を用いてもかまわない。ここで、本実施の形態では、取得した顔画像による認証が成功したとき（ステップ６６）、取得した顔画像による認証が失敗したとき（ステップ６９）および顔画像が取得できないことにより認証が行えなかったとき（ステップ７２）に、報知を行っていたが、これに限られない。例えば、（１）第１カメラ画像から顔画像を検出する前、（２）第１カメラ画像から顔画像を検出した後であって顔画像による認証を行う前、（３）認証処理を行った後、の期間ごとに、報知を行うようにしてもかまわない。

１０…画像形成装置、１１…スキャナ、１２…プリンタ、１３…ユーザインタフェース（ＵＩ）、１４…焦電センサ、１５…第１カメラ、１６…第２カメラ、１７…プロジェクタ、１８…スクリーン、１０１…制御部、１０２…通信部、１０３…操作部、１０４…表示部、１０５…記憶部、１０６…画像読取部、１０７…画像形成部、１０８…検知部、１０９…撮像部、１１０…人検出部、１１１…顔検出部、１１２…顔登録認証部、１１３…指示部、１１４…選択部、１１５…報知部、１３０…タッチパネル、１３１…第１操作ボタン群、１３２…第２操作ボタン群、１３３…ＵＳＢメモリ装着部

Claims (4)

1. 自装置の周囲を撮像する撮像部と、
   前記撮像部が撮像した人の画像に対応付けられた画面を表示する表示部と、
   前記表示部に表示の開始を指示する指示部と
   を有し、
   前記撮像部は、前記指示部による指示の前に撮像を開始し、
   前記表示部は、前記指示部による指示の後に、前記撮像部が撮像した人の画像に対応付けられた画面の表示を開始すること
   を特徴とする処理装置。
2. 前記撮像部は、第１の領域内に存在する人の画像を撮像し、
   前記指示部は、人が前記第１の領域の内部であって当該第１の領域よりも狭い第２の領域に存在する場合に、前記表示部に表示の開始を指示することを特徴とする請求項１記載の処理装置。
3. 前記撮像部は、第１の領域内に存在する人の画像を撮像し、
   前記指示部は、前記第１の領域内に存在する人が当該第１の領域に予め設定された設定時間以上滞在する場合に、前記表示部に表示の開始を指示することを特徴とする請求項１記載の処理装置。
4. 前記撮像部は、第１の領域内に存在する人の画像を撮像し、
   前記指示部は、前記第１の領域に存在する人が自装置に接近している場合に、前記表示部に表示の開始を指示することを特徴とする請求項１記載の処理装置。

Images