以下に、本発明の実施の形態について、添付の図面を参照して説明する。
<システムの構成>
図1は一実施形態に係る情報処理システム100の構成例を示す図である。図2は、無線タグリーダ103の検知範囲201の一例を示す図である。
情報処理システム100は、画像形成装置101と、無線タグ104とを含む。画像形成装置101は、例えば部屋等に設置される。無線タグ104は、画像形成装置101の利用者により持ち運びがされる。
画像形成装置101は、例えば、プリンタ、スキャナ、コピー、ファクス等の機能を有するMFP(Multifunction Peripheral)またはプリンタ等の画像形成装置である。画像形成装置101は、情報処理装置の一例である。
画像形成装置101は、カメラ102と、無線タグリーダ103と、操作パネル105とを備える。操作パネル105は、利用者により操作され、画像形成装置101の前面に設けられている。従って、画像形成装置101を利用しようとしている人は、前面側から画像形成装置101に近づいて操作パネル105を操作する。
カメラ102は、画像形成装置101の前面から前方の領域に位置する被写体を撮像可能に設置される。従って、カメラ102により撮像された画像には、操作パネル105を操作する人の顔及び操作パネル105に近づく人の顔等が含まれる。これにより、カメラ102は、画像形成装置101の利用者(画像形成装置101を利用している人及び画像形成装置101を利用しようとしている人)の顔を含む画像を撮像することができる。
無線タグリーダ103は、所定の範囲内にある無線タグ104から、その無線タグ104を識別するタグID等を含む所定の情報を、近距離無線通信により受信する。例えば、無線タグリーダ103は、図2に示すように、前面から前側(図2の下方向側)に、扇型の検知範囲201を形成している。これにより、無線タグリーダ103は、画像形成装置101の利用者が保持している無線タグ104から、所定の情報を受信することができる。
近距離無線通信は、無線タグリーダ103と無線タグ104とが所定距離(例えば3m)以下に近づいた場合に情報の送信/受信が可能となる通信である。本実施形態においては、例えば、無線タグ104を保持した利用者が、画像形成装置101の前面から所定の距離まで近づくと、無線タグ104に記憶された情報が自動的に画像形成装置101に送信される。
本実施形態においては、無線タグリーダ103と無線タグ104とは、RFID(Radio Frequency Identifier)方式で通信を行う。RFID方式の通信は、RFIDタグと、RFタグリーダとの間で、電波を用いた近距離無線通信を行う技術である。RFIDタグは、無線タグ104の一例であり、RFタグリーダは、無線タグリーダ103の一例である。
例えば、無線タグ104がパッシブタグである場合、無線タグリーダ103は、検知範囲(所定の範囲)に所定の電波を放射する。また、無線タグ104は、無線タグリーダ103から放射された電波を受信すると、受信した電波を電力として動作し、予め記憶したタグID等の所定の情報を無線タグリーダ103に送信する。
パッシブタグは、無線タグリーダ103からの電波をエネルギー源として動作するので、電池を内蔵しない。パッシブタグのアンテナは、無線タグリーダ103からの電波の一部を反射するが、タグID等の情報はこの反射波に乗せて返される。この反射の強度は非常に小さいため、パッシブタグは、自装置の電力で電波を送信するアクティブタグに比べて通信距離が短くなるが、安価で、ほぼ恒久的に動作する。
なお、無線タグ104は、RFIDのアクティブタグや、セミアクティブタグ等であってもよい。また、無線タグリーダ103及び無線タグ104は、RFID以外の方式により無線通信を行ってもよい。無線タグリーダ103及び無線タグ104は、例えば、Bluetooth(登録商標)Low Energy(以下、BLEと呼ぶ)またはNFC(Near Field Communication)等の方式により無線通信をしてもよい。また、無線タグ104は、携帯端末等に搭載されていてもよい。
また、情報処理システム100には、画像形成装置101を利用することが可能な利用者が予め登録されている。画像形成装置101は、登録された利用者に関する各種の情報を含む利用者情報を記憶している。
利用者情報には、その利用者が保持する無線タグ104を識別するタグID、及び、その利用者を撮像した画像における所定の特徴を表す特徴情報を含む。特徴情報は、例えば、利用者の顔を撮像した画像における各種の特徴量の集合である。例えば、特徴情報は、顔の輪郭や、目、鼻、あご、ほお骨等の各パーツの形状及び相対位置等の所定の特徴を表す特徴量を含む。特徴情報は、このような特徴量を、予め定められた形式で含む。特徴情報は、その他の公知の方法で算出可能な特徴量をさらに含んでもよい。
ここで、無線タグ104を保持した利用者が、画像形成装置101の前面から所定の距離に近づくと、無線タグ104に記憶された所定の情報(タグIDを含む情報)が、自動的に画像形成装置101に送信される。
画像形成装置101は、無線タグ104からタグIDを受信した場合、受信したタグIDと、記憶している複数の利用者情報のそれぞれに含まれるタグIDとを比較する。そして、画像形成装置101は、受信したタグIDと、何れかの利用者情報に含まれるタグIDとが一致した場合、その無線タグ104の認証を許可する。この認証を、本実施形態においては、無線認証と呼ぶ。
また、利用者が操作パネル105に近づくと、画像形成装置101は、その利用者の顔を含む画像をカメラ102により自動的に撮像する。続いて、画像形成装置101は、その利用者を撮像した画像から顔画像を検出し、検出した顔画像における所定の特徴を表す特徴情報を抽出する。ここで抽出される特徴情報は、含まれる特徴量が、予め登録された利用者についての利用者情報に含まれる特徴情報と同一の方法で算出され、同一の形式で記述される。
そして、画像形成装置101は、カメラ102により利用者を撮像した画像から抽出した特徴情報と、予め記憶している複数の利用者情報のそれぞれに含まれる特徴情報との類似度を算出する。類似度は、2つの特徴情報が一致しているほど大きく、一致していないほど小さくなる値である。そして、画像形成装置101は、カメラ102により利用者を撮像した画像から抽出した特徴情報と、何れかの利用者情報に含まれる特徴情報との類似度が第1閾値以上の場合、その利用者を撮像した画像の認証を許可する。この認証を、本実施形態においては、画像認証と呼ぶ。
さらに、画像形成装置101は、無線認証によりタグIDが許可された無線タグ104を保持する利用者と、画像認証により画像が許可された利用者とが同一であるか否かを、記憶している利用者情報に基づいて判断する。画像形成装置101は、無線認証によりタグIDが許可された無線タグ104を保持する利用者と、画像認証により画像が許可された利用者とが同一の場合、その利用者による画像形成装置101(所定の装置)のログインを許可し、その利用者に画像形成装置101の利用を許可する。
これにより、本実施形態に係る画像形成装置101によれば、画像形成装置101の利用者が無線タグ104を所持しているだけで、容易に認証が行えるとともに認証の精度を向上させることができる。
なお、図1のシステム構成はあくまで一例である。例えば、画像形成装置101は、PC(Personal Computer)、タブレット端末、スマートフォン、ゲーム機、テレビ会議装置等、利用者を認証する様々な情報処理装置であってもよい。また、カメラ102または無線タグリーダ103等は、画像形成装置101の外部に設けられていてもよい。また、情報処理システム100では、無線タグ104に代えて、画像形成装置101と無線通信によりやり取りすることを可能な無線端末(例えば、携帯電話機、スマートフォン、タブレットまたはウェアラブル機器)を備えてもよい。この場合、無線端末は、利用者に保持され、無線端末を識別する端末IDを画像形成装置101に無線送信する。すなわち、無線タグ104は、利用者に携帯される無線端末の一例であり、タグIDは、無線端末を識別する端末IDの一例である。
さらに、画像認証は、利用者の顔画像の特徴を表す特徴情報を比較するのではなく、利用者の他の部分の画像の特徴を表す特徴情報を比較してもよい。例えば、画像認証は、利用者の指紋の画像の特徴を表す特徴情報を比較する指紋認証、利用者の虹彩の画像の特徴を表す特徴情報を比較する虹彩認証、または、利用者の静脈の画像の特徴を表す静脈認証等であってもよい。
<ハードウェア構成>
図3は、実施形態に係る画像形成装置101のハードウェア構成の例を示す図である。
画像形成装置101は、例えば、コピー機能、スキャナ機能、ファクス機能、プリンタ機能などの各種の画像形成機能を実現する本体310と、ユーザの操作を受け付ける操作部320とを備える。なお、ユーザの操作を受け付けるとは、ユーザの操作に応じて入力される情報(画面の座標値を示す信号などを含む)を受け付けることを含む概念である。本体310と操作部320は、専用の通信路330を介して相互に通信可能に接続されている。通信路330は、例えばUSB(Universal Serial Bus)規格のものを用いることができるが、有線か無線かを問わず任意の規格のものであってよい。
なお、本体310は、操作部320で受け付けた操作に応じた動作を行うことができる。また、本体310は、クライアントPC(パーソナルコンピュータ)などの外部装置とも通信可能であり、外部装置から受信した指示に応じた動作を行うこともできる。
まず、本体310のハードウェア構成について説明する。図3に示すように、本体310は、CPU(Central Processing Unit)311、ROM(Read Only Memory)312、RAM(Random Access Memory)313、ストレージ部314、通信I/F(Interface)部315、接続I/F部316、エンジン部317、移動体センサ部318、及びシステムバス319を有する。
CPU311は、本体310の動作を統括的に制御する。CPU311は、RAM313をワークエリア(作業領域)としてROM312又はストレージ部314等に格納されたプログラムを実行することで、本体310全体の動作を制御する。例えば、CPU311は、前述したコピー機能、スキャナ機能、ファクス機能、プリンタ機能などの各種機能を実現する。
ROM312は、例えば、本体310の起動時に実行されるBIOS(Basic Input/Output System)や、各種の設定等を記憶する不揮発性のメモリである。RAM313は、CPU311のワークエリア等として用いられる揮発性のメモリである。ストレージ部314は、例えば、OS(Operating System)、アプリケーションプログラム、各種データ等を記憶する不揮発性の記憶装置であり、例えば、HDD(Hard Disk Drive)や、SSD(Solid State Drive)等で構成される。
通信I/F部315は、本体310をネットワーク340に接続し、ネットワーク340に接続された外部装置との通信を行うためのネットワークインタフェースである。接続I/F部316は、通信路330を介して操作部320と通信するためのインタフェースである。
エンジン部317は、コピー機能、スキャナ機能、ファクス機能、及びプリンタ機能等の機能を実現させるための、汎用的な情報処理及び通信以外の処理を行うハードウェアである。エンジン部317には、例えば、原稿の画像をスキャンして読み取るスキャナ(画像読取部)、用紙等のシート材への印刷を行うプロッタ、ファクス通信を行うファクス部等が含まれる。さらに、エンジン部317は、印刷済みシート材を仕分けるフィニッシャや、原稿を自動給送するADF(自動原稿給送装置)のような特定のオプションが含まれていてもよい。
移動体センサ部318は、画像形成装置101の周囲の検知範囲内にある移動体を検出するセンサであり、例えば焦電センサ等が用いられる。
システムバス319は、上記各構成要素に接続され、アドレス信号、データ信号、及び各種制御信号等を伝送する。
次に、操作部320のハードウェア構成について説明する。図3に示すように、操作部320は、CPU321、ROM322、RAM323と、フラッシュメモリ部324、通信I/F部325、接続I/F部327、外部接続I/F部328と、カメラ102、無線タグリーダ103、操作パネル105及びシステムバス331を有する。
CPU321は、操作部320の動作を統括的に制御する。CPU321は、RAM323をワークエリア(作業領域)としてROM322又はフラッシュメモリ部324等に格納されたプログラムを実行することで、操作部320全体の動作を制御する。例えば、CPU321は、ユーザから受け付けた入力に応じた情報(画像)の表示などの各種機能を実現する。
ROM322は、例えば、操作部320の起動時に実行されるBIOSや、各種の設定等を記憶する不揮発性のメモリである。RAM323は、CPU321のワークエリア等として用いられる揮発性のメモリである。フラッシュメモリ部324は、例えば、OS、アプリケーションプログラム、各種データ等を記憶する不揮発性の記憶装置である。
通信I/F部325は、操作部320をネットワーク340に接続し、ネットワーク340に接続された外部装置との通信を行うためのネットワークインタフェースである。
接続I/F部327は、通信路330を介して本体310と通信するためのインタフェースである。外部接続I/F部328は、外部装置を接続するための、例えばUSB等のインタフェースである。
カメラ102は、撮像範囲内の画像を撮像する撮像装置である。
無線タグリーダ103は、近距離無線通信により、所定の通信範囲内の無線タグ104と通信を行うための近距離無線装置である。例えば、無線タグリーダ103は、無線タグリーダ103から発信した電波に対して応答を返すRFIDのパッシブタグや、自装置から電波を発信するRFIDのアクティブタグ等から、所定の情報を受信する。また、無線タグリーダ103は、前述したBLEや、NFC等の近距離無線通信を行う近距離無線装置であってもよい。
操作パネル105は、ユーザの操作に応じた各種の入力を受け付けるとともに、各種の情報(例えば受け付けた操作に応じた情報、画像形成装置101の動作状況を示す情報、設定状態等)を表示する。操作パネル105は、例えば、タッチパネル機能を搭載した液晶表示装置(LCD: Liquid Crystal Display)で構成されるが、これに限られるものではない。操作パネル105は、例えばタッチパネル機能が搭載された有機EL(Electro Luminescence)表示装置で構成されていてもよい。さらに、操作パネル105は、これに加えて又はこれに代えて、ハードウェアキー等の操作部や、ランプ等の表示部を設けることもできる。
システムバス331は、上記各構成要素に接続され、アドレス信号、データ信号、及び各種制御信号等を伝送する。
<ソフトウェア構成>
図4は、実施形態に係る画像形成装置101のソフトウェア構成の例を示す図である。
図4に示すように、本体310は、アプリ層411、サービス層412、OS層413を有する。アプリ層411、サービス層412、及びOS層413の実体は、ROM312やストレージ部314等に格納されている各種ソフトウェアである。CPU311が、これらのソフトウェア(プログラム)を実行することにより、本体310の各種の機能が提供される。
アプリ層411は、ハードウェア資源を動作させて所定の機能を提供するためのアプリケーションソフトウェア(以下の説明では、単に「アプリ」と称する場合がある)である。例えば、アプリとしては、コピー機能を提供するためのコピーアプリ、スキャナ機能を提供するためのスキャナアプリ、ファクス機能を提供するためのファクスアプリ、プリンタ機能を提供するためのプリンタアプリなどが挙げられる。
サービス層412は、アプリ層411とOS層413との間に介在し、アプリ層411のアプリに対し、本体310が備えるハードウェア資源を利用するためのインタフェースを提供するソフトウェアである。より具体的には、サービス層412は、ハードウェア資源に対する動作要求の受付、動作要求の調停を行う機能を提供するためのソフトウェアである。サービス層412が受け付ける動作要求としては、スキャナによる読み取りやプロッタによる印刷等の要求が考えられる。
なお、サービス層412によるインタフェースの機能は、本体310のアプリ層411だけではなく、操作部320のアプリ層421に対しても提供される。すなわち、操作部320のアプリ層421も、本体310のサービス層412のインタフェース機能を介して、本体310のハードウェア資源(例えばエンジン部317)を利用した機能を実現することができる。
OS層413は、本体310が備えるハードウェア資源を制御する基本機能を提供するための基本ソフトウェア(オペレーティングシステム)である。サービス層412は、各種アプリからのハードウェア資源の利用要求を、OS層413が解釈可能なコマンドに変換してOS層413に渡す。そして、OS層413によりコマンドが実行されることで、ハードウェア資源は、アプリの要求に従った動作を行う。
同様に、操作部320は、アプリ層421、サービス層422、及びOS層423を有する。操作部320が備えるアプリ層421、サービス層422、及びOS層423も、階層構造については本体310側と同様である。ただし、アプリ層421のアプリにより提供される機能や、サービス層422が受付可能な動作要求の種類は、本体310側とは異なる。アプリ層421のアプリは、操作部320が備えるハードウェア資源を動作させて所定の機能を提供するためのソフトウェアであってよいが、主として本体310が備える機能に関する操作や表示を行うためのUI(User Interface)の機能を提供する。また、アプリ層421のアプリは、操作部320が備える無線タグリーダ103や、カメラ102等を用いた認証機能を提供する。
なお、本実施形態では、機能の独立性を保つために、本体310側のOS層413のソフトウェアと操作部320側のOS層423のソフトウェアが互いに異なる。つまり、本体310と操作部320は、別々のオペレーティングシステムで互いに独立して動作する。例えば、本体310側のOS層413のソフトウェアとしてLinux(登録商標)を用い、操作部320側のOS層423のソフトウェアとしてAndroid(登録商標)を用いることも可能である。
以上のように、本実施形態の画像形成装置101において、本体310と操作部320は別々のオペレーティングシステムで動作するため、本体310と操作部320との間の通信は、共通の装置内のプロセス間通信ではなく、異なる装置間の通信として行われる。操作部320が受け付けた情報(ユーザからの指示内容)を本体310へ伝達する動作(コマンド通信)や、本体310が操作部320へイベントを通知する動作などがこれに該当する。ここでは、操作部320が本体310へコマンド通信を行うことにより、本体310の機能を使用することができる。また、本体310から操作部320に通知するイベントには、例えば、本体310における動作の実行状況、本体310側で設定された内容等が含まれる。
また、本実施形態では、操作部320に対する電力供給は、本体310から通信路330を経由して行われているので、操作部320の電源制御を、本体310の電源制御とは別に(独立して)行うことができる。
<機能構成>
図5は、実施形態に係る画像形成装置101の機能構成の一例を示す図である。
画像形成装置101の本体310は、移動体検知部501、電力状態制御部502、画像形成部503、及び第1通信部505等を有する。
移動体検知部501は、検知範囲内(例えば画像形成装置101の周囲の所定の範囲内)にある移動体(例えば利用者)を検知する。移動体検知部501は、移動体センサ部318及びCPU311で動作するプログラムによって実現される。移動体検知部501は、検知範囲内に移動体が検知された場合、移動体が検知されたことを電力状態制御部502に通知する。
電力状態制御部502は、操作部320や、本体310の電力状態を制御する。電力状態制御部502は、CPU311で動作するプログラムによって実現される。例えば、電力状態制御部502は、予め設定された時間を超えて、画像形成装置101の利用が無い場合、画像形成装置101のそれぞれの部分を、画像形成処理が可能な通常状態よりも消費電力が少ない省電力状態へ移行させる。電力状態制御部502は、例えば、操作部320、エンジン部317およびストレージ部314等を省電力状態に移行させて、これらの機能を停止させる。これにより、電力状態制御部502は、画像形成装置101の消費電力を低減させることができる。
また、本実施形態に係る電力状態制御部502は、省電力状態において、移動体検知部501から移動体が検知されたことを示す通知を受け付けると、操作部320を、省電力状態から通常の動作が可能な通常状態へ復帰させる。例えば、電力状態制御部502は、第1通信部505を介して、操作部320に復帰命令を通知することにより、操作部320を省電力状態から、通常状態へ復帰させる。
画像形成部503は、画像形成装置101が備える各種の画像形成機能(例えば、印刷、コピー、スキャン、ファクス等)を実行する。画像形成部503は、エンジン部317、及びCPU311で動作するプログラム等によって実現される。
第1通信部505は、操作部320と通信を行う。第1通信部505は、接続I/F部316等によって実現される。
画像形成装置101の操作部320は、記憶部510、無線通信部511、タグ認証部512(端末認証部)、撮像部513、特徴情報抽出部514、画像認証部515、許可部516、利用者情報管理部517、通知部518、更新部519、及び第2通信部520等を有する。
記憶部510は、例えば、予め登録されたそれぞれの利用者についての利用者情報を記憶する。記憶部510は、例えば、フラッシュメモリ部324、RAM323、及びCPU321で動作するプログラム等によって実現される。
利用者情報は、登録された利用者を撮像した画像(例えば顔画像)における所定の特徴を表す特徴情報(第1特徴情報)を含む。また、利用者情報は、登録された利用者が保持する無線タグ104を識別するタグID(第1タグID,第1端末ID)を含む。利用者情報については、図6を参照して詳細を後述する。
無線通信部511は、所定の範囲内(例えば図2の無線タグリーダ103の検知範囲201内)に位置する無線タグ104から、近距離無線通信により、その無線タグ104を識別するタグID(第2タグID,第2端末ID)を取得する。無線通信部511は、無線タグリーダ103、及びCPU321で動作するプログラム等によって実現される。
タグ認証部512は、無線通信部511が無線タグ104から受信したタグID(第2タグID)と、記憶部510に記憶された、登録されたそれぞれの利用者についての利用者情報に含まれるタグID(第1タグID)とを比較する。タグ認証部512は、無線通信部511が受信したタグID(第2タグID)と、記憶部510に記憶された、登録されたそれぞれの利用者についての利用者情報に含まれるタグID(第1タグID)とが一致する場合、所定の範囲内に位置する無線タグ104の認証を許可する。タグ認証部512は、例えば、CPU311で動作するプログラムによって実現される。
タグ認証部512は、認証が許可された無線タグ104を保持する利用者を識別する情報(例えば、利用者の識別情報)を、記憶部510に記憶された利用者情報を参照して検出し、許可部516に与える。
撮像部513は、認証対象となる利用者を撮像する。撮像部513は、カメラ102、及びCPU321で動作するプログラムによって実現される。例えば、撮像部513は、画像形成装置101の前面の前方にいる利用者の画像を、認証対象となる利用者の画像として撮像する。
特徴情報抽出部514は、撮像部513が撮像した認証対象の利用者を撮像した画像から、認証対象の利用者を撮像した画像における所定の特徴を表す特徴情報(第2特徴情報)を抽出する。特徴情報抽出部514は、例えば、CPU311で動作するプログラムによって実現される。
例えば、特徴情報抽出部514は、撮像部513が撮像した認証対象の利用者を撮像した画像から、利用者の顔画像を検出する。そして、特徴情報抽出部514は、検出した顔画像から特徴情報を抽出する。特徴情報抽出部514により抽出される特徴情報は、含まれる特徴量が、記憶部510に記憶された利用者情報に含まれる特徴情報と同一の方法で算出され、同一の形式で記述される。
画像認証部515は、認証対象の利用者を撮像した画像における所定の特徴を表す特徴情報(第2特徴情報)と、記憶部510に記憶されているそれぞれの利用者情報に含まれる特徴情報(第1特徴情報)との類似度を算出する。画像認証部515は、例えば、CPU311で動作するプログラムによって実現される。
類似度は、第1特徴情報と第2特徴情報とが一致しているほど大きく、一致していないほど小さくなる値である。例えば、類似度は、0から1までの整数値または0%から100%の百分率で表され、2つの特徴情報が完全に一致する場合、1または100%となり、2つの特徴情報が異なるほど0または0%に近くなる。
第1特徴情報および第2特徴情報は、例えば、複数の特徴量を含み、含まれる特徴量が同一の特徴を表す値である。そこで、画像認証部515は、例えば、第1特徴情報および第2特徴情報に含まれる対応する要素の値の差分を算出し、算出した差分の集合を正規化して合計した値を、類似度としてもよい。また、画像認証部515は、特開2015−69495号公報、特開2014−044606号公報または特開2009−157766号公報等に記載された公知の算出方法により、類似度を算出してもよい。
続いて、画像認証部515は、算出した何れかの類似度が予め定められた第1閾値以上であるか否かを判断する。ここで、第1閾値は、2つの顔画像が表す人物が同一であると確定できる値である。
画像認証部515は、認証対象の利用者を撮像した画像における所定の特徴を表す第2特徴情報と、記憶部510に記憶されている何れかの利用者情報に含まれる第1特徴情報との類似度が、第1閾値以上の場合、認証対象の利用者を撮像した画像の認証を許可する。
そして、画像認証部515は、画像認証部515により撮像した画像の認証が許可された利用者を識別する情報(例えば、利用者の識別情報)を、記憶部510に記憶された利用者情報を参照して検出し、許可部516に与える。
許可部516は、画像認証部515により撮像した画像の認証が許可された利用者を識別する情報と、タグ認証部512により認証が許可された無線タグ104を保持する利用者を識別する情報とを取得する。そして、許可部516は、画像認証部515により撮像した画像の認証が許可された利用者と、タグ認証部512により認証が許可された無線タグ104を保持する利用者とが同一である場合、その利用者による画像形成装置101(所定の装置)へのログインを許可して、その利用者に画像形成装置101の利用を許可する。許可部516は、例えば、CPU311で動作するプログラムによって実現される。
利用者情報管理部517は、記憶部510に記憶された利用者情報を管理する。利用者情報管理部517は、例えば、CPU311で動作するプログラムによって実現される。
通知部518は、認証対象の利用者を撮像した画像の認証が許可された場合、認証対象の利用者を撮像した画像における所定の特徴を表す第2特徴情報と、認証が許可された利用者についての利用者情報に含まれる第1特徴情報との類似度が、予め定められた第2閾値以下であるかを判断する。
ここで、第2閾値は、第1閾値より大きい値である。第2閾値は、2つの顔画像が表す顔が同一であると確定できる値であるが、利用者の顔が登録時から変化したことにより低下した類似度を表す範囲の値である。
通知部518は、認証対象の利用者を撮像した画像の認証が許可され、且つ、類似度が第2閾値以下の場合、所定の情報を通知する。例えば、通知部518は、操作パネル105に、利用者情報を更新するために撮像を行うことを通知する画面を表示する。そして、通知部518は、通知をした後、撮像部513に、認証対象の利用者を撮像させる。通知部518は、操作パネル105、及びCPU311で動作するプログラム等によって実現される。
更新部519は、認証対象の利用者を撮像した画像の認証が許可され、且つ、類似度が第2閾値以下の場合、通知した後に撮像部513により撮像された認証対象の利用者の画像における所定の特徴を表す特徴情報を、特徴情報抽出部514に抽出させる。そして、更新部519は、認証対象の利用者の画像における所定の特徴を表す特徴情報により、対応する利用者情報に含まれる特徴情報(第1特徴情報)を更新する。更新部519は、例えば、操作パネル105、及びCPU311で動作するプログラム等によって実現される。
第2通信部520は、本体310と通信を行う。第2通信部520は、接続I/F部327等によって実現される。第2通信部520には、操作部320が省電力状態の間も電力が供給されており、本体310から送信される復帰要求を受信することができる。
なお、図5に示す画像形成装置101では、許可部516が操作部320に備えられている。これに代えて、画像形成装置101は、許可部516を本体310に備えてもよい。この場合、タグ認証部512は、第2通信部520を用いて、認証が許可された無線タグ104を保持する利用者を識別する情報を許可部516に通知する。同様に、画像認証部515は、第2通信部520を用いて、撮像した画像の認証が許可された利用者を識別する情報を許可部516に通知する。
図6は、実施形態に係る利用者情報の一例を示す図である。記憶部510は、それぞれの登録された利用者について、利用者情報を記憶する。
利用者情報は、例えば、「利用者番号」、「名前」、「メールアドレス」、「ログインID」、「ログインパスワード」、「タグID」及び「利用者の特徴情報」を含む。
「利用者番号」は、利用者を識別する識別情報である。「利用者番号」は、登録された際に採番されたシリアル番号または利用者のデータ毎に固有の番号等の、利用者毎に固有の番号である。「利用者番号」は、例えば、社員ID等であってもよい。
「名前」は、利用者の名前である。「メールアドレス」は、利用者のメールアドレスである。「ログインID」、及び「ログインパスワード」は、利用者が画像形成装置101にログインするための認証情報の一例である。
「タグID」は、各利用者が所持している無線タグ104を識別する情報である。「タグID」は、例えば、8桁の数字で表される。なお、「タグID」は、数字以外の情報、例えば、利用者の識別情報等が含まれていてもよい。
「利用者の特徴情報」は、登録された利用者を撮像した画像(例えば顔画像)における所定の特徴を表す情報である。「利用者の特徴情報」は、特徴情報抽出部514により抽出される特徴情報と同一種類の特徴を表し、比較可能である。なお、図6に示す利用者の特徴情報のデータ形式は一例であり、任意の形式であってよい。
なお、操作部320の記憶部510には、例えば、図6に示すような利用者情報を300件〜1800件程度記憶することができる。外部の記憶装置が登録された全ての利用者についての利用者情報を記憶しており、操作部320の記憶部510には、外部の記憶装置に記憶された利用者情報の一部を記憶してもよい。これにより、タグ認証部512、画像認証部515等は、操作部320の記憶部510に記憶された利用者情報を、速く読み出すことができる。
<画像形成装置101の認証処理>
図7は、実施形態に係る画像形成装置101の認証処理の例を示すフローチャートである。なお、図7に示すフローチャートの開始時点において、画像形成装置101の操作部320は、電力状態制御部502によって、省電力状態に制御されているものとする。
ステップS701において、本体310の移動体検知部501が、画像形成装置101の周辺の移動体を検知すると、画像形成装置101は、ステップS702以降の処理を実行する。
ステップS702に移行すると、本体310の電力状態制御部502は、操作部320の省電力状態を解除する。例えば、電力状態制御部502は、第1通信部505を介して、操作部320に復帰命令を通知することにより、操作部320を省電力状態から、通常状態へ復帰させる。これにより、タグ認証部512による認証処理(S703)、及び画像認証部515による認証処理(S704)が実行可能となる。
ステップS703において、操作部320の無線通信部511、及びタグ認証部512は、無線認証処理を実行する。無線認証処理の詳細については、図8において説明する。
なお、ここでは、タグ認証部512は、無線認証処理により無線タグ104の認証が許可されると、無線認証処理の処理結果が「OK」であることを示す情報と、認証が許可された無線タグ104の利用者を識別する情報(例えば、図6の「利用者番号」)を出力する。また、タグ認証部512は、無線認証処理により無線タグ104の認証が拒否されると、無線認証処理の処理結果が「NG」であることを示す情報を出力する。
ステップS704において、操作部320の撮像部513、特徴情報抽出部514、画像認証部515、通知部518、及び更新部519は、画像認証処理を実行する。画像認証処理の詳細については、図9以降において説明する。
なお、ここでは、画像認証部515は、画像認証処理により利用者を撮像した画像の認証が許可されると、画像認証処理の処理結果が「OK」であることを示す情報と、撮像した画像の認証が許可された利用者を識別する情報(例えば、図6の「利用者番号」)を出力する。また、画像認証部515は、画像認証処理により撮像した画像の認証が拒否されると、画像認証処理の処理結果が「NG」であることを示す情報を出力する。
ステップS705において、許可部516は、タグ認証部512及び画像認証部515から出力される情報に基づいて、無線認証処理の結果が「OK」(許可)であり、かつ画像認証処理の結果が「OK」(許可)であるか否かを判断する。無線認証処理の結果及び画像認証処理の結果が、いずれも「OK」(許可)である場合、許可部516は、処理をステップS706へ移行させる。一方、無線認証処理の結果又は画像認証処理の結果のいずれかが「OK」(許可)でない場合、許可部516は、処理をステップS708へ移行させる。
ステップS706へ移行すると、許可部516は、ステップS703で無線認証処理が「OK」になった無線タグ104の利用者と、ステップS704で画像認証処理が「OK」になった利用者が、同じ利用者であるか否かを判断する。例えば、許可部516は、タグ認証部512から出力された利用者を識別する情報と、画像認証部515から出力された利用者を識別する情報とが一致するか否かを判断する。
例えば、タグ認証部512から出力された利用者番号と、画像認証部515から出力された利用者番号とが一致した場合、許可部516は、ステップS707において、画像形成装置101への利用者のログインを許可する。これにより、利用者は、画像形成装置101を利用することができる。
なお、許可部516は、2つの利用者番号が完全に一致した場合だけではなく、2つの利用者番号が実質的に同じ場合に、利用者が同一であると判断してもよい。例えば、画像認証部515から取得した利用者番号が8桁の社員IDであり、タグ認証部512から取得した利用者番号が社員IDに2文字を付加した10桁のログインIDであるような場合、許可部516は、利用者が同一であると判断してもよい。
一方、例えば、タグ認証部512から出力された利用者を識別する情報と、画像認証部515から出力された利用者を識別する情報とが一致しなかった場合、許可部516は、処理をステップS708へ移行させる。
ステップS708において、電力状態制御部502は、ステップS702で操作部320の省電力状態を解除させてから、所定の時間(例えば5分)を経過したか否かを判断する。
所定の時間を経過した場合(所定の時間内に許可部516による認証が成功しない場合)、電力状態制御部502は、ステップS709において、操作部320を省電力状態へ移行させる。
一方、所定の時間を経過していない場合、操作部320は、処理をステップS703、S704に戻して同様の処理を繰り返す。
上記の処理により、画像形成装置101は、無線タグ104の無線認証と、撮像部513により撮像された画像に含まれる利用者の画像認証を行う。また、画像形成装置101は、無線認証が許可された利用者と、画像認証が許可された利用者とが同じ利用者である場合、画像形成装置101の利用を許可する。
これにより、画像形成装置101は、認証の精度を容易に向上させることができる。
<無線認証処理>
図8は、無線認証処理の例を示すフローチャートである。
ステップS801において、無線通信部511が、無線タグ104からタグID(タグ識別情報)を受信すると、タグ認証部512は、ステップS802以降の処理を実行する。
ステップS802において、タグ認証部512は、無線通信部511が受信したタグIDを認証する。例えば、タグ認証部512は、無線通信部511が受信したタグIDが、利用者情報の「タグID」に含まれる場合、無線タグ104の認証を許可する。また、タグ認証部512は、無線通信部511が受信したタグIDが、利用者情報の「タグID」に含まれない場合、無線タグ104の認証を許可しない。
ステップS803において、タグ認証部512は、無線タグ104の認証を許可しない場合(認証結果が「OK」でない場合)、処理をステップS801へ戻して、同様の処理を繰り返す。一方、タグ認証部512は、無線タグ104の認証を許可した場合(認証結果が「OK」である場合)、処理をステップS804へ移行させる。
ステップS804に移行すると、タグ認証部512は、認証が許可された(認証が「OK」となった)無線タグ104の利用者を識別する情報(例えば、「利用者番号」)を、許可部516に出力する。
このとき、タグ認証部512は、認証が許可された無線タグ104の利用者を識別する情報と共に、認証が許可されたこと(認証結果が「OK」であること)を示す情報を、許可部516に送信する。そして、ステップS804を終えると、タグ認証部512は、本フローを終了する。
なお、ステップS803において、タグ認証部512は、認証結果が一定回数「OK」でない場合、タグ認証部512は、認証が拒否されたこと(認証結果が「NG」であること)を示す情報を、許可部516に送信する。そして、タグ認証部512は、認証が拒否されたこと(認証結果が「NG」であること)を示す情報を送信すると、本フローを終了する。
<画像認証処理>
図9は、画像認証処理の例を示すフローチャートである。
ステップS901において、撮像部513は、認証対象となる利用者をカメラ102により撮像した画像を取得する。このとき、取得される画像の例を図10(a)に示す。
図10(a)に示す撮像画像1001には、画像形成装置101の前面の前方にいる利用者1002が撮像されている。カメラ102は、画像形成装置101の前面の前方にいる利用者1002が、撮像画像1001に含まれるように設置されている。
続いて、ステップS902において、特徴情報抽出部514は、ステップS901で取得した画像から、利用者の顔部分の画像(顔画像)を検出する。このとき、検出される顔画像の例を図10(b)に示す。特徴情報抽出部514は、例えば、カメラ102で撮像された撮像画像1001から、利用者の顔の輪郭1004、目1005、鼻1006等のパーツを抽出し、例えば、公知のパターンマッチング技術等を用いて利用者の顔画像1003を検出する。
続いて、ステップS903において、画像認証部515は、顔画像が検出されたか否かに応じて処理を分岐させる。顔画像が検出されない場合(S903のNo)、画像認証部515は、処理をステップS901に戻して、同様の処理を繰り返す。なお、ステップS903において、顔画像が一定回数検出できなかった場合、画像認証部515は、認証が拒否されたこと(認証結果が「NG」であること)を示す情報を、許可部516に送信する。画像認証部515は、認証が拒否されたこと(認証結果が「NG」であること)を示す情報を送信すると、本フローを終了する。
一方、顔画像が検出された場合(S903のYes)、ステップS904において、特徴情報抽出部514は、顔画像における所定の特徴を表す特徴情報を抽出する。
続いて、ステップS905において、画像認証部515は、特徴情報抽出部514が抽出した利用者の顔画像における特徴情報(第2特徴情報)と、登録されたそれぞれの利用者についての利用者情報に含まれる特徴情報(第1特徴情報)との類似度を算出する。図11には、それぞれの登録された利用者について算出した類似度の一例を示す。図11の例の類似度は、2つの特徴情報が完全に一致する場合が100%、2つの特徴情報が異なるほど0%に近くなる。
続いて、ステップS906において、画像認証部515は、画像認証を行う。具体的には、画像認証部515は、認証対象の利用者を撮像した画像における所定の特徴を表す特徴情報(第2特徴情報)と、登録された何れかの利用者についての利用者情報に含まれる特徴情報(第1特徴情報)との類似度が、予め定められた第1閾値以上であるか否かを判断する。
画像認証部515は、何れの類似度も、第1閾値未満である場合(第1閾値以上となる類似度が算出されなかった場合)、画像認証部515により撮像した画像の認証を拒否する(認証結果が「OK」ではない)。認証結果が「OK」ではない場合(S906のNo)、画像認証部515は、処理をステップS901に戻して、同様の処理を繰り返す。
なお、ステップS906において、認証結果が一定回数「OK」でない場合、画像認証部515は、認証が拒否されたこと(認証結果が「NG」であること)を示す情報を、許可部516に送信する。画像認証部515は、認証が拒否されたこと(認証結果が「NG」であること)を示す情報を送信すると、本フローを終了する。
画像認証部515は、何れかの利用者情報に含まれる特徴情報(第1特徴情報)と、利用者を撮像した画像に基づく特徴情報(第2特徴情報)との類似度が第1閾値以上である場合、画像認証部515により撮像した画像の認証を許可する(認証結果が「OK」である)。認証結果が「OK」である場合(S906のYes)、画像認証部515は、処理をステップS907に移行する。
続いて、ステップS907において、画像認証部515は、画像認証により認証が許可された利用者を特定する。例えば、画像認証部515は、類似度が第1閾値以上であった特徴情報を含んでいた利用者情報を参照して、画像認証により認証が許可された利用者を識別する情報(例えば、「利用者番号」)を特定する。
続いて、ステップS908において、通知部518は、認証対象の利用者を撮像した画像における所定の特徴を表す特徴情報(第2特徴情報)と、画像認証が許可された利用者についての利用者情報に含まれる特徴情報(第1特徴情報)との類似度が、予め定められた第2閾値以下であるか否かを判断する。通知部518は、類似度が第2閾値より大きい場合(S908のNo)、処理をステップS913に移行する。また、通知部518は、類似度が第2閾値以下である場合(S908のYes)、処理をステップS909に移行する。
ステップS909において、通知部518は、例えば、利用者に対して所定の通知をする。例えば、通知部518は、近い将来に認証が失敗する可能性が高いことを、利用者に通知する。
例えば、通知部518は、操作パネル105に、図12に示すような、認証の結果、類似度が閾値を下回ったので撮像をして自動で利用者情報を更新することを、利用者に通知する画面1201を表示する。画面1201には、確認ボタン1202が含まれる。通知部518は、利用者により確認ボタン1202が押された場合、例えば10秒経過後に、処理をステップS910に移行する。
ステップS910において、通知部518は、図12に示す画面1201を通知した後、撮像部513に、認証対象の利用者を撮像させる。撮像部513は、通知部518から指示を受けると、利用者を撮像する。
続いて、ステップS911において、特徴情報抽出部514は、通知部518が所定の情報を通知した後に利用者を撮像した画像から、利用者を撮像した画像(例えば顔画像)における所定の特徴を表す特徴情報を抽出する。
続いて、ステップS912において、更新部519は、特徴情報抽出部514が抽出した特徴情報に基づき、画像認証が許可された利用者についての利用者情報を更新する。例えば、更新部519は、特徴情報抽出部514が抽出した特徴情報を、画像認証が許可された利用者についての利用者情報に上書きする。ステップS912を終えると、更新部519は、処理をステップS913に移行する。
そして、ステップS913に移行すると、画像認証部515は、画像の認証が許可された(認証が「OK」となった)の利用者を識別する情報(例えば、「利用者番号」)を、許可部516に出力する。このとき、タグ認証部512は、画像の認証が許可された利用者を識別する情報と共に、認証が許可されたこと(認証結果が「OK」であること)を示す情報を、許可部516に送信してもよい。
図13は、変形例に係る画像認証処理の例を示すフローチャートである。画像形成装置101は、例えば、図13に示すような処理の流れで、画像認証処理を実行してもよい。図13に示す変形例に係る画像認証処理では、図9で示したフローチャートの処理の流れに加えて、ステップS1301〜ステップS1304をさらに実行する。
ステップS908において、類似度が第2閾値以下である場合(S908のYes)、通知部518は、処理をステップS1301に移行する。
ステップS1301において、通知部518は、タグ認証部512から出力された情報に基づいて、無線認証処理の結果が「OK」(許可)であるか否かを判断する。無線認証の処理の結果が「OK」(許可)である場合(S1301のYes)、通知部518は、処理をS1304に移行する。無線認証の処理の結果が「OK」(許可)でない場合(S1301のNo)、通知部518は、処理をS1302に移行する。
ステップS1302において、通知部518は、無線通信部511及びタグ認証部512に、無線認証処理の再開または継続をさせる。例えば、無線通信部511は、無線送信を再開して無線タグ104からタグIDを受信する。既に無線送信をしている場合には、無線通信部511は、無線送信を継続して無線タグ104からタグIDを受信する。そして、タグ認証部512は、無線通信部511がタグIDを受信した場合、タグIDを認証する。通知部518は、ステップS1302に続いて、処理をステップS1303に移行する。
S1303において、通知部518は、所定時間内に無線認証の処理の結果が「OK」(許可)となったか否かを判断する。所定時間内に無線認証の処理の結果が「OK」(許可)となった場合(S1303のYes)、通知部518は、処理をS1304に移行する。所定時間を経過しても無線認証の処理の結果が「OK」(許可)とならない場合(S1303のNo)、通知部518は、画像認証処理を終了して、本フローを終了する。
ステップS1304において、通知部518は、利用者情報を更新するか否かを選択させる。すなわち、通知部518は、認証対象の利用者を撮像した画像の認証が許可され、且つ、無線タグ104の認証が許可され、且つ、類似度が第2閾値以下の場合、利用者情報を更新するか否かを選択させる。
例えば、通知部518は、操作パネル105に、図14のAに示すような、利用者情報を更新するか否かを問い合わせる画面1401を表示する。画面1401には、自動更新ボタン1402と、手動更新ボタン1403とが含まれる。
画像形成装置101に搭載されているカメラ102により利用者を撮像して自動で利用者情報を更新する場合、利用者は、自動更新ボタン1402を押す。現時点では利用者情報を更新せずに、次の認証時に更新する場合または後で手動で利用者情報を行使する場合、利用者は、手動更新ボタン1403を押す。
自動更新ボタン1402が押された場合、すなわち、利用者情報を自動で更新する場合(S1304のYes)、通知部518は、処理をステップS909に移行する。ステップS909において、通知部518は、操作パネル105に、図14のBに示すような、利用者情報を更新するために撮像を行うことを通知する画面1411を表示する。画面1411には、確認ボタン1412が含まれる。通知部518は、利用者により確認ボタン1412が押された場合、例えば10秒経過後に、処理をステップS910に移行する。
一方、手動更新ボタン1403が押された場合、すなわち、利用者情報を更新しない場合(S1304のNo)、通知部518は、操作パネル105に、図14のCに示すような、利用者情報の更新をスキップすることを通知する画面1421を表示する。画面1421には、確認ボタン1422が含まれる。通知部518は、利用者により確認ボタン1422が押された場合、直ぐに、処理をステップS913に移行する。
このように画像形成装置101は、認証対象の利用者を撮像した画像の認証が許可され、且つ、無線タグ104の認証が許可され、且つ、類似度が第2閾値以下の場合に、利用者情報を更新するか否かを選択させることができる。また、画像形成装置101は、画像の認証が許可され、且つ、無線タグ104の認証が許可されたことによって、利用者情報を更新するか否かを選択させるので、例えば、他人が写真等を利用してなりすますような悪用を防止することができる。なお、通知部518は、S1301の判断において、無線認証処理の結果が「OK」(許可)であり、且つ、画像認証して特定された利用者と無線認証して特定された利用者が一致する場合に、利用者情報を更新するか否かを選択させてもよい。これにより、画像形成装置101は、より高いセキュリティを担保することができる。
図15は、認証日時に対する類似度の変化を表す図である。人の顔は時間の経過とともに変化する。従って、例えば図15に示すように、利用者情報を登録した日から時間を経過すると、認証対象の利用者の顔画像と登録時に撮像された利用者の顔画像との類似度は徐々に低下していく。
そして、さらに時間が経過すると、認証結果が「OK」ではないと判断される可能性がある。そこで、本実施形態に係る画像形成装置101は、画像認証が許可された場合、認証対象の利用者を撮像した画像における所定の特徴を表す特徴情報(第2特徴情報)と、画像認証が許可された利用者についての利用者情報に含まれる特徴情報(第1特徴情報)との類似度が、予め定められた第2閾値以下であるかを判断する。
そして、画像形成装置101は、類似度が、予め定められた第2閾値以下である場合に、利用者に対して所定の通知をする。例えば、画像形成装置101は、近い将来に認証が失敗する可能性が高いことを通知する。これにより、画像形成装置101は、利用者に対して、画像の認証が拒否される前に、利用者情報に含まれる特徴情報を、現在の利用者を撮像した画像に基づくものに更新することを促すことができる。
以上のように、本実施形態に係る画像形成装置101によれば、画像認証の失敗を防止することができる。
上記の実施形態に係る画像形成装置101の各部の機能(例えば、無線通信部511、タグ認証部512、撮像部513、特徴情報抽出部514、画像認証部515、許可部516、利用者情報管理部517、通知部518および更新部519等)は、CPU311、又はCPU321が、記憶装置(例えば、ストレージ部314、フラッシュメモリ部324、ROM312、ROM322等)に格納されたプログラムを実行することにより実現される。ただし、これに限られず、画像形成装置101の各部の機能の少なくとも一部は、専用のハードウェア回路(例えば半導体集積回路)で実現されるものであってよい。
また、上記の各実施形態では、本体310と操作部320は、別々のオペレーティングシステムで、互いに独立して動作しているが、これに限られず、例えば、本体310と操作部320は、同じオペレーティングシステムで動作する形態であってよい。
また、上記の各実施形態の画像形成装置101で実行されるプログラムは、インストール可能な形式、又は実行可能な形式のファイルで、各種の光学ディスク、磁気メディア、USBメモリ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してよい。或いは、上記の各実施形態の画像形成装置101で実行されるプログラムは、インターネット等のネットワーク経由で提供、又は配布するように構成してよい。また、各種プログラムを、ROM等の不揮発性の記録媒体に予め組み込んで提供するように構成してもよい。
以上、本発明の実施形態を説明したが、実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能である。