JP2022043439A - 画像形成装置、ユーザー認証方法及びユーザー認証プログラム - Google Patents

Abstract

【課題】顔認証時にマスク等によりユーザーの顔の一部が覆われていても、非接触で且つ利便性の高いユーザー認証を可能とする技術を提供する。【解決手段】本発明の画像形成装置は、ユーザーの認証機能を備えた画像形成装置であって、ユーザーの顔画像からユーザーの顔の特徴を表す第１特徴情報を抽出し、抽出した第１特徴情報と予め登録されたユーザーの顔の特徴を表す第２特徴情報とを比較して顔認証を行う第１認証部と、第１認証部による顔認証で第１特徴情報と第２特徴情報との間で少なくとも一部の情報が一致しない場合には、ユーザーにより実行される所定の動作を表す第１動作情報と予め登録されたユーザーの所定の動作を表す第２動作情報とを比較してユーザーの認証を行う第２認証部とを備える。【選択図】 図５

Description

本発明は、画像形成装置、ユーザー認証方法及びユーザー認証プログラムに関する。

従来、顔認証はユーザー認証システムにおいて広く利用されている。顔認証では、ユーザーの動きや表情などの変化により認証の失敗がよく発生する。そこで、従来、顔認証に失敗した場合に、ユーザーの顔の向きを所定方向に向かせることにより顔認証の精度を高める技術が提案されている（例えば、特許文献１参照）。特許文献１に記載の顔認証システムは、認証対象者を検出する検出手段と、該検出手段によって検出された認証対象者を撮像し動画像データを生成する撮像手段と、動画像データに基づいて認証対象者の顔の特徴を抽出し特徴情報を生成する特徴抽出手段と、特徴情報に基づき認証を行う認証手段と、特徴抽出手段によって認証対象者の顔の特徴が抽出できなかったときに、認証対象者に対して、顔を撮像手段の方向へ所定時間以上向かせるように誘導する誘導手段とを備える。

特開２０１０－２１８０３９号公報

ところで、昨今のコロナウイルス等の影響により、マスクの装着は世界中に普及しているが、顔認証では、マスクなどによりユーザーの顔の一部が覆われると、ユーザーを認証することができない。この場合には、マスクを外して再度、顔認証を行ったり、接触型のパスコード認証や静脈認証などを行ったりする必要がある。しかしながら、この場合には、ウイルス感染のリスクが発生するとともに、顔認証の利便性も低下する。それゆえ、マスク等によりユーザーの顔の一部が覆われた場合にも、非接触で且つユーザーがマスク等を外すことなく顔認証ができるような技術が求められている。なお、特許文献１に開示された技術は、登録されたユーザーの顔の向きの情報と、実際のユーザーの顔の向きが異なっていた場合に、ユーザーの顔の向きを登録された顔の向きに向かせることにより、顔認証の精度を高めるものであり、部分的に覆われた顔を認証する技術ではない。

本発明は、上記要望に応えるためになされたものであり、本発明の目的は、顔認証時にマスク等によりユーザーの顔の一部が覆われていても、非接触で且つ利便性の高いユーザー認証を可能とする画像形成装置及びユーザー認証方法を提供することである。

上記課題を解決するため、本発明の画像形成装置は、ユーザーの顔画像からユーザーの顔の特徴を表す第１特徴情報を抽出し、抽出した第１特徴情報と予め登録されたユーザーの顔の特徴を表す第２特徴情報とを比較して顔認証を行う第１認証部と、第１認証部による顔認証で第１特徴情報と第２特徴情報との間で少なくとも一部の情報が一致しない場合には、当該場合にユーザーにより実行される所定の動作を表す第１動作情報と予め登録されたユーザーの所定の動作を表す第２動作情報とを比較してユーザーの認証を行う第２認証部とを備える。

また、上記課題を解決するため、本発明のユーザー認証方法は、ユーザーの顔画像からユーザーの顔の特徴を表す第１特徴情報を抽出し、抽出した第１特徴情報と予め登録されたユーザーの顔の特徴を表す第２特徴情報とを比較して顔認証を行うことと、顔認証で第１特徴情報と第２特徴情報との間で少なくとも一部の情報が一致しない場合には、当該場合にユーザーにより実行される所定の動作を表す第１動作情報と予め登録されたユーザーの所定の動作を表す第２動作情報とを比較してユーザーの認証を行うこととを含む。

さらに、上記課題を解決するため、本発明のユーザー認証プログラムは、ユーザーの顔画像からユーザーの顔の特徴を表す第１特徴情報を抽出し、抽出した第１特徴情報と予め登録されたユーザーの顔の特徴を表す第２特徴情報とを比較して顔認証を行う処理と、顔認証で第１特徴情報と第２特徴情報との間で少なくとも一部の情報が一致しない場合には、当該場合にユーザーにより実行される所定の動作を表す第１動作情報と予め登録されたユーザーの所定の動作を表す第２動作情報とを比較してユーザーの認証を行う処理とを情報処理装置に実装して実行させる。

上記構成の本発明によれば、顔認証時にマスク等によりユーザーの顔の一部が覆われていても、非接触で且つ利便性の高いユーザー認証を可能とする技術を提供することができる。

ユーザーの顔が部分的に覆われた場合に発生する顔認証の問題を説明するための図である。 本発明の一実施形態に係る画像形成装置の外観を示す図である。 本発明の一実施形態に係る画像形成装置の内部構成を示すブロック図である。 本発明の一実施形態に係る画像形成装置の第２認証処理で利用され得るユーザーの所定の動作の一例を示す図である。 本発明の一実施形態に係る画像形成装置で行われるユーザー認証処理の手順を示すフローチャートである。

以下、本発明の一実施形態に係る画像形成装置及びそのユーザー認証方法の内容について、図面を参照しながら具体的に説明する。なお、本発明は以下の例に限定されるものではない。

本発明の一実施形態に係る画像形成装置の説明を行う前に、認証対象のユーザーの顔が部分的に覆われた場合に発生する問題をより具体的に説明する。

図１は、ユーザーの顔が部分的に覆われた場合に発生する顔認証の問題を説明するための図である。図１（ａ）に示す画像１００は、顔認証時に認証対象のユーザーの顔が部分的に覆われていない場合の認証画像である。図１（ｂ）に示す画像２００は、顔認証時に認証対象のユーザーの顔の一部がマスク２０１（マスク画像）で覆われている場合の認証画像である。

なお、画像形成装置に配置されているカメラデバイスを用いて顔認証を実施する場合、撮像された顔画像から抽出されるユーザーの顔の特徴を表す情報（以下、「特徴情報」と称する）、具体的には、ユーザーの顔の目、鼻、あごなどのパーツの位置情報に加え、パーツごとのスケルトン情報に基づいて顔認証を行う。それゆえ、説明の便宜上、図１（ａ）及び図１（ｂ）では、顔のパーツごとのスケルトン情報の画像（図中の破線で示す情報）を顔画像に重ね合わせて表示する。また、図１（ｂ）の画像２００中のユーザーの顔は、図１（ａ）の画像１００中のユーザーの顔と同じである。

図１（ａ）に示すように、ユーザーの顔の一部がマスク２０１に覆われていない場合には、通常通り、顔認証を行うことができる。しかしながら、図１（ｂ）に示すように、ユーザーの口及びその周辺部（鼻の一部、あごの一部）がマスク２０１により覆われている場合には、覆われた部分のパーツの位置情報及びスケルトン情報を抽出することができなくなり、顔認証が不可になる。この場合、マスクを外して再度、顔認証を行ったり、接触型のパスコード認証や静脈認証などを行ったりする必要がある。しかしながら、この場合には、ウイルス感染のリスクが発生するとともに、顔認証の利便性も低下する。

なお、ここでは、ユーザーがマスクを装着する場合の顔認証を例として説明したが、例えば、顔認証時のキー情報となる顔の目尻、目頭、口角等がマスク以外の何らかの物体等により覆われた場合にも、同様の問題が発生する。本発明は、上述のような問題を解決するためになされたものである。

［画像形成装置の概略構成］
図２は、本発明の一実施形態に係る画像形成装置の外観を示す図である。本実施形態に係る画像形成装置１は、スキャナー機能、コピー機能、ファクシミリ機能、ネットワーク機能、ＢＯＸ機能等の複数の機能が搭載された複合機（ＭＦＰ：Multi-Function Peripheral）とする。

画像形成装置１は、図２に示すように、操作表示部１１と、撮像部１３と、スキャナー１４と、自動原稿搬送部１５と、記録媒体供給部１６と、画像形成部１７と、記録媒体排出部１８とを備える。

本実施形態では、画像形成装置１の下部から、記録媒体供給部１６、画像形成部１７、記録媒体排出部１８、スキャナー１４及び自動原稿搬送部１５がこの順で配置され、操作表示部１１は、スキャナー１４の前面（ユーザーとの対向面）に配置される。また、撮像部１３は、操作表示部１１内の表示画面の上部に設けられる。

操作表示部１１は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-luminescence）ディスプレイなどの表示デバイスからなる表示部と、ユーザーからの指示、文字、数字、記号等を受け付け可能な各種操作キー、タッチセンサー等を含む操作部とで構成される。表示部、及び、操作部の一部（タッチセンサー）は、例えばタッチパネルとして一体に形成される。操作表示部１１は、操作部に入力されたユーザーからの操作内容を表す操作信号を生成し、該操作信号を後述の制御部２０（後述の図３参照）に供給する。また、操作表示部１１は、後術の制御部２０から供給される表示信号に基づいて、表示部に、ユーザーによる操作内容や設定情報等を表示する。なお、操作部をマウスやタブレットなどで構成し、表示部とは別体で構成することも可能である。

撮像部１３は、例えば、カメラで構成され、ユーザーの操作に従って被写体を撮像し、画像データを生成する。また、本実施形態では、ユーザーの顔認証を実施する際、撮像部１３は、操作表示部１１の前にいる認証対象のユーザーの顔や動きなどを撮像し、画像データを生成する。なお、撮像部１３は、ユーザーの顔認証時に生成した画像データを後述の第１認証部５１（後述の図３参照）に出力する。なお、本実施形態では、画像形成装置１が撮像部１３（撮像機能部）を備える構成を説明したが、本発明はこれに限定されない。画像形成装置１が撮像機能部を備えず、撮像機能部を外部から接続する構成にしてもよい。この場合、撮像機能部を画像形成装置１に接続する形態としては、有線で接続してもよいし、無線通信等の形態で接続してもよい。また、この場合、後述の第２認証処理での動作情報の取得の利便性を考慮して、撮像機能部は、操作表示部１１の近傍に配置することが好ましい。

スキャナー１４は、イメージセンサー等からなる画像読取装置の一例であり、原稿画像を読み取る。スキャナー１４は、原稿画像が形成された記録媒体を光学的に走査し、記録媒体からの反射光をＣＣＤ（Charge Coupled Device）センサーの受光面上に結像させて画像を読み取る。

自動原稿搬送部１５は、記録媒体を載置する載置トレイ、記録媒体を搬送する機構及び搬送ローラー等で構成され、記録媒体を所定の搬送路に搬送する。

記録媒体供給部１６は、記録媒体を格納する供給トレイと、記録媒体を搬送する搬送部とを有する。記録媒体供給部１６は、供給トレイ内の記録媒体を画像形成部１７に搬送する。

画像形成部１７は、画像形成に必要な構成要素で構成され、印刷ジョブの指定情報に基づき、所定の画像を記録媒体に印刷する。具体的には、記録媒体供給部１６に供給された記録媒体に対して、帯電装置により帯電された感光体ドラムに露光装置から画像に応じた光を照射して静電潜像を形成し、現像装置で帯電したトナーを付着させて現像し、そのトナー像を転写ベルトに１次転写し、転写ベルトから記録媒体に２次転写し、更に定着装置で記録媒体上のトナー像を定着させる処理を行う。画像形成された記録媒体は、記録媒体排出部１８に排出される。

記録媒体排出部１８は、排出トレイを有する。記録媒体排出部１８は、画像形成部１７により画像形成された記録媒体を排出トレイに排出する。

［画像形成装置の内部構成］
図３は、本実施形態に係る画像形成装置１の内部構成を示すブロック図である。画像形成装置１は、図３に示すように、図２で説明した各種構成部だけでなく、制御部２０と、記憶部３０と、ネットワークＩ／Ｆ４１と、ＷｉｒｅｌｅｓｓＩ／Ｆ４２と、短距離無線Ｉ／Ｆ４３と、第１認証部５１と、第２認証部５２と、第３認証部５３と、ユーザー検出部６０とを備える。また、これらの構成部間は、バス７０により電気的に接続され、バス７０は、各構成部間における信号の入出力が行われる信号経路である。なお、ここでは、図示しないが、画像形成装置１は、マイク等を含み、ユーザーの発声音等を認識可能な音声認識部が設けられている。

制御部２０は、ＣＰＵ（Central Processing Unit）２１と、ＲＯＭ（Read Only Memory）２２と、ＲＡＭ（Random Access Memory）２３とを有する。制御部２０は、例えば、マイクロプロセッサ等で構成され、画像形成装置１の全体制御を行う。

ＣＰＵ２１は、画像形成装置１内の各部の動作を制御する。例えば、ＣＰＵ２１は、操作表示部１１を介して行われるユーザーの印刷指示に基づいた画像形成部１７の画像形成処理の制御や、記録媒体供給部１６による記録媒体の供給処理の制御や、画像データのオブジェクト化処理の制御等を行う。また、本実施形態では、ＣＰＵ２１は、後述のユーザーの顔の認証時に、後述の第１認証部５１が実行する第１認証処理、後述の第２認証部５２が実行する第２認証処理、及び、後述の第３認証部５３が実行する第３認証処理の制御も行う。

ＲＯＭ２２は、例えば不揮発性メモリ等の記憶媒体で構成され、ＣＰＵ２１が実行及び参照するプログラムやデータ等を記憶する。また、本実施形態では、ＲＯＭ２２に、後述のユーザー認証処理で使用されるユーザー毎の各種認証情報が記憶される。具体的には、各ユーザーの顔の特徴情報、後述の動作情報等の非接触型の認証情報や、パスコード、指紋、静脈等の接触型の認証情報などが記憶される。なお、これらの各種認証情報は、例えば、ユーザーが操作表示部１１を操作することにより、予め登録される。

ＲＡＭ２３は、例えば揮発性メモリ等の記憶媒体で構成され、ＣＰＵ２１が行う各処理に必要な情報（データ）を一時的に記憶する。

記憶部３０は、ＣＰＵ２１によって実行されるプログラムを格納したコンピューター読取可能な非一過性の記録媒体で構成され、例えばＨＤＤ（Hard Disk Drive）等の記憶装置で構成される。記憶部３０は、ＣＰＵ２１が各部を制御するためのプログラム、ＯＳ（Operating System）、コントローラー等のプログラム、データを記憶する。なお、記憶部３０に記憶されるプログラム、データの一部は、ＲＯＭ２２に記憶されてもよい。また、ＣＰＵ２１によって実行されるプログラムを格納したコンピューター読取可能な非一過性の記録媒体は、ＨＤＤに限定されず、例えば、ＳＳＤ（Solid State Drive）、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等の記録媒体であってもよい。

ネットワークＩ／Ｆ４１は、通信用ＩＣ（Integrated Circuit）及び通信コネクタなどを有する通信インターフェイスであり、制御部２０の制御の下、所定の通信プロトコルを用いてネットワークを介して接続されている外部装置と各種情報の送受信を行う。

ＷｉｒｅｌｅｓｓＩ／Ｆ４２は、アンテナ、復調回路、信号処理回路等により構成され、Ｗｉ－Ｆｉ（登録商標）等の無線通信方式により、ネットワークを介して接続されている外部装置との間で無線通信を行う。

短距離無線Ｉ／Ｆ４３は、アンテナ、復調回路、信号処理回路等により構成され、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＩｒＤＡ（登録商標）等の無線通信方式により、画像形成装置１を操作するユーザーが所持する携帯端末等との間で無線通信を行う。

第１認証部５１は、制御部２０の指示に従い、撮像部１３により撮像されたユーザーの顔の画像データから特徴情報（第１特徴情報）を抽出し、抽出された特徴情報と、予め登録された当該ユーザーの認証用の特徴情報（第２特徴情報）とに基づいて顔認証処理（後述の第１認証処理）を行い、顔認証処理の結果を制御部２０に出力する。なお、第１認証部５１で行われる顔認証処理の具体的な内容については後で詳述する。

第２認証部５２は、制御部２０の指示に従い、予め登録されたユーザーにより実行される所定の動作を表す情報（以下、「動作情報」と称す：第２動作情報）と、撮像部１３により撮像又は音声認識部（不図示）により認識された当該ユーザーの当該所定の動作を表す動作情報（第１動作情報）とに基づいて認証処理（後述の第２認証処理）を行い、認証処理の結果を制御部２０に出力する。なお、第２認証部５２で行われる認証処理及び当該認証処理で使用されるユーザーの動作情報の具体的な内容については後で詳述する。

第３認証部５３は、制御部２０の指示に従い、ユーザーが操作表示部１１を使用して入力した認証用のパスコード、指紋、静脈等の情報と、予め登録された当該ユーザーのこれらの認証用情報（パスコード、指紋、静脈等）とに基づいて認証処理（後述の第３認証処理）を行い、認証処理の結果を制御部２０に出力する。なお、第３認証部５３で行われる認証処理の具体的な内容については後で詳述する。

ユーザー検出部６０は、例えば、人感センサーで構成され、画像形成装置１の操作表示部１１に近づいたユーザーを検知する。ユーザー検出部６０は、ユーザーを検知すると、制御部２０に通知する。なお、本実施形態では、ユーザー検出部６０からユーザーを検知した通知を受け取ると、制御部２０は、撮像部１３を制御して認証対象のユーザーの顔を撮像し、ユーザー認証処理を開始させるようにしてもよい。この場合には、ウイルス感染のリスクをより低下させることができるとともに、ユーザー認証の利便性も向上させることができる。

［ユーザー認証方法］
次に、本実施形態に係る画像形成装置１で行われるユーザー認証方法の概要を説明する。本実施形態のユーザー認証処理は、第１認証処理と、第２認証処理と、第３認証処理とで構成され、第１認証処理で認証に失敗した場合には、第２認証処理が行われ、第２認証処理でも認証に失敗した場合には、第３認証処理が行われる。また、本実施形態では、第１認証処理で認証に成功した場合には、第２及び第３認証処理は行われず、第２認証処理で認証に成功した場合には、第３認証処理は行われない。すなわち、第２及び第３認証処理は、第１認証処理の補完認証処理である。なお、以下に説明する本実施形態のユーザー認証処理の機能は、ソフトウェアで実現してもよいし、ハードウェアで実現してもよい。

（１）第１認証処理
第１認証処理では、顔認証処理が行われ、まず、第１認証部５１は、撮像部１３から入力された認証対象のユーザーの顔画像のデータから特徴情報を抽出する。次いで、第１認証部５１は、抽出された特徴情報と、予め登録された当該ユーザーの認証用の特徴情報とを比較して、顔認証を行う。なお、予め登録されたユーザーの認証用の特徴情報は、マスク等によりユーザーの顔が部分的に覆われていない顔画像（図１（ａ））から抽出された特徴情報である。そして、第１認証部５１は、顔認証の結果を制御部２０に出力する。

第１認証処理において行われる、撮像部１３で撮像された認証対象のユーザーの顔画像の特徴情報と予め登録された当該ユーザーの認証用の特徴情報との比較処理では、第１認証部５１は、両方の特徴情報の一致率（％表示）を算出する。なお、ここで言う特徴情報の一致率とは、予め登録された当該ユーザーの認証用の特徴情報に対する、撮像部１３で撮像された認証対象のユーザーの顔画像の特徴情報と予め登録された当該ユーザーの認証用の特徴情報との間で一致した特徴情報の割合のことである。

なお、撮像部１３で撮像された認証対象のユーザーの顔画像の特徴情報と予め登録された当該ユーザーの認証用の特徴情報との一致度としては、％表示される一致率以外にも、例えば、％表示しない値（０～１）や、一致率を定性的なレベルで表示したもの（例えば、レベルＡ，Ｂ…等）などを採用してもよい。また、本実施形態では、撮像部１３で撮像された認証対象のユーザーの顔画像の特徴情報と予め登録された当該ユーザーの認証用の特徴情報との比較処理において、第１認証部５１は、特徴情報の一致率を算出せずに、マスク等によりユーザーの顔が部分的に覆われているか否かの定性的な比較結果の情報のみを検出してもよい。

（２）第２認証処理
第２認証処理は、非接触型の認証処理が行われ、第１認証処理において算出された特徴情報の一致率が０％より大きく且つ１００％未満である場合（特徴情報が完全に一致しない場合及び完全に一致する場合以外の場合）に行われる。第２認証処理では、まず、第２認証部５２は、操作表示部１１を介して認証対象のユーザーに対して所定の動作を行うように指示する情報（今回の第２認証処理で認証対象となる所定の動作の種別情報）を報知する。次いで、認証対象のユーザーが指示された所定の動作を行うと、第２認証部５２は、認証対象のユーザーにより実行された所定の動作の動作情報（撮像部１３又は音声認識部で取得）と、予め登録された当該ユーザーの当該所定の動作の動作情報とを比較し、両者が一致するか否かを判定して、認証を行う。

第２認証処理で使用されるユーザーの認証用の所定の動作としては、例えば、「ジェスチャ」、「発声（所定の文言を発生する動作）」、「顔の向きの変更」、「視線の動き」、「瞬き」等の動作が含まれる。なお、所定の動作が「発声」である場合には、その動作は、音声認識部（不図示）により認識され、その他の所定の動作は、撮像部１３により撮像（認識）される。また、第２認証処理で使用されるユーザーの認証用の動作としては、画像形成装置１（操作表示部１１）に接触することなく認証できる動作であれば、任意の動作を採用することができる。ここで、図４に、第２認証処理でユーザーの所定の動作として利用される「視線の動き」の一例を示す。図４に示す「視線の動き」の画像３００の例では、ユーザーが撮像部１３に向いて、図中の矢印に沿って、位置Ｄ１、Ｄ２、Ｄ３、Ｄ４の順（逆Ｎ字型）に視線を移動させる例を示す。本実施形態では、図４に示すような「視線の動き」の動作情報が画像形成装置１に予め登録されている。

なお、画像形成装置１に予め登録される動作情報は、ユーザー毎に登録され、複数種の動作情報を登録することができる。そして、複数種の動作情報が登録されている場合には、第２認証処理に使用される動作情報の種別は、セキュリティ性を高めるため、第２認証処理の実行毎に変更される。この際、ユーザー等により予め設定された優先順位に応じて第２認証処理の実行毎に動作情報の種別を変更してもよいし、第２認証処理の実行毎にランダムに動作情報の種別を変更してもよい。

上述のように、第２認証処理で使用されるユーザーの認証用の動作としては、例えば、「ジェスチャ」、「発声」、「顔の向きの変更」、「視線の動き」、「瞬き」等の動作が含まれるが、例えば、「視線の動き」、「瞬き」等の動作は、「ジェスチャ」、「発声」、「顔の向きの変更」等の動作に比べて、細かな動作であり、複雑度の高い動きになる。すなわち、「視線の動き」、「瞬き」等の動作情報は、「ジェスチャ」、「発声」、「顔の向きの変更」等の動作情報に比べて、認証処理において、信頼度の高い動作情報となる。また、例えば、「ジェスチャ」、「発声」、「顔の向きの変更」等の動作による認証方法では、その認証情報（動作情報）が周囲に存在する他のユーザーに見られる（盗まれる）可能性が高いが、「視線の動き」、「瞬き」等の動作による認証方法では、その認証情報が周囲に存在する他のユーザーがいても盗まれる可能性が低い。それゆえ、後者の動作は、前者の動作に比べてセキュリティ性の高い動作とも言える。

それゆえ、本実施形態の第２認証処理では、上述した各動作の信頼度（セキュリティ性）を考慮し、第１認証処理で算出された特徴情報の一致率が比較的に低い場合には、信頼度の高い動作情報（例えば、「視線の動き」、「瞬き」等の動作情報）を用いた第２認証処理（以下、「信頼度の高い第２認証処理」と称する）を行う。一方、第１認証処理で算出された特徴情報の一致率が比較的に高い場合には、信頼度の低い動作情報（例えば、「ジェスチャ」、「発声」、「顔の向きの変更」等の動作情報）を用いた第２認証処理（以下、「信頼度の低い第２認証処理」と称する）を行う。

すなわち、本実施形態の第２認証処理では、第１認証処理で算出された特徴情報の一致率に応じて、信頼度の高い第２認証処理及び信頼度の低い第２認証処理（簡易認証処理）のいずれか一方が行われる。なお、信頼度の高い第２認証処理及び信頼度の低い第２認証処理のいずれを実行するかの判定で用いられる特徴情報の一致率の閾値（０％より大きく且つ１００％未満の範囲内の任意の値）は、例えば、画像形成装置１の管理者やユーザーが操作表示部１１や外部装置に対して所定の操作を行うことにより設定される。

（３）第３認証処理
第３認証処理では、接触型の認証処理が行われ、第１認証処理及び第２認証処理の両方で認証に失敗した場合に実行される。第３認証処理では、第３認証部５３は、操作表示部１１に対する認証対象のユーザーのタッチ操作やキーボタンへの押下操作などにより入力されたパスコード、指紋、静脈等の情報と、当該ユーザーにより予め登録されたパスコード、指紋、静脈等の情報とを比較して認証を行う。この際、１種類の認証情報を用いて認証を行ってもよいし、複数種の認証情報を組み合わせて認証を行ってもよい。

（４）ユーザー認証処理の手順
次に、図５を参照しながら、本実施形態の画像形成装置１で行われるユーザー認証処理の手順について説明する。なお、図５は、本実施形態の画像形成装置１で行われるユーザー認証処理の手順を示すフローチャートである。

ユーザーにより画像形成装置１に対してジョブの実行契機となる何らかの操作が行われると、制御部２０は、撮像部１３を制御して認証対象のユーザーの顔を撮像し、ユーザー認証処理を開始する。なお、本実施形態では、画像形成装置１の操作表示部１１に近づいたユーザーを検出するユーザー検出部６０を備えるので、ユーザー検出部６０に近づいたユーザーを検知した場合に、制御部２０は、撮像部１３を制御して認証対象のユーザーの顔を撮像し、ユーザー認証処理を開始させてもよい。

まず、制御部２０（ＣＰＵ２１）は、図５に示すように、第１認証部５１を制御して、第１認証を実行する（ステップＳ１）。この処理では、制御部２０は、第１認証部５１に対して第１認証処理の実行指示を出す。次いで、第１認証部５１は、制御部２０からの第１認証処理の実行指示を受け取ると、撮像部１３から入力された認証対象のユーザーの顔画像のデータから特徴情報を抽出し、抽出された特徴情報と、予め登録された当該ユーザーの認証用の特徴情報とを比較して特徴情報の一致率を算出する。そして、第１認証部５１は、算出した特徴情報の一致率を制御部２０に出力する。

次いで、制御部２０は、第１認証部５１から入力された特徴情報の一致率が、１００％、０％及び１％～９９％（１％以上９９％以下）のいずれであるかを判定する（ステップＳ２）。

ステップＳ２の処理において、制御部２０（ＣＰＵ２１）が、特徴情報の一致率が１００％であると判定した場合、すなわち、撮像部１３で撮像されたユーザーの顔画像の特徴情報が予め登録された当該ユーザーの認証用の特徴情報と完全に一致する場合には、制御部２０は、後述のステップＳ１０の処理を行う。

ステップＳ２の処理において、制御部２０（ＣＰＵ２１）が、特徴情報の一致率が０％であると判定した場合、すなわち、撮像部１３で撮像されたユーザーの顔画像の特徴情報が予め登録された当該ユーザーの認証用の特徴情報と完全に一致しない場合には、制御部２０は、後述のステップＳ１１の処理を行う。

また、ステップＳ２の処理において、制御部２０（ＣＰＵ２１）が、特徴情報の一致率が１％～９９％の範囲内の値であると判定した場合、すなわち、撮像部１３で撮像されたユーザーの顔画像の特徴情報が予め登録された当該ユーザーの認証用の特徴情報と一部だけ一致しない場合には、制御部２０は、特徴情報の一致率が閾値～９９％（閾値以上９９％以下）の範囲内の値であるか否かを判定する（ステップＳ３）。

ステップＳ３の処理において、制御部２０（ＣＰＵ２１）が、特徴情報の一致率が閾値～９９％の範囲内の値であると判定した場合（ステップＳ３がＹＥＳ判定である場合）、制御部２０は、第２認証部５２を制御して、信頼度の低い第２認証を実行する（ステップＳ４）。この処理では、制御部２０は、第２認証部５２に対して信頼度の低い第２認証処理の実行指示を出す。次いで、第２認証部５２は、制御部２０から信頼度の低い第２認証処理を実行する指示を受け取ると、信頼度の低い第２認証処理を行う。この際、第２認証部５２は、ステップＳ４の時点で認証対象のユーザーにより実行された所定の動作の動作情報と、予め登録された当該ユーザーの当該所定の動作の動作情報とを比較して両者が一致するか否かを判定する。そして、第２認証部５２は、当該第２認証処理の結果を制御部２０に出力する。

ステップＳ４の処理後、制御部２０（ＣＰＵ２１）は、第２認証部５２から入力された第２認証処理の結果に基づき、信頼度の低い第２認証処理で認証に成功したか否かを判定する（ステップＳ５）。この判定処理では、ステップＳ４の時点で認証対象のユーザーにより実行された所定の動作の動作情報が、予め登録された当該ユーザーの当該所定の動作の動作情報と一致する場合には、認証に成功したと判定（ＹＥＳ判定）され、それ以外の場合には、認証に成功しなかったと判定（ＮＯ判定）される。

ステップＳ５の処理において、制御部２０（ＣＰＵ２１）が、認証に成功したと判定した場合（ステップＳ５がＹＥＳ判定である場合）、制御部２０は、後述のステップＳ１０の処理を行う。一方、ステップＳ５の処理において、制御部２０が、認証に成功しなかったと判定した場合（ステップＳ５がＮＯ判定である場合）、制御部２０は、後述のステップＳ８の処理を行う。

ここで、再度、ステップＳ３の処理に戻って説明する。ステップＳ３の処理において、制御部２０（ＣＰＵ２１）が、特徴情報の一致率が閾値～９９％の範囲内の値でないと判定した場合（ステップＳ３がＮＯ判定である場合）、制御部２０は、第２認証部５２を制御して、信頼度の高い第２認証を実行する（ステップＳ６）。この処理では、制御部２０は、第２認証部５２に対して信頼度の高い第２認証処理の実行指示を出す。第２認証部５２は、制御部２０から信頼度の高い第２認証処理を実行する指示を受け取ると、信頼度の高い第２認証処理を行う。この際、第２認証部５２は、ステップＳ６の時点で認証対象のユーザーにより実行された所定の動作の動作情報と、予め登録された当該ユーザーの当該所定の動作の動作情報とを比較して両者が一致するか否かを判定する。そして、第２認証部５２は、当該第２認証処理の結果を制御部２０に出力する。

ステップＳ６の処理後、制御部２０（ＣＰＵ２１）は、第２認証部５２から入力された第２認証処理の結果に基づき、信頼度の高い第２認証処理で認証に成功したか否かを判定する（ステップＳ７）。この判定処理では、ステップＳ６の時点で認証対象のユーザーにより実行された所定の動作の動作情報が、予め登録された当該ユーザーの当該所定の動作の動作情報と一致する場合には、認証に成功したと判定（ＹＥＳ判定）され、それ以外の場合には、認証に成功しなかったと判定（ＮＯ判定）される。

ステップＳ７の処理において、制御部２０（ＣＰＵ２１）が、認証に成功したと判定した場合（ステップＳ７がＹＥＳ判定である場合）、制御部２０は、後述のステップＳ１０の処理を行う。一方、ステップＳ７の処理において、制御部２０が、認証に成功しなかったと判定した場合（ステップＳ７がＮＯ判定である場合）、制御部２０は、後述のステップＳ８の処理を行う。

ステップＳ５又はＳ７がＮＯ判定である場合、制御部２０（ＣＰＵ２１）は、第３認証部５３を制御して、第３認証を実行する（ステップＳ８）。この処理では、制御部２０は、第３認証部５３に対して第３認証処理の実行指示を出す。次いで、第３認証部５３は、制御部２０から第３認証処理を実行する指示を受け取ると、第３認証処理（接触方式の認証）を行う。この際、第３認証部５３は、認証対象のユーザーにより入力されたパスコード、指紋、静脈等の情報と、当該ユーザーにより予め登録されたパスコード、指紋、静脈等の情報とを比較して両者が一致するか否かを判定する。そして、第３認証部５３は、当該第３認証処理の結果を制御部２０に出力する。

ステップＳ８の処理後、制御部２０（ＣＰＵ２１）は、第３認証部５３から入力された第３認証処理の結果に基づき、第３認証で認証に成功したか否かを判定する（ステップＳ９）。この判定処理では、認証対象のユーザーにより入力されたパスコード、指紋、静脈等の情報が、当該ユーザーにより予め登録されたパスコード、指紋、静脈等の情報と一致する場合には、認証に成功したと判定（ＹＥＳ判定）され、それ以外の場合には、認証に成功しなかったと判定（ＮＯ判定）される。

ステップＳ９の処理において、制御部２０（ＣＰＵ２１）が、認証に成功したと判定した場合（ステップＳ９がＹＥＳ判定である場合）、制御部２０は、後述のステップＳ１０の処理を行う。一方、ステップＳ９の処理において、制御部２０（ＣＰＵ２１）が、認証に成功しなかったと判定した場合（ステップＳ９がＮＯ判定である場合）、制御部２０は、後述のステップＳ１１の処理を行う。

ステップＳ２で特徴情報の一致率が１００％であると判定された場合、ステップＳ５がＹＥＳ判定である場合、ステップＳ７がＹＥＳ判定である場合、又は、ステップＳ９がＹＥＳ判定である場合、すなわち、ユーザーの認証に成功した場合、制御部２０（ＣＰＵ２１）は、ユーザー認証を許可する（ステップＳ１０）。この処理により、認証対象のユーザーが画像形成装置１を使用することが可能になる。そして、ステップＳ１０の処理後、制御部２０（ＣＰＵ２１）は、ユーザー認証処理を終了する。

ステップＳ２で特徴情報の一致率が０％であると判定された場合、又は、ステップＳ９がＮＯ判定である場合、すなわち、ユーザーの認証に失敗した場合、制御部２０（ＣＰＵ２１）は、ユーザー認証を拒否する（ステップＳ１１）。この処理により、認証対象のユーザーが画像形成装置１を使用することが不可になる。そして、ステップＳ１１の処理後、制御部２０（ＣＰＵ２１）は、ユーザー認証処理を終了する。

［効果］
上述のように、本実施形態のユーザー認証技術では、非接触方式の第１認証処理（顔認証）において、撮像部１３で撮像された認証対象のユーザーの顔画像の特徴情報が予め登録された当該ユーザーの認証用の特徴情報と部分的に一致しない場合（マスク等によりユーザーの顔の一部が覆われた場合）には、第１認証処理の補完認証として、顔認証以外の非接触方式の認証処理である第２の認証処理を実行する。それゆえ、本実施形態のユーザー認証技術では、顔認証時にマスク等によりユーザーの顔が部分的に覆われていた場合であっても、ユーザーがマスク等を外して再度、顔認証を行ったり、接触型のパスコード認証、静脈認証などを行ったりすることなくユーザーを認証することができる。この場合、ウイルス感染のリスクを低下させることができるとともに、ユーザー認証の利便性を高めることもできる。すなわち、本実施形態の画像形成装置１及びユーザー認証方法では、顔認証時にマスク等によりユーザーの顔の一部が覆われていても、非接触で且つ利便性の高いユーザー認証を可能とする技術を提供することができる。

［各種変形例］
以上では、本発明の一実施形態に係る画像形成装置１の構成及び画像形成装置１におけるユーザー認証方法を説明したが、本発明はこれらに限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限り、その他種々の変形例の態様を取ることができる。

上記実施形態では、第１認証処理の顔認証において、撮像部１３で撮像されたユーザーの顔画像の特徴情報が予め登録された当該ユーザーの認証用の特徴情報と完全に一致しない場合（特徴情報の一致率が０％である場合）には、ユーザー認証を拒否する構成例を説明したが、本発明はこれに限定されない。例えば、第１認証処理の顔認証において、撮像部１３で撮像されたユーザーの顔画像の特徴情報が予め登録された当該ユーザーの認証用の特徴情報と完全に一致しない場合にも第２認証処理を実行するような構成にしてもよい。

上記実施形態及び上記変形例では、信頼度の低い第２認証処理において、単一の動作情報を用いて認証を行う例を説明したが、本発明はこれに限定されない。上述のように、例えば、「ジェスチャ」、「発声」、「顔の向きの変更」等の動作はセキュリティ性の低い動作であるので、信頼度の低い第２認証処理において、これらの動作情報を使用する場合には、セキュリティ性を高めるため、複数種の動作情報を組み合わせて認証を行うような構成にしてもよい。また、信頼度の高い第２認証処理においても複数種の動作情報を組み合わせて認証を行うような構成にしてもよい。

上記実施形態及び上記各種変形例では、第２認証処理として、第１認証処理で算出された特徴情報の一致率に応じて信頼度の異なる２種類の第２認証処理を設ける例を説明したが、本発明はこれに限定されない。

例えば、第２認証処理を、第１認証処理で算出された特徴情報の一致率（０％及び１００％は除く）に関係なく、１種類の第２認証処理で構成してもよい。この場合には、認証に用いられる動作情報の信頼度に関係なく、各動作情報に対して上述した第２認証処理と同様の認証処理を行う構成にしてもよい。また、この場合には、第１認証処理で算出された特徴情報の一致率が所定値以上で且つ１００％未満である場合にのみ第２認証処理を実行し、特徴情報の一致率が所定値未満である場合には第２認証処理を実行しないような構成にしてもよい。すなわち、例えば、第２認証処理を上述した信頼度の低い第２認証処理のみで構成してもよい。なお、この構成では、第２認証処理の実行の有無の判定で用いられる特徴情報の一致率の所定値は、画像形成装置１の管理者やユーザー等が操作表示部１１や外部装置に対して所定の操作を行うことにより設定される。

また、例えば、第２認証処理を、第１認証処理で算出された特徴情報の一致率（０％及び１００％は除く）に応じて、３種類以上の第２認証処理で構成してもよい。この場合には、認証に用いられる動作情報の信頼度による分類をさらに細分化（例えば、信頼度を高、中、低等に分類）して、３種類以上の動作情報の信頼度に対応した第２認証処理が設けられる。

上記実施形態及び上記各種変形例では、第１認証処理で算出された特徴情報の一致率に応じて信頼度の異なる複数種の第２認証処理を設ける例を説明したが、本発明はこれに限定されない。例えば、ユーザーの重要度（ＶＩＰユーザー等）等の他の情報に応じて、複数種の第２認証処理を設けてもよい。この場合、例えば、ユーザーの重要度が高い場合（ユーザーがＶＩＰユーザーである場合）には、信頼度の低い第２認証処理を行い、ユーザーの重要度が低い場合には、信頼度の高い第２認証処理を行うような構成にしてもよい。

上記実施形態及び上記各種変形例では、第２認証処理においてユーザーの認証用の動作情報を複数種設ける例を説明したが、本発明はこれに限定されず、第２認証処理においてユーザーの認証用の動作情報を１種類のみ設ける構成にしてもよい。

上記実施形態及び上記各種変形例では、第２認証処理において動作情報を認証情報として用いる例を説明したが、本発明はこれに限定されない。例えば、動作情報以外で使用可能な非接触型の情報を第２認証処理の認証情報として用いてもよい。

上記実施形態及び上記各種変形例では、画像形成装置１において、第１認証部５１、第２認証部５２及び第３認証部５３を制御部２０の外部に設けられる構成例を説明したが、本発明はこれに限定されない。例えば、第１認証部５１、第２認証部５２及び第３認証部５３が制御部２０の内部に含まれるような構成にしてもよい。

また、上記実施形態及び上記各種変形例では、上述した本発明のユーザー認証技術を画像形成装置１の認証機能に適用する例を説明したが、本発明はこれに限定されず、本発明のユーザー認証技術は、ユーザーの顔認証機能を備えた装置であれば、任意の装置に適用することができる。

１…画像形成装置、１１…操作表示部、１３…撮像部、１４…スキャナー、１５…自動原稿搬送部、１６…記録媒体供給部、１７…画像形成部、１８…記録媒体排出部、２０…制御部、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、５１…第１認証部、５２…第２認証部、５３…第３認証部、６０…ユーザー検出部

Claims (16)

1. ユーザーの顔画像から前記ユーザーの顔の特徴を表す第１特徴情報を抽出し、抽出した前記第１特徴情報と予め登録された前記ユーザーの顔の特徴を表す第２特徴情報とを比較して顔認証を行う第１認証部と、
   前記第１認証部による顔認証で前記第１特徴情報と前記第２特徴情報との間で少なくとも一部の情報が一致しない場合には、前記ユーザーにより実行される所定の動作を表す第１動作情報と予め登録された前記ユーザーの前記所定の動作を表す第２動作情報とを比較して前記ユーザーの認証を行う第２認証部と、を備える
   画像形成装置。
2. 前記第１認証部による顔認証で、前記第１特徴情報が前記第２特徴情報と完全に一致する場合、又は、前記第１特徴情報が前記第２特徴情報と完全に一致しない場合には、前記第２認証部による前記ユーザーの認証は行われない
   ことを特徴とする請求項１に記載の画像形成装置。
3. 前記第１認証部による顔認証で、前記第１特徴情報が前記第２特徴情報と完全に一致しない場合には、前記第２認証部による前記ユーザーの認証が行われる
   ことを特徴とする請求項１に記載の画像形成装置。
4. 前記第１認証部は、顔認証の結果として、前記第１特徴情報と前記第２特徴情報との一致度を算出する
   ことを特徴とする請求項１～３のいずれか一項に記載の画像形成装置。
5. 前記第２認証部は、前記第１認証部で算出された前記一致度が所定値以上である場合には、前記ユーザーの認証を行う
   ことを特徴とする請求項４に記載の画像形成装置。
6. さらに、前記画像形成装置の管理者又は前記ユーザーにより前記所定値を設定可能にする操作部を備える
   ことを特徴とする請求項５に記載の画像形成装置。
7. 前記第２認証部は、前記第１認証部で算出された前記一致度に応じて、第１の認証及び前記第１の認証より信頼度の高い第２の認証の一方を行う
   ことを特徴とする請求項４～６のいずれか一項に記載の画像形成装置。
8. 前記第２認証部による認証で使用される前記第２動作情報として、複数種の第２動作情報が設けられ、
   前記第２認証部による認証が行われる度に前記第２動作情報の種別を変え、
   前記第２認証部による認証では、当該認証で使用される種別の前記第２動作情報と、前記第２動作情報の種別に対応する前記第１動作情報とを比較する
   ことを特徴とする請求項１～７のいずれか一項に記載の画像形成装置。
9. 前記第２認証部による認証で使用される前記第２動作情報として、複数種の第２動作情報が設けられ、
   前記第２認証部による認証では、複数種の前記第２動作情報を組み合わせて認証を行う
   ことを特徴とする請求項１～８のいずれか一項に記載の画像形成装置。
10. 前記複数種の第２動作情報にそれぞれ対応する前記ユーザーの複数種の前記所定の動作には、前記ユーザーのジェスチャ、発声、顔の向きの変更、視線の動き、及び、目の瞬きが含まれる
    ことを特徴とする請求項８又は９に記載の画像形成装置。
11. さらに、前記第１認証部による顔認証で前記第１特徴情報と前記第２特徴情報との間で少なくも一部の情報が一致せず、且つ、前記第２認証部による認証で前記第１動作情報が前記第２動作情報と一致しない場合に、接触方式の認証を行う第３認証部を備える
    ことを特徴とする請求項１～１０のいずれか一項に記載の画像形成装置。
12. 前記第３認証部による認証は、パスワード認証である
    ことを特徴とする請求項１１に記載の画像形成装置。
13. 前記第３認証部による認証は、指紋認証である
    ことを特徴とする請求項１１に記載の画像形成装置。
14. さらに、前記ユーザーの顔画像を撮像する撮像部を備える
    ことを特徴とする請求項１～１３のいずれか一項に記載の画像形成装置。
15. ユーザーの顔画像から前記ユーザーの顔の特徴を表す第１特徴情報を抽出し、抽出した前記第１特徴情報と予め登録された前記ユーザーの顔の特徴を表す第２特徴情報とを比較して顔認証を行うことと、
    前記顔認証で前記第１特徴情報と前記第２特徴情報との間で少なくとも一部の情報が一致しない場合には、前記ユーザーにより実行される所定の動作を表す第１動作情報と予め登録された前記ユーザーの前記所定の動作を表す第２動作情報とを比較して前記ユーザーの認証を行うことと、を含む
    ユーザー認証方法。
16. ユーザーの顔画像から前記ユーザーの顔の特徴を表す第１特徴情報を抽出し、抽出した前記第１特徴情報と予め登録された前記ユーザーの顔の特徴を表す第２特徴情報とを比較して顔認証を行う処理と、
    前記顔認証で前記第１特徴情報と前記第２特徴情報との間で少なくとも一部の情報が一致しない場合には、前記ユーザーにより実行される所定の動作を表す第１動作情報と予め登録された前記ユーザーの前記所定の動作を表す第２動作情報とを比較して前記ユーザーの認証を行う処理と、を情報処理装置に実装して実行させる
    ユーザー認証プログラム。

Images