JP2006344100A - 認証装置、画像出力装置 - Google Patents

Abstract

【課題】容易な構成で顔を正面から撮影して認証用の顔画像を取得することができる技術を提案する。
【解決手段】特定の操作部である実行ボタン１３ａの近傍に撮像部１１が配置される。ユーザーが実行ボタン１３ａを操作する際に撮像部１１によって取得された画像から正面顔画像を検出して、顔認証動作を行う。このような構成により、実行ボタン１３ａを操作する際にはユーザーが実行ボタン１３ａの方向を向くといった習性を利用することで、容易な構成で顔を正面から撮影して認証用の顔画像を取得することができる。
【選択図】図２

Description

本発明は、認証技術に関する。

近年、各種オフィスにおいて、ファックスやコピーやスキャナーなどといった複数の機能を併せ持つＭＦＰ(Multi Function Peripheral)が普及してきている。

このようなＭＦＰなどといった大型オフィス用事務機では、秘密文書が勝手に持ち出される情報漏洩や事務機の無断使用などといった情報および使用者を管理する上でのセキュリティーが問題となっている。

このような問題を解決するために、指紋や静脈の情報などを用いた認証によって使用者を制限するような技術が実用化されているが、指紋および静脈認証では、使用者が意識的にセンサーに触れる動作などが必要となるため、使用者にとっては拒絶感がある。

これに対して、カメラによって使用者の顔画像を取得して、顔画像を用いた認証を行う技術が提案されている（例えば、特許文献１）。この顔画像を用いた認証では、使用者が特に意識することなく、認証動作が行われるため、ほとんど拒絶感がない。

但し、顔画像を用いた認証では、使用者が正面を向いた状態で、顔画像を取得しなければ、顔画像の情報が少なく、正しく認証を行うことが難しくなる。

そこで、人体の正面方向を検出し、カメラを人体正面方向に向かせた状態で、カメラで連続して画像データを取得し、これらの画像データから顔を認識する技術が提案されている（例えば、特許文献２）。

このような技術に関する先行技術文献としては、以下のようなものがある。

特開２００３−１０８９８４号公報 特開２００４−４６３９９号公報

しかしながら、特許文献２で提案されている技術では、カメラを人体正面方向に向かせるための構成が必要であり、このような構成を実現するための装置構成が大がかりとなってしまう。

本発明は、上記課題に鑑みてなされたものであり、容易な構成で顔を正面から撮影して認証用の顔画像を取得することができる技術を提案することを目的とする。

上記の課題を解決するために、請求項１の発明は、認証装置であって、特定の操作部と、前記特定の操作部の近傍に配置され、被写体に係る画像を取得する撮像部と、前記画像から顔画像を検出する顔検出手段と、前記顔画像を用いた顔認証動作を行う認証手段とを備え、前記顔検出手段が、ユーザーによる前記特定の操作部の操作時に前記撮像部によって取得された操作時画像から正面顔画像を検出し、前記認証手段が、前記正面顔画像を用いた正面顔の顔認証動作を行うことを特徴とする。

また、請求項２の発明は、請求項１に記載の認証装置であって、前記顔検出手段が、ユーザーによる前記特定の操作部の操作時に前記撮像部によって取得された複数の操作時画像から前記正面顔画像を検出することを特徴とする。

また、請求項３の発明は、請求項１または請求項２に記載の認証装置であって、前記認証手段が、前記撮像部によって取得された画像から前記顔検出手段によって所定の大きさの顔画像が検出されたことに応答して、前記正面顔の顔認証動作よりも低精度の顔認証動作を行うことを特徴とする。

また、請求項４の発明は、請求項１から請求項３のいずれかに記載の認証装置であって、前記正面顔の顔認証動作による認証結果に基づいて、前記特定の操作部の操作に対応づけられた所定の動作の実行を制限する制限手段を更に備えることを特徴とする。

また、請求項５の発明は、請求項２に記載の認証装置であって、前記撮像部が、第１および第２の撮像部を有し、前記複数の操作時画像が、前記ユーザーによる前記特定の操作部の操作時に前記第１および第２の撮像部によってそれぞれ取得される第１および第２の操作時画像の組を複数含み、前記認証装置が、前記第１および第２の操作時画像の組に基づいて、顔を構成する複数の所定要素の３次元位置を検出する３次元位置検出手段と、前記複数の所定要素の３次元位置に基づいて、前記ユーザーの顔の姿勢を検出する顔姿勢検出手段と、前記顔検出手段が、前記顔の姿勢に基づいて、前記複数の操作時画像から前記正面顔画像を検出することを特徴とする。

また、請求項６の発明は、請求項１から請求項４のいずれかに記載の認証装置であって、前記撮像部が、第１および第２の撮像部を有し、前記認証装置が、前記第１および第２の撮像部によって取得される画像の組に基づいて、顔を構成する複数の所定要素の３次元位置を検出する３次元位置検出手段を更に備え、前記認証手段が、前記正面顔画像と前記複数の所定要素の３次元位置の情報とを用いた正面顔の顔認証動作を行うことを特徴とする。

また、請求項７の発明は、請求項１から請求項４のいずれかに記載の認証装置であって、前記撮像部が、第１および第２の撮像部を有し、前記認証装置が、前記第１および第２の撮像部によって取得される画像の組に基づいて、顔を構成する複数の所定要素の３次元位置を検出する３次元位置検出手段と、前記複数の所定要素の３次元位置に基づいて、前記ユーザーの顔の姿勢を検出する顔姿勢検出手段と、所定の表示面に画面を表示する表示手段と、前記顔の姿勢に応じて前記画面のコントラストを強調するコントラスト変更手段とを更に備えることを特徴とする。

また、請求項８の発明は、請求項１に記載の認証装置であって、前記操作時画像を所定の記憶部に記憶させる記憶制御手段を更に備えることを特徴とする。

また、請求項９の発明は、請求項５から請求項７のいずれかに記載の認証装置であって、前記複数の所定要素の３次元位置の情報を、前記操作時画像とともに所定の記憶部に記憶させる記憶制御手段を更に備えることを特徴とする。

また、請求項１０の発明は、画像出力装置であって、画像を可視的に出力する画像出力手段と、請求項１から請求項９のいずれかに記載の認証装置と、前記認証装置における顔認証動作の認証結果に応じて、前記画像出力手段による画像の出力を制限する制御手段とを備えることを特徴とする。

請求項１から請求項９のいずれに記載の発明によっても、特定の操作部の近傍に撮像部を配置し、ユーザーが特定の操作部を操作する際に撮像部によって取得された画像から顔画像を検出して、顔認証動作を行うような構成により、特定の操作部を操作する際にはユーザーが特定の操作部の方向を向くといった習性を利用することで、容易な構成で顔を正面から撮影して認証用の顔画像を取得することができる。その結果、顔認証に好適な正面顔の画像を得ることができるため、顔認証の精度を向上させることができる。また、ユーザーに特に意図させることなくユーザーの顔を正面から撮影することができる。

また、請求項２に記載の発明によれば、特定の操作部の操作時に得られる複数枚の画像から最も正面を向いた顔画像を検出して、顔認証動作を行うような構成により、更に顔認証に好適な正面顔の画像を得ることができるため、顔認証の精度をより向上させることができる。

また、請求項３に記載の発明によれば、所定の大きさの顔画像が検出されたことに応答して、正面顔の顔認証動作よりも低精度の顔認証動作を行うような構成とすることで、場合によって、低精度の顔認証と、高精度の顔認証とを適宜使い分けることができる。

また、請求項４に記載の発明によれば、正面顔画像を用いた顔認証動作による認証結果に基づいて、特定の操作部の操作に対応づけられた所定の動作の実行を制限するような構成とすることで、高精度の顔認証によって特定の操作に対応づけられた所定の動作の実行権限を的確に判定することができる。

また、請求項５に記載の発明によれば、特定の操作部の近傍に複数の撮像部を配置して、ユーザーによる特定の操作部の操作時に、当該複数の撮像部によってそれぞれ取得される複数の画像に基づいて、顔を構成する複数要素の３次元位置を検出することでユーザーの顔の姿勢を検出して、複数の操作時画像から正面顔画像を検出するような構成により、より正面顔画像を的確に得ることができるため、更に高精度の顔認証が可能となる。

また、請求項６に記載の発明によれば、顔を構成する複数要素の３次元位置を示す情報を顔認証動作に用いるような構成とすることで、顔認証動作に用いる副次的な成分を増加させることができるため、結果的に顔認証の精度を更に高めることができる。

また、請求項７に記載の発明によれば、顔を構成する複数要素の３次元位置から求められる顔の姿勢に応じて、所定の表示面に表示される画面のコントラストを強調するような構成とすることで、ユーザーの姿勢に応じて、所定の表示面に表示される画面を見易くすることができる。

また、請求項８に記載の発明によれば、特定の操作部の操作時に取得される画像を所定の記憶部に記憶させるような構成とすることで、ユーザーの使用履歴として、ユーザーの顔を捉えた画像を記憶させることができるため、ユーザーを容易に特定することができる使用履歴を示す情報を容易に得ることができる。

また、請求項９に記載の発明によれば、顔を構成する複数要素の３次元位置の情報を、操作時に撮像部によって取得される画像とともに所定の記憶部に記憶させるような構成により、使用履歴の内容を充実させることができ、ユーザーの特定を更に精度良く行うことができる。

また、請求項１０に記載の発明によれば、高精度の認証によって画像の出力権限を有する者を容易かつ的確に判定することができる。

以下、本発明の実施形態を図面に基づいて説明する。

＜第１実施形態＞
＜ＭＦＰの概要＞
図１は、第１実施形態に係る認証装置１００が搭載されたマルチ・ファンクション・ペリフェラル（以下、「ＭＦＰ」と略する）１を示す外観図である。ＭＦＰ１は、スキャナ、複写機、プリンタ、ファックス等の複数の画像処理機能を有する複合機であり、ネットワークを介したデータの送受信が可能である。また、ＭＦＰ１は、複写機、プリンタ、ファックス等によって各種画像を出力する画像出力装置としても機能するし、ファックス等によって各種画像を送信する画像送信装置としても機能する。

ＭＦＰ１は、図１に示すように、デジタルカメラの機能を有する撮像部１１と、ユーザに対する指示メニューや取得した画像に関する情報等の表示を行うディスプレイ１２と、複数のキーを備え、当該キーに対するユーザの操作による各種の指示や、文字・数字等のデータの入力を受け付ける操作部群１３と、を備える操作パネル１０、原稿を光電的に読み取って画像データを得るスキャナ部２０、および画像データに基づいて記録シート上に画像を印刷するプリンタ部３０を備える。なお、操作パネル１０は、ＭＦＰ１の正面上部に配置されている。

また、ＭＦＰ１は、本体上面に原稿をスキャナ部２０に送るフィーダ部２１、下部にはプリンタ部３０に記録シートを供給する給紙部４０、中央部にはプリンタ部３０によって画像が印刷された記録シートが排出されるトレイ５０、内部にはネットワークを介して外部機器と画像データ等の送受信を行う通信部６０、および各種データ等を記憶する記憶部に相当するハードディスク７０を備えている。なお、図示は省略しているがＭＦＰ１はネットワーク・インターフェイス（ネットワークＩ／Ｆ）を有し、通信部６０は外部機器との間で各種データの送受信が可能なようにネットワークＩ／Ｆを介してネットワークに接続されている。

ディスプレイ１２は、データ送信の宛先の一覧表示を含む種々の表示に使用される一方、操作部群１３はユーザによる送信先（宛先）の選択を含む種々の入力に用いられるものであり、これらがユーザーインターフェース（ユーザーＩ／Ｆ）の要部として機能する。

また、撮像部１１は被写体に係る画像を取得するものであり、操作パネル１０の所定の位置に配置されている。撮像部１１は通常１／３０秒毎に画像を取得する。

図２は操作パネル１０の外観に着目した図である。

図２に示すように、操作パネル１０の中央部から左方にかけてディスプレイ１２が配置され、右方の部分に操作部群１３が配置されている。ディスプレイ１２は、表示した情報を利用者が指で触れることで選択できるタッチパネルとしても機能する。そして、操作部群１３の右下部には、コピー等の出力処理の実行を指示する特定の操作部に相当するスタートボタン（実行ボタン）１３ａが配置され、更に、スタートボタン１３ａの近傍（ここでは、直ぐに上方）に撮像部１１（実際には、撮像部１１の撮影レンズ）が配置されている。

一般に、実行ボタン１３ａを押下する際にはユーザーは顔と視線を向ける。具体的には、先ず、視線が実行ボタン１３ａに対して向いて、その後、遅れて顔が向く。このような人間の習性を考慮して、ここでは、実行ボタン１３ａ等といった特定の操作部材の付近に撮像部１１を配置すると、特定の操作部材を操作する際に、ユーザーが正面を向いた顔の画像を取得することができる。

図１に戻って説明を続ける。

スキャナ部２０は、写真、文字、絵などの画像情報を原稿から光電的に読み取って画像データを取得する。取得された画像データ（濃度データ）は、図示しない画像処理部においてデジタルデータに変換され、周知の各種画像処理を施された後、プリンタ部３０や通信部６０に送られ、画像の印刷やデータの送信に供されるか、または、後の利用のためにハードディスク７０に格納される。

プリンタ部３０は、スキャナ部２０により取得された画像データ、通信部６０により外部機器から受信した画像データ、またはハードディスク７０に格納されている画像データに基づいて記録シート上に画像を印刷することで、画像を可視的に出力する。

通信部６０は、公衆電話回線を介してファクシミリデータの送受信を行う他、ＬＡＮ、インターネット等のネットワークを介して、該ネットワークに接続された外部機器との間で電子メール等を用いて画像データ（画像）等を含む各種データの送受信、すなわち入出力を行う。これにより、ＭＦＰ１は、通常のファクシミリ通信を行うファクシミリ装置としての機能のみならず、電子メールの送受信端末としての機能も有する。したがって、電子メールの添付ファイルとして、各種画像データや文書データなどを送受信することもできる。なお、ＭＦＰ１が行うネットワーク通信は有線でもよく無線でもよい。

＜機能構成＞
図３は、ＭＦＰ１に設けられた構成のうち主に認証装置１００に係る部分を示すブロック図である。ＭＦＰ１は、ＭＦＰ１全体の動作を制御するコントローラー１２０を備える。このコントローラー１２０は、各種演算処理を行うＣＰＵ１２１と、各種データを記憶するＲＡＭ１２２、および所定のソフトウェアプログラム（以下、単に「プログラム」と称する）１３１を記憶するＲＯＭ１３０を備えて構成される。

また、コントローラー１２０には、ディスプレイ１２、及び操作部群１３を含むユーザーＩ／Ｆ２３０、撮像部１１、スキャナ部２０、プリンタ部３０、およびハードディスク７０も接続される。ハードディスク７０は、画像データ等の各種データを保存する不揮発性の記憶媒体である。なお、ＲＡＭ１２２は、不揮発性メモリ(nonvolatile RAM)である。

これにより、コントローラー１２０のＣＰＵ１２１の制御の下にＲＡＭ１２２、スキャナ部２０、プリンタ部３０、並びにハードディスク７０の間で各種データの受け渡しが可能とされており、ディスプレイ１２には、コントローラー１２０のＣＰＵ１２１の制御により、ＲＡＭ１２２、ハードディスク７０に記憶されている情報の表示が行われる。

さらに、コントローラー１２０には、ネットワークを介して接続される外部機器との間でデータの送受信を行うための通信部６０も接続される。つまり、ＭＦＰ１は、データの送信を行うデータ送信システム、およびデータの受信を行うデータ受信システムとしても機能する。

通信部６０は、上述したように電子メール（E-Mail）の送信を行う機能を有している。この機能は、通信部６０が、コントローラー１２０などと協働することによって実現される。そして、コントローラー１２０の制御の下で、通信部６０が所定の送信先に電子メールを送信することができる。

ハードディスク７０は、図４に示すように、後述する顔認証に用いるための基準となる顔をとらえた画像（以下「基準顔画像」とも称する）が複数登録されるデータベース（顔画像ＤＢ）７１と、ＭＦＰ１の使用者の履歴が格納されているデータベース（使用履歴ＤＢ）７２とを記憶している。なお、顔画像ＤＢ７１では、基準顔画像に対して各種付随するデータが関連付けられて記憶されている。例えば、顔画像ＤＢ７１では、基準顔画像に対して、ＭＦＰ１の動作の実行に関する使用権限等を示す各種データが関連付けられている。

また、コントローラー１２０は、スキャナ部３０によって読み取られたデータを所定のファイル形式のデータに変換する機能を有している。

撮像部１１とユーザーＩ／Ｆ２３０とコントローラ１２０とハードディスク７０とが協働して、認証装置１００としての機能（認証機能）を発揮する。撮像部１１は、コントローラ１２０の制御下で、操作部群１３の操作に応答したタイミングや既定のタイミングで被写体に係る画像を取得してコントローラ１２０に送信する。そして、コントローラ１２０は、撮像部１１から入力される画像に基づいて顔の画像（以下「顔画像」とも称する）を用いた認証（顔認証）を行い、ディスプレイ１２の表示や各種動作の可否を制御する。

なお、この実施形態においては、プログラム１３１はＲＯＭ１３０内に格納されているが、プログラム１３１はＲＡＭ１２２内に格納されていても良い。また、ＲＡＭ１２２やＲＯＭ１３０内に格納されるプログラムは、たとえば、ネットワークを介した通信によってＭＦＰ１内に取り込んだプログラムであっても良い。

ここで、ＣＰＵによって実現される認証機能の機能構成について図５を参照しつつ説明する。なお、図５は、認証機能に関する機能構成を示すブロック図である。

画像取得部２０１は、撮像部１１によって取得され、転送されてくる画像データ（以下、単に「画像」と略称する）を取得する。

顔検出部２０２は、画像取得部２０１によって取得された画像から顔を示す領域の画像（顔画像）を検出する。この顔画像の検出は、公知の種々の方法を用いることで実現することができるが、例えば、顔の輪郭の形や肌色や輝度の高い目の存在等を利用する種々の方法を用いることができる。

ここで、ＭＦＰ１を使用する意志があるユーザーは、ＭＦＰ１にある程度近づいており、かつＭＦＰ１の方向を向いていると考えられる。よって、ここでは、ＭＦＰ１を使用する意志があるものと予測されるユーザーを検出するために、所定の大きさであって、ある程度正面を向いた顔画像を検出するように設定されているものとする。このようにＭＦＰ１を使用する意志があるものと予測されるユーザーの顔画像に絞って検出することで、後述する顔認証を必要以上に行うことなく、無駄な動作を省略することができる。

顔領域抽出部２０３は、画像取得部２０１によって取得された画像から、顔検出部２０２によって検出された顔画像を抽出する。

顔照合部２０４は、顔領域抽出部２０３によって抽出された顔画像と、ハードディスク７０内に登録される顔画像ＤＢ７１に含まれる基準顔画像とを照合することで、顔認証動作を行う。ハードディスク７０に登録済みの人物の顔画像であるか否かの照合は、公知のテンプレートマッチングを用いることで行うことができる。

なお、顔画像の特徴量（色、縦長である、縦線及び横線の量、大きさ等）といった多次元の情報について、情報と情報とを比較する主成分分析法により類似度を検出することによっても顔画像の照合を行うことができる。この主成分分析法では、例えば、５個の情報のうち、色は角度によらず合うが、縦長度は合わないといった事情がある。よって、多次元情報の合い具合によって類似度を算出して、顔画像の照合を行うことができる。このような顔画像の照合により、人物が特定されて、認証を行うことができる。

表示制御部２０５は、顔照合部２０４における照合結果（認証結果）に基づいて、ディスプレイ１２に表示される画面（表示画面）を適宜変更する。

使用権限判定部２０６は、顔照合部２０４における照合結果に基づいて、各種動作の実行に対する権限すなわちＭＦＰ１の機能の使用に対する権限の有無を判定する。

正面顔画像検出部２０７は、顔領域抽出部２０３によって抽出された顔画像を用いて、顔が略正面を向いている画像（以下「正面顔画像」とも称する）を検出する。正面顔画像検出部２０７では、例えば、複数の顔画像のうち、顔画像の左右対称性などを比較して、最も左右対称性が高いものを正面顔画像として検出することができる。

顔画像更新部２０８は、顔画像ＤＢ７１に登録される基準顔画像を、最新の顔画像に随時入れ替える。

機能実行部２０９は、ＭＦＰ１の各種機能（すなわち各種動作）の実行を制御する。

機能実行制限部２１０は、機能実行部２０９と協働して、使用権限判定部２０６による判定結果に基づいて、ＭＦＰ１の各種機能（すなわち各種動作）の実行を制限する。

履歴記憶制御部２１１は、ＭＦＰ１を操作したユーザーの顔画像と、ＭＦＰ１が実行した動作内容を示す情報とを関連付けてハードディスク７０内の使用履歴ＤＢ７２に記憶する処理を制御する。

以上のような機能構成によって認証機能を用いたＭＦＰ１の各種処理や動作が実現される。

＜認証機能を用いたＭＦＰの動作＞
＜メニュー画面の表示制御＞
図６は、上述した認証機能を用いたＭＦＰ１の動作フローを例示するフローチャートである。本動作フローは、ＭＦＰ１をユーザーが利用する際に人物を認証することで、各ユーザー向けにカスタマイズされた表示内容（ここでは、メニュー画面）をディスプレイ１２において可視的に出力する動作フローを示している。なお、ここで言う、「メニュー画面」とは、タッチパネルであるディスプレイ１２に表示され、ユーザーが画面を適宜触れることで、ＭＦＰ１の各種設定や実行内容等を指定することができる画面である。図６に示す動作フローは、ＣＰＵ１２１の制御下で実行され、ＭＦＰ１の電源が投入されると開始される。

ステップＳ１では、撮像部１１によって取得された画像中に人物の顔を検出したか否かを判定する。ここでは、ＭＦＰ１の電源が投入されている間、常に撮像部１１によって画像を取得しており、撮像部１１から画像取得部２０１に転送される画像を対象として、顔検出部２０２により人物の顔を検出したか否かを判定する。そして、人物の顔が検出されるまで、ステップＳ１の判定を繰り返し、人物の顔が検出されると、ステップＳ２に進む。

なお、顔検出部２０２では、例えば、時間的に連続する複数画像を比較して、差分があれば動きがあるものと検出し、当該差分の箇所について肌色検出等を行い、更に、平均的な顔を示すテンプレートとの間で、類似部位の検索を実行することで、人物の顔（すなわち顔画像）を検出することができる。

ステップＳ２では、顔照合部２０４において、検出された顔画像と、ハードディスク７０の顔画像ＤＢ７１に登録されている基準顔画像（顔データ）とを照合する顔認証動作を行う。

このようにして、ステップＳ１及びＳ２の処理により、所定の大きさの顔画像が検出されたことに応答して、顔認証動作が行われる。なお、当該顔認証動作で用いる顔画像は、必ずしも正面を向いた顔の画像（正面顔画像）ではないため、当該認証動作は、後述する正面顔の顔認証動作よりも比較的低精度のものとなる。

ステップＳ３では、顔照合部２０４において、ステップＳ２における照合結果に基づき、検出された人物の顔が顔画像ＤＢ７１に登録済みの人物か否かを判定する。ここでは、登録済みの人物であれば、ステップＳ４に進み、登録済みの人物でなければ、ステップＳ５に進む。ここで、登録済みの人物であると判定される際には、同時にユーザーが特定される。

ステップＳ４では、表示制御部２０５の制御により、検出された顔画像に対応する登録済みの人物用にカスタマイズされたメニュー画面をディスプレイ１２に表示して、本動作フローを終了する。ここでは、顔画像ＤＢ７１に人物毎にカスタマイズされたメニュー画面のデータが記憶されているものとする。

ステップＳ５では、表示制御部２０５の制御により、カスタマイズされていない通常のメニュー画面をディスプレイ１２に表示し、本動作フローを終了する。

なお、本動作フローが終了した後に、実行ボタン１３ａが押下されて、ＭＦＰ１による各種動作が実行されると、再度、図６に示す動作フローが開始される。

＜画像出力の実行制限と使用履歴の保存＞
ＭＦＰ１に顔認証機能を搭載することで、幾つかの利便性を持たせることができる。そのうち、上述したように、ＭＦＰ１に近づいて来た人物を認識することで、個人毎にカスタマイズしたメニュー画面をディスプレイ１２に表示することができる。この場合、ユーザーがＭＦＰ１に対してどの方向からアプローチして、顔がどの方向を向いているか特定できないので顔認証の精度が低い傾向にある。このような低精度の顔認証であっても、例えば、Ａ氏がＭＦＰ１を利用しようとした際、認証装置１００が誤ってＢ氏であると判断して、Ｂ氏用にカスタマイズしたメニュー画面を表示したとしても、メニュー画面のカスタマイズのやり直しを行うだけで済む。そして、このときには、最終目的である原稿スキャンやコピーの出力等といった情報漏洩等に絡む重大な機能の実行は未だに行われておらず、実害は少ない。

一方、ＭＦＰ１の別の機能として、ＭＦＰ１の利用者を制限することを考えると、最終目的であるコピー等を実行させないで実現させることができる。この場合には、顔認証が比較的低精度であれば、良く似た人が操作すれば、不正なコピーによる情報漏洩等を簡単に許してしまうことになる。よって、この場合には、高精度の顔認証が求められる。

また、原稿スキャンやコピーは、最終的に実行ボタン１３ａを押下することで実行されるが、その際、ユーザーは、撮像部１１に対してほぼ正対するため、撮像部１１は略正面を向いたユーザーの顔画像を取得することができる。そして、その結果として、より精度の高い認証が可能になる。

このように、上述したような利用する各個人向けにメニュー画面をカスタマイズして表示する場合と、ＭＦＰ１の利用者を制限したり、機密文書の印刷権限を確認する場合とで、認証処理が要求されるタイミング、及び要求される認証処理の精度が異なる。

したがって、本実施形態に係るＭＦＰ１では、比較的低精度の認証しか要求されない場合には、画像中に顔を検出したら直ぐに行っても良いが、比較的高精度の認証が要求される場合には、実行ボタン１３ａが押下されるタイミングで行うようにしている。

以下、比較的高精度の顔認証が要求される場合について説明する。

複写機の機能によって画像を複写する等といった画像の出力を、権限が与えられた者のみに許可するような場合には、丸秘資料等の勝手な持ち出し等を防止するといった観点から高精度の顔認証が求められる。

この高精度の顔認証を実現するには、［１］基準顔画像については、経時変化の影響を受けないように出来るだけ最新のものを用いること、［２］カメラに対してユーザーの顔が正面を向いていること、［３］ユーザーの視線がカメラの光軸と一致している（目を開いている）こと、といった３つの条件が揃った状態でユーザーの顔を撮影することが望ましい。そこで、ここでは、高精度の顔認証を実現する際に、実行ボタン１３ａを押下するタイミングで取得される画像を用いて、顔認証を行うとともに、顔認証に用いる基準顔画像を随時更新する。このとき、ユーザーが撮像部１１に対して正面に近い方向を向いた画像が取得されることになる。

以下、高精度の顔認証が求められる画像出力の実行の制限と、使用履歴の保存とを行うための動作について説明する。

図７は、第１実施形態に係るＭＦＰ１における画像出力の実行の制限と、使用履歴の保存に係る動作フローを示すフローチャートである。本動作フローは、ＣＰＵ１２１の制御下で実行され、図６に示す動作フローが終了すると開始される。なお、本動作フローが実行されている間、撮像部１１によって１／３０秒毎に画像が取得される。

ステップＳ１１では、ユーザーによって各種設定が入力され、ステップＳ１２に進む。ここでは、利用者がコピー、ＦＡＸ、ドキュメントのスキャン等といった各種動作のための設定を行う。そして、この設定が整うと、ユーザーは、実行ボタン１３ａを押下して各種動作の実行を指示することになる。

ステップＳ１２では、スタートボタンすなわち実行ボタン１３ａが押下されたか否かを判定する。ここでは、実行ボタン１３ａが押下されるまで、ステップＳ１２の判定を繰り返し、実行ボタン１３ａが押下されると、ステップＳ１３に進む。

ステップＳ１３では、スタートボタン（実行ボタン）１３ａを押下したタイミングの前後において撮像部１１によって取得されるｎ枚の画像から顔画像を検出する。なお、ｎは１以上の整数で多いほど正面を向いた顔（正面顔）を含む画像を取得する確立が高くなる。

ここでは、ｎ枚よりも多くのｍ枚の画像をＲＡＭ１２２に一時記憶することで、随時撮像部１１によって取得される最新のｍ枚の画像をＲＡＭ１２２に一時記憶している。そして、例えば、ｎ＝１０の場合には、実行ボタン１３ａが押下されたタイミングにおいて、ＲＡＭ１２２に一時記憶されている画像のうちの最新の５枚の画像と、実行ボタン１３ａの押下直後に撮像部１１によって取得される５枚の画像とを画像取得部２０１が取得する。このようにして取得されたｎ枚の画像から顔検出部２０２がｎ枚の顔画像を検出する。

ステップＳ１４では、正面顔画像検出部２０７によって、ステップＳ１３において検出されたｎ枚の顔画像から最も正面を向いたもの（正面顔画像）を検出して指定する。つまり、ここでは、ユーザーによる実行ボタン１３ａの押下操作時に撮像部１１によって取得された画像（以下「操作時画像」とも称する）から正面顔画像が検出されて指定される。

ステップＳ１５では、顔照合部２０４においてステップＳ１４で指定された正面顔画像と顔画像ＤＢ７１に登録された基準顔画像とを照合することで、正面顔画像を用いた顔認証動作（正面顔の顔認証動作）を行い、ステップＳ１４で指定された正面顔画像が顔画像ＤＢ７１に登録済みの人物か否かを判定する。そして、登録済みの人物であれば、ステップＳ１６に進み、登録済みの人物でなければ、ステップＳ２２に進む。ここで、登録済みの人物であると判定される際には、同時にユーザーが特定される。

ステップＳ１６では、使用権限判定部２０６によってユーザーが使用権限のある人物であるか否かを判定する。ここでは、例えば、顔画像ＤＢ７１においてステップＳ１１で設定された動作の実行に対して関連付けられている使用権限に関する情報を参照することで、顔照合部２０４によって使用権限のある人物であるか否かを判定する。そして、ユーザーが、使用権限のある人物である場合には、ステップＳ１７に進み、使用権限のある人物でない場合には、ステップＳ１９に進む。

ステップＳ１７では、ステップＳ１１からステップＳ１２にかけて実行が指定された動作に相当する画像の出力を実行する。この画像の出力としては、コピーやＦＡＸによる画像の出力等が挙げられる。

ステップＳ１８では、使用履歴を保存する。ここでは、履歴記憶制御部２１１の制御により、操作時画像の中からステップＳ１４で指定された正面顔画像と、ステップＳ１７においてＭＦＰ１が実行した動作内容に関する情報とを関連付けて使用履歴ＤＢ７２に記憶する。ここでは、例えば、ユーザーの正面顔画像と、コピーを実行した画像のデータとが関連付けられて記憶される。

なお、例えば、ユーザーの正面顔画像と、コピーの対象となった機密文書のナンバー等とを関連付けて記憶するようにしても良い。機密文書のナンバー等を見分ける手法としては、細かい点配列等を利用した電子透かしや、紙中に埋め込まれた無線ＩＣタグや、紙面上に表されたバーコード等から各種情報を得る手法が考えられる。

ステップＳ１９では、使用権限が無く画像出力の実行ができない旨をディスプレイ１２に表示する。つまり、ここでは、機能実行制限部２１０の制御により、正面顔の顔認証動作による認証結果に基づいて、実行ボタン１３ａの押下操作に対応付けられたＭＦＰ１の動作すなわち機能の実行を制限する。

なお、ステップＳ１９では、例えば、「使用権限がありません」等といった文字情報がディスプレイ１２に表示される。

ステップＳ２０では、使用履歴を保存する。ここでは、履歴記憶制御部２１１の制御により、操作時画像の中からステップＳ１４で指定された正面顔画像と、出力しようとした画像のデータとを関連付けて使用履歴ＤＢ７２に記憶する。つまり、例えば、機密文書をコピーしようとした場合には、コピーの機能によって機密文書の画像データを取り込むが、コピーによる最終目的である紙面上への出力を許さず、取り込んだ画像データと正面顔画像とを関連付けて使用履歴として保存する。このように出力権限の無い人物の顔画像とコピーを実行しようとした対象の画像とを関連付けて記憶することで、防犯の効果を向上させることができる。なお、この使用履歴についても、ステップＳ１８と同様に、例えば、ユーザーの正面顔画像と、コピーの対象となった機密文書のナンバー等とを関連付けて記憶するようにしても良い。

ステップＳ２１では、顔画像ＤＢ７１に登録された基準顔画像を、ステップＳ１４で指定した正面顔画像に入れ替えることで、基準顔画像の更新登録を行い、本動作フローを終了する。このように、基準顔画像を最新のものに更新していくことで、ユーザーの顔の経時的な変化があっても、高精度の顔認証動作を実行することができる。

ステップＳ２２では、現在、ＭＦＰ１を操作しているユーザーの顔画像が顔画像ＤＢ７１に登録されておらず、ステップＳ１１で設定された画像出力の実行ができない旨をディスプレイ１２に表示して、本動作フローを終了する。

以上のように、第１実施形態に係る認証装置１００では、特定の操作部である実行ボタン１３ａの近傍に撮像部１１が配置され、ユーザーが実行ボタン１３ａを操作する際に撮像部１１によって取得された画像から正面顔画像を検出して、顔認証動作を行う。このような構成により、実行ボタン１３ａを操作する際にはユーザーが実行ボタン１３ａの方向を向くといった習性を利用することで、容易な構成で顔を正面から撮影して認証用の顔画像を取得することができる。その結果、顔認証に好適な正面顔の画像を得ることができるため、顔認証の精度を向上させることができる。また、ユーザーに特に意図させることなくユーザーの顔を正面から撮影することができる。

また、所定の大きさの顔画像が検出されたことに応答して、正面顔の顔認証動作よりも低精度の顔認証動作を行う。このような構成とすることで、例えば、メニュー画面のカスタマイズや、画像出力の制限等といった求められる処理に応じて、低精度の顔認証と、高精度の顔認証とを適宜使い分けることができる。

また、正面顔画像を用いた顔認証動作による認証結果に基づいて、実行ボタン１３ａの操作に対応づけられたＭＦＰ１の動作の実行を制限する。このため、高精度の顔認証によって実行ボタン１３ａに対応づけられたＭＦＰ１の機能の使用権限を的確に判定することができる。

また、実行ボタン１３ａの操作時に取得される画像をハードディスク７０に記憶させるため、ユーザーの使用履歴として、ユーザーの顔を捉えた画像を記憶させることができる。その結果、使用履歴にユーザーの顔画像が含まれているため、当該顔画像を参照することで、ユーザーを容易に特定することができる。つまり、ユーザーを容易に特定することができる使用履歴を示す情報を容易に得ることができる。

そして、ＭＦＰ１では、認証装置１００の機能により、高精度の顔認証によって画像の出力について権限を有する者を容易かつ的確に判定することができる。

＜第２実施形態＞
上述した第１実施形態に係るＭＦＰ１では、撮像部１１が配置されたが、第２実施形態に係るＭＦＰ１Ａでは、２つの撮像部すなわち第１及び第２の撮像部１１ａ，１１ｂが配置されている。そして、第１及び第２の撮像部１１ａ，１１ｂによって得られる２方向から見た画像を用いてユーザーの顔の姿勢を検出して、当該姿勢の情報から正面顔画像を検出するようにしている。なお、ＭＦＰ１Ａには第１実施形態に係る認証装置１００とは若干異なる機能を有する認証装置１００Ａが搭載されているものとする。

以下、第２実施形態に係るＭＦＰ１Ａ及び認証装置１００Ａについて、第１実施形態に係るＭＦＰ１及び認証装置１００と異なる点について主に説明する。なお、第２実施形態に係るＭＦＰ１Ａ及び認証装置１００Ａでは、第１実施形態に係るＭＦＰ１及び認証装置１００と同様な部分が多いため、同様な部分について同じ符号を付して説明を省略する。

図８は操作パネル１０Ａの外観に着目した図である。

図８に示すように、操作パネル１０Ａでは、２つの撮像部１１ａ，１１ｂ（実際には撮影レンズ）が、実行ボタン１３ａの近傍である直ぐ上方において左右方向に相互に隣接して配置されている。このように、第１及び第２の撮像部１１ａ，１１ｂによってステレオカメラが構成されている。そして、第１及び第２の撮像部１１ａ，１１ｂによって略同時に若干異なる角度から見た２つの画像が１／３０秒毎に得られる。

図９は、ＭＦＰ１Ａの認証機能に関する機能構成を示すブロック図である。

画像取得部２０１Ａは、第１及び第２の撮像部１１ａ，１１ｂで取得される画像を順次取得する。

３次元位置算出部２１２は、第１及び第２の撮像部１１ａ，１１ｂで略同時に取得される画像の組と、第１及び第２の撮像部１１ａ，１１ｂの設計上決定されているステレオカメラのパラメータとを用いて被写体の頭部すなわち顔を構成する要素（以下「顔要素」とも称する）の３次元位置を算出する。

顔姿勢検出部２１３は、３次元位置算出部２１２によって算出された顔要素の３次元位置に基づいて、被写体の頭部すなわち顔の姿勢（以下「顔姿勢」とも称する）を検出する。

なお、以下では、顔要素の３次元位置及び顔姿勢を示す情報を「頭部の３次元情報」とも称する。そして、顔要素の３次元位置の算出及び顔姿勢の検出手法については、例えば、特開２００３−１５８１６号公報等に開示された公知の手法を用いることができる。

図１０は、第１及び第２の撮像部１１ａ，１１ｂによって取得される画像に基づいて人物の顔要素の３次元位置を取得する動作フローを示すフローチャートである。

ステップＳ３１では、第１の撮像部１１ａによって取得された画像中に人物の顔を検出したか否かを判定する。ここでは、ＭＦＰ１の電源が投入されている間、常に第１の撮像部１１ａによって画像を取得しており、第１の撮像部１１ａから画像取得部２０１Ａに転送される画像を対象として、顔検出部２０２により人物の顔を検出したか否かを判定する。そして、人物の顔が検出されるまで、ステップＳ３１の判定を繰り返し、人物の顔（顔画像）が検出されると、ステップＳ３２に進む。

ステップＳ３２では、画像中において検出された顔画像から、顔に含まれる所定の要素である特徴部位を抽出する。図１１は、第１の撮像部１１ａによって得られる画像中の顔画像を例示しており、ここでは、図１１において四角で囲んでいるように、左目頭、左目尻、左口元、左眉頭、右目頭、右目尻、右口元、右眉頭の計８点の要素が特徴部位として抽出される。この特徴部位の抽出は、平均的な特徴部位を示す画像を用いたテンプレートマッチングで行うことができる。

ステップＳ３３では、第２の撮像部１１ｂで取得される画像中からステップＳ３２において抽出された特徴部位に対応する所定の要素を探索して抽出する。図１２は、第２の撮像部１１ｂによって得られる画像中の顔画像を例示しており、ここでは、図１２において四角で囲んでいるように、左目頭、左目尻、左口元、左眉頭、右目頭、右目尻、右口元、右眉頭の計８点の要素が特徴部位として抽出される。

ステップＳ３４では、ステップＳ３２及びＳ３３で抽出した特徴部位の３次元座標を算出し、本動作フローを終了する。ここでは、例えば、既知のステレオカメラのパラメータと、２枚の顔画像から抽出された８組の対応点の画像上の座標とを用いて、特徴部位の３次元座標を算出する。

そして、第２実施形態に係るＭＦＰ１Ａにおいても、図７に示したような画像出力の実行の制限と使用履歴の保存とを行う動作と同様な動作を行う。但し、第２実施形態に係るＭＦＰ１Ａでは、図１０に示した動作フローを、図７の動作フローのステップＳ１３とＳ１４とに適用して、特徴部位の３次元座標を用いることで、複数の顔画像から正面顔画像を指定する。

具体的には、ユーザーによる実行ボタン１３ａの押下操作時に第１及び第２の撮像部１１ａ，１１ｂによって略同時に若干異なる角度から見た操作時画像の組（第１及び第２の操作時画像の組）をｎ組取得する。そして、このｎ組の操作時画像の組について、それぞれ顔画像を抽出して８つの特徴部位の３次元座標を検出する。更に、顔姿勢検出部２１３により、８つの特徴部位の３次元位置に基づいて、ユーザーの顔の姿勢を検出し、続いて顔の姿勢に基づいて、ｎ組の第１及び第２の操作時画像の組から、正面顔画像を検出し、指定する。

なお、ここでは、第１及び第２の撮像部１１ａ，１１ｂによって同時に２方向から人物の顔を撮影できるため、これに対応させて、顔認証動作に用いる基準顔画像を２枚にすることも可能である。

また、顔画像ＤＢ７１に登録される基準顔画像に対して、顔の特徴部位の３次元位置を示す情報を付加して、この情報を顔認証動作に利用するようにすれば、顔認証動作の精度をより向上させることができる。

更に、使用履歴を使用履歴ＤＢ７２に記憶する際に、操作時画像に含まれる正面顔画像に加えて、顔の特徴部位の３次元位置を示す情報を付加すれば、使用履歴の情報量を増加させることができる。

以上のように、第２実施形態に係る認証装置１００Ａでは、実行ボタン１３ａの近傍に２つ（一般的には複数）の撮像部１１ａ，１１ｂを配置しておく。そして、ユーザーによる実行ボタン１３ａの押下操作時に、２つの撮像部１１ａ，１１ｂによって取得される複数組の操作時画像に基づいて、顔を構成する８つ（一般的には複数）の要素の３次元位置を検出することでユーザーの顔の姿勢を検出する。そして、検出された顔の姿勢に基づいて複数の操作時画像から正面顔画像を検出する。このような構成により、より正面を向いた顔の画像を撮影することができるため、更に高精度の顔認証が可能となる。

また、顔を構成する複数要素の３次元位置を示す情報を顔認証動作に用いると、顔認証動作に用いる副次的な成分を増加させることができるため、結果的に顔認証の精度を更に高めることができる。

また、実行ボタン１３ａの押下操作時に、顔を構成する複数要素の３次元位置の情報を、第１及び第２の撮像部１１ａ，１１ｂによって取得される画像とともに使用履歴ＤＢ７２に記憶させるようにすれば、使用履歴の内容を充実させることができ、ユーザーの特定を更に精度良く行うことができる。

＜第３実施形態＞
上述した第２実施形態に係るＭＦＰ１Ａでは、顔を構成する複数要素の３次元位置を示す情報を用いて、正面顔画像を検出したり、顔認証を行ったりしたが、第３実施形態に係るＭＦＰ１Ｂでは、顔を構成する複数要素の３次元位置を示す情報を用いて、ディスプレイ１２の表示画面のコントラストを変更する。

ここでは、まず、ディスプレイ１２の表示画面のコントラストを変更すべき事情について説明する。

ＭＦＰに搭載されるディスプレイには、液晶パネルが主に用いられる。液晶パネルは視野角が比較的狭く、のぞき込む角度によっては明暗が反転してしまったり、コントラストが低下して文字が読めなくなったりする。

図１３は、ユーザーがＭＦＰ１Ｂの操作パネル１０Ａをのぞき込む様子を横から見た模式図である。図１３では、ユーザー５００Ａがディスプレイ１２に対して正対している様子を示し、ユーザー５００Ｂが若干上方からディスプレイ１２に対して斜めにのぞき込んでいる。

図１４は、ユーザー５００Ａから見たディスプレイ１２上のメニュー画面を示している。ユーザー５００Ａからは、比較的輝度が高い状態でメニュー画面を視認することができる。

図１５は、ユーザー５００Ｂから見たディスプレイ１２上のメニュー画面を示している。ユーザー５００Ｂからは、比較的輝度が低い状態でしかメニュー画面を視認することができない。このような場合には、メニュー画面を視認し易くするために、ディスプレイ１２上に表示される画面のコントラストを強調すべきである。そして、コントラストを強調すると、図１６に示すように、ユーザー５００Ｂも比較的輝度が高い状態でメニュー画面を視認することができる。

そこで、第３実施形態に係るＭＦＰ１Ｂでは、上記第２実施形態と同様な手法によって、顔の姿勢を検出して、当該顔の姿勢に応じてディスプレイ１２のコントラストを調整するようにしている。

以下、第３実施形態に係るＭＦＰ１Ｂ及び認証装置１００Ｂについて、第２実施形態に係るＭＦＰ１Ａ及び認証装置１００Ａと異なる点について主に説明する。なお、第３実施形態に係るＭＦＰ１Ｂ及び認証装置１００Ｂでは、第２実施形態に係るＭＦＰ１Ａ及び認証装置１００Ａと同様な部分が多いため、同様な部分について同じ符号を付して説明を省略する。

図１７は、ＭＦＰ１Ｂの認証機能に関する機能構成を示すブロック図である。

コントラスト変更部２１４は、顔姿勢検出部２１３によって検出された顔姿勢に応じて、ディスプレイ１２に表示される画面のコントラストを変更する。具体的には、ディスプレイ１２に対してユーザーが正対している顔姿勢を基準として、ユーザーの顔の向きとディスプレイ１２の法線とのずれ量（ユーザーの顔のディスプレイ１２の正面からのずれ量）を算出し、当該ずれ量に応じて、表示画面のコントラストを強調する。

図１８は、顔姿勢を検出して、当該顔姿勢に応じて表示画面のコントラストを変更する動作フローを示すフローチャートである。

ステップＳ４１〜Ｓ４４では、それぞれ図１０のステップＳ３１〜Ｓ３４と同様な処理を行う。

ステップＳ４５では、顔姿勢検出部２１３によって、ステップＳ４４で算出された特徴部位の３次元座標から、顔の姿勢を検出する。すなわち、ユーザーの顔のディスプレイ１２の正面からのずれ量を算出する。

ステップＳ４６では、コントラスト変更部２１４によって、ステップＳ４５で算出されたずれ量に応じて、ディスプレイ１２上の表示画面のコントラストを適宜変更して、本動作フローを終了する。ここでは、ディスプレイ１２の表示画面のコントラストが、ディスプレイ１２に対してユーザーが正対している顔姿勢に対応するものに設定されていれば、ユーザーの顔のディスプレイ１２の正面からのずれ量に応じて、コントラストを強調する。

以上のように、第３実施形態に係るＭＦＰ１Ｂ及び認証装置１００Ｂでは、顔を構成する複数要素の３次元位置から求められる顔の姿勢に基づいて、ユーザーの顔の向きと、所定の表示面であるディスプレイ１２の法線とのずれ量を求める。そして、当該すれ量に応じて、ディスプレイ１２に表示される画面のコントラストを適宜強調する。このような構成とすることで、ユーザーの姿勢に応じて、所定の表示面に表示される画面を見易くすることができる。

＜変形例＞
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

◎例えば、上述した実施形態では、認証装置１００，１００Ａ，１００Ｂを搭載した装置の一例として、スキャナ、複写機、プリンタ、ファックス等の複数の画像処理機能を有する複合機であるＭＦＰ１，１Ａ，１Ｂを挙げて説明したが、これに限られず、例えば、各種スキャナやデジタルカメラとして構成される撮像装置等といった各種画像入力装置、複写機やプリンタ等といった各種画像出力装置、若しくは情報出力装置、及びファックス等といった各種通信装置であっても良い。更に、認証機能によって使用権限等を認証することが必要な各種機器に適用することができる。

例えば、デジタルカメラに認証装置１００，１００Ａ，１００Ｂを適用すると、デジタルカメラを使用することができる者を精度良く限定することができる。また、例えば、自動車の運転席に認証装置１００，１００Ａ，１００Ｂを適用すると、運転者を認証機能によって特定して、使用権限を有する者であれば、エンジンスタートキーを操作可能とすることで、運転可能としても良い。

◎また、上述した実施形態では、スタートボタンを押下する際に高精度の認証動作を行ったが、これに限られず、更に、タッチパネルを操作している場合には、タッチパネルに対して正対していると考えられるため、タッチパネルの右端に設定を決定するための所謂ＯＫボタンが配されている場合には、当該ＯＫボタンを押下する際にユーザーの顔画像を取得するようにしても、ユーザーの正面顔画像を取得することができる。

◎また、上述した実施形態では、顔認証の結果、登録された個人毎にカスタマイズされたメニュー画面を表示したが、これに限られず、例えば、顔認証を利用して登録されたユーザーに対してメニュー画面を表示して、ＭＦＰを使用可能としても良い。

図１９は、人物を認証することでメニュー画面の表示の有無を制御する動作フローを例示するフローチャートである。図１９に示す動作フローは、ＭＦＰ１の電源が投入されると開始される。

ステップＳ１０１では、タッチパネルすなわちディスプレイ１２の表示をＯＦＦする。

ステップＳ１０２では、図６のステップＳ１と同様に、撮像部１１によって取得された画像中に人物の顔を検出したか否かを判定する。ここでは、人物の顔が検出されるまで、ステップＳ１０２の判定を繰り返し、人物の顔（すなわち顔画像）が検出されると、ステップＳ１０３に進む。

ステップＳ１０３では、検出された顔画像と、ハードディスク７０の顔画像ＤＢ７１に登録されている顔画像（顔データ）とを照合する。

ステップＳ１０４では、ステップＳ１０３における照合結果に基づいて、検出された人物の顔が、顔画像ＤＢ７１に登録済みでかつＭＦＰの使用権限を持つ人物であるか否かを判定する。ここでは、登録済みでかつ使用権限を持つ人物である場合には、ステップＳ１０５に進み、登録済みでかつ使用権限を持つ人物でない場合には、ステップＳ１０６に進む。

ステップＳ１０５では、タッチパネルであるディスプレイ１２の表示をＯＮにするとともに、メニュー画面を表示することでＭＦＰの操作を可能にして、本動作フローを終了する。

ステップＳ１０６では、操作権限が無く、ＭＦＰを全く利用できない旨を示す文章をタッチパネルであるディスプレイ１２上に表示し、本動作フローを終了する。

なお、本動作フローが終了した後に、実行ボタン１３ａが押下されて、ＭＦＰの各種動作が実行されると、再度、図１９に示す動作フローが開始される。

このような構成とすることで、例えば、使用権限が与えられている営業部の人が、ＭＦＰの前に立つと、ディスプレイ１２の表示がＯＮされる。更に、ＭＦＰを、図１９で示した動作と図７で示した動作の双方を行うものとすれば、例えば、営業部の人であることを前提として、画像出力に対する権限の有無により画像出力の実行の制限等といった制御を行うことができる。

◎また、上述した第１実施形態では、顔画像を用いた照合を行ったが、これに限られず、例えば、画像を処理した結果得られる顔の特徴を示すベクトル（特徴ベクトル）等を用いて照合する手法も存在する。

◎また、上述した実施形態では、認証を利用して使用権限の有無を判定して、画像の出力を制限したが、画像出力全体を制限せず、例えば、コピーの対象が機密文書である場合に、画像出力を権限の有無によって制限するようにしても良い。

◎また、上述した実施形態では、実行ボタン１３ａの押下操作時の前後に取得されるｎ枚の画像から正面顔画像を検出して、当該正面顔画像を用いた顔認証動作を行ったが、これに限られず、例えば、単に実行ボタン１３ａの押下操作に応答して取得される画像から顔画像を抽出して、当該顔画像を用いた顔認証動作を行うことで、ＭＦＰの動作の実行を制限するようにしても良い。

このような構成としても、実行ボタン１３ａを操作する際にはユーザーが実行ボタン１３ａの方向を向くといった習性を考慮すると、ユーザーが略正面を向いた正面顔画像を得ることができるため、上記実施形態とほぼ同様な効果を得ることができる。但し、より正面を向いた正面顔画像を得ることで顔認証動作の精度を向上させるといった観点から言えば、上記実施形態のように、実行ボタン１３ａの押下操作時の前後に得られる複数枚の画像から抽出される顔画像の中で最も正面を向いた正面顔画像を検出した方が好ましい。

第１実施形態に係る認証装置が搭載されたＭＦＰを示す外観図である。 第１実施形態に係るＭＦＰの操作パネルを例示する図である。 第１実施形態に係るＭＦＰの機能構成を例示するブロック図である。 ハードディスクに記憶されるデータ内容を例示する図である。 第１実施形態に係るＭＦＰの機能構成を例示するブロック図である。 第１実施形態に係るＭＦＰの動作フローを示すフローチャートである。 第１実施形態に係るＭＦＰの動作フローを示すフローチャートである。 第２実施形態に係るＭＦＰの操作パネルを例示する図である。 第２実施形態に係るＭＦＰの機能構成を例示するブロック図である。 第２実施形態に係るＭＦＰの動作フローを示すフローチャートである。 顔画像領域からの特徴部位の抽出を示す図である。 顔画像領域からの特徴部位の抽出を示す図である。 操作パネルを見るユーザーの角度を例示する図である。 操作パネルのコントラスト調整を説明するための図である。 操作パネルのコントラスト調整を説明するための図である。 操作パネルのコントラスト調整を説明するための図である。 第３実施形態に係るＭＦＰの機能構成を例示するブロック図である。 第３実施形態に係るＭＦＰの動作フローを示すフローチャートである。 変形例に係るＭＦＰの動作フローを示すフローチャートである。

符号の説明

１，１Ａ，１Ｂ ＭＦＰ
１０，１０Ａ 操作パネル
１１ 撮像部
１１ａ 第１の撮像部
１１ｂ 第２の撮像部
１２ ディスプレイ
１３ 操作部群
１３ａ 実行ボタン（スタートボタン）
２０ スキャナ部
３０ プリンタ部
６０ 通信部
７０ ハードディスク
１００，１００Ａ，１００Ｂ 認証装置
１２０ コントローラー
２０２ 顔検出部
２０４ 顔照合部
２０５ 表示制御部
２０６ 使用権限判定部
２０７ 正面顔画像検出部
２０８ 顔画像更新部
２０９ 機能実行部
２１０ 機能実行制限部
２１１ 履歴記憶制御部
２１２ ３次元位置算出部
２１３ 顔姿勢検出部
２１４ コントラスト変更部

Claims (10)

1. 認証装置であって、
   特定の操作部と、
   前記特定の操作部の近傍に配置され、被写体に係る画像を取得する撮像部と、
   前記画像から顔画像を検出する顔検出手段と、
   前記顔画像を用いた顔認証動作を行う認証手段と、
   を備え、
   前記顔検出手段が、
   ユーザーによる前記特定の操作部の操作時に前記撮像部によって取得された操作時画像から正面顔画像を検出し、
   前記認証手段が、
   前記正面顔画像を用いた正面顔の顔認証動作を行うことを特徴とする認証装置。
2. 請求項２に記載の認証装置であって、
   前記顔検出手段が、
   ユーザーによる前記特定の操作部の操作時に前記撮像部によって取得された複数の操作時画像から前記正面顔画像を検出することを特徴とする認証装置。
3. 請求項１または請求項２に記載の認証装置であって、
   前記認証手段が、
   前記撮像部によって取得された画像から前記顔検出手段によって所定の大きさの顔画像が検出されたことに応答して、前記正面顔の顔認証動作よりも低精度の顔認証動作を行うことを特徴とする認証装置。
4. 請求項１から請求項３のいずれかに記載の認証装置であって、
   前記正面顔の顔認証動作による認証結果に基づいて、前記特定の操作部の操作に対応づけられた所定の動作の実行を制限する制限手段、
   を更に備えることを特徴とする認証装置。
5. 請求項２に記載の認証装置であって、
   前記撮像部が、
   第１および第２の撮像部を有し、
   前記複数の操作時画像が、
   前記ユーザーによる前記特定の操作部の操作時に前記第１および第２の撮像部によってそれぞれ取得される第１および第２の操作時画像の組を複数含み、
   前記認証装置が、
   前記第１および第２の操作時画像の組に基づいて、顔を構成する複数の所定要素の３次元位置を検出する３次元位置検出手段と、
   前記複数の所定要素の３次元位置に基づいて、前記ユーザーの顔の姿勢を検出する顔姿勢検出手段と、
   前記顔検出手段が、
   前記顔の姿勢に基づいて、前記複数の操作時画像から前記正面顔画像を検出することを特徴とする認証装置。
6. 請求項１から請求項４のいずれかに記載の認証装置であって、
   前記撮像部が、
   第１および第２の撮像部を有し、
   前記認証装置が、
   前記第１および第２の撮像部によって取得される画像の組に基づいて、顔を構成する複数の所定要素の３次元位置を検出する３次元位置検出手段、
   を更に備え、
   前記認証手段が、
   前記正面顔画像と前記複数の所定要素の３次元位置の情報とを用いた正面顔の顔認証動作を行うことを特徴とする認証装置。
7. 請求項１から請求項４のいずれかに記載の認証装置であって、
   前記撮像部が、
   第１および第２の撮像部を有し、
   前記認証装置が、
   前記第１および第２の撮像部によって取得される画像の組に基づいて、顔を構成する複数の所定要素の３次元位置を検出する３次元位置検出手段と、
   前記複数の所定要素の３次元位置に基づいて、前記ユーザーの顔の姿勢を検出する顔姿勢検出手段と、
   所定の表示面に画面を表示する表示手段と、
   前記顔の姿勢に応じて前記画面のコントラストを強調するコントラスト変更手段と、
   を更に備えることを特徴とする認証装置。
8. 請求項１に記載の認証装置であって、
   前記操作時画像を所定の記憶部に記憶させる記憶制御手段、
   を更に備えることを特徴とする認証装置。
9. 請求項５から請求項７のいずれかに記載の認証装置であって、
   前記複数の所定要素の３次元位置の情報を、前記操作時画像とともに所定の記憶部に記憶させる記憶制御手段、
   を更に備えることを特徴とする認証装置。
10. 画像出力装置であって、
    画像を可視的に出力する画像出力手段と、
    請求項１から請求項９のいずれかに記載の認証装置と、
    前記認証装置における顔認証動作の認証結果に応じて、前記画像出力手段による画像の出力を制限する制御手段と、
    を備えることを特徴とする画像出力装置。

Images