JP2007094535A - 認証システム及び認証方法 - Google Patents

Abstract

【課題】照合性能の向上を図るとともに、安定した照合性能を得ることが可能な認証システム及び認証方法を提供する。
【解決手段】認証装置３０は、撮像装置１０で取得された撮像画像データに基づいて当該撮像画像データの画像品質を判定するデータ判定手段（データ判定部３３１）と、前記データ判定部３３１の判定結果に基づいて前記画像品質を調整させるための調整制御情報を生成し、前記撮像装置に送信する制御情報生成手段（制御部３１）と、を備え、前記撮像装置１０は、前記認証装置３０からの調整制御情報に基づいて前記撮像に供する機能部１８を制御する機能制御手段（制御部１１）を備える。
【選択図】図１

Description

本発明は、認証対象者の認証を行う認証システム及び認証方法に関し、特に、認証対象者の顔画像から顔部品の特徴量を抽出し、この特徴量に基づいて認証対象者の認証を行う認証システム及び認証方法に関する。

近年、指紋、虹彩、声紋および顔等の個人に固有の生体情報を用いて個人の認証を行うバイオメトリクス認証技術が利用されるようになってきている。また、カメラで撮像した認証対象者の顔画像から顔部品の特徴量を抽出し、この抽出された特徴量を予め登録しておいた顔の特微量と比較することにより、本人か他人であるかの認証を行う顔認証装置が提案されている。
例えば、特許文献１には、顔認証システムおよび方法ならびにプログラムとして、顔画像を撮影後にネットワーク経由で取り込みし、画像（目位置、間隔）を規格化し顔認証する技術が開示されている。また、特許文献２には、被認証者との距離に基づき、画像入力手段（カメラ）の視野角中心点（レンズ中心点）を被認証者の顔の特徴点に配置するよう
画像入力手段の角度や方向を制御した後、顔認証を行う技術が開示されている。

また、上記顔認証装置は、撮像装置の撮像部や照明等の複数の機能部による構成されているが、各機能部のバージョンや種別が変わったとしても顔認証の精度が低下することのない画像データを得るという意味で長期の使用を可能とするシステムであることが必要である。例えば、特許文献３には、デジタルカメラ内部の処理を外部装置に通信手段を介して委託することにより、一度購入したデジタルカメラの長期間の使用を可能し、使いやすさや画質の向上を図った技術が開示されている。
特開２００５−８４９７９号公報 特開２００５−１０７５８７号公報 特開２００３−１０１８４９号公報

ところで、上記した顔認証装置により認証を行う場合には、認証対象者の顔画像や画像中における目の位置や大きさ、顔の向き、明るさ等が適当でないと、認証時の指標となる指標顔画像との類似度が低下するため認証精度が低下するという問題がある。特に近年においては、認証時における認証対象者の撮影条件が、顔画像に含まれる目や鼻など間隔や、各器官の大きさ等の幾何学条件よりも大きく認証精度に影響することが判明してきている。ここで撮像条件は、撮影時のフォーカス、ズーム、露出、照明の照度等の各種条件を含むものとする。

しかしながら、特許文献１の技術は、撮影画像を適正な明るさにすることなく、また単に画像データを顔認証に適した画角で撮影する等の調節ができないシステムであったために、規格化しようとしても根本の撮影時条件が悪いために認証精度が低下する可能性がある。また、特許文献２の技術は、実際に認証を行う毎に画像入力手段の角度や方向を制御することは、困難を伴い現実的でなく、また、顔の表情や照明（ライティング）による陰影等に関しても記載されていないため、上記課題を解決する有効な手法と成り得ず、認証精度が低下する可能性がある。また、特許文献３の技術は、顔認証のために必要な幾何学的条件や照明を満たす画像を得る技術に関しては考慮されておらず、上記課題を解決することができない。

本発明の課題は、照合性能の向上を図るとともに、安定した照合性能を得ることが可能な認証システム及び認証方法を提供することである。

上記課題を解決するために、請求項１に記載の発明は、
被写体を撮像し当該被写体に相当する撮像画像データを取得する撮像手段を備えた撮像装置と、前記被写体に相当する照合用画像データを予め記憶する記憶手段と、前記撮像画像データと前記照合用画像データとを照合し、認証を行う認証手段とを備えた認証装置と、が相互に通信可能に構成された認証システムであって、
前記認証装置は、前記撮像装置で取得された撮像画像データに基づいて当該撮像画像データの画像品質を判定するデータ判定手段と、前記データ判定手段の判定結果に基づいて前記画像品質を調整させるための調整制御情報を生成し、前記撮像装置に送信する制御情報生成手段と、を備え、
前記撮像装置は、前記認証装置からの調整制御情報に基づいて前記機能部を制御する機能制御手段を備えたことを特徴としている。

更に、請求項２に記載の発明は、請求項１に記載の発明において、
前記制御情報生成手段は、前記照合用画像データに基づいて前記撮像画像データの画像品質を判定することを特徴としている。

更に、請求項３に記載の発明は、請求項１に記載の発明において、
前記認証装置は、前記撮像画像データに基づいて当該撮像画像データに含まれる前記被写体の顔状態を検出する顔状態検出手段と、前記検出された顔状態に基づいて前記顔状態の変更を報知させるための報知制御情報を生成し、前記撮像装置に送信する変更指示情報生成手段と、を備え、
前記撮像装置は、前記被写体への報知を行う報知手段と、前記認証装置からの報知制御情報に基づいて前記報知手段に報知させる報知制御手段と、を備えたことを特徴としている。

更に、請求項４に記載の発明は、請求項３に記載の発明において、
前記顔状態は、前記被写体の顔の向き、表情を示した情報を少なくとも含むことを特徴としている。

更に、請求項５に記載の発明は、請求項１に記載の発明において、
前記認証装置は、前記撮像画像データから前記被写体の両目の位置を検出する目位置検出手段と
前記検出された両目の間隔が所定値となるよう前記撮像画像データの画像サイズを変更し規格化する規格化手段と、
前記規格化された撮像画像データから所定の画像領域を切り出し、被照合用画像データとして生成する切り出し手段と、
を備え、
前記認証手段は、前記切り出された被照合用画像データと前記照合用画像データとを照合し、認証を行うことを特徴としている。

更に、請求項６に記載の発明は、請求項１に記載の発明において、
前記機能部は、前記撮像手段の焦点を調整する焦点調節手段を含むことを特徴としている。

更に、請求項７に記載の発明は、請求項１に記載の発明において、
前記機能部は、前記撮像手段の露出を調整する露出調整手段を含むことを特徴としている。

更に、請求項８に記載の発明は、請求項１に記載の発明において、
前記撮像装置は、前記被写体を照明する照明手段を備え、
前記機能部は、前記照明手段の出力を調整する照明調整手段を含むことを特徴としている。

更に、請求項９に記載の発明は、請求項１に記載の発明において、
前記機能部は、前記撮像手段の撮像位置及び／又は撮像方向を調整する駆動手段を含むことを特徴としている。

更に、請求項１０に記載の発明は、請求項１に記載の発明において、
前記撮像装置と前記認証装置とが無線ＬＡＮにより相互に通信可能に構成され、当該通信の通信方式が、ＰＴＰ／ＩＰに準拠していることを特徴としている。

また、上記課題を解決するために、請求項１１に記載の発明は、
被写体を撮像し当該被写体に相当する撮像画像データを取得する撮像手段と、前記撮像に共する機能部を制御する機能制御手段とを備えた撮像装置と、前記被写体に相当する照合用画像データを予め記憶する記憶手段と、前記撮像画像データと前記照合用画像データとを照合し、認証を行う認証手段とを備えた認証装置と、が相互に通信可能に構成された認証システムの認証方法であって、
前記認証装置は、前記撮像装置で取得された撮像画像データに基づいて当該撮像画像データの画像品質を判定するデータ判定工程と、前記データ判定工程での判定結果に基づいて前記画像品質を調整させるための調整制御情報を生成し、前記撮像装置に送信する制御情報生成工程と、を含み、
前記撮像装置は、前記認証装置からの調整制御情報に基づいて前記機能部を制御する機能制御工程を含むことを特徴としている。

更に、請求項１２に記載の発明は、請求項１１に記載の発明において、
前記制御情報生成工程は、前記照合用画像データに基づいて前記撮像画像データの画像品質を判定することを特徴と

更に、請求項１３に記載の発明は、請求項１１に記載の発明において、
前記認証装置は、前記撮像画像データに基づいて当該撮像画像データに含まれる前記被写体の顔状態を検出する顔状態検出工程と、前記検出された顔状態に基づいて前記顔状態の変更を報知させるための報知制御情報を生成し、前記撮像装置に送信する変更指示情報生成工程と、を含み、
前記撮像装置は、前記認証装置からの報知制御情報に基づいて前記被写体への報知を行う報知手段に報知させる報知制御工程と、を含むことを特徴としている。

更に、請求項１４に記載の発明は、請求項１３に記載の発明において、
前記顔状態は、前記被写体の顔の向き、表情を示した情報を少なくとも含むことを特徴としている。

更に、請求項１５に記載の発明は、請求項１１に記載の発明において、
前記認証装置は、前記撮像画像データから前記被写体の両目の位置を検出する目位置検出工程と
前記検出された両目の間隔が所定値となるよう前記撮像画像データの画像サイズを変更し規格化する規格化工程と、
前記規格化された撮像画像データから所定の画像領域を切り出し、被照合用画像データとして生成する切り出し工程と、
を含み、
前記認証手段は、前記切り出された被照合用画像データと前記照合用画像データとを照合し、認証を行うことを特徴としている。

更に、請求項１６に記載の発明は、請求項１１に記載の発明において、
前記機能部は、前記撮像手段の焦点を調整する焦点調節手段を含むことを特徴としている。

更に、請求項１７に記載の発明は、請求項１１に記載の発明において、
前記機能部は、前記撮像手段の露出を調整する露出調整手段を含むことを特徴としている。

更に、請求項１８に記載の発明は、請求項１１に記載の発明において、
前記撮像装置は、前記被写体を照明する照明手段を備え、
前記機能部は、前記照明手段の出力を調整する照明調整手段を含むことを特徴としている。

更に、請求項１９に記載の発明は、請求項１１に記載の発明において、
前記機能部は、前記撮像手段の撮像位置及び／又は撮像方向を調整する駆動手段を含むことを特徴としている。

更に、請求項２０に記載の発明は、請求項１１に記載の発明において、
前記撮像装置と前記認証装置とが無線ＬＡＮにより相互に通信可能に構成され、当該通信の通信方式が、ＰＴＰ／ＩＰに準拠していることを特徴としている。

請求項１又は１１に記載の発明によれば、撮像装置は、認証装置で生成された調整制御情報に基づいて機能部を制御するため、照合性能の向上を図ることができるとともに、安定した照合性能を得ることができる。

請求項２又は１２に記載の発明によれば、照合用画像データに基づいて撮像画像データの画像品質を判定するため、当該照合用画像データと撮像画像データとの照合性能の向上を図ることができる。

請求項３又は１３に記載の発明によれば、撮像装置は、認証装置で生成された報知制御情報に基づいて報知手段に報知させるため、認証対象者となる被写体に顔状態の変更を促すことができる。

請求項４又は１４に記載の発明によれば、被写体の顔の向き、表情の変更を被写体に促すことができる。

請求項５又は１５に記載の発明によれば、被照合用画像データと照合用画像データとを照合し、認証を行うため、照合性能の向上を図ることができるとともに、安定した照合性能を得ることができる。

請求項６又は１６に記載の発明によれば、撮像装置は、調整制御情報に基づいて焦点調節手段を制御することができる。

請求項７又は１７に記載の発明によれば、撮像装置は、調整制御情報に基づいて露出調整手段を制御することができる。

請求項８又は１８に記載の発明によれば、撮像装置は、調整制御情報に基づいて照明調整手段を制御することができる。

請求項９又は１９に記載の発明によれば、撮像装置は、調整制御情報に基づいて駆動手段を制御することができる。

請求項１０又は２０に記載の発明によれば、前記撮像装置と前記認証装置とを無線ＬＡＮにより相互に通信可能に構成できるとともに、ＰＴＰ／ＩＰに準拠した通信方式で相互に通信することができる。

以下、本発明を実施するための最良の形態について図面を用いて説明する。ただし、本発明の範囲は、図示例に限定されないものとする。

図１は、本実施の形態に係る認証システム１００の構成を概略的に示した図である。
図１に示すように、認証システム１００は、撮像装置１０と、認証装置３０と、無線ＬＡＮ（Local Area Network）ポート４０と、を有して構成される。ここで、撮像装置１０と認証装置３０とは無線ＬＡＮにより、無線ＬＡＮポート４０を介して相互に通信可能に構成されている。

無線ＬＡＮは、例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers：米国電気電子技術者協会）において標準化された規格に準拠したものが用いられる。より具体的には、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ等の規格に準拠したものを用いることが好ましい。ＩＥＥＥ８０２．１１ｂは、２．４ＧＨｚ帯を使用し、最大１１Ｍｂｐｓの転送速度を規格化した現在主流のものである。ＩＥＥＥ８０２．１１ａは、５．０ＧＨｚ帯を使用し、最大５４Ｍｂｐｓの転送速度を規格化したものである。なお、２．４ＧＨｚ帯を使用し、最大５４Ｍｂｐｓの転送速度を規格化したＩＥＥＥ８０２．１１ｇも提案されている。

なお、本実施の形態では、撮像装置１０と認証装置３０とを無線ＬＡＮにより相互に通信可能に構成することとしたが、これに限らず、他の態様により相互に通信可能に構成することとしてもよい。例えば、有線により撮像装置１０と認証装置３０とを電話回線、ＷＡＮ、ＬＡＮ等を介して相互に通信可能に構成することとしてもよいし、ＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４等のシリアル通信により相互に通信可能に構成することとしてもよい。また、Ｂｌｕｅｔｏｏｔｈ等の他の無線方式により相互に通信可能に構成することとしてもよい。

撮像装置１０は、本認証システム１００の認証対象者となる被写体Ａ（図２参照）を後述する撮像部１６により撮像し、当該被写体Ａに相当する撮像画像データを取得する装置である。以下、図１及び図２を参照して撮像装置１０の内部構成について説明する。

図１に示すとおり、撮像装置１０は、制御部１１、操作部１２、表示部１３、音声出力部１４、照明部１５、撮像部１６、一時記憶メモリ１７、機能部１８、測距センサ１９、通信部２０等を備えて構成される。

制御部１１は、不図示のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等からなり、ＣＰＵは、ＲＡＭの所定領域を作業領域として、ＲＯＭに予め記憶された各種制御プログラムを実行し撮像装置１０を構成する各部の動作を制御する。

具体的に、制御部１１は、通信部２０を介して撮像部１６により取得された撮像画像データを後述するユーザ情報ととともに認証装置３０へと送信する。
また、制御部１１は、通信部２０を介して認証装置３０から入力される制御情報に基づいて機能部１８の動作を制御する。また、制御部１１は、通信部２０を介して認証装置３０から入力される制御情報に基づいて表示部１３及び／又は音声出力部１４を制御することで、被写体Ａに所定の情報を報知させる。

操作部１２は、文字入力キー，数字入力キーその他各種機能に対応付けられたキーを備えたキーボード、マウス等を含み、キー操作等により押下されたキーに対応する押下信号を制御部１１に出力する。

表示部１３は、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（liquid crystal display）、有機又は無機ＥＬＤ（ElectroLuminescence Display）、プラズマディスプレイ等から構成されており、制御部１１の制御により入力される表示データを画面上に表示する。また、表示部１３は、操作部１２と一体的にタッチパネルを構成することとしてもよい。

音声出力部１４は、アンプ、スピーカ等から構成されており、制御部１１の制御により入力される音声データを音声出力する。

照明部１５は、蛍光灯やタングステンランプ、ストロボランプ等の光源からなる照明装置であって、後述する照明調整部１８５の制御により所定の光量で被写体Ａの顔部分を照明する。

撮像部１６は、レンズや当該レンズの焦点距離、ズーム位置を変更するアクチュエータ等から構成される光学系、レンズを透過する光束の光量を調整する絞り、レンズにより受光面上に結像された被写体像を電気信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子（何れも、不図示）等によって構成される。前記光学系のアクチュエータ等が、後述するフォーカス調整部１８１に調整されることでフォーカス機能が実現されている。また、同様に後述するズーム調整部１８２に調整されることでズーム機能が実現されている。さらに、前記絞りが、後述する露出調整部１８３により調整されることで、露出の調整が行われるようになっている。なお、本実施の形態では、後述する認証装置３０から送信される制御情報に基づいてフォーカス位置の調整を行うものとするが、その際の調整量として、測距センサ１９や他の赤外線等の測距手段から得られる測定値を用いることとしてもよい。

撮像部１６は、レンズを介して入力される被写体Ａに相当する被写体像を撮像素子で電気信号に変換することで撮像画像データを取得し、この撮像画像データをＲａｗデータ形式の生データ（撮像画像データ）の状態で一時記憶メモリ１７に格納する。ここで、Ｒａｗデータ形式の生データとは、撮像部１６のＲ，Ｇ、Ｂカラーフィルタ配列そのままの未処理のデジタル画像データである。なお、Ｒａｗデータ形式の生データに対し、色補正（例えば、ＡＷＢ（Automatic White Balance）、階調補正等の画像処理が施した補正済画像（例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式の画像データ、又はこの画像処理条件を添付した生データを生成し、一時記憶メモリ１７に格納することとしてもよい。

一時記憶メモリ１７は、バッファメモリ等であって、撮像部１６から出力された撮像画像データを一時的に格納する。なお、この一時記憶メモリ１７を、撮像装置１０から着脱可能な記録メディア（例えば、メモリカード等の可搬記憶媒体）としてもよい。

機能部１８は、制御部１１による制御の下、撮像部１６による撮像に共する各機能部の動作を調整する。機能部１８は、図１に示すように、フォーカス調整部１８１、ズーム調整部１８２、露出調整部１８３、撮像位置／方向調整部１８４、照明調整部１８５等から構成される。

フォーカス調整部１８１は、制御部１１による制御の下、撮像部１６の光学系が有するアクチュエータを制御することで、撮像に係るフォーカスを調整する。

ズーム調整部１８２は、制御部１１による制御の下、撮像部１６の光学系が有するアクチュエータを制御することで、撮像に係るズーム位置を調整する。

露出調整部１８３は、制御部１１による制御の下、撮像部１６の絞りを制御することで、撮像に係る露出を調整する。なお、これに限らず、シャッタースピードや、色温度、ＩＳＯ感度等を調整することとしてもよい。

撮像位置／方向調整部１８４は、制御部１１による制御の下、後述する撮像部１６に係る駆動手段を駆動させることで、撮像部１６の撮像位置及び撮像方向を調整する。

照明調整部１８５は、制御部１１による制御の下、照明部１５を制御することで、当該照明部１５が照明するライト（定常光やストロボ光）の光量（出力）を調整する。また、照明部１５が複数色のライトを有する場合には、当該ライトで得られるライティング比（照明比）や色温度の調整を行うこととしてもよい。

測距センサ１９は、撮像装置１０（測距センサ１９）と被写体Ａとの距離を測定する測距センサであって、当該測距センサ１９の測定結果を制御部１１に出力する。

通信部２０は、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ等の規格に準拠したネットワークインターフェイスであって、無線ＬＡＮポート４０を介して認証装置３０との通信を行うための制御を行う。ここで、通信部２０はデジタルカメラとパーソナルコンピュータ間における画像転送プロトコル「Picture Transfer Protocol（ISO15740）」（以下、ＰＴＰという）に対応していることが好ましい。なお、本実施の形態のように無線ＬＡＮにより他の機器に接続する場合には、ＰＴＰを拡張したＦｏｔｏＮａｔｉｏｎ社製、「Picture Transfer Protocol over Internet Protocol」（以下、ＰＴＰ／ＩＰという）を用いることが好ましい。

図２は、撮像装置１０の外観構成の一例を示した図である。
図２に示すように、被写体Ａと相対向する面側に照明部１５、撮像部１６、表示部１３、音声出力部１４、操作部１２、測距センサ１９が設けられている。なお、本実施の形態では、音声出力部１４は表示部１３の側部に設けられているものとし、表示部１３は、操作部１２と一体的にタッチパネルが構成されているものとする。

ここで、撮像部１６は、不図示の支持体により被写体Ａの顔部に相対向する位置に支持されており、被写体Ａに相対向する位置に設けられている。ここで、撮像部１６はガラス、樹脂等等光透過性の板状組成物Ｐを介して被写体Ａの撮像を行うようになっている。支持体は不図示の駆動手段により被写体Ａに対し上下方向及び左右方向に移動可能となっており、撮像部１６と被写体Ａとの相対位置が調整可能となっている。また、支持体は不図示の駆動手段により被写体Ａに対し上下方向及び左右方向に所定の角度回動可能となっており、撮像部１６と被写体Ａとの相対角度が調整可能となっている。

撮像装置１０により被写体Ａの撮像を行う際には、当該被写体Ａに予め付与されたＩＤデータやパスワード等のユーザ情報が操作部１２を介して入力されるものとし、制御部１１は、この入力されたユーザ情報を被写体Ａの撮像画像データとともに認証装置３０へと送信する。

次に、図１を参照して、認証装置３０の内部構成を説明する。認証装置３０は、撮像装置１０から送信される撮像画像データに基づいて被写体Ａの認証を行う装置である。以下、図１を参照して撮像装置１０の内部構成について説明する。

図１に示すとおり、認証装置３０は、制御部３１、通信部３２、画像処理部３３、認証部３４、記憶部３５等を備えて構成される。

制御部３１は、不図示のＣＰＵ、ＲＡＭ、ＲＯＭ等からなり、ＣＰＵは、ＲＡＭの所定領域を作業領域として、ＲＯＭに予め記憶された各種制御プログラムを実行し認証装置３０を構成する各部の動作を制御する。なお、本実施の形態では、各種制御プログラムをＲＯＭに記憶することとしたが、記憶部３５に記憶することとしてもよい。

通信部３２は、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ等の規格に準拠したネットワークインターフェイスであって、無線ＬＡＮポート４０を介して撮像装置１０との通信を行うための制御を行う。ここで、通信部３２はデジタルカメラとパーソナルコンピュータ間における画像転送プロトコルＰＴＰに対応していることが好ましい。なお、本実施の形態のように無線ＬＡＮにより他の機器に接続する場合には、ＰＴＰを拡張したＰＴＰ／ＩＰを用いることが好ましい。

画像処理部３３は、例えば、ＤＳＰ（digital signal processor）等の演算プロセッサ等から構成されており、撮像装置１０から通信部３２を介して受信される撮像画像データに所定の画像処理を施す。
画像処理部３３は、図２に示すとおり、データ判定部３３１、目位置検出部３３２、規格化部３３３、切り出し部３３４を有して構成される。

データ判定部３３１は、撮像画像データに含まれる画素値から、当該撮像画像データの撮像条件の評価指標となる指標値を算出し、この指標値と所定の基準値とを比較して、前記撮影画像データの画像品質を判定する。ここで、撮像条件は、撮影時における撮像画像データのフォーカス、輝度、色調、照明の照度等を示す情報を含むものとする。なお、撮像装置１０で撮像された撮像画像データにＥｘｉｆ規格に準拠した各種情報が付帯されている場合には、当該付帯された情報に基づいて指標値を算出することとしてもよい。また、撮像装置１０により撮像が行われた際の撮像情報が、制御部１１による制御の下、撮像画像データとともに認証装置３０に送信される態様としてもよい。また、基準値は、後述する記憶部３５に記憶された被写体Ａの照合用画像データに基づいて算出されていることが好ましい。このように、撮像画像データの指標値と基準値とを比較することにより、画像品質として、明暗の度合い、照明による陰影の度合い、硬調・軟調、ピンボケの度合い、ぶれの度合い、色調等が照合に適切な値（基準値）に達しているか否かを判定することができる。

これらは、シーン判別処理をして自動で解析して制御情報を作成してもよいし、システムを管理している管理者もしくは監視者が別途この撮影された画像を確認し、適切か不適切かを判断した後に、この割り込み者による割り込み操作で制御情報を返して行うこともできる。上記の自動判別としては、公知の如何なるシーン判別、シーン解析手段を用いてもよく、被写体の特定の位置や領域の明るさを自動的に検出する方法としては、公知の特定箇所抽出方法（抽出アルゴリズム）を用いればよい。このような特定箇所抽出方法としては、例えば、特開平９−１３８４７０号公報に開示される、特定色を抽出する方法、特定形状パターンを抽出する方法、背景に相当すると推定される領域を除去する方法等により、複数の異なる特定箇所（主要部）抽出方法をあらかじめ評価して重みを定め、各抽出方法で特定箇所を抽出して、抽出された特定箇所を定めた重みで重み付けし、その結果に応じて主要部を判定、抽出する方法が例示される。

本態様においては、これ以外にも、特開平４−３４６３３３号、同５−１５８１６４号、同５−１６５１２０号、同６−１６０９９３号、同８−１２２９４４号、同８−１８４９２５号、同９−１０１５７９号、同９−１４６１９４号、同９−１９７５７５号等の各公報に開示される特定箇所抽出方法も好適に利用可能である。
本出願人らによる特願２００４−２７４８６８、同２００４−２７５２１２、同２００４−２７５２３９等において記載の、デジタル画像を解析して、撮影時のライティング条件と露出条件を定量的に示す指標を算出する方法も、好適に用いることができる。また、幾何的情報として、顔が小さく解像度不足、大きすぎて他の特徴点がない等が判断でき、ズームの倍率を調節することができる。

データ判定部３３１は、上記した判別の結果、撮像画像データの指標値が基準値に達しなかった撮像条件を指示する指示情報を制御部３１に出力する。また、上記した判別の結果、撮像画像データの指標値が基準値に達した場合には、この撮像画像データを目位置検出部３３２へと出力する。

制御部３１は、データ判定部３３１からの指示情報を取得すると、この指示情報に基づいて撮像装置１０の機能部１８を制御するための制御情報を生成し、撮像装置１０へと送信する。例えば、撮像画像データのフォーカス値を示す指標値が基準値に達していない場合には、この指標値をフォーカス調整部１８１に調整させるための制御情報を生成し、撮像装置１０に送信する。また、撮像画像データの露出を示す指標値が基準値に達していない場合には、この指標値を露出調整部１８３に調整させるための制御情報を生成し、撮像装置１０に送信する。また、撮像画像データの照度を示す指標値が基準値に達していない場合には、この指標値を照明調整部１８５に調整させるための制御情報を生成し、撮像装置１０に送信する。

目位置検出部３３２は、データ判定部３３１から入力された撮像画像データから被写体Ａの顔領域を検出する。さらに目位置検出部３３２は、撮像画像データの顔領域から被写体Ａの両目の位置を検出するとともに、この検出された顔領域、両目位置に基づいて両目位置の間隔や両目を結ぶ線分が水平成分となす角度（以下、両目角度という）、顔領域の頭頂部から顎部に相当する顔のサイズ等を算出する。ここで、顔領域又は両目位置を検出できない場合には、その旨を指示する指示情報を制御部３１に出力する。

また、目位置検出部３３２は、検出された顔領域と記憶部３５に記憶された照合用画像データの顔領域とを比較することで、被写体の顔状態が照合に適切であるか否かを判定する。ここで、顔状態は、顔の向き、表情を少なくとも含むものとする。

顔領域等の検出方法としては、例えば、特開平４−３４６３３３号、同５−１５８１６４号、同５−１６５１２０号、同６−１６０９９３号、同８−１８４９２５号、同９−１０１５７９号、同９−１３８４７０号、同９−１３８４７１号、同９−１４６１９４号、同９−１９７５７５号等の各公報に開示された方法を利用することができる。

顔領域における表情の判定方法としては、公知の如何なる技術を用いても良く、例えば、ＰＲＭＵ９９−１３８「顔器官輪郭の自動抽出と表情認識の自動化」小林宏・高橋久徳・菊地耕生（東京理科大）、ＰＲＭＵ９９−１３９「ポテンシャルネットを用いた顔領域の推定と表情認識」別所弘章（イメージ情報科研）・岩井儀雄・谷内田正彦（阪大）、ＰＲＭＵ９９−１４０（特別講演）「顔面表情認知研究と画像処理技術」山田寛（日大／ＡＩＲ）、ＰＲＭＵ９９−１４２（特別招待論文）「インタラクションのための人物動作解析と認識」谷内田正彦・岩井儀雄（阪大）等があり、これらの「表情認識技術」を適用することができる。

また、表情認識処理を行うにあたり、人物の顔領域等の特定領域を抽出する方法を併用しても良い。顔領域を抽出する方法としては、米Ｉｄｅｎｔｉｘ社製顔認識技術「ＦａｃｅＩｔ」がある。「ＦａｃｅＩｔ」は、デジタル画像から顔の輪郭、目、鼻、口、耳等の間隔、肌の色情報などを取得し、人間の顔を認識する技術である。この他にも、顔抽出の方法としては、例えば特開平８−１２２９４４号公報に開示されている方法を好適に適用することができる。

さらに、目位置検出部３３２は、上記した顔状態の判別の結果、顔の向きが上、下、右、左方向に偏倚し過ぎていたり、被写体が目を閉じていたり、不適な笑を浮かべている等、顔状態が照合に不適切と判別された場合には、この旨を指示する指示情報を制御部３１に出力する。また、顔状態の判別の結果、顔状態が照合に適切と判別された場合には、この撮像画像データを先に検出・算出された両目の間隔や両目角度、顔のサイズ等とともに規格化部３３３へと出力する。

制御部３１は、目位置検出部３３２からの指示情報を取得すると、この指示情報に基づいて制御情報を生成し、撮像装置１０へと送信する。例えば、顔の向きが上、下、右、左方向に偏倚し過ぎていた場合には、この顔状態の変更を報知させるための制御情報を生成し、撮像装置１０に送信する。撮像装置１０の制御部１１は、この制御情報に基づいて、当該変更指示情報が示す内容を表示部１３又は音声出力部１４に報知させることで、被写体Ａに顔状態の変更を促す。

規格化部３３３は、目位置検出部３３２から入力された撮像画像データを、当該撮像画像データとともに入力される両目の間隔、両目角度、顔のサイズ等に基づいて、当該両目の間隔、両目角度、顔のサイズが所定値となるよう撮像画像データの画像サイズを拡大／縮小、撮像画像データの回転を行って切り出し部３３４に出力する。ここで、規格化部３３３は、撮像画像データが予め定められた適合基準に入っていない場合には、この旨を指示する指示情報を制御部３１に出力する。

制御部３１は、規格化部３３３からの指示情報を取得すると、この指示情報に基づいて撮像装置１０の機能部１８を制御するための制御情報を生成し、撮像装置１０へと送信する。例えば、被写体Ａの顔（両目）が撮像画像データの中央位置近傍に存在しない場合には、レンズ収差により画像に歪みが生じるため、被写体Ａの顔が撮像画像データの中央位置近傍となるよう撮像位置／方向調整部１８４に調整させるための制御情報を生成し、撮像装置１０に送信する。また、顔のサイズが大きすぎ又は小さすぎるような場合には、顔サイズが適切な値となるようズーム調整部１８２に調整させるための制御情報を生成し、撮像装置１０に送信する。

切り出し部３３４は、規格化部３３３から入力された撮像画像データを、予め定められた画像サイズ、ピクセル数及び所定の要件（例えば、目の高さ位置は画面下から５０％〜６０％の高さで、鼻筋は画面の中心等）となるよう撮像画像データから画像領域を被照合用画像データとして切り出し、認証部３４へと出力する。ここで、切り出し部３３４は、被照合用画像データの切り出しを行う際に、画像の欠け等を検出し、この検出結果に基づいて被照合用画像データの切り出しが正常に行えないと判定した場合には、その旨を指示する指示信号を制御部３１に出力する。

制御部３１は、切り出し部３３４からの指示情報を取得すると、切り出し部３３４からの指示情報を取得すると、この指示情報に基づいて制御情報を生成し、撮像装置１０へと送信する。例えば、画像の欠け等を検出した場合には、撮像部１６に再度撮像を行わせる制御信号を生成し、撮像装置１０に送信する。撮像装置１０の制御部１１は、この制御信号に基づいて撮像部１６を制御し、再度撮像を行う。

認証部３４は、切り出し部３３４から入力された被照合用画像データと、当該被照合用画像データのユーザＩＤに対応する記憶部３５に記憶された照合用画像データと、を照合することで、被写体Ａの認証を行い、この認証結果を制御部３１へと出力する。なお、認証部３４は、被照合用画像データと照合用画像データとの照合率が不十分であり、且つ、撮像条件を変更することで照合率の向上を図ることができるような場合には、例えば、被照合用画像データの画像品質が照合用画像データと差異を生じているのか、或いは幾何学的特性が差異を生じているのかを比較解析した後に、その旨を指示する指示情報を制御部３１へと出力する。

制御部３１は、認証部３４からの認証結果を取得すると、この認証結果を報知させるための認証結果情報を生成し、撮像装置１０に送信する。撮像装置１０の制御部１１は、この認証結果情報に基づいて、当該認証結果情報が示す内容を表示部１３又は音声出力部１４に報知させ、被写体Ａに認証結果を認識させる。

また、制御部３１は、認証部３４からの指示情報を取得すると、この指示情報に基づいて制御情報を生成し、撮像装置１０へと送信する。例えば、照合用画像データの画像品質が照合用画像データと差異を生じていると判定した場合には、上述したデータ判定部３３１からの指示信号と同様、フォーカス調整部１８１、露出調整部１８３、照明調整部１８５を制御する制御信号を生成し、撮像装置１０へと出力する。また、照合用画像データの幾何学的特性が照合用画像データとの差異を生じていると判定した場合には、上述した規格化部３３３からの指示信号と同様、ズーム調整部１８２、撮像位置／方向調整部１８４を制御する制御信号を生成し、撮像装置１０へと出力する。

記憶部３５は、プログラムやデータ等が予め記録されている記録媒体（図示せず）を有しており、この記録媒体は磁気的、光学的記録媒体、若しくは半導体メモリで構成されている。この記録媒体は、記憶部３５に固定的に設けられるもの、若しくは着脱自在に装着するものであり、この記録媒体には、各種処理プログラム、及び各種処理プログラムで処理されたデータ等を記録する。また、プログラムは、コンピュータが読み取り可能なプログラムコードの形態で格納され、制御部３１は、当該プログラムコードに従った動作を逐次実行する。

また、記憶部３５は、撮像装置１０で認証対象となる被写体Ａの照合用画像データを当該被写体ＡのＩＤデータやパスワード等固有のユーザ情報と対応付けて予め記憶している。制御部３１は、撮像装置１０から送信される被写体Ａのユーザ情報に基づいて、当該被写体Ａに対応する照合用画像データを記憶部３５から読み出す。なお、照合用画像データの入力方法は、特に問わないものとするが、照合用画像データは前述した規格化部３３３及び切り出し部３３４の処理が適用された状態の画像データであることが好ましい。

次に、図３及び図４を参照して、認証システム１００の動作を説明する。
図３及び図４は、認証システム１００による認証処理の手順を示したラダーチャートである。ここで、ステップＳ１１〜Ｓ１７は、撮像装置１０の制御部１１による制御により実行される処理を、ステップＳ２１〜Ｓ３５は、認証装置３０の制御部３１による制御により実行される処理を示している。

まず、被写体Ａが撮像装置１０の前に位置すると測距センサ１９の測定結果に基づいて、被写体Ａが所定の位置にあることを判別し、本処理が開始される（ステップＳ１１）。なお、本実施の形態では、測距センサ１９の測定結果により自動で開始されることとしたが、これに限らず、被写体Ａ又は遠隔操作により開始することとしてもよい。

上記の状態において、操作部１２を介して被写体ＡのユーザＩＤが入力され、所定の操作により撮像を開始する旨のボタンが押下されると、制御部１１の制御に応じて撮像部１６により被写体Ａの撮像が行われ（ステップＳ１２）、取得された撮像画像データが被写体Ａのユーザ情報とともに通信部３２を介して認証装置３０へと送信される（ステップＳ１３）。

一方、認証装置３０では、撮像装置１０から撮像画像データ及びユーザ情報が受信されると（ステップＳ２１；Ｙｅｓ）、データ判定部３３１により撮像画像データの指標値が算出され（ステップＳ２２）、この指標値と所定の基準値とが比較されることで画像品質が判定される（ステップＳ２３）。ここで、基準値に達しないと指標値が存在すると判定された場合、つまり撮像画像データの画像品質が、明る過ぎ又は暗過ぎ、照明の陰影がつき過ぎ（例えば、鼻に影がある等）、硬調過ぎ又は軟調過ぎ、ピンボケ、ぶれ、色調不良等照合に不適切と判定された場合には（ステップＳ２３；Ｎｏ）、この指標値を機能部１８に調整させるための制御情報が生成されて（ステップＳ３３）、撮像装置１０へと送信される（ステップＳ３４）。

ステップＳ２３において、全ての指標値が基準値に達したと判定された場合、つまり撮像画像データの画像品質が適切と判定された場合には（ステップＳ２３；Ｙｅｓ）、目位置検出部３３２により撮像画像データから顔領域の検出、両目位置を検出等がなされる（ステップＳ２４）。ここで、撮像画像データから顔領域又は両目位置が検出できなかった場合には（ステップＳ２４；Ｎｏ）、この旨を表示部１３、音声出力部１４に報知させる制御信号が生成されて（ステップＳ３３）、撮像装置１０へと送信される（ステップＳ３４）。

ステップＳ２４において、撮像画像データから顔領域又は両目位置が検出できた場合には（ステップＳ２４；Ｙｅｓ）、検出された顔領域、両目位置に基づいて両目位置の間隔、両名角度、顔サイズ等が算出された後（ステップＳ２５）、被写体Ａの顔状態が判定される（ステップＳ２６）。ここで、顔状態が照合に不適切と判定された場合には（ステップＳ２６；Ｎｏ）、表示部１３、音声出力部１４に顔状態の変更を報知させるための制御情報が生成されて（ステップＳ３３）、撮像装置１０へと送信される（ステップＳ３４）。

ステップＳ２６において、顔状態が照合に適切と判定された場合には（ステップＳ２６；Ｙｅｓ）、規格化部３３３により撮像画像データの画像サイズが拡大／縮小等リサイズされる（ステップＳ２７）。ここで、撮像画像データが予め定められた適合基準に入っていないと判定された場合には（ステップＳ２８；Ｎｏ）、この適合基準に入るよう機能部１８に調整させるための制御情報が生成されて（ステップＳ３３）、撮像装置１０へと送信される（ステップＳ３４）。

ステップＳ２８において、撮像画像データが予め定められた適合基準に入っていると判定された場合には（ステップＳ２８；Ｙｅｓ）、切り出し部３３４により撮像画像データから被照合用画像データが切り出される（ステップＳ２９）。ここで、切り出しが正常に行えないと判定された場合には（ステップＳ３０；Ｎｏ）、撮像部１６に再度撮像を行わせる制御信号が生成され、撮像装置１０へと送信される。

ステップＳ３０において、被照合用画像データの切り出しが正常に行われたと判定された場合には（ステップＳ３０；Ｙｅｓ）、認証部３４により被照合用画像データと記憶部３５に記憶された照合用画像データとが照合されて、認証が行われる（ステップＳ３１）。ここで、照合率が不十分であり、且つ、撮像条件を変更することで照合率の向上を図ることが可能と判定された場合には（ステップＳ３２；Ｎｏ）、機能部１８に照合率を向上させるための制御情報が生成されて（ステップＳ３３）、撮像装置１０へと送信される（ステップＳ３４）。

一方、撮像装置１０では、認証装置３０から制御情報が受信されると（ステップＳ１４；Ｙｅｓ）、この制御情報に基づいて機能部１８又は表示部１３、音声出力部１４が制御され（ステップＳ１５）、ステップＳ１２に再び戻ることで再度撮像が行われる。

ステップＳ３２において、照合率が十分と判定された場合には（ステップＳ３２；Ｙｅｓ）、認証結果を報知させるための認証結果情報が生成されて（ステップＳ３４）、撮像装置１０へと送信される（ステップＳ３５）。

一方、撮像装置１０では、認証装置３０から認証結果情報が受信されると（ステップＳ１６；Ｙｅｓ）、この認証結果情報に基づいて、当該認証結果情報が示す内容が表示部１３又は音声出力部１４により報知されて（ステップＳ１７）、本処理は終了する。

以上のように、本実施形態によれば、撮像装置１０は、認証装置３０で生成された制御情報（調整制御情報）に基づいて機能部１８を制御するため、照合性能の向上を図ることができるとともに、安定した照合性能を得ることができる。また、撮像装置１０は、認証装置３０で生成された制御情報（報知制御情報）に基づいて表示部１３又は音声出力部１４に報知させるため、認証対象者となる被写体Ａに顔状態の変更を促すことができる。

本発明は、上記実施の形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行ってもよい。

例えば、上記実施の形態では、ユーザ情報の入力を必要とする１対１照合を行うこととしたが、これに限らず、ユーザ情報の入力を必要としない１体Ｎ照合を行うこととしてもよく、この場合には、認証装置３０に入力された撮像画像データと記憶部３５に記憶された全ての照合用画像データとを順次照合を行うものとする。

また、上記実施の形態では、機能部をフォーカス調整部１８１、ズーム調整部１８２、露出調整部１８３、撮像位置／方向調整部１８４、照明調整部１８５の五つとしたが、これに限らず、他の撮影に供する機能を有する態様としてもよい。例えば、取得される撮像画像データのコントラスト調整等の画像処理を行う機能部を有する場合には、この機能部に係る制御を認証装置３０からの制御信号に基づいて行うようこととしてもよい。

本発明の認証システムの構成を概略的に示した図である。 撮像装置の外観構成の一例を示した図である。 認証処理の手順を示したラダーチャートである。 認証処理の手順を示したラダーチャートである。

符号の説明

１００ 認証システム
１０ 撮像装置
１１ 制御部
１２ 操作部
１３ 表示部
１４ 音声出力部
１５ 照明部
１６ 撮像部
１７ 一時記憶メモリ
１８ 機能部
１８１ フォーカス調整部
１８２ ズーム調整部
１８３ 露出調整部
１８４ 撮像位置／方向調整部
１８５ 照明調整部
１９ 測距センサ
２０ 通信部
３０ 認証装置
３１ 制御部
３２ 通信部
３３ 画像処理部
３３１ データ判定部
３３２ 目位置検出部
３３３ 規格化部
３３４ 切り出し部
３４ 認証部
３５ 記憶部
４０ 無線ＬＡＮポート

Claims (20)

1. 被写体を撮像し当該被写体に相当する撮像画像データを取得する撮像手段と、前記撮像に供する機能部とを備えた撮像装置と、前記被写体に相当する照合用画像データを予め記憶する記憶手段と、前記撮像画像データと前記照合用画像データとを照合し、認証を行う認証手段とを備えた認証装置と、が相互に通信可能に構成された認証システムであって、
   前記認証装置は、前記撮像装置で取得された撮像画像データに基づいて当該撮像画像データの画像品質を判定するデータ判定手段と、前記データ判定手段の判定結果に基づいて前記画像品質を調整させるための調整制御情報を生成し、前記撮像装置に送信する制御情報生成手段と、を備え、
   前記撮像装置は、前記認証装置からの調整制御情報に基づいて前記機能部を制御する機能制御手段を備えたことを特徴とする認証システム。
2. 前記制御情報生成手段は、前記照合用画像データに基づいて前記撮像画像データの画像品質を判定することを特徴とする請求項１に記載の認証システム。
3. 前記認証装置は、前記撮像画像データに基づいて当該撮像画像データに含まれる前記被写体の顔状態を検出する顔状態検出手段と、前記検出された顔状態に基づいて前記顔状態の変更を報知させるための報知制御情報を生成し、前記撮像装置に送信する変更指示情報生成手段と、を備え、
   前記撮像装置は、前記被写体への報知を行う報知手段と、前記認証装置からの報知制御情報に基づいて前記報知手段に報知させる報知制御手段と、を備えたことを特徴とする請求項１に記載の認証システム。
4. 前記顔状態は、前記被写体の顔の向き、表情を示した情報を少なくとも含むことを特徴とする請求項３に記載の認証システム。
5. 前記認証装置は、前記撮像画像データから前記被写体の両目の位置を検出する目位置検出手段と
   前記検出された両目の間隔が所定値となるよう前記撮像画像データの画像サイズを変更し規格化する規格化手段と、
   前記規格化された撮像画像データから所定の画像領域を切り出し、被照合用画像データとして生成する切り出し手段と、
   を備え、
   前記認証手段は、前記切り出された被照合用画像データと前記照合用画像データとを照合し、認証を行うことを特徴とする請求項１に記載の認証システム。
6. 前記機能部は、前記撮像手段の焦点を調整する焦点調節手段を含むことを特徴とする請求項１に記載の認証システム。
7. 前記機能部は、前記撮像手段の露出を調整する露出調整手段を含むことを特徴とする請求項１に記載の認証システム。
8. 前記撮像装置は、前記被写体を照明する照明手段を備え、
   前記機能部は、前記照明手段の出力を調整する照明調整手段を含むことを特徴とする請求項１に記載の認証システム。
9. 前記機能部は、前記撮像手段の撮像位置及び／又は撮像方向を調整する駆動手段を含むことを特徴とする請求項１に記載の認証システム。
10. 前記撮像装置と前記認証装置とが無線ＬＡＮにより相互に通信可能に構成され、当該通信の通信方式が、ＰＴＰ／ＩＰに準拠していることを特徴とする請求項１に記載の認証システム。
11. 被写体を撮像し当該被写体に相当する撮像画像データを取得する撮像手段と、前記撮像に共する機能部を制御する機能制御手段とを備えた撮像装置と、前記被写体に相当する照合用画像データを予め記憶する記憶手段と、前記撮像画像データと前記照合用画像データとを照合し、認証を行う認証手段とを備えた認証装置と、が相互に通信可能に構成された認証システムの認証方法であって、
    前記認証装置は、前記撮像装置で取得された撮像画像データに基づいて当該撮像画像データの画像品質を判定するデータ判定工程と、前記データ判定工程での判定結果に基づいて前記画像品質を調整させるための調整制御情報を生成し、前記撮像装置に送信する制御情報生成工程と、を含み、
    前記撮像装置は、前記認証装置からの調整制御情報に基づいて前記機能部を制御する機能制御工程を含むことを特徴とする認証方法。
12. 前記制御情報生成工程は、前記照合用画像データに基づいて前記撮像画像データの画像品質を判定することを特徴とする請求項１１に記載の認証方法。
13. 前記認証装置は、前記撮像画像データに基づいて当該撮像画像データに含まれる前記被写体の顔状態を検出する顔状態検出工程と、前記検出された顔状態に基づいて前記顔状態の変更を報知させるための報知制御情報を生成し、前記撮像装置に送信する変更指示情報生成工程と、を含み、
    前記撮像装置は、前記認証装置からの報知制御情報に基づいて前記被写体への報知を行う報知手段に報知させる報知制御工程と、を含むことを特徴とする請求項１１に記載の認証方法。
14. 前記顔状態は、前記被写体の顔の向き、表情を示した情報を少なくとも含むことを特徴とする請求項１３に記載の認証方式。
15. 前記認証装置は、前記撮像画像データから前記被写体の両目の位置を検出する目位置検出工程と
    前記検出された両目の間隔が所定値となるよう前記撮像画像データの画像サイズを変更し規格化する規格化工程と、
    前記規格化された撮像画像データから所定の画像領域を切り出し、被照合用画像データとして生成する切り出し工程と、
    を含み、
    前記認証手段は、前記切り出された被照合用画像データと前記照合用画像データとを照合し、認証を行うことを特徴とする請求項１１に記載の認証方法。
16. 前記機能部は、前記撮像手段の焦点を調整する焦点調節手段を含むことを特徴とする請求項１１に記載の認証方法。
17. 前記機能部は、前記撮像手段の露出を調整する露出調整手段を含むことを特徴とする請求項１１に記載の認証方法。
18. 前記撮像装置は、前記被写体を照明する照明手段を備え、
    前記機能部は、前記照明手段の出力を調整する照明調整手段を含むことを特徴とする請求項１１に記載の認証方法。
19. 前記機能部は、前記撮像手段の撮像位置及び／又は撮像方向を調整する駆動手段を含むことを特徴とする請求項１１に記載の認証方法。
20. 前記撮像装置と前記認証装置とが無線ＬＡＮにより相互に通信可能に構成され、当該通信の通信方式が、ＰＴＰ／ＩＰに準拠していることを特徴とする請求項１１に記載の認証方法。

Images