JP2007140946A - 顔画像照合装置及び照合用顔画像登録方法 - Google Patents

Abstract

【課題】カラー顔画像を用いて照合に適する顔画像を登録することができる顔画像照合装置及び顔画像登録方法を提供する。
【解決手段】所定環境下にて被照合者を撮影して顔画像を入力する顔画像入力部１０３と、被照合者のカラー顔画像を取得するカラー顔画像取得部１０２と、カラー顔画像に基づき所定環境下にて撮影した顔画像と照合可能な推定顔画像を算出する推定部１０４ａと、顔画像入力部１０３にて取得した入力顔画像と推定顔画像とを照合し両顔画像が同一人物のものか否かを判定する照合部１０４ｂと、登録顔画像を記憶する登録画像記憶部１０５と、照合部１０４ｂにて同一人物と判定すると推定顔画像を登録顔画像として登録画像記憶部１０５に登録し、照合部１０４ｂにて同一人物と判定しないと登録しない顔画像登録部１０４ｃとを具備するように顔画像照合装置１を構成する。
【選択図】図２

Description

本発明は、被照合者を撮影した顔画像と、予め取得されている顔画像を照合して同一人物か否かを判定する顔画像照合装置及びその照合に用いる照合用顔画像の登録方法に関するものであり、より詳しくは、被照合者を撮影した入力顔画像と、予め取得され、入力顔画像と特性の異なる顔画像に基づいて照合を行う顔画像照合装置及びその照合に用いる照合用顔画像の登録方法に関する。

近年、顔を撮影した画像情報を用いて個人認証を行う照合装置が提案されている。例えば、個人識別（ＩＤ）カードに印刷された顔画像を読み取り、同時にカード使用者の像を入力装置で読み取ってカードの所有者と使用者の顔画像の一致をとるようにした顔画像識別カード照合処理方法が提案されている（特許文献１参照）。

また、人の顔は、顔の輪郭、目、口など特徴的な部位の位置、目の形状などに個々人の特徴が表されるという知見が得られている。そこで、そのような照合装置では、撮影された顔画像から、目、口の位置、形状などを特徴量として抽出し、事前に登録された参照用画像（以下、登録顔画像という）の各特徴量との類似度を算出し、その類似度が所定の基準を満たすか否かで照合を行う。

また、照合に用いる顔画像としては、多くの場合、可視光（波長約４００ｎｍ〜約７００ｎｍ）又は近赤外光（波長約７００ｎｍ〜約８５０ｎｍ）を照明光として撮影されたものが使用されている。

照明光源に可視光のものを用いて撮影する場合、特殊な撮影機材が不要であり、また色情報も照合の特徴量として使用することができるというメリットがある。しかし、周囲の照明環境の影響により、取得される画像の明るさ及び色調が変動するおそれがある。そのような悪影響を避けるために、人の顔に当たる照明光の照度を高くすると、被撮影者に眩しさを感じさせるなど、不快感を生じさせるため、望ましくない。

一方、照明光源に近赤外光のものを用いて撮影する場合、比較的高い照度となるように設定しても、被撮影者が眩しいと感じることは少ないため、安定した照明条件を確保し易く、それ故取得される画像の質も安定するため、高い照合精度が得易いというメリットがあり、可視光を照明光源として用いるものよりも広く使用されている。

照明光が近赤外光の場合、色情報を得ることは困難であり、明るさに関する情報のみが含まれるため、撮影画像はモノクロ画像となる。これに対して、照合に使用する登録顔画像が可視光下で撮影されたカラー画像である場合、両者に含まれる情報及びコントラストの違いにより、高い照合精度を得ることができない。そのため、近赤外光を照明に用いて撮影された顔画像を入力（以下入力顔画像という）として用いる場合、登録顔画像も近赤外光を照明に用いて撮影された画像であることが望ましい。

しかし、近赤外光を照明光として撮影するためには、近赤外照明装置及び近赤外領域に感度を有するカメラなどの撮影機材が必要となるが、一般的に入手が容易なものではない。したがって、登録顔画像を用意するために、被撮影者が実際に照合装置に赴いて撮影してもらうなどの特別な作業が必要となる。登録者数が数百人、数千人などの規模となると、この作業に要する工数及び時間は膨大なものとなる。そこで、一般的に入手が容易な、可視光による撮影機材を用いて撮影されたカラー画像を利用して、上記の作業に要する工数を減らすことが望ましい。またカラー画像であれば、社員証などの身分証明書用に別途撮影された顔画像など、既存の画像を利用可能な場合もある。

一方、登録顔画像がカラー画像である場合に、モノクロ画像に変換して顔の照合を行う方法及び装置が提案されている（特許文献２参照）。特許文献１に記載された方法及び装置では、カラー画像をモノクロ化することで、化粧や照明の変化に応じて顔の色情報に生じる変化の悪影響を避け、照合の認識精度を高めるようにしている。また同様に、半導体チップの実装において、ＩＣの位置認識を正確に行うために、カラー画像をモノクロ化した画像を用いて、認識対象を認識する認識装置が知られている（特許文献３参照）。

しかし、単にカラー画像をモノクロ化した画像は、近赤外光で照明して撮影した顔画像とコントラストが異なる。そのため、登録顔画像に単なるモノクロ画像を用い、入力顔画像に近赤外画像を用いて照合を行うと、必ずしも良好な認識結果を得ることができるわけではなかった。

そこで、入手が容易なカラー顔画像に基づいて照合に適した顔画像を登録し、その登録された顔画像を用いて照合を行う顔画像照合装置、及び顔画像の登録方法の開発が望まれている。

特開平５−２３３７８３号公報 特開２０００−３３１１６７号公報 特開２００２−２６０７５号公報

上記の問題点に鑑み、本発明の目的は、カラー顔画像を用いて照合に適する顔画像を登録することができる顔画像照合装置及び顔画像登録方法を提供することにある。

また、本発明の別の目的は、照合用の顔画像の登録が容易な顔画像照合装置及び顔画像登録方法を提供することにある。

かかる課題を解決するための第一の発明は、被照合者の入力された顔画像と登録顔画像とを照合する顔画像照合装置であって、所定環境下にて被照合者を撮影して顔画像を入力する顔画像入力部と、被照合者のカラー顔画像を取得するカラー顔画像取得部と、カラー顔画像に基づき所定環境下にて撮影した顔画像と照合可能な推定顔画像を算出する推定部と、顔画像入力部にて取得した入力顔画像と推定顔画像とを照合し両顔画像が同一人物のものか否かを判定する照合部と、登録顔画像を記憶する登録画像記憶部と、照合部にて同一人物と判定すると推定顔画像を登録顔画像として登録画像記憶部に登録し、照合部にて同一人物と判定しないと登録しない顔画像登録部と、を具備する顔画像照合装置を提供する。

かかる顔画像照合装置によれば、一般に取得が容易であり、モノクロ画像に比して情報量が多いカラー顔画像を取得する。取得したカラー顔画像から顔画像照合に適した推定顔画像を作成する。所定環境下にて撮影した顔画像と、推定顔画像とを照合して同一人物であれば推定顔画像を以降の顔画像照合に使用する登録顔画像として登録する。

すなわち、何らかの原因で照合にとって不適切な推定顔画像がカラー顔画像から作成された場合に、この照合に不適な推定顔画像を登録顔画像として登録するのを防止できる。なお、カラー顔画像取得部、推定部、顔画像入力部、及び登録画像記憶部は、必ずしも照合部と同じ機器内に設けておく必要はなく、例えばネットワークを介して所定の情報を送受信可能な別機器内に設けてもよい。また、所定環境下とは、被照合者が顔画像を照合する際の顔画像の撮影環境をいい、照明の種類、撮像素子の種類、フィルタの種類などによって異なってくる環境をいう。

かかる課題を解決するための第二の発明は、被照合者の入力された顔画像と登録顔画像とを照合する顔画像照合装置であって、所定環境下にて被照合者を撮影して顔画像を入力する顔画像入力部と、被照合者のカラー顔画像を取得するカラー顔画像取得部と、カラー顔画像に基づき所定環境下にて撮影した顔画像と照合可能な推定顔画像を算出する推定部と、顔画像入力部にて取得した入力顔画像と推定顔画像とを照合し両顔画像が同一人物のものか否かを判定する照合部と、登録顔画像を記憶する登録画像記憶部と、照合部にて同一人物と判定すると入力顔画像を登録顔画像として登録画像記憶部に登録し、照合部にて同一人物と判定しないと登録しない顔画像登録部と、を具備する顔画像照合装置を提供する。

かかる顔画像照合装置によれば、一般に取得が容易であり、モノクロ画像に比して情報量が多いカラー顔画像を取得する。取得したカラー顔画像から顔画像照合に適した推定顔画像を作成する。所定環境下にて撮影した顔画像と、推定顔画像とを照合して同一人物であれば所定環境下にて撮影された入力顔画像を以降の顔画像照合に使用する登録顔画像として登録する。

すなわち、カラー顔画像から人為的に作成した推定顔画像を登録顔画像に使用せず、所定環境下にて撮影された入力顔画像を登録するので、より適切な顔画像の登録が可能になる。なお、カラー顔画像取得部及び推定部は、第一の発明と同様に、必ずしも照合部と同じ機器内に設けておく必要はない。また、所定環境下とは、被照合者が顔画像を照合する際の顔画像の撮影環境をいい、照明の種類、撮像素子の種類、フィルタの種類などによって異なってくる環境をいう。

また、第一の発明及び第二の発明において、顔画像登録部が、照合部にて同一人物と判定すると推定顔画像又は入力顔画像を登録顔画像として情報記憶媒体に登録し、照合部にて同一人物と判定しないと登録しないようにすることが好適である。
かかる構成によれば、情報記憶媒体に、登録顔画像を記憶するので顔画像照合装置に顔画像を記憶させる必要がなくなる。また、複数の顔画像照合装置を使用する被照合者にとっては、照合に使用する顔画像を自己が所有する情報記憶媒体に登録するだけで、複数の機器にて使用できるようになる。

また、第一の発明及び第二の発明において、カラー顔画像取得部は、ネットワーク通信手段を更に備え、前記ネットワーク通信手段を介して被照合者のカラー顔画像を取得することが好適である。
かかる構成によれば、カラー顔画像が予め集中管理装置によって集中管理されている場合等において、集中管理装置とネットワークにて接続することで、カラー顔画像を取得することが可能になる。このため、顔画像の登録を省力化することができる。

また、第一の発明及び第二の発明において、カラー顔画像取得部は、情報記憶媒体からのデータ読取手段を更に備え、情報記憶媒体から被照合者のカラー顔画像を取得することが好適である。
かかる構成によれば、携帯可能な情報記憶媒体に予めカラー顔画像が記憶されている場合に、ネットワーク接続などの手間をかける必要なく、顔画像の登録が可能になる。

また、第一の発明及び第二の発明において、推定部は、カラー顔画像の画素の画素値が有する色階調情報を画素ごとに抽出する画素値抽出手段と、画素ごとに、肌色反射特性に基づく色階調情報と近赤外線領域の画素値との相関関係と、画素値抽出部にて抽出した色階調情報に基づき、近赤外線領域の波長における推定画素値を算出する推定手段と、推定手段にて推定された推定画素値を有する画素から推定顔画像を構成する推定画像作成手段を有することが好適である。
かかる構成によれば、所定環境として近赤外線顔画像を使用する場合に、カラー顔画像の色階調情報を用いて、肌色反射特性に基づいて近赤外線顔画像を推定するので、より照合に適した推定顔画像を作成することができる。

また、上記課題を解決するための第三の発明は、被照合者のカラー顔画像を取得するカラー顔画像取得工程と、カラー顔画像に基づき所定環境下にて撮影した顔画像と照合可能な推定顔画像を算出する推定工程と、所定環境下にて被照合者を撮影して顔画像を入力する顔画像入力工程と、顔画像入力工程にて取得した入力顔画像と推定顔画像とを照合し両顔画像が同一人物のものか否かを判定する照合工程と、照合工程にて同一人物と判定すると推定顔画像を登録顔画像として登録し、同一人物と判定しないと登録しない顔画像登録工程と、を有する照合用の顔画像登録方法を提供する。

本発明によれば、カラー顔画像を用いて照合に適する顔画像を登録することができる顔画像照合装置及び顔画像登録方法を提供することが可能となった。

また、照合用の顔画像の登録が容易な顔画像照合装置及び顔画像登録方法を提供することが可能となった。

以下、本発明を顔画像照合装置に適用した第一の実施の形態を図を参照しつつ説明する。
図１は、本発明を適用した顔画像照合装置１を出入口の電気錠制御に使用した例の全体システム構成を示す図である。同図において、システムは、被照合者の顔画像を撮影し、登録顔画像と照合を行い、本人確認できれば出入口扉の電気錠４を解錠させる複数の顔画像照合装置１と、顔画像照合装置１に照合用顔画像として登録するための元になるカラー顔画像をデータベースとして集中管理している集中管理装置２と、顔画像照合装置１と集中管理装置２とを接続可能なネットワーク３から構成される。

集中管理装置２は、サーバにて構成されており、被照合者のカラー顔画像がデータベース２１に記憶されている。図５は、データベース２１に記憶されている内容を示しており、被照合者の社員番号、ＩＤ番号及びカラー顔画像を対応付けて記憶している。

ここで、カラー顔画像について説明する。カラー顔画像とは、人間の顔を被写体として含むデジタル画像であって、画素ごとにカラー表現が可能な情報を持つ画像をいう。カラー画像の表色系には、ＲＧＢカラー表色系、ＹＵＶカラー表色系、ＹＩＱカラー表色系、ＣＭＹカラー表色系などがあり、相互に表色系を変換することができる。かかるカラー表色系の識別情報は、画像ファイルのヘッダーに記憶されており、この識別情報をコンピュータにて読み取り、参照することで、ディスプレイやプリンターにおいてカラー画像を適切な色階調で表現することができる。ここでいうカラー顔画像は、各画素ごとに、ＲＧＢ表色系でいうＲ（赤）成分、Ｇ（緑）成分、Ｂ（青）成分などの成分ごとに色階調の情報を含む画素値を持っている。

図２は、本発明の第一の実施形態にかかる顔画像照合装置１の機能ブロック図である。顔画像照合装置１は、人の操作入力及び各種ガイダンスを表示するタッチパネル付液晶ディスプレイ（ＬＣＤ）の操作表示部１０１と、ネットワーク３に接続され集中管理装置２からカラー顔画像を取得する、カラー顔画像取得部として機能する通信部１０２と、被照合者に対して近赤外光を照射して、被照合者の顔を撮影し、入力顔画像である近赤外線顔画像を取得する近赤外線顔画像入力部１０３と、予め出入口の通行を許可されている被照合者の顔画像である登録顔画像を記憶する登録画像記憶部１０５と、電気錠４に対して解錠又は施錠信号を出力する出力部１０６と、顔画像照合装置１の各種制御を行う制御部１０４から構成されている。

操作表示部１０１は、ＬＣＤタッチパネルにて構成されており、タッチパネル上に被照合者が照合指示する場合やカラー顔画像を取得指示する場合などに、ＩＤ番号の入力・動作の選択など各種信号の操作入力を行う。また、操作表示部１０１は、操作者に対して、照合中の旨・照合結果・操作ガイドなどを適宜に表示する。本実施の形態では、操作表示部１０１は、ＬＣＤタッチパネルにて説明するが、各種キースイッチとＬＥＤなどを採用してもよい。

カラー顔画像取得部たる通信部１０２は、ネットワーク３を介して集中管理装置２に接続され、所定の通信プロトコルにて通信を行う通信インターフェース及びドライバから構成される。本実施の形態では、集中管理装置１からネットワーク３を介してカラー顔画像を取得するようにしているが、図３に示すように、通信部１０２をＲＦＩＤ（Radio Frequency IDentification）のリーダライターであるカードＲ／Ｗ１１２で構成し、ＩＣカードに記憶されているカラー顔画像を非接触のカードＲ／Ｗ１１２から取得するようにしてもよい。なお、カードＲ／Ｗ１１２として、接触式を用いても良いことは言うまでもない。

近赤外線顔画像入力部１０３は、図示しない近赤外光を照明する近赤外線照明光源と、近赤外線領域の光に感度を持つＣＣＤ素子又はＣ−ＭＯＳ素子などの撮像素子と、撮像素子の前面に設けられ、近赤外線領域に十分な透過特性を有し可視光を遮断する可視光カットフィルタと、撮像された近赤外線顔画像を取り込む入力回路から構成されている。本実施の形態では、顔画像の照合用に、被照合者の眩しさ等を考慮して近赤外線顔画像を取得するようにしているが、これに拘らず、近赤外線顔画像を用いない照合処理に適用する場合は当該照合に適した顔画像を取得すればよい。

登録画像記憶部１０５は、フラッシュメモリやＥＥＰＲＯＭなどの書き換え自在な不揮発性メモリにて構成され、被照合者ごとのＩＤ番号と登録顔画像を記憶する。

出力部１０６は、照合結果がＯＫの場合、出入口扉に設置されている、図示しない電気錠制御装置を介して電気錠４へ解錠又は施錠の信号を出力する。

制御部１０４は、ＣＰＵ、ＲＯＭ、ＲＡＭなどから構成され、顔画像照合装置１の制御全般についてプログラムにしたがって処理を行う。特に、カラー顔画像から推定顔画像を作成する画像推定の処理を行う画像推定部１０４ａと、取得した顔画像に基づいて被照合者が同一人か否かを照合・判定する照合部１０４ｂと、登録画像記憶部１０５へ照合ＯＫとなった推定顔画像を登録させる顔画像登録部１０４ｃとを少なくとも有している。また、画像推定部１０４ａは、カラー顔画像の画素の画素値が有する色階調情報を画素ごとに抽出する画素値抽出手段と、画素ごとに、肌色反射特性に基づく色階調情報と近赤外線領域の画素値との相関関係と、画素値抽出部にて抽出した色階調情報に基づき、近赤外線領域の波長における推定画素値を算出する推定手段と、推定手段にて推定された推定画素値を有する画素から推定顔画像を構成する推定画像作成手段を有する。なお、表示制御や通信制御などその他の処理については、通常に実施されている技術を用いているので、詳細な説明は省略する。

次に、図４を参照して、顔画像照合装置１の処理フローについて説明する。
まず、顔画像照合装置１は、電源がＯＮにされており、集中管理装置２と通信可能な状態にセットされているとする。また、集中管理装置２には、予め、出入口通行の許可を受けている人のカラー顔画像がデータベース２１に記憶されている。

この状態において、制御部１０４は、操作表示部１０１から被照合者のＩＤ番号が入力されると（ステップＳ４０１）、登録画像記憶部１０５にＩＤ番号に対応する登録顔画像が存在するか否かを判定する（ステップＳ４０２）。ステップＳ４０２にて登録顔画像が存在していれば、ステップＳ４０４へ進み登録画像記憶部１０５から該当する登録顔画像を読み出し、ステップＳ４０６へ進む（ステップＳ４０４）。ステップＳ４０２にて、登録顔画像が存在していなければ、カラー顔画像取得処理を実行する（ステップＳ４０３）。カラー顔画像取得処理Ｓ４０３は、通信部１０２（カラー顔画像取得部）からネットワーク３を介して集中管理装置２のデータベース２１にアクセスし、入力されたＩＤ番号をキーとして、図５に示したデータベースからＩＤ番号に対応するカラー顔画像をダウンロードする。なお、本フローには、集中管理装置２のデータベース２１において、ＩＤ番号に対応する顔画像が存在しなかった場合についての記載を省略しているが、存在しなかった場合には、その旨を操作表示部１０１に表示させて処理を終了する。

ステップＳ４０３にて取得したカラー顔画像から近赤外線顔画像である推定画像構成処理に進む（ステップＳ４０５）。
ここで、図７及び図８を参照して、カラー顔画像から近赤外線顔画像を推定する処理について詳細に説明する。図８は、推定画像構成処理Ｓ４０５の具体的な処理を示している。

ステップＳ４０３にて取得したカラー顔画像ファイルのヘッダにある表色系の識別情報を読み出し、表色系がＲＧＢ表色系か否か判定する（ステップＳ８０１）。
表色系がＲＧＢ表色系でなければステップＳ８０２に進み、ＲＧＢ表色系に変換し、ステップＳ８０３に進む。
表色系がＲＧＢ表色系であれば、そのままステップＳ８０３に進む。

ステップＳ８０３では、画像推定部１０４ａの画素値抽出手段において、顔画像を構成している画素を順次特定する。特定されたカラー顔画像を構成する各画素は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色成分を、それぞれ８ｂｉｔ（画素値０−２５５の２５６階調）で表現された色階調の情報を含む画素値を有している。Ｒ、Ｇ、Ｂの各成分は、例えばそれぞれ波長６６０ｎｍ、５５０ｎｍ、４４０ｎｍを中心としたカラーフィルタで単色化した光を、ＣＣＤセンサ、Ｃ−ＭＯＳセンサなどの光電変換素子で受光した受光量を８ｂｉｔでデジタル化したものである。
かかる対象画素の画素値であるＩ_r、Ｉ_g、Ｉ_bをステップＳ８０４にて抽出し、ステップＳ８０５に進む。

ステップＳ８０５では、画像推定部１０４ａの推定手段において、抽出した画素値Ｉ_r、Ｉ_g、Ｉ_bを後述する数式（１）に代入し、推定画素値Ｉ_irを算出する。
ここで、数式（１）について説明する。まず、数式（１）の説明に先立って、人の肌の反射特性について、図７を参照して説明する。

人の肌の反射特性のグラフを図７に示す。図７において横軸は波長を表し、縦軸は、各波長に対する反射率を表す。実線で示したグラフ６１は、人の肌の反射特性を表す。グラフを参照して明らかなように、人の顔の大半を占める肌の反射特性は、おおよそＢ（青）、Ｇ（緑）、Ｒ（赤）の順に反射率が高くなることが分かる。また、更に波長４００ｎｍ〜約７５０ｎｍの範囲では、肌の反射率は、波長が長くなるにつれて比例的に増加していることが見てとれる。

そのため、近赤外光の反射率を、図７の点線で示すグラフ６２のように、例えば波長４４０ｎｍ、５５０ｎｍ、６６０ｎｍの反射率から、最小二乗法などを用いて求めた直線による近似で求めることができる。
すなわち、肌色反射特性に基づく色階調たるＢ、Ｇ、Ｒの反射率と近赤外領域の反射率との相関関係がグラフ６２に表される。

このことから、複数の波長の可視光を含む照明光、好ましくは、互いに数１０ｎｍ程度離れた３波長の可視光を含む照明光で顔を撮影した画像に基づき、照明光の各波長成分の強度及び各照明波長に対応する肌からの反射光強度から、近赤外光（例えば、波長７６０ｎｍ）で照明した場合の肌の反射による光強度を近似的に推定することができ、擬似的に近赤外線顔画像を作成することができる。

Ｒの波長をｗ_r、Ｇの波長をｗ_g、Ｂの波長をｗ_bとし、Ｒ、Ｇ、Ｂの画素値Ｉ_r、Ｉ_g、Ｉ_bとすると、近赤外領域の推定画素値Ｉ_irとの関係は以下の式となる。

なお、数式（１）において、Ｒ、Ｇ、Ｂの各波長Ｗ_r、Ｗ_g、Ｗ_bは、例えば４４０ｎｍ、５５０ｎｍ、６６０ｎｍの値を用いる。また、実際のカラー画像の作成時においては、必ずしもＲ、Ｇ、Ｂの各波長は上記の値ではないが、一般的な環境で撮影されるデジタル画像では、Ｒ、Ｇ、Ｂの各波長の値を上記の値と仮定しても、顔画像の照合に使用するという目的下では、十分な照合精度を得ることができる擬似近赤外線顔画像を作成できる。

ステップＳ８０５では、数式（１）に波長ｗ_ir、Ｗ_r、Ｗ_g、Ｗ_bの各値及び、対象画素のＲ、Ｇ、Ｂの画素値Ｉ_r、Ｉ_g、Ｉ_bを入力し、推定画素値Ｉ_irを算出する。
ステップＳ８０６では、画像推定部１０４ａの推定画像作成手段において、ステップＳ８０５にて算出された推定画素値Ｉ_irを予め記憶している推定画像フレームの対応する画素の画素値として記憶する。そして、全対象画素の画素値が記憶されることにより、近赤外線顔画像の推定画像の構成が完了することになる。

次に、ステップＳ８０７に進み、全対象画素について処理がされたか否かを判断し、未処理の対象画素があれば、前述のステップＳ８０３からステップＳ８０６の処理を繰り返し実行し、ステップＳ８０８にて推定顔画像をバッファに記憶する。

図４に戻って、推定顔画像をバッファすると、近赤外線顔画像取得処理をステップＳ４０６にて実行する。
近赤外線顔画像取得処理Ｓ４０６は、近赤外線顔画像入力部１０３にて、近赤外光照明を使用して撮影した被照合者の近赤外線顔画像を取得する（ステップＳ４０６）。

次に、ステップＳ４０４又はステップＳ４０５にて取得した推定顔画像又は登録顔画像と、ステップＳ４０６にて取得した近赤外線顔画像とを照合部１０４ｂにて照合する（ステップＳ４０７）。
すなわち、照合部１０４ｂは、推定顔画像及び近赤外線顔画像を処理して、目尻、目頭、唇端点の位置、目・鼻・口それぞれの外接矩形領域、顔領域の形状などの特徴量を抽出する。

特徴量を抽出するために、まず画像の中から顔の位置を検出する。顔の位置の検出は、例えば顔全体のテンプレートを予め複数用意し、それらテンプレートを用いて画像中を走査させながらテンプレートマッチングを行い、最も一致度が高い場所を検出することにより行うことができる。テンプレートは、複数の顔サイズ、画像に対する傾き、及び肌部分のコントラスト又は画素値についてバリエーションを持たせたものを記憶しておく。また、テンプレートとして、顔全体のものを用意する代わりに、目、鼻、口などの特定部位のテンプレートを用意しておき、それら特定部位のテンプレート同士の位置関係を保持したまま顔画像を走査してもよい。

画像に占める顔の位置を検出すると、１乃至複数の特徴量を抽出する。その際、例えば特徴量の一つとして目尻の位置を検出するために、目の標準的なテンプレートを用いて顔の範囲内を走査してテンプレートマッチングを行い、最も一致度の高い場合のテンプレート及びテンプレートの位置を求める。そして、そのテンプレート及びテンプレートの位置と、テンプレート中における目尻の位置に基づいて、目尻の位置を求めることができる。

推定顔画像及び近赤外線顔画像の特徴量がそれぞれ抽出されると、それら特徴量に基づいて、両画像の類似度を算出する。抽出した特徴量が目尻、目頭、唇端点などの位置である場合は、それぞれの位置から重心の位置を求める。そして、入力顔画像である近赤外顔画像と、推定顔画像若しくは登録顔画像との間で、求めた重心の位置が一致するように、何れか一方の画像の各特徴量の位置を平行移動する。そして、各特徴量の位置を比較し、それぞれの位置ずれ量を求める。各特徴量についての位置ずれ量の平均値を類似度として算出する。また、求めた位置ずれ量に、目、口などの部位によって重み付けを行って加重平均した値を類似度としてもよい。

次に、ステップＳ４０８では、ステップＳ４０７にて求めた類似度に基づいて、入力顔画像である近赤外顔画像と、推定顔画像若しくは登録顔画像とが、同一人物の顔画像か否か判定する。すなわち、類似度が、実験・経験により決められる本人であると認定可能な所定の閾値以上であれば本人なので照合ＯＫとし、当該閾値未満であれば本人でないので照合ＮＧと判定する。ここで、照合ＮＧの場合は、本人と認証できない旨を操作表示部１０１に表示し、処理を終了する。なお、ステップＳ４０２において登録顔画像が登録画像記憶部１０５に登録されなかった場合、すなわち推定顔画像との照合がＮＧだった場合は、操作表示部１０１に、照合に失敗した旨及び／又は顔画像の登録が出来ない旨を表示する。

ステップＳ４０８にて、照合ＯＫであれば、その被照合者のＩＤ番号に対応する登録顔画像が登録画像記憶部１０５に登録されているか否かを調べ、登録されていなければ、推定顔画像をそのＩＤ番号と対応付けて登録画像記憶部１０５に登録し、ステップＳ４１１に進む。他方、既に登録済みの場合は、顔画像を登録せずに、そのままステップＳ４１１に進む。なお、登録顔画像を順次更新したい場合は、既登録の有無にかかわらず、推定顔画像の代わりに、入力近赤外線顔画像を更新登録させてもよい。

ステップＳ４１１では、出力部１０６から接続されている電気錠４に解錠信号を出力し、本処理を終了する。かかる解錠信号に基づいて、電気錠４は一定時間解錠し、被照合者が出入口から入室することが可能となる。

以上説明してきたように、本発明の第一の実施形態では、ステップＳ４１０において、推定顔画像を登録画像記憶部１０５に記憶させたが、近赤外線顔画像入力部１０３から入力された入力顔画像を登録するようにしてもよい。かかる場合は、カラー顔画像から推定した推定顔画像よりも、実際に照合する際の環境において取得した顔画像を登録顔画像とできるので、登録以降の照合において、より精度の高い顔画像照合を行うことができる。

また、第一の実施形態では、照合処理であるステップＳ４０７の類似度の判定において、登録画像記憶部１０５に記憶されている登録顔画像とステップＳ４０６にて取得した近赤外線顔画像について照合する場合と、ステップＳ４０５にて構成した推定顔画像とステップＳ４０６にて取得した近赤外線顔画像について照合する場合とで、同一の閾値を使用しているが、それぞれについて異なる閾値を使用してもよい。

さらに、第一の実施形態では、近赤外線顔画像を用いた顔画像照合装置について説明したが、これに限られるものではなく、例えばカラー顔画像からモノクロ顔画像を作成して、モノクロ顔画像にて照合するようにしてもよい。この場合は、画像推定部１０４ａの推定方法では、モノクロ顔画像を推定することになる。かかる推定の方法は、発明の実施の形態にあわせて適宜採用されてもよい。

次に、ＩＣカード５を用いた第二の実施形態について、図３及び図６を参照して説明する。図３は、ＩＣカード５を用いた第二の実施形態における顔画像照合装置１１のブロック図である。基本的な構成は、第一の実施形態と同様であるので、第一の実施形態と同様な機能のブロックについては、同一符号にて示している。

ここでは、第一の実施形態と異なる点についてのみ説明する。すなわち、カラー顔画像取得部であるカードＲ／Ｗ１１２は、アンテナ、無線送受信インターフェース、ドライバ等で構成され、ＩＣカードと非接触にて通信を行い、ＩＣカードに記憶されているＩＤ番号、カラー顔画像を読み出し、ＩＣカードに対して登録顔画像を書き込む。また、制御部１０４において、第一の実施形態における顔画像登録部１０４ｃが登録画像記憶部１０５へ顔画像を登録させていたが、第二の実施形態においては、顔画像登録部１０４ｄがカードＲ／Ｗ１１２から、後述するＩＣカード５のメモリ領域５３の登録顔画像領域５３３に登録顔画像を記憶させる。

図６は、ＩＣカード５の機能ブロック図である。ＩＣカード５は、ＣＰＵ・ＲＯＭ・ＲＡＭなどで構成され、各種処理を制御する制御部５１と、アンテナ・通信インターフェースなどからなり顔画像照合装置１１と通信する通信部５２と、ＥＥＰＲＯＭから構成されメモリ領域として少なくともＩＤ番号領域５３１、カラー顔画像領域５３２、登録顔画像領域５３３を有するメモリ５３から構成されている。

次に、第一の実施形態における図４の説明と異なる点について説明する。
まず、図４の処理を開始する際には、ＩＣカード５のメモリ領域に少なくともＩＤ番号領域５３１にＩＤ番号が、カラー顔画像領域５３２にカラー顔画像が記憶されており、そのＩＣカード５が顔画像照合装置１１のカードＲ／Ｗ１１２に挿入されているとする。

ステップＳ４０１では、ＩＤ番号の入力を操作表示部１０１で行うと、ＩＣカード５に対してカードＲ／Ｗ１１２からＩＤ番号を送信する。ＩＣカード５では、メモリ領域５３を参照し、ＩＤ番号が一致するか否かを判定するとともに、一致していれば登録顔画像領域５３３に、登録顔画像が記憶されているか否かを判定する。ＩＣカード５は、その結果を通信部５２から顔画像照合装置１１に返信する。顔画像照合装置１１は、カードＲ／Ｗ１１２からの返信によって、ステップＳ４０２において、顔画像が登録済みか否かの判定を行う。

また、ステップＳ４０９においては、ステップＳ４０１にて取得した返信信号を記憶しておくことで、顔画像の登録が済んでいるか否かを判定する。
さらに、ステップＳ４１０において、顔画像登録部１０４ｄでは、カードＲ／Ｗ１１２からＩＣカード５のメモリ領域５３の登録顔画像領域５３３に登録顔画像を記憶させる。

なお、これらの点以外は、第一の実施形態と同様であるので、説明を省略する。
また、本発明の第三の実施形態にかかる顔画像照合装置では、カラー顔画像がＩＣカードに予め記憶されている場合に、ＩＣカードではなく、顔画像照合装置に登録顔画像を登録する。

本発明の第三の実施形態にかかる顔画像照合装置は、第二の実施形態の顔画像照合装置１１に第一の実施形態の顔画像照合装置１における登録画像記憶部１０５を追加し、顔画像登録部１０４ｄを第一の実施形態の顔画像登録部１０４ｃに置き換えることで実現する。この場合は、カードＲ／Ｗ１１２の機能として、読み込み機能が少なくとも存在し、ＩＣカードにもカラー顔画像が読み出し可能なように記憶されていればよい。

本発明の第四の実施形態にかかる顔画像照合装置は、カラー顔画像は、集中管理装置２にて記憶・管理しておき、登録顔画像をＩＣカードに登録する形態である。
第四の実施形態では、第二の実施形態の顔画像照合装置１１に第一の実施形態における通信部１０２を追加し、図４におけるステップＳ４０１、Ｓ４０２、Ｓ４０９の処理を第一の実施形態を用いることによって実現できる。この場合は、カードＲ／Ｗ１１２の機能として、書き込み機能が少なくとも存在し、ＩＣカードにも登録顔画像が書き込み可能であればよい。

以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

本発明を適用した顔画像照合装置を出入口の電気錠制御に使用した例の全体システム構成図である。 本発明の第一の実施形態に係る顔画像照合装置の機能ブロック図である。 ＩＣカードを用いた本発明の第二の実施形態に係る顔画像照合装置の機能ブロック図である。 本発明の第一の実施形態に係る顔画像照合装置の動作フローチャートである。 本発明を適用した顔画像照合装置を出入口の電気錠制御に使用した例で用いる集中管理装置のデータベースに記憶されている内容を示す図である。 本発明の第二の実施形態に係るＩＣカードの機能ブロック図である。 人の肌の反射特性を示すグラフである。 推定画像構成処理の動作フローチャートである。

符号の説明

１、１１ 顔画像照合装置
１０１ 操作表示部
１０２ 通信部
１０３ 近赤外線顔画像入力部
１０４ 制御部
１０４ａ 画像推定部
１０４ｂ 照合部
１０４ｃ、１０４ｄ 顔画像登録部
１０５ 登録画像記憶部
１０６ 出力部
１１２ カードＲ／Ｗ
２ 集中管理装置
２１ データベース
３ ネットワーク
４ 電気錠
５ ＩＣカード
５１ 制御部
５２ 通信部
５３ メモリ領域
５３１ ＩＤ番号領域
５３２ カラー顔画像領域
５３３ 登録顔画像領域

Claims (7)

1. 被照合者の入力された顔画像と登録顔画像とを照合する顔画像照合装置であって、
   所定環境下にて被照合者を撮影して顔画像を入力する顔画像入力部と、
   被照合者のカラー顔画像を取得するカラー顔画像取得部と、
   前記カラー顔画像に基づき前記所定環境下にて撮影した顔画像と照合可能な推定顔画像を算出する推定部と、
   前記顔画像入力部にて取得した入力顔画像と前記推定顔画像とを照合し両顔画像が同一人物のものか否かを判定する照合部と、
   前記登録顔画像を記憶する登録画像記憶部と、
   前記照合部にて同一人物と判定すると前記推定顔画像を登録顔画像として前記登録画像記憶部に登録し、前記照合部にて同一人物と判定しないと登録しない顔画像登録部と、
   を具備することを特徴とした顔画像照合装置。
2. 被照合者の入力された顔画像と登録顔画像とを照合する顔画像照合装置であって、
   所定環境下にて被照合者を撮影して顔画像を入力する顔画像入力部と、
   被照合者のカラー顔画像を取得するカラー顔画像取得部と、
   前記カラー顔画像に基づき前記所定環境下にて撮影した顔画像と照合可能な推定顔画像を算出する推定部と、
   前記顔画像入力部にて取得した入力顔画像と前記推定顔画像とを照合し両顔画像が同一人物のものか否かを判定する照合部と、
   前記登録顔画像を記憶する登録画像記憶部と、
   前記照合部にて同一人物と判定すると前記入力顔画像を登録顔画像として前記登録画像記憶部に登録し、前記照合部にて同一人物と判定しないと登録しない顔画像登録部と、
   を具備することを特徴とした顔画像照合装置。
3. 前記登録画像記憶部は、携帯可能な情報記憶媒体に設けられ、
   前記顔画像登録部は、前記照合部にて同一人物と判定すると前記推定顔画像又は前記入力顔画像を登録顔画像として前記情報記憶媒体に登録し、前記照合部にて同一人物と判定しないと登録しない、請求項１又は２に記載の顔画像照合装置。
4. 前記カラー顔画像取得部は、ネットワーク通信手段を更に備え、前記ネットワーク通信手段を介して被照合者のカラー顔画像を取得する請求項１〜３の何れか一項に記載の顔画像照合装置。
5. 前記カラー顔画像取得部は、情報記憶媒体からのデータ読取手段を更に備え、前記情報記憶媒体から被照合者のカラー顔画像を取得する請求項１〜３の何れか一項に記載の顔画像照合装置。
6. 前記推定部は、
   前記カラー顔画像の画素の画素値が有する色階調情報を画素ごとに抽出する画素値抽出手段と、
   前記画素ごとに、肌色反射特性に基づく色階調情報と近赤外線領域の画素値との相関関係と、前記画素値抽出部にて抽出した色階調情報に基づき、近赤外線領域の波長における推定画素値を算出する推定手段と、
   前記推定手段にて推定された推定画素値を有する画素から前記推定顔画像を構成する推定画像作成手段を有する、請求項１〜５の何れか一項に記載の顔画像照合装置。
7. 被照合者のカラー顔画像を取得するカラー顔画像取得工程と、
   前記カラー顔画像に基づき所定環境下にて撮影した顔画像と照合可能な推定顔画像を算出する推定工程と、
   所定環境下にて被照合者を撮影して顔画像を入力する顔画像入力工程と、
   前記顔画像入力工程にて取得した入力顔画像と前記推定顔画像とを照合し両顔画像が同一人物のものか否かを判定する照合工程と、
   前記照合工程にて同一人物と判定すると前記推定顔画像を登録顔画像として登録し、同一人物と判定しないと登録しない顔画像登録工程と、
   を有することを特徴とした照合用の顔画像登録方法。

Images