JP2016139353A - 画像判定装置および画像判定方法 - Google Patents

Abstract

【課題】顔画像における装着物の有無を高精度に判定することができる顔認証装置を低コストで実現する。
【解決手段】本発明に係る顔認証装置（１）は、利用者（Ｍ）の顔画像に基づいて、照合に用いる照合データを生成する照合データ生成部（１３）と、顔に装着物を装着していない複数の異なる人物の顔画像を平均化した平均顔テンプレート画像データ（１５０）を記憶する記憶部（１５）と、照合データ生成部によって生成された照合データを、記憶部に記憶された平均顔テンプレート画像データと照合することにより、照合データに対応する利用者の顔に装着物が装着されているか否かを判定する判定処理を行う装着物判定部（１６）と、を備えることを特徴とする。
【選択図】図１

Description

本発明は、画像判定装置および画像判定方法に関し、例えば、顔認証に際し、撮影した顔画像から装着物の有無を判定する画像判定装置に関する。

近年、コンピュータ室や重要機械室への入退室管理、コンピュータ端末や金融端末へのアクセス管理などの個人認証を必要とする分野において、これまでの暗証番号やＩＤカードに替わって、顔認証等のバイオメトリクス認証が採用されつつある。例えば、画像判定装置の一つである顔認証装置は、予め登録しておいた顔の登録画像データと、認証時にカメラやセンサなどによって撮影された顔の入力画像データとを比較することにより、本人確認を行う。

このような画像判定装置では、撮影された人物が眼鏡等の装身具を顔に装着していると、照合処理に悪影響を及ぼす虞がある。例えば、撮影した顔の画像データと登録済みの画像データを照合する照合時において、画像登録時に眼鏡をかけていなかった利用者が照合時に眼鏡をかけていた場合、本人照合が失敗したり、他人と誤認したりする可能性が高くなり、照合精度が低下する。また、顔画像の登録時において、眼鏡をかけた画像をそのまま登録すると、眼鏡による光の反射等により登録画像としての精度が低下し、その後の照合の際にエラーが生じ易くなる。

上記の問題に対処するため、例えば特許文献１には、予め利用者毎に眼鏡を装着した顔画像と眼鏡を装着していない顔画像を夫々登録しておき、照合時に入力された顔画像と予め登録されている登録画像とを照合し、照合の結果、入力された顔画像が眼鏡を装着した登録画像と類似する場合には、その入力された顔画像が眼鏡を装着していない登録画像と類似することを条件に本人として判定する技術が開示されている。

特開２０１４−７１６８０号公報

しかしながら、特許文献１に記載の技術のように、眼鏡等の装着物を装着した画像を予め登録する方法では、眼鏡の検出精度を上げるために、様々な種類の眼鏡を装着した顔画像データを集め、集めた顔画像データを学習させて主成分分析等を行う必要があり、作業量が膨大になる。しかも、新たな種類の眼鏡やサングラス等が市場に出てきた場合には、追加学習しなければならない。更に、主成分分析等を行う場合、新たに複雑なプログラムを作成する必要があり、画像判定装置の製造コストの増大を招くという問題もある。

本発明の目的は、顔画像における装着物の有無を高精度に判定することができる画像判定装置を低コストで実現することにある。

本発明に係る画像判定装置（１）は、利用者（Ｍ）の顔画像に基づいて、照合に用いる照合データを生成する照合データ生成部（１３）と、顔に装着物を装着していない複数の異なる人物の顔画像を平均化した平均顔テンプレート画像データ（１５０）を記憶する記憶部（１５）と、前記照合データ生成部によって生成された照合データを、前記記憶部に記憶された前記平均顔テンプレート画像データと照合することにより、前記照合データに対応する前記利用者の顔に装着物が装着されているか否かを判定する判定処理を行う装着物判定部（１６）と、を備えることを特徴とする。

上記画像判定装置において、前記記憶部は、前記平均顔テンプレート画像データとして、互いに顔の向きが異なる複数の平均顔テンプレート画像データを記憶してもよい。

上記画像判定装置において、前記複数の平均顔テンプレート画像データは、顔を正面から捉えたときの平均顔テンプレート画像データと、顔を正面よりも上方向から捉えたときの平均顔テンプレート画像データおよび顔を正面よりも下方向から捉えたときの平均顔テンプレート画像データの少なくとも一方を含んでもよい。

上記画像判定装置において、前記装着物判定部は、前記照合データ生成部によって生成された照合データの夫々の前記平均顔テンプレート画像データに対する類似度を算出するとともに、算出した類似度のうち最も高い類似度が閾値よりも大きい場合に、前記照合データに対応する前記利用者の顔に装着物が装着されていないと判定し、前記最も高い類似度が閾値よりも小さい場合に、前記照合データに対応する前記利用者の顔に装着物が装着されていると判定するようにしてもよい。

上記画像判定装置において、前記装着物判定部は、前記照合データ生成部によって生成された照合データの前記平均顔テンプレート画像データの夫々に対する類似度を算出するとき、前記照合データ内の眼を含む一部のエリア内のデータを用いて前記類似度を算出するようにしてもよい。

上記画像判定装置において、前記装着物判定部は、前記最も高い類似度が閾値よりも大きい場合には、前記最も高い類似度に対応する前記平均顔テンプレート画像データに基づいて、前記照合データに係る前記顔画像に含まれる顔の向きを判定するようにしてもよい。

上記画像判定装置において、前記顔画像を生成する撮像装置を更に備え、前記撮像装置は、近赤外カメラを含んでもよい。

上記画像判定装置において、前記装着物判定部によって前記照合データに対応する前記利用者の顔に装着物が装着されていると判定された場合に、前記装着物に関する情報を報知する報知部（１８）を更に備えてもよい。

上記画像判定装置において、前記報知部は、前記装着物判定部によって前記照合データに対応する前記利用者の顔に装着物が装着されていないと判定された場合に、顔の向きに関する情報を報知してもよい。

上記画像判定装置において、照合処理部（１４）を更に備え、前記記憶部は、照合対象の利用者毎に、当該利用者の顔画像を含む登録画像データ（１５１）を記憶し、前記照合処理部は、前記照合データ生成部によって生成された前記照合データと、前記記憶部に記憶された前記登録画像データとを照合するとともに照合結果を出力し、前記装着物判定部は、前記照合処理部による照合結果が不一致であった場合に、前記判定処理を行い、前記照合処理部による照合結果が一致した場合に、前記判定処理を行わないようにしてもよい。

上記画像判定装置において、前記照合データ生成部によって生成された前記照合データを、照合対象の利用者の登録画像データとして登録する画像登録部（１７）を更に備え、前記画像登録部は、前記装着物判定部による前記判定処理が行われた後に、前記装着物判定部による前記判定処理の結果と対応付けて、前記登録画像データを前記記憶部に記憶するようにしてもよい。

また、本発明に係る画像判定方法は、利用者の顔画像に基づいて照合に用いる照合データを生成する第１ステップ（Ｓ２４、Ｓ３４）と、前記第１ステップにおいて生成された照合データを、顔に装着物を装着していない複数の異なる人物の顔画像を平均化した平均顔テンプレート画像データと照合することにより、前記照合データに対応する前記利用者の顔に装着物が装着されているか否かを判定する第２ステップ（Ｓ２５、Ｓ３６）と、を含むことを特徴とする。

上記画像判定方法において、前記第２ステップは、前記第１ステップにおいて生成された照合データの、夫々の前記平均顔テンプレート画像データに対する類似度を算出するとともに、算出した類似度のうち最も高い類似度が閾値よりも大きい場合に、前記照合データに対応する前記利用者の顔に装着物が装着されていないと判定し、前記最も高い類似度が閾値よりも小さい場合に、前記照合データに対応する前記利用者の顔に装着物が装着されていると判定するステップ（Ｓ１２〜Ｓ１５）とを含んでもよい。

上記画像判定方法は、第２ステップにおいて前記最も高い類似度が閾値よりも大きい場合には、前記最も高い類似度に対応する前記平均顔テンプレート画像データに基づいて、前記照合データに係る前記顔画像に含まれる顔の向きを判定する第３ステップ（Ｓ１６）を更に含んでもよい。

なお、上記説明において括弧を付した参照符号は、図面において当該参照符号が付された構成要素の概念に含まれるものを例示するに過ぎない。

以上説明したことにより、本発明によれば、顔画像における装着物の有無を高精度に判定することができる画像判定装置を低コストで実現することができる。

図１は、本発明の一実施の形態に係る画像判定装置の構成を示す図である。 図２は、平均顔テンプレート画像データの一例を示す図である。 図３は、本発明の一実施の形態に係る画像判定装置による装着物判定処理の流れを示す図である。 図４は、本発明の一実施の形態に係る画像判定装置による装着物判定処理の実験結果を示す図である。 図５は、本発明の一実施の形態に係る画像判定装置による画像登録処理の全体的な処理の流れを示す図である。 図６は、本発明の一実施の形態に係る画像判定装置による照合処理の全体的な処理の流れを示す図である。

以下、本発明に係る画像判定装置の実施の形態について図を参照して説明する。

［本発明に係る画像判定装置の構成］
図１は、本発明の一実施の形態に係る画像判定装置の構成を示す図である。
同図に示される画像判定装置１は、利用者の顔画像に基づいて顔認証を行うことにより、利用者の本人照合を行う顔認証装置である。具体的に、画像判定装置１は、予め撮像装置（カメラ等）によって撮影された利用者の顔画像を照合対象の登録画像として登録する画像登録機能と、撮像装置２によって撮影された顔の画像と登録画像とを照合する本人照合機能とを有している。更に、画像判定装置１は、利用者の顔画像の登録時や本人照合時において、撮影された顔画像に基づいて、利用者の顔に眼鏡等の装着物が装着されているか否かを判定する機能を有している。

ここで、装着物とは、例えば眼鏡やピアス、マスク等の顔に装着されるものである。また、眼鏡とは、視力を矯正するための一般的な器具のみならず、サングラス等の眼の周辺に装着されるその他の装身具も含むものとする。なお、本実施の形態では、検出対象の装着物が眼鏡である場合を例に説明する。

図１に示すように、画像判定装置１は、撮像装置１０、画像データ取得部１１、エリア検出部１２、照合データ生成部１３、照合処理部１４、記憶部１５、装着物判定部１６、画像登録部１７、および報知部１８を有している。

撮像装置１０は、本人照合を行う利用者の顔を含む顔画像を撮影し、顔画像データを生成する。撮像装置１０は、例えば、近赤外光で撮影する近赤外カメラである。また、撮像装置１０は、例えばステレオカメラとして構成されており、生成される顔画像データには、例えば当該ステレオカメラで撮影された二次元画像データおよび三次元画像データが含まれる。

上述した画像データ取得部１１、エリア検出部１２、照合データ生成部１３、照合処理部１４、記憶部１５、装着物判定部１６、画像登録部１７、および報知部１８は、ＣＰＵ等の演算装置と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＲＯＭ等のメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の記憶装置と、キーボード、マウス、ポインティングデバイス、操作ボタン、タッチパネル等の外部から情報の入力を検出する入力装置と、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信回線を介して各種情報の送受信を行うＩ／Ｆ装置と、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示装置等と、スピーカ等の音声出力装置とを備えたコンピュータと、このコンピュータにインストールされたプログラムとから実現される。すなわち、上記のハードウェア資源がプログラムによって制御されることにより、上述した画像データ取得部１１、エリア検出部１２、照合データ生成部１３、照合処理部１４、記憶部１５、装着物判定部１６、画像登録部１７、および報知部１８が実現される。なお、上記プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録された状態で提供されるようにしてもよい。

画像データ取得部１１は、撮像装置１０によって生成された顔画像データを取得する機能部である。例えば、画像データ取得部１１は、撮像装置１０によって生成された顔画像データ２１を一次的に保存するバッファメモリを含んでいる。

エリア検出部１２は、画像データ取得部１１によって取得した顔画像データに含まれる顔の特徴部分を含むエリアを検出する。具体的に、エリア検出部１２は、顔画像データ内の被写体の“顔”が写ったエリア（以下、「顔エリア」と称する。）を検出するとともに、顔エリアに含まれる瞳、鼻、および口等によって特定される顔特徴エリアの検出を行う。具体的には、眼を含む一部のエリア、例えば眼を中心とした横に細長いエリアを、顔特徴エリアとして検出する。
また、エリア検出部１２は、検出した顔エリアや顔特徴エリアの画像データ内の座標を示す座標情報を生成する。

照合データ生成部１２は、画像データ取得部１１によって取得した顔画像データに基づいて照合データを生成する。ここで、照合データとは、後述する照合処理部１４による照合処理で用いられるデータであり、例えば人物の顔部分の形状を３次元で表す点群データを含む。例えば、照合データ生成部１２は、顔画像データに含まれる２次元画像データおよび３次元画像データに基づいて３次元計測を行うとともに、その３次元計測結果に基づいて上記点群データを含む照合データを生成する。

画像登録部１７は、画像登録時に、撮像装置１０によって撮影された利用者の顔画像を照合対象の登録画像として登録するための機能部である。具体的に、画像登録部１７は、利用者毎に撮影された顔画像データに基づいて生成された夫々の照合データを、照合対象の利用者の登録画像データ１５１として記憶部１５に記憶する。

記憶部１５は、照合処理や画像登録処理等の各種処理に用いられるパラメータや画像データ等を記憶する。記憶部１５に記憶されるデータとしては、例えば、上述した画像登録部１７によって記憶される登録画像データ１５１や、後述する装着物判定部１６による装着物判定処理で用いられる平均顔テンプレート画像データ１５０等が含まれる。

照合処理部１４は、照合時において、照合データ生成部１３によって生成された照合データと、記憶部１５に記憶されている複数の登録画像データ１５１とを照合し、照合データが登録画像データ１５１の何れか一つと一致したか否かの判定結果を出力する照合処理を行う。具体的に、照合処理部１４は、位相限定相関法（ＰＯＣ ： Ｐｈａｓｅ Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ）により、照合データ生成部１３によって生成された照合データと登録画像データ１５１の類似度（例えば相関強度）を算出し、算出した類似度に基づいて、照合データと登録画像データ１５１とが一致するか否かを判定する。

報知部１８は、画像判定装置１の利用者に対して、各種の情報を報知するための機能部である。報知部１８は、例えば、撮像装置２の近傍に設置されたタッチパネルまたは液晶モニタ等のコンソールや、音声によって報知するスピーカ等から構成されている。

装着物判定部１６は、照合データ生成部１３によって生成された照合データを、記憶部１５に記憶された平均顔テンプレート画像データ１５０と照合することにより、照合データに係る利用者の顔に装着物が装着されているか否かを判定する判定処理を行う。また、装着物判定部１６は、照合データに係る利用者の顔に装着物が装着されていないと判定した場合には、照合データに係る顔画像に含まれる顔の向きを判定する。

ここで、平均顔テンプレート画像データ１５０とは、複数の異なる人物の装着物を装着していない顔の顔画像を平均化することによって生成した画像データである。例えば、予め、眼鏡等を装着していない状態で撮影した数人から十数人（例えば１０人程度）の顔画像を集めておき、それらの顔画像のサイズを揃えた上で、それらの顔画像の眼（瞳）の位置を一致させて重ね合わせることにより、１つの平均顔テンプレート画像データを生成する。
図２に、平均顔テンプレート画像データの一例を示す。同図には、撮像装置１０に対して正面を向いた状態で近赤外カメラによって撮影された１０人の顔画像に基づいて生成された平均顔テンプレート画像が示されている。

平均顔テンプレート画像データとしては、互いに顔の向きが異なる複数の平均顔テンプレート画像データを予め生成し、記憶部１５に記憶しておくことが望ましい。具体的には、平均顔テンプレート画像データとして、顔を正面から捉えたときの平均顔テンプレート画像データと、顔を正面よりも上方向から捉えたときの平均顔テンプレート画像データおよび顔を正面よりも下方向から捉えたときの平均顔テンプレート画像データの少なくとも一方を含むことが望ましい。
例えば、図２に示したように顔が撮像装置１０に対して正面を向いた状態、すなわち図１において、撮像装置１０のレンズの光軸Ｌと利用者Ｍの顔の向きとのなす角θが０度である状態で撮影された複数人の顔画像に基づいて生成した正面顔の平均顔テンプレート画像を記憶部１５に記憶しておく。更に、上記正面顔の平均化顔テンプレート画像に加えて、例えば、顔が撮像装置１０に対して正面よりも上方向を向いた状態で撮影された複数人の顔画像に基づいて生成した上向き顔の平均顔テンプレート画像データと、正面よりも下方向を向いた状態で撮影された複数人の顔画像に基づいて生成した下向き顔の平均顔テンプレート画像データとを記憶部１５に記憶しておくことが望ましい。

上向き顔または下向き顔の平均顔テンプレート画像データとしては、図１のなす角θを例えば±１５〜３０度ずつずらした顔画像に基づいて夫々生成することが望ましい。以下、詳細に説明する。
本願発明者による本願発明に先立った検討によれば、顔が正面を向いている登録画像データ（θ＝０度）に対して、照合に用いる本人の顔画像の顔の向きを変化させたとき、θ＜１５度以下では照合結果が一致し易いのに対し、θが１５度を超えると照合結果が不一致となる頻度が高くなることがわかった。すなわち、本人照合時に、一つの向きの顔画像データによってカバーできる範囲は±１５度程度であることがわかった。
そこで、上向き顔の平均顔テンプレート画像データとして、例えばθ＝＋３０度の平均顔テンプレート画像およびθ＝＋６０度の平均顔テンプレート画像を用意し、下向き顔の平均顔テンプレート画像データとして、例えばθ＝−３０度の平均顔テンプレート画像およびθ＝−６０度の平均顔テンプレート画像を用意する。これによれば、θ＝約±７５度の範囲をカバーすることができ、後述する装着物（例えば眼鏡）の判定精度を高めることできる。

なお、上向き顔または下向き顔の平均顔テンプレート画像データに加えて、左右方向に顔を向けた右向き顔および左向き顔の平均顔テンプレート画像データを作成しておいてもよい。

［装着物判定部１６による装着物判定処理］
次に、本発明に係る画像判定装置１による装着物判定処理について詳細に説明する。
図３は、本発明に係る画像判定装置による装着物判定処理の流れを示す図である。
先ず、利用者の画像登録時または照合時において、撮像装置１０によって撮影された顔画像データに基づいて、照合データ生成部１３によって照合データが生成されたら、画像判定装置１は、生成された照合データと平均顔テンプレート画像１５０との照合を行う（Ｓ１１）。

具体的には、装着物判定部１６が、照合データ生成部１３によって生成された照合データの各平均顔テンプレート画像データ１５０に対する類似度を算出する。例えば、位相限定相関法（ＰＯＣ：Ｐｈａｓｅ Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ）により、照合データ生成部１３によって生成された照合データと平均顔テンプレート画像データ１５０の類似度を、平均顔テンプレート画像データ１５０毎に算出する。
算出する類似度としては、眼鏡の装着の有無を判定する場合には、照合データ全体に関する類似度ではなく、照合データ内の一部のエリアに関する類似度である方が望ましい。例えば、エリア検出部１２によって検出された照合データ内の顔特徴エリア（例えば、眼を中心とした横に細長いエリア）と、当該顔特徴エリアに対応する平均顔テンプレート画像データ内のエリア（例えば図２のエリア２０１）の夫々の照合データを抽出して比較し、両者の類似度を平均顔テンプレート画像データ１５０毎に算出する。

次に、装着物判定部１６は、算出した類似度の中から最も高い類似度を選択する（Ｓ１２）。装着物判定部１６は、ステップＳ１２で選択した類似度が閾値（例えば閾値＝０．４）よりも小さいか否かを判定する（Ｓ１３）。

判定の結果、選択した類似度が閾値よりも小さい場合には、装着物判定部１６は、当該照合データに係る顔画像に含まれる顔に装着物（眼鏡）が装着されていると判定する（Ｓ１４）。

一方、選択した類似度が閾値よりも大きい場合には、装着物判定部１６は、当該照合データに係る顔画像に含まれる顔に装着物（眼鏡）が装着されていないと判定する（Ｓ１５）。そして、装着物判定部１６は、当該照合データに係る顔画像に含まれる顔の向きを判定する（Ｓ１６）。例えば、ステップＳ１２で選択した最も高い類似度に対応する平均顔テンプレート画像が、θ＝＋３０度の上向き顔の平均顔テンプレートであった場合、装着物判定部１６は、照合データに係る顔画像に含まれる利用者の顔が上方を向いている（例えば、３０度程度上を向いている）と判定する。

図４は、本発明に係る画像判定装置による装着物判定処理の実験結果を示す図である。同図には、眼鏡無しの状態で撮影した顔画像データと平均顔テンプレート画像との類似度の実験結果が示されている。同図において、縦軸は類似度を表し、横軸は撮影回数（顔画像データのサンプル数）を表している。また、同図において、参照符号４００は、本装着物判定処理による、装着物を装着していない顔画像と装着物を装着していない顔画像に基づく平均顔テンプレート画像データとの類似度を表す。参照符号４０１〜４０６は、参照符号４００の比較例であり、装着物を装着していない顔画像と異なる種類の眼鏡Ａ〜Ｆを装着した顔画像に基づく夫々の平均顔テンプレート画像データとの類似度を表している。

図４から理解されるように、装着物を装着していない顔画像と各種の眼鏡Ａ〜Ｆを装着した平均顔テンプレート画像との類似度は０．３前後の低いスコアであるのに対し、装着物を装着していない顔画像と装着物を装着していない平均顔テンプレート画像との類似度は０．４前後の高いスコアとなる。一般的に、類似度が０．４程度あれば照合精度が高いといえる。したがって、本装着物判定処理によれば、眼鏡無しの顔画像を高精度に検知することができるので、眼鏡等の有無を高精度に判定することが可能となる。

［本発明に係る画像判定装置による画像登録処理］
次に、本発明に係る画像判定装置による画像登録処理について説明する。
図５は、本発明に係る画像判定装置による画像登録処理の全体的な処理の流れを示す図である。

例えば、入退室管理の場合、先ず、入り口付近に設けられている撮像装置１０の近傍に設置されたコンソールを管理者等が操作することにより、本人照合に用いる画像の登録が指示されると、画像判定装置１は画像登録動作を開始する。

先ず、撮像装置１０が利用者の顔画像を撮影し、画像データ取得部１１がその顔画像データを取得する（Ｓ２１）。次に、エリア検出部１１が、ステップＳ２１で取得した画像データに含まれる人物の顔エリアと、例えば２つの瞳および鼻によって特定される顔特徴エリアを夫々検出し、検出したエリアのエリア情報を夫々生成する（Ｓ２２）。

次に、照合データ生成部１３が、ステップＳ２１で取得した画像データに基づいて３次元計測を行う（Ｓ２３）。更に、照合データ生成部１３が、ステップＳ２３で実行した３次元計測の計測結果に基づいて、ステップＳ２２で検出した顔エリアについての照合データを生成する（Ｓ２４）。

ステップＳ２４において照合データが生成されると、装着物判定部１６が、ステップＳ２４で生成した顔エリアの照合データに対して装着物判定処理を実行する（Ｓ２５）。なお、装着物判定処理の具体的な処理内容は、上述のとおりである（図３参照）。

ステップＳ２５の装着物判定処理が完了すると、画像登録部１７が、ステップＳ２４において生成した照合データを登録画像データとして記憶部１５に記憶する（Ｓ２６）。このとき、画像登録部１７は、照合データとともに、ステップＳ２５で判定した装着物の有無の情報や顔の向きの情報を記憶部１５に記憶してもよい。

次に、ステップＳ２５の装着物判定処理により、ステップＳ２１で取得した顔画像に装着物が装着されていると判定された場合には、報知部１８が装着物に関する情報を報知する（Ｓ２７）。例えば、装着物に関する情報として、ステップＳ２１で撮影した顔画像が装着物を装着した状態で撮影されたことを示す情報や装着物を外した状態で再撮影をすることを促す情報等を通知する。装着物に関する情報の通知方法としては、前述したようにコンソール画面に表示する方法や音声として出力する方法等を例示することができる。

一方、ステップＳ２５の装着物判定処理により、ステップＳ２１で取得した顔画像に装着物が装着されていないと判定された場合には、報知部１８が顔の向きに関する情報を報知する（Ｓ２８）。例えば、顔の向きに関する情報として、ステップＳ２１で撮影した顔画像が正面を向いて撮影されていない（上下左右の何れかの方向を向いて撮影されている）ことを示す情報や、正面を向いた状態で再撮影をすることを促す情報等を通知する。なお、通知方法は、ステップＳ２７と同様である。
以上により、画像登録のための一連の動作が終了する。

［本発明に係る画像判定装置による照合処理］
次に、本発明に係る画像判定装置による照合処理について説明する。
図６は、本発明に係る画像判定装置による照合処理の全体的な処理の流れを示す図である。

例えば、入退室管理の場合、入り口付近に設けられている撮像装置１０が入室しようとしている人物の顔画像を撮影し、画像データ取得部１１がその顔画像の顔画像データを取得する（Ｓ３１）。次に、エリア検出部１１が、ステップＳ３１で取得した画像データに含まれる人物の顔エリアと、例えば２つの瞳および鼻によって特定される顔特徴エリアを夫々検出し、検出したエリアのエリア情報を夫々生成する（Ｓ３２）。

次に、照合データ生成部１３が、ステップＳ３１で取得した画像データに基づいて３次元計測を行う（Ｓ３３）。更に、照合データ生成部１３が、ステップＳ３３で実行した３次元計測の計測結果に基づいて、ステップＳ３２で検出した顔エリアについての照合データを生成する（Ｓ３４）。

照合データが生成されると、照合処理部１４が、ステップＳ３４で生成された照合データと、記憶部１５に記憶されている登録画像データ１５１とを照合する照合処理を行い、上記照合データが何れかの登録画像データ１５１と一致したか否かの判定結果を出力する（Ｓ３５）。具体的には、先ず、照合処理部１４が、ステップＳ３４において生成された照合データと記憶部１５から読み出した登録画像データ１５１との類似度を算出する。例えば、照合処理部１４は、位相限定相関法により、上記照合データ内のステップＳ３２で検出した顔特徴エリアと、当該顔特徴エリアに対応する登録画像データ内のエリアとを比較し、両者の類似度を登録画像データ１５１毎に算出する。次に、照合処理部１４が、算出した登録画像データ毎の類似度に基づいて判定処理を実行する。例えば、照合処理部１４は、類似度を算出した登録画像データの中から最も類似度の大きいものを選択し、選択した登録画像データの類似度が閾値を超えている場合には、照合データと一致する登録画像データがあると判定し、選択した類似度が上記閾値を超えていない場合には、登録画像データがないと判定する。

ステップＳ３５において、照合データが登録画像データ１５１の何れかと一致すると判定された場合（照合ＯＫ）には、画像判定装置１は、例えば入退室管理において、入退出用のドアを開ける制御等を行い、照合処理を終了する。
一方、ステップＳ３５において、照合データが何れの登録画像データ１５１にも一致しないと判定された場合（照合ＮＧ）には、装着物判定部１６が、ステップＳ３４で生成した照合データに対して装着物判定処理を実行する（Ｓ３６）。装着物判定処理の具体的な処理内容は上述のとおりである（図３参照）。

ステップＳ３６の装着物判定処理により、ステップＳ３１で取得した顔画像データの顔に装着物が装着されていると判定された場合には、報知部１８が、照合結果が不一致となったことを報知するとともに、装着物に関する情報を報知する（Ｓ３７）。例えば入退室管理において、入退出用のドアを開けることなく、コンソールの画面にエラー情報を表示したり、スピーカからエラーを示す音を鳴らしたりすることにより、利用者に本人照合ができなかったことを通知する。また、装着物に関する情報として、例えばステップＳ３１で撮影した顔画像が装着物を装着した状態で撮影されたことを示す情報や装着物を外した状態で再撮影をすることを促す情報等を通知する。なお、装着物に関する情報の通知は、前述したようにコンソール画面に表示してもよいし、音声として出力してもよい。

一方、ステップＳ３６の装着物判定処理により、ステップＳ３１で取得した顔画像データの顔に装着物が装着されていないと判定された場合には、報知部１８が、照合結果が不一致となったことを報知するとともに、顔の向きに関する情報を報知する（Ｓ３８）。例えば、顔の向きに関する情報として、ステップＳ２１で撮影した顔画像が正面を向いて撮影されていない（上下左右の何れかの方向を向いて撮影されている）ことを示す情報や正面を向いた状態で再撮影をすることを促す情報等を通知する。なお、通知方法は、ステップＳ３７と同様である。
以上により、本人照合のための一連の動作が終了する。

以上説明したように、本発明に係る画像判定装置によれば、従来のように複数の眼鏡やサングラス等の装着物を装着した顔画像を用いるのではなく、装着物を装着していない顔画像に基づく平均顔テンプレート画像データを用い、その平均顔テンプレート画像データと利用者の顔画像に基づく照合データとを照合することにより、利用者の顔に装着物が装着されているか否かを判定するので、従来のように眼鏡やサングラス等の種類のバラつきに左右され難く、装着物の有無を高精度に判定することができる。

また、照合データと平均顔テンプレート画像データの照合により装着物の有無を判定するので、通常の本人照合で利用される照合処理のアルゴリズムを流用することができる。これにより、新たに複雑なプログラムを一から作成する必要がなく、且つソフトウェア構成を単純化することができるので、不具合が起こり難くなる。

更に、平均顔テンプレート画像データは数人の顔画像（装着物無し）から容易に生成することができるので、従来のように数多くの種類の眼鏡等の画像を集めて学習させ、新たな種類の眼鏡等が増えたら追加学習させる必要がなく、従来の方法に比べて作業工数を大幅に減らすことができる。
すなわち、本発明に係る画像判定装置によれば、顔画像における装着物の有無を高精度に判定することができる顔認証装置を、低コストで実現することができる。

また、本発明に係る画像判定装置によれば、顔の向きが異なる複数の平均顔テンプレート画像データを用いるので、装着物の判定精度を更に向上させることができるとともに、登録時および本人照合時に撮影された顔画像における顔の向きを判定することが可能となる。特に、顔認証システムでは、撮影時に利用者の顔が上下方向に傾いてしまう傾向があることから、平均顔テンプレート画像データとして、顔が撮像装置に対して正面よりも上方向または下方向を向いているときの平均顔テンプレート画像データを用意することにより、装着物の判定精度の向上が特に期待できる。

また、本発明に係る画像判定装置において、撮像装置として近赤外カメラを用いることにより、装着物の判定精度の更なる向上が期待できる。例えば、眼鏡やサングラス等を顔に装着した状態で近赤外カメラによって撮影を行うと、可視光カメラに比べて反射が目立つ。そのため、近赤外カメラで撮影した眼鏡装着時の顔画像の照合データと眼鏡無しの顔画像に基づく平均顔テンプレート画像データの照合を行った場合、両データ間の類似度が更に低くなるので、装着物が検出され易くなる。なお、上述した従来の方法では、撮影した顔画像との比較対象として眼鏡ありの登録画像を用いるため、近赤外カメラでは反射が目立ち装着物の判定精度が低下する虞がある。

また、本発明に係る画像判定装置によれば、画像登録時に、装着物に関する情報や顔の向きに関する情報を利用者に報知するので、照合精度の向上が期待できる。例えば、画像登録時に、上述したように顔画像が装着物を装着した状態で撮影されたことを示す情報や装着物を外した状態で再撮影をすることを促す情報等を通知することにより、装着物を装着した状態での顔画像ではなく、装着物を装着していない状態での顔画像が登録画像データとして登録されやすくなるので、照合精度の向上が期待できる。また、画像登録時に、上述したように顔画像が正面を向いて撮影されていない（上下左右の何れかの方向を向いて撮影されている）ことを示す情報や正面を向いた状態で再撮影をすることを促す情報等を通知することにより、正面を向いた顔画像が登録画像データとして登録されやすくなるので、照合精度の向上が期待できる。

また、本発明に係る画像判定装置によれば、本人照合時に、装着物に関する情報や顔の向きに関する情報を利用者に報知するので、照合精度の向上が期待できる。例えば、本人照合が不一致となった場合に、上述したように顔画像が装着物を装着した状態で撮影されたことを示す情報や装着物を外した状態で再撮影をすることを促す情報等を通知することにより、利用者が装着物を外してから再度の本人照合を行うようになるので、照合精度の向上が期待できる。また、画像登録時に、上述したように顔画像が正面を向いて撮影されていない（上下左右の何れかの方向を向いて撮影されている）ことを示す情報や正面を向いた状態で再撮影をすることを促す情報等を通知することにより、利用者は顔の向きを正してから再度の本人照合を行うようになるので、照合精度の向上が期待できる。

また、画像登録時に、検出した条件（装着物の有無や顔の向き）を登録画像データとともに登録し、上記報知によって再撮影等を促すことにより、同一人物について、複数の条件の顔画像を登録画像データとして複数登録することができるので、照合精度の更なる向上が期待できる。

また、本発明に係る画像判定装置によれば、本人照合時に、照合結果が不一致であった場合に装着物判定処理を行い、照合結果が一致した場合に装着物判定処理を行わないので、照合に掛かる全体的な処理時間の増大を抑えつつ、安定した顔認証の実現を図ることができる。

また、本発明に係る画像判定装置によれば、装着物判定処理において、顔の上半分、例えば眼を中心とした横に細長いエリアの類似度を算出することにより、顔全体の類似度を算出する場合に比べて、装着物の判定精度を向上させることができる。

以上、本発明者らによってなされた発明を実施の形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

例えば、上記実施の形態において、画像登録機能（画像登録部１７）と本人照合機能（照合処理部１４等）とを備えた画像判定装置に本発明に係る装着物判定機能（装着物判定部１６等）を適用する場合を例示したが、これに限られない。例えば、画像登録機能のみを備えた画像判定装置に本発明に係る装着物判定機能を適用してもよいし、本人照合機能のみを備えた画像判定装置に本発明に係る装着物判定機能を適用してもよい。

また、上記実施の形態において、顔特徴エリアとして、眼を中心とする横に細長いエリア（例えば、図２のエリア２０１）を抽出する場合を例示したが、顔の特徴的な部分（眼、鼻、口、眉毛等）を含むエリアであれば、その他のエリアであってもよい。例えば、顔の向きの判定を行う場合には、鼻を中心とした一部のエリアでもよいし、口を中心とした一部のエリアでもよい。

１…画像判定装置、１０…撮像装置、１１…画像データ取得部、１２…エリア検出部、１３…照合データ生成部、１４…照合処理部、１５…記憶部、１６…装着物判定部、１７…画像登録部、１８…報知部、Ｍ…利用者、Ｌ…光軸、θ…光軸Ｌと利用者Ｍの顔の向きとのなす角。

Claims (16)

1. 利用者の顔画像に基づいて、照合に用いる照合データを生成する照合データ生成部と、
   顔に装着物を装着していない複数の異なる人物の顔画像を平均化した平均顔テンプレート画像データを記憶する記憶部と、
   前記照合データ生成部によって生成された照合データを、前記記憶部に記憶された前記平均顔テンプレート画像データと照合することにより、前記照合データに対応する前記利用者の顔に装着物が装着されているか否かを判定する判定処理を行う装着物判定部と、を備える
   ことを特徴とする画像判定装置。
2. 請求項１に記載の画像判定装置において、
   前記記憶部は、前記平均顔テンプレート画像データとして、互いに顔の向きが異なる複数の平均顔テンプレート画像データを記憶する
   ことを特徴とする画像判定装置。
3. 請求項２に記載の画像判定装置において、
   前記複数の平均顔テンプレート画像データは、顔を正面から捉えたときの平均顔テンプレート画像データと、顔を正面よりも上方向から捉えたときの平均顔テンプレート画像データおよび顔を正面よりも下方向から捉えたときの平均顔テンプレート画像データの少なくとも一方を含む
   ことを特徴とする画像判定装置。
4. 請求項２または３に記載の画像判定装置において、
   前記装着物判定部は、前記照合データ生成部によって生成された照合データの、夫々の前記平均顔テンプレート画像データに対する類似度を算出するとともに、算出した類似度のうち最も高い類似度が閾値よりも大きい場合に、前記照合データに対応する前記利用者の顔に装着物が装着されていないと判定し、前記最も高い類似度が閾値よりも小さい場合に、前記照合データに対応する前記利用者の顔に装着物が装着されていると判定する、
   ことを特徴とする画像判定装置。
5. 請求項４に記載の画像判定装置において、
   前記装着物判定部は、前記照合データ生成部によって生成された照合データの前記平均顔テンプレート画像データの夫々に対する類似度を算出するとき、前記照合データ内の眼を含む一部のエリア内のデータを用いて前記類似度を算出する
   ことを特徴とする画像判定装置。
6. 請求項４または５に記載の画像判定装置において、
   前記装着物判定部は、前記選択した類似度が閾値よりも大きい場合には、前記選択した類似度に対応する前記平均顔テンプレート画像データに基づいて、前記照合データに係る前記顔画像に含まれる顔の向きを判定する
   ことを特徴とする画像判定装置。
7. 請求項１乃至６の何れか一項に記載の画像判定装置において、
   前記顔画像を生成する撮像装置を更に備え、
   前記撮像装置は、近赤外カメラを含む
   ことを特徴とする画像判定装置。
8. 請求項１乃至７の何れか一項に記載の画像判定装置において、
   前記装着物判定部によって前記照合データに対応する前記利用者の顔に装着物が装着されていると判定された場合に、前記装着物に関する情報を報知する報知部を更に備える
   ことを特徴とする画像判定装置。
9. 請求項８に記載の画像判定装置において、
   前記報知部は、前記装着物判定部によって前記照合データに対応する前記利用者の顔に装着物が装着されていないと判定された場合に、顔の向きに関する情報を報知する
   ことを特徴とする画像判定装置。
10. 請求項１乃至９の何れか一項に記載の画像判定装置において、
    照合処理部を更に備え、
    前記記憶部は、照合対象の利用者毎に、当該利用者の顔画像を含む登録画像データを記憶し、
    前記照合処理部は、前記照合データ生成部によって生成された前記照合データと、前記記憶部に記憶された前記登録画像データとを照合するとともに照合結果を出力し、
    前記装着物判定部は、前記照合処理部による照合結果が不一致であった場合に、前記判定処理を行い、前記照合処理部による照合結果が一致した場合に、前記判定処理を行わない
    ことを特徴とする画像判定装置。
11. 請求項１乃至１０の何れか一項に記載の画像判定装置において、
    前記照合データ生成部によって生成された前記照合データを、照合対象の利用者の登録画像データとして登録する画像登録部を更に備え、
    前記画像登録部は、前記装着物判定部による前記判定処理が行われた後に、前記装着物判定部による前記判定処理の結果と対応付けて、前記登録画像データを前記記憶部に記憶する
    ことを特徴とする画像判定装置。
12. 利用者の顔画像に基づいて照合に用いる照合データを生成する第１ステップと、
    前記第１ステップにおいて生成された照合データを、顔に装着物を装着していない複数の異なる人物の顔画像を平均化した平均顔テンプレート画像データと照合することにより、前記照合データに対応する前記利用者の顔に装着物が装着されているか否かを判定する第２ステップと、を含む
    ことを特徴とする画像判定方法。
13. 請求項１２に記載の画像判定方法において、
    前記平均顔テンプレート画像データは、互いに顔の向きが異なる複数の平均顔テンプレート画像データである
    ことを特徴とする画像判定方法。
14. 請求項１３に記載の画像判定方法において、
    前記複数の平均顔テンプレート画像データは、顔を正面から捉えたときの平均顔テンプレート画像データと、顔を正面よりも上方向から捉えたときの平均顔テンプレート画像データおよび前記正面よりも下方向から捉えたときの平均顔テンプレート画像データの少なくとも一方を含む
    ことを特徴とする画像判定方法。
15. 請求項１３または１４に記載の画像判定方法において、
    前記第２ステップは、
    前記第１ステップにおいて生成された照合データの前記平均顔テンプレート画像データの夫々に対する類似度を算出するとともに、算出した類似度のうち最も高い類似度が閾値よりも大きい場合に、前記照合データに対応する前記利用者の顔に装着物が装着されていないと判定し、前記最も高い類似度が閾値よりも小さい場合に、前記照合データに対応する前記利用者の顔に装着物が装着されていると判定するステップと、を含む、
    ことを特徴とする画像判定方法。
16. 請求項１５に記載の画像判定方法において、
    前記第２ステップにおいて前記最も高い類似度が閾値よりも大きい場合には、前記最も高い類似度に対応する前記平均顔テンプレート画像データに基づいて、前記照合データに係る前記顔画像に含まれる顔の向きを判定する第３ステップを更に含む、
    ことを特徴とする画像判定方法。