JP2006185054A - 顔画像撮影装置および顔画像撮影方法 - Google Patents

Abstract

【課題】撮影した顔画像中に照明やフラッシュ等の反射が写し出された部分があるか否かを正確に判断可能な顔画像撮影装置および顔画像撮影方法を提供する。また、その処理を迅速に行うことができる顔画像撮影装置および顔画像撮影方法を提供する。
【解決手段】顔画像撮影装置１は、被写体Ｑの顔画像を撮影する撮影手段２と、撮影された顔画像から顔領域を抽出する顔領域抽出手段８と、抽出された顔領域の中から反射を検出すべき反射検出領域を設定する反射検出領域設定手段９と、反射検出領域の画素の色成分に基づいて反射を検出し、反射が検出された場合に、反射として検出された画素の面積、目中心位置からの距離、反射強度またはそれらの組み合わせに基づいて所定の処理を行う必要があるか否かを判断する反射状態検出手段１０とを備える。
【選択図】 図２

Description

本発明は、顔画像撮影装置および顔画像撮影方法に係り、特に、撮影された目の周囲の反射を検出可能な顔画像撮影装置および顔画像撮影方法に関する。

近年、運転免許証や身分証明書、パスポート、外国人登録証、図書館利用カード、キャッシュカード、クレジットカード、従業員証、社員証、会員証、医療カード、学生証等において、本人を認証するために顔写真が添付されたカード等が広く使用されるようになっている。

このような認証用の顔写真では、被写体の目およびその近傍で照明やフラッシュ等が反射されて高輝度の部分が生じると、目の周りの特徴部分が強い反射光に隠れてしまい、顔の特徴が認識し難く認証用として不適格なものとなる。特に、被写体が眼鏡を使用している場合にはこのような事態が生じ易い。

目やその近傍、特に眼鏡による反射によって高輝度となった部分を自動的に除去する方法としては、例えば、撮影された顔画像から目が含まれる領域を選択し、その領域内の閾値以上の高輝度部位を背景色で塗りつぶす方法が知られている（特許文献１参照）。

また、近年、個人認識のために眼球中の虹彩のパターンを用いる技術の開発が進んでいるが、その際、眼鏡の反射光で虹彩のパターンが正確に取得できなくなることを防止するために、目を含む画像の輝度値を測定してその画像中から反射の部分を推定する装置が開発されている（特許文献２参照）。
特開２００２−２６９５４５号公報 特開２００１−１６７２８４号公報

しかしながら、これらの装置や方法を本人の認証用に応用した場合、顔画像に撮影されている照明やフラッシュの反射の有無を顔画像の画素の輝度値のみを基準として判断しているため、顔の皮膚や目などの色彩の自然なグラデーションの中で輝度値の閾値を越えたような場合でも反射と判断されてしまうという問題がある。

そこで、本発明の目的は、撮影した顔画像中に照明やフラッシュ等の反射が写し出された部分があるか否かを正確に判断可能な顔画像撮影装置および顔画像撮影方法を提供することである。また、本発明は、その処理を迅速に行うことができる顔画像撮影装置および顔画像撮影方法を提供することをも目的とする。

前述の問題を解決するために、請求項１に記載の顔画像撮影装置は、
被写体の顔画像を撮影する撮影手段と、
撮影された前記顔画像から顔領域を抽出する顔領域抽出手段と、
抽出された前記顔領域の中から反射を検出すべき反射検出領域を設定する反射検出領域設定手段と、
前記反射検出領域の画素の色成分に基づいて反射を検出し、前記反射が検出された場合に、反射として検出された画素の面積、目中心位置からの距離、反射強度またはそれらの組み合わせに基づいて所定の処理を行う必要があるか否かを判断する反射状態検出手段と
を備えることを特徴とする。

請求項１に記載の発明によれば、顔画像撮影装置は、被写体の顔画像を撮影し、その顔画像中から顔領域を抽出し、顔領域の中から目の周囲等の反射の有無を検出すべき反射検出領域を設定し、反射を検出する際に反射検出領域内の各画素の色成分に基づいて検出し、反射と判断された画素領域の面積や目中心位置からの距離、反射強度等に基づいて警告を発したり修正を行ったりする必要があるかないかを判断する。

請求項２に記載の発明は、請求項１に記載の顔画像撮影装置において、前記反射検出領域設定手段は、前記反射検出領域の設定に、前記顔領域抽出手段で抽出された前記顔領域に対する比率を用いることを特徴とする。

請求項２に記載の発明によれば、顔画像から顔領域が抽出されると、その顔領域に対する比率を用いて目やその周囲を含む反射検出領域が自動的に設定される。

請求項３に記載の発明は、請求項１または請求項２に記載の顔画像撮影装置において、前記反射状態検出手段は、Ｒ、Ｇ、Ｂの３次元色空間、Ｒ、Ｇ、Ｂの３次元色空間を変換することにより得られる空間、Ｒを含む２次元色空間またはＲを含む２次元色空間を変換することにより得られる空間について顔の色を示す区域と反射を示す区域とを区画する式またはテーブルを有しており、前記反射検出領域の画素が前記式またはテーブルに基づいて前記反射を示す区域にあると判断した場合に、反射として検出することを特徴とする。

請求項３に記載の発明によれば、反射検出領域の画素が顔の色を表しているか反射を表しているかの判断が、Ｒ、Ｇ、Ｂの３次元色空間またはＲを含む２次元色空間、或いはそれらを変換して得られる空間について顔の色を示す区域と反射を示す区域とを区画する式またはテーブルに基づいて行われ、反射を示す区域にあると判断された場合に反射として検出される。

請求項４に記載の発明は、請求項１または請求項２に記載の顔画像撮影装置において、前記反射状態検出手段は、前記反射検出領域の画素のＧ成分が所定の値以上である場合に、反射として検出することを特徴とする。

請求項４に記載の発明によれば、反射検出領域の画素が顔の色を表しているか反射を表しているかの判断が、ＲＧＢの色成分のうちＧ成分に着目して閾値以上の値を持つ画素が反射として検出される。

請求項５に記載の発明は、請求項１から請求項４のいずれか一項に記載の顔画像撮影装置において、前記反射状態検出手段は、反射の検出に、前記反射検出領域の各画素の輝度を用いることを特徴とする。

請求項５に記載の発明によれば、反射状態検出において、画素の色成分のみならず輝度も用いて判断を行い、反射を検出する。

請求項６に記載の発明は、請求項１から請求項５のいずれか一項に記載の顔画像撮影装置において、前記反射状態検出手段により所定の処理を行う必要があると判断された場合に、前記所定の処理として撮影者に対して警告を発する処理手段を備えることを特徴とする。

請求項６に記載の発明によれば、被写体の目や目の周囲に反射がある場合に、撮影者に対して警告を発する。

請求項７に記載の発明は、請求項１から請求項６のいずれか一項に記載の顔画像撮影装置において、前記反射状態検出手段により所定の処理を行う必要があると判断された場合に、前記所定の処理として修正を行う処理手段を備えることを特徴とする。

請求項７に記載の発明によれば、被写体の目や目の周囲に反射がある場合に、修正を行う。

請求項８に記載の顔画像撮影方法は、
被写体の顔画像を撮影する撮影工程と、
撮影された前記顔画像から顔領域を抽出する顔領域抽出工程と、
抽出された前記顔領域の中から反射を検出すべき反射検出領域を設定する反射検出領域設定工程と、
前記反射検出領域の画素の色成分に基づいて反射を検出し、前記反射が検出された場合に、反射として検出された画素の面積、目中心位置からの距離、反射強度またはそれらの組み合わせに基づいて所定の処理を行う必要があるか否かを判断する反射状態検出工程と
を有することを特徴とする。

請求項８に記載の発明によれば、被写体の顔画像を撮影し、その顔画像中から顔領域を抽出し、顔領域の中から目の周囲等の反射の有無を検出すべき反射検出領域を設定し、反射を検出する際に反射検出領域内の各画素の色成分に基づいて検出し、反射と判断された画素領域の面積や目中心位置からの距離、反射強度等に基づいて警告を発したり修正を行ったりする必要があるかないかを判断する。

請求項９に記載の発明は、請求項８に記載の顔画像撮影方法において、前記反射検出領域設定工程では、前記反射検出領域の設定に、前記顔領域抽出工程で抽出された前記顔領域に対する比率を用いることを特徴とする。

請求項９に記載の発明によれば、顔画像から顔領域が抽出されると、その顔領域に対する比率を用いて目やその周囲を含む反射検出領域が自動的に設定される。

請求項１０に記載の発明は、請求項８または請求項９に記載の顔画像撮影方法において、前記反射状態検出工程では、Ｒ、Ｇ、Ｂの３次元色空間、Ｒ、Ｇ、Ｂの３次元色空間を変換することにより得られる空間、Ｒを含む２次元色空間またはＲを含む２次元色空間を変換することにより得られる空間について顔の色を示す区域と反射を示す区域とを区画する式またはテーブルを用い、前記反射検出領域の画素が前記式またはテーブルに基づいて前記反射を示す区域にあると判断した場合に、反射として検出することを特徴とする。

請求項１０に記載の発明によれば、反射検出領域の画素が顔の色を表しているか反射を表しているかの判断が、Ｒ、Ｇ、Ｂの３次元色空間またはＲを含む２次元色空間、或いはそれらを変換して得られる空間について顔の色を示す区域と反射を示す区域とを区画する式またはテーブルに基づいて行われ、反射を示す区域にあると判断された場合に反射として検出される。

請求項１１に記載の発明は、請求項８または請求項９に記載の顔画像撮影方法において、前記反射状態検出工程では、前記反射検出領域の画素のＧ成分が所定の値以上である場合に、反射として検出することを特徴とする。

請求項１１に記載の発明によれば、反射検出領域の画素が顔の色を表しているか反射を表しているかの判断が、ＲＧＢの色成分のうちＧ成分に着目して閾値以上の値を持つ画素が反射として検出される。

請求項１２に記載の発明は、請求項８から請求項１１のいずれか一項に記載の顔画像撮影方法において、前記反射状態検出工程では、反射の検出に、前記反射検出領域の各画素の輝度を用いることを特徴とする。

請求項１２に記載の発明によれば、請求項５に記載の発明によれば、反射状態検出において、画素の色成分のみならず輝度も用いて判断を行い、反射を検出する。

請求項１３に記載の発明は、請求項８から請求項１２のいずれか一項に記載の顔画像撮影方法において、前記反射状態検出工程で所定の処理を行う必要があると判断された場合に、前記所定の処理として撮影者に対して警告を発する処理工程を有することを特徴とする。

請求項１３に記載の発明によれば、被写体の目や目の周囲に反射がある場合に、撮影者に対して警告を発する。

請求項１４に記載の発明は、請求項８から請求項１３のいずれか一項に記載の顔画像撮影方法において、前記反射状態検出工程で所定の処理を行う必要があると判断された場合に、前記所定の処理として修正を行う処理工程を有することを特徴とする。

請求項１４に記載の発明によれば、被写体の目や目の周囲に反射がある場合に、修正を行う。

請求項１および請求項８に記載の発明によれば、被写体の顔画像を撮影し、その顔画像中から顔領域を抽出し、顔領域の中から目の周囲等の反射の有無を検出すべき反射検出領域を設定し、反射を検出する際に反射検出領域内の各画素の色成分に基づいて検出し、反射と判断された画素領域の面積や目中心位置からの距離、反射強度等に基づいて警告を発したり修正を行ったりする必要があるかないかを判断する。

このようにすることで、顔画像中の目の部分やその近傍に輝度値が高い領域があったとして、その領域が照明やフラッシュ等の色をそのまま反射した領域か、顔の皮膚や目などの色を反映した領域であるかを正確に判定することができる。そのため、撮影した顔画像が、目や目の周りに照明等の反射光があるため目の周りの特徴が失われた認証用としては不適格な顔画像であるか、顔の皮膚や目などの色彩の自然なグラデーションが保たれ目の周りの特徴が失われていない認証用に適した顔画像であるかを効率良く自動的に判定することが可能となる。

請求項２および請求項９に記載の発明によれば、被写体が眼鏡を着用しているか否かを判定することなく、目や眼鏡が存在し、かつ反射があると認証に支障を来たしそうな顔領域中の領域が、反射を検出すべき反射検出領域として顔領域に対する比率のみに基づいて設定される。そのため、前記請求項に記載の発明の効果に加え、顔領域内に検出された反射が認証に支障があるものであるか否かの判断を行うまでの処理を非常に迅速に行うことが可能となる。

請求項３および請求項１０に記載の発明によれば、反射検出領域の画素が顔の色を表しているか反射を表しているかの判断が、Ｒ、Ｇ、Ｂの３次元色空間またはＲを含む２次元色空間、或いはそれらを変換して得られる空間について顔の色を示す区域と反射を示す区域とを区画する式またはテーブルに基づいて行われ、反射を示す区域にあると判断された場合に反射として検出される。

白眼や黒眼の部分を含む顔の色が撮影されている画素では、ＲＧＢ色成分のうちＲ成分が他の色成分より大きな値を有するのに対して、反射が撮影されている画素ではＲＧＢの全色成分がほぼ均等な値を有するから、ＲＧＢ３次元色空間やＲを含む２次元色空間、或いはそれらを変換して得られる空間ではそれらの分布が比較的明確に区画される。そのため、前記式やテーブルに基づいて判断することで顔の色が撮影されている画素と反射が撮影されている画素とを正確かつ迅速に区別することが可能となり、前記各請求項に記載の発明の効果をより有効に発揮することが可能となる。

請求項４および請求項１１に記載の発明によれば、反射検出領域の画素が顔の色を表しているか反射を表しているかの判断が、ＲＧＢの色成分のうちＧ成分に着目して閾値以上の値を持つ画素が反射として検出される。これは、前述したように、顔の色が撮影されている画素ではＲ成分が大きな値を有し、Ｇ成分は比較的小さな値を有するとともに、眼鏡がＧ成分を強く反射するレンズを使用していることにが多いことから、Ｇ成分を監視することで眼鏡のレンズによる反射が発見され易くなる。そのため、Ｇ成分を閾値で分けることにより容易かつ迅速に反射と非反射とを区別することが可能となり、前記各請求項に記載の発明の効果をより有効に発揮することが可能となる。

請求項５および請求項１２に記載の発明によれば、反射状態検出において、画素の色成分のみならず輝度も用いて判断を行い、反射を検出するため、前記各請求項に記載の発明の効果がより的確に発揮される。

請求項６および請求項１３に記載の発明によれば、被写体の目や目の周囲に反射がある場合に、撮影者に対して警告を発する。そのため、前記各請求項に記載の発明の効果に加え、撮影者は、撮影された顔画像が被写体の認証用の写真として適切であるか否かを判断することが可能となり、再撮影の必要があるか否かを判断することができる。また、その結果、認証用に適した顔画像を得ることが可能となる。

請求項７および請求項１４に記載の発明によれば、被写体の目や目の周囲に反射がある場合に、修正を行う。そのため、前記各請求項に記載の発明の効果に加え、自動的に認証用に適した顔画像を得ることが可能となる。

以下、本発明に係る顔画像撮影装置および顔画像撮影方法の実施の形態について、図面を参照して説明する。

図１は、下記第１の実施形態および第２の実施形態に共通する顔画像撮影装置のハードウエア部分の構成を示す概略図である。ここでは、顔画像撮影装置１として、運転免許証の取得、更新の際などに顔画像撮影のために用いられる顔画像撮影装置について説明するが、本発明の顔画像撮影装置には、この他にも、例えば、被写体自らが撮影者として顔画像撮影装置を操作し、自らの顔画像撮影を行うように構成された顔画像撮影装置等も含まれる。

顔画像撮影装置１は、被写体Ｑの顔部分を含む画像、すなわち顔画像を撮影するデジタルカメラ等からなる撮影手段２と、被写体Ｑの顔画像や警告等を表示するモニタ等の表示手段３と、キーボードやタッチパネル、マウス、ボタン等の入力手段４と、シャッタ等の撮影開始ボタン５と、これらを制御するＣＰＵやＲＡＭ、ＲＯＭ、入出力インターフェース等がＢＵＳにより接続されて構成されたコンピュータが内蔵された本体部６とを備えている。

撮影手段２は、デジタルカメラ等の静止画像をデジタル画像として取り込む機能を有する撮影装置、或いは撮影した画像をデジタル画像に変換することができる撮影装置が用いられている。

［第１の実施形態］
次に、第１の実施形態に係る顔画像撮影装置１のソフトウエア部分における処理構成について説明する。図２は、本実施形態に係る顔画像撮影装置の処理構成を示すブロック図である。

前記本体部６に内蔵されたコンピュータは、撮影手段２により撮影された被写体Ｑの顔画像の処理を行う制御手段７として構成されている。制御手段７は、顔領域抽出手段８と、反射検出領域設定手段９と、反射状態検出手段１０と、処理手段１１とを備えている。

顔領域抽出手段８は、図３に示すように、撮影手段２で撮影されデジタル画像とされた被写体Ｑの顔画像の中から被写体Ｑの顔が撮影されている領域（以下、顔領域という。）を抽出するようになっている。撮影された画像中から顔領域を抽出する方法としては、種々の手法が開発されており、本実施形態では、多数の被写体からサンプリングされた平均的な顔領域、すなわち、いわゆるテンプレートを用いたテンプレートマッチングの手法が採用されている。

テンプレートマッチングは、簡単に説明すれば、図４に示すように、テンプレートを被写体Ｑの顔画像上でラスター走査させて相関をとり、その相関が最も高い領域を顔領域とする方法である。このテンプレートマッチングを用いた顔領域抽出方法については、例えば、堀修，「統計的手法による画像からの顔領域の抽出」，情報処理学会論文誌，１９９９年８月，第４０巻，第８号，ｐ．３２８１−３２８８等に記載されている。なお、この論文には、本実施形態で想定されている室内のほぼ一様な背景の中から顔領域を抽出する場合のみならず、屋外の複雑な背景の中から顔領域を抽出する方法についても述べられているが、本実施形態の顔画像撮影装置１やさらにコンパクト化された本発明の顔画像撮影装置を屋外で用いる場合の顔領域抽出方法として、その方法を採用することも可能である。

本実施形態では、図４に模式的に示したように、上下方向が眉から口まで、左右方向が両目の目尻までのテンプレートを用いており、顔領域もその範囲で抽出されるようになっている。

反射検出領域設定手段９は、顔領域の中から反射を検出すべき反射検出領域を設定するように構成されている。本実施形態では、反射検出領域設定手段９による反射検出領域の設定は、顔領域に対する上下方向および左右方向の比率を用いて行われるようになっている。

具体的には、図３に示すように、反射検出領域は、上下方向については顔領域の上端から顔領域の０．５倍まで、左右方向については顔領域の左右端からそれぞれ顔領域の０．４５倍までの領域として設定されるようになっている。

なお、反射検出領域設定手段９における比率の設定或いは反射検出領域の設定は、反射が生じると顔の特徴が失われるような顔領域中の部分、特に、目の周りや眼鏡レンズが写っている部分が含まれるように比率や反射検出領域が設定されることが好ましい。そのため、本実施形態では、前記比率の決定は、前記顔領域抽出手段８におけるテンプレートの定め方、さらには顔画像からの顔領域の抽出の仕方そのものに依存する。従って、反射検出領域設定手段９では、顔領域抽出手段８の顔領域の抽出の仕方に応じて前記部分が反射検出領域に含まれるように反射検出領域の設定の仕方や比率が適宜決定される。

反射状態検出手段１０は、反射検出領域内のすべての画素に対してその画素の色成分に基づいて反射が生じている画素、すなわち反射画素であるか、或いは反射を生じていない画素、すなわち非反射画素であるかを判定して反射を検出するように構成されている。

本実施形態の反射状態検出手段１０における反射画素および非反射画素の判定は、白眼や黒眼の部分を含む顔の色彩が撮影されている非反射画素では、ＲＧＢ色成分のうちＲ成分が他の色成分より大きな値を有するのに対し、反射が撮影されている反射画素ではＲＧＢの全色成分がほぼ均等な値を有するという知見に基づいて行われるようになっている。この知見は、人間の皮膚の色が赤みがかっていることに対応する。

すなわち、例えば、図５に示すように各画素のＲおよびＢの２５６階調の各色成分を２次元色平面上にプロットすると、顔の色を示す区域と反射を示す区域とが比較的明確に分離される。本実施形態では、反射状態検出手段１０は、両区域を区画する式として、
Ｂ＝０．６Ｒ＋５０ （１）
を用い、その画素のＲ成分とＢ成分との関係がＢ＞０．６Ｒ＋５０である場合にはその画素が反射画素であると判定して、その画素に対して反射画素としてマーキングし、反射として検出するようになっている。また、反射状態検出手段１０は、画素が前記条件を満たさない場合にはその画素は非反射画素であると判定して前記マーキングを行わないようになっている。

また、本実施形態では、同時に、下記（２）式で与えられる輝度値ｙについても閾値を設け、画素が前記条件を満たし、かつ輝度値ｙが１５０より大きい場合に反射画素であると判定するようになっている。
ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ （２）

なお、本実施形態では、（１）式で反射画素の区域と非反射画素の区域とを区画したが他の式を用いることも可能である。また、（１）式のようにＲ、Ｂの２次元色空間を１次関数で区画する代わりに多次の関数で区画することも可能であり、また、Ｒ、Ｂの代わりにＲとＧとの２次元色空間を用いても同様に区画することができる。さらにＲＧＢの３次元色空間を用いても平面式或いは曲面式で区画することが可能であり、また、それらの式を用いて区画する代わりに２次元或いは３次元のテーブルを予め用意しておいてそれに基づいて反射、非反射を判定するように構成することも可能である。

さらに、Ｒ、Ｇ、Ｂの３次元色空間やＲを含む２次元色空間から、例えば、ＸＹＺ表色系やＬ^*ａ^*ｂ^*表色系等の空間に変換することは公知の手法を用いて容易に行うことが可能であり、本実施形態或いは後述する第２の実施形態において、Ｒ、Ｇ、Ｂの３次元色空間やＲを含む２次元色空間を変換することにより得られる空間について顔の色を示す区域と反射を示す区域とを区画する式やテーブルを用いるように構成することも可能である。

また、ＲＧＢ表色系は国際照明委員会で定められた波長７００．０ｎｍを赤、波長５４６．１ｎｍを緑、波長４３５．８ｎｍを青とする表色系があり、一般的にはそれが基準とされるが、ＲＧＢの定義にはその他種々の定義がある。本発明は、そのいずれのＲＧＢ表色系の場合についても適用可能である。

反射状態検出手段１０は、図６に示すように、反射検出領域内の反射画素であるとマークされた画素について、互いに隣接する画素を１つの領域とし、各領域（以下、反射領域という。）についてラベリングを行い各反射領域にラベル番号を割り振るようになっている。

反射状態検出手段１０は、ラベリングされた各反射領域の面積、すなわち各反射領域に含まれる画素数をカウントし、画素数が、例えば、４画素以下等の閾値以下の反射領域についてはノイズと判断し、ラベリングを破棄するようになっている。前記閾値は適宜決定される。また、ノイズと判断された領域は、これ以降の処理では非反射領域とみなされる。

また、反射状態検出手段１０は、画素数が閾値以上の反射領域について目中心位置からの距離が算出されるようになっている。本実施形態では、目中心位置の特定は、左目中心位置および右目中心位置がそれぞれ図３に示した顔領域の左端および右端から左右端間距離の０．２５倍の距離だけ離れた位置、および顔領域の上端から上下端間距離の０．２５倍の距離だけ離れた位置とされるようになっている。

なお、左眼および右眼の目中心位置の特定は、例えば、前記顔画像中からの顔領域の抽出と同様にテンプレートマッチングにより行うように構成することも可能である。

目中心位置からの距離は、反射領域に含まれる各画素と左眼についての目中心位置との距離が最も近い距離がその反射領域と左眼の目中心位置との距離とされ、右眼についても同様にして距離が算出されるようになっている。そして、反射状態検出手段１０は、各反射領域について左右両眼について目中心位置との距離を求め、左右いずれかの目中心位置との距離が顔領域の左右端間距離の０．２倍以下であれば、目の近くに反射が存在し顔の特徴を隠す問題がある反射領域であると判断するようになっている。

問題があると判断された反射領域は、元の顔画像と対応付けられて図示しない記憶手段に記憶されるようになっている。なお、目中心位置との距離が左右端間距離の何倍をもって問題がある反射領域であるとするかは適宜決められる。

処理手段１１は、前記反射状態検出手段１０で前記問題があると判断された反射領域が存在する場合に、所定の処理として警告を発するように設定されている。具体的には、処理手段１２は、モニタ等の表示手段３に顔領域或いは顔画像の画素データを送信して表示させ、前記問題がある反射領域のデータを送信して、その反射領域を、例えば青色等の円や楕円等で囲って顔領域または顔画像に重畳表示させるようになっている。処理手段１２は、それと同時に、表示手段３に反射がある旨を表示させるようになっている。さらに、音声等で撮影者Ｐに告知するように構成することも可能である。

次に、第１の実施形態に係る顔画像撮影装置１を用いた顔画像撮影方法について説明する。

図７は、第１の実施形態に係る顔画像撮影方法の処理手順を示すフローチャートである。本実施形態に係る顔画像撮影方法では、被写体Ｑを撮影手段２により撮影し（撮影工程、ステップＳ１）、撮影手段２から制御手段７に顔画像のデジタル画像データが転送される。

制御手段７は、まず、図３に示したように、顔領域抽出手段８により撮影手段２で撮影された被写体Ｑの顔画像の中から被写体Ｑの顔が撮影されている顔領域が、図４に示したテンプレートを用いたテンプレートマッチングにより抽出される（顔領域抽出工程、ステップＳ２）。

続いて、反射検出領域設定手段９により、前工程で抽出された顔領域の中から上下方向については顔領域の上端から顔領域の０．５倍まで、左右方向については顔領域の左右端からそれぞれ顔領域の０．４５倍までの領域が反射を検出すべき反射検出領域として設定される（反射検出領域設定工程、ステップＳ３）。

続いて、反射状態検出手段１０により、前工程で設定された反射検出領域内のすべての画素に対してその画素の色成分に基づいて反射画素であるか非反射画素であるかの判定が行われ、反射が検出される（ステップＳ４）。

この反射の検出（ステップＳ４）では、図８のフローチャートに示すように、まず、左眼側の反射検出領域の左上端の画素から（ステップＳ４１）反射画素であるか否かの判定を行い（ステップＳ４２）、反射画素であると判定されるとその画素に対して反射画素としてマーキングし（ステップＳ４３）、次の画素に移動する（ステップＳ４４）。

次の画素が存在すれば（ステップＳ４５：ＮＯ）、その画素が反射画素であるか否かの判定を行うという処理を繰り返す。左眼側の反射検出領域の全画素の判定が終了すると右眼側の反射検出領域の全画素の判定を行い、次の画素がなくなると、両反射検出の全画素について判定が終了する（ステップＳ４５：ＹＥＳ）。

なお、前記反射画素であるか否かの判定（ステップＳ４２）においては、本実施形態では、図９に示すように、まず、判定の対象となっている画素の色成分がＢ＞０．６Ｒ＋５０を満たすか否かが判断され（ステップＳ４２１）、この条件を満たさない場合はＲＢ２次元色平面上で顔の色を示す区域にあるとして非反射画素と判断される。

また、前記条件を満たすと判断された画素に対しては前記（２）式に従って輝度値が算出され（ステップＳ４２２）、輝度値が１５０以下であれば（ステップＳ４２３：ＮＯ）、非反射画素と判定され、輝度値が１５０より大きければ（ステップＳ４２３：ＹＥＳ）、反射画素と判定される。

続いて、図７のフローチャートで問題がある反射領域があるか否かの判断が行われる（ステップＳ５）。具体的には、この判断は、図１０に示すフローチャートに従った処理がなされる。

まず、反射検出領域内の反射画素であるとマークされた画素について、互いに隣接する画素を１つの反射領域とし、各反射領域についてラベリングを行って各反射領域にラベル番号を割り振り（ステップＳ５１）、左目中心位置および右目中心位置をそれぞれ顔領域の左端および右端から左右端間距離の０．２５倍の距離だけ離れた位置、および顔領域の上端から上下端間距離の０．２５倍の距離だけ離れた位置に定める（ステップＳ５２）。

続いて、ラベリングされた各反射領域の画素数がカウントされ（ステップＳ５３）、反射領域の画素数が４以下と判断されると（ステップＳ５４：ＹＥＳ）、その反射領域についてはノイズと判断され、ラベリングが破棄されて（ステップＳ５５）、その反射領域は非反射領域とみなされる。

画素数が４より大きいと判断された反射領域は（ステップＳ５４：ＮＯ）、目中心位置との距離が求められる（ステップＳ５６）。そして、反射領域と左右いずれかの目中心位置との距離が顔領域の左右端間距離の０．２倍以下であれば（ステップＳ５７：ＹＥＳ）問題がある反射領域であると判断されて元の顔画像と対応付けられて記憶手段に記憶される。また、０．２倍より大きければ（ステップＳ５７：ＮＯ）問題がない反射領域であると判断される。

そして、ラベリングされたすべての反射領域について判断が行われたか否かが判断され（ステップＳ５８）、反射領域について判断が繰り返され、すべての反射領域についての判断を終えると反射状態検出工程が終了する。

このようにして図７のフローチャートで問題がある反射領域があるか否かの判断（ステップＳ５）が行われると、問題がある反射領域が存在する場合には（ステップＳ５：ＹＥＳ）、モニタ等の表示手段３に顔領域或いは顔画像を表示し、問題がある反射領域を青色等の円や楕円等で囲って顔領域または顔画像に重畳表示するなどして撮影者Ｐに警告を発する（処理工程、ステップＳ６）。同時に、表示手段３に反射がある旨が表示される。

図１に示した撮影者Ｐは、その表示手段３に表示された画像や表示を見て、再撮影する必要があるか否かを判断する。

以上のように、本実施形態の顔画像撮影装置１およびそれを用いた顔画像撮影方法によれば、顔画像中の目の部分やその近傍に輝度値が高い領域があっても、その色成分を分析することにより、その領域が、照明やフラッシュ等の色をそのまま反射した領域か、顔の皮膚や目などの色を反映した領域であるかを正確に判定することができる。

そのため、撮影した顔画像が、目や目の周りに照明等の反射光があるため目の周りの特徴が失われた認証用としては不適格な顔画像であるか、顔の皮膚や目などの色彩の自然なグラデーションが保たれ目の周りの特徴が失われていない認証用に適した顔画像であるかを効率良く自動的に判定することが可能となる。

また、本実施形態の顔画像撮影装置１およびそれを用いた顔画像撮影方法によれば、被写体Ｑが眼鏡を着用しているか否かを判定することなく、目や眼鏡が存在し、かつ反射があると認証に支障を来たしそうな顔領域中の領域を、反射を検出すべき反射検出領域として顔領域に対する比率のみに基づいて設定する。

そのため、顔領域内に検出された反射が認証に支障があるものであるか否かの判断を行うまでの処理を非常に迅速に行うことが可能となり、また、反射検出領域内における左右両眼の目中心位置も顔領域に対する比率で一義的に決めてしまうように構成すれば、さらに高速に処理を行うことが可能となる。

［第２の実施形態］
次に、第２の実施形態に係る顔画像撮影装置１のソフトウエア部分における処理構成について説明する。第２の実施形態においても、処理構成は図２に示した第１の実施形態の場合と同様であり、制御手段７は、顔領域抽出手段８と、反射検出領域設定手段９と、反射状態検出手段１０と、処理手段１１とを備えているが、反射状態検出手段１０および処理手段１１の処理内容が第１の実施形態とは異なっている。

本実施形態では、反射状態検出手段１０は、反射検出領域設定手段９で設定された反射検出領域内のすべての画素から所定の輝度値以上の輝度を有する画素を反射画素として検出し、互いに隣接する反射画素を反射領域としてラベリングするが、反射領域に属する全画素のＧ成分の最大値が所定値以下である領域は非反射領域として除外することにより反射領域を検出するように構成されている。

本実施形態の反射状態検出手段１０における反射領域および非反射領域の判定は、輝度値に基づいていったん反射領域とされた領域に属する各画素の色成分のうち反射強度としてＧ成分に着目し、その最大値が所定の値より大きい場合にその領域が反射領域であると判定するようになっている。

これは、前述したように、白眼や黒眼の部分を含む顔の色彩が撮影されている非反射領域ではＲＧＢ色成分のうちＲ成分が他の色成分より大きな値を有しＧ成分は比較的小さな値となるのに対し、反射が撮影されている反射領域ではＲＧＢの全色成分がほぼ均等な値を有しＧ成分が大きな値となるという知見に基づく。また、近年、眼鏡がＧ成分を強く反射するレンズを使用していることが多いため、Ｇ成分を監視することで眼鏡のレンズによる反射が発見され易いという知見も考慮されている。

しかし、顔の色彩を示す領域でも画素のＧ成分が大きな値を有する場合があるため、本実施形態では、反射状態検出手段１０は、まず輝度値で画素をふるいにかけて反射領域である可能性がある領域を検出したうえで、それに属する画素のＧ成分の最大値から反射の有無を判定するようになっている。

具体的には、反射状態検出手段１０は、反射検出領域設定手段９で設定された反射検出領域内の画素のうち、前記（２）式で求められる輝度値ｙが２２０以上の画素を反射画素である可能性がある画素として選び出し、それらの画素のうち隣接する画素同士を１つの反射領域である可能性がある領域として検出し、その領域に属する画素のＧ成分の最大値が２５６階調で１９０より大きければその領域は反射領域であると判定し、それ以外の領域は非反射画素と判定するようになっている。なお、前記各閾値は、顔画像撮影装置１の設置条件等によって適宜決められる。

一方、本実施形態では、処理手段１１は、反射状態検出手段１０で目の近くに反射が存在し顔の特徴を隠す可能性があるとして問題がある反射領域が存在すると判断された場合に、所定の処理として、その反射領域の修正を行うように構成されている。図１１に示すような範囲で反射領域が存在する場合、反射領域を含む左右方向に並ぶ画素ｐ１、ｐ２、ｐ３およびそれらの隣接する画素ｐ０、ｐ４の各色成分の成分値をプロットすると、図１２に示すようなグラフに表される。

本実施形態では、処理手段１２は、図１２に示すように、左右方向に並ぶ反射領域内の画素に隣接する非反射領域の画素ｐ０、ｐ４の成分値の平均を算出し、その平均値と各画素ｐ１、ｐ２、ｐ３におけるそれぞれ成分値との差の半分を、各画素ｐ１、ｐ２、ｐ３における成分値から引いた値をそれぞれその画素ｐ１、ｐ２、ｐ３におけるその色成分の成分値とすることにより反射領域の修正を行うように構成されている。この修正は、ＲＧＢすべての色成分について行われ、また、反射領域の全画素について行われるようになっている。

次に、第２の実施形態に係る顔画像撮影装置１を用いた顔画像撮影方法について説明する。

図１３は、第２の実施形態に係る顔画像撮影方法の処理手順を示すフローチャートである。このフローチャートは、図７に示した第１の実施形態に係る顔画像撮影方法におけるフローチャートとほとんど同じであるが、前記構成において述べたことに対応して、反射状態検出工程（ステップＳ４およびステップＳ５）における処理内容が第１の実施形態の場合と異なり、また、第１の実施形態では処理工程で警告を発する（ステップＳ６）ようになっていたが、第２の実施形態では処理工程でその代わりに修正を行う（ステップＳ７）ようになっている。

まず、第２の実施形態に係る顔画像撮影方法では、撮影工程（ステップＳ１）から反射検出領域設定工程（ステップＳ３）までは第１の実施形態と同様に行われる。

続いて、反射状態検出工程では、まず、反射検出領域設定工程（ステップＳ３）で設定された反射検出領域に属するすべての画素に対して輝度値でふるいをかける。

すなわち、反射状態検出（ステップＳ４）においては、図８に示した第１の実施形態の場合と同様に、まず、左眼側の反射検出領域の左上端の画素から（ステップＳ４１）反射画素であるか否かの判定を行う（ステップＳ４２）。

この判定において、図１４に示すように、本実施形態では、輝度値ｙを算出し（ステップＳ４２４）、輝度値ｙが２２０以上であれば（ステップＳ４２５：ＹＥＳ）反射画素であると判定され、輝度値ｙが２２０より小さければ（ステップＳ４２５：ＮＯ）非反射画素であると判定される。

そして、反射画素であると判定されるとその画素に対してマーキングし（図８のステップＳ４３）、次の画素に移動する（ステップＳ４４）。次の画素が存在すれば（ステップＳ４５：ＮＯ）、判定を行うという処理を繰り返す。左眼側の反射検出領域の全画素の判定が終了すると右眼側の反射検出領域の全画素の判定を行い、次の画素がなくなると、両反射検出の全画素について判定が終了する（ステップＳ４５：ＹＥＳ）。

続いて、図１３のフローチャートにおいて、反射画素であるとされた画素がさらにふるいにかけられて反射領域が選び出され、その中から問題がある反射領域であるか否かの判断が行われる（ステップＳ５）。具体的には、この判断は、図１５に示すフローチャートに従った処理がなされる。

まず、反射画素であるとしてマークされた画素について、互いに隣接する画素を１つの反射領域とし、各反射領域についてラベリングを行って各反射領域にラベル番号を割り振り（ステップＳ５９）、左目中心位置および右目中心位置をそれぞれ顔領域の左端および右端から左右端間距離の０．２５倍の距離だけ離れた位置、および顔領域の上端から上下端間距離の０．２５倍の距離だけ離れた位置に定める（ステップＳ６０）。

続いて、反射領域に属する画素のＧ成分の最大値Ｇ_MAXが算出され（ステップＳ６１）、Ｇ_MAXが１９０以下であると判断されると（ステップＳ６２：ＹＥＳ）、その反射領域はラベリングが破棄されて（ステップＳ６３）、その反射領域は非反射領域とみなされる。

Ｇ_MAXが１９０より大きいと判断された反射領域は（ステップＳ６２：ＮＯ）、目中心位置との距離が求められる（ステップＳ６４）。そして、反射領域と左右いずれかの目中心位置との距離が顔領域の左右端間距離の０．２倍以下であれば（ステップＳ６５：ＹＥＳ）問題がある反射領域であると判断されて元の顔画像と対応付けられて記憶手段に記憶される。また、０．２倍より大きければ（ステップＳ６５：ＮＯ）問題がない反射領域であると判断される。

そして、ラベリングされたすべての反射領域について判断が行われたか否かが判断され（ステップＳ６６）、反射領域について判断が繰り返され、すべての反射領域についての判断を終えると反射状態検出工程が終了する。

このようにして図１３のフローチャートで問題がある反射領域があるか否かの判断（ステップＳ５）が行われると、問題がある反射領域が存在する場合には（ステップＳ５：ＹＥＳ）、修正が行われる（ステップＳ７）が、第２の実施形態の処理工程における修正（ステップＳ７）については、前記構成で述べたとおりであり、説明を省略する。

なお、図１５のフローチャートでは、反射領域の画素数が４以下である場合にノイズと判断して非反射領域とみなす手順が省略されているが、これを図１５の手順に加えることも可能である。

以上のように、第２の実施形態の顔画像撮影装置１およびそれを用いた顔画像撮影方法によれば、Ｇ成分を監視することにより、Ｇ成分を強く反射するレンズを使用していることが多い眼鏡による反射を容易かつ正確に捉えることが可能となるため、顔画像の高輝度の領域が、顔の皮膚や目などの色を反映した領域であるか、或いは眼鏡により照明やフラッシュ等の色がそのまま反射された領域かを容易かつ正確に判定することが可能となる。

そのため、撮影した顔画像が、目や目の周りに照明等の反射光があるため目の周りの特徴が失われた認証用としては不適格な顔画像であるか、顔の皮膚や目などの色彩の自然なグラデーションが保たれ目の周りの特徴が失われていない認証用に適した顔画像であるかを効率良く自動的に判定することが可能となる。

また、各画素のＧ成分そのものの値を用いて判定ができるため、処理を高速に行うことが可能となる。本実施形態でも、被写体Ｑが眼鏡を着用しているか否かを判定することなく、目や眼鏡が存在し、かつ反射があると認証に支障を来たしそうな顔領域中の領域を、反射を検出すべき反射検出領域として顔領域に対する比率のみに基づいて設定するから、顔領域内に検出された反射が認証に支障があるものであるか否かの判断を行うまでの処理を非常に迅速に行うことが可能となり、また、反射検出領域内における左右両眼の目中心位置も顔領域に対する比率で一義的に決めてしまうように構成すれば、さらに高速に処理を行うことが可能となる。

なお、第１および第２の実施形態を組み合わせて行うことも可能であり、例えば、第１の実施形態の処理工程で修正を行ったり、第２の実施形態の処理工程で警告を発したり、或いはそれらを同時に行うように構成することもできる。

また、顔領域から反射検出領域を設定する際に、例えば、テンプレートマッチングや学習等の方法で目や眼鏡等の位置を正確に求め、それに基づいて反射検出領域を設定するように構成することも可能である。

顔画像撮影装置のハードウエア部分の構成を示す概略図である。 第１の実施形態に係る顔画像撮影装置の処理構成を示すブロック図である。 顔領域および反射検出領域を説明する模式図である。 テンプレートマッチングを説明する模式図である。 ＲＢ２次元平面における反射画素と非反射画素の分布を示すグラフである。 反射画素のマーキングと反射領域のラベリングを説明する図である。 第１の実施形態に係る顔画像撮影方法の処理手順を示すフローチャートである。 反射状態検出工程における判断手順を示すフローチャートである。 反射状態検出工程における判定の処理手順を示すフローチャートである。 判断工程における処理手順を示すフローチャートである。 第２の実施形態において修正を行う場合の画素の選び方を説明する図である。 図１１に示した各画素に対する修正の方法を説明する図である。 第２の実施形態に係る顔画像撮影方法の処理手順を示すフローチャートである。 第２の実施形態に係る反射状態検出工程における判断手順を示すフローチャートである。 第２の実施形態に係る反射状態検出工程における判定の処理手順を示すフローチャートである。

符号の説明

１ 顔画像撮影装置
２ 撮影手段
８ 顔領域抽出手段
９ 反射検出領域設定手段
１０ 反射状態検出手段
１１ 判断手段
１２ 処理手段
Ｐ 撮影者
Ｑ 被写体

Claims (14)

1. 被写体の顔画像を撮影する撮影手段と、
   撮影された前記顔画像から顔領域を抽出する顔領域抽出手段と、
   抽出された前記顔領域の中から反射を検出すべき反射検出領域を設定する反射検出領域設定手段と、
   前記反射検出領域の画素の色成分に基づいて反射を検出し、前記反射が検出された場合に、反射として検出された画素の面積、目中心位置からの距離、反射強度またはそれらの組み合わせに基づいて所定の処理を行う必要があるか否かを判断する反射状態検出手段と
   を備えることを特徴とする顔画像撮影装置。
2. 前記反射検出領域設定手段は、前記反射検出領域の設定に、前記顔領域抽出手段で抽出された前記顔領域に対する比率を用いることを特徴とする請求項１に記載の顔画像撮影装置。
3. 前記反射状態検出手段は、Ｒ、Ｇ、Ｂの３次元色空間、Ｒ、Ｇ、Ｂの３次元色空間を変換することにより得られる空間、Ｒを含む２次元色空間またはＲを含む２次元色空間を変換することにより得られる空間について顔の色を示す区域と反射を示す区域とを区画する式またはテーブルを有しており、前記反射検出領域の画素が前記式またはテーブルに基づいて前記反射を示す区域にあると判断した場合に、反射として検出することを特徴とする請求項１または請求項２に記載の顔画像撮影装置。
4. 前記反射状態検出手段は、前記反射検出領域の画素のＧ成分が所定の値以上である場合に、反射として検出することを特徴とする請求項１または請求項２に記載の顔画像撮影装置。
5. 前記反射状態検出手段は、反射の検出に、前記反射検出領域の各画素の輝度を用いることを特徴とする請求項１から請求項４のいずれか一項に記載の顔画像撮影装置。
6. 前記反射状態検出手段により所定の処理を行う必要があると判断された場合に、前記所定の処理として撮影者に対して警告を発する処理手段を備えることを特徴とする請求項１から請求項５のいずれか一項に記載の顔画像撮影装置。
7. 前記反射状態検出手段により所定の処理を行う必要があると判断された場合に、前記所定の処理として修正を行う処理手段を備えることを特徴とする請求項１から請求項６のいずれか一項に記載の顔画像撮影装置。
8. 被写体の顔画像を撮影する撮影工程と、
   撮影された前記顔画像から顔領域を抽出する顔領域抽出工程と、
   抽出された前記顔領域の中から反射を検出すべき反射検出領域を設定する反射検出領域設定工程と、
   前記反射検出領域の画素の色成分に基づいて反射を検出し、前記反射が検出された場合に、反射として検出された画素の面積、目中心位置からの距離、反射強度またはそれらの組み合わせに基づいて所定の処理を行う必要があるか否かを判断する反射状態検出工程と
   を有することを特徴とする顔画像撮影方法。
9. 前記反射検出領域設定工程では、前記反射検出領域の設定に、前記顔領域抽出工程で抽出された前記顔領域に対する比率を用いることを特徴とする請求項８に記載の顔画像撮影方法。
10. 前記反射状態検出工程では、Ｒ、Ｇ、Ｂの３次元色空間、Ｒ、Ｇ、Ｂの３次元色空間を変換することにより得られる空間、Ｒを含む２次元色空間またはＲを含む２次元色空間を変換することにより得られる空間について顔の色を示す区域と反射を示す区域とを区画する式またはテーブルを用い、前記反射検出領域の画素が前記式またはテーブルに基づいて前記反射を示す区域にあると判断した場合に、反射として検出することを特徴とする請求項８または請求項９に記載の顔画像撮影方法。
11. 前記反射状態検出工程では、前記反射検出領域の画素のＧ成分が所定の値以上である場合に、反射として検出することを特徴とする請求項８または請求項９に記載の顔画像撮影方法。
12. 前記反射状態検出工程では、反射の検出に、前記反射検出領域の各画素の輝度を用いることを特徴とする請求項８から請求項１１のいずれか一項に記載の顔画像撮影方法。
13. 前記反射状態検出工程で所定の処理を行う必要があると判断された場合に、前記所定の処理として撮影者に対して警告を発する処理工程を有することを特徴とする請求項８から請求項１２のいずれか一項に記載の顔画像撮影方法。
14. 前記反射状態検出工程で所定の処理を行う必要があると判断された場合に、前記所定の処理として修正を行う処理工程を有することを特徴とする請求項８から請求項１３のいずれか一項に記載の顔画像撮影方法。

Images