JP2009237669A - 顔認識装置 - Google Patents

Abstract

【課題】顔認識装置において、正面顔画像以外の顔画像について、顔認識を行うことを可能とし、顔認識の誤認率をさらに低減することである。
【解決手段】顔認識装置１０において、記憶装置２２は、ハーライクフィルタに関するデータ等を記憶するハーライクフィルタ記憶部２４，２５、Ｓ−ガボールフィルタに関するデータ等を記憶するＳ−ガボールフィルタ記憶部２６，２７、登録人の様々な斜め向き角度からの顔画像データを記憶する登録人顔画像データ記憶部２８、標準的な顔画像データを用いて、顔検知等に用いられる閾値等を記憶する標準人顔画像データ記憶部３０を含んで構成される。ＣＰＵ１２は、顔検知モジュール３２、顔特徴抽出モジュール３４、ノイズ除去モジュール３６、特徴圧縮モジュール３８、重複特徴帰属モジュール４０、登録人特定モジュール４２を含んで構成される。
【選択図】図１

Description

本発明は、顔認識装置に係り、特に、画像データから人の顔領域を抽出し、抽出された顔領域から顔特徴情報を抽出し、これを登録されている顔画像データと比較して該当する人を特定する顔認識装置に関する。

今日では個人認証のために様々な手法が提案されている。代表的な手法として、パスワードによる認証、公開鍵と秘密鍵による認証、生体情報を用いた認証等があげられる。生体情報を用いた認証とは、個人の様々な生体特徴が利用される。例えば、顔、声紋、指紋、ＤＮＡ、虹彩、手のひら静脈、筆跡等が利用される。この中で顔認証と声紋認証等は、カメラ、マイク等の簡単な装置があれば生体特徴を取り込むことができる。さらに、顔認証は、認証される個人が何かの装置に触れ、あるいは近づく等の特別の行動を要請することなく、遠隔から顔認識ができるという特徴を有することで注目されている。

例えば、特許文献１では、表情認識装置として、カメラによって取得された対象顔画像に対し姿勢を補正して正規化する前処理部と、正規化された対象顔画像と基準画像との差分情報をガボールフィルタ（Ｇａｂｏｒ Ｆｉｌｔｅｒ）の適用によって得られる表情特徴の差分として求める差分取得部と、差分情報を主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓｓ：ＰＣＡ）によって次元圧縮する次元圧縮部と、次元圧縮された出力に基いて表情判定を行う表情判定部を備える構成が開示される。ここでは、前処理部として、入力顔画像に６分割矩形フィルタを適用して眉間候補点を抽出し、眉間周辺についてエッジ検出を行って瞳検索を行い、両瞳のＸ方向の間隔、Ｙ方向の間隔に基いて入力顔画像における顔の姿勢である傾きθを算出して、傾きを補正した姿勢補正顔画像を得ることが述べられている。

特開２００８−９７２８号公報

従来技術においては、正面画像を用いて顔認識が行われる。上記特許文献１において顔の姿勢である傾きθの補正が行われるが、これも両瞳のＸ方向の間隔、Ｙ方向の間隔に基いているので、正面画像に対する左右の傾きの補正を行っているに過ぎない。実際の顔画像は、左横向きまたは右横向きの顔画像もあり、下向きまたは上向きの顔画像もあるが、従来技術では、これらは基準画像である正面画像と比較できないので、認識不可あるいはエラーと判断される。

また、顔領域の抽出には、顔の部分は他の領域よりも明るいことを利用して、ハーライクフィルタ（Ｈａａｒ−ｌｉｋｅ Ｆｉｌｔｅｒ）と呼ばれる矩形形状のフィルタリング面積内で明暗の検出を行う方法、人の肌色検出、特許文献１に述べられているハーライクフィルタの応用である６分割矩形フィルタ等が用いられるが、いずれも顔領域の境界付近の背景等のノイズが入ってくる。これによって、顔領域の抽出が十分に行われないことがある。

また、顔特徴情報の抽出には、輪郭線の方位を抽出できるガボールフィルタの利用が行われるが、ガボールフィルタは２次元ガウス関数と正弦関数との積の関数形を有するので、近接した対象領域の間では関数形が重複してＤＣ成分が生じる。これによって、抽出対象領域の分解能に限界があり、ある程度の粗い抽出に終わってしまうことがある。

また、顔認識において、双子の顔画像のように、共通して重複する顔特徴情報を双方に含む場合がある。従来技術ではこのような重複顔情報を区別しないので、顔画像からその人が誰であるかの特定に誤差が生じやすい。

このようなことから、従来技術においては、顔認識の誤認率の低減に限界がある。

本発明の目的は、顔認識の誤認率をさらに低減できる顔認識装置を提供することである。他の目的は、正面顔画像以外の顔画像について、顔認識を行うことを可能とする顔認識装置を提供することである。他の目的は、ガボールフィルタの分解能を向上させることができる顔認識装置を提供することである。また、他の目的は、顔画像データにおけるノイズをさらに低減できる顔認識装置を提供することである。また、他の目的は、複数の顔画像データに重複する特徴情報がある場合に、顔認識の誤認率を低減できる顔認識装置を提供することである。以下の手段は、上記目的の少なくとも１つに貢献する。

本発明に係る顔認識装置は、少なくとも２人の登録人の顔画像データのそれぞれについて、複数の斜め向き角度ごとに、複数の顔特徴情報データを記憶する登録人顔画像データ記憶装置と、標準とする人の顔画像データについて、予め定められた特性の明暗矩形フィルタにおける予め定められた複数の傾斜角度ごとに、各明暗矩形フィルタに対する出力閾値に関する情報を記憶する標準人顔画像データ記憶装置と、画像データから人の顔領域画像データを抽出する顔検知手段と、抽出された人の顔領域画像データについて、その顔の複数の特徴情報を抽出し、これらを複数の顔特徴情報データとする顔特徴抽出手段と、抽出された複数の顔特徴情報データを、登録人顔画像データ記憶装置に記憶されている各登録人の顔画像データについての複数の顔特徴情報データとそれぞれ比較して、該当する登録人を特定する特定手段と、を備え、顔検知手段は、対象画像データの中で予め定めた検知対象領域画像データについて、予め定められた特性の明暗矩形フィルタを、対象画像データの基準軸方向に対し予め定められた複数の傾斜角度で順次適用して、各傾斜角度ごとに明暗矩形フィルタ出力値を取得する手段と、取得された各傾斜角度ごとの明暗矩形フィルタ出力値を、標準人顔画像データ記憶装置に格納されている傾斜角度ごとの明暗矩形フィルタ出力閾値と比較する手段と、比較の結果、明暗矩形フィルタ出力閾値を超える明暗矩形フィルタ出力値となる明暗矩形フィルタの傾斜角度があるときは、その検知対象領域画像データを候補顔領域画像データとして抽出する手段と、抽出された候補顔領域画像データについて、人の肌色が検出されるか否かを判断し、人の肌色が検出されるときに、候補顔領域画像データを、人の顔領域画像データとして抽出する手段と、を含むことを特徴とする。

また、本発明に係る顔認識装置において、標準人顔画像データ記憶装置は、さらに、標準とする人の顔の画像データについて、予め定められた複数の矩形フィルタリング面積ごとに、複数の明暗矩形フィルタに対する出力閾値に関する情報を記憶し、顔検知手段は、候補顔領域画像データについて、さらに、明暗矩形フィルタを複数の矩形フィルタリング面積で順次適用して、各矩形フィルタリング面積ごとに明暗矩形フィルタ出力を取得する手段と、取得された各矩形フィルタリング面積ごとの明暗矩形フィルタ出力を、標準人顔画像データ記憶装置に格納されている矩形フィルタリング面積ごとの明暗矩形フィルタ出力閾値と比較する手段と、比較の結果、明暗矩形フィルタ出力閾値未満の明暗矩形フィルタ出力値となる明暗矩形フィルタのフィルタリング領域部分があるときは、そのフィルタリング領域部分を候補顔領域画像データから削除して候補顔領域画像データを絞り込む手段と、を含むことが好ましい。

また、本発明に係る顔認識装置において、人の顔領域画像データに適用される輪郭線方位検出フィルタとしての２次元ガウス関数と正弦関数との積の関数形を有する特徴量検出関数について、対象画像データの基準軸方向について複数の予め定めた方位角度ごとの特徴量検出関数と、複数の予め定めた方位フィルタリング面積ごとの特徴量検出関数とを記憶する特徴量検出関数記憶装置を備え、顔特徴抽出手段は、特徴量検出関数記憶装置から、Ｍ個の方位角度の中の任意の１つとＮ個の方位フィルタリング面積の中の任意の１つを構成要素とするＭ×Ｎ通りの組合せのそれぞれに対応する特徴量検出関数を順次読み出し、人の顔領域画像データを構成するＰ個の各データ要素にそれぞれ順次適用して、Ｐ×Ｍ×Ｎ個の特徴量出力値を取得し、これを複数の顔特徴情報データとする手段と、を含み、特徴量検出関数記憶装置は、２次元ガウス関数と正弦関数との積の関数形に予め定めた周波数帯域を有するハイパスフィルタ処理を施して、ＤＣ成分を抑制した特徴量検出関数を記憶することが好ましい。

また、本発明に係る顔認識装置において、特徴量出力値を取得する手段は、さらに、人の顔領域画像データを構成するＰ個のデータ要素のそれぞれについて、その画素データの評価対象領域を出発領域として、予め定めた拡大係数を順次乗じて周辺画素データを取り込んで評価対象領域をＬ通りに拡大し、Ｐ×Ｌ個のデータ要素に拡大する手段と、Ｐ×Ｌ個のデータ要素について、Ｎ×Ｍ通りの組合せのそれぞれに対応する特徴量検出関数を順次適用して、Ｐ×Ｌ×Ｍ×Ｎ個の特徴量出力値を取得し、これを複数の顔特徴情報データとする手段と、を含むことが好ましい。

また、本発明に係る顔認識装置において、顔特徴抽出手段によって抽出された複数の顔特徴情報データについて、顔領域画像データの明暗特徴基準として、顔領域とされる領域の中ではその中央部付近が最も明るく、最も明るい領域の外側領域が最も暗く、さらにその外側領域が中間的な明暗となるとする基準に従って、この基準に適合しないデータをノイズデータとして顔特徴情報データから削除する手段を備えることが好ましい。

また、本発明に係る顔認識装置において、複数の顔領域画像データに重複する顔特徴情報データをいずれかの顔領域画像データの顔特徴情報データとして帰属させる重複特徴帰属手段を備え、重複特徴帰属手段は、帰属に関係する複数の顔領域画像データごとに、それぞれの顔特徴情報データの特徴量の合計値を顔画像別特徴量合計値として算出する手段と、各顔画像別特徴量合計値を帰属に関係する全顔領域画像データについて総計して特徴量総計値とし、各顔領域画像データごとに、特徴量総計値に対するそれぞれの顔画像別特徴量合計値の寄与率を顔画像別重複寄与率として求める手段と、各顔領域画像データごとに、顔画像別特徴量合計値に対する重複顔特徴情報データの特徴量の占有率を顔画像別重複占有率として求める手段と、顔画像別重複寄与率の大きさと、顔画像別重複占有率の大きさとに基いて、重複顔特徴情報データの帰属先を特定する手段と、を含むことが好ましい。

上記構成により、顔認識装置は、登録人の顔画像データについての顔特徴情報データを記憶する登録人顔画像データ記憶装置と、標準人の顔画像データについて、複数の傾斜角度ごとに、複数の明暗矩形フィルタに対する出力閾値に関する情報を記憶する標準人顔画像データ記憶装置とを備える。そして、画像データから人の顔領域画像データを抽出し、抽出された人の顔領域画像データについて複数の顔特徴情報データを抽出し、抽出された複数の顔特徴情報データを各登録人の複数の顔特徴情報データと比較し、該当する登録人を特定する。

このとき、顔領域画像データについて、予め定められた特性の明暗矩形フィルタを、対象画像データの基準軸方向に対し予め定められた複数の傾斜角度で順次適用して、各傾斜角度ごとに明暗矩形フィルタ出力値を取得し、これを標準人顔画像データ記憶装置に格納されている傾斜角度ごとの明暗矩形フィルタ出力閾値と比較し、比較の結果、明暗矩形フィルタ出力閾値を超える明暗矩形フィルタ出力値となる明暗矩形フィルタの傾斜角度があるときは、その検知対象領域画像データを候補顔領域画像データとして抽出し、さらに、人の肌色が検出されるときに、人の顔領域画像データとして抽出する。これによって、正面顔画像以外の斜め角度向きの顔画像についても顔認識を行うことが可能となる。

また、顔認識装置において、標準人顔画像データ記憶装置は、さらに、標準とする人の顔の画像データについて、予め定められた複数の矩形フィルタリング面積ごとに、複数の明暗矩形フィルタに対する出力閾値に関する情報を記憶する。そして、候補顔領域画像データについて、さらに、明暗矩形フィルタを複数の矩形フィルタリング面積で順次適用して、各矩形フィルタリング面積ごとに明暗矩形フィルタ出力を取得し、これを標準人顔画像データ記憶装置に格納されている矩形フィルタリング面積ごとの明暗矩形フィルタ出力閾値と比較し、比較の結果、明暗矩形フィルタ出力閾値未満の明暗矩形フィルタ出力値となる明暗矩形フィルタのフィルタリング領域部分があるときは、そのフィルタリング領域部分を候補顔領域画像データから削除して候補顔領域画像データを絞り込む。これによって、候補顔領域画像データの領域の大きさを必要最小なものとできる。

また、顔認識装置において、人の顔領域画像データに適用される輪郭線方位検出フィルタとしての特徴量検出関数を、２次元ガウス関数と正弦関数との積の関数形に予め定めた周波数帯域を有するハイパスフィルタ処理を施して、ＤＣ成分を抑制したものとする。２次元ガウス関数と正弦関数との積の関数形である輪郭線方位検出フィルタは、ガボールフィルタと呼ばれるが、近接した輪郭線の方位を検出しようとするとＤＣ成分が現れてきて近接検出に限界がある。上記構成によれば、ＤＣ成分を抑制するので、より近接し多輪郭線の方位検出を行うことが可能となる。

改善されたガボールフィルタは、Ｍ個の方位角度とＮ個の方位フィルタリング面積のものが準備されるので、ガボールフィルタによる輪郭線方位検出による顔特徴情報データは、人の顔領域画像データを構成するＰ個の各データ要素につき、Ｍ×Ｎ個取得することができる。また、顔認識装置において、さらに、人の顔領域画像データを構成するＰ個のデータ要素のそれぞれについて、その画素データの評価対象領域を出発領域として、予め定めた拡大係数を順次乗じて周辺画素データを取り込んで評価対象領域をＬ通りに拡大し、Ｐ×Ｌ個のデータ要素に拡大するので、顔特徴情報データとしては、Ｐ×Ｌ×Ｍ×Ｎ個取得することができる。これによって、顔認識のために十分な量の顔特徴情報データを取得することができる。

また、顔認識装置において、顔領域画像データの明暗特徴基準として、顔領域とされる領域の中ではその中央部付近が最も明るく、最も明るい領域の外側領域が最も暗く、さらにその外側領域が中間的な明暗となるとする基準に従って、この基準に適合しないデータをノイズデータとして顔特徴情報データから削除する。これによって、顔特徴情報データとしては不規則に現れるノイズ情報を効果的に抑制することが可能となる。

また、顔認識装置において、複数の顔領域画像データに重複する顔特徴情報データをいずれかの顔領域画像データの顔特徴情報データに帰属させる重複特徴帰属手段を備える。重複特徴帰属手段は、帰属に関係する複数の顔領域画像データごとに、それぞれの顔特徴情報データの特徴量の合計値を顔画像別特徴量合計値として算出し、次に、各顔画像別特徴量合計値を帰属に関係する全顔領域画像データについて総計して特徴量総計値とし、各顔領域画像データごとに、特徴量総計値に対するそれぞれの顔画像別特徴量合計値の寄与率を顔画像別重複寄与率として求める。また、各顔領域画像データごとに、顔画像別特徴量合計値に対する重複顔特徴情報データの特徴量の占有率を顔画像別重複占有率として求める。顔画像別重複寄与率に基いて帰属先を決める考えは、特徴総計量に対する寄与率、つまり、全登録人についての特徴量全体に対する重複特徴量の寄与率が大きいことを評価するものである。これに対し、顔画像別重複占有率に基いて帰属先を決める考えは、特徴量合計量に対する寄与率、つまり、全顔領域画像データにおける重複特徴量の寄与率が大きいことを評価するものである。上記構成によれば、これら２つの考えのバランスをとって重複特徴量の帰属先を決定することができる。

以下に図面を用いて本発明に係る実施の形態につき詳細に説明する。以下に示す顔画像データは説明のための一例であり、これら以外の画像であっても構わない。例えば、眼鏡等をかけていてもよく、背景、顔の表情が様々であっても構わない。また、元の画像データが複数の顔画像データを含むものとして説明するが、勿論１人の顔画像データのみであってもよい。顔画像データは、カメラによって撮像されたものから取得するものとして説明するが、写真等の既に記録されている顔画像データであっても構わない。

以下では、全ての図面において同様の要素には同一の符号を付し、重複する説明を省略する。また、本文中の説明においては、必要に応じそれ以前に述べた符号を用いるものとする。

図１は、顔認識装置１０の構成を説明する図である。この顔認識装置１０は、カメラ１１によって撮像された顔画像データをカメラＩ／Ｆ１４を介して取得し、ＣＰＵ１２においてその顔画像データを処理して、記憶装置２２に予め記憶されている登録された複数の人の中のどの人であるかを判断し、認識結果を認証出力部１６から出力する機能を有する装置である。顔認識装置１０は、さらに、キーボード、操作スイッチ、手書き入力画面等の入力部１８と、ディスプレイ、スピーカ、プリンタ等の出力部２０を備える。

顔認識装置１０は、データ処理、特に画像データ処理に適したコンピュータで構成できる。顔認識装置１０は、据置型、可搬型のコンピュータ、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）で構成できる他、建物等の出入口に設けられるカメラ１１、認証出力部１６にネットワークで接続される監視装置コンピュータとして構成することもできる。この場合には、建物等の出入口で、カメラ１１によって来客等の顔画像データを取得し、登録されている人でない人間が含まれているときに、認証出力部１６から警報を出力するものとできる。認証出力部１６を建物等のドアの開閉制御、エレベータの昇降制御等に対する制御信号の出力部とすることもできる。また、顔認識装置１０をモバイルホン等の携帯型とすることもできる。この場合には、モバイルホン等にカメラ１１を備えるものとし、それによって撮像された顔画像データを分析し、その結果をモバイルホン等に内蔵されているスピーカを認証出力部１６から音声で「ＸＸさんです」等のように出力することができる。

顔認識装置１０が備える記憶装置２２は、顔認識のためのプログラム等を記憶する装置であるが、それ以外に顔認識に用いられる各種のデータ等を記憶する。ここでは、以下のデータ等を記憶する機能を有する。すなわち、記憶装置２２は、画像データから人の顔領域画像データを抽出するいわゆる顔検知に用いる明暗矩形フィルタであるハーライクフィルタに関するデータ等を記憶するハーライクフィルタ記憶部２４，２５、顔領域画像データからその顔の特徴情報データを抽出するいわゆる顔特徴抽出に用いる改良型のガボールフィルタに関するデータ等を記憶するＳ−ガボールフィルタ記憶部２６，２７、予め登録された人について、様々な斜め向き角度からの顔画像データを記憶する登録人顔画像データ記憶部２８、標準的な顔画像データを用いて、顔検知等の際に用いられる基準の閾値等に関する情報を記憶する標準人顔画像データ記憶部３０を含んで構成される。かかる記憶装置２２は、適当なハードディスク等の磁気記憶装置、半導体メモリ等の半導体記憶装置等を用いることができる。

図２は、一般的に用いられるハーライクフィルタの例を示す図である。ハーライクフィルタは、矩形形状のフィルタで、明暗のパターンが設けられ、そのパターンの種類によってフィルタリングの機能が異なる。例えば、図２において３つに分類されている中の左上の４つは、エッジ特徴型、下欄の８つはライン特徴型、右上の２つは中央包囲型と呼ばれ、それぞれ、画像データにおいて明暗の境界の有無、ラインに沿った明暗の変化の有無、中央とその周囲の明暗の有無等について検出が可能である。

ハーライクフィルタは、このように、様々な形態の明暗矩形フィルタである。そして、このような各種のフィルタを画像データに適用することで、画像データがどのような形態のものであるかを分類することができる。その意味で、ハーライクフィルタは、画像データの分類器である。そこで、顔認識装置１０では、画像データに顔が含まれているかいないかを分類するために、ハーライクフィルタを用いる。

図３と図４は、記憶装置２２のハーライクフィルタ記憶部２４に記憶されているハーライクフィルタに関するデータを示す図である。図３は、４つの基本的なフィルタとして、０１フィルタ、０２フィルタ、０３フィルタ、０４フィルタが示されている。０１フィルタは以下では第１フィルタと呼ぶことにするが、矩形形状を２分割して、一方側を暗側の黒ストライプとし、他方側を明側の白地のままとするものである。０２フィルタは以下では第２フィルタと呼ぶことにするが、第１フィルタの明暗を反転させたものであるが、見方によっては、第１フィルタを角度で１８０度回転させたものでもある。０３フィルタ以下では第３フィルタと呼ぶことにするが、矩形形状を３分割し、中央部を黒ストライプとし、その両側を白地のままとするものである。０４フィルタは以下では第４フィルタと呼ぶことにするが、第３フィルタの明暗を反転させたものである。

そして、ハーライクフィルタ記憶部２４には、少なくともこれら４つの基本フィルタについて、矩形形状の長辺の延びる方向を基本軸方向として、この基本軸方向に対し、傾斜角度を変更した形態が記憶されている。図３では、第１フィルタについて、傾斜角度を０度、４５度、９０度、１３５度、１８０度、２２５度、２７０度、３１５度の順に変更する様子が示されている。なお、傾斜角度の変更の刻みはここでは４５度であるが、勿論これ以外の刻み、例えば、３０度おき、１０度おき等であっても構わない。同様に、第２フィルタ、第３フィルタ、第４フィルタ、あるいはさらなる他の形態のフィルタについても、傾斜角度を変更した形態が記憶される。なお、第２フィルタは、第１フィルタと傾斜角度が１８０度ずれたものであるので、第１フィルタの形態に対し、単に傾斜角度が異なるのみである。

また、記憶装置２２には、もう１つのハーライクフィルタ記憶部２５が設けられる。図４は、もう１つのハーライクフィルタ記憶部２５の記憶内容を説明する図である。ここには、少なくともこれら４つの基本フィルタについて、矩形形状の長辺、短辺の寸法をそれぞれ変更した形態が記憶されている。ハーライクフィルタの長辺、短辺の寸法は、フィルタ処理を行う領域の広さを規定するものであるので、フィルタリング面積を変更したものに相当する。図４では、第１フィルタについて、相似形でフィルタリング面積を変更した形態、長辺または短辺の一方側の辺の長さを固定したまま、他方側の辺の長さを変更した形態がそれぞれ示されている。同様に、第２フィルタ、第３フィルタ、第４フィルタ、あるいはさらなる他の形態のフィルタについても、フィルタリング面積を変更した形態が記憶される。

ハーライクフィルタにおいて、傾斜角度を順次変更する形態のものは、顔画像データが正面画像データでなく、顔がある傾き角度で横向き等になっているときに、その傾き角度に適した顔検出を行うために用いることができる。また、フィルタリング面積を順次変更する形態のものは、できるだけ、顔に関する領域のみを抽出するときに用いられる。すなわち、顔が矩形でなく、実際には丸形あるいは楕円形に近く、また、顔画像データには髪等が含まれているので、実際には複雑な輪郭線を有していることが多いが、そのような場合に、ハーライクフィルタ適用における顔か否かの判断基準を用いながら、フィルタリング面積を次第に小さくし、顔であるとする判断基準を満たすぎりぎりまで、絞り込むことによって、必要最小の大きさの顔領域画像データを得ることができる。

図５、図６は、Ｓ−ガボールフィルタ記憶部２６，２７に記憶される内容を説明する図である。Ｓ−ガボールフィルタは、従来から用いられているガボールフィルタの周波数特性を改善したものである。Ｓ−とは、Ｓｕｐｅｒの頭文字である。ガボールフィルタは、周知のように、画像データにおいて輪郭線の方位を検出するために用いられるフィルタで、検出されたデータは、画像データの特徴情報データとされる。すなわち、画像データを細分化し、メッシュごと、あるいはピクセル（ｐｉｘｅｌ）と呼ばれる画素ごとにガボールフィルタを適用すれば、その適用結果として出力されるデータは、画像データを構成する要素の方位角度に関するものである。画像データを構成する各要素の方位角度とは、画像データにおける輪郭線の傾斜程度を示すので、画像データの特徴情報データとできる。

従来から知られているガボールフィルタは、１次元の場合、次の式（１），（２）に示されるように、ガウス関数と正弦関数との積で与えられる関数形を有する。

このように、ガボールフィルタは、周波数成分を有する孤立波の関数であり、これを２次元ガウス関数とすることで、平面的な画像データにおけるエッジ検出、すなわち、輪郭線の方位角度の検出に用いることができる。したがって、ガボールフィルタは、画像データにおいて特徴量を検出する特徴量検出関数である。

ところで、近接する輪郭線のエッジ検出を行うときは、孤立波である特徴量検出関数の干渉が起こり、合成された関数にＤＣ成分が現れてくる。ＤＣ成分が現れてくると、特徴量検出の分可能が低下する。Ｓ−ガボールフィルタは、この合成された関数のＤＣ成分を抑制するために、予め定めた周波数帯域を有するハイパスフィルタ処理を行うものである。

具体的には、従来から知られているガボールフィルタの関数形である式（１）に、次の式（３）で示されるハイパスフィルタ成分を乗じる。

改善されたＳ−ガボールフィルタの関数形は、式（４）で与えられる。

これらの様子が図５に示されている。図５には、上段側から下段側に４つの周波数特性図が示されている。これらの周波数特性図は、横軸に周波数、縦軸に規格化させた出力値をとってある。最上段は、式（１），（２）で示される従来のガボールフィルタの周波数特性図である。上から２段目は、近接して２つのガボールフィルタを適用したときの干渉を説明する図で、合成波形において、出力値が周波数に依存しない領域が現れてくることが示されている。上から３段目は、この合成波形の周波数特性を示すもので、出力値が周波数に依存しない領域に対応して、低周波成分あるいはＤＣ成分があることが示されている。最下段は、式（３）のハイパスフィルタ特性と、式（４）で示されるＳ−ガボールフィルタの周波数特性を示すもので、低周波側の成分を抑制して、高周波数側に検出領域を有する特性が示されている。

図５における最下段のＳ−ガボールフィルタ関数形が、記憶装置２２のＳ−ガボールフィルタ記憶部２６に記憶されている。Ｓ−ガボールフィルタは、このように、高周波数帯域に検出領域を有するので、輪郭線の方位検出の分解能を向上させることができ、例えば、横向きの顔画像データ等で、分解能をあげて輪郭線の特徴情報を得たいとき等に効果的である。

Ｓ−ガボールフィルタは、従来のガボールフィルタと同様に、周波数特性と、検出領域の大きさとを可変できる。検出領域は、スケールとも呼ばれるが、画像データにおいてはＳ−ガボールフィルタが適用される領域の広さを示すので、以下ではフィルタリング面積と呼ぶことにする。記憶装置２２におけるもう１つのＳ−ガボールフィルタ記憶部２７は、方位角度とフィルタリング面積とを変更したＳ−ガボールフィルタを格納するものである。その様子を模式的に図６に示す。

図６には、方位角度を０度、２２．５度、４５度、６７．５度、９０度、１１２．５度、１３５度、１５７．５度の８種類、フィルタリング面積を５種類として、合計８×５＝４０種類の異なるＳ−ガボールフィルタが示されている。勿論方位角度の種類をこれ以外の種類数としてもよく、フィルタリング面積の種類をこれ以外の種類数として揃えて格納してもよい。方位角度の種類数をＭ、フィルタリング面積の種類数をＮとすれば、Ｍ×Ｎ通りのＳ−ガボールフィルタの関数形が記憶装置２２のＳ−ガボールフィルタ記憶部２７に記憶される。

図７は、記憶装置２２の登録人顔画像データ記憶部２８の内容を説明する図である。登録人顔画像データ記憶部２８には、少なくとも２人の登録人の顔画像データのそれぞれについて、複数の斜め向き角度ごとに、複数の顔特徴情報データが記憶される。図７では、登録人のＩＤ：００３について、身長方向を回転軸方向として回転する角度を斜め向き角度とし、正面向きを斜め向き角度＝０として、４５度、９０度、１３５度、１８０度、２２５度、２７０度、３１５度の斜め角度ごとの顔画像データが示されている。このように、１人の登録人について、８種類の斜め向き角度ごとの顔画像データが記憶される。図７には、さらに、他の登録人として、ＩＤ：１１４，ＩＤ：２１５等の人についても、それぞれ８種類の斜め向き角度ごとの顔画像データが記憶されている様子が示される。登録人の数は、目的に応じて設定できるが、一般的には多い方が好ましい。斜め向き角度の種類は８種類以外であっても構わない。

登録人顔画像データ記憶部２８は、顔画像データそのものの他に、さらに、登録人別に、斜め向き角度ごとに、それぞれ複数の顔特徴情報データが記憶される。顔特徴情報データは、カメラ１１を介して取得された顔画像データから抽出される顔特徴情報データと比較して、顔画像データに含まれる人が登録人か否かを判断するために用いられるものである。したがって、登録人顔画像データ記憶部２８に記憶される顔特徴情報データは、顔認識装置１０によって実行される顔特徴情報抽出処理と同様な処理を行ったものであることが好ましい。すなわち、予め取得された登録人別の各斜め向き角度ごとの顔画像データについて、顔認識装置１０を用いて顔特徴情報抽出処理を実行し、その結果得られる顔特徴情報データを得て、それらを登録人顔画像データ記憶部２８に記憶することが好ましい。

図８は、標準人顔画像データ記憶部３０の内容を説明する図である。標準人顔画像データ記憶部３０には、標準とする人の顔画像データについて、図３で説明した明暗矩形フィルタにおける８種類の傾斜角度ごとに、明暗矩形フィルタに対する出力閾値に関する情報が記憶される。図８では、第１フィルタについて、８種類の傾斜角度ごとに、それぞれの出力閾値が示されている。例えば、傾斜角度＝０度では、出力閾値＝０．６であり、傾斜角度＝１３５度では、出力閾値＝０．５である。

ここでは、明暗矩形フィルタの出力値を規格化し、最大明るさと最大暗さの基準を設定し、最大明るさを検出するときの、その明暗矩形フィルタの出力値＝１．０とし、最大暗さ、すなわち最小明るさを検出するときの、その明暗矩形フィルタの出力値＝０．０としてある。出力閾値は、画像データが顔の画像データであると判断する基準となる明暗矩形フィルタの出力値である。画像データにおいて、顔の部分が最も明るいことが経験的に知られている。出力閾値＝０．６とは、最大明るさの出力値の６０％以上の出力値のときに、明暗矩形フィルタを適用した画像データは、顔画像データであると判断することを意味する。出力閾値は、実験等によって求めることができる。

そして、標準人顔画像データ記憶部３０は、明暗矩形フィルタの傾斜角度ごとに出力閾値を記憶するものである。明暗矩形フィルタの傾斜角度は、図７で説明した斜め向き角度を有する顔画像データのときに、エラーとしないようにできる。つまり、明暗矩形フィルタの傾斜角度を固定とすると、斜め向き角度を有する顔画像データ対する明暗矩形フィルタの出力値は小さくなり、出力閾値を下回ってエラーとなることがある。この場合に、明暗矩形フィルタの傾斜角度を変更すれば、斜め向き角度に適合した傾斜角度で明暗矩形フィルタの出力値が高くなるので、エラーとなることを防げる。このように、明暗矩形フィルタの傾斜角度を変更する場合に、その傾斜角度における出力閾値を定める必要があるが、標準人顔画像データ記憶部３０はその出力閾値を記憶するものである。

再び図１に戻り、顔認識装置１０のＣＰＵ１２は、カメラＩ／Ｆ１４等から取得した画像データに、記憶装置２２に記憶されているハーライクフィルタ、Ｓ−ガボールフィルタを適用し、その検出結果を記憶装置２２に記憶されている出力閾値、登録人ごとの顔画像データ等を参照して、顔検出、顔特徴抽出等を行い、画像データに含まれる人を登録人の中から特定する機能を有する。

具体的には、画像データから人の顔領域画像データを抽出する顔検知モジュール３２、抽出された人の顔領域画像データについて、その顔の複数の特徴情報を抽出し、これらを複数の顔特徴情報データとする顔特徴抽出モジュール３４、顔領域画像データの明暗特徴基準に従って、顔特徴情報データのノイズを除去するノイズ除去モジュール３６、顔特徴情報データを圧縮する特徴圧縮モジュール３８、複数の登録人に重複する顔特徴情報の帰属先を決定する処理を行う重複特徴帰属モジュール４０、顔特徴情報データを記憶装置２２に記憶されている登録人のデータと比較して、顔画像データの人を登録人の中の人か否かを判断する登録人特定モジュール４２を含んで構成される。

これらの機能は、ソフトウェアによって実現でき、具体的には、顔認識プログラムを実行することで実現できる。これらの機能の一部をハードウェアによって実現するものとしてもよい。

かかる構成の作用について、図９から図２７を用いて、以下に詳細に説明する。図９は、顔認識処理の全体の手順を示すフローチャートで、図１０、図１７、図２１、図２４は、それぞれ、詳細な手順を示すフローチャートである。これらのフローチャートの各手順は、顔認識プログラムの各処理手順にそれぞれ対応する。また、図１１から図１６は、図１０のフローチャートの各手順の内容を説明する図、図１８から図２０は、図１７のフローチャートの各手順の内容を説明する図、図２２から図２３は、図２１のフローチャートの各手順の内容を説明する図、図２５から図２８は、図２４のフローチャートの各手順の内容を説明する図である。

図９において、顔認識処理を実行するには、まず画像データが取得される（Ｓ１０）。画像データの取得は、図１で説明したカメラ１１、カメラＩ／Ｆ１４を介して行うことができる他、予め記憶装置２２に保存されているものを呼び出して取得することもできる。また、図１では図示されていないが、通信制御部を介し、ネットワーク等によってディジタルデータとして外部から伝送されるもの取得するものとしてもよい。

取得された画像データについて顔検知が行われる（Ｓ１２）。この工程は、ＣＰＵ１２の顔検知モジュール３２の機能によって実行され、具体的には、画像データから、ハーライクフィルタを用いて、人の顔領域画像データが抽出される。顔検知の詳細な手順は、図１０、図１７、図２１のフローチャートを用いて後述する。

顔検知の次に、顔特徴抽出が行われる（Ｓ１４）。この工程は、ＣＰＵ１２の顔特徴抽出モジュール３４の機能によって実行され、具体的には、抽出された人の顔領域画像データについて、Ｓ−ガボールフィルタを適用して、その顔の複数の特徴情報を抽出し、これらが複数の顔特徴情報データとされる。顔特徴抽出の詳細な内容は、図２４のフローチャートと、図２５、図２６を用いて後述する。

顔特徴抽出に引き続き、ノイズ除去が行われる（Ｓ１６）。この工程は、ＣＰＵ１２のノイズ除去モジュール３６の機能によって実行され、具体的には、顔領域画像データの明暗特徴基準に従って、顔特徴情報データのノイズが除去される。顔領域画像データの明暗特徴基準とは、顔領域とされる領域の中ではその中央部付近が最も明るく、最も明るい領域の外側領域が最も暗く、さらにその外側領域が中間的な明暗となるとする基準である。この基準に適合しないデータはノイズデータとして顔特徴情報データから削除される。

続いて、特徴圧縮が行われる（Ｓ１８）。この工程は、ＣＰＵ１２の特徴圧縮モジュール３８の機能によって実行される。具体的には、ＰＣＡ技術を用いて、所定の圧縮率で顔特徴情報データが圧縮される。例えば、５００万個の特徴情報データが数１０個程度に圧縮される。

そして、重複特徴帰属処理が行われる（Ｓ２０）。この工程は、ＣＰＵ１２の重複特徴帰属モジュール４０の機能によって実行される。例えば、双子のように、同じ特徴情報データが複数人について重複する場合に、その重複特徴を複数人に重複するものとして以後の処理を行うと、顔認識の誤認率が増加することがある。そこで、重複特徴は、いずれかの人に帰属させる。なお、登録人顔画像データ記憶部２８においても、予め、重複特徴帰属処理が行われているが、Ｓ２０の処理は、カメラ１１等を介して取得した画像データについて、重複する特徴情報が複数人に渡って存在するときに、いずれかの人に帰属させる処理のことである。重複特徴帰属処理の内容については、図２７、図２８を用いて後述する。

最後に、登録人特定が行われる（Ｓ２２）。この工程は、ＣＰＵ１２の登録人特定モジュール４２の機能によって実行される。具体的には、Ｓ２０までにおいて絞られた顔特徴情報データを、記憶装置２２に記憶されている登録人の顔特徴情報データと比較して、一致するものがあるか否かを判断し、一致するものがあれば、顔画像データの人を登録人の中の１人であることを図１の認証出力部１６に出力し、一致するものがなければ、その旨を出力する。

次に、さらに詳細な顔認識の処理手順について説明する。図１０は、顔検知に関する処理手順の最初の部分を示すフローチャートである。図９に説明したように、まず画像データが取得される（Ｓ１０）。取得された画像データは、適当な数のブロックに分割される（Ｓ３０）。分割は、ハーライクフィルタを画像全体に適用するのではなく、いくつかのブロックに分けて適用し、どのブロックに顔画像が含まれるかを検知するために行われるものである。したがって、ブロック数は適当に設定してよいが、例えば、４分割として、４つのブロックに分けることができる。

その様子が図１１に示される。ここでは、取得された画像データ５２が、同じ大きさの４つのブロックに分割されている。取得された画像データ５２は矩形形状であるが、勿論、これ以外の形状であっても構わない。矩形形状でない場合には、ハーライクフィルタの適用を容易とするために、矩形領域とそれ以外の領域に最初に区分し、矩形領域を４つのブロック等に分割するものとすることがよい。なお、画像データ５２には、２人の人と、１匹の犬が示されている。この２人の人は、後述するように、双子の姉妹で、顔特徴情報が重複している。

再び図１０に戻り、分割された各ブロックに順次、ハーライクフィルタの第１フィルタが適用され（Ｓ３２)、それぞれ出力値が取得され、それぞれ第１フィルタの出力閾値と比較されて出力閾値を超えるか否かが判断され（Ｓ３４）、出力閾値を超えるものがパスブロックとして抽出される（Ｓ３６）。パスブロックとは、出力閾値を超えるブロックで、顔がある可能性が高いブロックである。

その様子が図１２に示される。すなわち、第１フィルタの大きさであるフィルタリング面積は、各ブロックの大きさと同じかやや大きめに設定される。そして、画像データの基準軸を図１２における上下方向として、その基準軸方向に対し傾斜角度を０度として、各ブロックを覆うように第１フィルタが適用される。図８に説明したように、この場合の出力閾値は、０．６である。

図１２に示される４段の画像データには、それぞれ、第１フィルタが左上のブロック、右上のブロック、左下のブロック、右下のブロックの順に設定される様子が示される。そして、各画像データの右側にそれぞれ示されるマス目には、第１フィルタを適用して取得された出力値が示されている。すなわち、左上のブロックの出力値は０．１で、右上のブロックの出力値は０．８で、左下のブロックの出力値は０．７で、右下のブロックの出力値は０．１である。したがって、出力閾値を超えるパスブロックは、右上のブロックと左下のブロックの２つである。

第１フィルタについてパスブロックとされた部分のそれぞれには、第２フィルタが同様に適用され（Ｓ３８）、取得された出力値が出力閾値を超えるか否かが判断され（Ｓ４０）、出力閾値を超えるものがここでのパスブロックとして抽出される（Ｓ４２）。その様子が図１３に示される。パスブロックは、０１フィルタと同じで、右上のブロックと左下のブロックの２つである。

第２フィルタについてパスブロックとされた部分のそれぞれに、第３フィルタが同様に適用される（Ｓ４４）。その様子が図１４に示される。なお、ここでは、第３フィルタの出力値として、明暗パターンのそれぞれについて取得され、出力閾値と比較される。ここでは、右上のブロックの３つに分けられるフィルタリング領域のうち、上２つがパス領域となる。左下のブロックの犬の顔に相当する部分は、出力閾値以下となり、パス領域とならない。同様に第４フィルタが適用される（Ｓ４６）。その様子は図１５に示されるが、図１４と同様の結果である。

ここまでで、第１フィルタから第４フィルタについての適用が終わったので、これらについて全て出力閾値を超えるものがパスブロックとして抽出される（Ｓ４８）。上記のように、抽出されたのは、画像データ５２において、右上のブロックを３つに分けた領域の上２つの部分である。その部分をパス画像データ５４として、図１６に示す。このように、顔がある可能性が高い画像データとして、２人の顔を中心とする部分が抽出された。この２人は、眉毛、目つき、ほくろ等が似通っている双子の姉妹であり、顔を合わせる方向にいずれも横向きである。

次に図１７のフローチャートを説明する。図１７に示される手順は、横向き画像に対する処理で、ハーライクフィルタの傾斜角度を順次変更してその出力値を取得し、対応する出力比較値と比較して、パスブロックを抽出するものである。

Ｓ４８においてパスブロックが抽出されると、これがＡパス画像データとして取得される（Ｓ５０）。Ａパスとは、図１０の手順をパスしたという程度の意味である。ここでも、改めて、いくつかのブロックに分割が行われる（Ｓ５２）。この分割もハーライクフィルタを適用して、顔画像データを絞り込むためである。ここでは、図１８に示されるように、パス画像データ５４が４つのブロックに分割される。

そして、最初のブロック１に０１フィルタ、すなわち第１フィルタが傾斜角度４５度として適用される（Ｓ５４）。そして、出力値を取得し、出力閾値と比較し、出力閾値を超えるか否かが判断される（Ｓ５６）。出力閾値を超えてもここではまだパスブロックとされず、引き続き、傾斜角度が９０度に設定され（Ｓ５８）同様な処理が行われる。その後も引き続き、傾斜角度が順次変更され、３１５度まで適用される（Ｓ６０，Ｓ６２）。なお、出力閾値は、図８で説明したように、傾斜角度によって異なる値である。そして、全ての予定された傾斜角度での第１フィルタの適用が終り、それぞれの出力値が取得されると、ここでパスブロックか否かが判断される（Ｓ６４）。

その様子が図１９に示される。ここでは、ブロック１は、パス画像データ５４の左上で、背景部分がほとんどであるので、全ての傾斜角度において出力閾値を超えていない。つまり、パスブロックとはされない。

ブロック１がパスブロックであっても、パスブロックでなくても、次に２番目のブロック等、各ブロックについて、同様の処理が行われる（Ｓ６６）。その様子が図２０に示される。ここで、第２ブロックである右上のブロックは、左向きの顔画像であるので、傾斜角度４５度において出力値が最大となっている。図７の顔画像を参照してみると、この左向きの顔画像は、顔画像の斜め向き角度４５度に対応するものであることが分かるが、ちょうどその斜め向き角度と同じ角度の傾斜角度のハーライクフィルタの出力値が最大値を示していることになる。

また、第３ブロックである左下のブロックは、右向きの顔画像であるが、ここでは、傾斜角度３１５度において出力値が最大となっている。図７の顔画像を参照してみると、この右向きの顔画像は、顔画像の斜め向き角度３１５度に対応するものであることが分かるが、やはり、ちょうどその斜め向き角度と同じ角度の傾斜角度のハーライクフィルタの出力値が最大値を示していることになる。

第４ブロックである右下のブロックは、顔がない部分であるが、傾斜角度４５度で出力閾値を超える。これは、右側の人の胸の２つの膨らみが明るく見えるためであると考えられるが、やはりここでも傾斜角度４５度において出力値が最大となっている。

第１フィルタについて、全部のブロックについて全部の傾斜角度についての出力値の取得と、出力閾値に対する比較が終わると、次に第３フィルタ、第４フィルタについても同様の処理が行われる（Ｓ６８）。なお、第２フィルタは第１フィルタと１８０度回転の関係にあるので、適用を省略できる。これらについてもパスブロックが抽出される（Ｓ７０）。これらの適用によって、ハーライクフィルタの傾斜角度を変更したときのパスブロックは、右上の第２ブロック、左下の第３ブロック、右下の第４ブロックとなる。

次に図２１に移り、上記のパスブロックを含むＢパス画像データが取得され（Ｓ７２）、必要があれば他のタイプのハーライクフィルタが適用される（Ｓ７４）。例えば、図２で説明した中央方位型のハーライクフィルタを用いることで、顔画像の周辺のノイズを除去できる。その他、ハーライクフィルタの明暗配置を工夫することで、背景除去、サングラス、帽子等を顔画像から除去することができる。このようにして、他の一連のハーライクフィルタの適用によってパスブロックがさらに絞り込まれると、その結果が候補顔領域画像データとされる（Ｓ７８）。

候補顔領域画像データについては、さらに必要最小に画像を絞り込むトリミングが行われる。そのために、第１フィルタが再び用いられ、ここでは、そのサイズが変更されて適用される（Ｓ８０）。サイズ変更とは、図４で説明したように、フィルタリング面積の変更である。すなわち、絞り込まれた候補顔領域画像データについて、顔画像でない可能性の部分領域に合わせたフィルタリング面積の第１フィルタを適用し、出力値を取得する。そして、出力閾値未満か否かを判断し（Ｓ８２）、出力閾値未満であれば、その部分領域を候補顔領域画像データから削除して、候補顔領域を絞り込む（Ｓ８４）。これにより、必要最小の大きさの候補顔領域画像データとすることができる。

そして、この絞り込まれた候補顔領域画像データについて、肌色検出有りか否かが判断される（Ｓ８６）。肌色検出には、周知の手法を用いることができる。肌色検出有りとされると、ここで、候補顔領域画像データが人の顔領域画像データとされる（Ｓ８８）。肌色検出有りとされないときは、人の顔でないので、顔認識の手順を終了させる。

その様子を図２２、図２３に示す。図２３には、Ｓ４８においてパス画像データ５４とされたものが示され、その中で、Ｓ８０によって絞り込まれた候補顔領域画像データとして、左側の人の顔画像データ５５、右側の人の顔画像データ５７、右側の人の胸画像データ５９が示されている。そして、図２４には、肌色検出の結果、人の顔領域画像データとされた左側の人の顔領域画像データ５６、右側の人の顔領域画像データ５８が示されている。このようにして、ハーライクフィルタの傾斜角度を変更する等によって、斜め向き角度を有する人の顔領域画像データを的確に抽出することができる。

図２４は、顔検知が行われて、人の顔領域画像データとされたものに対する顔特徴情報データ抽出以後の手順を示すフローチャートである。上記の例では、人の顔領域画像データとしては、左側の人の顔領域画像データ５６、右側の人の顔領域画像データ５８の２つがあるが、以下では、左側の人の顔領域画像データ５６を例にとって説明する。そして、この顔領域画像データ５６の大きさを、５０画素×５０画素とする。勿論これ以外の画素数のものであってもよい。すなわち、人の顔領域画像データとして、Ｐ＝５０×５０のデータ量のものを取得する（Ｓ９０）。取得された顔領域画像データ５６の様子を拡大して示す図である。左上端に１つの画素６２が代表して示されている。

そして、各画素について、Ｓ−ガボールフィルタを適用し、その出力値を取得する（Ｓ９２)。Ｓ−ガボールフィルタは、図６で説明したように、方位角度としてＭ＝８通り、フィルタリング面積としてＮ＝５通りとする。これらを各画素のそれぞれに適用して、それぞれの出力値を取得するので、顔領域画像データ５６の全体としては、Ｐ×Ｍ×Ｎ＝５０×５０×８×５＝１００，０００個のＳ−ガボールフィルタ出力値を取得することになる。このように大きなデータ量は、以後のデータ処理に不便であるので、正方マトリクスに整形されることが好ましい。上記の場合、３３４×３３４の正方マトリクス、または、５１２×５１２の正方マトリクスとすることが好ましい。ダミーのデータとしては、０または１を用いることができる。

そして、さらに、領域拡大データが追加される（Ｓ９４）。領域拡大とは、人の顔領域画像データ５６を構成するＰ個のデータ要素のそれぞれについて、その画素データの評価対象領域を出発領域として、予め定めた拡大係数を順次乗じて周辺画素データを取り込んで評価対象領域をＬ通りに拡大することである。その様子を図２６に示す。ここでは、顔領域画像データの左上端の１画素６２を出発領域として、２画素×２画素の領域、３画素×３画素の領域というように、縦方向に１画素ずつ、横方向にも１画素ずつ領域拡大が順次行われる。図２６では、領域拡大途中の拡大領域７０が示されている。この場合、領域拡大の数をＬとして、Ｌ＝５０であるので、Ｓ−ガボールフィルタの出力値の個数は、Ｌ×Ｐ×Ｍ×Ｎ＝５０×５０×５０×８×５＝５，０００，０００個となる。

領域拡大は、前の領域を含むようにして行われるので、Ｓ−ガボールフィルタ出力値が同じ画素について何度も取得されることになり、これによって、特徴量の相違が次第に拡大されるようになる。つまり、領域拡大は、特徴量の相違を強調する機能を有する。

再び図２４に戻り、ノイズ除去が行われる（Ｓ１６）。この内容は、図９のＳ１６で説明したものと同じであるので、詳細な説明を省略する。この処理によって、ノイズとされて削除されるデータは、実際にはＳ−ガボール出力値＝０とされ、正方マトリクスの形式が維持される。

次に、このような多数のＳ−ガボールフィルタ出力値に対し、特徴圧縮が行われる（Ｓ１８）。ここでは、圧縮率を設定し、以後の処理に適した規模の顔特徴情報データに整理される。圧縮率としては、例えば、８×８＝６４程度の顔特徴情報データに圧縮するものとして設定されることができる。特徴圧縮には周知のＰＣＡ技術を用いることができる。なお、ＰＣＡ技術とは、互いに相関のある多数の変数の情報を、互いに無相関な少数の合成変数に要約する技術である。

次に、重複特徴帰属処理が行われる（Ｓ２０）。重複特徴とは、複数の顔領域画像データにそれぞれ対応する顔特徴情報データに、重複している顔特徴情報のことである。例えば、図２３で説明した２つの顔領域画像データ５６，５８は、上記のように双子の姉妹のものであるので、特徴情報データとしての眉毛、目つき、ほくろ等が似通っていて、重複することになる。この重複特徴を、いずれの顔領域情報データに帰属させるかの処理が重複特徴帰属処理である。

重複特徴帰属処理は以下の手順で行うことができる。すなわち、最初に、帰属に関係する複数の顔領域画像データごとに、それぞれの顔特徴情報データの特徴量の合計値を顔画像別特徴量合計値として算出する。次に、各顔画像別特徴量合計値を帰属に関係する全顔領域画像データについて総計して特徴量総計値とする。そして、各顔領域画像データごとに、特徴量総計値に対するそれぞれの顔画像別特徴量合計値の寄与率を顔画像別重複寄与率として求める。また、各顔領域画像データごとに、顔画像別特徴量合計値に対する重複顔特徴情報データの特徴量の占有率を顔画像別重複占有率として求める。そして、顔画像別重複占有率が最も大きな値を示す顔領域画像データに、その重複特徴情報データを帰属させる。

この手順を、図２７、図２８において、例題を用いて説明する。図２７には、３つの顔領域画像データとしてＡ，Ｂ，Ｃが示されている。そして、各顔領域画像データの特徴情報データが楕円で示され、楕円の中の数値が特徴量である。なお特徴情報データがＳ−ガボールフィルタ出力値そのものであるときは、小数点以下の小さな値を要素として有するベクトル量であるが、図２７では、説明のために、１次元の簡単な数値としてある。

図２７の例において、顔領域画像データＡは、特徴量１００を有する特徴情報データＸ１を含み、その特徴量の合計である顔画像別特徴量合計値＝５００である。同様に、顔領域画像データＢは、特徴量１００を有する特徴情報データＸ１を含み、その特徴量の合計である顔画像別特徴量合計値＝３００である。顔領域画像データＣは、特徴量１００を有する特徴情報データＸ１を含み、その特徴量の合計である顔画像別特徴量合計値＝７００である。ここで、特徴量１００を有する特徴情報データＸ１は、３つの顔領域画像データＡ，Ｂ，Ｃにおいて重複する特徴情報データである。図２３に近い例でいえば、特徴情報データＸ１は、三つ子に共通するほくろのようなものである。

図２８は、重複特徴帰属処理の具体的な手順を説明する図である。図２７の例では、各顔画像別特徴量合計値である５００，３００，７００を帰属に関係する全顔領域画像データ（Ａ＋Ｂ＋Ｃ）について総計した特徴量総計値は、１５００となる。そして、各顔領域画像データＡ，Ｂ，Ｃごとに、特徴量総計値＝１５００に対するそれぞれの顔画像別特徴量合計値５００，３００，７００の寄与率を顔画像別重複寄与率として求めると、次のようになる。すなわち、顔領域画像データＡの顔画像別重複寄与率は、（５００／１５００）＝０．３３である。また、顔領域画像データＢの顔画像別重複寄与率は、（３００／１５００）＝０．２０である。また、顔領域画像データＣの顔画像別重複寄与率は、（７００／１５００）＝０．４７である。

次に、重複する特徴情報データＸ１の特徴量＝１００をこの顔画像別重複寄与率で、各顔領域画像データＡ，Ｂ，Ｃに割り当てる。図２８では、特徴量＝１００が、３３，２０，４７と割り当てられる様子が示される。ここで、割り当てられた特徴量を各顔領域画像データＡ，Ｂ，Ｃにそれぞれ帰属させて、改めて各顔領域画像データＡ，Ｂ，Ｃの顔画像別特徴量合計値を計算しなおすと、次のようになる。すなわち、顔領域画像データＡの新しい顔画像別特徴量合計値＝４００＋３３＝４３３となる。同様に、顔領域画像データＢの新しい顔画像別特徴量合計値＝２００＋２０＝２２０となる。また、顔領域画像データＣの新しい顔画像別特徴量合計値＝６００＋４７＝６４７となる。

次に、この新しい顔画像別特徴量合計値における重複する特徴情報データＸ１の特徴量の割当量の占有率を顔画像別重複占有率として、各顔領域画像データＡ，Ｂ，Ｃについて求める。図２８に示されるように、顔領域画像データＡにおける顔画像別重複占有率＝（３３／４３３）＝０．０７７となる。同様に、顔領域画像データＢにおける顔画像別重複占有率＝（２０／２２０）＝０．０９１となる。また、顔領域画像データＣにおける顔画像別重複占有率＝（４７／４７７）＝０．０７３となる。ここで、３つの値を比較すると、顔領域画像データＢにおける顔画像別重複占有率がもっとも大きいので、重複する特徴情報データＸ１は、顔領域画像データＢに帰属させるものとできる。

なお、重複する特徴情報データＸ１は、顔領域画像データＢに帰属させた後の状態は、顔領域画像データＡの顔画像別特徴量合計値＝４００、顔領域画像データＢの顔画像別特徴量合計値＝３００、顔領域画像データＣの顔画像別特徴量合計値＝６００となる。

重複する特徴情報データの帰属については２つの考えがありえる。１つは顔画像別重複寄与率に基いて帰属先を決める考えで、この考えは、特徴総計量に対する寄与率、つまり、全顔領域画像データについての特徴量全体に対する重複特徴量の寄与率が大きいことを評価するものである。上記の例では、顔画像別重複寄与率は顔領域画像データＣにおいて最も大きいので、特徴情報データＸ１は、顔領域画像データＣに帰属させることになる。この考えによれば、重複する特徴情報データは、常に、顔画像別特徴量合計値の大きい顔領域画像データＣに帰属する。このようにすると、顔画像別特徴量合計値の大きい顔領域画像データＣは顔画像別特徴量合計値が不変となる一方で、顔画像別特徴量合計値の小さい顔領域画像データＢは、重複帰属後の顔画像別特徴量合計値が著しく少なくなり、特徴の少ない顔領域画像データとなる恐れがある。

もう１つの考えは、顔画像別重複占有率に基いて帰属先を決める考えで、この考えは、特徴量合計量に対する寄与率、つまり、全顔領域画像データにおける重複特徴量の寄与率が大きいことを評価するものである。この考えには２通りの解決法がありえる。１つは、元々の顔画像別重複占有率に基いて帰属先を決めるものである。図２７の場合では、元々の顔画像別重複占有率は、顔領域画像データＡにおいて、（１００／５００）＝０．２０、顔領域画像データＢにおいて、（１００／３００）＝０．３３、顔領域画像データＣにおいて、（１００／７００）＝０．１４である。したがって、顔画像別重複占有率は顔領域画像データＢにおいて最も大きいので、特徴情報データＸ１は、顔領域画像データＢに帰属させることになる。この考えによれば、重複する特徴情報データは、常に、顔画像別特徴量合計値の小さい顔領域画像データＣに帰属する。このようにすると、顔画像別特徴量合計値の小さい顔領域画像データＢは顔画像別特徴量合計値が不変となる一方で、顔画像別特徴量合計値の大きい顔領域画像データＣにおいても、重複帰属後の顔画像別特徴量合計値の減少率は余り大きくなく、一見公平である。しかしながら、ここでは、全顔領域画像データについての特徴量全体に対する各顔画像別特徴量合計値の寄与、あるいは重複特徴量の寄与が全く考慮されていない。

もう１つの解決法は、図２８に説明したように、重複する特徴情報データの特徴量を顔画像別重複寄与率で、各顔領域画像データに割り当てた後の顔画像別重複占有率に基いて帰属先を決めるものである。このようにすることで、顔画像別重複寄与率のみに基いて帰属先を決める考えの欠点と、元々の顔画像別重複占有率のみに基いて帰属先を決める考えの欠点を補って、バランスをとった考えで、重複特徴量の帰属先を決定することができる。

再び図２４に戻り、重複特徴帰属処理が行われると、その結果を反映して、顔特徴情報データの抽出が行われる（Ｓ９６）。そして、抽出された顔特徴情報データと、登録人顔画像データ記憶部２８に記憶されている各登録人ごとの顔特徴情報データとが比較され（Ｓ９８）、一致しているものがあるか否かが判断される（Ｓ１００）。比較の結果、一致しているものがあれば、その登録人が、画像データにある人であると特定される（Ｓ２２）。比較の結果、一致するものがなければ、該当なしとされる（Ｓ１０２）。Ｓ２２とＳ１０２の結果は、認証出力部１６によって、顔認証として出力される（Ｓ１０４）。例えば、Ｓ２２の場合、「ＸＸさんです」と表示され、あるいは音声で知らされる。Ｓ１０２の場合では、「該当する人は登録されていません」と表示され、あるいは音声で知らされる。顔認証出力は、建物等の扉開閉、監視システム等と連動させることもできる。

本発明に係る実施の形態における顔認識装置の構成を説明する図である。 一般的に用いられるハーライクフィルタの例を示す図である。 本発明に係る実施の形態において、記憶装置に記憶されているハーライクフィルタに関し、傾斜角度の変更を説明する図である。 本発明に係る実施の形態において、記憶装置に記憶されているハーライクフィルタに関し、フィルタリング面積の変更を説明する図である。 本発明に係る実施の形態において、Ｓ−ガボールフィルタを説明する図である。 本発明に係る実施の形態において、記憶装置に記憶されているＳ−ガボールフィルタの種類を説明する図である。 本発明に係る実施の形態において、記憶装置に記憶される登録人顔画像データの内容を説明する図である。 本発明に係る実施の形態において、記憶装置に記憶される標準人顔画像に関するデータの内容を説明する図である。 本発明に係る実施の形態において、顔認識処理の全体の手順を示すフローチャートである。 本発明に係る実施の形態において、顔認識処理の詳細な手順の最初の部分を示すフローチャートである。 本発明に係る実施の形態において、画像データをブロックに分割する様子を示す図である。 本発明に係る実施の形態において、画像データにハーライクフィルタの中で第１フィルタを適用する様子を説明する図である。 本発明に係る実施の形態において、画像データにハーライクフィルタの中で第２フィルタを適用する様子を説明する図である。 本発明に係る実施の形態において、画像データにハーライクフィルタの中で第３フィルタを適用する様子を説明する図である。 本発明に係る実施の形態において、画像データにハーライクフィルタの中で第４フィルタを適用する様子を説明する図である。 本発明に係る実施の形態において、ハーライクフィルタを適用してパスしたパス画像データの例を示す図である。 本発明に係る実施の形態において、図１０に引き続く顔認識処理の詳細な手順を示すフローチャートである。 本発明に係る実施の形態において、パス画像データをブロックに分割する様子を示す図である。 本発明に係る実施の形態において、パス画像データにハーライクフィルタの第１フィルタについて傾斜角度を順次変更して適用する様子を説明する図である。 図１９に引き続き、他のブロックにおいて、第１フィルタについて傾斜角度を順次変更して適用する様子を説明する図である。 本発明に係る実施の形態において、図１７に引き続く顔認識処理の詳細な手順を示すフローチャートである。 本発明に係る実施の形態において、候補顔領域画像データが抽出される様子を説明する図である。 本発明に係る実施の形態において、候補顔領域画像データの例を示す図である。 本発明に係る実施の形態において、図２１に引き続く顔認識処理の詳細な手順を示すフローチャートである。 本発明に係る実施の形態において、候補顔領域画像データにＳ−ガボールフィルタを適用される様子を説明する図である。 本発明に係る実施の形態において、Ｓ−ガボールフィルタの適用領域を拡大する様子を説明する図である。 本発明に係る実施の形態において、重複特徴帰属処理の説明のための例題を示す図である。 本発明に係る実施の形態において、重複特徴帰属処理を説明する図である。

符号の説明

１０ 顔認識装置、１１ カメラ、１２ ＣＰＵ、１４ カメラＩ／Ｆ、１６ 認証出力部、１８ 入力部、２０ 出力部、２２ 記憶装置、２４，２５ ハーライクフィルタ記憶部、２６，２７ Ｓ−ガボールフィルタ記憶部、２８ 登録人顔画像データ記憶部、３０ 標準人顔画像データ記憶部、３２ 顔検知モジュール、３４ 顔特徴抽出モジュール、３６ ノイズ除去モジュール、３８ 特徴圧縮モジュール、４０ 重複特徴帰属モジュール、４２ 登録人特定モジュール、５２ 画像データ、５４ パス画像データ、５５，５７ 顔画像データ、５６，５８ 顔領域画像データ、５９ 胸画像データ、６２ 画素、７０ 拡大領域。

Claims (6)

1. 少なくとも２人の登録人の顔画像データのそれぞれについて、複数の斜め向き角度ごとに、複数の顔特徴情報データを記憶する登録人顔画像データ記憶装置と、
   標準とする人の顔画像データについて、予め定められた特性の明暗矩形フィルタにおける予め定められた複数の傾斜角度ごとに、各明暗矩形フィルタに対する出力閾値に関する情報を記憶する標準人顔画像データ記憶装置と、
   画像データから人の顔領域画像データを抽出する顔検知手段と、
   抽出された人の顔領域画像データについて、その顔の複数の特徴情報を抽出し、これらを複数の顔特徴情報データとする顔特徴抽出手段と、
   抽出された複数の顔特徴情報データを、登録人顔画像データ記憶装置に記憶されている各登録人の顔画像データについての複数の顔特徴情報データとそれぞれ比較して、該当する登録人を特定する特定手段と、
   を備え、
   顔検知手段は、
   対象画像データの中で予め定めた検知対象領域画像データについて、予め定められた特性の明暗矩形フィルタを、対象画像データの基準軸方向に対し予め定められた複数の傾斜角度で順次適用して、各傾斜角度ごとに明暗矩形フィルタ出力値を取得する手段と、
   取得された各傾斜角度ごとの明暗矩形フィルタ出力値を、標準人顔画像データ記憶装置に格納されている傾斜角度ごとの明暗矩形フィルタ出力閾値と比較する手段と、
   比較の結果、明暗矩形フィルタ出力閾値を超える明暗矩形フィルタ出力値となる明暗矩形フィルタの傾斜角度があるときは、その検知対象領域画像データを候補顔領域画像データとして抽出する手段と、
   抽出された候補顔領域画像データについて、人の肌色が検出されるか否かを判断し、人の肌色が検出されるときに、候補顔領域画像データを、人の顔領域画像データとして抽出する手段と、
   を含むことを特徴とする顔認識装置。
2. 請求項１に記載の顔認識装置において、
   標準人顔画像データ記憶装置は、さらに、標準とする人の顔の画像データについて、予め定められた複数の矩形フィルタリング面積ごとに、複数の明暗矩形フィルタに対する出力閾値に関する情報を記憶し、
   顔検知手段は、
   候補顔領域画像データについて、さらに、明暗矩形フィルタを複数の矩形フィルタリング面積で順次適用して、各矩形フィルタリング面積ごとに明暗矩形フィルタ出力を取得する手段と、
   取得された各矩形フィルタリング面積ごとの明暗矩形フィルタ出力を、標準人顔画像データ記憶装置に格納されている矩形フィルタリング面積ごとの明暗矩形フィルタ出力閾値と比較する手段と、
   比較の結果、明暗矩形フィルタ出力閾値未満の明暗矩形フィルタ出力値となる明暗矩形フィルタのフィルタリング領域部分があるときは、そのフィルタリング領域部分を候補顔領域画像データから削除して候補顔領域画像データを絞り込む手段と、
   を含むことを特徴とする顔認識装置。
3. 請求項１に記載の顔認識装置において、
   人の顔領域画像データに適用される輪郭線方位検出フィルタとしての２次元ガウス関数と正弦関数との積の関数形を有する特徴量検出関数について、対象画像データの基準軸方向について複数の予め定めた方位角度ごとの特徴量検出関数と、複数の予め定めた方位フィルタリング面積ごとの特徴量検出関数とを記憶する特徴量検出関数記憶装置を備え、
   顔特徴抽出手段は、
   特徴量検出関数記憶装置から、Ｍ個の方位角度の中の任意の１つとＮ個の方位フィルタリング面積の中の任意の１つを構成要素とするＭ×Ｎ通りの組合せのそれぞれに対応する特徴量検出関数を順次読み出し、人の顔領域画像データを構成するＰ個の各データ要素にそれぞれ順次適用して、Ｐ×Ｍ×Ｎ個の特徴量出力値を取得し、これを複数の顔特徴情報データとする手段と、
   を含み、
   特徴量検出関数記憶装置は、
   ２次元ガウス関数と正弦関数との積の関数形に予め定めた周波数帯域を有するハイパスフィルタ処理を施して、ＤＣ成分を抑制した特徴量検出関数を記憶することを特徴とする顔認識装置。
4. 請求項３に記載の顔認識装置において、
   特徴量出力値を取得する手段は、さらに、
   人の顔領域画像データを構成するＰ個のデータ要素のそれぞれについて、その画素データの評価対象領域を出発領域として、予め定めた拡大係数を順次乗じて周辺画素データを取り込んで評価対象領域をＬ通りに拡大し、Ｐ×Ｌ個のデータ要素に拡大する手段と、
   Ｐ×Ｌ個のデータ要素について、Ｎ×Ｍ通りの組合せのそれぞれに対応する特徴量検出関数を順次適用して、Ｐ×Ｌ×Ｍ×Ｎ個の特徴量出力値を取得し、これを複数の顔特徴情報データとする手段と、
   を含むことを特徴とする顔認識装置。
5. 請求項１に記載の顔認識装置において、
   顔特徴抽出手段によって抽出された複数の顔特徴情報データについて、顔領域画像データの明暗特徴基準として、顔領域とされる領域の中ではその中央部付近が最も明るく、最も明るい領域の外側領域が最も暗く、さらにその外側領域が中間的な明暗となるとする基準に従って、この基準に適合しないデータをノイズデータとして顔特徴情報データから削除する手段を備えることを特徴とする顔認識装置。
6. 請求項１に記載の顔認識装置において、
   複数の顔領域画像データに重複する顔特徴情報データをいずれかの顔領域画像データの顔特徴情報データとして帰属させる重複特徴帰属手段を備え、
   重複特徴帰属手段は、
   帰属に関係する複数の顔領域画像データごとに、それぞれの顔特徴情報データの特徴量の合計値を顔画像別特徴量合計値として算出する手段と、
   各顔画像別特徴量合計値を帰属に関係する全顔領域画像データについて総計して特徴量総計値とし、各顔領域画像データごとに、特徴量総計値に対するそれぞれの顔画像別特徴量合計値の寄与率を顔画像別重複寄与率として求める手段と、
   各顔領域画像データごとに、顔画像別特徴量合計値に対する重複顔特徴情報データの特徴量の占有率を顔画像別重複占有率として求める手段と、
   顔画像別重複寄与率の大きさと、顔画像別重複占有率の大きさとに基いて、重複顔特徴情報データの帰属先を特定する手段と、
   を含むことを特徴とする顔認識装置。

Images