JP2008191816A - 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】顔画像の正規化処理として実行する画像変換に際して、誤差の発生を抑制した変換を行い正確な顔識別を実現する。
【解決手段】入力顔画像の左右の目の中心を原点とした画像変換処理による正規化処理を実行する。具体的には、正規化前の顔画像を蓄えるＳＲＡＭの原点を左右目位置の中心で画素と画素の間の点とし、正規化後の顔画像を蓄えるＳＲＡＭの原点を固定した画素点とし、正規化前の座標と正規化後の座標が異なる正規化処理を行なう。本構成により、例えば顔識別処理に際して重要となる目、鼻、口といった顔パーツの位置や形の誤差の発生を抑制した画像変換が実現され、正確な登録画像との類似度判定が可能となり、高精度な顔識別処理が実現される。
【選択図】図６

Description

本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、例えば撮影された画像データに含まれる顔画像の正規化処理を実行する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。

顔認識の技術は、ユーザに負担をかけない個人認証システムをはじめとして、性別の識別など、マンマシン・インターフェースに幅広く適用が可能である。初期は横顔を使った認識技術も検討されたが、現在は、正面画像の認識技術が中心となっている。

顔認識システムでは、ＣＣＤカメラなどによる撮像画像から顔の特徴情報に基づいて顔パターンを抽出する顔抽出処理と、抽出された顔パターンと登録顔画像との比較を行い、特定人物の顔であることを識別する顔識別処理を実行する。顔抽出処理や顔識別処理には、例えば、方位選択性を持ち周波数成分の異なる複数のフィルタを用いることにより、顔画像の特徴量を抽出する「ガボア・フィルタリング（Ｇａｂｏｒ Ｆｉｌｔｅｒｉｎｇ）」を適用することができる（例えば、特許文献１を参照のこと）。

人間の視覚細胞には、ある特定の方位に対して選択性を持つ細胞が存在することが既に判明されている。これは、垂直の線に対して反応する細胞と、水平の線に反応する細胞で構成される。ガボア・フィルタは、これと同様に、方向選択性を持つ複数のフィルタで構成される空間フィルタである。

ガボア・フィルタは、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現される。フィルタ窓の大きさは例えば２４×２４固定とする。また、周波数ｆを５種類、角度θを８方向とすると、４０種類のガボア・フィルタが構成される。

ガボア・フィルタの演算は、ガボア・フィルタを適用する画素とガボア・フィルタの係数との畳み込みである。ガボア・フィルタの係数は、周波数応答がコサイン関数からなる実部と周波数応答がサイン関数からなる虚部に分離することができ、それぞれに畳み込み演算を実施し、それぞれの成分を合成して１個のスカラ値からなるガボア・フィルタ結果を求めることができる。このような演算を、周波数ｆと角度θを切り替えながら最大４０種類のガボア・フィルタを適用し、得られた最大４０個のスカラ値の組を「ガボア・ジェット」と呼ぶ。顔画像データ上で水平方向及び垂直方向に一定間隔で検出される特徴量抽出位置毎に、局所特徴量としてガボア・ジェットが求められる。ガボア・ジェットは、特徴量抽出位置のある程度の位置のずれや変形に対して、不変であるという特徴を有している。

特定人物の顔であることを識別する顔識別処理では、抽出された顔パターンと登録顔画像との比較が行われる。登録顔画像に関しては、あらかじめ特徴量抽出位置毎のガボア・ジェットが算出されている。そして、同じ特徴量抽出位置における入力顔のガボア・ジェットと登録顔のガボア・ジェットの類似度を演算し、複数の特徴量抽出位置における類似度の集合である類似度ベクトルが求められる。続いて、サポート・ベクタ・マシーン（ＳＶＭ）によるクラス判定を行なって、入力顔画像と登録顔画像の認識を行なう。サポート・ベクタ・マシーンは、類似度ベクトルの境界面の値を、例えば、＋１又は−１と判定する境界面（値が０である位置の面）からの距離を算出し、ｉｎｔｒａ−ｐｅｒｓｏｎａｌ ｃｌａｓｓ又はｅｘｔｒａ−ｐｅｒｓｏｎａｌ ｃｌａｓｓのいずれに属するかを判断する。ｉｎｔｒａ−ｐｅｒｓｏｎａｌ ｃｌａｓｓに属すると判断される類似度ベクトルが存在しない場合には、未登録の人物の顔が入力されたと判断される（例えば、非特許文献１を参照のこと）。また、１つのサポート・ベクタ・マシーンが多くの顔画像を学習（すなわち登録）することで、新たに入力された顔画像が登録されている（学習済みの）顔画像と一致するのか（ｉｎｔｒａ−ｐｅｒｓｏｎａｌ ｃｌａｓｓに属するのか）、又は、一致しないのか（ｅｘｔｒａ−ｐｅｒｓｏｎａｌ ｃｌａｓｓに属するのか）を判定することができる（例えば、特許文献２、特許文献３を参照のこと）。サポート・ベクタ・マシーンは、パターン認識の分野で最も学習汎化能力が高いと当業界では評価されている。

上述したように、顔認識システムでは、ＣＣＤカメラなどによる撮像画像から顔の特徴情報に基づいて顔パターンを抽出する顔抽出処理と、抽出された顔パターンと登録顔画像との比較を行い、特定人物の顔であることを識別する顔識別処理を実行するが、顔識別処理においては、登録画像との正確な比較処理が可能となるように、比較処理の前処理として、入力画像から抽出した顔画像に対してフィッティング（ｆｉｔｔｉｎｇ）処理が実行される。

フィッティング処理は、例えば第１のメモリに記録された顔画像を取り出して正規化処理を実行して第２のメモリに記録する処理として実行される。具体的には、例えば、第１のメモリ上の顔画像の両目位置検出を行い検出された両目位置情報から顔の大きさ、顔の位置、顔の角度を求め、第２のメモリの固定した座標に右目、左目の位置を合わせるように、第１のメモリの顔画像を縮小、シフト、回転変換して顔認識に必要な顔画像を第２のメモリ上に作成する処理をフィッティング処理として実行する。

上述のガボア・フィルタによる顔識別処理は、このフィッティング処理後の画像を適用することで正確な処理が実現される。すなわち、同じ特徴量抽出位置における入力顔のガボア・ジェットと登録顔のガボア・ジェットの類似度を演算し、複数の特徴量抽出位置における類似度の集合である類似度ベクトルを求め、サポート・ベクタ・マシーン（ＳＶＭ）によるクラス判定を行なって、入力顔画像と登録顔画像の照合に基づく顔識別を行なう。

上述したフィッティング処理としての正規化処理では、第１のメモリの顔画像に対する縮小、シフト、回転処理を伴う画像変換を実行して、実行結果を第２のメモリ上に作成する正規化処理を行なうが、この画像変換処理に際しては、それぞれのメモリ上に固定された原点を中心とした処理を行なうのが一般的である。例えば、具体的には、第１のメモリの原点座標と、第２のメモリの原点座標を中心座標として設定してアフィン変換を実行して、縮小、シフト、回転処理を伴う画像変換を実行する。

しかしながら、例えばアフィン変換による画像変換を実行した場合、原点からの距離が大きくなればなるほど誤差が発生しやすい。一方、顔識別処理において実行する入力顔画像と登録顔画像との類似度判定処理として実行する上述のガボア・ジェットの類似度判定は、主に顔のパーツ、すなわち目や鼻、口といった顔パーツの位置や形の類似度に基づく判定処理として実行される。

従って、アフィン変換による画像変換処理を例えば顔画像の外部に設定された原点を中心として実行してしまうと、顔識別処理に際して重要となる特徴量を抽出する重要情報である目、鼻、口といった顔パーツの位置や形に誤差が発生し、登録顔画像との類似度判定が正確に実行されない恐れが発生することになる。

特開２００６−４０４１号公報 特再ＷＯ０３／０１９４７５号公報 特開２００６−４００３号公報 Ｂ．ｓｈｏｌｋｏｐｆ外著"Ａｄｖａｎｃｅ ｉｎ Ｋｅｒｎｅｌ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｌｅａｒｎｉｎｇ"（Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ、１９９９．）

本発明は、このような状況に鑑みてなされたものであり、顔識別処理の前処理として実行する入力顔画像の画像変換において、顔識別処理に際して重要となる目、鼻、口といった顔パーツの位置や形の誤差の発生を抑制した画像変換を実現する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
入力顔画像の識別処理を行なう画像処理装置であって、
識別処理の対象となる顔画像を入力し、入力顔画像に対して画像変換を実行し、予め定められた設定を持つ画像に正規化する処理を実行する画像変換部と、
前記画像変換部において変換された変換入力画像から求めた特徴量と、登録画像の特徴量との類似度を算出する類似度算出部と、
前記類似度算出部の算出した類似度に基づいて入力顔画像と登録顔画像が一致するか否かを判定する一致判定手段を備え、
前記画像変換部は、
前記入力顔画像の左右の目の中心を原点として設定した画像変換処理による正規化処理を実行する構成であることを特徴とする画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、正規化処理の対象とする顔画像を格納した第１メモリから、顔画像を取得して画像変換による正規化を実行して正規化後の顔画像を第２メモリに格納する処理を実行する構成であり、前記第２メモリの各画素位置に対応する前記第１メモリの対応点を算出するための変換パラメータを算出する演算部と、前記演算部の算出した変換パラメータに基づいて、前記第２メモリの各画素位置に対応する前記第１メモリの対応点を算出する座標変換部と、前記座標変換部の算出した対応点情報に従って、前記第２メモリの各画素位置に対応する画素値を決定する補間処理部と、を有する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記演算部は、前記変換パラメータとして、前記第１メモリに格納された顔画像を前記第２メモリに格納する顔画像に変換する際に適用する画像縮小処理、または画像回転処理、または画像平行移動処理の少なくともいずれかの処理を規定する変換パラメータを算出し、前記座標変換部は、画像縮小処理、または画像回転処理、または画像平行移動処理の少なくともいずれかの処理を規定する変換パラメータを適用して、前記第２メモリの各画素位置に対応する前記第１メモリの対応点を算出する処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、
前記座標変換部は、
ｓ１ｘを前記第１メモリ座標系におけるｘ座標、
ｓ１ｙを前記第１メモリ座標系におけるｙ座標、
ｓ２ｘを前記第２メモリ座標系におけるｘ座標、
ｓ２ｙを前記第２メモリ座標系におけるｙ座標、
とし、
前記演算部から入力する
画像縮小処理パラメータを（ｃ／Ｐ）、
画像回転処理パラメータをθ、
画像平行移動処理パラメータを（ｏｒｇ＿ｓ１ｘ＿ｆｒｃ）および（ｏｒｇ＿ｓ１ｙ＿ｆｒｃ）、
としたとき、
前記第２メモリの座標（ｓ２ｘ，ｓ２ｙ）の各々について下式、
ｓ１ｘ＝（ｃ／Ｐ）×（（ｓ２ｘ）×ｃｏｓθ＋ｓ２ｙ×ｓｉｎθ）＋（ｏｒｇ＿ｓ１ｘ＿ｆｒｃ）
ｓ１ｙ＝（ｃ／Ｐ）×（（−ｓ２ｘ）×ｓｉｎθ＋ｓ２ｙ×ｃｏｓθ）＋（ｏｒｇ＿ｓ１ｙ＿ｆｒｃ）
上記式に基づいて、正規化前の画像格納メモリである前記第１メモリの座標（ｓ１ｘ，ｓ１ｙ）を算出する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記平行移動処理パラメータ（ｏｒｇ＿ｓ１ｘ＿ｆｒｃ，ｏｒｇ＿ｓ１ｙ＿ｆｒｃ）は、前記第１メモリ座標系における前記第２メモリの原点に対応する位置を示す情報であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記補間処理部は、前記座標変換部の算出した対応点情報を適用し、ｂｉ−ｌｉｎｅａｒ手法、またはｂｉ−ｃｕｂｉｃ手法を適用した画素値補間処理を実行して、前記第２メモリの各画素位置に対応する画素値を決定する処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記類似度算出部は、前記画像変換部において変換された変換入力画像の特徴量抽出位置毎に、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタの応答関数の周波数と角度を切り替えながら、該ガボア・フィルタ係数と画素の畳み込み演算を行なって、フィルタの種類に応じた個数のスカラ値からなるガボア・ジェットを求めるガボア・フィルタ適用手段と、特徴量抽出位置毎に、入力顔画像のガボア・ジェットと登録顔画像のガボア・ジェットの類似度を演算し、複数の特徴量抽出位置における類似度の集合からなる類似度ベクトルを求める類似度演算手段とを有し、前記一致判定手段は、前記類似度ベクトルを基に入力顔画像と登録顔画像が一致するか否かを判定する処理を実行する構成であることを特徴とする。

さらに、本発明の第２の側面は、
画像処理装置において、入力顔画像の識別処理を行なう画像処理方法であって、
画像変換部が、識別処理の対象となる顔画像を入力し、入力顔画像に対して画像変換を実行し、予め定められた設定を持つ画像に正規化する処理を実行する画像変換ステップと、
類似度算出部が、前記画像変換ステップにおいて変換された変換入力画像から求めた特徴量と、登録画像の特徴量との類似度を算出する類似度算出ステップと、
一致判定手段が、前記類似度算出ステップにおいて算出した類似度に基づいて入力顔画像と登録顔画像が一致するか否かを判定する一致判定ステップとを有し、
前記画像変換ステップは、
前記入力顔画像の左右の目の中心を原点として設定した画像変換処理による正規化処理を実行するステップを有することを特徴とする画像処理方法にある。

さらに、本発明の画像処理方法の一実施態様において、前記画像変換ステップは、正規化処理の対象とする顔画像を格納した第１メモリから、顔画像を取得して画像変換による正規化を実行して正規化後の顔画像を第２メモリに格納する処理を実行するステップを有し、演算部が、前記第２メモリの各画素位置に対応する前記第１メモリの対応点を算出するための変換パラメータを算出する演算ステップと、座標変換部が、前記演算ステップにおいて算出した変換パラメータに基づいて、前記第２メモリの各画素位置に対応する前記第１メモリの対応点を算出する座標変換ステップと、補間処理部が、前記座標変換ステップにおいて算出した対応点情報に従って、前記第２メモリの各画素位置に対応する画素値を決定する補間処理ステップと、を有することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記演算ステップは、前記変換パラメータとして、前記第１メモリに格納された顔画像を前記第２メモリに格納する顔画像に変換する際に適用する画像縮小処理、または画像回転処理、または画像平行移動処理の少なくともいずれかの処理を規定する変換パラメータを算出し、前記座標変換ステップは、画像縮小処理、または画像回転処理、または画像平行移動処理の少なくともいずれかの処理を規定する変換パラメータを適用して、前記第２メモリの各画素位置に対応する前記第１メモリの対応点を算出する処理を実行することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記座標変換ステップは、
ｓ１ｘを前記第１メモリ座標系におけるｘ座標、
ｓ１ｙを前記第１メモリ座標系におけるｙ座標、
ｓ２ｘを前記第２メモリ座標系におけるｘ座標、
ｓ２ｙを前記第２メモリ座標系におけるｙ座標、
とし、
前記演算部から入力する
画像縮小処理パラメータを（ｃ／Ｐ）、
画像回転処理パラメータをθ、
画像平行移動処理パラメータを（ｏｒｇ＿ｓ１ｘ＿ｆｒｃ）および（ｏｒｇ＿ｓ１ｙ＿ｆｒｃ）、
としたとき、
前記第２メモリの座標（ｓ２ｘ，ｓ２ｙ）の各々について下式、
ｓ１ｘ＝（ｃ／Ｐ）×（（ｓ２ｘ）×ｃｏｓθ＋ｓ２ｙ×ｓｉｎθ）＋（ｏｒｇ＿ｓ１ｘ＿ｆｒｃ）
ｓ１ｙ＝（ｃ／Ｐ）×（（−ｓ２ｘ）×ｓｉｎθ＋ｓ２ｙ×ｃｏｓθ）＋（ｏｒｇ＿ｓ１ｙ＿ｆｒｃ）
上記式に基づいて、正規化前の画像格納メモリである前記第１メモリの座標（ｓ１ｘ，ｓ１ｙ）を算出することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記平行移動処理パラメータ（ｏｒｇ＿ｓ１ｘ＿ｆｒｃ，ｏｒｇ＿ｓ１ｙ＿ｆｒｃ）は、前記第１メモリ座標系における前記第２メモリの原点に対応する位置を示す情報であることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記補間処理ステップは、前記座標変換部の算出した対応点情報を適用し、ｂｉ−ｌｉｎｅａｒ手法、またはｂｉ−ｃｕｂｉｃ手法を適用した画素値補間処理を実行して、前記第２メモリの各画素位置に対応する画素値を決定する処理を実行することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記類似度算出ステップは、ガボア・フィルタ適用手段が、前記画像変換部において変換された変換入力画像の特徴量抽出位置毎に、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタの応答関数の周波数と角度を切り替えながら、該ガボア・フィルタ係数と画素の畳み込み演算を行なって、フィルタの種類に応じた個数のスカラ値からなるガボア・ジェットを求めるガボア・フィルタ適用ステップと、類似度演算手段が、特徴量抽出位置毎に、入力顔画像のガボア・ジェットと登録顔画像のガボア・ジェットの類似度を演算し、複数の特徴量抽出位置における類似度の集合からなる類似度ベクトルを求める類似度演算ステップとを有し、前記一致判定ステップは、前記類似度ベクトルを基に入力顔画像と登録顔画像が一致するか否かを判定する処理を実行することを特徴とする。

さらに、本発明の第３の側面は、
画像処理装置において、入力顔画像の識別を行なわせるコンピュータ・プログラムであり、
画像変換部に、識別処理の対象となる顔画像を入力させ、入力顔画像に対して画像変換を実行させ、予め定められた設定を持つ画像に正規化する処理を実行させる画像変換ステップと、
類似度算出部に、前記画像変換ステップにおいて変換された変換入力画像から求めた特徴量と、登録画像の特徴量との類似度を算出させる類似度算出ステップと、
一致判定手段に、前記類似度算出ステップにおいて算出した類似度に基づいて入力顔画像と登録顔画像が一致するか否かを判定させる一致判定ステップとを有し、
前記画像変換ステップは、
前記入力顔画像の左右の目の中心を原点として設定した画像変換処理による正規化処理を実行させるステップを有することを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＤＶＤ、ＣＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成によれば、入力画像と登録顔画像との類似度判定による顔識別処理の前処理として実行する入力顔画像の画像変換において、入力顔画像の左右の目の中心を原点として設定した画像変換処理による正規化処理を実行する構成とした。具体的には、正規化前の顔画像を蓄えるＳＲＡＭの原点を左右目位置の中心で画素と画素の間の点とし、正規化後の顔画像を蓄えるＳＲＡＭの原点を固定した画素点とし、正規化前の座標と正規化後の座標が異なる正規化処理を行なう構成としたので、例えば顔識別処理に際して重要となる目、鼻、口といった顔パーツの位置や形の誤差の発生を抑制した画像変換が実現され、正確な登録画像との類似度判定が可能となり、高精度な顔識別処理が実現される。

以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。

顔認識システムにおいては、入力画像から顔画像を抽出する顔抽出処理と、抽出された顔画像と登録画像との照合を実行して、入力顔画像がどの登録画像に対応するかを識別する顔識別処理が実行されることは既に述べた通りである。ここでは、まず顔検出処理と顔識別処理について改めて定義しておく。

顔検出は、ある１枚の画像（１枚の写真や動画像の１ピクチャ（フィールド又はフレーム）に当たる）に対して、人物顔を検出しその位置と大きさを求める処理である。１枚の画において複数の顔が存在することがある。一方、顔識別とは検出されたある１個の顔が以前に登録された顔と同一人物かを識別することを言う。

図１には、本発明の一実施形態に係る顔認識システムの全体構成を模式的に示している。図示の顔認識システム１は、画縮小器１１と、顔検出器１２と、両目位置検出器１３と、顔識別器１４と、複数枚の画像を蓄えるメモリ（ＳＤＲＡＭ）１５で構成される。また、顔検出器１２と、両目位置検出器１３と、顔識別器１４内部にローカル・メモリ（ＳＲＡＭ）を備えている。本システム１への入力は画像であり、本システム１からの出力（Ｙｅｓ／Ｎｏ）は、入力顔画像と登録顔画像とが同一人物であるか否かを示すフラグである。

画縮小器１１では、入力画像に対し水平及び垂直の各方向にそれぞれ１／２にした縮小画像を作成し、原入力画像とともにＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）１５に格納する。図１に示す例では、入力画像を画１、入力画像に対し水平及び垂直方向にそれぞれ１／２にした縮小画像を画１／２、入力画像に対し水平及び垂直方向にそれぞれ１／４にした縮小画像を画１／４として、これら３枚の画像を作成して、ＳＤＲＡＭ１５に格納する。

縮小画像を作成する際、演算精度を考慮すると、入力画像から直接それぞれの縮小画像を作成する方法が望ましい。但し、ハードウェアの規模を考慮して、１／２縮小を順番に施す方法、つまり、始めに入力画像（画１）から画１／２を作成し、次に作成された画１／２から画１／４を作成する方法で実現するようにしてもよい。

顔検出器１２では、入力画像とＳＤＲＡＭ１５に格納されているすべての縮小画像に対して顔を検出し、検出された顔の大きさと顔の位置を求める。顔の位置の検出に関しては、画像全体を検出することで処理速度を考慮しなければ容易に実現可能である。一方、いろいろな大きさの顔の検出に関しては、画像の解像度と検出顔の大きさの相対関係の問題で、画像の解像度を固定にする方法（すなわち、入力画像に対していろいろな大きさの顔検出器を用意する方法）と、検出顔の大きさを固定にする方法（検出できる顔の大きさが固定された１つの顔検出器を用い、入力画像をいろいろな解像度に縮小して検出する方法）が考えられるが、後者の方法が現実的である。したがって、図１に示すように、顔検出器１２では、画縮小器１１で作成された画１、画１／２、画１／４の各縮小画像に対して、２４×２４画素内に顔が存在するか否かを識別する。

なお、縮小率の刻みが１／２、１／４では粗過ぎて精度が不十分である場合には、例えば画縮小器１１で画７／８、画６／８、画５／８の縮小率の画像をさらに作成し、顔検出器１２でそれぞれの縮小率の画像に対しても顔検出を行なうようにすれば良い。

顔検出の特徴抽出として２点画素差分方式を適用することができる。これは、２４×２４画素内において顔の特徴を抽出し易い２点の画素の差分をさまざまな２点で行なう方式である。また、識別器演算としてａｄａｂｏｏｓｔアルゴリズムを用いることができる。

両目位置検出器１３では、両目位置検出は、顔画像を顔認識するための準備として、顔検出器１２によって検出された顔に対して解像度を上げた画像の顔を正規化するために、左右の目の位置を特定する。すなわち、両目位置を検出して、顔検出によって得られた顔の大きさ、顔の位置から、その顔画像の解像度を上げた顔の大きさ、顔の位置、顔の角度を求める。

顔検出器１２では２４×２４画素の解像度で顔検出が行なわれ、顔識別器１４では６０×６６画素の解像度で顔認識が行なわれる。言い換えると、顔識別器１４に必要な解像度は、顔検出器１２のそれより精度を要求される。そこで、顔検出器で検出された顔が画１／２とすると、それよりも解像度の高い画１の同等の顔が存在する場所で且つ目が存在する顔の上部で左右の目を検出する。

両目位置検出の特徴抽出として２点画素差分方式を適用することができる。２点画素差分方式の適用範囲も２４×２４画素であり、顔検出器１２と同じであるので、顔検出器１２と同一のハードウェアで処理時間をシリアルにして実現することができる。

顔識別器１４では、両目位置検出器１３によって左右の目位置が特定された顔画像から顔の大きさ、位置、角度を求め、それらに応じて顔を正規化して６０×６６画素の内部のＳＲＡＭに一旦蓄えて、登録画像と一致するか否かを調べる。

顔識別器１４は、例えば顔認識の特徴抽出としてガボア・フィルタリングを適用する。また、識別器演算としてｇｅｎｔｌｅｂｏｏｓｔを用いる。正規化された顔画像にガボア・フィルタを適用して得られた結果と、以前に登録された画像にガボア・フィルタを適用して得られた結果との類似度を求める。そして、求められた類似度に対してｇｅｎｔｌｅｂｏｏｓｔを施すことによって、登録画と一致したか否か識別する。

図２には、顔識別器１４の構成例を示している。図示の顔識別器１４は、画像変換部１４１と、ガボア・フィルタ適用部１４２と、類似度算出部１４３と、一致判定部１４４を備えている。

画像変換部１４１は、初めに、両目位置検出で検出された両目位置情報に基づいて顔識別に必要である解像度に相当する顔画像を、ＳＤＲＡＭ１５から、顔識別器１４にローカルのＳＲＡＭ１に転送する。次いで、両目位置情報から顔の大きさ、顔の位置、顔の角度を求め、ＳＲＡＭ１にある顔画像の画像変換による正規化処理を実行して、顔識別処理に必要な顔画像を作成して、顔識別器１４に備えられたローカルメモリであるＳＲＡＭ２に格納する。

つまり、画像変換部１４１では、両目位置情報からＳＲＡＭ２の固定した座標に右目、左目の位置を合わせるように、ＳＲＡＭ１の顔画像に対する縮小、シフト、回転処理などの画像変換（正規化）を実行して顔認識に必要な顔画像をＳＲＡＭ２に作成するフィッティング処理を実行する。すなわち、図３に示すように、ＳＲＡＭ１にある顔画像の画像変換による正規化処理を実行してＳＲＡＭ２に格納する。

なお、本発明の装置においては、顔識別処理に際して重要となる目、鼻、口といった顔パーツの位置や形の誤差の発生を抑制した画像変換（正規化）処理を実行する。この処理については、後段で詳細に説明する。

ガボア・フィルタ適用部１４２は、画像変換部１４１において正規化された顔画像に対してガボア・フィルタを適用する。

ガボア・フィルタは、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現される。本実施形態では、フィルタ窓は、図４Ａに示すように２４×２４画素固定とする。そして、図４Ｂに示すような特定の周波数成分のサイン関数又はコサイン関数からなる応答関数にフィルタ窓をかけると、図４Ｃに示すようなガボア・フィルタを作成することができる。また、例えば、０度、２２．５度、４５度、６７．５度、９０度、１１２．５度、１３５度、１５７．５度と２２．５度ずつずらした８方向のサイン関数又はコサイン関数からなる応答関数に対してそれぞれフィルタ窓をかけると、図４Ｄに示すように８通りのガボア・フィルタを作成することができる。さらに、低周波域から高周波域に至る５種類の周波数ｆの応答関数について、同様に８方向の角度θでフィルタ窓をかけることで、図４Ｅに示すように合計で４０種類のガボア・フィルタが構成される。ガボア・フィルタ（ガボア・カーネルＫ（ｘ，ｙ））は、以下の演算式で表される。

ガボア・フィルタの演算は、ガボア・フィルタＧｉ（ｘ，ｙ）を適用する画素Ｉ（ｘ，ｙ）とガボア・フィルタの係数との畳み込みである。ガボア・フィルタの係数は、周波数応答がコサイン関数からなる実部Ｒｅ（ｘ，ｙ）と周波数応答がサイン関数Ｉｍ（ｘ，ｙ）からなる虚部に分離することができ、それぞれに畳み込み演算を実施し、それぞれの成分を合成して、１個のスカラ値からなるガボア・フィルタ結果Ｊｉ（ｘ，ｙ）を求めることができる。但し、（ｘ，ｙ）は特徴量抽出位置の画素位置を示し、ｉは上述した４０通りのガボア・フィルタのうちｉ番目であることを示す。

画像の特徴量抽出位置（ｘ，ｙ）において最大４０種類のガボア・フィルタを適用して得られた最大４０スカラ値の組｛Ｊ１，Ｊ２，…，Ｊ４０｝をガボア・ジェットと呼ぶ。

類似度算出部１４３は、入力画像について算出されたガボア・ジェットＧＳと登録画像のガボア・ジェットＧＲに正規化相関演算を行ない、特徴量抽出位置毎の類似度ｄを求める。

本実施形態では、正規化された６０×６６画素の顔画像のうち、特徴量が抽出し易い８２箇所の特徴量抽出位置（図５を参照のこと）において、正規化相関演算を行ない、類似度を求める。この結果、ｄ０、ｄ１、…、ｄ８１の８２箇所の各特徴量抽出位置で求められた正規化相関演算結果を要素とする類似度ベクトルＤが得られる。

なお、上記では「最大４０種類」のガボア・フィルタを適用することを記述したが、これは８２箇所のすべての特徴量抽出位置において４０種類すべてのガボア・フィルタを適用する必要はないことを意味する。何種類のガボア・フィルタを適用するかは、類似度を抽出する特徴量抽出位置の場所に依存し、場所に応じてガボア・フィルタの種類とその数（ガボア・ジェットの要素数）が異なる。

一致判定部１４４は、入力画と登録画間の類似度ベクトルに基づいて、両画像の一致を判定する。本実施形態では、識別器演算としてｇｅｎｔｌｅｂｏｏｓｔを用いる。ここでは、以下の演算式を用いてｇｅｎｔｌｅｂｏｏｓｔを算出する。但し、同式中のａ、ｑ、ｂは辞書としてあらかじめ登録されているものとする。

そして、以下の判別式に従って、入力画が登録画と一致するかどうかを判定する。

なお、本実施形態では、一致判定にｇｅｎｔｌｅｂｏｏｓｔを用いているが、例えば、サポート・ベクタ・マシーンを用いて類似ベクトルの境界面の値をクラス判定して、顔画像の一致を判定するようにしてもよい。

次に、図１に示す顔識別器１４における画像変換部１４１（図２参照）において実行する画像変換処理の詳細について説明する。先に図３を参照して説明したように、画像変換部１４１では、ＳＲＡＭ１に格納した顔画像を取り出して取り出した顔画像の両目位置情報からＳＲＡＭ２の固定した座標に右目、左目の位置を合わせるように、ＳＲＡＭ１の顔画像に対する縮小、シフト、回転処理などの画像変換（正規化）を実行して顔認識に必要な顔画像をＳＲＡＭ２に作成するフィッティング処理を実行する。本発明の装置においては、顔識別処理に際して重要となる目、鼻、口といった顔パーツの位置や形の誤差の発生を抑制した画像変換（正規化）処理を実行する。以下この画像変換処理の詳細について説明する。

顔識別器１４における画像変換部１４１は、まず、ＳＤＲＡＭ１５（図１参照）上にある画像の顔領域部分をＳＲＡＭ１（図２参照）に書き込む処理（ライト）を実行する。画像変換部１４１は、ＳＲＡＭ１（図２参照）に書き込んだ画像から顔画像領域を取り出してフィッティング処理としての画像変換を実行して、処理結果をＳＲＡＭ２に書き込む。フィッティング処理は、ＳＲＡＭ１の画像を正規化してＳＲＡＭ２に作成する処理である。本装置における正規化とは、顔画像の位置合わせ、回転、拡大縮小処理の少なくともいずれかの処理を含む画像変換処理である。

図６を参照して、画像変換部１４１において実行する画像変換処理の詳細について説明する。図６は、画像変換部１４１の詳細構成を示す図である。画像変換部１４１の演算部２０３は、まず、ＳＤＲＡＭ２００上からＳＲＡＭ１，２０１に書き込まれた顔画像を読み取り、さらに目位置検出部２０２からＳＲＡＭ１，２０１に書き込まれた顔画像の左右目位置座標を入力する。

演算部２０３は、この座標データに基づいて、フィッティング処理として実行する画像変換に適用する顔画像の回転角度、倍率、原点位置を求める。さらに座標変換部２０５は、求めた角度・倍率・原点からＳＲＡＭ２，２５１の各々の画素がＳＲＡＭ１，２０１のどこの位置に相当するのかを小数精度で求める。例えば、図７に示すＳＲＡＭ２，２５１の画素（ｐ，ｑ）が、ＳＲＡＭ１，２０１のメモリ上の画素位置（ｍ，ｎ）を算出する。例えば図７に示すＳＲＡＭ２，２５１が６０×６６画素情報を格納するメモリである場合、６０×６６の画素中の顔領域に含まれる各画素位置に対応するＳＲＡＭ１，２０１のメモリ上の画素位置（ｍ，ｎ）を算出する。この場合、ＳＲＡＭ１，２０１のメモリ上の画素位置（ｍ．ｎ）のｍやｎは整数値とならない場合もあるが、演算部は、対応画素位置（ｍ，ｎ）について、整数部のみならず、小数部、例えば小数点以下２桁等の精度で対応画素位置（ｍ，ｎ）を算出する。

この座標変換部２０５の算出した対応画素位置情報に基づいて、図６に示す補間処理部２０７が、ＳＲＡＭ２，２５１の各々の画素の画素値を決定する。すなわち、座標変換部２０５の算出した対応画素位置情報において、ＳＲＡＭ２，２５１の画素（ｐ，ｑ）に対応するＳＲＡＭ１，２０１のメモリ上の画素位置（ｍ．ｎ）が整数値ｍ，ｎを持つ場合は、ＳＲＡＭ２，２５１の画素（ｐ，ｑ）の画素値は、対応するＳＲＡＭ１，２０１のメモリ上の画素位置（ｍ．ｎ）の画素値として設定するが、対応画素位置（ｍ，ｎ）のｍまたはｎの値が整数値とならず小数部を持つときは、対応画素位置（ｍ，ｎ）周囲のＳＲＡＭ１画素の画素値に基づく補間処理によって、ＳＲＡＭ２，２５１の画素（ｐ，ｑ）の画素値を決定する。

図６に示す画像変換部１４１の補間処理部２０７の実行する画素補間処理について、図８を参照して説明する。補間処理部２０７の実行する画素補間処理が、ｂｉ−ｌｉｎｅａｒ手法である場合、図８（ａ）に示すように、ＳＲＡＭ１，２０１上の対応画素位置（ｍ，ｎ）の周囲画素４点（ＳＲＡＭ１，２０１整数部座標）と周囲４画素までの距離（ＳＲＡＭ１小数部座標）を求める。また、補間処理部２０７の実行する画素補間処理が、ｂｉ−ｃｕｂｉｃ手法である場合は、図８（ｂ）に示すように、ＳＲＡＭ１，２０１上の対応画素位置（ｍ，ｎ）周りの画素１６点（ＳＲＡＭ１，２０１整数部座標）と周り１６画素までの距離（ＳＲＡＭ１小数部座標）を求める。

次に求めたＳＲＡＭ１，２０１における整数部座標の画素とＳＲＡＭ１，２０１における小数部座標データを適用して各画素値の寄与度としての重みを算出し、算出した重みに基づいてＳＲＡＭ２，２５１の対応画素（ｐ，ｑ）の画素値を算出して、ＳＲＡＭ２に記録（ライト）する画素値を算出する。

このようにして、ＳＲＡＭ１，２０１に格納された画像の各構成画素値に基づいて、ＳＲＡＭ２，２５１に格納する画像の画素値が決定されることになる。なお、先に説明したように、画像変換部１４１の演算部２０３は、まず、ＳＤＲＡＭ２００上からＳＲＡＭ１，２０１に書き込まれた顔画像を読み取り、さらに目位置検出部２０２からＳＲＡＭ１，２０１に書き込まれた顔画像の左右目位置座標を入力し、この座標データに基づいて、フィッティング処理として実行する画像変換に適用する顔画像の回転角度、倍率、原点位置を求める。さらに演算部２０３は、求めた角度・倍率・原点からＳＲＡＭ２，２５１の各々の画素がＳＲＡＭ１，２０１のどこの位置に相当するのかを小数精度で求める。

このフィッティング処理は、登録画像との照合処理をより正確に実行するための正規化処理として実行される画像変換処理である。この正規化処理（画像変換処理）について、以下説明する。演算部２０３は、はじめに正規化された顔画像を蓄えるＳＲＡＭ２，２５１の座標を定義する。

本実施例に従った正規化処理では、まず、正規化された顔画像を蓄積するＳＲＡＭ２，２５１上の左右の目の位置の座標を決定する。すなわち、左右の目の位置のＳＲＡＭ２，２５１の固定座標を決定する。具体的には、例えば、次のような処理によって、ＳＲＡＭ２，２５１の固定座標を割り当てる。

図９に示すように、正規化（画像変換処理）後の顔画像を格納するＳＲＡＭ２，２５１の顔画像格納領域の画素座標（ｘ，ｙ）とし、
横軸（Ｘ軸）：サイズ６０画素、ｘ＝−２９〜＋３０、
縦軸（Ｙ軸）：サイズ６６画素、ｙ＝−３９〜＋２６、
とした場合の処理例について説明する。

このようなＳＲＡＭ２，２５１の顔画像格納領域の座標において、右目位置の（ｘ，ｙ）座標を（−１１，０）、左目位置の（ｘ，ｙ）座標を（１１，０）に割り当てる。また原点の（ｘ，ｙ）座標を右目位置と左目位置の中心（０，０）とする。

次に、正規化前の顔画像を格納したＳＲＡＭ１，２０１の座標を割り当てる。ＳＲＡＭ１，２０１に格納する顔画像データは、図６に示すＳＤＲＡＭ２００に格納された顔画像に対応しており、まずＳＤＲＡＭ２００上での座標を考える。図６に示す目位置検出部２０２において、ＳＤＲＡＭ２００上での左右目位置情報が取得され、この情報が演算部２０３に入力される。なお、検出された左右目位置は、ＳＤＲＡＭの特定の画素に対応するとは限らない。さらに左右目位置の中心もＳＤＲＡＭ上に規定される特定の画素に対応するとは限らない。

つまり、正規化後の顔画像を格納するＳＲＡＭ２．２５１において設定する原点である左右の目の中心に対応するＳＤＲＡＭ上の原点（左右目の中心）座標は、ＳＤＲＡＭ上の特定の画素位置に対応するとは限らない。
ＳＤＲＡＭ上の原点（左右目の中心）座標を、
（ｏｒｇ＿ｄｒｘ，ｏｒｇ＿ｄｒｙ）
とする。

ＳＤＲＡＭ２００上の原点（左右目の中心）座標（ｏｒｇ＿ｄｒｘ，ｏｒｇ＿ｄｒｙ）
は、ＳＤＲＡＭ２００上のある画素（ｘ，ｙ）に対し次の範囲に存在する。
ｘ＜＝ｏｒｇ＿ｄｒｘ＜ｘ＋１
ｙ＜＝ｏｒｇ＿ｄｒｙ＜ｙ＋１
ＳＤＲＡＭ２００上の画素を切り出してＳＲＡＭ１，２０１に格納（ライト）するときは、ＳＤＲＡＭ２００上の画素（ｘ，ｙ）をＳＲＡＭ１，２０１の原点（０，０）に合わせる。

図１０に示すように、正規化（画像変換処理）前の顔画像を格納するＳＲＡＭ１，２０１の顔画像格納領域の画素座標（ｘ，ｙ）とし、
横軸（Ｘ軸）：サイズ１９２画素、ｘ＝−９５＋９６、
縦軸（Ｙ軸）サイズ１８０画素、ｙ＝−１０７〜＋７２、
とする。

この設定とすると、ＳＤＲＡＭ２００上の原点（左右目の中心）座標（ｏｒｇ＿ｄｒｘ，ｏｒｇ＿ｄｒｙ）に対応するＳＲＡＭ１，２０１上の原点位置（ｏｒｇ＿ｓ１ｘ，ｏｒｇ＿ｓ１ｙ）は、図１０に示すように次の範囲に存在する。
０＜＝ｏｒｇ＿ｓ１ｘ＜１
０＜＝ｏｒｇ＿ｓ１ｙ＜１

図１０に示すＳＲＡＭ１，２０１の原点領域の近傍を拡大した図を図１１に示す。ＳＲＡＭ２の原点に対応する図に示す［▲］は、ＳＲＡＭ１における座標系では、
０＜＝ｏｒｇ＿ｓ１ｘ＜１
０＜＝ｏｒｇ＿ｓ１ｙ＜１
の位置にある。ここで、
ｏｒｇ＿ｓ１ｘ＿ｉｎｔ：ＳＲＡＭ１の原点座標ｘの整数部、
ｏｒｇ＿ｓ１ｘ＿ｆｒｃ：ＳＲＡＭ１の原点座標ｘの小数部、
ｏｒｇ＿ｓ１ｙ＿ｉｎｔ：ＳＲＡＭ１の原点座標ｙの整数部、
ｏｒｇ＿ｓ１ｙ＿ｆｒｃ：ＳＲＡＭ１の原点座標ｙの小数部、
とすると、
ｏｒｇ＿ｓ１ｘ＿ｉｎｔ＝０、
ｏｒｇ＿ｓ１ｙ＿ｉｎｔ＝０、
となる。

このように、正規化（画像変換処理）後の画像を格納するＳＲＡＭ２，２５１における原点はＳＲＡＭ２座標系における原点（０，０）座標であるが、図１０、図１１を参照して説明したように、正規化（画像変換処理）前の画像を格納しているＳＲＡＭ１，２０１におけるこの原点の対応するＳＲＡＭ２座標系の座標位置は（０，０）とならず、
０＜＝ｏｒｇ＿ｓ１ｘ＜１
０＜＝ｏｒｇ＿ｓ１ｙ＜１
となる（ｏｒｇ＿ｓ１ｘ，ｏｒｇ＿ｓ１ｘ）となる。

従って、ＳＲＡＭ１，２０１に格納された顔画像を正規化（画像変換）してＳＲＡＭ２，２５１に格納する場合は、ＳＲＡＭ２，２５１の各座標がＳＲＡＭ１，２０１の座標系のどこに対応するかを求める処理が必要となる。

すなわち、ＳＲＡＭ１，２０１に記録された顔画像に対する正規化（画像変換）処理として、画像の縮小処理、回転処理、平行移動処理の少なくともいずれかの処理を実行してＳＲＡＭ２，２５１に正規化後画像を格納する場合、正規化後の画像格納メモリであるＳＲＡＭ２，２５１の各座標が、正規化前の画像格納メモリであるＳＲＡＭ１，２０１の座標系のどこに対応するかを求める処理が必要となる。図６に示す画像変換部１４１の演算部２０３では、対応を求めるために必要となる画像変換パラメータとしての回転角度、変換倍率、原点情報を求め、これらの変換パラメータを座標変換部２０５に出力する。

座標変換部２０５では、演算部２０３から入力するこれらの変換パラメータを適用して、ＳＲＡＭ２，２５１の座標各々に対応するＳＲＡＭ１，２０１の座標を算出する。なお、この処理に際して、座標変換部２０５は、図６に示す画像変換部１４１のアドレス作成部２０４から、ＳＤＲＡＭ２００やＳＲＡＭ１，２０１における顔画像格納領域の画素位置に対応するアドレスを受領して、対応画素位置算出を実行する。この算出結果が補間処理部２０７に出力され、補間処理部２０７では、先に図８を参照して説明したｂｉ−ｌｉｎｅａｒ手法、あるいはｂｉ−ｃｕｂｉｃ手法を適用した画素値補間処理を実行して、画素値を決定して、決定した画素値をＳＲＡＭ２，２５１の各座標位置に書き込む。

図１２を参照して、正規化処理において必要とする対応画素算出処理、すなわち、正規化後の画像格納メモリであるＳＲＡＭ２，２５１の各座標が、正規化前の画像格納メモリであるＳＲＡＭ１，２０１の座標系のどこに対応するかを求める処理の詳細について説明する。図１２には、入力画像を格納したＳＤＲＡＭ２００、ＳＤＲＡＭ２００に格納された顔画像領域を切り出して格納するＳＲＡＭ１，２０１、ＳＲＡＭ１，２０１に格納された顔画像の正規化（画像変換）処理を実行して、正規化（変換処理）後の画像を格納するＳＲＡＭ２，２５２のメモリ領域を示している。

ＳＤＲＡＭ２００、ＳＲＡＭ１，２０１、ＳＲＡＭ２，２５１のそれぞれのメモリ領域は、図１２に示すように、
ＳＤＲＡＭ：３２０×２４０画素
ＳＲＡＭ１：１９２×１８０画素
ＳＲＡＭ２：６０×６６画素
とする。

また、正規化処理後にＳＲＡＭ２，２５１に格納される顔画像における原点を、ＳＲＡＭ２，２５１に格納される顔画像の左右の目の中心位置として、この座標ＳＲＡＭ２座標系における原点（０，０）とする。ＳＲＡＭ２，２５１に格納される顔画像の左右の目の距離を［Ｐ］、例えば２２画素とする。

正規化前の画像を格納しているＳＲＡＭ１，２０１における顔画像の左目および右目座標、および左右目の中心である原点の座標を、図１２に示すように、
左目座標（ｌｅｘ，ｌｅｙ）、
右目座標（ｒｅｘ，ｒｅｙ）、
原点座標（ｃｅｘ，ｃｅｙ）、
とする。また、
左目座標（ｌｅｘ，ｌｅｙ）と右目座標（ｒｅｘ，ｒｅｙ）との距離を［ｃ］とし、
左目座標（ｌｅｘ，ｌｅｙ）と右目座標（ｒｅｘ，ｒｅｙ）とのｘ座標差分を［ａ］、
左目座標（ｌｅｘ，ｌｅｙ）と右目座標（ｒｅｘ，ｒｅｙ）とのｙ座標差分を［ｂ］、
とする。
ａ，ｂ，ｃは、図１２に示すＳＲＡＭ１，２０１内の直角三角形の辺の長さに相当し、
ｃ^２＝ａ^２＋ｂ^２、
の関係を持つ。辺ａとｃのなす角をθとする。

ここで、正規化前の画像格納メモリであるＳＲＡＭ１，２０１の座標系、および、正規化後の画像格納メモリであるＳＲＡＭ２，２５１の座標系における（ｘ，ｙ）座標を以下のように定義する。
ｓ１ｘ：ＳＲＡＭ１座標系におけるｘ座標、
ｓ１ｙ：ＳＲＡＭ１座標系におけるｙ座標、
ｓ２ｘ：ＳＲＡＭ２座標系におけるｘ座標、
ｓ２ｙ：ＳＲＡＭ２座標系におけるｙ座標、
このように定義する。

座標変換部２０５では、正規化後の画像格納メモリであるＳＲＡＭ２の座標（ｓ２ｘ，ｓ２ｙ）の各々について以下の式（式１）に基づいて、正規化前の画像格納メモリであるＳＲＡＭ１，２０１の座標（ｓ１ｘ，ｓ１ｙ）を算出する。
ｓ１ｘ＝（ｃ／Ｐ）×（（ｓ２ｘ）×ｃｏｓθ＋ｓ２ｙ×ｓｉｎθ）＋（ｏｒｇ＿ｓ１ｘ＿ｆｒｃ）
＝（ａ×ｓ２ｘ＋ｂ×ｓ２ｙ）／Ｐ＋（ｏｒｇ＿ｓ１ｘ＿ｆｒｃ）
ｓ１ｙ＝（ｃ／Ｐ）×（（−ｓ２ｘ）×ｓｉｎθ＋ｓ２ｙ×ｃｏｓθ）＋（ｏｒｇ＿ｓ１ｙ＿ｆｒｃ）
＝（−ｂ×ｓ２ｘ＋ａ×ｓ２ｙ）／Ｐ＋（ｏｒｇ＿ｓ１ｙ＿ｆｒｃ）
・・・（式１）

なお、上記式（式１）において、
ａ＝（ｌｅｘ）−（ｒｅｘ）、
ｂ＝ｌｅｙ−ｒｅｙ、
ｃ＝√（ａ×ａ＋ｂ×ｂ）、
ｃｏｓθ＝ａ／ｃ、
ｓｉｎθ＝ｂ／ｃ、
である。

座標変換部２０５では、上記式（式１）を適用して、正規化後の画像格納メモリであるＳＲＡＭ２の座標（ｓ２ｘ，ｓ２ｙ）の各々について正規化前の画像格納メモリであるＳＲＡＭ１，２０１の座標（ｓ１ｘ，ｓ１ｙ）を算出する。

演算部２０３は、上記式（式１）において適用する変換パラメータとしての回転角度、変換倍率、原点情報を求め、これらの変換パラメータを座標変換部２０５に出力する。上記式（式１）において、
変換倍率（画像縮小処理パラメータ）：（ｃ／Ｐ）
回転角度（画像回転処理パラメータ）：θ、
原点情報（画像平行移動処理パラメータ）：（ｏｒｇ＿ｓ１ｘ＿ｆｒｃ，ｏｒｇ＿ｓ１ｙ＿ｆｒｃ）
である。
なお、原点情報（画像平行移動処理パラメータ）は、ＳＲＡＭ１座標系におけるＳＲＡＭ２における原点に対応する位置を示す情報（図１１参照）である。演算部２０３では、ＳＲＡＭ２，２５１の原点情報と、ＳＲＡＭ１，２０１に格納された顔画像情報とに基づいて、上記の各変換パラメータ：回転角度、変換倍率、原点情報を求め、これらの変換パラメータを座標変換部２０５に出力する。

座標変換部２０５は、カウンタ２０６から、ＳＲＡＭ２，２５１の各画素（ｓ２ｘ，ｓ２ｙ）のカウント値を入力して、１画素毎に、上記式（式１）を適用して、ＳＲＡＭ２，２５１の各画素（ｓ２ｘ，ｓ２ｙ）に対応するＳＲＡＭ１の画素位置（ｓ１ｘ，ｓ１ｙ）を算出する。

この算出結果が補間処理部２０７に出力され、補間処理部２０７では、先に図８を参照して説明したｂｉ−ｌｉｎｅａｒ手法、あるいはｂｉ−ｃｕｂｉｃ手法を適用した画素値補間処理を実行し画素値を決定して、決定した画素値がＳＲＡＭ２，２５１の各座標位置に書き込まれる。なお、カウンタ２０６から、ＳＲＡＭ２，２５１の各画素（ｓ２ｘ，ｓ２ｙ）のカウント値がＳＲＡＭ２の書き込みアドレスとして入力され、アドレス位置に従って、決定した画素値の書き込みが実行される。

補間処理部２０７における画素値の決定処理例の一例として、ｂｉ−ｌｉｎｅａｒ手法を適用した処理例について図１３を参照して説明する。図１３には、ＳＲＡＭ１座標系において、ＳＲＡＭ２のある１つの座標点（ｓ２ｘ，ｓ２ｙ）のＳＲＡＭ１座標系における対応点［★］３０１を示している。

対応点［★］３０１は、ＳＲＡＭ２の座標系では、特定の１つの座標点に対応せず、複数の座標点（ｅ，ｆ，ｇ，ｈ）に囲まれた位置にある。座標点Ｅ，Ｆ，Ｇ，Ｈの各々は、ＳＲＡＭ１座標の座標点であり、以下の座標を持つ。
Ｅ＝（ｓ１ｘ＿ｉｎｔ，ｓ１ｙ＿ｉｎｔ）
Ｆ＝（ｓ１ｘ＿ｉｎｔ＋１，ｓ１ｙ＿ｉｎｔ）
Ｇ＝（ｓ１ｘ＿ｉｎｔ，ｓ１ｙ＿ｉｎｔ＋１）
Ｈ＝（ｓ１ｘ＿ｉｎｔ＋１，ｓ１ｙ＿ｉｎｔ＋１）

これらの画素点Ｅ，Ｆ，Ｇ，Ｈには、それぞれ画素値が設定されている。ここで、画素点Ｅ，Ｆ，Ｇ，Ｈの各画素値をそれぞれｅ，ｆ，ｇ，ｈとする。このとき、補間処理部２０７は、ＳＲＡＭ２の座標点（ｓ２ｘ，ｓ２ｙ）に設定する画素値［Ｑ］を、ｂｉ−ｌｉｎｅａｒ手法を適用して以下の計算式（式２）によって算出する。
Ｑ＝［（１−ｓ１ｘ＿ｆｒｃ）×（１−ｓ１ｙ＿ｆｒｃ）×ｅ＋（ｓ１ｘ＿ｆｒｃ）×（１−ｓ１ｙ＿ｆｒｃ）×ｆ＋（１−ｓ１ｘ＿ｆｒｃ）×（ｓ１ｙ＿ｆｒｃ）×ｇ＋（ｓ１ｘ＿ｆｒｃ）×（ｓ１ｙ＿ｆｒｃ）×ｈ］／４
・・・（式２）

上記式（式２）は、ｂｉ−ｌｉｎｅａｒ手法による画素値補間処理であり、先に図８（ａ）を参照して説明した処理に従った画素値決定処理である。すなわち、ＳＲＡＭ２の画素（ｓ２ｘ，ｓ２ｙ）に対応するＳＲＡＭ１上の対応画素位置［★］と、周囲画素４点（Ｅ，Ｆ，Ｇ，Ｈ）との距離（ＳＲＡＭ１小数部座標）を求め、求めた距離に基づいて、各画素値の寄与度としての重みを算出し、算出した重みに基づいてＳＲＡＭ２の画素（ｓ２ｘ，ｓ２ｙ）の画素値を算出する処理である。上記式によって、
決定した画素値がＳＲＡＭ２，２５１の各座標位置に書き込まれる。

なお、前述したように、補間処理部２０７における画素値の決定処理手法としては、上述のｂｉ−ｌｉｎｅａｒ手法に限らず、ｂｉ−ｃｕｂｉｃ手法等の他の手法を適用してもよい。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書では、顔認識装置に適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。顔画像データの変換を実行して、メモリに格納、あるいはディスプレイに出力する処理を行なう様々な画像処理装置において適用可能である。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

本発明の一実施例の構成によれば、入力画像と登録顔画像との類似度判定による顔識別処理の前処理として実行する入力顔画像の画像変換において、入力顔画像の左右の目の中心を原点として設定した画像変換処理による正規化処理を実行する構成とした。具体的には、正規化前の顔画像を蓄えるＳＲＡＭの原点を左右目位置の中心で画素と画素の間の点とし、正規化後の顔画像を蓄えるＳＲＡＭの原点を固定した画素点とし、正規化前の座標と正規化後の座標が異なる正規化処理を行なう構成としたので、例えば顔識別処理に際して重要となる目、鼻、口といった顔パーツの位置や形の誤差の発生を抑制した画像変換が実現され、正確な登録画像との類似度判定が可能となり、高精度な顔識別処理が実現される。

図１は、本発明の一実施形態に係る顔認識システムの全体構成を模式的に示した図である。 図２は、顔識別器１４の構成例を示した図である。 図３は、検出された顔画像を、縮小、シフト、回転変換して顔認識に必要な顔画像に正規化する様子を示した図である。 図４Ａは、２４×２４画素固定で構成されるガウス関数からなるフィルタ窓を示した図である。 図４Ｂは、サイン関数又はコサイン関数からなる応答関数を示した図である。 図４Ｃは、図４Ｂに示した応答関数に図４Ａに示したフィルタ窓をかけて得られるガボア・フィルタを示した図である。 図４Ｄは、２２．５度ずつずらした８方向の応答関数についてそれぞれフィルタ窓をかけて得られる８通りのガボア・フィルタを示した図である。 図４Ｅは、５種類の周波数ｆの応答関数について、同様に８方向の角度θでフィルタ窓をかけて得られる４０種類のガボア・フィルタを示した図である。 図５は、正規化された６０×６６画素の顔画像に設けられた８２箇所の特徴量抽出位置を示した図である。 図６は、画像変換部１４１において実行する画像変換処理の詳細について説明する図である。 図７は、ＳＲＡＭ２の画素位置二対応するＳＲＡＭ１の画素位置を求める処理について説明する図である。 図８は、画像変換部１４１の補間処理部２０７の実行する画素補間処理について説明する図である。 図９は、正規化（画像変換処理）後の顔画像を格納するＳＲＡＭ２，２５１の顔画像格納領域の画素の構成を示した図である。 図１０は、正規化（画像変換処理）前の顔画像を格納するＳＲＡＭ１，２０１の顔画像格納領域の画素の構成を示した図である。 図１１は、図１０に示すＳＲＡＭ１，２０１の原点領域の近傍を拡大した図である。 図１２は、正規化処理において必要とする対応画素算出処理について説明する図である。 図１３は、補間処理部２０７における画素値の決定処理例の一例として、ｂｉ−ｌｉｎｅａｒ手法を適用した処理例について説明する図である。

符号の説明

１ 顔認識システム
１１ 画縮小器
１２ 顔検出器
１３ 両目位置検出器
１４ 顔識別器
１５ メモリ
１４１ 画像変換部
１４２ ガボア・フィルタ適用部
１４３ 類似度算出部
１４４ 一致判定部
２００ ＳＤＲＡＭ
２０１ ＳＲＡＭ１
２０２ 目位置検出部
２０３ 演算部
２０４ アドレス作成部
２０５ 座標変換部
２０６ カウンタ
２０７ 補間処理部
２５１ ＳＲＡＭ２

Claims (15)

1. 入力顔画像の識別処理を行なう画像処理装置であって、
   識別処理の対象となる顔画像を入力し、入力顔画像に対して画像変換を実行し、予め定められた設定を持つ画像に正規化する処理を実行する画像変換部と、
   前記画像変換部において変換された変換入力画像から求めた特徴量と、登録画像の特徴量との類似度を算出する類似度算出部と、
   前記類似度算出部の算出した類似度に基づいて入力顔画像と登録顔画像が一致するか否かを判定する一致判定手段を備え、
   前記画像変換部は、
   前記入力顔画像の左右の目の中心を原点として設定した画像変換処理による正規化処理を実行する構成であることを特徴とする画像処理装置。
2. 前記画像変換部は、
   正規化処理の対象とする顔画像を格納した第１メモリから、顔画像を取得して画像変換による正規化を実行して正規化後の顔画像を第２メモリに格納する処理を実行する構成であり、
   前記第２メモリの各画素位置に対応する前記第１メモリの対応点を算出するための変換パラメータを算出する演算部と、
   前記演算部の算出した変換パラメータに基づいて、前記第２メモリの各画素位置に対応する前記第１メモリの対応点を算出する座標変換部と、
   前記座標変換部の算出した対応点情報に従って、前記第２メモリの各画素位置に対応する画素値を決定する補間処理部と、
   を有する構成であることを特徴とする請求項１に記載の画像処理装置。
3. 前記演算部は、
   前記変換パラメータとして、前記第１メモリに格納された顔画像を前記第２メモリに格納する顔画像に変換する際に適用する画像縮小処理、または画像回転処理、または画像平行移動処理の少なくともいずれかの処理を規定する変換パラメータを算出し、
   前記座標変換部は、
   画像縮小処理、または画像回転処理、または画像平行移動処理の少なくともいずれかの処理を規定する変換パラメータを適用して、前記第２メモリの各画素位置に対応する前記第１メモリの対応点を算出する処理を実行する構成であることを特徴とする請求項２に記載の画像処理装置。
4. 前記座標変換部は、
   ｓ１ｘを前記第１メモリ座標系におけるｘ座標、
   ｓ１ｙを前記第１メモリ座標系におけるｙ座標、
   ｓ２ｘを前記第２メモリ座標系におけるｘ座標、
   ｓ２ｙを前記第２メモリ座標系におけるｙ座標、
   とし、
   前記演算部から入力する
   画像縮小処理パラメータを（ｃ／Ｐ）、
   画像回転処理パラメータをθ、
   画像平行移動処理パラメータを（ｏｒｇ＿ｓ１ｘ＿ｆｒｃ）および（ｏｒｇ＿ｓ１ｙ＿ｆｒｃ）、
   としたとき、
   前記第２メモリの座標（ｓ２ｘ，ｓ２ｙ）の各々について下式、
   ｓ１ｘ＝（ｃ／Ｐ）×（（ｓ２ｘ）×ｃｏｓθ＋ｓ２ｙ×ｓｉｎθ）＋（ｏｒｇ＿ｓ１ｘ＿ｆｒｃ）
   ｓ１ｙ＝（ｃ／Ｐ）×（（−ｓ２ｘ）×ｓｉｎθ＋ｓ２ｙ×ｃｏｓθ）＋（ｏｒｇ＿ｓ１ｙ＿ｆｒｃ）
   上記式に基づいて、正規化前の画像格納メモリである前記第１メモリの座標（ｓ１ｘ，ｓ１ｙ）を算出する構成であることを特徴とする請求項３に記載の画像処理装置。
5. 前記平行移動処理パラメータ（ｏｒｇ＿ｓ１ｘ＿ｆｒｃ，ｏｒｇ＿ｓ１ｙ＿ｆｒｃ）は、前記第１メモリ座標系における前記第２メモリの原点に対応する位置を示す情報であることを特徴とする請求項４に記載の画像処理装置。
6. 前記補間処理部は、
   前記座標変換部の算出した対応点情報を適用し、ｂｉ−ｌｉｎｅａｒ手法、またはｂｉ−ｃｕｂｉｃ手法を適用した画素値補間処理を実行して、前記第２メモリの各画素位置に対応する画素値を決定する処理を実行する構成であることを特徴とする請求項２に記載の画像処理装置。
7. 前記類似度算出部は、
   前記画像変換部において変換された変換入力画像の特徴量抽出位置毎に、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタの応答関数の周波数と角度を切り替えながら、該ガボア・フィルタ係数と画素の畳み込み演算を行なって、フィルタの種類に応じた個数のスカラ値からなるガボア・ジェットを求めるガボア・フィルタ適用手段と、
   特徴量抽出位置毎に、入力顔画像のガボア・ジェットと登録顔画像のガボア・ジェットの類似度を演算し、複数の特徴量抽出位置における類似度の集合からなる類似度ベクトルを求める類似度演算手段とを有し、
   前記一致判定手段は、
   前記類似度ベクトルを基に入力顔画像と登録顔画像が一致するか否かを判定する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
8. 画像処理装置において、入力顔画像の識別処理を行なう画像処理方法であって、
   画像変換部が、識別処理の対象となる顔画像を入力し、入力顔画像に対して画像変換を実行し、予め定められた設定を持つ画像に正規化する処理を実行する画像変換ステップと、
   類似度算出部が、前記画像変換ステップにおいて変換された変換入力画像から求めた特徴量と、登録画像の特徴量との類似度を算出する類似度算出ステップと、
   一致判定手段が、前記類似度算出ステップにおいて算出した類似度に基づいて入力顔画像と登録顔画像が一致するか否かを判定する一致判定ステップとを有し、
   前記画像変換ステップは、
   前記入力顔画像の左右の目の中心を原点として設定した画像変換処理による正規化処理を実行するステップを有することを特徴とする画像処理方法。
9. 前記画像変換ステップは、
   正規化処理の対象とする顔画像を格納した第１メモリから、顔画像を取得して画像変換による正規化を実行して正規化後の顔画像を第２メモリに格納する処理を実行するステップを有し、
   演算部が、前記第２メモリの各画素位置に対応する前記第１メモリの対応点を算出するための変換パラメータを算出する演算ステップと、
   座標変換部が、前記演算ステップにおいて算出した変換パラメータに基づいて、前記第２メモリの各画素位置に対応する前記第１メモリの対応点を算出する座標変換ステップと、
   補間処理部が、前記座標変換ステップにおいて算出した対応点情報に従って、前記第２メモリの各画素位置に対応する画素値を決定する補間処理ステップと、
   を有することを特徴とする請求項８に記載の画像処理方法。
10. 前記演算ステップは、
    前記変換パラメータとして、前記第１メモリに格納された顔画像を前記第２メモリに格納する顔画像に変換する際に適用する画像縮小処理、または画像回転処理、または画像平行移動処理の少なくともいずれかの処理を規定する変換パラメータを算出し、
    前記座標変換ステップは、
    画像縮小処理、または画像回転処理、または画像平行移動処理の少なくともいずれかの処理を規定する変換パラメータを適用して、前記第２メモリの各画素位置に対応する前記第１メモリの対応点を算出する処理を実行することを特徴とする請求項９に記載の画像処理方法。
11. 前記座標変換ステップは、
    ｓ１ｘを前記第１メモリ座標系におけるｘ座標、
    ｓ１ｙを前記第１メモリ座標系におけるｙ座標、
    ｓ２ｘを前記第２メモリ座標系におけるｘ座標、
    ｓ２ｙを前記第２メモリ座標系におけるｙ座標、
    とし、
    前記演算部から入力する
    画像縮小処理パラメータを（ｃ／Ｐ）、
    画像回転処理パラメータをθ、
    画像平行移動処理パラメータを（ｏｒｇ＿ｓ１ｘ＿ｆｒｃ）および（ｏｒｇ＿ｓ１ｙ＿ｆｒｃ）、
    としたとき、
    前記第２メモリの座標（ｓ２ｘ，ｓ２ｙ）の各々について下式、
    ｓ１ｘ＝（ｃ／Ｐ）×（（ｓ２ｘ）×ｃｏｓθ＋ｓ２ｙ×ｓｉｎθ）＋（ｏｒｇ＿ｓ１ｘ＿ｆｒｃ）
    ｓ１ｙ＝（ｃ／Ｐ）×（（−ｓ２ｘ）×ｓｉｎθ＋ｓ２ｙ×ｃｏｓθ）＋（ｏｒｇ＿ｓ１ｙ＿ｆｒｃ）
    上記式に基づいて、正規化前の画像格納メモリである前記第１メモリの座標（ｓ１ｘ，ｓ１ｙ）を算出することを特徴とする請求項１０に記載の画像処理方法。
12. 前記平行移動処理パラメータ（ｏｒｇ＿ｓ１ｘ＿ｆｒｃ，ｏｒｇ＿ｓ１ｙ＿ｆｒｃ）は、前記第１メモリ座標系における前記第２メモリの原点に対応する位置を示す情報であることを特徴とする請求項１１に記載の画像処理方法。
13. 前記補間処理ステップは、
    前記座標変換部の算出した対応点情報を適用し、ｂｉ−ｌｉｎｅａｒ手法、またはｂｉ−ｃｕｂｉｃ手法を適用した画素値補間処理を実行して、前記第２メモリの各画素位置に対応する画素値を決定する処理を実行することを特徴とする請求項９に記載の画像処理方法。
14. 前記類似度算出ステップは、
    ガボア・フィルタ適用手段が、前記画像変換部において変換された変換入力画像の特徴量抽出位置毎に、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタの応答関数の周波数と角度を切り替えながら、該ガボア・フィルタ係数と画素の畳み込み演算を行なって、フィルタの種類に応じた個数のスカラ値からなるガボア・ジェットを求めるガボア・フィルタ適用ステップと、
    類似度演算手段が、特徴量抽出位置毎に、入力顔画像のガボア・ジェットと登録顔画像のガボア・ジェットの類似度を演算し、複数の特徴量抽出位置における類似度の集合からなる類似度ベクトルを求める類似度演算ステップとを有し、
    前記一致判定ステップは、
    前記類似度ベクトルを基に入力顔画像と登録顔画像が一致するか否かを判定する処理を実行することを特徴とする請求項８に記載の画像処理方法。
15. 画像処理装置において、入力顔画像の識別を行なわせるコンピュータ・プログラムであり、
    画像変換部に、識別処理の対象となる顔画像を入力させ、入力顔画像に対して画像変換を実行させ、予め定められた設定を持つ画像に正規化する処理を実行させる画像変換ステップと、
    類似度算出部に、前記画像変換ステップにおいて変換された変換入力画像から求めた特徴量と、登録画像の特徴量との類似度を算出させる類似度算出ステップと、
    一致判定手段に、前記類似度算出ステップにおいて算出した類似度に基づいて入力顔画像と登録顔画像が一致するか否かを判定させる一致判定ステップとを有し、
    前記画像変換ステップは、
    前記入力顔画像の左右の目の中心を原点として設定した画像変換処理による正規化処理を実行させるステップを有することを特徴とするコンピュータ・プログラム。