JP2011013818A - 顔特徴点抽出装置及び顔特徴点抽出プログラム - Google Patents

Abstract

【課題】処理対象の顔画像から顔形状を高精度に抽出する顔特徴点抽出装置を提供する。
【解決手段】予め用意した複数の顔画像の各々に対して、顔画像における顔形状を決定する所定の数の顔特徴点を設定し、顔特徴点の各々にて、所定の方向に対してガボール・ウェーブレット変換を行い、得られた顔特徴ベクトルとガボール・ウェーブレット係数とからなる顔テンプレートを生成し、生成した顔テンプレートを統計的学習アルゴリズムによりクラスタリングして代表顔テンプレートを生成する代表顔テンプレートを生成する顔特徴点探索用テンプレート生成部１と、処理対象の顔画像を入力し、前記代表顔テンプレートを用いて当該処理対象の顔画像からテンプレートマッチング法により顔部位の形状を抽出する顔形状検出部２と、前記代表顔テンプレートを入力し記憶するテンプレート記憶部３とから実現される。
【選択図】図１

Description

本発明は、処理対象の顔画像から顔の部位の形状を抽出する顔特徴点抽出装置及び顔特徴点抽出プログラムに関するものである。より詳細には、統計的学習アルゴリズムにより、処理対象の顔画像から顔の部位の形状を高精度に抽出可能な顔特徴点抽出装置及び顔特徴点抽出プログラムに関するものである。

顔形状認識技術は、セキュリティシステムの生体認証や、画像データベースの自動索引付加、対話型ロボットの人物識別など、様々な分野への応用が期待され、研究開発が行われている。

一般に、入力した顔画像に対する顔形状の抽出は、目尻、鼻先、口角などの顔の部位の形状を特徴づける点（以下、「顔特徴点」と称する）の決定により行う。その際には、予め用意した複数の人物の顔画像のサンプル（以下、「サンプル顔画像」と称する）について、クラスタ数の候補を予め複数個用意しておき、それぞれのクラスタ数に対して、サンプル顔画像に対する顔特徴点の抽出精度を交差検定法に基づいて算出し、最良の精度を有するクラスタ数を代表顔テンプレートの数として採用する技術が知られている（例えば、非特許文献１参照）。

小林亮博、他４名、「ＡＡＭの動的選択に基づく不特定人物の顔追跡」、電子情報通信学会技術報告、２００８年、ＰＲＭＵ２００７−１６３、ｐｐ．３５−４０

非特許文献１の技術から、予め用意した複数の人物の顔画像のサンプルについて顔特徴点の座標と、当該顔特徴点の近傍のウェーブレット係数とからなる情報としてリスト化したテンプレート（以下、「サンプル顔テンプレート」と称する）を予め生成し、それらを処理対象の顔画像に応じて選択的に用いることにより処理対象の顔画像に対する顔特徴点を決定することが考えられる。

上記の顔特徴点の決定において、生成したサンプル顔テンプレートの全てを使用して決定するのは非効率的であるため、サンプル顔テンプレートを、サンプル顔画像における顔形状の類似性に基づいて少数のクラスタに分類し、得られたクラスタに対応するテンプレート（以下、「代表顔テンプレート」と称する）を生成し、当該代表顔テンプレートを用いて任意の顔画像から顔特徴点を決定するのが好ましい。しかしながら、如何にして代表顔テンプレートを生成し、精度の良い顔特徴点を抽出するかが課題となる。

例えば、上記のサンプル顔テンプレートをクラスタリングする処理において、クラスタ数、即ち、代表顔テンプレートの数は、顔特徴点及び顔形状の抽出精度に非常に大きな影響を与える。特に、非特許文献１に開示された方法では、抽出精度に大きな影響を与えるクラスタ数の最適値を与えることができず、検定交差法などの別途何らかの評価基準を用いて決定する必要がある。

そこで、本発明の目的は、統計的学習アルゴリズムにより、顔特徴点の抽出精度に大きな影響を与える代表顔テンプレート数の最適値を決定し、任意の顔画像から顔特徴点を高精度に抽出する顔特徴点抽出装置及び顔特徴点抽出プログラムを提供することにある。

上記課題を解決するために、本発明による任意の顔画像から顔特徴点を抽出する顔特徴点抽出装置は、顔画像から顔特徴点を抽出する代表顔テンプレートを生成する顔特徴点探索用テンプレート生成部と、前記代表顔テンプレートを入力し格納するテンプレート記憶部と、任意の顔画像を入力し、前記テンプレート記憶部に格納された前記代表顔テンプレートを用いて前記顔画像から顔特徴点を抽出する顔形状検出部とを備えることを特徴とする。

また、本発明による顔特徴点抽出装置において、前記顔特徴点探索用テンプレート生成部は、予め用意された複数の顔画像の各々に対して、当該顔画像における顔形状を決定する所定の数の顔特徴点を設定する顔特徴点設定部と、所定の数の前記顔特徴点の各々の座標を一次元的に並べた顔特徴ベクトルを生成する顔特徴ベクトル生成部と、前記顔特徴点の各々にて、所定の方向に対してガボール・ウェーブレット変換を行い、ガボール・ウェーブレット係数を出力するウェーブレット変換部と、前記顔特徴ベクトルと前記ガボール・ウェーブレット係数とを入力し、前記顔特徴ベクトルと前記ガボール・ウェーブレット係数とからなる顔テンプレートを生成する顔テンプレート生成部と、生成された前記顔テンプレートをクラスタリングアルゴリズムにより所定数のクラスタに分類するクラスタリング部と、所定数の前記クラスタに属する代表顔テンプレートから、代表顔テンプレートを生成する代表顔テンプレート生成部とを有することを特徴とする。

また、本発明による顔特徴点抽出装置において、前記顔形状検出部は、任意の顔画像を入力するとともに、前記代表顔テンプレートを入力し、当該代表顔テンプレートの各々に属する前記顔特徴ベクトルの成分の平均値を計算し、前記任意の顔画像から顔特徴点を探索するための初期座標として設定する初期座標設定部と、前記初期座標から探索アルゴリズムに従って、前記代表顔テンプレートの各々から前記任意の顔画像から顔特徴点を探索する顔特徴点探索部と、代表顔テンプレートの各々に対して探索された前記顔特徴点から、所定の類似度を計算して最終的な任意の顔画像に対する顔特徴点として決定する顔特徴点決定部とを有することを特徴とする。

また、本発明による顔特徴点抽出プログラムは、任意の顔画像から顔特徴点を抽出するための顔特徴点抽出装置として構成するコンピュータに、予め用意された複数の顔画像の各々に対して、当該顔画像における顔形状を決定する所定の数の顔特徴点を設定するステップと、所定の数の前記顔特徴点の各々の座標を一次元的に並べた顔特徴ベクトルを生成するステップと、前記顔特徴点の各々にて、所定の方向に対してガボール・ウェーブレット変換を行い、ガボール・ウェーブレット係数を出力するステップと、前記顔特徴ベクトルと前記ガボール・ウェーブレット係数とを入力し、前記顔特徴ベクトルと前記ガボール・ウェーブレット係数とからなる顔テンプレートを生成するステップと、生成された前記顔テンプレートを所定のクラスタリングアルゴリズムにより所定数のクラスタに分類するステップと、所定数の前記クラスタに属する代表顔テンプレートから、代表顔テンプレートを生成するステップと、処理対象の顔画像を入力するとともに、前記代表顔テンプレートを入力し、当該代表顔テンプレートの各々に属する前記顔特徴ベクトルの成分の平均値を計算し、前記処理対象の顔画像から顔特徴点を探索するための初期座標として設定するステップと、前記初期座標から探索アルゴリズムに従って、前記代表顔テンプレートの各々から前記処理対象の顔画像から顔特徴点を探索するステップと、代表顔テンプレートの各々に対して探索された前記顔特徴点から、所定の類似度を計算して最終的な処理対象の顔画像に対する顔特徴点として決定するステップとを実行させることを特徴とする。

本発明によれば、多数のサンプル顔テンプレートから統計的学習アルゴリズムにより少数の代表顔テンプレート数の最適値を決定できるため、処理対象の顔画像から顔特徴点を少ない計算量で高精度に抽出することができる。

本発明による一実施例の顔特徴点抽出装置のブロック図を示している。 本発明による一実施例の顔特徴点探索用テンプレート生成部のブロック図を示している。 本発明による一実施例の顔形状検出部のブロック図を示している。 本発明による一実施例の顔特徴点探索用テンプレート生成部の動作フローチャートを示している。 本発明による一実施例における顔特徴ベクトルのクラスタリング処理のフローチャートを示している。 本発明による一実施例の顔形状検出部の動作フローチャートを示している。 本発明による一実施例における顔サンプル上に予め決定された顔特徴点の一例を示している。 本発明による一実施例の顔テンプレート構造の一例を示している。 本発明による一実施例における処理対象の顔画像から顔特徴点を探索する様子を示している。

以下、本発明による一実施例の顔特徴点抽出装置を説明する。

[顔特徴点抽出装置]
図１は、本発明による一実施例の顔特徴点抽出装置１００のブロック図を示している。本実施例の顔特徴点抽出装置１００は、顔特徴点探索用テンプレート生成部１と、顔形状検出部２と、テンプレート記憶部３とを備える。顔特徴点探索用テンプレート生成部１は、顔特徴点設定部１１と、顔特徴ベクトル生成部１２と、ウェーブレット変換部１３と、顔テンプレート生成部１４と、クラスタリング部１５と、代表顔テンプレート生成部１６とを有する。また、顔形状検出部２は、初期座標生成部２１と、顔特徴点探索部２２と、顔特徴点決定部２３とを有する。

顔特徴点設定部１１は、代表顔テンプレート生成ために用意されたＮ枚の顔画像のサンプル（サンプル顔画像）を入力し、入力したサンプル顔画像の各々に対して目じり、鼻先、口角などの顔の形状を特徴づける点（以下、「顔特徴点」と称する）を所定の数Ｍだけ手動で設定し、得られた当該顔特徴点のｘ及びｙ座標を顔特徴ベクトル生成部１２及びウェーブレット変換部１３に出力する。

顔特徴ベクトル生成部１２は、Ｎ枚のサンプル顔テンプレートの各々に対して、入力した顔特徴点のｘ及びｙ座標を１次元的に並べて顔特徴ベクトルＸを生成し、顔テンプレート生成部１４に出力する。

ウェーブレット変換部１３は、Ｎ枚のサンプル顔テンプレートの各々に対して、入力したＭ個の顔特徴点の各々に対して、当該顔特徴点を中心に所定の方向に対してガボール・ウェーブレット変換を行う。ガボール・ウェーブレット変換は、顔特徴点近傍の所定の大きさを有する局所的な領域中での周波数成分を計算し、当該顔特徴点近傍における画像の濃淡情報を与える。得られた係数を顔テンプレート生成部１４に出力する。

顔テンプレート生成部１４は、Ｎ枚のサンプル顔テンプレートの各々に対して、顔特徴ベクトル生成部１２から入力した顔特徴ベクトルＸと、ウェーブレット変換部１３から入力した当該顔特徴点でのガボール・ウェーブレット係数から、顔特徴点の座標（即ち、顔特徴ベクトルＸ）と、当該顔特徴点でのガボール・ウェーブレット係数とからなる顔テンプレートを生成し、クラスタリング部１５に出力する。

クラスタリング部１５は、入力したＮ枚の顔テンプレートの各々に対して顔特徴ベクトルＸを抽出し、後に詳述する統計的学習アルゴリズムによりクラスタリングを行い、得られたＫ個のクラスタの各々に対して、当該クラスタに属する顔特徴点の座標と、当該顔特徴点でのガボール・ウェーブレット係数とを代表顔テンプレート生成部１６に出力する。

代表顔テンプレート生成部１６は、クラスタの各々に対して、入力した当該クラスタに属する各顔特徴点の座標と、当該顔特徴点でのガボール・ウェーブレット係数とを並べたＫ枚の代表顔テンプレートを生成し、テンプレート記憶部３に記憶しておく。

初期座標生成部２１は、Ｋ個のクラスタの各々に対して、テンプレート記憶部３に記憶されたＫ枚の代表顔テンプレートから当該クラスタに属する顔特徴ベクトルＸを読み出して当該顔特徴ベクトルの各成分の平均値を計算し、得られた平均値を成分とする処理対象の顔画像から顔特徴点を探索するためのＫ個の初期座標ベクトルＸ_ｉを生成して顔特徴点探索部２２に出力する。

顔特徴点探索部２２は、初期座標生成部２１から入力したＫ個の初期座標ベクトルＸ_ｉから、後に詳述する可変テンプレートマッチング法により処理対象の画像に対して顔特徴点の探索を行い、初期座標ベクトルＸ_ｉの各々に対応する探索後のベクトルＸ_ｆを顔特徴点決定部２３に出力する。

顔特徴点決定部２３は、顔特徴点探索部２２から入力したＫ個の探索後のベクトルＸ_ｆの各々に対して、後に定義する類似度対するスコアを計算し、当該スコアが最大となるベクトルＸ_ｆを処理対象の顔画像に対する顔特徴ベクトルとして抽出し、抽出した顔形状情報（顔特徴点の集合からなる情報）を生成する。生成した顔形状情報は、任意の顔画像に対して、顔特徴点を指示する態様で所定の表示装置（図示せず）に表示することができる（図７参照）。

次に、本発明による一実施例の顔特徴点抽出装置１００の動作を詳細に説明する。

[顔特徴点抽出装置の動作]
まず、ステップＳ４０１にて、顔特徴点設定部１１により、代表顔テンプレート生成ために用意されたＮ枚の顔画像のサンプル（サンプル顔画像）を入力する。

ステップＳ４０２にて顔特徴点設定部１１により、図７に示すように、入力したサンプル顔画像の各々に対して、目じり、鼻先、口角などの顔の部位の形状を特徴づける所定の数Ｍ個の顔特徴点を手動で設定する。図７は、与えられたサンプル顔画像に対して３５個の顔特徴点を設定した例であり、鼻や上唇のような形状の変化が大きい部分に対して多めに設定するようにする。

ステップＳ４０３にて、顔特徴ベクトル生成部１２により、Ｎ枚のサンプル顔テンプレートの各々に対して、入力した顔特徴点のｘ及びｙ座標を１次元的に並べ、顔特徴ベクトルＸを生成する。

ステップＳ４０４にて、ウェーブレット変換部１３により、入力したＭ個の顔特徴点の各々に対して、当該顔特徴点を中心に所定の方向に対してサンプル顔画像の局所的な濃淡情報を抽出するガボール・ウェーブレット変換を行う。本実施例では顔特徴点の各々に対して４５度ごとの８方向に対して計算する。

ステップＳ４０５にて、顔テンプレート生成部１４により、顔特徴ベクトル生成部１２から入力した顔特徴ベクトルＸと、ウェーブレット変換部１３から入力した当該顔特徴点でのガボール・ウェーブレット係数から、顔特徴点の座標と、当該顔特徴点でのガボール・ウェーブレット係数とを並べた顔テンプレートを生成する。図８は、顔特徴点を３６箇所で設定した場合の顔テンプレート構造の一例を示しており、顔特徴点の座標部分と、ガボール・ウェーブレット係数部分で構成されている。座標部分における可視フラグは、顔の向きによって対応する顔特徴点が視認されるか否かを識別するフラグである。また、ガボール・ウェーブレット係数は実数成分及び虚数成分を有しており、本実施例では８方向に対して係数を保持している。

ステップＳ４０６にて、クラスタリング部１５により、入力したＮ個の顔特徴ベクトルＸを、統計的学習アルゴリズムに基づく逐次計算によりＫ個のクラスタに分配するクラスタリングを行う。本実施例では、ＥＭ（Ｅｓｔｉｍａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムにより、図５に示すステップＳ５０１〜Ｓ５０６からなる逐次計算処理を行う。

まず、顔特徴ベクトルＸの確率分布（事前確率分布）ｐ（Ｘ）を、以下のようなＫ個の正規分布で展開される混合正規分布として定義する。

ここで、ｍ_ｋは平均値ベクトル、Σ_ｋは共分散行列、ξ_ｋは混合比、Ｋは展開する正規分布の数、Ｎ（Ｘ；ｍ_ｋ，Σ_ｋ）は、ｍ_ｋ，Σ_ｋをパラメータとする正規分布であり、（Ｘ−ｍ_ｋ）^Ｔを（Ｘ−ｍ_ｋ）の転置行列、ｄをｍ_ｋの次元の数として以下のように与えられる。

また、ｍ_ｋはガウス分布に、Σ_ｋは以下に示す逆ウィシャート（Ｗｉｓｈｅｒｔ）分布に従うことが知られている。

ここで、Γ_ｐは以下に示すガンマ関数、Ｒ_０及びｎ_０は、逆ウィシャート（Ｗｉｓｈｅｒｔ）分布を予め規定するのに用いるパラメータである。ｔｒＲ_０ ^−１Ｘ^−１は、行列Ｒ_０ ^−１Ｘ^−１のトレースを表す。

更に、混合比ξ_ｋは以下の（５）式で定義する。ここで、パラメータＶ_ｋはベータ分布に従うと仮定する。混合正規分布の真のクラスタ数が予め分かっている場合には、その混合比を推定することは比較的容易であるが、真のクラスタ数が未知である場合、同一のコンポーネントを平均と分散が同じ複数のコンポーネントの和で表現する方法が複数存在するため、各々の混合比を正しく推定することは原理的に困難である。本発明で導入する混合比ξ_ｋの確率的表現（５）は、サンプル抽出可能な確率分布（事前確率分布）を導入することによって、不要なコンポーネントの混合比を小さい値に抑える効果を生み出し、その結果、上記混合比推定の問題を解決するものである。すなわち、（５）式を導入することによって、真のコンポーネント数が未知である場合であっても、後述のアルゴリズムに従って、与えられたデータを最も自然なかたちで表現する確率分布をコンポーネント数も含めて自動的に決定することが可能となる。

ベイズの定理から、ベクトルＸが観測されたとき、それがクラスタｋに属する確率（事後確率）ｐ（ｋ｜Ｘ）は、

で与えられる。ここでｐ（ｋ）はベクトルXが観測される前に選ばれるクラスタがｋである確率（事前確率）、ｐ（Ｘ｜ｋ）はクラスタｋが既知である条件でのベクトルＸの生成確率（尤度関数）を表す。従って、パラメータｍ_ｋ，Σ_ｋ及びξ_ｋが決定されれば、ベクトルＸがクラスタｋに属する事後確率ｐ（ｋ｜Ｘ）を計算することができる。

パラメータｍ_ｋ，Σ_ｋ及びξ_ｋを決定するためには、与えられたベクトル全ての系列Ｘ_１：Ｎ =｛Ｘ_１， ．．．，Ｘ_Ｎ｝について、個々のベクトルがそれぞれどのクラスタに属するかが分かっている（完全データである）必要があり、先のパラメータと、個々のベクトルのクラスタへの所属を同時に推定する必要がある。そこで、個々のベクトルＸｎが属するクラスタのインデックスを隠れ変数Ｚｎとし、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムにより、パラメータｍ_ｋ，Σ_ｋ及びξ_ｋ（つまりＶ_ｋ）を推定する。その際に、ディリクレ過程に基づく（５）式の混合比ξ_ｋのパラメータ表現を導入することにより、ＥＭアルゴリズムが最大化するＱ関数（完全データの対数尤度の条件付き期待値）は次式で与えられる。

ここで、ｍ_ｋ ^（ｉ），Σ_ｋ ^（ｉ）及びＶ_ｋ ^（ｉ）は、ｉ番目のステップにおけるそれぞれｍ_ｋ，Σ_ｋ及びＶ_ｋの値である。

ＥＭアルゴリズムによる逐次計算からパラメータｍ_ｋ，Σ_ｋ及びＶ_ｋを推定する処理は、Ｅ（Ｅｘｐｅｃｔａｔｉｏｎ）−ステップと、Ｍ（Ｍａｘｉｍｉｚａｔｉｏｎ）−ステップからなる。Ｅ−ステップは、i番目のステップにおけるパラメータｍ_ｋ，Σ_ｋ及びＶ_ｋの推定値ｍ_ｋ ^（i），Σ_ｋ ^（i）及びＶ_ｋ ^（i）をもとに、（７）式で与えられるＱの値、および、Ｑに付随するその他の期待値を計算するステップである。一方、Ｍ−ステップは、Ｅ-ステップで計算した期待値計算の結果をもとに、Ｑ関数を最大にするパラメータｍ_ｋ，Σ_ｋ及びＶ_ｋを求めるステップである。

以下、図５を参照して、ＥＭアルゴリズムによるパラメータｍ_ｋ，Σ_ｋ，Ｖ_ｋの逐次更新手順について説明する。以下の逐次計算処理は、全てクラスタリング部により行う。

まず、ステップＳ５０１にて、パラメータｍ_ｋ，Σ_ｋ及びＶ_ｋの初期値ｍ_ｋ ^（０），Σ_ｋ ^（０）及びＶ_ｋ ^（０）を設定する。

ステップＳ５０２にて、設定されたパラメータを使用して、（７）式からＱの値を計算する。

また、後のステップのために、予め以下の各種期待値計算をしておく。

次に、ステップＳ５０３にて、以下の（１１）〜（１３）式で与えられるｍ^{（ｉ＋１）}，Σ^{（ｉ＋１）}及びＶ^{（ｉ＋１）}の値を計算する。（１１）〜（１３）式は、（７）式のＱ関数を各パラメータで偏微分して得られたもの（停留条件）であり、Ｅ−ステップで計算されたＱを最大化するｍ，Σ及びＶに対応する。

ここでλ及びμは、ガウス分布を規定するのに用いるパラメータである。

ステップＳ５０４にて、得られたｍ^{（ｉ＋１）}，Σ^{（ｉ＋１）}及びＶ^{（ｉ＋１）}の値を用いて（７）式から新たにＱの値を計算し、ステップｉでのＱ^ｉと比較して値が収束したか否かを判定する。Ｑの値が収束した場合にはステップＳ５０５に進み、収束していない場合には更にステップＥ−ステップとＭ−ステップを実行してパラメータの更新を続行する。このようなＥ−ステップとＭ−ステップからなるパラメータの逐次更新を、Ｑ関数の値が収束するまで続ける。

Ｅ−ステップ及びＭ−ステップの逐次計算によりＱが収束した後、ステップＳ５０５にて、顔特徴ベクトルＸの各々に対して、得られたｍ_ｋ，Σ_ｋ及びＶ_ｋの値から（６）式で与えられるベクトルＸがクラスタｋに属する条件付き確率ｐ（ｋ｜Ｘ）を計算する。

ステップＳ５０６にて、顔特徴ベクトルＸの各々を、ステップＳ５０５にて計算された確率ｐが最大となるクラスタに分類する。

上記の逐次計算により、用意したＮ枚のサンプル顔画像に対する（１）式に不要なクラスタに対応する混合比ξ_ｋの値は必然的に小さくなる。従って、ξ_ｋの値が所定の値以下の場合には０であるとすると、顔形状の検出精度に重要なクラスタ数Ｋの最適値Ｋ_ｏｐｔも上記逐次計算の結果決定されることになる。

このように、統計的アルゴリズムであるＥＭアルゴリズムの逐次計算から、顔特徴ベクトルＸを最適なクラスタ数Ｋ_ｏｐｔに分類することができる。

次に、生成された代表顔テンプレートを使用して処理対象の顔画像から顔特徴点を抽出する方法について説明する。本実施例では、可変テンプレートマッチング法により、処理対象の顔画像における顔特徴点の決定を行う。

まず、ステップＳ６０１にて、初期座標設定部２１により、処理対象の顔画像を入力する。

ステップＳ６０２にて、初期座標設定部２１により、ステップＳ４０７にて生成されたＫ枚の代表顔テンプレートの各々に対して、まず、当該顔テンプレートに属する顔特徴ベクトルＸを読み出して各成分の平均値を計算する。次に、得られた平均値を成分とする処理対象の顔画像から顔特徴点を探索するための顔特徴点探索用ベクトルの初期座標ベクトルＸ_ｉを生成する。図９（ａ）は、例として代表顔テンプレートが３枚である場合に対して、初期座標ベクトルＸ_ｉから決定される座標に顔特徴点Ｉ_１〜Ｉ_３を、処理対象の顔画像上に配置した様子を示している。また、検出したい顔特徴点の位置をＴで示している。

ステップＳ６０３にて、顔特徴点探索部２２により、Ｋ枚の代表顔テンプレートの各々に対して以下に説明するテンプレートマッチング処理を施す。図９（ｂ）は、ステップＳ６０３での顔特徴点の探索の様子を示している。

まず、初期座標ベクトルＸ_ｉから与えられる顔特徴点Ｉ_１〜Ｉ_３を処理対象の顔画像上に配置し、顔特徴点を探索するための探索用特徴ベクトルＸ_Ｔに、初期値としてＸ_ｉベクトルの成分を代入する。

次に、処理対象の顔画像に対して、探索用特徴ベクトルＸ_Ｔにより与えられる顔特徴点の各々にて８方向にガボール・ウェーブレット変換を行う。得られたガボール・ウェーブレット係数、初期座標ベクトルＸ_ｉ及び探索用特徴ベクトルＸ_Ｔから、以下の式で定義される類似度を計算する。

ここで、ｃ^ｉ，Ｃ^Ｔはそれぞれ初期座標ベクトルＸ_ｉ及び探索用特徴ベクトルＸ_Ｔに対するガボール・ウェーブレット係数ベクトルであり、＜ｃ^ｉ，Ｃ^Ｔ＞はガボール・ウェーブレット係数ベクトルｃ^ｉとＣ^Ｔとの間の内積、｜ｃ^ｉ｜及び｜Ｃ^Ｔ｜はベクトルｃ^ｉ及びＣ^Ｔの大きさである。即ち、（１４）式の第２項はベクトルｃ^ｉとＣ^Ｔとの間のコサイン距離を表している。また、第３項の｜Ｘ_ｉ−Ｘ_Ｔ｜は初期座標ベクトルＸ_ｉと探索用特徴Ｘ_Ｔとの間のユークリッド距離である。従って、（１４）式は、ステップＳ６０２で求められた探索用顔特徴点の初期座標から大きく外れることなく、類似度Ｓ_ｉ，Ｔを最大にするための指標を与える。α、βは重み付け係数であり、例えばα、βをそれぞれ１にしてもよい。

続いて、類似度Ｓ_ｉ，Ｔを最大にする方向に対して顔特徴点を所定の大きさだけ移動させ、移動後の顔特徴点にて８方向に対してガボール・ウェーブレット変換を同様に行い、（１４）式から類似度Ｓ_ｉ，Ｔを計算する。上記の処理をＳ_ｉ，Ｔの値が収束するまで続ける。

こうして、Ｋ枚の代表顔テンプレートの各々に対して、類似度Ｓ_ｉ，Ｔが最大となるような探索用ベクトルＸ_Ｔが求まり、顔特徴点の座標Ｆ_１〜Ｆ_３が決定される。

ステップＳ６０４にて、顔特徴点探索部２２により、Ｋ枚の代表顔テンプレートの各々に対して得られた探索用ベクトルＸ_Ｔから、以下で定義されるスコアＳを計算する。

ステップＳ６０５にて、顔特徴点決定部２３により、ステップＳ６０４にて得られたスコアＳを比較し、最大となるスコアに対応する探索用ベクトルＸ_Ｔを、処理対象の顔画像に対する顔特徴ベクトルとして決定する。図９（ｃ）は、（１５）式で与えられるスコアＳにより、Ｆ３が顔特徴点として検出された様子を示している。

こうして、特徴点探索用テンプレート生成部１により得られた代表顔テンプレートを用いて、処理対象の顔画像から顔特徴点を高精度で検出することができる。

更に、本発明の一態様として、顔特徴点抽出装置１００を、各装置として機能するコンピュータとしてそれぞれ構成させることができる。コンピュータに、前述した各構成要素を実現させるためのプログラムは、各コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。各コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各成要素の機能をハードウェアの全部又は一部で実現しても良い。

以上、具体例を挙げて本発明を詳細に説明してきたが、本発明の特許請求の範囲から逸脱しない限りにおいて、様々な変形や変更が可能であることは当業者に明らかである。例えば、上記の実施例では顔特徴点を抽出するものとして説明したが、この抽出した顔特徴点から顔形状を特定するように本発明の顔特徴点抽出装置を構成することができる。従って、本発明は、上述の実施例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。

本発明により、処理対象の顔画像から顔形状を高精度且つ高速に抽出できるため、生体認証などのセキュリティシステム、顔画像における顔部位の加工処理、画像データベースの自動索引付加、対話型ロボットの人物識別などに有用である。

１ 顔特徴点探索用テンプレート生成部
２ 顔形状検出部
３ テンプレート記憶部
４ サンプル顔画像
５ 処理対象の顔画像の模式図
１１ 顔特徴点設定部
１２ 顔特徴ベクトル生成部
１３ ウェーブレット変換部
１４ 顔テンプレート生成部
１５ クラスタリング部
１６ 代表顔テンプレート生成部
２１ 初期座標設定部
２２ 顔特徴点探索部
２３ 顔特徴点決定部
１００ 顔特徴点抽出装置

Claims (4)

1. 任意の顔画像から顔特徴点を抽出する顔特徴点抽出装置であって、
   顔画像から顔特徴点を抽出する代表顔テンプレートを生成する顔特徴点探索用テンプレート生成部と、
   前記代表顔テンプレートを入力し格納するテンプレート記憶部と、
   処理対象の顔画像を入力し、前記テンプレート記憶部に格納された前記代表顔テンプレートを用いて前記顔画像から顔特徴点を抽出する顔形状検出部と、
   を備えることを特徴とする顔特徴点抽出装置。
2. 前記顔特徴点探索用テンプレート生成部は、
   予め用意された複数の顔画像の各々に対して、当該顔画像における顔形状を決定する所定の数の顔特徴点を設定する顔特徴点設定部と、
   所定の数の前記顔特徴点の各々の座標を一次元的に並べた顔特徴ベクトルを生成する顔特徴ベクトル生成部と、
   前記顔特徴点の各々にて、所定の方向に対してガボール・ウェーブレット変換を行い、ガボール・ウェーブレット係数を出力するウェーブレット変換部と、
   前記顔特徴ベクトルと前記ガボール・ウェーブレット係数とを入力し、前記顔特徴ベクトルと前記ガボール・ウェーブレット係数とからなる顔テンプレートを生成する顔テンプレート生成部と、
   生成された前記顔テンプレートをクラスタリングアルゴリズムにより所定数のクラスタに分類するクラスタリング部と、
   所定数の前記クラスタに属する代表顔テンプレートから、代表顔テンプレートを生成する代表顔テンプレート生成部と、
   を有することを特徴とする、請求項１に記載の顔特徴点抽出装置。
3. 前記顔形状検出部は、
   処理対象の顔画像を入力するとともに、前記代表顔テンプレートを入力し、当該代表顔テンプレートの各々に属する前記顔特徴ベクトルの成分の平均値を計算し、前記処理対象の顔画像から顔特徴点を探索するための初期座標として設定する初期座標設定部と、
   前記初期座標から探索アルゴリズムに従って、前記代表顔テンプレートの各々から前記処理対象の顔画像から顔特徴点を探索する顔特徴点探索部と、
   代表顔テンプレートの各々に対して探索された前記顔特徴点から、所定の類似度を計算して最終的な処理対象の顔画像に対する顔特徴点として決定する顔特徴点決定部と、
   を有することを特徴とする、請求項１又は２に記載の顔特徴点抽出装置。
4. 任意の顔画像から顔特徴点を抽出するための顔特徴点抽出装置として構成するコンピュータに、
   予め用意された複数の顔画像の各々に対して、当該顔画像における顔形状を決定する所定の数の顔特徴点を設定するステップと、
   所定の数の前記顔特徴点の各々の座標を一次元的に並べた顔特徴ベクトルを生成するステップと、
   前記顔特徴点の各々にて、所定の方向に対してガボール・ウェーブレット変換を行い、ガボール・ウェーブレット係数を出力するステップと、
   前記顔特徴ベクトルと前記ガボール・ウェーブレット係数とを入力し、前記顔特徴ベクトルと前記ガボール・ウェーブレット係数とからなる顔テンプレートを生成するステップと、
   生成された前記顔テンプレートを所定のクラスタリングアルゴリズムにより所定数のクラスタに分類するステップと、
   所定数の前記クラスタに属する代表顔テンプレートから、代表顔テンプレートを生成するステップと、
   処理対象の顔画像を入力するとともに、前記代表顔テンプレートを入力し、当該代表顔テンプレートの各々に属する前記顔特徴ベクトルの成分の平均値を計算し、前記処理対象の顔画像から顔特徴点を探索するための初期座標として設定するステップと、
   前記初期座標から探索アルゴリズムに従って、前記代表顔テンプレートの各々から前記処理対象の顔画像から顔特徴点を探索するステップと、
   代表顔テンプレートの各々に対して探索された前記顔特徴点から、所定の類似度を計算して最終的な処理対象の顔画像に対する顔特徴点として決定するステップと、
   を実行させるための顔特徴点抽出プログラム。

Images