JP2010073138A - 特徴点検出装置、特徴点検出方法及び特徴点検出プログラム - Google Patents

Abstract

【課題】特徴点候補を適切に検出することが可能な、高速且つ高精度な特徴点検出方法を提供すること。
【解決手段】画像から対象物と前記対象物に属する複数の特徴点とを検出する特徴点検出装置１は、前記対象物におけるＮ個の特徴点の位置の同時確率密度関数ｐ（ｘ_１、…、ｘ_Ｎ）を取得する取得部９と、前記Ｎ個の特徴点のうち、既に検出処理が行われたｋ−１個の特徴点の位置に基づいて、特徴点ｋの位置の条件付確率密度関数ｐ（ｘ_ｋ｜ｘ_１、…ｘ_ｋ−１）を算出し、前記条件付確率密度関数を用いて前記特徴点ｋの検出処理が行われる探索領域を設定する探索領域設定部４と、を備える。
【選択図】図１

Description

本発明は、カメラ等の撮像手段から入力された対象物の画像を処理して、対象物に属する複数の特徴点を検出する特徴点検出装置、特徴点検出方法及び特徴点検出プログラムに関する。

画像中の対象物（人物頭部、身体、動物、障害物など）の特徴点を精度良く検出することができれば、様々な応用分野に適用可能である。例えば、高精度の顔認識、人物の識別、顔特徴点の検出による表情の解析、動物の検出と種の識別などの応用分野が想定される。

特許文献１は、複数の特徴点の候補を検出し、候補の組み合わせに対して整合性評価を行わせて、不適切な配置の組み合わせを排除することにより、高精度に複数の特徴点の最適な組み合わせを検出する。各特徴点の探索領域は、検出の特徴点の位置等によって適切に設定されている。
特許文献２は、複数の特徴点を探索する際に、学習によって得られた特徴点位置の確率分布を用いて、効率的に探索領域を設定して特徴点を探索する。
特開２００７−２３３９９７公報 特開２００７−２２６４２４公報 T. Mita, T. Kaneko, and O. Hori. Joint haar-like features for face detection. In Proc. Tenth IEEE International Conference on Computer Vision (ICCV 2005), pp.1619-1626, Beijing, China, October 2005. 三田雄志, 金子敏充, 堀修. 顔検出に適した共起に基づくjoint haar-like 特徴. 電子情報通信学会論文誌, Vol. J89-D-II, No. 8, pp. 1791.1801, August 2006. M. Yuasa, T. Kozakaya, and O. Yamaguchi. An efficient 3d geometrical consistency criterion for detection of a set of facial feature points. In Proc. IAPR Conf. on Machine Vision Applications (MVA2007), pp. 25.28, Tokyo, Japan, May 2007. 湯浅 真由美、武口 智行、小坂谷 達夫、 山口 修、 「静止画顔認証のための自動顔特徴点検出」 電子情報通信学会研究報告, PRMU2006-222, pp.5-10, Feb. 2007.

しかしながら、特許文献１では、特徴点の探索領域の設定においては、実際の複数の特徴点の位置分布の学習を活用していないため、探索領域の限定が不完全であり、最終的な整合性判定の段階までは比較的多くの特徴点候補を記憶する必要があった。

また、特許文献２では、特徴点対の相対位置の確率分布を用いたり、それらを加算して利用したりしており、設定しようとする探索領域の精度の低下をまねいていた。

本発明は、上記の事情を鑑みてなされたもので、その目的は、特徴点候補を適切に検出することが可能な、高速且つ高精度な特徴点検出方法を提供することにある。

上記課題を解決するために、本発明の一側面は、画像から対象物と前記対象物に属する複数の特徴点とを検出する特徴点検出装置に係り、前記対象物におけるＮ個（Ｎは２以上の整数）の特徴点の位置の同時確率密度関数ｐ（ｘ_１、…、ｘ_Ｎ）を取得する取得部と、前記Ｎ個の特徴点のうち、既に検出処理が行われたｋ−１（ｋ−１はＮ以下且つ１以上の整数）個の特徴点の位置に基づいて、特徴点ｋの位置の条件付確率密度関数ｐ（ｘ_ｋ｜ｘ_１、…ｘ_ｋ−１）を算出し、前記条件付確率密度関数を用いて前記特徴点ｋの検出処理が行われる探索領域を設定する探索領域設定部と、を備えることを特徴とする。

本発明によれば、特徴点候補を適切に検出することが可能な、高速且つ高精度な特徴点検出方法を提供することができる。

以下、図面を参照しながら本発明の実施形態を説明する。

本明細書で扱う画像は、コンピュータで処理することが可能なデジタル画像である。平面座標を（ｘ、ｙ）、画素値をｆとすれば、画像をｆ（ｘ、ｙ）と表すことができる。デジタル画像では、ｘ、ｙ、ｆは離散的な値で表される。（ｘ、ｙ）は画像上に配置された標本点であり「画素」と呼ばれる。例えば、ＶＧＡと呼ばれる６４０×４８０画素の画面解像度に対応した画像の場合は、ｘ＝０、…、６３９、ｙ＝０、…、４７９という値をとり得る。画像処理を行わせて、特徴点の位置を求めたり、対応点を求めたり、エッジ抽出を行わせたりする場合に求めたい情報は、どの画素かということである場合がある。このときは「点」や「エッジ」の位置とは特定の「画素」を意味する。しかしながら、さらに精密に特徴点、対応点、エッジを求めたいときには、サブピクセル推定と呼ばれる方法により画素間の位置を実数値のｘ、ｙで求める場合がある。このときは「点」とは実数値のｘ、ｙで表された位置（ｘ、ｙ）のことであり、特定の１つの画素を表すとは限らない。

画素値（または濃淡レベル）ｆは、８ビットのモノクロ画像の場合は、０から２５５までの整数値をとる。ｆが２４ビットのカラー画像の場合は、ＲＧＢそれぞれが０から２５５までの整数値をとるような３次元のベクトルとして表される。

画像の特徴点（本明細書では、「画像の特徴点」のことを単に「特徴点」という。）とは、画像中の対象物（顔、人物、動物、物体など）の位置決めを行うために用いる点のことであり、通常は１つの画像中に複数の特徴点が設定されて利用される。画素値が空間的に急激に変化する点を画像から機械的に抽出して特徴点としたり、予め特定の画素値変化（テクスチャ）が想定される小領域中の特定の点を特徴点としたりすることで設定される。例えば、前者では画素値変化が極大になる点を用いる場合があり、後者では人物顔の瞳の中心点を用いる場合がある。

機械的に抽出された特徴点は、複数の画像間において特徴点の１対１の対応付けがなされることにより、障害物の検出、物体の運動の推定、物体の個数の推定、物体の形状獲得などを行わせたりすることができる。即ち、機械的に抽出された想定されていない特徴点であっても、その点が別の画像においてどの点に対応しているかということをテンプレートマッチングによって計算したり、人手で設定したりすることにより、有効活用することができるようになる。

対象物の中の特定の点であり、予め特定の画素値変化（テクスチャ）が想定される小領域中の特定の点であるような点を特徴点とする場合は、単一の画像中において特徴点を検出することだけでも有用である。例えば、未知で新規に与えられた画像から人物の顔の特徴点（目の中心、鼻の頂点、口の端点など）を検出することができれば、それだけで人物の存在、位置、姿勢、表情などの情報を得ることができて、有用である。本発明は、このように設定された特徴点に関して、特徴点検出性能を向上させるものである。

画像中の顔領域に含まれる目、鼻、口などを顔部品ということがある。例えば、顔画像中の目を含む小領域を考えたとき、まぶたや瞳などを含む目の領域は顔を構成する部品と捉えて顔部品ということができる。これに対して、瞳の中心点、目じり、目頭などの位置決めのために利用する点を顔特徴点ということにする。顔以外の対象物（人物、身体、物体）の場合も、対象物全体の構成要素である部分を部品と呼び、部品の中の位置決めに用いる特定の点を特徴点ということにする。

検出処理計算によって特徴点を求める際に、計算コストの大きい複数の種類の計算処理が必要だったり、他の特徴点の検出結果との整合性をとる必要があったりする場合がある。そのようなときには、検出処理計算の途中段階において、各特徴点について複数の特徴点の候補を記憶しておき、次第に候補の個数を減らしていき、最終的に各特徴点の推定結果を１個に絞り込むということを行う。こうすることで、計算コストの大きい計算を減らしたり、特徴点の推定結果の精度を向上させたりすることができる。本明細書では、このような特徴点の候補のことを、「特徴点候補」或いは単に「候補」という。

さらに、検出処理計算の途中段階において、候補の組み合わせを複数組保持しておき、それらの保持されている組み合わせの組数を次第に減らして行き、最終的に１組に絞り込むことも行わせる。このときの候補の特定の組み合わせを、「候補の組」ということにする。候補の組は１組に絞り込まれた段階では候補ではなく特徴点の組になる。

また、本明細書では、「検出処理」のことを「探索」ともいう。「探索」とは、検出しようとして特定の領域を探すことをいう。「未探索」とは、探索を行っていないことをいう。「未検出」には、探索したが検出できなかった場合と、検出処理を行わなかった場合とが含まれる。

図１は、本発明の実施形態に係る特徴点検出装置の一例を示す構成図である。

特徴点検出装置１は、例えば、画像入力部２と、顔検出部３と、探索領域設定部４と、特徴点検出部５と、候補選択部６と、記憶部７と、終了判定部８と、取得部９と、を備える。画像入力部２及び記憶部７の少なくとも一方は、特徴点検出装置１内部に配置されてもよいし、特徴点検出装置１の外部に配置されてもよい。特徴点検出装置１は、画像から人物の顔領域を検出し、さらに顔領域から予め定められた複数の顔特徴点の画像上の位置を特定し（以下、画像上の位置を特定することを「検出する」といい、顔領域内部或いは近傍の特徴点を特に「顔特徴点」という。）、その結果を出力する。出力された顔特徴点検出の結果は、顔認識アプリケーションや、その他の顔画像処理アプリケーションで利用される。

画像入力部２は、対象物を撮影した画像を入力し、顔検出部３と記憶部７に入力した画像を送る。

顔検出部３は、画像入力部２から画像を受け取り、受け取った画像に対して顔検出処理を行い、顔検出の処理結果（顔の位置、大きさ、顔向きなど）を探索領域設定部４と記憶部７に出力する。顔検出処理は、公知の技術を用いることができる。例えば、非特許文献１、２に開示された方法を用いて顔検出を行うことができる。

探索領域設定部４は、顔検出部３から新たに検出された顔領域の情報を受け取り、終了判定部８から特徴点検出処理の経過情報（複数の特徴点の既検出／未検出／検出完了状況等）を受け取り、記憶部７に記憶された確率密度関数の情報、複数の特徴点候補の情報等を受け取り、特徴点の検出処理が行われる探索領域を設定して、その設定情報を特徴点検出部５に出力する。

特徴点検出部５は、探索領域設定部４から設定された特徴点の探索領域を受け取り、探索領域に対して特徴点検出を行わせ、検出された複数の特徴点候補を候補選択部６に出力する。特徴点検出に関しては、探索領域設定部４において行う探索領域の設定と、候補選択部６において行う特徴点候補の選択が従来とは異なる部分であり、それ以外の処理は従来の技術を用いる。例えば、特許文献１や非特許文献３、４に開示された特徴点検出方法を用いて特徴点検出を行うことができる。

候補選択部６は、特徴点検出部５から検出された複数の特徴点候補の情報（個数、位置、類似度など）を受け取り、記憶部７から確率密度関数の情報、複数の特徴点候補の情報等を受け取り、確率密度関数と類似度などに基づいて検出済み特徴点候補の組み合わせを予め定められた個数だけリストアップし、その処理結果を記憶部７と終了判定部８に出力する。

記憶部７は、入力された画像、顔検出情報（位置、大きさ、類似度、顔の向き、顔表情など）、対象物におけるＮ個（Ｎは２以上の整数）の特徴点の位置の同時確率密度関数、特徴点検出情報（検出特徴点候補の個数、位置、類似度、既検出／未検出）、特徴点探索領域情報（位置、形、大きさ）などを記憶し、画像入力部２から画像を受け取り、顔検出部３と探索領域設定部４と候補選択部６と終了判定部８と、これらの情報のやり取りを行う。

終了判定部８は、候補選択部６から最新の検出済み特徴点候補の情報を受け取り、記憶部７から検出処理の進捗情報などの他の情報を受け取り、特徴点検出処理が行われるか処理を終了するかどうかを判定する。さらに、特徴点検出処理が行われると判定した場合は、その判定情報を探索領域設定部４と記憶部７へ出力し、終了すると判定した場合は、特徴点検出処理結果情報を特徴点検出装置１の外へ出力するとともに終了判定情報を探索領域設定部４と記憶部７へ出力して、その画像に対する特徴点検出装置１の処理を終了させる。

取得部９は、顔検出情報、同時確率密度関数、特徴点検出情報等を取得し、記憶部７に記憶させる。

次に、特徴点の探索領域の設定に用いる確率密度関数について説明する。対象物は、Ｎ個（Ｎは２以上の整数）の特徴点を有するとする。特徴点の位置は、画像上のｘとｙの２次元座標で表されるとする。Ｎ個の特徴点は、２Ｎ次元のベクトルＸとして式（１）で表される。

学習データとして、手入力などで特徴点の正解位置が与えられたデータがｎ個あるとして、その各々をＸ^ｊとする（式（１）を参照）。平均ベクトルＸ￣は式（２）で与えられ、共分散行列Σは式（３）で与えられる。共分散行列Σのｉ行ｊ列の成分をσ_ｉｊとし、上付きの^Ｔは転置行列を表す。多次元の確率密度関数を多次元正規分布モデルで表すことにすると、学習データからは式（４）の確率密度関数が得られる。ここで、｜Σ｜はΣの行列式を表し、Σの上付きの^−１は逆行列を表す。

２次元の特徴点座標をベクトルｘとすると、特徴点ｋの座標ベクトルｘ_ｋは式（５）で表され、学習データｊにおける特徴点ｋの座標ベクトルｘ_ｋ ^ｊは式（６）で表される。

ベクトルｘ_ｋとベクトルＸとの関係は式（７）で表される。特徴点ｋの平均ベクトルは式（８）で計算され、共分散行列は二次の行列として式（９）で与えられる。特徴点ｋの２次元確率密度関数は式（１０）で与えられる。

特徴点１から特徴点ｋ−１までのｋ−１（ｋ−１はＮ以下且つ１以上の整数）個の特徴点座標ベクトルｘ_１、…、ｘ_ｋ−１が説明変数として与えられたときの特徴点ｋの座標ベクトルｘ_ｋを目的変数とする条件付確率密度関数は式（１１）で与えられる。

ベクトルｘ_１、…、ｘ_ｋの同時確率密度関数は、１、…、ｘ_Ｎの同時確率密度関数を用いて積分によって式（１２）で計算することができる。多次元正規分布モデルを採用している場合は、積分計算は不要であり、２Ｎ次の共分散行列から該当する成分を抽出して２ｋ次の共分散行列を構成して、それを用いて確率密度関数を構成すればよい。

図２は、本発明の実施形態に係る特徴点検出方法の処理手順の一例を示す流れ図である。図２では、画像から顔領域を検出するとともにＮ個の顔特徴点（特徴点１〜特徴点Ｎ）を順次検出する処理を行っている。処理手順は以下のようになる。

ステップＳＴ１では、画像入力部２が、画像を入力し、顔検出部３と記憶部７に入力した画像を送る。顔検出部３は、受け取った画像に対して顔検出処理を行い、顔検出の処理結果（顔の位置、大きさ、顔の向き、状態などの顔検出情報）を記憶部７と探索領域設定部４に出力する。また、取得部９が対象物におけるＮ個（Ｎは２以上の整数）の特徴点の位置の同時確率密度関数ｐ（ｘ_１、…、ｘ_Ｎ）を取得し、記憶部７に記憶させる。この同時確率密度関数ｐ（ｘ_１、…、ｘ_Ｎ）の引数である特徴点の位置ｘ_１、…、ｘ_Ｎは、入力された画像上の２次元画像座標で表現する場合もあれば、画像座標を、検出された顔領域の位置と大きさを基準とする相対座標に変換したもので表現する場合もある。相対座標で表現する方法として、式（２４）で計算される、顔領域に対する相対座標（ｘ、ｙ）を用いる方法がある。

ステップＳＴ２では、探索領域設定部４が、顔検出部３から新たに検出された顔領域の情報を受け取り、終了判定部８から特徴点検出処理の経過情報（このステップでは検出処理が開始されたという状況等）を受け取り、記憶部７から同時確率密度関数の情報、複数の特徴点候補の情報等を受け取り、特徴点１の探索領域を２次元の画像上に設定してその設定情報を特徴点検出部５と記憶部７に出力する。探索領域の設定は、特徴点１の位置ベクトルｘ_１の確率密度関数ｐ（ｘ_１）を用いて、その値が予め定められた値より大きくなるようなベクトルｘ_１の領域 ｐ（ｘ_１）＞Ｃ_１ （式（１３））を計算することで設定する。

ｐ（ｘ_１）は予め学習しておいた共分散行列を用いて、式（１０）によって計算する。

ステップＳＴ３では、特徴点検出部５が、探索領域設定部４から特徴点番号（このステップでは特徴点１）、探索領域の情報を受け取り、記憶部７から画像の情報を受け取り、特徴点１の検出処理を行わせ、特徴点１の候補ｘ_１、_ｉ（ｉ＝１、…、ｎ１）をｎ１個求めて、これらの検出情報を候補選択部６に出力する。

ステップＳＴ４では、候補選択部６が、特徴点検出部５から特徴点１の候補を受け取り、記憶部７から確率密度関数の情報、複数の特徴点候補の情報等を受け取り、特徴点１の候補をｍ１個に絞り込み、（ｘ_１）_ｉ（ｉ＝１、…、ｍ１）を求めて、記憶部７と終了判定部８に出力する。ここで、（ｘ_１、…、ｘ_ｋ）_ｉは、特徴点１から特徴点ｋまでのｋ個の特徴点の組を表すものとし、ｉはこの組に付けた通し番号を表すものとする。

ステップＳＴ５では、終了判定部８が、候補選択部６から特徴点１の候補の情報を受け取り、記憶部７から複数の特徴点候補の情報を受け取り、次に処理する特徴点番号ｋに２を代入して、処理状況の情報を記憶部７と探索領域設定部４に出力する。

ステップＳＴ６では、探索領域設定部４が、終了判定部８から特徴点検出処理の経過情報（このステップでは特徴点ｋの検出処理が開始されたという状況等）を受け取り、記憶部７から確率密度関数の情報、複数の特徴点候補の情報等を受け取り、探索領域を設定する基準となる既検出のｋ−１個の特徴点の候補の組の通し番号ｉに１を代入する。

ステップＳＴ７では、探索領域設定部４が、ｋ−１個の特徴点候補のｉ番目の組（ｘ_１、…、ｘ_ｋ−１）_ｉを説明変数とする条件付確率密度関数ｐ（ｘ_ｋ｜（ｘ_１、…ｘ_ｋ−１）_ｉ）を計算し、その値が予め定められた値Ｃｋより大きくなる領域、即ち、ｐ（ｘ_ｋ｜（ｘ_１、…ｘ_ｋ−１）_ｉ）＞Ｃｋ を満たすｘ_ｋの領域を求めて、この求められた領域を特徴点ｋの探索領域として追加する（式（１５））。追加の方法は、確率密度を加算することは行わず、探索領域を追加するという方法で行う。即ち、新たに求められたｉ番目の領域のうち、既に求められている１からｉ−１番目までの領域に含まれない部分を追加する。この探索領域計算方法は「ＯＲ演算」や「和集合」のような計算である。ステップＳＴ７は、各ｋ（k≧２）に対してｍ_ｋ−１回実行される。各ｋにおいてステップＳＴ７で使用される条件付確率密度関数ｐ（ｘ_ｋ｜（ｘ_１、…ｘ_ｋ−１）_ｉ）は、合計ｍ_ｋ−１個である。即ち、特徴点ｋの探索領域の計算において、複数の条件付確率密度関数ｐ（ｘ_ｋ｜（ｘ_１、…ｘ_ｋ−１）_ｉ）、（ｉ＝１、…、ｍ_ｋ−１）が利用される。

ステップＳＴ８では、探索領域設定部４が、候補の組の通し番号を加算する（ｉ←ｉ＋１）。

ステップＳＴ９では、探索領域設定部４が、ｉ≦ｍ_ｋ−１を満たすかどうか判定し、満たす場合はステップＳＴ７に戻り、満たさない場合は探索領域の追加を完了してステップＳＴ１０に進む。

ステップＳＴ１０では、特徴点検出部５が、探索領域設定部４から特徴点番号（このステップでは特徴点ｋ）、探索領域の情報を受け取り、記憶部７から画像の情報を受け取り、特徴点ｋの検出処理を行わせ、特徴点ｋの候補ｘ_ｋ、_ｉ（ｉ＝１、…、ｎｋ）をｎｋ個求めて、これらの検出情報を候補選択部６に出力する。

ステップＳＴ１１では、候補選択部６が、特徴点検出部５から特徴点ｋの候補を受け取り、記憶部７から確率密度関数の情報、複数の特徴点候補の情報等を受け取り、特徴点１から特徴点ｋまでのｋ個の特徴点候補の組の組数をｍ_ｋ組に絞り込み、（ｘ_１、…、ｘ_ｋ）_ｉ（ｉ＝１、…、ｍ_ｋ）を求めて、記憶部７と終了判定部８に出力する。候補のリストアップは評価値を設定してその値に基づいて行うが、評価値は各特徴点検出時の類似度の大きさが大きいほど大きく、式（１２）の確率密度関数に候補の組を代入して得られる尤度の値が大きいほど大きくなるように設定する。

ステップＳＴ１２では、終了判定部８が、候補選択部６から特徴点ｋの候補の情報を受け取り、記憶部７から複数特徴点候補の情報を受け取り、次に処理する特徴点番号ｋを１だけ加算し、処理状況の情報を記憶部７と探索領域設定部４に出力する。

ステップＳＴ１３では、終了判定部８が、ｋ≦Ｎを満たすかどうか判定する。満たす場合はステップＳＴ６に戻り、満たさない場合はステップ１４に進む。

ステップＳＴ１４では、出力部（不図示）が、検出した特徴点情報を特徴点検出装置１の外部に出力して特徴点検出処理を終了する。

以上の処理の流れは、特徴点を１個ずつ処理する場合の典型的な処理の流れである。しかしながら、似た特徴を持つ特徴点をグループ化してグループ毎に検出処理を進めて行くことが効率的なことがあり、以下でその場合の変更点について説明する。

Ｎ個の特徴点をＧ個のグループに分け、各グループがｄｇ個の特徴点を有するものとする。特徴点グループｇのベクトルＸｇは、式（１６）−（１８）で表される。

特徴点グループｇの平均ベクトルは式（１９）で計算され、共分散行列は２ｄｇ次の行列として式（２０）で与えられる。特徴点グループｇの２ｄｇ次元確率密度関数は式（２１）で与えられる。

特徴点グループ１から特徴点グループｇ−１までのｇ−１個の特徴点グループ座標ベクトルＸ_１、…、Ｘ_ｇ−１が説明変数として与えられたときの特徴点グループｇの座標ベクトルＸ_ｇを目的変数とする条件付確率密度関数は式（２２）で与えられる。

ステップＳＴ７に相当する処理では、特徴点グループｇの条件付確率密度関数ｐ（ｘ_ｇ｜（ｘ_１、…ｘ_ｇ−１）_ｉ）を計算した場合、４次元以上の空間の確率密度関数を扱うことになり扱いにくいので、これをグループｇに含まれる特徴点毎の２次元の条件付確率密度関数に分解して、各特徴点の探索領域の設定を行わせ、必要に応じて評価値計算に対して高次元空間におけるｐ（ｘ_ｇ｜（ｘ_１、…ｘ_ｇ−１）_ｉ）の尤度を用いて処理するという方法をとる。

図３及び図４は、本発明の実施形態に係る顔特徴点の位置の分布と探索領域設定の一例を示す概念図である。

図３は、人物の顔画像における左右の瞳、左右の鼻孔、左右の口端の合計６つの顔特徴点の位置を、いくつかの顔画像について、顔領域に対する相対座標としてプロットして描いたものである。中央の正方形が検出された顔領域を表し、それを基準とした特徴点の相対座標を＋印でプロットした。画像座標における検出された顔領域の中心座標を（ｘ_ｃ、ｙ_ｃ）、正方形領域の１辺の長さを２ｗとすると、特徴点の画像座標（ｘ_Ｉ、ｙ_Ｉ）の顔領域に対する相対座標（ｘ、ｙ）は式（２４）で計算される。

この相対座標で表した特徴点ｋの２次元座標ベクトルをｘ_ｋとしたとき、同時確率密度関数ｐ（ｘ_１、…、ｘ_６）は、多次元正規分布で近似すると、式（４）においてＮ＝６とおいた式で表される。各特徴点ｋの座標ベクトルｘ_ｋの周辺分布の確率密度関数は式（１０）で計算される。この周辺確率密度関数を用いて、特徴点１から特徴点６の探索領域を、式（１４）で設定して図３に６つの楕円として描いた。適切にパラメータを設定することにより、特徴点（＋印）が存在する領域をカバーするような探索領域を設定することができる。パラメータの設定は、例えば、誤り確率をａ％と設定して、探索領域内で確率密度関数を積分した値が１−０．０１ａになるように係数Ｃｋを設定するという方法がある。しかしながら、このような式（１４）を用いる方法で設定した探索領域は特徴点間の関係を考慮しておらず、特徴点検出処理の開始時点では適切であるものの、検出処理が進むにつれて得られる検出済みの特徴点位置情報、さらには特徴点間の相関を考慮しないために有用な情報を活用できず、複数特徴点の検出処理の性能を低下させていた。

図４は、特徴点１と２がそれぞれ左の瞳、右の瞳であるとして、両瞳の候補の組がｍ２個得られたという条件のもとで、図２のステップＳＴ７の処理、即ち、式（１５）で得られた探索領域を残りの４個の特徴点に対してｍ２個重ねて描いたものである。ただし、４個の各特徴点においてそれが次のｋ＝３において探索されると仮定して探索領域を描いた。図３と比べて、鼻孔と口端の探索領域が狭くなっていることがわかる。このように、検出済みの特徴点候補が得られた段階では条件付確率密度関数を用いた探索領域設定により、誤り確率を変えずに探索領域を狭くすることができ、計算時間を短縮して、検出精度を高めることができる。

本発明の実施形態に係る特徴点検出装置の一例を示す構成図である。 本発明の実施形態に係る特徴点検出方法の処理手順の一例を示す流れ図である。 本発明の実施形態に係る瞳鼻孔口端６点の探索領域を示す概念図である。 本発明の実施形態に係る両瞳の候補の組の情報を用いた鼻孔口端４点の探索領域を示す概念図である。

符号の説明

１ 特徴点検出装置
２ 画像入力部
３ 顔検出部
４ 探索領域設定部
５ 特徴点検出部
６ 候補選択部
７ 記憶部
８ 終了判定部
９ 取得部

Claims (4)

1. 画像から対象物と前記対象物に属する複数の特徴点とを検出する特徴点検出装置であって、
   前記対象物におけるＮ個（Ｎは２以上の整数）の特徴点の位置の同時確率密度関数ｐ（ｘ_１、…、ｘ_Ｎ）を取得する取得部と、
   前記Ｎ個の特徴点のうち、既に検出処理が行われたｋ−１（ｋ−１はＮ以下且つ１以上の整数）個の特徴点の位置に基づいて、特徴点ｋの位置の条件付確率密度関数ｐ（ｘ_ｋ｜ｘ_１、…ｘ_ｋ−１）を算出し、前記条件付確率密度関数を用いて前記特徴点ｋの検出処理が行われる探索領域を設定する探索領域設定部と、
   を備えることを特徴とする特徴点検出装置。
2. 前記Ｎ個の特徴点の各々に対して複数の特徴点候補をそれぞれ検出する特徴点検出部を備え、
   前記探索領域設定部は、
   前記特徴点検出部で検出した前記複数の特徴点候補に基づいて複数の前記条件付確率密度関数を算出し、算出した複数の前記条件付確率密度関数を用いて前記探索領域を設定することを特徴とする請求項１に記載の特徴点検出装置。
3. 画像から対象物と前記対象物に属する複数の特徴点とを検出する特徴点検出方法であって、
   前記対象物におけるＮ個（Ｎは２以上の整数）の特徴点の位置の同時確率密度関数ｐ（ｘ_１、…、ｘ_Ｎ）を取得する工程と、
   前記Ｎ個の特徴点のうち、既に検出処理が行われたｋ−１（ｋ−１はＮ以下且つ１以上の整数）個の特徴点の位置に基づいて、特徴点ｋの位置の条件付確率密度関数ｐ（ｘ_ｋ｜ｘ_１、…ｘ_ｋ−１）を算出し、前記条件付確率密度関数を用いて前記特徴点ｋの検出処理が行われる探索領域を設定する工程と、
   を含むことを特徴とする特徴点検出方法。
4. 画像から対象物と前記対象物に属する複数の特徴点とを検出するための特徴点検出プログラムであって、
   コンピュータに、
   前記対象物におけるＮ個（Ｎは２以上の整数）の特徴点の位置の同時確率密度関数ｐ（ｘ_１、…、ｘ_Ｎ）を取得する工程と、
   前記Ｎ個の特徴点のうち、既に検出処理が行われたｋ−１（ｋ−１はＮ以下且つ１以上の整数）個の特徴点の位置に基づいて、特徴点ｋの位置の条件付確率密度関数ｐ（ｘ_ｋ｜ｘ_１、…ｘ_ｋ−１）を算出し、前記条件付確率密度関数を用いて前記特徴点ｋの検出処理が行われる探索領域を設定する工程と、
   を実行させるための特徴点検出プログラム。
   
   

Images