JP2007094906A - 特徴点検出装置および方法 - Google Patents

Abstract

【課題】 ２つ以上の異なる部位の特徴点を検出する装置であって、段階的に特徴点の候補を絞り込みながら、複数点を用いた正規化パターンによる認識処理のコストを抑えつつ、正確な位置を検出する。
【解決手段】 画像入力部１１０と、入力画像から特徴点候補を検出する特徴点候補検出部１２０と、各特徴点候補の周辺パターンを用いた照合処理により特徴点候補の絞込みを行う１点正規化パターン認識部１３０と、異なる２つの部位の特徴点候補をペアにし、特徴点候補ペアにより正規化されたパターンとで照合を行い、特徴点候補ペアの類似度と、候補ペアを成す各特徴点の類似度との加重和によって、異なる２つの部位の特徴点を検出する２点正規化パターン認識部１４０とを備える。
【選択図】 図１

Description

本発明は、人物の顔画像から目や口などの顔部品上の特徴点を検出する装置に関する。

特許文献１および特許文献２は特徴点検出の従来手法に関する。

特許文献１は、円形分離度フィルタを用いて候補点を絞り、その中で幾何的に問題のない目鼻候補の４点組を選び、４点組の各候補点周辺パターンでの照合による類似度を加算することによって、最終的な特徴点位置を決定する手法を開示する。しかし、目鼻の４点が同時に検出される必要がある。

特許文献２は、コーナー検出により得られた特徴点候補の中から、事前に計算した射影不変量に適合するような点の組み合わせを目尻・目頭・口端の６点として検出する手法を開示する。しかし、射影不変量計算のため少なくとも同一平面上にあると仮定できる５つの特徴点が必要である。
特許第３２７９９１３号公報 特開２００４‐２５２５５１公報

上述したように、従来技術には正確な特徴点位置を決定するために、異なる部位の点を多数必要とするという問題があった。しかし、測定方向と顔の向きによっては、必要な特徴点が観測できない場合もある。

本発明は、上記従来技術の問題点を解決するためになされたものである。１点正規化パターン認識と多点正規化パターン認識の多段階化により、特徴点検出を可能とする特徴点検出装置を提供することを目的とする。

上記課題を解決するため、本発明の一実施形態の特徴点検出装置は以下の構成要素を有する。

（Ａ）検出対象の第１特徴点の第１テンプレート、第２特徴点の第２テンプレート、および、前記第１特徴点と前記第２特徴点との２点の組み合わせに関する第３テンプレートを記憶する記憶部。

（Ｂ）画像を入力する画像入力部。

（Ｃ）前記画像から、第１特徴点の複数の第１候補および第２特徴点の複数の第２候補を検出する候補検出部。

（Ｄ）前記画像の前記各第１候補を含む第１領域と前記第１テンプレートとの類似性の第１評価値を求め、前記第１評価値に基づいて前記第１候補から複数の第３候補を抽出するとともに、前記画像の前記各第２候補を含む第２領域と前記第２テンプレートとの類似性の第２評価値を求め、前記第２評価値に基づいて前記第２候補から複数の第４候補を抽出する第１パターン認識部。

（Ｅ）前記第３候補と前記第４候補との２点に関する複数の第１組み合わせの各々について、前記画像の前記各第１組み合わせを含む領域と前記第３テンプレートとの類似性の第３評価値を求め、前記第３評価値に基づいて前記第１組み合わせから第２組み合わせを抽出する第２パターン認識部。

上記課題を解決するため、本発明の他の実施形態の特徴点検出方法は、記憶部に記憶された検出対象の第１特徴点の第１テンプレート、前記検出対象の第２特徴点の第２テンプレート、および、前記第１特徴点と前記第２特徴点との２点の組み合わせに関する第３テンプレートに基づいて、入力された画像から特徴点を検出する方法であって、以下の処理を含む。

（ａ）前記画像から、第１特徴点の複数の第１候補および第２特徴点の複数の第２候補を検出する。

（ｂ）前記画像の前記各第１候補を含む第１領域と前記第１テンプレートとの類似性の第１評価値を求めて、前記第１評価値に基づいて前記第１候補から複数の第３候補を抽出する。

（ｃ）前記画像の前記各第２候補を含む第２領域と前記第２テンプレートとの類似性の第２評価値を求めて、前記第２評価値に基づいて前記第２候補から複数の第４候補を抽出する。

（ｄ）前記第３候補と前記第４候補との２点に関する複数の第１組み合わせの各々について、前記画像の前記各第１組み合わせを含む領域と前記第３テンプレートとの類似性の第３評価値を求めて、前記第３評価値に基づいて前記第１組み合わせから第２組み合わせを抽出する。

本発明によれば、段階的な１点・多点正規化パターンの認識方法により、特徴点候補を絞り込みながら高速で高精度な特徴点検出が可能となる。

以下、本発明の実施形態について説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる特徴点検出装置のブロック図である。本実施形態では特徴点として瞳を検出する場合について説明する。

本実施形態の特徴点検出装置は、処理すべき画像を取得する画像入力部１１０と、入力画像から瞳の候補となる点を検出する特徴点候補検出部１２０と、各瞳候補点の周辺パターンを用いた照合処理により特徴点候補の絞込みを行う１点正規化パターン認識部１３０と、左右の両瞳候補点をペアにして、瞳候補ペアにより正規化されたパターンで照合を行い、左右の瞳ペアを検出する２点正規化パターン認識部１４０とを備える。

次に図１と図２を用いて、本実施形態の特徴点検出装置の動作について説明する。図２は、本実施形態の特徴点検出装置の動作を示すフローチャートである。

画像入力部１１０はデジタルカメラやスキャナ等で特徴点検出を行う対象となる人物の顔領域を含むデジタル画像を取得する（ステップＡ１）。

特徴点候補検出部１２０は両瞳位置の候補となる点を画像入力部１１０から送られてきた画像から選択する。この際、画像全体を対象とすると処理に時間がかかるため、P-tile法により、画像全体の中でも輝度の低い点のみを探索領域とする。P-tile法に必要なしきい値は事前の実験で瞳の位置が漏れないように定める（ステップＡ２）。P-tile法については、例えば「高木 他：“新編 画像解析ハンドブック”、東京大学出版会、pp.1520-1521、2004」（以下、文献[1]）に記載されている。

特徴点候補検出部１２０は、P-tile法によって絞り込まれた探索領域に対して、特許文献１に開示されている分離度フィルタを適用し、各画素における分離度の出力値を得る。探索領域の各画素における分離度フィルタの出力値に対してガウシアンフィルタを適用して平滑化した後に、出力値の局所最大点を抽出して瞳の候補点とする。（ステップＡ３）
１点正規化パターン認識部１３０は、まず特徴点候補検出部１２０で得られた候補点を中心とした周辺パターンを切り出す。

図６(a)は顔画像の顔６００上に複数の特徴点候補が分布している様子を示す。図６(b)は特徴点候補６０１に関して、分離度フィルタを利用して１点正規化を行う場合のパターン切り出しの例である。図６(c)は特徴点候補６０２に関して、基準特徴点を利用して１点正規化を行う場合のパターンの切り出しの例である。

例えば特徴点候補検出部１２０において適用した分離度フィルタ６０３の外周半径をrとした場合、図６(b)に示されるように、特徴点候補６０１を中心とし、画像の垂直方向と水平方向に沿って、a×rの大きさでパターンを切り出す。切り出す大きさを決める倍数aは、適用した分離度フィルタのサイズに応じて、目領域を含むように事前の実験によって設定する。（ステップＡ４）
各候補点で切り出されたパターンと、予め登録してある瞳特徴点を中心とするテンプレートとの類似性の評価値である類似度を計算する。類似度算出には、部分空間法や投影距離法などのパターン照合手法を用いる（ステップＡ５）。尚、部分空間法については、例えば「石井 他：“わかりやすい パターン認識”、1998」（以下、文献[2]）に記載されている手法を用いることができる。

候補点の中から類似度の上位n点を抜き出す。しきい値となる点数nは、なるべく正解位置に近い候補点が漏れないような最小の数を、事前の実験により定める。最終的に、１点正規化パターン認識部１３０からは、瞳候補点がn_e点と、各候補点の類似度が得られる（ステップＡ６）。

２点正規化パターン認識部１４０は、瞳候補点n_e点のうちの２点を左右の瞳と仮定して瞳候補ペアとする。左右の瞳が同じ位置にあることはないので、瞳候補ペアの数はn_e×（n_e-1）個となる（ステップＡ７）。

また、顔の大きさや顔の傾きを予め想定できる場合には、瞳候補ペアの２つの候補点間の距離、２つの候補点を結ぶベクトルと画像の水平方向との成す角度に制限を設けることにより、仕様と異なる瞳候補ペアを除去することができる。これは間違った候補を排除し、処理を高速化することが可能である。（ステップＡ８）
瞳候補ペアの候補点間の距離とベクトルを用いてパターンを正規化する。

図７(a)は顔７００上の瞳候補ペア７０１に対して２点正規化を行う際の前処理を示す。図７(b)は２点正規化を行う場合のパターン切り出しの例を示す。

例えば図７(a)に示す顔７００が傾いた場合、特徴点候補ペア７０１間のベクトル７０２と、それに垂直なベクトルとに沿ってパターンを切り出すことにより、向きが補正される。また、特徴点候補ペア７０１間の距離をLen1とすると、図７(b)に示すc×Len1の大きさでパターンを切り出すため、瞳間距離の個人差を吸収することができる。切り出す大きさを決める定数cは、顔領域が含まれるように事前の実験から予め定めておく。よって、１点正規化パターンよりも、向きと大きさが正確に正規化されたパターンの抽出が可能となる。（ステップＡ９）
この瞳候補ペアによる２点正規化パターンと、予め登録してある左右の瞳２点を用いて正規化したパターンのテンプレートとの類似度を計算する。類似度計算には、１点正規化パターン認識部と同様に、部分空間法や投影距離法などのパターン照合手法を用いる。（ステップＡ１０）
得られた２点正規化パターンの類似度と、瞳候補ペアを成すそれぞれの候補点が持つ１点正規化パターン認識部での類似度との加重和を計算し、その加重和スコアが最大となる瞳候補ペアを左右の両瞳とする。（ステップＡ１１）
このように、第１の実施形態に係わる特徴点検出装置によれば、画像入力部で取得した人物の顔を含むデジタル画像から、特徴点候補検出部で瞳の候補となる点を取得し、１点正規化パターン認識部で候補点を絞り込んだ後に、２点正規化パターン認識部で候補点のペアの中から左右の瞳ペアを検出することが可能となる。

多数の点を用いて正規化したパターンは、スケール、回転、アフィン変換等の変形に対して安定したパターンが得られるという利点がある。しかし、従来手法では、多数の点を用いることにより、組み合わせ数が指数的に増加して計算コストがかかるという問題があった。

本実施形態の特徴点検出装置はこの問題を解決する。すなわち、本実施形態の特徴点検出装置は、画像中から検出された特徴点候補の組み合わせを評価する前に、１点正規化パターン認識、２点正規化パターン認識により選別している。これにより、扱うべき組み合わせの数を減少させることが可能となる。

さらに、１点正規化パターン認識、２点正規化パターンの認識により得られた類似度と、後段のパターン認識部の類似度との加重和によって特徴点候補の選択、特徴点の決定を行うことによって、より間違いの少ない特徴点検出が実現できる。

すなわち、後段のパターン認識においては、その段のパターン認識で得られる類似度に加えて前段までのパターン認識で得られる類似度も用いてパターン認識の評価を行っている。これにより、特徴点検出の精度を向上させることが可能となる。

（変形例１）
探索領域を限定する方法として、図３のブロック図に示すように、特徴点候補検出部の前段に顔領域検出部１１１を導入し、顔領域検出部１１１を用いて顔領域を検出し、瞳の探索領域を限定した後に前述のP-tile法を適用することも可能である。

上述の顔領域検出部１１１は、例えば「三田 他：“顔検出に適したJoint Haar-like特徴の提案”、画像の認識・理解シンポジウム（MIRU 2005）、pp.104-111、2005」（以下、文献[3]）に開示された手法により顔領域の検出を行う。

また第１の実施形態では瞳の探索領域と１点正規化パターン認識部で得られる瞳候補点に左右の区別をつけていないが、顔領域検出部１１１を導入した場合、顔領域検出の結果を利用して左右の瞳探索領域を重複なく設定すれば、n_le個の左瞳候補点とn_re個の右瞳候補点がそれぞれ独立に得られる。この場合は、左右の瞳候補点をペアとし、n_le×n_re個の瞳候補ペアが得られる。

（変形例２）
さまざまな瞳の大きさに対応する方法として、分離度フィルタのサイズを複数設定する方法について説明する。

瞳の大きさは、撮影された顔の大きさに依存し、さらに顔の大きさに対する瞳の大きさも個人差がある。この瞳の大きさの変動に対応するために、いくつかのサイズの分離度フィルタを適用することが可能である。

この変形例では、各サイズの分離度フィルタにより、特徴点候補検出部１２０、１点正規化パターン認識部１３０、２点正規化パターン認識部１４０で示した処理によって両瞳ペアを取得し、各サイズの分離度フィルタによって得られた両瞳ペアの中でもっとも加重和スコアが高い両瞳ペアを最終的に出力とする。

（第２の実施形態）
図４は本発明の第２の実施形態の特徴点検出装置のブロック図である。本実施形態では目尻と目頭を特徴点として検出する手法について説明する。

本実施形態の特徴点検出装置は、処理すべき画像を取得する画像入力部１１０と、目尻目頭を検出するために必要な、基準となる特徴点を検出する基準特徴点検出部１１２と、入力画像から目尻と目頭の候補となる点を検出する特徴点候補検出部１２０と、目尻と目頭の各部位において各候補点の周辺パターンを用いた照合処理により特徴点候補の絞込みを行う１点正規化パターン認識部１３０と、目尻と目頭の特徴点候補をペアにして、目尻目頭候補ペアにより正規化されたパターンで照合を行い目尻目頭のペアを検出する２点正規化パターン認識部１４０とを備える。

画像入力部１１０は、デジタルカメラやスキャナ等で特徴点検出を行う対象となる人物の顔領域を含むデジタル画像を取得する。

基準特徴点検出部１１２は、画像入力部１１０から送られてきた画像から、検出対象である目尻目頭以外の特徴点の中で、目尻目頭検出に有用な特徴点を検出する。本実施形態では基準特徴点として両瞳を利用する。本実施形態の基準特徴点検出部１１２は、第１の実施形態で説明した特徴点検出装置を用いて瞳の検出を行う。よって基準特徴点検出部１１２では画像中の両瞳の位置が出力される。

特徴点候補検出部１２０は、目尻目頭の候補となる点を抽出する。目尻と目頭は左右で４点あるが、ここではそれぞれ独立に処理される。以下の説明では、片目の目尻と目頭の検出の説明を行う。

まず、基準特徴点検出部１１２より得られた両瞳位置を用いて、目尻と目頭の探索範囲を限定する。

本実施形態では目尻点と目頭点は上瞼と下瞼のエッジの交点とモデル化する。そこでエッジとエッジの交点を正確に検出するために、C.Harris 他“A Combined Corner and Edge Detector”、Proceedings of 4th Alvey Vision Conference, pp. 147-155、1988（以下、文献[4]）に記載されたコーナー検出法を利用して特徴点候補を抽出する。

目尻と目頭の探索範囲の各画素に対して前述のコーナー検出法を適用し、コーナー度の出力値に対してガウシアンフィルタを適用して平滑化した後に、出力値の局所最大点を抽出して目尻と目頭の候補点とする。

上述した文献[4]のコーナー検出法を利用するためには、予め抽出対象となるコーナーのスケールを決定しておく必要がある。目尻・目頭の大きさにあったコーナーを検出するには、顔の大きさの情報が必要である。ところで、基準特徴点検出部１１２で得られる両瞳間の距離は顔の大きさに概ね比例する量である。従って、本実施形態では両瞳間の距離に応じてこのスケールを決定する。

１点正規化パターン認識部１３０では、まず特徴点候補検出部で得られた目尻と目頭の候補点を中心とした周辺パターンを切り出す。基準特徴点検出部１１２において検出された両瞳間の距離をL_eyeとした場合、図６(c)に示されるように、候補点を中心とし、画像の垂直方向と水平方向に沿って、L_eye×bの大きさでパターンを切り出す。切り出す大きさを決める倍数bは、目尻や目頭の周辺を含むように事前の実験によって設定することができる。

各候補点で切り出されたパターンと、予め登録してある目尻点を中心とするテンプレート、および目頭点を中心とするテンプレートとの類似度を計算する。類似度算出には、部分空間法（例えば、上述の文献[2]）や投影距離法などのパターン照合手法を用いる。

各候補点の中から類似度の上位n点をそれぞれ抜き出す。しきい値となる点数nは、なるべく正解位置に近い候補点が漏れないような最小の数を、事前の実験により定める。最終的に、１点正規化パターン認識部１３０からは、目尻瞳候補点がn_out点、目頭候補点がn_in点、および各候補点の類似度が得られる。

２点正規化パターン認識部１４０では、目尻候補点と目頭候補点を１点ずつの組みとし、目尻目頭候補ペアとする。目尻目頭候補ペアの数はn_out×n_in個となる。

これらの目尻目頭候補ペアは、目尻目頭候補点間の距離、および候補点を結ぶベクトルを計算することができる。基準特徴点検出部１１２で得られた両瞳位置でも同様に瞳間の距離とベクトルを計算できるため、瞳間距離と目尻目頭候補間距離との比、および瞳間ベクトルと目尻目頭候補間ベクトルとの成す角度に制限を設けることにより、幾何的に誤りである可能性の高い目尻目頭候補ペアを排除し処理を高速化することが可能である。

目尻目頭候補ペアは、第１の実施形態における２点正規化パターン認識部と同様に、候補点間の距離とベクトルを用いてパターンを正規化して切り出すことができるため、１点正規化パターンよりも、向きと大きさが正確に正規化されたパターンの抽出が可能となる。

目尻目頭候補ペアによる２点正規化パターンと、予め登録してある目尻目頭点を用いて正規化したパターンのテンプレートとの類似度を計算する。類似度計算には、１点正規化パターン認識部と同様に、部分空間法や投影距離法などのパターン照合手法を用いる。

得られた２点正規化パターンの類似度と、目尻目頭候補ペアを成す目尻候補点と目頭候補点が持つ１点正規化パターン認識部での類似度との加重和を計算し、その加重和スコアが最大となる目尻目頭候補ペアを目尻点と目頭点とする。

以上の処理を左右の目尻目頭について独立に行うことにより、左右の目尻点と目頭点を得ることができる。また左目尻用、左目頭用の１点正規化パターンテンプレートを左右反転することにより右目尻用、右目頭用の１点正規化パターンテンプレートを用意することができる。

以上に説明したように、第２の実施形態の特徴点検出装置は画像入力部で取得した人物の顔を含むデジタル画像から、基準特徴点検出部で瞳位置を検出し、特徴点候補検出部で目尻目頭の候補となる点を取得し、１点正規化パターン認識部で目尻目頭候補点を絞り込んだ後に、２点正規化パターン認識部で目尻目頭候補点のペアの中から目尻点および目頭点を検出することが可能となる。

多数の点を用いて正規化したパターンは、スケール、回転、アフィン変換等の変形に対して安定したパターンが得られるという利点がある。しかし、従来手法では、多数の点を用いることにより、組み合わせ数が指数的に増加して計算コストがかかるという問題があった。

本実施形態の特徴点検出装置はこの問題を解決する。すなわち、本実施形態の特徴点検出装置は、画像中から検出された特徴点候補の組み合わせを評価する前に、１点正規化パターン認識により選別している。これにより、扱うべき組み合わせの数を減少させることが可能となる。

さらに、１点正規化パターン認識により得られる類似度と２点正規化パターンの認識により得られる類似度との加重和によって特徴点候補の選択、特徴点の決定を行うことによって、より間違いの少ない特徴点検出が実現できる。

すなわち、後段のパターン認識においては、その段のパターン認識で得られる類似度に加えて前段までのパターン認識で得られる類似度も用いてパターン認識の評価を行っている。これにより、特徴点検出の精度を向上させることが可能となる。

（変形例）
変形例として、１点正規化パターン認識、および２点正規化パターン認識で用いる特徴量について説明する。

本実施形態では前述したように目尻点と目頭点は、上瞼と下瞼のエッジの交点と考える。このため、エッジ情報が目尻目頭の位置を決める上で重要であると考えられる。そこで、パターンの生成方法として、画素の輝度を利用した濃淡パターンだけでなく、輝度勾配を利用した勾配パターンを用いる。具体的には下記の式（１）に従い、輝度パターン、水平方向勾配パターン、垂直方向勾配パターンの３種類のパターンを生成する。

上記の式（１）において、
P_iは正規化して切り出した画像の画素iにおける輝度、
P_maxは切り出し領域内の最大輝度、
P_minは切り出し領域内の最小輝度、
▽P_iは画素iにおける単位勾配ベクトル、
v_xは切り出されたパターンのx方向の単位ベクトル、
v_yは切り出されたパターンのy方向の単位ベクトル、
II_iは濃淡パターン、
XI_iは水平方向勾配パターン、
YI_iは垂直方向勾配パターンである。

また、すべてのパターンは０から１の値をもつ。

すなわち、濃淡パターンII_iは、正規化して切り出した画像の画素iにおける輝度P_iを切り出し領域内の最大輝度P_maxと切り出し領域内の最小輝度P_minとの差分で除算したものである。

また、水平方向勾配パターンXI_iは、画素iにおける単位勾配ベクトル▽P_iのx成分の逆余弦を円周率πで除算したものであり、垂直方向勾配パターンYI_iは、画素iにおける単位勾配ベクトル▽P_iのy成分の逆余弦を円周率πで除算したものである。

これらのパターンについてそれぞれ独立にテンプレートを作成しておき、照合も独立に行う。各類似度の加重和を最終類似度とすることにより、勾配方向を加味したパターン認識が可能となり、暗い画像のような濃淡だけでは判断が難しい場合でも、正確な特徴点位置の検出が可能となる。

（第３の実施形態）
図５は本発明の第３の実施形態の特徴点検出装置のブロック図である。本実施形態の特徴点検出装置は特徴点として口端を検出する。

本実施形態の特徴点検出装置は、処理すべき画像を取得する画像入力部１１０と、口端を検出するために必要な、基準となる特徴点を検出する基準特徴点検出部１１２と、入力画像から口端の候補となる点を検出する特徴点候補検出部１２０と、両口端において各候補点の周辺パターンを用いた照合処理により特徴点候補の絞込みを行う１点正規化パターン認識部１３０と、左右の口端の特徴点候補をペアにして、口端候補ペアにより正規化されたパターンで照合を行い口端候補ペアの絞込みを行う２点正規化パターン認識部１４０と、口端候補ペアと基準特徴点の中点を用いた３点で正規化されたパターンで照合を行い、口端ペアを検出する３点正規化パターン認識部１５０とを備える。

画像入力部１１０は、デジタルカメラやスキャナ等で特徴点検出を行う対象となる人物の顔領域を含むデジタル画像を取得する。

基準特徴点検出部１１２は、画像入力部１１０から送られてきた画像から、検出対象である口端以外の特徴点の中で、口端検出に有用な特徴点を検出する。本実施形態では基準特徴点として両瞳を利用する。本実施形態の基準特徴点検出部１１２は、前述した第１の実施形態の特徴点検出装置を用いて両瞳を検出する。よって基準特徴点検出部１１２では画像中の両瞳の位置が出力される。

基準特徴点の位置は、検出する特徴点の位置に近く、誤差の小さい点が望ましい。これは探索範囲を限定しやすいからである。ただし、本発明は、基準特徴点を両瞳に限定するものではなく、例えば鼻孔位置などを基準特徴点としても構わない。

特徴点候補検出部１２０は、左右の口端の候補となる点を抽出する。まず、基準特徴点検出部１１２より得られた両瞳位置を用いて、左右の口端の探索範囲を限定する。

本実施形態では、上唇と下唇のエッジの交点が口端であると仮定する。そこでエッジとエッジの交点を正確に検出するために、コーナー検出法（例えば上述の文献[4]が開示する手法）を利用して特徴点候補を抽出する。口端候補の探索範囲の各画素に対して前述のコーナー検出法を適用し、コーナー度の出力値に対してガウシアンフィルタを適用して平滑化した後に、出力値の局所最大点を抽出して口端の候補点とする。

上述の文献[4]のコーナー検出法は、予め抽出対象となるコーナーのスケールを決定しておく必要がある。口端の大きさに相当するコーナーを検出するには顔の大きさの情報が必要である。ところで、基準特徴点検出部１１２で得られる両瞳間の距離は顔の大きさに概ね比例する量である。したがって、本実施形態では両瞳間距離に応じてこのスケールを決定する。

１点正規化パターン認識部１３０は、まず特徴点候補検出部で得られた口端の候補点を中心とした周辺パターンを切り出す。

切り出す大きさは、上述の第２の実施形態の１点正規化パターン認識部と同様に、基準特徴点検出部１１２において検出された両瞳間の距離に応じて、口端の周辺をカバーできるように設定する。切り出す大きさは実験的に定めて構わない。

各候補点で切り出されたパターンと、予め登録してある口端を中心とするテンプレートとの類似度を計算する。類似度算出には、部分空間法（例えば、上述の文献[2]）や投影距離法などのパターン照合手法を用いる。

各候補点の中から類似度の上位n点をそれぞれ抜き出す。しきい値となる点数nは、なるべく正解位置に近い候補点が漏れないような最小の数を、事前の実験により定める。最終的に、１点正規化パターン認識部１３０からは、n_lm個の左口端候補点、n_rm個の右口端候補点、および、各候補点の類似度が得られる。

２点正規化パターン認識部１４０は、左口端候補点と右口端候補点を１点ずつの組みとしてn_lm×n_rm個の口端候補ペアを生成する。

これらの口端候補ペアの各々について、候補点間の距離、および、候補点を結ぶベクトルを計算することができる。基準特徴点検出部１１２で得られた両瞳位置でも同様に瞳間の距離とベクトルを計算できるため、瞳間距離と口端候補間距離との比、および瞳間ベクトルと口端候補間ベクトルとの成す角度に制限を設けることにより、幾何的に誤りである可能性の高い口端候補ペアをこの段階で排除することで処理を高速化することが可能である。

口端候補ペアは、上述の第１の実施形態の２点正規化パターン認識部と同様に、候補点間の距離とベクトルを用いてパターンを正規化して切り出すことができるため、１点正規化パターンよりも、向きと大きさが正確に正規化されたパターンの抽出が可能となる。口端候補ペアによる２点正規化パターンと、予め登録してある口端点を用いて正規化したパターンのテンプレートとの類似度を計算する。類似度計算には、１点正規化パターン認識部と同様に、部分空間法や投影距離法などのパターン照合手法を用いる。

得られた２点正規化パターンの類似度と、口端候補ペアを成す左右の口端候補点が持つ１点正規化パターン認識部での類似度との加重和を計算し、その加重和スコアの上位n_lrm個のペアを口端候補ペアとする。

３点正規化パターン認識部１４０は、口端候補ペアと基準特徴点である両瞳の重心点の３点を組にする。両瞳は基準特徴点として定まっているため、口端候補ペアと瞳重心の３点組の数は口端候補ペアの数と同様n_lrm個である。

口端候補ペアと瞳重心の３点の組は、アフィン変換を施すことによってパターンを正規化できる。

図８(a)は３点正規化に用いる基準特徴点８０１および重心点の例を示す。図８(b)は３点正規化を行う場合のパターン切り出しの例を示す。

例えば図８(a)に示すように顔画像がゆがんでいる場合、特徴点候補ペア８０３間のベクトル８０６と、特徴点候補ペア８０３の重心点８０４と基準特徴点８０１である両瞳の重心点８０２との間のベクトル８０５とに沿ってパターンを切り出すことにより歪みが補正される。図８(a)は、特徴点候補ペア８０３として左右の口端を用いた例を示している。

また特徴点候補ペア８０３の間の距離、すなわちベクトル８０６の長さをLen2、特徴点候補ペア８０３の重心点８０４と基準特徴点の重心８０２との距離、すなわちベクトル８０５の長さをLen3とすると、横幅d×Len2、縦幅e×Len3の大きさでパターンを切り出すため、顔パーツの配置の個人差を吸収することができる。

切り出す大きさを決める定数dおよびeは、顔領域が含まれるように事前の実験から予め定めておく。よって、１点正規化パターン、および２点正規化パターンよりも、変形に対して正確に正規化されたパターンの抽出が可能となる。

口端候補ペアと瞳重心の３点組による３点正規化パターンと、予め登録してある口端点と瞳位置を用いて正規化したパターンのテンプレートとの類似度を計算する。類似度計算には、部分空間法や投影距離法などのパターン照合手法を用いる。

得られた３点正規化パターンの類似度と、３点組を成す口端候補ペアの２点正規化パターン認識部での類似度、及び口端候補ペア成す左右の口端候補点が持つ１点正規化パターン認識部での類似度との加重和を計算し、その加重和スコアの最大となる３点組を成す口端候補ペアを左右の両口端点として検出する。

以上に説明したように、第３の実施形態の特徴点検出装置は、画像入力部で取得した人物の顔を含むデジタル画像から、基準特徴点検出部で瞳位置を検出し、特徴点候補検出部で口端の候補となる点を取得し、１点正規化パターン認識部で口端候補点を絞り込み、２点正規化パターン認識部で左口端候補と右口端候補を組にした候補ペアの中から口端候補ペアを抽出し、３点正規化パターン認識部で両瞳位置の重心点を利用した３点正規化パターン認識で口端候補ペアの中から左右の口端点を検出することが可能となる。

多数の点を用いて正規化したパターンは、スケール、回転、アフィン変換等の変形に対して安定したパターンが得られるという利点がある。しかし、従来手法では、多数の点を用いることにより、組み合わせ数が指数的に増加して計算コストがかかるという問題があった。

本実施形態の特徴点検出装置はこの問題を解決する。すなわち、本実施形態の特徴点検出装置は、画像中から検出された特徴点候補の組み合わせを評価する前に、１点正規化パターン認識および２点正規化パターン認識により選別している。これにより、扱うべき組み合わせの数を減少させることが可能となる。

さらに、１点正規化パターン認識により得られる類似度、２点正規化パターン認識により得られる類似度、および、３点正規化パターン認識により得られた類似度の加重和によって特徴点候補の選択、特徴点の決定を行うことによって、より間違いの少ない特徴点検出が実現できる。

すなわち、後段のパターン認識においては、その段のパターン認識で得られる類似度に加えて前段までのパターン認識で得られる類似度も用いてパターン認識の評価を行っている。これにより、特徴点検出の精度を向上させることが可能となる。

上記の各実施形態は特徴点検出装置に関するものであるが、本発明は装置に限定されるものではない。本発明は、これまでに説明した特徴点検出のための処理方法およびこの処理方法をコンピュータに実行させるためのプログラムも当然に含むものである。

このコンピュータは、少なくともプロセッサとこのプロセッサからアクセス可能なメモリとを有している。また、このコンピュータは外部機器との通信を行うための各種インターフェースを有していても構わない。例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）を経由して接続されたカメラで撮影した画像を入力しても構わない。あるいは、画像出力インターフェースを経由して接続されたディスプレイ装置に、特徴点検出処理の結果を表示させても構わない。また、ネットワークインターフェースを経由して他のコンピュータと通信を行って、他のコンピュータから特徴点検出処理の対象となる画像を取得しても構わないし、あるいは、他のコンピュータに特徴点検出処理の結果を提供しても構わない。

さらに、このプログラムは光学ディスク、磁気ディスク、フラッシュメモリもしくはＥＥＰＲＯＭを含む記憶媒体に記憶させて保存・流通させても構わない。

また、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態に係わる特徴点検出装置の構成を示すブロック図。 本発明の第１の実施形態の動作を示すフローチャート。 本発明の第１の実施形態の変形例１に係わる特徴点検出装置の構成を示すブロック図。 本発明の第２の実施形態に係わる特徴点検出装置の構成を示すブロック図。 本発明の第３の実施形態に係わる特徴点検出装置の構成を示すブロック図。 １点正規化パターン認識部におけるパターン切り出し方法を表した図 ２点正規化パターン認識部におけるパターン切り出し方法を表した図 ３点正規化パターン認識部におけるパターン切り出し方法を表した図

符号の説明

１１０ 画像入力部
１１１ 顔領域検出部
１１２ 基準特徴点検出部
１２０ 特徴点候補検出部
１３０ １点正規化パターン認識部
１４０ ２点正規化パターン認識部
１５０ ３点正規化パターン認識部
６００ 画像内の顔
６０１ 特徴点候補
６０２ 特徴点候補
６０３ 外周半径rの分離度フィルタ
７００ 画像内の顔
７０１ 特徴点候補ペア
７０２ 特徴点候補ペア７０１の間を結ぶベクトル
８００ 画像内の顔
８０１ 基準特徴点
８０２ 基準特徴点８０１の重心点
８０３ 特徴点候補ペア
８０４ 特徴点候補ペア８０３の重心点
８０５ 重心点８０２と重心点８０４とを結ぶベクトル
８０６ 特徴点候補ペア８０３の間を結ぶベクトル

Claims (20)

1. 検出対象の第１特徴点の第１テンプレート、第２特徴点の第２テンプレート、および、前記第１特徴点と前記第２特徴点との２点の組み合わせに関する第３テンプレートを記憶する記憶部と、
   画像を入力する画像入力部と、
   前記画像から、第１特徴点の複数の第１候補および第２特徴点の複数の第２候補を検出する候補検出部と、
   前記画像の前記各第１候補を含む第１領域と前記第１テンプレートとの類似性の第１評価値を求め、前記第１評価値に基づいて前記第１候補から複数の第３候補を抽出するとともに、前記画像の前記各第２候補を含む第２領域と前記第２テンプレートとの類似性の第２評価値を求め、前記第２評価値に基づいて前記第２候補から複数の第４候補を抽出する第１パターン認識部と、
   前記第３候補と前記第４候補との２点に関する複数の第１組み合わせの各々について、前記画像の前記各第１組み合わせを含む領域と前記第３テンプレートとの類似性の第３評価値を求め、前記第３評価値に基づいて前記第１組み合わせから第２組み合わせを抽出する第２パターン認識部と、
   を備える特徴点検出装置。
2. 前記第２パターン認識部は、前記第１評価値、前記第２評価値および前記第３評価値に基づく第４評価値に基づいて前記第２組み合わせを抽出する、
   請求項１に記載の特徴点検出装置。
3. 前記第２パターン認識部は、前記第３評価値に基づいて前記第１組み合わせ候補から複数の前記第２組み合わせを抽出し、
   前記記憶部は、前記第１特徴点、前記第２特徴点および第３特徴点の３点の組み合わせに関する第４テンプレートを、さらに記憶し、
   前記特徴点検出装置は、前記第２組み合わせと前記第３特徴点の第５候補との３点に関する複数の第３組み合わせの各々について、前記画像の前記各第３組み合わせを含む領域と前記第４テンプレートとの類似性の第５評価値を求め、前記第５評価値に基づいて前記第３組み合わせから第４組み合わせを抽出する第３パターン認識部を、さらに有する、
   請求項１または請求項２のいずれか一項に記載の特徴点検出装置。
4. 前記第３パターン認識部は、前記第１評価値、前記第２評価値、前記第３評価値および前記第５評価値に基づく第６評価値に基づいて前記第４組み合わせを抽出する、
   請求項３に記載の特徴点検出装置。
5. 前記検出対象は人間の顔であり、
   前記特徴点検出装置は、前記画像から両瞳の位置もしくは両鼻孔の位置を検出し、前記両瞳の位置もしくは前記両鼻孔の位置に基づいて前記第３特徴点の前記第５候補を設定する基準特徴点検出部を、さらに備える、
   請求項３または請求項４に記載の特徴点検出装置。
6. 前記第１テンプレート、前記第２テンプレート、前記第３テンプレートおよび前記第４テンプレートの各々は、輝度情報に基づく輝度テンプレートおよび輝度の勾配情報に基づく勾配テンプレートを含み、
   前記第１パターン認識部、前記第２パターン認識部および前記第３パターン認識部は、前記輝度テンプレートに関する評価値と前記勾配テンプレートに関する評価値との加重和をそれぞれ前記第１評価値、前記第２評価値、前記第３評価値、および、前記第５評価値として求める、
   請求項３から請求項５までのいずれか一項に記載の特徴点検出装置。
7. 前記検出対象は人間の顔であり、
   前記特徴点検出装置は、前記画像から顔領域を検出する顔領域検出部を、さらに有し、
   前記候補検出部は、前記画像の前記顔領域内で前記第１候補および前記第２候補を検出する、
   請求項１から請求項４までのいずれか一項に記載の特徴点検出装置。
8. 前記顔領域検出部は、前記顔領域の大きさをさらに求め、
   前記第１パターン認識部は、前記顔の大きさに基づいて前記第１領域および前記第２領域、もしくは、前記第１テンプレートおよび前記第２テンプレートを正規化してから、前記第１評価値および前記第２評価値を求め、
   前記第２パターン認識部は、前記顔の大きさに基づいて前記第１組み合わせを含む領域、もしくは、前記第３テンプレートを正規化してから、前記第３評価値を求める、
   請求項７に記載の特徴点検出装置。
9. 前記特徴点検出装置は、前記画像から両瞳の位置もしくは両鼻孔の位置を検出する基準特徴点検出部を、さらに備え、
   前記候補検出部は、前記両瞳の位置もしくは前記両鼻孔の位置に基づいて、前記第１候補および前記第２候補の前記画像内での検出範囲を設定する、
   請求項７または請求項８のいずれか一項に記載の特徴点検出装置。
10. 前記第１パターン認識部は、前記両瞳の位置もしくは前記両鼻孔の位置に基づいて、前記第１領域および前記第２領域、もしくは、前記第１テンプレートおよび前記第２テンプレートを、回転およびスケールに関して正規化してから、前記第１評価値および前記第２評価値を求める、
    請求項９に記載の特徴点検出装置。
11. 記憶部に記憶された検出対象の第１特徴点の第１テンプレート、前記検出対象の第２特徴点の第２テンプレート、および、前記第１特徴点と前記第２特徴点との２点の組み合わせに関する第３テンプレートに基づいて、入力された画像から特徴点を検出する方法であって、
    前記画像から、第１特徴点の複数の第１候補および第２特徴点の複数の第２候補を検出し、
    前記画像の前記各第１候補を含む第１領域と前記第１テンプレートとの類似性の第１評価値を求めて、前記第１評価値に基づいて前記第１候補から複数の第３候補を抽出し、
    前記画像の前記各第２候補を含む第２領域と前記第２テンプレートとの類似性の第２評価値を求めて、前記第２評価値に基づいて前記第２候補から複数の第４候補を抽出し、
    前記第３候補と前記第４候補との２点に関する複数の第１組み合わせの各々について、前記画像の前記各第１組み合わせを含む領域と前記第３テンプレートとの類似性の第３評価値を求めて、前記第３評価値に基づいて前記第１組み合わせから第２組み合わせを抽出する、
    特徴点検出方法。
12. 前記第２組み合わせの抽出では、前記第１評価値、前記第２評価値および前記第３評価値に基づく第４評価値に基づいて前記第２組み合わせを抽出する、
    請求項１１に記載の特徴点検出方法。
13. 前記記憶部は、前記第１特徴点、前記第２特徴点および前記検出対象の第３特徴点の３点の組み合わせに関する第４テンプレートを、さらに記憶し、
    前記第２組み合わせの抽出では、前記第３評価値に基づいて前記第１組み合わせ候補から複数の前記第２組み合わせを抽出し、
    前記特徴点検出方法は、さらに、前記第２組み合わせと前記第３特徴点の第５候補との３点に関する複数の第３組み合わせの各々について、前記画像の前記各第３組み合わせを含む領域と前記第４テンプレートとの類似性の第５評価値を求め、前記第５評価値に基づいて前記第３組み合わせから第４組み合わせを抽出する、
    請求項１１または請求項１２のいずれか一項に記載の特徴点検出方法。
14. 前記第４組み合わせの抽出では、前記第１評価値、前記第２評価値、前記第３評価値および前記第５評価値に基づく第６評価値に基づいて前記第４組み合わせを抽出する、
    請求項１３に記載の特徴点検出方法。
15. 前記検出対象は人間の顔であり、
    前記特徴点検出方法は、さらに、前記画像から両瞳の位置もしくは両鼻孔の位置を検出し、前記両瞳の位置もしくは前記両鼻孔の位置に基づいて前記第３特徴点の前記第５候補を設定する、
    請求項１３または請求項１４に記載の特徴点検出方法。
16. 前記第１テンプレート、前記第２テンプレート、前記第３テンプレートおよび前記第４テンプレートの各々は、輝度情報に基づく輝度テンプレートおよび輝度の勾配情報に基づく勾配テンプレートを含み、
    前記第３候補の抽出、前記第４候補の抽出、前記第２組み合わせの抽出および前記第４組み合わせの抽出では、前記輝度テンプレートに関する評価値と前記勾配テンプレートに関する評価値との加重和をそれぞれ前記第１評価値、前記第２評価値、前記第３評価値、および、前記第５評価値として求める、
    請求項１３から請求項１５までのいずれか一項に記載の特徴点検出方法。
17. 前記検出対象は人間の顔であり、
    前記特徴点検出方法は、さらに、前記画像から顔領域を検出し、
    前記第１候補および前記第２候補の検出では、前記画像の前記顔領域内で前記第１候補および前記第２候補を検出する、
    請求項１１から請求項１４までのいずれか一項に記載の特徴点検出方法。
18. 前記顔領域の検出では、前記顔領域の大きさをさらに求め、
    前記第３候補の抽出および前記第４候補の抽出では、前記顔の大きさに基づいて前記第１領域および前記第２領域、もしくは、前記第１テンプレートおよび前記第２テンプレートを正規化してから、前記第１評価値および前記第２評価値を求め、
    前記第２組み合わせの抽出では、前記顔の大きさに基づいて前記第１組み合わせを含む領域、もしくは、前記第３テンプレートを正規化してから、前記第３評価値を求める、
    請求項１７に記載の特徴点検出方法。
19. 前記特徴点検出方法は、さらに、前記画像から両瞳の位置もしくは両鼻孔の位置を検出し、
    前記第１候補および前記第２候補の検出では、前記両瞳の位置もしくは前記両鼻孔の位置に基づいて、前記第１候補および前記第２候補の前記画像内での検出範囲を設定する、
    請求項１７または請求項１８のいずれか一項に記載の特徴点検出方法。
20. 前記第２組み合わせの抽出では、前記両瞳の位置もしくは前記両鼻孔の位置に基づいて、前記第１領域および前記第２領域、もしくは、前記第１テンプレートおよび前記第２テンプレートを、回転およびスケールに関して正規化してから、前記第１評価値および前記第２評価値を求める、
    請求項１９に記載の特徴点検出方法。

Images