JP2016001492A - Ａｄａｂｏｏｓｔ学習アルゴリズムを使用して顔特徴点の位置を検出するための方法、装置、およびコンピュータ可読記録媒体 - Google Patents

Abstract

【課題】Ａｄａｂｏｏｓｔ学習アルゴリズムを使用した顔特徴点の位置の検出方法を提供する。
【解決手段】Ａｄａｂｏｏｓｔ学習アルゴリズムによって選択された第１の特徴パターンを使用して、サブウィンドウ画像を第１の推奨特徴点候補画像及び第１の非推奨特徴点候補画像へ分類し、第１の推奨特徴点候補画像の第１の特徴点候補位置情報を生成するステップと、Ａｄａｂｏｏｓｔ学習アルゴリズムによって選択された第２の特徴パターンを使用して、第１の非推奨特徴点候補画像へ分類されたサブウィンドウ画像を第２の推奨特徴点候補画像及び第２の非推奨特徴点候補画像へ再分類し、第２の推奨特徴点候補画像の第２の特徴点候補位置情報を生成するステップとを含む。
【選択図】図４

Description

本開示は、Ａｄａｂｏｏｓｔ学習アルゴリズムを使用することによって顔特徴点の位置を検出するための方法、装置、およびコンピュータ可読記録媒体に関する。より具体的には、本開示は、多層Ａｄａｂｏｏｓｔ分類器を使用することによって普通でない状態の顔画像における顔特徴点の位置をより正しく検出するための方法、装置、およびコンピュータ可読記録媒体に関する。

バイオメトリクスは、人によって異なる、指紋、顔、虹彩、静脈などといった身体的特徴を認識するための技術である。そのような身体的特徴は、キーやパスワードのように他者によって盗み取られ、複製される恐れがなく、また、変更されたり、失われたりする危険がないためにセキュリティ分野などで利用されうる。顔認識は、ビデオまたは写真画像内の顔領域を検出し、検出された顔領域に含まれる顔の同一性を識別する技法を含む生体認証技術の一種である。そのような顔認識技術は、スマートフォン時代における発展と呼応して、セキュリティ分野のみならず様々な他の用途においても利用することができる。

具体的には、顔認識は、特徴点の位置を使用することによって検出された顔画像内の顔を識別するための技法である。特徴点は、目の中心点、両目の両端点、眉の両端点および中心点、唇の両端点などを含んでいてよい。

ヒストグラム、主成分分析（ＰＣＡ：ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）、Ａｄａｂｏｏｓｔ学習アルゴリズムといった技法がそのような顔特徴点の位置を検出するのに使用され、これらの方法は、一般に、通常の顔画像（すなわち、正常な顔画像）に適用されるときにはある程度まで良好な結果を提供する。

しかし、これらの方法が普通でない顔画像（例えば、眼鏡をかけた人の顔画像、顔の一部分が髪の後ろに隠れている顔画像、誇張された表情をした人の顔画像、正面でない顔画像、部分的に暗い顔画像、目が閉じられている画像など）に適用されるときには、特徴点の位置を検出する際に大幅な性能の低下が見られるという点で問題がある。

したがって、通常の顔画像のみならず普通でない顔画像の特徴点の位置を検出する際にも一貫した性能を保証する技法を開発することが必要である。

したがって、本開示の一目的は上記の問題を解決することである。

さらに、本開示の別の目的は、Ａｄａｂｏｏｓｔ学習アルゴリズムを使用して顔特徴点の位置を検出する間に、通常の顔画像内の候補特徴点の位置のみならず普通でない顔画像内の候補特徴点の位置も正確に検出することによって、顔特徴点の位置を検出する際の性能を保証することである。

上記の目的を達成するための本開示の代表的な構成は以下のとおりである。

本開示の一態様によれば、Ａｄａｂｏｏｓｔ学習アルゴリズムを使用することによって顔特徴点の位置を検出する方法が提供される。方法は、（ａ）Ａｄａｂｏｏｓｔ学習アルゴリズムによって選択された第１の特徴パターンを使用して、サブウィンドウ画像を第１の特徴点候補推奨画像および第１の特徴点候補非推奨画像へ分類し、第１の特徴点候補推奨画像の第１の特徴点候補位置情報を生成するステップと、（ｂ）Ａｄａｂｏｏｓｔ学習アルゴリズムによって選択された第２の特徴パターンを使用して、第１の特徴点候補非推奨画像として分類されたサブウィンドウ画像を第２の特徴点候補推奨画像および第２の特徴点候補非推奨画像へ再分類し、第２の特徴点候補推奨画像の第２の特徴点候補位置情報を生成するステップとを含む。

本開示の別の態様によれば、Ａｄａｂｏｏｓｔ学習アルゴリズムを使用して顔特徴点の位置を検出するための装置が提供される。装置は、Ａｄａｂｏｏｓｔ学習アルゴリズムによって選択された第１の特徴パターンを使用して、サブウィンドウ画像を第１の特徴点候補推奨画像および第１の特徴点候補非推奨画像へ分類し、第１の特徴点候補推奨画像の第１の特徴点候補位置情報を生成するための分類器と、Ａｄａｂｏｏｓｔ学習アルゴリズムによって選択された第２の特徴パターンを使用して、第１の特徴点候補非推奨画像として分類されたサブウィンドウ画像を第２の特徴点候補推奨画像および第２の特徴点候補非推奨画像へ再分類し、第２の特徴点候補推奨画像の第２の特徴点候補位置情報を生成するための少なくとも１つの再分類器とを含む。

本開示の各態様は、第１の特徴パターンは通常の顔画像の特徴に基づくものであり、第２の特徴パターンは普通でない顔画像の特徴に基づくものであり、第１の特徴パターンおよび第２の特徴パターンの各々は１つまたは複数の暗い領域および１つまたは複数の明るい領域を指定することを特徴とする。

本開示のさらに別の態様によれば、顔画像のサブウィンドウ画像についての第１の特徴点候補位置情報および第２の特徴点候補位置情報を生成し、記憶するための特徴点候補位置生成部、ならびに第１の特徴点候補位置情報およびいくつかの第２の特徴点候補位置情報についてのクラスタ化を実行することによってクラスタを形成し、クラスタのうちで最大のクラスタを形成する第１の特徴点候補位置情報および第２の特徴点候補位置情報についての中心点の位置情報を特徴点位置情報として生成する特徴点候補位置クラスタ化部とがさらに提供される。

加えて、本開示を実現するための上記の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ可読記録媒体もさらに提供される。

本開示によれば、通常の顔画像の候補特徴点の位置のみならず普通でない顔画像の候補特徴点の位置も検出することによって、特徴点の位置を検出する際の性能を高めるという効果が得られる。

本開示の一実施形態による顔特徴点の位置を検出するための装置の構成を示すブロック図である。 本開示の一実施形態による特徴点候補位置検出部へ入力されるべきサブウィンドウ画像を示す図である。 特徴点候補位置クラスタ化部の機能を示す図である。 本開示の一実施形態によるＡｄａｂｏｏｓｔ学習アルゴリズムを用いる特徴点候補位置検出器を示す図である。 図４に示す特徴点候補位置検出器の強い分類器の一例を示す図である。 本開示の一実施形態によるＡｄａｂｏｏｓｔ学習アルゴリズムを使用することによって学習され、選択される特徴パターンを示す図である。

本開示の以下の詳細な説明では、例として、本開示が実施されうる具体的実施形態を示す添付の図面を参照する。これらの実施形態は、当業者が本開示を実施することを可能にするのに十分な程度に詳細に記載されている。本開示の様々な実施形態は、たとえ異なっていても、必ずしも相互に排他的であるとは限らないことを理解すべきである。例えば、ある実施形態と関連して本明細書に記載される特定の特徴、構造、および特性が、本開示の趣旨および範囲を逸脱することなく、他の実施形態内で実施されてもよい。さらに、開示の各実施形態内の個々の要素の位置決めまたは配置は、本開示の趣旨および範囲を逸脱することなく変更されてもよいことも理解すべきである。したがって以下の詳細な説明は限定的な意味に解するべきではなく、本開示の範囲は、添付の特許請求の範囲によってのみ定義され、特許請求の範囲が特許請求するものと等価の十分な範囲と共に適切に解釈されるものである。図面において、類似の参照符号は、多くの点において同じ機能または類似の機能を指しうる。

以下、本開示の様々な実施形態を、当業者が本開示を容易に実施することができるように、添付の図面を参照して詳細に説明する。

図１は、本開示の一実施形態による顔特徴点の位置を検出するための装置の構成を示すブロック図、１００である。

図１を参照すると、ブロック図、１００は顔特徴点の位置を検出するための装置を表しており、装置は、正規化部１１０、画像変換部１２０、特徴点候補位置検出部１３０、特徴点候補位置クラスタ化部１４０、および特徴点位置調整部１５０を含んでいてよい。

図１に示す各ブロックの機能は以下のとおりである。

正規化部１１０は、顔画像を所定のサイズの濃淡画像へ正規化してよい。入力顔画像はカラー画像としてよく、様々なサイズのものとしてよい。正規化部１１０は、様々なサイズの顔画像内の特徴点の位置を検出するために、入力顔画像を所定のサイズの濃淡画像へ正規化してよい。

画像変換部１２０は、変形センサス変換（ＭＣＴ：ｍｏｄｉｆｉｅｄ ｃｅｎｓｕｓ ｔｒａｎｓｆｏｒｍ）を実行することによって濃淡画像をマルチスケール画像へ変換してよい。すなわち、画像変換部１２０は、濃淡画像を、濃淡画像のスケールより大きいスケールを有する画像へ変換してよい。例えば、濃淡画像の各画素が０〜２５５までの２５６スケールを有する場合、画像変換部１２０は、濃淡画像の各画素を０〜５１１までの５１２スケールを有するように変換してよい。

特徴点候補位置検出部１３０は、マルチスケール画像のサブウィンドウ画像が入力されると、Ａｄａｂｏｏｓｔ学習アルゴリズムを使用して通常の顔画像のパターンを学習することによって選択されたものである第１の特徴パターンを使用することによって、サブウィンドウ画像を、第１の特徴点候補推奨画像および第１の特徴点候補非推奨画像のうちの１つとして分類する。第１の特徴点候補非推奨画像として分類されたサブウィンドウ画像が入力されると、特徴点候補位置検出部１３０は、Ａｄａｂｏｏｓｔ学習アルゴリズムを使用して普通でない顔画像のパターンを学習することによって選択されたものである第２の特徴パターンを使用することによって、第１の特徴点候補非推奨画像として分類されたサブウィンドウ画像を、第２の特徴点候補推奨画像および第２の特徴点候補非推奨画像へ分類してよい。特徴点候補位置検出部１３０は、第１の特徴点候補推奨画像の第１の特徴点位置情報および第２の特徴点候補推奨画像の第２の特徴点位置情報を出力してよい。

ここで、（Ａｄａｂｏｏｓｔ学習アルゴリズムを使用して通常の顔画像のパターンを学習することによって選択された）第１の特徴パターンを使用することによって、サブウィンドウ画像を、第１の特徴点候補推奨画像または第１の特徴点候補非推奨画像の１つとしての分類することに関して、第１の特徴パターンは、（後述する）第１層内の少なくとも１つの強い分類器に含まれるパターンを指していてよい。この例では、複数の強い分類器が第１層に含まれる場合、第１層のそれぞれの強い分類器に含まれるパターンは相互に異なっていてよいことが明らかに理解される。さらに、第１の特徴点候補非推奨画像として分類されたサブウィンドウ画像が特徴点候補位置検出部１３０へ入力されるときに、Ａｄａｂｏｏｓｔ学習アルゴリズムを使用して普通でない顔画像のパターンを学習することによって選択されたものである第２の特徴パターンを使用することによって、第１の特徴点候補非推奨画像として分類されたサブウィンドウ画像を、第２の特徴点候補推奨画像および第２の特徴点候補非推奨画像へ分類する際に、第２の特徴パターンは、後述する、第２層または後続の層（すなわち、第２層から第ｋ層）内の少なくとも１つの強い分類器に含まれるパターンを指していてよい。この例では、それぞれの強い分類器に含まれるパターンは、層間で、または同じ層内でさえも相互に異なっていてよいことが明らかに理解される。

さらに、本開示の様々な態様は、第１の特徴パターンは通常の顔画像の特徴に基づくものであり、第２の特徴パターンは普通でない顔画像の特徴に基づくものであり、第１の特徴パターンおよび第２の特徴パターンの各々は１つまたは複数の暗い領域および１つまたは複数の明るい領域を指定することを特徴とする。ここで、顔画像が通常の顔画像であるか否かは、顔画像を正常な顔画像と比較し、それらの間の差が既定の閾値を超えるか否かを判定することによって判定されてよい。第１および第２の特徴パターンに含まれる領域が暗い領域であるか、それとも明るい領域であるかは、少なくとも１つの既定の輝度値に基づいて判定されてよい。より具体的には、顔画像が普通でない顔画像と判定される場合、その異常さが評価されてよく、このために、複数の既定の閾値が用意されてよい。

図２は、本開示の一実施形態による特徴点候補位置検出部１３０へ入力されるべきサブウィンドウ画像を示すためのブロック図である。図２で、参照記号Ａは、画像変換部１２０によって変換された３８４×２８８のサイズを有する画像を表示していてよく、参照記号ａ、ｂ、ｃおよびｄは、特徴点候補位置検出部１３０へ順次に入力される、各々が２４×２４のサイズを有するサブウィンドウ画像を表示していてよい。すなわち、画像Ａの最初の画素から最後の画素まで所定の画素単位ずつ移動する間に獲得される最初のサブウィンドウ画像ａから最後のサブウィンドウ画像ｄまでの画像は、特徴点候補位置検出部１３０へ順次に入力されてよい。

特徴点候補位置クラスタ化部１４０は、画像Ａから獲得され、特徴点候補位置検出部１３０によって検出された第１の特徴点候補推奨画像および第２の特徴点候補推奨画像の特徴点位置情報を参照してクラスタ化を実行することによってクラスタを作成してよい。次いで、特徴点候補位置クラスタ化部１４０は、最大のクラスタの中心点の位置情報を最終的な特徴点位置情報として出力してよい。

図３は、特徴点候補位置クラスタ化部１４０の機能を示す図である。黒点は、特徴点候補位置検出部１３０によって獲得された第１の特徴点位置情報および第２の特徴点位置情報による特徴点を示しており、これらの特徴点がｅ１〜ｅ５までの５個のクラスタを形成するとき、最大のクラスタｅ１の中心点の位置情報を最終的な特徴点位置情報とすることができる。実際は、本開示はそれだけに限定されず、様々な変更例が想定されうる。例えば、最終的な特徴点位置情報は中心点だけに限定されず、対応するクラスタを表すことのできるある代表的な位置がそれに関する情報として実装されてよい。

特徴点位置調整部１５０は、最終的な特徴点位置情報を受け取り、次いでその情報を正規化部１１０へ入力された顔画像のサイズに対応する位置情報に調整して、特徴点位置情報を出力する。すなわち、顔画像のサイズは正規化部１１０によって変更されるため、特徴点位置調整部１５０は、特徴点候補位置クラスタ化部１４０によって獲得された最終的な特徴点位置情報を正規化部１１０へ入力された顔画像のサイズに対応する位置情報に調整する機能を果たしてよい。

図１では、顔特徴点の位置を検出するための装置１００へ入力された顔画像が特徴点候補位置検出部１３０のための所定のサイズのマルチスケール画像であるときには、正規化部１１０、画像変換部１２０、および特徴点位置調整部１５０は不要とされてよい。

図４に、本開示の一実施形態による特徴点候補位置検出部１３０を示す。

図４を参照すると、本開示の一実施形態による特徴点候補位置検出部１３０は、分類器２１０−１、再分類器２１０−２〜２１０−ｋ、および特徴点候補位置生成器２２０を含んでいてよい。ここで、分類器２１０−１は、いわゆる第１層に対応する分類器としてよい、再分類器２１０−２〜２１０−ｋは、それぞれ、いわゆる第２層から第ｋ層に対応する分類器としてよい。参考までに、第１層は、通常の顔画像から学習することによって取得されたパターンを含む少なくとも１つの強い分類器を含んでいてよく、第２層から第ｋ層は、普通でない顔画像から学習することによって取得されたパターンを含む少なくとも１つの強い分類器を含んでいてよく、異常さの程度はｋが増加するにつれて増加する。分類器２１０−１は、第１層の分類器であり、強い分類器２３０−１１〜２３０−１ｎを含んでいてよく；再分類器２１０−２は、第２層の分類器であり、強い分類器２３０−２１〜２３０−２ｍを含んでいてよく；再分類器２１０−ｋは、第ｋ層の分類器であり、強い分類器２３０−ｋ１〜２３０−ｋｌを含んでいてよい。分類器２１０−１および再分類器２１０−２〜２１０−ｋは、それぞれ、相互に異なる構成を有する１つまたは複数の強い分類器を含んでいてよい。

図４に示す各ブロックの機能は以下のとおりである。

分類器２１０−１は、Ａｄａｂｏｏｓｔ学習アルゴリズムを使用した学習によって通常の顔画像のパターンの中から選択された第１の特徴パターンを使用することによって、入力サブウィンドウ画像を、第１の特徴点候補推奨画像および第１の特徴点候補非推奨画像のうちの１つとして分類してよく、第１の特徴点候補推奨画像についての位置情報を生成してよい。

再分類器２１０−２〜２１０−ｋの各々は、Ａｄａｂｏｏｓｔ学習アルゴリズムを使用した学習によって普通でない顔画像のパターンの中から選択された第２の特徴パターンを使用することによって、第１層の分類器である分類器２１０−１、および第２層の分類器である再分類器２１０−２〜２１０−ｋによって特徴点候補非推奨画像として分類されたサブウィンドウ画像を、第２の特徴点候補推奨画像および第２の特徴点候補非推奨画像のうちの１つとして再分類してよく、第２の特徴点候補推奨画像についての特徴点位置情報を生成してよい。

上記に従い、分類器２１０−１は、通常の顔画像についての第１の特徴点候補推奨画像の第１の特徴点候補位置を生成してよく、再分類器２１０−２〜２１０−ｋの各々は、普通でない顔画像についての第２の特徴点候補推奨画像の第２の特徴点候補位置を生成してよい。

第１層に含まれる強い分類器２３０−１１〜２３０−１ｎは、Ａｄａｂｏｏｓｔ学習アルゴリズムを使用した学習によって選択されたものである第１の特徴パターンを使用することによって、入力サブウィンドウ画像を第１の特徴点候補推奨画像および第１の特徴点候補非推奨画像へ分類し、第１の特徴点候補位置情報を出力するように構成されている。ここで、第１の特徴点候補位置情報を出力するためには、第１層に含まれるすべての強い分類器２３０−１１〜２３０−１ｎが、第１の特徴点候補推奨画像と判定する必要がある。

さらに、第２層に含まれる強い分類器２３０−２１〜２３０−２ｍは、Ａｄａｂｏｏｓｔ学習アルゴリズムを使用した学習によって選択されたものである第２の特徴パターンを使用することによって、入力サブウインドウ画像を、第２の特徴点候補推奨画像および第２の特徴点候補非推奨画像へ分類し、第２の特徴点候補位置情報を出力するように構成されている。ここで、第２層によって第２の特徴点候補位置情報を出力するためには、第２層に含まれるすべての強い分類器２３０−２１〜２３０−２ｍが第２の特徴点候補推奨画像と判定する必要がある。

さらに、第ｋ層含まれる強い分類器２３０−ｋ１〜２３０−ｋｌは、Ａｄａｂｏｏｓｔ学習アルゴリズムを使用した学習によって選択されたものである（強い分類器２３０−２１〜２３０−２ｍによって使用された第２の特徴パターンとは異なりうる）第２の特徴パターンを使用することによって、入力サブウィンドウ画像を、第２の特徴点候補推奨画像および第２の特徴点候補非推奨画像へ分類し、第２の特徴点候補位置情報を出力する。ここで、第ｋ層によって第２の特徴点候補位置情報を出力するためには、入力サブウィンドウ画像が、第ｋ層に含まれるすべての強い分類器２３０−ｋ１〜２３０−ｋｌによって第２の特徴点候補推奨画像と判定される必要がある。

カスケード接続された強い分類器２３０−１１〜２３０−１ｎ、２３０−２１〜２３０−２ｍ、…、および２３０−ｋ１〜２３０−ｋｌの各々において、前段の強い分類器は、Ａｄａｂｏｏｓｔ学習アルゴリズムを使用した学習によって選択されたものである、後段の強い分類器と比べてより少ない数の第１および第２の特徴パターンを使用することによって、サブウィンドウ画像を、第１および第２の特徴点候補推奨画像ならびに第１および第２の特徴点候補非推奨画像へ分類してよい。例えば、強い分類器２３０−１１は２個の第１の特徴パターンを使用してよく、強い分類器２３０−１２は１０個の第１の特徴パターンを使用してよく、強い分類器２３０−１ｎは３０個の第１の特徴パターンを使用してよい。その理由は、顔特徴点の位置と判定される１つの画像内の点の数は小さいため、サブウィンドウ画像の大部分は「否定」と判定される（すなわち、第ｋ層に至るまで連続して特徴点候補非推奨画像と判定される）ことを考慮して、各層の前段では、強い分類器において少数のパターンを使用してサブウィンドウ画像を軽くフィルタリングすることである。したがってこの例からいうと、たとえ順次に入力される１００個のサブウィンドウ画像が前段の強い分類器で第１および第２の特徴点候補推奨画像として分類されたとしても、次段の強い分類器では５０個のサブウィンドウ画像だけが第１および第２の特徴点候補推奨画像として分類され（すなわち受諾され）、最終段の第ｎの強い分類器を通過する（すなわち受諾される）第１および第２の特徴点候補推奨画像は１０個まで低減される可能性がある。したがって、分類器２１０−１および再分類器２１０−２〜２１０−ｋの各最終段の強い分類器２３０−１ｎ、２３０−２ｍおよび２３０−ｋｌで生成される第１および第２の特徴点候補推奨画像の特徴点位置情報は、特徴点を含む確率の高い位置情報となりうる。

特徴点候補位置生成器２２０は、それぞれ、分類器２１０−１および再分類器２１０−２〜２１０−ｎから出力されたいくつかの第１および第２の特徴点候補位置情報を記憶し、出力してよい。特徴点候補位置生成器２２０は、図２の画像Ａのすべてのサブウィンドウ画像についての第１および第２の特徴点候補位置情報を記憶し、次いで出力してよい。

図５に、図４に示す特徴点候補位置検出部１３０の強い分類器の一例を示す。

図５を参照すると、一実施形態による強い分類器２３０は、弱い分類器２４０−１〜２４０−ｐおよび判定部２５０を含んでいてよい。

図５に示す各ブロックの機能は以下のとおりである。

サブウィンドウ画像が入力された場合、弱い分類器２４０−１〜２４０−ｐの各々は、相互に異なる特徴パターンを使用して、そのサブウィンドウ画像が特徴点候補推奨画像であるか、それとも特徴点候補非推奨画像であるかを指示する特徴値を生成してよい。

判定部２５０は、弱い分類器２４０−１〜２４０−ｐからの結果を組み合わせ、サブウィンドウ画像が特徴点候補推奨画像であるときには、特徴点候補位置情報およびサブウィンドウ画像を後段の強い分類器に出力し（後段に強い分類器がない場合には、「肯定」状態が特徴点候補位置生成器２２０において記録される）、サブウィンドウ画像が特徴点候補非推奨画像であるときには、特徴点候補非推奨位置情報およびサブウィンドウ画像を後段の再分類器２１０−２〜２１０−ｋに出力する。

図６に、本開示の一実施形態によるＡｄａｂｏｏｓｔ学習アルゴリズムを使用した学習によって選択される特徴パターンを示す。３個の弱い分類器２４０−１〜２４０−３が１個の強い分類器を形成しているときには、図６（ａ）、（ｂ）、および（ｃ）の示す特徴パターンが相互に異なる弱い分類器に使用されてよい。図６（ａ）に示す特徴パターンはサブウィンドウ１０内の対応する位置に配置された２個の正方形を含むパターンを表示しており、特徴パターン図６（ｂ）はサブウィンドウ１０内の対応する位置に配置された３個の正方形を含むパターンを表示しており、特徴パターン図６（ｃ）はサブウィンドウ１０内の対応する位置に配置された４個の正方形を含むパターンを表示している。さらに、図６（ａ）、（ｂ）、および（ｃ）に示す特徴パターンの影付き正方形ｆには暗い画像が存在していてよく、正方形ｇには明るい画像が存在していてよい。すなわち、各特徴パターンは、サブウィンドウ１０内で暗い画像が存在する１つまたは複数の領域ｆおよび明るい画像が存在する１つまたは複数の領域ｇを指定していてよい。さらに、図６（ａ）、（ｂ）、および（ｃ）に示す特徴パターンの各々は、Ａｄａｂｏｏｓｔ学習アルゴリズムを使用して学習され、重み係数は、特徴点位置を見つける確率が高い場合には高く設定され、確率が低い場合には低く設定されてよく、１個の強い分類器を形成している弱い分類器２４０−１〜２４０−３の重み係数は総和が１になるように設定されてよい。さらに、入力サブウィンドウ画像を特徴点候補推奨画像および特徴点候補非推奨画像へ分類するための閾値が、Ａｄａｂｏｏｓｔ学習アルゴリズムを使用した学習によって弱い分類器および強い分類器の各々で設定されてよい。

図５の弱い分類器２４０−１〜２４０−ｐが図６を使用することによってサブウィンドウ画像を特徴点候補推奨画像および特徴点候補非推奨画像へ分類する方法を以下のように説明する。

図５の弱い分類器２４０−１〜２４０−ｐの各々は、サブウィンドウ１０の１つの選択されたパターンの正方形ｇ内に存在するサブウィンドウ画像内の画素の総和と正方形ｆ内に存在するサブウィンドウ画像内の画素の総和との差と設定された閾値を比較することによって、サブウィンドウ画像が特徴点候補推奨画像であるか、それとも特徴点候補非推奨画像であるかを指示する特徴値を生成してよい。特徴値は、サブウィンドウ画像が特徴点候補推奨画像であるときには１の値を有していてよく、サブウィンドウ画像が特徴点候補非推奨画像であるときには０の値を有していてよい。

図５の判定部２５０が、図６を使用することにより、弱い分類器２４０−１〜２４０−ｐから出力された特徴値を組み合わせることによって、サブウィンドウ画像を、特徴点候補推奨画像および特徴点候補非推奨画像へ分類する方法を以下のように説明する。

判定部２５０は、それぞれの弱い分類器２４０−１〜２４０−ｐから出力された特徴値を、それぞれの弱い分類器２４０−１〜２４０−ｐで設定された重み係数と乗算することによって獲得される値の総和を計算し、その総和を強い分類器２３０で設定された閾値と比較することによって、サブウィンドウ画像が特徴点候補推奨画像であるか、それとも特徴点候補非推奨画像であるか判定してよい。

次いで、強い分類器２３０は、特徴点候補推奨画像の特徴点候補位置情報の信頼値を計算し、出力してよい。この場合には、判定部２５０は、それぞれの弱い分類器２４０−１〜２４０−ｐから出力された特徴値をそれぞれの弱い分類器２４０−１〜２４０−ｐの重み係数で乗算することによって獲得された値の総和を信頼値として出力してよい。

さらに、信頼値を使用して、特徴点候補位置クラスタ化部１４０は、クラスタ化によって作成された最大のクラスタのそれぞれの特徴点候補位置情報を、それぞれの特徴点候補位置情報の信頼値で乗算することによって獲得された値の総和を参照して、最終的な特徴点候補位置情報を決定してよい。

本開示で使用されるＡｄａｂｏｏｓｔ学習アルゴリズムの一例として、Ｐａｕｌ ＶｉｏｌａおよびＭｉｃｈａｅｌ Ｊ．Ｊｏｎｅｓによって作成された、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｖｏｌｕｍｅ ５７，Ｉｓｓｕｅ ２ ｄａｔｅｄ Ｍａｙ，２００４所収の、「Ｒｏｂｕｓｔ Ｒｅａｌ−Ｔｉｍｅ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ」という名称の論文を参照してよい。この論文に含まれる特徴点の位置を検出するのに使用されるすべての記述は（Ａｄａｂｏｏｓｔ学習アルゴリズムを使用した学習によって顔画像のパターンから特徴パターンを選択する技法および強い分類器をカスケードすることによって特徴点の位置を検出する技法などを含めて）、参照により本開示の顔特徴点を検出する方法に組み入れられる。

図示されていないが、本開示の一実施形態による顔認識システムは、登録された顔画像から抽出された特徴点位置情報を入力顔画像から抽出された特徴点位置情報と比較し、それらの間の類似性を判定することによって、入力顔画像を識別してよい。

前述の本開示による各実施形態は、様々なコンピュータ構成要素によって実行し、コンピュータ可読記録媒体に記録することのできるプログラムコマンドとして実装することができる。コンピュータ可読記録媒体は、プログラムコマンド、データファイル、データ構造などを、単独で、または組み合わせとして含んでいてよい。コンピュータ可読記録媒体に記録されたプログラムコマンドは、本開示のために特別に設計され、構成されたプログラムであってもよく、コンピュータソフトウェア分野の当業者によって使用されることが知られているプログラムコマンドであってもよい。コンピュータ可読記録媒体には、例えば、ハードディスク、フロッピー（登録商標）ディスク、磁気テープといった磁気媒体、ＣＤ−ＲＯＭやＤＶＤといった光記録媒体、光ディスクといった光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどといった、プログラムコマンドを記憶し、実行するように特に構成されたハードウェアデバイスが含まれる。プログラムコマンドは、例えば、インタープリタなどを使用してコンピュータによって実行されうる高水準言語コードや、コンパイラによって生成される機械コードを含む。ハードウェアデバイスは、本開示による処理を実行するために１つまたは複数のソフトウェアモジュールを使用して動作するように構成することができ、逆もまた同様である。以上の考察では、本開示を、特定の構成要素、例示的実施形態、図面といった特定の事項との関連で説明したが、これらは本開示の理解を助けるために提供したものにすぎず、本開示はこれらの実施形態だけに限定されない。当業者はこれらの説明を読めば実施形態に様々な改変および変更を加えることができることは明らかであろう。

したがって、本開示の趣旨は上記の実施形態だけに限定されるべきでなく、添付の特許請求の範囲およびこれに対する同等な、または等価の改変は、本開示の範囲内に属するとみなされる。

１００ 顔特徴点の位置を検出するための装置 １１０ 正規化部 １２０ 画像変換部 １３０ 特徴点候補位置検出部 １４０ 特徴点候補位置クラスタ化部 １５０ 特徴点位置調整部 ２１０−１ 分類器 ２１０−２〜２１０−ｋ 再分類器 ２２０ 特徴点候補位置生成器 ２３０−１１〜２３０−ｋｌ 強い分類器 ２４０−１〜２４０−ｐ 弱い分類器 ２５０ 判定部

Claims (31)

1. Ａｄａｂｏｏｓｔ学習アルゴリズムを使用することによって顔特徴点の位置を検出する方法であって、
   （ａ）前記Ａｄａｂｏｏｓｔ学習アルゴリズムによって選択された第１の特徴パターンを使用することによって、サブウィンドウ画像を第１の特徴点候補推奨画像および第１の特徴点候補非推奨画像へ分類し、前記第１の特徴点候補推奨画像の第１の特徴点候補位置情報を生成するステップと、
   （ｂ）前記Ａｄａｂｏｏｓｔ学習アルゴリズムによって選択された第２の特徴パターンを使用することによって、前記第１の特徴点候補非推奨画像として分類された前記サブウィンドウ画像を第２の特徴点候補推奨画像および第２の特徴点候補非推奨画像へ再分類し、前記第２の特徴点候補推奨画像の第２の特徴点候補位置情報を生成するステップと、
   前記Ａｄａｂｏｏｓｔ学習アルゴリズムによって選択された第３の特徴パターンを使用することによって、前記第２の特徴点候補非推奨画像として分類された前記サブウィンドウ画像を第３の特徴点候補推奨画像および第３の特徴点候補非推奨画像へ再分類し、前記第３の特徴点候補推奨画像の第３の特徴点候補位置情報を生成するステップと、
   を含み、
   前記第１の特徴パターンは通常の顔画像の特徴に基づいて決定され、前記第２の特徴パターンは普通でない顔画像の特徴に基づいて決定され、前記第３の特徴パターンは、前記第２の特徴パターンよりも異常さの程度が高い普通でない顔画像の特徴に基づいて決定される方法。
2. 前記通常の顔画像および前記普通でない顔画像は、前記通常の顔画像および前記普通でない顔画像を正常な画像と比較し、前記比較の結果が既定の閾値を超えるか否かを判定することによって決定される、請求項１に記載の方法。
3. 前記第１の特徴パターンおよび前記第２の特徴パターンの各々は前記サブウィンドウ画像内の１つまたは複数の明るい領域および１つまたは複数の暗い領域を指定する、請求項１または２に記載の方法。
4. 前記１つまたは複数の明るい領域および前記１つまたは複数の暗い領域は、少なくとも１つの既定の輝度値に基づいて分類される、請求項３に記載の方法。
5. 前記ステップ（ａ）は、
   前記第１の特徴パターンの各々について設定された第１の閾値を、前記第１の特徴パターンそれぞれの前記暗い領域によって指定された前記サブウィンドウ画像内の画素値を加算することによって獲得された第１の値と前記明るい領域によって指定された前記サブウィンドウ画像内の画素値を加算することによって獲得された第２の値との差分値の各々と比較することによって、前記サブウィンドウ画像が、前記第１の特徴点候補推奨画像であるかまたは前記第１の特徴点候補非推奨画像であるかを判定するための第１の特徴値を生成するステップと、
   第２の閾値を、前記第１の特徴値それぞれを前記第１の特徴値について設定された重み係数で乗算することによって獲得された値の総和である第１の信頼値と比較することによって、前記サブウィンドウ画像が、前記第１の特徴点候補推奨画像であるかまたは前記第１の特徴点候補非推奨画像であるかを判定するステップと、
   をさらに含む、請求項３または４に記載の方法。
6. 前記ステップ（ｂ）は、
   前記第２の特徴パターンの各々について設定された第３の閾値を、前記第２の特徴パターンそれぞれの前記暗い領域によって指定された前記サブウィンドウ画像内の画素値を加算することによって獲得された第３の値と前記明るい領域によって指定された前記サブウィンドウ画像内の画素値を加えることによって獲得された第４の値との差分値の各々と比較することによって、前記サブウィンドウ画像が、前記第２の特徴点候補推奨画像であるかまたは前記第２の特徴点候補非推奨画像であるかを判定するための第２の特徴値を生成するステップと、
   第４の閾値を、前記第２の特徴値それぞれを前記第２の特徴値に設定された重み係数で乗算することによって獲得された値の総和である第２の信頼値と比較することによって、前記サブウィンドウ画像が、前記第２の特徴点候補推奨画像であるかまたは前記第２の特徴点候補非推奨画像であるかを判定するステップと、
   をさらに含む、請求項５に記載の方法。
7. ステップ（ａ）において、前記第１の特徴点候補位置情報を生成するための１つまたは複数の強い分類器のうちの前段に位置する強い分類器は、後段に位置する強い分類器と比べてより少ない数の前記第１の特徴パターンを使用して、前記サブウィンドウ画像を前記第１の特徴点候補推奨画像および前記第１の特徴点候補非推奨画像へ分類する、請求項１から６のいずれか１項に記載の方法。
8. ステップ（ｂ）において、前記第２の特徴点候補位置情報を生成するための１つまたは複数の強い分類器のうちの前段に位置する強い分類器は、後段の強い分類器と比べてより少ない数の前記第２の特徴パターンを使用して、前記サブウィンドウ画像を前記第２の特徴点候補推奨画像および前記第２の特徴点候補非推奨画像へ分類する、請求項７に記載の方法。
9. Ａｄａｂｏｏｓｔ学習アルゴリズムを使用することによって顔特徴点の位置を検出する方法であって、
   （ａ）前記Ａｄａｂｏｏｓｔ学習アルゴリズムによって選択された第１の特徴パターンを使用することによって、サブウィンドウ画像を第１の特徴点候補推奨画像および第１の特徴点候補非推奨画像へ分類し、前記第１の特徴点候補推奨画像の第１の特徴点候補位置情報を生成するステップと、
   （ｂ）前記Ａｄａｂｏｏｓｔ学習アルゴリズムによって選択された第２の特徴パターンを使用することによって、前記第１の特徴点候補非推奨画像として分類された前記サブウィンドウ画像を第２の特徴点候補推奨画像および第２の特徴点候補非推奨画像へ再分類し、前記第２の特徴点候補推奨画像の第２の特徴点候補位置情報を生成するステップと、
   （ｃ）顔画像のサブウィンドウ画像の前記第１の特徴点候補推奨画像および前記第２の特徴点候補推奨画像について、前記第１の特徴点候補位置情報、前記第１の特徴点候補位置情報の第１の信頼値、前記第２の特徴点候補位置情報、および前記第２の特徴点候補位置情報の第２の信頼値を記憶するステップと、
   を含む方法。
10. （ｄ）前記第１の特徴点候補位置情報および前記第２の特徴点候補位置情報を考慮してクラスタ化を実行することによってクラスタを形成し、前記クラスタのうちで最大のクラスタを形成するいくつかの前記第１の特徴点候補位置情報およびいくつかの前記第２の特徴点候補位置情報のある代表的な位置の位置情報を特徴点位置情報として生成するステップをさらに含む、請求項９に記載の方法。
11. ステップ（ｄ）は、前記最大のクラスタを形成する前記第１の特徴点候補位置情報の各々を前記第１の特徴点候補位置情報の各々の前記第１の信頼値で乗算することによって獲得された値と、前記第２の特徴点候補位置情報の各々を前記第２の特徴点候補位置情報の各々の前記第２の信頼値で乗算することによって獲得された値とを加算することによって獲得された値を参照して前記特徴点位置情報を出力する、請求項１０に記載の方法。
12. Ａｄａｂｏｏｓｔ学習アルゴリズムを使用することによって顔特徴点の位置を検出するための装置であって、
    前記Ａｄａｂｏｏｓｔ学習アルゴリズムによって選択された第１の特徴パターンを使用して、サブウィンドウ画像を第１の特徴点候補推奨画像および第１の特徴点候補非推奨画像へ分類し、前記第１の特徴点候補推奨画像の第１の特徴点候補位置情報を生成するための分類器と、
    前記Ａｄａｂｏｏｓｔ学習アルゴリズムによって選択された第２の特徴パターンを使用して、前記第１の特徴点候補非推奨画像として分類された前記サブウィンドウ画像を第２の特徴点候補推奨画像および第２の特徴点候補非推奨画像へ再分類し、前記第２の特徴点候補推奨画像の第２の特徴点候補位置情報を生成するための少なくとも１つの再分類器と、
    前記Ａｄａｂｏｏｓｔ学習アルゴリズムによって選択された第３の特徴パターンを使用して、前記第２の特徴点候補非推奨画像として分類された前記サブウィンドウ画像を第３の特徴点候補推奨画像および第３の特徴点候補非推奨画像へ再分類し、前記第３の特徴点候補推奨画像の第３の特徴点候補位置情報を生成するための少なくとも１つの再分類器と、
    を備え、
    前記第１の特徴パターンは通常の顔画像の特徴に基づいて決定され、前記第２の特徴パターンは普通でない顔画像の特徴に基づいて決定され、前記第３の特徴パターンは、前記第２の特徴パターンよりも異常さの程度が高い普通でない顔画像の特徴に基づいて決定される、
    装置。
13. 前記通常の顔画像および前記普通でない顔画像は、前記通常の顔画像および前記普通でない顔画像を正常な画像と比較し、前記比較の結果が既定の閾値を超えるか否かを判定することによって決定される、請求項１２に記載の装置。
14. 前記第１の特徴パターンおよび前記第２の特徴パターンの各々は前記サブウィンドウ画像内の１つまたは複数の明るい領域および１つまたは複数の暗い領域を指定する、請求項１２または１３に記載の装置。
15. 前記１つまたは複数の明るい領域および前記１つまたは複数の暗い領域は、少なくとも１つの既定の輝度値に基づいて分類される、請求項１４に記載の装置。
16. 前記分類器はカスケード接続された強い分類器を含み、前記カスケード接続された強い分類器のうちの前段に位置する強い分類器は、後段に位置する強い分類器と比べてより少ない数の前記第１の特徴パターンを使用して、前記サブウィンドウ画像を前記第１の特徴点候補推奨画像および前記第１の特徴点候補非推奨画像へ分類する、請求項１４または１５に記載の装置。
17. 前記強い分類器の各々は少なくとも１つの弱い分類器および判定部を含み、
    前記弱い分類器はそれぞれ、前に指定された前記第１の特徴パターンの前記暗い領域によって指定された前記サブウィンドウ画像内の画素値を加算することによって獲得された第１の値と、前記明るい領域によって指定された前記サブウィンドウ画像内の画素値を加算することによって獲得された第２の値との差分値を計算し、前記差分値を、設定された第１の閾値と比較することによって、前記サブウィンドウ画像が、前記第１の特徴点候補推奨画像であるかまたは前記第１の特徴点候補非推奨画像であるかを判定するための第１の特徴値を生成し、
    前記判定部は、第２の閾値を、前記第１の特徴値それぞれを前記第１の特徴値に設定された重み係数で乗算することによって獲得された値の総和である第１の信頼値と比較することによって、前記サブウィンドウ画像が、前記第１の特徴点候補推奨画像であるかまたは前記第１の特徴点候補非推奨画像であるかを判定する、請求項１６に記載の装置。
18. 前記再分類器はカスケード接続された強い分類器を含み、前記カスケード接続された強い分類器のうちの前段に位置する強い分類器は、後段に位置する強い分類器と比べてより少ない数の前記第２の特徴パターンを使用して、前記サブウィンドウ画像を前記第２の特徴点候補推奨画像および前記第２の特徴点候補非推奨画像へ再分類する、請求項１４または１５に記載の装置。
19. 前記強い分類器の各々は少なくとも１つの弱い分類器および判定部を含み、
    前記弱い分類器はそれぞれ、前に指定された前記第２の特徴パターンの前記暗い領域によって指定された前記サブウィンドウ画像内の画素値を加算することによって獲得された第３の値と、前記明るい領域によって指定された前記サブウィンドウ画像内の画素値を加算することによって獲得された第４の値との差分値を計算し、前記差分値を、設定された第３の閾値と比較することによって、前記サブウィンドウ画像が、前記第２の特徴点候補推奨画像であるかまたは前記第２の特徴点候補非推奨画像であるかを判定するための第２の特徴値を生成し、
    前記判定部は、第４の閾値を、前記第２の特徴値それぞれを前記第２の特徴値に設定された重み係数で乗算することによって獲得された値の総和である第２の信頼値と比較することによって、前記サブウィンドウ画像が、前記第２の特徴点候補推奨画像であるかまたは前記第２の特徴点候補非推奨画像であるかを判定する、請求項１８に記載の装置。
20. 元の顔画像を同サイズの濃淡画像へ正規化するための正規化部と、
    正規化された前記顔画像をマルチスケール顔画像に変換する画像変換部と
    をさらに備え、前記サブウィンドウ画像は前記マルチスケール顔画像である、請求項１２から１９のいずれか１項に記載の装置。
21. 特徴点位置情報を前記顔画像のサイズに対応する位置情報へと調整する特徴点位置調整部をさらに備える、請求項２０に記載の装置。
22. 所定のサイズを有する前記サブウィンドウ画像は前記マルチスケール顔画像を画素単位ずつ移動する間に作成される、請求項２１に記載の装置。
23. Ａｄａｂｏｏｓｔ学習アルゴリズムを使用することによって顔特徴点の位置を検出するための装置であって、
    前記Ａｄａｂｏｏｓｔ学習アルゴリズムによって選択された第１の特徴パターンを使用して、サブウィンドウ画像を第１の特徴点候補推奨画像および第１の特徴点候補非推奨画像へ分類し、前記第１の特徴点候補推奨画像の第１の特徴点候補位置情報を生成するための分類器と、
    前記Ａｄａｂｏｏｓｔ学習アルゴリズムによって選択された第２の特徴パターンを使用して、前記第１の特徴点候補非推奨画像として分類された前記サブウィンドウ画像を第２の特徴点候補推奨画像および第２の特徴点候補非推奨画像へ再分類し、前記第２の特徴点候補推奨画像の第２の特徴点候補位置情報を生成するための少なくとも１つの再分類器と、
    顔画像のサブウィンドウ画像の前記第１の特徴点候補推奨画像および前記第２の特徴点候補推奨画像について、前記第１の特徴点候補位置情報、前記第１の特徴点候補位置情報の第１の信頼値、前記第２の特徴点候補位置情報、および前記第２の特徴点候補位置情報の第２の信頼値を記憶し、出力する特徴点候補位置生成器と、
    を備える装置。
24. 前記第１の特徴点候補位置情報および前記第２の特徴点候補位置情報についてクラスタ化を実行することによってクラスタを形成し、前記クラスタのうちで最大のクラスタを形成する前記第１の特徴点候補位置情報および前記第２の特徴点候補位置情報のある代表的な位置の位置情報を特徴点位置情報として生成する特徴点候補位置クラスタ化部をさらに備える、請求項２３に記載の装置。
25. 前記特徴点候補位置クラスタ化部は、前記最大のクラスタを構成する前記第１の特徴点候補位置情報の各々を前記第１の特徴点候補位置情報の各々の前記第１の信頼値で乗算することによって獲得された値と、前記第２の特徴点候補位置情報の各々を前記第２の特徴点候補位置情報の各々の前記第２の信頼値で乗算することによって獲得された値とを加算することによって獲得された値を参照して前記特徴点位置情報を出力する、請求項２４に記載の装置。
26. 請求項１から１１のいずれか一項に記載の方法をコンピュータに実行させるためのプログラム。
27. Ａｄａｂｏｏｓｔ学習アルゴリズムを使用することによって顔特徴点の位置を検出する方法であって、
    （ａ）前記Ａｄａｂｏｏｓｔ学習アルゴリズムによって選択された第１の特徴パターンを使用することによって、サブウィンドウ画像を第１の特徴点候補推奨画像および第１の特徴点候補非推奨画像へ分類し、前記第１の特徴点候補推奨画像の第１の特徴点候補位置情報を生成するステップと、
    （ｂ）前記Ａｄａｂｏｏｓｔ学習アルゴリズムによって選択された第２の特徴パターンを使用することによって、前記第１の特徴点候補非推奨画像として分類された前記サブウィンドウ画像を第２の特徴点候補推奨画像および第２の特徴点候補非推奨画像へ再分類し、前記第２の特徴点候補推奨画像の第２の特徴点候補位置情報を生成するステップと、
    （ｃ）顔画像のサブウィンドウ画像についての前記第１の特徴点候補位置情報およびいくつかの前記第２の特徴点候補位置情報を記憶するステップと、
    （ｄ）前記第１の特徴点候補位置情報および前記第２の特徴点候補位置情報を考慮してクラスタ化を実行することによってクラスタを形成し、前記クラスタのうちで最大のクラスタを形成する前記第１の特徴点候補位置情報および前記第２の特徴点候補位置情報のある代表的な位置の位置情報を特徴点位置情報として生成するステップと、
    を含む方法。
28. ステップ（ａ）の前に、
    元の顔画像を同サイズの濃淡画像へ正規化するステップと、
    前記正規化された顔画像をマルチスケール顔画像に変換するステップと
    をさらに含み、ステップ（ａ）において、前記サブウィンドウ画像は前記マルチスケール顔画像である、請求項２７に記載の方法。
29. （ｅ）前記特徴点位置情報を前記顔画像のサイズに対応する位置情報に調整するステップをさらに含む、請求項２８に記載の方法。
30. 所定のサイズを有する前記サブウィンドウ画像は前記マルチスケール顔画像を画素単位ずつ移動する間に作成される、請求項２９に記載の方法。
31. Ａｄａｂｏｏｓｔ学習アルゴリズムを使用することによって顔特徴点の位置を検出するための装置であって、
    前記Ａｄａｂｏｏｓｔ学習アルゴリズムによって選択された第１の特徴パターンを使用して、サブウィンドウ画像を第１の特徴点候補推奨画像および第１の特徴点候補非推奨画像へ分類し、前記第１の特徴点候補推奨画像の第１の特徴点候補位置情報を生成するための分類器と、
    前記Ａｄａｂｏｏｓｔ学習アルゴリズムによって選択された第２の特徴パターンを使用して、前記第１の特徴点候補非推奨画像として分類された前記サブウィンドウ画像を第２の特徴点候補推奨画像および第２の特徴点候補非推奨画像へ再分類し、前記第２の特徴点候補推奨画像の第２の特徴点候補位置情報を生成するための少なくとも１つの再分類器と、
    顔画像のサブウィンドウ画像の前記第１の特徴点候補位置情報および前記第２の特徴点候補位置情報を記憶するための特徴点候補位置生成部と、
    前記第１の特徴点候補位置情報および前記第２の特徴点候補位置情報を考慮してクラスタ化を実行することによってクラスタを形成し、前記クラスタのうちで最大のクラスタを形成する前記第１の特徴点候補位置情報および前記第２の特徴点候補位置情報のある代表的な位置の位置情報を特徴点位置情報として生成する特徴点候補位置クラスタ化部と、
    を備える装置。

Images